Accueil > Service de référence en ligne > L’évaluation des services de référence en ligne (Fin)

L’évaluation des services de référence en ligne (Fin)

ceci_nest_pas_un_logoAprès ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Statistique/Indicateur Objectif
Nombre total de questions posées par voie électronique Déterminer le volume de l’activité du service.
Nombre de demandes postées via le formulaire Déterminer le volume de l’activité asynchrone.
Nombre de sessions de chat Déterminer le volume de l’activité synchrone.
Durée moyenne d’une session de chat Évaluer la durée moyenne d’une session de chat.
Durée moyenne d’une réponse à une question par formulaire Déterminer si le service répond aux requêtes dans les délais impartis.
Répartition par type de questions posées Déterminer la répartition des requêtes selon le type de questions posées.
Répartition des requêtes par jour de la semaine / par heure de la journée Déterminer la répartition du volume de requête sur la semaine et sur la journée afin de, le cas échéant, modifier l’organisation du service au public.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Statistique/Indicateur Objectif
Évaluation de l’interaction Mesurer la satisfaction de l’usager suite à l’utilisation du service.
Évaluation de la qualité du service Déterminer la qualité globale du service proposé (en dehors de l’interaction, déjà évaluée)
Évaluation de la satisfaction du personnel Mesurer la satisfaction du personnel vis à vis du service de référence en ligne (conditions de travail matérielles, organisationnelles, etc.).

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Statistique/Indicateur Objectif
Connaissance de l’existence du service
Déterminer quel % des membres des universités du RUOA ont connaissance de l’existence du service.
Part des renseignements électroniques sur le nombre total de renseignement Établir la part des demandes de renseignement transmises par voie électronique (mail, formulaire web, chat) sur la totalité des demandes de renseignement et ainsi déterminer le taux de pénétration du renseignement par voie électronique. Répété plusieurs années (tous les 2 ans par roulement entre les établissements participant), cet indicateur pourrait permettre de mesurer l’évolution du service dans les pratiques de renseignement des usagers.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Méthodes Priorité Contenu
Tableau de bord

Haute

Essentiel pour le pilotage du service. Indicateurs mesurant le volume et la répartition de l’activité.

Dans le meilleur des cas, données extraites du module Administration de QuestionPoint, sinon voir Semaine-test.

Questionnaire systématique

Haute

Méthode intégrée par défaut dans l’application QuestionPoint.

Questionnaire court, en ligne visant à mesurer la satisfaction de l’usager vis à vis du service qu’il vient d’utiliser.

Questionnaire annuel ou bisannuel

Moyenne

Questionnaire en ligne pour les usagers et non usagers visant à mesurer la qualité du service proposé (et non plus la simple satisfaction), la connaissance de l’existence et, éventuellement, d’autres informations à préciser.

Questionnaire annuel pour les professionnels

Moyenne

Questionnaire en ligne visant à mesurer la satisfaction des personnes-relais et à proposer des améliorations.

Semaine-test annuelle ou bisannuelle

Haute

Unique moyen de récupérer certaines données pour le tableau de bord si elles ne sont pas extractibles du module Administration.

Faible

Calcul de la part du renseignement en ligne sur le volume total de renseignement permettant l’évaluation de la pénétration des requêtes électroniques dans les pratiques de renseignement.

  1. 26 novembre 2008 à 13:30

    Il me semble qu’il manque une évaluation de la consultation des réponses une fois qu’elles ont été envoyées au demandeur final. Si les réponses sont publiées sur un site web (ex : le guichet du savoir), il me semble intéressant d’évaluer la fréquentation par réponses ou thèmes sous lequel elles sont indexées pour connaître les réponses les plus populaires…

    De même, la nature des requêtes (renseignement bibliographiques ? questions pratique sur le focntionnement de la bibliothèque, etc.) pourrait servir à l’évaluation de la qualité du service non pas de « question réponses » mais de l’efficacité de la bibliothèque à répondre à des besoins documentaires, non ?

  2. Nicolas
    27 novembre 2008 à 0:17

    @bibliobsession : la consultation des réponses (appelées Base de connaissance dans QuestionPoint) est, comment dire, un sujet épineux (en gros, OCLC nous refait payer un copie « propre » des questions-réponses de notre service). La base a tout de même besoin d’une masse critique pour être pertinente (Le Guichet avait proposé une nouvelle mise en forme des réponses, par catégorie, plus d’un 1 an après le lancement, il me semble). Mais sinon, sur le fond, oui tout à fait, c’est un autre paramètre à prendre en compte.

    Sur la nature des requêtes, une catégorisation des questions-réponses est prévue. Ensuite, on pourra analyser les données dans le sens qu’on veut. Il sera toutefois difficile de relier précisement ces données à l’une des bibliothèques des 7 établissements.

  1. 23 janvier 2009 à 2:25

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s

%d blogueurs aiment cette page :