L’évaluation des services de référence en ligne (3)

Jeffrey Pomerantz est professeur assistant à la School of Information and Library Sciences de l’université North Carolina (Chapel Hill). Evaluation of Online Reference Services présente l’évaluation des services de référence en ligne selon deux angles : du côté de la bibliothèque et du côté de l’usager (plus proche d’une évaluation de la satisfaction cela dit).
Si les deux premiers articles de cette série présentaient les prémisses de l’évaluation et certains conseils visant à améliorer la qualité du service, le texte de Pomerantz nous fait entrer dans la salle des machines.

Du point de vue de la bibliothèque

• Pour la messagerie instantanée (IM) : calcul de la durée de l’interaction (moyenne ET médiane), durée de l’attente dans la file (renseignée par le module stat de QuestionPoint). Analyse des logs (pour l’URL d’arrivée). Analyse de l’utilisation du service par jour, semaine, mois.

• Identifiant du bibliothécaire = activité par bibliothèque/bibliothécaire.

• URL d’arrivée pour élaborer des démarches marketing.

• Transcripts (retranscription des échanges sur IM) : plus long, plus compliqué mais plus riche. Permet d’évaluer l’exactitude et la complétude de la réponse. Analyse de l’entretien et des techniques de négociation (entre bibliothécaire et usager); Analyse de la satisfaction si on détermine ce qui peut exprimer la satisfaction (formule de remerciements etc.). Préalables : définir précisément ce qu’est une réponse exacte ou une réponse complète, une expression de gratitude, etc. Pour une analyse fiable, les catégories utilisées pour coder doivent être claires.

• Analyse du coût : complexe à mettre en oeuvre (quel budget prendre en compte ? Budget doc, budget RH ?)

Du point de vue de l’usager

• De nombreux éléments mesurés pour le renseignement présentiel peuvent être réutilisés pour les services de références virtuels (SRV): complétude de la réponse, amabilité, politesse et intérêt du bibliothécaire, volonté de réutiliser le service.

• Le moyen de communication utilisé (mail, IM, vidéoconférence) déterminera ce qu’il est possible de recueillir comme info.

• Importance de la mesure du « Willingness to return » (volonté dépersonnalisée, désincarnée avec le service en ligne) surtout depuis la multiplication des SRV.

• Importance également de la complétude et de l’utilité de la réponse (demande à faire systématiquement en fin d’entretien : « est-ce que j’ai répondu à votre question ? ») même si l’usager met généralement un moment avant d’utiliser la réponse faite.

• Certains éléments de satisfaction peuvent être recueillis immédiatement après l’entretien : politesse, volonté d’aider, facilité d’utilisation du logiciel.

• D’autres éléments (l’utilité de la réponse) pourront être recueillis dans un second temps (questionnaire par échantillon ?)

Autant dire que certaines pistes évoquées dans l’article seront reprises dans le plan d’évaluation du service. Il manque néanmoins un point de vue, celui du bibliothécaire. L’interrogation de l’usager coule de source, celle de la bibliothèque (investissement en en RH, évolution de l’activité) également. Si on veut correctement trianguler l’évaluation du service, il faut rajouter la mesure de la satisfaction du bibliothécaire. Ne pas oublier qu’un service de qualité doit répondre aux besoins des usagers tout en respectant la politique du service.