L’évaluation des services de référence en ligne (1)

J’inaugure une série de billets sur l’évaluation des services de référence en ligne.

Les SCD du Réseau des universités Ouest-Atlantique (dont Angers) mettent actuellement en place un service de référence en ligne. Virginie (du Buboblog) coordonne l’ensemble.

La projet a , plus ou moins, débuté par les réflexions de Nicolas Morin sur le sujet pour le compte de l’ABES (présentation lors des journées ABES 2007, le diaporama vaut le coup d’oeil).

Pour plus d’informations sur les services de référence en ligne, lisez l’article de Claire NGuyen « Les services de référence virtuels en bibliothèque universitaire » dans le BBF.

En bon monomaniaque, je me suis intéressé à la partie évaluation. Partant de rien (mais aussi par flemmardise, j’avoue), j’ai fait appel … à un service de référence en ligne, le très efficace Question? Réponse! de l’ENSSIB (ma question et la réponse se trouve ici, rubrique Evaluation). Les infos bibliographiques fournies se sont avérées un bon point de départ pour me faire une idée du problème. Autant dire tout de suite qu’il y a très peu de chose en français (à part les recommandations de l’IFLA sur le sujet). Les références sont principalement anglophones, nord-américaines pour la plupart.

Alors, voilà ce que je propose dans cette série : mes notes sur les références bibliographiques mentionnées avec en bonus post (l’équivalent du bonus track pour les blogs), le plan d’évaluation préparé pour le service de référence en ligne du Grand Ouest.

Je commence par un document du Reference and User Services Association (RUSA, le site est une mine d’info, leur blog est ici), une division très active de l’American Library Association. Le document s’intitule Measuring and Assessing Reference Services and Ressources : a Guide

Mes notes-traductions portent surtout sur le point n°2 : Planning Reference Assessment.

Avant d’entamer un projet d’évaluation, déterminez un état complet des questions auxquelles vous souhaitez répondre, les données mesurables nécessaires pour répondre à vos questions et les standards de qualité ou de performance utiles pour mesurer vos résultats

Ensuite, choisissez les outils d’évaluation pertinents pour atteindre les objectifs fixés. Adaptez les outils existant pour répondre à vos besoins et tester toujours vos outils sur un petit échantillon représentatif de données ou de personnes

Enfin, pour consolider la validité de vos résultats, utiliser plusieurs outils d’évaluation.

Questions de base à se poser pour évaluer les services et les sources de référence :

Quelles questions se poser ?

Les questions induisent les instruments et les techniques de recueil de données à mettre en place ainsi que le niveau de qualité qu’on souhaite atteindre.

Quels seront les standards de qualité et de performance utilisés pour évaluer le service ?

Toujours privilégier des objectifs mesurables et comparables avant de mettre en place un projet d’évaluation. Comparer ses résultats aux standards permettra de déterminer si les objectifs ont été atteints.

Comment utiliserez-vous les données recueillies ?

Cette question déterminera le type de données à collecter et ainsi les possibilités d’analyse statistique.

Quelles techniques utiliser pour produire les données nécessaires ?

Il existe de nombreux moyens de recueillir les données et chaque technique influera sur la manière dont on pourra exploiter les données. Utiliser les méthodes quantitatives pour les données ordinales (nbr de questions posées), les méthodes qualitatives pour étudier l’interaction elle-même. Utiliser les deux types de méthodes est encore mieux.

Peut-on utiliser plusieurs méthodes pour confirmer les données ?

La triangulation signifie utiliser plusieurs méthodes de recueil pour consolider les résultats de l’analyse. Voir Wisconsin-Ohio Reference Evaluation Program (WOREP) : http://worep.library.kent.edu/index.html

La multiplication des sources de données améliore la qualité et la validité de l’analyse.

Quelles méthodologies utiliser ?

Le type de données à recueillir déterminera le type d’outils à employer. Une enquête pour mesurer la satisfaction, un focus group pour améliorer le service.

Avez-vous testé vos outils de recueil de données ?

Toujours tester les outils de recueil de données pour s’assurer qu’ils sont bien compris par les enquêtés et qu’ils mesurent ce pour quoi ils ont été prévus. Par exemple, tester un questionnaire sur un échantillon similaire à la population interrogée. Ont-ils bien compris les questions ? Toutes les modalités de réponse sont-elles prises en compte ? Les résultats se codent-ils facilement ? Tester la manière dont vous comptez analyser les données. Est-ce que la méthodologie est adaptée à vos besoins ?

Quelles techniques d’analyse statistique utiliser ?

L’analyse des données est en partie déterminée par le type de données et les méthodes de recueil. Pour mesurer une corrélation entre deux variables, utiliser le test de Pearson. SPSS ou SAS peuvent faciliter cet étape. Il faut néanmoins s’assurer d’utiliser la bonne méthode d’analyse pour les données produites.

Quel public pour le restitution de l’évaluation ?

Le type de public envisagé détermine le type de support et les logiciels (PAO, Tableurs) et la granularité des analyses.

Publicité