Nouvelle présentation de ubib.fr à l’Enssib cette fois, dans le cadre de la formation continue “Service de renseignement en ligne” organisée par Catherine Jackson.

La commande comprenait une présentation du service où j’ai repris le diaporama des Journées ABES agrémenté de 2 slides supplémentaires (8 et 9) et sans la partie auto-flagellation. On m’a également demandé un focus sur l’évaluation du service, partie que je n’avais pas eu le temps d’aborder à Montpellier et sur laquelle j’ai pu me lâcher

J’ai expliqué en quoi consistait l’évaluation d’ubib.fr : la partie quantitative pour laquelle il manque encore 2 indicateurs particulièrement retors et la partie qualitative où tout reste à faire. Sur le pourquoi du plan d’évaluation, je vous renvoie à mes précédents billets sur le sujet.

Pour leurs Journées 2009, l’ABES inaugurait les sessions “Projets innovants dans les bibliothèques du réseau ABES”.  ubib a été sélectionné à côté d’autres projets. J’ai donc présenté le service au nom du groupe de travail.

Le pitch : ubib est-il VRAIMENT un service innovant ?

Non, si on regarde les usages technologiques actuels ou si on le compare à certains services collaboratifs de renseignement en ligne (notamment 24/7 Reference Service). Ubib ne fait que combler (un peu) notre retard.

Oui, si on considère la mise en œuvre de son organisation, sa communication ou sa formation comme autant d’éléments qui n’ont pas (encore) d’équivalents pour ce type de service en France.

Vous trouverez le support de présentation ci-dessous. J’ai essayé d’être le plus visuel possible avec à l’esprit l’adage : “faire les choses sérieusement sans se prendre au sérieux” (copyright OT)

Le 12 novembre 2008, nous débutions le test de  notre service de référence en ligne. J’en avais un peu parlé dans ce billet.

En résumé, les 7 universités de Bretagne et des Pays de la Loire ont mutualisé leurs ressources pour ouvrir un service de renseignement en ligne, par mail (réponse sous 48h) et par chat (du lundi au vendredi de 9h à 18h). Nous utilisons QuestionPoint d’OCLC comme la BPI, l’Enssib ou Rue des facs.

La phase de test nous a permis de former nos collègues au logiciel mais surtout de travailler sur la communication. Nous avons changé le nom du service. Label, la bibliothèque en ligne devient ubib.fr, vos bibliothécaires en ligne, la marque Label étant déjà déposée par SFR pour un (obscur) service de renseignement. La marque “ubib.fr” et le logo ont été déposés auprès de l’INPI.

Nous avons confié la création de l’identité graphique d’ubib.fr à Daniel Habasque (NO\SODA). A mon avis, il a très bien su restituer les différentes dimension du service: l’interaction directe usager/bibliothécaire (le face à face, les bulles) et l’interaction virtuelle (symbolisé par les émoticones). De plus, l’usage des émoticones collent bien au public visé : les étudiants en L et M même si nous servons toute la communauté universitaire.

Un site web spécifique (www.ubib.fr, nom de domaine ouvert via le GIP RENATER) a été développé pour homogénéiser l’accès au service, le degré de liberté des SCD par rapport au service informatique de l’université pouvant être variable (politique du tout-ENT, site de la BU géré en interne ou délégué, etc.). Offrir un porte d’entrée commune était un moyen de tous nous placer sur le même plan.

Le site a été développé (en peu de temps) par Emmanuel Brillot et Baptiste Judic du Service des technologies de l’information et de la communication (STIC) de l’université d’Angers en collaboration avec Daniel Habasque. La mise en ligne du site effective vendredi après-midi a bénéficié du support technique de la Division du système d’information.

La partie Communication du projet s’achève au terme de deux mois de travail intense. Il reste encore beaucoup de dossiers à traiter : la mise en place de l’évaluation quantitative et surtout qualitative, la formation des collègues aux nouveaux modes d’interaction avec les usagers, l’épineuse question de la base de connaissances, etc. Mais d’abord, il s’agit de faire fonctionner le service au quotidien et de tenir nos engagements.

Affaire à suivre.

C’est à peu près la question que le groupe de travail auquel je participe s’est posée. C’est aussi ce que se demande Lili Luo dans son article “Toward sustaining professional developement :  Identifying essential competencies for chat reference service” (Science Direct, sur abonnement) paru dans la revue Library & Information Science Research . Comme quoi, les choses sont plutôt bien faites.

Je vais éviter les circonvolutions et donner la liste des 21 compétences que Lili Luo définit comme essentielles après une enquête auprès de 597 bibliothécaires participant à des services de renseignement par chat. Si vous souhaitez avoir plus d’info sur l’enquête, sa méthodologie, je vous invite à consulter ma (tentative de) traduction (partielle), attention, c’est du fait-maison.

Aptitudes à l’entretien de référence

- débuter la session par une formule de cordialité afin de montrer son intérêt et sa volonté d’aider
- utiliser des relances ouvertes pour faire préciser les questions
- renvoyer l’usager vers des ressources ou services appropriés si nécessaire
- reconnaitre lorsqu’un suivi est nécessaire
- répondre sans jargonner
- répondre de manière neutre
- demander si le besoin d’information de l’usager a été satisfait

Familiarité avec les ressources électroniques

- savoir sélectionner et rechercher dans les bases de données et les ressources sur internet
- connaître les bases de données souscrites par la bibliothèque
- disposer d’une vaste connaissance des ressources disponibles sur internet
- évaluer rapidement la qualité des ressources et services

Esprit relation-client

- comprendre l’éthique du “service client” afin de fournir un service de qualité aux usagers
- appliquer la politique du service de renseignement par chat si nécessaire

Ces trois groupes de compétences forment ce que Lili Luo appelle les “compétence générales du renseignement”.

- garder l’usager constamment informé en lui indiquant ce que l’on fait.
—

Travailler sous la pression

- réfléchir rapidement et régler les problèmes inattendus lors d’une session de chat
- gérer plusieurs activités au même moment
- savoir gérer son temps

Ces 4 compétences sont définies comme “mises en évidence par le chat”.

Savoir communiquer en ligne

- maîtriser la communication écrite instantanée
- comprendre la culture d’internet et les conventions du chat

—
- tirer partie des fonctionnalités des applications de chat ou des messageries instantanées pour conduire efficacement une session de chat
—

- connaître les ressources des autres bibliothèques dans un service de renseignement collaboratif

Ces compétences sont considérées comme “spécifiques à un service par chat”.

A l’heure où nous nous interrogeons (enfin surtout ma collègue NK) sur la formation à proposer aux bibliothécaires participant au service de référence en ligne du grand Ouest, cet article propose des pistes tout à fait pertinentes. En plus, il a le mérite de mettre en rapport les compétences avec le profil de la population étudiée.

Pour prendre un exemple proche de notre expérience, l’article affirme que les bibliothécaires-chatteurs exerçant dans un service collaboratif (plusieurs bibliothèques réunissent leurs ressources pour assurer une ouverture significative) accordent plus d’importance aux compétences techniques, à la connaissance des ressources électroniques, à la compréhension de la culture internet et des conventions du chat et à l’aptitude à travailler sous la pression.

Les compétences “prioritaires” diffèrent également selon que le bibliothécaire utilise une application commerciale de chat (type QuestionPoint) ou un application de messagerie instantanée et selon l’année d’obtention du diplôme de bibliothécaire.

Le questionnaire proposé par Lili Luo est le meilleur moyen de construire une formation adaptée aux attentes et aux besoins des bibliothécaires. Quant aux résultats, les nôtres seraient sensiblement différents, si nous menions l’enquête dans le cadre de notre projet. L’échantillon américain était composé aux 3/4 de bibliothécaires exerçant depuis plus d’un an dans un service de renseignement par chat, ils se définissaient à plus de 80% comme “à l’aise” avec un service de ce type.

Rien de tel de notre côté où, à ma connaissance, personne n’a déjà participé à un service de renseignement par chat et où il existe encore quelques appréhensions face à un outil totalement neuf dans les bibliothèques françaises.

Mais si on se base sur les résultats de cette étude, tout cela n’est qu’une question de pratique et de formation.

Après ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Les normes proposent, finalement, peu d’éléments permettant d’étayer l’évaluation d’un service de référence en ligne. Quand je dis “norme”, je pense surtout à la norme ISO 2789 Statistiques internationales de bibliothèques (qui permet de parler le même langage, c’est à dire utiliser les mêmes bases statistiques) ou la norme ISO 11620 (octobre 2008) Indicateurs de performance des bibliothèques.

Il y a, tout de même, deux-trois choses à piocher.

La normes ISO 2789 donne une définition (à mon avis très restrictive) de l’unité de mesure du service de réf : la demande d’information.

“opération de médiation auprès du public par le personnel de la bibliothèque à partir d’une ou de plusieurs sources d’informations (…).
Peut également comprendre des recommandations, l’interprétation ou l’instruction concernant l’utilisation de ces ressources. La demande peut être adressée de vive voix, par téléphone, par courrier, par télécopie ou par voie électronique (messagerie électronique, site Web, de la bibliothèque ou tout autre moyen de communication en réseau)
il est essentiel que les bibliothèques ne comptabilisent pas les demandes de renseignement ou d’orientation et les questions administratives, telles que trouver un agent de la bibliothèque ou repérer des équipements, préciser les horaires d’ouverture ou expliquer le fonctionnement des équipements, imprimantes ou ordinateurs, par exemple.
Sont également exclues les questions relatives à la localisation de documents du fonds déjà identifiés dans le catalogue.

Au final, il reste les demandes de références bibliographiques stricto sensu… mouai ce ne sont pas les questions les plus fréquentes aux bureaux de renseignements. Difficile d’évaluer l’activité réelle d’un service avec cette définition.

Dans la norme 11620 (octobre 2008), deux indicateurs peuvent être utilisés :

Pourcentage des demandes d’information transmises par voie électronique (B.2.2.2) ; Objectif : établir l’utilisation des moyens électroniques de communication (par exemple courriel, référence numérique) pour transmettre des demandes d’informations.

Cet indicateur pourra être utilisé pour évaluer le taux de pénétration du service de réf virtuelle dans les différentes BU participantes.

Taux de réponses correctes (B.3.3.2) ; Objectif éterminer le degré d’aptitude du personnel à satisfaire les exigences primordiales pour un bon service de référence, à savoir fournir des réponses correctes aux demandes de renseignement.

Celui-ci sera probablement utilisé, dans un second temps, pour mesurer la qualité des réponses apportées.

PS : pour la petite histoire, j’ai travaillé quelques mois pour le Guichet du savoir à son ouverture.

The Evaluation of Worldwide Digital Reference Services in Libraries est un livre décevant. Le titre suggérait un contenu en parfaite adéquation avec mon objet de recherche mais au final les chapitres intéressants ne sont pas nombreux. Je vais tout de même essayer de vous présenter, dans ce billet, les point qui m’ont paru pertinents lorsqu’on réfléchit à la partie Evaluation d’un nouveau service de réf en ligne.

The Evaluation of … est le compte rendu d’une évaluation croisée, réalisée par des étudiants chinois et allemands sous la direction de Jia Liu (Beijing University) et Ingeborg Simon (Stuttgart Media University). L’étude porte sur des services de référence en ligne exclusivement asynchrones (par mail) dans des bibliothèques universitaires et nationales.

La méthode de l’enquête
(quelques mots pour donner le contexte)

L’échantillon regroupe environ 200 bibliothèques. Les étudiants ont d’abord : sélectionné les bibliothèques à évaluer (2 groupes d’échantillons), puis ils ont définis et spécifié les critères d’évaluation. Après avoir testé leur méthode d’évaluation (sur un petit nombre de bibliothèques), ils l’ont modifié en fonction des premiers retours. Ils ont ensuite procédé au recueil des données : chaque groupe a envoyé 2 questions aux bibliothèques sélectionnées. Ils ont collecté et organisé les résultats, analysé les réponses en fonction des critères définis. Enfin les 2 groupes d’étudiants ont présenté et croisé leurs conclusions.

Sur l’évaluation des services de référence en ligne
(sûrement la partie la plus intéressante de l’ouvrage avec un bibliographie très détaillée sur le sujet)

Se pose la question des éléments à évaluer dans un service de réf en ligne. Ils différent selon les professionnels s’étant penchés sur la question. Pour J.B. Whitlach, il faut prendre en compte: les aspects économiques (coût, productivité du service), la procédure (aspects du système utilisé et interactions avec l’usager), les ressources (livres, périos, index, base de données, équipements et interfaces des environnements physiques ou électroniques) et les résultats (informations ou connaissances délivrées à l’usager).

Pour McClure et Lankes, les dimensions à prendre en compte dans l’évaluation sont : la mesure des résultats (qualité des réponses), la mesure des processus (efficacité et efficience des procédures), les mesures économiques (coût et rentabilité du service) et la satisfaction de l’usager (degré à partir duquel l’usager du service se déclare satisfait des modalités et des résultats).
Pour les deux auteurs,  le qualité du service dépend de : la courtoisie (attitude des bibliothécaires), l’exactitude (justesse des réponses fournies par le staff), la satisfaction de l’utilisateur, les habitués (% d’usagers qui utilisent plusieurs fois le service), la connaissance du service (population connaissant l’existence du service), le coût (coût par interaction).

Un groupe d’expert a défini dix indicateurs permettant d’évaluer le service de réf en ligne :

• Accessibilité : disponibilité via le web

• Réponse rapide : 100% des réponses dans un laps de temps de 1 ou 2 jours ouvrés .

• Politique de service claire : de la procédure pour poser un question aux types de réponses fournie

• Interactivité : entretien et réponse en temps réel

• Informatif : des experts pour répondre aux demandes et des informations étayant la réponse de l’expert.

• Autorité : des experts qui peuvent répondre aux questions et indiquer des ressources en ligne à consulter.

• Confidentialité : tous les échanges entre usager et personnel sont confidentiels.

• Critique et évaluation : une procédure régulière pour vérifier la satisfaction des usagers et du personnel.

• Fourniture d’informations liées : liste de liens, FAQ

• Communication sur le service : informer les usagers potentiels de la valeur du service pour leur travaux.

Jeffrey Pomerantz est professeur assistant à la School of Information and Library Sciences de l’université North Carolina (Chapel Hill). Evaluation of Online Reference Services présente l’évaluation des services de référence en ligne selon deux angles : du côté de la bibliothèque et du côté de l’usager (plus proche d’une évaluation de la satisfaction cela dit).
Si les deux premiers articles de cette série présentaient les prémisses de l’évaluation et certains conseils visant à améliorer la qualité du service, le texte de Pomerantz nous fait entrer dans la salle des machines.

Du point de vue de la bibliothèque

• Pour la messagerie instantanée (IM) : calcul de la durée de l’interaction (moyenne ET médiane), durée de l’attente dans la file (renseignée par le module stat de QuestionPoint). Analyse des logs (pour l’URL d’arrivée). Analyse de l’utilisation du service par jour, semaine, mois.

• Identifiant du bibliothécaire = activité par bibliothèque/bibliothécaire.

• URL d’arrivée pour élaborer des démarches marketing.

• Transcripts (retranscription des échanges sur IM) : plus long, plus compliqué mais plus riche. Permet d’évaluer l’exactitude et la complétude de la réponse. Analyse de l’entretien et des techniques de négociation (entre bibliothécaire et usager); Analyse de la satisfaction si on détermine ce qui peut exprimer la satisfaction (formule de remerciements etc.). Préalables : définir précisément ce qu’est une réponse exacte ou une réponse complète, une expression de gratitude, etc. Pour une analyse fiable, les catégories utilisées pour coder doivent être claires.

• Analyse du coût : complexe à mettre en oeuvre (quel budget prendre en compte ? Budget doc, budget RH ?)

Du point de vue de l’usager

• De nombreux éléments mesurés pour le renseignement présentiel peuvent être réutilisés pour les services de références virtuels (SRV): complétude de la réponse, amabilité, politesse et intérêt du bibliothécaire, volonté de réutiliser le service.

• Le moyen de communication utilisé (mail, IM, vidéoconférence) déterminera ce qu’il est possible de recueillir comme info.

• Importance de la mesure du « Willingness to return » (volonté dépersonnalisée, désincarnée avec le service en ligne) surtout depuis la multiplication des SRV.

• Importance également de la complétude et de l’utilité de la réponse (demande à faire systématiquement en fin d’entretien : “est-ce que j’ai répondu à votre question ?”) même si l’usager met généralement un moment avant d’utiliser la réponse faite.

• Certains éléments de satisfaction peuvent être recueillis immédiatement après l’entretien : politesse, volonté d’aider, facilité d’utilisation du logiciel.

• D’autres éléments (l’utilité de la réponse) pourront être recueillis dans un second temps (questionnaire par échantillon ?)

Autant dire que certaines pistes évoquées dans l’article seront reprises dans le plan d’évaluation du service. Il manque néanmoins un point de vue, celui du bibliothécaire. L’interrogation de l’usager coule de source, celle de la bibliothèque (investissement en en RH, évolution de l’activité) également. Si on veut correctement trianguler l’évaluation du service, il faut rajouter la mesure de la satisfaction du bibliothécaire. Ne pas oublier qu’un service de qualité doit répondre aux besoins des usagers tout en respectant la politique du service.

Suite de la série de posts sur l’évaluation des services de référence en ligne. Le premier est ici.

Encore une article de la RUSA (j’avais oublié leur fil Twitter): Guidelines for Behavioral Performance of Reference and Information Service Providers (2004). Cet article traite de la manière de fournir un service de qualité. ça ne concerne pas directement l’évaluation mais c’est tout de même fortement lié. Pourquoi perdre son temps à évaluer la qualité d’un service si ce n’est pas pour l’améliorer ?

Éditée pour la première fois en 1996, cette liste de conseils a intégré, au fur et à mesure, les modalités virtuelles de ces services (mail, messagerie instantanée). On remarque que les deux types de services (référence en présentiel et à distance) sont traités dans le même mouvement, la plupart des conseils s’appliquant aux deux.

D’ailleurs pour moi, il n’y a pas de distinction à faire entre le bureau de renseignements et le service de référence en ligne, ils doivent bénéficier de la même approche : se fondre dans l’environnement de travail des usagers, être aussi mobile et réactif qu’eux, être présent là où on les attend le moins. C’est pour cela que j’avais particulièrement apprécié le service de renseignements mobile de Paris 8.

Je suis persuadé que la mise en place d’un service de référence en ligne ne peut pas faire l’économie d’un aménagement voire d’une profonde refonte des bureaux de renseignements physiques. Sur ce point, la complémentarité doit être le maître mot.

Approachability / facilité d’accès

Avant d’utiliser le service, les usagers doivent le trouver. Question pas si anodine que ça, si on pense que l’activité du service peut être déterminée par sa visibilité [l'exemple du Guichet du savoir en est un bon exemple, les pics d'activité se situant souvent après un article dans la presse, du moins à l'époque où j'y participais].

• Etablir une présence visible du service (Logo, orientation, localisation, horaires, disponibilité)
• Etre physiquement disponible pour l’usager
• Proposer un lien visible, non jargonnant sur la page d’accueil du site de la bibliothèque et partout où l’assistance du personnel est susceptible d’être nécessaire.

Interest / Intérêt
Intérêt manifeste dans l’interaction : « A successful librarian must demonstrate a high degree of interest in the reference transaction. »

• Concentrer son attention sur l’usager
• Maintenir un contact « écrit » avec l’usager pour montrer notre attention dans sa demande.
• Répondre aux demandes par mail dans les délais
• Rendre visible la politique du service, doit comprendre le type de question acceptée, le type de réponse donnée, les délais proposés.

Listining, Inquiring / Ecoute, questionnement
Identification des besoins de l’usager sans l’embarrasser = écoute attentive et questionnement pertinent

• Communiquer de manière cordiale et avenante
• Permettre à l’usager d’exprimer sa demande à sa manière avant de répondre
• Identifier l’objectif de l’usager si nécessaire
• Reformuler et demander confirmation
• Préciser les termes ambigus et éviter de jargonner
• Encourager l’usager à préciser sa recherche par des questions ouvertes
• Poser des questions (fermées) permettant de clarifier sa requête
• Rester objectif et ne pas faire interférer de jugements de valeur sur le sujet ou la nature de la demande.
• Utiliser le formulaire pour recueillir le maximum d’information sans empiéter sur la vie privée.

Searching / Recherche

• Déterminer ce que l’usager a déjà essayé et l’encourager à contribuer à la recherche.
• Construire une stratégie de recherche pertinente et complète (mot clés, orthographe, identification des sources)
• Expliquer la stratégie et les sources utilisées à l’usager
• Essayer de conduire la recherche dans le temps imposé/proposé par l’usager
• Expliquer comment utiliser une base si nécessaire
• Elargir ou réduire le champ des résultats avec l’usager
• Après les premiers résultats, demander à l’usager s’il a besoin d’informations complémentaires
• Savoir orienter l’usager vers une base, un bibliothécaire, une bibliothèque au besoin
• Indiquer les sites et ressources à consulter pour que l’usager puisse être autonome
• Utiliser les moyens technologiques à disposition (co-navigation, scan, fax) pour guider l’usager à travers les ressources

Follow-up / Suivi
L’entretien ne se termine pas forcément quand l’usager se déconnecte. Le bibliothécaire doit déterminer si l’usager est satisfait de la réponse apportée.

• Demander à l’usager si la réponse donnée a correctement répondu à la question
• Encourager l’usager à revenir s’il ne trouve pas
• Errer est une bonne technique de suivi
• Consulter d’autres bib ou expert du sujet au besoin
• Informer l’usager sur les moyens de communication disponibles pour le renseignement (email, etc.)
• S’arranger avec l’usager si nécessaire pour effectuer des recherches complémentaires.
• Orienter l’usager vers d’autres sources ou établissements.
• Faciliter l’orientation de l’usager en contactant les établissements mentionnés, en leur précisant le travail précédemment effectué
• Prendre soin de ne pas mettre fin à l’entretien prématurément
• Suggérer à l’usager qu’il recontacte la bibliothèque au besoin

J’inaugure une série de billets sur l’évaluation des services de référence en ligne.

Les SCD du Réseau des universités Ouest-Atlantique (dont Angers) mettent actuellement en place un service de référence en ligne. Virginie (du Buboblog) coordonne l’ensemble.

La projet a , plus ou moins, débuté par les réflexions de Nicolas Morin sur le sujet pour le compte de l’ABES (présentation lors des journées ABES 2007, le diaporama vaut le coup d’oeil).

Pour plus d’informations sur les services de référence en ligne, lisez l’article de Claire NGuyen “Les services de référence virtuels en bibliothèque universitaire” dans le BBF.

En bon monomaniaque, je me suis intéressé à la partie évaluation. Partant de rien (mais aussi par flemmardise, j’avoue), j’ai fait appel … à un service de référence en ligne, le très efficace Question? Réponse! de l’ENSSIB (ma question et la réponse se trouve ici, rubrique Evaluation). Les infos bibliographiques fournies se sont avérées un bon point de départ pour me faire une idée du problème. Autant dire tout de suite qu’il y a très peu de chose en français (à part les recommandations de l’IFLA sur le sujet). Les références sont principalement anglophones, nord-américaines pour la plupart.

Alors, voilà ce que je propose dans cette série : mes notes sur les références bibliographiques mentionnées avec en bonus post (l’équivalent du bonus track pour les blogs), le plan d’évaluation préparé pour le service de référence en ligne du Grand Ouest.

Je commence par un document du Reference and User Services Association (RUSA, le site est une mine d’info, leur blog est ici), une division très active de l’American Library Association. Le document s’intitule Measuring and Assessing Reference Services and Ressources : a Guide

Mes notes-traductions portent surtout sur le point n°2 : Planning Reference Assessment.

Avant d’entamer un projet d’évaluation, déterminez un état complet des questions auxquelles vous souhaitez répondre, les données mesurables nécessaires pour répondre à vos questions et les standards de qualité ou de performance utiles pour mesurer vos résultats

Ensuite, choisissez les outils d’évaluation pertinents pour atteindre les objectifs fixés. Adaptez les outils existant pour répondre à vos besoins et tester toujours vos outils sur un petit échantillon représentatif de données ou de personnes

Enfin, pour consolider la validité de vos résultats, utiliser plusieurs outils d’évaluation.

Questions de base à se poser pour évaluer les services et les sources de référence :

Quelles questions se poser ?

Les questions induisent les instruments et les techniques de recueil de données à mettre en place ainsi que le niveau de qualité qu’on souhaite atteindre.

Quels seront les standards de qualité et de performance utilisés pour évaluer le service ?

Toujours privilégier des objectifs mesurables et comparables avant de mettre en place un projet d’évaluation. Comparer ses résultats aux standards permettra de déterminer si les objectifs ont été atteints.

Comment utiliserez-vous les données recueillies ?

Cette question déterminera le type de données à collecter et ainsi les possibilités d’analyse statistique.

Quelles techniques utiliser pour produire les données nécessaires ?

Il existe de nombreux moyens de recueillir les données et chaque technique influera sur la manière dont on pourra exploiter les données. Utiliser les méthodes quantitatives pour les données ordinales (nbr de questions posées), les méthodes qualitatives pour étudier l’interaction elle-même. Utiliser les deux types de méthodes est encore mieux.

Peut-on utiliser plusieurs méthodes pour confirmer les données ?

La triangulation signifie utiliser plusieurs méthodes de recueil pour consolider les résultats de l’analyse. Voir Wisconsin-Ohio Reference Evaluation Program (WOREP) : http://worep.library.kent.edu/index.html

La multiplication des sources de données améliore la qualité et la validité de l’analyse.

Quelles méthodologies utiliser ?

Le type de données à recueillir déterminera le type d’outils à employer. Une enquête pour mesurer la satisfaction, un focus group pour améliorer le service.

Avez-vous testé vos outils de recueil de données ?

Toujours tester les outils de recueil de données pour s’assurer qu’ils sont bien compris par les enquêtés et qu’ils mesurent ce pour quoi ils ont été prévus. Par exemple, tester un questionnaire sur un échantillon similaire à la population interrogée. Ont-ils bien compris les questions ? Toutes les modalités de réponse sont-elles prises en compte ? Les résultats se codent-ils facilement ? Tester la manière dont vous comptez analyser les données. Est-ce que la méthodologie est adaptée à vos besoins ?

Quelles techniques d’analyse statistique utiliser ?

L’analyse des données est en partie déterminée par le type de données et les méthodes de recueil. Pour mesurer une corrélation entre deux variables, utiliser le test de Pearson. SPSS ou SAS peuvent faciliter cet étape. Il faut néanmoins s’assurer d’utiliser la bonne méthode d’analyse pour les données produites.

Quel public pour le restitution de l’évaluation ?

Le type de public envisagé détermine le type de support et les logiciels (PAO, Tableurs) et la granularité des analyses.