Archive

Posts Tagged ‘ruoa’

L’évaluation des services de référence en ligne (Fin)

26 novembre 2008 3 commentaires

ceci_nest_pas_un_logoAprès ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Statistique/Indicateur Objectif
Nombre total de questions posées par voie électronique Déterminer le volume de l’activité du service.
Nombre de demandes postées via le formulaire Déterminer le volume de l’activité asynchrone.
Nombre de sessions de chat Déterminer le volume de l’activité synchrone.
Durée moyenne d’une session de chat Évaluer la durée moyenne d’une session de chat.
Durée moyenne d’une réponse à une question par formulaire Déterminer si le service répond aux requêtes dans les délais impartis.
Répartition par type de questions posées Déterminer la répartition des requêtes selon le type de questions posées.
Répartition des requêtes par jour de la semaine / par heure de la journée Déterminer la répartition du volume de requête sur la semaine et sur la journée afin de, le cas échéant, modifier l’organisation du service au public.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Statistique/Indicateur Objectif
Évaluation de l’interaction Mesurer la satisfaction de l’usager suite à l’utilisation du service.
Évaluation de la qualité du service Déterminer la qualité globale du service proposé (en dehors de l’interaction, déjà évaluée)
Évaluation de la satisfaction du personnel Mesurer la satisfaction du personnel vis à vis du service de référence en ligne (conditions de travail matérielles, organisationnelles, etc.).

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Statistique/Indicateur Objectif
Connaissance de l’existence du service
Déterminer quel % des membres des universités du RUOA ont connaissance de l’existence du service.
Part des renseignements électroniques sur le nombre total de renseignement Établir la part des demandes de renseignement transmises par voie électronique (mail, formulaire web, chat) sur la totalité des demandes de renseignement et ainsi déterminer le taux de pénétration du renseignement par voie électronique. Répété plusieurs années (tous les 2 ans par roulement entre les établissements participant), cet indicateur pourrait permettre de mesurer l’évolution du service dans les pratiques de renseignement des usagers.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Méthodes Priorité Contenu
Tableau de bord

Haute

Essentiel pour le pilotage du service. Indicateurs mesurant le volume et la répartition de l’activité.

Dans le meilleur des cas, données extraites du module Administration de QuestionPoint, sinon voir Semaine-test.

Questionnaire systématique

Haute

Méthode intégrée par défaut dans l’application QuestionPoint.

Questionnaire court, en ligne visant à mesurer la satisfaction de l’usager vis à vis du service qu’il vient d’utiliser.

Questionnaire annuel ou bisannuel

Moyenne

Questionnaire en ligne pour les usagers et non usagers visant à mesurer la qualité du service proposé (et non plus la simple satisfaction), la connaissance de l’existence et, éventuellement, d’autres informations à préciser.

Questionnaire annuel pour les professionnels

Moyenne

Questionnaire en ligne visant à mesurer la satisfaction des personnes-relais et à proposer des améliorations.

Semaine-test annuelle ou bisannuelle

Haute

Unique moyen de récupérer certaines données pour le tableau de bord si elles ne sont pas extractibles du module Administration.

Faible

Calcul de la part du renseignement en ligne sur le volume total de renseignement permettant l’évaluation de la pénétration des requêtes électroniques dans les pratiques de renseignement.

Publicités

L’évaluation des services de référence en ligne (5)

24 novembre 2008 Laisser un commentaire

Le Guichet du savoirLes normes proposent, finalement, peu d’éléments permettant d’étayer l’évaluation d’un service de référence en ligne. Quand je dis « norme », je pense surtout à la norme ISO 2789 Statistiques internationales de bibliothèques (qui permet de parler le même langage, c’est à dire utiliser les mêmes bases statistiques) ou la norme ISO 11620 (octobre 2008) Indicateurs de performance des bibliothèques.

Il y a, tout de même, deux-trois choses à piocher.

La normes ISO 2789 donne une définition (à mon avis très restrictive) de l’unité de mesure du service de réf : la demande d’information.

« opération de médiation auprès du public par le personnel de la bibliothèque à partir d’une ou de plusieurs sources d’informations (…).
Peut également comprendre des recommandations, l’interprétation ou l’instruction concernant l’utilisation de ces ressources. La demande peut être adressée de vive voix, par téléphone, par courrier, par télécopie ou par voie électronique (messagerie électronique, site Web, de la bibliothèque ou tout autre moyen de communication en réseau)
il est essentiel que les bibliothèques ne comptabilisent pas les demandes de renseignement ou d’orientation et les questions administratives, telles que trouver un agent de la bibliothèque ou repérer des équipements, préciser les horaires d’ouverture ou expliquer le fonctionnement des équipements, imprimantes ou ordinateurs, par exemple.
Sont également exclues les questions relatives à la localisation de documents du fonds déjà identifiés dans le catalogue.

Au final, il reste les demandes de références bibliographiques stricto sensu… mouai ce ne sont pas les questions les plus fréquentes aux bureaux de renseignements. Difficile d’évaluer l’activité réelle d’un service avec cette définition.

Dans la norme 11620 (octobre 2008), deux indicateurs peuvent être utilisés :

Pourcentage des demandes d’information transmises par voie électronique (B.2.2.2) ; Objectif : établir l’utilisation des moyens électroniques de communication (par exemple courriel, référence numérique) pour transmettre des demandes d’informations.

Cet indicateur pourra être utilisé pour évaluer le taux de pénétration du service de réf virtuelle dans les différentes BU participantes.

Taux de réponses correctes (B.3.3.2) ; Objectif :Déterminer le degré d’aptitude du personnel à satisfaire les exigences primordiales pour un bon service de référence, à savoir fournir des réponses correctes aux demandes de renseignement.

Celui-ci sera probablement utilisé, dans un second temps, pour mesurer la qualité des réponses apportées.

PS : pour la petite histoire, j’ai travaillé quelques mois pour le Guichet du savoir à son ouverture.

L’évaluation des services de référence en ligne (3)

23 septembre 2008 Laisser un commentaire

Jeffrey Pomerantz est professeur assistant à la School of Information and Library Sciences de l’université North Carolina (Chapel Hill). Evaluation of Online Reference Services présente l’évaluation des services de référence en ligne selon deux angles : du côté de la bibliothèque et du côté de l’usager (plus proche d’une évaluation de la satisfaction cela dit).
Si les deux premiers articles de cette série présentaient les prémisses de l’évaluation et certains conseils visant à améliorer la qualité du service, le texte de Pomerantz nous fait entrer dans la salle des machines.

Du point de vue de la bibliothèque

  • Pour la messagerie instantanée (IM) : calcul de la durée de l’interaction (moyenne ET médiane), durée de l’attente dans la file (renseignée par le module stat de QuestionPoint). Analyse des logs (pour l’URL d’arrivée). Analyse de l’utilisation du service par jour, semaine, mois.
  • Identifiant du bibliothécaire = activité par bibliothèque/bibliothécaire.
  • URL d’arrivée pour élaborer des démarches marketing.
  • Transcripts (retranscription des échanges sur IM) : plus long, plus compliqué mais plus riche. Permet d’évaluer l’exactitude et la complétude de la réponse. Analyse de l’entretien et des techniques de négociation (entre bibliothécaire et usager); Analyse de la satisfaction si on détermine ce qui peut exprimer la satisfaction (formule de remerciements etc.). Préalables : définir précisément ce qu’est une réponse exacte ou une réponse complète, une expression de gratitude, etc. Pour une analyse fiable, les catégories utilisées pour coder doivent être claires.
  • Analyse du coût : complexe à mettre en oeuvre (quel budget prendre en compte ? Budget doc, budget RH ?)

Du point de vue de l’usager

  • De nombreux éléments mesurés pour le renseignement présentiel peuvent être réutilisés pour les services de références virtuels (SRV): complétude de la réponse, amabilité, politesse et intérêt du bibliothécaire, volonté de réutiliser le service.
  • Le moyen de communication utilisé (mail, IM, vidéoconférence) déterminera ce qu’il est possible de recueillir comme info.
  • Importance de la mesure du « Willingness to return » (volonté dépersonnalisée, désincarnée avec le service en ligne) surtout depuis la multiplication des SRV.
  • Importance également de la complétude et de l’utilité de la réponse (demande à faire systématiquement en fin d’entretien : « est-ce que j’ai répondu à votre question ? ») même si l’usager met généralement un moment avant d’utiliser la réponse faite.
  • Certains éléments de satisfaction peuvent être recueillis immédiatement après l’entretien : politesse, volonté d’aider, facilité d’utilisation du logiciel.
  • D’autres éléments (l’utilité de la réponse) pourront être recueillis dans un second temps (questionnaire par échantillon ?)

Autant dire que certaines pistes évoquées dans l’article seront reprises dans le plan d’évaluation du service. Il manque néanmoins un point de vue, celui du bibliothécaire. L’interrogation de l’usager coule de source, celle de la bibliothèque (investissement en en RH, évolution de l’activité) également. Si on veut correctement trianguler l’évaluation du service, il faut rajouter la mesure de la satisfaction du bibliothécaire. Ne pas oublier qu’un service de qualité doit répondre aux besoins des usagers tout en respectant la politique du service.

L’évaluation des services de référence en ligne (2)

10 septembre 2008 Laisser un commentaire

Ask a Librarian
Suite de la série de posts sur l’évaluation des services de référence en ligne. Le premier est ici.

Encore une article de la RUSA (j’avais oublié leur fil Twitter): Guidelines for Behavioral Performance of Reference and Information Service Providers (2004). Cet article traite de la manière de fournir un service de qualité. ça ne concerne pas directement l’évaluation mais c’est tout de même fortement lié. Pourquoi perdre son temps à évaluer la qualité d’un service si ce n’est pas pour l’améliorer ?

Éditée pour la première fois en 1996, cette liste de conseils a intégré, au fur et à mesure, les modalités virtuelles de ces services (mail, messagerie instantanée). On remarque que les deux types de services (référence en présentiel et à distance) sont traités dans le même mouvement, la plupart des conseils s’appliquant aux deux.

D’ailleurs pour moi, il n’y a pas de distinction à faire entre le bureau de renseignements et le service de référence en ligne, ils doivent bénéficier de la même approche : se fondre dans l’environnement de travail des usagers, être aussi mobile et réactif qu’eux, être présent là où on les attend le moins. C’est pour cela que j’avais particulièrement apprécié le service de renseignements mobile de Paris 8.

Je suis persuadé que la mise en place d’un service de référence en ligne ne peut pas faire l’économie d’un aménagement voire d’une profonde refonte des bureaux de renseignements physiques. Sur ce point, la complémentarité doit être le maître mot.

Approachability / facilité d’accès

Avant d’utiliser le service, les usagers doivent le trouver. Question pas si anodine que ça, si on pense que l’activité du service peut être déterminée par sa visibilité [l’exemple du Guichet du savoir en est un bon exemple, les pics d’activité se situant souvent après un article dans la presse, du moins à l’époque où j’y participais].

  • Etablir une présence visible du service (Logo, orientation, localisation, horaires, disponibilité)
  • Etre physiquement disponible pour l’usager
  • Proposer un lien visible, non jargonnant sur la page d’accueil du site de la bibliothèque et partout où l’assistance du personnel est susceptible d’être nécessaire.

Interest / Intérêt
Intérêt manifeste dans l’interaction : « A successful librarian must demonstrate a high degree of interest in the reference transaction. »

  • Concentrer son attention sur l’usager
  • Maintenir un contact « écrit » avec l’usager pour montrer notre attention dans sa demande.
  • Répondre aux demandes par mail dans les délais
  • Rendre visible la politique du service, doit comprendre le type de question acceptée, le type de réponse donnée, les délais proposés.

Listining, Inquiring / Ecoute, questionnement
Identification des besoins de l’usager sans l’embarrasser = écoute attentive et questionnement pertinent

  • Communiquer de manière cordiale et avenante
  • Permettre à l’usager d’exprimer sa demande à sa manière avant de répondre
  • Identifier l’objectif de l’usager si nécessaire
  • Reformuler et demander confirmation
  • Préciser les termes ambigus et éviter de jargonner
  • Encourager l’usager à préciser sa recherche par des questions ouvertes
  • Poser des questions (fermées) permettant de clarifier sa requête
  • Rester objectif et ne pas faire interférer de jugements de valeur sur le sujet ou la nature de la demande.
  • Utiliser le formulaire pour recueillir le maximum d’information sans empiéter sur la vie privée.

Searching / Recherche

  • Déterminer ce que l’usager a déjà essayé et l’encourager à contribuer à la recherche.
  • Construire une stratégie de recherche pertinente et complète (mot clés, orthographe, identification des sources)
  • Expliquer la stratégie et les sources utilisées à l’usager
  • Essayer de conduire la recherche dans le temps imposé/proposé par l’usager
  • Expliquer comment utiliser une base si nécessaire
  • Elargir ou réduire le champ des résultats avec l’usager
  • Après les premiers résultats, demander à l’usager s’il a besoin d’informations complémentaires
  • Savoir orienter l’usager vers une base, un bibliothécaire, une bibliothèque au besoin
  • Indiquer les sites et ressources à consulter pour que l’usager puisse être autonome
  • Utiliser les moyens technologiques à disposition (co-navigation, scan, fax) pour guider l’usager à travers les ressources

Follow-up / Suivi
L’entretien ne se termine pas forcément quand l’usager se déconnecte. Le bibliothécaire doit déterminer si l’usager est satisfait de la réponse apportée.

  • Demander à l’usager si la réponse donnée a correctement répondu à la question
  • Encourager l’usager à revenir s’il ne trouve pas
  • Errer est une bonne technique de suivi
  • Consulter d’autres bib ou expert du sujet au besoin
  • Informer l’usager sur les moyens de communication disponibles pour le renseignement (email, etc.)
  • S’arranger avec l’usager si nécessaire pour effectuer des recherches complémentaires.
  • Orienter l’usager vers d’autres sources ou établissements.
  • Faciliter l’orientation de l’usager en contactant les établissements mentionnés, en leur précisant le travail précédemment effectué
  • Prendre soin de ne pas mettre fin à l’entretien prématurément
  • Suggérer à l’usager qu’il recontacte la bibliothèque au besoin

L’évaluation des services de référence en ligne (1)

8 septembre 2008 6 commentaires

J’inaugure une série de billets sur l’évaluation des services de référence en ligne.

Les SCD du Réseau des universités Ouest-Atlantique (dont Angers) mettent actuellement en place un service de référence en ligne. Virginie (du Buboblog) coordonne l’ensemble.

La projet a , plus ou moins, débuté par les réflexions de Nicolas Morin sur le sujet pour le compte de l’ABES (présentation lors des journées ABES 2007, le diaporama vaut le coup d’oeil).

Pour plus d’informations sur les services de référence en ligne, lisez l’article de Claire NGuyen « Les services de référence virtuels en bibliothèque universitaire » dans le BBF.

En bon monomaniaque, je me suis intéressé à la partie évaluation. Partant de rien (mais aussi par flemmardise, j’avoue), j’ai fait appel … à un service de référence en ligne, le très efficace Question? Réponse! de l’ENSSIB (ma question et la réponse se trouve ici, rubrique Evaluation). Les infos bibliographiques fournies se sont avérées un bon point de départ pour me faire une idée du problème. Autant dire tout de suite qu’il y a très peu de chose en français (à part les recommandations de l’IFLA sur le sujet). Les références sont principalement anglophones, nord-américaines pour la plupart.

Alors, voilà ce que je propose dans cette série : mes notes sur les références bibliographiques mentionnées avec en bonus post (l’équivalent du bonus track pour les blogs), le plan d’évaluation préparé pour le service de référence en ligne du Grand Ouest.

Je commence par un document du Reference and User Services Association (RUSA, le site est une mine d’info, leur blog est ici), une division très active de l’American Library Association. Le document s’intitule Measuring and Assessing Reference Services and Ressources : a Guide

Mes notes-traductions portent surtout sur le point n°2 : Planning Reference Assessment.

Avant d’entamer un projet d’évaluation, déterminez un état complet des questions auxquelles vous souhaitez répondre, les données mesurables nécessaires pour répondre à vos questions et les standards de qualité ou de performance utiles pour mesurer vos résultats

Ensuite, choisissez les outils d’évaluation pertinents pour atteindre les objectifs fixés. Adaptez les outils existant pour répondre à vos besoins et tester toujours vos outils sur un petit échantillon représentatif de données ou de personnes

Enfin, pour consolider la validité de vos résultats, utiliser plusieurs outils d’évaluation.

Questions de base à se poser pour évaluer les services et les sources de référence :

Quelles questions se poser ?

Les questions induisent les instruments et les techniques de recueil de données à mettre en place ainsi que le niveau de qualité qu’on souhaite atteindre.

Quels seront les standards de qualité et de performance utilisés pour évaluer le service ?

Toujours privilégier des objectifs mesurables et comparables avant de mettre en place un projet d’évaluation. Comparer ses résultats aux standards permettra de déterminer si les objectifs ont été atteints.

Comment utiliserez-vous les données recueillies ?

Cette question déterminera le type de données à collecter et ainsi les possibilités d’analyse statistique.

Quelles techniques utiliser pour produire les données nécessaires ?

Il existe de nombreux moyens de recueillir les données et chaque technique influera sur la manière dont on pourra exploiter les données. Utiliser les méthodes quantitatives pour les données ordinales (nbr de questions posées), les méthodes qualitatives pour étudier l’interaction elle-même. Utiliser les deux types de méthodes est encore mieux.

Peut-on utiliser plusieurs méthodes pour confirmer les données ?

La triangulation signifie utiliser plusieurs méthodes de recueil pour consolider les résultats de l’analyse. Voir Wisconsin-Ohio Reference Evaluation Program (WOREP) : http://worep.library.kent.edu/index.html

La multiplication des sources de données améliore la qualité et la validité de l’analyse.

Quelles méthodologies utiliser ?

Le type de données à recueillir déterminera le type d’outils à employer. Une enquête pour mesurer la satisfaction, un focus group pour améliorer le service.

Avez-vous testé vos outils de recueil de données ?

Toujours tester les outils de recueil de données pour s’assurer qu’ils sont bien compris par les enquêtés et qu’ils mesurent ce pour quoi ils ont été prévus. Par exemple, tester un questionnaire sur un échantillon similaire à la population interrogée. Ont-ils bien compris les questions ? Toutes les modalités de réponse sont-elles prises en compte ? Les résultats se codent-ils facilement ? Tester la manière dont vous comptez analyser les données. Est-ce que la méthodologie est adaptée à vos besoins ?

Quelles techniques d’analyse statistique utiliser ?

L’analyse des données est en partie déterminée par le type de données et les méthodes de recueil. Pour mesurer une corrélation entre deux variables, utiliser le test de Pearson. SPSS ou SAS peuvent faciliter cet étape. Il faut néanmoins s’assurer d’utiliser la bonne méthode d’analyse pour les données produites.

Quel public pour le restitution de l’évaluation ?

Le type de public envisagé détermine le type de support et les logiciels (PAO, Tableurs) et la granularité des analyses.