1) L’administration de Libqual est souvent une période de découverte et d’inventivité pour l’établissement qui le met en place. L’intense communication accompagnant l’enquête et censée lui assurer un taux de réponse satisfaisant a rarement d’équivalent sur d’autres projets. Cet instant permet parfois de s’interroger sur la visibilité de l’établissement au sein de son université et d’explorer tous les canaux de communication à sa disposition pour diffuser son message, des plus officiels et évidents (page d’accueil du site web de l’université, lettre du président) aux moins légitimes (usages des réseaux sociaux internes ou annonces sur les « murs » des groupes Facebook liés à l’université).

→ Capitalisez ces découvertes, elles vous serviront pour les prochaines opérations.

2) Libqual oblige à mettre de côté la notion de satisfaction. Libqual ne mesure pas la qualité objective, ou la satisfaction des usagers (liée à un échange, une interaction précise datable et localisable) mais la qualité perçue (perceived quality) qui relève plus de l’expérience globale de l’usager dans le service étudié (sur ce sujet voir l’article fondateur de la méthode Servqual) . Cette approche constitue à la fois l’esprit de l’enquête Libqual (matérialisé par les trois niveaux de service évalués pour chaque item : minimum, souhaitable et observé) et sa complexité

→ Libérez-vous de la satisfaction des usagers (qui est plutôt celle du bibliothécaire). Appréhendez votre établissement à travers le regard et le jugement de vos usagers.

3) Par le questionnement proposé et les résultats produits , Libqual implique d’écouter les usagers. Cela semble évident à première vue mais, en fait, pas tant que cela. Les moments et les lieux d’expression des usagers sont souvent réduits à la portion congrue. La production d’un discours sur l’établissement (remplir un questionnaire Libqual peut équivaloir à la production d’un discours) et la prise de connaissance de ces discours par l’établissement l’engagent dans une certaine mesure à produire , à son tour, un discours en réponse aux usagers voire, mieux, accompagner le discours par l’action afin d’améliorer les services proposées et ainsi se rapprocher des attentes exprimés.

→ Questionner-écouter-agir : un nouveau cercle vertueux

Annoncée depuis plus d’un an, la version allégée de Libqual+ est officiellement sortie après un article “fondateur” de Martha Kirillidou, Bruce Thompson et Colleen Cook dans la revue Performance and Measurement Metrics : Item sampling in service quality assessment surveys to improve response rates and reduce respondent burden: The “LibQUAL+® Lite” example (accès à l’article payant).

Ce n’est pas un secret, le questionnaire Libqual (en plus d’être spécial avec les 3 dimensions explorées) est long, très long même pour une enquête web, entre 15 et 20 minutes. Ce qui entraîne un perte considérable de répondants potentiels.

Le principe

Partant de ce constat, l’équipe de l’ARL a planché sur un nouveau protocole basé sur l’échantillonnage (matrix sampling) des questions principales, 22 questions qui constituent le cœur du questionnaire. Tous les enquêtés devront répondre aux 3 mêmes questions parmi les 22: une question “fixe” par dimension (Affect of service, Information control, Library as place). Puis ils répondront à :

• 2 questions tirées au sort parmi les 7 items restant d’Affect of service
• 2 questions tirées au sort parmi les 8 items restant d’Information control
• 1 question tirée au sort parmi les 4 items restant de Library as place

8 questions principales au lieu de 22, les autres questions (satisfaction générale, fréquence d’utilisation, questions signalétiques) sont maintenues.

Les résultats

D’après les résultats du test, ce nouveau protocole fait chuter le temps médian de réponse de moitié. Cela a pour effet, d’augmenter le nombre de questionnaires complétés. Mais, l’article révèle aussi que les résultats entre le protocole standard et Libqual Lite varient, et parfois de manière significative (dans le test, les établissements administraient les deux enquêtes dans des proportions différentes). Pour les auteurs, le fait d’avoir un taux de participation plus élevé rend les résultats Libqual Lite plus précis. L’enquête Libqual standard encouragerait les usagers les plus enthousiastes à compléter le questionnaire. Avec Libqual Lite, les mécontents s’exprimeront plus facilement !

Comparaisons

Dans les prochaines années, l’ARL encouragera l’utilisation du protocole Libqual Lite. Se posera alors la question de la comparaison entre les deux jeux de résultats (Lite et Standard). L’article affirme qu’un rapport mathématique existe entre les deux résultats et qu’une simple équation permet de passer d’un jeu à l’autre pour effectuer les comparaisons. Cette méthode sera probablement étayée par de nombreux articles.

Étrangement, cela me fait penser aux débats actuels sur le caractère scientifique de l’activité des conservateurs et la R&D en bibliothèque, chez Daniel ou Lully.  Libqual Lite est, à mon sens, un très bon exemple : un problème (le protocole Libqual est trop long ce qui génère une perte importante du taux de participation), une méthode (nouveau protocole en test dans plusieurs établissements), une validation des résultats, un publication dans une revue pour “officialiser” la nouvelle méthode. Pourquoi ne trouve-t-on pas (ou si peu) ce type de travail en France ?

J’ai eu deux occasions de parler de Libqual+ ces dernières semaines.

La bibliothèque Sciences Po a accueilli la journée Libqual+ organisée à l’initiative de Jean-Jacques Flahaut (Université Lyon 1) le 29 avril 2009. Ce fut l’occasion de réunir les participants français 2008, 2009 et les établissements intéressés pour une participation future. Le compte-rendu et les supports sont disponibles sur le wiki Libqual-fr. Voici mon intervention sur Libqual et la restitution des résultats à Angers

J’ai également participé à la formation continue “Evaluation d’un SCD : quels tableaux de bord ?”. Jean-Jacques Flahaut (toujours lui) m’a proposé d’intervenir sur “Libqual+ : source d’indicateurs qualitatifs”. C’est un champ que je n’avais pas encore exploré.  J’ai essayé d’envisager les résultats Libqual+ comme des indicateurs de performance puis j’ai zoomé sur la population si particulière (pour Libqual hein!) des enseignants-chercheurs.

*

La dernière diapo est un élément sur lequel je réfléchis en ce moment. Au-délà des restitutions et de la communication, comment valoriser les résultats Libqual+ (donc l’enquête elle-même) dans les documents “officiels” du SCD : rapport d’activité, contrat quadriennal, préparation de projet ?

Comme je l’expliquais dans ce billet, la campagne de restitution des actions Libqual se compose de 9 affiches : 3 par thème (ressources, espaces, accueil) X 3 bibliothèques (BB=Lettres-Sciences-SHS ; STS=Droit-Eco ; MTC=Santé). Je triche un peu car il y a, en fait, 8 affiches différentes. Certaines ne changent que d’un ou deux termes mais il nous semblait important de s’adresser aux usagers ou usagers potentiels de chaque BU.

Toutes les actions décrites seront réalisées. Je suis chargé de la supervision de leur application en coordination avec les responsables de section. Un point sera régulièrement mis à l’ordre du jour des réunions de direction.

Cliquez sur l’image pour l’agrandir ou téléchargez le format A3 en pdf pour l’imprimer et l’afficher dans votre bureau

Deux articles sont parus sur l’utilisation de l’enquête Libqual+ à Angers.

Le premier dans la revue étudiante d’Angers K-libres (que je reproduis ci-dessous avec leur aimable courtoisie ).

Le second article est paru dans le numéro 753 de Livres-Hebdo, Carole Letrouit et moi sommes interviewés par Véronique Heurtematte. Avec en bonus, un poster central à découper et punaiser dans votre bureau .

Je suis intervenu en compagnie de Dominique Wolf (directrice du SCD Lyon 1) et Carole Letrouit (directrice adjointe du SCD Paris 5) lors de la journée d’étude du 38e congrès de l’ADBU.

Si vous voulez savoir comment le congrès s’est déroulé, je vous renvoie au compte rendu (1, 2, 3) de mon directeur.

Si vous voulez voir mon intervention, c’est sur Canalc2 (dernier tiers de la vidéo). Elle porte sur des points spécifiques à Angers (le lien entre une enquête locale en 2005 et Libqual en 2008, le plan de communication) et quelques précisions sur le groupe Libqual-fr.

Le diaporama est disponible sur slideshare (vous pouvez le télécharger). Il est sous licence CC.

Mes impressions sur l’intervention : c’était ma première présentation dans ce contexte (amphi rempli de directeurs de SCD + représentants du ministère). J’étais mort de trouille jusqu’à ce que je m’installe sur la scène. Je dois être le premier intervenant de l’adbu à avoir twitté (et cité Twitter) en direct. D’ailleurs, ça m’a permis d’évacuer pas mal de stress malgré les tentatives de déstabilisation de ma hiérarchie Donc merci aux twitteurs, aux twitteuses, à Orléans et Montpellier.

Après avoir vu la présentation de Richard Dumont (directeur des bibliothèques de l’université de Montréal), je mesure les progrès qu’il me reste à parcourir.

Pré-restitution. Restitution au personnel et à la tutelle. Première restitution aux usagers.

La dernière phase de la restitution se déroule en cette rentrée universitaire 2008.

Les principales données quantitatives sont déjà en ligne. Comme le soulignait Lully dans ce commentaire, il manque encore une synthèse rédigée épargnant au lecteur la compréhension de la méthode Libqual+ et l’aridité des chiffres. Tout ça est prévu mais ça prend du temps.

Il est plus simple (bien qu’un peu long) de produire des tableaux à partir de données brutes que de synthétiser l’ensemble des résultats. D’ailleurs, quelle synthèse ? Une synthèse de tous les résultats ? une synthèse par site ? par discipline ? par profil ? une synthèse axée sur les principales attentes ?

Nous avons diffusé ces résultats chiffrés juste avant les vacances estivales pour plusieurs raisons : vis-à-vis des usagers, il nous semblait important de communiquer, même tardivement, sur l’enquête avant la fin de l’année universitaire ; vis-à-vis des “professionnels de la profession”, les résultats d’un établissement pilote pouvaient être attendus.

La communication sur les résultats Libqual+ intègre un plan plus large. Nous voulons profiter de la période pour transmettre un certain nombre d’informations à nos usagers (dont les nouveaux) sans pour autant les submerger. Plusieurs services seront mis en route à la rentrée (prêt de BD, prêt de liseuses, prêt de portables sur critères sociaux, etc.).

La restitution Libqual sera le moment phare de notre communication. Elle durera 6 semaines, 2 semaines pour chaque dimension : Espaces, Accueil, Ressources. Les messages seront adaptés à chacune de nos 3 bibliothèques. Ce qui fait 9 affiches au total.

Sur la forme, nous avons réutilisé le visuel de la première campagne. Parce qu’il fait le lien entre les deux phases de l’opération (enquête/restitution) et qu’il permet de satisfaire une fois de plus nos ego surdimensionnés.

Sur le fond, nous voulions un message direct aux usagers. Montrer à ceux qui avaient pris la peine de participer, que nous les avions entendu. Montrer à ceux qui n’avaient pas participé, que nous étions prêt à les entendre. L’affichage est prévu dans la BU (posters, écran TV, site web) et hors les murs (affichage A2, réseau TV et site web de l’université, journal étudiant, radio campus).

Les “besoins” des usagers ont été déterminés par les résultats Libqual (en gros, les zones rouges des graphiques) analysés au regard des situations locales et étayés par les commentaires (préalablement recodés et catégorisés). Certaines réponses/actions étaient déjà “dans les tuyaux”, d’autres ont demandé un examen en réunion de direction, les plus délicates à mettre en œuvre feront l’objet d’un travail à moyen/long terme avec constitution de groupes de travail (notamment l’accueil). Les neufs affiches seront prochainement disponibles sur la page Libqual du site de la BU et sur le wiki Libqual-fr.

[MàJ 20/09/08] Lorsque ce post fut publié, j’était à Pau en train d’expliquer la même chose (et un peu plus) en compagnie de Dominique Wolf et Carole Letrouit au congrès de l’ADBU.

Si le concept d’assessment librarian vous échappe, je vous conseille de jeter un coup d’œil à Creating an assessment plan : four case studies (en anglais), présentation qui s’est déroulée à Seattle dans le cadre de la Library Assessment Conference 2008 (4-7 août 2008).

Les fiches de poste ou lettres de mission de quatre bibliothécaires en charge de l’évaluation (University of Texas Southwestern Medical Center, University of Chicago, Columbia University, Cornell University) illustrent leurs activités, leurs responsabilités mais aussi la place qu’elles occupent au sein de leur établissement.

Des exemples de plans d’évaluation sont également disponibles. Instructifs en ce qu’ils démontrent l’importance de l’évaluation des services dans ces bibliothèques (en terme de structuration, de ressources humaines et matérielles dédiées, etc.).

L’enquête Libqual joue souvent un rôle central dans l’articulation de ces plans. Tous les trois ans (généralement), elle photographie l’évolution de l’établissement au regard des grands orientations inscrites au “Strategic Plan”, elles-mêmes déterminées par les précédentes enquêtes Libqual.

Le SCD d’Angers compte employer la même approche en faisant coïncider enquêtes Libqual et contrats quadriennaux. Ils nous reste pourtant du chemin à parcourir avant de disposer d’un plan d’évaluation des services de la qualité de ceux présentés ici.

PS : Bertrand Calenge a ouvert son blog. L’info a largement été relayée dans la biblioblogosphère mais autant faire circuler les bonnes nouvelles !

Résumé des épisodes précédents ici et ici.

Donc voilà, on a abandonné, pour le moment, la partie communication interne. Et on se tourne vers l’usager … qui a quitté la BU juste après ses exams mi juin. Raté…

C’est pas grave, on a quand même mis les résultats sur le site de la BU. On se chargera de communiquer sur tout ça à la rentrée (je détaillerai dans le prochain billet).

Donc la diffusion des résultats.

On propose en ligne le Notebook Libqual+, 100 pages pas très digestes qui présentent les résultats généraux et par statut (Licence, Master, Enseignants-chercheurs, etc.) et … c’est tout. Ce qui semble le plus intéressant (analyse par site, par discipline) est à la charge de l’établissement. Il faut donc télécharger le fichier Excel des résultats sur le site Libqual.org, faire chauffer son tableur préféré (de préférence Excel, le fichier a quelques soucis sous OpenOffice Calc, je n’ai pas essayé sous Google Spreadsheets) et réviser son C2I. Ensuite, ce sont quelques heures passées à reproduire des tableaux croisées dynamiques en essayant de ne pas se noyer sous les données.

J’en ai tiré quelques tableaux (résultats par site, par discipline agrégée, etc.) que j’ai mis dans un fichier pdf. Je n’ai pas pu illustrer ces données comme je le souhaitais, car Excel (et Calc) ne propose pas le graphique correspondant à ce que l’on retrouve dans le notebook (si quelqu’un a une astuce, je suis preneur). J’attends le fichier de données au format SPSS (logiciel de traitement d’enquête) pour voir ce qu’il est possible de faire. Si j’arrive à produire ces graphiques, je mettrai à jour le fichier pdf sur le site de la BU.

On a mis à disposition le fichier Excel des données brutes pour le SCD, ça nous semblait cohérent avec notre projet de restitution et de diffusion des résultats. Si certain(e)s veulent s’amuser avec le fichier Excel, qu’ils n’hésitent pas !

Enfin, comme tout les résultats et les graphiques ne sont pas évidents à comprendre ou à interpréter, on fournit, également sur le site, un document expliquant sommairement la signification des données et la construction des graphiques.

J’en parlais ici il y a quelques jours ; la restitution des résultats Libqual+ a débuté.

J’ai d’abord présenté les résultats en réunion de direction puis lors d’une rencontre avec les représentants du personnel.

Voici le support de présentation proposait durant la réunion générale du Service commun de la documentation. Pour info :

• BB = Belle-Beille, bibliothèque centrale de Lettres, Sciences humaines et sociales, Sciences
• STS = Saint Serge, bibliothèque de Droit, d’Economie et de Gestion (située en centre ville)
• MT = Montéclair, bibliothèque de Médecine, Pharmacie

Le diaporama présente les résultats pour le SCD puis par section, certaines questions locales (les plus pertinentes) et enfin les questions générales de satisfaction. J’ai également évoqué la représentativité de l’enquête en faisant un parallèle avec l’enquête de publics de 2005 et les données du consortium canadien.

Pour le Conseil de la documentation, j’ai légèrement modifié le support. J’ai plutôt évoqué la dimension internationale et surtout nationale du projet Libqual+. J’ai donné les résultats pour le SCD et par statut (licence, Master/doctorat, enseignants-chercheurs) ces données me semblant plus intéressantes pour un public d’enseignants, d’administratifs et de responsables de bibliothèques associées. J’ai privilégié les illustrations graphiques (donc moins de tableaux). En conclusion, j’ai fourni quelques indications sur les grandes tendances qui se dégageaient des premières analyses.

Le prochain billet abordera le plan de communication que nous avons élaboré pour la restitution des résultats auprès des usagers.