Nouvelle présentation de ubib.fr à l’Enssib cette fois, dans le cadre de la formation continue “Service de renseignement en ligne” organisée par Catherine Jackson.

La commande comprenait une présentation du service où j’ai repris le diaporama des Journées ABES agrémenté de 2 slides supplémentaires (8 et 9) et sans la partie auto-flagellation. On m’a également demandé un focus sur l’évaluation du service, partie que je n’avais pas eu le temps d’aborder à Montpellier et sur laquelle j’ai pu me lâcher

J’ai expliqué en quoi consistait l’évaluation d’ubib.fr : la partie quantitative pour laquelle il manque encore 2 indicateurs particulièrement retors et la partie qualitative où tout reste à faire. Sur le pourquoi du plan d’évaluation, je vous renvoie à mes précédents billets sur le sujet.

The Evaluation of Worldwide Digital Reference Services in Libraries est un livre décevant. Le titre suggérait un contenu en parfaite adéquation avec mon objet de recherche mais au final les chapitres intéressants ne sont pas nombreux. Je vais tout de même essayer de vous présenter, dans ce billet, les point qui m’ont paru pertinents lorsqu’on réfléchit à la partie Evaluation d’un nouveau service de réf en ligne.

The Evaluation of … est le compte rendu d’une évaluation croisée, réalisée par des étudiants chinois et allemands sous la direction de Jia Liu (Beijing University) et Ingeborg Simon (Stuttgart Media University). L’étude porte sur des services de référence en ligne exclusivement asynchrones (par mail) dans des bibliothèques universitaires et nationales.

La méthode de l’enquête
(quelques mots pour donner le contexte)

L’échantillon regroupe environ 200 bibliothèques. Les étudiants ont d’abord : sélectionné les bibliothèques à évaluer (2 groupes d’échantillons), puis ils ont définis et spécifié les critères d’évaluation. Après avoir testé leur méthode d’évaluation (sur un petit nombre de bibliothèques), ils l’ont modifié en fonction des premiers retours. Ils ont ensuite procédé au recueil des données : chaque groupe a envoyé 2 questions aux bibliothèques sélectionnées. Ils ont collecté et organisé les résultats, analysé les réponses en fonction des critères définis. Enfin les 2 groupes d’étudiants ont présenté et croisé leurs conclusions.

Sur l’évaluation des services de référence en ligne
(sûrement la partie la plus intéressante de l’ouvrage avec un bibliographie très détaillée sur le sujet)

Se pose la question des éléments à évaluer dans un service de réf en ligne. Ils différent selon les professionnels s’étant penchés sur la question. Pour J.B. Whitlach, il faut prendre en compte: les aspects économiques (coût, productivité du service), la procédure (aspects du système utilisé et interactions avec l’usager), les ressources (livres, périos, index, base de données, équipements et interfaces des environnements physiques ou électroniques) et les résultats (informations ou connaissances délivrées à l’usager).

Pour McClure et Lankes, les dimensions à prendre en compte dans l’évaluation sont : la mesure des résultats (qualité des réponses), la mesure des processus (efficacité et efficience des procédures), les mesures économiques (coût et rentabilité du service) et la satisfaction de l’usager (degré à partir duquel l’usager du service se déclare satisfait des modalités et des résultats).
Pour les deux auteurs,  le qualité du service dépend de : la courtoisie (attitude des bibliothécaires), l’exactitude (justesse des réponses fournies par le staff), la satisfaction de l’utilisateur, les habitués (% d’usagers qui utilisent plusieurs fois le service), la connaissance du service (population connaissant l’existence du service), le coût (coût par interaction).

Un groupe d’expert a défini dix indicateurs permettant d’évaluer le service de réf en ligne :

• Accessibilité : disponibilité via le web

• Réponse rapide : 100% des réponses dans un laps de temps de 1 ou 2 jours ouvrés .

• Politique de service claire : de la procédure pour poser un question aux types de réponses fournie

• Interactivité : entretien et réponse en temps réel

• Informatif : des experts pour répondre aux demandes et des informations étayant la réponse de l’expert.

• Autorité : des experts qui peuvent répondre aux questions et indiquer des ressources en ligne à consulter.

• Confidentialité : tous les échanges entre usager et personnel sont confidentiels.

• Critique et évaluation : une procédure régulière pour vérifier la satisfaction des usagers et du personnel.

• Fourniture d’informations liées : liste de liens, FAQ

• Communication sur le service : informer les usagers potentiels de la valeur du service pour leur travaux.

Dans son dernier numéro (2008, volume 9, numéro 2), la revue Performance Measurement and Metrics (vous ai-je déjà dit tout le bien que je pensais de cette revue ?) a publié un article intitulé “A qualitative assessment of the Kindle e-book reader: results from initial focus groups” et rédigé par 4 bibliothécaires / enseignants de la Texas A&M University (là où le projet Libqual+ est né).

Petit rappel, le Kindle est la liseuse (ou livre électronique) du géant Amazon, sortie fin 2007. Une version spéciale Etudiant a été annoncée récemment.

L’étude visait à déterminer si le Kindle pouvait être perçu par les usagers comme une alternative crédible au livre papier (“an acceptable alternative to the printed book“), si il pouvait trouver sa place dans une bibliothèque de recherche et si le reader n’était pas le moyen le plus rentable (“cost-effective way“) pour diffuser l’information auprès des étudiants.

L’article revient, dans un premier temps, sur les problèmes dont on entend souvent parler à propos des liseuses : un marché encore jeune mais récemment bouleversé par l’arrivée de poids lourds (Amazon et Sony en tête), une offre de titres encore limitée, une navigation imparfaite, un design et une ergonomie à améliorer, un problème récurrent de formats (qui devrait se régler prochainement), la question des DRM, etc.

La méthode

Avant d’entamer une étude, la bibliothèque a tout de même acheté 1 exemplaire qu’elle a fait circuler dans la “library technology trends team“, puis l’équipe a effectué un appel à volontaire parmi le personnel pour participer à l’enquête. 40 machines accompagnées de $100 en bons d’achat Amazon ont été mises à disposition du personnel des bibliothèques et des enseignants participants.

Les volontaires devaient remplir un questionnaire faisant le point sur leur niveau de diplôme, leurs lectures, leurs connaissances et leur aisance face aux outils technologiques (“technology literacy and comfort” je suis preneur d’une meilleure traduction) et leurs attentes dans le Kindle. Les données recueillies ont permis de construire les questions des focus groups (entretiens collectifs).

Les six focus groups (menés par un membre de l’équipe, environ 1h, entre 5 et 6 participants) ont débuté 1 mois après la distribution des liseuses. Les questions ont porté sur les impressions générales vis-à-vis de l’outil, les usages, les fonctionnalités à développer ou ajouter, les pratiques de lecture, etc.

Les résultats

Les premières réactions furent assez diverses “from profound disappointment to absolute excitement“. Pêle-mêle, les participants ont critiqué le design très 80’s de la machine, sa pochette protectrice, le positionnement des boutons, la sensibilité de la molette, l’accès internet sans fil pour certains. D’autres ont réellement apprécié la prise en main de la liseuse. Pour ce qui est des usages, peu ont testé les audiobooks car peu savaient que cela était possible.

Autre point intéressant, le Kindle ne s’oublie pas, il ne disparaît pas au profit de l’immersion dans la lecture. Le clic sur les boutons, le temps de chargement des pages sont autant d’éléments qui distraient le lecteur (le type de contenu a aussi un rôle dans cela).

Pour répondre à la question de l’alternative crédible au livre papier (le p-book), c’est du 50-50. La moitié pense que qu’il ne pourra jamais être remplacé, l’autre moitié estime qu’en s’y habituant, la liseuse peut se fondre dans leur pratique de lecture.

Concernant les points à améliorer sur le Kindle, les participants ont mentionné : l’écran (tactile, couleurs, plus large, plus de contraste, disposant d’un rétro-éclairage), le système de prise de notes (import/export, indépendant du livre consulté), le design (pourquoi ne pas faire une liseuse aussi “sexy” qu’un iPod ou un iPhone ?), les surfaces vides (i.e sans bouton, où l’on peut poser ses mains).

Sur le prix de la machine, je retiens la phrase d’un participant : “[The Kindle is] a $400 solution to a $150 problem“. L’offre éditoriale est encore trop peu développée et manque surtout de diversité ; quant au tarif pratiqué, les participants le trouvent encore trop élevé pour une version électronique (voir le billet de Francis Pisani sur ce point).

Pour le positif, les testeurs ont mentionné le dictionnaire intégré, la possibilité de télécharger un chapitre et les listes de recommandations sur le site d’Amazon, son côté pratique pour les voyages, la rapidité du chargement. Malgré cela, aucun des participants n’a déclaré qu’il s’équiperait d’un e-reader une fois l’étude terminée.

L’enquête est toujours en cours, le recueil des données se poursuit. De nouveaux focus groups doivent interroger plus particulièrement l’évolution des usages de la liseuse.

Mes conclusions

Sous l’impulsion de Daniel Bourrion (responsable de la bibliothèque numérique), le SCD a entrepris de prêter des e-readers aux usagers. Pour plus de précisions sur ce projet, je vous renvoie à la présentation de Daniel dans le cadre de la 4e journée Couperin sur le livre électronique et sur sa série de billets Mon e-reader s’appelle Reviens (oui, cet homme a le sens du titre). Je suis chargé de l’évaluation de ce nouveau service (mis en place dans les prochaines semaines) ; voilà pourquoi je me suis intéressé à cet article.

Les résultats ne me surprennent pas. Ce sont toujours les mêmes griefs (l’offre éditoriale, les questions de format, le confort de lecture, etc.), rien de neuf sur ce point. Cela tient surtout au type de public enquêté. L’étude n’exprime que l’opinion de “professionnels de la profession”, probablement nés dans le papier, habitués à le manipuler quotidiennement, des digital migrants pour la plupart.

Est-ce à ce public que les liseuses sont destinées ? Est-ce que les bibliothécaires sont des usagers comme les autres ? L’article ne l’indique pas. Et je ne le pense pas. C’est pourtant les impressions et les avis des digital natives (ou ce qui s’en rapproche le plus) qui me semblent pertinents. Ils constitueront sans doute la majeure partie de la population cible de notre enquête qualitative même si les enseignants-chercheurs ne seront pas oubliés.

Un des auteurs de l’article m’a tout de même précisé que l’équipe envisageait de prêter les readers aux étudiants et qu’une enquête serait menée le cas échéant. A suivre donc.

Comme le dit François Bon, “la lecture numérique n’est pas un concept acquis dans la limonade.“

Le consortium Libqual Canada 2007 a publié son rapport final (pdf en anglais), coordonné par Sam Kalb, assessment librarian de la Queen’s university library.

D’après ce que j’ai compris, Sam Kalb a joué le rôle de super-SAV Libqual pour le consortium canadien (54 établissements tout de même).

A l’issue de la campagne 2007, un questionnaire a été envoyé aux participants pour établir un bilan des expériences et envisager de possibles développements. Vous trouverez les résultats de l’enquête ici, les commentaires sont parfois plus instructifs que les chiffres.

Ce que je retiens :

- l’existence du consortium Libqual Canada est fort appréciée. La coordination générale est bien notée autant pour la qualité que pour la rapidité des réponses.

- l’expérience Libqual en vaut la peine.

- plus de 90% des répondants souhaitent réitérer l’expérience dans le cadre du consortium. Les indécis mentionnent comme obstacle l’écart minimum entre chaque enquête (3 ans) ou les spécificités de leur établissement (bibliothèques gouvernementales).

- on perçoit un grand intérêt des participants pour une version allégée de Libqual+ (“Libqual Lite”), mentionnée par Martha Kyrillidou lors de la conférence du consortium canadien en octobre 2007. Cette version pourrait améliorer le taux de réponse. Ciblée sur une dimension (Library as place, Information control ou Affect of service), elle pourrait s’insérer entre deux enquêtes “standards”.

- La difficulté à reconnaître son établissement dans les modalités de réponse proposées revient souvent. On note plusieurs demandes de personnalisation des catégories. Ce problème a également été rencontré lors de l’adaptation du questionnaire pour les universités et grandes écoles francophones européennes.

- Le besoin d’explorer d’autres moyens de communication pour répondre à l’enquête se fait sentir. Bientôt, Libqual+ sur ton portable ?

Pour conclure, je pense que le rôle de coordonnateur pour ce genre d’expérience est indispensable, d’autant plus quand l’enquête débute tout juste comme en France et en Suisse. Le succès de l’implantation de Libqual+ chez les francophones européens dépend, selon moi, des dispositifs dont on voudra bien se doter pour accompagner et évaluer l’expérience.