Archive

Posts Tagged ‘évaluation’

Extension du domaine des horaires d’ouverture : les résultats

Suite et fin de la série de billets sur l’évaluation de l’extension des horaires d’ouverture dans les BU d’Angers (#1 fréquentation, #2 occupation, #3 circulation).

Quelques rappels pour mieux comprendre les résultats. L’évaluation portait sur les deux bibliothèques du SCD de l’Université d’Angers qui avaient élargi leurs horaires à la rentrée 2009.

  • La BU Belle-Beille (BB), bibliothèque de Lettres, Sciences et Sciences humaines est située sur un campus éloigné du centre-ville et plutôt mal desservi par les transports en commun. Belle-Beille est ouvert de 8h30 à 20h du lundi au jeudi et de 8h30 à 18h le vendredi et le samedi. La BU dispose de 1128 places assises
  • La BU St Serge (STS), bibliothèque de Droit, Sciences éco, Gestion, Tourisme est située en centre-ville. Elle est ouverte du lundi au jeudi de 8h30 à 22h (durant 24 semaines, de 8h30 à 20h le reste de l’année) et de 8h30 à 18 h le vendredi et samedi. St Serge accueille également des étudiants en médecine, gros consommateur des espaces de travail, pas forcément des ressources de la BU, ce qui n’est pas sans poser problème aux publics habituels (juristes notamment). La BU dispose de 459 places assises.

Après 8 semaines d’enquêtes, quelques jours d’analyse et 2 restitutions (conseil de la documentation et réunion générale du personnel), il est l’heure de livrer à votre insatiable curiosité les résultats de notre évaluation.


La fréquentation

La grande déception de cette évaluation. Nous avions choisi d’utiliser 2 méthodes pour recueillir les statistiques de fréquentation : 3 relevés systématiques sur l’année (8h30, 9h, 19h) + semaines-tests pour un relevé toutes les heures. Des problèmes techniques et organisationnels ont transformé les relevés en véritable gruyère, très difficile à exploiter. En analysant les quelques données disponibles, je me suis rendu compte que les chiffres de la fréquentation étaient certes nécessaires (pour l’ESGBU, par exemple …) mais beaucoup moins signifiants sur l’usage d’une bibliothèque que d’autres indicateurs comme l’occupation des places assises.

L’occupation des places assises

la mesure du taux d’occupation des places assises nous a offert les données les plus intéressante à analyser. Au total, les équipes des 2 BU (+ les moniteurs) ont procédé à plus de 2700 relevés sur 48 jours de tests, et 6 salles de lectures.

Voici les résultats (cliquez sur les images ci-dessous pour afficher le graphique) :

Taux d'occupation du lundi au vendredi

Taux d'occupation du samedi

Comment lire le graphique ?

Les deux courbes supérieures représentent les taux d’occupation de la BU STS en configuration 22h et 20h. Le sommet de la courbe 22h signifie : « entre 14h et 15h, un usager a, en moyenne, 71,5% de chance de tomber par hasard sur une place occupée » (indicateur Taux d’occupation des places assises, norme ISO 11620).

Quelques commentaires sur les résultats (lundi-vendredi)

  • Lorsque la BU St Serge ferme à 22h (courbe supérieure en bleu clair), l’occupation des salles atteint les 50% dés 10h-11h, après la chute de la pause déjeuner (baisse systématique sur toutes les courbes), l’occupation culmine très rapidement à plus de 70% entre 14h-15h. Ce taux décline doucement à partir de 15h. Concernant la nocturne, entre 20h et 21h, le taux d’occupation moyen est de 35%, entre 21h et 22h de 25%. Cela représente respectivement une moyenne de 160 et 114 lecteurs.
  • Lorsque la BU  St Serge ferme à 20h (courbe bleu) durant les vacances scolaires et l’inter-semestre, le graph montre un profil assez parallèle à celui du 22h. La différence se situe en matinée. La bibliothèque se remplit plus vite (plus de 40% dés 9h-10h), les usagers sont plus matinaux, libérés des horaires de cours ou adaptent leur fréquentation de la BU en fonction des horaires d’ouverture (fermeture plus tôt = arrivée plus tôt ?). Le pic d’occupation se situe également entre 14h et 15h.
  • Sur les courbes de la BU Belle-Beille, on note un taux d’occupation moyen plafonnant à 40% (entre 14h et 15h). Ce taux chute assez brutalement à partir de 17h en période haute, la BU se vide rapidement (comme tout le campus probablement). L’écart entre période haute et basse est plus important qu’à St Serge, on atteint une différence de plus de 23 points pour une même plage horaire (14h-15h). Le pic d’occupation se déplace sur la tranche 13h-14h.

Quelques commentaires sur les résultats (samedi)

  • Les données pour la journée du samedi devront être consolidées par de nouvelles observations. Les commentaires qui suivent sont donc des tendances générales, à confirmer.
  • Sur les 2 BU (mais c’est plus visible sur St Serge), le démarrage du samedi est beaucoup plus tardif, la BU se remplit lentement. Le samedi semble réellement débuter à 12h. Le pic d’affluence s’est déplacé sur la tranche 15h-16h, et la bibliothèque ferme avec près de 40% des places occupées.
  • A Belle-Beille, les taux d’occupation entre les périodes hautes (courbe bleu marine) et basses (courbe verte) sont quasi-identiques. Ce taux culmine à 10% en période haute, ce qui correspond à 110 places occupées environ.

La circulation

La mesure des transactions à la banque de prêt (BdP) nous a permis de répondre à la question : « Que représente l’activité à la banque de prêt lors des extensions d’horaires sur une journée ? ». L’idée était de mesurer le poids de ces tranches horaires par rapport à une journée moyenne.

Les résultats sont intéressants mais les données comparatives nous manquent pour réellement les mettre en relief :

BU Première 1/2h de la journée (lundi-jeudi) Dernière heure de la journée (lundi-jeudi)
St Serge (période haute)

1,7%

2% (19h-22h=10,6%)
St Serge (période basse) 2,2% 6,1%
Belle-Beille (période haute) 2,3% 4,7%
Belle-Beille (période basse) 2,4% 4,7%

On a surtout constaté que, sur la tranche du matin, les retours représentent environ 80% des transactions à la banque de prêt (77% à St Serge, 80% à Belle-Beille). Sur la tranche du soir, 18h-20h ou 18h-22h, le prêt est légèrement majoritaire : 54% à St Serge, 60% à Belle-Beille.

Progression des transactions à la BdP à STS (période haute)

Progression des transactions à la BdP à STS (période basse)

Progression des transactions à la BdP à BB (période haute)

Progression des transactions à la BdP à BB (période basse)

Et la suite ?

ces recueils de données nous ont fourni une solide base que nous consoliderons et affinerons par des relevés annuels (plus légers, probablement 2×2 semaines). On sera plus particulièrement attentif à la BU St Serge qui ouvrira en plus grand et plus longtemps (8h30-22h30 du lundi au samedi) à la rentrée.

Côté qualitatif, nous avons mené un focus group avec les moniteurs-étudiants qui ont (largement) contribué à cette expérience (moniteurs à la banque de prêt et moniteurs au bureau de renseignements). Le but était de recueillir leur avis sur l’organisation de leur travail, les relations avec les cadres de permanence et l’administration, les difficultés rencontrées et ainsi améliorer le dispositif l’année prochaine.
Enfin, les usagers seront consultés courant 2011 (en plus de l’enquête Libqual) pour savoir ce qu’ils pensent et font de l’extension des horaires, puisque, finalement, on fait tout ça pour eux.

Publicités

ubib.fr et l’évaluation

18 juin 2009 1 commentaire

Nouvelle présentation de ubib.fr à l’Enssib cette fois, dans le cadre de la formation continue « Service de renseignement en ligne » organisée par Catherine Jackson.

La commande comprenait une présentation du service où j’ai repris le diaporama des Journées ABES agrémenté de 2 slides supplémentaires (8 et 9) et sans la partie auto-flagellation. On m’a également demandé un focus sur l’évaluation du service, partie que je n’avais pas eu le temps d’aborder à Montpellier et sur laquelle j’ai pu me lâcher 🙂

J’ai expliqué en quoi consistait l’évaluation d’ubib.fr : la partie quantitative pour laquelle il manque encore 2 indicateurs particulièrement retors et la partie qualitative où tout reste à faire. Sur le pourquoi du plan d’évaluation, je vous renvoie à mes précédents billets sur le sujet.

L’évaluation des services de référence en ligne (4)

19 novembre 2008 Laisser un commentaire

The Evaluation of Worldwide Digital Reference Services in Libraries est un livre décevant. Le titre suggérait un contenu en parfaite adéquation avec mon objet de recherche mais au final les chapitres intéressants ne sont pas nombreux. Je vais tout de même essayer de vous présenter, dans ce billet, les point qui m’ont paru pertinents lorsqu’on réfléchit à la partie Evaluation d’un nouveau service de réf en ligne.

The Evaluation of … est le compte rendu d’une évaluation croisée, réalisée par des étudiants chinois et allemands sous la direction de Jia Liu (Beijing University) et Ingeborg Simon (Stuttgart Media University). L’étude porte sur des services de référence en ligne exclusivement asynchrones (par mail) dans des bibliothèques universitaires et nationales.

La méthode de l’enquête
(quelques mots pour donner le contexte)

L’échantillon regroupe environ 200 bibliothèques. Les étudiants ont d’abord : sélectionné les bibliothèques à évaluer (2 groupes d’échantillons), puis ils ont définis et spécifié les critères d’évaluation. Après avoir testé leur méthode d’évaluation (sur un petit nombre de bibliothèques), ils l’ont modifié en fonction des premiers retours. Ils ont ensuite procédé au recueil des données : chaque groupe a envoyé 2 questions aux bibliothèques sélectionnées. Ils ont collecté et organisé les résultats, analysé les réponses en fonction des critères définis. Enfin les 2 groupes d’étudiants ont présenté et croisé leurs conclusions.

Sur l’évaluation des services de référence en ligne
(sûrement la partie la plus intéressante de l’ouvrage avec un bibliographie très détaillée sur le sujet)

Se pose la question des éléments à évaluer dans un service de réf en ligne. Ils différent selon les professionnels s’étant penchés sur la question. Pour J.B. Whitlach, il faut prendre en compte: les aspects économiques (coût, productivité du service), la procédure (aspects du système utilisé et interactions avec l’usager), les ressources (livres, périos, index, base de données, équipements et interfaces des environnements physiques ou électroniques) et les résultats (informations ou connaissances délivrées à l’usager).

Pour McClure et Lankes, les dimensions à prendre en compte dans l’évaluation sont : la mesure des résultats (qualité des réponses), la mesure des processus (efficacité et efficience des procédures), les mesures économiques (coût et rentabilité du service) et la satisfaction de l’usager (degré à partir duquel l’usager du service se déclare satisfait des modalités et des résultats).
Pour les deux auteurs,  le qualité du service dépend de : la courtoisie (attitude des bibliothécaires), l’exactitude (justesse des réponses fournies par le staff), la satisfaction de l’utilisateur, les habitués (% d’usagers qui utilisent plusieurs fois le service), la connaissance du service (population connaissant l’existence du service), le coût (coût par interaction).

Un groupe d’expert a défini dix indicateurs permettant d’évaluer le service de réf en ligne :

  • Accessibilité : disponibilité via le web

  • Réponse rapide : 100% des réponses dans un laps de temps de 1 ou 2 jours ouvrés .

  • Politique de service claire : de la procédure pour poser un question aux types de réponses fournie

  • Interactivité : entretien et réponse en temps réel

  • Informatif : des experts pour répondre aux demandes et des informations étayant la réponse de l’expert.

  • Autorité : des experts qui peuvent répondre aux questions et indiquer des ressources en ligne à consulter.

  • Confidentialité : tous les échanges entre usager et personnel sont confidentiels.

  • Critique et évaluation : une procédure régulière pour vérifier la satisfaction des usagers et du personnel.

  • Fourniture d’informations liées : liste de liens, FAQ

  • Communication sur le service : informer les usagers potentiels de la valeur du service pour leur travaux.

Le Kindle en BU : une étude qualitative

3 septembre 2008 2 commentaires

Dans son dernier numéro (2008, volume 9, numéro 2), la revue Performance Measurement and Metrics (vous ai-je déjà dit tout le bien que je pensais de cette revue ?) a publié un article intitulé « A qualitative assessment of the Kindle e-book reader: results from initial focus groups » et rédigé par 4 bibliothécaires / enseignants de la Texas A&M University (là où le projet Libqual+ est né).

Petit rappel, le Kindle est la liseuse (ou livre électronique) du géant Amazon, sortie fin 2007. Une version spéciale Etudiant a été annoncée récemment.

L’étude visait à déterminer si le Kindle pouvait être perçu par les usagers comme une alternative crédible au livre papier (« an acceptable alternative to the printed book« ), si il pouvait trouver sa place dans une bibliothèque de recherche et si le reader n’était pas le moyen le plus rentable (« cost-effective way« ) pour diffuser l’information auprès des étudiants.

L’article revient, dans un premier temps, sur les problèmes dont on entend souvent parler à propos des liseuses : un marché encore jeune mais récemment bouleversé par l’arrivée de poids lourds (Amazon et Sony en tête), une offre de titres encore limitée, une navigation imparfaite, un design et une ergonomie à améliorer, un problème récurrent de formats (qui devrait se régler prochainement), la question des DRM, etc.

La méthode

Avant d’entamer une étude, la bibliothèque a tout de même acheté 1 exemplaire qu’elle a fait circuler dans la « library technology trends team« , puis l’équipe a effectué un appel à volontaire parmi le personnel pour participer à l’enquête. 40 machines accompagnées de $100 en bons d’achat Amazon ont été mises à disposition du personnel des bibliothèques et des enseignants participants.

Les volontaires devaient remplir un questionnaire faisant le point sur leur niveau de diplôme, leurs lectures, leurs connaissances et leur aisance face aux outils technologiques (« technology literacy and comfort » je suis preneur d’une meilleure traduction) et leurs attentes dans le Kindle. Les données recueillies ont permis de construire les questions des focus groups (entretiens collectifs).

Les six focus groups (menés par un membre de l’équipe, environ 1h, entre 5 et 6 participants) ont débuté 1 mois après la distribution des liseuses. Les questions ont porté sur les impressions générales vis-à-vis de l’outil, les usages, les fonctionnalités à développer ou ajouter, les pratiques de lecture, etc.

Les résultats

Les premières réactions furent assez diverses « from profound disappointment to absolute excitement« . Pêle-mêle, les participants ont critiqué le design très 80’s de la machine, sa pochette protectrice, le positionnement des boutons, la sensibilité de la molette, l’accès internet sans fil pour certains. D’autres ont réellement apprécié la prise en main de la liseuse. Pour ce qui est des usages, peu ont testé les audiobooks car peu savaient que cela était possible.

Autre point intéressant, le Kindle ne s’oublie pas, il ne disparaît pas au profit de l’immersion dans la lecture. Le clic sur les boutons, le temps de chargement des pages sont autant d’éléments qui distraient le lecteur (le type de contenu a aussi un rôle dans cela).

Pour répondre à la question de l’alternative crédible au livre papier (le p-book), c’est du 50-50. La moitié pense que qu’il ne pourra jamais être remplacé, l’autre moitié estime qu’en s’y habituant, la liseuse peut se fondre dans leur pratique de lecture.

Concernant les points à améliorer sur le Kindle, les participants ont mentionné : l’écran (tactile, couleurs, plus large, plus de contraste, disposant d’un rétro-éclairage), le système de prise de notes (import/export, indépendant du livre consulté), le design (pourquoi ne pas faire une liseuse aussi « sexy » qu’un iPod ou un iPhone ?), les surfaces vides (i.e sans bouton, où l’on peut poser ses mains).

Sur le prix de la machine, je retiens la phrase d’un participant : « [The Kindle is] a $400 solution to a $150 problem« . L’offre éditoriale est encore trop peu développée et manque surtout de diversité ; quant au tarif pratiqué, les participants le trouvent encore trop élevé pour une version électronique (voir le billet de Francis Pisani sur ce point).

Pour le positif, les testeurs ont mentionné le dictionnaire intégré, la possibilité de télécharger un chapitre et les listes de recommandations sur le site d’Amazon, son côté pratique pour les voyages, la rapidité du chargement. Malgré cela, aucun des participants n’a déclaré qu’il s’équiperait d’un e-reader une fois l’étude terminée.

L’enquête est toujours en cours, le recueil des données se poursuit. De nouveaux focus groups doivent interroger plus particulièrement l’évolution des usages de la liseuse.

Mes conclusions

Sous l’impulsion de Daniel Bourrion (responsable de la bibliothèque numérique), le SCD a entrepris de prêter des e-readers aux usagers. Pour plus de précisions sur ce projet, je vous renvoie à la présentation de Daniel dans le cadre de la 4e journée Couperin sur le livre électronique et sur sa série de billets Mon e-reader s’appelle Reviens (oui, cet homme a le sens du titre). Je suis chargé de l’évaluation de ce nouveau service (mis en place dans les prochaines semaines) ; voilà pourquoi je me suis intéressé à cet article.

Les résultats ne me surprennent pas. Ce sont toujours les mêmes griefs (l’offre éditoriale, les questions de format, le confort de lecture, etc.), rien de neuf sur ce point. Cela tient surtout au type de public enquêté. L’étude n’exprime que l’opinion de « professionnels de la profession », probablement nés dans le papier, habitués à le manipuler quotidiennement, des digital migrants pour la plupart.

Est-ce à ce public que les liseuses sont destinées ? Est-ce que les bibliothécaires sont des usagers comme les autres ? L’article ne l’indique pas. Et je ne le pense pas. C’est pourtant les impressions et les avis des digital natives (ou ce qui s’en rapproche le plus) qui me semblent pertinents. Ils constitueront sans doute la majeure partie de la population cible de notre enquête qualitative même si les enseignants-chercheurs ne seront pas oubliés.

Un des auteurs de l’article m’a tout de même précisé que l’équipe envisageait de prêter les readers aux étudiants et qu’une enquête serait menée le cas échéant. A suivre donc.

Comme le dit François Bon, « la lecture numérique n’est pas un concept acquis dans la limonade.« 

Libqual+ – Où on évalue l’évaluation

pohyoner

Le consortium Libqual Canada 2007 a publié son rapport final (pdf en anglais), coordonné par Sam Kalb, assessment librarian de la Queen’s university library.

D’après ce que j’ai compris, Sam Kalb a joué le rôle de super-SAV Libqual pour le consortium canadien (54 établissements tout de même).

A l’issue de la campagne 2007, un questionnaire a été envoyé aux participants pour établir un bilan des expériences et envisager de possibles développements. Vous trouverez les résultats de l’enquête ici, les commentaires sont parfois plus instructifs que les chiffres.

Ce que je retiens :

– l’existence du consortium Libqual Canada est fort appréciée. La coordination générale est bien notée autant pour la qualité que pour la rapidité des réponses.

– l’expérience Libqual en vaut la peine.

– plus de 90% des répondants souhaitent réitérer l’expérience dans le cadre du consortium. Les indécis mentionnent comme obstacle l’écart minimum entre chaque enquête (3 ans) ou les spécificités de leur établissement (bibliothèques gouvernementales).

– on perçoit un grand intérêt des participants pour une version allégée de Libqual+ (« Libqual Lite »), mentionnée par Martha Kyrillidou lors de la conférence du consortium canadien en octobre 2007. Cette version pourrait améliorer le taux de réponse. Ciblée sur une dimension (Library as place, Information control ou Affect of service), elle pourrait s’insérer entre deux enquêtes « standards ».

– La difficulté à reconnaître son établissement dans les modalités de réponse proposées revient souvent. On note plusieurs demandes de personnalisation des catégories. Ce problème a également été rencontré lors de l’adaptation du questionnaire pour les universités et grandes écoles francophones européennes.

– Le besoin d’explorer d’autres moyens de communication pour répondre à l’enquête se fait sentir. Bientôt, Libqual+ sur ton portable ?

Pour conclure, je pense que le rôle de coordonnateur pour ce genre d’expérience est indispensable, d’autant plus quand l’enquête débute tout juste comme en France et en Suisse. Le succès de l’implantation de Libqual+ chez les francophones européens dépend, selon moi, des dispositifs dont on voudra bien se doter pour accompagner et évaluer l’expérience.

Catégories :Libqual+ Étiquettes : , ,