D’abord le contexte.

En mars 2008, les étudiants de l’université d’Angers nous avaient fait comprendre, via Libqual, que l’élargissement des horaires serait le bienvenu et même un peu plus.  En parallèle, un groupe ad hoc composé de membres volontaires du SCD, élus ou non, réfléchissait à la question des horaires d’ouverture et du temps de travail des agents.

Après 18 mois de réflexions, deux de nos BU ont élargi leurs horaires depuis le 15 septembre (annonce sur Bua’bloc pour avoir le détail de l’élargissement). Gros projet = grosses attentes = évaluation.

Nous avons articulé le plan d’évaluation de l’extension des horaires autour de trois points : la fréquentation, l’occupation, les transactions.

la fréquentation

C’est, évidemment, la première chose à laquelle on pense. Combien de personnes ont fréquenté la BU ? lors de l’élargissement du matin ? celui du soir ?

Pour avoir des chiffres plus précis qu’auparavant, nous sommes passés d’1 relevé quotidien systématique (le matin à 8h30, l’ouverture) à 3 (8h30, 9h et 19h). Les relevés de 9h et 19h nous permettront de recueillir la fréquentation entre 8h30-9h (extension du matin), entre 19h-20h ou 19h-22h selon les BU et les périodes de l’année et aussi de comparer la fréquentation à amplitude équivalente par rapport à l’année dernière (nous étions ouvert entre 9h et 19h auparavant).

Durant 7 semaines (2 semaines en novembre et mars durant la période de forte activité et 3 semaines en janvier et avril pendant une période plus calme), nous procéderons à des relevés plus fréquents (environ une dizaine) afin d’avoir une vision plus fine des flux notamment au moment des transhumances BU->RU.

Ces relevés sont manuels d’où le besoin de compléter les relevés systématiques par des relevés par semaines-tests.  La future BU de centre-ville disposera de portiques reliés à un ordinateur pour un relevé en temps réel.

Crédit photo : suburbandk

Après ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Les normes proposent, finalement, peu d’éléments permettant d’étayer l’évaluation d’un service de référence en ligne. Quand je dis “norme”, je pense surtout à la norme ISO 2789 Statistiques internationales de bibliothèques (qui permet de parler le même langage, c’est à dire utiliser les mêmes bases statistiques) ou la norme ISO 11620 (octobre 2008) Indicateurs de performance des bibliothèques.

Il y a, tout de même, deux-trois choses à piocher.

La normes ISO 2789 donne une définition (à mon avis très restrictive) de l’unité de mesure du service de réf : la demande d’information.

“opération de médiation auprès du public par le personnel de la bibliothèque à partir d’une ou de plusieurs sources d’informations (…).
Peut également comprendre des recommandations, l’interprétation ou l’instruction concernant l’utilisation de ces ressources. La demande peut être adressée de vive voix, par téléphone, par courrier, par télécopie ou par voie électronique (messagerie électronique, site Web, de la bibliothèque ou tout autre moyen de communication en réseau)
il est essentiel que les bibliothèques ne comptabilisent pas les demandes de renseignement ou d’orientation et les questions administratives, telles que trouver un agent de la bibliothèque ou repérer des équipements, préciser les horaires d’ouverture ou expliquer le fonctionnement des équipements, imprimantes ou ordinateurs, par exemple.
Sont également exclues les questions relatives à la localisation de documents du fonds déjà identifiés dans le catalogue.

Au final, il reste les demandes de références bibliographiques stricto sensu… mouai ce ne sont pas les questions les plus fréquentes aux bureaux de renseignements. Difficile d’évaluer l’activité réelle d’un service avec cette définition.

Dans la norme 11620 (octobre 2008), deux indicateurs peuvent être utilisés :

Pourcentage des demandes d’information transmises par voie électronique (B.2.2.2) ; Objectif : établir l’utilisation des moyens électroniques de communication (par exemple courriel, référence numérique) pour transmettre des demandes d’informations.

Cet indicateur pourra être utilisé pour évaluer le taux de pénétration du service de réf virtuelle dans les différentes BU participantes.

Taux de réponses correctes (B.3.3.2) ; Objectif éterminer le degré d’aptitude du personnel à satisfaire les exigences primordiales pour un bon service de référence, à savoir fournir des réponses correctes aux demandes de renseignement.

Celui-ci sera probablement utilisé, dans un second temps, pour mesurer la qualité des réponses apportées.

PS : pour la petite histoire, j’ai travaillé quelques mois pour le Guichet du savoir à son ouverture.

Si le concept d’assessment librarian vous échappe, je vous conseille de jeter un coup d’œil à Creating an assessment plan : four case studies (en anglais), présentation qui s’est déroulée à Seattle dans le cadre de la Library Assessment Conference 2008 (4-7 août 2008).

Les fiches de poste ou lettres de mission de quatre bibliothécaires en charge de l’évaluation (University of Texas Southwestern Medical Center, University of Chicago, Columbia University, Cornell University) illustrent leurs activités, leurs responsabilités mais aussi la place qu’elles occupent au sein de leur établissement.

Des exemples de plans d’évaluation sont également disponibles. Instructifs en ce qu’ils démontrent l’importance de l’évaluation des services dans ces bibliothèques (en terme de structuration, de ressources humaines et matérielles dédiées, etc.).

L’enquête Libqual joue souvent un rôle central dans l’articulation de ces plans. Tous les trois ans (généralement), elle photographie l’évolution de l’établissement au regard des grands orientations inscrites au “Strategic Plan”, elles-mêmes déterminées par les précédentes enquêtes Libqual.

Le SCD d’Angers compte employer la même approche en faisant coïncider enquêtes Libqual et contrats quadriennaux. Ils nous reste pourtant du chemin à parcourir avant de disposer d’un plan d’évaluation des services de la qualité de ceux présentés ici.

PS : Bertrand Calenge a ouvert son blog. L’info a largement été relayée dans la biblioblogosphère mais autant faire circuler les bonnes nouvelles !