Archive

Posts Tagged ‘plan d’évaluation’

Extension du domaine des horaires d’ouverture (3)

26 octobre 2009 1 commentaire

D’abord le contexte et la fréquentation. Puis l’occupation

Enfin la circulation

Il nous reste à mesurer l’activité au bureau d’accueil. Aleph (notre SIGB), ARC 2 (le module stat d’Aleph) et Céline nous fourniront mensuellement les chiffres des emprunts et des retours durant les extensions d’horaire (8h30-9h, 19h-20h et 19h-22h).

Plus tard

Après l’ouverture de la nouvelle BU St Serge, nous procéderons à une enquête qualitative et quantitative sur les usages et les usagers  des horaires élargis pour savoir qui ils sont, quels services ils utilisent ou n’utilisent pas (et pourquoi) et interroger leur perception de cet élargissement.

Affaire à suivre.

Crédit photo : Castalway in Wales

Extension du domaine des horaires d’ouverture (2)

22 octobre 2009 3 commentaires

D’abord le contexte et la fréquentation

Puis l’occupation

Après avoir mesuré les flux, on s’attache à la présence en salle. Nous avions déjà fait un galop d’essai lors de l’ouverture entre Noël et le jour de l’An et pour l’utilisation des postes informatiques. On a donc un peu d’expérience pour ce type de semaine-test.

On se base (toujours) sur la norme ISO 11620 (indicateurs de performances en bibliothèque). Le calcul de l’occupation des salles vise particulièrement les extensions d’horaires (8h30-9h ; 19h-20h ; 19h-22h), des relevés seront pratiqués systématiquement durant ces tranches horaires. L’occupation des places sera également relevée cinq fois (par tirage au sort) pendant la période 9h-19h. On pondèrera l’ensemble pour ne pas sur-représenter l’occupation des salles hors 9h-19h.

Cette opération se déroulera durant 7 semaines : 2 semaines en novembre et 2 semaines en mars pendant la « saison haute », 2 semaines en janvier et 1 semaine en avril pendant la « saison basse ».

Pour le coup, et parce que nous comptons bien reproduire cet indicateur régulièrement, nous nous sommes équipés de compteurs électroniques.

Crédit photo : Joseph Cote

Extension du domaine des horaires d’ouverture

12 octobre 2009 7 commentaires

New Pictures 190407 014D’abord le contexte.

En mars 2008, les étudiants de l’université d’Angers nous avaient fait comprendre, via Libqual, que l’élargissement des horaires serait le bienvenu et même un peu plus.  En parallèle, un groupe ad hoc composé de membres volontaires du SCD, élus ou non, réfléchissait à la question des horaires d’ouverture et du temps de travail des agents.

Après 18 mois de réflexions, deux de nos BU ont élargi leurs horaires depuis le 15 septembre (annonce sur Bua’bloc pour avoir le détail de l’élargissement). Gros projet = grosses attentes = évaluation.

Nous avons articulé le plan d’évaluation de l’extension des horaires autour de trois points : la fréquentation, l’occupation, les transactions.

la fréquentation

C’est, évidemment, la première chose à laquelle on pense. Combien de personnes ont fréquenté la BU ? lors de l’élargissement du matin ? celui du soir ?

Pour avoir des chiffres plus précis qu’auparavant, nous sommes passés d’1 relevé quotidien systématique (le matin à 8h30, l’ouverture) à 3 (8h30, 9h et 19h). Les relevés de 9h et 19h nous permettront de recueillir la fréquentation entre 8h30-9h (extension du matin), entre 19h-20h ou 19h-22h selon les BU et les périodes de l’année et aussi de comparer la fréquentation à amplitude équivalente par rapport à l’année dernière (nous étions ouvert entre 9h et 19h auparavant).

Durant 7 semaines (2 semaines en novembre et mars durant la période de forte activité et 3 semaines en janvier et avril pendant une période plus calme), nous procéderons à des relevés plus fréquents (environ une dizaine) afin d’avoir une vision plus fine des flux notamment au moment des transhumances BU->RU.

Ces relevés sont manuels d’où le besoin de compléter les relevés systématiques par des relevés par semaines-tests.  La future BU de centre-ville disposera de portiques reliés à un ordinateur pour un relevé en temps réel.

Crédit photo : suburbandk

L’évaluation des services de référence en ligne (Fin)

26 novembre 2008 3 commentaires

ceci_nest_pas_un_logoAprès ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Statistique/Indicateur Objectif
Nombre total de questions posées par voie électronique Déterminer le volume de l’activité du service.
Nombre de demandes postées via le formulaire Déterminer le volume de l’activité asynchrone.
Nombre de sessions de chat Déterminer le volume de l’activité synchrone.
Durée moyenne d’une session de chat Évaluer la durée moyenne d’une session de chat.
Durée moyenne d’une réponse à une question par formulaire Déterminer si le service répond aux requêtes dans les délais impartis.
Répartition par type de questions posées Déterminer la répartition des requêtes selon le type de questions posées.
Répartition des requêtes par jour de la semaine / par heure de la journée Déterminer la répartition du volume de requête sur la semaine et sur la journée afin de, le cas échéant, modifier l’organisation du service au public.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Statistique/Indicateur Objectif
Évaluation de l’interaction Mesurer la satisfaction de l’usager suite à l’utilisation du service.
Évaluation de la qualité du service Déterminer la qualité globale du service proposé (en dehors de l’interaction, déjà évaluée)
Évaluation de la satisfaction du personnel Mesurer la satisfaction du personnel vis à vis du service de référence en ligne (conditions de travail matérielles, organisationnelles, etc.).

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Statistique/Indicateur Objectif
Connaissance de l’existence du service
Déterminer quel % des membres des universités du RUOA ont connaissance de l’existence du service.
Part des renseignements électroniques sur le nombre total de renseignement Établir la part des demandes de renseignement transmises par voie électronique (mail, formulaire web, chat) sur la totalité des demandes de renseignement et ainsi déterminer le taux de pénétration du renseignement par voie électronique. Répété plusieurs années (tous les 2 ans par roulement entre les établissements participant), cet indicateur pourrait permettre de mesurer l’évolution du service dans les pratiques de renseignement des usagers.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Méthodes Priorité Contenu
Tableau de bord

Haute

Essentiel pour le pilotage du service. Indicateurs mesurant le volume et la répartition de l’activité.

Dans le meilleur des cas, données extraites du module Administration de QuestionPoint, sinon voir Semaine-test.

Questionnaire systématique

Haute

Méthode intégrée par défaut dans l’application QuestionPoint.

Questionnaire court, en ligne visant à mesurer la satisfaction de l’usager vis à vis du service qu’il vient d’utiliser.

Questionnaire annuel ou bisannuel

Moyenne

Questionnaire en ligne pour les usagers et non usagers visant à mesurer la qualité du service proposé (et non plus la simple satisfaction), la connaissance de l’existence et, éventuellement, d’autres informations à préciser.

Questionnaire annuel pour les professionnels

Moyenne

Questionnaire en ligne visant à mesurer la satisfaction des personnes-relais et à proposer des améliorations.

Semaine-test annuelle ou bisannuelle

Haute

Unique moyen de récupérer certaines données pour le tableau de bord si elles ne sont pas extractibles du module Administration.

Faible

Calcul de la part du renseignement en ligne sur le volume total de renseignement permettant l’évaluation de la pénétration des requêtes électroniques dans les pratiques de renseignement.

L’évaluation des services de référence en ligne (5)

24 novembre 2008 Laisser un commentaire

Le Guichet du savoirLes normes proposent, finalement, peu d’éléments permettant d’étayer l’évaluation d’un service de référence en ligne. Quand je dis « norme », je pense surtout à la norme ISO 2789 Statistiques internationales de bibliothèques (qui permet de parler le même langage, c’est à dire utiliser les mêmes bases statistiques) ou la norme ISO 11620 (octobre 2008) Indicateurs de performance des bibliothèques.

Il y a, tout de même, deux-trois choses à piocher.

La normes ISO 2789 donne une définition (à mon avis très restrictive) de l’unité de mesure du service de réf : la demande d’information.

« opération de médiation auprès du public par le personnel de la bibliothèque à partir d’une ou de plusieurs sources d’informations (…).
Peut également comprendre des recommandations, l’interprétation ou l’instruction concernant l’utilisation de ces ressources. La demande peut être adressée de vive voix, par téléphone, par courrier, par télécopie ou par voie électronique (messagerie électronique, site Web, de la bibliothèque ou tout autre moyen de communication en réseau)
il est essentiel que les bibliothèques ne comptabilisent pas les demandes de renseignement ou d’orientation et les questions administratives, telles que trouver un agent de la bibliothèque ou repérer des équipements, préciser les horaires d’ouverture ou expliquer le fonctionnement des équipements, imprimantes ou ordinateurs, par exemple.
Sont également exclues les questions relatives à la localisation de documents du fonds déjà identifiés dans le catalogue.

Au final, il reste les demandes de références bibliographiques stricto sensu… mouai ce ne sont pas les questions les plus fréquentes aux bureaux de renseignements. Difficile d’évaluer l’activité réelle d’un service avec cette définition.

Dans la norme 11620 (octobre 2008), deux indicateurs peuvent être utilisés :

Pourcentage des demandes d’information transmises par voie électronique (B.2.2.2) ; Objectif : établir l’utilisation des moyens électroniques de communication (par exemple courriel, référence numérique) pour transmettre des demandes d’informations.

Cet indicateur pourra être utilisé pour évaluer le taux de pénétration du service de réf virtuelle dans les différentes BU participantes.

Taux de réponses correctes (B.3.3.2) ; Objectif :Déterminer le degré d’aptitude du personnel à satisfaire les exigences primordiales pour un bon service de référence, à savoir fournir des réponses correctes aux demandes de renseignement.

Celui-ci sera probablement utilisé, dans un second temps, pour mesurer la qualité des réponses apportées.

PS : pour la petite histoire, j’ai travaillé quelques mois pour le Guichet du savoir à son ouverture.

Qu’est-ce qu’un « assessment librarian » ?

Si le concept d’assessment librarian vous échappe, je vous conseille de jeter un coup d’œil à Creating an assessment plan : four case studies (en anglais), présentation qui s’est déroulée à Seattle dans le cadre de la Library Assessment Conference 2008 (4-7 août 2008).

Les fiches de poste ou lettres de mission de quatre bibliothécaires en charge de l’évaluation (University of Texas Southwestern Medical Center, University of Chicago, Columbia University, Cornell University) illustrent leurs activités, leurs responsabilités mais aussi la place qu’elles occupent au sein de leur établissement.

Des exemples de plans d’évaluation sont également disponibles. Instructifs en ce qu’ils démontrent l’importance de l’évaluation des services dans ces bibliothèques (en terme de structuration, de ressources humaines et matérielles dédiées, etc.).

L’enquête Libqual joue souvent un rôle central dans l’articulation de ces plans. Tous les trois ans (généralement), elle photographie l’évolution de l’établissement au regard des grands orientations inscrites au « Strategic Plan », elles-mêmes déterminées par les précédentes enquêtes Libqual.

Le SCD d’Angers compte employer la même approche en faisant coïncider enquêtes Libqual et contrats quadriennaux. Ils nous reste pourtant du chemin à parcourir avant de disposer d’un plan d’évaluation des services de la qualité de ceux présentés ici.

PS : Bertrand Calenge a ouvert son blog. L’info a largement été relayée dans la biblioblogosphère mais autant faire circuler les bonnes nouvelles !