L’évaluation des services de référence en ligne (Fin)

Après ce petit tour des questions d’évaluation des services de référence en ligne (n°1, n°2, n°3, n°4, n°5), il est temps de présenter le nôtre. Vous trouverez, donc, ci-dessous un résumé du plan d’évaluation de notre service de référence virtuelle.

C’est une première version qui contient encore des interrogations et qui subira obligatoirement des modifications en fonction des possibilités de l’application ou des ressources disponibles. Je mets également en ligne le plan d’évaluation détaillé (avec les méthodes de recueil envisagées, les périodes de production, les particularités et l’adéquation éventuelle à une norme).

Les commentaires, remarques ou critiques sont les bienvenus.

Ce plan d’évaluation s’articule en trois point : l’évaluation de l’activité, de la satisfaction et de la pénétration du service.

Évaluer l’activité

Piloter l’activité du service à partir d’un tableau de bord composé d’indicateurs éprouvés, si possible conformes aux normes ISO 11620 et ISO 2789.

Statistique/Indicateur	Objectif
Nombre total de questions posées par voie électronique	Déterminer le volume de l’activité du service.
Nombre de demandes postées via le formulaire	Déterminer le volume de l’activité asynchrone.
Nombre de sessions de chat	Déterminer le volume de l’activité synchrone.
Durée moyenne d’une session de chat	Évaluer la durée moyenne d’une session de chat.
Durée moyenne d’une réponse à une question par formulaire	Déterminer si le service répond aux requêtes dans les délais impartis.
Répartition par type de questions posées	Déterminer la répartition des requêtes selon le type de questions posées.
Répartition des requêtes par jour de la semaine / par heure de la journée	Déterminer la répartition du volume de requête sur la semaine et sur la journée afin de, le cas échéant, modifier l’organisation du service au public.

Après une période minimale de fonctionnement (env. 12 mois ou une masse critique de données), nous pourrons envisager d’introduire des indicateurs d’activité liés à la qualité des réponses.

Évaluer la satisfaction

Évaluation de la satisfaction et de la qualité du service en 3 volets :

Statistique/Indicateur	Objectif
Évaluation de l’interaction	Mesurer la satisfaction de l’usager suite à l’utilisation du service.
Évaluation de la qualité du service	Déterminer la qualité globale du service proposé (en dehors de l’interaction, déjà évaluée)
Évaluation de la satisfaction du personnel	Mesurer la satisfaction du personnel vis à vis du service de référence en ligne (conditions de travail matérielles, organisationnelles, etc.).

Évaluer la pénétration du service

Déterminer la pénétration d’un service innovant et en construction ainsi que son influence dans les pratiques de renseignements des établissements.

Statistique/Indicateur	Objectif
Connaissance de l’existence du service	Déterminer quel % des membres des universités du RUOA ont connaissance de l’existence du service.
Part des renseignements électroniques sur le nombre total de renseignement	Établir la part des demandes de renseignement transmises par voie électronique (mail, formulaire web, chat) sur la totalité des demandes de renseignement et ainsi déterminer le taux de pénétration du renseignement par voie électronique. Répété plusieurs années (tous les 2 ans par roulement entre les établissements participant), cet indicateur pourrait permettre de mesurer l’évolution du service dans les pratiques de renseignement des usagers.

Composition et hiérarchisation du plan d’évaluation par méthode employée

Afin de simplifier les pistes évoquées ci-dessus, voici un résumé établi en fonction des méthodes de production employées et de leur priorité dans le plan d’évaluation.

Méthodes	Priorité	Contenu
Tableau de bord	Haute	Essentiel pour le pilotage du service. Indicateurs mesurant le volume et la répartition de l’activité. Dans le meilleur des cas, données extraites du module Administration de QuestionPoint, sinon voir Semaine-test.
Questionnaire systématique	Haute	Méthode intégrée par défaut dans l’application QuestionPoint. Questionnaire court, en ligne visant à mesurer la satisfaction de l’usager vis à vis du service qu’il vient d’utiliser.
Questionnaire annuel ou bisannuel	Moyenne	Questionnaire en ligne pour les usagers et non usagers visant à mesurer la qualité du service proposé (et non plus la simple satisfaction), la connaissance de l’existence et, éventuellement, d’autres informations à préciser.
Questionnaire annuel pour les professionnels	Moyenne	Questionnaire en ligne visant à mesurer la satisfaction des personnes-relais et à proposer des améliorations.
Semaine-test annuelle ou bisannuelle	Haute	Unique moyen de récupérer certaines données pour le tableau de bord si elles ne sont pas extractibles du module Administration.
	Faible	Calcul de la part du renseignement en ligne sur le volume total de renseignement permettant l’évaluation de la pénétration des requêtes électroniques dans les pratiques de renseignement.

Publicité