Dépendances 82 - Rôle de la recherche: L’évaluation : demander, réaliser et être évalué

Introduction

A quoi et à qui ça sert une évaluation ?

L’évaluation, selon la définition de la Société suisse d’évaluation (SEVAL)¹, est une appréciation portée sur une mesure ou une prestation financée par l’Etat. Les évaluations concernent généralement des projets ou des programmes au sens large (politique publique, projet pilote, campagne de prévention, service ou consultation, intervention, prestation, etc.) mis en place pour répondre à un problème identifié chez un public cible donné. Dans un contexte de ressources financières restreintes et de demandes croissantes de financements de projets, il est aussi attendu des administrations qu’elles s’assurent que les fonds publics sont utilisés à bon escient.

L’évaluation est, dans ce contexte, un outil permettant de justifier, ajuster/adapter et valoriser le travail accompli. Elle vise à produire des informations utiles pour déterminer dans quelle mesure les objectifs sont atteints, et identifier d’éventuelles améliorations et ajustements nécessaires. Elle peut aussi jouer un rôle clé dans la recherche de financements supplémentaires permettant de pérenniser ou de développer un projet.

L’évaluation a joué un rôle important dans le domaine des addictions en Suisse depuis les années 1990, car elle a permis de légitimer des expérimentations et de développer la politique dans ce domaine [2,3,4]^{2 3 4}. A l’échelle du canton de Vaud, l’ouverture de centres à bas-seuil d’accès ou la mise en œuvre de nouvelles prestations ont aussi fait l’objet d’évaluations [5,6,7]⁵⁶⁷.

L’évaluation repose sur le fonctionnement d’une triade comprenant les mandant·es (qui commandent l’évaluation), les mandataires (qui réalisent l’évaluation) et les porteur·euses du projet/l’entité évaluée (« objet » de l’évaluation). Chacun·e a des besoins, des attentes et des représentations de l’évaluation qui diffèrent. Elle est ainsi souvent perçue comme nécessaire par les un·es (mandant·es) mais suscite craintes, appréhensions et parfois rejet chez les autres (porteur·euses du projet).

Mais quel est le rôle de chacune des parties prenantes dans le processus d’évaluation ? Chercheuse depuis plusieurs années à Unisante[1], réalisant des évaluations dans le domaine des addictions pour la Direction générale de la santé du canton de Vaud, mais aussi pour des Associations ou des Fondations spécialisées, je propose ici une réflexion croisée sur les intérêts, les défis et les enjeux de l’évaluation, en m’intéressant à chacune des trois parties.

Les mandant·es

Pourquoi solliciter une évaluation externe ? Le point de vue des financeurs, de l’administration ou du politique

Les mandant·es, qu’elles·ils soient responsables d’une institution ou membres d’une administration, demandent une évaluation pour s’assurer que les projets financés sont efficaces et bien adaptés aux besoins du public cible. Elles·ils veulent aussi confirmer que l’argent public est utilisé de manière optimale.

Pour le faire, elles·ils peuvent solliciter une évaluation externe, réalisée par des expert·es indépendant·es. Cette approche leur permet d’obtenir un regard idéalement objectif et impartial sur le projet, de recourir à une expertise spécialisée et de garantir des résultats qui échappent aux pressions internes et aux biais.

Les mandant·es initient le processus d’évaluation. Leurs principales responsabilités consistent à définir des objectifs, à choisir l’équipe d’évaluation puis à s’assurer que les recommandations sont prises en compte et appliquées. Pour cela elles·ils s’appuyant sur les résultats de l’évaluation et les recommandations formulées par l’équipe d’évaluation. Il leur revient aussi de s’assurer de l’indépendance du processus, ce qui implique de ne pas s’immiscer inutilement dans le déroulement de l’évaluation et de ne pas essayer d’influer sur les résultats sur la base de leurs propres perceptions.

Les évaluateur·trices

Réaliser une évaluation

Lorsqu’elle reçoit un mandat, l’équipe d’évaluation a la tâche de traduire la question d’évaluation générale des mandant·es en des questions spécifiques auxquelles il est possible de répondre, en tenant compte de la complexité des situations. N’ayant pas participé à l’élaboration du projet, l’équipe d’évaluation a une position externe qui lui confère une certaine neutralité pour obtenir des résultats crédibles.

Les évaluateur·trices appliquent ensuite des méthodes scientifiques, par exemple en combinant des approches qualitatives (ex. : entretiens) et quantitatives (ex. : questionnaires) pertinentes pour appréhender des thématiques complexes liées à la santé et aux addictions. La combinaison de méthodes permet de recueillir des informations variées auprès des différentes parties prenantes (personnel, usagers, réseau), de les analyser et de les mettre en perspective.

Les évaluateur·trices rencontrent au préalable les porteurs du projet/responsables de l’entité évaluée, ainsi que les autres parties prenantes pertinentes (ex. : politique, équipe de terrain, bénéficiaires…). Cette phase dite d’entrée sur le terrain est une étape délicate. Les évaluateur·trices ont besoin des équipes du projet pour comprendre l’intervention et son fonctionnement, les opportunités et les difficultés rencontrées. Elles·ils sollicitent les équipes de terrain pour obtenir de la documentation, des données, pour monitorer des activités ou pour fournir des statistiques nécessaires pour objectiver ce qui est fait au quotidien.

L’évaluateur·trice doit expliquer clairement aux responsables et personnes de l’entité évaluée l’utilité des démarches et la manière dont les chiffres et rapports collectés seront utilisés. Par exemple, elle·il peut préciser que les données recueillies permettront d’ajuster les actions sur le terrain afin de mieux répondre aux besoins des personnes accompagnées.

Le volet quantitatif (statistique de fréquentation de la structure, des prestations, etc.) est souvent complété par un volet qualitatif, au moyen d’entretiens individuels ou de groupe permettant de donner la parole aux parties prenantes et de rendre compte des expériences, des difficultés rencontrées, ainsi que des besoins respectifs.

Après la phase de récolte des données, l’équipe d’évaluation est responsable de l’analyse de ces données, puis de la présentation d’une synthèse des résultats dans un rapport précis et documenté. Elle formule aussi des recommandations pratiques à l’intention des porteurs du projet et des financeurs/administration, leur permettant de prendre des décisions sur les améliorations souhaitées. Les évaluateur·trices peuvent ainsi aider les équipes à mieux comprendre pourquoi certaines interventions ne fonctionnent pas et comment les améliorer, grâce à des données précises et à la mise en perspective des différents points de vue.

Les évaluateur·trices se heurtent parfois à des résistances. L’accès aux données peut nécessiter patience et persévérance. Le travail de monitorage des activités et de recensement des interventions est souvent mal compris par les équipes de terrain. Il est perçu comme une perte de temps, décalé de leur activité professionnelle quotidienne et/ou comme un outil de contrôle, sans percevoir que les données/analyses produites peuvent également leur être utiles pour mieux saisir l’ampleur et l’évolution d’une prestation ou avoir une compréhension plus globale et objectivée des profils des bénéficiaires par exemple.

Pour rassurer les porteurs de projets, les évaluateur·trices doivent présenter et expliciter les objectifs de l’évaluation, la façon dont ils vont procéder, ainsi que les bénéfices que l’équipe du projet peut en retirer.

Il s’agit aussi de faire des retours réguliers aux mandant·es et aux responsables du projet tout au long du processus d’évaluation. Puis, au terme de l’évaluation, une fois celle-ci validée par les mandant·es et publiée, de présenter les résultats aux personnes/équipes qui ont été sollicitées dans le cadre de l’évaluation. Cette étape de restitution est importante car elle contribue à développer une meilleure compréhension de la plus-value d’une démarche d’évaluation.

Bien que les évaluateur·trices se trouvent parfois dans une position délicate entre les attentes des mandant·es et celles des porteurs de projets, leur rôle de médiation peut leur permettre de réunir ces intérêts divergents, en collectant des données utiles aux deux parties, en garantissant l’objectivité des résultats et en apportant des recommandations constructives pour améliorer les projets à différents niveaux.

Le projet ou l’entité évalué

Pourquoi être évalué ? La perspective des porteurs d’un projet financé par des fonds publics

Les porteurs du projet n’ont généralement pas choisi d’être évalués et n’ont pas sélectionné l’équipe d’évaluation. Lors de l’arrivée des évaluateur·trices, l’accueil réservé est donc souvent empreint de méfiance et de retenue. Les évaluateur·trices sont souvent perçu·es comme une intrusion, agissant pour le compte des financeurs plutôt que de l’entité évaluée.

Convaincus de la pertinence de leur projet, investis dans leur travail quotidien, les porteurs de projet ont souvent de la peine à distinguer eux-mêmes ce qui fonctionne bien de ce qui pourrait être amélioré. Confrontés aux évaluateur·trices, elles·ils se sentent observé·es et craignent que leur travail ne soit pas bien compris par ces personnes externes. De plus, l’évaluation peut être perçue comme une ingérence et une charge de travail non anticipée. Tout cela peut créer une situation tendue qui peut être améliorée si les évaluateur-trices parviennent à convaincre que leur démarche vise aussi à appuyer les équipes sur le terrain en mettant en lumière ce qui fonctionne.

Parfois, dans un souci apparent de « protéger leurs bénéficiaires », les équipes peuvent aussi être réticentes à fournir certaines informations, ce qui peut entraver le processus d’évaluation. Cette réticence peut s’avérer contre-productive pour toutes les parties prenantes, car elle limite les possibilités d’amélioration et de développement des projets. L’expérience auprès de populations en situation de vulnérabilité montre que les bénéficiaires sont en réalité disposé·es à partager leur expérience et à contribuer à l’amélioration des services en participant à un entretien par exemple ou en répondant à un questionnaire.

L’expérience du CEESAN[2]montre qu’il arrive aussi que les équipes évaluées n’attendent pas la publication du rapport, mais comprennent rapidement l’intérêt du processus et s’engagent dans la production de données, avec le soutien des évaluateur·trices. L’’évaluation est alors perçue comme un accompagnement et un soutien extérieur pour penser et préciser un projet, dans un souci d’amélioration et d’adaptation des interventions au plus près des besoins des populations cibles.

Conclusion

Comment faire que l’évaluation bénéficie le plus possible aux trois parties ? Développer une meilleure connaissance des postures et enjeux respectifs.

L’objectif d’une évaluation est de fournir des informations utiles aux parties prenantes sur la pertinence, la mise en œuvre, les points forts et le potentiel d’optimisation d’un projet, d’une stratégie ou d’une institution, et non pas, en général, sur la qualité du travail d’un membre de l’équipe en particulier.

Souvent présente du côté des porteurs de projet, la crainte que l’évaluation entraîne l’arrêt du projet ou le refus de financement se vérifie rarement. Même si cette situation n’est pas exclue dans un contexte de limites budgétaires, l’évaluation serte à ajuster et améliorer les réponses aux besoins, plutôt qu’à sanctionner. Elle peut aussi permettre de préciser une prestation ou justifier des besoins en ressources supplémentaires.

Du côté des mandant·es, des tensions peuvent parfois émerger en raison d’attentes inadéquates. L’évaluation a pour vocation de produire des connaissances objectivées, constituant ainsi un outil d’aide à la décision, mais sans pour autant se substituer à cette décision. L’autre tentation possible est d’attendre de l’évaluation qu’elle vienne valider une orientation stratégique ou une décision prise par l’administration ou les financeurs.

Pour que le processus d’évaluation soit efficace, une compréhension commune des rôles et attentes respectives est nécessaire. Si toutes les parties impliquées ont une compréhension claire du processus, de ses finalités ainsi que de ses limites, l’évaluation peut devenir un vrai levier d’apprentissage et d’amélioration des actions. Elle permet d’initier une dynamique positive et stimulante entre les besoins des mandant·es, la curiosité et compétence des évaluateur·trices, et l’intérêt des équipes évaluées à réfléchir à leurs pratiques. Dans les faits, cela requiert un travail constant pour avoir tout le monde à bord.

[1] Et avant 2019 dans le cadre de l’Institut universitaire de médecine sociale et préventive (IUMSP)

[2] Secteur Evaluation et expertise en santé publique à Unisanté