Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément : William Bruce Cameron
Les campagnes de vaccination augmentent-elles le taux de vaccination des jeunes enfants? Les programmes de visites à domicile pour les nouvelles mères ont-ils un effet positif sur l’allaitement maternel exclusif ? Les études conçues pour répondre à ces questions sont connues sous le nom d’évaluations d’impact sur la santé et sont essentielles pour l’élaboration de politiques de santé au niveau mondial.
Les approches statistiques contrefactuelles ont longtemps été saluées comme la référence en matière d’évaluation de l’impact sur la santé. Ces approches sont modelées sur le paradigme statistique des essais contrôlés randomisés. Dans le domaine de la santé publique, cela signifie généralement que certains groupes de personnes (écoles, établissements de santé ou villages) sont répartis de manière aléatoire pour bénéficier de l’intervention, alors que d’autres n’en bénéficient pas. Les résultats de santé primaires (par exemple, les taux de vaccination ou d’allaitement) sont ensuite comparés, souvent dans le cadre de comparaisons avant-après, afin de quantifier l’impact des interventions.
Cependant, il est maintenant amplement reconnu dans le domaine de la santé publique que ces approches contrefactuelles ont de nombreuses limitations. Tout d’abord, elles sont difficiles à mettre en œuvre : il n’est souvent pas possible d’attribuer l’intervention à certaines personnes (ou groupes de personnes) seulement. Peut-être plus important encore, les approches contrefactuelles n’apportent pas les réponses les plus utiles pour la planification. Elles fournissent des informations très spécifiques au contexte d’une intervention : l’intervention a-t-elle fonctionné à ce moment-là et à cet endroit-là ? Mais pourquoi ces changements se sont-ils produits (ou pas) ? Les approches contrefactuelles, ne nous fournissent pas les éléments nécessaires pour répondre à cette question – nous ne savons pas ce qu’il y a dans la « boîte noire », c’est-à-dire, quels mécanismes ont été engendrés. C’est particulièrement important lorsqu’aucun changement n’est visible – pourquoi est-ce le cas ? Qu’est-ce qui devrait être fait différemment la prochaine fois ?
Les évaluations à méthodes mixtes qui intègrent des méthodes statistiques et des méthodes de recherche qualitative sont un moyen très puissant de surmonter ces problèmes : elles permettent de « regarder dans la boîte noire ». Les enquêtes et l’analyse de données de routine sont des exemples de méthodes d’évaluation quantitatives, alors que les méthodes qualitatives les plus couramment utilisées sont les discussions de groupe, les entretiens approfondis et les observations structurées. Les méthodes quantitatives déterminent s’il y a eu un effet et donnent une indication de l’ampleur de l’effet – tandis que les méthodes qualitatives aident à explorer comment, pourquoi et pour qui l’intervention a fonctionné. Ainsi, les évaluations à méthodes mixtes aident à comprendre de façon compréhensive aussi bien l’étendue que les raisons du changement (ou de l’absence de changement) dans une intervention de santé.
Pour garantir le succès d’une évaluation d’impact à méthodes mixtes, il est important de combiner (ou « mixer » pour emprunter le terme anglais qui est souvent utilisé dans ce contexte) les méthodes dès le début et tout au long l’évaluation pour s’assurer que les méthodes se complètent de manière optimale. Dans la figure 1 et ci-dessous, nous décrivons l’approche développée par les évaluateurs du KIT Royal Tropical Institute, en s’appuyant sur de nombreuses années d’expérience dans l’évaluation des interventions sanitaires pour une série de donateurs bilatéraux et multilatéraux.
Au préalable il faudra assembler une équipe d’évaluateurs formés et expérimentés dans le domaine des méthodes utilisées. En ce qui nous concerne, il est impératif que l’équipe comprenne des chercheurs locaux, afin de garantir que les questions, les méthodes, les résultats et la diffusion de l’évaluation soient correctement contextualisés.
Étape 1 : Besoins en matière d’évaluation
Bien que de nombreuses évaluations soient basées sur des termes de référence élaborés par les parties prenantes qui utiliseront les résultats de l’évaluation, il est essentiel de dédier assez de temps au début d’une évaluation pour bien comprendre et définir l’objectif et la portée de l’évaluation en question. La première étape consiste donc à détailler le changement attendu par l’intervention et selon quel mécanisme : c’est la théorie du changement de l’intervention.
Étape 2 : Revue documentaire
En fonction de ses objectifs et de sa portée, l’évaluation peut être approfondie en examinant toutes les données et tous les documents du projet. À ce moment, il est important de comprendre à quel stade du cycle de vie se trouve actuellement le projet ; s’il existe une possibilité de randomisation ; quelles données ont été générées par l’intervention et si ces données peuvent être utilisées de manière significative pour l’évaluation.
Étape de « mixage » : Au cours de cette étape, il est important de faire le point sur les données qualitatives et quantitatives disponibles et de les harmoniser afin d’identifier les lacunes en matière d’information.
Étape 3 : Évaluation exploratoire des besoins
Dans certains cas, des visites de terrain peuvent être nécessaires pour comprendre la réalité qui s’y joue. C’est un moment idéal pour évaluer les perspectives des différents acteurs sur l’intervention, y compris les bénéficiaires. Ces consultations devraient fournir des informations sur les mécanismes de changement, afin de mieux comprendre la théorie du changement de l’intervention. Pour cela, il est important de demander aux parties prenantes quels changements ils s’attendaient à voir, lesquels ont eu lieu, et quels ont été les facteurs déterminants. Cette étape peut également être un moyen d’obtenir le soutien des parties prenantes pour les activités d’évaluation. Plusieurs itérations pourraient être nécessaires, permettant un retour et une ré-analyse des données, suite à la découverte de nouvelles pistes.
Étape 4 : Finalisation des questions d’évaluation
Tout ce travail préparatoire permet de finaliser les objectifs et les questions de l’évaluation, le tout intégrés dans un cadre d’évaluation et une théorie du changement.
Étape de « mixage » : Les questions d’évaluation finales doivent permettre une compréhension globale de l’intervention. Il se pourrait que certaines sous-questions correspondent à une certaine méthodologie (quantitative ou qualitative), mais cela risque d’entrainer des flux de recherche parallèles et non reliés. Cela peut être évité en utilisant la théorie du changement pour éclaircir les besoins d’informations qualitatives et quantitatives pour chaque sous-question.
Étape 5 : Conception de l’étude et outils
Les outils de recherche (par exemple, les questionnaires ou les guides de collecte de données qualitatives) doivent être aussi valables et fiables que possible, et les procédures de terrain doivent être clairement décrites.
Etape de « mixage » : Les outils de collecte de données quantitatives et qualitatives doivent être complémentaires et permettre de répondre à toutes les questions d’évaluation. Pour la collecte de données quantitatives, les outils devraient de préférence s’appuyer sur des outils existants et validés. Pour la collecte de données qualitatives, les guides devraient être conçus au cas par cas, afin d’être pleinement pertinents au contexte donné.
Étape 6. Examen éthique
La plupart des évaluations liées à la santé nécessitent un examen éthique. Il est important de vérifier les exigences du comité local d’éthique de la recherche.
Étape 7 : Essai pilote
Les outils d’évaluation doivent être testés sur un nombre de répondants réduit afin de vérifier leur compréhensibilité, leur acceptabilité et leur faisabilité. Il s’agit d’un élément clé pour garantir que les outils sont correctement contextualisés.
Étape 8 : Collecte des données sur le terrain
Lorsqu’un outil est jugé satisfaisant après une ou plusieurs séries d’essais pilotes, il est alors appliqué à la population cible. Selon la conception (par exemple pour les comparaisons avant/après), la collecte de données peut être effectuée à plusieurs moments.
Etape de « mixage »: Si les données qualitatives et quantitatives sont souvent collectées en parallèle, une approche séquentielle permet une meilleure complémentarité. La collecte de données qualitatives peut avoir lieu au début d’une évaluation pour explorer une certaine question, puis, sur la base des résultats qualitatifs, la collecte de données quantitatives peut être adaptée pour mesurer l’ampleur de l’effet. L’inverse est également possible : d’abord la collecte de données quantitatives, puis des données qualitatives pour expliquer les résultats quantitatifs.
Étape 9 : Analyse
L’analyse combinée des données qualitatives et quantitatives conduit finalement à des résultats d’évaluation qui répondent de manière exhaustive aux besoins d’évaluation. La discussion des résultats préliminaires avec les principales parties prenantes est un moyen très puissant de valider les constatations et les conclusions.
Étape de « mixage » : L’analyse à méthodes mixtes est généralement un processus itératif. L’analyse qualitative des données commence au moment du travail sur le terrain pour informer la collecte de données en cours et garantir que tous les thèmes émergents soient explorés. Elle est suivie par d’autres cycles avec une description préliminaire des données quantitatives et des thèmes qualitatifs. L’étape suivante comprend l’analyse statistique inférentielle des données quantitatives (intégrant les thèmes qui ont émergé de l’analyse qualitative) et la synthèse des données qualitatives (intégrant les thèmes qui ont émergé des analyses quantitatives). Enfin, les analyses qui en résultent doivent être synthétisées de manière exhaustive selon la théorie du changement afin de comprendre quels changements ont réellement eu lieu – et comment, pourquoi et pour qui.
Étape 10 : Diffusion
Pour une diffusion efficace, les résultats des évaluations doivent être communiqués dans un langage et dans un format accessible aux utilisateurs potentiels, de façon à ce qu’ils puissent facilement les comprendre et les utiliser. Il est également important d’informer les bénéficiaires des résultats de l’évaluation d’une manière appropriée. Les approches participatives qui impliquent les parties prenantes dans la compilation des résultats de la diffusion sont particulièrement utiles à cet effet, mais les évaluateurs doivent également veiller à conserver leur propre objectivité dans ce processus.
Traduction du texte original en anglais par Héloïse Widdig
Biographies des auteurs
Sandra Alba est épidémiologiste au KIT Royal Tropical Institute et a une formation en statistiques médicales. Elle a 15 ans d’expérience dans l’application de méthodes statistiques et épidémiologiques pour évaluer les programmes de santé publique, principalement dans les pays à faibles et moyens revenus.
Pam Baatsen est anthropologue culturelle au KIT et a plus de 25 ans d’expérience dans la gestion et l’évaluation de programmes de santé complexes et à grande échelle et dans la recherche de méthodes mixtes.
Lucie Blok est médecin et conseillère en systèmes de santé au KIT. Elle se concentre depuis plus de 30 ans sur le renforcement des systèmes de santé et l’amélioration de l’efficacité des programmes de lutte contre la tuberculose, le sida et d’autres maladies grâce au suivi, à l’évaluation et à l’apprentissage.
Jurrien Toonen est également médecin et possède plus de 30 ans d’expérience dans le financement des systèmes de santé, l’assurance maladie et le financement basé sur les résultats. Au fil des ans, il a développé une expertise spécifique dans le suivi et l’évaluation de ces types d’interventions sanitaires.