Mesurer son impact : la méthode avant les outils

Mesurer l’impact d’un projet ne se résume pas à choisir un outil parmi ceux qui existent. C’est d’abord définir avec précision le changement qu’on cherche à produire — sans quoi n’importe quel cadre de mesure devient arbitraire.

Le critère de mesurabilité posé dans notre définition de l’impact pose la question sans y répondre. Cet article détaille cette méthode : de la définition du changement visé aux cadres qui permettent de le vérifier concrètement.

Théorie du changement : définir le changement avant de le mesurer

Pourquoi cette étape est indispensable

Sans définir précisément le changement visé, la mesure porte sur ce qui est facile à observer — pas sur ce qui compte. Beaucoup de projets mesurent leur activité (nombre de personnes touchées, nombre d’ateliers organisés) simplement parce que ce sont les données les plus disponibles. Rien ne garantit que cette activité produise le changement recherché.

Formaliser une théorie du changement force à expliciter les hypothèses qui relient l’action au résultat. Certaines de ces hypothèses sont déjà validées par des données existantes. D’autres restent des paris qu’il faudra vérifier. Cette distinction, une fois posée, oriente tout le reste de la démarche de mesure.

Une méthode née dans l’évaluation de programmes

La théorie du changement trouve son origine dans les travaux de la chercheuse américaine Carol Weiss. Elle l’a formalisée en 1995 pour l’évaluation de programmes sociaux complexes. Elle s’est répandue dans les années 2000, portée notamment par la Kellogg Foundation. Les évaluateurs cherchaient alors à documenter non seulement ce qu’un programme produit, mais les hypothèses de causalité sur lesquelles il repose.

Elle est aujourd’hui un standard de l’évaluation de l’impact social, utilisée aussi bien par de grandes ONG internationales que par des porteurs de projet individuels.

Ce que couvre une théorie du changement

Une théorie du changement documente explicitement la chaîne de causalité supposée entre une action et le changement visé, ainsi que les hypothèses qui la sous-tendent. Elle se distingue d’un simple objectif en précisant par quel mécanisme l’action y contribue, et sous quelles conditions ce mécanisme fonctionne.

Elle s’applique à tout projet, quelle que soit son échelle — d’un programme national à un projet porté seul. Ce qui change selon la taille, c’est le niveau de détail attendu, pas la nécessité de la démarche elle-même.

Comment la construire

La méthode la plus robuste part du résultat visé et remonte la chaîne, plutôt que l’inverse :

1. Formuler le changement final aussi précisément que possible — un changement observable et défini pour un public précis, pas une intention générale.
2. Identifier les conditions intermédiaires nécessaires à ce changement — ce qui doit être vrai juste avant qu’il se produise.
3. Nommer, à chaque maillon, l’hypothèse qui relie une étape à la suivante — et si elle repose sur des données existantes ou reste à vérifier.
4. Redescendre la chaîne dans le sens de l’action : quelles activités concrètes permettent de remplir chaque condition identifiée ?

Imaginons un porteur de projet qui récupère les invendus de commerces locaux pour les redistribuer à des personnes en situation de précarité. Cette action produit en réalité deux effets distincts. Un effet social — l’accès à l’alimentation — et un effet environnemental — la nourriture évitée du gaspillage — qui appellent chacun leur propre théorie du changement. Concentrons-nous ici sur l’effet social.

Le changement final n’est pas « réduire le gaspillage alimentaire » — trop vague, et ça mélangerait deux chaînes différentes. C’est plutôt des personnes en situation de précarité qui accèdent régulièrement à une alimentation de qualité qu’elles n’auraient pas pu se procurer autrement. La condition intermédiaire : des commerçants doivent accepter de donner leurs invendus de façon régulière. Les personnes concernées doivent aussi connaître le dispositif et pouvoir y accéder facilement.

L’hypothèse posée ici — qu’une collecte simple et récurrente suffit à convaincre des commerçants de participer — est plausible. Elle reste cependant à vérifier sur le terrain, pas à traiter comme acquise : c’est justement ce que l’étape 3 impose de nommer explicitement. En redescendant la chaîne, l’action concrète devient claire : organiser une tournée de collecte hebdomadaire auprès de commerces partenaires. Un point de distribution accessible aux personnes concernées complète le dispositif.

C’est exactement ce que pose le troisième critère posé dans notre article fondateur. La mesurabilité ne veut rien dire sans avoir d’abord clarifié, par cette méthode, le changement recherché.

Les niveaux d’indicateurs

Une chaîne à cinq niveaux

Une théorie du changement établit un enchaînement causal, du moyen mobilisé au changement final. Les niveaux d’indicateurs distinguent ce que chaque niveau permet de vérifier. Les extrants servent à piloter l’activité au jour le jour. Les réalisations et l’impact vérifient que le changement visé se produit réellement.

Le glossaire de référence de l’OCDE distingue cinq niveaux :

• Intrants — les ressources mobilisées : financières, humaines, matérielles.
• Activités — ce qui est concrètement fait avec ces ressources.
• Extrants — ce que ces activités produisent directement : un produit ou un service livré.
• Réalisations — le changement de comportement, de situation ou de capacité que cet extrant provoque chez les personnes concernées.
• Impact — ce changement, une fois isolé de ce qui se serait produit de toute façon sans le projet.

On reprend l’exemple de la section précédente, en restant strictement sur la chaîne sociale. Les intrants comprennent, entre autres, le temps du porteur de projet, le véhicule de collecte, et les partenariats noués avec les commerçants. Le porteur de projet peut aussi s’appuyer, à mesure que l’activité grandit, sur un salarié. Les activités : la tournée de collecte hebdomadaire, le tri et le contrôle de la qualité des produits récupérés, l’organisation de la distribution. Si le modèle économique du projet en dépend, cette distribution peut se faire contre une contribution symbolique ou un abonnement. L’extrant : le nombre de paniers alimentaires distribués aux personnes en situation de précarité. La réalisation : le nombre de personnes qui accèdent chaque semaine, sur plusieurs mois, à une alimentation de qualité qu’elles n’auraient pas pu se procurer autrement.

Extrant et réalisation mesurent deux choses différentes

Le nombre de paniers distribués est facile à compter et disponible immédiatement. Il mesure l’activité du projet — pas son effet sur les personnes concernées. Des paniers peuvent être distribués sans être utilisés, ou s’ajouter à une alimentation déjà suffisante. Seule une mesure au niveau de la réalisation permet de savoir si un changement s’est produit chez les personnes visées.

De la réalisation à l’impact : la question de l’attribution

Un dernier écart sépare la réalisation de l’impact. Une réalisation constate un changement chez les personnes concernées. L’impact isole la part de ce changement réellement attribuable au projet, en écartant ce qui se serait produit même sans lui.

Si une partie des personnes touchées avait de toute façon accès à une autre source d’aide alimentaire, leur situation aurait changé sans le projet. Leur amélioration constitue alors une réalisation, mais pas un impact attribuable au projet. C’est précisément le critère d’additionnalité posé dans l’article fondateur. Un changement ne compte comme impact que s’il ne se serait pas produit sans l’intervention.

Cette vérification n’impose pas de tout quantifier dès le premier jour. Pour un projet encore à l’état d’ébauche, un retour qualitatif constitue une première mesure légitime de la réalisation visée. Un entretien avec une personne bénéficiaire, ou un témoignage recueilli sur le terrain, suffit avant même de formaliser un indicateur chiffré.

Les cinq dimensions de l’impact

Pourquoi ce cadre

Une théorie du changement précise le mécanisme visé. Les niveaux d’indicateurs situent où, dans la chaîne, on mesure. Reste une question : comment décrire un impact de façon suffisamment complète pour qu’il puisse être comparé, discuté, ou confronté à d’autres projets ? C’est ce que propose le cadre des cinq dimensions de l’impact.

Origine

Ce cadre a été élaboré par l’Impact Management Project, une initiative qui a réuni plus d’un millier d’acteurs de l’investissement à impact. Son objectif : construire un langage commun. Il est aujourd’hui maintenu par Impact Frontiers, une organisation qui regroupe des investisseurs et gestionnaires d’actifs autour de normes communes de gestion de l’impact. Il sert aussi de base à IRIS+, le catalogue d’indicateurs du Global Impact Investing Network (GIIN) présenté dans la section suivante.

Les cinq dimensions

• Quoi — quel changement se produit, et quelle importance a-t-il pour les personnes ou l’environnement concernés.
• Qui — qui vit ce changement, et à quel point ce public est mal desservi par ailleurs sur ce sujet précis.
• Combien — l’ampleur du changement : à quelle échelle, avec quelle profondeur, et sur quelle durée.
• Contribution — la part du changement réellement attribuable au projet, au-delà de ce qui se serait produit de toute façon. C’est la même logique que le critère d’additionnalité vu en section précédente, formulée ici comme dimension à documenter plutôt que comme condition binaire.
• Risque — la probabilité que le changement ne se produise pas comme prévu, ou produise des effets négatifs non anticipés.

Appliqué à l’exemple

Sur le projet de redistribution d’invendus : le quoi est l’accès régulier à une alimentation de qualité. Le qui précise que les personnes concernées vivent une situation de précarité alimentaire durable, pas ponctuelle. Leurs besoins ne sont pas déjà couverts par d’autres dispositifs du quartier. Le combien documente le nombre de personnes touchées, la fréquence d’accès, et sur quelle durée le dispositif tient. La contribution distingue ce que le projet change réellement de ce que les personnes auraient obtenu par d’autres moyens. Le risque couvre, par exemple, la dépendance du projet à la bonne volonté continue des commerçants partenaires — un maillon qui peut se rompre.

Ces cinq dimensions ne remplacent pas un indicateur : elles structurent ce qu’un bon indicateur doit couvrir. C’est précisément ce que fait IRIS+, en proposant des indicateurs déjà construits pour répondre à chacune d’elles.

GIIN / IRIS+ : un catalogue d’indicateurs opérationnels

Ce qu’est IRIS+

Le Global Impact Investing Network (GIIN) tient à jour IRIS+, un catalogue de métriques standardisées pour mesurer l’impact social et environnemental. Il existe depuis plus de dix ans et rassemble aujourd’hui les contributions de plusieurs centaines d’organisations.

IRIS+ organise ses métriques par thèmes d’impact et objectifs stratégiques, alignés sur les Objectifs de développement durable. Chaque métrique est construite pour documenter une ou plusieurs des cinq dimensions vues à la section précédente. Elle a déjà été rédigée, testée et validée par d’autres organisations confrontées au même besoin.

Ce que ça change concrètement

Sans catalogue, formuler un indicateur pour chaque dimension revient à l’inventer soi-même à chaque fois. Le risque : choisir une formulation ambiguë ou difficile à comparer d’un projet à l’autre. IRIS+ fournit des indicateurs déjà écrits, avec leur méthode de calcul et leur unité de mesure précisées.

Le catalogue s’organise en jeux d’indicateurs pré-assemblés (Core Metrics Sets), regroupés par thème d’impact et alignés sur les Objectifs de développement durable. Plutôt que de chercher un indicateur isolé, la méthode la plus efficace consiste à localiser le thème le plus proche de son propre projet. Sécurité alimentaire, accès à l’emploi, inclusion financière, entre autres. Le jeu d’indicateurs déjà constitué pour ce thème évite alors de fouiller les plusieurs centaines de métriques une par une.

Appliqué à l’exemple

IRIS+ propose une métrique nommée Food Insecurity Experience (référence PI2771), qui documente la sévérité de l’insécurité alimentaire vécue par un groupe de personnes donné. Reprise sur le projet de redistribution d’invendus, elle documente les dimensions quoi et combien vues en section précédente. Elle ne se limite pas à vérifier si les personnes reçoivent un panier, mais si leur situation d’insécurité alimentaire s’atténue réellement, et à quel degré.

Une limite à connaître

IRIS+ a été conçu pour des investisseurs qui comparent des portefeuilles de projets entre eux. Rien n’empêche cependant d’utiliser une métrique isolée du catalogue, sans adopter l’ensemble du dispositif de reporting auquel elle est rattachée à l’origine.

Relier les quatre étapes

Chaque étape répond à une question différente, et elles s’enchaînent dans un ordre précis. La théorie du changement clarifie le changement visé et la chaîne causale censée y mener. Les niveaux d’indicateurs situent, dans cette chaîne, ce que chaque niveau permet de vérifier. Les cinq dimensions précisent ce qu’il faut documenter pour les niveaux réalisation et impact. Quoi, pour qui, à quelle ampleur, avec quelle contribution réelle, et quel risque que ça ne se produise pas. IRIS+ fournit enfin des indicateurs déjà écrits pour documenter chacune de ces dimensions, sans avoir à les inventer.