Un projet à impact se conçoit sur une intention. Le résultat, lui, ne se constate qu’après coup, quand quelqu’un le mesure. Entre les deux, un écart peut se creuser sans que personne ne le voie. Toute évaluation d’impact permet d’observer cet écart de près : ce qui était visé, ce qui s’est produit, et pourquoi. Trois exemples documentés le montrent, avec ce qui était évitable dès la conception.
À retenir
- Un pilote ne prouve rien s’il tourne avec des moyens que ton projet n’aura pas dans la durée.
- Ton modèle repose sur une hypothèse centrale : un prix, un financement, un coût unitaire. La vérifier avant le lancement coûte moins cher que la découvrir après.
- L’impact passe par le comportement de tes bénéficiaires. Vérifie-le sur un petit groupe, et mesure ce qui compte, pas seulement ce qui se compte facilement.
Pourquoi regarder les écarts plutôt que les réussites
Les récits de réussite sont partout dans l’univers de l’impact. Ils montrent ce qui a marché. Ils disent rarement pourquoi, ni ce qui aurait pu échouer.
Un écart mesuré apporte une autre information. Il situe l’endroit précis où la chaîne entre l’intention et le résultat s’est rompue. Pour un projet encore en construction, c’est l’information la plus utile : elle montre où regarder avant de lancer.
C’est aussi là que se joue un critère central de l’impact : la mesurabilité. Un changement qu’on ne mesure pas reste une intention. L’évaluation est le moment où cette intention est confrontée aux faits.
Les trois exemples qui suivent ont un point commun : l’écart a été documenté publiquement, par ceux qui l’ont évalué. Une ONG qui publie ses propres échecs. Des corps d’inspection et la Cour des comptes, pour un dispositif public français. Des chercheurs, pour un secteur entier.
Les échelles diffèrent, les causes aussi. Mais chacune se retrouve, en plus petit, dans un projet en phase de conception.
Un pilote qui ne survit pas à son transfert
Ingénieurs sans frontières Canada publie chaque année un rapport consacré à ses propres échecs. L’édition 2012 raconte un programme d’assainissement mené au Malawi en 2011.
Le programme reposait sur l’assainissement total piloté par la communauté. Cette approche vise à amener un village à décider lui-même de mettre fin à la défécation à l’air libre.
Pendant le pilote, les indicateurs étaient au vert. Les séances de sensibilisation se multipliaient et les agents de terrain assuraient le suivi. Des villages étaient déclarés sans défécation à l’air libre.
Puis le programme a été confié au responsable local chargé de le poursuivre. Il n’a pu mobiliser que la moitié du personnel, faute d’indemnités suffisantes. Les communautés devenaient difficiles à réunir, et certains chefs refusaient de participer. Le suivi s’est arrêté : pas de carburant pour se déplacer, pas de moyens pour saisir les données.
L’équipe tire elle-même la conclusion. N’importe quel système fonctionne dans un environnement artificiel construit pour sa réussite. C’est précisément ce qu’elle avait construit.
Ce que l’évaluation a révélé
L’écart ne portait pas sur l’approche : pendant le pilote, elle produisait les résultats visés. Il portait sur les conditions de ces résultats. Moyens, encadrement, suivi : la structure qui prenait le relais n’en disposerait jamais.
Le pilote mesurait ce que le programme pouvait produire avec un soutien extérieur. Il ne mesurait pas ce qu’il produirait sans lui.
Le point de vigilance pour ton projet
Un test réussi ne dit rien de la suite s’il se déroule dans des conditions que tu ne pourras pas maintenir. Avant de lancer, la question est simple : qui fera durer ce projet, et avec quels moyens ?
Une subvention d’amorçage, le temps que tu consacres au lancement, l’appui d’un incubateur : ces ressources sont précieuses, mais elles sont temporaires. Si ton modèle ne tient qu’avec elles, ton test mesure ce soutien, pas ton projet.
Une hypothèse centrale, et un indicateur absent
L’expérimentation Territoires zéro chômeur de longue durée démarre en 2016. Son principe : proposer un CDI à toute personne durablement privée d’emploi qui le souhaite. Ces emplois sont créés dans des entreprises à but d’emploi, qui développent des activités utiles au territoire sans concurrencer celles qui existent déjà. Mi-2025, 93 de ces entreprises employaient 3 813 salariés.
Le modèle repose sur une hypothèse économique. Une étude d’ATD Quart Monde, publiée en 2015 et mise à jour en 2017, chiffre le coût du chômage de longue durée. Elle l’estime entre 16 000 et près de 19 000 € par personne et par an. D’où l’idée de réorienter ces dépenses vers la création d’emplois, pour un coût quasi nul pour les finances publiques. L’État a fixé sa prise en charge sur cette base, à 18 000 € par emploi.
Ce que l’évaluation a révélé
Deux évaluations ont confronté cette hypothèse aux faits.
En 2019, l’IGAS et l’IGF, deux corps d’inspection de l’État, concluent que les économies induites sont plus faibles que prévu. Le coût évité du chômage avait été surestimé.
En 2025, la Cour des comptes rapporte le financement public au nombre d’emplois. Elle obtient 28 000 € par équivalent temps plein (ETP) en 2023, bien au-dessus du coût du chômage sur lequel reposait le modèle.
La Cour relève aussi un manque plus discret : le taux de retour vers un emploi classique n’est pas mesuré dans les bilans du dispositif. Sans cet indicateur, on ne sait pas si l’expérimentation aide aussi certains salariés à rejoindre un emploi hors des entreprises à but d’emploi.
La Cour ne conclut pas à un échec. Elle reconnaît l’utilité du dispositif à l’échelle locale, mais estime que ses moyens élevés rendent sa pérennisation incertaine.
Le point de vigilance pour ton projet
Tout modèle repose sur une hypothèse dont dépend le reste. Ici, c’était l’équivalence entre le coût d’un emploi et celui du chômage. Tant qu’elle n’est pas vérifiée, l’équilibre du projet reste théorique.
Dans ton projet, cette hypothèse peut porter sur un prix, un financeur ou un coût unitaire. La repérer tôt permet de prévoir comment la vérifier.
Le second enseignement porte sur les indicateurs. Ce qui se compte facilement, comme le nombre d’emplois créés, n’est pas toujours ce qui renseigne le mieux sur l’impact. Suivre les personnes dans la durée demande un dispositif dédié, qui se prévoit dès la conception.
Un effet attendu qui se révèle modeste
Le microcrédit consiste à prêter de petites sommes à des personnes exclues du crédit bancaire. L’objectif : leur permettre d’investir dans une activité rentable et de sortir de la pauvreté par ce biais. En 2006, le prix Nobel de la paix attribué à Muhammad Yunus et à la Grameen Bank consacre cette vision.
Ce que l’évaluation a révélé
Des chercheurs ont mesuré ces effets dans sept pays, de la Bosnie-Herzégovine aux Philippines, par des essais randomisés. Cette méthode compare des personnes ayant eu accès au crédit à d’autres, tirées au sort, qui ne l’ont pas eu. La différence observée peut alors être attribuée au microcrédit.
La synthèse publiée par J-PAL, un laboratoire de recherche sur la pauvreté, est nette. En moyenne, le microcrédit n’a pas favorisé d’investissements à haut rendement. Il n’a pas transformé les revenus ni la consommation sur la durée.
Deux constats expliquent en partie cet écart. D’abord, la demande était plus faible que prévu : dans la population générale, seuls 13 à 31 % des personnes ont emprunté. Ensuite, les prêts n’ont pas toujours servi à investir. En Inde, 30 % des emprunteurs les ont utilisés pour rembourser d’autres dettes.
Le bilan n’est pas nul pour autant. Le microcrédit a aidé les ménages à mieux gérer leurs choix financiers. Et les entreprises déjà établies et plus rentables ont vu leurs profits progresser.
Le point de vigilance pour ton projet
L’écart ne vient pas d’un produit défaillant. Il vient d’hypothèses sur les bénéficiaires, jamais vérifiées à grande échelle avant le déploiement. On supposait qu’ils voudraient emprunter, qu’ils investiraient, et que cet investissement serait rentable.
Dans ton projet aussi, l’impact visé passe presque toujours par un comportement. Des personnes doivent adopter ce que tu proposes, et l’utiliser comme tu l’as prévu. Ce comportement se vérifie sur un petit groupe, avant de passer à l’échelle.
Autre enseignement : une moyenne peut masquer des publics pour lesquels l’effet existe. Savoir précisément pour qui ton projet produit un changement vaut mieux qu’un effet dilué sur tout le monde.
Ce que révèlent ces trois évaluations d’impact
Trois échelles, trois domaines, trois causes différentes. Pourtant, le mécanisme est le même : chaque écart vient d’une hypothèse posée à la conception, et jamais vérifiée avant le déploiement.
- Au Malawi, l’hypothèse portait sur les conditions de maintien : le programme fonctionnerait sans le soutien qui l’avait fait réussir.
- Pour Territoires zéro chômeur, elle portait sur l’équilibre économique : un emploi coûterait autant que le chômage qu’il remplace.
- Pour le microcrédit, elle portait sur les bénéficiaires : ils emprunteraient, investiraient, et cet investissement serait rentable.
Aucune n’était absurde. Chacune reposait sur un raisonnement défendable. C’est justement ce qui les rendait difficiles à voir.
Ces écarts ont un autre point commun : ils ne sont apparus que parce que quelqu’un a mesuré. Sans le rapport d’Ingénieurs sans frontières, les inspections et la Cour des comptes, ou les essais randomisés, ils seraient restés invisibles. Les villages déclarés sans défécation à l’air libre, les emplois créés et les prêts accordés auraient suffi à raconter une réussite.
Ce qui était évitable, ce n’est donc pas l’écart lui-même. C’est de le découvrir tard : une fois le programme transféré, l’expérimentation élargie, le modèle diffusé dans le monde entier.
Formuler ses hypothèses dès la conception, c’est précisément le rôle de la théorie du changement. Chaque hypothèse devient alors un point à vérifier, au moment où la corriger coûte encore peu.
Et maintenant ?
Écris en une phrase ce que ton projet doit changer, et pour qui. En dessous, note ce qui doit être vrai pour que cette phrase tienne. Trois questions guident ce travail : qui fera durer le projet, combien coûtera chaque résultat, et ce que tes bénéficiaires devront faire. Puis entoure l’hypothèse que tu n’as encore jamais vérifiée. C’est par elle que ton prochain test peut commencer.