Le 4 septembre 2017, Sandra Mathison a prononcé le discours inaugural de la Société australienne d’évaluation, titré « « Does Evaluation Contribute to the Public Good? ».
Elle interroge avec lucidité l’utilité réelle de l’évaluation de politiques publiques. Son jugement est sans complaisance.
Toute profession qui dépense tant d’énergie, tant de temps, tant de ressources sur les raisons pour lesquelles les gens ne s’intéressent pas à ce que nous faisons et disons est par nature une profession qui ne fait sans doute pas autant de bien qu’on pourrait le croire. Sandra Mathison
La critique porte d’autant plus que Sandra Mathison, professeure en Sciences de l’éducation à l’Université de Colombie Britannique au Canada, est elle-même une évaluatrice de terrain depuis 40 ans (plus d’informations sur son parcours ici). On lui doit notamment la considérable « encyclopédie de l’évaluation ».
Malgré le tranchant de ses analyses, nous formons le pari que de nombreux évaluateurs, comme nous, se prendront à hocher la tête à plusieurs moments, sans nécessairement tout partager. Mais que seraient les évaluateurs s’ils n’acceptaient pas de se regarder dans le miroir qu’ils tendent si promptement aux autres ?
« Si ta gueule est de travers, ne t’en prends pas au miroir ». Epigraphe du Revizor
Avant cela, nous tenons à remercier Mme Sandra Mathison pour la qualité de son 
discours, son engagement, et son autorisation pour la traduction française que vous vous apprêtez à lire. Remerciements aussi à Stephen Easton du Mandarin pour la qualité de la couverture journalistique des journées australiennes de l’évaluation, qui a porté ce discours à notre connaissance.
Pour une lecture plus facile, une version imprimable du discours original et de sa traduction sont offerts en fin de billet. L’article débute par une synthèse, suivie du discours complet. La traduction est de notre fait, ainsi que les passages en gras et les illustrations.
Résumé de la contribution
Si l’évaluation de politiques publiques doit apporter une contribution positive au monde, nous devons analyser notre théorie et notre pratique d’un point de vue sociologique. Les idéologies socio-politiques dominantes façonnent la façon dont l’évaluation est conceptualisée, les méthodes et modèles utilisés, comment et par qui elle est financée, et son efficacité dans la recherche de changements sociaux positifs. La plupart des évaluations ont lieu dans de micro-contextes, un héritage d’une pratique évaluative […] au service des décideurs, des politiques, des bailleurs et des bénéficiaires. La pratique de l’évaluation est locale (même lorsque le contexte est géographiquement vaste) et répond principalement à des préoccupations particulières concernant l’efficacité [à court terme] des programmes évalués.
Les évaluateurs, tout en continuant à travailler dans des cadres programmatiques, devraient examiner les cadres eux-mêmes. Nous devons nous demander comment ces cadres établissent des formes de définition des problèmes, de solutions et d’indicateurs de succès pris pour acquis. Ces cadres sont ancrés dans des idéologies qui structurent les relations humaines et les pratiques sociales au-delà, mais incluant, l’évaluation.
Je vais retracer l’évolution de la théorie et de la pratique d’évaluation, influencée par les idéologies : du progressisme social initial (caractérisé un fort mouvement d’évaluation de programmes mené sur fonds publics) à un néolibéralisme possiblement sur le déclin (caractérisé par un financement accru par des philanthropes, des ONG et des entrepreneurs), et jusqu’au populisme émergent, et réfléchir à la contribution de l’évaluation au bien commun à travers ces changements.
Mêm e s’il s’agit peut-être d’une réflexion inconfortable, nous devons nous demander si l’évaluation, telle qu’elle est conçue par ces idéologies socio-politiques dominantes contribue au bien commun, si elle contribue à un changement positif. De l’avis de la plupart des observateurs, le travail des évaluateurs ne contribue pas suffisamment à la réduction de la pauvreté, aux droits humains et à l’accès à la nourriture, à l’eau, à l’éducation et aux soins de santé. Nous devons également nous demander si la pratique formelle de l’évaluation peut entraver et ralentir le changement social. Je conclurai par quelques réflexions sur ce que nous (les évaluateurs, les bailleurs de fonds et les utilisateurs des évaluations) pourrions faire pour contribuer positivement au bien commun par l’évaluation de politiques publiques.
Discours complet : L’évaluation contribue-t-elle au bien commun ?
Bonjour.
Je suis ravie d’être ici en présence de mes collègues évaluateurs, et je remercie le comité de préparation de la conférence AES pour son invitation à être avec vous au cours des prochains jours. […]
Je fais des évaluations, essentiellement dans le domaine de l’éducation, depuis plus de 40 ans. J’aimerais pouvoir dire que l’évaluation a rempli sa promesse d’amélioration [de l’action publique]. Que la pratique d’évaluation comme la théorie ont amélioré les choses. Mais au lieu de cela, il se trouve que je suis pessimiste, peut-être même cynique quant à la contribution de l’évaluation au bien commun, que je définis comme le bien-être de tous, dans le monde entier, et qui se manifeste par des choses telles que la sécurité alimentaire, l’accès aux soins, à l’éducation, à l’eau potable et au logement. Même si je ne présume pas que l’évaluation et les évaluateurs sont seuls responsables du bien commun, nous suggérons que le travail que nous faisons en tant qu’évaluateurs améliorera les choses, mènera à de meilleurs résultats, résoudra des problèmes sociaux et environnementaux. Donc, nous devons prendre nos responsabilités en conséquence.
Même si je suis assez pessimiste, je terminerai par quelques idées auxquelles nous pourrions réfléchir si nous croyons toujours à la promesse que porte l’évaluation selon nous.
- Le monde a une population de 7,5 milliards de personnes
- La moitié de la population mondiale vit dans la pauvreté
- 22 000 enfants meurent chaque jour parce qu’ils vivent dans la pauvreté
- 805 millions de personnes n’ont pas assez de nourriture
- 5 millions d’enfants meurent chaque année avant l’âge de 5 ans
- 165 millions d’enfants de moins de 5 ans souffrent d’un retard de croissance dû à la malnutrition
- 750 millions de personnes ne disposent pas d’un accès adéquat à l’eau potable
- 2300 personnes meurent chaque jour de diarrhée
- 214 millions de femmes n’ont pas accès à la planification familiale
- 1 enfant sur 7 à New York est sans abri
- Cette année, en Colombie-Britannique, 4 personnes mourront chaque jour d’une surdose d’opiacés
- 34 500 personnes fuient leur foyer tous les jours pour éviter la violence
- 1 personne sur 113 sur la Terre a été chassée de chez elle par les conflits, la violence, ou des violations des droits de l’homme
- Deux tiers des analphabètes dans le monde sont des femmes
Je vais mettre en avant trois raisons pour lesquelles je crois que l’évaluation n’a pas contribué et ne contribue pas assez au bien commun.
La première raison, c’est que la théorie et la pratique évaluative (comme dans de nombreuses autres pratiques sociales) reflètent les valeurs, les croyances et les préférences de l’époque. À ce titre, l’évaluation est contrainte par les idéologies sociales et politiques dominantes.
La deuxième raison, c’est que l’évaluation manque par principe d’indépendance, c’est une prestation de service fournie à ceux qui ont le pouvoir et l’argent, et que dans cette relation, elle devient une pratique limitée dans sa capacité à contribuer au bien commun.
Et la troisième raison, c’est que l’évaluation est fondamentalement une pratique conservatrice, travaillant au sein de domaines [disciplinaires] établis par d’autres et, le plus souvent, maintenant le statu quo.
1/ L’influence des idéologies socio-politiques
La façon que nous avons de porter des jugements sur la valeur et la qualité des programmes, des politiques, des interventions et des réformes est fonction d’idéologies socio-politiques. Les idéologies socio-politiques dominantes façonnent la façon dont l’évaluation est menée, conceptualisée, les méthodes et modèles utilisés, comment et par qui elle est financée, et sa capacité à promouvoir un changement social positif. Toute évaluation nécessite de définir les qualités souhaitables de ce qui est évalué. Et ces qualités sont socialement construites; Par conséquent, les approches dominantes de l’évaluation reflètent l’esprit socio-politique de notre époque.
Dans notre histoire récente, il y a eu deux idéologies socio-politiques dominantes qui ont façonné la façon dont une évaluation est conceptualisée et réalisée : le progressisme [« progressivism »] ou social-démocratie, et le néolibéralisme. Et, nous sommes potentiellement au bord d’une autre idéologie dominante : le populisme.
J’utilise le terme progressisme pour cette première phase même si, en réalité, l’ère socio-politique progressiste a une histoire beaucoup plus longue. J’aurais aussi pu utiliser le terme de démocratie sociale. L’idée principale à laquelle je me rattache est le plaidoyer en faveur de la réforme sociale, en particulier la réduction des inégalités de revenus, l’élargissement des libertés et des droits, et des expressions diverses de l’action collective et de l’humanitarisme… l’idée que la condition humaine s’améliorerait grâce à la science, à la technologie et à l’organisation sociale.
À ses débuts, la pratique de l’évaluation portait la marque du progressisme. Notre travail était souvent mené sur fonds publics et se définissait comme un bien commun, au service de l’intérêt général. L’évaluation reflétait des valeurs progressistes … y compris l’efficience, la justice sociale et la démocratie. La fin des années 1960 et le début des années 1980 ont été l’équivalent pour l’évaluation de la Ruée vers l’Or. À cette époque, les approches évaluatives se sont multipliées et un travail intellectuel passionnant a été effectué dans un certain nombre de disciplines. Les évaluateurs ont emprunté à d’autres disciplines (comme le journalisme, la jurisprudence, l’art) pour explorer comment nous pouvions et devrions faire des jugements sur la valeur [des interventions évaluées] ; les évaluateurs ont exploré le potentiel de l’évaluation pour contribuer à la démocratie, à la justice sociale et à l’égalité des chances ; les évaluateurs étaient convaincus que leur art les aiderait à rendre le monde meilleur.
L’évaluation a maintenant peiné sous une ère néolibérale depuis plusieurs décennies, et dans l’état actuel du néo-libéralisme, l’évaluation reflète de plus en plus ses valeurs, y compris la marchandisation, la concurrence et la privatisation. Le néolibéralisme est une idéologie socio-politique mondiale sans pareil … Il rejette les débats politiques partisans traditionnels et ignore les frontières nationales.
Notre époque est celle où le capitalisme éclipse la démocratie, et où l’interdépendance entre capital et gouvernement devient patente. Un principe fondamental du néolibéralisme est le rôle central que les gouvernements des États jouent dans la facilitation et la promotion des intérêts des élites économiques.
Et l’évaluation est une pratique qui, d’une part, est un outil pour rationaliser et normaliser l’action de l’Etat et les valeurs néolibérales. C’est manifeste, par exemple, dans le Nouveau management public… la gestion de la performance… la mesure de l’impact. Nous le voyons dans la montée du philanthrocapitalisme, apportant ses stratégies intraitables, ses mesures de performance, et l’accent mis sur l’efficacité [à court terme] dans le secteur à but non lucratif. Nous voyons cela dans la montée de l’investissement social, une confusion délibérée entre « faire le bien », et réaliser un profit.
D’autre part, l’évaluation est devenue l’outil de l’État… toujours en train de suivre et de juger les politiques publiques, la conduite des organisations, des agences et des individus, devenant même le décideur ultime [« even serving as the final evaluator »]. Et de fait, l’évaluation est le fournisseur privilégié de connaissances pour l’individu, l’organisation ou l’État rationnels qui cherchent des données impartiales, comparables et arrivant juste à temps pour faire des choix rationnels parmi des solutions concurrentes. Enfin, la prise de décision basée sur des faits, plutôt que sur l’habitude, la préférence, la communauté ou la magie.
Un bon exemple de l’État comme évaluateur est le Centre d’information Clearinghouse sur « ce qui marche » [« What works Clearinghouse »] créé par le ministère de l’Éducation américain pour dire aux enseignants et aux parents quels programmes, produits, pratiques et politiques éducatifs marchent et lesquels ne marchent pas. Ce qui marche est directement connecté à des conceptions étroites de la façon dont on sait ce qui fonctionne (dans ce cas, les seules preuves qui comptent sont celles qui sont issues d’études contrefactuelles, avec une préférence pour l’approche expérimentale).
Le néolibéralisme crée donc à la fois un État évalué et un État évaluateur.
Malgré des réflexions sincères, bien argumentées, convaincantes sur une évaluation de politiques publiques démocratique, émancipatrice, inclusive et transformatrice, et/ou participative, la pratique d’évaluation reflète souvent (peut-être généralement) l’accent mis sur l’efficience, l’efficacité et des résultats mesurables à court terme typiquement reflété dans une logique d’intervention ou une théorie du changement. L’évaluation parle la « langue du marché » et mesure le succès des programmes en termes de profit ; les programmes sont en compétition ; les résultats sont conceptualisés en termes économiques; et si c’est un échec, ce sont les individus qu’il faut blâmer.
Les évaluateurs parlent d’un bon programme comme présentant un bon retour sur investissement ou un bon rapport qualité-prix, qui réduit les coûts (que l’on parle de santé, de logement ou de la sécurité sociale) ou permet de faire des économies, et qui est le meilleur en son genre. Et lorsque les programmes ne fonctionnent pas ou échouent, c’est que des prestataires de services n’ont pas su mettre en œuvre fidèlement les consignes qui leur sont données, ou que les bénéficiaires n’étaient pas suffisamment volontaires ou motivés. Même lorsque l’évaluation est formative, le rôle de l’évaluation reste souvent de mettre en avant ce qui doit être fait pour qu’une intervention soit généralisée ou reproduite ou pour qu’elle touche plus de gens.
Bien qu’une grande partie du monde soit toujours sous l’emprise du néo-liberalisme, il y a une idéologie émergente, même si nous ne savons pas bien ce que seront sa portée et sa puissance dans l’avenir. Ce que les grands médias appellent le populisme de droite, mais qu’il conviendrait plus précisément d’appeler l’autoritarisme ou même le néo-fascisme, balaie les sociétés démocratiques, notamment la Grande-Bretagne, la France, la Turquie et les États-Unis.
Tout le populisme, qu’il soit de droite ou de gauche, a en commun l’idée de rassembler des gens qui se sentent mal ou sous-représentés, autour d’une relation de « nous » contre « eux ». Le populisme peut être une réponse au néo-libéralisme et en même temps un appel au centralisme et l’espoir que le compromis, le développement d’un consensus au centre, l’emportera.
Je ne sais pas ce à quoi l’évaluation ressemblera dans un monde où le populisme de droite serait dominant. Mais ce que j’ai pu constater au cours de mes 40 années d’évaluation, c’est que nous pouvons être assurés que l’évaluation sera modelée au sein de cette idéologie sociopolitique d’une manière qui serve ses principes et ses valeurs centrales.
2/ L’évaluation manque fondamentalement d’indépendance
L’évaluation elle-même est une marchandise, une prestation de service, et cela est particulièrement exacerbé dans un cadre capitaliste néolibéral. L’évaluation est un service acheté et vendu et bien que de nombreux évaluateurs encadrent leur pratique dans les grands principes [déontologiques] de nos organisations professionnelles, l’évaluation et les évaluateurs sont néanmoins sensibles [aux attentes de] ceux qui paient pour leurs services. Je crois qu’il est difficile pour la plupart des évaluateurs qui pratiquent réellement d’imaginer que celui qui a commandé l’évaluation n’a pas le dernier mot sur les questions d’évaluation et les effets attendus.
Ceux qui ont l’argent dominent la définition de ce qui est important, ce qui compte comme succès et comment cela est démontré. Le mode de fonctionnement dans une grande partie de la pratique évaluative est descendante, ce que Michael Scriven a appelé l’« idéologie managériale ». En élargissant la focale, les gestionnaires des programmes / projets servent leurs bailleurs de fonds et les évaluateurs servent les gestionnaires de programme / projet et/ou leurs bailleurs de fonds.
Il est à noter que l’un des sujets qui ont fait l’objet du plus grand nombre de recherches, dont on a le plus discuté et dont on s’est le plus inquiété dans l’évaluation c’est son UTILISATION, ou plus précisément son absence d’utilisation. Nous nous sommes interrogés sans relâche pendant des dizaines d’années sur les raisons pour lesquelles nos évaluations ne sont pas utilisées, comment nous pouvons amener les gens à les utiliser, comment nous pouvons faire une évaluation pour que les décideurs voient l’utilité de notre travail. Carol Weiss nous a d’abord libérés de l’idée que les résultats de l’évaluation mèneraient directement, de façon instrumentale, aux décisions et aux changements. Mais, ce faisant, elle nous a aussi laissé le sentiment de malaise que notre travail était une petite partie d’un grand tout, ou pire encore, un pion dans un jeu joué selon des règles complètement différentes [que les nôtres]. Récemment, nous avons même créé un nouveau type d’utilisation, l’utilisation processuelle [« process use »], pour nous convaincre, nous et les autres, que ce que nous faisons est vraiment important.
Toute profession qui dépense tant d’énergie, tant de temps, tant de ressources sur les raisons pour lesquelles les gens ne s’intéressent pas à ce que nous faisons et disons est par nature une profession qui ne fait sans doute pas autant de bien qu’on pourrait le croire.
Parce que nous sommes pris au piège de cette idéologie managériale, nous sommes fiers de fournir des données probantes sur ce qui marche et ce qui ne marche pas, que nous défendons souvent face à des soutiens irrationnels ou au moins idéologiques envers [certaines] politiques et programmes.
On entend l’expression « dire la vérité au pouvoir », utilisée pour exprimer ce que nous considérons comme notre contribution à faire la bonne chose, ce qui contribue au bien commun. Un acte courageux, mais le plus souvent futile. « Dire la vérité au pouvoir » est un cliché, utilisé souvent par les gauchistes et les progressistes, et qui oublie de considérer la probabilité que les puissants sachent déjà la vérité et choisissent de l’ignorer (ou de la modifier) pour soutenir leurs intérêts et leurs idéologies déjà bien développées. Malheureusement, notre dépendance à l’égard des autres dans notre rôle de prestataire de service et notre longue expérience visant à traduire ce que nous avons appris dans les compréhensions, les préférences et les présupposés des autres font que dire la vérité au pouvoir est totalement la mauvaise approche, ou du moins qu’elle n’est pas très efficace.
3/ L’évaluation est conservatrice
La plupart des évaluateurs pensent dans un micro-contexte, un héritage d’une pratique évaluative […] au service des décideurs, des politiques, des bailleurs et des bénéficiaires. La pratique de l’évaluation est locale (même lorsque le contexte est géographiquement vaste) et répond principalement à des préoccupations particulières concernant l’efficacité des programmes évalués. L’apport de l’évaluation pour réduire la pauvreté et ses conséquences sur la population serait typiquement d’identifier des stratégies efficaces, ou d’améliorer les stratégies existantes de réduction de la pauvreté. Bien qu’il soit tout à fait approprié que les praticiens de l’évaluation travaillent de cette manière, cela détourne notre attention des grandes questions sur pourquoi cette intervention, pourquoi cette stratégie, pourquoi ces personnes et pas d’autres.
Prenez un exemple simple, la sécurité alimentaire, un concept fondamental en matière de réduction de la pauvreté, une contribution essentielle au bien commun. Les programmes visant à accroître la sécurité alimentaire sont créés par des organismes (comme Save the Children) ou les gouvernements (comme USAID [L’agence bilatérale d’aide au développement américaine]) qui à leur tour sont les architectes des critères de succès de leurs programmes. L’USAID déclare que les évaluations devraient mettre l’accent sur la gestion axée sur la performance pour « renforcer l’impact de ces programmes sur le bien-être de leurs bénéficiaires ». Bien qu’il existe de nombreux types de programmes de sécurité alimentaire, l’un d’entre eux est le programme « Nourriture contre travail », une stratégie dans laquelle le paiement de l’aide alimentaire est échangé contre du travail dans les programmes de travaux publics conçus pour construire et entretenir l’infrastructure locale (comme les routes, les puits, les latrines ou les écoles).
Ce type de programme (une approche d’échange de marchandises contre un besoin humain fondamental, dans ce cas la nourriture) privilégie la croissance économique locale comme résultat principal, et la sécurité alimentaire est un moyen vers cette fin. Les bénéficiaires sont à la fois des capitalistes et des personnes qui ont besoin de nourriture. Une réponse à la sécurité alimentaire qui mettrait l’accent sur la valeur d’usage (plutôt que sur la valeur d’échange) [de la nourriture] conduirait à différentes stratégies et indicateurs de succès ; par exemple, la valeur d’usage de la nourriture contribue à maintenir les liens familiaux, l’amour, l’esthétique, le bonheur, le bon voisinage et le développement communautaire.
Mais le travail de l’évaluateur est pris dans ce genre de système fermé et il faudrait un effort herculéen pour mettre plutôt l’accent de l’évaluation sur les hypothèses sous-jacentes d’un programme. En conséquence, la pratique de l’évaluation est une réaction aux idées des autres et a une portée limitée pour contester l’idée de la politique ou du programme.
Ajoutez à cela la probabilité que nous fassions des évaluations de programmes dont les hypothèses et les intentions sont en accord avec nos propres systèmes de valeurs, et les chances de remettre sérieusement en cause les intentions sous-jacentes des programmes sont encore diminuées.
Notre travail a donc tendance à conserver ce qui est déjà là.
Juste quelques idées pour aller de l’avant.
Nous avons besoin d’évaluations réellement indépendantes
L’évaluation externe est souvent considérée comme plus indépendante et susceptible de fournir un jugement sans préjugés sur les programmes, les interventions et les stratégies. Que ce soit vrai est beaucoup débattu, mais a minima, les évaluations payées par quelqu’un ayant un intérêt dans le programme seront influencées par ces intérêts. Je suggère que des évaluations plus indépendantes, effectuées sans intérêt monétaire dans le programme (mais avec des intérêts intellectuels ou moraux) puissent fournir des informations sur la valeur et les conséquences des programmes et des interventions. Et qu’ainsi, le financement indépendant de ces évaluations permette aux évaluateurs d’intervenir en dehors des cadres du néo-libéralisme, à regarder les résultats à long et à court terme, et d’enquêter sur les résultats non planifiés et non anticipés. J’ai utilisé précédemment l’exemple des programmes de sécurité alimentaire conçus comme un échange de produits et montré que la façon dont à la fois le problème (la faim, la famine) et la solution (la nourriture pour le travail) étaient envisagés n’était pas a-idéologiques et étaient au contraire basés sur les principes du capitalisme. Une évaluation indépendante qui interrogerait les fondements de ces programmes serait une contribution substantielle à la remise en question d’hypothèses considérées comme acquises et qui définissent la sécurité alimentaire en termes capitalistes.
Nous pourrions faire mieux pour dire la vérité aux sans-pouvoirs
Dire la vérité à ceux qui n’ont aucun pouvoir pourrait être beaucoup plus utile que le cliché qui consiste à « dire la vérité au pouvoir ». Peut-être que les sans-pouvoirs ne savent pas la vérité ou ont une vision confuse de la situation, ce qui contribue à les rendre inactifs, incapables de poursuivre leurs propres intérêts, incapables de voir que d’autres qu’eux partagent les mêmes intérêts.
Nous avons une masse énorme d’approches évaluatives qui promettent la participation, l’émancipation, la transformation … Je fais partie de la communauté évaluative qui fait ces promesses. Je ne dis pas simplement que ce type d’évaluation est meilleur. Mais plutôt, que c’est à nous de nous demander comment l’évaluation pourrait contribuer au bien commun si les pauvres, les sans-abri, les malades étaient nos clients. Les sans-pouvoirs ont besoin de données probantes et d’analyses qui leur permettront de comprendre [des processus à l’œuvre comme le fait de] blâmer la victime, la privatisation, l’antisyndicalisme et les principes libre-échangistes qui soutiennent les politiques et les idéologies préjudiciables à leur bien-être. Nous avons besoin de plus de vérité pour les impuissants, pas les puissants, et nous devons donner aux impuissants le pouvoir de parler pour eux-mêmes … les évaluateurs devraient réfléchir à la façon dont nous pourrions faire cela.
Ce sont des idées pour lesquelles je n’ai aucun plan précis, aucune procédures ou processus nécessaires à leur mise en œuvre. Mais, après une vie de travail je ne suis pas prête à abandonner le potentiel de l’évaluation. Et donc même si notre travail a contribué trop peu au bien commun, a parfois maintenu un statu quo préjudiciable, a parfois même contribué à des pratiques sociales néfastes … Je crois que nous pouvons faire mieux. Je crois que nous devrions essayer de faire mieux.
Je vous remercie.
Pour aller plus loin
- La traduction française du discours par la Vigie de l’évaluation en version imprimable