Nota : ceci est un billet de réflexion, destiné à animer nos chères communautés d’évaluateurs. le trait est volontairement (un peu) forcé.L’article n’engage que ses auteurs (*).

Evaluateurs partout, évaluateurs nulle part

Évaluateurs depuis le début des années 2000, nous pensions tout connaître de ce petit milieu.

Et puis nous découvrîmes successivement des rapports d’évaluation très médiatiques d’auteurs dont nous n’avions jamais entendu parlé. Des instances nationales d’évaluation qui n’évaluent pas.

Vint ensuite l’épisode fugace de la ‘notation des ministres’ aussi vite oubliée qu’annoncée. Et récemment le Gouvernement qui déclare vouloir “évaluer toutes les politiques publiques”, mais qui n’a pas dérangé un seul membre de notre belle communauté des évaluateurs.

Mais qui sont ces évaluateurs qui évaluent sur nos têtes?

Voici notre propos : il existe en France plusieurs communautés qui se disputent la fonction d’évaluateurs. Ces communautés s’ignorent mutuellement avec superbe.

1. la chapelle “SFE”

La Société française d’évaluation (SFE), créée en 1999, regroupe environ 600 membres, dont beaucoup de praticiens issus des petits cabinets privés et de responsables d’évaluation de collectivités locales. Quelques chercheurs y participent aussi, en particulier de jeunes chercheurs, venant pour beaucoup des sciences sociales.

En tant que société professionnelle, elle est l’héritière du lent processus de légitimation de l’évaluation en France et prône en conséquence des pratiques qui ressemblent à l’évaluation telle qu’elle se pratique très majoritairement en Europe (1) : des évaluations pluralistes, à visée essentiellement formative, dans lesquelles les commanditaires posent les questions auxquelles les prestataires répondent et dont la robustesse se mesure avant tout au croisement de plusieurs sources de données, souvent qualitatives.

Sa charte, qui date de 2003, insiste essentiellement sur le processus d’évaluation et sur la répartition des rôles, sans être prescripteur sur les méthodes à employer.

• À les entendre, ce sont les seuls à produire des évaluations utiles à la décision publique.

>> voir un exemple de rapport d’évaluation d’un évaluateur membre de la SFE (un rapport sur la coopération internationale ici ou sur une politique régionale de transport là en bas de page)

2. La chapelle des économistes

Historiquement, l’évaluation économique basée sur la quantification des impacts a précédé l’évaluation telle que développée par la “chapelle SFE” (2).

Depuis quelques années, un nouveau groupe d’économistes universitaires a investi le champ de l’évaluation en prônant l’évaluation expérimentale directement auprès des administrations centrales, qui ont toujours été plus rétives à l’évaluation de type “SFE”.

Du calcul économique public du début XIXème à l’évaluation d’impact du début XXIème, l’évaluation à dominante quantitative a achevé un cycle, et connaît un nouvel essor conquérant.

Dans le sillage d’Esther Duflo (3), ces laboratoires (LIEPP, École d’économie de Paris au sein de l’Institut des politiques publiques) se sont fait une spécialité de réaliser des évaluations à fort impact médiatique (par ex. expérimentation du RSA), réalisées dans le cadre de projets de recherche et de plus en plus dans le cadre de commandes publiques d’organismes d’État.

Cette démarche est rejointe par les tenants de “l’evidence-based’ policy, assez nombreux dans les pays de culture anglo-saxonne (cf. Alliance for Useful Evidence) et dans le domaine de l’aide au développement.

Pour eux, l’évaluation est une application particulière de la micro-économie (4), dont la qualité se mesure à sa validité statistique. Évaluer permet de briser les idées reçues (5) et de changer pour le mieux la vie du plus grand nombre.

• À les entendre, ce sont les seuls à produire des évaluations fiables.

>> voir un exemple de rapport d’évaluation par des économistes (ici en pdf sur les internats d’excellence ou là sur le site 3ieimpact.org)

3. L’évaluation gouvernementale

Lorsque le gouvernement a annoncé au CIMAP que toutes les politiques devaient être évaluées, il leur a fallu proposer une méthode. Un éco-système s’est créé, avec le CGSP, le guide méthodologique du Conseil d’analyse économique, etc. L’évaluation quantitative est reconnue comme étalon de la méthode évaluative.

“En France on a une haute fonction publique qui tourne le dos au monde académique et à ses méthodologies, tout le contraire de ce qui se passe aux Etats-Unis”

Vincent Spenlehauer dans une interview au CESE le 22/10/2013.

Mais dans les faits, pas de grands changements, l’évaluation gouvernementale reste l’apanage des corps d’inspection de l’État (IGA, IGAEN, IGF, IGAS) et la démarche de ‘modernisation de l’action publique’ (MAP) leur a permis (dans un premier temps) de réaffirmer leur primat sur ce domaine, après une RGPP marquée de la patte de McKinsey et des cabinets de conseil internationaux.

Leur pratique s’appuie largement sur leur expertise de l’État, des données de gestion fournies à leur demande par les services, et parfois la réalisation d’études de cas locales. La consultation des usagers et la mesure d’impact sont balbutiants.

Leurs rapports font la part belle aux questions financières et d’ailleurs, pour eux, l’évaluation n’est guère différente des contrôles et bilans qu’ils réalisent depuis des décennies — avec pour principale variation une plus grande emphase sur les préconisations.

• À les entendre, ce sont les seuls légitimes à évaluer du point de vue de l’intérêt public, et donc à évaluer les politiques gouvernementales.

>> voir un exemple de rapport d’évaluation présenté au CIMAP (par ex. le rapport sur le pilotage de l’ESS, ou bien ici la liste de tous les rapports suivis par la vigie)

4. La Cour des comptes

Une dernière chapelle est peut-être en train de se constituer. La Cour des comptes a commencé à investir le domaine de l’évaluation sous la présidence de M.Seguin, et M. Migaud a amplifié le mouvement, consacré par des prérogatives reconnues par la loi depuis 2011.

Pour la Cour des comptes, l’évaluation est d’abord un prolongement de leur démarche de contrôle, à la manière des corps d’inspection. Comme eux, ils posent leurs propres questions, définissent leurs propres normes et sont attentifs d’abord à l’efficience des politiques.

Mais dans le même temps, la Cour des comptes interroge sa démarche et semble se rapprocher progressivement des praticiens de la SFE (notamment par une participation régulière aux JFE).

Les principes et la pratique de la Cour des comptes sont en cours d’élaboration, la chapelle n’est pas encore constituée. L’ENA aussi d’ailleurs se pose des questions, comme lors de ce séminaire en en mars 2013: “La métamorphose des corps d’inspection : du contrôle à l’évaluation”.

>> voir un exemple de rapport d’évaluation de la Cour des Comptes (là sur le tabagisme ou encore là sur l’hébergement des SDF )

Pourquoi faire bien ensemble ce que l’on peut saborder à plusieurs ?

Le plus symptomatique dans ce paysage est l’ignorance dans laquelle chaque chapelle se tient des autres. On ne verra guère d’inspecteurs de l’État lors des journées bisannuelles de la SFE (6), qui pourtant se veut rassembleuse. Pour les économistes, l’évaluation n’existait pas en France avant leur arrivée et il est temps de la développer – en dépit des prétentions des  cabinets privés et des collectivités qui se targuent de faire l’essentiel de l’évaluation en France depuis des années.

Extrait de“Évaluation des politiques publiques : faut-il de l’interdisciplinarité? “, par Etienne Wasmer et Christine Musselin

Pourquoi tant de chapelles ?

Car le nerf de la guerre pour l’évaluateur, c’est la crédibilité. Le regroupement en chapelles facilite l’édiction de normes sur “la bonne façon de faire de l’évaluation”. Chacun se bat avec ses propres armes : les praticiens privés avec la souplesse de leurs méthodes ad hoc, les chercheurs avec la validité statistique de leurs outils quantitatifs, les corps d’inspection avec leur mandat et leur accès aux données et aux personnes.

Et il en existe bien d’autres, délimitées sur leur champ de compétences sectorielles : dans le domaine de la santé (HAS, ARS, ANESM), de l’éducation (CNESCO),  de l’aide au développement, des risques industriels, etc.

Cette situation est stérile

Chaque pratique d’évaluation a ses avantages et ses inconvénients, et surtout, ne peut être appliquée que dans certaines conditions. On ne verra jamais la politique de Défense nationale faire l’objet d’une évaluation pluraliste et transparente, et 95% des politiques publiques ne se prêteront jamais à une expérimentation contrôlée. Dès lors, pourquoi ne pas prendre le meilleur de chaque pratique et partager les leçons de l’expérience?

Cette situation est surtout évitable

Dès aujourd’hui, les nouveaux acteurs nationaux de l’évaluation cherchent leur chemin et parviennent à faire quelques ponts: le Comité d’évaluation et de contrôle de l’Assemblée Nationale s’est entouré de cabinets privés et de laboratoires de recherche ; la Cour des comptes est présente à la SFE, et bien sûr jamais trop loin des corps d’inspection.

Quand elle travaille pour le CEC, elle fait une synthèse des pratiques qui tire bien vers les pratiques pluralistes prônées par la SFE, avec force consultations (enquête, focus group, etc.). De même, le CGSP se positionne en centre de ressources “en partenariat avec des chercheurs d’une part, des praticiens de l’évaluation d’autre part”.

Cette situation est dynamique

Après 20 ans d’émergence de l’évaluation “sous le radar”, les lignes bougent vite. Il est possible de les faire bouger avec un effort mesuré de dialogue.

Et vous ?

• Qu’en pensez-vous ?
• Appartenez-vous à une chapelle ?
• Comment faire dialoguer ces mondes et leurs méthodes ?

Pour aller plus loin

Heureusement, d’autres ont déjà réfléchi sur le sujet. Vous pouvez lire sur le sujet:

• Une très bonne synthèse formulée pour le LIEPP par Pierre Lascoumes et Clément Lacouette-Fougère “Les scènes multiples de l’évaluation : Les problèmes récurrents de son institutionnalisation“
• « Évaluation des politiques publiques et quantification en France : des relations ambiguës et contradictoires entre disciplines », Revue française de Socio-Economie, n° 5, 2010 (avec Jean-Claude Barbier).
• Thèse de V.Spenlehauer (1998), « L’évaluation des politiques publiques en France, avatar de la planification »,
• ou encore le séminaire Quantitativisme Réflexif.

Bonus : résumé gratuit ! (et un peu caricatural pour les besoins de la chose)

(*) Article rédigé pour le plaisir de la controverse par Alix de Saint-Albin et Thomas Delahais.

(1) La SFE est membre de la Société européenne d’évaluation.

(2) Matyjasik, N. (2010). L’évaluation des politiques publiques dans une France décentralisée. Institutions, marché et professionnels (Doctoral dissertation, Université de Bordeaux). http://tel.archives-ouvertes.fr/tel-00543239/

(3) Esther Duflo a rédigé le guide de référence des évaluations financées par le Haut Commissariat à la Jeunesse. Sa thèse est consacrée à l’évaluation économique des projets de développement. En 2011, le magazine américain Time la fait figurer sur sa liste des 100 personnes les plus influentes au monde. cf page Wikipedia.

(4) Voir par exemple les Principes de microéconomie d’Étienne Wasmer, directeur du LIEPP.

(5)Le best-seller Freakonomics en est un très bon exemple.

(6) La précédente présidente de la SFE, Inspectrice générale des affaires sociales, faisant figure d’exception à cet égard.