En complément d’un compte rendu du séminaire du 6 novembre 2014 (cf. article ici), voici le premier bilan national des 4 cycles d’évaluation lancés par le CIMAP à ce jour.
L’état d’avancement à deux ans du plus vaste programme d’évaluation français
En 6 pages, la plaquette éditée par le SGMAP retrace les 60 évaluations
lancées depuis décembre 2012 (à peine 2 ans!).
Le SGMAP compte 52 évaluations achevée et 24 déjà publiées (la Vigie décompte 26 rapports publiés à cette date).
Sur ces 52 évaluations, 20 ont déjà fait l’objet de décisions gouvernementales moins de 2 ans après le lancement des travaux. Un calendrier qui laisse songeur compte tenu de l’ampleur des sujets embrassés par ces évaluations, portant généralement sur des politiques publiques existantes depuis des décennies.
Un besoin de justification de l’évaluation?
Le SGMAP met également en avant la contribution de ces évaluations à l’effort de réduction budgétaire.
La Vigie est tentée de regretter cette nécessité de justification par la seule efficience, en décalage avec le discours tenu le même jour sur le rôle de l’évaluation au regard des exigences comptables de court-terme.
Surtout quand les exemples avancés portent sur des politiques de (re)distribution, dont la dépense directe est aisément maîtrisable par l’Etat (en donnant un peu moins, un peu moins souvent), plutôt que par de réel gains d’efficience générés par une politique réorganisée dans ses finalités et ses modalités. Mais la question est complexe et mérite une analyse dans le détail…un jour peut-être.
Quand les Ministères évaluent l’exécutif
90% des évaluations ont été réalisées par les services d’inspection du gouvernement, ce qui contraste avec le baromètre de la SFE qui observe à quelques jours d’intervalle que 75% d’évaluations en France sont confiées à des cabinets privés. Pendant ce temps-là, le Parlement dont c’est la fonction Constitutionnelle réalise une demi-douzaine d’évaluations par an, avec le soutien de la Cour des comptes. Des chapelles dites-vous?
60 évaluations, enjeux et méthodes décortiqués
Le SGMAP a procédé pour l’occasion à une véritable analyse qualitative des évaluations lancées avec la MAP, prémisses d’une méta-évaluation inédite en France à ce niveau.
Le SGMAP innove : 13 critères pour noter les évaluations de la MAP
L’approche est présentée en tout juste 4 minutes par Vincent Maymil, chef du département évaluation au SGMAP. Prenez le temps de regarder ces quelques minutes d’intervention, c’est la seule en forme de bilan des évaluation du SGMAP depuis sa création.
[Séminaire EPP] Vincent Maymil, du SGMAP… par SGMAP
Trois critères sont soulignés comme “points forts” de la démarche:
- La qualité de diagnostics;
- La richesses des critères d’évaluation retenus (efficacité, efficience, cohérence, etc.);
- La qualité de la gouvernance des epp (tenue des comités de pilotage, association des parties prenantes, objectivité apportée par la séparation des maîtrises d’ouvrage des maîtrises d’oeuvre).
Les 13 critères d’appréciation des évaluations de la MAP, par le SGMAP
A l’inverse, plusieurs pistes de progrès sont clairement désignées:
- Les suites données aux évaluations, trop rares;
- La transparences des travaux, trop rarement publiés;
- Le recours à l’accompagnement du SGMAP et à des appuis directs aux travaux évaluatifs, trop rares.
L’ambition de ce travail n’est pas mince. En plus de produire une vision d’ensemble des évaluations lancées à ce jour, l’outil de cotation est suggéré comme grille d’auto-évaluation qui pourrait être généralisée pour chacune des futures évaluations de la MAP.
Technique:la méthode multicritère multijuge appliquée à la meta-évaluation. une 1ère. Le choix des critères est un sujet en soi #sgmap #epp
— Vigie de l’éval (@EvaluationVigie) 6 Novembre 2014
Dans l’attente de nouvelles publications relatives à cette grille de lecture, la vigie vous invite à vous suivre directement le SGMAP via son fil twitter.