Note de l’éditeur : ceci est un billet d’invité, rédigé par Jean-Pierre Nioche

Une société européenne, une rencontre mondiale

 La Conférence bisannuelle de l’European Evaluation Society (EES) s’est tenue du 1er au 3 octobre 2014 à Dublin, avec un succès considérable. Pas seulement parce qu’elle a rassemblé 750 participants, mais parce que cette conférence n’est plus européenne, mais mondiale. C’est même la seule.

La conférence de l’Association Américaine d’Evaluation rassemble autant de participants, mais en large majorité américains. Alors qu’à Dublin sur les 524 prises de parole (présentation ou participation à une table ronde) 43 % étaient le fait d’orateurs venant de 24 pays européens (au sens large) et 57 % celui d’orateurs venant de 36 pays du reste du monde (6 des Amériques, 14 d’Asie-Pacifique, 16 d’Afrique et du Moyen-Orient).

 Où sont les français ? Où est la Société Française de l’Evaluation ?

Où est la France?

 On ne peut que déplorer la faible présence française lors d’une telle manifestation. En l’absence d’une liste des participants avec leur nationalité, il est possible d’avoir une idée de l’influence des différents pays en notant la nationalité des auteurs des 524 interventions. Apparemment une douzaine ont été faites par des participants originaires de France. Ce qui déjà place la France très loin des pays les plus représentés en Europe (UK : 58 ; Allemagne : 27 ; Italie 26 ; Espagne : 21 ; Irlande : 21) et dans le monde (USA : 100 ; Canada : 28 ; Inde : 21 ; Australie : 21). Malheureusement un examen un peu plus approfondi montre que la moitié des interventions attribuées à la France étaient le fait de non-français s’exprimant au nom d’organisations internationales basées à Paris (OCDE, UNESCO, etc.). La participation française apparaît finalement très marginale, celle de la Société Française de l’Evaluation encore plus, ne comptant aucun de ses responsables.

On constate aussi l’absence totale de représentants de l’Etat ayant une responsabilité en matière d’évaluation en France : Assemblée Nationale, Cours des Comptes, Inspections Générales, Ministère de l’économie, etc. Peut-être est-ce, qu’ayant été, pour la plupart, déclarés compétent en évaluation par décret, ils ne ressentent pas le besoin d’échanger avec les experts étrangers.

Nouveautés et faits saillants

Les nombreuses sessions peuvent être regroupées en quatre catégories : secteurs de politiques évaluées, types ou niveaux d’institutions concernées, thématiques transversales, objets de débat, méthodologies d’évaluation. Il n’y a pas grande innovation du côté des secteurs, la plupart étant plus ou moins représentés.

L’approche par les institutions reflétait les niveaux classiques du secteur public : supra-national (dont européen), national, régional, local. La nouveauté vient de la montée en puissance de l’évaluation pour le secteur associatif et le secteur privé.

Scriven, 50 ans au service de l’évaluation. Crédit photo Josef RABARA pour l’EES

Les thèmes de débats transversaux (ni proprement sectoriels, institutionnels ou méthodologiques) au sein de la communauté des évaluateurs sont multiples, mais deux thèmes sont apparus à Dublin comme prenant une importance vraiment nouvelle:

• Le gender est à la mode. On ne sait pas encore comment caractériser cet objet, qui est alternativement présenté comme un secteur (les politiques de parité), un thème de débat (y a-t-il une spécificité du genre comme critère d’évaluation ?) ou comme une question qui demanderait des réponses méthodologiques nouvelles. Un peu de décantation sera nécessaire.
• L’equity est certainement le thème qui est apparu le plus présent à Dublin. Cela tient incontestablement à l’intitulé de la conférence « Evaluation for an Equitable Society ». Mais l’importance de la thématique va au-delà de cet affichage. L’un des principaux orateurs de Dublin a été Michaël Scriven, 50 ans de carrière au service de l’évaluation, mais dont l’esprit reste clair et le message puissant. Celui qu’il a délivré dans pas moins de cinq tables rondes est le suivant : l’une des branches majeures de l’évaluation doit être l’éthique. Pas seulement l’éthique de l’évaluateur, sujet ancien. L’évaluation ne doit plus se limiter aux critères d’utilité des politiques, mais explorer également leurs dimensions éthiques, aux premiers rangs desquels figurent l’équité, en particulier l’accès de tous au bénéfice des politiques publiques et la prise en compte de leurs effets collatéraux (side effects).

Diversité des pratiques

Différents types d’évaluation reconnus par betterevaluation.org

La variété des approches méthodologiques débattues à Dublin était particulièrement riche et ouverte à l’innovation. Une liste partielle des questions débattues en témoigne : evidence based evaluation, use of data sciences, RCT, data visualisation, monitoring and evaluation, risk analysis, international comparisons, network analysis, theory based evaluation, comprehensive evaluation, structural equation modeling, advocacy evaluation, realist evaluation, qualitative comparative analysis, qualitative methods, stakeholder evaluation.

Autrement dit, la Conférence de Dublin a bien reflété la variété des méthodologies qui caractérise le champ de l’évaluation à travers le monde. Cela change agréablement des Journées de l’Evaluation de la SFE dans lesquelles le spectre des approches méthodologiques est terriblement restreint. Ainsi, aux Journées de Grenoble (2013) seules les deux dernières approches ci-dessus étaient abondamment représentées et l’unique atelier sur les méthodes quantitatives n’avait pour objet que d’en dire du mal. Les dirigeants de la SFE devraient méditer la formule d’un célèbre dubliner, Oscar Wilde:

« Quand on pense tous la même chose, on ne pense pas du tout ».

Jean-Pierre Nioche, le 10 octobre 2014