20130625 Experimentationpublique

20130625 Experimentationpublique

L’expérimentation pour renouveler les politiques publiques ? jean BERARD & Mathieu VALDENAIRE Le recours à l’expérimentation est de plus en plus souvent cité comme une forme prometteuse de réforme des politiques publiques. Elle permet de faire connaître les effets réels de ces politiques sur leurs bénéficiaires. Encore faut-il que ces résultats soient fondés sur des données objectives et réellement pris en compte.

Les auteurs de cet essai travaillent au sein de la Mission d’animation du Fonds d’expérimentation pour la jeunesse (FEJ) Populaire et de la Vie Ils s’expriment ici à tl engager l’administrat , de l’Education so PACE 1 or21 Sni* to pz • opos ne sauraient L’évaluation des politiques publiques est sur toutes les lèvres et dans tous les textes qui recommandent de déterminer quelles politiques publiques sont efficaces et lesquelles ne le sont pas assez pour être poursuivies.

La prolifération du terme cache une très grande hétérogénéité des pratiques : inspections, audits, tableaux de bord, palmarès, baromètres, pilotage par les résultats sont autant d’exemples d’« évaluations » qui sont d’abord des transformations des modes de gestion des entreprises et des administrationsl. Cévaluation mise en œuvre dans le cadre des expérimentations et dont traite cet article vise, elle, à mesurer les effets

Désolé, mais les essais complets ne sont disponibles que pour les utilisateurs enregistrés

Choisissez un plan d'adhésion
d’une politique publique sur ses bénéficiaires.

Les conditions nécessaires à la mise en œuvre de ces méthodes ne sont cependant pas toujours réunies, et leur réalisation nécessite une grande rigueur. Ainsi, dans la pratique, parmi la masse de textes et rapports d’évaluation, rares sont en réalité ceux qui permettent de mesurer des effets de manière crédible. Ceci est d’autant plus vrai lorsqu’il s’agit de politiques récemment mises en œuvre, ou en cours de déploiement. Pour isoler l’effet d’une intervention, il est possible de procéder, de manière expérimentale et contrôlée, à son implantation progressive.

Ainsi, dans le domaine scolaire, le projet STAR, mené au milieu des années 1980 dans FÉtat du Tennessee, a permis de tester, selon une méthodologie rigoureuse, l’effet de classes à effectif réduit sur les apprentissages et le devenir professionnel de jeunes élèves. Les résultats révélèrent un impact significativement Voir par exemple Bruno et Didier (2013). La première note du Conseil d’Analyse Economique (février 2013) revient sur ces méthodes, leur intérêt et eurs limites, et émet des propositions en matière d’organisation de l’évaluation des politiques publiques. plus fort des classes de petite taille que dans la plupart des études précédentes3. Dans les s résultats, plusieurs États années qui suivirent la pu PAGF 91 place de telles méthodes. Le FEJ procède par appels à projets thématiques ? destination des acteurs des polltiques en faveur des jeunes , il revient à ces acteurs de proposer des pistes d’action innovantes6. L’originalité principale de la démarche du FEJ tient ? la place accordée ? l’évaluation : celle-ci est réalisée par un organisme externe, ndépendant à tous points de vue du porteur de projet et entièrement financée par le FE].

L’ensemble des rapports d’évaluation est rendu public à l’issue des expérimentations. Dans quelle mesure une telle méthode est-elle à même de renouveler la connaissance des effets des politiques publiques et de peser sur leur orientation ? Cet essai revient d’abord sur quelques difficultés habituellement rencontrées lorsqu’on veut isoler l’effet d’une intervention publique. Il s’interroge ensuite sur Pintérêt et la portée des résultats obtenus par le recours à l’expérimentation et les conditions dans lesquelles es résultats probants peuvent être obtenus.

En effet, pour que cette démarche porte pleinement ses fruits, il faut éviter de céder à une « pensée magique » de rexpérimentation : le simple fait d’expérimenter ne suffit pas à identifier les effets de l’action testée, ni à plus forte raison ? arbitrer, sans autre forme de débat scientifique et politique, entre différentes orientations pour les politiques futures dans un domaine. Une conception exigeante de l’expérimentation est nécessaire. Effets incertains des politiques publiques La difficulté à mesurer l’impact des politiques publiques a été aintes fois exposée.

Ainsi, pour reprendre cet ment identifier l’impact de Une première estimation, reposant sur une simple comparaison, conclut à l’absence d’effet d’une telle mesure, les élèves des classes plus grandes obtenant les mellleurs résultats. Mais cet effet apparent est dû à un biais de sélection, les élèves possédant les caractéristiques les plus favorables à la réussite scolaire étant amenés, pour diverses raisons, à fréquenter des classes plus chargées.

Les études faites à partir de données tenant insuffisamment compte des différences de profils entre élèves des classes les moins chargées t les plus chargées concluent ainsi à un effet positif des classes de plus grande taille. À l’inverse, les travaux parvenant à isoler ‘effet propre montrent dans leur très grande majorité que la réduction de la taille des classes a un effet positif, en particulier dans les petites classes et pour les enfants issus de milieux populaires (Piketty et Valdenaire, 2006), et que cet effet est durable (Fredriksson, bckert, Oosterbeek. 013). Le problème posé par ce cas précis peut être formulé d’une manière plus genérale : la comparaison des trajectoires des bénéficiaires avec le reste de la opulation ou, au mieux, une Voir par exemple Finn et Achilles (1990) ou Krueger (1999). Ainsi l’Etat de Californie lance en 1 996 un programme de réduction de la taille des classes qui touchera plus de 10 millions d’élèves scolarisés dans les trois premières années de l’enseignement primaire, soit plus de des élèves (Chiu, 2005). ? ce jour, 581 projets expérimentaux ont été soutenus, qui donneront lieu à 297 rapports d’évaluation. L’ensemble des rapports expérimentations PAGF 1 site http://www. experimentation. jeunes. gouv. fr/ 6 14 appels à projets ont ainsi été lancés entre 2009 et 2011. Sur le ecours aux appels à projets comme vecteur d’innovation sociale, voir par exemple la note du Centre d’Analyse Stratégique (2011) consacrée aux appels ? projets dans les politiques de l’emploi. 4 population possédant apparemment des caractéristiques comparables tient souvent lieu de preuve de son efficacité.

Or les bénéficiaires d’une politique publique ne sont en général – par bonheur – pas choisis au hasard : s’ils sont orientés vers un dispositif, c’est qu’ils ont des besoins spécifiques, et donc en général des caractéristiques différentes du reste de la population, dont certaines ne sont pas observables tatistiquement. Or les caractéristiques indlviduelles pèsent souvent (beaucoup) plus sur les trajectoires futures des personnes que n’importe quelle intervention publique.

De petites différences entre les bénéficiaires et les non bénéficiaires peuvent entraîner des biais considérables dans la mesure de l’efficacité d’une politique ou d’un dispositif. L’évaluation de l’impact du redoublement sur les résultats scolaires est exemplaire de cette difficulté : si le fait de redoubler a un impact (positif ou négatif) sur la trajectoire scolaire d’un élève, il est surtout évélateur d’un niveau scolaire relativement faible, et de caractéristiques individuelles et familiales moins favorables à la performance scolaire que es élèves.

Auquel de ces PAGF s 1 l’intervention dont on cherche à évaluer les effets. Si cette difficulté est acceptée en théorie, elle s’avère en pratique largement sousestimée. Le champ de l’évaluation des politiques publiques recouvre sous un même vocable des pratiques professionnelles très diverses. Il s’agit parfois de réaliser des études qui, s’apparentant à un travail de conseil, éclairent les décideurs sur l’organisation de leurs ervices. Une autre forme commune dévaluation est le suivi d’indicateurs sur les bénéficiaires des politiques publiques.

De tels travaux sont fondés sur des données solides, mais ils fournissent beaucoup plus rarement une mesure crédible de l’impact d’un dispositif, en raison de la difficulté à l’isoler, parmi les différentes causes qui pèsent sur la situation des personnes. L’intérêt d’expérimenter L’intérêt d’une démarche d’expérimentation sociale ne tient pas seulement à ce qu’elle permet d’inventer de nouveaux modes d’action, mais aussl et peut-être surtout au fait qu’elle ermet de mobiliser des méthodes d’évaluation spécifiquement conçues pour tirer les leçons des projets et en mesurer les effets.

La question de la nature des méthodes d’évaluation mobilisées est donc centrale. Un avantage décisif du cadre expérimental est de permettre de comparer l’évolution d’un groupe bénéficiant d’un dispositif nouveau à celle d’un groupe disposant des ressources habituelles des politiques publiques. En procédant à une affectation aléatoire dans ses deux groupes, il est possible de constituer un groupe de bénéficiaires et un eroupe témoin qu’inobservables, pèsent sur la rajectoire des Individus (par exemple, des variables de motivation, corrélées au fait d’être volontaire pour entrer dans un programme).

Alnsi toute différence future constatée entre les deux groupes s’interprète sans ambigu’lté comme reffet de la mesure testée7. Ces évaluations s’inscrivent le plus souvent dans un contexte où l’impact des politiques de droit commun est en réalité mal connu, très peu des mesures en vigueur ayant fait l’objet d’une évaluation crédible. Ainsi, Pévaluation d’un dispositif national d’aide au passage du permis de conduire (appel à projets « IO 000 permis pour réussir », lancé par le Pour une présentation plus détaillée mais non technique de ces méthodes, voir par exemple L’Horty et Petit (201 la, 201 lb) ou Zamora (2011).

FEJ à Pété 2009) a permis d’identifier l’impact d’une aide financière (environ 900 euros) et d’un accompagnement fourni aux jeunes, par rapport aux aides dont ils peuvent habituellement bénéficier (les jeunes du groupe témoin bénéficient de divers dispositifs, pour un montant d’aide moyen d’environ 450 E). Ce faisant, cette évaluation fournit également des éléments sur l’efficacité des nombreux dispositifs existants8, dont l’impact n’avait jamais éte esuré. Elle montre ainsi que le dispositif augmente l’accès aux auto-écoles, la réussite au code, la réussite au permi isposer d’un véhicule.

Le PAGF 7 91 sur les chances d’accéder à un emploi ou sur la qualité des emplois occupés (salaire, type de contrat de travail, durée du travail et statut d’emploi) (L’Horty et al. , 2012). La collecte de données réalisée dans le cadre des expérimentations les plus ambitieuses permet de décrire des impacts inobservables avec l’appareil statistique existant. Les données disponibles pour évaluer les politiques publiques restent en effet le plus souvent ‘origine administrative, et se révèlent donc fréquemment imparfaites pour décrire l’ensemble des effets des expérimentations sur ses bénéficiaires. ar exemple, les enquêtes réalisées dans le cadre de l’expérimentation d’un Revenu Contractualisé d’Autonomie (RCA)9 dans les Missions locales ont pour ambition de mesurer l’impact de l’allocation attribuée aux jeunes bénéficiaires sur de multiples aspects de leur situation personnelle : situation d’emploi, efforts de recherche d’emploi et de formation, accompagnement reçu, sources de revenus, niveau et type de leurs dépenses, niveau de confiance dans diverses nstitutions, etc.

Enfin, approches quantitatives de mesure de Fimpact et approches qualitatives peuvent être mobilisées de manière complémentaire pour évaluer les expérimentations. Ces approches donnent parfois des résultats contrastés, particulièrement intéressants parce qu’ils montrent pourquoi il est possible qu’un dispositif donne satisfaction à ses acteurs et bénéficiaires, sans qu’un impact chiffré significatif soit détectable.

C’est en particulier le cas de plusieurs dispositifs qui proposent aux rofessionnels de bénéficier de ressources supplémentair dispositifs recueillent le lus souvent un accueil positif de la part des professionnels comme des publics auxquels ils sont destinés. Leur effet sur la situation des bénéficiaires (en termes d’apprentissage scolaire, dinsertion sociale ou professionnelle) peut cependant être inexistant. Cest ce que révèle l’évaluation d’un dispositif de soutien après la classe destiné à des élèves de Cours Préparatoire, visant à prévenir l’échec précoce en lecture.

Son évaluation qualitative montre qu’il donne satisfaction aux professeurs et aux parents, qui lui imputent, au moins en partie, les progrès réalisés par les enfants. Pourtant, une étude avec onstitution aléatoire dun groupe test et d’un groupe témoin montre que les apprentissages scolaires des enfants bénéficiaires n’ont pas progressé davantage que ceux d’autres élèves, aidés par d’autres formes de soutien proposées directement par l’école ou la commune10. 13 conseils régionaux, 33conseils généraux et 111 villes proposent des dispositifs d’aide, sous la forme de bourses ou d’aides ciblées (L’Horty et al. 2012). Lancée au printemps 2011 par le FEJ, l’expérimentation du RCA vise à mesurer les effets de l’allocation d’un revenu garanti pendant une durée déterminée, dont bénéficient 000 jeunes accueillis par 82 Missions locales, sur le parcours d’insertion sociale et professionnelle des jeunes bénéficiaires. 10 Sur ce point, voir les rapports ualitatifs et quantitatifs d’évaluation du dispositif ce CLE», en PAGF fournissent donc un cadre propice pour évaluer l’impact réel des politiques publiques sur leurs bénéficiaires.

Mais les résultats d’évaluation doivent également permettre de prejuger des effets de la politique expérimentée si elle était appliquée à une autre échelle et à d’autres territoires. Au moins trois séries de critiques portent sur la validité externe des résultats ‘expérimentation. Une première question est celle du caractère représentatif des individus et des territoires sur lesquels porte l’expérimentation : celle-ci concerne généralement des populations volontaires, et il n’y a en général pas de raison de supposer a priori que ces volontaires soient représentatifs d’une population plus large.

Ensuite, les individus prenant part à l’expérimentation, acteurs comme bénéficiaires ou membres d’un groupe témoin, sont conscients de leur participation à une expérimentation, ce qui peut influer sur leur comportement. Enfin, le changement d’échelle peut induire des ffets, dits d’équilibre général, qui n’affectent pas un dispositif expérimental : par exemple, dans un contexte d’offres d’emploi rares, l’accompagnement intensif des demandeurs d’emploi peut être efficace lorsqu’il concerne un petit groupe d’individus, mais Fêtre moins s’il est généralisé ? l’ensemble de la population.

Plus que ces problèmes eux-mêmes, c’est l’ampleur de leurs implications qui fait débat. Cette discussion est particulièrement vive dans le champ de l’économie du développement, qui constitue à ce jour l’un des domaines des sciences sociales où la démarche expérimentale avec le plus de