Non classifié PUMA/PAC(99)1

Organisation de Coopération et de Développement Economiques OLIS : 08-Apr-1999Organisation for Economic Co-operation and Development Dist. : 12-Apr-1999__________________________________________________________________________________________

Or. Ang.SERVICE DE LA GESTION PUBLIQUECOMITE DE LA GESTION PUBLIQUE

VERS DE MEILLEURES PRATIQUES DE L'ÉVALUATION

Guide des meilleures pratiques à suivre pour l'évaluationet document de référence

Non classifié

PUM

A/PA

C(99)1

Or. A

ng.

76422Ta. 12616 - 24.02.99 - 24.03.99Document complet disponible sur OLIS dans son format d'origineComplete document available on OLIS in its original format

PUMA/PAC(99)1

Document complet disponible sur Internet : http:/www.oecd/org/puma/

Also available in English under the title :

Improving Evaluation PracticesBest Practice Guidelines for Evaluation

and Background Paper

OCDE, 1999Les demandes de reproduction ou de traductiondoivent être adressées à :M. le Chef du Service des publications, OCDE,2, rue André-Pascal, 75775 Paris Cedex 16 France

2

PUMA/PAC(99)1

TABLE OF CONTENTS

Avant-propos ................................................................................................................................4

Guide des meilleures pratiques à suivre pour l’évaluation...................................................................5

Vers de meilleures pratiques de l’évaluation : Document de référence...............................................11

1. Introduction.................................................................................................................11

2. Définir l’évaluation......................................................................................................13

3. Gérer l’évaluation pour améliorer son utilisation..........................................................27

4. Conclusions.................................................................................................................45

Références ..............................................................................................................................48

Appendice : Groupe de référence sur l’évaluation.............................................................................51

3

PUMA/PAC(99)1

AVANT-PROPOS

La recherche des résultats est, dans les pays de l’OCDE, un élément principal des récentes réformes du secteur public. L’évaluation joue un rôle important dans ce contexte parce qu’elle apporte des informations en retour sur l’efficacité, l’efficience et la performance des politiques qui se rapportent au secteur public, et elle peut être la clef de l’amélioration de ces politiques et d’innovations. En un mot, elle contribue à mettre en place une gestion publique fiable.

Dans le contexte de ses travaux sur la gestion de la performance, le Service de la Gestion publique a étudié l’évaluation dans les pays Membres de façon à relever les principales questions et pratiques qui permettent d’en améliorer l’utilisation. Ce rapport comprend un Guide des meilleures pratiques à suivre pour l’évaluation et un document de référence sur l’Amélioration des pratiques d’évaluation.

Le but recherché par le Guide est de relever les principales questions et pratiques qu’il conviendrait que les pays Membres de l’OCDE prissent en considération lorsqu’ils se proposent d’améliorer l’utilisation qu’ils font de l’évaluation. Le guide accorde plus d’attention à la gestion des activités de gestion dans l’administration publique et à la gestion des évaluations particulières qu’il n’en donne à des questions de méthodologie. Il doit être souligné qu’il y a plusieurs manières également bonnes d’organiser et de mener des évaluations. Le choix de la méthode dépendra de plusieurs facteurs, au nombre desquels, les objectifs de l’évaluation, le rôle de l’évaluation dans un contexte plus vaste de la gestion des performances, mais il dépendra aussi de considérations de nature institutionnelle et politique. Le Guide ne se propose pas de déterminer quand l’évaluation peut être la contribution la plus appropriée au processus de la prise de décisions ou de la gestion des performances. Ce type de décision sera prise dans les meilleures conditions par les pays Membres.

Le Guide a été examiné et adopté à la fois par le Réseau « Gestion des performances » que par le Comité de la Gestion publique.

Tant le Rapport que le Guide ont été préparés par Sigurdur Helgason, du Service de la Gestion publique. Le dossier de référence a été préparé par Marjukka Ala-Harja (Ministère des Finances, Finlande) et par Sigurdur Helgason. Le Secrétariat a bénéficié de la contribution d’un Groupe de référence de hauts responsables et d’experts de l’Australie, du Canada, de la Suède, des États-Unis et de la Commission européenne.

Le présent rapport est publié sous la responsabilité du Secrétaire général de l’OCDE. Les opinions exprimées sont ceux des auteurs et n’engagent ni ne reflètent pas nécessairement celles des gouvernements des pays Membres de l’OCDE.

Ce rapport, ainsi que les autres informations sur les travaux menés par PUMA sur la Gestion de la performance et sur l’évaluation, sont disponibles sur le site Internet de PUMA à : http://www.oecd.org/puma/.

4

PUMA/PAC(99)1

Guide des meilleures pratiques à suivre pour l’évaluation

Les meilleures pratiques à suivre pour l’évaluation sont présentées dans trois sections :

5

LES LES LIGNES DIRECTRICESD DIRECTRICES

OPTIMISER LES EVALUATIONSdéfinit les évaluations, leurs objectifs, les principaux participants, et les coûts et les avantages.

1. Définition et objectifs2. Identifier les principaux participants3. Formuler les avantages et les coûts

ORGANISER LE CADRE DE L’EVALUATIONexamine les pratiques suivies pour améliorer l'organisation et l'utilisation des évaluations dans le secteur public.

4. Favoriser la culture de l'évaluation5. Gestion stratégique des activités d'évaluation6. Amélioration de la crédibilité

REALISER DES EVALUATIONS EFFICACESexamine les pratiques et priorités dans la gestion des évaluations individuelles.

7. Assurer des liens avec les procédures d'élaboration des décisions

8. Choisir l'évaluateur qui convient9. Associer les parties prenantes et diffuser

ouvertement les résultats

PUMA/PAC(99)1

Optimiser les évaluations

Les évaluations sont des analyses des résultats des politiques, des organismes ou des programmes publics, menées en vue de dégager des conclusions fiables et utiles. Elles ont pour rôle d'améliorer l'information et de réduire les incertitudes ; il est cependant évident que même des évaluations menées avec rigueur font largement appel aux jugements subjectifs. On peut distinguer les évaluations ex-ante (ou examen des politiques) et les évaluations ex-post. Nombre de pratiques discutées ici se réfèrent également à ces deux types, même si leurs objectifs diffèrent.

Les évaluations ont essentiellement pour objectifs d'améliorer la prise de décisions, l'affectation des ressources et de mieux rendre compte. Ces objectifs peuvent être atteints en informant l'opinion, en étayant solidement les procédures d'élaboration des grandes décisions et en encourageant les organismes à être en situation permanente d’apprentissage.

Les évaluations doivent s’inscrire dans le cadre d'un processus plus vaste de gestion des performances. Elles peuvent les compléter et les améliorer, mais non les remplacer.

Les évaluations bien menées supposent la collaboration des principaux participants (évaluateurs, usagers et parties prenantes), sous la direction d’un “commissionnaire”.

Les mandataires sont les organismes qui sollicitent la réalisation d’évaluations. Ils programment l'évaluation, en suivent les progrès, reçoivent le rapport final et établissent les décisions sur des suites à y donner. Il peut s'agir de ministères, de services de l'administration centrale (comme les ministères des Finances, ou des organismes indépendants d'audit et d'évaluation). Dans certains cas, le mandataire peut également être l'évaluateur.

Les évaluateurs sont les organismes ou les particuliers qui collectent et analysent les données et portent des jugements de valeur sur les sujets évalués.

Les utilisateurs de l'évaluation peuvent être des décideurs, les services du budget, des vérificateurs de comptes, des responsables de politiques, de programmes ou du personnel, des utilisateurs de services, etc.

Les parties prenantes de l'évaluation sont les particuliers ou les organisations qui s’intéressent à la politique ou au programme évalué ainsi qu’aux résultats de l'évaluation. Les parties prenantes et les utilisateurs sont souvent les mêmes.

Les avantages des évaluations devraient l'emporter sur leurs coûts et leurs limitations. Il est possible d'influer sur ces coûts et sur ces avantages en assurant une gestion rigoureuse des évaluations et en choisissant les évaluateurs et les méthodes d'évaluation les mieux adaptés.

Le principal intérêt des évaluations est qu'elles permettent une étude approfondie des performances et une évaluation indépendante de l'efficacité d'autres instruments de gestion des performances. Leurs avantages potentiels sont proportionnels à l'importance des politiques ou des programmes visés.

Par ailleurs, l'expérience montre que les évaluations ont tendance à être trop coûteuses et trop longues, par rapport à l’usage qui en est fait et à leurs effets. Il y a aussi un risque de voir les évaluations servir à freiner le processus de prise des décisions et justifier l'inaction.

6

Définition et objectifs

Identifier les principaux participants

Formuler les avantages et les coûts

PUMA/PAC(99)1

Organiser le cadre de l’évaluation

L'adhésion aux activités d'évaluation est attestée par la volonté des hommes politiques, des responsables des politiques et des instances de l'administration centrale (comme le ministère des Finances), de tirer effectivement parti des conseils pour l'action dégagée des évaluations.

La demande d'évaluation doit être formulée, précisée et coordonnée par les parties prenantes internes et externes. Les évaluations dénuées de l’adhésion des intéressés risquent de rester sans effets. Les obstacles institutionnels aux évaluations comme les résistances internes peuvent être atténués par des consultations destinées à créer un climat de confiance.

Les pouvoirs publics peuvent favoriser l'instauration d'une culture de l'évaluation qui encourage l'innovation et l'adaptation à un environnement en mutation. Le message essentiel à faire passer devrait être que, pour continuer à répondre aux besoins, les organisations doivent être en mesure de tirer parti des informations recueillies sur leurs résultats.

La formation et le dialogue, des évaluateurs compétents, des demandeurs bien informés et des utilisateurs enthousiastes et éclairés contribuent tous à l'instauration d'une culture de l'évaluation.

Les modalités de réalisation des évaluations devraient correspondre aux besoins et aux priorités dans différents domaines d'action des pouvoirs publics. Il peut être souhaitable d'institutionnaliser des procédures systématiques d'évaluation dans des domaines clés d'action où les coûts de collecte des données sont élevés et les informations limitées. Cependant, l’adoption d'une approche plus souple donnera souvent de meilleurs résultats et empêchera que les évaluations ne se transforment en formalités bureaucratiques. L’évaluation des activités communes à plusieurs organismes devrait faire l’objet d’attentions particulières.

Les organismes à l’échelon central jouent un rôle important dans la gestion du processus d’évaluation ; les évaluations concrètes peuvent cependant être décentralisées de manière à être menées par différents acteurs à tous les niveaux d'administration.

Le développement de compétences d’évaluation dans différentes administrations assure de l’éventail nécessaire de méthodes et perspectives d’évaluation (issues par exemple d’évaluateurs internes et externes), et de la conformité de chaque évaluation à sa problématique spécifique liée aux objectifs, à la cible, à la crédibilité et la finalité de l’évaluation.

L'octroi de crédits spéciaux pour le financement des évaluations peut constituer une incitation importante à l'évaluation des politiques publiques ; cependant, ils peuvent aussi contribuer à encourager le recours à des évaluations quand d'autres méthodes de gestion des performances pourraient être plus adaptées.

7

Favoriser la culture de l’évaluation

Gestion stratégique des activités d’évaluation

PUMA/PAC(99)1

Le manque de crédibilité risque de compromettre l'utilité des résultats des évaluations. La compétence et la crédibilité de l'évaluateur, l'existence d'un climat de confiance mutuelle entre l'évaluateur et les personnes concernées par l'évaluation, la consultation et la participation des parties prenantes ainsi que les processus de diffusion des résultats sont autant de facteurs influant sur la crédibilité.

Les normes professionnelles et éthiques ainsi que la qualité méthodologique de l'évaluation (qui est déterminée par différents facteurs : critères pertinents, données et éléments d'information adéquats, conclusions fiables et clairement exposées) peuvent aussi influer sur la crédibilité de l'évaluation. L'assurance de qualité et un dialogue franc et ouvert sont de nature à améliorer la crédibilité en permettant de faire ressortir les lacunes éventuelles des évaluations et d’y remédier.

8

Améliorer la crédibilité

PUMA/PAC(99)1

Réaliser des évaluations efficaces

L'évaluation de l'information peut jouer un rôle important dans la formulation des politiques, en permettant d'améliorer la qualité des interventions des pouvoirs publics et, dans la procédure budgétaire, en permettant de mieux étayer les priorités et de réaliser des économies. Les évaluations pertinentes portent sur des questions qui sont importantes pour l'action des pouvoirs publics, les aspects budgétaires, la gestion et d'autres raisons stratégiques.

Les objectifs de l'évaluation ont une incidence sur le choix des responsables de l'évaluation, de la méthodologie utilisée et de la finalité. Cette finalité devrait être clairement définie. Les évaluations devraient être adaptées aux caractéristiques de la politique étudiée et les méthodes d'évaluation adaptées aux objectifs de l'évaluation, en tenant compte de différentes contraintes comme celles de coûts et de temps. Le fait de prévoir dès le début la réalisation d'évaluations et de définir clairement leurs finalités permettra d’en améliorer l'utilité et d’en faciliter la planification.

La planification permet d'améliorer la gestion et la qualité des évaluations. Les demandeurs des évaluations sont responsables de leur planification, notamment de la définition des objectifs visés, des critères adoptés, de la collecte de données et des méthodes suivies. Le choix du moment opportun pour procéder à l'évaluation est important mais le cycle des prises de décisions est souvent imprévisible et il arrive souvent que les décisions doivent être prises avant que les évaluations n’aient été menées à leur terme

Il est bon qu’une organisation procède à une auto-évaluation lorsque les principaux objectifs visés sont d’acquérir des connaissances sur cette organisation et d'en améliorer le fonctionnement. Cependant, il peut arriver que les agents concernés n’aient ni le temps ni les compétences nécessaires, que l'éventail des questions à évaluer soit trop limité et que la crédibilité des résultats risque d’être contestée.

Il est bon que l'évaluation soit menée par les organismes centraux lorsqu’il s’agit d’améliorer les priorités budgétaires, et lorsqu'il est important que l'évaluateur ait des liens étroits avec les processus de prise de décisions.

Il est bon que l'évaluation soit menée par des évaluateurs externes (organismes de recherche ou conseillers en gestion par exemple), lorsque l'objet de l'évaluation est d'offrir des perspectives nouvelles sur les politiques publiques ou lorsqu’il faut faire appel à des experts en évaluation. Cependant, les évaluateurs externes risquent de n'avoir qu’une connaissance insuffisante des activités fondamentales de la culture de l'organisation évaluée ou du contexte de la politique considérée et n'offrir de ce fait que des évaluations trop théoriques.

L’évaluation par des évaluateurs indépendants est appropriée lorsqu’il s’agit d’aider à mieux rendre compte et à améliorer la transparence. Cependant, les responsables des politiques voire l’administration dans son ensemble peuvent être réticents à en accepter les résultats et les recommandations. Les audits de performances sont souvent identiques aux évaluations. Leurs caractéristiques incluent l’indépendance de l’auditeur et l’accent porte davantage sur l’obligation de rendre compte que sur une amélioration.

9

Assurer des liens avec les processus de prise de décisions

Choisir les évaluateurs qui conviennent

PUMA/PAC(99)1

Les parties prenantes, y compris le personnel, peuvent être désignées pour participer à des commissions d'évaluation ou associées dans le cadre de groupes de direction ou de groupes consultatifs. Les méthodes d'évaluation participatives peuvent servir à dégager des consensus et à susciter chez les intéressés la volonté de s’impliquer dans le processus de changement. Le dialogue avec les utilisateurs et le personnel permet de mieux comprendre leurs besoins et leurs priorités et de mieux y répondre. Les modalités de participation doivent être définies en tenant compte des coûts, des contraintes de temps et des risques d’appropriation inhérents à de tels processus.

Une présentation franche des résultats permet d'accroître la crédibilité de l'évaluation et incite fortement à y donner suite. La diffusion d'informations sur les réunions et la diffusion des rapports sont utiles pour présenter les conclusions et engager le dialogue à ce sujet. Les jugements et les recommandations, formulés sur la base de critères clairs, attirent l'attention et encouragent l'adoption de mesures pour y donner suite. Dans les jugements formulés, il faudrait s'abstenir de condamner mais plutôt privilégier la recherche des moyens de remédier aux problèmes constatés.

10

Associer les parties prenantes et diffuser ouvertement les résultats

PUMA/PAC(99)1

1 VERS DE MEILLEURES PRATIQUES DE L’ÉVALUATION

1. INTRODUCTION

L’attention portée aux résultats est un élément central des réformes récentes du secteur public dans les pays de l’OCDE. L’évaluation de programme est un outil qui fournit un retour d’informations sur les résultats obtenus par les organisations et les programmes mis en œuvre. Ce document porte essentiellement sur l’évaluation des programmes, mais un certain nombre de questions qui y sont abordées peuvent également se rapporter à d’autres types d’évaluations, comme l’évaluation des performances en matière d’organisation, les audits de gestion ou de performance.

Définition de l’évaluation de programme

L’évaluation de programme peut être définie comme :une appréciation analytique systématique concernant les principaux aspects d’un programme et sa

valeur et qui s’attache à fournir des conclusions fiables et utilisables.

L’évaluation de programme vise à améliorer la prise de décision : fournir aux gouvernants une meilleure information sur laquelle ils puissent fonder leurs décisions et permettre de mieux rendre des comptes sur les politiques et les programmes publics. Elle ne vise pas à donner la solution ou à se substituer au jugement des décideurs mais elle peut aider à obtenir un retour d’informations concernant les résultats des programmes, qui pourront être utiles pour améliorer leur conception d’ensemble et leur mise en œuvre.

En exposant les priorités des futures réformes du secteur public, le Comité de la gestion publique de l’OCDE a souligné que le bon fonctionnement du secteur public exige une évaluation continue de l’efficacité des politiques. Certains signes indiquent un intérêt croissant à l’égard de l’utilisation de l’évaluation comme outil de gestion. Des attentes plus réalistes, une plus large adhésion à des méthodologies moins strictement rigoureuses et une meilleure compréhension de son utilisation dans les organisations sont les éléments nouveaux par rapport à l’évaluation pratiquée auparavant. On met aussi fortement l’accent sur une évaluation plus systématique, axée sur les résultats, avec des liens avec le processus budgétaire.

Utiliser l’évaluation n’est pas chose facile. L’histoire de l’évaluation peut se caractériser par des promesses déçues. Il est donc naturel que l’on émette des doutes sur son utilité globale. Certains voient dans l’évaluation une nouvelle mode en matière de gestion qui crée beaucoup de bureaucratie mais donne peu de résultats. On considère aussi quelquefois qu’elle est par nature trop théorique pour fonctionner pratiquement ou qu’elle n’éclaire que des questions d’importance mineure. D’autres craignent un contrôle accru ou ne souhaitent pas être tenus pour responsables de leur action. Souvent, ceux qui ont en premier lieu intérêt à la poursuite d’un programme craignent l’évaluation. Enfin, la valeur d’une évaluation peut être mise en doute dans un contexte où la performance est mesurée de façon continue et où elle est même précisée de manière contractuelle.

11

PUMA/PAC(99)1

Ces arguments sont contestables. L’évaluation peut jouer un rôle important lorsqu’elle est correctement menée et qu’elle est intégrée dans une structure d’ensemble de gestion de la performance. Elle peut améliorer l’efficience et l’efficacité du secteur public et renforcer ainsi à la base les activités du secteur public. Les caractéristiques de l’évaluation de programme complètent et développent la mesure, le suivi et l’audit des performances. En ayant des attentes réalistes, en affrontant les problèmes de l’évaluation et en l’utilisant de manière pragmatique mais systématique, les gouvernements peuvent améliorer sensiblement leurs performances et leur capacité de rendre des comptes. Les exemples exposés dans le présent document donnent quelques indications à cet égard.

Dans le présent document, on examine le rôle de l’évaluation de programme dans la gestion publique, et on étudie notamment les moyens d’améliorer son utilisation dans le secteur public. Dans la première partie, on s’attache à définir ce qu’est l’évaluation et, dans la seconde, on présente les questions à prendre en considération pour promouvoir son utilisation.

12

PUMA/PAC(99)1

2. DÉFINIR L’ÉVALUATION

2.1 CONCEPT

L’évaluation suggère plus qu’elle ne prouve, argumente plus qu’elle ne démontre, est plus crédible que certaine et elle est diversement acceptée plutôt qu’elle ne s’impose (House, 1980, p.73).

Il n’existe pas de consensus général sur ce qu’est l’évaluation. Il existe de multiples définitions de ce concept, souvent contradictoires. Ce flou se reflète dans la diversité des disciplines (économie, études politiques et administratives, statistiques, sociologie, psychologie, etc.), des institutions et des praticiens opérant dans ce domaine et dans le large éventail de questions, de besoins et de clients auxquels répond l’évaluation.

En outre, étant donné la popularité croissante de l’évaluation, ce nom peut être attribué à pratiquement n’importe quel type de retour d’information ou d’enquête. On utilise un certain nombre de termes (examen, suivi, surveillance, audit, investigation, appréciation) à propos des activités d’évaluation. Certains craignent que ce concept perde toute signification. En outre, il faut se rappeler qu’en plus de l’évaluation, il existe d’autres mécanismes de retour d’information que l’on peut utiliser avec profit pour améliorer la décision.

Toutes les activités ne sont pas de l’évaluation, bien que beaucoup de mécanismes de retour d’information aient des caractéristiques communes.

Différences entre l’évaluation et d’autres procédés d’information en retour

Études scientifiques Les évaluations sont soucieuses de l’utilisation pratique des informations obtenues.

Audits traditionnels Les évaluations examinent les dépenses publiques d’un point de vue plus large – et elles posent également la question du caractère approprié des objectifs du programme et elles cherchent à déterminer s’ils ont été atteints de manière efficace et efficiente (la distinction entre l’audit et l’évaluation est souvent floue, et cela sera examiné plus loin).

Contrôles L’évaluation est souvent réalisée comme une opération unique dont le but est d’obtenir des informations plus approfondies sur le programme en question bien que l’existence de systèmes de contrôle, donnant de bons résultats et de manière régulière, est souvent une base nécessaire pour que l’évaluation soit couronnée de succès.

Mesure des performances L’évaluation est plus exigeante : elle s’efforce de trouver des explications aux

résultats constatés et de comprendre la logique des interventions publiques (mais il reste que des systèmes de mesure des performances bien conçus, comme c’est le cas aux États-Unis, sont souvent vus comme une forme d’évaluation).

Analyse des politiques L’évaluation se concentre sur l’étude a posteriori. L’analyse des politiques est parfois définie comme une évaluation préalable dans l’étude des options futures de l’action gouvernementale

13

PUMA/PAC(99)1

Le tableau suivant présente brièvement les variations possibles selon différents aspects. Elles reflètent les différentes approches conceptuelles à l’égard de l’évaluation. Souvent, il existe une relation entre cette approche et les techniques d’évaluation appliquées. Les différences sont souvent liées au processus suivi ou à l’objet de l’évaluation.

Variations possibles de l’évaluation selon différents aspects

Position dans le temps Évaluation ex ante, simultanée/intermédiaire, ex post ou une combinaison de ces positions temporelles.

Flexibilité du cadre Appréciation au regard des objectifs fixés pour le programme ou, en plus, examen du bien-fondé de ces objectifs. Appréciation des effets intentionnels ou, également, des effets non intentionnels.

Jugement ou présentation Juger du succès ou de l’échec des programmes évalués, et même proposer des améliorations ou des solutions de remplacement, ou seulement présenter les constatations en laissant les conclusions aux décideurs.

Localisation et autonomie Appréciation interne (par exemple, autoévaluation) ou externe ou combinaison des deux (par exemple, unités d’évaluation publiques semi-indépendantes).

Expertise ou négociation Appréciation par des experts de l’évaluation appliquant des procédures techniques scientifiques pour assurer l’objectivité des résultats, ou bien activité en partenariat négociée qui fait intervenir les parties concernées afin d’exploiter au maximum les constatations et assurer une participation démocratique.

Utilisation Acquérir une meilleure vue du programme ou décider de sa valeur. Contribuer à affiner la mise au point des programmes existants ou faire des changements plus fondamentaux et mettre en question leur raison d’être.

En mettant l’accent sur différents aspects, on peut classer les évaluations selon divers types. Ces derniers ont souvent des relations internes ou se combinent, comme le montre le cas des évaluations sommatives et formatives.

Types d’évaluations

Évaluations sommatives s’effectuent souvent après la réalisation du programme (évaluation ex post) afin d’étudier l’efficacité du programme et de juger de sa valeur globale. Ces évaluations servent généralement à apporter une aide à l’allocation des ressources ou à accroître la responsabilité à l’égard du public. Les clients, comme les politiciens et autres décideurs, sont habituellement externes. L’objectivité et la fiabilité globale des constatations sont considérées comme des points importants et ce sont donc souvent des évaluateurs externes qui sont chargés de conduire l’évaluation. On s’attend à ce que soient traitées les questions relatives aux résultats et à la pertinence globale du programme.

Évaluations formatives s’effectuent au cours de la réalisation du programme (évaluation intermédiaire) afin contribuer au processus d’apprentissage. Elles ont pour objet d’aider et d’améliorer la gestion, la mise en œuvre et le développement du programme. Les évaluateurs ainsi que les clients sont généralement internes : ce sont habituellement les personnes qui assurent le fonctionnement ou la gestion du programme (autoévaluation). Souvent, l’objectivité des constatations n’est pas la préoccupation principale : on s’intéresse davantage à l’applicabilité directe des résultats. On s’attend à ce que soient traitées les questions opérationnelles, le suivi des événements et, dans une certaine mesure, l’observation de leurs effets.

14

PUMA/PAC(99)1

L’évaluation de programme

L’évaluation peut examiner les organisations, les fonctions, les procédures, les politiques, les projets, etc. Dans le présent document, on s’intéresse à l’appréciation des programmes publics, c'est-à-dire à l’évaluation de programme. Le terme de “programme” désigne habituellement un ensemble d’activités organisées avec un calendrier et un budget déterminés afin de mettre en action des politiques, de créer les conditions initiales pour la réalisation des objectifs politiques souhaités. Ce terme peut s’appliquer à des activités relativement étroites ou à de grands programmes transversaux. Cependant, on notera que la compréhension du concept de programme peut varier d’un pays à l’autre et qu’en certains cas il n’est pas utilisé du tout.

Comme dans le cas de l’évaluation en général, il n’y a pas de définition unique de l’évaluation de programme. Sous la formulation la plus simple, on s’accorde sur le fait qu’elle comprend l’appréciation de l’accomplissement d’un programme au regard de ses objectifs. De plus en plus, on pense que l’évaluation de programme peut couvrir n’importe quel stade du cycle de vie d’un programme. Outre l’appréciation ex post, cela comprend l’évaluation ex ante et l’évaluation simultanée (qui, dans la pratique, est très répandue). Le premier type d’analyse prospective est souvent appelé “analyse ou appréciation préalable des politiques”. Alors que l’analyse des politiques explore les possibilités d’action et leurs effets probables, l’évaluation étudie ses effets réels et apprécie la valeur des politiques choisies. Néanmoins, ces concepts sont mutuellement liés et les processus d’appréciation sont interactifs.

Exemples de définitions de l’évaluation de programme

L’évaluation de programme vise essentiellement à essayer de déterminer quels ont été les effets du programme sur une période fixée et à déterminer dans quelle mesure c’est bien le programme considéré qui est la cause de ces effets. (Hatry, 1980).

L’évaluation de programme est l’application de méthodes de recherche systématiques à l’appréciation de la conception, de la réalisation et de l’efficacité des programmes. (Chelimsky, 1985).

L’évaluation de programme est l’appréciation systématique d’un programme, ou d’une partie de programme, premièrement pour aider les responsables et décideurs à apprécier le bien-fondé, l’efficience et l’efficacité d’un programme, deuxièmement pour examiner s’il convient d’établir de nouveaux programmes ou des extensions des programmes existants et troisièmement pour décider s’il faut augmenter, réduire, supprimer ou maintenir au même niveau les ressources affectées au programme. (“Doing Evaluations, A Practical Guide”, Ministère des Finances d’Australie, 1994).

Une organisation fait réaliser une évaluation de programme afin de déterminer dans quelle mesure le programme fonctionne correctement et s’il faut l’améliorer ou l’abandonner. (Mayne, 1994).

Les évaluations devraient normalement avoir pour caractéristiques d’être analytiques, systématiques, fiables, axées sur les questions importantes et appropriées aux besoins de l’utilisateur (“Evaluating EU Expenditure Programmes. A Guide”, Commission européenne, 1997)

Malgré la diversité des définitions, toutes les évaluations de programmes ont certaines caractéristiques communes :

Les évaluations de programme sont des appréciations analytiques systématiques concernant les principaux aspects d’un programme et sa valeur et qui s’attachent à fournir des conclusions fiables et utilisables.

L’absence de consensus sur le concept d’évaluation est gênante pour certains, tandis que d’autres y voient un fructueux point de départ pratique qui ne fait que refléter les divers paradigmes implicites des sciences sociales. Du point de vue des objectifs du présent document, on ne pense pas que la question de savoir s’il faut appliquer une définition large ou étroite de l’évaluation soit pertinente. L’objectif est de repérer les bonnes pratiques qui conviennent aux différentes définitions.

15

PUMA/PAC(99)1

2.2 OBJECTIFS L’évaluation ne recherche pas une vérité absolue mais fournit un aperçu et des avis bien argumentés sur les programmes publics. Elle ne se substitue pas à la décision politique mais elle permet de fonder les décisions sur de meilleures informations.

On décrit souvent la gestion comme un cycle : planification/ préparation, budgétisation, mise en œuvre et évaluation. L’évaluation est le chaînon qui referme le cycle et achève la boucle de rétroaction. La politique ou le programme soumis à l’évaluation est amélioré, étendu ou remplacé.

Les principaux buts de l’évaluation peuvent se caractériser ainsi : améliorer la prise de décision, l’allocation des ressources et la responsabilité.

Objectifs de l’évaluation

Améliorer la prise de décision L’évaluation fournit des informations sur les effets des politiques poursuivies. On peut considérer qu’elle fait passer des mécanismes de contrôle formels au pilotage par l’information, du contrôle des transactions au contrôle stratégique, de la gestion des intrants à la gestion par les résultats. Elle aide les responsables de l’action gouvernementale à juger de la valeur des programmes publics, à les améliorer ou à les remettre en question et à concevoir les programmes futurs. L’évaluation contribue aussi au processus d’apprentissage des personnes qui dirigent et mettent en œuvre le programme en leur faisant mieux comprendre le travail qu’elles effectuent et en les aidant à le développer. En outre, d’autres parties (par exemple scientifiques) peuvent trouver avantage à mieux comprendre ainsi le fonctionnement de la société.

Faciliter l’allocation des ressources

La plupart des pays de l’OCDE sont soumis à des contraintes financières. L’évaluation peut aider les responsables de l’action gouvernementale et les autorités budgétaires à améliorer l’allocation des ressources afin de mieux utiliser les fonds existants (à trouver des moyens plus efficaces et efficients d’atteindre les résultats désirés et déplacer les dépenses de manière à faciliter le développement de nouveaux domaines prioritaires) ; et à aider à déterminer le niveau adéquat de financement pour les programmes ou même les classer par ordre de priorité quand il faut réaliser des compressions budgétaires. Récemment, certains pays de l’OCDE, comme la Suède et l’Australie, ont étroitement associé l’évaluation aux innovations apportées dans le processus budgétaire.

Renforcer la responsabilité L’évaluation peut contribuer à la responsabilisation de l’action publique, qui est ressentie comme un besoin croissant dans les pays de l’OCDE. Cela s’explique par l’autonomie accrue de l’administration résultant des grandes réformes de la gestion et par les pertes de légitimité du secteur public aux yeux des citoyens dans certains pays. En éclairant l’effet des activités gouvernementales, l’évaluation peut améliorer leur transparence et favoriser leur responsabilisation devant le Parlement et le grand public. Elle peut ainsi renforcer la légitimité des programmes en cours et assurer la permanence des résultats. Elle aide aussi les citoyens à savoir ce qui est accompli avec leur argent et à envisager les orientations éventuellement substituables aux politiques appliquées.

En outre, du fait de certains facteurs, l’évaluation est maintenant particulièrement à l’ordre du jour :

Circonstances qui rendent l’évaluation opportune

La nouvelle gestion publique, la gestion stratégique

L’évaluation est un des outils que l’apparition de la “nouvelle gestion publique” amène les gouvernements à utiliser. On la présente souvent dans le contexte du développement de la mesure des performances et de la gestion stratégique. On

16

PUMA/PAC(99)1

affirme que l’appréciation des performances, notamment l’autoévaluation, devrait devenir un élément normal de la gestion dans l’administration. Il est aussi de plus en plus nécessaire d’évaluer les réformes du secteur public en cours dans les pays de l’OCDE afin d’exploiter leur potentiel, de continuer à les développer, de pérenniser les résultats obtenus et de renforcer le soutien du public à leur égard.

Les exigences institutionnelles Les institutions qui financent ou cofinancent les programmes publics exigent souvent des bénéficiaires qu’ils effectuent des évaluations sur le résultat des politiques mises en œuvre, ou bien elles conduisent elles-mêmes des évaluations (par exemple, les Fonds structurels de l’Union européenne et la Banque mondiale). C’est aussi ce qui a lieu quand les gouvernements institutionnalisent davantage leurs activités d’évaluation et exigent que les ministères et autres organismes publics évaluent leurs résultats.

Les organisations ont naturellement divers points de vue sur l’évaluation et l’utilisent à des fins différentes. La différence entre les objectifs conduit à des types d’évaluation différents. Cependant, à un niveau plus général, on peut définir le but de l’évaluation comme étant l’apprentissage organisationnel.

Exemples d’objectifs attribués à l’évaluation

L’évaluation peut fournir en temps opportun des constatations, conclusions et recommandations crédibles et objectives qui apportent une aide à l’allocation des ressources, à l’amélioration des programmes et à la responsabilisation des programmes (Australie).

L’évaluation vise à produire une information suffisante, appropriée et crédible qui aidera à décider si un programme de dépenses de l'Union européenne doit se poursuivre sans changement, avec des changements ou cesser et s’il faut augmenter ou réduire les crédits budgétaires correspondants (Commission européenne, DG XIX, Grille d’appréciation).

On considère que l’évaluation apporte une valeur ajoutée en soulignant ce qui fonctionne vraiment, ce qui ne fonctionne pas et en trouvant des moyens innovateurs pour réaliser plus efficacement et à moindre coût les objectifs gouvernementaux (Canada, En quête de résultats. Pratiques de gestion des performances).

2.3 DEVELOPPEMENT

Dans certains pays de l’OCDE, l’évaluation est officiellement intégrée au processus d’élaboration des politiques, tandis que d’autres commencent juste à réfléchir sur la possibilité de systématiser les activités d’évaluation. Des pays comme les États-Unis, la Suède et le Canada ont déjà une longue expérience de l’évaluation avec un système d’évaluation solidement institutionnalisé. D’autres pays comme l’Australie et les Pays-Bas ont aussi construit des systèmes d’évaluation élaborés.

La maturité des pratiques d’évaluation varie aussi entre les secteurs de l’action gouvernementale. Dans des domaines comme l’aide au développement, la politique du marché du travail, la santé et l’éducation, l’évaluation existe depuis longtemps dans un certain nombre de pays.

Les phases historiques

Les activités d’évaluation dans les administrations nationales se sont développées en plusieurs phases. La maturité peut se caractériser par l’ancienneté de l’expérience, la régularité des activités et le degré d’institutionnalisation. On distingue trois stades de développement (Derlien, 1990). (Toutefois, on effectuait déjà des appréciations des programmes publics avant la première phase, par exemple en Suède).

17

PUMA/PAC(99)1

La première vague du mouvement d’évaluation dans les années 60 et 70 est liée en grande partie au lancement de programmes publics par des gouvernements sociaux-libéraux afin de résoudre des problèmes sociaux. On introduisit des processus de planification et de programmation pour améliorer l’élaboration des politiques. Les conditions budgétaires favorables et le développement et la reconnaissance des sciences sociales l’ont facilité. On s’est attaché à améliorer les programmes et les responsables de programme, en particulier, trouvaient intérêt à utiliser l’évaluation comme mécanisme de rétroaction.

La deuxième vague, moins spectaculaire et moins rapide, dans les années 80 a reçu l’impulsion de gouvernements principalement conservateurs qui essayaient de réduire les programmes publics en raison des contraintes budgétaires. On pensait que l’évaluation avait son utilité quand on reconsidérait le bien-fondé des politiques et qu’on rationalisait l’allocation des ressources dans le cadre du budget. Les ministères des Finances ou les organismes d’audit ont été les acteurs du développement de l’évaluation.

Depuis lors, l’évaluation est aussi devenue une préoccupation croissante des Parlements. Les problèmes relatifs à la légitimité du secteur public et la nécessité de responsabiliser encore davantage l’action gouvernementale exigent de nouveaux mécanismes de contrôle plus perfectionnés, comme l’évaluation. D’après les constatations préliminaires d’une étude en cours portant sur plusieurs pays (Gray 1997), le développement de la “nouvelle gestion publique” (NGP) semble avoir de nombreuses implications pour la fonction et la pratique de l’évaluation : l’évaluation est remplacée (les nouveaux marchés internes doivent jouer le rôle d’évaluateurs intrinsèques), complétée (la réglementation des monopoles privatisés engendre une énorme demande d’évaluation) et appliquée à de nouveaux sujets (évaluation des outils de la NGP, par exemple la passation de contrats).

Dans les pays où l’évaluation est établie de longue date, l’évaluation de l’évaluation tend aussi à apparaître. Ce travail de métaévaluation est probablement le plus avancé aux États-Unis, où la quantité des évaluations permet de tirer quelques conclusions générales à leur sujet. Toutefois, les métaévaluations sont encore assez rares et on ne sait pas grand-chose, par exemple, sur l’utilisation de l’évaluation.

Évaluation et audit

Pour clarifier le rôle de l’évaluation et son évolution actuelle, il est utile d’étudier sa relation avec l’audit traditionnel. Ce sont historiquement des fonctions distinctes avec des institutions séparées. La culture professionnelle respective des évaluateurs et des auditeurs diffère à plusieurs égards, par exemple du point de vue du recrutement ou de l’orientation sociale. Les objectifs sont différents : les audits servent traditionnellement à assurer le contrôle financier et la justification de l’emploi des ressources et l’évaluation vise à promouvoir l’économie, l’efficience et l’efficacité.

Dans de nombreux pays, l’audit est depuis longtemps un instrument de la fonction du contrôle parlementaire. L’audit contribue à l’observation des prescriptions légales et à la responsabilité des organisations publiques. Traditionnellement, l’audit examine si les prescriptions, réglementations, procédures ou mandats établis ont été suivis. L’autonomie dont jouissent les institutions d’audit renforce leur aptitude à présenter des opinions et propositions crédibles concernant les programmes publics.

L’évaluation n’a pas aussi bien réussi que l’audit à s’établir comme une activité régulière et bien institutionnalisée, avec un concept clair et des objectifs reconnus. Généralement, l’évaluation est plus participative et moins autonome que l’audit : dans le jugement des programmes publics, elle accepte davantage les opinions des parties concernées. Souvent, l’évaluation sert plus comme outil de gestion de programme que comme moyen de promouvoir la responsabilité à l’égard du public.

18

PUMA/PAC(99)1

Malgré les différences évidentes entre l’audit traditionnel et l’évaluation, on a posé la question de savoir s’il convenait de rapprocher ces fonctions ou si cette convergence est déjà en train de se produire. Les délimitations commencent à se brouiller : l’audit a étendu son champ aux questions de performances et, à côté de l’audit financier traditionnel, il existe maintenant un audit des performances. Ce dernier, effectué par exemple en Suède, au Royaume-Uni (audits “value for money”, rentabilité) et aux Pays-Bas, est un exemple d’appréciation similaire à l’évaluation de programme. Les méthodes et critères appliqués sont très semblables. On observe aussi des signes de convergence entre les cultures professionnelles, par exemple avec des réseaux communs comme l’European Evaluation Society (EES).

Cependant, il y a aussi des signes contraires. La convergence de l’évaluation et de l’audit se heurte à des obstacles : l’identité multiple et contestée de l’évaluation, sa culture basée sur les sciences sociales et la résistance politique à ce que les institutions d’audit fassent plus d’évaluation. L’audit financier pourrait aussi connaître un regain d’intérêt avec le développement de la sous-traitance et de la comptabilité d’engagements dans le secteur public. On a émis l’idée que les institutions d’audit ne devraient pas chercher à devenir en premier lieu des unités d’évaluation ou des conseils en gestion mais qu’elles devraient clarifier leur rôle et responsabilités actuels d’institutions indépendantes gardiennes de la probité, de la légalité et de l’efficience des dépenses publiques (Pollitt et Summa, 1997).

L’évaluation institutionnalisée

Pour illustrer le développement de l’évaluation, on présente ci-dessous quelques exemples de systématisation des pratiques d’évaluation.

En Suède...

Il y avait déjà des évaluations dans les années 50, ou même avant. Le système des commissions, servant à la préparation des décisions, en est la cause. Ce système permettait de réunir les opinions des parties concernées et introduisait les constatations de la recherche dans la prise de décision. A partir des années 60, on a commencé à considérer l’évaluation comme une activité qui pouvait fournir continûment des informations aux décideurs. On créa des institutions de recherche sectorielles et des organismes ayant l’évaluation pour principale tâche.

Au début de la décennie 80, le besoin s’est fait sentir d’améliorer la prise de décision en systématisant les activités d’évaluation et en les liant plus étroitement au processus budgétaire. Le système d’évaluation lié au nouveau processus budgétaire a subi plusieurs modifications assez pragmatiques depuis sa création. A l’heure actuelle, les rapports annuels des organismes publics sont la principale source des informations de suivi que ces organismes soumettent aux ministères. Les évaluations approfondies des activités des organismes publics (qui, auparavant, devaient avoir lieu tous les trois ans) ne sont conduites que sur demande spéciale d’un ministère.

19

PUMA/PAC(99)1

En Australie...

L’évaluation est devenue une partie intégrante du processus de réforme de la gestion publique au milieu de la décennie  80 quand la stratégie d’évaluation de l’administration a été lancée. L’évaluation a été systématiquement intégrée à la gestion et à la planification des organisations et des programmes. Tous les programmes publics, ou les parties les plus importantes de ces programmes, sont soumis à examen tous les trois à cinq ans, toutes les grandes propositions d’action nouvelles comprennent une stratégie d’évaluation, les ministères sont actuellement tenus de produire un plan d’évaluation annuel, et les résultats des grandes évaluations doivent normalement être portés à la connaissance du public.

Récemment, on a réexaminé l’opportunité de maintenir ces obligations. Il est probable que cette approche à base d’obligations sera remplacée dans un avenir proche par un cadre de gestion des performances intégré, couvrant le suivi et l’évaluation des performances et basé sur des principes de bonnes pratiques. Cette évolution prend en compte le fait que l’évaluation est devenue plus courante et plus largement acceptée, et elle vise à intégrer directement l’activité de gestion des performances à la planification stratégique et opérationnelle des ministères. Elle reflète également le fait que l’on porte une attention accrue à la qualité, à l’utilisation et à l’efficacité des évaluations.

La responsabilité de planifier, réaliser et utiliser les évaluations incombe à chaque organisme et ministère. Le ministère des Finances est le coordinateur de la stratégie d’évaluation ; il apporte formation, stimulation, conseils et assurance de la qualité et il participe quelquefois à certaines grandes évaluations. L’Auditor General peut examiner le fonctionnement de l’activité d’évaluation.

Aux Pays-Bas

La Cour des comptes a recommandé au début de la décennie 90 que les ministères portent une plus grande attention à l’évaluation des programmes. Le gouvernement a établi une stratégie en trois points  : premièrement, modification des règlements fixant les tâches des ministères en matière d’évaluation ; deuxièmement, rédaction de rapports annuels destinés à accompagner les budgets ministériels afin de fournir des informations sur les activités d’évaluation présentes et futures, leurs constatations et leur utilisation et, troisièmement, gestion et coordination de l’évaluation au niveau ministériel. Le gouvernement a aussi souligné que l’évaluation doit être non seulement externe mais aussi interne et non seulement ex post mais aussi ex ante et intermédiaire.

Ultérieurement, le gouvernement a formulé des mesures et exposé les responsabilités en matière d’évaluation. Les directions politiques d’un ministère ont la responsabilité première de leur évaluation ; elles peuvent adopter une approche centralisée ou décentralisée pour gérer ces activités. Les directions du budget internes sont chargées de coordonner, promouvoir et vérifier l’utilisation de l’évaluation et de s’assurer que le soutien nécessaire en conseil, orientation et expertise scientifique est fourni. Elles formulent les programmes d’évaluation des différents projets, encouragent l’évaluation périodique de l’action poursuivie et suivent la qualité de l’évaluation et son utilisation. La responsabilité finale de l’évaluation incombe aux dirigeants centraux des ministères. Les autres directions apportent l’aide de leurs compétences spéciales (personnel et organisation, audit, législation). Le ministère des Finances a au niveau global la même mission de promotion et de coordination que les directions du budget internes. La Cour des comptes examine l’efficience de la gestion et de l’organisation de l’évaluation et publie des rapports à ce sujet.

20

PUMA/PAC(99)1

Au Canada

L’évaluation fait partie de la gestion des ministères depuis 1977. Ces activités d’examen sont solidement institutionnalisées. Il incombe aux ministères de faire en sorte que leurs programmes soient évalués. La politique d’examen actuelle stipule que les ministères doivent conduire des audits internes selon des normes établies, dans les domaines importants ou risqués  ; ils doivent réaliser des évaluations des politiques et programmes principaux selon des normes établies  ; ils doivent instaurer des pratiques de suivi des performances, notamment avec des normes de service à la clientèle, pour que les ministères et les cadres de l’administration publique obtiennent et exploitent des informations fiables sur les aspects essentiels des performances des programmes ; ils doivent mener d’autres types d’examens (examens de politique, de réglementation, de programme et de fonctionnement, enquêtes auprès des clients et études spéciales) et utiliser l’audit interne, l’évaluation, le suivi des performances et autres examens de manière coordonnée et complémentaire.

Les évaluations sont souvent réalisées par des unités spécialisées. Le Secrétariat du Conseil du Trésor est chargé de la politique, de la coordination et du suivi de l’évaluation. Le Bureau du Vérificateur général joue un rôle majeur dans l’examen des performances du secteur public, avec la production de rapports sur la bonne exécution des tâches d’évaluation.

En Finlande...

Il est de tradition, comme en Suède, que des commissions soient nommées pour préparer les décisions politiques. Actuellement, le recours à l’évaluation est bien établi dans certains secteurs (aide au développement et enseignement supérieur), bien qu’en général, on effectue ces évaluations au coup par coup. Cependant, d’après une enquête récente, on s’intéresse beaucoup à l’évaluation dans l’administration. Pour obtenir des informations plus systématiques et approfondies sur les récentes réformes du secteur public, un grand programme d’évaluation comprenant 12  études distinctes a été réalisé en 1995-1997. Ce projet avait aussi pour but de trouver des moyens de renforcer la culture de l’évaluation dans l’administration. On organise des cours de formation, un manuel a été rédigé et on encourage les ministères à exposer leur programme d’évaluation et ses résultats dans leurs rapports annuels.

Aux États-Unis...

Il existe une importante et ancienne tradition d’évaluation. Le gouvernement fédéral ainsi que certains gouvernements des États et autorités locales ont des unités d’évaluation. Au niveau fédéral, elles se situent généralement à l’intérieur de chaque ministère. Le General Accounting Office (GAO), qui aide le Congrès à superviser l’Exécutif et encourage l’efficacité de gestion et la responsabilité, mène un grand nombre d’audits de performances et d’évaluations de programme. Les organismes publics chargés de la mise en œuvre des programmes conduisent aussi leurs propres évaluations de programme. Ces organismes doivent inclure dans leur plan stratégique une description des évaluations de programme utilisées et un calendrier des évaluations futures. En outre, le Congrès insère fréquemment dans la législation des exigences imposant des évaluations particulières, généralement de grande ampleur

21

PUMA/PAC(99)1

A la Commission européenne...

La Commission européenne a depuis quelque temps des pratiques d’évaluation institutionnalisées dans certains domaines d’action centraux de la politique communautaire, comme l’aide au développement, la politique de la recherche et de la technologie et les programmes financés par les Fonds structurels. Dans le contexte de l’initiative de la Commission pour l'amélioration de la gestion financière (Sound and Efficient Management : SEM 2000), l’organisation de l’évaluation des dépenses de l'Union européenne d’une manière plus systématique, plus opportune et plus rigoureuse dans l’ensemble des politiques communautaires est devenue un objectif central. Il est stipulé que les services opérationnels sont chargés de l’évaluation de leurs programmes. Un fonctionnaire, un secteur ou une unité doit être désigné comme responsable.

Chaque service doit formuler son plan d’évaluation annuel ; les premiers ont été présentés à la fin de 1996. Ces plans sont compilés, la Commission en prend acte et les diffuse sous la forme de son Programme annuel d’évaluation. Les rapports d’évaluation produits par les services opérationnels de la Commission servent de base à un Bilan annuel d’évaluation, qui est soumis à la Commission avec le Programme annuel d’évaluation avant la fin janvier de chaque année. En outre, les services opérationnels doivent soumettre un rapport d’évaluation ex ante chaque fois qu’ils proposent une action engageant des dépenses communautaires. Quand ils préparent de nouveaux programmes, ils doivent aussi veiller à ce que l’insertion d’une évaluation dans le processus soit prévue.

Il est recommandé que les actions financées par le budget annuel fassent l’objet d’une évaluation au moins une fois tous les six ans. En dehors des services opérationnels, la DG XIX (Budgets) et la DG XX (Contrôle financier) assurent diverses tâches de soutien des activités d’évaluation. Pour promouvoir encore la culture de l’évaluation, on a créé un réseau d’évaluateurs, un manuel fixant des normes de qualité a été rédigé (Commission européenne, 1997) et on organise actuellement des séminaires de formation, des projets de démonstration et un bureau d’assistance.

2.4 GESTION DES PERFORMANCES ET EVALUATIONBeaucoup de gouvernements ont adopté des approches globales pour la gestion de la performance des organismes administratifs. Il est clair que l’évaluation est un outil qui se prête à l’évaluation des performances et qu’il convient par conséquent de la situer comme l’un des aspects d’une structure plus large de la gestion de la performance. Il demeure que les relations entre l’évaluation et la gestion des performances ne sont pas toujours claires.

Évaluation et gestion des performances…

L’évaluation était une pratique courante dans beaucoup d’administrations avant l’adoption de la gestion des performances, et les nouvelles approches n’ont pas nécessairement intégré l’évaluation.

Les nouvelles approches fondées sur la gestion des performances ont en partie été mises au point pour réagir devant les lacunes ressenties dans les méthodes d’évaluation, c’est-à-dire que l’intérêt des résultats fournis par les évaluations étaient réduits en comparaison de leur coût.

Différentes organisations peuvent être responsables de l’évaluation d’un côté, et de la gestion des performances de l’autre.

La gestion des performances comporte la réforme des processus principaux de la gestion et donc celle de la responsabilité des administrateurs de chaque organisation, alors que l’évaluation est présentée comme une méthode spécialisée, souvent confiée à des experts extérieurs ou à des unités d’évaluation.

Si les relations entre l’évaluation et la gestion des performances ne sont pas étudiées et clarifiées, il peut en résulter du gaspillage, des doubles emplois, des indications contradictoires sur les objectifs et les résultats, et des tensions entre les organisations et les groupes professionnels. La plupart des gouvernements situent l’évaluation dans le contexte d’ensemble de la gestion de la performance, mais la

22

PUMA/PAC(99)1

mesure de son intégration dépendra du rôle donné à l’évaluation. Il semble qu’il y ait trois approches principales (voir l’encadré ci-dessous).

Approches à l’intégration de l’évaluation et de la gestion des performances

1. L’évaluation est considérée comme une fonction distincte et indépendante, avec un rôle clairement défini au regard de la gestion de la performance.

2. L’évaluation est considérée comme une fonction distincte, mais elle est intégrée à la gestion de la performance.

3. L’évaluation n’est pas considérée comme une fonction distincte, et elle est englobée parmi les différents instruments de la gestion des performances.

La première approche considère l’évaluation comme une activité relativement indépendante de la gestion de la performance, même si elle s’appuie sur la mesure de la performance et sur d’autres informations obtenues par la gestion de la performance. La perspective de base est que la gestion de la performance est semblable à tout autre processus de gestion dans une organisation qui est soumise à une évaluation. Une intégration trop poussée de l’évaluation et de la gestion de la performance risquerait de compromettre la capacité de l’évaluation à apprécier la qualité de la gestion de la performance et à faire des propositions utiles pour son amélioration. L’intégration risquerait également de mettre en danger l’indépendance nécessaire de la fonction d’évaluation.

La seconde approche met moins l’accent sur l’indépendance, mais elle considère l’évaluation comme l’un des nombreux outils utilisés dans le contexte d’ensemble de la gestion de la performance. L’évaluation peut, à plusieurs égards, présenter des avantages par rapport à d’autres outils. Elle permet une étude plus approfondie de la performance que ne le permet la gestion des performances. Elle peut couvrir une période plus longue ; inclure des facteurs qu’il est difficile ou trop cher d’apprécier par un processus de mesures continues, comme cela peut être le cas pour l’appréciation des résultats ou de l’impact  ; elle permet d’analyser les causes et les effets de manière plus détaillée ; et elle permet d’appréhender la performance dans son propre contexte. L’évaluation peut être utilisée pour donner une image d’ensemble de la performance d’un programme ou d’une organisation, à la différence des visions souvent fragmentées apportées par d’autres approches. Dans ces conditions, l’évaluation est organisée comme une fonction distincte pour permettre l’obtention d’expertise, et elle est utilisée de manière sélective et périodique pour fournir des informations essentielles que ne peuvent pas fournir les autres processus. Le coût des évaluations est tel qu’elles doivent être limitées aux programmes ou aux organisations les plus importants.

La troisième approche souligne l’avantage d’inclure les méthodes propres à l’évaluation dans différents instruments de gestion des performances. Il y a de ceci plusieurs exemples. Les informations relatives aux performances peuvent être analysées, interprétées et évaluées ; des études complètes d’étalonnage exigent souvent des éléments d’évaluation importants qui expliquent les différences de performance ; l’évaluation est un des éléments clef de la gestion stratégique (par exemple pour l’évaluation d’éléments clef de l’environnement, les analyses d’AFOM) ; les contrats de performance sont périodiquement l’objet d’évaluations ; et la gestion de la qualité a souvent recours à l’auto-évaluation. La perspective fondamentale est dans ce contexte que l’évaluation devrait être une activité continue, et qu’elle doit être intégrée dans les processus clefs de gestion.

Ces trois approches ne s’excluent pas mutuellement, c’est-à-dire que le gouvernement peut avoir recours à plus d’une d’entre elles. Il est clair que la seconde de ces approches a gagné du terrain. Malgré cela, une certaine capacité d’évaluation indépendante est conservée, notamment pour les audits de performance qui sont conduits par les cabinets d’audit. L’on est de plus en plus sensible aux avantages obtenus par

23

PUMA/PAC(99)1

l’insertion de méthodes d’évaluation dans les processus clefs de la gestion. Néanmoins, la plupart des gouvernements considèrent que ceci complète plus qu’il ne se substitue à des évaluations plus spécialisées.

2.5 QUESTIONS METHODOLOGIQUESBien que le présent document porte principalement sur l’utilisation de l’évaluation, il convient d’exposer brièvement quelques-unes des grandes approches méthodologiques de l’évaluation et les problèmes qu’elles posent. Étant donné que la méthodologie et l’utilisation de l’évaluation sont mutuellement liées, on évoquera à nouveau ces questions ensuite.

Approches de l’évaluation

Il existe diverses approches de l’évaluation, selon les hypothèses adoptées quant à la nature des connaissances dans l’évaluation, la façon dont on peut créer de nouvelles connaissances fiables et l’usage que l’on peut légitimement en faire. En outre, il existe souvent un certain lien entre l’approche adoptée et les outils et techniques choisis pour l’évaluation. On présente ci-dessous, quatre grandes approches et quelques méthodes d’évaluation qui leur sont habituellement associées (Pollitt 1996).

Approches et méthodes

L’évaluation expérimentale repose sur l’idée positiviste consistant à appliquer la méthodologie des sciences naturelles à la mise au point des programmes publics. Dans les plans d’expérience, on compare des groupes tirés au hasard, que l’on estime similaires, après avoir appliqué à l’un d’eux un programme. L’attribution de l’effet observé au programme repose sur l’hypothèse qu’il n’existe pas d’autres causes possibles du résultat.

L’évaluation pragmatique met avant tout l’accent sur l’utilité des constatations de l’évaluation. L’évaluation doit être adaptée aux objectifs et aux pratiques de travail des principaux décideurs : la faisabilité politique, l’opportunité et le coût sont importants. On utilise généralement comme outils d’évaluation des quasi-plans d’expérience (où l’on envisage différentes explications possibles des résultats, que l’on écarte par d’autres moyens que le tirage au hasard), des études de cas et diverses méthodes descriptives.

L’évaluation économique se situe souvent un peu à part de l’évaluation en général. Elle applique l’idée de la rationalité économique, qui est maintenant d’actualité dans le discours public. L’analyse coût-avantages et les évaluations coût-efficacité figurent parmi les outils employés. Ils introduisent l’information sur les coûts du programme comme critère d’évaluation.

L’évaluation naturaliste rejette aussi bien l’évaluation expérimentale que l’évaluation économique en affirmant que la société se construit socialement et change constamment par l’interaction des individus. En conséquence, l’évaluation ne peut fournir des réponses exactes et objectives mais elle peut être un agent qui facilite la réalisation du consensus entre les parties concernées. Les méthodes employées, comme l’ethnographie, les études d'observateur-participant, les études de cas, etc. visent à décrire et clarifier les valeurs et présupposés des parties concernées et apportent une assistance à leur négociation dans le processus d’évaluation.

Il n’existe pas une manière meilleure que les autres de faire de l’évaluation. Les diverses approches et méthodologies comprennent différents facteurs de succès. Le rôle de l’évaluation varie bien sûr avec les différents processus d’apprentissage et de décision (par exemple, l’évaluation économique et expérimentale utilisée pour la décision budgétaire et l’évaluation naturaliste utilisée pour l’amélioration et la conception des programmes). L’important est de construire l’évaluation d’une manière adaptée au sujet

24

PUMA/PAC(99)1

que l’on évalue, à l’information que l’on souhaite tirer de l’évaluation, aux ressources disponibles et à l’exploitation des résultats.

Problèmes méthodologiques

Toutes les approches de l’évaluation comportent des problèmes méthodologiques inhérents. Par exemple, les problèmes de causalité sont communs aux sciences sociales en général. On peut rarement établir des preuves concluantes de relations de cause à effet, étant donné qu’il est rarement possible de maîtriser toutes les variables qui interviennent. Il est souvent long, difficile et coûteux, voire impossible, d’appliquer dans la pratique des plans d’expérience pour l’évaluation. Même si l’on utilise ces plans d’expérience, la généralisation au-delà des conditions de l’expérience est généralement incertaine. (Cependant, dans beaucoup d’évaluations, par exemple quand on évalue la mise en œuvre ou la gestion d’un programme, l’objectif majeur n’est pas d’établir une relation causale sûre).

Le choix des critères d’évaluation peut être problématique tout simplement parce que les objectifs des programmes publics sont souvent multiples, vagues, cachés ou changeants. Il est également difficile de décider si l’on examine seulement dans quelle mesure les objectifs officiels ont été réalisés ou bien si l’on adopte une perspective plus large en étudiant tous les effets du programme. Cette dernière option donne une image plus complète du résultat du programme mais elle est plus complexe et demande plus de temps.

Il est difficile mais essentiel de fixer une période appropriée sur laquelle on évalue le programme, étant donné qu’il faut s’assurer que tous les résultats pertinents ont une possibilité d’arriver à maturité. D’autre part, l’information peut perdre de son utilité et être trop tardive pour servir, par exemple si le programme que l’on évalue a sensiblement changé depuis la période couverte par l’évaluation.

Il est aussi problématique de décider des méthodes à appliquer dans l’évaluation. Des manières différentes de collecter les données et de les analyser offrent des perspectives différentes sur le programme soumis à évaluation. Par exemple, on débat beaucoup sur les avantages et inconvénients d’utiliser des méthodes quantitatives ou qualitatives dans l’évaluation.

Souvent, il est difficile ne serait-ce que d’identifier les résultats d’un programme. Comme on l’a remarqué précédemment, il peut y avoir plusieurs causes (autres que le programme) partielles ou uniques de ces résultats. Ainsi, il peut être difficile de décider de la quantité et de la nature des éléments de preuve nécessaires à des conclusions valables et fiables. Cela dépend également des ressources que l’on peut matériellement ou raisonnablement consacrer à l’évaluation. Un autre problème concernant les conclusions est de savoir si l’on peut généraliser à d’autres époques, lieux ou sujets les indications données par l’évaluation. Ce point est particulièrement important quand on attend de l’évaluation qu’elle contribue au choix des lignes d’action futures.

Cependant, on peut s’accommoder des difficultés méthodologiques de l’évaluation (on ne peut pas toutes les mentionner ici) quand on a conscience des limites et qu’on aborde les problèmes convenablement. Cela nécessite des connaissances et des compétences particulières que l’on peut acquérir en formant le personnel et en recourant à des experts externes pour la conduite des évaluations. En outre, la combinaison de différentes méthodes est souvent la meilleure manière de procéder pour pallier les problèmes méthodologiques. On peut aussi établir des mécanismes de contrôle de la qualité (voir plus loin l’exposé concernant l’assurance de la qualité technique) pour guider le processus d’évaluation.

Néanmoins, l’évaluation apporte toujours des informations utiles aux discussions sur les performances : des informations plus fiables sur ce qui s’est passé, et pour quelles raisons, valent mieux que de ne rien avoir, même si l’évaluation ne peut fournir des réponses définitives.

25

PUMA/PAC(99)1

26

PUMA/PAC(99)1

3. GERER L’EVALUATION POUR AMELIORER SON UTILISATION

Outre les problèmes méthodologiques, l’autre grande question est l’utilisation de l’évaluation. L’évaluation n’est pas une connaissance que l’on acquiert pour elle-même mais pour l’action. Il importe d’utiliser le produit de l’évaluation dans la décision. Sinon, l’administration s’en désintéressera rapidement et l’évaluation ne deviendra qu’une formalité bureaucratique.

On a émis l’idée que, pour que l’évaluation ait une influence sur la décision, il faut à la fois une offre de bonne qualité et une demande sincère (Mayne, 1994 ; Mayne, Divorski et Lemaire, 1998 ; Boyle, 1997). Dans le présent chapitre, on examine de quelle façon on peut promouvoir ces deux aspects du « marché » de l’évaluation : comment créer des occasions d’utiliser l’évaluation.

Il est difficile de définir en quoi consiste l’utilisation de l’évaluation. On peut distinguer l’utilisation programmatique et l’utilisation organisationnelle. La première se rapporte à des études d’évaluation considérées individuellement et la seconde à l’effet cumulatif (d’apprentissage) que la conduite systématique d’évaluations a sur l’organisation au cours du temps. L’utilisation programmatique peut se subdiviser en utilisation instrumentale, où une évaluation a pour conséquence la mise en œuvre d’une décision précise concernant le programme (confirmation, modification ou arrêt) et l’utilisation conceptuelle, où l’on ne prend pas de décision immédiate mais où l’on considère les constatations de l’évaluation et on acquiert des informations utiles qui serviront ultérieurement (Mayne, 1994).

L’utilisation de l’évaluation des programmes

Importants changements de politique

Améliorations apportées à un programme (enrichissement de l’expérience en matière d’organisation)

Amélioration des affectations budgétaires

Soutien à la responsabilisation

Dans tous les cas, il n’est pas facile de mettre en évidence l’utilisation de l’évaluation. Il faut définir les utilisateurs probables et décider du délai dans lequel l’utilisation devrait normalement avoir lieu. L’utilisation des résultats peut conduire à des améliorations concrètes mais ces améliorations peuvent être moins concrètes, et porter, par exemple, sur une meilleure connaissance du programme, un enrichissement de l’expérience en matière d’organisation ou une responsabilisation.

On peut aussi faire une distinction entre l’utilisation de l’évaluation et son impact : quel degré d’impact est requis pour constituer l’utilisation. L’expérience laisse penser que l’évaluation sert souvent à améliorer des programmes existants et ne conduit que rarement à des changements fondamentaux dans l’élaboration des politiques et l’allocation des ressources (par exemple en Suède bien que, comme on l’a remarqué, les changements majeurs peuvent se produire seulement après des années d’accumulation de l’information des évaluations). Il peut aussi arriver qu’une évaluation particulière ne suggère aucun changement au programme.

27

PUMA/PAC(99)1

Du fait de tous ces facteurs, l’utilisation de l’évaluation est une question complexe. Il n’existe pas beaucoup d’études systématiques sur l’utilisation, mais on donne quelques exemples dans le chapitre de conclusion.

Du fait que l’évaluation se pratique dans un contexte politique, le problème de la vérification de son utilisation ne sera jamais complètement résolu. L’évaluation n’est qu’une des sources d’information et elle est en concurrence avec d’autres influences dans la prise de décision. Il est pratiquement impossible de déterminer dans quelle mesure les constatations de l’évaluation influencent les décisions. L’évaluation a peut-être le plus d’impact sur les mesures de faible importance politique ou quand il existe un accord global sur l’orientation générale de la politique mais un choix ouvert sur la façon de l’opérationnaliser. En outre, étant donné que l’activité des politiciens est faite de desseins, ils ne s’intéressent peut-être pas toujours à l’étude des effets de politiques qui ont été mises en œuvre. Derrière la réticence à faire effectuer des évaluations et à examiner leurs constatations se cache peut-être aussi la crainte que l’on révèle des déficiences (voir plus loin l’exposé sur la communication des résultats). Quelquefois, les politiciens ne souhaitent peut-être pas formuler les objectifs de l’action gouvernementale aussi précisément que le voudrait l’évaluation. Il reste que les décisions présentes et futures doivent être prises quelle que soit la qualité des intrants du processus de décision. En gardant cela à l’esprit, il est possible de stimuler l’utilisation de l’évaluation par une consultation ouverte avec les décideurs.

La culture de la gestion des performances qui porte intérêt à l’évaluation n’apparaît pas du jour au lendemain. Cependant, on peut prendre quelques mesures concrètes pour accroître le rôle de l’évaluation et promouvoir son utilisation dans l’administration, parmi les décideurs et dans le grand public. Dans la section suivante, on examine les questions à prendre en compte en vue de maximiser l’utilisation et les effets bénéfiques de l’évaluation. On notera que les moyens de promouvoir l’utilisation de l’évaluation peuvent varier suivant le contexte.

Les trois premiers points concernent la création d’une demande effective, d’un environnement propice à la réalisation d’une évaluation de programme. Les trois points suivants portent sur le développement d’un cadre efficace pour la conduite de l’évaluation. Les neuf points suivants concernent les aspects pratiques du processus d’évaluation lui-même : comment on peut le gérer de manière à promouvoir l’utilisation des résultats de l’évaluation. Le dernier point aborde la formation du personnel et le soutien, qui constituent un facteur essentiel pour créer une culture de l’évaluation dans l’administration.

28

PUMA/PAC(99)1

Questions soulevées par l’amélioration des pratiques d’évaluation

Point No. 1 Obtenir le soutien des dirigeants

Point No. 2 Susciter une demande effective

Point No. 3 Fixer des attentes réalistes

Point No. 4 Systématiser les activités d’évaluation

Point No. 5 Articuler l’évaluation avec le processus budgétaire

Point No. 6 Choisir l’évaluateur qui convient

Point No. 7 Planifier les évaluations

Point No. 8 Choisir le moment opportun

Point No. 9 Répondre aux besoins des utilisateurs

Point No. 10 Assurer la pertinence de l’évaluation

Point No. 11 Faire participer les parties concernées

Point No. 12 Assurer la qualité méthodologique

Point No. 13 Formuler des jugements et recommandations

Point No. 14 Communiquer les résultats

Point No. 15 Contrôle ou suivi

Point No. 16 Tenir compte des besoins de formation et de soutien du personnel

Point n°   1  :OBTENIR LE SOUTIEN DES DIRIGEANTS

Il importe que les cadres de l’administration publique et les politiciens comprennent l’intérêt de l’évaluation et s’attachent à en promouvoir l’utilisation. Cette volonté peut s’exprimer de manière officielle, par exemple par la promulgation d’une stratégie d’évaluation à l’intention de l’administration publique. Le ministère des Finances et autres organismes centraux ont souvent un rôle essentiel à jouer pour recueillir l’adhésion à l’égard des activités d’évaluation et démontrer leur crédibilité. Il faut associer les cadres de l’administration publique au processus d’évaluation pour qu’ils soient au courant de sa progression et puissent apporter, le cas échéant, leur contribution. Quand l’objectif consiste principalement à améliorer la mise en œuvre d’un programme existant, il faut avant tout gagner le soutien des responsables du programme.

Aux Pays-Bas...

Au début des années 90, le gouvernement a établi une stratégie énonçant les fonctions de l’évaluation et les moyens de la promouvoir et exposant les initiatives nécessaires et des recommandations. Les directions politiques sont chargées d’organiser leurs évaluations, mais la responsabilité finale de l’évaluation incombe aux dirigeants centraux des ministères. Le ministère des Finances et les directions du budget internes des ministères sont chargés de coordonner, promouvoir et vérifier l’utilisation de l’évaluation et de s’assurer que le soutien nécessaire en conseil, orientation et expertise scientifique est fourni.

29

PUMA/PAC(99)1

Point n° 2 : SUSCITER UNE DEMANDE EFFECTIVE

Une des raisons avancées pour expliquer la mauvaise utilisation de l’évaluation de programme est la nature de ce marché, qui est gouverné par l’offre. Il peut être nécessaire de stimuler la demande générique d’évaluation. Il faut créer une demande, clairement formulée, si l’on veut que l’évaluation serve dans la pratique et conduise à des améliorations des programmes (Mayne, Divorski et Lemaire, 1998). Les clients doivent spécifier de manière réaliste les aspects qui les intéressent dans l’évaluation et les faire connaître. Il existe plusieurs incitations possibles pour stimuler la demande. On les a qualifiées de bâtons, carottes et sermons (Boyle, 1997 ; Toulemonde, 1998).

Mesures d’incitation

Bâtons On peut utiliser le bâton pour s’assurer que les évaluations sont bien entreprises et qu’elles posent les questions pertinentes. Ainsi, on peut rendre les évaluations obligatoires ou donner à un acteur extérieur le droit de poser des questions. On peut aussi s’assurer de la qualité des évaluations par des mécanismes spécifiques, comme des groupes de pilotage ou d’examen (Canada, France). Quelquefois, l’accroissement de la concurrence entre les services des administrations publiques les pousse à fournir plus d’informations d’évaluation sur leurs activités et leurs résultats.

Carottes La carotte sert à développer la demande. A cette fin, on peut affecter des crédits spéciaux aux évaluations et récompenser les efforts d’évaluation et le personnel qui les conduit (citation en exemple, prix, promotions, améliorations du contenu du travail, primes d’efficacité). On peut aussi considérer ou faire remarquer que le surcroît de travail dû à l’évaluation sera compensé par la réduction des contrôles à exercer sur les ressources et les processus.

Sermons Il faut faire des sermons pour exposer clairement les valeurs dont l’évaluation est porteuse et promouvoir une culture qui valorise son utilisation dans la prise de décision. On peut faire passer ce message en organisant des conférences, des cycles de formation ou des stages, en publiant des bulletins et des revues, en établissant des projets de démonstration et des réseaux d’homologues, en créant des récompenses, etc. En outre, si les constatations des évaluations sont effectivement suivies d’actions, cela montre à tous que les évaluations représentent réellement quelque chose d’important.

Point n° 3 : FIXER DES ATTENTES RÉALISTES

Les attentes irréalistes, touchant, par exemple le calendrier et le champ des conclusions de l’évaluation, entraînent souvent des déceptions. C’est ce qui s’est produit dans de nombreux pays lors des premières activités d’évaluation, par exemple en Suède dans les années 60 et 70 où l’expérience de budgétisation et évaluation de programmes s’est heurtée à des difficultés dues à des attentes irréalistes et à un manque d’intérêt et de soutien de la part des ministères. Il faut donc avoir conscience des limites inhérentes de l’évaluation. On constate souvent l’existence d’objectifs irréalistes en ce qui concerne le calendrier et l’étendue des résultats de l’évaluation.

Il est naturel que les politiciens qui consacrent des ressources à l’évaluation espèrent qu’elle servira à améliorer la prise de décision dans la pratique et, si possible, immédiatement. En même temps, les évaluateurs soulignent l’importance d’autres aspects et le fait que les résultats des évaluations suggèrent plus qu’ils ne démontrent, et cela quelquefois après plusieurs années d’accumulation. Les décideurs attendent donc des évaluateurs une réponse que ceux-ci déclarent ne pas pouvoir leur fournir, bien qu’ils encouragent les gouvernements à faire de plus en plus d’évaluations.

30

PUMA/PAC(99)1

Cette contradiction peut engendrer méfiance et déception, si les deux parties ne sont pas capables d’exprimer clairement leurs attentes et de discuter de ce que l’évaluation a à apporter. Les utilisateurs potentiels doivent avoir conscience des limites probables de l’évaluation et être capables de produire une demande effective qui peut être satisfaite de manière réaliste. Il est à noter que l’évaluation fournira des informations supplémentaires utiles et réduira l’incertitude concernant les questions sur lesquelles elle porte, mais elle ne peut donner les “bonnes réponses” ni se substituer au jugement des décideurs. Il faut aussi clairement aborder les problèmes méthodologiques inhérents à l’évaluation (comme la détermination des causes). On doit aussi garder à l’esprit le type d’informations que l’on peut attendre de l’évaluation dépend du choix des évaluateurs (voir plus loin). Le mandant qui fait exécuter une évaluation doit être un consommateur averti, capable d’éviter les évaluateurs incompétents ayant une vision exagérément optimiste du projet.

Point n° 4 : SYSTÉMATISER LES ACTIVITÉS D’ÉVALUATION

Il est généralement reconnu qu’un certain degré d’institutionnalisation doit être atteint pour que les évaluations puissent véritablement jouer leur rôle dans la gestion des organisations publiques. Il faut un cadre permettant de soutenir la production d’évaluations de haute qualité, leur utilisation, l’apprentissage organisationnel et une mise en œuvre efficiente.

Il importe en particulier d’intégrer stratégiquement les efforts d’évaluation dans le travail général de gestion des performances. Il faut intégrer en un tout logique et cohérent les diverses activités d’examen et de contrôle afin d’éviter que les activités ne fassent double emploi et que les tâches de collecte d’information ne surchargent les responsables des programmes. La systématisation peut être réalisée à des degrés très différents :

Degré de systématisation

Informelle Systématique

Éléments requis pour mener des évaluations

volontaire et souple obligatoire et régulière

Responsabilité pour mener les évaluations

décentralisée centralisée

Situation de l’évaluateur interne externe

Destinataire du rapport pouvoir exécutif de l’État pouvoir législatif de l’État

Champ des évaluations amélioration de la prise de décisions et de la mise en œuvre

responsabilité

Initiative initiative et mise en œuvre locales initiative et mise en œuvre gérées du centre

Ouverture faible importante

La façon dont l’évaluation est organisée a des implications sur le rôle qu’elle peut être appelée à jouer dans les processus de décision. Son intégration aux phases du processus global de conduite des politiques est importante à cet égard (voir plus loin l’articulation avec le processus budgétaire).

31

PUMA/PAC(99)1

Il faut mettre en évidence la valeur ajoutée et les coûts de l’évaluation par rapport avec une mesure des performances, par exemple. Certains gouvernements ont affecté un budget à l’évaluation (par exemple, l’évaluation des programmes de dépenses de l’Union européenne est normalement financée sur le budget du programme, dont une petite fraction est souvent déjà désignée à cet effet) ou de créer des fonds spéciaux pour financer les projets d’évaluation.

En Australie...

Les tensions entre liberté et contrôle lors de la systématisation de l’évaluation ont été résolues dans le cadre actuel en institutionnalisant le processus tout en laissant dans une grande mesure les ministères décider de la façon d’opérer. Le ministère des Finances peut aussi participer à certaines grandes évaluations et contribuer à l’assurance de la qualité.

Point n° 5 : ARTICULER L’ÉVALUATION AVEC LE PROCESSUS BUDGÉTAIRE

Pour que l’évaluation ait un effet, elle doit faire partie intégrante du processus d’élaboration et de mise en œuvre des politiques. Ses liens avec le processus budgétaire sont donc importants. Une étude comparative des pratiques de gestion dans sept pays a cependant abouti à la conclusion que, dans aucun d’entre eux, la budgétisation, l’audit et l’évaluation n’étaient convenablement intégrés (Gray et Jenkins, 1993).

L’utilisation des conclusions des évaluations doit être envisagée de manière réaliste dans le processus budgétaire. La budgétisation est un moyen de faire des choix politiques et l’évaluation n’est qu’un des facteurs à prendre en compte. Dans le contexte budgétaire, il est bon également de s’efforcer de créer une relation constructive entre l’évaluateur et l’évalué. Certains pensent que lier l’évaluation à l’allocation des ressources amoindrit la confiance entre les parties et, en conséquence, diminue la qualité de l’évaluation. Une évaluation motivée par la volonté de contrôler ou d’effectuer des économies, et dont les conclusions ne seront utilisées que pour permettre des réductions budgétaires, provoqueraient des résistances. Une implication dans le processus d’évaluation des responsables et des personnels de l’organisation sur laquelle celle-ci porte, sera susceptible d’accroître l’équilibre des conclusions et de créer une atmosphère de confiance.

Un certain nombre de pays (par exemple, l’Australie et la Suède), ainsi que la Commission européenne, ont fait des efforts pour améliorer les liens de l’évaluation avec le processus budgétaire. Les exemples qui suivent illustrent certaines solutions concrètes.

En Australie...

En Australie, l’évaluation est solidement articulée avec le processus budgétaire. La budgétisation des programmes, dont les évaluations de programme font partie, offre un cadre utile à la prise de décision. L’évaluation est un moyen essentiel pour réallouer les ressources en fonction de l’efficacité des programmes.

D’après une étude de l’utilisation de l’évaluation dans le processus budgétaire 1994-1995, les résultats des évaluations influencent 77% des nouvelles propositions d’action et 65% des solutions choisies pour réaliser des économies. On estime que l’évaluation a influé sur les délibérations du gouvernement pour 68% des mesures envisagées. Cela représente une augmentation importante par rapport aux résultats de l’enquête sur les budgets précédents  ; cette augmentation s’explique en partie par le fait qu’un grand ensemble de mesures, baptisé Working Nation, dont les résultats des évaluations confirmaient fortement l’intérêt, constituait dans le budget une part importante des nouvelles propositions d’action.

Selon la conception australienne, les évaluations doivent être menées par ceux qui gèrent les programmes mais, de plus en plus, le processus global devrait s’inspirer d’une approche intégrée de la gestion des performances basée sur des principes de bonnes pratiques, coordonnée par les responsables de l’allocation des ressources. Le ministère des Finances a un rôle central de coordinateur et de guide, et quelquefois aussi de participant, pour les évaluations conduites dans les ministères et autres

32

PUMA/PAC(99)1

organismes publics.

En Suède...

A la fin des années 80, on a instauré en Suède un nouveau processus budgétaire. Il s’agissait de systématiser les évaluations, qui se faisaient auparavant au coup par coup, de les rendre permanentes et d’en faire un élément officiel du processus de décision. On a demandé aux organismes publics, outre la production d’informations annuelles sur leurs résultats, d’effectuer tous les trois ans un examen approfondi de leurs activités. Le but était de faciliter les discussions sur les résultats des politiques et de mieux étayer les décisions fondamentales.

Toutefois, on a récemment assoupli le système d’évaluation : le principal document utilisé dans le processus budgétaire est le rapport annuel qui contient essentiellement des informations techniques sur la production des administrations. On n’effectue des examens approfondis que si le ministère concerné le demande. On a observé que la documentation d’information utilisée dans le processus budgétaire s’est beaucoup améliorée. Cependant, on ne possède pas de renseignements systématiques sur l’utilisation de l’évaluation. L’impression générale est que l’information présentée dans les rapports annuels des organismes publics sert principalement aux ministères pour l’exercice de leur contrôle et à l’ajustement des politiques.

A la Commission européenne...

Une politique d’évaluation systématique des programmes a été adoptée en 1996. Selon l’approche exposée dans la Communication sur l’évaluation, les services opérationnels sont chargés d’effectuer leurs évaluations, tandis que les Directions générales des budgets et du contrôle financier apportent une assistance et contrôlent la qualité des évaluations.

L’exigence que toutes les propositions de programme doivent s’accompagner d’un exposé financier présentant un plan d’évaluation du programme crée un lien important entre la budgétisation et l’évaluation. Pour les programmes nouveaux, les propositions doivent être étayées par une évaluation ex ante et, dans le contexte des propositions de renouvellement de programme, il doit être fait référence aux résultats des évaluations de la génération précédente du programme. En bref  : pas de crédits sans évaluation.

Point n° 6 : CHOISIR L’ÉVALUATEUR QUI CONVIENT

L’organisation de l’évaluation laisse apparaître le rôle que les gouvernements souhaitent donner à cette opération. Les résultats de cette évaluation peuvent être affectés par les arrangements institutionnels ; ces dernières peuvent également en influencer le champ d’action, ses liens avec les processus de prise de décision et le statut qui lui est conféré dans son ensemble. Cette question comporte plusieurs aspects.

Il est possible, en premier lieu de conférer à un ou à plusieurs organismes administratifs le mandat formel de réaliser ou de commanditer des évaluations. En second lieu, le gouvernement peut se doter de la capacité d’effectuer des évaluations, au sein et à l’extérieur des organismes qui le composent avec un mandat formel d’évaluation. Le troisième aspect concerne le choix d’un évaluateur approprié, pour chaque opération d’évaluation.

Une pratique courante consiste à donner aux organismes gouvernementaux le mandat formel de réaliser ou de commanditer des évaluations. Il est également courant que des bureaux d’audit reçoivent le mandat de réaliser des évaluations ou des audits de performance. Il existe des précédents des exigences requises pour créer des unités d’évaluation dans un ministère. Cela peut être fait pour l’ensemble du gouvernement ou

33

PUMA/PAC(99)1

pour un ministère particulier. Il existe également des exemples d’unités d’évaluation semi indépendantes, qui reçoivent un mandat général et sectoriel d’évaluation.

La mise en place de capacités d’évaluation ne doit pas être limitée aux organisations qui ont le mandat formel de s’acquitter de l’évaluation. Beaucoup de gouvernements tiennent à disposer d’un ensemble d’évaluateurs différents (à l’intérieur et à l’extérieur de l’administration) parmi lesquels ils peuvent choisir.

Le choix de l’évaluateur est un élément important pour l’efficacité de l’évaluation. Il est essentiel d’analyser l’objectif de chaque évaluation. A titre d’exemple, une évaluation interne aura sans doute pour intérêt des questions qui se rapportent à son objet précis et elle apportera des recommandations pratiques, mais il est peu réaliste de s’attendre à ce qu’elle fournisse des informations vitales et qu’elle aborde des questions relatives à l’opportunité de poursuivre ou d’interrompre le programme. Un bureau d’audit externe pourra traiter de questions plus fondamentales au regard des résultats, mais leurs choix des sujets, leurs conclusions et leurs recommandations ne seront pas nécessairement politiquement utiles. Des évaluateurs semi-indépendants pourront combiner ces deux perspectives.

Les évaluations pourront être réalisés par différents types d’intervenants, et ceux qui auront un mandat formel de s’acquitter de l’évaluation seront une minorité. L’évaluation peut s’effectuer de manière interne dans l’administration, de manière externe par des organisations indépendantes ou, comme c’est souvent le cas, par une combinaison de différents acteurs. La mesure dans laquelle l’évaluation est interne ou externe varie et dépend du point de vue adopté : par exemple, toute évaluation, sauf l’autoévaluation, est externe au programme évalué ; les unités d’évaluation centrales des ministères sont des unités internes au ministère mais externes au programme ; les organismes d’audit sont en général totalement indépendants, etc. Le tableau suivant présente toute une gamme d’organismes auxquels le gouvernement serait susceptible de donner un mandat formel d’évaluation ou qu’il pourrait choisir comme évaluateur. Le tableau donne également une indication sur ceux qui, parmi ces organismes, pourraient être considérés comme internes, externes ou indépendants. Compte tenu de la perspective prise, il y a un recoupement parmi ces catégories.

Position des évaluateurs et relation de ces derniers avec le programme concerné

Relation avec le programme

concerné

Evaluateur Position de l’évaluateur

Organisme évalué

Interne

Externe

Indépendant

Unité spéciale d’évaluation au sein des ministèresAu sein de l’administration

A l’extérieur de l’Administration

Organismes centraux de gestion

Commissions

Consultants de gestion

Institutions universitaires ou de recherche

Associations de consommateurs, Groupes représentatifs, etc.

Organismes nationaux d’audit externe

Quand l’évaluation est effectuée par les organisations évaluées, le résultat répond aux besoins d’information fondamentaux de l’organisation considérée. Les évaluateurs internes connaissent le

34

PUMA/PAC(99)1

programme et les questions qu’ils examinent, ils peuvent accéder facilement aux informations présentes produites dans l’organisation et ils possèdent aussi d’importantes informations officieuses. La collecte des données est donc relativement facile et peu coûteuse. L’autoévaluation permet de mieux tirer les leçons de l’expérience et facilite l’exploitation des résultats. En outre, les exigences sont souvent moins grandes, du fait que, souvent, quand le but est d’améliorer la mise en œuvre du programme, on ne juge pas utile d’aborder les questions complexes concernant les fruits du programme ou son utilité sociale.

L’évaluation interne pose les problèmes suivants : temps disponible et compétences du personnel, étendue assez limitée des questions qui peuvent être traitées, manque possible d’objectivité et, en conséquence, crédibilité des résultats. De ce fait, l’évaluation réalisée peut être d’une utilité limitée en dehors de l’organisation elle-même ; cependant, ce n’est pas grave si l’évaluation vise principalement à faciliter le fonctionnement du programme et non à évaluer son utilité globale.

Au Canada...

Les ministères et autres organismes publics sont chargés de l’évaluation des programmes. Ces évaluations sont souvent réalisées par des unités d’évaluation spécialisées à l’intérieur des ministères. On leur reproche quelquefois de ne pas suffisamment examiner si les programmes conservent leur raison d’être. En 1996, sur l’initiative des ministres, un grand réexamen des programmes a été confié à un comité spécial créé à cet effet. Les grandes évaluations de ce genre nécessitent une claire volonté politique.

En Suède...

Les organismes publics doivent évaluer leurs performances et leurs résultats et en rendre compte dans des rapports. D’après une étude réalisée en 1996 par le Groupe d’experts sur les finances publiques, les autoévaluations des organismes publics sont généralement d’assez faible qualité : souvent les faits ne confirment pas les conclusions présentées, etc. On a préconisé des mécanismes de contrôle de la qualité, par exemple des groupes de contrôle indépendants.

L’évaluation effectuée par des organismes centraux a la capacité de traiter les questions intéressant l’ensemble des administrations et les programmes intersectoriels, d’étudier plus profondément l’impact des différents programmes et éventuellement d’examiner avec plus de rigueur si les programmes conservent leur utilité. De plus, l’autorité de l’évaluateur et les outils de contrôle formels ou informels qu’il possède peuvent conduire à une meilleure utilisation de l’évaluation dans les organisations évaluées. Le sentiment de fiabilité des résultats de l’évaluation et le caractère plus politique des questions traitées éveillent souvent l’intérêt à l’extérieur de l’organisation évaluée et facilite l’utilisation de l’évaluation dans le processus de décision politique.

La distance entre l’évaluateur et le programme évalué peut être une source de difficultés  : une agence centrale peut avoir un accès moins direct à l’information et, en conséquence, la collecte des données peut être entravée par les délais, les ressources ou par d’autres contraintes. Les évaluateurs appartenant à des organismes centraux peuvent avoir des rôles difficiles à concilier (par exemple, fournir des avis à des ministères et des agences, mais également au Ministère des Finances). Leur crédibilité peut en souffrir, à moins que l’évaluateur ne soit en mesure de préciser son rôle au regard des évaluations particulières et d’effectuer une distinction entre des informations objectives et des opinions qui pourront être influencés par le mandat de l’organisation (par exemple, la recherche de la rentabilité). En outre, les responsables de programmes pourront avoir des difficultés à accepter des conclusions adoptées par les évaluations externes et leurs recommandations pourront ne pas être faciles à mettre en œuvre.

Les responsables de programmes, ou les organismes centraux, sont souvent les coordinateurs des évaluations effectuées par des évaluateurs externes (qui seront, par exemple, des institutions de recherche

35

PUMA/PAC(99)1

et des consultants). Cette fonction de coordination comprend la sélection de l’évaluateur, l’établissement du lien contractuel, la sélection des programmes qui seront soumis à évaluation, et la collaboration avec les évaluateurs pendant la durée de leurs travaux.

En France...

Le Comité interministériel de l’évaluation décide du nombre d’évaluations qui seront effectuées en réponse aux demandes du gouvernement, des administrations publiques et de la Cour des Comptes. Le Conseil scientifique de l'évaluation, qui est une institution indépendante, conseille ce comité sur la méthodologie et la qualité des évaluations. Les évaluations sont financées par un fonds national pour le développement de l’évaluation.

En Australie...

Le ministère des Finances joue un rôle central en aidant les ministères et autres organismes publics à se familiariser avec l’évaluation, à élaborer des plans et des activités d’évaluation, à acquérir des compétences et de la documentation de référence, à former leur personnel et à établir un registre des évaluations réalisées. Il participe aussi à certaines évaluations dans les ministères.

Aux Pays-Bas...

Le ministère des Finances joue un rôle central en aidant les ministères et les autres organismes de l’administration à se familiariser avec l’évaluation, en préparant les programmes et les activités d’évaluation, en obtenant les compétences et la documentation nécessaires, en formant les personnels, et en publiant un registre des évaluations déjà accomplies. Il participe également à certaines évaluations avec les ministères concernés.

Lorsque l’évaluation est réalisée par des évaluateurs externes, en raison de leur indépendance et de leurs compétences dans ce domaine, l’éventail des questions traitées est souvent plus large et les résultats plus fiables. De ce fait, ces évaluations intéressent au public plus large. D’un autre côté, les évaluateurs externes connaissent peut-être moins bien le fond du sujet et la culture politique et administrative de l’organisation évaluée. En outre, certains évaluateurs externes peuvent être enclins à offrir des évaluations assez standard ou à présenter uniquement les conclusions qui font plaisir à leur client. Les institutions universitaires ont quelquefois tendance à produire des études excessivement théoriques.

Certains avancent l’idée que le succès de l’évaluation exige qu’elle soit ancrée en plusieurs lieux (Mayne, Divorski et Lemaire, à paraître). C’est seulement ainsi qu’elle peut répondre à des demandes différentes et fournir des informations pour une multiplicité de marchés. Même s’il existe un risque de concurrence improductive ou d’une trop grande fragmentation de l’apport d’informations, les divers offreurs d’évaluation permettent à eux tous de couvrir toutes les questions pertinentes, de compléter les points de vue et d’exploiter au maximum les résultats. En diversifiant l’offre, on peut cumuler les avantages et pallier les insuffisances d’un lieu d’évaluation unique. On peut parvenir au même résultat en créant des organismes d’évaluation semi-indépendants.

Étant donné la grande difficulté de créer de multiples lieux d’évaluation, il est sans doute judicieux de commencer par implanter les activités d’évaluation là où il existe quelques signes de l’existence d’une demande et, de préférence, où il existe aussi des ressources. Certains pensent qu’il est peut-être souhaitable, au début, de centraliser dans une certaine mesure les moyens d’évaluation, quitte à les étendre à d’autres lieux quand les compétences et autres ressources se sont développées (Boyle, 1997).

36

PUMA/PAC(99)1

Plusieurs études et précédents donnent à penser que les organisations publiques semblent plus réceptives aux informations produites en interne, alors qu’elles ressentent souvent l’évaluation externe comme une menace (par exemple, Rist, 1994). Cependant, s’il est nécessaire de faire accepter l’évaluation (et ainsi de la faire mettre en pratique), il faut aussi, en contrepartie, des mécanismes de contrôle de la qualité appropriés afin d’accroître la crédibilité des évaluations internes. A cette fin, on peut améliorer leur transparence et leur ouverture à la connaissance du public, avoir des groupes de référence externes et réaliser des bilans (voir plus loin le point concernant le maintien de la qualité technique).

Le degré de “métaévaluation”, ou évaluation des évaluations, et son point de localisation sont aussi à considérer. Par exemple, il peut y avoir des avantages à promouvoir l’évaluation interne mais avec des organismes externes qui examinent ces évaluations sans les réaliser eux-mêmes.

Point n° 7 : PLANIFIER LES ÉVALUATIONS

Une bonne préparation des évaluations est une condition majeure de leur succès. Choisir le thème, déterminer l’étendue et les objectifs de l’évaluation, planifier le processus d’évaluation et fixer les critères à employer sont des tâches auxquelles il est utile de consacrer du temps et des efforts, même s’il fallait le modifier en partie plus tard. Une planification soigneuse facilite la gestion de l’évaluation et contribue à la qualité du résultat. Au demeurant, la planification ne doit pas devenir excessivement rigide, et une certaine souplesse permettra à l’évaluation de s’adapter à l’évolution des besoins et des circonstances.

Le demandeur et/ou les utilisateurs de l’évaluation devraient endosser la responsabilité finale des choix effectués dans la planification. Il faut bien définir les objectifs, les questions à traiter, les critères, les informations disponibles, la collecte des données et les méthodes d’analyse. Le calendrier, le budget, les évaluateurs et l’organisation générale de l’évaluation requièrent aussi des décisions. Il faut envisager de quelle façon on peut présenter, utiliser et suivre les résultats.

La planification consiste aussi à spécifier les destinataires qui utiliseront les résultats et appliqueront les recommandations éventuelles : quelles sont les responsabilités des différents acteurs, comment sont-ils informés et motivés ? L’utilisation des conclusions de l’évaluation doit être envisagée, ainsi que les éventuelles mesures concrètes qui permettront la mise en œuvre des recommandations (voir le point concernant le suivi).

Une planification soigneuse renforce la détermination à agir en conséquence des résultats de l’évaluation et peut contribuer à une mise en application effective après que les évaluateurs ont terminé leur travail. En outre, la désignation des utilisateurs de l’évaluation lors de la phase de planification influe beaucoup sur la conception de l’évaluation. Il faut répondre aux besoins d’information de l’utilisateur. Il faut aussi tenir compte des intérêts de ceux qui sont soumis à l’évaluation de manière à s’assurer leur participation et leur coopération.

En plus des plans d’évaluation formulés pour chaque programme, il peut être utile d’établir et de publier des plans d’évaluation à l’échelle ministérielle ou gouvernementale (par exemple, les Portfolio Evaluation Plans en Australie ou le Programme annuel d'évaluation de la Commission européenne). Ces plans informent les parties concernées des thèmes qui seront examinés, de l’étendue de l’évaluation et de son objectif, et ils contribuent à la coordination et à la réalisation de l’évaluation.

37

PUMA/PAC(99)1

Point n° 8 : CHOISIR LE MOMENT OPPORTUN

Pour être utile, l’évaluation doit s’inscrire dans le cycle de l’action gouvernementale et des prises de décision. Le choix du moment est souvent un problème majeur de l’évaluation. Il faut planifier les évaluations de manière à ce que les résultats soient disponibles au moment où se prennent les décisions. Ce choix du moment est difficile parce que la prise de décisions n’est pas toujours une activité très prévisible. Quelquefois, on n’a pas la patience d’attendre que les résultats d’un programme se manifestent clairement. En outre, les différents utilisateurs d’une même évaluation ont souvent des calendriers distincts. L’évaluation peut réserver des surprises et il vaut mieux avoir les résultats avant l’heure qu’après l’heure.

Le choix du moment est aussi important du point de vue du programme que l’on évalue. Il est essentiel de ne pas entreprendre une évaluation ex post avant que le programme n’ait atteint une certaine maturité. Toutefois, une bonne évaluation s’appuie sur un système de suivi efficace qui est mis en place dès le début du programme. Il importe aussi, au cours de l’évaluation, de réserver suffisamment de temps à l’analyse des informations obtenues. Le maître d’œuvre doit suivre de près le calendrier de l’évaluation afin d’agir à temps si des problèmes surgissent.

Point n° 9 : RÉPONDRE AUX BESOINS DES UTILISATEURS

Une évaluation doit être ciblée en fonction de ses destinataires et elle doit répondre aux besoins d’information de ses utilisateurs. Son statut, la fiabilité qui lui est attribuée et ses liens avec l’utilisateur influencent sa crédibilité et par conséquent son utilisation ultérieure. Étant donné que l’évaluation est essentiellement orientée vers le processus d’élaboration des politiques et de prise de décision, il importe de bien connaître la manière de penser et d’agir de l’utilisateur. Comprendre le processus de l’interaction politique est aussi important que la capacité de conduire une analyse scientifique. Il faut une communication entre la culture des utilisateurs et celle des conducteurs de l’évaluation. En raison des différents processus de décision et de la diversité des utilisateurs d’évaluations, il peut être nécessaire de diversifier les activités d’évaluation (par exemple, en Suède, il existe plusieurs fournisseurs d’évaluations qui informent les divers décideurs).

Toutefois, il ne suffit pas de servir l’utilisateur. L’évaluation doit aussi assumer d’autres responsabilités. On ne saurait accepter un comportement contraire à l’éthique, une mauvaise interprétation ou une utilisation abusive des résultats de l’évaluation pour le compte du client.

Point n° 10 : ASSURER LA PERTINENCE DE L’ÉVALUATION

Quand on planifie l’évaluation, il importe d’apprécier l’utilité potentielle qu’il y a à évaluer le programme considéré et dans quelle mesure il se prête à une évaluation. En plus de répondre aux besoins de l’utilisateur, les évaluations devraient aborder les questions ou étudier les programmes qui présentent une importance pour des raisons budgétaires, politiques, de gestion ou de transparence. C’est particulièrement important aux premiers stades d’institutionnalisation de l’évaluation où il faut fixer des priorités  : l’existence d’un petit nombre d’évaluations-phares peut avoir un effet important sur la culture de l’évaluation. Pour qu’une évaluation vaille la peine, il faut aussi que le programme soit relativement stable. Toute demande d’évaluation doit être sincère : il doit y avoir au moins une possibilité d’utiliser les résultats de l’évaluation.

38

PUMA/PAC(99)1

Les questions politiquement les plus intéressantes, à savoir le résultat et la pertinence globale des programmes publics, sont souvent les plus difficiles à évaluer. Quelquefois, on aborde des questions sans intérêt à cause d’une interaction insuffisante entre l’évaluateur et les utilisateurs, ou à cause de malentendus résultant de l’écart entre ces acteurs sur le plan de l’organisation ou de la culture (voir plus le point concernant la participation des parties concernées). En choisissant avec soin l’évaluateur (voir plus haut le point concernant le lieu des activités d’évaluation) et éventuellement en créant un groupe de référence, on atténue ces difficultés. Le demandeur de l’évaluation doit veiller à en définir attentivement les grandes lignes et à ouvrir une large discussion à ce sujet.

Pour que l’évaluation porte sur les questions pertinentes, il faut que ce processus soit assez souple. L’évaluation doit être capable de s’adapter aux changements que connaît le programme évalué ou encore à l’évolution des demandes d’information. L’intérêt que présentent certaines questions peut aussi changer à mesure que l’évaluation avance. En conséquence, les contrats d’évaluation ne doivent pas être trop explicites ou rigides. L’évaluateur doit aussi anticiper et ne pas borner rigidement l’évaluation aux questions préétablies si de nouveaux aspects se dégagent. Il importe cependant que le demandeur ne change pas sans de bonnes raisons les grandes lignes de l’évaluation au cours de son déroulement.

En France...

D’après certains commentaires, les études d’évaluation passant par le Conseil scientifique de l'évaluation se limitent généralement à des sujets d’importance relativement mineure. L’hésitation de la bureaucratie à aborder les questions politiquement délicates, et le souci d’éviter les conflits dans certains milieux politiques, nuisent à la pertinence de l’évaluation (Boyle, 1997 ; Toulemonde, à paraître). En outre, l’écart culturel entre les universitaires qui réalisent l’évaluation et les politiciens qui reçoivent cette information est un obstacle à l’utilisation de l’évaluation.

Point n° 11 :FAIRE PARTICIPER LES PARTIES CONCERNÉES

Les parties concernées sont celles qui, parce que le processus ou les résultats de l’évaluation peuvent toucher à leur fonction ou à leur action, sont intéressées par l’évaluation. Ce peuvent être : les responsables de l’élaboration des politiques (parlementaires, ministres, autres décideurs), les services budgétaires, les fonctionnaires qui mettent en œuvre le programme, ceux qui gèrent l’évaluation, les responsables du programme, les fonctionnaires qui mettent en œuvre le programme, la catégorie de personnes visée par le programme ou d’autres groupements que le programme intéresse ou touche.

Les opinions divergent sur le point de savoir s’il est souhaitable d’adopter une approche participative en matière d’évaluation. Quoi qu’il en soit, il faut une stratégie à l’égard des parties concernées. Quand on identifie les parties intéressées et qu’on les fait participer au processus d’évaluation, on s’assure généralement leur adhésion et une meilleure utilisation des résultats. Comme il n’y a pas d’évaluation sans valeurs, le mélange des participants enrichit le processus en faisant entrer en jeu les différentes perspectives.

Toutefois, réunir les parties concernées a ses inconvénients. La façon de procéder et de trouver un équilibre entre les divers intérêts n’est pas évidente. Il peut être difficile d’obtenir la participation des parties prenantes de l’évaluation (parmi lesquelles les responsables et le personnel du programme en cours d’évaluation) parce que, souvent, elles n’aiment pas être soumises à un examen et fournir des informations, surtout si elles estiment que les conclusions de l’évaluation peuvent mettre en cause leurs performances. Il peut aussi y avoir des conflits entre diverses parties, qui compliquent le processus. La

39

PUMA/PAC(99)1

gestion d’un processus d’interaction est souvent plus coûteuse en temps et en argent qu’une évaluation non participative. En outre, la participation des parties concernées peut amoindrir la crédibilité de l’évaluation.

Malgré ces difficultés, un partenariat entre les parties concernées est une bonne chose. Sinon, l’évaluation risque de devenir une procédure bureaucratique et formelle réalisée par des professionnels qui n’ont que des liens ténus avec les utilisateurs potentiels.

On peut établir un partenariat entre toutes les parties concernées : demandeurs, évaluateurs, évalués, utilisateurs potentiels et autres catégories intéressées. L’implication des parties concernées peut également devenir une composante formelle de l’évaluation et l’on créera, à cet effet, des groupes de pilotage ou des comités consultatifs. L’étendue de la coopération peut varier, par exemple en fonction de la phase du processus d’évaluation. On considère souvent qu’un partenariat pour la définition des grandes lignes de l’évaluation est très bénéfique, en vue d’une utilisation optimale de l’évaluation. Certains pensent que les protagonistes devraient aussi décider de la méthodologie à appliquer et participer à l’analyse et à l’interprétation des résultats.

Les évaluateurs doivent poursuivre un dialogue avec les parties concernées, de manière impartiale et en assurant sa confidentialité. Ils doivent connaître l’équilibre à préserver entre les différents intérêts au cours du processus d’évaluation. Une des catégories qui souvent requièrent une plus grande attention est celle des utilisateurs des services ou le groupe cible du programme évalué. Cela complique évidemment l’évaluation : par exemple, il faut examiner les résultats du programme non seulement au regard de ses objectifs mais aussi par rapport aux besoins des clients. On ajoute quelquefois également que les évaluateurs doivent particulièrement prendre soin du point de vue des minorités éventuellement concernées.

En Suède...

Le système des commissions a joué un rôle essentiel dans la préparation des décisions politiques au cours de ce siècle. Bien que l’importance relative de ce système ait diminué ces dernières années, près de 200  commissions fonctionnent chaque année. Les commissions regroupent les points de vue des parties concernées en réunissant des représentants des partis politiques, du milieu universitaire, des syndicats, des organisations patronales, des associations de consommateurs, des défenseurs de l’environnement, etc. En outre, les rapports produits par ces commissions sont soumis à l’examen et à la critique d’un grand nombre de parties concernées (organisations à caractère officiel ou non officiel, publiques ou privées). Ainsi, les connaissances disponibles dans la société se combinent pour l’analyse et la préparation des décisions politiques.

Point n° 12 : ASSURER LA QUALITÉ MÉTHODOLOGIQUE

La qualité méthodologique de l’évaluation couvre notamment les aspects suivants : pertinence des critères, éléments d’information adéquats et, partant, fiabilité et clarté des conclusions. La qualité de la méthodologie pourra avoir un effet considérable sur la crédibilité et l’utilisation qui sera faite de l’évaluation. Le marché de l’évaluation du secteur public connaissant à l’heure actuelle une croissance rapide, cet aspect requiert d’autant plus l’attention.

Dans une certaine mesure, il existe peut-être un compromis entre la rigueur méthodologique et l’utilité de l’évaluation. Les évaluations qui sont réalisées sous le signe de méthodes de recherche complexes et qui ne tirent aucune conclusion si elles n’ont pas été préalablement confirmées, pourront ne pas être celles qui méritent l’attention des responsables du choix des administrations. Il peut être, par ailleurs, tentant d’associer d’une part l’utilisation de méthodes scientifiques et d’autre part de solutions pragmatiques aux

40

PUMA/PAC(99)1

problèmes qui se posent à l’administration. Les impératifs de coûts et de temps limitent souvent la possibilité de recours aux meilleurs méthodes, dans la mesure où elles sont susceptibles d’être trop chères et exigeantes pour le temps qu’elles requièrent pour être envisagées de manière réaliste. Il y a un équilibre à trouver entre les considérations pragmatiques et épistémologiques.

En bref, dès le stade de planification de l’évaluation, il faut porter attention à un certain nombre d’éléments : fourniture/collecte de données, emploi varié de méthodes qualitatives et quantitatives, échantillonnage, relations de cause à effet, diversité des explications possibles, logique de l’argumentation, etc. Les conclusions d’une évaluation doivent avoir pour base les observations issues des données, et les recommandations doivent se fonder sur ces conclusions. Il faut indiquer très ouvertement les hypothèses, les incertitudes et autres limites méthodologiques de l’évaluation. Autant que possible, il faut séparer les faits des opinions ou hypothèses.

Les méthodes de contrôle de la qualité peuvent varier. Il va sans dire que l’excellence des compétences techniques et d’autres ressources contribue à une évaluation de haute qualité. L’ouverture et la transparence des évaluations permettent à des contrôleurs externes d’en confirmer la qualité. La publication des évaluations peut être un mécanisme de contrôle de la qualité, parce qu’on consacre peut-être plus de soin aux évaluations qui seront publiées (voir aussi, plus loin, le point concernant la communication des résultats). Pour fixer les normes de qualité des évaluations, on peut créer des listes de contrôle (par exemple, la Grille d’appréciation de la DG XIX de la Commission européenne). Des normes d’éthique ont également été adoptées pour les évaluations (c’est notamment le cas pour les American and Australasian Evaluation Societies). Il peut être utile d’établir des groupes de pilotage ou des groupes externes totalement indépendants (par exemple, en France, le Conseil scientifique de l'évaluation) pour servir de guide ou procéder à des examens concernant la qualité des évaluations. Une autre possibilité consiste à conférer à l’organisme d’audit la mission d’examiner les évaluations ou à lui donner autorité pour le faire s’il le souhaite (par exemple, en Suède, l’Office national d’audit). Ces contrôles sont particulièrement importants pour améliorer la crédibilité et la qualité des évaluations internes.

Point n° 13 : FORMULER DES JUGEMENTS ET RECOMMANDATIONS

Les opinions divergent quant à l’utilité des jugements et recommandations dans les évaluations. Certains considèrent qu’il faut laisser les jugements aux demandeurs ou aux utilisateurs de l’évaluation. D’autres pensent que plus les conclusions de l’évaluation sont générales, plus elles sont faciles à utiliser pour éclairer différents problèmes et lancer ainsi la discussion et un processus d’apprentissage.

On peut avancer l’idée que les jugements et recommandations attirent l’attention, provoquent et structurent la discussion et soulignent les décisions et actions à prendre. Les responsables de l’État ont souvent peut de temps à leur disposition et ils sont noyés par les informations qu’ils reçoivent. Des conclusions et des recommandations claires, soulignant les différents choix qui se présentent, ont plus de possibilité de retenir leur attention et le les inviter à prendre une initiative. Par ailleurs, une manière constructive de proposer des évaluations, de préférence à la seule désignation des échecs qu’a connu un programme pourra limiter la résistance des intéressés et faire naître un consensus sur les changements qui s’avèrent nécessaires. Les recommandations pourront être équilibrées par la proposition de solutions de rechange, plutôt que par la proposition d’une seule piste. Il peut également être utile de présenter un plan de mise en œuvre fondé sur les recommandations faites dans l’évolution.

41

PUMA/PAC(99)1

Point n° 14 : COMMUNIQUER LES RÉSULTATS

Beaucoup d’évaluations tombent simplement dans l’oubli parce qu’on ne s’attache pas à en communiquer les résultats. Il est donc essentiel de présenter les résultats de l’évaluation efficacement et en temps utile.

Il existe naturellement différentes politiques en matière d’information, mais l’ouverture et la transparence accroissent souvent la crédibilité de l’évaluation et en favorisent l’utilisation. Par exemple : en Australie, les résultats des évaluations doivent normalement être mis à la disposition du public ; en Suède, le public a, de longue date, accès à tous les documents de l’administration, parmi lesquels les rapports d’évaluation. Les résultats des évaluations, notamment les conclusions critiques ou négatives, sont souvent politiquement sensibles. On peut éviter des controverses inutiles en donnant aux évalués certaines informations préliminaires sur les constatations de l’évaluation avant leur publication.

L’adoption d’une attitude d’ouverture est généralement bénéfique. Toutefois, il existe peut-être un compromis entre la transparence et l’utilisation de l’évaluation. L’information du public peut favoriser l’application des recommandations issues de l’évaluation en créant une pression externe, mais cela peut aussi susciter une résistance chez ceux qui essuient une critique et amoindrir leur empressement à coopérer et à prendre des mesures. On peut remédier à cet inconvénient en évitant un ton de blâme et en encourageant une culture de l’apprentissage. Au lieu d’insister exclusivement sur les défauts, on doit mentionner ce qui est déjà fait pour surmonter les problèmes mis en lumière. On s’accorde, semble-t-il, à penser qu’au-delà d’une certaine limite, le bruit fait sur une affaire, notamment par le biais des médias, peut aller contre le but recherché.

Comme on l’a vu précédemment, le moment du compte rendu de l’évaluation est important, pour bien s’insérer dans le cycle de la décision. Souvent, il est bon de fournir quelques résultats préliminaires. Il faut aussi décider si l’on présentera des recommandations ou simplement des conclusions. L’expérience montre que les évaluations qui ont des implications politiques sont souvent mieux accueillies juste après des élections, où le nouveau gouvernement est plus disposé à accepter les critiques et les recommandations.

La rédaction d’un rapport est le moyen le plus courant de présenter les résultats d’une évaluation. Il est essentiel que ce rapport soit clair et complet et qu’il soit largement diffusé. La structure et l’argumentation d’un rapport d’évaluation doivent être aussi intelligibles que possible. Comme il est peu probable que toutes les parties concernées le lisent dans son intégralité, il faut y inclure un résumé bien rédigé des points essentiels. Il peut aussi y avoir intérêt à élaborer différents rapports spécialement conçus pour les différentes catégories concernées.

La simple livraison du rapport n’est généralement pas suffisante. Des explications et des actions de promotion ultérieures sont aussi nécessaires pour établir un dialogue au sujet des résultats de l’évaluation. On peut organiser des réunions de discussion avec les diverses parties concernées pour présenter les résultats et les interpréter à travers un échange et pour en promouvoir l’application. Il faut porter une attention particulière aux décideurs les plus importants. Cela peut prendre la forme de séminaires, ateliers ou tables rondes.

Point n° 15 : CONTRÔLE OU SUIVI

L’observation de l’impact d’une évaluation favorise l’utilisation de ses résultats, permet de guider le processus de mise en œuvre et d’apporter des enseignements qui serviront à améliorer les pratiques

42

PUMA/PAC(99)1

d’évaluation futures. Cet effort de suivi est aussi important pour déceler d’autres besoins éventuels en matière d’évaluation.

Le suivi peut être facilité par un cadre institutionnel qui permette d’examiner l’utilisation de toutes les évaluations présentes ou qui incorpore à toute évaluation l’obligation d’un suivi ultérieur. Il importe de laisser suffisamment de temps d’application avant de tirer quelque conclusion que ce soit sur son utilisation ou son impact.

Les sanctions pour non-utilisation de l’évaluation ou inobservation des recommandations se limitent généralement à la persuasion et à la publicité donnée à ces manquements. La simple attention de la part du public à imposer la modification des programmes.

Souvent, l’application des résultats de l’évaluation nécessite des services de soutien et de conseil. Un appui financier ou technique peut être utile à cet égard.

Point n° 16 : TENIR COMPTE DES BESOINS DE FORMATION ET DE SOUTIEN DU PERSONNEL

Pour le succès de l’évaluation, il faut des évaluateurs qualifiés, des demandeurs bien informés et des utilisateurs avertis. Dans beaucoup de pays, les fonctionnaires n’ont pas acquis au cours de leur formation antérieure des compétences particulières en matière d’évaluation. La formation est donc un élément important, notamment dans les premières phases d’institutionnalisation.

Il faut des compétences méthodologiques, politiques, de gestion et de communication. Les demandeurs et les utilisateurs d’une évaluation doivent améliorer leur connaissance de fond de l’évaluation, être capables de formuler les questions pertinentes et de définir les objectifs de l’évaluation, de gérer les projets et de choisir les évaluateurs. Ils doivent aussi connaître les limites de l’évaluation ainsi que les possibilités qu’elle offre d’améliorer la décision. Outre les compétences techniques en matière d’évaluation, il faut aussi que les fonctionnaires soient enclins à réexaminer continûment leurs activités. Les évaluateurs externes doivent parvenir à comprendre le contexte politique et administratif dans lequel s’inscrit l’évaluation.

On peut organiser la formation et le soutien en…

créant des réseaux à l’intérieur de l’organisation, dans toute l’administration ou entre les évaluateurs et auditeurs de différentes disciplines (réseaux d’homologues comme le réseau de l’évaluation de la Commission européenne, ou des associations plus officiellement établies comme l’European Evaluation Society, l’Australasian Evaluation Society, l’American Evaluation Association, la British Evaluation Society, etc.);

publiant des manuels, comptes rendus d’expériences réussies, bulletins, revues, etc.;

organisant des séminaires, ateliers, cycles de formation, stages, etc.;

organisant des projets de démonstration;

établissant un bureau d’assistance ou autre service d’aide dans l’administration

43

PUMA/PAC(99)1

4. CONCLUSIONS

Il faut concilier, dans l’évaluation, les considérations épistémologiques et pragmatiques. Il est essentiel qu’il existe, d’un côté, de bons moyens d’évaluation et, de l’autre, qu’on accepte d’en utiliser les résultats. C’est seulement ainsi que l’évaluation de programme peut avoir un effet sur la décision (Mayne, Divorski et Lemaire, à paraître ; Boyle, 1997). Ces conditions nécessaires sont mutuellement liées, si bien qu’un progrès de l’une améliore l’autre et vice versa. Il faut pour cela une volonté politique et un travail systématique.

Il est reconnu que l’utilisation des informations d’évaluation peut avoir lieu en tout point du cycle de l’action gouvernementale, et non pas seulement après la réalisation du programme ou à l’occasion des révisions périodiques. La question essentielle est de savoir comment les gouvernements peuvent organiser leurs activités d’évaluation afin de tirer pleinement parti de ce qu’elle peut offrir. Même si l’apprentissage organisationnel n’est pas habituellement une activité systématique, l’évaluation peut beaucoup y contribuer.

Il n’est pas nécessaire d’établir des cadres rigides pour l’utilisation de l’évaluation. L’utilisation des résultats de l’évaluation varie selon les objectifs des divers types d’évaluation où s’effectue l’évaluation. Certains pensent que les évaluations ont principalement sur les organisations un effet à long terme touchant la gestion de l’organisation, bien qu’il faille aussi rechercher des améliorations directes des programmes.

L’évaluation pourra ne pas convenir à toutes les décisions. Parfois une évaluation est trop coûteuse ou requiert trop de temps pour être utile. Parfois, il n’existe pas de possibilité d’action, ou encore, la volonté politique de réaliser les changements n’existe pas. Mais il se peut aussi que la décision ait été déjà prise sur d’autres bases. L’évaluation peut être mal utilisée. Elle peut n’avoir pour origine que la volonté de justifier des décisions politiques déjà prises. Des conclusions inappropriées ou touchant à des secteurs politiquement sensibles sont parfois effacées ou encore, les résultats sont utilisés de manière sélective. S’il est vrai que l’implication des utilisateurs est importante pour toute évaluation, le danger demeure que cette évaluation fasse l’objet d’un détournement de la part de ce même client.

Compte tenu de ces restrictions, la condition essentielle d’une utilisation accrue de l’évaluation est l’engagement et la persévérance de ceux qui pensent qu’elle permet d’améliorer l’élaboration des politiques. Ils doivent continuer à produire des informations d’évaluation de bonne qualité, travailler avec les utilisateurs et adapter l’évaluation à l’environnement en perpétuelle évolution du secteur public.

Exemples d’utilisation des évaluations

Pour conclure, on présente quelques exemples d’utilisation effective de l’évaluation et des suggestions pour une stratégie d’évaluation efficace. On peut interpréter les résultats de l’utilisation des évaluations de deux façons : on peut être déçu que toutes les conclusions des évaluations ne soient pas exploitées ou satisfait qu’une majeure partie des évaluations influe effectivement sur la décision. Ce dernier point de vue est probablement plus raisonnable.

44

PUMA/PAC(99)1

Suède

On ne possède pas encore d’étude approfondie sur l’utilisation de l’évaluation, mais on peut faire quelques remarques. Dans 90% des cas, l’évaluation a pour objet de produire une documentation d’information  : dans quelques très rares cas celle-ci doit servir de base à une révision fondamentale des activités, mais en général elle sert à ajuster des solutions techniques à l’intérieur d’un cadre de décisions existant.

Il peut y avoir des effets d’apprentissage à long terme, mais l’intention d’introduire des questions plus fondamentales dans le processus budgétaire, sous-jacente à la réforme de ce processus, ne s’est pas matérialisée. Cependant, la qualité de la documentation d’information budgétaire s’est améliorée. Les rapports annuels rédigés par les organismes publics, qui contiennent principalement des données de fonctionnement, servent essentiellement à des fins de gestion interne et aux activités de contrôle des ministères. Le Parlement reste l’institution la moins bien informée dans l’évaluation (Furubo et Sandahl, 1993).

Canada

La persistance de la politique et de l’infrastructure d’évaluation après deux décennies, malgré les fréquentes remises en question dues aux restrictions budgétaires, est une indication significative de leur utilité. On a constaté que la grande majorité des évaluations donnent lieu à au moins une certaine utilisation de leurs résultats. Un nombre appréciable d’évaluations ont conduit à une réaffectation des ressources. Du fait de l’existence à la fois de plans d’évaluation ministériels et de comités d’évaluation permanents, une évaluation peut difficilement passer inaperçue.

D’après certaines études, environ 20 % des évaluations entraîne une réforme importante ou l’arrêt du programme, 40 % sa modification, 30 % une meilleure compréhension du programme et 10 % sa confirmation. D’après une étude réalisée en 1993 par le Bureau du vérificateur général, les responsables d’évaluation attachent la plus grande importance à aider les cadres de l’administration publique à résoudre les problèmes de fonctionnement et à améliorer les programmes. La remise en question des programmes en vue d’améliorer l’allocation des ressources ou l’évaluation de grands programmes afin d’en rendre compte devant le Parlement sont considérés comme beaucoup moins prioritaires (Mayne, 1994).

Pays-Bas

Dans une étude récente réalisée par la Cour des comptes sur l’étendue, la pratique et l’utilisation des évaluations de l’administration publique, plus de 80 % des responsables interrogés déclarent que les résultats des évaluations donnent manifestement lieu à une utilisation. Quand on examine de près un ensemble d’évaluations, on constate que, sur 42  études d’évaluation, 20 ont été utilisées explicitement, c’est-à-dire qu’il existe une preuve écrite incontestable de leur utilisation. Un nombre restreint d’évaluations proposent des changements majeurs (Leeuw et Rozendal, 1994)

45

PUMA/PAC(99)1

Exemples de suggestions pour une stratégie d’évaluation efficace

Irlande

L’Irlande s’apprête à systématiser ses activités d’évaluation. D’après Boyle (1997), les enseignements tirés des autres pays indiquent qu’un ensemble de lieux d’implantation différents est nécessaire (des organismes d’évaluation semi-indépendants dans l’administration pourraient constituer un bon modèle). On a aussi fixé des priorités en matière d’évaluation  : des examens complets réalisés tous les trois ans pourraient être une exigence trop lourde dans les premiers stades. Il faut intégrer le point de vue des utilisateurs quand c’est possible. Les évaluateurs et utilisateurs ont besoin de formation et de soutien  ; il faut des compétences aussi bien techniques que plus intangibles. Il faut susciter une demande effective  : bâton, carotte et sermons, affectation spéciale de ressources, spécification des questions par les demandeurs d’évaluation. Enfin, il faut établir une articulation entre la budgétisation, la gestion stratégique et l’évaluation.

États-Unis

Richard C. Sonnichsen a conçu un modèle pour un bureau d’évaluation interne efficace contribuant à l’utilisation des informations d’évaluation. Ce modèle est issu de recherches menées dans cinq bureaux d’évaluation internes de l’administration fédérale des États-Unis et de sa propre expérience personnelle. Un bureau d’évaluation interne efficace requiert les conditions organisationnelles suivantes : ressources suffisantes, indépendance, rattachement à un haut responsable de l’organisation, accord sur les buts et les politiques entre le bureau et l’organisation, rang suffisamment élevé pour le chef du bureau d’évaluation dans l’organisation, évaluateurs ayant l’expérience de l’organisation et reconnaissance des qualités de crédibilité, d’indépendance et d’objectivité de ces évaluateurs dans l’organisation.

Concernant le processus, les facteurs suivants sont importants : pour le bureau, un rôle bien défini et un programme d’action publié, évaluations sur initiative interne, production efficace de comptes rendus écrits et diffusion des résultats des évaluations dans l’organisation, formulation de recommandations, application d’une procédure de suivi et action de persuasion de la part du personnel d’évaluation pour assurer la publicité des résultats et des recommandations. Tout cela constitue une combinaison de conditions organisationnelles, de compétences d’évaluation et d’attitudes des responsables propice au succès de l’évaluation (Sonnichsen 1994).

Australie

L’expérience australienne met en lumière un certain nombre de facteurs décisifs pour le succès de l’évaluation  : plusieurs réformes du secteur public mettant l’accent sur les bilans d’effets et résultats, exigences officielles en matière d’évaluation soutenues par le gouvernement (évoluant au cours du temps vers une approche de la gestion des performances basée sur des principes de bonnes pratiques), soutien des responsables des ministères, mandat claire donné au Ministère des Finances et son soutien pour l’évaluation, soutien aux chefs de départements des ministères, impulsion suffisante et consensus sur l’intérêt de l’évaluation, réseaux d’évaluateurs, unités centrales d’évaluation dans les ministères offrant des conseils et assurant la planification, la coordination et le contrôle de la qualité, et bons systèmes d’information sur les performances (Mackay,  1996).

46

PUMA/PAC(99)1

REFERENCES

BOYLE, Richard (1997), Evaluating Public Expenditure Programmes. A Role for Programme Review , Discussion Paper Number 1, Committee for Public Management Research, Institute of Public Administration, Dublin.

CHELIMSKY, Eleanor (1985), (éd.) Program Evaluation: Patterns and Directions, American Society for Public Administration, Washington D.C.

Commonwealth of Australia (1994), Doing Evaluations. A practical guide, Department of Finance, Australian Government Publishing Service, Canberra.

DENTE, Bruno (1997), The Policy of Public Policy Evaluation; communication présentée au Colloque international GAPP -- CNRS-ENS, Cachan, France.

DERLIEN, Hans-Ulrich (1990), “Genesis and Structure of Evaluation Efforts in Comparative Perspective”, dans Rist, Ray (éd.) Program Evaluation and the Management of Government, Transaction Publishers, New Brunswick, Londres.

Ministère des Finances des Pays-Bas (1996), Quality Criteria, Responsibilities and Dissemination of Information on Policy Evaluation in Central Government Departments in the Netherlands , AVT95/FZ39626.

Commission européenne, (1996), Appréciation de la qualité des rapports d’évaluation, DG XIX, Grille d’appréciation.

Commission européenne (1996), Evaluation, initiatives concrètes pour favoriser la diffusion des meilleures pratiques au sein de la Commission. Communication de M. Liikanen et de Mme Gradin, en accord avec Monsieur le Président. Document interne. Adopté par la Commission le 8 mai 1996.

Commission européenne (1997), Evaluating EU Expenditure Programmes. A Guide. Ex post and Intermediate Evaluation,DG XIX.

FURUBO, Jan-Erik and SANDAHL, Rolf (1993), Does the Results Matter? The Role of Stakeholders, Expertise and Executors in the Production of Result-Based Data, Bureau d’Audit national suédois, Département de la gestion financière.

FURUBO, Jan-Erik (1994), “Learning from Evaluations: the Swedish Experience” dans Leeuw Frans L., Rist Ray C. et Sonnichsen Richard C. (éds.) (1994), Can Governments learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, Londres.

GRAY, Andrew, JENKINS, Bill et SEGSWORTH, Bob (1993), Budgeting, Auditing and Evaluation, Functions and Integration in Seven Governments, Transaction Publishers, New Brunswick, Londres.

47

PUMA/PAC(99)1

GRAY, Andrew (1997), Evaluation, New Public Management and Democracy, communication présentée à l’European Evaluation Society Conference, Stockholm.

GRAY, Andrew et JENKINS, Bill (1993), “Horses to the Water: Budgeting, Auditing, and Evaluation in Seven Governments” dans Gray, A. Jenkins B. et Segsworth B. Budgeting, Auditing, and Evaluation. Functions and Integration in Seven Countries, Transaction Publishers, New Brunswick, Londres.

HATRY, Harry P. (1980), “Pitfalls of Evaluation” dans Giandomenico Majone et Edward S. Quade (éds.) Pitfalls of Analysis, International Series on Applied Systems Analysis, 8, John Wiley & Sons. Chichester/New York/Brisbane/Toronto.

HOLKERI, Katju et SUMMA, Hilkka (1996), Evaluation des réformes de la gestion publique en Finlande : des études ad hoc à une approche de programme, OCDE, PUMA/PAC(96)5.

HOUSE, Ernest R. (1980), Evaluating with validity, Jossey Bass, Beverly Hills.

LEEUW Frans L., RIST, Ray C. & SONNINCHSEN, Richard C. (éds.) (1994), Can Governments Learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, Londres.

LEEUW, Frans L. et ROZENDAL, PIET, J. (1994), “Policy Evaluation and the Netherlands’ Government: Scope, Utilisation, and Organisational Learning” dans LEEUW, Frans L. RIST, Ray C. et SONNINCHSEN, Richard C. (éds.) (1994), Can Governments Learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, Londres.

MACKAY, Keith (1996), The Institutional Framework for Evaluation in the Australian Government, communication à un séminaire de la Banque mondiale intitulé « Australia’s Program and Policy Evaluation Framework : Institutionalising the Process », Washington DC, 30 avril 1996.

MAYNE, John, DIVORSKI, Stan et LEMAIRE, Donald (1998), “Locating Evaluation: Anchoring Evaluation in the Executive or the Legislature, or Both or Elsewhere?”, dans Boyle, R. et Lemaire, D. (éds.) (1998), Building Evaluation Capacity: Lessons from Practice, Transaction Publishers.

MAYNE, John (1994), “Utilising Evaluation in Organisations: The Balancing Act” dans Leeuw Frans L., Rist, Ray C. et Sonnichsen, Richard C. (éds.) (1994), Can Governments Learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, Londres.

OECD (1995), La gestion publique en mutation. Les réformes dans les pays de l’OCDE, Conclusions du Comité de la gestion publique.

OECD (1997), En quête de résultats – Pratiques de gestion des performances, Paris.

OECD (1996), Audit des performances et modernisation de l’administration, Paris.

OECD (1996), La gestion des performances dans l’administration. Exemples d’actualité, PUMA, Etudes hors série, n° 9, Paris.

48

PUMA/PAC(99)1

POLLITT, Christopher (1996), Approaches to Evaluation, Speaking notes for the Presentation to Key Evaluation Officials within the European Commission, 28 octobre 1996, Brunel University, Uxbridge.

POLLITT, Christopher et SUMMA, Hilkka (1997), “Performance Auditing: Traveller’s Tales”, dans Chelimsky Eleanor, Shadish William R. (éds.), (1997), Evaluation for the 21st Century. A Handbook, Sage, Londres.

RIST, Ray C (éd.) (1990), Program Evaluation and the Management of Governmen”, Transaction Publishers, New Brunswick, Londres.

RIST, Ray (1994), “The Preconditions for Learning: Lessons from the Public Sector”, dans Leeuw, Frans L., Rist, Ray C. et Sonnichsen, Richard C. ( éds.) (1994), Can Governments Learn? Comparative Perspectives on Evaluation and Organisational Learning, Transaction Publishers, New Brunswick, Londres.

SONNONCHSEN, Richard C. (1994), “Effective Internal Evaluation: An Approach to Organisational Learning”, dans Leeuw, Frans L., Rist, Ray C. et Sonnichsen, Richard C. (éds.) (1994), Can Governments Learn? Comparative perspectives on Evaluation and Organisational Learning,. Transaction Publishers, New Brunswick, Londres.

TOULEMONDE, J. (1998), “Constraints, Incentives and Culture-Building as Instruments for the Development of Evaluation Eemand”, dans Boyle, R. et Lemaire, D (éds.) (1998), Building Evaluation Capacity: Lessons from Practice, Transaction Publishers.

49

PUMA/PAC(99)1

APPENDICE

GROUPE DE REFERENCE SUR L’EVALUATION DES PROGRAMMES

Australie

Sylvie Trosa, Ministère des Finances

Canada

John Mayne, Bureau du Vérificateur général du Canada

Suède

Rolf Sandahl, Bureau d’audit national suédois

Etats-Unis

Harry P. Hatry, The Urban Institute

Commission européenne

Hilkka Summa

50