2020-11-06
1
L'essentiel de l'évaluation
Module 3Une discipline qui s’adapte: les types d’évaluation
Animé par Vénétia Sauvain
Développé par Vénétia Sauvain
Plan de la présentation
1) PARTIE I: De la théorie du changement aux types d’évaluation
2) Période de questions
3) PARTIE II: Des questions à la matrice d’évaluation
4) Période de questions
5) PAUSE (10 min.)
6) Aparté – Échange avec invité
7) Période de questions avec l’invité
8) CONCLUSION
2020-11-06
2
3
SITUONS CE MODULE PAR RAPPORT AU
PRÉCÉDENT
INTRODUCTION
DÉFINITION ÉVALUATION (retenue au 1er module)
« Porter un jugement de valeur sur une intervention en mettant en œuvre un dispositifcapable de fournir des informations scientifiquement valides et socialement légitimessur cette intervention ou sur n’importe laquelle de ses composantes, l’objectif étant defaire en sorte que les différents acteurs concernés, dont les champs de jugement sontparfois différents, soient en mesure de prendre position sur l’intervention pour qu’ilspuissent construire, individuellement ou collectivement, un jugement susceptible de setraduire en actions » (Brousselle et al., 2011, p.52)
4
SITUONS CE MODULE PAR RAPPORT AU PRÉCÉDENT
INTRODUCTION
4
Temporalité et impact
Court terme Moyen terme Long terme
Effets immédiats
Changements sur des capacités, l’accès à ou des processus
Effets intermédiaires
Changements de comportements, de pratiques collectives ou de rendement organisationnel
Impacts
Changements d’état, de condition, changements systémiques (ODD)
Contexte socio-politique et économique
Modéliser les changements
Recherche-action participativeApprendre du changement
Système de mesure partagé et indicateurs communsPremiers indicateurs de performanceSuivre le changement
Évaluation sommative
Évaluation formative
Évaluation développementaleÉvaluer le changement:
les finalités
Source: Boussiki, Rey, Saint-louis, (2019), adapté de Preskill et coll., 2014
2020-11-06
3
5
LES ÉTAPES D’UNE ÉVALUATION
INTRODUCTION
Étape 2Réalisation de
l’évaluation
Étape 3 Présentation et
dissémination des résultats
Étape 1Étude
préparatoire
ÉTUDE PRÉPARATOIRE- Planifier l’évaluation et
définir son ampleur, fixer les questions d’évaluation
- Comprendre l’intervention (sa raison d’être, sa théorie de changement…)
- Élaborer la stratégie d’évaluation (résumée dans la matrice d’évaluation)
RÉALISATION DE L’ÉVALUATION- Collecter les données tel
que prévu dans l’étude préparatoire
- Adapter la stratégie, au besoin
- Faire l’analyse des données récoltées
PRÉSENTATION ET DISSÉMINATION DES RÉSULTATS- Répondre aux questions d’évaluation dans un rapport d’évaluation- Communiquer les résultats aux parties prenantes
6
DE LA THÉORIE DU CHANGEMENT AUX TYPES
D’ÉVALUATION
PARTIE I
S1
2020-11-06
4
7
DES MOMENTS CLÉS ET DES FINALITÉS: RAPPEL
LES TYPES D’ÉVALUATION…
Mise à l’agenda
Choix de l’intervention
Que sait-on du
problème?
Comprendre
les causes du
problème
Analyse du
problème et
des scénarios
Théorie du
changement
Formulation de
l’intervention
Planification et
allocation des
ressources
Mise en œuvre
de l’intervention
Suivi de la mise
en œuvre
Adaptations et
poursuite de la
mise en œuvre
Évaluation des
effets prévus
Mesure du
rendement
Quels
changements?
Désirés et non
désirés
Scénarios des
solutions
PROGRA-
MMATION
MISE EN ŒUVRE
ET SUIVIÉVALUATION
DES EFFETS
DIAGNOSTIC
Documenter,
Évaluer,
Apprendre,
ÉVALUATION SOMMATIVE: porter un
jugement final sur l’intervention « Marche-t-elle » ou pas ? Faut-il la maintenir,
l’étendre ou l’abandonner ?
ÉVALUATION FORMATIVE: améliorer
l’intervention Qu’est-ce que je dois changer pour améliorer
l’intervention? Source: GOLDMAN et PABARI, 2020, p. 17
8
EN FONCTION DU MOMENT
LES TYPES D’ÉVALUATION…
8
INTERVENTION
Évaluation ex-ante ou a
priori
Évaluation ex-post ou a posterioriÉvaluation en
continu
Évaluation à mi parcours ou in itinere
2020-11-06
5
9
RAPPELONS QU’UNE DEMANDE D’ÉVALUATION PEUT ÊTRE
MOTIVÉE PAR DIFFÉRENTES INTENTIONS
INSTRUMENTALE Amélioration des programmes et des politiques
CONCEPTUELLE Meilleure compréhension de la mise en œuvre des politiques sur le terrain
PROCESSUS Engagement des parties prenantes
SYMBOLIQUE Justification de décision déjà prises
STRATÉGIQUE Changements organisationnels et décisions stratégiques
Source: BOURGEOIS, 2017
LES TYPES D’ÉVALUATION…
10
PLUSIEURS ÉLÉMENTS À PRENDRE EN
CONSIDÉRATION
Un momentUne ou
plusieurs finalités
Un ou plusieurs critères
Un type d’évaluation
Les intentions des parties prenantes
LES TYPES D’ÉVALUATION…
Les questions
d’évaluation
2020-11-06
6
11
POURQUOI LES CRITÈRES SONT
IMPORTANTS?
CRITÈRES
Le cœur du jugement évaluatif
Rend explicite ce
à quoi « on »
accorde de la valeur
Établit des priorités de
« E »
Lignes directrices
de la matrice de
« E »
Établit les limites de
« E »
LES TYPES D’ÉVALUATION…
12
L’INTERVENTION, SA CHAÎNE DE RÉSULTATS
ET SON CONTEXTE: RAPPEL
LES TYPES D’ÉVALUATION…
Intrants
Activités
Extrants
Effets
Impacts
Éléments de mise en œuvre de l’intervention
Chaîne de résultats de l’intervention
Temporalité
Hypothèses // Facteurs // Conditions de réussite…
S2
2020-11-06
7
13
DES CRITÈRES QUI PRENNENT NAISSANCE
DE LA RELATION DES ÉLÉMENTS DE
L’INTERVENTION ENTRE EUX
Intrants Activités Extrants EffetsRaison d’être Objectifs
Intervention
Efficience (opérationnelle)
Pertinence
Efficacité(opérationnelle)
Efficacité(stratégique)
Efficience(stratégique)
Utilité
LES TYPES D’ÉVALUATION…
CONCEPTION
MISE EN ŒUVRE
14
FAMILLE DE QUESTIONS
LES TYPES D’ÉVALUATION…
Question descriptive
Elle cherche à déterminer ce qui est. Elleprésente un portrait des différentséléments de l’intervention et de soncontexte à un moment donné.
Question normative
Elle compare ce qui est de ce quidevrait être, par exemple, la situationaprès intervention par rapport à unobjectif précisé ou en fonction d’uncritère de mérite.
• Le programme a-t-il atteint ses objectifs opérationnels ? (efficacité)
• Dans quelle mesure l’intervention répond-elle à un besoin prioritaire exprimé par la population ? (pertinence)
• Les effets sont-ils à la hauteur des ressources investies dans le projet? (efficience)
• Etc.
• Quels sont les objectifs du projet selon les points de vue des différentes parties prenantes?
• Quelles sont les principales activités du projet?
• Quels sont les effets du projet sur les participants?
• Etc.
S3
2020-11-06
8
15
DES QUESTIONS EN LIEN AVEC LA RAISON
D’ÊTRE ET LA CONCEPTION D’UNE
INTERVENTION
Quelle est la nature et l’ampleur du problème à corriger? De quelle nature est le problème? Quelle est la situation précise que l’on souhaite modifier ?
Quels sont les besoins de la population cible? De la clientèle visée ? Qui devrait bénéficier des services ?
Quelle est la chaîne de cause à effet qui va de la situation à modifier vers la situation désirée/souhaitée? Quelle situation finale désire-t-on trouver après l’intervention?
Quels sont les services requis: quelle ampleur et sur quelle période ?
L’intervention est-elle en adéquation avec les besoins ressentis par la population cible ou la population en générale ? A-t-on choisi le meilleur moyen d’intervention?
L’intervention est-elle en accord avec la mission organisationnelle et avec l’expertise de son personnel?
Est-ce que l’intervention respecte les lois et règlements en vigueur dans les conventions internationales?
LES TYPES D’ÉVALUATION…
16
DES QUESTIONS EN LIEN AVEC LA MISE EN
ŒUVRE
Intrants
Activités
Extrants
Effets
MISE EN ŒUVRE
Le projet est-il implanté selon les prévisions? Les activités ont-elles été réalisées tel que prévu ? L’intervention produit-elle les extrants escomptés ?
L’équipe de mise en œuvre de l’intervention était-elle bien organisée ? Les responsabilités sont-elles clairement définies ? Cette organisation permet-elle la réalisation des activités dans les meilleures conditions ?
Quels sont les obstacles à l’implantation ? Et quels sont les facteurs facilitants ? Quelles sont les différences entre les lieux d’implantation ?
Est-ce que les besoins, les possibilités et les contraintes des différentes catégories de population au sein de la population cible sont pris en compte?
Les activités ont-elles offert les mêmes chances aux différentes catégories de population d’y participer et d’en profiter?
LES TYPES D’ÉVALUATION…
2020-11-06
9
17
DES QUESTIONS EN LIEN AVEC LES EFFETS
Est-ce que le problème ou la situation à corriger par le projet a connu une amélioration ?
Quels sont les effets observables à court, moyen et long terme attribuables à l’intervention ? OU Peut-on dire que les changements observés sur le terrain sont liés à l’intervention évaluée ?
Est-ce que l’intervention a des effets indésirables sur leurs récipiendaires ? Produit-elle des résultats non prévus ? Est-ce que certains récipiendaires sont davantage affectés par l’intervention que d’autres ? Est-ce que l’intervention a renforcé des situations d'inégalité (au niveau du genre, de l'âge, du revenu, etc.)?
Augmentation de la disparité des ressources entre les femmes et les hommes
Renforcement des stéréotypes de genre
Qu’est ce qui explique que les résultats ont été atteints ou pas? Quels sont les facteurs qui ont contribués à l’obtention de ces effets?
Quelles sont les populations qui ont le plus bénéficié de l’intervention ?
LES TYPES D’ÉVALUATION…
18
FAISONS LE LIEN ENTRE LES CRITÈRES ET
LES QUESTIONS
Critères Principale question associéeSous-questions nécessaires pour répondre à la question principale
CARACTÈRE APPROPRIÉ
• Peut-on dire que le besoin à la base de l’intervention a été comblé ?
• Quels sont les besoins de la population cibles?
• Quels sont les effets souhaités de l’intervention?
COUVERTURE ÉQUITÉ
• L’ensemble de la population cible a-t-elle été atteinte ?
• Il y a –t-il des populations que l’on a pas pu atteindre?
• Qui est la population cible de l’intervention?
• Il y a –t-il des populations dans l’environnement de l’intervention qui n’ont pas été couverts par le projet et qui auraient dû/pû?
LES TYPES D’ÉVALUATION…
2020-11-06
10
19
FAISONS LE LIEN ENTRE DES CRITÈRES ET
LES QUESTIONS
Critères Principale question associéeSous-questions nécessaires pour répondre à la question principale
EFFICACITÉ • L’intervention a-t-elle atteint ses objectifs ? • Quels sont les objectifs du projet?• Quels sont les effets du projets?
EFFICIENCE
• Est-ce que le coût est raisonnable par rapport à l’ampleur des bénéfices obtenus ?
• Est-ce que les ressources sont employées de façon à optimiser la quantité et la qualité des services produits ?
• Est-il possible avec les mêmes ressources de produire plus de services ou des services de qualité supérieure ?
• Est-il possible de produire, avec moins de ressources, une même quantité de services de qualité identique ?
• Quels sont les coûts associés à l’intervention?
• Quels sont les résultats de l’intervention?
LES TYPES D’ÉVALUATION… S4-5
20
SÉLECTIONNER LES QUESTIONS
LES TYPES D’ÉVALUATION…
La question d’évaluation… #1 #2 #3 #4 #5 #6 …
… intéresse les parties prenantes ?
… réduit l’incertitude que l’on a sur l’intervention?
… permet de dégager une information importante ?
… a un intérêt continu (et non circonstanciel)?
… est essentielle à la réalisation de l’évaluation?
… a un potentiel d’impact sur la prise de décision ?
… peut être abordée avec les ressources disponibles, dans les délais et en tenant compte des méthodes et technologies disponibles ?
2020-11-06
11
22
PÉRIODE DE QUESTIONS
23
DES CRITÈRES À LA MATRICE D’ÉVALUATION
PARTIE I
2020-11-06
12
24
FORME DE LA MATRICE
LA MATRICE
Question d’évaluation : Libellé de la question
Variable à l’étude IndicateursOutils de collecte de
donnéesSource des données
Variable 1
Indicateur 1.1 Questionnaire Groupe de bénéficiaires A
Indicateur 1.2 Entrevues Équipe de mise en œuvre
Indicateur 1.2 Étude documentaire Documents C
Variable 2 Indicateur 2 Entrevues Groupe de bénéficiaires A
25
QU’EST-CE QU’UNE VARIABLE?
LA MATRICE
« Caractéristique observable ou mesurable qui peut prendre différentes valeurs tant quantitatives que qualitatives. »
(Secrétariat du Conseil du Trésor du Québec)
Ex.: Facteurs facilitants et obstacles à la mise en œuvre de l’intervention, division du travail, processus de gouvernance, effet sur le revenu de la population cible, etc.
Pour trouver vos variables, décliner les grandes questions d’évaluation en sous-questions
2020-11-06
13
26
VARIABLES EN LIEN AVEC LES EFFETS
LA MATRICE
RÉSULTATS/EFFETS CHANGEMENT (VARIABLES)
ULTIME: POURQUOI intervenir? QUELS changements d’état, de condition ou de bien-être les populations cibles ultimes connaîtront-ils?
Autonomisation, Sûreté, Santé, LibertéQualité de vie, Prospérité, Niveau de vie, Bien-être, dignité, sécurité (environnementale, économique, etc.)
Formulation de la variable: Santé des femmes, hommes, filles et garçons dans la communauté pour le résultat « Amélioration de la santé… »
INTERMÉDIAIRE: QUELS changements de comportements, de pratiques ou de performance les intermédiaires ou les populations cibles connaîtront-ils?
Prise de décision, Action sociale, Efficience,Comportement, Efficacité, Élaboration de politiques,Pratiques, Viabilité
Ex.: Utilisation de l’eau potable dans la communauté
IMMÉDIAT/DIRECT: QUELS changements de capacité les intermédiaires ou les populations cibles connaîtront-ils?
Connaissances, Opinions, CompétencesSensibilisation, Attitudes, Aspirations, Volonté, Motivation,Processus
Ex.: Accès à l’eau potable dans la communauté
27
VARIABLE EN LIEN AVEC LES HYPOTHÈSES
DE LA THÉORIE DU CHANGEMENT
LA MATRICE
• Contexte historique et culturel
• Contexte politique et législatif
• Contexte socio-économique
• Facteurs individuels
• Facteurs organisationnels
• Etc.
Exemples:
Capacité d’absorption des connaissances dela population cible;
Adhésion de l’entourage aux nouvellespratiques;
Perception sur l’égalité entre les hommeset les femmes; etc.
2020-11-06
14
28
QUELQUES EXEMPLES DE VARIABLES EN
LIEN AVEC LES QUESTIONS D’ÉGALITÉ ET
D’ÉQUITÉ
LA MATRICE
AUTONOMIE DU CORPS
• Protection légale contre les violences de genre et leurs conséquences
• Contrôle de la sexualité et des moyens de reproduction
AUTONOMIE AU SEIN DE LA FAMILLE ET DU MÉNAGE
• Liberté pour se marier et divorcer
• Droit de parenté des enfants en cas de divorce
• Pouvoir de décision et accès aux choix au sein de la famille
POUVOIR POLITIQUE
• Répartition du pouvoir de décision au sein d’une communauté
• Proportion des femmes aux postes de haute direction dans une organisation
RESSOURCES SOCIALES
• Accès à la santé
• Accès à l’éducation, la connaissance et l’information
RESSOURCES MATÉRIELLES
• Accès et contrôle de la terre
• Accès et contrôle de l’habitat
• Accès et contrôle du crédit
29
EXEMPLE EN LIEN AVEC LA MISE EN ŒUVRE
LA MATRICE
Questions d’évaluation: Quelle est la mise en œuvre réelle de l’intervention ? Quels sont les facteurs qui facilitent ou contraignent cette mise en œuvre ?
VARIABLES INDICATEURS MÉTHODE DE COLLECTE ET SOURCE
Adéquation des ressources disponibles aux besoins de l’équipe d’intervention
Niveau d’adéquation des ressources disponibles aux besoins de l’équipe d’intervention
Groupe de discussion auprès de l’équipe du ministère
Financement, rôles, compétences, participation, appréciation des intermédiaires dans le processus de sélection de projet
Description des modalités de financement
Perception des rôles, compétences et la participation des intermédiaires dans le processus de sélection de projet
Groupe de discussion auprès de l’équipe du ministère
Étude de cas avec les communautés incluant des entrevues avec les bénéficiaires et les intermédiaires
Communication de l’information sur l’intervention au sein des communautés
Moyens de communication de l’information sur l’intervention au sein des communautés
Perception sur l’adéquation des moyens utilisés
2020-11-06
15
31
QU’EST-CE QU’UN INDICATEUR?
LA MATRICE
Opérationnalisation de la variable en matière de mesure effective des observations
• L’indicateur vise à placer les objets d’étude dans des catégories. Les catégories correspondent aux différentes situations où peuvent se retrouver les objets par rapport à la variable.
• L’indicateur dit ce qu’on doit retrouver dans nos observations pour catégoriser un objet au sein d’une variable.
32
TYPE DE CATÉGORISATION DES
INDICATEURS
LA MATRICE
• Nominale (A, B, C) : Catégorie qualitative (p. ex. genres, nationalités).
• Ordinale (A > B > C) : Ordres de grandeur (p. ex. niveaux de scolarité, niveaux de satisfaction).
• Numérique à intervalles (A, A+1, A+2) : Intervalles entre les valeurs sont égaux. Soustractions et additions possibles (p. ex. degrés Celsius, dates).
• Numérique de rapport (1 M$, 2 M$) : Présence d’un zéro absolu. Toutes les opérations mathématiques sont possibles.
Trai
tem
en
tsst
atis
tiq
ues
Les catégories au sein des indicateurs doivent :
Être mutuellement exclusives.Être exhaustives.Suivre un principe de classement qui correspondau phénomène mesuré.Être formulées au même niveau de subdivision.
2020-11-06
16
35
RAPPEL: LES SOURCES DES DONNÉES
PROBANTES
LA MATRICE
Données statistiques
(enquête des ménages,
statistiques officielles, données administratifs, etc.)
Données descriptives, Observations
(expériences et connaissances intuitives des
individus)
Synthèses de la littérature scientifique
Méthodes économiques d’évaluation
ou mesure du rendement
Données issues de la
mise en œuvre de
l’intervention
Données sur les enjeux éthiques
ÉVALUATION DE PROGRAMME // ÉVALUATION DES POLITIQUES PUBLIQUES
GOLDMAN et PABARI, 2020, p. 15
36
LES SOURCES DES DONNÉES POUR LA
MATRICE
LA MATRICE
• La littérature grise et la littérature scientifique sur la problématique surlaquelle le projet veut intervenir
• Les documents de projet, incluant le cadre logique, le cadre de mesuredu rendement, le plan de mise en œuvre, etc.
• Les données de suivi et les rapports d’étapes
• Les rapports d’audit et d’inspection
• Les parties prenantes: les individus impliqués dans la mise en œuvre duprojet, les populations cibles du projet, les partenaires financiers, etc.
2020-11-06
17
37
COMMENT JUGE-T-ON QUE LES INFORMATIONS SONT SCIENTIFIQUEMENT
VALIDES?
LES DONNÉES PROBANTES…
DONNÉES ISSUES DES MÉTHODOLOGIES QUANTITATIVES
Validité interne: dans quelle mesure la méthodologiepermet de démontrer une relation de cause à effetentre des variables?
Qualité de l’interprétation: les donnéesstatistiques/quantitatives sont-elles correctementinterprétées?
Validité externe: est-ce que les constats de l’étude sontgénéralisables?
DONNÉES ISSUES DES MÉTHODOLOGIES QUALITATIVES
Crédibilité: les constats sont-ils reconnus par lesparticipants dont ils proviennent?
Rigueur/vérifiabilité: la mise en œuvre de laméthodologie (collectes, analyses et interprétations des
données) a-t-elle était correctement documentée?
Contribution: les constats permettent-ils de faireavancer la compréhension des processus dechangement (théorie du changement) en lien avecl’intervention?
Confirmabilité: les constats peuvent-ils être confirmésou corroborés par d’autres études ou sources?
Source: GOLDMAN et PABARI, 2020, p. 15-16 … ET SOCIALEMENT LÉGITIMES?
38
VALIDER SA MATRICE AVEC LES PARTIES
PRENANTES
LA MATRICE
La matrice peut être un outil pour informer les principaux intervenants sur la conception de l'évaluation, c’est un outil de travail ET un outil de communication
• On voit clairement le lien avec la théorie de changement (formulation des variables) ;
• C’est un outil de présentation de la stratégie d’évaluation aux principaux intervenants (par exemple un comité d’évaluation);
• Recueillir et intégrer les suggestions, le cas échéant ;
• Partager la matrice d’évaluation finale avec les principaux intervenants.
2020-11-06
18
39
PÉRIODE DE QUESTIONS
40
PAUSE - 10 MINUTES
2020-11-06
19
41
ÉCHANGE AUTOUR D’UN CAS SUR
LES QUESTIONS D’ÉVALUATION
APARTÉ
Invitée:
Mme Eva Anstett
Consultante internationale
en évaluation
Conseillère scientifique du PIFED entre 2016 et 2019Membre de l’équipe du Centre de recherche et d’expertise en évaluation (CREXE) de l’ENAP entre 2011 et 2016Enseignante à l’ENAP
Description du programme à l’étude : DECOM
Un programme visant à réduire les inégalités entre les zones urbaines et les zones rurales notamment en termes de : - possibilités d’emplois/d’activités
génératrices de revenus- d’accès à du financement pour des
projets- D’accès à des compétences et à de
l’accompagnement - Présence d’un ensemble de petit
entreprenariat, (création de PME) et notamment d’entreprenariat féminin
42
Concrètement il s’agit d’un fonds (anciennement appelé «fonds de développement communautaire »), financé par le gouvernement et un bailleur de fonds international.
Ce fonds vise principalement à financer des projets déposés par des « porteurs » dans des communautés rurales sélectionnées (75% des dépenses). Il s’agit de petits projets de développement pour les communautés, pour générer de l’activité économique.
Le programme est administré par région. Dans chaque région une unité de coordination est chargée de recevoir les porteurs de projets, de les accompagner dans le montage du projet puis dans les suivis financiers. L’unité de coordination peut également faire appel à des experts ou mentors pour apporter un accompagnement technique aux différents projets, selon les besoins.
2020-11-06
20
Questions d’évaluation
EFFICACITÉ OPÉRATIONNELLE / MISE EN OEUVRE
Où est-ce que les objectifs de nombre de projets financés ont-ils été atteints et comment comprendre les disparités de de succès entre les régions ?
Le soutien financier des projets a-t-il été accompagné d’un soutien technique tel que prévu au démarrage du projet ?
EFFICACITÉ STRATÉGIQUE / EFFETS
Les activités génératrices de revenus créées et soutenues par le programme sont-elle viables et équitables ?
Ont-elles créé un mouvement d’entreprenariat féminin dans les zones rurales identifiées ?
Ont-elles contribué à la réduction des inégalités entre zones urbaines et zones rurales ?
44
Budget porté par le gouvernement et le
bailleur international
(ONG)
(dont locaux et ressources
matérielles mises à disposition par le gouvernement)
Offrir des services d’accompagnement et de mentorat aux porteurs de projet
Soutenir financièrement des projets d’activités
génératrices de revenus dans les communautés
rurales
Monter des structures de
soutien de projet dans les nouvelles
régions rurales sélectionnées
Structure de soutien de projet
opérationnelle dans chaque région
rurale prioritaire identifiée
300 projets soutenus au total dont au moins la moitié portés par
des femmes
L’ensemble des porteurs de projet
ont reçu un soutien adéquat
Capacités de financement pour
des activités économiques dans les régions rurales
du pays
Connaissances entrepreneuriales des citoyens dans les régions rurales
du pays
Activités génératrices de
revenus viables et stables dans les
régions rurales du pays
Développement économique des
régions rurales du pays
Inégalités entre régions rurales et régions urbaines
Suffisamment de projets adéquats sont déposés par des porteurs adhérant aux
objectifs du programmeDes experts et mentors compétents
peuvent être recrutésL’installation des structures de soutien et le principe du programme sont soutenus
par les autorités locales
Les besoins de financement et d’accompagnement dans
chaque région ont bien été diagnostiqués
Le budget annoncé est mobilisé à hauteur des engagements
Du personnel compétent est recruté pour le programme
Le contexte économique et politique permet la stabilité des
projets dans le temps
Théorie du changement simplifiée du programme DECOM
2020-11-06
21
45
QUESTIONS
Comment ont été choisies les questions d’évaluation?Pouvez-vous illustrer le lien entre les questions et lathéorie du changement de l’intervention?
Pouvez-vous nous expliquer ce qui a guidé vos choixméthodologiques pour répondre aux questionsd’évaluation?
46
PÉRIODE DE QUESTIONS
2020-11-06
22
47
LES ÉTAPES D’UNE ÉVALUATION
CONCLUSION
Étape 2Réalisation de
l’évaluation
Étape 3 Présentation et
dissémination des résultats
Étape 1Étude
préparatoire
ÉTUDE PRÉPARATOIRE- Planifier l’évaluation et
définir son ampleur, fixer les questions d’évaluation
- Comprendre l’intervention (sa raison d’être, sa théorie de changement…)
- Élaborer la stratégie d’évaluation (résumée dans la matrice d’évaluation)
RÉALISATION DE L’ÉVALUATION- Collecter les données tel que prévu
dans l’étude préparatoire- Adapter la stratégie, au besoin- Faire l’analyse des données
récoltées
PRÉSENTATION ET DISSÉMINATION DES RÉSULTATS- Répondre aux questions d’évaluation dans un rapport d’évaluation- Communiquer les résultats aux parties prenantes
MERCI
2020-11-06
23
49
RÉFÉRENCESANSTETT Eva, Modules présentés aux PIFED 2016, 2017, 2018 et 2019
BOURGEOIS, Isabelle (2017). Évaluation : modèles et outils pour une utilisation plus stratégique, [en ligne], École nationale d’administration publique, http://archives.enap.ca/bibliotheques/2017/02/031402253.pdf
BROUSSELLE, Astrid, François CHAMPAGNE, André-Pierre CONSTANDRIOPOULOS et Zulmira HARTZ (2011). L’évaluation : concepts et méthodes, Montréal, Presses de l’Université de Montréal, 336 p.
GOLMAN, Ian et Mine PABARI (2020). Using Evidence in Policy and Practice: Lessons from Africa, Londres, Taylor & Francis Ltd, 254 p.
FORTIN, Marie-Fabienne (1996). Fondements et étapes du processus de recherche, 3e éd., Montréal, Chenelière Éducation, 536 p.
LOVE, A. (2004). “Implementation Evaluation”, dans Joseph Wholey , Harry P. Hatry et Kathryn Newcomer (éd.), Handbook of Practical Evaluation, 2e éd., San Francisco, Jossey Bass, 720 p.
MARCEAU Richard, LAMARI Moktar et Johann JACOB, Modules présentés aux PIFED de 2014
MARCEAU, Richard et Jean-Serge QUESNEL, Modules présentés aux PIFED de 2014 et 2015
MARCEAU, Richard, OTIS et Pierre SIMARD (1992). « La planification d’une évaluation de programme », dans Parenteau, Roland (éd.), Management public : comprendre et gérer les institutions de l’État, Sillery, PUQ, 640 p.
MARCEAU, Richard et Francine SYLVAIN (2014). Dictionnaire terminologique de l’évaluation : politiques, programmes, interventions, Québec, Éditions GID, 104 p.
MORRA IMAS, L.G. et RIST, R.C. (2009). Road to Results : Designing and Conducting Effective Development Evaluations. Washington, The World Bank, 592p.
PLATT, Garry (2002). “Smart Objectives: What They Mean and How to Set Them”, Training Journal, pp. 23-36.
RASSEL, Gary, BERNER Maureen, DEVANCE TALIAFERRO Jocelyn et Elizabethann O’SULLIVAN (2016). Research Methods for Public Administrators, 6e éd., New York, Pearson Higher Education, 544 p.