Monitoring, Evaluation, and Coordination Contract (MECC): Annual Project Report October 1, 2017 – September 30, 2018 AID-660-TO-16-00002 October 30, 2018 Resubmitted February 11, 2019 Originally Submitted October 30, 2018 This publication was produced for review by the United States Agency for International Development. It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order AID-660- TO-16- 00002.
Transcript
Monitoring, Evaluation, and Coordination Contract
(MECC): Annual Project Report
October 1, 2017 – September 30, 2018
AID-660-TO-16-00002
October 30, 2018
Resubmitted February 11, 2019
Originally Submitted October 30, 2018
This publication was produced for review by the United States Agency for International Development.
It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order AID-660-
TO-16- 00002.
MONITORING,EVALUATION,AND
COORDINATION CONTRACT:
Annual Project Report October 1, 2017 – September 30, 2018
October 30, 2018
Resubmitted February 11, 2019
International Business and Technical Consultants, Inc. (IBTCI) In the US:
8618 Westwood Center Drive Suite 400 Vienna, VA 22182 USA
+1.703.749.0100
In Kinshasa:
Avenue Colonel Mondjiba n 63, Concession Cotex Bâtiment 7A
Gombe Municipality, Kinshasa, DRC
AID-660-60-16-00002
DISCLAIMER
The author’s views expressed in this publication do not necessarily reflect the views of the United States Agency for International Development or the United States Government
ACTIVITIES PLANNED FOR PROJECT YEAR 4 ............................................................................................ 26
ANNEXES:
A. MECC FY 2018 Activity Summary
B. Progress Against FY2018 Workplan C. MECC Performance Monitoring Data D. Q4 Financial Report
E. ACCELERE! Monthly Bulletins – July 2018, August 2018, September 2018 F. ACCELERE! M&E Working Group Annual Meeting Report
G. FY2018 Internship Report
H. MEL Fundamentals July 2018 Training Report
I. MEL Intermediate Sept 2018 Training Report
4
ACRONYMS
ACCELERE! Accès, Lecture, Rétention et Redevabilité
AO Agreement Officer
AOR Agreement Officer's Representative CAR Central Africa Republic
CARPE Central Africa Regional Program for the Environment CATED Technical Support Unit to Education at the Ministry of Education (Cellule d’Appui
Technique à l’Education)
CBRMT Capacity Building for Responsible Minerals Trade CDCS Country Development Cooperation Strategy
C-G BV Counter-Gender Based Violence CIAUD Comité International pour l'Aide d'Urgence et le Développement
CIEAS Cellule indépendante d’évaluation des acquis scolaires (Independent unit for the
evaluation of learning achievement)
CDCS Country Development Cooperation Strategy CLA Collaborating, Learning and Adapting
CO Contracting Officer
COP Chief of Party
COR Contracting Officer’s Representative
CRCA Community Resilience in Central Africa DEP Department for Studies and Planning (Direction des Etudes et de la Planification)
DFID United Kingdom Department for International Development
DO Development Objective
DQA Data Quality Assessment
DRC Democratic Republic of the Congo
DRG Democracy, Human Right and Governance DRIE Direction de Réforme et Innovation Éducatives (Department of Education Reforms
and Innovations)
EGRA Early Grade Reading Assessment FFP Food for Peace
FY Fiscal Year
GDRC Government of the Democratic Republic of the Congo GRI Global Research Insights
IBTCI International Business and Technical Consultants, Inc.
IHP Integrated Health Project
IR Intermediate Result
IM Implementing Mechanism
IP Implementing Partner KII Key Informant Interviews LogFrame Logical Framework
LTTA Long Term Technical Assistance
M&E Monitoring and Evaluation
MAS Ministry of Social Affairs (Ministère des Affaires Sociales)
MECC Monitoring, Evaluation and Coordination Contract MELP Monitoring, Evaluation and Learning Plan
MEPSP Ministry of Education (Ministère de l’Education Primaire, Secondaire et
Professionnelle)
MER Monitoring, Evaluation and Research MERWG Monitoring, Evaluation and Research Working Group
MSI Management Systems International
MSRT Mission Standard Reporting Template
OCL Observatoire Congolais de la Lecture (Congolese Observatory for Reading) PAD Project Appraisal Document
5
PEPFAR U.S. President’s Emergency Plan for AIDS Relief
PICAL Participatory Institutional Capacity Assessment and Learning Index
PIRS Performance Indicator Reference Sheet PMP Performance Management Plan
PMWG Program Management Working Group
PPR Performance Plan and Report
PSO Peace and Stability Office
RTI Research Triangle International
STTA Short Term Technical Assistance
SVC Strengthening Value Chains
TO Transition Objective
TOC Theory of Change
TCN Third Country National
TPM Third Party Monitoring SPACE Secrétariat Permanent d’Appui et de Coordination du Secteur de l’Education
(Secretariat for Support and Coordination of the Education Sector) SSEF Stratégie Sectorielle de l’Education et de la Formation (Sectoral Education and
Training Strategy)
USAID U.S. Agency for International Development
USG U.S. Government
6
INTRODUCTION International Business and Technical Consultants, Inc. (IBTCI) is pleased to present the following annual
project report for USAID/DRC’s Monitoring, Evaluation and Coordination Contract (MECC) for fiscal year 2018 (FY18), covering the period from October 1, 2017 to September 30, 2018.
MECC is a five-year contract implemented by IBTCI and its subcontractor, Management Systems
International (MSI), to provide monitoring, evaluation, analytic, coordination, and research services to
two primary USAID initiatives in the DRC, which are implemented under two components of the MECC
task order - Component 1: the Mission’s Country Development Cooperation Strategy (CDCS) and
regional portfolio, and Component 2: ACCELERE!, an education program jointly funded by USAID and
DFID. The technical assistance is intended to support Mission-wide objectives and provide analytical
tools and services that allow the Mission to undertake performance management that will guide them in
the full implementation of the CDCS Performance Management Plan (PMP) and ACCELERE! results
framework.
Component 1 supports monitoring, evaluation, and coordination for the Mission-wide CDCS, which
focuses on building the institutional capacity of the Government of the Democratic Republic of Congo
(GDRC), civil society, and private institutions in order to achieve sustainable development outcomes.
USAID, partly through the implementation of this Contract, will determine what development
approaches work best in the DRC and reevaluate programs based upon that knowledge.
Under the CDCS the Mission pursues two development objectives (DOs) and a transition objective
(TO) to ensure that USG resources have measurable outputs, outcomes and impacts moving the DRC
along the development trajectory.
1. (DO 1): Selected national-level institutions more effectively implementing their mandates;
2. (DO 2): Lives improved through coordinated development approaches in Kasai Central, Kasai Orientale, Lualaba, and Haut Katanga;
3. (TO 3): Foundation for durable peace strengthened in eastern DRC.
Component 1 also supports monitoring, evaluation, and learning efforts for the Mission’s regional
portfolio, including the Central Africa Regional Program for the Environment (CARPE) and
USAID/Central African Republic (CAR) programming.
Component 2 supports monitoring, evaluation, and coordination of ACCELERE!, which comprises four
activities focused on improving access to and quality of education (Activity 1, implemented by
Chemonics), governance and accountability (Activity 2, implemented by Cambridge Education),
coordination and evidence-based learning among partners, donors, and the GDRC (Activity 3 and MECC
Component 2), and reducing the number of out-of-school children in DRC (Activity 4, implemented by
UNICEF). As the implementer for Activity 3, MECC provides independent evaluation, coordination and
performance monitoring services to the program, including the design and implementation of impact and
performance evaluations.
Under Components 1 and 2, MECC services include performance monitoring support to the Mission’s
CDCS and regional programming, coordination among stakeholders at the provincial level, and M&E
capacity building for Mission staff, Implementing Partners (IPs), and other relevant stakeholders.
To fulfill its task order mandate, MECC is comprised of three technical teams, each led by one of MECC’s
four key personnel: the Monitoring and Evaluation (M&E) team is led by the DCOP for Assessments and
M&E and supported by two M&E Specialists; the Learning team, led by the Learning Specialist and
supported by a Learning Officer; and the ACCELERE! Activity 3 (A!3) team, led by the Co-
DCOP/Education Specialist and supported by an M&E Specialist. The technical teams are supported by a
cross-cutting Senior Data Analyst and a Technical Coordinator, as well as an operations team led by the
Director of Administration and Finance.
This report details MECC’s activities over the course of Fiscal Year 2018 (Project Year 3), including
results and challenges, both to document USAID/DRC’s investment in monitoring, evaluation and
learning, as well as to share lessons learned that may be useful for USAID decision making.
Programmatic highlights from the past year include:
7
IR1: Access to relevant and reliable high quality data and information strengthened
Collection and analysis of Mission-wide performance monitoring indicators, including configuring and updating the ACCESS database and initiating development of an online
reporting portal;
Support for the Mission Portfolio Review
Analysis and presentation of perception survey findings;
Preparation of a CDCS status report;
Completion of Data Quality Assessments (DQAs) for the Health/PEPFAR’s ELIKIA Project,
CARPE, DRG, and PSO activities for a total of 21 indicators;
Site visit planning, tool development and training of data collection partners for the first phase
of the Third Party Monitoring (TPM) activity;
Development of the end-line impact evaluation design for ACCELER1;
Assessment of USAID/DRC’s tuberculosis portfolio
Assessment of the ASILI model
IR 2: Adaptive management strategies and mechanisms identified and supported
Support to the Mission to move forward the “Collaboration Committee” and “Collaboration Clusters” to increase regional partner coordination and facilitate Collaborating, Learning and
Adapting (CLA) across activities;
Completion of the ACCELERE! mid-term partnership review;
Facilitation of the ACCELERE annual donors meeting;
IR 3: M&E resource base in DRC strengthened
Design and facilitation of MEL Fundamentals and Advanced training courses;
Capacity building of the DEP through the internship program and training on the PICAL
institutional self-assessment tool;
Launch of activities for development of the multi-year M&E training plan for the GDRC;
Completion of the first round of the GDRC M&E internship program.
The report also summarizes task order deliverables completed this fiscal year and a summary of
personnel updates, as well as challenges identified, lessons learned, and an overview of activities planned
for project year 4 (FY 2019).
8
FY 2018 ACTIVITIES & ACHIEVEMENTS
IR1: Access to relevant and reliable high quality data and information strengthened
Mission Performance Monitoring – Data Collection and Analysis Collection and analysis of USAID/DRC Mission data was a large focus of MECC’s work in FY 2018. In Q1,
MECC supported the Mission to revise its standard reporting tool (MSRT) to improve the quality and
efficiency of the data collection process. MECC also supported the use of the tool to collect PPR and PMP
monitoring data from implementing partners across all sectors in October and November 2017. MECC then
compiled and cleaned data for all collected indicators, including all relevant disaggregations, ultimately
producing sector-specific data sets for Health; Democracy, Governance and Human Rights (DRG); Economic
Growth (EG); Education; Peace and Stability (PSO); and the Central Africa Regional Program for the
Environment (CARPE).
MECC used the compiled MSRT data to provide technical assistance to the USAID/DRC Mission in support
of its Annual Portfolio Review. This included conducting data analysis of Implementing Partner (IP) datasets
and developing summary analysis reports for technical teams as well as at the Mission level. This data was
then used by the technical teams to review annual progress against technical team targets and objectives. At
the Mission level, MECC provided technical leadership in the analysis of Mission-wide national and regional
level PMP data for each DO and TO. The results of the analysis of the performance monitoring data for
FY2017, were presented to the Mission on January 30 and highlighted two main concerns for data use at the
Mission – 1) difficulty in setting targets, and 2) continued complications in obtaining all necessary data from
IPs in a usable format. However, the review also revealed significant improvement in availability of CDCS
PMP indicator data -- and, therefore, the Mission’s ability to track progress against strategic goals -- compared
to last year’s portfolio review. This is in large part due to the PMP reconciliation process supported by
MECC in FY 2017.
After the completion of the technical teams’ and Mission-wide portfolio review, MECC continued to provide
data analysis support for the Steering Committees for each DO and TO. The DO1 analysis focused on
improving the availability of data. This included further data mining of the FY2017 dataset to identify
additional contributing indicators based on an analysis of investment conducted by the DO1 steering
committee lead. DO2 requested MECC to provide data across its two development corridors (Lubumbashi
to Kolwezi and Mbuji May to Kananga) to determine if the results of DO2 activities are sufficiently captured
in the PMP. Similar to the experience of the Mission-wide review, a meaningful analysis of DO2 data proved
difficult due to a general lack of target setting. The TO3 steering committee focused on using the data from
the perception survey in order to review their strategy and programmatic assumptions.
Throughout FY2018, MECC collected performance monitoring data submitted by IPs for the first, second
and third quarters, to feed into CDCS PMP and PPR indicators for FY2018 and contribute to Mission-wide
monitoring. Based on an initial review of the data, MECC provided preliminary feedback on the quality of
the data to each COR/AOR. By the end of September 2018, MECC received data from 27 IPs for Q1, 22
IPs for Q2 and 18 IPs for Q3. It is anticipated that performance monitoring data collection for Q4 as well as
annual FY 2018 data will be submitted directly by IPs in October through a newly established online data
portal.
Mission data portal
In an effort to improve the data submission process and data quality, as well as to enable MECC and the
Mission to more effectively and robustly analyze and report on data, the Mission determined that an online
system for data reporting should be created. As a result, in FY2018 MECC coordinated with the USAID
Program Office to define the desired parameters of the portal, and in June 2018 engaged a local software
design firm to construct and host the system until January 2021 (after which time the contract may be
renewed, or an alternative for hosting the system will be identified). Testing began on the portal in the last
9
quarter of FY 2018, and a demo will be provided to USAID in early FY2019 to identify any desired changes
or revisions to the functionality before its launch in mid-October. The portal will allow IPs to report results
through a simple web-based form on a quarterly, semi-annual, or an annual basis, using a common structure
that will help to ensure data consistency and completeness and that each data point is linked to a results
framework, disaggregated consistently, tied to a specific time and place, and associated with a particular
activity. This will help improve the timeliness and accuracy of data reporting compared to Excel and email-
based workflows.
CDCS Perception Survey
As part of its CDCS performance monitoring responsibilities, in FY2018 MECC oversaw the implementation
of a perception survey in USAID/DRC strategic development corridors and transition zones. Targeting
populations living in zones where USAID is implementing, the objective of the survey was to assess
perceptions related to availability, access, and quality of services in sectors supported by USAID-funded
projects and activities. To implement the survey, MECC subcontracted a local research firm, Experts, who
collaborated with MECC in December 2017 to finalize the survey tool, methodology, and sampling for data
collection using mobile devices.
Data collection for the perception survey was conducted from January to March 2018, sampling clusters of
both rural and urban areas, from the five targeted provinces (Kasai Oriental, Haut Katanga, Lualaba, Nord
Kivu and South Kivu), with respondents interviewed from 5,399 households. Analysis from the perception
survey was used to identify data that could feed into 10 CDCS indicators and to address needs raised by
specific technical teams and groups at the DRC Mission. Following the survey, MECC provided several on-
demand analyses and presentations included:
TO3 Steering Committee (April 11, 2018): MECC provided an on-demand analysis of several survey
results relevant to the overall TO3 strategy, which was then presented and discussed at the steering
committee meeting.
USAID Mission Brownbag (April 24, 2018): MECC presented an overview of the perception survey
focused on major results along the themes of availability, access, and quality. The presentation
included several examples of how the Mission could use the data to understand different issues and
specific questions.
Democracy, Human Rights and Governance (DRG) Team meeting (May 29, 2018): MECC presented
an analysis of the data relevant to the DRG strategy to both the DRG technical team and IPs
implementing the DRC governance portfolio.
USAID Partners Meeting (June 21, 2018): MECC presented an overview of the survey and results
and discussed ways in which partners could access and use the information to inform their programs.
Discussions followed about possible thematic events with partners at the regional level.
CDCS PMP Status Report
In May 2018, MECC began a complete analysis of all CDCS PMP indicator data. The final report included
findings from the data collection process conducted in 2017 and early 2018 in the geographical priority
zones. The review compiled data to enable USAID/DRC to measure the CDCSs’ outputs and outcomes
related to DO1, DO2 and TO3. The objective was to document the current status of indicators derived
from the projects’ PMPs, supplemented by ten cross-cutting indicators mostly relating to the perception
survey on availability, access, and quality of services in health, education, and agriculture, and on areas
addressed by the DRG portfolio.
Third Party Monitoring Over the course of FY2018 MECC worked with the Program Office to define a TPM (monitoring &
verification/M&V) approach that would meet the needs of the DRC Mission’s technical teams. MECC staff
and technical consultants held a series of meetings with Mission staff to provide orientation to the TPM
approach and to identify activities that would benefit from monitoring and verification visits. Site visit
10
locations were determined based on their inaccessibility to Mission staff because of security or other access
issues and overall investment. The COR/Activity Manager for each site identified the relevant activities to
monitor and any additional questions they had that could be addressed through an M&V visit. An initial plan
was developed by the Program Office and MECC, allocating 51 site visits across Health, EG, PSO, Education
and CARPE in FY2018. However, as planning progressed and the needs of the technical teams were further
clarified and activities, locations and number of sites were adjusted, resulting in 35 sites to be planned for
FY2018.
For each site visit, MECC developed a data collection methodology and tools for data collection, which were
shared with the respective Mission CORs/technical teams for their review and input. Once the tools were
finalized, MECC assigned each site visit to one of two sub-contractors – Target and Global Research Insights
(GRI) - who had been engaged by MECC to carry out the data collection. The sub-contractors were identified
through a competitive selection process based on relevant experience as well as local capacity and presence
throughout DRC and CAR, which enables them to access and collect data at sites otherwise inaccessible to
USAID. Due to various delays and challenges throughout the course of planning and initiating this activity,
including coordination with the technical teams on identification of sites and their M&V needs, as well as
turn-over of many of the original MECC and Mission staff involved in the initial discussions, implementation
of site visits did not begin until late FY2018. By the end of the fiscal year, the tools and methodologies were
developed and ready for all sectors included in the pilot phase (PSO, EG and Health), nine site visits had
been carried out, and an additional five sites were in the process of being scheduled. Of the sites identified
by the respective Mission teams by the end of FY 2018, all are anticipated to be complete by the end of
October 2018, including 5 PSO, 5 EG, and 4 Health. MECC was also working with the Health Team to
identify the locations of the remaining 20 sites that were allocated to them in FY2018. In addition, MECC
began planning a workshop to hold with the sub-contractors in FY 2019 Q1, to review lessons learned during
the initial pilot phase and identify best practices to improve and optimize TPM in the year ahead.
Data Management: ACCELERE! Performance Management Framework
In FY 2018 MECC held several discussions with USAID and DFID about the possibility of using the current
USAID/DRC data portal, which MECC is supporting under Component 1, for this deliverable. Discussions
are underway with the USAID Program Office to determine how to provide access to DFID given that the
database is internal to USAID/DRC.
MECC will work with the USAID Program Office and the education team to finalize the ACCELERE!
Performance Management Framework during FY 2019.
ACCELERE! logical framework and M&E Plan
The ACCELERE! log frame has been updated four times during FY 2018 based on program needs:
(i) In Quarter 1, five indicators relating to the generation and dissemination of knowledge and best
practices from ACCELERE! research were added to the log frame. The performance indicator
reference sheets (PIRS) for these indicators were updated and shared with the IPs. Targets and
achievement levels for all the indicators were updated following several meetings and exchanges
with IPs in December 2017. Inconsistencies between the indicators reported upon in the Annex A
submitted by Activity 2 in its annual report for FY 2017 and the indicators included in the
ACCELERE! log frame have been identified and brought to the attention of USAID and DFID.
(ii) Early in Quarter 2, MECC reviewed the ACCELERE! log frame in preparation for the annual
donors meeting. MECC coordinated the process of gathering results from the IPs, compiled and
reviewed the shared information, noting inconsistencies and reporting them to USAID and DFID.
A log frame review meeting with IPs was organized by MECC on February 20, 2018 at the MECC
offices to address the inconsistencies. MECC also translated the log frame into French so it could
be shared with the Ministry of Education (MEPSP) during the annual donors meeting.
11
(iii) In Quarter 3, MECC revised the ACCELERE! log frame and M&E Plan, particularly the PIRS, achieved
results, the CLA strategy, the status of ACCELERE! research studies, and progress on the
performance and impact evaluation designs. An updated ACCELERE! log frame and M&E Plan was
submitted to USAID on July 16, 2018. MECC is awaiting feedback on this deliverable so it can be
finalized.
(iv) In Quarter 4, the ACCELERE! log frame was updated when IPs shared current indicator data and
assessment findings to complete the progress information package for DFID’s annual report. The
most current version of the log frame is dated August 8, 2018.
Data for the ACCELERE! Log frame is collected on an annual basis.
Data Gap Collection Plan for ACCELERE!
MECC developed and submitted the Data Gap Collection Plan on November 30, 2017. The Plan takes
into account the 2015 Early Grade Reading Assessment (EGRA) baseline, the Activity 1 MELP and the
Activity 4 log frame. It provides recommendations for Activity 2 based on a review of its indicators included in the overarching ACCELERE! log frame at the time, and presents plans for primary data
collection and recommendations for secondary data collection by IPs. The Data Gap Collection Plan was
approved by USAID on May 14, 2018.
Data Quality Assessments
In FY2018, MECC met with the PEPFAR, CARPE, DRG, and PSO teams to outline their respective DQA
needs and calendar. Based on these discussions a FY 2018 DQA plan was developed by MECC and approved
by Program Office. MECC conducted 22 DQAs for various IPs and Mission teams over the course of the
fiscal year. This included assessments of two Health/PEPFAR indicators for the ELIKIA project, assed in April
2018, 8 indicators for CARPE for 5 IPs (WCS, WWF, AWF, WRI and African Parks), 3 indicators for DRG
for 2 IPs (DAI and NDI) and 9 indicators for PSO for 2 IPs (CONNECT and CRCA) that were assessed in
July and August 2018.
For each DQA, a MECC team coordinated with the respective Mission COR/Activity Manager as well as the
IPs to carry out a visit to the IP’s office, where data was collected through key informant interviews and
document review in order to ascertain the management, quality assurance and quality control procedures
of each IP. Using the findings from the visit, MECC then completed the DQAs using the USAID/PPL DQA
checklist, per the Agency’s recently updated ADS 201.3.5.8, which provides five metrics for assessing quality:
validity, reliability, timeliness, precision, and integrity. MECC subsequently developed reports highlighting
recommendations and issues that needed to be addressed for each indicator and engaged the respective
USAID technical teams and IP management teams in a review and validation process.
Evaluations and Assessments
In FY2018 MECC carried the following assessments, at the request of the Mission technical teams.
ASILI Assessment: In November 2017, MECC coordinated an assessment of the American
Refugee Committee’s (ARC) Asili Social Enterprise model, in collaboration with the USAID/DRC
Economic Growth (EG) team. The main objective was to have a holistic understanding of the Asili
Model, to draw lessons learned from existing zones, and to identify points that would further enable
the involved parties to assess the adaptability and sustainability of the Asili program, with a focus on
the social enterprise model itself. MECC developed a data collection tool for the assessment,
structured as a customer satisfaction questionnaire, and analyzed all resulting data. On December
26th MECC submitted the draft report, for USAID’s review and comments. The report included
findings related to the quality and comprehensiveness of the supply of services; barriers to and
incentives for membership in the Asili network; and observations on the enabling environment for
Asili’s operations, success, and sustainability, including competition from non-Asili suppliers and
opportunities for partnership.
TB Assessment: In November 2017, MECC designed a review of the USAID/DRC TB portfolio at
12
the request of the Mission Health Team in order to inform future programming. The MECC team
developed an assessment plan, completed a desk review of key documents, and finalized assessment
methodology and tools, which were approved by the Health Team in December 2017. In FY2018
Q2, MECC conducted data collection for the TB Portfolio Assessment in Kinshasa, Maniema, Kasaï
Central, Kasaï Oriental, Lualaba, South Kivu, North Kivu, and Bas Congo. The data collection
consisted of individual and group interviews as well as a document review and analysis of secondary
data. Over the course of Q3, the MECC team completed the data analysis and compiled the
assessment report, the first draft of which was submitted to USAID in May. The final version of the
report, incorporating feedback from the USAID Health/TB team, was submitted in July 2018.
ACCELERE! Activity 1 Endline Impact Evaluation: From November 11-18, 2017, MECC
participated in the EGRA data collection with Grade 2 and Grade 4 students in Sud Ubangi. The data
collection was organized by Activity 1 in support of the augmented comparison baseline data that is
required for the endline impact evaluation that will be conducted by MECC starting in October
2019. The Data Gap Collection Plan submitted on November 30, 2017 provided details on the need
for the augmented baseline data collection.
During Quarter 3, MECC developed and submitted the draft design and implementation plan for the
endline impact evaluation of Activity 1. Following comments from USAID and DFID, MECC
submitted a revised design and implementation plan to USAID on September 26, 2018.
ACCELERE! Activity 1 Final Performance Evaluation: MECC submitted to USAID on 26
September 2018 the design and implementation plan for the Activity 1 final performance evaluation
which is scheduled to take place in early 2020. MECC is awaiting feedback to finalize the plan.
ACCELERE! Final Performance Evaluation of the Governance Component: In Quarter
3, MECC held discussions with relevant IPs to better understand their activities in governance.
Activity1 and Activity 2 informed MECC that a joint theory of change would be developed in
September 2018 for the ACCELERE! governance component. As of the end of September, the joint
theory of change had not been finalized. Meanwhile, MECC reviewed the governance evaluation
scoping note shared by DFID on July 11, 2018 and shared comments and questions with USAID and
DFID on September 19, 2018. Comments focused on the type of evaluation (impact vs performance)
and on proposed themes (i.e. focus on school fees). During that period, MECC also identified an
expert in governance to lead the development of the design and implementation plan for this
evaluation, given the particularities of governance work. However, MECC has been informed that
DFID and USAID have decided to remove this deliverable from the MECC contract. MECC has thus
suspended all planning activities pending written confirmation from USAID.
Benchmarking workshop
MECC co-facilitated a benchmarking workshop with Activity 1 from October 16-19, 2017. This activity
served to define the reading benchmarks in French language for Grade 4 and in Ciluba, Swahili and Lingala
languages for Grade 2. The workshop began with the review of EGRA baseline data from 2015 as well as
the review of reading benchmarks in other countries. The established benchmarks will be used by
USAID/DRC to report against Goal 1 of the global USAID education strategy.
Support to Activity 1 in the dissemination of the 2017 EGRA results to the GDRC
MECC and Activity1 met on June 23, 2018 to discuss the approach for the dissemination of the 2017
EGRA monitoring data. Subsequent meetings were held during Quarters 3 and 4. However, Activity 1 is
awaiting approval from USAID for the dissemination of the results. Once the greenlight is received,
MECC will support Activity 1 in its dissemination plans.
Review of Activity 2 data collection plan and baseline data needs analysis report
As part of MECC’s support to the ACCELERE! Log frame and M&E Plan, in Quarter 4, a MECC consultant
conducted the review of the Activity 2 data collection plan and baseline data needs analysis report. The
consultant traveled to Kinshasa and held a technical meeting on June 13, 2018 with Activity 2 to share
13
its preliminary comments. MECC finalized and submitted the review of the Activity 2 data collection plan
and baseline needs analysis report to USAID on September 7, 2018. Issues identified during the review
and the ensuing recommendations included:
Activity 2 provides technical assistance to the GDRC but should clearly indicate the limits of its
domain of accountability in its MELP. It should be made clear that Activity 2 is directly accountable
for inputs, activities and outputs, and has direct influence on immediate outcomes, while
intermediate and higher-level outcomes remain in the GDRC’s sphere of accountability.
Assumptions about the context of programming that underpin the theory of change, and the risks
associated with the causal chain of results, need to be better identified in the MELP.
The MELP focuses almost exclusively on monitoring activities. Activity 2 should consider expanding
its scope to include sections on data quality assurance and management, evaluation, research and
learning.
MECC is currently awaiting comments to finalize this deliverable.
IR 2: Adaptive management strategies and mechanisms identified and supported
Technical Assistance to USAID and IPs
Over the course of FY2018, MECC provided technical assistance to Mission teams and IPs to improve
performance management and monitoring through technical reviews of IP Monitoring, Evaluation, and
Learning Plans (MELPs). In Q2, MECC worked with the Program Office to improve the MELP review process
to increase collaboration with the technical team to strengthen the review and recommendations. This
collaborative process provided the opportunity for a deeper review of the document, and also a learning
opportunity for both the activity COR and IP. The following MELPs were reviewed by MECC in FY2018:
CRCA Activity MELP Review
In December 2017, PSO’s CRCA activity requested MECC’s support in reviewing its MELP. MECC submitted
its review to the Program Office on December 18, 2017 with observations that included: a lack of evaluation
questions; a lack of strong outcome indicators, and an absence of context indicators. The review process
continued in the next quarter with a focus on the evaluation plan, and included discussions with the IP and
PPL in Washington DC.
C-G BV Activity MELP Review
In January 2018, after an initial review of the C-GBV MELP, MECC and the PO met with the C-GBV COR
to discuss preliminary conclusions and clarify additional support needed. MECC then prepared a checklist
along with a detailed review of the indicator table and specific comments/feedback in the MELP document.
After submission of the review, the C-GBV COR organized a discussion with MECC and the IP to allow for
questions and clarification. The review process identified the following areas for improvement: 1) revision
of indicators as some were not to be found relevant vis-à-vis the activity’s results; 2) clarification of the
Theory of Change; and 3) further development of the learning agenda and evaluation plan. All comments
were shared with USAID in January 2018 and discussed jointly with the COR and the IP.
CARPE - PSO Joint Monitoring Framework Development
In FY2018 Q2, MECC received a request by the PSO and CARPE teams to assist in the development of an
abbreviated joint monitoring framework for three activities (Garamba Chinko Protected Areas; Community
Resilience in Central Africa; and Community Based Counter Wildlife Trafficking) based on the team’s
formation of a collaboration cluster. By developing a joint monitoring framework, CARPE and PSO aim to
synergize their efforts in an attempt to reach tangible results within the DRC and CAR shared borders’
region. This framework includes an indicator list, context indicators, and a learning agenda. In support of
this request, MECC reviewed the available project documents, including MELPs and program descriptions to
create an indicator list responsive to the joint results framework. This activity is expected to continue in the
first quarter of FY 2019 as the awards and MELPS are finalized.
14
SVC Activity MELP Review
During FY2018 Q3, the COR for the Strengthening Value Chains (SVC) Activity requested that MECC
review revisions made to the A-MELP based on recommendations from an initial review conducted by
MECC. The SVC MELP review assessed whether the proposed indicators appropriately measured the
relevant IRs and sub-IRs; verified that all contractually-specified indicators were included in the MELP;
provided feedback on the Learning Agenda; ensured that standard PIRS were used where appropriate and
custom indicator PIRS were appropriate; confirmed that baseline data had been included; and reviewed the
provided data collection tools. MECC submitted the completed review to USAID during Q4.
Integrated Youth Development Activity (IYDA) MELP Review
In July, MECC received a request from the USAID Education Team for a review of the MELP for the new
IYDA. Recommendation included clarification of the result framework, including a description of each IR
and Sub IR, and reiterated USAID best practices of 1 to 3 indicators for each. In addition, MECC provided
suggestions for Goal level indicators, which were related to resiliency. MECC will finalize the review process
once feedback is received from USAID.
IHP Activity MELP Review
In early September 2018, MECC received a request from the USAID Health Team for support to review of
the Integrated Health Project (IHP) AMELP. After an initial review, MECC provided comments to USAID in
September that highlighted inappropriate indicators at the goal level, too many indicators at the IR and Sub
IR' level and redundancies in the definitions of some indicators. MECC will finalize the review process once
feedback is received from USAID.
Monitoring, Evaluation and Learning plan for USAID Education Projects
In FY 2018 Q3, MECC started work on the Monitoring, Evaluation and Learning Plan (MELP) for USAID/DRC education projects. This MELP was initially meant to address both USAID and DFID needs,
but has been narrowed to cover only USAID education projects. The new MELP integrates ACCELERE!
Activities, the recently completed USAID-funded education project EAGLE, and the new USAID-funded
youth project, the Integrated Youth Development Activity. A MECC consultant supported the
development of the MELP beginning with a review of key project documents, including project M&E plans,
design documents, and final or annual reports. During Quarter 4, MECC collected updated documents from USAID. The first draft of the MELP is planned for the end of October 2018, pending a decision by
USAID regarding the need for this deliverable.
ACCELERE! Multi-year EGRA plan
In FY 2018 MECC updated the ACCELERE! multi-year EGRA plan and submitted the updated version on
July 30, 2018 to USAID. The annual update to the multi-year EGRA plan provides information on the sampling parameters, data collection timeline and plans for the dissemination of results following each data
collection exercise. The update also provides a summary of the EGRA activities implemented by Activity 1
and MECC between October 2017 and June 2018; namely: (i) the development of benchmarks for reading
proficiency for Grade 2 in national languages and for Grade 4 in French; (ii) the first internal monitoring
EGRA data collection by Activity 1; (iii) the collection of the baseline EGRA data in comparison schools in
Sud-Ubangi and Equateur; (iv) Activity 1 quarterly assessments; and (v) fidelity of implementation data
collected by Activity 1. MECC is awaiting comments from USAID to finalize this deliverable.
Collaborating, Learning and Adapting
Mission Coordination and Collaboration
In FY2018, MECC supported Mission-level coordination and collaboration via the Mission’s “Collaboration
Cluster” structure, which the Mission launched in July 2017. The structure includes five collaboration clusters
(Food Security, Regional Conflict & Environment, Youth, WASH, and Service Delivery & Governance), each
of which brings together a set of activities where collaboration is anticipated to be beneficial. The
Collaboration Structure includes a collaboration committee that brings together the leads of all five clusters
and a secretariat that guides the work of the clusters so as to ensure documentation and a focus on results.
15
Building on MECC’s FY2017 work with the Mission on this topic, MECC played an ongoing advisory role as
the Mission continued to solidify and roll out the structure during Q1 and Q2 of FY2018. In the second half
of FY2018, MECC worked in partnership with the Program Office and the Front Office to re-emphasize the
strategic importance of the clusters and to provide strengthened support and guidance to cluster teams and
leaders.
Notable MECC activities in Q3 and Q4 included:
Reviewing and/or updating foundational documents related to the cluster structure in partnership
with new staff in the Program Office in Q3;
Meetings with the Regional Conflict and Environment Cluster – June 26, August 8, and August 27;
Meeting with the Food Security Cluster – July 17;
Meeting with the Deputy Mission Director and other Front Office and Program Office staff to
reconfirm the Mission’s commitment to the cluster structure – July 31;
Preparing for and attending a presentation of the cluster structure for the new Mission Director –
September 27;
Beginning a new partnership between MECC and the Mission’s Strategic Coordinator, who took the
lead of the cluster structure in September.
Regional Coordination and Partner Meetings
In its efforts to strengthen coordination and collaboration among its IPs, USAID/DRC organizes partner
meetings that bring together Mission staff, IP staff and, in some cases, representatives of the GDRC. These
meetings focus on one or more of the following – coordination, collaboration, learning, adapting, and/or
sharing. MECC’s role is to provide support for these meetings, particularly those that take place in the field
(i.e. in USAID’s provincial hubs outside of Kinshasa).
During Q1 and Q2, MECC provided logistical support for six field-based events as detailed below:
A field visit to Lubumbashi by the Office of Financial Management from October 16 to 20, involving
IHAP, EAGLE, A!1, HREJA, IGA, Congo Demokrasia and ELIKYA;
A Refine and Implement (R&I) workshop for Food for Peace (FFP) (October 23 to 25);
A meeting attended by the Mission Director, US embassy personnel, and IPs operating in North and
South Kivu, in Bukavu on November 14;
Meetings in Bukavu on December 7 and 8 with Asili and Kivu Value Chain, complemented by site
visits related to the upcoming Youth activity in Kalehe and Bushushu;
A partner meeting in Bukavu on March 1;
A partner meeting in Lubumbashi on March 22;
During Q3 and Q4, MECC’s support to USAID’s field-based activities underwent a transition. In alignment
with Modification 3 of the MECC contract, MECC shifted its regional coordination support function to
Kinshasa during Q3 of FY2018. This involved closing the four MECC regional offices – which were located
in Kananga, Mbuji-Mayi, Lubumbashi, and Bukavu – and establishing a new Kinshasa-based Learning Team to
support USAID/DRC in its regional CLA agenda.
Regional Conflict and Environment Cluster Coordination Meeting
In Q4 of FY2018, MECC supported USAID in implementing it first partner coordination meeting following
the above transitions. The meeting brought together USAID and the two lead IPs under the Regional Conflict
and Environment cluster, on September 15 in Johannesburg, South Africa1. For this meeting, MECC provided
1 Johannesburg is the headquarters location of African Parks, who hosted the meeting, and thus they selected this location for logistical reasons.
16
not only logistical support, but also technical support in designing and facilitating the meeting.
More details regarding the Regional Conflict and Environment partners meeting is available in a separate
report, included as an annex to this report.
ACCELERE! Partner Coordination
Strategic Collaboration Meetings MECC participated in the ACCELERE! Steering Committee meeting on June 5, including coordinating
the development of the ACCELERE! joint presentation.
MECC coordinated five ACCELERE! Chiefs of Party meetings in FY2018. The meeting focused on
ACCELERE! joint workplanning and coordinating activities required for achieving ACCELERE!
Objectives,
Beginning in October 2017, MECC participated in the monthly ACCELERE! meetings chaired by the
Secretary General of the Ministère de l’Education Primaire, Secondaire et Professionnelle (MEPSP –
Ministry of Education). Participants include the directors of the different departments within the
MEPSP receiving support from the ACCELERE! program, USAID, DFID and IPs.
MECC participated in two joint ACCELERE! missions:
1. Technical field visit to Gemena, Sud Ubangi, on November 13, 2017. This visit provided an
opportunity for MECC to engage with the local authorities, to observe the launch of the
EGRA monitoring data collection with a view of identifying potential challenges for the
endline evaluation, and to have a better understanding of the dynamics of the ACCELERE!
partnership at the field level; and
2. Monitoring mission from May 6-11, 2018 in the provinces of Haut-Katanga and Lualaba. The
mission included representatives from USAID, DFID, the MEPSP, including the Secretary
General, and all four ACCELERE! Activities. MECC produced the mission report and
presented the principal findings during the June 5th ACCELERE! steering committee meeting.
MECC participated in regular bi-monthly meetings with USAID and DFID and developed and shared
relevant meeting notes. The meetings serve primarily to discuss Activity 3 deliverables and timelines
and to get USAID/DFID feedback on expectations, issues and challenges.
MECC participated in the USAID education partners’ meetings on November 16, 2017 and March
22, 2018.
MECC participated in a meeting organized by the Secrétariat Permanent d’Appui et de Coordination du
Secteur de l’Education (SPACE - Secretariat for Support and Coordination of the Education Sector)
on June 13, with representatives from MEPSP directorates and key stakeholders and partners
involved in GDRC’ staff capacity buildings. The objective of the meeting was to improve coordination
among education partners conducting M&E trainings for the GDRC. At the end of the meeting it
was agreed that SPACE will coordinate with education partners to collect information on the
monitoring and evaluation trainings made or planned to be carried out by the partners, and that A!3
should consider such training in the development of its training plan to ensure synergy of efforts to
improve GDRC's M&E capacity.
ACCELERE! Partnership Review During FY 2018, MECC conducted the mid-term review of the ACCELERE! partnership and submitted the
final report to USAID on September 15, 2018. Over the course of the first quarter, MECC held numerous
discussions with USAID and DFID regarding the design. An international evaluation specialist was identified
as the team and was approved by USAID in December 2017. A first draft of the design was shared with
USAID and DFID on December 8, 2017 and was followed by a call to discuss their feedback. The final draft
of the design and implementation plan, integrating all comments, was submitted to USAID on December 28,
17
2017 and was approved on February 20, 2018. Early in Quarter 2, MECC focused on the document review,
including collecting and reviewing all ACCELERE! IP annual and quarterly reports as well as partnership
design documents obtained from DFID and USAID. Six semi-structured interview guides targeting USAID
and DFID, the GDRC, and the four ACCELERE! IPs were developed and a comprehensive list of key
informants in Kinshasa, Haut-Katanga and Kasai Central was established. MECC conducted a total of 41
key informant interviews (KII), and the Team Leader conducted an initial thematic analysis of the
interview data which were presented and reviewed during a Data Walk held in Kinshasa on March 21,
2018 with participants from USAID, DFID and ACCELERE! IPs. A draft report was presented to USAID
and DFID in May. MECC also created a power point presentation of key findings for DFID senior
management, which was submitted on June 22, 2018. Following the receipt of written comments from
USAID and DFID, MECC submitted a revised report to USAID on September 17, 2018.
ACCELERE! Learning: Monthly bulletin
In October 2017, MECC began compiling the ACCELERE! monthly bulletin describing the key activities and
results achieved during the month and the planning of interventions for the coming month. The monthly
bulletin is developed by IPs with MEPSP departments supported by ACCELERE! and serves as the reference
document for the ACCELERE! monthly meetings with the General Secretary. Eleven (11) bulletins were
developed during this fiscal year (please see Annex E for the Quarter 4 bulletins).
ACCELERE! Research Studies
MECC regularly updated the ACCELERE! harmonized research plan established during the M&E working
group meeting in December 2017. The research plan was updated four times (March, April, May and August
2018). The last update was completed for the DFID annual report.
During the same period, MECC held a meeting with the DEP regarding its research mandate. As a result, it
was decided that the DEP is the MEPSP entity responsible for ACCELERE!’s research initiatives and will
coordinate with the Department of Education Reforms and Innovations (DRIE) and the other technical
departments responsible for the management of research questions. MECC has developed a protocol
summarizing the roles and responsibilities of the DEP and DRIE and will submit it to the M&E working group
for comments and approval during FY 2019.
Additionally, as mentioned above, MECC held several meetings with Activity 1 to develop a plan for the
2017 EGRA results dissemination. MECC also met with Activity 2 to review the dissemination approach for
its studies and research.
ACCELERE! Annual Donor Meeting
The ACCELERE! Annual Donors Meeting was held on March 1, 2018. During this meeting, MECC presented
the ACCELERE! log frame, results achieved, research initiatives, and challenges encountered by IPs during
implementation. To prepare, MECC worked with IPs to collect relevant data and then compiled, edited and
visualized these data. The presentations were shared with USAID and updated before the meeting according
to the feedback received. MECC also collected information on the challenges faced by IPs during
implementation of their respective interventions and summarized the findings in a brief document that was
shared with the General Secretary and the different MEPSP departments before the meeting.
ACCELERE! M&E Working Group
Throughout FY 2018, MECC coordinated the ACCELERE! M&E Working Group meetings, which focused
mainly on ACCELERE! research studies and results dissemination, as well as on the ACCELERE! harmonized
workplan. Nine meetings were organized during FY 2018. Meeting topics included:
Development of the ACCELERE! harmonized work plan on December 12, 2017.
Review and updating of the ACCELERE! PIRS and log frame on February 20, 2018.
Review, harmonization and updating of the list of research studies on April 30, 2018.
Presentation of the results of completed research studies: geo-localization of schools and of Bureaux
Gestionnaires and the 2017 EGRA results on May 21, 2018.
18
Presentation of the draft dissemination strategy for the 2017 EGRA study.
Discussions regarding the Memorandum of Understanding between ACCELERE! and the MEPSP on
the research studies on September 7, 2018.
Presentation and review of Activity 1 school monitoring data on September 28, 2018.
Please see Annex F for the annual report on the M&E working group.
IR 3: M&E resource base in DRC strengthened
Trainings
In FY2018, MECC and the Mission made significant progress on the training component. Building on a MEL
training needs assessment that MECC conducted in FY2017, in FY2018 MECC created and implemented a
training plan in partnership with the MECC COR that maps out when trainings will occur in FY2018, FY2019,
and FY2020.
One of the priorities from the training plan that was accomplished in FY2018 was the development of a
specialized MEL foundations program for USAID staff, and AORs/CORs in particular. MECC developed two
courses for this program – MEL Fundamentals and MEL Intermediate. Each course is 3-days and draws from
existing and approved USAID materials, such as ADS 201, the Monitoring Toolkit, the Evaluation Toolkit,
and the CLA Toolkit, among others. Both courses are approved by USAID University, and participants can
earn up to 19 continuous learning points (CLPs) for successfully completing them.
The MEL Fundamentals course covers core concepts under Performance Monitoring and Evaluation (PM&E)
and Collaborating, Learning, and Adapting (CLA). The MEL Intermediate course builds on the MEL
Fundamentals course and focuses on data utilization, with topics such as data quality, data collection, data
analysis, and learning from data. Both courses use a mixture of trainer-led presentations, group discussions,
and practical exercises that help participants learn and help them apply what they learn. To improve
participants’ experience in the training, MECC developed the training materials in French as well as English,
and also used French as the primary language of instruction and interaction during each training session.
MECC delivered each course twice in FY2018 – Fundamentals in March and July, and Intermediate in May
and September. In each case, MECC built upon the experience of the initial delivery to inform updates and
improvements that were applied to the following courses.
In addition to these MEL courses, MECC also designed and delivered the following trainings in FY2018:
PICAL Training for DEP – February/March 2018: The MEPSP Department for Studies and
Planning (DEP) was selected to benefit from training on PICAL as part of the capacity building offered
to the GDRC. MECC held working sessions with the DEP on the continuation of the PICAL program.
These working sessions led to the development of the training schedule as well as the distribution
of the working groups, namely the group of encoders, the group in charge of the analysis of the
results and the reporting, and the group in charge of the quality assurance. Following USAID’s
approval for PICAL training, MECC provided 8 half-day training sessions to the DEP, addressing eight
themes. Eleven (11)2 agents and executive staff of the DEP were trained on the data encoding, data
entry, and data analysis and reporting.
Third Party Monitoring (TPM) Workshop – June 2018: As part of the pilot phase of the
USAID/DRC TPM program, this 2-day training workshop provided an orientation to the TPM
process to local subcontractors in order to build their capacity to conduct TPM site visits. Training
materials were based on IBTCI’s experience with TPM in other countries and on real activity content
from USAID/DRC.
As part of MECC’s focus on capacity building, MECC contracted a local DRC organization with expertise in
2 Four (4) participants at the PICAL training only attended two half-day sessions.
19
MEL and skills in training – CIAUD – to partner with MECC in the delivery of the 3-day MEL courses. MECC
has progressively built up CIAUD’s capacity to lead a USAID MEL training over the course of FY2018. By
the end of the fiscal year, the partner was handling nearly all of the training logistics and displaying increased
mastery of the USAID MEL system and MECC’s recommended training techniques.
The table below summarizes the attendance across all trainings delivered by MECC in FY18. Further details
on all trainings that MECC delivered in FY2018 have been submitted to USAID training reports.
Table 1: Trainings implemented or supported by MECC in FY 2018
Mar 2018 Kinshasa – USAID Office MEL Fund. 20 X 10 10
May 2018 Kinshasa – USAID Office MEL Int. 14 X 9 5
June 2018 Kinshasa – Kin Plaza Arjaan Hotel
TPM
14
X
11
3
July 2018 Kinshasa – Kin Plaza Arjaan Hotel
MEL Fund.
8
X
7
1
Sept 2018 Beatrice Hotel MEL Int. 7 X 6 1
TOTAL3 74 54 20
M&E Capacity Building for the MEPSP
In FY 2018 MECC developed a multi-year training plan in M&E and research for the GDRC. As an initial step,
a MECC consultant undertook a desk review of MEPSP and Ministry of Social Affairs (Ministère des Affaires
Sociales; MAS) directorates’ missions and mandates related to the Sectoral Education and Training Strategy (Stratégie sectorielle de l’éducation et de la formation; SSEF). Subsequently, the MECC team conducted 16 needs
assessments interviews in Kinshasa with key stakeholders (11 with MEPSP directorates, two with MAS
directorates, one with SPACE, and two with ACCELERE! IPs). The interviews were conducted using a
standard, four-pronged approach that aimed to (i) verify and/or clarify MECC’s understanding of the roles
and mandates of the units; (ii) explore how they operate, especially regarding monitoring, evaluation and
research (MER) as well as their operational challenges; (iii) assess respondents’ understanding of MER; and
(iv) identify respondent needs and expectations for training in MER. The first draft of the multi-year training
plan was submitted to USAID on September 14, 2018. MECC is awaiting comments to finalize the plan and
begin the development of the training modules.
While developing the first draft of the multi-year training plan, MECC worked in close collaboration with
SPACE as the ministry body in charge of monitoring the SSEF implementation, including participating in the
meeting organized by SPACE on June 13th with the MEPSP and education technical partners. The goal of the
meeting was to highlight upcoming training opportunities and gather information on other ongoing or
planned M&E trainings financed by partners. SPACE also informed MECC of its plans to develop an M&E
framework for the SSEF with funding from UNESCO and its intention to request that USAID, DFID and
Activity 3 provide technical assistance to develop the M&E Framework.
ACCELERE! M&E Internships
Following the analysis of the needs assessments conducted by MECC in FY 2017, the DEP was selected as
the first beneficiary of the internship program during FY 2018. The internship program started in December
2017 with the signature of an MOU between MECC and the DEP. From December 2017 to September 2018,
two staff members from the DEP, Mr. Sylvain Sumaili, head of the Program Office, and Mr. Valery Nshokanyi,
3 Note that some trainees may have attended more than one of the above trainings. Thus, this is not a count of unique individuals, but rather a sum of all FY18 training attendance figures.
20
head of Office for Monitoring and Evaluation, participated in the internship program. An assessment of the
trainees’ M&E skills was conducted in January 2018 and the program was subsequently adjusted to meet the
expectations and skill levels of the trainees. A series of orientations on basic concepts in M&E were delivered
throughout the program, focusing on the project cycle, results chains, theories of change, logical frameworks,
indicators, indicator tracking tables, and M&E plans. In addition to strengthening their knowledge of the basic
concepts in M&E, the trainees had the opportunity to acquire or refine their skills in qualitative data collection
and semi-structured interviews. During Quarter 2, the two trainees actively contributed to the ACCELERE!
partnership review by participating in key informant interviews in Kasai Central and Haut-Katanga. They
attended the preparatory workshop on how to conduct semi-structured interviews and participated in the
piloting of the questionnaires. During Quarter 3, the internship program focused on (i) qualitative data
analysis; (ii) developing a needs assessments approach to develop the multi-year M&E training plan; and (iii)
planning the EGRA results dissemination. During Quarter 4, the internship program focused on quantitative
data analysis through the review of the 2017 EGRA findings and dissemination methodology. During the
internship, trainees were able to exchange with ACCELERE! M&E experts through their participation in the
M&E working group meetings. For each topic, MECC provided several resource materials for reference. The
internship program ended officially on September 26, 2018 with a workshop during which the interns shared
their learning achievements. A certificate of participation was given to the trainees. Interns also had the
opportunity to practice their new skills within other ACCELERE! Activities. Activity 1 has allowed the interns
to attend the EGRA enumerator training. Activity 4 collaborated with the DEP to conduct an assessment of
student achievement in pre-primary. Please see Annex G for the annual internship program report.
M&E Experts Database
In FY2018, MECC created a draft M&E Experts Database to identify local M&E experts of varying levels and
types of experience. The database includes information on qualified local firms, organizations, and individual
M&E experts that can be hired, engaged, or contracted for future USAID M&E work. The database is
currently set up in Google, with a Google form to capture the data on each M&E expert that MECC has
identified, and an excel view to show all M&E expert records. MECC expects to receive USAID’s feedback
on the next steps for this database in FY2019.
DELIVERABLES The following deliverables were completed or submitted this fiscal year:
Table 2: Deliverables submitted during the FY2018 Q4
Deliverable Date Comp. Approval Status
A!1 Final Performance Evaluation Design September 28, 2018 2 Pending
A! Midline Partnership Review. September 17, 2018 2 Pending
Activity 2 Data Collection Plan and Baseline Data Needs Analysis Report
September 7, 2018 2 Pending
Annual Work Plan Year 4 - FY 2019 August 30, 2018 Both Pending
Data Quality Assessment 55 - EG 13-1 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 56 - EG 10.2-4 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 57 - EG 10.2-2 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 58 - EG 13-6 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 59 - EG 10.2-5 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 60 - EG 13-3 (CARPE) August 24, 2018 1 Approved
Data Quality Assessment 61 - EG 13-2 (CARPE) August 24, 2018 1 Approved
CDCS Goal and DO Level Baseline Assessment Report August 22, 2018 1 Pending
Data Quality Assessment 51 - GNDR-9 (PSO-CRCA) August 17, 2018 1 Approved
Data Quality Assessment 52 - GNDR-2 (PSO-CRCA) August 17, 2018 1 Approved
21
Deliverable Date Comp. Approval Status
Data Quality Assessment 53 - PS.6.2-3 (PSO-CRCA) August 17, 2018 1 Approved
Data Quality Assessment 54 - GNDR-10 (PSO-CRCA) August 17, 2018 1 Approved
Data Quality Assessment 43 - CUSTOM (PSO-CONNECT) August 16, 2018 1 Approved
Data Quality Assessment 44 - CUSTOM (PSO-CONNECT) August 16, 2018 1 Approved
Data Quality Assessment 45 - CUSTOM (PSO-CONNECT) August 16, 2018 1 Approved
Data Quality Assessment 46 - CUSTOM (PSO-CONNECT) August 16, 2018 1 Approved
Data Quality Assessment 47 - CUSTOM (PSO-CONNECT) August 16, 2018 1 Approved
Data Quality Assessment 48 - DO1-16 (DRG) August 16, 2018 1 Approved
Data Quality Assessment 49 - DO2-19 (DRG) August 16, 2018 1 Approved
Data Quality Assessment 50 - DR.3.3-2 (DRG) August 16, 2018 1 Approved
Annual analysis report, visualization, and presentation of results in the ACCELERE! Logframe and M&E Plan (formerly Component 2
indicator data, assessment findings and progress information
package for DFID Annual Report Y3)
August 8, 2018 2 Pending
Annual Update on the Multi-Year ACCELERE! EGRA Plan
August 7, 2018 2 Pending
Quarterly Progress Report 08 -- Q3 FY 2018 (Y3) July 30, 2018 Both Approved
Monitoring, Evaluation, and Learning (MEL) Advanced Course Training Report
July 30, 2018 Both Approved
ACCELERE! Monthly Bulletin – June 2018 July 30, 2018 2 Approved
ACCELERE! Monthly Bulletin – May 2018 July 30, 2018 2 Approved
ACCELERE! Monthly Bulletin – April 2018 July 30, 2018 2 Approved
ACCELERE! Log Frame and Monitoring and Evaluation Plan July 16, 2018 2 Pending
One Day Component 1 Performance Monitoring Training Session Agenda and Summary 03 -- M&E Fundamentals?
May 14, 2018 1 Approved
One Day Component 1 Performance Monitoring Training Session Agenda and Summary 04 -- M&E Fundamentals?
May 15, 2018 1 Approved
One Day Component 1 Performance Monitoring Training Session Agenda and Summary 05 -- M&E Fundamentals?
May 16, 2018 1 Approved
MECC FY18 Quarter 2 Report May 28, 2018 Both Approved
MECC ACCELERE January 2018 Monthly Bulletin May 28, 2018 Both Pending
MECC ACCELERE February 2018 Monthly Bulletin May 28, 2018 Both Pending
MECC ACCELERE March 2018 Monthly Bulletin May 28, 2018 Both Pending
ACCELERE! Partnership Review Report May 24, 2018 2 Pending
A! Endline Impact Evaluation Design and Implementation Plan for Activity 1
June 15, 2018 2 Pending
A! Partnership Review presentation for DFID June 22, 2018 2 Pending
TA: Review of CGBV MELP January 25, 2018 1 Pending
Briefing materials packages for ACCELERE! Annual Donor Meetings
February 28, 2018 2 Pending
MECC Monthly Bulletin for January 2018 February 20, 2018 2 Approved
MECC Monthly Bulletin for February 2018 February 20, 2018 2 Approved
22
Deliverable Date Comp. Approval Status
MECC Monthly Bulletin for March 2018 March 26, 2018 2 Approved
Component 2 Summary Work Plan March 9, 2018 2 Approved
FY18 Q1 Progress and Financial Reports January 30, 2018 Both Approved
FY 2017 Annual Report October 30, 2017 1 Approved
PPR indicator data package November 13, 2017 1 Approved
QPM: IP Meeting Bukavu November 14, 2017 1 Approved
ACCELERE! Data Gap Collection Plan December 15, 2017 2 Approved
TA: Review of CRCA MELP December 18, 2017 1 Pending
TA: review of the IGA PICAL tool December 20, 2017 1 Pending
TB Assessment Plan December 22, 2017 1 Approved
QPM: MECC Support to FFP R&I Workshop, Bukavu Oct. 2017 December 26, 2017 1 Approved
Asili Assessment Plan December 26, 2017 1 Approved
Asili Assessment Report December 26, 2017 1 Approved
A! Partnership Review Design and Implementation Plan December 28, 2017 2 Approved
MECC FY 2018 Work Plan (revised) December 29, 2017 Both Approved
PERSONNEL UPDATES
Long Term Technical Assistance (LTTA)
Ms. Ruth Speyer, Learning Specialist, joined MECC on April 16th and deployed to Kinshasa on May 1st.
Mr. Thierry Ngoie, formally the Kasai Central Regional Coordinator, joined as the Kinshasa-based
Learning Officer on April 30th.
Heather Casciato, Technical Coordinator, joined the MECC project on May 29th and deployed
to Kinshasa on June 6th.
Mr. Pacifique Mugaruka, Senior Data Analyst, joined MECC on June 18th.
A candidate for the Data Analysis and M&E Specialist position who will support ACCELERE Activity
3 has been identified and approved. He is expected to start working in October 2018.
As required by its task order and as detailed in the regional closedown plan submitted to USAID on
January 8, MECC terminated the contracts of its Regional Coordinators and closed its regional offices
at the end of Year 2. The closedown was complete by the end of the quarter.
The driver and the M & E specialist / Regional Coordinator based in Lubumbashi were terminated
following the closure of the Lubumbashi office in December 2017.
The Kinshasa Finance and Administrative Manager position was replaced by the Financial,
Administrative and Program Assistant position in February 2018 in order to better meet
implementation needs following the closure of the Lubumbashi office and taking into account the
proposed changes to the MECC contract.
A candidate for the Data Analysis and M&E Specialist position who will support ACCELERE Activity
3 has been identified and approved. He is expected to start working on October 22, 2018.
Positions currently under recruitment:
o DCOP for Component 1
o M&E Specialist (2 positions)
23
MECC has experience difficulties in the recruitment of these positions due to the high-level
qualifications required.
Short Term Technical Assistance (STTA)
Ms. Lauren Oing, Director -Crisis, Conflict and Governance at IBTCI HQ, traveled Kinshasa
from May 25 to June 22, 2018 to provide coverage during MECC’s COP leave. During her visit,
she supported key technical and management activities, including supporting the CDCS
Assessment Report, providing oversight to the data portal development, overseeing the
development of TPM activities and serving as a point of contact between USAID, MECC and IBTCI
HQ.
Mr. Rob Grossman, Vice President – Technical Services, from IBTCI HQ, traveled to Kinshasa in
January, March, and June to oversee coordination of TPM activity planning and to support the
training for TPM Partners.
MSI Technical Director, Gaëlle Simon, traveled to Kinshasa three times during this fiscal year:
(i) from November 8-30, 2017 to provide general support to the local team, finalize the data gap
collection plan, coordinate the establishment of targets for indicator E.S. 1-1, observe the
launching of the EGRA surveys in Gemena and discuss the partnership review approach with
donors, (ii) from March 15-22, 2018 to provide support to the Partnership Review Data Walk
and attend meetings with USAID and DFID on planned ACCELERE! evaluations, (iii) from June 18-
28 to lead the development of a power point presentation of the key findings of the
Partnership Review for DFID’s senior management and meet with the USAID Education Team to
discuss the Activity 3 deliverables.
Mr. Jacques Bérard was recruited as a consultant to develop the multi-year training plan to build
the capacity of GDRC in monitoring and evaluation and research. He carried out a desk review
and traveled to Kinshasa from June 2-14, 2018to conduct a needs assessment with the MEPSP and
MAS. He traveled back to Kinshasa from August 22-28, 2018 to meet with SPACE to review and
finalize the multiyear training plan. He planned to meet with USAID for a better understanding of
USAID expectations for developing the Education portfolio MEL plan. However, this meeting did
not take place. Instead he met with Activity 2 to discuss feedback on their MEL plan. Mr. Bérard
reviewed the Activity 2 M&E plan and log frame and developed a draft report with recommendations
for improvements.
Ms. Halae Fuller, MSI Project Manager, traveled to Kinshasa from June 17-28 to provide technical
and administrative support to MSI’s team in Kinshasa. She worked on the Partnership Review
presentation for DFID’s leadership and produced summary notes of the meetings held with DFID
and USAID during her visit. She also conducted internal reviews of MSI’s field office procedures and
provided training for the MSI finance and administrative staff member who recently joined the
Kinshasa office.
MECC engaged Dr. Millat-e-Mustafa as a Senior M&E advisor, a TCN consultant, to provide the
senior level technical assistance in monitoring, evaluation and learning activities from June to
December, 2018.
Frank Sullivan was selected as a consultant to develop data collection tools for TPM from March –
April, 2018.
IBTCI Director, Steve Hansch, traveled to Kinshasa in January to lead the assessment of
USAID/DRC’s TB portfolio.
MECC Project Director, Beth Cunningham, traveled to Kinshasa to provide general oversight and
support to the project, as well as to provide dedicated support to the finalization of
24
materials for the MEL fundamentals training scheduled for March. She also traveled to
Kinshasa in March to support finalization of the TB assessment.
25
IBTCI Director, Lauren Oing traveled to Kinshasa to support development of materials for the
MEL advanced training scheduled for May.
MECC engaged two TB experts, an international and a local consultant, to conduct the TB
assessment. Both mobilized in November 2017 and will support the activity through March 2018.
IBTCI Vice President, Rob Grossman, traveled to Kinshasa in January and March to lead TPM activities.
Senior Evaluation Specialist, Dr. Donna Podems, provided STTA support as the Team Leader for
the partnership review. Dr. Donna Podems finalized the design and implementation plan in
December 2017 and subsequently undertook the document review in January to February. In
February and March, she travelled to DRC to lead the Data Walk session in Kinshasa on March
21, 2018. Dr. Donna Podems also led the development of the first draft of the Activity 1 final
performance evaluation.
MSI recruited a local consultant, Anaclet Nlandu to support the KII as part of the Partnership
Review. He participated in the training on how to conduct semi-structured interviews and
conducted interviews in Kinshasa and Kasai Central.
Mr. James Parr provided STTA support in January and February for data visualization for the
annual donors meeting and analysis of the baseline EGRA data received from ACCELERE! 1 in
February.
MSI’s Education Practice Area Lead, Dr. Jeff Davis, traveled to Kinshasa from October 15th to
19th to co- lead the benchmarking workshop with A!1.
MECC LEARNING
MECC programming and operations over the course of FY2018 yielded the following learning that may be
useful for USAID:
Lessons for MECC: To help clarify “TPM” for Mission staff and IPs, terminology should be used to emphasize that this is
a ‘monitoring and verification’ process. This will help establish the right expectations about what
can/can’t be accomplished through the activity, and ensure a clear differentiation between TPM/M&V
and other more comprehensive assessments and evaluation exercises.
Consistent inclusion and involvement of the USAID CORs/Activity Managers throughout the TPM
planning and implementation process is important, particularly on communications between
MECC/the sub-contractor and the IPs. This allows CORs/Activity Managers to track the progress
and help to mitigate any confusion or complications between MECC/the sub-contractor and the IPs
throughout the process.
A standard form that can be shared with USAID activity managers explaining what information is
needed and providing a place to collect information on which activities should be monitored during
a TPM site visits would be useful.
In FY2018, MECC determined that their current process for MELP Reviews did not provide the
depth of information necessary for a thorough review. A new process was established in
collaboration with the Program Office, and applied to the review of the C-GBV MELP.
In FY2018 MECC faced challenges producing deliverables that were dependent on ACCELERE!
partner contributions. For example, though MECC requested data from IPs in December 2017 in
preparation for the annual donors meeting, several additional emails, office visits and calls were
required to obtain the needed data. Additionally, once received, the data needed to be thoroughly
26
reviewed, cleaned and re-visualized to meet USAID and DFID expectations. Similar difficulties arose
monthly for the development of the bulletin, as described above.
In addition, though reviewed and agreed to in December 2017 during working group meetings with
IPs, USAID and DFID, the ACCELERE! annual work plan and research agenda remain pending
following new negotiations between IPs and the funders. IPs have been unable to confirm or update
the annual work plan and the research agenda given on-going discussions with USAID and DFID
which impedes MECC’s ability to finalize these two deliverables. Several challenges to development
of the harmonized ACCELERE! annual work plan and research agenda include:
o The workplans of each A! have already been established and validated by the donors prior to the A!3 led coordination meeting. This restricts the ability to propose changes to the work plans to ensure better coordination of activities in the field;
o Each work plan uses its own format which makes the compilation of the three work plans
into a single document arduous;
o IPs often revise their research agenda based on the Activity’s implementation timeline. Some research was canceled and others maintained or combined. By the end of the quarter 2, IPs were still waiting for approval of their revised research agendas, which caused delays to the development of the harmonized ACCELERE! research agenda;
o IPs are also awaiting approval from donors for completed research reports, which causes
delays to the dissemination of research findings.
MECC will continue to hold discussions with USAID and DFID regarding these difficulties and will
continue to propose solutions to alleviate the delays and product quality issues that frequently arise
from the use of partner generated data and information
MECC should mobilize temporary surge support to assist with the data entry and ensure quality
control during the large data collection process that takes place in support of annual reporting.
The collaborative approach utilized for the Asili Assessment proved useful for the identification of
objectives and approach, and for the finalization of an assessment plan.
MECC should collaborate with the PRO to development a strategy to prevent repeated submissions
of the Standard Reporting Template (SRT) by IPs and Technical Teams.
Lessons for USAID Hosting trainings at USAID can pose certain problems. Notably, participants may leave the training
sessions at various points in order to go back to their usual activities. In addition, non-USAID staff
have experienced challenges getting in and out of the USAID property due to the security protocols,
particularly when bringing in the catering for coffee breaks. Finally, the USAID attendees overseeing
the training are required to spend a significant amount of time escorting non-USAID staff for any
entry, exit, or other movement, which proved cumbersome. USAID may want to consider holding
future MEL trainings offsite to mitigate these challenges in the future.
Per the discussion above concerning the collection of data from ACCELERE Partners, USAID should
work with DFID and MECC to identify a process that will ensure the timely sharing of all necessary
data by the ACCELERE Partners.
The Mission Portfolio Review highlighted several data related issues across the mission including:
o Lack of centralized data system creates barriers to the data collection process;
o Various levels of understanding of M&E reporting requirements impacting data availability
and quality; and
o Misunderstanding of indicator selection and target setting, which resulted in unexpected performance across the mission.
27
The first point was addressed by the creation of the online data portal, while the remaining two
were addressed through the MEL Training program for USAID mission staff.
The MSRT utilized for the annual data collection process presented significant challenges for data
collection and compilation. If the MSRT remains in use, it will be necessary to make several
adjustments, such as standardizing indicators and locking cells, in order to minimize errors in entry,
validation, and compilation phase.
CORs and AORs should implicate themselves earlier in the data collection process.
ACTIVITIES PLANNED FOR PROJECT YEAR 4
IR 1: Access to relevant and reliable high-quality data and information
strengthened
CDCS Performance Monitoring MECC will continue to liaise with the USAID Program Office to finalize the online data portal for collection
of CDCS PMP indicators. Once functional, MECC will compile the data submitted for Q1, Q2 and Q3
through the Standard Reporting Templates and upload it onto the portal. In addition, MECC will provide
training sessions to IPs on data submission through the portal and to AORs/CORs/AMs and other Mission
staff on using and analyzing data stored on the portal.
MECC will continue to lead data analysis of CDCS PMP indicators on a quarterly and annual basis, and will
analyze CDCS performance monitoring data on an annual basis. Results will be shared via status reports and
assessments, and presentations or reports prepared for Mission Portfolio Reviews. The data will also be
utilized for regular updating of the CDCS PMP. In addition, in November, MECC will provide USAID with
aggregated quantitative data for all necessary PPR indicators.
Technical Assistance to Implementing Mechanisms
In FY 2019, MECC will continue to provide technical assistance to the USAID implementing mechanisms
(IM) – both USAID and IP management – in the review of activity MEL Plans. The reviews will apply the
checklist and report templates developed by MECC in FY 2017, which determine if a draft MELP contains
the recommended sections and information, and provide practical recommendations to the relevant
COR/AOR/AM for finalizing the reviewed MEL Plan with their IM. A completed MEL Plan review form
(developed in project year one) will be submitted to USAID two weeks after receipt of a completed MECC
Support Request form. In anticipation of this effort, MECC will liaise with the Program Office to factor in
forthcoming IMs likely to be launched in FY 2019 for which the Program Office may seek MECC review.
TPM
In FY 2019 MECC will continue to implement TPM visits, coordinating with Program Office, to prioritize
areas and programs to be monitored based on established criteria. In preparation for each site visit, MECC
will collaborate with the Mission activity managers to identify their monitoring needs and develop data
collection tools tailored to each site. In addition, MECC will engage the IPs in order to obtain additional
orientation and insight into their activities that will inform the site visit methodology and coordination. After
each site visit MECC will package and analyze the data collected and provide synthesis reports to
USAID/DRC on a rolling basis.
Data Quality Assessments
MECC will continue to respond to requests for DQAs in FY 2019 for indicators requiring quality
assessment based on the established criteria (last assessment was two or more years ago, new indicators
added, etc.). Technical teams will submit MECC Support Request Forms specifying the indicators to be
assessed, implementing mechanisms reporting on said indicators, and purpose of the DQA. MECC will
28
collect data using its key informant questionnaire and will document findings in a comprehensive report
per sector to include one USAID standard checklist completed per indicator; overall findings, analysis and
recommendations for each indicator; and individualized reports with findings, analysis, and
recommendations for each IP.
Assessments and Evaluations
At the request of USAID technical teams, MECC will design and/or conduct up to two assessments in FY
2019. Additional Component 1 assessments may be requested by technical teams, in which case MECC will
update this work plan accordingly.
ACCELERE 1 Impact Evaluation
During FY 2019, MECC will begin preparations for the endline impact evaluation of Activity 1, including
leading the tools development process and training of the data collection teams.
Component 2 Performance Monitoring
During FY 2019, MECC will update the ACCELERE! log frame once annual IP data are available and prior to
the Annual Donors Meeting in Q2. MECC will also provide an updated log frame to DFID for its annual
reporting in Q4.
MECC will continue to hold discussions with USAID regarding several deliverables that are currently being
reconsidered. They include the following:
The performance management framework which may be substituted with the USAID data portal The USAID education portfolio MELP
The final performance evaluation of the governance component for ACCELERE!
MECC will also provide support to Activity 1 in its dissemination of the 2017 EGRA results and will provide
an updated multi-year EGRA plan to USAID in Q3.
IR 2: Adaptive management strategies and mechanisms identified and
supported
Collaboration Committee and/or Cluster support
MECC plans to continue supporting USAID/DRC’s strategic collaboration structure in FY19. This will
involve close coordination with the Strategic Coordinator (Stephen Andoseh), who is the focal point for
the collaboration structure, and ongoing advisory, logistical and analytical support to the Collaboration
Committee and the Collaboration Clusters. Should USAID/DRC so desire, MECC may also assist in the
documentation of the Mission’s CLA-related events and activities, and any identifiable results of the CLA
events and activities.
The collaboration structure will be a key vehicle for MECC’s achievement of a few key deliverables – (1)
partner meetings/workshops; (2) learning and sharing events; and (3) annual portfolio review workshop.
Each is noted below.
Partner Meetings/Workshops
MECC plans to support USAID/DRC in hosting 10 partner meetings/workshops in FY19, provided that
USAID is able to fix dates for travel to the field. MECC will provide logistical support as well as technical
support. Examples of technical support may include: helping to plan the meeting/workshop agenda, serving
as facilitators during the meeting/workshop, or presenting relevant MEL and/or CLA content in the
meeting/workshop.
Learning and Sharing Events
MECC plans to support USAID/DRC in hosting 10 learning and sharing events in FY19, provided that
USAID is able to fix dates for travel to the field. Per USAID/DRC’s collaboration committee members and
29
the deputy mission directors in September 2018, USAID/DRC’s current focus for this type of event is a field
trip for USAID staff that they call a “field learning event.” These events intend to promote an exchange
across sectors, while asking – what are the key issues that our projects are facing and how can we try to
address them? Other types of learning and sharing events are also possible, such as gathering together
larger groups of relevant stakeholders in the field or in Kinshasa so that they can be informed about
successes, challenges and results that are part of USAID/DRC’s current experience. MECC will provide
logistical support as well as technical support for the learning and sharing events. Examples of technical
support may include: helping to plan the topic(s) for the event, or serving as facilitators during the event.
Mission Portfolio Review
MECC will work alongside the Program Office, Collaboration Committee and technical teams to help
develop the structure for the FY18 Mission Portfolio Review and, as mentioned above provide data, analysis,
and conclusions related to performance against strategic results. MECC and USAID will convene a workshop
at the Mission in FY19 to share the findings of the FY18 Mission Portfolio Review.
Mission-level Learning Agenda
MECC plans to provide assistance to the Mission in FY19 to re-visit the Mission-wide learning agenda at the CDCS level. Given the scale of the Mission and the breadth of its CDCS Goal, DOs, and TO, in FY19 MECC
will focus on assisting the Mission in identifying real and attainable learning questions and information needs.
A practical Mission-level learning agenda will allow the Mission to capitalize on the opportunity for high-level
learning about what works, what doesn’t, and why in an integrated strategy such as USAID/DRC’s and in the
specific context of the DRC. MECC will provide direct assistance to the Program Office in reviewing existing
learning questions from the CDCS and PADS, the 2016 draft learning agenda developed with support from LEARN, and/or other sources, determining which ones are most relevant for decision-making while also
feasible to answer, identifying new questions if necessary, and documenting all of the above in USAID’s
standard learning agenda template.
ACCELERE! monthly bulletin
During FY 2019, MECC will continue to compile IP information for the monthly bulletin.
ACCELERE! partner coordination
MECC will continue to host ACCELERE! IPs during the M&E working group meetings to produce a harmonized FY 2019 ACCELERE! workplan, to discuss on-going and upcoming research studies and to devise
strategies for the dissemination of research findings.
USAID/DFID Partnership Review
MECC will work with USAID and DFID on the dissemination of the findings from the Partnership Review,
which may include a review meeting with the ACCELERE! IPs.
IR 3: M&E Resource base in DRC strengthened
In FY 2019, MECC will continue to deliver trainings in line with the needs assessment and training plan
from FY 2017. This will include the following trainings:
MEL Fundamentals: MECC designed this three-day training for Mission staff in FY2018 and will
continue to deliver it in FY 2019 as it has been well received by Mission staff and meets an identified
need for foundational MEL training, particularly across AORs/CORs and Activity managers. MECC
plans to offer it once in FY 2019.
MEL Intermediate: MECC also designed this three-day training for Mission staff in FY 2018, and
as with the MEL Fundamentals course, it will continue to be offered in FY 2019. The focus of this
training goes beyond MEL fundamentals and explores data analysis and use. MECC plans to offer this
training once in FY 2019.
30
Specialized Trainings: MECC will design and deliver specialized trainings on the most frequently
requested training topics from the interviews, such as DQAs, as well as discrete specialized or
advanced topics. These sessions will emphasize a hands-on, practical approach to ensure their
usefulness in day-to-day Mission and IP responsibilities. In FY 2019, MECC-led training topics may
include:
o Site Visit Trainings for Mission staff
o Evaluation design and management for Mission staff
o MEL and CLA Capacity Building Sessions for field-based IP staff (incorporated with the above-mentioned field visits), on topics such as: use of the USAID/DRC data portal; understanding TPM; understanding and preparing for DQA; or understanding CDCS and Mission-level analysis and reporting.
M&E Experts Database
Per the Task Order, in FY 2018 MECC established a database referencing Congolese individuals,
organizations, or firms demonstrating specific to wide expertise in Monitoring and Evaluation. This database
provides a resource to USAID and its Implementing Partners or the GDRC to assist in the implementation
of M&E related tasks. During FY 2019 MECC will continue update the database on a quarterly basis.
Multiyear training Plan for the GDRC
Once USAID approves the multi-year training plan for the GDRC, MECC work will closely with SPACE to
establish an implementation timeline and review the training modules. The first training sessions are expected
by the end of Q2.
ACCELERE! M&E internship program
Two new interns will be selected for the internship program in FY 2019. The new sessions will begin in
December 2018 and will last through September 2019. It is anticipated that the interns will participate in the
preparatory activities for the endline impact evaluation and in the MER training workshop for the GDRC.
1
ANNEX A: MECC FY 2018 Activity Summary
International Business and Technical Consultants, Inc. (IBTCI) is pleased to present the following
summary of activities implemented by USAID/DRC’s Monitoring, Evaluation and Coordination Contract
(MECC) in fiscal year 2018 (FY18), covering the period from October 1, 2017 to September 30, 2018.
Performance Monitoring
Data collection and analysis of Mission performance monitoring data: Collection and analysis of
Mission-wide performance monitoring indicators for each technical team for the Mission’s Annual
Portfolio Review, PMP status report, and for the PPR;
CDCS Perception survey: Design and implementation of a perception survey on knowledge and
attitudes towards public service in strategic development corridors and transition zones; and
analysis and presentation on findings;
Data portal: Coordination with the Mission and the portal designer to finalize the interface, review
and modify as needed, and prepare to rollout training and initiate using the portal for data collection
beginning in October;
Third Party Monitoring: Activity planning, identification of TPM sub-contractors to carry out the data
collection, coordination with USAID Program Office and technical teams to gather information on
monitoring & verification needs, development of data collection tools, and implementation of pilot
site visits;
ACCELERE! log frame & M&E Plan: Review of ACCELERE! log framework and updating of M&E
Plan through collecting and reviewing IP indicator data and assessment findings and completing the
progress information package for DFID’s annual report.
Evaluations and Assessments
FY18 DQAs: Development of FY18 DQA plan and implementation of DQAs for PEPFAR, CARPE,
DRG and PSO;
ACCELERE! Activity 1 Endline Impact Evaluation: Development of the design and implementation
plan;
ACCELRE! Activity 1 Final Performance Evaluation: Finalization and submission of the design and
implementation plan scheduled to take place in 2020;
TB Assessment: Completion of data collection, submission of report, and debrief with USAID on
preliminary results and recommendations;
Asili Assessment: Collaborative assessment with the EG team to review the social enterprise model
for the Asili program including design and implementation of the qualitative component.
Technical Assistance to USAID and IPs
Activity MELPs: Collaboration with CORs to improve MELP review process, and review and feedback
provided on MELPs for ACCELERE! Activity 2 Counter-Gender Based Violence (C-GBV),
Community Resilience in Central Africa (CRCA), Strengthening Kivu Value Chains (SVC), Integrated
Youth Development Activity (IYDA) and the Integrated Health Project (IHP);
Joint Performance Management Plans: Support to development of a joint Monitoring Framework
for the Central Africa Regional Program for the Environment (CARPE) and the Peace and Stability
Office (PSO);
Monitoring, Evaluation and Learning plan for USAID Education Projects: Collection and updating of
USAID documents to inform the plan.
2
Mission Coordination and Collaboration - CLA
Collaboration Committee / Collaboration Clusters: Review of scope and objectives, accelerated
engagement of representatives, and cluster team meetings including a meeting with the Regional
Conflict and Environment Cluster and Food Security Cluster;
Implementing Partner Meetings:
o A field visit to Lubumbashi by the Office of Financial Management from October 16-20, 2017,
involving IHAP, EAGLE, A!1, HREJA, IGA, Congo Demokrasia and ELIKYA;
o A Refine & Implement (R&I) workshop for Food for Peace (FFP) from October 23 – 25, 2017;
o A meeting attended by the Mission Director, US embassy personnel, and IPs operating in North
and South Kivu, in Bukavu on November 14, 2017;
o Meetings in Bukavu on December 7 – 8, 2017 with Asili and Kivu Value Chain, complemented
by site visits related to the upcoming Youth activity in Kalehe and Bushushu;
o A partner meeting in Bukavu on March 1, 2018;
o A partner meeting in Lubumbashi on March 22, 2018;
ACCELERE! Partner Coordination
Participation in Strategic Collaboration Meetings: ACCELRE! Steering Committee; ACCELERE! Chief
of Party meeting; USAID education partners’ meeting, Monthly ACCELERE! meetings; joint
monitoring mission in Haut-Katanga and Lualaba; M&E working group meetings; a partner
coordination meeting organized by SPACE; and regular bi-monthly meetings with USAID and DFID;
ACCELERE! Learning: Monthly bulletins: Development and distribution for each month;
ACCELERE! Partnership Review: Implementation of the mid-term review, including document
review, key informant interviews, and a Data Walk; in addition to analysis and reporting on findings,
incorporation of comments received from USAID and DFID, and submission of final revised report;
ACCELERE! M&E working group meetings: Participation in meetings with agendas including results
of a geo-localization of schools and Bureaux Gestionnaires; results from 2017 EGRA and
dissemination strategy discussions; the MoU between ACCELERE! and the MEPSP on research
studies, and a presentation and review of Activity 1 school monitoring data;
ACCELERE! Annual Donor Meeting: Participation and presentation on A!3 achievements and the
ACCELERE! log frame results achieved, research initiatives, and challenges during implementation;
ACCELERE Research: Updating of harmonized IP research plan and meeting with DEP on
ACCELERE! research mandate.
Trainings & Capacity Building
Training plan: Created and implemented a training plan in partnership with the MECC COR that
maps out when trainings will occur in FY2018, FY2019, and FY2020;
MEL Fundamentals and MEL Advanced Training Courses: Conducted twice - with 20 Mission staff
participants at the MEL Fundamentals in March 2018 and 8 staff in July 2018, and 14 staff at MEL
Advanced in May 2018 and 7 staff in September 2018;
Third Party Monitoring (TPM) Workshop: Facilitation of training of trainers for TPM partners;
M&E Capacity Building for the MEPSP: Development and submission of the first draft of the multi-
year training plan in M&E and research for the GDRC;
ACCELERE! M&E Internships: Completion of year one of the internship program, with the successful
capacity building of two beneficiaries from the DEP;
PICAL Training for DEP: Facilitation of 8 training sessions with 11 DEP staff, on themes including
data coding, entry, analysis and reporting;
M&E Experts Database: Development of an online (Google) database to identify local M&E experts
of varying levels and experience who can be engaged by USAID for future M&E work.
MONITORING, EVALUATION, AND COORDINATION CONTRACT:Annual PROGRESS REPORT ANNEX B: B. Progress Against FY18 WorkplanFY 2018
S/N Comp. Link to M&E Work Plan Activity Expected Results/Deliverables v Duration OCT NOV DEC JAN FEB MAR APR MAY JUN JUL AUG SEP
1 1 IR 1
CDCS PMP "Office Hours" with AORs/CORs and IPs
1) Share changes on the IP's PMP Profile, 2) Remind IM responsibilities vis-à-vis PMP
M&E
1-2 hour sessions with up to 54 IMs from October to
January and from August to September
X X X X X X
2 1 IR 1Clean and enter CDCS PMP data received from I Ps
CDCS PMP performance indicator data received from IPs are entered into MECC database on a quarterly basis
M&E 4 weeks per quarter X X X X X X X
3 Both IR 1 DO 1 Level Assessment DO 1 Assessment Report X X X
4 Both IR 1 DO 2 Level Assessment DO 2 Assessment Report M&E 10 weeks X X X
5 Both IR 1 TO3 Level Assessment TO3 Assessment Report M&E 10 weeks X X X
7 Both IR 1 Support Mission to collect and analyze annual PPR data
Indicator data, assessment findings and progress information packages for annual PPR M&E 12 weeks X X X
8 2 IR 1
Conduct a gap analysis and work with ACCELERE! partners to identify and develop any additional tools, instruments, assessments, and protocols to collect the needed information.
Data Gap Collection Plan
A!3 2 weeks X
9 2 Sub-IR 1.1Review A!2 M&E Plan Recommendations for improvement to A!2 data
collection plan A!3 2 weeks X X X
10 2 IR 1Provide data visualization of ACCELERE! Logframe indicators and results
Collect partner results for FY 2017; Produce data visualization for Annual Donor Meeting A!3 4 weeks X X X X X X X
11 1 Sub-IR 1.1Review of Project, Technical Office, or IP M&E Plans, as requested
M&E plans are appropriately aligned with the CDCS PMP, are relevant, and are actively being used for project management purposes
M&E 2 week for review X X X X X X X X
12 2 IR 1Identify and/or design data collection tools for A!3 primary data collection
Data collection tools for the ACCELERE! partnership review developed A!3 4-6 weeks X X
13 2 IR 1Develop database to house ACCELERE! performance monitoring data
User-friendly, low-cost database compatible with USAID and DFID information management systems; NB: data to be collected at the beginning of FY 2018
A!3 2-3 weeks X X X X X X X
14 2Working in close coordination with A!1, present student learning data learning data
Updated multi-year ACCELERE! EGRA planA!3 1 week X
15 Both IR 1 Maintenance and update of Data Management System
A data management system that is cloud based and accessible to IPs for data entry M&E 26 weeks X X X X X X X X
16 Both Sub-IR 1.1 Implement a Third Party Monitoring Program Up to 3 field reports are shared with the USAID M&E 24 Weeks X X X X X X
17 Both Sub-IR 1.1 Conduct DQAs for up to 20 indicators DQA Report(s) M&E 2-3 weeks each X X X X X X X X
18 2 IR 1
Design and maintain an ACCELERE! Logframe and M&E Plan that will be used for program monitoring and reporting, and to inform decision-making, resource allocations, project adaptation, and learning.
Finalize A! MEL Plan that responds to USAID and DFID management frameworks
A!3 3-4 weeks X X X X X
19 1 I.R.2. TB Portfolio Assessment TB Portfolio Assessment Report M&E 12 weeks X X X X
20 1 I.R.2. EG Assessment EG Social Enterprise Assessment M&E 12 weeks X
21 2 Sub-IR 2.1 meeting with A! IPs targets for future implementation; determine A!3 1-day session Xdissemination schedule
Organize and facilitate annual coordination Examine agenda for A! research agenda; establish
MONITORING, EVALUATION, AND COORDINATION CONTRACT:Annual PROGRESS REPORT ANNEX B: B. Progress Against FY18 WorkplanFY 2018
S/N Comp. Link to M&E Work Plan Activity Expected Results/Deliverables v Duration OCT NOV DEC JAN FEB MAR APR MAY JUN JUL AUG SEP
22 2 Sub-IR 1.1
Develop and submit A! reading impact evaluation design & implementation plan
Agreement on evaluation questions, methodologies, tools, timeframe, implementation and management considerations, and reporting structure, dissemination, and timing.
A!3 4 weeks X X
23 2 Sub-IR 1.1
Develop and submit for USAID and DFID approval an evaluation design and implementation plan for endline performance evaluation of A!'s governance interventions (A!1 + A!2)
Agreement on evaluation questions, methodologies, tools, timeframe, implementation and management considerations, and reporting structure, dissemination, and timing.
A!3 4 weeks X X
24 2 Sub-IR 1.2
Develop and submit for USAID and DFID approval an evaluation design and implementation plan for endline performance evaluation of A!1
Agreement on evaluation questions, methodologies, tools, timeframe, implementation and management considerations, and reporting structure, dissemination, and timing.
A!3 4 weeks X X
25 2 Sub-IR 3.1Develop MOU with strategic partners and identify two interns
Interns identifiedA!3 4 weeks X X
26 2 Sub-IR 3.1Assess and analyze baseline M&E skills and competencies for interns
Baseline establishedA!3 1-2 weeks X X
27 2 Sub-IR 3.1Engage interns per SOW Interns gain M&E knowledge and support
ACCELERE! M&E needs A!3 8-10 months X X X X X X X
28 1 Sub-IR 3.2 Complete MEL Fundamental Module Pilot and Training Plan
Training andragogic approach meets USAID trainees needs IS October to December X X X
29 1 Sub-IR 3.2 Deliver A/COR Clinic MEL Training Fundamentals USAID personnel increase their MEL management capacity IS 4 weeks X X
30 1 Sub-IR 3.2 Deliver A/COR Clinic MEL Training Advanced USAID personnel increase their MEL management capacity IS 4 weeks X X
31 1 Sub-IR 3.2 Deliver A/COR Specialized Trainings on DQAs USAID personnel increase their MEL management capacity IS 4 weeks per session X
32 1 Sub-IR 3.2 Deliver A/COR Specialized Trainings on Conducting oversight Field Visits
USAID personnel increase their MEL management capacity IS 4 weeks per session X
33 1 Sub-IR 3.3 Deliver A/COR Specialized Training on Evaluation Design and Management
USAID personnel increase their MEL management capacity IS 4 weeks per session X
34 1 Sub-IR 3.2 Deliver Specialized Trainings (topic selection based on need)
Selected National Institutions and their IM increase their PICAL management capacity IS 4 weeks per session X X X X X X
35 1 Sub-IR 3.2 Deliver M&E TOT to M&E Points of Contacts Building of internal capacity to provide ongoing support IS 4 weeks per session X X X
36 1 Sub-IR 3.2
Deliver MEL related orientations USAID on-boarded personnel and new IM understand their MEL responsibilities and their key contents (PMP profile, PICAL, Survey, TPM, DQA, A-MELP, EXt Evaluation, Assessment)
IS Permanent on going sub-activity X X X X X X X X X X X X
37 Both Sub-IR 3.2Develop M&E Experts Database Provide a resource to USAID, IPs, and GDRC to
assist in the implementation of M&E Related tasks IS Ongoing X X X X X X
38 1 Sub-IR 2.1
Deliver required analysis for CLA Agenda core elements (DQA for PPR, PPR, MPR) for Mission evidences-based reporting and decision-making
USAID has a streamlined and routinized data collection and analysis process. USAID access substantiated evidences based analysis (compiling mission, performance, field and context information) to inform and adjust its strategy and make needed course adjustment
IS Permanent on going sub-activity X X X X X X X X X X X X
39 1 Sub-IR 2.1Develop agenda, analyze data, draft presentation, and help facilitate CLA-intensive Portfolio Review
Strategic Portfolio Review providing evidence of validity of Mission alignment (DO/TO structure) and progress towards CDCS results
Strategic Portfolio Review providing evidence of validity of Mission alignment (DO/TO structure) and progress towards CDCS results
IS 3-4 weeks (including planning) X X X
41 1 Sub-IR 2.1Facilitate Mission Topical Collaborative Clusters and Field IP coordination Workshops
USAID and its partners address key constraints to development and foster best practices for achieving results effectively
IS 4 weeks per Cluster event X X X X X X
MONITORING, EVALUATION, AND COORDINATION CONTRACT:Annual PROGRESS REPORT ANNEX B: B. Progress Against FY18 WorkplanFY 2018
S/N Comp. Link to M&E Work Plan Activity Expected Results/Deliverables v Duration OCT NOV DEC JAN FEB MAR APR MAY JUN JUL AUG SEP42 1 Sub-IR 2.1 Facilitate Mission Learning Events (WS) USAID resolve more rapidly its
information/knowledge gap IS 4 weeks per Mission event X X X
43 2 Sub-IR 1.1Plan and implement a Mid-Point ACCELERE! Partnership Review to support organizational learning and adaptive management.
Approved deign and implementation plan for A! partnership review A!3 2 weeks X X
44 2 Sub-IR 1.1Plan and implement a Mid-Point ACCELERE! Partnership Review to support organizational learning and adaptive management.
Implementation of partnership review including document review, key informant interviews (field work), and data walk (CLA)
A!3 6 weeks X X X X
45 2 Sub-IR 1.1Plan and implement a Mid-Point ACCELERE! Partnership Review to support organizational learning and adaptive management.
Final report of findings with recommendationsA!3 4 weeks x x x X
46 2 Sub-IR 2.1
Organize annual coordination workshops between ACCELERE! partners to increase coordination, harmonization, and synergies toward ACCELERE! results
Harmonized A! work plan for FY 2018; identification and plan for key areas of coordination for academic year 2017/18 A!3 1-day session X
47 2Convene a coordination meeting to examine the results of the previous year, identify key lessons learned, challenges and successes
Coordination meeting to examine resultsA!3 1-day session
48 2 Sub-IR 2.1
Organize and facilitate workshop/event/plenary discussions of key evaluation results or findings from research, assessments, etc. with A! IPs
Highlight key findings of research, assessments, and findings
A!3 1-day session X X
49 2 Sub-IR 2.1 Support A!1 in the delivery of a benchmarking workshop for EGRA
Reading Benchmarks available A!3 4 days X
50 2 Sub-IR 2.1 Compile and disseminate e-newsletter Stakeholders are aware of results from ACCELERE! Activities A!3 4 weeks X X
51 2 Sub-IR 2.1 Compile and disseminate monthly bulletin Compiled monthly bulletin of planned ACCELERE! activities A!3 Ongoing X X X X X X X X X X X X
52 2 Sub-IR 2.1
Conduct a series of training for the GDRC and development stakeholders (including USAID, DFID, and IPs) to build their capacity in monitoring and evaluation.
Hold meetings with MEPSP departments supported by A! and MAS to determine needs and capacity in M&E A!3 4 weeks X X X X X X
53 2
Conduct a series of training for the GDRC and development stakeholders (including USAID, DFID, and IPs) to build their capacity in monitoring and evaluation.
Develop a multi-year training plan in M&E for the GDRC (MEPSP and MAS)
A!3 4 weeks X X
54 2 Sub-IR 3.1
Conduct a series of training for the GDRC and development stakeholders (including USAID, DFID, and IPs) to build their capacity in monitoring and evaluation.
Delivery of three one-day training sessions to MEPS and MAS officials; Increased knowledge among trainees in monitoring and evaluation A!3 1-day session X X
MONITORING, EVALUATION, AND COORDINATION CONTRACT:Annual PROGRESS REPORT
ANNEX C: Performance Monitroing DataFY 2018
Unit of Reporting 2018 2018 2018 2018 2018 2018 2019* 2020*Ind. # Ind. Name Result M Fmeasure Frequency Target Results Q1 Q2 Q3 Q4 Target Target
C-Ind. 3# of performance indicators that had DQA conducted by MECC within the reporting period
Quarterly 10 21 2 19 20 20
C-Ind. 4 # of M&E frameworks reviewed annually
Sub-IR 1.1 Number Annual 5 5 TBD TBD
C-Ind. 5 # of M&E plans developed annually Sub-IR 1.1 Number Annual 0 1 TBD TBD
C-Ind. 6# of data and information collection tools and strategies developed annually
Sib-IR 1.2 Number Annual 2 9 TBD TBD
C-Ind. 7 # of analytical reports produced by MECC Sib-IR 1.2 Number Annual 35 28 TBD TBD
C-Ind. 9 # of CLA activities successfully delivered
Sub-IR 2.1 Number Semi-Annually 36 9 4 5 22 22
C-Ind. 10% of beneficiaries demonstrating improved MEL knowledge as a result of MECC capacity building
IR 3 Percent Annual TBD 95% 100% 86% 85% 85%
C-Ind. 11 # of individuals trained Sub-IR 3.1 Number Quarterly TBD 74 54 20 31 28 15 140 90
C-Ind. 12 # of MEL training sessions delivered Sub-IR 3.1 Semi-Annually 38 18 7 5 6 35 35
C-Ind. 13 # of qualified Congolese M&E experts in the database
Sub-IR 3.2 Number Quarterly TBD 6 6 TBD TBD
* MELP under revision and targets will be updated accordingly
Sub-IR 1.1 Number
Number
Programme ACCELERE !
Acces - Lecture - Redevabilite
BULLOINMENSUEL
• Agir ensemble pour la reussite scolalre en RDC »
I. AXE ACCES
Directions/services
MEPSP
Activités
Réalisées en juillet 2018 Planifiées en août 2018
Direction de la coopération
internationale
Renforcement des capacitésdes récipiendaires des 5
subventions d’A !1 du Nord et
Sud Kivu et du Haut Katanga
Démarrage de la campagne desensibilisation et de
mobilisation des communautés
contre le décrochage scolaire
dans la sous-division deKambove par la « Fondation
Kifwa Muzinga » (FEKM) avecl’appui d’A !1
Contractualisation des PROVED et IPP pour
l’équipement des bureaux
gestionnaires et les kits
enseignants avec l’appui d’A !1
Former les parents desapprenants vulnérables dans la
mise en œuvre des activités
génératrices des revenus par
les récipiendaires des
subventions d’A !1
Direction du centre d’orientation scolaire
et professionnelle
Finalisation du module deformation des enseignants sur
l’accompagnement
psychosocial des élèves en
situation de classe avec l’appui
d’A !1
Former les inspecteurs,directeurs et éducateurs des
provinces du Nord et Sud Kivu
en accompagnement
psychosocial avec l’appui
d’A !1
Direction Générale de l’Education Non
Formelle
(DGNEF/MAS)
Prétest des matériels d’alphabétisation dans les CAP
du 25 juin au 14 juillet avec
l’appui d’A !1
Développer le module deformation des formateurs en
alphabétisation
Elaborer 20 PAES pour leNord Kivu et le Sud Kivu avec
l’appui d’A !1
Organiser les formations de
formateurs en alphabétisation
Direction de l’éducation à la vie
courante
Renforcement de capacités des71 éducatrices et femmes
modèles sur la sensibilisation
des adolescentes dans les
provinces du Haut Katanga et
Lualaba du 01 au 14 juillet avec
l’appui d’A !1
Former les directeurs et formateurs des CAP en
pédagogie sensible au genre
Inspection générale école maternelle
(classes pré-primaires)
Exploitation des rapports de find’année des classes pré-
primaires de Mbandaka avec
l’appui d’A !4
Procéder à la distribution desmanuels Bouba et ZaZa dans
les classes pré-primaires avec
l’appui d’A !4
Tenir la réunion de rentrée
scolaire avec les enseignanteset directeurs des écoles avec
classes pré-primaires dans lesprovinces bénéficiaires
(Lualaba, Haut Katanga etEquateur)
II. AXE QUALITE
Directions/Services MEPSP
Activités
Réalisées en juillet 2018 Planifiées en août 2018
Direction des programmes scolaires et
matériels didactiques
(DIPROMAD)
Revue des matériels à imprimer : guides de
l'enseignant/de l’éducateur, manuels de l'élève/ de
l’apprenant et cahiers de lecture en Ciluba, Kiswahili,
Lingala et Français pour la
2ème année et la 3ème année
de l’enseignement formel et non formel -Niveau 2- avec
l’appui d’A !1
Assurer le suivi de l’impressiondes matériels didactiques pour
l’enseignement formel et non
formel par A !1
Service national de formation (SERNAFOR)
Orientation des formateursnationaux sur le programme
de lecture/écriture du 23 au 27
juillet avec l’appui d’A !1
Conduire la formation desinspecteurs, directeurs et
enseignants sur le programme
de lecture/écriture du 15 au 31
août avec l’appui d’A !1
Directions/Services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
Protection sociale Coordination des activités duprojet protection sociale avecles directeurs, COPA et
gestionnaires de 60 écoles
ciblées de la sous-division de
Kalemie 2 avec l’appui d’A !4
Collecte des données de find’année pour le projet
protection sociale dans les
écoles de l’Equateur, Haut
Katanga, Lualaba, Tanganyika
avec l’appui d’A !4
Remise des attestations
d’indigence dans les écoles duHaut Katanga en collaboration
avec A !4
Réunion entre EPSP, AffairesSociales, COPA, COGES sur la
mise en œuvre des mesures de
protection sociale dans les
écoles de l’Equateur en 2018
dans le cadre d’A !4
Réflexion sur les pistes de
prise en charge des enfants de
4ème année primaire sans appui
psycho social dans la provincede l’Equateur sous l’appuid’A !4
Organiser la réuniond’évaluation des activités duprojet protection sociale
d’A !4 pour l’année scolaire
2017-2018 dans la province du
Tanganyika
Organiser l’atelier depérennisation des acquis du
projet protection sociale
d’A !4 dans la province du
Haut Katanga
III. AXE GOUVERNANCE
Directions/Services MEPSP
Activités
Réalisées en juillet 2018 Planifiées en août 2018
Direction des programmes scolaires
et matériels didactiques
(DIPROMAD)
Organiser un atelierd’élaboration de la stratégie de
communication de l’OCL et de
la promotion de la lecture en
RDC avec l’appui d’A !1
Directions/Services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
Direction du partenariat éducatif
(DPE)
Finalisation des arrêtés ministériels modifiés portant
organisation et
fonctionnement des COPA et
COGES, et du règlement du
partenariat éducatif avec
l’appui d’A !1
Formation des formateurs
nationaux des COPA/COGES,
APE et OSC sur la redevabilité
et le contrôle citoyen du 9 au
13 juillet à Kinshasa avec
l’appui d’A !1
Vulgariser les arrêtés réviséssur le COPA, le COGES et le
règlement du partenariat
éducatif dans les six provinces
ciblées par A !1
Redynamiser les antennesprovinciales
Former les COPA, COGES et
APE des 523 écoles sur laredevabilité et le contrôle
citoyen à l’école avec l’appuid’A !1
Direction d’étude et planification (DEP)
Préparatifs de l’étude du bilandes compétences des enfants
entrant en 1ere année du
primaire à l’année scolaire2018-2019 dans les provinces
de Equateur, Haut Katanga,
Lualaba avec l’appui d’A !4 Poursuite de l’étude sur les
conditions de sous-
scolarisation des enfants vivant dans les zones riveraines de
l’Equateur, Nord et Sud Ubangi, Mongala, Tshuapa et
des offres d’approche innovante d’éducation avec
l’appui d’A !4
Poursuite de la mise en œuvre
d’Edutrack avec A !4 :partenariat avec l’ONG pour
la mise en œuvre de la phase
pilote au Haut Katanga et
Lualaba
Réaliser avec l’appui d’A ! 2 la3ème phase de la SSPEF
Lualaba et Sud Ubangi :
élaboration des simulations
pour la production des
scénarios de développement
de l’éducation
Organiser avec l’appui d’A ! 2
une session de formation à
l’élaboration du PAO en faveurde 15 agents DEP
Poursuivre les préparatifs del’étude sur le bilan de
compétences
Cibler les écoles pour la phasepilote d’Edutrack avec A !4 :
identification des répondants,élaboration de la base de
données de répondants (métadonnées)
Directions/Services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
SECOPE Organisation des missions de vérification des arrêtés portant
création et fonctionnement
des écoles publiques du 16 au
31 juillet avec l’appui d’A !2
Actualiser l’archivage des textes juridiques du ministère
après la mission sur terrain
avec l’appui d’A !2
Produire le rapport et les recommandations des
missions de vérification des
arrêtés de création et
fonctionnement des écoles
publiques en collaboration
avec A !2
Finaliser le contrat de l’IT
international
Service national de formation
(SERNAFOR)
Recyclage de 113 formateurs de zones et points focaux sur
le projet d’établissement avec
l’appui d’A !1 (29 au Kasaï
Central, 18 au Lualaba et 66 au
Haut-Katanga)
Formation de 163 formateurs de zone et des membres des
Comités d’établissement sur
l’élaboration, la mise en œuvre
des projets d’établissement et
la tenue de la revue annuelle
des performances au Sud
Ubangi, Haut-Katanga, Lualaba, Kasaï Oriental et Kasaï Central
avec l’appui d’A !1
Accompagner les COGES et COET dans l’élaboration / la
révision des projets
d’établissement et des Plans
d’action opérationnels 2018-
2019 avec l’appui d’A !1
Etablir les performances des écoles par l’exploitation des
tableaux de bord/écoles avec l’appui d’A !1
Former les formateurs nationaux et les directeurs sur
la supervision pédagogique des
enseignants avec l’appui d’A !1
Direction de l’information pour la
gestion de l’éducation
(DIGE)
Appui à la production des 523 tableaux de bord des écoles
avec le soutien d’A !1
Continuer l’appui à la production des tableaux de
bord avec le soutien d’A !1
Tenir un atelier résidentiel
pour l’élaboration du tableau
de bord national avec l’appui d’A ! 2
Directions/Services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
Direction administrative et
financière (DAF)
Élaboration avec l’appui d’A !2des prévisions budgétaires
exercice 2019
Tenue de l’atelier sur lefinancement innovant de
l’éducation (03 et 04 juillet) et
l’analyse budgétaire (05 au 06
juillet) dans la province du
Lualaba avec l’appui d’A ! 2
Préparer, avec l’appui d’A ! 2,la note technique sur
l’exécution budgétaire de
l’EPSP 1er trimestre
Note : Activité dépendante de la
disponibilité des données du
Ministère du budget sur
l’exécution budgétaire du 1er
semestre 2018
Direction d’éducation à la vie courante (DEVC)
Organisation de séances detravail en vue de l’élaboration
de la stratégie « genre » EPSP
et du projet d’arrêté portant
création de la cellule genre
EPSP du 16 et 17 juillet avec
l’appui d’A ! 2
Contribution dans les travauxde définitions des normes et
standards de fonctionnement
des BG
Défi : Non-respect du calendrier de
la feuille des routes
Organiser des ateliers derenforcement des capacités
des groupes thématiques
« genre » dans les provinces du
Haut-Katanga, Lualaba et
Equateur avec l’appui d’A !2
Organiser l’atelier de validationde la stratégie genre EPSP
Présenter le diagnostic genre
aux membres de la cellule« genre » avec l’appui d’A !2
Direction de l’administration scolaire
(DAS)
Appui technique aux sous- divisions de Kananga du 22 au29 juillet pour l’organisation
des assises de la promotion
scolaire avec le soutien d’A !2
Participation à la validation dela circulaire sur les frais
scolaires pour l’année 2018-
2019
Participation à la réunion
mensuelle de la taskforce frais
scolaire
Elaboration et mise en œuvred’un draft de plan de
communication globale sur la
réforme du financement
scolaire du 09 au 13 juillet avec
l’appui d’A !2
Compiler les rapports depromoscolaire des 6 provinces
A ! 2
Organiser avec l’appui d’A !2une réunion sur les approches
et les outils de contrôle des
frais scolaires
Organiser avec l’appui d’A ! 2un atelier d’élaboration de la
feuille des routes du
développement
organisationnel
Tenir la réunion mensuelle dela taskforce
Organiser une mission d’appuitechnique pour l’organisation
des assises de promoscolaire,à Mbuji-Mayi du 29 juillet au 05
août
Directions/Services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
Direction de formation des enseignants et des
bureaux gestionnaires
des écoles (DIFORE-
BG)
Tenue de la réunion mensuellede la Task Force BG le 05
juillet avec l’appui d’A ! 2
Tenue de l’atelier de revue etde définition des normes et
standards en matière de
création et de fonctionnement
des BGs du 16-20 juillet avec
l’appui d’A ! 2
Revue en pré-impression descahiers de charges des BGs du
23 au 25 juillet avec l’appui
d’A !2
Tenir la réunion mensuelle dela Task Force BG le 09 août
avec l’appui d’A !2
Présenter le projet pilote derestructuration des BG au
Secrétaire Général de l’EPSP le
14 août pour validation
Soumettre le projet des
normes et standards enmatière de création et de
fonctionnement des BGs à lavalidation Ministre National de
l’EPSP
Elaborer avec l’appui d’A ! 2 lemodule de formation en
gestion financière des BGs en
référence au manuel des
procédures de gestion
financière des BG
Finaliser les documents desBGs pour impression (jobs
description, recueil des texteslégaux, plan stratégique de la
DIFORE-BG, cahiers de chargedes BGs, manuel des
procédures financières desBG) avec l’appui d’A !2
IV. SUIVI ET EVALUATION
Directions/services MEPSP
Activités
Réalisées en juillet 2018 Planifiées en août 2018
Direction d’étude et planification (DEP)
Continuation du programmede stage (A !3) : focus surl’enquête quantitative et
méthode d’évaluation de lalecture EGRA
Contribuer à la disséminationdes résultats des recherches
réalisées par A !
Directions/services Activités
MEPSP Réalisées en juillet 2018 Planifiées en août 2018
Transversales (SPACE, DEP,
Observatoire
Congolais de la
Lecture)
Finalisation de l’étude surl’évaluation rapide des risques
pour l’éducation (RERA) avec
l’appui d’A !1
Réalisation du pilotage desoutils de la troisième phase de
l’étude sur la motivation nonmonétaire des enseignants de
l’école primaire du Haut
Katanga, Kasaï Central et Sud
Ubangi
Finalisation des études sur (i)les frais scolaires, (ii)
l’engagement communautaire,
(iii) la cartographie
sociolinguistique avec l’appui
d’A !1
Développement du plan multi
annuel de formation en suivi etévaluation pour les cadres du
MEPSP par A !3
Préparer la collecte desdonnées de l’étude TMIS pour
la 3ème phase dans les
provinces du Haut Katanga,
Kananga et Gemena
Préparer l’évaluation d’impact
EGRA 2018 dans les 8provinces A !
Organiser la dissémination des
résultats des recherches
réalisées par A !
@�.�AU2 \:f!/1
Programme ACCELERE !
Acces - Lecture - Redevabilite
BUllETIN MENSUEl
"Aglr ensemble pour la reusslte scolalre en RDC •
I. AXE ACCES
Directions/services EPSP
Activités
Réalisées en août 2018 Planifiées en septembre 2018
Direction de la coopération
internationale
Formation des membres de 55COPA sur l’alphabétisation
financière et sur l'élaboration
du plan d’affaire à Kambove
Formation des récipiendaires
de subventions dans le Kasaïcentral sur la planification axée
sur les résultats
Récolte des résultats des élèvesciblés au 3ème trimestre pour
évaluer les performances
Appui à la mise en application
des stratégies de pérennisationdes acquis du projet deprotection sociale
Former 15 sensibilisateurs sur lalutte contre le décrochage
scolaire à Kananga
Lancer les subventions dans les
provinces de l’Equateur, SudUbangi, Kasai Central et Kasai
Oriental
Evaluer la mise en œuvre du
projet de protection sociale au
Tanganyika
Produire les rapports du projet
de protection sociale(Tanganyika-Haut Katanga)
Inspection école maternelle (classes pré-
primaires)
Distribution des manuels Bouba et ZaZa dans les classes
pré-primaires à l’Equateur
Organisation des réunions de
rentrée scolaire avec les
enseignantes et les directeurs à
l’Equateur
Renforcer les capacités desformateurs provinciaux sur
l’encadrement des classes pré-
primaires dans l’Equateur, le
Haut-Katanga et le Lualaba
II. AXE QUALITE
Directions/Services EPSP
Activités
Réalisées en août 2018 Planifiées en septembre 2018
Service national de formation (SERNAFOR)
Formation :
(i) 205 formateurs provinciauxdu 09 au 11 août
(ii) 3.750 inspecteurs et
directeurs du 15 au 22 août
(iii) 8.700 enseignants et
éducateurs CRS du 25 au 31
août
dans les 6 provinces
Directions/Services Activités
EPSP Réalisées en août 2018 Planifiées en septembre 2018
Direction des programmes scolaires et
matériels didactiques
(DIPROMAD)
Impressions des guides de l'enseignant/de l’éducateur, des
manuels de l'élève/ de l’apprenant
et des cahiers de lecture en
Ciluba, Kiswahili, Lingala et
français pour la 2ème et la 3ème
année de l’enseignement formel et
le niveau 2 de l’enseignement non
formel
Atelier de conception des matériels de la 4ème année en
Ciluba, Lingala, Kiswahili et français
III. AXE GOUVERNANCE
Directions/Services EPSP
Activités
Réalisées en août 2018 Planifiées en septembre 2018
Direction de l’administration scolaire
(DAS)
Préparation, organisation et rapportage des Assises de
Promoscolaire
Organiser un atelier d’élaboration de la feuille de
route de suivi des
recommandations de la Promo
Scolaire Nationale
Direction du Partenariat Educatif (DPE)
Formation de 108 formateurs des provinces et 1.026
membres de COPA, COGES,
APE des provinces de
l’Equateur, du Sud Ubangi, du
Kasaï Central et du Kasaï
Oriental sur la redevabilité et
le contrôle citoyen du 27 au 31
août
Former les formateurs de Lualaba et les membres des
COPA, COGES, APE du Haut
Katanga et de Lualaba en
redevabilité et contrôle
citoyen
Direction de l’information pour la
gestion de l’éducation
(DIGE)
Appui à l’élaboration des tableaux de bord national et
des 26 sous-divisions
Elaborer le module de formation en statistique
Produire les 26 tableaux de
bord des sous-divisions
Directions/Services Activités
EPSP Réalisées en août 2018 Planifiées en septembre 2018
Direction d’Etudes et Planification (DEP)
Atelier d’élaboration des scénarios de développement de l’éducation dans le cadre de
la SSPEF du Sud Ubangi du 27 au 31 août
Elaboration du draft du CDMT, PAAP, CL et Budget
d’investissement du MEPSP
Réaliser l’atelier pour l’élaboration des scénarios de développement de l’éducation
du Lualaba du 03 au 07 septembre
Organiser la formation de 15 agents à l’élaboration du PAO
Evaluer les feuilles de route
2018-2019 des directions
appuyées par A !
Finaliser le CDMT, le PAAP et le budget d’investissement du
MEPSP
Service du Contrôle de la Paie des Enseignants
(SECOPE)
Traitement préliminaire des données de la mission de
vérification des arrêtés
portant création et
fonctionnement des écoles
publiques du 16 au 31 juillet
Identification de l’IT
international
Organiser un atelier d’exploitation des données de la
mission de vérification des
arrêtés le 17 septembre
Produire le rapport des missions de vérification des
arrêtés de création et
fonctionnement des écoles
publiques
Finaliser le contrat de l’IT international
Service national de formation (SERNAFOR)
Formation des comités d’établissement à la mise à jour
des projets d’établissement
dans le Haut-Katanga
Evaluation des Plans Action Opérationnel 2018-19 et des
Projets d’établissements pour
le Sud Ubangi
Formation de 78 formateurs de zone et 540 directeurs et
directeurs adjoints sur la supervision pédagogique dans
les six provinces
Directions/Services Activités
EPSP Réalisées en août 2018 Planifiées en septembre 2018
Direction d’Education à la Vie Courante (DEVC)
Organisation des ateliers d’élaboration et de validation
de la stratégie « Genre » Préparation de l’exposé sur la
synthèse de la stratégie genre
à la Promo Scolaire Nationale
Organiser l’atelier de renforcement des capacités
des groupes thématiques
« genre » dans la province de
l’Equateur
Organiser les ateliers de renforcement des capacités
des groupes thématiques « genre » dans les provinces
du Haut-Katanga et Lualaba
Réaliser l’enquête sur la cartographie des intervenants
sur le « genre » dans les
provinces éducationnelles
Relecture des indicateurs « genres » issus des rapports
des Promoscolaires
Direction Administrative et
Financière (DAF)
Production d’un draft de prévision budgétaire pour
l’exercice 2019
Suivi de la mise en œuvre des dispositions transitoires dans
la gestion des comptes
bancaires EPSP.
Préparer la note technique sur l’exécution budgétaire du 1er
semestre
Elaborer la note technique sur les tendances budgétaires 2019
Direction de formation des enseignants et des
bureaux gestionnaires
des écoles (DIFORE-
BG)
Consolidation du projet pilote
au niveau de la Task Force BG Présentation des documents
des BGs à la Promo Scolaire
Nationale
Présenter au SG les normes et standards en matière de
création et de fonctionnement
des BGs
Finaliser les documents des BGs pour impression
Tenir la formation en planification axée sur les
résultats à l’Equateur du 24 au 28 septembre
IV. SUIVI ET EVALUATION
Directions/services MEPSP
Activités
Réalisées en août 2018 Planifiées en septembre 2018
Direction d’études et planification (DEP)
Elaboration des questionnaires d’évaluation sur le bilan des
compétences (A !4)
Poursuite des activités de stage. Le stage s’est focalisé sur
l’analyse des données
quantitatives
Organiser l’atelier de validation des questionnaires
d’évaluation et former les
enquêteurs (A !4)
Terminer et évaluer le programme de stage
Directions/services Activ ités
MEPSP Réalisées en août 2018 Planifiées en septembre 2018
Transversales (Conseiller du
Ministre Chargé des
Formations,
Evaluation et
Contrôle, DEP, OCL,
DIPROMAD)
Finalisation des rapports sur (i) Education en urgence,
(ii) Engagement
communautaire,
(iii) Etude sociolinguistique
(iv) Etude sur les frais
scolaires ;
Collecte de données pour l’étude TMIS dans les provinces
du Haut Katanga, Kasaï Occidental et Sud Ubangi
Organiser l’atelier de présentation de l’approche
EGRA, du benchmarking, et
des résultats EGRA 2017
Préparer la collecte des
données EGRA 2018 auprès des élèves de la 3ème et 4ème
Analyser les données de l’étude TMIS phase 3 / phase
pilote
Transversales (Conseiller du
Ministre Chargé des
Formations,
Evaluation et
Contrôle, DEP, OCL,
DIPROMAD)
Finalisation des rapports sur (v) Education en urgence,
(vi) Engagement
communautaire,
(vii) Etude sociolinguistique
(viii) Etude sur les frais
scolaires ;
Collecte de données pour
l’étude TMIS dans les provinces
du Haut Katanga, Kasaï
Occidental et Sud Ubangi
Organiser l’atelier de présentation de l’approche
EGRA, du benchmarking, et
des résultats EGRA 2017
Préparer la collecte des
données EGRA 2018 auprès
des élèves de la 3ème et 4ème
Analyser les données de l’étude TMIS phase 3 / phase
pilote
@���Q w Programme ACCELERE !
�,..-:. ":,ii.�
UKald
Acces - Lecture - Redevabilite
BlllOIN MINSUEl
Septemhre ?018
" Agir ensemble pour la reussite scolaire en RDC •
I. AXE ACCES
Directions/services EPSP
Activités
Réalisées en Septembre 2018 Planifiées en Octobre 2018
Direction de la coopération internationale
Lancement des subventions et équipements des structures
éducatives dans toutes les
provinces administratives.
Signature le 18 septembre 2018 à
Lubumbashi de l’Accord de
Subvention en nature aux BG du
MAS-Likasi, MEPSP Lubumbashi
IV, MJS Lubumbashi.
Organisation des ateliers de
diagnostic organisationnel et
d’alignement des activités de 6
OSC sur la stratégie intégrée
d’accès et rétention des élèves à
l’école du 11 au 22 septembre
dans la province du Haut-Katanga
Organiser 4 ateliers de diagnostic organisationnel et d’alignement des
activités des OSC du Kasaï Central
sur la stratégie intégrée d’accès et
rétention des élèves à l’école.
Direction d’Education aux Compétences de Vie
Courante (DEVC)
Renforcer les capacités des Mobilisateurs de Lecture dans la
surveillance des violences basées
sur le genre dans les écoles et les
CRS.
Direction du Centre National d’Orientation
Scolaire et Professionnelle
Intégration des observations post formation dans le module
d’accompagnement psychosocial
des cas de traumatismes en
situation de classe
II. AXE QUALITE
Directions/Services EPSP Activités
Réalisées en Septembre 2018 Planifiées en Octobre 2018
Direction des programmes scolaires et matériels
didactiques (DIPROMAD)
Impression et empaquetage des matériels (des guides de l'enseignant/de
l’éducateur, des manuels de l'élève/ de
l’apprenant et des cahiers de lecture en
Ciluba, Kiswahili, Lingala et français
pour la 2ème année et 3ème année de
l’enseignement formel et non formel
Niveau 2)
Atelier d'harmonisation à Kinshasa sur la
conception des matériels de 4ème année
avec les Directions EPSP (DIPROMAD,
SERNAFOR et Direction de la Réforme
Educative)
Elaborer les drafts des leçons de lecture- écriture en langues congolaises et en
français pour la 4ème année primaire.
Distribuer et livrer les matériels
didactiques.
Distribuer les banques d’ouvrages et les
kits pour les clubs de lecture
Développer l'application mobile
de glossaire
Service national de formation (SERNAFOR)
Identification des Clubs et Champions Communautaires de lecture du 22
septembre au 11 octobre.
Former les CCLs, Directeurs d’écoles et Présidents des COPA dans les 8
provinces d’intervention ACCELERE sur
les clubs de champions communautaires.
III. AXE GOUVERNANCE
Directions/Services EPSP
Activités
Réalisées en Septembre 2018
Planifiées en Octobre 2018
Direction de l’information pour la gestion de
l’éducation (DIGE)
Du 11 au 23 septembre 2018, élaboration des tableaux de bord
national et des 26 sous divisions
éducationnelles de 6 provinces.
Poursuite de la mise en œuvre
d’Edutrack : signature accord de
coopération avec ONG
Tenir la réunion sur la régulationméthodologique du 08 au 14
Octobre 2018 Former les comités d'établissement
des 100 écoles de l'Equateur à
l'élaboration, la mise en œuvre et le
suivi du projet d'établissement
Organiser l’atelier de validation du
référentiel de compétences des
directeurs d'école et du module de
formation en leadership pédagogique
Présenter le projet d’Edutrack aux
autorités éducatives provinciales du
Haut Katanga ;
Sélection définitive des écoles des
provinces du Haut-Katanga et
Lualaba
Elaborer le module de formation en
Statistique.
Directions/Services A ctivités
EPSP Réalisées en Septembre 2018
Planifiées en Octobre 2018
Direction d’étude et planification (DEP)
Réalisation de l’atelier d’élaboration des simulations de
production des scénarios de
développement de l’éducation dans
le cadre de la SSPEF du Lualaba et
du Sud Ubangi du 3 au 7 septembre
2018.
Organiser l’atelier d’évaluation et de révue des feuilles de route des
Directions appuyées par A ! 2 pour
l’exercice 2018-2019
Assurer la validation des SSPEF des
provinces du Lualaba et du Sud
Ubangi du 08 au 12 octobre
Elaborer les PAO dans les provinces
du Lualaba, Sud Ubangi et Equateur.
SECOPE Réalisation de l’atelier d’exploitation des données de la
mission de vérification des arrêtés
le 26 septembre
Contractualisation de l’IT
international
Produire le rapport des missions de vérification des arrêtés de création
et fonctionnement des écoles
publiques
Produire la table des codes
géographiques et de la localisation
des écoles.
Produire le code des associations
liées aux normes et standards des
BG
Direction administrative et financière (DAF)
Collecte des données de l’exécution budgétaire 2018.
Organiser l’atelier sur la note technique concernant l’exécution
budgétaire de l’EPSP 1er Semestre.
Elaborer la note technique sur les
tendances budgétaires 2019.
Direction d’éducation à la vie courante (DEVC)
Réalisation des ateliers de renforcement des capacités des
groupes thématiques « genre »
dans les provinces du Haut-
Katanga, Lualaba et Equateur
Réalisation de l’enquête sur la
cartographie des intervenants sur
le genre
Participation des groupes
thématiques « genre » aux
réunions des groupes de travail de
la commission Gouvernance
Relecture de la stratégie genre de l’EPSP
Relecture des édits provinciaux en
lien avec la question de l’éducation du
Kasaï central
Direction de l’administration scolaire
(DAS)
Réalisation de l’atelier d’élaboration des outils de suivi des
frais scolaires le 08 septembre
Organiser un atelier d’élaboration de la feuille de route de suivi des
recommandations de la
Promoscolaire Nationale.
Directions/Services A ctivités
EPSP Réalisées en Septembre 2018
Planifiées en Octobre 2018
Direction de formation des enseignants et des
bureaux gestionnaires des
écoles (DIFORE-BG)
Elaboration des drafts de préfaces des documents des BGs (jobs
description, plan stratégique,
cahiers de charge des BGs, manuels
de procédure financière des BG)
Présenter au Secrétaire Général les normes et standards pour la création
et fonctionnement des BGs
Présenter le projet pilote au
Secrétaire Général pour validation
Finaliser les documents des BGs pour
impression
IV. SUIVI ET EVALUATION/RECHERCHES OPERATIONNELLES
Directions/services MEPSP
Activités
Réalisées en Septembre 2018 Planifiées en Octobre 2018
Direction d’études et planification (DEP)
Formation de 12 maîtres formateurs du CENADP du 24 au
28 septembre.
Démarrage de l’enquête sur le bilan
de compétences des enfants du pré-
primaire entrant en 1ère année dans
les écoles.
Présentation du rapport semi-final
de l’étude sur les conditions de
sous-scolarisation des enfants vivant
dans les zones riveraines de
l’Equateur, Nord et Sud Ubangi,
Mongala, Tshuapa et offres
d’approches innovantes d’éducation
Réalisation de l’atelier de clôture du
programme de stage.
Former les enquêteurs pour l’évaluation EGRA du 01 au 08
octobre.
Collecter les données EGRA
2018 auprès des élèves de la
3ème et 4ème dans les 8
provinces administratives du
10 au 23 octobre.
Disséminer les résultats de
l’enquête sur le bilan des
compétences des enfants du
pré-primaire entrant en 1ère
année dans les écoles.
Monitoring, Evaluation, and Coordination Contract
(MECC): ACCELERE! Monitoring, Evaluation and
Research Working Group Annual Report
October 1, 2017 – September 30, 2018
AID-660-TO-16-00002
October 30, 2018
Submitted October 30, 2018
This publication was produced for review by the United States Agency for International Development.
It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order AID-660-
Group Members .................................................................................................................................. 5
Meeting Frequency ............................................................................................................................. 5
Activity 3’s Role ................................................................................................................................... 5
MERWG RESULTS IN FY 2018 ............................................................................................................................. 6
ACCELERE! Annual Work Plan ............................................................................................................. 6
CONCLUSIONS AND RECOMMENDATIONS .............................................................................................. 8
ANNEXES:
A. MEPSP/ACCELERE! Protocol for Research Activities
B. ACCELERE! Strategy for the Dissemination of Research Findings
C. MERWG Meeting Notes
4
ACRONYMS
ACCELERE! Accès, Lecture, Rétention et Redevabilité DEP Department for Studies and Planning (Direction des Etudes et de la Planification)
DFID United Kingdom Department for International Development
DRC Democratic Republic of the Congo EGRA Early Grade Reading Assessment
MECC Monitoring, Evaluation and Coordination Contract
MEPSP Ministry of Education (Ministère de l’Education Primaire, Secondaire et
Professionnelle)
MER Monitoring, Evaluation and Research
MERWG Monitoring, Evaluation and Research Working Group SPACE Secretariat for Support and Coordination of the Education Sector (Secrétariat
Permanent d’Appui et de Coordination du Secteur de l’Education)
SSEF Sectoral Education and Training Strategy (Stratégie Sectorielle de l’Education et de
la Formation)
USAID U.S. Agency for International Development
5
CONTEXT AND JUSTIFICATION As part of its coordination and learning mandate for the USAID/DFID joint education program
in the Democratic Republic of the Congo (DRC), ACCELERE! Activity 3, or Component 2 of the
Monitoring and Evaluation Coordination Contract (MECC), has established and chairs the
ACCELERE! Monitoring, Evaluation and Research Working Group (MERWG).
MERWG OBJECTIVES
The MERWG functions as the primary vehicle for ACCELERE! partner coordination and learning.
MERWG meetings provide opportunities for partners and funders to discuss key activities,
establish and monitor engagement protocols around research design, implementation and
dissemination with the Ministry of Education (MEPSP), and develop a common understanding of
USAID/DRC and DFID/DRC performance reporting requirements and timelines.
MERWG ORGANIZATION
Group Members The ACCELERE! MERWG comprises representatives of each of the four ACCELERE! Activities
as well as representatives from USAID/DRC and DFID/DRC. Each Activity is represented by
members of their monitoring, evaluation and/or research (MER) team, which may vary according
to the meeting’s agenda items.
Meeting Frequency MERWG meetings are scheduled on average once every two months, or as necessary. During
the fiscal year 2018, the group met nine times: 12 December 2017, 13 December 2017, 20
February 2018, 21 May 2018, 30 April 2018, 15 June 2018, 13 July 2018, 07 September 2018 and
28 September 2018.
Activity 3’s Role
Activity 3 ensures the coordination of the MERWG by leading the following tasks:
Drafting the terms of reference for the meetings
Organizing the date, time and place for the meetings
Developing meeting reports and archiving pertinent documents
Following-up on recommendations generated from the meetings
Activity 3 also compiles the list of ACCELERE! partner research studies and produces an
“ACCELERE! research agenda” which is reviewed and updated during meetings. In addition,
Activity 3 ensures close collaboration between the partners and the MEPSP for the dissemination
of the research findings.
Finally, through the MERWG, Activity 3 regularly updates performance indicator data in the
ACCELERE! log frame and develops an annual ACCELERE! work plan that includes planned
interventions from each of the four ACCELERE! partners.
6
MERWG RESULTS IN FY 2018
MERWG activities focused on support to the implementation of research studies by the partners and the dissemination of their findings. The following activities were completed during MERWG
meetings in FY 2018:
The ACCELERE! annual work plan was compiled and reviewed with all partners
The ACCELERE! log frame was updated Data requirements for the annual donors meeting were discussed and agreed upon
The ACCELERE! research agenda was harmonized and updated
ACCELERE! partners shared research findings with the group
A strategy for the dissemination of research findings was agreed upon
A research collaboration protocol between MEPSP and ACCELERE! was developed ACCELERE! partners engaged MEPSP officials in research activities
ACCELERE! Annual Work Plan
To improve the coordination of the field work undertaken by the Activities, Activity 3 collected
their annual work plans and compiled a harmonized ACCELERE! annual work plan. Through the
MERWG, the Activities reviewed the harmonized work plan, discussed areas of overlap and
possibilities for joint implementation or closer collaboration.
ACCELERE! Log Frame
As mentioned above, the ACCELERE! log frame includes performance indicators dedicated to
monitoring the implementation and dissemination of research. MERWG members agreed on the
performance indicators for monitoring research activities, on the indicator definitions and annual
targets and provided data used by Activity 3 to update the log frame as needed.
Data Requirements for the Annual Donors Meeting
The group provided an ideal platform for Activity 3 to present the information requirements for the annual donors meeting. Activity 3 communicated to the group USAID and DFID expectations
regarding the type and quality of data to be presented. Activity 3 stressed the need for reliable data submitted per the established calendar and in the correct format.
ACCELERE! Research Agenda
The MERWG held meetings to discuss the implementation of the ACCELERE! research agenda.
The discussions focused on: (i) a common standard for completed research; (ii) the selection of
research studies whose findings will be disseminated; (iii) monitoring processes for research
implementation. Key decisions included:
Research is completed when its final report is approved by the USAID or DFID;
USAID or DFID approval for the dissemination of research findings is required;
The implementation of research activities will be monitored through the quarterly update
of the ACCELERE! research agenda.
Internal Review of Research Findings
7
The MERWG provides an opportunity for partners to internally share findings from completed research. In FY 2018, Activity 2 shared findings from its geo-mapping of the “bureaux
gestionnaires”, while Activity 1 shared findings from its geo-mapping of intervention schools, from
the Early Grade Reading Assessment (EGRA) conducted in 2017 and its data collection exercise
in schools. These presentations allow group members to provide feedback on the form and
content prior to wider dissemination.
ACCELERE! Dissemination of Research Findings
The MERWG established a strategy for the dissemination of research findings. This strategy
includes a proposed template that partners will use to develop a dissemination plan for each
research conducted. The dissemination plan should include the following:
Clear objectives
Target audiences
Materials needed
Channels and tools
Timeline for dissemination activities
Research Collaboration Protocol with MEPSP
The MERWG developed with the MEPSP (with SPACE and DEP as representatives) a protocol
to inform ACCELERE! research activities. This protocol stipulates the following:
MERWG will inform the MEPSP of all research activities;
MEPSP will review research topics to determine their pertinence to the Sectoral
Education and Training Strategy;
All research activities should be implemented in close collaboration with the MEPSP
departments most closely aligned with the research topic;
MERWG will ensure the dissemination of research findings;
MEPSP will ensure that research findings are used to inform education policies and
projects.
MEPSP Involvement in ACCELERE! Research Activities
Performance indicators regarding MEPSP involvement in the implementation of research activities
are included the ACCELERE! log frame. Therefore, the MERWG agreed to the following:
Depending on the research topic sensitivity, Activities will decide independently whether
to involve MEPSP officials in the implementation of its research;
When Activities engage MEPSP in the implementation of its research, it will be done in
order to transfer research skills to MEPSP officials.
LESSONS LEARNED
Though the MERWG accomplished a lot during FY 2018, there are several lessons that are useful
for Activity 3 and for USAID/DFID:
8
Although all Activities were involved in the development of the harmonized annual work
plan, the use of this coordination tool was not effective. Each component had to follow
its own work plan, the only document approved by USAID or DFID.
The lack of consultation with MEPSP regarding the ACCELERE! research topics has
deprived the MEPSP of the opportunity to advise on the overlap that may exist between
the research conducted by ACCELERE! partners and those carried out by other education
partners. Furthermore, this lack of consultation undermines the value of some research
topics and findings which the MEPSP may not deem to be pertinent or responsive to their
needs.
The dissemination of research findings was not considered when partners planned their
individual research agendas. Consequently, at times, it is only once the research has been
completed that the MERWG tries to identify an audience that may be interested in the
findings and that may use them effectively.
Coordination at the provincial level remains a challenge for ACCELERE! partners. This
was exacerbated by the closure of Activity 3’s Lubumbashi office. This lack of coordination
led to overlapping interventions which was criticized by education stakeholders during
the USAID/DFID joint mission with the Secretary General of the MEPSP in Haut-Katanga
and Lualaba in May 2018.
CONCLUSIONS AND RECOMMENDATIONS
The MERWG is an important tool for coordinating activities within ACCELERE!. Through its
action, the MERWG has improved information sharing between ACCELERE! partners and
between ACCELERE! and the MEPSP. To sustain these results, Activity 3 suggests the following:
ACCELERE! Activities should review and coordinate annual work plans prior to their
submission for donor approval.
ACCELERE! partners, including Activity 3, should hold quarterly provincial level
coordination meetings to harmonize field work.
9
A. MEPSP/ACCELERE! PROTOCOL FOR RESEARCH
ACTIVITIES
PROTOCOLE DE COLLABORATIUON SUR LES RECHERCHES
ACCELERE !
1. Contexte et justification
Le programme ACCELERE!, financé conjointement par les Etats-Unis d’Amérique et le Royaume-
Uni au travers de USAID et DFID, leurs agences de développement respectifs, s’aligne sur les
priorités du Gouvernement de la République Démocratique du Congo en appuyant la mise en
œuvre de la Stratégie Sectorielle de l’Education et de la Formation (2016-2025) au niveau du
sous-secteur de l’Enseignement Primaire Secondaire et Professionnel(EPSP). ACCELERE! vise à
contribuer à l’amélioration des résultats scolaires en lecture des filles et des garçons dans les
écoles primaires publiques et conventionnées dans 8 provinces.
La gestion du programme ACCELERE ! basée sur les approches les plus innovantes en matière
d’appui au secteur de l’éducation, nécessite la collecte continue des données nécessaires au suivi
du contexte de mise en œuvre et des résultats générés par le programme. Afin de répondre aux
exigences d’un tel mode de gestion, ACCELERE! a planifié de réaliser une série de recherches
opérationnelles.
Les résultats de ces recherches, premièrement destinés à éclairer la mise en œuvre du
programme, feront également l’objet d’une large dissémination auprès toutes les parties
impliquées dans la mise en œuvre de la Stratégie Sectorielle de l’éduction et de la formation. La
présente stratégie fixe les objectifs, les résultats et les activités du processus de dissémination
ainsi que les responsabilités des acteurs impliqués dans ce processus.
2. Objectif de la dissémination
La dissémination vise la pérennisation des résultats du programme ACCELERE!. La démarche qui
permet d’atteindre un tel objectif est fondée sur l’hypothèse ci-dessous :
Si les parties prenantes sont informées des résultats obtenus par ACCELERE!; Elles prendront conscience
de la nécessité d’œuvrer pour pérenniser ces résultats et agiront afin que les résultats soient pérennisés..
3. Résultats attendus de la dissémination
Les résultats ci-dessous sont attendus de chaque activité de dissémination :
Les participants à l’atelier ont pris connaissance des résultats de la recherche
Les participants à l’atelier ont pris des engagements pour pérenniser les résultats
présentés
Ces engagements sont intégrés dans la feuille de route de la Direction qui a dans ses
attributions la pérennisation des résultats disséminés.
10
La dissémination sera faite au moyen des ateliers, des réunions communautaires ou des séances de partages qui seront organisés au niveau national, provincial et local. Ces ateliers seront facilités
par le MEPSP à travers la Direction ayant dans ses attributions la pérennisation des résultats qui
font l’objet de la dissémination.
4. Approche de dissémination
La dissémination sera faite de la manière suivante :
Présentation des rapports des recherches au sein d’ACCELERE ! dans le cadre du
groupe de travail suivi et évaluation (M&ERWG). Cette présentation permettra aux
membres du groupe de :
o Donner leurs avis sur la présentation et les résultats présentés o Faire des recommandations sur la manière de disséminer les résultats
présentés
o Communiquer toutes informations utiles.
Organisation de l’atelier d’appropriation des résultats à disséminer. Prendront part à
cet atelier la Direction du EPSP concernées par les résultats à disséminés et
ACCELERE!. Cet atelier sera l’occasion de :
o Expliquer de manière détaillée les résultats de la recherche et leurs
implications vis-à-vis du programme ACCELERE ! et de la SSEF
o Donner l’occasion aux participants de réagir sur la pertinence de ces résultats
au regard de leur expérience dans l’éducation et de la SSEF
o Discuter par la suite sur l’intérêt que présenterait la dissémination de ces
résultats auprès des différents publics au niveau national, provincial et local
o Développer les TdR qui spécifie les objectifs spécifiques et les résultats
attendus de la dissémination.
o Développer le plan de dissémination des résultats.
o Développer les matériels de communication qui seront utilisés lors
dissémination
Organisation des activités de dissémination : Les ateliers organisés au niveau national,
provincial et local comprendront :
o La présentation des résultats de la recherche o Les discussions entre les participants à l’atelier sur la manière de pérenniser
les résultats présentés
o La prise des engagements par les participants en faveur des actions pour
pérenniser ces résultats. Ces actions seront par la suite incorporées dans la
feuille de route de la Direction concernée.
o Organisation de l’atelier de partage des leçons apprises et des bonnes
pratiques de dissémination. Deux ateliers seront organisés, le 1er avec le staff
de ACCELERE! et un deuxième avec le personnel du MEPSP
5. Rôles et responsabilités dans le processus
La dissémination des résultats des recherches sera portée par le Ministère de l’enseignement
11
Primaire, secondaire et professionnel (MEPSP) au travers ses Directions sous la coordination du Secrétariat Permanent d’Appui et de Coordination du Secteur de l’Education (SPACE)
Les rôles et les responsabilités des parties impliquées dans le processus de dissémination se
présentent comme suit :
ACCELERE sera responsable de
Partager avec SPACE la liste de recherches planifiées ainsi que la note conceptuelle et les
rapports des recherches
Informer régulièrement SPACE sur le statut de chaque recherche planifiée
Organiser l’atelier d’appropriation des résultats des recherches
Faciliter l’organisation de l’atelier de dissémination au niveau national des résultats des
recherches
Le SPACE sera responsable de
Revoir la pertinence des recherches vis-à-vis de la SSEF
Coordonner, avec les Directions concernées par la recherche, le processus de
dissémination des résultats
Assurer que les résultats des recherches ACCELERE ! sont capitalisés dans la
conception et la mise en œuvre des programmes/projets d’éducation en RDC
La Direction concernée par la recherche à disséminer sera responsable de :
Réviser le plan de dissémination.
Faciliter les ateliers de dissémination
Intégrer dans sa feuille de route les recommandations issues de la dissémination
Assurer la rédaction des rapports de la dissémination
Documenter les bonnes pratiques et les leçons apprises de la dissémination
12
B. ACCELERE! STRATEGY FOR THE
DISSEMINATION OF RESEARCH FINDINGS
ACCELERE !
Groupe de travail suivi-Evaluation-Recherche
Stratégie de dissémination de recherche.
Contexte et justification Le programme ACCELERE ! financé conjointement par les Etats-Unis et le Royaume-Uni au
travers de USIAD et DFID, leurs agences de développement respectifs, s’aligne sur les priorités
du Gouvernement de la République Démocratique du Congo en appuyant la mise en œuvre de
la Stratégie sectorielle de l’éducation et de la formation (2016-2025). ACCELERE ! vise à
contribuer à l’amélioration des résultats scolaires en lecture des filles et des garçons dans les
écoles primaires publiques et conventionnées dans 8 provinces.
La gestion du programme ACCELERE ! basée sur les approches les plus innovantes en matière
d’appui au secteur de l’éducation, nécessite la collecte continue des données nécessaires à la prise
des décisions fondée sur les faits. Afin de répondre aux exigences d’un tel mode de gestion,
ACCELERE ! a planifié de conduire, en plus de la collecte des données de routine, une série de
recherches opérationnelles portant sur la qualité de l’enseignement, l’accès à l’éducation et la
gouvernance du secteur de l’éducation au niveau local, provincial et national.
Les résultats de ces recherches, premièrement destinés à soutenir la gestion du programme, vont
également faire l’objet d’une large dissémination auprès des parties prenantes au programme.
La présente stratégie de dissémination fixe les modalités pratiques à suivre dans la mise en œuvre
des activités de dissémination
Objectifs de la dissémination
La dissémination des résultats auprès des parties prenantes vise la pérennisation des résultats du
programme. La démarche qui permet d’atteindre un tel objectif est fondée sur les hypothèses ci-
dessous :
Si les parties prenantes sont informées des résultats obtenus par A ! ;
Cela va les amener à prendre conscience de la nécessité de pérenniser ces résultats, et pour cela ;
Ils vont prendre des engagements en faveur des actions de pérennisation des résultats
Rôle et responsabilité dans la dissémination La dissémination des résultats des recherches sera portée par le Ministère de l’enseignement
Primaire, secondaire et professionnel (MEPSP) au travers des Directions spécialisées et sous le
patronage du SPACE. La responsabilité d’ACCELERE ! dans le processus de dissémination se
limitera à fournir une assistance technique au MEPSP et à répondre aux sollicitations des bailleurs
(Rapportage et information ponctuelle) concernant les activités de dissémination.
Les modalités pratiques de collaboration entre le MEPSP et ACCELERE ! sur les questions
13
dissémination des résultats de recherche seront spécifiées dans un accord qui sera conclu entre ces deux parties.
Processus de dissémination
La dissémination commencera toujours par le niveau national (Kinshasa) pour ensuite s’étendre
au niveau provincial puis local. L’objectif de la dissémination au niveau national sera d’inciter
l’autorité politique à prendre des engagements au niveau politique (stratégique) pour pérenniser
les résultats du programme. Les conclusions de la dissémination au niveau national seront
également présentées lors de la dissémination au niveau provincial.
Phases de dissémination
La dissémination sera faite en trois phases constituées chacune des étapes.
Phase I : Présentation interne du rapport de recherche : L’objectif de cette phase est de donner
à l’ensemble des composantes d’A ! l’occasion de réagir sur le contenu du rapport de recherche. Organisée dans le cadre d’une réunion modérée par A !3, cette phase se fera en deux étapes :
Etapes 1 : Présentation du rapport au sein du groupe de travail suivi et évaluation (M&EWG).
Cette présentation sera faite par la composante qui a réalisé la recherche et consistera à : 1°
Présenter les objectifs assignés à la recherche ; 2° Présenter la méthodologie de la recherche,
3° Présenter les limites et autres difficultés rencontrées susceptibles d’affecter la viabilité des
résultats, 4° Présenter les résultats de la recherche, 5° Présenter les recommandations de la
recherche
Etape 2 : Discussion et formulation des recommandations Cette phase sera conclue par un rapport dont le modèle est en annexe 1. Ce rapport sera rédigé
par A !3 et soumis à l’ensemble de composantes dans les trois jours ouvrables.
Phase II : Réunion technique avec le MEPSP sur rapport de recherche : L’objectif de cette phase
est de présenter les résultats de la recherche au SPACE et à la Direction spécialisée afin de permettre ces derniers de s’imprégner des résultats de la recherche pour ensuite en assurer la
dissémination à tous les niveaux. Organisée en atelier de deux jours modéré par A !3, cette phase se fera en six étapes :
Etape 1 : Présentation de l’objectif global auquel doit concourir toute activité de
dissémination. Cette présentation sera faire la A !3
Etapes 1 : Présentation du rapport de recherche. Cette présentation sera faite par la
composante qui a réalisé la recherche et consistera à : 1° Présenter les objectifs de la
recherche ; 2° Présenter la méthodologie de la recherche, 3° Présenter les limites et autres
difficultés rencontrées susceptibles d’affecter la viabilité des résultats, 4° Présenter les
résultats de la recherche, 5° Présenter les recommandations de la recherche. Cette Etape
sera assurée par la composante qui a réalisé la recherche.
14
Etapes 2 : Identification du public qui sera ciblé pour la dissémination. Ce public sera reparti
au niveau national, provincial et local. L’annexe 2 donne une liste indicative de publiques cibles
à chaque niveau
Etapes 3 : Identification des résultats étendus de cette dissémination auprès de chaque
publique et des moyens de vérifier leur achèvement (Ex : une meilleure participation
communautaire dans la prise en charge des classes pré primaires, une augmentation des
ressources allouées à la protection sociales, etc.)
Etapes 4 : Identification du contenu de la dissémination (Ex : les aspects genre et équité révèle
par l’étude, les inégalités entre les classes avec et sans enseignants formé, etc.)
Etape 5 : Identification des moyens de dissémination (Ex : réunion communautaire, ateliers,
etc.)
Etapes 6 : Identification des outils de communication nécessaire à la dissémination (EX :
développement des vidéos, des bandes dessinées, etc.)
Etapes 7 : Mise en place d’un calendrier de dissémination. Ce calendrier devra prendre en
compte le temps nécessaire au développement des outils de communication.
Cette phase, organisée en atelier de deux jours comme indiqué ci-haut, sera sanctionnée par un
plan de dissémination qui sera développé selon le modèle en annexe 3
Phase II : Dissémination sur terrain : Cette phase sera mise en œuvre par la MEPSP et va consister
à disséminer les résultats auprès du public concerné. Elle sera premièrement faite au niveau
national, ensuite provincial et enfin local. Toutes les activités de dissémination sur terrain
comprendront les trois étapes ci-dessous :
Etape 1 : Présentation des résultats qui font l’objet de la dissémination.
Etape 2 : Réflexion et engament des participants sur ce qu’il convient de faire pour pérenniser
les résultats présentés
Etape 3 : Mise en place d’une feuille de route détaillant comment les engagements seront
concrétisés
Cette phase sera sanctionnée par un rapport de terrain dont le modèle est en annexe 4. A la fin
de cette phase, sera remis aux participants un résumé des résultats qui ont fait l’objet de la
dissémination.
Spécification pour la présentation des données
Les données seront visualisées pour permettre au grand public d’interpréter les résultats.
Les visualisations seront « indépendantes » de manière à ce que le visuel puisse être
interprété sans qu’il soit nécessaire de lire un texte additionnel.
Les résultats seront, au minimum, désagrégés par sexe et par zone géographique.
Toutes les fois que seront présentés les résultats de comparaison de données de plusieurs
groupes (différences entre données initiales et données finales ou entre garçons et filles
ou entre élèves d’écoles rurales ou urbaines, par exemple), il faudra rendre compte de
l’ampleur d’effet de la différence.
15
Annexe 1 : Rapport de présentation de la recherche au MERWG
Date de la réunion
Heure de début
Heure de fin
Nombre de personnes qui ont pris part à la réunion
Eléments de la présentation Recommandation du M&EWG
Présentation des objectifs assignés à la recherche
Présentation de la méthodologie de la recherche
Présentation des limites et autres difficultés susceptibles
d’affecter la viabilité des
résultats
Présentation des résultats de la recherche
Présentation des recommandations de la
recherche
Annexe II : Liste indicative des publics cibles
Audience Objectif
Nat
ional
USAID et DFID Montrer les résultats du programme ACCELERE !
SG à l’EPSPS, Ministre de l’EPSP,
Directeurs
Allouer davantage de ressources publiques à l’éducation
Autorités budgétaires (Ministre et SG au
budget, Député national)
Allouer davantage de ressources publiques vers le ministre de l’éducation pour la lecture dans le primaire
La société civile et les médias
Faire pression sur les décideurs (gouvernement).
Pro
vinci
ale
La société civile et les médias
Faire pression sur les décideurs (gouvernement).
Ministre Provincial Députés Provinciaux
Proved
IPP
BG
Inspool
Allouer davantage de ressources publiques
NB : Les autorités en matière d’éducation au niveau de la
province constituent une importante audience et un
partenaire clé, notamment à cause de décentralisation.
Loca
l Dirigeants de la Communauté
Susciter une prise de conscience
Faire pression sur les autorités locales et les écoles
Les parents Influencer sur les habitudes des élèves
16
Faire davantage pression sur les écoles et les décideurs.
Société civile Appuyer la dissémination au niveau de la communauté Accroître la responsabilisation au niveau de base.
Directeurs d’écoles Soutenir les élèves, les enseignants et les parents
Enseignants Se rendre compte des résultats et prendre des actions qui s’imposent.
Annexe III : Plan de dissémination
Niveau Public cible
Résultats attendus de la
dissémination
Contenue de la dissémination
Voie de dissémination
Calendrier
Nat
ional
Pro
vinci
al
Loca
l
17
C. MERWG MEETING NOTES
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
12 décembre 2017
CONTEXTE DE LA REUNION
Le programme ACCELERE ! dispose déjà d’un log frame harmonisé qui permet d’en assurer le suivi
et l’évaluation. A ce log frame harmonisé, il manquait encore un plan de travail harmonisé qui
permettrait d’assurer la mise en œuvre concertée des interventions.
Soucieux de disposer de ce plan de travail harmonisé, les chef des projets A !1, A !2, A !4 et A !4,
réuni le 06 octobre dernier ont décidé que toutes les composantes partagent avec A!3 leur plan de
travail pour l’année fiscale 2018 afin que A!3 en assure l’harmonisation. Pour ce faire,A!3 devra :
Identifier les risques de chevauchement entre les activités
Identifier les possibilités de synergie dans la mise en œuvre des activités
Proposer un outil d’harmonisation des plans de travail pour ACCELERE!
OBJECTIFS DE LA REUNION
La réunion s’est portée sur :
La présentation du plan de travail harmonisé,
La revue du plan de travail harmonisée pour identifier les éventuels chevauchements et promouvoir les synergies entre composantes dans la mise en œuvre des activités
POINTS ADRESSES ET POINTS D’ACTION
Identification des chevauchements et possibilités de synergies A l’issue de l’analyse des différents plans de travail, A ! 3 a présenté les constats ci-dessous :
Différence de formats pour les plans de travail
Toutes les composantes indiquent dans leur plan de travail l’activité et la période de mise
en œuvre
Seules les composantes A !1 et A !2 précisent dans leur plan de travail la zone d’intervention
Seule A !1 a précisé les partenaires qui bénéficient ou participent à la mise en œuvre des
activités Certains plans sont en français et d’autres en anglais
Informations sur A !1 A !2 A !3 A !4
Activités Oui Oui Oui Oui
Période Oui Oui Oui Oui
Zone Oui Oui Non Non
18
Points d’action
A!3 organisera chaque année un atelier d’harmonisation du format de plan de travail et
assurera par la suite la production du plan de travail harmonisé. Chaque composante complètera les informations manquantes dans le plan de travail
harmonisé.
Les plans de travail seront dorénavant en français afin de faciliter l’harmonisation et la compréhension.
Deux ou plus de composantes travaillent en même temps sur les mêmes résultats
A!1 A!4 Barrières A!1 A!4 Qualité de
l’enseignement
A!1 A!2 Direction/Gestion des
écoles
A!1 A!4 Environnement
Scolaire
A!1 A!4 Participation
communautaire
A!1 A!2 Contrôle par la
société civile
A!1 A!4 Contrôle étatique de
l’éducation
Points d’action
Des réunions de coordination seront organisées pour les composantes qui travaillent sur les mêmes
résultats.
Certains partenaires collaborent ou bénéficient des interventions de plusieurs
Les composantes doivent coordonner les actions réalisées auprès des partenaires afin d’éviter les surcharges et les chevauchements au niveau des partenaires. Des calendriers
plus précis seront établis et partagés mensuellement
Les documentations de formation utilisées auprès des différents partenaires seront
également partagées afin de bâtir sur les acquis des partenaires.
Plusieurs composantes interviennent dans les mêmes provinces
HAUT KATANGA, LUALABA, EQUATEUR A!1 A!2 A!4
KASAÏ CENTRAL, KASAÏ ORIENTAL, SUD UBANGI A!1 A!2
Partenaire Oui Non Non Non
GOUVERNANCE
19
Points d’action
Les composantes se consulteront régulièrement au niveau provincial par rapport à leur planification
afin d’éviter les chevauchements de réalisation des activités et de voir les possibilités de créer des
synergies dans la mise en œuvre de leurs activités. Cette coordination sera initiée au niveau national
par les chefs de projet et des instructions seront envoyées pour les provinces.
Présentation du plan de travail
L’objectif de ce plan de travail harmonisé est de servir d’outil d’aide à la planification et à la décision,
mise à la disposition des gestionnaires de programme des différentes composantes. Il devrait
permettre à ces derniers de savoir quelle composante, travaille quand, où et avec quel(s)
partenaire(s) afin de contribuer à quel(s) résultat(s) du programme.
Pour cela, le plan de travail harmonisé offre la possibilité de faire le tri des interventions/activités
en fonction de/du/des :
La composante en charge de la mise en œuvre
Partenaire(s) qui bénéficie(nt) ou participe(nt) à la mise en œuvre
La zone de mise en œuvre de l’activité
La période (trimestre et mois) de mise en œuvre L’objectif et des résultats attendus
Le plan de travail harmonisé a été approuvé par les composantes. Quelques recommandations
d’amélioration ont été émises.
Points d’action
A !3 intègrera les recommandations et partagera le plan de travail harmonisé le 18 décembre
2017. A !3 va également incorporer les feuilles permettant aux composantes de préciser :
o Les acronymes identifiant les partenaires et bénéficiaires
o Les zones (provinces) dans lesquelles elles travaillent o Les contacts des personnes en charge de chaque résultat spécifique de leurs
interventions
o Les détails des résultats auxquels leurs activités contribuent. Chaque composante mettra à jour les informations dans le plan de travail harmonisé et
renverra le document mis à jour le 29 décembre 2017
A !3 mettra à jour et partagera le plan de travail harmonisé finalisé le 12 janvier 2018
PROCHAINE REUNION
Date 13 décembre 2018
Points de discussion :
Les recherches réalisées.
La participation/implication de la partie gouvernementale dans les recherches
réalisées
La dissémination et capitalisation des résultats des recherches réalisées
20
ANNEXE
Liste de présence
21
ACCELERE !3 RAPPORT DE LA REUNION DU GROUPE DE TRAVAIL
SUIVI, EVALUATION ET RECHERCHE
13 décembre 2017
CONTEXTE DE LA REUNION
Pour cette année fiscale, ACCELERE ! planifie un certain nombre de recherches. Aussi, il s’est avéré
nécessaire de mettre à jour la situation des recherches réalisées par ACCELERE ! depuis le début
du projet et de passer en revue les recherches qui sont planifiées.
OBJECTIFS DE LA REUNION
La réunion s’est portée sur :
Les progrès réalisés dans la mise en œuvre des recherches
Les modalités de participation de la partie gouvernement dans la mise en œuvre des
recherches
Les modalités de dissémination et capitalisation des résultats des recherches réalisées
POINTS ADRESSES ET POINTS D’ACTION
Conformément à l’agenda indiqué dans les termes de références de la réunion, les point ci-dessous
ont été abordés lors de la réunion :
I. Rappel sur les missions du MEWG
Afin de mettre tout le monde sur le même niveau d’information, A !3 a rappelé que le MEWG
ambitionne de (d’) :
Favoriser la collaboration et la création des synergies entre les différentes composantes
d’ACCELERE! en matière de recherche, étude et évaluation ;
Agir comme un forum/espace de discussion et d’échange entre composante d’ACCELERE!,
la partie gouvernementale et les bailleurs pour des questions en rapport avec la recherche,
les études et les évaluations ;
Faciliter et encourager les échanges d’information et des ressources pertinentes en rapport
avec la recherches, les études et les évaluations ;
Créer une vue d’ensemble de la recherche, des études, du suivi et de l’évaluation du
programme ACCELERE ! grâce notamment à l’utilisation des listes et plans intégrés
Favoriser le renforcement des capacités en matière de recherche, étude, suivi et évaluation.
II. Objectifs du MEWG pour l’année fiscale 2018
Après ce bref rappel, A !3 a présenté les résultats que le groupe s’est fixé d’atteindre cette année:
Une liste harmonisée de recherches, études et évaluations planifiées sera mise en place et
sera partagée avec les composantes d’ACCELERE! pour permettre aux composantes
ACCELERE ! d’émettre les observations, suggestions, remarques au sujet des recherches,
études et évaluations.
La liste harmonisée de recherches, études et évaluations sera partagée par la suite avec la
partie gouvernementale pour leur éventuel besoin.
22
Les chevauchements éventuels entre différentes recherches, études et évaluations sont
recherchés, identifiés et les mécanismes de gestion consensuelle de ces chevauchements
sont mis en œuvre, suivi et évalués ;
Les recherches, études et évaluations qui présentent un intérêt commun pour plusieurs
composantes d’ACCELERE! sont identifiés et les mécanismes de dissémination en synergies
de ces recherches, études et évaluations sont identifiés, mis en œuvre, suivi et évalués ;
Les rapports et les matériels de recherche (termes de références, outils de collecte des
données, CV des consultants, liste de personnes ressources, etc.) sont centralisés, archivés
et rendus accessibles à toutes les composantes d’ACCELERE !.
Les outils et les calendriers de collecte des données pour le suivi sont harmonisés de
manière à optimiser l’utilisation des ressources et la sollicitation des populations fournisseur
des données
Points d’action
A !3 devra partager, via Drop Box, la liste harmonisée de recherches afin de permettre à
toutes les composantes d’en faire la mise à jour
Chaque composante d’ACCELERE doit faire la mise à jour de la liste harmonisée de
recherche en ce termes : Traduire les descriptifs des recherches en français ; Indiquer les
recherches déjà réalisées, en cour de réalisation et planifiées ; Indiquer si les officiels étaient
impliqués dans la mise en œuvre des recherches déjà réalisées ; Ajouter les nouvelles
recherches et supprimer celles qui ne seront plus réalisées
Chaque partenaire doit partager, via Drop Box, les rapports de ses études et recherches
réalisées à ce jour
III. Présentation des PIRS sur la Recherche
A !3 a porté à la connaissance de l’assistance que 5 indicateurs de suivi des activités de recherches
ont été ajouté dans le log frame du programme ACCELERE ! Il s’agit des indicateurs suivants :
Nombre de recherches opérationnels réalisées
Nombre des ateliers de dissémination des résultats des recherches et des évaluations
organisées en faveur des agents et cadre du MEPS au niveau national et provincial
Nombre des officiels impliqués dans la mise en œuvre des recherches et évaluation réalisées
par A !
Nombre des ateliers de dissémination réalisés
Nombre de bulletin d’information publiés
Les définitions, les modalités de rapportage, le niveau de désagrégation, la fréquence de rapportage
de chacun de ces indicateurs ont été passés en revue avec tous les partenaires d’A !. A l’issue de
cette revue, il s’est avérée que certaines définitions des indicateurs nécessitent des clarifications.
Points d’actions
USAID et DFID vont confirmer la définition « standard » des mots « dissémination et
capitalisation ». La manière dont ces deux mots sont définis dans les PIRS partagés par
A !3 ne semble pas être assez claire pour toutes les partenaires au regard de leur activités
23
Une discussion sera engagée avec les bailleurs au sujet des recherches dont les résultats
devraient être disséminés, étant entendu que ce ne sont pas toutes les recherches qui
feront l’objet d’une dissémination
Pour l’indicateur portant sur l'implication des parties gouvernementales A !3 va identifier
les Services et/ou Directions du MEPSP qui ont la responsabilité de valider les rapports et
matériels de recherche (outils de collecte des données, protocoles, etc.) réalisées dans le
domaine de l’EPSP en RDC. A ! pourra ainsi impliquer ce Services et Directions dans la
mise en œuvre des recherches et études
PROCHAINE REUNION
Date Février 2018
Points de discussion
Préparation de la réunion annuelle des bailleurs
Dissémination des résultats de recherches clés
Implication/participation de la partie gouvernementale aux activités de recherches
ANNEXE
Liste de présence
24
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
20 février 2018
CONTEXTE DE LA REUNION
La réunion annuelle des bailleurs, planifiée pour le 03 mars 2018, sera l’occasion pour l’ensemble des composantes du programme ACCELERE! de présenter les progrès accomplis dans la mise en
œuvre de leurs activités et les résultats obtenus. La présentation des résultats au gouvernement consiste à renseigner le niveau de réalisation des indicateurs de performance de ACCELERE!. Dans
ce sens, A! dispose d’un cadre logique (log frame) global qui synthétise les indicateurs de performance des 4 composantes. Ce log frame global, est avant tout et surtout un outil d’aide au
pilotage du programme au regard des objectifs de ACCELERE!. C’est dans le contexte d’organisation
de la prochaine réunion des bailleurs que la présente réunion a été convoqué.
OBJECTIF DE LA REUNION
Un seul point était inscrit à l’ordre du jour de cette réunion, à savoir la revue de l’ensemble des
indicateurs du log frame d’ACCELERE! afin de s’assurer que les informations pour les renseigner
sont disponibles.
POINTS ADRESSES ET POINTS D’ACTION
A!3 a présenté les indicateurs du log frame : rappel de la définition, précision sur le mode de calcul,
le niveau de désagrégation. Les points d’actions ci-dessous ont été définis:
Points d’actions
- La définition du « TLM » a été précisé : Est classe comme « TLM », tout objet qui a une
valeur pédagogique. Il appartient à A !1d’etablir la liste des « TLM » et de les comptabiliser dans le rapportage de l’indicateur ES 1-10.
- A !1 va reprendre dans le PIRS de l’indicateur ES 1-10, la liste exhaustive des TLM qu’ils
mettent à la disposition des élèves
- A !1 va compléter les cibles pour la totalité de ses indicateurs.
- A !3 va traduire le log frame en français
- A !3 va assurer la complétude des cibles et réalisation des indicateurs de l’output 4, celui
relatif au suivi et à l’évaluation
PROCHAINE REUNION
Date : Avril 2018
Points de discussion : Mise en œuvre et dissémination des recherches.
ANNEXE
Liste de présence
25
ACCELERE !3 RAPPORT DE LA REUNION DU GROUPE DE TRAVAIL
SUIVI, EVALUATION ET RECHERCHE
21 Mai 2018
CONTEXTE DE LA REUNION
Depuis la dernière réunion, la liste harmonisée des recherches a été mise à jour. Certaines
recherches sont achevées et devraient à présent faire l’objet d’une dissémination notamment (i)la
géolocalisation des écoles réalisée par A !1 (ii) la géolocalisation des bureaux gestionnaires réalisée
par A !2 (iii) EGRA 2017 réalisé par A !1. Ces recherches feront l’objet d’une présentation au sein
du groupe de travail avant sa dissémination afin que les membres du groupe donnent leurs avis et
considérations sur les résultats et les moyens de les disséminer.
A !3 a également développé le protocole de collaboration avec le MEPSP en matière de recherche.
Le protocole sera présenté au groupe pour revue et amendement.
OBJECTIFS DE LA REUNION
Présenter les recherches réalisées.
Echanger sur la stratégie conjointe de dissémination des recherches et sur le draft de
protocole de collaboration avec le MEPSP développé par A !3
POINTS ADRESSES ET POINTS D’ACTION
I. Présentation sur les géolocalisations
Les présentations sur les géolocalisations ont démontré la nécessité d’intégrer les deux bases de
données pour une capitalisation de leur utilisation. En effet, ces informations sont utiles si elles
permettent de (i) aux écoles de se situer par rapport aux BG qui les gèrent et (ii) aux BG d’identifier
les écoles qui lui sont rattachées. Cet outil sera partagé avec la DIGE pour permettre à l’Etat de
disposer des informations et assurer la rationalisation de l’affectation des écoles par BG.
Points d’action A !1 et A !2 continuent d’échanger afin de développer une base de données qui intègre la
géolocalisation des écoles et des bureaux gestionnaires.
A !3 discutera avec les services de l’Etat, notamment la Direction en charge de l’information
sur l’Education, afin de savoir dans quelles conditions cette base de données sera par la suite
mis à leur disposition.
Une fois terminée, cette base des données conjointe sera présentée au groupe avant d’être
mise à la disposition du MEPSP
La dissémination se portera sur la présentation de cette base des données conjointe.
II. Présentation de EGRA 2017
Lors de la présentation, A !1 a montré des tableaux et statistiques sur EGRA 2017 cependant, ces
tableaux n’ont pas permis à l’assistance de comprendre la situation des élèves en matière de
lecture.
Points d’action
Le groupe recommande à A !1 d’étudier les messages à communiquer pendant la dissémination de
26
ces résultats afin d’assurer que le public comprenne ce que les chiffres montrent.
Remarque :
Faute de temps, l’échange sur la stratégie conjointe de dissémination des recherches et sur le
draft de protocole de collaboration avec le MEPSP développé par A !3 n’a pas pu être réalisé et
sera planifie pour la prochaine réunion.
PROCHAINE REUNION
Date : Juin 2018
Points à l’ordre du jour
Présenter la stratégie conjointe de dissémination des recherches
Communiquer sur le protocole d’accord entre ACCELERE ! et MEPSP sur les questions de
recherches
Présenter le plan multi annuel EGRA mis à jour.
Discuter sur le plan de dissémination EGRA 2017
ANNEXE
Liste de présence
27
ACCELERE !3 RAPPORT DE LA REUNION DU GROUPE DE TRAVAIL
SUIVI, EVALUATION ET RECHERCHE
30 avril 2018
CONTEXTE DE LA REUNION
La mise à jour au 21 mars du plan harmonisé de recherches a montré l’état d’avancement des
recherches. Lors de la réunion avec A !3, USAID-DFID ont émis les remarques ci-après :
La pertinence de chaque recherche mise dans la liste par rapport au temps (3e année du
projet) et les changements/ ajustement apparus dans la stratégie du programme
La liste des recherches doit également fournir certaines informations supplémentaires
notamment (i) Objectif de la recherche, (ii) les principaux résultats, (iii) les
recommandations clés, (iv) le plan d’action du programme pour prendre en compte les
recommandations issues de la recherche.
Certaines recherches sont déjà terminées et ou en cours de finalisation cependant, ACCELERE !
ne dispose pas encore d’approche de dissémination harmonisé.
OBJECTIFS DE LA REUNION
Trois points étaient inscrits dans l’ordre du jour :
- Analyse des recommandations des bailleurs au sujet des recherches
- Approche de dissémination des recherches
- Collaboration avec le ministère sur les recherches
POINTS ADRESSES ET POINTS D’ACTION
I. Revue des recommandations de USAID et DFID concernant la mise en
œuvre des recherches
A !3 a présenté la synthèse des recommandations. Cependant, les composantes ACCELERE ! ont
fait la remarque que « Les recherches sont contractuelles et la liste des recherches a été établie
avec le bailleur. Aussi, il ne sera pas facile d’annuler une recherche ».
Points d’action
Chaque composante devra approfondir les discussions avec son bailleur sur la nécessité de
supprimer certaines recherches devenues obsolètes.
Chaque composante devrait mettre à jour cette liste harmonisée des recherches en
renseignant, les informations : Quelles sont les recherches en cours de réalisation ? Quelles
sont les recherches planifiées et leurs pertinences ? Quelles recherches ont été supprimées
et pour quoi ? Quelles recherches disposent de résultats prêts à être disséminés ?
A !3 ajustera et partagera le canevas de la liste harmonisée afin de permettre l’intégration
des informations demandées.
II. Approches de dissémination
Au cours de cette réunion, le groupe a discuté sur la pertinence de dissémination des recherches
et sur l’approche de dissémination. Pour la dissémination, il a été noté que :
28
La décision de disséminer dépend du bailleur et nécessite une discussion entre le bailleur
et la composante concernée.
Les résultats des recherches ne pourront être disséminés qu’après la validation/
l’autorisation du bailleur
Les disséminations seront discutées dans le MEWG afin de bénéficier des expertises des
membres et il est important d’assurer une certaine harmonisation dans la dissémination.
Points d’action
A !3 devra développer une proposition de stratégie de dissémination et la partager avec les
autres membres du groupe pour analyse.
Chaque composante informera le groupe sur les recherches à disséminer et la liste des
recherches sera par la suite mise à jour.
III. Collaboration avec le MEPSP sur les recherches Pour pouvoir compléter correctement l’indicateur « nombre d’officiels impliqués dans la mise en
œuvre des recherches et évaluation réalisées dans le cadre de ACCELERE ! », A !3 a recommandé
l’établissement d’un protocole de collaboration entre A ! et le MEPSP. Ce protocole devra fixer
les rôles et les responsabilités des deux parties en ce qui concerne la mise en œuvre, stockage et
la dissémination des recherches réalisé dans le cadre du programme ACCELERE ! et assurera
l’appropriation par le MEPSP des activités et des résultats de recherche. Le groupe a trouvé cette
approche pertinente et a donné son accord dessus.
Points d’action
A !3 développera et partagera un draft de protocole de collaboration avec le MEPSP pour la revue du groupe.
PROCHAINE REUNION
Date : mai 2018
Points à l’ordre du jour
Présenter les recherches réalisées. Echanger sur la stratégie conjointe de dissémination des recherches et sur le draft de
protocole
ANNEXE
Liste de présence
29
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
15 juin 2018
CONTEXTE DE LA REUNION
Après la finalisation des recherches sur la géolocalisation des écoles, celle des Bureaux Gestionnaires et EGRA 2017, le groupe a décidé de se pencher sur les modalités de dissémination
des résultats de ces différentes recherches. C’est dans cet optique que la réunion du 21 a été convoqué pour discuter sur la stratégie conjointe de dissémination des résultats de recherche dans
le cadre de A ! et la nécessité de mise en place un plan de dissémination spécifique à chaque recherche.
OBJECTIFS DE LA REUNION
Présenter la stratégie conjointe de dissémination des recherches
Communiquer sur le protocole d’accord entre ACCELERE ! et MEPSP sur les questions de
recherche
Présenter le plan multi annuel EGRA mis à jour.
Discuter le plan de dissémination EGRA 2017
POINTS ADRESSES ET POINTS D’ACTION
I. Présentation de la stratégie conjointe de dissémination.
La stratégie de dissémination des recherches développée par A !3 préconise :
La dissémination des résultats auprès des parties prenantes vise la pérennisation des
résultats du programme A ! La démarche qui permet d’atteindre cet objectif est fondée sur
les hypothèses ci-dessous :
Si les parties prenantes sont informées des résultats obtenus par A ! ;
Cela va les amener à prendre conscience de la nécessité de pérenniser ces résultats, et pour
cela ;
Ils vont prendre des engagements en faveur des actions de pérennisation des résultats
La dissémination ciblera un public spécifique avec des résultats clairs à atteindre
préalablement défini dans le plan de dissémination.
Toutes les activités de dissémination comprendront trois taches ci-dessous :
Tache 1 : Présentation des résultats qui font l’objet de la dissémination.
Tache 2 : Réflexion et engament des participants sur ce qu’il convient de faire pour
pérenniser les résultats présentés
Tache 3 : La mise en place d’une feuille de route détaillant comment les engagements
seront concrétisés
La dissémination sera réalisée conjointement avec la direction du MEPSP avec la direction
en charge de la thématique concernée.
En fonction des résultats à disséminer, la dissémination sera faite au niveau national,
Provincial et local.
30
Points d’action
A !3 intègrera les commentaires émis par le groupe, finalisera la stratégie et partagera la
version finalisée avec le groupe.
Le groupe est invité à partager leurs commentaires finaux avec A !3 dans les meilleurs
délais.
II. Mise à jour sur le protocole de recherche
Lors de la réunion du comité de pilotage de ACCELERE ! SPACE a déclaré que l’entité en charge
de recherches auprès du MEPSP reste le SPACE. Aussi, A!3 a développé et partagé avec SPACE un projet de protocole d’accord entre A ! et le MEPSP qui fixera les termes de la collaboration
concernant la conception, la mise en œuvre, le rapportage et la dissémination des recherches réalisée par A !.
Le draft du protocole développé conjointement par A !3 et SPACE se présente comme suit :
A ! garde l’initiative dans la conception, la mise en œuvre, le rapportage et la sélection des
résultats à disséminer.
Le MEPSP sera impliqué notamment au moyen d’une concertation directe à toutes les étapes
de la recherche
Le MEPSP prendra le lead de la dissémination des résultats des recherches au niveau national,
provincial et local
Le MEPSP va assurer que les autorités politico- administratives apportent leur soutien dans
la mise en œuvre et la dissémination des recherches
Points d’action Après débat et discussion, le groupe a recommandé de mettre à jour le protocole en précisant ce
qui suit :
L’élaboration des notes conceptuelles doit être fait en concertation avec les Directions
opérationnelles du MEPSP, pas seulement avec SPACE
A ! et SPACE, en collaboration avec les Directions opérationnelles, vont s’accorder sur
l’éthique que la recherche devrait respecter
SPACE et la Direction opérationnelle concernées vont assurer la revue des résultats
préliminaires
A ! va assurer la présentation des recherches auprès du MEPSP et ce dernier va assurer le
lead de la dissémination.
III. Plan Multi-annuel de EGRA
A !3 a présenté le plan multi annuel EGRA qui détaille les activités EGRA à réaliser dans la cadre du
programme A !. A !1 a porté à la connaissance du groupe que la note conceptuelle de EGRA 2018
est en cours de finalisation et le rapport final de EGRA 2017 est déjà soumis au bailleur et est en
attente d’approbation.
Point action Après cette présentation, le groupe recommande de mettre à jour le plan multi annuel de EGRA
au regard des données de EGRA 2017.
31
IV. Plan de dissémination EGRA
A !3 a développé et présenté le plan de dissémination de EGRA 2017. Ce plan indique les audiences
concernées par chaque activité de dissémination, les objectifs à atteindre lors de chaque séance de
dissémination ainsi que les modalités pratiques dans l’organisation des ateliers de dissémination et
le timeline.
4.1 Dissémination au niveau National
Les résultats de EGRA 2017 seront d’abord disséminés à Kinshasa au cours d’un atelier national de
présentation des résultats. Cet atelier, qui verra la participation des acteurs de haut niveau impliqués dans la mise en œuvre de la stratégie sectorielle de l’éducation et de la communication, sera
organisé en deux temps : la 1ere partie se focalisera sur la présentation des résultats et la 2e partie
sera consacrée aux travaux de groupe afin de permettre aux participants de (i)réfléchir sur
comment pérenniser les résultats montrés par EGRA 2017, (ii) prendre ensuite des engagements pour pérenniser ces résultats et enfin (iii) produire une feuille de route pour la mise en œuvre des
engagements pris.
Après cet atelier national, les activités de dissémination seront organisées au niveau provincial et
local.
4.2 Dissémination au niveau Provincial et local
Un atelier de dissémination regroupant tous les acteurs de l’éducation au niveau provincial sera
organisé dans le chef-lieu de la province. Cet atelier sera organisé sur le même modèle que l’atelier
au niveau national. Lors de l’atelier provincial, il sera également présenté engagement pris à l’issu
de l’atelier de dissémination au niveau national
Au niveau local, des ateliers de dissémination seront organisés avec les acteurs locaux de
l’éducation. Ces ateliers respecteront le même modèle que l’atelier organisé au niveau provincial à
la différence que les engagements pris à l’issu de l’atelier de dissémination au niveau provincial y
seront présentés.
Cadre général de dissémination
Audience Objectif
Nat
ional
USAID et DFID Montrer les résultats du programme ACCELERE !
SG à l’EPSPS, Ministre de l’EPSP,
Directeurs
Faire des efforts supplémentaires pour mettre l’accent sur
la lecture comme compétence fondamentale Rehausser l’intérêt porté à l’intégration des sondages EGRA
dans les évaluations nationales de l’éducation
Autorités budgétaires (Ministre et SG au budget,
Député national)
Allouer davantage de ressources publiques vers le ministre de l’éducation pour la lecture dans le primaire
La société civile et les médias Faire pression sur les décideurs (gouvernement)
Pro
vinci
al La société civile et les médias Faire pression sur les décideurs (gouvernement)
Ministre Provincial Députés Provinciaux
Allouer davantage de ressources publiques pour la lecture dans le primaire
32
Proved IPP
BG
Inspool
NB : Les autorités en matière d’éducation au niveau de la
province constituent une importante audience et un partenaire
clé, notamment à cause de décentralisation
Loca
l
Dirigeants de la Communauté
Susciter une prise de conscience sur la lecture et les bonnes pratiques auprès des membres de la communauté ;
particulièrement les parents
Faire pression sur les autorités locales et les écoles
Les parents Influencer sur les habitudes de lecture des enfants
Encourager la lecture à la maison et
Faire davantage pression sur les écoles et les décideurs pour
qu’ils accordent une plus grande priorité à la lecture
Société civile Appuyer la dissémination au niveau de la communauté Accroître la responsabilisation au niveau de base
Directeurs d’écoles Soutenir les élèves, les enseignants et les parents
Enseignants (Se rendre compte des résultats des élève) et prendre des
actions qui s’imposent.
4.3 Calendrier de dissémination
Le calendrier de dissémination de EGRA 2017 va dépendre particulièrement de l’approbation de
dissémination du bailleur. Actuellement, A !1 pense que cette approbation sera obtenue
incessamment et planifie de partager la présentation sous format PowerPoint le 30 juin
Nat
ional
Audience Date
Juillet Aout Septembre
S1 S2 S3 S4 S1 S2 S3 S4 S1 S2 S3 S4
USAID et DFID SG à l’EPSP Ministre de l’EPSP
Directeurs
Autorités budgétaires (Ministre et SG au budget,
Député national)
Société civile et médias
Pro
vinci
al
Ministre Provincial Députés Provinciaux
BG
Société civile et médias
Loca
l
Dirigeants de la Communauté
Parents Société civile Directeurs d’écoles Enseignants
Point d’action
33
A !1 partagera au 30 juin 2018, le rapport EGRA 2017 et le PowerPoint présentant ces
résultats
A !3 développera un guide de facilitation de l’atelier de dissémination des résultats de
recherches.
PROCHAINE REUNION
Date : juillet 2018
Points de discussion : Modalités pratiques pour la dissémination des résultats de EGRA 2017
ANNEXE
Liste de présence
34
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
13 juillet 2018
CONTEXTE DE LA REUNION
Cette réunion s’inscrit dans les préparatifs de la dissémination des résultats de l’étude EGRA réalisé en 2017. Après le EGRA 2015, qui a servi d’étude de base au programme ACCELERE ! l’objectif de
EGRA 2017 est de montrer les résultats obtenus par le programme ACCELERE ! en matière de lecture. Pour en assurer la pérennisation, les résultats de l’étude EGRA 2017 seront disséminés
auprès des acteurs impliqués dans la promotion de l’éducation de base en RDC. Cette dissémination se fera au niveau national, provincial et local en étroite collaboration entre toutes les composantes
du programme ACCELERE !
Après la réunion du MEWG organisée le 15 juin dernier, qui a tablé sur la stratégie et le plan de
dissémination, la présente réunion a été convoquée dans la but de partager les informations sur le
niveau de préparation de cette dissémination conformément au plan et la stratégie de dissémination
développés
OBJECTIF DE LA REUNION
L’objectif de cette réunion est de commencer les préparatifs de la dissémination des résultats de
EGRA 2017.
POINTS ADRESSES ET POINTS D’ACTION
I. Mise à jour sur EGRA 2017
- Le rapport de EGRA 2017 a été soumis à l'USAID le 25 juin 2018
- A !1 est en attente des commentaires de l'USAID sur le rapport EGRA 2017
- La dissémination de EGRA 2017 est soumis à une autorisation préalable de l'USAID
- OCL va porter la dissémination de EGRA 2017
II. Approche de dissémination EGRA 2017
La dissémination de EGRA 2017 se fera en deux étapes :
Etape 1 : Atelier d'appropriation de EGRA par l'OCL. Planifié pour le 18 juillet 2018
L'objectif de cet atelier sera d'améliorer les capacités de l'OCL à disséminer les résultats EGRA.
L’atelier portera sur :
- La présentation de l'outil EGRA (par A !1 et A!3),
- La présentation des résultats de EGRA 2015 (par A!3),
- La présentation des seuils de performance en lecture (par A!1)
- La présentation de la stratégie de dissémination de recherches (par A!1),
- Le développement du plan de dissémination des EGRA (par OCL)
Etape 2 : Atelier de dissémination de EGRA 2017 sous le leadership de l’OCL, planifié pour le 9
aout 2018
Cet atelier portera sur :
- Présentation des résultats EGRA 2017 (par A!1),
35
- Présentation du plan de dissémination de EGRA 2017 (par OCL)
- Etablissement des feuilles de route de pérennisation.
Points d’action
Le groupe se réunira le 27 juillet 2018 le développement et la validation des outils de
communication.
PROCHAINE REUNION
Date 27 juillet 2018
Points de discussion : Les outils de communication.
ANNEXE
Liste de présence
36
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
07 Septembre 2018
CONTEXTE ET JUSTIFICATION DE LA REUNION
Le groupe de travail suivi, évaluation et recherche est un cadre de concertation créé à l’initiative de
A !3 dans le but de faciliter la coordination et le partage d’information sur les questions en rapport
avec le suivi, l’évaluation et la recherche au sein du programme ACCELERE !
Pour ce dernier trimestre, ACCELERE ! mettra en œuvre les activités ci-après nécessitantes, une fois de plus, la collaboration entre les composantes :
- La mise à jour du plan de travail harmonisé
- La mise à jour du log frame
- L’organisation et la préparation de la réunion annuelle des bailleurs
- La production mensuelle du bulletin ACCELERE !
- La présentation et dissémination des résultats de EGRA
- La dissémination des résultats des recherches menées dans le cadre de ACCELERE !
- Le renforcement de capacités en suivi et évaluation des agents et cadres du MEPSP et du
MAS
OBJECTIFS ET AGENDA DE LA REUNION
L’objectif de la réunion est de présenter les besoins en information pour ce trimestre afin de
permettre aux M&E de prendre les dispositions y afférentes
Les membres du groupe ont revu les points ci-dessous :
- La collaboration avec le MEPSP sur les questions de recherche
- La mise à jour du statut et de l’approche de dissémination des recherches
- La présentation des activités de A !3 nécessitant une collecte de données régulière auprès
des ACCELERE !
- L’approche de ACCELERE ! en appui au suivi des indicateurs de la Stratégie Sectorielle de
l’Education et de la formation (SSEF)
POINTS ADRESSES ET POINTS D’ACTION
I. Collaboration avec le MEPSP sur les recherches
Conformément aux décisions prises par le groupe de travail lors des réunions passées, A !3 a engagé
des discussions avec le Secrétariat Permanent d’Appui et la Coordination du Secteur de l’Education
(SPACE) dans le but de conclure un protocole d’accord qui fixe les modalités de collaboration entre
ACCELERE! et le MEPSP sur les questions de recherche. Apres échange, SPACE a soulevé deux
points particuliers :
- Le programme ACCELERE ! a identifié les thématiques qui feront l’objet de ses recherches
sans impliquer le MEPSP. Cette non implication du MEPSP, justifiée par le fait que ces
recherches sont avant tout destinées à soutenir la mise en œuvre des activités du
programme, a néanmoins privé le MEPSP de l’opportunité de donner un avis sur les notes
37
conceptuelles de ces recherches et d’étudier la possibilité de leur utilisation en dehors du
programme ACCELERE!
- Comme les recherches ACCELERE ! sont finalisées ou en cours, SPACE propose plutôt une
collaboration sur la dissémination des résultats. Le protocole de collaboration sera ainsi
focalisé sur les modalités pratiques de collaboration lors de la dissémination des résultats
des différentes recherches menées dans le cadre ACCELERE. A !3 a par conséquent révisé
le protocole de collaboration avec SPACE afin de l’axer sur la dissémination des résultats.
L’approche de la collaboration avec SPACE est retenue par le groupe, cependant le groupe
recommande que la stratégie de dissémination des résultats des recherches doit inclure la
Direction d’Etudes et Planification.
Points d’action
A !3 va : - Revoir la stratégie de dissémination des recherches conjointement avec SPACE et la DEP
pour l’inclusion de la DEP
- Remettre au SPACE/ DEP le modèle de stratégie globale de collaboration sur les questions
de recherche qui porte sur la conception et la mise en œuvre des recherches. Cette
stratégie pourrait servir de modèle pour les autres programmes dans le domaine de
l’éducation.
Leçon apprise
Il est important d’avoir un accord de collaboration avec le MEPSP selon le protocole élabore
initialement par le MEWG incluant le MEPSP dans l’ensemble de processus de recherche :
conception, réalisation et dissémination
II. Etat de lieu de la situation des recherches
A !3 a présenté au groupe l’état de mis en œuvre des recherches tel qu’il ressort de la compilation
des information mises à sa disposition et qui se présentent comme suit : Sur les 21 recherches
planifiées, 2 sont finalisées, 8 ont été supprimées, 10 étaient planifiées pour 2018 parmi lesquelles
6 sont finalisées et 4 en cours de mise en œuvre et enfin le statut de la recherche sur les enfants
vivant avec handicaps, planifiée par A !4, reste à déterminer.
A !3 a également porté à la connaissance du groupe de la nécessité de savoir, dès à présent,
lesquelles des recherches feront l’objet d’une dissémination. Cette information serait
particulièrement utile lors de la renégociation avec SPACE de la stratégie de dissémination des
recherches
Le groupe estime que :
- La décision de disséminer ou non les résultats d’une recherche relève du bailleur.
- Le statut de chaque recherche doit être mis à jour dans le plan de recherche harmonisé à
la fin de chaque mois.
Points d’action
38
A !3 va :
- Partager avec toutes les composantes du programme la liste de recherches harmonisée afin
de leur permettre de renseigner les recherches qui feront l’objet d’une dissémination
- Compiler et renvoyer le plan de recherche harmonisé mise à jour à DFID - Solliciter par un simple mail, à la fin de chaque mois, à l’ensemble des composantes la
situation de chacune de leurs recherches. Ce qui permettrait d’avoir le plan de recherche
harmonisé toujours à jour
- Poursuivre les contacts avec A !4 afin de déterminer le statut de la recherche portant les
enfants vivant avec handicaps
- Dès réception de la situation de toute les recherches, produire et partager dans le plan de
recherche harmonisé mis à jour
A !1, A !2 et A !4 vont :
- Remettre leur liste des recherches mise à jour à A !3 d’ici le 13 septembre 2018
- Informer sur leur liste des recherches à disséminer d’ici le 13 septembre 2018
- Partager les notes conceptuelles et les rapports des recherches finalisées
- Faire une présentation préliminaire des résultats de recherche au sein du groupe avant toute
dissémination afin de bénéficier de l’expertise en M&E des membres du groupe.
- Informer en avance le groupe sur la planification de dissémination
III. Présentation des activités/ livrables de A !3
A !3 a présenté ses activités / livrables nécessitant une collaboration active avec les autres
composantes de A !. A !3 a attiré l’attention des participants à la réunion sur le fait que la plupart
de ses activités dépendent des données qui proviennent des rapports et informations des 3 autres
composantes, nécessitant ainsi une sollicitation plus ou moins régulière des partenaires. Une
meilleure connaissance de ces besoins en information permettra ainsi aux partenaires de prendre
les dispositions y afférentes afin de fournir des données de qualité et dans le délai imparti.
(i) Etablissement du plan de travail harmonisé :
- L’harmonisation des différents plans des travail de chacune des composantes ne commence
qu’après l’approbation définitive de ces plans par les différents bailleurs. Ce qui limite
l’opportunité de modifier/ ajuster les plans malgré les éventuels risques de chevauchement.
- Chaque composante utilise son propre canevas de plan de travail, ce qui crée des
inconsistances dans la compilation de ces différents plans de travail.
Points d’action - A !3 partagera le format du plan de travail harmonisé avec le groupe pour complétude d’ici
le 14 septembre 2018.
- A !1, A !2, A !3, A !4 insèreront les informations issues de leur plan de travail respectif dans
le format du plan de travail harmonisé. Proposition de deadline : 30 septembre 2018
- A !3 compilera les différents plans de travail, identifiera par la suite les risques de
chevauchement et les opportunités de créer des synergies. Proposition de deadline : 15
octobre 2018
39
- A !3 organisera un atelier pour la revue conjointe du plan de travail harmonisé. Proposition :
19 octobre 2018
Leçon apprise
Dans un partenariat comme ACCELERE !, il est important dès le début du projet de définir un plan
de travail commun aux partenaires.
(ii) Préparation de la revue annuelle des bailleurs
Chaque année au mois de février/ mars, ACCELERE ! organise la revue annuelle des bailleurs. L’objectif de cette revue annuelle est de présenter l’état d’avancement des activités ACCELERE !
ainsi que les résultats atteints par le programme au cours de l’année précédente. A !3 est
responsable du développement de la présentation afférente à cette activité. A !3 doit ainsi analyser
et visualiser les résultats de chaque composante et de coordonner la présentation des activités avec
les autres composantes. L’année passée, les préparatifs ont débuté en décembre 2017, cependant
les partenaires n’ont pas été informés en avance sur les types de données à fournir entrainant ainsi
un défi dans la mise à disposition des informations couvrant la période allant de janvier à décembre
2017.
Points d’action - A !3 engagera dès à présent les discussions avec USAID/DFID sur les éventuelles
informations qui seront présentées lors de la prochaine réunion annuelle des bailleurs.
- A !3 organisera des séances de travail avec chaque composante pour s’assurer qu’ils sont en
mesure de fournir les données demandées
IV. Discussion sur l’approche de ACCELERE ! en appui au suivi des indicateurs
de la Stratégie Sectorielle de l’Education et de la formation
Le 31 aout 2018, SPACE a organisé une réunion sur le tableau de bord national. A !2 avait appuyé
la DIGE pour produire un draft du document. La lecture de ce tableau de bord montre qu'il n'est
pas connecté avec la SSEF, et il ne peut nullement être utilisé pour l'évaluation de l'avancement de
la SSEF. La DIGE est d'accord qu'une revue du tableau de bord soit faite afin de y inclure les
indicateurs directement liés à la SSEF et aussi les données budgétaires pour ressortir les ratios des
coûts. Lors de cette réunion, il a été décidé qu’un groupe de travail technique sera mis en place
pour revoir les indicateurs nécessaires au suivi de SSEF et, si nécessaire, de les renseigner sur les formulaires de collecte des données de la DIGE. Un autre groupe doit analyser la disponibilité des
données auprès de la DIGE pour renseigner ces indicateurs. ACCELERE ! est invité à participer à
cet exercice.
Points d’action
- A !1, A !2 et A !3 participeront dans ces groupes - A !3 profitera également de cette opportunité pour voir les possibilités de renseigner les
indicateurs d’impact du log frame de A!
V. Renforcement de capacités en suivi et évaluation des agents et cadres des
ministères
A !3 a développé le plan de formation multi annuel en suivi et évaluation et est actuellement en
40
revue. Ce plan de formation a retenu les thématiques ci-après : Gestion Axée sur les résultats, Suivi,
Evaluation et Recherche. A !2 planifie également de former les agents et cadre du MEPSP sur les
statistiques pour une meilleure synergie.
Points d’action
A !3 et A !2 collaboreront pour la production du module sur les statistiques
PROCHAINE REUNION
Date 28 Septembre 2018
Points de discussion : Présentation des données scolaires par A !1
ANNEXE
Liste de présence
41
ACCELERE !3 : RAPPORT DE LA REUNION DU GROUPE DE
TRAVAIL SUIVI, EVALUATION ET RECHERCHE
28 septembre 2018
CONTEXTE ET JUSTIFICATION
Dans le cadre de son Plan de Suivi, Evaluation et Apprentissage, A !1 organise chaque année une
collecte des données dans les écoles et CRS ciblés. Avant la dissémination des résultats de la collecte
des données de l’année (2017 – 2018), une restitution préliminaire a donc été programmée au sein
du M&EWG comme convenu.
OBJECTIFS DE LA REUNION
L’objectif de cette réunion est de donner aux membres du groupe l’occasion de réagir sur les
résultats les résultats de l’analyse des données scolaires
POINTS ADRESSES ET POINTS D’ACTION
Le groupe devrait discuter sur les points ci-dessous :
1. Les objectifs et résultats attendus de cette dissémination
2. Les thèmes/contenu/résultats/ qui feront l’objet de cette restitution
3. Le public concerné par cette dissémination (quels partenaires/Directions ou autres
services du Ministère)
4. Approche : atelier avec ou sans groupe de travail, etc.
Après présentation des points à l’ordre du jour et tenant compte du volume des résultats à
présenter, le groupe a décidé que les discussions sur les points 2, 3 et 4 soient reportées à une
réunion ultérieure.
A !1 a fait la présentation de l’ensemble des résultats regroupés par thématiques : (i) Identification
des structures éducatives, (ii) Réseaux d’écoles de proximité, (iii) Statistiques des élèves, (iv)
Informations sur les enseignants, (v) Genre et violence en milieu scolaire, (vi) Santé dans l’espace
scolaire, (v) COPAS / COGES et (vi) Environnement scolaire. A la fin de cette présentation, le
groupe a fait des recommandations ci-dessous :
Points d’action - La présentation de chaque résultat doit être accompagnée d’une explication claire et nette
sur les utilisations possibles de ce résultat. Il faudrait dire aux participants pourquoi nous
avons jugé utile de leur présenter un tel résultat.
- La durée de la présentation (nombre de slide) soit raisonnable (45 maximum)
- Proposer des pistes pour impliquer d’avantage la DIGE dans le processus de collecte des
données
- Poursuivre les efforts pour une meilleure synergie avec la plateforme SIGE qui assure la
collecte des données de même nature au sein des écoles
- A ! 3 devra partager la présentation à toutes les composantes et aux bailleurs afin de leur
permettre de s’en approprier davantage.
42
- Les COP doivent discuter de la suite à donner aux démarches entreprises dans le but de
disposer d’une base des données géoréférencée qui intègre les écoles et les Bureaux
gestionnaires
- Le tableau ci-dessous regroupe les recommandations diapos par diapos.
Diapos N° Recommandations
28 et 29 Répartition des écoles par zone : Ne devraient pas être présentés lors de la dissémination : les notions de rural et urbaine ne sont pas comprises de la même
manière par toutes les parties
30 Répartition des CAPs par Ministère de tutelle : Ne devrait pas être présenté pour ne pas alimenter le conflit entre le Ministère de la Jeunesse et des Affaires Sociales
au sujet de la gestion des CAP
34 Structures pédagogiques dans les écoles : Ne devrait pas être présenté. Le nombre des structures autorisées et celles des structures organisées et sont
pareils, presque. La présentation ne renseigne rien
35 Les écoles à simples ou doubles vacation ; Spécifier si la double vacation concerne la même école ou deux écoles différentes dans le même bâtiment
52 53
54
Taux et pourcentage d’abandon et de redoublement : Faire des filtres par réseau auquel appartient l’école. Etant donné que les écoles, selon le réseau auquel elles
appartiennent, n’appliquent par la même rigueur sur les redoublements des élèves
55 Abandon : Merger les deux graphiques afin de montrer uniquement le total des abandons dans le formel et le total des abandons dans l’informel
56 Cas d’abandons : Filtrer par province, instructif de savoir si une province est touchée plus que les autres.
59 60
Enseignants visés par le programme : Ne devraient pas être présentés lors de la dissémination. Les différences d’une année à l’autre ne sont pas substantielles
63 Niveau de qualification des enseignants : préciser lors de la présentation que la source de cette information est la Fiche SECOP
66 Code de bonne conduite : Ne devrait pas être présenté lors de la dissémination. Pas assez informatif
68 Violence : Montrer, par rapport aux violences de manière globale, quelle est la proportion des violences basées sur le genre (par province)
71 Supprimer le titre « organiser par les écoles », les écoles n’organisent pas ces activités. C’est l’Etat qui le fait
73 Communiquer l’information, mais supprimer la présentation.
79 Ne devraient pas être présentés lors de la dissémination : A partager uniquement avec l’équipe technique du programme
PROCHAINE REUNION
Date 19 octobre 2018
Points de discussion : Dissémination de EGRA 2017
ANNEXE
Liste de présence
Monitoring, Evaluation, and Coordination Contract
(MECC): Annual Internship Report
October 1, 2017 – September 30, 2018
AID-660-TO-16-00002
October 30, 2018
Submitted October 30, 2018
This publication was produced for review by the United States Agency for International Development.
It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order AID-660-
TO-16- 00002.
MONITORING, EVALUATION, AND
COORDINATION CONTRACT: Annual Internship Report
October 1, 2017 – September 30, 2018
October 30, 2018
International Business and Technical Consultants, Inc. (IBTCI) In the US:
8618 Westwood Center Drive Suite 400
Vienna, VA 22182 USA
+1.703.749.0100
In Kinshasa:
Avenue Colonel Mondjiba n 63, Concession Cotex Bâtiment 7A
CONCLUSION AND RECOMMENDATIONS ............................................................................................ 13
ANNEXES:
A. Report of Interviews Conducted with Pre-Selected Departments at MEPSP and MAS
B. Reference Documents Given to Interns
C. DEP Mandate
D. Results from Knowledge and Skills Assessment
4
ACRONYMS ACCELERE! Accès, Lecture, Rétention et Redevabilité
DEP Department for Studies and Planning (Direction des Etudes et de la Planification)
DFID United Kingdom Department for International Development
DRC Democratic Republic of the Congo
EGRA Early Grade Reading Assessment
MAS Ministry of Social Affairs (Ministère des affaires sociales)
M&E Monitoring and Evaluation
MECC Monitoring, Evaluation and Coordination Contract
MEPSP Ministry of Education (Ministère de l’Education Primaire, Secondaire et
Professionnelle)
MERWG Monitoring, Evaluation and Research Working Group SPACE Secretariat for Support and Coordination of the Education Sector (Secrétariat
Permanent d’Appui et de Coordination du Secteur de l’Education)
SSEF Sectoral Education and Training Strategy (Stratégie Sectorielle de l’Education et de
la Formation)
USAID U.S. Agency for International Development
5
CONTEXT AND JUSTIFICATION As part of its capacity building mandate under the USAID/DFID joint education program in the
Democratic Republic of the Congo (DRC), ACCELERE! Activity 3, or Component 2 of the
Monitoring and Evaluation Coordination Contract (MECC), begun the implementation of its
internship program during FY 2018. This program seeks to provide to two interns annually “the
opportunity to “learn by doing” through participation in the full range of Activity 3 tasks”.
OBJECTIVE OF THE INTERNSHIP PROGRAM
The internship program is designed to strengthen participants’ knowledge and skills in monitoring
and evaluation (M&E). The program provides practical opportunities to apply newly gained or
strengthened knowledge to improve the Ministry of Education (MEPSP) and the Ministry of Social
Affairs (MAS) capacity in that area.
INTERNSHIP PROGRAM STRATEGY
The internship program is based on adult learning theories and is divided into two parts:
Individual Learning: Interns are solely responsible for their learning process and are
therefore at the center of all activities undertaken as part of this program. The responsibility
of the supervisor is limited to providing the interns with new knowledge and opportunities
to practice.
Results-Oriented Learning: Learning objectives, which are based on the interns' knowledge and expectations set at the beginning of the program, dictate the activities.
The implementation strategy for the internship program is operationalized in eight parts, as follows:
1. Identification of the Ministry Departments
In consultation with ACCELERE! implementing partners, 12 departments within the MEPSP and one
department at the MAS were identified as potential beneficiaries of the internship program. These
departments are mainly those working in collaboration with one or more ACCELERE! Activities.
Activity 3 conducted interviews with the identified departments to:
Understand their needs for capacity building in monitoring and evaluation;
Review the structure of their current monitoring and evaluation systems;
Understand if and how they use data gathered through their M&E systems; and
Gauge their expectations vis-à-vis the internship program.
Activity 3 then ranked each department based on their role and responsibilities in the
implementation or monitoring of the Sectoral Education and Training Strategy (SSEF), as well as the
current state of their M&E systems. For FY 2018, the Directorate of Studies and Planning (DEP) of
the MEPSP was selected to participate in the internship program. See Annex A for the Activity 3
report on the selection of the departments at MEPSP and MAS for the internship program.
6
2. Selection of Participants
The two participants in the internship program, the interns, were selected by the chosen
department(s) according to criteria provided by Activity 3. The criteria are based on principles of
fairness and objectivity and are detailed in Annex A.
3. Knowledge and Skills Assessments
Two knowledge and skills assessments were conducted with each intern; one at the beginning of
the program and the other at the end of the program. The results of these evaluations served to
adjust the program to the interns' learning needs by setting clear learning objectives, and to measure
the interns’ progress at the end of the internship.
3.1. Knowledge assessment
The knowledge assessment was used to verify the interns’ prior knowledge. This assessment
measured: (i) what the interns know (what knowledge is available?), (ii) how complete their
knowledge is (is the available knowledge complete?), and (iii) how the knowledge is structured (is the
available and complete knowledge structured?).
3.2. Skills assessment
The skills assessment seeks to answer the question: "what are interns capable of doing with the
knowledge they have?" This evaluation was performed through practical activities.
4. Assessment of Learning
Throughout the program, the interns submitted a monthly report addressing:
Their satisfaction (Does the intern appreciate the program?)
Their achievements to date (Did the intern improve his knowledge?)
Their use of the acquired knowledge (Does the intern use the knowledge in his work?) These monthly reports were used to monitor the learning process and to propose, as needed,
adjustments to the program.
5. Knowledge Acquisition
Knowledge acquisition was assured through a combination of discussions, group work, hands-on
activities and role play.
6. Hands-on Learning
Practical experiences gave the interns the opportunity to put into practice the knowledge acquired
in order to consolidate their learning.
7. Personalized Monitoring
Each intern benefited from personalized monitoring that allowed him to obtain concrete and
measurable learning results. The Activity 3 M&E Specialist provided direct support to the interns
throughout the program by reviewing their assignments, evaluating formatively their progress and
by providing technical reviews of work related activities.
8. Reference Documents
For each topic addressed during the program, Activity 3 provided reference documents, in hardcopy
7
or electronically, to the interns (see Annex B). In total, the interns received 16 reference documents
on topics ranging from results-based management, to project monitoring and evaluation, statistical
methods, data collection techniques and evaluation of educational policies. While at the MECC
offices, the interns were also provided a laptop and Internet access to encourage personal learning.
INTERNSHIP PROGRAM ACTIVITIES IN FY 2018
Selection of the DEP
As noted above, for FY 2018, the DEP/MEPSP was selected to take part in the first session of the
internship program. The DEP was created1 to oversee reform efforts and comprises one secretariat
and three divisions constituted each of two offices as indicated below:
1. Division for Studies, Documentation and Information
1.1. Studies, Analyses and Forecasting Office
1.2. Documentation and Information Office
2. Division for Strategies and International Cooperation
2.1. Strategy Office
2.2. International Cooperation Office
3. Division for Programming and Monitoring
3.1. Program Office
3.2. Monitoring and Evaluation Office
Activity 3 and the DEP set together the terms of the internship program as stated below:
The internship will last a period of 10 months, from December 2017 to September 2018.
The program will take place in Activity 3 offices in Kinshasa, two to three days per week.
A meeting on lessons learned (“restitution”) will be organized with the DEP.
The interns remain agents of the DEP for the duration of the internship program.
These terms and conditions were recorded in the agreement signed between the DEP and MECC
on 8 December 2017.
Selection of the Interns
Using the selection criteria established by Activity 3, the DEP designated the Head of the Program Office and the Head of the Monitoring and Evaluation Office to take part in the internship program
since all M&E tasks at the DEP are handled by these two offices.
Learning Objectives and Outcomes
1 Décret n° 15/043 du 28 décembre 2015 portant fixation du cadre organique des structures standards à compétences
horizontales communes à toutes les administrations centrales des ministères, institutions et services publics.
8
1. Participants’ professional background analysis
To establish the interns’ learning objectives, Activity 3 first analyzed the resumés of , Head
of the Monitoring & Evaluation Office, and of Mr. , Head of the Program Office. This
analysis revealed the following:
Bachelor's degree (BAC+5): Mr. in public health and Mr. in
administrative science. Both selected participants had classes relating to M&E in their
respective university curriculum.
More than 5 years of professional experience in planning for Mr. and in M&E for Mr. .
Some experience in data collection through their participation in large-scale surveys,
particularly in the “enquête démographique et de santé”.
No experience in monitoring and evaluation of development programs.
2. Review the roles and responsibilities of the participants within the DEP
Activity 3 then reviewed the chosen participants’ roles and responsibilities within the DEP to
provide an internship program that will benefit their respective departments and offices. The review
showed that the DEP’s organigram does not specify the roles and responsibilities of the heads of
offices. Therefore, Activity 3 reviewed DEP’s 15 mandates (Annex C) to clarify the role of each
selected participant for each mandate. Activity 3 learned that the chosen participants engage in the
following activities:
Planning of education sector projects to ensure alignment with the SSEF;
Monitoring and evaluation of education sector support projects in relation to the SSEF;
Data collection and analysis requested by other ministries, notably the Ministry of Planning;
Reporting, notably on the performance of MEPSP departments; and
Capacity building in monitoring and evaluation, notably for the staff from other MEPSP
departments responsible for completing data collection forms.
3. Assessing specific challenges
Through interviews, Activity 3 identified challenges faced by selected participants when performing
their functions. Conclusions from the interviews include:
A misunderstanding of key concepts, such as project cycle, monitoring, evaluation,
indicators, results, etc., impedes their ability to effectively conduct their work and creates
confusion in the distribution of tasks between the two offices.
Deficiencies in operational planning, e.g. data collection and analysis, reporting, data quality
assurance, leads to delays and a lack of quality data.
The absence of guiding documents, e.g. operational manuals or M&E plans, explains the
inability or the difficulty of the two offices to provide expected services, particularly in data
analysis.
4. Knowledge and skills assessment
The interns' assessment of knowledge and skills was conducted at the beginning of the program and
focused on (i) monitoring and evaluation concepts, (ii) data collection and management, (iii) data
analysis, (iv) monitoring and evaluation systems, (v) information reporting and (vi) monitoring and evaluation training. The evaluation showed that the interns' level of knowledge and understanding
9
was very low on all topics. Annex C summarizes the assessment results for each intern.
Based on the assessment of the interns’ knowledge and skills, Activity 3 defined the program’s
learning objectives and expected outcomes as follows:
1. Learning objectives
Improve the interns' understanding of M&E systems
Familiarize the interns with M&E system management tools
Increase the interns' comfort level in M&E planning
2. Learning Outcomes
At the end of this internship program, the interns will be able to:
Define monitoring, evaluation and associated concepts
Determine the purpose and scope of a M&E plan
Plan data collection and data management
Plan data analysis
Plan reporting and use of information
Plan the training of staff involved in M&E
Implementation of the Internship Program
The internship program centered around four broad learning themes: 1) concepts in M&E; 2) M&E
plan; 3) data collection, analysis and reporting; and 4) building capacity in M&E. To address these
learning themes, Activity 3 employed a multi-pronged approach which included: an introduction or
orientation, a practical application, monitoring support and follow-up activities.
1. Concepts in Monitoring and Evaluation
At the onset of the program, Activity 3 provided an introduction, or orientation, to the two interns
to review key concepts in M&E and to develop operational definitions. Concepts such as project
cycle, results chain, theory of change, logical framework, performance indicator and performance
measurement framework were reviewed individually and in relation to each other.
The M&E Specialist used case study analysis to further develop the intern’s understanding of key
concepts in M&E. The case study was developed specifically for this internship program and required
that the interns identify results, objectives, outcome statements, the theory of change, the
completeness of the definitions of the performance indicators, etc.
Though the M&E concepts presented were understood by the interns, it remained difficult to
identify illustrative examples in the context of their work at the DEP. Specifically, the interns
confused “activity” and “results” when completing their evaluations of the departments at the
MEPSP. Working with the M&E Specialist, and applying their new knowledge, the interns were able
to improve their review of data collection forms by linking activities and outcomes which allowed
the DEP to request more detailed, and accurate, data about targets and results from the
departments.
10
2. Monitoring and Evaluation Plan
To introduce the concept of a monitoring and evaluation plan (MEP), the Activity 3 M&E Specialist
provided an example and led discussions to enable the interns to understand the purpose and scope
of a MEP and learn how to establish one.
As part of the practical component of this program, the interns were invited to take part in on-
going Activity 3 interventions. With guidance from the Activity 3 M&E Specialist, the interns
reviewed the monitoring, evaluation and learning plan (MELP) for ACCELERE! Activity 2. This
provided a hands-on learning opportunity during which the interns reviewed and critiqued the
following elements of the MELP: (i) the theory of change, (ii) the results framework, (iii) the indicator
definitions and associated means of verification means, (iv) data collection frequencies, analysis and
reporting, (v) data collection methods, and (vi) proposed evaluations.
The review of the Activity 2 MELP highlighted for the interns the importance of a comprehensive
M&E plan which led to reflections on the need for an M&E strategy for the SSEF. The interns carried
out a detailed analysis of the SSEF to extract key performance indicators and to understand data
collection and reporting mechanisms with the goal of leading internal discussions at the DEP on its
roles and responsibilities in monitoring the SSEF and reporting on its progress.
3. Data Collection, Analysis and Reporting
An important part of Mr. and Mr. functions centers around data collection and
reporting. Therefore, Activity 3 provided targeted training on key concepts, including: data
collection and management, data analysis planning, and data reporting and use.
Data collection and management focused on how to set up a reliable data collection and management
system to facilitate analysis. Guidance emphasized the idea that data collection and data management
are inseparable insofar as data processing begins when data are collected. This orientation allowed
interns to gain knowledge on how to (i) define sampling criteria, (ii) develop methods and tools for
data collection, (iii) plan data management, (iv) identify secondary data, and (v) triangulate data.
Data analysis planning focused on how to prepare data analysis and included topics such as: (i) analysis
purpose; (ii) analysis frequency; (iii) the people responsible for the analysis; and (iv) the analysis
process. This guidance also addressed the key steps in data analysis, including: (i) data preparation;
(ii) the analysis of the data (findings and conclusions); (iii) validation of the results; (iv) presentation
of the results; and (v) recommendations for action.
Reporting and using data allowed interns to learn that reports:
1. Represent the most visible part of the monitoring and evaluation system, as the data
collected and analyzed are presented in the form of information for use by stakeholders.
2. Require good planning with defined target audiences' information needs, reporting
frequency and format, who is responsible for the reporting, and channels for disseminating
information.
Furthermore, Activity 3 provided the interns guidance on how to develop a PowerPoint
11
presentation to ensure good information flow. They learned how to: (i) make an effective
presentation, (ii) define the message to convey, (iii) summarize the presentation, and (iv) structure
the presentation.
The interns participated in several Activity 3 activities which provided an opportunity for hands-on
learning on data collection and management. The interns participated in the ACCELERE!
Partnership Review, the 2017 EGRA results review and the ACCELERE! Monitoring, Evaluation and
Research Working Group (MERWG) meetings.
With the ACCELERE! partnership review, the interns did the following:
Reviewed the semi-structured interview guides;
Conduct semi-structured interviews in Kinshasa, Lubumbashi and Kananga. In total, the
interns participated in 17 interviews;
Transcribed semi-structured interviews; and
Conduct initial analysis of the qualitative data.
As part of the EGRA 2017 results review, they interpreted the results presented in tables and
graphs.
The interns’ participation in the MERWG meetings allowed them to strengthen their reporting skills and to understand the importance and use of a logical framework.
4. Building capacity in monitoring and evaluation
Both interns expressed difficulties in planning capacity building in M&E for MEPSP staff, as required
by their job functions. Identifying training objectives and expected results pose particularly difficult
challenges. Therefore, the Activity 3 M&E Specialist discussed with them the need for competent
human resources in effective M&E systems and provided an orientation on how to assess the
capacity of those involved in the system to determine capacity building needs and identify
opportunities to address these needs.
The interns also took part in the process of identifying the needs of the MEPSP and the MAS for
training in M&E to be carried out by Activity 3. The interns conducted a document review through
the collection and analysis of the decrees establishing the MEPSP departments and interviewed
MEPSP and MAS management on their training needs.
Meeting on Lessons Learned
In accordance with the agreement signed between DEP and MECC, the DEP organized with Activity
3 a working session on 27 September 2018 devoted to lessons learned from the interns’ experience
with the program. This working session served to enable the DEP, in particular the director and
division heads, to assess the progress made by the interns in their knowledge of M&E concepts.
This working session included the participation of all DEP officers and executives, MEPSP technical
advisor, the Secretary General representative, MEPSP departments and other ACCELERE! Activity
representatives.
12
The interns made a presentation on the data management system within the DEP using the
development of the MEPSP budget as an example. The interns explained the steps taken by the DEP
for the collection, analysis and reporting of its data, identified challenges and proposed possible
solutions.
Interns' evaluation at the end of the program
Both interns were assessed for their knowledge and skills in monitoring and evaluation at the end
of the program. The same assessment tool was used for the assessment of knowledge and skills at
the beginning and at end of the program. Results are summarized in Annex E and show that the
interns' knowledge and skills improved significantly because of their participation in the Activity 3
internship program.
In their final evaluation of the internship program, the interns expressed satisfaction with the way
the program was implemented. They were particularly satisfied with the support provided by the
M&E Specialist and believe that without monitoring activities it would not have been possible for
them to accumulate so much knowledge in such a short time.
ADDITIONAL OUTCOMES OF THE PROGRAM The Activity 3 internship program served to introduce the interns to the other ACCELERE!
Activities. The interns participated in the following Activities:
participated in the training of trainers for the Activity 1 early grade reading assessment (EGRA). This allowed the intern to learn: (i) EGRA data collection techniques,
(ii) training methods for data collection teams, (iii) how to plan and manage data collection
teams, and (iv) how to supervise data collection efforts.
Mr. also participated with Activity 2 in the organization of the “Promo Scolaire”
in Equateur. The intern made a presentation on the new process for the performance review
of the education sector and collected participant opinions.
Mr. was appointed by the DEP to conduct data collection on Grade 1 students' reading skills in the province of Lualaba with Activity 4. This activity allowed the intern to
practice data collection using a questionnaire, daily reporting of operations and group
debriefings.
The National School of Public Administration of Canada organized a training in M&E for the
government of the DRC2. Participation in this training organized in Kinshasa was selective
and required strong skills in M&E. As a result of their participation in this internship program,
both interns were deemed eligible for this training, but only Mr. was selected to
take part in this high-level training.
LESSONS LEARNED
2 Programme international de formation en évaluation du développement (PIFED)
13
The progress made by the interns depends more on their commitment to the program than
on their starting level. Spending more time on one-on-one discussions can be very beneficial
as it improves intern engagement in their learning process.
Unlike development projects, public administration is more activity-oriented and much less results-oriented. Taking this reality into account can help to address most of the difficulties
the interns encounter in their learning process.
The lack of personal laptops can hinder the interns’ learning and engagement in the program.
Significant advance travel planning is required for the interns who need a signed approval
(order de mission) from the Secretary General.
The interns' misuse of work materials (internet, printer, notebooks) may compromise the program. Clear rules and procedures must be established at the onset of the program.
The interns' professional obligations have sometimes encroached on their obligations to the
internship program which must be planned for accordingly.
CONCLUSION AND RECOMMENDATIONS
The internship program achieved its objectives to:
Improve the interns' understanding of M&E systems;
Familiarize the interns with M&E system management tools; and
Increase the interns' comfort level in M&E planning.
The methodology put in place for the implementation of this internship program made it possible
to adjust its implementation to the interns' abilities and needs without sacrificing the internship's
objectives.
The following recommendations should be considered for the next session of the internship
program:
A support plan should be put in place by the participating MEPSP/MAS department to take full advantage of the interns’ newly acquired knowledge and skills in M&E.
The internship program model can be shared with other stakeholders, and in particular with
SPACE, to assess scaling-up options.
The introductory/orientation sessions in basic concepts in M&E should be given more time to allow for better internalization by the interns.
14
A. REPORT OF INTERVIEWS CONDUCTED WITH
PRE-SELECTED DEPARTMENTS AT MEPSP AND
MAS
multi-year training plan IN M&E for THE GDRC Page | 15
MONITORING, EVALUATION, AND
MONITORING, EVALUATION, AND
COORDINATION CONTRACT (MECC):
Programme de stage en suivi et évaluation : rapport
des entretiens réalisés avec les services
présélectionnés
AID-660-TO-16-00002
August 2017
Submitted 19 July 2017
This publication was produced for review by the United States Agency for International Development.
It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order
AID-660-TO-16- 00002.
MONITORING, EVALUATION, AND
COORDINATION CONTRACT: Programme de stage en suivi et
évaluation : rapport des entretiens
réalisés avec les services
présélectionnés
03 August 2017 International Business and Technical Consultants, Inc. (IBTCI) In the US:
CONTEXTE ET JUSTIFICATION ............................................................................................................................. 19
LES PRINCIPAUX CONSTATS ................................................................................................................................. 21
ANNEXE 1 : PROGRAMME DE STAGE EN SUIVI ET ÉVALUATION - GUIDE D’ENTRETIEN AVEC
LES SERVICES PRÉSELECTIONNÉS ......................................................................................................................... 26
18
ACRONYMES
ACCELERE Accès, Lecture, Rétention et Redevabilité CAID Cellule d’analyse des indicateurs de développement CIEAS Cellule indépendante d’évaluation des acquis scolaire SPACE Secrétariat permanent d’appui et de coordination du secteur de l’éducation DIFOR-BG Direction de la formation et des Bureaux Gestionnaires DIPROMAD Direction des programmes scolaires et matériels didactique DEP Direction d’Etudes et de Planification DGENF Direction de l’éducation non formel GRDC Gouvernement de la République Démocratique du Congo MAS Ministère des affaires sociales MEPSP Ministère de l’enseignement primaire, secondaire et professionnel SERNAFOR Service national de formation S&E Suivi et évaluation SSEF Stratégie sectorielle de l’éducation et de la formation
19
CONTEXTE ET JUSTIFICATION De 2015 à 2020, Le programme ACCELERE ! (Access, Lecture, Rétention et Redevabilité) soutiendra les objectifs du Gouvernement de la République Démocratique du Congo (GRDC) pour promouvoir l’accès, la rétention, la qualité et la gouvernance scolaire dans 25 sous-provinces éducationnelles du Haut Katanga, Lualaba, Kasaï Oriental, Kasaï Central, Nord-Kivu, Sud-Kivu, et l’Équateur. L’objectif du programme ACCELERE ! est d’améliorer l’accès équitable à une éducation de qualité et améliorer les résultats d’apprentissage des filles et des garçons. ACCELERE ! représente une collaboration entre le GRDC, l’Agence Américaine pour le Développement International (USAID) et le Département pour le Développement International du Royaume-Unis (DFID). ACCELERE ! est mis en œuvre au travers quatre partenaires dont trois en charge de la mise en œuvre et un, ACCELERE ! 3 (A !3), en charge du suivi et de l’évaluation (S&E). A !3, mis en œuvre par le projet MECC (Monitoring, Evaluation and Coordination Contract), a également la responsabilité d’assurer le renforcement en capacité en suivi et évaluation des parties prenantes d’ACCELERE !. C’est dans cette optique qu’un programme de stage en suivi et évaluation sera mis en place en faveur des agents des services rattachés aux ministères impliqués dans l’éducation de base, à savoir le ministère de l’enseignement primaire, secondaire et professionnel (MEPSP) en charge de l’éducation formelle et le ministère des affaires sociales (MAS) en charge de l’éducation non formelle. L’objectif de ce stage sera d’apporter une aide technique aux services de l’Etat congolais pour leur permettre d’améliorer les capacités de leurs ressources humaines dans la mise en place et l’utilisation d’un système de suivi et évaluation répondant aux besoins des gestionnaires. MECC a présélectionné 12 services au total pour prendre part à ce programme de stage et a réalisé des entretiens avec 113 d’entre eux afin d’identifier lesquels parmi eux sont capables de participer et de tirer profit de ce programme de stage. Pour identifier ces services présélectionnés, MECC a organisé des discussions avec les partenaires d’ACCELERE ! et leur a expliqué les objectifs de ce programme de stage et les exigences que doivent respecter les services susceptibles d’y prendra part, à savoir être impliqué dans la mise en œuvre de la Stratégie sectorielle de l’éducation et de la formation (SSEF). Sur la base de cette discussion, MECC a demandé aux partenaires de recommander les services qui travaillent avec eux directement ou indirectement et dont ils estiment qu’ils ont intérêt de prendre part à ce programme de stage. En réponse à cette demande, les partenaires ont soumis les listes d'institutions qu'ils pensent respecter l'exigence et ont besoin de renforcement des capacités en suivi et évaluation. MECC a consolidé ces listes en une seule et qu’il a partagé avec USAID et DFID au mois de mars 2017 pour validation. Lors de ces entretiens, MECC a passé en revue le niveau de développement et d’utilisation des systèmes de suivi et évaluation de ces services. Pour ce qui concerne le niveau de développement du système de suivi et évaluation, nous avons pris en compte l’existence4 :
3 La Cellule indépendante d’évaluation des acquis scolaire n’est pas encore fonctionnelle. 4 Bien que nous n’avons pas vu des documents qui attestent de l’existence de ces outils, nous avons tout de même posé la question
de savoir s’ils existaient, depuis quand et quel usage on n’en avait fait et Par qui ?
20
D’un cadre de mesure de résultats ;
D’outils et plans de collecte, d’analyse et stockage des données ;
Des ressources (humaines essentiellement) affectées au suivi et à l’évaluation. Pour ce qui concerne l’utilisation du système de suivi et évaluation, nous prenons en compte l’existence des évidences5 qui montrent que :
Le système de suivi et évaluation a produit des informations ;
Les informations issues du système de suivi et évaluation ont été utilisées dans la prise des décisions et ou le rapportage.
En plus des recommandations que nous y formulons, le présent rapport retrace le déroulement et présente les constats faits à l’issu des entretiens que nous avons eu avec les services présélectionnés. Le Tableau 1 ci-dessous présente la liste des services au sein de MEPSP et du MAS qui ont été présélectionnés pour le programme de stage en suivi et évaluation.
Tableau 1: Liste des service présélectionnés
N° Service Acronyme Ministère de
Tutelle
1 Direction d’Etudes et de Planification DEP MEPSP
2 Direction d’Etudes et de Planification DEP MAS
3 Direction de l’information et de gestion du système de l’éducation
DIGE MEPSP
4 Direction des programmes scolaires et matériel didactique
DIPROMAD MEPSP
5 Service national de formation SERNAFOR MEPSP
6 Direction Générale de l’éducation non formelle
DGENF MAS
7 Direction du partenariat - MEPSP
8 Direction de l’enseignement normal - MEPSP
9 Direction de la formation des enseignants t des Bureaux Gestionnaires
DIFORE-BG MEPSP
10 Cellule d’analyse des indicateurs de développement
CAID Cabinet du Premier
ministre
11 Cellule indépendante d’évaluation des acquis scolaire
CIEAS MEPSP
12 Secrétariat d’Appui et de coordination du secteur de l’éducation
SPACE MEPSP
MÉTHODOLOGIE MECC a conduit des entretiens semi-structurés (Voir le guide d’entretiens en Annexe) avec les responsables de ces services qui ont fournis des informations qualitatives rapides et des estimations
5 Idem
21
approximatives (effectif du personnel affecté au suivi et évaluation, période de collecte des données, nombre de rapports produits, niveau d’utilisation des données dans la prise des décisions, etc.) concernant le niveau de développement et d’utilisation de leur système de suivi et évaluation. MECC a présenté les objectifs du programme de stage afin de permettre à chaque service de savoir exactement ce qui est offert à travers ce stage. MECC a particulièrement insisté sur le fait que ce stage sera essentiellement basé sur la participation du stagiaire aux activités de suivi et évaluation
d’ACCELERE !. Le stagiaire pourra de cette manière apprendre par la pratique. Le stagiaire bénéficiera d’un soutient – mentorat et coaching – régulier et accessible en cas de besoin. Il gardera aussi la latitude de prendre des initiatives qu’il jugera pertinentes pour capitaliser aux mieux les acquis de son stage au regard de ses capacités en suivi et évaluation et des spécificités de son travail
au sein de son service. MECC a passé en revue les missions et le mode de gestion de chaque service afin de comprendre comment ils se distinguent les uns des autres Sur ce point, MECC a surtout cherché à savoir jusqu’à quel point la gestion de ce service était axée sur les résultats. MECC a enfin échangé sur le niveau de développement et d’utilisation du système de suivi et
évaluation au sein du service (collecte et utilisation des données, outils disponibles, ressources
humaines et financières affectées au suivi et évaluation, etc.) avant de recueillir les attentes du service vis-à-vis ce stage.
LIMITES Les données collectées sont subjectives ; les conclusions sont donc l’interprétation de MECC
des informations reçues. Les biais sont donc toujours présents et doivent être pris en considération par le lecteur.
Les données, bien que collectées auprès des personnes attitrées à les communiquer, ne sont pas forcément représentatives de ce qui se passe réellement. Les personnes interrogées, les chefs de services dans ce cas, peuvent ne pas être représentatives de ce qui se passe réellement dans le service. Par conséquent, ces données ne peuvent pas être extrapolées et avoir une quelconque validité statistique.
MECC n’a pas été en mesure de palper du doigt des évidences (rapports, base de données, outils de collecte des données, manuels de procédures en suivi et évaluation, etc.) qui attesteraient de l’existence et ou de l’utilisation d’un système de suivi et évaluation. MECC s’est limité à collecter des témoignages lors de ces entretiens.
Pour contourner ces limites et diminuer, sans toutefois les éliminer, leurs conséquences sur la validité de nos conclusions, MECC a triangulé les informations fournies en posant plus d’une fois les mêmes questions, mais de manière différente, afin de détecter des variations possibles des réponses données. MECC a par la suite laissé de côté toutes les réponses dont les variations ont semblé sortir des limites du raisonnable.
LES PRINCIPAUX CONSTATS
22
Les constats globaux Concernant le niveau de développement et d’utilisation du système de suivi et évaluation
A l’exception de la DEP/MEPSP, de la DEP/MAS, du SPACE et de la CAID, les services interviewés ne disposent pas des ressources humaines et matérielles affectées au suivi et évaluation. Faute des ressources, les tâches de suivi et évaluation, quand elles existent, se limitent à la collecte des données dont la fréquence est souvent irrégulière et les procédures non standardisées. En outre, les tâches de suivi et évaluation sont souvent confiées comme tâches secondaires à des personnes en charge principalement des activités de gestion. Nous pensons que cet état de chose explique en partie le fait que ces services, à l’exception de la DEP/MEPSP, la DEP/MAS, du SPACE et de la CAID, n’étaient pas en mesure de nous fournir le nombre des personnes affectées au suivi et évaluation.
Une gestion véritablement axée sur les résultats fait défaut dans la plupart de ces services, à l’exception du SPACE, de la DEP/MAS, de la DIFORE-BG qui disposent des cadres de mesure des résultats. Nous pensons que l’absence d’un système de gestion axée sur les résultats explique en partie les insuffisances observées dans le développement et l’utilisation d’un système de suivi et évaluation.
Les notions de suivi et évaluation ne sont pas toujours comprises. Pour tous les services, à l’exception de la DEP/MEPSP, de la DEP/MAS, du SPACE et de la CAID, le contrôle de gestion et les audits administratifs et financiers ainsi que les missions de supervision des activités feraient partie du suivi et évaluation. Nous pensons que ceci explique en partie pourquoi ces services sollicitent une formation générale en suivi et évaluation.
Concernant les attentes vis-à-vis du programme de stage
Tous les services ont exprimé le vœu de prendre part à ce programme de stage et ont salué cette initiative qu’ils ont qualifié d’inhabituelle et d’encourageant.
La DEP/MAS, la DEP/MEPSP et le SPACE souhaitaient qu’à l’issu de ce stage leur staff soit en mesure de mettre en place (DEP/MEPSP) ou d’utiliser efficacement (DEP/MAS et SPACE) le système de suivi et évaluation qui comprendrait : une théorie de changement claire, un cadre de mesure des résultats, des outils et des procédures de collecte et d’analyse des données, un système de rapportage régulier qui fournit des informations utiles à l’appréciation de la qualité des interventions et des progrès accomplis vis-à-vis des objectifs fixés.
Pour les autres services, autres que les trois ci-haut cités, leurs attentes se résument comme suit :
o Que leurs staffs bénéficient d’une formation générale en suivi et évaluation ; o Que le stagiaire bénéficie à la fin de son stage d’une dotation en équipement
informatique afin de lui permettre de continuer à travailler dans les bonnes conditions après la fin de son stage ;
23
o Qu’A !3 examine la possibilité de prendre deux stagiaires par service afin d’avoir une équipe dont les capacités sont renforcées en lieu et place d’une seule personne qui pourrait à tout moment s’éclipser du service pour diverses raisons.
Les constats spécifiques Le Tableau 2 ci-dessous présente, pour chaque service, le niveau de développement et d’utilisation du système de suivi et évaluation et donne l’appréciation globale de MECC, sous forme d’une classification à trois niveaux, de la capacité de chaque service à participer efficacement et à tirer profit du stage au regard du niveau actuel de développement et d’utilisation de son système de suivi et évaluation. Pour ce qui concerne le niveau de développement du système de suivi et évaluation, nous prenons en compte l’existence6 :
D’un cadre de mesure de résultats
D’outils et des plans de collecte, d’analyse et stockage des données
Des ressources (humaines essentiellement) affectées au suivi et évaluation Pour ce qui concerne l’utilisation des informations issues du système de suivi et évaluation, nous prenons en compte l’existence des évidences7 qui montrent que :
Le système de suivi et évaluation a produit des informations
Les informations issues du système de suivi et évaluation ont été utilisées dans la prise des décisions
Tableau 2: Classification des services
Classe Caractéristiques Services
A Ces services disposent d’un système de suivi et évaluation fonctionnel dont les résultats sont utilisés pour fonder les décisions. Ils ont des attentes claires vis-à-vis de ce stage et savent comment ils comptent mettre à profit les acquis de ce stage pour améliorer leurs performances. Etant donné que ces services disposent déjà d’un système de suivi et évaluation, un stagiaire issu de ce service sera en mesure d’appliquer au sein de son service les connaissances acquises et de répliquer les outils utilisés lors de son stage sans trop des difficultés à cause de la culture des résultats qui existent déjà au sein du service.
CAID, SPACE, DEP/MAS
B Le système de suivi et évaluation de ces services n’est pas encore développé, mais ils disposent des ressources humaines capables de le faire. Ils utilisent les données à leur disposition quelque soient leurs sources pour fonder leurs décisions. Leurs attentes vis-à-vis de ce programme de stage se limitent à acquérir des
DEP/MEPSP; DIPROMAD; DIFORE-BG; DIGE
6 Idem 7 Idem
24
Classe Caractéristiques Services
ressources humaines qualifiées en suivi et évaluation, mais ne savent pas encore comment ils vont mettre à profit ces ressources humaines après ce stage. La participation de ces services au programme de stage devra prendre en compte les leçons tirées des stages précédemment organisés – ceux avec les services de catégorie A -, particulièrement en ce qui concerne les moyens de contourner les difficultés rencontrées dans le changement des pratiques : passer d’une prise des décisions fondée sur les anecdotes à celui fondées sur les évidences.
C Le développement et l’utilisation du système de suivi et évaluation sont assez embryonnaire ou inexistant au sein de ces services. Ils n’utilisent que très rarement des évidences pour fonder leurs décisions. Les gros de leurs décisions sont fondés sur des anecdotes rapportées par des agents de terrains. Leurs attentes vis-à-vis de ce stage se limitent à l’acquisition des équipements et à des formations en suivi et évaluation. Ils ne savent pas vraiment comment ils vont mettre à profit les acquis de ce stage. Ces services ne seront pas en mesure de tirer profit de ce sage sans au préalable ajuster leur mode de gestion aux standards d’une gestion axées sur les résultats. Sans cela, tout programme de stage en leur faveur aurait très peu de chance de leur être profitable.
SERNAFOR ; DGENF ; Direction de partenariat ; Direction de l’enseignement normale
RECOMMANDATIONS MECC recommande les services ci-dessous pour le programme de stage en suivi et évaluation :
1. Le Secrétariat permanent d’appui et de coordination du secteur de l’éducation SPACE assure le suivi de l’exécution de la Stratégie sectorielle de l’éducation et de la formation et accompagne le MEPSP et tous les acteurs du système éducatif dans la coordination et le suivi de sa mise en œuvre. Pour ce faire, il appui les structures pérennes du MEPSP dans les tâches de planification, de budgétisation et de suivi et évaluation. La mission du SPACE s’étend dans l'ensemble des ministères sectoriels de l'éducation, à savoir : l'Enseignement primaire, secondaire et professionnel (EPSP) ; l'Enseignement supérieur et universitaire (ESU) ; les Affaires sociales, action humanitaire et solidarité nationale (MAS) en charge de l'éducation non formelle et de l'alphabétisation. Bien que faisant partie de la catégorie A à l’instar du SPACE, MECC recommande que la DEP/MAS et la CAID ne soient pas sélectionnés pour participer à ce programme de stage et que d’autres services qui en ont le plus besoin y participent.
25
En effet, la DEP/MAS est en ce moment appuyée par le projet quinquennal dénommé Coordinating Comprehensive Care for Children (4Children) financé par l'USAID/PEPFAR. Ce projet a pour but d'améliorer la santé et le bien-être des orphelins et des enfants vulnérables affectés par le VIH/SIDA et d'autres circonstances défavorables. Dans le cadre du Projet 4Children, IntraHealth, membre du consortium qui met en œuvre ce projet, travaille en collaboration avec la DEP/MAS pour développer et mettre en œuvre un programme de renforcement de capacités en leadership et gouvernance en interne et avec les autres ministères et les ONG impliqués. C’est dans ce cadre que 4Children a financé la production du plan d’action 2017 de la DEP/MAS qui comprend notamment un cadre de mesure des résultats. Nous pensons que la participation de la DEP/MAS à ce programme de stage serait contraire au principe qui veut que les partenaires évitent toute duplication et que les ressources soient essentiellement mises à disposition des ceux qui n’en ont pas. Pour ce qui concerne la CAID, ce service qui relève directement du cabinet du Premier ministre, devrait avoir assez des ressources propres pour assurer le renforcement des capacités en suivi et évaluation de son staff. Ici encore, faire bénéficier la CAID de ce programme de stage serait contraire au principe ci-haut cité.
2. La Direction d’Études et de Planification (DEP/MEPSP) La DEP/MEPSP assure l’élaboration et le suivi et évaluation du plan d’investissement du ministère en charge de l’enseignement primaire. Par ses missions, il est naturel que cette direction participe à notre programme de stage. Il convient de signaler ici qu’il y a en ce moment un conflit sur les attributions de la DEP/MEPSPS et le DIGE.
3. Autres services : DIPROMAD, DIFOR-BG et la DIGE DIPROMAD est en charge de la conception, de l’élaboration et de l’expérimentation des programmes scolaires au niveau maternel et primaire. Elle analyse et/ou réévalue les projets de manuels scolaires. Elle assure la formation des utilisateurs des programmes et des manuels scolaires des niveaux maternel et primaire. La DIFOR-BG est en charge de la gestion des ressources humaines, financières et patrimoniales du Ministère de l’EPSP. Elle est aussi en charge de la gestion des contrats de performance conclu entre le ministère de l’EPSP et les bureaux gestionnaires. La DIGE est en charge des statistiques scolaires. Nous recommandons que ces services participent à notre programme de stage, mais pas en priorité. La priorité étant donnée à la DEP/MEPSP et au SPACE.
26
ANNEXE 1 : PROGRAMME DE STAGE EN SUIVI ET ÉVALUATION - GUIDE D’ENTRETIEN AVEC LES SERVICES PRÉSELECTIONNÉS Introduction : Recueillir des informations générales sur le service.
Missions
Rôle
Responsabilités
Implication dans la mise en œuvre de la stratégie sectorielle de l’éducation et de la formation
Réalisations majeures
Soutien reçu des bailleurs (USAID/DFID) Le système de S&E : Recueillir des informations sur le niveau de développement et d’utilisation du système de S&E
Rôle du S&E au sein du service (activités et résultats attendus)
Ressources affectées au S&E (budget et ressources humaines)
Outils de S&E (cadre de mesure des résultats, base de données, outils et plan de collecte et d’analyse des données)
Principales réalisations du système de S&E (disponibilité des données, formulation des recommandations, mise à disposition des leçons, etc.)
Principales utilisations du système de S&E (aide au rapportage, à la prise de décision, etc.) Les attentes : Recueillir les attentes vis-à-vis du programme de stage
Attentes
Utilisation des retombées du stage (Comment vous compter mettre à profit votre participation éventuelle à ce programme)
27
B. REFERENCE DOCUMENTS GIVEN TO INTERNS
1. La gestion axée sur les résultats appliquée aux programmes d’aide internationale. Un guide
pratique. Affaires Mondiales Canada. Deuxième édition, 2016.
2. Méthodes et pratiques d'enquête. Statistique Canada. Ministre de l’Industrie, 2010.
3. Mackay. K. Comment mettre en place des systèmes de S&E pour améliorer les performances du
secteur public. 2007. Banque internationale pour la reconstruction et le
développement/Banque mondiale.
4. Cadrage Méthodologique de l'évaluation des politiques publiques. République Française,
6. Guide de la planification, du suivi et de l’évaluation, axés sur les résultats du développement.
Programme des Nations Unies pour le Développement. 2009.
7. Guide pour le suivi et l’évaluation de projets/programmes. Fédération internationale des Sociétés
de la Croix-Rouge et du Croissant-Rouge, Genève, 2011.
8. Méthode d’évaluation des programmes : Mesures et attributions des résultats des programmes.
Troisième édition. Ministère des travaux publics et des services gouvernementaux. Publié
par la Direction des affaires publiques. Secrétariat du conseil du trésors du Canada.
9. Suivi et évaluation. CIVICUS: Alliance Mondiale pour la Participation Citoyenne. 2001.
10. Guide de la gestion axée sur les résultats. Secrétariat du conseil du trésor. Direction des
communications. Québec, Canada.
11. Martine Leblanc-Constant et Claire. Bard. Glossaire des termes usuels en mesure de
performance et en évaluation. Gouvernement du Québec, 2013.
12. Aude Brus. Guide méthodologique : Comment réaliser une étude qualitative/ quantitative ? De la
planification à la valorisation des résultats. Handicap International. 2017. 13. Jody Zall Kusek Ray C. Rist. Vers une culture du résultat : Dix étapes pour mettre en place un
système de suivi et d’évaluation axé sur les résultats. The World Bank. 2004.
14. Guide de planification de gestion axée sur les résultats. ACDI, 2010.
15. Mesure et gestion axée sur les résultats dans le domaine de la coopération pour le développement.
Une revue des difficultés et pratiques. ACDI, 2010.
16. Gestion axée sur les résultats. Les cahiers de LUDEX, 2012.
28
C. DEP MANDATE
Attribution de la DEP/EPSP 1. Elaborer les diagnostics du secteur ;
2. Définir, en collaboration avec les Directions intéressées, les politiques et les
stratégies sectorielles ;
3. Elaborer, en collaboration avec les autres services, le programme
d’investissement public (PIP) du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté et en assurer le suivi-
évaluation ;
4. Elaborer le plan d’actions prioritaires et en assurer le suivi et l’évaluation ;
5. Elaborer, en collaboration avec les autres services, le CDMT sectoriel et en
assurer le suivi et l’évaluation ;
6. Procéder à toute étude susceptible de faire évoluer la législation du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté ;
7. Réaliser ou faire réaliser des études et des analyses sur le développement :
prospective et études en amont des documents de planification ;
8. Constituer une banque des données des projets du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté ;
9. Assurer la gestion de la documentation spécialisée ;
10. Produire les données statistiques du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté ;
11. Centraliser et exploiter la documentation et les données statistiques du Ministère
de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté ;
12. Assurer le contact avec les différents intervenants (partenaires techniques et
financiers les ONG, les Organisations de la société civile) et contribuer à la
recherche des financements ;
13. Centraliser et produire les rapports synthèses des activités du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté ;
14. Consolider les projets et les rapports annuels de performance en collaboration
avec les autres services ;
15. Assurer le suivi de la mise en œuvre de la réforme.
29
DIRECTION DES ETUDES ET PLANIFICATION
STRUCTURE EFFECTIF
Directeur 01
Chef de Division 03
Chef de Bureau 07
Attaché d’Administration de 1ère Classe 07
Attaché d’Administration de 2ème Classe 01
Agent d’Administration de 1ère Classe 00
Agent d’Administration de 2ème Classe 00
Huissier 01
Total 20
STRUCTURE ATTRIBUTIONS
5.3.3. DIRECTION ETUDES ET PLANIFICATION
Elaborer les diagnostics du secteur;
Définir, en collaboration avec les Directions intéressées, les politiques et les stratégies
sectorielles ;
Elaborer, en collaboration avec les autres services, le programme d’investissement public
(PIP) du Ministère de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle
Citoyenneté et en assurer le suivi-évaluation ;
Elaborer le plan d’actions prioritaires et en assurer le suivi et l’évaluation ;
Elaborer, en collaboration avec les autres services, le CDMT sectoriel et en assurer le suivi
et l’évaluation ;
Procéder à toute étude susceptible de faire évoluer la législation du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
réaliser ou faire réaliser des études et des analyses sur le développement : prospective et
études en amont des documents de planification ;
constituer une banque des données des projets du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté;
assurer la gestion de la documentation spécialisée ;
30
produire les données statistiques du Ministère de l’Enseignement Primaire, Secondaire et
Initiation à la Nouvelle Citoyenneté;
centraliser et exploiter la documentation et les données statistiques du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
assurer le contact avec les différents intervenants (partenaires techniques et financiers les
ONG, les Organisations de la société civile) et contribuer à la recherche des financements ;
Centraliser et produire les rapports synthèses des activités du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
Consolider les projets et les rapports annuels de performance en collaboration avec les
autres services ;
Assurer le suivi de la mise en œuvre de la réforme.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Directeur : Coordonnateur Principal Conçoit, planifie, supervise, coordonne et contrôle toutes les activités de la
Direction et en rend compte.
1 Unité.
STRUCTURE ATTRIBUTIONS
5.3.3.0. SECRETARIAT DE DIRECTION
- Réceptionner, enregistrer, rédiger, collationner, expédier et classer le courrier et
les dossiers ;
- traiter le courrier, les textes et tous les documents de la Direction ;
- élaborer les projets de rapport d’activités et dresser les comptes rendus des
réunions ;
- gérer le fichier des ressources humaines de la Direction ;
- effectuer les travaux de traitement et de reproduction des textes et documents qui
lui sont soumis par le Directeur ;
- gérer la documentation de la Direction ;
- exécuter toute autre tâche administrative lui confiée par le Directeur ;
- assurer le suivi de l’agenda des rendez-vous du Directeur et organiser les
audiences.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau
(Secrétaire de Direction)
Supervise et anime toutes les activités du Secrétariat et en rend compte;
assure le suivi de l’agenda du Directeur et organise les audiences.
31
1 Attaché d’Administration de 1èreClasse
Rédige, analyse les courriers et dépouille les signataires ;
assure les relations publiques et le protocole ;
collationne les textes et initie les avants projets des rapports d’activités de la
Direction ;
traite les textes et tous les documents de la Direction ;
assure le classement des courriers et autres documents
1 Huissier Assure la propreté des locaux et divers services.
3 Unités
STRUCTURE ATTRIBUTIONS
5.3.1.1. DIVISION ETUDES, DOCUMENTATION ET
INFORMATION
Contribuer à l’élaboration des diagnostics, à la conduite de toute étude, à la gestion de la
documentation spécialisée ainsi qu’à la centralisation et à l’exploitation des données
statistiques du Ministère de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle
Citoyenneté.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Division Supervise, coordonne et contrôle toutes les activités de la Division et en rend
compte.
1 Unité.
STRUCTURE ATTRIBUTIONS:
5.3.1.1.1. BUREAU ETUDES, ANALYSES ET
PROSPECTIVE
Préparer les dossiers ayant trait à la réalisation des études, aux analyses (diagnostics) et à la
planification relatives au développement prospectif du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Anime toutes les activités du Bureau et en rend compte.
2 Attaché d’Administration de 1èreClasse
(Corps d’experts)
Centralise, analyse et traite les dossiers relatifs à :
- l’élaboration des diagnostics du secteur ;
- la conduite de toute étude susceptible de faire évoluer la législation du Ministère
de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
- la réalisation ou à faire réaliser des études, des analyses relatives au
développement prospectif et des études en amont des documents de
planification ;
32
- la réalisation des études socio-économiques du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
- au suivi de la mise en œuvre des réformes du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
- la centralisation et à la production des rapports synthèses des activités du
Ministère de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle
Citoyenneté;
- la production des données statistiques du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté.
Elabore les rapports des activités du poste.
3 Unités
STRUCTURE ATTRIBUTIONS
5.3.1.1.2. BUREAU DOCUMENTATION ET
INFORMATION
Préparer les dossiers ayant trait en particulier à la centralisation de la
documentation et des données statistiques du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté et à la gestion de la
documentation spécialisée.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Supervise, anime toutes les activités du Bureau et en rend compte;
1 Attaché d’Administration de 1èreClasse
Centralise, analyse et traite les dossiers relatifs à :
- la centralisation de la documentation et des données statistiques du Ministère
de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté;
- la gestion de la documentation spécialisée.
Elabore les rapports des activités du poste.
2 Unités
STRUCTURE ATTRIBUTIONS
5.3.1.2. DIVISION STRATEGIES ET COOPERATION
INTERNATIONALE
Contribuer à la définition, en collaboration avec les Directions intéressées, des
politiques et des stratégies du Ministère de l’Enseignement Primaire, Secondaire
et Initiation à la Nouvelle Citoyenneté, à l’élaboration du plan d’actions prioritaires
et en assurer le suivi et l’évaluation et aux contacts avec les différents intervenants
(partenaires techniques et financiers, les ONG et les Organisations de la société
civile) et à la recherche des financements.
33
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Division Supervise, coordonne et contrôle toutes les activités de la Division et en rend
compte.
1 Unité.
STRUCTURE ATTRIBUTIONS
5.3.1.2.1. BUREAU STRATEGIES
Préparer les dossiers ayant trait en particulier à la définition, en collaboration avec
les Directions intéressées, des politiques et des stratégies du secteur et à
l’élaboration du plan d’actions prioritaires et en assurer le suivi et l’évaluation
Proposer, en collaboration avec les autres Directions, l’intégration des stratégies
du secteur au plan national de développement.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Anime toutes les activités du Bureau et en rend compte.
1 Attaché d’Administration de 1èreClasse
Centralise, analyse et traite les dossiers relatifs à :
- la définition, en collaboration avec les Directions intéressées, des politiques et
des stratégies du Ministère de l’Enseignement Primaire, Secondaire et Initiation
à la Nouvelle Citoyenneté;
- l’élaboration du plan d’actions prioritaires et en assurer le suivi et l’évaluation ;
- la proposition, en collaboration avec les autres Directions, de l’intégration des
stratégies du secteur au plan national de développement.
Elabore les rapports des activités du poste.
2 Unités.
STRUCTURE ATTRIBUTIONS
5.3.1.2.2. BUREAU COOPERATION INTERNATIONALE
Préparer les dossiers ayant trait en particulier aux contacts avec les différents intervenants
(partenaires techniques et financiers, les ONG et les Organisations de la société civile) et à la
recherche des financements.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Anime toutes les activités du Bureau et en rend compte;
1 Attaché d’Administration de 1èreClasse
Centralise, analyse et traite les dossiers relatifs aux contacts avec les différents
intervenants (partenaires techniques et financiers, les ONG et les Organisations
de la société civile) et à la recherche des financements.
34
Elabore les rapports des activités du poste.
2 Unités.
STRUCTURE ATTRIBUTIONS
5.3.1.3. DIVISION PROGRAMME ET SUIVI
Contribuer à l’élaboration, en collaboration avec les autres Services, du
programme d’investissement public (PIP) du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté et en assurer le suivi-
évaluation, à l’élaboration, en collaboration avec les autres Services, du CDMT
sectoriel et en assurer le suivi et l’évaluation, à la consolidation des projets et des
rapports annuels de performance en collaboration avec les autres Services et à la
constitution d’une banque des données des projets du Ministère de l’Enseignement
Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Division Supervise, coordonne et anime toutes les activités de la Division et en rend compte.
1 Unité.
STRUCTURE ATTRIBUTIONS
5.3.1.3.1. BUREAU PROGRAMME
Préparer les dossiers ayant trait à l’élaboration, en collaboration avec les autres
Services, du programme d’investissement public du secteur (PIP) et en assurer le
suivi-évaluation, à l’élaboration, en collaboration avec les autres Services, du
CDMT sectoriel et en assurer le suivi et l’évaluation, à la consolidation des projets
et des rapports annuels de performance en collaboration avec les autres
Services et à la constitution d’une banque des données des projets du Ministère
de l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Anime toutes les activités du Bureau et en rend compte;
1 Attaché d’Administration de 1èreClasse
Centralise, analyse et traite les dossiers relatifs à :
- l’élaboration, en collaboration avec les autres Services, du programme
d’investissement public (PIP) du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté et en assurer le suivi-
évaluation ;
35
- l’élaboration, en collaboration avec les autres Services, du CDMT sectoriel et
en assurer le suivi et l’évaluation ;
- la consolidation des projets et des rapports annuels de performance en
collaboration avec les autres Services ;
- la constitution d’une banque des données des projets du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté.
Elabore les rapports des activités du poste.
1 Attaché d’Administration de 2èmeClasse
Collecte, exploite et participe au traitement des dossiers relatifs à :
- l’élaboration, en collaboration avec les autres Services, du programme
d’investissement public (PIP) du Ministère de l’Enseignement Primaire,
Secondaire et Initiation à la Nouvelle Citoyenneté et en assurer le suivi-
évaluation ;
- l’élaboration, en collaboration avec les autres Services, du CDMT sectoriel et
en assurer le suivi et l’évaluation ;
- la consolidation des projets et des rapports annuels de performance en
collaboration avec les autres Services ;
- la constitution d’une banque des données des projets du Ministère de
l’Enseignement Primaire, Secondaire et Initiation à la Nouvelle Citoyenneté.
Elabore les rapports des activités du poste.
3 Unités.
STRUCTURE ATTRIBUTIONS
5.3.1.3.2. BUREAU SUIVI - EVALUATION
Préparer les dossiers et les outils relatifs au suivi et à l’évaluation des politiques et
des stratégies du Ministère de l’Enseignement Primaire, Secondaire et Initiation à
la Nouvelle Citoyenneté.
EFFECTIF POSTE D’EMPLOI ACTIVITES PROFIL
1 Chef de Bureau Supervise, anime toutes les activités du Bureau et en rend compte.
1 Attaché d’Administration de 1èreClasse
Centralise, analyse et traite les dossiers et les outils relatifs au suivi et à l’évaluation
des politiques et des stratégies du secteur ;
Elabore les rapports des activités du poste.
2 Unités.
36
D. RESULTS FROM KNOWLEDGE AND SKILLS
ASSESSMENT
Légende : 4 = connaissance non disponible, 3 = connaissance disponible, mais incomplète, 2 = Connaissance disponible, complète, mais pas structurée ; 1= Connaissance, disponible, complète et structurée D = Niveau de connaissance au début du stage, F = Niveau de connaissance à la fin du stage
Thématiques Thèmes d’évaluation des
connaissances
1 2 3 4
Concepts Question : Définissez ces concepts et identifiez les liens qui existent entre eux
Chaine de résultats F D
Indicateurs F D
Cadre logique F D Théorie de changement F D Cycle de projet F D Suivi F D Evaluation F D
Recherche F D
Collecte et la
gestion des
données
Question : Comment ?
Déterminer s’il existe des données
secondaires F D
Trianguler les sources et les méthodes de
collecte de données F D
Définir les critères d’échantillonnage F D Élaborer les méthodes/outils de collecte de
données F D
Établir un mécanisme de prise en compte
des réclamations lors de la collecte F D
Planifier la gestion des données
Utiliser un tableau de suivi des indicateurs F D
Système de suivi
et évaluation
Question : Comment ?
Examiner la conception du projet F D Identifier les attentes des parties prenantes
clés en information F D
Recenser les exigences en matière de suivi
et d’évaluation F D
Déterminer la portée des principales
manifestations et activités de suivi et
d’évaluation
F D
Analyse des
données
Question : Comment définir
Le but de l’analyse F D La fréquence de l’analyse ; F D Le processus d’analyse. F D Question : Comment assurer
37
La préparation des données F D D La validation des données ; F D D L’analyse des données (constatations et
conclusions) F D
La présentation des données ; F D Les recommandations et mesures à prendre F D
Rapportage et
utilisation
Question : Comment anticiper et planifier
Besoins en information F D
Fréquence de rapportage F D
Format du rapportage F D La diffusion de l’information F D
Renforcement
des capacités en
suivi et
évaluation
Question : Comment
Évaluer les capacités en suivi et à
l’évaluation F D
Déterminer les besoins en de renforcement
des capacités de suivi et d’évaluation F D
Définir les besoins en compétences
extérieures F D
Définir les rôles et les responsabilités F D
Thématiques Thèmes d’évaluation des
connaissances
1 2 3 4
Concepts Question : Définissez ces concepts et identifiez les liens qui existent entre eux
Chaine de résultats F D
Indicateurs F D
Cadre logique F D Théorie de changement F D Cycle de projet F D Suivi F D
Evaluation F D Recherche F D
Collecte et la
gestion des
données
Question : Comment ?
Déterminer s’il existe des données
secondaires F D
Trianguler les sources et les méthodes de
collecte de données F D
Définir les critères d’échantillonnage F D Élaborer les méthodes/outils de collecte de
données F D
Établir un mécanisme de prise en compte
des réclamations lors de la collecte F D
Planifier la gestion des données
Utiliser un tableau de suivi des indicateurs F D
Système de suivi Question : Comment ?
38
et évaluation Examiner la conception du projet F D Identifier les attentes des parties prenantes
clés en information F D
Recenser les exigences en matière de suivi
et d’évaluation F D
Déterminer la portée des principales
manifestations et activités de suivi et
d’évaluation
F D
Analyse des
données
Question : Comment définir
Le but de l’analyse F D D La fréquence de l’analyse ; F D
Le processus d’analyse. F D
Question : Comment assurer
La préparation des données F D La validation des données ; F D
L’analyse des données (constatations et
conclusions) F D
La présentation des données ; F D Les recommandations et mesures à prendre F D
Rapportage et
utilisation
Question : Comment anticiper et planifier
Besoins en information F D
Fréquence de rapportage F D
Format du rapportage F D
La diffusion de l’information F D
Renforcement
des capacités en
suivi et
évaluation
Question : Comment
Évaluer les capacités en suivi et à
l’évaluation F D
Déterminer les besoins en de renforcement
des capacités de suivi et d’évaluation F D
Définir les besoins en compétences
extérieures F D
Définir les rôles et les responsabilités F D
Monitoring, Evaluation, and Coordination Contract
(MECC): Training Report
Monitoring, Evaluation, and Learning (MEL)
Fundamentals Course
July 10-12, 2018
AID-660-TO-16-00002
October 30, 2018
This publication was produced for review by the United States Agency for International Development.
It was prepared by International Business & Technical Consultants, Inc. (IBTCI) under IDIQ AID-OAA-I-15-00022, Task Order AID-660-TO-
16- 00002.
MONITORING, EVALUATION, AND
COORDINATION CONTRACT: TRAINING REPORT
Monitoring, Evaluation, and Learning
(MEL) Fundamentals Course
July 10-12, 2018 October 30, 2018
International Business and Technical Consultants, Inc. (IBTCI) In the US:
8618 Westwood Center Drive Suite 400 Vienna, VA 22182 USA
+1.703.749.0100
In Kinshasa:
63, Av. Col. Mondjiba, Concession COTEX, Bat. 7A,
Ngaliema, Kinshasa, DRC
AID-660-60-16-00002
DISCLAIMER
The author’s views expressed in this publication do not necessarily reflect the views of the United States Agency for International
ANNEX A – Participant Sign-in Sheets .................................................................................................................... 12
ANNEX B – Participant Satisfaction Survey ............................................................................................................ 18
ANNEX C – Pre-/Post-Test ....................................................................................................................................... 20
ANNEX D – Agenda for each Day ........................................................................................................................... 23
ANNEX E – How to Access the Slides .................................................................................................................... 26
4
ACRONYMS
ACCELERE! Accès, Lecture, Rétention et Redevabilité
CDCS Country Development Cooperation Strategy
CLA Collaborating, Learning and Adapting
CO Contracting Officer COR Contracting Officer’s Representative DEP Department for Studies and Planning (Direction des Etudes et de la Planification)
DFID United Kingdom Department for International Development
DO Development Objective
DQA Data Quality Assessment
DRC Democratic Republic of the Congo
EGRA Early Grade Reading Assessment FY Fiscal Year
GDRC Government of the Democratic Republic of the Congo
IBTCI International Business and Technical Consultants, Inc.
IM Implementing Mechanism
IP Implementing Partner
IR Intermediate Result
M&E Monitoring and Evaluation MECC Monitoring, Evaluation and Coordination Contract
MEL Monitoring, Evaluation and Learning
MEPSP Ministry of Education (Ministère de l’Education Primaire, Secondaire et Professionnelle)
MSI Management Systems International PAD Project Appraisal Document PICAL Participatory Institutional Capacity Assessment and Learning Index
PIRS Performance Indicator Reference Sheet
PMP Performance Management Plan
PPL Bureau for Policy, Planning and Learning
PPR Performance Plan and Report
TO Transition Objective SPACE Education Sector Support and Coordination Unit (Secrétariat Permanent d’Appui et de
Coordination du Secteur de l’Education)
USAID U.S. Agency for International Development
USG U.S. Government
5
Introduction
International Business and Technical Consultants, Inc. (IBTCI) is pleased to present the following training
report for the Monitoring, Evaluation and Learning (MEL) Fundamentals course that was delivered in July
2018 under the U.S. Agency for International Development Mission in the Democratic Republic of the Congo
(USAID/DRC) Monitoring, Evaluation and Coordination Contract (MECC).
The report begins with an overview of MECC and the training context, and then presents the highlights of
the training, including:
Learning objectives and approach
Content covered
Overview of logistics and participants
Participant satisfaction
Participant pre-/post-test performance
The report concludes with challenges identified and lessons learned, which may be useful for USAID decision
making.
Background
MECC is a five-year contract implemented by IBTCI and its subcontractor, Management Systems
International (MSI), to provide monitoring, evaluation, analytic, coordination, and research services to two
primary USAID initiatives in the DRC, which are implemented under two components of the MECC task
order – Component 1: the Mission’s Country Development Cooperation Strategy (CDCS) and regional
programming, and Component 2: ACCELERE!, an education program jointly funded by USAID and the
United Kingdom Department for International Development (DFID). MECC is intended to support Mission-
wide objectives and provide analytical tools and services that allow the Mission to undertake performance
management that will guide them in the full implementation of the mission-wide strategy and ACCELERE!
results framework.
The MEL Fundamentals training is part of MECC’s M&E capacity-building services for USAID/DRC Mission staff.
As a first step in the capacity building process, MECC conducted a Mission-level assessment of MEL topics and
training requested by staff. Additional capacity needs were identified through the annual reporting and portfolio
review process. MECC designed the training content according to existing USAID MEL guidance, particularly the
guidance expressed in ADS 201, the USAID Monitoring Toolkit, the USAID Evaluation Toolkit, and the USAID
CLA Toolkit, as well as content derived from PPL’s MEL training for AORs and CORs1. The content of the MECC
training was reviewed by USAID/DRC. After receiving Mission approval of the materials, MECC delivered the
three-day course for the first time in March 2018. MECC also designed a complementary MEL Intermediate three-
day course, which MECC delivered for the first time in May 2018. MECC has used feedback and lessons learned
from the initial delivery of these two courses to improve training materials for continued regular delivery of the
courses to USAID/DRC staff.
1 “Performance Monitoring and Evaluation Essentials” and “Applied Performance Monitoring and Evaluation”
6
HIGHLIGHTS FROM MEL FUNDAMENTALS TRAINING,
JULY 2018
Trainees doing a group-work activity during the July 2018 MEL Fundamentals training.
Learning Objectives and Approach
Learning Objectives
The MEL Fundamentals training sought to ensure that participants who successfully completed the full
three-day course would be able to:
Clearly articulate the differences between and different uses of performance monitoring, evaluation
and learning;
Report increased confidence in key management requirements related to performance
monitoring;
Demonstrate improved understanding of evaluation types, requirements, and preparation; Understand how CLA fits into the Program Cycle and the link among M&E, learning, and adapting;
and
Demonstrate improved applied knowledge of key USAID MEL policies and procedures.
Approach
The training design included participatory and adult learning techniques, with practical exercises, group
discussions, and regular opportunities to link training content to actual on-the-job needs. The trainers
regularly asked questions of the trainees to ensure engagement and understanding. At the end of each session
there was a wrap-up to summarize the key learning points, and at the end of each day there was dedicated
time to discuss and clarify any unclear points. All materials were delivered in French.
Content Covered in the MEL Fundamentals Training In alignment with the learning objectives above, the training covered USAID’s basics in PM&E (Performance
7
Monitoring and Evaluation) and CLA (Collaborating, Learning and Adapting). The content was organized as
follows across the three days:
Performance Monitoring (Day 1)
Evaluation (Day 2)
Collaborating, Learning and Adapting (Day 3)
In addition to core content, each day of the training also included opening and closing sessions to frame the
day and clarify any questions; two coffee breaks (morning and afternoon) and a lunch break to give
participants a chance to process the information received and re-energize for the next session; and an
opportunity to provide feedback at the end of each day via an anonymous satisfaction survey. To assess
participants’ learning, the training team administered a pre-test to all participants at the beginning of Day 1
and re-administered the same assessment as a post-test at the end of Day 3.
Additional details on each day’s sessions are below.
Day 1
Overview of PM&E
Planning for Monitoring
Performance Indicators
Day 2
Evaluation Basics
Evaluation Purpose and Questions
Evaluation SOWs – Process and Content
Drafting an Evaluation SOW
Day 3
CLA Basics
CLA in Activity Management
Activity MEL Plans
Overview of Logistics and Participants
Training Logistics – July 2018
Duration: The MEL Fundamentals Training is a 3-day course, and training was held July 10-12
(Tuesday – Thursday). Each day of training lasted from approximately 9:00am to 5:00pm.
Location: The training was held at the Kin Plaza Arjaan Hotel, in the Kampala meeting room. The
room was set up in classroom style, with chairs and tables in rows and all participants facing the
projection screen at the front of the room. There was also additional space in the room for group
discussions and use of flip-charts in recording and presenting the key points from group discussions.
Attendees – July 2018
Trainees: A total of eight USAID staff (1 woman and 7 men) participated in the training. These staff
came from various technical offices and the program office. All eight were present for all three days
of the training. Four additional participants joined the training for part or all of Day 3. Two of these
participants (2 women) were USAID staff who had been in the March MEL Fundamentals course but
had missed part or all of Day 3. See Annex A for the sign-in sheets from the training.
Trainers & Other Attendees: The training was co-led by two trainers – the MECC Learning
Specialist and a professor from the from Comité International pour l’Aide d’Urgence et le Développement
(CIAUD), MECC’s local training partner. Additional attendees at the training included the MECC
Learning Officer, two note-takers from CIAUD, and the MECC COR. The acting USAID Program
Office Director also joined at the beginning to give an introduction.
8
Participant Satisfaction At the end of each day of the training, participants were asked to complete a short satisfaction survey. All
eight participants completed the survey on all three days, with the exception of Day 1, when one
participant declined to complete the survey.
The survey includes19 items with a fixed quantitative response and six open-ended questions. See Annex B
for a copy of the survey. For the 19 fixed-response items, participants were asked to indicate their level of
satisfaction with various elements of the training and score each item from 1 to 4, where 1 = not satisfied,
2 = moderately satisfied, 3 = satisfied, and 4 = very satisfied. Table 1 below summarizes the percentage of
respondents who were either “satisfied” or “very satisfied” with each of the 19 items in the survey.
Table 1: Participant Satisfaction Survey Results
Item Percentage of Participants who indicated they were “Satisfied”
or “Very Satisfied” with each item in the Satisfaction Survey
Day 1 – Performance Monitoring July 10, 2018
Day 2 – Evaluation
July 11, 2018
Day 3 – Collaborating, Learning & Adapting
July 12, 2018
1. Degree of satisfaction regarding the organization of the training
Documents available 71% 100% 100%
Discussions and lectures 100% 88% 100%
Daily schedule 100% 88% 100%
Breaks, lunch, refreshments 86% 63% 88%
Overall training organization 100% 88% 100%
2. Degree of satisfaction regarding the content of the training
Clear and precise objectives 100% 100% 100%
Clear presentation of agenda 100% 100% 100%
Content and objectives aligned 100% 100% 100%
Hand-outs will be useful 100% 100% 100%
Quality of discussions and lectures 100% 100% 88%
Instructive group work 100% 100% 88%
Time in plenary 100% 88% 100%
Time in discussions/exchanges 100% 100% 100%
3. Degree of satisfaction regarding the trainers
Presented the content well 100% 100% 100%
Had good exchanges with participants
86% 100% 100%
Raised my interest in the topics covered
100% 100% 100%
4. Degree of satisfaction regarding the usefulness of what was learned in the training
Introduces new topics or brings clarifications
86% 100% 100%
Useful for sharing with my colleagues
100% 100% 100%
Useful for our project/organization 100% 100% 100%
As shown in the table above, 100% of participants were either “satisfied” or “very satisfied” with nearly all
of the 19 items in the survey. Items for which less than 100% of the participants were satisfied are marked
in the table with light yellow shading for scores of 60-79% and light green shading for scores of 80-89%.
The data reveal three noteworthy points regarding the items with less than 100% satisfaction.
1) The one item that scored at less than 100% satisfaction on all 3 days was “breaks, lunch,
9
refreshments.” The training team observed that the coffee and tea supplied by the venue (Kin Plaza
Arjaan Hotel) were sometimes cold, having been set out earlier than needed. However, the
participants who indicated lower satisfaction on this item did not provide an explanation.
2) The two items that scored at less than 80% satisfaction were “documents available” on Day 1
(71% satisfaction) and “breaks, lunch, refreshments” on Day 2 (63% satisfaction). The training team
noted the reaction to “documents available” and improved this item on Days 2 and 3. However, as
noted in point 1 above, the issue of refreshments remained an item of slightly lesser satisfaction
across all three days of training.
3) The section of the survey with the most items scored at less than 100% satisfaction was
“organization of the training.” This is again linked to the fact that one or more participants were
less than satisfied by “breaks, lunch, refreshments” on all three days of the training. However, the
data also reveal a pattern of lower satisfaction on most items in the “organization” category on
Day 2. The training team may wish to review the structure and flow of this day for future trainings.
The data also show that 100% of participants were consistently “satisfied” or “very satisfied” by
the following nine items across all three days of training:
Clear and precise objectives
Clear presentation of agenda
Content and objectives aligned
Hand-outs will be useful
Time in discussions/exchanges
Trainers presented the content well
Trainers raised my interest in the topics covered
Learnings from the training useful for sharing with my colleagues
Learnings from the training useful for our project/organization
Of the six open-ended questions in the satisfaction survey, there were five that requested suggestions
from participants on how the various elements of the MEL Fundamentals training could be improved for
future delivery of the training. The information captured there is discussed later in this report, in the
section entitled “Continuous Improvement.”
Additional information captured in the open-ended questions revealed that the participants appreciated the
training team, with a few participants commenting specifically on this. Finally, in response to the open-
ended question regarding which topics the participants found most interesting, the data show that all
topics were appreciated. This diversity of responses is a good reminder that each participant comes with
different knowledge gaps and areas of interest when it comes to M&E and CLA. The MEL Fundamentals
training addresses several key points in M&E and CLA over the three days, which can resonate with
different participants in different ways.
Participant Pre-Test and Post-Test Performance
To assess the knowledge gained by participants during the training, the training team administered a pre- /post-test (see Annex C) that covered various key elements of the training content and learning objectives.
By administering the same test twice – first at the beginning of Day 1, and then at the end of Day 3 – MECC
was able to measure changes in the participants’ knowledge and understanding of MEL, and thereby gain
insight into the effectiveness of the training. Results of the pre- and post-test are provided in Table 2 below,
and some analysis is provided in Table 3 below.
Table 2: Pre-test/Post-test Results
10
Gender
Participant
Number
Pre-Test Post-Test Gain
(percentage
points) Score
(out of 37) Percentage Score
(out of 37) Percentage
M 1 16 43% 21 57% 14
M 2 17 46% 19 51% 5
M 3 20 54% 22 60% 6
F 4 18 49% 27 73% 24
M 5 14 38% 21 57% 19
M 6 17 46% 25 68% 22
M 7 19 51% 20 54% 3
M 8 23 62% 28 76% 14
Table 3: Analysis of Pre-/Post-Test Results
Result # of Participants Percentage
(out of 8) M F Total
Participants who improved their score 7 1 8 100%
Participants with a stationary score 0 0 0 0%
Participants who improved their scores by more than 10 percentage points 4 1 5 63%
Participants who obtained more than 69% at pre-test 0 0 0 0%
Participants who obtained more than 69% at post-test 1 1 2 25%
Participants who obtained less than 50% at pre-test 4 1 5 63%
Participants who obtained less than 50% at post-test 0 0 0 0%
As shown in Table 3 above, all eight participants improved their scores from pre-test to post-test, with most
of them (63%) improving their scores by more than 10 percentage points. Additionally, although most
participants (63%) scored lower than 50% on the pre-test, by the time participants took the post-test, no
one scored below 50%.
CONTINUOUS IMPROVEMENT
As noted above, the participant satisfaction survey collected suggestions for improvement from the
participants. Drawing from those comments, the fixed-response data in the satisfaction survey, and the
observations of USAID, MECC, and CIAUD staff reveals the following areas for improvement in future
deliveries of the MEL Fundamentals training.
Training Content: Although all attendees expressed appreciation for the content covered in the
MEL Fundamentals training, the three primary topics – Monitoring, Evaluation, and CLA – are all
broad topics, and it is therefore a challenge to balance the time available and the extent to which
each topic may be covered. The MECC COR suggested that more time may be needed for CLA,
and a participant suggested that more time may be needed for Evaluation. Another participant noted
that even more practical examples and exercises would be helpful. While it will be challenging to
make additions to the curriculum given that the training is not envisioned to extend beyond three
days, USAID and MECC may wish to look for other opportunities to reinforce M&E and CLA
knowledge and skills among Mission staff. For example, USAID may wish to offer additional half-day
or full-day trainings on special topics.
Training Organization: As noted above, the section in the survey with the most items that scored
11
at less than 100% satisfaction was “organization of the training.” Although some of this is related to
the refreshments score, it is of note that Day 2 (Evaluation) had a slightly lower level of satisfaction
across 4 of the 5 “organization of the training” items. USAID and MECC may wish to reassess the
schedule for Day 2, based not only on the quantitative scores presented above, but also based on
the training team’s observations that participants tend to have many questions and comments about
evaluation topics.
FUTURE TRAININGS
MECC and USAID/DRC anticipate offering this course once per year for the duration of the MECC contract
as part of USAID/DRC’s efforts to build overall institutional capacity in MEL at the mission. MECC will also
continue to offer the follow-on intermediate-level MEL course, which was delivered for the first time in May
2018 and is scheduled for a second delivery in September 2018. Finally, MECC will work with USAID on
developing and delivering other specialized courses in MEL for target audiences as needed.
12
ANNEX A – Participant Sign-in Sheets
13
14
15
16
17
18
ANNEX B – Participant Satisfaction Survey
EVALUATION FORMATION EN SUIVI ET EVALUATION DE L’USAID
Date : Lieu :
Cher participant, Le présent questionnaire a pour objet d'aider MECC à améliorer le contenu et l’organisation des prochaines sessions de formation à l’intention du personnel de l’USAID. Nous vous remercions par avance de bien vouloir prendre le temps de répondre au questionnaire aussi franchement et ouvertement que possible. Il est anonyme. Vous n'êtes pas tenu d'indiquer votre nom. Question 1 : Quel est votre degré de satisfaction concernant l’organisation de cette formation? Insatisfait Moyennement
satisfait Satisfait Très
satisfait
Documents disponibles 1 2 3 4
Organisation des débats et des exposés 1 2 3 4
L’horaire de la journée était approprié 1 2 3 4 Organisation logistique (pause-café, déjeuner, rafraichissement, …)
1 2 3 4
Qualité de l’organisation générale de la formation 1 2 3 4
Question 2 : Quelles sont vos suggestions pour l’amélioration de l’organisation des prochaines sessions de formation ?
1.
2.
Question 3 : Quel est votre degré de satisfaction concernant le contenu de cette formation ?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Les objectifs de la formation étaient clairs et précis
1 2 3 4
L’agenda de la formation a été présenté clairement
1 2 3 4
Le contenu répondait bien aux objectifs de la formation
1 2 3 4
La documentation fournie sera utile 1 2 3 4
La qualité des débats et des exposés 1 2 3 4 Le travail en groupe a été très instructif 1 2 3 4
Temps pour les séances plénières 1 2 3 4
Temps pour les discussions et échanges 1 2 3 4
Question 4 : Quelles sont vos suggestions pour l’amélioration du contenu des prochaines formations ? 1.
2.
19
Question 5 : Quel est votre degré de satisfaction concernant les intervenants de cette formation ?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Ont bien présenté le contenu 1 2 3 4
Ont bien échangé avec les participants 1 2 3 4
Ont suscité mon intérêt pour les informations communiquées
1 2 3 4
Question 6 : Quelles sont vos suggestions concernant le choix des intervenants pour les prochaines formations ?
1.
2.
Question 7 : Quels sujets ou points de discussions de la journée avez-vous trouvé le plus utile ? 1.
2.
Question 8 : Quel est votre degré de satisfaction concernant l’utilité et les leçons apprises au cours de cette formation?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Apport des éléments nouveaux ou des clarifications
1 2 3 4
Utilité pour être partager avec mes collègues 1 2 3 4
Utilité pour notre projet/organisation 1 2 3 4
Question 9 : Comment pourrait-on rendre la formation plus effective pour vous ? 1.
2.
Question 10 : Quelles autres suggestions avez-vous pour les prochaines sessions de formation ?
Nous vous remercions d’avoir répondu à ces questions. Veuillez-vous assurer que toutes les questions ont une réponse.
20
ANNEX C – Pre-/Post-Test
Questionnaire d’évaluation des connaissances pré et post formation sur les principes de base de suivi, évaluation et capitalisation pour le staff de
l’USAID Consigne : veuillez répondre en cochant ou en complétant votre point de vue. Vous disposez de 10’ pour tout remplir.
1. Les éléments ci-après définissent le suivi et l’évaluation de la performance. Veuillez cocher pour chacun selon qu’il caractérise le plus le suivi et/ou l’évaluation.
Item Suivi Évaluation
a) suivi continu et systématique
b) collecte et l’analyse systématiques c) informations sur les caractéristiques et les résultats de
programmes et de projets
d) données d'indicateurs de performance
e) améliorer l'efficacité,
f) la mise en œuvre est sur la bonne voie
g) révéler si les résultats souhaités sont atteints
i) servir de base à un jugement,
j) éclairer des décisions sur la programmation actuelle et future
2. La liste ci-après reprend certaines de vos responsabilités à l’USAID RDC, pour le suivi des activités des partenaires de mise en œuvre.
Examiner les données des indicateurs de performance et les rapports de suivi ;
Effectuer ou participer à des évaluations de la qualité des données (AQD);
Effectuer des visites de sites ;
Examiner les rapports techniques et les livrables ; Et rencontrer le personnel d'exécution et les autres parties prenantes.
2a. Pour vous, cette liste reprend l’essentiel de vos responsabilités en
matière de suivi de performance.
2b. Si non, indiquez la responsabilité qui, selon vous, manque le plus :
_/
3. Indiquez s’il s’agit chaque fois d’un indicateur ou de résultat.
Item Résultat Indicateur
a. Le taux de réussite aux examens d’Etat
b. Le nombre de moustiquaires distribués
c. La capacité améliorée de conduite d’un plaidoyer sur la gouvernance des provinces
d. Le niveau de capacité des élèves de 1ère année de d’écrire et calculer augmente de 30% au cours d’une année scolaire
Oui Non
21
4. Affectez chaque élément à sa catégorie d’indicateur.
Elément Indicateur d’intrant d’extrant de résultat
a. Nombre de cadres de l’USAID sachant faire une évaluation.
b. Nombre de journées de formation organisées par USAID
c. Nombre des rapports de suivi envoyés à USAID USA.
d. % d’heures d’absence aux journées de formation.
5. Indiquez une circonstance majeure entraînant l’introduction d’une innovation dans la théorie de changement d’une activité. _/
6. Cochez ce que doit être une évaluation lorsqu’il y a exigence de redevabilité :
(1) L’évaluation doit être interne
(2) L’évaluation doit être externe
(3) Les deux à la fois
(4) L’évaluation doit être faite par les bénéficiaires
7. Cochez la meilleure référence pour élaborer les questions d’évaluation de bonne qualité :
(1) Des discussions au bureau du programme de l’USAID
(2) Des discussions entre le gestionnaire de l’activité et le partenaire de mise en œuvre
(3) Des réflexions du chef de l’équipe technique à laquelle appartient le gestionnaire de l’activité
(4) De l’inspiration du Directeur de l’USAID
(5) Du but même de l’évaluation
8. À quoi renvoie le concept « CRUEL » pour ce qui est de la qualité des questions d’évaluation (cochez) ?
9. Bénéficiant d’un bon environnement, financée et bien gérée ; une activité bien évaluée réussit durablement.
Si non ; proposez une explication : /
10. Beaucoup de rapports d’évaluation des activités financées par l’USAID n’ont pas permis l’amélioration de l’efficacité des programmes à cause de :
(1) La sous estimation des procédures de suivi par les partenaires de mise en œuvre
(2) Le manque ou les faiblesses dans le plan de capitalisation
(3) Les évaluations non ciblées sur les objectifs des activités
Oui Non
22
11. Parmi les éléments qui doivent faire partie du Plan de capitalisation devront figurer les éléments ci- après :
(1) Le contexte de mise en œuvre – les difficultés de mise en œuvre – le gap dans la connaissance du secteur
(2) Les questions d’apprentissage – les activités – les produits
(3) Le contexte de mise en œuvre – Les questions d’apprentissage – Les difficultés de mise en œuvre
(4) Les questions d’apprentissage – les difficultés – les produits
12. Dans un contexte de mise en œuvre de qualité d’une activité les questions de capitalisation :
(1) Précèdent celles de l’évaluation
(2) Suivent celles de l’évaluation
(3) Sont élaborées au même moment que celles de l’évaluation
Nom du participant :
Années d’expérience en suivi et évaluation : ans
23
ANNEX D – Agenda for each Day
Day 1
TIME DAY 1 TOPICS
8:00 Training team arrives. 8:50 Participants arrive and training team ensure all participants sign in. 9:00 Opening remarks by senior USAID/DRC official. 9:05 Participants and training team introductions. 9:20 Agenda & Learning objectives. 9:30 Pre-test administration.
9:50 Session 1: Overview of Performance. Monitoring and Evaluation. Activity #1 – Defining monitoring and evaluation.
10:45 Break 11:00 Session 2: Planning for Monitoring.
Session objectives.
Uses of Performance Monitoring (and Evaluation).
Responsibilities related to planning for monitoring.
Components of AMELPs. The link between AOR/COR PM responsibilities and project, Mission, and
Agency objectives.
Activity #2 – Linking / mapping activity monitoring to Mission and Agency
goals.
AOR/COR PM responsibilities and the program cycle.
ANNEX A – Participant Sign-in Sheets .................................................................................................................... 11
ANNEX B – Participant Satisfaction Survey ............................................................................................................ 15
ANNEX C – Pre-/Post-Test ....................................................................................................................................... 17
ANNEX D – Agenda for each Day ........................................................................................................................... 22
ANNEX E – How to Access the Slides .................................................................................................................... 25
4
ACRONYMS
ACCELERE! Accès, Lecture, Rétention et Redevabilité
CDCS Country Development Cooperation Strategy
CLA Collaborating, Learning and Adapting
CO Contracting Officer COR Contracting Officer’s Representative DEP Department for Studies and Planning (Direction des Etudes et de la Planification)
DFID United Kingdom Department for International Development
DO Development Objective
DQA Data Quality Assessment
DRC Democratic Republic of the Congo
FY Fiscal Year GDRC Government of the Democratic Republic of the Congo
IBTCI International Business and Technical Consultants, Inc.
IM Implementing Mechanism
IP Implementing Partner
IR Intermediate Result
M&E Monitoring and Evaluation MECC Monitoring, Evaluation and Coordination Contract
MEL Monitoring, Evaluation and Learning
MEPSP Ministry of Education (Ministère de l’Education Primaire, Secondaire et Professionnelle)
MSI Management Systems International PAD Project Appraisal Document PICAL Participatory Institutional Capacity Assessment and Learning Index
PIRS Performance Indicator Reference Sheet
PMP Performance Management Plan
PPL Bureau for Policy, Planning and Learning
PPR Performance Plan and Report
TO Transition Objective USAID U.S. Agency for International Development
USG U.S. Government
5
INTRODUCTION
International Business and Technical Consultants, Inc. (IBTCI) is pleased to present the following training
report for the Monitoring, Evaluation and Learning (MEL) Intermediate course that was delivered in
September 2018 under the U.S. Agency for International Development Mission in the Democratic Republic
of the Congo (USAID/DRC) Monitoring, Evaluation and Coordination Contract (MECC).
The report begins with a brief introduction about MECC and the context for the training, and then presents
the highlights of the training, including:
Learning objectives and approach
Content covered
Overview of logistics and participants
Participant satisfaction
Participant pre-/post-test performance
The report concludes with suggestions for continuous improvement and future trainings, which may be
useful for USAID decision making.
BACKGROUND
MECC is a five-year contract implemented by IBTCI and its subcontractor, Management Systems
International (MSI), to provide monitoring, evaluation, analytic, coordination, and research services to two
primary USAID initiatives in the DRC, which are implemented under two components of the MECC task
order – Component 1: the Mission’s Country Development Cooperation Strategy (CDCS) and regional
programming, and Component 2: ACCELERE!, an education program jointly funded by USAID and the
United Kingdom Department for International Development (DFID). MECC is intended to support Mission-
wide objectives and provide analytical tools and services that allow the Mission to undertake performance
management that will guide them in the full implementation of the mission-wide strategy and ACCELERE!
results framework.
The MEL Intermediate training is part of MECC’s M&E capacity-building services for USAID/DRC Mission staff.
As a first step in the capacity building process, MECC conducted a Mission-level assessment of MEL topics and
training requested by staff. Additional capacity needs were identified through the annual reporting and portfolio
review process. MECC designed the training content according to existing USAID MEL guidance, particularly the
guidance expressed in ADS 201, the USAID Monitoring Toolkit, the USAID Evaluation Toolkit, and the USAID
CLA Toolkit, as well as content derived from PPL’s MEL training for AORs and CORs1. The content of the MECC
training was reviewed by USAID/DRC. After receiving Mission approval of the materials, MECC delivered the
three-day course for the first time in May 2018. MECC also designed a complementary MEL Fundamentals three-
day course, which MECC delivered for the first time in March 2018. MECC has used feedback and lessons learned
from the initial delivery of these two courses to improve training materials for continued regular delivery of the
courses to USAID/DRC staff.
1 “Performance Monitoring and Evaluation Essentials” and “Applied Performance Monitoring and Evaluation”
6
HIGHLIGHTS FROM MEL INTERMENDIATE TRAINING,
SEPTEMBER 2018
Group photo at the end of the MEL Intermediate course, September 18-20, 2018. Photo includes six of the seven
participants, the MECC COR, and three of the five training team members.
Learning Objectives and Approach
Learning Objectives
The MEL Intermediate training sought to ensure that participants who successfully completed the full
three-day course would be able to:
Understand and apply USAID Data Quality Standards;
Demonstrate capacity to select appropriate data collection methods;
Be able to establish a framework for data analysis, including the setting of baselines and targets; Demonstrate improved capacity in the identification and application of various techniques for
analyzing different types of data at different levels of analysis;
Report increased confidence in planning for, implementing and reporting the findings of mandatory
tasks, including:
o Managing project implementation by implementing partners; o Using evidence to better plan, manage, and evaluate overall technical and mission-wide
strategies;
o Using data analysis throughout the program cycle and for annual reporting and portfolio
reviews; and
Understand how to utilize and share data analysis results.
Approach
The training design included participatory and adult learning techniques, with practical exercises, group
discussions, and regular opportunities to link training content to actual on-the-job needs. The trainers
regularly asked questions of the trainees to ensure engagement and understanding. At the end of each session
there was a wrap-up to summarize the key learning points, and at the end of each day there was dedicated
time to discuss and clarify any unclear points. All materials were delivered in French.
7
Content Covered in the MEL Intermediate Training In alignment with the learning objectives above, the training covered USAID guidance related to data
utilization, from data quality and data collection to data analysis and adaptive management. The content fell
under three broad categories, as organized across the three days:
Identifying Data Needs and Planning for Collection (Day 1)
Setting the Framework for Data Analysis (Day 2) Analyzing and Learning from Data (Day 3)
In addition to core content, each day of the training course also included opening and closing sessions to
frame the day and clarify any questions; two coffee breaks (morning and afternoon) and a lunch break to give
participants a chance to process the information received and re-energize for the next session; and an
opportunity to provide feedback at the end of each day via an anonymous satisfaction survey. To assess
participants’ learning, the training team administered a pre-test to all participants at the beginning of Day 1
and re-administered the same assessment as a post-test at the end of Day 3.
Additional details on each day’s sessions are below.
Day 1
Program Theory
Performance Indicator Review
Data Sources, Limitations, and Quality
Day 2
Data Collection Methods
Measuring Progress – Baselines, Targets, and Disaggregation
Data Quality Assessments
Day 3
Analyzing Performance Monitoring Data
Learning from Performance Monitoring Data
Data Analysis and Portfolio Reviews
Overview of Logistics and Participants
Training Logistics – September 2018
Duration: The MEL Advanced Training is a 3-day course, and training was held September 18-20
(Tuesday – Thursday). Each day of training lasted from approximately 8:30am to 4:30pm.
Location: The training was held at the Beatrice Hotel, in meeting room 1328. The room was set
up in classroom style, with chairs and tables in rows and all participants facing the projection screen
at the front of the room. There was also additional space in the room for group discussions and use
of flip-charts in recording and presenting the key points from group discussions.
Attendees – September 2018
Trainees: A total of seven USAID staff (1 woman, 6 men) participated in the training. These staff
came from various technical offices. All seven were present for all three days of the training.
However, one participant was serving as technical lead for his Office at the time of the training and
had to leave the training for part of Day 2 to attend a high-level meeting. See Annex A for the sign-
in sheets from the training.
Trainers & Other Attendees: The training was co-led by two trainers – the MECC Learning
Specialist and a professor from the from Comité International pour l’Aide d’Urgence et le Développement
(CIAUD), MECC’s local training partner. Additional attendees at the training included the MECC
Learning Officer, two note-takers from CIAUD (one of whom is becoming a CIAUD trainer and
therefore also led a session in this training), and the MECC COR. The USAID Program Office
Director joined at the beginning of Day 1 to deliver opening remarks.
8
Participant Satisfaction At the end of each day of the training, participants were asked to complete a short satisfaction survey. All
seven participants completed the survey on all three days.
The survey includes19 items with a fixed quantitative response and six open-ended questions. See Annex B
for a copy of the survey. For the 19 fixed-response items, participants were asked to indicate their level of
satisfaction with various elements of the training and score each item from 1 to 4, where 1 = not satisfied,
2 = moderately satisfied, 3 = satisfied, and 4 = very satisfied. Table 1 below summarizes the percentage of
respondents who were either “satisfied” or “very satisfied” with each of the 19 items in the survey.
Table 1: Participant Satisfaction Survey Results
Item Percentage of Participants who indicated they were “Satisfied”
or “Very Satisfied” with each item in the Satisfaction Survey
Day 1 – Identifying Data Needs and
Planning for
Collection
September 18, 2018
Day 2 – Setting the Framework for Data
Analysis
September 19, 2018
Day 3 – Analyzing and Learning from Data
September 20, 2018
1. Degree of satisfaction regarding the organization of the training
Documents available 86% 100% 100%
Discussions and lectures 100% 100% 100%
Daily schedule 100% 100% 100%
Breaks, lunch, refreshments 100% 100% 100%
Overall training organization 100% 100% 100%
2. Degree of satisfaction regarding the content of the training
Clear and precise objectives 100% 100% 100%
Clear presentation of agenda 100% 100% 100%
Content and objectives aligned 100% 100% 100%
Hand-outs will be useful 100% 100% 100%
Quality of discussions and lectures 100% 100% 88%
Instructive group work 100% 100% 88%
Time in plenary 100% 100% 100%
Time in discussions/exchanges 100% 100% 100%
3. Degree of satisfaction regarding the trainers
Presented the content well 100% 100% 100%
Had good exchanges with participants
100% 100% 100%
Raised my interest in the topics covered
100% 100% 100%
4. Degree of satisfaction regarding the usefulness of what was learned in the training
Introduces new topics or brings clarifications
71% 100% 100%
Useful for sharing with my colleagues
71% 100% 100%
Useful for our project/organization 71% 100% 100%
As shown in the table above, 100% of participants were either “satisfied” or “very satisfied” with nearly all
of the 19 items in the survey across all three days of training. Items for which less than 100% of the
participants were satisfied are marked in the table with light yellow shading for scores of 60-79% and light
green shading for scores of 80-89%.
9
Because the group of respondents is small (7 people) the data above signify that one person was less than
satisfied with the item “documents available” on Day 1, and two people were less than satisfied with the
three items in the “usefulness” section of the survey on Day 1. On Day 2 and Day 3, all seven participants
were satisfied (including “very satisfied”) with all 19 items listed in the survey.
Of the six open-ended questions in the satisfaction survey, there were five that requested suggestions
from participants on how the various elements of the MEL Intermediate training could be improved for
future delivery of the training. The information captured there is discussed later in this report, in the
section entitled “Continuous Improvement.”
Additional information captured in the open-ended questions revealed that the participants appreciated the
training team and the level of engagement and interaction in the training, with a few participants
commenting specifically on this.
Participant Pre-Test and Post-Test Performance To assess the learning gained by participants during the training, the training team administered a pre-/post-
test (see Annex C) that covered various key elements of the training content and learning objectives. By
administering the same test twice – first at the beginning of Day 1, and then at the end of Day 3 – MECC
was able to measure changes in the participants’ knowledge and understanding of MEL, and thereby gain
insight into the effectiveness of the training. Results of the pre- and post-test are provided in Table 2 below,
and some analysis is provided in Table 3 below.
Table 2: Pre-test/Post-test Results
Gender
Participant
Number
Pre-Test Post-Test Gain
(percentage
points) Score
(out of 50) Percentage Score
(out of 50) Percentage
M 1 29 58% 31 62% 4 M 2 27 54% 39 78% 24 F 3 38 76% 46 92% 16 M 4 31 62% 42 84% 22 M 5 36 72% 41 82% 10 M 6 35 70% 36 72% 2 M 7 40 80% 43 86% 6
Table 3: Analysis of Pre-/Post-Test Results
Result # of Participants Percentage
(out of 7) M F Total
Participants who improved their score 6 1 7 100%
Participants with a stationary score 0 0 0 0%
Participants who improved their scores by more than 10 percentage points 2 1 3 43%
Participants who obtained more than 69% at pre-test 3 1 4 57%
Participants who obtained more than 69% at post-test 5 1 6 86%
Participants who obtained less than 50% at pre-test 0 0 0 0%
Participants who obtained less than 50% at post-test 0 0 0 0%
10
As shown in Table 3 above, all seven participants improved their scores from pre-test to post-test, with
three of them (43%) improving their scores by more than 10 percentage points. Additionally, nearly all
participants (six out of seven) scored above 69% by the end of the training.
CONTINUOUS IMPROVEMENT
As noted above, the participant satisfaction survey collected suggestions for improvement from the
participants. The participants recommended the following:
Print documents in color, if budget permits
Allocate even more time for group work
Ensure that examples come from various sectors From the perspective of the training team, there was also one logistical area for improvement, related to
MECC’s efforts to enable CIAUD to take increasing responsibility in a USAID training. In the case of the
September MEL Intermediate training, CIAUD experienced some difficultly in taking charge of the venue
reservation. Going forward, CIAUD will obtain full confirmation for the venue well in advance of the training
dates and will avoid working with vendors that are not able to fully confirm a reservation.
FUTURE TRAININGS
MECC and USAID/DRC anticipate offering this course once per year for the duration of the MECC contract
as part of USAID/DRC’s efforts to build overall institutional capacity in MEL at the mission. MECC will also
continue to offer the related MEL Fundamentals course. Finally, MECC will work with USAID on developing
and delivering other specialized courses in MEL for target audiences as needed. Participants in the September
MEL Intermediate training suggested the following topics:
Deeper understanding of data analysis
Deeper look at DQA and norms of quality
Advanced Data collection and definition of targets
11
ANNEX A – Participant Sign-in Sheets
12
13
14
15
ANNEX B – Participant Satisfaction Survey
EVALUATION FORMATION EN SUIVI ET EVALUATION DE L’USAID
Date : Lieu :
Cher participant, Le présent questionnaire a pour objet d'aider MECC à améliorer le contenu et l’organisation des prochaines sessions de formation à l’intention du personnel de l’USAID. Nous vous remercions par avance de bien vouloir prendre le temps de répondre au questionnaire aussi franchement et ouvertement que possible. Il est anonyme. Vous n'êtes pas tenu d'indiquer votre nom. Question 1 : Quel est votre degré de satisfaction concernant l’organisation de cette formation? Insatisfait Moyennement
satisfait Satisfait Très
satisfait
Documents disponibles 1 2 3 4
Organisation des débats et des exposés 1 2 3 4
L’horaire de la journée était approprié 1 2 3 4 Organisation logistique (pause-café, déjeuner, rafraichissement, …)
1 2 3 4
Qualité de l’organisation générale de la formation 1 2 3 4
Question 2 : Quelles sont vos suggestions pour l’amélioration de l’organisation des prochaines sessions de formation ?
1.
2.
Question 3 : Quel est votre degré de satisfaction concernant le contenu de cette formation ?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Les objectifs de la formation étaient clairs et précis
1 2 3 4
L’agenda de la formation a été présenté clairement
1 2 3 4
Le contenu répondait bien aux objectifs de la formation
1 2 3 4
La documentation fournie sera utile 1 2 3 4
La qualité des débats et des exposés 1 2 3 4 Le travail en groupe a été très instructif 1 2 3 4
Temps pour les séances plénières 1 2 3 4
Temps pour les discussions et échanges 1 2 3 4
Question 4 : Quelles sont vos suggestions pour l’amélioration du contenu des prochaines formations ? 1.
2.
16
Question 5 : Quel est votre degré de satisfaction concernant les intervenants de cette formation ?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Ont bien présenté le contenu 1 2 3 4
Ont bien échangé avec les participants 1 2 3 4
Ont suscité mon intérêt pour les informations communiquées
1 2 3 4
Question 6 : Quelles sont vos suggestions concernant le choix des intervenants pour les prochaines formations ?
1.
2.
Question 7 : Quels sujets ou points de discussions de la journée avez-vous trouvé le plus utile ? 1.
2.
Question 8 : Quel est votre degré de satisfaction concernant l’utilité et les leçons apprises au cours de cette formation?
Insatisfait Moyennement satisfait
Satisfait Très satisfait
Apport des éléments nouveaux ou des clarifications
1 2 3 4
Utilité pour être partager avec mes collègues 1 2 3 4
Utilité pour notre projet/organisation 1 2 3 4
Question 9 : Comment pourrait-on rendre la formation plus effective pour vous ? 1.
2.
Question 10 : Quelles autres suggestions avez-vous pour les prochaines sessions de formation ?
Nous vous remercions d’avoir répondu à ces questions. Veuillez-vous assurer que toutes les questions ont une réponse.
17
ANNEX C – Pre-/Post-Test
Questionnaire d'évaluation des Connaissances
Formation Intermédiaire sur le suivi, l’évaluation et l’apprentissage
(MEL)
September 2018 – USAID/DRC – Kinshasa
Consigne : Veuillez répondre en cochant ou en complétant votre point de vue. Vous disposez de 20' pour tout
remplir.
1. Faites correspondre les abréviations suivantes à leurs significations selon les terminologies
de l’USAID
N° Abréviation N° Explication du Sigle ou de l’abréviation Réponse
(ex : 1 c)
1 ADS a Cadre de résultats 1
2 CDCS b Plan de gestion de la performance 2
3 DQA c Feuille de référence d’indicateur de performance 3
4 ET d Boîte à outils d’Evaluation 4
5 IP e Système automatisé de directives 5
6 IR f Stratégie de coopération pour le développement du
pays
6
7 LL g Résultat intermédiaire 7
8 RF h Partenaire de mise en œuvre 8
9 PIRS i Évaluation de la qualité des données 9
10 PMP j Laboratoire d’Apprentissage 10
2. Dites si les affirmations suivantes sont vraies ou fausses en mettant un « X » dans la case
correspondante
N° Affirmations Vrai Faux
Dans une théorie de changement, les facteurs contextuels sont les acteurs et les
facteurs faisant partie de la situation ou du contexte de l'activité/du projet en
dehors de l'influence du projet et qui ne peuvent pas influencer l'activité/le projet.
Les facteurs contextuels ne peuvent pas être contrôlés, mais ont une influence sur
le projet.
Le climat économique est un facteur contextuel par rapport à un projet.
Le climat politique est un facteur contextuel par rapport à un projet.
Les structures sociales sont un facteur contextuel par rapport à un projet.
La théorie de changement est un facteur contextuel par rapport à un projet.
Le contexte ne doit pas faire l'objet d'un suivi régulier.
Le contexte ne doit pas être utilisé pour la gestion adaptative.
18
Les liens de causalité sont des hypothèses qui décrivent comment un résultat en
affectera un autre.
19
3. Les éléments suivants décrivent le cycle de suivi du lien causal.
a) Collecter des données
b) Élaborer une TDC
c) Identifiez les liens de causalité
d) Redémarrer le cycle
e) Sélectionner des indicateurs de suivi
f) Utiliser les données pour la gestion adaptative
Marquez dans la case à droite le numéro de l’assertion qui présente les éléments qui décrivent
le cycle de suivi du lien causal selon l’ordre de leur apparition dans le cycle.
1) b, c, e, a, f, d
2) a, b, c, d, e, f
3) f, e, d, c, b, a
4) b, a, c, e, f, d
4. Dans le cadre d’une théorie de changement, les affirmations ci-dessous sont exactes sauf
une seule. Laquelle n’est pas exacte ? Marquez-la en mettant un « X » dans la case
correspondante.
Assertions Pas exacte
Les intrants sont utilisés pour produire des résultats. Les intrants sont utilisés pour produire des extrants. Les extrants sont utilisés pour créer des résultats.
Les résultats sont utilisés pour atteindre des résultats de plus haut niveau.
5. La liste ci-après reprend certaines des 7 méthodes de collecte de données les
plus utilisées.
Enquête
Revue Documentaire
Entretien de groupe
Etude de Cas
Pouvez-vous rajouter une méthode de plus ?
__________________________________________
6. Voici 4 des 5 normes de qualité des données de l’USAID :
Validité Intégrité Précision Opportunité
Quelle en est la 5ème ?
7. Indiquez une raison pour laquelle les bases de référence d’indicateurs de performance
20
sont utilisées :
8. Des assertions ci-dessous, précisez en mettant un « X » dans la case correspondante si
c’est un biais, une manipulation intentionnelle ou une erreur de transcription.
N° Assertion
Bia
is
Man
ipula
tion
inte
ntionnelle
Err
eur
de
tran
scri
ption
1 Chercheur moins informé sur la méthode 2 Définition imprécise de l'indicateur 3 Mauvaise saisie par mauvaise compréhension du système de gestion de données 4 Répondant qui n’a pas bien compris la question 5 Répondant qui ne se rappelle pas un événement 6 Réponse influencée par les connaissances antérieures du répondant 7 Saisie niveau universitaire pour un enfant de six ans 8 Sous-déclaration des valeurs (pour démontrer le besoin) 9 Sur-déclaration des valeurs (pour atteindre la cible) 10 Une source de données induit intentionnellement en erreur un utilisateur de
données
9. Des assertions ci-dessous, précisez en mettant un « X » dans la case correspondante si
c’est une donnée de référence (baseline), une cible ou une donnée réelle.
N° Assertion
Donnée d
e
réfé
rence
Cib
le
Donnée
réelle
1 Le taux de malnutrition est de 12% avant le début de l’intervention 2 Il nous faut atteindre un taux de malnutrition de 5% à la fin de l’intervention 3 Nous avons seulement atteint 8% de taux de malnutrition 4 Nous avons maintenant 1100 écoles construites 5 Nous comptons construire 1500 écoles 6 Il y a 500 écoles construites en dur avant notre intervention
21
10. Des assertions ci-dessous, précisez en mettant un « X » dans la case correspondante si
c’est une base de référence zéro, une base de référence qui doit être collectée, une base
de référence établie, ou une base de référence périodique.
N° Assertion
Zéro
A c
olle
cter
Eta
blie
Péri
odiq
ue
1 Indicateurs d’extrants, comme nombre de femmes formées à [x] par cette activité 2 Le nombre d'enfants inscrits en maternelle dans les villages ciblés par cette activité 3 Il y a des données du DHS 4 Nous comptons commencer l’activité à des moments différents à travers les villages
ciblés
11. Faites correspondre les assertions de la colonne de gauches aux concepts qui leur
correspondent le plus.
N° Assertions N° Réponse (ex : 1 c)
1 Une approche logique pour décomposer la complexité, en examiner les composantes clés afin d'expliquer les
résultats observés
a Cibles vs. Valeurs réelles
1
2 Analyser les données par âge, ou sexe, ou niveau de vie ou autre
b Comparaison dans le temps
2
3 Données trouvées comparées aux données qu’on souhaitait avoir
c Désagrégation 3
4 Résultats au temps 1, puis au temps 2, au temps 3, etc. d Analyse 4
5 Chaque fois que les valeurs réelles d'un IP se situent en dehors de la déviation de 10 %
e Le seuil de déviation s'est produit
5
6 Règle de marge pour déterminer si les performances ont été atteintes, n’ont pas été atteintes ou ont dépassé
la cible
f Plage de 10 % 6
Nom du participant :
Date :
Années d'expérience en suivi et évaluation ans
Genre : Encerclez votre choix M F
22
ANNEX D – Agenda for each Day
Day 1
Heures Sujets
7h30 Arrivée de l’équipe de formation
8h20 Arrivée des participants et signature de présence 8h30 Mots d’ouverture par le responsable senior d’USAID
8h35 Introductions, Aperçue de l’ordre du jour, et Objectifs d’apprentissage
9h05 Evaluation de Connaissance
9h25 Activité d’ouverture – Utilisation des données
9h50 Session 1 : Théorie du programme (Théorie du changement et suivi du lien de causalité)
10h20 Pause
10h35 Suite de la Session 1 Activité 1a Suivi du lien de causalité (« Causal Link Monitoring » ou CLM) Activité 1b Récapitulation de la Session 1
11h40 Session 2 : Examen des Indicateurs de Performance Catégories d’indicateurs de performance Types d’indicateurs de performance Indicateurs de contexte Récapitulation de la Session 2
12h35 Lunch
13h35 Session 3: Sources, Limites, et Qualité des données Normes de qualité des données de l’USAID Activité 2 Récapitulation de la Session 3
14h40 Session 4 : Data Quality Assessment (DQA) Exigences et bonnes pratiques Rôles de l’USAID
15h15 Pause
15h30 Suite de la Session 4 Etapes pour effectuer un DQA Soutenir la qualité des données au-delà des DQAs
16h10 Session 5 : « Point le moins clair »
16h30 Session 6 : Remarques de clôture et administration Questionnaire de Satisfaction
16h45 Clôture
23
Day 2
Heures Sujets
7h30 Arrivée de l’équipe de formation
8h20 Arrivée des participants et signature de présence
8h30 Leçons clés du jour 1 et aperçu du jour 2 9h00 Session 1 : Méthodes de Collecte des données
Données quantitatives et qualitatives Méthodes les plus utilisées – Enquête, revue documentaire
09h50 Pause
10h05 Méthodes de Collecte (suite) et introduction au prochain sujet Méthodes les plus utilisées – Observation directe, Entretiens, Focus Groupe, Etude des cas Activité 1 Mesurer les Progrès - Aperçu
12h05 Lunch 13h05 Session 2 : Mesurer les progrès – Bases de référence,
Définition et Types les plus utilisés Activité 2 Variations
14h30 Pause
14h45 Session 3 : Mesurer les progrès – Cibles et désagrégation Définition, Meilleures pratiques, Désagrégation, Activité 3
16h00 Session 4 : « Point le moins clair »
16h20 Session 5 : Remarques de clôture et administration Questionnaire de satisfaction
16h30 Clôture
Day 3
Heures Sujets
7h30 Arrivée de l’équipe de formation 8h20 Arrivée des participants et signature de présence
8h30 Accueil et aperçu du jour 3
9h00 Session 1 : Analyse des données de suivi de la performance Objectifs, Définition Quelques approches Activité 1
24
10h40 Pause
10h55 Session 2 : Apprendre des données de suivi de la performance Objectifs, Niveaux d’analyse Gestion adaptative Activité 2
11h55 Lunch
12h55 Session 3 : Analyse des données et « Portfolio Review » Objectifs, Niveaux d’analyse, Examen, Importance Processus, Suivi des rôles, Indicateurs, Principaux résultats du CDCS Activité 3
14h50 Pause
15h05 Session 4 : « Point le moins clair »
15h25 Session 5 : Aperçu des 3 jours
15h55 Session 6 : Remarques de Clôture et administration Post-Test Questionnaire de satisfaction
16h25 Clôture
25
ANNEX E – How to Access the Slides
There is a slide deck on file for each day (Day 1, Day 2, and Day 3).
To access the slides, please contact one of the following representatives:
1) James Mashikano, USAID, Monitoring & Evaluation Specialist, MECC COR
