Comparaison internationale des systèmes éducatifs: Les étapes de développement

des indicateurs internationaux de l’enseignement

Lycée « Cagnazzi »

Altamura , le 24 Mai 2010

Il y a 20 ans, lorsqu’on a commencé…

En 1988, il n’y avait aucun ensemble d’indicateurs de l’enseignement, ni au niveau international ni au niveau national

Au niveau international il n’ y avait que de médiocres statistiques de l’éducation

Les carences principales par rapport à aujourd’hui: Manque de données sur la qualité des systèmes d’enseignement; Carence de données sur les résultats de l’enseignement ou les acquis

des élèves; on ne dispose que de celles produites par l’IEA

Naissance de l’IEA En 1952 naissance à Hambourg de l’IEA (International Association for the

Evaluation of Educational Acheivemeent), une association scientifique de chercheurs (ici il y a une des différences par rapport à PISA), actuellement au siège à Amsterdam auprès de l’UNESCO, engagée dans la promotion, le développement, l’organisation des enquêtes et des sondages internationaux à grande échelle.

http://www.iea.nl/

Un regard en arrière: le prototype d’enquête à grande échelle (1959-1961)

Première enquête expérimentale

Modèle proposé par Benjamin Bloom de l’Université de Chicago (taxonomie des objectifs éducatifs, mastery learning)12 Pays/1000 élèves par Pays, de l’âge de 13ans,Lecture-mathématiques- sciences-géographie

Une préhistoire de tentatives avortées

Ensuite 20 ans de tentatives à l’OCDE (1968 - 1988 ) pour parvenir a construire un ensemble d’indicateurs internationaux de l’enseignement

Pourquoi autant de difficultés? Une fausse piste suivie pour développer les indicateurs sous l’influence des

recherches dans les sciences sociales qui visaient à mesurer l’apport de l’éducation au bien-être social plutôt qu’à surveiller le fonctionnement des systèmes d’enseignement

Une démarche méthodologique proposée était exigeante, imposait des critères de qualité élevés, inadaptés par rapport aux données à disposition

Scepticisme des hautes sphères décisionnelles qui avaient d’autres attentes que celles de la communauté scientifique, mais qui ne parvenaient pas à être formulées

Méfiance des statisticiens de l’éducation vis-à-vis des systèmes d’indicateurs

Le tournant décisif

La crise de la qualité de l’éducation éclatée il y a 25 ans , en 1983, avec la publication du rapport américain « A Nation at Risk »

Le changement de cap à la suite de la publication du rapport « A Nation at Risk » Renoncement à mesurer la contribution de l’éducation au bien-être social: si

l’éducation n’est pas bonne, sa contribution ne peut l’être non plus. L’objectif des sciences sociales apparaît alors comme un non sens et est abandonné

En priorité il convient d’analyser le fonctionnement des systèmes d’enseignement, de comparer le rapport coûts-bénéfices en éducation, de déterminer s’il est convenable de continuer à investir dans l’éducation: Combien ? Comment?

Clarification de la demande: disposer d’ un outil pour piloter les systèmes d’enseignement, pour fonder les décisions sur un socle d’informations solides.

Si la qualité de l’enseignement est mauvaise après un longue période d’expansion, l’expansion sans limites des systèmes d’enseignement n’est plus défendable,

Le projet des indicateurs internationaux de l’éducation (INES) L’OCDE lance le projet de développement d’un ensemble d’indicateurs

internationaux de l’enseignement en 1988 Cinq années pour faire accepter par une majorité de pays qu’il y avait une crise de

l’éducation De nouveaux acteurs apparaissent sur la scène, puissants, décidés: les

responsables politiques qui dictent leurs priorités. Deux gouvernements jouent un rôle déterminant: celui des Etats-Unis et celui de

la France. Ils sont en mesure d’exercer un chantage à l’OCDE. Plusieurs pays sont hostiles ou sceptiques: Angleterre, Irlande, Canada, Belgique.

D’autres ne comprennent pas ce qui se passe; d’autres suivent les leaders. Fonction déterminante du jeux des alliances diplomatiques. Le cadre est politique; les indicateurs ne sont pas neutres.

Le premier ensemble d’indicateurs internationaux de l’enseignement « Regards sur l’éducation », « Education at a Glance » est publié la première fois en 1992

150 pages, bilingues, 36 indicateurs

Coup de force risqué, très contesté en particulier dans les milieux de la statistique de l’enseignement: Les données ne sont pas sures Peu de données sont comparables Les données sur les coûts sont lacunaires et imprécises Il n’y a presque pas de données sur les résultats

Cependant : grand succès éditorial, tout à fait inattendu

La publication de EAG sonne le glas du narcissisme éducatif

Renaissance de la comparaison empirique

On compare lorsque: On doute de soi Un système de gouvernement est en crise (crise économique, sociale, scientifique, culturelle) On est en pleine euphorie On veut savoir si on est le plus fort ou pourquoi on est faible, c’est-à-dire on compare pour

avoir des confirmations On veut savoir qui fait mieux et pourquoi On cherche des boucs émissaires

La ligne de conduite en matière de comparaison est dictée par les attentes de la puissance impériale du moment: les Etats-Unis. L’Europe est absente.

La comparaison entre systèmes se révèle attrayante: l’ensemble d’indicateurs fonctionne comme un miroir qui renvoie une image des systèmes et donc de les connaître

Principales enquêtes internationales

TIMMS Trends in International Mathematics and Science StudyLes évaluations TIMMS concernent les apprentissages des élèves de la quatrième et de l’huitième année scolaire dans les mathématiques et en science .L’enquete 2007 a engagé 425.000 èlèves de 59 Pays du monde On a déjà mené 4 enquetes TIMMS (1995, 1999, 2003,2007)

PIRLS Progress in International Reading Literacy Study Les évaluations PIRLS s’adressent surtout à des enfants de 9 ans. Elles sont organisées par l’IEA (Association internationale pour l’évaluation du rendement scolaire). Elles s’intéressent à la compétence en lecture, définie comme : « l’aptitude à comprendre et à utiliser les formes du langage écrit que requiert la société ou qui sont importants pour l’individu ».Elles ont eu lieu en 2001 et 2006 dans 45 pays. Les prochaines en 2011

OCSE-PISA PISA est une enquête menée tous les trois ans auprès de jeunes de 15 ans dans les 30 pays membres de l’OCDE et dans de nombreux pays partenaires. Elle évalue l’acquisition de savoirs et savoir-faire essentiels à la vie quotidienne au terme de la scolarité obligatoire. Les tests portent sur la lecture, la culture mathématique et la culture scientifique et se présentent sous la forme d’un questionnaire de fond. Lors de chaque évaluation, un sujet est privilégié par rapport aux autres. Les premières collectes de données ont eu lieu en 2000, les suivantes en 2003, en 2006 et en 2009.

Les conséquences de « Regards sur l’Education » Une amélioration spectaculaire de la qualité des statistiques de

l’enseignement

Une amélioration des outils de la comparaison en éducation, notamment la nomenclature internationale (ISCED)

La mise en place d’un dispositif de production régulière de données sur les acquis des élèves (le projet PISA de l’OCDE) financé par les gouvernements

La production de différents ensembles d’indicateurs au niveau national ou sous-national selon un cadre théorique plus ou moins semblable à celui de l’OCDE: France, Canada, Belgique flamande, Suisse, Suède, Italie, certains cantons suisses, certaines régions italiennes, etc.

Le démarrage de OCSE PISA On passe de la “recherche” à la politique

La production d’indicateurs internationaux

La mise au point de problèmes financiers: on dépense peu ou beaucoup pour l’instruction?

Le changement de route par rapport à IEA

Le caractère cyclique des enquêtes PISA (2000 - 2003 - 2006 - 2009)

Les nouveautés de l’enquête OCSE - PISA« Programme International pour le suivi des acquis des élèves Une action de grande ampleur pareille à une énorme entreprise scientifique internationale

qu’on peut réaliser seulement grâce à la coopération de nombreuses forces

Construction de data-bases -

Richesse d’approfondissements analytiques et d’études après chaque cycle de l’enquête

Participants : En 2000: 32 Pays, une cinquantaine de systèmes scolaires, 150 000 élèves, 4500

établissements scolaires En 2006: 61 Pays, une centaine de systèmes scolaires, 400.000 élèves En 2009 : 65 Pays…..

Spécificité de PISA Un rythme cyclique jamais essayé avant (tous les trois ans)

Trois domaines disciplinaires : lecture ,literacy mathématique ; literacy scientifique

Objectifs: Evaluation de compétences réputées fondamentales pour mener une existence autonome

dans une société démocratique On n’évalue plus ce qu’on a appris par les programmes scolaires et néanmoins ce qu’on

apprend à l’école On évalue la maitrise d’aptitudes réputées essentielles dans la vie adulte

La population: les jeunes de15 ans

Ajout optionnel de modules nationaux

Points Forts Une communauté scientifique avec son propre langage

Orthodoxie et rigueur méthodologique

Protocoles d’enquête codifiés

Publications scientifiques qui légitiment l’enquête et tout ce que PISA produit

Points faibles (ou bien en discussion) 1. Les résultats des évaluations nationales ne concordent pas toujours avec

ceux des enquêtes

2. Le rapport coûts bénéfices est encore problématique

3. Le rythme des enquêtes n’est pas adéquat (ou trop lent ou bien trop serré)

4. Les enquêtes n’influent pas adéquatement sur les politiques scolaires et sur la gestion des établissements scolaires .

5. Les enquêtes sont un chantage des décideurs politiques pour contrôler les établissements scolaires et pour imposer des politiques restrictives.

Conclusions

En 20 ans il y a eu un changement radical du dispositif d’information sur l’enseignement. La scène contemporaine est totalement différente de celle d’il y a vingt ans

L’abondance de données sur les résultats a produit un nouveau cadre théorique des indicateurs internationaux

La politique de l’information sur l’enseignement et la politique de l’éducation sont manipulées par ce cadre théorique structuré autour des résultats de l’enseignement. Cette évolution n’a pas été prévue et est difficilement maîtrisable

La production régulière d’un ensemble d’indicateurs au niveau international, a engendré la constitution d’un monopole de l’information sur l’enseignement, a produit un appauvrissement des données et a amené une stratégie d’ exclusion de certaines données sensibles au niveau politique

Une déception: l’ utilisation politique de l’information produite par les indicateurs s’avère presque une illusion

Le cadre théorique des indicateurs internationaux souffre de l’absence d’une réflexion stratégique sur l’évolution à moyen et à long terme des systèmes d’enseignement