12
COMMISSION EUROPEENNE
Direction geacuteneacuterale Education et Culture
Direction A mdash Modernisation de lenseignement I Europe 2020 Analyse par pays Coordination
dErasmus+
Uniteacute A4 mdash Etudes eacutetudes dimpact analyses et statistiques
Contact eac-unite-a4eceuropaeu
Commission europeacuteenne
B-1049 Bruxelles
COMMISSION EUROPEENNE
Reacutesumeacute
Septembre 2015
Etude sur la comparabiliteacute des
tests linguistiques en Europe
Direction geacuteneacuterale Education et Culture
2015 ERASMUS+ FR
Etude sur la comparabiliteacute des tests linguistiques en Europe
Ce document a eacuteteacute preacutepareacute pour la Commission europeacuteenne neacuteanmoins il reflegravete
uniquement lrsquoavis des auteurs et la Commission ne saurait ecirctre tenue responsable de
toute utilisation qui serait faite des informations qursquoil contient
Europe Direct est un service destineacute agrave vous aider agrave trouver des reacuteponses
aux questions que vous vous posez sur lrsquoUnion europeacuteenne
Un numeacutero unique gratuit ()
00 800 6 7 8 9 10 11
() Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits
(sauf certains opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
De nombreuses autres informations sur lrsquoUnion europeacuteenne sont disponibles sur lrsquointernet via le serveur Europa (httpeuropaeu) Luxembourg Office des publications de lrsquoUnion europeacuteenne 2015 ISBN 978-92-79-50998-8 doi 10276620788 copy Union europeacuteenne 2015 Reproduction autoriseacutee moyennant mention de la source Image de couverture copy Shutterstockcom
Printed in Belgium
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 2
1 Reacutesumeacute
11 Objectif et porteacutee de leacutetude
Suite agrave lrsquoadoption des ldquoConclusions sur le Multilinguisme et le Deacuteveloppement des
Compeacutetences Linguistiquesrdquo par le Conseil de lUnion Europeacuteenne en mai 2014 une
nouvelle approche pour mesurer les compeacutetences linguistiques au niveau europeacuteen a
eacuteteacute suggeacutereacutee Plutocirct que de deacutevelopper un systegraveme de reacutefeacuterences linguistiques
commun agrave tous les Eacutetats Membres il a eacuteteacute convenu qursquoil serait preacutefeacuterable de mettre
en œuvre des mesures visant agrave promouvoir le multilinguisme et ameacuteliorer la qualiteacute et
lefficaciteacute de lapprentissage et lenseignement des langues et agrave deacutevelopper des
dispositifs permettant deacutevaluer les compeacutetences linguistiques de preacutefeacuterence au sein
du systegraveme eacuteducatif de chaque pays
Afin drsquoobtenir une meilleure connaissance des compeacutetences linguistiques en Europe le
Conseil a inviteacute la Commission Europeacuteenne agrave explorer la possibiliteacute deacutevaluer les dites
compeacutetences dans les diffeacuterents Eacutetats Membres en sappuyant sur les tests
linguistiques nationaux existants Le but de cette eacutetude est deacutevaluer la comparabiliteacute
des tests linguistiques nationaux existants pour les eacutelegraveves des niveaux CITE 2 et CITE
3 (enseignement secondaire premier et deuxiegraveme cycle) Leacutetude utilise dans ce but
des donneacutees rassembleacutees par le Reacuteseau Eurydice relatives aux tests linguistiques
nationaux existants dans les Eacutetats Membres de lUnion Europeacuteenne
12 Langues et examens pris en compte dans leacutetude
Les langues incluses dans leacutetude sont les langues qui ne sont pas les principales
langues dinstruction Seules les langues officielles de lUE qui sont utiliseacutees dans au
moins un autre Eacutetat Membre de lUnion Europeacuteenne ont eacuteteacute prises en compte dans
cette eacutetude Pour chaque territoire consideacutereacute seules les langues eacutetudieacutees par plus de
10 des eacutelegraveves de lenseignement secondaire (selon Eurostat 2013 2014) ont fait
lobjet dune analyse (voire Table 1 du rapport section 221)
Sur la base des donneacutees rassembleacutees par le Reacuteseau Eurydice 133 examens nationaux
de langues provenant de 33 territoires juridiques (territoires avec indeacutependance dans
le domaine de lrsquoeacuteducation ressortissants des 28 Eacutetats Membres de lrsquoUE) ont eacuteteacute
identifieacutes comme pertinents pour cette eacutetude de comparabiliteacute De ces 133 examens
77 sont au niveau CITE 2 et 56 au niveau CITE 3 LrsquoAnnexe 1 offre une liste deacutetailleacutee
des examens nationaux inclus dans cette eacutetude ainsi que les raisons pour lesquelles
certains examens ont ducirc en ecirctre exclus
13 Participation des Eacutetats Membres
Afin de garantir que les reacutesultats de cette eacutetude soient les plus fiables et transparents
possibles la Commission Europeacuteenne a faciliteacute la collaboration entre les membres du
Groupe Expert pour les Indicateurs sur le Multilinguisme (Indicator Expert Group on
Multilingualism) (IEG) Ces membres sont tous des experts en enseignement des
langues etou travaillent sur les questions deacutevaluation linguistique pour les Ministegraveres
de lEacuteducation Nationale ou Offices des Statistiques Nationales sur leur territoire
respectif
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 3
Apregraves une reacuteunion initiale avec la Commission Europeacuteenne et lrsquoIEG lrsquoEacutequipe du Projet
srsquoest mise directement en contact avec chaque membre du groupe pour discuter en
deacutetail les examens nationaux de langues existants dans chaque territoire juridique La
contribution de ces membres experts a eacuteteacute essentielle pour confirmer les langues et
les examens inclus pour chaque territoire ainsi que drsquoautres informations concernant
ces examens telles que des exemples de leurs examens des exemples de
performance de leurs eacutetudiants et la documentation drsquoappui concernant leurs
examens (proceacutedures pour la creacuteation et lrsquoadministration des examens les mateacuteriaux
pour la formation des creacuteateurs des tacircches et des eacutevaluateurs les reacutesultats
nationaux etc)
14 Structure de leacutetude
Les 5 principales tacircches examineacutees dans ce rapport sont
1egravere tacircche Eacutevaluation de la comparabiliteacute des tests linguistiques nationaux
existants pour les eacutetudiants des eacutecoles secondaires
2egraveme tacircche Propositions pour un ajustement a posteriori qui pourrait faire
augmenter la comparabiliteacute des reacutesultats existants
3egraveme tacircche Propositions deacutevolution en vue daugmenter la comparabiliteacute des
tests linguistiques existants
4egraveme tacircche Propositions pour les Eacutetat Membres qui nont pas de systegraveme de
tests linguistiques et qui seraient inteacuteresseacutes pour en deacutevelopper un
5egraveme tacircche Synthegravese comparative des donneacutees existantes selon les pays au
sujet des tests linguistiques
Le Cadre Europeacuteen Commun de Reacutefeacuterence (CECR) a eacuteteacute utiliseacute comme cadre
comparatif dans cette eacutetude Le CECR est tregraves largement utiliseacute partout en Europe et
sert de point de reacutefeacuterence de scheacutema pertinent pour lapprentissage et de
construction pour un systegraveme de mesure
15 Reacutesultats
La 1egravere tacircche a eacuteteacute accomplie gracircce agrave une meacutethode de recherche mixte comprenant
lrsquoanalyse des donneacutees qualitatives aussi que quantitatives Celle-ci est deacutecrite en deacutetail
dans la section 5 Les donneacutees qualitatives ont eacuteteacute rassembleacutees par une analyse
experte du contenu des examens de langues et a eacuteteacute accomplie par une eacutequipe de
speacutecialistes de haut niveau en eacutevaluation linguistique provenant de diffeacuterents pays
Europeacuteens Ces experts ont utiliseacute un instrument en ligne pour lrsquoanalyse du contenu
des examens et ont eacuteteacute speacutecifiquement formeacutes dans lrsquoutilisation de cet instrument
pour assurer lrsquouniformiteacute et la fiabiliteacute de leur travail Les donneacutees quantitatives ont
eacuteteacute rassembleacutees par un exercice de jugement comparatif qui a eacuteteacute accompli par 49
experts en eacuteducation et en eacutevaluation linguistique sur une plateforme en ligne
deacutesigneacutee speacutecialement pour ce but (wwwnomoremarkingcom)
Lrsquoanalyse qualitative du contenu et des caracteacuteristiques des examens a eacuteteacute
faite sur les 133 examens de langues (provenant de 33 territoires juridiques 28 Eacutetats
Membres de lrsquoUE) Cette eacutevaluation a trouveacute quil y avait une diversiteacute consideacuterable
entre les tests diminuant le potentiel pour une comparabiliteacute directe des reacutesultats des
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
COMMISSION EUROPEENNE
Reacutesumeacute
Septembre 2015
Etude sur la comparabiliteacute des
tests linguistiques en Europe
Direction geacuteneacuterale Education et Culture
2015 ERASMUS+ FR
Etude sur la comparabiliteacute des tests linguistiques en Europe
Ce document a eacuteteacute preacutepareacute pour la Commission europeacuteenne neacuteanmoins il reflegravete
uniquement lrsquoavis des auteurs et la Commission ne saurait ecirctre tenue responsable de
toute utilisation qui serait faite des informations qursquoil contient
Europe Direct est un service destineacute agrave vous aider agrave trouver des reacuteponses
aux questions que vous vous posez sur lrsquoUnion europeacuteenne
Un numeacutero unique gratuit ()
00 800 6 7 8 9 10 11
() Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits
(sauf certains opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
De nombreuses autres informations sur lrsquoUnion europeacuteenne sont disponibles sur lrsquointernet via le serveur Europa (httpeuropaeu) Luxembourg Office des publications de lrsquoUnion europeacuteenne 2015 ISBN 978-92-79-50998-8 doi 10276620788 copy Union europeacuteenne 2015 Reproduction autoriseacutee moyennant mention de la source Image de couverture copy Shutterstockcom
Printed in Belgium
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 2
1 Reacutesumeacute
11 Objectif et porteacutee de leacutetude
Suite agrave lrsquoadoption des ldquoConclusions sur le Multilinguisme et le Deacuteveloppement des
Compeacutetences Linguistiquesrdquo par le Conseil de lUnion Europeacuteenne en mai 2014 une
nouvelle approche pour mesurer les compeacutetences linguistiques au niveau europeacuteen a
eacuteteacute suggeacutereacutee Plutocirct que de deacutevelopper un systegraveme de reacutefeacuterences linguistiques
commun agrave tous les Eacutetats Membres il a eacuteteacute convenu qursquoil serait preacutefeacuterable de mettre
en œuvre des mesures visant agrave promouvoir le multilinguisme et ameacuteliorer la qualiteacute et
lefficaciteacute de lapprentissage et lenseignement des langues et agrave deacutevelopper des
dispositifs permettant deacutevaluer les compeacutetences linguistiques de preacutefeacuterence au sein
du systegraveme eacuteducatif de chaque pays
Afin drsquoobtenir une meilleure connaissance des compeacutetences linguistiques en Europe le
Conseil a inviteacute la Commission Europeacuteenne agrave explorer la possibiliteacute deacutevaluer les dites
compeacutetences dans les diffeacuterents Eacutetats Membres en sappuyant sur les tests
linguistiques nationaux existants Le but de cette eacutetude est deacutevaluer la comparabiliteacute
des tests linguistiques nationaux existants pour les eacutelegraveves des niveaux CITE 2 et CITE
3 (enseignement secondaire premier et deuxiegraveme cycle) Leacutetude utilise dans ce but
des donneacutees rassembleacutees par le Reacuteseau Eurydice relatives aux tests linguistiques
nationaux existants dans les Eacutetats Membres de lUnion Europeacuteenne
12 Langues et examens pris en compte dans leacutetude
Les langues incluses dans leacutetude sont les langues qui ne sont pas les principales
langues dinstruction Seules les langues officielles de lUE qui sont utiliseacutees dans au
moins un autre Eacutetat Membre de lUnion Europeacuteenne ont eacuteteacute prises en compte dans
cette eacutetude Pour chaque territoire consideacutereacute seules les langues eacutetudieacutees par plus de
10 des eacutelegraveves de lenseignement secondaire (selon Eurostat 2013 2014) ont fait
lobjet dune analyse (voire Table 1 du rapport section 221)
Sur la base des donneacutees rassembleacutees par le Reacuteseau Eurydice 133 examens nationaux
de langues provenant de 33 territoires juridiques (territoires avec indeacutependance dans
le domaine de lrsquoeacuteducation ressortissants des 28 Eacutetats Membres de lrsquoUE) ont eacuteteacute
identifieacutes comme pertinents pour cette eacutetude de comparabiliteacute De ces 133 examens
77 sont au niveau CITE 2 et 56 au niveau CITE 3 LrsquoAnnexe 1 offre une liste deacutetailleacutee
des examens nationaux inclus dans cette eacutetude ainsi que les raisons pour lesquelles
certains examens ont ducirc en ecirctre exclus
13 Participation des Eacutetats Membres
Afin de garantir que les reacutesultats de cette eacutetude soient les plus fiables et transparents
possibles la Commission Europeacuteenne a faciliteacute la collaboration entre les membres du
Groupe Expert pour les Indicateurs sur le Multilinguisme (Indicator Expert Group on
Multilingualism) (IEG) Ces membres sont tous des experts en enseignement des
langues etou travaillent sur les questions deacutevaluation linguistique pour les Ministegraveres
de lEacuteducation Nationale ou Offices des Statistiques Nationales sur leur territoire
respectif
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 3
Apregraves une reacuteunion initiale avec la Commission Europeacuteenne et lrsquoIEG lrsquoEacutequipe du Projet
srsquoest mise directement en contact avec chaque membre du groupe pour discuter en
deacutetail les examens nationaux de langues existants dans chaque territoire juridique La
contribution de ces membres experts a eacuteteacute essentielle pour confirmer les langues et
les examens inclus pour chaque territoire ainsi que drsquoautres informations concernant
ces examens telles que des exemples de leurs examens des exemples de
performance de leurs eacutetudiants et la documentation drsquoappui concernant leurs
examens (proceacutedures pour la creacuteation et lrsquoadministration des examens les mateacuteriaux
pour la formation des creacuteateurs des tacircches et des eacutevaluateurs les reacutesultats
nationaux etc)
14 Structure de leacutetude
Les 5 principales tacircches examineacutees dans ce rapport sont
1egravere tacircche Eacutevaluation de la comparabiliteacute des tests linguistiques nationaux
existants pour les eacutetudiants des eacutecoles secondaires
2egraveme tacircche Propositions pour un ajustement a posteriori qui pourrait faire
augmenter la comparabiliteacute des reacutesultats existants
3egraveme tacircche Propositions deacutevolution en vue daugmenter la comparabiliteacute des
tests linguistiques existants
4egraveme tacircche Propositions pour les Eacutetat Membres qui nont pas de systegraveme de
tests linguistiques et qui seraient inteacuteresseacutes pour en deacutevelopper un
5egraveme tacircche Synthegravese comparative des donneacutees existantes selon les pays au
sujet des tests linguistiques
Le Cadre Europeacuteen Commun de Reacutefeacuterence (CECR) a eacuteteacute utiliseacute comme cadre
comparatif dans cette eacutetude Le CECR est tregraves largement utiliseacute partout en Europe et
sert de point de reacutefeacuterence de scheacutema pertinent pour lapprentissage et de
construction pour un systegraveme de mesure
15 Reacutesultats
La 1egravere tacircche a eacuteteacute accomplie gracircce agrave une meacutethode de recherche mixte comprenant
lrsquoanalyse des donneacutees qualitatives aussi que quantitatives Celle-ci est deacutecrite en deacutetail
dans la section 5 Les donneacutees qualitatives ont eacuteteacute rassembleacutees par une analyse
experte du contenu des examens de langues et a eacuteteacute accomplie par une eacutequipe de
speacutecialistes de haut niveau en eacutevaluation linguistique provenant de diffeacuterents pays
Europeacuteens Ces experts ont utiliseacute un instrument en ligne pour lrsquoanalyse du contenu
des examens et ont eacuteteacute speacutecifiquement formeacutes dans lrsquoutilisation de cet instrument
pour assurer lrsquouniformiteacute et la fiabiliteacute de leur travail Les donneacutees quantitatives ont
eacuteteacute rassembleacutees par un exercice de jugement comparatif qui a eacuteteacute accompli par 49
experts en eacuteducation et en eacutevaluation linguistique sur une plateforme en ligne
deacutesigneacutee speacutecialement pour ce but (wwwnomoremarkingcom)
Lrsquoanalyse qualitative du contenu et des caracteacuteristiques des examens a eacuteteacute
faite sur les 133 examens de langues (provenant de 33 territoires juridiques 28 Eacutetats
Membres de lrsquoUE) Cette eacutevaluation a trouveacute quil y avait une diversiteacute consideacuterable
entre les tests diminuant le potentiel pour une comparabiliteacute directe des reacutesultats des
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Ce document a eacuteteacute preacutepareacute pour la Commission europeacuteenne neacuteanmoins il reflegravete
uniquement lrsquoavis des auteurs et la Commission ne saurait ecirctre tenue responsable de
toute utilisation qui serait faite des informations qursquoil contient
Europe Direct est un service destineacute agrave vous aider agrave trouver des reacuteponses
aux questions que vous vous posez sur lrsquoUnion europeacuteenne
Un numeacutero unique gratuit ()
00 800 6 7 8 9 10 11
() Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits
(sauf certains opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
De nombreuses autres informations sur lrsquoUnion europeacuteenne sont disponibles sur lrsquointernet via le serveur Europa (httpeuropaeu) Luxembourg Office des publications de lrsquoUnion europeacuteenne 2015 ISBN 978-92-79-50998-8 doi 10276620788 copy Union europeacuteenne 2015 Reproduction autoriseacutee moyennant mention de la source Image de couverture copy Shutterstockcom
Printed in Belgium
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 2
1 Reacutesumeacute
11 Objectif et porteacutee de leacutetude
Suite agrave lrsquoadoption des ldquoConclusions sur le Multilinguisme et le Deacuteveloppement des
Compeacutetences Linguistiquesrdquo par le Conseil de lUnion Europeacuteenne en mai 2014 une
nouvelle approche pour mesurer les compeacutetences linguistiques au niveau europeacuteen a
eacuteteacute suggeacutereacutee Plutocirct que de deacutevelopper un systegraveme de reacutefeacuterences linguistiques
commun agrave tous les Eacutetats Membres il a eacuteteacute convenu qursquoil serait preacutefeacuterable de mettre
en œuvre des mesures visant agrave promouvoir le multilinguisme et ameacuteliorer la qualiteacute et
lefficaciteacute de lapprentissage et lenseignement des langues et agrave deacutevelopper des
dispositifs permettant deacutevaluer les compeacutetences linguistiques de preacutefeacuterence au sein
du systegraveme eacuteducatif de chaque pays
Afin drsquoobtenir une meilleure connaissance des compeacutetences linguistiques en Europe le
Conseil a inviteacute la Commission Europeacuteenne agrave explorer la possibiliteacute deacutevaluer les dites
compeacutetences dans les diffeacuterents Eacutetats Membres en sappuyant sur les tests
linguistiques nationaux existants Le but de cette eacutetude est deacutevaluer la comparabiliteacute
des tests linguistiques nationaux existants pour les eacutelegraveves des niveaux CITE 2 et CITE
3 (enseignement secondaire premier et deuxiegraveme cycle) Leacutetude utilise dans ce but
des donneacutees rassembleacutees par le Reacuteseau Eurydice relatives aux tests linguistiques
nationaux existants dans les Eacutetats Membres de lUnion Europeacuteenne
12 Langues et examens pris en compte dans leacutetude
Les langues incluses dans leacutetude sont les langues qui ne sont pas les principales
langues dinstruction Seules les langues officielles de lUE qui sont utiliseacutees dans au
moins un autre Eacutetat Membre de lUnion Europeacuteenne ont eacuteteacute prises en compte dans
cette eacutetude Pour chaque territoire consideacutereacute seules les langues eacutetudieacutees par plus de
10 des eacutelegraveves de lenseignement secondaire (selon Eurostat 2013 2014) ont fait
lobjet dune analyse (voire Table 1 du rapport section 221)
Sur la base des donneacutees rassembleacutees par le Reacuteseau Eurydice 133 examens nationaux
de langues provenant de 33 territoires juridiques (territoires avec indeacutependance dans
le domaine de lrsquoeacuteducation ressortissants des 28 Eacutetats Membres de lrsquoUE) ont eacuteteacute
identifieacutes comme pertinents pour cette eacutetude de comparabiliteacute De ces 133 examens
77 sont au niveau CITE 2 et 56 au niveau CITE 3 LrsquoAnnexe 1 offre une liste deacutetailleacutee
des examens nationaux inclus dans cette eacutetude ainsi que les raisons pour lesquelles
certains examens ont ducirc en ecirctre exclus
13 Participation des Eacutetats Membres
Afin de garantir que les reacutesultats de cette eacutetude soient les plus fiables et transparents
possibles la Commission Europeacuteenne a faciliteacute la collaboration entre les membres du
Groupe Expert pour les Indicateurs sur le Multilinguisme (Indicator Expert Group on
Multilingualism) (IEG) Ces membres sont tous des experts en enseignement des
langues etou travaillent sur les questions deacutevaluation linguistique pour les Ministegraveres
de lEacuteducation Nationale ou Offices des Statistiques Nationales sur leur territoire
respectif
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 3
Apregraves une reacuteunion initiale avec la Commission Europeacuteenne et lrsquoIEG lrsquoEacutequipe du Projet
srsquoest mise directement en contact avec chaque membre du groupe pour discuter en
deacutetail les examens nationaux de langues existants dans chaque territoire juridique La
contribution de ces membres experts a eacuteteacute essentielle pour confirmer les langues et
les examens inclus pour chaque territoire ainsi que drsquoautres informations concernant
ces examens telles que des exemples de leurs examens des exemples de
performance de leurs eacutetudiants et la documentation drsquoappui concernant leurs
examens (proceacutedures pour la creacuteation et lrsquoadministration des examens les mateacuteriaux
pour la formation des creacuteateurs des tacircches et des eacutevaluateurs les reacutesultats
nationaux etc)
14 Structure de leacutetude
Les 5 principales tacircches examineacutees dans ce rapport sont
1egravere tacircche Eacutevaluation de la comparabiliteacute des tests linguistiques nationaux
existants pour les eacutetudiants des eacutecoles secondaires
2egraveme tacircche Propositions pour un ajustement a posteriori qui pourrait faire
augmenter la comparabiliteacute des reacutesultats existants
3egraveme tacircche Propositions deacutevolution en vue daugmenter la comparabiliteacute des
tests linguistiques existants
4egraveme tacircche Propositions pour les Eacutetat Membres qui nont pas de systegraveme de
tests linguistiques et qui seraient inteacuteresseacutes pour en deacutevelopper un
5egraveme tacircche Synthegravese comparative des donneacutees existantes selon les pays au
sujet des tests linguistiques
Le Cadre Europeacuteen Commun de Reacutefeacuterence (CECR) a eacuteteacute utiliseacute comme cadre
comparatif dans cette eacutetude Le CECR est tregraves largement utiliseacute partout en Europe et
sert de point de reacutefeacuterence de scheacutema pertinent pour lapprentissage et de
construction pour un systegraveme de mesure
15 Reacutesultats
La 1egravere tacircche a eacuteteacute accomplie gracircce agrave une meacutethode de recherche mixte comprenant
lrsquoanalyse des donneacutees qualitatives aussi que quantitatives Celle-ci est deacutecrite en deacutetail
dans la section 5 Les donneacutees qualitatives ont eacuteteacute rassembleacutees par une analyse
experte du contenu des examens de langues et a eacuteteacute accomplie par une eacutequipe de
speacutecialistes de haut niveau en eacutevaluation linguistique provenant de diffeacuterents pays
Europeacuteens Ces experts ont utiliseacute un instrument en ligne pour lrsquoanalyse du contenu
des examens et ont eacuteteacute speacutecifiquement formeacutes dans lrsquoutilisation de cet instrument
pour assurer lrsquouniformiteacute et la fiabiliteacute de leur travail Les donneacutees quantitatives ont
eacuteteacute rassembleacutees par un exercice de jugement comparatif qui a eacuteteacute accompli par 49
experts en eacuteducation et en eacutevaluation linguistique sur une plateforme en ligne
deacutesigneacutee speacutecialement pour ce but (wwwnomoremarkingcom)
Lrsquoanalyse qualitative du contenu et des caracteacuteristiques des examens a eacuteteacute
faite sur les 133 examens de langues (provenant de 33 territoires juridiques 28 Eacutetats
Membres de lrsquoUE) Cette eacutevaluation a trouveacute quil y avait une diversiteacute consideacuterable
entre les tests diminuant le potentiel pour une comparabiliteacute directe des reacutesultats des
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 2
1 Reacutesumeacute
11 Objectif et porteacutee de leacutetude
Suite agrave lrsquoadoption des ldquoConclusions sur le Multilinguisme et le Deacuteveloppement des
Compeacutetences Linguistiquesrdquo par le Conseil de lUnion Europeacuteenne en mai 2014 une
nouvelle approche pour mesurer les compeacutetences linguistiques au niveau europeacuteen a
eacuteteacute suggeacutereacutee Plutocirct que de deacutevelopper un systegraveme de reacutefeacuterences linguistiques
commun agrave tous les Eacutetats Membres il a eacuteteacute convenu qursquoil serait preacutefeacuterable de mettre
en œuvre des mesures visant agrave promouvoir le multilinguisme et ameacuteliorer la qualiteacute et
lefficaciteacute de lapprentissage et lenseignement des langues et agrave deacutevelopper des
dispositifs permettant deacutevaluer les compeacutetences linguistiques de preacutefeacuterence au sein
du systegraveme eacuteducatif de chaque pays
Afin drsquoobtenir une meilleure connaissance des compeacutetences linguistiques en Europe le
Conseil a inviteacute la Commission Europeacuteenne agrave explorer la possibiliteacute deacutevaluer les dites
compeacutetences dans les diffeacuterents Eacutetats Membres en sappuyant sur les tests
linguistiques nationaux existants Le but de cette eacutetude est deacutevaluer la comparabiliteacute
des tests linguistiques nationaux existants pour les eacutelegraveves des niveaux CITE 2 et CITE
3 (enseignement secondaire premier et deuxiegraveme cycle) Leacutetude utilise dans ce but
des donneacutees rassembleacutees par le Reacuteseau Eurydice relatives aux tests linguistiques
nationaux existants dans les Eacutetats Membres de lUnion Europeacuteenne
12 Langues et examens pris en compte dans leacutetude
Les langues incluses dans leacutetude sont les langues qui ne sont pas les principales
langues dinstruction Seules les langues officielles de lUE qui sont utiliseacutees dans au
moins un autre Eacutetat Membre de lUnion Europeacuteenne ont eacuteteacute prises en compte dans
cette eacutetude Pour chaque territoire consideacutereacute seules les langues eacutetudieacutees par plus de
10 des eacutelegraveves de lenseignement secondaire (selon Eurostat 2013 2014) ont fait
lobjet dune analyse (voire Table 1 du rapport section 221)
Sur la base des donneacutees rassembleacutees par le Reacuteseau Eurydice 133 examens nationaux
de langues provenant de 33 territoires juridiques (territoires avec indeacutependance dans
le domaine de lrsquoeacuteducation ressortissants des 28 Eacutetats Membres de lrsquoUE) ont eacuteteacute
identifieacutes comme pertinents pour cette eacutetude de comparabiliteacute De ces 133 examens
77 sont au niveau CITE 2 et 56 au niveau CITE 3 LrsquoAnnexe 1 offre une liste deacutetailleacutee
des examens nationaux inclus dans cette eacutetude ainsi que les raisons pour lesquelles
certains examens ont ducirc en ecirctre exclus
13 Participation des Eacutetats Membres
Afin de garantir que les reacutesultats de cette eacutetude soient les plus fiables et transparents
possibles la Commission Europeacuteenne a faciliteacute la collaboration entre les membres du
Groupe Expert pour les Indicateurs sur le Multilinguisme (Indicator Expert Group on
Multilingualism) (IEG) Ces membres sont tous des experts en enseignement des
langues etou travaillent sur les questions deacutevaluation linguistique pour les Ministegraveres
de lEacuteducation Nationale ou Offices des Statistiques Nationales sur leur territoire
respectif
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 3
Apregraves une reacuteunion initiale avec la Commission Europeacuteenne et lrsquoIEG lrsquoEacutequipe du Projet
srsquoest mise directement en contact avec chaque membre du groupe pour discuter en
deacutetail les examens nationaux de langues existants dans chaque territoire juridique La
contribution de ces membres experts a eacuteteacute essentielle pour confirmer les langues et
les examens inclus pour chaque territoire ainsi que drsquoautres informations concernant
ces examens telles que des exemples de leurs examens des exemples de
performance de leurs eacutetudiants et la documentation drsquoappui concernant leurs
examens (proceacutedures pour la creacuteation et lrsquoadministration des examens les mateacuteriaux
pour la formation des creacuteateurs des tacircches et des eacutevaluateurs les reacutesultats
nationaux etc)
14 Structure de leacutetude
Les 5 principales tacircches examineacutees dans ce rapport sont
1egravere tacircche Eacutevaluation de la comparabiliteacute des tests linguistiques nationaux
existants pour les eacutetudiants des eacutecoles secondaires
2egraveme tacircche Propositions pour un ajustement a posteriori qui pourrait faire
augmenter la comparabiliteacute des reacutesultats existants
3egraveme tacircche Propositions deacutevolution en vue daugmenter la comparabiliteacute des
tests linguistiques existants
4egraveme tacircche Propositions pour les Eacutetat Membres qui nont pas de systegraveme de
tests linguistiques et qui seraient inteacuteresseacutes pour en deacutevelopper un
5egraveme tacircche Synthegravese comparative des donneacutees existantes selon les pays au
sujet des tests linguistiques
Le Cadre Europeacuteen Commun de Reacutefeacuterence (CECR) a eacuteteacute utiliseacute comme cadre
comparatif dans cette eacutetude Le CECR est tregraves largement utiliseacute partout en Europe et
sert de point de reacutefeacuterence de scheacutema pertinent pour lapprentissage et de
construction pour un systegraveme de mesure
15 Reacutesultats
La 1egravere tacircche a eacuteteacute accomplie gracircce agrave une meacutethode de recherche mixte comprenant
lrsquoanalyse des donneacutees qualitatives aussi que quantitatives Celle-ci est deacutecrite en deacutetail
dans la section 5 Les donneacutees qualitatives ont eacuteteacute rassembleacutees par une analyse
experte du contenu des examens de langues et a eacuteteacute accomplie par une eacutequipe de
speacutecialistes de haut niveau en eacutevaluation linguistique provenant de diffeacuterents pays
Europeacuteens Ces experts ont utiliseacute un instrument en ligne pour lrsquoanalyse du contenu
des examens et ont eacuteteacute speacutecifiquement formeacutes dans lrsquoutilisation de cet instrument
pour assurer lrsquouniformiteacute et la fiabiliteacute de leur travail Les donneacutees quantitatives ont
eacuteteacute rassembleacutees par un exercice de jugement comparatif qui a eacuteteacute accompli par 49
experts en eacuteducation et en eacutevaluation linguistique sur une plateforme en ligne
deacutesigneacutee speacutecialement pour ce but (wwwnomoremarkingcom)
Lrsquoanalyse qualitative du contenu et des caracteacuteristiques des examens a eacuteteacute
faite sur les 133 examens de langues (provenant de 33 territoires juridiques 28 Eacutetats
Membres de lrsquoUE) Cette eacutevaluation a trouveacute quil y avait une diversiteacute consideacuterable
entre les tests diminuant le potentiel pour une comparabiliteacute directe des reacutesultats des
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 3
Apregraves une reacuteunion initiale avec la Commission Europeacuteenne et lrsquoIEG lrsquoEacutequipe du Projet
srsquoest mise directement en contact avec chaque membre du groupe pour discuter en
deacutetail les examens nationaux de langues existants dans chaque territoire juridique La
contribution de ces membres experts a eacuteteacute essentielle pour confirmer les langues et
les examens inclus pour chaque territoire ainsi que drsquoautres informations concernant
ces examens telles que des exemples de leurs examens des exemples de
performance de leurs eacutetudiants et la documentation drsquoappui concernant leurs
examens (proceacutedures pour la creacuteation et lrsquoadministration des examens les mateacuteriaux
pour la formation des creacuteateurs des tacircches et des eacutevaluateurs les reacutesultats
nationaux etc)
14 Structure de leacutetude
Les 5 principales tacircches examineacutees dans ce rapport sont
1egravere tacircche Eacutevaluation de la comparabiliteacute des tests linguistiques nationaux
existants pour les eacutetudiants des eacutecoles secondaires
2egraveme tacircche Propositions pour un ajustement a posteriori qui pourrait faire
augmenter la comparabiliteacute des reacutesultats existants
3egraveme tacircche Propositions deacutevolution en vue daugmenter la comparabiliteacute des
tests linguistiques existants
4egraveme tacircche Propositions pour les Eacutetat Membres qui nont pas de systegraveme de
tests linguistiques et qui seraient inteacuteresseacutes pour en deacutevelopper un
5egraveme tacircche Synthegravese comparative des donneacutees existantes selon les pays au
sujet des tests linguistiques
Le Cadre Europeacuteen Commun de Reacutefeacuterence (CECR) a eacuteteacute utiliseacute comme cadre
comparatif dans cette eacutetude Le CECR est tregraves largement utiliseacute partout en Europe et
sert de point de reacutefeacuterence de scheacutema pertinent pour lapprentissage et de
construction pour un systegraveme de mesure
15 Reacutesultats
La 1egravere tacircche a eacuteteacute accomplie gracircce agrave une meacutethode de recherche mixte comprenant
lrsquoanalyse des donneacutees qualitatives aussi que quantitatives Celle-ci est deacutecrite en deacutetail
dans la section 5 Les donneacutees qualitatives ont eacuteteacute rassembleacutees par une analyse
experte du contenu des examens de langues et a eacuteteacute accomplie par une eacutequipe de
speacutecialistes de haut niveau en eacutevaluation linguistique provenant de diffeacuterents pays
Europeacuteens Ces experts ont utiliseacute un instrument en ligne pour lrsquoanalyse du contenu
des examens et ont eacuteteacute speacutecifiquement formeacutes dans lrsquoutilisation de cet instrument
pour assurer lrsquouniformiteacute et la fiabiliteacute de leur travail Les donneacutees quantitatives ont
eacuteteacute rassembleacutees par un exercice de jugement comparatif qui a eacuteteacute accompli par 49
experts en eacuteducation et en eacutevaluation linguistique sur une plateforme en ligne
deacutesigneacutee speacutecialement pour ce but (wwwnomoremarkingcom)
Lrsquoanalyse qualitative du contenu et des caracteacuteristiques des examens a eacuteteacute
faite sur les 133 examens de langues (provenant de 33 territoires juridiques 28 Eacutetats
Membres de lrsquoUE) Cette eacutevaluation a trouveacute quil y avait une diversiteacute consideacuterable
entre les tests diminuant le potentiel pour une comparabiliteacute directe des reacutesultats des
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 4
tests Quatre principaux domaines ont eacuteteacute analyseacutes les constructions de capaciteacute (ce
qui est mesureacute par le test) les interpreacutetations donneacutees aux reacutesultats des tests les
populations testeacutees et les caracteacuteristiques du systegraveme de mesure (particulariteacutes
contextuelles qui peuvent affecter la comparabiliteacute) Sur la base drsquoun certain nombre
drsquoeacuteleacutements les indicateurs suggegraverent un manque de comparabiliteacute
En ce qui concerne les constructions de capaciteacute les examens de langue observeacutes
montrent une diversiteacute importante mecircme si les parties composantes utilisent souvent
les mecircmes termes (par exemple laquo compreacutehension eacutecrite raquo) Par conseacutequence il serait
probablement incorrect de comparer les reacutesultats des diffeacuterents tests et en conclure
qursquoils sont interchangeables En reacutealiteacute les tests examineacutes semblent avoir pour but
drsquoeacutevaluer des compeacutetences diffeacuterentes mecircme srsquoils utilisent les mecircmes termes pour
faire reacutefeacuterence aux diffeacuterentes parties de ces examens
Ainsi agrave partir des interpreacutetations des reacutesultats la principale conclusion concerne
les tests qui ne garantissent pas de suivre le CECR Dans de nombreux de cas il
neacutetait pas possible deacutetablir comment les reacutesultats de ces tests devaient ecirctre
interpreacuteteacutes A deacutefaut certains reacutesultats ont eacuteteacute normaliseacutes selon les reacutefeacuterences (pour
ecirctre interpreacuteteacutes en comparant le classement dun candidat par rapport aux autres)
Une telle approche nest pas propice agrave une veacuteritable comparaison des reacutesultats entre
diffeacuterents tests car les populations dans chaque cas sont diffeacuterentes
Les populations ayant passeacute les tests de langues aux niveaux CITE 2 et CITE 3 ont
preacutesenteacute une homogeacuteneacuteiteacute satisfaisante en termes drsquoacircge la seule caracteacuteristique de la
population ayant eacuteteacute examineacutee
En termes de caracteacuteristiques du systegraveme de mesure comme dans le cas des
constructions beaucoup de reacutesultats suggegraverent une comparabiliteacute reacuteduite Par
exemple une proportion significative des tests neacutetaient pas garantie decirctre
eacutequivalents entre les sessions Dans ce cas la comparabiliteacute de ces tests avec dautres
tests eacutetait impossible eacutetant donneacute que les reacutesultats dune session ne pouvaient mecircme
pas ecirctre compareacutes agrave ceux dune autre session pour la mecircme eacutepreuve Bien que la
comparabiliteacute des reacutesultats entre les sessions soit souhaitable pour un grand nombre
de raisons et devrait ecirctre ainsi traiteacutee les tests eacutetaient diffeacuterents pour des raisons
leacutegitimes Par exemple le type de questions choisi a un effet sur les reacutesultats des
tests qui est lieacute agrave la nature mecircme de la construction mentale eacutevalueacutee et certains
types de questions peuvent avoir un nombre deffets particuliers comme
lrsquoaugmentation ou diminution des distinctions entre les candidats
Une approche quantitative a aussi eacuteteacute preacutesenteacutee pour comparer les reacutesultats existants
gracircce agrave un exercice de jugement comparatif Celle-ci a eacuteteacute illustreacutee par un nombre
limiteacute de tacircches de compreacutehension et expression eacutecrite qui ont eacuteteacute extraites des
examens de langue inclus dans cette eacutetude Cette meacutethode montre la possibiliteacute
daligner au CECR les reacutesultats nationaux de tous les territoires en fonction de la
difficulteacute des tacircches dans leurs diffeacuterents examens linguistiques nationaux Cet
exercice a aussi deacutemontreacute des dispariteacutes dans la difficulteacute relative des tacircches des
examens nationaux mais la porteacutee limiteacutee de cette eacutetude nrsquoa pas permis de fournir
une comparaison complegravete des reacutesultats des tests individuels faute de donneacutees plus
preacutecises agrave propos des distributions des points pour chaque examen Compte tenu du
manque de comparabiliteacute actuel entre les reacutesultats nationaux des examens
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 5
linguistiques cette meacutethode suggegravere une nouvelle approche qui permettrait de
comparer ces reacutesultats nationaux dans lrsquoavenir notamment en appliquant la technique
du jugement comparatif aux exemples de performance des eacutetudiants dans les tacircches
de compreacutehension et de production eacutecrite
16 Propositions deacutevolution
Prenant en compte les reacutesultats de la 1egravere tacircche un nombre de propositions ont eacuteteacute
preacutesenteacutees pour accomplir les 2egraveme 3egraveme et 4egraveme tacircches Les propositions suivantes
sont expliqueacutees en deacutetail dans les sections 6 7 et 8 du rapport
161 Propositions pour un ajustement a posteriori visant agrave augmenter
la comparabiliteacute des reacutesultats nationaux existants
Cette eacutetude suggegravere lrsquoutilisation de la technique de jugements comparatifs comme la
meacutethode la plus utile pour lrsquoajustement a posteriori des reacutesultats nationaux existants
Cette meacutethode a pour but de deacutevelopper une eacutechelle commune des compeacutetences
linguistiques sur laquelle les examens et reacutesultats nationaux pourraient ecirctre placeacutes
Cependant afin de mettre cette meacutethodologie en place certaines conditions doivent
ecirctre remplies
Un format commun pour la communication des reacutesultats nationaux
Un engagement de la part des diffeacuterents territoires pour fournir les donneacutees
neacutecessaires
Un plan annuel eacutetabli et surveilleacute par une lrsquoorganisme responsable
162 Propositions pour le deacuteveloppement des tests linguistiques
existants dans le but daugmenter la comparabiliteacute des reacutesultats
La comparabiliteacute des reacutesultats des tests deacutepend de la qualiteacute et de la diversiteacute des
tests Ces diffeacuterences leacutegitimes proviennent du contexte et de la finaliteacute des
examens La qualiteacute du test affecte la comparabiliteacute parce quun systegraveme deacutevaluation
plus faible ou moins fiable conduit agrave des reacutesultats aleacuteatoires Les conclusions de cette
eacutetude montrent quil existe un certain nombre de problegravemes de qualiteacute affectant les
tests qui devraient ecirctre traiteacutes par les concepteurs de ces tests Nous devons
neacuteanmoins reconnaicirctre que la possibiliteacute dameacuteliorer la qualiteacute de certains tests est
parfois limiteacutee en fonction des moyens financiers disponibles Le manque de
comparabiliteacute du fait de diffeacuterences leacutegitimes entre les tests est plus difficile agrave reacuteduire
et une comparabiliteacute transversale entre les territoires devrait ecirctre la finaliteacute Les
principales recommandations sont donc
Construction eacutelargir leacuteventail des types de lecture et de compreacutehension orale qui font lobjet
de tests au niveau B2 et au-dessus
concevoir des tacircches qui suscitent des processus cognitifs approprieacutes pour
chaque niveau de compeacutetences selon le CECR
Interpreacutetations deacutevelopper des interpreacutetations de reacutesultats sur la base de critegraveres pouvant ecirctre
deacutetailleacutes au CECR si lharmonisation avec le CECR na pas eacuteteacute solliciteacutee
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 6
Population
rassembler des informations concernant les caracteacuteristiques de la population
testeacutee
Caracteacuteristiques du systegraveme deacutevaluation srsquoassurer que le recrutement de toute leacutequipe (concepteurs des tests auteurs
des questions reacutedacteurs eacutevaluateurs analystes etc) est baseacute sur une liste
de compeacutetences requises pour ce travail
garantir une formation pour les membres de lrsquoeacutequipe qui nrsquoont pas toutes les
compeacutetences requises
garantir que le jugement des eacutevaluateurs est standardiseacute de faccedilon agrave ce que les
analyses soient coheacuterentes
garantir que les proceacutedures deacutevaluation impliquent une surveillance et des
actions correctives dans leacuteventualiteacute ougrave la surveillance reacuteveacutelerait des
problegravemes
deacutevelopper des proceacutedures afin de corriger les diffeacuterences (particuliegraverement
concernant le niveau de difficulteacute) entre les plusieurs versions de la mecircme
eacutepreuve
eacutetablir un programme transversal dont le but est drsquoaligner le test avec le CECR
rassembler peacuteriodiquement les donneacutees sur les notes et les reacuteponses et les
analyser afin de permettre une ameacutelioration des proceacutedures de deacuteveloppement
et de gestion
ameacuteliorer la reacutedaction des questions et la correction de celles-ci
veacuterifier les caracteacuteristiques du test et deacuteterminer sils peuvent ecirctre rendus plus
comparables avec les tests des autres territoires
envisager lrsquoutilisation drsquoun test unique pour comparer les compeacutetences des
candidats avec ceux des autres territoires
163 Propositions pour mettre en place de nouveaux examens
linguistiques nationaux
Il existe beaucoup drsquoouvrages contenant des recommandations theacuteoriques et pratiques
pour la creacuteation et lrsquoadministration drsquoexamens linguistiques et ceux-ci sont reacutefeacuterencieacutes
dans la section 8 Au-delagrave de leurs indications geacuteneacuterales ce rapport suggegravere quelques
recommandations plus speacutecifiques qui ont le potentiel drsquoaugmenter dans lrsquoavenir la
comparabiliteacute des reacutesultats drsquoexamens nationaux
Inteacutegrer le CECR dans le test la conception de tests fondeacutee sur le CECR sera
plus facile si le CECR est utiliseacute degraves le deacutepart
Deacutevelopper des proceacutedures visant agrave une ameacutelioration constante du test la
mise agrave disposition du test doit ecirctre vue comme un cycle au sein duquel
linformation est en permanence rassembleacutee dans une tentative de deacutetecter les
problegravemes et les reacutesoudre pour les futurs tests
Deacutevelopper une proceacutedure visant agrave maintenir les niveaux deacuteterminer ougrave sont
les limites entre les niveaux du CECR et ensuite srsquoassurer que ces limites sont
respecteacutees dans toutes les sessions si possible utilisant une banque drsquoitems
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 7
17 Synthegravese comparative des donneacutees existantes dans les pays
sur les tests linguistiques
La 5egraveme tacircche consistait drsquoune synthegravese des donneacutees existantes actuellement dans
chaque territoire concernant les reacutesultats des examens de langues Des 133 examens
des langues inclus dans cette eacutetude nous avons essayeacute de trouver des donneacutees pour
62 tests de premiegraveres langues eacutetrangegraveres drsquoun total de 33 territoires mais il nrsquoa eacuteteacute
possible de trouver des donneacutes que pour 45 de ces tests provenant de 26 territoires
Les raisons par lesquelles ces reacutesultats ne sont pas disponibles sont deacutecrites dans la
section 82
Les donneacutees disponibles pour chaque territoire varient eacutenormeacutement ainsi
que le format dans lequel ces donneacutees sont fournies La section 92 offre une
synthegravese des observations faites agrave propos du format dans lequel les reacutesultats
nationaux des tests de langues sont preacutesenteacutes
Dans le but de produire pour lrsquoavenir un tableau europeacuteen avec une synthegravese des
reacutesultats nationaux ajusteacutes de faccedilon qursquoil puisse ecirctre utiliseacute pour controcircler
reacuteguliegraverement les compeacutetences linguistiques des eacutetudiants dans une ou plusieurs
langues il faut consideacuterer drsquoabord tregraves attentivement un nombre drsquoeacuteleacutements pour
assurer que ce tableau soit compileacute et interpreacuteteacute de la maniegravere la plus significative et
repreacutesentative possible Ces eacuteleacutements sont expliqueacutes en deacutetail dans la section 93 et
comprennent la seacutelection des donneacutees qui doivent ecirctre fournies la signification de
laquo reacuteussite raquo agrave un test et les populations qui passent les examens
18 Conclusion
La mesure dans laquelle des reacutesultats des examens linguistiques nationaux peuvent
ecirctre compareacutes deacutepend sur un nombre important de facteurs Premiegraverement une
comparaison des reacutesultats nationaux nrsquoest possible que lorsque les donneacutees
compareacutees ont assez drsquoeacuteleacutements en commun Actuellement il existe trop de variabiliteacute
dans la nature des donneacutees fournies par les autoriteacutes eacuteducatives des diffeacuterents
territoires ainsi que le format dans lequel ces donneacutees sont preacutesenteacutees De plus cette
eacutetude a montreacute que les examens linguistiques dans les diffeacuterents territoires preacutesentent
une tregraves grande variabiliteacute dans les constructions testeacutees les populations des
eacutetudiants qui passent les examens les interpreacutetations des reacutesultats et les
caracteacuteristiques des systegravemes de mesure sur lesquels ces examens sont baseacutes Ces
caracteacuteristiques deacuteterminent en grande partie la qualiteacute des tests et agrave leur tour
impactent sur la validiteacute et la fiabiliteacute des reacutesultats obtenus Par conseacutequent une
comparaison seacuterieuse des reacutesultats nationaux des examens de langues des
Eacutetats Membres de lrsquoUE ne deacutependra pas seulement du format uniforme dans
lequel ils pourraient ecirctre exprimeacutes mais aussi de la mise en pratique des
mesures agrave niveau national et europeacuteen viseacutees agrave une augmentation de la
qualiteacute des examens linguistiques actuels et par la suite agrave assurer que les
reacutesultats soient similairement valables et fiables dans tous les territoires
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
Etude sur la comparabiliteacute des tests linguistiques en Europe
Septembre 2015 - 8
COMMENT VOUS PROCURER LES PUBLICATIONS
DE LrsquoUNION EUROPEacuteENNE
Publications gratuites
bull un seul exemplaire sur le site EU Bookshop (httpbookshopeuropaeu)
bull exemplaires multiplesposterscartes aupregraves des repreacutesentations de lrsquoUnion europeacuteenne (httpeceuropaeurepresent_frhtm) des deacuteleacutegations dans les pays hors UE (httpeeaseuropaeudelegationsindex_frhtm) en contactant le reacuteseau Europe Direct (httpeuropaeueuropedirectindex_frhtm) ou le numeacutero 00 800 6 7 8 9 10 11 (gratuit dans toute lrsquoUE) () () Les informations sont fournies agrave titre gracieux et les appels sont geacuteneacuteralement gratuits (sauf certains
opeacuterateurs hocirctels ou cabines teacuteleacutephoniques)
Publications payantes
bull sur le site EU Bookshop (httpbookshopeuropaeu)
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
COMMISSION EUROPEENNE
NC-0
4-1
5-6
33-F
R-N
ISBN 978-92-79-50998-8
