PISA et les indicateurs nationaux de rendement en France

Cet article décrit les évaluations disponibles pour les acquis des élèves des cycles primaires et secondaires des filières générales en France, notamment les indicateurs nationaux de rendement et le programme sur les acquis des élèves de l’OCDE[1] (PISA). Au contraire de plusieurs pays, par exemple en Allemagne avec le phénomène « PISA choc», la France accorde très peu d’attention aux résultats des enquêtes internationales. Ce moindre intérêt s’explique principalement par la longue tradition d’évaluation au niveau national, renforcé à la fin des années quatre-vingt par une politique cohérente d’évaluation et l’introduction de nouveaux tests, ces dernières années. Néanmoins, avec sa tradition forte de statistiques éducatives nationales qui a souvent guidé la France vers son « propre chemin », la reconnaissance des directives politiques européennes et internationales entraîne la France à entreprendre certains changements dans ce domaine.

Au contraire de plusieurs pays, la France accorde très peu d’attention aux résultats des enquêtes internationales.

Statistiques éducatives en France

À la fin des années quatre-vingt, la France instaurait une politique cohérente d’évaluation au niveau national et ouvrait le champ à une nouvelle culture de l’évaluation fondée sur la recherche de performance. Ces évaluations englobent la supervision des enseignements, les politiques éducatives, la gestion, les évaluations-bilans nationales, les comparaisons internationales et par extension une base de statistiques descriptives qui contribuent à l’évaluation des politiques conduites par le ministère de l’éducation.

Avec un système éducatif centralisé et des examens individuels nationaux, la France dispose de données comparatives sur les acquis des élèves qui tiennent compte des caractéristiques individuelles des élèves et des caractéristiques structurelles des établissements et régions. Ces données représentent une source riche pour piloter le système éducatif. De plus, elles sont favorables à la production de nombreuses recherches en sciences humaines et sociales et bénéficient d’une forte représentation de l’éducation dans les débats publics.

La France dispose d’une base de données nationale importante sur les acquis des élèves, qui comprend l’évaluation individuelle des acquis de tous les élèves au cours de leur scolarité et des évaluations supplémentaires sur des échantillons représentatifs. Les évaluations individuelles comprennent deux évaluations à l’école primaire, le Diplôme National du Brevet (1^re partie du cycle secondaire), le Baccalauréat (2^e partie du cycle secondaire) et les évaluations continues de compétences de base, introduites en 2005. Depuis 2003 le cycle d’évaluation CEDRE (Cycle des Evaluations Disciplinaires Réalisées sur Echantillon) est une évaluation des compétences générales en fin de l’école primaire et en fin de collège, en plus de quelques autres évaluations comme l’évaluation de connaissances en français et en mathématiques, aussi en fin de collège depuis 2007, et un test de compréhension de l’écrit pour des jeunes français de 16-18 ans, introduit en 1998.

Évaluation des acquis des élèves à l’école primaire

Les évaluations à l’école primaire sont réalisées à deux moments et concernent tous les élèves. Les disciplines impliquées sont les mathématiques et le français. Ces évaluations ont pour objectif de disposer d’indicateurs fiables « pour mieux piloter le système éducatif et favoriser l’égalité des chances »[2]. Elles représentent aussi un outil d’information pour les parents et les enseignants afin de renforcer les compétences des élèves si des insuffisances sont décelées et mettre en place des aides individuelles. Étalonnées sur des échantillons représentatifs, ces évaluations permettent d’observer les variations au cours du temps et contrôler le succès des réformes afin de réduire le nombre d’élèves qui entrent au collège avec des difficultés en lecture et en calcul.

Le Diplôme National du Brevet (DNB)

Le brevet est un diplôme qui atteste les connaissances acquises en fin de collège. Dans le cadre de la loi d’orientation de 2005, le brevet a pris une nouvelle dimension avec la maîtrise des connaissances et des compétences du socle commun (voir ci-dessous).

Le DNB présente un examen facultatif en fin de cycle secondaire (classe de 3^e, élèves de 14-15 ans) en portant sur une épreuve orale et trois épreuves écrites. Le résultat final du Brevet intègre les résultats obtenus aux épreuves orales et écrites et les notes obtenues lors du contrôle continu de classe de 3^e. Le ministère met à disposition des informations supplémentaires comme le taux de réussite par région géographique et par type d’établissement, selon le sexe, l’âge, et l’origine socio-économique des élèves.

Le baccalauréat

Le diplôme du baccalauréat, introduit en 1808 est un diplôme du système éducatif français qui sanctionne la fin des études secondaires et ouvre l’accès à l’enseignement supérieur.

Le Ministère de l’éducation nationale calcule des indicateurs de résultats pour les lycées (environ 6000 lycées publics et privés). L’objectif est d’informer les responsables et les enseignants de lycées afin d’améliorer l’efficacité de leurs actions. Même si les résultats sont accessibles sous forme de « league tables » qui comparent directement les résultats des lycées individuels, les résultats sont aussi utilisés pour une évaluation plus complexe. Il s’agit de l’évaluation du succès par lycée avec le calcul de l’écart entre le taux constaté et le taux attendu, qui présente une « valeur ajoutée », en tenant compte de leur offre de formation et des caractéristiques individuelles des élèves comme l’âge, l’origine sociale, le sexe et le niveau de compétences à l’entrée au lycée (mesuré avec les épreuves écrites du DNB). Cette méthode d’analyse vise à satisfaire le fait que le succès d’un lycée dépend fortement de ses caractéristiques, indépendamment de la qualité de l’enseignement.

Le socle commun des compétences

En 2005, la France a introduit le socle commun de connaissances et compétences. Il désigne ce que les élèves doivent maîtriser à l’issue de la scolarité obligatoire « pour accomplir avec succès sa scolarité, poursuivre sa formation, construire son avenir personnel et professionnel et réussir sa vie en société».[3] Cette notion d’éducation qui s’oriente sur l’avenir fait référence à PISA. De plus, elle accentue l’apprentissage tout au long de la vie comme le recommandait le Parlement Européen et le Conseil de l’Union européenne. Ce socle commun intègre des connaissances et compétences plus larges comme des sujets majeurs habituels. Ces connaissances et compétences sont (i) la maîtrise de la langue française, (ii) la pratique d’une langue vivante étrangère, (iii) les principaux éléments de mathématiques et la culture scientifique et technologique, (iv) la maîtrise des techniques usuelles de l’information et de la communication, (v) la culture humaniste, (vi) les compétences sociales et civiques, (vii) l’autonomie et l’initiative.

Ces connaissances et compétences sont évaluées à trois moments de la scolarité : au cycle primaire, classe de CE 1, CM2 (soit 7-8 et 10-11 ans) et secondaire, classe de troisième (14-15 ans). Les enseignants des élèves utilisent un livret personnel de compétences qui est un outil de suivi personnalisé de l’élève et de dialogue des enseignants avec les familles. Ce livret est introduit dans les écoles primaires depuis 2008 et dans les collèges depuis 2010.

Ces évaluations sont complétées par les évaluations supplémentaires avec échantillons représentatifs.

Des évaluations supplémentaires

En 2003 la France lance le CEDRE rejoignant un échantillon d’environ 6 000 élèves. Réalisé tous les six ans, le second cycle date de 2009 et le prochain est prévu pour 2015. Cette évaluation permet l’appréciation temporelle de l’évolution des acquis des élèves en fin de collège et la mise en relation des résultats avec les caractéristiques du système et les politiques éducatives. L’objectif est de « confronter les résultats du fonctionnement pédagogique du système éducatif aux objectifs qui lui sont assignés et contribuer ainsi au pilotage de la politique pédagogique en fournissant des indicateurs permettant d’apprécier l’évolution des compétences des élèves dans des domaines essentiels».[4]

Il s’agit d’une évaluation qui s’appuie sur les programmes scolaires du collège mais qui intègre un test pour évaluer les acquis de l’élève sur des notions de connaissances et de compétences plus générales, comme (i) prélever l’information, (ii) organiser l’information prélevée et (iii) exploiter l’information de manière complexe dans les disciplines de français, mathématiques, histoire-géographie, éducation civique et sciences.

Depuis 2007, sont aussi annuellement mesurées en fin de collège les acquisitions de connaissances en français et en mathématiques. Cette évaluation se présente sous la forme d’un test de questions à choix multiples étalonné sur des échantillons représentatifs d’environ 16 000 étudiants et vise aussi à contrôler les variations dans le temps.

Depuis 1998, tous les jeunes hommes et femmes entre 16 et 18 ans de nationalité française, participent à « la journée défense et citoyenneté » (JDC), au cours de laquelle ils passent un test de compréhension de l’écrit. Le test vise à évaluer trois dimensions spécifiques: (i) l’automaticité de la lecture, (ii) les connaissances lexicales, (iii) des traitements complexes de supports écrits. Huit profils de lecteurs sont déterminés, puis répartis par sexe et région de scolarisation des élèves.

Le programme PISA

L’OCDE a lancé son programme international sur les acquis des élèves (PISA) en 2000. L’enquête est menée tous les trois ans auprès de jeunes de 15 ans dans les pays membres de l’OCDE et dans de nombreux pays partenaires. PISA vise à évaluer les savoirs et savoir-faire essentiels à la vie quotidienne au terme de la scolarité obligatoire. PISA n’évalue pas les connaissances acquises par les élèves avec des tests basés sur les programmes scolaires nationaux mais mesure si les élèves de 15 ans ont acquis certaines des connaissances et compétences considérées comme essentielles « pour pouvoir participer pleinement à la vie de nos sociétés modernes»[5].

Quelques résultats clés…

Dans le dernier cycle de PISA en 2009, la France obtient des résultats moyens pour les trois domaines testés soit, compréhension de l’écrit, mathématiques et sciences.

Avec un score moyen en lecture de 496 – la discipline majeure du cycle 2009 – la France se positionne au niveau de la moyenne des pays OCDE de 497, proche des 15 pays situés entre 489 et 503 points. Elle oscille donc entre la 12^e et la 27^e place des 75 pays participants[6]. Même si la performance moyenne en lecture ne change pas de manière significative depuis 2000[7], les différences entre les performances les plus hautes et les plus basses ont augmenté. Cette évolution reflète principalement la baisse des résultats des élèves les plus faibles. La France se caractérise par une élite très forte au niveau international avec environ 10 % des élèves au niveau 5 ou 6 (9 % en 2000) mais aussi, une proportion d’élèves sous le niveau 2 (20 %, 15 % en 2000). Ce niveau est considéré comme le seuil de compétence à partir duquel les élèves «possèdent des compétences en compréhension de l’écrit qui leur permettront de participer de manière efficace et productive à la vie de la société »[8]. Le pourcentage des garçons sous le niveau 2 a augmenté de 20 %  à 26 %  entre 2000 et 2009 (contre 14 % chez les filles, et 11 % en 2000). Autrement dit, selon PISA, un garçon sur quatre en France est confronté à des difficultés en lecture.

En mathématiques, la performance de la France s’est dégradée de 14 points depuis 2003. La France se trouve actuellement au niveau de l’OCDE, mais était au-dessus la moyenne OCDE en 2003. Le pourcentage des élèves sous le niveau 2 a aussi augmenté. En sciences, depuis 2006, le changement n’est pas significatif.

PISA permet l’étude des disparités de performance scolaire relatives à l’origine socio-économique des élèves qui indiquent les inégalités sociales du système éducatif. La France se caractérise par une influence forte de l’origine socio-économique sur la performance. L’impact d’une unité de l’indice PISA de statut économique, social et culturel est en moyenne OCDE de 38 points, 51 points en France. Après la Nouvelle-Zélande, c’est la plus haute valeur pour tous les pays OCDE.

Les élèves issus de l’immigration performent en moyenne 60 points de moins que leurs condisciples autochtones. Depuis 2000, cette différence augmente de 12 points, bien que l’écart statistique ne soit pas significatif. Cependant, cette différence devient significative après contrôle de l’origine socio-économique des élèves.

Des informations supplémentaires pourraient élucider ces différences de performance des élèves selon leur origine socio-économique et ethnique, comme notamment, les différences d’équipements et de ressources des établissements ou les différents types d’écoles ainsi que leur gestion. La France a refusé de participer à la collection de ces informations.

Réaction de la France 

La France participe aux enquêtes internationales depuis près de 40 ans, plus récemment à PISA de l’OCDE et TIMSS et PIRLS de l’International Association for the Evaluation of Educational Achievement (IEA)[9]. Cependant, son intérêt pour ces évaluations reste très relatif.

En général, les enseignants ignorent ou connaissent mal ces enquêtes. La connaissance se limite à l’idée globale de classement international et quelques autres indicateurs clés pourtant peu représentatifs de la vaste base de données de l’enquête PISA.

 

En général, les enseignants ignorent ou connaissent mal ces enquêtes. La connaissance se limite à l’idée globale de classement international et quelques autres indicateurs clés pourtant peu représentatifs de la vaste base de données de l’enquête PISA.

À cela s’ajoute encore que la France est le pays qui fournit le moins de données à l’OCDE. Les performances par établissement d’origine ne sont pas collectées, ce qui rend impossible de connaître le rapport entre les performances des élèves et le type et le statut socio-économiques des établissements. Selon le ministère, les différences entre établissements pour les élèves de 15 ans impliqueraient des données non comparables[10].

En 2001, quand le premier cycle de PISA a présenté des résultats décevants pour la France, de nombreuses voix remettaient en question le mode d’évaluation qui ne convenait pas au système français et, par conséquent, les résultats ont été sujets à caution.

Les épreuves des enquêtes internationales ne sont donc pas utilisées pour le pilotage du système éducatif d’une partie des instances décisionnelles du Ministère de l’éducation[11]. Dans une enquête de l’OCDE sur l’impact normatif de PISA auprès des membres du Conseil directeur PISA[12], la France est un des rares pays où PISA ne contribue que très peu aux changements politiques nationaux. La France s’est seulement orientée sur la définition des niveaux de compétences, introduits en 2003 pour des évaluations nationales. Ainsi, la France a posé un indice de référence avec l’objectif de réduire le pourcentage des élèves en-dessous du niveau 2 à 17% en PISA 2012.

RECAP – When it comes to education statistics, France has always gone its own way. This choice is explained by the considerable number of research studies it has carried out over the past decades. Nevertheless, France’s recognition of European and international policy directions is now leading to changes. Apart from the standard summative evaluations of student achievement, France has added other performance indicators and introduced a common core of competencies, resulting in changes to evaluation and teaching practices in recent years. Like most European countries, France has moved toward “performance outcomes” and “lifelong learning”.  It has agreed to take part in the PISA 2012 data-collection process, which may be interpreted as openness and acceptance of international surveys. The introduction of benchmarks based on the PISA 2012 survey is a step in that direction.

[1] L’Organisation de coopération et de développement économiques

[2] Ministère de l’Éducation Nationale. L’évaluation des acquis des élèves en CE1 et CM2. http://www.education.gouv.fr/cid262/l-evaluation-des-acquis-des-eleves-en-ce1-et-cm2.html

[3] Loi n° 2005-380 du 23 avril 2005 d’orientation et de programme pour l’avenir de l’école, l’article 9. http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000259787&dateTexte=

[4] Ministère de l’Éducation Nationale (2011). Repères et références statistiques – édition 2011, page 222. http://media.education.gouv.fr/file/2011/01/4/DEPP-RERS-2011_190014.pdf

[5] OCDE (2011), Résultats du PISA 2009 : Savoirs et savoir-faire des élèves : Performance des élèves en compréhension de l’écrit, en mathématiques et en sciences (Volume I), PISA, Éditions OCDE. Page 18 http://dx.doi.org/10.1787/9789264097643-fr

[6] 65 pays ou économies ont participé au cycle 2009, 10 autres ont mené l’évaluation en 2010.

[7] Résultats en lecture : 505 (2000), 496 (2003), 488 (2006).

[8] OCDE (2011), Résultats du PISA 2009 : Savoirs et savoir-faire des élèves : Performance des élèves en compréhension de l’écrit, en mathématiques et en sciences (Volume I), PISA, Éditions OCDE. Page 13 http://dx.doi.org/10.1787/9789264097643-fr  

[9] Participation dans tous les cycles de PIRLS (Progress in International Reading Literacy Study) en 2001, 2006, 2011; TIMSS (Trends in International Mathematics and Science Study) seulement en 1995.

[10] Charbonnier, E. (2010). Enquête PISA : “La France est le seul pays à faire jouer son droit de ne pas publier certaines données” http://www.educpros.fr/detail-article/h/d4532462d4/a/enquete-pisa-la-france-est-le-seul-pays-a-faire-jouer-son-droit-de-ne-pas-publier-certaines-don.html

[11] Bottani, N.; Vrignaud, P. (2005) La France et les évaluations internationales. Rapport établi à la demande du Haut Conseil de l’évaluation de l’école. Page 8.  http://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/054000359/0000.pdf

[12] Breakspear, S. (2012), “The Policy Impact of PISA: An Exploration of the Normative Effects of International Benchmarking in School System Performance”, OECD Education Working Papers, No. 71, OECD Publishing. Doi : 10.1787/5k9fdfqffr28-en.