Menu

CCI Paris Ile de France

La parole aux experts

Publié le 15 octobre 2019

De l’impact de la qualité de l’animation de l’épreuve d’interaction orale

Aujourd’hui nous nous entretenons avec Hasnaa Lamrini, qui a effectué son stage de Master 2 au département Innovation pédagogique et partenariats du Français des affaires, au cours du premier semestre 2019.

Peux-tu nous préciser l’intitulé de ton master et en quoi ton stage a consisté ?

Oui, bien sûr. J’ai suivi le master Français langue étrangère parcours FLE-FLS-FOS en milieux scolaire et entrepreneurial de l’université d’Artois. La deuxième année du master était beaucoup plus orientée vers le français sur objectifs spécifiques (FOS) et la pratique du français en milieu professionnel dans toute sa diversité. J’étais donc ravie de pouvoir faire mon stage au sein du Français des affaires !

Ce stage a notamment porté sur la formation en ligne des examinateurs de l’épreuve d’interaction orale des diplômes de français professionnel. Plus qu’une simple présentation des diplômes et de l’épreuve, cette formation a un objectif très pratique : développer chez les enseignants les compétences d’animation et d’évaluation de l’épreuve d’interaction orale.

Nous avons tenu à confronter autant que possible les examinateurs à des situations réelles à travers l’analyse de pratiques d’animation ou d’évaluation lors de passations enregistrées de candidats aux diplômes.

J’ai contribué à la partie « Techniques d’animation » de la formation. La formation met en avant les bonnes pratiques à respecter. Mon objectif était d’alerter les examinateurs sur l’existence de mauvaises pratiques, susceptibles de fausser l’évaluation de la performance des candidats. Il m’a fallu pour cela analyser les enregistrements de toute une série de passations de l’épreuve afin de repérer les différents types de mauvaises pratiques et leur fréquence d’apparition au sein du réseau des évaluateurs. Cela nous a permis de sélectionner les mauvaises pratiques les plus récurrentes et de reconstituer des scripts pour les proposer dans le cadre de la formation.

Et ces mauvaises pratiques ont vraiment un impact sur les résultats des candidats ?

J’en suis convaincue ! C’est d’ailleurs ce que j’ai souhaité approfondir dans mon mémoire de master, avec l’appui du département de Développement scientifique du Français des affaires.

Le français des affaires m’a permis d’accéder à un échantillon large d’enregistrements de l’épreuve d’interaction orale du Diplôme de français des affaires B1. L’idée était de classifier ces enregistrements selon que je jugeais l’animation de bonne ou de mauvaise qualité, puis de voir si des différences pouvaient être mises en évidence selon la catégorie entre les scores délivrés par l’examinateur du centre, qui est également la personne qui anime l’épreuve, et l’évaluation hors contexte, qui est réalisée à partir de l’enregistrement.

J’ai d’abord compris qu’un examinateur en contexte n’a pas nécessairement conscience des imperfections de son animation (sinon il les corrigerait) et qu’il évalue le candidat à partir de la perception qu’il a de la qualité de l’échange. Un évaluateur hors contexte, quant à lui, pourra être gêné par l’animation si elle ne permet pas d’observer ce qui est attendu. Par exemple si l’animateur, quoique bienveillant, mobilise la parole, il pourra avoir l’impression que l’échange s’est déroulé correctement et évaluer le candidat en conséquence, alors que l’évaluateur hors contexte verra qu’il ne dispose pas de suffisamment d’observables pour juger comme satisfaisante la prestation du candidat.

Nous avons analysé les résultats des différentes analyses menées, et cela nous a permis de confirmer qu’il y a bien une différence. Lorsque l’animation est de bonne qualité, la corrélation entre les scores délivrés par l’examinateur du centre et ceux délivrés par l’évaluateur hors contexte est meilleure que quand l’animation est de mauvaise qualité.

Ce sera sans doute plus facile à comprendre avec des graphiques. Peux-tu les commenter ?

Oui, bien sûr ! Ce que l’on voit sur ces images, c’est la distribution des scores attribués aux candidats de l’échantillon par les examinateurs dans les centres (courbes noires) et les évaluateurs hors contexte (courbes rouges). Le premier graphique correspond aux candidats ayant bénéficié d’une passation dans de bonnes conditions d’animation, et le second correspond aux candidats ayant bénéficié d’une passation dans des conditions d’animation jugées insatisfaisantes.

On voit que dans le premier cas les courbes ont tendance à se superposer, même si les évaluations hors contexte ont une tendance un peu plus généreuse. Par contre, les distributions diffèrent fortement dans le cas où l’animation est peu satisfaisante : par exemple, il est fréquent que l’examinateur dans le centre délivre un score plus élevé que l’évaluateur hors contexte, ce qui va dans le sens de mon hypothèse de départ.

Mais attention ! Je rappelle que je n’ai analysé que des interactions orales du Diplôme de français des affaires B1. Cela reste à confirmer sur les autres diplômes. Gageons que la formation en ligne des examinateurs permettra de réduire ces écarts.

Au final, qu’as-tu retiré de ton expérience au Français des affaires ?

Le français des affaires m’a montré une toute autre facette du FLE et de l’évaluation et m’a permis de l’explorer sous différents angles. En l’espace de quatre mois, je me suis épanouie aussi bien dans les tâches et les projets qu’on m’a confiés, que dans les formations que j’ai eu l’occasion de suivre. L’équipe du département Innovation pédagogique m’a fait confiance et m’a donné suffisamment de liberté pour que cette expérience soit la plus enrichissante possible.

Le temps est passé beaucoup trop rapidement, et à aucun moment il n’a été question de routine : les missions étaient variées au quotidien. Ce qui m’a réellement marquée par rapport à mes précédentes expériences en entreprise, c’est la cohésion d’équipe. Pour la première fois, j’ai pu observer les effets d’un bon management et d’un fort esprit d’équipe sur la productivité des différents acteurs de l’entreprise.

D’ailleurs, j’ai terminé mon stage le cœur lourd, mais heureuse de ce que j’ai pu apprendre aux côtés de chaque personne, et surtout confiante pour la suite de ma carrière !