Publié le 27 novembre 2018
Nous vous proposons de partager notre expertise sur l’évaluation avec cette série de publications scientifiques. Découvrez ci-dessous un article sur les différentes vigies mises en place par notre équipe pour préserver l’intégrité des résultats délivrés au Test d’évaluation de français.
L’intégrité des résultats délivrés aux candidats d’un test de langue peut être altérée de plusieurs façons. Les centres de passation sont un maillon essentiel, tout comme le réseau des évaluateurs des productions écrites et orales. Ils peuvent toutefois être confrontés occasionnellement à des aléas techniques ou individuels auxquels il convient de remédier.
Les principales menaces qui pèsent sur l’intégrité des résultats viennent cependant davantage de certains candidats dont la performance, par manque de préparation ou par recours à des procédés illicites, peut s’avérer éloignée de leur compétence réelle à communiquer en français.
Le système de vigies du TEF cible un double objectif :
Les conditions de passation du test sont un facteur clé et le rôle des centres agréés est déterminant pour en garantir la standardisation. En effet, la performance d’un candidat ne doit pas dépendre du lieu dans lequel il passe son test.
Les centres de passation font part à chaud au Français des affaires des anomalies constatées en cours de session et des actions sont prises en conséquence pour garantir l’intégrité des résultats.
En dépit de leur vigilance, il leur est cependant difficile d’identifier des comportements frauduleux susceptibles d’intervenir en amont de la session, comme par exemple l’accès d’un candidat à un matériel officiel de test diffusé illicitement, où une défaillance ponctuelle d’un évaluateur.
Le français des affaires a donc déployé différentes vigies pour limiter les menaces pesant sur l’intégrité des résultats au test.
Cette première vigie permet d’identifier à chaud les cas présentant un risque élevé de copie entre deux candidats ou d’accès préalable à une partie du contenu du test et d’intervenir avant la délivrance des résultats.
Le monitorage en continu de cette vigie permet de détecter des récurrences, d’identifier le matériel de test éventuellement concerné et si sa diffusion est circonscrite à un espace géographique particulier.
L’analyse quotidienne des résultats permet également de détecter des différences manifestes d’appréciation d’une performance d’expression écrite ou d’expression orale par les deux évaluateurs impliqués. S’il est rare que deux évaluations humaines d’une même performance à un test soient rigoureusement identiques, les écarts d’appréciations doivent rester limités pour ne pas menacer l’intégrité des résultats.
Dans de tel cas, une procédure d’arbitrage est mise en œuvre au sein du Français des affaires pour déterminer le score final à attribuer au candidat et un échange pédagogique a lieu avec l’évaluateur le plus éloigné de cette évaluation de référence pour remédiation.
Le monitorage en continu de cette vigie permet d’identifier des récurrences éventuelles d’écarts d’appréciation pour des évaluateurs particuliers ou dans des centres particuliers, ce qui peut conduire à revoir avec eux les engagements pris lors de l’agrément.
Les autres vigies se prêtent moins à une utilisation à chaud, de part leur nature statistique, dont la qualité de l’interprétation requiert un volume de candidats souvent supérieur à celui d’une seule session.
Les candidats choisissent en général la déclinaison du test qui correspond à leur projet (acquisition de nationalité, carte de résident) et pour lequel un niveau minimum est requis (par exemple le niveau B1 pour la naturalisation française et le niveau B2 pour l’immigration au Québec).
Pour chaque déclinaison du test, la vigie rend compte de l’atteinte de ce niveau minimum sur les treize derniers mois. Des variations du taux de réussite sont inévitables du fait que la répartition géographique des candidats fluctue d’un mois à l’autre et que l’on peut constater, dans certains pays, des profils variables de candidats selon la période de l’année.
Des variations brusques du taux de réussite à une épreuve donnée peuvent cependant être le symptôme d’un problème et lorsqu’un tel cas se présente au niveau d’un centre ou d’un pays, une surveillance renforcée est appliquée aux données des sessions suivantes.
Certains candidats présentent plusieurs épreuves du Test d’évaluation de français lors d’une même session. C’est notamment systématiquement le cas pour le TEF Canada, où, pour faire valoir leur compétence en français auprès du Ministère Immigration, Réfugiés et Citoyenneté Canada, les candidats doivent présenter une attestation présentant leur résultats à chacune des épreuves du test obtenus lors d’une même session.
Cette exigence, qui limite de facto les risques de fraude, offre l’opportunité d’identifier des profils de compétence irréguliers lorsqu’un candidat obtient un résultat très différent entre deux épreuves.
Cette vigie permet ainsi d’identifier les épreuves d’un test pour lesquelles des candidats auraient une tendance récurrente à obtenir de meilleurs ou de moins bons résultats qu’à d’autres épreuves, dans un pays ou dans un centre particulier.
Si, dans certaines régions du monde, cela peut s’expliquer par le fait que les candidats sont plus à l’aise avec des tâches d’expression qu’avec des questionnaires à choix multiple, une différence subite de tendance pour le mois en court est un signal à prendre en considération.
Lorsque les candidats passent les 4 épreuves lors d’une même session, il est possible de faire une prédiction du résultat attendu à une épreuve donnée en fonction du résultat délivré pour les autres épreuves.
Une telle projection n’a pas de valeur individuelle dans la mesure où elle ne tient nullement compte de la performance du candidat à l’épreuve dont on prédit le score (pour cela Le français des affaires s’appuiera sur ce que peut offrir l’intelligence artificielle en termes d’analyse automatique de textes).
Elle permet cependant, sur un plan statistique, de mettre en évidence des variations de tendances dans un centre ou un pays particulier. Une variation subite peut être un simple phénomène saisonnier mais également résulter d’un événement singulier, comme un changement dans l’équipe des évaluateurs.
Les tableaux chiffrés ne sont pas faciles à exploiter pour mettre en lumière des évolutions et une représentation graphique permet en générale d’identifier plus rapidement des écarts de tendance. La visualisation des données est devenue un enjeu majeur dans le domaine des statistiques et la plupart des logiciels récents permettent une restitution graphique des résultats statistiques.
Le français des affaires recourt, pour la plupart de ses traitements statistiques et psychométrique, à l’environnement logiciel libre R. Cet environnement met à disposition de multiples extensions, notamment la librairie Shiny qui permet la création de pages interactives pour visualiser le résultat de traitements statistiques.
La figure ci-dessous illustre la façon dont sont restitués les résultats pour monitorage mensuel :
Le menu en haut de l’écran permet d’accéder aux différentes vigies. Dans l’écran principal, des onglets permettent de visualiser les données globalement, par pays ou par centre, sous forme graphique, mais aussi sous forme de tableau pour des recherches plus ciblées.
Enfin, la partie gauche de l’écran permet de sélectionner des paramètres déterminant les données à afficher (test, épreuve, niveau de sensibilité de l’alerte, nombre mensuel minimum de candidats requis, focus sur un pays ou un centre particulier). Les informations de l’écran principal s’ajustent automatiquement en fonction des paramètres ainsi renseignés.
