Désormais adaptatif, le test permet d’évaluer le niveau de français du niveau A1 au niveau B2 grâce à un format innovant s’ajustant en temps réel à la performance des candidat(e)s.
Rencontre avec Dominique Casanova, Responsable du développement scientifique au Français des affaires de la CCI Paris Île-de-France.
Dominique nous présente les coulisses de cette innovation.
Le TEF IRN est désormais un test adaptif. Que cela signifie-t-il ?
Le principe d’un test adaptatif est de proposer aux candidat(e)s un contenu de test qui s’ajuste à leur niveau de compétence. L’outil numérique de passation choisit la question suivante ou la série de questions suivantes au vu des réponses que le ou la candidat(e) a données aux questions précédentes.
Dans le cas du TEF Intégration, Résidence et Nationalité (IRN), il s’agit d’un test adaptatif par étapes.
Pour chaque épreuve de compréhension (écrite ou orale), le ou la candidat(e) se voit proposer un premier ensemble de questions de difficultés intermédiaires. C’est ce qu’on appelle le module d’orientation.
Si le ou la candidat(e) répond correctement à un nombre restreint de questions du module d’orientation, il ou elle est orienté(e) vers un module comportant des items plus faciles, pour ne pas être mis(e) en échec sur l’ensemble du test. Ces questions, de niveaux A1 et A2, fourniront davantage d’informations sur son niveau réel, car le ou la candidat(e) est manifestement de niveau faible.
Si le ou la candidat(e) répond correctement à un grand nombre de questions du module d’orientation, il ou elle est orienté(e) vers un module comportant des items plus difficiles, pour voir si sa compétence s’étend au niveau B2.
Les candidat(e)s n’ayant répondu correctement qu’à environ la moitié des items du module d’orientation se voient proposer, pour leur part, un nouveau module constitué de questions de difficulté intermédiaire, pour mieux préciser leur niveau de performance.
À l’issue de l’épreuve, le score et le niveau du / de la candidat(e) sont calculés en tenant compte à la fois du nombre total de bonnes réponses données et des indices de difficulté des items auxquels il ou elle a été confronté(e).
Deux candidat(e)s ayant donné le même nombre de bonnes réponses pourront ainsi obtenir des résultats très différents si l’un(e) a été confronté(e) à des items plutôt faciles et l’autre à des items plutôt difficiles.
Quelles sont les raisons qui ont poussé Le français des affaires à faire évoluer le format du test ?
La direction de l’intégration de l’accès à la nationalité (DIAN) du ministère français de l’Intérieur a demandé au Français des affaires d’étendre l’évaluation de ce test jusqu’au niveau B2, dans la perspective d’une évolution des exigences langagières des postulant(e)s à la naturalisation.
Le fait de proposer un test au format adaptatif nous a permis, à la fois :
d’éviter que des candidat(e)s soient exposé(e)s à des items clairement trop difficiles pour eux.
Si les candidat(e)s passent le test pour s’assurer de leur atteinte du niveau A1, ou pour démontrer un niveau A2, des items trop difficiles les décourageraient et les inciteraient à répondre complètement au hasard.
de conserver un test relativement court pour évaluer sur l’échelle de niveaux A1 à B2 (20 questions pour chacune des épreuves de compréhension).
En effet, la seconde partie de l’épreuve s’ajustant à la performance démontrée dans les réponses au module d’orientation, chacun des items soumis au ou à la candidat(e) fournit une information pertinente sur sa compétence.
En comparaison, des items difficiles seront peu informatifs pour l’évaluation de candidat(e)s de niveau A1 et des items trop faciles seront peu informatifs pour des candidat(e)s de niveau B2.
Quelles ont été les différentes étapes dans la mise en place de ce format adaptatif ?
La première étape a été, au moyen de simulations, de déterminer le format qui nous semblait le plus approprié pour le test : nombre d’étapes, nombre de questions par étape, règles d’orientation d’une étape à l’autre, durée des épreuves…
Cela nous a permis d’élaborer un premier prototype que nous avons fait découvrir à notre réseau de centres agréés et que nous avons testé auprès de futurs candidat(e)s afin d’en valider la pertinence.
Une fois le format validé, nous avons préparé le lancement de ce nouveau format (le 1er avril 2025) en accompagnant les centres dans sa prise en main, en élaborant un ensemble de versions différentes du test, et en mettant à disposition des candidat(e)s tout le matériel nécessaire à leur information et à leur préparation.
Deux mois après le lancement de ce nouveau format, quel bilan pouvons-nous dresser ?
La mise en œuvre s’est faite sans accroc et nous n’avons pas eu de retours d’expérience négatifs. Tout semble se dérouler correctement et les taux d’atteinte des niveaux A1, A2 et B1 sont comparables à ceux des dernières années.
Le nouveau format permet effectivement de différencier les candidat(e)s de niveau B2, niveau qui apparait clairement comme exigeant pour la population passant actuellement le test.
Le format adaptatif n’est pour l’instant utilisable qu’avec une connexion internet garantie tout au long du test par les centres de passation. C’est le cas des centres faisant passer le TEF IRN, mais pas nécessairement de tous les centres qui font passer les autres versions du TEF, ce qui empêche aujourd’hui sa généralisation.
Nous avons néanmoins apporté la preuve de notre capacité à proposer des formats de test qui proposent un parcours d’évaluation plus individualisé pour les épreuves au format de questions à choix multiples, en s’adaptant au niveau des candidat(e)s.
Un tel format offre une expérience plus confortable aux candidat(e)s les plus faibles et garantit un niveau de précision élevé sur l’ensemble de l’échelle de scores.
