Publié le 12 mars 2019
Le français des affaires de la CCI Paris Île-de-France a récemment reçu le label Q-Mark, décerné par ALTE pour le Diplôme de français des Affaires B1, B2, et C1.
Dominique Casanova, Responsable du développement scientifique, nous explique en quoi ce label est important et ce qu’il garantit aux candidats et à nos partenaires.
ALTE (Association of Language Testers in Europe) est une ONG internationale partenaire du Conseil de l’Europe. Créée à la fin des années 80 à l’initiative de l’Université de Cambridge et l’Université de Salamanque, l’association regroupe aujourd’hui les principaux concepteurs de tests et certifications en langues d’Europe.
Il y a à ce jour 34 membres de pleins droits représentant 25 langues, dont la CCI Paris Ile-de-France et le Centre international d’études pédagogiques, et 58 institutions affiliées.
Le but principal de l’association ALTE est de promouvoir une évaluation juste et précise des compétences langagières en Europe. Elle a pour cela défini des normes ou standards de qualité communs et un système d’audit qui permettent à ses membres de faire la démonstration de la qualité de leurs dispositifs d’évaluation et d’identifier des axes d’amélioration. Ces normes de références couvrent toutes les phases du processus d’évaluation et sont applicables à tout test ou examen de langue.
Le label Q-Mark résulte de ce système d’audit. Il certifie que le test ou la certification audité(e) satisfait l’ensemble des normes qualités édictées par l’association ALTE.
Ces 17 normes sont réparties en 5 catégories principales :
Pour chacune des normes, la phase d’audit invite les concepteurs de test à s’interroger sur ces différents aspects et à décrire leurs procédures en les justifiant par rapport à la norme :
(1) À qui s’adresse le test ? Que cherche-t-on à évaluer ? Comment a-t-on organisé le format du test pour permettre cette évaluation ? Comment accompagne-t-on les concepteurs pour qu’ils sachent concevoir des tâches adéquates ? etc.
(2) Comment sont sélectionnés les centres de passation ? Comment les sujets sont-ils distribués dans ces centres ? Quelles procédures permettent de garantir la standardisation des conditions de passation, la sécurité des passations ? Quels aménagements de session sont prévus pour répondre à des besoins spécifiques de candidats ? etc.
(3) Comment sont corrigées les épreuves ? Comment s’assure-t-on de la précision et de la stabilité des scores délivrés ?
(4) Quelles données sont collectées sur les candidats et quelles analyses psychométriques sont menées sur les résultats pour apporter des garanties sur la qualité de la mesure ?
(5) Comment communique-t-on de manière transparente avec les candidats ? Dans quels délais transmet-on les résultats aux candidats ? Comment informe-t-on les utilisateurs des conditions appropriées d’utilisation des résultats ? De la manière dont ils doivent être interprétés ? etc.
Le label Q-mark apporte donc des garanties sur la manière dont sont conçus les Diplômes, dont ils sont évalués et sur l’équité dont Le français des affaires fait preuve vis-à-vis des candidats. Ainsi les candidats (mais aussi nos partenaires, les Ministères, les entreprises et les centres d’examen) peuvent se fier aux résultats du Diplôme, dont la valeur est accréditée par le label.
Il faut compter environ deux ans pour mener à terme un dossier de labellisation Qmark.
La première étape de la phase d’audit a été la plus longue. Il s’est agi d’élaborer un argumentaire de validité pour le Diplôme de français des Affaires. Nous avons pour cela rempli une grille où nous étions invités à décrire et argumenter notre travail sur chacun des standards, en joignant des éléments de preuves pertinents (rapports, procédures, bilans d’expérimentation…). Cet argumentaire est le document principal de la phase d’audit.
Il nous a notamment fallu prouver l’alignement du Diplôme de français des Affaires sur le Cadre européen commun de référence (CECR). Pour la partie théorique nous avons fait appel à une étudiante en doctorat (sous co-tutelle de l’Université d’Artois et de l’Université de Mons), qui a analysé le contenu du test au regard des descripteurs du CECR. Puis nous avons mené une expérimentation en sollicitant un panel de 10 enseignants familiers du CECR et non impliqués dans les Diplômes de français professionnels. Ces panélistes ont porté des jugements indépendants sur le niveau de performance d’un ensemble de productions et la difficulté des activités à correction automatique, puis ont débattu des cas sur lesquels ils étaient en désaccord pour s’entendre sur une classification finale. Cela nous a permis de compléter avec des éléments de preuves empiriques le rapport d’alignement.
Une fois la grille remplie, nous avons été auditionnés dans nos locaux par une auditrice missionnée par l’association ALTE. Cette phase de l’audit a pour objectif de vérifier le contenu de l’argumentaire de validité, de le clarifier et de le consolider pour faciliter la prise de décision par le Standing Committee de l’association. L’auditrice indique pour chacun des standards, dans quelle mesure elle estime qu’il est satisfait et peut mettre en évidence les fragilités ou les bonnes pratiques qu’elle a pu identifier.
L’argumentaire ainsi consolidé a ensuite été expertisé par le Standing Committee qui, en se basant sur son contenu et les documents joints, a statué sur notre demande.
Nous avions déjà obtenu ce label pour le TEF en 2008 et en 2016. Nous avons décidé de l’étendre au Diplôme de français des Affaires lorsque nous avons entrepris sa refonte en 2016, pour que les exigences qualité de l’association soient prises en considération dès la création de ce produit, qui est largement distribué à l’international.
Ce label est important pour nos partenaires et nos candidats, et également pour les entreprises qui prendront en compte les Diplômes de français professionnel dans leur recrutement. En effet, il garantit que le Diplôme de français des Affaires est à l’état de l’art, que les personnes ont été évaluées dans des conditions appropriées et qu’on peut se fier aux résultats délivrés.
Ce gage de qualité est tout particulièrement pris en compte en Suisse, où le Ministère de l’Éducation considère depuis 2019 uniquement les diplômes labellisés Q-mark comme dispense de l’examen national.
Plus généralement, la CCI Paris Île-de-France est fière de maintenir son engagement dans une démarche qualité de ses évaluations en français et de renforcer ainsi la confiance de ses utilisateurs, comme de ses partenaires.
