Communications scientifiques

dans le domaine de l'évaluation


Le français des affaires mène une action continue de recherche et développement dans le domaine de l’évaluation en langue française.

Ses contributions scientifiques relèvent de 4 catégories principales :

Dans chaque catégorie, les contributions les plus récentes (communications écrites, supports ou vidéos de présentation) sont mises en évidence.

Vous pouvez accéder aux contributions précédentes en dépliant le volet “Historique”.

Construit des tests et diplômes

Les communications de cette rubrique précisent ce que cherchent à évaluer les tests et diplômes du Français des affaires et le rapport qu’entretiennent ces instruments d’évaluation avec les cadres de référence.

L’historique présente également une série d’études qui ont été menées dans la perspective de la création d’une épreuve écrite à des fins de recrutement académique.

Communications écrites

Casanova, D. (2020). Ce que cherchent à évaluer nos tests et certifications. Les monographies du Français des affaires, Vol. 1. Le français des affaires.

Présentations

Casanova, D. (2023). Assurer la continuité de l’évaluation quand l’instrument de mesure et les cadres de référence évoluent. 33e colloque de l’ADMEE-Europe, Mons, Belgique.

Casanova, D., Grosset, E. (2023). Alignement d’un test d’évaluation de français langue étrangère sur des cadres de référence distincts. 8e conférence internationale d’ALTE. Madrid, Espagne.

Renaud, F. (2022). Assessing Speaking in Vocational Communication. 57e Rencontre et conférence ALTE. Paris, France.

Historique

Casanova, D., Artus, F., Demeuse, M., & Maréchal, M. (2011). Comment évaluer les compétences en français académique d’étudiants non francophones souhaitant poursuivre leurs études en France ? Les cahiers de l’asdifle n°23, 37-46.

Artus, F., Demeuse, M., Maréchal, M., Casanova, D., Crendal, A., Desroches, F., & Holle, A. (2011). Évaluer la compétence écrite en français des étudiants non-francophones en situation académique. Actes du 23e colloque de l’ADMEE-Europe. Paris, France,  

Casanova, D., Crendal, A., Demeuse, M., Desroches, F., & Holle, A. (2010). Validation empirique d’un test de français langue étrangère en regard du Cadre européen commun de référence pour les langues. Actes du 22e colloque de l’ADMEE-Europe, 881-902. Braga, Portugal.

Demeuse, M., Artus, F., Crendal, A., Casanova, D., & Renaud, F. (2008). Capacités d’adaptation d’un test de langue et de son dispositif pour répondre aux exigences de son environnement. Actes du 20e colloque de l’ADMEE-Europe. Genève, Suisse.

Desroches, F., Crendal, A., Renaud, F., Casanova, D., Demeuse, M., & Artus, F. (2006). Les biais culturels dans les tests internationaux de français langue étrangère : diagnostic et analyse. Actes du 19e colloque de l’ADMEE-Europe. Neumünster, Luxembourg.

Demeuse, M., Artus, F., Desroches, F., Crendal, A., Renaud, F., & Casanova, D. (2006). Évaluation et autoévaluation en français langue étrangère : approche empirique du Cadre européen commun de référence pour les langues du Conseil de l’Europe à travers le TEF et l’échelle d’autoévaluation DIALANG. Actes du 19e colloque de l’ADMEE-Europe. Neumünster, Luxembourg.

Crendal, A. (2005). Vers la multiréférentialisation du TEF. Points Communs n°24, Chambre de commerce et d’industrie de Paris.

 Demeuse, M., Desroches, F., Crendal, A., Renaud, F., Oster, P., & Leroux X. (2004). L’évaluation des compétences linguistiques des adultes en français langue étrangère dans une perspective de multiréférentialisation. Actes du 17e colloque de l’ADMEE-Europe. Lisbonne, Portugal.

Nouvelles technologies et évaluation en langue

Le français des affaires a proposé dès 2005 une version électronique du Test d’évaluation de français – TEF. La dimension numérique faisait également partie intégrante à la refonte du format des Diplômes de français professionnel en 2016.

Le français des affaires travaille également depuis 2018 sur les possibilités offertes par l’intelligence artificielle dans le domaine de la notation automatique et l’utilisation qui peut en être fait au sein du dispositif d’évaluation du TEF et des Diplômes de français professionnel.

Communications écrites

Casanova, D., Aw, A. & Demeuse, M. (2018). Quand le numérique défie la mesure. Comment veiller à la qualité de certifications en langue professionnelle au format numérique. Actes du 30e colloque de l’ADMEE-Europe. Luxembourg, Luxembourg.

Présentations

Casanova, D. (2022). Technology in language assessment: Have we already opened Pandora’s Box?. 57e rencontre et conférence ALTE. Paris, France.

Casanova, D. (2021). Optimiser l’arbitrage grâce à la notation automatique ?. 7e Conférence internationale d’ALTE. Madrid, Espagne.

Casanova, D. (2021). Automarking as a supplementary tool for arbitration between raters?. 7e Conférence internationale d’ALTE. Madrid, Espagne.

Casanova, D. (2019). (Digital) Technology in Language Testing. Rencontre CAPLE – 20 años. Lisbonne, Portugal.

Historique

Casanova, D., Crendal, A., Holle, A., & Demeuse M. (2011). Élaboration d’une version électronique équivalente à la version papier-crayon d’un test de français langue étrangère à forts enjeux. Dans J. G. Blais (dir.), Évaluation des apprentissages et technologies de l’information et de la communication. Enjeux, applications et modèles de mesure, Tome 2. Québec : Les Presses de l’Université Laval. 

Desroches, F., Casanova, D, Crendal, A., Renaud, F., & Demeuse, M. (2005). Mise en équivalence des versions papier-crayon et électronique d’un test de français langue étrangère et mise en perspective des résultats par une procédure d’auto-évaluation. Actes du 18e colloque de l’ADMEE-Europe. Reims, France.

Évaluation de productions

Du fait qu’elle requiert une intervention humaine, l’évaluation des épreuves de production est empreinte de subjectivité et représente donc un défi à la précision de la mesure. Une part importante de l’activité de recherche du Français des affaires s’est consacrée au monitorage de la qualité des évaluations.

Les travaux en cours sur la notation automatique offrent de nouvelles pistes pour ce suivi et pour la définition de règles de décision dans l’attribution du résultat final aux candidat(e)s.

Communications écrites

Casanova, D., Aw, A., & Demeuse, M. (2024). Quelle place pour la notation automatique de productions écrites dans un test standardisé de français langue étrangère ? Dans N. Loye et N. Duroisin (dir.), Évaluation des apprentissages et technologies numériques : évolution, nouveautés et défis actuels. Peter Lang. 

Casanova, D. & Demeuse, M. (2016). Évaluateurs évalués : évaluation diagnostique des compétences en évaluation des correcteurs d’une épreuve d’expression écrite à forts enjeux. Mesure et évaluation en éducation, 2016, vol. 39(3), 57-94.

Présentations

Casanova, D. (2021). Quelle place pour la notation automatique de productions écrites dans un test standardisé de français langue étrangère ?. 42e session d’études de l’ADMEE-Canada.

Casanova, D. (2020). Notation automatique de productions écrites en français langue étrangère ou seconde. Séminaires du CENTAL, Université Catholique de Louvain.

Aw, A. (2020). Monitorer la qualité des évaluations humaines au moyen d’un correcteur automatique. 32e colloque de l’ADMEE-Europe.

Casanova, D. (2020). L’accord inter-évaluateurs dépend-il de la grille d’évaluation utilisée ?. 32e colloque de l’ADMEE-Europe.

Historique

Casanova, D., Brown, G., Boumaaz, A., & Demeuse M.  (2016). Comment l’analyse de données de production permet d’améliorer la formation continue des évaluateurs d’une épreuve d’expression orale.  Actes du 28e colloque de l’ADMEE-Europe. Lisbonne, Portugal. 

Casanova, D. & Demeuse, M. (2011). Analyse des différentes composantes influant sur la fidélité de l’épreuve d’expression écrite d’un test standardisé de français langue étrangère. Mesure et évaluation en éducation, 2011, vol. 34(1), 25-53. 

Demeuse, M., & Artus, F. (2008). Évaluer les productions orales en français langue étrangère (FLE) en situation de test. Étude de la fidélité inter-juges de l’épreuve d’expression orale du Test d’Évaluation de Français (TEF) de la Chambre de commerce et d’industrie de Paris (CCIP). Les Cahiers des Sciences de l’Education, n°25 et 26, 131–151. Belgique : Unité d’Analyse des Système et des Pratiques d’Enseignement, Université de Liège.  

Modèles et méthodes de mesure

Cette catégorie regroupe des communications sur des aspects techniques de l’évaluation, qui mobilisent des modèles et des méthodes de mesures adaptés.

Ces dernières années, un travail particulier a été mené à destination du groupe d’intérêt spécifique de l’association ALTE, portant sur l’utilisation qui peut être faite des outils statistiques lorsque les échantillons de candidats sont limités.

Communications écrites

Casanova, D., Aw, A., & Demeuse, M. (2023). Comment réduire la subjectivité dans l’évaluation des compétences ? Dans E. Dionne et S. Béland (dir.), Appliquer le modèle de Rasch : problèmes, et pistes de solution. Presses de l’Université du Québec.

Casanova, D., Kaddachi, L., Aw, A., & Demeuse, M. (2019). Comment vérifier la dimensionnalité des outils d’évaluation ?. Actes du 30e colloque de l’ADMEE-Europe. Genève, Suisse, 8-10 janvier 2019. 

Casanova, D., Aw, A., Bourras, M. & Demeuse, M.  (2019). Nos items à l’accent québécois difR-ils ?. Actes du 30e colloque ADMEE-Europe. Genève, Suisse, 8-10 janvier 2019.

 Aw, A., Zhang, A., Casanova, D., & Demeuse, M. (2018). Mise à l’épreuve de méthodes de détection de patrons de réponses suspects. Actes du 30e colloque de l’ADMEE-Europe. Belval, Luxembourg, 10-12 janvier 2018.    

Présentations

Casanova, D. (2024a). Item banking with small samples and expert judgment – part 2. 60e rencontre ALTE. Bad Homburg, Allemagne. 

Casanova, D. (2024b). Expert judgment put to the test. How far can we trust it?. 61e rencontre ALTE. Istanbul, Turquie. 

Mouchnino, J. (2024). Utilizing experts’ judgments to determine difficulties of items in a test with little data. Conférence ITC 2024. Grenade, Espagne.

Casanova, D. (2024). Item banking with small samples and experts judgment – part 2. 60e rencontre ALTE. Bad Homburg, Allemagne.

Casanova, D. (2023). Item banking with small samples and experts judgment – part 1. 59e rencontre ALTE. Rome, Italie.

Casanova, D. (2023). Combiner le jugement d’experts et l’analyse de données sur échantillons réduits pour garantir la qualité d’instruments d’évaluation diversifiés. 35e colloque de l’ADMEE-Europe. Mons, Belgique.

Casanova, D. (2022). Statistics on small samples: some possibilities and some limitations. 58e rencontre ALTE. Prague, Tchéquie.

Casanova, D. (2020). Comment veiller à l’intégrité des résultats aux tests au moyen de l’analyse des données ?. Journée d’études Lidilem, Psychométrie pour l’évaluation en langues. Grenoble, France.

Historique

Casanova, D., Malaise, S., & Demeuse, M. (2012). Hiérarchisation de compétences par l’intermédiaire du logiciel CHIC : comparaison d’analyses dans deux domaines différents. Actes du 24e colloque de l’ADMEE-Europe. Paris, France, 11-13 janvier 2012.