La question de la normalisation des écrits scolaires pour leur traitement automatique. Le cas de l’omission de mots
Bibliographic Data
| ID | 6420683 |
|---|---|
| Authors | Martina Barletta (Laboratoire de Linguistique et Didactique des Langues Etrangères et Maternelles), Claude Ponton (0000-0002-0238-0954, Laboratoire de Linguistique et Didactique des Langues Etrangères et Maternelles) |
| Year | 2025 |
| Volume | 26 |
| Publication date | 2025-01-01 |
| Peer Reviewed | Yes |
| Open Access | No |
| Type | ARTICLE |
| Venue | Corpus (JOURNAL) |
| Journal identifiers | ISSN: 1638-9808 • E-ISSN: 1765-3126 |
| Publisher | OpenEdition (PUBLISHER) |
| DOI | 10.4000/1364v |
| OpenAlex | W4372781004 |
| Language | FR |
| References cited | 6 |
Cette contribution porte sur le traitement du bruit provoqué par les omissions de mots dans un corpus d’écrits scolaires en vue de leur traitement automatique. Même si une étape de normalisation rend possible le traitement de ces textes très fautifs, certains éléments de langage demeurent difficiles à appréhender notamment dans le cas où le scripteur omet des mots dans le texte. Nous proposons dans cette contribution trois méthodes possibles de traitement automatique ou semi-automatique pour résoudre cette problématique : (1) méthode exploitant un token « masque » de forme xxx ; (2) méthode semi-automatisée où chaque catégorie morpho-syntaxique proposée lors de la normalisation est remplacée par le même « mot prototypique » ; (3) méthode FlauBERT où le modèle de langage est utilisé pour « reconstruire » le token le plus probable dans le texte. Nous évaluons de manière quantitative ces trois méthodes pour ensuite présenter qualitativement les résultats obtenus à travers la méthode (3), la plus efficace dans le contexte de notre recherche
Art · Humanities · Natural Language Processing Techniques · Philosophy · Text Readability and Simplification
| Citation velocity | historical |
|---|---|
| Highly cited | No |