- Développment de ressources pour le traitement automatique de corpus finnois. Ces ressources sont principalement constituées de dictionnaires, de graphes et de programmes. Elles permettent la reconnaissance et l'analyse des formes fléchies des mots simples et complexes du finnois, langue synthétique et agglutinante dont la régularité et la productivité de la composition est également importante. Les ressources ont été développées pour la plateforme d'analyse de corpus Unitex, mais le format des données et la diffusion de ces ressources sous licence libre rendent possible leur adaptation pour d'autres usages en traitement automatique des langues.
-
UnitexUnitex, développé par l'université de Marne-la-Vallée, est un logiciel d'analyse de corpus linguistiques qui intègre des dictionnaires électroniques et différents composants nécessaires à l'analyse morphologique et syntaxique des textes. La version actuelle d'Unitex incorpore une version de démonstration des ressources pour le finnois composée d'un texte (Ihmisoikeuksien yleismaailmallinen julistus "Déclaration universelle des droits de l'homme"), d'un alphabet, d'un graphe de normalisation (traitement des mots amalgamés) et d'un dictionnaire dont les entrées sont limitées aux mots du texte.
-
Ce qui est fait- Dictionnaires de mots fléchies
- Dictionnaire de clitiques
- Dictionnaires d'allomorphes
- Programme d'analyse des mots complexes
-
Ce qui reste à faire- Traitement complet et approprié des mots dysharmoniques
- Analyse des formes fléchies des numéraux au moyen de graphes de flexion
- Analyse des formes fléchies des abréviations et sigles au moyen de graphes de flexion
- Analyse des formes fléchies des noms propres au moyen de graphes de flexion
- Graphes syntaxiques de levée d'ambiguïté
-
Personnes ayant participé au projet- Richard Renault, maître de conférences, CRISCO, Université de Caen (responsable du projet)
- Marie Calberg, doctorante, Université de Paris 7 (premiers graphes de flexion)
- Vincent Guillard, informaticien stagiaire, Université de Caen (scripts de traitement des dictionnaires)
- Étienne Leblois, doctorant, CRTT, Université Lumière Lyon 2 (échange de ressources)
- Johan Brault-Baron, informaticien stagiaire, Université de Caen (programme DIALEX)
-
Graphes de flexionLes graphes de flexion permettent de générer le dictionnaire des mots fléchies à partir d'un dictionnaire de lemmes catégorisé. Pour chacune des catégories et classes lexicales de lemmes, un graphe décrit les différents paradigmes de morphèmes flexionnels ainsi que les différentes séquences de morphèmes. Les dictionnaires DELFIN comptent 85 modèles de déclinaison des noms et 57 modèles de conjugaison des verbes. Les différentes classes de flexion pour chaque catégorie sont présentées sur la page de la flexion.
Afin de tenir compte des particularités phonologiques du finnois, les graphes de flexion sont dédoublés pour l'harmonie vocalique ; un graphe pour les lemmes avec voyelles d'avant et un autre, pour ceux avec voyelles d'arrière). Par ailleurs, les graphes de flexion sont scindés en deux sous-graphes pour les lemmes soumis à l'alternance consonantique (un graphe pour les lemmes avec degré fort et un graphe pour ceux avec un degré faible). Pour chaque classe lexicale, modèle de déclinaison ou de conjugaison, on a ainsi 6 graphes. Schéma des graphes de flexion des noms de la classe N01 :
-
- N01B : union des graphes N01BS et N01BW
- N01F : union des graphes N01FS et N01FW
- N01BS : graphe des noms de la classe 01 ayant des voyelles harmonisantes d'arrière et une forme fléchie avec un degré consonantique fort, par exemple : katua (partitif), katu 'rue'.
- N01BW : graphe des noms de la classe 01 ayant des voyelles harmonisantes d'arrière et une forme fléchie avec un degré consonantique faible, par exemple : kadun (génitif), katu 'rue'.
- N01FS : graphe des noms de la classe 01 ayant des voyelles harmonisantes d'avant et une forme fléchie avec un degré consonantique fort, par exemple : pöytää (partitif), pöytä 'table'.
- N01FW : graphe des noms de la classe 01 ayant des voyelles harmonisantes d'avant et une forme fléchie avec un degré consonantique faible, par exemple : pöydän (génitif), pöytä 'table'.
Les graphes de flexion permettent ainsi de traiter directement la répartition des mots selon l'harmonie vocalique, ce qui n'est pas le cas de l'alternance consonantique.
Les mots avec alternance consonantique font l'objet d'un prétraitement et d'un posttraitement lors de l'application des graphes de flexion. Un programme spécifique identifie les mots avec alternance consonantique dans le dictionnaire des lemmes et dédouble l'entrée du dictionnaire ; une ligne pour la forme forte et une ligne contenant les deux formes altenantes en lieu et place de la consonne concernée (Pour les lemmes au degré faible, c'est la même chose mais l'ordre des formes alternantes est inversé). exemple avec le mot katu "rue" et tiede "science" :lemme au degré fort avant traitement : katu,N01BS après traitement : katu,N01BS
ka(t|d)u,N01BWlemme au degré faible avant traitement : tiede,N78FW après traitement : tiede,N78FW
tie(d|t)ee,N78FSAprès application des graphes de flexion, le posttraitement consiste à remplacer les deux formes alternantes par la consonne appropriée dans le mot fléchi et dans le lemme :
lemme au degré fort avant traitement : ka(t|d)un,ka(t|d)u.N+SG+GEN après traitement : kadun,katu.N+SG+GEN lemme au degré faible avant traitement : tie(d|t)een,tie(d|t)e.N+SG+GEN après traitement : tieteen,tiede.N+SG+GEN Les lemmes qui n'ont pas d'alternance consonantique sont fléchis quant à eux à partir du graphe de fusion qui appelle les deux sous-graphes de flexion sans posttraitement.
Le traitement complet des mots est présenté et illustré dans le poster suivant :
-
Nombre de lemmes et de formes fléchies
| dictionnaires | LEMMES | FORMES FLÉCHIES | |
| A | adjectifs | 11 681 | 962 564 |
| ADP | adpositions | 191 | 2 015 |
| ADV | adverbes | 6 028 | 9 948 |
| K | conjonctions | 36 | |
| N | noms | 32 804 | 843 372 |
| NEG | négation | 1 | 22 |
| NPT | pluralia tantum | 259 | 4 025 |
| NUM | numéraux | 43 | 920 |
| PRO | pronoms | 52 | 1 243 |
| V | verbes | 15 965 | 7 163 434 |
-
Traitement des mots dysharmoniquesles mots dysharmoniques sont des mots qui contiennent à la fois des voyelles harmonisantes d'avant {y, ö, ä} et des voyelles harmonisantes d'arrière {u, o, a}. Il s'agit aussi bien de mots simples que de mots dérivés ou composés. Excepté les mots composés, ce sont tous des mots d'emprunt. Ces mots dysharmoniques sont soit inclus dans les dictionnaires - lorsque leur traitement pour la flexion n'a pas posé de problèmes particuliers - soit inclus dans un dictionnaire spécifique (DELFIN_DW) en attendant un traitement approprié qui permettrait de les incorporer dans les dictionnaires correspondant à leur catégorie.
Selon leur catégorie et leur statut de mots simples ou complexes, le traitement est différent.
- Les adverbes, étant invariables, ne font l'objet d'aucun traitement particulier (asymmetrisesti "asymétriquement", dynaamisesti "dynamiquement"...).
- Les mots composés inclus dans les dictionnaires et fléchis par les graphes de flexion ont une suffixation en rapport avec le vocalisme du dernier composant, tête du mot composé (pääasia "chose essentielle", kansainvälistyä "s'internationaliser"...). Entrent également dans ce cadre les mots d'emprunt avec suffixation savante (neliömetri "mètre carré"...) et les mots dérivés au moyen d'un suffixe invariable (vähänlainen "assez petit",fyysikko "physicien"...). Ces mots sont correctement traités dans les dictionnaires.- Les verbes formés à partir d'emprunts ainsi que les nominalisations correspondantes ont une suffixation réglée par le vocalisme de la terminaison verbale (pastöroida "pasteuriser", pastörointi "pasteurisation"...).
Tous les autres mots dysharmoniques - essentiellement des mots simples - inclus dans le dictionnaire spécifique, sont systématiquement fléchis avec les deux types de suffixes (suffixes avec voyelle d'avant et suffixes avec voyelle d'arrière), ce qui est pertinent dans le cas de mots tels que analyysi "analyse" et molekyyli "molécule" pour lesquels les deux types de suffixation se rencontrent dans l'usage de langue. Ce traitement a été également appliqué provisoirement pour les mots tels que afääri "affaire", amatööri "amateur" et dynamiitti "dynamite" pour lesquels cependant un seul type de suffixes est possible. Ce qui manque en l'occurrence, c'est un traitement qui prenne en compte la nature des voyelles et leur position dans le mot. C'est tout à fait possible mais cela n'a pas été fait pour le moment. L'usage du dictionnaire des mots dysharmoniques ne pose cependant aucun problème avec Unitex puisqu'il s'agit d'un processus de reconnaissance de mots (les mots seront toujours correctement identifiés alors que le dictionnaire contient des formes impossibles)
Le dictionnaire des mots dysharmoniques contient XX lemmes (uniquement des noms et des adjectifs), ce qui correspond à environ XX des mots dysharmoniques (XX) de l'ensemble des dictionnaires.
-
Programme DialexLes mots complexes sont soit des mots simples ou dérivés avec un ou plusieurs clitiques (désinences possessives et particules clitiques) soit des mots composés ayant éventuellement un ou plusieurs clitiques. Quelques exemples :
(1), (2) et (3) : mots simples fléchis avec clitique(s), (4) : mot composé fléchi sans clitique, (5) et (6) : mots composés fléchis avec une particule clitique.(1) tuletko,tulla.V+PRES+2SG+PCL2 viens-tu ? (2) unissanikin,uni.N+PL+INES+POSS1SG+PCL1 dans mes rêves aussi (3) ystäväkseen,ystävä.N+SG+TRANS+POSS3 son ami (translatif) (4) suhteellisuusteoriassa,suhteellisuusteoria.N+SG+INES dans la théorie de la relativité (5) rautatieasemallako,rautatieasema.N+SG+ADES+PCL2 à la gare ? (6) valokuvaajineenkin,valokuvaaja.N+PL+COM+POSS3+PCL1 avec son photographe aussi Ces mots sont analysés au moyen du programme Dialex, disponible en ligne de commande. Ce programme permet de reconnaître et d'analyser les mots complexes en utilisant comme ressources les différents dictionnaires de mots simples et quelques dictionnaires spécifiques.
Il présente les mêmes fonctionnalités que le programme Dico d'Unitex ; à partir de la liste de mots d'un texte prétraité par les programmes d'Unitex, il reconnaît et analyse les mots simples et complexes et produit en sortie un dictionnaire des mots du texte. Dialex applique ainsi les dictionnaires Delfin en prenant en compte les règles de composition et de suffixation des clitiques définies dans un fichier de règles.
Ce programme, élaboré en collaboration avec Johan Brault-Baron (étudiant informaticien stagiaire), est écrit en langage C, comme les autres programmes intégrés dans la plateforme Unitex. Un programme annexe, écrit en Python, permet de générer une analyse en arbre des mots complexes.
-
Règles de suffixation et de compositionL'analyse des mots complexes avec le programme Dialex repose sur deux types de règles : 1) des règles de suffixation de clitiques et 2) des règles de composition.
Les règles de suffixation décrivent un mot complexe comme la concaténation d'un mot fléchi avec un ou plusieurs clitiques. Le lemme du mot complexe est alors le lemme du mot fléchi issu de l'un des dictionnaires. Dans l'exemple (1) tuletko "viens-tu ?", l'axiome (7) et la règle de suffixation (8) reconnaissent ce mot comme une forme complexe du mot fléchi tulet "tu viens" augmenté de la particule clitique interrogative -ko. La règle (8) explicite la suffixation alors que l'axiome (7) identifie le produit de la suffixation comme une séquence valide. Dans cet exemple, le mot fléchi tulet "tu viens" appartient au dictionnaire des verbes et le suffixe -ko appartient au dictionnaire des clitiques.
(7) axiome : V+PRES+2SG+PCL2 (8) règle : V+PRES+2SG+PCL2->V+PRES+2SG*PCL2 ligne du dictionnaire de sortie : tuletko,tulla.V+PRES+2SG+PCL2 lignes des dictionnaires utilisés : tulet,tulla.V+PRES+2SG DELFIN_V ko,.PCL2 DELFIN_liitteet Les règles de composition décrivent un mot complexe comme la concaténation de deux mots fléchis. Le lemme du mot composé est obtenu par concaténation du premier composant du mot fléchi et du lemme du second. Dans l'exemple (4) suhteellisuusteoriassa "dans la théorie de la relativité", l'axiome (9) et la règle de composition (10) reconnaissent ce mot complexe comme un mot composé à l'inessif, formé à partir des mots suhteellisuus "relativité" et teoria "théorie" ; la règle (10) explicite la composition alors que l'axione (9) identitife le produit de la composition comme une séquence valide. Dans cet exemple, les mots fléchis suhteellisuus et teoriassa appartiennent tous les deux au dictionnaire des noms.
(9) axiome : N+SG+NOM+N+SG+INES (10) règle : N+SG+NOM+N+SG+INES-> N+SG+NOM*N+SG+INES ligne du dictionnaire de sortie : suhteellisuusteoriassa,suhteellisuusteoria.N+SG+INES lignes des dictionnaires utilisés : suhteellisuus,.N+SG+NOM DELFIN_N teoriassa,.N+SG+INES DELFIN_N Les règles de suffixation et de composition sont récursives et permettent ainsi l'analyse des mots complexes qui contiennent plusieurs clitiques ainsi que les mots composés formés de plus de deux composants comme le mot (5) rautatieasema "gare de chemin de fer", formé à partir des mot rauta "fer", tie "chemin" et asema "gare".
-
Traitement des allomorphesAlors que la suffixation des particules clitiques n'entraîne aucune allomorphie dans le mot fléchi, les désinences possessives admettent des variantes et entraînent une allomorphie dans le mot fléchi avec certains suffixes casuels. Dans les deux cas, les allomorphes sont notés +X dans les dictionnaires spécifiques de Dialex. La distribution de ces allomorphes est prise en compte par les règles de suffixation. Le mot au translatif de l'exemple (3) ystäväkseen "son ami" présente un allomorphe de la désinence possessive de troisième personne -Vn et une forme allomorphique de ystäväksi "ami" au translatif (ystäväkse-). La désinence possessive et sa base allomorphique sont toutes les deux marquées +X dans les dictionnaires. L'axiome (11) et la règle de suffixation (12) autorise cette concaténation :
(11) axiome : N+SG+TRANS+POSS3 (12) règle : N+SG+TRANS+POSS3->N+SG+TRANS+X*POSS3+X Cette analyse produit une ligne de dictionnaire dans laquelle les marques d'allomorphie sont supprimées :
ligne du dictionnaire de sortie : ystäväkseen,ystävä.N+SG+TRANS+POSS3 lignes des dictionnaires utilisés : ystäväkse,.N+SG+TRANS+X DELFIN_allomorfit en,.POSS3+X DELFIN_liitteet -
Dictionnaires spécifiquesOutre les dictionnaires de mots fléchis Delfin, Dialex utilise trois dictionnaires spécifiques :
- DELFIN_liitteet.dic : dictionnaire des clitiques
- DELFIN_YSMO.dic : dictionnaire des allomorphes du premier terme des mots composés
- DELFIN_allomorfit : dictionnaire des bases allomorphiques des noms et des verbes.
Dictionnaire des clitiques
Le dictionnaire des clitiques contient les désinences possessives avec tous les allomorphes de la troisième personne (+X), ainsi que les trois paradigmes des particules clitiques (PCL1, PCL2 et PCL3). Certaines combinaisons courantes de particules sont traitées comme de simples suffixes avec cependant une description morphologique qui explicite la concaténation des clitiques (ex : -pas.,+PCL2+PCL3).DELFIN_liiteet ni,.POSS1SG
si,.POSS2SG
mme,.POSS1PL
nne,.POSS2PL
nsä,.POSS3
nsa,.POSS3
in,.POSS3+X
en,.POSS3+X
ön,.POSS3+X
on,.POSS3+X
än,.POSS3+X
an,.POSS3+X
kin,.PCL1
kaan,.PCL1
kään,.PCL1
han,.PCL3
hän,.PCL3
ko,.PCL2
kö,.PCL2
pa,.PCL2
pä,.PCL2
kos,.PCL2+PCL3
kös,.PCL2+PCL3
pas,.PCL2+PCL3
päs,.PCL2+PCL3
Les trois paradigmes de particules clitiques :
particules clitiques PCL1 PCL2 PCL2 -kin
-kaan
-kään-ko
-kö
-pa
-pä-han
-hän
-sLes différentes combinaisons de clitiques sont représentées ici par un graphe :
Graphe des particules clitiques Dictionnaire des allomorphes de mots composésLe premier terme d'un mot composé peut être une forme de mot particulière, utilisée uniquement dans les mots composés, ou un thème consonantique ou vocalique d'un mot indépendant. Tous ces allomorphes sont regroupées dans le dictionnaire DELFIN_YSMO (YSMO = YhdysSanan MääriteOsa "partie attribut du mot composé").DELFIN_YSMO (extrait) ...
aakkos,.YSMO
apulais,.YSMO
irto,.YSMO
neli,.YSMO
oiko,.YSMO
pien,.YSMO
pipar,.YSMO
seka,.YSMO
taka,.YSMO
tele,.YSMO
ulko,.YSMO
ylä,.YSMO
ääntämis,.YSMO
...
Dictionnaire des allomorphes des bases nominalesLe dictionnaire des allomorphes des bases nominales contient les formes fléchies des noms et f lorsqu'elles sont suivies d'une désinence possessive. Sont concernés par cette allomorphie les mots au translatif (modification de la voyelle thématique), l'illatif, le comitatif et le génitif (chute de la consonne finale), ainsi que le nominatif pour lequel l'adjonction d'une désinence possessive se fait sur le thème vocalique du mot au degré fort.DELFIN_allomorfit (extrait) ...
ystävä,ystävä.N+SG+NOM+X
ystävä,ystävä.N+PL+NOM+X
ystävä,ystävä.N+SG+GEN+X
ystävie,ystävä.N+PL+GEN+X
ystäväkse,ystävä.N+SG+TRANS+X
ystävikse,ystävä.N+PL+TRANS+X
ystävää,ystävä.N+SG+ILL+X
ystävihi,ystävä.N+PL+ILL+X
ystävine,ystävä.N+PL+COM+X
...
-
Fonctionnement de DialexL'application de Dialex présuppose des dictionnaires de mots fléchis au format Unitex, un fichier de règles de suffixation et de composition et un alphabet (liste des caractères de la langue). Le programme prend en entrée la liste de mots telle qu'elle est fournie par le prétraitement d'un texte par Unitex (fichier tokens.txt du répertoire de travail du texte) et produit en sortie un dictionnaire des mots simples fléchis (fichier dlf), un dictionnaire des mots complexes fléchis (fichier dlf) et un fichier de mots non reconnus (fichier err).
-
Programme annexeLe programme Diag permet de visualiser les différents chemins explorés lors de l'analyse d'un mot complexe avec le programme Dialex. Les analyses sont . Les représentations sont disponibles sur la console et dans un fichier postscript ou pdf généré par le programme Dot inclus le paquet de Graphviz (disponible pour Linux, Mac et Windows).
Représentation en arbre de l'analyse des mots complexes précédents :
Ces captures d'écran de la console ne montrent que l'analyse validée par les règles de composition et de suffixation des clitiques. Les analyses rejetées - marquées ERR - correspondent à un découpage possible du mot complexe en mots simples présents dans les dictionnaires mais dont la structure n'est pas validée par les règles précédentes. Les captures d'écran de tous les chemins explorés par Dialex sont visibles à partir du lien sur les exemples précédents : ystäväkseen (2 analyses possibles) suhteellisuusteoriassa (2 analyses possibles) et rautatieasemallako (16 analyses possibles).tuletko 
unissanikin 
ystäväkseen 
suhteellisuusteoriassa 
rautatieasemallako 
valokuvaajineenkin 
-
XML et JavascriptLe programme Dialex a été appliqué sur la liste des mots du texte de la déclaration universelle des droits de l'homme (Ihmisoikeuksien yleismaailmallinen julistus).
Dans ce texte, chaque mot est associé à une bulle javascript qui donne 1) le lemme du mot, 2) sa catégorie et 3) la liste des morphèmes flexionnels. Le texte d'origine est au format XML et une feuille de transformation XLS convertie le document XML en une page XHTML. Les balises de mot du document XML qui contiennent les informations du dictionnaire sous forme d'attributs ont été converties par la feuille de transformation en des liens Javascript. Les étapes du traitement ont été les suivantes :- Extraction des mots du texte
- Application de Dialex avec les dictionnaires Delphin sur la liste de mots
- Application du dictionnaire sur le document XML pour obtenir un document XML annoté
- Conversion du document XML en une page XHTML avec info-bulles Javascript
-
Alexandria et le finnois
-
LinguaStream
- Linux : système d'exploitation avec langage de script Bash
- MySQL : base de données relationnelle
- Sed : éditeur de flux
- Perl : langage de programmation interprété
- Python : langage de programmation interprété
- C : langage de programmation compilé
- Unitex : flexion des mots
- Jedit : éditeur de texte Unicode
- Soikko : Correcteur orthographique de finnois sous licence propriétaire (Sun Microsystems)
- Voikko : Correcteur orthographique de finnois sous licence libre
- Tmispell : Utilisation de Soikko et Voikko en ligne de commande avec Ispell
- XML (Extensible Markup Language) : annotation de textes au moyen de balises
- XSL (eXtensible Stylesheet Language) : langage de description de feuilles de style pour la conversion XML-XHTML
- XHTML (eXtensible HyperText Markup Language) : langage de balisage des pages web
- xsltproc : programme en ligne de commande pour l'application de feuille de style XSL
- Poster présentant les différentes étapes de la fabrication des dictionnaires DELFIN : Delfin_poster.pdf
- Présentation du processus d'harmonie vocalique du finnois à partir de la suffixation d'un morphème de cas locatif : finnois_HV.pdf
- Description de la conjugaison du finnois : phonologie des formes verbales, négation et suffixes flexionnels. 6 modèles complets de conjugaison : sanoa, juoda, tulla, avata, valita, paeta : finnois_verbes.pdf
- Diaporama présentant le projet DELFIN et DIALEX : Delfin_diaporama.pdf
- Holman, Eugene, 1984, Handbook of Finnsih Verbs, Suomalaisen Kirjallisuuden Toimituksia 408, SKS, Vaasa.
- Jäppinen, Harri and Ylilammi, Matti, 1986, "Associative Model of Morphological Analysis :An Empirical Inquiry" Computational Linguistics, Volume 12, n° 4, 257-269.
- Karlsson, Fred, 1979, "Automatic Morphological Segmentation of Finnsih Word Forms", Papers from the Conference on General Linguistics, Seili, Publications of the Linguistic Association of Finland, Turku, 77-90.
- Karlsson, Fred, 1982a, Suomen kielen äänne- ja muotorakenne, WSOY, Helsinki.
- Karlsson, Fred, 1982b, Suomen peruskielioppi, SKS, Piekäsämki.
- Koskenniemi, Kimmo, 1979, "On Automatic Lemmatisation of Finnish" Papers from the Conference on General Linguistics, Seili, Publications of the Linguistic Association of Finland, Turku, 77-90.
- Laaksonen, Kaino & Lieko, Anneli, 1988, Kielen äänne- ja muoto-oppi, Oy Finn Lectura Ab, Helsinki.
- Maurel, Denis and Guenthner, Franz, 2005, Automata and Dictionaries Texts in Computing Science, Volume 6, King’s College Publications, London.
- Pentillä, Aarni, 1957, Suomen Kielioppi, Werner Södertröm Osakeyhtiö, Porvoo, Helsinki.
- Remes, Hannu. 1985, Suomen kielen fonologian ja taivutusmorfologian perusteet, Joensuun yliopisto.
- Renault, Richard. 1985, Suomen kielen fonologian ja taivutusmorfologian perusteet, in Bottineau, Didier (ed), Les agglutinations dans la morphologie et dans les langues, Approche typologique et contrastive et théorisation, LINX 58, à paraître.
- Tuomi,Tuomo (ed.), 1972, Suomen kielen käänteissanakirja, SKS, Hämeenlinna.
