Lien vers le rapport complet / Link to the full report:
D. Stutzmann, Projet ANR-12-CORP-0010 Oriflamms: Compte-rendu de fin de projet, octobre 2016, 31 p. [en ligne] http://oriflamms.hypotheses.org/files/2017/04/Oriflamms-Compte-rendu-final.pdf

English version below

 

L’écriture du Moyen Âge : un objet sous le regard croisé des Humanités et des Sciences de l’ingénieur

 Comprendre les écritures dans une approche transdisciplinaire

Le projet ORIFLAMMS (Ontology Research, Image Features, Letterform Analysis on Multilingual Medieval Scripts) a rassemblé trois laboratoires SHS, trois laboratoires STIC et une société industrielle pour étudier les écritures du Moyen Âge et le multilinguisme médiéval dans une approche interdisciplinaire et novatrice.

À la rencontre d’enjeux épistémologiques, scientifiques, technologiques, industriels et sociétaux, ORIFLAMMS analyse l’évolution des systèmes et formes graphiques des écritures d’un temps long (le Moyen Âge) selon leur contexte de production (écritures usuelles, diplomatiques ou livresques) et leur langue (latin ou vernaculaire). Il établit un Corpus de référence, une ontologie des formes et une analyse des structures graphiques des écritures pour passer d’une approche linéaire (textuelle) à une approche visuelle pour répondre aux interrogations des linguistes, historiens des écritures (paléographes, diplomatistes et épigraphistes) et chercheurs industriels en reconnaissance des formes. Il développe à cette fin des outils d’analyse d’image innovants et open source pour l’analyse graphique et l’analyse textuelle.

Il doit permettre aux historiens et linguistes de comprendre les évolutions de l’écriture dans l’environnement multilingue du Moyen Âge ; offrir à l’industrie des technologies nouvelles pour l’analyse des écritures manuscrites et leur utilisation dans un contexte numérique. À l’avenir, il pourra aussi enrichir l’approche des processus scripturaux des anthropologues, pédagogues et neurocognitivistes.

Élaboration de corpus, intelligence artificielle, vision par ordinateur et expertise humaine

L’étude des écritures du Moyen Âge selon leurs différents contextes et langues s’est fondée sur une association étroite entre les différents acteurs.

Un premier volet consistait en l’élaboration d’un Corpus de référence qui dépasse en taille et en diversité, tous ceux utilisés jusqu’à présent et qui couvre diverses situations d’écritures au Moyen Âge : plus de 250 inscriptions en latin et en français, de 100 chartes et documents, près de 200 pages de livres latins, 130 pages d’un manuscrit français (Queste del saint Graal), et 400 pages de registres de chancellerie.

Un deuxième volet consistait à développer des outils pour « aligner », c’est-à-dire associer de façon fine le texte et l’image, afin de permettre une étude conjointe du texte et de l’image du texte avec ses phénomènes graphiques (abréviations, jeux de lettres, présence de majuscules ou de ponctuation). Pour ce faire, deux méthodes ont été mises en œuvre. La première méthode proposait une analyse de l’image sans apprentissage préalable (« learning free ») en reposant sur un code d’analyse des caractères écrits ; elle a été intégrée dans un logiciel open source publié par le consortium du projet. La deuxième méthode se fonde sur de l’intelligence artificielle. Dans cette deuxième méthode, on dit à la machine quelles sont les pages et quel est le texte et elle apprend, toute seule ou presque, comment lire et associer les différents pixels à des lettres.

Enfin, le troisième volet comprenait la validation et l’analyse des résultats des machines par les « humains », à la fois pour identifier les forces et faiblesses des logiciels utilisés et pour alimenter l’expertise historique.

Résultats majeurs

Les résultats obtenus se répartissent en six catégories : (1°) Corpus de référence ; (2°) Définition du format ; (3°) Livrables logiciels ; (4°) Alignements texte-image ; (5°) Analyse paléographique (SHS/STIC) ; (6°) Réflexion sur l’interdisciplinarité.

Le Corpus de référence dépasse en taille et en diversité les données utilisées jusqu’ici et a été publié dans un format interopérable qui pourra être utilisé à l’avenir par des chercheurs de tous horizons (https://github.com/oriflamms). Les partenaires ont amélioré des logiciels qui existaient déjà, mais ils ont aussi publié un logiciel open source (https://github.com/Liris-Pleiad/oriflamms) qui pourra être intégré par des grandes bibliothèques numériques. Les alignements texte-image réalisés par l’intelligence artificielle sont les meilleurs actuellement publiés et permettront à d’autres chercheurs d’entraîner leurs machines pour aller plus rapidement vers une lecture assistée par ordinateur. Au cours de ce projet, ces alignements ont déjà permis de grandes avancées dans l’analyse des différentes formes de lettres au cours du temps, tout en enrichissant la réflexion sur la recherche transdisciplinaire, tant à l’intérieur du consortium du projet que lors de l’organisation de séminaires internationaux, qui ont mis à jour, de façon nouvelle, des éléments cruciaux, tels qu’une correcte identification des partenaires, de leurs rôles, de leur degré d’expertise, et des processus de construction de la confiance.

Production scientifique

Le projet ORIFLAMMS a développé une production scientifique dans les différents champs où il était actif. Dans le champ épigraphique et paléographique, les principes mêmes du projet ont fait l’objet de publications, mettant dans une perspective nouvelle le phénomène de « canonisation » de l’écriture et l’importance de la variabilité comme critère d’analyse de l’histoire de l’écriture. L’étude de l’espace entre les mots a permis des recherches multi-auteurs à la croisée entre linguistique et paléographie. En analyse d’images, plusieurs articles ont montré les avancées faites pour l’alignement texte-image tant sans apprentissage qu’avec intelligence artificielle. Enfin des publications ont porté sur le travail transdisciplinaire et ses fruits pour les communautés concernées.

Illustration

Informations factuelles

Le projet Oriflamms est un projet de recherche fondamentale, lié à un développement expérimental, coordonné par l’Institut de Recherche et d’Histoire des Textes (CNRS, UPR 841). Il associe aussi une entreprise industrielle A2iA, ainsi que des laboratoires en Sciences humaines (ICAR, CESCM, Centre Jean Mabillon) et en Sciences de l’Ingénieur (LIPADE, LIRIS). Le projet a commencé en février 2013 et a duré 42 mois. Il a bénéficié d’une aide ANR de 241 000 € pour un coût global de l’ordre de 750 000 €.

 

English consolidated abstract

Lien vers le rapport complet / Link to the full report:
D. Stutzmann, Projet ANR-12-CORP-0010 Oriflamms: Compte-rendu de fin de projet, octobre 2016, 31 p. [en ligne] http://oriflamms.hypotheses.org/files/2017/04/Oriflamms-Compte-rendu-final.pdf

Medieval scripts: a Research field for the Humanities and Computer Science

Understanding medieval scripts in a cross-disciplinary approach

The ORIFLAMMS (Ontology Research, Image Features, Letterform Analysis on Multilingual Medieval Scripts) research project gathered three research teams in the Humanities, three labs in Computer Science as well as a private company to analyze the medieval scripts and the medieval multilingualism.

ORIFLAMMS addresses a broad range of issues, ranging from epistemology and science to technology, industry and society, through the analysis of writing systems, their evolution in the long period of the Middle Ages, and their variation according to the production context (daily-life writings, diplomatic and book scripts) and language. It also establishes a Reference corpus, a formal ontology of character forms, and a new way of analyzing graphic structures of scripts in order to move from a linear-textual approach to a visual one. This will, in turn, allow new research results for linguists, historians and industry researchers in computer vision. The large scope of this project give new clues to understand the evolution of scripts in a multilingual environment and to develop technologies to analyze handwritten texts. The deliverables can also be used by anthropologists, pedagogy and neuroscience researchers to enhance their understandings of scriptural processes.

Corpus, artificial intelligence, computer vision and human expertise.

The research on medieval scripts and their variation according to context and language required a profound collaboration between the different partners.

Firstly, they established a Reference corpus, which is larger and more diverse than the actual standard ones. It represents the different writing situations in the Middle Age: more than 250 French and Latin inscriptions; 100 charters and documents; ca. 200 pages of Latin manuscripts; 130 pages of the French Queste del saint Graal and 400 pages of Chancery registers.

Secondly, they developed new tools to perform the “text-image alignment”, i.e. associate the text and its coordinates on an image at a fine level of granularity so as to allow a joint analysis of the text and its graphical appearance (abbreviations, interlaced letters, capitalization, punctuation). Two different methods were implemented. The first one consists in the coding of written characters and a learning-free image analysis; it is implemented in the open source software that the project consortium published. The second one is based on artificial intelligence and machine learning: given the page images and the text, the machine learns how to read and associate the pixels to letters.

Thirdly, the human experts validated and analyzed the results provided by automated processes, in order to measure the accuracy of machines and nourish the historical study.

Main outputs

The Oriflamms project produced six sorts of outputs: (1) Reference corpus; (2) Format specification; (3) Software; (4) Text-image alignments; (5) Palaeographical analysis (Humanities/Computer Science); (6) Cross-disciplinary methodology.

The Reference corpus outmatches the actual standard corpuses by its size and its diversity. It is published under an interoperable format (https://github.com/oriflamms). The involved teams enhanced already existing software, but also published an open source software (https://github.com/Liris-Pleiad/oriflamms), which larger digital libraries may now integrate in their infrastructure. The alignments provided by the artificial intelligence mechanisms are the best ones actually published and provide the ground-truth to train new machines and progress towards handwritten text recognition for medieval scripts. During this research project, the alignments already allowed for new insights in the analysis of letter shapes and their evolution. At the same time, the different teams reflected on their experiences of cross-disciplinary works and organized international seminars which identified crucial factors for a successful partnership (identifying and defining the roles of partners, assessing their expertise, trust building mechanisms).

 

Scientific outputs

The researchers involved in the ORIFLAMMS project produced scientific outputs in all fields covered by the research project. In epigraphy and palaeography, the core principles of the research were explained by several publications to put in a new perspective the “canonization” process and the variability of script as a major factor to analyze the history of scripts. The study of word spacing was performed and published in multi-authors articles at the crossroads of linguistics and palaeography. In Image analysis, several papers have demonstrated the new advances in text-image alignment (learning free as well as with artificial intelligence). Several research papers give our conclusions on the methodology of cross-disciplinary research and its outcomes in the respective communities.

Facts and figures

The research project Oriflamms is a fundamental research, linked to an experimental software development. It is led by the Institut de Recherche et d’Histoire des Textes (CNRS, UPR 841). It gathers a industrial company A2iA as well as public research labs in the Humanities (ICAR, CESCM, Centre Jean Mabillon) and in Computer science (LIPADE, LIRIS). The project started in February 2013 for a 42-months duration. It received a 241 000 € funding from the ANR, for a global cost of around 750 000 €.

---

---