Clustering et apprentissage profond pour la transcription assistée par ordinateur des documents manuscrits

Abstract

La reconnaissance automatique ou semi-automatique de l'écriture manuscrite offre des outils de grande importance pour les sociétés qui souhaitent augmenter leur productivité en numérisant facilement leurs documents manuscrits de tout type (administratifs, manuscrits anciens, chèques, adresses postales, ordonnances, etc.), selon un cadre applicatif varié. Actuellement, l'intelligence artificielle rend cette technologie encore meilleure, rapide et efficace, permettant de réduire les coûts et les délais de lecture optique, de transcription, d'interprétation, de catégorisation et de traitement des documents contenant du texte manuscrit. A l'inverse de l'écriture latine, la nature complexe de l'écriture arabe présente encore des grands challenges et difficultés devant le peu de logiciels OCR existants et qui sont limités à des vocabulaires restreints. L'écriture arabe est ligaturée avec des caractères qui sont souvent collés les uns aux autres et des styles très variables. Dans ce cadre, le projet de cette thèse représente une nouvelle contribution au développement de solutions alternatives aux OCR pour une transcription automatique plus adaptées aux documents manuscrits arabes. Les quatre contributions développées dans ce travail de thèse sont basées sur deux types de méthodes : apprentissage automatique et apprentissage profond. La première contribution est fondée sur le développement de plusieurs approches d'apprentissage automatique en utilisant deux classifieurs conventionnels MLP et SVM (non linéaire) avec une sélection optimale et combinaison de plusieurs caractéristiques discriminantes. La seconde contribution est basée sur l'usage de l'apprentissage profond par transferts selon différents niveaux de fine tuning. A ce niveau, une architecture CNN originale et simplifiée a été proposée et plusieurs modèles existants (CNN : MobileNet, DenseNet121, EfficientNet, InceptionV3, ResNet50 et VGG16 ou ViT : convnext-tiny-224) ont été développés, testés et comparés. La troisième contribution est basée la combinaison d'un modèle CNN et un classifieur automatique. Dans ce cadre, différentes combinaisons ont été testées entre les différents modèles CNN et les classifieurs (SVM, KNN et RF). La dernière contribution est destinée au développement d'un système de transcription de texte manuscrit arabe assistée par ordinateur en utilisant le clustering et la recherche des parties de mots arabes (PAW) dans un corpus d'images de documents scannés. A ce stade, deux approches sont développées et testées en utilisant les modèles CNN et les réseaux Siamois et un nouveau dataset des PAW est créée. Les expériences et les comparaisons faites sur différents datasets montrent la pertinence des approches développées et leur supériorité par rapport à la littérature