ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
Détection faiblement supervisée de tableaux par boîtes englobantes - Par : Arash Samari, Mohamed Cheriet, Andrew Piper, Alison Hedley,

Détection faiblement supervisée de tableaux par boîtes englobantes


Arash Samari
Arash Samari est étudiant à la maîtrise à l’ÉTS.

Mohamed Cheriet
Mohamed Cheriet Profil de l'auteur(e)
Mohamed Cheriet est professeur au Département de génie des systèmes de l’ÉTS et directeur de Synchromedia. Ses recherches portent sur l’éco-infonuagique, les systèmes d’acquisition de connaissances et d’intelligence artificielle.

Andrew Piper
Andrew Piper est professeur à l’Université McGill.

Alison Hedley
Alison Hedley est adjointe aux opérations chez Antimodular Research.

Tableau dans un manuscrit ancien

Achetée sur Istockphoto.com. Droits d’auteur

Les tableaux de manuscrits anciens : une mine d’informations

Les documents historiques contiennent des informations historiques de plusieurs domaines de recherche. La rareté de ces documents, s’ils subissent des dommages, expose les informations qu’ils contiennent à une perte irrémédiable. Pour préserver et récupérer certaines des parties les plus importantes de la vaste quantité d’informations contenue dans ces documents, nous nous sommes penchés sur la détection des pages qui contiennent des tableaux.

Ces éléments graphiques sont très utiles aux scientifiques pour acquérir des informations essentielles sous forme abstraite. Cette tâche est classée dans le domaine de la détection d’objets, lequel a récemment connu des progrès avec l’avènement des algorithmes d’apprentissage profond. L’un de ces algorithmes est le Faster RCNN [1] que nous avons combiné avec un filtre de prétraitement Gabor [2], l’extraction faiblement supervisée par boîtes englobantes [3] et un pseudo-étiquetage pour relever les défis suivants :

  1. haute généralisation de la détection d’images de tableaux parmi 32 millions de données d’images;
  2. détection de tableaux de structures variées (figure 1);
  3. données étiquetées insuffisantes pour la phase d’entraînement des algorithmes d’apprentissage profond.
Tableaux dans des manuscrits anciens

Figure 1. Exemples de tables dans des documents historiques

Le filtre de Gabor

Dans la première étape de la conception de notre système, nous avons appliqué le filtre de Gabor pour :

  1. rendre le jeu de données plus compatible avec l’architecture Faster-RCNN;
  2. obtenir une meilleure discrimination entre l’objet cible (tableau) et les autres parties de l’image en exagérant l’écart ou le fond blanc entre le texte et les tableaux;
  3. supprimer le bruit visuel, comme les taches d’encre.

La figure 2 montre l’image prétraitée avec le filtre de Gabor.

Image après application du filtre de Gabor

Figure 2. Image traitée avec le filtre de Gabor

Termes et définitions

Dans cette recherche, nous avons utilisé deux sources de documents historiques numérisés :

  • ECCO : Eighteenth-Century Collections Online (ECCO) est une énorme collection de documents historiques comptant plus de 32 millions de pages. Selon la chronologie des données collectées, ECCO est divisée en ECCO1 et ECCO2.
  • NAS : Cet ensemble de données contient environ 0,5 million d’images de documents numérisés provenant d’une période plus longue qu’ECCO (1666 à 1916).

Pour cette tâche de détection binaire, nous avons défini deux étiquettes :

  • Tableau : présentation de données importantes sous forme de texte ou de chiffres en lignes et colonnes résumant l’information de manière compacte.
  • Non-tableau : toutes les images de documents numérisés sans tableau, comme diagrammes, illustrations, cartes et images sur une page blanche ou une page avec texte (figure 3).
Non-tableau dans des documents anciens

Figure 3. Exemples de non-tableau dans des documents historiques

Faster-RCNN

L’algorithme Faster-RCNN a servi de module principal de détection d’objets dans notre recherche en raison de ses caractéristiques et de nos ensembles de données. En effet, il a permis :

  1. une meilleure performance sur les images à faible résolution;
  2. une détection d’objets de grande et de petite taille;
  3. un meilleur équilibre entre vitesse et précision.

Extraction faiblement supervisée de boîtes englobantes

Pour être performant, un modèle Faster-RCNN doit être entraîné avec des données correctement étiquetées, les objets entourés de boîtes englobantes. Mais l’étiquetage manuel des données et l’extraction des boîtes englobantes sont des procédés coûteux. Pour résoudre ce problème, nous avons instauré dans nos recherches une technique d’extraction de boîtes englobantes faiblement supervisée (figure 4), une approche d’apprentissage automatique en spirale. Elle se compose des cinq phases suivantes :

Phase 1 : entraîner et biaiser le modèle de détection de tableaux;

Phase 2 : tester le modèle biaisé précédent sur les non-tableaux; sortie : des boîtes englobantes faibles pour les non-tableaux;

Phase 3 : entraîner avec deux étiquettes : tableaux avec boîtes englobantes précises et non-tableaux avec boîtes englobantes faibles;

Phase 4 : pseudo-étiquetage – test sur des données non étiquetées pour augmenter notre ensemble d’entraînement;

Phase 5 : entraîner – réentraîner  le modèle en ajoutant les données de l’étape précédente.

Architecture d’extraction de boîtes englobantes

Figure 4. Extraction de boîtes englobantes faiblement supervisée

Résultats

Nous avons comparé le modèle Faster-RCNN avec et sans l’extraction faiblement supervisée des boîtes englobantes en utilisant les sous-ensembles de données ECCO (mélange de ECCO1 et ECCO2) et NAS.

Table 1 Résultats du modèle Faster-RCNN avec et sans l’extraction de la boîte englobante

 

Table 2 Résultats du modèle Faster-RCNN avec et sans extraction faible de la boîte englobante sur le sous-ensemble de données NAS

Pour détecter toutes les images avec tableaux, nous avons appliqué notre modèle à trois ensembles de données différents, comprenant 32 millions d’images au total (figure 5).

Résultats de la méthode d’extraction des boîtes englobantes

Figure 5. Résultats de notre modèle

Conclusion

En tirant parti du filtre de Gabor et de l’extraction de boîtes englobantes faiblement supervisée, nous avons préparé de meilleures données d’entrée et suffisamment de boîtes englobantes autour des objets cibles pour la phase d’apprentissage, ce qui a permis d’obtenir des performances élevées à faible coût. Il s’agit également d’une méthodologie généralisée et robuste pour détecter des tableaux avec dispositions diverses parmi 32 millions d’images de documents historiques numérisés.

Le coût élevé de l’extraction des boîtes englobantes et la fiabilité des performances sur des ensembles de données non équilibrés sont deux défis communs à la plupart des tâches d’apprentissage automatique, ce que nous avons résolu par une approche d’apprentissage en spirale avec la technique d’extraction de boîtes englobantes faiblement supervisée.

Complément d’information

Pour plus d’informations sur cette recherche, veuillez lire l’article suivant :

Samari, A., Piper, A., Hedley, A., Cheriet, M. (2021). Weakly Supervised Bounding Box Extraction for Unlabeled Data in Table Detection. In: , et al. Pattern Recognition. ICPR International Workshops and Challenges. ICPR 2021. Lecture Notes in Computer Science(), vol 12667. Springer, Cham. https://doi.org/10.1007/978-3-030-68787-8_25

Arash Samari

Profil de l'auteur(e)

Arash Samari est étudiant à la maîtrise à l’ÉTS.

Programme : Génie de la production automatisée 

Laboratoires de recherche : SYNCHROMÉDIA – Laboratoire de communications multimédias en téléprésence 

Profil de l'auteur(e)

Mohamed Cheriet

Profil de l'auteur(e)

Mohamed Cheriet est professeur au Département de génie des systèmes de l’ÉTS et directeur de Synchromedia. Ses recherches portent sur l’éco-infonuagique, les systèmes d’acquisition de connaissances et d’intelligence artificielle.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche du Canada sur la durabilité écologique d'Eco-Cloud 

Laboratoires de recherche : SYNCHROMÉDIA – Laboratoire de communications multimédias en téléprésence  CIRODD- Centre interdisciplinaire de recherche en opérationnalisation du développement durable 

Profil de l'auteur(e)

Andrew Piper

Profil de l'auteur(e)

Andrew Piper est professeur à l’Université McGill.

Profil de l'auteur(e)

Alison Hedley

Profil de l'auteur(e)

Alison Hedley est adjointe aux opérations chez Antimodular Research.

Profil de l'auteur(e)


Recevez les dernières actualités scientifiques de l'ÉTS