ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
Une méthode simple de segmentation faiblement supervisée - Par : Hoel Kervadec, Jose Dolz, Meng Tang, Éric Granger, Yuri Boykov, Ismail Ben Ayed,

Une méthode simple de segmentation faiblement supervisée


Hoel Kervadec
Hoel Kervadec, étudiant au doctorat à l’ÉTS, travaille au développement de méthodes plus efficaces en segmentation sémantique d’images.

Jose Dolz
Jose Dolz est professeur au Département LOGTI de l’ÉTS. Ses recherches portent sur les méthodes d’apprentissage partiellement et faiblement supervisées, la vision par ordinateur et le traitement d’images médicales.

Meng Tang
Meng Tang est chercheur au Facebook Reality Lab. Ses principaux intérêts de recherche sont la vision par ordinateur et l’optimisation

Éric Granger
Éric Granger est professeur au Département de génie des systèmes de l’ÉTS. Ses recherches portent sur l’apprentissage machine, la reconnaissance de formes, la vision par ordinateur, et les systèmes adaptatifs et intelligents.

Yuri Boykov
Yuri Boykov est professeur à l’université de Waterloo. Ses travaux de recherche portent sur la vision par ordinateur et l’analyse d’images biomédicales

Ismail Ben Ayed
Ismail Ben Ayed Profil de l'auteur(e)
Ismail Ben Ayed est professeur au Département de génie des systèmes de l’ÉTS. Son travail se concentre sur la conception d’algorithmes efficaces pour le traitement, l’analyse et l’interprétation des images médicales.

Imagerie d’un cerveau

Achetée sur Istock.com. Droits d’auteur.

Segmentation sémantique d’images

La segmentation sémantique d’images, qui consiste à dessiner les contours d’un objet dans une image, est un sujet de recherche intense et très utile à l’imagerie médicale. Non seulement aide-t-elle à lire et à comprendre les tomographies, mais elle sert également au diagnostic, à la planification d’opérations et au suivi de nombreuses maladies; elle représente un potentiel énorme en médecine personnalisée.

Segmentation de parties du cerveau

Ces dernières années, les réseaux neuronaux convolutifs profonds (CNN) ont dominé dans le domaine de la segmentation sémantique, tant en vision par ordinateur qu’en imagerie médicale; ils réalisent des performances révolutionnaires, mais au prix d’énormes quantités de données annotées. Un ensemble de données est un groupe d’exemples, chacun contenant à la fois une image et sa segmentation correspondante (c’est-à-dire la vérité terrain), comme le montre la figure 1. Grâce à des méthodes d’optimisation comme l’algorithme du gradient stochastique, le réseau est entraîné jusqu’à ce que ses données de sortie correspondent le plus possible à la vérité terrain. Une fois le réseau entraîné, il peut servir à prédire la segmentation sur de nouvelles images inédites.

Étiqueter les données est coûteux

Dans le domaine médical, seuls les médecins formés peuvent annoter en toute confiance les images pour la segmentation, un processus très coûteux. En outre, la complexité et la taille des images peuvent ralentir l’annotation, nécessitant plusieurs jours pour les scans cérébraux complexes. Il s’avère donc nécessaire de trouver des méthodes plus efficace.

Un axe de recherche attrayant consiste à faire des annotations incomplètes, ou faibles, au lieu d’annotations complètes de pixels. Dessiner un point unique à l’intérieur d’un objet est infiniment plus rapide et plus simple que d’en dessiner le contour exact. Mais il n’est pas possible d’utiliser ces annotations directement pour former un réseau de neurones, car le réseau n’a pas assez d’information pour trouver une solution optimale, voire satisfaisante.

Différences entre annotations complètes et partielles

Figure 1 : Exemples d’annotations : complètes et faibles. En rouge, les pixels étiquetés arrière-plan, et en vert les pixels étiquetés avant-plan : ce qui doit être segmenté. L’absence de couleur (dans les annotations faibles) signifie qu’aucune information n’est disponible sur ces pixels pour l’apprentissage.

Notre contribution : forcer le système à considérer la taille en appliquant des pénalités

Néanmoins, il existe d’autres informations, mais elles ne figurent pas sous forme d’annotations directes. Par exemple, nous connaissons les propriétés anatomiques des organes que nous voulons segmenter, comme la taille approximative :

Dimension min et max d’un cœur

Figure 2 : En connaissant la taille approximative, nous pouvons guider le réseau vers des solutions anatomiquement réalisables

Nous pouvons donc corriger le processus d’entraînement, en forçant le réseau non seulement à prédire correctement les quelques pixels étiquetés, mais aussi à s’assurer que la taille de la segmentation prédite figure parmi les solutions anatomiquement plausibles connues au préalable. Il s’agit d’un problème d’optimisation sous contraintes, un domaine bien étudié en général (par les méthodes lagrangiennes), mais rarement appliqué aux réseaux de neurones. Le grand nombre de paramètres du réseau et des ensembles de données, et la nécessité d’alterner entre différents modes d’entraînement rendent cette solution impraticable.

Notre principale contribution a été d’inclure ces contraintes à l’étape de l’entraînement en appliquant tout simplement une pénalité directe. Ainsi, le réseau est pénalisé chaque fois que la taille de la segmentation prévue est hors limites (plus l’erreur est grande, plus la pénalité est importante), et ne l’est pas quand les limites sont respectées.

Résultats et conclusion

Étonnamment, et bien que contraire à tout manuel sur l’optimisation sous contraintes, notre simple pénalité pour apprentissage profond s’est avérée beaucoup plus efficace, rapide et stable que les méthodes lagrangiennes plus complexes. Tenir compte des informations sur la taille pendant l’entraînement, soit essentiellement ajouter un seul paramètre, nous a permis de presque combler l’écart entre supervision complète et supervision faible dans la segmentation du ventricule gauche, en annotant seulement 0,01 % des pixels.

Segmentation résultant de notre méthode de segmentation semi-supervisée

Figure 3 : Comparaison visuelle des résultats. Dans l’ordre habituel : étiquette, apprentissage avec annotations complètes, apprentissage avec simples annotations partielles, notre méthode.

Informations supplémentaires

Voir l’article complet pour des détails plus techniques décrivant les différents paramètres de plusieurs ensembles de données : Kervadec, H. ; Dolz, J. ; Tang M. ; Granger, E. Boykov, Y.; Ben Ayed I. 2019. « Constrained-CNN losses for weakly supervised segmentation » Medical Image Analysis. Volume 54. pp. 88-99.

Le code, en ligne, est libre d’utilisation et de modifications : https://github.com/liviaets/sizeloss_wss.

Hoel Kervadec

Profil de l'auteur(e)

Hoel Kervadec, étudiant au doctorat à l’ÉTS, travaille au développement de méthodes plus efficaces en segmentation sémantique d’images.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche ÉTS sur l’intelligence artificielle en imagerie médicale 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)

Jose Dolz

Profil de l'auteur(e)

Jose Dolz est professeur au Département LOGTI de l’ÉTS. Ses recherches portent sur les méthodes d’apprentissage partiellement et faiblement supervisées, la vision par ordinateur et le traitement d’images médicales.

Programme : Génie des technologies de l'information  Génie logiciel 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)

Meng Tang

Profil de l'auteur(e)

Meng Tang est chercheur au Facebook Reality Lab. Ses principaux intérêts de recherche sont la vision par ordinateur et l’optimisation

Profil de l'auteur(e)

Éric Granger

Profil de l'auteur(e)

Éric Granger est professeur au Département de génie des systèmes de l’ÉTS. Ses recherches portent sur l’apprentissage machine, la reconnaissance de formes, la vision par ordinateur, et les systèmes adaptatifs et intelligents.

Programme : Génie de la production automatisée 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle  LiNCS – Laboratoire en ingénierie cognitive et sémantique 

Profil de l'auteur(e)

Yuri Boykov

Profil de l'auteur(e)

Yuri Boykov est professeur à l’université de Waterloo. Ses travaux de recherche portent sur la vision par ordinateur et l’analyse d’images biomédicales

Profil de l'auteur(e)

Ismail Ben Ayed

Profil de l'auteur(e)

Ismail Ben Ayed est professeur au Département de génie des systèmes de l’ÉTS. Son travail se concentre sur la conception d’algorithmes efficaces pour le traitement, l’analyse et l’interprétation des images médicales.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche ÉTS sur l’intelligence artificielle en imagerie médicale 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)


commentaires

    Laisser un commentaire

    Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *