ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
Assister les chirurgiens au moyen de l’intelligence artificielle - Par : Roseline Olory Agomma, Carlos Vázquez, Thierry Cresson, Jacques De Guise,

Assister les chirurgiens au moyen de l’intelligence artificielle


Le texte qui suit est l’un des articles finalistes du concours de résumés du SARA 2017. Il a remporté le troisième prix pour sa clarté et la qualité de la présentation du projet de recherche. Vous pouvez aussi consulter les autres textes soumis dans le cadre du concours du SARA.

Roseline Olory Agomma
Roseline Olory Agomma Profil de l'auteur(e)
Roseline Olory Agomma est étudiante au doctorat dans le Département de génie logiciel et des TI de l’ÉTS. Elle effectue son doctorat au sein du Laboratoire de recherche en imagerie et orthopédie (LIO)
Programme : Génie logiciel 

Carlos Vázquez
Carlos Vázquez Profil de l'auteur(e)
Carlos Vázquez est professeur au Département de génie logiciel et des TI de l’ÉTS. Ses recherches portent sur le traitement numérique des images et de la vidéo, l’imagerie stéréoscopique et multivue, les systèmes de TV3D, le codage vidéo multivues, la vision par ordinateur et la programmation GPGPU.

Thierry Cresson
Thierry Cresson Profil de l'auteur(e)
Thierry Cresson est associé de recherche au LIO de l’ÉTS.
Programme : Génie logiciel 

Jacques De Guise
Jacques De Guise Profil de l'auteur(e)
Jacques de Guise est professeur au Département de génie de la production automatisée à l’ÉTS et professeur associé au Département de chirurgie de la Faculté de médecine de l’Université de Montréal.

radiographies à interpréter par un radiologiste

L’image d’en-tête provient des auteurs. La licence CC de Sustance s’applique.

RÉSUMÉ:

L’identification d’informations sur les radiographies est une tâche incontournable pour établir un diagnostic et planifier le geste médical. Cette dernière, principalement réalisée manuellement par un clinicien, est répétitive, consommatrice de temps et peut conduire à des résultats d’une grande variabilité. L’objectif de ce travail est de développer une méthode entièrement automatique fondée sur les réseaux de neurones convolutionnels (CNN) pour estimer la région anatomique de 13 points caractéristiques du membre inférieur sur des radiographies frontales. Afin d’estimer ces régions anatomiques, nous avons, dans un premier temps, identifié automatiquement des points saillants sur une base de données composée de 180 radiographies frontales. Connaissant la position relative, par rapport aux points saillants, des 13 points préalablement numérisés manuellement par un expert, l’approche proposée consiste à faire apprendre à un CNN, le déplacement de chacun des points saillants vers chacun des 13 points caractéristiques. L’apprentissage terminé, il est possible de prédire et de combiner les déplacements de chacun des points saillants pour estimer la région probable dans laquelle se retrouvent les points caractéristiques. Les distances euclidiennes entre les 13 points prédits et ceux identifiés par un expert sont en moyenne de 29+/-18 mm, ce qui est acceptable pour identifier de manière fiable les régions anatomiques de chacun des points caractéristiques.

Des erreurs de diagnostic

L’identification d’informations cliniques (par exemple : le tibia, le centre de la tête fémorale, le fémur) sur les radiographies est une tâche incontournable en imagerie médicale pour établir le diagnostic et planifier le geste médical. Cette tâche est souvent effectuée manuellement par le radiologiste; elle est donc utilisateur-dépendant. Aussi le diagnostic et l’interprétation faits à partir de radiographies reposent principalement sur la perception visuelle du radiologiste et sur sa capacité à identifier les informations cliniques présentes [7], ce qui contribue aux erreurs de diagnostic vu le fort bruit observé généralement dans les radiographies et la capacité limitée de l’œil humain. Dans les régions où plusieurs structures osseuses sont recouvertes par des tissus mous, il est parfois difficile de bien visualiser les informations cliniques présentes.

De plus, le flux de données grandissant (beaucoup de radiographies pour peu de radiologistes) occasionne chez le radiologiste de la fatigue visuelle : il lui est plus difficile de réaliser son travail à temps (accroissement du délai d’attente pour l’interprétation des images) [6]. Ces facteurs entraînent notamment une baisse de la qualité du diagnostic, ce qui peut avoir des conséquences négatives pour le patient. Une étude faite par [7] a montré que 41 % à 80 % des fractures sont mal diagnostiquées en service d’urgence et que les blessures orthopédiques constituent à elles seules 75 % des diagnostics manqués. Afin de réduire les erreurs de diagnostic et d’interprétation de données ainsi que le délai d’attente, une solution serait d’automatiser les tâches manuelles et visuelles d’identification d’informations réalisées par le radiologiste, donc de mettre à sa disposition un outil d’aide pouvant l’assister dans son diagnostic.

Radiologiste en train d’examiner une radiographie du membre inférieur

Des méthodes imparfaites

Certains travaux [8], [9] se sont penchés sur l’apport d’une solution en développant des méthodes semi-automatiques, donc nécessitant toujours certaines tâches manuelles. Ces méthodes assistent le radiologiste dans ses tâches d’extraction d’informations cliniques et de diagnostic. Ce dernier n’a plus qu’à localiser grossièrement des points ou régions d’intérêt, et ces méthodes se chargent du reste du travail (exemple, l’identification de zones d’intérêts). Le problème avec ce type de méthode, c’est que le résultat final dépend généralement de la capacité du radiologiste à localiser des points ou régions d’intérêts [7], d’où la nécessité de développer des méthodes entièrement automatisées. D’autres travaux [2] et [3] ont été menés afin d’automatiser la tâche de localisation et d’identification de régions d’intérêts sur les images radiographiques avec des méthodes, telles que les forêts aléatoires, les contours déformables, etc. Cependant la détection automatique des points de repères et de régions caractéristiques permettant un bon diagnostic demeure encore problématique à cause de la qualité des images radiographiques (manque de contraste entre des objets se chevauchant [1], recouvrement de structures osseuses par des tissus mous).

L’objectif de ce travail est de développer une méthode entièrement automatique, fondée sur les réseaux de neurones convolutionnels (CNN), pour estimer la région anatomique dans laquelle se retrouvent certains points caractéristiques du membre inférieur sur une radiographie frontale.

Imagettes centrées sur des points saillants des membres inférieurs

Figure 1 Extraction d’imagettes

Méthode proposée

Afin d’estimer de façon automatique la région anatomique de treize points caractéristiques choisis (têtes fémorales, tibias proximaux, fémur distal, etc.), nous avons, dans un premier temps, identifié automatiquement des points saillants (avec la méthode de Irrera, P. (2015)) sur une base de données composée de 180 radiographies frontales (voir figure  1). Des imagettes de tailles 93 sur 93 mm centrés sur chaque point saillant sont ensuite extraites. Connaissant la position relative, par rapport aux points saillants, des treize points préalablement numérisés manuellement par un expert, l’approche proposée consiste à faire apprendre à un CNN, le déplacement du centre de chaque imagette vers chacun des treize points caractéristiques (voir figure 2).

Apprentissage des déplacements par le réseau de neurones convolutionnel

Figure 2 Phase d’apprentissage

L’apprentissage terminé, il est possible de prédire et de combiner les déplacements de chacun des points saillants (avec l’algorithme DBSCAN [4]) pour estimer la région probable dans laquelle se retrouvent les points caractéristiques dans une radiographie frontale (voir figure 3).

Afin d’évaluer la capacité de prédiction de la méthode proposée, nous avons fait une validation croisée sur 180 radiographies. Les distances euclidiennes entre les 13 points prédits et ceux identifiés par un expert sont en moyenne de 29+/-18 mm, ce qui est acceptable pour identifier de manière fiable les régions anatomiques de chacun des points caractéristiques.

résultats de la méthode d’identification automatique de zones d’intérêt sur les radiographies.

Figure 3 Agrégation des prédictions

Conclusion

Nous avons proposé une approche pour estimer automatiquement la région anatomique de treize points du membre inférieur sur des radiographies frontales. Cette solution pourra servir dans un futur proche à initialiser des approches semi-automatiques pour estimer des valeurs de paramètres cliniques ou pour la reconstruction 3D du membre inférieur. Ce travail est actuellement en train d’être étendu sur d’autres régions du corps ainsi que sur des radiographies latérales. L’idée est d’avoir un outil capable d’identifier des régions et points de repère anatomiques (exemple le centre de la tête fémorale, le centre de la diaphyse) sur des radiographies frontales et latérales afin d’avoir un outil complet pouvant être intégré en pratique clinique.

 

Roseline Olory Agomma

Profil de l'auteur(e)

Roseline Olory Agomma est étudiante au doctorat dans le Département de génie logiciel et des TI de l’ÉTS. Elle effectue son doctorat au sein du Laboratoire de recherche en imagerie et orthopédie (LIO)

Programme : Génie logiciel 

Laboratoires de recherche : LIO – Laboratoire de recherche en imagerie et orthopédie 

Profil de l'auteur(e)

Carlos Vázquez

Profil de l'auteur(e)

Carlos Vázquez est professeur au Département de génie logiciel et des TI de l’ÉTS. Ses recherches portent sur le traitement numérique des images et de la vidéo, l’imagerie stéréoscopique et multivue, les systèmes de TV3D, le codage vidéo multivues, la vision par ordinateur et la programmation GPGPU.

Programme : Génie logiciel  Génie des technologies de l'information 

Profil de l'auteur(e)

Thierry Cresson

Profil de l'auteur(e)

Thierry Cresson est associé de recherche au LIO de l’ÉTS.

Programme : Génie logiciel 

Laboratoires de recherche : LIO – Laboratoire de recherche en imagerie et orthopédie 

Profil de l'auteur(e)

Jacques De Guise

Profil de l'auteur(e)

Jacques de Guise est professeur au Département de génie de la production automatisée à l’ÉTS et professeur associé au Département de chirurgie de la Faculté de médecine de l’Université de Montréal.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche en orthopédie Marie-Lou et Yves Cotrel de l'Université de Montréal et de l'ÉTS  Chaire de recherche du Canada en imagerie 3D et ingénierie biomédicale 

Laboratoires de recherche : LIO – Laboratoire de recherche en imagerie et orthopédie 

Profil de l'auteur(e)