ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
La fragilité des modèles d’apprentissage profond - Par : Jérôme Rony, Luiz Gustavo Hafemann, Ismail Ben Ayed, Éric Granger,

La fragilité des modèles d’apprentissage profond


Jérôme Rony est étudiant à la maîtrise à l’ÉTS dans le cadre du partenariat de double-diplôme entre l’ÉTS et l’École nationale supérieure des arts et métiers.

Jérôme Rony
Jérôme Rony est étudiant à la maîtrise à l’ÉTS. Ses recherches portent sur des modèles d’apprentissage automatique profond faiblement supervisés pour la classification d’images et la localisation d’objets appliquées à l’imagerie médicale.

Luiz Gustavo Hafemann
Luiz Gustavo Hafemann Profil de l'auteur(e)
Luiz Gustavo Hafemann a obtenu son doctorat de l’ÉTS en 2019. Il est actuellement chercheur chez Sportlogiq, appliquant des modèles de vision par ordinateur à l’analyse sportive.

Ismail Ben Ayed
Ismail Ben Ayed Profil de l'auteur(e)
Ismail Ben Ayed est professeur au Département de génie des systèmes de l’ÉTS. Son travail se concentre sur la conception d’algorithmes efficaces pour le traitement, l’analyse et l’interprétation des images médicales.

Éric Granger
Éric Granger est professeur au Département de génie des systèmes de l’ÉTS. Ses recherches portent sur l’apprentissage machine, la reconnaissance de formes, la vision par ordinateur, et les systèmes adaptatifs et intelligents.

Un panneau-stop identifié comme ballon par l’IA

Chen, S.-T. et al. 2019.

RÉSUMÉ:

Les modèles d’apprentissage profond sont largement utilisés pour résoudre les problèmes de vision par ordinateur, qu’il s’agisse de reconnaissance faciale, de classification d‘objets ou de compréhension des scènes. Cependant, la recherche portant sur les exemples adversaires a montré la fragilité de ces modèles : de légères modifications d’une image, souvent imperceptibles, peuvent mener à des classifications erronées, ayant des conséquences sur la sécurité de nombreux systèmes de traitement d’images. Nous proposons donc un algorithme efficace générant de petites perturbations menant à des erreurs de classification pour les modèles d’apprentissage profond. Notre méthode permet d’obtenir des performances de pointe tout en nécessitant beaucoup moins de calcul que les algorithmes existants (résolution environ 100 fois plus rapide), ce qui ouvre la possibilité de l’utiliser à plus grande échelle et, notamment, de concevoir des mécanismes de défense. Mots clés : Apprentissage machine, sécurité, apprentissage profond, vision par ordinateur, attaques contradictoires

Attaques contradictoires

Les réseaux de neurones profonds (DNN pour Deep Neural Networks) ont atteint des performances inégalées dans une vaste gamme d’applications relatives à la vision par ordinateur. Cependant, ces DNN sont sensibles aux adversaires actifs. Plus particulièrement, ils sont susceptibles aux attaques contradictoires au cours desquelles de petits changements, souvent imperceptibles à l’œil nu, entraînent une classification erronée (c’est-à-dire une erreur) [1, 2]. Cette situation est très préoccupante puisqu’un nombre croissant de DNN est déployé dans le monde réel et, bientôt, dans des environnements nécessitant la plus haute sécurité comme les voitures autonomes, les drones, le domaine médical, etc.

Dans un scénario typique de classification d’images, un modèle de classification est une fonction qui associe une image (un vecteur composé de valeurs entre 0 et 1) à un ensemble de scores. Chaque score représente la probabilité que l’objet présent dans l’image appartienne à une certaine classe (ex. : chat, chien, voiture, avion, personne, table, etc.). La classe obtenant le score maximal est prédite comme étant présente dans l’image. Un modèle assez bon (Inception V3 entraîné sur ImageNet [3]) est capable de prédire avec confiance que l’image à gauche de la figure contient un chien et même d’en identifier la race : retriever à poil bouclé. Nous nous attendons à ce que le modèle soit robuste face aux changements subtils dans l’image. En d’autres termes, si nous modifions légèrement les valeurs de certains pixels, la prédiction ne devrait pas changer de manière significative. Pourtant, en ajoutant une certaine perturbation (au centre) à l’image d’origine, nous obtenons une nouvelle image (à droite) classée, avec confiance, comme étant un micro-ondes. Les conséquences de ce comportement sur la sécurité deviennent alors évidentes, car le modèle n’est pas robuste face à des perturbations habilement élaborées, lesquelles n’affecteraient pas en soi les décisions d’un observateur humain. Voir l’article https://adversarial-ml-tutorial.org/ pour plus de détails techniques.

Mauvaise classification de l’image suivant une attaque contradictoire.

À gauche : Image de départ : classée comme retriever à poil bouclé
Au centre : Perturbation (amplifiée ~ 40 fois pour être visible)
À droite : Image perturbée : classée comme micro-ondes

Génération de perturbations

La génération de perturbations pour forcer une erreur dans un modèle est importante pour deux raisons principales. D’abord, la plupart des travaux en cours sur l’apprentissage profond sont évalués par rapport au cas moyen : un ensemble d’images est mis de côté durant la phase d’entraînement (c’est-à-dire de développement) du modèle afin d’évaluer la performance finale du modèle. Mais cet ensemble n’évalue pas nécessairement le modèle pour le pire des scénarios, ce qui pose un problème quant aux applications critiques de sécurité. Ensuite, avoir une méthode efficace pour générer de telles perturbations nous permet de les utiliser pendant la phase de l’entraînement en vue d’obtenir au final un modèle plus robuste.

Le type d’algorithme générant ces perturbations se nomme attaque contradictoire. Dans ce travail, l’objectif de l’attaque contradictoire est de produire la plus petite perturbation qui entraîne une classification erronée pour une image et un modèle donnés. La taille de la perturbation est mesurée par la norme euclidienne des valeurs des pixels. À titre de référence, la taille de la perturbation ajoutée à l’image sur la figure est 0,7 et est imperceptible à l’œil nu. La performance des attaques contradictoires est mesurée en fonction de la taille moyenne de perturbation et de la durée totale d’exécution sur une configuration matérielle donnée pour un ensemble de 1000 images. Pour les deux mesures, on vise la plus basse valeur possible. Le tableau ci-dessous montre que notre algorithme (nommé DDN) surpasse largement la meilleure approche existante quant à la norme et au temps d’exécution.

Performance de l'algorithme DDN

Conclusion

En conclusion, nous avons créé une attaque contradictoire pouvant générer de petites perturbations pour provoquer des erreurs de classification dans les DNN de manière beaucoup plus efficace que l’approche de pointe existante. Cet algorithme est particulièrement utile pour évaluer la robustesse des modèles actuels et futurs d’apprentissage machine, de plus en plus utilisés dans des applications du monde réel. La performance de cet algorithme permet également de l’utiliser pour concevoir des mécanismes de défense plus efficaces.

Information supplémentaire

Pour plus d’information sur cette recherche, consulter l’article de conférence suivant :

Rony, Jérome; Hafemann, Luiz G.; Oliveira, Luiz S.; Ben Ayed, I.; Sabourin, Robert; Granger, Éric. 2019. « Decoupling Direction and Norm for Efficient Gradient-Based L2 Adversarial Attacks and Defenses », présenté au congrès IEEE sur la vision par ordinateur et la reconnaissance des formes (IEEE Conference on Computer Vision and Pattern Recognition), du 16 au 20 juin dernier. Long Beach. pp. 4322-4330.

Jérôme Rony

Profil de l'auteur(e)

Jérôme Rony est étudiant à la maîtrise à l’ÉTS. Ses recherches portent sur des modèles d’apprentissage automatique profond faiblement supervisés pour la classification d’images et la localisation d’objets appliquées à l’imagerie médicale.

Programme : Génie de la production automatisée  Génie technologies de la santé 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)

Luiz Gustavo Hafemann

Profil de l'auteur(e)

Luiz Gustavo Hafemann a obtenu son doctorat de l’ÉTS en 2019. Il est actuellement chercheur chez Sportlogiq, appliquant des modèles de vision par ordinateur à l’analyse sportive.

Programme : Génie de la production automatisée 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)

Ismail Ben Ayed

Profil de l'auteur(e)

Ismail Ben Ayed est professeur au Département de génie des systèmes de l’ÉTS. Son travail se concentre sur la conception d’algorithmes efficaces pour le traitement, l’analyse et l’interprétation des images médicales.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche ÉTS sur l’intelligence artificielle en imagerie médicale 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle 

Profil de l'auteur(e)

Éric Granger

Profil de l'auteur(e)

Éric Granger est professeur au Département de génie des systèmes de l’ÉTS. Ses recherches portent sur l’apprentissage machine, la reconnaissance de formes, la vision par ordinateur, et les systèmes adaptatifs et intelligents.

Programme : Génie de la production automatisée 

Laboratoires de recherche : LIVIA – Laboratoire d'imagerie, de vision et d'intelligence artificielle  LiNCS – Laboratoire en ingénierie cognitive et sémantique 

Profil de l'auteur(e)