ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
Reconstruction d’images multispectrales à partir d’images couleur - Par : Xu Liu, Abdelouahed Gherbi, Mohamed Cheriet,

Reconstruction d’images multispectrales à partir d’images couleur


Xu Liu
Xu Liu est candidat au doctorat au Département de génie logiciel et des T.I. de l’ÉTS. Ses recherches portent sur l’apprentissage automatique le traitement d’images haute performance à l’aide de l’apprentissage machine.

Abdelouahed Gherbi
Abdelouahed Gherbi Profil de l'auteur(e)
Abdelouahed Gherbi est professeur au Département de génie logiciel et des T.I. de l’ÉTS. Ses domaines de recherche comprennent la modélisation de systèmes logiciels embarqués, l’ingénierie logicielle par modèles et la sécurité des systèmes.

Mohamed Cheriet
Mohamed Cheriet Profil de l'auteur(e)
Mohamed Cheriet est professeur au Département de génie des systèmes de l’ÉTS et directeur de Synchromedia. Ses recherches portent sur l’éco-infonuagique, les systèmes d’acquisition de connaissances et d’intelligence artificielle.

Image multispectrale

Imaging Tech Solutions. Pas de restriction d’usage connue.

RÉSUMÉ:

Les images multispectrales (IMS) sont riches en informations spectrales, qui permettent de déceler des caractéristiques d’objets invisibles à l’œil nu. Toutefois, le processus d’acquisition des IMS est long, compliqué et coûteux. En revanche, les images RVB (rouge, vert, bleu) sont beaucoup plus faciles à obtenir à partir d’appareils photo grand public, mais ne contiennent aucune information spectrale. Par conséquent, nous avons tiré parti des technologies d’apprentissage profond pour entraîner un modèle à l’aide de banques de données multispectrales. Comme le modèle a appris les informations spectrales pendant l’entraînement, nous avons pu l’utiliser pour reconstruire les images IMS à partir d’images RVB, réduisant ainsi le coût et le temps d’acquisition des IMS de façon considérable. Mots clés: Image multispectrale (IMS), image RVB, reconstruction spectrale, apprentissage profond, autoencodeurs variationnels (VAE), réseau adverse génératif (GAN).

Un problème nettement sous-déterminé

Les rayons lumineux sont formés de diverses longueurs d’onde, chacune possédant différentes propriétés de propagation, de réflexion et de réfraction. Lorsqu’on utilise des bandes individuelles pour enregistrer ces propriétés, on obtient des images multispectrales (IMS), contenant une affluence d’informations spectrales. Aussi, les données spectrales propres aux IMS permettent de déceler certaines caractéristiques que les RVB ne peuvent pas.

Les images multispectrales servent à un grand nombre d’applications comme la gestion des cultures et l’analyse non invasive. En production agricole, les IMS peuvent aider à juger si la culture est saine, si le sol doit être fertilisé ou si la terre a trop d’eau. En analyse non invasive, les IMS peuvent aider à identifier la composition chimique des pigments de tableaux célèbres et permettre d’en déterminer l’âge par exemple, ou encore si l’œuvre est originale, ou si elle a été altérée.

Les IMS ont un vaste champ d’application. Cependant, on doit traiter des dizaines, voire des centaines de bandes IMS une par une, ce qui consomme beaucoup de temps et d’espace de stockage, et donne lieu à des appareils multispectraux volumineux, compliqués et coûteux. Au contraire, les images RVB à trois canaux sont obtenues plus rapidement et à moindre coût grâce aux appareils photo grand public, mais comme elles contiennent peu d’informations spectrales, on ne peut les utiliser directement dans les applications IMS.

À la lumière de ces observations, nous estimons que la reconstruction des IMS à partir des RVB est une solution à retenir. Or, comme le montre la figure 1, l’espace IMS contient beaucoup plus d’information que l’espace RVB. Il n’existe pas de correspondance directe entre l’image RVB et l’IMS. Un pixel RVB peut correspondre à un trop grand nombre de pixels IMS possibles. La reconstruction d’IMS à partir d’images RVB est un problème nettement sous-déterminé.

Comparaison entre images RVB et IMS

Figure 1: Différences probables d’espace entre RVB et IMS

L’approche de reconstruction

Pour résoudre le problème, nous avons conçu un nouveau réseau neuronal, le VAE-GAN, qui fusionne ingénieusement l’autoencodeur variationnel (VAE) et les réseaux adverses génératifs (GAN). La figure 2 montre son architecture détaillée.

Vue d’ensemble du VAE-GAN

Figure 2: Architecture détaillée du VAE-GAN [1]

À la figure 2, on peut voir que le VAE-GAN se compose de quatre parties principales : l’encodeur, le re-paramétreur, le décodeur et le discriminateur. L’encodeur prend des images RVB en entrée et en extrait les caractéristiques principales. Ensuite, les caractéristiques de base sont combinées avec des nombres aléatoires échantillonnés à partir d’une distribution normale pour entraîner les différents vecteurs latents. Les vecteurs latents sont entrés dans le décodeur et reformulés en images de type IMS. Ces trois parties forment le générateur. On entraîne le générateur en distinguant les IMS « vraies » des « fausses » par l’entremise du discriminateur.

L’ensemble du processus d’entraînement s’apparente au phénomène de la croissance d’un être humain. L’image RVB d’entrée est comparable à des parents qui donnent naissance à de nombreux enfants. Le processus de codage est similaire à la naissance des bébés. Les bébés héritent certaines caractéristiques communes de leurs parents, mais ont aussi des caractéristiques uniques. L’enfant qui grandit ressemble au processus de décodage. Les caractéristiques communes vont progressivement s’affaiblir, et les caractéristiques individuelles, augmenter. Cependant, on peut toujours déterminer si ces êtres sont de la même famille grâce aux caractéristiques communes restantes.

De la même manière, on peut compresser et extraire une image RVB en d’innombrables types de vecteurs latents. Ces différents vecteurs latents servent ensuite de sources et d’entrées dans le réseau GAN pour entraîner le générateur souhaité. Le problème sous-déterminé peut donc être résolu rapidement et efficacement.

Comparaison entre les images reconstruites et les images originales

CAVE et ICVL sont les deux principales bases de données qui ont servi à évaluer les performances de reconstruction multispectrale. La base de données CAVE comprend 32 scènes d’intérieur et la base ICVL, 201 scènes d’extérieur. Nous avons séparé chaque base de données en deux parties, l’une pour l’entraînement et l’autre pour les tests, et nous avons effectué des évaluations qualitatives et quantitatives simultanément.

Nous avons utilisé cinq figures pour démontrer la performance qualitative de la reconstruction. La figure 3 donne un aperçu des performances de reconstruction de notre modèle TaijiGNN. Nous avons regroupé huit bandes d’images spectrales en une seule image et présenté individuellement l’image RVB en vérité-terrain, l’IMS en vérité-terrain, l’IMS reconstruite et la carte d’erreur. La carte d’erreur montre le degré de dissimilitude entre l’image en vérité-terrain et l’image reconstruite. Sur la carte d’erreur, le bleu représente une erreur positive, le vert une erreur nulle, et le rouge une erreur négative.

Reconstruction d’images IMS

Figure 3: Exemple de reconstruction IMS

La figure 4 montre la performance de la reconstruction IMS avec les données de la base CAVE.

Reconstruction d’images IMS

Figure 4: Reconstruction IMS avec les données de la base CAVE

La figure 5 montre les performances de la reconstruction RVB avec les données de la base CAVE.

Images RVB reconstruites à partir d’IMS

Figure 5: Reconstruction RVB avec les données de la base CAVE

La figure 6 montre les performances de la reconstruction IMS avec les données de la base ICVL.

Reconstruction d’IMS

Figure 6: Reconstruction IMS avec les données de la base ICVL

La figure 7 montre les performances de la reconstruction RVB avec les données de la base ICVL.

Images RVB reconstruites à partir d’IMS

Figure 7: Reconstruction RVB avec les données de la base ICVL

Ces résultats qualitatifs montrent que notre modèle performe bien dans les deux sens, qu’il s’agisse de reconstruire des IMS à partir de RVB ou de récupérer des RVB à partir d’IMS.

Nous avons également effectué plusieurs évaluations quantitatives comme l’indice de similarité structurelle (Structural Similarity Index Measure, SSIM), le rapport signal-bruit de crête (Peak Signal to Noise Ratio, PSNR) et la racine de l’erreur quadratique moyenne (REQM). Nous avons aussi obtenu de résultats prometteurs avec la banque de données d’essai, en n’ayant recours qu’à environ un tiers des données pour entraîner le modèle.

Conclusion

Le présent article a servi à présenter quelques concepts et applications prometteuses des images multispectrales et à expliquer les difficultés d’acquisition des IMS, ainsi que les défis de la reconstruction d’IMS à partir des RVB. Nous avons ensuite développé notre approche fondée sur le VAE et les GAN et montré les résultats de reconstruction de certaines images multispectrales et d’images RVB.

Informations complémentaires

Pour plus d’information sur cette recherche, consulter l’article de conférence suivant : Xu Liu, Abdelouahed Gherbi, Zhenzhou Wei, Wubin Li, Mohamed Cheriet. 2021. « Multispectral Image Reconstruction From Color Images Using Enhanced Variational Autoencoder and Generative Adversarial Network ». Journal of Sensors.

Xu Liu

Profil de l'auteur(e)

Xu Liu est candidat au doctorat au Département de génie logiciel et des T.I. de l’ÉTS. Ses recherches portent sur l’apprentissage automatique le traitement d’images haute performance à l’aide de l’apprentissage machine.

Programme : Génie logiciel  Génie des technologies de l'information 

Laboratoires de recherche : LASI – Laboratoire en architecture de systèmes informatiques 

Profil de l'auteur(e)

Abdelouahed Gherbi

Profil de l'auteur(e)

Abdelouahed Gherbi est professeur au Département de génie logiciel et des T.I. de l’ÉTS. Ses domaines de recherche comprennent la modélisation de systèmes logiciels embarqués, l’ingénierie logicielle par modèles et la sécurité des systèmes.

Programme : Génie logiciel  Génie des technologies de l'information 

Laboratoires de recherche : LASI – Laboratoire en architecture de systèmes informatiques 

Profil de l'auteur(e)

Mohamed Cheriet

Profil de l'auteur(e)

Mohamed Cheriet est professeur au Département de génie des systèmes de l’ÉTS et directeur de Synchromedia. Ses recherches portent sur l’éco-infonuagique, les systèmes d’acquisition de connaissances et d’intelligence artificielle.

Programme : Génie de la production automatisée 

Chaire de recherche : Chaire de recherche du Canada sur la durabilité écologique d'Eco-Cloud 

Laboratoires de recherche : SYNCHROMÉDIA – Laboratoire de communications multimédias en téléprésence 

Profil de l'auteur(e)


Recevez les dernières actualités scientifiques de l'ÉTS
commentaires

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *