​Comment être sûr que les intelligences artificielles reposant sur des réseaux de neurones rempliront correctement leurs fonctions avant de les intégrer à des systèmes critiques en toute sécurité ? Comment être sûr qu'elles résisteront aux attaques et aux imprécisions des capteurs qui leur fournissent leurs données d'entrée ? C'est la problématique à laquelle s'est trouvée confrontée la société Technip Energies, spécialisée dans l'ingénierie pour l'industrie de l'énergie.

Le CEA-List, qui maîtrise les techniques de vérification formelle de programmes classiques et est également expert en IA, a relevé le défi du partenaire grâce à ses méthodes et ses outils de validation. En adaptant à Python, langage de programmation de la plupart des réseaux de neurones, certains principes de Frama-C, la plateforme d'analyse de code C du List, les ingénieurs-chercheurs ont conçu un nouvel outil baptisé PyRAT. Celui-ci permet de simuler des variations des valeurs d'entrée du système, ces variations représentant des attaques ou des perturbations sur les capteurs. Il en déduit les sorties résultantes du système, après propagation des entrées à travers les couches du réseau de neurones. Cet outil peut ainsi indiquer dans quelle mesure les variations ont influencé les sorties et donc si le système à base de réseau de neurones a le comportement attendu. Par exemple, lorsque PyRAT analyse un réseau de neurones de reconnaissance d'image, l'outil est en mesure d'indiquer jusqu'à quelle limite de « brouillage » de l'image ce réseau de neurones continue à identifier correctement l'image.

Dans le cadre de la collaboration avec Technip Energies ainsi que du projet Confiance.ai, les équipes du List poursuivent leurs travaux pour rendre PyRAT encore plus rapide et plus précis dans son analyse pour des images en haute définition.