Les
réseaux de neurones convolutifs (convolutional neural network CNN) sont efficaces pour réaliser certaines tâches comme la reconnaissance d’images ou de textes. Cependant, la conception classique d’un ordinateur dans lequel le processeur et la mémoire sont physiquement séparés, n’est pas compatible avec un réseau neuronal. En effet, les synapses échangent fréquemment les informations stockées dans la mémoire entre les neurones (on parle de poids synaptique) pour effectuer les calculs qui provoquent un fort ralentissement. Les chercheurs de l’Irig ont donc utilisé des dispositifs spintroniques qui permettent une implémentation parallèle des réseaux dans laquelle le calcul et le stockage sont intégrés dans un même bloc.
Les chercheurs ont développé des mémoires électroniques appelées memristors dont la résistance change de manière continue en fonction du courant appliqué. Dans une architecture mémoire appelée « crossbar », les memristors codent le poids synaptique comme une résistance électrique, afin d’effectuer les calculs avec des courants analogiques qui seront convertis en valeur numérique. Le but est de réaliser un réseau de neurones convolutifs à base de memristors, qui conserve les mêmes performances tout en minimisant la complexité et sans surcoût matériel. Cependant, le procédé de fabrication de ces dispositifs spintroniques étant récent, il restait encore à fiabiliser la précision du calcul. De plus, les poids synaptiques peuvent prendre uniquement deux états binaires qui rendent difficile l’accès à différents niveaux de résistance dans le but de mimer une synapse.
Pour contourner ces écueils, les chercheurs ont testé une architecture utilisant deux concepts. Le premier est un réseau d’ensemble, selon le concept de «sagesse des foules». Le réseau global y est remplacé par plusieurs petits réseaux moins précis mais beaucoup plus simples, qui sont entraînés avec différents échantillons extraits du même ensemble de données. Les résultats obtenus par ces réseaux sont ensuite comparés pour obtenir une décision, dont la précision est comparable avec celle d’un réseau unique.
Le second concept est un réseau de type binaire dans lequel les poids synaptiques prennent uniquement deux états, contrairement au réseau classique dont les poids varient de manière continue. Grâce à ces deux concepts, les dispositifs spintroniques permettent des calculs quasiment sans perte de précision.
Figure : Architecture des réseaux de neurones intégrant des memristors spintroniques (à gauche), avec un réseau de neurones d’ensemble (en haut) combiné avec un réseau de neurones binaire (à droite). Credit CEA
Cette solution a été évaluée sur différents jeux de données pour la reconnaissance d’images. L’architecture du réseau d’ensemble a permis une optimisation du coût matériel, car le nombre de neurones est réduit de 92 % et le nombre de synapses de 95 %, et ceci avec une précision semblable à celle d’un seul réseau convolutif équivalent. De plus, il a été observé une réduction de 95 % du nombre de cycles d’horloge et de 97 % du nombre d’accès à la mémoire. Et enfin, l’utilisation de dispositifs à couplage spin-orbite permet de diminuer encore de trois ordres de grandeur la consommation grâce à la réduction des courants de calcul.
Réseau de neurones convolutif (convolutional neural network CNN en anglais) est un réseau spécialement conçu pour traiter des images. Le réseau est constitué de plusieurs couches de neurones connectées entre elles.
Un
memristor agit comme une mémoire électronique. Sa résistance change de manière permanente selon le courant qui lui est appliqué ; elle peut ensuite être lue comme une donnée.