A la différence des capteurs d'images classiques, un capteur événementiel est composé de pixels indépendants qui détectent des évènements (variation de luminosité en un point) : si rien ne se passe, rien n'est capté ni enregistré, ce qui permet de réaliser d'importantes économies en matière de données et de calcul. Ce type de capteur, très sensible, est doté d'une résolution temporelle de l'ordre de la microseconde, idéale pour observer des phénomènes transitoires rapides. Il autorise, enfin, une très bonne capture de la scène, quelles que soient les conditions d'éclairage. Revers de la médaille : ces capteurs génèrent beaucoup d'évènements dès que l'ensemble de la scène bouge, ce qui sature l'interface de sortie et peut conduire à des pertes de données.
Pionnier dans cette technologie, la start-up Prophesee commercialise des capteurs à l'état de l'art, qui ont servi de cas d'étude à une thèse au CEA-List. Les premiers travaux ont consisté à réduire les évènements générés en les filtrant dès le capteur, par un traitement parallèle à l'aide de filtres de convolution spatio-temporels. Ces filtres sont inspirés de la première couche du cortex visuel humain, qui extrait des primitives visuelles telles que les bords orientés (ligne verticale, horizontale, diagonales …). Les chercheurs ont exploité les possibilités offertes par les technologies d'intégration 3D et ont démontré que, dans un nœud CMOS 28 nm, il est possible d'intégrer 8 filtres de convolutions par matrice de 32x32 pixels. Ce premier niveau de filtrage permet d'identifier les groupes de pixels dans lesquels un événement se produit, et de réduire ainsi d'un facteur 10 le débit, sans perte d'information.
En combinant ce type de capteur avec des algorithmes de type SLAM (Simultaneous Localization and Mapping), les essais réalisés sur une application de navigation de drone dans un hangar montrent que l'erreur mesurée de positionnement du drone est de seulement 10 cm après 69 mètres de déplacement, ce qui est 3 à 10 fois mieux que l'état de l'art ! Les résultats obtenus pour la navigation rapide par odométrie visuelle montrent que ces capteurs sont particulièrement adaptés aux applications dans lesquelles la vitesse et la sensibilité aux détails fins comptent. Ils pourraient ainsi être des atouts précieux pour détecter des défauts sur les chaines de fabrication industrielles.
Ces travaux ont donné lieu au dépôt de 3 brevets et le CEA-List travaille désormais avec Prophesee au développement d'algorithmes et d'applications dédiés, pour exploiter au mieux les qualités intrinsèques des capteurs évènementiels.