​Bien qu'extrêmement performants pour le deep learning, les réseaux de neurones (RN) ne sont pas adaptés à l'apprentissage incrémental. A l'heure actuelle, un RN qui apprend une nouvelle information écrase les connaissances précédemment acquises. Remédier à cet « oubli catastrophique » permettrait de rendre les RN plus opérationnels pour les systèmes autonomes dans un environnement en perpétuelle évolution.

En collaboration avec le Laboratoire de Psychologie et Neuro-Cognition (LPNC), qui développe depuis les années 90 un modèle de mémoire humaine et le LIST qui développe un outil de simulation de réseau de neurones artificiels N2D2, le Leti, institut de CEA Tech, développe un modèle qui pourrait changer la donne. Sans avoir à stocker dans une mémoire externe ce qui a été appris précédemment (ce qui augmenterait drastiquement la mémoire nécessaire), le modèle propose de réapprendre conjointement l'ensemble des informations (anciennes et nouvelles), en utilisant deux réseaux de neurones.

La méthode proposée consiste à présenter au premier réseau une alternance de vrais exemples correspondant au nouvel apprentissage, et de « pseudo exemples » qui sont générés par le deuxième réseau. Représentatifs de ce qui a déjà été appris, ces derniers sont destinés à « rafraîchir la mémoire » du réseau principal. L'avantage de cette approche est de ne pas limiter la plasticité du réseau, et de ne pas nécessiter de mémoire supplémentaire.