Un composant optique parvient à entraîner efficacement un réseau de neurones

La ténacité paie. En 2016, une start-up française, LightOn, était créée avec pour ambition de remplacer les composants phares de l’intelligence artificielle (IA) – les cartes graphiques – par des modules dans lesquels la lumière se substituerait aux électrons, avec des gains attendus sur la vitesse de calcul. L’idée a fonctionné, mais elle est arrivée sans doute trop tôt, car l’entreprise a dû changer de modèle économique et devenir une société fournissant des modèles d’IA générative d’agents conversationnels, à l’instar des Mistral, Anthropic et OpenAI, plutôt que des composants matériels.

Il faut dire que le système avait démontré principalement son efficacité sur un seul des deux piliers principaux de l’IA, appelé « inférence », soit le calcul de la tâche elle-même – comme une traduction, une reformulation, une écriture de poème… Or, l’IA, notamment l’IA générative, commence par un « entraînement » ou un « apprentissage », une phase de calculs très longue, lors de laquelle le modèle doit ingurgiter de nombreuses données afin de pouvoir réaliser les tâches demandées. Plusieurs jours, voire plusieurs semaines, sont parfois nécessaires, pour les entraînements les plus poussés.

Et c’est justement cette phase que l’un des fondateurs de LightOn, Sylvain Gigan, professeur à Sorbonne Université au Laboratoire Kastler Brossel, à Paris, a enfin réussi à démontrer, huit ans après la sortie de la première puce de son entreprise, consacrée à l’inférence. L’expérience, à laquelle LightOn est associée, a été exposée dans la revue PNAS, le 15 mai.

L’une des clés est de tenir compte du fait que le passage de la lumière par un milieu diffusant, comme le lait, la peinture ou une fine porcelaine, la transforme à la sortie en perturbant les trajectoires. Mathématiquement, cette métamorphose revient à multiplier le signal d’entrée par une matrice, un grand tableau de nombres, pour obtenir le nouveau signal en sortie.

Or, dans les calculs fournissant les réponses des IA, ces multiplications sont justement monnaie courante. Mais celles-ci, si elles sont réalisées par des cartes graphiques, nécessitent de nombreuses opérations et une mémoire importante, d’autant plus que les modèles sont gros, avec des dizaines de milliards de paramètres. Alors que, en optique, c’est quasi instantané.

Il vous reste 51.74% de cet article à lire. La suite est réservée aux abonnés.