Grokkage

Le grokkage, dérivé du terme anglophone grokking, est un phénomène surprenant observé en apprentissage automatique et en intelligence artificielle, où un réseau de neurones artificiels passe soudainement d’une généralisation médiocre à une compréhension parfaite après un entraînement prolongé bien au-delà du point de surapprentissage initial. Au début de l’apprentissage, le modèle mémorise simplement les données d’entraînement sans en comprendre la structure logique sous-jacente. Puis, de manière abrupte, les performances sur les données de test non vues s’améliorent de façon spectaculaire. Ce saut de performance est étudié de près par analogie avec les transitions de phase physiques, car il suggère que les réseaux profonds structurent en interne des représentations géométriques claires et simplifiées des concepts mathématiques qu’ils manipulent, révélant des mécanismes d’organisation émergents.