Lier la Théorie PAC-Bayésienne aux Minima Plats
Maxime Haddouche  1@  
1 : Université Lille Nord (France)
Inria Lille - Nord Europe, CNRS

L'apprentissage automatique moderne implique généralement des prédicteurs dans un contexte sur-paramétré (nombre de paramètres entraînés supérieur à la taille de l'ensemble de données), et leur apprentissage donne non seulement de bonnes performances sur les données d'entraînement, mais également une bonne capacité de généralisation. Ce phénomène remet en question de nombreux résultats théoriques et reste un problème ouvert. Pour parvenir à une meilleure compréhension, nous présentons dans cet exposé de nouvelles limites de généralisation impliquant des termes de gradient. Pour ce faire, nous combinons la théorie PAC-Bayésienne avec les inégalités de Poincaré et Log-Sobolev, évitant ainsi une dépendance explicite à la dimension de l'espace des prédicteurs. Ces résultats mettent en évidence l'influence positive des \emph{minima plats} (étant des minima avec un voisinage minimisant presque le problème d'apprentissage) sur les performances de généralisation, impliquant directement les bénéfices de la phase d'optimisation.



  • Poster
Personnes connectées : 6 Vie privée
Chargement...