Benign overfitting et régression non-paramétrique adaptative
Julien Chhor  1@  , Suzanne Sigalla, Alexandre Tsybakov@
1 : Toulouse School of Economics
sans objet

Le benign overfitting est un phénomène contre-intuitif récemment découvert dans le cadre du deep learning. Il a été observé expérimentalement que les réseaux de neurones profonds peuvent dans certains cas parfaitement overfitter des données d'entraînement bruitées, tout en ayant d'excellentes performances de généralisation pour prédire de nouveaux points de données. Cela va à l'encontre du point de vue statistique conventionnel selon lequel il devrait y avoir un compromis nécessaire entre le biais et la variance. Ce papier vise à comprendre le benign overfitting dans le cadre simplifié de la régression non paramétrique. Nous proposons d'utiliser des polynômes locaux pour construire un estimateur de la fonction de régression avec les deux propriétés suivantes. Premièrement, cet estimateur est optimal au sens minimax sur les classes de Hölder. Deuxièmement, il s'agit d'une fonction continue qui interpole l'ensemble des observations avec une grande probabilité. L'élément clé de la construction est l'utilisation de noyaux singuliers. De plus, nous démontrons que l'adaptation à une régularité inconnue est compatible avec le surajustement bénin : nous proposons en effet un autre estimateur interpolant qui atteint l'optimalité minimax de manière adaptative à la régularité de Hölder inconnue. Nos résultats mettent en lumière le fait que, dans le modèle de régression non paramétrique, l'interpolation peut être fondamentalement découplée du compromis biais-variance.



  • Poster
Personnes connectées : 2 Vie privée
Chargement...