Sous-échantillonnage de données pour les réseaux de neurones bayésiens
Eiji Kawasaki  1, *@  , Markus Holzmann  2@  , Lawrence Adu-Gyamfi  3@  
1 : Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
Commissariat à l'énergie atomique et aux énergies alternatives
2 : Univ. Grenoble Alpes, CNRS, LPMMC, 38000 Grenoble, France
Faculté des Sciences de l'Université de Grenoble
3 : Université Paris-Saclay, CEA, List, F-91120, Palaiseau, France
Commissariat à l'énergie atomique et aux énergies alternatives
* : Auteur correspondant

La mise au point d'une méthode efficace de quantification d'incertitude en apprentissage profond est un tâche importante mais difficile car elle implique le calcul de la distribution prédictive en marginalisant l'ensemble des paramètres des réseaux de neurones. Dans ce contexte, les algorithmes Monte Carlo par chaînes de Markov ne s'adaptent pas bien aux grands volumes de données, ce qui entraîne des difficultés dans l'échantillonnage des distributions a posteriori des réseaux de neurones. En visant cet objectif d'inférence bayésienne, nous proposons de montrer qu'une généralisation de l'algorithme Metropolis-Hastings permet de restreindre l'évaluation de la vraisemblance à des sous-ensembles des données d'entraînement nommés mini-lot. Comme cette méthode nécessite le calcul d'une "pénalité de bruit" déterminée par la variance de la fonction de perte sur ces mini-lots, nous appelons cette stratégie de sous-échantillonnage des données "réseaux neuronaux bayésiens à pénalité de bruit".



  • Poster
Personnes connectées : 2 Vie privée
Chargement...