La mise au point d'une méthode efficace de quantification d'incertitude en apprentissage profond est un tâche importante mais difficile car elle implique le calcul de la distribution prédictive en marginalisant l'ensemble des paramètres des réseaux de neurones. Dans ce contexte, les algorithmes Monte Carlo par chaînes de Markov ne s'adaptent pas bien aux grands volumes de données, ce qui entraîne des difficultés dans l'échantillonnage des distributions a posteriori des réseaux de neurones. En visant cet objectif d'inférence bayésienne, nous proposons de montrer qu'une généralisation de l'algorithme Metropolis-Hastings permet de restreindre l'évaluation de la vraisemblance à des sous-ensembles des données d'entraînement nommés mini-lot. Comme cette méthode nécessite le calcul d'une "pénalité de bruit" déterminée par la variance de la fonction de perte sur ces mini-lots, nous appelons cette stratégie de sous-échantillonnage des données "réseaux neuronaux bayésiens à pénalité de bruit".
- Poster