Analyse de la force de bruitage dans les modèles génératifs basés sur le score.
Stanislas Strasman  1@  , Antonio Ocello  2, *@  , Claire Boyer  1, *@  , Vincent Lemaire  1, *@  , Sylvain Le Corff  1, *@  
1 : Laboratoire de Probabilités, Statistique et Modélisation
Sorbonne Université, Centre National de la Recherche Scientifique, Université Paris Cité, Sorbonne Université : UMR_8001, Centre National de la Recherche Scientifique : UMR_8001, Université Paris Cité : UMR_8001
2 : Centre de Mathématiques Appliquées - Ecole Polytechnique
Ecole Polytechnique, Centre National de la Recherche Scientifique, Centre National de la Recherche Scientifique : UMR7641
* : Auteur correspondant

Les modèles génératifs basés sur le score (SGMs) visent à estimer une distribution de données cible en apprenant des fonctions de score (correspondant au gradient du logarithme de densités de probabilité) uniquement à partir d'échantillons bruités de la cible. La littérature récente s'est largement concentrée sur l'évaluation de l'erreur entre les distributions cible et estimée, en mesurant la qualité des données générées à travers la divergence de Kullback-Leibler (KL) ou encore des distances de Wasserstein. Néanmoins, les résultats existants ont été obtenus pour une vitesse de bruitage homogène dans le temps. Sous des hypothèses faibles sur la distribution des données, nous établissons une borne supérieure pour la divergence KL entre les distributions cible et estimée qui dépend explicitement de la force de bruitage utilisée au cours du temps. 
De plus, en supposant que le score est Lipschitz continu, et avec des capacités d'approximation du score et de discrétisation parfaites, nous montrons une borne d'erreur améliorée en distance de Wasserstein, tirant parti des mécanismes de contraction sous-jacents des équations différentielles stochastiques en jeu. Enfin, nous proposons un algorithme pour ajuster automatiquement la fonction de bruitage au cours de la diffusion en utilisant la borne supérieure théorique établie.



  • Poster
Personnes connectées : 4 Vie privée
Chargement...