Dans de nombreuses applications, les données ne sont pas disponibles dès le départ pour apprendre un modèle, mais elles sont observées séquentiellement sous forme de flux de données. De plus, l'environnement est parfois si complexe qu'il est difficile sinon impossible de déterminer un modèle convenable et d'utiliser les techniques d'apprentissage statistique classiques. En particulier les hypothèses d'indépendance ou i.i.d. sur nos données peuvent ne plus être pertinentes. Il est ainsi nécessaire d'adopter une approche robuste en utilisant une méthode qui apprend au fur et à mesure, en tirant des enseignements des données au cours du temps. Tels sont les objectifs de la théorie de l'apprentissage en ligne.

D'autre part, le boosting est une puissante technique d'apprentissage par ensemble introduite par Freund et Schapire ayant gagné en popularité dans les environnements d'apprentissage batch automatique. Son adaptation au paradigme d'apprentissage séquentiel présente alors des défis et des opportunités uniques. Des efforts récents ont notamment cherché à étendre l'efficacité des algorithmes de boosting à de tels contextes par exemple par Beygelzimer, Hazan ou Brukhim. En entraînant et en optimisant dynamiquement des weak learners (par exemple, de simples arbres de prédiction) sur des données collectées de manière séquentielle, le boosting en ligne permet d'améliorer les performances prédictives et l'adaptabilité aux distributions de données évolutives.

Nous considérerons ici le cadre de la régression non paramétrique séquentielle avec des paires de données arbitraires (comme dans Rakhlin 2014 ou Cesa-Bianchi, Lugosi 2006). En particulier, nous analyserons un algorithme de Boosting, en discutant de ses garanties de convergence et en les comparant aux taux optimaux (minimax) déjà établis sous certaines hypothèses par exemple dans Rakhlin 2014.