Résumé : Les modèles de régression linéaire sont souvent étudiés dans le contexte de données indépendantes et identiquement distribuées. Nous proposons d'étudier ces modèles pour des données indépendantes mais non-identiquement distribuées. Dans ce but, nous supposons que l'ensemble des prédicteurs observés constitue une matrice aléatoire avec un profil de variance. En supposant un modèle à effets aléatoires, nous étudions le risque de prédiction de l'estimateur ridge pour la régression linéaire avec un tel profil de variance. Nous montrons un équivalent déterministe de ce risque, qui s'avère être un bon estimateur en grande dimension. Nous proposons également un équivalent déterministe du degré de liberté de l'estimateur ridge dans ce cadre. Nos travaux mettent aussi en évidence l'émergence du phénomène de double descente pour l'estimateur des moindres carrés de norme minimale lorsque le paramètre de régularisation ridge tend vers zéro. Les preuves de nos résultats s'appuient sur des outils issus de la théorie des matrices aléatoires en présence d'un profil de variance qui n'ont pas été considérés jusqu'à présent pour étudier les modèles de régression. Des expériences numériques sont fournies pour montrer l'exactitude de ces équivalents déterministes sur le calcul du risque de prédiction pour la régression ridge et des données non-identiquement distribuées.

Abstract : Linear regression models are often studied in the context of independent and identically distributed data. We propose to investigate these models for independent but non-identically distributed data. To this end, we suppose that the set of observed predictors (or features) is a random matrix with a variance profile. Assuming a random effect model, we study the prediction risk of the ridge estimator for linear regression with such a variance profile. We provide a deterministic equivalent of this risk, which proves to be a good estimator in high-dimension. We also propose a deterministic equivalent of the degree of freedom of the ridge estimator in this setting. Our work also highlights the emergence of the double descent phenomenon for the minimum norm least-squares estimator when the ridge regularization parameter goes to zero. The proofs of our results are based on tools from random matrix theory in the presence of a variance profile that have not been considered so far to study regression models. Numerical experiments are provided to show the accuracy of the aforementioned deterministic equivalents on the computation of the prediction risk of ridge regression for non-identically distributed data.