Dans le domaine de la classification supervisée, évaluer les classifieurs probabilistes implique de regarder la discrimination, qui est la capacité à distinguer les classes, et la calibration, qui est la fiabilité de l'estimation des probabilités qui génèrent la variable de réponse. Dans ce papier, nous étudions la sensibilité de plusieurs mesures de qualité d'un classifieur probabiliste binaire via des simulations. Le but est de comprendre le comportement de ces mesures face à diverses formes de distribution des probabilités qui génèrent la variable de réponse et aux caractéristiques des écarts entre ces probabilités et leurs estimations.