如果一個項目的核心不是分類準確率,而是概率估計的質量。換句話説,需要的是一個校準良好的模型。這裏校準的定義是:如果模型給一批樣本都預測了25%的正例概率,那這批樣本中實際的正例比例應該接近25%。這就是校準。 解決這個校準問題單看ROC-AUC不夠,要用Brier score或者Log-loss來保證校準質量。 我們先介紹一下我們一般使用的的幾個指標: ROC-