Использует ли GridSearchCV прогнозирование или прогнозирование_proba при использовании auc_score в качестве функции оценки?

Используется ли GridSearchCV для прогнозирования или прогнозирования_proba при использовании функции auc_score в качестве функции оценки?

Функция прогнозирования генерирует предсказанные метки классов, что всегда приведет к треугольной кривой ROC. Более изогнутая кривая ROC получается с использованием прогнозируемых вероятностей класса. Последнее, насколько мне известно, является более точным. Если это так, то область под криволинейной кривой ROC, вероятно, лучше всего измеряет эффективность классификации в поиске сетки.

Поэтому мне любопытно, если для поиска сетки используются либо метки классов, либо вероятности классов при использовании области под кривой ROC в качестве показателя производительности. Я попытался найти ответ в коде, но не мог понять. Кто-нибудь знает ответ?

Спасибо

Ответ 1

Чтобы использовать auc_score для поиска в сетке, вам действительно нужно использовать predict_proba или decision_function, как вы указали. Это невозможно в выпуске 0.13. Если вы выполняете score_func=auc_score, он будет использовать predict, который не имеет никакого смысла.

[edit] Начиная с 0,14 [/edit] можно выполнить поиск сетки с помощью auc_score, установив новый параметр scoring в roc_auc: GridSearch(est, param_grid, scoring='roc_auc'). Он будет делать правильные вещи и использовать predict_proba (или decision_function, если predict_proba недоступен). Просмотрите новую страницу текущей версии dev.

Вам нужно установить текущий мастер из github для получения этой функции или подождать до апреля (?) для 0,14.