Machine Learning · Evaluación
ROC, Precision–Recall y desbalance
Mueve el umbral y observa el mismo punto recorrer simultáneamente la curva ROC y la curva Precision–Recall. Después cambia la prevalencia del evento: descubrirás por qué ROC-AUC puede mantenerse estable mientras la precision se deteriora cuando la clase positiva se vuelve rara.
ROC-AUC
—
discriminación global
PR-AUC
—
precision–recall
Recall / TPR
—
positivos detectados
FPR
—
falsas alarmas
Precision
—
calidad de alertas
Prevalencia
10%
baseline PR
Curva ROC
rankingCurva Precision–Recall
eventos rarosDistribución de probabilidades
clases realesMatriz actual
c = 0.50Real 0
Real 1
Pred. 0
TN
0
negativos correctos
FN
0
positivos perdidos
Pred. 1
FP
0
falsas alarmas
TP
0
positivos detectados
Mismo modelo, distinta prevalencia
Experimento claveBalanceado50%
—
Precision al threshold actual.
Evento poco frecuente10%
—
Mismo TPR y FPR, pero más negativos disponibles para generar FP.
Evento raro1%
—
La precision puede caer fuertemente aunque la ROC sea idéntica.
Interpretación automática
ROC ≠ PRQué observar
Ideas clave1 · ROC mide separación relativaTPR y FPR se calculan dentro de cada clase; por eso la prevalencia afecta poco o nada a la curva ROC si el ranking se mantiene.
2 · Precision sí depende de prevalenciaCuando hay muchísimos negativos, incluso una tasa baja de falsos positivos puede producir numerosas falsas alarmas.
3 · PR es especialmente útil con eventos rarosFraude, default y otros eventos poco frecuentes exigen mirar qué proporción de las alertas positivas realmente corresponde a casos positivos.