Machine Learning · Ciclo de vida en producción

Model Drift & Monitoring

El modelo permanece congelado, pero el mundo puede cambiar. Avanza mes a mes y separa cuatro fenómenos diferentes: cambios en la población de entrada, cambios en la prevalencia, cambios en la relación entre X e Y y, finalmente, deterioro observable de las métricas del modelo.

Escenario temporal

Modelo fijo

Mes desde despliegue0

Baseline612 meses

La severidad configurada se manifiesta progresivamente a medida que pasa el tiempo.

Data drift0%

0%50%100%

Desplaza y ensancha la distribución de X sin modificar los coeficientes del modelo desplegado.

Prior drift0%

0%50%100%

Eleva o reduce la tasa base del evento mediante un cambio del intercepto verdadero.

Concept drift0%

0%50%100%

Hace que las relaciones verdaderas entre predictores y resultado se aparten de las β congeladas.

Escenarios rápidosDrift

ROC-AUC

—

discriminación

Brier score

—

calidad probabilística

ECE

—

calibración

PSI score

—

drift distribucional

Prevalencia

—

P(Y=1)

Riesgo medio

—

media p̂

Input monitoring

Sin alertas relevantes.

Performance

AUC estable.

Calibration

Probabilidades consistentes.

Overall status

Modelo dentro de parámetros.

Distribución del score

Baseline vs actual

Referencia Mes actual

Calibration plot

¿p̂ conserva significado?

Baseline Actual

Evolución de métricas

Mes 0 → 12

AUC 1 − Brier 1 − PSI normalizado

PSI por deciles del score

Population Stability Index

Alertas y diagnóstico

No confundir síntomas

Proceso de monitoreo recomendado

Producción

1 · Inputs

P(X)

Distribuciones, faltantes, rangos, categorías y PSI.

2 · Scores

p̂

Distribución de riesgo, tasas de decisión y score drift.

3 · Outcomes

P(Y)

Prevalencia, demoras de etiquetas y prior drift.

4 · Performance

AUC + Brier

Discriminación, calibración, recall y costos.

5 · Acción

Investigar

Recalibrar, reentrenar, revisar variables o política.

Interpretación automática

Drift ≠ una sola métrica

Qué observar

Ideas clave

1 · Data drift no implica automáticamente performance driftPuede cambiar P(X) mientras el ranking y la calibración siguen aceptables. Es una señal para investigar, no una condena automática del modelo.

2 · Concept drift puede aparecer sin un PSI extremoSi cambia P(Y|X), la relación aprendida deja de representar el mundo aunque la distribución marginal de X se parezca a la referencia.

3 · Monitorear exige varias capasInputs, scores, prevalencia, discriminación, calibración, decisiones y costos deben leerse conjuntamente antes de recalibrar o reentrenar.