02

Data Leakage Lab

Cómo un error metodológico puede fabricar un modelo “excelente”

Laboratorio 02 / 08 · 30 min

Leakage OFF vs Leakage ON

El modelo correcto sólo usa información disponible hasta t. El modo con leakage incorpora una proxy contaminado que contiene directamente información del retorno futuro. Compará métricas y validación walk-forward.

Ridge ajustada · datos sintéticos
Metodología correcta

Real vs predicción fuera de muestra

Deslizá el gráfico horizontalmente para recorrerlo.

Retorno realPredicción

Por qué cambia tanto

Feature causal
r(t), r(t−1), MA₅(t)
Sólo usa pasado y presente.
Feature contaminada
FutureProxy(t+1)
El proxy contiene 85% de y(t+H) y 15% de r(t): es fuga explícita.
Split
Temporal
La validación debe imitar el uso futuro.
Regla: si una variable no podría conocerse en el instante de predicción, no puede entrar en X.

Auditoría de fechas y etiquetas

FoldÚltimo origen trainEtiqueta disponible hastaPrimer origen testPurgadosRMSE · pp
Qué debe aprender el alumno

Una métrica extraordinaria no prueba que el modelo sea bueno. Primero hay que descartar leakage, look-ahead bias y particiones incompatibles con el tiempo.

Qué calcula esta simulación

Se ajusta ridge λ=0,1. El escalador se estima en cada train y el intercepto no se penaliza. Se excluyen etiquetas no maduras: con H=7 se purgan seis orígenes. Los folds test tienen 35 observaciones contiguas.

Experimentá y explicá

Actividad guiada

1. Compará leakage OFF/ON manteniendo horizonte y folds. Exportá ambos registros.

Ver orientación de respuesta

La variable contaminada contiene 85% de la etiqueta futura; una mejora de métricas no demuestra generalización.

2. Elegí H=7. ¿Por qué se excluyen filas al final de train?

Ver orientación de respuesta

Se purgan 6 orígenes cuya etiqueta termina después del primer instante de decisión test. Walk-forward no corrige una feature que ya contiene futuro.

Referencias y supuestos

Registrá la configuración, el resultado y tu interpretación.