¿Qué es dato nuevo?
Train, validation, test, hold-out y error fuera de muestra.
Validación · Selección · Generalización
¿Tu modelo realmente generaliza?
Una experiencia docente integral para diseñar particiones honestas, detectar leakage, medir estabilidad, seleccionar modelos sin optimismo y traducir métricas técnicas a decisiones de negocio.
3accesos de presentación
37láminas únicas
14laboratorios interactivos
10preguntas desarrolladas
90términos en glosario
Centro de presentaciones
Tres accesos complementarios
La Presentación 01 desarrolla el marco estadístico; la Presentación 02 recorre la teoría y los controles de los 14 laboratorios; la Presentación 03 identifica explícitamente la guía PowerPoint de las simulaciones y la abre en modo de reproducción automática, con descarga PPTX y vista online en Google.
Espacio reproducir o pausar← → navegarF pantalla completaO vista generalPresentación 03 inicia automáticamente
Biblioteca del módulo
Material conectado
Cada recurso cumple una función distinta dentro de la secuencia de aprendizaje.
Presentación 01 · Clase14 láminas web con autoplay, teclado, fullscreen y PDF.Presentación 02 · Simulaciones23 láminas web con teoría, uso, controles, velocidad, vista general, fullscreen y PDF.Presentación 03 · PowerPointLa guía PPTX de las simulaciones como tercer acceso, con reproducción automática y visor completo.PPTX editableArchivo fuente de 23 láminas: teoría, controles, lectura y glosario de los 14 laboratorios.Google Slides · Presentación 01Versión nativa de Google de la clase conceptual.Google · Presentación 03Vista online del PowerPoint de las simulaciones sin descargar el archivo.Notebook ColabImplementación reproducible desde baseline hasta Nested CV y OOF.14 laboratoriosHTML, Canvas y JavaScript con autoplay y cuatro temas.Cuestionario10 preguntas desarrolladas, progreso persistente y modo estudio.Glosario90 conceptos con filtros, búsqueda y tarjetas de repaso.
Ruta didáctica recomendada
La secuencia evita enseñar validación como una receta de API. Primero define qué significa generalizar y después selecciona la técnica.
¿Cómo partir?
K-Fold, estratificación, grupos, tiempo y gap.
¿Qué puede contaminar?
Leakage, preprocessing global, overfitting e inestabilidad.
¿Cómo elegir?
Tuning, Repeated CV, Nested CV y predicciones OOF.
¿Qué significa el score?
Métrica, dispersión, umbral y business readiness.
Experimentación
14 laboratorios interactivos
Los laboratorios forman una progresión desde la mecánica básica hasta una decisión empresarial completa.
01Train · Validation · TestFunciones diferentes de cada partición.02Hold-out vs. K-FoldPartición única frente a distribución de scores.03K-Fold VisualRotación, score y promedio acumulado.04¿Cuántos folds?Sesgo, varianza, muestra y costo.05Stratified K-FoldPreservación de clases desbalanceadas.06GroupKFoldEvitar leakage por identidad.07TimeSeriesSplitValidar futuro con pasado y gap.08Data LeakageTransformaciones dentro de cada fold.09Overfitting y CVBrecha train-CV y complejidad.10Repeated K-FoldEstabilidad e incertidumbre.11Hyperparameter TuningSelección mediante score CV.12Nested CVSelección interna y evaluación externa.13Métricas y estabilidadFunción de error y costo de negocio.14Business LabSplit, métrica, estabilidad y umbral.
Matriz de elección rápida
El splitter se elige por la estructura del dato y por la forma en que el modelo encontrará observaciones nuevas.
| Situación | Esquema orientativo | Riesgo principal |
|---|---|---|
| Observaciones aproximadamente iid | K-Fold / Repeated K-Fold | Dependencia no detectada o preprocessing global |
| Clasificación desbalanceada | StratifiedKFold | Folds con pocos positivos y métricas engañosas |
| Múltiples filas por entidad | GroupKFold / StratifiedGroupKFold | Identidad compartida entre train y validación |
| Datos ordenados en el tiempo | TimeSeriesSplit / ventana móvil | Future leakage y drift |
| Tuning intenso con muestra limitada | Nested Cross-Validation | Optimismo por selección |
Protocolo antes de confiar en un resultado
01Definir unidad de observación y unidad de generalización.
02Separar test final antes del tuning cuando corresponde.
03Ajustar imputación, scaling, selección y PCA dentro del fold.
04Reportar media, dispersión y segmentos relevantes.
05Comparar contra un baseline interpretable.
06Elegir la métrica según el costo del error.
07Usar Nested CV cuando selección y evaluación no puedan separarse.
08Registrar acción, población, horizonte y condición de revisión.
Idea de cierre: una validación correcta imita el problema que el modelo resolverá cuando ya no pueda reconocer ejemplos conocidos ni acceder al futuro.