Glosario integral y avanzado
Una guía para estudiar el tema desde la intuición probabilística hasta la implementación y el ciclo de vida en producción. Cada concepto incluye definición desarrollada, fórmula, intuición, ejemplo, conexiones y errores frecuentes. Integra los contenidos de fundamentos, interpretación, métricas, validación, regularización, calibración, decisión, multiclase y monitoreo.
Intentá explicar el concepto sin mirar la respuesta. Después revelá la definición y verificá fórmula, ejemplo y error frecuente.
Accuracy (exactitud)
Métricas
+
Definición desarrollada
Proporción de observaciones clasificadas correctamente sobre el total. Resume en un único número los verdaderos positivos y verdaderos negativos, pero no distingue qué tipo de error está cometiendo el modelo.
Fórmula / relación clave
Intuición
Responde: «¿qué porcentaje de decisiones fueron correctas?». Es útil cuando las clases tienen frecuencias similares y los costos de FP y FN no son muy diferentes.
Ejemplo
Si sobre 1.000 casos hay 420 TP y 480 TN, la accuracy es (420+480)/1000 = 90%. Sin embargo, con 990 negativos y solo 10 positivos, un modelo que siempre predice 0 tendría 99% de accuracy y sería inútil para detectar la clase positiva.
Conexiones
Matriz de confusión · desbalance de clases · threshold · precision · recall · F1.
Error frecuente
Usarla como única métrica en eventos raros. Una accuracy alta puede ocultar recall igual a cero.
AUC (Area Under the ROC Curve)
Métricas
+
Definición desarrollada
Área bajo la curva ROC. Mide la capacidad de discriminación del modelo a través de todos los thresholds posibles. Puede interpretarse como la probabilidad de que un positivo elegido al azar reciba un score mayor que un negativo elegido al azar.
Fórmula / relación clave
Intuición
AUC no pregunta si las probabilidades son correctas en valor absoluto; pregunta si el modelo ordena bien los casos de menor a mayor riesgo.
Ejemplo
Dos modelos pueden tener AUC 0,85 aunque uno prediga 0,20 y 0,40 y otro 0,60 y 0,95 para los mismos casos, siempre que conserven el mismo ranking.
Conexiones
ROC · TPR · FPR · discriminación · calibración.
Error frecuente
Confundir AUC alto con probabilidades bien calibradas o con un threshold óptimo.
Bernoulli
Fundamentos
+
Definición desarrollada
Distribución probabilística para una variable aleatoria binaria Y∈{0,1}. En regresión logística se asume que, condicionalmente a X, cada observación sigue una Bernoulli con probabilidad pᵢ de tomar el valor 1.
Fórmula / relación clave
Intuición
Cada observación aporta una probabilidad p si ocurre el evento y 1−p si no ocurre.
Ejemplo
Si el modelo asigna p=0,80 a un cliente y finalmente Y=1, la contribución de ese caso a la likelihood es 0,80. Si Y=0, sería 0,20.
Conexiones
Likelihood · máxima verosimilitud · log-loss.
Error frecuente
Pensar que Bernoulli implica que todas las observaciones tienen la misma p. En regresión logística, cada caso puede tener una p diferente según X.
Brier Score
Calibración
+
Definición desarrollada
Error cuadrático medio de las probabilidades predichas frente a los resultados binarios observados. Evalúa simultáneamente la cercanía de las probabilidades a los resultados y, por tanto, la calidad probabilística global.
Fórmula / relación clave
Intuición
Penaliza que una probabilidad esté lejos de lo que finalmente ocurrió. Cuanto menor, mejor.
Ejemplo
Para y=1: una predicción p=0,90 aporta (0,90−1)²=0,01; una p=0,20 aporta 0,64.
Conexiones
Calibración · log-loss · discriminación · calibration plot.
Error frecuente
Comparar Brier Scores entre poblaciones con prevalencias muy distintas sin contexto.
Calibración
Calibración
+
Definición desarrollada
Propiedad según la cual las probabilidades predichas representan frecuencias observadas. Un modelo está bien calibrado si, aproximadamente, entre los casos con p̂=0,30 el evento ocurre 30% de las veces.
Fórmula / relación clave
Intuición
La discriminación dice quién tiene más riesgo; la calibración dice si 30% realmente significa cerca de 30%.
Ejemplo
Un modelo puede ordenar perfectamente clientes de menor a mayor riesgo, pero asignar 0,90 donde el evento ocurre solo 0,55. Discrimina bien y calibra mal.
Conexiones
Calibration plot · Brier · ECE · AUC · temperatura.
Error frecuente
Suponer que un AUC alto garantiza buena calibración.
Calibration plot (reliability diagram)
Calibración
+
Definición desarrollada
Gráfico que compara, por grupos de probabilidad, la probabilidad media predicha con la frecuencia observada del evento. La diagonal de 45° representa calibración perfecta.
Fórmula / relación clave
Intuición
Si los puntos están por encima de la diagonal, el modelo subestima el riesgo; si están por debajo, lo sobreestima.
Ejemplo
En un bin con p̂ media 0,40 y frecuencia real 0,55, el modelo está subestimando el evento en ese rango.
Conexiones
Calibración · ECE · Brier · overconfidence.
Error frecuente
Interpretar bins con muy pocas observaciones como evidencia fuerte. El tamaño de cada grupo importa.
Categoría de referencia
Interpretación
+
Definición desarrollada
Nivel de una variable categórica que no recibe dummy propia y funciona como base de comparación. Los coeficientes de las demás categorías expresan diferencias en log-odds respecto de esa referencia, manteniendo constantes las demás variables.
Fórmula / relación clave
Intuición
Si “Empleado” es referencia, β₁ indica cuánto cambia el logit de “Autónomo” respecto de “Empleado”.
Ejemplo
β_Autónomo=0,50 implica OR=e^0,50≈1,65 frente a la categoría Empleado.
Conexiones
Dummy · odds ratio · coeficiente β.
Error frecuente
Interpretar el coeficiente de una dummy sin mencionar cuál es la categoría de referencia.
Clasificación binaria
Fundamentos
+
Definición desarrollada
Problema predictivo en el que la variable objetivo tiene dos resultados posibles, habitualmente codificados como 0 y 1. La regresión logística modela la probabilidad condicional de pertenecer a la clase 1.
Fórmula / relación clave
Intuición
Primero se estima una probabilidad; luego una regla de decisión puede convertirla en una clase.
Ejemplo
Default/no default, fraude/no fraude, churn/no churn, compra/no compra.
Conexiones
Regresión logística · probabilidad predicha · threshold.
Error frecuente
Confundir la probabilidad estimada con la clase final. La clase depende del threshold.
Coeficiente β
Interpretación
+
Definición desarrollada
Parámetro que mide el cambio en el log-odds asociado a un aumento unitario del predictor correspondiente, manteniendo las demás variables constantes. Su efecto sobre la probabilidad no es constante porque la sigmoide es no lineal.
Fórmula / relación clave
Intuición
β trabaja en escala logit, no directamente en puntos porcentuales de probabilidad.
Ejemplo
β=0,70 significa que una unidad adicional multiplica las odds por e^0,70≈2,01, pero no duplica necesariamente la probabilidad.
Conexiones
Logit · odds ratio · efecto marginal.
Error frecuente
Decir “β=0,7 aumenta la probabilidad en 70%”. Esa interpretación es incorrecta.
Concept drift
Monitoreo
+
Definición desarrollada
Cambio en la relación condicional P(Y|X). Significa que la asociación entre predictores y resultado que el modelo aprendió deja de ser estable, aunque las variables de entrada puedan tener distribuciones similares.
Fórmula / relación clave
Intuición
El mundo cambió de manera que los mismos X ya no implican el mismo riesgo.
Ejemplo
Un patrón de comportamiento que antes anticipaba default deja de hacerlo después de un cambio regulatorio o macroeconómico.
Conexiones
Data drift · prior drift · performance drift · monitoreo.
Error frecuente
Intentar detectarlo solo con PSI de las variables. Puede haber concept drift sin cambios grandes en P(X).
Cross-Entropy / Log-Loss
Entrenamiento
+
Definición desarrollada
Función de pérdida probabilística usada en clasificación logística. Penaliza las predicciones según la probabilidad asignada a la clase realmente observada y castiga con mucha fuerza los errores confiados.
Fórmula / relación clave
Intuición
No solo importa acertar la clase; importa cuán razonable era la probabilidad.
Ejemplo
Con y=1, p=0,90 produce pérdida ≈0,105; p=0,51 produce ≈0,673; p=0,01 produce ≈4,605.
Conexiones
Máxima verosimilitud · log-likelihood · calibración.
Error frecuente
Confundir log-loss con tasa de error 0/1. Dos casos clasificados igual pueden tener pérdidas muy distintas.
Cross-Validation
Validación
+
Definición desarrollada
Familia de procedimientos que reutilizan distintas particiones del conjunto de desarrollo para entrenar y validar repetidamente. Su objetivo es estimar desempeño y estabilidad con menor dependencia de una única división aleatoria.
Fórmula / relación clave
Intuición
En vez de preguntar “¿qué pasó en este único validation set?”, pregunta “¿qué ocurre en varias particiones razonables?”.
Ejemplo
En 5-fold CV cada observación funciona una vez como validation y cuatro veces dentro del entrenamiento.
Conexiones
K-fold · train/validation/test · tuning.
Error frecuente
Incluir el test final dentro de la cross-validation y luego reportarlo como evaluación independiente.
Data drift
Monitoreo
+
Definición desarrollada
Cambio en la distribución de los predictores o del score entre la población actual y una población de referencia. Se refiere a P(X), no necesariamente al vínculo entre X e Y.
Fórmula / relación clave
Intuición
Los casos que llegan al modelo ya no “se parecen” a los que vio durante desarrollo.
Ejemplo
La proporción de clientes de altos ingresos aumenta, o la distribución de deuda/ingreso se desplaza.
Conexiones
PSI · concept drift · monitoreo.
Error frecuente
Concluir automáticamente que hay pérdida de performance. Puede existir data drift y AUC estable.
Decision boundary (frontera de decisión)
Decisión
+
Definición desarrollada
Conjunto de puntos del espacio de predictores para los cuales la probabilidad estimada coincide exactamente con el threshold. En dos variables y un modelo lineal en el logit, la frontera es una línea.
Fórmula / relación clave
Intuición
Separa regiones del espacio que la política clasifica como 0 o 1.
Ejemplo
Con c=0,5, logit(c)=0 y la frontera satisface z=0.
Conexiones
Threshold · score lineal · sigmoide.
Error frecuente
Creer que cambiar el threshold reentrena el modelo. Solo desplaza la frontera operativa.
Discriminación
Métricas
+
Definición desarrollada
Capacidad de un modelo para asignar scores mayores a los casos que finalmente presentan el evento que a los que no lo presentan. Es una propiedad de ranking, no de exactitud probabilística.
Fórmula / relación clave
Intuición
Pregunta “¿quién tiene más riesgo?” y no “¿cuánto riesgo exactamente?”.
Ejemplo
Un modelo puede identificar correctamente el orden de riesgo pero asignar probabilidades demasiado altas.
Conexiones
AUC · ROC · calibración.
Error frecuente
Usar discriminación como sinónimo de calibración.
Dummy variable
Interpretación
+
Definición desarrollada
Variable indicadora, usualmente 0/1, utilizada para representar niveles de una variable categórica dentro de un modelo numérico. Para K categorías se usan típicamente K−1 dummies más una categoría de referencia.
Fórmula / relación clave
Intuición
Permite desplazar el logit para grupos diferentes.
Ejemplo
D_Autónomo=1 para autónomos y 0 para el resto, tomando Empleado como referencia.
Conexiones
Categoría de referencia · interacción · odds ratio.
Error frecuente
Incluir K dummies y un intercepto para K categorías, generando multicolinealidad perfecta.
ECE (Expected Calibration Error)
Calibración
+
Definición desarrollada
Resumen de la discrepancia entre probabilidades predichas y frecuencias observadas, usualmente agrupando casos en bins. Pondera la diferencia absoluta de cada bin por su tamaño.
Fórmula / relación clave
Intuición
Cuanto más cerca de cero, más alineadas están predicciones y frecuencias observadas.
Ejemplo
Si un grupo representa 20% de los casos, predice 0,70 y observa 0,60, aporta 0,20×0,10=0,02 al ECE.
Conexiones
Calibration plot · Brier · temperatura.
Error frecuente
Tomarlo como una medida completamente independiente de la elección de bins.
Efecto marginal
Interpretación
+
Definición desarrollada
Cambio local de la probabilidad predicha ante una variación infinitesimal de un predictor continuo. En la regresión logística simple muestra explícitamente que el efecto sobre p depende tanto de β como del nivel inicial de p.
Fórmula / relación clave
Intuición
La misma β puede tener impacto fuerte cerca de p=0,5 y mucho menor cerca de p=0 o p=1.
Ejemplo
Con β=1 y p=0,5, el efecto marginal es 0,25; con p=0,1 es 0,09.
Conexiones
Coeficiente β · sigmoide · AME.
Error frecuente
Tratar el efecto marginal como constante para todos los individuos.
Efecto marginal promedio (AME)
Interpretación
+
Definición desarrollada
Promedio de los efectos marginales individuales calculados para cada observación. Resume el impacto típico de un predictor sobre la probabilidad en la muestra, preservando la no linealidad del modelo.
Fórmula / relación clave
Intuición
En lugar de evaluar el efecto en un caso artificial “promedio”, promedia los efectos sobre los casos reales.
Ejemplo
Si los individuos tienen riesgos muy distintos, los efectos marginales también difieren; AME resume esa distribución.
Conexiones
Efecto marginal · probabilidad predicha.
Error frecuente
Interpretarlo como efecto causal si el diseño del estudio no identifica causalidad.
Entropía
Multiclase
+
Definición desarrollada
Medida de incertidumbre de una distribución de probabilidades. En clasificación multiclase aumenta cuando las probabilidades están repartidas entre varias clases y disminuye cuando una clase concentra casi toda la masa.
Fórmula / relación clave
Intuición
Una predicción 0,98/0,01/0,01 tiene poca incertidumbre; 0,34/0,33/0,33 tiene mucha.
Ejemplo
Softmax puede mantener la misma clase ganadora y, al subir la temperatura, aumentar la entropía.
Conexiones
Softmax · temperatura · confianza.
Error frecuente
Confundir alta entropía con error seguro. Indica incertidumbre, no necesariamente clasificación incorrecta.
Error de clasificación
Métricas
+
Definición desarrollada
Indicador 0/1 de si una clase predicha coincide o no con la clase real. Depende del threshold y pierde información sobre la confianza probabilística.
Fórmula / relación clave
Intuición
Dos predicciones p=0,51 y p=0,99 pueden ser ambas correctas con c=0,5, aunque su confianza sea muy distinta.
Ejemplo
Por eso el error 0/1 y log-loss responden preguntas diferentes.
Conexiones
Threshold · accuracy · log-loss.
Error frecuente
Optimizar solo error de clasificación cuando las probabilidades se usan para decisiones posteriores.
False Negative (FN)
Métricas
+
Definición desarrollada
Caso realmente positivo que el modelo clasifica como negativo. Es un evento que el sistema no detecta.
Fórmula / relación clave
Intuición
Representa una omisión.
Ejemplo
En credit scoring: un cliente que finalmente entra en default pero fue aprobado como bajo riesgo.
Conexiones
Recall · matriz de confusión · costo FN.
Error frecuente
Asumir que FN y FP tienen el mismo costo económico o social.
False Positive (FP)
Métricas
+
Definición desarrollada
Caso realmente negativo que el modelo clasifica como positivo. Es una falsa alarma.
Fórmula / relación clave
Intuición
El sistema marca un evento que no ocurrió.
Ejemplo
En credit scoring: rechazar como alto riesgo a un cliente que hubiera pagado correctamente.
Conexiones
Precision · specificity · costo FP.
Error frecuente
Evaluarlo sin considerar la prevalencia: con muchísimos negativos, una FPR pequeña puede generar muchos FP.
F1 Score
Métricas
+
Definición desarrollada
Media armónica entre precision y recall. Premia modelos que mantienen ambas métricas razonablemente altas y cae fuertemente si una de ellas es baja.
Fórmula / relación clave
Intuición
Es útil cuando interesa equilibrar detección de positivos y calidad de las alertas.
Ejemplo
Precision=0,80 y Recall=0,50 producen F1≈0,615.
Conexiones
Precision · recall · threshold · desbalance.
Error frecuente
Usarlo automáticamente sin justificar por qué precision y recall deberían tener el mismo peso.
FPR (False Positive Rate)
ROC / PR
+
Definición desarrollada
Proporción de negativos reales que son clasificados erróneamente como positivos. Es el eje horizontal de la curva ROC.
Fórmula / relación clave
Intuición
Mide la tasa de falsas alarmas dentro de la población negativa.
Ejemplo
FPR=0,05 significa que 5% de los negativos reales son marcados positivos.
Conexiones
ROC · specificity · threshold.
Error frecuente
Confundir FPR con 1−precision. Son denominadores distintos.
Intercepto β₀
Interpretación
+
Definición desarrollada
Score o log-odds cuando todos los predictores numéricos valen cero y las variables categóricas están en su referencia. Su interpretación sustantiva depende de si ese punto cero es plausible.
Fórmula / relación clave
Intuición
Fija el nivel base sobre el que actúan los demás coeficientes.
Ejemplo
Si β₀=−2, el riesgo base es σ(−2)≈0,119.
Conexiones
Score lineal · logit · centramiento.
Error frecuente
Dar una interpretación económica fuerte al intercepto cuando X=0 carece de sentido.
Interacción
Interpretación
+
Definición desarrollada
Término que permite que el efecto de un predictor dependa del nivel de otro. Rompe la idea de un único efecto β₁ aplicable a todos los valores de X₂.
Fórmula / relación clave
Intuición
El efecto de X₁ sobre el logit pasa a ser β₁+β₃X₂.
Ejemplo
El impacto del ingreso sobre default puede depender del nivel de deuda/ingreso.
Conexiones
Efectos marginales · especificación · no linealidad.
Error frecuente
Interpretar β₁ aislado como “efecto total de X₁” cuando existe interacción.
K-Fold Cross-Validation
Validación
+
Definición desarrollada
Procedimiento que divide el conjunto de desarrollo en K bloques. En cada iteración se entrena con K−1 folds y se valida con el restante; cada fold es validation exactamente una vez.
Fórmula / relación clave
Intuición
Reduce la dependencia de una sola partición y permite observar estabilidad.
Ejemplo
Con K=5 se realizan cinco entrenamientos diferentes.
Conexiones
Cross-validation · test final · tuning.
Error frecuente
Realizar preprocesamientos usando todo el dataset antes de crear los folds; eso puede generar leakage.
Leakage (fuga de información)
Validación
+
Definición desarrollada
Uso, directo o indirecto, de información que no estaría disponible al momento real de predecir o que pertenece al conjunto de validación/test durante el entrenamiento.
Fórmula / relación clave
Intuición
El modelo “ve el futuro” o información reservada y parece mejor de lo que realmente será.
Ejemplo
Estandarizar usando media y desvío calculados con train+test antes de evaluar.
Conexiones
Train/validation/test · cross-validation · pipeline.
Error frecuente
Creer que leakage solo ocurre si se incluye explícitamente la variable objetivo.
Likelihood (verosimilitud)
Entrenamiento
+
Definición desarrollada
Función que mide cuán compatibles son los parámetros del modelo con los resultados observados. En regresión logística combina las probabilidades asignadas por el modelo a cada resultado real.
Fórmula / relación clave
Intuición
Un buen conjunto de coeficientes hace alta la probabilidad conjunta de lo que efectivamente se observó.
Ejemplo
Si un caso positivo recibe p=0,9 y otro negativo p=0,8, sus contribuciones son 0,9 y 0,2 respectivamente.
Conexiones
Máxima verosimilitud · log-likelihood · log-loss.
Error frecuente
Interpretarla como la probabilidad de que β sea verdadero. No lo es.
Log-Likelihood
Entrenamiento
+
Definición desarrollada
Logaritmo de la likelihood. Convierte el producto de contribuciones individuales en una suma, facilitando cálculo, optimización y estabilidad numérica.
Fórmula / relación clave
Intuición
Maximizar log-likelihood equivale a maximizar likelihood porque el logaritmo es monotónico.
Ejemplo
Productos de muchas probabilidades pueden ser extremadamente pequeños; trabajar con sumas de logaritmos evita underflow numérico.
Conexiones
Likelihood · log-loss · MLE.
Error frecuente
Olvidar el signo: log-loss es el negativo de la log-likelihood promedio.
Logit
Fundamentos
+
Definición desarrollada
Transformación que lleva una probabilidad entre 0 y 1 a toda la recta real. En regresión logística, el logit de la probabilidad se modela como combinación lineal de los predictores.
Fórmula / relación clave
Intuición
Permite relacionar linealmente X con una magnitud sin límites, mientras p permanece entre 0 y 1.
Ejemplo
p=0,5 → logit=0; p=0,8 → logit≈1,386; p=0,2 → logit≈−1,386.
Conexiones
Odds · score lineal · sigmoide.
Error frecuente
Confundir logit con log(p).
Log-transformación
Especificación
+
Definición desarrollada
Transformación de un predictor positivo mediante log(X), útil cuando cambios relativos son más relevantes que cambios absolutos o cuando la relación con el logit muestra rendimientos decrecientes.
Fórmula / relación clave
Intuición
Pasar de 1 a 2 tiene mayor impacto transformado que pasar de 100 a 101.
Ejemplo
Ingresos, tamaño de empresa o montos monetarios suelen evaluarse también en escala logarítmica.
Conexiones
No linealidad · especificación · efecto marginal.
Error frecuente
Aplicar log a valores cero o negativos sin tratamiento adecuado.
Máxima Verosimilitud (MLE)
Entrenamiento
+
Definición desarrollada
Criterio de estimación que elige los coeficientes β que maximizan la likelihood de los resultados observados. En regresión logística estándar es el fundamento del ajuste.
Fórmula / relación clave
Intuición
Busca parámetros que hagan tan plausibles como sea posible los 0 y 1 efectivamente observados.
Ejemplo
Los optimizadores numéricos ajustan β iterativamente hasta reducir el gradiente de la pérdida.
Conexiones
Likelihood · log-likelihood · log-loss.
Error frecuente
Pensar que máxima verosimilitud garantiza generalización fuera de muestra.
Matriz de confusión
Métricas
+
Definición desarrollada
Tabla 2×2 que cruza clase real y clase predicha. Organiza los resultados en TP, TN, FP y FN y es la base de muchas métricas de clasificación.
Fórmula / relación clave
Intuición
Muestra qué tipo de aciertos y errores produce el threshold actual.
Ejemplo
Al bajar c suelen aumentar TP y FP, mientras disminuyen FN y TN.
Conexiones
Accuracy · precision · recall · specificity · F1.
Error frecuente
Comparar matrices de confusión obtenidas con distintos tamaños de muestra sin normalizar o contextualizar.
Multicolinealidad
Entrenamiento
+
Definición desarrollada
Situación en la que dos o más predictores están altamente relacionados entre sí. Puede inflar la varianza de los coeficientes y volver inestable su interpretación, aunque el desempeño predictivo no siempre se deteriore de la misma forma.
Fórmula / relación clave
Intuición
El modelo tiene dificultad para decidir qué predictor recibe qué parte del efecto.
Ejemplo
Ingresos mensuales e ingresos anuales casi duplicados en la misma especificación.
Conexiones
Regularización L2 · inferencia · estabilidad.
Error frecuente
Eliminar automáticamente variables correlacionadas sin considerar objetivo predictivo, teoría y regularización.
Multinomial Logistic Regression
Multiclase
+
Definición desarrollada
Extensión de la regresión logística a una variable objetivo con más de dos clases mutuamente excluyentes. Modela un score por clase y convierte esos scores en probabilidades mediante softmax.
Fórmula / relación clave
Intuición
Cada clase compite con las demás por la probabilidad total.
Ejemplo
Clasificar una solicitud en riesgo bajo, medio o alto.
Conexiones
Softmax · entropía · temperatura.
Error frecuente
Tratar las probabilidades de cada clase como modelos binarios independientes si se necesita una distribución que sume 1.
No linealidad en los predictores
Especificación
+
Definición desarrollada
Situación en la que el logit no cambia linealmente con un predictor. Puede modelarse incorporando transformaciones como X², log(X), splines u otras bases, manteniendo la salida logística.
Fórmula / relación clave
Intuición
La regresión logística es lineal en los parámetros, pero no obliga a usar solo X sin transformar.
Ejemplo
El riesgo puede disminuir con experiencia hasta cierto punto y luego estabilizarse.
Conexiones
Término cuadrático · log-transformación · interacción.
Error frecuente
Suponer que la sigmoide por sí sola resuelve cualquier no linealidad entre X y el logit.
Odds
Fundamentos
+
Definición desarrollada
Cociente entre la probabilidad de que ocurra el evento y la probabilidad de que no ocurra. Toma valores entre 0 e infinito.
Fórmula / relación clave
Intuición
Odds=3 significa tres posibilidades relativas de evento por cada una de no evento.
Ejemplo
p=0,75 → odds=0,75/0,25=3. p=0,20 → odds=0,25.
Conexiones
Logit · odds ratio · coeficiente β.
Error frecuente
Confundir odds=2 con probabilidad=200% o con p=2/3 sin hacer la conversión.
Odds Ratio (OR)
Interpretación
+
Definición desarrollada
Factor multiplicativo sobre las odds asociado a un cambio unitario del predictor. Se obtiene exponenciando el coeficiente logístico.
Fórmula / relación clave
Intuición
OR>1 aumenta odds; OR<1 las reduce; OR=1 indica ausencia de cambio en odds.
Ejemplo
β=0,70 → OR≈2,01: una unidad adicional duplica aproximadamente las odds, no la probabilidad.
Conexiones
Coeficiente β · odds · categoría de referencia.
Error frecuente
Decir que OR=2 implica “el doble de probabilidad”.
Overconfidence
Calibración
+
Definición desarrollada
Situación en la que el modelo produce probabilidades demasiado extremas respecto de las frecuencias observadas. Sus predicciones cercanas a 0 o 1 son más seguras de lo que la evidencia justifica.
Fórmula / relación clave
Intuición
El modelo “habla con demasiada seguridad”.
Ejemplo
Casos con p̂≈0,90 presentan el evento solo 0,70.
Conexiones
Temperatura · calibración · log-loss.
Error frecuente
Confundir sobreconfidence con AUC alto. Son propiedades distintas.
Overfitting
Entrenamiento
+
Definición desarrollada
Fenómeno por el cual el modelo captura patrones específicos, ruido o peculiaridades de la muestra de entrenamiento y pierde capacidad de generalizar a datos nuevos.
Fórmula / relación clave
Intuición
Memoriza demasiado bien el pasado y generaliza peor.
Ejemplo
Log-loss de train muy baja y log-loss de test claramente mayor.
Conexiones
Regularización · cross-validation · tamaño muestral.
Error frecuente
Diagnosticar overfitting solo porque el modelo tiene muchos coeficientes.
p-value
Inferencia
+
Definición desarrollada
Probabilidad, bajo una hipótesis nula y un procedimiento estadístico especificado, de observar un estadístico tan extremo o más que el obtenido. En regresión logística se usa frecuentemente para contrastar H₀:β_j=0.
Fórmula / relación clave
Intuición
Evalúa compatibilidad de los datos con una hipótesis nula, no la magnitud práctica del efecto.
Ejemplo
Un coeficiente muy pequeño puede tener p<0,05 en una muestra enorme.
Conexiones
Wald · intervalo de confianza · significancia práctica.
Error frecuente
Interpretar p=0,03 como “97% de probabilidad de que β sea distinto de cero”.
Performance drift
Monitoreo
+
Definición desarrollada
Deterioro de métricas de desempeño del modelo a través del tiempo, como AUC, log-loss, Brier, recall o costo. Puede originarse por data drift, prior drift, concept drift o cambios operativos.
Fórmula / relación clave
Intuición
Es el síntoma observable de que el modelo ya no funciona igual que durante validación.
Ejemplo
AUC pasa de 0,82 al desplegar a 0,68 seis meses después.
Conexiones
Concept drift · monitoreo · recalibración.
Error frecuente
Esperar a que performance caiga para mirar drift. Algunas señales de distribución aparecen antes.
Population Stability Index (PSI)
Monitoreo
+
Definición desarrollada
Medida de cambio entre dos distribuciones discretizadas, muy usada para monitorear variables y scores. Compara proporciones de referencia y actuales por bin.
Fórmula / relación clave
Intuición
Cuanto mayor el PSI, mayor la diferencia distribucional.
Ejemplo
Reglas orientativas habituales consideran <0,10 cambio pequeño, 0,10–0,25 cambio moderado y >0,25 cambio importante, aunque los umbrales deben validarse en contexto.
Conexiones
Data drift · score drift · monitoreo.
Error frecuente
Tratar los cortes 0,10 y 0,25 como leyes universales.
Precision
Métricas
+
Definición desarrollada
Proporción de positivos predichos que son realmente positivos. Evalúa la calidad o pureza de las alertas positivas.
Fórmula / relación clave
Intuición
Pregunta: “de todo lo que marqué como positivo, ¿cuánto era verdaderamente positivo?”.
Ejemplo
TP=80 y FP=20 → precision=0,80.
Conexiones
Recall · PR curve · prevalencia.
Error frecuente
Olvidar que cambia fuertemente con la prevalencia aun si TPR y FPR se mantienen.
Precision–Recall Curve (PR)
ROC / PR
+
Definición desarrollada
Curva que representa precision frente a recall al variar el threshold. Resulta especialmente informativa cuando la clase positiva es rara.
Fórmula / relación clave
Intuición
Muestra simultáneamente cuánto del evento detectamos y qué tan limpias son las alertas.
Ejemplo
Al bajar el threshold suele subir recall y caer precision.
Conexiones
PR-AUC · prevalencia · desbalance.
Error frecuente
Comparar PR-AUC entre datasets con prevalencias muy distintas sin mencionar esa diferencia.
Predicción vs causalidad
Interpretación
+
Definición desarrollada
Distinción entre estimar correctamente Y a partir de X y afirmar que modificar X causará un cambio en Y. Un modelo predictivo puede explotar asociaciones útiles sin identificar efectos causales.
Fórmula / relación clave
Intuición
Predecir quién tiene alto riesgo no implica saber qué intervención reducirá ese riesgo.
Ejemplo
Una variable puede ser excelente predictor de default porque resume contexto socioeconómico, sin ser una palanca causal manipulable.
Conexiones
Efectos marginales · interpretación · diseño causal.
Error frecuente
Presentar coeficientes o efectos marginales de un modelo observacional como causalidad automática.
Prevalencia / Base rate
Métricas
+
Definición desarrollada
Proporción de positivos reales en la población. Afecta fuertemente métricas como precision y el baseline de la curva PR.
Fórmula / relación clave
Intuición
Un evento raro genera muchas oportunidades de falsas alarmas porque existen muchos más negativos.
Ejemplo
Con prevalencia 1%, incluso FPR=2% puede producir más FP que TP.
Conexiones
Precision · PR curve · prior drift.
Error frecuente
Comparar precision entre contextos con prevalencias distintas como si fueran directamente equivalentes.
Prior drift
Monitoreo
+
Definición desarrollada
Cambio en la distribución marginal de la variable objetivo P(Y), es decir, en la prevalencia del evento. Puede ocurrir aunque P(X|Y) o el ranking del modelo cambien poco.
Fórmula / relación clave
Intuición
El evento se vuelve más o menos frecuente en la población actual.
Ejemplo
Una recesión puede aumentar la tasa de default general.
Conexiones
Prevalencia · calibración · monitoreo.
Error frecuente
Suponer que AUC necesariamente cambia cuando cambia la prevalencia.
Probabilidad predicha
Fundamentos
+
Definición desarrollada
Estimación p̂=P(Y=1|X) producida por el modelo. En regresión logística se obtiene aplicando la sigmoide al score lineal.
Fórmula / relación clave
Intuición
Es una cantidad continua entre 0 y 1; contiene más información que una clase binaria.
Ejemplo
p̂=0,72 significa que el modelo asigna 72% de probabilidad al evento bajo su especificación y datos.
Conexiones
Sigmoide · calibración · threshold.
Error frecuente
Interpretarla como probabilidad “verdadera” sin validar calibración y estabilidad.
PR-AUC / Average Precision
ROC / PR
+
Definición desarrollada
Resumen del rendimiento sobre la curva precision–recall. Es especialmente útil para comparar modelos en tareas con positivos raros, aunque su escala depende de la prevalencia.
Fórmula / relación clave
Intuición
Premia que el modelo mantenga alta precision mientras recupera una gran fracción de positivos.
Ejemplo
Una PR-AUC de 0,40 puede ser excelente si la prevalencia base es 0,01.
Conexiones
PR curve · precision · recall · prevalencia.
Error frecuente
Interpretarla con los mismos puntos de referencia absolutos que ROC-AUC.
Recall / Sensitivity / TPR
Métricas
+
Definición desarrollada
Proporción de positivos reales que el modelo identifica correctamente. Se denomina también sensibilidad o true positive rate.
Fórmula / relación clave
Intuición
Pregunta: “de todos los positivos reales, ¿cuántos detecté?”.
Ejemplo
TP=90 y FN=10 → recall=0,90.
Conexiones
F1 · ROC · FN · threshold.
Error frecuente
Maximizar recall sin considerar el aumento de FP y los costos asociados.
Regularización
Entrenamiento
+
Definición desarrollada
Modificación de la función objetivo que penaliza la complejidad del modelo, típicamente el tamaño de sus coeficientes. Busca reducir varianza y mejorar generalización.
Fórmula / relación clave
Intuición
Acepta algo más de sesgo en train para evitar coeficientes excesivos o inestables.
Ejemplo
Con muchos predictores correlacionados, L2 puede estabilizar los coeficientes.
Conexiones
L1 · L2 · overfitting · cross-validation.
Error frecuente
Pensar que mayor λ siempre mejora el modelo. Puede causar underfitting.
Regularización L1 (Lasso)
Entrenamiento
+
Definición desarrollada
Penalización basada en la suma de valores absolutos de los coeficientes. Favorece soluciones dispersas y puede llevar coeficientes exactamente a cero.
Fórmula / relación clave
Intuición
Puede actuar como mecanismo de selección de variables.
Ejemplo
Variables de ruido pueden quedar con β=0 cuando λ aumenta.
Conexiones
Regularización · sparsity · selección de variables.
Error frecuente
Suponer que el conjunto de variables seleccionadas será estable ante predictores muy correlacionados.
Regularización L2 (Ridge)
Entrenamiento
+
Definición desarrollada
Penalización basada en la suma de cuadrados de los coeficientes. Contrae coeficientes grandes suavemente y suele mejorar estabilidad bajo multicolinealidad.
Fórmula / relación clave
Intuición
Distribuye el peso entre predictores correlacionados en lugar de forzar muchos a cero.
Ejemplo
Dos variables similares pueden conservar coeficientes moderados en vez de que una desaparezca.
Conexiones
Regularización · multicolinealidad · overfitting.
Error frecuente
Interpretar coeficientes regularizados con los mismos procedimientos inferenciales estándar sin considerar el método de estimación.
ROC Curve
ROC / PR
+
Definición desarrollada
Curva que muestra TPR frente a FPR a medida que se recorre todo el rango de thresholds. Describe el trade-off entre detectar positivos y generar falsas alarmas.
Fórmula / relación clave
Intuición
Cada punto de la ROC corresponde a una política de threshold distinta.
Ejemplo
Bajar c suele mover el punto hacia arriba y hacia la derecha: más TP pero también más FP.
Conexiones
AUC · threshold · TPR · FPR.
Error frecuente
Elegir un threshold solo mirando ROC sin incorporar costos, prevalencia o restricciones operativas.
Score lineal / Linear predictor
Fundamentos
+
Definición desarrollada
Combinación lineal de intercepto y predictores antes de aplicar la sigmoide. Puede tomar cualquier valor real y coincide con el logit de la probabilidad en regresión logística.
Fórmula / relación clave
Intuición
Es la escala natural en la que los coeficientes se suman.
Ejemplo
z=2 implica p≈0,881; z=−2 implica p≈0,119.
Conexiones
Logit · sigmoide · frontera de decisión.
Error frecuente
Tratar z como probabilidad. No está restringido a [0,1].
Separación completa / cuasi-completa
Entrenamiento
+
Definición desarrollada
Problema que aparece cuando una combinación de predictores separa perfectamente o casi perfectamente las clases. En máxima verosimilitud no penalizada algunos coeficientes pueden crecer sin límite.
Fórmula / relación clave
Intuición
El optimizador puede intentar hacer probabilidades cada vez más cercanas a 0 y 1 aumentando |β|.
Ejemplo
Una variable que vale siempre >0 para positivos y <0 para negativos.
Conexiones
Regularización · convergencia · inferencia.
Error frecuente
Interpretar coeficientes enormes como evidencia sustantiva sin revisar separación.
Sigmoide / Función logística
Fundamentos
+
Definición desarrollada
Función que transforma cualquier score real z en una probabilidad entre 0 y 1. Es monotónica y tiene máxima pendiente alrededor de p=0,5.
Fórmula / relación clave
Intuición
Convierte una escala sin límites en una escala probabilística.
Ejemplo
z=0 → p=0,5; z=2 → p≈0,881; z=−2 → p≈0,119.
Conexiones
Score lineal · logit · efecto marginal.
Error frecuente
Pensar que la sigmoide vuelve lineal la relación entre X y p.
Significancia estadística vs relevancia práctica
Inferencia
+
Definición desarrollada
La significancia estadística evalúa evidencia contra una hipótesis nula; la relevancia práctica evalúa si la magnitud del efecto importa en el problema real. Son dimensiones distintas.
Fórmula / relación clave
Intuición
Un efecto muy preciso puede ser demasiado pequeño para cambiar decisiones.
Ejemplo
Un predictor reduce el riesgo de 20,00% a 19,85%: estadísticamente detectable, pero quizá irrelevante para la política.
Conexiones
p-value · intervalo de confianza · odds ratio.
Error frecuente
Usar p<0,05 como criterio automático de importancia.
Softmax
Multiclase
+
Definición desarrollada
Función que transforma un conjunto de scores reales en una distribución de probabilidades que suma 1. Es la extensión natural de la normalización logística para clasificación multiclase.
Fórmula / relación clave
Intuición
Cada clase compite por una fracción del total de probabilidad.
Ejemplo
Scores 2,1,0 producen aproximadamente 0,665; 0,245; 0,090.
Conexiones
Multinomial logistic regression · temperatura · entropía.
Error frecuente
Calcular exp(z) directamente con scores muy grandes sin estabilización numérica; se usa z−max(z).
Specificity (especificidad)
Métricas
+
Definición desarrollada
Proporción de negativos reales correctamente identificados como negativos. Mide la capacidad de evitar falsas alarmas dentro de la clase negativa.
Fórmula / relación clave
Intuición
Pregunta: “de todos los negativos reales, ¿cuántos reconocí correctamente?”.
Ejemplo
TN=950 y FP=50 → specificity=0,95.
Conexiones
FPR · ROC · threshold.
Error frecuente
Confundir specificity con precision negativa o con accuracy.
Standard Error (SE)
Inferencia
+
Definición desarrollada
Estimación de la incertidumbre muestral de un coeficiente. Resume cuánto variaría β̂ si repitiéramos el procedimiento de muestreo bajo condiciones similares.
Fórmula / relación clave
Intuición
Un coeficiente grande con SE aún mayor puede ser estadísticamente impreciso.
Ejemplo
β̂=0,50 y SE=0,10 implica mucha más precisión que β̂=0,50 y SE=0,60.
Conexiones
Wald · intervalo de confianza · p-value.
Error frecuente
Confundir SE del coeficiente con desviación estándar del predictor.
Stratified split
Validación
+
Definición desarrollada
Partición de datos que intenta preservar la proporción de clases en train, validation y test. Es especialmente útil con clases poco frecuentes.
Fórmula / relación clave
Intuición
Evita que un split aleatorio deje muy pocos positivos en alguna partición.
Ejemplo
Con prevalencia 2%, un split estratificado mantiene aproximadamente ese 2% en cada conjunto.
Conexiones
Desbalance · train/test · K-fold.
Error frecuente
Creer que estratificar elimina todos los problemas de distribución o dependencia temporal.
Temperatura
Calibración
+
Definición desarrollada
Parámetro que divide los logits antes de aplicar sigmoide o softmax. Controla cuán extremas o suaves son las probabilidades sin necesariamente cambiar el ranking.
Fórmula / relación clave
Intuición
T<1 aumenta confianza; T>1 comprime probabilidades hacia una distribución más uniforme.
Ejemplo
En softmax, la clase ganadora puede seguir siendo la misma mientras su probabilidad pasa de 0,90 a 0,60.
Conexiones
Softmax · calibración · overconfidence.
Error frecuente
Usarla para corregir ranking deficiente. Temperatura recalibra escala; no crea discriminación.
Término cuadrático
Especificación
+
Definición desarrollada
Transformación X² incorporada como predictor adicional para permitir curvatura en la relación entre X y el logit.
Fórmula / relación clave
Intuición
El efecto de X cambia con el nivel de X.
Ejemplo
El riesgo puede ser alto en valores muy bajos y muy altos, y menor en la zona media.
Conexiones
No linealidad · efecto marginal · especificación.
Error frecuente
Interpretar β₁ aisladamente sin considerar β₂.
Threshold / Umbral de decisión
Decisión
+
Definición desarrollada
Valor c utilizado para convertir una probabilidad en una clase. Si p̂≥c se predice 1; en caso contrario, 0. Es una decisión operativa separada del entrenamiento del modelo.
Fórmula / relación clave
Intuición
Cambiar c modifica el balance entre FP y FN sin modificar β.
Ejemplo
Bajar c de 0,50 a 0,30 suele aumentar recall y disminuir specificity.
Conexiones
Matriz de confusión · ROC · costos.
Error frecuente
Adoptar c=0,5 por costumbre sin justificarlo.
True Negative (TN)
Métricas
+
Definición desarrollada
Caso realmente negativo clasificado correctamente como negativo.
Fórmula / relación clave
Intuición
Es un acierto sobre la clase negativa.
Ejemplo
Cliente buen pagador aprobado como bajo riesgo.
Conexiones
Specificity · accuracy · matriz de confusión.
Error frecuente
Olvidar que “negativo” y “positivo” son convenciones del problema y deben definirse.
True Positive (TP)
Métricas
+
Definición desarrollada
Caso realmente positivo clasificado correctamente como positivo.
Fórmula / relación clave
Intuición
Es un evento detectado correctamente.
Ejemplo
Fraude real marcado como fraude.
Conexiones
Recall · precision · matriz de confusión.
Error frecuente
Suponer que TP siempre representa algo “bueno”; depende de qué evento se haya codificado como 1.
Train / Validation / Test
Validación
+
Definición desarrollada
Separación conceptual de datos para tres funciones diferentes: train ajusta parámetros; validation ayuda a elegir hiperparámetros o especificaciones; test estima el desempeño final sobre datos no utilizados en decisiones de modelado.
Fórmula / relación clave
Intuición
Cuantas más decisiones se toman mirando un conjunto, menos independiente queda ese conjunto.
Ejemplo
80% development con 5-fold CV y 20% test final reservado.
Conexiones
Cross-validation · leakage · tuning.
Error frecuente
Reutilizar repetidamente el test hasta elegir el mejor modelo y luego llamarlo “test final”.
Tuning / selección de hiperparámetros
Validación
+
Definición desarrollada
Proceso de elegir configuraciones que no se estiman directamente como coeficientes del modelo, por ejemplo λ de regularización, transformaciones o thresholds operativos.
Fórmula / relación clave
Intuición
También es una forma de aprendizaje y por eso necesita datos separados de la evaluación final.
Ejemplo
Seleccionar λ que minimiza log-loss promedio de cross-validation.
Conexiones
K-fold · regularización · leakage.
Error frecuente
Elegir hiperparámetros usando el test y luego reportar esa misma métrica como evaluación imparcial.
Underconfidence
Calibración
+
Definición desarrollada
Situación en la que el modelo produce probabilidades demasiado cercanas al centro, generalmente 0,5, en comparación con las frecuencias observadas. El modelo es menos contundente de lo que la evidencia justificaría.
Fórmula / relación clave
Intuición
El modelo “habla con demasiada cautela”.
Ejemplo
Casos con p̂≈0,65 presentan el evento cerca de 0,85.
Conexiones
Temperatura · calibración · softmax.
Error frecuente
Asumir que probabilidades moderadas siempre significan buena calibración.
Underfitting
Entrenamiento
+
Definición desarrollada
Situación en la que el modelo es demasiado simple o está excesivamente regularizado y no captura patrones relevantes ni siquiera en entrenamiento.
Fórmula / relación clave
Intuición
El modelo tiene demasiado sesgo.
Ejemplo
λ muy alto contrae incluso coeficientes de variables verdaderamente informativas.
Conexiones
Regularización · bias-variance · overfitting.
Error frecuente
Confundir underfitting con una mala partición de test aislada.
Wald test
Inferencia
+
Definición desarrollada
Contraste frecuente para evaluar hipótesis sobre un coeficiente utilizando la estimación y su error estándar. Bajo condiciones regulares, el estadístico se aproxima a una normal estándar.
Fórmula / relación clave
Intuición
Compara cuánto se aleja el coeficiente estimado de la hipótesis nula en unidades de incertidumbre.
Ejemplo
β̂=0,60, SE=0,15 → z=4,0.
Conexiones
p-value · intervalo de confianza · SE.
Error frecuente
Confiar ciegamente en Wald con separación, muestras pequeñas o estimaciones inestables.
Intervalo de confianza
Inferencia
+
Definición desarrollada
Rango construido mediante un procedimiento que, bajo supuestos y repetición muestral, cubriría el verdadero parámetro con una frecuencia determinada, típicamente 95%. Para odds ratios suele exponenciarse el intervalo del coeficiente.
Fórmula / relación clave
Intuición
Informa magnitud compatible con los datos y precisión, no solo un sí/no de significancia.
Ejemplo
β̂=0,40, SE=0,10 → IC95%≈[0,204;0,596].
Conexiones
SE · Wald · odds ratio.
Error frecuente
Decir que “hay 95% de probabilidad de que el parámetro fijo esté dentro” bajo la interpretación frecuentista clásica.
Class imbalance (desbalance de clases)
Métricas
+
Definición desarrollada
Situación en la que una clase es mucho más frecuente que la otra. Cambia la utilidad de ciertas métricas y puede exigir estrategias de evaluación, muestreo o ponderación.
Fórmula / relación clave
Intuición
Un clasificador trivial puede lograr alta accuracy simplemente prediciendo la clase mayoritaria.
Ejemplo
990 negativos y 10 positivos: siempre predecir 0 produce 99% accuracy y 0% recall.
Conexiones
PR curve · class weights · prevalence.
Error frecuente
Corregirlo automáticamente con oversampling sin evaluar cómo afecta calibración y validación.
Class weights
Entrenamiento
+
Definición desarrollada
Ponderaciones diferentes asignadas a las clases dentro de la función de pérdida. Permiten que errores sobre una clase influyan más en el entrenamiento.
Fórmula / relación clave
Intuición
Hace que el optimizador “preste más atención” a una clase.
Ejemplo
Asignar mayor peso a positivos raros puede mejorar recall.
Conexiones
Desbalance · costos · threshold.
Error frecuente
Confundir class weights con una estimación correcta de costos o con calibración.
Cost matrix (matriz de costos)
Decisión
+
Definición desarrollada
Representación de los costos o utilidades asociados a TP, TN, FP y FN. Permite pasar de métricas puramente estadísticas a decisiones económicas u operativas.
Fórmula / relación clave
Intuición
Dos modelos con la misma accuracy pueden tener costos muy distintos.
Ejemplo
En crédito, un FN puede costar mucho más que un FP si aprobar un default es muy caro.
Conexiones
Threshold · expected loss · policy.
Error frecuente
Usar costos arbitrarios sin validar su significado económico real.
Expected loss / costo esperado
Decisión
+
Definición desarrollada
Costo promedio esperado de una acción, ponderando resultados posibles por sus probabilidades. Es una forma de convertir una predicción probabilística en una decisión racional bajo costos conocidos.
Fórmula / relación clave
Intuición
No alcanza con saber qué clase es más probable; importa qué cuesta equivocarse.
Ejemplo
Puede ser óptimo rechazar con p(default)=0,20 si el costo de un default es extremadamente alto.
Conexiones
Cost matrix · threshold · decision policy.
Error frecuente
Optimizar costo esperado ignorando restricciones legales, fairness o capacidad operativa.
Decision policy
Decisión
+
Definición desarrollada
Conjunto de reglas que transforman predicciones en acciones. Puede incluir thresholds, zonas de revisión, límites regulatorios, costos, capacidad operativa y excepciones humanas.
Fórmula / relación clave
Intuición
El modelo estima; la organización decide.
Ejemplo
p<0,15 aprobar; 0,15≤p<0,30 revisar; p≥0,30 rechazo.
Conexiones
Threshold · costos · gobernanza.
Error frecuente
Atribuir al modelo decisiones que en realidad pertenecen a una política de negocio.
Calibration intercept
Calibración
+
Definición desarrollada
Parámetro de recalibración que detecta desplazamiento sistemático del riesgo promedio. Un intercepto distinto de cero sugiere subestimación o sobreestimación global.
Fórmula / relación clave
Intuición
Corrige que todas las probabilidades estén desplazadas hacia arriba o abajo.
Ejemplo
Si el evento se vuelve más frecuente, puede ser necesario aumentar el intercepto manteniendo el ranking.
Conexiones
Prior drift · calibración · recalibración.
Error frecuente
Usarlo como solución completa cuando también cambió la pendiente o la discriminación.
Calibration slope
Calibración
+
Definición desarrollada
Pendiente obtenida al relacionar resultados observados con el logit de las predicciones. Evalúa si las probabilidades son demasiado extremas o demasiado comprimidas.
Fórmula / relación clave
Intuición
γ≈1 es ideal; γ<1 suele sugerir predicciones demasiado extremas.
Ejemplo
Un modelo sobreajustado puede mostrar slope 0,7 al validarse externamente.
Conexiones
Overconfidence · recalibración · Brier.
Error frecuente
Interpretar slope sin revisar también el intercepto y la discriminación.
Model monitoring
Monitoreo
+
Definición desarrollada
Proceso continuo de seguimiento de un modelo una vez desplegado. Debe abarcar inputs, scores, prevalencia, métricas de performance, calibración, decisiones y estabilidad operacional.
Fórmula / relación clave
Intuición
Validar una vez no garantiza que el modelo siga siendo válido meses después.
Ejemplo
Panel mensual con PSI, AUC, Brier, ECE, event rate y tasa de decisiones.
Conexiones
Data drift · performance drift · concept drift.
Error frecuente
Monitorear solo accuracy o solo PSI.
External validation
Validación
+
Definición desarrollada
Evaluación del modelo en una población, institución, periodo o entorno distinto del usado para desarrollo. Mide transportabilidad y robustez más allá de la muestra original.
Fórmula / relación clave
Intuición
Pregunta si el modelo funciona cuando cambia el contexto.
Ejemplo
Modelo entrenado con clientes de 2024 y validado en otra región o entidad.
Conexiones
Temporal validation · drift · calibración.
Error frecuente
Llamar “externa” a una partición aleatoria del mismo dataset.
Temporal validation
Validación
+
Definición desarrollada
Validación que respeta el orden temporal: el modelo se entrena con datos del pasado y se evalúa en un periodo posterior. Es crucial cuando se espera evolución de población o comportamiento.
Fórmula / relación clave
Intuición
Simula mejor el uso real futuro que un split aleatorio cuando existe dependencia temporal.
Ejemplo
Entrenar con 2023–2025 y evaluar en 2026.
Conexiones
Drift · model monitoring · leakage.
Error frecuente
Mezclar observaciones futuras en train mediante una partición aleatoria.
Score drift
Monitoreo
+
Definición desarrollada
Cambio en la distribución de scores o probabilidades predichas a lo largo del tiempo. Puede surgir por cambios en X aun si los coeficientes permanecen congelados.
Fórmula / relación clave
Intuición
El modelo empieza a asignar riesgos distintos a la población actual.
Ejemplo
La media de p̂ pasa de 0,18 a 0,31 y aumenta PSI del score.
Conexiones
Data drift · PSI · prior drift.
Error frecuente
Concluir que existe concept drift solo porque cambió la distribución del score.
Recalibración
Calibración
+
Definición desarrollada
Ajuste posterior de las probabilidades de un modelo sin necesariamente reestimar todos sus coeficientes predictivos. Puede corregir intercepto, pendiente o aplicar técnicas como temperature scaling.
Fórmula / relación clave
Intuición
Conserva parte o todo el ranking, pero corrige el significado probabilístico.
Ejemplo
Un modelo mantiene AUC 0,84 pero sobreestima riesgo; recalibrar puede reducir Brier y ECE.
Conexiones
Calibration slope · intercept · temperatura.
Error frecuente
Recalibrar cuando el verdadero problema es concept drift severo y pérdida de discriminación.