Glosario razonado

Aproximación de la probabilidad de que una observación no aparezca en una muestra bootstrap: (1−1/n)^n ≈ e⁻¹ ≈ 0,368.

Ensemble que aumenta el peso de observaciones mal clasificadas y combina clasificadores débiles ponderados. Es útil para entender el foco secuencial en errores, pero puede ser sensible a ruido y outliers.

Combinación de predicciones individuales. El promedio o voto reduce la variabilidad cuando los errores entre árboles no son perfectamente correlacionados.

Estrategia que toma la mejor decisión local disponible en cada nodo. Una decisión temprana condiciona todo el resto del árbol y no garantiza el óptimo global.

Árbol cuya salida es una clase o una probabilidad estimada a partir de la distribución de clases en la hoja. Los splits suelen evaluarse con Gini o entropía.

Modelo que segmenta el espacio de características mediante una secuencia de preguntas binarias. Cada camino desde la raíz hasta una hoja puede leerse como una regla operacional IF–THEN. Su fortaleza es representar umbrales, no linealidades e interacciones sin especificarlas previamente; su debilidad principal es la alta varianza si crece sin control.

Árbol que predice un valor continuo. Los splits buscan reducir la variabilidad o error cuadrático dentro de las hojas y la predicción terminal suele ser un promedio local.

Métrica de discriminación que resume la capacidad de ranking del modelo. No determina por sí sola el threshold ni garantiza buena calibración, bajo costo o viabilidad operativa.

Bootstrap Aggregating. Entrena muchos árboles sobre muestras bootstrap y agrega sus predicciones. En clasificación usa voto o promedio de probabilidades; en regresión promedia predicciones.

Prevalencia de la clase positiva. Si cambia, pueden cambiar calibración, volumen de acciones, costos y threshold conveniente.

Comparación de modelos usando las mismas particiones, métricas y restricciones. El módulo propone contrastar logística, árbol podado, Random Forest y boosting con ROC-AUC, PR-AUC, Brier, FP/FN y latencia.

Ensemble secuencial en el que cada nuevo árbol intenta corregir lo que el modelo acumulado todavía no explica. A diferencia de Random Forest, los árboles no se entrenan en paralelo e independientemente.

Remuestreo con reemplazo del conjunto de entrenamiento, normalmente con el mismo tamaño que el original. Algunas observaciones aparecen varias veces y otras quedan fuera.

Métrica de calidad probabilística incluida en el benchmark del módulo. Permite evaluar la distancia entre probabilidades predichas y resultados observados; valores menores indican mejor ajuste probabilístico.

Límite explícito de tiempo, iteraciones y recursos destinado a la optimización. Debe documentarse junto con semillas, rango explorado y variación por folds.

Correspondencia entre probabilidades predichas y frecuencias reales. Un modelo puede ordenar bien los riesgos y aun así producir probabilidades demasiado extremas o conservadoras.

Límite real de casos que la organización puede revisar o intervenir. Convierte el ranking del modelo en una política como top K o un threshold compatible con recursos disponibles.

Classification and Regression Trees. Procedimiento greedy que, en cada nodo, busca la variable y el umbral que producen la mayor reducción local de impureza; repite el proceso recursivamente, se detiene según reglas de complejidad y puede aplicar poda posterior.

Implementación de boosting destacada por su tratamiento robusto de variables categóricas.

Parámetro de poda costo-complejidad. Valores pequeños toleran árboles mayores; valores grandes favorecen árboles más simples. Debe seleccionarse con validación.

Pérdida de independencia del test cuando se usa para seleccionar profundidad, poda, hiperparámetros o configuraciones. Hace que la evaluación final deje de ser una auditoría genuina.

Grado en que los errores o predicciones de los árboles se parecen. Si es alta, agregar más árboles reduce menos la varianza; Random Forest intenta disminuirla con max_features.

Traducción de TP, FP y FN a una función económica u operativa. La política óptima puede cambiar cuando cambia el costo relativo de los errores.

Recursos de entrenamiento, predicción, memoria, mantenimiento y monitoreo. Forma parte de la evaluación junto con el desempeño estadístico.

Criterio con el que se evalúan los splits, por ejemplo Gini o entropía en clasificación y error cuadrático en regresión.

Validación cruzada que mantiene aproximadamente la prevalencia de clases en cada fold. Se propone para tuning defendible en clasificación.

Recomendación que explicita población, horizonte, acción, evidencia de validación, comparación de modelos, interpretación, costos, responsable y plan de monitoreo.

Objetivo de Random Forest al restringir aleatoriamente las variables candidatas por split. Menor correlación entre árboles favorece una mayor reducción de varianza al promediar.

Diferencia útil entre árboles. La reducción de varianza requiere no solo muchos modelos, sino también errores suficientemente distintos.

Cambio en la distribución de las variables X después del despliegue. Puede deteriorar la validez de un modelo aunque su entrenamiento original haya sido correcto.

Cambio en la distribución de las etiquetas o prevalencia P(y). El supuesto clásico de label shift mantiene P(X|y) estable. Un cambio en P(y|X) se denomina concept drift; conviene distinguir ambos diagnósticos.

Regla para detener el entrenamiento cuando agregar más árboles deja de mejorar el desempeño fuera de muestra. Evita seguir optimizando entrenamiento mientras la validación se deteriora.

Conjunto de modelos cuyas predicciones se agregan para obtener una salida más estable. Funciona mejor cuando los errores de los modelos individuales no son idénticos.

Medida de incertidumbre H(t)=−Σ pk log2(pk). Es cero en un nodo puro y alcanza su máximo, en el caso binario, cerca de una mezcla 50/50.

Explicación de una predicción individual. En el módulo se ejemplifica con SHAP y debe traducirse a lenguaje de decisión sin interpretarla como causalidad.

Caso no marcado para acción aunque era positivo. En riesgo o fraude puede representar un evento costoso omitido.

Caso marcado para acción cuando en realidad es negativo. En el caso de siniestros, implica una revisión innecesaria y consume capacidad.

Criterio que define qué significa error para el algoritmo. En regresión puede ser error cuadrático; en clasificación, pérdida logística.

Diferencia entre la impureza del nodo padre y la impureza ponderada de los hijos. CART favorece splits con mayor reducción.

Conjunto de controles organizacionales que acompañan la interpretación técnica: revisar errores por segmento, proxies sensibles, consistencia del threshold con políticas aprobadas y circuitos de revisión humana.

Método aditivo que ajusta árboles al gradiente negativo de una pérdida. Con pérdida cuadrática coincide con residuos; con pérdida logística binaria, el pseudo-residuo es y−p y la actualización ocurre en escala log-odds.

Implementación moderna de scikit-learn basada en histogramas. Se presenta como una opción eficiente dentro de la familia de gradient boosting.

Nodo terminal del árbol. En clasificación resume la distribución de clases de las observaciones que llegan a él; en regresión suele predecir el promedio local de la respuesta.

Individual Conditional Expectation. Muestra curvas por observación para ver si todos los casos responden igual o si el promedio del PDP oculta heterogeneidad, interacciones o subgrupos.

Medida de heterogeneidad de clases dentro de un nodo. Un nodo puro tiene impureza cero; un buen split busca hijos más homogéneos que el padre.

Criterio de impureza definido como Gini(t)=1−Σ pk². En clasificación binaria vale 0 en un nodo puro, 0,50 en un nodo 50/50 y 0,32 en una mezcla 80/20.

Promedio de la impureza de los nodos hijos, ponderado por la proporción de observaciones que cae en cada hijo. Evita favorecer divisiones que crean un nodo pequeño muy puro a costa de otro grande muy mezclado.

Propiedad por la cual pequeñas modificaciones en los datos pueden cambiar la estructura, el split raíz o las reglas aprendidas. Es la motivación directa para bagging.

Reducción de entropía producida por un split: entropía del padre menos entropía ponderada de los hijos. Mide cuánto disminuye la incertidumbre después de dividir.

Situación en la que el efecto o utilidad de una variable depende del valor de otra. Los árboles la capturan al preguntar por una variable solo dentro de un segmento creado previamente por otra.

Método no paramétrico de calibración mencionado como alternativa a Platt scaling. Debe evaluarse fuera de muestra.

Indicador mencionado como parte del monitoreo de drift y separación de distribuciones. Debe interpretarse junto con otras métricas del modelo y del proceso.

Tiempo requerido para producir una predicción. Un modelo con mejor métrica puede ser menos conveniente si su demora impide la decisión a tiempo.

Tamaño del paso con el que cada nuevo árbol modifica el modelo acumulado. Valores bajos requieren más árboles pero pueden producir trayectorias de aprendizaje más estables.

Implementación de gradient boosting orientada a alto volumen y velocidad, con crecimiento leaf-wise.

Tabla que organiza verdaderos positivos, falsos positivos, falsos negativos y verdaderos negativos. Permite traducir errores predictivos a consecuencias operativas.

Hiperparámetro que limita la cantidad máxima de decisiones encadenadas. Es uno de los controles más directos de la complejidad del árbol.

Cantidad o proporción de variables candidatas en cada split. Valores altos producen árboles más fuertes pero correlacionados; valores bajos aumentan diversidad pero pueden perder señal.

Número máximo permitido de hojas terminales. Limita el tamaño del árbol y, por lo tanto, la cantidad de segmentos finales.

Cantidad o proporción de observaciones usadas en cada bootstrap. Reducirla puede aumentar diversidad y bajar costo, aunque también puede debilitar cada árbol.

Importancia interna basada en cuánto reducen la impureza los splits que usan cada variable. Es rápida, pero puede favorecer variables con muchos puntos de corte y no implica causalidad.

Número mínimo de observaciones permitido en cada hoja. Reduce reglas extremas basadas en muy pocos casos y favorece estimaciones más estables.

Número mínimo de observaciones requerido para volver a dividir un nodo. Evita seguir fragmentando subconjuntos demasiado pequeños.

Representación del boosting como F_M(x)=F_0(x)+ν·Σ γ_m h_m(x). La predicción final combina un modelo inicial con una secuencia de correcciones ponderadas.

Seguimiento posterior al despliegue de drift, prevalencia, calibración, métricas por período, costo real, volumen de acciones y alertas. Reconoce que el problema puede cambiar con el tiempo.

Cantidad de árboles del ensemble. En bagging y Random Forest, más árboles suelen estabilizar la predicción hasta que el error u OOB se aplana. En boosting, cada etapa modifica el ajuste y demasiadas etapas pueden sobreajustar; se eligen con validación o early stopping.

Parámetro asociado a early stopping: define cuántas iteraciones sin mejora se toleran antes de detener el proceso.

Nodo no terminal que todavía puede dividirse mediante una nueva pregunta sobre una variable y un umbral.

Nodo inicial que contiene el conjunto completo de observaciones de entrenamiento antes de realizar cualquier división.

Estimación interna de desempeño que agrega, para cada observación, predicciones de árboles en los cuales esa observación fue OOB. Es un diagnóstico útil, pero no necesariamente reemplaza un test final independiente.

Observaciones que no fueron seleccionadas en la muestra bootstrap de un árbol. Pueden utilizarse para evaluar ese árbol porque no participaron de su ajuste.

Sobreajuste: el modelo aprende regiones y detalles específicos del entrenamiento que no generalizan. En árboles se manifiesta con profundidad alta, hojas muy pequeñas y una brecha creciente entre desempeño de entrenamiento y validación.

Representación geométrica del árbol en dos variables. Un split vertical corresponde a una pregunta sobre una variable y un split horizontal a una pregunta posterior sobre la otra dentro de una región.

Partial Dependence Plot. Muestra cómo cambia la predicción media del modelo al mover una variable y promediar sobre los demás casos. Resume un efecto promedio del modelo, no un efecto causal.

Importancia calculada midiendo cuánto empeora el desempeño cuando se permuta una variable fuera de muestra. Responde una pregunta predictiva y debe interpretarse con cautela ante variables correlacionadas.

Método mencionado para recalibrar probabilidades cuando el ranking es bueno pero las probabilidades predichas no se alinean con frecuencias reales.

Procedimiento basado en Rα(T)=R(T)+α·|T|. Penaliza el error del árbol junto con su cantidad de hojas para favorecer estructuras más simples cuando α aumenta.

Poda aplicada después de hacer crecer un árbol. Genera una familia de árboles más simples y usa validación para elegir la complejidad adecuada.

Área bajo la curva Precision-Recall. Es especialmente informativa cuando la clase positiva es rara y se busca evaluar el compromiso entre precisión y recall.

Control preventivo de complejidad aplicado antes o durante el crecimiento del árbol mediante límites como profundidad, tamaño mínimo de hoja o número máximo de hojas.

Métrica útil cuando existe capacidad limitada y se revisan solo los K casos con mayor score. Evalúa qué proporción de esos casos priorizados son realmente positivos.

Proporción de observaciones positivas dentro de una hoja, utilizada como estimación de P(y=1|hoja). Puede ser extrema y poco calibrada cuando la hoja contiene pocos casos.

Máximo número de decisiones encadenadas desde la raíz hasta una hoja. A mayor profundidad, mayor capacidad de segmentación, pero también mayor riesgo de sobreajuste.

Variable que puede actuar como sustituto de una característica sensible. El material propone revisar explícitamente si las explicaciones dependen de proxies sensibles.

Indicador mencionado para monitorear cambios en distribuciones. Se usa junto con KS, métricas por período, calibración, costo real y volumen de acciones.

Resultado de una pregunta binaria en un nodo. Conduce a uno de los subconjuntos hijos.

Ensemble que combina bagging con selección aleatoria de variables en cada split. La aleatoriedad adicional busca decorrelacionar árboles para reducir varianza.

Búsqueda aleatoria de hiperparámetros. El material la propone como una forma de cubrir espacio útil con un presupuesto explícito, en lugar de agotar una grilla ingenua.

Selección aleatoria de un subconjunto de variables. En el método clásico, cada estimador usa su subespacio; en Random Forest, la selección se renueva en cada split para favorecer diversidad.

Situación en la que dos o más variables transportan información similar. La importancia individual puede parecer baja porque otra variable sustituye parcialmente la señal.

Traducción de un camino raíz→hoja a lenguaje operativo. Es explicable porque reúne las condiciones que un caso debe cumplir para llegar a una predicción o nivel de revisión.

Comparación entre probabilidad predicha y frecuencia observada. La diagonal representa calibración perfecta.

En regresión, diferencia entre el valor observado y la predicción actual. Indica la parte que el modelo todavía no explicó y que el siguiente árbol intenta aproximar.

Circuito de supervisión que permite revisar decisiones o casos sensibles. Se incluye entre las preguntas de control de gobernanza antes del despliegue.

Estabilidad de una explicación cuando cambia la muestra, el fold o el período. Una variable consistentemente importante en varios folds ofrece más confianza que una que aparece de forma esporádica.

Error sistemático asociado a un modelo demasiado simple para representar el patrón relevante. En árboles, aumentar profundidad suele reducir sesgo.

Explicación local que reparte la diferencia entre una predicción base y la predicción final entre contribuciones de variables. Explica el modelo, no el mundo, y puede ser sensible a correlaciones.

División binaria de un nodo mediante una condición del tipo Xj ≤ t. CART evalúa candidatos y elige localmente el que más reduce la impureza ponderada de los hijos.

Fracción de observaciones usada en cada etapa de boosting. Introduce ruido regularizador y puede ayudar a controlar sobreajuste.

Conjunto reservado para estimar desempeño una vez completado el diseño y tuning. No debe utilizarse repetidamente para elegir hiperparámetros.

Punto que transforma un score o probabilidad en una acción. No debe fijarse automáticamente en 0,5: depende de costos, prevalencia y capacidad operativa.

Política que selecciona los K casos con score más alto cuando la capacidad es fija. Puede ser más adecuada que usar un threshold probabilístico constante.

Compromiso entre simplicidad y flexibilidad. El punto buscado no es la máxima complejidad, sino el nivel donde el error esperado fuera de muestra es menor.

Valor de corte usado en un split. Convierte una variable continua o ordenada en una pregunta binaria que separa observaciones en dos ramas.

Evaluación fuera del conjunto usado para ajustar parámetros y estructura. Evita confundir desempeño aparente de entrenamiento con capacidad de generalización.

Resultado económico de la política, expresado en el material como b·TP − c_FP·FP − c_FN·FN − c_op·acciones. Integra beneficios, errores y costo de intervenir.

Sensibilidad del modelo a cambios en la muestra de entrenamiento. Los árboles profundos pueden cambiar mucho ante pequeñas perturbaciones y por eso presentan alta varianza.

Árbol pequeño y regularizado usado como componente del boosting. La potencia surge de combinar muchas correcciones simples, no de hacer cada árbol muy profundo.

Implementación moderna de gradient boosting destacada por regularización, paralelismo y uso en producción.