01Unidad de estudio · 20 conceptos
Fundamentos de redes neuronales
De las entradas a una representación aprendida.
Es una familia de modelos que construye una función componiendo transformaciones parametrizadas. Recibe datos, genera representaciones intermedias y produce una salida cuya interpretación depende de la tarea: un número, una clase o una distribución.
Aprender consiste en ajustar los parámetros usando ejemplos y una función objetivo. La arquitectura establece qué operaciones están permitidas; los datos y el entrenamiento determinan la función concreta obtenida. La inspiración biológica es parcial y no implica comprensión humana.
Ejemplo para entenderlo
Una red estima riesgo de abandono a partir del uso, antigüedad y reclamos disponibles antes de una fecha de corte.
Error frecuente
Suponer que una red más grande siempre predice mejor con pocos datos tabulares.
Comprobá tu comprensión +
¿Qué cambia al entrenar: los ejemplos o los parámetros?
Ver respuesta orientativa
Se ajustan los parámetros; los ejemplos proporcionan la señal con la que se evalúa cada ajuste.
Es el aprendizaje a partir de pares de entradas y resultados conocidos. El modelo busca una relación que también sea útil para casos nuevos. La etiqueta define qué se pretende predecir y debe medirse de manera consistente.
Primero se fija la unidad de observación y la fecha en que se decide. Después se construyen atributos disponibles en esa fecha y una etiqueta observada en el período correspondiente. Sin esta definición, un ajuste excelente puede responder una pregunta equivocada.
Ejemplo para entenderlo
Una fila por cliente y mes; y=1 si abandona durante los 30 días posteriores al cierre.
Error frecuente
Usar como atributo una cancelación registrada después de la fecha de predicción.
Comprobá tu comprensión +
¿Por qué importa definir la ventana de la etiqueta?
Ver respuesta orientativa
Porque establece el evento y el horizonte que el modelo debe anticipar, y permite controlar qué información estaba disponible.
Es una característica observada que se ofrece al modelo para calcular una predicción. Puede ser numérica, categórica o una representación derivada de texto o de una secuencia. Su disponibilidad debe coincidir con el momento real de uso.
El significado, la escala y el tratamiento de ausencias forman parte de la definición de la entrada. Una variable útil estadísticamente puede ser inviable si llega tarde o cambia de cálculo entre entrenamiento y producción.
Ejemplo para entenderlo
Promedio de consumo de los últimos tres meses, calculado sin incluir el mes que se quiere pronosticar.
Error frecuente
Interpretar una relación predictiva como prueba de que cambiar el atributo causa el resultado.
Comprobá tu comprensión +
¿Una variable muy predictiva debe incluirse siempre?
Ver respuesta orientativa
No: hay que verificar disponibilidad, estabilidad, costo de obtención y ausencia de fuga de información.
Es una operación que combina entradas mediante pesos, añade un sesgo y aplica una función de activación. Constituye un bloque de cálculo; una neurona individual suele tener una capacidad expresiva limitada frente a una red de varias unidades.
La suma ponderada obtiene una preactivación. La activación transforma ese valor y permite, al combinar capas, construir relaciones no lineales. En una capa de salida también puede dar una interpretación útil, como una probabilidad binaria.
Ejemplo para entenderlo
Con x=(2,1), w=(0,5;−0,5) y b=0, se obtiene z=0,5; una sigmoide produce a≈0,6225.
Error frecuente
Confundir la suma ponderada z con el valor final a cuando hay una activación no lineal.
Comprobá tu comprensión +
¿Dónde interviene el sesgo?
Ver respuesta orientativa
Se suma a la combinación ponderada antes de aplicar la activación.
Es un parámetro multiplicativo que regula cómo una entrada contribuye a una preactivación. Su signo puede aumentar o reducir esa preactivación, manteniendo las demás entradas fijas. En capas profundas actúa sobre representaciones aprendidas.
Los pesos se ajustan mediante gradientes de la función objetivo. Su magnitud depende de la escala de los datos y de las otras capas; por eso no es una medida directa y universal de importancia de una variable original.
Ejemplo para entenderlo
En una neurona con w₁=0,5, aumentar x₁ en dos unidades aumenta z en una unidad, antes de la activación.
Error frecuente
Comparar pesos de atributos medidos en pesos monetarios y porcentajes como si sus unidades fueran iguales.
Comprobá tu comprensión +
¿Un peso positivo implica un efecto causal positivo?
Ver respuesta orientativa
No. Describe una operación del modelo condicionado a su representación, no una intervención causal identificada.
Es un parámetro aditivo que desplaza la preactivación independientemente de los valores de entrada. Permite que una neurona tenga una respuesta distinta de la fijada por pasar obligatoriamente por el origen.
Geométricamente desplaza la frontera de decisión sin tener que cambiar los pesos. El término bias aquí designa un parámetro: no es lo mismo que sesgo estadístico del estimador ni que trato injusto entre grupos.
Ejemplo para entenderlo
Con salida sigmoide y b=0, la entrada nula da 0,5; con b=−2, da aproximadamente 0,119.
Error frecuente
Confundir el sesgo de una neurona con un indicador de discriminación social del modelo.
Comprobá tu comprensión +
¿Puede una red tener parámetros aunque todas las entradas sean cero?
Ver respuesta orientativa
Sí: los sesgos siguen participando y pueden producir activaciones y salidas distintas de cero.
Es una capa en la que cada unidad recibe todas las componentes de la representación anterior. Se expresa como una transformación afín vectorial seguida, normalmente, por una activación aplicada componente a componente.
Con vectores columna, una matriz de tamaño salida×entrada transforma la entrada y un vector de sesgos completa el cálculo. Comprobar estas dimensiones permite detectar errores de programación antes de entrenar.
Ejemplo para entenderlo
Una capa de 4 entradas y 8 unidades tiene 4×8+8=40 parámetros, contando un sesgo por unidad.
Error frecuente
Contar únicamente conexiones y olvidar los sesgos al comparar tamaños de red.
Comprobá tu comprensión +
¿Cuántos parámetros tiene una capa de 8 a 1?
Ver respuesta orientativa
Nueve: ocho pesos y un sesgo.
Es una red de capas densas sucesivas en la que la información avanza desde la entrada hacia la salida. Las capas ocultas no lineales aprenden representaciones que pueden combinar variables de formas que un clasificador lineal no expresa.
Una arquitectura queda definida por dimensiones, activaciones y tipo de salida. Agregar capas sin activaciones no lineales no crea, por sí solo, una transformación más rica que una única transformación afín equivalente.
Ejemplo para entenderlo
Un MLP 4→8→1 contiene 40+9=49 parámetros y puede representar interacciones entre cuatro atributos.
Error frecuente
Creer que apilar muchas capas lineales produce automáticamente una frontera no lineal.
Comprobá tu comprensión +
¿Qué aporta una capa oculta con ReLU?
Ver respuesta orientativa
Una representación no lineal por regiones que una capa posterior puede combinar para construir fronteras más flexibles.
Una capa oculta transforma los datos en variables intermedias que no suelen tener etiquetas propias. Su representación puede separar patrones que eran difíciles de distinguir en el espacio original.
Las unidades se ajustan por su contribución a la pérdida final. Una coordenada latente puede mezclar múltiples atributos y cambiar de interpretación si se vuelve a entrenar. Una representación útil no garantiza una explicación intuitiva de cada unidad.
Ejemplo para entenderlo
Dos unidades pueden detectar combinaciones diferentes de bajo uso y muchos reclamos, que la salida utiliza para estimar riesgo.
Error frecuente
Asignar nombres psicológicos o económicos firmes a unidades sin validar esa interpretación.
Comprobá tu comprensión +
¿Las capas ocultas necesitan etiquetas adicionales?
Ver respuesta orientativa
En el entrenamiento supervisado habitual no; reciben señal de aprendizaje a través de la pérdida de salida.
La profundidad describe cuántas transformaciones sucesivas tiene una red; la anchura, cuántas unidades posee una capa. Son decisiones de arquitectura que afectan capacidad de representación, costo y dificultad de optimización.
La convención para contar capas debe declararse: a veces se cuentan solo capas con parámetros. Aumentar dimensiones puede facilitar ciertos ajustes, pero también elevar el riesgo de sobreajuste y las necesidades de regularización.
Ejemplo para entenderlo
Para 4→8→4→1 hay 40+36+5=81 parámetros.
Error frecuente
Elegir la red por cantidad de capas sin comparar rendimiento, estabilidad y tiempo frente a un baseline.
Comprobá tu comprensión +
¿Mayor capacidad garantiza mejor generalización?
Ver respuesta orientativa
No. Puede reducir error de entrenamiento y, al mismo tiempo, empeorar el desempeño en datos nuevos.
Es la transformación aplicada a la preactivación de una unidad. Las activaciones no lineales permiten que una composición de capas represente relaciones que no se reducen a una sola transformación afín.
Se elige según ubicación y tarea. En capas ocultas importa el comportamiento del gradiente; en la salida importa el significado de la predicción. Una salida lineal sirve para regresión sin restricciones; una sigmoide suele servir para una probabilidad binaria.
Ejemplo para entenderlo
Una ReLU oculta transforma valores negativos en cero y deja pasar los positivos.
Error frecuente
Usar la misma activación en toda tarea sin considerar si la salida debe ser libre, binaria o multiclase.
Comprobá tu comprensión +
¿Por qué importa la derivada de la activación?
Ver respuesta orientativa
Porque multiplica la señal de gradiente durante backpropagation y puede atenuarla o preservarla en distintas regiones.
Es una función suave que transforma cualquier número real en un valor entre cero y uno. Por eso se utiliza para parametrizar probabilidades binarias y compuertas de redes recurrentes. Su entrada suele llamarse logit.
Es más sensible cerca de cero y se satura para entradas de gran magnitud. La saturación reduce su derivada; en capas ocultas profundas puede contribuir al desvanecimiento del gradiente. Una salida acotada no garantiza por sí sola calibración.
Ejemplo para entenderlo
σ(0)=0,5; σ(0,5)≈0,6225; su derivada máxima es 0,25.
Error frecuente
Afirmar que una predicción 0,8 está necesariamente calibrada porque salió de una sigmoide.
Comprobá tu comprensión +
¿Qué significa un logit igual a cero?
Ver respuesta orientativa
Que la probabilidad parametrizada por la sigmoide es 0,5, antes de definir una política de decisión.
Es una activación suave con salida entre −1 y 1, centrada en cero. Se usa en RNN simples y en la construcción de contenido candidato de una LSTM porque puede representar información con signo.
Su derivada es mayor cerca de cero y se vuelve pequeña en regiones saturadas. Que esté centrada ayuda en algunos escenarios de optimización, pero no elimina los productos de derivadas que dificultan aprender dependencias temporales largas.
Ejemplo para entenderlo
tanh(1)≈0,7616; tanh(0)=0. En una RNN, el estado suele pasar por esta función en cada paso.
Error frecuente
Suponer que tanh resuelve automáticamente el problema de memoria de largo plazo.
Comprobá tu comprensión +
¿Cuál es la derivada de tanh cuando su salida es cero?
Ver respuesta orientativa
Uno; cuando la salida se acerca a −1 o 1, la derivada se acerca a cero.
Es una activación que devuelve cero para entradas negativas y la propia entrada para positivas. Introduce una no linealidad simple y evita la saturación en el lado positivo, lo que suele facilitar el entrenamiento de MLP.
Su derivada vale uno en la región positiva y cero en la negativa. En el origen no existe una derivada única; las bibliotecas adoptan una convención. Una unidad puede quedar inactiva si todas sus preactivaciones permanecen negativas.
Ejemplo para entenderlo
Para z=(−2;0,5;3), la salida es (0;0,5;3).
Error frecuente
Decir que ReLU elimina todos los problemas de gradiente: siguen importando pesos, arquitectura, datos y actualización.
Comprobá tu comprensión +
¿Puede una ReLU producir un valor negativo?
Ver respuesta orientativa
No. Puede producir cero o cualquier valor positivo, sin una cota superior propia.
Leaky ReLU conserva una pendiente positiva pequeña para entradas negativas. Busca evitar que una unidad pierda toda señal de gradiente en esa región, situación conocida como neurona inactiva o dying ReLU en la ReLU estándar.
La pendiente negativa α es una elección del modelo. Permitir una pequeña salida negativa puede ayudar, pero no sustituye revisar inicialización y tasa de aprendizaje si muchas unidades están inactivas de forma persistente.
Ejemplo para entenderlo
Con α=0,01 y z=−2, la salida es −0,02 y la pendiente es 0,01.
Error frecuente
Diagnosticar una unidad como definitivamente inactiva por observar cero en un solo ejemplo.
Comprobá tu comprensión +
¿Qué debe observarse para sospechar una ReLU inactiva?
Ver respuesta orientativa
Una preactivación negativa y una salida cero persistentes en muchos datos, acompañadas de ausencia de gradiente útil.
Es un valor real que parametriza una probabilidad antes de aplicar sigmoide o softmax. En clasificación binaria, es el logaritmo de las odds cuando la probabilidad se define mediante sigmoide.
Trabajar con logits permite implementar pérdidas numéricamente estables sin calcular primero probabilidades casi cero o uno. Un logit no es una probabilidad: puede ser negativo o superar uno, sin violar ninguna restricción.
Ejemplo para entenderlo
Si p=0,8, las odds son 4 y el logit es log(4)≈1,3863.
Error frecuente
Aplicar sigmoide antes de una pérdida que ya espera logits y la incorpora internamente.
Comprobá tu comprensión +
¿Qué formato espera una pérdida binaria con logits?
Ver respuesta orientativa
Un valor real sin sigmoide previa, junto con la etiqueta binaria correspondiente.
Es una transformación de un vector de logits en probabilidades positivas cuya suma es uno. Se utiliza cuando cada observación pertenece a una sola clase entre varias alternativas mutuamente excluyentes.
Cada salida depende de todos los logits. Para estabilidad se resta el máximo antes de exponenciar, operación que no cambia las probabilidades. Si pueden coexistir varias etiquetas, suele corresponder usar sigmoides independientes en lugar de una softmax única.
Ejemplo para entenderlo
Logits iguales para tres clases producen probabilidades de 1/3 para cada una.
Error frecuente
Usar softmax para etiquetas que pueden ser simultáneamente verdaderas, como varios temas de un documento.
Comprobá tu comprensión +
¿Qué ocurre si se suma la misma constante a todos los logits?
Ver respuesta orientativa
La softmax permanece igual porque el factor exponencial común se cancela.
La frontera separa regiones a las que una política de clasificación asigna clases diferentes. Una unidad logística con umbral fijo tiene una frontera lineal en sus entradas; las capas no lineales pueden deformar el espacio antes de clasificar.
XOR vale uno cuando dos entradas binarias son distintas. Sus positivos y negativos no pueden separarse con una única recta. Una representación oculta adecuada permite que una salida combine regiones y resuelva esa limitación.
Ejemplo para entenderlo
(0,1) y (1,0) dan 1; (0,0) y (1,1) dan 0 en la construcción indicada.
Error frecuente
Confundir el umbral operativo con la arquitectura que determina qué fronteras pueden representarse.
Comprobá tu comprensión +
¿Por qué XOR es un ejemplo didáctico útil?
Ver respuesta orientativa
Muestra que una representación no lineal puede convertir un problema no separable en uno resoluble por una combinación posterior.
Un tensor es un arreglo multidimensional de números. Sus ejes representan entidades distintas: observaciones, pasos temporales, atributos, canales o unidades. El shape describe la longitud de cada eje y hace explícito cómo se organizaron los datos.
Las operaciones deben respetar esas dimensiones. En secuencias, una convención habitual es lote×tiempo×atributos, aunque algunas bibliotecas usan tiempo primero. Cambiar el orden con una transposición no equivale a cambiar el significado de los valores.
Ejemplo para entenderlo
Un lote de 32 ventanas de 12 meses y 4 variables tiene shape (32,12,4).
Error frecuente
Confundir 12 pasos temporales con 12 variables independientes, o intercambiar ejes sin ajustar el modelo.
Comprobá tu comprensión +
¿Qué diferencia hay entre B y T?
Ver respuesta orientativa
B cuenta ejemplos que se procesan juntos; T cuenta observaciones ordenadas dentro de cada ejemplo secuencial.
La propagación hacia adelante evalúa las operaciones de la red con parámetros dados. La inferencia usa ese cálculo para obtener predicciones en condiciones de uso; normalmente no actualiza parámetros y puede desactivar comportamientos exclusivos del entrenamiento.
Durante entrenamiento también hay un forward: se necesita la predicción para calcular la pérdida. En inferencia suelen desactivarse dropout y el registro de gradientes, lo que reduce memoria y asegura el comportamiento de evaluación esperado.
Ejemplo para entenderlo
Con z=0,5, una salida logística devuelve aproximadamente 0,6225 sin cambiar ningún peso.
Error frecuente
Pensar que cada predicción hace que la red aprenda automáticamente del usuario o del dato recibido.
Comprobá tu comprensión +
¿Puede hacerse un forward durante entrenamiento?
Ver respuesta orientativa
Sí. Luego se calcula la pérdida, se obtienen gradientes y el optimizador actualiza los parámetros.
02Unidad de estudio · 21 conceptos
Cómo aprende una red
Del error a una actualización verificable.
Es una función que asigna un costo numérico a la discrepancia entre predicciones y resultados observados. Define la señal que se optimiza. Su elección debe reflejar la tarea y las propiedades de los errores que interesa penalizar.
La pérdida por observación suele agregarse en un lote y puede combinarse con penalizaciones de regularización. Una métrica de evaluación no tiene que coincidir con la pérdida: algunas métricas relevantes no son diferenciables o no proporcionan buenos gradientes.
Ejemplo para entenderlo
Para clasificación binaria puede entrenarse con BCE y decidir el modelo usando recall y utilidad en validación.
Error frecuente
Suponer que minimizar una pérdida predictiva maximiza automáticamente el beneficio de una intervención.
Comprobá tu comprensión +
¿Por qué accuracy no suele usarse como pérdida de entrenamiento?
Ver respuesta orientativa
Porque las decisiones discretas por umbral no ofrecen gradientes útiles para los ajustes pequeños de parámetros.
Es una pérdida para resultados binarios que evalúa la probabilidad asignada a la clase observada. Penaliza especialmente estar muy seguro y equivocarse. Bajo un modelo Bernoulli, minimizarla equivale a maximizar la verosimilitud de las etiquetas.
La pérdida usa probabilidades en el intervalo abierto (0,1); las implementaciones con logits evitan problemas numéricos en los extremos. Un buen valor promedio no exime de revisar calibración, desbalance y los grupos relevantes.
Ejemplo para entenderlo
Si y=1 y p=0,622459, BCE≈0,474077 usando logaritmo natural.
Error frecuente
Calcular log(0) directamente o aplicar una segunda sigmoide a una pérdida que espera logits.
Comprobá tu comprensión +
¿Qué gradiente aparece respecto del logit de una salida sigmoide?
Ver respuesta orientativa
Para una observación, sin ponderaciones adicionales, ∂ℓ/∂z=p−y.
Es el promedio de los cuadrados de los residuos entre valores observados y predichos. Se usa en regresión y penaliza de manera creciente los errores grandes. Su unidad es el cuadrado de la unidad del objetivo.
La predicción que minimiza el MSE esperado es la media condicional cuando existe. Puede verse muy influido por valores extremos, por lo que conviene revisar la distribución de errores y si los grandes errores son datos válidos o problemas de calidad.
Ejemplo para entenderlo
Con residuos 1 y 3, MSE=(1+9)/2=5; RMSE=√5≈2,236.
Error frecuente
Comparar numéricamente MSE de variables con unidades diferentes como si fueran directamente equivalentes.
Comprobá tu comprensión +
¿Por qué un error de 10 pesa más que dos errores de 5?
Ver respuesta orientativa
Porque 10²=100 y 5²+5²=50: la penalización es cuadrática.
Es la representación de un cálculo como operaciones conectadas por dependencias. Sus nodos contienen operaciones o valores y sus aristas indican qué entradas requiere cada operación. Permite organizar el forward y el cálculo automático de derivadas.
La diferenciación automática aplica reglas locales exactas de derivación a las operaciones registradas, con las limitaciones de precisión numérica habituales. No es lo mismo que aproximar derivadas con diferencias finitas ni resolver expresiones simbólicas generales.
Ejemplo para entenderlo
El gradiente de una pérdida respecto de w combina las derivadas de cada operación situada en el camino desde w a la pérdida.
Error frecuente
Creer que el framework decide por sí solo cuál debe ser la etiqueta o qué objetivo de negocio conviene optimizar.
Comprobá tu comprensión +
¿Qué necesita autodiff para calcular gradientes?
Ver respuesta orientativa
Un cálculo diferenciable registrado y los parámetros respecto de los cuales se desea derivar.
Una derivada parcial mide cómo cambia localmente una función al variar un parámetro, manteniendo los demás fijos. El gradiente reúne todas esas derivadas en un vector y señala la dirección de mayor aumento local bajo la geometría euclidiana.
Para reducir una función diferenciable se puede avanzar una distancia pequeña en la dirección opuesta. Es información local: un gradiente pequeño no garantiza buen rendimiento ni un mínimo global; también puede aparecer por saturación o mala escala.
Ejemplo para entenderlo
Si ∂J/∂w=−0,4, aumentar ligeramente w tiende a reducir J en ese entorno.
Error frecuente
Confundir el signo del error de predicción con el signo de todos los gradientes de la red.
Comprobá tu comprensión +
¿Qué significa un gradiente negativo para un peso?
Ver respuesta orientativa
Que, localmente y manteniendo lo demás fijo, aumentar ese peso reduce la función objetivo.
Es la regla de derivación que permite calcular la sensibilidad de una composición de funciones multiplicando las derivadas locales a lo largo de sus dependencias. Es la base matemática de backpropagation.
Cuando un valor influye en la pérdida por varios caminos, sus contribuciones se suman. En redes profundas y recurrentes aparecen productos largos de derivadas, lo que explica parte de la atenuación o amplificación de gradientes.
Ejemplo para entenderlo
En una neurona logística con BCE, la composición se simplifica y produce (p−y)x para el gradiente de w.
Error frecuente
Multiplicar derivadas de un camino y olvidar sumar otros caminos que llegan al mismo parámetro.
Comprobá tu comprensión +
¿Qué sucede si un parámetro se reutiliza varias veces?
Ver respuesta orientativa
Su gradiente total suma las contribuciones de todas las apariciones que influyen en la pérdida.
Es un algoritmo eficiente para calcular gradientes de una función escalar sobre un grafo computacional. Recorre las dependencias desde la pérdida hacia las entradas y parámetros, reutilizando derivadas intermedias.
Backpropagation obtiene sensibilidades, pero no decide cómo modificar los pesos: esa es la función del optimizador. Requiere valores del forward, guardados o recalculados, y acumula contribuciones cuando un parámetro participa en varios caminos.
Ejemplo para entenderlo
Con x=(2,1), p≈0,622459 e y=1: ∇wℓ≈(−0,755082;−0,377541).
Error frecuente
Decir que backpropagation y descenso de gradiente son exactamente el mismo procedimiento.
Comprobá tu comprensión +
¿Backpropagation modifica necesariamente los pesos?
Ver respuesta orientativa
No. Calcula los gradientes; una operación posterior del optimizador aplica la actualización.
Es un método iterativo que modifica parámetros en la dirección opuesta al gradiente para intentar reducir la función objetivo. El tamaño del movimiento depende de la tasa de aprendizaje.
En una superficie no convexa no garantiza alcanzar el mejor mínimo global. El gradiente puede calcularse con todo el conjunto o estimarse con lotes. Tras una actualización conviene observar pérdidas, normas de gradiente y posibles inestabilidades.
Ejemplo para entenderlo
Con w=0,5, gradiente −0,755082 y η=0,1, el nuevo peso es aproximadamente 0,575508.
Error frecuente
Restar un gradiente negativo sin cambiar el signo y mover el peso en la dirección equivocada.
Comprobá tu comprensión +
¿La pérdida debe bajar en cada mini-batch?
Ver respuesta orientativa
No. El ruido del muestreo puede producir aumentos locales aunque la tendencia general mejore.
Es el hiperparámetro que escala la actualización calculada por el optimizador. Controla cuánto cambian los parámetros en relación con la señal de gradiente y tiene un impacto fuerte sobre estabilidad y velocidad de aprendizaje.
Una tasa demasiado grande puede provocar oscilaciones o divergencia; una muy pequeña puede hacer que el proceso avance con lentitud. Su valor útil depende de escala, tamaño de lote, inicialización, optimizador y posible programación temporal.
Ejemplo para entenderlo
Con g=2, η=0,1 da Δθ=−0,2; con η=1 da Δθ=−2.
Error frecuente
Interpretar una pérdida estancada como prueba de que hace falta una red más grande sin revisar primero el paso.
Comprobá tu comprensión +
¿Qué síntoma puede indicar una tasa excesiva?
Ver respuesta orientativa
Pérdidas que oscilan violentamente, se disparan o se vuelven no finitas tras las actualizaciones.
SGD utiliza una estimación del gradiente obtenida con una observación o, en el uso habitual, con un mini-batch. Procesar lotes hace viable entrenar con muchos datos y aprovechar operaciones vectorizadas.
El gradiente del lote aproxima al del conjunto completo, con variación dependiente del muestreo. Esa variación puede ayudar a explorar la superficie, pero también vuelve ruidosas las curvas. El lote debe construirse sin violar la estructura temporal o de grupos requerida.
Ejemplo para entenderlo
Con 1.000 ejemplos y lotes de 32, una época tiene 32 actualizaciones si se conserva el último lote incompleto.
Error frecuente
Mezclar estados recurrentes de clientes diferentes al barajar lotes con memoria persistente.
Comprobá tu comprensión +
¿Lote más grande significa siempre mejor entrenamiento?
Ver respuesta orientativa
No. Cambia costo, memoria, ruido y dinámica de actualización; requiere evaluar el resultado y posiblemente ajustar la tasa.
Una iteración de entrenamiento suele ser una actualización del optimizador sobre un lote. Una época es un recorrido por el conjunto de entrenamiento. Distinguirlas permite comparar cronogramas y curvas de aprendizaje correctamente.
La cantidad de actualizaciones por época depende del tamaño del lote y de si se descarta el lote incompleto. En datos generados en flujo, una época puede definirse convencionalmente por cierta cantidad de pasos, y debe explicitarse.
Ejemplo para entenderlo
N=1.000 y B=32 implican 32 pasos por época; 10 épocas implican 320 actualizaciones.
Error frecuente
Decir que dos modelos entrenaron lo mismo porque tuvieron diez épocas con lotes muy diferentes.
Comprobá tu comprensión +
¿Una época equivale a actualizar cada peso una vez?
Ver respuesta orientativa
No. Cada peso puede actualizarse en cada lote, muchas veces dentro de una misma época.
Es un mecanismo que combina el gradiente actual con una acumulación suavizada de gradientes anteriores. Busca sostener movimientos coherentes y amortiguar oscilaciones en direcciones donde el gradiente cambia de signo.
La variable de velocidad pertenece al optimizador, no a la red como entrada. Hay convenciones diferentes de escala para definirla; se debe indicar la ecuación usada. El historial puede facilitar el avance, pero una configuración inadecuada también puede sobrepasar regiones útiles.
Ejemplo para entenderlo
Si varios gradientes apuntan al mismo lado, la velocidad acumula esa dirección.
Error frecuente
Interpretar momentum como una memoria temporal de la serie de datos que reemplaza una RNN.
Comprobá tu comprensión +
¿Qué recuerda momentum?
Ver respuesta orientativa
Información de actualizaciones del entrenamiento, no el contenido secuencial de un ejemplo para predecir su resultado.
Es un optimizador que mantiene promedios exponenciales del gradiente y de su cuadrado. Con corrección de sesgo inicial, adapta la escala de actualización para cada parámetro usando esos dos historiales.
La tasa de aprendizaje global sigue siendo importante. Adam no garantiza mejor generalización que SGD y no corrige fugas de información. Sus estados aumentan la memoria de entrenamiento respecto de un descenso sin historial.
Ejemplo para entenderlo
Dos pesos con gradientes de magnitudes diferentes pueden recibir escalas de paso distintas.
Error frecuente
Creer que adaptativo significa que no hay hiperparámetros que validar.
Comprobá tu comprensión +
¿Por qué se corrigen los momentos al comienzo?
Ver respuesta orientativa
Porque, al inicializar sus promedios en cero, las primeras estimaciones están desplazadas hacia cero.
Es la elección de valores de los parámetros antes de entrenar. Influye en las escalas de activación y gradiente. En capas ocultas, pesos idénticos pueden mantener unidades simétricas y evitar que aprendan representaciones diferentes.
Inicializaciones aleatorias ajustadas a la cantidad de entradas y salidas buscan evitar que las señales crezcan o se reduzcan demasiado al atravesar capas. He suele acompañar activaciones rectificadas; Glorot considera entradas y salidas. Los sesgos no requieren siempre aleatoriedad.
Ejemplo para entenderlo
Una capa ReLU con 100 entradas puede iniciar pesos con varianza cercana a 0,02.
Error frecuente
Inicializar todos los pesos de una capa oculta con el mismo cero y esperar que sus unidades se especialicen.
Comprobá tu comprensión +
¿Por qué se intenta romper la simetría?
Ver respuesta orientativa
Porque unidades con iguales parámetros y señales pueden recibir actualizaciones iguales y seguir siendo redundantes.
Es el ajuste de la escala de los atributos para que sus magnitudes sean compatibles con un entrenamiento estable. Estandarizar suele significar restar una media y dividir por una desviación estándar estimadas en entrenamiento.
El transformador se ajusta solamente con los datos permitidos en el conjunto de entrenamiento y luego se aplica sin reaprender en validación y test. En validación temporal, debe respetarse cada corte. No todas las normalizaciones son la misma operación.
Ejemplo para entenderlo
Si el consumo tiene media 100 y desvío 20, un valor 140 se transforma en 2.
Error frecuente
Calcular media y desvío sobre toda la serie antes de separar períodos, dejando entrar información futura.
Comprobá tu comprensión +
¿Se recalcula el promedio con el test para que quede mejor centrado?
Ver respuesta orientativa
No en una evaluación fija; se usa el transformador aprendido en entrenamiento para simular el uso real.
Es una elección que configura arquitectura, entrenamiento o regularización y que no se ajusta del mismo modo que los pesos por el gradiente de la pérdida habitual. Ejemplos: número de unidades, dropout, learning rate y longitud de ventana.
Se selecciona mediante validación dentro de un presupuesto comparable. El conjunto de test se reserva para una estimación final, porque elegir repetidamente con su resultado transforma el test en parte del proceso de ajuste.
Ejemplo para entenderlo
Probar dos anchos y tres tasas crea seis configuraciones que deben compararse con la misma partición y criterio.
Error frecuente
Elegir una configuración porque fue la mejor entre muchos intentos sobre el test publicado.
Comprobá tu comprensión +
¿La longitud de ventana es un parámetro aprendido?
Ver respuesta orientativa
Normalmente es un hiperparámetro de construcción de datos, elegido y validado fuera de la actualización de pesos.
L2 añade a la función objetivo una penalización por la magnitud cuadrática de los pesos. Weight decay aplica una contracción de pesos durante la actualización. Ambos buscan controlar el tamaño de parámetros, pero no son universalmente equivalentes.
Con SGD simple y la convención indicada, L2 produce una contracción equivalente. Con optimizadores adaptativos, penalizar la pérdida y aplicar decay desacoplado tienen efectos distintos. Debe declararse si se penalizan sesgos y cómo se escala la penalización.
Ejemplo para entenderlo
Un λ mayor presiona más hacia pesos pequeños, pero puede causar subajuste si domina la señal predictiva.
Error frecuente
Afirmar que L2 y weight decay son idénticos bajo cualquier optimizador y configuración.
Comprobá tu comprensión +
¿Por qué AdamW distingue decay de L2?
Ver respuesta orientativa
Porque desacopla la contracción de pesos del reescalado adaptativo aplicado a los gradientes.
Es una técnica de regularización que anula aleatoriamente ciertas activaciones durante entrenamiento. Introduce ruido y dificulta que la predicción dependa excesivamente de combinaciones específicas de unidades.
En inverted dropout, las activaciones retenidas se dividen por la probabilidad de retención para preservar su esperanza. En inferencia ordinaria se usa la red completa sin ese ruido. Las capas recurrentes requieren cuidar dónde y cómo se aplica.
Ejemplo para entenderlo
Con p=0,2, una activación retenida se multiplica por 1,25 durante el entrenamiento.
Error frecuente
Dejar dropout activo inadvertidamente en evaluación y atribuir las diferencias de predicción a nuevos datos.
Comprobá tu comprensión +
¿Dropout elimina pesos de forma permanente?
Ver respuesta orientativa
No. Modifica temporalmente activaciones durante entrenamiento; los parámetros siguen perteneciendo al modelo.
Early stopping detiene el entrenamiento cuando un criterio de validación deja de mejorar según una regla prefijada. Un checkpoint guarda un estado del modelo; el de mejor validación permite recuperar un punto anterior al último paso.
La paciencia tolera cierta cantidad de evaluaciones sin mejora. Debe declararse qué métrica se controla, qué cuenta como mejora y si se restauran los mejores pesos. Detenerse sin restaurar puede dejar un modelo peor que el mejor observado.
Ejemplo para entenderlo
Si la mejor pérdida ocurrió en la época 18 y se detiene en la 23, se restaura el checkpoint de la 18.
Error frecuente
Mirar el test después de cada época para elegir cuándo detenerse.
Comprobá tu comprensión +
¿Por qué el último checkpoint puede no ser el mejor?
Ver respuesta orientativa
Porque el entrenamiento puede seguir reduciendo su error mientras el de validación ya comenzó a aumentar.
Las curvas muestran cómo evolucionan pérdidas o métricas de entrenamiento y validación. Sobreajuste significa aprender particularidades que no se trasladan a datos nuevos; subajuste significa no capturar suficiente estructura útil ni siquiera en entrenamiento.
Una gran brecha entre curvas puede sugerir sobreajuste, pero también diferencias de distribución o de medición. Revisar capacidad, regularización, cantidad de datos y condiciones de evaluación ayuda a distinguir causas. Las curvas de train y valid deben calcularse de forma comparable.
Ejemplo para entenderlo
Entrenamiento baja de 0,4 a 0,1 mientras validación sube de 0,5 a 0,7: conviene revisar sobreajuste.
Error frecuente
Diagnosticar únicamente por la curva de entrenamiento o comparar una pérdida regularizada con otra sin penalización sin aclararlo.
Comprobá tu comprensión +
¿Qué sugiere que ambas pérdidas sean altas?
Ver respuesta orientativa
Posible subajuste, mala optimización, problemas en los datos o una tarea con mucho ruido; hace falta investigar.
La reproducibilidad exige registrar datos, transformaciones, particiones, código, configuración y resultados para poder repetir o auditar un experimento. La semilla controla algunas fuentes de aleatoriedad, como inicialización y orden de lotes.
Una semilla fija no asegura resultados idénticos entre dispositivos o versiones con operaciones no deterministas. Comparar varias semillas ayuda a estimar variabilidad y evita presentar una ejecución excepcional como rendimiento típico.
Ejemplo para entenderlo
Guardar fecha de corte, versión de datos, hiperparámetros, paquetes y checkpoints de cada ensayo.
Error frecuente
Creer que escribir seed=42 vuelve reproducible cualquier pipeline y suficiente cualquier evaluación.
Comprobá tu comprensión +
¿Por qué conviene informar varias ejecuciones?
Ver respuesta orientativa
Porque inicialización y muestreo pueden cambiar el resultado, y la variabilidad importa para juzgar una mejora pequeña.
03Unidad de estudio · 14 conceptos
Evaluación y decisiones
De una buena predicción a una política defendible.
Son particiones con funciones diferentes: entrenamiento ajusta parámetros; validación orienta elecciones del modelo y la política; test estima finalmente el comportamiento fuera de esas decisiones. La separación debe respetar tiempo, grupos y unidad de análisis.
El preprocesamiento aprendido forma parte del ajuste. Un mismo cliente repetido en train y test puede generar dependencia que invalide una evaluación pretendidamente independiente. El diseño de particiones debe imitar el escenario real de despliegue.
Ejemplo para entenderlo
Para anticipar meses futuros se entrena con meses pasados y se evalúa en meses posteriores.
Error frecuente
Tratar test como una fuente ilimitada de feedback para ajustar arquitectura y umbral.
Comprobá tu comprensión +
¿Puede evaluarse un modelo con un split aleatorio siempre?
Ver respuesta orientativa
No. Si la tarea es temporal o hay grupos dependientes, el split puede compartir información que no existiría al decidir.
Es la incorporación al entrenamiento o evaluación de información que no estaría legítimamente disponible al predecir. Produce métricas demasiado optimistas porque el modelo accede directa o indirectamente a parte de la respuesta o del futuro.
Puede originarse en variables, preprocesamiento, duplicados, ventanas solapadas o selección repetida con test. Para detectarla hay que reconstruir la línea temporal y el linaje de cada atributo, no solo revisar correlaciones altas.
Ejemplo para entenderlo
Predecir abandono con una marca de baja creada al final del mes que se pretende anticipar es fuga.
Error frecuente
Pensar que excluir la columna objetivo elimina todas las formas de leakage.
Comprobá tu comprensión +
¿Estandarizar antes de dividir puede introducir fuga?
Ver respuesta orientativa
Sí. Se estiman estadísticas usando validación o test, alterando la simulación de datos no observados durante el ajuste.
Es una solución de referencia sencilla contra la que se juzga la utilidad de una propuesta más compleja. Debe ser razonable para la tarea y evaluarse bajo las mismas condiciones de datos, particiones y métrica.
En tabulares puede ser una regresión logística; en series, el último valor o el valor estacional anterior. La comparación debe incluir costo, calibración y estabilidad, además de una métrica agregada. Ganar a una referencia artificialmente mala aporta poca evidencia.
Ejemplo para entenderlo
Un pronóstico semanal debe competir con la venta del mismo día de la semana anterior.
Error frecuente
Usar variables futuras para la red o darle mucha más búsqueda de hiperparámetros sin reconocer la diferencia.
Comprobá tu comprensión +
¿Por qué un baseline simple puede ser preferible?
Ver respuesta orientativa
Porque puede ofrecer desempeño similar con menor costo, mantenimiento más fácil y una explicación más clara.
Ocurre cuando las clases tienen frecuencias muy distintas. Puede hacer que una métrica global aparente ser buena aunque el modelo no detecte la clase relevante. La prevalencia es la proporción de positivos en la población evaluada.
Conviene revisar precision, recall, curva PR y costos. Ponderar clases o remuestrear modifica el entrenamiento y puede alterar la interpretación de las probabilidades. Validación y test deben representar el escenario de uso o explicar cualquier cambio de distribución.
Ejemplo para entenderlo
Con 5% de bajas, predecir siempre no baja alcanza 95% de accuracy y recall de bajas igual a cero.
Error frecuente
Concluir que 95% de accuracy implica excelente detección de la clase minoritaria.
Comprobá tu comprensión +
¿La precisión positiva depende de la prevalencia?
Ver respuesta orientativa
Sí. Con tasas de verdaderos y falsos positivos fijas, cambiar la prevalencia cambia la precision esperada.
Es una tabla que cruza la clase real con la decisión del clasificador para un umbral concreto. Distingue verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos; cada celda puede tener costos diferentes.
La matriz describe decisiones, no todas las propiedades del ranking. Cambiar el umbral mueve observaciones entre celdas. Deben declararse la clase positiva, el período y si los conteos se ponderaron para interpretar las tasas correctamente.
Ejemplo para entenderlo
En retención, un falso positivo es contactar a alguien que no habría abandonado según la etiqueta observada.
Error frecuente
Invertir filas y columnas sin etiquetas y atribuir recall al denominador equivocado.
Comprobá tu comprensión +
¿Qué cambia al bajar el umbral?
Ver respuesta orientativa
En general se predicen más positivos: pueden aumentar TP y FP, y reducirse FN y TN.
Accuracy mide la proporción de decisiones correctas; precision mide cuántos positivos predichos eran positivos reales; recall mide cuántos positivos reales se detectaron. Responden preguntas diferentes y requieren un umbral definido.
Si no hay positivos predichos, precision tiene denominador cero; debe declararse la convención de reporte. F1 resume precision y recall, pero no representa por sí mismo costos económicos ni necesariamente la prioridad de una política.
Ejemplo para entenderlo
Con TP=30, FP=20 y FN=10: precision=0,60; recall=0,75; F1≈0,667.
Error frecuente
Usar precision como traducción de accuracy y mezclar sus definiciones.
Comprobá tu comprensión +
¿Qué métrica prioriza evitar dejar positivos sin detectar?
Ver respuesta orientativa
Recall; debe acompañarse del costo de falsos positivos y de la capacidad disponible.
La curva ROC muestra recall o TPR frente a la tasa de falsos positivos al variar el umbral. Su área resume discriminación: cómo ordena el modelo positivos frente a negativos, sin fijar una política única.
Puede interpretarse como la probabilidad de que un positivo elegido al azar reciba más score que un negativo, contando empates con medio peso. No mide calibración ni beneficio. En eventos raros, una FPR pequeña puede representar muchos falsos positivos.
Ejemplo para entenderlo
Un ROC-AUC de 0,70 indica capacidad de ordenamiento superior al azar, pero no 70% de exactitud.
Error frecuente
Interpretar AUC como porcentaje de clientes correctamente clasificados o como probabilidad de que una oferta funcione.
Comprobá tu comprensión +
¿Dos modelos con igual AUC tienen la misma política óptima?
Ver respuesta orientativa
No necesariamente; pueden diferir en calibración y en el tramo de la curva que importa para la capacidad operativa.
La curva PR relaciona precision y recall al cambiar el umbral. Es especialmente informativa cuando los positivos son escasos y se quiere entender qué proporción de los casos priorizados pertenece a esa clase.
Average precision y el área trapezoidal bajo la curva PR son resúmenes diferentes: la interpolación importa. Debe indicarse qué implementación se usa. La prevalencia fija una referencia importante para interpretar resultados y comparar poblaciones.
Ejemplo para entenderlo
Con prevalencia 0,10, una precision de 0,40 en el tramo útil selecciona cuatro veces la proporción base de positivos.
Error frecuente
Comparar AP entre conjuntos con prevalencias muy distintas sin explicar el cambio.
Comprobá tu comprensión +
¿PR-AUC y average precision son siempre iguales?
Ver respuesta orientativa
No. Pueden diferir por la definición de integración y la interpolación entre puntos de precision y recall.
Es la concordancia entre probabilidades predichas y frecuencias observadas. Un modelo calibrado que asigna cerca de 0,8 a muchos casos debería observar aproximadamente 80% de positivos entre esos casos, dentro de la incertidumbre muestral.
La calibración se estudia con curvas de confiabilidad y métricas apropiadas en datos fuera de muestra. Un excelente ranking puede convivir con probabilidades exageradas. Recalibrar también requiere separar los datos usados para ajustar y para evaluar.
Ejemplo para entenderlo
Entre 1.000 casos con riesgo cercano a 0,2 se esperan alrededor de 200 positivos si la calibración es adecuada.
Error frecuente
Confundir AUC alta con probabilidades confiables para calcular valores esperados.
Comprobá tu comprensión +
¿Para qué sirve calibrar además de ordenar?
Ver respuesta orientativa
Para combinar probabilidades con costos y beneficios en decisiones que requieren magnitudes interpretables.
Es el valor que convierte un score o una probabilidad en una acción o clase. No pertenece necesariamente al entrenamiento de la red: se selecciona de acuerdo con costos, capacidad y objetivos de la decisión.
El valor 0,5 es una convención útil bajo ciertos supuestos, no una regla universal. Si la capacidad está limitada, puede usarse una política top-k. Elegir el umbral en validación y evaluarlo después evita adaptar la política al test.
Ejemplo para entenderlo
Si un falso negativo cuesta 9 y un falso positivo 1, el umbral teórico es 0,1 bajo probabilidades calibradas y esos supuestos.
Error frecuente
Aplicar esa fórmula sin comprobar la estructura de costos o usarla como prueba de eficacia causal de una intervención.
Comprobá tu comprensión +
¿Subir el umbral suele aumentar o disminuir recall?
Ver respuesta orientativa
Suele disminuirlo, porque se seleccionan menos casos como positivos.
Lift compara la proporción de positivos dentro de un segmento priorizado con la prevalencia global. Sirve para evaluar el ranking cuando solo puede atenderse una fracción de la población. Debe declararse claramente qué significa k.
Lift@15% se calcula seleccionando el 15% con mayor score. El resultado describe concentración de positivos observados; no mide cuántos casos se evitarán por una acción. También importa el tamaño de muestra y el tratamiento de empates.
Ejemplo para entenderlo
Si prevalencia=0,10 y el top-15% tiene precision=0,154, el lift es 1,54.
Error frecuente
Presentar lift de riesgo como incremento causal de retención causado por la campaña.
Comprobá tu comprensión +
¿Qué significa lift=1?
Ver respuesta orientativa
Que el segmento priorizado tiene la misma proporción de positivos que la población de referencia.
Es la evaluación de una acción mediante sus resultados posibles, probabilidades y valores. Conecta la predicción con una política explícita, incorporando costos de contacto, errores, capacidad y beneficios definidos.
En clasificación de eventos, una tabla de costos permite comparar decisiones. En intervenciones comerciales, calcular beneficios incrementales requiere además estimar el efecto de la acción: conocer el riesgo no alcanza para saber quién responderá. Los supuestos deben hacerse visibles.
Ejemplo para entenderlo
Una política de revisión manual puede balancear costo de revisar contra costo de omitir un caso, con probabilidades calibradas.
Error frecuente
Asignar a todo cliente de alto riesgo el beneficio completo de evitar una baja sin estimar la respuesta a la oferta.
Comprobá tu comprensión +
¿Qué falta para valorar una campaña de retención?
Ver respuesta orientativa
Una estimación válida de cómo cambia el resultado al intervenir, además del riesgo y los costos.
La predicción estima resultados a partir de información observada; el efecto causal compara lo que ocurriría con y sin una intervención. Son objetos distintos: una persona de alto riesgo puede ser poco sensible a la acción disponible.
Para estimar efectos se necesita un diseño de identificación, por ejemplo aleatorización o supuestos observacionales defendibles. La arquitectura de la red no crea por sí misma la comparación contrafactual. Una política rentable suele requerir efectos heterogéneos y costos.
Ejemplo para entenderlo
Dos clientes con igual riesgo de baja pueden responder de manera muy diferente a un descuento.
Error frecuente
Afirmar que seleccionar clientes con alto score demuestra un incremento de retención.
Comprobá tu comprensión +
¿Una red predictiva identifica automáticamente un efecto de tratamiento?
Ver respuesta orientativa
No. Hace falta definir el tratamiento, los resultados potenciales y la estrategia que permite compararlos.
Interpretabilidad busca comprender el comportamiento del modelo; equidad analiza cómo decisiones y errores se distribuyen entre grupos; deriva describe cambios en datos o relaciones a lo largo del tiempo. Son dimensiones distintas del uso responsable.
Una explicación local no demuestra causalidad ni ausencia de sesgo. Conviene registrar versiones, métricas por grupo y período, calidad de entradas y cambios de prevalencia. Monitorear sirve para detectar cuándo una validación histórica ya no representa el contexto.
Ejemplo para entenderlo
La calibración global puede parecer buena mientras un grupo pequeño recibe riesgos sistemáticamente exagerados.
Error frecuente
Dar una explicación visual atractiva y considerarla sustituto de la evaluación por grupos y del monitoreo posterior.
Comprobá tu comprensión +
¿Por qué hace falta trazabilidad?
Ver respuesta orientativa
Para reconstruir qué datos, modelo, umbral y reglas produjeron una decisión y poder revisarla.
04Unidad de estudio · 14 conceptos
Datos secuenciales y pronóstico
Orden, ventanas y evaluación sin mirar el futuro.
Una secuencia es una colección ordenada de observaciones. Existe dependencia temporal cuando valores pasados aportan información sobre otros momentos. El orden puede contener significado que se pierde si se reduce todo a un promedio.
La posición puede ser temporal, textual o de eventos. No toda secuencia está observada a intervalos regulares: en registros irregulares, los tiempos entre eventos pueden ser atributos relevantes. La arquitectura debe recibir la información de orden que la tarea necesita.
Ejemplo para entenderlo
Las ventas 10→20→30 y 30→20→10 tienen el mismo promedio, pero tendencias opuestas.
Error frecuente
Tratar las filas como intercambiables sin revisar si permutarlas cambia el problema.
Comprobá tu comprensión +
¿Cuándo puede bastar una tabla de rezagos en lugar de una RNN?
Ver respuesta orientativa
Cuando una ventana fija y atributos bien construidos capturan la dependencia útil, según una comparación fuera de muestra.
Una serie univariada registra una variable a lo largo del tiempo. Una entrada multivariada reúne varias variables por paso, como demanda, precio y temperatura. La disponibilidad futura de cada covariable determina cómo puede usarse al pronosticar.
Calendario o promociones ya planificadas pueden conocerse para el horizonte; el clima futuro observado no se conoce de antemano y exige pronóstico o escenarios. Debe distinguirse entre variables objetivo, históricas y conocidas en el futuro.
Ejemplo para entenderlo
Un modelo recibe demanda y precio de las últimas 12 semanas y el calendario de la semana siguiente.
Error frecuente
Entrenar con el clima real de mañana como si ya se conociera al emitir el pronóstico.
Comprobá tu comprensión +
¿Multivariado significa necesariamente varios objetivos?
Ver respuesta orientativa
No. Puede haber muchas variables de entrada y un único objetivo de salida.
Un paso temporal es una posición de la secuencia; la frecuencia indica la separación o agregación entre observaciones, como hora, día o mes. Elegirla cambia patrones visibles, cantidad de datos y el horizonte expresado en pasos.
En series regulares, doce pasos mensuales representan un año; doce pasos diarios no. Agregar puede reducir ruido, pero también ocultar picos y eventos. Los registros ausentes no deben confundirse con ventas o mediciones iguales a cero.
Ejemplo para entenderlo
Una ventana de 24 pasos corresponde a un día si los datos son horarios.
Error frecuente
Comparar un modelo diario con uno mensual sin ajustar el significado del error ni la agregación.
Comprobá tu comprensión +
¿Un hueco en el calendario es igual a un valor cero?
Ver respuesta orientativa
No. Es falta de observación; decidir cómo imputarlo requiere conocer el proceso y la disponibilidad de información.
Un rezago es el valor de una variable desplazado hacia el pasado. La autocorrelación mide asociación lineal entre una serie y una copia rezagada. Ayuda a explorar dependencia y estacionalidad, pero no prueba causalidad.
Los rezagos deben construirse respetando el instante de predicción. Tendencias compartidas pueden producir autocorrelaciones altas sin una dinámica estable. Las transformaciones y diferencias pueden cambiar lo que se interpreta, y deben justificarse.
Ejemplo para entenderlo
Ventas de hoy pueden relacionarse con las de ayer y con las del mismo día de la semana anterior.
Error frecuente
Calcular una media móvil centrada que incluye días futuros y usarla como atributo histórico.
Comprobá tu comprensión +
¿Una ACF alta garantiza que una RNN será necesaria?
Ver respuesta orientativa
No. Un baseline persistente o un modelo de rezagos puede capturar gran parte de esa señal.
Es una forma de convertir una serie en ejemplos supervisados usando un tramo pasado como entrada y un resultado posterior como etiqueta. La longitud de la ventana define cuánto historial se presenta explícitamente al modelo.
Para predecir en t+1, la ventana puede terminar en t. Desplazarla genera ejemplos solapados, que no son independientes. El diseño del corte y del horizonte debe impedir que la etiqueta futura aparezca como entrada del mismo ejemplo o como información de entrenamiento indebida.
Ejemplo para entenderlo
Con L=4 y h=1, (10,12,11,13) sirve para predecir la observación siguiente, sin incluirla en X.
Error frecuente
Dividir aleatoriamente ventanas altamente solapadas y presentar el resultado como una simulación de pronóstico futuro.
Comprobá tu comprensión +
¿Ventana de 12 significa que el modelo aprende exactamente 12 meses de memoria?
Ver respuesta orientativa
No. Significa que recibe 12 pasos; el uso efectivo de ese historial depende de datos, arquitectura y entrenamiento.
Es la distancia entre el origen del pronóstico y el instante que se quiere anticipar. Puede expresarse en pasos o unidades de tiempo. Diferentes horizontes suelen tener dificultades y necesidades de información distintas.
Una evaluación multihorizonte debe reportar el rendimiento para cada distancia o explicar cómo las agrega. El objetivo puede ser el valor de un día, un total semanal o una trayectoria completa; esas tareas no son intercambiables.
Ejemplo para entenderlo
Emitir hoy pronósticos de demanda para mañana, dentro de siete días y dentro de treinta días.
Error frecuente
Mezclar errores de todos los horizontes y ocultar que el modelo falla en el plazo que se usa para decidir.
Comprobá tu comprensión +
¿Por qué importa el origen del pronóstico?
Ver respuesta orientativa
Porque determina qué observaciones y covariables se conocían realmente al emitir cada predicción.
Son estrategias para predecir varios pasos. La recursiva reutiliza predicciones como entradas posteriores; la directa ajusta objetivos específicos por horizonte; la multisalida produce varios horizontes conjuntamente desde la misma ventana.
La recursiva puede acumular errores y encontrar entradas distintas de las vistas al entrenar. La directa evita esa realimentación, pero puede requerir varios modelos. La multisalida comparte representación; su comparación debe mantener el protocolo y horizonte iguales.
Ejemplo para entenderlo
Para siete días, una red puede emitir siete números juntos o aplicar siete veces una regla de un paso.
Error frecuente
Evaluar con valores reales previos una estrategia que en producción recibirá sus propias predicciones.
Comprobá tu comprensión +
¿Qué problema aparece al realimentar predicciones?
Ver respuesta orientativa
Los errores alteran las entradas de los pasos siguientes y pueden amplificarse con el horizonte.
La tendencia es un cambio sostenido del nivel; la estacionalidad es un patrón asociado a una periodicidad relativamente estable, como semana o año. Ambas pueden explicar predicciones buenas sin que se haya aprendido una dinámica sofisticada.
Identificar periodicidades ayuda a construir baselines y variables de calendario. Cambios de régimen pueden romper patrones históricos. Una red necesita suficientes ejemplos de los ciclos relevantes; una ventana larga no crea ciclos que no existen en los datos.
Ejemplo para entenderlo
Para ventas diarias con patrón semanal, s=7 permite comparar con el mismo día de la semana anterior.
Error frecuente
Llamar estacional a cualquier oscilación aislada o validar con períodos que no cubren el ciclo relevante.
Comprobá tu comprensión +
¿Por qué el baseline estacional es exigente?
Ver respuesta orientativa
Porque ya captura una estructura repetitiva importante y obliga a justificar lo que aporta el modelo adicional.
Es una separación que reserva momentos posteriores para validar y probar el modelo. Una purga elimina ejemplos de entrenamiento cuyas etiquetas o intervalos de información se superponen indebidamente con el período de evaluación.
La necesidad y longitud de un gap dependen del horizonte, retrasos de disponibilidad y definición de etiquetas. Compartir historia pasada conocida al origen de pronóstico puede ser legítimo; usar etiquetas aún no disponibles no lo es. Hay que razonar con fechas, no con una regla mecánica.
Ejemplo para entenderlo
Si la etiqueta resume los próximos siete días, se excluyen orígenes de entrenamiento cuyo resultado todavía no se conoce en el corte.
Error frecuente
Prohibir toda superposición de historia sin distinguirla de una fuga real, o permitir etiquetas futuras por mirar solo fechas de entrada.
Comprobá tu comprensión +
¿Puede una ventana de test usar historia anterior al corte?
Ver respuesta orientativa
Sí, si esa historia estaba disponible al predecir y no se utilizan resultados futuros para ajustar el modelo.
Es una evaluación que avanza el origen de pronóstico a través del tiempo. En cada corte se utiliza únicamente información disponible hasta entonces y se generan predicciones para el período posterior. Reproduce mejor decisiones repetidas que un único corte.
Puede usar ventana de entrenamiento creciente o móvil. Reentrenar pesos, actualizar preprocesamiento y cambiar hiperparámetros son decisiones distintas que deben definirse. Los errores de ventanas solapadas pueden estar correlacionados, lo que afecta cómo se interpreta su variabilidad.
Ejemplo para entenderlo
Entrenar hasta junio y predecir julio; luego entrenar hasta julio y predecir agosto.
Error frecuente
Reutilizar un scaler ajustado con toda la serie mientras se afirma que cada fold solo conocía el pasado.
Comprobá tu comprensión +
¿Walk-forward exige reentrenar en cada observación?
Ver respuesta orientativa
No. La frecuencia de reentrenamiento debe reflejar el uso previsto y declararse en el protocolo.
MAE es el promedio del valor absoluto de los residuos; RMSE es la raíz del promedio de sus cuadrados. Ambas se expresan en las unidades del objetivo, pero RMSE da mayor peso relativo a errores grandes.
Elegir entre ellas depende de cómo se valoran los errores. Conviene revisar métricas por horizonte y segmento. Un promedio bajo puede ocultar fallas sistemáticas en productos de alta demanda o en períodos críticos para el negocio.
Ejemplo para entenderlo
Con errores de magnitud 1 y 3: MAE=2 y RMSE≈2,236.
Error frecuente
Decir que RMSE menor que MAE es normal al calcular ambos sobre exactamente los mismos errores y pesos.
Comprobá tu comprensión +
¿Cuál penaliza relativamente más un error excepcionalmente grande?
Ver respuesta orientativa
RMSE, por el cuadrado que se aplica antes de promediar y extraer la raíz.
MAPE promedia errores absolutos relativos al valor real y los expresa en porcentaje. Facilita una lectura proporcional en algunas series positivas, pero no está definido cuando el valor real es cero y puede ser inestable cerca de cero.
Su denominador hace que observaciones pequeñas reciban mucho peso. Agregar un epsilon cambia la métrica y debe explicarse. Para demanda intermitente conviene contrastar con MAE, RMSE u otras métricas justificadas en lugar de ocultar ceros.
Ejemplo para entenderlo
Predecir 2 cuando la venta real es 1 da 100%; un error de 1 sobre venta 100 da 1%.
Error frecuente
Eliminar períodos con venta cero para mejorar la métrica sin informar el cambio de población.
Comprobá tu comprensión +
¿Una demanda real cero admite MAPE estándar?
Ver respuesta orientativa
No. La división por cero lo impide; debe elegirse otra métrica o explicitar una modificación.
Padding rellena secuencias de distinta longitud para formar un lote rectangular. La máscara o las longitudes indican qué posiciones corresponden a datos reales y cuáles son relleno; esa distinción debe respetarse en cálculo y evaluación.
Un cero puede ser una observación válida, por lo que no siempre basta con comparar valores. En recurrentes, una representación final tomada después del padding puede contaminarse si la capa no ignora esos pasos. El tratamiento depende de la biblioteca.
Ejemplo para entenderlo
Una secuencia de 3 pasos en un lote de longitud 5 lleva dos posiciones de padding que no deben aportar pérdida.
Error frecuente
Promediar la pérdida sobre posiciones ficticias y premiar al modelo por predecir relleno.
Comprobá tu comprensión +
¿Por qué guardar la longitud real de cada secuencia?
Ver respuesta orientativa
Para identificar pasos válidos y seleccionar el estado o salida correspondiente al último dato observado.
One-hot representa una categoría con un vector de ceros y un único uno. Un embedding asigna un vector denso aprendido a cada categoría o token, de modo que el modelo pueda reutilizar dimensiones y relaciones útiles para la tarea.
Los índices de categorías no son magnitudes numéricas con distancia económica natural. El vocabulario y el tratamiento de categorías desconocidas deben definirse con entrenamiento. Un embedding puede ser entrada de una red recurrente, pero no incorpora por sí solo el orden.
Ejemplo para entenderlo
Un identificador de producto se transforma en 16 números aprendidos antes de combinarlo con precio y ventas.
Error frecuente
Usar el código de categoría 300 como si significara tres veces la categoría 100.
Comprobá tu comprensión +
¿Un embedding ordena temporalmente los datos?
Ver respuesta orientativa
No. Representa elementos; el orden debe preservarse en la estructura de secuencia o mediante información posicional.
05Unidad de estudio · 16 conceptos
Redes neuronales recurrentes · RNN
Qué transporta el estado y cómo aprende en el tiempo.
Es una arquitectura que procesa secuencias actualizando un estado interno a partir de la entrada actual y del estado anterior. Esa recurrencia permite que la salida dependa del historial sin asignar pesos independientes a cada posición temporal.
Los parámetros se comparten entre pasos. Una RNN simple suele comprimir la historia en un vector de dimensión fija, cuya información útil debe aprenderse. No conserva necesariamente todos los datos anteriores ni aprende dependencias arbitrariamente largas con facilidad.
Ejemplo para entenderlo
Una RNN de ventas procesa cada semana y actualiza un resumen antes de pronosticar la demanda siguiente.
Error frecuente
Describir el estado como una copia exacta de todo el pasado o como una base de datos que guarda observaciones completas.
Comprobá tu comprensión +
¿Qué distingue a una RNN de aplicar un MLP por separado en cada paso?
Ver respuesta orientativa
La conexión desde el estado anterior permite que el cálculo actual dependa de pasos anteriores.
Es el vector que la RNN transporta de un paso al siguiente. Resume información del historial de forma aprendida y se actualiza con cada nueva entrada. Es una variable de activación asociada a una secuencia concreta, no un parámetro fijo.
Su dimensión H se elige al diseñar la arquitectura. Las mismas matrices actualizan estados diferentes para ejemplos diferentes. En una LSTM existe además un estado de celda ct, distinto del estado oculto ht; no deben confundirse.
Ejemplo para entenderlo
Con H=16, cada paso conserva un resumen de 16 componentes aunque el historial tenga cientos de observaciones.
Error frecuente
Confundir 16 unidades de estado con memoria exacta de los últimos 16 pasos.
Comprobá tu comprensión +
¿El estado oculto se aprende igual que una matriz de pesos?
Ver respuesta orientativa
No. Se calcula en el forward para cada secuencia; se aprenden los parámetros de la regla que lo actualiza.
Desplegar una RNN representa su cálculo como una cadena de pasos temporales conectados. Los nodos de distintos tiempos son aplicaciones repetidas de la misma celda y de los mismos parámetros, no redes independientes.
Esta vista convierte la recurrencia en un grafo finito para una secuencia de longitud T y facilita aplicar backpropagation. La profundidad temporal aumenta con T aunque el número de parámetros de una capa recurrente permanezca constante.
Ejemplo para entenderlo
Una ventana de 12 meses y otra de 24 usan la misma matriz recurrente, pero distinto número de operaciones.
Error frecuente
Multiplicar el número de parámetros por la longitud de la secuencia al desplegar la RNN.
Comprobá tu comprensión +
¿Qué crece al duplicar T con H fijo?
Ver respuesta orientativa
El trabajo y las activaciones temporales necesarias para el cálculo, no los parámetros compartidos de la celda.
En una RNN simple, la matriz de entrada transforma atributos del paso actual, la recurrente transforma el estado previo y la de salida convierte el nuevo estado en una predicción. Separarlas aclara dimensiones y papeles del cálculo.
Con vectores columna, Wx tiene H filas y d columnas; Wh es H×H; Wy es K×H. La salida puede calcularse en todos los pasos o solo en los necesarios. Los sesgos pertenecen a las transformaciones correspondientes.
Ejemplo para entenderlo
Con d=4, H=8 y K=1, Wh combina ocho componentes pasadas para cada una de las ocho nuevas.
Error frecuente
Interpretar cada coeficiente de Wh como una relación causal estable entre variables originales.
Comprobá tu comprensión +
¿Qué matriz conecta el pasado con el estado actual?
Ver respuesta orientativa
Wh, aplicada al estado oculto anterior antes de la activación.
El conteo suma los pesos y sesgos distintos que se entrenan en una arquitectura. En una RNN simple de una capa, el bloque recurrente contiene H×d pesos de entrada, H×H pesos recurrentes y, en una convención, H sesgos.
La longitud temporal no multiplica parámetros compartidos. Hay implementaciones con dos vectores de sesgo, uno por transformación. La cabeza de salida y otras capas deben añadirse aparte. Comparar cantidades exige declarar la convención.
Ejemplo para entenderlo
Con d=4 y H=8, el bloque tiene 104 parámetros con un sesgo y 112 con dos.
Error frecuente
Comparar el bloque de una red contra el modelo completo de otra o ignorar los sesgos de la biblioteca.
Comprobá tu comprensión +
¿Cuántos pesos recurrentes hay para H=8?
Ver respuesta orientativa
64, porque la matriz recurrente tiene tamaño 8×8.
Es un ejemplo con una sola componente de entrada y estado que permite seguir numéricamente la recurrencia. Aísla el papel del estado previo sin la complejidad de matrices, y ayuda a comprobar código y comprensión.
Se fija un estado inicial y se aplica la misma ecuación a cada observación en orden. Aunque una entrada sea cero, el estado anterior puede mantener una respuesta no nula. El tamaño de esa persistencia depende del peso recurrente y de la activación.
Ejemplo para entenderlo
Con entradas (1,0): h₁=tanh(1)≈0,761594; h₂=tanh(0,380797)≈0,363399.
Error frecuente
Reiniciar h en cero antes de cada paso y afirmar que se está evaluando la misma recurrencia.
Comprobá tu comprensión +
¿Por qué h₂ no es cero si x₂=0?
Ver respuesta orientativa
Porque la transformación recibe también 0,5h₁, que transporta parte de la información del paso anterior.
Many-to-one produce una salida por secuencia, como una clasificación final. Many-to-many produce varias salidas, a menudo alineadas con pasos de entrada. Sequence-to-sequence puede generar una secuencia de longitud distinta usando un esquema codificador-decodificador.
La tarea determina qué estados se supervisan y cómo se agregan pérdidas. No toda RNN debe predecir después de cada paso. Las formas de los tensores y las máscaras deben coincidir con las etiquetas disponibles y el horizonte que se pretende evaluar.
Ejemplo para entenderlo
Clasificar una reseña completa es many-to-one; etiquetar cada palabra es many-to-many alineado.
Error frecuente
Forzar una salida por paso y repetir una etiqueta final sin explicar el objetivo que eso introduce.
Comprobá tu comprensión +
¿La salida de una RNN debe tener la misma longitud que la entrada?
Ver respuesta orientativa
No. Depende de la arquitectura de salida y de la tarea de supervisión.
Es el criterio que combina errores de una o varias posiciones de una secuencia. Puede usar solo la salida final, todas las salidas válidas o una selección de horizontes, según el problema.
Sumar o promediar cambia la escala del gradiente cuando varía la longitud. La máscara debe excluir padding y etiquetas no observadas. También debe decidirse si se da igual peso a cada secuencia o a cada paso, porque no equivalen con longitudes variables.
Ejemplo para entenderlo
Una reseña se supervisa al final; un modelo de siguiente token calcula pérdida en varias posiciones.
Error frecuente
Dejar que secuencias largas dominen involuntariamente el objetivo o incluir pasos de relleno en el promedio.
Comprobá tu comprensión +
¿Puede el primer paso recibir gradiente desde una pérdida final?
Ver respuesta orientativa
Sí, si el grafo recurrente conecta ese paso con la salida final y no se corta esa dependencia.
Es backpropagation aplicado al grafo temporal desplegado de una red recurrente. Calcula cómo los parámetros compartidos influyen en pérdidas posteriores a través de las transiciones del estado, además de sus contribuciones locales.
El gradiente de un peso suma aportes de todas sus apariciones. Conservar el grafo completo exige memoria para activaciones temporales. Las dependencias lejanas involucran productos de Jacobianos y pueden proporcionar señales pequeñas o inestables.
Ejemplo para entenderlo
La pérdida en el paso 10 puede atribuir parte de su error al procesamiento del paso 1.
Error frecuente
Decir que BPTT es un algoritmo distinto de la regla de la cadena o que entrena pesos independientes en cada tiempo.
Comprobá tu comprensión +
¿Por qué se acumulan contribuciones al mismo peso?
Ver respuesta orientativa
Porque la celda reutiliza ese parámetro en varios pasos, todos potencialmente relevantes para la pérdida.
Es la matriz de derivadas del estado actual respecto del anterior. Describe cómo una pequeña perturbación del pasado se transforma al avanzar un paso. Su producto a través del tiempo interviene en la propagación de gradientes.
En una RNN con tanh combina la derivada de la activación con la matriz recurrente. El comportamiento depende de direcciones, estados y productos de matrices; no basta con mirar un único coeficiente aislado para caracterizar todo el sistema.
Ejemplo para entenderlo
En un caso escalar idealizado, multiplicar por 0,5 en 20 pasos reduce una sensibilidad a 0,5²⁰≈9,54×10⁻⁷.
Error frecuente
Presentar el radio espectral de Wh como diagnóstico completo y exacto de cualquier gradiente real durante entrenamiento.
Comprobá tu comprensión +
¿Qué representa una componente del Jacobiano?
Ver respuesta orientativa
La sensibilidad local de una componente del nuevo estado a una componente del estado anterior.
Es la reducción de la señal de gradiente al atravesar muchos pasos o capas. Dificulta que parámetros asociados con información lejana reciban una corrección suficiente para aprender a usarla.
Productos de derivadas con efecto contractivo pueden hacer diminutas esas contribuciones. El estado aún puede contener información mientras el entrenamiento no logra atribuirle su efecto: persistencia del estado y facilidad de aprendizaje no son la misma propiedad.
Ejemplo para entenderlo
Una RNN puede ajustar bien dependencias de ayer y fallar en relaciones que requieren recordar un evento de hace meses.
Error frecuente
Afirmar que gradient clipping arregla el vanishing: clipping limita magnitudes grandes, no amplifica las pequeñas.
Comprobá tu comprensión +
¿Qué busca mejorar una arquitectura con compuertas?
Ver respuesta orientativa
Rutas de transporte y actualización que permitan preservar información y facilitar gradientes en condiciones adecuadas.
Es el crecimiento excesivo de la magnitud del gradiente al atravesar una composición de operaciones. Puede causar actualizaciones enormes, pérdidas no finitas y entrenamiento inestable, especialmente en redes recurrentes largas.
El diagnóstico incluye normas de gradiente, activaciones y valores no finitos. Clipping, inicialización y tasa de aprendizaje pueden ayudar, pero también hay que revisar datos y operaciones. No es simplemente sinónimo de un error de predicción grande.
Ejemplo para entenderlo
Una actualización produce pesos enormes y el siguiente forward devuelve valores no finitos.
Error frecuente
Tratar cualquier pérdida alta como evidencia suficiente de exploding gradients sin medir el gradiente.
Comprobá tu comprensión +
¿Qué observación ayuda a confirmar el problema?
Ver respuesta orientativa
Un aumento abrupto y excesivo de la norma de gradientes junto con actualizaciones inestables.
Es una operación que limita el tamaño del gradiente antes de actualizar parámetros. En clipping por norma global, si la norma supera un umbral, se reescala el vector completo conservando su dirección; si no, se deja intacto.
Debe aplicarse después de obtener gradientes y antes del paso del optimizador. Recortar cada componente es una regla distinta y puede cambiar la dirección. El umbral es un hiperparámetro que conviene monitorear junto con la frecuencia de recorte.
Ejemplo para entenderlo
Si g=(3,4), su norma es 5; con c=2 se obtiene (1,2;1,6), de norma 2.
Error frecuente
Usar clipping como sustituto de una tasa razonable o como solución al desvanecimiento del gradiente.
Comprobá tu comprensión +
¿Qué pasa si la norma ya es menor que c?
Ver respuesta orientativa
El gradiente queda igual; no se agranda hasta alcanzar el umbral.
Es una aproximación que divide secuencias largas en segmentos y limita cuán atrás se propagan los gradientes. Puede transportar el valor del estado entre segmentos mientras desconecta su historial del grafo de diferenciación.
Detach conserva el contenido numérico del tensor, pero corta la atribución de gradiente hacia el segmento anterior. Reduce memoria y costo por actualización a cambio de limitar qué dependencias puede aprender directamente desde una pérdida dada.
Ejemplo para entenderlo
Procesar segmentos de 20 pasos puede conservar el estado entre ellos sin retropropagar una pérdida a través de toda la serie.
Error frecuente
Afirmar que transportar el estado implica conservar también todos los caminos de gradiente previos.
Comprobá tu comprensión +
¿Truncar significa reiniciar el estado en cero?
Ver respuesta orientativa
No necesariamente. Puede mantenerse su valor y cortar solo el grafo; reiniciar es una decisión adicional.
El estado inicial es el resumen con el que comienza el procesamiento. Puede ser cero, aprendido o derivado de otra representación. Stateful transporta estados entre segmentos relacionados; stateless reinicia para ejemplos considerados independientes.
Persistir estado exige respetar la identidad y el orden de las secuencias. No debe pasar el estado de un cliente al de otro ni de test a train. En una LSTM se administran tanto h como c, además de sus conexiones de gradiente.
Ejemplo para entenderlo
Si cada lote continúa la historia de la misma máquina, puede conservarse el estado; si cambia la máquina, se reinicia.
Error frecuente
Confundir el estado persistente de inferencia con los pesos entrenados o con la memoria del optimizador.
Comprobá tu comprensión +
¿Por qué barajar lotes puede ser problemático en modo stateful?
Ver respuesta orientativa
Porque puede conectar artificialmente el final de una serie con el comienzo de otra diferente.
Una RNN apilada usa salidas de una capa recurrente como entradas de otra. Una bidireccional combina estados calculados en sentido directo e inverso sobre una secuencia disponible. Son formas distintas de aumentar el contexto y la capacidad.
La bidireccional usa pasos posteriores respecto de cada posición interna. Eso puede ser válido al analizar una secuencia completa ya observada; no lo es para una salida online si requiere información aún futura respecto del instante de decisión.
Ejemplo para entenderlo
Clasificar una reseña completa puede usar ambas direcciones; etiquetar en vivo exige controlar qué texto ya se recibió.
Error frecuente
Decir que toda bidireccional introduce fuga, o permitirla en pronóstico sin comprobar la disponibilidad de cada entrada.
Comprobá tu comprensión +
¿Puede una BiRNN procesar una ventana histórica sin fuga al predecir el futuro?
Ver respuesta orientativa
Sí, si toda esa ventana ya era conocida al emitir el pronóstico y no se incluyen observaciones posteriores.
06Unidad de estudio · 17 conceptos
LSTM, GRU y conexiones modernas
Compuertas, memoria y límites: cada ecuación con significado.
Es una arquitectura recurrente que incorpora un estado de celda y compuertas aprendidas para regular conservación, escritura y exposición de información. Busca facilitar el aprendizaje de dependencias que resultan difíciles para una RNN simple.
La celda combina una ruta aditiva para la memoria con transformaciones no lineales para controlarla. Las compuertas dependen de la entrada actual y del estado oculto previo. Facilita algunas dependencias largas, pero no garantiza memoria perfecta ni superioridad en cualquier conjunto.
Ejemplo para entenderlo
Al pronosticar demanda, puede conservar una señal de régimen mientras incorpora variaciones semanales.
Error frecuente
Traducir el nombre como garantía de recordar cualquier evento durante cualquier cantidad de pasos.
Comprobá tu comprensión +
¿Cuáles son los dos estados que transporta una LSTM estándar?
Ver respuesta orientativa
El estado de celda ct y el estado oculto ht, con papeles diferentes.
Es el vector de memoria de la LSTM que se actualiza sumando una parte retenida del pasado y una parte nueva escrita. Se distingue del estado oculto, que expone una transformación controlada de esa memoria.
No está necesariamente restringido a (−1,1): puede acumular aportes en varios pasos. La tanh se aplica al exponerlo en ht, no obliga a que ct tenga ese rango. El estado se calcula para cada secuencia; no es una matriz de pesos.
Ejemplo para entenderlo
Con cprevio=0,8, f=0,9, i=0,2 y g=0,5: cnuevo=0,72+0,10=0,82.
Error frecuente
Confundir ct con ht o afirmar que ambos tienen siempre los mismos valores y rango.
Comprobá tu comprensión +
¿Qué parte conserva información del paso anterior?
Ver respuesta orientativa
El producto ft⊙ct−1, regulado componente a componente por la compuerta de olvido.
Es el vector de valores entre cero y uno que regula cuánto del estado de celda previo pasa a la nueva celda. Un valor cercano a uno conserva más; cercano a cero atenúa más, en cada dimensión de memoria.
No tiene por qué tomar decisiones binarias. Se calcula mediante sigmoide a partir de entrada y estado oculto previo. Su nombre no significa que siempre deba olvidar: mantener f alto puede ser útil cuando el contexto exige persistencia.
Ejemplo para entenderlo
Si una componente de cprevio vale 0,8 y f=0,9, la contribución retenida es 0,72.
Error frecuente
Interpretar f=0,9 como probabilidad literal de recordar un dato completo con significado humano.
Comprobá tu comprensión +
¿Qué pasa si f=0 e i=0 en una componente?
Ver respuesta orientativa
El nuevo estado de celda de esa componente queda en cero, en la formulación estándar indicada.
Es el vector que controla cuánto del contenido candidato se agrega al estado de celda. Sus valores se obtienen con sigmoide y actúan como intensidades de escritura entre cero y uno para cada componente.
La compuerta decide cuánto escribir, mientras el candidato determina qué contenido proponer y con qué signo. Una entrada fuerte puede sobrescribir de hecho una memoria si el olvido reduce la parte pasada, pero las dos operaciones son distintas.
Ejemplo para entenderlo
Con i=0,2 y g=0,5, la escritura aporta 0,1 al estado de celda.
Error frecuente
Confundir it con la entrada original xt: es una activación calculada por la celda, no el dato recibido.
Comprobá tu comprensión +
¿Una compuerta de entrada igual a uno implica que la memoria aumenta?
Ver respuesta orientativa
No necesariamente. El candidato puede ser negativo o cero, por lo que la escritura puede disminuirla o no cambiarla.
Es la propuesta de información nueva que podría incorporarse a la memoria de la LSTM. Suele obtenerse mediante tanh, por lo que cada componente se encuentra entre −1 y 1. La compuerta de entrada regula cuánto se incorpora.
El candidato no es todavía el estado de celda definitivo: debe combinarse con la parte retenida del pasado. El signo permite agregar o restar información dentro de una dimensión latente, sin interpretar esa dimensión como una variable original fija.
Ejemplo para entenderlo
Si g=−0,6 e i=0,5, el aporte nuevo es −0,3.
Error frecuente
Llamar candidato a toda la nueva memoria y olvidar la contribución de ct−1.
Comprobá tu comprensión +
¿Por qué suele usarse tanh y no sigmoide para el candidato?
Ver respuesta orientativa
Porque permite proponer contenido con signo; la sigmoide se reserva habitualmente para las intensidades no negativas de las compuertas.
El producto de Hadamard multiplica componentes correspondientes de dos vectores del mismo tamaño. La concatenación une vectores en uno más largo. Son operaciones diferentes y ambas aparecen en las ecuaciones de una LSTM.
Las compuertas y la celda tienen dimensión H y se combinan elemento a elemento. Para calcular una compuerta se pueden concatenar h anterior y x actual, de dimensión H+d, y aplicar una matriz. Esa escritura equivale a usar dos matrices separadas.
Ejemplo para entenderlo
Si a=(0,9;0,2) y b=(1;−2), a⊙b=(0,9;−0,4).
Error frecuente
Reemplazar ⊙ por un producto escalar que devuelve un solo número y perder las dimensiones de memoria.
Comprobá tu comprensión +
¿Por qué una LSTM necesita una compuerta por componente?
Ver respuesta orientativa
Porque puede conservar o modificar diferentes aspectos del estado en distinta medida, en lugar de usar un único control para todo.
Es la combinación de memoria retenida y escritura nueva mediante una suma. Esa ruta distingue la LSTM de una RNN simple que transforma todo el estado con una activación en cada paso.
La suma ofrece un camino directo a través del estado de celda cuya derivada parcial local depende de la compuerta de olvido. Las compuertas también tienen sus propias dependencias, así que analizar esa ruta no describe por sí solo el gradiente total del sistema.
Ejemplo para entenderlo
Con c=0,8, f=0,9, i=0,2 y g=0,5, el nuevo valor es 0,82.
Error frecuente
Afirmar que sumar vuelve el gradiente siempre igual a uno sin considerar la compuerta ni los otros caminos.
Comprobá tu comprensión +
¿Qué ocurre si no hay escritura y f es cercano a uno?
Ver respuesta orientativa
La memoria anterior se conserva aproximadamente a lo largo del paso.
Es el vector que controla cuánto de la memoria transformada se expone en el estado oculto actual. Separar almacenamiento de exposición permite mantener contenido interno sin mostrarlo con la misma intensidad en cada paso.
La compuerta se calcula con sigmoide y multiplica tanh(ct). Un valor pequeño puede ocultar una memoria de magnitud grande. Esto no borra automáticamente ct: la conservación y la escritura se controlan por otras partes de la celda.
Ejemplo para entenderlo
Con c=0,82 y o=0,7, h≈0,4725; con o=0,1, el mismo c produce h≈0,0675.
Error frecuente
Interpretar una salida pequeña como prueba de que no queda información en el estado de celda.
Comprobá tu comprensión +
¿Cerrar la compuerta de salida equivale a borrar la celda?
Ver respuesta orientativa
No. Reduce la exposición en ht; la actualización de ct se gobierna con olvido, entrada y candidato.
El estado oculto de la LSTM es una versión acotada y regulada de la memoria. Se transporta al paso siguiente y suele alimentar una cabeza de salida. No es necesariamente la predicción final ni tiene la misma dimensión que el objetivo.
La cabeza convierte H componentes de estado en K salidas con la activación apropiada. En una LSTM estándar sin proyección, ht y ct tienen H componentes, pero su contenido y rango son diferentes. Algunas variantes modifican esas dimensiones.
Ejemplo para entenderlo
Una LSTM con H=32 puede alimentar una salida lineal de una unidad para pronosticar ventas.
Error frecuente
Usar directamente una componente arbitraria de h como probabilidad de clase sin diseñar ni entrenar una salida apropiada.
Comprobá tu comprensión +
¿Que h tenga 32 componentes exige 32 variables objetivo?
Ver respuesta orientativa
No. Es una representación interna; la cabeza define cuántas predicciones se producen.
Son las reglas que especifican una LSTM estándar sin peepholes ni proyecciones. Tres sigmoides controlan olvido, entrada y salida; una tanh genera contenido candidato; una suma actualiza la celda y otra tanh participa en la exposición.
Cada una de las cuatro transformaciones tiene pesos y sesgos propios, aunque se calculen juntas por eficiencia. Se aplica el mismo conjunto en todos los pasos. Las ecuaciones deben leerse junto con sus dimensiones y el orden del cálculo.
Ejemplo para entenderlo
Primero se obtienen f,i,o,g con la entrada y h previo; luego c nuevo y finalmente h nuevo.
Error frecuente
Reutilizar por accidente la misma matriz para todas las compuertas y asumir que implementa la LSTM estándar.
Comprobá tu comprensión +
¿Qué activación se usa en las tres compuertas habituales?
Ver respuesta orientativa
Sigmoide; el candidato y la exposición de la memoria usan tanh.
En un caso simplificado sin escritura y con olvido constante, la memoria se multiplica por f en cada paso. La vida media indica cuántos pasos necesita para reducirse a la mitad; permite interpretar numéricamente la persistencia.
Es una aproximación didáctica: en una LSTM real las compuertas cambian con los datos y hay escritura nueva. Una f alta facilita retener, pero no asegura que se haya almacenado la información relevante ni que pueda recuperarse correctamente.
Ejemplo para entenderlo
Con f=0,9, la vida media es aproximadamente 6,58 pasos; con f=0,99, aproximadamente 68,97.
Error frecuente
Confundir una vida media calculada con gates fijos con una garantía de memoria aprendida del modelo completo.
Comprobá tu comprensión +
¿Qué condición adicional se supuso además de f constante?
Ver respuesta orientativa
Que no hay aporte de escritura it⊙gt durante el período analizado.
Es la contribución de gradiente que recorre la conexión directa entre estados de celda consecutivos. Manteniendo las compuertas como valores fijos en esa ruta, la derivada parcial local es la compuerta de olvido.
A varios pasos aparece un producto de f. Cuando sus componentes están cerca de uno, esa contribución puede atenuarse menos que en una RNN simple. El gradiente total incluye otros caminos a través de h y las compuertas, y puede seguir siendo problemático.
Ejemplo para entenderlo
Con f=0,99 fijo, una contribución directa conserva aproximadamente 0,99¹⁰⁰≈0,366 después de 100 pasos.
Error frecuente
Escribir que la derivada total de cualquier LSTM es siempre ft o que nunca se desvanece.
Comprobá tu comprensión +
¿Por qué se aclara ruta directa?
Ver respuesta orientativa
Porque el sistema tiene dependencias adicionales que también aportan al gradiente total y no deben omitirse del análisis completo.
Una LSTM estándar calcula cuatro transformaciones afines de entrada y estado previo: tres compuertas y un candidato. Por eso tiene aproximadamente cuatro veces los parámetros del bloque recurrente simple con las mismas dimensiones y convención de sesgos.
Con un sesgo por transformación se obtiene 4H(d+H+1). Algunas bibliotecas usan dos sesgos, dando 4H(d+H+2). Las capas adicionales, direcciones y cabeza de salida se cuentan aparte. La longitud T no multiplica los pesos compartidos.
Ejemplo para entenderlo
Con d=4 y H=8: 416 parámetros con un sesgo por transformación; 448 con dos. Una cabeza 8→1 agrega 9.
Error frecuente
Dar un número sin declarar biblioteca, sesgos, direcciones y si incluye la salida.
Comprobá tu comprensión +
¿Por qué aparece el factor cuatro?
Ver respuesta orientativa
Porque hay cuatro transformaciones aprendidas distintas para f, i, o y g.
Es una arquitectura recurrente que regula la mezcla entre un estado previo y un candidato usando compuertas de actualización y reinicio. A diferencia de una LSTM estándar, no transporta un estado de celda separado del estado oculto.
Suele tener menos transformaciones y parámetros para la misma dimensión de estado. Hay convenciones distintas para el significado de z y para la ubicación del reinicio; se debe leer la ecuación de la implementación antes de comparar resultados numéricos.
Ejemplo para entenderlo
Con esta convención, z cercano a cero conserva el estado previo; cercano a uno lo reemplaza por el candidato.
Error frecuente
Afirmar que z alto siempre conserva memoria, sin advertir que algunas formulaciones intercambian los papeles de z y 1−z.
Comprobá tu comprensión +
¿Qué estado adicional de LSTM no aparece por separado en GRU?
Ver respuesta orientativa
El estado de celda ct; la GRU usa un único estado recurrente principal.
Es un mecanismo que construye una representación combinando información de distintas posiciones con pesos dependientes de una consulta. Permite acceder selectivamente a elementos en lugar de resumir todo necesariamente en un único estado final.
Puede complementar una RNN o formar parte central de otras arquitecturas. Los pesos de atención describen una operación del modelo, pero no son automáticamente una explicación causal. Para usos autoregresivos se controla qué posiciones pueden consultarse.
Ejemplo para entenderlo
Un decodificador puede ponderar distintas palabras de la entrada al generar cada palabra de salida.
Error frecuente
Presentar cada peso alto de atención como prueba de una causa económica o de una explicación completa.
Comprobá tu comprensión +
¿La atención necesita una RNN para existir?
Ver respuesta orientativa
No. Puede usarse con redes recurrentes, convolucionales o arquitecturas basadas principalmente en atención.
Es una arquitectura basada en bloques de atención y transformaciones por posición, con información posicional para representar el orden. Frente a la recurrencia, permite conectar posiciones de manera más directa y paralelizar varios cálculos durante entrenamiento.
La máscara causal impide consultar tokens posteriores al predecir cada posición. En generación autoregresiva, los tokens se emiten secuencialmente aunque el entrenamiento permita paralelismo. Su costo depende de longitud, variante de atención e implementación.
Ejemplo para entenderlo
Un modelo de siguiente palabra se entrena sobre muchas posiciones conocidas sin permitir que cada predicción vea la palabra futura que intenta anticipar.
Error frecuente
Decir que Transformer genera todos los tokens simultáneamente o que causal significa identificación de efectos de tratamiento.
Comprobá tu comprensión +
¿La máscara causal demuestra causalidad económica?
Ver respuesta orientativa
No. Causal aquí significa restricción de acceso a posiciones futuras dentro del modelo secuencial.
La elección debe considerar calidad fuera de muestra, longitud de secuencia, datos, latencia, memoria y mantenimiento. Las RNN transportan estado de forma secuencial; las LSTM agregan varias transformaciones; la atención conecta posiciones con un patrón diferente de costo.
En atención densa estándar, la matriz entre T posiciones tiene T² elementos por cabeza; existen variantes y kernels que cambian las necesidades prácticas. La generación, el entrenamiento y la inferencia en flujo requieren comparaciones separadas, no una afirmación única de velocidad.
Ejemplo para entenderlo
Una RNN pequeña puede ser conveniente para sensores en flujo; un Transformer puede resultar útil con mucho contexto y recursos, según evidencia.
Error frecuente
Elegir por popularidad o comparar tiempo de entrenamiento de una arquitectura con latencia de generación de otra.
Comprobá tu comprensión +
¿Qué justifica adoptar una arquitectura más costosa?
Ver respuesta orientativa
Una mejora suficientemente robusta en el objetivo relevante, considerando restricciones operativas y una comparación justa con alternativas simples.