Comprender el mecanismo

Temas desarrollados

De la intuición al cálculo, con ejemplos y preguntas para comprobar qué entendiste.

Diapositivas 1–13

Secuencias y BPTT: información y derivadas a través del tiempo

Una RNN aplica la misma transición en varios instantes. El estado sintetiza información del pasado; durante entrenamiento, la pérdida asigna responsabilidad a usos repetidos de los mismos pesos.

Cómo funciona

Desplegar la recurrencia muestra el grafo del forward. BPTT aplica la regla de la cadena sobre ese grafo y suma contribuciones de parámetros compartidos. Los productos de Jacobianos explican la atenuación o amplificación de gradientes.

hₜ = tanh(Wₓxₜ+Wₕhₜ₋₁+b)
Jₜ = diag(1−hₜ²)Wₕ
∂hₜ/∂hₜ₋ₖ = JₜJₜ₋₁…Jₜ₋ₖ₊₁

Ejemplo que podés verificar

Con estado inicial cero, Wₓ=1, Wₕ=0,5 y entradas 1,0, se obtiene h₁=0,761594 y h₂=0,363399. Una ventana de cuatro observaciones para predecir la siguiente conserva el orden y excluye esa etiqueta futura de los atributos.

Error frecuente

Mantener un estado entre segmentos no significa conservar todo el grafo de gradientes. BPTT truncada corta caminos de atribución aunque el estado se transporte.

¿Qué no crece con la longitud de la secuencia?

El número de parámetros de una celda compartida. Sí crecen el cómputo secuencial y las activaciones necesarias para entrenamiento.

Fuentes del tema

Diapositivas 14–26

LSTM: conservar, escribir y exponer son mecanismos diferentes

La memoria interna c y el estado visible h cumplen funciones distintas. Una compuerta puede conservar contenido que otra decide no exponer.

Cómo funciona

f escala la memoria anterior; i regula la escritura del candidato g; o regula cuánto de tanh(c) aparece en h. Los gates de una LSTM completa dependen de la entrada y del estado anterior. El laboratorio fija gates para aislar el mecanismo.

cₜ = fₜ⊙cₜ₋₁+iₜ⊙gₜ
hₜ = oₜ⊙tanh(cₜ)
f,i,o = σ(transformación afín); g = tanh(transformación afín)

Ejemplo que podés verificar

Con c previo 0,8, f=0,9, i=0,2 y g=−0,5: retención 0,72, escritura −0,10, memoria nueva 0,62. Con o=0,75, el estado expuesto es 0,413346. Cada contribución aparece por separado en el nuevo diagrama.

Error frecuente

Cerrar la salida o no borra automáticamente c. La derivada directa con gates fijos es f, pero el gradiente total de una LSTM incorpora también las rutas que pasan por los gates.

¿Por qué c puede ser grande mientras h es pequeño?

La memoria se acumula aditivamente, mientras h pasa por tanh y por la compuerta de salida.

Fuentes del tema

Diapositivas 27–34

Pronóstico: una arquitectura se compara desde los mismos orígenes

Un pronóstico solo es útil si usa información que existía en su fecha de emisión. Comparar modelos exige los mismos orígenes, horizontes, datos conocidos y reglas de reentrenamiento.

Cómo funciona

El walk-forward reproduce orígenes sucesivos con ventanas expansivas o móviles. Las transformaciones se ajustan dentro de cada entrenamiento. El baseline estacional usa la observación del mismo período del ciclo anterior.

Baseline estacional: ŷₜ₊₁=yₜ₊₁₋ₛ
MAE = promedio de |ŷ−y|
RMSE = raíz del promedio de (ŷ−y)²

Ejemplo que podés verificar

El notebook usa 420 días sintéticos, ventanas de 28, entrenamiento antes del día 300, validación 300–359 y test 360–419. Los orígenes 300,320,340 producen bloques de validación de 14 pronósticos de un paso. La LSTM pierde frente al baseline y se conserva ese resultado.

Error frecuente

Una evaluación de un paso con pasado observado no es un pronóstico de 60 pasos sin nuevas observaciones. MAPE tampoco es una métrica válida sin aclaraciones cuando el valor real es cero.

¿Qué evidencia debería justificar una LSTM?

Una mejora replicable por período y horizonte frente a baselines fuertes, con incertidumbre y costo de cómputo considerados.

Fuentes del tema