04

LSTM vs GRU

Arquitectura, parámetros, dropout y dinámica de sobreajuste

Laboratorio 04 / 08 · 20 min

Misma secuencia, distinta memoria

Compará el costo paramétrico de LSTM y GRU y observá cómo capacidad, epochs y dropout afectan una curva de entrenamiento pedagógica.

Conteo exacto · curvas sintéticas

Train loss vs validation loss

Deslizá el gráfico horizontalmente para recorrerlo.

EntrenamientoValidación

LSTM

iₜ, fₜ, oₜ, cₜ → hₜ

Tres compuertas principales y estado de celda explícito. Mayor flexibilidad, más parámetros.

GRU

zₜ, rₜ → hₜ

Menos compuertas y sin estado de celda separado. Suele ser más liviana.

Las curvas de loss son una simulación pedagógica determinista de dinámica de entrenamiento; no son el resultado de entrenar una red real. El conteo de parámetros sí usa las fórmulas de arquitectura.
Conteo de parámetros

Una capa recurrente, una dirección y sin cabeza de salida. PyTorch usa bias de entrada y bias recurrente. Su dropout interno actúa entre capas recurrentes y no se aplica si hay una sola capa; aquí el slider sólo modifica curvas ilustrativas.

Lección

Más unidades reducen bias pero pueden aumentar varianza. Dropout ayuda a regularizar, pero demasiado dropout puede impedir aprendizaje.

Experimentá y explicá

Actividad guiada

1. Con d=8 y u=32, compará LSTM/GRU y uno/dos vectores de bias.

Ver orientación de respuesta

Con dos biases: LSTM 5.376 y GRU 4.032. Con uno: 5.248 y 3.936. Una capa, una dirección, sin cabeza de salida.

2. Variá dropout de 0 a 0,6 y épocas de 20 a 150. Identificá el mínimo de validación.

Ver orientación de respuesta

Las curvas se generan con una fórmula y muestran un compromiso ilustrativo. No miden desempeño real ni prueban superioridad de una arquitectura.

Referencias y supuestos

Registrá la configuración, el resultado y tu interpretación.