Comprender el mecanismo

Temas desarrollados

De la intuición al cálculo, con ejemplos y preguntas para comprobar qué entendiste.

Diapositivas 6–13

Representaciones: por qué una capa oculta cambia el problema

Una neurona lineal divide el espacio con un hiperplano. Agregar capas con activaciones permite construir nuevas coordenadas: la separación puede ser sencilla en esas coordenadas aunque sea imposible en las entradas originales.

Cómo funciona

Para XOR se construyen h₁=ReLU(x₁+x₂), h₂=ReLU(x₁+x₂−1). La salida h₁−2h₂ vale exactamente 0, 1, 1, 0 sobre las cuatro entradas binarias. Es una demostración de capacidad con pesos fijados, no una trayectoria de entrenamiento.

h₁ = max(0, x₁+x₂)
h₂ = max(0, x₁+x₂−1)
ŷ = h₁−2h₂

Ejemplo que podés verificar

(0,0) se transforma en (0,0), las entradas (0,1) y (1,0) coinciden en (1,0), y (1,1) llega a (2,1). En el espacio oculto, h₁−2h₂=0,5 separa las clases. La coincidencia de dos entradas de la misma clase es esperable.

Error frecuente

Agregar capas afines sin activación mantiene una función afín. Más épocas de un perceptrón tampoco resuelven la imposibilidad geométrica de XOR.

¿Qué cambió: las etiquetas o las coordenadas usadas para separarlas?

Las coordenadas. Las etiquetas y las observaciones originales se mantienen.

Fuentes del tema

Diapositivas 14–17

Activaciones y derivadas: valor y sensibilidad son preguntas distintas

La activación determina qué señal entrega una unidad. Su derivada determina cuánto cambia esa señal ante un pequeño cambio de entrada. Una salida cercana a uno puede tener sensibilidad casi nula.

Cómo funciona

Sigmoide y tanh saturan en los extremos. ReLU conserva pendiente uno para entradas positivas y cero para negativas. El punto cero no tiene derivada única. Las salidas deben elegirse junto con la tarea y su pérdida.

σ′(z) = σ(z)(1−σ(z))
tanh′(z) = 1−tanh²(z)
ReLU′(z) = 0 si z<0; 1 si z>0

Ejemplo que podés verificar

En z=0, la sigmoide vale 0,5 y su derivada 0,25. En z=5, vale aproximadamente 0,9933 y su derivada 0,00665. El laboratorio separa ambas curvas y dibuja la tangente en la activación.

Error frecuente

Una derivada sigmoide pequeña no implica por sí sola que todo gradiente de salida con BCE sea pequeño: al derivar BCE respecto del logit aparece p−y. En capas ocultas hay otros productos de derivadas.

¿Qué compararías para estudiar saturación?

La activación y su derivada en el mismo z, junto con el gradiente de la pérdida que realmente se optimiza.

Fuentes del tema

Diapositivas 18–25

Aprendizaje: del grafo de cálculo a una actualización verificable

Predecir, medir error, derivar y actualizar son operaciones diferentes. Ver sus valores sobre un mismo ejemplo ayuda a entender qué aporta backpropagation y qué decide el optimizador.

Cómo funciona

Con una neurona sigmoide y BCE, el gradiente del logit es p−y. El peso multiplica ese gradiente por la entrada. El sesgo recibe la misma señal sin multiplicarla por x. El optimizador resta η veces cada gradiente; después hay que realizar un nuevo forward.

z = wx+b; p = σ(z)
∂L/∂z = p−y
∂L/∂w = (p−y)x; ∂L/∂b = p−y
w_nuevo = w−η∂L/∂w

Ejemplo que podés verificar

Con x=2, y=1, w=0,3 y b=−0,1: z=0,5, p=0,622459, L=0,474077. Los gradientes son −0,755081 y −0,377541. Con η=0,1 se obtiene w=0,375508, b=−0,062246 y una nueva BCE de 0,406926.

Error frecuente

Backpropagation no actualiza los pesos por sí mismo. Un gradiente negativo tampoco es un error: indica que aumentar ese parámetro reduce localmente la pérdida.

¿Por qué la actualización aumenta w en este ejemplo?

Porque se resta un gradiente negativo. El nuevo logit aumenta y la probabilidad de la etiqueta observada se aproxima a uno.

Fuentes del tema

Diapositivas 26–30

Optimización: la tasa de aprendizaje depende de la curvatura

El gradiente señala la dirección local de mayor aumento. Su opuesto permite bajar, pero un paso demasiado grande puede cruzar repetidamente el mínimo y alejarse de él.

Cómo funciona

Para L(w)=½(w−2)², el error respecto del mínimo se multiplica por 1−η. Se contrae si |1−η|<1. La condición cambia con la curvatura: para una cuadrática multivariable depende del mayor autovalor del Hessiano.

wₜ₊₁−2 = (1−η)(wₜ−2)
Convergencia de esta parábola: 0<η<2
Cuadrática de Hessiano H: 0<η<2/λ_max(H)

Ejemplo que podés verificar

Con w₀=−0,5, η=0,2 avanza despacio, η=1,4 oscila con amplitud decreciente y η=2,2 amplifica el error. El laboratorio relaciona la posición sobre la parábola con la pérdida registrada por iteración.

Error frecuente

El límite η<2 corresponde a esta parábola de curvatura uno, no a todas las redes. La logística de una neurona es convexa; una red multicapa suele producir un problema no convexo.

¿Qué parte de la condición cambia si se multiplica la pérdida por diez?

La curvatura también se multiplica por diez; el máximo paso estable se reduce por ese factor para esta cuadrática.

Fuentes del tema

Diapositivas 31–36

Generalización: más capacidad puede ajustar ruido

Un modelo más flexible puede reducir el error de entrenamiento y empeorar en datos que no usó para ajustar sus parámetros. La figura debe mostrar tanto la función ajustada como el error fuera de entrenamiento.

Cómo funciona

El nuevo laboratorio ajusta polinomios en una base de Chebyshev sobre puntos sintéticos con semilla fija. El grado controla capacidad y λ penaliza coeficientes sin penalizar el intercepto. Las curvas de error se calculan con los datos de ese mismo experimento.

J = MSE_train + λ Σⱼ₌₁ᵈ wⱼ²
λ mayor: mayor penalización de coeficientes
Validación selecciona; test estima el resultado final

Ejemplo que podés verificar

Comparar grados 1, 3 y 9 con 12 puntos de entrenamiento. Observar la forma ajustada y los MSE de train y validación. Repetir con 32 puntos, más ruido o λ>0. Los valores se calculan, no son curvas prefabricadas.

Error frecuente

Usar validación para seleccionar grado y después presentarla como un test final sesga la evaluación. Un único ejemplo sintético tampoco demuestra que regularizar siempre mejore.

¿Qué resultado justificaría mantener el modelo simple?

Una mejora de train que no se sostenga en validación, o una mejora demasiado pequeña para justificar costo y fragilidad.

Fuentes del tema

Diapositivas 37–46

Decisiones de churn: riesgo, selección y efecto de intervenir

El score ordena riesgos; el umbral elige acciones; los costos y el efecto de la intervención determinan valor. Son niveles distintos de la decisión.

Cómo funciona

La matriz de confusión debe cambiar junto con los clientes seleccionados. Cada contacto cuesta C, también los verdaderos positivos. La utilidad didáctica incorpora una efectividad q supuesta; para afirmar retención incremental hace falta un contrafactual defendible.

Contactos = TP+FP
U_proxy = TP·q·B − (TP+FP)·C
Si p está calibrada y q es homogénea: actuar si p·q·B>C

Ejemplo que podés verificar

Con TP=3, FP=7, q=0,4, B=100 y C=5 UM, la utilidad proxy es 70 UM. El laboratorio usa otra cohorte sintética de 100 clientes con semilla 991 y muestra qué personas quedan seleccionadas en cada umbral.

Error frecuente

Una mayor ROC-AUC no garantiza mayor beneficio al umbral operativo. Una mayor probabilidad de baja tampoco identifica necesariamente al cliente que más respondería a una oferta.

¿Por qué una campaña con más recall podría perder dinero?

Puede agregar contactos de costo alto o baja efectividad. Recall mide cobertura de positivos, no beneficio incremental.

Fuentes del tema