De la intuición al cálculo, con ejemplos y preguntas para comprobar qué entendiste.
Diapositivas 6–13
Representaciones: por qué una capa oculta cambia el problema
Una neurona lineal divide el espacio con un hiperplano. Agregar capas con activaciones permite construir nuevas coordenadas: la separación puede ser sencilla en esas coordenadas aunque sea imposible en las entradas originales.
Cómo funciona
Para XOR se construyen h₁=ReLU(x₁+x₂), h₂=ReLU(x₁+x₂−1). La salida h₁−2h₂ vale exactamente 0, 1, 1, 0 sobre las cuatro entradas binarias. Es una demostración de capacidad con pesos fijados, no una trayectoria de entrenamiento.
(0,0) se transforma en (0,0), las entradas (0,1) y (1,0) coinciden en (1,0), y (1,1) llega a (2,1). En el espacio oculto, h₁−2h₂=0,5 separa las clases. La coincidencia de dos entradas de la misma clase es esperable.
Error frecuente
Agregar capas afines sin activación mantiene una función afín. Más épocas de un perceptrón tampoco resuelven la imposibilidad geométrica de XOR.
¿Qué cambió: las etiquetas o las coordenadas usadas para separarlas?
Las coordenadas. Las etiquetas y las observaciones originales se mantienen.
Activaciones y derivadas: valor y sensibilidad son preguntas distintas
La activación determina qué señal entrega una unidad. Su derivada determina cuánto cambia esa señal ante un pequeño cambio de entrada. Una salida cercana a uno puede tener sensibilidad casi nula.
Cómo funciona
Sigmoide y tanh saturan en los extremos. ReLU conserva pendiente uno para entradas positivas y cero para negativas. El punto cero no tiene derivada única. Las salidas deben elegirse junto con la tarea y su pérdida.
σ′(z) = σ(z)(1−σ(z))
tanh′(z) = 1−tanh²(z)
ReLU′(z) = 0 si z<0; 1 si z>0
Ejemplo que podés verificar
En z=0, la sigmoide vale 0,5 y su derivada 0,25. En z=5, vale aproximadamente 0,9933 y su derivada 0,00665. El laboratorio separa ambas curvas y dibuja la tangente en la activación.
Error frecuente
Una derivada sigmoide pequeña no implica por sí sola que todo gradiente de salida con BCE sea pequeño: al derivar BCE respecto del logit aparece p−y. En capas ocultas hay otros productos de derivadas.
¿Qué compararías para estudiar saturación?
La activación y su derivada en el mismo z, junto con el gradiente de la pérdida que realmente se optimiza.
Aprendizaje: del grafo de cálculo a una actualización verificable
Predecir, medir error, derivar y actualizar son operaciones diferentes. Ver sus valores sobre un mismo ejemplo ayuda a entender qué aporta backpropagation y qué decide el optimizador.
Cómo funciona
Con una neurona sigmoide y BCE, el gradiente del logit es p−y. El peso multiplica ese gradiente por la entrada. El sesgo recibe la misma señal sin multiplicarla por x. El optimizador resta η veces cada gradiente; después hay que realizar un nuevo forward.
z = wx+b; p = σ(z)
∂L/∂z = p−y
∂L/∂w = (p−y)x; ∂L/∂b = p−y
w_nuevo = w−η∂L/∂w
Ejemplo que podés verificar
Con x=2, y=1, w=0,3 y b=−0,1: z=0,5, p=0,622459, L=0,474077. Los gradientes son −0,755081 y −0,377541. Con η=0,1 se obtiene w=0,375508, b=−0,062246 y una nueva BCE de 0,406926.
Error frecuente
Backpropagation no actualiza los pesos por sí mismo. Un gradiente negativo tampoco es un error: indica que aumentar ese parámetro reduce localmente la pérdida.
¿Por qué la actualización aumenta w en este ejemplo?
Porque se resta un gradiente negativo. El nuevo logit aumenta y la probabilidad de la etiqueta observada se aproxima a uno.
Optimización: la tasa de aprendizaje depende de la curvatura
El gradiente señala la dirección local de mayor aumento. Su opuesto permite bajar, pero un paso demasiado grande puede cruzar repetidamente el mínimo y alejarse de él.
Cómo funciona
Para L(w)=½(w−2)², el error respecto del mínimo se multiplica por 1−η. Se contrae si |1−η|<1. La condición cambia con la curvatura: para una cuadrática multivariable depende del mayor autovalor del Hessiano.
wₜ₊₁−2 = (1−η)(wₜ−2)
Convergencia de esta parábola: 0<η<2
Cuadrática de Hessiano H: 0<η<2/λ_max(H)
Ejemplo que podés verificar
Con w₀=−0,5, η=0,2 avanza despacio, η=1,4 oscila con amplitud decreciente y η=2,2 amplifica el error. El laboratorio relaciona la posición sobre la parábola con la pérdida registrada por iteración.
Error frecuente
El límite η<2 corresponde a esta parábola de curvatura uno, no a todas las redes. La logística de una neurona es convexa; una red multicapa suele producir un problema no convexo.
¿Qué parte de la condición cambia si se multiplica la pérdida por diez?
La curvatura también se multiplica por diez; el máximo paso estable se reduce por ese factor para esta cuadrática.
Un modelo más flexible puede reducir el error de entrenamiento y empeorar en datos que no usó para ajustar sus parámetros. La figura debe mostrar tanto la función ajustada como el error fuera de entrenamiento.
Cómo funciona
El nuevo laboratorio ajusta polinomios en una base de Chebyshev sobre puntos sintéticos con semilla fija. El grado controla capacidad y λ penaliza coeficientes sin penalizar el intercepto. Las curvas de error se calculan con los datos de ese mismo experimento.
J = MSE_train + λ Σⱼ₌₁ᵈ wⱼ²
λ mayor: mayor penalización de coeficientes
Validación selecciona; test estima el resultado final
Ejemplo que podés verificar
Comparar grados 1, 3 y 9 con 12 puntos de entrenamiento. Observar la forma ajustada y los MSE de train y validación. Repetir con 32 puntos, más ruido o λ>0. Los valores se calculan, no son curvas prefabricadas.
Error frecuente
Usar validación para seleccionar grado y después presentarla como un test final sesga la evaluación. Un único ejemplo sintético tampoco demuestra que regularizar siempre mejore.
¿Qué resultado justificaría mantener el modelo simple?
Una mejora de train que no se sostenga en validación, o una mejora demasiado pequeña para justificar costo y fragilidad.
Decisiones de churn: riesgo, selección y efecto de intervenir
El score ordena riesgos; el umbral elige acciones; los costos y el efecto de la intervención determinan valor. Son niveles distintos de la decisión.
Cómo funciona
La matriz de confusión debe cambiar junto con los clientes seleccionados. Cada contacto cuesta C, también los verdaderos positivos. La utilidad didáctica incorpora una efectividad q supuesta; para afirmar retención incremental hace falta un contrafactual defendible.
Contactos = TP+FP
U_proxy = TP·q·B − (TP+FP)·C
Si p está calibrada y q es homogénea: actuar si p·q·B>C
Ejemplo que podés verificar
Con TP=3, FP=7, q=0,4, B=100 y C=5 UM, la utilidad proxy es 70 UM. El laboratorio usa otra cohorte sintética de 100 clientes con semilla 991 y muestra qué personas quedan seleccionadas en cada umbral.
Error frecuente
Una mayor ROC-AUC no garantiza mayor beneficio al umbral operativo. Una mayor probabilidad de baja tampoco identifica necesariamente al cliente que más respondería a una oferta.
¿Por qué una campaña con más recall podría perder dinero?
Puede agregar contactos de costo alto o baja efectividad. Recall mide cobertura de positivos, no beneficio incremental.