Calendario

Contenido

• Repaso ML objetivo principal
• Comparar ML clásico con DL
• Inicio de repaso estructura de Redes Neuronales

Contenido

• Reconstrucción de funciones linelaes definidas a trozos con ReLU
• TAU
• Representación gráfica con 2 dimensiones de entrada
• Número de regiones lineales de interés
• PyTorch

Contenido

• Representación gráfica con 2 dimensiones de entrada
• Número de regiones lineales de interés
• PyTorch

Contenido

• El número de regiones lineales de una red ReLU crece polinomialmente con la anchura $W$, pero exponencialmente con la profundidad $L$: \(\#\text{regiones} = \mathcal{O}\!\left((W/d)^{(L-1)d}\right)\)
• Sesgo, varianza e inductive bias.

Contenido

Generamos videos con diferentes configuraciones de redes

Funciones de activación:

• RELU
• GELU
• TANH

Arquitecturas MLP con configuración

• 2-256-1
• 2-16-16-16-16-1
• 2-64-64-64-64-1

Contenido

Introducción al algoritmo backpropagation.

Composición de funciones.

Derivadas de composición.

Ejemplo con red neuronal con funciones de activación seno, coseno y exponencial.

Contenido

• Cálculo Matricial.
  • $\frac{\partial \mathbf{f}_3}{\partial \mathbf{h}_3}=\frac{\partial}{\partial \mathbf{h}_3}\left(\boldsymbol{\beta}_3+\boldsymbol{\Omega}_3 \mathbf{h}_3\right)=\boldsymbol{\Omega}_3^T$
• Pase hacia adelante
  • $\begin{aligned} \mathbf{f}0 & =\boldsymbol{\beta}_0+\boldsymbol{\Omega}_0 \mathbf{x}_i \ \mathbf{h}_k & =\mathbf{a}\left[\mathbf{f}{k-1}\right] \ \mathbf{f}_k & =\boldsymbol{\beta}_k+\boldsymbol{\Omega}_k \mathbf{h}_k . \end{aligned}$
• Pase hacia atrás
  • $\frac{\partial \ell_i}{\partial \mathbf{f}_k}$
  • $\frac{\partial \mathbf{f}_k}{\partial \mathbf{h}_k}$
  • $\frac{\partial \mathbf{h}k}{\partial \mathbf{f}{k-1}}$
  • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\beta}_k}$
  • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\Omega}_k}$

Contenido

• Matemáticas
• Algoritmo de descenso gradiente
  • Ejemplo de regresión lineal
  • Ejemplo de modelo de Gabor
• Descenso de gradiente estocástico
• Momentum (pruebas de convergencia)

Contenido

• SGD con el paso Nesterov.
  • Mejora de convergencia de O(1/k) a O(1/h^2)
• ADAM optimizer

Contenido

• Necesidad de inicialización
• Inicialización He
• Interludio: Valores esperados
• Inicialización He: intuición y pruebas