Calendario

Contenido

• Repaso ML objetivo principal
• Comparar ML clásico con DL
• Inicio de repaso estructura de Redes Neuronales

Contenido

• Reconstrucción de funciones linelaes definidas a trozos con ReLU
• TAU
• Representación gráfica con 2 dimensiones de entrada
• Número de regiones lineales de interés
• PyTorch

Contenido

• Representación gráfica con 2 dimensiones de entrada
• Número de regiones lineales de interés
• PyTorch

Contenido

• El número de regiones lineales de una red ReLU crece polinomialmente con la anchura $W$, pero exponencialmente con la profundidad $L$: \(\#\text{regiones} = \mathcal{O}\!\left((W/d)^{(L-1)d}\right)\)
• Sesgo, varianza e inductive bias.

Contenido

Generamos videos con diferentes configuraciones de redes

Funciones de activación:

• RELU
• GELU
• TANH

Arquitecturas MLP con configuración

• 2-256-1
• 2-16-16-16-16-1
• 2-64-64-64-64-1

Contenido

Introducción al algoritmo backpropagation.

Composición de funciones.

Derivadas de composición.

Ejemplo con red neuronal con funciones de activación seno, coseno y exponencial.

Contenido

• Cálculo Matricial.
  • $\frac{\partial \mathbf{f}_3}{\partial \mathbf{h}_3}=\frac{\partial}{\partial \mathbf{h}_3}\left(\boldsymbol{\beta}_3+\boldsymbol{\Omega}_3 \mathbf{h}_3\right)=\boldsymbol{\Omega}_3^T$
• Pase hacia adelante
  • $\begin{aligned} \mathbf{f}0 & =\boldsymbol{\beta}_0+\boldsymbol{\Omega}_0 \mathbf{x}_i \ \mathbf{h}_k & =\mathbf{a}\left[\mathbf{f}{k-1}\right] \ \mathbf{f}_k & =\boldsymbol{\beta}_k+\boldsymbol{\Omega}_k \mathbf{h}_k . \end{aligned}$
• Pase hacia atrás
  • $\frac{\partial \ell_i}{\partial \mathbf{f}_k}$
  • $\frac{\partial \mathbf{f}_k}{\partial \mathbf{h}_k}$
  • $\frac{\partial \mathbf{h}k}{\partial \mathbf{f}{k-1}}$
  • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\beta}_k}$
  • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\Omega}_k}$

Contenido

• Matemáticas
• Algoritmo de descenso gradiente
  • Ejemplo de regresión lineal
  • Ejemplo de modelo de Gabor
• Descenso de gradiente estocástico
• Momentum (pruebas de convergencia)

Contenido

• SGD con el paso Nesterov.
  • Mejora de convergencia de O(1/k) a O(1/h^2)
• ADAM optimizer

Contenido

• Necesidad de inicialización
• Inicialización He
• Interludio: Valores esperados
• Inicialización He: intuición y pruebas

Contenido

• Necesidad de inicialización
• Inicialización Xavier
• Valores esperados con Unif(-a, a)
• Inicialización Xavier: intuición y pruebas
• Ejemplos

Contenido

• Operadores de Punto
  • Brillo y contraste
  • Operador Gamma
  • Ejemplo de blending
• Operadores de Vecindad
  • Convolución
  • Kernels útiles

  • Datos

Disponibles en Materiales/CNN

Contenido

• Motivación: 3 ejemplos
• Casos de convolución para 1D, 2D, 3D.
• Hiper parámetros de generación de kerne;: Padding, stride, dimensión kernel y dilatación.

Datos

Disponibles en Materiales/CNN

Contenido

• Clase 1 luego de reincoporación semestre
• Repaso desde PDI hasta motivación de CNN

Datos

Disponibles en Materiales/CNN

Contenido

• Tamaño de salidas de capas
• Cómo cambian las capas?
• Canales
• Cantidad de parámetros?
• Convolución en 2D
• Pooling
• Dropout
• Ejemplo en Keras

Faltó: Normalización, Campos receptivos y Aplicaciones

Datos

Disponibles en Materiales/CNN

Contenido

• Normalización: BatchNormalization, LayerNormalization, GroupNormalization, InstanceNormalization
• Campos receptivos
• Aplicaciones

Datos

Disponibles en Materiales/CNN

Contenido

• Autoencoders
• Compresión
• Reconstrucción
• Denoising

Datos

Se usa MNIST, que se descarga automáticamente desde el notebook.

Contenido

• ¿Qué aprende el cuello de botella?

Datos

Se usa MNIST, que se descarga automáticamente desde el notebook.

Contenido

• El stacked autoencoder resolvía el problema de entrenar redes profundas por la inicialización
• ResNets: He et al. (2016) lo resolvieron por la arquitectura
• Ejemplo de código de FineTuning y tipos de finetuning

Datos

Se usa MNIST, que se descarga automáticamente desde el notebook.