Acá estarán disponibles los recursos para las clases. El tl;dr es una breve explicación de la misma. Para cada clase, intentaremos compartir el link del video de YouTube y el material asociado.

  • 00 - Introducción al curso - (Parte 1)
    tl;dr: Repaso de ML y conexión con DL. Inicio de repaso de NN (último tema de ML)
    [Link clase] [Jupyter Notebook]

    Contenido

    • Repaso ML objetivo principal
    • Comparar ML clásico con DL
    • Inicio de repaso estructura de Redes Neuronales
  • 00 - Introducción al curso - (Parte 2)
    tl;dr: Repaso clase 2 desde representación con ReLU hasta PyTorch
    [Link clase] [Jupyter Notebook]

    Contenido

    • Reconstrucción de funciones linelaes definidas a trozos con ReLU
    • TAU
    • Representación gráfica con 2 dimensiones de entrada
    • Número de regiones lineales de interés
    • PyTorch
  • 00 - Introducción al curso - (Parte 3)
    tl;dr: F(x1, x2); Número de regiones lineales;PyTorch
    [Link clase] [Jupyter Notebook]

    Contenido

    • Representación gráfica con 2 dimensiones de entrada
    • Número de regiones lineales de interés
    • PyTorch
  • 01 - Fundamentos de Redes Neuronales - profundidad vs. anchura
    tl;dr: W versus L;crecimiento polinomial;versus exponencial
    [Link clase] [Jupyter Notebook]

    Contenido

    • El número de regiones lineales de una red ReLU crece polinomialmente con la anchura $W$, pero exponencialmente con la profundidad $L$: \(\#\text{regiones} = \mathcal{O}\!\left((W/d)^{(L-1)d}\right)\)
    • Sesgo, varianza e inductive bias.
  • 01 - Fundamentos de Redes Neuronales - experimentos
    tl;dr: Experimentos;capacidad;implicit bias
    [Link clase]

    Contenido

    Generamos videos con diferentes configuraciones de redes

    Funciones de activación:

    • RELU
    • GELU
    • TANH

    Arquitecturas MLP con configuración

    • 2-256-1
    • 2-16-16-16-16-1
    • 2-64-64-64-64-1
  • 02a Backpropagation - Parte 1
    tl;dr: Backpropagation;Composición;Forward pass;Backward pass
    [Link de la clase] [Presentación sin anotaciones] [Presentación con anotaciones]

    Contenido

    Introducción al algoritmo backpropagation.

    Composición de funciones.

    Derivadas de composición.

    Ejemplo con red neuronal con funciones de activación seno, coseno y exponencial.

  • 02b Backpropagation - Parte 2
    tl;dr: Backpropagation;Cálculo Matricial;Forward pass;Backward pass
    [Link de la clase] [Presentación sin anotaciones] [Presentación con anotaciones]

    Contenido

    • Cálculo Matricial.
      • $\frac{\partial \mathbf{f}_3}{\partial \mathbf{h}_3}=\frac{\partial}{\partial \mathbf{h}_3}\left(\boldsymbol{\beta}_3+\boldsymbol{\Omega}_3 \mathbf{h}_3\right)=\boldsymbol{\Omega}_3^T$
    • Pase hacia adelante
      • $\begin{aligned} \mathbf{f}0 & =\boldsymbol{\beta}_0+\boldsymbol{\Omega}_0 \mathbf{x}_i \ \mathbf{h}_k & =\mathbf{a}\left[\mathbf{f}{k-1}\right] \ \mathbf{f}_k & =\boldsymbol{\beta}_k+\boldsymbol{\Omega}_k \mathbf{h}_k . \end{aligned}$
    • Pase hacia atrás
      • $\frac{\partial \ell_i}{\partial \mathbf{f}_k}$
      • $\frac{\partial \mathbf{f}_k}{\partial \mathbf{h}_k}$
      • $\frac{\partial \mathbf{h}k}{\partial \mathbf{f}{k-1}}$
      • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\beta}_k}$
      • $\frac{\partial \mathbf{f}_k}{\partial \boldsymbol{\Omega}_k}$
  • 03a Algoritmos de optimización
    tl;dr: SGD;Momentum;
    [Link de la clase] [Presentación sin anotaciones]

    Contenido

    • Matemáticas
    • Algoritmo de descenso gradiente
      • Ejemplo de regresión lineal
      • Ejemplo de modelo de Gabor
    • Descenso de gradiente estocástico
    • Momentum (pruebas de convergencia)
  • 03b Algoritmos de optimización
    tl;dr: Nesterov;Adam
    [Link de la clase] [Presentación sin anotaciones]

    Contenido

    • SGD con el paso Nesterov.
      • Mejora de convergencia de O(1/k) a O(1/h^2)
    • ADAM optimizer
  • 04a Inicialización
    tl;dr: Inicialización HE; Propiedades de Esperanza
    [Link de la clase] [Presentación sin anotaciones] [Presentación con anotaciones]

    Contenido

    • Necesidad de inicialización
    • Inicialización He
    • Interludio: Valores esperados
    • Inicialización He: intuición y pruebas