Blog

Formation Deep Learning Complète (2021)

Jun 1, 2021

|

20 min read

Cet article suit exactement la progression pédagogique de la vidéo: même ordre des chapitres, mêmes idées centrales, mêmes schémas conceptuels, et les formules mathématiques utilisées pour expliquer le fonctionnement des réseaux de neurones.

Vidéo source:

Plan exact (comme dans la vidéo)

TimestampPartie
00:00Introduction MNIST
01:57Les bases du Machine Learning et du Deep Learning
05:19Le neurone artificiel de McCulloch et Pitts
10:47Le perceptron de Frank Rosenblatt
15:13Le perceptron multicouches de Geoffrey Hinton
20:47Le Deep Learning moderne
25:14Programme de la formation
28:06Informations importantes et conclusion

00:00 - Introduction MNIST

La vidéo démarre avec une promesse claire: apprendre à construire des réseaux de neurones de A à Z, en comprenant vraiment les maths derrière, pour aller jusqu’à des applications de vision par ordinateur (type MNIST et au-delà).

Objectif pédagogique affiché: ne pas survoler, mais comprendre les équations et les mécanismes d'apprentissage.

01:57 - Bases du Machine Learning et du Deep Learning

Le fil logique présenté est:

  • l’IA est le champ global,
  • le Machine Learning est un sous-domaine de l’IA,
  • le Deep Learning est un sous-domaine du Machine Learning.

En Machine Learning, on entraîne un modèle sur des exemples `(x, y)` pour minimiser l’erreur.

\mathcalD=\(x^(i),y^(i))\_i=1^m \haty(i)=f(x(i);θ),J(θ)=1m∑i=1m\mathcalL(\haty(i),y(i))\haty^(i) = f(x^(i);\theta),\qquad J(\theta)=\frac1m\sum_i=1^m\mathcalL\left(\haty^(i),y^(i)\right) θ⋆=arg⁡min⁡\thetaJ(θ)\theta^\star=\arg\min_\thetaJ(\theta)

La différence en Deep Learning n’est pas le principe d’apprentissage, mais le modèle: au lieu d’un modèle simple, on utilise un réseau de fonctions empilées (réseau de neurones).

05:19 - Neurone artificiel de McCulloch et Pitts

La vidéo revient à l’origine historique (1943) avec le neurone logique:

  1. Agrégation des entrées pondérées
z=∑j=1nwjxjz=\sum_j=1^nw_jx_j
  1. Activation seuil
y=H(z-\theta)= \begincases 1 & \textsi z\ge \theta \\ 0 & \textsinon \endcases

Schéma (présenté dans l’esprit de la vidéo)

Entrées x1..xn --(pondérations w1..wn)--> Somme z --> Seuil/activation --> Sortie y

Interprétation donnée:

  • les poids modélisent le caractère excitateur/inhibiteur du signal,
  • le neurone logique fonde l’idée de base des réseaux,
  • mais il manque encore un vrai algorithme d’apprentissage général.

10:47 - Perceptron de Frank Rosenblatt

Le perceptron garde la structure neurale mais ajoute une règle d’apprentissage explicite.

Modèle:

\haty=H(\mathbfw⊤\mathbfx+b)\haty=H(\mathbfw^\top\mathbfx+b)

Règle de mise à jour:

\mathbfw←\mathbfw+α(y−\haty)\mathbfx\mathbfw\leftarrow \mathbfw+\alpha(y-\haty)\mathbfx b←b+α(y−\haty)b\leftarrow b+\alpha(y-\haty)

avec `alpha` le pas d’apprentissage.

La vidéo insiste sur deux points:

  • c’est une avancée majeure (apprentissage supervisé explicite),
  • mais un perceptron simple reste linéaire (limité aux séparations linéaires).

15:13 - Perceptron multicouches (Geoffrey Hinton)

Pour dépasser la limite linéaire, on empile des neurones en couches:

  • couche d’entrée,
  • une ou plusieurs couches cachées,
  • couche de sortie.

Écriture couche `l`:

\mathbfz[l]=W[l]\mathbfa[l−1]+\mathbfb[l]\mathbfz^[l] = W^[l]\mathbfa^[l-1]+\mathbfb^[l] \mathbfa[l]=g[l](\mathbfz[l]),\mathbfa[0]=\mathbfx\mathbfa^[l] = g^[l](\mathbfz^[l]),\qquad \mathbfa^[0]=\mathbfx

Schéma multicouche (même logique de démonstration)

x -> [Neurones couche 1] -> [Neurones couche 2] -> ... -> y_hat

Backpropagation + descente de gradient (présenté dans la vidéo)

La formation présente la boucle standard:

On calcule la sortie du réseau couche par couche.

On mesure l'écart entre la sortie prédite et la cible.

On calcule les gradients de l'erreur pour chaque paramètre en remontant les couches.

On applique une descente de gradient et on recommence un cycle.

Forme générale des mises à jour:

W[l]←W[l]−α∂\mathcalL∂W[l],\mathbfb[l]←\mathbfb[l]−α∂\mathcalL∂\mathbfb[l]W^[l] \leftarrow W^[l]-\alpha\frac\partial\mathcalL\partial W^[l] ,\qquad \mathbfb^[l] \leftarrow \mathbfb^[l]-\alpha\frac\partial\mathcalL\partial \mathbfb^[l]

20:47 - Deep Learning moderne

La vidéo explique pourquoi le Deep Learning n’a pas explosé plus tôt, malgré des bases anciennes:

  1. Données: il fallait des volumes massifs (internet, smartphones, données annotées).
  2. Puissance de calcul: il fallait du matériel adapté (accélération type GPU).

Éléments d’évolution rappelés:

  • remplacement progressif des activations seuil par des activations plus efficaces (sigmoïde, tanh, ReLU),
  • avancées des architectures (CNN pour vision, RNN pour séquences),
  • bascule majeure en 2012 (ImageNet) qui accélère l’adoption industrielle.

Point important rappelé dans la vidéo: un réseau de neurones n'est pas un cerveau humain miniature. C'est un modèle mathématique inspiré de certaines idées biologiques.

25:14 - Programme de la formation (repris fidèlement)

Le programme annoncé suit une montée en puissance:

  1. Démarrer par le modèle simple (perceptron) et ses formules.
  2. Comprendre la fonction de coût et la descente de gradient.
  3. Programmer les bases avec des matrices (approche from-scratch).
  4. Ajouter des neurones et des couches pour former un réseau multicouche.
  5. Implémenter propagation avant et rétropropagation.
  6. Dériver/calculer les gradients pas à pas.
  7. Étendre avec d’autres activations (tanh, ReLU, softmax).
  8. Passer aux bibliothèques (TensorFlow/Keras) et réaliser des projets de vision.

28:06 - Informations importantes et conclusion

Les messages de fin sont orientés pratique:

  • faire les exercices entre les vidéos,
  • construire ses propres mini-projets,
  • partager ses objectifs/projets dans la communauté,
  • utiliser les ressources annexes (site, Discord, code, contenus bonus).

Schéma global récapitulatif (même logique que la vidéo)

Fondamentaux ML -> Neurone logique -> Perceptron -> Multicouches
-> Backpropagation + Descente gradient
-> Architectures modernes + Données + Compute
-> Projets réels de Computer Vision

Sources du créateur (liens donnés dans la description)

TABLE OF CONTENTS

Plan exact (comme dans la vidéo)00:00 - Introduction MNIST01:57 - Bases du Machine Learning et du Deep Learning05:19 - Neurone artificiel de McCulloch et PittsSchéma (présenté dans l’esprit de la vidéo)10:47 - Perceptron de Frank Rosenblatt15:13 - Perceptron multicouches (Geoffrey Hinton)Schéma multicouche (même logique de démonstration)Backpropagation + descente de gradient (présenté dans la vidéo)20:47 - Deep Learning moderne25:14 - Programme de la formation (repris fidèlement)28:06 - Informations importantes et conclusionSchéma global récapitulatif (même logique que la vidéo)Sources du créateur (liens donnés dans la description)