L’essor des Réseaux (1989–2012)
Pendant deux décennies, les réseaux de neurones restent confinés à des tâches modestes. Trois innovations vont tout changer.
D’abord, Yann LeCun introduit les CNN (1989) — des réseaux qui exploitent la structure spatiale des images grâce à des filtres convolutifs. Ils excellent sur la reconnaissance de chiffres manuscrits, mais peinent à passer à l’échelle faute de données et de puissance de calcul.
Ensuite, Sepp Hochreiter résout le vanishing gradient des RNN avec le LSTM (1997) — une cellule mémoire capable de retenir l’information sur des centaines de pas de temps. Cette architecture dominera le traitement du langage pendant 20 ans, jusqu’à l’arrivée des Transformers.
En 2006, Geoffrey Hinton réveille le domaine en montrant qu’on peut pré-entraîner des réseaux profonds couche par couche avec des Deep Belief Networks. Le mot “deep” n’est plus une barrière technique, c’est une promesse.
Mais la véritable révolution vient de Fei-Fei Li. En 2009, elle lance ImageNet — 1,2 million d’images annotées dans 1000 catégories. Pour la première fois, les réseaux profonds ont assez de données pour généraliser. Trois ans plus tard, Alex Krizhevsky combine tout ce qui précède — CNN profond, ReLU, Dropout, GPU training — et pulvérise le benchmark ImageNet avec AlexNet. Le deep learning moderne est né — rendu possible par la puissance des GPU (voir History of Hardware).
| Année | Contribution | Acteurs | |---|---|---|---|---|---| | 1989 | CNN (ConvNet) — premiers réseaux convolutifs pour la reconnaissance de chiffres manuscrits | Yann LeCun | | 1997 | LSTM — mémoire longue court-terme, résout le problème du vanishing gradient | Hochreiter & Schmidhuber | | 2006 | Deep Belief Networks — première méthode efficace pour pré-entraîner des réseaux profonds | Geoffrey Hinton | | 2009 | ImageNet — dataset massif qui rendra possible le deep learning moderne | Fei-Fei Li | | 2012 | AlexNet — victoire écrasante à ImageNet, début de l’ère du deep learning | Krizhevsky, Sutskever & Hinton |
← Les Fondations (1943–1986) • 02 • Frameworks : La Guerre des Moteurs →