Les Fondations (1943–1986)
L’histoire de l’apprentissage machine commence par une question simple : peut-on modéliser un neurone biologique avec des mathématiques ? McCulloch et Pitts posent la première pierre en 1943 avec un modèle binaire du neurone. Quinze ans plus tard, Rosenblatt donne vie à cette idée avec le Perceptron — un algorithme qui apprend à partir d’exemples. La machine peut désormais classer des patterns simples.
Mais en 1969, Minsky et Papert publient Perceptrons, démontrant mathématiquement que le perceptron ne peut pas apprendre la fonction XOR. Ce coup d’arrêt plonge le domaine dans son premier hiver de l’IA — les financements se tarissent, la recherche stagne.
La solution dormait dans la thèse de Paul Werbos (1974) : la rétropropagation du gradient, qui permet d’entraîner des réseaux à couches multiples en propageant l’erreur de la sortie vers l’entrée. Mais il faudra attendre 1986 et l’article fondateur de Rumelhart, Hinton et Williams pour que la communauté réalise son potentiel. Le perceptron multicouche peut enfin apprendre des représentations internes.
| Année | Contribution | Acteurs | |---|---|---|---|---|---| | 1943 | Modèle mathématique du neurone — premier modèle formel d’un neurone biologique | McCulloch & Pitts | | 1958 | Perceptron — premier algorithme d’apprentissage pour un neurone formel | Frank Rosenblatt | | 1969 | Hiver de l’IA — démonstration des limites du perceptron (XOR non séparable) | Minsky & Papert | | 1974 | Rétropropagation (backpropagation) — théorisation de l’apprentissage pour réseaux multicouches | Paul Werbos | | 1986 | Backpropagation popularisée — apprentissage des représentations internes | Rumelhart, Hinton & Williams |
01 • L’essor des Réseaux (1989–2012) →