📜 Learning
Du perceptron aux transformers — l’histoire de l’apprentissage machine, des frameworks et des architectures.
Table des Chapitres
| # | Chapitre | Résumé |
|---|---|---|
| 01 | Les Fondations (1943–1986) | Perceptron, backpropagation, hiver de l’IA — les débuts du ML |
| 02 | L’essor des Réseaux (1989–2012) | CNN, LSTM, ImageNet, AlexNet — la renaissance du deep learning |
| 03 | Frameworks : La Guerre des Moteurs | Torch, Theano, TensorFlow, PyTorch, JAX — la guerre des frameworks |
| 04 | L’Ère des Transformers | Attention Is All You Need, BERT, GPT, ViT — l’architecture qui a tout changé |
| 05 | Deep Learning Distribué | DDP, FSDP, DeepSpeed, Megatron — entraîner sur des milliers de GPU |
| 06 | Écosystème Actuel | LLMs, frameworks, hardware, agents — panorama de l’état de l’art |
| 07 | Graph Neural Networks (GNNs) | GCN, GAT, message passing — apprendre sur des graphes |
| 08 | Hardware : La Révolution du Calcul | CUDA, GPU, TPU — le calcul qui a rendu le DL possible |
| 09 | Optimisation : Évolution des Optimiseurs | SGD, Adam, AdamW, Lion — l’histoire des optimiseurs |
| 10 | Normalisation & Régularisation | BatchNorm, LayerNorm, Dropout — stabiliser l’entraînement |
| 11 | Reinforcement Learning | DQN, PPO, AlphaGo — apprendre par essai et récompense |
| 12 | Modèles Génératifs | GANs, VAE, Diffusion — générer à partir de bruit |
| 13 | Vision par Ordinateur | CNN, YOLO, ViT, SAM — voir et comprendre les images |
| 14 | NLP : Du Word Embedding aux LLMs | Word2Vec, BERT, GPT — comprendre et générer le langage |
| 15 | AutoML & Meta-Learning | NAS, HPO, few-shot — apprendre à apprendre |
| 16 | Self-Supervised Learning | SimCLR, MAE, CLIP — apprendre sans étiquettes |
| 17 | Datasets Fondamentaux | MNIST, ImageNet, C4 — les données qui ont fait le ML |
| 18 | Adversarial ML & Robustesse | FGSM, PGD, adversarial training — attaquer et défendre |
| 19 | Federated Learning | FedAvg, non-IID, confidentialité — entraîner sans centraliser |
| 20 | Attaques Byzantines | Krum, Bulyan, Median — le problème des généraux en ML |
| 21 | Knowledge Distillation | Teacher-student, soft targets — compresser le savoir |
| 22 | Quantization & Pruning | INT8, FP4, élagage — rendre les modèles plus légers |
| 23 | Continual Learning | Catastrophic forgetting, replay — apprendre sans oublier |
| 24 | Causal Machine Learning | DoWhy, inférence causale — causes, pas corrélations |
| 25 | Geometric Deep Learning | Manifolds, symmetries, GNNs — la géométrie du DL |
| 26 | Bayesian Deep Learning | Incertitude, priors, VI — le DL probabiliste |
| 27 | Fonctions d’Activation | Sigmoid, ReLU, GELU, SwiGLU — les non-linéarités |
| 28 | Fonctions de Loss | Cross-entropy, contrastive, triplet — mesurer l’erreur |
| 29 | Mécanismes d’Attention | Self-attention, multi-head, causal — le cœur des Transformers |
| 30 | Positional Encodings | Sinusoïdal, RoPE, ALiBi — dire où il est |
| 31 | Scaling Laws | Kaplan, Chinchilla — la physique des LLMs |
| 32 | Alignment (RLHF → DPO → ORPO) | RLHF, DPO, ORPO — aligner avec les préférences |
| 33 | Parameter-Efficient Fine-Tuning | LoRA, QLoRA, Adapter — fine-tuner sans tout ré-entraîner |
| 34 | Mixture of Experts (MoE) | Shazeer, Mixtral, DeepSeek — plus grand sans plus de calcul |
| 35 | Hardware-Aware Algorithms | FlashAttention, kernel fusion — algorithmes conscients du hardware |
| 36 | Open Source AI Movement | Hugging Face, Llama, OLMo — la démocratisation de l’IA |
| 37 | Differential Privacy | DP-SGD, PATE — protéger la vie privée |
| 38 | Reproducibilité & Experiment Tracking | Seed, logging, W&B — la science reproductible |
| 39 | Datasets de Référence par Domaine | Vision, NLP, audio — les benchmarks par domaine |
| 40 | Formal Verification & AI Safety | Sécurité, alignement, vérification — l’IA digne de confiance |
| 41 | Hardware Timeline | TPU, Groq, Cerebras — tableaux du hardware ML |
| 42 | Liens avec la Thèse | Intersection FL, Byzantine, distribué — le pont avec ta recherche |
| 43 | Timeline Visuelle | Ligne du temps 1943–2026 — tout le ML en un coup d’œil |
🔗 Voir aussi : Hardware, Distributed Systems, Python, Concepts avancés, Glossaire, Analyse de papiers