31 - Fonctions de Loss (Évolution)

Fonctions de Loss (Évolution)

La fonction de loss est la boussole de l’apprentissage : c’est elle qui dit au modèle dans quelle direction ajuster ses poids. Pendant longtemps, la cross-entropy pour la classification et la MSE pour la régression suffisaient à tout.

L’essor des architectures d’embedding (Siamese, Triplet) dans les années 2010 a nécessité de nouvelles fonctions : la contrastive loss (2006) rapproche les paires similaires et éloigne les dissimilaires ; la triplet loss (2015) généralise à trois exemples (ancre, positif, négatif). C’est ce qui a rendu possible FaceNet et la reconnaissance faciale.

En 2018, l’InfoNCE devient la loss standard du contrastive learning — elle mesure si le modèle sait identifier l’exemple “positif” parmi un lot de distracteurs. SimCLR, MoCo, et CLIP l’utilisent. En 2020, la diffusion loss — minimiser l’erreur de prédiction du bruit — devient le moteur de Stable Diffusion et DALL-E.

Loss	Année	Formule	Usage
MSE	—	$\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$	Régression
Cross-Entropy (CE)	—	$-{\sum }_{c=1}^C{y}_c\log {\hat{y}}_c$	Classification multi-classes
Binary Cross-Entropy (BCE)	—	$-[y\log p+(1-y)\log (1-p)]$	Classification binaire
Hinge Loss	1964	$\max (0,1-y\cdot \hat{y})$	SVM
Huber Loss	1964	$\begin{cases} \frac{1}{2}(y-\hat{y})^2 &\text{si }	y-\hat{y}	\leq\delta \ \delta \cdot (	y-\hat{y}	- \frac{\delta}{2}) &\text{sinon} \end{cases}$	Régression robuste
Contrastive Loss	2006	$1[y=1]\cdot d^2+1[y=0]\cdot \max (0,m-d{)}^2$ avec $d=\Vert a-b\Vert$	Siamese Networks
Triplet Loss	2015	$\max (\Vert a-p{\Vert }^2-\Vert a-n{\Vert }^2+\alpha ,0)$	FaceNet, embeddings
Focal Loss	2017	$-(1-p_t{)}^{\gamma }\log (p_t)$	Déséquilibre classes (RetinaNet)
Dice Loss	2016	$1-\frac{2{\sum }_i{y}_i{\hat{y}}_i}{{\sum }_i{y}_i+{\sum }_i{\hat{y}}_i}$	Segmentation
VAE Loss (ELBO)	2013	$-\mathbb{E}_{z \sim q(z \	x)}[\log p(x	z)] + \beta \cdot KL(q(z	x)|p(z))$	Autoencodeur variationnel
InfoNCE	2018	$-\log \frac{\exp \left(\frac{\text{sim}(q,k^{+})}{\tau }\right)}{{\sum }_{j=1}^K\exp \left(\frac{\text{sim}(q,k_j)}{\tau }\right)}$	Contrastive (SimCLR, MoCo)
NT-Xent	2020	$\ell (i,j)=-\log \frac{\exp (s_{i,j}/\tau )}{{\sum }_{k\ne i}\exp (s_{i,k}/\tau )}$	SimCLR (InfoNCE normalisé)
Diffusion Loss	2020	${\mathbb{E}}_{t,ϵ}[\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t){\Vert }^2]$	Denoising Diffusion
CTC Loss	2006	$-\log \sum_{\pi \in \mathcal{B}^{-1}(y)} \prod_t p(\pi_t	x)$	ASR, OCR (alignement séquence)
Adversarial Loss (GAN)	2014	${\min }_G{\max }_D{\mathbb{E}}_x[\log D(x)]+{\mathbb{E}}_z[\log (1-D(G(z)))]$	GANs

← Fonctions d’Activation • 31 • Mécanismes d’Attention →

---