Apprendre à partir des données et des réseaux de neurones

Un programme d'apprentissage reçoit des exemples du comportement qu'il doit apprendre. En apprentissage supervisé, chaque exemple associe une entrée à sa sortie correcte, appelée étiquette. La règle apprise doit aussi fonctionner sur des entrées absentes pendant l'entraînement.

Identifier la tâche et ses étiquettes

Écris un jeu d'entraînement sous la forme $({𝐱}_1,y_1),\dots ,({𝐱}_N,y_N)$. L'entrée décrit un cas ; l'étiquette fournit la réponse pour ce cas. Une fonction cible inconnue décrit la relation sous-jacente. Avec des étiquettes sans bruit, $y=f(𝐱)$. Le programme choisit une hypothèse $h$ pour approcher cette relation.

Pour un filtre de courriers indésirables, un cas est un courriel. Son entrée peut indiquer s'il contient « gratuit », combien de liens il comporte et si son expéditeur est un contact. Son étiquette est courrier indésirable ou courriel légitime, c'est-à-dire un courriel souhaité. Un jeu d'entraînement peut contenir 5 000 courriels étiquetés ; le filtre terminé est évalué sur 1 000 autres courriels étiquetés.

La sortie définit la tâche. « Tombera-t-il plus de 5 mm de pluie ? » demande une classe ; « Combien de millimètres tomberont ? » demande un nombre. Une sortie entière peut tout de même être une classe : le chiffre 7 désigne une catégorie, et non sept fois le chiffre 1.

L'apprentissage supervisé utilise des exemples étiquetés. L'apprentissage non supervisé recherche des structures sans étiquettes, comme des groupes de clients. L'apprentissage par renforcement utilise les récompenses qui suivent les actions d'un agent. La création d'étiquettes fiables peut demander un travail humain considérable.

Choisir une famille de règles possibles

L'espace d'hypothèses est la famille dans laquelle le programme peut chercher, par exemple les classifieurs linéaires utilisant des caractéristiques définies. Les paramètres appris, dont les poids ou les probabilités conditionnelles, sélectionnent un membre de cette famille. Une fonction cible extérieure à la famille ne peut pas être représentée exactement, même avec des données illimitées.

Un hyperparamètre détermine le cadre de l'apprentissage : par exemple, un taux d'apprentissage ou le nombre d'unités cachées. L'entraînement ajuste les paramètres. Les comparaisons sur les données de validation aident à choisir les hyperparamètres. Des familles plus souples saisissent davantage de structures, mais offrent aussi plus de façons de s'ajuster au bruit.

Évaluer les prédictions sur de nouveaux cas

L'erreur d'entraînement mesure l'ajustement aux exemples utilisés pour l'apprentissage. Une règle qui mémorise tous les courriels d'entraînement peut avoir une erreur d'entraînement nulle et échouer malgré tout sur de nouveaux messages. Utilise un jeu de validation pour les choix de modèle et conserve un jeu de test distinct pour l'évaluation finale.

Pour un classifieur, le taux d'erreur est le nombre de prédictions incorrectes divisé par le nombre d'exemples testés. Trois erreurs parmi 40 courriels donnent

Le lien avec la performance future dépend des conditions d'échantillonnage. Des exemples indépendants et identiquement distribués, ou i.i.d., sont des tirages indépendants issus de la même distribution. Si les futurs courriers indésirables utilisent des formulations très différentes, l'ancien jeu de test ne représente plus ce flux futur. Indique le résultat sur les données mises de côté pour la population qu'elles représentent réellement.

Les modèles utilisent une description numérique de chaque cas. Le choix et l'ordre de ces caractéristiques déterminent ce qu'un modèle peut remarquer. Une perte indique ensuite à l'algorithme d'apprentissage le coût de ses prédictions.

Construire un vecteur de caractéristiques

Une caractéristique peut être binaire, être un nombre d'occurrences ou être un nombre mesuré. « Contient gratuit » devient 0 ou 1, un nombre de liens peut être 4 et une surface au sol peut être de 85 m². Garde le même ordre des caractéristiques pour l'entraînement et la prédiction. Une image en niveaux de gris de 28 pixels sur 28 fournit $28\times 28=784$ caractéristiques correspondant aux pixels.

Pour une catégorie sans ordre numérique, utilise l'encodage disjonctif. Pour le rouge, le vert et le bleu, les vecteurs sont $(1,0,0)$, $(0,1,0)$ et $(0,0,1)$. Les codes 1, 2 et 3 imposeraient un ordre et des écarts artificiels à ces couleurs.

Combiner les caractéristiques en un score

Un produit scalaire multiplie les poids et les caractéristiques correspondants, puis additionne les produits :

Pour $𝐰=(2;-1;\mathrm{0,5})$ et $𝐱=(1,3,4)$, le score est

Un poids positif augmente le score lorsque sa caractéristique augmente ; un poids négatif le diminue. La valeur absolue du poids décrit la sensibilité par unité de la caractéristique : il faut donc être prudent en comparant les valeurs absolues de poids associés à des caractéristiques d'échelles différentes.

Le biais décale le score indépendamment des entrées variables. Inclus une première caractéristique constante $x_0=1$ et désigne son poids par $w_0$. Ainsi, $𝐱=(1,x_1,\dots ,x_n)$ comprend la caractéristique de biais ; ce n'est pas une propriété mesurée supplémentaire. Le modèle peut alors déplacer une frontière de décision sans modifier les autres poids.

Mesurer le coût d'une prédiction

Une fonction de perte compare une prédiction à son étiquette. Des pertes différentes expriment des coûts différents :

Pour une température réelle de 10 °C et une prédiction de 7 °C, la perte quadratique vaut 9 et la perte absolue vaut 3. Une erreur de 6 donne une perte quadratique de 36, soit quatre fois celle d'une erreur de 3. La perte 0/1 moyenne est le taux d'erreur de classification.

La perte empirique est la perte moyenne sur l'échantillon d'entraînement. Les prédictions $(2,4,7)$ pour les étiquettes $(3,4,5)$ donnent les erreurs quadratiques 1, 0 et 4, donc une erreur quadratique moyenne $5\mathrm{/}3\approx \mathrm{1,67}$. Additionne les pertes avant de diviser par le nombre d'exemples.

La perte de généralisation est l'espérance de la perte sur de nouveaux exemples issus de la même distribution. Minimiser la perte empirique peut conduire à s'ajuster aux détails fortuits de l'échantillon. Les caractéristiques sans rapport donnent au programme d'apprentissage davantage d'occasions de le faire ; des caractéristiques presque identiques peuvent aussi faire compter deux fois le même indice au classifieur bayésien naïf. Le rasoir d'Ockham favorise une hypothèse plus simple lorsque les différentes hypothèses s'ajustent à peu près aussi bien, car une souplesse supplémentaire doit être justifiée par les données.

Le modèle bayésien naïf combine la probabilité initiale d'une classe avec les indices fournis par une entrée. Son hypothèse simplificatrice permet d'apprendre un grand modèle probabiliste à partir d'échantillons relativement petits.

Factoriser les indices par classe

Le modèle suppose que les caractéristiques sont indépendantes conditionnellement à la classe. Pour une variable de classe et plusieurs caractéristiques,

Un réseau bayésien représente la classe comme le parent de chaque caractéristique. L'indépendance est conditionnelle : les caractéristiques peuvent être fortement liées globalement parce qu'elles dépendent toutes deux de la classe. Pour 100 caractéristiques binaires, une table conjointe complète des caractéristiques nécessite $2^{100}-1$ probabilités libres par classe. Le modèle bayésien naïf n'a besoin que de 100 probabilités par classe, une pour la valeur oui de chaque caractéristique.

La formule de Bayes donne un score de classe

Choisis la classe ayant le score le plus élevé. Le dénominateur omis, qui correspond aux observations, est le même pour toutes les classes. Un score n'est pas encore une probabilité a posteriori : pour l'obtenir, divise-le par la somme de tous les scores de classe.

Suivre une prédiction avec des caractéristiques binaires

Supposons que la probabilité a priori des courriers indésirables soit de 0,4 et celle des courriels légitimes de 0,6. Les probabilités pour « gratuit » sont de 0,5 dans les courriers indésirables et de 0,05 dans les courriels légitimes. Pour « réunion », elles sont de 0,1 et de 0,4. Le nouveau courriel contient « gratuit », mais pas « réunion ».

1. Pour les courriers indésirables, l'absence de « réunion » contribue pour $1-\mathrm{0,1}=\mathrm{0,9}$. Le score est $\mathrm{0,4}(\mathrm{0,5})(\mathrm{0,9})=\mathrm{0,18}$.
2. Pour les courriels légitimes, cette absence contribue pour $1-\mathrm{0,4}=\mathrm{0,6}$. Le score est $\mathrm{0,6}(\mathrm{0,05})(\mathrm{0,6})=\mathrm{0,018}$.
3. La somme des scores est de 0,198 ; la probabilité a posteriori d'un courrier indésirable est donc $\mathrm{0,18}\mathrm{/}\mathrm{0,198}\approx \mathrm{0,909}$.

Une caractéristique binaire absente fournit un indice. Si les deux mots apparaissent, les scores deviennent 0,02 et 0,012, et la probabilité a posteriori d'un courrier indésirable descend à 0,625. « Réunion » fait pencher la balance vers la classe des courriels légitimes, même si celle des courriers indésirables l'emporte encore.

Ne confonds pas le sens du conditionnement. $P(\text{gratuit}\mid \text{ind}\acute{\text{e}}\text{sirable})=\mathrm{0,5}$ décrit les courriers indésirables. La probabilité inverse, $P(\text{ind}\acute{\text{e}}\text{sirable}\mid \text{gratuit})$, nécessite aussi les probabilités a priori des classes et la vraisemblance pour les courriels légitimes ; ici, elle vaut $\mathrm{0,2}\mathrm{/}(\mathrm{0,2}+\mathrm{0,03})\approx \mathrm{0,870}$.

Utiliser les scores logarithmiques sans changer la classe gagnante

De longs produits peuvent devenir nuls par dépassement des limites de représentation des petits nombres lors des calculs informatiques. Deux cents facteurs de 0,01 donnent ${10}^{-400}$, une valeur inférieure au plus petit nombre positif représentable en double précision. Compare plutôt

Les logarithmes préservent l'ordre et transforment la multiplication en addition. Ici, $\ln \mathrm{0,18}\approx -\mathrm{1,715}$ l'emporte sur $\ln \mathrm{0,018}\approx -\mathrm{4,017}$ ; parmi des scores négatifs, le moins négatif est le plus grand.

Le modèle bayésien naïf est génératif : il modélise la probabilité a priori et la façon dont les caractéristiques apparaissent dans chaque classe. La régression logistique est discriminative : elle modélise directement la probabilité de la classe à partir de l'entrée. Avec des caractéristiques binaires, le modèle bayésien naïf possède lui aussi une frontière linéaire en termes de logit. Des caractéristiques corrélées, comme « Hong » et « Kong », peuvent rendre sa probabilité a posteriori trop extrême en comptant des indices qui se recoupent. Une prédiction de classe peut être correcte même lorsque la probabilité attribuée est trop extrême.

Le modèle bayésien naïf apprend par comptage. Les choix importants sont la population à inclure dans un dénominateur et le degré de protection à donner à un résultat qui n'est pas encore apparu.

Estimer les probabilités dans le bon groupe

L'estimation par maximum de vraisemblance rend les données observées les plus probables. Pour la probabilité a priori d'une classe, divise l'effectif de la classe par le nombre total d'exemples. Pour une probabilité conditionnelle de caractéristique, limite les deux effectifs à la classe :

Considérons 100 courriels : 40 indésirables et 60 légitimes. « Gratuit » apparaît dans 20 courriers indésirables et 3 courriels légitimes ; « réunion » apparaît dans 4 courriers indésirables et 24 courriels légitimes. La probabilité a priori des courriers indésirables est donc de 0,4. Les estimations pour « gratuit » sont $20\mathrm{/}40=\mathrm{0,5}$ pour les courriers indésirables et $3\mathrm{/}60=\mathrm{0,05}$ pour les courriels légitimes. Celles pour « réunion » sont $4\mathrm{/}40=\mathrm{0,1}$ et $24\mathrm{/}60=\mathrm{0,4}$. Diviser par 100 l'effectif correspondant à la fois à une caractéristique et à une classe donnerait une estimation de probabilité conjointe, et non de la probabilité conditionnelle demandée.

Remédier aux effectifs nuls

Supposons que « prix » apparaisse dans 8 courriers indésirables et aucun courriel légitime. Son estimation par maximum de vraisemblance pour les courriels légitimes vaut zéro. Tout nouveau message qui le contient reçoit un score nul pour la classe des courriels légitimes, quelles que soient ses autres caractéristiques. Un résultat absent d'un échantillon fini est devenu une affirmation d'impossibilité.

Le lissage par ajout de k attribue un pseudo-effectif de $k$ à chaque valeur possible de la caractéristique :

Ici, $\mathrm{\mid }F\mathrm{\mid }$ est le nombre de valeurs de cette caractéristique. Pour une caractéristique oui/non, il vaut 2, et non le nombre de mots modélisés. Avec un lissage par ajout de un,

Les deux résultats reçoivent un pseudo-effectif. Dans les courriels légitimes, la valeur correspondant à l'absence a donc une probabilité de $61\mathrm{/}62$. La somme des deux probabilités vaut 1. Ajouter uniquement au numérateur détruirait cette normalisation.

Choisir le paramètre de lissage

Le paramètre $k$ est un hyperparamètre. À zéro, il donne l'estimation par maximum de vraisemblance. Lorsqu'il devient grand, chaque probabilité se rapproche de la valeur uniforme $1\mathrm{/}\mathrm{\mid }F\mathrm{\mid }$ et les indices propres aux classes s'affaiblissent. Le lissage sacrifie une partie de l'ajustement aux effectifs observés pour obtenir des prédictions plus stables sur de nouveaux cas.

Compare des valeurs comme 0,1, 0,5, 1, 2 et 5 sur les données de validation. Garde le jeu de test séparé pour l'évaluation finale. Une grande valeur peut entraîner un sous-apprentissage ; une très petite valeur peut laisser des estimations instables pour les caractéristiques rares.

Un même pseudo-effectif compte moins lorsque les effectifs réels augmentent. Parmi 6 000 courriels légitimes dont 300 contiennent « gratuit », l'estimation par maximum de vraisemblance est 0,05 et la valeur obtenue par ajout de un est $301\mathrm{/}6002\approx \mathrm{0,0502}$. Avec de nombreuses observations, les données dominent les pseudo-effectifs. Les probabilités a priori des classes sont généralement laissées sans lissage lorsque chaque classe est bien représentée. Un seul passage sur les exemples étiquetés permet de recueillir les effectifs, ce qui rend cette méthode d'entraînement rapide.

Un sac de mots transforme un texte en effectifs de mots. Il fournit à un classifieur simple des indices sur le vocabulaire tout en ignorant l'ordre des mots.

Compter les occurrences, pas seulement les documents

« Le chat voit le chien » et « le chien voit le chat » ont le même sac : « le » deux fois et chacun des autres mots une fois. Une occurrence est une apparition d'un mot ; le vocabulaire est l'ensemble des mots distincts représentés par le modèle.

Dans le classifieur bayésien naïf multinomial, chaque position de mot est un tirage indépendant selon une distribution des mots propre à la classe. Un mot qui apparaît trois fois apporte trois facteurs :

Le score logarithmique correspondant est $\log P(y)+{\sum }_w{n}_w\log P(w\mid y)$. La probabilité a priori apparaît une fois par document. Le nombre d'occurrences du mot multiplie sa probabilité logarithmique.

Estime les probabilités des mots à partir des nombres d'occurrences dans une classe. Avec lissage,

où $N_y$ compte toutes les occurrences d'entraînement dans cette classe et $\mathrm{\mid }V\mathrm{\mid }$ compte les mots du vocabulaire. Supposons que les courriers indésirables contiennent 200 occurrences, dont 9 de « argent », et que le vocabulaire contienne 1 000 mots. L'estimation par maximum de vraisemblance donne $9\mathrm{/}200=\mathrm{0,045}$. L'ajout de un donne $10\mathrm{/}1200\approx \mathrm{0,0083}$, tandis que $k=\mathrm{0,1}$ donne $\mathrm{9,1}\mathrm{/}300\approx \mathrm{0,0303}$. Avec un grand vocabulaire, même un pseudo-effectif par mot représente une quantité importante.

Classer un court document

Les classes sport et politique ont chacune une probabilité a priori de 0,5. Les probabilités des mots sont :

Pour « but but vote match », le score de la classe sport est

Le score de la classe politique est $\mathrm{0,5}(\mathrm{0,005}{)}^2(\mathrm{0,04})(\mathrm{0,006})=3\times {10}^{-9}$. La classe sport l'emporte avec un score 50 fois plus élevé, et sa probabilité a posteriori normalisée est $50\mathrm{/}51\approx \mathrm{0,98}$. Omettre le deuxième « but » supprimerait une partie des indices. En pratique, utilise les scores logarithmiques, environ −15,71 et −19,62, pour éviter les produits très petits.

Distinguer les modèles de texte

Un modèle de texte de Bernoulli utilise une caractéristique oui/non par mot et inclut le facteur de chaque mot absent. Le modèle multinomial utilise les nombres d'occurrences et ne comporte pas de facteurs distincts pour les mots absents. Ses dénominateurs comptent les occurrences, pas les documents. Mélanger ces choix ne permet de construire correctement aucun des deux modèles.

Un mot du vocabulaire jamais observé dans une classe nécessite un lissage. Un mot extérieur au vocabulaire n'a pas de probabilité modélisée et est généralement ignoré. Une autre solution consiste à réserver pendant l'entraînement une occurrence pour les mots inconnus, avec sa propre probabilité par classe.

Le sac ignore le contexte : « bon » fournit le même indice dans « pas bon » et « très bon ». Ajouter des bigrammes, ou paires de mots, permet de représenter une expression comme « pas bon ». Des mots presque identiques ou voisins peuvent tout de même produire des probabilités trop affirmées. Le modèle reste utile comme référence rapide pour identifier le sujet, les courriers indésirables, les sentiments ou la langue.

Un classifieur linéaire prend une décision à partir d'une somme pondérée. La géométrie montre quelles structures cette somme peut séparer et pourquoi certaines tâches nécessitent de nouvelles caractéristiques.

Lire le score et la frontière

Inclus d'abord la caractéristique constante de biais : $𝐱=(1,x_1,\dots ,x_n)$. Calcule $z=𝐰\cdot 𝐱$ et prédis $+1$ pour $z\ge 0$ ou $-1$ pour $z<0$. Selon cette convention, un score nul appartient à la classe positive.

Avec au moins un poids de caractéristique non nul, la frontière de décision est $𝐰\cdot 𝐱=0$. Pour deux caractéristiques variables, c'est une droite ; pour trois, un plan ; en général, c'est un hyperplan. Le vecteur des poids sans le biais est perpendiculaire à cette frontière et pointe vers le côté positif.

Pour $𝐰=(-3,1,1)$, le score est $-3+x_1+x_2$ et la frontière est $x_1+x_2=3$. Le point $(2;2)$ obtient le score 1, $(1;1)$ le score −1 et $(3;0)$ le score zéro. Les prédictions sont respectivement positive, négative et positive.

La distance géométrique est la valeur absolue du score divisée par la longueur du vecteur des poids sans le biais :

Pour $(2;2)$, elle vaut $1\mathrm{/}\sqrt{2}\approx \mathrm{0,71}$. Multiplier chaque poids par une constante positive modifie le score, mais laisse inchangées la distance et la classe prédite. Omettre le biais impose aux frontières de passer par l'origine.

Déterminer si une droite suffit

Des données sont linéairement séparables lorsqu'un vecteur de poids classe correctement chaque point. Pour la fonction ET, utilise $𝐰=(-\mathrm{1,5};1;1)$. Seul $(1;1)$ a un score positif ; les trois autres entrées binaires ont des scores négatifs.

Le OU exclusif attribue la classe positive à $(1;0)$ et $(0;1)$, mais la classe négative à $(0;0)$ et $(1;1)$. Aucune droite ne peut séparer ces paires diagonalement opposées. Pour comprendre pourquoi, l'origine négative impose $w_0<0$. Les deux points positifs imposent $w_1+w_2\ge -2w_0$, tandis que le point négatif $(1;1)$ impose $w_1+w_2<-w_0$. Ces conditions imposent ensemble $w_0>0$, ce qui est contradictoire.

La représentation par caractéristiques peut modifier la séparabilité. Ajoute la caractéristique $x_1{x}_2$ et utilise les poids $(-\mathrm{0,5};1;1;-2)$. Les quatre entrées du OU exclusif obtiennent alors les scores −0,5, 0,5, 0,5 et −0,5 dans l'ordre $(0;0),(1;0),(0;1),(1;1)$. La règle est linéaire dans le vecteur de caractéristiques enrichi, même si elle est non linéaire par rapport aux entrées initiales. Une couche cachée peut apprendre des caractéristiques transformées utiles.

Étendre le calcul des scores à plusieurs classes

Conserve un vecteur par classe et choisis le plus grand produit scalaire. Pour $𝐱=(1,2)$, les vecteurs ${𝐰}_A=(1,1)$, ${𝐰}_B=(2,0)$ et ${𝐰}_C=(0,1)$ donnent les scores 3, 2 et 2. La classe A l'emporte. Ce sont des scores comparatifs, pas des probabilités ; ils n'ont pas besoin d'être compris entre zéro et un ni d'avoir une somme égale à un.

Le perceptron apprend une règle de décision linéaire en corrigeant les erreurs au fur et à mesure. Il modifie directement les poids, sans ajuster de probabilités ni dériver une perte lisse.

Mettre à jour un exemple à la fois

Utilise les étiquettes $y\in \{-1,+1\}$, inclus la caractéristique de biais et pars de poids nuls. Un score nul prédit $+1$. Pour chaque exemple, prédis avec les poids courants. Ne les modifie pas si la prédiction est correcte ; sinon, applique

Un exemple positif ajoute son vecteur de caractéristiques. Un exemple négatif le soustrait. Le score de cet exemple change de $y\mathrm{\parallel }𝐱{\mathrm{\parallel }}^2$ et évolue donc vers le bon signe. La caractéristique de biais rend le carré de la longueur positif. Une mise à jour peut néanmoins laisser l'exemple incorrect et perturber des prédictions précédentes.

Une époque est un passage complet sur le jeu d'entraînement. Arrête-toi après une époque entière sans erreur ou lorsque la limite de passages choisie est atteinte.

Suivre deux passages

Prends les exemples dans cet ordre, avec la coordonnée de biais déjà incluse :

1. A obtient un score nul et est classé à tort comme positif. Soustrais A pour obtenir $(-1,-1,-3)$.
2. B obtient maintenant le score $-1-3-3=-7$. Ajoute B pour obtenir $(0,2,-2)$.
3. C obtient −2 et D obtient 4. Les deux sont corrects, donc aucune mise à jour n'a lieu.
4. Au passage suivant, A, B, C et D obtiennent −4, 4, −2 et 4. Il ne reste aucune erreur : arrête-toi.

La frontière apprise est $x_1=x_2$. Les prédictions doivent utiliser les poids obtenus après toutes les mises à jour précédentes, et non ceux du début de l'époque.

Comprendre la convergence et ses limites

Le théorème de convergence du perceptron garantit un nombre fini d'erreurs pour des données d'entraînement linéairement séparables. Si les entrées augmentées ont une longueur au plus égale à $R$ et qu'un séparateur de longueur unitaire atteint une marge signée positive $\gamma$, la borne du nombre d'erreurs est $(R\mathrm{/}\gamma {)}^2$. La garantie assure l'obtention d'un séparateur ; elle ne sélectionne ni la marge la plus large ni la meilleure performance sur le test.

Des données non séparables, comme le OU exclusif avec ses caractéristiques initiales ou des étiquettes contradictoires, ne permettent jamais un passage sans erreur. Fixe une limite d'entraînement et utilise la performance de validation pour choisir les poids. Un perceptron moyenné prédit à l'aide de la moyenne des poids sur les pas d'entraînement. Un taux d'apprentissage positif fixe multiplie simplement chaque poids par ce taux lorsque l'on part de zéro : il laisse donc inchangée la séquence des prédictions binaires ; un taux variable peut modifier ce comportement.

Corriger une prédiction multiclasse

Lors d'une erreur multiclasse, ajoute l'entrée au vecteur de la vraie classe et soustrais-la du vecteur de la classe prédite. Laisse les autres inchangés. Pour l'entrée $(1,2)$, de vraie classe B et de classe prédite A, les vecteurs $(1,1)$ et $(2,0)$ deviennent $(0,-1)$ et $(3,2)$. Leurs nouveaux scores sont −2 et 7. Le score de C reste égal à 2, donc B l'emporte désormais. Comme le perceptron binaire, ce modèle produit une classe, pas une probabilité.

La régression logistique transforme un score linéaire en probabilité pour une classe binaire. Sa sortie lisse fournit un signal d'entraînement gradué même lorsqu'une classification déterminée est déjà correcte.

Convertir un score en probabilité

Pour les étiquettes 0 et 1, calcule $z=𝐰\cdot 𝐱$ et

La fonction sigmoïde croît de valeurs proches de zéro à des valeurs proches de un. Elle donne $\sigma (0)=\mathrm{0,5}$, $\sigma (1)\approx \mathrm{0,731}$, $\sigma (2)\approx \mathrm{0,881}$ et $\sigma (-2)\approx \mathrm{0,119}$. Prédire la classe 1 lorsque $p\ge \mathrm{0,5}$ revient à utiliser $z\ge 0$ ; cette frontière de décision reste donc linéaire.

Le score est égal au logit :

Avec les poids $(-4;\mathrm{0,8})$ et l'entrée $(1,\text{heures d’}\acute{\text{e}}\text{tude})$, cinq heures donnent un score nul et une probabilité de 0,5. À 7,5 heures, le score est de 2 et la probabilité d'environ 0,881. Chaque heure supplémentaire ajoute 0,8 au logit et multiplie la cote par $e^{\mathrm{0,8}}\approx \mathrm{2,23}$. Elle n'ajoute pas 0,8 à la probabilité. Une probabilité prédite de 0,7 concerne la classe de cet exemple ; elle ne signifie pas que le modèle classe correctement 70 % des exemples.

Entraîner avec la perte logarithmique

Pour un exemple, la perte logarithmique binaire est

Seul le terme correspondant à l'étiquette observée subsiste. Si $y=1$, utilise $-\ln p$ ; si $y=0$, utilise $-\ln (1-p)$. Pour $p=\mathrm{0,9}$, ces pertes valent environ 0,105 et 2,303. Une prédiction erronée faite avec une forte confiance coûte beaucoup plus cher qu'une prédiction incertaine ; $p=\mathrm{0,5}$ donne une perte d'environ 0,693 pour chacune des étiquettes.

Le maximum de vraisemblance choisit les poids qui attribuent une probabilité conjointe élevée aux étiquettes observées. Prendre l'opposé d'un logarithme transforme le produit de leurs probabilités en somme de pertes logarithmiques. La descente de gradient ajuste les poids car il n'existe pas de solution explicite générale.

La perte logarithmique de la régression logistique est convexe en fonction des poids : tout minimum local est donc global. La perte 0/1 est constante presque partout et ne fournit aucun gradient utile ; la perte quadratique après la fonction sigmoïde perd cette convexité. Sur des données d'entraînement séparables, la perte logarithmique sans régularisation peut diminuer tandis que les poids augmentent sans limite : il n'existe donc pas de solution finie par maximum de vraisemblance. Une pénalité sur les poids maîtrise cette augmentation.

Utiliser softmax pour davantage de classes

Attribue un score à chaque classe et normalise les exponentielles :

Les scores $(2,1,0)$ produisent des probabilités d'environ $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$. Ajouter une même constante à chaque score ne modifie ni les probabilités ni la classe gagnante, car le facteur exponentiel commun se simplifie. Avec deux classes, softmax est la fonction sigmoïde de la différence des scores.

La régression logistique modélise directement $P(y\mid 𝐱)$ et ajuste les poids conjointement. Elle ne suppose pas l'indépendance des caractéristiques. Le modèle bayésien naïf estime une probabilité a priori et les distributions des caractéristiques par comptage ; il peut être particulièrement efficace avec peu de données, mais des indices corrélés peuvent rendre ses probabilités trop extrêmes.

Entraîner un modèle consiste souvent à trouver les poids qui rendent une perte faible. La descente de gradient utilise la pente locale de cette perte pour choisir les poids suivants et répète l'opération jusqu'à ce qu'un critère d'arrêt soit atteint.

Trouver la direction descendante

Une dérivée partielle mesure comment la perte change lorsqu'un paramètre varie et que les autres restent fixes. Le gradient rassemble toutes ces dérivées. Pour

Au point $(2;1)$, le gradient est $(4,6)$. Il pointe dans la direction de la plus forte augmentation locale selon la distance euclidienne ; son opposé pointe vers le bas. Un minimum lisse a un gradient nul, mais un gradient nul peut aussi apparaître en un point selle ou un maximum.

Avec un taux d'apprentissage positif $\alpha$, effectue la mise à jour

Calcule le gradient entier avant de modifier un poids. En partant de $(2;1)$ avec $\alpha =\mathrm{0,1}$, le point suivant est $(\mathrm{1,6};\mathrm{0,4})$, puis $(\mathrm{1,28};\mathrm{0,16})$. La perte passe de 7 à 3,04, puis à environ 1,72. La deuxième coordonnée change plus vite car sa courbure est plus grande.

Voir comment la taille du pas contrôle la convergence

Pour $L(w)=(w-3{)}^2$, la dérivée est $2(w-3)$. En partant de zéro avec un taux de 0,1 :

1. Le premier gradient est −6, donc le poids suivant est 0,6.
2. En 0,6, le gradient est −4,8, donc le poids suivant est 1,08.
3. Les valeurs suivantes sont 1,464, 1,7712 et environ 2,017.

Chaque pas multiplie la distance à 3 par $1-2\alpha =\mathrm{0,8}$. Pour cette perte, la convergence depuis un point de départ non optimal nécessite $0<\alpha <1$. Un taux de 1 fait osciller les valeurs entre 0 et 6 ; un taux de 1,1 produit 6,6, −1,32 et 8,184, en s'éloignant davantage. Un taux plus faible peut être stable mais lent. Un même taux ne convient pas à toutes les pertes ni à toutes les échelles de caractéristiques.

Dériver une perte de prédiction

Pour un prédicteur linéaire $h=w_0+w_{1}x$ et un exemple avec la perte quadratique $(y-h{)}^2$,

Utilise $x=2$, $y=5$ et les poids $(0,1)$. La prédiction est 2, donc le gradient est $(-6,-12)$. Un taux de 0,05 donne les nouveaux poids $(\mathrm{0,3};\mathrm{1,6})$. La prédiction suivante est 3,5 et la perte passe de 9 à 2,25. La dérivée du biais a pour facteur d'entrée 1, tandis que la dérivée de la pente inclut l'entrée mesurée.

Lire la surface de perte

Une perte convexe n'a pas de minima locaux moins bons que le minimum global : tout minimum local est global. La perte quadratique linéaire et la perte logarithmique de la régression logistique sont convexes. Les pertes des réseaux de neurones sont généralement non convexes, avec des points selles et des régions plates ainsi que des minima. L'initialisation peut influer sur le résultat final.

Les échelles des caractéristiques influent aussi sur l'optimisation. Une surface allant jusqu'à 200 m² et un nombre de pièces allant jusqu'à 6 peuvent étirer la surface de perte en une vallée étroite. Le centrage-réduction soustrait la moyenne d'entraînement de chaque caractéristique et divise par son écart-type d'entraînement. Des coordonnées mieux mises à l'échelle réduisent les zigzags. Arrête-toi selon un nombre de pas choisi, lorsque les gradients sont faibles ou en l'absence d'amélioration.

Calculer un gradient sur tous les exemples peut coûter cher. Les mises à jour stochastiques et par mini-lots échangent une direction parfaitement moyennée contre des pas plus fréquents et moins coûteux.

Choisir la quantité de données utilisée pour une mise à jour

Une époque parcourt une fois tout le jeu d'entraînement. Avec 10 000 exemples et des lots de 100, une époque comporte 100 mises à jour. Mélange les exemples entre les époques afin que les mêmes groupes ne reviennent pas dans le même ordre.

L'espérance du gradient d'un exemple choisi uniformément est égale au gradient d'entraînement complet. Certains pas peuvent néanmoins augmenter la perte totale. Tracer la perte au fil des époques donne une tendance plus claire que l'évaluation d'une seule mise à jour. Le bruit peut faciliter le passage autour des points selles et des minima peu profonds, mais un taux d'apprentissage élevé et fixe maintient aussi les poids en oscillation près d'une solution. Un schéma d'évolution du taux d'apprentissage décroissant aide à les stabiliser.

Établir la mise à jour logistique

Soit $p=\sigma (z)$, $z=𝐰\cdot 𝐱$, avec une perte logarithmique binaire. Sa dérivée par rapport à la probabilité est

La multiplication par la dérivée de la sigmoïde $p(1-p)$ donne $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }z=p-y$. Puisque $\mathrm{\partial }z\mathrm{/}\mathrm{\partial }{w}_i=x_i$, le gradient complet est

Le soustraire donne la mise à jour équivalente $𝐰\leftarrow 𝐰+\alpha (y-p)𝐱$. Pour un lot, calcule la moyenne de ces vecteurs avec les mêmes poids courants avant d'effectuer une mise à jour. Les additionner au lieu d'en calculer la moyenne multiplie le taux d'apprentissage effectif par la taille du lot.

Effectuer un pas stochastique

Pars de $𝐰=(0,0,0)$ avec l'entrée $𝐱=(1,2,1)$, la cible 1 et le taux 0,5. Le score est nul, donc $p=\mathrm{0,5}$. Alors

Le nouveau score est $\mathrm{0,25}+\mathrm{0,5}(2)+\mathrm{0,25}=\mathrm{1,5}$ et la nouvelle probabilité est d'environ 0,818. La perte logarithmique de cet exemple passe d'environ 0,693 à 0,201. Cette amélioration concerne cet exemple ; un pas stochastique n'améliore pas nécessairement tous les cas d'entraînement.

Le perceptron utilise lui aussi une correction liée à l'étiquette multipliée par l'entrée, mais il utilise des cibles ±1 et ne modifie les poids qu'en cas d'erreur. La régression logistique utilise des cibles 0/1 et une erreur de probabilité lisse. Avec des poids finis, elle peut continuer à effectuer des mises à jour après que la classe prédite est correcte.

Reconnaître les variantes courantes d'optimiseurs

L'inertie conserve une moyenne mobile des directions des gradients, ce qui facilite le mouvement dans les directions constantes et réduit les oscillations. Adam combine cela avec des tailles de pas adaptatives propres à chaque paramètre. Les deux nécessitent toujours un taux d'apprentissage adapté. Compare les réglages avec les résultats de validation et enregistre la perte de validation avec la perte d'entraînement pour décider quand poursuivre l'entraînement ne sert plus.

Un réseau de neurones relie de nombreuses unités simples. Les couches cachées transforment les entrées en caractéristiques apprises ; les activations non linéaires permettent à ces caractéristiques de représenter des structures qu'un seul classifieur linéaire ne saisit pas.

Calculer les unités et compter les paramètres

Une unité calcule $z={\sum }_i{w}_i{a}_i+b$, puis produit $a=g(z)$. Ici, les activations reçues sont ses entrées et le biais est présenté séparément. Cela revient à inclure une caractéristique constante de biais.

Un réseau à propagation avant ne comporte aucun cycle orienté : l'information passe de l'entrée à la sortie par les couches cachées. Dans une couche entièrement connectée, chaque unité reçoit toutes les sorties de la couche précédente. Une couche ayant $m$ entrées et $n$ unités possède $mn$ poids et $n$ biais. Trois entrées, quatre unités cachées et deux unités de sortie donnent donc

paramètres entraînables. Compte un biais par unité réceptrice, pas un par connexion. Les réseaux comportant de nombreuses couches cachées sont dits profonds.

Suivre un réseau qui calcule le OU exclusif

Utilise deux unités cachées ReLU et une sortie linéaire :

Pour $(0;0)$, les valeurs cachées sont $(0,0)$, donc la sortie est 0. Pour $(0;1)$ ou $(1;0)$, elles sont $(1,0)$, ce qui donne 1. Pour $(1;1)$, elles sont $(2,1)$, ce qui donne $2-2=0$. La représentation cachée permet à la sortie de distinguer les classes du OU exclusif.

Sans activations non linéaires, empiler des couches produirait toujours une seule transformation affine. En ignorant les biais pour simplifier, $W_2(W_1𝐱)=(W_2{W}_1)𝐱$. La profondeur seule n'ajouterait aucun pouvoir d'expression non linéaire. Les changements de pente introduits par les activations modifient ce que le réseau peut représenter.

Adapter les sorties aux cibles

Pour une cible numérique de régression, une sortie linéaire et une perte quadratique sont un choix standard. Pour des étiquettes binaires, utilise une sortie sigmoïde et une perte logarithmique binaire. Pour une classe parmi plusieurs, utilise des sorties softmax et l'entropie croisée $-\ln p_{\text{correct}}$. Les probabilités $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$ avec la deuxième classe correcte donnent une perte d'environ 1,41. La perte utilise la probabilité attribuée à la vraie classe, même lorsqu'une autre classe l'emporte.

Le théorème d'approximation universelle affirme qu'une couche cachée suffisamment large avec une activation non linéaire adaptée peut approcher toute fonction continue sur une région d'entrée fermée et bornée avec une précision arbitraire. C'est un résultat d'existence, qui ne garantit ni que l'entraînement trouvera les poids ni qu'un petit réseau suffira. La profondeur peut représenter certaines fonctions beaucoup plus efficacement.

Les représentations cachées peuvent aller des contours et textures d'une image aux parties d'objets. Les architectures intègrent aussi une structure utile : les réseaux convolutifs partagent de petits ensembles de poids entre les positions d'une image, tandis que les réseaux récurrents partagent les poids entre les étapes d'une séquence.

La rétropropagation du gradient calcule comment chaque paramètre influe sur la perte. Un passage avant stocke les valeurs nécessaires à la règle de dérivation des fonctions composées ; un passage arrière les réutilise pour éviter de répéter les mêmes calculs de dérivées.

Parcourir un graphe de calcul

Un graphe de calcul sépare les sommes, les produits et les activations en opérations. Le long d'un chemin passant par une valeur intermédiaire,

Lorsqu'un paramètre influe sur la perte par plusieurs chemins, additionne leurs contributions. Pour l'unité $j$, écris ${\delta }_j=\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{z}_j$. Son signal arrière est

La somme inclut les unités qui reçoivent sa sortie. Un poids allant de l'activation $a_i$ à l'unité $j$ a pour gradient $a_i{\delta }_j$. Le gradient du biais est simplement ${\delta }_j$ car son entrée vaut 1.

Effectuer un passage avant et un passage arrière

Soit $x=2$, $h=\mathrm{ReLU}(w_{1}x)$, $\widehat{y}=w_{2}h$ et $L=(\widehat{y}-y{)}^2$. Pars de $w_1=\mathrm{0,5}$, $w_2=3$ et de la cible $y=1$.

1. Passage avant : la somme cachée vaut 1, la sortie cachée vaut 1, la prédiction vaut 3 et la perte vaut 4.
2. À la sortie, $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }\widehat{y}=2(3-1)=4$. Donc $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{w}_2=4h=4$.
3. Remonter par le poids de sortie donne $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }h=4(3)=12$. La somme cachée est positive, donc la dérivée de ReLU vaut 1.
4. Le gradient du premier poids est donc $12(1)(2)=24$.

Avec un taux de 0,01, mets les deux poids à jour à partir de ces gradients stockés :

Un nouveau passage avant donne une sortie cachée de 0,52, une prédiction de 1,5392 et une perte d'environ 0,291. Utiliser 2,96 pendant le passage arrière précédent mélangerait deux états des paramètres et produirait un gradient incorrect.

Vérifier les dérivées et reconnaître les signaux faibles

Une vérification numérique approche une dérivée par

Avec $\epsilon =\mathrm{0,001}$, la dérivée du premier poids ci-dessus vaut 24. Cela nécessite deux passages avant par poids ; cette méthode est donc utile pour vérifier, pas pour entraîner à grande échelle. La rétropropagation calcule tous les gradients à un coût du même ordre que celui d'un passage avant. Les bibliothèques l'implémentent par différentiation automatique en mode inverse.

La sigmoïde a pour dérivée $\sigma (z)(1-\sigma (z))\le \mathrm{0,25}$ ; tanh a pour dérivée $1-{\tanh }^{2}z$. La dérivée de ReLU vaut 1 au-dessus de zéro et 0 en dessous ; on lui attribue couramment la dérivée 0 en zéro. Une unité ReLU dont la somme avant activation est négative pour chaque entrée est morte et ne reçoit aucun gradient utile par son activation. L'entropie croisée avec softmax a pour gradient des scores $𝐩-𝐲$ pour des cibles à encodage disjonctif.

La répétition de petits facteurs de dérivée provoque la disparition des gradients. Une chaîne de 10 unités sigmoïdes avec des poids de connexion de 1 a une dérivée d'au plus ${\mathrm{0,25}}^{10}\approx \mathrm{9,5}\times {10}^{-7}$. Les graphes plus larges dépendent aussi des poids et des sommes sur les chemins. ReLU, une initialisation adaptée et les connexions résiduelles réduisent ce problème. À l'inverse, de grands signaux arrière peuvent exploser ; l'écrêtage du gradient limite leur grandeur.

L'entraînement d'un réseau nécessite plus qu'une dérivée correcte. Les poids initiaux, les échelles des entrées, les réglages des mises à jour et les résultats sur les données mises de côté influent tous sur l'apprentissage de caractéristiques utiles.

Rompre la symétrie et mettre les signaux à l'échelle

Initialise les poids aléatoirement afin que les unités cachées commencent différemment. Si les unités d'une couche ont des poids identiques et les mêmes connexions sortantes, elles calculent les mêmes valeurs, reçoivent les mêmes mises à jour et restent des copies. Des poids tous nuls dans le réseau créent cette symétrie. Les biais peuvent commencer à zéro car les poids aléatoires des connexions distinguent déjà les unités.

L'échelle des valeurs aléatoires compte. L'initialisation de Glorot, ou Xavier, convient aux unités tanh et sigmoïdes ; l'initialisation de He tient compte des activations ReLU. Ces méthodes visent à éviter que la grandeur des signaux diminue ou augmente trop d'une couche à l'autre.

Normalise aussi les entrées. Diviser les valeurs des pixels par 255 les place entre zéro et un. Le centrage-réduction soustrait la moyenne d'entraînement d'une caractéristique et divise par son écart-type d'entraînement. Applique la même transformation ajustée aux entrées ultérieures. Des sommes initiales modérées aident la sigmoïde et tanh à éviter les régions saturées où les dérivées sont très petites ; des échelles comparables entre caractéristiques améliorent aussi l'optimisation.

Exécuter la boucle d'entraînement

1. Initialise les poids et choisis l'optimiseur et les réglages.
2. Au début de chaque époque, mélange les exemples d'entraînement.
3. Pour chaque mini-lot, effectue un passage avant et calcule la perte moyenne.
4. Effectue la rétropropagation, puis mets tous les paramètres à jour avec les gradients de ce lot.
5. À la fin de l'époque, enregistre les résultats d'entraînement et de validation.

Pour 784 entrées de pixels, 128 unités cachées ReLU et 10 sorties softmax, le nombre de paramètres est

Avec 60 000 images et une taille de lot de 64, il y a 937 lots complets et un dernier lot de 32 images : 938 mises à jour par époque. Le dernier lot, plus court, utilise tout de même son propre gradient moyen.

Lire les courbes d'apprentissage

Ces structures guident le diagnostic ; plusieurs causes peuvent produire un même symptôme. Pour un réseau sigmoïde qui apprend lentement, examine l'échelle des entrées et la saturation des activations ainsi que le taux d'apprentissage. Un taux élevé de bonnes classifications sur l'entraînement montre seulement l'ajustement aux exemples d'entraînement. Un grand réseau peut même mémoriser des étiquettes aléatoires.

Les principaux hyperparamètres comprennent le taux d'apprentissage, la taille des lots, le nombre d'époques, la largeur, la profondeur, l'activation et l'optimiseur. Compare-les sur les données de validation. Garde le jeu de test pour évaluer la configuration choisie. Augmenter la largeur modifie le nombre de paramètres et la capacité ; augmenter le nombre d'époques donne aux mêmes paramètres davantage de mises à jour.

La perte d'un réseau est non convexe. Des départs aléatoires différents peuvent conduire à des poids et à des taux de bonnes classifications différents. Dans les grands réseaux, les points selles et les régions plates ralentissent souvent davantage la progression que les minima locaux médiocres. L'inertie et Adam aident à optimiser de telles surfaces, mais c'est toujours la performance sur les données mises de côté qui détermine si la structure apprise est utile.

Un modèle peut bien s'ajuster à son échantillon d'entraînement sans apprendre une structure fiable. Compare les résultats sur les données d'entraînement et sur les données mises de côté pour comprendre si le modèle est trop restrictif, trop souple ou confronté à des données différentes.

Comparer deux types d'erreur

La généralisation désigne la performance sur de nouveaux exemples issus de la même distribution. Le sous-apprentissage se produit lorsque le modèle est trop restrictif pour saisir la structure. Le surapprentissage se produit lorsqu'il s'ajuste si étroitement au bruit propre à l'échantillon que les nouvelles prédictions en souffrent.

Choisis C à partir de ces résultats de validation. Le score d'entraînement plus élevé de A ne constitue pas un avantage sur les cas mis de côté. Le faible écart de B ne suffit pas à en faire un bon modèle : les deux scores sont faibles par rapport à ce que permet la tâche. La difficulté, le bruit et la performance atteignable comptent pour interpréter un faible écart.

Relier la capacité au bruit

La capacité décrit la souplesse de la famille d'hypothèses. Dix points bruités peuvent se trouver près d'une tendance rectiligne. Une droite utilise deux coefficients et passe légèrement à côté des points. Un polynôme de degré 9 utilise dix coefficients et peut interpoler les dix points d'entrée distincts, ce qui donne une erreur d'entraînement nulle. Entre ces points et au-delà, ce polynôme peut osciller fortement et mal prédire.

Lorsque la capacité augmente, l'erreur d'entraînement diminue généralement. L'erreur sur les données mises de côté diminue souvent d'abord, car la structure réelle devient représentable, puis augmente lorsque le modèle s'ajuste au bruit. Compare les capacités candidates à l'aide des résultats sur les données mises de côté. Cette évolution courante guide le choix du modèle ; elle ne garantit pas que toute courbe obtenue en faisant varier la taille d'un réseau ait exactement cette forme.

Un biais élevé signifie une erreur systématique due à une famille restrictive. Une variance élevée signifie que la règle apprise change fortement selon l'échantillon d'entraînement de même taille utilisé. Le sous-apprentissage s'accompagne souvent d'un biais élevé ; le surapprentissage, d'une variance élevée.

Distinguer davantage de données de données différentes

À capacité fixe, des exemples représentatifs plus nombreux réduisent généralement le surapprentissage. Un polynôme de degré 9 ne peut généralement pas interpoler exactement 1 000 points bruités : son ajustement doit donc faire un compromis. Les grands réseaux peuvent néanmoins mémoriser de grands échantillons, y compris des étiquettes aléatoires. Davantage de données réduisent le risque sans supprimer la nécessité de vérifier sur des données mises de côté. Les étiquettes erronées ou bruitées ajoutent des structures fortuites auxquelles le programme d'apprentissage peut s'ajuster.

Le changement de distribution est un problème différent. Un classifieur entraîné et testé sur des photos de jour peut échouer sur des photos de nuit, même si sa généralisation de jour est bonne. Ces nouvelles entrées proviennent d'une distribution différente. Une régularisation plus forte ne fournit pas à elle seule les conditions nocturnes manquantes.

Préserver le sens du test final

Entraîne les modèles candidats sur le jeu d'entraînement et compare leurs réglages ou leurs capacités sur les données de validation. Une fois un modèle choisi, évalue-le sur le jeu de test resté inutilisé. Utiliser les scores de test pour modifier l'architecture ou choisir une époque fait de ce jeu une autre source de sélection du modèle et rend optimiste la performance annoncée. Le surapprentissage peut toucher les polynômes, les modèles bayésiens naïfs, les perceptrons et les réseaux ; il décrit une relation entre l'apprentissage et les données, et n'est pas propre à un seul algorithme.

La régularisation modifie l'apprentissage afin d'améliorer les prédictions sur de nouvelles données. Elle peut contraindre les poids, limiter la durée de l'entraînement, empêcher le modèle de dépendre de certaines unités ou fournir davantage d'exemples valides.

Pénaliser les poids élevés

Un objectif régularisé combine la perte sur les données et une pénalité de complexité :

Pour L2, utilise $C={\sum }_i{w}_i^2$, généralement sans inclure le biais. Les poids $(3,-4)$ et $\lambda =\mathrm{0,1}$ donnent la pénalité $\mathrm{0,1}(9+16)=\mathrm{2,5}$. La dérivée ajoutée est $2\lambda w_i$. Avec une descente de gradient ordinaire,

Avec un taux de 0,1 et un paramètre de régularisation de 0,1, le facteur de réduction est 0,98 ; un poids de 5 contribue pour 4,9 avant le pas lié à la perte sur les données. C'est l'interprétation de la décroissance des poids pour cet optimiseur. Avec des optimiseurs adaptatifs comme Adam, une pénalité L2 et une décroissance des poids appliquée séparément sont des opérations différentes.

L1 utilise $C={\sum }_i\mathrm{\mid }{w}_i\mathrm{\mid }$. Elle favorise des solutions parcimonieuses dont de nombreux poids sont exactement nuls, ce qui sélectionne des caractéristiques. L2 réduit généralement les poids sans les rendre exactement nuls. Aucune des deux pénalités ne prescrit de mettre tous les poids à zéro.

Le paramètre de régularisation est un hyperparamètre. Zéro supprime la pénalité ; une valeur excessive entraîne un sous-apprentissage. Compare des valeurs réparties sur plusieurs ordres de grandeur à l'aide des données de validation. Une pénalité L2 positive maîtrise aussi la divergence des poids de la régression logistique sur des données séparables.

Garder le meilleur point d'arrêt

L'arrêt précoce suit la perte de validation, enregistre les meilleurs poids et arrête l'entraînement après une période de patience sans amélioration. Pour les pertes 0,62, 0,48, 0,41, 0,39, 0,40, 0,43 et 0,47 aux époques 1 à 7, la meilleure époque est la 4. Une patience de 3 laisse passer les époques 5 à 7, puis arrête l'entraînement et restaure les poids de l'époque 4. La dernière époque entraînée ne correspond pas nécessairement au modèle enregistré.

Entraîner avec le dropout

À chaque pas d'entraînement, le dropout met indépendamment les sorties des unités cachées à zéro avec une probabilité $p$. Les unités doivent apprendre sans compter sur la présence permanente d'une unité particulière. Au moment de la prédiction, le dropout est désactivé et toutes les unités participent.

Avec le dropout inversé, divise les activations conservées par $1-p$ pendant l'entraînement. Si $p=\mathrm{0,5}$, les sorties conservées doublent, de sorte que leur espérance corresponde à l'activation sans dropout. Cette mise à l'échelle n'est pas appliquée une nouvelle fois au moment de la prédiction.

Ajouter des variations valides

Recueillir davantage de données représentatives et utiliser un modèle plus simple peuvent réduire le surapprentissage. L'augmentation de données ajoute des exemples d'entraînement transformés dont les étiquettes restent correctes, par exemple grâce à des déplacements, des recadrages ou des changements de luminosité adaptés. Une transformation doit convenir à la tâche : faire pivoter un 6 manuscrit de 180° peut le transformer en 9 ; conserver l'étiquette 6 enseignerait donc une relation incorrecte.

Le lissage de Laplace est une autre forme de régularisation : les pseudo-effectifs rendent le modèle bayésien naïf moins dépendant des faibles effectifs. Utilise les données de validation pour choisir le lissage, les pénalités, les taux de dropout ou les moments d'arrêt. Surveille à la fois l'erreur d'entraînement et l'erreur de validation afin que la protection contre le surapprentissage ne devienne pas une restriction excessive.