Leren van gegevens en neurale netwerken

Een lerend programma ontvangt voorbeelden van het gedrag dat het moet leren. Bij gesuperviseerd leren koppelt elk voorbeeld een invoer aan de juiste uitvoer, het label. De geleerde regel moet ook werken op invoer die tijdens de training ontbrak.

Bepaal de taak en de labels

Schrijf een trainingsverzameling als $({𝐱}_1,y_1),\dots ,({𝐱}_N,y_N)$. De invoer beschrijft één geval; het label geeft het antwoord voor dat geval. Een onbekende doelfunctie beschrijft het onderliggende verband. Bij labels zonder ruis geldt $y=f(𝐱)$. Het programma kiest een hypothese $h$ om dat verband te benaderen.

Voor een spamfilter is één geval een e-mail. De invoer kan beschrijven of de e-mail “gratis” bevat, hoeveel links erin staan en of de afzender een contact is. Het label is spam of gewenste e-mail. Een trainingsverzameling kan 5.000 gelabelde e-mails bevatten; het uiteindelijke filter wordt geëvalueerd op 1.000 andere gelabelde e-mails.

De uitvoer bepaalt de taak. “Valt er meer dan 5 mm regen?” vraagt om een klasse; “Hoeveel millimeter valt er?” vraagt om een getal. Een geheel getal als uitvoer kan nog steeds een klasse zijn: het cijfer 7 geeft een categorie aan, niet zeven keer het cijfer 1.

Gesuperviseerd leren gebruikt gelabelde voorbeelden. Ongesuperviseerd leren zoekt zonder labels naar structuur, zoals klantclusters. Bekrachtigingsleren gebruikt beloningen die op de acties van een agent volgen. Betrouwbare labels maken kan veel menselijk werk vergen.

Kies een familie van mogelijke regels

De hypotheseruimte is de familie waarin het programma kan zoeken, zoals lineaire classificatoren die bepaalde kenmerken gebruiken. Geleerde parameters, waaronder gewichten of voorwaardelijke kansen, selecteren één lid van die familie. Een doelfunctie buiten de familie kan zelfs met onbeperkte gegevens niet exact worden weergegeven.

Een hyperparameter bepaalt een instelling van het leerproces: voorbeelden zijn een leersnelheid of het aantal verborgen eenheden. Tijdens de training worden parameters afgesteld. Vergelijkingen op validatiegegevens helpen bij het kiezen van hyperparameters. Flexibelere families vatten meer patronen, maar bieden ook meer manieren om zich aan ruis aan te passen.

Beoordeel voorspellingen op nieuwe gevallen

De trainingsfout meet de aanpassing aan voorbeelden die voor het leren zijn gebruikt. Een regel die elke trainingsmail uit het hoofd leert, kan een trainingsfout van nul hebben en toch falen op nieuwe berichten. Gebruik een validatieverzameling voor modelkeuzes en houd een afzonderlijke testverzameling achter voor de eindbeoordeling.

Voor een classificator is de foutfractie het aantal verkeerde voorspellingen gedeeld door het aantal geteste voorbeelden. Drie fouten onder 40 e-mails geven

De relatie met toekomstige prestaties hangt af van de manier van steekproeftrekking. Onafhankelijk en identiek verdeelde, of i.i.d., voorbeelden zijn onafhankelijke trekkingen uit dezelfde verdeling. Als toekomstige spam heel andere woorden gebruikt, vertegenwoordigt de oude testverzameling die toekomstige stroom niet langer. Rapporteer het resultaat op apart gehouden gegevens voor de populatie die ze daadwerkelijk vertegenwoordigen.

Modellen werken met een numerieke beschrijving van elk geval. De keuze en volgorde van deze kenmerken bepalen wat een model kan opmerken. Een verlies geeft vervolgens aan hoe kostbaar de voorspellingen zijn voor het leerproces.

Stel een kenmerkvector samen

Een kenmerk kan binair zijn, een telling zijn of een gemeten getal zijn. “Bevat gratis” wordt 0 of 1, een aantal links kan 4 zijn en een vloeroppervlakte kan 85 m² zijn. Houd dezelfde volgorde van kenmerken aan voor training en voorspelling. Een grijswaardenafbeelding van 28 bij 28 pixels levert $28\times 28=784$ pixelkenmerken op.

Gebruik voor een categorie zonder numerieke volgorde one-hotcodering. Voor rood, groen en blauw zijn de vectoren $(1,0,0)$, $(0,1,0)$ en $(0,0,1)$. De codes 1, 2 en 3 zouden deze kleuren een kunstmatige volgorde en onderlinge afstand opleggen.

Combineer kenmerken tot een score

Een inwendig product vermenigvuldigt overeenkomstige gewichten en kenmerken en telt die vervolgens op:

Voor $𝐰=(2;-1;\mathrm{0,5})$ en $𝐱=(1,3,4)$ is de score

Een positief gewicht verhoogt de score als het kenmerk toeneemt; een negatief gewicht verlaagt die. De grootte van een gewicht beschrijft de gevoeligheid per eenheid van het kenmerk, dus wees voorzichtig met het vergelijken van groottes tussen kenmerken met verschillende schalen.

De biasterm verschuift de score onafhankelijk van de variërende invoer. Neem een constant eerste kenmerk $x_0=1$ op en laat $w_0$ het bijbehorende gewicht zijn. Zo bevat $𝐱=(1,x_1,\dots ,x_n)$ het biastermkenmerk; het is geen extra gemeten eigenschap. Het model kan dan een beslissingsgrens verschuiven zonder de andere gewichten te veranderen.

Meet de kosten van een voorspelling

Een verliesfunctie vergelijkt een voorspelling met het label. Verschillende verliesfuncties drukken verschillende kosten uit:

Bij een werkelijke temperatuur van 10 °C en een voorspelling van 7 °C is het kwadratisch verlies 9 en het absolute verlies 3. Een fout van 6 heeft een kwadratisch verlies van 36, vier keer het verlies bij een fout van 3. Het gemiddelde 0/1-verlies is de classificatiefoutfractie.

Empirisch verlies is het gemiddelde verlies op de trainingssteekproef. Voorspellingen $(2,4,7)$ voor labels $(3,4,5)$ geven kwadratische fouten 1, 0 en 4, dus een gemiddelde kwadratische fout van $5\mathrm{/}3\approx \mathrm{1,67}$. Tel de verliezen op voordat je door het aantal voorbeelden deelt.

Generalisatieverlies is het verwachte verlies op nieuwe voorbeelden uit dezelfde verdeling. Door empirisch verlies te minimaliseren kan een model zich aanpassen aan toevallige details van de steekproef. Irrelevante kenmerken geven een lerend programma meer mogelijkheden om dit te doen; bijna identieke kenmerken kunnen bij naïeve Bayes ook hetzelfde bewijsmateriaal twee keer meetellen. Het scheermes van Ockham geeft de voorkeur aan een eenvoudigere hypothese als alternatieven ongeveer even goed passen, omdat extra flexibiliteit ondersteuning door gegevens vereist.

Naïeve Bayes combineert de beginkans van een klasse met het bewijsmateriaal uit een invoer. De vereenvoudigende aanname maakt het mogelijk een groot kansmodel te leren uit relatief kleine steekproeven.

Ontbind het bewijsmateriaal per klasse

Het model neemt aan dat kenmerken voorwaardelijk onafhankelijk zijn gegeven de klasse. Voor een klassevariabele en meerdere kenmerken geldt:

Een bayesiaans netwerk toont de klasse als ouderknoop van elk kenmerk. De onafhankelijkheid is voorwaardelijk: kenmerken kunnen in het geheel sterk samenhangen doordat ze allebei van de klasse afhangen. Voor 100 binaire kenmerken heeft een volledige gezamenlijke kansentabel van de kenmerken $2^{100}-1$ vrije kansen per klasse nodig. Naïeve Bayes heeft slechts 100 kansen per klasse nodig, één voor de ja-waarde van elk kenmerk.

De regel van Bayes geeft een klassenscore

Kies de klasse met de hoogste score. De weggelaten noemer voor het bewijsmateriaal is voor alle klassen gelijk. Een score is nog geen a-posteriorikans: om die te krijgen, deel je de score door de som van alle klassenscores.

Doorloop een voorspelling met binaire kenmerken

Stel dat de a-priorikans voor spam 0,4 is en die voor gewenste e-mail 0,6. De kansen voor “gratis” zijn 0,5 in spam en 0,05 in gewenste e-mail. Voor “vergadering” zijn ze 0,1 en 0,4. De nieuwe e-mail bevat “gratis” maar niet “vergadering”.

1. Voor spam draagt de afwezigheid van “vergadering” $1-\mathrm{0,1}=\mathrm{0,9}$ bij. De score is $\mathrm{0,4}(\mathrm{0,5})(\mathrm{0,9})=\mathrm{0,18}$.
2. Voor gewenste e-mail draagt die afwezigheid $1-\mathrm{0,4}=\mathrm{0,6}$ bij. De score is $\mathrm{0,6}(\mathrm{0,05})(\mathrm{0,6})=\mathrm{0,018}$.
3. De scores tellen op tot 0,198, dus de a-posteriorikans voor spam is $\mathrm{0,18}\mathrm{/}\mathrm{0,198}\approx \mathrm{0,909}$.

Een afwezig binair kenmerk levert bewijsmateriaal. Als beide woorden voorkomen, worden de scores 0,02 en 0,012 en daalt de a-posteriorikans voor spam naar 0,625. “Vergadering” verschuift de balans naar gewenste e-mail, hoewel spam nog steeds wint.

Houd de richting van de voorwaarde goed uit elkaar. $P(\text{gratis}\mid \text{spam})=\mathrm{0,5}$ beschrijft spamberichten. Voor de omgekeerde kans, $P(\text{spam}\mid \text{gratis})$, zijn ook de a-priorikansen van de klassen en de aannemelijkheid voor gewenste e-mail nodig; hier is die kans $\mathrm{0,2}\mathrm{/}(\mathrm{0,2}+\mathrm{0,03})\approx \mathrm{0,870}$.

Gebruik logscores zonder de winnaar te veranderen

Lange producten kunnen bij computerberekeningen door onderloop nul worden. Tweehonderd factoren van 0,01 geven ${10}^{-400}$, kleiner dan het kleinste positieve getal in dubbele precisie. Vergelijk in plaats daarvan

Logaritmen behouden de volgorde en zetten vermenigvuldiging om in optelling. Hier is $\ln \mathrm{0,18}\approx -\mathrm{1,715}$ hoger dan $\ln \mathrm{0,018}\approx -\mathrm{4,017}$; van negatieve scores is de minst negatieve score het grootst.

Naïeve Bayes is generatief: het modelleert de a-priorikans en hoe kenmerken binnen elke klasse ontstaan. Logistische regressie is discriminatief: ze modelleert de klassekans rechtstreeks op basis van de invoer. Naïeve Bayes met binaire kenmerken heeft ook een lineaire grens voor de logaritmische kansverhouding. Gecorreleerde kenmerken, zoals “Hong” en “Kong”, kunnen de a-posteriorikans te extreem maken doordat overlappend bewijsmateriaal wordt meegeteld. Een klassevoorspelling kan juist zijn, ook als de toegekende kans te extreem is.

Naïeve Bayes leert door te tellen. Belangrijke keuzes zijn welke populatie bij een noemer hoort en hoeveel bescherming je biedt tegen een uitkomst die nog niet is voorgekomen.

Schat kansen binnen de juiste groep

De meest aannemelijke schatting, of MLE, maakt de waargenomen gegevens zo waarschijnlijk mogelijk. Voor een a-priorikans van een klasse deel je het aantal in de klasse door het totale aantal voorbeelden. Voor een voorwaardelijke kans van een kenmerk beperk je beide tellingen tot de klasse:

Bekijk 100 e-mails: 40 spam en 60 gewenste e-mails. “Gratis” komt voor in 20 spamberichten en 3 gewenste berichten; “vergadering” komt voor in 4 spamberichten en 24 gewenste berichten. De a-priorikans voor spam is dus 0,4. De schattingen voor “gratis” zijn $20\mathrm{/}40=\mathrm{0,5}$ voor spam en $3\mathrm{/}60=\mathrm{0,05}$ voor gewenste e-mail. De schattingen voor “vergadering” zijn $4\mathrm{/}40=\mathrm{0,1}$ en $24\mathrm{/}60=\mathrm{0,4}$. Als je het aantal voor een kenmerk en klasse door 100 deelt, schat je een gezamenlijke kans, niet de gevraagde voorwaardelijke kans.

Herstel nultellingen

Stel dat “prijs” voorkomt in 8 spamberichten en geen enkel gewenst bericht. De meest aannemelijke schatting voor gewenste e-mail is nul. Elk nieuw bericht dat het woord bevat, krijgt score nul voor gewenste e-mail, wat de andere kenmerken ook aangeven. Een uitkomst die in een eindige steekproef ontbreekt, is zo een uitspraak geworden dat die uitkomst onmogelijk is.

Gladding door k toe te voegen geeft elke mogelijke kenmerkwaarde een pseudotelling van $k$:

Hier is $\mathrm{\mid }F\mathrm{\mid }$ het aantal waarden van dit kenmerk. Voor een ja-neekenmerk is dat 2, niet het aantal woorden dat wordt gemodelleerd. Met gladding door één toe te voegen:

Beide uitkomsten krijgen een pseudotelling. Bij gewenste e-mail heeft de afwezige waarde daardoor kans $61\mathrm{/}62$. De twee kansen tellen op tot 1. Als je alleen iets bij de teller zou optellen, zou deze normalisatie niet meer kloppen.

Kies de gladdingssterkte

De sterkte $k$ is een hyperparameter. Bij nul geeft die de meest aannemelijke schatting. Als de sterkte groot wordt, nadert elke kans de uniforme waarde $1\mathrm{/}\mathrm{\mid }F\mathrm{\mid }$ en wordt klassespecifiek bewijsmateriaal zwakker. Gladding offert een deel van de aansluiting op de waargenomen tellingen op voor stabielere voorspellingen op nieuwe gevallen.

Vergelijk instellingen zoals 0,1, 0,5, 1, 2 en 5 op validatiegegevens. Houd de testverzameling apart voor de eindbeoordeling. Een grote waarde kan underfitting veroorzaken; een zeer kleine waarde kan zeldzame kenmerken met instabiele schattingen achterlaten.

Dezelfde pseudotelling wordt minder belangrijk als de werkelijke aantallen groeien. Bij 6.000 gewenste e-mails waarvan er 300 “gratis” bevatten, is de meest aannemelijke schatting 0,05 en is de waarde met toevoeging van één $301\mathrm{/}6002\approx \mathrm{0,0502}$. Bij veel waarnemingen wegen de gegevens zwaarder dan de pseudotellingen. A-priorikansen van klassen worden vaak niet geglad als elke klasse goed vertegenwoordigd is. Je kunt de tellingen verzamelen met één doorloop van de gelabelde voorbeelden, wat deze trainingsmethode snel maakt.

Een woordzakrepresentatie zet tekst om in woordtellingen. Ze geeft een eenvoudige classificator bewijsmateriaal over het vocabulaire en laat de volgorde waarin woorden voorkomen buiten beschouwing.

Tel tokens, niet alleen documenten

“De kat zag de hond” en “de hond zag de kat” hebben dezelfde woordzak: twee keer “de” en elk ander woord één keer. Een token is één voorkomend woord; het vocabulaire is de verzameling verschillende woorden die het model weergeeft.

Bij multinomiale naïeve Bayes is elke woordpositie een onafhankelijke trekking uit een klassespecifieke woordverdeling. Een woord dat drie keer voorkomt, draagt drie factoren bij:

De bijbehorende logscore is $\log P(y)+{\sum }_w{n}_w\log P(w\mid y)$. De a-priorikans komt één keer per document voor. Het aantal voorkomens van het woord wordt vermenigvuldigd met de logaritme van de woordkans.

Schat woordkansen uit tokentellingen binnen een klasse. Met gladding:

waarbij $N_y$ alle trainingstokens in die klasse telt en $\mathrm{\mid }V\mathrm{\mid }$ de woorden in het vocabulaire telt. Stel dat spam 200 tokens bevat, waaronder 9 keer “geld”, en dat het vocabulaire 1.000 woorden bevat. De meest aannemelijke schatting geeft $9\mathrm{/}200=\mathrm{0,045}$. Toevoeging van één geeft $10\mathrm{/}1200\approx \mathrm{0,0083}$, terwijl $k=\mathrm{0,1}$ geeft $\mathrm{9,1}\mathrm{/}300\approx \mathrm{0,0303}$. Bij een groot vocabulaire telt zelfs één pseudotelling per woord flink mee.

Classificeer een kort document

Sport en politiek hebben elk a-priorikans 0,5. De woordkansen zijn:

Voor “doelpunt doelpunt stem wedstrijd” is de score voor sport

De score voor politiek is $\mathrm{0,5}(\mathrm{0,005}{)}^2(\mathrm{0,04})(\mathrm{0,006})=3\times {10}^{-9}$. Sport wint met een factor 50 en de genormaliseerde a-posteriorikans is $50\mathrm{/}51\approx \mathrm{0,98}$. Als je het tweede “doelpunt” weglaat, laat je een deel van het bewijsmateriaal vallen. Gebruik in de praktijk de logscores, ongeveer −15,71 en −19,62, om heel kleine producten te vermijden.

Houd de tekstmodellen uit elkaar

Een Bernoulli-tekstmodel gebruikt één ja-neekenmerk per woord en bevat de factor van elk afwezig woord. Het multinomiale model gebruikt aantallen voorkomens en heeft geen afzonderlijke factoren voor afwezige woorden. De noemers tellen tokens, geen documenten. Als je die keuzes mengt, krijg je geen van beide modellen correct.

Een woord uit het vocabulaire dat in één klasse niet is waargenomen, heeft gladding nodig. Een woord buiten het vocabulaire heeft geen gemodelleerde kans en wordt meestal overgeslagen. Als alternatief kan tijdens de training een token voor onbekende woorden worden gereserveerd, met een eigen klassespecifieke kans.

De woordzak negeert context: “goed” levert hetzelfde bewijsmateriaal in “niet goed” en “heel goed”. Door bigrammen, of woordparen, toe te voegen kun je een woordgroep zoals “niet goed” weergeven. Bijna identieke of naburige woorden kunnen nog steeds tot te stellige kansen leiden. Het model blijft bruikbaar als snel uitgangspunt voor onderwerpen, spam, sentiment of taalherkenning.

Een lineaire classificator neemt een beslissing op basis van een gewogen som. De meetkunde laat zien welke patronen die som kan scheiden en waarom sommige taken nieuwe kenmerken vereisen.

Lees de score en grens af

Neem het constante biastermkenmerk eerst op: $𝐱=(1,x_1,\dots ,x_n)$. Bereken $z=𝐰\cdot 𝐱$ en voorspel $+1$ voor $z\ge 0$ of $-1$ voor $z<0$. Een score van nul hoort volgens deze afspraak bij de positieve klasse.

Als ten minste één kenmerkgewicht ongelijk aan nul is, is de beslissingsgrens $𝐰\cdot 𝐱=0$. Bij twee variërende kenmerken is dit een lijn; bij drie een vlak; in het algemeen een hypervlak. De gewichtsvector zonder biasterm staat loodrecht op deze grens en wijst naar de positieve kant.

Voor $𝐰=(-3,1,1)$ is de score $-3+x_1+x_2$ en de grens $x_1+x_2=3$. Punt $(2,2)$ scoort 1, $(1,1)$ scoort −1 en $(3,0)$ scoort nul. De voorspellingen zijn positief, negatief en positief.

De meetkundige afstand is de absolute waarde van de score gedeeld door de lengte van de gewichtsvector zonder biasterm:

Voor $(2,2)$ is die $1\mathrm{/}\sqrt{2}\approx \mathrm{0,71}$. Als je elk gewicht met een positieve constante vermenigvuldigt, verandert de score, maar blijven zowel de afstand als de voorspelde klasse gelijk. Als je de biasterm weglaat, moeten grenzen door de oorsprong gaan.

Bepaal of een lijn volstaat

Gegevens zijn lineair scheidbaar als één gewichtsvector elk punt juist classificeert. Gebruik voor EN $𝐰=(-\mathrm{1,5};1;1)$. Alleen $(1,1)$ heeft een positieve score; de andere drie binaire invoerwaarden hebben negatieve scores.

XOR geeft $(1,0)$ en $(0,1)$ een positief label, maar $(0,0)$ en $(1,1)$ een negatief label. Geen enkele lijn kan die diagonaal tegenover elkaar liggende paren scheiden. De negatieve oorsprong vereist namelijk $w_0<0$. De twee positieve punten vereisen $w_1+w_2\ge -2w_0$, terwijl het negatieve punt $(1,1)$ vereist dat $w_1+w_2<-w_0$. Samen vereisen ze $w_0>0$, een tegenspraak.

De kenmerkrepresentatie kan de scheidbaarheid veranderen. Voeg het kenmerk $x_1{x}_2$ toe en gebruik gewichten $(-\mathrm{0,5};1;1;-2)$. De vier XOR-invoerwaarden scoren dan −0,5, 0,5, 0,5 en −0,5 in de volgorde $(0,0),(1,0),(0,1),(1,1)$. De regel is lineair in de uitgebreide kenmerkvector, ook al is die niet-lineair in de oorspronkelijke invoer. Een verborgen laag kan nuttige getransformeerde kenmerken leren.

Breid scores uit naar meerdere klassen

Houd één vector per klasse bij en kies het grootste inwendig product. Voor $𝐱=(1,2)$ geven vectoren ${𝐰}_A=(1,1)$, ${𝐰}_B=(2,0)$ en ${𝐰}_C=(0,1)$ scores 3, 2 en 2. Klasse A wint. Dit zijn scores om te vergelijken, geen kansen; ze hoeven niet tussen nul en één te liggen of op te tellen tot één.

Het perceptron leert een lineaire beslissingsregel door fouten te corrigeren zodra ze optreden. Het verandert gewichten direct, zonder kansen af te stellen of een gladde verliesfunctie te differentiëren.

Actualiseer één voorbeeld tegelijk

Gebruik labels $y\in \{-1,+1\}$, neem het biastermkenmerk op en begin met gewichten van nul. Een score van nul voorspelt $+1$. Voorspel voor elk voorbeeld met de huidige gewichten. Laat de gewichten bij een juiste voorspelling gelijk; pas anders toe:

Een positief voorbeeld telt zijn kenmerkvector op. Een negatief voorbeeld trekt die af. De score voor dat voorbeeld verandert met $y\mathrm{\parallel }𝐱{\mathrm{\parallel }}^2$ en beweegt dus naar het juiste teken. Het biastermkenmerk maakt de gekwadrateerde lengte positief. Eén actualisatie kan het voorbeeld nog steeds verkeerd laten en eerdere voorspellingen verstoren.

Een epoch is een volledige doorloop van de trainingsverzameling. Stop na een volledige foutloze epoch of bij een gekozen limiet voor het aantal doorlopen.

Volg twee doorlopen

Neem de voorbeelden in deze volgorde, met de biastermcoördinaat al opgenomen:

1. A scoort nul en is ten onrechte positief. Trek A af om $(-1,-1,-3)$ te krijgen.
2. B scoort nu $-1-3-3=-7$. Tel B op om $(0,2,-2)$ te krijgen.
3. C scoort −2 en D scoort 4. Beide zijn correct, dus er volgt geen actualisatie.
4. Bij de volgende doorloop scoren A, B, C en D achtereenvolgens −4, 4, −2 en 4. Er zijn geen fouten meer, dus stop.

De geleerde grens is $x_1=x_2$. Voorspellingen moeten de gewichten na alle voorafgaande actualisaties gebruiken, niet de gewichten aan het begin van de epoch.

Begrijp convergentie en de beperkingen ervan

De convergentiestelling voor het perceptron garandeert een eindig aantal fouten voor lineair scheidbare trainingsgegevens. Als uitgebreide invoervectoren hoogstens lengte $R$ hebben en een scheidende vector met lengte één een positieve getekende marge $\gamma$ bereikt, is de bovengrens voor het aantal fouten $(R\mathrm{/}\gamma {)}^2$. De garantie levert een scheidende grens op; ze selecteert niet de breedste marge of de beste testprestaties.

Niet-scheidbare gegevens, waaronder XOR met de oorspronkelijke kenmerken of tegenstrijdige labels, staan nooit een foutloze doorloop toe. Stel een trainingslimiet in en gebruik validatieprestaties om gewichten te kiezen. Een gemiddeld perceptron voorspelt met het gemiddelde van de gewichten over de trainingsstappen. Een vaste positieve leersnelheid schaalt bij een start vanaf nul eenvoudigweg elk gewicht en laat de reeks binaire voorspellingen dus gelijk; een veranderende leersnelheid kan dat gedrag veranderen.

Corrigeer een meerklassenvoorspelling

Tel bij een meerklassenfout de invoer op bij de vector van de werkelijke klasse en trek die af van de vector van de voorspelde klasse. Laat de rest gelijk. Voor invoer $(1,2)$, werkelijke klasse B en voorspelde klasse A worden vectoren $(1,1)$ en $(2,0)$ respectievelijk $(0,-1)$ en $(3,2)$. Hun nieuwe scores zijn −2 en 7. De ongewijzigde score van C is 2, dus nu wint B. Net als het binaire perceptron geeft dit model een klasse als uitvoer, geen kans.

Logistische regressie zet een lineaire score om in een kans voor een binaire klasse. De vloeiende uitvoer geeft een geleidelijk trainingssignaal, ook als een vaste classificatie al correct is.

Zet een score om in een kans

Bereken voor labels 0 en 1 eerst $z=𝐰\cdot 𝐱$ en vervolgens

De sigmoïdefunctie stijgt van waarden dicht bij nul naar waarden dicht bij één. Ze geeft $\sigma (0)=\mathrm{0,5}$, $\sigma (1)\approx \mathrm{0,731}$, $\sigma (2)\approx \mathrm{0,881}$ en $\sigma (-2)\approx \mathrm{0,119}$. Klasse 1 voorspellen als $p\ge \mathrm{0,5}$ komt overeen met $z\ge 0$ gebruiken, dus deze beslissingsgrens blijft lineair.

De score is gelijk aan de logaritmische kansverhouding:

Met gewichten $(-4;\mathrm{0,8})$ en invoer $(1,\text{aantal studie-uren})$ geven vijf uur score nul en kans 0,5. Bij 7,5 uur is de score 2 en de kans ongeveer 0,881. Elk extra uur telt 0,8 op bij de logaritmische kansverhouding en vermenigvuldigt de kansverhouding met $e^{\mathrm{0,8}}\approx \mathrm{2,23}$. Het telt geen 0,8 op bij de kans. Een voorspelde kans van 0,7 gaat over de klasse van dit voorbeeld; het is geen melding van 70% modelnauwkeurigheid.

Train met logaritmisch verlies

Voor één voorbeeld is het binaire logaritmisch verlies

Alleen de term voor het waargenomen label blijft over. Als $y=1$, gebruik je $-\ln p$; als $y=0$, gebruik je $-\ln (1-p)$. Bij $p=\mathrm{0,9}$ zijn deze verliezen ongeveer 0,105 en 2,303. Een stellige verkeerde voorspelling is veel kostbaarder dan een onzekere; $p=\mathrm{0,5}$ geeft voor beide labels een verlies van ongeveer 0,693.

De meest aannemelijke schatting kiest gewichten die een hoge gezamenlijke kans toekennen aan de waargenomen labels. Door een negatieve logaritme te nemen verandert hun kansenproduct in de som van logaritmische verliezen. Gradiëntafdaling stelt de gewichten af omdat er geen algemene oplossing in gesloten vorm is.

Het logaritmisch verlies van logistische regressie is convex in de gewichten, dus elk lokaal minimum is globaal. Het 0/1-verlies is bijna overal vlak en levert geen bruikbare gradiënt; kwadratisch verlies na de sigmoïdefunctie verliest deze convexiteit. Bij scheidbare trainingsgegevens kan ongeregulariseerd logaritmisch verlies afnemen terwijl gewichten zonder grens groeien, zodat een eindige meest aannemelijke oplossing ontbreekt. Een strafterm op gewichten beheerst die groei.

Gebruik softmax voor meer klassen

Geef elke klasse een score en normaliseer exponentiële waarden:

Scores $(2,1,0)$ leveren kansen van ongeveer $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$ op. Als je bij elke score dezelfde constante optelt, veranderen de kansen en de winnende klasse niet, omdat de gemeenschappelijke exponentiële factor wegvalt. Bij twee klassen is softmax de sigmoïdefunctie van het scoreverschil.

Logistische regressie modelleert $P(y\mid 𝐱)$ rechtstreeks en stelt de gewichten gezamenlijk af. Ze veronderstelt geen onafhankelijkheid van kenmerken. Naïeve Bayes schat een a-priorikans en kenmerkverdelingen door te tellen; het kan vooral effectief zijn met weinig gegevens, maar gecorreleerd bewijsmateriaal kan de kansen te extreem maken.

Trainen betekent vaak gewichten vinden die een verlies klein maken. Gradiëntafdaling gebruikt de lokale helling van dat verlies om de volgende gewichten te kiezen en herhaalt dit totdat aan een stopregel is voldaan.

Vind de richting naar beneden

Een partiële afgeleide meet hoe het verlies verandert als één parameter varieert en de andere gelijk blijven. De gradiënt verzamelt al deze afgeleiden. Voor

In $(2,1)$ is de gradiënt $(4,6)$. Die wijst bij euclidische afstand in de richting van de sterkste lokale stijging; de negatieve gradiënt wijst naar beneden. In een glad minimum is de gradiënt nul, maar een gradiënt van nul kan ook voorkomen in een zadelpunt of maximum.

Actualiseer met positieve leersnelheid $\alpha$:

Bereken de volledige gradiënt voordat je een gewicht verandert. Vanaf $(2,1)$ met $\alpha =\mathrm{0,1}$ is het volgende punt $(\mathrm{1,6};\mathrm{0,4})$, daarna $(\mathrm{1,28};\mathrm{0,16})$. Het verlies daalt van 7 naar 3,04 en vervolgens naar ongeveer 1,72. De tweede coördinaat verandert sneller omdat de kromming daar groter is.

Bekijk hoe de stapgrootte convergentie bepaalt

Voor $L(w)=(w-3{)}^2$ is de afgeleide $2(w-3)$. Vanaf nul met leersnelheid 0,1:

1. De eerste gradiënt is −6, dus het volgende gewicht is 0,6.
2. In 0,6 is de gradiënt −4,8, dus het volgende gewicht is 1,08.
3. De volgende waarden zijn 1,464, 1,7712 en ongeveer 2,017.

Elke stap vermenigvuldigt de afstand tot 3 met $1-2\alpha =\mathrm{0,8}$. Voor dit verlies is voor convergentie vanaf een niet-optimaal startpunt $0<\alpha <1$ nodig. Leersnelheid 1 blijft tussen 0 en 6 springen; leersnelheid 1,1 levert 6,6, −1,32 en 8,184 op en beweegt steeds verder weg. Een kleinere leersnelheid kan stabiel maar langzaam zijn. Dezelfde leersnelheid is niet geschikt voor elke verliesfunctie of kenmerkschaal.

Differentieer een voorspellingsverlies

Voor een lineaire voorspeller $h=w_0+w_{1}x$ en één voorbeeld met kwadratisch verlies $(y-h{)}^2$ geldt:

Gebruik $x=2$, $y=5$ en gewichten $(0,1)$. De voorspelling is 2, dus de gradiënt is $(-6,-12)$. Een leersnelheid van 0,05 geeft nieuwe gewichten $(\mathrm{0,3};\mathrm{1,6})$. De volgende voorspelling is 3,5 en het verlies daalt van 9 naar 2,25. De afgeleide naar de biasterm heeft invoerfactor 1, terwijl de afgeleide naar de richtingscoëfficiënt de gemeten invoer bevat.

Lees het verliesoppervlak af

Een convexe verliesfunctie heeft geen minder goede lokale minima: elk lokaal minimum is globaal. Het kwadratisch verlies van lineaire regressie en het logaritmisch verlies van logistische regressie zijn convex. Verliesfuncties van neurale netwerken zijn meestal niet-convex, met zadelpunten en vlakke gebieden naast minima. Initialisatie kan het eindresultaat beïnvloeden.

De schaal van kenmerken beïnvloedt ook de optimalisatie. Een oppervlakte tot 200 m² en aantallen kamers tot 6 kunnen het verliesoppervlak uitrekken tot een smal dal. Standaardisatie trekt het trainingsgemiddelde van elk kenmerk af en deelt door de trainingsstandaardafwijking ervan. Beter geschaalde coördinaten verminderen het zigzaggen. Stop op basis van een gekozen maximumaantal stappen, kleine gradiënten of het uitblijven van verbetering.

Een gradiënt over alle voorbeelden berekenen kan kostbaar zijn. Stochastische actualisaties en actualisaties met minibatches ruilen een volledig uitgemiddelde richting in voor frequentere, goedkopere stappen.

Kies hoeveel gegevens een actualisatie bepalen

Een epoch doorloopt de volledige trainingsverzameling één keer. Met 10.000 voorbeelden en batches van 100 heeft een epoch 100 actualisatiestappen. Schud voorbeelden tussen epochs zodat dezelfde groepen niet opnieuw in dezelfde volgorde voorkomen.

De verwachte gradiënt van één uniform gekozen voorbeeld is gelijk aan de volledige trainingsgradiënt. Afzonderlijke stappen kunnen het totale verlies desondanks verhogen. Het verlies per epoch uitzetten geeft een duidelijkere trend dan één actualisatie beoordelen. Ruis kan helpen om rond zadelpunten en ondiepe minima te bewegen, maar een vaste hoge leersnelheid laat gewichten ook rond een oplossing blijven schommelen. Een dalend leersnelheidsschema helpt ze tot rust te komen.

Leid de logistische actualisatie af

Neem $p=\sigma (z)$, $z=𝐰\cdot 𝐱$ en gebruik binair logaritmisch verlies. De afgeleide naar de kans is

Vermenigvuldigen met de sigmoïdeafgeleide $p(1-p)$ laat $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }z=p-y$ over. Omdat $\mathrm{\partial }z\mathrm{/}\mathrm{\partial }{w}_i=x_i$, is de volledige gradiënt

Aftrekken geeft de gelijkwaardige actualisatie $𝐰\leftarrow 𝐰+\alpha (y-p)𝐱$. Neem voor een batch het gemiddelde van deze vectoren met dezelfde huidige gewichten voordat je één actualisatie uitvoert. Optellen in plaats van middelen vermenigvuldigt de effectieve leersnelheid met de batchgrootte.

Werk één stochastische stap uit

Begin bij $𝐰=(0,0,0)$ met invoer $𝐱=(1,2,1)$, doelwaarde 1 en leersnelheid 0,5. De score is nul, dus $p=\mathrm{0,5}$. Dan geldt

De nieuwe score is $\mathrm{0,25}+\mathrm{0,5}(2)+\mathrm{0,25}=\mathrm{1,5}$ en de nieuwe kans is ongeveer 0,818. Het logaritmisch verlies van dit voorbeeld daalt van ongeveer 0,693 naar 0,201. Die verbetering geldt voor dit voorbeeld; een stochastische stap hoeft niet elk trainingsgeval te verbeteren.

Het perceptron gebruikt ook een correctie die met het label samenhangt maal de invoer, maar gebruikt doelwaarden ±1 en verandert gewichten alleen bij fouten. Logistische regressie gebruikt doelwaarden 0/1 en een vloeiende kansfout. Bij eindige gewichten kan ze blijven actualiseren nadat de voorspelde klasse correct is.

Herken veelgebruikte varianten van optimizers

Momentum houdt een voortschrijdend gemiddelde van gradiëntrichtingen bij, wat beweging in gelijkblijvende richtingen helpt en schommelingen vermindert. Adam combineert dit met adaptieve stapgroottes per parameter. Beide hebben nog steeds een geschikte leersnelheid nodig. Vergelijk instellingen met validatieresultaten en leg het validatieverlies naast het trainingsverlies vast om te bepalen wanneer verder trainen niet meer helpt.

Een neuraal netwerk verbindt veel eenvoudige eenheden. Verborgen lagen zetten invoer om in geleerde kenmerken; niet-lineaire activaties laten die kenmerken patronen weergeven die één lineaire classificator mist.

Bereken eenheden en tel parameters

Een eenheid berekent $z={\sum }_i{w}_i{a}_i+b$ en geeft vervolgens $a=g(z)$ als uitvoer. De binnenkomende activaties zijn hierbij de invoer en de biasterm wordt afzonderlijk weergegeven. Dit is gelijkwaardig aan het opnemen van een constant biastermkenmerk.

Een voorwaarts neuraal netwerk heeft geen gerichte cycli: informatie loopt van invoer via verborgen lagen naar uitvoer. In een volledig verbonden laag ontvangt elke eenheid alle uitvoer van de vorige laag. Een laag met $m$ invoerwaarden en $n$ eenheden heeft $mn$ gewichten en $n$ biastermen. Drie invoerwaarden, vier verborgen eenheden en twee uitvoereenheden geven daarom

trainbare parameters. Tel één biasterm per ontvangende eenheid, niet één per verbinding. Netwerken met veel verborgen lagen heten diep.

Volg een netwerk dat XOR berekent

Gebruik twee verborgen ReLU-eenheden en een lineaire uitvoer:

Voor $(0,0)$ zijn de verborgen waarden $(0,0)$, dus is de uitvoer 0. Voor zowel $(0,1)$ als $(1,0)$ zijn ze $(1,0)$, wat 1 geeft. Voor $(1,1)$ zijn ze $(2,1)$, wat $2-2=0$ geeft. De verborgen representatie maakt het mogelijk dat de uitvoer de XOR-klassen onderscheidt.

Zonder niet-lineaire activaties zou het stapelen van lagen nog steeds één affiene transformatie opleveren. Als we voor de duidelijkheid biastermen negeren, geldt $W_2(W_1𝐱)=(W_2{W}_1)𝐱$. Diepte alleen zou geen niet-lineaire expressieve kracht toevoegen. De knikken die activaties introduceren, veranderen wat het netwerk kan weergeven.

Stem uitvoer af op doelwaarden

Voor een numerieke regressiedoelwaarde zijn een lineaire uitvoer en kwadratisch verlies een standaardkeuze. Gebruik voor binaire labels één sigmoïde-uitvoer en binair logaritmisch verlies. Gebruik voor één klasse uit meerdere klassen softmaxuitvoer en kruisentropie $-\ln p_{\text{correct}}$. Kansen $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$ met de tweede klasse als juiste klasse geven een verlies van ongeveer 1,41. Het verlies gebruikt de kans die aan de werkelijke klasse is toegekend, ook als een andere klasse wint.

De stelling van universele benadering zegt dat een voldoende brede verborgen laag met een geschikte niet-lineaire activatiefunctie elke continue functie op een gesloten, begrensd invoergebied willekeurig nauwkeurig kan benaderen. Het is een bestaansresultaat, geen garantie dat training de gewichten vindt of dat een klein netwerk volstaat. Met diepte kunnen sommige functies veel efficiënter worden weergegeven.

Verborgen representaties kunnen zich ontwikkelen van afbeeldingsranden en texturen naar delen van objecten. Architecturen bouwen ook nuttige structuur in: convolutionele netwerken delen kleine verzamelingen gewichten over posities in een afbeelding, terwijl recurrente netwerken gewichten delen over stappen in een reeks.

Terugpropagatie berekent hoe elke parameter het verlies beïnvloedt. Een voorwaartse doorloop bewaart de waarden die de kettingregel nodig heeft; een achterwaartse doorloop hergebruikt ze om te voorkomen dat dezelfde afgeleiden opnieuw worden berekend.

Doorloop een rekengraaf

Een rekengraaf splitst sommen, producten en activaties op in bewerkingen. Langs een pad via een tussenwaarde geldt:

Als een parameter langs meerdere paden invloed heeft op het verlies, tel je de bijdragen op. Schrijf voor eenheid $j$: ${\delta }_j=\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{z}_j$. Het achterwaartse signaal is

De som omvat eenheden die de uitvoer van de eenheid ontvangen. Een gewicht van activatie $a_i$ naar eenheid $j$ heeft gradiënt $a_i{\delta }_j$. De gradiënt van de biasterm is eenvoudigweg ${\delta }_j$ omdat de invoer ervan 1 is.

Werk een voorwaartse en achterwaartse doorloop uit

Neem $x=2$, $h=\mathrm{ReLU}(w_{1}x)$, $\widehat{y}=w_{2}h$ en $L=(\widehat{y}-y{)}^2$. Begin met $w_1=\mathrm{0,5}$, $w_2=3$ en doelwaarde $y=1$.

1. Voorwaarts: de verborgen som is 1, de verborgen uitvoer is 1, de voorspelling is 3 en het verlies is 4.
2. Aan de uitvoer geldt $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }\widehat{y}=2(3-1)=4$. Dus $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{w}_2=4h=4$.
3. Teruggaan via het uitvoergewicht geeft $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }h=4(3)=12$. De verborgen som is positief, dus de ReLU-afgeleide is 1.
4. De gradiënt van het eerste gewicht is daarom $12(1)(2)=24$.

Actualiseer met leersnelheid 0,01 beide gewichten op basis van deze opgeslagen gradiënten:

Een nieuwe voorwaartse doorloop geeft verborgen uitvoer 0,52, voorspelling 1,5392 en verlies ongeveer 0,291. Als je tijdens de voorafgaande achterwaartse doorloop 2,96 zou gebruiken, zou je twee parametertoestanden mengen en de verkeerde gradiënt krijgen.

Controleer afgeleiden en herken zwakke signalen

Een numerieke controle benadert één afgeleide met

Met $\epsilon =\mathrm{0,001}$ is de afgeleide van het eerste gewicht hierboven 24. Dit vereist twee voorwaartse doorlopen per gewicht en is dus nuttig voor controle, niet voor grootschalige training. Terugpropagatie berekent alle gradiënten tegen kosten van dezelfde orde als een voorwaartse doorloop. Bibliotheken implementeren dit als automatische differentiatie in achterwaartse modus.

De sigmoïdefunctie heeft afgeleide $\sigma (z)(1-\sigma (z))\le \mathrm{0,25}$; tanh heeft afgeleide $1-{\tanh }^{2}z$. De afgeleide van ReLU is 1 boven nul en 0 onder nul; in nul wordt meestal afgeleide 0 toegekend. Een ReLU-eenheid waarvan de waarde vóór activatie voor elke invoer negatief is, is dood en ontvangt via de activatiefunctie geen bruikbare gradiënt. Softmax met kruisentropie heeft scoregradiënt $𝐩-𝐲$ voor one-hotgecodeerde doelwaarden.

Herhaalde kleine factoren uit afgeleiden veroorzaken verdwijnende gradiënten. Een keten van 10 sigmoïde-eenheden met verbindingsgewichten 1 heeft een afgeleide van hoogstens ${\mathrm{0,25}}^{10}\approx \mathrm{9,5}\times {10}^{-7}$. Bredere grafen hangen ook af van gewichten en opgetelde paden. ReLU, geschikte initialisatie en residuele verbindingen verminderen dit probleem. Grote achterwaartse signalen kunnen daarentegen exploderen; gradiëntbegrenzing beperkt hun grootte.

Netwerktraining vereist meer dan een correcte afgeleide. Begingewichten, invoerschalen, actualisatie-instellingen en resultaten op apart gehouden gegevens beïnvloeden allemaal of nuttige kenmerken worden geleerd.

Doorbreek symmetrie en schaal signalen

Initialiseer gewichten willekeurig zodat verborgen eenheden verschillend beginnen. Als de eenheden van een laag identieke gewichten en dezelfde uitgaande verbindingen hebben, berekenen ze dezelfde waarden, ontvangen ze dezelfde actualisaties en blijven ze kopieën. Als alle netwerkgewichten met nul worden geïnitialiseerd, ontstaat deze symmetrie. Biastermen kunnen bij nul beginnen omdat willekeurige verbindingsgewichten de eenheden al onderscheiden.

De willekeurige schaal doet ertoe. Glorot-initialisatie, of Xavier-initialisatie, is geschikt voor tanh- en sigmoïde-eenheden; He-initialisatie houdt rekening met ReLU-activaties. Deze methoden zijn bedoeld om te voorkomen dat signalen van laag tot laag te sterk krimpen of groeien.

Normaliseer ook de invoer. Door pixelwaarden door 255 te delen, komen ze tussen nul en één te liggen. Standaardisatie trekt het trainingsgemiddelde van een kenmerk af en deelt door de trainingsstandaardafwijking ervan. Pas dezelfde afgestelde transformatie toe op latere invoer. Gematigde beginsommen helpen sigmoïdefunctie en tanh verzadigde gebieden met zeer kleine afgeleiden te vermijden; vergelijkbare kenmerkschalen verbeteren ook de optimalisatie.

Voer de trainingslus uit

1. Initialiseer de gewichten en kies de optimizer en instellingen.
2. Schud aan het begin van elke epoch de trainingsvoorbeelden.
3. Voer voor elke minibatch een voorwaartse doorloop uit en bereken het gemiddelde verlies.
4. Voer terugpropagatie uit en actualiseer daarna alle parameters met de gradiënten van die batch.
5. Leg aan het eind van de epoch de trainings- en validatieresultaten vast.

Voor 784 pixelinvoerwaarden, 128 verborgen ReLU-eenheden en 10 softmaxuitvoerwaarden is het aantal parameters

Met 60.000 afbeeldingen en batchgrootte 64 zijn er 937 volledige batches en één laatste batch met 32 afbeeldingen: 938 actualisaties per epoch. Ook de laatste korte batch gebruikt zijn eigen gemiddelde gradiënt.

Lees trainingscurven af

Deze patronen helpen bij de diagnose; meerdere oorzaken kunnen hetzelfde symptoom hebben. Onderzoek bij een langzaam lerend sigmoïdenetwerk naast de leersnelheid ook de invoerschaal en activatieverzadiging. Een hoge trainingsnauwkeurigheid toont alleen aan dat het model bij de trainingsvoorbeelden past. Een groot netwerk kan zelfs willekeurige labels uit het hoofd leren.

De belangrijkste hyperparameters omvatten leersnelheid, batchgrootte, aantal epochs, breedte, diepte, activatiefunctie en optimizer. Vergelijk ze op validatiegegevens. Bewaar de testverzameling voor de evaluatie van de gekozen configuratie. Meer breedte verandert het aantal parameters en de capaciteit; meer epochs geven dezelfde parameters meer actualisatiestappen.

Het verlies van een netwerk is niet-convex. Verschillende willekeurige beginwaarden kunnen tot verschillende gewichten en nauwkeurigheden leiden. In grote netwerken vertragen zadelpunten en vlakke gebieden de vooruitgang vaak sterker dan slechte lokale minima. Momentum en Adam helpen bij het optimaliseren van zulke oppervlakken, maar de prestaties op apart gehouden gegevens bepalen nog steeds of het afgestelde patroon bruikbaar is.

Een model kan goed bij zijn trainingssteekproef passen zonder een betrouwbaar patroon te leren. Vergelijk resultaten op trainingsgegevens en apart gehouden gegevens om te begrijpen of het model te beperkt of te flexibel is, of met andere gegevens te maken krijgt.

Vergelijk twee soorten fouten

Generalisatie is het presteren op nieuwe voorbeelden uit dezelfde verdeling. Underfitting treedt op als het model te beperkt is om het patroon te vatten. Overfitting treedt op als het model zich zo nauw aan steekproefspecifieke ruis aanpast dat nieuwe voorspellingen eronder lijden.

Kies C op basis van deze validatieresultaten. De hogere trainingsscore van A is geen voordeel op de apart gehouden gevallen. Het kleine verschil bij B is niet genoeg om het model goed te maken: beide scores zijn laag in verhouding tot wat bij de taak mogelijk is. Moeilijkheid, ruis en haalbare prestaties zijn van belang bij het interpreteren van een klein verschil.

Leg het verband tussen capaciteit en ruis

Capaciteit beschrijft hoe flexibel de hypothesefamilie is. Tien punten met ruis kunnen dicht bij een rechte trend liggen. Een lijn gebruikt twee coëfficiënten en mist de punten een beetje. Een polynoom van graad 9 gebruikt tien coëfficiënten en kan alle tien verschillende invoerpunten interpoleren, met een trainingsfout van nul. Tussen en buiten die punten kan die polynoom sterk slingeren en slecht voorspellen.

Naarmate de capaciteit toeneemt, daalt de trainingsfout doorgaans. De fout op apart gehouden gegevens daalt vaak eerst doordat werkelijke structuur kan worden weergegeven, en stijgt daarna doordat het model zich aan ruis aanpast. Vergelijk kandidaatcapaciteiten met resultaten op apart gehouden gegevens. Dit bekende patroon helpt bij de modelkeuze, maar garandeert niet dat elke mogelijke curve voor netwerkgrootte precies die vorm heeft.

Hoge modelvertekening betekent een systematische fout door een beperkende familie. Hoge variantie betekent dat de geleerde regel sterk verandert tussen trainingssteekproeven van dezelfde omvang. Underfitting gaat vaak samen met hoge modelvertekening; overfitting vaak met hoge variantie.

Onderscheid meer gegevens van andere gegevens

Bij een vaste capaciteit verminderen meer representatieve voorbeelden meestal de overfitting. Een polynoom van graad 9 kan doorgaans niet precies door 1.000 punten met ruis gaan, dus moet de aanpassing een compromis sluiten. Grote netwerken kunnen nog steeds grote steekproeven uit het hoofd leren, inclusief willekeurige labels. Meer gegevens verminderen het risico zonder de noodzaak van controles op apart gehouden gegevens weg te nemen. Verkeerde labels of labels met ruis voegen toevallige patronen toe waaraan het lerende programma zich kan aanpassen.

Verdelingsverschuiving is een ander probleem. Een classificator die op foto's overdag is getraind en getest, kan falen op nachtfoto's, ook als de generalisatie overdag goed is. Die nieuwe invoer komt uit een andere verdeling. Meer regularisatie alleen levert de ontbrekende nachtomstandigheden niet op.

Behoud de betekenis van de eindtest

Train kandidaten op de trainingsverzameling en vergelijk hun instellingen of capaciteiten op validatiegegevens. Meet een gekozen kandidaat vervolgens op de ongebruikte testverzameling. Als je testscores gebruikt om de architectuur te veranderen of een epoch te kiezen, wordt die verzameling een extra bron voor modelselectie en worden de gerapporteerde prestaties optimistisch. Overfitting kan optreden bij polynomen, naïeve Bayes, perceptrons en netwerken; het is een relatie tussen leren en gegevens, geen eigenschap die uniek is voor één algoritme.

Regularisatie verandert het leerproces om voorspellingen op nieuwe gegevens te verbeteren. Ze kan gewichten beperken, de trainingsduur begrenzen, de afhankelijkheid van bepaalde eenheden onderbreken of meer geldige voorbeelden bieden.

Bestraf grote gewichten

Een geregulariseerde doelfunctie combineert verlies op gegevens met een strafterm voor complexiteit:

Gebruik voor L2: $C={\sum }_i{w}_i^2$, meestal zonder de biasterm. Gewichten $(3,-4)$ en $\lambda =\mathrm{0,1}$ geven strafterm $\mathrm{0,1}(9+16)=\mathrm{2,5}$. De toegevoegde afgeleide is $2\lambda w_i$. Bij gewone gradiëntafdaling geldt:

Met leersnelheid 0,1 en sterkte 0,1 is de krimpfactor 0,98; een gewicht van 5 draagt 4,9 bij vóór de stap op basis van het gegevensverlies. Dit is de interpretatie als gewichtsverval voor deze optimizer. Bij adaptieve optimizers zoals Adam zijn een L2-strafterm en afzonderlijk toegepast gewichtsverval verschillende bewerkingen.

L1 gebruikt $C={\sum }_i\mathrm{\mid }{w}_i\mathrm{\mid }$. Dit bevordert schaarse oplossingen met veel gewichten die precies nul zijn, en selecteert zo kenmerken. L2 laat gewichten meestal krimpen zonder ze precies nul te maken. Geen van beide strafmethoden is een regel om elk gewicht op nul te zetten.

De sterkte is een hyperparameter. Nul verwijdert de strafterm; een te grote sterkte veroorzaakt underfitting. Vergelijk op validatiegegevens waarden die over meerdere ordes van grootte zijn verspreid. Een positieve L2-strafterm beheerst ook de divergerende gewichten van logistische regressie bij scheidbare gegevens.

Bewaar het beste stoppunt

Vroegtijdig stoppen volgt het validatieverlies, bewaart de beste gewichten en stopt na een geduldsperiode zonder verbetering. Bij verliezen 0,62, 0,48, 0,41, 0,39, 0,40, 0,43 en 0,47 in epochs 1–7 is epoch 4 de beste. Een geduld van 3 laat epochs 5–7 toe, stopt daarna en herstelt de gewichten van epoch 4. De laatste getrainde epoch is niet noodzakelijk het opgeslagen model.

Train met drop-out

Bij elke trainingsstap zet drop-out de uitvoer van verborgen eenheden onafhankelijk met kans $p$ op nul. Eenheden moeten leren zonder erop te vertrouwen dat een bepaalde andere eenheid altijd aanwezig is. Bij het voorspellen is drop-out uitgeschakeld en doen alle eenheden mee.

Bij omgekeerde drop-out deel je tijdens de training de overblijvende activaties door $1-p$. Als $p=\mathrm{0,5}$, verdubbelt de overblijvende uitvoer, zodat de verwachte waarde overeenkomt met de activatie zonder drop-out. Deze schaling wordt bij het voorspellen niet opnieuw toegepast.

Voeg geldige variatie toe

Meer representatieve gegevens verzamelen en een eenvoudiger model gebruiken kunnen overfitting verminderen. Data-augmentatie voegt getransformeerde trainingsvoorbeelden toe waarvan de labels correct blijven, zoals geschikte verschuivingen, uitsneden of helderheidsveranderingen. Een transformatie moet bij de taak passen: als je een handgeschreven 6 over 180° draait, kan die in een 9 veranderen. Het label 6 behouden zou dus het verkeerde verband aanleren.

Laplacegladding is een andere vorm van regularisatie: pseudotellingen maken naïeve Bayes minder afhankelijk van kleine aantallen. Gebruik validatiegegevens om gladding, straftermen, drop-outpercentages of stoptijden te kiezen. Let op zowel de trainingsfout als de validatiefout, zodat bescherming tegen overfitting niet verandert in een te sterke beperking.