Lernen aus Daten und neuronale Netze

Ein lernendes Programm erhält Beispiele für das Verhalten, das es lernen soll. Beim überwachten Lernen verbindet jedes Beispiel eine Eingabe mit ihrer korrekten Ausgabe, dem sogenannten Label. Die gelernte Regel muss auch bei Eingaben funktionieren, die im Training nicht vorkamen.

Bestimme die Aufgabe und ihre Labels

Schreibe einen Trainingsdatensatz als $({𝐱}_1,y_1),\dots ,({𝐱}_N,y_N)$. Die Eingabe beschreibt einen Fall; das Label liefert die Antwort für diesen Fall. Eine unbekannte Zielfunktion beschreibt die zugrunde liegende Beziehung. Bei rauschfreien Labels gilt $y=f(𝐱)$. Das Programm wählt eine Hypothese $h$, um diese Beziehung zu approximieren.

Bei einem Spamfilter ist ein Fall eine E-Mail. Ihre Eingabe kann beschreiben, ob sie „gratis“ enthält, wie viele Links sie hat und ob ihr Absender ein Kontakt ist. Ihr Label ist Spam oder erwünschte E-Mail. Ein Trainingsdatensatz könnte 5.000 E-Mails mit Labels enthalten; der fertige Filter wird anhand von 1.000 anderen E-Mails mit Labels bewertet.

Die Ausgabe definiert die Aufgabe. „Fallen mehr als 5 mm Regen?“ fragt nach einer Klasse; „Wie viele Millimeter fallen?“ fragt nach einer Zahl. Auch eine ganzzahlige Ausgabe kann eine Klasse sein: Die Ziffer 7 bezeichnet eine Kategorie, nicht das Siebenfache der Ziffer 1.

Überwachtes Lernen verwendet Beispiele mit Labels. Unüberwachtes Lernen sucht ohne Labels nach Strukturen, etwa Kundengruppen. Bestärkendes Lernen nutzt Belohnungen, die auf die Aktionen eines Agenten folgen. Das Erstellen zuverlässiger Labels kann viel menschliche Arbeit erfordern.

Wähle eine Familie möglicher Regeln

Der Hypothesenraum ist die Familie, die das Programm durchsuchen kann, etwa lineare Klassifikatoren mit vorgegebenen Merkmalen. Gelernte Parameter, darunter Gewichte oder bedingte Wahrscheinlichkeiten, wählen ein Mitglied dieser Familie aus. Eine Zielfunktion außerhalb der Familie lässt sich auch mit unbegrenzten Daten nicht exakt darstellen.

Ein Hyperparameter steuert die Ausgangssituation des Lernens: Beispiele sind eine Lernrate oder die Anzahl verborgener Einheiten. Das Training passt Parameter an. Vergleiche auf Validierungsdaten helfen bei der Wahl der Hyperparameter. Flexiblere Familien erfassen mehr Muster, bieten aber auch mehr Möglichkeiten, sich an Rauschen anzupassen.

Beurteile Vorhersagen für neue Fälle

Der Trainingsfehler misst die Anpassung an Beispiele, die zum Lernen verwendet wurden. Eine Regel, die jede Trainings-E-Mail auswendig lernt, kann einen Trainingsfehler von null haben und bei neuen Nachrichten dennoch versagen. Nutze einen Validierungsdatensatz für Modellentscheidungen und halte einen separaten Testdatensatz für die abschließende Bewertung zurück.

Bei einem Klassifikator ist die Fehlerrate die Anzahl falscher Vorhersagen geteilt durch die Anzahl der getesteten Beispiele. Drei Fehler unter 40 E-Mails ergeben

Der Bezug zur zukünftigen Leistung hängt davon ab, wie die Stichprobe gezogen wurde. Unabhängig und identisch verteilte oder i.i.d. Beispiele sind unabhängige Ziehungen aus derselben Verteilung. Wenn zukünftiger Spam ganz andere Formulierungen verwendet, repräsentiert der alte Testdatensatz diesen zukünftigen Nachrichtenstrom nicht mehr. Gib das Ergebnis auf zurückgehaltenen Daten für die Grundgesamtheit an, die es tatsächlich repräsentiert.

Modelle arbeiten mit einer numerischen Beschreibung jedes Falls. Die Wahl und Reihenfolge dieser Merkmale bestimmen, was ein Modell erkennen kann. Ein Verlust gibt dem Lernverfahren an, welche Kosten seine Vorhersagen verursachen.

Erstelle einen Merkmalsvektor

Ein Merkmal kann binär sein, eine Anzahl oder eine Messzahl. „Enthält gratis“ wird zu 0 oder 1, eine Linkanzahl könnte 4 sein und eine Wohnfläche 85 m². Behalte für Training und Vorhersage dieselbe Merkmalsreihenfolge bei. Ein Graustufenbild mit 28 mal 28 Pixeln liefert $28\times 28=784$ Pixelmerkmale.

Verwende für eine Kategorie ohne numerische Reihenfolge die One-Hot-Kodierung. Für Rot, Grün und Blau sind die Vektoren $(1,0,0)$, $(0,1,0)$ und $(0,0,1)$. Die Kodierungen 1, 2 und 3 würden diesen Farben eine künstliche Reihenfolge und künstliche Abstände auferlegen.

Kombiniere Merkmale zu einem Wert

Ein Skalarprodukt multipliziert einander entsprechende Gewichte und Merkmale und addiert dann:

Für $𝐰=(2;-1;\mathrm{0,5})$ und $𝐱=(1,3,4)$ ist der Wert

Ein positives Gewicht erhöht den Wert, wenn sein Merkmal zunimmt; ein negatives Gewicht senkt ihn. Der Betrag des Gewichts beschreibt die Empfindlichkeit pro Merkmalseinheit. Deshalb ist beim Vergleich der Beträge unterschiedlich skalierter Merkmale Vorsicht nötig.

Der Bias verschiebt den Wert unabhängig von veränderlichen Eingaben. Füge ein konstantes erstes Merkmal $x_0=1$ hinzu und verwende $w_0$ als sein Gewicht. Somit enthält $𝐱=(1,x_1,\dots ,x_n)$ das Bias-Merkmal; es ist keine zusätzliche gemessene Eigenschaft. Das Modell kann dann eine Entscheidungsgrenze verschieben, ohne die anderen Gewichte zu ändern.

Miss die Kosten einer Vorhersage

Eine Verlustfunktion vergleicht eine Vorhersage mit ihrem Label. Verschiedene Verlustfunktionen drücken unterschiedliche Kosten aus:

Bei einer tatsächlichen Temperatur von 10 °C und einer Vorhersage von 7 °C beträgt der quadratische Verlust 9 und der absolute Verlust 3. Ein Fehler von 6 hat den quadratischen Verlust 36, viermal so viel wie bei einem Fehler von 3. Der durchschnittliche 0/1-Verlust ist die Klassifikationsfehlerrate.

Der empirische Verlust ist der durchschnittliche Verlust auf der Trainingsstichprobe. Die Vorhersagen $(2,4,7)$ für die Labels $(3,4,5)$ ergeben die quadratischen Fehler 1, 0 und 4 und damit den mittleren quadratischen Fehler $5\mathrm{/}3\approx \mathrm{1,67}$. Addiere die Verluste, bevor du durch die Anzahl der Beispiele dividierst.

Der Generalisierungsverlust ist der erwartete Verlust auf neuen Beispielen aus derselben Verteilung. Bei der Minimierung des empirischen Verlusts kann sich das Modell an zufällige Einzelheiten der Stichprobe anpassen. Irrelevante Merkmale bieten einem Lernverfahren mehr Möglichkeiten dazu; nahezu doppelte Merkmale können bei Naive Bayes außerdem dazu führen, dass dieselbe Evidenz zweimal gezählt wird. Ockhams Rasiermesser bevorzugt eine einfachere Hypothese, wenn Alternativen etwa gleich gut passen, weil zusätzliche Flexibilität durch Daten gestützt werden muss.

Naive Bayes kombiniert die Ausgangswahrscheinlichkeit einer Klasse mit der Evidenz aus einer Eingabe. Seine vereinfachende Annahme macht ein großes Wahrscheinlichkeitsmodell anhand relativ kleiner Stichproben lernbar.

Faktorisiere die Evidenz nach Klassen

Das Modell nimmt an, dass Merkmale bedingt unabhängig bei gegebener Klasse sind. Für eine Klassenvariable und mehrere Merkmale gilt:

Ein bayessches Netz zeigt die Klasse als Elternknoten jedes Merkmals. Die Unabhängigkeit ist bedingt: Merkmale können insgesamt stark zusammenhängen, weil beide von der Klasse abhängen. Für 100 binäre Merkmale benötigt eine vollständige gemeinsame Merkmalstabelle $2^{100}-1$ freie Wahrscheinlichkeiten pro Klasse. Naive Bayes benötigt nur 100 Wahrscheinlichkeiten pro Klasse, eine für den Ja-Wert jedes Merkmals.

Der Satz von Bayes liefert einen Klassenwert

Wähle die Klasse mit dem größten Wert. Der ausgelassene Evidenznenner ist für alle Klassen gleich. Ein Klassenwert ist noch keine A-posteriori-Wahrscheinlichkeit: Um diese zu erhalten, dividiere ihn durch die Summe aller Klassenwerte.

Gehe eine Vorhersage mit binären Merkmalen durch

Angenommen, die A-priori-Wahrscheinlichkeit für Spam beträgt 0,4 und die für erwünschte E-Mails 0,6. Die Wahrscheinlichkeiten für „gratis“ sind 0,5 bei Spam und 0,05 bei erwünschten E-Mails. Für „Besprechung“ sind sie 0,1 und 0,4. Die neue E-Mail enthält „gratis“, aber nicht „Besprechung“.

1. Bei Spam trägt das Fehlen von „Besprechung“ $1-\mathrm{0,1}=\mathrm{0,9}$ bei. Der Klassenwert ist $\mathrm{0,4}(\mathrm{0,5})(\mathrm{0,9})=\mathrm{0,18}$.
2. Bei erwünschten E-Mails trägt dieses Fehlen $1-\mathrm{0,4}=\mathrm{0,6}$ bei. Der Klassenwert ist $\mathrm{0,6}(\mathrm{0,05})(\mathrm{0,6})=\mathrm{0,018}$.
3. Die Klassenwerte summieren sich zu 0,198, die A-posteriori-Wahrscheinlichkeit für Spam beträgt also $\mathrm{0,18}\mathrm{/}\mathrm{0,198}\approx \mathrm{0,909}$.

Ein fehlendes binäres Merkmal liefert Evidenz. Kommen beide Wörter vor, werden die Klassenwerte zu 0,02 und 0,012 und die A-posteriori-Wahrscheinlichkeit für Spam fällt auf 0,625. „Besprechung“ verschiebt das Ergebnis zugunsten erwünschter E-Mails, auch wenn Spam weiterhin gewinnt.

Achte auf die Richtung der Bedingung. $P(\text{gratis}\mid \text{Spam})=\mathrm{0,5}$ beschreibt Spamnachrichten. Für die umgekehrte Wahrscheinlichkeit $P(\text{Spam}\mid \text{gratis})$ braucht man außerdem die A-priori-Klassenwahrscheinlichkeiten und die Likelihood für erwünschte E-Mails; hier beträgt sie $\mathrm{0,2}\mathrm{/}(\mathrm{0,2}+\mathrm{0,03})\approx \mathrm{0,870}$.

Verwende logarithmische Klassenwerte, ohne den Gewinner zu ändern

Lange Produkte können in der Computerarithmetik zu null unterlaufen. Zweihundert Faktoren von 0,01 ergeben ${10}^{-400}$, weniger als die kleinste positive Zahl mit doppelter Genauigkeit. Vergleiche stattdessen

. Logarithmen erhalten die Reihenfolge und wandeln Multiplikation in Addition um. Hier schlägt $\ln \mathrm{0,18}\approx -\mathrm{1,715}$ den Wert $\ln \mathrm{0,018}\approx -\mathrm{4,017}$; unter negativen Werten ist der weniger negative Wert größer.

Naive Bayes ist generativ: Es modelliert die A-priori-Wahrscheinlichkeit und wie Merkmale innerhalb jeder Klasse entstehen. Logistische Regression ist diskriminativ: Sie modelliert die Klassenwahrscheinlichkeit direkt aus der Eingabe. Naive Bayes mit binären Merkmalen hat ebenfalls eine lineare Grenze der logarithmierten Chance. Korrelierte Merkmale wie „Hong“ und „Kong“ können seine A-posteriori-Wahrscheinlichkeit zu extrem machen, indem sie überlappende Evidenz zählen. Eine Klassenvorhersage kann richtig sein, auch wenn die zugewiesene Wahrscheinlichkeit zu extrem ist.

Naive Bayes lernt durch Zählen. Entscheidend ist, welche Grundgesamtheit in einen Nenner gehört und wie stark ein bislang nicht beobachtetes Ergebnis abgesichert werden soll.

Schätze Wahrscheinlichkeiten innerhalb der richtigen Gruppe

Die Maximum-Likelihood-Schätzung (MLE) macht die beobachteten Daten am wahrscheinlichsten. Für eine A-priori-Klassenwahrscheinlichkeit dividiere die Klassenhäufigkeit durch die Gesamtzahl der Beispiele. Für eine bedingte Merkmalswahrscheinlichkeit beschränke beide Häufigkeiten auf die Klasse:

Betrachte 100 E-Mails: 40 Spam und 60 erwünschte E-Mails. „Gratis“ erscheint in 20 Spamnachrichten und 3 erwünschten Nachrichten; „Besprechung“ erscheint in 4 Spamnachrichten und 24 erwünschten Nachrichten. Die A-priori-Wahrscheinlichkeit für Spam ist somit 0,4. Die Schätzwerte für „gratis“ sind $20\mathrm{/}40=\mathrm{0,5}$ bei Spam und $3\mathrm{/}60=\mathrm{0,05}$ bei erwünschten E-Mails. Die Schätzwerte für „Besprechung“ sind $4\mathrm{/}40=\mathrm{0,1}$ und $24\mathrm{/}60=\mathrm{0,4}$. Würde man die Häufigkeit von Merkmal und Klasse durch 100 teilen, erhielte man eine gemeinsame Wahrscheinlichkeit und nicht die gesuchte bedingte Wahrscheinlichkeit.

Behebe Nullhäufigkeiten

Angenommen, „Gewinn“ erscheint in 8 Spamnachrichten und keiner erwünschten Nachricht. Seine MLE für erwünschte E-Mails ist null. Jede neue Nachricht, die das Wort enthält, erhält den Klassenwert null für erwünschte E-Mails, unabhängig von ihren anderen Merkmalen. Aus einem in einer endlichen Stichprobe fehlenden Ergebnis ist eine Aussage über Unmöglichkeit geworden.

Die Add-k-Glättung weist jedem möglichen Merkmalswert einen Pseudozählwert von $k$ zu:

Dabei ist $\mathrm{\mid }F\mathrm{\mid }$ die Anzahl der Werte dieses Merkmals. Für ein Ja-Nein-Merkmal ist sie 2, nicht die Anzahl der modellierten Wörter. Mit Add-one-Glättung gilt:

Beide Ergebnisse erhalten einen Pseudozählwert. Bei erwünschten E-Mails hat der Wert für das Fehlen des Wortes daher die Wahrscheinlichkeit $61\mathrm{/}62$. Die beiden Wahrscheinlichkeiten ergeben zusammen 1. Würde man nur zum Zähler addieren, wäre diese Normierung verletzt.

Wähle die Glättungsstärke

Die Stärke $k$ ist ein Hyperparameter. Bei null ergibt sie die MLE. Wird sie groß, nähert sich jede Wahrscheinlichkeit dem Gleichverteilungswert $1\mathrm{/}\mathrm{\mid }F\mathrm{\mid }$ und klassenspezifische Evidenz wird schwächer. Glättung tauscht einen Teil der Anpassung an die beobachteten Häufigkeiten gegen stabilere Vorhersagen für neue Fälle.

Vergleiche Einstellungen wie 0,1; 0,5; 1; 2 und 5 anhand von Validierungsdaten. Halte den Testdatensatz für die abschließende Bewertung getrennt. Ein großer Wert kann zu Unteranpassung führen; ein sehr kleiner Wert kann seltene Merkmale mit instabilen Schätzwerten zurücklassen.

Derselbe Pseudozählwert fällt weniger ins Gewicht, wenn die tatsächlichen Häufigkeiten wachsen. Unter 6.000 erwünschten E-Mails, von denen 300 „gratis“ enthalten, ist die MLE 0,05 und der Add-one-Wert $301\mathrm{/}6002\approx \mathrm{0,0502}$. Bei vielen Beobachtungen dominieren die Daten die Pseudozählwerte. A-priori-Klassenwahrscheinlichkeiten bleiben üblicherweise ungeglättet, wenn jede Klasse gut vertreten ist. Ein einziger Durchlauf durch Beispiele mit Labels kann die Häufigkeiten erfassen, was dieses Trainingsverfahren schnell macht.

Ein Bag-of-Words-Modell wandelt Text in Worthäufigkeiten um. Es liefert einem einfachen Klassifikator Evidenz über das Vokabular und verwirft dabei die Reihenfolge der Wörter.

Zähle Token, nicht nur Dokumente

„Die Katze jagt die Maus“ und „Die Maus jagt die Katze“ haben dieselbe Wortmenge: „die“ zweimal und jedes andere Wort einmal. Ein Token ist ein Vorkommen; das Vokabular ist die Menge der verschiedenen Wörter, die das Modell darstellt.

Beim multinomialen Naive-Bayes-Klassifikator ist jede Wortposition eine unabhängige Ziehung aus einer klassenspezifischen Wortverteilung. Ein dreimal vorkommendes Wort trägt drei Faktoren bei:

Der zugehörige logarithmische Klassenwert ist $\log P(y)+{\sum }_w{n}_w\log P(w\mid y)$. Die A-priori-Wahrscheinlichkeit kommt einmal pro Dokument vor. Die Worthäufigkeit multipliziert ihre logarithmierte Wahrscheinlichkeit.

Schätze Wortwahrscheinlichkeiten aus Tokenhäufigkeiten innerhalb einer Klasse. Mit Glättung gilt:

wobei $N_y$ alle Trainingstoken in dieser Klasse und $\mathrm{\mid }V\mathrm{\mid }$ die Wörter des Vokabulars zählt. Angenommen, Spam enthält 200 Token, darunter „Geld“ 9-mal, und das Vokabular enthält 1.000 Wörter. Die MLE ergibt $9\mathrm{/}200=\mathrm{0,045}$. Add-one ergibt $10\mathrm{/}1200\approx \mathrm{0,0083}$, während $k=\mathrm{0,1}$ den Wert $\mathrm{9,1}\mathrm{/}300\approx \mathrm{0,0303}$ ergibt. Ein großes Vokabular macht selbst einen Pseudozählwert pro Wort beträchtlich.

Klassifiziere ein kurzes Dokument

Sport und Politik haben jeweils die A-priori-Wahrscheinlichkeit 0,5. Die Wortwahrscheinlichkeiten sind:

Für „Tor Tor Wahl Spiel“ ist der Klassenwert für Sport

Der Klassenwert für Politik ist $\mathrm{0,5}(\mathrm{0,005}{)}^2(\mathrm{0,04})(\mathrm{0,006})=3\times {10}^{-9}$. Sport gewinnt um den Faktor 50 und seine normierte A-posteriori-Wahrscheinlichkeit ist $50\mathrm{/}51\approx \mathrm{0,98}$. Würde das zweite „Tor“ ausgelassen, ginge ein Teil der Evidenz verloren. Verwende in der Praxis die logarithmischen Klassenwerte, etwa −15,71 und −19,62, um winzige Produkte zu vermeiden.

Halte die Textmodelle auseinander

Ein Bernoulli-Textmodell verwendet pro Wort ein Ja-Nein-Merkmal und berücksichtigt den Faktor jedes fehlenden Wortes. Das multinomiale Modell verwendet Vorkommenshäufigkeiten und hat keine separaten Faktoren für fehlende Wörter. Seine Nenner zählen Token, nicht Dokumente. Wer diese Entscheidungen vermischt, erhält keines der beiden Modelle korrekt.

Ein Wort des Vokabulars, das in einer Klasse nicht beobachtet wurde, benötigt Glättung. Für ein Wort außerhalb des Vokabulars ist keine Wahrscheinlichkeit modelliert; es wird meist übersprungen. Alternativ kann beim Training ein Token für unbekannte Wörter mit eigener klassenspezifischer Wahrscheinlichkeit reserviert werden.

Das Modell ignoriert den Kontext: „gut“ liefert in „nicht gut“ und „sehr gut“ dieselbe Evidenz. Durch zusätzliche Bigramme, also Wortpaare, lässt sich eine Wendung wie „nicht gut“ darstellen. Nahezu doppelte oder benachbarte Wörter können weiterhin zu übermäßig sicheren Wahrscheinlichkeiten führen. Das Modell bleibt als schnelle Basismethode für Themen, Spam, Stimmung oder Spracherkennung nützlich.

Ein linearer Klassifikator trifft eine Entscheidung anhand einer gewichteten Summe. Die Geometrie zeigt, welche Muster diese Summe trennen kann und warum manche Aufgaben neue Merkmale benötigen.

Interpretiere Wert und Grenze

Setze das konstante Bias-Merkmal an die erste Stelle: $𝐱=(1,x_1,\dots ,x_n)$. Berechne $z=𝐰\cdot 𝐱$ und sage $+1$ für $z\ge 0$ oder $-1$ für $z<0$ voraus. Ein Wert von null gehört nach dieser Konvention zur positiven Klasse.

Ist mindestens ein Merkmalsgewicht ungleich null, lautet die Entscheidungsgrenze $𝐰\cdot 𝐱=0$. Bei zwei veränderlichen Merkmalen ist sie eine Gerade, bei drei eine Ebene und allgemein eine Hyperebene. Der Gewichtsvektor ohne Bias steht senkrecht auf dieser Grenze und zeigt zur positiven Seite.

Für $𝐰=(-3,1,1)$ ist der Wert $-3+x_1+x_2$ und die Grenze $x_1+x_2=3$. Der Punkt $(2,2)$ erhält den Wert 1, $(1,1)$ den Wert −1 und $(3,0)$ den Wert null. Die Vorhersagen sind positiv, negativ und positiv.

Der geometrische Abstand ist der Betrag des Wertes geteilt durch die Länge des Gewichtsvektors ohne Bias:

Für $(2,2)$ beträgt er $1\mathrm{/}\sqrt{2}\approx \mathrm{0,71}$. Multipliziert man jedes Gewicht mit einer positiven Konstante, ändert sich der Wert, aber sowohl der Abstand als auch die vorhergesagte Klasse bleiben gleich. Lässt man den Bias weg, müssen Grenzen durch den Ursprung verlaufen.

Entscheide, ob eine Gerade genügt

Daten sind linear separierbar, wenn ein Gewichtsvektor jeden Punkt korrekt klassifiziert. Verwende für UND $𝐰=(-\mathrm{1,5};1;1)$. Nur $(1,1)$ hat einen positiven Wert; die anderen drei binären Eingaben haben negative Werte.

XOR weist $(1,0)$ und $(0,1)$ das positive, aber $(0,0)$ und $(1,1)$ das negative Label zu. Keine Gerade kann diese diagonal gegenüberliegenden Paare trennen. Der negative Ursprung verlangt $w_0<0$. Die beiden positiven Punkte verlangen $w_1+w_2\ge -2w_0$, während der negative Punkt $(1,1)$ die Bedingung $w_1+w_2<-w_0$ verlangt. Zusammen verlangen sie $w_0>0$, ein Widerspruch.

Die Merkmalsrepräsentation kann die Separierbarkeit ändern. Füge das Merkmal $x_1{x}_2$ hinzu und verwende die Gewichte $(-\mathrm{0,5};1;1;-2)$. Die vier XOR-Eingaben erhalten dann die Werte −0,5; 0,5; 0,5 und −0,5 in der Reihenfolge $(0,0),(1,0),(0,1),(1,1)$. Die Regel ist im erweiterten Merkmalsvektor linear, obwohl sie in den ursprünglichen Eingaben nichtlinear ist. Eine verborgene Schicht kann nützliche transformierte Merkmale lernen.

Erweitere die Berechnung auf mehrere Klassen

Verwalte pro Klasse einen Vektor und wähle das größte Skalarprodukt. Für $𝐱=(1,2)$ ergeben die Vektoren ${𝐰}_A=(1,1)$, ${𝐰}_B=(2,0)$ und ${𝐰}_C=(0,1)$ die Werte 3, 2 und 2. Klasse A gewinnt. Dies sind Vergleichswerte, keine Wahrscheinlichkeiten; sie müssen weder zwischen null und eins liegen noch sich zu eins summieren.

Das Perzeptron lernt eine lineare Entscheidungsregel, indem es Fehler direkt korrigiert. Es ändert Gewichte unmittelbar, ohne Wahrscheinlichkeiten anzupassen oder einen glatten Verlust abzuleiten.

Aktualisiere Beispiel für Beispiel

Verwende Labels $y\in \{-1,+1\}$, beziehe das Bias-Merkmal ein und beginne mit Gewichten von null. Ein Wert von null sagt $+1$ voraus. Sage für jedes Beispiel mit den aktuellen Gewichten eine Klasse voraus. Ist die Vorhersage richtig, lass die Gewichte unverändert; andernfalls wende an:

Ein positives Beispiel addiert seinen Merkmalsvektor. Ein negatives Beispiel subtrahiert ihn. Der Wert für dieses Beispiel ändert sich um $y\mathrm{\parallel }𝐱{\mathrm{\parallel }}^2$ und bewegt sich damit zum richtigen Vorzeichen hin. Das Bias-Merkmal macht die quadrierte Länge positiv. Eine Aktualisierung kann das Beispiel dennoch falsch lassen und frühere Vorhersagen beeinträchtigen.

Eine Epoche ist ein vollständiger Durchlauf durch den Trainingsdatensatz. Stoppe nach einer vollständig fehlerfreien Epoche oder einer gewählten Höchstzahl von Durchläufen.

Vollziehe zwei Durchläufe nach

Nimm die Beispiele in dieser Reihenfolge; die Bias-Koordinate ist bereits enthalten:

1. A erhält den Wert null und wird fälschlich als positiv vorhergesagt. Subtrahiere A und erhalte $(-1,-1,-3)$.
2. B erhält nun $-1-3-3=-7$. Addiere B und erhalte $(0,2,-2)$.
3. C erhält −2 und D erhält 4. Beide sind richtig, es erfolgt also keine Aktualisierung.
4. Im nächsten Durchlauf erhalten A, B, C und D die Werte −4, 4, −2 und 4. Es gibt keine Fehler mehr, also stoppe.

Die gelernte Grenze ist $x_1=x_2$. Vorhersagen müssen die Gewichte nach allen vorangegangenen Aktualisierungen verwenden, nicht die Gewichte zu Beginn der Epoche.

Verstehe Konvergenz und ihre Grenzen

Der Perzeptron-Konvergenzsatz garantiert endlich viele Fehler bei linear separierbaren Trainingsdaten. Haben die um das Bias-Merkmal ergänzten Eingaben höchstens die Länge $R$ und erreicht ein Trennvektor der Länge eins eine positive vorzeichenbehaftete Trennspanne $\gamma$, ist die Fehlerschranke $(R\mathrm{/}\gamma {)}^2$. Die Garantie liefert eine Trennung; sie wählt weder die breiteste Trennspanne noch die beste Testleistung.

Nicht separierbare Daten, darunter XOR mit den ursprünglichen Merkmalen oder widersprüchliche Labels, erlauben nie einen fehlerfreien Durchlauf. Lege eine Trainingsgrenze fest und wähle Gewichte anhand der Validierungsleistung. Ein gemitteltes Perzeptron sagt mit dem Durchschnitt der Gewichte über die Trainingsschritte voraus. Eine feste positive Lernrate skaliert bei einem Start bei null lediglich jedes Gewicht und lässt daher die binäre Vorhersagefolge unverändert; eine veränderliche Rate kann dieses Verhalten ändern.

Korrigiere eine Mehrklassenvorhersage

Addiere bei einem Mehrklassenfehler die Eingabe zum Vektor der tatsächlichen Klasse und subtrahiere sie vom Vektor der vorhergesagten Klasse. Lass die übrigen unverändert. Für die Eingabe $(1,2)$, tatsächliche Klasse B und vorhergesagte Klasse A werden die Vektoren $(1,1)$ und $(2,0)$ zu $(0,-1)$ und $(3,2)$. Ihre neuen Werte sind −2 und 7. Der unveränderte Wert von C ist 2, also gewinnt nun B. Wie das binäre Perzeptron gibt dieses Modell eine Klasse aus, keine Wahrscheinlichkeit.

Logistische Regression wandelt einen linearen Wert in eine Wahrscheinlichkeit für eine binäre Klasse um. Ihre glatte Ausgabe liefert ein abgestuftes Trainingssignal, selbst wenn eine feste Klassifikation bereits richtig ist.

Wandle einen Wert in eine Wahrscheinlichkeit um

Berechne für die Labels 0 und 1 zunächst $z=𝐰\cdot 𝐱$ und dann

Die Sigmoidfunktion steigt von Werten nahe null zu Werten nahe eins. Es gilt $\sigma (0)=\mathrm{0,5}$, $\sigma (1)\approx \mathrm{0,731}$, $\sigma (2)\approx \mathrm{0,881}$ und $\sigma (-2)\approx \mathrm{0,119}$. Klasse 1 bei $p\ge \mathrm{0,5}$ vorherzusagen entspricht der Bedingung $z\ge 0$, die Entscheidungsgrenze bleibt also linear.

Der Wert entspricht der logarithmierten Chance:

Mit den Gewichten $(-4;\mathrm{0,8})$ und der Eingabe $(1,\text{Lernstunden})$ ergeben fünf Stunden den Wert null und die Wahrscheinlichkeit 0,5. Bei 7,5 Stunden ist der Wert 2 und die Wahrscheinlichkeit etwa 0,881. Jede weitere Stunde addiert 0,8 zur logarithmierten Chance und multipliziert die Chance mit $e^{\mathrm{0,8}}\approx \mathrm{2,23}$. Sie addiert nicht 0,8 zur Wahrscheinlichkeit. Eine vorhergesagte Wahrscheinlichkeit von 0,7 betrifft die Klasse dieses Beispiels; sie ist keine Angabe einer Modelltrefferquote von 70 %.

Trainiere mit logarithmischem Verlust

Für ein Beispiel ist der binäre logarithmische Verlust

Nur der Term für das beobachtete Label bleibt übrig. Für $y=1$ verwende $-\ln p$; für $y=0$ verwende $-\ln (1-p)$. Bei $p=\mathrm{0,9}$ betragen diese Verluste etwa 0,105 und 2,303. Eine sichere falsche Vorhersage kostet viel mehr als eine unsichere; $p=\mathrm{0,5}$ ergibt für beide Labels einen Verlust von etwa 0,693.

Maximum Likelihood wählt Gewichte, die den beobachteten Labels eine hohe gemeinsame Wahrscheinlichkeit zuweisen. Der negative Logarithmus wandelt ihr Wahrscheinlichkeitsprodukt in die Summe der logarithmischen Verluste um. Gradientenabstieg passt die Gewichte an, weil es keine allgemeine geschlossene Lösung gibt.

Der logarithmische Verlust der logistischen Regression ist in den Gewichten konvex, daher ist jedes lokale Minimum global. Der 0/1-Verlust ist fast überall flach und liefert keinen brauchbaren Gradienten; quadratischer Verlust nach der Sigmoidfunktion verliert diese Konvexität. Bei separierbaren Trainingsdaten kann der unregularisierte logarithmische Verlust sinken, während die Gewichte unbegrenzt wachsen, sodass keine endliche Maximum-Likelihood-Lösung existiert. Ein Strafterm für Gewichte begrenzt dieses Wachstum.

Verwende Softmax für mehr Klassen

Gib jeder Klasse einen Wert und normiere die Exponentialausdrücke:

Die Werte $(2,1,0)$ erzeugen Wahrscheinlichkeiten von etwa $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$. Addiert man zu jedem Wert dieselbe Konstante, ändern sich weder die Wahrscheinlichkeiten noch die gewinnende Klasse, weil sich der gemeinsame Exponentialfaktor kürzt. Bei zwei Klassen ist Softmax eine Sigmoidfunktion der Wertedifferenz.

Logistische Regression modelliert $P(y\mid 𝐱)$ direkt und passt Gewichte gemeinsam an. Sie setzt keine Unabhängigkeit der Merkmale voraus. Naive Bayes schätzt eine A-priori-Wahrscheinlichkeit und Merkmalsverteilungen durch Zählen; es kann bei kleinen Datensätzen besonders wirksam sein, aber korrelierte Evidenz kann seine Wahrscheinlichkeiten zu extrem machen.

Training bedeutet oft, Gewichte zu finden, die einen Verlust klein machen. Der Gradientenabstieg nutzt die lokale Steigung dieses Verlusts, um die nächsten Gewichte zu wählen, und wiederholt dies bis zu einem Abbruchkriterium.

Finde die Abstiegsrichtung

Eine partielle Ableitung misst, wie sich der Verlust ändert, wenn ein Parameter variiert und die anderen fest bleiben. Der Gradient fasst alle diese Ableitungen zusammen. Für

Am Punkt $(2\mathrm{\mid }1)$ ist der Gradient $(4,6)$. Er zeigt unter dem euklidischen Abstand in Richtung des steilsten lokalen Anstiegs; sein Negatives zeigt abwärts. Ein glattes Minimum hat den Gradienten null, aber ein Gradient von null kann auch an einem Sattelpunkt oder Maximum auftreten.

Aktualisiere mit positiver Lernrate $\alpha$:

Berechne den gesamten Gradienten, bevor du ein Gewicht änderst. Von $(2\mathrm{\mid }1)$ aus mit $\alpha =\mathrm{0,1}$ ist der nächste Punkt $(\mathrm{1,6}\mathrm{\mid }\mathrm{0,4})$, dann $(\mathrm{1,28}\mathrm{\mid }\mathrm{0,16})$. Der Verlust fällt von 7 auf 3,04 und dann auf etwa 1,72. Die zweite Koordinate ändert sich schneller, weil ihre Krümmung größer ist.

Erkenne, wie die Schrittweite die Konvergenz steuert

Für $L(w)=(w-3{)}^2$ ist die Ableitung $2(w-3)$. Von null aus mit der Rate 0,1:

1. Der erste Gradient ist −6, also ist das nächste Gewicht 0,6.
2. Bei 0,6 ist der Gradient −4,8, also ist das nächste Gewicht 1,08.
3. Die folgenden Werte sind 1,464; 1,7712 und etwa 2,017.

Jeder Schritt multipliziert den Abstand zu 3 mit $1-2\alpha =\mathrm{0,8}$. Für diese Verlustfunktion erfordert Konvergenz von einem nicht optimalen Start aus $0<\alpha <1$. Die Rate 1 springt zwischen 0 und 6 hin und her; die Rate 1,1 erzeugt 6,6; −1,32 und 8,184 und entfernt sich immer weiter. Eine kleinere Rate kann stabil, aber langsam sein. Dieselbe Rate eignet sich nicht für jede Verlustfunktion oder Merkmalsskala.

Leite einen Vorhersageverlust ab

Für einen linearen Prädiktor $h=w_0+w_{1}x$ und ein Beispiel mit quadratischem Verlust $(y-h{)}^2$ gilt:

Verwende $x=2$, $y=5$ und die Gewichte $(0,1)$. Die Vorhersage ist 2, also ist der Gradient $(-6,-12)$. Eine Rate von 0,05 ergibt die neuen Gewichte $(\mathrm{0,3};\mathrm{1,6})$. Die nächste Vorhersage ist 3,5 und der Verlust fällt von 9 auf 2,25. Die Bias-Ableitung hat den Eingabefaktor 1, während die Ableitung nach der Steigung die gemessene Eingabe enthält.

Interpretiere die Verlustfläche

Eine konvexe Verlustfunktion hat keine schlechteren lokalen Minima: Jedes lokale Minimum ist global. Der quadratische Verlust der linearen Regression und der logarithmische Verlust der logistischen Regression sind konvex. Verlustfunktionen neuronaler Netze sind im Allgemeinen nicht konvex und haben neben Minima auch Sattelpunkte und flache Bereiche. Die Initialisierung kann das Endergebnis beeinflussen.

Auch Merkmalsskalen beeinflussen die Optimierung. Eine Fläche bis 200 m² und Zimmerzahlen bis 6 können die Verlustfläche zu einem schmalen Tal strecken. Bei der Standardisierung wird der Trainingsmittelwert jedes Merkmals abgezogen und durch seine Trainingsstandardabweichung geteilt. Besser skalierte Koordinaten verringern Zickzackbewegungen. Stoppe anhand einer gewählten Schrittzahl, kleiner Gradienten oder ausbleibender Verbesserung.

Einen Gradienten über alle Beispiele zu berechnen, kann aufwendig sein. Stochastische und Minibatch-Aktualisierungen tauschen eine vollständig gemittelte Richtung gegen häufigere, günstigere Schritte.

Wähle, wie viele Daten eine Aktualisierung bestimmen

Eine Epoche durchläuft den Trainingsdatensatz einmal vollständig. Bei 10.000 Beispielen und Minibatches von 100 hat eine Epoche 100 Aktualisierungsschritte. Mische die Beispiele zwischen den Epochen, damit dieselben Gruppen nicht in derselben Reihenfolge wiederkehren.

Der Gradient eines gleichverteilt zufällig gewählten Beispiels hat als Erwartungswert den vollständigen Trainingsgradienten. Einzelne Schritte können den Gesamtverlust dennoch erhöhen. Der Verlustverlauf über Epochen zeigt den Trend klarer als die Beurteilung einer einzelnen Aktualisierung. Rauschen kann helfen, sich um Sattelpunkte und flache Minima herumzubewegen, aber eine feste große Lernrate lässt Gewichte auch nahe einer Lösung weiter schwanken. Ein abnehmender Lernratenplan hilft ihnen, sich einzupendeln.

Leite die logistische Aktualisierung her

Setze $p=\sigma (z)$, $z=𝐰\cdot 𝐱$ und verwende den binären logarithmischen Verlust. Seine Ableitung nach der Wahrscheinlichkeit ist

Die Multiplikation mit der Ableitung der Sigmoidfunktion $p(1-p)$ ergibt $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }z=p-y$. Da $\mathrm{\partial }z\mathrm{/}\mathrm{\partial }{w}_i=x_i$ gilt, ist der vollständige Gradient

Seine Subtraktion ergibt die gleichwertige Aktualisierung $𝐰\leftarrow 𝐰+\alpha (y-p)𝐱$. Für einen Minibatch mittle diese Vektoren bei denselben aktuellen Gewichten, bevor du einmal aktualisierst. Summieren statt Mitteln multipliziert die effektive Lernrate mit der Minibatchgröße.

Berechne einen stochastischen Schritt

Beginne bei $𝐰=(0,0,0)$ mit der Eingabe $𝐱=(1,2,1)$, dem Zielwert 1 und der Rate 0,5. Der Wert ist null, also $p=\mathrm{0,5}$. Dann gilt:

Der neue Wert ist $\mathrm{0,25}+\mathrm{0,5}(2)+\mathrm{0,25}=\mathrm{1,5}$ und die neue Wahrscheinlichkeit beträgt etwa 0,818. Der logarithmische Verlust dieses Beispiels fällt von etwa 0,693 auf 0,201. Diese Verbesserung betrifft dieses Beispiel; ein stochastischer Schritt muss nicht jeden Trainingsfall verbessern.

Auch das Perzeptron verwendet eine vom Label abhängige Korrektur mal Eingabe, aber es verwendet ±1 als Zielwerte und ändert Gewichte nur bei Fehlern. Logistische Regression verwendet 0/1-Zielwerte und einen glatten Wahrscheinlichkeitsfehler. Bei endlichen Gewichten kann sie auch nach einer richtigen Klassenvorhersage weiter aktualisieren.

Erkenne häufige Optimierungsvarianten

Momentum führt einen gleitenden Durchschnitt der Gradientenrichtungen mit, was die Bewegung in gleichbleibenden Richtungen unterstützt und Schwingungen verringert. Adam kombiniert dies mit adaptiven Schrittweiten pro Parameter. Beide benötigen weiterhin eine geeignete Lernrate. Vergleiche Einstellungen anhand von Validierungsergebnissen und zeichne den Validierungsverlust zusammen mit dem Trainingsverlust auf, um zu entscheiden, wann weiteres Training nicht mehr hilft.

Ein neuronales Netz verbindet viele einfache Einheiten. Verborgene Schichten wandeln Eingaben in gelernte Merkmale um; nichtlineare Aktivierungen ermöglichen diesen Merkmalen, Muster darzustellen, die ein einzelner linearer Klassifikator verfehlt.

Berechne Einheiten und zähle Parameter

Eine Einheit berechnet $z={\sum }_i{w}_i{a}_i+b$ und gibt dann $a=g(z)$ aus. Die eingehenden Aktivierungen sind hier ihre Eingaben und der Bias wird separat dargestellt. Dies entspricht der Einbeziehung eines konstanten Bias-Merkmals.

Ein vorwärtsgerichtetes neuronales Netz hat keine gerichteten Zyklen: Information bewegt sich von der Eingabe durch verborgene Schichten zur Ausgabe. In einer vollständig verbundenen Schicht erhält jede Einheit jede Ausgabe der vorherigen Schicht. Eine Schicht mit $m$ Eingaben und $n$ Einheiten hat $mn$ Gewichte und $n$ Biaswerte. Drei Eingaben, vier verborgene Einheiten und zwei Ausgabeeinheiten ergeben daher

trainierbare Parameter. Zähle einen Bias pro empfangender Einheit, nicht einen pro Verbindung. Netze mit vielen verborgenen Schichten heißen tief.

Verfolge ein Netz, das XOR berechnet

Verwende zwei verborgene ReLU-Einheiten und eine lineare Ausgabe:

Für $(0,0)$ sind die verborgenen Werte $(0,0)$, die Ausgabe ist also 0. Für $(0,1)$ oder $(1,0)$ sind sie $(1,0)$, was 1 ergibt. Für $(1,1)$ sind sie $(2,1)$, was $2-2=0$ ergibt. Die verborgene Repräsentation ermöglicht der Ausgabe, die XOR-Klassen zu unterscheiden.

Ohne nichtlineare Aktivierungen ergäbe das Stapeln von Schichten weiterhin eine einzige affine Transformation. Lässt man die Biaswerte der Übersicht halber weg, gilt $W_2(W_1𝐱)=(W_2{W}_1)𝐱$. Tiefe allein würde keine nichtlineare Ausdruckskraft hinzufügen. Die durch Aktivierungen eingeführten Knicke ändern, was das Netz darstellen kann.

Stimme Ausgaben auf Zielwerte ab

Für einen numerischen Regressionszielwert sind eine lineare Ausgabe und quadratischer Verlust eine Standardwahl. Für binäre Labels verwende eine Sigmoidausgabe und binären logarithmischen Verlust. Für eine von mehreren Klassen verwende Softmax-Ausgaben und Kreuzentropie $-\ln p_{\text{richtig}}$. Wahrscheinlichkeiten $(\mathrm{0,665};\mathrm{0,245};\mathrm{0,090})$ ergeben bei der zweiten Klasse als richtiger Klasse einen Verlust von etwa 1,41. Der Verlust verwendet die der tatsächlichen Klasse zugewiesene Wahrscheinlichkeit, auch wenn eine andere Klasse gewinnt.

Der universelle Approximationssatz besagt, dass eine hinreichend breite verborgene Schicht mit geeigneter nichtlinearer Aktivierung jede stetige Funktion auf einem abgeschlossenen, beschränkten Eingabebereich beliebig genau approximieren kann. Es ist eine Existenzaussage, keine Garantie dafür, dass das Training die Gewichte findet oder dass ein kleines Netz genügt. Tiefe kann manche Funktionen deutlich effizienter darstellen.

Verborgene Repräsentationen können sich von Bildkanten und Texturen zu Objektteilen entwickeln. Auch Architekturen bringen nützliche Struktur mit: Faltungsnetze teilen kleine Gewichtsmengen über Bildpositionen hinweg, während rekurrente Netze Gewichte über Sequenzschritte hinweg teilen.

Backpropagation berechnet, wie jeder Parameter den Verlust beeinflusst. Ein Vorwärtsdurchlauf speichert die für die Kettenregel benötigten Werte; ein Rückwärtsdurchlauf verwendet sie erneut, um dieselben Ableitungsrechnungen nicht zu wiederholen.

Durchlaufe einen Berechnungsgraphen

Ein Berechnungsgraph zerlegt Summen, Produkte und Aktivierungen in Operationen. Entlang eines Pfades über einen Zwischenwert gilt:

Wenn ein Parameter den Verlust über mehrere Pfade beeinflusst, addiere ihre Beiträge. Schreibe für Einheit $j$: ${\delta }_j=\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{z}_j$. Ihr Rückwärtssignal ist

Die Summe umfasst die Einheiten, die ihre Ausgabe erhalten. Ein Gewicht von Aktivierung $a_i$ zur Einheit $j$ hat den Gradienten $a_i{\delta }_j$. Der Bias-Gradient ist einfach ${\delta }_j$, weil seine Eingabe 1 ist.

Berechne einen Vorwärts- und Rückwärtsdurchlauf

Seien $x=2$, $h=\mathrm{ReLU}(w_{1}x)$, $\widehat{y}=w_{2}h$ und $L=(\widehat{y}-y{)}^2$. Beginne mit $w_1=\mathrm{0,5}$, $w_2=3$ und dem Zielwert $y=1$.

1. Vorwärts: Die verborgene Summe ist 1, die verborgene Ausgabe 1, die Vorhersage 3 und der Verlust 4.
2. An der Ausgabe gilt $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }\widehat{y}=2(3-1)=4$. Damit ist $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }{w}_2=4h=4$.
3. Zurück durch das Ausgabegewicht ergibt sich $\mathrm{\partial }L\mathrm{/}\mathrm{\partial }h=4(3)=12$. Die verborgene Summe ist positiv, also ist die ReLU-Ableitung 1.
4. Der Gradient des ersten Gewichts ist daher $12(1)(2)=24$.

Aktualisiere mit der Rate 0,01 beide Gewichte aus diesen gespeicherten Gradienten:

Ein neuer Vorwärtsdurchlauf ergibt die verborgene Ausgabe 0,52, die Vorhersage 1,5392 und den Verlust von etwa 0,291. Würde man im vorangehenden Rückwärtsdurchlauf 2,96 verwenden, vermischte man zwei Parameterstände und erhielte den falschen Gradienten.

Prüfe Ableitungen und erkenne schwache Signale

Eine numerische Prüfung approximiert eine Ableitung durch

Mit $\epsilon =\mathrm{0,001}$ ist die Ableitung des ersten Gewichts oben 24. Dies benötigt zwei Vorwärtsdurchläufe pro Gewicht und eignet sich daher zur Prüfung, nicht für das Training großer Netze. Backpropagation berechnet alle Gradienten mit einem Aufwand in derselben Größenordnung wie ein Vorwärtsdurchlauf. Bibliotheken implementieren dies als automatische Differentiation im Rückwärtsmodus.

Die Sigmoidfunktion hat die Ableitung $\sigma (z)(1-\sigma (z))\le \mathrm{0,25}$; tanh hat die Ableitung $1-{\tanh }^{2}z$. Die ReLU-Ableitung ist oberhalb von null 1 und unterhalb 0; bei null wird ihr üblicherweise 0 zugewiesen. Eine ReLU-Einheit, deren Voraktivierung für jede Eingabe negativ ist, ist tot und erhält durch ihre Aktivierung keinen brauchbaren Gradienten. Softmax-Kreuzentropie hat für One-Hot-Zielwerte den Gradienten $𝐩-𝐲$ bezüglich der Klassenwerte.

Wiederholte kleine Ableitungsfaktoren verursachen verschwindende Gradienten. Eine Kette aus 10 Sigmoideinheiten mit Verbindungsgewichten von 1 hat höchstens die Ableitung ${\mathrm{0,25}}^{10}\approx \mathrm{9,5}\times {10}^{-7}$. Breitere Graphen hängen auch von Gewichten und summierten Pfaden ab. ReLU, geeignete Initialisierung und residuale Verbindungen verringern dieses Problem. Große Rückwärtssignale können dagegen explodieren; Gradientenbegrenzung beschränkt ihre Größe.

Das Training eines Netzes braucht mehr als eine korrekte Ableitung. Anfangsgewichte, Eingabeskalen, Aktualisierungseinstellungen und zurückgehaltene Ergebnisse beeinflussen alle, ob nützliche Merkmale gelernt werden.

Brich Symmetrie und skaliere Signale

Initialisiere Gewichte zufällig, damit verborgene Einheiten unterschiedlich beginnen. Haben die Einheiten einer Schicht identische Gewichte und dieselben ausgehenden Verbindungen, berechnen sie dieselben Werte, erhalten dieselben Aktualisierungen und bleiben Kopien. Ausschließlich mit null initialisierte Netzgewichte erzeugen diese Symmetrie. Biaswerte können bei null beginnen, weil zufällige Verbindungsgewichte die Einheiten bereits unterscheiden.

Die Skala der Zufallswerte ist entscheidend. Die Glorot-Initialisierung oder Xavier-Initialisierung eignet sich für tanh- und Sigmoideinheiten; die He-Initialisierung berücksichtigt ReLU-Aktivierungen. Diese Verfahren sollen verhindern, dass Signalgrößen von Schicht zu Schicht zu stark schrumpfen oder wachsen.

Normiere auch Eingaben. Die Division von Pixelwerten durch 255 bringt sie zwischen null und eins. Bei der Standardisierung wird der Trainingsmittelwert eines Merkmals abgezogen und durch seine Trainingsstandardabweichung geteilt. Wende dieselbe berechnete Transformation auf spätere Eingaben an. Moderate Anfangssummen helfen Sigmoidfunktion und tanh, gesättigte Bereiche mit sehr kleinen Ableitungen zu vermeiden; vergleichbare Merkmalsskalen verbessern auch die Optimierung.

Führe die Trainingsschleife aus

1. Initialisiere die Gewichte und wähle das Optimierungsverfahren und die Einstellungen.
2. Mische zu Beginn jeder Epoche die Trainingsbeispiele.
3. Führe für jeden Minibatch einen Vorwärtsdurchlauf aus und berechne den durchschnittlichen Verlust.
4. Führe Backpropagation aus und aktualisiere dann alle Parameter anhand der Gradienten dieses Minibatches.
5. Zeichne am Ende der Epoche Trainings- und Validierungsergebnisse auf.

Für 784 Pixeleingaben, 128 verborgene ReLU-Einheiten und 10 Softmax-Ausgaben ist die Parameterzahl

Bei 60.000 Bildern und einer Minibatchgröße von 64 gibt es 937 vollständige Minibatches und einen letzten Minibatch mit 32 Bildern: 938 Aktualisierungen pro Epoche. Auch der letzte kurze Minibatch verwendet seinen eigenen durchschnittlichen Gradienten.

Interpretiere Trainingskurven

Diese Muster helfen bei der Diagnose; mehrere Ursachen können dasselbe Symptom haben. Prüfe bei einem langsam lernenden Sigmoidnetz neben der Lernrate auch die Eingabeskala und die Sättigung der Aktivierungen. Eine hohe Trainingstrefferquote zeigt nur die Anpassung an Trainingsbeispiele. Ein großes Netz kann sogar zufällige Labels auswendig lernen.

Zu den wichtigsten Hyperparametern gehören Lernrate, Minibatchgröße, Epochenzahl, Breite, Tiefe, Aktivierung und Optimierungsverfahren. Vergleiche sie anhand von Validierungsdaten. Halte den Testdatensatz für die Bewertung der gewählten Konfiguration zurück. Größere Breite ändert Parameterzahl und Kapazität; mehr Epochen geben denselben Parametern mehr Aktualisierungsschritte.

Die Verlustfunktion des Netzes ist nicht konvex. Verschiedene zufällige Starts können zu unterschiedlichen Gewichten und Trefferquoten führen. In großen Netzen bremsen Sattelpunkte und flache Bereiche den Fortschritt oft stärker als schlechte lokale Minima. Momentum und Adam helfen bei der Optimierung solcher Flächen, aber die Leistung auf zurückgehaltenen Daten entscheidet weiterhin, ob das angepasste Muster nützlich ist.

Ein Modell kann seine Trainingsstichprobe gut anpassen, ohne ein verlässliches Muster zu lernen. Vergleiche Trainings- und zurückgehaltene Ergebnisse, um zu verstehen, ob das Modell zu stark eingeschränkt oder zu flexibel ist oder ob es auf andere Daten trifft.

Vergleiche zwei Arten von Fehlern

Generalisierung bezeichnet die Leistung auf neuen Beispielen aus derselben Verteilung. Unteranpassung tritt auf, wenn das Modell zu stark eingeschränkt ist, um das Muster zu erfassen. Überanpassung tritt auf, wenn es sich so eng an stichprobenspezifisches Rauschen anpasst, dass Vorhersagen für neue Beispiele leiden.

Wähle anhand dieser Validierungsergebnisse C. Die höhere Trainingstrefferquote von A ist bei den zurückgehaltenen Fällen kein Vorteil. Die kleine Lücke bei B reicht nicht aus, um das Modell als gut einzustufen: Beide Werte sind im Verhältnis zum Erreichbaren niedrig. Schwierigkeit, Rauschen und erreichbare Leistung spielen bei der Interpretation einer kleinen Lücke eine Rolle.

Setze Kapazität und Rauschen in Beziehung

Kapazität beschreibt, wie flexibel die Hypothesenfamilie ist. Zehn verrauschte Punkte können nahe einem geradlinigen Trend liegen. Eine Gerade verwendet zwei Koeffizienten und verfehlt die Punkte leicht. Ein Polynom 9. Grades verwendet zehn Koeffizienten und kann alle zehn Punkte mit unterschiedlichen Eingabewerten interpolieren, sodass der Trainingsfehler null beträgt. Zwischen diesen Punkten und außerhalb ihres Bereichs kann das Polynom stark ausschlagen und schlecht vorhersagen.

Mit steigender Kapazität sinkt der Trainingsfehler im Allgemeinen. Der Fehler auf zurückgehaltenen Daten sinkt oft zunächst, weil echte Struktur darstellbar wird, und steigt dann, wenn Rauschen angepasst wird. Vergleiche mögliche Kapazitäten anhand zurückgehaltener Ergebnisse. Dieses vertraute Muster ist eine Orientierung für die Modellwahl und keine Garantie dafür, dass jede Kurve zur Netzgröße genau diese Form hat.

Hoher Bias bedeutet systematischen Fehler durch eine einschränkende Modellfamilie. Hohe Varianz bedeutet, dass sich die gelernte Regel zwischen gleich großen Trainingsstichproben erheblich ändert. Unteranpassung geht häufig mit hohem Bias einher, Überanpassung häufig mit hoher Varianz.

Unterscheide mehr Daten von anderen Daten

Bei fester Kapazität verringern mehr repräsentative Beispiele gewöhnlich die Überanpassung. Ein Polynom 9. Grades kann im Allgemeinen nicht 1.000 verrauschte Punkte exakt interpolieren; seine Anpassung muss daher einen Kompromiss finden. Große Netze können dennoch große Stichproben auswendig lernen, auch wenn deren Labels zufällig sind. Mehr Daten verringern das Risiko, ohne Prüfungen auf zurückgehaltenen Daten überflüssig zu machen. Falsche oder verrauschte Labels fügen zufällige Muster hinzu, die der Lernalgorithmus möglicherweise anpasst.

Verteilungsverschiebung ist ein anderes Problem. Ein Klassifikator, der auf Tageslichtfotos trainiert und getestet wurde, kann bei Nachtfotos versagen, obwohl seine Generalisierung bei Tageslicht gut ist. Die neuen Eingaben stammen aus einer anderen Verteilung. Mehr Regularisierung allein liefert keine fehlenden Nachtbedingungen.

Bewahre die Aussagekraft des abschließenden Tests

Trainiere Kandidaten auf dem Trainingsdatensatz und vergleiche ihre Einstellungen oder Kapazitäten anhand von Validierungsdaten. Sobald ein Kandidat gewählt ist, bewerte ihn auf dem unberührten Testdatensatz. Werden Testergebnisse verwendet, um die Architektur zu ändern oder eine Epoche zu wählen, wird der Testdatensatz zu einer weiteren Grundlage der Modellwahl und seine berichtete Leistung fällt optimistisch aus. Überanpassung kann Polynome, Naive Bayes, Perzeptronen und Netze betreffen; sie beschreibt eine Beziehung zwischen Lernen und Daten und ist nicht auf einen Algorithmus beschränkt.

Regularisierung verändert das Lernen, um Vorhersagen auf neuen Daten zu verbessern. Sie kann Gewichte einschränken, die Trainingsdauer begrenzen, die Abhängigkeit von bestimmten Einheiten unterbrechen oder mehr gültige Beispiele bereitstellen.

Bestrafe große Gewichte

Eine regularisierte Zielfunktion kombiniert Datenverlust und einen Komplexitätsstrafterm:

Für L2 verwende $C={\sum }_i{w}_i^2$, wobei der Bias gewöhnlich ausgeschlossen wird. Die Gewichte $(3,-4)$ und $\lambda =\mathrm{0,1}$ ergeben den Strafterm $\mathrm{0,1}(9+16)=\mathrm{2,5}$. Die zusätzliche Ableitung ist $2\lambda w_i$. Beim gewöhnlichen Gradientenabstieg gilt:

Bei einer Rate von 0,1 und einer Stärke von 0,1 beträgt der Schrumpfungsfaktor 0,98; ein Gewicht von 5 trägt vor dem Schritt für den Datenverlust 4,9 bei. Das ist die Interpretation als Gewichtszerfall für dieses Optimierungsverfahren. Bei adaptiven Verfahren wie Adam sind ein L2-Strafterm und separat angewendeter Gewichtszerfall unterschiedliche Operationen.

L1 verwendet $C={\sum }_i\mathrm{\mid }{w}_i\mathrm{\mid }$. Es begünstigt dünn besetzte Lösungen, bei denen viele Gewichte genau null sind, und wählt damit Merkmale aus. L2 verkleinert Gewichte gewöhnlich, ohne sie genau auf null zu setzen. Keiner der beiden Strafterme ist eine Regel, jedes Gewicht auf null zu setzen.

Die Stärke ist ein Hyperparameter. Null entfernt den Strafterm; eine übermäßige Stärke führt zur Unteranpassung. Vergleiche Werte über mehrere Größenordnungen hinweg anhand von Validierungsdaten. Ein positiver L2-Strafterm begrenzt auch die divergierenden Gewichte einer logistischen Regression bei separierbaren Daten.

Bewahre den besten Abbruchpunkt

Vorzeitiges Beenden überwacht den Validierungsverlust, speichert die besten Gewichte und beendet das Training nach einem Geduldsintervall ohne Verbesserung. Bei den Verlusten 0,62; 0,48; 0,41; 0,39; 0,40; 0,43 und 0,47 in den Epochen 1–7 ist Epoche 4 die beste. Eine Geduld von 3 erlaubt die Epochen 5–7, beendet dann das Training und stellt die Gewichte aus Epoche 4 wieder her. Die letzte trainierte Epoche ist nicht zwangsläufig das gespeicherte Modell.

Trainiere mit Dropout

Bei jedem Trainingsschritt setzt Dropout die Ausgaben verborgener Einheiten unabhängig voneinander mit der Wahrscheinlichkeit $p$ auf null. Die Einheiten müssen lernen, ohne sich darauf zu verlassen, dass ein bestimmter Partner immer vorhanden ist. Bei der Vorhersage ist Dropout deaktiviert und alle Einheiten wirken mit.

Beim invertierten Dropout dividiere die verbleibenden Aktivierungen während des Trainings durch $1-p$. Ist $p=\mathrm{0,5}$, verdoppeln sich die verbleibenden Ausgaben, sodass ihr Erwartungswert der Aktivierung ohne Dropout entspricht. Diese Skalierung wird bei der Vorhersage nicht erneut angewendet.

Füge gültige Variation hinzu

Das Sammeln weiterer repräsentativer Daten und die Verwendung eines einfacheren Modells können Überanpassung verringern. Datenaugmentation fügt transformierte Trainingsbeispiele hinzu, deren Labels korrekt bleiben, etwa geeignete Verschiebungen, Zuschnitte oder Helligkeitsänderungen. Eine Transformation muss zur Aufgabe passen: Wird eine handgeschriebene 6 um 180° gedreht, kann daraus eine 9 werden. Das Label 6 beizubehalten, würde daher den falschen Zusammenhang lehren.

Laplace-Glättung ist eine weitere Regularisierung: Pseudozählwerte machen Naive Bayes weniger abhängig von spärlichen Häufigkeiten. Wähle Glättung, Strafterme, Dropout-Raten oder Abbruchzeitpunkte anhand von Validierungsdaten. Beobachte sowohl Trainings- als auch Validierungsfehler, damit der Schutz vor Überanpassung nicht zu einer übermäßigen Einschränkung wird.