Logik und Informatik
Neuronale Netze
Übungsblatt
Eine Zahl im Netz anklicken, um sie zu ändern: Gewicht, Bias oder Eingabe.
EingabeSchicht 1Ausgabe
b 0
b 0
b 0Ziel y3
Die vier Phasen
- 1VorwärtsEingaben durch das Netz rechnen.
- 2VerlustVorhersage mit dem Ziel vergleichen.
- 3RückwärtsAnteil jedes Gewichts am Fehler bestimmen.
- 4LernenGewichte ein Stück verbessern.
Steht der Zeiger in einer Rechnung auf einer Zahl, leuchtet ihre Kante im Netz auf. Was ∂, δ und die Kettenregel bedeuten, steht dort, wo sie zum ersten Mal vorkommen, und ausführlich unter „Mehr zu neuronalen Netzen“.
Gewichte und Bias
Zeile: ein Neuron. Spalte: einer seiner Eingänge, zuletzt der Bias. Jede Zahl lässt sich ändern.
W¹ 2 Eingänge → 2 Neuronen
x₁x₂Biasa¹₁a¹₂
W² 2 Eingänge → 1 Neuron
a¹₁a¹₂Biasŷ
- Parameter
- 9
- 6 Gewichte und 3 Bias. Das sind die Zahlen, die das Lernen verändert.
- Aktivierung verdeckt
- ReLU(z) = max(0; z)
- ReLU gibt positive Summen unverändert weiter und macht negative zu 0.
- Aktivierung am Ausgang
- f(z) = z
- Linear: Die Summe wird unverändert weitergegeben.
- Verlust: Quadratischer Fehler
- L = ½ · (ŷ − y)²
- Passt zu jedem Ausgang.
- Lernrate η
- 0,05
- Wie groß der Schritt beim Lernen ist. Zu groß, und das Netz schießt über das Ziel hinaus.