Der grundlegende Aufbau eines künstlichen Neurons entspricht dem seines biologischen Vorbilds und wird in Form von Softwaremodulen nachgebildet:
Ein künstliches Neuron empfängt Eingabeinformationen über Verbindungen zu anderen Neuronen mit entsprechenden Eingabewerten Ok, wobei k = 1..n gilt.
Der Einfluss dieser Eingabewerte wird durch n reelle Zahlen modelliert, die als Eingabewichte Wkj bezeichnet werden (entsprechend den Synapsen in der biologischen Welt).
|
Die Propagierungsfunktion netj verknüpft die Eingaben mit den Gewichten und aggregiert die Gesamtinformation. Die Aktivierungsfunktion bestimmt die neue Aktivität aj unter Verwendung eines Schwellenwerts θj. Die Ausgabefunktion fout bestimmt den Ausgangswert oj aus der Aktivität aj des Neurons.
Die Propagierungsfunktion wird oft als netj Eingabe bezeichnet und bildet das Grundelement des Neurons. Um einen einheitlichen Durchschnittswert über alle Eingaben hinweg zu erhalten, wäre der arithmetische Mittelwert die naheliegende Wahl:
|
Um den unterschiedlichen Einfluss der einzelnen Eingaben zu berücksichtigen, wird jeder Eingabe ok ein Gewicht wkj zugewiesen und ein gewichteter Mittelwert berechnet. Der Normierungsfaktor 1/n wird üblicherweise mit der Aktivierungs- oder Ausgangsfunktion multipliziert. Dies vereinfacht die Propagierungsfunktion wie folgt:
|
Die meisten Neuronenmodelle verwenden diese Art von Netzwerkeingabe- oder Propagierungsfunktion.
Die Aktivierungsfunktion eines künstlichen Neurons legt fest, wie die Aktivität aus dem Ergebnis der Propagierungsfunktion berechnet wird. Als Aktivierungsfunktionen kann eine Vielzahl von Funktionen verwendet werden.
Die einfachste Aktivierungsfunktion ist die lineare Funktion, welche nur durch Schwelle und Steigung gekennzeichnet ist. Der Wertebereich für den Aktivitätslevel ist sowohl nach oben als auch unten hin unbeschränkt.
Lineare Funktion
Die Lineare Funktion ist gegeben durch die Formal:
|
|
Lineare Funktion mit Schwellenwert Null
Eine Vereinfachung der Formal erhält man durch das Einsetzen des Schwellenwerts Null:
|
|
Identität
Die Steigung kann auch auf eins gesetzt werden, was zur Identität als Aktivierungsfunktion führt:
|
|
Die Fermi-Funktion, auch als logistische Funktion bekannt, ist eine typische monoton steigende Funktion und wird häufig in neuronalen Netzen verwendet. Die einfache Fermi-Funktion ist ein Sonderfall der allgemeinen Fermi-Funktion mit den Kennwerten m=0, M=+1, θ=0 und σ=0.25.
Einfache Fermi-Funktion
Der Wertebereich dieser Funktion liegt im Intervall (0,1). Die Einfache Fermi-Funktion ist gegeben durch die Formal:
|
|
Allgemeine Fermi-Funktion
Die Steigung der allgemeine Fermi-Funktion wird durch den Parameter σ bestimmt. Die Funktion ist gegeben durch die Formal:
|
|
Die Tangens Hyperbolicus (tanh) wird ebenfalls sehr häufig als Aktivierungsfunktion verwendet. Sowohl bei der logistischen Funktion als auch bei der hyperbolischen Tangente ist der Aktivitätsgrad nach oben und unten begrenzt. Dies führt dazu, dass der Aktivitätsgrad auf einen engen Wertebereich beschränkt (z. B. von -1 bis 1 bei der hyperbolischen Tangensfunktion) bleibt. Aufgrund des begrenzten Wertebereichs werden diese Funktionen häufig als Aktivierungsfunktionen für die Neuronen in den versteckten Schichten verwendet (während für die Neuronen in der Ausgabeschicht oft andere Aktivierungsfunktionen zum Einsatz kommen).
Tangens Hyperbolicus
Der Tangens Hyperbolicus ist auch ein Sonderfall der allgemeinen Fermi-Funktion mit den Kennwerten m=-1, M=+1, θ=0 und σ=1. Der Tangens Hyperbolicus wird durch die folgende Formel beschrieben:
|
|
Die lineare, die logistische und die hyperbolische Tangente sind an allen Punkten differenzierbar, d. h., an jedem Punkt lässt sich eine Ableitung berechnen. Die Differenzierbarkeit ist eine Voraussetzung für die Gradientenabstiegsmethode (die Gradientenabstiegsmethode ist ein weit verbreitetes, iteratives Verfahren zur Bestimmung der Gewichte der Neuronen).
Häufig wird die Identitätsfunktion f(x)=x als Ausgangsfunktion verwendet:
|
Andere Funktionen sind jedoch nicht ausgeschlossen. Wird die Identitätsfunktion als Ausgangsfunktion verwendet, ist die Unterscheidung zwischen Aktivierungs- und Ausgangsfunktionen irrelevant.
Bei der Anwendung künstlicher neuronaler Netze werden Aktivierungs- und Ausgangsfunktionen oft kombiniert.
|
