La structure de base d’un neurone artificiel correspond à celle de son modèle biologique et est reproduite sous forme de modules logiciels :
Un neurone artificiel reçoit des informations d’entrée via des connexions avec d’autres neurones, avec des valeurs d’entrée correspondantes Ok, où k = 1..n.
L’influence de ces valeurs d’entrée est modélisée par n nombres réels, appelés poids d’entrée Wkj (à l’instar des synapses dans le monde biologique).
|
La fonction de propagation netj combine les entrées avec les poids et agrège l’information globale. La onction d’activation détermine la nouvelle activité aj à l’aide d’un seuil θj. La fonction de sortie fout détermine la valeur de sortie oj à partir de l’activité aj du neurone.
La fonction de propagation est souvent désignée sous le nom d’entrée netj et constitue l’élément de base du neurone. Pour obtenir une valeur moyenne homogène sur l’ensemble des entrées, la moyenne arithmétique serait le choix le plus évident :
|
Afin de tenir compte de l’influence variable de chaque entrée, on attribue à chaque entrée ok un poids wkj et on calcule une moyenne pondérée. Le facteur de normalisation 1/n est généralement multiplié par la fonction d’activation ou la fonction de sortie. Cela simplifie la fonction de propagation comme suit :
|
La plupart des modèles de neurones utilisent ce type de fonction d’entrée ou de propagation du réseau.
La fonction d’activation d’un neurone artificiel détermine la manière dont l’activité est calculée à partir de la valeur de sortie de la fonction de propagation. Une grande variété de fonctions peut être utilisée comme fonctions d’activation.
La fonction d’activation la plus simple est la fonction linéaire, qui se caractérise uniquement par un seuil et une pente. La plage de valeurs du niveau d’activité est illimitée dans les deux sens.
Fonction linéaire
La fonction linéaire est décrite par la formule suivante :
|
|
Fonction linéaire avec un seuil égal à zéro
La formule peut être simplifiée en fixant le seuil à zéro :
|
|
Identité
La pente peut également être fixée à un, ce qui conduit à l’identité comme fonction d’activation :
|
|
La fonction de Fermi, également appelée fonction logistique, est une fonction typiquement monotone croissante, fréquemment utilisée dans les réseaux neuronaux. La fonction de Fermi simple est un cas particulier de la fonction de Fermi générale, avec les paramètres m = 0, M = +1, θ = 0 et σ = 0,25.
Fonction de Fermi simple
Le domaine de définition de cette fonction se situe dans l’intervalle (0, 1). La fonction de Fermi simple est donnée par la formule suivante :
|
|
Fonction de Fermi générale
La pente de la fonction de Fermi générale est déterminée par le paramètre σ. La fonction est donnée par la formule :
|
|
La fonction tangente hyperbolique (tanh) est également très couramment utilisée comme fonction d’activation. Tant dans la fonction logistique que dans la fonction tangente hyperbolique, le niveau d’activité est borné vers le haut et vers le bas. De ce fait, le niveau d’activité est limité à une plage étroite de valeurs (par exemple, de -1 à 1 pour la fonction tangente hyperbolique). En raison de cette plage limitée, ces fonctions sont fréquemment utilisées comme fonctions d’activation pour les neurones des couches cachées (tandis que d’autres fonctions d’activation sont souvent utilisées pour les neurones de la couche de sortie).
Tangente hyperbolique
La tangente hyperbolique est également un cas particulier de la fonction de Fermi générale avec les paramètres m = -1, M = +1, θ = 0 et σ = 1. La tangente hyperbolique est décrite par la formule suivante :
|
|
Les fonctions linéaire, logistique et tangente hyperbolique sont dérivables en tout point ; c’est-à-dire qu’une dérivée peut être calculée en chaque point. La dérivabilité est une condition préalable à l’utilisation de la méthode de descente du gradient (la méthode de descente du gradient est une procédure itérative largement utilisée pour déterminer les poids des neurones).
La fonction identité f(x) = x est souvent utilisée comme fonction de sortie :
|
D’autres fonctions ne sont toutefois pas exclues. Si la fonction identité est utilisée comme fonction de sortie, la distinction entre fonctions d’activation et fonctions de sortie n’a pas d’importance. Dans l’application des réseaux neuronaux artificiels, les fonctions d’activation et les fonctions de sortie sont souvent combinées.
|
