Époque
Erreurs à la dernière époque
Poids w₁ · w₂ · b
Convergé
  • Classe +1
  • Classe −1
  • Mal classé
  • Frontière de décision
  • Vecteur de poids w

Un clic ajoute

En savoir plus sur le perceptron

Visualiseur de perceptron

Le perceptron est la machine apprenante la plus simple qui soit : un seul neurone artificiel qui additionne ses entrées pondérées et répond oui ou non. Avec deux entrées, sa réponse change le long d'une droite, et apprendre veut dire déplacer cette droite jusqu'à ce que chaque point soit de son côté. Cliquez des points de deux classes dans le plan ou choisissez une porte logique, puis suivez la règle de Rosenblatt exemple par exemple, voyez chaque poids avant et après la mise à jour, et regardez la droite tourner et glisser à sa place, ou échouer sans fin sur XOR. Choisissez un jeu de données ou cliquez des points dans le plan : un clic ajoute un point de la classe choisie sous « Un clic ajoute », un Maj-clic ou un clic droit un point de l'autre classe, et un clic sur un point le supprime. Entraînez ensuite le neurone. Un pas montre un exemple : l'anneau en pointillés le désigne, et le tableau montre les poids avant et après la mise à jour w ← w + η·(y − ŷ)·x. Époque fait un passage sur tous les points, et Lecture continue à la vitesse choisie jusqu'à ce qu'un passage ne fasse aucune erreur ou que la limite d'époques soit atteinte. La droite est l'endroit où w₁x + w₂y + b = 0, la flèche est le vecteur de poids, et un anneau rouge marque un point du mauvais côté.

Comment ça marche

  1. Choisissez un jeu de données, des portes logiques AND, OR, NAND et XOR à des points aléatoires avec une marge ou deux nuages qui se chevauchent, ou cliquez vos propres points dans le plan.
  2. Appuyez sur Un pas pour montrer un exemple au neurone et voir la mise à jour de chaque poids, ou sur Époque ou Lecture pour l'entraîner sur tous les points.
  3. Observez la frontière de décision, le vecteur de poids et les erreurs par époque jusqu'à un passage sans erreur, et essayez XOR pour voir un perceptron seul échouer.

Un neurone, une droite

Un perceptron d'entrées x et y calcule w₁x + w₂y + b et répond +1 quand la somme est positive et −1 quand elle est négative. La somme est nulle exactement sur la droite w₁x + w₂y + b = 0 : le neurone coupe donc le plan en deux demi-plans, un par classe. Le vecteur de poids (w₁, w₂) est perpendiculaire à cette droite et pointe vers le côté +1, et le biais b éloigne la droite de l'origine. En traitant le biais comme le poids w₀ d'une entrée qui vaut toujours 1, une seule règle entraîne les trois nombres.

La règle d'apprentissage

L'entraînement montre au neurone un point à la fois. S'il répond juste, rien ne change. S'il se trompe, chaque poids varie de η·(y − ŷ) fois son entrée, où y est la vraie classe, ŷ la réponse et η le taux d'apprentissage. Cela pousse la droite à mettre le point du bon côté. Un passage sur tous les points est une époque. Si une droite peut séparer les points, le théorème de convergence du perceptron garantit que cette règle simple trouve une telle droite après un nombre fini d'erreurs ; XOR montre ce qui se passe quand cette droite n'existe pas.

Questions fréquemment posées

Pourquoi un perceptron ne peut-il pas apprendre XOR ?

XOR est vrai pour (0, 1) et (1, 0) et faux pour (0, 0) et (1, 1). Les deux points vrais sont sur une diagonale du carré et les deux points faux sur l'autre, et aucune droite ne met une diagonale d'un côté et l'autre de l'autre côté. Un perceptron seul ne trace que des droites : sur XOR, il se trompe époque après époque et ne converge jamais. Une deuxième couche de neurones, ou une entrée supplémentaire comme x·y, résout le problème.

Le perceptron converge-t-il toujours ?

Il converge dès qu'une droite peut séparer les deux classes : le théorème de convergence du perceptron limite le nombre de mises à jour, à au plus (R/γ)² pour la règle sous sa forme classique, où R est la longueur du plus long vecteur d'entrée et γ la marge de la meilleure droite séparatrice. Une petite marge peut signifier beaucoup d'époques. Quand aucune droite séparatrice n'existe, il ne converge jamais : c'est pourquoi l'application s'arrête à une limite d'époques et vérifie si les points sont séparables.

À quoi sert le taux d'apprentissage ?

Il fixe la taille de chaque mise à jour. En partant de poids nuls, il ne fait que multiplier tous les poids par le même facteur et ne change jamais la droite ni le nombre d'erreurs, une curieuse propriété du perceptron. Avec des poids de départ aléatoires, il compte : un petit taux garde plus longtemps la droite près de son point de départ, un grand taux laisse les premières erreurs dominer.

Qu'est-ce que l'algorithme de poche ?

Une petite modification, publiée par Stephen Gallant en 1990, pour les données qu'aucune droite ne sépare. Le perceptron tourne comme d'habitude, mais après chaque mise à jour on compte les erreurs des nouveaux poids sur tous les points, et les meilleurs poids rencontrés sont gardés en poche. La droite de poche, en pointillés, est la réponse quand l'entraînement s'arrête, plutôt que la droite que la dernière mise à jour a laissée par hasard.

Quelque chose est-il envoyé à un serveur ?

Non. Les points, l'entraînement et le dessin fonctionnent entièrement dans votre navigateur, et vos points et vos poids restent dans le stockage local de ce navigateur.

Prêt à l'essayer ?

Ouvrez PictorX dans votre navigateur – aucune installation, aucune carte de crédit requise pour démarrer.

Aller à l'éditeur