Époque
Perte d'entraînement
Perte de test
Exactitude
  • Points d'entraînement
  • Points de test
  • Frontière de décision
  • Perte d'entraînement
  • Perte de test

Un clic ajoute
Entrées

En savoir plus sur les réseaux de neurones

Bac à sable de réseau de neurones

Un réseau de neurones est un empilement d'unités simples qui additionnent des entrées pondérées et font passer la somme par une courbure. Seule, chaque unité ne peut tracer qu'une droite, mais ensemble elles peuvent dessiner un cercle, une spirale ou n'importe quelle autre forme. Choisissez un jeu de données, construisez un réseau d'au plus quatre couches cachées, appuyez sur Entraîner et regardez la frontière entre le bleu et l'orange se courber pour prendre forme, époque après époque, tandis que chaque neurone montre la partie du motif qu'il a appris à détecter. Choisissez un jeu de données et un réseau, appuyez sur Entraîner et regardez le réseau apprendre à séparer les points bleus des points orange. Les points pleins servent à entraîner le réseau ; les anneaux sont des points de test sur lesquels il ne s'entraîne jamais. Le fond montre la réponse du réseau pour chaque point du plan, et la ligne marque l'endroit où il change d'avis. Dans le schéma, chaque neurone montre ce à quoi il réagit, et chaque connexion est bleue pour un poids positif et orange pour un poids négatif, d'autant plus épaisse que le poids est grand. Cliquez sur le plan pour ajouter des points de la couleur choisie sous « Un clic ajoute ».

Comment ça marche

  1. Choisissez un jeu de données, de deux amas qu'une droite peut séparer à une spirale qui demande plusieurs couches, ou cliquez sur le plan pour placer vos propres points.
  2. Réglez les couches cachées, les neurones par couche, l'activation, le taux d'apprentissage et les entrées que reçoit le réseau.
  3. Appuyez sur Entraîner et observez la frontière, les neurones et la perte ; comparez la perte d'entraînement à la perte de test pour repérer le surapprentissage.

Ce que fait le réseau

Chaque neurone multiplie ses entrées par des poids, ajoute un biais et fait passer le total par une fonction d'activation comme tanh ou ReLU. Les neurones de la première couche cachée coupent chacun le plan le long d'une droite, adoucie en dégradé. La couche suivante combine ces demi-plans en coins, en bandes et en taches, et le neurone de sortie transforme le résultat en une probabilité d'être bleu. Le fond du plan montre cette probabilité partout, et la ligne foncée se trouve là où elle vaut exactement un demi : c'est la frontière de décision.

Comment il apprend

L'entraînement part de poids aléatoires. Pour un petit lot de points d'entraînement, le réseau compare ses réponses aux vraies couleurs, et la rétropropagation détermine, de la sortie vers les entrées, dans quelle mesure chaque poids a contribué à l'erreur. Chaque poids se déplace alors d'un petit pas, le taux d'apprentissage, dans la direction qui fait baisser la perte. Un passage sur tous les points d'entraînement est une époque. Un taux d'apprentissage trop petit ralentit les progrès ; un taux trop grand fait sauter la perte dans tous les sens ou la fait exploser. Les points de test ne servent jamais à l'entraînement, si bien que la perte de test montre à quel point le réseau généralise.

Questions fréquemment posées

Pourquoi un réseau sans couche cachée ne peut-il pas apprendre le cercle ou le XOR ?

Sans couche cachée, la sortie est une fonction d'une seule somme pondérée des entrées, donc la frontière est une droite. Aucune droite ne place l'intérieur d'un cercle d'un côté et l'anneau de l'autre, ni ne sépare les deux diagonales du XOR. Marvin Minsky et Seymour Papert l'ont montré en 1969 à propos des perceptrons à une couche. Une couche cachée règle le problème, tout comme une entrée supplémentaire : avec x² et y², le cercle devient une coupe droite, et avec x·y, le XOR aussi.

Qu'est-ce que le surapprentissage, et comment le voir ici ?

Un réseau surapprend lorsqu'il apprend par cœur les points d'entraînement, bruit compris, au lieu du motif qui se cache derrière. Choisissez un jeu de données bruité avec peu de points et un grand réseau, et entraînez longtemps : la perte d'entraînement continue de baisser tandis que la perte de test plafonne puis se met à remonter, et la frontière forme de petits îlots autour de points isolés. Moins de neurones, plus de points ou un arrêt plus précoce aident.

Quelle fonction d'activation utiliser ?

Tanh donne des frontières lisses et arrondies et s'entraîne bien sur ces petits problèmes. ReLU, qui vaut zéro pour les sommes négatives et la somme elle-même sinon, est le choix par défaut de l'apprentissage profond moderne et donne des frontières faites de morceaux droits. La sigmoïde apprend plus lentement dans les couches cachées, car sa pente est faible. Linéaire rend chaque couche cachée inutile : un empilement de couches linéaires reste une seule fonction linéaire, donc la frontière reste droite.

Que signifient les petites images du schéma du réseau ?

Chacune montre la sortie d'un neurone pour chaque point du plan, en bleu pour les valeurs élevées et en orange pour les valeurs basses. Les neurones d'entrée montrent x, y et les autres entrées, la première couche cachée montre des demi-plans adoucis, et les neurones plus profonds montrent les formes plus complexes construites à partir d'eux. Les connexions sont bleues pour les poids positifs et orange pour les poids négatifs, d'autant plus épaisses que le poids est grand.

Des données sont-elles envoyées à un serveur ?

Non. Les données, le réseau et l'entraînement tournent entièrement dans votre navigateur, en JavaScript pur, sans bibliothèque d'apprentissage automatique. Vos réglages et les points que vous ajoutez par clic restent dans le stockage local de ce navigateur.

Prêt à l'essayer ?

Ouvrez PictorX dans votre navigateur – aucune installation, aucune carte de crédit requise pour démarrer.

Aller à l'éditeur