Les réseaux de neurones expliqués
Les systèmes qui reconnaissent des visages, traduisent des textes et rédigent des réponses reposent sur une idée étonnamment simple : de nombreuses petites unités qui additionnent chacune des nombres, courbent un peu le résultat et le transmettent. Personne ne programme les règles. Le réseau part de réglages aléatoires et les ajuste, par tout petits pas, jusqu'à ce que ses réponses correspondent aux exemples qu'on lui montre. Cet article suit cette idée d'un seul neurone jusqu'à un réseau qui apprend une spirale.
Un neurone
Un neurone artificiel prend quelques nombres, multiplie chacun par un poids, les additionne avec un biais et fait passer le total par une fonction d'activation. Warren McCulloch et Walter Pitts ont décrit une telle unité en 1943, et en 1958 Frank Rosenblatt a construit le perceptron, une machine qui apprenait ses propres poids à partir d'exemples. Avec deux entrées x et y, la somme pondérée est nulle le long d'une droite, si bien qu'un neurone seul coupe le plan en deux moitiés : d'un côté son oui, de l'autre son non, avec une transition douce lorsque l'activation est lisse.
Fonctions d'activation
C'est la fonction d'activation qui fait d'un réseau plus qu'une somme. La sigmoïde comprime n'importe quel nombre dans l'intervalle 0 à 1, et tanh dans l'intervalle −1 à 1 ; ce sont deux courbes lisses en forme de S. ReLU, l'unité linéaire rectifiée, renvoie zéro pour les nombres négatifs et le nombre lui-même sinon ; depuis 2010 environ, c'est le choix habituel pour les réseaux profonds, car elle est peu coûteuse et empêche les gradients de s'évanouir. Sans une courbure de ce genre, empiler des couches ne servirait à rien : une chaîne de fonctions linéaires reste une seule fonction linéaire, et sa frontière reste une droite.
Couches
Placez plusieurs neurones côte à côte et vous obtenez une couche ; envoyez les sorties d'une couche dans la suivante et vous obtenez un réseau. Dans le bac à sable, la première couche cachée découpe le plan le long de plusieurs droites, la couche suivante combine ces demi-plans en coins et en îlots, et le neurone de sortie pondère le tout en une seule probabilité. En 1969, Marvin Minsky et Seymour Papert ont montré qu'un perceptron sans couche cachée ne peut pas apprendre le XOR, ce qui a contribué à paralyser le domaine pendant des années. Vingt ans plus tard, George Cybenko et d'autres ont prouvé l'inverse pour les réseaux à une couche cachée : avec assez de neurones, ils peuvent approcher n'importe quelle fonction continue d'aussi près qu'on le souhaite.
Mesurer l'erreur
Pour apprendre, un réseau a besoin d'un nombre qui dit à quel point il se trompe : la perte. Pour deux classes, le choix habituel est l'entropie croisée. Si le réseau attribue à un point bleu une probabilité p d'être bleu, ce point coûte −log p, ce qui est petit quand p est proche de 1 et croît sans limite quand p tend vers 0. La perte est la moyenne de ce coût sur les points. Un réseau qui répond un demi partout a une perte de log 2, soit environ 0,693, proche de la valeur à laquelle commence le graphique du bac à sable.
Descente de gradient et rétropropagation
Imaginez la perte comme un paysage au-dessus de l'ensemble des poids. La descente de gradient trouve la direction de la pente, le gradient négatif, et fait un petit pas dans ce sens, encore et encore. Calculer le gradient pour des milliers de poids semble coûteux, mais la rétropropagation le fait en une seule passe arrière : partant de l'erreur à la sortie, la règle de dérivation en chaîne attribue à chaque couche sa part de responsabilité, couche par couche, jusqu'aux entrées. La méthode a été décrite plusieurs fois, et l'article de 1986 de David Rumelhart, Geoffrey Hinton et Ronald Williams en a fait la manière standard d'entraîner les réseaux. Utiliser à chaque pas un petit lot aléatoire de points au lieu de tous les points, la descente de gradient stochastique, est plus rapide et fonctionne tout aussi bien.
Le taux d'apprentissage
La taille du pas s'appelle le taux d'apprentissage, et c'est le réglage qui décide le plus souvent si l'entraînement fonctionne. Trop petit, et la perte descend si lentement que rien ne semble se passer. Trop grand, et chaque pas dépasse la vallée qu'il visait : la perte rebondit de haut en bas ou, dans les réseaux plus grands, explose jusqu'à ce que les nombres débordent. Avec ReLU, un grand pas peut aussi pousser des neurones là où leur somme est négative pour tous les points ; ils renvoient alors zéro, ne reçoivent plus de gradient et ne s'en remettent jamais. Essayez la spirale avec un taux de 3 dans le bac à sable : avec tanh, la perte saute dans tous les sens, avec ReLU, beaucoup de neurones s'éteignent et la perte reste bloquée vers 0,69. Essayez ensuite 0,001 pour la voir ramper.
Surapprentissage
Un réseau doté de suffisamment de poids peut mémoriser ses points d'entraînement, bruit compris, et tracer une frontière qui serpente autour de chaque point égaré. Il réussit alors bien sur les points qu'il a vus et mal sur les nouveaux. C'est pourquoi une partie des données est mise de côté comme données de test, jamais utilisées pour l'entraînement. Tant que les deux pertes baissent, le réseau apprend le motif ; quand la perte de test remonte alors que la perte d'entraînement continue de baisser, il a commencé à mémoriser. Des réseaux plus petits, davantage de données, l'ajout de bruit ou simplement l'arrêt au bon moment aident tous.
À vous d'explorer
Ouvrez le bac à sable de réseau de neurones pour entraîner un réseau d'au plus quatre couches cachées de huit neurones sur six jeux de données, y compris des points que vous placez vous-même par clic. Chaque neurone est dessiné comme une petite carte de ce à quoi il réagit, et chaque poids comme une connexion bleue ou orange, si bien que vous pouvez regarder le réseau inventer ses propres caractéristiques. Essayez le cercle sans couche cachée, puis ajoutez x² et y² comme entrées ; essayez la spirale avec une couche, puis avec trois ; et ajoutez du bruit à un petit jeu de données pour provoquer le surapprentissage.
Questions fréquemment posées
Est-ce ainsi que fonctionnent les grands modèles d'IA ?
Les briques de base sont les mêmes : sommes pondérées, fonctions d'activation, une perte et la descente de gradient avec rétropropagation. Les grands modèles ont des milliards de poids au lieu de quelques dizaines, des couches conçues pour les images ou le texte comme les convolutions et l'attention, et ils s'entraînent sur d'immenses jeux de données avec de meilleurs optimiseurs. La boucle de base que vous voyez dans le bac à sable reste la même.
Pourquoi l'entraînement part-il de poids aléatoires ?
Si tous les poids partaient de la même valeur, chaque neurone d'une couche calculerait la même chose et recevrait la même mise à jour, et ils resteraient identiques pour toujours. De petits poids aléatoires brisent cette symétrie, de sorte que chaque neurone peut apprendre une caractéristique différente. Leur taille compte : le bac à sable les met à l'échelle selon le nombre d'entrées, comme l'ont proposé Xavier Glorot et Yoshua Bengio en 2010.
Pourquoi deux exécutions aboutissent-elles à des frontières différentes ?
Chaque exécution part de poids aléatoires différents et voit les points dans un ordre aléatoire différent, et le paysage de la perte compte de nombreuses vallées presque aussi bonnes les unes que les autres. Deux réseaux peuvent classer les points d'entraînement tout aussi bien avec des frontières de formes différentes, et ils peuvent être en désaccord dans les régions sans données.
Plus de couches, est-ce toujours mieux ?
Non. Les réseaux plus profonds peuvent représenter des formes plus complexes avec moins de neurones, mais ils sont plus difficiles à entraîner et surapprennent plus facilement sur de petits jeux de données. Pour les problèmes du bac à sable, une ou deux couches cachées suffisent généralement ; la spirale est la seule qui profite nettement de davantage de couches.
Prêt à l'essayer ?
Ouvrez PictorX dans votre navigateur – aucune installation, aucune carte de crédit requise pour démarrer.
Ouvrir le bac à sable de réseau de neurones