- Pontos de treino
- Pontos de teste
- Fronteira de decisão
- Perda de treino
- Perda de teste
Simulador de redes neuronais
Uma rede neuronal é uma pilha de unidades simples que somam entradas ponderadas e passam a soma por uma curva. Sozinha, cada unidade só consegue traçar uma reta, mas em conjunto conseguem desenhar um círculo, uma espiral ou qualquer outra forma. Escolha um conjunto de dados, construa uma rede com até quatro camadas ocultas, prima Treinar e veja a fronteira entre o azul e o laranja curvar-se até ganhar forma, época após época, enquanto cada neurónio mostra a parte do padrão que aprendeu a detetar. Escolha um conjunto de dados e uma rede, prima Treinar e veja a rede aprender a separar os pontos azuis dos laranja. Os pontos cheios treinam a rede; os anéis são pontos de teste com os quais nunca treina. O fundo mostra a resposta da rede para cada ponto do plano, e a linha marca onde muda de ideias. No diagrama, cada neurónio mostra a que reage, e cada ligação é azul para um peso positivo e laranja para um negativo, tanto mais grossa quanto maior for o peso. Clique no plano para acrescentar pontos da cor escolhida em «Clique adiciona».
Como funciona
- Escolha um conjunto de dados, desde duas nuvens que uma reta consegue separar até uma espiral que precisa de várias camadas, ou clique no plano para colocar os seus próprios pontos.
- Defina as camadas ocultas, os neurónios por camada, a ativação, a taxa de aprendizagem e as entradas que a rede recebe.
- Prima Treinar e observe a fronteira, os neurónios e a perda; compare a perda de treino com a perda de teste para detetar o sobreajuste.
O que a rede faz
Cada neurónio multiplica as suas entradas por pesos, acrescenta um viés e passa o total por uma função de ativação como tanh ou ReLU. Cada neurónio da primeira camada oculta divide o plano ao longo de uma reta, suavizada num degradê. A camada seguinte combina esses semiplanos em cunhas, faixas e manchas, e o neurónio de saída transforma o resultado numa probabilidade de azul. O fundo do plano mostra essa probabilidade em todo o lado, e a linha escura fica onde ela é exatamente um meio: a fronteira de decisão.
Como aprende
O treino parte de pesos aleatórios. Para um pequeno lote de pontos de treino, a rede compara as suas respostas com as cores verdadeiras, e a retropropagação calcula, da saída para trás até às entradas, quanto cada peso contribuiu para o erro. Cada peso desloca-se então um pequeno passo, a taxa de aprendizagem, na direção que reduz a perda. Uma passagem por todos os pontos de treino é uma época. Uma taxa de aprendizagem demasiado pequena torna o progresso lento; uma demasiado grande faz a perda saltar de um lado para o outro ou disparar. Os pontos de teste nunca são usados no treino, por isso a perda de teste mostra até que ponto a rede generaliza bem.
Perguntas frequentes
Porque é que uma rede sem camadas ocultas não consegue aprender o círculo nem o XOR?
Sem camadas ocultas, a saída é função de uma única soma ponderada das entradas, por isso a fronteira é uma reta. Nenhuma reta deixa o interior de um círculo de um lado e o anel do outro, nem separa as duas diagonais do XOR. Marvin Minsky e Seymour Papert assinalaram-no em 1969 a propósito dos perceptrões de uma camada. Uma camada oculta resolve o problema, e uma entrada adicional também: com x² e y² o círculo passa a ser um corte reto, e com x·y o XOR também.
O que é o sobreajuste e como o vejo aqui?
Uma rede sobreajusta-se quando decora os pontos de treino, ruído incluído, em vez do padrão que está por trás deles. Escolha um conjunto de dados com ruído e poucos pontos e uma rede grande, e treine durante muito tempo: a perda de treino continua a descer enquanto a perda de teste estabiliza e começa a subir, e a fronteira forma pequenas ilhas à volta de pontos isolados. Menos neurónios, mais pontos ou parar mais cedo ajudam.
Que função de ativação devo usar?
Tanh dá fronteiras suaves e arredondadas e treina bem nestes problemas pequenos. ReLU, que vale zero para somas negativas e a própria soma nos restantes casos, é a escolha predefinida na aprendizagem profunda moderna e dá fronteiras feitas de troços retos. Sigmoide aprende mais devagar nas camadas ocultas porque o seu declive é pequeno. Linear torna inútil cada camada oculta: uma pilha de camadas lineares continua a ser uma única função linear, por isso a fronteira continua reta.
O que significam as pequenas imagens no diagrama da rede?
Cada uma mostra a saída de um neurónio para cada ponto do plano, azul para valores altos e laranja para valores baixos. Os neurónios de entrada mostram x, y e as outras entradas, a primeira camada oculta mostra semiplanos suavizados, e os neurónios mais profundos mostram as formas mais complexas construídas a partir deles. As ligações são azuis para pesos positivos e laranja para pesos negativos, tanto mais grossas quanto maior for o peso.
É enviado algo para um servidor?
Não. Os dados, a rede e o treino correm todos no seu navegador em JavaScript simples, sem nenhuma biblioteca de aprendizagem automática. As suas definições e os pontos que acrescenta com cliques ficam no armazenamento local deste navegador.
Pronto para experimentar?
Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.
Ir para o editor