Redes neuronais explicadas
Os sistemas que reconhecem rostos, traduzem textos e escrevem respostas assentam numa ideia surpreendentemente simples: muitas pequenas unidades que somam números, curvam um pouco o resultado e passam-no adiante. Ninguém programa as regras. A rede começa com definições aleatórias e vai ajustando-as, um passo minúsculo de cada vez, até que as suas respostas correspondam aos exemplos que lhe são mostrados. Este artigo segue essa ideia desde um neurónio até uma rede que aprende uma espiral.
Um neurónio
Um neurónio artificial recebe alguns números, multiplica cada um por um peso, soma-os juntamente com um viés e passa o total por uma função de ativação. Warren McCulloch e Walter Pitts descreveram uma unidade deste tipo em 1943, e em 1958 Frank Rosenblatt construiu o perceptrão, uma máquina que aprendia os seus próprios pesos a partir de exemplos. Com duas entradas x e y, a soma ponderada é zero ao longo de uma reta, por isso um único neurónio divide o plano em duas metades: um lado é o seu sim, o outro o seu não, com uma transição gradual quando a ativação é suave.
Funções de ativação
É a função de ativação que faz de uma rede mais do que uma soma. A sigmoide comprime qualquer número no intervalo de 0 a 1, e a tanh no de −1 a 1; ambas são curvas suaves em forma de S. A ReLU, a unidade linear retificada, devolve zero para números negativos e o próprio número nos restantes casos; desde cerca de 2010 é a escolha habitual para redes profundas, porque é barata de calcular e impede que os gradientes se desvaneçam. Sem uma curva deste tipo, empilhar camadas não serviria de nada: uma cadeia de funções lineares continua a ser uma única função linear, e a sua fronteira continua a ser uma reta.
Camadas
Coloque vários neurónios lado a lado e obtém uma camada; envie as saídas de uma camada para a seguinte e obtém uma rede. No simulador, a primeira camada oculta corta o plano ao longo de várias retas, a camada seguinte combina esses semiplanos em cunhas e ilhas, e o neurónio de saída pondera tudo numa única probabilidade. Em 1969, Marvin Minsky e Seymour Papert mostraram que um perceptrão sem camadas ocultas não consegue aprender o XOR, o que ajudou a paralisar a área durante anos. Vinte anos depois, George Cybenko e outros provaram o contrário para redes com uma camada oculta: com neurónios suficientes, conseguem aproximar qualquer função contínua com a precisão que se quiser.
Medir o erro
Para aprender, uma rede precisa de um número que diga quão errada está: a perda. Para duas classes, a escolha habitual é a entropia cruzada. Se a rede atribuir a um ponto azul uma probabilidade p de ser azul, esse ponto custa −log p, o que é pequeno quando p está perto de 1 e cresce sem limite quando p se aproxima de 0. A perda é o custo médio sobre os pontos. Uma rede que responde um meio em todo o lado tem uma perda de log 2, cerca de 0,693, perto do valor em que começa o gráfico do simulador.
Descida do gradiente e retropropagação
Imagine a perda como uma paisagem sobre todos os pesos. A descida do gradiente encontra a direção a descer, o gradiente negativo, e dá um pequeno passo nessa direção, vezes sem conta. Calcular o gradiente para milhares de pesos parece dispendioso, mas a retropropagação fá-lo numa única passagem para trás: a partir do erro na saída, a regra da cadeia atribui a cada camada a sua parte da culpa, camada a camada, até às entradas. O método foi descrito várias vezes, e o artigo de 1986 de David Rumelhart, Geoffrey Hinton e Ronald Williams tornou-o a forma padrão de treinar redes. Usar em cada passo um pequeno lote aleatório de pontos em vez de todos, a descida do gradiente estocástica, é mais rápido e funciona igualmente bem.
A taxa de aprendizagem
O tamanho do passo chama-se taxa de aprendizagem, e é a definição que mais vezes decide se o treino funciona. Se for demasiado pequena, a perda desce tão devagar que parece não acontecer nada. Se for demasiado grande, cada passo ultrapassa o vale que visava: a perda salta para cima e para baixo ou, em redes maiores, dispara até os números transbordarem. Com a ReLU, um passo grande também pode empurrar neurónios para onde a sua soma é negativa para todos os pontos; passam então a devolver zero, não recebem gradiente e nunca recuperam. Experimente a espiral com uma taxa de 3 no simulador: com tanh a perda salta de um lado para o outro, com ReLU muitos neurónios ficam em branco e a perda fica presa perto de 0,69. Depois experimente 0,001 para a ver avançar a passo de caracol.
Sobreajuste
Uma rede com pesos suficientes consegue decorar os seus pontos de treino, ruído incluído, e traçar uma fronteira que se contorce à volta de cada ponto perdido. Sai-se então bem nos pontos que viu e mal nos novos. É por isso que parte dos dados é posta de lado como dados de teste, nunca usados no treino. Enquanto as duas perdas descem, a rede está a aprender o padrão; quando a perda de teste volta a subir enquanto a perda de treino continua a descer, começou a decorar. Redes mais pequenas, mais dados, acrescentar ruído ou simplesmente parar no momento certo ajudam.
Explore
Abra o simulador de redes neuronais para treinar uma rede com até quatro camadas ocultas de oito neurónios em seis conjuntos de dados, incluindo pontos que coloca com os seus próprios cliques. Cada neurónio é desenhado como um pequeno mapa daquilo a que reage, e cada peso como uma ligação azul ou laranja, para que possa ver a rede inventar as suas próprias características. Experimente o círculo sem camadas ocultas e depois acrescente x² e y² como entradas; experimente a espiral com uma camada e depois com três; e acrescente ruído a um conjunto de dados pequeno para provocar sobreajuste.
Perguntas frequentes
É assim que funcionam os grandes modelos de IA?
Os blocos de construção são os mesmos: somas ponderadas, funções de ativação, uma perda e a descida do gradiente com retropropagação. Os grandes modelos têm milhares de milhões de pesos em vez de algumas dezenas, camadas concebidas para imagens ou texto, como as convoluções e a atenção, e são treinados em enormes conjuntos de dados com otimizadores melhores. O ciclo básico que vê no simulador é o mesmo.
Porque é que o treino começa com pesos aleatórios?
Se todos os pesos começassem iguais, cada neurónio de uma camada calcularia o mesmo e receberia a mesma atualização, e continuariam idênticos para sempre. Pesos pequenos e aleatórios quebram essa simetria, para que cada neurónio possa aprender uma característica diferente. O seu tamanho importa: o simulador escala-os de acordo com o número de entradas, como sugeriram Xavier Glorot e Yoshua Bengio em 2010.
Porque é que duas execuções acabam com fronteiras diferentes?
Cada execução começa com pesos aleatórios diferentes e vê os pontos numa ordem aleatória diferente, e a paisagem da perda tem muitos vales quase igualmente bons. Duas redes podem classificar os pontos de treino igualmente bem com fronteiras de formas diferentes, e podem discordar em regiões sem dados.
Mais camadas são sempre melhores?
Não. Redes mais profundas conseguem representar formas mais complexas com menos neurónios, mas são mais difíceis de treinar e sobreajustam-se com mais facilidade em conjuntos de dados pequenos. Para os problemas do simulador, uma ou duas camadas ocultas costumam bastar; a espiral é a única que beneficia claramente de mais.
Pronto para experimentar?
Abra o PictorX no seu navegador – sem instalação, sem necessidade de cartão de crédito para começar.
Abrir o simulador de redes neuronais