神经网络详解
能识别人脸、翻译文本、撰写回答的系统,建立在一个出奇朴素的想法之上:许多小单元,每个都把一些数相加,把结果稍微弯折一下,再传下去。没有人去编写规则。网络从随机设置开始,一小步一小步地调整,直到它的回答与给它看的例子相符。本文沿着这个想法,从一个神经元一直讲到一个能学会螺旋的网络。
一个神经元
人工神经元接收几个数,把每个数乘以一个权重,与偏置一起相加,再让总和通过激活函数。沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)在 1943 年描述了这样的单元;1958 年,弗兰克·罗森布拉特(Frank Rosenblatt)造出了感知机,一台能从例子中自己学习权重的机器。有两个输入 x 和 y 时,加权和沿一条直线为零,所以单个神经元把平面分成两半:一侧是它的“是”,另一侧是它的“否”,激活函数平滑时两者之间是柔和的过渡。
激活函数
正是激活函数让网络不只是一个求和。Sigmoid 把任何数压缩到 0 到 1 之间,tanh 则压缩到 −1 到 1 之间;两者都是平滑的 S 形曲线。ReLU,即修正线性单元,对负数输出零,否则输出该数本身;大约从 2010 年起,它成了深层网络的常用选择,因为它计算便宜,又能防止梯度消失。没有这种弯折,层层堆叠就毫无意义:一串线性函数仍然只是一个线性函数,它的边界仍然是一条直线。
层
把几个神经元并排放在一起就得到一层;把一层的输出送入下一层,就得到一个网络。在沙盒中,第一个隐藏层沿几条直线切开平面,下一层把这些半平面组合成楔形和小岛,输出神经元再把这一切权衡成一个概率。1969 年,马文·明斯基(Marvin Minsky)和西摩·佩珀特(Seymour Papert)证明没有隐藏层的感知机学不会 XOR,这使该领域停滞了多年。二十年后,乔治·西本科(George Cybenko)等人对只有一个隐藏层的网络证明了相反的结论:只要神经元足够多,它们就能以任意精度逼近任何连续函数。
衡量误差
要学习,网络需要一个说明它错得有多离谱的数:损失。对于两个类别,通常的选择是交叉熵。如果网络给一个蓝色点判为蓝色的概率是 p,这个点的代价就是 −log p:p 接近 1 时它很小,p 趋近 0 时它无限增大。损失是所有点代价的平均值。一个处处都猜二分之一的网络,损失为 log 2,约 0.693,接近沙盒图表的起点。
梯度下降与反向传播
把损失想象成覆盖所有权重的一片地形。梯度下降找出下坡方向,即负梯度,朝那里迈一小步,一次又一次。为成千上万个权重计算梯度看上去代价高昂,但反向传播只需一次反向传递就能完成:从输出端的误差开始,链式法则把每一层应承担的责任分给它,一层一层地退回到输入。这种方法曾被多次提出,而大卫·鲁梅尔哈特(David Rumelhart)、杰弗里·辛顿(Geoffrey Hinton)和罗纳德·威廉姆斯(Ronald Williams)1986 年的论文使它成为训练网络的标准方法。每一步只用一小批随机的点而不是全部点,即随机梯度下降,速度更快,效果也一样好。
学习率
步长叫作学习率,它是最常决定训练成败的设置。太小,损失下降得极慢,仿佛什么都没发生。太大,每一步都会越过它瞄准的谷底:损失上下跳动,或者在较大的网络中爆炸,直到数值溢出。使用 ReLU 时,过大的步长还可能把神经元推到对所有点总和都为负的位置;它们随后只输出零,得不到梯度,再也恢复不了。在沙盒中用学习率 3 试试螺旋:用 tanh 时损失乱跳,用 ReLU 时许多神经元变成一片空白,损失卡在 0.69 附近。再试试 0.001,看它如何缓慢爬行。
过拟合
权重足够多的网络能把训练点连同噪声一起记住,画出绕着每个离群点扭来扭去的边界。这样它在见过的点上表现很好,在新点上却很差。正因如此,要留出一部分数据作为测试数据,从不用于训练。当两种损失都在下降时,网络正在学习规律;当测试损失转而上升、训练损失仍在下降时,它就开始死记硬背了。更小的网络、更多的数据、加入噪声,或者只是在恰当的时候停下,都有帮助。
动手探索
打开神经网络沙盒,在六个数据集(包括你自己点击添加的点)上训练一个最多四个隐藏层、每层八个神经元的网络。每个神经元都画成一张小图,显示它对什么有反应;每个权重画成一条蓝色或橙色的连接,这样你就能看着网络发明它自己的特征。试试不带隐藏层的圆形,再把 x² 和 y² 加为输入;试试只有一层的螺旋,再试三层;再给一个小数据集加上噪声,让它过拟合。
常见问题
大型 AI 模型也是这样工作的吗?
基本构件是一样的:加权和、激活函数、损失,以及配合反向传播的梯度下降。大型模型有数十亿个权重而不是几十个,有为图像或文本设计的层,如卷积和注意力机制,并用更好的优化器在海量数据集上训练。你在沙盒中看到的基本循环并没有改变。
为什么训练要从随机权重开始?
如果所有权重一开始都相等,一层中的每个神经元就会计算相同的东西、得到相同的更新,并且永远保持一模一样。小的随机权重打破了这种对称,使每个神经元能学到不同的特征。它们的大小也很重要:沙盒按输入的数量来缩放它们,这是泽维尔·格洛罗(Xavier Glorot)和约书亚·本吉奥(Yoshua Bengio)在 2010 年提出的做法。
为什么两次运行最终的边界不同?
每次运行都从不同的随机权重开始,并以不同的随机顺序看到这些点,而损失地形中有许多几乎同样好的山谷。两个网络可以用形状不同的边界把训练点分得同样好,在没有数据的区域里它们可能意见不一。
层数越多总是越好吗?
不是。更深的网络能用更少的神经元表示更复杂的形状,但它们更难训练,在小数据集上也更容易过拟合。对于沙盒中的问题,一两个隐藏层通常就够了;螺旋是明显能从更多层中受益的那一个。
准备好尝试了吗?
在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。
打开神经网络沙盒