- 训练点
- 测试点
- 决策边界
- 训练损失
- 测试损失
神经网络沙盒
神经网络是一叠简单单元,每个单元把加权输入相加,再让总和经过一个弯折。单个单元只能画出一条直线,但合在一起却能描出圆、螺旋或任何其他形状。选一个数据集,搭建一个最多四个隐藏层的网络,按下“训练”,看蓝色与橙色之间的边界一轮又一轮地弯成形状,同时每个神经元都展示它学会识别的那部分图案。 选择一个数据集和一个网络,然后按下“训练”,看网络学会把蓝色点和橙色点分开。实心点用于训练网络;圆环是测试点,网络从不用它们训练。背景显示网络对平面上每一点的回答,那条线就是它改变判断的地方。在示意图中,每个神经元都显示它对什么有反应;每条连接在权重为正时是蓝色,为负时是橙色,权重越大线越粗。点击平面可添加点,颜色由“点击添加”中的选择决定。
它是如何运作的
- 选择一个数据集,从一条直线就能分开的两团点,到需要好几层的螺旋;也可以点击平面放置你自己的点。
- 设置隐藏层数、每层神经元数、激活函数、学习率以及网络得到的输入。
- 按下“训练”,观察边界、神经元和损失;比较训练损失与测试损失,以发现过拟合。
网络在做什么
每个神经元把输入乘以权重,加上偏置,再让总和通过 tanh 或 ReLU 之类的激活函数。第一个隐藏层的每个神经元沿一条直线把平面一分为二,并把分界柔化成渐变。下一层把这些半平面组合成楔形、条带和团块,输出神经元再把结果变成“是蓝色”的概率。平面的背景处处显示这个概率,深色线则是概率恰好为二分之一的地方:决策边界。
它如何学习
训练从随机权重开始。对一小批训练点,网络把自己的回答与真实颜色比较,反向传播则从输出一路往回算到输入,求出每个权重对误差贡献了多少。随后每个权重朝降低损失的方向移动一小步,步长就是学习率。把所有训练点过一遍叫作一个轮次(epoch)。学习率太小,进展缓慢;太大,损失会上下乱跳甚至爆炸。测试点从不用于训练,因此测试损失显示网络的泛化能力如何。
常见问题
为什么没有隐藏层的网络学不会圆形或 XOR?
没有隐藏层时,输出只是输入的一个加权和的函数,所以边界是一条直线。没有任何直线能把圆的内部放在一侧、外圈放在另一侧,也没有直线能分开 XOR 的两条对角线。马文·明斯基(Marvin Minsky)和西摩·佩珀特(Seymour Papert)在 1969 年就单层感知机指出了这一点。加一个隐藏层就能解决,增加一个输入也可以:有了 x² 和 y²,圆就变成一刀直切;有了 x·y,XOR 也一样。
什么是过拟合?在这里怎样看到它?
当网络把训练点连同噪声一起死记下来,而不是学到它们背后的规律时,就发生了过拟合。选一个噪声大、点数少的数据集,配一个大网络,长时间训练:训练损失不断下降,而测试损失趋于平稳并开始上升,边界还会围着单个点长出小岛。减少神经元、增加点数或提早停止都有帮助。
应该用哪个激活函数?
Tanh 给出平滑圆润的边界,在这些小问题上训练效果很好。ReLU 在总和为负时输出零,否则输出总和本身,它是现代深度学习的默认选择,给出由直线段拼成的边界。Sigmoid 在隐藏层中学得较慢,因为它的斜率很小。线性激活会让每个隐藏层都失去意义:一叠线性层仍然只是一个线性函数,所以边界保持笔直。
网络示意图里的小图是什么意思?
每张小图显示一个神经元对平面上每一点的输出,高为蓝色,低为橙色。输入神经元显示 x、y 和其他输入,第一个隐藏层显示柔和的半平面,更深的神经元则显示由它们组合而成的更复杂形状。连接在权重为正时是蓝色,为负时是橙色,权重越大线越粗。
会有数据发送到服务器吗?
不会。数据、网络和训练全部在你的浏览器中用纯 JavaScript 运行,不用任何机器学习库。你的设置和你点击添加的点都保存在此浏览器的本地存储中。
准备好尝试了吗?
在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。
前往编辑器