轮次
上一轮的错误数
权重 w₁ · w₂ · b
已收敛
  • 类别 +1
  • 类别 −1
  • 分错
  • 决策边界
  • 权重向量 w

点击添加

进一步了解感知机

感知机可视化

感知机是最简单的学习机器:一个人工神经元,把加权后的输入相加,然后回答“是”或“否”。有两个输入时,它的回答沿着一条直线发生变化,而学习就是移动这条直线,直到每个点都落在属于自己的一侧。在平面上点出两类点,或者选择一个逻辑门,然后逐个样本地执行罗森布拉特的规则,查看每个权重在更新前后的值,看着直线旋转、滑到正确的位置——或者在 XOR 上永远失败。 选择一个数据集,或在平面上点击添加点:单击添加“点击添加”中所选类别的点,按住 Shift 单击或右键单击添加另一类别的点,单击已有的点则将其删除。然后训练神经元。“单步”展示一个样本:虚线圆圈标出它,表格显示更新 w ← w + η·(y − ŷ)·x 前后的权重。“轮次”对所有点完整过一遍,“播放”则按所选速度持续运行,直到某一轮不再出错或达到轮次上限。直线是 w₁x + w₂y + b = 0 的位置,箭头是权重向量,红色圆圈标出位于错误一侧的点。

它是如何运作的

  1. 选择一个数据集:从逻辑门 AND、OR、NAND 和 XOR,到带间隔的随机点或两团重叠的点云;也可以在平面上点出自己的点。
  2. 按“单步”给神经元看一个样本,并查看每个权重的更新;或按“轮次”或“播放”用所有点进行训练。
  3. 观察决策边界、权重向量和每轮的错误数,直到某一轮不再出错;再试试 XOR,看看单个感知机如何失败。

一个神经元,一条直线

输入为 x 和 y 的感知机计算 w₁x + w₂y + b,和为正时回答 +1,为负时回答 −1。这个和恰好在直线 w₁x + w₂y + b = 0 上等于零,因此神经元把平面切成两个半平面,每个类别各占一个。权重向量 (w₁, w₂) 垂直于这条直线,指向 +1 的一侧,而偏置 b 让直线离开原点。把偏置看作一个恒为 1 的输入的权重 w₀,就能用同一条规则训练全部三个数。

学习规则

训练时每次给神经元看一个点。如果它答对了,什么都不变。如果答错了,每个权重都改变 η·(y − ŷ) 乘以它的输入,其中 y 是真实类别,ŷ 是回答,η 是学习率。这会推动直线,让这个点落到正确的一侧。对所有点完整过一遍就是一个轮次。如果这些点可以用一条直线分开,感知机收敛定理保证这条简单的规则在有限次错误之后找到这样一条直线;XOR 则展示了这样的直线不存在时会发生什么。

常见问题

为什么感知机学不会 XOR?

XOR 对 (0, 1) 和 (1, 0) 为真,对 (0, 0) 和 (1, 1) 为假。两个“真”的点位于正方形的一条对角线上,两个“假”的点位于另一条对角线上,没有任何一条直线能把一条对角线放在一侧、另一条放在另一侧。单个感知机只能画直线,所以在 XOR 上它一轮又一轮地出错,永远不会收敛。加上第二层神经元,或增加一个像 x·y 这样的输入,就能解决。

感知机总会收敛吗?

只要有一条直线能分开两个类别,它就会收敛:感知机收敛定理限制了更新次数——对经典形式的规则,最多为 (R/γ)²,其中 R 是最长输入向量的长度,γ 是最佳分隔直线的间隔。间隔很小时可能需要很多轮。如果不存在分隔直线,它永远不会收敛;因此本应用会在轮次上限处停止,并检查这些点是否可分。

学习率有什么作用?

它决定每次更新的大小。从零权重出发时,它只是把所有权重乘以同一个系数,永远不会改变直线,也不会改变错误的次数——这是感知机一个有趣的性质。使用随机初始权重时它就有影响了:学习率小,直线会在起始位置附近停留更久;学习率大,最初的几次错误会起主导作用。

什么是口袋算法?

这是斯蒂芬·加兰特于 1990 年发表的一个小改动,用于没有直线能分开的数据。感知机照常运行,但每次更新后都统计新权重在所有点上的错误数,并把迄今为止最好的权重放进“口袋”。训练停止时,答案是虚线画出的口袋中的直线,而不是最后一次更新碰巧留下的直线。

会向服务器发送任何内容吗?

不会。点、训练和绘图都在你的浏览器中运行,你的点和权重保存在此浏览器的本地存储中。

准备好尝试了吗?

在浏览器中打开 PictorX — 无需安装,无需信用卡即可启动。

前往编辑器