第3章 计算、信息与会学习的神经元
想象一个人在方格纸上计算。他每次只看有限几个符号，按照规则擦除、写入、向左或向右移动。纸可以不断接长，但人的每一步都很简单。
复杂数学会不会都能拆成这种机械动作？如果可以，机器不需要整体“看懂”问题，只需可靠执行每一步。
1936 年，艾伦·图灵正是从一个理想化的计算者出发，建立了极简的抽象机器。(Turing 1937年) 几年之后，电子电路开始把逻辑变成开关状态；信息论给消息的不确定性建立尺度；控制论研究系统怎样利用反馈保持目标；神经科学与逻辑学又共同产生了第一批人工神经元模型。
这些工作并没有直接制造出今天的 AI。它们更像在回答四个基础问题：
- 什么过程可以称为计算？
- 符号怎样由物理机器可靠操作？
- 信息和目标怎样进入系统？
- 一个由简单单元组成的网络能否产生复杂行为，并根据经验改变？
图灵机不是一台老式电脑
图灵机（Turing machine）是一种数学模型，不是某种需要在博物馆中寻找的实体机器。
最基本的图灵机包含：
- 一条被分成格子的纸带，每格可写一个符号；
- 一个读写头，一次读取当前格，也能写入新符号；
- 有限个内部状态；
- 一张转移规则表，根据“当前状态 + 当前符号”决定写什么、向哪移动、进入什么新状态。
一条规则可以写成：
如果状态是 q2，读到符号 1：
写入 0，向右移动，进入状态 q5。单步能力近乎贫乏。强大之处来自重复：纸带保存中间结果，状态与符号决定下一步，许多简单步骤组合成复杂过程。
图灵机把“机械可执行”变成了可以推理的数学对象。一个过程若能被明确算法完成，通常也能由某台图灵机完成；反过来，图灵机的每一步都足够机械，不需要直觉补充。
这与丘奇使用 lambda 演算得到的可计算范围相吻合，形成后来所谓的丘奇-图灵论题：任何直观上可被有效机械计算的函数，都能由这些等价形式模型计算。它是关于“有效计算”概念的论题，不是通过一次物理实验证明的自然定律。
一台机器怎样成为许多机器
普通图灵机的规则表对应一个具体任务。更深的想法是通用图灵机：把另一台机器的规则和输入都编码在纸带上，通用机读取这些编码，模拟那台机器的运行。
这意味着同一台机器可以通过加载不同描述，扮演加法器、排序器、证明检查器或游戏程序。功能不必全部焊死在硬件结构中；程序本身也可以作为数据被存储和处理。
现代计算机并不是照图灵机纸带直接制造的，处理器、存储器和输入输出设备也有大量工程差异。但通用性思想解释了为什么同一台笔记本既能编辑文字、播放视频，也能训练神经网络：改变程序，机器就执行另一套符号过程。
核心机制：通用性来自“解释描述”
专用机器把任务固定在结构中；通用机器把任务的一部分写成可读取的程序。程序与数据都能编码为符号，使同一物理设备执行不同计算。
通用计算并不表示每个程序都高效，也不推翻上一章的不可判定性。某个任务可以原则上计算，却需要远超现实资源；某些问题则不存在对所有输入都适用的算法。“能算”“算得完”和“算得起”是三个不同判断。
逻辑怎样进入电路
纸上的 \(0\) 与 \(1\) 必须由物理状态承载。它们可以对应纸带上的符号、齿轮位置、继电器的断开与闭合，也可以对应电子电路中的低电压与高电压。
克劳德·香农在硕士论文基础上发表的工作展示了：继电器与开关电路可以用布尔代数分析和设计。(Shannon 1938年) 串联开关对应“与”，并联开关对应“或”，改变接点状态可以实现“非”。
例如，两个开关 \(A\) 与 \(B\) 串联，只有二者都闭合，电流才能通过：
\[ Y=A\land B \]
两个开关并联，只要一个闭合，电流就能通过：
\[ Y=A\lor B \]
这不仅是方便的比喻。逻辑表达式可以指导电路连接，电路状态又实际执行逻辑运算。抽象符号与物理开关由此建立工程桥梁。
更复杂的算术、存储和控制都可以由逻辑门组合。真实芯片今天包含数量惊人的晶体管，但在若干抽象层之上，程序仍能被还原为状态和逻辑操作。
计算机之所以可能承载 AI，不是因为晶体管像神经元，也不是因为电脑机箱像大脑。关键是通用计算设备能够表示并执行足够广泛的程序，其中当然也包括搜索、概率模型和神经网络。
比特：一次两选一
1948 年，香农发表《通信的数学理论》，建立了现代信息论的基础。(Shannon 1948年)
通信面对的基本问题是：消息经过信道传输时，怎样表示、压缩并抵抗噪声？为了比较不同消息源，需要一种不依赖具体意义的信息尺度。
若一个事件 \(x\) 的概率为 \(p(x)\)，它带来的自信息可以写成：
\[ I(x)=-\log_2 p(x) \tag{1}\]
越不可能的事件，一旦发生，提供的信息越多。必然事件的概率是 1，自信息为 0；一次公平硬币结果的概率是 \(1/2\)，信息量是 1 比特。
一个随机变量 \(X\) 的平均不确定性用熵表示：
\[ H(X)=-\sum_x p(x)\log_2p(x) \tag{2}\]
对公平硬币，正反两面同样可能，熵为 1 比特。如果一枚硬币几乎总是正面，看到结果通常不会惊讶，平均信息量更低。
信息论让工程师能够研究压缩极限、信道容量和纠错，而不必先理解消息在说爱情、天气还是银行交易。
信息量不是意义大小
“信息”在日常语言中意味着知识或内容价值，在香农理论中主要度量不确定性的减少。
一串随机字符可能具有很高的信息量，因为它难以预测，却对读者毫无意义；一句人人都知道的警报口令在统计上很可预测，却可能在紧急时刻价值极高。
因此，不能从比特数直接推出：
- 内容有多真实；
- 对人有多重要；
- 机器是否理解其含义；
- 消息是否包含知识。
信息论提供了 AI 的重要数学工具。机器学习中的交叉熵、编码长度、概率和压缩都与它相连。但“模型处理了很多信息”与“模型理解了很多意义”仍然不是同一句话。
技术深潜：为什么对数自然出现
假设两个独立事件分别发生，联合概率为 \(p(x,y)=p(x)p(y)\)。我们希望独立事件的信息量能够相加：
\[ I(x,y)=I(x)+I(y) \]
对数恰好把乘法变成加法：
\[ \begin{aligned} -\log_2[p(x)p(y)] &=-\log_2p(x) \\ &\quad-\log_2p(y) \end{aligned} \]
底数 2 让单位成为比特。换成自然对数会得到 nat，换成底数 10 则得到 hartley；区别只是单位尺度。
熵是自信息的期望值。它不是“这段文字有多少思想”的量表，而是给定概率模型后，消息平均有多难预测。
反馈：根据结果改变下一步
仅按预设动作运行的机器难以应对环境变化。若室外温度下降，固定加热十分钟可能不够；若阳光照进房间，同样加热又可能过量。
反馈（feedback）让系统测量结果，并根据目标与现状的差异调整动作。恒温器的基本回路是：
目标温度 -> 比较差值 -> 开启或关闭加热 -> 测量室温 -> 再比较系统不必预先知道房间会受到哪些具体扰动。只要能够测量误差，它就可以反复纠正。
反馈可以是负反馈，也可以是正反馈。负反馈抵消偏差，使系统靠近目标；正反馈放大变化，可能形成增长或失稳。日常语言把“正反馈”理解成赞扬，在控制系统中却不必是好事。
20 世纪 40 年代，阿图罗·罗森布鲁特、诺伯特·维纳和朱利安·比格洛尝试从行为、目的与反馈角度统一讨论生物和机器。(Rosenblueth 等 1943年) 维纳随后用控制论（cybernetics）组织关于控制与通信的研究。(Wiener 1948年)
这条路线改变了“目的”的工程解释。一个装置不必在内部怀有愿望，也能通过减少误差呈现目标导向行为。防空预测、舵机、恒温器和生物运动可以在反馈语言中比较。
但反馈不自动等于学习。恒温器每次根据温差开关，却可能从未改变自己的控制参数；断电重启后，它仍使用同一规则。控制根据当前误差改变动作，学习则根据经验改变未来处理方式。两者可以结合，却不能混为一谈。
把神经元写成逻辑单元
大脑由大量神经元与连接构成。单个神经元接收来自其他细胞的信号，在膜电位等过程满足条件时产生脉冲。真实生物机制包含时间、化学、空间结构和多种细胞动力学，远比简单开关复杂。
1943 年，神经生理学家沃伦·麦卡洛克与逻辑学家沃尔特·皮茨提出一种极度简化的神经元模型。(McCulloch 和 Pitts 1943年) 输入取二值，单元对输入进行组合，超过阈值就输出 1，否则输出 0。
用现代记号可以写成：
\[ y= \begin{cases} 1, & \sum_{i=1}^{n}w_ix_i\ge \theta \\ 0, & \sum_{i=1}^{n}w_ix_i<\theta \end{cases} \tag{3}\]
\(x_i\) 是输入，\(w_i\) 表示连接作用，\(\theta\) 是阈值。
选择不同参数，一个单元就能实现某些逻辑运算。若两个输入权重都为 1：
- 阈值设为 2，只有 \(x_1=x_2=1\) 才输出 1，相当于“与”；
- 阈值设为 1，只要一个输入为 1 就输出 1，相当于“或”。
多个单元连接起来，可以表达更复杂的逻辑。麦卡洛克和皮茨把神经活动、逻辑与计算放进同一形式框架，展示了简单神经元网络具有广泛计算潜力。
模型像神经元到什么程度
“人工神经元”这个名字很容易让人误以为它是生物神经元的缩小复制品。更准确地说，它抽取了几个特征：多个输入、连接强度、汇总、阈值输出。
它省略了大量内容：
- 神经脉冲的精细时间；
- 多种神经递质和受体；
- 树突的空间计算；
- 神经元类型差异；
- 连接怎样在发育和活动中改变；
- 身体、环境和其他脑区的作用。
简化并非缺点。模型的价值常在于隔离一个可研究机制，而不是保留对象全部细节。问题是不能把模型结论未经检验地扩大到真实大脑。
这种谨慎同样适用于今天的“神经网络”。现代网络沿用了加权输入、非线性变换和连接学习，却在结构与训练上经历了巨大变化。它们受到神经科学启发，不是大脑的数字复制。
固定网络怎样变成会学习的网络
麦卡洛克-皮茨模型主要展示给定连接怎样计算逻辑功能。连接和阈值由设计者设定，系统不会自动从样本中找到它们。
如果网络要学习，至少需要三样东西：
- 可以改变的参数，例如连接权重；
- 根据活动或错误评价变化的规则；
- 一系列让参数经历调整的经验。
1949 年，心理学家唐纳德·赫布在《行为的组织》中提出一种影响深远的神经可塑性思想：当一个细胞反复参与激活另一个细胞时，二者连接会增强。(Hebb 1949年) 后来常被压缩成一句并非原文的口号：“一起激活的神经元，连接在一起。”
用极简形式表示，某条连接的变化可以与两端活动乘积相关：
\[ \Delta w_{ij}=\eta x_i y_j \]
\(\eta\) 是学习率，\(x_i\) 与 \(y_j\) 是前后单元活动。两者同时活跃时，权重增加。
这不是现代深度学习所使用反向传播的完整规则，也不能单独解决所有学习问题。它的重要性在于把记忆与能力变化放在连接变化中解释：知识不必全部写成显式规则，也可能分布在许多连接强度里。
核心机制：结构、参数与学习规则
- 结构决定哪些单元连接、信息能沿哪些路径传播；
- 参数决定每条连接当前产生多大作用；
- 学习规则决定经验到来后参数怎样改变。
三者不能互相替代。拥有可调参数不表示模型一定学到正确规律；学习规则有效，也依赖数据和目标。
三条道路并没有立即合一
站在今天看，通用计算、信息论、反馈控制和神经网络似乎天然属于同一故事。历史现场却不是这样整齐。
逻辑学家关心证明与可计算性，通信工程师关心信道和噪声，控制工程师关心稳定与反馈，神经科学家关心生物活动。研究者使用不同数学语言，也对“智能”的最佳解释有不同判断。
这些道路仍提供了互补零件：
| 道路 | 提供的关键问题 | 留下的缺口 |
|---|---|---|
| 可计算性 | 哪些机械步骤能由通用机器执行？ | 怎样找到解决问题的程序？ |
| 开关逻辑 | 怎样用物理电路实现符号运算？ | 怎样表示复杂现实知识？ |
| 信息论 | 怎样度量、编码并可靠传输消息？ | 信息的意义怎样进入系统？ |
| 控制与反馈 | 怎样根据误差调整行动？ | 系统怎样改变自身策略？ |
| 神经元模型 | 简单连接单元能计算什么？ | 权重怎样从经验中获得？ |
AI 后来的历史，正是在不同阶段重新组合这些问题。符号 AI 强调表示、规则和搜索；机器学习强调参数怎样从数据调整；强化学习把奖励和反馈放到中心；深度学习通过多层网络形成表示；大模型又把它们接入检索、工具和环境。
1950 年前后，问题已经准备好了
到 20 世纪中叶，电子计算机开始真正运行，过去只能写在纸上的设想获得物理速度和存储空间。研究者已经知道：
- 逻辑推理可以写成符号规则；
- 通用机器可以执行不同程序；
- 开关电路可以实现布尔逻辑；
- 消息可以被编码、压缩并通过噪声信道传输；
- 反馈可以产生目标导向行为；
- 简单神经元网络能够实现逻辑计算；
- 连接变化可能提供学习机制。
但他们还不知道怎样把这些零件组装成可靠的通用智能。自然语言怎样表示？搜索空间怎样控制？机器怎样获得常识？学习是否能代替手写规则？神经网络和符号推理哪条路更有前途？
下一章的达特茅斯研究项目没有回答这些问题。它做了另一件重要的事：给共同追问这些问题的领域取了一个名字，并把大胆假设变成一份研究纲领。
本章小结
- 图灵机把机械计算抽象为读写符号、改变状态和移动位置的有限规则过程。
- 通用机能够读取另一台机器的描述并模拟它，使程序本身也成为可处理的数据。
- 香农把布尔代数与开关电路连接，说明逻辑可以由物理状态执行。
- 信息论中的比特与熵度量不确定性，不直接度量真实性、价值或语义理解。
- 反馈根据目标与结果的差异调整行动；学习则进一步改变未来处理方式。
- McCulloch-Pitts 神经元用加权输入和阈值连接神经活动、逻辑与计算，但不是生物神经元的完整复制。
- 结构、参数和学习规则共同决定网络能力；赫布思想让连接变化成为学习的一种解释。
思考问题
- 为什么“同一台计算机可以运行许多程序”与“每个问题都有程序可解”不是同一结论？
- 一条非常意外但毫无意义的随机消息，为什么可能具有很高的香农信息量？
- 恒温器根据温差开关，与模型根据训练数据更新权重，根本区别是什么？
- 人工神经元省略了大量生物细节，这为什么既是局限，也可能是建模优势？
延伸阅读
- 图灵 1936 年论文同时给出计算模型和判定问题结果，建议先阅读机器定义，再进入证明。(Turing 1937年)
- 香农 1938 年与 1948 年的论文分别连接逻辑与电路、概率与通信。(Shannon 1938年, 1948年)
- 麦卡洛克与皮茨的论文展示了早期研究者怎样把神经活动写成逻辑网络。(McCulloch 和 Pitts 1943年)
- 维纳的控制论与赫布的学习理论代表两条不同但后来持续影响 AI 的道路。(Wiener 1948年; Hebb 1949年)