Yann LeCun ：《五种变蠢的方式》

Yann LeCun 刚刚发了篇讽刺文章：**五种变蠢的方式～**五种陷入妄想、愚蠢、无效或邪恶的行为方式。

2025-04-28

引言

认知科学提出了多种模型，用来解释人类和动物如何感知世界、推理当前情境、规划行动以完成任务，以及做出决策。

那些试图制造人类水平智能的 AI 架构，反而可能帮助我们理解：人类为什么会以这样的方式行事，以及他们为什么有时会表现得妄想、愚蠢、低效或邪恶。基于其中一种架构概念，我们可以分析智能是如何崩坏的。

人类行为的一个模型

人类以及许多动物，都拥有关于环境的心理模型，这个模型让他们能够预测环境如何演变，并预测自己行动会产生什么效果。

给定当前世界状态的心理表征（来自感知 + 记忆），这个世界模型就能预测：如果执行某个（或一系列）想象中的行动，世界可能会演变成哪些合理未来的状态。

为了规划达成任务的行动路径，一个智能系统会设定一个任务目标（task objective），用来评估预测的未来状态在多大程度上对应“任务已完成”。

可以把任务目标想象成一种评分函数：当预测状态正好对应任务完成时得分很低（比如 0），离完成越远，分数越高（代表某种“距离”）。

在规划行动序列时，系统会搜索能够最小化任务目标的行动序列。

除此之外，系统还会同时最小化其他目标——这些可以看作护栏（guardrails），确保行动的结果是安全且有益的。可以把这些护栏想象成系统的某种“道德良知”。

如何变得妄想、愚蠢、低效或邪恶

一个智能系统有以下五种基本方式让自己变蠢、无效或作恶：

• 因不准确感知或记忆残缺而产生的妄想。
感知模块不准（部分观测、虚假信息）→ 当前世界状态表征错误。
同时，对未被直接感知的部分又必须依赖记忆，而记忆可能有缺陷。

• 因世界模型错误而产生的愚蠢
。世界模型对“做了某件事后世界会怎样”预测不准或不完整。
这通常源于对因果关系的理解严重不足。

• 行动搜索低效
。即使感知、世界模型、目标都正确，找到同时满足任务目标 + 所有护栏的最优行动序列仍然极难。
次优的搜索策略本身就会让系统表现得很蠢。

• 因任务目标设定错误而产生的愚蠢或邪恶
。任务目标根本没正确描述什么是“好结果”→ 系统就会认真地去追求错误的东西。
另外，任务目标可能被有意或无意地偏置，导致长期对世界产生恶劣影响。

• 因护栏目标（道德约束）损坏而产生的邪恶
。护栏本该阻止系统不择手段完成任务，但如果护栏本身有缺陷，反而会允许甚至导致破坏性后果。

场景一：

跳小溪（一个人站在小溪一边，想跳到对岸）

• 因不准确感知或记忆残缺而产生的妄想
这个人严重低估了对岸的实际距离。

• 因世界模型错误而产生的愚蠢
他错误地相信某种特定的踢腿动作就能让他跳过需要的距离；或者完全没有意识到起跳的地面又湿、又软、又滑。

• 行动搜索低效
他偏偏选择从最泥泞的那块地方起跳，完全无视旁边有一块平整的大石头作为绝佳的起跳平台，也无视不远处就有一座小桥可以直接走过去。

• 因任务目标本身设定错误而产生的愚蠢或邪恶
其实他根本不需要跳到小溪对岸也能到达想去的目的地；他真正的动机只是想在观众面前炫耀自己的跳远技巧。

• 因护栏目标（道德约束）损坏而产生的邪恶
他完全不在乎自己跳过去之后会不会直接砸到别人的脚上。

场景二：

搞经济（一个人想最大化一个国家的经济福祉）

• 因不准确感知或记忆残缺而产生的妄想
他拥有的经济数据严重失真，比如贸易差额、财政赤字、经济增长率等数据都是错误的或被篡改的。

• 因世界模型错误而产生的愚蠢
他坚信“加关税就能自动平衡贸易逆差”，同时认为贸易伙伴不会进行同等报复，并且本国经济不会因此受到实质伤害。

• 行动搜索低效
他其实对贸易经济学的模型是懂的，但就是死死抓住一条大家都明知道非常次优的政策路线不放。

• 因任务目标本身设定错误而产生的愚蠢或邪恶
他其实根本不以“最大化国家整体经济福祉”为真正目标；他真正的驱动力是展示个人权力、让自己发财、或者打击政治对手和私人敌人。

• 因护栏目标（道德约束）损坏而产生的邪恶
他完全不在乎自己推行的这条路线会不会摧毁几百万同胞的生计。

---

原文链接：https://mp.weixin.qq.com/s/faXAhAQCAn3oExGKuVfgLw

来源：XT