Anthropic最新AI发现展示了什么——以及没有展示什么

Anthropic——目前全球最有价值的AI公司，估值接近1万亿美元——以发布奇特而深奥的研究而闻名。例如，它正在研究AI模型是否能感受到痛苦，有时如果怀疑用户在“滥用”模型，它会中断聊天机器人对话。

Anthropic比其他AI公司更投入时间和资金的一个细分领域被称为机制可解释性（mechanistic interpretability），这意味着深入研究AI模型复杂的数学原理，以了解它为何会产生某个特定输出而不是另一个。这是复杂的工作；可能影响结果的数据点有数百万个，筛选它们看起来更像是词组堆砌，而非有用信息。这也存在争议。用借自心理学和神经科学的术语来描述AI模型，可能会让它们的行为显得比我们原本判断的更复杂。

这就是为什么当Anthropic上周宣布找到了一扇新窗口，可以窥探其模型在推理过程中产生的“内部思想”时，我必须与一位同事交谈。高级编辑Will Douglas Heaven除了拥有计算机科学博士学位外，还花了很多时间研究我们能对AI模型的工作方式说些什么。我与他讨论了我们应该如何看待Anthropic这项新的（且可预见地古怪的）研究。

Anthropic到底发现了什么？

Anthropic几年来一直在尝试理解大型语言模型（LLMs）的工作原理。Anthropic并不是唯一一个在研究这个问题的公司，但我认为它比大多数公司更将其作为核心使命。Anthropic的CEO Dario Amodei曾表示，除非我们更深入了解LLMs的工作原理，否则无法完全控制它们。

因此，这项新研究正是在这一背景下展开的。它比以往更深入地探讨了LLMs内部的奇异机制。Anthropic发现，LLMs内部存在一个空间——Anthropic称之为J-space——其中包含一些不会出现在输出中的词汇，但这些词汇似乎会影响模型解决问题的方式。这一切此前都是隐藏的，直到Anthropic开发出一种新技术来探测其模型Claude，因此这是一项真正的发现。

有时这些词汇会追踪LLM在特定任务中的进展，有时它们看起来更像是瞬间的识别（例如，当你只给LLM提供蛋白质序列的字母时，“protein”可能会出现），有时它们代表了模型决策过程中的某种内部评论。我最喜欢的一个例子是，当“panic”这个词出现时，Claude决定在编程测试中作弊。

Anthropic还发现，LLMs能够描述并操作这个空间中的词汇。因此，它们似乎在某种程度上利用了这个空间。

让我们暂停一下。我不认为大型语言模型是简单的，但它们也不是魔法。它们只是学习词汇之间关系的一堆数学，对吧？那么为什么“窥探”LLM内部以了解其运作如此困难呢？

是的，它们不是魔法！我认为我们不完全理解它们这一点助长了神话色彩。值得注意的是，Anthropic在这里所强调的整个叙事——他们构建了这种非常神秘的技术，但不用担心，因为他们也是唯一能弄清楚的人——非常符合该公司的风格。[参见Anthropic如何警告其新模型在编程方面表现过于出色，可能带来全球网络安全风险，而美国政府不久后便将其关闭。]

所以没错：LLMs只是数学。但这是极其复杂的数学。如今的LLMs由数百亿个数字组成，运行它们会触发数百万次计算的级联。我去年曾写道，如果你将一个中等规模的LLM打印在纸上，它将覆盖一个像旧金山那么大的城市。

如果没有专门的工具在特定时间突出显示LLM的特定部分，就无法理解这些数学。你需要知道在哪里看以及如何看。而构建这些工具首先需要理解那些复杂的数学。

你曾在别处写过用研究生物大脑的方式来研究LLMs的概念。使用“类脑”术语来描述LLM的工作方式是否合理？

我不太喜欢使用这类术语。LLMs不是大脑。这样说话具有误导性，因为它可能暗示LLMs具备比实际更接近人类的能力，或者让我们对它们的行为做出不应有的假设。这种拟人化也与一些关于这项技术本质及其未来发展的强烈意识形态立场有关。

但与此同时，我们缺乏一个良好的替代词汇来描述这些模型在做什么。我能理解人们为什么会使用“思考”、“理解”和“类脑”这样的词——它们是方便的简写。

Anthropic将它在LLMs内部发现的这个新空间比作一些神经科学家认为我们大脑用来追踪意识思想的空间。我问该公司我们应该多认真对待这种比较，它在一份声明中表示：“这些类比在设计实验时对我们很有帮助，因为它们让我们对J-space做出了许多非显而易见的实验预测，而这些预测最终被证明是正确的。同时，重要的是要注意，J-space（以及语言模型总体）与人脑之间存在一些重要差异，因此我们并不意味着它们之间存在完美对应关系。”

这个新的J-space概念可能用于解决AI中的什么问题？

Anthropic表示，监控J-space可能是一种发现模型做不该做的事的方法。因为这个空间中出现的词汇不会出现在模型的输出中，它们可以告诉你一些你可能没有注意到的模型行为——例如当它给出有偏见的回应，或者在权衡作弊的利弊时。

至少理论上是这样。我认为最好将这一结果视为理解这项技术整体路径上的又一步，而不是它本身就能派上用场。