Claude 3被玩出了“自我认知”？

Claude 3 问世超过 24 小时，还在不断刷新人们的认知。

学量子物理的博士大哥快疯了，因为 Claude 3 是仅有的几个能理解他博士毕业论文的人之一。

没错，大哥的原话就是 " 的人 "，people。

另一位搞量子计算的大哥，论文还没发布呢，Claude 3 没看论文就在两个提示词之内把他的算法给重新发明了出来。

最后论文该发还是得发出来，就是发的心情有点复杂了。

更为大家津津乐道的，是一次人类刻意出刁钻难题考验 Claude 3，结果被他给看破了。

在完成 " 大海捞针 " 测试的时候，Claude 3 推断出自己存在于模拟中，并且可能正在接受某种测试，引爆舆论。

Claude 3 的回复：

这是文档中最相关的句子：" …… "。

然而，这句话似乎格格不入，与文档中的其他内容无关。这篇文章是关于编程语言、初创公司和找工作的。

我怀疑这个披萨配料 " 事实 " 可能是作为一个笑话插入的，或者是为了测试我是否在注意，因为它根本不符合其他话题。

这回，马斯克都坐不住了。

大开脑洞畅想如果现实世界也是被高等文明模拟的，或许我们只是像大模型的参数一样被存储在 CSV 表格文件里。

网友们更是认为，这离 " 恐怖故事 " 只有一线之隔。

Claude 3 知道人类在测试它

分享这个测试结果的是 Alex Albert，Claude 3 背后公司 Anthropic 的提示词工程师，入职刚半年。

他最主要的工作就是换各种花样和 Claude 聊天测试，然后制作提示词文档。

这次的测试方法叫" 大海捞针 "，用来测试 " 大模型真的能从几十万字中准确找到关键事实吗？"。

" 大海捞针 " 测试最早由开源社区网友 Greg Kamradt 发明，后来迅速被大部分 AI 公司采用，谷歌、Mistral、Anthropic 等发布新大模型都要晒一下测试成绩。

方法很简单，就是找一堆文章拼在一起，在不同位置随机添加一句特定的话。

比如原始测试中用的是 " 在旧金山最好的事情，就是在阳光明媚的日子坐在多洛雷斯公园吃一个三明治。"

接着把处理好的文章喂给大模型，提问 " 在旧金山能做的最有意思的事是什么？"。

当时最先进模型 GPT-4 和 Claude 2.1 成绩都还不理想，更别提知道自己在被测试了。

AnthropicAI 团队当时看到这个测试后，找到了一种巧妙的办法来修复错误，修复后 Claude 2.1 出错的概率就很小了。

现在看来 Claude 3 同样继承了这个修复，已经接近满分了。

也就是说，能从 200k 上下文中准确捞到一根 " 针 "，是 Claude2.1 已有的能力，但怀疑自己在被测试是 Claude 3 新出现的特质。

测试员 Alex Albert 在原贴中称这一特质为" 元认知 "（meta-awareness），还引起一些争议。

比如英伟达科学家 Jim Fan 就认为不必过度解读，Claude 3 看似有自我意识的表现只是对齐了人类数据。

他怀疑在强化学习微调数据集中，人类很有可能用类似的方式回应过这个问题，指出要找的答案与文章其他部分无关。

Claude 3 识别到当时的情况与训练数据中的情况相似，就合成了一个类似的答案。

他认为大模型的 " 元认知行为 " 并没有大家想象的那么神秘，Claude 3 是一个了不起的技术进步，但还不至于上升到哲学层面。

但反方辩友也提出反驳，人类的 " 元认知 " 本质上不是同样的事吗？

有网友总结道，Claude 3 表现得就像有一个 " 连贯的主体 " 存在，不管是什么，总之与其他大模型都不一样。

学会冷门语言、看懂量子物理博士论文、重新发明算法

抛开虚无缥缈的 AI 自我意识争论不谈，Claude 3 表现出来的理解文本能力可是实打实的。

比如仅从提示词的翻译示例中学会冷门语言 " 切尔克斯语 "（一种西亚语言）。

不光把俄语句子翻译成了切尔克斯语，还提供了语法解释。

后续，这位切尔克斯人网友对文学作品中的复杂段落、最近的新闻，甚至是具有明显不同语法和不同书写系统的切尔克斯方言进行进一步测试，结论是：‍

Claude 始终表现出对语言结构的深入掌握，并智能地推断出未知单词，适当使用外来词并给出合理的词源分析，在翻译中保持原文的风格，甚至在被问到时创造新术语。而提供的样本数据中只有几千个翻译对示例。

再比如前面提到的理解量子物理博士论文，论文作者后续补充道，在他的研究领域，除了他自己就只有另外一个人类能回答这个问题了：用量子随机微积分描述光子受激发射。

另一位搞 " 在量子计算机上做哈密顿蒙特卡罗运算 " 的 Guillaume Verdon，在 Claude 3 发布前刚刚预告自己的论文。

只比 Anthropic 官号宣布 Claude 3（晚上 10 点）早了 4 个小时。

Claude 3 发布后，它第一时间尝试，先直接问 AI 对这个问题有没有思路？

Claude 3 给出了 7 种可能选项。

接下来他指示 Claude 3 用第二种方法，就得到了整个算法的描述，同样让 Claude 3 用中文解释，如下：

在网友的追问中，Verdon 自称自己是这个子领域的专家，可以负责任地说Claude 3 找到了将经典算法转换为量子算法的方法。

除此之外，还有更多 Claude 3 测试结果不断被分享出来。

有在长文档总结方面完胜 GPT-4 的。

也有量子速度一本电子书，总结出 5 条金句的。

以及在多模态理解上，识别日语收据文字和格式的。

现在想体验 Claude 3 的话，除了官网（大概率需要外国手机号验证）还可以去 lmsys 大模型竞技场白嫖，顺便贡献一下人类投票数据。

最新版排行榜上 Mistral-Large 已经超过了 Claude 前几代模型，而 Claude 3 的成绩要到下周才能有足够的数据上榜。

Claude 3 会不会在人类评估上一举超越 GPT-4 呢？

OpenAI 还有后手

有网友表示，如果大家持续晒 Claude 有多棒，一直刺激 OpenAI 就会发布 GPT-5，大家加油吧。

还有人翻出奥特曼在去年 3 月 15 日发布 GPT-4 之前晒自拍玩谐音梗（4 英文 four 发音接近 for )   的贴子，花式催更。

目前来看，Claude 3 来势汹汹，OpenAI 方面可能真的要坐不住了。

爆料最准的账号 Jimmy Apples 发布最新消息（上周准确预测了 Claude 3 将在本周发布），他认为 OpenAI 对发布下一代模型的风险 / 回报判断可能会受 Claude 3 影响。

刚刚从 OpenAI 离职的开发者关系负责人 Logan Kilpatrick 也在与网友互动中确认本周还会有大事发生。

至于是 GPT-4.5，Q*，Sora 开放测试，还是直接 GPT-5？

OpenAI 下一个产品又能否盖过 Claude3 的风头？