编程能力超GPT-4，羊驼代码版超大杯来了，小扎还亲自剧透Llama3

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

羊驼家族的 " 最强开源代码模型 "，迎来了它的 " 超大杯 " ——

就在今天凌晨，Meta 宣布推出 Code Llama 的 70B 版本。

在 HumanEval 测试中，Code Llama-70B 的表现在开源代码模型中位列第一，甚至超越了 GPT-4。

此次发布的超大杯，保持着与小号版本相同的许可协议，也就是仍然可以免费商用。

版本上，也和往常一样分为原版、针对自然语言指令微调的 Instruct 版和针对 Python 微调的 Python 版。

其中击败 GPT-4 的是 Instruct 版本，它取得了 67.8 分的 pass@1 成绩，胜过了 GPT-4 的 67 分。

与 34B 模型相比，基础版和 Instruct 版的成绩分别提高了 8.6% 和 63.4%。

Code Llama 的所有版本均在 16000 个 token 的序列上进行训练，上下文长度可达 10 万 token。

这意味着，除了生成更长的代码，Code Llama 还可以从用户的自定义代码库读取更多内容，将其传递到模型中。

这样一来就可以针对具体问题的相关代码进行快速定位，解决了用户面对海量代码进行调试时 " 无从下手 " 的问题。

Meta CEO 小扎也在个人博客中宣布了这一消息，表示为 70B Code Llama 感到骄傲。

而小扎的这则帖文，也被细心的网友发现了玄机。

Llama 3 要来了？

等一下……他说的是…… Llama …… 3？

的确，在帖文的结尾处，小扎说希望这些成果能够应用到 Llama 3 当中。

难道，Llama 3，真的要来了吗？

早在去年 8 月，有关 Llama 3 的传闻就已经出现，而直到上周小扎才正式透露，Llama 3 的训练过程正在进行。

同时，Meta 也在进一步扩充算力，预计到今年年底将拥有 35 万块 H100。

如果将其他显卡也折算成 H100，Meta 总计将拥有等效于 60 万块 H100 的算力。

不过小扎透露的消息似乎没有满足网友的好奇心，关于 Llama 3 究竟何时能上线的讨论也不绝于耳。

Llama 2 的训练用了 21 天，我们是不是可以期待着 Llama 3 差不多也是这样呢？

关于这个问题，暂时还没有官方消息，有人推测就在今年第一季度。

但可以确定的是，Llama 3 将继续保持开源。

同时小扎还表示，AGI 将是下一代人工智能的一大标志，也是 Meta 所追求的目标。

为了加速 AGI 的实现，Meta 还将旗下的 FAIR 团队和 GenAI 团队进行了合并。

卷参数量，有必要吗？

除了 Llama 3 这个 " 意外发现 "，关于 Code Llama 本身，网友们也提出了不少问题和期待。

首先是关于运行 Code Llama 所需要的硬件资源，有网友期待在苹果 M2 Max 等芯片上就能运行。

但实际情况是，由于没有 N 卡用不了 CUDA，Code Llama 在 M 系苹果芯片上的运行结果并不理想。

针对 N 卡则有人猜测，如果对模型进行量化操作，可能 4090 就能带动。

也有人质疑这种想法是过度乐观，4090 能带动的量化程度可能并不适用于这款模型。

但如果愿意用运算速度换取显存空间，用两块 3090 来代替也未尝不可。

但即便 4090 属于消费级显卡，大部分程序员仍然不一定有能高效运行 70B 模型的设备。

这也就引发了另一个问题——堆参数量，是否真的有必要？

从 Pass@1 排行榜中，深度求索团队的 DeepSeek Coder 表现就比 Code Llama 高出 2.3 分，但参数量却只有 6.7B，不足后者的十分之一。

如果纵向比较，DeepSeek Coder 的 6.7B 和 33B 版本仅差了 2.5 分，参数量带来的性能提升并没有 Code Llama 当中明显。

所以，除了堆参数量，Meta 或许还得在模型本身上再下点功夫。