Meta发布最强开源模型Llama 3.1 405B，扎克伯格：明年开源大模型全面领先闭源

风君子博客7月24日消息，Meta推出开源模型Llama 3.1，包括3个大小版本，分别是迄今为止最强大的开源模型Llama 3.1 405B，以及全新升级的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公开信也在官网贴出，他指出，开源大模型正在迅速缩小差距。去年，Llama 2 还只能与上一代闭源模型性能相当；今年，Llama 3 与最先进的模型相媲美，并在某些领域处于领先地位；从明年开始，预计未来的Llama模型将成为业内最先进的。

同时，Meta AI宣布已接入Llama 3.1 405B，并推出AI图片编辑、AI编程等新功能。

Llama 3.1 405B性能超GPT-4o，采用超16000个H100 GPU训练

Meta在公开文档中介绍，Llama 3.1将上下文长度扩展到 128K，增加了对八种语言的支持。

其中，Llama 3.1 405B在基于15万亿个Tokens、超16000个H100 GPU上进行训练，这是Meta有史以来第一个以这种规模进行训练的Llama模型。

Llama 3.1 405B 在常识、可操纵性、数学、工具使用和多语言翻译方面的最先进能力方面可与GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等顶级 AI 模型相媲美。

最新推出的Llama 3.1 8B 和 70B 模型的升级版本，支持相同的128K Tokens上下文窗口、多语言、改进的推理和最先进的工具使用，能够支持高级应用，例如长篇文本摘要、多语言对话代理和编码助手。

升级后的Llama 3.1 8B和70B模型，相比于同样参数大小的模型如Gemma2 9B、GPT3.5 Turbo等性能表现也更好。

另外，在现实场景中，Llama 3.1 405B进行了与人工评估的比较，总体表现优于GPT-4o和Claude 3.5 Sonnet。

Meta还对许可证进行了更改，允许开发人员使用 Llama 模型（包括 405B）的输出来改进其他模型。

从今天开始，Meta将在 llama.meta.com 和 Hugging Face 上提供这些模型供下载，用户可在合作伙伴平台生态系统上立即开发。

扎克伯格：通过封闭大模型来防止中国获得AI优势，行不通

在Llama 3.1发布之际，扎克伯格还发表了题为《开源AI是前进的道路》的署名文章。

扎克伯格认为，今天，几家科技公司正在开发领先的闭源模型，但开源正在迅速缩小差距。

去年，Llama 2 还只能与上一代闭源模型相当；今年，Llama 3 与最先进的模型相媲美，并在某些领域处于领先地位。从明年开始，预计未来的 Llama 模型将成为业内最先进的。

在文章中，扎克伯格从三个方面谈到了开源AI的好处，以下为重点摘要：

1、为什么开源AI对开发人员有好处

我们需要掌控自己的命运，而不是被锁定在封闭的供应商身上。许多组织不想依赖他们无法运行和控制的模型。他们不希望封闭模型提供商能够更改他们的模型、更改他们的使用条款，甚至完全停止为他们提供服务。他们也不想被锁定在拥有模型专有权的单一云中。开源使拥有兼容工具链的广泛公司生态系统成为可能，您可以轻松地在这些工具链之间移动。

我们需要保护我们的数据。许多组织处理需要保护的敏感数据，并且不能通过云 API 将其发送到封闭模型。其他组织根本不信任封闭模型提供商处理他们的数据。开源通过允许开发者在任何地方运行模型来解决这些问题。人们普遍认为，开源模型往往更安全，因为它的开发更加透明。

2、为什么开源AI对Meta有利

人们经常问我是否担心开源 Llama 会使得Meta失去技术优势，但我认为这忽略了大局，原因如下：

首先，为了确保我们能够使用最好的技术，并且不会长期被锁定在封闭的生态系统中，Llama 需要发展成为一个完整的生态系统。如果我们是唯一一家使用 Llama 的公司，这个生态系统就不会发展。

其次，我预计人工智能开发将继续非常具有竞争力，这意味着开源任何给定的模型并不会放弃当时相对于下一个最佳模型的巨大优势。Llama 成为行业标准的道路是一代又一代地保持竞争力、效率和开放。

第三，Meta 和封闭模型提供商之间的一个关键区别是，出售人工智能模型的访问权限不是我们的商业模式。这意味着公开发布 Llama 不会像闭源模型提供商那样削弱我们的收入、可持续性或投资研究的能力。（这也是一些闭源模型提供商不断游说政府反对开源的原因之一。）

最后，Meta 拥有悠久的开源项目和成功历史。我们通过开放计算项目发布我们的服务器、网络和数据中心设计，并让供应链在我们的设计上实现标准化，从而节省了数十亿美元。我们通过开源领先的工具（如 PyTorch、React 等）从生态系统的创新中受益。只要我们长期坚持，这种方法就一直对我们有效。

3、为什么开源AI对世界有益

与任何其他现代技术相比，AI 更具有潜力提高人类的生产力、创造力和生活质量，并加速经济增长，同时推动医学和科学研究的进步。开源将确保全世界更多的人能够享受 AI 带来的好处和机会，权力不会集中在少数公司手中，并且该技术可以更均匀、更安全地部署到整个社会。

有些人认为，我们必须封闭我们的模型，以防止中国获得这些模型，但我认为这行不通，只会让美国及其盟友处于不利地位。

将美国创新限制在封闭开发中，增加了我们完全无法领先的可能性。相反，我认为我们最好的策略是建立一个强大的开放生态系统，让我们的领先公司与我们的政府和盟友密切合作，以确保他们能够最好地利用最新进展，并在长期内实现可持续的先发优势。

我相信 Llama 3.1 版本将成为行业的一个转折点，大多数开发人员将开始主要使用开源。