可商业化，最强开源文本生成代码模型！Code Llama 重磅发布

8 月 25 日凌晨，全球社交、科技巨头 Meta（Facebook、Instagram 等母公司）在官网正式开源了，文本生成代码模型 Code Llama。

据悉，Code Llama 是基于 Meta 前不久发布的，最强开源大语言模型 Llama 2 之上开发而成，提供基础代码、专门针对 Python 开发和基于自然语言指令微调的，70 亿、130 亿、340 亿三种参数模型。允许企业、个人开发者使用此模型，进行商业化。

Meta 表示，Code Llama 在代码任务上的表现，优于目前所有开源代码模型。Code Llama 支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和 Bash 等主流编程语言，可根据自然文本或代码直接生成代码，例如，给我写一个斐波那契序列函数的代码。

Code Llama 简单介绍

Code Llama 是基于 Llama 2 大语言模型，再通过特定代码数据预训练、微调而成。除了支持文本或代码生成代码之外，还可用于代码的调试并支持目前所有主流开发语言。

Code Llama 提供 70 亿、130 亿和 340 亿三种参数模型，每个模型都使用了 5000 亿 tokens 代码数据训练而成。基础模型和指令模型经过了中间填充文本 (FIM) 功能的训练，允许将代码插入到现有代码中，这意味着它们可以支持开箱即用的代码完成任务。

Code Llama 模型提供了高达 100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练，并在最多 100,000 个标记的输入上显示出改进。

这意味着，开发人员在进行大型代码模型测试、调优时，可以将其全部输入到 Code Llama 中进行测试。

Code Llama 还针对 Python 编程推出了 Code Llama Python 模型。是在 Python 代码的 1000 亿标记上进行微调。

Python 是代码生成方面最具基准测试的语言，并且 Python 和 PyTorch 在 AI 社区中发挥着重要作用，所以，推出了针对 Python 的代码模型。

Code Llama - Instruct 是 Code Llama 针对自然文本指令微调的模型，该模型支持自然文本输入和输出。

如果你想使用文本生成代码，Meta 建议你使用该模型，因为 Code Llama - Instruct 已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面，70 亿参数模型可在单个 GPU 上运行。340 亿参数模型可返回最佳结果并提供更好的编程辅助，但资源消耗更大。

所以，对于个人开发者、中小型企业来说，70 亿、130 亿参数的模型效率更高、资源消耗更少，适合低延迟的任务，例如，进行实时代码开发。

Code Llama 性能评测

为了针对现有解决方案测试 Code Llama 的性能，Meta 使用了两个流行的编码基准：HumanEval 和 Mostly Basic Python 编程 (MBPP)。

HumanEval 测试模型根据文档字符串完成代码的能力，MBPP 测试模型根据描述编写代码的能力。

测试结果显示，Code Llama 的表现优于开源、特定代码的 Llama，并且优于 Llama 2。例如，Code Llama 340 亿参数模型在 HumanEval 上得分为 53.7%，在 MBPP 上得分为 56.2%，与 ChatGPT 性能相当。

本文来源：AIGC 开放社区，原文标题：《可商业化，最强开源文本生成代码模型！Code Llama 重磅发布》