基于 Meta 模型打造的轻量版 ChatGPT，这就来啦？
Meta 宣布推出 LLaMA 才三天，业界就出现了把它打造成 ChatGPT 的开源训练方法，号称比 ChatGPT 训练速度最高快 15 倍。
LLaMA 是 Meta 推出的超快超小型 GPT-3，参数量只有后者的 10%，只需要单张 GPU 就能运行。
把它变成 ChatGPT 的方法名叫 ChatLLaMA，基于 RLHF进行训练，在网上很快掀起了一阵热度。
所以，Meta 的开源版 ChatGPT 真的要来了？
先等等，事情倒也没那么简单。
点进 ChatLLaMA 项目主页来看，会发现它实际上集成了四个部分——
DeepSpeed、RLHF 方法、LLaMA 和基于 LangChain agent 生成的数据集。
其中，DeepSpeed是一个开源深度学习训练优化库，包含名叫 Zero 的现存优化技术，用于提升大模型训练能力，具体指帮模型提升训练速度、降低成本、提升模型可用性等。
RLHF则会采用奖励模型来对预训练模型进行微调。奖励模型即先用多个模型生成问题问答，再依靠人工对问答进行排序，让它学会打分；随后，基于奖励学习给模型生成的回答进行打分，通过强化学习的方式增强模型能力。
LangChain是一个大语言模型应用开发库，希望将各种大语言模型整合起来，结合其他知识来源或计算能力创建一个实用的应用程序。LangChain agent 则会像思维链一样放出 GPT-3 思考的全过程，将操作记录下来。
这时候你会发现，最关键的依旧是LLaMA 的模型权重。它从哪里来？
嘿嘿，自己去找 Meta 申请吧，ChatLLaMA 并不提供。
所以本质上来说，ChatLLaMA并不是一个开源 ChatGPT 项目，而只是一种基于 LLaMA 的训练方法，其库内集成的几个项目原本也都是开源的。
实际上，ChatLLaMA 也并非由 Meta 打造，而是来自一个叫做 Nebuly AI 的初创 AI 企业。
Nebuly AI 做了一个叫做 Nebullvm 的开源库，里面集成了一系列即插即用的优化模块，用于提升 AI 系统性能。
例如这是 Nebullvm 目前包含的一些模块，包括基于 DeepMind 开源的 AlphaTensor 算法打造的 OpenAlphaTensor、自动感知硬件并对其进行加速的优化模块……
ChatLLaMA 也在这一系列模块中，但要注意的是它的开源 license 也是不可商用的。
所以 " 国产自研 ChatGPT" 想要直接拿去用，可能还没那么简单。
看完这个项目后，有网友表示，要是有人真搞到 LLaMA 的模型权重就好了……
但也有网友指出，" 比 ChatGPT 训练方法快 15 倍 " 这种说法是一个纯纯的误导：
所谓的快 15 倍只是因为 LLaMA 模型本身很小，甚至能在单个 GPU 上运行，但应该不是因为这个项目所做的任何事情吧？
这位网友还推荐了一个比库中效果更好的 RLHF 训练方法，名叫 trlx，训练速度要比通常的 RLHF 方法快上 3~4 倍：
你拿到 LLaMA 的代码了吗？觉得这个训练方法如何？
ChatLLaMA 地址：
参考链接：
