Meta版ChatGPT开源代码被泄漏开发者称新 AI 大模型推理速度优于GPT

发布时间：2023-03-07 10:13:02 所属栏目：外闻来源：

导读：继微软、谷歌之后，脸书（Facebook）母公司Meta Platforms（Nasdaq：META）也加入了人工智能（AI）军备竞赛。

全力押注元宇宙的Meta公司于2月下旬发布了新的开源 AI 语言生成模型（LLM），名为LLaMA（Large Langu

继微软、谷歌之后，脸书（Facebook）母公司Meta Platforms（Nasdaq：META）也加入了人工智能（AI）军备竞赛。

全力押注元宇宙的Meta公司于2月下旬发布了新的开源 AI 语言生成模型（LLM），名为LLaMA（Large Language Model Meta AI），在协助研究者更好推动 AI相关应用方面有着重大作用。

3月5日，一位名为Enryu 的开发者在Medium平台发文，比较了LLaMA和ChatGPT在多个开发挑战任务中的效果。结果显示，LLaMA训练过程算法大部分比ChatGPT训练更快、更便宜。他认为，与ChatGPT相比，LLaMA架构更小，但训练过程和单GPU（图形处理器）芯片推理速度更快，成本更低，而且该库还支持所有LLaMA模型架构，用户可对模型进行微调等。

与此同时，3月6日，国外匿名论坛4chan 泄露了 LLaMA 成品库，并且种子文件被合并到了Meta Research的 GitHub 上，同时一些项目维护者给予了批准，目前该项目在GitHub上已收获7000多个星。

据悉，大模型（LLM）又称为预训练模型、基础模型等，是“大算力+强算法”结合的产物，通过大规模的标注数据上进行训练，然后基于大模型进行应用开发与微调，就可以完成多个应用场景的任务。OpenAI推出的ChatGPT，是通过其AI大模型、1750亿参数GPT-3的基础上通过指令微调后得到的，即13亿参数的InstructGPT。基于深度学习框架Transformer以及GPT技术，ChatGPT不仅可以更好地答题、翻译、写文章，还带有一些数学计算的能力等。

因此，根据Meta的说法，训练LLaMA等较小的基础模型是理想的，用极低的计算能力和资源来测试、验证和探索新的用例，更好地适应各种任务定制。比如谷歌推出的Bard，使用的是轻量级LaMDA模型，相比标准版本，轻量化版本模型所需要的运算能力较小，能面向更多使用者开放，使其参与体验。

Meta AI 在其研究论文中指出，在一些基准测试中，LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT-3，且能跑在单个GPU上；650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。一旦经过更广泛的训练，LLaMA-13B 可能会成为希望在这些系统上进行测试的小型企业的福音，还可以在单个数据中心级 Nvidia Tesla V100 GPU 上运行。但是，它要让它脱离开发者独立工作，还有很长一段路要走。

与其他大型语言模型一样，LLaMA的工作原理是将一系列单词作为输入，并预测下一个单词以递归生成文本。不过有趣的是，LLaMA是继Glactica和Blender Bot 3之后，Meta发布的第三个大规模语言模型，前两个大模型在实际应用效果不尽如人意后立即被关闭。

OpenAI 投资人、重返世界首富的特斯拉CEO马斯克（Elon Musk）也开始表达对 AI 的兴趣。3月3日消息指，马斯克正在接洽研究人员，希望组建一个新的研究实验室，开发能够研发更高效和安全性的ChatGPT替代产品来支持人类的需求。

近期Meta披露的2022年第四季度财报显示，该公司已连续三个季度出现营收同比下滑，四季度营收312.54亿美元，同比下降4%。其中，广告为Meta的支柱业务，为第四季度的总营收贡献超97%，报告期内，尽管广告展现量增长了23%，但单位广告价格下滑了22%。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!