如果说复制了一个OpenAI的ChatGPT的成本仅需600美元你会不会感到意外呢?事实上,斯坦福的科学家们真的做到了。
上周,斯坦福大学基础模型研究中心上周宣布,其研究人员使用 OpenAI 的 GPT API 对 Meta 的 LLaMA7B 大型语言模型 进行了“微调”,而且价格非常便宜。
结果就是斯坦福大学研究人员用600美元的成本,复制了OpenAI的GPT-3模型,并给自己的模型起了一个有趣的名字:Alpaca。他们利用了开放AI提供的预训练数据集和一些开源代码,只用了两个月就完成了复制。他们还在网上发布了自己的模型和代码,供其他人使用和改进。
这些科学家在其惊人简单的预算明细中表示,根据研究人员使用专有模型训练Alpaca所花费的时间,他们在 OpenAI 的 API 上投入“不到500美元”,在 LLaMA 上投入“不到100美元”。
虽然GPT-3是一个非常昂贵和复杂的模型,但是它并不是不可复制或独一无二的。复制品Alpaca模型虽然比GPT-3小很多,但是在一些任务上表现得很好,甚至超过了GPT-3。尽管如此,Alpaca确实也有“语言模型的几种常见缺陷,包括幻觉、毒性和刻板印象”。
这也可以当作一个典型的例子,证明了 OpenAI 这样的软件可能是容易复制的。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。