Databricks公布生成性AI模型Dolly,强调比ChatGPT更容易训练

云计算AI及资料分析平台创业公司企业Databricks上周宣布开源AI模型Dolly,宣称比当红的ChatGPT底层模型更容易训练,成本也更低。

Databricks以Apache Spark技术为基础,提供云计算资料湖边小屋(data lakehouse)及机器学习分析服务。该公司本周将其生成性AI模型Dolly后开源,提供更多企业、开发商定制化,以改进其产品。

Databricks表示,虽然斯坦福大学的Alpaca模型团队是利用大型模型训练出指令跟从的行为,但他们发现,使用架构较老、较小的开源模型,若以小批高品质的资料训练微调也会有同样效果。Dolly是以Eleuther AI 2年前的模型为基础,在单一机器上通过类似ChatGPT的指令训练30分钟而成,再以Alpaca模型的资料加以训练微调,即可发挥其指令跟从的能力,像是头脑风暴、文本生成及开放性的问答等。相较之下,ChatGPT GPT-3高达1750亿个参数。

Databricks表示,这显示像ChatGPT这类模型的强大能力,关键是在指令跟从的训练资料,而非更大或更好的底层模型。

Meta今年2月发布8万GPU时的LLaMA(音近“骆马”)模型,3月斯坦福大学则以LLaMA发展Alpaca模型(即羊驼),以5万道问答训练出ChatGPT等级的拟人互动性。由于Databricks最新模型以Alpaca为基础,Databricks团队因而以第一只复制羊桃莉(Dolly)为之命名。

Databricks表示,Dolly是该公司LLM宣布的第一步,旨在让更多组织都能用得到过去只有大型企业才负担得起的AI模型,未来几周内他们还会有其他宣布。

不过Databricks也提醒,和其他生成性AI一样,Dolly是开发早期的计划,可能会出现事实错误、偏见、冒犯性回应、毒性及AI幻觉问题,用户需自行判断。

这是ChatGPT最新竞争者。Google支持的Anthropic开发出Claude、斯坦福大学上周则将Alpaca开源。