您的位置:首页>市场 >

千帆大模型平台接入LLaMA2等33个模型,推理成本可降低50%

2023-08-02 18:51:14    来源:哔哩哔哩

8月2日,百度智能云方面表示,千帆大模型平台已完成新一轮升级,重点升级了三大功能。


(相关资料图)

百度智能云AI与大数据平台总经理忻舟表示,目前,千帆大模型平台已经全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT等33个大模型,成为国内拥有大模型最多的平台。接入的模型经过千帆平台二次性能增强,模型推理成本可降低50%。同时,千帆平台上线了国内最全的预置Prompt模板,模板数量多达103个,覆盖对话、游戏、编程、写作十余个场景。第三,千帆是国内首家提供插件服务的大模型平台,本次升级再次发布多款全新插件。

2023年3月,百度智能云推出“千帆大模型平台”,它是全球首个一站式的企业级大模型平台,不但提供包括文心一言在内的大模型服务及第三方大模型服务,还提供大模型开发和应用的整套工具链,能够帮助企业解决大模型从训练到开发过程中的所有问题。

忻舟表示,本次千帆大模型平台升级的目的是给企业、开发者提供更加灵活、多样化、高效的大模型服务,客户可选择最适合自身业务的大模型,再利用千帆平台全套工具链进行模型再训练,高效率、低成本地打造企业专属大模型。此外,海量Prompt模板库可提高大模型内容准确性和满意度。

千帆接入LLaMA2等33个优质模型,推理成本可降低50%

当前,开源大模型生态发展迅速,大量优质模型涌现,在不同任务场景、参数量级与算力环境下体现出了差异化优势。如何选择适合的大模型、如何应用大模型能力提升市场竞争力,成为越来越多企业迫切探索的方向。

为了满足企业对大模型多样的需求,百度智能云宣布,除了之前已经接入的文心一言、BloomZ之外,本次升级后,千帆大模型平台全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT、Dolly、OpenLLaMA、Falcon等33个大模型,成为国内拥有大模型最多的平台。企业用户可将不同大模型搭配使用,以满足不同细分场景的业务需求。企业和开发者可以登陆千帆大模型平台操作台,在“模型仓库”中直接调用、部署。

忻舟介绍,千帆平台接入的大模型均经过严格优选,主要考核三大指标:模型效果、模型安全性、可商用。为给企业客户带来更好的模型产品,千帆对这33个大模型进行了性能+安全的双重增强。

一方面,千帆对每一个大模型进行了二次性能增强。通过优化模型吞吐、降低模型尺寸,实现模型推理速度的大幅提升。据测算,调优后模型体积可压缩至25%-50%,推理成本可降低50%。这意味着,企业在千帆上调用这些模型可极大地节约成本,提升效果。

另一方面,千帆对第三方大模型做了二次安全增强,更好管控模型输出的安全性。客户在千帆上调用第三方模型,也享有平台的安全保障。

值得一提的是,为方便开发者和企业做模型调优,千帆还提供多种低门槛调优工具,包括SFT(全量参数微调、Prompt Tuning、LoRA)及强化学习(奖励模型学习、强化学习训练)等,同一模型还可通过多种方式持续调优。

上线国内最全Prompt海量模板库,大幅优化模型输出效果

Prompt是指通过自然语言向大模型提出问题,问题的好坏将直接影响大模型的内容输出质量。实际应用时,大模型往往因为Prompt缺乏针对性、描述不清晰等原因影响到内容准确性。

为帮助客户提高Prompt提问质量、提升模型输出满意度,本轮升级后,百度智能云千帆大模型平台上线了海量预置Prompt模板库,模板数量多达103个,包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景。用户可以根据需求选择合适的模板,直接输出给大模型, 即可提高模型内容的针对性和准确度。

忻舟在活动现场演示了不同Prompt给文心一言提问,会得到不同的效果。

原始Prompt:“《长安三万里》好看吗?”,文心一言会输出一个比较简单的结果。

使用Prompt模板+原始Prompt:“我希望你充当一个电影评论家。你将编写一篇引人入胜和有创意的影评。你可以涵盖诸如情节、主题和基调、演技和角色、方向、配乐、电影摄影、制作设计、特效、剪辑、节奏、对话等主题。但最重要的方面是强调电影给你的感觉。什么是真正引起你的共鸣。你也可以对电影进行批评。请避免剧透。电影名称是《长安三万里》“。因Prompt更详细具体,文心一言回复了更符合预期的答案。

忻舟表示,很多企业使用大模型时,认为效果不好是模型本身的问题,其实很多时候重新编写Prompt就能达到预想的效果。海量Prompt模板的推出,大幅降低了Prompt撰写难度。很多情况下,企业无需花费大量资源调优大模型,基于模板优化Prompt,即可得到满意的模型效果。

国内首家提供插件服务的大模型平台,千帆插件功能再上新

插件是大模型能力的延伸,可以让大模型的认知能力与外部信息、资源融合打通,极大扩展大模型的功能边界。据了解,今年6月,千帆平台就上线了插件功能,是国内首家提供插件服务的大模型平台。

为实现客户更加个性化的需求,千帆大模型平台又发布了一系列优质插件功能。例如,刚刚上线的“Chatfile插件”,用户可在大模型对话中一键上传PDF/Doc格式文档,大模型即可基于文档内容实现知识点检索,长文本摘要等功能。

值得一提的是,千帆的插件功能已率先应用于百度内部的办公场景中,基于大模型技术打造的如流“超级助手”接入了会议室插件、内部搜索插件等20个插件。百度员工用自然语言与“超级助手”对话,即可实现文档搜索、会议室预定、饭卡充值、休假申请等功能,大大提升员工办公效率。

忻舟表示,大量客户调研显示,企业对插件功能的需求非常迫切,千帆第一时间上线该功能,是希望为客户提供更加个性化的服务,提升千帆平台的用户体验和满意度。

“未来,千帆平台将发布更多优质的插件功能,让客户能够更好地应用大模型。同时,我们欢迎所有开发者基于千帆平台共同打造丰富的插件功能,提升大模型的能力。“忻舟说。

关键词:

相关阅读