百度智能云千帆大模型平台率先适配Falcon-180B

速途元宇宙研究院讯 日前, Falcon-180B作为参数最大的开源大模型,正式发布并支持免费商用,引发业界广泛关注。百度智能云千帆大模型平台第一时间适配了Falcon-180B,并提供模型微调、部署、应用开发的全流程工具链和开发环境,方便企业和开发者率先体验。

据了解,Falcon-180B在推理、编码、熟练度和知识测试各种任务中表现出超强性能,一经发布便登顶 Hugging Face 排行榜。为方便开发者应用最新的大模型能力,百度智能云千帆平台第一时间适配了Falcon-180B,开发者、企业现在即可在平台的“模型仓库”中申请体验,开发者还可自行将模型导入平台,从而使用平台的全部功能。

百度智能云千帆大模型平台率先适配Falcon-180B
(开发者可自行导入Hugging Face Transformer格式的任意模型)
百度智能云千帆大模型平台率先适配Falcon-180B

据了解,为满足开发者和企业多样化的模型需求,百度智能云千帆平台此前就已经接入了 Falcon-7b和Falcon-40b-instruct。截至目前,平台已纳管了包含 Falcon、Llama 2全系列、RWKV、Stability Diffusion在内的42个国内外主流大模型,稳居国内模型数量第一。

百度智能云方面表示,百度智能云千帆平台不只是简单的接入,还对第三方模型进行二次的性能增强、安全增强、中文增强和上下文增强。比如,在性能增强方面,训练Llama2的总体吞吐可以提升25%,推理性能甚至可以提升2倍。

在企业客户最关注的安全方面,百度智能云千帆平台提供模型安全、内容安全和数据安全多重保障。包括设计专用隔离域,保护模型资产安全;预置安全模块,有效控制输入输出的内容风险;提供从模型、数据到日志的全链路加密,保障数据安全。三管齐下,让模型厂商和客户均能享有平台的安全保障。

对于大多数企业来说,模型的开发部署仍存在较高门槛。为帮助企业用好大模型,百度智能云千帆的工具链贯穿大模型完整的生命周期。基于一站式的可视化工具,客户验证模型效果的时间大幅缩短,一天就可以跑通一个模型并看到效果。

在数据方面,为解决企业模型训练数据质量要求高、成本高的问题,百度智能云千帆平台还预置了41个高质量有行业特色的数据集,开发者点几个按钮就可以完成微调、提高模型效果,进一步降低企业使用、训练和推理大模型的门槛。

在算力方面,百度智能云千帆平台在万卡集群训练大模型时,模型有效训练时间达到95%以上。万卡规模集群中的加速比可以达到95%,充分释放集群的整体算,大幅降低客户的算力成本和时间成本。值得一提的是,平台还兼容国内外主流芯片和操作系统,客户的算法可以最小的修改成本运行。

百度智能云千帆大模型平台率先适配Falcon-180B

在刚刚结束的2023百度云智大会上,百度智能云千帆大模型平台实现了2.0全面升级。截至目前,平台月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的400多个场景。

百度集团执行副总裁、百度智能云事业群总裁沈抖表示“任何新技术的真正落地,都需要相应的方法论和工具的支撑。”,“我们用了半年时间,不断沉淀经验、积累工具,对百度智能云千帆平台做了大量升级,让大模型平台更好用、更贴心。”

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注