百度智能云千帆大模型平台率先适配Falcon-180B

志斌 • 2023年9月10日 14:04 • 人工智能

速途元宇宙研究院讯日前， Falcon-180B作为参数最大的开源大模型，正式发布并支持免费商用，引发业界广泛关注。百度智能云千帆大模型平台第一时间适配了Falcon-180B，并提供模型微调、部署、应用开发的全流程工具链和开发环境，方便企业和开发者率先体验。

据了解，Falcon-180B在推理、编码、熟练度和知识测试各种任务中表现出超强性能，一经发布便登顶 Hugging Face 排行榜。为方便开发者应用最新的大模型能力，百度智能云千帆平台第一时间适配了Falcon-180B，开发者、企业现在即可在平台的“模型仓库”中申请体验，开发者还可自行将模型导入平台，从而使用平台的全部功能。

百度智能云千帆大模型平台率先适配Falcon-180B — （开发者可自行导入Hugging Face Transformer格式的任意模型）

据了解，为满足开发者和企业多样化的模型需求，百度智能云千帆平台此前就已经接入了 Falcon-7b和Falcon-40b-instruct。截至目前，平台已纳管了包含 Falcon、Llama 2全系列、RWKV、Stability Diffusion在内的42个国内外主流大模型，稳居国内模型数量第一。

百度智能云方面表示，百度智能云千帆平台不只是简单的接入，还对第三方模型进行二次的性能增强、安全增强、中文增强和上下文增强。比如，在性能增强方面，训练Llama2的总体吞吐可以提升25%，推理性能甚至可以提升2倍。

在企业客户最关注的安全方面，百度智能云千帆平台提供模型安全、内容安全和数据安全多重保障。包括设计专用隔离域，保护模型资产安全；预置安全模块，有效控制输入输出的内容风险；提供从模型、数据到日志的全链路加密，保障数据安全。三管齐下，让模型厂商和客户均能享有平台的安全保障。

对于大多数企业来说，模型的开发部署仍存在较高门槛。为帮助企业用好大模型，百度智能云千帆的工具链贯穿大模型完整的生命周期。基于一站式的可视化工具，客户验证模型效果的时间大幅缩短，一天就可以跑通一个模型并看到效果。

在数据方面，为解决企业模型训练数据质量要求高、成本高的问题，百度智能云千帆平台还预置了41个高质量有行业特色的数据集，开发者点几个按钮就可以完成微调、提高模型效果，进一步降低企业使用、训练和推理大模型的门槛。

在算力方面，百度智能云千帆平台在万卡集群训练大模型时，模型有效训练时间达到95%以上。万卡规模集群中的加速比可以达到95%，充分释放集群的整体算，大幅降低客户的算力成本和时间成本。值得一提的是，平台还兼容国内外主流芯片和操作系统，客户的算法可以最小的修改成本运行。

在刚刚结束的2023百度云智大会上，百度智能云千帆大模型平台实现了2.0全面升级。截至目前，平台月活企业数已近万家，覆盖金融、制造、能源、政务、交通等行业的400多个场景。

百度集团执行副总裁、百度智能云事业群总裁沈抖表示“任何新技术的真正落地，都需要相应的方法论和工具的支撑。”，“我们用了半年时间，不断沉淀经验、积累工具，对百度智能云千帆平台做了大量升级，让大模型平台更好用、更贴心。”

百度智能云千帆大模型平台率先适配Falcon-180B

相关推荐

发表评论