雄厚技术优势助力下,百度智能云以行业领先的超低推理价格上线DeepSeek模型。现如今,在千帆大模型平台上调用DeepSeek-R1、DeepSeek-V3的成本仅为官方3至5折。
2月3日,百度智能云宣布DeepSeek-R1及DeepSeek-V3两款效果领先的大模型已上架至千帆ModelBuilder平台,价格仅为DeepSeek-V3官方刊例价的3折,DeepSeek-R1官方刊例价的5折,对比同行为全网最低,并提供限时免费服务。
上架首日,调用用户数即突破1.5万家。再经过一周的适用与磨合,已有人本智汇(凤凰FM)、必优科技、大朋VR、香港中通社、香港星岛新闻等20余家企业级客户官宣通过百度智能云千帆大模型平台接入且深度应用DeepSeek。
基于领先的大模型能力及百度智能云千帆大模型平台强大的一站式AI服务能力,DeepSeek已深入内容创作、智能交互、智能客服、办公提效等业务场景中,在助力产品性能优化、服务体验升级等方面成效显著。
技术优势“支撑”价格优势
既可以让使用者感受到性价比,又能确保模型使用效果优异。此番情形,或是当前密集引入各类大模型的平台厂商们所致力于追寻的。
那“价廉物美”又该如何实现?归根结底来说,这一结果的实现本质上仍离不开大模型平台在技术层面的深厚积累。
而透视此次千帆大模型平台以“全网最低价”上线DeepSeek-R1、DeepSeek-V3模型背后,可以发现其实际上深度融合了推理引擎性能优化技术、推理服务工程架构创新以及推理服务全链路安全保障在内的多维度技术元素。
具体来看,在推理引擎方面,千帆大模型平台基于百度智能云在大模型推理性能优化方向的技术积累,针对DeepSeek模型MLA结构计算进行了极致性能优化。
与此同时,推理引擎性能优化技术还通过计算、通信、内存不同资源类型算子的有效重叠及高效的Prefill/Decode分离式推理架构等,在核心延迟指标TTFT/TPOT满足SLA的条件下,实现模型吞吐的大幅度提升,进而显著降低DeepSeek模型的推理成本。
另外,在推理服务方面,千帆大模型平台亦进行了深入优化与创新,并稳定安全保障。
资料显示,针对推理架构,千帆大模型平台严格实施“推”、“拉”模式性能对比。经验证,“拉”模式在请求处理的成功率、响应延时以及吞吐量等关键指标上均更为卓越。
而为了进一步提升系统稳定性和用户体验,千帆大模型平台巧妙地设计了一种请求失败的续推机制,显著增强系统的容错能力和服务SLA达标率。
同时,针对多轮对话和system设定等场景中存在重复Prompt前缀的情况,千帆大模型平台实现了主流的KV-Cache复用技术,并辅以全局Cache感知的流量调度策略,有效避免了Token KV的重复计算,从而大幅降低推理延迟,提高了推理吞吐。
此外,千帆大模型平台基于百度自身长期的大模型安全技术积累,集成独家内容安全算子,实现模型安全增强与企业级高可用保障;基于大模型全生命周期数据安全与模型保护机制,千帆大模型平台上的模型均拥有使用安全的安全保障;基于在安全方面的专项优化,千帆大模型平台确保DeepSeek-R1、DeepSeek-V3模型在被企业用户使用过程中具有更高安全性。
集多面性于一身
AI浪潮汹涌,一个属于大模型的时代已经来临。
现如今,倘若将大模型视作“歌手”,那么大模型平台便是“舞台”。一名歌手能否完成优异演出,集聚灯光、音效、观演视角等要素的舞台就显得至关重要。
现如今,千帆大模型平台是一个提供高效价比的文心模型、开源模型服务以及模型效果调优的一站式工具链的大模型开发及服务平台,集多重优异性能在身。
首先,拥有高效价比及多维能力模型服务。
具体而言,千帆大模型平台包含文心系列模型、Qianfan系列模型、第三方开闭源模型,也涵盖文本生成、视觉理解、图像生成、视频生成、语音大模型、垂直场景等等类型。
其次,具备模型推理全托管服务能力。
据悉,千帆大模型平台支持包括vLLM、LMDeploy等在内的各类主流推理框架,支持自定义导入并部署,同时支持在线、离线、实时多种推理链路。
并且,千帆大模型平台重点优化基于SGLang引擎的推理性能,予以企业级最完善安全保障,包括内容安全(自建安全链路并不断增强)、模型安全(安全沙箱)、服务安全(支持拉专线、独立VPC、完善审计)等等。
再次,提供围绕模型效果的一站式开发工具链。
数据加工方面,千帆大模型平台支持“推理日志解析-数据洞察-数据清洗”及合成能力,帮助客户高效构建模型调优需要的数据;模型精调方面,提供最全的模型精调、偏好学习等精调方式,提供独家混合语料,配套支持webIDE(Notebook)开发工具及训练环境。
模型评估方面,千帆大模型平台覆盖裁判员评估、自动规则评估、自定义评估等多种评估方式,提供场景化评估算子;模型量化方面,提供最全的量化压缩工具链,支持量化压缩、稀疏化等多种模型压缩方式。
值得一提的是,千帆大模型平台已帮助客户精调了3.3万个模型、开发了77万个企业应用,应用包括金融、政务、汽车、互联网泛科技等多个领域。而在千帆大模型平台加持下,百度智能云已拥有中国最大的大模型产业落地规模,超过六成的央企和大量的民营企业,正在联合百度智能云进行AI创新。
千帆的“焕新”实践
目前,千帆大模型平台已经帮助众多企业客户打通自身场景下大模型落地的“最后一公里”。
纵观客户群体中,成立于2019年的巨闲网络是借助千帆大模型平台实现“跃升”的典型样本。
资料显示,巨闲网络成立于2019年,主营产品为考试宝。基于考试宝超大规模的用户数据以及过万行业覆盖的优质应用场景,百度智能云为之提供了千帆平台文心大模型能力。
深入剖析发现,完成千帆平台文心大模型接入后,考试宝产品的运行提质显著。
譬如,当进入考试宝试题解析场景时,结合文心大模型,可实现本地题库一键上传,同步生成题库及对应考点。在考试宝搜题场景下,文心大模型在原有内容基础上进一步提升理解和推理能力,推动搜索准确度提升超过30%,大幅提高用户体验满意度。
整体而言,依托在千帆大模型平台上使用文心ERNIE4.0 Turbo,考试宝每天可以实现超过千万级别的试题解析,试题解析效率提升了超过98%。
另一方面,考试宝与千帆平台文心大模型的“对接”还直接带来产品运营开支的大幅下降,并确保了内容的丰富性、准确性。
上海巨闲网络CTO杨宇建指出,原来考试宝人工制作解析一道题成本平均1.5元,目前通过AI制作解析的成本,降低至了3厘。他还指出,考试宝通过机器可24小时不间断生成内容,内容生产效率提升了超1000倍。
数据显示,随着用户对AI驱动产品与服务的认可度不断提升,当下考试宝的经营数据发生巨变,产品付费率增长超过100%,营收增长超过240%。
考试宝之外,千帆大模型平台亦赋能Vidu。
据悉,Vidu被称为“国产Sora”,是生数科技打造的国内首个自研视频大模型。而生数科技是全球领先的多模态大模型公司,深耕视频生成、3D生成和图像生成领域。
2024年9月25日,百度云智大会在北京中关村国际创新中心举行,期间生数科技携Vidu正式开放API并同步接入百度智能云千帆大模型平台,成为平台接入的首个视频大模型。
上架千帆大模型平台之际,Vidu一并接收了来自百度百舸的大模型训练,最终素材渲染加速效率提升3倍,数据拉取效率提升51倍,效率增长幅度出众。
现如今,Vidu拥有业界最快实测推理速度,生成一段4秒片段只需30秒;而使用Vidu制作文生视频和图生视频,皆能在生成过程中保持高动态性、高逼真度、高一致性效果。