昆仑技术:打造低成本自主创新“硬件替代+软件加速”大模型推理体系,助力AI重塑企业竞争优势

科技看门道 2025-03-21 15:02:52

今年春节前后,国内出现了两个现象级的成就,一个是国产动画电影《哪吒2魔童闹海》如今已经突破150亿元票房收入,一举步入全球前五;另一个就是国产大模型DeepSeek爆火,突破了美国OpenAI和英伟达AI芯片的限制。

DeepSeek的爆火不仅仅出现在个人搜索领域,实际上金融、政务、教育、医疗等各个行业的客户都在争相探讨与部署。在金融行业,它能助力风险评估、智能投顾,大幅提升效率与决策准确性。在政务领域,基于昆仑技术算力底座,南京+DeepSeek满血版政务类大模型已经面世。

打破算力壁垒,自主创新大模型推理迎来里程碑

实际上,DeepSeek正在让AI正从“大力出奇迹”进化到“巧力出奇迹”,以更高效、更智能的方式推动技术发展,在人工智能领域掀起了革命性的变革。

正因为此,日前南京市数据局在南京市政务云的昇腾910虚拟化AI算力资源池(由昆仑技术提供算力底座)内,部署上线了满血版DeepSeek-R1-671B,共使用了4台KunLun G5680 V2,32个昇腾910模组,并提供API接口,实现了数据局智能助手、智能问数、公文起草、政务版AI助手等人工智能政务应用一体化的赋能升级。

目前而言,KTransformers是最火热的低成本DeepSeek满血版推理方案。KunLun AI Space大模型加速引擎在此基础上深度挖掘硬件性能,完成两项重大技术突破:深度适配优化支持鲲鹏920 CPU指令加速,并以极致性价比方案刷新行业记录;同时使用自研算子替代Marlin算子,实现单张昇腾300I Duo推理卡高效运行满血版DeepSeek大模型。

对比业界常规推理方案,基于“鲲鹏920 CPU+300I Duo推理卡”的推理方案成本最多能够降低90%。这意味着自主创新“硬件替代+软件加速”双轨并行的大模型推理体系,将为千行百业提供高性价比、自主创新的算力选择。

据悉,南京市政务云未来还将围绕应急、公安、12345热线等实际需求开发更多DeepSeek场景应用,满足公民社会需求。

我们知道,鲲鹏+昇腾是华为的AI服务器解决方案,而KunLun AI Space大模型加速引擎则出自昆仑技术之手。

昆仑技术成立于2022年10月,短短两年半时间,昆仑技术已经贴满了一系列亮眼的标签:“华为昇腾-战略级整机硬件伙伴”、“华为鲲鹏-领先级整机硬件伙伴”,一年拿下了100亿订单,获得了众多央国企、金融、运营商客户及互联网大厂的青睐和1300+生态伙伴的认可,在昇腾+鲲鹏产业整体市场中排名第一。这是因为河南昆仑技术有限公司的核心团队就是华为鲲鹏+昇腾的原班人马,继承了国产化算力20多年的研发、市场和生态能力。

由此看来,昆仑技术能够在DeepSeek横空出世的第一时间就完成了重大技术突破,打破算力壁垒,实现单张昇腾300I Duo推理卡高效运行满血版DeepSeek大模型也就不足为怪了。

搭建技术生态,国产化全栈方案弯道超车

具体而言,针对DeepSeek这样一款在自然语言处理、数学、编程等多领域表现卓越、业界领先的大语言模型,KunLun AI Space采用异构计算、模型稀疏性、MoE架构等技术,将不常用的稀疏矩阵卸载到CPU内存,并配合4bit量化技术和Marlin算子等深度挖掘硬件性能,使单张昇腾加速卡就能在本地运行DeepSeek 671B满血版大模型。

值得一提的是,这些技术突破并不是昆仑技术一家在负重前行,而是联合了上下游生态伙伴的技术能力,包括华为、KVCache.AI团队与趋境科技开源的KTransformers项目等生态伙伴的共同努力,KunLun AI Space从中汲取了优秀思想。

此外,昆仑技术还自主研发了基于昇腾300I Duo推理卡深度优化的INT4*BP16反量化矩阵乘算子,替代Marlin算子,大幅减小显存占用与NPU带宽压力,充分激发昇腾300I Duo推理卡的澎湃算力;集成昇腾NPU原生加速库,利用npu_fusion_attention算子,实现KV Cache复用率和上下文窗口的大幅提升,显著提升长序列任务的计算密度与推理效率,完成了注意力计算引擎的适配;通过显存分配与卸载策略优化等创新技术方案提升了AI算力的可及性与效率,还显著降低了推理成本,重构软件技术底座。

实际上,昆仑技术的公司定位是成为领先的算力设施与算力服务提供者。这就要求昆仑技术必然承担三大使命:致力于承载核心的生产业务;致力于实现自主创新软硬件系统的安全性、先进行、可靠性;致力于采用成熟的商业体系提升客户满意度。

昆仑技术最新推出的DeepSeek一体机解决方案,可以说是标志着中国AI产业首次构建起自主创新“硬件替代+软件加速”双轨并行的大模型推理体系,进一步完善了鲲鹏和昇腾产业生态,兑现了昆仑技术的定位,也为千行百业提供高性价比、自主创新的算力选择。

值得一提的是,昆仑技术拥有2000+专利、9大根技术实验室,具备极强的硬件设计能力与软硬调优能力,并采用成熟的全流程质量防护体系,能够做到双供应中心敏捷交付,是值得客户信赖的方案实施服务商。

三阶段使能四大核心能力

当然,昆仑技术覆盖的行业领域不仅仅是政务,对于金融、电信、能源、医疗等行业来说,部署私有大模型同样极为重要,不仅确保了数据安全,为客户的信息资产筑牢坚固防线,还全面支撑多个数字化场景应用,为客户带来更高效、更智能、更安全的服务体验。

实际上,兴业银行、渤海银行、中国石化、北京移动、贵州移动、河南电力等都是昆仑技术的标杆客户,而华为鲲鹏+昇腾服务器也早已成为金融行业客户的主流技术路线选择,为金融行业数字化转型注入了强大动力。

值得一提的是,昆仑技术推出的DeepSeek一体机解决方案重构AI基础设施,其四大核心能力中的第一个就是金融级安全——基于昇腾AI处理器,搭配推理加速引擎的DeepSeek一体机支持完全离线环境部署,从根本上杜绝数据泄露风险,满足金融行业数据合规要求。

昆仑技术还依托KunLun AI服务器的强大算力基座,结合多样化推理加速引擎的创新优化方案,同时结合KunLun AI Space大模型加速引擎,成功打造出适配自主创新硬件的DeepSeek部署方案。该方案通过动态算子编译、混合精度优化等核心技术,为DeepSeek-R1&V3模型提供生产级稳定服务,实现了较低推理延迟,达到金融级系统可靠性标准。

其次,昆仑DeepSeek一体机解决方案支持横向线性扩容和纵向一键入云的灵活部署需求,蒸馏版低至单节点起配,满血版最低两节点起配,支持本地化部署硅基流动MaaS平台SiliconCloud,一键接入百种云上大模型服务,如文生图、文生视频、辅助编码等。

第三,昆仑DeepSeek一体机解决方案支持实时风控、智能投研、高频交易等场景化交付,开箱即用,降低AI落地门槛。

更重要的是,昆仑DeepSeek一体机解决方案基于“算力调度-推理加速-负载均衡”三级技术矩阵,将计算图编译优化和算子融合,通过小算子融合技术,并优化NPU计算流水线,减少内核启动开销和内存搬运;采用INT8量化技术,结合对多Token预测(Multi-Token Prediction,MTP)的深度优化,在保持较高推理精度的同时,将显存占用减少50%,并支持更高并发的推理路数;通过动态批处理技术(如请求合并、短Token合并等),最大化硬件利用率,降低推理延迟;同时优化请求调度算法,确保高优先级请求能够快速响应,从硬件层到模型层的全栈调优方案实现推理效率与资源利用率的显著提升。

据实测数据显示,昆仑技术此次推出的一体机在性能表现上相较于业界同类产品实现了35%以上的显著提升。以DeepSeek-R1-671B满血版为例,其并发量可达256以上,吞吐性能达到2599 Tokens/s,不仅标志着在DeepSeek性能优化上的重要进展,也为企业提供“更高效、更安全”的DeepSeek私有化智能基座,让前沿AI能力真正生长于企业机房。

根据行业研究机构分析预测,中国AI相关ICT市场将保持高增长,由2025年的1.6万亿规模,增长到2028年的3.5万亿规模,年复合增长率将超过25%。3月20日在华为中国合作伙伴大会2025上,华为常务董事、ICT基础设施业务管理委员会主任汪涛甚至认为,AI to B的奇点时刻正在到来,推理发展速度将决定智能化广度,AI能力将迎来质变,AI应用将从辅助应用走向核心系统,从局部优化走向系统融合。

然而,千行万业迈入数智世界仍存在巨大鸿沟,60%的企业在AI项目中技术与实际场景需求脱节,80%的中小企业因技术成本过高,无法支撑AI模型训练,而昆仑技术这样的领先的自主创新算力设施与算力服务提供商,正好可以助力千行万业的数智化转型,与上下游伙伴同频共振,提供更低成本的AI基础设施,降本增效,为AI应用重塑企业提供支持。

文/余文

《科技看门道》坚持深度报道,希望能通过资深媒体人对IT产业热点新闻的深入思考,挖掘其背后的商业逻辑和创新模式——不仅看热闹,更要看门道!

《科技看门道》主笔在行业渠道媒体拥有20余年的从业经历,不仅对IT消费类和企业级软件、硬件、云计算、大数据、人工智能、区块链均有较深入的理解,同时见证了中国IT产业链上下游合作生态圈包括分销、零售、SI、ISV和CSV的进化历程,见证了金融、能源、制造、医疗、教育、政府、零售、高科技等行业的信息化和数字化转型之路。

《科技看门道》相信,IT产业在供给侧的改革——包括云计算、大数据、移动互联、人工智能、区块链等,将会成为推动各行各业“新质生产力”发展进步的核心力量。

0 阅读:1

科技看门道

简介:挖掘商业逻辑和创新模式——不仅看热闹,更要看门道!