出品 | 51CTO技术栈（微信号：blog51cto）
随着大模型的研究和应用越来越广泛，企业对于应用大模型的需求变得越来越迫切。加之大模型部署成本从千万级逐渐降低到十万级，企业拥抱大模型的门槛逐渐降低。
话虽如此，具体到大模型训练、部署和应用，其实并非想象得那般简单，这也是企业的大模型实践并不成熟的原因所在。
在即将于6月21-22日在北京召开的WOT全球技术创新大会上，设置了“大模型部署与应用”专题讨论，来自百度、网易云音乐、第四范式、潞晨科技的多位实践专家，带来关于大模型部署与应用的现身说法。
图片
百度内容生态AI大模型工程技术架构新挑战与探索随着生成式AI技术浪潮的兴起，内容生态作为最前沿的创新和业务落地场景，对技术架构不断提出新挑战。百度内容生态作为百度核心用户产品信息流和搜索内容总供给，在内容理解和内容生成方向上不断进行探索和创新。百度视频创作平台建设过程中面临AI算力托管、AI模型治理、推理加速等方面的挑战时如何应对？解决方案是什么？
百度内容生态大模型架构技术负责人张宝玉将带来《百度内容生态AI大模型工程技术架构新挑战与探索》的主题分享。
网易云音乐大模型实践及创新在网易云音乐资深算法平台工程师刘长伟《网易云音乐大模型实践及创新》的主题分享中，将介绍网易云音乐基于LLMOps理念实现的大模型微调、部署、评测、标注链路，分享采用 zero offload技术来降低微调需要的资源门槛。此外，还会介绍基于自研 Modelzoo 实现大模型分布式管理、推理部署、推理优化以及平台提供的人工标注和机器标注流程。实践部分，他将分享在音乐社区领域，如何基于大模型的闲聊对话全链路解决方案增加用户主动会话意愿，提升用户留存率。
使用信创算力与虚拟化技术提升大模型部署效率异构算力设备已经逐渐成为机器学习产品和服务中的常态化需求，近年来国产异构算力发展迅速，产生了一批相当有竞争力的产品。但其相对封闭的生态与云原生粗粒度的分配方式造成了生产环境中异构算力的使用率往往不尽如人意。
大模型成为趋势的当下，对于算力的需求呈现指数级别上升，如何能让大模型可以平稳部署在信创设备上，并提升其利用率已经成为了一个重要的课题。
第四范式高级研发工程师李孟轩带来题为《使用信创算力与虚拟化技术提升大模型部署效率》的分享，介绍Project-HAMi，一个基于云原生的开源异构算力整合与虚拟化解决方案，以此方式降低国产异构算力的使用门槛，解决资源分配粒度过粗的问题，从而提升集群中异构算力设备利用率。
大模型训练和加速的新技术与挑战AI模型急速增大与硬件算力缓慢增长的尖锐矛盾，已成为制约AI生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累，潞晨科技尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自适应任务调度等多项核心关键技术，开源了面向大模型时代的通用深度学习系统Colossal-AI，可实现高效快速部署AI大模型训练和推理，降低AI大模型应用成本。发布后仅用时一年多，已在AI大模型软件基础设施细分赛道开源指标排名世界第一。
潞晨科技技术总监卞正达将带来《大模型训练和加速的新技术与挑战》的主题分享，介绍潞晨科技全球首个开源复现ChatGPT的RLHF训练过程的完整解决方案，全球首个开源类Sora架构视频生成模型及完整低成本解决方案Open-Sora，目前已更新至v1.1，总训练成本仅1万美元，发布后一个月已收获GitHub Star近两万颗，在类Sora模型细分赛道排名世界第一。
来源： 51CTO技术栈
