近日，第十七届（2024）中国国际社会公共安全产品博览会暨智能与安全产业发展大会在北京举办，大会主论坛上，商汤科技智慧城市与商业事业群副总裁朴元奎发表专题演讲，围绕多模态大模型的发展脉络及在智慧城市中的落地应用，分享了商汤多模态大模型在智慧城市中的探索实践。

“除了充分的算力储备及大模型的快速迭代效率，商汤的另一个重要优势是我们在计算机视觉方面的多年积累，这也让AI行业从单模态跨越多模态时，我们能把视觉方面的能力快速整合进来”，朴元奎表示“我们将智慧城市领域的多模态技术打磨成了方舟多模态新智平台，自发布以来，产品已经应用在了城市服务多项应用场景。”

在AI 1.0时代，城市治理中的AI常常基于单一任务、事件去驱动算法，不同模态的数据、算法形成一个个“孤岛”。但随着AI技术的不断升级优化，融合自然语言和视觉能力的多模态大模型技术正朝着更高的准确性、更强的泛化能力和更广泛的应用场景发展。朴元奎认为，多模态大模型给行业带来的不仅是单一技术维度的突破，更是算法生产范式的变化，进而推动城市服务数智化业务的范式变革。

商汤通过多模态大模型技术，已经在多个城市服务场景中实现了显著的效率提升。例如，在某一线城市的应急事件处置中，商汤借助多模态大模型支持各类应急场景算法的快速定义和标注优化，利用AI智能体完成工作人员之间的高效协同和系统信息调阅，实现了单事件的处置闭环时间缩短50%，同时总支撑规模达到了2万路端设备，真实推动了城市管理从“被动巡查”到“主动处置”、“人工倒班”到 “AI 智能巡检 - 协同 - 处置”的范式变革。

此外，在城市12345公共服务便民热线场景中，商汤多模态大模型助力12345工单分类分拨速度提升了10倍，并统一了分类标准。短短一个月内，便民热线完成了超过30万次的分拨诉求，平均每天处理一万余次。单个分拨员原本一个月的工作量现在仅需一天即可完成，经过二次复核，准确率更是高达90%以上。这一智能化分拨应用不仅使工作流程更加流畅，整体效率得到大幅提升，而且切实有效地减轻了接线人员的工作压力。

这些亮眼的城市服务实践背后，是今年世界人工智能大会上商汤首次发布亮相的方舟多模态新智平台（SenseFoundry VL）。它基于商汤 “日日新5.5”大模型体系能力，在原“方舟城市开放平台”基础上进行了全新产品架构升级，助力智慧城市服务场景进一步提智提效。

与常见行业方案相比，商汤“方舟多模态新智平台”实现了融合架构的技术布局，充分利用已建视频AI系统的软硬件资源，避免客户重复建设；在国产自主可控的方针政策下，充分适配了主流的国产芯片和硬件服务器，为大模型国产化落地提供全面的算力保障；并可根据智慧城市的具体需求，进行高度定制化开发，支持预置行业知识库，开放应用框架以赋能合作伙伴。

随着全球数字化转型的加速，数据驱动、人机交互的智慧城市将是“大模型+城市服务”的未来：大模型将数据转化为洞见，辅助城市管理和决策，从感知智能让AI“看见”问题，到决策智能让AI“思考”应对方案，最后人机交互让AI在城市管理中“付诸行动”。

商汤方舟多模态新智平台的应用，体现了人工智能在城市集约化、智能化发展的进程中正在逐步发挥着不可替代的作用。我们相信多模态大模型也必将激活城市服务新质生产力，推动构建更加便捷、绿色、高效的未来城市。