NVIDIA携GoogleCloud,带给企业代理型AI推理功能

逢纪说科技 2025-04-13 02:24:21

NVIDIA与Google Cloud合作,运用Blackwell HGX and DGX平台及NVIDIA机密运算(NVIDIA Confidential Computing)技术保护数据安全,并将代理型AI(agentic AI)带给寻求当地端使用Google Gemini系列AI模型的企业。

通过搭载Blackwell平台的Google分布式云计算(Google Distributed Cloud,GDC),企业的地端数据中心可以锁定访问病患记录、金融交易和政府机密资讯等机密敏感资讯的权限,以符合法规要求和数据主权法令。NVIDIA机密运算技术还能保护Gemini模型中的敏感程序代码,避免未经授权的访问与数据外流。

Google Cloud基础设施与解决方案部门副总裁暨总经理Sachin Gupta表示,借由将Gemini模型与NVIDIA Blackwell的突破性性能及机密运算能力相结合,让企业能够充分发挥代理型AI的潜力。这项合作有助于确保客户能够在不影响性能或操作便利性的情况下,安全地进行创新。

NVIDIA Blackwell的机密运算技术能为企业提供技术保障,包括Gemini模型应用程序界面的用户提示及用于微调的数据,都能保持安全,无法被查看或修改。与此同时,模型所有者可以防止未经授权的访问或篡改,提供双重保护,让企业能够在维护数据隐私的同时,利用Gemini模型进行创新。

有别于根据学习到的知识来感知或生成内容的AI模型,代理型AI系统可以在动态环境中进行推理、适应与决策。例如在企业IT支持方面,以知识为基础的AI模型可以检索与提供故障排除指南,而代理型AI系统则能够自主诊断问题、执行修复,以及将复杂的问题呈报到更高层级进行处理。

同样地,在金融领域,传统的AI模型可以根据既有模式标示潜在的欺诈交易活动,代理型AI系统则能更进一步调查异常情况,并主动采取行动,例如在交易发生前即进行封锁,或是即时调整欺诈侦测规则。

Google Cloud也宣布推出全新的GKE Inference Gateway,借由先进的路由和扩展性来优化部署AI推论工作负载的部署。通过与NVIDIA Triton推论服务器及NVIDIA NeMo Guardrails集成,GKE Inference Gateway可提供智能负载均衡,以提升性能与降低服务成本,同时实现模型安全与治理活动的集中化管控。

预期未来,Google Cloud正致力于集成专为跨AI工厂服务与扩展推理AI模型而打造的开源函数库NVIDIA Dynamo,以提高代理型AI工作负载的可观察性。

(首图来源:NVIDIA)

#英伟达# #代理模式# #推理# #人工智能#

0 阅读:0

逢纪说科技

简介:感谢大家的关注