RedHatOpenShiftAI提升跨云AI部署一致性与效率

逢纪说科技 2024-11-19 00:28:50

Red Hat发布了Red Hat OpenShift AI 2.15,这是一款企业级人工智能与机器学习应用平台,可协助企业加速人工智能技术的采用,并提升一致性。该新版本增加了模型注册表与数据漂移侦测功能,并进一步支持跨混合云环境的大规模人工智能模型管理和部署。

Red Hat OpenShift AI 2.15的更新重点之一是添加模型注册表预览版。模型注册表可供开发者集中管理已注册的人工智能模型,实现模型版本控制、共享、部署和关注。企业可通过该工具组织和管理生成式人工智能模型的元数据和模型资产,并可选择创建多重模型注册表,以应对不同业务需求。目前Red Hat已经将该项目捐赠给Kubeflow社交媒体作为子项目,以进一步促进开源人工智能社交媒体的发展。

数据漂移侦测功能也是OpenShift AI 2.15本次的更新重点。随着人工智能部署至生产环境,输入的数据可能随时间变化,而数据漂移侦测功能则可以持续监控输入数据变动的情况,并在实际数据与训练数据出现偏移时发出通知。该项设计可确保模型反应实际情况,避免因数据变化导致预测结果偏差,提升模型在生产环境的可靠性。

Red Hat OpenShift AI 2.15中的LoRA技术让微调大型语言模型变得更省资源。LoRA的原理是降低微调模型的运算复杂度,让企业可以更高效地调整像是Llama 3这类人工智能模型,LoRA技术充分利用云计算原生环境的弹性,优化模型训练与微调过程,不仅提高了性能,也强化操作的灵活性。有了LoRA的加持,OpenShift AI 2.15能够满足不同规模的人工智能工作负载需求,企业能以较低的成本和资源消耗进行模型微调。

此外,新版本还支持Nvidia NIM和AMD GPU集成,增加硬件加速的选项。Nvidia NIM提供了一组微服务界面,让生成式人工智能应用的部署更加简单快速,并支持多样化人工智能需求。开发者只要通过API,NIM就能灵活地支持本地和云计算环境的推论服务,实现高度可扩展性。

Red Hat OpenShift AI 2.15提供企业AMD GPU的支持,使开发者能够在模型开发、训练和微调过程使用AMD的GPU。新的硬件支持让企业拥有更多选择,而且也能提升处理高运算需求工作负载的能力,使人工智能应用的开发与部署,在不同硬件环境更具弹性。

0 阅读:0

逢纪说科技

简介:感谢大家的关注