美光副总裁暨客户端存储事业部总经理Prasad Alluri
近年来,AI技术的迅速发展加速了存储技术的创新与迭代,从智能手机的AI应用到汽车自动驾驶、数据中心,存储技术的进步正成为推动AI应用创新的关键力量。 在日前举行的GMIF (Global Memory Industry Forum)2024峰会期间,美光副总裁暨客户端存储事业部总经理Prasad Alluri接受了与非网记者的采访。美光的产品线覆盖了从企业计算、客户端计算到汽车、工业和边缘计算等广泛领域。Prasad Alluri详细介绍了美光的产品如何满足不同环境中的多样化需求。展示了其如何通过存储与内存技术的协同优化,助力技术进步并保持市场领先地位。 Prasad Alluri拥有丰富的技术与管理经验,曾在英特尔、摩托罗拉等公司担任要职。在美光的五年中,他主导了多项战略项目,特别是在AI数据中心和存储技术方面的布局。Alluri指出,“AI的迅速发展加速了存储技术的迭代,从智能手机的AI应用到自动驾驶,存储和内存技术正成为推动行业创新的关键力量。”
AI应用创新对存储技术带来哪些需求?随着AI技术在各个领域的广泛应用,存储技术的角色也在发生显著变化。它不再仅仅是容量和速度的提供者,而是逐渐成为系统架构深度优化的重要组成部分。这一变革不仅为AI应用提供了更高效的计算支持,还推动了存储行业的技术创新,尤其在应对AI对存储系统提出的新需求方面表现突出。 在传统的计算架构中,存储设备和计算单元(如CPU或GPU)通常是分开的。存储设备的主要功能是为计算单元提供数据,二者之间通过存储器接口进行通信。然而,随着AI技术的快速崛起,特别是在深度学习、大规模模型训练等领域,这种独立运作的模式逐渐暴露出局限性。AI应用对数据处理的需求远远超过传统架构所能承载的上限。AI训练和推理需要处理庞大且复杂的数据集,单纯依赖存储设备提供数据已经无法满足其对效率和速度的高要求。 Prasad Alluri对与非网记者表示,AI不仅需要更大的存储容量,还要求存储设备和计算单元之间的协同优化,以加速数据传输、降低延迟、提高数据处理效率。对于AI模型训练,尤其是复杂的深度学习模型,如何快速将存储中的数据传输到计算单元,成为提升整体AI性能的关键所在。 为了应对AI对存储和计算协同工作模式的需求,存储厂商开始力推CXL(Compute Express Link)技术。这项技术旨在增强存储设备与计算单元之间的互操作性,允许多个系统节点共享内存资源。这种内存扩展功能在AI模型的训练过程中,尤其是在多GPU系统中,能大幅提高数据传输的吞吐量,优化AI计算的整体性能。对于AI模型训练来说,这意味着更快的数据访问速度、更低的延迟,以及更高效的计算能力。特别是在需要高效处理大量数据的任务中,如图像识别、语音处理等,CXL技术为数据传输瓶颈提供了有效解决方案,极大提高了存储和计算的协同性。随着AI技术的深入发展,PC和数据中心产业都随之发生了巨大的变化。其中AI PC不仅需要具备传统PC的功能,还需要处理大量AI推理和训练任务。因此,其存储需求与传统PC有很大不同。微软针对AI PC提出的基准硬件要求是40 TOPS的NPU、16GB内存和256GB存储容量,这些配置只是满足最低性能的基础要求。 在AI PC中,LPDDR5X和LPCAMM2内存模块的设计实现了显著的能效提升。LPCAMM2内存模块通过整合多个SODIMM模块为单一模块的方式,不仅节省了空间,还显著降低了功耗。这种集成方案使LPCAMM2在保持高性能的同时大幅减少了能耗,成为了下一代AI和PC应用的理想选择。 Alluri指出,随着AI应用的复杂度不断增加,未来的AI PC将需要更高规格的存储和内存配置。例如,美光建议为AI PC配置24GB至32GB的DRAM,并搭载高性能的SSD存储设备,如美光3500 SSD。这款存储产品通过启发式算法,能够根据不同的工作负载动态调节能耗,在功耗最低的情况下提供高效的吞吐量。这使得美光在AI计算中的存储解决方案更具优势,并为未来低功耗高性能计算奠定了技术基础。通过优化存储性能,AI PC能够在执行高强度AI推理任务时提供流畅的使用体验,而不会显著增加功耗。这种优化方向预示着未来的AI PC将在高性能和低功耗之间取得良好的平衡。 在数据中心领域,AI模型训练的复杂度和数据量持续攀升,这种趋势推动了存储容量需求的爆发式增长。美光通过高密度DDR5内存以及创新的CXL内存和SSD等解决方案,推动了GPU和AI加速器的数据处理性能大幅提升。 AI模型的训练通常需要大量的计算资源和海量数据,这对数据中心的存储设备提出了更高的要求。Alluri在采访中解释了AI数据中心的两大核心存储需求:一是用于存储海量训练数据的“数据湖”;二是靠近GPU集群的高性能存储池,专门用于高效传输训练数据到计算单元。 数据湖是AI模型训练的重要基础,特别是对于像GPT-4这样的大规模语言模型,模型训练往往需要消耗互联网上大量的数据。因此,数据湖的存储容量和数据管理能力至关重要。传统的存储设备,如硬盘驱动器(HDD),由于其相对较慢的读写速度和随机存取性能,已经无法满足AI模型训练的需求。为了应对这些挑战,美光推出了6500 ION系列SSD,专为AI数据中心设计。这款产品不仅提供了大容量的存储,还通过能效优化减少了物理空间和功耗的需求,使得AI数据中心能够更高效地处理海量数据,降低运行成本。
除了数据湖,AI模型的训练还需要快速将数据传输给GPU进行计算。因此,靠近GPU的高性能存储池变得尤为重要。在这种应用场景中,存储的随机性能决定了模型训练的效率。Alluri特别提到,美光的9550 SSD针对随机读取进行了优化,其读取速率达到了3,300 KIOPS,远超行业标准。这一性能提升对于处理图神经网络(GNN)等复杂AI模型尤为重要,因为这些模型训练的数据访问模式是高度随机的。通过9550 SSD的优化,GNN训练效率提升了约33%,大幅减少了数据传输的瓶颈。
AI数据中心在追求高性能的同时,还必须考虑能效问题。AI模型训练是高能耗的任务,特别是处理海量数据时,能源消耗会显著增加。美光在开发9550 SSD时,除了注重提升性能,还在能效优化方面进行了深入研究。与竞争对手相比,9550 SSD在相同负载下的能效表现更加出色。在图神经网络(GNN)等应用中,9550 SSD的能效比竞品高出29%。此外,在NVIDIA的Magnum IO GPUDirect Storage解决方案中,9550 SSD每传输1TB数据的能耗减少了81%。在MLPerf基准测试中,9550 SSD的能耗降低了35%,而整个系统的总能耗也减少了13%。这些数据表明,美光在提升存储性能的同时,也通过能效优化为AI数据中心提供了更具可持续性的解决方案。 美光的技术创新不仅限于硬件层面的突破,还通过启发式算法优化存储设备的能效和性能,特别是在AI数据中心中。Prasad Alluri多次提到,随着AI工作负载的动态性增强,存储系统需要在高性能和低功耗之间实现灵活切换。美光通过存储器件的智能调控技术,使其在AI数据中心中的能效表现显著提升,满足了未来AI应用对存储的苛刻要求。
美光如何应对汽车AI需求的挑战?除了PC和数据中心,AI在汽车行业也推动了前所未有的转型,特别是自动驾驶技术也为车载存储带来新的需求和挑战。随着车辆功能的日益复杂,尤其是智能网联汽车和自动驾驶的发展,存储需求呈现出爆炸式增长。 根据美光发布的白皮书,到2025年,每辆汽车预计将搭载16GB DRAM和204GB NAND,这将分别比2021年水平提高三倍和四倍。汽车存储市场规模也将从2021年的40亿美元增长至2025年的100亿美元,年复合增长率达到28%。 Alluri对与非网记者指出,自动驾驶技术的发展是推动这一增长的主要动力。车辆正在从分散架构向区域集中架构转变,这种转变带来了对集中存储和处理的需求。例如,区域架构能够支持更为集中化的计算和控制系统,但也要求存储系统具备更高的吞吐量、更低的延迟以及强大的安全性和耐久性。 与传统计算设备不同,汽车存储必须在极端的环境中长时间稳定工作。Alluri特别提到:“汽车设计要求存储设备能够承受高振动、极端温度和粉尘等挑战,并且保持高性能运作,通常长达十年。” 这种耐久性要求使得车载存储解决方案与消费电子和数据中心产品有显著不同。 Alluri指出,虚拟化技术将成为汽车存储领域的一个重要趋势。通过将不同类型的存储需求划分到不同的命名空间中,汽车制造商可以更好地管理和保护车辆中的关键数据。此外,随着区域架构的推广,集中式存储将进一步取代传统的分散式存储,这将为智能汽车提供更强大的数据处理能力和更低的系统复杂性。Alluri还强调,安全性将是未来汽车存储发展的关键要素。随着联网功能的普及,车辆面临的网络攻击风险日益增加,因此存储系统需要具备强大的安全机制,以确保在自动驾驶和联网操作中的安全性。应对这些挑战,美光推出了4150AT SSD,这是专门为汽车市场开发的高性能存储解决方案。Alluri解释道:“我们在4150AT SSD中引入了单根I/O虚拟化和多命名空间功能,使其可以像多个独立的SSD一样工作,从而支持更为复杂的区域架构。” 这种虚拟化技术的关键在于,它能够通过多个命名空间划分不同的数据需求。例如,Alluri指出,4150AT SSD可以将一个命名空间专门用于安全应用,确保联网车辆在受到网络攻击时,关键的安全功能不会受到影响。这种设计尤其适合自动驾驶车辆,因为在这些车辆中,网络安全至关重要,虚拟化技术确保了在面对潜在的攻击时,车辆操作依然安全可靠。 除此之外,4150AT SSD还通过优化功耗和耐久性,提升了其在车载存储中的适应性。Alluri表示:“在不增加功耗的情况下提升性能,是车载存储面临的关键挑战之一。” 4150AT SSD在这一点上取得了显著进展,同时支持多命名空间的虚拟化架构使其能够满足未来车辆架构的需求。 Alluri还对与非网记者透露,美光正与一些全球领先的汽车制造商合作推进4150AT SSD的资格认证。由于汽车行业对产品认证的要求非常严格,尤其是对于存储解决方案的安全性和耐久性,美光在与一级汽车制造商的合作中需要经历长时间的测试和验证过程。虽然合作的细节尚未公开,但Alluri强调,美光的4150AT SSD凭借其独特的虚拟化技术和高性能,已经为未来的汽车架构奠定了坚实基础。随着认证流程的推进,未来这款产品有望在更多的汽车品牌和车型中得到应用。 除了4150AT SSD,美光还在车载内存和存储领域推出了LPDDR5X内存和UFS 4.0存储解决方案。Alluri指出,这两款产品同样是为应对智能网联汽车和自动驾驶系统而设计的。LPDDR5X内存具备出色的能效和高性能,能够支持自动驾驶系统中对高速数据处理的需求。同时,UFS 4.0存储的吞吐量比UFS 3.1提高了两倍,能够处理更为复杂的车载应用,如车载娱乐系统和高级驾驶辅助系统(ADAS)中的大量数据流。 随着车辆日益智能化,尤其是L2+及更高级别自动驾驶技术的普及,存储系统需要实时处理大量数据。美光的LPDDR5X和UFS 4.0解决方案不仅提供了更高的存储容量和数据处理能力,还在功耗和耐久性方面进行了优化,使其能够在严苛的汽车环境中长时间稳定运行。
展望美光的存储技术方向?总的来看,美光在存储技术领域的持续创新巩固了其在AI、高性能计算和数据中心等领域的领先地位。通过不断提升存储密度、优化能效和加速速度,美光为AI数据中心和高性能计算应用提供了更为高效的解决方案,助力企业应对复杂的计算需求。 在存储技术方面,美光在QLC(四层单元)技术和NAND层数增加上也取得了显著进展。QLC技术通过增加每个存储单元的容量,提升了存储效率,尤其适用于PC和AI工作负载等数据密集型应用。美光在3D NAND技术方面的进展尤为突出,推出了具有276层的3D NAND存储器,这一突破性技术为市场带来了前所未有的存储性能。该3D NAND的传输速率高达3.6GB/s,闪存接口速度达到3600MT/s,领先于目前业界产品约50%。这种技术不仅显著提升了存储速度和效率,还为AI、机器学习等数据密集型应用提供了强大的支持,特别是在云计算和汽车领域中,能够实现实时的数据处理和快速响应。 在PCIe 6.0 SSD技术上,美光的PCIe 6.0 SSD在顺序读取速率上达到了26GB/s,相较于上一代PCIe 5.0 SSD产品的14GB/s提高了85.7%,这使得其在AI、高性能计算(HPC)和数据中心等需要高带宽和低延迟的应用场景中表现出色。美光的PCIe 6.0 SSD还支持GPU和AI加速器之间的高速数据传输,进一步推动了AI工作负载的高效处理。 未来,美光将在NAND技术的横向扩展方面进行更多探索,进一步优化存储器件的容量密度,不仅在存储层数上继续突破,还将通过多种创新路径实现更高效的存储解决方案。Alluri强调,美光将继续推动存储技术与计算系统的协同优化,进一步提升整体效率,确保其在全球数字化转型和技术创新中保持竞争优势。