随着 AI 和 HPC 工作负载的不断增长，传统的网络技术已经难以满足其高带宽、低延迟和高可靠性的需求。现代 AI 模型动辄需要连接数千个 GPU 集群进行训练，这对网络的性能提出了前所未有的挑战。高性能计算也同样需要低延迟和高吞吐量的网络环境。
当前，许多大型集群已经在使用基于以太网的 IP 网络，利用其多厂商生态系统、广泛的地址和路由扩展性、测试和部署工具以及经济高效的优势。然而，为了进一步提高网络性能和效率，UEC 认为有必要在现有以太网技术基础上进行改进。
Ultra Ethernet Consortium (UEC)，超以太网联盟 是一个致力于推动以太网技术发展的行业联盟，专注于满足现代 AI 和高性能计算（HPC）工作负载的需求。UEC 由多家领先的技术公司联合成立，包括 AMD、Arista、Broadcom、Cisco、Eviden（Atos 业务部门）、HPE、Intel、Meta 和 Microsoft 等。这些公司在构建和运营大型 AI 和 HPC 网络方面拥有丰富的经验，并致力于通过 UEC 的合作提高以太网在这些领域的性能和可靠性。
UEC 目标UEC 的目标是通过开发和推广新一代的以太网技术，为 AI 和 HPC 应用提供更高效、更可靠的网络解决方案。
提升网络性能和可靠性：通过引入多路径传输、数据包喷洒（packet spraying）等技术，确保高带宽和低延迟，最大限度地利用网络资源。减少尾延迟（tail latency），提高系统的整体性能。支持大规模网络：设计能够支持超大规模网络的协议，支持多达 1,000,000 个端点。提供高稳定性和可靠性，确保在大规模系统中保持一致的性能。简化网络管理和操作：提供易于部署和管理的解决方案，减少对网络参数调整和优化的需求。通过端到端遥测（telemetry）和现代拥塞控制机制，提高网络监控和管理的效率。加强网络安全：集成强大的加密和身份验证机制，如 IPSec 和 PSP，保护网络数据的安全性和隐私性。提供高效的密钥管理机制，确保在大规模计算节点之间安全共享密钥。优化 API 和协议：开发适用于现代 AI 和 HPC 工作负载的 API，支持灵活的数据包交付顺序和高效的速率控制。保持与现有标准（如 MPI 和 PGAS）的兼容性，确保新技术能够无缝集成到现有系统中。以太网的优势目前，大型 GPU 集群已经在使用基于以太网的 IP 网络，利用其多厂商生态系统、地址和路由扩展性、测试和部署工具以及成本效益等优势。IEEE 以太网标准的快速发展也为以太网网络在 AI 和 HPC 工作负载中的应用奠定了基础。
优势：
多厂商互操作的以太网交换机、网络接口卡（NIC）、电缆、收发器、光学设备、管理工具和软件。IP 网络的地址和路由扩展性，支持机架级、建筑级和数据中心级网络。广泛的测试、测量、部署和高效操作工具。通过竞争生态系统和规模经济降低成本的历史。IEEE 以太网标准在多个物理和光学层的快速进步。AI 和 HPC 网络的关键需求尽管以太网具有众多优势，但仍需改进以满足未来网络的需求，特别是为了实现更高的性能、规模和带宽。
1. 多路径和数据包喷洒（Packet Spraying）
现状：
传统以太网网络基于生成树协议（Spanning Tree Protocol），确保从 A 到 B 的单一路径以避免环路。多路径技术（如 Equal-Cost Multipath，ECMP）尝试利用尽可能多的链路，但仍然受限于每个流只能使用一条路径的问题。挑战：
ECMP 通过“流哈希”将给定流的所有流量发送到一条路径上，不同流映射到不同路径上。然而，这会限制高吞吐量流量只能使用单一路径。多路径技术映射过多流到同一路径时，网络性能会下降，需要精细的负载均衡管理。解决方案：
下一阶段技术演进是“数据包喷洒”，即每个流同时使用所有路径到达目的地，从而实现更均衡的网络路径使用。2. 灵活的交付顺序
现状：
传统技术（如 Verbs API）要求严格的数据包顺序交付，导致网络效率低下，因为丢失的数据包需要重新传输所有后续数据包（Go-Back-N 恢复机制）。这种严格顺序限制了可用链路的利用率并增加了尾延迟，不适合大规模 AI 应用。解决方案：
灵活的交付顺序允许数据包无序到达，提高传输效率，减少尾延迟。现代 API 应支持在应用需要时放宽数据包按序要求。3. 现代拥塞控制机制
现状：
网络拥塞可能发生在三个地方：发送端到第一个交换机的链路、第一个交换机到最后一个交换机的链路、最后一个交换机到接收端的链路。现有的拥塞控制算法（如 DCQCN、DCTCP、SWIFT、Timely）无法满足 AI 的所有需求。挑战：
需要新的拥塞控制算法，支持快速提升到线速，在无拥塞路径时不降低现有流量性能，管理路径拥塞和最后跳转拥塞（Incast），无需特定流量混合、计算节点和链路速度的调优。4. 端到端遥测
现状：
优化的拥塞控制算法需要端到端遥测支持，提供准确的拥塞信息，缩短信令路径，提高算法响应速度和准确性。解决方案：
现代交换机可以通过快速传输准确的拥塞信息到调度器或调速器来促进响应迅速的拥塞控制，从而减少拥塞、丢包和队列长度，改善尾延迟。5. 大规模、稳定性和可靠性
现状：
高性能系统要求网络规模大、稳定性高、可靠性强。系统越大，确定性和可预测性越难实现，需要新的方法来保证全局稳定性。Ultra Ethernet Transport（UET）协议UEC 提出了 Ultra Ethernet Transport（UET）协议，旨在替代现有的 RoCE 协议，提供以下特性：
开放协议规范：设计用于运行在 IP 和以太网上。多路径、数据包喷洒交付：充分利用 AI 网络，避免拥塞和头部阻塞，无需集中负载均衡算法和路由控制器。Incast 管理机制：控制到目标主机的最后一跳的流量汇聚，最小化丢包。高效速率控制算法：允许传输快速提升到线速，同时不影响竞争流量的性能。乱序数据包交付的 API：支持可选的按序完成，提高网络和应用的并发性，减少消息延迟。未来网络的扩展性：支持 1,000,000 个端点。优化的网络利用率：无需特定网络和工作负载的拥塞算法参数调整。适用于商品硬件：在 800G、1.6T 及更高速度的以太网网络上实现线速性能。安全性UET 强调网络安全，支持加密和身份验证机制，如 IPSec 和 PSP。它还提供新的密钥管理机制，允许在成千上万个计算节点之间高效共享密钥，确保 AI 训练和推理的安全性。
关键改进在以太网上实现高效的远程内存访问。实现数据包喷洒、灵活顺序和优化拥塞控制算法。引入新的端到端遥测、可扩展安全性和 AI 优化的 API。结论UEC 规范通过引入多路径传输、灵活顺序、优化拥塞控制和端到端遥测等创新，提升 AI 和 HPC 网络的性能、稳定性和可靠性。这些改进将显著提升未来 AI 和 HPC 应用的效率和成本效益。
！！！【点赞】、【关注】不走丢^_^
！！！【点赞】、【关注】不走丢^_^
