NousResearch发布了DisTrO（Distributed Training Over-the-Internet）的分布式优化器的初步报告，后续将开源代码。DisTrO是一系列与架构和网络无关的分布式优化器，它通过减少GPU之间的通信需求，使得在慢速互联网带宽和异构网络硬件上进行大型神经网络的低延迟训练成为可能。可以将跨 GPU 通信需求减少三个到四个数量级。

报告下载：github.com/NousResearch/DisTrO