忘记昂贵的NVIDIA GPU，Exo 项目通过将现有设备（如 iPhone、iPad、Android、Mac、Linux）统一成一个强大的 GPU，使用户能够运行比单个设备更大的模型。该项目支持广泛的模型和动态模型分区，自动发现设备，并提供与 ChatGPT 兼容的 API。与传统的主从架构不同，Exo 采用设备间 P2P 连接，确保设备平等，优化资源利用。

主要特点：广泛的模型支持：支持 LLaMA 等流行模型。动态模型分区：基于网络拓扑和设备资源优化分割模型，运行比单设备更大的模型。自动设备发现：自动发现其他设备，零手动配置。ChatGPT 兼容 API：提供与 ChatGPT 兼容的 API。设备平等：设备间 P2P 连接，无主从架构。

安装和使用：安装：git clone https://github.com/exo-explore/exo.gitcd exopip install -r requirements.txt运行python3 main.py

这就好了！无需配置！Exo会自动发现其他设备。

Exo在 http://localhost:8000启动了一个与ChatGPT兼容的 API 端点。注意：目前仅支持环形拓扑结构中的尾节点。示例请求：

curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llama-3-70b", "messages": [{"role": "user", "content": "What is the meaning of exo?"}], "temperature": 0.7 }'curl -X POST http://localhost:8001/api/v1/chat -H "Content-Type: application/json" -d '{"messages": [{"role": "user", "content": "What is the meaning of life?"}]}'支持的推理引擎MLXtinygradllama.cpp（开发中）网络模块GRPCRadio（开发中）Bluetooth（开发中）

Exo 是一个实验性软件，欢迎社区贡献和反馈。了解更多信息，请访问 Exo GitHub 项目。

GitHub地址：https://github.com/exo-explore/exo/

效果：