玩酷网

【[90星]Crane:基于纯Rust的LLM推理引擎,为Spark-TTS等多

【[90星]Crane:基于纯Rust的LLM推理引擎,为Spark-TTS等多模态模型提供强大支持。亮点:1. 推理速度超快,比原生PyTorch快6倍;2. Rust语言实现,无C++复杂性,性能强劲;3. 支持多种硬件,包括苹果M系列芯片,无需量化即可加速6倍】

'Crane 🦩 - CANDLE-BASED RUST ACCELERATED NEURAL ENGINE'

GitHub: github.com/lucasjinreal/Crane

LLM推理多模态模型性能优化AI创造营