8月11日消息,openai于8月6日推出了其最小开源模型gpt-oss-20b,在常见基准测试中与openaio3‑mini模型取得类似结果。高通今日宣布,这是openai首个可在搭载骁龙平台的终端侧运行的开源推理模型。
it之家从官方新闻稿获悉,高通称gpt-oss-20b思维链推理模型可直接在搭载骁龙旗舰处理器的终端上运行。此前openai的复杂模型仅限云端部署,这是openai首次实现模型支持终端侧推理。通过提前获取模型,并结合高通®ai引擎和qualcomm®aistack进行集成测试,我们发现这款200亿参数的模型表现极为出色,能够完全在终端侧进行思维链推理。
高通认为这是一个关键转折点:预示着ai的未来方向,即丰富复杂的助手式推理也将在本地实现。这也展现了ai生态系统的成熟性,合作伙伴和开发者可以利用骁龙处理器,实时采用openai等领军企业的开源创新成果。openai的gpt-oss-20b将助力终端设备利用终端侧推理,带来隐私保护和时延方面的优势,同时通过ai智能体为云端解决方案提供支持。
高通称,通过提前获取gpt-oss-20b模型,并结合qualcommaistack进行集成测试,见证了该模型的卓越能力,它能完全在终端侧进行复杂推理。开发者将可通过huggingface和ollama等主流平台获取该模型,并在搭载骁龙平台的终端上发挥其性能。更多部署详情即将在qualcommaihub上公布。
将ollama的轻量级的开源llm服务框架和强大的骁龙平台集成,开发者和企业不仅可以直接在搭载骁龙计算平台的终端上运行gpt-oss-20b模型,还能够进行网页搜索等多个默认特性,无需额外配置。用户也可以在ollama上尝试turbo模式,以探索该模型的更多功能。