没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型SmallThinker。其SmallThinker-21BA3B-Instruct版本性能和Qwen3-30BA3B相仿，CPU + 8G内存就能跑起来。在普通消费级CPU上的运行速度均超过 20 tokens/s。速度对比如图。
没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型SmallThinker。其SmallThinker-21BA3B-Instruct版本性能和Qwen3-30BA3B相仿，CPU + 8G内存就能跑起来。在普通消费级CPU上的运行速度均超过 20 tokens/s。速度对比如图。