Cerebras,Groq同类的AI快速推理平台,Llama 3 70B可达到450token/s的速度,API每天免费100万token,但是需要申请,也可以在线使用,只有Llama 3 8B和70B.
我们打开Cerebras官网,可以用谷歌和微软账号授权登录。
登录成功后可以直接使用,我们先用随机的问题来提问,看看速度是不是真的很快?
Llama 3 8B达到1725T/s,还没反应过来,已经回答好了,这速度也太快了吧!
我们再来体验下Llama 3 70B,让它写个WordPress的多语言插件吧!
Llama 3 70B达到446T/s,速度同样很快,回答的也比较详细。
Cerebras目前在线使用只有Llama 3 8B和70B,后续应该会接入更多的开源模型,这么快的速度的确惊艳到咯~