哇哦 回复 02-21 15:07
只要不需要算力可以解决，就解决算力问题的时间可以拉长，芯片升级时间不会拖ai的后腿

韶华几曾 回复 02-22 07:24
每秒token数肯定跟纯显方案没得比

song 回复 02-27 10:24
一张4090就够了，机箱都不要。[doge]

凋零向日葵 回复 02-27 16:12
对于企业用户，400G内存不是啥难事，现在服务器服务器配256-512G内存难度不大

简约时尚风格 回复 02-21 10:43
你不看成本吗？综合收益呢？

枯萎的野草 回复 02-21 11:08
以前玩不起，至少有得玩

psymerlin 回复 02-21 09:55
这个好像需要新的CPU统一内存和显存架构，类似苹果的一种架构，把内存和显存整合了。

psymerlin 回复 psymerlin 02-21 11:06
如果以前CPU架构也可以，我都准备加到1T测试下了

汤姆哈迪 回复 02-27 17:19
你以为蒸馏是蒸馒头呢

戈比劳王 回复 02-27 10:23
你能再说出关于蒸馏技术哪怕一个字 我倒立吃食

般若波罗蜜 回复 02-26 05:56
cpu部分的新算法比之前的llama.cpp的纯CPU算法快28倍。主要是稀疏矩阵乘法的优化。

vivienne 回复 般若波罗蜜 02-26 15:37
你和我解释科普这些没意义。

灿烂时空 回复 02-21 20:00
吃早餐提问 吃无饭时出结果

般若波罗蜜 回复 02-26 06:02
大哥不嫌卡啊。内存64位乘以2G主频，一秒16GB的吞吐率。虚拟内存是硬盘实现的，比内存慢百倍啊。你是想一天出一个token？

逍遙 回复 般若波罗蜜 02-27 14:31
慢点就慢点呗，主打一个省钱

灿烂时空 回复 02-21 19:59
暂时我看到所有都是龟速 想上吊的龟速 直接免费用GPT3.5就行了

用户18xxx20 回复 02-22 09:55
付钱买api就不会繁忙了

般若波罗蜜 回复 02-26 06:00
服务器限流。他们公司不是正规的互联网公司，服务器有限，做了限流。

梦一回╭♀丶 回复 02-22 08:14
挖矿[哭笑不得]

DDK 叶哥 回复 02-25 00:53
CPU和GPU各有所长，但实际大语言模型，理论上用LPU更合适。 英伟达多年布局CUDA，在软件应用上占有绝对优势。

般若波罗蜜 回复 02-26 05:59
不是一万，是十六万三千多，但是实际是公用一个显存，略微等待一点。等效于十万个乘法器去打x64的CPU里面加速指令的512个乘法器。