大模型降智?那就本地部署!掠夺者内存+SSD助力打造超级AI主机!

潮玩情报官 2025-03-26 10:22:52

小伙伴们好,我是潮玩!关注一下,每天都有新收获哦!↑↑↑

最终,我们担心的事还是发生了。近期,有不少小伙伴们发现,使用部分大模型搜索的时候,它似乎没有以前聪明了,甚至会把风马牛的事,生硬地拧在一起,再一本正经地输出。其实,这并不意外,因为大模型本身并没有自主判断专业领域对错的能力。如果它在互联网中学习的话,大概率是不论对错是非,都会很认真去学习的。那么,如何保证我们的大模型干净、清纯如初呢?这就需要我们进行本地化部署了!今天,我们就与友友们一同分享下,如何打造一台家用级别的超级AI主机吧!

一、我们先来看一下,最终装机的成果吧!

超大容量的内存、PCIe5.0的固态,粗壮的显卡。别的不说,光看样子就感觉主机的性能弱不了。

这就是我们打造的家用级AI主机的鲁大师跑分,其中,它的处理器得分为940800,显卡得分为1491529,内存得分为306871,硬盘得分为371649,整机的性能得分为3110849。

在语言大模型的测试之中,它的PHI 3.5得分为4830(239.35token/s),MISTRAL 7B得分为5129(180.91token/s),LLAMA3.1得分为 4971(148.26token/s),LLAMA2得分为5087(90.38token/s)。

在文生图大模型的测试之中,它的得分为49737分,总耗时为5.026s(生成16张高品质图片),总体图片的生成速度为0.628s/image。从上述的数据来看,这套系统整体上来讲,已经接近于在线使用大模型的程度了。

细心的友友们一定发现了,我们使用了两套同品牌的硬件,分别是来自宏碁掠夺者的32GBx2 DDR5 6400MHz的内存和它家最新出品的GM9000 2TB PCIe5.0固态硬盘。以及技嘉X870主板与技嘉4090显卡。这其中,技嘉的显卡与主板,均是御三家之一。但为什么内存和固态要在林林总总的品牌之中,专门去挑掠宏碁夺者呢?

二、为什么要独爱掠夺者内存?(一)掠夺者Hermes冰刃 32GBx2 6400MHz DDR5内存测试

因为,这个品牌不论是内存还是固态,都有着相当稳定的性能发挥。不但不会成为拖油瓶,还会助力整套系统的性能提升。特别是本次使用的6400MHz甜点频率的64GB内存,更是将频率与容量做到了家用的极致水平!

一款高品质的内存,首先它的默频不能太低,否则也会影响后续超频的性能,掠夺者Hermes冰刃就是这样,它的默频为5600MHz。

在默频之下,它鲁大师的跑分成绩也是不错的。其中内存得分为254652,硬盘得分为372013,显卡得分为1459045,处理器得分为896790。由于内存频率为默频,我们可以看出,9800x3D都没有发挥出全部的效能。

在AIDA64的测试之中,我们可以看到,这对内存的读取为54217MB/s、写入为75254MB/s,复制为51006MB/s,延迟为98.1ns。

在PerformanceTest的测试之中,它的内存得分为3515,位列全球的前15%。可见,同样是默频5600MHz还是要比4800MHz的高出了不少。

为了进一步提升性能,我们需要在BIOS里面针对内存和CPU进行一下设置。其中内存部分,我们在界面的左下角打开EXPO1和高频宽。

同时,为了进一步提升整机的性能,我们还要开启处理器的超频。在这里,我们推荐AMD 9800x3D在PBO设置里面根据处理器的体质,选择1~3LEVEL。在这里需要特别说明一下,CPU超频主要看自身的体质,但超频之后的稳定性,也需要内存去打配合。否则就会出现,CPU超上去了,内存掉链子了,最终的结果也是整机的频繁重启。而这也是我选择使用掠夺者内存的一个重要方面。

我们可以通过开头鲁大师的跑分图片,来看一下内存频率的变化对于整机性能的提升效果。其中,内存的得分为306871分,较默频提升了约20%,处理器和显卡也均小幅度的提升。

在AIDA64的测试之中,它的读写与延迟均有明显提升。其中读取达到了63801MB/s、写入达到了88057MB/s,复制达到了60547MB/s,延迟达到了71.6ns。

在所有的测试之中,PerformanceTest的测试提升最为显著,它直接将分数拉升到4162,跻身全球前1%的序列。可以说,有这样兼顾稳定与性能的内存,是整机高效运行的基础。

(二)那么,非要32GBx2的不可吗?

其实,这主要和您想跑的大模型思考维度有关。比如说,如果您想跑DEEPSEEK 70B的大模型,如果没有至少40GB内存的托底,即便显卡很牛也是会有瓶颈,甚至是无法运行顺畅的(下图)。

当下70B的DEEPSEEK,也是家用设备能摸到的最高级别的模型了吧。大内存的主要作用,就是避免内存这个中间环节成为瓶颈,从而让4090的性能得以充分地发挥。

三、补个开箱看一眼吧!

这就是本次AI跑分背后“默默”奉献的功臣,宏碁掠夺者Hermes冰刃的外箱。它一共有三款配色,我手上的这款是黑色的。右下角64GB(32GBx2) 6400MHz也代表着,它在AMD平台之下,不论是容量还是频率都近乎是顶级的。

它的背面除了一些特征外,还在标签上标明了它的时序CL32-39-39-102。

打开盒子,我们就可以看到这对内存的本体了。黑色哑光的漆面,金色的丝印及跨越式的灯带,也让它看起来相当的精致。

它采用了特挑的海力士A-Die颗粒、十层的PCB版来保障其不错的超频及稳定性。

此外,它的铝制散热马甲也十分的厚实,即便是在封闭、闷热的机箱之中,也可以用出色的散热来保证内存在超频的情况下稳定运行。

RGB灯带,是掠夺者Hermes冰刃的最大特色之一,它配备了8个独立灯光区域,能够显示1680万色,还具备了十多种灯效控制,并支持市面上绝大多数的神光同步。

四、说一下提升性能的另一位功臣吧!

除了内存之外,我们这次还使用了掠夺者神舆GM9000 PCIe5.0 固态。这也是提升整机性能,让AI跑起来更顺畅的关键一环。

它使用了全新的6nm主控,配备了独立缓存、SLC模拟缓存,使用了佰维自封的存储颗粒,具备了顶流水平的传输速度,是一种可以避免瓶颈的存在。

我们在以前也对其进行过专门的测试,从CDM的跑分来看,它的读取速度为14231.27MB/s,写入为13254.75MB/s。

其中,它的4K表现也非常亮眼,读取达到了2005KIOPS,写入达到了1602KIOPS。

在实际复制的测试之中,它的均速约在4.88GB/s。当然了,这里必须补充一句,这个速度是受另外一块固态(10000MB/s读取速度)的限制所致。若是同等规格,速度还应该更快一些才对。更快速度的固态,对于整个系统会起到一个托举的作用,而近乎满速的掠夺者神舆GM9000 PCIe5.0 固态无疑是打造高性能主机的刚需。即便是加载70B这样约40GB体量大模型时,它也能在瞬间完成。

五、以DEEPSEEK为例,看下如何部署高性能大模型

想要在本地运行DEEPSEEK大模型的方法很多,我们更推荐使用LM STUDIO。因为它的界面更方便我们使用。首先,我们需要在https://lmstudio.ai下载相应版本的LM Studio。

之后,我们在左侧的一列图标中,点击红圈之中的放大镜头。

在这里,我们就可以看到,它列出了很多的大模型。有DEEKSEEK,也有刚刚推荐的可以识别图片的Gemma 3和阿里的千问等。我们可以根据自己的需要进行选择。部署的方式也基本一致。

我们在上面的搜索框中输入DEEPSEEK,点击右侧的Download即可开始下载。整个的过程非常简单,并不需要我们人为干涉。

在模型下载好这后,我们就可以在这里进行加载。当然了,如果想要模型发挥全部的功力,还需要我们在下面进行一下细节的设置。

由于都是家用级别近乎顶配的存在,因此,我们可以毫不犹豫地将CPU、GPU的负荷全部拉满。另外,需要注意的一点是,出于运行效率的考虑,我们务必要打开把大模型“固化”在内存中这一选项!设置完成后,我们就可以开始使用了。当然,如果您需要定制自己的知识库,还需要下载Docker及Ragflow,由于过程比较繁琐,我们抽时间再和小伙伴们分享。

六、番外:来都来了,看一眼其它跑分项吧!

除了上述有关AI、内存及固态的跑分外,我们也对这台整机的性能进行了测试。在PCMARK10的测试之中,它的基本得分为10607、生产力得分为11747,数据内容创作为19117,PCMARK10整体得分为9575分。

在Speed Way的测试之中,显卡帧率为99.9FPS、最终得分为9989。

在Steel Nomad分数的测试之中,显卡帧率为91.1,Steel Nomad为9109。

在Port Royal的测试之中,它的显卡帧率为118.73FPS,Port Royal的得分为25645分。

在Time Spy的测试之中,它的显卡分数为36458、CPU的分数为15706,Time Spy的总体得分为30427。

在Fire Strike的测试之中,它的显卡分数为84336、物理分数为37993,综合分数为22043,Fire Strike的总体得分为57545。整套测试下来,给我们的感觉那就是“彪悍的主机,不需要过多描述”~

购买建议:

从今天一系列的测试中,我们可以看出,对于一台高性能的AI主机来说,除了要有不错的显卡、处理器,更重要的是要消除硬件系统中可能存在的瓶颈。针对特定AMD的系统来说,这一对来自于宏碁掠夺者冰刃的DDR5 6400MHz的32GBx2内存,无疑是足够强悍的。它的容量够大,能够容纳DEEPSEEK 70B的大模型。它的频率在AMD甜点频率的上边缘,可以让处理器性能更好地发挥,而掠夺者神舆GM9000同样是一块达到了PCIe5.0固态速度顶峰的硬盘。可以说,在内存与固态的助力之下,这套主机成为了一个没有瓶颈,且可以高速运行大模型、新老3A游戏,满足重度生产力需求的性能怪兽!

好了,本期的体验分享就到这里,我是潮玩,8小时内努力搬砖,8小时外热烈码字,这里持续分享数码新体验,承蒙欢喜,予我厚爱,我们下期再见!

0 阅读:1

潮玩情报官

简介:每天分享最新潮玩