太强了!AIPC搭载70B大模型,算力狂飙,内存开挂

科技确有核芯 2025-03-25 22:46:43
电子发烧友网报道(文/黄晶晶)AI推理助推了DeepSeek一体机的市场热度,而AI PC对DeepSeek大模型的支持也将是广大用户采购AI PC的参考因素。不同配置的AI PC可支持DeepSeek-R1不同模型。相对来说,DeepSeek-R1 70B大模型或许是日常AI功能的顶格需求,它也是当前高性能AI PC的着力点之一。 AI PC跑大模型DeepSeek-R1目前已经发布了1.5B/7B/8B/14B/32B/70B/671B共7类不同参数量的大模型版本。适配自然语言处理、内容生成创作等不同的场景需求和功能,相对应的也需要不同级别的硬件性能配置,参数越大所需的计算资源就越大。 根据京东给出的配置参考,个人消费者在日常生活和学习场景中,想要满足文本生成基础问题、基础图像处理等需求,可选择1.5B/7B/8B这三类参数量的模型,通过个人笔记本、台式机就能完成DeepSeek本地部署。 1.5B模型需要最低4G显卡,可选GTX 1050及以上显卡,CPU最低4核,内存最低8G。7B/8B模型则需要8G显卡、CPU最低8核、内存最低16GB。 若要实现多语言处理、AI推理、智能数据分析、专业图像处理等需求,可选择DeepSeek-R1 14B/32B模型进行本地化部署,但其对硬件配置有更高要求。其中,14B模式需要16G显卡、12核CPU和32G内存,至少是RTX4000Ada及以上显卡。32B模式则需要24G显卡、16核CPU和64G内存,可选A6000及以上显卡并行计算。 对于大型企业、高端设计、科研和企业级应用,这类高性能需求场景可选择70B模型,可完成深度学习、复杂数据分析和高级图像处理等功能。目前,70B模型可选2个A100 80G显卡或4个RTX4090显卡并行,配备32核CPU和128G的内存。 实际上,70B模型进行本地部署已经足够满足日常需求,处理器和PC厂商正积极推进AI PC运行大模型的方案。 AMD AI Max+ 395今年1月CES 2025上,AMD发布代号为“Strix Halo”的锐龙AI Max系列已经可以支持本地化运行700亿参数版本的DeepSeek大语言模型(LLM),助力各类生成式AI的应用。 全新的锐龙AI Max系列处理器采用了 Zen 5 CPU 和 RDNA 3.5 GPU 架构,并运用先进的芯粒(chiplets)封装技术。每个 Zen 5 CPU 核心位于独立的 CCD 上,最高两个 CCD 提供 16 个 Zen 5 核心,核显(iGPU)最高拥有40个RDNA 3.5 计算单元。此外,该处理器还采用 LPDDR5x 内存标准,内存带宽高达256GB/s,集成 50 TOPS“XDNA 2” NPU,为 Windows 11 AI+ PC 提供领先的 AI 性能,也为新一代AI PC带来了革命性的突破,为游戏玩家、创作者和普通用户提供了卓越的性能和强劲的动力。 在AI 性能方面,得益于锐龙AI Max+ 395配备了高达50 TOPS的XDNA 2架构NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同时功耗降低了87%。同时得益于锐龙AI Max系列还支持高达128GB的统一内存,其中最高可将96GB用于图形处理,这也使得搭载该处理器的系统能够实现无缝、可靠的多任务处理,并支持运行700亿参数的超大规模的AI模型,使得该处理器成为了全球首款运行700亿参数模型的AI PC处理器。 ROG幻X 2025将首发搭载第三代 AMD AI+ PC 移动处理器——AMD 锐龙 AI Max+ 395。据称,这是唯一本地流畅运行DeepSeek 70B模型的X86笔记本。全新ROG幻X 2025配备128GB 256bit LPDDR5X 8000MHz统一内存,支持最大96GB动态显存分配,可实现CPU多任务与集显图形处理之间的灵活调用。结合CPU+GPU+NPU总算力可达126 TOPS,可以轻松本地部署AI大模型,流畅运行各类端侧AI应用。 Apple M3 Ultra加持新款Mac Studio前不久,苹果公司正式推出了其性能最为强大的Mac产品即新款Mac Studio。据介绍,新款Mac Studio凭借其强大的中央处理器、先进的图形架构、高带宽的统一内存、极速的固态硬盘以及高效能的神经网络引擎,能够轻松应对各种繁重的任务挑战。无论是进行复杂的数据处理、图形渲染还是运行大型软件,新款Mac Studio都能游刃有余。 新款Mac Studio提供了M4 Max和M3 Ultra两种芯片版本供用户选择。其中,M4 Max型号的起售价为16499元,而搭载M3 Ultra芯片的型号起售价则为32999元。M3 Ultra版本的Mac Studio最低配备96GB的统一内存,最高选配512GB。此外,新款Mac Studio还支持最高达16TB的固态硬盘选配。 Mac Studio以强大的性能和满血内存,其顶配版本可以直接在本地运行deepseek R1 671B满血版大模型。当然其价格高达108749元。 苹果表示,M3 Ultra是迄今最强大的Apple芯片,由两块芯片强强合体,带来双倍的中央处理器、图形处理器、神经网络引擎和内存带宽。性能表现突飞猛进,无论是处理庞大的数据集,还是同步进行动画制作和 3D 场景渲染,各种极限任务都所向披靡。还有最高达 512GB 的统一内存,运行大语言模型 (LLM),仅凭内存就足够。 小结AI PC支持百亿级大模型,需要高性能CPU、GPU、NPU的支持,同时也需要大容量的存储,而一些厂商也开始推进统一内存架构的使用。早前苹果M系列芯片采用统一内存架构,例如,iMac搭载 M4芯片,M4 芯片配备了最多 10 核中央处理器,包括 4 颗性能核心和最多 6 颗能效核心。支持最多 32GB 统一内存,内存带宽也提升至 120Gb/s。 而英特尔下一代 AI PC旗舰产品Lunar Lake 处理器也将内存封装在芯片之中,这种设计可显著提升数据传输速度和系统响应时间,有助于降低功耗,还能简化主板布局。 PC终端跑70B大模型能够让用户体验更智能更丰富的AI功能,当然成本也是一大因素,一旦到达合适的性价比,支持大参数量的AI PC会成为优中之选。
0 阅读:0

科技确有核芯

简介:感谢大家的关注