等等党们!别只顾着刷剧,M系列芯片的潜力还没榨干呢!
最近,有个开源项目ANEMLL(Apple Neural Engine Machine Learning Library)正在死磕苹果的神经网络引擎(ANE),想让大语言模型(LLM)在苹果设备上跑得飞起。这事儿听着就带劲,想想以后拿着MacBook就能本地跑AI,多酷!
但是!苹果对ANE的内部信息捂得严严实实,内存速度、性能参数啥的都不透明。这咋办?开源社区的大佬们就自己撸了个benchmark工具——anemll-bench,专门用来测试ANE的带宽,这可是优化LLM的关键指标。
现在,ANEMLL项目组向各位手持“Ultra”神器的Mac用户发出英雄帖:M1 Ultra、M2 Ultra,当然,如果你是M3 Ultra的幸运儿,那就更欢迎了!即使是M2 Max、M3 Max、M4 Max也行,数据多多益善!
想为开源社区添砖加瓦?简单三步走:
1. 下载anemll-bench(github上搜一下就能找到)。
2. 按照说明文档跑个测试,简单易懂!
3. 把生成的JSON结果通过issue或者邮件提交给项目组。
贡献数据的好处?
* 助力开源项目,参与历史进程!
* 看看你的设备在性能榜上排第几!
跑分之后,记得回来分享一下你的结果,看看谁的设备才是真正的“性能怪兽”!
这个项目要是成了,以后咱们就能在Mac上畅玩各种AI应用了,想想就激动!