近日，开发者Georgi Gerganov使用苹果M2 Ultra芯片进行了一系列LLaMA模型推理测试。测试结果显示，该芯片在并行运行128个Llama 2 7B流时效果显著。
据了解，LLaMA模型推理测试主要强调内存带宽而非计算能力。而苹果M2 Ultra芯片号称具有“内存带宽达800GB/s”的特点，在推理过程中表现出色。
然而，尽管M2 Ultra芯片具备出色的内存带宽优势，但用户最多只能获得192GB RAM（即192GB运行内存）。如果用户购买搭载M2 Ultra芯片和192GB运行内存的Mac Studio，价格相当于一台拥有1TB RAM和RTX 4090显卡的PC。
Georgi Gerganov认为，在选择相关机器时，如果用户的负载（如推理）不需要超过192GB，则可以更重视“内存带宽”表现。然而，如果用户有其他工作需求，则可以考虑相对应价格的PC产品。
参考：
- Y Combinator论坛
- 苹果官网
本文属于原创文章，如若转载，请注明来源：苹果M2 Ultra性能实测：内存带宽才是王道https://news.zol.com.cn/836/8367190.html
