搭载M3 Ultra的Mac Studio在本地运行大规模DeepSeek R1 AI模型

根据Lee的测试，6710亿参数的AI模型可以直接在苹果高端工作站上执行，但需要大量内存资源，消耗404GB存储空间，并需要通过终端命令手动分配448GB虚拟内存。

M3Ultra的统一内存架构是实现这一性能的关键，它允许系统高效处理DeepSeekR1的4位量化版本。量化略微降低了准确性，但它保持了所有参数，每秒可提供约17-18个标记，足以满足许多实际应用的需要。

最令人印象深刻的是，MacStudio在实现这一性能的同时，功耗还不到200瓦。而在传统PC硬件上实现与之相当的性能则需要多个GPU，耗电量约为其十倍。

在本地运行此类高级人工智能模型的能力为医疗保健数据分析等敏感应用提供了隐私优势，因为在这些应用中，将信息发送到云服务会引发安全问题。