Meta AI的Llama语言模型经修改后可在有20年历史的Xbox 360上运行

开源项目llama2.c旨在完全使用C代码运行轻量级版本的Llama2模型。这个"婴儿"Llama2模型受到llama.cpp的启发，llama.cpp是一个为在从本地设备到云平台等各种硬件上实现LLM推理而创建的项目。现在，这些紧凑的代码实验已被用于在几乎所有带芯片的设备上运行人工智能技术，凸显了人工智能工具日益增长的可访问性和多功能性。

在看到ExoLabs在运行Windows98的古老PentiumII上运行一个大型语言模型后，开发者AndreiDavid决定接受一个更加非传统的挑战。他从自己的Xbox360游戏机上掸掉灰尘，开始强迫这台使用了近二十年的机器加载MetaAI的LlamaLLM系列中的人工智能模型。

David在X上分享说，他成功地将llama2.c移植到了微软2005年的游戏机上。然而，这一过程并非没有重大障碍。Xbox360的PowerPCCPU是big-endian架构，因此需要对模型的配置和权重进行大量的endianness转换。此外，他还必须对原始代码进行大量调整和优化，使其能够在老化的硬件上运行。

内存管理是另一项重大挑战。60MB的llama2模型必须经过精心设计，以适应Xbox360的统一内存架构，即CPU和GPU共享同一个内存池。大卫认为，Xbox360的内存架构在当时是非常具有前瞻性的，它预示了现代游戏机和APU的标准内存管理技术。

经过大量的编码和优化，戴维成功地在他的Xbox360上运行了llama2，只用了一个简单的提示："瞌睡乔说"。尽管llama2模型只有700行C代码，没有任何外部依赖性，但戴维指出，如果针对足够狭窄的领域进行定制，它可以提供"令人惊讶"的强大性能。

大卫解释说，在Xbox360这种有限平台的限制下工作，不得不优先考虑内存的高效使用。对此，另一位X用户提出，微软老式游戏机的512MB内存可能足以运行其他小型LLM实现，例如人工智能初创公司HuggingFace创建的smolLM。

开发者欣然接受了挑战，因此在不久的将来，我们很可能会在Xbox360上看到更多的LLM实验。