李飞飞团队“50美元”复刻DeepSeek-R1？一文读透“白菜价”背后的真正逻辑

据报道，李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的费用，使用了16张英伟达H100GPU，耗时26分钟就完成了模型s1-32B的训练。

参与该项目的斯坦福大学研究员尼克拉斯·穆宁霍夫（NiklasMuennighoff）更是表示，如今，只要约20美元就能租到所需的计算资源。

然而，关于训练成本，有几点需要明确。

首先，模型s1-32B的打造并非是从零开始，而是基于现成的、预训练的模型（阿里通义千问Qwen2.5-32B-Instruct）进行监督微调。而微调一个模型和从零开始训练一个模型的成本是无法相提并论的。

其次，50美元是否包含了其他数据、设备、消融实验等费用，还要打一个问号。正如DeepSeek-V3不到600万美元的训练成本，实际上也只包括了训练时的GPU算力费用。

郑骁庆向每经记者表示，“像DeepSeek或者类似的公司，在寻找有效的整合解决方案时，需要进行大量的前期研究与消融实验。”

而消融实验就意味着，前期是需要大量“烧钱”的。

AI数据公司Databricks研究员奥马尔·哈塔布（OmarKhattab）评价称，（李飞飞团队的）论文似乎是关于Qwen模型的某种发现。

图片来源：X

谷歌DeepMind资深研究员WenhuChen同样表示，“真正神奇的是Qwen模型。我们尝试过把基座模型换成其他模型，用同样的数据去训练，但最终并不能达到这么好的效果。”

也就是说，s1-32B是站在了“巨人肩膀”上，且50美元的成本也并没有涵盖Qwen模型的训练费用。

李飞飞团队发表的论文提到，根据Qwen2.5-32B-Instruct进行微调的s1-32B模型，在数学和编码能力测试中的表现，与OpenAI的o1和DeepSeek的R1等尖端推理模型不相上下，在竞赛数学问题上的表现更是比o1-preview高出27%。