微软为 Copilot+ PC 提供经过提炼的 DeepSeek R1 模型
DeepSeek征服了移动世界,现在正在向Windows扩展,令人惊讶的是,它得到了微软的全力支持。昨天,这家软件巨头将DeepSeekR1模型添加到其AzureAIFoundry,以允许开发人员使用它测试和构建基于云的应用程序和服务。今天,微软宣布将R1的精简版本引入Copilot+PC。
精简模型将首先提供给搭载骁龙X芯片的设备、搭载英特尔酷睿Ultra200V处理器的设备,然后是搭载AMDRyzenAI9的PC。
第一个模型将是DeepSeek-R1-Distill-Qwen-1.5B(即15亿参数模型),更大、更强大的7B和14B模型即将推出。这些模型将可从微软的AI工具包中下载。
微软调整了这些模型,使其在搭载NPU的设备上运行。严重依赖内存访问的操作在CPU上运行,而计算密集型操作在NPU上运行。通过优化,微软成功实现了快速的第一个词元时间(130毫秒)和短提示(少于64个令牌)每秒16个词元的吞吐率。
微软是OpenAI(ChatGPT和GPT-4o的制造商)的坚定支持者并有着深度投资,但它似乎并不偏袒——它的AzurePlayground有GPT模型(OpenAI)、Llama(Meta)、Mistral(一家AI公司),现在还有DeepSeek。
如果您更喜欢本地AI,请先下载适用于VSCode的AI工具包。从那里,您应该能够在本地下载模型(例如,“deepseek_r1_1_5”是1.5B模型)。最后,在Playground中点击“尝试”,看看这个精炼版R1有多智能。
“模型精炼”,有时也称为“知识精炼”,是采用大型AI模型(完整的DeepSeekR1有6710亿个参数)并将其尽可能多的知识转移到较小的模型(例如15亿个参数)的过程。这不是一个完美的过程,精炼模型的性能不如完整模型-但其较小的尺寸使其可以直接在消费硬件上运行(而不是花费数万美元的专用AI硬件)。
踩一下[0]
顶一下[0]