Mozilla Builders的LocalScore:一个有趣的本地AI大模型基准测试
Llamafile 0.9.2于上周发布,并将LocalScore带入代码库,这是一个基准测试实用程序。LocalScore有助于在CPU和GPus上进行大型语言模型(LLM)基准测试。它是一种评估LLM系统性能的简单且便携的方法。
LocalScore可以从Llamafile包触发,或者还有一个适用于Windows和Linux的独立LocalScore二进制文件,以方便进行AI基准测试。
作为Llamafile的这一新增功能的一部分,现在有了LocalScore.ai作为可选存储库,用于存放LocalScore的CPU/GPU结果,这些结果使用了基于微型/小型/中型MetaLlama3.1模型的官方模型。
通过LocalScore.ai,可以使用官方模型运行CPU和/或GPUAILLM基准测试,步骤简单。基准测试可以在Windows和Linux系统上轻松完成。
LocalScore是开源的,也是MozillaBuilders计划的一个不错的补充,非常希望看到更多易于使用/快速部署和跨平台的开源AI/LLM基准测试。
责任编辑:站长云网
踩一下[0]
顶一下[0]