Mozilla 最近通过其 Mozilla Builders 计划推出了一款名为 LocalScore 的工具,旨在为本地大型语言模型LLM)提供便捷的基准测试。该工具兼容 Windows 和 Linux 系统,具有极大的潜力,成为了易于分发的 LLM 框架的重要组成部分。尽管 LocalScore 仍处于早期开发阶段,但其表现已相当不错。

Mozilla发布LocalScore:简化本地AI模型基准测试的新工具

LocalScore 是基于上周发布的 Llamafile0.9.2版本开发的,这一更新使得 LocalScore 成为一款实用的基准测试工具,能够在 CPU 和 GPU 上进行大型语言模型的性能评估。通过这一工具,用户可以轻松测量 LLM 系统的性能,获取快速且可靠的结果。

Mozilla发布LocalScore:简化本地AI模型基准测试的新工具

用户可以选择直接从 Llamafile 包中调用 LocalScore,或者使用适用于 Windows 和 Linux 的独立 LocalScore 二进制文件,方便进行 AI 基准测试。值得一提的是,LocalScore.ai 作为一个可选的存储库,专门用于存储 CPU 和 GPU 基准测试的结果,这些结果基于 Meta Llama3.1模型的官方模型进行计算。用户通过 LocalScore.ai 能够轻松运行基准测试,过程简单明了。

LocalScore 的推出不仅提升了 Mozilla 在 AI 和 LLM 领域的影响力,也为开发者和研究人员提供了一个开源的、便捷的基准测试工具。Mozilla Builders 计划期待更多易用、快速部署的跨平台开源 AI 基准测试工具的出现,以促进 AI 技术的进一步发展。