Mozilla 最近通过其 Mozilla Builders 计划推出了一款名为 LocalScore 的工具,旨在为本地大型语言模型(LLM)提供便捷的基准测试。该工具兼容 Windows 和 Linux 系统,具有极大的潜力,成为了易于分发的 LLM 框架的重要组成部分。尽管 LocalScore 仍处于早期开发阶段,但其表现已相当不错。
LocalScore 是基于上周发布的 Llamafile0.9.2版本开发的,这一更新使得 LocalScore 成为一款实用的基准测试工具,能够在 CPU 和 GPU 上进行大型语言模型的性能评估。通过这一工具,用户可以轻松测量 LLM 系统的性能,获取快速且可靠的结果。
用户可以选择直接从 Llamafile 包中调用 LocalScore,或者使用适用于 Windows 和 Linux 的独立 LocalScore 二进制文件,方便进行 AI 基准测试。值得一提的是,LocalScore.ai 作为一个可选的存储库,专门用于存储 CPU 和 GPU 基准测试的结果,这些结果基于 Meta Llama3.1模型的官方模型进行计算。用户通过 LocalScore.ai 能够轻松运行基准测试,过程简单明了。
LocalScore 的推出不仅提升了 Mozilla 在 AI 和 LLM 领域的影响力,也为开发者和研究人员提供了一个开源的、便捷的基准测试工具。Mozilla Builders 计划期待更多易用、快速部署的跨平台开源 AI 基准测试工具的出现,以促进 AI 技术的进一步发展。
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则