4月24日,昆仑万维宣布正式开源其多模态推理模型Skywork-R1V2.0(以下简称R1V2.0)。这一升级版本在视觉与文本推理能力上均实现了显著提升,特别是在高考理科难题的深度推理和通用任务场景中表现出色,堪称当前最均衡兼顾视觉与文本推理能力的开源多模态模型。

R1V2.0的开源,不仅是昆仑万维在多模态领域技术实力的体现,也为全球开发者和研究者提供了强大的工具,推动多模态生态建设。该模型在多个权威基准测试中刷新了开源SOTA纪录,展现出与商业闭源模型相媲美的能力。

性能全面提升,领跑中文场景

R1V2.0在中文场景下的表现尤为突出,特别是在理科学科题目(数学、物理、化学)的推理效果上,堪称免费AI解题助手。该模型不仅在MMMU上取得73.6分的优异成绩,刷新开源SOTA纪录,还在Olympiad Bench上达到62.6分,显著领先其他开源模型。此外,在MathVision、MMMU-PRO与MathVista等多项视觉推理榜单中,R1V2.0均表现优异,多项能力已可媲美闭源商业模型。

在文本推理方面,R1V2.0在AIME2024和LiveCodeBench等挑战中分别取得了78.9分和63.6分,展现出人类专家级数学与代码理解能力。这些成绩表明,R1V2.0不仅在视觉推理上表现出色,在文本推理方面也具备卓越的能力。

昆仑万维开源Skywork-R1V 2.0版本 视觉与文本推理能力提升

技术亮点:多模态奖励模型与混合偏好优化

R1V2.0的性能提升得益于多项技术创新。其中,最引人注目的是全新推出的多模态奖励模型Skywork-VL Reward和混合偏好优化机制(MPO)。

Skywork-VL Reward模型为多模态强化学习提供了高质量的奖励信号,能够精准评估多模态推理模型长序列输出的整体质量。这一模型在视觉奖励模型评测榜单VL-RewardBench中取得了73.1的SOTA成绩,同时在纯文本奖励模型评测榜单RewardBench中也斩获了高达90.1的优异分数,全面展示了其在多模态和文本任务中的强大泛化能力。

MPO机制则通过引入多种损失函数协同优化,解决了大模型训练中“深度推理提升”与“通用能力保持”的难题。R1V2.0借助Skywork-VL Reward提供的偏好信号,引导模型进行偏好一致性优化,从而确保模型在多任务、多领域下具备良好的通用适应能力。此外,R1V2.0在训练深度推理能力时,采用了基于规则的群体相对策略优化GRPO方法,通过同组候选响应之间的相对奖励比较,引导模型学会更精准的选择和推理路径。

持续开源,推动AGI发展

昆仑万维一直致力于推动人工智能的开源和创新。R1V2.0的开源,是昆仑万维在多模态领域的重要里程碑。该模型的38B权重和完整技术报告已在Hugging Face和GitHub上全面开源,开发者可以自由访问和使用这些资源。

昆仑万维表示,开源驱动创新,AGI终将到来。R1V2.0不仅推动了开源多模态大模型在能力边界上的突破,更为多模态智能体的搭建提供了新的基座模型。未来,昆仑万维将继续秉持“开源、开放、共创”的理念,持续推出领先的大模型与数据集,赋能开发者,推动行业协同创新,加速通用人工智能(AGI)的实现进程。

-代码仓库:

https://github.com/SkyworkAI/Skywork-R1V