今年10月,作为苹果公司与哥伦比亚大学的研究成果,Ferret就已经发布过一次,只是当时仅供研究使用而非商业许可,所以并未引起多大关注。如今情况发生了转变,随着各大科技公司你追我赶地公布研发成果,关于本地模型为小型设备提供智能体验的讨论也越来越多。

12月以来,苹果也陆续公布它在AI领域的研发进展。12月初苹果公布Apple Silicon平台专用AI框架MLX、以及能在设备端执行大语言模型的方法,后者能在边缘设备上执行DRAM两倍大的模型,可节省执行大模型所需的运算资源,也更能确保隐私安全。

iPhone的AI时刻不远了?苹果Ferret多模态大模型登场

上周,苹果再次公布全新成果——Ferret大语言模型以及相关标竿测试工具与数据集。

作为一款多模态模型,Ferret可以接受文字、声音、影像或数据的输入。根据苹果10月公布Ferret的研究论文,Ferret能理解任何形状或任何图片颗粒(granularity),并且可以准确定位(ground)开放词汇的描述。为了把引用(refer)和定位能力整合到模型中,Ferret采用一种混合区域表征(hybrid region representation)技术,整合个别方位和连续性的特征,以表示图片中的某一区域。为提取出区域中的连续特征,苹果研究人员提出一种空间感知的视觉采样器,它能处理不同形状多种稀疏性。这也使Ferret可以接受多样化区域输入,像是点、边界框、自由形式的形状。

为提升Ferret的能力,苹果团队使用了GRIT数据集(Ground-and-Refer Instruction-Tuning),后者为是一个广大的refer-and-ground指令微调数据集,包含110万个样本,内有丰富的阶层化空间知识,以及9.5万个负样本,以提升模型的判断力。

与Kosmos-2、GPT4-ROI、LLaVA、Shikra等多模态大语言模型比较,最后苹果得到的模型Ferret-13B,在传统引用及定位任务具有优异效能,此外,在区域为基础、需要本地化的多模态对话、细节描述,以及复杂推理等任务上,Ferret-13B的表现同样优于其他模型。在视觉化比较任务,苹果说它的模型展现优异的空间理解及常识推理能力。此外,苹果宣称其物件幻觉也较Shikra、InstructBLIP、MiniGPT4、LLaVA、MM-GPT及 mPLUG-Owl等知名模型少很多。

苹果公布了Ferret7B、130B二模型的 代码、GRIT数据集、标竿测试工具Ferret-Bench,上周也公布了Ferret 70B及130B检查点(checkpoint)。

有趣的是,在人工智能社区中,很多人都是到最近才发现苹果的大模型,Bart de Witte也在X上感叹自己居然错过了这个消息,同时也表示:“期待着有一天,本地大型语言模型能作为重新设计的iOS的集成服务,运行在我的iPhone上。”

iPhone的AI时刻不远了?苹果Ferret多模态大模型登场

随着苹果大模型的开发有了新的进展,Anthropic和OpenAI据称也在为其专有大语言模型的开发工作谈判新的巨额融资。