大型语言模型Grok开源!埃隆·马斯克的xAI今天宣布开放了他们的首个大型语言模型(LLM)Grok

埃隆·马斯克领导的xAI公司开源了Grok,拥有3140亿参数的第一个大型语言模型。这一举措挑战了人工智能领域的现有模式,并对其他竞争对手施加了压力。Grok的开源不仅是技术上的突破,也是商业和公关策略,体现了马斯克对人工智能发展的前瞻性和影响力。

今天,埃隆·马斯的XAI宣布开启他们的第一个大型语言模型(LLM)Grok。这一举措实现了马斯克之前的承诺,即任何其他企业家、程序员、公司或个人都可以获得Grok的权重和其他相关文件,并使用该模型的副本进行各种应用程序,包括商业用途。

XAI在一篇博客文章中宣布:“我们正在发布Grok-1的基本模型权重和网络架构,这是我们的大型语言模型,参数3140亿,XAI从零开始训练。”。对Grok感兴趣的人,可以在GrokGithub页面或种子链接下载其代码。

Grok的开源意味着模型的权重和网络架构变得开放和可用。其中,参数是指模型的权重和偏差。通常,参数越多,模型就越先进、复杂、性能越好。Grok在3140亿参数的情况下明显领先于竞争对手,比如Meta的Llama (700亿参数)和Mistral 8x7B(120亿参数)。

此外,Grok是根据Apache许可证2.0开源的,允许商业使用、修改和分发,但不能注册商标,用户不会收到任何责任或担保。但是,需要注意的是,用户必须复制原始许可证和版权声明,并声明他们所做的任何改变。

Grok架构于2023年10月在JAX和Rust上开发,采用创新的神经网络设计方法。该模型利用25%的权重来处理给定的标记,从而提高其效率和有效性。然而,Grok的发布并不包括其训练数据的所有语料库,这对于使用模型并不重要,因为它已经被训练过了。但这也意味着用户无法理解模型的学习来源。

此外,Grok的发布不包括与xAI的实时信息连接,这使得用户仍然需要在xAI上订阅付费版本。马斯克最初认为这是Grok优于其他LLM的重要属性。

Grok的开源除了技术措施外,也是一种商业和公关策略。该模型被设计为竞争OpenAI的ChatGPT。Grok的名字来自俚语术语,意思是“理解”,被描述为“模拟银河系漫游指南的人工智能”。马斯克将Grok定位为ChatGPT和其他LLM更幽默和不受约束的版本,以回应对人工智能审查系统的投诉和对竞争对手Gemini的批评。Gemini被指控在意识形态立场和种族混淆图像生成方面存在问题。

在OpenAI诉讼和一般批评中,Grok的开源也是马斯克有益的意识形态立场。最近,马斯克以营利性公司的形式对OpenAI提起诉讼,指控其违反了“创建协议”。OpenAI发布了一些电子邮件作为自卫,表明马斯克知道并可能支持其专有和盈利技术的转向。

Grok的发布引起了XAI社区的好奇和兴奋,甚至包括OpenAI的员工。因此,Grok的发布可能会给其他LLM提供商施加压力,迫使他们向用户证明自己的优势。