今年对大模型行业而言,是一个里程碑。从年初至今,大模型在企业中的应用迅速扩展,智能体作为其核心应用之一,已经成为许多企业解决复杂业务问题的不可或缺的工具

今年是大模型产业落地元年。从年初到现在,客户对大模型的预期越来越高,要求解决更多的业务场景问题。

在这个过程中,智能体正在爆发——越来越多的客户希望自身应用,能向下一代智能体(Agent)的方向演进

简单说,如果将大模型比作大脑,智能体就像是大脑的手脚和四肢。它能拆解客户复杂的需求,调用工作流和工具,成为一个真正的业务小助手。由于它的门槛足够低,可以让更多人入门。而今天大多数 AI 原生应用,几乎都能用智能体搭建

业界所有大模型公司和生态企业都在做智能体。这也意味着,大模型落地已进入 ” 必卷智能体 ” 的阶段。

在 7 月 30 日于上海举办的 2024 京东云峰会上,京东正式发布言犀智能体平台,它是一站式智能体开发平台。京东云判断,智能体、数字人、具身智能是未来大模型与终端用户的核心交互介质。其中,智能体更偏云端,是企业 AI 原生应用的重要推手。

实际上,京东云此次发布了包括言犀智能体平台在内的、支持大模型落地的全栈产品,加速大模型全场景落地。

大模型落地元年,智能体引领业务革新

” 通用大模型靠算力堆出来,企业大模型则靠业务跑出来。”京东技术委员会主席、京东云事业部总裁曹鹏在云峰会上说。通过日臻完善的产品和工具平台体系,大模型才能与产业结合,发挥最大潜力。

数智前线获悉,京东云大模型全栈产品是在京东供应链这一超级孵化器中孵化而来。目前,在京东内部已有超过 100 个大模型的应用,支撑了超过 60 万员工和 20 万的商家的应用。

01

” 一线对智能体的热情令我惊讶 “

京东相关负责人表示,在实践中感受到,智能体是今年大模型落地中,应用效果最好的工具平台之一

京东发布的言犀智能体平台,实际上是一个 ” 内生外化 ” 的产品。它从去年 10 月开始研发,今年春季在京东和一些生态链企业开放使用,仅仅几个月时间里,员工就搭建了 3300 多个智能体。” 让我们惊讶。” 该负责人说。同时,平台上也形成了上千个工作流、知识库,受欢迎程度,超出预期。

” 这可能与京东业务人员多,链条又足够长有关。” 一个有趣的现象是,过去一些年,京东在核心的零售供应链,投入了大量 AI 算法团队。而这次大模型的变革,却为那些过去没有被 AI 影响到的群体,带来颠覆性的变化一线业务、职能、产品经理等都结合自己的工作,创建 Agent。

比如,有人搭建了视频剪辑 Agent。因为京东内部有大量培训视频要剪辑,过去大家要手动去找到相应部分,再用剪辑软件去剪,一周只能剪几个。现在这个视频剪辑助手,只要上传视频和要求,就可以利用大模型多模态能力,找到对应的帧,员工再去剪辑,一周可以完成上百个。

另一个智能小哥助手,为快递小哥做路径规划、智能提示,解放他们的双手;在京东的智能体市场上,有大量活跃的 Agent。有电话营销质检智能体,已产生百万级访问量,替代人工做营销电话的审核与校验 …… 此外,京东有超 60 万员工,还有大量通用场景智能体,如报销类、学习类。

大模型落地元年,智能体引领业务革新

由于针对大量一线员工使用,言犀智能体平台支持了零代码开发,让没有算法背景的员工,也能通过可视化、拖拽方式来搭建智能体。” 智能体平台就是让每一份 AI 灵感都能快速落地。” 京东相关负责人对此深有体会。

智能体给组织协作也带来了改变。之前一些业务部门协同时,要找对方拉会,需要开发还要制定排期。现在大家自发把各自的工具和 API 注册到智能体平台上,实现了底层能力的链接,其他部门员工可直接调用,协作也变得不一样。

在经历内部锤炼后,言犀智能体平台对外开放。在商业模式上,提供公有云和私有化部署

市场上已推出的智能体平台,不少侧重在个人开发者,但言犀智能体平台更针对行业。它在内部孵化时,获得京东零售、健康、物流各板块的广泛使用,沉淀了相应的行业解决方案。这次发布中,言犀智能体平台预置了相关配置模版和插件,以及100 多种行业解决方案,客户用 1 分钟即可构建专属智能体。

针对企业如何用好智能体,京东相关负责人建议,尤其要注意两方面:一是要持续挖掘爆款,打造标杆。比如,京东每周会根据数据,选拔智能体在官方市场上架,吸引更多人使用。” 黑客马拉松则再将其推高一个档次,一浪高过一浪。”

另一则与平台运营相关。如何支撑成千上万员工的应用?一方面要建立有企业特色的类目体系,将成千上万的智能体分好类,方便大家查找;另一是及时沉淀成熟解决方案,用户可以直接使用。

智能体做出的 AI 原生应用,给企业软件市场也带来变化。一些智能体直接替代了原有企业的 SaaS 软件,一些则嵌入到 SaaS 系统中去。言犀智能体平台也提供了简单的应用发布环节,企业可将搭建的智能体通过 Web、API 等方式,发布到内部 IM,如企业微信及协同办公渠道。

业界看到,Agent 目前仍然处于非常初级的阶段,未来会产生更多意想不到的 Agent 能力,这有赖于长千上万的企业应用者。他们使用的过程,将是 AI Agent 进化的过程。

02  

智能体背后,大模型的锻造流水线

言犀智能体平台目前已接入数十个大模型。而这些模型,由言犀 AI 开发计算平台输送而来。在上海云峰会期间,言犀 AI 开发计算平台全面升级到 2.0,并根据大模型落地关键点,突出了其中的关键能力。

大模型落地元年,智能体引领业务革新

第一个能力是模型压缩 + 模型拉升。从去年底开始,各家企业的主要精力,都是根据客户的使用场景,在基础大模型上裁剪、拉升出各种小模型。曹鹏介绍,这是因为即便经历了军备竞赛式的投入,通用大模型到了真正的场景里,” 仍差了那薄薄的一层纸,需要专门调优“。而且不少场景要求模型反应速度要快,推理成本要低,小模型的市场反而更大。

目前,企业一般是采用一个模型群组,来实现不同场景的应用。这些模型群组,需要对通用大模型进行萃取压缩,以及灌注企业知识进行放大而来。在言犀 AI 开发计算平台上,用户可通过零代码方式,通过这样的推和拉,能快速获取到一个企业的专业模型。同时,推理的成本降低 100%,速度提升 1.5 倍。

” 目前业界通常分两步走——压缩和垂域模型微调。” 京东人工智能业务部相关负责人说,但言犀 AI 开发计算平台可在压缩的过程中,将垂域知识灌注进去。这也是京东广泛采纳的一个方案。

第二个能力是数据准备。每个行业都有大量数据,包括多模态数据。这需要工具链具备极强的处理能力。

同时,过程数据的缺失,是业界落地大模型中,遇到的最大障碍。” 比如我们看到一个症状,以及专家的处置建议,但并不知道专家的推理逻辑是什么。” 京东健康相关负责人告诉数智前线,如果没有推理逻辑,就解决不了幻觉问题。

” 我们今天花了很大力气,通过专家和大模型去补充。”一种是通过 RAG 的方式,这是当下业界必不可少的技术,给模型文献资料,让它自动化地捕捉推理链路;另一种通过专家来补充。工具平台能不能帮专家团队提效,也是业界在拼的技术关键。

此外,大模型合成数据非常火爆。” 如何在垂域合成数据,与种子数据比较贴近,团队也做了深入工作。” 京东人工智能业务部相关负责人说。

第三个能力是模型评估。它包括通用能力评估以及垂域能力评估。针对通用大模型评测,市场上有一些不错的榜单,公开了代码和评测数据集,可以自动评测,直接出分。” 要先保通用能力。如果没有通用能力,就没有垂域。”

至于垂域评测,京东在健康、零售等有评测数据集,用户在调完模型后,也能再评测垂域。这也是自动化的。当然,也有一些人工评测,比如健康场景中人更懂业务,平台也提供类似众包的方式,让大家参与评测。

在产业之中,构建一个评测系统非常关键。” 与其说怎么训练好一个垂域模型,不如有一个评测体系能告诉你,模型该往哪个方向去进步,这件事情尤其重要。” 除了工具平台外,京东也搭建了评测团队,” 这是我们的幕后英雄 “。

03

AI 大底座,加速大模型全场景落地

伴随着大模型及智能体应用到产业一线,业界发现,计算、网络、存储等底层基础设施也需要适应新局面,解决新挑战。

大模型落地元年,智能体引领业务革新

最典型的一点,当下产业端的大模型应用实践,要打造更开放的基础设施平台,比如支持多云、多芯、多活,能够承接多种模型,从而满足复杂的应用场景和业务需求。

目前,多模态大模型的打造,需要的算力是之前的 10 倍甚至百倍。全球企业都有一个特点,基于异构算力,来完成模型的训练、调用和推理,解决普遍面临的算力紧缺并提升性价比。

除了计算,在存储方面,模型训练高峰时段可能在数十秒内就要处理 TB 级别的数据存储,而传统应用中,这些海量小文件的处理任务,可分散在几个月时间跨度里完成。这使得存储产品必须朝向更高吞吐、更高 IOPS、更高带宽和更低延时进化。” 同样的 GPU 算力规模下,存储性能的高低,可能带来模型训练周期 3 倍的差异。” 曹鹏在演讲中提到。

在 Scaling law 之下,超大规模集群对硬件间的网络效率提出挑战。不久前,马斯克高调披露已建成 10 万卡 H100 超级算力中心,业界对背后的网络架构——英伟达 Spectrum-X 也极为关注。毕竟,稳健、低延迟的网络关乎到集群里的计算资源能否被充分利用。

这些动向都表明,基础设施关乎大模型的落地进程。而在这场系统战面前,厂商们需要构建更强大的 AI 底座,才能加速大模型在全场景落地。

京东云峰会上,披露了京东云 AI 底座的最近演进。如在高性能的存力方面,作为京东云自主研发的新一代存储产品云海,历经了 10 余年京东自身复杂场景历练,能提供大模型超大量数据传输所需的极致性能。

峰会上,全面升级到 3.0 版本的京东云云海,在吞吐、带宽、延时等性能上进一步提升,为大模型全面落地提供了更坚实的支撑。云海也与所有主流国产化平台兼容互认。

据了解,目前京东云云海在建设银行等重量级金融机构中大模型训练中,提供了底层数据存储的支撑。同时在上层应用上,也通过数据要素的合作,帮助这些企业去做线上数字化转型。

在算力层面,京东打造了云舰 AI 算力云平台。它具备了对多元异构算力资源的统一管理和调度能力,包括各类 CPUGPU 和国产化 AI 加速芯片,支持多地域分布式算力的统一调度,提供高性价比的算力供给。

另外,vGPU 池化方案,通过 GPU 异构资源池化,能将 AI 算力利用率提升 70%,可有效降低算力成本。行业普遍存在算力焦虑,这也是京东云提供的一种解法。

此外,京东云大模型安全可信平台,涵盖超过 200 种特有的红蓝对抗攻击手法,覆盖监管合规要求的全部 31 类风险类型,风险分析准确率高达 95% 以上。

大模型落地元年,智能体引领业务革新

针对大模型企业今年以来的价格战,曹鹏提到,去年京东云峰会就提过要通过技术升级来降低成本,要全网比价,对标主流云厂商的最低成交价再低 10%。目前,京东云有超过 100 个产品规格通过比价售卖,并设立 10 亿比价金,把技术带来的红利回馈给开发者群体。

总体而言,在 2024 京东云峰会中,京东通过发布从基础设施、模型服务,再到智能体应用的全栈产品,正加速与产业的融合,从而让更多企业的大模型落地,通过业务跑出来。

通过京东云的全栈产品支持,大模型落地正迈向新的高度。随着智能体的广泛应用,我们有望看到更多企业通过AI技术实现业务的创新和升级。