京东零售技术团队宣布成功推出首个自研的十亿级销量预测时序大模型——TimeHF。该模型基于人类反馈的强化学习技术(RLHF),首次将其应用于销量预测领域,预测准确度大幅提升10%以上,显著降低了需求端预测的不确定性。这一成果不仅在京东内部的2万种商品自动化补货场景中取得了卓越表现,还在多个公开数据集上超越了行业现有水平,成为时间序列预测领域的最新标杆。
京东供应链算法团队在技术探索中发现,传统的时间序列预测方法,如ARIMA、Prophet以及早期的深度学习模型LSTM、TCN等,在面对复杂模式捕捉和零样本泛化能力方面存在明显不足。而现有的时序大模型在数据集质量和RLHF方案上也面临诸多挑战。为此,京东团队从数据集构建、模型设计和训练方案三个方面进行了创新。
在数据集构建方面,京东团队整合了京东自营销量时序数据、公开数据集和合成数据,通过质量过滤、去重、多样性排序和数据配比等手段,构建了一个包含15亿样本的大规模高质量复杂数据集。这一数据集的规模和质量在时序领域前所未有,为模型训练提供了坚实基础。
模型设计上,京东提出了PCTLM(Patch Convolutional Timeseries Large Model)模型。该模型采用基于Patch的方法,通过掩码编码器架构对时间序列进行建模,并引入时间位置编码的分组注意力机制,有效捕捉跨Patch间的信息,提升了模型对复杂时空关联的捕捉能力。
在训练方案上,京东首次提出了适用于纯时序大模型的强化学习框架TPO(Timeseries Policy Optimization)。该框架针对时序大模型的特点,解决了传统RLHF框架无法直接应用于时序场景的问题,通过增加预测概率化组件、设计优势函数和时序损失等创新手段,显著提升了模型的预测性能。
经过一系列创新,TimeHF在多个公开数据集上取得了SOTA(State of the Art)的效果,相较于当前领先的时序深度学习方法和微调大模型,展现出更强的零样本性能和预测准确性。目前,该模型已在京东供应链系统部署上线,为2万个SKU提供自动化补货预测,预测准确率大幅提升。
京东零售集团供应链团队将于4月19日举办线上分享会,详细解读TimeHF的技术细节,包括如何构建高质量、多样化的大规模时间序列数据集以及面向时序大模型的RLHF方案。这一成果不仅为京东自身的供应链管理带来了革新,也为整个行业提供了宝贵的技术参考和实践范例。
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则