据国家知识产权局公告,清华大学申请一项名为“一种基于博弈交互的可解释多模态感知方法及装置“,公开号CN117409283A,申请日期为2023年10月。

专利摘要显示,本申请提供一种基于博弈交互的可解释多模态感知方法及装置,该方法包括:利用第一编码器对RGB图像进行特征提取得到第一特征图,将第一特征图征映射到BEV空间得到第一BEV特征图;利用第二编码器对点云数据进行特征提取得到第二特征图,将第二特征图征映射到BEV空间得到第二BEV特征图;利用融合编码器对第一BEV特征图和第二BEV特征图进行融合处理,得到融合特征图;利用多任务检测头对融合特征图进行检测处理,得到多任务目标检测结果;其中,在第一编码器、第二编码器、融合编码器和多任务检测头的联合训练中,在损失函数中加入基于博弈交互的融合交互损失函数。

清华大学申请一项名为“一种基于博弈交互的可解释多模态感知方法及装置“,公开号CN117409283A