北理工团队在多光谱目标跟踪领域取得新突破

　　近日，北京理工大学光电学院许廷发教授科研团队在多光谱目标跟踪领域取得新突破。针对传统RGB视觉在复杂航拍场景下存在的小目标难检测、密集遮挡严重和纹理特征退化等瓶颈问题，科研团队构建了全球首个无人机视角下的多光谱目标跟踪数据集(Multispectral Multi-Object Tracking，MMOT)，提出了一种多光谱目标感知一体化目标跟踪方法，相关成果以《MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking》为题，发表于NeurIPS 2025(Conference on Neural Information Processing Systems)，该会议为人工智能与机器学习领域的顶级国际学术会议(CCF-A类)。论文第一作者为北京理工大学李天昊博士研究生，通讯作者为许廷发教授和李佳男长聘副教授。
 

　　多光谱目标跟踪框架主要包括Spectral 3D-Stem模块、旋转感知卡尔曼滤波器和端到端旋转自适应Transformer架构，具体如图1所示。
 

图1 多光谱目标跟踪框架图
 

　　该方法通过光谱空间联合建模和引入目标旋转角度状态参数，显著提升光谱信息表达能力，实现了精准的多光谱小目标检测和目标间关联，降低了误检、漏检及ID转换次数，如图2所示。
 

图2 多光谱输入和RGB输入的ID转换和漏检对比
 

　　团队构建了首个国内外无人机航拍多光谱目标数据集。其覆盖城市街区、交通枢纽、运动场地等多种真实场景的航拍视频，包含125段视频序列、48万余个高精度标注目标框，涵盖8个典型类别(行人、汽车、自行车等)。多光谱成像跨越可见光至近红外范围，涵盖多种挑战场景如极小目标、密集目标、图像模糊、严重遮挡、快速运动和平面内旋转等，如图3所示。
 

图3 数据集多种挑战场景
 

　　MMOT发布填补了国内外无人机多光谱目标跟踪领域空白，为研究人员提供了首个统一基准与开源框架。该工作突破了传统视觉感知对空间特征的依赖，充分利用光谱维度的差异性，为未来跨模态融合感知、复杂环境下的智能无人系统识别与跟踪奠定了重要基础。
 

　　附作者简介：
 

　　李天昊，论文第一作者，2022级北京理工大学博士研究生，师从许廷发教授，主要研究方向为智能目标探测、多目标跟踪技术。在高水平会议NIPS、CVPR及ACM MM发表论文3篇。
 

　　李佳男，论文通讯作者，北京理工大学光电学院长聘副教授，博士生导师，主要研究方向为光电成像目标多维探测与感知技术研究。连续两年入选全球前2%顶尖科学家(2023、2024年)。以第一或共同第一作者发表论文20篇，包括IEEE TPAMI论文5篇；以通讯作者发表论文60余篇。其中，3篇论文入选ESI高被引，2篇一作论文单篇引用超千次，谷歌学术总引用5600次。主持国家自然科学基金、工信部高质量发展专项(课题)等项目10项。入选中国科协、北京市科协青托。获得地理信息科技进步二等奖(序2)，中国图象图形学学会优博，王大珩学生光学奖等。指导学生获得反无人机跟踪挑战赛国际冠军等竞赛奖项10余项。研究成果应用于“中国天眼”、矿产开发遥感监测等领域。
 

　　许廷发，论文通讯作者，北京理工大学光电学院教授，博士生导师，国家一级重点学科“光学工程”学科责任教授，光电成像技术与系统教育部重点实验室主任，北京理工大学重庆创新中心副主任。近年来带领科研团队围绕光电成像探测与识别、计算成像和人工智能等领域不断深化研究。主持承担国家自然科学基金委重大科研仪器研制项目等40余项。在国际、国内等系列期刊发表学术论文200余篇，其中被SCI/EI收录120余篇。以第一发明人申请国家发明专利87项，已授权和公示45项。指导研究生获得中国图象图形学学会优秀博士学位论文，二人次获得王大珩高校学生光学奖，三人次获得全国光学与光学工程博士生学术联赛全国百强，获得中国高等教育博览会“校企合作 双百计划”典型案例和重庆英才创新创业示范团队等荣誉称号。