本发明公开了一种基于多模态融合的多目标跟踪的方法和系统,包括目标检测模块、特征提取模块、特征融合模块、相似度计算模块及数据关联模块;其中,所述目标检测模块采用yolov4算法从图像获取目标的2D检测框,并采用PointPillars算法从点云获取目标的3D检测框,所述特征提取模块用于对检测框进行处理,提取目标的2D、3D外观特征,本发明通过多个独立的传感器特征提取来保持可靠性,利用多模态加权融合方式,得到更全面的目标特征,提高精度,可以有效避免单一传感器失效问题,使用图神经网络和图卷积优化目标关联,提升准确度,滤波预测更新,弥补目标的丢失问题,对多个目标进行实时跟踪,生成对应ID,关联前后帧的同一目标,实现高精度定位的效果。
声明:
“基于多模态融合的多目标跟踪的方法和系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)