计算机信息工程学院学术报告-3DG-STFM:3D Geometric Guided Student-Teacher Feature Matching

发布时间: 2023-05-04 浏览次数: 32

时间:202355日下午2:30 

地点:计算机信息工程学院多功能报告厅 

题目:3DG-STFM:3D Geometric Guided Student-Teacher Feature Matching 

报告人:白宸(小鹏汽车北美硅谷自动驾驶中心) 

报告摘要 

本讲座旨在解决图像对之间实现高精度的密集的视觉匹配任务,由于纹理缺失,重复图案,照明变化和运动模糊等诸多因素,视觉匹配一直以来是具有挑战性的问题。 本文提出了3DG-STFM,以包含三维信息的RGBD图像作为输入训练教师模型,来引导RGB图像作为输入的学生模型,从而实现几何深度信息的知识传递,使学生模型对RGB图像具有空间深度推理能力,最终实现了高精度的匹配效果。 教师和学生模型均由基于transformer的基础骨架构成匹配模块,采取了粗粒度和细粒度两个匹配分支并实现了融合。本模型在室内和室外数据集上的相机位姿估计问题上取得了目前方法的最高精度。

 

个人简介 

白宸,博士,2014年本科毕业于华中科技大学光电信息工程专业,2019年博士毕业于美国普渡大学电子与计算机工程专业。2019年加入小鹏汽车从事自动驾驶方向的开发与研究工作,主要研究方向为相机在线标定视觉定位建图人体检测与位姿对比学习多模态,现任小鹏汽车北美硅谷自动驾驶中心计算机视觉研发工程师。在ECCVICASSPICIPICME等计算机视觉和图像处理前沿会议发表论文近10篇,获得美国发明专利3项(汽车标定系统图像特征匹配和人体动作预测)。