人工智能学院高一星助理教授指导的2022级博士研究生封润洋同学的论文"Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video"被CCF-A类会议CVPR 2023接收。CVPR，全称为计算机视觉和模式识别会议( IEEE / CVF Computer Vision and Pattern Recognition Conference)，该会议固定在每年的6月举行，由IEEE主办。CVPR是计算机视觉领域的顶级国际会议。
封润洋同学一直从事人体姿态估计相关的研究工作，本篇工作与英国伯明翰大学的Hyung Jin Chang教授合作完成。
文章详情
论文题目：Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video
第一作者：封润洋
指导教师：高一星
收录会议：CVPR'2023
会议类别：CCF-A
论文概述：
时序建模对于多帧人体姿态估计至关重要。大多数现有的方法直接使用光流或可变形卷积来预测全频谱运动场，其中可能会包含许多不相关的线索例如邻近的人或背景。缺乏进一步的设计去挖掘其中有意义的运动先验，这些方法得到的结果是不理想的，尤其是在复杂的时空交互环境中。进一步地，帧间时间差分通常可以编码视频中代表性的运动信息，这对姿态估计有潜在的价值，但尚未得到充分的利用。在本文中，我们提出了一个多帧人体姿态估计框架，它采用跨帧的时间差分来建模动态上下文，并设计互信息目标来促进有用的运动信息分离。具体地，我们设计了一个多阶段时序差分编码器，以多阶段特征差分序列为条件进行增量级联学习，以得到信息丰富的运动特征。我们进一步从互信息的角度出发提出了一个表征分解模块，通过显式定义原始运动特征中的有用成分和噪声成分并最小化它们的互信息来掌握具有强判别性的任务相关的运动信号。我们的方法在复杂事件中的人群姿势估计挑战赛中(HiEve数据集)排名第一，并在PoseTrack2017、PoseTrack2018和PoseTrack21三个基准数据集上取得最先进的性能。
