aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 102 | 人体姿态估计专题《罗正雄:重新思考自底向上人体姿态估计中的热力图回归》

关注公众号:【人工智能前沿讲习】,回复【SFFAI102】入交流群,推荐论文下载。

人体姿态估计任务的内容是给定一幅图像或者一段视频,从中恢复人体关节点。目前人体姿态估计算法都是使用的热力图回归来得到最后的关节点,但会因为没有考虑不同人的尺度区别,造成标签歧义。本期论坛我们邀请到了来自中科院自动化所的罗正雄同学,他提出了尺度自适应热力图回归方法,对此问题给出了较好的解决方案。


讲者介绍

罗正雄:中科院自动化所智能感知与计算中心博士生,主要研究方向为图像超分辨率和人体姿态估计,目前已累计发表会议论文五篇。

报告题目:重新思考自底向上人体姿态估计中的热力图回归

报告摘要:目前人体姿态估计算法都是使用的热力图回归来得到最后的关节点。这些方法通常使用固定标准差的二维高斯核覆盖所有骨架关键点来构造真实热力图,并使用真实热力图来监督模型。由于不同人的关节点的真实热力图都是使用同一高斯核来构造,所以这一方法没有考虑不同人的尺度区别,会造成标签的歧义性,影响模型效果。本论文提出了一种尺度自适应热力图回归,可以根据人体大小自适应生成构造标签所需的标准差,从而使得模型对不同尺度的人体更加鲁棒;并提出权重自适应回归平衡正负样本,进一步挖掘尺度自适应热力图回归效果。本论文最终在自底向上人体姿态估计中取得了目前最先进性能。 https://github.com/greatlog/SWAHR-HumanPose.git

Spotlight:

  1. 们率先关注在了热力图回归在处理不同人体尺度时的歧义性问题,并且尝试使用尺度和不确定性估计来解决这一问题;
  2. 我们提出了尺度自适应热力图回归,这一方法可以根据人体大小自适应地调节标签热力图中的标准差的大小,使得模型可以对不同人体尺度和标注歧义性更加鲁棒;
  3. 我们提出了权重自适应热力图回归,这一方法可以自动调整难易样本对应损失的权重,从而缓解热力图回归中的样本不均衡问题;
  4. 我们的方法在自底向上人体姿态估计中取得了当前最先进的性能。

论文推荐

  1. Simple Baselines for Human Pose Estimation and Tracking

    推荐理由:该论文关注自顶向下人体姿态估计,使用最简单的方法得到不错的结果,是现今人体姿态估计常用的基线模型。

  2. Deep High-Resolution Representation Learning for Human Pose Estimation

    推荐理由:该论文提出了一种提取图像高分辨特征的网络架构,而高分辨特征对人体姿态估计十分重要。这一网络结构是人体姿态估计中常用的骨干网络。

  3. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ∗

    推荐理由:大名鼎鼎的Open Pose。算是第一个把自底向上人体姿态估计做到实用的工作。

  4. Associative Embedding End-to-End Learning for Joint Detection and Grouping

    推荐理由:提出使用Associate Embedding 来做grouping,这种方法简单高效,现在依然是各种grouping情景下的首选,包括检测、分割、人体姿态估计等。

  5. Bounding Box Regression with Uncertainty for Accurate Object Detection

    推荐理由:这篇文章提出关注检测任务中标签的歧义性,并把不确定性预测用到检测中,使用KL loss而不是简单的L2 loss来做边界框回归,有很强的启发性。

  6. Bottom-up Higher-Resolution Networks for Multi-Person Pose Estimation

    推荐理由:引入多阶段热力图回归,一次前传可以得到两个尺度下的热力图,叠加之后可以综合多个尺度下的检测结果,大大提升了单次前传的人体姿态估计精度。


参考资料

https://www.bilibili.com/video/BV1ET4y1d7Qa/