Lifting Monocular Events to 3D Human Pose 论文笔记

一.Introduction

1.提出了一种使用单个事件流来预测人体姿态的方法

2.建立了一个新的、基于事件的人体姿势估计基准的合成数据集Human3.6m dataset

3.大量实验验证基于事件的人体姿势估计的转移学习和预训练方法。

二.Related work

 1.本文处理事件流的方法是使用给定时间窗口，将事件窗口内的事件累计成帧进行处理，目前大多数文章都是这样将事件流变为一帧一帧的传统图像进行处理

2.单目人体姿态估计

本文的方法包括两个步骤。首先，处理事件摄影机流以预测每个关节的三个正交热图；每个热图是关节在一个正交平面上的投影。接下来，通过融合heatmap来估计身体关节的三维定位

三.model

 首先，我们处理事件摄影机流以预测每个关节的三个正交heatmap；每个heatmap是关节在一个正交平面上的投影。接下来，我们融合三个正交平面的heatmap来估计身体关节的三维定位（用三角估计的方法进行融合。

 （提取立方体的三个正交面以生成三个边缘heatmap）

预测三个正交heatmap使用的网络结构是类似Stacked Hourglass类似的结构。

 四.result

DHP19 dataset：

 Human3.6m：

 五.想法

模型的缺点：

对于一个全身都运动的姿态，检测准确率很高，但是对于只有一部分运动的姿态（例如挥手，下半身不运动，事件相机几乎不会输出下半身的事件，所以下半身的关节点无法很好预测）。

个人觉得可以将rgb和事件流进行融合做姿态估计，可以弥补这篇文章中的缺点。