3D Pose-estimation based graph

[noticeable]backbone:

2D-HPE hourglass (NOTICE: which applicated in RODNet: A Real-Time Radar Object Detection Network Cross-Supervised by Camera-Radar Fused Object 3D Localization )

每个Hourglass module的结构都包含一个bottom-up过程和一个top-down过程，前者通过卷积和pooling将图片从高分辨率降到低分辨率，后者通过upsampling将图片从低分辨率回复到高分辨率。

基于Hourglass 的改进：Hourglass+Associative Embedding 在多人姿态估计中，先检测身体部位，然后把他们分组给不同的个人。→检测和分组同时进行（Associative Embedding ）

coordinate/heatmap

3D-HPE CNN+GCN

Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks (ICCV2019)

code：https://github.com/vanoracai/Exploiting-Spatial-temporal-Relationships-for-3D-Pose-Estimation-via-Graph-Convolutional-Networks

Spatial-temporal Graph Construction：一个序列T帧，一帧有M个body joints。Vertices=MT

local-global：多尺度特征 GCN-based Local-to-global Prediction 【这里很奇怪 代码里没有用到nonlocal3Dblock】

use different kernels for different neighboring nodes。

Graph Stacked Hourglass Network (CVPR 2021)

问题： 图卷积（只能在一个单一尺度上对特征进行处理，难以提取表征空间的局部和全局空间信息，限制了模型的表征能力，没有利用模型的深度特点）。

在HourGlassNet 上改进。【HG可看作是conv-deconv或者encoder-decoder的结构】

downsampling 【 pooling 】 and upsampling 【unpooling 】

Graph design：residual connections 补充Graph U-Nets

引入PreAggr 。堆叠了四个 前面multi-scale【spatial aspect of the graph】，后面multi-level【SE block+semantic information】。【保证输入输出通道大小都为64】

A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video(ICRA2021)

关键点：图注意时空卷积网络，spectral-based

使用方法：图注意力和Semantic graph convolutional networks for 3d human pose regression的工作

Temporal 改变：1D卷积–2D卷积 基于《3d human pose
estimation in video with temporal convolutions and semi-supervised
training》方法

Spatio方法：

Local Attention Graph ：每一个node 都有C 个通道特征，经过L个layer。即CL

two novel convolution kernels【基于身体结构对称性假设】。[noticeable]：one is symmetric kernel

！each of these two convolution kernels are applied to two distinct GCNs

Global Attention Graph ：针对于没有直接相连的joint，存在一种sub-segments 关系。【推：没有直接相连的node ，非局部关系→！这么说是可以解决遮挡问题的】

Modulated Graph Convolutional Network for 3D Human Pose Estimation (ICCV 2021)

调整GCN中的图结构：使用共享权重而不增加模型参数。

Semantic Graph Convolutional Networks for 3D Human Pose Regression (CVPR 2019)

node的局部和全局关系

…更新中