行人属性“Person Attribute Recognition with a Jointly-trained Holistic CNN Model”

来源:互联网 发布:知乎怎样查航班动态 编辑:程序博客网 时间:2024/06/08 02:33

不考虑人体姿态,part及上下文信息,仅使用图像作为输入,训练CNN进行所有属性的预测。另外,提出了N/A标记,即对目标的属性不确定。如下图的人向左走,就无法确定其右手是否带包。
这里写图片描述

人体属性一般是二值的语义,如( is male? wears a tshirt? carries a bag in the left hand?),或者多项输出(orientation - left, right, front, or back),可以用于图像检索,语义检索数据库。

ACN网络
网络的结构如下图所示:
这里写图片描述

对于N/A的样本,梯度设置为0。每个属性有一个损失函数,通过BP累积。最小化两个离散分布的KL 散度,Q是预测的结果,P是实际属性二值状态:
KL(P||Q)=NiP(xi)logP(xi)Q(xi)
P(xi=yes)=l;p(xi=no)=1l

目标空间是每个属性的交叉积,是一个结构化预测问题。

网络是一个两步训练过程,使用额外的fc层替换原来的损失层。额外的fc层是对每个属性学习带有隐含层的MLP,每个属性最有的隐含节点是64个。对目标任务的每个属性,增加分类及损失层。训练过程使用了一些数据增强技术:将原始输入框resize到不同的尺寸,水平镜像,PCA jittering。测试时使用所有crop的平均。

Reject Option
1. Reject Region 使用伯努利变量控制,阈值决定拒绝区域。
2. Softmax,训练具有N+1个输出的softmax损失。
3. Hierarchical Softmax,两步法,考虑两个变量A和B,p(A)标识属性是否可以检测到,p(B)标识属性为真的概率,A使用logistic损失,B使用softmax损失,最终属性预测为p(A)和p(B|A)的乘积。

数据库
HATDB
Berkeley-行人属性数据集
PaRSE-27k数据集

实验结果
自己在PARSE-27k数据集上的对比
这里写图片描述
在Berkeley行人属性数据集上与其他方法的对比
这里写图片描述

阅读全文
0 0
原创粉丝点击