人脸识别 光照预处理

转载：http://shijuanfeng.blogbus.com/logs/204416961.html

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

 

• 背景和意义

目前，人脸识别算法已经得到了广泛的应用，但其性能仍然受光照、视角、遮挡、年龄等多方面因素影响。在众多的影响因素中，光照变化是影响系统识别性能的关键因素之一，由于人脸的3D结构，光照投射出的阴影，会加强或减弱原有的人脸特征。尤其是在夜晚，由于光线不足造成的面部阴影会导致识别率的急剧下降，使得系统难以满足实用要求。同时，理论和实验还证明同一个体因光照不同引起的差异，大于同一光照下不同个体之间的差异。因此，如果能探索到合适的方法对光照过强或过弱的人脸图像进行预处理，对于改善人脸识算法性能具有一定意义。

 

• 评价指标

N选识别率：用测试库中的每个图像生成的特征模板在检索目标人像库的特征列表中进行一对多(1:N)的检索，将比对相似度按从大到小排序，返回比对相似度排在前N位的图像，统计返回图像中具有和测试图像是同一人的次数占总检索次数的比例，用百分比表示。

对于人脸验证：

（1） 误识率

误识次数占非同人验证总次数的百分比，称为误识率。

（2） 拒识率

拒识次数占同人验证总次数的百分比，称为拒识率。

 

• 数据库

Yale Face Database B^[1] ：该数据库共包含l0个人的9种不同姿态的人脸图像，每种姿态又包含64种不同的光照情况。由于采集人数较少，限制了该数据库的进一步应用。

The extended Yale Face Database B^[2] ：包含28个人的9种姿态，每种姿态包含64种不同光照。

Havard^[3] ：该库包括10个人，每人66幅人脸。库中包括5种不同光照方向。

CMU-PIE^[4] ：包含8位志愿者的41,368张多姿态，光照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下采集的。

FERET^[5] ：由FERET项目创建，包含14,051张多姿态、光照的灰度人脸图像，是人脸识别领域应用最广泛的人脸数据库之一。其中的多数人是西方人，每个人所包含的人脸图像的变化比较单一。

ORL^[6] ：由剑桥大学AT&T实验室创建，含40人共400张面部图像，部分志愿者的图像包括了姿态，表情和面部饰物的变化。该人脸库在人脸识别研究的早期经常被人们采用，但多数系统的识别率均可以达到90%以上，因此进一步利用的价值已经不大。

XM2VTS^[7] ：包含了295人在4个不同时间段的图像和语音视频片断。在每个时间段,每人被记录了2个头部旋转的视频片断和6个语音视频片断。此外,其中的293人的3维模型也可得到。

 

• 现有算法简要描述

Passive方法

1) 光照变化建模

基本思想：在一个合适的子空间中表示光照引起的变化，然后根据人脸的特性估计模型参数，如子空间投影法、商函数法、光照锥法和基于球面谐波基图像的方法。

统计模型

这类方法是从识别算法的角度出发解决光照问题，输入同一对象不同光照下的多张图像，用统计方法在一个合适的子空间中表示光照变化引起的图像变化。识别则是通过选择与输入图像最相近的子空间。其主要依据是光照变化对人脸图像的影响在低维子空间内。这类基于经验统计的方法，如Eigenfaces^[9] , Fisherface^[9] , Bayesian等，易于实现且正确率较高，但其性能依赖于训练图像的光照条件。

这类方法在20世纪末有较多研究，目前，因其对训练样本的要求较苛刻，近年来研究较少。

物理模型

基本思想：假设物体表面的反射特性，分析成像过程。

① 线性子空间

该方法旨在：找寻一组基向量，有效地表示任意光照下的图像。

Hallinan^[11] 五个特征脸可以有效地表示任意光照下的人脸图像。Shashua提出了光学对齐方法，发现了不同光照下同一物体的代数连接，证明了对于朗伯特表面，给定三幅在三个已知的线性无关的光源下得到的图像，就能够获得物体的表面法线和反射率，这被称为光度立体视觉（Photometric Stereo），提出了附阴影（attached shadows）和投射阴影（cast shadows）的概念。Belhumeur et al.^[13] 提出了3D线性子空间的方法，用三幅或者更多图像构建3D基线性空间，比较测试图像到每类线性子空间的距离，进而确定其类别。Batur and Hayes^[14] 提出了分段线性子空间生成3D模型，训练图像按表面法线的方向进行聚类，划分成不同的区域，对每个区域用一个线性子空间进行估计，该方法的每个估计都只依赖于特定的区域，因此不受阴影的影响。

② 光照锥

Belhumeur and Kriegman^[15] 证明了具有Lambertian表面的物体，在任意光照、固定姿态下的图像集合形成一个凸椎体。而光照锥可以通过该物体在三个线性无关的光照下的图像得到，锥的维度等于不相关的曲面法线数目。

Geovghiades^[16] 提出了光照锥(illumination cone)方法来解决光照变化和姿态变化下的人脸识别该方法，能够根据给定的多幅(不少于3幅)相同姿态、不同光照条件的输入图像，估计出输入人脸的3D信息。其本质上是传统的光度立体视觉(photometric stereo)方法的一个变种，通过SVD迭代估计光照、人脸3D形状、表面点反射率，并最终利用人脸3D形状分布的先验知识(如对称性、鼻子为最近点等)作为约束求解人脸的3D形状。

光照锥方法在Yale B 人脸库上报告的人脸识别率是最高的。通常这种方法至少需要每个目标不同光照条件下的7幅图像，这在一定程度上限制了该方法的更多应用。

该方法^[16] 可用于生成新样本，即由较少的训练图像，合成光照、姿势变换后的新图像。

③ 球函数

Basri^[17] 和Ramamoorthi^[18] 分别独立证明一个凸Lambertian物体可以由一个9维的线性子空间表示。通过球谐函数和信号处理技术，该9维线性子空间可以由物体的9个谐波基图像近似表示。基于这种思想Zhang^[19] 等提出了使用谐波图像进行人脸识别的方法，Wen^[20] 等提出REM(Radiance Environment Maps)人脸加光算法，Qing^[21] 等提出了基于比率图像的人脸加光算法。Ronen Basri等 ^[48] 结合线性子空间和球面谐波，证明了从曲面到强度的映射，在NEC库中进行了测试，人脸识别率较高。

④ 9点光源

Lee^[49] 证明了存在一个9个点光源方向的构造，使得从这9个方向得到的图像可以有效表示任意方向的光照。该方法的优点是无需像球面谐波那样获得物体表面的三维模型，也不需要像统计模型那样需要大量的训练图像。实验结果见5中的性能分析

⑤ 广义光度立体视觉

Zhou^[50] 结合Lambertian模型和线性子空间，称为线性Lambertian物体，在Vetter’s 3D人脸库上进行了测试，识别率达到97%。

 

2）光照不变特征

基本思想：提取人脸不随光照变化或至少对光照变化不敏感的特征。

① 图像导数特征

包括人脸边缘图、人脸灰度图像的二阶导数、人脸图像的二维Gabor变换等。

② 商图像

商图像成立的前提条件是假设同类物体具有相同的三维形状，不同的纹理，利用纹理信息进行识别。该方法是只要一张照片就可以得到对应物体的商图像，但它是要求物体是凸的Lambertian表面，没有考虑镜面反射和阴影，而且假设同类的所有物体具有相同的形状信息，而实际上不同人的三维人脸外形一般是不同的，除此之外，还要求图像对齐。

③ 变换域特征

Savvides^[22] 提出了Eigenphase方法，即PCA的相位域，在CMU-PIE数据库中得到了很好的效果^[23] 。Heo ^[24] 使用SVM的相位域，得到了比Eigenphase更好的效果。[25] 提出了每个个体只有一张训练图像的小波域方法。此外还有Fourier 变换，Gabor 相位域等。

Llano^[26] 对比了几个变换域，包括原图像及梯度图像的幅值、相位、傅里叶变换的实部和虚部，在XM2VTS人脸数据库上进行了测试，结果表明梯度图像傅里叶变换的虚部结果最好。

④ LBP

LBP不受任何单调灰度变换的影响。[27] 采用该特征进行人脸识别，在FERET库上测试的结果表明其优于PCA，Bayesian等方法。

 

3）光照条件标准化

基本思想：在人脸图像被识别之前消除光照变化的影响。

直方图均衡化^[28] 的目的是生成各灰度级均匀分布的图像，增强像素灰度值的动态范围。Shan et al. 提出了Gamma强度校正^[29] 。同态滤波^[28] 利用对数模型分离了反射率和光照，分别对齐进行处理。Du和Ward提出了小波域均衡^[30] 。Short^[34] 比较了五种光度学归一化方法，包括：光照不敏感特征空间，多尺度Retinex方法，同态滤波，各向同性平滑，各向异性平滑。在YaleB, BANCA和XM2VTS 数据库上进行测试，各向异性平滑性能最稳定。Chen^[35] 等人提出在对数域利用离散余弦变换(DCT)来进行人脸非均匀光照补偿的算法。

Zhao^[36] 提出了SSFS(Symmetric Shape from Shading)理论，该方法的基本思想就是利用人脸对称信息由给定的任一光照条件下的照片，得到其在正面光源条件下的照片，然后利用正面照片进行识别。该方法只需要一幅输入人脸图像即可，但它需要通过其他方法估计输入图像的光照情况以及精确的对称轴信息，这都增加了该方法在实用上的困难。

 

4）3D形变模型

基本思想：对人脸的3D形状和表面反射率等分别进行统计建模。

Blanz and Vetter^[37] 提出了拟合3D形变模型的人脸识别方法。该模型分别描述人脸的形状和纹理。要描述该模型，需要设置形状和纹理系数，文中选择了姿势角度、3D变换、环境光照强度、有向光强和角度、摄像头参数、颜色通道等22个描述参数。该模型在CMUPIE和FERET库上取得了很好的效果。

Rui Ishiyama^{[51] [52]} 构建了一个任意光照和姿态下的3D形状数据模型，当光照和姿态位置时拟合模型，进行判断。在一个200个个体，不同光照、多姿态图像集（共14000幅）中进行测试，平均识别正确率达到93.8%。

 

Active方法

1) 三维信息

3D信息是随着光照变化的一个不变属性，通过外界设备可获取3D信息，如3D激光扫描。三维信息可以以多种方式进行表述，常用的有深度图像、轮廓、表面曲率、扩展高斯图像(Extended Gaussian Image)等。3D人脸识别可参看文献[38] [39] [41] 。其中，[39] [40] 提出了采用2D、3D融合的技术，提高人脸识别性能，但该方法在非受控环境下的识别仍须进行进一步探讨。

2) 红外

一般采用热红外，近红外两种。热红外感受的是外界物体的热辐射^[41] ，近红外^{[45] [46] [47]} 则接收的是目标物反射所形成的图像。

对于热红外，环境温度、身体心理状态都可能影响人脸的热量情况^{[43] [44]} ，而且红外无法穿过眼镜。此外，虽然红外对可见光是一个不变量，但是它并不独立于环境光照，因为环境光照中包含各种各样的光谱，包括红外。因此，红外要用于处理光照仍需进行深入研究。

 

• 文献中性能最好的算法的描述及其性能

Active方法主要是利用外接设备改变成像类型，且该类方法尚不成熟，因此只讨论Passive方法。下表中选择了Yale B和CMU-PIE数据库，给出了几种识别准确率较高的算法。

表 光照预处理方法的识别错误率 (%)

 

Yale B

Yale B

Yale B

Yale B

PIE

 

Subset 2

Subset 3

Subset 4

Subset 5

 

光照锥^[16]

0

0

0

  

分段线性子空间^[14]

0

0

0

  

球谐函数^[53]

0

0

2.8

  

9PL^[49]

0

0

2.8

 

1.9

广义光度立体视觉^[50]

    

0.9

形态学商图像^[54]

0

0

0

0.5

 

全变差商图像^[55]

0

0

0

  

对数域DCT^[35]

0

0

0.18

1.71

0.36

3D形变模型^[37]

    

0.2

• 研发思路

应从如下两方面着手：

1) 对人脸图像进行光照预处理，提高识别准确率

从实验结果分析，三维形变模型效果最好，根据文献[37] [51] [52] 进行实现和优化。

2) 用于样本生成，即由少量图像得到多种光照下的样本

根据文献[16] (光照锥方法)和[53] (球面谐波方法) 实现样本生成。

 

• 参考文献

[1] http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html

[2] http://vision.ucsd.edu/~leekc/ExtYaleDatabase/ExtYaleB.html

[3] ftp://ftp.hrl.harward.edu/pub/faces

[4] http://vasc.ri.cmu.edu/idb/html/face/

[5] http://www.itl.nist.gov/iad/humanid/feret/feret_master.html

[6] http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html

[7] http://www.tele.ucl.ac.be/PROJECTS/M2VTS/m2fdb.html

[8] http://www.ee.surrey.ac.uk/CVSSP/xm2vtsdb/

[9] M.Turk and A Penfland, Eigenfaces for Recognition，Journal of cognitive ncuroscience, vol. 3，no.1, pp.71-86, 1991.

[10] P.Quintifiano and A Santa-Rosa, Face Recognition Based on Eigeneyes, Pattern Recognition and ImageAnalysis, vol.13, no.2, pp.335-338, 2003．

[11] P. Hallinan, A low-dimensional representation of human faces for arbitrary lighting conditions, In Proc. IEEE conf. CVPR, 1994.

[12] A. Shashua, On photometric issue in 3d visual recognition from a single 2d image, IJCV, 1997.

[13] P. Belhumeur, J. Hespanha, and D. Kriegman, Eigenfaces vs fisherfaces: Recognition using class specific linear projection. IEEE Trans, PAMI, 19:711–720, 1997.

[14] A.U. Batur and M. H. III. Hayes, Linear subspaces for illumination robust face recognition, In Proc. IEEE conf. CVPR, 2001.

[15] P. Belhumeur and D. Kriegman, What is the set of images of an object under all possible illumination conditions, IJCV, 28(3):245–260, 1998.

[16] Georghades AS, Belhumeur PN, Keiegman DJ, From few to many Illuminition cone models for face recognition under variable lighting and poses, IEEE Trans on Pattern Analysis and Machine intelligence, 200l, 23(6): 643—660.

[17] Basri R. , Jacobs D. , Lambertian reflectance and linear subspaces, In Proceedings of the ICCV’01 Vancouver, Canada, 2001, 383~390.

[18] Ra mamoorthi R. , Hanrahan P. , On the relationship between radiance and irradiance: Determining the illumination from images of a convex Lambertian object, Journal of the Optical Society of America A, 2001, 18(10): 2448 ~2459.

[19] L. Zhang, D. Samaras, Face Recognition under Variable Lighting using Harmonic Image Exemplars, Proceedings of International Conference on Computer Vision and Pattern Recognition, vol. 1, 2003, 19-25．

[20] Z. Wen, Z. Liu and T. Huang, Face Relighting with Radiance Environment Maps, Proceedings of International Conference on Computer Vmion and Pattern Recognition, vol.2, 2003, 158-165.

[21] L. Qing, S. Shan, X. Chen, Face Relighting for Face Recognition under Generic Illumination, IEEE International Conference on Acoustics, Speech, and Signal Processing, 2004, 733-736．

[22] M. Savvides, B.V.K. Vijaya Kumar, and P.K. Khosla, Eigenphases vs. eigenfaces, In Proc. IEEE ICPR, 2004.

[23] T. Sim, S. Baker, and M. Bsat, The CMU pose, illumination, and expression (PIE) database of human faces, Technical Report CMU-RITR-01-02, The Robotics Institute, Carnegie Mellon University, 2001.

[24] J. Heo, M.Savvides, and B.V.K. Vijaya Kumar, Illumination tolerant face recognition using phase-only support vector machines in the frequency domain, In Proc. ICAPR. Springer-Verlag Lecture Notes in Computer Science, 2005.

[25] Chunyan Xie, M. Savvides, and B.V.K. Vijayakumar, Quaternion correlation filters for face recognition in wavelet domain, In Proc. IEEE Int’l Conf. on Acoustics, Speech, and Signal Processing, 2005.

[26] E. G. Llano, J. Kittler, and K. Messer, An illumination insensitive representation for face verification in the frequency domain, In Proc.ICPR, 2006.

[27] Timo Ahonen, Abdenour Hadid and Matti Pietikainen, Face Description with Local Binary Patterns: Application to Face Recognition, IEEE Trans. Pattern Analysis and Machine Intelligence 28(12).

[28] R. Gonzalez and R. Woods, Digital Image Processing. Prentice Hall,second edition, 1992.

[29] S. Shan, W. Gao, B. Cao, and D. Zhao, Illumination normalization for robust face recognition against varying lighting conditions, In Proc.IEEE workshop on AMFG, 2003.

[30] Shan Du and R. Ward, Wavelet-based illumination normalization for face recognition, In Proc. IEEE ICIP, 2005.

[31] J. Short, J. Kittler, and K. Messer, A comparison of photometric normalisation algorithm for face verification. In Proc, Int’l conf.AFGR, pages 254–259, 2004.

[32] E. Bailly-Bailliere and etc, The banca database and evaluation protocol, In Int’l Conf. on AVBPA, 2003.

[33] K. Messer, J. Matas, J. Kittler, J. Luettin, and G. Maitre. Xm2vtsdb:The extended m2vts database. In Int’l Conf. on AVBPA, pages 72–77,1999.

[34] J. Short, J. Kittler, and K. Messer, A comparison of photometric normalisation algorithm for face verification, In Proc. Int’l conf.AFGR, pages 254–259, 2004.

[35] W. Chen, M.J. Er, and S. Wu, Illumination compensation and normalization for robust face recognition usinf discrete cosine transform in logrithm domain, IEEE Trans. SMC-B, 36(2):458–466, 2006.

[36] W Zhao, IL Chellappa, SFS Based View Synthesis for Robust Face Recognition, Proceedings of the 4th International Conference on Face and Gesture Recognition, pages 285-292，2000．

[37] V. Blanz and T. Vetter, Face recognition based on fitting a 3d morphable model, IEEE Trans. PAMI, 25(9):1063–1073, 2003.

[38] K. W. Bowyer, K. Chang, and P. Flynn, A survey of approaches to three-dimensional face recognition, In Proc. ICPR, 2004.

[39] K. W. Bowyer, K. Chang, and P. Flynn, A survey of approaches and challenges in 3d and multi-modal 3d+2d face recognition, In CVIU,2006.

[40] K. C. Chang, K. W. Bowyer, and P. J. Flynn, An evaluation of multimodal 2d+3d face biometrics, IEEE Trans. PAMI, 27(4), 2005.

[41] A. Scheenstra, A. Ruifork, and R. C. Veltkamp, A survey of 3d face recognition methods, In Proc. Int’l Conf. on AVBPA, 2005.

[42] J. Wilder, P. J. Phillips, C. Jiang, and S. Wiener, Comparison of visible and infrared imagery for face recognition, In Proc. IEEE AFGR, 1996.

[43] X. Chen, P. J. Flynn, and K. W. Bowyer, Visible-light and infrared face recognition, In Proc. Workshop on Multimodal User Authen.,2003.

[44] G. Bebis, A. Gyaourouva, S. Singh, and I. Pavlidis, Face recognition by fusing thermal infrared and visible imagery, Image and Vision Computing, 2006.

[45] Z. Pan, G. Healey, M. Prasad, and B. Tromberg, Face recognition in hyperspectral images, IEEE Trans. PAMI, 25:1552–1560, 2003.

[46] Stan Z. Li, R. Chu, S. Liao, and L. Zhang, Illumination invariant face recogntion using near-infrared images, IEEE Trans. PAMI, 29(4):627–639, 2007.

[47] S. Zhao and R. Grigat, An automatic face recognition system in the near infrared spectrum, In Proc. MLDM, 2005.

[48] Ronen Basri, and David W. Jacobs, Lambertian Reflectance and Linear Subspaces, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25(2), 218-233,2003.

[49] K. C. Lee, J. Ho, and D. Kriegman, Nine points of lights: Acquiring subspaces for face recognition under variable lighting, In Proc. IEEE conf. CVPR, 2001.

[50] S. Zhou, G. Aggarwal, R. Chellappa, and D. Jacobs, Appearance characterization of linear lambertian objects, generalized photometric stereo and illumination-invariant face recognition, IEEE Trans. PAMI, 29(2):230–245, 2007.

[51] Rui Ishiyama, Masahiko Hamanaka, and Shizuo Sakamoto, An Appearance Model Constructed on 3-D Surface for Robust Face Recognition Against Pose and Illumination Variations, IEEE Transactions on Systems, vol. 35(3): 326-334, 2005

[52] Rui Ishiyama, Masahiko Hamanaka, and Shizuo Sakamoto, Face Recognition under Variable Pose and Illumination Conditions Using 3D Facial Appearance Models, Systems and Computers in Japan, vol. 38(2), 2007.

[53] L. Zhang and D. Samaras, Face recognition from a single training image under arbitrary unknown lighting using spherical harmonics, IEEE Trans. PAMI, 29, 2006.

[54] Y. Zhang and et al, Mqi baed face recognition under uneven illumination, In Proc. ICB, 2007.

[55] T. Chen and et al, Illumination normalization for face recognition and uneven background correction using total variation based image models, In Proc. IEEE CVPR, 2005.