彩色图像中人眼的精确定位

JournalofShandongUniversityofTechnology(NaturalScienceEdition)Vol.23No.1Jan.2009

文章编号:1672-6197(2009)01-0042-04

彩色图像中人眼的精确定位

王举辉,刘晓红

(山东理工大学计算机科学与技术学院,山东淄博255049)

摘　要:提出了一个彩色图像中人眼的精确定位过程.首先利用肤色特征检测出人脸的候选区域,在检测过程中考虑了头发亮度对肤色检测的影响;然后利用改进的二值化方法进行了眼睛的检测;最后利用眼睛的位置特点和人眼模板完成了眼睛的定位.关键词:光线补偿;PGF;二值化;模板中图分类号:TP391.41文献标识码:AAccuratelocationofeyeincolorimage

WANGJu2hui,LIUXiao2hong

(SchoolofComputerScienceandTechnology,ShandongUniversityofTechnology,Zibo255049,China)

Abstract:Anaccuratelocationprocessofeyeincolorimagewasproposed.Firstly,thefacialde2tectionofcandidateregionwasrelizedusingskincolorforthegivenimage,takingtheinfluenceofhairbrightnessintoconsidertion;Secondly,theeye’sdetectionwasaccomplishedusingimprovedbinarizedmethod;Finllytheeye’slocationwasdeterminedusingtheeye’splaceinfacialimageandeyetemplate.

Keywords:lightcompensation;peergroupfiltering;binarize;template

　　在日常生活中,人的脸部特征给我们提供了大量丰富的信息.由于数字设备的广泛应用(如数码相机),获得人脸图像变得非常容易,因此人脸的研究在很多领域都备受关注(如身份验证、可视化通讯等).

在人脸图像中,人眼的自动定位是人脸识别研究中的一个基本且非常重要的课题.这是因为与鼻子、嘴巴等人脸部件相比较,眼睛区域包含了更为丰富的可用于个体区分的重要信息;同时,眼睛的定位又是人脸图像进行位置、大小和角度归一化的前提,往往也是人脸其他部件检测和抽取的基础.因此,实现眼睛的精确定位是提高人脸自动识别系统性能的一个非常重要的步骤.

本文所述实现人眼的精确定位包括三部分:首先对候选人脸区域进行检测,在此过程中实现了光线补偿,并考虑了头发颜色对于人脸检测的影响;然

收稿日期:2008209218

基金项目:山东理工大学科技计划资助项目(2005KJM23)

作者简介:王举辉(19732),女,讲师.E2mail:wangjuhui@sdut.edu.cn

后对眼睛进行初步检测,采用了改进的二值化方法对眼睛区域进行分割,既能去掉背景的影响,又能去掉眼镜、衣物等的影响;最后利用人眼的位置特点对眼睛进一步去除干扰,并利用眼睛模板完成了眼睛的精确定位.

1　候选人脸区域的检测

1.1　光线补偿处理

由于肤色等色彩信息经常受到光源颜色、图像采集设备的色彩偏差等因素的影响,从而在整体上偏离本质色彩向某一方向移动,即通常所说的色彩偏冷、偏暖,照片偏黄、偏蓝等.本文采用一种“参考

[1]白”技术来抵消整个图像中存在的色彩偏差问题.这一做法的合理性可从两个角度进行考察:一方面,绝大部分的图像中都包含有纯白色,特别是包含有

第1期　　　　　　　　　　　　王举辉,等:彩色图像中人眼的精确定位43

人脸在内的图像中,在眼球外围等处通常就是纯白色,所以将具有最大亮度的像素的色彩值调整为纯白色是合理的;另一方面,存在色彩偏差的图像在原来是白色的区域有着很明显、直观的体现,所以按照这些区域的调整方法对整个图像进行调整也是比较合理和有效的图1是原图,图2为光线补偿后的图像.

为检测到的皮肤区域.

图3　皮肤区域2　眼睛的检测眼睛的检测即对眼睛进行初步定位,找出含有

眼睛的区域.在实验中发现,眼睛的检测往往被非眼物所干扰,影响了眼睛的检测准确度.宋加涛[4]等提出了一个基于灰度数学形态学方法的人眼定位方法.它用不同阈值对经过形态学操作所得的图像(即谷图)进行二值化,并通过分析二值图像中满足约束条件的黑块,找到眼睛的候选位置;然后用PCA法进行眼睛的验证并确定其最佳位置.该方法具有较好的光照鲁棒性,通过用不同质量的人脸数据库进行实验,取得了较为满意的定位效果.本系统首先对图像进行滤波,获得质量较好的图像,然后通过改进的二值化方法对图像进行分割,确定眼睛的候选位置.2.1　滤波

滤波的目的是为了去除噪声的影响.高斯滤波和中值滤波是最常用的滤波方法.其中高斯滤波对滤除高斯噪声非常有效,但会损坏图像的边缘信息,从而使图像变得模糊起来.而中值滤波能很好地滤除脉冲噪声,却对滤除高斯噪声效果不佳.Y.Deng和C.Kenney提出了一种称为PGF(PeerGroupFiltering)的滤波方法.该方法主要思想是只找出滤波窗口中与中心象素距离特征相近的邻域象素作为同组成员参加滤波.PGF滤波克服了高斯滤波和中值滤波的滤波窗口中所有象素都参与滤波的弊端,从而很好地滤除了混合噪声,且保护了图像的边缘信息.但该滤波方法运算量大,滤波速度较慢.本系统中采用了一种改进的PGF滤波[5],既能快速地滤除混合噪声,又能保护好图像边缘信息.图4、图5分别为滤波前后的对比图.2.2　改进的二值化方法

二值化的目的是为了使人脸照片的特征区域更加突出.本文采用一种改进的二值化方法,既能较好地去处背景的影响,又能去掉如眼镜、衣物等的干扰.

图1　原图　　　　　　图2　光线补偿后1.2　皮肤区域的检测在复杂背景的人脸检测中,颜色是一个非常重

要的基本线索,常常作为检测的第一步.HyeonBaeandSungshinKim[2]提出了通过计算不同颜色图像的相似度来去除背景的影响.本文采用YCbCr作为色彩空间来计算皮肤颜色,因为这种色彩空间的优点在于它将亮度与反映色彩本质特性的两个参数分开,而且可以从RGB格式线性变化得到.

但是,如果一幅图像包含人脸以外的类似皮肤的颜色,比如金色的和染过的头发,采用该算法会使检测到的人脸区域失真,会包含大片的头发区域,从而在以后的处理中(例如眼睛或眉毛的检测)存在重大误检.由于头发有着比人脸区域更大的亮度,利用头发的这个特性就可以解决人脸区域检测存在的问题[3].公式(1)说明了坐标(x,y)处的亮度范围,如果这个值比特定的阈值大,则这个坐标属于头发区域.

V(x,y)=

1　9

11

i=-1j=-1|

∑∑|

Y(x,y)-Y(x+i,y+j)|

(1)

公式(2)描述了不受类似皮肤颜色的头发影响的人脸区域的计算

(2)fRF(x,y)=fF(x,y)∩fH(x,y)其中fF(x,y)表示只有皮肤颜色信息的人脸区域检

测,fH(x,y)表示亮度变化的头发区域检测.

对得到的人脸区域进行膨胀和腐蚀等数学形态学处理,去除噪声的影响,即可得到候选人脸区域,候选人脸区域可能包括多个,需要进一步过滤.图3

44山东理工大学学报(自然科学版)2009年　

a类出现的概率为

t

　　　ω0=

i=0

∑p

i

(6)

b类出现的概率为

m-1

ω　　　1=

i=t+1

∑p

i

(7)

计算整幅图像的平均灰度为μ,a类的平均灰度为μ0,b类的平均灰度为μ1.让t依次取0,1,2,…,m-1,记录使类间方差σ2=ω0(μ-μ0)2+ω1(μ-图4　滤波前　　　　　　图5　滤波后

2.2.1　二次边缘提取算法

该算法既可以有效的去除背景的影响,又可以完成对图像的二值化处理.其算法如下:设G1,G2,G3,G4,G5,G6,G7,G8,G9的位置如图6所示,每一个区域均为图7所示的333的像素区域.求出以点(i,j)为中心的区域内点的灰度值之和G5,再分别计算与G5相邻的8个333的小区域的灰度值之和,按以下公式求出各阈值:

I1=(G1+G2+G3+G4-43G5)/4I2=(G6+G7+G8+G9-43G5)/4I3=(G1+G2+G3+G4+G6+G7+G8+

(3)(4)(5)

μ1)2最大的t值,以t为阈值,对图像进行二值分割.2.2.3　改进的二值化方法[6]

从实验中发现,改进的二次边缘提取算法能够较好地去除如眼镜、胡子以及背景的影响,使人脸特征区域更加明显,但同时使得头发处出现“空洞”,影响了二值化的效果,进而影响了后续的特征定位及提取;而OSTU算法对一般图像(无配饰)的二值化效果很好,特征点突出,尤其是眼睛,符合灰度图像中眼睛的变化规律(白-黑-白),但是它对有配饰物的图像效果不佳.因此,我们提出了一种综合两种算法的改进的二值化算法,经实验发现,无论处理有配饰还是没有配饰的,效果都较好.具体过程如下:

分别用改进的二次边缘提取算法和OSTU算法对图像进行二值化.将两幅二值化图像点对点相加,然后进行分析:若对应点都是白点或一个白点一个黑点,则最终二值化图像中对应点为白点;若对应两点都是黑点,则最终二值化图像中对应的点为黑点.

通过该方法得到的二值化图像既综合了上述两种算法的优点,使得二值化后的图像目标更加突出,又在一定程度上对图像进行了修正,便于后续的特征定位与特征提取.图8为二值化后的图像.

　G9-83G5)/8

G6G1G7G3G5G4G8G2G9若f(i,j)代表点(i,j)的灰度值,当f(i,j)小于I1,I2或I3中的任一值

时,此点为黑点,用0表示;反之,则此点为白点,用1表示.

G6G1G7G3G5G4G8G2G9

图6　人脸区域划分

图7　(i,j)位示

(i,j)

2.2.2　OSTU算法

OSTU算法基于使类间方差最大的原理,选取

最佳阈值将图像分割成两部分,使两部分的分离性最大.

设图像的灰度级为(0,1,2,…,m-1),以阈值t将所有的像素分为两类(a类和b类).设a类为背景,那么b类就为目标.设a类的灰度取值范围为0～t,则b类的灰度的取值范围为(t+1)～(m-1).

设Pi为图像中像素值为i的像素出现的概率,则

图8　二值化后的图像

从图8可以看出,分割后的图像目标非常突出,

第1期　　　　　　　　　　　　王举辉,等:彩色图像中人眼的精确定位45

尤其是眼睛,符合灰度图像中眼睛的亮度变化,为定位眼睛提供了保障.

4　结束语

本文中提到的算法全部采用VisualC++实现.本系统虽然采用的算法较多,但每个算法相对比较简单,因此系统能够获得比较好的时间性能.本系统尤其适合背景较固定、双眼都存在的图像的检测与定位,例如考勤系统,门禁系统.不足之处是对光线较强、虹膜不突出的图像效果较差,这也是以后研究的重点.参考文献:

[1]JinOkKim,JinSooKim,YoungRo,Seo,etal,Onextractionof

facialfeaturesfromcolorimages[C]//ICCSA,2004:92973.[2]HyeonBae,SungshinKim.Real2timefacedetectionandrecogni2

tionusinghybrid-informationextractedfromfacespaceandfa2cialfeatures[J].ImageandVisionComputing,2005,23:118121191.

[3]Jeong2SuOh,Dong2WookKim,Jin2TaeKim,etal.Facialcompo2

nentdetectionforefficientfacialcharacteristicPointextraction[C]//KamelM,CampilhoA.ICIAR,2005:112521132.[4]宋加涛,刘济林,池哲儒,等.人脸正面图像中眼睛的精确定位

[J].计算机辅助设计与图形学学报,2005,17(3):5402544.[5]曹　刚,游志胜,刘直芳,等.一种去除图像混合噪声的快速PGF

3　眼睛的定位

在已经检测出的人脸图像中,利用眼睛的判定

方法可以大致确定眼睛的位置,但可能会有一些干扰.可以利用如下方法进行筛选:

眼睛位于脸部的上方,在脸部高度1/2之下的区域可以去掉.

眼睛对称性地分布在脸部区域并且在眉毛的下面,如果眼睛和眉毛同时被检测出来.

对剩下的眼部区域进行水平和垂直投影,确定眼睛的位置及大小.

但是检测到的眼睛区域对于面部表情所表达的信息不够准确,因为它们被检测到的更多的是位置而不是形状.为了得到更准确的眼睛形状,我们用加权模板来补足检测到的眼睛区域,使眼睛的形状凸显出来.首先,用眼睛区域一半的宽度和高度分别加到它的左右两侧和上下两侧,然后用canny边缘检测算子检测眼睛区域的边界,最后将模板应用到边缘图像.模板由四部分组成,以检测准确的眼睛形状.如图9所示,其中黑色方格、黑灰色方格、灰色方格和白色方格分别代表-1,1,2和0.

滤波[J].计算机科学,2002,(6):1272129.

[6]王举辉,刘晓红,王英永.基于综合技术的二值化算法的研究与

实现[J].微计算机信息(管控一体化),2007,(33):2392240.

(编辑:刘宝江)

图9　眼睛模板