目の位置の検出方法および検出システム
【課題】一画像中に複数の顔画像を含む元画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにする。
【解決手段】複数の顔画像を含む元画像からの目の位置の検出方法が、Ａ．元画像から走査対象画像を作成し、そこに顔画像サイズの枠を走査して目の位置の検出対象領域を検出する工程、Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域に基づいて目の位置候補を特定する工程からなる。
【解決手段】複数の顔画像を含む元画像からの目の位置の検出方法が、Ａ．元画像から走査対象画像を作成し、そこに顔画像サイズの枠を走査して目の位置の検出対象領域を検出する工程、Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域に基づいて目の位置候補を特定する工程からなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を含む画像から目の位置を自動的に検出する方法および検出システムに関する。
【背景技術】
【０００２】
顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。
【０００３】
従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献１、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−９４９１７
【０００５】
【非特許文献１】2005年第５回ＬＳＩ ＩＰデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」（日経ＢＰ社）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。
【０００７】
これに対し、本発明は、顔画像を含む画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明者らは、(1)顔画像を含む元画像を、髪領域と顔領域は判別できるが顔の造作は判別できない明度、即ち、髪領域と顔領域のおおよそ判別できるが、顔内部は全く現れないか、あるいは目・鼻・口はわかるが誰の顔か判別しがたい状態の明度に調整し、(2)顔サイズの枠をその画像上で走査させ、その枠の中央部は高明度でその周囲では低明度となる枠領域を検出すると、検出された領域は、元画像に含まれる個々の顔の領域に対応するので、この領域を目の検出対象領域として抽出できること、(3)個々の目の検出対象領域について、明度が変化した画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(4)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(5)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できることを見出した。
【０００９】
即ち、本発明は、顔画像を含む元画像から目の位置を検出する方法であって、
Ａ．元画像から、走査対象画像を作成し、
前記走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、
前記目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する工程、
を有する目の位置の検出方法を提供する。
【００１０】
また、本発明は、顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が
元画像から、走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数の画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する機能を備えている目の位置の検出システムを提供する。
【発明の効果】
【００１１】
本発明の方法あるいはシステムによれば、顔画像を含む元画像において、個々の顔の領域に対応する目の位置の検出対象領域を自動的に検出し、目の位置の検出対象領域毎に明度を変化させた画像を複数形成することにより目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、元画像に含まれる顔の目の位置を信頼性高く短時間で自動的に検出することができる。
【００１２】
この方法あるいはシステムによれば、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を短時間で形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる
【図面の簡単な説明】
【００１３】
【図１】図１は、目の位置の検出方法の流れ図である。
【図２】図２は、目の位置の検出システムのブロック図である。
【図３】図３は、顔画像サイズの枠の設定方法の説明図である。
【図４Ａ】図４Ａは、走査対象画像（ポジ画像）である。
【図４Ｂ】図４Ｂは、走査対象画像（ネガ画像）である。
【図５Ａ】図５Ａは、明度ヒストグラムである。
【図５Ｂ】図５Ｂは、明度ヒストグラムである。
【図６】図６は、検出対象領域を検出した走査対象画像である。
【図７】図７は、個々の検出対象領域において明度を変化させた目の位置検出用画像である。
【図８】図８は、個々の検出対象領域において明度を変化させた目の位置検出用画像のネガ画像である。
【図９】図９は、ある検出対象領域のフェードイン画像における画素の固まり領域の説明図である。
【図１０】図１０は、目の位置候補を、目の位置検出用画像の全階層にわたって集積した状態の説明図である。
【図１１】図１１は、個々の検出対象領域において検出した目の位置を表示した目の位置検出用画像である。
【図１２】図１２は、元画像において、目の位置の検出対象領域を元画像に重ねた状態を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しつつ本発明を詳細に説明する。
【００１５】
図１は、顔画像を含む元画像において、個々の顔画像の目の位置を検出する本発明の目の位置の検出方法の一実施例を示す流れ図であり、図２は、この方法を実施する目の位置の検出システム１０のブロック図である。
【００１６】
このシステム１０は、撮像装置１及びパソコン本体２からなっており、パソコン本体２には、ディスプレイ３、イメージスキャナ４、プリンタ５等が接続されている。
【００１７】
撮像装置１は、顔画像を含む元画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。
【００１８】
パソコン本体２は、演算手段として設けられており、カラー画像をグレースケール画像へ変換する画像処理機能や所定のフェードイン割合の画像を作成する機能を備えている
【００１９】
ここで、カラー画像からグレースケール画像への変換は、各画素において、(1)Ｒ、Ｇ、Ｂの各値の最大値と最小値の平均を利用する方法、(2)Ｒ、Ｇ、Ｂの各値の平均を利用する方法、(3)Ｒ、Ｇ、Ｂの各値に所定の重み付け係数（ＮＴＳＣ等）を掛けた後、それらの平均をとる方法等により行えばよい。例えば、(3)の方法においては、次式
Ｙ（出力輝度）＝０．２９８９１２×Ｒ＋０．５６８８１１×Ｇ＋０．１１４４７８×Ｂ
を利用すればよい。このような画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することにより得ることができる。
【００２０】
また、所定のフェードイン割合の画像は、例えば、元画像が２５６階調の場合、以下の通りに作成することができる。
【００２１】
まず、フェードイン０％の画像は、全ての画素の画素値を一律２５５とする。
【００２２】
また、フェードインｘ％の画像は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素（但し、ｘ＞０）は一律画素値２５５を有するとする。
【００２３】
例えば、フェードイン１０％の画像は、元画像において、画素値が２５．５（＝２５５×０．１）未満の画素はその画素値のまま、画素値が２５．５以上の画素は画素値を一律２５５にする。
【００２４】
フェードイン２０％の画像は、元画像において、画素値が５１．０（＝２５５×０．２）未満の画素はその画素値のまま、元画像の画素値が５１．０以上の画素は画素値を一律２５５にする。
【００２５】
フェードイン１００％の画像は、全ての画素の画素値を元画像の画素値のままとする。
【００２６】
また、パソコン本体２は、明度の変化に伴ってコントラストを変化させる機能（例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）、画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、所定明度の画像上で所定サイズの枠を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに明度が変化した複数の画像を作成する機能、画像の明度の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層の画像にわたる出現度数をカウントし、その値に基づいて目の位置候補を絞り込む機能などを有している。
【００２７】
さらに、パソコン本体２は、顔画像のサイズの調整機能、顔画像のぼかし機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅、隣接する目の位置候補の距離等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。
【００２８】
このシステム１０を用いた目の位置の検出方法は、図１に示すように、概略、次のＡ、Ｂの２つの工程からなる。
【００２９】
Ａ．顔画像を含む元画像から目の位置の検出対象領域を検出する工程、
Ｂ．目の位置の検出対象領域から最終的に目の位置を特定する工程であって、
(1)個々の目の位置の検出対象領域において目の位置候補を検出する工程
(2)個々の目の位置の検出対象領域で検出した目の位置候補から最終的に目の位置を特定する工程
【００３０】
工程Ａでは、まず、目の位置の検出対象とする顔画像を有する元画像をパソコン本体２に取得する。元画像は、例えば、撮像装置１で顔画像を含む写真を撮り、それをパソコン本体２に取り込ませてもよく、イメージスキャナ４を用いて顔画像を含む写真を読み取ることによってもよく、インターネット等の通信回線を利用してそのような画像を取得してもよい。
【００３１】
なお、元画像としては、１つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のときに特に効果を発揮するので、複数の方が好ましい。また、元画像としては、その中に含まれる個々の顔画像について、最大サイズと最小サイズの比が、顔の長さで１〜３倍、好ましくは１．５〜２．５倍程度以内であるものが、目の位置の検出精度の点から好ましい。
【００３２】
次に、必要に応じて、元画像のサイズを目の位置の検出処理に適したサイズに調整する。より具体的には、検出速度と検出精度の観点から、４８０×３６０〜３２０×２４０ピクセル程度に画面サイズを変更することが好ましい。
【００３３】
また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて元画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。
【００３４】
さらに、本発明の目の位置の検出方法においては、カラー画像である必要は無いため、取得した元画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換することが好ましい。
【００３５】
次に、図３に示すように、取得した元画像２０において、適当な大きさの顔画像サイズの枠３０を予め設定する。通常、この枠３０のサイズは、元画像２０に含まれる個々の顔画像のうち、両目の間隔が最大のものの両目間隔Ｌ１の２倍〜３倍程度を一辺とする矩形枠３０とすることが好ましい。この枠３０のサイズを厳密に規定する必要はないが、漏れなく検出対象をとらえ、かつ検出を正確に行う観点から、当該元画像２０に好適な枠サイズを本システムの操作者が適宜設定することが好ましい。この設定は元画像２０を取得した後、次に説明する走査対象画像２１上で顔画像サイズの枠３０を走査させる前なら、いつ行ってもよい。
【００３６】
そして元画像２０から走査対象画像２１を作成する。図４Ａに示すように走査対象画像２１としては、元画像２０の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態の画像を作成することが好ましい。
【００３７】
走査対象画像２１の作成方法は、元画像２０の撮影条件にもよるが、基本的には元画像から、前述したフェードイン割合としてフェードイン２５〜３５％の画像を作成することが好ましい。なお、走査対象画像２１は、図４Ｂに示すように、階調を反転させたネガ画像として形成してもよい。
【００３８】
走査対象画像２１の作成方法は、前述の所定のフェードイン割合の画像を作成する方法に限らず、種々の２値化処理による方法が適用可能である。例えば、元画像２０の明度ヒストグラムの中心明度値を閾値とする２値化処理など、元画像の特性に基づき閾値を決める種々の２値化処理（一般的に可変閾値処理と呼ばれている）により走査対象画像２１を作成することができる。
【００３９】
また、走査対象画像２１は、元画像２０が極端に明るかったり暗かったりする場合には、以下のように予め元画像２０に明度補正を行ってから作成するのが好ましい。すなわち、図５Ａ（ａ）のように明るすぎる元画像２０について、あるいは図５Ｂ（ａ）のように暗すぎる元画像２０について、それぞれ元画像２０の明度ヒストグラムを作成し、最大カウント数Ａの１．５％〜１５％、好ましくは３％〜８％以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Ｘmaxおよび最小の画素値Ｘminを求める。次に、同図（ｂ）のように、元画像の画素値Ｘiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。
【００４０】
【数１】
但し、Ｘi＜Ｘminの場合、Ｘi＝Ｘminとし、
Ｘi＞Ｘmaxの場合、Ｘi＝Ｘmaxとする。
【００４１】
明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に走査対象画像作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。
【００４２】
ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に１階調ずつ変化させた画像を作成し、それぞれの画像に対して次に示す目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。
【００４３】
基準画像としては、５〜２０人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで１〜３倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。
【００４４】
次に、図６に示すように、走査対象画像２１上で顔画像サイズの枠３０を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域（図６に示すようにネガ画像では、中央部に比して周辺部が高明度となる領域）３０ａ〜３０ｅを検出し、検出した枠領域３０ａ〜３０ｅを目の位置の検出対象領域として設定する。より具体的には、走査対象画像２１上で、顔画像サイズの枠３０の一辺の長さをＸピクセルとしたとき、１〜0.35Ｘピクセル、好ましくは0.2Ｘ〜0.3Ｘピクセル、より好ましくは0.23Ｘ〜0.27Ｘピクセルずつ縦横に移動させ、以下の基準(1)〜(3)に基づいて枠領域を検出する。なお、この枠３０の走査と以下の枠領域の検出とは同時に行ってもよく、走査を完了させた後に枠領域を検出してもよい。
【００４５】
顔画像サイズの枠３０を３×３の９領域に分割した場合に、
(1)画素値２５４以下の領域（白で無い領域）の存在割合が、中央部領域に比して周囲８領域での平均値が高い、
(2)画素値２５４以下の領域の存在割合が、中央部領域に比して上部中央領域で高い、
(3)画素値２５４以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
【００４６】
これらの基準のうち、(1)は、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、グレースケール画像では、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいことに基づくものであり、顔領域を検出するために必要な基準となる。
【００４７】
(2)は、正面顔画像のように、画像上、顔の明るい領域の上方に頭髪の暗い領域が存在する場合、(3)は、横向の顔画像のように、画像上、顔の右側又は左側に髪の暗い領域が存在する場合に対応し、これらは(1)の条件だけでは、目の検出対象領域が過度に広く設定される場合に使用する。したがって、検出漏れ防止を優先目的とする場合は(1)の条件だけを満たす枠領域を検出することが好ましく、演算時間の短縮も目的とする場合は(1)と(2)を同時に満たす枠領域、又は(1)と(3)を同時に満たす枠領域を検出することが好ましい。
【００４８】
こうして、目の位置の検出対象領域３０ａ〜３０ｅを設定した後は、工程Ｂで、元画像の個々の目の位置の検出対象領域ごとに目の位置候補を検出する。この目の位置候補の検出のため、まず、目の位置の検出対象領域ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図７に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン０％から漸次明度を低下させたフェードイン画像を、１０〜８０％まで１％刻みに７０階層程度作成する。
【００４９】
なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、各検出対象領域３０ａ〜３０ｅの一辺の大きさが８０〜１２０ピクセルより大きなものは、一辺の大きさが８０〜１２０ピクセルとなるように、各検出対象領域３０ａ〜３０ｅの画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。
【００５０】
また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。
【００５１】
この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図７に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。
【００５２】
図７からわかるように、検出対象領域の明度をあげて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。そこで、目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。
【００５３】
なお、画素の固まり領域の検出においても、明度が変化した画像は、図８に示すようにネガ画像として形成してもよい。
【００５４】
図９は、目の位置の検出対象領域３０ｅのある階層のフェードイン画像（ネガ画像）において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。
【００５５】
対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
【００５６】
次に、図１０に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント（ランキング第１位）となる。そこで、カウント値が２以下のものは目の位置候補から外し、また、原則的に最大カウントの目の位置候補の位置を目の位置候補として絞り込む。
【００５７】
ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が２番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第２位の目の位置候補が、ランキング第１位の目の位置候補より上方にある場合
(b)ランキング第２位の目の位置候補の目と目の中心間距離が、ランキング第１位の目の位置候補の中心間距離より長い場合
(c)ランキング第２位の目の位置候補の左右の瞳にあたる領域が、共にランキング第１位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第１位の目の位置候補とランキング第２位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第１位の目の位置候補がランキング第２位の目の位置候補よりも上にある場合
【００５８】
このうち、(a)〜(c)は、ランキング第１位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。
【００５９】
以上により、図１１に示すように、個々の目の位置の検出対象領域において、目の位置候補（より正確には瞳の位置）を正確に検出することが可能となる。
【００６０】
以上の目の位置候補の特定方法は、工程Ａで設定した全ての目の位置の検出対象領域３０ａ〜３０ｅについてそれぞれ行う。また、いずれかの目の位置の検出対象領域において、目の位置候補を特定できなかった場合には、以降、その領域には目が存在しないとして扱う。
【００６１】
こうして個々の目の位置の検出対象領域で特定された目の位置を、最終的に図１２に示すように元画像の対応する位置に重ね、元画像における個々の顔画像の目の位置とすることが可能となる。
【００６２】
本発明の目の位置の検出方法は、複数顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。
【００６３】
こうして検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。
【産業上の利用可能性】
【００６４】
本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理など、複数顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用となる。
【符号の説明】
【００６５】
１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ イメージスキャナ
５ プリンタ
１０ 目の位置の検出システム
２０ 元画像
２１ 走査対象画像
３０ 顔画像サイズの枠
３０ａ〜３０ｅ 目の位置の検出対象領域
Ｌ１ 両目間隔
【技術分野】
【０００１】
本発明は、顔画像を含む画像から目の位置を自動的に検出する方法および検出システムに関する。
【背景技術】
【０００２】
顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。
【０００３】
従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献１、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−９４９１７
【０００５】
【非特許文献１】2005年第５回ＬＳＩ ＩＰデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」（日経ＢＰ社）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。
【０００７】
これに対し、本発明は、顔画像を含む画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明者らは、(1)顔画像を含む元画像を、髪領域と顔領域は判別できるが顔の造作は判別できない明度、即ち、髪領域と顔領域のおおよそ判別できるが、顔内部は全く現れないか、あるいは目・鼻・口はわかるが誰の顔か判別しがたい状態の明度に調整し、(2)顔サイズの枠をその画像上で走査させ、その枠の中央部は高明度でその周囲では低明度となる枠領域を検出すると、検出された領域は、元画像に含まれる個々の顔の領域に対応するので、この領域を目の検出対象領域として抽出できること、(3)個々の目の検出対象領域について、明度が変化した画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(4)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(5)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できることを見出した。
【０００９】
即ち、本発明は、顔画像を含む元画像から目の位置を検出する方法であって、
Ａ．元画像から、走査対象画像を作成し、
前記走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、
前記目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する工程、
を有する目の位置の検出方法を提供する。
【００１０】
また、本発明は、顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が
元画像から、走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数の画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する機能を備えている目の位置の検出システムを提供する。
【発明の効果】
【００１１】
本発明の方法あるいはシステムによれば、顔画像を含む元画像において、個々の顔の領域に対応する目の位置の検出対象領域を自動的に検出し、目の位置の検出対象領域毎に明度を変化させた画像を複数形成することにより目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、元画像に含まれる顔の目の位置を信頼性高く短時間で自動的に検出することができる。
【００１２】
この方法あるいはシステムによれば、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を短時間で形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる
【図面の簡単な説明】
【００１３】
【図１】図１は、目の位置の検出方法の流れ図である。
【図２】図２は、目の位置の検出システムのブロック図である。
【図３】図３は、顔画像サイズの枠の設定方法の説明図である。
【図４Ａ】図４Ａは、走査対象画像（ポジ画像）である。
【図４Ｂ】図４Ｂは、走査対象画像（ネガ画像）である。
【図５Ａ】図５Ａは、明度ヒストグラムである。
【図５Ｂ】図５Ｂは、明度ヒストグラムである。
【図６】図６は、検出対象領域を検出した走査対象画像である。
【図７】図７は、個々の検出対象領域において明度を変化させた目の位置検出用画像である。
【図８】図８は、個々の検出対象領域において明度を変化させた目の位置検出用画像のネガ画像である。
【図９】図９は、ある検出対象領域のフェードイン画像における画素の固まり領域の説明図である。
【図１０】図１０は、目の位置候補を、目の位置検出用画像の全階層にわたって集積した状態の説明図である。
【図１１】図１１は、個々の検出対象領域において検出した目の位置を表示した目の位置検出用画像である。
【図１２】図１２は、元画像において、目の位置の検出対象領域を元画像に重ねた状態を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しつつ本発明を詳細に説明する。
【００１５】
図１は、顔画像を含む元画像において、個々の顔画像の目の位置を検出する本発明の目の位置の検出方法の一実施例を示す流れ図であり、図２は、この方法を実施する目の位置の検出システム１０のブロック図である。
【００１６】
このシステム１０は、撮像装置１及びパソコン本体２からなっており、パソコン本体２には、ディスプレイ３、イメージスキャナ４、プリンタ５等が接続されている。
【００１７】
撮像装置１は、顔画像を含む元画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。
【００１８】
パソコン本体２は、演算手段として設けられており、カラー画像をグレースケール画像へ変換する画像処理機能や所定のフェードイン割合の画像を作成する機能を備えている
【００１９】
ここで、カラー画像からグレースケール画像への変換は、各画素において、(1)Ｒ、Ｇ、Ｂの各値の最大値と最小値の平均を利用する方法、(2)Ｒ、Ｇ、Ｂの各値の平均を利用する方法、(3)Ｒ、Ｇ、Ｂの各値に所定の重み付け係数（ＮＴＳＣ等）を掛けた後、それらの平均をとる方法等により行えばよい。例えば、(3)の方法においては、次式
Ｙ（出力輝度）＝０．２９８９１２×Ｒ＋０．５６８８１１×Ｇ＋０．１１４４７８×Ｂ
を利用すればよい。このような画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することにより得ることができる。
【００２０】
また、所定のフェードイン割合の画像は、例えば、元画像が２５６階調の場合、以下の通りに作成することができる。
【００２１】
まず、フェードイン０％の画像は、全ての画素の画素値を一律２５５とする。
【００２２】
また、フェードインｘ％の画像は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素（但し、ｘ＞０）は一律画素値２５５を有するとする。
【００２３】
例えば、フェードイン１０％の画像は、元画像において、画素値が２５．５（＝２５５×０．１）未満の画素はその画素値のまま、画素値が２５．５以上の画素は画素値を一律２５５にする。
【００２４】
フェードイン２０％の画像は、元画像において、画素値が５１．０（＝２５５×０．２）未満の画素はその画素値のまま、元画像の画素値が５１．０以上の画素は画素値を一律２５５にする。
【００２５】
フェードイン１００％の画像は、全ての画素の画素値を元画像の画素値のままとする。
【００２６】
また、パソコン本体２は、明度の変化に伴ってコントラストを変化させる機能（例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）、画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、所定明度の画像上で所定サイズの枠を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに明度が変化した複数の画像を作成する機能、画像の明度の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層の画像にわたる出現度数をカウントし、その値に基づいて目の位置候補を絞り込む機能などを有している。
【００２７】
さらに、パソコン本体２は、顔画像のサイズの調整機能、顔画像のぼかし機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅、隣接する目の位置候補の距離等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。
【００２８】
このシステム１０を用いた目の位置の検出方法は、図１に示すように、概略、次のＡ、Ｂの２つの工程からなる。
【００２９】
Ａ．顔画像を含む元画像から目の位置の検出対象領域を検出する工程、
Ｂ．目の位置の検出対象領域から最終的に目の位置を特定する工程であって、
(1)個々の目の位置の検出対象領域において目の位置候補を検出する工程
(2)個々の目の位置の検出対象領域で検出した目の位置候補から最終的に目の位置を特定する工程
【００３０】
工程Ａでは、まず、目の位置の検出対象とする顔画像を有する元画像をパソコン本体２に取得する。元画像は、例えば、撮像装置１で顔画像を含む写真を撮り、それをパソコン本体２に取り込ませてもよく、イメージスキャナ４を用いて顔画像を含む写真を読み取ることによってもよく、インターネット等の通信回線を利用してそのような画像を取得してもよい。
【００３１】
なお、元画像としては、１つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のときに特に効果を発揮するので、複数の方が好ましい。また、元画像としては、その中に含まれる個々の顔画像について、最大サイズと最小サイズの比が、顔の長さで１〜３倍、好ましくは１．５〜２．５倍程度以内であるものが、目の位置の検出精度の点から好ましい。
【００３２】
次に、必要に応じて、元画像のサイズを目の位置の検出処理に適したサイズに調整する。より具体的には、検出速度と検出精度の観点から、４８０×３６０〜３２０×２４０ピクセル程度に画面サイズを変更することが好ましい。
【００３３】
また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて元画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。
【００３４】
さらに、本発明の目の位置の検出方法においては、カラー画像である必要は無いため、取得した元画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換することが好ましい。
【００３５】
次に、図３に示すように、取得した元画像２０において、適当な大きさの顔画像サイズの枠３０を予め設定する。通常、この枠３０のサイズは、元画像２０に含まれる個々の顔画像のうち、両目の間隔が最大のものの両目間隔Ｌ１の２倍〜３倍程度を一辺とする矩形枠３０とすることが好ましい。この枠３０のサイズを厳密に規定する必要はないが、漏れなく検出対象をとらえ、かつ検出を正確に行う観点から、当該元画像２０に好適な枠サイズを本システムの操作者が適宜設定することが好ましい。この設定は元画像２０を取得した後、次に説明する走査対象画像２１上で顔画像サイズの枠３０を走査させる前なら、いつ行ってもよい。
【００３６】
そして元画像２０から走査対象画像２１を作成する。図４Ａに示すように走査対象画像２１としては、元画像２０の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態の画像を作成することが好ましい。
【００３７】
走査対象画像２１の作成方法は、元画像２０の撮影条件にもよるが、基本的には元画像から、前述したフェードイン割合としてフェードイン２５〜３５％の画像を作成することが好ましい。なお、走査対象画像２１は、図４Ｂに示すように、階調を反転させたネガ画像として形成してもよい。
【００３８】
走査対象画像２１の作成方法は、前述の所定のフェードイン割合の画像を作成する方法に限らず、種々の２値化処理による方法が適用可能である。例えば、元画像２０の明度ヒストグラムの中心明度値を閾値とする２値化処理など、元画像の特性に基づき閾値を決める種々の２値化処理（一般的に可変閾値処理と呼ばれている）により走査対象画像２１を作成することができる。
【００３９】
また、走査対象画像２１は、元画像２０が極端に明るかったり暗かったりする場合には、以下のように予め元画像２０に明度補正を行ってから作成するのが好ましい。すなわち、図５Ａ（ａ）のように明るすぎる元画像２０について、あるいは図５Ｂ（ａ）のように暗すぎる元画像２０について、それぞれ元画像２０の明度ヒストグラムを作成し、最大カウント数Ａの１．５％〜１５％、好ましくは３％〜８％以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Ｘmaxおよび最小の画素値Ｘminを求める。次に、同図（ｂ）のように、元画像の画素値Ｘiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。
【００４０】
【数１】
但し、Ｘi＜Ｘminの場合、Ｘi＝Ｘminとし、
Ｘi＞Ｘmaxの場合、Ｘi＝Ｘmaxとする。
【００４１】
明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に走査対象画像作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。
【００４２】
ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に１階調ずつ変化させた画像を作成し、それぞれの画像に対して次に示す目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。
【００４３】
基準画像としては、５〜２０人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで１〜３倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。
【００４４】
次に、図６に示すように、走査対象画像２１上で顔画像サイズの枠３０を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域（図６に示すようにネガ画像では、中央部に比して周辺部が高明度となる領域）３０ａ〜３０ｅを検出し、検出した枠領域３０ａ〜３０ｅを目の位置の検出対象領域として設定する。より具体的には、走査対象画像２１上で、顔画像サイズの枠３０の一辺の長さをＸピクセルとしたとき、１〜0.35Ｘピクセル、好ましくは0.2Ｘ〜0.3Ｘピクセル、より好ましくは0.23Ｘ〜0.27Ｘピクセルずつ縦横に移動させ、以下の基準(1)〜(3)に基づいて枠領域を検出する。なお、この枠３０の走査と以下の枠領域の検出とは同時に行ってもよく、走査を完了させた後に枠領域を検出してもよい。
【００４５】
顔画像サイズの枠３０を３×３の９領域に分割した場合に、
(1)画素値２５４以下の領域（白で無い領域）の存在割合が、中央部領域に比して周囲８領域での平均値が高い、
(2)画素値２５４以下の領域の存在割合が、中央部領域に比して上部中央領域で高い、
(3)画素値２５４以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
【００４６】
これらの基準のうち、(1)は、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、グレースケール画像では、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいことに基づくものであり、顔領域を検出するために必要な基準となる。
【００４７】
(2)は、正面顔画像のように、画像上、顔の明るい領域の上方に頭髪の暗い領域が存在する場合、(3)は、横向の顔画像のように、画像上、顔の右側又は左側に髪の暗い領域が存在する場合に対応し、これらは(1)の条件だけでは、目の検出対象領域が過度に広く設定される場合に使用する。したがって、検出漏れ防止を優先目的とする場合は(1)の条件だけを満たす枠領域を検出することが好ましく、演算時間の短縮も目的とする場合は(1)と(2)を同時に満たす枠領域、又は(1)と(3)を同時に満たす枠領域を検出することが好ましい。
【００４８】
こうして、目の位置の検出対象領域３０ａ〜３０ｅを設定した後は、工程Ｂで、元画像の個々の目の位置の検出対象領域ごとに目の位置候補を検出する。この目の位置候補の検出のため、まず、目の位置の検出対象領域ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図７に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン０％から漸次明度を低下させたフェードイン画像を、１０〜８０％まで１％刻みに７０階層程度作成する。
【００４９】
なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、各検出対象領域３０ａ〜３０ｅの一辺の大きさが８０〜１２０ピクセルより大きなものは、一辺の大きさが８０〜１２０ピクセルとなるように、各検出対象領域３０ａ〜３０ｅの画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。
【００５０】
また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。
【００５１】
この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図７に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。
【００５２】
図７からわかるように、検出対象領域の明度をあげて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。そこで、目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。
【００５３】
なお、画素の固まり領域の検出においても、明度が変化した画像は、図８に示すようにネガ画像として形成してもよい。
【００５４】
図９は、目の位置の検出対象領域３０ｅのある階層のフェードイン画像（ネガ画像）において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。
【００５５】
対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
【００５６】
次に、図１０に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント（ランキング第１位）となる。そこで、カウント値が２以下のものは目の位置候補から外し、また、原則的に最大カウントの目の位置候補の位置を目の位置候補として絞り込む。
【００５７】
ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が２番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第２位の目の位置候補が、ランキング第１位の目の位置候補より上方にある場合
(b)ランキング第２位の目の位置候補の目と目の中心間距離が、ランキング第１位の目の位置候補の中心間距離より長い場合
(c)ランキング第２位の目の位置候補の左右の瞳にあたる領域が、共にランキング第１位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第１位の目の位置候補とランキング第２位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第１位の目の位置候補がランキング第２位の目の位置候補よりも上にある場合
【００５８】
このうち、(a)〜(c)は、ランキング第１位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。
【００５９】
以上により、図１１に示すように、個々の目の位置の検出対象領域において、目の位置候補（より正確には瞳の位置）を正確に検出することが可能となる。
【００６０】
以上の目の位置候補の特定方法は、工程Ａで設定した全ての目の位置の検出対象領域３０ａ〜３０ｅについてそれぞれ行う。また、いずれかの目の位置の検出対象領域において、目の位置候補を特定できなかった場合には、以降、その領域には目が存在しないとして扱う。
【００６１】
こうして個々の目の位置の検出対象領域で特定された目の位置を、最終的に図１２に示すように元画像の対応する位置に重ね、元画像における個々の顔画像の目の位置とすることが可能となる。
【００６２】
本発明の目の位置の検出方法は、複数顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。
【００６３】
こうして検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。
【産業上の利用可能性】
【００６４】
本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理など、複数顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用となる。
【符号の説明】
【００６５】
１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ イメージスキャナ
５ プリンタ
１０ 目の位置の検出システム
２０ 元画像
２１ 走査対象画像
３０ 顔画像サイズの枠
３０ａ〜３０ｅ 目の位置の検出対象領域
Ｌ１ 両目間隔
【特許請求の範囲】
【請求項１】
顔画像を含む元画像から目の位置を検出する方法であって、
Ａ．元画像からグレースケールの走査対象画像を作成し、
走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数のグレースケールの目の位置検出用画像を作成し、
目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補から目の位置を特定する工程、
を有する目の位置の検出方法。
【請求項２】
工程Ａにおいて、元画像に明度補正を行って走査対象画像を作成する請求項１記載の目の位置の検出方法。
【請求項３】
工程Ａにおいて、顔画像サイズの枠として、元画像に含まれる個々の顔画像の目の間隔の最大値の２倍〜３倍を一辺とする矩形枠を設定する請求項１又は２記載の目の位置の検出方法。
【請求項４】
工程Ａにおいて、元画像が２５６階調の場合に、フェードイン０％の画像は全ての画素が画素値２５５を有し、フェードインｘ％の画像（但し、ｘ＞０）は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素は一律画素値２５５を有するとしたときに、走査対象画像として、元画像に対してフェードイン２５〜３５％の画像を形成し、
該走査対象画像を顔画像サイズの枠を３×３の９領域に分割し、顔画像サイズの枠が次の(1)、(2)及び(3)を満たすときに、該枠領域を目の位置の検出対象領域として検出する請求項１〜３のいずれかに記載の目の位置の検出方法。
(1)画素値２５４以下の領域の存在割合が、中央部領域に比して周囲８領域で高い
(2)画素値２５４以下の領域の存在割合が、中央部領域に比して上部中央領域で高い
(3)画素値２５４以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
【請求項５】
顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
元画像から、グレースケールの走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数のグレースケールの画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補から目の位置を特定する機能を備えている目の位置の検出システム。
【請求項１】
顔画像を含む元画像から目の位置を検出する方法であって、
Ａ．元画像からグレースケールの走査対象画像を作成し、
走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
Ｂ．目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数のグレースケールの目の位置検出用画像を作成し、
目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補から目の位置を特定する工程、
を有する目の位置の検出方法。
【請求項２】
工程Ａにおいて、元画像に明度補正を行って走査対象画像を作成する請求項１記載の目の位置の検出方法。
【請求項３】
工程Ａにおいて、顔画像サイズの枠として、元画像に含まれる個々の顔画像の目の間隔の最大値の２倍〜３倍を一辺とする矩形枠を設定する請求項１又は２記載の目の位置の検出方法。
【請求項４】
工程Ａにおいて、元画像が２５６階調の場合に、フェードイン０％の画像は全ての画素が画素値２５５を有し、フェードインｘ％の画像（但し、ｘ＞０）は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素は一律画素値２５５を有するとしたときに、走査対象画像として、元画像に対してフェードイン２５〜３５％の画像を形成し、
該走査対象画像を顔画像サイズの枠を３×３の９領域に分割し、顔画像サイズの枠が次の(1)、(2)及び(3)を満たすときに、該枠領域を目の位置の検出対象領域として検出する請求項１〜３のいずれかに記載の目の位置の検出方法。
(1)画素値２５４以下の領域の存在割合が、中央部領域に比して周囲８領域で高い
(2)画素値２５４以下の領域の存在割合が、中央部領域に比して上部中央領域で高い
(3)画素値２５４以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
【請求項５】
顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
元画像から、グレースケールの走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数のグレースケールの画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補から目の位置を特定する機能を備えている目の位置の検出システム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１３８５５８（Ｐ２０１１−１３８５５８Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２０１１−８８６６９（Ｐ２０１１−８８６６９）
【出願日】平成２３年４月１２日（２０１１．４．１２）
【分割の表示】特願２００７−１７６７４４（Ｐ２００７−１７６７４４）の分割
【原出願日】平成１９年７月４日（２００７．７．４）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２３年４月１２日（２０１１．４．１２）
【分割の表示】特願２００７−１７６７４４（Ｐ２００７−１７６７４４）の分割
【原出願日】平成１９年７月４日（２００７．７．４）
【出願人】（００００００９１８）花王株式会社 (8,290)
【Ｆターム（参考）】
[ Back to top ]