顔器官検出装置
【課題】 肌の色や照明条件の変化の影響を受けにくい高性能な顔器官検出装置を実現する。
【解決手段】 中心線算出手段２は、画像記憶手段１に記憶された入力画像から顔の中心線を算出する。顔色推定手段３は、中心線算出手段２が算出した顔の中心線に基づいて、画像記憶手段１に記憶された入力画像から顔の肌の色を推定する。テンプレート作成手段５は、テンプレート作成用辞書４に記憶されている顔器官のテンプレートの生成規則に対して、顔色推定手段３が推定した顔色を適用して顔器官のテンプレートを作成する。マッチング手段７は、テンプレート作成手段５で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行う。
【解決手段】 中心線算出手段２は、画像記憶手段１に記憶された入力画像から顔の中心線を算出する。顔色推定手段３は、中心線算出手段２が算出した顔の中心線に基づいて、画像記憶手段１に記憶された入力画像から顔の肌の色を推定する。テンプレート作成手段５は、テンプレート作成用辞書４に記憶されている顔器官のテンプレートの生成規則に対して、顔色推定手段３が推定した顔色を適用して顔器官のテンプレートを作成する。マッチング手段７は、テンプレート作成手段５で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、顔の画像認識を行い、例えば目や唇といった顔器官を検出する顔器官検出装置に関する。
【０００２】
【従来の技術】顔画像から得られる、目、鼻、口などの顔器官の位置情報を利用した様々な技術が開発されている。例えば、個人識別技術や顔の向きを判定する技術等が挙げられる。
【０００３】このような顔画像に関する技術としては、例えば、文献：「分散型２次元見え方モデルに基づく顔画像解析」電子情報通信学会論文誌 Ｄ−II Ｖｏｌ．Ｊ７７−Ｄ−II No．１２ PP．2342〜2352，1994．12等に示されるものがあった。
【０００４】上記文献では（ｐ2344，右、下から９行目〜）、顔器官を検出する方法として、各器官を代表する画像（テンプレート）を予め作成し、入力画像中で最もテンプレートにマッチする領域を見つけ出す方法を用いている。顔器官のテンプレートは予め数名の顔画像を撮影し、顔器官領域を切り出して、位置と輝度に関する正規化の後、各画素毎に平均を行って作成している。
【０００５】
【発明が解決しようとする課題】しかしながら、上記のような従来技術では、照明（色、明暗、位置）条件がテンプレートを作成した時と異なった場合には、人の肌の色や輝度が変化するため、テンプレートマッチングによる位置検出が失敗する場合があった。同様に、肌の色は個人差もあり、更に化粧や日焼け、人種の違い等でも変化してしまう。
【０００６】そのため、従来では、肌の色の変化に対応するためには、肌の色の異なるテンプレートを複数用意する必要があり、マッチングの性能を上げるためには、テンプレートの記憶容量が増加し、更に処理量も増大するという問題点があった。
【０００７】このような点から、肌の色や照明条件の変化の影響を受けにくい高性能な顔器官検出装置を実現することが望まれていた。
【０００８】
【課題を解決するための手段】本発明は、前述の課題を解決するため次の構成を採用する。
〈構成１〉入力された顔画像から顔の中心線を算出する中心線算出手段と、中心線算出手段が算出した顔の中心線に基づいて、入力された顔画像から顔の肌の色を推定する顔色推定手段と、顔器官のテンプレートの生成規則を記憶するテンプレート作成用辞書と、テンプレート作成用辞書に記憶されている生成規則に対して、顔色推定手段が推定した顔色を適用して顔器官のテンプレートを作成するテンプレート作成手段と、テンプレート作成手段で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行うマッチング手段とを備えたことを特徴とする顔器官検出装置。
【０００９】〈構成２〉構成１に記載の顔器官検出装置において、中心線算出手段は、顔の左右の対称性に基づいて中心線を算出することを特徴とする顔器官検出装置。
【００１０】〈構成３〉構成１または２に記載の顔器官検出装置において、マッチング手段は、中心線算出手段の算出した顔の中心線情報に基づいて探索範囲を限定することを特徴とする顔器官検出装置。
【００１１】
【発明の実施の形態】本発明は、入力画像から顔の肌の色を推定し、推定した肌色に基づいてテンプレートを作成する。そして、このようにして作成したテンプレートを用いてテンプレートマッチングを行う。従って、肌の色の変化による性能低下を防ぐことが可能である。以下、このような本発明の実施の形態を具体例を用いて詳細に説明する。
【００１２】《具体例》
〈構成〉図１は本発明の顔器官検出装置の具体例を示す構成図である。図の装置は、画像記憶手段１、中心線算出手段２、顔色推定手段３、テンプレート作成用辞書４、テンプレート作成手段５、テンプレート記憶手段６、マッチング手段７からなる。
【００１３】画像記憶手段１は、顔画像を記憶する手段である。顔画像の入力は、ビデオやＶＴＲ等の画像入力装置から得られた信号をＡ／Ｄ変換する構成、あるいはネットワーク等を介して画像データを得る構成となっている。この画像記憶手段１は、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。
【００１４】中心線算出手段２は、画像記憶手段１に記憶された画像データに基づいて、顔の中心線を算出する手段である。顔色推定手段３は、中心線算出手段２が算出した顔の中心線上の画素値に基づいて、入力画像中の顔の色を推定する機能を有している。
【００１５】テンプレート作成用辞書４は、顔器官のテンプレートの生成規則を記憶しているテンプレート格納部であり、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。テンプレート作成手段５は、テンプレート作成用辞書４に記憶されている生成規則に対して、顔色推定手段３が推定した顔色を適用して顔器官のテンプレートを作成する機能を有している。また、テンプレート記憶手段６は、このテンプレート作成手段５が生成したテンプレートを記憶する手段であり、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。
【００１６】マッチング手段７は、テンプレート作成手段５で作成したテンプレートと、画像記憶手段１に記憶されている入力画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行う機能を有している。
【００１７】尚、上記の中心線算出手段２、顔色推定手段３、テンプレート作成手段５およびマッチング手段７は、各機能に対応したプログラムと、これを実行するマイクロプロセッサによって実現されるか、あるいは専用演算ハードウェアによって構成されている。
【００１８】〈動作〉以下、各機能部毎にその動作を説明する。
［画像記憶手段１の動作］先ず、画像記憶手段１に記憶された入力画像の幅と高さをＷ，Ｈとする（但し、画像の左上を（０，０）、右下を（Ｗ，Ｈ）とする）。また、座標（Ｘ，Ｙ）に位置する画素の赤、緑、青成分はＲ（Ｘ，Ｙ）、Ｇ（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）という変数名で表す。尚、画像記憶手段１で記憶されたＲ，Ｇ，Ｂの値は、中心線算出手段２、顔色推定手段３、マッチング手段７で使用される。
【００１９】［中心線算出手段２の動作］中心線算出手段２は、画像記憶手段１に記憶されたデータに基づいて、顔の中心線を算出する処理を行う。本処理では入力画像の中で最も左右の対称性が高いＸ座標を求める。
【００２０】図２は、中心線算出処理の説明図である。中心線算出手段２は、図２の太線で示すように、入力画像に対して、Ｘ＝ａという直線を設定し、この直線を中心にして幅（ＣＨ×２）の矩形を考える。この矩形内で、Ｘ＝ａに対して線対称な画素の、画素値同士のＲＧＢ空間内での距離を求め、その距離の総和（dist）をＸ＝ａにおける対称性の目安とする。そして、このような処理をＸの値をＣＨから（Ｗ−ＣＨ）まで変化させ、distが最小値を示すＸを求める（図示例では、Ｘ＝ＫＸが結果となる）。また、領域の幅を示すＣＨの値は（Ｗ／２）よりも小さい値を設定し、この値は、入力画像に写っている顔の大きさや位置により適宜決定する。
【００２１】次に、中心線算出手段２の動作をフローチャートに沿って更に説明する。図３は、中心線算出手段２の動作フローチャートである。先ず、図２で示したように、入力画像の幅をＷ、高さをＨとする。よって、Ｘ座標およびＹ座標の範囲はそれぞれ０≦Ｘ≦Ｗ、０≦Ｙ≦Ｈである。
【００２２】最初に、ステップＳ１０１において、Ｘ座標を初期化（Ｘ＝ＣＨ）する。次に、ステップＳ１０２において、Ｙ座標の初期化を行い（Ｙ＝０）、かつ、左右対称性の計算結果を記憶する変数distの初期化も行う（dist＝０）。
【００２３】次にステップＳ１０３において、中心線との（Ｘ方向の）距離を表す変数ｉを初期化する（ｉ＝１）。そして、ステップＳ１０４では、中心線に対して線対称な座標（但し、中心線との距離をｉとする）を求める。ここで、求めた座標値をそれぞれＸ０、Ｘ１とする。ステップＳ１０５では、座標（Ｘ０，Ｙ）に位置する画素と、座標（Ｘ１，Ｙ）に位置する画素がどれぐらい似通っているかを距離計算により求める。即ち、このステップＳ１０５では、それぞれの座標における赤、緑、青成分の値の差分の２乗を加算し、平方根をとっている。ここで求めた距離はdistに加算する。
【００２４】ステップＳ１０６ではｉの値を更新する（ｉ＝ｉ＋１）。次のステップＳ１０７では、ｉがＣＨを超えたかを判定する。もしｉがＣＨを超えていない場合には、ステップＳ１０４に戻る。また、ステップＳ１０７で、ｉがＣＨを超えた場合はステップＳ１０８に処理を移す。
【００２５】ステップＳ１０８ではＹの値を更新する（Ｙ＝Ｙ＋１）。そして、ステップＳ１０９ではＹがＨを超えたかを判定する。このステップＳ１０９で、ＹがＨを超えていない場合には、ステップＳ１０３に戻り、ＹがＨを超えた場合はステップＳ１１０に処理を移す。このように、上記のステップＳ１０２〜ステップＳ１０９の一連の処理により、左右対称性distが求まる。即ち、distが小さいほど左右対称性が高い。
【００２６】次に、ステップＳ１１０では、求めたdistが、それ以前に求めたdistの中で最も小さい値かを判定する。もし、最小値であった場合にはステップＳ１１１において現在のＸを記憶する（ＫＸ＝Ｘ）。一方、そのdistが最小値でなかった場合には、ステップＳ１１２に処理を移す。ステップＳ１１２ではＸの更新を行う（Ｘ＝Ｘ＋１）。
【００２７】そして、ステップＳ１１３において、Ｘが（Ｗ−ＣＨ）を超えたかを判定する。もし超えていない場合には、ステップＳ１０２に戻る。ここで、Ｘが（Ｗ−ＣＨ）を超えた場合にはステップＳ１１４に処理を移す。ステップＳ１１４では本処理の結果としてＫＸの値を出力する。即ち、Ｘ＝ＫＸが顔の中心線となる。
【００２８】このように、中心線算出手段２は、顔の左右の対称性に基づいて中心線を算出するようにしたので、例えば、まばたき等により目が閉じている場合やサングラスをかけている場合であっても顔の中心線を正確に決定することができる。
【００２９】［顔色推定手段３の動作］顔色推定手段３は、中心線算出手段２が算出した顔の中心線上の画素値に基づいて入力画像中の顔の色を推定する。本具体例では、中心線上の予め決められた範囲の画素値の平均により顔の色を求めている。
【００３０】図４は顔色推定手段３の処理説明図である。図４に示すように、本具体例では、中心線算出手段２により求めた顔の中心線Ｘ＝ＫＸ上の、Ｙ＝startＹ〜endＹの範囲の画素を利用する。但し、startＹ，endＹの値は、入力画像中の顔の大きさや位置等に応じて適宜決定するものとする。以下、顔色推定手段３の動作をフローチャートに沿って更に説明する。
【００３１】図５は、顔色推定手段３の処理フローチャートである。先ず、画素値の合計を記憶する変数totalＲ、totalＧ、totalＢ、Ｎを初期化する（ステップＳ２０１）。尚、Ｎは画素数である。そして、ＹをstartＹに設定し（ステップＳ２０２）、画素値の合計を記憶する変数totalＲ、totalＧ、totalＢにそれぞれ、画素値Ｒ（ＫＸ，Ｙ）、Ｇ（ＫＸ、Ｙ）、Ｂ（ＫＸ，Ｙ）の値を加算し、画素値Ｎを＋１する（ステップＳ２０３）。
【００３２】そして、Ｙの値を＋１して（ステップＳ２０４）、ステップＳ２０３、Ｓ２０４の処理を、ステップＳ２０５においてＹ＞endＹの条件を満たすまで繰り返す。即ち、ステップＳ２０２〜ステップＳ２０５では、中心線上で予め設定した範囲の画素値の合計を求める。合計の値は、赤、緑、青それぞれtotalＲ、totalＧ、totalＢに記憶される。また、画素の数はＮに記憶される。
【００３３】ステップＳ２０５において、Ｙ＞endＹの条件を満たした場合は、画素値の合計の値totalＲ、totalＧ、totalＢをそれぞれ画素の数Ｎで除算し、推定した顔の色とする（ステップＳ２０６）。推定した顔の色は赤、緑、青それぞれfaceＲ、faceＧ、faceＢに記憶される。
【００３４】［テンプレート作成用辞書４の説明］図６は、テンプレート作成用辞書４の一例を示す説明図である。図中、（ａ）に示すＴＤＩＣ（ｘ，ｙ）は、テンプレート内の各画素の属性を示すものである。本具体例では、目のテンプレートであるから、０＝肌、１＝瞳、２＝白目と定義している。更に、それぞれの番号が何色なのかを定義する色定義テーブルが、図中の（ｂ）に示すよう構成されている。本具体例では、番号０は顔色推定手段３が推定した色、番号１は予め設定した色（dicＲ［１］，dicＧ［１］，dicＢ［１］）であり、番号２は、予め設定した（dicＲ［２］，dicＧ［２］，dicＢ［２］）を利用するよう定義している。尚、本具体例では、各番号に対して一つの色を割り当てているが、利用する環境に応じて複数の色を割り当てることも考えられる。
【００３５】［テンプレート作成手段５の動作］テンプレート作成手段５は、テンプレート作成用辞書４および顔色推定手段３で推定した顔の色情報を用いて、テンプレートマッチング用のテンプレートを作成する。作成したテンプレートはＴＲ（ｘ，ｙ）、ＴＧ（ｘ，ｙ）、ＴＢ（ｘ，ｙ）に記憶するものとする。
【００３６】図７は、テンプレート作成手段５の動作フローチャートである。先ず、Ｙの値とＸの値を初期化し（ステップＳ３０１、Ｓ３０２）、属性辞書ＴＤＩＣ（ｘ，ｙ）の値をチェックする（ステップＳ３０３）。ステップＳ３０３において、属性辞書ＴＤＩＣ（ｘ，ｙ）が０の場合、テンプレート中の座標（ｘ，ｙ）の画素値には顔色推定手段３の推定した顔の色（faceＲ，faceＧ，faceＢ）を代入する（ステップＳ３０５）。一方、ステップＳ３０３において、属性辞書ＴＤＩＣ（ｘ，ｙ）の値が０でない場合は、色定義テーブルに定義された色（dicＲ［no］，dicＧ［no］，dicＢ［no］）を参照して画素値として代入する（ステップＳ３０４）。これらの処理を、幅ＴＷ、高さＴＨのテンプレート内の全ての画素について行って処理を終了する。
【００３７】即ち、ステップＳ３０６においてＸの値を＋１し、ステップＳ３０７でＸの値がテンプレートの幅ＴＷ以上であるかを調べ、Ｘ＜ＴＷであった場合はステップＳ３０３に戻る。一方、Ｘ≧ＴＷであった場合は、Ｘの値を＋１する（ステップＳ３０８）。そして、ステップＳ３０９でＹの値がテンプレートの高さＴＨ以上であるかを調べ、Ｙ＜ＴＨであった場合はステップＳ３０２に戻り、Ｙ≧ＴＨであった場合は、テンプレート作成処理を終了する。
【００３８】［テンプレート記憶手段６の処理］テンプレート記憶手段６はテンプレート作成手段５が生成したテンプレートの赤成分ＴＲ（ｘ，ｙ）、緑成分ＴＧ（ｘ，ｙ）、青成分ＴＢ（ｘ，ｙ）をそれぞれ記憶する。
【００３９】［マッチング手段７の処理］マッチング手段７はテンプレート記憶手段６に記憶されたテンプレートと最もマッチする入力画像中の領域を見つけ出す処理である。但し、カメラと顔との距離が変動するため、テンプレートを予め定めた範囲で拡大縮小してマッチングを行う。更に、処理量を軽減するため、顔の中心線を基準にして探索範囲を制限している。
【００４０】図８は、マッチング手段７の探索範囲の説明図である。図示のように、本具体例では、探索の範囲のＸ座標を（ＫＸ＋ＳＸ）〜（ＫＸ＋ＥＸ）に制限している。ここで、ＫＸは中心線算出手段２が算出した顔の中心線のＸ座標、ＳＸ，ＥＸは探索範囲を決定するパラメータである。また、Ｙ方向の探索範囲はＳＹ〜ＥＹで表している。これらのＳＸ，ＥＸ，ＳＹ，ＥＹの値は、入力画像の大きさや探索する顔器官の種類などの利用環境に応じて適宜決定する。
【００４１】次に、フローチャートを用いて更に説明する。図９および図１０は、マッチング手段７の処理フローチャート（その１、その２）である。
【００４２】図９に示すステップＳ４０１〜ステップＳ４０９は、探索する座標（ｘ，ｙ）および拡大縮小率Ｚを予め定めた範囲で変化させる処理である。本具体例では、Ｘ＝（ＫＸ＋ＳＸ）〜（ＫＸ＋ＥＸ）（刻み幅stepＸ）、Ｙ＝ＳＹ〜ＥＹ（刻み幅stepＹ）、Ｚ＝startＺ〜endＺ（刻み幅stepＺ）として処理を行っている。また、図１０に示すステップＳ５０１〜ステップＳ５１１では、実際にテンプレートマッチングを行う処理である。
【００４３】先ず、Ｙの値、Ｘの値および拡大縮小率Ｚを初期値とする（ステップＳ４０１、Ｓ４０２、Ｓ４０３）。そして、マッチング時の画素値同士のＲＧＢ空間での距離の総和distの初期化（ステップＳ５０１）、テンプレート内の座標ＮおよびＭの初期化（ステップＳ５０２、Ｓ５０３）を行って、テンプレート内の座標（Ｍ，Ｎ）を入力画像中での座標（Ｘ１，Ｙ１）に変換する（ステップＳ５０４）。
【００４４】次に、テンプレートの座標（Ｍ，Ｎ）の画素のＲＧＢ値ＴＲ（Ｍ，Ｎ）、ＴＧ（Ｍ，Ｎ）、ＴＢ（Ｍ，Ｎ）と、入力画像中の座標（Ｘ１，Ｙ１）の画素のＲＧＢ値Ｒ（Ｘ１，Ｙ１）、Ｇ（Ｘ１，Ｙ１）、Ｂ（Ｘ１，Ｙ１）とのＲＧＢ空間内での距離を求め、その距離をdistに加算する（ステップＳ５０５）。
【００４５】これらの処理をテンプレートの全ての画素について求めてdistに加算する。そして、全ての画素について処理が終了したら、distがこれまでの最小値かを判断する。即ち、ステップＳ５０６においてテンプレートの内の座標Ｍを＋１し、ステップＳ５０７でＭの値がテンプレートの幅ＴＷ以上であるかを調べ、Ｍ＜ＴＷであった場合はステップＳ５０４に戻る。一方、Ｍ≧ＴＷであった場合は、Ｎの値を＋１する（ステップＳ５０８）。そして、ステップＳ５０９でＮの値がテンプレートの高さＴＨ以上であるかを調べ、Ｎ＜ＴＨであった場合はステップＳ５０３に戻り、Ｙ≧ＴＨであった場合は、distがこれまでの最小値かを判断する（ステップＳ５１０）。
【００４６】ここで、もし、distが最小値でない場合は何も処理を行わない。それに対して、distが最小値である場合は、その時のＸ，Ｙ，ＺをkeepＸ，keepＹ，keepＺに代入する。これらの処理を設定した探索範囲に対して行って処理が終了した時点のkeepＸ，keepＹ，keepＺが探索結果となる。
【００４７】このようなステップＳ５０１〜ステップＳ５１１の処理を、拡大縮小率Ｚの値を刻み幅stepＺでendＺの値になるまで変化させ（ステップＳ４０４、Ｓ４０５）、また、Ｘの値を刻み幅stepＸで（ＫＸ＋ＥＸ）になるまで変化させ（ステップＳ４０６、Ｓ４０７）、更に、Ｙの値を刻み幅stepＹでＥＹになるまで変化させる（ステップＳ４０８、Ｓ４０９）。そして、全ての処理が終了した時点のkeepＸ，keepＹ，keepＺが探索結果となる。
【００４８】つまり、テンプレートの左上を入力画像の座標（keepＸ，keepＹ）に合わせて、更にテンプレートをkeepＺ倍拡大縮小した場合にテンプレートが最もマッチすることになる。
【００４９】〈効果〉以上のように本具体例によれば、入力画像を用いて顔の色を推定し、推定した顔の色を用いてテンプレートを作成するようにしたので、照明の変化や人種等の肌の色の変化の影響を受けにくい高性能な顔器官検出装置を得ることができる。
【００５０】更に、マッチング手段では顔の中心線を基準にして探索範囲を制限できるので処理量の削減が期待できる。
【００５１】尚、上記具体例では、テンプレートの一例として目の場合を説明したが、これに限定されるものではなく、口や鼻等、顔器官であれば同様に適用可能である。また、顔色推定手段３では中心線上の直線を探査して顔の色を推定したが、Ｘ方向に幅を持たせて直線ではなく領域を仮定して顔の色を推定するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の顔器官検出装置の具体例を示す構成図である。
【図２】本発明の顔器官検出装置における中心線算出処理の説明図である。
【図３】本発明の顔器官検出装置における中心線算出手段の動作フローチャートである。
【図４】本発明の顔器官検出装置における顔色推定手段の処理説明図である。
【図５】本発明の顔器官検出装置における顔色推定手段の動作フローチャートである。
【図６】本発明の顔器官検出装置におけるテンプレート作成用辞書の一例を示す説明図である。
【図７】本発明の顔器官検出装置におけるテンプレート作成手段の動作フローチャートである。
【図８】本発明の顔器官検出装置におけるマッチング手段の探索範囲の説明図である。
【図９】本発明の顔器官検出装置におけるマッチング手段の動作フローチャート（その１）である。
【図１０】本発明の顔器官検出装置におけるマッチング手段の動作フローチャート（その２）である。
【符号の説明】
２ 中心線算出手段
３ 顔色推定手段
４ テンプレート作成用辞書
５ テンプレート作成手段
７ マッチング手段
【０００１】
【発明の属する技術分野】本発明は、顔の画像認識を行い、例えば目や唇といった顔器官を検出する顔器官検出装置に関する。
【０００２】
【従来の技術】顔画像から得られる、目、鼻、口などの顔器官の位置情報を利用した様々な技術が開発されている。例えば、個人識別技術や顔の向きを判定する技術等が挙げられる。
【０００３】このような顔画像に関する技術としては、例えば、文献：「分散型２次元見え方モデルに基づく顔画像解析」電子情報通信学会論文誌 Ｄ−II Ｖｏｌ．Ｊ７７−Ｄ−II No．１２ PP．2342〜2352，1994．12等に示されるものがあった。
【０００４】上記文献では（ｐ2344，右、下から９行目〜）、顔器官を検出する方法として、各器官を代表する画像（テンプレート）を予め作成し、入力画像中で最もテンプレートにマッチする領域を見つけ出す方法を用いている。顔器官のテンプレートは予め数名の顔画像を撮影し、顔器官領域を切り出して、位置と輝度に関する正規化の後、各画素毎に平均を行って作成している。
【０００５】
【発明が解決しようとする課題】しかしながら、上記のような従来技術では、照明（色、明暗、位置）条件がテンプレートを作成した時と異なった場合には、人の肌の色や輝度が変化するため、テンプレートマッチングによる位置検出が失敗する場合があった。同様に、肌の色は個人差もあり、更に化粧や日焼け、人種の違い等でも変化してしまう。
【０００６】そのため、従来では、肌の色の変化に対応するためには、肌の色の異なるテンプレートを複数用意する必要があり、マッチングの性能を上げるためには、テンプレートの記憶容量が増加し、更に処理量も増大するという問題点があった。
【０００７】このような点から、肌の色や照明条件の変化の影響を受けにくい高性能な顔器官検出装置を実現することが望まれていた。
【０００８】
【課題を解決するための手段】本発明は、前述の課題を解決するため次の構成を採用する。
〈構成１〉入力された顔画像から顔の中心線を算出する中心線算出手段と、中心線算出手段が算出した顔の中心線に基づいて、入力された顔画像から顔の肌の色を推定する顔色推定手段と、顔器官のテンプレートの生成規則を記憶するテンプレート作成用辞書と、テンプレート作成用辞書に記憶されている生成規則に対して、顔色推定手段が推定した顔色を適用して顔器官のテンプレートを作成するテンプレート作成手段と、テンプレート作成手段で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行うマッチング手段とを備えたことを特徴とする顔器官検出装置。
【０００９】〈構成２〉構成１に記載の顔器官検出装置において、中心線算出手段は、顔の左右の対称性に基づいて中心線を算出することを特徴とする顔器官検出装置。
【００１０】〈構成３〉構成１または２に記載の顔器官検出装置において、マッチング手段は、中心線算出手段の算出した顔の中心線情報に基づいて探索範囲を限定することを特徴とする顔器官検出装置。
【００１１】
【発明の実施の形態】本発明は、入力画像から顔の肌の色を推定し、推定した肌色に基づいてテンプレートを作成する。そして、このようにして作成したテンプレートを用いてテンプレートマッチングを行う。従って、肌の色の変化による性能低下を防ぐことが可能である。以下、このような本発明の実施の形態を具体例を用いて詳細に説明する。
【００１２】《具体例》
〈構成〉図１は本発明の顔器官検出装置の具体例を示す構成図である。図の装置は、画像記憶手段１、中心線算出手段２、顔色推定手段３、テンプレート作成用辞書４、テンプレート作成手段５、テンプレート記憶手段６、マッチング手段７からなる。
【００１３】画像記憶手段１は、顔画像を記憶する手段である。顔画像の入力は、ビデオやＶＴＲ等の画像入力装置から得られた信号をＡ／Ｄ変換する構成、あるいはネットワーク等を介して画像データを得る構成となっている。この画像記憶手段１は、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。
【００１４】中心線算出手段２は、画像記憶手段１に記憶された画像データに基づいて、顔の中心線を算出する手段である。顔色推定手段３は、中心線算出手段２が算出した顔の中心線上の画素値に基づいて、入力画像中の顔の色を推定する機能を有している。
【００１５】テンプレート作成用辞書４は、顔器官のテンプレートの生成規則を記憶しているテンプレート格納部であり、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。テンプレート作成手段５は、テンプレート作成用辞書４に記憶されている生成規則に対して、顔色推定手段３が推定した顔色を適用して顔器官のテンプレートを作成する機能を有している。また、テンプレート記憶手段６は、このテンプレート作成手段５が生成したテンプレートを記憶する手段であり、半導体メモリや磁気ディスク等の補助記憶装置から構成されている。
【００１６】マッチング手段７は、テンプレート作成手段５で作成したテンプレートと、画像記憶手段１に記憶されている入力画像中の領域とを比較して、最もテンプレートとの類似度が高い領域を入力画像中から見つけることにより、顔器官の位置検出を行う機能を有している。
【００１７】尚、上記の中心線算出手段２、顔色推定手段３、テンプレート作成手段５およびマッチング手段７は、各機能に対応したプログラムと、これを実行するマイクロプロセッサによって実現されるか、あるいは専用演算ハードウェアによって構成されている。
【００１８】〈動作〉以下、各機能部毎にその動作を説明する。
［画像記憶手段１の動作］先ず、画像記憶手段１に記憶された入力画像の幅と高さをＷ，Ｈとする（但し、画像の左上を（０，０）、右下を（Ｗ，Ｈ）とする）。また、座標（Ｘ，Ｙ）に位置する画素の赤、緑、青成分はＲ（Ｘ，Ｙ）、Ｇ（Ｘ，Ｙ）、Ｂ（Ｘ，Ｙ）という変数名で表す。尚、画像記憶手段１で記憶されたＲ，Ｇ，Ｂの値は、中心線算出手段２、顔色推定手段３、マッチング手段７で使用される。
【００１９】［中心線算出手段２の動作］中心線算出手段２は、画像記憶手段１に記憶されたデータに基づいて、顔の中心線を算出する処理を行う。本処理では入力画像の中で最も左右の対称性が高いＸ座標を求める。
【００２０】図２は、中心線算出処理の説明図である。中心線算出手段２は、図２の太線で示すように、入力画像に対して、Ｘ＝ａという直線を設定し、この直線を中心にして幅（ＣＨ×２）の矩形を考える。この矩形内で、Ｘ＝ａに対して線対称な画素の、画素値同士のＲＧＢ空間内での距離を求め、その距離の総和（dist）をＸ＝ａにおける対称性の目安とする。そして、このような処理をＸの値をＣＨから（Ｗ−ＣＨ）まで変化させ、distが最小値を示すＸを求める（図示例では、Ｘ＝ＫＸが結果となる）。また、領域の幅を示すＣＨの値は（Ｗ／２）よりも小さい値を設定し、この値は、入力画像に写っている顔の大きさや位置により適宜決定する。
【００２１】次に、中心線算出手段２の動作をフローチャートに沿って更に説明する。図３は、中心線算出手段２の動作フローチャートである。先ず、図２で示したように、入力画像の幅をＷ、高さをＨとする。よって、Ｘ座標およびＹ座標の範囲はそれぞれ０≦Ｘ≦Ｗ、０≦Ｙ≦Ｈである。
【００２２】最初に、ステップＳ１０１において、Ｘ座標を初期化（Ｘ＝ＣＨ）する。次に、ステップＳ１０２において、Ｙ座標の初期化を行い（Ｙ＝０）、かつ、左右対称性の計算結果を記憶する変数distの初期化も行う（dist＝０）。
【００２３】次にステップＳ１０３において、中心線との（Ｘ方向の）距離を表す変数ｉを初期化する（ｉ＝１）。そして、ステップＳ１０４では、中心線に対して線対称な座標（但し、中心線との距離をｉとする）を求める。ここで、求めた座標値をそれぞれＸ０、Ｘ１とする。ステップＳ１０５では、座標（Ｘ０，Ｙ）に位置する画素と、座標（Ｘ１，Ｙ）に位置する画素がどれぐらい似通っているかを距離計算により求める。即ち、このステップＳ１０５では、それぞれの座標における赤、緑、青成分の値の差分の２乗を加算し、平方根をとっている。ここで求めた距離はdistに加算する。
【００２４】ステップＳ１０６ではｉの値を更新する（ｉ＝ｉ＋１）。次のステップＳ１０７では、ｉがＣＨを超えたかを判定する。もしｉがＣＨを超えていない場合には、ステップＳ１０４に戻る。また、ステップＳ１０７で、ｉがＣＨを超えた場合はステップＳ１０８に処理を移す。
【００２５】ステップＳ１０８ではＹの値を更新する（Ｙ＝Ｙ＋１）。そして、ステップＳ１０９ではＹがＨを超えたかを判定する。このステップＳ１０９で、ＹがＨを超えていない場合には、ステップＳ１０３に戻り、ＹがＨを超えた場合はステップＳ１１０に処理を移す。このように、上記のステップＳ１０２〜ステップＳ１０９の一連の処理により、左右対称性distが求まる。即ち、distが小さいほど左右対称性が高い。
【００２６】次に、ステップＳ１１０では、求めたdistが、それ以前に求めたdistの中で最も小さい値かを判定する。もし、最小値であった場合にはステップＳ１１１において現在のＸを記憶する（ＫＸ＝Ｘ）。一方、そのdistが最小値でなかった場合には、ステップＳ１１２に処理を移す。ステップＳ１１２ではＸの更新を行う（Ｘ＝Ｘ＋１）。
【００２７】そして、ステップＳ１１３において、Ｘが（Ｗ−ＣＨ）を超えたかを判定する。もし超えていない場合には、ステップＳ１０２に戻る。ここで、Ｘが（Ｗ−ＣＨ）を超えた場合にはステップＳ１１４に処理を移す。ステップＳ１１４では本処理の結果としてＫＸの値を出力する。即ち、Ｘ＝ＫＸが顔の中心線となる。
【００２８】このように、中心線算出手段２は、顔の左右の対称性に基づいて中心線を算出するようにしたので、例えば、まばたき等により目が閉じている場合やサングラスをかけている場合であっても顔の中心線を正確に決定することができる。
【００２９】［顔色推定手段３の動作］顔色推定手段３は、中心線算出手段２が算出した顔の中心線上の画素値に基づいて入力画像中の顔の色を推定する。本具体例では、中心線上の予め決められた範囲の画素値の平均により顔の色を求めている。
【００３０】図４は顔色推定手段３の処理説明図である。図４に示すように、本具体例では、中心線算出手段２により求めた顔の中心線Ｘ＝ＫＸ上の、Ｙ＝startＹ〜endＹの範囲の画素を利用する。但し、startＹ，endＹの値は、入力画像中の顔の大きさや位置等に応じて適宜決定するものとする。以下、顔色推定手段３の動作をフローチャートに沿って更に説明する。
【００３１】図５は、顔色推定手段３の処理フローチャートである。先ず、画素値の合計を記憶する変数totalＲ、totalＧ、totalＢ、Ｎを初期化する（ステップＳ２０１）。尚、Ｎは画素数である。そして、ＹをstartＹに設定し（ステップＳ２０２）、画素値の合計を記憶する変数totalＲ、totalＧ、totalＢにそれぞれ、画素値Ｒ（ＫＸ，Ｙ）、Ｇ（ＫＸ、Ｙ）、Ｂ（ＫＸ，Ｙ）の値を加算し、画素値Ｎを＋１する（ステップＳ２０３）。
【００３２】そして、Ｙの値を＋１して（ステップＳ２０４）、ステップＳ２０３、Ｓ２０４の処理を、ステップＳ２０５においてＹ＞endＹの条件を満たすまで繰り返す。即ち、ステップＳ２０２〜ステップＳ２０５では、中心線上で予め設定した範囲の画素値の合計を求める。合計の値は、赤、緑、青それぞれtotalＲ、totalＧ、totalＢに記憶される。また、画素の数はＮに記憶される。
【００３３】ステップＳ２０５において、Ｙ＞endＹの条件を満たした場合は、画素値の合計の値totalＲ、totalＧ、totalＢをそれぞれ画素の数Ｎで除算し、推定した顔の色とする（ステップＳ２０６）。推定した顔の色は赤、緑、青それぞれfaceＲ、faceＧ、faceＢに記憶される。
【００３４】［テンプレート作成用辞書４の説明］図６は、テンプレート作成用辞書４の一例を示す説明図である。図中、（ａ）に示すＴＤＩＣ（ｘ，ｙ）は、テンプレート内の各画素の属性を示すものである。本具体例では、目のテンプレートであるから、０＝肌、１＝瞳、２＝白目と定義している。更に、それぞれの番号が何色なのかを定義する色定義テーブルが、図中の（ｂ）に示すよう構成されている。本具体例では、番号０は顔色推定手段３が推定した色、番号１は予め設定した色（dicＲ［１］，dicＧ［１］，dicＢ［１］）であり、番号２は、予め設定した（dicＲ［２］，dicＧ［２］，dicＢ［２］）を利用するよう定義している。尚、本具体例では、各番号に対して一つの色を割り当てているが、利用する環境に応じて複数の色を割り当てることも考えられる。
【００３５】［テンプレート作成手段５の動作］テンプレート作成手段５は、テンプレート作成用辞書４および顔色推定手段３で推定した顔の色情報を用いて、テンプレートマッチング用のテンプレートを作成する。作成したテンプレートはＴＲ（ｘ，ｙ）、ＴＧ（ｘ，ｙ）、ＴＢ（ｘ，ｙ）に記憶するものとする。
【００３６】図７は、テンプレート作成手段５の動作フローチャートである。先ず、Ｙの値とＸの値を初期化し（ステップＳ３０１、Ｓ３０２）、属性辞書ＴＤＩＣ（ｘ，ｙ）の値をチェックする（ステップＳ３０３）。ステップＳ３０３において、属性辞書ＴＤＩＣ（ｘ，ｙ）が０の場合、テンプレート中の座標（ｘ，ｙ）の画素値には顔色推定手段３の推定した顔の色（faceＲ，faceＧ，faceＢ）を代入する（ステップＳ３０５）。一方、ステップＳ３０３において、属性辞書ＴＤＩＣ（ｘ，ｙ）の値が０でない場合は、色定義テーブルに定義された色（dicＲ［no］，dicＧ［no］，dicＢ［no］）を参照して画素値として代入する（ステップＳ３０４）。これらの処理を、幅ＴＷ、高さＴＨのテンプレート内の全ての画素について行って処理を終了する。
【００３７】即ち、ステップＳ３０６においてＸの値を＋１し、ステップＳ３０７でＸの値がテンプレートの幅ＴＷ以上であるかを調べ、Ｘ＜ＴＷであった場合はステップＳ３０３に戻る。一方、Ｘ≧ＴＷであった場合は、Ｘの値を＋１する（ステップＳ３０８）。そして、ステップＳ３０９でＹの値がテンプレートの高さＴＨ以上であるかを調べ、Ｙ＜ＴＨであった場合はステップＳ３０２に戻り、Ｙ≧ＴＨであった場合は、テンプレート作成処理を終了する。
【００３８】［テンプレート記憶手段６の処理］テンプレート記憶手段６はテンプレート作成手段５が生成したテンプレートの赤成分ＴＲ（ｘ，ｙ）、緑成分ＴＧ（ｘ，ｙ）、青成分ＴＢ（ｘ，ｙ）をそれぞれ記憶する。
【００３９】［マッチング手段７の処理］マッチング手段７はテンプレート記憶手段６に記憶されたテンプレートと最もマッチする入力画像中の領域を見つけ出す処理である。但し、カメラと顔との距離が変動するため、テンプレートを予め定めた範囲で拡大縮小してマッチングを行う。更に、処理量を軽減するため、顔の中心線を基準にして探索範囲を制限している。
【００４０】図８は、マッチング手段７の探索範囲の説明図である。図示のように、本具体例では、探索の範囲のＸ座標を（ＫＸ＋ＳＸ）〜（ＫＸ＋ＥＸ）に制限している。ここで、ＫＸは中心線算出手段２が算出した顔の中心線のＸ座標、ＳＸ，ＥＸは探索範囲を決定するパラメータである。また、Ｙ方向の探索範囲はＳＹ〜ＥＹで表している。これらのＳＸ，ＥＸ，ＳＹ，ＥＹの値は、入力画像の大きさや探索する顔器官の種類などの利用環境に応じて適宜決定する。
【００４１】次に、フローチャートを用いて更に説明する。図９および図１０は、マッチング手段７の処理フローチャート（その１、その２）である。
【００４２】図９に示すステップＳ４０１〜ステップＳ４０９は、探索する座標（ｘ，ｙ）および拡大縮小率Ｚを予め定めた範囲で変化させる処理である。本具体例では、Ｘ＝（ＫＸ＋ＳＸ）〜（ＫＸ＋ＥＸ）（刻み幅stepＸ）、Ｙ＝ＳＹ〜ＥＹ（刻み幅stepＹ）、Ｚ＝startＺ〜endＺ（刻み幅stepＺ）として処理を行っている。また、図１０に示すステップＳ５０１〜ステップＳ５１１では、実際にテンプレートマッチングを行う処理である。
【００４３】先ず、Ｙの値、Ｘの値および拡大縮小率Ｚを初期値とする（ステップＳ４０１、Ｓ４０２、Ｓ４０３）。そして、マッチング時の画素値同士のＲＧＢ空間での距離の総和distの初期化（ステップＳ５０１）、テンプレート内の座標ＮおよびＭの初期化（ステップＳ５０２、Ｓ５０３）を行って、テンプレート内の座標（Ｍ，Ｎ）を入力画像中での座標（Ｘ１，Ｙ１）に変換する（ステップＳ５０４）。
【００４４】次に、テンプレートの座標（Ｍ，Ｎ）の画素のＲＧＢ値ＴＲ（Ｍ，Ｎ）、ＴＧ（Ｍ，Ｎ）、ＴＢ（Ｍ，Ｎ）と、入力画像中の座標（Ｘ１，Ｙ１）の画素のＲＧＢ値Ｒ（Ｘ１，Ｙ１）、Ｇ（Ｘ１，Ｙ１）、Ｂ（Ｘ１，Ｙ１）とのＲＧＢ空間内での距離を求め、その距離をdistに加算する（ステップＳ５０５）。
【００４５】これらの処理をテンプレートの全ての画素について求めてdistに加算する。そして、全ての画素について処理が終了したら、distがこれまでの最小値かを判断する。即ち、ステップＳ５０６においてテンプレートの内の座標Ｍを＋１し、ステップＳ５０７でＭの値がテンプレートの幅ＴＷ以上であるかを調べ、Ｍ＜ＴＷであった場合はステップＳ５０４に戻る。一方、Ｍ≧ＴＷであった場合は、Ｎの値を＋１する（ステップＳ５０８）。そして、ステップＳ５０９でＮの値がテンプレートの高さＴＨ以上であるかを調べ、Ｎ＜ＴＨであった場合はステップＳ５０３に戻り、Ｙ≧ＴＨであった場合は、distがこれまでの最小値かを判断する（ステップＳ５１０）。
【００４６】ここで、もし、distが最小値でない場合は何も処理を行わない。それに対して、distが最小値である場合は、その時のＸ，Ｙ，ＺをkeepＸ，keepＹ，keepＺに代入する。これらの処理を設定した探索範囲に対して行って処理が終了した時点のkeepＸ，keepＹ，keepＺが探索結果となる。
【００４７】このようなステップＳ５０１〜ステップＳ５１１の処理を、拡大縮小率Ｚの値を刻み幅stepＺでendＺの値になるまで変化させ（ステップＳ４０４、Ｓ４０５）、また、Ｘの値を刻み幅stepＸで（ＫＸ＋ＥＸ）になるまで変化させ（ステップＳ４０６、Ｓ４０７）、更に、Ｙの値を刻み幅stepＹでＥＹになるまで変化させる（ステップＳ４０８、Ｓ４０９）。そして、全ての処理が終了した時点のkeepＸ，keepＹ，keepＺが探索結果となる。
【００４８】つまり、テンプレートの左上を入力画像の座標（keepＸ，keepＹ）に合わせて、更にテンプレートをkeepＺ倍拡大縮小した場合にテンプレートが最もマッチすることになる。
【００４９】〈効果〉以上のように本具体例によれば、入力画像を用いて顔の色を推定し、推定した顔の色を用いてテンプレートを作成するようにしたので、照明の変化や人種等の肌の色の変化の影響を受けにくい高性能な顔器官検出装置を得ることができる。
【００５０】更に、マッチング手段では顔の中心線を基準にして探索範囲を制限できるので処理量の削減が期待できる。
【００５１】尚、上記具体例では、テンプレートの一例として目の場合を説明したが、これに限定されるものではなく、口や鼻等、顔器官であれば同様に適用可能である。また、顔色推定手段３では中心線上の直線を探査して顔の色を推定したが、Ｘ方向に幅を持たせて直線ではなく領域を仮定して顔の色を推定するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の顔器官検出装置の具体例を示す構成図である。
【図２】本発明の顔器官検出装置における中心線算出処理の説明図である。
【図３】本発明の顔器官検出装置における中心線算出手段の動作フローチャートである。
【図４】本発明の顔器官検出装置における顔色推定手段の処理説明図である。
【図５】本発明の顔器官検出装置における顔色推定手段の動作フローチャートである。
【図６】本発明の顔器官検出装置におけるテンプレート作成用辞書の一例を示す説明図である。
【図７】本発明の顔器官検出装置におけるテンプレート作成手段の動作フローチャートである。
【図８】本発明の顔器官検出装置におけるマッチング手段の探索範囲の説明図である。
【図９】本発明の顔器官検出装置におけるマッチング手段の動作フローチャート（その１）である。
【図１０】本発明の顔器官検出装置におけるマッチング手段の動作フローチャート（その２）である。
【符号の説明】
２ 中心線算出手段
３ 顔色推定手段
４ テンプレート作成用辞書
５ テンプレート作成手段
７ マッチング手段
【特許請求の範囲】
【請求項１】 入力された顔画像から顔の中心線を算出する中心線算出手段と、前記中心線算出手段が算出した顔の中心線に基づいて、入力された顔画像から顔の肌の色を推定する顔色推定手段と、顔器官のテンプレートの生成規則を記憶するテンプレート作成用辞書と、前記テンプレート作成用辞書に記憶されている生成規則に対して、前記顔色推定手段が推定した顔色を適用して顔器官のテンプレートを作成するテンプレート作成手段と、前記テンプレート作成手段で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最も当該テンプレートとの類似度が高い領域を前記入力画像中から見つけることにより、顔器官の位置検出を行うマッチング手段とを備えたことを特徴とする顔器官検出装置。
【請求項２】 請求項１に記載の顔器官検出装置において、中心線算出手段は、顔の左右の対称性に基づいて中心線を算出することを特徴とする顔器官検出装置。
【請求項３】 請求項１または２に記載の顔器官検出装置において、マッチング手段は、中心線算出手段の算出した顔の中心線情報に基づいて探索範囲を限定することを特徴とする顔器官検出装置。
【請求項１】 入力された顔画像から顔の中心線を算出する中心線算出手段と、前記中心線算出手段が算出した顔の中心線に基づいて、入力された顔画像から顔の肌の色を推定する顔色推定手段と、顔器官のテンプレートの生成規則を記憶するテンプレート作成用辞書と、前記テンプレート作成用辞書に記憶されている生成規則に対して、前記顔色推定手段が推定した顔色を適用して顔器官のテンプレートを作成するテンプレート作成手段と、前記テンプレート作成手段で作成したテンプレートと、入力された顔画像の画像中の領域とを比較して、最も当該テンプレートとの類似度が高い領域を前記入力画像中から見つけることにより、顔器官の位置検出を行うマッチング手段とを備えたことを特徴とする顔器官検出装置。
【請求項２】 請求項１に記載の顔器官検出装置において、中心線算出手段は、顔の左右の対称性に基づいて中心線を算出することを特徴とする顔器官検出装置。
【請求項３】 請求項１または２に記載の顔器官検出装置において、マッチング手段は、中心線算出手段の算出した顔の中心線情報に基づいて探索範囲を限定することを特徴とする顔器官検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０００−２３５６４０（Ｐ２０００−２３５６４０Ａ）
【公開日】平成１２年８月２９日（２０００．８．２９）
【国際特許分類】
【出願番号】特願平１１−３５１８２
【出願日】平成１１年２月１５日（１９９９．２．１５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成１２年８月２９日（２０００．８．２９）
【国際特許分類】
【出願日】平成１１年２月１５日（１９９９．２．１５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]