眼部検出装置、眼部検出方法及びプログラム
【課題】化粧等を施した場合でも、顔画像から眼部を精度よく検出する装置を提供する。
【解決手段】顔画像を取得する画像入力部２１と、顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼エッジラベリング部２４と、上瞼候補と下瞼候補の組み合わせを比較し、上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを上瞼および下瞼と判定する瞼判定部２７とを備える。瞼エッジラベリング部２４は、エッジ算出部２３で算出した水平方向エッジ及び垂直方向エッジのうち、所定の条件に適合する度合いによって、上瞼候補及び下瞼候補を分類する。下瞼候補の左右方向に少なくとも１つの水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価部２６を備えてもよい。下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別部２５を備えてもよい。
【解決手段】顔画像を取得する画像入力部２１と、顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼エッジラベリング部２４と、上瞼候補と下瞼候補の組み合わせを比較し、上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを上瞼および下瞼と判定する瞼判定部２７とを備える。瞼エッジラベリング部２４は、エッジ算出部２３で算出した水平方向エッジ及び垂直方向エッジのうち、所定の条件に適合する度合いによって、上瞼候補及び下瞼候補を分類する。下瞼候補の左右方向に少なくとも１つの水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価部２６を備えてもよい。下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別部２５を備えてもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像から眼部を検出する眼部検出装置、眼部検出方法及びプログラムに関する。
【背景技術】
【０００２】
顔画像に基づいて眼の状態を判定し、その人の視線の方向を計測したり、その人の覚醒度を推定する方法がある。眼の状態を判定するためには、顔画像の眼部を正確に検出することが必要である。
【０００３】
例えば、特許文献１は、顔画像から眼部を検出する技術が記載されている。顔画像内で上方向から下方向に向かって明（白）から暗（黒）に変化する上エッジと暗（黒）から明（白）に変化する下エッジを抽出する。上下のエッジペアに基づいてテンプレートを作成し、このテンプレートと顔画像との相関演算により眼の候補を検出する。相関値が高い候補が上下に２つ存在する場合には、それぞれ眉と眼であるとして下の候補を眼の候補とする。眼の候補が瞬きする場合には真の眼であるとして、眼の近傍領域を追跡用のテンプレートとして記憶する。
【特許文献１】特開２０００−１３７７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
化粧をした人の顔画像から瞼のエッジを検出する場合、アイシャドウや付け睫などの化粧部分から、瞼のエッジに類似した余分なエッジが検出されることが多い。また、強い太陽光が当たっている場合に、上瞼の下に生じる濃い影などからエッジを検出することがある。それらのエッジを瞼でできるエッジと間違えて、上下瞼のペアを誤って検出すると、眼の状態を正確に判定することができない。特に、眼の開閉度や瞬きを計測する場合、上下瞼の誤検出は、計測精度を左右する。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、化粧等を施した場合でも、顔画像から眼部を精度よく検出する装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る眼部検出装置は、顔画像を取得する画像取得手段と、前記顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段と、を備えることを特徴とする。
【０００７】
好ましくは、前記瞼候補検出手段は、前記顔画像から、水平方向に輝度が変化する画素の並びである水平方向エッジ、及び垂直方向に輝度が変化する画素の並びである垂直方向エッジを算出するエッジ算出手段と、前記エッジ算出手段で算出した水平方向エッジ及び垂直方向エッジのうち、上瞼又は下瞼について水平方向エッジ又は垂直方向エッジの所定の条件に適合する度合いによって、前記上瞼候補及び下瞼候補を分類して検出する瞼エッジラベリング手段と、を備える。
【０００８】
好ましくは、前記瞼判定手段は、前記下瞼候補の左右方向に少なくとも１つの前記水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価手段と、前記下瞼候補評価手段で除外した結果、残存する上瞼候補及び下瞼候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、を備える。
【０００９】
また、前記瞼エッジラベリング手段は、前記下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別手段を備え、前記瞼判定手段は、前記下瞼候補分別手段で分類された前記下瞼予備候補について、その左右方向に少なくとも１つの前記上瞼候補の水平方向エッジが存在する場合に、その下瞼予備候補を除外する下瞼候補評価手段と、前記下瞼候補評価手段で前記下瞼予備候補を除外した結果、残存する前記上瞼候補と前記下瞼候補及び前記下瞼予備候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、を備えてもよい。
【００１０】
好ましくは、前記瞼判定手段は、前記瞼候補検出手段で検出した前記下瞼候補の数が所定の値以下の場合に、前記下瞼候補評価手段による前記下瞼候補の除外を行わないことを特徴とする。
【００１１】
さらに、前記瞼候補検出手段で検出した前記上瞼候補及び前記下瞼候補の位置関係を記憶する記憶手段を備え、前記瞼判定手段は、前記瞼候補検出手段が前記上瞼候補及び前記下瞼候補を再度検出した場合に、前記記憶手段に記憶されている前記位置関係に基づいて、前記上瞼候補及び前記下瞼候補のうち所定の瞼候補を除外する、よう構成してもよい。
【００１２】
本発明の第２の観点に係る眼部検出方法は、顔画像から、上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出ステップと、前記瞼候補検出ステップで検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼候補判定ステップと、を備えることを特徴とする。
【００１３】
本発明の第３の観点に係るプログラムは、コンピュータを、顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段、として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明の眼部検出装置によれば、アイシャドウや付け睫等の化粧をした人や、太陽光等によって眼の付近に濃い影が生じる等、眼周辺部に瞼に類似した紛らわしい画像が存在する場合でも、精度よく眼を検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。図１は、本発明の一実施の形態に係る眼部検出装置１の構成を示すブロック図である。本実施形態の眼部検出装置１は、運転者の顔を撮影して顔画像を生成するカメラ２と、運転者の顔を照明する照明光源３と、運転者の眼部を検出するコンピュータ１０と、コンピュータ１０に接続された表示装置７とを備える。なお、表示装置７は必須の構成要素ではなく、顔画像や検出結果及び判定結果等を表示する必要がなければ特に設ける必要はない。
【００１６】
カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）などでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。カメラ２は、例えば、運転者の顔の階調画像を取得する。カメラ２によって生成される画像データは、運転者の顔だけでなく、その背景なども含まれている。
【００１７】
表示装置７は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ２で撮影された顔画像から生成された二値化画像などを表示する。
【００１８】
コンピュータ１０は、カメラ２により取得された画像データを処理して顔の左右両端位置、上下位置を検出する。この検出した左右両端位置、上下位置に基づいて、眼部を探索する領域（眼部探索領域）を設定する。そして、眼部探索領域における上下瞼を検出する。
【００１９】
図２は、本発明の一実施の形態である眼部検出装置１の論理的な構成を示すブロック図である。眼部検出装置１は、カメラ２、画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７、表示処理部２８、データ保持部５、表示装置７などから構成される。データ保持部５には、顔画像データ５１、顔領域・眼探索領域データ５２、水平・垂直エッジデータ５３、瞼候補・下瞼予備候補データ５４、瞼データ５５及び位置関係データ５６が記憶保持される。眼部検出装置１は、顔画像から眼部の上瞼と下瞼のペアを検出する。
【００２０】
図３は、眼部検出装置１の物理的な構成の一例を示すブロック図である。コンピュータ１０は、図３に示すように、送受信部１６と、画像メモリ１２と、外部記憶部１３と、制御部１４と、主記憶部１５と、表示制御装置１７と、光源制御装置１８と、を備える。画像メモリ１２、外部記憶部１３、主記憶部１５、送受信部１６、表示制御装置１７及び光源制御装置１８はいずれも内部バス１１を介して制御部１４に接続されている。
【００２１】
制御部１４はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部１３に記憶されているプログラムに従って、画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７及び表示処理部２８の処理を実行する。画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７及び表示処理部２８は、制御部１４とその上で実行されるプログラムで実現される。
【００２２】
主記憶部１５はＲＡＭ（Random-Access Memory）等から構成され、制御部１４の作業領域として用いられる。データ保持部５は、画像メモリ１２及び主記憶部１５の一部に記憶領域の構造体として記憶保持される。
【００２３】
外部記憶部１３は、フラッシュメモリ、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部１４に行わせるためのプログラムを予め記憶し、また、制御部１４の指示に従って、このプログラムのデータを制御部１４に供給し、制御部１４から供給されたデータを記憶する。例えば、時系列画像データは、外部記憶部１３に格納されている場合がある。
【００２４】
送受信部１６は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースあるいはＮＴＳＣインタフェース等から構成されている。制御部１４は、送受信部１６を介して、カメラ２から画像データを入力する。画像メモリ１２は、カメラ２により生成され、送受信部１６を経由して入力された画像データを記憶する。
【００２５】
表示制御装置１７は、制御部１４の制御下に、表示装置７を制御する。
光源制御装置１８は、照明光源３の点灯・消灯を制御する。
【００２６】
制御部１４は、外部記憶部１３に格納されているプログラムを実行することにより、カメラ２により取得された画像データを処理して顔の両端位置、上下位置を検出し、この検出した両端位置、上下位置に基づいて、眼部探索領域における上下瞼の候補を検出し、その候補の中で最も上下瞼の条件に適合する候補を上下瞼対として選択する。
【００２７】
図２に戻って、眼部検出装置１の各部の作用を説明する。カメラ２は顔の画像を撮像する。画像入力部２１は、一定時間間隔でカメラ２から時系列の画像データを入力し、データ保持部５に顔画像データ５１として記憶する。
【００２８】
眼探索領域設定部２２は、顔画像データ５１から顔領域を抽出し、顔領域の中に眼探索領域を設定する。顔の領域を抽出するには、例えば、顔画像から顔輪郭のエッジを算出する。あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出してもよい。顔輪郭の範囲で、上から眉のエッジを、下から口下のエッジを検出することによって、顔の領域を設定する。そして、例えば、統計的データに基づいた比率で、顔領域の中に眼探索領域を設定する。図５は、顔領域Ｆと眼探索領域Ｅの例を示す。眼探索領域設定部２２は、設定した顔領域Ｆ及び眼探索領域Ｅを、顔領域・眼探索領域データ５２として、データ保持部５に記憶する。
【００２９】
なお、検出しやすい特徴的な部分、例えば鼻孔を検出し、鼻孔の位置に基づいて眼探索領域Ｅを設定してもよい。例えば、鼻孔の上から眉までの距離に所定の比率を乗じた長さを眉からとり、顔輪郭の幅に所定の比率を乗じた長さを顔輪郭の中央にとって、眼探索領域Ｅとすることができる。眼探索領域Ｅを設定することによって、眼部検出の効率を向上できる。
【００３０】
図４Ａないし図４Ｄは、エッジ算出用の固定データの例を説明する図である。外部記憶部１３は、図４Ａ、図４Ｂに示すような、水平方向エッジ検出用と垂直方向エッジ検出用ソーベルフィルタのオペレータを格納する。本発明では、画像中で水平方向に輝度が明から暗、又は暗から明に変化する点の連なりを水平方向エッジという。水平方向エッジの点は概ね縦方向に連続するので、縦エッジともいう。また、垂直方向に輝度が明から暗、又は暗から明に変化する点の連なりを垂直方向エッジという。垂直方向エッジの点は概ね横方向に連続するので、横エッジともいう。
【００３１】
図４Ａに示す水平方向エッジ（縦エッジ）検出用ソーベルフィルタは、図４Ｃに示すような縦方向に連続する濃淡差の境界（エッジ）を抽出するためのオペレータである。図４Ｂに示す垂直方向エッジ（横エッジ）検出用のソーベルフィルタは、図４Ｄに示すような横方向に連続する濃淡差の境界（エッジ）を抽出するためのオペレータである。
【００３２】
また、外部記憶部１３は、図５に示すように、主記憶部１５に格納される顔画像のうち、顔の範囲Ｆを特定するデータ、及び、眼や眉の画像が存在すると想定される眼探索領域Ｅを特定するデータを格納する。
【００３３】
エッジ算出部２３は、眼探索領域Ｅから、例えば図４Ａ及び図４Ｂに示すフィルタを用いて、水平方向エッジ及び垂直方向エッジを算出する。図６は、眼探索領域Ｅの原画像の例を模式的に示す。図６では、画像の暗領域をハッチングを付して表している。図６は、例として上瞼の影が生じている場合を示す。図７Ａは、眼探索領域Ｅの原画像から算出した垂直方向エッジの例を示す。図７Ｂは、眼探索領域Ｅの原画像から算出した水平方向エッジの例を示す。
【００３４】
図７Ａにおいて、上から下に向かって明から暗に変化する点を横マイナスエッジＡ、上から下に向かって暗から明に変化する点を横プラスエッジＢで表す。横マイナスエッジＡのうち、主要なものが上瞼候補になる。また、横プラスエッジＢのうち、主要なものが下瞼候補になる。他に、眉の上下エッジ、上瞼の影（又はアイシャドウ）の下エッジ、虹彩の下エッジなどが垂直方向エッジとして算出される。
【００３５】
図７Ｂにおいて、左から右に向かって明から暗に変化する点を縦マイナスエッジＣ、左から右に向かって暗から明に変化する点を縦プラスエッジＤで表す。上瞼の両端には縦エッジ（水平方向エッジ）が現れるので、上瞼は概ね、左から縦マイナスエッジＣ、横マイナスエッジＡ、縦プラスエッジＤで構成される。下瞼には、横プラスエッジＢ（垂直方向エッジ）が現れるが、縦エッジ（水平方向エッジ）はほとんど現れない。図７Ｂでは、眼探索領域Ｅを横に広く取っているので、顔の輪郭も縦エッジとして現れている。他に、眼窩の影、上瞼の影（又はアイシャドウ）、虹彩の左右のエッジなどが水平方向エッジとして算出される。
【００３６】
エッジ算出部２３は、算出した水平方向エッジ及び垂直方向エッジを、水平・垂直エッジデータ５３として、データ保持部５に記憶する。
【００３７】
瞼エッジラベリング部２４は、水平・垂直エッジデータ５３から、所定の長さ以上連続する点をエッジとしてグループ化する。また所定の長さ（連続点数）以下のエッジを削除する。図７Ｃは、図７Ａの垂直方向エッジから瞼エッジラベリング処理を施した結果を示す。図７Ｄは、図７Ｂの水平方向エッジから瞼エッジラベリング処理を施した結果を示す。図７Ｃ及び図７Ｄでは、短いエッジが削除されている。データでは、連続する点がひとまとまりのエッジとしてラベリングされている。
【００３８】
瞼エッジラベリング部２４は、グループ化したエッジのうち、横マイナスエッジＡを上瞼候補とする。また、横プラスエッジＢを下瞼候補とする。水平方向エッジのうち、横マイナスエッジＡ（上瞼候補）の左部分に近い縦マイナスエッジＣを上瞼候補の一部とする。また、水平方向エッジのうち、横マイナスエッジＡ（上瞼候補）の右部分に近い縦プラスエッジＤを上瞼候補の一部とする。このように、横マイナスエッジＡの両側に縦マイナスエッジＣと縦プラスエッジＤが存在するものを、確度の高い上瞼候補とすることができる。
【００３９】
図８は、瞼エッジラベリング処理した結果の垂直方向エッジと水平方向エッジを重ねて表した図である。両側に縦マイナスエッジＣと縦プラスエッジＤが存在する横マイナスエッジＡが、確からしい上瞼候補であることが示されている。
【００４０】
瞼エッジラベリング部２４は、また、連続エッジ検出を行うと共に、その長さ、重心の位置を計算する。瞼エッジラベリング部２４は、ラベリング処理したエッジのデータを瞼候補データ５４としてデータ保持部５に記憶する。
【００４１】
下瞼候補分別部２５は、下瞼候補である横のプラスエッジＢのうち、下瞼の形状条件によって分別する。下瞼候補分別部２５は、分別した下瞼候補、下瞼予備候補のデータを瞼候補データ５４に記憶する。
【００４２】
例えば、アイシャドウや上瞼の影の下のエッジは、下瞼と同じく横プラスエッジＢとして現れるが、下瞼以外は、楕円の上部のように湾曲した形状になる。そこで、例えば、横プラスエッジＢのうち、その重心と極大・極小点との垂直距離が所定の長さ以下のものを下瞼候補として残す。また、例えば、重心と極大・極小点との垂直距離が所定の長さより大きいものを、下瞼候補としては疑わしい下瞼予備候補とする。重心から極大・極小点までの垂直距離と、エッジの長さの比を下瞼候補の分別基準としてもよい。
【００４３】
図９は、図８の部分Ｒを拡大して示す。図９に示された部分のうち、横プラスエッジＢ１、Ｂ２、Ｂ３が下瞼候補である。横プラスエッジＢ１、Ｂ２、Ｂ３のそれぞれについて、その重心Ｇ１、Ｇ２、Ｇ３を示す。例えば、横プラスエッジＢ１は重心Ｇ１と極大点の垂直距離が大きい（上に湾曲している）ので、下瞼予備候補とする。また、横プラスエッジＢ２は、重心Ｇ２から極小点までの垂直距離と、エッジの長さの比が大きい（下に湾曲している）ので、下瞼予備候補とする。横プラスエッジＢ３は、長さに対して、重心Ｇ３から極小点までの垂直距離が小さい（湾曲が小さい）ので、下瞼候補として残す。
【００４４】
下瞼候補評価部２６は、下瞼候補又は下瞼予備候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価する。すなわち、下瞼候補又は下瞼予備候補の左右の所定の範囲に縦エッジが存在する場合は、下瞼候補から除外する。
【００４５】
例えば図９を参照して、下瞼予備候補である横プラスエッジＢ１について、その重心Ｇ１から左右に探索すると、縦マイナスエッジＣ１及び縦プラスエッジＤ１があるので、横マイナスエッジＢ１を下瞼候補から除外する。また、横プラスエッジＢ２の重心Ｇ２から左右に探索すると、縦マイナスエッジＣ２及び縦プラスエッジＤ２があるので、横マイナスエッジＢ２を下瞼候補から除外する。横プラスエッジＢ３の重心Ｇ３から左右に探索しても、所定の範囲に縦エッジ（水平方向エッジ）がないので、横プラスエッジＢ３は下瞼候補として残す。
【００４６】
横プラスエッジＢ１は、上瞼の影の下エッジである。また、横プラスエッジＢ２は、瞳孔の下エッジであり、縦マイナスエッジＣ２と縦プラスエッジＤ２は、虹彩のエッジである。なお、横プラスエッジＢ１がアイシャドウの下エッジであっても同様に除外できる。
【００４７】
上述のとおり、下瞼と影や化粧又は虹彩などの特徴の違いを具体的条件にして評価することによって、下瞼候補を分別し、最も確からしい下瞼候補を選択できる。
【００４８】
なお、下瞼候補分別を行わなくてもよい。その場合は、下瞼候補評価部２６は、全ての下瞼候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価する。下瞼候補が少ない場合は、下瞼候補分別を行わなくても、下瞼候補評価の処理量は多くならず、判定誤りの可能性は小さい。
【００４９】
つまり、検出された下瞼候補の数が所定値以下の場合には、下瞼候補評価部２６による下瞼候補分別（下瞼候補の除外）を行わないようにすることで、処理速度を向上することができる。あるいは、検出された下瞼候補の数が所定値を超える場合に、下瞼候補評価部２６による下瞼候補分別（下瞼候補の除外）を行うようにすることで、処理速度を向上することができる。
【００５０】
あるいは、下瞼候補分別を行って、下瞼候補評価部２６は、下瞼予備候補についてのみ水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価してもよい。その場合は、下瞼予備候補でない下瞼候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさ評価をしないことになるが、既に形状条件で分別を行っているので、以後の判定で誤って選択する可能性は小さい。下瞼評価を簡略化することによって、処理量を軽減できる。
【００５１】
瞼判定部２７は、最終的に残った上瞼候補、下瞼候補及び下瞼予備候補について、上下の瞼をペアとしたときの条件に最も適合する組合わせを上下の瞼とする。例えば、横マイナスエッジ及び横プラスエッジの長さがそろっていること、エッジ重心の横方向の位置が上下瞼対でそろっていること、エッジ重心間の距離が所定の範囲内であることなどで判定する。
【００５２】
具体的には、例えば、横マイナスエッジＡの長さをＬｍ、横プラスエッジＢの長さをＬｐ、しきい値をＬｔとして、
｜Ｌｍ−Ｌｐ｜＜Ｌｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５３】
また、例えば、横マイナスエッジＡの重心Ｘ座標をＸｍ、横プラスエッジＢの重心Ｘ座標をＸｐ、しきい値をＸｔとして、
｜Ｘｍ−Ｘｐ｜＜Ｘｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５４】
さらに、横マイナスエッジＡの重心Ｙ座標をＹｍ、横プラスエッジＢの重心Ｙ座標をＹｐ、しきい値をＤｔとして、
（Ｘｍ−Ｘｐ）２＋（Ｙｍ−Ｙｐ）２＜Ｄｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５５】
そして、残った組み合わせのうち、例えば、左右の眼として妥当な組み合わせで、かつ最もエッジ重心の横方向の位置が近い組み合わせを上下瞼対として選択する。
【００５６】
図１０は、上下瞼対を選択する方法を説明する図である。下瞼候補評価の結果、残った横マイナスエッジＡ４、Ａ５、Ａ６と、横プラスエッジＢ４、Ｂ５、Ｂ６で、上下瞼の組み合わせを作る。上に述べた方法で選択すると、横マイナスエッジＡ４と横プラスエッジＢ４の組と、横マイナスエッジＡ５と横プラスエッジＢ５の組が上下瞼対として選択される。破線の楕円で囲んで示す横マイナスエッジＡ６と横プラスエッジＢ６については、エッジの長さ、及び／又は、エッジ重心の横方向の位置の条件で、上下瞼対としての組み合わせができない。瞼判定部２７は、上下瞼の対であると判定された上下瞼候補のデータを瞼データ５５としてデータ保持部５に記憶する。
【００５７】
さらに、瞼判定部２７は、図１０において、上下瞼対として判定されなかった横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）の位置を位置関係データ５６としてデータ保持部５に記憶する。なお、横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）相互の位置関係を位置関係データ５６としてデータ保持部５に記憶するようにしてもよい。また、横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）と、横マイナスエッジＡ４、Ａ５及び横プラスエッジＢ４、Ｂ５との位置関係を位置関係データ５６としてデータ保持部５に記憶するようにしてもよい。
【００５８】
そして、瞼エッジラベリング部２４がエッジのデータを瞼候補データ５４として再度データ保持部５に記憶した際、位置関係データ５６に基づいて、前回の判定で上下瞼対から排除された瞼候補（横マイナスエッジＡ６と横プラスエッジＢ６）に対応するエッジのデータが瞼候補データ５４として記憶されているかどうかを判断する。その結果、横マイナスエッジＡ６、横プラスエッジＢ６に対応するエッジのデータが瞼候補データ５４として記憶されていれば、この時点でそのエッジのデータを瞼候補データから除外するようにしてもよい。
【００５９】
これにより、前回の処理で図１０のような位置関係の瞼候補が残り、最終的にエッジＡ６、Ｂ６が上下瞼対から排除されていれば、次回の処理ではこのエッジＡ６、Ｂ６に対応する位置の瞼候補については評価することなくそのまま排除できるので、瞼判定処理を短縮することができる。
【００６０】
表示処理部２８は、検出された結果の上下瞼を顔の輪郭等とともに表示装置７に表示する。上下瞼から眼の開閉度を判定してもよい。上下瞼の開閉度から運転者の覚醒度合いを推定し、居眠りと判定された場合に、表示装置７で警告を表示（音響等を含む）してもよい。また、視線の方向の推定に、上下瞼データを利用することもできる。
【００６１】
つぎに、眼部検出装置１の動作について説明する。なお、眼部検出装置１の動作は、制御部１４がカメラ２、送受信部１６、画像メモリ１２、外部記憶部１３及び主記憶部１５と協働して行う。
【００６２】
図１１は、眼部検出装置１の動作の一例を示すフローチャートである。制御部１４は送受信部１６を介してカメラ２から顔画像を入力する（ステップＳ１）。そして、前述のとおり、顔領域を設定し、顔領域の中に眼探索領域を設定する（ステップＳ２）。
【００６３】
制御部１４は、設定された眼探索領域内で水平方向エッジ及び垂直方向エッジを算出する（ステップＳ３）。制御部１４は、算出した水平方向エッジ及び垂直方向エッジについて、グループ化し、所定の長さ（連続点数）以下のエッジを削除するなどの瞼エッジラベリング処理を行う（ステップＳ４）。また、その長さ、重心の位置を計算する。さらに、下瞼候補である横のプラスエッジＢのうち、下瞼の形状条件によって分別する下瞼候補分別処理を行う（ステップＳ５）。
【００６４】
次に、下瞼候補ごとにその横に水平方向エッジがあるかどうかを調べる（ステップＳ６）。水平方向エッジが所定の範囲にあれば（ステップＳ７；Ｙｅｓ）、その下瞼候補を除外する（ステップＳ８）。水平方向エッジが所定の範囲になければ（ステップＳ７；Ｎｏ）、その下瞼候補を残す。
【００６５】
さらに下瞼候補があれば（ステップＳ９；Ｙｅｓ）、その横に水平方向エッジがあるかどうかを調べ（ステップＳ６）、その下瞼候補を除外するか残すかを決定する（ステップＳ７、Ｓ８）。
【００６６】
下瞼候補が尽きれば（ステップＳ９；Ｎｏ）、残った上瞼候補と下瞼候補（及び下瞼予備候補）でできる上下瞼対の組み合わせのうち、所定の条件、例えば、前述の条件に最も適合する組み合わせを上下瞼対として選択する（ステップＳ１０）。
【００６７】
本発明の眼部検出装置１によれば、顔画像データから、アイシャドウや付け睫等の化粧をした人や、太陽光等によって眼の付近に濃い影が生じる等、眼周辺部に瞼に類似した紛らわしい画像が存在する場合でも、精度よく眼を検出することができる。
【００６８】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
【００６９】
制御部１４、送受信部１６、画像メモリ１２、外部記憶部１３及び主記憶部１５などから構成される眼部検出装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する眼部検出装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで眼部検出装置１を構成してもよい。
【００７０】
また、眼部検出装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７１】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る眼部検出装置のブロック図である。
【図２】本発明の一実施の形態である眼部検出装置の論理的な構成を示すブロック図である。
【図３】図１に示すコンピュータの構成を示すブロック図である。
【図４Ａ】縦エッジ検出用オペレータの例を示す図である。
【図４Ｂ】横エッジ検出用オペレータの例を示す図である。
【図４Ｃ】縦方向に連続する濃淡差の例を表す図である。
【図４Ｄ】横方向に連続する濃淡差の例を表す図である。
【図５】顔画像の領域を特定するデータの例を示す図である。
【図６】眼探索領域の原画像の例を模式的に示す図である。
【図７Ａ】眼探索領域における垂直方向エッジの検出例を示す図である。
【図７Ｂ】眼探索領域における水平方向エッジの検出例を示す図である。
【図７Ｃ】図７Ａの垂直方向エッジから、短いエッジを除去した結果を示す図である。
【図７Ｄ】図７Ｂの水平方向エッジから、短いエッジを除去した結果を示す図である。
【図８】垂直方向エッジと水平方向エッジを重ねて表した図である。
【図９】図８の部分Ｒを拡大して示す図である。
【図１０】上下瞼対を選択する方法を説明する図である。
【図１１】眼部検出装置の動作の一例を示すフローチャートである。
【符号の説明】
【００７３】
１ 眼部検出装置
２ カメラ（画像取得手段）
５ データ保持部（記憶手段）
１０ コンピュータ
１２ 画像メモリ
１３ 外部記憶部
１４ 制御部（画像取得手段、瞼候補検出手段、瞼判定手段、エッジ算出手段、瞼エッジラベリング手段、下瞼候補評価手段、上下瞼対選定手段、下瞼候補分別手段）
１５ 主記憶部
１６ 送受信部（画像取得手段）
２１ 画像入力部
２２ 眼探索領域設定部
２３ エッジ算出部（エッジ算出手段）
２４ 瞼エッジラベリング部（瞼エッジラベリング手段）
２５ 下瞼候補分別部（下瞼候補分別手段）
２６ 下瞼候補評価部（下瞼候補評価手段）
２７ 瞼判定部（上下瞼対選定手段）
５１ 顔画像データ
５２ 顔領域・眼探索領域データ
５３ 水平・垂直エッジデータ
５４ 瞼候補・下瞼予備候補データ
５５ 瞼データ
５６ 位置関係データ
【技術分野】
【０００１】
本発明は、顔画像から眼部を検出する眼部検出装置、眼部検出方法及びプログラムに関する。
【背景技術】
【０００２】
顔画像に基づいて眼の状態を判定し、その人の視線の方向を計測したり、その人の覚醒度を推定する方法がある。眼の状態を判定するためには、顔画像の眼部を正確に検出することが必要である。
【０００３】
例えば、特許文献１は、顔画像から眼部を検出する技術が記載されている。顔画像内で上方向から下方向に向かって明（白）から暗（黒）に変化する上エッジと暗（黒）から明（白）に変化する下エッジを抽出する。上下のエッジペアに基づいてテンプレートを作成し、このテンプレートと顔画像との相関演算により眼の候補を検出する。相関値が高い候補が上下に２つ存在する場合には、それぞれ眉と眼であるとして下の候補を眼の候補とする。眼の候補が瞬きする場合には真の眼であるとして、眼の近傍領域を追跡用のテンプレートとして記憶する。
【特許文献１】特開２０００−１３７７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
化粧をした人の顔画像から瞼のエッジを検出する場合、アイシャドウや付け睫などの化粧部分から、瞼のエッジに類似した余分なエッジが検出されることが多い。また、強い太陽光が当たっている場合に、上瞼の下に生じる濃い影などからエッジを検出することがある。それらのエッジを瞼でできるエッジと間違えて、上下瞼のペアを誤って検出すると、眼の状態を正確に判定することができない。特に、眼の開閉度や瞬きを計測する場合、上下瞼の誤検出は、計測精度を左右する。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、化粧等を施した場合でも、顔画像から眼部を精度よく検出する装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る眼部検出装置は、顔画像を取得する画像取得手段と、前記顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段と、を備えることを特徴とする。
【０００７】
好ましくは、前記瞼候補検出手段は、前記顔画像から、水平方向に輝度が変化する画素の並びである水平方向エッジ、及び垂直方向に輝度が変化する画素の並びである垂直方向エッジを算出するエッジ算出手段と、前記エッジ算出手段で算出した水平方向エッジ及び垂直方向エッジのうち、上瞼又は下瞼について水平方向エッジ又は垂直方向エッジの所定の条件に適合する度合いによって、前記上瞼候補及び下瞼候補を分類して検出する瞼エッジラベリング手段と、を備える。
【０００８】
好ましくは、前記瞼判定手段は、前記下瞼候補の左右方向に少なくとも１つの前記水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価手段と、前記下瞼候補評価手段で除外した結果、残存する上瞼候補及び下瞼候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、を備える。
【０００９】
また、前記瞼エッジラベリング手段は、前記下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別手段を備え、前記瞼判定手段は、前記下瞼候補分別手段で分類された前記下瞼予備候補について、その左右方向に少なくとも１つの前記上瞼候補の水平方向エッジが存在する場合に、その下瞼予備候補を除外する下瞼候補評価手段と、前記下瞼候補評価手段で前記下瞼予備候補を除外した結果、残存する前記上瞼候補と前記下瞼候補及び前記下瞼予備候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、を備えてもよい。
【００１０】
好ましくは、前記瞼判定手段は、前記瞼候補検出手段で検出した前記下瞼候補の数が所定の値以下の場合に、前記下瞼候補評価手段による前記下瞼候補の除外を行わないことを特徴とする。
【００１１】
さらに、前記瞼候補検出手段で検出した前記上瞼候補及び前記下瞼候補の位置関係を記憶する記憶手段を備え、前記瞼判定手段は、前記瞼候補検出手段が前記上瞼候補及び前記下瞼候補を再度検出した場合に、前記記憶手段に記憶されている前記位置関係に基づいて、前記上瞼候補及び前記下瞼候補のうち所定の瞼候補を除外する、よう構成してもよい。
【００１２】
本発明の第２の観点に係る眼部検出方法は、顔画像から、上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出ステップと、前記瞼候補検出ステップで検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼候補判定ステップと、を備えることを特徴とする。
【００１３】
本発明の第３の観点に係るプログラムは、コンピュータを、顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段、として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明の眼部検出装置によれば、アイシャドウや付け睫等の化粧をした人や、太陽光等によって眼の付近に濃い影が生じる等、眼周辺部に瞼に類似した紛らわしい画像が存在する場合でも、精度よく眼を検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、その説明は繰り返さない。図１は、本発明の一実施の形態に係る眼部検出装置１の構成を示すブロック図である。本実施形態の眼部検出装置１は、運転者の顔を撮影して顔画像を生成するカメラ２と、運転者の顔を照明する照明光源３と、運転者の眼部を検出するコンピュータ１０と、コンピュータ１０に接続された表示装置７とを備える。なお、表示装置７は必須の構成要素ではなく、顔画像や検出結果及び判定結果等を表示する必要がなければ特に設ける必要はない。
【００１６】
カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）などでレンズの結像を電気信号に変換し、画素ごとにデジタル化した画像データを出力する。カメラ２は、例えば、運転者の顔の階調画像を取得する。カメラ２によって生成される画像データは、運転者の顔だけでなく、その背景なども含まれている。
【００１７】
表示装置７は、ＬＣＤ（Liquid Crystal Display)又はＣＲＴ(Cathode Ray Tube)などから構成され、カメラ２で撮影された顔画像から生成された二値化画像などを表示する。
【００１８】
コンピュータ１０は、カメラ２により取得された画像データを処理して顔の左右両端位置、上下位置を検出する。この検出した左右両端位置、上下位置に基づいて、眼部を探索する領域（眼部探索領域）を設定する。そして、眼部探索領域における上下瞼を検出する。
【００１９】
図２は、本発明の一実施の形態である眼部検出装置１の論理的な構成を示すブロック図である。眼部検出装置１は、カメラ２、画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７、表示処理部２８、データ保持部５、表示装置７などから構成される。データ保持部５には、顔画像データ５１、顔領域・眼探索領域データ５２、水平・垂直エッジデータ５３、瞼候補・下瞼予備候補データ５４、瞼データ５５及び位置関係データ５６が記憶保持される。眼部検出装置１は、顔画像から眼部の上瞼と下瞼のペアを検出する。
【００２０】
図３は、眼部検出装置１の物理的な構成の一例を示すブロック図である。コンピュータ１０は、図３に示すように、送受信部１６と、画像メモリ１２と、外部記憶部１３と、制御部１４と、主記憶部１５と、表示制御装置１７と、光源制御装置１８と、を備える。画像メモリ１２、外部記憶部１３、主記憶部１５、送受信部１６、表示制御装置１７及び光源制御装置１８はいずれも内部バス１１を介して制御部１４に接続されている。
【００２１】
制御部１４はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部１３に記憶されているプログラムに従って、画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７及び表示処理部２８の処理を実行する。画像入力部２１、眼探索領域設定部２２、エッジ算出部２３、瞼エッジラベリング部２４、下瞼候補分別部２５、下瞼候補評価部２６、瞼判定部２７及び表示処理部２８は、制御部１４とその上で実行されるプログラムで実現される。
【００２２】
主記憶部１５はＲＡＭ（Random-Access Memory）等から構成され、制御部１４の作業領域として用いられる。データ保持部５は、画像メモリ１２及び主記憶部１５の一部に記憶領域の構造体として記憶保持される。
【００２３】
外部記憶部１３は、フラッシュメモリ、ハードディスク、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部１４に行わせるためのプログラムを予め記憶し、また、制御部１４の指示に従って、このプログラムのデータを制御部１４に供給し、制御部１４から供給されたデータを記憶する。例えば、時系列画像データは、外部記憶部１３に格納されている場合がある。
【００２４】
送受信部１６は、モデム又は網終端装置、及びそれらと接続するシリアルインタフェース又はＬＡＮ（Local Area Network）インタフェースあるいはＮＴＳＣインタフェース等から構成されている。制御部１４は、送受信部１６を介して、カメラ２から画像データを入力する。画像メモリ１２は、カメラ２により生成され、送受信部１６を経由して入力された画像データを記憶する。
【００２５】
表示制御装置１７は、制御部１４の制御下に、表示装置７を制御する。
光源制御装置１８は、照明光源３の点灯・消灯を制御する。
【００２６】
制御部１４は、外部記憶部１３に格納されているプログラムを実行することにより、カメラ２により取得された画像データを処理して顔の両端位置、上下位置を検出し、この検出した両端位置、上下位置に基づいて、眼部探索領域における上下瞼の候補を検出し、その候補の中で最も上下瞼の条件に適合する候補を上下瞼対として選択する。
【００２７】
図２に戻って、眼部検出装置１の各部の作用を説明する。カメラ２は顔の画像を撮像する。画像入力部２１は、一定時間間隔でカメラ２から時系列の画像データを入力し、データ保持部５に顔画像データ５１として記憶する。
【００２８】
眼探索領域設定部２２は、顔画像データ５１から顔領域を抽出し、顔領域の中に眼探索領域を設定する。顔の領域を抽出するには、例えば、顔画像から顔輪郭のエッジを算出する。あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出してもよい。顔輪郭の範囲で、上から眉のエッジを、下から口下のエッジを検出することによって、顔の領域を設定する。そして、例えば、統計的データに基づいた比率で、顔領域の中に眼探索領域を設定する。図５は、顔領域Ｆと眼探索領域Ｅの例を示す。眼探索領域設定部２２は、設定した顔領域Ｆ及び眼探索領域Ｅを、顔領域・眼探索領域データ５２として、データ保持部５に記憶する。
【００２９】
なお、検出しやすい特徴的な部分、例えば鼻孔を検出し、鼻孔の位置に基づいて眼探索領域Ｅを設定してもよい。例えば、鼻孔の上から眉までの距離に所定の比率を乗じた長さを眉からとり、顔輪郭の幅に所定の比率を乗じた長さを顔輪郭の中央にとって、眼探索領域Ｅとすることができる。眼探索領域Ｅを設定することによって、眼部検出の効率を向上できる。
【００３０】
図４Ａないし図４Ｄは、エッジ算出用の固定データの例を説明する図である。外部記憶部１３は、図４Ａ、図４Ｂに示すような、水平方向エッジ検出用と垂直方向エッジ検出用ソーベルフィルタのオペレータを格納する。本発明では、画像中で水平方向に輝度が明から暗、又は暗から明に変化する点の連なりを水平方向エッジという。水平方向エッジの点は概ね縦方向に連続するので、縦エッジともいう。また、垂直方向に輝度が明から暗、又は暗から明に変化する点の連なりを垂直方向エッジという。垂直方向エッジの点は概ね横方向に連続するので、横エッジともいう。
【００３１】
図４Ａに示す水平方向エッジ（縦エッジ）検出用ソーベルフィルタは、図４Ｃに示すような縦方向に連続する濃淡差の境界（エッジ）を抽出するためのオペレータである。図４Ｂに示す垂直方向エッジ（横エッジ）検出用のソーベルフィルタは、図４Ｄに示すような横方向に連続する濃淡差の境界（エッジ）を抽出するためのオペレータである。
【００３２】
また、外部記憶部１３は、図５に示すように、主記憶部１５に格納される顔画像のうち、顔の範囲Ｆを特定するデータ、及び、眼や眉の画像が存在すると想定される眼探索領域Ｅを特定するデータを格納する。
【００３３】
エッジ算出部２３は、眼探索領域Ｅから、例えば図４Ａ及び図４Ｂに示すフィルタを用いて、水平方向エッジ及び垂直方向エッジを算出する。図６は、眼探索領域Ｅの原画像の例を模式的に示す。図６では、画像の暗領域をハッチングを付して表している。図６は、例として上瞼の影が生じている場合を示す。図７Ａは、眼探索領域Ｅの原画像から算出した垂直方向エッジの例を示す。図７Ｂは、眼探索領域Ｅの原画像から算出した水平方向エッジの例を示す。
【００３４】
図７Ａにおいて、上から下に向かって明から暗に変化する点を横マイナスエッジＡ、上から下に向かって暗から明に変化する点を横プラスエッジＢで表す。横マイナスエッジＡのうち、主要なものが上瞼候補になる。また、横プラスエッジＢのうち、主要なものが下瞼候補になる。他に、眉の上下エッジ、上瞼の影（又はアイシャドウ）の下エッジ、虹彩の下エッジなどが垂直方向エッジとして算出される。
【００３５】
図７Ｂにおいて、左から右に向かって明から暗に変化する点を縦マイナスエッジＣ、左から右に向かって暗から明に変化する点を縦プラスエッジＤで表す。上瞼の両端には縦エッジ（水平方向エッジ）が現れるので、上瞼は概ね、左から縦マイナスエッジＣ、横マイナスエッジＡ、縦プラスエッジＤで構成される。下瞼には、横プラスエッジＢ（垂直方向エッジ）が現れるが、縦エッジ（水平方向エッジ）はほとんど現れない。図７Ｂでは、眼探索領域Ｅを横に広く取っているので、顔の輪郭も縦エッジとして現れている。他に、眼窩の影、上瞼の影（又はアイシャドウ）、虹彩の左右のエッジなどが水平方向エッジとして算出される。
【００３６】
エッジ算出部２３は、算出した水平方向エッジ及び垂直方向エッジを、水平・垂直エッジデータ５３として、データ保持部５に記憶する。
【００３７】
瞼エッジラベリング部２４は、水平・垂直エッジデータ５３から、所定の長さ以上連続する点をエッジとしてグループ化する。また所定の長さ（連続点数）以下のエッジを削除する。図７Ｃは、図７Ａの垂直方向エッジから瞼エッジラベリング処理を施した結果を示す。図７Ｄは、図７Ｂの水平方向エッジから瞼エッジラベリング処理を施した結果を示す。図７Ｃ及び図７Ｄでは、短いエッジが削除されている。データでは、連続する点がひとまとまりのエッジとしてラベリングされている。
【００３８】
瞼エッジラベリング部２４は、グループ化したエッジのうち、横マイナスエッジＡを上瞼候補とする。また、横プラスエッジＢを下瞼候補とする。水平方向エッジのうち、横マイナスエッジＡ（上瞼候補）の左部分に近い縦マイナスエッジＣを上瞼候補の一部とする。また、水平方向エッジのうち、横マイナスエッジＡ（上瞼候補）の右部分に近い縦プラスエッジＤを上瞼候補の一部とする。このように、横マイナスエッジＡの両側に縦マイナスエッジＣと縦プラスエッジＤが存在するものを、確度の高い上瞼候補とすることができる。
【００３９】
図８は、瞼エッジラベリング処理した結果の垂直方向エッジと水平方向エッジを重ねて表した図である。両側に縦マイナスエッジＣと縦プラスエッジＤが存在する横マイナスエッジＡが、確からしい上瞼候補であることが示されている。
【００４０】
瞼エッジラベリング部２４は、また、連続エッジ検出を行うと共に、その長さ、重心の位置を計算する。瞼エッジラベリング部２４は、ラベリング処理したエッジのデータを瞼候補データ５４としてデータ保持部５に記憶する。
【００４１】
下瞼候補分別部２５は、下瞼候補である横のプラスエッジＢのうち、下瞼の形状条件によって分別する。下瞼候補分別部２５は、分別した下瞼候補、下瞼予備候補のデータを瞼候補データ５４に記憶する。
【００４２】
例えば、アイシャドウや上瞼の影の下のエッジは、下瞼と同じく横プラスエッジＢとして現れるが、下瞼以外は、楕円の上部のように湾曲した形状になる。そこで、例えば、横プラスエッジＢのうち、その重心と極大・極小点との垂直距離が所定の長さ以下のものを下瞼候補として残す。また、例えば、重心と極大・極小点との垂直距離が所定の長さより大きいものを、下瞼候補としては疑わしい下瞼予備候補とする。重心から極大・極小点までの垂直距離と、エッジの長さの比を下瞼候補の分別基準としてもよい。
【００４３】
図９は、図８の部分Ｒを拡大して示す。図９に示された部分のうち、横プラスエッジＢ１、Ｂ２、Ｂ３が下瞼候補である。横プラスエッジＢ１、Ｂ２、Ｂ３のそれぞれについて、その重心Ｇ１、Ｇ２、Ｇ３を示す。例えば、横プラスエッジＢ１は重心Ｇ１と極大点の垂直距離が大きい（上に湾曲している）ので、下瞼予備候補とする。また、横プラスエッジＢ２は、重心Ｇ２から極小点までの垂直距離と、エッジの長さの比が大きい（下に湾曲している）ので、下瞼予備候補とする。横プラスエッジＢ３は、長さに対して、重心Ｇ３から極小点までの垂直距離が小さい（湾曲が小さい）ので、下瞼候補として残す。
【００４４】
下瞼候補評価部２６は、下瞼候補又は下瞼予備候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価する。すなわち、下瞼候補又は下瞼予備候補の左右の所定の範囲に縦エッジが存在する場合は、下瞼候補から除外する。
【００４５】
例えば図９を参照して、下瞼予備候補である横プラスエッジＢ１について、その重心Ｇ１から左右に探索すると、縦マイナスエッジＣ１及び縦プラスエッジＤ１があるので、横マイナスエッジＢ１を下瞼候補から除外する。また、横プラスエッジＢ２の重心Ｇ２から左右に探索すると、縦マイナスエッジＣ２及び縦プラスエッジＤ２があるので、横マイナスエッジＢ２を下瞼候補から除外する。横プラスエッジＢ３の重心Ｇ３から左右に探索しても、所定の範囲に縦エッジ（水平方向エッジ）がないので、横プラスエッジＢ３は下瞼候補として残す。
【００４６】
横プラスエッジＢ１は、上瞼の影の下エッジである。また、横プラスエッジＢ２は、瞳孔の下エッジであり、縦マイナスエッジＣ２と縦プラスエッジＤ２は、虹彩のエッジである。なお、横プラスエッジＢ１がアイシャドウの下エッジであっても同様に除外できる。
【００４７】
上述のとおり、下瞼と影や化粧又は虹彩などの特徴の違いを具体的条件にして評価することによって、下瞼候補を分別し、最も確からしい下瞼候補を選択できる。
【００４８】
なお、下瞼候補分別を行わなくてもよい。その場合は、下瞼候補評価部２６は、全ての下瞼候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価する。下瞼候補が少ない場合は、下瞼候補分別を行わなくても、下瞼候補評価の処理量は多くならず、判定誤りの可能性は小さい。
【００４９】
つまり、検出された下瞼候補の数が所定値以下の場合には、下瞼候補評価部２６による下瞼候補分別（下瞼候補の除外）を行わないようにすることで、処理速度を向上することができる。あるいは、検出された下瞼候補の数が所定値を超える場合に、下瞼候補評価部２６による下瞼候補分別（下瞼候補の除外）を行うようにすることで、処理速度を向上することができる。
【００５０】
あるいは、下瞼候補分別を行って、下瞼候補評価部２６は、下瞼予備候補についてのみ水平方向エッジとの組み合わせ条件で、下瞼としての確からしさを評価してもよい。その場合は、下瞼予備候補でない下瞼候補について、水平方向エッジとの組み合わせ条件で、下瞼としての確からしさ評価をしないことになるが、既に形状条件で分別を行っているので、以後の判定で誤って選択する可能性は小さい。下瞼評価を簡略化することによって、処理量を軽減できる。
【００５１】
瞼判定部２７は、最終的に残った上瞼候補、下瞼候補及び下瞼予備候補について、上下の瞼をペアとしたときの条件に最も適合する組合わせを上下の瞼とする。例えば、横マイナスエッジ及び横プラスエッジの長さがそろっていること、エッジ重心の横方向の位置が上下瞼対でそろっていること、エッジ重心間の距離が所定の範囲内であることなどで判定する。
【００５２】
具体的には、例えば、横マイナスエッジＡの長さをＬｍ、横プラスエッジＢの長さをＬｐ、しきい値をＬｔとして、
｜Ｌｍ−Ｌｐ｜＜Ｌｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５３】
また、例えば、横マイナスエッジＡの重心Ｘ座標をＸｍ、横プラスエッジＢの重心Ｘ座標をＸｐ、しきい値をＸｔとして、
｜Ｘｍ−Ｘｐ｜＜Ｘｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５４】
さらに、横マイナスエッジＡの重心Ｙ座標をＹｍ、横プラスエッジＢの重心Ｙ座標をＹｐ、しきい値をＤｔとして、
（Ｘｍ−Ｘｐ）２＋（Ｙｍ−Ｙｐ）２＜Ｄｔ
の条件を満たす横マイナスエッジＡと横プラスエッジＢの組み合わせを残す。
【００５５】
そして、残った組み合わせのうち、例えば、左右の眼として妥当な組み合わせで、かつ最もエッジ重心の横方向の位置が近い組み合わせを上下瞼対として選択する。
【００５６】
図１０は、上下瞼対を選択する方法を説明する図である。下瞼候補評価の結果、残った横マイナスエッジＡ４、Ａ５、Ａ６と、横プラスエッジＢ４、Ｂ５、Ｂ６で、上下瞼の組み合わせを作る。上に述べた方法で選択すると、横マイナスエッジＡ４と横プラスエッジＢ４の組と、横マイナスエッジＡ５と横プラスエッジＢ５の組が上下瞼対として選択される。破線の楕円で囲んで示す横マイナスエッジＡ６と横プラスエッジＢ６については、エッジの長さ、及び／又は、エッジ重心の横方向の位置の条件で、上下瞼対としての組み合わせができない。瞼判定部２７は、上下瞼の対であると判定された上下瞼候補のデータを瞼データ５５としてデータ保持部５に記憶する。
【００５７】
さらに、瞼判定部２７は、図１０において、上下瞼対として判定されなかった横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）の位置を位置関係データ５６としてデータ保持部５に記憶する。なお、横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）相互の位置関係を位置関係データ５６としてデータ保持部５に記憶するようにしてもよい。また、横マイナスエッジＡ６及び横プラスエッジＢ６（上瞼候補、下瞼候補）と、横マイナスエッジＡ４、Ａ５及び横プラスエッジＢ４、Ｂ５との位置関係を位置関係データ５６としてデータ保持部５に記憶するようにしてもよい。
【００５８】
そして、瞼エッジラベリング部２４がエッジのデータを瞼候補データ５４として再度データ保持部５に記憶した際、位置関係データ５６に基づいて、前回の判定で上下瞼対から排除された瞼候補（横マイナスエッジＡ６と横プラスエッジＢ６）に対応するエッジのデータが瞼候補データ５４として記憶されているかどうかを判断する。その結果、横マイナスエッジＡ６、横プラスエッジＢ６に対応するエッジのデータが瞼候補データ５４として記憶されていれば、この時点でそのエッジのデータを瞼候補データから除外するようにしてもよい。
【００５９】
これにより、前回の処理で図１０のような位置関係の瞼候補が残り、最終的にエッジＡ６、Ｂ６が上下瞼対から排除されていれば、次回の処理ではこのエッジＡ６、Ｂ６に対応する位置の瞼候補については評価することなくそのまま排除できるので、瞼判定処理を短縮することができる。
【００６０】
表示処理部２８は、検出された結果の上下瞼を顔の輪郭等とともに表示装置７に表示する。上下瞼から眼の開閉度を判定してもよい。上下瞼の開閉度から運転者の覚醒度合いを推定し、居眠りと判定された場合に、表示装置７で警告を表示（音響等を含む）してもよい。また、視線の方向の推定に、上下瞼データを利用することもできる。
【００６１】
つぎに、眼部検出装置１の動作について説明する。なお、眼部検出装置１の動作は、制御部１４がカメラ２、送受信部１６、画像メモリ１２、外部記憶部１３及び主記憶部１５と協働して行う。
【００６２】
図１１は、眼部検出装置１の動作の一例を示すフローチャートである。制御部１４は送受信部１６を介してカメラ２から顔画像を入力する（ステップＳ１）。そして、前述のとおり、顔領域を設定し、顔領域の中に眼探索領域を設定する（ステップＳ２）。
【００６３】
制御部１４は、設定された眼探索領域内で水平方向エッジ及び垂直方向エッジを算出する（ステップＳ３）。制御部１４は、算出した水平方向エッジ及び垂直方向エッジについて、グループ化し、所定の長さ（連続点数）以下のエッジを削除するなどの瞼エッジラベリング処理を行う（ステップＳ４）。また、その長さ、重心の位置を計算する。さらに、下瞼候補である横のプラスエッジＢのうち、下瞼の形状条件によって分別する下瞼候補分別処理を行う（ステップＳ５）。
【００６４】
次に、下瞼候補ごとにその横に水平方向エッジがあるかどうかを調べる（ステップＳ６）。水平方向エッジが所定の範囲にあれば（ステップＳ７；Ｙｅｓ）、その下瞼候補を除外する（ステップＳ８）。水平方向エッジが所定の範囲になければ（ステップＳ７；Ｎｏ）、その下瞼候補を残す。
【００６５】
さらに下瞼候補があれば（ステップＳ９；Ｙｅｓ）、その横に水平方向エッジがあるかどうかを調べ（ステップＳ６）、その下瞼候補を除外するか残すかを決定する（ステップＳ７、Ｓ８）。
【００６６】
下瞼候補が尽きれば（ステップＳ９；Ｎｏ）、残った上瞼候補と下瞼候補（及び下瞼予備候補）でできる上下瞼対の組み合わせのうち、所定の条件、例えば、前述の条件に最も適合する組み合わせを上下瞼対として選択する（ステップＳ１０）。
【００６７】
本発明の眼部検出装置１によれば、顔画像データから、アイシャドウや付け睫等の化粧をした人や、太陽光等によって眼の付近に濃い影が生じる等、眼周辺部に瞼に類似した紛らわしい画像が存在する場合でも、精度よく眼を検出することができる。
【００６８】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更及び修正が可能である。
【００６９】
制御部１４、送受信部１６、画像メモリ１２、外部記憶部１３及び主記憶部１５などから構成される眼部検出装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（フレキシブルディスク、CD-ROM、DVD-ROM等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する眼部検出装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで眼部検出装置１を構成してもよい。
【００７０】
また、眼部検出装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７１】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施形態に係る眼部検出装置のブロック図である。
【図２】本発明の一実施の形態である眼部検出装置の論理的な構成を示すブロック図である。
【図３】図１に示すコンピュータの構成を示すブロック図である。
【図４Ａ】縦エッジ検出用オペレータの例を示す図である。
【図４Ｂ】横エッジ検出用オペレータの例を示す図である。
【図４Ｃ】縦方向に連続する濃淡差の例を表す図である。
【図４Ｄ】横方向に連続する濃淡差の例を表す図である。
【図５】顔画像の領域を特定するデータの例を示す図である。
【図６】眼探索領域の原画像の例を模式的に示す図である。
【図７Ａ】眼探索領域における垂直方向エッジの検出例を示す図である。
【図７Ｂ】眼探索領域における水平方向エッジの検出例を示す図である。
【図７Ｃ】図７Ａの垂直方向エッジから、短いエッジを除去した結果を示す図である。
【図７Ｄ】図７Ｂの水平方向エッジから、短いエッジを除去した結果を示す図である。
【図８】垂直方向エッジと水平方向エッジを重ねて表した図である。
【図９】図８の部分Ｒを拡大して示す図である。
【図１０】上下瞼対を選択する方法を説明する図である。
【図１１】眼部検出装置の動作の一例を示すフローチャートである。
【符号の説明】
【００７３】
１ 眼部検出装置
２ カメラ（画像取得手段）
５ データ保持部（記憶手段）
１０ コンピュータ
１２ 画像メモリ
１３ 外部記憶部
１４ 制御部（画像取得手段、瞼候補検出手段、瞼判定手段、エッジ算出手段、瞼エッジラベリング手段、下瞼候補評価手段、上下瞼対選定手段、下瞼候補分別手段）
１５ 主記憶部
１６ 送受信部（画像取得手段）
２１ 画像入力部
２２ 眼探索領域設定部
２３ エッジ算出部（エッジ算出手段）
２４ 瞼エッジラベリング部（瞼エッジラベリング手段）
２５ 下瞼候補分別部（下瞼候補分別手段）
２６ 下瞼候補評価部（下瞼候補評価手段）
２７ 瞼判定部（上下瞼対選定手段）
５１ 顔画像データ
５２ 顔領域・眼探索領域データ
５３ 水平・垂直エッジデータ
５４ 瞼候補・下瞼予備候補データ
５５ 瞼データ
５６ 位置関係データ
【特許請求の範囲】
【請求項１】
顔画像を取得する画像取得手段と、
前記顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、
前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段と、
を備えることを特徴とする眼部検出装置。
【請求項２】
前記瞼候補検出手段は、
前記顔画像から、水平方向に輝度が変化する画素の並びである水平方向エッジ、及び垂直方向に輝度が変化する画素の並びである垂直方向エッジを算出するエッジ算出手段と、
前記エッジ算出手段で算出した水平方向エッジ及び垂直方向エッジのうち、上瞼又は下瞼について水平方向エッジ又は垂直方向エッジの所定の条件に適合する度合いによって、前記上瞼候補及び下瞼候補を分類して検出する瞼エッジラベリング手段と、
を備えることを特徴とする請求項１に記載の眼部検出装置。
【請求項３】
前記瞼判定手段は、
前記下瞼候補の左右方向に少なくとも１つの前記水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価手段と、
前記下瞼候補評価手段で除外した結果、残存する上瞼候補及び下瞼候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、
を備えることを特徴とする請求項２に記載の眼部検出装置。
【請求項４】
前記瞼エッジラベリング手段は、前記下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別手段を備え、
前記瞼判定手段は、
前記下瞼候補分別手段で分類された前記下瞼予備候補について、その左右方向に少なくとも１つの前記上瞼候補の水平方向エッジが存在する場合に、その下瞼予備候補を除外する下瞼候補評価手段と、
前記下瞼候補評価手段で前記下瞼予備候補を除外した結果、残存する前記上瞼候補と、前記下瞼候補及び前記下瞼予備候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、
を備えることを特徴とする請求項２に記載の眼部検出装置。
【請求項５】
前記瞼判定手段は、前記瞼候補検出手段で検出した前記下瞼候補の数が所定の値以下の場合に、前記下瞼候補評価手段による前記下瞼候補の除外を行わないことを特徴とする請求項３に記載の眼部検出装置。
【請求項６】
前記瞼候補検出手段で検出した前記上瞼候補及び前記下瞼候補の位置関係を記憶する記憶手段を備え、
前記瞼判定手段は、前記瞼候補検出手段が前記上瞼候補及び前記下瞼候補を再度検出した場合に、前記記憶手段に記憶されている前記位置関係に基づいて、前記上瞼候補及び前記下瞼候補のうち所定の瞼候補を除外する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の眼部検出装置。
【請求項７】
顔画像から、上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出ステップと、
前記瞼候補検出ステップで検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼候補判定ステップと、
を備えることを特徴とする眼部検出方法。
【請求項８】
コンピュータを、
顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、
前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段、
として機能させることを特徴とするプログラム。
【請求項１】
顔画像を取得する画像取得手段と、
前記顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、
前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段と、
を備えることを特徴とする眼部検出装置。
【請求項２】
前記瞼候補検出手段は、
前記顔画像から、水平方向に輝度が変化する画素の並びである水平方向エッジ、及び垂直方向に輝度が変化する画素の並びである垂直方向エッジを算出するエッジ算出手段と、
前記エッジ算出手段で算出した水平方向エッジ及び垂直方向エッジのうち、上瞼又は下瞼について水平方向エッジ又は垂直方向エッジの所定の条件に適合する度合いによって、前記上瞼候補及び下瞼候補を分類して検出する瞼エッジラベリング手段と、
を備えることを特徴とする請求項１に記載の眼部検出装置。
【請求項３】
前記瞼判定手段は、
前記下瞼候補の左右方向に少なくとも１つの前記水平方向エッジが存在する場合に、その下瞼候補を除外する下瞼候補評価手段と、
前記下瞼候補評価手段で除外した結果、残存する上瞼候補及び下瞼候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、
を備えることを特徴とする請求項２に記載の眼部検出装置。
【請求項４】
前記瞼エッジラベリング手段は、前記下瞼候補のうち、その垂直方向エッジが所定の条件を満たさないものを下瞼予備候補として分類する下瞼候補分別手段を備え、
前記瞼判定手段は、
前記下瞼候補分別手段で分類された前記下瞼予備候補について、その左右方向に少なくとも１つの前記上瞼候補の水平方向エッジが存在する場合に、その下瞼予備候補を除外する下瞼候補評価手段と、
前記下瞼候補評価手段で前記下瞼予備候補を除外した結果、残存する前記上瞼候補と、前記下瞼候補及び前記下瞼予備候補について、所定の上下瞼位置条件を満たすものを上下瞼対として選択する上下瞼対選定手段と、
を備えることを特徴とする請求項２に記載の眼部検出装置。
【請求項５】
前記瞼判定手段は、前記瞼候補検出手段で検出した前記下瞼候補の数が所定の値以下の場合に、前記下瞼候補評価手段による前記下瞼候補の除外を行わないことを特徴とする請求項３に記載の眼部検出装置。
【請求項６】
前記瞼候補検出手段で検出した前記上瞼候補及び前記下瞼候補の位置関係を記憶する記憶手段を備え、
前記瞼判定手段は、前記瞼候補検出手段が前記上瞼候補及び前記下瞼候補を再度検出した場合に、前記記憶手段に記憶されている前記位置関係に基づいて、前記上瞼候補及び前記下瞼候補のうち所定の瞼候補を除外する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の眼部検出装置。
【請求項７】
顔画像から、上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出ステップと、
前記瞼候補検出ステップで検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼候補判定ステップと、
を備えることを特徴とする眼部検出方法。
【請求項８】
コンピュータを、
顔画像から上瞼又は下瞼の所定の条件に適合する上瞼候補及び下瞼候補を検出する瞼候補検出手段と、
前記瞼候補検出手段で検出した前記上瞼候補と下瞼候補の組み合わせを比較し、前記上瞼候補と下瞼候補の関係が所定の条件に最も適合する組み合わせを、上瞼および下瞼と判定する瞼判定手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６】
【図１１】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図６】
【図１１】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−１４０２７０（Ｐ２００８−１４０２７０Ａ）
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願番号】特願２００６−３２７４３０（Ｐ２００６−３２７４３０）
【出願日】平成１８年１２月４日（２００６．１２．４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２０年６月１９日（２００８．６．１９）
【国際特許分類】
【出願日】平成１８年１２月４日（２００６．１２．４）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]