目状態検出装置及び方法
【解決手段】本発明は、目状態検出装置及び方法に関するのである。つまり、本発明の目状態検出方法は、目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別した後、目閉じと予備判別された場合、目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目状態検出装置及び方法に関するものである。
【背景技術】
【０００２】
居眠り運転を防止する運転者モニタリングシステム、目の運動を用いるコンピュータゲーム及び写真撮影のためのカメラなど目状態検出が求められる分野は多様である。従来の目状態検出は、能動的赤外線基盤接近法（Active infrared (IR) based approaches）及び可視スペクトル／特徴−基盤接近法（Visible spectrum/Feature-based approaches）の二つの範疇に分類することができる。可視スペクトル／特徴−基盤接近法は、テンプレート（template）基盤法、 顔付（appearance）基盤法及び特徴（feature）基盤法に分類される。近赤外線基盤法（NIR based methods）は、実用的であり、また光学像スペクトル法（Visual spectrum methods）を追求するにおいて重要である。
【０００３】
テンプレート基盤法は目の形態に基づいて考案されており、テンプレートマッチングは目のイメージを検出するために用いられる。このような方法は、顔全体を、目テンプレートとピクセル同士をマッチングしなければならない。また、入力した顔イメージに対する目の大きさが分からないため、他の大きさの目テンプレートとマッチング過程を数回繰り返さなければならない。よって、目を正確に検出することはできるものの、時間が多く要される短所がある。顔付基盤法は、光度の状況に基づいて目を検出する。このような方法は、通常、他の顔の傾向及び他の照明条件下で他の主題の目を示し、大量の操作データを収集しなければならない煩わしさがある。特徴基盤法は、目もとのいくつかの区別される特徴を識別するために目の特徴を調査する。このような方法は効率的であるが、高い対照性を持たないイメージに対して正確性が劣る、例えば、目と眉毛を混同し得る短所がある。
【０００４】
イメージ基盤の目検出接近法は、顔の残りから顔付及び形態で目の差異を開発して目を位置させる。黒い瞳、白い鞏膜、円形の虹彩、目の角、目の形態などのような目の特別な特徴は人の目と他の物体とを区分するために用いられる。このような方法は効率性や正確性が劣り、実効性がないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、リアルタイムで高い正確性と効率性を有しながら目の状態を判別することができる装置及び方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一実施例による目状態検出方法は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、（ａ）前記連続映像から停止した初期映像を入力するステップ、（ｂ）前記停止した初期映像から顔領域を検出するステップ、（ｃ）前記顔領域から目領域を検出するステップ、（ｄ）前記目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別するステップ、及び（ｅ）前記ステップ（ｄ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｄ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップを含む。
【０００７】
本発明の一実施例による目状態検出装置は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する装置であって、前記連続映像を撮影するカメラ部、及び前記連続映像から本発明の一実施例による目状態検出方法によって目状態検出を行って、目開き、目閉じ及び瞬きとして目の状態を判別する信号処理部を含む。
【０００８】
本発明の他の実施例による目状態検出方法は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、（ａ）前記連続映像から停止した初期映像を入力するステップ、（ｂ）前記停止した初期映像から顔領域及び目領域を検出するステップ、（ｃ）前記検出された目領域をログガボール（Log Gabor）フィルタリングするステップ、（ｄ）前記目領域から自動的な臨界値を設定するステップ、（ｅ）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、（ｆ）前記境界点に最も適合する楕円を一致させるステップ、及び（ｇ）前記楕円を用いて目開き及び目閉じを予備判別するステップ、及び（ｈ）前記ステップ（ｇ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｇ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップを含む。
【発明の効果】
【０００９】
本実施例による目状態検出方法は、高い正確性と効率性を有しながらリアルタイムで目の状態を判別することができる。また、リアルタイムで目を追跡するための目状態検出、運転者モニタリングシステム、スクリーンを介してナビゲートし、他のアイテムを選択するマウスポイントのように、目をポインティング器具として用いる、目の移動に基づく情報ディスプレイシステム、目の運動を用いるコンピュータゲーム及び瞬きを検出することのできる写真機などに応用することができる。
【図面の簡単な説明】
【００１０】
【図１】多様な目の状態を示すイメージである。
【図２】本実施例による目状態検出方法を示す手順図である。
【図３】本実施例によって顔領域を検出した結果を示す図である。
【図４】本実施例によって目領域を検出するアルゴリズムの一例を示す図である。
【図５】本実施例によって目領域を検出した結果を示す図である。
【図６】本実施例によって目開閉判別ステップを示す手順図である。
【図７】本実施例によってクロッピングした目領域を示す図である。
【図８】本実施例によって８０ ６０にリサイズされた目領域を示す図である。
【図９】本実施例に用いられたコンボリューションのためのログガボールカーネルを示す図である。
【図１０】本実施例によってフィルタリングされた目領域を示す図である。
【図１１】本実施例によって自動臨界値設定ステップを示す手順図である。
【図１２】本実施例によって２Ｄヒストグラムのエントロピーを計算するアルゴリズムの一例を示す図である。
【図１３】本実施例によって自動的な臨界値の設定前及び後の結果を示す図である。
【図１４】本実施例によって二進化されたイメージ分割及び分割された各区域の境界点の獲得ステップを行った結果を示す図である。
【図１５】本実施例によって各区域の境界点に楕円を一致させたステップを行った結果を示す図である。
【図１６】本実施例によって目の開閉状態を判別する一例を示すアルゴリズムである。
【図１７】本実施例による目状態検出装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明は、多様な変更を加えることができ、様々な実施例を有し得るところ、特定の実施例を図面に例示し、詳細な説明において詳細に説明しようとする。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術の範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解しなければならない。
【００１２】
ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及された場合には、その他の構成要素に直接的に連結または接続されていることもあるが、その間に他の構成要素が存在することもあるものと理解しなければならない。
【００１３】
以下、添付された図面を参照しながら本発明による好ましい実施例について詳しく説明するが、図面符号に構わず、同一または対応する構成要素には同一の参照番号を付与し、これに対する重複される説明は省略する。
【００１４】
図１は、多様な目の状態示すイメージである。本実施例は、図１に示されたような多様な目の状態を、目開き、目閉じ及び瞬き状態と判別することができる。
【００１５】
図２は、本実施例による目状態検出方法を示す手順図である。
【００１６】
連続映像から停止した初期映像を入力する（Ｓ１１０）。このような停止した初期映像はグレー（grey）映像であり得る。
【００１７】
その後、停止した初期映像から顔領域を検出する（Ｓ１２０）。ここで、顔領域の検出は顔境界の座標を獲得することで行われる。顔領域の検出は、ｈａａｒ基盤の顔検出法（haar based face detection）またはテンプレートマッチング法など多様な方法を用いることができる。例えば、テンプレートマッチング法を用いる場合、入力された初期映像と多重スケールテンプレートでテンプレートマッチング演算を行う。入力された初期映像と多重スケールテンプレートでテンプレートマッチング演算を行った後、顔イメージの位置を出力する。ここで、多重スケールテンプレートは、１０個の同一でない大きさにおける平均の顔テンプレートである。顔テンプレートの数は、上記のほかにも多様である。
【００１８】
図３は、本実施例によって顔領域を検出した結果を示す図である。
【００１９】
再び図２を参照すると、顔領域から目領域を検出する（Ｓ１３０）。ここで、目領域の検出は目境界の座標を獲得することで行われる。目領域とは、目を示す正確な領域ではなく、目を中心に上下左右で余裕のある領域をいう。このような目領域は、目幾何学（eye geometry）を用いて検出することができる。例えば、通常、顔の横長さをＸ、縦長さをＹとするとき、左目の位置は（１／４Ｘ、１／５Ｙ）となり、右目の位置は（３／１６Ｘ、１／５Ｙ）となる。このような位置を中心に余裕をもって設定された領域で目領域を検出することができる。
【００２０】
図４は、本実施例によって目領域を検出するアルゴリズムの一例を示す図であり、図５は、本実施例によって目領域を検出した結果を示す図である。
【００２１】
その後、目閉じと目開きを予備判別する（Ｓ１４０）。ここで、目閉じと目開きの予備判別は、目閉じ及び目開きを判別して、目開きと判別される場合は、目の状態を目開きと最終判断し、目閉じと判別される場合は、また目閉じであるかまたは瞬きであるかを判別しなければならないため、目閉じと予備判別してから、また目閉じまたは瞬きを判別するステップに進むことをいう。Ｓ１４０は、以下で詳しく説明する。Ｓ１４０で目開き状態と判別されることがある（Ｓ１９０）。Ｓ１４０で目閉じ状態と判別されると、設定された回数だけＳ１１０ないしＳ１４０を繰り返す（Ｓ１５０）。設定された回数だけＳ１１０ないしＳ１４０を繰り返した後、目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きいか否かを判断する（Ｓ１６０）。目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きいときは、目閉じ状態と判別する（Ｓ１７０）。目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きくないときは、瞬き（eye blink）状態と判別する（Ｓ１８０）。
【００２２】
ここで、繰り返されるステップは、本実施例ではＳ１１０ないしＳ１４０であるが、Ｓ１１０から、以下に説明するＳ１４１〜Ｓ１４７のいずれか一つのステップまで繰り返すこともできる。例えば、Ｓ１１０から、以下に説明するＳ１４５まで設定された回数だけ繰り返すことができる。
【００２３】
以下で、目閉じと目開きを判別するＳ１４０を詳しく説明する。
【００２４】
図６は、本実施例によって目開閉判別ステップを示す手順図である。まず、Ｓ１３０によって獲得された目領域を切り取る（Ｓ１４１）。ＩＳＰ（Image Signal Processor）のイメージクロッピング機能を用いて行うことができる。図７は、本実施例によってクロッピングした目領域を示す図である。
【００２５】
その後、切り取られた目領域をリサイズする（Ｓ１４２）。例えば、目領域を８０ ６０にリサイズする。図８は、本実施例によって８０ ６０にリサイズした目領域を示す図である。
【００２６】
次に、リサイズした目領域をフィルタリングする（Ｓ１４３）。例えば、コンボリューション（convolution）を用いてログガボール（Log Gabor）フィルタリングする。線形周波数スケール上にログガボール関数は、次の数式１のような移動関数である。
【数１】
ここで、ｗ０は、フィルタ中心周波数である。
【００２７】
一定の形態の非フィルタを得るために、用語ｋ／ｗ０は多様なｗ０に対して一定に維持されることができる。例えば、０．７４のｋ／ｗ０は、略１オクターブ（octave）のフィルタ帯域幅であり、０．５５のｋ／ｗ０は、略２オクターブのフィルタ帯域幅であり、０．４１のｋ／ｗ０は、略３オクターブのフィルタ帯域幅であり得る。図９は、本実施例に用いられたコンボリューションのためのログガボールカーネルを示し、図１０は、本実施例によってフィルタリングされた目領域を示す図である。
【００２８】
本実施例でコンボリューションを用いたフィルタリングは、次の数式２を用いて行うことができる。
【数２】
ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージを示す。
【００２９】
その後、自動臨界値を設定する（Ｓ１４４）。
【００３０】
以下で、自動臨界値設定ステップであるＳ１４４を詳しく説明する。図１１は、本実施例によって自動臨界値設定ステップを示す手順図である。
【００３１】
図１１を参照すると、目領域の２Ｄヒストグラムを計算する（Ｓ１４４−１）。ここで、ヒストグラムは、イメージ内において他のイメージのピクセル周波数の統計的表現である。２Ｄヒストグラムは、他の光源水準を有する、相応するピクセルの数を示す。イメージヒストグラムは、原本イメージにおいて正確な光源強度を有するピクセルがいくつあるのかを示すことができる。本実施例に適用されるイメージがサイズ面において多様であるため、ヒストグラム値を保存するために一次元整数配列を用いることができる。２Ｄヒストグラム計算は、イメージピクセル内のループ及びインデックス２５６要素の整数配列を用いて行うことができる。ここで、配列の数は、上記のほかにも多様であることは当業者にとって自明なものである。次は、本実施例によって２Ｄヒストグラムを計算する一例を示すアルゴリズムである。
【数３】
ここで、pucGrey[usIndexX]は、２Ｄイメージ輝度に対する情報を保有するバイト配列であり、gssHistogramGray[0]は、２Ｄイメージヒストグラムを保有する２５６要素の整数配列である。
【００３２】
その後、２Ｄヒストグラムを正規化する（Ｓ１４４−２）。すなわち、ヒストグラムの２５６要素の整数配列内に保存された２Ｄヒストグラムを正規化する。正規化されたヒストグラムは、他のピクセル値の確率分布を示す。正規化の過程は、各一つのヒストグラムの２５６配列要素をイメージ内の全体ピクセル数で分けて行われる。次は、本実施例によって２Ｄヒストグラムを正規化する一例を示すアルゴリズムである。
【数４】
【００３３】
その後、２Ｄヒストグラムのエントロピー（entropy）を計算する（Ｓ１４４−３）。ここで、エントロピーは、不確実性（uncertainty）の平均値を示す数値である。
【００３４】
図１２は、本実施例によって２Ｄヒストグラムのエントロピーを計算するアルゴリズムの一例を示す図である。図１２を参照すると、２Ｄヒストグラムのエントロピー関数を行った後、イメージエントロピーは２Ｄ ２５６要素の二重正確性配列gdEntropyGrey[k]内に保有される。このような関数は、どのピクセルがイメージ内の大部分の情報用量を有しているのかを決定するに用いられる。
【００３５】
その後、２段階（2nd stage）の最大エントロピー値のインデックスを獲得する（Ｓ１４４−４）。次に、２段階の最大エントロピー値に基づく自動的な臨界値を設定する（Ｓ１４４−５）。２Ｄヒストグラムのエントロピー値を計算した後、最大値を検出してから、これに基づく臨界値を獲得することができる。検出された最大値を中心に予め設定されたパーセント内に臨界値を獲得することができる。
【００３６】
ここで、多段階（multistage）の２Ｄエントロピー関数が用いられることもある。多段階のエントロピー関数は、繰り返しの数及びパートＡ及びＢによるヒストグラム分割で単一段階と異なることがある。例えば、４段階のエントロピー関数は、４層上に自動に臨界値入力イメージに対する確率を提供することができる。ヒストグラム内に選択された地域にわたってエントロピーの最大値計算を用いて、数回ヒストグラムを分割することが求められる。一次エントロピーの最大値を計算した後、０と一次最大地点との間のエントロピーの最大値を計算してから、一次最大値とヒストグラムの２５５要素との間のエントロピーの最大地点を計算することができる。
【００３７】
また、臨界値のイメージ上にヒストグラム均等化（equalization）を用いることもできる。「ヒストグラム均等化」は、すべての小さいヒストグラムコラムを一つにグルーピングする簡単な過程である。このようなグルーピング後、ヒストグラム変化に関するイメージピクセル置換を行うことができる。２Ｄヒストグラム均等化のためにヒストグラムの平均値を計算することができる。その後、ループを作って、ポジション０から２５５まですべてのヒストグラムコラムをチェックし、該当ヒストグラムコラムが平均値を超えるグローバルヒストグラムの平均値より小さいか否かをチェックする。そうであれば、次のコラムに進んで、この値をａｃ一次値として扱う。追加するすべてのポジションは、グレー水準の置換候補としてマーキングされる。次のコラムが平均値よりもさらに大きい値を有すると、その値に一次値を追加せずに、次のコラムに進む。図１３は、本実施例によって自動的な臨界値の設定前及び後の結果を示す図である。
【００３８】
再び図６を参照すると、二進化されたイメージを分割し、分割された各区域の境界点を獲得する（Ｓ１４５）。二進化されたイメージ分割は、次のように行われる。まず、使用しないイメージの部分を初期化する。その後、４個の連結された成分を用いて、イメージを分割する。分割されたものをラベリングして、区域ＩＤを固定する。その後、区域サイズを計算し、サイズ順に、区域に対して新しいＩＤを計算する。次に、中心と周辺のボックスを計算し、区域エッジ点を計算する。図１４は、本実施例によって二進化されたイメージ分割及び分割された各区域の境界点の獲得ステップを行った結果を示す図である。
【００３９】
その後、各区域の境界点に楕円を一致させる（Ｓ１４６）。すなわち、境界点のセットに最もよく一致する楕円を計算する。例えば、６個の境界点を用いて、最もよく一致する楕円を計算することができる。図１５は、本実施例によって各区域の境界点に楕円を一致させたステップを行った結果を示す図である。
【００４０】
その後、獲得された楕円をもって目の開閉状態を判別する（Ｓ１４７）。例えば、楕円の円形度または面積を計算して、目の開閉状態を判別することができる。楕円の面積で目の開閉状態を判別する場合、目閉じと判別する楕円の面積の範囲を設定することができる。例えば、楕円の面積が５ｍｍ２から３０ｍｍ２内の場合、目閉じと判別することができる。また、目とまぶたの幾何学に起因して目閉じを判別することもできる。
【００４１】
図１６は、本実施例によって目の開閉状態を判別する一例を示すアルゴリズムである。
【００４２】
図１７は、本実施例による目状態検出装置を示すブロック図である。
【００４３】
図１７を参照すると、目状態検出装置は、カメラ部１１０、メモリ１２０、信号処理部１３０及び制御部１４０を含む。カメラ部１１０は、連続映像を撮影して、撮影したイメージをメモリ１２０に出力する。メモリ１２０は、撮影されたイメージを入力されて保存する。信号処理部１３０は、メモリ１２０に保存されたデジタルイメージに対して本実施例によって目状態検出を行い、目閉じ、瞬きまたは目開きとして目の状態を判断して、その結果をメモリ１２０または制御部１４０に出力する。制御部１４０は、目状態の判断結果に応じて、制御が必要なモジュールに制御信号を出力する。ここで、制御部１４０は、示されたものと異なって、無いこともある。制御部１４０がない場合は、信号処理部１３０は、判断された目の状態を外部に出力する。
【００４４】
例えば、目状態検出装置が運転者モニタリングシステムの警報発生部に連結された場合、信号処理部１３０で被写体が目閉じと判断されると、制御部１４０は、警報発生部に警報音を発生する信号を送ることができる。また他の例として、目状態検出装置がカメラに連結された場合、信号処理部１３０で被写体が瞬きと判断されると、制御部１４０は、最適の撮影時点を捕捉できるように制御信号をカメラに送ることができる。
【００４５】
本実施例で示すアルゴリズムは、本実施例を具現するために多様に表現できるアルゴリズムの一例に過ぎず、このような一例とは異なるアルゴリズムも本実施例を具現することができることは当業者にとって自明なものである。
【００４６】
本実施例で使用される「〜部」という用語は、ソフトウェアまたはＦＰＧＡ（field-programmable gate array）またはＡＳＩＣのようなハードウェア構成要素を意味し、「〜部」はある種類の役割を果たす。ところが、「〜部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「〜部」は、アドレッシングすることのできる保存媒体にあるように構成されることもでき、あるいは、一つまたはそれ以上のプロセッサを再生させるように構成されることもできる。よって、一例として「〜部」は、ソフトウェアの構成要素、客体志向ソフトウェアの構成要素、クラスの構成要素及びタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列、及び変数を含む。構成要素と「〜部」の中で提供される機能は、さらに小さい数の構成要素及び「〜部」に結合されるか、または追加的な構成要素と「〜部」とにさらに分離できる。それだけでなく、構成要素及び「〜部」は、デバイスまたは保安マルチメディアカード内の一つまたはそれ以上のＣＰＵを再生させるように具現できる。
【００４７】
上述したすべての機能は、上記機能を行うようにコーディングされたソフトウェアやプログラムコードなどによるマイクロプロセッサ、制御機、マイクロ制御機、ＡＳＩＣ（Application Specific Integrated Circuit）などのようなプロセッサによって行われることができる。前記コードの設計、開発及び具現は、本発明の説明に基づいて当業者に自明であるといえる。
【００４８】
以上、本発明について実施例を参照しながら説明したが、当該技術分野における通常の知識を有する者は、本発明の技術的思想及び領域から外れない範囲内で本発明を多様に修正及び変更させて実施することができることを理解できるだろう。したがって、上述した実施例に限定されずに、本発明は、以下の特許請求の範囲の範囲内におけるすべての実施例を含むといえる。
【産業上の利用可能性】
【００４９】
本発明は、リアルタイムで目を追跡するための目の状態を検出する方法及び装置であって、運転者モニタリングシステム、目の移動に基づく情報ディスプレイシステム、目の運動を用いるコンピュータゲーム及び瞬きを検出することのできる写真機などに上記の目の状態を検出する方法及び装置を適用することができる。
【技術分野】
【０００１】
本発明は、目状態検出装置及び方法に関するものである。
【背景技術】
【０００２】
居眠り運転を防止する運転者モニタリングシステム、目の運動を用いるコンピュータゲーム及び写真撮影のためのカメラなど目状態検出が求められる分野は多様である。従来の目状態検出は、能動的赤外線基盤接近法（Active infrared (IR) based approaches）及び可視スペクトル／特徴−基盤接近法（Visible spectrum/Feature-based approaches）の二つの範疇に分類することができる。可視スペクトル／特徴−基盤接近法は、テンプレート（template）基盤法、 顔付（appearance）基盤法及び特徴（feature）基盤法に分類される。近赤外線基盤法（NIR based methods）は、実用的であり、また光学像スペクトル法（Visual spectrum methods）を追求するにおいて重要である。
【０００３】
テンプレート基盤法は目の形態に基づいて考案されており、テンプレートマッチングは目のイメージを検出するために用いられる。このような方法は、顔全体を、目テンプレートとピクセル同士をマッチングしなければならない。また、入力した顔イメージに対する目の大きさが分からないため、他の大きさの目テンプレートとマッチング過程を数回繰り返さなければならない。よって、目を正確に検出することはできるものの、時間が多く要される短所がある。顔付基盤法は、光度の状況に基づいて目を検出する。このような方法は、通常、他の顔の傾向及び他の照明条件下で他の主題の目を示し、大量の操作データを収集しなければならない煩わしさがある。特徴基盤法は、目もとのいくつかの区別される特徴を識別するために目の特徴を調査する。このような方法は効率的であるが、高い対照性を持たないイメージに対して正確性が劣る、例えば、目と眉毛を混同し得る短所がある。
【０００４】
イメージ基盤の目検出接近法は、顔の残りから顔付及び形態で目の差異を開発して目を位置させる。黒い瞳、白い鞏膜、円形の虹彩、目の角、目の形態などのような目の特別な特徴は人の目と他の物体とを区分するために用いられる。このような方法は効率性や正確性が劣り、実効性がないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、リアルタイムで高い正確性と効率性を有しながら目の状態を判別することができる装置及び方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一実施例による目状態検出方法は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、（ａ）前記連続映像から停止した初期映像を入力するステップ、（ｂ）前記停止した初期映像から顔領域を検出するステップ、（ｃ）前記顔領域から目領域を検出するステップ、（ｄ）前記目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別するステップ、及び（ｅ）前記ステップ（ｄ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｄ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップを含む。
【０００７】
本発明の一実施例による目状態検出装置は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する装置であって、前記連続映像を撮影するカメラ部、及び前記連続映像から本発明の一実施例による目状態検出方法によって目状態検出を行って、目開き、目閉じ及び瞬きとして目の状態を判別する信号処理部を含む。
【０００８】
本発明の他の実施例による目状態検出方法は、顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、（ａ）前記連続映像から停止した初期映像を入力するステップ、（ｂ）前記停止した初期映像から顔領域及び目領域を検出するステップ、（ｃ）前記検出された目領域をログガボール（Log Gabor）フィルタリングするステップ、（ｄ）前記目領域から自動的な臨界値を設定するステップ、（ｅ）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、（ｆ）前記境界点に最も適合する楕円を一致させるステップ、及び（ｇ）前記楕円を用いて目開き及び目閉じを予備判別するステップ、及び（ｈ）前記ステップ（ｇ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｇ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップを含む。
【発明の効果】
【０００９】
本実施例による目状態検出方法は、高い正確性と効率性を有しながらリアルタイムで目の状態を判別することができる。また、リアルタイムで目を追跡するための目状態検出、運転者モニタリングシステム、スクリーンを介してナビゲートし、他のアイテムを選択するマウスポイントのように、目をポインティング器具として用いる、目の移動に基づく情報ディスプレイシステム、目の運動を用いるコンピュータゲーム及び瞬きを検出することのできる写真機などに応用することができる。
【図面の簡単な説明】
【００１０】
【図１】多様な目の状態を示すイメージである。
【図２】本実施例による目状態検出方法を示す手順図である。
【図３】本実施例によって顔領域を検出した結果を示す図である。
【図４】本実施例によって目領域を検出するアルゴリズムの一例を示す図である。
【図５】本実施例によって目領域を検出した結果を示す図である。
【図６】本実施例によって目開閉判別ステップを示す手順図である。
【図７】本実施例によってクロッピングした目領域を示す図である。
【図８】本実施例によって８０ ６０にリサイズされた目領域を示す図である。
【図９】本実施例に用いられたコンボリューションのためのログガボールカーネルを示す図である。
【図１０】本実施例によってフィルタリングされた目領域を示す図である。
【図１１】本実施例によって自動臨界値設定ステップを示す手順図である。
【図１２】本実施例によって２Ｄヒストグラムのエントロピーを計算するアルゴリズムの一例を示す図である。
【図１３】本実施例によって自動的な臨界値の設定前及び後の結果を示す図である。
【図１４】本実施例によって二進化されたイメージ分割及び分割された各区域の境界点の獲得ステップを行った結果を示す図である。
【図１５】本実施例によって各区域の境界点に楕円を一致させたステップを行った結果を示す図である。
【図１６】本実施例によって目の開閉状態を判別する一例を示すアルゴリズムである。
【図１７】本実施例による目状態検出装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
本発明は、多様な変更を加えることができ、様々な実施例を有し得るところ、特定の実施例を図面に例示し、詳細な説明において詳細に説明しようとする。しかし、これは、本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想及び技術の範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解しなければならない。
【００１２】
ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及された場合には、その他の構成要素に直接的に連結または接続されていることもあるが、その間に他の構成要素が存在することもあるものと理解しなければならない。
【００１３】
以下、添付された図面を参照しながら本発明による好ましい実施例について詳しく説明するが、図面符号に構わず、同一または対応する構成要素には同一の参照番号を付与し、これに対する重複される説明は省略する。
【００１４】
図１は、多様な目の状態示すイメージである。本実施例は、図１に示されたような多様な目の状態を、目開き、目閉じ及び瞬き状態と判別することができる。
【００１５】
図２は、本実施例による目状態検出方法を示す手順図である。
【００１６】
連続映像から停止した初期映像を入力する（Ｓ１１０）。このような停止した初期映像はグレー（grey）映像であり得る。
【００１７】
その後、停止した初期映像から顔領域を検出する（Ｓ１２０）。ここで、顔領域の検出は顔境界の座標を獲得することで行われる。顔領域の検出は、ｈａａｒ基盤の顔検出法（haar based face detection）またはテンプレートマッチング法など多様な方法を用いることができる。例えば、テンプレートマッチング法を用いる場合、入力された初期映像と多重スケールテンプレートでテンプレートマッチング演算を行う。入力された初期映像と多重スケールテンプレートでテンプレートマッチング演算を行った後、顔イメージの位置を出力する。ここで、多重スケールテンプレートは、１０個の同一でない大きさにおける平均の顔テンプレートである。顔テンプレートの数は、上記のほかにも多様である。
【００１８】
図３は、本実施例によって顔領域を検出した結果を示す図である。
【００１９】
再び図２を参照すると、顔領域から目領域を検出する（Ｓ１３０）。ここで、目領域の検出は目境界の座標を獲得することで行われる。目領域とは、目を示す正確な領域ではなく、目を中心に上下左右で余裕のある領域をいう。このような目領域は、目幾何学（eye geometry）を用いて検出することができる。例えば、通常、顔の横長さをＸ、縦長さをＹとするとき、左目の位置は（１／４Ｘ、１／５Ｙ）となり、右目の位置は（３／１６Ｘ、１／５Ｙ）となる。このような位置を中心に余裕をもって設定された領域で目領域を検出することができる。
【００２０】
図４は、本実施例によって目領域を検出するアルゴリズムの一例を示す図であり、図５は、本実施例によって目領域を検出した結果を示す図である。
【００２１】
その後、目閉じと目開きを予備判別する（Ｓ１４０）。ここで、目閉じと目開きの予備判別は、目閉じ及び目開きを判別して、目開きと判別される場合は、目の状態を目開きと最終判断し、目閉じと判別される場合は、また目閉じであるかまたは瞬きであるかを判別しなければならないため、目閉じと予備判別してから、また目閉じまたは瞬きを判別するステップに進むことをいう。Ｓ１４０は、以下で詳しく説明する。Ｓ１４０で目開き状態と判別されることがある（Ｓ１９０）。Ｓ１４０で目閉じ状態と判別されると、設定された回数だけＳ１１０ないしＳ１４０を繰り返す（Ｓ１５０）。設定された回数だけＳ１１０ないしＳ１４０を繰り返した後、目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きいか否かを判断する（Ｓ１６０）。目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きいときは、目閉じ状態と判別する（Ｓ１７０）。目閉じと判別される時間が設定された臨界値時間（ｍｓ）より大きくないときは、瞬き（eye blink）状態と判別する（Ｓ１８０）。
【００２２】
ここで、繰り返されるステップは、本実施例ではＳ１１０ないしＳ１４０であるが、Ｓ１１０から、以下に説明するＳ１４１〜Ｓ１４７のいずれか一つのステップまで繰り返すこともできる。例えば、Ｓ１１０から、以下に説明するＳ１４５まで設定された回数だけ繰り返すことができる。
【００２３】
以下で、目閉じと目開きを判別するＳ１４０を詳しく説明する。
【００２４】
図６は、本実施例によって目開閉判別ステップを示す手順図である。まず、Ｓ１３０によって獲得された目領域を切り取る（Ｓ１４１）。ＩＳＰ（Image Signal Processor）のイメージクロッピング機能を用いて行うことができる。図７は、本実施例によってクロッピングした目領域を示す図である。
【００２５】
その後、切り取られた目領域をリサイズする（Ｓ１４２）。例えば、目領域を８０ ６０にリサイズする。図８は、本実施例によって８０ ６０にリサイズした目領域を示す図である。
【００２６】
次に、リサイズした目領域をフィルタリングする（Ｓ１４３）。例えば、コンボリューション（convolution）を用いてログガボール（Log Gabor）フィルタリングする。線形周波数スケール上にログガボール関数は、次の数式１のような移動関数である。
【数１】
ここで、ｗ０は、フィルタ中心周波数である。
【００２７】
一定の形態の非フィルタを得るために、用語ｋ／ｗ０は多様なｗ０に対して一定に維持されることができる。例えば、０．７４のｋ／ｗ０は、略１オクターブ（octave）のフィルタ帯域幅であり、０．５５のｋ／ｗ０は、略２オクターブのフィルタ帯域幅であり、０．４１のｋ／ｗ０は、略３オクターブのフィルタ帯域幅であり得る。図９は、本実施例に用いられたコンボリューションのためのログガボールカーネルを示し、図１０は、本実施例によってフィルタリングされた目領域を示す図である。
【００２８】
本実施例でコンボリューションを用いたフィルタリングは、次の数式２を用いて行うことができる。
【数２】
ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージを示す。
【００２９】
その後、自動臨界値を設定する（Ｓ１４４）。
【００３０】
以下で、自動臨界値設定ステップであるＳ１４４を詳しく説明する。図１１は、本実施例によって自動臨界値設定ステップを示す手順図である。
【００３１】
図１１を参照すると、目領域の２Ｄヒストグラムを計算する（Ｓ１４４−１）。ここで、ヒストグラムは、イメージ内において他のイメージのピクセル周波数の統計的表現である。２Ｄヒストグラムは、他の光源水準を有する、相応するピクセルの数を示す。イメージヒストグラムは、原本イメージにおいて正確な光源強度を有するピクセルがいくつあるのかを示すことができる。本実施例に適用されるイメージがサイズ面において多様であるため、ヒストグラム値を保存するために一次元整数配列を用いることができる。２Ｄヒストグラム計算は、イメージピクセル内のループ及びインデックス２５６要素の整数配列を用いて行うことができる。ここで、配列の数は、上記のほかにも多様であることは当業者にとって自明なものである。次は、本実施例によって２Ｄヒストグラムを計算する一例を示すアルゴリズムである。
【数３】
ここで、pucGrey[usIndexX]は、２Ｄイメージ輝度に対する情報を保有するバイト配列であり、gssHistogramGray[0]は、２Ｄイメージヒストグラムを保有する２５６要素の整数配列である。
【００３２】
その後、２Ｄヒストグラムを正規化する（Ｓ１４４−２）。すなわち、ヒストグラムの２５６要素の整数配列内に保存された２Ｄヒストグラムを正規化する。正規化されたヒストグラムは、他のピクセル値の確率分布を示す。正規化の過程は、各一つのヒストグラムの２５６配列要素をイメージ内の全体ピクセル数で分けて行われる。次は、本実施例によって２Ｄヒストグラムを正規化する一例を示すアルゴリズムである。
【数４】
【００３３】
その後、２Ｄヒストグラムのエントロピー（entropy）を計算する（Ｓ１４４−３）。ここで、エントロピーは、不確実性（uncertainty）の平均値を示す数値である。
【００３４】
図１２は、本実施例によって２Ｄヒストグラムのエントロピーを計算するアルゴリズムの一例を示す図である。図１２を参照すると、２Ｄヒストグラムのエントロピー関数を行った後、イメージエントロピーは２Ｄ ２５６要素の二重正確性配列gdEntropyGrey[k]内に保有される。このような関数は、どのピクセルがイメージ内の大部分の情報用量を有しているのかを決定するに用いられる。
【００３５】
その後、２段階（2nd stage）の最大エントロピー値のインデックスを獲得する（Ｓ１４４−４）。次に、２段階の最大エントロピー値に基づく自動的な臨界値を設定する（Ｓ１４４−５）。２Ｄヒストグラムのエントロピー値を計算した後、最大値を検出してから、これに基づく臨界値を獲得することができる。検出された最大値を中心に予め設定されたパーセント内に臨界値を獲得することができる。
【００３６】
ここで、多段階（multistage）の２Ｄエントロピー関数が用いられることもある。多段階のエントロピー関数は、繰り返しの数及びパートＡ及びＢによるヒストグラム分割で単一段階と異なることがある。例えば、４段階のエントロピー関数は、４層上に自動に臨界値入力イメージに対する確率を提供することができる。ヒストグラム内に選択された地域にわたってエントロピーの最大値計算を用いて、数回ヒストグラムを分割することが求められる。一次エントロピーの最大値を計算した後、０と一次最大地点との間のエントロピーの最大値を計算してから、一次最大値とヒストグラムの２５５要素との間のエントロピーの最大地点を計算することができる。
【００３７】
また、臨界値のイメージ上にヒストグラム均等化（equalization）を用いることもできる。「ヒストグラム均等化」は、すべての小さいヒストグラムコラムを一つにグルーピングする簡単な過程である。このようなグルーピング後、ヒストグラム変化に関するイメージピクセル置換を行うことができる。２Ｄヒストグラム均等化のためにヒストグラムの平均値を計算することができる。その後、ループを作って、ポジション０から２５５まですべてのヒストグラムコラムをチェックし、該当ヒストグラムコラムが平均値を超えるグローバルヒストグラムの平均値より小さいか否かをチェックする。そうであれば、次のコラムに進んで、この値をａｃ一次値として扱う。追加するすべてのポジションは、グレー水準の置換候補としてマーキングされる。次のコラムが平均値よりもさらに大きい値を有すると、その値に一次値を追加せずに、次のコラムに進む。図１３は、本実施例によって自動的な臨界値の設定前及び後の結果を示す図である。
【００３８】
再び図６を参照すると、二進化されたイメージを分割し、分割された各区域の境界点を獲得する（Ｓ１４５）。二進化されたイメージ分割は、次のように行われる。まず、使用しないイメージの部分を初期化する。その後、４個の連結された成分を用いて、イメージを分割する。分割されたものをラベリングして、区域ＩＤを固定する。その後、区域サイズを計算し、サイズ順に、区域に対して新しいＩＤを計算する。次に、中心と周辺のボックスを計算し、区域エッジ点を計算する。図１４は、本実施例によって二進化されたイメージ分割及び分割された各区域の境界点の獲得ステップを行った結果を示す図である。
【００３９】
その後、各区域の境界点に楕円を一致させる（Ｓ１４６）。すなわち、境界点のセットに最もよく一致する楕円を計算する。例えば、６個の境界点を用いて、最もよく一致する楕円を計算することができる。図１５は、本実施例によって各区域の境界点に楕円を一致させたステップを行った結果を示す図である。
【００４０】
その後、獲得された楕円をもって目の開閉状態を判別する（Ｓ１４７）。例えば、楕円の円形度または面積を計算して、目の開閉状態を判別することができる。楕円の面積で目の開閉状態を判別する場合、目閉じと判別する楕円の面積の範囲を設定することができる。例えば、楕円の面積が５ｍｍ２から３０ｍｍ２内の場合、目閉じと判別することができる。また、目とまぶたの幾何学に起因して目閉じを判別することもできる。
【００４１】
図１６は、本実施例によって目の開閉状態を判別する一例を示すアルゴリズムである。
【００４２】
図１７は、本実施例による目状態検出装置を示すブロック図である。
【００４３】
図１７を参照すると、目状態検出装置は、カメラ部１１０、メモリ１２０、信号処理部１３０及び制御部１４０を含む。カメラ部１１０は、連続映像を撮影して、撮影したイメージをメモリ１２０に出力する。メモリ１２０は、撮影されたイメージを入力されて保存する。信号処理部１３０は、メモリ１２０に保存されたデジタルイメージに対して本実施例によって目状態検出を行い、目閉じ、瞬きまたは目開きとして目の状態を判断して、その結果をメモリ１２０または制御部１４０に出力する。制御部１４０は、目状態の判断結果に応じて、制御が必要なモジュールに制御信号を出力する。ここで、制御部１４０は、示されたものと異なって、無いこともある。制御部１４０がない場合は、信号処理部１３０は、判断された目の状態を外部に出力する。
【００４４】
例えば、目状態検出装置が運転者モニタリングシステムの警報発生部に連結された場合、信号処理部１３０で被写体が目閉じと判断されると、制御部１４０は、警報発生部に警報音を発生する信号を送ることができる。また他の例として、目状態検出装置がカメラに連結された場合、信号処理部１３０で被写体が瞬きと判断されると、制御部１４０は、最適の撮影時点を捕捉できるように制御信号をカメラに送ることができる。
【００４５】
本実施例で示すアルゴリズムは、本実施例を具現するために多様に表現できるアルゴリズムの一例に過ぎず、このような一例とは異なるアルゴリズムも本実施例を具現することができることは当業者にとって自明なものである。
【００４６】
本実施例で使用される「〜部」という用語は、ソフトウェアまたはＦＰＧＡ（field-programmable gate array）またはＡＳＩＣのようなハードウェア構成要素を意味し、「〜部」はある種類の役割を果たす。ところが、「〜部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「〜部」は、アドレッシングすることのできる保存媒体にあるように構成されることもでき、あるいは、一つまたはそれ以上のプロセッサを再生させるように構成されることもできる。よって、一例として「〜部」は、ソフトウェアの構成要素、客体志向ソフトウェアの構成要素、クラスの構成要素及びタスクの構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列、及び変数を含む。構成要素と「〜部」の中で提供される機能は、さらに小さい数の構成要素及び「〜部」に結合されるか、または追加的な構成要素と「〜部」とにさらに分離できる。それだけでなく、構成要素及び「〜部」は、デバイスまたは保安マルチメディアカード内の一つまたはそれ以上のＣＰＵを再生させるように具現できる。
【００４７】
上述したすべての機能は、上記機能を行うようにコーディングされたソフトウェアやプログラムコードなどによるマイクロプロセッサ、制御機、マイクロ制御機、ＡＳＩＣ（Application Specific Integrated Circuit）などのようなプロセッサによって行われることができる。前記コードの設計、開発及び具現は、本発明の説明に基づいて当業者に自明であるといえる。
【００４８】
以上、本発明について実施例を参照しながら説明したが、当該技術分野における通常の知識を有する者は、本発明の技術的思想及び領域から外れない範囲内で本発明を多様に修正及び変更させて実施することができることを理解できるだろう。したがって、上述した実施例に限定されずに、本発明は、以下の特許請求の範囲の範囲内におけるすべての実施例を含むといえる。
【産業上の利用可能性】
【００４９】
本発明は、リアルタイムで目を追跡するための目の状態を検出する方法及び装置であって、運転者モニタリングシステム、目の移動に基づく情報ディスプレイシステム、目の運動を用いるコンピュータゲーム及び瞬きを検出することのできる写真機などに上記の目の状態を検出する方法及び装置を適用することができる。
【特許請求の範囲】
【請求項１】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
（ａ）前記連続映像から停止した初期映像を入力するステップ、
（ｂ）前記停止した初期映像から顔領域を検出するステップ、
（ｃ）前記顔領域から目領域を検出するステップ、
（ｄ）前記目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別するステップ、及び
（ｅ）前記ステップ（ｄ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｄ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。
【請求項２】
前記ステップ（ｂ）は、ｈａａｒ基盤の顔検出法（haar based face detection）またはテンプレートマッチング法を用いて顔領域を検出することを特徴とする請求項１に記載の目状態検出方法。
【請求項３】
前記ステップ（ｃ）は、目幾何学（eye geometry）を用いて目領域を検出することを特徴とする請求項１に記載の目状態検出方法。
【請求項４】
前記ステップ（ｄ）は、
（ｄ−１）前記目領域をフィルタリングするステップ、
（ｄ−２）前記目領域から自動的な臨界値を設定するステップ、
（ｄ−３）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
（ｄ−４）前記境界点に最も適合する楕円を一致させるステップ、及び
（ｄ−５）前記楕円を用いて目開き及び目閉じを予備判別するステップ、
を含むことを特徴とする請求項１に記載の目状態検出方法。
【請求項５】
前記ステップ（ｄ−１）の前に、前記目領域をクロップ（crop）し、リサイズするステップをさらに含むことを特徴とする請求項４に記載の目状態検出方法。
【請求項６】
前記ステップ（ｄ−１）は、コンボリューションを用いてログガボール（Log Gabor）フィルタリングすることを特徴とする請求項４に記載の目状態検出方法。
【請求項７】
前記コンボリューションを用いるログガボールフィルタリングは、
【数５】
（ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージである。）
を用いることを特徴とする請求項６に記載の目状態検出方法。
【請求項８】
前記ステップ（ｄ−２）は、
（ｄｄ−１）前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である２Ｄヒストグラムを計算するステップ、
（ｄｄ−２）前記２Ｄヒストグラムを他のピクセル値の確率分布に正規化するステップ、
（ｄｄ−３）前記正規化された２Ｄヒストグラムから不確実性（uncertainty）の平均値を示す数値であるエントロピーを計算するステップ、
（ｄｄ−４）２段階の最大エントロピー値のインデックスを獲得するステップ、及び
（ｄｄ−５）２段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項４に記載の目状態検出方法。
【請求項９】
前記ステップ（ｄｄ−２）は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項８に記載の目状態検出方法。
【請求項１０】
前記ステップ（ｄｄ−１）で計算された２Ｄヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項８に記載の目状態検出方法。
【請求項１１】
前記ステップ（ｄｄ−５）は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項８に記載の目状態検出方法。
【請求項１２】
前記ステップ（ｄｄ−３）の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化（equalization）を行うことを特徴とする請求項８に記載の目状態検出方法。
【請求項１３】
前記ステップ（ｄ−４）で、少なくとも６個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項４に記載の目状態検出方法。
【請求項１４】
前記ステップ（ｄ−５）で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項４に記載の目状態検出方法。
【請求項１５】
前記停止した初期映像は、グレー映像であることを特徴とする請求項１に記載の目状態検出方法。
【請求項１６】
請求項１ないし請求項１５のいずれか１項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
【請求項１７】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する装置であって、
前記連続映像を撮影するカメラ部、及び
前記連続映像から第１項ないし第１５項のいずれか１項に記載の目状態検出方法によって目状態検出を行って、目開き、目閉じ及び瞬きとして目の状態を判別する信号処理部、
を含むことを特徴とする目状態検出装置。
【請求項１８】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
（ａ）前記連続映像から停止した初期映像を入力するステップ、
（ｂ）前記停止した初期映像から顔領域及び目領域を検出するステップ、
（ｃ）前記検出された目領域をログガボールフィルタリングするステップ、
（ｄ）前記目領域から自動的な臨界値を設定するステップ、
（ｅ）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
（ｆ）前記境界点に最も適合する楕円を一致させるステップ、
（ｇ）前記楕円を用いて目開き及び目閉じを予備判別するステップ、及び
（ｈ）前記ステップ（ｇ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｇ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。
【請求項１９】
前記ステップ（ｃ）は、コンボリューションを用いてログガボールフィルタリングすることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２０】
前記コンボリューションを用いたログガボールフィルタリングは、
【数６】
（ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージである。）
を用いることを特徴とする請求項１９に記載の目状態検出方法。
【請求項２１】
前記ステップ（ｄ）は、
（ｄ−１）前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である２Ｄヒストグラムを計算するステップ、
（ｄ−２）前記２Ｄヒストグラムを他のピクセル値の確率分布に正規化するステップ、
（ｄ−３）前記正規化された２Ｄヒストグラムから不確実性（uncertainty）の平均値を示す数値であるエントロピーを計算するステップ、
（ｄ−４）２段階の最大エントロピー値のインデックスを獲得するステップ、及び
（ｄ−５）２段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項１８に記載の目状態検出方法。
【請求項２２】
前記ステップ（ｄ−２）は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項２１に記載の目状態検出方法。
【請求項２３】
前記ステップ（ｄ−１）で計算された２Ｄヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項２１に記載の目状態検出方法。
【請求項２４】
前記ステップ（ｄ−５）は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項２１に記載の目状態検出方法。
【請求項２５】
前記ステップ（ｄ−３）の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化（equalization）を行うことを特徴とする請求項２１に記載の目状態検出方法。
【請求項２６】
前記ステップ（ｆ）で、少なくとも６個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２７】
前記ステップ（ｇ）で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項１８に記載の目状態検出方法。
【請求項２８】
前記停止した初期映像は、グレー映像であることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２９】
請求項１８ないし請求項２８のいずれか１項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
【請求項１】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
（ａ）前記連続映像から停止した初期映像を入力するステップ、
（ｂ）前記停止した初期映像から顔領域を検出するステップ、
（ｃ）前記顔領域から目領域を検出するステップ、
（ｄ）前記目領域から自動的な臨界値を設定し、イメージを分割し、分割された区域の境界点を獲得して、前記境界点に最も適合して一致させた楕円を用いて目開き及び目閉じを予備判別するステップ、及び
（ｅ）前記ステップ（ｄ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｄ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。
【請求項２】
前記ステップ（ｂ）は、ｈａａｒ基盤の顔検出法（haar based face detection）またはテンプレートマッチング法を用いて顔領域を検出することを特徴とする請求項１に記載の目状態検出方法。
【請求項３】
前記ステップ（ｃ）は、目幾何学（eye geometry）を用いて目領域を検出することを特徴とする請求項１に記載の目状態検出方法。
【請求項４】
前記ステップ（ｄ）は、
（ｄ−１）前記目領域をフィルタリングするステップ、
（ｄ−２）前記目領域から自動的な臨界値を設定するステップ、
（ｄ−３）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
（ｄ−４）前記境界点に最も適合する楕円を一致させるステップ、及び
（ｄ−５）前記楕円を用いて目開き及び目閉じを予備判別するステップ、
を含むことを特徴とする請求項１に記載の目状態検出方法。
【請求項５】
前記ステップ（ｄ−１）の前に、前記目領域をクロップ（crop）し、リサイズするステップをさらに含むことを特徴とする請求項４に記載の目状態検出方法。
【請求項６】
前記ステップ（ｄ−１）は、コンボリューションを用いてログガボール（Log Gabor）フィルタリングすることを特徴とする請求項４に記載の目状態検出方法。
【請求項７】
前記コンボリューションを用いるログガボールフィルタリングは、
【数５】
（ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージである。）
を用いることを特徴とする請求項６に記載の目状態検出方法。
【請求項８】
前記ステップ（ｄ−２）は、
（ｄｄ−１）前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である２Ｄヒストグラムを計算するステップ、
（ｄｄ−２）前記２Ｄヒストグラムを他のピクセル値の確率分布に正規化するステップ、
（ｄｄ−３）前記正規化された２Ｄヒストグラムから不確実性（uncertainty）の平均値を示す数値であるエントロピーを計算するステップ、
（ｄｄ−４）２段階の最大エントロピー値のインデックスを獲得するステップ、及び
（ｄｄ−５）２段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項４に記載の目状態検出方法。
【請求項９】
前記ステップ（ｄｄ−２）は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項８に記載の目状態検出方法。
【請求項１０】
前記ステップ（ｄｄ−１）で計算された２Ｄヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項８に記載の目状態検出方法。
【請求項１１】
前記ステップ（ｄｄ−５）は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項８に記載の目状態検出方法。
【請求項１２】
前記ステップ（ｄｄ−３）の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化（equalization）を行うことを特徴とする請求項８に記載の目状態検出方法。
【請求項１３】
前記ステップ（ｄ−４）で、少なくとも６個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項４に記載の目状態検出方法。
【請求項１４】
前記ステップ（ｄ−５）で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項４に記載の目状態検出方法。
【請求項１５】
前記停止した初期映像は、グレー映像であることを特徴とする請求項１に記載の目状態検出方法。
【請求項１６】
請求項１ないし請求項１５のいずれか１項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
【請求項１７】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する装置であって、
前記連続映像を撮影するカメラ部、及び
前記連続映像から第１項ないし第１５項のいずれか１項に記載の目状態検出方法によって目状態検出を行って、目開き、目閉じ及び瞬きとして目の状態を判別する信号処理部、
を含むことを特徴とする目状態検出装置。
【請求項１８】
顔を含む連続映像から、目開き、目閉じ及び瞬きとして目の状態を検出する方法であって、
（ａ）前記連続映像から停止した初期映像を入力するステップ、
（ｂ）前記停止した初期映像から顔領域及び目領域を検出するステップ、
（ｃ）前記検出された目領域をログガボールフィルタリングするステップ、
（ｄ）前記目領域から自動的な臨界値を設定するステップ、
（ｅ）前記目領域の二進化されたイメージを分割し、分割された区域の境界点を獲得するステップ、
（ｆ）前記境界点に最も適合する楕円を一致させるステップ、
（ｇ）前記楕円を用いて目開き及び目閉じを予備判別するステップ、及び
（ｈ）前記ステップ（ｇ）で目閉じと予備判別された場合、予め設定された回数だけ前記ステップ（ａ）ないし前記ステップ（ｇ）を繰り返して、計算された目閉じ時間が予め設定された臨界値時間より大きいときは、目閉じと判別し、大きくないときは、瞬きと判別するステップ、
を含むことを特徴とする目状態検出方法。
【請求項１９】
前記ステップ（ｃ）は、コンボリューションを用いてログガボールフィルタリングすることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２０】
前記コンボリューションを用いたログガボールフィルタリングは、
【数６】
（ここで、ｈは、コンボリューションカーネルマトリクス、ｍ及びｎは、コンボリューションカーネルマトリクス次元、Ｉ′（ｘ、ｙ）は、新しいイメージ、及び、Ｉ（ｘ、ｙ）は、入力イメージである。）
を用いることを特徴とする請求項１９に記載の目状態検出方法。
【請求項２１】
前記ステップ（ｄ）は、
（ｄ−１）前記目領域のイメージ内における他のイメージのピクセル周波数の統計的表現である２Ｄヒストグラムを計算するステップ、
（ｄ−２）前記２Ｄヒストグラムを他のピクセル値の確率分布に正規化するステップ、
（ｄ−３）前記正規化された２Ｄヒストグラムから不確実性（uncertainty）の平均値を示す数値であるエントロピーを計算するステップ、
（ｄ−４）２段階の最大エントロピー値のインデックスを獲得するステップ、及び
（ｄ−５）２段階の最大エントロピー値に基づく自動的な臨界値を設定するステップ、
を含むことを特徴とする請求項１８に記載の目状態検出方法。
【請求項２２】
前記ステップ（ｄ−２）は、各一つのヒストグラム要素をイメージ内の全体ピクセル数で分けて正規化することを特徴とする請求項２１に記載の目状態検出方法。
【請求項２３】
前記ステップ（ｄ−１）で計算された２Ｄヒストグラムを保存するために、一次元整数配列を用いることを特徴とする請求項２１に記載の目状態検出方法。
【請求項２４】
前記ステップ（ｄ−５）は、前記検出された最大エントロピー値を中心に、予め設定されたパーセント内に臨界値を獲得することを特徴とする請求項２１に記載の目状態検出方法。
【請求項２５】
前記ステップ（ｄ−３）の次に、すべての小さいヒストグラムコラムを一つにグルーピングするヒストグラム均等化（equalization）を行うことを特徴とする請求項２１に記載の目状態検出方法。
【請求項２６】
前記ステップ（ｆ）で、少なくとも６個の境界点を用いて、最も適合する楕円を一致させることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２７】
前記ステップ（ｇ）で、前記楕円の円形度または面積を用いて、目開き及び目閉じを予備判別することを特徴とする請求項１８に記載の目状態検出方法。
【請求項２８】
前記停止した初期映像は、グレー映像であることを特徴とする請求項１８に記載の目状態検出方法。
【請求項２９】
請求項１８ないし請求項２８のいずれか１項に記載の目状態検出方法を行うために、デジタル処理装置によって実行できる命令語のプログラムが具現されており、前記デジタル処理装置によって読み取り可能なプログラムを記録したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公表番号】特表２０１３−５０４１１４（Ｐ２０１３−５０４１１４Ａ）
【公表日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１２−５２７８２１（Ｐ２０１２−５２７８２１）
【出願日】平成２２年９月１日（２０１０．９．１）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００５９３４
【国際公開番号】ＷＯ２０１１／０２８０２３
【国際公開日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（５１００３９４２６）エルジー イノテック カンパニー リミテッド (279)
【Ｆターム（参考）】
【公表日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２２年９月１日（２０１０．９．１）
【国際出願番号】ＰＣＴ／ＫＲ２０１０／００５９３４
【国際公開番号】ＷＯ２０１１／０２８０２３
【国際公開日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（５１００３９４２６）エルジー イノテック カンパニー リミテッド (279)
【Ｆターム（参考）】
[ Back to top ]