角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法
【課題】正確に角膜反射領域を判定すること。
【解決手段】角膜反射判定装置１００は、画像データから目の領域を抽出し、画像データの目の領域から角膜反射領域の候補を検出する。角膜反射判定装置１００は、複数の角膜反射領域の候補のうち、画像データの各フレームで断続的に抽出される角膜反射領域を判定する。これに対して、角膜反射判定装置１００は、画像データの各フレームで連続して抽出される角膜反射領域の候補を、眼鏡のレンズ等による反射として除外する。
【解決手段】角膜反射判定装置１００は、画像データから目の領域を抽出し、画像データの目の領域から角膜反射領域の候補を検出する。角膜反射判定装置１００は、複数の角膜反射領域の候補のうち、画像データの各フレームで断続的に抽出される角膜反射領域を判定する。これに対して、角膜反射判定装置１００は、画像データの各フレームで連続して抽出される角膜反射領域の候補を、眼鏡のレンズ等による反射として除外する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、角膜反射判定プログラム等に関する。
【背景技術】
【０００２】
人物の画像を解析して、人物の視線を検出する技術がある。視線を検出する技術は、各種機器の操作インターフェースや、人物の状態を判定する場合などに利用される。
【０００３】
ここで、人物の視線を検出する従来技術について説明する。視線を検出する技術には、画像から人物の瞳孔と角膜反射領域を抽出することで、視線を検出する角膜反射法が存在する。図９は、瞳孔および角膜反射領域の一例を示す図である。図９の１ａが瞳孔を示し、１ｂは角膜反射領域を示す。従来技術では、赤外線を照射し、角膜反射領域１ｂをカメラで撮影する。
【０００４】
ところで、人物が眼鏡をかけている場合には、角膜反射領域と類似した形状の眼鏡レンズ反射領域が現れる場合がある。図１１は、角膜反射領域と眼鏡レンズ反射領域との一例を示す図である。図１１に示すように、人物が眼鏡をかけていると、画像に角膜反射領域６ａと眼鏡レンズ反射領域６ｂとが映り込む場合がある。このように、画像に角膜反射領域６ａと眼鏡レンズ反射領域６ｂとが映り込むと、どちらが真の角膜反射領域であるのかを判定することができず、正確に視線を検出することができない。
【０００５】
この問題を解消するべく、従来技術では、瞳孔との位置関係に基づいて、複数の角膜反射領域の候補から、最適な角膜反射を選択するという技術が存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２７４２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来技術では、正確に角膜反射領域を判定することができないという問題があった。
【０００８】
例えば、真の角膜反射領域および瞳孔の位置関係と、眼鏡レンズ反射領域および瞳孔の位置関係との間に必ずしも明確な差が出るわけではない。このため、従来技術のように、瞳孔との位置関係に基づいて、複数の角膜反射領域の候補から、角膜反射領域を選択する手法では、正確に角膜反射領域を判定することができない。
【０００９】
開示の技術は、上記に鑑みてなされたものであって、正確に角膜反射領域を判定することができる角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する角膜反射判定プログラムは、コンピュータに、記憶装置に記憶された画像データを取得し、該画像データから目の領域を抽出する処理を実行させる。また、開示の角膜反射判定プログラムは、コンピュータに、検出した複数の角膜反射領域の候補のうち、断続的に現れる角膜反射領域を判定する処理を実行させる。
【発明の効果】
【００１１】
本願の開示する角膜反射判定プログラムによれば、正確に角膜反射領域を判定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本実施例にかかる角膜反射判定装置の構成を示す機能ブロック図である。
【図２】図２は、追跡部の処理を説明するための図である。
【図３】図３は、追跡履歴データ記憶部のデータ構造の一例を示す図である。
【図４】図４は、開閉データ記憶部のデータ構造の一例を示す図である。
【図５】図５は、判定部の処理を説明するための図である。
【図６】図６は、角膜反射判定装置の処理手順を示すフローチャート（１）である。
【図７】図７は、角膜反射判定装置の処理手順を示すフローチャート（２）である。
【図８】図８は、角膜反射判定プログラムを実行するコンピュータの一例を示す図である。
【図９】図９は、瞳孔および角膜反射領域の一例を示す図である。
【図１０】図１０は、角膜反射法の概略を説明するための図である。
【図１１】図１１は、角膜反射領域と眼鏡レンズ反射領域との一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１４】
まず、角膜反射法の概略について説明する。図１０は、角膜反射法の概略を説明するための図である。図１０において、光源２は、赤外線を照射する。３ａは角膜を示し、３ｂは瞳孔面を示し、３ｃは瞳孔中心を示す。３ｄは角膜曲率中心を示し、３ｅは視線角度を示す。４は、カメラで撮影した画像に対応するものであり、４ａは画面の瞳孔中心の位置を示し、４ｂは画面の角膜反射領域の中心位置を示す。例えば、画像４から瞳孔中心の位置４ｂと角膜反射領域の中心位置４ｂとを抽出し、位置４ａと４ｂとの間の距離と、角膜曲率半径から視線５を検出する。
【００１５】
本実施例にかかる角膜反射判定装置の構成について説明する。図１は、本実施例にかかる角膜反射判定装置の構成を示す機能ブロック図である。図１に示すように、この角膜反射判定装置１００は、カメラ５０に接続する。角膜反射判定装置１００は、画像データ記憶部１１０、目領域抽出部１２０、検出部１３０、追跡部１４０、追跡履歴データ記憶部１５０を有する。また、角膜反射判定装置１００は、目開閉判定部１６０、開閉データ記憶部１７０、動き特定部１８０、判定部１９０を有する。
【００１６】
カメラ５０は、撮影範囲の画像を撮影し、撮影した画像データを画像データ記憶部１１０に順次記憶する撮像装置である。
【００１７】
画像データ記憶部１１０は、カメラ５０によって撮影された画像データを順次記憶する記憶部である。例えば、画像データ記憶部１１０は、フレーム毎に画像データを記憶する。画像データ記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００１８】
目領域抽出部１２０は、画像データから、目の領域を抽出する処理部である。目領域抽出部１２０は、目の領域の情報と、画像データとを対応づけた情報を、検出部１３０および目開閉判定部１６０に出力する。
【００１９】
目領域抽出部１２０が、目の領域を抽出する処理の一例について説明する。目領域抽出部１２０は、画像データから円形状の領域を特定し、該円形状周辺の輝度値が、画像データの他の領域の輝度値と比較して低い場合に、該円形状周辺の領域を目の領域として抽出する。その他、目領域抽出部１２０は、公知の技術を利用して、目の領域を抽出してもよい。例えば、公知技術には＜「部分特徴テンプレートとグローバル制約による顔器官特徴の抽出」電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−情報処理Ｊ７７−Ｄ−２（８）、１６０１−１６０９、１９９４−０８−２５＞がある。
【００２０】
検出部１３０は、画像データ上の目の領域から角膜反射領域の候補を検出する処理部である。以下の説明において、角膜反射領域の候補を、反射領域候補と表記する。検出部１３０は、反射領域候補の情報を、追跡部１４０に出力する。この反射領域候補の情報には、反射領域候補の座標、反射領域候補のサイズが含まれる。
【００２１】
検出部１３０が、反射領域候補を検出する処理の一例について説明する。検出部１３０は、画像データ上の目の領域を走査し、輝度値が所定の値以上、かつ、円形状となる部分領域を、反射領域候補として検出する。例えば、検出部１３０は、輝度値が２５０以上となる円形状の部分領域を、反射領域候補として検出する。そして、検出部１３０は、反射領域候補の重心を求め、求めた重心座標を、反射領域候補の座標とする。
【００２２】
追跡部１４０は、前フレームの反射領域候補と、現フレームの反射領域候補との結びつけを行う処理部である。そして、追跡部１４０は、フレーム毎に、反射ＩＤ（Identification）と、反射領域候補のサイズと、座標とを対応づけて、追記履歴データ記憶部１５０に登録する。追跡部１４０は、結びつけた各反射領域候補には、同一の反射ＩＤを付与する。
【００２３】
追跡部１４０が、各反射領域候補を結びつける処理の一例について説明する。例えば、追跡部１４０は、前後のフレームの反射領域候補の座標を比較し、各座標の差が閾値未満となる反射領域候補を結びつける。
【００２４】
図２は、追跡部の処理を説明するための図である。図２では、フレーム１〜フレーム３において検出された反射領域候補の一例を示している。フレーム１には、反射領域候補１ａ、１ｂが含まれる。反射領域候補１ａの座標（ｘ、ｙ）を（７２、３８）とする。反射領域候補１ｂの座標（ｘ、ｙ）を（８５、５６）とする。
【００２５】
フレーム２には、反射領域候補２ａが含まれる。反射領域候補２ａの座標（ｘ、ｙ）を（８２、５７）とする。フレーム３には、反射領域候補３ａ、３ｂが含まれる。反射領域候補３ａの座標（ｘ、ｙ）を（７２、３８）とする。反射領域候補３ｂの座標（ｘ、ｙ）を（８５、５６）とする。
【００２６】
例えば、ｘ、ｙそれぞれの差の閾値を５とする。この場合には、フレーム１の反射領域候補１ｂとフレーム２の反射領域候補２ａの各座標の差が閾値未満となる。また、フレーム２の反射領域候補２ａとフレーム３の反射領域候補３ｂの各座標の差が閾値未満となる。このため、追跡部１４０は、反射領域候補１ｂ、２ａ、３ｂに同一の反射ＩＤを付与する。追跡部１４０は、その他の反射領域候補に対しては、それぞれ異なる反射ＩＤを付与する。
【００２７】
追跡履歴データ記憶部１５０は、反射領域候補に関する各種の情報を記憶する記憶部である。追跡履歴データ記憶部１５０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００２８】
図３は、追跡履歴データ記憶部のデータ構造の一例を示す図である。図３に示すように、この追跡履歴データ記憶部１５０は、フレーム番号、反射ＩＤ、サイズ、ｘ座標、ｙ座標を対応づけて記憶する。フレーム番号はフレームを識別する番号である。反射ＩＤは、反射領域候補を識別する情報である。同一の反射ＩＤに対応する反射領域候補は、結びつけられた反射候補領域となる。サイズは、反射領域候補のサイズに対応する。
【００２９】
目開閉判定部１６０は、目の開閉状態を判定する処理部である。目開閉判定部１６０は、フレーム番号と目の開閉状態とを対応づけて、開閉データ記憶部１７０に登録する。
【００３０】
目開閉判定部１６０が、目の開閉状態を判定する処理の一例について説明する。目開閉判定部１６０は、目の領域から目の輪郭を検出し、上下の各瞼間の距離に基づいて、目の開閉状態を判定する。例えば、目開閉判定部１６０は、上下の瞼間の距離が所定の閾値未満の場合には、閉状態であると判定する。これに対して、目開閉判定部１６０は、上下の瞼間の距離が所定の閾値以上の場合には、開状態であると判定する。
【００３１】
開閉データ記憶部１７０は、フレーム毎の目の開閉状態を記憶する記憶部である。開閉データ記憶部１７０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００３２】
図４は、開閉データ記憶部のデータ構造の一例を示す図である。図４に示すように、開閉データ記憶部１７０は、フレーム番号と開閉状態とを対応づけて記憶する。図４に示す例では、フレーム１では開状態、フレーム２では閉状態、フレーム３では開状態となっている。
【００３３】
動き特定部１８０は、顔の動きの変化量を特定する処理部である。動き特定部１８０は、顔の動きの変化量と該変化量を抽出した画像データのフレーム番号とを対応づけて判定部１９０に出力する。動き特定部１８０は、前後のフレームの画像において、利用者の顔の特徴点の位置を比較し、変化量を特定する。顔の特徴点は、鼻、目、口等に対応する。なお、動き特定部１８０は、顔の特徴点を検出できない場合には、例えば、変化量を最大値に設定してもよい。
【００３４】
判定部１９０は、複数の反射領域候補から、最適な角膜反射領域を判定する処理部である。判定部１９０は、最適な角膜反射領域の座標を、外部装置に出力する。
【００３５】
判定部１９０が、最適な角膜反射領域を判定する処理の一例について説明する。まず、判定部１９０は、変化量が所定値未満となるフレーム番号を特定し、特定したフレーム番号に対応する情報を、追跡履歴データ記憶部１５０および開閉データ記憶部１７０から取得する。
【００３６】
続いて、判定部１９０は、各フレーム番号において断続的に現れ、かつ、目が開状態の際に現れる反射ＩＤを特定する。判定部１９０は、特定した反射ＩＤに対応する角膜反射領域を、最適な角膜反射領域と判定する。
【００３７】
図５は、判定部の処理を説明するための図である。縦軸の番号は、反射ＩＤに対応し、横軸の番号１〜３は、フレーム１〜フレーム３に対応する。また、フレーム１、３では、目の状態を開状態とし、フレーム２では目の状態を閉状態とする。図５に示す例では、反射ＩＤ１、３が、各フレーム番号において断続的に現れ、かつ、目が開状態の際に現れている。このため、判定部１９０は、反射ＩＤ１、３に対応する角膜反射領域の座標を、外部装置に出力する。
【００３８】
ところで、上記の各処理部１２０〜１４０、１６０、１８０、１９０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１２０〜１４０、１６０、１８０、１９０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【００３９】
次に、本実施例にかかる角膜反射判定装置１００の処理手順について説明する。図６、図７は、角膜反射判定装置の処理手順を示すフローチャートである。図６に示す処理は、例えば、カメラ５０から画像データを取得したことを契機にして実行される。
【００４０】
図６に示すように、角膜反射判定装置１００は、画像データを取得し（ステップＳ１０１）、目領域を抽出する（ステップＳ１０２）。角膜反射判定装置１００は、角膜反射領域の候補を検出し（ステップＳ１０３）、追跡処理を実行し（ステップＳ１０４）、追跡履歴データ記憶部１５０に情報を登録する（ステップＳ１０５）。ステップＳ１０４における追跡処理は、追跡部１４０が実行する処理に対応する。
【００４１】
角膜反射判定装置１００は、目の輪郭を抽出し（ステップＳ１０６）、目の開閉状態を判定し（ステップＳ１０７）、開閉データ記憶部１７０に情報を登録する（ステップＳ１０８）。角膜反射判定装置１００は、処理を継続する場合には（ステップＳ１０９，Ｙｅｓ）、再度ステップＳ１０１に移行する。一方、角膜反射判定装置１００は、処理を継続しない場合には（ステップＳ１０９，Ｎｏ）、処理を終了する。
【００４２】
次に、図７の説明に移行する。角膜反射判定装置１００は、追跡履歴データ記憶部１５０および開閉データ記憶部１７０からデータを取得し（ステップＳ２０１）、各フレームの反射ＩＤを追跡する（ステップＳ２０２）。
【００４３】
角膜反射判定装置１００は、各フレームにおいて反射ＩＤが連続的に現れる場合には（ステップＳ２０３，Ｙｅｓ）、該当する角膜反射領域を除外する（ステップＳ２０４）。角膜反射判定装置１００は、未処理の反射ＩＤが存在する場合には（ステップＳ２０５，Ｙｅｓ）、再度ステップＳ２０２に移行する。一方、角膜反射判定装置１００は、未処理の反射ＩＤが存在しない場合には（ステップＳ２０５，Ｎｏ）、処理を終了する。
【００４４】
ところで、角膜反射判定装置１００は、各フレームにおいて反射ＩＤが連続的に現れない場合には（ステップＳ２０３，Ｎｏ）、目の状態が閉状態の場合に現れるか否かを判定する（ステップＳ２０６）。
【００４５】
角膜反射判定装置１００は、目の状態が閉状態の場合に現れる場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０４に移行する。一方、角膜反射判定装置１００は、目の状態が閉状態の場合に現れない場合には（ステップＳ２０６，Ｎｏ）、該当する角膜反射領域を、最適な角膜反射領域として判定し（ステップＳ２０７）、処理を終了する。
【００４６】
次に、本実施例にかかる角膜反射判定装置１００の効果について説明する。角膜反射判定装置１００は、画像データの目の領域から角膜反射領域の候補を検出し、各角膜反射領域の候補のうち、各フレームで断続的に抽出される角膜反射領域を判定する。このため、例えば、人物が眼鏡をかけている場合や、ガラスウインドウ越しであっても、人物の角膜反射領域を正確に判定することができる。
【００４７】
また、角膜反射判定装置１００は、瞼の開閉状態を判定し、判定結果を更に利用して、角膜反射領域を判定する。瞼が閉状態の場合には、角膜反射領域は検出されないという特性があるため、この特性を利用して、角膜反射領域を特定することで、判定精度を向上することができる。
【００４８】
また、角膜反射判定装置１００は、顔の動きの変化量を特定し、変化量が所定値以上となるフレームの画像を除外して、角膜反射領域を判定する。顔の動きの変化量が大きい場合には、正確に反射ＩＤを追従することが期待できない。このため、変化量が所定値未満となるフレームの画像を除外して、角膜反射領域を判定することで、判定精度を向上することができる。また、追従対象となる画像データのフレーム数を減らすことができるので、処理負荷を軽減することもできる。
【００４９】
なお、判定部１９０は、角膜反射領域を判定した後に、複数の画像データを用いて、撮像対象の視線方向を判定してもよい。
【００５０】
次に、図１に示した角膜反射判定装置１００と同様の機能を実現する角膜反射判定プログラムを実行するコンピュータの一例を説明する。図８は、角膜反射判定プログラムを実行するコンピュータの一例を示す図である。
【００５１】
図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
【００５２】
ハードディスク装置２０７は、目領域抽出プログラム２０７ａ、検出プログラム２０７ｂ、判定プログラム２０７ｃを記憶する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｃを読み出して、ＲＡＭ２０６に展開する。目領域抽出プログラム２０７ａは、目領域抽出プロセス２０６ａとして機能する。検出プログラム２０７ｂは、検出プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。
【００５３】
例えば、目領域抽出プロセス２０６ａは、目領域抽出部１２０に対応する。検出プロセス２０６ｂは、検出部１３０、追跡部１４０に対応する。判定プロセス２０６ｃは、判定部１９０に対応する。
【００５４】
なお、各プログラム２０７ａ〜２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ〜２０７ｃを読み出して実行するようにしてもよい。
【００５５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００５６】
（付記１）コンピュータに、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行させることを特徴とする角膜反射判定プログラム。
【００５７】
（付記２）選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記１に記載の角膜反射判定プログラム。
【００５８】
（付記３）前記少なくとも一部の角膜反射領域の候補を選択する処理は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記１または２に記載の角膜反射判定プログラム。
【００５９】
（付記４）前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記１、２または３に記載の角膜反射判定プログラム。
【００６０】
（付記５）前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記１〜４のいずれか１つに記載の角膜反射判定プログラム。
【００６１】
（付記６）複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出する目領域抽出部と、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出する検出部と、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する判定部と
を有することを特徴とする角膜反射判定装置。
【００６２】
（付記７）前記判定部は、更に、選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記６に記載の角膜反射判定装置。
【００６３】
（付記８）前記判定部は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記６または７に記載の角膜反射判定装置。
【００６４】
（付記９）前記画像データを基にして、瞼の開閉状態を判定する瞼の開閉状態を判定する目開閉判定部を更に有し、前記判定部は、前記目開閉判定部の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記６、７または８に記載の角膜反射判定装置。
【００６５】
（付記１０）前記画像データを基にして、顔の動きを特定する動き特定部を更に有し、前記判定部は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記６〜９のいずれか１つに記載の角膜反射判定装置。
【００６６】
（付記１１）コンピュータが実行する角膜反射判定方法であって、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行することを特徴とする角膜反射判定方法。
【００６７】
（付記１２）選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記１１に記載の角膜反射判定方法。
【００６８】
（付記１３）前記少なくとも一部の角膜反射領域の候補を選択する処理は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記１１または１２に記載の角膜反射判定方法。
【００６９】
（付記１４）前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記１１、１２または１３に記載の角膜反射判定方法。
【００７０】
（付記１５）前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記１１〜１４のいずれか１つに記載の角膜反射判定方法。
【符号の説明】
【００７１】
１００ 角膜反射判定装置
１１０ 画像データ記憶部
１２０ 目領域抽出部
１３０ 検出部
１４０ 追跡部
１５０ 追跡履歴データ記憶部
１６０ 目開閉判定部
１７０ 開閉データ記憶部
１８０ 動き特定部
１９０ 判定部
【技術分野】
【０００１】
本発明は、角膜反射判定プログラム等に関する。
【背景技術】
【０００２】
人物の画像を解析して、人物の視線を検出する技術がある。視線を検出する技術は、各種機器の操作インターフェースや、人物の状態を判定する場合などに利用される。
【０００３】
ここで、人物の視線を検出する従来技術について説明する。視線を検出する技術には、画像から人物の瞳孔と角膜反射領域を抽出することで、視線を検出する角膜反射法が存在する。図９は、瞳孔および角膜反射領域の一例を示す図である。図９の１ａが瞳孔を示し、１ｂは角膜反射領域を示す。従来技術では、赤外線を照射し、角膜反射領域１ｂをカメラで撮影する。
【０００４】
ところで、人物が眼鏡をかけている場合には、角膜反射領域と類似した形状の眼鏡レンズ反射領域が現れる場合がある。図１１は、角膜反射領域と眼鏡レンズ反射領域との一例を示す図である。図１１に示すように、人物が眼鏡をかけていると、画像に角膜反射領域６ａと眼鏡レンズ反射領域６ｂとが映り込む場合がある。このように、画像に角膜反射領域６ａと眼鏡レンズ反射領域６ｂとが映り込むと、どちらが真の角膜反射領域であるのかを判定することができず、正確に視線を検出することができない。
【０００５】
この問題を解消するべく、従来技術では、瞳孔との位置関係に基づいて、複数の角膜反射領域の候補から、最適な角膜反射を選択するという技術が存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２７４２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来技術では、正確に角膜反射領域を判定することができないという問題があった。
【０００８】
例えば、真の角膜反射領域および瞳孔の位置関係と、眼鏡レンズ反射領域および瞳孔の位置関係との間に必ずしも明確な差が出るわけではない。このため、従来技術のように、瞳孔との位置関係に基づいて、複数の角膜反射領域の候補から、角膜反射領域を選択する手法では、正確に角膜反射領域を判定することができない。
【０００９】
開示の技術は、上記に鑑みてなされたものであって、正確に角膜反射領域を判定することができる角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する角膜反射判定プログラムは、コンピュータに、記憶装置に記憶された画像データを取得し、該画像データから目の領域を抽出する処理を実行させる。また、開示の角膜反射判定プログラムは、コンピュータに、検出した複数の角膜反射領域の候補のうち、断続的に現れる角膜反射領域を判定する処理を実行させる。
【発明の効果】
【００１１】
本願の開示する角膜反射判定プログラムによれば、正確に角膜反射領域を判定することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、本実施例にかかる角膜反射判定装置の構成を示す機能ブロック図である。
【図２】図２は、追跡部の処理を説明するための図である。
【図３】図３は、追跡履歴データ記憶部のデータ構造の一例を示す図である。
【図４】図４は、開閉データ記憶部のデータ構造の一例を示す図である。
【図５】図５は、判定部の処理を説明するための図である。
【図６】図６は、角膜反射判定装置の処理手順を示すフローチャート（１）である。
【図７】図７は、角膜反射判定装置の処理手順を示すフローチャート（２）である。
【図８】図８は、角膜反射判定プログラムを実行するコンピュータの一例を示す図である。
【図９】図９は、瞳孔および角膜反射領域の一例を示す図である。
【図１０】図１０は、角膜反射法の概略を説明するための図である。
【図１１】図１１は、角膜反射領域と眼鏡レンズ反射領域との一例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、本願の開示する角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１４】
まず、角膜反射法の概略について説明する。図１０は、角膜反射法の概略を説明するための図である。図１０において、光源２は、赤外線を照射する。３ａは角膜を示し、３ｂは瞳孔面を示し、３ｃは瞳孔中心を示す。３ｄは角膜曲率中心を示し、３ｅは視線角度を示す。４は、カメラで撮影した画像に対応するものであり、４ａは画面の瞳孔中心の位置を示し、４ｂは画面の角膜反射領域の中心位置を示す。例えば、画像４から瞳孔中心の位置４ｂと角膜反射領域の中心位置４ｂとを抽出し、位置４ａと４ｂとの間の距離と、角膜曲率半径から視線５を検出する。
【００１５】
本実施例にかかる角膜反射判定装置の構成について説明する。図１は、本実施例にかかる角膜反射判定装置の構成を示す機能ブロック図である。図１に示すように、この角膜反射判定装置１００は、カメラ５０に接続する。角膜反射判定装置１００は、画像データ記憶部１１０、目領域抽出部１２０、検出部１３０、追跡部１４０、追跡履歴データ記憶部１５０を有する。また、角膜反射判定装置１００は、目開閉判定部１６０、開閉データ記憶部１７０、動き特定部１８０、判定部１９０を有する。
【００１６】
カメラ５０は、撮影範囲の画像を撮影し、撮影した画像データを画像データ記憶部１１０に順次記憶する撮像装置である。
【００１７】
画像データ記憶部１１０は、カメラ５０によって撮影された画像データを順次記憶する記憶部である。例えば、画像データ記憶部１１０は、フレーム毎に画像データを記憶する。画像データ記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００１８】
目領域抽出部１２０は、画像データから、目の領域を抽出する処理部である。目領域抽出部１２０は、目の領域の情報と、画像データとを対応づけた情報を、検出部１３０および目開閉判定部１６０に出力する。
【００１９】
目領域抽出部１２０が、目の領域を抽出する処理の一例について説明する。目領域抽出部１２０は、画像データから円形状の領域を特定し、該円形状周辺の輝度値が、画像データの他の領域の輝度値と比較して低い場合に、該円形状周辺の領域を目の領域として抽出する。その他、目領域抽出部１２０は、公知の技術を利用して、目の領域を抽出してもよい。例えば、公知技術には＜「部分特徴テンプレートとグローバル制約による顔器官特徴の抽出」電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−情報処理Ｊ７７−Ｄ−２（８）、１６０１−１６０９、１９９４−０８−２５＞がある。
【００２０】
検出部１３０は、画像データ上の目の領域から角膜反射領域の候補を検出する処理部である。以下の説明において、角膜反射領域の候補を、反射領域候補と表記する。検出部１３０は、反射領域候補の情報を、追跡部１４０に出力する。この反射領域候補の情報には、反射領域候補の座標、反射領域候補のサイズが含まれる。
【００２１】
検出部１３０が、反射領域候補を検出する処理の一例について説明する。検出部１３０は、画像データ上の目の領域を走査し、輝度値が所定の値以上、かつ、円形状となる部分領域を、反射領域候補として検出する。例えば、検出部１３０は、輝度値が２５０以上となる円形状の部分領域を、反射領域候補として検出する。そして、検出部１３０は、反射領域候補の重心を求め、求めた重心座標を、反射領域候補の座標とする。
【００２２】
追跡部１４０は、前フレームの反射領域候補と、現フレームの反射領域候補との結びつけを行う処理部である。そして、追跡部１４０は、フレーム毎に、反射ＩＤ（Identification）と、反射領域候補のサイズと、座標とを対応づけて、追記履歴データ記憶部１５０に登録する。追跡部１４０は、結びつけた各反射領域候補には、同一の反射ＩＤを付与する。
【００２３】
追跡部１４０が、各反射領域候補を結びつける処理の一例について説明する。例えば、追跡部１４０は、前後のフレームの反射領域候補の座標を比較し、各座標の差が閾値未満となる反射領域候補を結びつける。
【００２４】
図２は、追跡部の処理を説明するための図である。図２では、フレーム１〜フレーム３において検出された反射領域候補の一例を示している。フレーム１には、反射領域候補１ａ、１ｂが含まれる。反射領域候補１ａの座標（ｘ、ｙ）を（７２、３８）とする。反射領域候補１ｂの座標（ｘ、ｙ）を（８５、５６）とする。
【００２５】
フレーム２には、反射領域候補２ａが含まれる。反射領域候補２ａの座標（ｘ、ｙ）を（８２、５７）とする。フレーム３には、反射領域候補３ａ、３ｂが含まれる。反射領域候補３ａの座標（ｘ、ｙ）を（７２、３８）とする。反射領域候補３ｂの座標（ｘ、ｙ）を（８５、５６）とする。
【００２６】
例えば、ｘ、ｙそれぞれの差の閾値を５とする。この場合には、フレーム１の反射領域候補１ｂとフレーム２の反射領域候補２ａの各座標の差が閾値未満となる。また、フレーム２の反射領域候補２ａとフレーム３の反射領域候補３ｂの各座標の差が閾値未満となる。このため、追跡部１４０は、反射領域候補１ｂ、２ａ、３ｂに同一の反射ＩＤを付与する。追跡部１４０は、その他の反射領域候補に対しては、それぞれ異なる反射ＩＤを付与する。
【００２７】
追跡履歴データ記憶部１５０は、反射領域候補に関する各種の情報を記憶する記憶部である。追跡履歴データ記憶部１５０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００２８】
図３は、追跡履歴データ記憶部のデータ構造の一例を示す図である。図３に示すように、この追跡履歴データ記憶部１５０は、フレーム番号、反射ＩＤ、サイズ、ｘ座標、ｙ座標を対応づけて記憶する。フレーム番号はフレームを識別する番号である。反射ＩＤは、反射領域候補を識別する情報である。同一の反射ＩＤに対応する反射領域候補は、結びつけられた反射候補領域となる。サイズは、反射領域候補のサイズに対応する。
【００２９】
目開閉判定部１６０は、目の開閉状態を判定する処理部である。目開閉判定部１６０は、フレーム番号と目の開閉状態とを対応づけて、開閉データ記憶部１７０に登録する。
【００３０】
目開閉判定部１６０が、目の開閉状態を判定する処理の一例について説明する。目開閉判定部１６０は、目の領域から目の輪郭を検出し、上下の各瞼間の距離に基づいて、目の開閉状態を判定する。例えば、目開閉判定部１６０は、上下の瞼間の距離が所定の閾値未満の場合には、閉状態であると判定する。これに対して、目開閉判定部１６０は、上下の瞼間の距離が所定の閾値以上の場合には、開状態であると判定する。
【００３１】
開閉データ記憶部１７０は、フレーム毎の目の開閉状態を記憶する記憶部である。開閉データ記憶部１７０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００３２】
図４は、開閉データ記憶部のデータ構造の一例を示す図である。図４に示すように、開閉データ記憶部１７０は、フレーム番号と開閉状態とを対応づけて記憶する。図４に示す例では、フレーム１では開状態、フレーム２では閉状態、フレーム３では開状態となっている。
【００３３】
動き特定部１８０は、顔の動きの変化量を特定する処理部である。動き特定部１８０は、顔の動きの変化量と該変化量を抽出した画像データのフレーム番号とを対応づけて判定部１９０に出力する。動き特定部１８０は、前後のフレームの画像において、利用者の顔の特徴点の位置を比較し、変化量を特定する。顔の特徴点は、鼻、目、口等に対応する。なお、動き特定部１８０は、顔の特徴点を検出できない場合には、例えば、変化量を最大値に設定してもよい。
【００３４】
判定部１９０は、複数の反射領域候補から、最適な角膜反射領域を判定する処理部である。判定部１９０は、最適な角膜反射領域の座標を、外部装置に出力する。
【００３５】
判定部１９０が、最適な角膜反射領域を判定する処理の一例について説明する。まず、判定部１９０は、変化量が所定値未満となるフレーム番号を特定し、特定したフレーム番号に対応する情報を、追跡履歴データ記憶部１５０および開閉データ記憶部１７０から取得する。
【００３６】
続いて、判定部１９０は、各フレーム番号において断続的に現れ、かつ、目が開状態の際に現れる反射ＩＤを特定する。判定部１９０は、特定した反射ＩＤに対応する角膜反射領域を、最適な角膜反射領域と判定する。
【００３７】
図５は、判定部の処理を説明するための図である。縦軸の番号は、反射ＩＤに対応し、横軸の番号１〜３は、フレーム１〜フレーム３に対応する。また、フレーム１、３では、目の状態を開状態とし、フレーム２では目の状態を閉状態とする。図５に示す例では、反射ＩＤ１、３が、各フレーム番号において断続的に現れ、かつ、目が開状態の際に現れている。このため、判定部１９０は、反射ＩＤ１、３に対応する角膜反射領域の座標を、外部装置に出力する。
【００３８】
ところで、上記の各処理部１２０〜１４０、１６０、１８０、１９０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、各処理部１２０〜１４０、１６０、１８０、１９０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
【００３９】
次に、本実施例にかかる角膜反射判定装置１００の処理手順について説明する。図６、図７は、角膜反射判定装置の処理手順を示すフローチャートである。図６に示す処理は、例えば、カメラ５０から画像データを取得したことを契機にして実行される。
【００４０】
図６に示すように、角膜反射判定装置１００は、画像データを取得し（ステップＳ１０１）、目領域を抽出する（ステップＳ１０２）。角膜反射判定装置１００は、角膜反射領域の候補を検出し（ステップＳ１０３）、追跡処理を実行し（ステップＳ１０４）、追跡履歴データ記憶部１５０に情報を登録する（ステップＳ１０５）。ステップＳ１０４における追跡処理は、追跡部１４０が実行する処理に対応する。
【００４１】
角膜反射判定装置１００は、目の輪郭を抽出し（ステップＳ１０６）、目の開閉状態を判定し（ステップＳ１０７）、開閉データ記憶部１７０に情報を登録する（ステップＳ１０８）。角膜反射判定装置１００は、処理を継続する場合には（ステップＳ１０９，Ｙｅｓ）、再度ステップＳ１０１に移行する。一方、角膜反射判定装置１００は、処理を継続しない場合には（ステップＳ１０９，Ｎｏ）、処理を終了する。
【００４２】
次に、図７の説明に移行する。角膜反射判定装置１００は、追跡履歴データ記憶部１５０および開閉データ記憶部１７０からデータを取得し（ステップＳ２０１）、各フレームの反射ＩＤを追跡する（ステップＳ２０２）。
【００４３】
角膜反射判定装置１００は、各フレームにおいて反射ＩＤが連続的に現れる場合には（ステップＳ２０３，Ｙｅｓ）、該当する角膜反射領域を除外する（ステップＳ２０４）。角膜反射判定装置１００は、未処理の反射ＩＤが存在する場合には（ステップＳ２０５，Ｙｅｓ）、再度ステップＳ２０２に移行する。一方、角膜反射判定装置１００は、未処理の反射ＩＤが存在しない場合には（ステップＳ２０５，Ｎｏ）、処理を終了する。
【００４４】
ところで、角膜反射判定装置１００は、各フレームにおいて反射ＩＤが連続的に現れない場合には（ステップＳ２０３，Ｎｏ）、目の状態が閉状態の場合に現れるか否かを判定する（ステップＳ２０６）。
【００４５】
角膜反射判定装置１００は、目の状態が閉状態の場合に現れる場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０４に移行する。一方、角膜反射判定装置１００は、目の状態が閉状態の場合に現れない場合には（ステップＳ２０６，Ｎｏ）、該当する角膜反射領域を、最適な角膜反射領域として判定し（ステップＳ２０７）、処理を終了する。
【００４６】
次に、本実施例にかかる角膜反射判定装置１００の効果について説明する。角膜反射判定装置１００は、画像データの目の領域から角膜反射領域の候補を検出し、各角膜反射領域の候補のうち、各フレームで断続的に抽出される角膜反射領域を判定する。このため、例えば、人物が眼鏡をかけている場合や、ガラスウインドウ越しであっても、人物の角膜反射領域を正確に判定することができる。
【００４７】
また、角膜反射判定装置１００は、瞼の開閉状態を判定し、判定結果を更に利用して、角膜反射領域を判定する。瞼が閉状態の場合には、角膜反射領域は検出されないという特性があるため、この特性を利用して、角膜反射領域を特定することで、判定精度を向上することができる。
【００４８】
また、角膜反射判定装置１００は、顔の動きの変化量を特定し、変化量が所定値以上となるフレームの画像を除外して、角膜反射領域を判定する。顔の動きの変化量が大きい場合には、正確に反射ＩＤを追従することが期待できない。このため、変化量が所定値未満となるフレームの画像を除外して、角膜反射領域を判定することで、判定精度を向上することができる。また、追従対象となる画像データのフレーム数を減らすことができるので、処理負荷を軽減することもできる。
【００４９】
なお、判定部１９０は、角膜反射領域を判定した後に、複数の画像データを用いて、撮像対象の視線方向を判定してもよい。
【００５０】
次に、図１に示した角膜反射判定装置１００と同様の機能を実現する角膜反射判定プログラムを実行するコンピュータの一例を説明する。図８は、角膜反射判定プログラムを実行するコンピュータの一例を示す図である。
【００５１】
図８に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
【００５２】
ハードディスク装置２０７は、目領域抽出プログラム２０７ａ、検出プログラム２０７ｂ、判定プログラム２０７ｃを記憶する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｃを読み出して、ＲＡＭ２０６に展開する。目領域抽出プログラム２０７ａは、目領域抽出プロセス２０６ａとして機能する。検出プログラム２０７ｂは、検出プロセス２０６ｂとして機能する。判定プログラム２０７ｃは、判定プロセス２０６ｃとして機能する。
【００５３】
例えば、目領域抽出プロセス２０６ａは、目領域抽出部１２０に対応する。検出プロセス２０６ｂは、検出部１３０、追跡部１４０に対応する。判定プロセス２０６ｃは、判定部１９０に対応する。
【００５４】
なお、各プログラム２０７ａ〜２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ〜２０７ｃを読み出して実行するようにしてもよい。
【００５５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００５６】
（付記１）コンピュータに、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行させることを特徴とする角膜反射判定プログラム。
【００５７】
（付記２）選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記１に記載の角膜反射判定プログラム。
【００５８】
（付記３）前記少なくとも一部の角膜反射領域の候補を選択する処理は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記１または２に記載の角膜反射判定プログラム。
【００５９】
（付記４）前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記１、２または３に記載の角膜反射判定プログラム。
【００６０】
（付記５）前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記１〜４のいずれか１つに記載の角膜反射判定プログラム。
【００６１】
（付記６）複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出する目領域抽出部と、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出する検出部と、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する判定部と
を有することを特徴とする角膜反射判定装置。
【００６２】
（付記７）前記判定部は、更に、選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記６に記載の角膜反射判定装置。
【００６３】
（付記８）前記判定部は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記６または７に記載の角膜反射判定装置。
【００６４】
（付記９）前記画像データを基にして、瞼の開閉状態を判定する瞼の開閉状態を判定する目開閉判定部を更に有し、前記判定部は、前記目開閉判定部の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記６、７または８に記載の角膜反射判定装置。
【００６５】
（付記１０）前記画像データを基にして、顔の動きを特定する動き特定部を更に有し、前記判定部は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記６〜９のいずれか１つに記載の角膜反射判定装置。
【００６６】
（付記１１）コンピュータが実行する角膜反射判定方法であって、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行することを特徴とする角膜反射判定方法。
【００６７】
（付記１２）選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする付記１１に記載の角膜反射判定方法。
【００６８】
（付記１３）前記少なくとも一部の角膜反射領域の候補を選択する処理は、複数の連続する画像データ間で、連続して対応付け可能な角膜反射領域の候補以外の角膜反射領域の候補を選択することを特徴とする付記１１または１２に記載の角膜反射判定方法。
【００６９】
（付記１４）前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする付記１１、１２または１３に記載の角膜反射判定方法。
【００７０】
（付記１５）前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする付記１１〜１４のいずれか１つに記載の角膜反射判定方法。
【符号の説明】
【００７１】
１００ 角膜反射判定装置
１１０ 画像データ記憶部
１２０ 目領域抽出部
１３０ 検出部
１４０ 追跡部
１５０ 追跡履歴データ記憶部
１６０ 目開閉判定部
１７０ 開閉データ記憶部
１８０ 動き特定部
１９０ 判定部
【特許請求の範囲】
【請求項１】
コンピュータに、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行させることを特徴とする角膜反射判定プログラム。
【請求項２】
選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする請求項１に記載の角膜反射判定プログラム。
【請求項３】
前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする請求項１または２に記載の角膜反射判定プログラム。
【請求項４】
前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする請求項１、２または３に記載の角膜反射判定プログラム。
【請求項５】
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出する目領域抽出部と、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出する検出部と、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する判定部と
を有することを特徴とする角膜反射判定装置。
【請求項６】
コンピュータが実行する角膜反射判定方法であって、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行することを特徴とする角膜反射判定方法。
【請求項１】
コンピュータに、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行させることを特徴とする角膜反射判定プログラム。
【請求項２】
選択された前記少なくとも一部の角膜反射領域および前記複数の画像データを用いて、撮像対象の視線方向を判定することを特徴とする請求項１に記載の角膜反射判定プログラム。
【請求項３】
前記画像データを基にして、瞼の開閉状態を判定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、瞼の開閉状態の判定結果を基にして、前記複数の画像データからそれぞれ検出された角膜反射領域のうち、前記瞼が開状態の場合に現れる角膜反射領域を特定することを特徴とする請求項１または２に記載の角膜反射判定プログラム。
【請求項４】
前記画像データを基にして、顔の動きを特定する処理を更にコンピュータに実行させ、前記角膜反射領域を判定する処理は、顔の動きの変化量が所定値未満の間に検出された角膜反射領域の候補を選択することを特徴とする請求項１、２または３に記載の角膜反射判定プログラム。
【請求項５】
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出する目領域抽出部と、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出する検出部と、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する判定部と
を有することを特徴とする角膜反射判定装置。
【請求項６】
コンピュータが実行する角膜反射判定方法であって、
複数の画像データを取得し、該複数の画像データ各々から目の領域を抽出し、
各々抽出した前記目の領域から少なくとも１つの角膜反射領域の候補をそれぞれ検出し、
前記複数の画像データからそれぞれ検出した角膜反射領域の候補が検出された位置情報に基づいて、該複数の画像データ各々に於ける角膜反射領域を対応付け、
対応付けた結果に基づいて、前記複数の画像データそれぞれに含まれる角膜反射領域の候補のうち、少なくとも一部の角膜反射領域の候補を選択する
各処理を実行することを特徴とする角膜反射判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３９５５０（Ｐ２０１２−２３９５５０Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１０４７５（Ｐ２０１１−１１０４７５）
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１７日（２０１１．５．１７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]