眼球検出システムおよび眼球検出方法
【課題】ロバスト性が高く正確に対象者の眼球を検出可能な眼球検出システムを提供する。
【解決手段】本発明に係る眼球検出システム１００は、ターゲット画像上での中心座標および拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部１２０と、テンプレート画像１８０上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出する適応度演算部１２２と、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域１９８を基準として前額領域１９０、眉毛領域１９２、上眼瞼領域１９４または頬領域１９６を仮定する領域仮定部１２４と、これらの領域に基づいて適応度を修正した修正適応度を算出する修正適応度演算部１２６と、修正適応度に基づき遺伝的操作を実行する遺伝的操作実行部１３０と、を備えることを特徴とする。
【解決手段】本発明に係る眼球検出システム１００は、ターゲット画像上での中心座標および拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部１２０と、テンプレート画像１８０上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出する適応度演算部１２２と、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域１９８を基準として前額領域１９０、眉毛領域１９２、上眼瞼領域１９４または頬領域１９６を仮定する領域仮定部１２４と、これらの領域に基づいて適応度を修正した修正適応度を算出する修正適応度演算部１２６と、修正適応度に基づき遺伝的操作を実行する遺伝的操作実行部１３０と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出システムおよび眼球検出方法に関する。
【背景技術】
【０００２】
現在、交通事故を未然に防ぐことを目的とした、多くの予防安全技術の研究開発が進められている。交通事故の多くは、居眠りや脇見といったヒューマンエラーが主な原因であり、このような運転者の異常状態を事前に察知することは事故を防止するうえで非常に有効である。運転者の異常状態を事前に察知する要素として、運転者の眼球運動のモニタリングが有力視されている。実用的な運転者の眼球運動のモニタリングを実現するためには、不特定多数の運転者に対して安定した精度を有するモニタリングシステムが求められる。また、かかるシステムは、環境の変化、眼鏡の影響、視線移動にロバストでなければならない。
【０００３】
運転中、運転者の頭部は固定されていず、バックミラーやサイドミラーの確認、周囲の安全確認等のため、絶えず頭部の姿勢が変化するので、背景差分法等を利用して眼球運動のモニタリングを実施することはできない。そこで、特許文献１には、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９０７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は、ターゲット画像上にて対象者の眼球のみにしか着目していない。そのため、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）が著しく検出精度に直結する。また、特許文献１の技術は、通常の蛍光灯の明るさがある環境下、即ち明るい室内での使用を前提としている。そのため、トンネル内や夜間等の暗い環境、またはトンネルの出入り時等の輝度変化の激しい環境では、正確に対象者の眼球を検出できないおそれがある。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、ロバスト性が高く正確に対象者の眼球を検出可能な眼球検出システムおよび眼球検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の代表的な構成は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることでターゲット画像から対象者の眼球を検出する眼球検出システムにおいて、テンプレートマッチング時のテンプレート画像のターゲット画像上の中心座標、およびテンプレートマッチング時のテンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部と、テンプレート画像上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出する適応度演算部と、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定する領域仮定部と、仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて適応度を修正した修正適応度を算出する修正適応度演算部と、修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行する遺伝的操作実行部と、当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行う解出力部と、を備えることを特徴とする。
【０００８】
かかる構成によれば、ターゲット画像上での前額領域、眉毛領域、上眼瞼領域、または頬領域に基づいて適応度を修正し、この修正適応度に基づき遺伝的操作を実行する。そのため、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）などの影響を受けづらくすることができる。したがって、ロバスト性が高く正確に対象者の眼球を検出可能となる。
【０００９】
領域仮定部は、前額領域、眉毛領域、上眼瞼領域または頬領域の大きさを、眼球領域の大きさに基づいて仮定するとよい。
【００１０】
かかる構成によれば、前額領域、眉毛領域、上眼瞼領域、または頬領域を簡便に仮定し、好適に修正適応度を算出することができる。
【００１１】
領域仮定部は、ターゲット画像上にて前額領域と眉毛領域との間、眼球領域と頬領域との間に隙間が存在するように、前額領域、眉毛領域、上眼瞼領域および頬領域を仮定し、修正適応度演算部は、前額領域、眉毛領域、上眼瞼領域および頬領域を考慮して修正適応度を算出するとよい。
【００１２】
かかる構成によれば、より正確に対象者の眼球を検出可能となる。
【００１３】
ターゲット画像から対象者の顔部分を検出し、顔部分からテンプレートマッチングが実行される検出対象領域を切り出す検出対象切出部をさらに備えるとよい。
【００１４】
かかる構成によれば、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能である。また、テンプレートマッチングを行う範囲が限られるので精度向上の効果も奏する。
【００１５】
対象者の顔全体に赤外光を照射する赤外線投光器と、赤外光の反射光を撮像してターゲット画像を取得する赤外線カメラとをさらに備えるとよい。
【００１６】
かかる構成によれば、トンネル内や夜間等の暗い環境であっても、好適に対象者の眼球を検出可能である。
【００１７】
赤外線カメラは、赤外光の反射光を動画像として撮影することによって、あるいは連続的に撮像することによって、ターゲット画像を連続的に取得し、当該眼球検出システムは、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度を、次のターゲット画像における処理に継承するとよい。
【００１８】
一般的に遺伝的アルゴリズムを動画に適用した場合に計算量が膨大になり、迅速な解を出力できないという課題があるが、かかる構成によれば、この課題を克服することによって、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能である。また、精度向上の効果も奏する。
【００１９】
連続的に取得されるターゲット画像のそれぞれの検出結果に基づき、対象者の視線方向、または顔の向きを推定する推定部をさらに備えるとよい。
【００２０】
かかる構成によれば、対象者の視線方向、または顔の向きを推定可能であり、自動車に搭載することで安全性の向上に寄与するドライバーモニタリングシステムとして利用することができる。
【００２１】
推定部は、解出力部が出力する最適解の修正適応度の変化が所定以上である場合、瞬きまたは誤検出と推定するとよい。
【００２２】
かかる構成によれば、対象者の状態をより正確に推定することができる。
【００２３】
上記課題を解決するために本発明の他の代表的な構成は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることでターゲット画像から対象者の眼球を検出する眼球検出方法において、テンプレートマッチング時のテンプレート画像のターゲット画像上の中心座標、およびテンプレートマッチング時のテンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成するステップと、テンプレート画像上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出するステップと、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定するステップと、仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて適応度を修正した修正適応度を算出するステップと、修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行するステップと、当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行うステップと、を含むことを特徴とする。
【００２４】
上述した眼球検出システムにおける技術的思想に対応する構成要素やその説明は、当該眼球検出方法にも適用される。
【発明の効果】
【００２５】
本発明によれば、ロバスト性が高く正確に対象者の眼球を検出可能な眼球検出システムおよび眼球検出方法を提供可能である。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る眼球検出システムの概略構成を示すブロック図である。
【図２】図１のシステムが行う眼球検出方法の概略構成を示すフローチャートである。
【図３】図２の遺伝的アルゴリズム処理の詳細を示すフローチャートである。
【図４】図１の検出対象切出部による検出対象領域の切出について説明する図である。
【図５】図２の眼球検出方法で用いる、眼球をモデル化したテンプレート画像を例示する図である。
【図６】図２の遺伝的アルゴリズム処理で用いる、個体の染色体の構成を例示する図である。
【図７】前額領域、眉毛領域、上眼瞼領域、および頬領域の仮定について説明する図である。
【図８】実験に使用するデータセット（画像フレーム）を示す図である。
【図９】図８のデータセットに対する実施例６の検出結果を示す図である。
【図１０】実施例１と実施例６の検出結果を比較する図である。
【図１１】トンネルの通過前から通過後までの画像フレームとその検出結果を示す図である。
【図１２】眼鏡の影響について説明する図である。
【図１３】眼球の見え方の変化の影響について説明する図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２８】
[眼球検出システム、眼球検出方法]
図１は、本実施形態に係る眼球検出システム１００の概略構成を示すブロック図である。図１に示すように、眼球検出システム１００は、システム制御部１０２および記憶部１０４を含んで構成されるコンピュータシステムである。システム制御部１０２は、中央処理装置（いわゆるＣＰＵ）を含んで構成され、記憶部１０４は、ＲＡＭやＲＯＭ、フラッシュメモリ、ハードディスクドライブ等の記憶手段を含んで構成される。
【００２９】
眼球検出システム１００では、対象者の顔全体に近赤外線投光器１５０から近赤外光が照射され、近赤外線カメラ１５２が近赤外光の反射光を動画像として撮影する。近赤外線投光器１５０および近赤外線カメラ１５２を利用することで、トンネル内や夜間等の暗い環境でも対象者の顔をしっかりと撮影することができる。撮影された動画像は、入力部１１０を通じて検出対象切出部１１２に入力される。
【００３０】
図２は、図１のシステムが行う眼球検出方法の概略構成を示すフローチャートである。図３は、図２の遺伝的アルゴリズム処理の詳細を示すフローチャートである。以下、図２、図３のフローチャートを参照しながら、眼球検出システム１００の検出対象切出部１１２、初期個体集団生成部１２０、適応度演算部１２２、領域仮定部１２４、修正適応度演算部１２６、遺伝的操作実行部１３０、解出力部１４０、推定部１４２について説明する。
【００３１】
まず、システム制御部１０２は「input_frame=0」とし（ステップＳ３００）、近赤外線投光器１５０および近赤外線カメラ１５２によって撮影された動画像を、入力部１１０を通じて検出対象切出部１１２に入力する。検出対象切出部１１２は、かかる動画像から画像フレーム（静止画像）を取得する（ステップＳ３０２）。
【００３２】
図４は、図１の検出対象切出部１１２による検出対象領域（以下「ＲＯＩ１１６」と称する）の切出について説明する図である。図４（ａ）に例示するように、近赤外線カメラ１５２から出力される画像はグレースケール画像である。図４（ｂ）に例示するように、検出対象切出部１１２は、この画像フレームの中から顔領域１１４を検出する（ステップＳ３０４）。なお、顔領域１１４の検出には、汎用のソフト（例えば、画像処理ライブラリOpenCVに実装されている顔検出アルゴリズム）を利用することができる。ここでは、顔領域１１４の検出結果が、正方形で切り出され検出対象切出部１１２から出力される。
【００３３】
検出対象切出部１１２は、顔の検出数が０の場合（ステップＳ３０６Ｙｅｓ）にはエラーと判定し、最初のステップＳ３００に戻る（「input_frame=0」とし、次の画像フレームの入力が行われる）。顔の検出数が０でない場合（ステップＳ３０６Ｎｏ）、図４（ｃ）に例示するようにＲＯＩ１１６の切出を実行する（ステップＳ３０８）。
【００３４】
ＲＯＩ１１６の切出条件は、実験によって最適なサイズを選択することができる。例えば図４（ｃ）では、ＲＯＩ１１６は対象者の顔領域１１４の左上部分であって、その幅ａ２は正方形で検出された顔領域１１４の幅ａ１の１／２、その高さｂ２は正方形で検出された顔領域１１４の高さｂ１の１／２または３／５に設定される。
【００３５】
図４（ｄ）にＲＯＩ１１６の切出後の画像を例示する。本実施形態ではこの切出後の画像に対し、眼球をモデル化したテンプレート画像と遺伝的アルゴリズムを用いてテンプレートマッチングするので、この画像を「ターゲット画像」と称する。
【００３６】
再び、図２のフローチャートを参照する。システム制御部１０２は、ターゲット画像が平坦かどうかを判定する（ステップＳ３１０）。ターゲット画像が平坦な場合（ステップＳ３１０Ｙｅｓ）エラーと判定し、最初のステップＳ３００に戻る。ターゲット画像が平坦でない場合（ステップＳ３１０Ｎｏ）、「int_pop=0」とし（ステップＳ３１２）、ステップＳ３１４へと移行する。最初の入力では「input_frame=0」なので（ステップＳ３１４Ｙｅｓ）、初期個体集団の生成（ステップＳ３１６）へと移行する。
【００３７】
図５は、図２の眼球検出方法で用いる、眼球をモデル化したテンプレート画像を例示する図である。図５に例示するように、本実施形態では不特定多数のものに対応可能にするため、探索対象を表すテンプレート画像として汎用的即ち人工的にあらかじめ準備されたものを使用する。テンプレート画像１８０は、上瞼領域１８２、下瞼領域１８４、強膜領域１８６、虹彩領域１８８を含むグレースケール画像である。テンプレート画像のサイズは１６×１６ピクセルであり、上瞼領域１８２および下瞼領域１８４の画素値は２５５、強膜領域１８６の画素値は１２８、虹彩領域１８８の画素値は０である。なお、テンプレート画像１８０は予め記憶部１０４に記憶される。ここで、画素値は輝度値であるが、ただし、画素値として輝度値以外の特徴量（例えば、ＹＣｒＣｂ表色系のＣｒ成分やＣｂ成分）の利用も可能である。
【００３８】
図６は、図２の遺伝的アルゴリズム処理で用いる、個体の染色体の構成を例示する図である。図６に例示するように、本実施形態では候補領域としての個体の染色体が、テンプレートマッチング時のテンプレート画像１８０のターゲット画像上の中心座標（ｔｘ,ｔｙ）、テンプレートマッチング時のテンプレート画像の拡大倍率ｍ、テンプレートマッチング時のテンプレート画像の回転角度angleを含む。各パラメータは８bitバイナリデータであり、コーディング方法としてグレイコーディングを使用する。なお、本実施形態では、２．０≦ｍ≦４.０とし、−３０．０°≦angle≦３０．０°とする。
【００３９】
ここで染色体とは、最終的に求める解であり、探索対象のターゲット画像上で眼球領域１９８として特定する矩形領域（図４（ｅ）参照）の位置、サイズ、回転角度を表すパラメータであり、ビット列で表される。グレイコーディングとは、パラメータを２進数表記にコーディングする際、隣り合うビット値のハミング距離が１になるコーディング方法をいう。グレイコーディングを使用することで効率的な解の探索が可能となる。
【００４０】
以下、各個体の染色体を用いたターゲット画像上でのテンプレート画像の幾何変換について説明する。この幾何変換には同次座標を使用する。
【００４１】
テンプレート画像上の点をＰとし、テンプレートとターゲット画像をマッチングさせた時の点Ｐに対応するターゲット画像上の点をＰ＊とする。ここで、同次座標を導入すると点Ｐ、点Ｐ＊は下記式（１）、（２）のように表される。なお、「ｘ,ｙ,ｚ」、「ｘ*,ｙ* ,ｚ*」はそれぞれ三次元座標を示す。
【００４２】
【数１】
【００４３】
線形変換において、ｚ＝ｚ＊であり、またｚ≠０と仮定できる。したがって、式（１）、（２）はそれぞれ下記式（３）、（４）のように考えられる。
【００４４】
【数２】
【００４５】
染色体から得られるパラメータを用いて、変換を同次座標で表すと下記式（５）のようになる。
【００４６】
【数３】
【００４７】
再び、図２のフローチャートを参照する。ステップＳ３１６では、初期個体集団生成部１２０が、中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angleを含む染色体を持つ個体の集団（初期個体集団）を生成する。そして、「int_pop=int_pop+1」とし（ステップＳ３１８）、次のステップＳ３２０へと移行する。なお、本実施形態では、個体数は１０個とする。
【００４８】
ステップＳ３２０では、システム制御部１０２が個体集団の全個体の有効性を判定し、有効な個体が１個以下の場合には（ステップＳ３２０Ｙｅｓ）、ステップＳ３２２へと移行する。ステップＳ３２２ではシステム制御部１０２が「init_pop＜50」を満たすかどうか判定し、これを満たす場合（ステップＳ３２２Ｙｅｓ）には初期個体集団生成部１２０が再び個体集団の再初期化（初期個体集団の生成）を行う。即ち、有効な個体が１個以下の場合には再初期化回数が５０回に達しない限り再初期化が行われ、再初期化回数が５０回に達した場合には（ステップＳ３２２Ｎｏ）最初のステップＳ３００に戻る。
【００４９】
ステップＳ３２０では、以下のいずれかに該当する場合にはその個体を有効でないものと判定する。
１．テンプレート画像と照合する領域の一部分でもターゲット画像の外部に存在する。
２．テンプレート画像と照合する領域が平坦。
３．前額領域１９０および眉毛領域１９２の５０％以上がターゲット画像の外部に存在する。
４．頬領域１９６の８０％以上がターゲット画像の外部に存在する。
５．頬領域１９６が平坦でない。
【００５０】
なお、平坦であるかどうかは、その領域内の最大画素値と最小画素値の差（例えば最大輝度値と最小輝度値の差）が５０未満である場合に平坦と判定する。前額領域１９０、眉毛領域１９２、頬領域１９６は領域仮定部１２４によって仮定されるが、詳細については後程説明する。
【００５１】
ステップＳ３２０では、有効な個体が１個以下でない場合には（ステップＳ３２０Ｎｏ）、遺伝的アルゴリズム処理に移行する（ステップＳ３２４）。図３に示すように、遺伝的アルゴリズム処理は、個体それぞれの適応度Ｆ１を算出する過程である適応度算出（ステップＳ３４０）、眼球領域１９８の周囲の領域の画素値に基づいて適応度Ｆ１を修正する過程である修正適応度算出（ステップＳ３４２）、遺伝的アルゴリズムを終了するか判定する過程である終了判定（ステップＳ３４４）、選択（ステップＳ３４６）、交叉（ステップＳ３４８）、突然変異（ステップＳ３５０）からなる。
【００５２】
ここで選択とは、適応度（本実施形態では修正適応度Ｆ２）が高い個体を選択する方式であり、具体的にはルーレット選択を用いる。交叉とは、個体の染色体を構成する各遺伝情報、つまりパラメータ（中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angle）を入れ換える操作であり、具体的には選択された２つの親個体の遺伝情報を相互に入れ替える操作である。突然変異とは、染色体を構成する遺伝情報の一部、つまりパラメータ（中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angle）の一部を変える操作であり、具体的には別の数値に変える操作である。突然変異によってパラメータを特定する数値はランダムに選定される。
【００５３】
ステップＳ３４０では、適応度演算部１２２が、染色体から得られるパラメータを式（５）に代入することで点Ｐを変換して点Ｐ＊を求め、下記式（６）に基づいて個体それぞれの適応度Ｆ１を求める。ここで、式（６）中、ａ３とｂ３はテンプレート画像の幅と高さ、ｐijはテンプレート画像中の座標（ｘ,ｙ）における画素値、ｐij ＊はｐijと比較するターゲット画像上の画素値を表す。適応度Ｆ１はテンプレート画像と候補領域内の画素値の差の累積和であるため、Ｆ１≦２５５×ａ３×ｂ３となる。
【００５４】
【数４】
【００５５】
ステップＳ３４２では、領域仮定部１２４が仮定したターゲット画像上での前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６に基づき、修正適応度演算部１２６が上記適応度Ｆ１を修正し、新たに修正適応度Ｆ２を算出する。具体的には、修正適応度Ｆ２は、下記式（７）、（８）、（９）に基づき求められる。以下、下記各式の変数について説明する。
【００５６】
【数５】
【００５７】
図７は、前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の仮定について説明する図である。図７（ａ）は前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の仮定前のターゲット画像を例示したものであり、図７（ｂ）、（ｃ）は図７（ａ）のターゲット画像に関して前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６を仮定したものである。なお、図７（ｂ）と図７（ｃ）では、前額領域１９０の仮定手法にのみ差異がある。
【００５８】
図７（ｂ）、（ｃ）に例示するように、領域仮定部１２４は、中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angleによって指定されるターゲット画像上での対象者の眼球領域１９８を基準として、前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６を仮定する。以下、ターゲット画像上での対象者の眼球領域１９８の高さをｈとして説明する。
【００５９】
前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６は、全てターゲット画像上での対象者の眼球領域１９８と同じ幅を有する領域である。また、眉毛領域１９２および頬領域１９６は眼球領域１９８と同じ高さｈを有する領域であり、上眼瞼領域１９４は高さｈ／２を有する領域である。図７（ｂ）では前額領域１９０は眼球領域１９８と同じ高さｈを有する領域であり、図７（ｃ）では前額領域１９０は高さｈ／２を有する領域である。
【００６０】
頬領域１９６は、ｈ／２の隙間を介して眼球領域１９８の下方に設定される。上眼瞼領域１９４は、眼球領域１９８の直上に設定される。眉毛領域１９２は、上眼瞼領域１９４の直上に設定される。図７（ｂ）では前額領域１９０は眉毛領域１９２の直上に設定され、図７（ｃ）ではｈ／２の隙間を介して眉毛領域１９２の上方に設定される。
【００６１】
なお、図７（ｂ）、（ｃ）では、個体の染色体によって指定されるターゲット画像上での対象者の眼球領域１９８が、実際のターゲット画像上の対象者の眼球と一致する場合について例示しているが、実際には染色体が適した解を持たなければこのようにならない。すなわち、適した遺伝子を持たない染色体では眼球領域１９８が対象者の眼球と一致する位置にはならず、この眼球領域１９８の位置、大きさに基づき定められる前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６についても対象者の各部位と一致する位置にはならない。
【００６２】
式（７）を参照する。式（７）のｔAは、上述した手法により仮定された前額領域１９０の総画素数である。同様に、式（７）のｔB、ｔC、ｔDは、それぞれ、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６の総画素数である。
【００６３】
また、式（７）のｎAは、前額領域１９０の画素値（例えば輝度値）をｐA、所定の画素値としてのターゲット画像全体の平均画素値（例えば平均輝度値）をｒとした場合に、ｐA＞ｒを満たす画素数である。ここで、ｐA＞ｒはその領域が前額領域でないことを意味する。式（７）のｎBは、眉毛領域１９２の画素値をｐBとした場合に、ｐB＜ｒを満たす（眉毛領域１９２でないことを意味する）画素数である。式（７）のｎCは、上眼瞼領域１９４の画素値をｐCとした場合に、ｐC＞ｒを満たす（上眼瞼領域１９４でないことを意味する）画素数である。式（７）のｎDは、頬領域１９６の画素値をｐDとした場合に、ｐD＞ｒを満たす（頬領域１９６でないことを意味する）画素数である。
【００６４】
なお、式７のｎAは、所定の画素値として眉毛領域１９２の平均画素値ｒAを採用し、ｐA＞ｒAを満たす画素数としてもよい。近赤外線の照射量によっては、前額領域１９０の画素値がターゲット画像の平均画素値ｒよりも低くなることがあるためである。
【００６５】
式（７）のｗAは、前額領域１９０の重みを表す係数であり、経験的に決定される。同様に、式（７）のｗB、ｗC、ｗDは、それぞれ、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６の重みを表す係数である。なお、ｗmawは式（８）で表されるが、Ｃ言語による実装の際では若干大きな値を使用してよい（下記表１参照）。
【００６６】
修正適応度Ｆ２を算出したら、解出力部１４０が終了判定（ステップＳ３４４）を行う。本実施形態では、ステップＳ３４０からステップＳ３５０の処理を繰り返した数である世代交代数が１００に達したら終了とし（ステップＳ３４４Ｙｅｓ）、それ未満なら終了しない（ステップＳ３４４Ｎｏ）。終了しない場合には（ステップＳ３４４Ｎｏ）、遺伝的操作実行部１３０が、修正適応度Ｆ２に基づき選択（ステップＳ３４６）、交叉（ステップＳ３４８）、および突然変異（ステップＳ３５０）を含む遺伝的操作を実行する。遺伝的操作実行部１３０は、ステップＳ３４６、Ｓ３４８、Ｓ３５０をそれぞれ実行する選択実行部１３２、交叉実行部１３４および突然変異生成部１３６を含む。
【００６７】
ステップＳ３４６では、選択実行部１３２が、修正適応度に基づき個体の集団の中から生き残る個体を選択する。ステップＳ３４８では、交叉実行部１３４が、個体の遺伝子情報の一部を入れ替え、新しい個体を生成する。本実施形態では、一様交叉を用い交叉率を０．７０とする。ステップＳ３５０では、突然変異生成部１３６が、個体の遺伝子情報の一部を変化させる。本実施形態では、突然変異率を０．０５とする。
【００６８】
ステップＳ３４０からステップＳ３５０を繰り返し、世代交代数が１００に達したら（ステップＳ３４４Ｙｅｓ）、ステップＳ３２６へと移行する。本実施形態に係る遺伝的アルゴリズムは、世代交代を繰り返し修正適応度Ｆ２が最大となる状態を解析する問題となる。ステップＳ３２６では、解出力部１４０が最適解を出力し、対象者の眼球の検出結果が示される。図４（ｅ）に対象者の眼球の検出結果（眼球領域１９８）を例示する。
【００６９】
仮に、従来手法のように眼球領域１９８のみしか考慮しないとすると、日中の晴れた天候の下での直射日光の影響、眼鏡のフレームやレンズ表面における照明光の乱反射の影響、車両のヘッドライトやテールランプ等の外乱光の影響により、ターゲット画像上で対象者の眼球部分に輝度変化が生じた場合、その眼球を検出できないおそれがある。また、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）により、その眼球を検出できないおそれがある。
【００７０】
これに対し、上述した構成によれば、眼球領域１９８のみではなく、眼球周辺の顔部位すなわち前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の輝度分布情報を考慮して修正適応度Ｆ２を算出し、検出を実行する。よって、上記の状況下でも対象者の眼球をほぼ検出することができ、ロバスト性、正確性の高いシステムを実現できる。
【００７１】
最適解出力後（Ｓ３２６）、システム処理を継続する場合（Ｓ３２８Ｙｅｓ）、ステップＳ３３０へと移行する。ステップＳ３３０ではシステム制御部１０２が「input_frame＜30」を満たすかどうか判定し、これを満たす場合（ステップＳ３３０Ｙｅｓ）、検出対象切出部１１２が、近赤外線カメラ１５２が撮影した動画像から次の画像フレーム（静止画像）を取得する（ステップＳ３３２）。そして、「input_frame=input_frame+1」とし（ステップＳ３３４）、ステップＳ３０８、Ｓ３１０、Ｓ３１２へと移行する。
【００７２】
ステップＳ３１４では、「input_frame=0」を満たさないので（ステップＳ３１４Ｎｏ）、初期個体集団の生成が行われず、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度Ｆ２が継承される。これにより、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能となる。また、精度向上の効果も奏する。
【００７３】
再び、図１を参照する。推定部１４２は、連続的に取得されるターゲット画像のそれぞれの最適解に基づき、運転者の視線方向、または顔の向きを推定する。また、推定部１４２は、解出力部１４０が出力する最適解の修正適応度Ｆ２を修正適応度演算部１２６から取得し、修正適応度Ｆ２の変化がそれ以前の画像フレームの修正適応度Ｆ２と比べて所定以上である場合、瞬きまたは誤検出と推定する。瞬き等すると、ターゲット画像上での眼球の形状が変わりテンプレート画像と一致しなくなるので、修正適応度Ｆ２が変化する（Ｆ２の値が低下する）ためである。
【００７４】
推定部１４２を有する眼球検出システム１００を自動車に搭載し、運転者の異常状態を事前に察知するドライバーモニタリングシステムとして利用することで有用な効果を奏する。この場合、運転者の視線方向、または顔の向き等が事前に登録された条件と合致した場合に、警告音等を報知するように構成するとよい。
【００７５】
なお、上記では眼球検出システム１００について説明したが、この眼球検出システム１００の各部構成をプログラムにより実現してもよい。すなわち、コンピュータを用いて同様の機能を実現させる眼球検出プログラムとして本発明の実現を図ってもよい。
【００７６】
（実施例）
本実施形態の有効性を検証するために、以下の実験を行った。
【００７７】
図８は、実験に使用するデータセット（画像フレーム）を示す図である。図８（ａ）が被験者１を示す図であり、図８（ｂ）が被験者２を示す図であり、図８（ｃ）が被験者３を示す図であり、図８（ｄ）が被験者４を示す図である。図８（ａ）〜（ｄ）に示すように、被験者は４名とし、そのうちの１名は眼鏡を装着する。実験に使用するデータセットは、被験者が実際に公道上で運転している状況下で、近赤外線カメラにより撮影したものである。かかる動画像には、昼間、昼間のトンネル内、夜間、夜間のトンネル内、トンネルの出入りなどのシーンが含まれている。また、被験者は顔を横に振る、会話、ルームミラー、カーナビゲーションなどへの視線移動、笑顔での会話などの動作を行っており、顔の向きや視線が変化する。精度の評価に関しては、虹彩の中心が含まれていなければ失敗とする。また、ＲＯＩ１１６内に眼瞼裂全体が存在しない場合は眼球なしとし、評価に加えないこととする。
【００７８】
有効性を検証するため、以下の実施例１から実施例６までの６種類の実験を実施した。表１に実施例１から実施例６のそれぞれの違いを示す。
【００７９】
【表１】
【００８０】
実施例３および実施例４は、テンプレート画像すなわち眼球部分以外として頬部分である頬領域１９６のみを考慮するもっとも単純なものである。頬領域１９６は髪型や眼鏡などの影響を受けにくく変化しにくい特徴があるので、その重みを表す係数ｗDを一番大きく設定する。ＲＯＩ１１６の高さの違いによる性能の評価のため、実施例３ではその高さｂ２をｂ１の３／５、実施例４ではその高さｂ２をｂ１の１／２とする。
【００８１】
実施例１および実施例２では、実施例３および実施例４の頬領域１９６に加えて眉毛部分を表す眉毛領域１９２および上眼瞼部分を表す上眼瞼領域１９４も考慮する。被験者によって、眉毛部分の縦方向の厚みは異なる特徴があるので、眉毛部分の重みを表す係数ｗBを一番小さく設定する。実施例３および実施例４との比較のため、実施例１ではＲＯＩ１１６の高さｂ２をｂ１の３／５、実施例２ではＲＯＩ１１６の高さｂ２をｂ１の１／２とする。
【００８２】
実施例５および実施例６では、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６に加え、前額部分である前額領域１９０を考慮する。実施例５では図７（ｂ）の例示のように前額領域１９０を設定し、実施例６では図７（ｃ）の例示のように前額領域１９０を設定する。また、実施例５では式７のｎAをｐA＞ｒを満たす画素数とし、実施例６では式７のｎAをｐA＞ｒAを満たす画素数とする。
【００８３】
図９は、図８のデータセットに対する実施例６の検出結果を示す図である。図９（ａ）が被験者１の検出結果を示す図であり、図９（ｂ）が被験者２の検出結果を示す図であり、図９（ｃ）が被験者３の検出結果を示す図であり、図９（ｄ）が被験者４の検出結果を示す図である。図９（ａ）〜（ｄ）に示すように、被験者によらずターゲット画像上での被験者の眼球を検出できている。表２に他の実施例も含めた検出結果（検出精度）を示す。なお、検出精度を同じ条件で比較するため、実施例１から実施例６では、初期個体集団の生成に関して同一の乱数種を使用している。ただし、各データ毎（被験者毎）については別の乱数種を使用している。
【００８４】
【表２】
【００８５】
実施例３と実施例４を比較すると、実施例３の方が平均で５．６７％高精度である。これはＲＯＩ１１６の高さｂ２の違いが原因であると思われる。実施例４は実施例３と比較して、ＲＯＩ１１６の高さｂ２が小さい。したがって、顔の移動が激しい場合など、眼球の位置がＲＯＩ１１６の下方に位置すると、頬部分がＲＯＩ１１６の外になってしまうため、検出できないことが多いと考えられる。
【００８６】
実施例１と実施例２では両者の差は平均で０．７５％と小さいが、ＲＯＩ１１６の高さｂ２が大きい実施例１の方が良い結果となった。実施例１ではＲＯＩ１１６の高さｂ２が相対的に大きくなるため、鼻孔部分を誤検出するケースが見られた、また、実施例２ではこのような誤検出は少ないが、実施例４と同様にＲＯＩ１１６の高さｂ２が小さいため誤検出が生じた。実施例３と実施例４では差が大きく、実施例１と実施例２では差が小さいのは、実施例１および実施例２において、上記のようにそれぞれ別の原因によって誤検出が生じているからだと考えられる。
【００８７】
実施例５と実施例６を比較すると、実施例６の方が平均で０．９８％向上している。実施例６では、式７のｎAをｐA＞ｒAを満たす画素数としている。したがって、実施例６では、近赤外線の照射具合、髪型、前額部の形状、顔の向きなどによって、大きな明度差が得られない場合でも、眉毛部分と比較するため、前額部を考慮することが可能となり、精度が向上したと考えられる。
【００８８】
図１０は実施例１と実施例６の検出結果を比較する図であり、図１０（ａ）が実施例１の検出結果を、図１０（ｂ）が実施例６の検出結果を示している。図１０（ａ）、（ｂ）は、被験者２における典型的な改善例である。実施例１では、前額領域１９０を考慮おらず、眼鏡のレンズ表面に生じたグレア部分を上眼瞼領域１９４と判断しているため、眼鏡のフレーム部分を眼球領域１９８として検出していると考えられる。実施例６では、眼鏡表面にグレアが生じていても前額領域１９０も考慮するため、問題なく検出できている．実施例１と実施例６を比較すると、実施例６のほうが平均で２．７３％向上している。
【００８９】
図１１は、トンネルの通過前から通過後までの画像フレームとその検出結果を示す図である。図１１（ａ）〜（ｅ）では、それぞれ、入力される画像フレームとその検出結果を経時的に示している。図１１（ａ）〜（ｅ）に示すように、トンネル進入前、通入中、進入後も対象者の眼球を正確に検出できている。特に図１１（ｃ）では、トンネルから出た直後のため、近赤外線カメラ１５２のゲインが調整中となり白とび傾向にあるが、正常に検出できている。これは、式(７)にてターゲット画像や眉毛領域１９２の輝度の変化を考慮しているためと考えられる。
【００９０】
図１２は、眼鏡の影響について説明する図である。図１２（ａ）および（ｂ）では前方のテールランプや環境光によって眼鏡上にグレアが生じているが、眼球は検出されている。
【００９１】
図１３は、眼球の見え方の変化の影響について説明する図である。図１３（ａ）では、眼鏡を装着した被験者がトンネル内を走行中に瞬目（瞬き）している。図１３（ｂ）では眼球運動によって眼瞼裂の見えが変化している。図１３（ｃ）では、被験者が笑うことにより眼瞼裂の高さが小さくなっている。しかし、図１３（ａ）〜（ｃ）のいずれの場合も被験者の眼球を検出できている。
【００９２】
瞬目や笑った際の眼瞼裂はほぼ線状に変化するため、テンプレート画像１８０を構成する虹彩領域１８８および強膜領域１８６に対応する部分が隠れてしまう。しかし、前額領域１９０や眉毛領域１９２といった領域を考慮することによって、このような結果が得られたと考えられる。
【００９３】
表３は、図１３（ａ）〜（ｃ）の実験結果における各パラメータのセンシング結果である。これらの値を利用することで、推定部１４２が運転者の眼球運動から視線方向や顔の向きを推定することが可能となる。
【００９４】
【表３】
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
なお、本明細書の眼球検出方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【００９７】
また、染色体を構成する遺伝情報としてのパラメータは上記に限定されるものではなく、それらの一部を省略し、さらに、三次元的な回転と言った情報を遺伝情報として活用してもよい。
【００９８】
また遺伝的操作において、選択はルーレット選択に限らず、ランキング選択、トーナメント選択を利用し、交叉方法は一様交叉に限らず、一点交叉、二点交叉、多点交叉を利用してもよい。
【００９９】
染色体を構成する各パラメータを表すビット数は８bitに限定されるものではない。
【０１００】
前述の実施形態では、終了条件を満たすまで遺伝的操作を繰り返し行う構成を説明したが、終了条件として、ある個体の修正適応度Ｆ２が所定の値を超えた場合を条件としてもよい。例えば、最大世代交代数１００に至る前の第５０世代で、個体群の中に修正適応度Ｆ２がある閾値を超える個体がある場合、世代交代、つまり以後の遺伝的操作を行わず、第５０世代の個体の内、修正適応度Ｆ２が最も高い個体の遺伝情報を解として取り扱い、第５０世代の全個体を次フレーム画像の第１世代の個体として取り扱う。
【産業上の利用可能性】
【０１０１】
本発明は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出システムおよび眼球検出方法に利用可能である。
【符号の説明】
【０１０２】
１００…眼球検出システム、１０２…システム制御部、１０４…記憶部、１１０…入力部、１１２…検出対象切出部、１１４…顔領域、１１６…ＲＯＩ（検出対象領域）、１２０…初期個体集団生成部、１２２…適応度演算部、１２４…領域仮定部、１２６…修正適応度演算部、１３０…遺伝的操作実行部、１３２…選択実行部、１３４…交叉実行部、１３６…突然変異生成部、１４０…解出力部、１４２…推定部、１５０…近赤外線投光器、１５２…近赤外線カメラ、１８０…テンプレート画像、１８２…上瞼領域、１８４…下瞼領域、１８６…強膜領域、１８８…虹彩領域、１９０…前額領域、１９２…眉毛領域、１９４…上眼瞼領域、１９６…頬領域、１９８…眼球領域
【技術分野】
【０００１】
本発明は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出システムおよび眼球検出方法に関する。
【背景技術】
【０００２】
現在、交通事故を未然に防ぐことを目的とした、多くの予防安全技術の研究開発が進められている。交通事故の多くは、居眠りや脇見といったヒューマンエラーが主な原因であり、このような運転者の異常状態を事前に察知することは事故を防止するうえで非常に有効である。運転者の異常状態を事前に察知する要素として、運転者の眼球運動のモニタリングが有力視されている。実用的な運転者の眼球運動のモニタリングを実現するためには、不特定多数の運転者に対して安定した精度を有するモニタリングシステムが求められる。また、かかるシステムは、環境の変化、眼鏡の影響、視線移動にロバストでなければならない。
【０００３】
運転中、運転者の頭部は固定されていず、バックミラーやサイドミラーの確認、周囲の安全確認等のため、絶えず頭部の姿勢が変化するので、背景差分法等を利用して眼球運動のモニタリングを実施することはできない。そこで、特許文献１には、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９０７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は、ターゲット画像上にて対象者の眼球のみにしか着目していない。そのため、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）が著しく検出精度に直結する。また、特許文献１の技術は、通常の蛍光灯の明るさがある環境下、即ち明るい室内での使用を前提としている。そのため、トンネル内や夜間等の暗い環境、またはトンネルの出入り時等の輝度変化の激しい環境では、正確に対象者の眼球を検出できないおそれがある。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、ロバスト性が高く正確に対象者の眼球を検出可能な眼球検出システムおよび眼球検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の代表的な構成は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることでターゲット画像から対象者の眼球を検出する眼球検出システムにおいて、テンプレートマッチング時のテンプレート画像のターゲット画像上の中心座標、およびテンプレートマッチング時のテンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部と、テンプレート画像上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出する適応度演算部と、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定する領域仮定部と、仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて適応度を修正した修正適応度を算出する修正適応度演算部と、修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行する遺伝的操作実行部と、当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行う解出力部と、を備えることを特徴とする。
【０００８】
かかる構成によれば、ターゲット画像上での前額領域、眉毛領域、上眼瞼領域、または頬領域に基づいて適応度を修正し、この修正適応度に基づき遺伝的操作を実行する。そのため、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）などの影響を受けづらくすることができる。したがって、ロバスト性が高く正確に対象者の眼球を検出可能となる。
【０００９】
領域仮定部は、前額領域、眉毛領域、上眼瞼領域または頬領域の大きさを、眼球領域の大きさに基づいて仮定するとよい。
【００１０】
かかる構成によれば、前額領域、眉毛領域、上眼瞼領域、または頬領域を簡便に仮定し、好適に修正適応度を算出することができる。
【００１１】
領域仮定部は、ターゲット画像上にて前額領域と眉毛領域との間、眼球領域と頬領域との間に隙間が存在するように、前額領域、眉毛領域、上眼瞼領域および頬領域を仮定し、修正適応度演算部は、前額領域、眉毛領域、上眼瞼領域および頬領域を考慮して修正適応度を算出するとよい。
【００１２】
かかる構成によれば、より正確に対象者の眼球を検出可能となる。
【００１３】
ターゲット画像から対象者の顔部分を検出し、顔部分からテンプレートマッチングが実行される検出対象領域を切り出す検出対象切出部をさらに備えるとよい。
【００１４】
かかる構成によれば、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能である。また、テンプレートマッチングを行う範囲が限られるので精度向上の効果も奏する。
【００１５】
対象者の顔全体に赤外光を照射する赤外線投光器と、赤外光の反射光を撮像してターゲット画像を取得する赤外線カメラとをさらに備えるとよい。
【００１６】
かかる構成によれば、トンネル内や夜間等の暗い環境であっても、好適に対象者の眼球を検出可能である。
【００１７】
赤外線カメラは、赤外光の反射光を動画像として撮影することによって、あるいは連続的に撮像することによって、ターゲット画像を連続的に取得し、当該眼球検出システムは、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度を、次のターゲット画像における処理に継承するとよい。
【００１８】
一般的に遺伝的アルゴリズムを動画に適用した場合に計算量が膨大になり、迅速な解を出力できないという課題があるが、かかる構成によれば、この課題を克服することによって、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能である。また、精度向上の効果も奏する。
【００１９】
連続的に取得されるターゲット画像のそれぞれの検出結果に基づき、対象者の視線方向、または顔の向きを推定する推定部をさらに備えるとよい。
【００２０】
かかる構成によれば、対象者の視線方向、または顔の向きを推定可能であり、自動車に搭載することで安全性の向上に寄与するドライバーモニタリングシステムとして利用することができる。
【００２１】
推定部は、解出力部が出力する最適解の修正適応度の変化が所定以上である場合、瞬きまたは誤検出と推定するとよい。
【００２２】
かかる構成によれば、対象者の状態をより正確に推定することができる。
【００２３】
上記課題を解決するために本発明の他の代表的な構成は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることでターゲット画像から対象者の眼球を検出する眼球検出方法において、テンプレートマッチング時のテンプレート画像のターゲット画像上の中心座標、およびテンプレートマッチング時のテンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成するステップと、テンプレート画像上の画素値と中心座標および拡大倍率によって指定されるターゲット画像上の画素値とに基づいて個体それぞれの適応度を算出するステップと、中心座標および拡大倍率によって指定されるターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定するステップと、仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて適応度を修正した修正適応度を算出するステップと、修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行するステップと、当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行うステップと、を含むことを特徴とする。
【００２４】
上述した眼球検出システムにおける技術的思想に対応する構成要素やその説明は、当該眼球検出方法にも適用される。
【発明の効果】
【００２５】
本発明によれば、ロバスト性が高く正確に対象者の眼球を検出可能な眼球検出システムおよび眼球検出方法を提供可能である。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る眼球検出システムの概略構成を示すブロック図である。
【図２】図１のシステムが行う眼球検出方法の概略構成を示すフローチャートである。
【図３】図２の遺伝的アルゴリズム処理の詳細を示すフローチャートである。
【図４】図１の検出対象切出部による検出対象領域の切出について説明する図である。
【図５】図２の眼球検出方法で用いる、眼球をモデル化したテンプレート画像を例示する図である。
【図６】図２の遺伝的アルゴリズム処理で用いる、個体の染色体の構成を例示する図である。
【図７】前額領域、眉毛領域、上眼瞼領域、および頬領域の仮定について説明する図である。
【図８】実験に使用するデータセット（画像フレーム）を示す図である。
【図９】図８のデータセットに対する実施例６の検出結果を示す図である。
【図１０】実施例１と実施例６の検出結果を比較する図である。
【図１１】トンネルの通過前から通過後までの画像フレームとその検出結果を示す図である。
【図１２】眼鏡の影響について説明する図である。
【図１３】眼球の見え方の変化の影響について説明する図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２８】
[眼球検出システム、眼球検出方法]
図１は、本実施形態に係る眼球検出システム１００の概略構成を示すブロック図である。図１に示すように、眼球検出システム１００は、システム制御部１０２および記憶部１０４を含んで構成されるコンピュータシステムである。システム制御部１０２は、中央処理装置（いわゆるＣＰＵ）を含んで構成され、記憶部１０４は、ＲＡＭやＲＯＭ、フラッシュメモリ、ハードディスクドライブ等の記憶手段を含んで構成される。
【００２９】
眼球検出システム１００では、対象者の顔全体に近赤外線投光器１５０から近赤外光が照射され、近赤外線カメラ１５２が近赤外光の反射光を動画像として撮影する。近赤外線投光器１５０および近赤外線カメラ１５２を利用することで、トンネル内や夜間等の暗い環境でも対象者の顔をしっかりと撮影することができる。撮影された動画像は、入力部１１０を通じて検出対象切出部１１２に入力される。
【００３０】
図２は、図１のシステムが行う眼球検出方法の概略構成を示すフローチャートである。図３は、図２の遺伝的アルゴリズム処理の詳細を示すフローチャートである。以下、図２、図３のフローチャートを参照しながら、眼球検出システム１００の検出対象切出部１１２、初期個体集団生成部１２０、適応度演算部１２２、領域仮定部１２４、修正適応度演算部１２６、遺伝的操作実行部１３０、解出力部１４０、推定部１４２について説明する。
【００３１】
まず、システム制御部１０２は「input_frame=0」とし（ステップＳ３００）、近赤外線投光器１５０および近赤外線カメラ１５２によって撮影された動画像を、入力部１１０を通じて検出対象切出部１１２に入力する。検出対象切出部１１２は、かかる動画像から画像フレーム（静止画像）を取得する（ステップＳ３０２）。
【００３２】
図４は、図１の検出対象切出部１１２による検出対象領域（以下「ＲＯＩ１１６」と称する）の切出について説明する図である。図４（ａ）に例示するように、近赤外線カメラ１５２から出力される画像はグレースケール画像である。図４（ｂ）に例示するように、検出対象切出部１１２は、この画像フレームの中から顔領域１１４を検出する（ステップＳ３０４）。なお、顔領域１１４の検出には、汎用のソフト（例えば、画像処理ライブラリOpenCVに実装されている顔検出アルゴリズム）を利用することができる。ここでは、顔領域１１４の検出結果が、正方形で切り出され検出対象切出部１１２から出力される。
【００３３】
検出対象切出部１１２は、顔の検出数が０の場合（ステップＳ３０６Ｙｅｓ）にはエラーと判定し、最初のステップＳ３００に戻る（「input_frame=0」とし、次の画像フレームの入力が行われる）。顔の検出数が０でない場合（ステップＳ３０６Ｎｏ）、図４（ｃ）に例示するようにＲＯＩ１１６の切出を実行する（ステップＳ３０８）。
【００３４】
ＲＯＩ１１６の切出条件は、実験によって最適なサイズを選択することができる。例えば図４（ｃ）では、ＲＯＩ１１６は対象者の顔領域１１４の左上部分であって、その幅ａ２は正方形で検出された顔領域１１４の幅ａ１の１／２、その高さｂ２は正方形で検出された顔領域１１４の高さｂ１の１／２または３／５に設定される。
【００３５】
図４（ｄ）にＲＯＩ１１６の切出後の画像を例示する。本実施形態ではこの切出後の画像に対し、眼球をモデル化したテンプレート画像と遺伝的アルゴリズムを用いてテンプレートマッチングするので、この画像を「ターゲット画像」と称する。
【００３６】
再び、図２のフローチャートを参照する。システム制御部１０２は、ターゲット画像が平坦かどうかを判定する（ステップＳ３１０）。ターゲット画像が平坦な場合（ステップＳ３１０Ｙｅｓ）エラーと判定し、最初のステップＳ３００に戻る。ターゲット画像が平坦でない場合（ステップＳ３１０Ｎｏ）、「int_pop=0」とし（ステップＳ３１２）、ステップＳ３１４へと移行する。最初の入力では「input_frame=0」なので（ステップＳ３１４Ｙｅｓ）、初期個体集団の生成（ステップＳ３１６）へと移行する。
【００３７】
図５は、図２の眼球検出方法で用いる、眼球をモデル化したテンプレート画像を例示する図である。図５に例示するように、本実施形態では不特定多数のものに対応可能にするため、探索対象を表すテンプレート画像として汎用的即ち人工的にあらかじめ準備されたものを使用する。テンプレート画像１８０は、上瞼領域１８２、下瞼領域１８４、強膜領域１８６、虹彩領域１８８を含むグレースケール画像である。テンプレート画像のサイズは１６×１６ピクセルであり、上瞼領域１８２および下瞼領域１８４の画素値は２５５、強膜領域１８６の画素値は１２８、虹彩領域１８８の画素値は０である。なお、テンプレート画像１８０は予め記憶部１０４に記憶される。ここで、画素値は輝度値であるが、ただし、画素値として輝度値以外の特徴量（例えば、ＹＣｒＣｂ表色系のＣｒ成分やＣｂ成分）の利用も可能である。
【００３８】
図６は、図２の遺伝的アルゴリズム処理で用いる、個体の染色体の構成を例示する図である。図６に例示するように、本実施形態では候補領域としての個体の染色体が、テンプレートマッチング時のテンプレート画像１８０のターゲット画像上の中心座標（ｔｘ,ｔｙ）、テンプレートマッチング時のテンプレート画像の拡大倍率ｍ、テンプレートマッチング時のテンプレート画像の回転角度angleを含む。各パラメータは８bitバイナリデータであり、コーディング方法としてグレイコーディングを使用する。なお、本実施形態では、２．０≦ｍ≦４.０とし、−３０．０°≦angle≦３０．０°とする。
【００３９】
ここで染色体とは、最終的に求める解であり、探索対象のターゲット画像上で眼球領域１９８として特定する矩形領域（図４（ｅ）参照）の位置、サイズ、回転角度を表すパラメータであり、ビット列で表される。グレイコーディングとは、パラメータを２進数表記にコーディングする際、隣り合うビット値のハミング距離が１になるコーディング方法をいう。グレイコーディングを使用することで効率的な解の探索が可能となる。
【００４０】
以下、各個体の染色体を用いたターゲット画像上でのテンプレート画像の幾何変換について説明する。この幾何変換には同次座標を使用する。
【００４１】
テンプレート画像上の点をＰとし、テンプレートとターゲット画像をマッチングさせた時の点Ｐに対応するターゲット画像上の点をＰ＊とする。ここで、同次座標を導入すると点Ｐ、点Ｐ＊は下記式（１）、（２）のように表される。なお、「ｘ,ｙ,ｚ」、「ｘ*,ｙ* ,ｚ*」はそれぞれ三次元座標を示す。
【００４２】
【数１】
【００４３】
線形変換において、ｚ＝ｚ＊であり、またｚ≠０と仮定できる。したがって、式（１）、（２）はそれぞれ下記式（３）、（４）のように考えられる。
【００４４】
【数２】
【００４５】
染色体から得られるパラメータを用いて、変換を同次座標で表すと下記式（５）のようになる。
【００４６】
【数３】
【００４７】
再び、図２のフローチャートを参照する。ステップＳ３１６では、初期個体集団生成部１２０が、中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angleを含む染色体を持つ個体の集団（初期個体集団）を生成する。そして、「int_pop=int_pop+1」とし（ステップＳ３１８）、次のステップＳ３２０へと移行する。なお、本実施形態では、個体数は１０個とする。
【００４８】
ステップＳ３２０では、システム制御部１０２が個体集団の全個体の有効性を判定し、有効な個体が１個以下の場合には（ステップＳ３２０Ｙｅｓ）、ステップＳ３２２へと移行する。ステップＳ３２２ではシステム制御部１０２が「init_pop＜50」を満たすかどうか判定し、これを満たす場合（ステップＳ３２２Ｙｅｓ）には初期個体集団生成部１２０が再び個体集団の再初期化（初期個体集団の生成）を行う。即ち、有効な個体が１個以下の場合には再初期化回数が５０回に達しない限り再初期化が行われ、再初期化回数が５０回に達した場合には（ステップＳ３２２Ｎｏ）最初のステップＳ３００に戻る。
【００４９】
ステップＳ３２０では、以下のいずれかに該当する場合にはその個体を有効でないものと判定する。
１．テンプレート画像と照合する領域の一部分でもターゲット画像の外部に存在する。
２．テンプレート画像と照合する領域が平坦。
３．前額領域１９０および眉毛領域１９２の５０％以上がターゲット画像の外部に存在する。
４．頬領域１９６の８０％以上がターゲット画像の外部に存在する。
５．頬領域１９６が平坦でない。
【００５０】
なお、平坦であるかどうかは、その領域内の最大画素値と最小画素値の差（例えば最大輝度値と最小輝度値の差）が５０未満である場合に平坦と判定する。前額領域１９０、眉毛領域１９２、頬領域１９６は領域仮定部１２４によって仮定されるが、詳細については後程説明する。
【００５１】
ステップＳ３２０では、有効な個体が１個以下でない場合には（ステップＳ３２０Ｎｏ）、遺伝的アルゴリズム処理に移行する（ステップＳ３２４）。図３に示すように、遺伝的アルゴリズム処理は、個体それぞれの適応度Ｆ１を算出する過程である適応度算出（ステップＳ３４０）、眼球領域１９８の周囲の領域の画素値に基づいて適応度Ｆ１を修正する過程である修正適応度算出（ステップＳ３４２）、遺伝的アルゴリズムを終了するか判定する過程である終了判定（ステップＳ３４４）、選択（ステップＳ３４６）、交叉（ステップＳ３４８）、突然変異（ステップＳ３５０）からなる。
【００５２】
ここで選択とは、適応度（本実施形態では修正適応度Ｆ２）が高い個体を選択する方式であり、具体的にはルーレット選択を用いる。交叉とは、個体の染色体を構成する各遺伝情報、つまりパラメータ（中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angle）を入れ換える操作であり、具体的には選択された２つの親個体の遺伝情報を相互に入れ替える操作である。突然変異とは、染色体を構成する遺伝情報の一部、つまりパラメータ（中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angle）の一部を変える操作であり、具体的には別の数値に変える操作である。突然変異によってパラメータを特定する数値はランダムに選定される。
【００５３】
ステップＳ３４０では、適応度演算部１２２が、染色体から得られるパラメータを式（５）に代入することで点Ｐを変換して点Ｐ＊を求め、下記式（６）に基づいて個体それぞれの適応度Ｆ１を求める。ここで、式（６）中、ａ３とｂ３はテンプレート画像の幅と高さ、ｐijはテンプレート画像中の座標（ｘ,ｙ）における画素値、ｐij ＊はｐijと比較するターゲット画像上の画素値を表す。適応度Ｆ１はテンプレート画像と候補領域内の画素値の差の累積和であるため、Ｆ１≦２５５×ａ３×ｂ３となる。
【００５４】
【数４】
【００５５】
ステップＳ３４２では、領域仮定部１２４が仮定したターゲット画像上での前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６に基づき、修正適応度演算部１２６が上記適応度Ｆ１を修正し、新たに修正適応度Ｆ２を算出する。具体的には、修正適応度Ｆ２は、下記式（７）、（８）、（９）に基づき求められる。以下、下記各式の変数について説明する。
【００５６】
【数５】
【００５７】
図７は、前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の仮定について説明する図である。図７（ａ）は前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の仮定前のターゲット画像を例示したものであり、図７（ｂ）、（ｃ）は図７（ａ）のターゲット画像に関して前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６を仮定したものである。なお、図７（ｂ）と図７（ｃ）では、前額領域１９０の仮定手法にのみ差異がある。
【００５８】
図７（ｂ）、（ｃ）に例示するように、領域仮定部１２４は、中心座標（ｔｘ,ｔｙ）、拡大倍率ｍ、回転角度angleによって指定されるターゲット画像上での対象者の眼球領域１９８を基準として、前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６を仮定する。以下、ターゲット画像上での対象者の眼球領域１９８の高さをｈとして説明する。
【００５９】
前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６は、全てターゲット画像上での対象者の眼球領域１９８と同じ幅を有する領域である。また、眉毛領域１９２および頬領域１９６は眼球領域１９８と同じ高さｈを有する領域であり、上眼瞼領域１９４は高さｈ／２を有する領域である。図７（ｂ）では前額領域１９０は眼球領域１９８と同じ高さｈを有する領域であり、図７（ｃ）では前額領域１９０は高さｈ／２を有する領域である。
【００６０】
頬領域１９６は、ｈ／２の隙間を介して眼球領域１９８の下方に設定される。上眼瞼領域１９４は、眼球領域１９８の直上に設定される。眉毛領域１９２は、上眼瞼領域１９４の直上に設定される。図７（ｂ）では前額領域１９０は眉毛領域１９２の直上に設定され、図７（ｃ）ではｈ／２の隙間を介して眉毛領域１９２の上方に設定される。
【００６１】
なお、図７（ｂ）、（ｃ）では、個体の染色体によって指定されるターゲット画像上での対象者の眼球領域１９８が、実際のターゲット画像上の対象者の眼球と一致する場合について例示しているが、実際には染色体が適した解を持たなければこのようにならない。すなわち、適した遺伝子を持たない染色体では眼球領域１９８が対象者の眼球と一致する位置にはならず、この眼球領域１９８の位置、大きさに基づき定められる前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６についても対象者の各部位と一致する位置にはならない。
【００６２】
式（７）を参照する。式（７）のｔAは、上述した手法により仮定された前額領域１９０の総画素数である。同様に、式（７）のｔB、ｔC、ｔDは、それぞれ、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６の総画素数である。
【００６３】
また、式（７）のｎAは、前額領域１９０の画素値（例えば輝度値）をｐA、所定の画素値としてのターゲット画像全体の平均画素値（例えば平均輝度値）をｒとした場合に、ｐA＞ｒを満たす画素数である。ここで、ｐA＞ｒはその領域が前額領域でないことを意味する。式（７）のｎBは、眉毛領域１９２の画素値をｐBとした場合に、ｐB＜ｒを満たす（眉毛領域１９２でないことを意味する）画素数である。式（７）のｎCは、上眼瞼領域１９４の画素値をｐCとした場合に、ｐC＞ｒを満たす（上眼瞼領域１９４でないことを意味する）画素数である。式（７）のｎDは、頬領域１９６の画素値をｐDとした場合に、ｐD＞ｒを満たす（頬領域１９６でないことを意味する）画素数である。
【００６４】
なお、式７のｎAは、所定の画素値として眉毛領域１９２の平均画素値ｒAを採用し、ｐA＞ｒAを満たす画素数としてもよい。近赤外線の照射量によっては、前額領域１９０の画素値がターゲット画像の平均画素値ｒよりも低くなることがあるためである。
【００６５】
式（７）のｗAは、前額領域１９０の重みを表す係数であり、経験的に決定される。同様に、式（７）のｗB、ｗC、ｗDは、それぞれ、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６の重みを表す係数である。なお、ｗmawは式（８）で表されるが、Ｃ言語による実装の際では若干大きな値を使用してよい（下記表１参照）。
【００６６】
修正適応度Ｆ２を算出したら、解出力部１４０が終了判定（ステップＳ３４４）を行う。本実施形態では、ステップＳ３４０からステップＳ３５０の処理を繰り返した数である世代交代数が１００に達したら終了とし（ステップＳ３４４Ｙｅｓ）、それ未満なら終了しない（ステップＳ３４４Ｎｏ）。終了しない場合には（ステップＳ３４４Ｎｏ）、遺伝的操作実行部１３０が、修正適応度Ｆ２に基づき選択（ステップＳ３４６）、交叉（ステップＳ３４８）、および突然変異（ステップＳ３５０）を含む遺伝的操作を実行する。遺伝的操作実行部１３０は、ステップＳ３４６、Ｓ３４８、Ｓ３５０をそれぞれ実行する選択実行部１３２、交叉実行部１３４および突然変異生成部１３６を含む。
【００６７】
ステップＳ３４６では、選択実行部１３２が、修正適応度に基づき個体の集団の中から生き残る個体を選択する。ステップＳ３４８では、交叉実行部１３４が、個体の遺伝子情報の一部を入れ替え、新しい個体を生成する。本実施形態では、一様交叉を用い交叉率を０．７０とする。ステップＳ３５０では、突然変異生成部１３６が、個体の遺伝子情報の一部を変化させる。本実施形態では、突然変異率を０．０５とする。
【００６８】
ステップＳ３４０からステップＳ３５０を繰り返し、世代交代数が１００に達したら（ステップＳ３４４Ｙｅｓ）、ステップＳ３２６へと移行する。本実施形態に係る遺伝的アルゴリズムは、世代交代を繰り返し修正適応度Ｆ２が最大となる状態を解析する問題となる。ステップＳ３２６では、解出力部１４０が最適解を出力し、対象者の眼球の検出結果が示される。図４（ｅ）に対象者の眼球の検出結果（眼球領域１９８）を例示する。
【００６９】
仮に、従来手法のように眼球領域１９８のみしか考慮しないとすると、日中の晴れた天候の下での直射日光の影響、眼鏡のフレームやレンズ表面における照明光の乱反射の影響、車両のヘッドライトやテールランプ等の外乱光の影響により、ターゲット画像上で対象者の眼球部分に輝度変化が生じた場合、その眼球を検出できないおそれがある。また、眼球の見え方の変化（例えば瞬目、横目、笑い眼等）により、その眼球を検出できないおそれがある。
【００７０】
これに対し、上述した構成によれば、眼球領域１９８のみではなく、眼球周辺の顔部位すなわち前額領域１９０、眉毛領域１９２、上眼瞼領域１９４、および頬領域１９６の輝度分布情報を考慮して修正適応度Ｆ２を算出し、検出を実行する。よって、上記の状況下でも対象者の眼球をほぼ検出することができ、ロバスト性、正確性の高いシステムを実現できる。
【００７１】
最適解出力後（Ｓ３２６）、システム処理を継続する場合（Ｓ３２８Ｙｅｓ）、ステップＳ３３０へと移行する。ステップＳ３３０ではシステム制御部１０２が「input_frame＜30」を満たすかどうか判定し、これを満たす場合（ステップＳ３３０Ｙｅｓ）、検出対象切出部１１２が、近赤外線カメラ１５２が撮影した動画像から次の画像フレーム（静止画像）を取得する（ステップＳ３３２）。そして、「input_frame=input_frame+1」とし（ステップＳ３３４）、ステップＳ３０８、Ｓ３１０、Ｓ３１２へと移行する。
【００７２】
ステップＳ３１４では、「input_frame=0」を満たさないので（ステップＳ３１４Ｎｏ）、初期個体集団の生成が行われず、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度Ｆ２が継承される。これにより、遺伝的アルゴリズムの計算量を低減することができ、迅速に解を出力可能となる。また、精度向上の効果も奏する。
【００７３】
再び、図１を参照する。推定部１４２は、連続的に取得されるターゲット画像のそれぞれの最適解に基づき、運転者の視線方向、または顔の向きを推定する。また、推定部１４２は、解出力部１４０が出力する最適解の修正適応度Ｆ２を修正適応度演算部１２６から取得し、修正適応度Ｆ２の変化がそれ以前の画像フレームの修正適応度Ｆ２と比べて所定以上である場合、瞬きまたは誤検出と推定する。瞬き等すると、ターゲット画像上での眼球の形状が変わりテンプレート画像と一致しなくなるので、修正適応度Ｆ２が変化する（Ｆ２の値が低下する）ためである。
【００７４】
推定部１４２を有する眼球検出システム１００を自動車に搭載し、運転者の異常状態を事前に察知するドライバーモニタリングシステムとして利用することで有用な効果を奏する。この場合、運転者の視線方向、または顔の向き等が事前に登録された条件と合致した場合に、警告音等を報知するように構成するとよい。
【００７５】
なお、上記では眼球検出システム１００について説明したが、この眼球検出システム１００の各部構成をプログラムにより実現してもよい。すなわち、コンピュータを用いて同様の機能を実現させる眼球検出プログラムとして本発明の実現を図ってもよい。
【００７６】
（実施例）
本実施形態の有効性を検証するために、以下の実験を行った。
【００７７】
図８は、実験に使用するデータセット（画像フレーム）を示す図である。図８（ａ）が被験者１を示す図であり、図８（ｂ）が被験者２を示す図であり、図８（ｃ）が被験者３を示す図であり、図８（ｄ）が被験者４を示す図である。図８（ａ）〜（ｄ）に示すように、被験者は４名とし、そのうちの１名は眼鏡を装着する。実験に使用するデータセットは、被験者が実際に公道上で運転している状況下で、近赤外線カメラにより撮影したものである。かかる動画像には、昼間、昼間のトンネル内、夜間、夜間のトンネル内、トンネルの出入りなどのシーンが含まれている。また、被験者は顔を横に振る、会話、ルームミラー、カーナビゲーションなどへの視線移動、笑顔での会話などの動作を行っており、顔の向きや視線が変化する。精度の評価に関しては、虹彩の中心が含まれていなければ失敗とする。また、ＲＯＩ１１６内に眼瞼裂全体が存在しない場合は眼球なしとし、評価に加えないこととする。
【００７８】
有効性を検証するため、以下の実施例１から実施例６までの６種類の実験を実施した。表１に実施例１から実施例６のそれぞれの違いを示す。
【００７９】
【表１】
【００８０】
実施例３および実施例４は、テンプレート画像すなわち眼球部分以外として頬部分である頬領域１９６のみを考慮するもっとも単純なものである。頬領域１９６は髪型や眼鏡などの影響を受けにくく変化しにくい特徴があるので、その重みを表す係数ｗDを一番大きく設定する。ＲＯＩ１１６の高さの違いによる性能の評価のため、実施例３ではその高さｂ２をｂ１の３／５、実施例４ではその高さｂ２をｂ１の１／２とする。
【００８１】
実施例１および実施例２では、実施例３および実施例４の頬領域１９６に加えて眉毛部分を表す眉毛領域１９２および上眼瞼部分を表す上眼瞼領域１９４も考慮する。被験者によって、眉毛部分の縦方向の厚みは異なる特徴があるので、眉毛部分の重みを表す係数ｗBを一番小さく設定する。実施例３および実施例４との比較のため、実施例１ではＲＯＩ１１６の高さｂ２をｂ１の３／５、実施例２ではＲＯＩ１１６の高さｂ２をｂ１の１／２とする。
【００８２】
実施例５および実施例６では、眉毛領域１９２、上眼瞼領域１９４、頬領域１９６に加え、前額部分である前額領域１９０を考慮する。実施例５では図７（ｂ）の例示のように前額領域１９０を設定し、実施例６では図７（ｃ）の例示のように前額領域１９０を設定する。また、実施例５では式７のｎAをｐA＞ｒを満たす画素数とし、実施例６では式７のｎAをｐA＞ｒAを満たす画素数とする。
【００８３】
図９は、図８のデータセットに対する実施例６の検出結果を示す図である。図９（ａ）が被験者１の検出結果を示す図であり、図９（ｂ）が被験者２の検出結果を示す図であり、図９（ｃ）が被験者３の検出結果を示す図であり、図９（ｄ）が被験者４の検出結果を示す図である。図９（ａ）〜（ｄ）に示すように、被験者によらずターゲット画像上での被験者の眼球を検出できている。表２に他の実施例も含めた検出結果（検出精度）を示す。なお、検出精度を同じ条件で比較するため、実施例１から実施例６では、初期個体集団の生成に関して同一の乱数種を使用している。ただし、各データ毎（被験者毎）については別の乱数種を使用している。
【００８４】
【表２】
【００８５】
実施例３と実施例４を比較すると、実施例３の方が平均で５．６７％高精度である。これはＲＯＩ１１６の高さｂ２の違いが原因であると思われる。実施例４は実施例３と比較して、ＲＯＩ１１６の高さｂ２が小さい。したがって、顔の移動が激しい場合など、眼球の位置がＲＯＩ１１６の下方に位置すると、頬部分がＲＯＩ１１６の外になってしまうため、検出できないことが多いと考えられる。
【００８６】
実施例１と実施例２では両者の差は平均で０．７５％と小さいが、ＲＯＩ１１６の高さｂ２が大きい実施例１の方が良い結果となった。実施例１ではＲＯＩ１１６の高さｂ２が相対的に大きくなるため、鼻孔部分を誤検出するケースが見られた、また、実施例２ではこのような誤検出は少ないが、実施例４と同様にＲＯＩ１１６の高さｂ２が小さいため誤検出が生じた。実施例３と実施例４では差が大きく、実施例１と実施例２では差が小さいのは、実施例１および実施例２において、上記のようにそれぞれ別の原因によって誤検出が生じているからだと考えられる。
【００８７】
実施例５と実施例６を比較すると、実施例６の方が平均で０．９８％向上している。実施例６では、式７のｎAをｐA＞ｒAを満たす画素数としている。したがって、実施例６では、近赤外線の照射具合、髪型、前額部の形状、顔の向きなどによって、大きな明度差が得られない場合でも、眉毛部分と比較するため、前額部を考慮することが可能となり、精度が向上したと考えられる。
【００８８】
図１０は実施例１と実施例６の検出結果を比較する図であり、図１０（ａ）が実施例１の検出結果を、図１０（ｂ）が実施例６の検出結果を示している。図１０（ａ）、（ｂ）は、被験者２における典型的な改善例である。実施例１では、前額領域１９０を考慮おらず、眼鏡のレンズ表面に生じたグレア部分を上眼瞼領域１９４と判断しているため、眼鏡のフレーム部分を眼球領域１９８として検出していると考えられる。実施例６では、眼鏡表面にグレアが生じていても前額領域１９０も考慮するため、問題なく検出できている．実施例１と実施例６を比較すると、実施例６のほうが平均で２．７３％向上している。
【００８９】
図１１は、トンネルの通過前から通過後までの画像フレームとその検出結果を示す図である。図１１（ａ）〜（ｅ）では、それぞれ、入力される画像フレームとその検出結果を経時的に示している。図１１（ａ）〜（ｅ）に示すように、トンネル進入前、通入中、進入後も対象者の眼球を正確に検出できている。特に図１１（ｃ）では、トンネルから出た直後のため、近赤外線カメラ１５２のゲインが調整中となり白とび傾向にあるが、正常に検出できている。これは、式(７)にてターゲット画像や眉毛領域１９２の輝度の変化を考慮しているためと考えられる。
【００９０】
図１２は、眼鏡の影響について説明する図である。図１２（ａ）および（ｂ）では前方のテールランプや環境光によって眼鏡上にグレアが生じているが、眼球は検出されている。
【００９１】
図１３は、眼球の見え方の変化の影響について説明する図である。図１３（ａ）では、眼鏡を装着した被験者がトンネル内を走行中に瞬目（瞬き）している。図１３（ｂ）では眼球運動によって眼瞼裂の見えが変化している。図１３（ｃ）では、被験者が笑うことにより眼瞼裂の高さが小さくなっている。しかし、図１３（ａ）〜（ｃ）のいずれの場合も被験者の眼球を検出できている。
【００９２】
瞬目や笑った際の眼瞼裂はほぼ線状に変化するため、テンプレート画像１８０を構成する虹彩領域１８８および強膜領域１８６に対応する部分が隠れてしまう。しかし、前額領域１９０や眉毛領域１９２といった領域を考慮することによって、このような結果が得られたと考えられる。
【００９３】
表３は、図１３（ａ）〜（ｃ）の実験結果における各パラメータのセンシング結果である。これらの値を利用することで、推定部１４２が運転者の眼球運動から視線方向や顔の向きを推定することが可能となる。
【００９４】
【表３】
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
なお、本明細書の眼球検出方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【００９７】
また、染色体を構成する遺伝情報としてのパラメータは上記に限定されるものではなく、それらの一部を省略し、さらに、三次元的な回転と言った情報を遺伝情報として活用してもよい。
【００９８】
また遺伝的操作において、選択はルーレット選択に限らず、ランキング選択、トーナメント選択を利用し、交叉方法は一様交叉に限らず、一点交叉、二点交叉、多点交叉を利用してもよい。
【００９９】
染色体を構成する各パラメータを表すビット数は８bitに限定されるものではない。
【０１００】
前述の実施形態では、終了条件を満たすまで遺伝的操作を繰り返し行う構成を説明したが、終了条件として、ある個体の修正適応度Ｆ２が所定の値を超えた場合を条件としてもよい。例えば、最大世代交代数１００に至る前の第５０世代で、個体群の中に修正適応度Ｆ２がある閾値を超える個体がある場合、世代交代、つまり以後の遺伝的操作を行わず、第５０世代の個体の内、修正適応度Ｆ２が最も高い個体の遺伝情報を解として取り扱い、第５０世代の全個体を次フレーム画像の第１世代の個体として取り扱う。
【産業上の利用可能性】
【０１０１】
本発明は、遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで、ターゲット画像から対象者の眼球を検出する眼球検出システムおよび眼球検出方法に利用可能である。
【符号の説明】
【０１０２】
１００…眼球検出システム、１０２…システム制御部、１０４…記憶部、１１０…入力部、１１２…検出対象切出部、１１４…顔領域、１１６…ＲＯＩ（検出対象領域）、１２０…初期個体集団生成部、１２２…適応度演算部、１２４…領域仮定部、１２６…修正適応度演算部、１３０…遺伝的操作実行部、１３２…選択実行部、１３４…交叉実行部、１３６…突然変異生成部、１４０…解出力部、１４２…推定部、１５０…近赤外線投光器、１５２…近赤外線カメラ、１８０…テンプレート画像、１８２…上瞼領域、１８４…下瞼領域、１８６…強膜領域、１８８…虹彩領域、１９０…前額領域、１９２…眉毛領域、１９４…上眼瞼領域、１９６…頬領域、１９８…眼球領域
【特許請求の範囲】
【請求項１】
遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで該ターゲット画像から該対象者の眼球を検出する眼球検出システムにおいて、
前記テンプレートマッチング時の前記テンプレート画像の前記ターゲット画像上の中心座標、および該テンプレートマッチング時の該テンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部と、
前記テンプレート画像上の画素値と前記中心座標および拡大倍率によって指定される前記ターゲット画像上の画素値とに基づいて前記個体それぞれの適応度を算出する適応度演算部と、
前記中心座標および拡大倍率によって指定される前記ターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定する領域仮定部と、
前記仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて前記適応度を修正した修正適応度を算出する修正適応度演算部と、
前記修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行する遺伝的操作実行部と、
当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行う解出力部と、
を備えることを特徴とする眼球検出システム。
【請求項２】
前記領域仮定部は、前記前額領域、眉毛領域、上眼瞼領域または頬領域の大きさを、前記眼球領域の大きさに基づいて仮定することを特徴とする請求項１に記載の眼球検出システム。
【請求項３】
前記領域仮定部は、前記ターゲット画像上にて前記前額領域と眉毛領域との間、前記眼球領域と頬領域との間に隙間が存在するように、該前額領域、眉毛領域、上眼瞼領域および頬領域を仮定し、
前記修正適応度演算部は、前記前額領域、眉毛領域、上眼瞼領域および頬領域を考慮して前記修正適応度を算出することを特徴とする請求項２に記載の眼球検出システム。
【請求項４】
前記ターゲット画像から対象者の顔部分を検出し該顔部分から前記テンプレートマッチングが実行される検出対象領域を切り出す検出対象切出部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の眼球検出システム。
【請求項５】
前記対象者の顔全体に赤外光を照射する赤外線投光器と、
前記赤外光の反射光を撮像して前記ターゲット画像を取得する赤外線カメラとをさらに備えることを特徴とする請求項１から４のいずれか１項に記載の眼球検出システム。
【請求項６】
前記赤外線カメラは、前記赤外光の反射光を動画像として撮影することによって、あるいは連続的に撮像することによって、前記ターゲット画像を連続的に取得し、
当該眼球検出システムは、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度を、次のターゲット画像における処理に継承することを特徴とする請求項５に記載の眼球検出システム。
【請求項７】
連続的に取得される前記ターゲット画像のそれぞれの検出結果に基づき、前記対象者の視線方向、または顔の向きを推定する推定部をさらに備えることを特徴とする請求項６に記載の眼球検出システム。
【請求項８】
前記推定部は、前記解出力部が出力する最適解の修正適応度の変化が所定以上である場合、瞬きまたは誤検出と推定することを特徴とする請求項７に記載の眼球検出システム。
【請求項９】
遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで該ターゲット画像から該対象者の眼球を検出する眼球検出方法において、
前記テンプレートマッチング時の前記テンプレート画像の前記ターゲット画像上の中心座標、および該テンプレートマッチング時の該テンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成するステップと、
前記テンプレート画像上の画素値と前記中心座標および拡大倍率によって指定される前記ターゲット画像上の画素値とに基づいて前記個体それぞれの適応度を算出するステップと、
前記中心座標および拡大倍率によって指定される前記ターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定するステップと、
前記仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて前記適応度を修正した修正適応度を算出するステップと、
前記修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行するステップと、
当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行うステップと、
を含むことを特徴とする眼球検出方法。
【請求項１】
遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで該ターゲット画像から該対象者の眼球を検出する眼球検出システムにおいて、
前記テンプレートマッチング時の前記テンプレート画像の前記ターゲット画像上の中心座標、および該テンプレートマッチング時の該テンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成する初期個体集団生成部と、
前記テンプレート画像上の画素値と前記中心座標および拡大倍率によって指定される前記ターゲット画像上の画素値とに基づいて前記個体それぞれの適応度を算出する適応度演算部と、
前記中心座標および拡大倍率によって指定される前記ターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定する領域仮定部と、
前記仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて前記適応度を修正した修正適応度を算出する修正適応度演算部と、
前記修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行する遺伝的操作実行部と、
当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行う解出力部と、
を備えることを特徴とする眼球検出システム。
【請求項２】
前記領域仮定部は、前記前額領域、眉毛領域、上眼瞼領域または頬領域の大きさを、前記眼球領域の大きさに基づいて仮定することを特徴とする請求項１に記載の眼球検出システム。
【請求項３】
前記領域仮定部は、前記ターゲット画像上にて前記前額領域と眉毛領域との間、前記眼球領域と頬領域との間に隙間が存在するように、該前額領域、眉毛領域、上眼瞼領域および頬領域を仮定し、
前記修正適応度演算部は、前記前額領域、眉毛領域、上眼瞼領域および頬領域を考慮して前記修正適応度を算出することを特徴とする請求項２に記載の眼球検出システム。
【請求項４】
前記ターゲット画像から対象者の顔部分を検出し該顔部分から前記テンプレートマッチングが実行される検出対象領域を切り出す検出対象切出部をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の眼球検出システム。
【請求項５】
前記対象者の顔全体に赤外光を照射する赤外線投光器と、
前記赤外光の反射光を撮像して前記ターゲット画像を取得する赤外線カメラとをさらに備えることを特徴とする請求項１から４のいずれか１項に記載の眼球検出システム。
【請求項６】
前記赤外線カメラは、前記赤外光の反射光を動画像として撮影することによって、あるいは連続的に撮像することによって、前記ターゲット画像を連続的に取得し、
当該眼球検出システムは、直前のターゲット画像の対象者の眼球の検出に際して得られた個体の集団と修正適応度を、次のターゲット画像における処理に継承することを特徴とする請求項５に記載の眼球検出システム。
【請求項７】
連続的に取得される前記ターゲット画像のそれぞれの検出結果に基づき、前記対象者の視線方向、または顔の向きを推定する推定部をさらに備えることを特徴とする請求項６に記載の眼球検出システム。
【請求項８】
前記推定部は、前記解出力部が出力する最適解の修正適応度の変化が所定以上である場合、瞬きまたは誤検出と推定することを特徴とする請求項７に記載の眼球検出システム。
【請求項９】
遺伝的アルゴリズムを用いて眼球をモデル化したテンプレート画像を対象者の顔画像を撮像したターゲット画像上の各所に動かしてテンプレートマッチングすることで該ターゲット画像から該対象者の眼球を検出する眼球検出方法において、
前記テンプレートマッチング時の前記テンプレート画像の前記ターゲット画像上の中心座標、および該テンプレートマッチング時の該テンプレート画像の拡大倍率を含む染色体を持つ個体の集団を生成するステップと、
前記テンプレート画像上の画素値と前記中心座標および拡大倍率によって指定される前記ターゲット画像上の画素値とに基づいて前記個体それぞれの適応度を算出するステップと、
前記中心座標および拡大倍率によって指定される前記ターゲット画像上の対象者の眼球領域を基準として、前額領域、眉毛領域、上眼瞼領域または頬領域を仮定するステップと、
前記仮定された前額領域、眉毛領域、上眼瞼領域または頬領域の画素値が所定の値以上か否かに基づいて前記適応度を修正した修正適応度を算出するステップと、
前記修正適応度に基づき選択、交叉および突然変異を含む遺伝的操作を実行するステップと、
当該遺伝的アルゴリズムの終了判定を行い、最適解の出力を行うステップと、
を含むことを特徴とする眼球検出方法。
【図１】
【図２】
【図３】
【図６】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図６】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−４５１５１（Ｐ２０１３−４５１５１Ａ）
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１１−１８０５３９（Ｐ２０１１−１８０５３９）
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（５０４１６５５９１）国立大学法人岩手大学 (222)
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２３年８月２２日（２０１１．８．２２）
【出願人】（５０４１６５５９１）国立大学法人岩手大学 (222)
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]