両眼の検出および追跡する方法、及び装置
少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する方法において、少なくとも１つの画像センサの少なくとも１つのデジタルビデオ信号のシーケンスを含む画像データを受信するステップと、画像データにおいて眼を検出するか又はすでに検出されている眼を追跡するステップと、検出された眼又は追跡される眼の３Ｄ座標を確認するステップと、検出された眼又は追跡される眼を両眼と関連付けるステップと、両眼の３Ｄ座標を提供するステップとが提案される。前記画像データにおいて眼を検出することは、画像データにおいて１つ以上の顔を認識するステップと、少なくとも１つの認識された顔の３Ｄ座標を確認するステップと、認識された顔上に第１の探索域を確立するステップと、第１の探索域内で少なくとも一方の眼を検出するステップとを含む。前記画像データにおいて前に検出された眼を追跡することは、認識された顔上に第２の探索域を確立するステップと、第２の探索域内で両眼の眼を追跡するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つの顔における両眼の３Ｄ座標をリアルタイムで検出し、且つその後追跡する非接触式方法に関する。
【背景技術】
【０００２】
例えば接触式方法とは異なり、顔を検出し、且つ追跡する非接触式方法は、頭部装着型カメラ又はスポット等の追加の手段を必要としない。これら非接触式方法の利点は、追跡される被写体の動きの自由が物理手段により全く制限されないこと及び被写体がそのような手段の使用により煩わされないことである。
【０００３】
非接触式検出及び追跡方法は、従来技術において周知である。例えば特許文献１及び特許文献２では、記録画像から抽出されるある特定の顔及び眼の特徴を使用して観察者の閲覧方向を検出する方法が開示されている。特許文献１では、観察者により閲覧される物体を見つける方法が説明されているが、特許文献２は、ある特定の期間に渡って眼の動きを追跡することを更に目的とする。
【０００４】
特許文献３では、頭及び眼の動きが高速及び広範囲で行われる場合であっても、ヘッドギアを使用せずに眼の閲覧方向を測定する非接触の方法及び装置が開示されている。眼は赤外光で照らされ、光学系により結像され、少なくとも１つの画像センサにより記録される。その後、そのように生成された画像は、眼の瞳孔の中心の位置を検出し且つ角膜反射を判定することにより閲覧方向を判定するように、メインプロセッサによって構成可能な閲覧方向プロセッサにより処理され、モニタに表示される。
【０００５】
また、特許文献４では、種々の照明条件においてリアルタイムで眼を非接触検出及び追跡する方法が開示される。眼は、一方の画像が眼の「明瞳孔効果」を表し且つ他方の画像が眼の「暗瞳孔効果」を表す能動的に照らされた２つの画像を記録するステップと、これら２つの画像のコントラストが異なる位置でのコントラストだけを示す２つの画像の差分画像を作成するステップと、眼である可能性が高い部分として差分画像内のコントラスト点に印を付けるステップと、差分画像において眼と眼以外とを高確率で区別できるようにするために、参照画像として使用される眼及び眼以外の事前記録画像と眼である可能性が高い部分とを比較するステップとを実行することにより検出される。その後、眼は、カルマンフィルタを適用および予想される眼の位置と差分画像内で実際に検出される眼の位置との比較により検出された後、画像内で追跡される。比較により結果が得られない場合、眼の位置は、画像中の強度に基づいて眼である可能性の高い位置をクラスタ化し且つこれらクラスタと予想位置とを比較するクラスタリングアルゴリズムを使用する、更なるステップにおいて判定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，５３９，１００Ｂ１号明細書
【特許文献２】欧州特許第０，３５０，９５７Ｂ１号明細書
【特許文献３】独国特許出願公開第１９７，３１，３０３Ａ１号明細書
【特許文献４】国際公開第ＷＯ０３／０７９９０２Ａ１号
【特許文献５】国際公開第ＷＯ２００７／０１９８４２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この従来技術の方法は、多くの欠点を示す。一方では、眼を検出及び追跡する処理は、「明瞳孔効果」を有する１つの画像及び「暗瞳孔効果」を有する１つの画像に基づいてインターレース走査法を使用して作成される画像を利用する。この場合、２つの画像は１つの画像センサにより同時にではなく順次記録される。インターレース走査法により画像の重ね合わせが同時に行われない画像記録は、送信する画像データ量を減少するのに役立つが、リアルタイムでの眼の確実な検出及び追跡ができない。他方では、眼から照明源までの距離が長くなるにつれて、能動照明による効果が減少し、その結果、検出対象である眼が差分画像内の他の物体又はノイズと区別されなくなる。そのため、この方法では、画像センサに対して空間的に非常に近接する眼の検出及び追跡のみが可能である。
【０００８】
特許文献５において、これらの欠点の解消が試みられる。この文献において、眼の位置は階層的に編成されたルーチンを使用して検出される。この場合、処理されるデータ量は、全ビデオフレーム（ＶＦ）のデータ量から開始して対象顔領域（ＧＺ）へ進み、最後に対象眼領域（ＡＺ）に進むことで徐々に減少される。更に、各インスタンス又はインスタンスのグループは常に専用の計算ユニットにおいて実行されるため、それらは並行して実行される。しかし、特許文献５では、眼を検出し、且つ追跡する方法は説明されない。
【０００９】
しかし、眼のリアルタイム検出及び追跡は、ヒューマン・マシン対話において重要な要素である。従って、リアルタイムで正確に眼を検出し、且つ追跡することを可能にする眼の検出及び追跡方法を提供することが特に望まれる。
【００１０】
特に、全空間方向における顔の大きく、素早い動きが起こる可能性のある動的アプリケーションにおいて、Ｚ方向においても位置を正確且つ効率的に判定することが必要である。そのような動的アプリケーションは、例えば、観察者の眼の位置が、空間及び時間の双方において正確に判定される場合にのみ、自動立体画像情報又はホログラム画像情報が実際の眼の位置に導かれ、所望の画像の印象が得られる裸眼立体ディスプレイ又はホログラフィックディスプレイを含む。それに対し、運転者及び操縦士を監視する装置等の従来技術において周知である静的アプリケーションにおいては、通常は被写体の動きの範囲が全空間方向において最小限に制限されるため、検出及び追跡範囲はかなり小さい。
【００１１】
更に、従来技術において周知である方法は、特に２つ以上の顔が識別および追跡される場合、眼の位置情報がリアルタイムで出力されないという問題を示す。
【００１２】
従って、本発明の目的は、充分に大きい検出及び追跡範囲において、１つ又は複数の顔の眼の位置を３つの空間方向の全てにおいて確実、正確、効率的にリアルタイムで検出および追跡することを可能にする一方で、発生する計算負荷が小さい方法を提供することである。特に、本発明の目的は、少なくとも一方の眼を効率的且つ正確に検出することである。
【課題を解決するための手段】
【００１３】
この目的は、少なくとも１つの画像センサの１つ又は複数のビデオ信号のシーケンスとして供給される画像データを受信するステップと、画像データにおいて眼を検出するか又は既に検出されている眼を追跡するステップと、検出された眼又は追跡される眼の３Ｄ座標を判定するステップと、両眼を形成するために、検出された眼又は追跡される眼を割り当てるステップと、両眼の３Ｄ座標を提供するステップとから成る方法が提案される本発明に従って解決される。
【００１４】
好適な実施形態において、画像データは、少なくとも１つの画像センサにより記録されるビデオシーケンスの形態で受信される。あるいは、画像データの受信は、他の送信方法を使用して、例えば単一画像の形態でも可能である。
【００１５】
眼を検出する処理ステップは、画像データにおいて１つ又は複数の顔を識別するステップと、少なくとも１つの識別された顔の３Ｄ座標を判定するステップと、識別された顔上に第１の探索域を定義するステップと、その第１の探索域内で少なくとも一方の眼を検出するステップとを含む。画像内の顔を識別する種々の方法及び装置が従来技術において周知であり、それらは本明細書中に参考として完全に含まれる。この場合、通常、識別された顔の位置情報は２Ｄ座標の形態で出力される。顔の位置の３Ｄ座標を完成するためのＺ座標は、従来技術から周知であるように２つの画像センサから受信される画像データの立体解析により検出されるか、又は他の任意の周知の方法、例えば距離測定により検出されるのが好ましい。顔の３Ｄ情報を判定すると、顔上の眼の位置の周知のモデルを適用することにより、非常に高い確率で顔の少なくとも一方の眼を含む領域を定義できる。識別された顔に適用可能なモデルがない場合、眼の探索が実行される領域は顔全体を含んでもよい。この領域は、眼に対する第１の探索域として理解され且つ以下でそのように呼ばれる。眼を検出する後続のステップは全て、この第１の探索域に限定される。次のステップにおいて、少なくとも一方の眼が第１の探索域内で検出される。眼が検出されない場合、例えば瞼が閉じられたため、この画像の顔の中で検出可能な眼がないと仮定され、眼は存在しないと考えられる。他の全ての場合において、各顔で検出された眼は、後続の処理ステップにおいて更に処理される。通常、小さな探索域内で眼を探索することにより、顔全体又は画像全体を含む探索域内で探索するよりはるかに速く結果が得られる。
【００１６】
更なる処理ステップにおいて、検出された眼の３Ｄ座標が判定される。好適な実施形態において、この判定を達成するために別の立体解析が適用されるが、物体の３Ｄ座標を判定する他の任意の周知の方法が適用されてもよい。その後、検出された眼は両眼を形成するために割り当てられる。この場合、眼の３Ｄ座標に基づいて計算可能な両眼の間の距離が両眼のモデルの周知の眼の間隔と比較されるか、又は他の任意の適切な割り当て方法、例えば本明細書において好適である分類が適用される。両眼として検出された眼を更に処理する場合、両眼の３Ｄ座標を判定することが好ましい。これは、これらのデータに基づいて周知の顔・眼モデルを使用して眼の位置及び顔の位置が検出されるため、一度識別された顔の後続の追跡に必要なデータ量を減少できるからである。
【００１７】
一般に、既に検出されている両眼の追跡は、識別された顔上に少なくとも１つの第２の探索域を定義するステップと、この探索域内で両眼を追跡するステップとを含む。１つの態様によると、第２の探索域は各眼に対して定義される。この場合、眼を検出するステップにおいて判定される両眼は、更なる追跡の開始点として使用される。調査された両眼が追跡される領域は眼の３Ｄ座標に基づいて定義される。そのように定義された領域は、第１の探索域より小さいのが好ましく、視線追跡に対する第２の探索域として理解され且つそのように呼ばれる。そのように定義された両眼の追跡により、眼又は顔が高速又は広範囲で運動する場合であっても、充分に小さい第２の探索域を定義できるため、両眼をリアルタイムで追跡できる。
【００１８】
少なくとも一方の眼を検出することは、画像データを提供する画像センサから識別された顔までの距離に依存して、眼の一部の予想サイズを計算するステップと、画像データを提供する画像センサから識別された顔までの距離に依存して、第１の探索域における分割に対する閾値として階調値を計算するステップと、コントラストを向上するために第１の探索域を前処理するステップと、その前処理後に第１の探索域を分割するステップと、分割された第１の探索域において少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと、計算された各結合領域のサイズを判定するステップと、眼の一部の予想サイズと結合領域の判定サイズとを比較するステップとを更に含む。ここで、結合領域の判定サイズが眼の一部の予想サイズと少なくともほぼ一致する場合、結合領域は検出された眼を表す。この場合、画像データ中の他の物体から眼の関連部分をより明確に区別できるように、画像データにおけるコントラストは変更される。これにより、本方法を適用する場合に、特に、画像データを提供する画像センサから更に遠く離れた眼であっても検出することが可能になる。
【００１９】
本発明の１つの態様によると、前処理ステップは、第１の探索域における階調値ヒストグラムの平坦化を含む。
【００２０】
本発明の別の態様によると、既に検出されている眼の追跡は、画像データを提供する画像センサから識別された顔までの距離に依存して眼の一部の予想サイズを計算するステップと、第２の探索域における最小階調値を判定するステップと、第２の探索域における閾値である階調値にわたり反復するステップとを更に含む。この場合、少なくとも両眼が検出されると反復は終了する。反復は、画像データを提供する画像センサ、現在の反復ステップ及び最小階調値による識別された顔までの距離に依存して、第２の探索域における分割に対する閾値として階調値を計算するステップと、第２の探索域を分割するステップと、分割された第２の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと、計算された各結合領域のサイズを判定するステップと、眼の一部の予想サイズと結合領域の判定サイズとを比較するステップとを含む。ここで、結合領域の判定サイズが眼の一部の予想サイズと少なくともほぼ一致する場合、結合領域は追跡される眼を表す。これらの処理ステップにより、特に、より遠隔に位置する眼をリアルタイムで追跡でき且つ眼の３Ｄ座標に関して従来の方法で可能なものより正確な結果を得られる。
【００２１】
本発明の別の態様によると、探索域の分割は、例えば２値化である効率的な方法を使用して達成される。更に、好適な一実施形態によると、両眼を形成するための眼の割り当ては、所定の眼と検出された眼に対する眼以外の部位との類似性に基づいて両眼に属する眼を判定するサポートベクトルマシンを用いる分類により実行される。しかし、両眼を形成するための眼の割り当ては、分類にもサポートベクトルマシンの使用にも限定されない。
【００２２】
更に本発明は、コンピュータ上で実行する場合に、本発明に係る方法を実行するようにコンピュータを制御するコンピュータプログラムに関する。
【００２３】
更に本発明は、少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する装置であって、少なくとも１つの画像センサから少なくとも１つのデジタルビデオ信号のシーケンスを含む画像データを受信する手段と、画像データにおいて眼を検出する手段と、画像データにおいて既に検出されている眼を追跡する手段と、検出された眼又は追跡される眼の３Ｄ座標を判定する手段と、両眼を形成するために検出された眼又は追跡される眼を割り当てる手段と、両眼の３Ｄ座標を提供する手段とを具備する装置に関する。画像データにおいて既に検出されている眼を追跡する手段は、画像データにおいて１つ又は複数の顔を識別する手段と、少なくとも１つの識別された顔の３Ｄ座標を判定する手段と、識別された顔上に第１の探索域を定義する手段と、第１の探索域内で少なくとも一方の眼を見つける手段とを更に含む。特に、画像データにおいて既に検出されている眼を追跡する手段は、識別された顔上に第２の探索域を定義する手段と、第２の探索域内で両眼の眼を追跡する手段とを含む。
【００２４】
本発明の更なる好適な態様は、従属請求項において定義される。
【００２５】
例示する目的で、添付の図面に関連して本発明の好適な実施形態を以下に説明するが、実施形態はそれらに限定されない。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明に係る方法を示すフローチャートである。
【図２】図２は、本発明の一実施形態に従って、眼の検出処理を示すフローチャートである。
【図３】図３は、本発明の一実施形態に従って、顔上に定義された第１の探索域を有する画像データを示す図である。
【図４】図４は、本発明の一実施形態に従って、既に検出されている眼を追跡する処理を示すフローチャートである。
【図５】図５は、本発明の一実施形態に従って、顔上に定義された第２の探索域を有する画像データを示す図である。
【図６】図６は、本発明の一実施形態に従って、両眼を形成するために眼を割り当てる処理を示すフローチャートである。
【図７】図７は、本発明の一実施形態に係る装置を示す図である。
【図８】図８は、本発明の一実施形態に従って、オブジェクト指向設計のコンピュータプログラムの処理を示すフローチャートである。
【発明を実施するための形態】
【００２７】
図１は、本発明に係る方法の第１の実施形態を示す。前記方法は、少なくとも２５Ｈｚの再生速度で最大４人の観察者の眼をリアルタイムで検出し且つ追跡できる。従って、方法により、最大４人の観察者を、少なくとも毎秒２５画像の検出及び追跡頻度で処理でき、もしくは１人の観察者を例えば毎秒６０画像の検出及び追跡頻度で処理できる。ステップ１１０において、１つ又は複数の画像センサにより記録され、且つシリアルインタフェースなどの送信手段を介してビデオシーケンスの形式で送信される画像データが受信される。本明細書の好適な実施形態において、画像センサにより記録される画像データは能動照明により照らされる。画像センサが画像を記録できるようにするために、画像センサの検出範囲は光を用いて照らされる。本発明の一実施形態によると、ここでは赤外光を用いる照明が好ましく、これは約７００〜９５０ｎｍの範囲、好ましくは８５０ｎｍの波長を有する。能動照明は、画像データにおいて被写体の眼を強調表示するのに役立つ。
【００２８】
瞳孔がその周囲に比べて特に暗く見える、いわゆる「暗瞳孔効果」は、能動照明が画像センサの光軸から相対的に遠くに配置される場合に生じる。「明瞳孔効果」の場合、能動照明は画像センサの光軸に近接して配置されるため、写真術における「赤目現象」と同様に、放射光は眼の背景から反射され、画像センサにより記録される。
【００２９】
一実施形態によると、「暗瞳孔効果」が好適な効果である。他の効果、例えば瞳孔がその周囲より明るく見えることを意味する「明瞳孔効果」も、眼又は眼の関連部分を周囲から区別できるようにするために、利用可能である。
【００３０】
画像センサは、能動照明と関連して、眼が画像センサから遠くに位置する場合であっても以下のステップにおいて眼の検出及び追跡が可能な限り少ない誤差で達成されるように設計される。検出範囲は、本発明に係る方法により制限されないが、使用される画像センサにより制限される。ここで好適な実施形態において、この検出範囲は、実際に使用される画像センサに応じて、画像センサから約０．５ｍ〜３．５ｍの距離の範囲にわたる。しかし、適切な画像センサが使用される場合、本発明に係る方法を用いてより大きい検出範囲も達成可能である。画像データは、ビデオデータ圧縮のための周知の方法により圧縮可能であり、又は生データの形式で更なる処理のために利用可能である。
【００３１】
受信された画像データは顔識別ステップ１１５に提供される。顔は従来技術の顔検出方法を利用して識別される。ステップ１１５において、通常、顔はパターン認識ルーチンを使用して画像データにおいて識別される。顔が識別されると、好ましくは３Ｄ座標の形式で、画像センサに関する顔の空間位置を特定する座標が判定される。３Ｄ座標の座標系の原点は、方法が実行される前に定義される。１つの画像センサを用いる好適な実施形態において、原点は、画像センサの光軸及び画像センサ自体により定義される。２つの画像センサを用いる一実施形態において、原点は画像センサの光軸を結ぶ線分の中心及び画像センサ自体により定義される。３Ｄ座標は、少なくとも２つの画像センサにより記録される２Ｄ画像の立体解析を適用することにより判定されるのが好ましい。立体解析において、識別された顔の視差が画像データにおいて検出される。視差は、空間中の点が少なくとも２つの画像センサの双方により検出される場合に、異なる座標を有する記録画像データにおいて、それら２つの画像センサが異なる方向からその点を検出することにより画像データにおいて表現される立体画像の画像データ中の画素の座標の距離である。画像センサは、画像データを提供する画像センサに関する空間中の点の距離で立体画像中の画素の視差を撮像する関数を検出するために測定され、またその逆も成立つ。その後、画像センサからの距離はこの関数を適用することにより判定され、従って、３Ｄ座標のＺ座標はその距離に基づいて判定可能である。あるいは、Ｚ座標は、従来技術において周知である他の任意の方法を使用して判定可能である。
【００３２】
一実施形態において、画像データを提供する画像センサから顔までの距離は、３Ｄ座標に基づいて判定されるのが更に好ましい。画像センサから顔までの距離は、他の方法を使用して、例えばレーザを用いる距離測定によっても判定可能である。
【００３３】
ステップ１１５における画像データ中の顔の識別は、まだ検出されていないか又は追跡中に見失われた顔を見つけるために画像データが探索されるよう、画像データの受信と同期して実行されるのが好ましい。従って、好適な実施形態において、既に識別されている顔及びそれらの位置は格納されるものとする。好適な方法は、新しい顔の識別がステップ１３０における眼追跡と関係なく実行されるように更に設計される。画像データにおいて顔が識別された場合、ステップ１２０において、それらの顔が既に追跡されているか否かがチェックされる。これは、眼の間隔又は顔の比率等の格納された顔の特徴、又は好ましくは３Ｄ座標に基づいてチェックされる。このようにチェックの結果、識別された顔がまだ追跡されていない場合、その顔の眼、もしくは両眼はまだ検出されていない。本実施形態では、ステップ１２５において、識別された顔上に少なくとも１つの第１の探索域を定義し、且つ定義された探索域内で少なくとも一方の眼を検出することにより、眼は顔の中から検出される。顔が既に追跡されている場合、顔の両眼の少なくとも一方の眼が追跡される第２の探索域を定義することにより、更なる追跡が実行される。一実施形態において、第１の探索域は第２の探索域より大きいのが好ましい。好適な実施形態において、ステップ１２５及びステップ１３０にて、少なくとも一方の眼が第１の探索域の各々において検出され、その後第２の探索域において追跡されるのが好ましい。ステップ１３５における、両眼を形成するための検出もしくは追跡される眼の割り当ては、３Ｄ座標であるのが好ましい座標を判定した後に実行されるのが好ましい。検出もしくは追跡される両眼は、方法の反復実行、又は本明細書中で説明する実施形態の一部ではない他の用途の更なる処理に対して提供される。ステップ１４０において、両眼の３Ｄ座標は、図７を参照して以下に説明するようにコンピュータ７２５により更に処理されるために、例えば適切なインタフェース７２０を介して提供される。
【００３４】
図２及び図３を参照して、方法の他の好適な実施形態を説明する。図２に示す処理は、図１のステップ１２５において眼を検出する動作を詳細に説明する。処理は、顔がまだ追跡されておらず、その上、その顔の中に眼が検出されていないと判明した場合に開始される。眼は、識別された顔の現在の画像データ及び３Ｄ座標に基づいて検出される。処理ステップ２１０において、少なくとも１つの第１の探索域３１０が識別された顔上に定義される。この場合、第１の探索域のサイズは、選択された顔検出方法の特徴及び精度に依存する。好適な一実施形態において、第１の探索域は約５０ｍｍ×５０ｍｍのサイズを有する。第１の探索域３１０は、顔の判定された３Ｄ座標及び顔の形状を使用して定義される。この情報に基づいて、この顔の眼が位置する可能性が最も高い領域が計算され、それにより、第１の探索域はその計算された領域に基づいて画像データにおいて定義される。図３は画像３２０中の定義された第１の探索域３１０を示す。第１の探索域３１０は顔の中の各眼に１つずつ対応し、前記眼は「暗瞳孔効果」を使用して指定される。更なる処理ステップは、第１の探索域の各々においてのみ実行される。これは、顔上の調査領域がはるかに小さくなるという効果を有し、そのため、計算負荷及び方法の効率に好影響を及ぼす。ステップ２１５において、画像データを提供する画像センサから顔までの距離に基づいて、識別された顔の眼の一部のサイズが計算される。一実施形態において、眼のこの部分は眼の瞳孔である。これは、「暗瞳孔効果」が採用される場合、瞳孔が眼の他の部分に対して特に異なって強調表示されるためである。別の実施形態において、眼の瞳孔に加えて虹彩が眼の関連部分として使用される。距離は、識別された顔の３Ｄ座標に基づいて計算されるか、又は従来技術において周知である他の任意の方法により計算される。更に、距離値は、更なる使用のために処理ステップ１２５に渡されるのが好ましい。眼の瞳孔の予想サイズは、適切なアルゴリズムを適用することにより計算されるが、本明細書においてこれを更に詳細に説明しない。眼を検出する更なるステップは、ステップ２２０における第１の探索域の分割に対する閾値の計算を含む。
【００３５】
ここでの分割は、ある特定の等質基準に従って隣接画素を組み合わせることにより、内容に関する限り関連する領域が作成される画像処理方法である。好適な実施形態において、階調値が等質基準として使用される。画像処理において、階調値は個々の画素の輝度値又は強度値である。尚、階調値は画像データの色に依存しない。
【００３６】
好適な一実施形態において、画像データは、白色から黒色まで２５６個の中間レベルの階調値を含む。階調値は、画像データを提供する画像センサから識別された顔までの距離に依存して、後続の処理ステップにおいて使用される閾値として計算される。画像センサからの距離が変化するに従って、輝度値及び強度値が画像データにおいてシフトされるため、閾値はその距離を考慮して計算されるのが好ましい。更なるステップ２２５において、第１の探索域は、眼の瞳孔又は眼の瞳孔及び虹彩等の画像の関連部分を、画像の他の部分から更に区別するために前処理される。
【００３７】
ここで好適な実施形態において、この前処理ステップは、第１の探索域における階調値ヒストグラムの平坦化を含む。ヒストグラムの平坦化において、画像データにおける階調値又は色値の統計分布は、階調値又は色のより適切な分布を達成するために平坦化関数を使用して変換され、それにより、コントラストを向上し且つ探索域内の画像データの内容を正規化する。これは、画像データを提供する画像センサから顔までの距離に起因し、能動照明の効果の減少又は追加の照明効果（例えば赤外光を多く有する入射太陽光）により引き起こされる、画像データにおける異なる輝度の影響を減少させ、そのため、更なる処理のために同様のコントラスト値を作成するのに役立つ。
【００３８】
第１の探索域内の画像データがこのように処理されると、ステップ２３０において分割が実行される。画素の階調値に基づく画素の割り当てを可能にする任意の適切な方法がこの分割に使用可能である。一実施形態によると、好適な分割方法は画素の２値化である。ステップ２２０において計算された閾値がこの２値化に使用される。第１の探索域内の画素は、それらの階調値が閾値より小さい場合に値１を与えられ、それらの階調値が閾値より大きい場合に値０を与えられる。画素の階調値が閾値より小さい場合に値０が画素に与えられ、且つ階調値が閾値より大きい場合に値１が画素に与えられる画素の逆２値化も使用可能である。このようにして、第１の探索域において、閾値より大きい関連画素のみが値１を与えられることにより黒色として出現し、他の全ての画素が値０を与えられることにより白色として出現することが達成される。後続の処理ステップ２３５において、分割された探索域で結合領域が計算される。結合領域は、隣接画素が同一の特性に基づいて、例えばそれらの階調値に関して同類に属すると判明した領域である。
【００３９】
好適な一実施形態において、８画素の結合領域が計算される。これは、個々の例において、例えば４画素の結合領域より適切に画素の結びつきを表現する。１つの画素に隣接する８個の画素の全てが考慮され、これらの隣接画素が同一の階調値を有するかが計算される。４画素の結合領域の場合、水平方向又は垂直方向に隣接する画素のみが考慮される。同一の階調値を有する全ての画素は、同一の結合領域に割り当てられる。一実施形態によると、階調値のある特定の範囲に存在する画素は、共通の結合領域に割り当てられる。
【００４０】
後続のステップ２４０において、計算された結合領域のサイズが判定される。その後、計算された各結合領域の判定サイズは、眼の瞳孔又は眼の一部の予想サイズと比較される。サイズ比較ステップ２４５において、結合領域のサイズが眼の瞳孔の予想サイズとほぼ同一であることが判明した場合、結合領域は眼であると決定される。他の全ての場合、結合領域は眼ではない。当然、このようにして第１の探索域内に複数の眼が検出されることがあり、それらは、両眼を形成するために割り当てる処理ステップ１３５において更に処理される。本実施形態によると、眼を見つける処理ステップはステップ２５０で終了し、検出した眼を提供する。第１の探索域内で眼が検出されなかった場合、処理は、より大きな第１の探索域を用いて繰り返されるか、又は識別された顔の中に検出可能な眼がないものとして終了される。
【００４１】
別の好適な実施形態において、多くのテストパターン及びテストパターンシーケンスにて検出性能を測定することにより、閾値、閾値を計算するアルゴリズム、又は閾値を計算するアルゴリズムのパラメータが検出され、且つ最適化される。この場合、画像データを提供する画像センサまでの距離が増加するにつれて、例えば能動照明の能力及び効果が減少するため、画像データを提供する画像センサから顔又は眼までの距離が考慮される。閾値を計算する実際のアルゴリズムを以下に示す：
閾値＝最小輝度値＋初期値＋（最大距離−距離）／１００
式中、最小輝度値は分割される領域内の画素の最低輝度であり、初期値は上述の最適化測定中に判定された値に基づいて定義される値であり、最大距離は画像データを提供する画像センサから観察者までのｍｍ単位の最大可能距離であり、距離は画像データを提供する画像センサから顔又は眼までのｍｍ単位の実際の距離である。
【００４２】
図４及び図５を参照して、方法の他の好適な実施形態を以下に説明する。図４に示す方法は、図１のステップ１３０において眼を追跡する個々の動作を詳細に説明する。眼の検出ステップとは異なり、既に検出されている眼を追跡する場合、ステップ４１０において、眼を追跡するための第２の探索域が眼の既知の位置に基づいて定義される。第２の探索域は、対応する第１の探索域より小さく定義されるのが好ましい。通常、第２の探索域のサイズは眼のサイズとほぼ一致し、この場合、第２の探索域のサイズは、画像センサにより記録される画像データの再生速度、並びに眼の動きの自由度及び運動速度に依存して動的に拡大可能である。更なる好適な一実施形態において、第２の探索域は約２０ｍｍ×１５ｍｍのサイズを有し、この場合、眼は第２の探索域に完全に含まれると仮定される。第２の探索域５１０は、以下のようにして顔３２０上に定義される。図１の処理ステップ１３０において、追跡される眼の３Ｄ座標は、前に実行された処理ステップ、特に先行の画像データのステップ１４０から既知である。例えば、眼の複数の前の３Ｄ座標に基づいて、検出され且つ追跡される眼がある特定の方向において、ある特定の速度で相対運動を実行するかが判定される。そのように相対運動が行われると確認される場合、現在の画像における眼の位置の予測は計算可能である。これに対して、多くの方法が従来技術において周知であり、それらは本明細書に参考として完全に含まれる。その後、第２の探索域は眼の予測位置を考慮して対応して定義される。相対運動が検出されなかったか又は眼が先行のステップにおいて初めて検出された他の例において、第２の探索域は、先行のステップ１４０において検出された眼の位置に基づいて定義される。
【００４３】
既に識別されている顔３２０上での第２の探索域５１０の例示的な定義を図５に示す。これらと図３の探索域３１０とを比較すると、第２の探索域５１０がはるかに小さいことは明らかである。そのため、第２の探索域内の画素数は少なく、計算負荷は最小限にされる。
【００４４】
第２の探索域を定義した後、ステップ４１５において、画像データを提供する画像センサから眼までの距離に依存して、眼の一部のサイズが計算される。計算は、例えば上記のステップ２１５において説明したように実行される。その後、ステップ４２０において、第２の探索域内で最小階調値が判定される。この場合も、最小階調値は従来技術において周知の画像処理方法を使用して判定される。ステップ４２０の判定された最小階調値は、以下の反復において引き続き使用される。反復は、分割に対する現在の閾値として階調値を計算するステップ（ステップ４２５）と、探索域を分割するステップ（ステップ４３０）と、結合領域を計算するステップ（ステップ４３５）と、結合領域のサイズを判定するステップ（ステップ４４０）と、判定サイズと予想サイズとを比較するステップ（ステップ４４５）とから成る。ステップ４４５の完了後、少なくとも２つの眼が検出された場合、反復はステップ４５０において終了する。他の全ての場合、別の反復ステップが実行される。好適な一実施形態において、比較ステップで検出された眼の数に関係なく、反復ステップの数が４つに制限されるため、反復は４番目の反復ステップ後に終了され、それまでに検出された眼のみを提供する。各反復ステップにおいて、最初に階調値が判定され、これは後続の分割に対する閾値として使用される。現在の閾値は、画像データを提供する画像センサから眼までの距離、ステップ４２５からの最小階調値、及び現在の反復ステップを考慮して、周知の方法を使用して判定される。後続の分割において、画像データ中のより多くの領域が閾値を使用して潜在的に眼を含む領域として分類されるように、閾値は各反復ステップにおいて更に調整される。
【００４５】
上述の実施形態に係る視線追跡の処理はステップ４５５で終了し、追跡可能な眼を提供する。
【００４６】
上述のように、多くの周知の分割方法が採用可能である。好適な一実施形態において、２値化法が画像処理関数として使用される。上述のように、画素の階調値が閾値より小さい場合にその画素は値０を与えられ、且つ階調値が閾値より大きい場合に値１を与えられるか、又は画素の階調値が閾値より小さい場合にその画素は値１を与えられ、且つ階調値が閾値より大きい場合にその画素は値０を与えられる。
【００４７】
２値化の後、結合領域が上述のように計算される。上述の８画素の結合領域は結合領域の好適な種類である。その後、各結合領域のサイズが判定される。この判定サイズは眼の一部、例えば本実施形態において好適である眼の瞳孔の予想サイズと比較される。予想サイズが判定サイズとほぼ同一の場合、眼が検出されたと仮定される。この比較は、計算された結合領域毎に実行される。全ての結合領域のサイズが眼の一部の予想サイズと比較される場合、その反復ステップにおいて検出された眼の数が判定される。少なくとも２つの眼が検出された場合、現在の画像データにおける眼の追跡は終了される。その後、図１に従う処理は、検出された眼を用いてステップ１３５にて続行される。
【００４８】
例えば４つの反復ステップが実行された場合にも、反復が終了されるのが有利である。少なくとも２つの眼が依然として検出されていない場合、利用可能な計算資源に応じて、反復は、より少ない反復ステップの後に終了されてもよく、又はかなり多い反復ステップの後に終了されてもよい。
【００４９】
反復ステップにおける分割に対する閾値は、ステップ１２５で使用された計算アルゴリズム及びそこで導入されたパラメータに従って計算される。計算は、以下のように実行されるのが有利である：
閾値＝最小輝度＋初期値＋反復値＋（最大距離−距離）／１００
式中、反復値は、ステップ幅を１とする０〜Ｘの範囲であって、既に実行された反復ステップの数を表す値である。反復ステップの最大数Ｘは、上述の測定において検出された値の最適化により判定可能である。本明細書中で説明する実施形態において、反復の最大数は４である。
【００５０】
従って、第２の探索域内で眼を追跡する場合、反復ステップの既定の最大数の完了後であっても眼が検出できない可能性がある。そのような場合、眼を追跡するステップは、例えばより大きな第２の探索域において繰り返されるか、又は眼を検出するステップが再度実行される。
【００５１】
一実施形態によると、第２の探索域を定義する時、両眼の３Ｄ座標が１つの画像内で検出されてから後続画像内で追跡されるまで変化していないか又は僅かにしか変化していない場合、その両眼の３Ｄ座標はその後続画像に続く画像においても（ほぼ）同一であると仮定される。その反対に、多くの画像にわたって眼を検出する際に、追跡された両眼の３Ｄ座標が初期の３Ｄ座標から遠くに移動した場合、一般に、次の画像の３Ｄ座標及び第２の探索域は、例えばカルマンフィルタリングなどのの周知の方法を使用して、上述の動き及び運動速度により定義される動きベクトルを使用して予測可能である。
【００５２】
図６を参照して、方法の更に好適な実施形態を説明する。図６に示す処理は、図１のステップ１３５において両眼を形成するために眼を割り当てる動作を詳細に説明する。眼を検出するステップ及び眼を追跡するステップにおいて検出された眼は、両眼を形成するために割り当てられる。最初に、ステップ６１０において、それら検出された眼の３Ｄ座標が上述のように判定される。好適な一実施形態において、両眼を形成するための眼の割り当ては、分類により実行される。分類法はオブジェクトをクラスにグループ化するための方法及び基準である。画像データ中のオブジェクトを割り当てるのに、従来技術において周知である適切な分類器が使用される。好適な一実施形態において、分類器はサポートベクトルマシンである。サポートベクトルマシンは、オブジェクトを含まない可能な限り広い範囲により、クラスの境界が包囲されるように１組のオブジェクトをクラスに分割する。この分割に対する必要条件として、サポートベクトルマシンは区別される組のトレーニングオブジェクトを学習させられる。好適な一実施形態において、種々の眼を示す第１の画像の組及び種々の眼以外を示す第２の画像の組が、ステップ６１５において形成される。通常、これらの組は処理が実行される前に形成されるが、両眼を形成するために眼を割り当てるステップが実行される直前に形成されてもよい。ステップ６２０において、サポートベクトルマシンは、画像データにおける眼の分類が可能になるように、これら２つの組を学習させられる。その後、検出された眼又は追跡される眼は、ステップ６２５において、サポートベクトルマシンのパターン比較により比較され、それらが眼のクラス又は眼以外のクラスに対してある特定の一致度を示す場合、いずれかのクラスに追加される。分類の結果は、トレーニングオブジェクトとしてサポートベクトルマシンに提供される。その後、サポートベクトルマシンは、両眼を形成するために眼を割り当て、両眼は眼のクラスに追加される。上述の実施形態に従う両眼を形成するための眼の割り当てはステップ６３５で終了し、割り当てられた両眼を提供する。
【００５３】
図７を参照して、両眼の３Ｄ座標をリアルタイムで見つけ且つその後追跡する装置の好適な一実施形態を説明する。図は、例えば共通の担持体構成に装着されている並列配置の２つの画像センサ７１０、各画像センサに対する能動照明手段７１５、及び本発明に係る方法を実行する中央制御コンピュータ７２５へ各画像センサの画像データを送信する手段７２０を示す。好適な一実施形態において、画像センサ７１０は、「暗瞳孔効果」を表す画像データを記録するように、照明手段７１５に関連して設計される。画像センサは、使用される画像センサが充分に鮮明な画像データを提供することが保証されるように、特定の検出範囲に対する非自動焦点光学系を取り付けられる。例えば０．５ｍ〜３．５ｍ以上の検出範囲を含む画像センサ、あるいは０．５ｍ〜１．５ｍ及び／又は１．８ｍ〜３．０ｍのより小さい範囲を含む画像センサが使用されるのが有利である。一実施形態によると１つの光源のみを含むことができる能動照明手段７１５は、約８５０ｎｍの波長を有するパルス赤外光を放射するように設計されるのが好ましい。画像センサに関する能動照明の構成は、画像センサに関する検出され且つ追跡される被写体の空間位置により判定される。制御コンピュータ７２５は、各画像センサの画像データを送信する手段７２０を介して画像センサによる画像データの記録を制御し、その場合、能動照明もこれら送信手段を介してオン及びオフされる。一実施形態によると、各画像センサの画像データを送信する手段７２０は単一のシリアルインタフェースの形態で実現される。
【００５４】
別の好適な実施形態において、画像センサ及び能動照明の同期制御は、例えばクロックパルス発振器の形態で実現される。画像センサにより記録された画像は送信手段７２０を介して中央制御コンピュータ７２５へ送信される。制御コンピュータ７２５の現在市販されているハードウェア構成要素により、本発明に係る方法は、最大４人の観察者を検出し且つ追跡するのに、毎秒２５画像以上の検出及び追跡頻度で実行される。使用されるハードウェア構成要素は非常に小型であるため、例えばモニタのケースに一体化可能である。制御コンピュータ７２５により検出され且つ追跡される眼は、更なる使用のために別のインタフェース（不図示）を介して送信可能である。好適な一実施形態において、画像データを送信する手段７２０及び更なるインタフェースは、シリアルインタフェースの形態で実現される。好適な一実施形態において、装置は、方法をリアルタイムで実行するように、すなわち現在受信した画像データと一致する各画像内で眼を検出し且つ追跡するように設計される。
【００５５】
本発明に係る方法は、例えば制御コンピュータ７２５のようなコンピュータを制御する実行可能なコンピュータプログラムの形態で実現されるのが更に好ましい。図８を参照して、コンピュータプログラムの形態である好適な一実施形態を説明する。図８に示す実施形態は、オブジェクト指向パラダイムに従ってコンピュータプログラムのドラフトルーチンを説明する。この場合、当業者はドラフトにより、適切な開発環境においてオブジェクト指向のコンピュータプログラムを実現できる。
【００５６】
以下に説明するオブジェクト及びインスタンスは、上述の処理ステップの２つ以上を部分的に実現するか、又はオブジェクト及びインスタンスにおいてそれらを組み合わせる。従って、これらのオブジェクト及びインスタンス、並びにそれらで実行される処理ステップは、上述の処理ステップとは異なる名称を与えられる。しかし、これは、処理が異なることを意味するわけではない。以下に説明する実施形態は、本発明に係る方法の１つの可能なオブジェクト指向物理形態として解釈されるにすぎない。
【００５７】
制御メインインスタンス８１０はメインループであり、従って、以下に詳細に説明する処理ステップ又は処理グループを制御するための制御インスタンスである。以下の処理ステップは、メインインスタンス８１０において表され且つ実現される：
−画像データの取得；
−追跡器インスタンス８２０の呼び出し；
−有効な眼の位置として検出される全ての眼の位置に対して、追跡器インスタンス８２０により眼の３Ｄ座標を計算；
−３Ｄ座標を許容範囲内に制限することによるフィルタリング。更なる実施形態によると、フィルタリングステップは、ノイズフィルタリングと、システムの遅延を補償するための顔の３Ｄの運動速度に基づく３Ｄ位置の事前計算又は予測とを含む。３Ｄ位置は、典型的なシステム遅延である、６０ｍｓ毎の予測であるのが有利である。ここで、システム遅延は、画像データの受信から両眼の３Ｄ座標の出力までに経過する時間であると理解される。
【００５８】
−対応して更に結果を処理できるようにするために、出力インタフェース８７０を介して結果として得られた３Ｄ座標を送信。
【００５９】
入力情報は、１つ又は複数の画像センサによりデジタルビデオ信号のシーケンスの形態で取得される画像データを含む。出力情報は、全ての両眼の３Ｄ座標を含む。
【００６０】
複数のコンテキストインスタンス８４０−１、．．．、８４０−ｎは、顔検出１１５、眼検出１２５、及び瞳追跡１３０の相互作用の調整及び管理に対する管理構成を表すために実現される。各コンテキストインスタンス８４０には、顔検出１１５のための顔検出器インスタンス８５０、及び顔検出器インスタンス８５０により判定される対応する眼の探索域における眼検出１２５のための眼検出器インスタンス８６０が割り当てられる。従って、眼検出器インスタンス８６０により検出された眼は、顔検出器インスタンス８５０により検出された顔に属する。コンテキスト８４０が被写体に割り当てられない場合、それはフリーであると定義され、従って、新しい被写体を追跡するために利用可能である。
【００６１】
コンテキストインスタンス８４０の主要な処理ステップは以下を含む：
−被写体毎に１つの顔検出器インスタンス８５０及び１つの眼検出器インスタンス８６０を管理；
−１つの被写体が検出及び追跡の許容範囲内に留まっている間、その被写体に対するこれら２つのインスタンス８５０、８６０を参照；
−コンテキスト８４０の制御割り当て及び管理。利用可能なコンテキスト８４０より少ない被写体が検出及び追跡範囲内に位置する場合、コンテキスト８４０はフリーのままであり、全てのコンテキスト８４０が占有されると、更なる被写体は検出されず且つ追跡されない。
【００６２】
更に、コンテキスト８４０内での個々の顔検出器インスタンス８５０及び眼検出器インスタンス８６０の相互作用は、追跡器インスタンス８２０により調整及び管理される。
追跡器インスタンス８２０の主要な処理ステップは以下を含む：
−顔検出器インスタンス８５０及び眼検出器インスタンス８６０の２つの検出器オブジェクトを初期化；
−コンテキストインスタンス８４０−１、．．．、８４０−ｎを管理；
−顔検出器インスタンス８５０から顔の座標を受信し且つ顔管理インスタンス８３０へ送信；
−フリーのコンテキスト８４０に新たに検出された顔を割り当て；
−各占有されたコンテキスト８４０の顔検出器インスタンス８５０及び眼検出器インスタンス８６０に対するアルゴリズムを呼び出し；
−全ての両眼の３Ｄ座標を計算。
【００６３】
入力情報は画像データを含み、出力情報は全ての両眼の３Ｄ座標を含む。
【００６４】
追跡器インスタンス８２０の特定のステップは以下を含む：
−新しい顔の座標が未決定であるか否かを入力インタフェース８８０で確認し、それらデータを読出して現在の顔の位置のリストに追加；
−少なくとも１つのコンテキスト８４０が利用可能である場合、顔管理インスタンス８３０を呼び出し；
−顔がコンテキスト８４０において既に追跡されているか否かを顔管理インスタンス８３０の顔候補で確認し、重複していると判明した顔候補を削除；
−フリーのコンテキスト８４０の顔検出器インスタンス８５０に新しい顔として認識される残りの顔を割り当て；
−全てのコンテキスト８４０−１、．．．、８４０−ｎに対して、以下のステップを反復：
○顔検出器インスタンス８５０を呼び出す；
○顔検出器インスタンス８５０が顔を追跡している場合は眼検出器インスタンス８６０を呼び出し、それ以外の場合は現在のコンテキスト８４０がフリーである旨の印を付ける；
○眼検出器インスタンス８６０が探索モードであり、且つ眼候補が判定された場合に、
・顔検出器インスタンス８５０により最適な眼候補を選択；
・眼検出器インスタンス８６０を追跡モードに切り替え；
○全てのコンテキスト８４０が処理されるまで、次の占有コンテキスト８４０を処理。
【００６５】
顔検出器インスタンス８５０により受信された顔の座標は、顔管理インスタンス８３０により解析され、顔管理インスタンス８３０は、これら座標に基づいて追跡に対して有効な顔として認識される顔候補のリストを編集する。
【００６６】
この顔管理インスタンス８３０のステップは以下を含む：
−顔検出器インスタンス８５０の検出された顔を管理；
−顔検出器インスタンス８５０により検出された顔に基づいて有効な顔として認識される顔候補のリストを編集；
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算。
【００６７】
入力情報は画像データ及び顔探索に対する探索域を含み、出力情報は検出された顔及びそれらの座標のリストを含む。
【００６８】
特別な機能として、顔管理インスタンス８３０は以下のステップを含む：
−現在の顔の位置のリストが変更された場合に：
○そのリストを解析；
○立体解析により画像データを提供する画像センサから有効な顔までの距離を計算し、検出及び追跡範囲内に位置する顔を顔候補のリストに追加。
【００６９】
追跡される顔は、対応する顔検出器インスタンス８５０により管理される。顔検出器インスタンス８５０は、顔管理インスタンス８３０の顔のリストから１つの顔を割り当てられる。顔は検出及び追跡範囲の外側に移動するまで追跡される。顔検出器インスタンス８５０のステップは以下を含む：
−検出された顔の位置を管理；
−眼検出器インスタンス８６０に対する探索域を計算；
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算；
−対応する眼検出器インスタンス８６０の可能な両眼の候補のリストから最適な両眼を決定。
【００７０】
入力情報は以下を含む：
−画像データ；
−検出された顔に関する情報；
−顔追跡インスタンス８５０に対する探索域；
−両眼の候補のリスト。
【００７１】
出力情報は以下を含む：
−検出された顔及びそれらの座標のリスト；
−眼検出器インスタンス８６０に対する探索域；
−選択された両眼。
【００７２】
特別な機能として、この顔検出器インスタンス８５０は以下のステップを含む：
−現在の顔の位置のリストが変更された場合に：
○顔の位置を更新；
○既に検出されている顔がそれ以上検出されないための後続画像の数に対する尺度である検出／喪失参照カウンタを再設定；
−リストが変更されていない場合に：
○眼検出器が眼を追跡する場合：
・眼の位置に基づいて顔の位置を計算；
・顔の距離／眼の距離を計算；
○眼検出器が眼を追跡しない場合：
・顔は見失われ、検出／喪失参照カウンタは増分される。しかし、顔は依然として検出された顔としてカウントされる；
・検出／喪失参照カウンタがある特定の既定値を上回らない限り、前の顔の位置が格納されたままである。カウンタが既定値を上回ると、顔は存在しないとみなされる。
【００７３】
眼の検出及び追跡は、探索モードにおいて既定の探索域内で眼を検出するか、又は追跡モードにおいて既に検出されている眼を追跡する、眼検出器インスタンス８６０により実行される。このようにして、可能な両眼は判定され、候補のリストは評価基準に基づいて編集される。
【００７４】
眼検出器インスタンス８６０のステップは以下を含む：
−検出された両眼の位置を管理；
−眼の初期探索；
−追跡に対する探索域を計算；
−眼の位置を追跡；
−検出された眼候補の信頼度を判定し、且つ潜在候補を編集。
【００７５】
入力情報は以下を含む：
−画像データ；
−眼の探索及び追跡に対する探索域；
−検出された眼に関する情報；
出力情報は以下を含む：
−両眼及びその座標。
【００７６】
この眼検出器インスタンス８６０の特別な機能は、以下のステップを含む：
−眼検出器インスタンス８６０が探索モードである場合に：
○顔検出器インスタンス８５０により眼探索域を判定；
○眼探索域内で眼を検出するアルゴリズムを適用；
−眼検出器インスタンス８６０が追跡モードである場合に：
○以前の眼の位置及び画像データを提供する画像センサから観察者までの距離を使用して判定された眼の速度に基づいて、探索域の新しい位置及びそのサイズを計算し、予測もしくは推定；
○探索域内で眼を追跡するアルゴリズムを適用；
−候補が見つかった場合に：
○両眼の潜在候補を判定する目的で、種々のテストを実行。テスト及び条件は以下を含む：
・互いに関連する眼の位置及び顔の位置に対する眼の位置；
・眼の間隔及び傾斜；
・検出された位置及び周辺位置の領域における輝度パターンの分類に基づく信頼度。この場合、信頼度がより高い周辺位置は、位置の精度を向上するために後で使用される。
【００７７】
○結果として得られた評価基準に基づく候補のリストを編集；
−眼検出器インスタンス８６０が追跡モードである場合に：
○候補が判定された場合：
・予測された眼の位置に最も近い眼の候補対を選択；
・新しい結果として、現在の眼の位置を更新；
○候補が全く検出されなかったか又は適切な候補が検出されなかった場合：
・眼検出器インスタンス８６０を探索モードに切り替えて、探索を繰り返す。
【００７８】
上記の本発明の実施形態は、上述のように、デジタル信号処理装置（ＤＳＰ）及び／又はプログラマブルデジタル集積回路（ＦＰＧＡ）及び適切な周辺装置及び適切なパーソナルコンピュータ等の制御コンピュータ上で有利に実行される制御プログラム等の適切なハードウェア及びソフトウェアを使用して実現される。
【００７９】
一実施形態によると、特許請求されるコンピュータプログラムは、例えばＲＯＭに格納されたソースコードの形態であるソフトウェア構成要素として、あるいはハードウェア構成要素として、例えばＡＳＩＣ又はＦＰＧＡ内の論理回路として格納又は実現される。例えば、コンピュータプログラムが制御コンピュータのメモリ内のソフトウェア構成要素として格納される場合、これは、一実施形態によると例えばソフトウェア構成要素を実行するための高速デジタル信号プロセッサ（ＤＳＰ）を含む制御コンピュータにより動作中に実行される。
【００８０】
一実施形態によると、データ記憶媒体は、コンピュータプログラムが格納されるＣＤ−ＲＯＭ又はＲＯＭ等の機械可読データ記憶媒体である。
【技術分野】
【０００１】
本発明は、少なくとも１つの顔における両眼の３Ｄ座標をリアルタイムで検出し、且つその後追跡する非接触式方法に関する。
【背景技術】
【０００２】
例えば接触式方法とは異なり、顔を検出し、且つ追跡する非接触式方法は、頭部装着型カメラ又はスポット等の追加の手段を必要としない。これら非接触式方法の利点は、追跡される被写体の動きの自由が物理手段により全く制限されないこと及び被写体がそのような手段の使用により煩わされないことである。
【０００３】
非接触式検出及び追跡方法は、従来技術において周知である。例えば特許文献１及び特許文献２では、記録画像から抽出されるある特定の顔及び眼の特徴を使用して観察者の閲覧方向を検出する方法が開示されている。特許文献１では、観察者により閲覧される物体を見つける方法が説明されているが、特許文献２は、ある特定の期間に渡って眼の動きを追跡することを更に目的とする。
【０００４】
特許文献３では、頭及び眼の動きが高速及び広範囲で行われる場合であっても、ヘッドギアを使用せずに眼の閲覧方向を測定する非接触の方法及び装置が開示されている。眼は赤外光で照らされ、光学系により結像され、少なくとも１つの画像センサにより記録される。その後、そのように生成された画像は、眼の瞳孔の中心の位置を検出し且つ角膜反射を判定することにより閲覧方向を判定するように、メインプロセッサによって構成可能な閲覧方向プロセッサにより処理され、モニタに表示される。
【０００５】
また、特許文献４では、種々の照明条件においてリアルタイムで眼を非接触検出及び追跡する方法が開示される。眼は、一方の画像が眼の「明瞳孔効果」を表し且つ他方の画像が眼の「暗瞳孔効果」を表す能動的に照らされた２つの画像を記録するステップと、これら２つの画像のコントラストが異なる位置でのコントラストだけを示す２つの画像の差分画像を作成するステップと、眼である可能性が高い部分として差分画像内のコントラスト点に印を付けるステップと、差分画像において眼と眼以外とを高確率で区別できるようにするために、参照画像として使用される眼及び眼以外の事前記録画像と眼である可能性が高い部分とを比較するステップとを実行することにより検出される。その後、眼は、カルマンフィルタを適用および予想される眼の位置と差分画像内で実際に検出される眼の位置との比較により検出された後、画像内で追跡される。比較により結果が得られない場合、眼の位置は、画像中の強度に基づいて眼である可能性の高い位置をクラスタ化し且つこれらクラスタと予想位置とを比較するクラスタリングアルゴリズムを使用する、更なるステップにおいて判定される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，５３９，１００Ｂ１号明細書
【特許文献２】欧州特許第０，３５０，９５７Ｂ１号明細書
【特許文献３】独国特許出願公開第１９７，３１，３０３Ａ１号明細書
【特許文献４】国際公開第ＷＯ０３／０７９９０２Ａ１号
【特許文献５】国際公開第ＷＯ２００７／０１９８４２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この従来技術の方法は、多くの欠点を示す。一方では、眼を検出及び追跡する処理は、「明瞳孔効果」を有する１つの画像及び「暗瞳孔効果」を有する１つの画像に基づいてインターレース走査法を使用して作成される画像を利用する。この場合、２つの画像は１つの画像センサにより同時にではなく順次記録される。インターレース走査法により画像の重ね合わせが同時に行われない画像記録は、送信する画像データ量を減少するのに役立つが、リアルタイムでの眼の確実な検出及び追跡ができない。他方では、眼から照明源までの距離が長くなるにつれて、能動照明による効果が減少し、その結果、検出対象である眼が差分画像内の他の物体又はノイズと区別されなくなる。そのため、この方法では、画像センサに対して空間的に非常に近接する眼の検出及び追跡のみが可能である。
【０００８】
特許文献５において、これらの欠点の解消が試みられる。この文献において、眼の位置は階層的に編成されたルーチンを使用して検出される。この場合、処理されるデータ量は、全ビデオフレーム（ＶＦ）のデータ量から開始して対象顔領域（ＧＺ）へ進み、最後に対象眼領域（ＡＺ）に進むことで徐々に減少される。更に、各インスタンス又はインスタンスのグループは常に専用の計算ユニットにおいて実行されるため、それらは並行して実行される。しかし、特許文献５では、眼を検出し、且つ追跡する方法は説明されない。
【０００９】
しかし、眼のリアルタイム検出及び追跡は、ヒューマン・マシン対話において重要な要素である。従って、リアルタイムで正確に眼を検出し、且つ追跡することを可能にする眼の検出及び追跡方法を提供することが特に望まれる。
【００１０】
特に、全空間方向における顔の大きく、素早い動きが起こる可能性のある動的アプリケーションにおいて、Ｚ方向においても位置を正確且つ効率的に判定することが必要である。そのような動的アプリケーションは、例えば、観察者の眼の位置が、空間及び時間の双方において正確に判定される場合にのみ、自動立体画像情報又はホログラム画像情報が実際の眼の位置に導かれ、所望の画像の印象が得られる裸眼立体ディスプレイ又はホログラフィックディスプレイを含む。それに対し、運転者及び操縦士を監視する装置等の従来技術において周知である静的アプリケーションにおいては、通常は被写体の動きの範囲が全空間方向において最小限に制限されるため、検出及び追跡範囲はかなり小さい。
【００１１】
更に、従来技術において周知である方法は、特に２つ以上の顔が識別および追跡される場合、眼の位置情報がリアルタイムで出力されないという問題を示す。
【００１２】
従って、本発明の目的は、充分に大きい検出及び追跡範囲において、１つ又は複数の顔の眼の位置を３つの空間方向の全てにおいて確実、正確、効率的にリアルタイムで検出および追跡することを可能にする一方で、発生する計算負荷が小さい方法を提供することである。特に、本発明の目的は、少なくとも一方の眼を効率的且つ正確に検出することである。
【課題を解決するための手段】
【００１３】
この目的は、少なくとも１つの画像センサの１つ又は複数のビデオ信号のシーケンスとして供給される画像データを受信するステップと、画像データにおいて眼を検出するか又は既に検出されている眼を追跡するステップと、検出された眼又は追跡される眼の３Ｄ座標を判定するステップと、両眼を形成するために、検出された眼又は追跡される眼を割り当てるステップと、両眼の３Ｄ座標を提供するステップとから成る方法が提案される本発明に従って解決される。
【００１４】
好適な実施形態において、画像データは、少なくとも１つの画像センサにより記録されるビデオシーケンスの形態で受信される。あるいは、画像データの受信は、他の送信方法を使用して、例えば単一画像の形態でも可能である。
【００１５】
眼を検出する処理ステップは、画像データにおいて１つ又は複数の顔を識別するステップと、少なくとも１つの識別された顔の３Ｄ座標を判定するステップと、識別された顔上に第１の探索域を定義するステップと、その第１の探索域内で少なくとも一方の眼を検出するステップとを含む。画像内の顔を識別する種々の方法及び装置が従来技術において周知であり、それらは本明細書中に参考として完全に含まれる。この場合、通常、識別された顔の位置情報は２Ｄ座標の形態で出力される。顔の位置の３Ｄ座標を完成するためのＺ座標は、従来技術から周知であるように２つの画像センサから受信される画像データの立体解析により検出されるか、又は他の任意の周知の方法、例えば距離測定により検出されるのが好ましい。顔の３Ｄ情報を判定すると、顔上の眼の位置の周知のモデルを適用することにより、非常に高い確率で顔の少なくとも一方の眼を含む領域を定義できる。識別された顔に適用可能なモデルがない場合、眼の探索が実行される領域は顔全体を含んでもよい。この領域は、眼に対する第１の探索域として理解され且つ以下でそのように呼ばれる。眼を検出する後続のステップは全て、この第１の探索域に限定される。次のステップにおいて、少なくとも一方の眼が第１の探索域内で検出される。眼が検出されない場合、例えば瞼が閉じられたため、この画像の顔の中で検出可能な眼がないと仮定され、眼は存在しないと考えられる。他の全ての場合において、各顔で検出された眼は、後続の処理ステップにおいて更に処理される。通常、小さな探索域内で眼を探索することにより、顔全体又は画像全体を含む探索域内で探索するよりはるかに速く結果が得られる。
【００１６】
更なる処理ステップにおいて、検出された眼の３Ｄ座標が判定される。好適な実施形態において、この判定を達成するために別の立体解析が適用されるが、物体の３Ｄ座標を判定する他の任意の周知の方法が適用されてもよい。その後、検出された眼は両眼を形成するために割り当てられる。この場合、眼の３Ｄ座標に基づいて計算可能な両眼の間の距離が両眼のモデルの周知の眼の間隔と比較されるか、又は他の任意の適切な割り当て方法、例えば本明細書において好適である分類が適用される。両眼として検出された眼を更に処理する場合、両眼の３Ｄ座標を判定することが好ましい。これは、これらのデータに基づいて周知の顔・眼モデルを使用して眼の位置及び顔の位置が検出されるため、一度識別された顔の後続の追跡に必要なデータ量を減少できるからである。
【００１７】
一般に、既に検出されている両眼の追跡は、識別された顔上に少なくとも１つの第２の探索域を定義するステップと、この探索域内で両眼を追跡するステップとを含む。１つの態様によると、第２の探索域は各眼に対して定義される。この場合、眼を検出するステップにおいて判定される両眼は、更なる追跡の開始点として使用される。調査された両眼が追跡される領域は眼の３Ｄ座標に基づいて定義される。そのように定義された領域は、第１の探索域より小さいのが好ましく、視線追跡に対する第２の探索域として理解され且つそのように呼ばれる。そのように定義された両眼の追跡により、眼又は顔が高速又は広範囲で運動する場合であっても、充分に小さい第２の探索域を定義できるため、両眼をリアルタイムで追跡できる。
【００１８】
少なくとも一方の眼を検出することは、画像データを提供する画像センサから識別された顔までの距離に依存して、眼の一部の予想サイズを計算するステップと、画像データを提供する画像センサから識別された顔までの距離に依存して、第１の探索域における分割に対する閾値として階調値を計算するステップと、コントラストを向上するために第１の探索域を前処理するステップと、その前処理後に第１の探索域を分割するステップと、分割された第１の探索域において少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと、計算された各結合領域のサイズを判定するステップと、眼の一部の予想サイズと結合領域の判定サイズとを比較するステップとを更に含む。ここで、結合領域の判定サイズが眼の一部の予想サイズと少なくともほぼ一致する場合、結合領域は検出された眼を表す。この場合、画像データ中の他の物体から眼の関連部分をより明確に区別できるように、画像データにおけるコントラストは変更される。これにより、本方法を適用する場合に、特に、画像データを提供する画像センサから更に遠く離れた眼であっても検出することが可能になる。
【００１９】
本発明の１つの態様によると、前処理ステップは、第１の探索域における階調値ヒストグラムの平坦化を含む。
【００２０】
本発明の別の態様によると、既に検出されている眼の追跡は、画像データを提供する画像センサから識別された顔までの距離に依存して眼の一部の予想サイズを計算するステップと、第２の探索域における最小階調値を判定するステップと、第２の探索域における閾値である階調値にわたり反復するステップとを更に含む。この場合、少なくとも両眼が検出されると反復は終了する。反復は、画像データを提供する画像センサ、現在の反復ステップ及び最小階調値による識別された顔までの距離に依存して、第２の探索域における分割に対する閾値として階調値を計算するステップと、第２の探索域を分割するステップと、分割された第２の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと、計算された各結合領域のサイズを判定するステップと、眼の一部の予想サイズと結合領域の判定サイズとを比較するステップとを含む。ここで、結合領域の判定サイズが眼の一部の予想サイズと少なくともほぼ一致する場合、結合領域は追跡される眼を表す。これらの処理ステップにより、特に、より遠隔に位置する眼をリアルタイムで追跡でき且つ眼の３Ｄ座標に関して従来の方法で可能なものより正確な結果を得られる。
【００２１】
本発明の別の態様によると、探索域の分割は、例えば２値化である効率的な方法を使用して達成される。更に、好適な一実施形態によると、両眼を形成するための眼の割り当ては、所定の眼と検出された眼に対する眼以外の部位との類似性に基づいて両眼に属する眼を判定するサポートベクトルマシンを用いる分類により実行される。しかし、両眼を形成するための眼の割り当ては、分類にもサポートベクトルマシンの使用にも限定されない。
【００２２】
更に本発明は、コンピュータ上で実行する場合に、本発明に係る方法を実行するようにコンピュータを制御するコンピュータプログラムに関する。
【００２３】
更に本発明は、少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する装置であって、少なくとも１つの画像センサから少なくとも１つのデジタルビデオ信号のシーケンスを含む画像データを受信する手段と、画像データにおいて眼を検出する手段と、画像データにおいて既に検出されている眼を追跡する手段と、検出された眼又は追跡される眼の３Ｄ座標を判定する手段と、両眼を形成するために検出された眼又は追跡される眼を割り当てる手段と、両眼の３Ｄ座標を提供する手段とを具備する装置に関する。画像データにおいて既に検出されている眼を追跡する手段は、画像データにおいて１つ又は複数の顔を識別する手段と、少なくとも１つの識別された顔の３Ｄ座標を判定する手段と、識別された顔上に第１の探索域を定義する手段と、第１の探索域内で少なくとも一方の眼を見つける手段とを更に含む。特に、画像データにおいて既に検出されている眼を追跡する手段は、識別された顔上に第２の探索域を定義する手段と、第２の探索域内で両眼の眼を追跡する手段とを含む。
【００２４】
本発明の更なる好適な態様は、従属請求項において定義される。
【００２５】
例示する目的で、添付の図面に関連して本発明の好適な実施形態を以下に説明するが、実施形態はそれらに限定されない。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明に係る方法を示すフローチャートである。
【図２】図２は、本発明の一実施形態に従って、眼の検出処理を示すフローチャートである。
【図３】図３は、本発明の一実施形態に従って、顔上に定義された第１の探索域を有する画像データを示す図である。
【図４】図４は、本発明の一実施形態に従って、既に検出されている眼を追跡する処理を示すフローチャートである。
【図５】図５は、本発明の一実施形態に従って、顔上に定義された第２の探索域を有する画像データを示す図である。
【図６】図６は、本発明の一実施形態に従って、両眼を形成するために眼を割り当てる処理を示すフローチャートである。
【図７】図７は、本発明の一実施形態に係る装置を示す図である。
【図８】図８は、本発明の一実施形態に従って、オブジェクト指向設計のコンピュータプログラムの処理を示すフローチャートである。
【発明を実施するための形態】
【００２７】
図１は、本発明に係る方法の第１の実施形態を示す。前記方法は、少なくとも２５Ｈｚの再生速度で最大４人の観察者の眼をリアルタイムで検出し且つ追跡できる。従って、方法により、最大４人の観察者を、少なくとも毎秒２５画像の検出及び追跡頻度で処理でき、もしくは１人の観察者を例えば毎秒６０画像の検出及び追跡頻度で処理できる。ステップ１１０において、１つ又は複数の画像センサにより記録され、且つシリアルインタフェースなどの送信手段を介してビデオシーケンスの形式で送信される画像データが受信される。本明細書の好適な実施形態において、画像センサにより記録される画像データは能動照明により照らされる。画像センサが画像を記録できるようにするために、画像センサの検出範囲は光を用いて照らされる。本発明の一実施形態によると、ここでは赤外光を用いる照明が好ましく、これは約７００〜９５０ｎｍの範囲、好ましくは８５０ｎｍの波長を有する。能動照明は、画像データにおいて被写体の眼を強調表示するのに役立つ。
【００２８】
瞳孔がその周囲に比べて特に暗く見える、いわゆる「暗瞳孔効果」は、能動照明が画像センサの光軸から相対的に遠くに配置される場合に生じる。「明瞳孔効果」の場合、能動照明は画像センサの光軸に近接して配置されるため、写真術における「赤目現象」と同様に、放射光は眼の背景から反射され、画像センサにより記録される。
【００２９】
一実施形態によると、「暗瞳孔効果」が好適な効果である。他の効果、例えば瞳孔がその周囲より明るく見えることを意味する「明瞳孔効果」も、眼又は眼の関連部分を周囲から区別できるようにするために、利用可能である。
【００３０】
画像センサは、能動照明と関連して、眼が画像センサから遠くに位置する場合であっても以下のステップにおいて眼の検出及び追跡が可能な限り少ない誤差で達成されるように設計される。検出範囲は、本発明に係る方法により制限されないが、使用される画像センサにより制限される。ここで好適な実施形態において、この検出範囲は、実際に使用される画像センサに応じて、画像センサから約０．５ｍ〜３．５ｍの距離の範囲にわたる。しかし、適切な画像センサが使用される場合、本発明に係る方法を用いてより大きい検出範囲も達成可能である。画像データは、ビデオデータ圧縮のための周知の方法により圧縮可能であり、又は生データの形式で更なる処理のために利用可能である。
【００３１】
受信された画像データは顔識別ステップ１１５に提供される。顔は従来技術の顔検出方法を利用して識別される。ステップ１１５において、通常、顔はパターン認識ルーチンを使用して画像データにおいて識別される。顔が識別されると、好ましくは３Ｄ座標の形式で、画像センサに関する顔の空間位置を特定する座標が判定される。３Ｄ座標の座標系の原点は、方法が実行される前に定義される。１つの画像センサを用いる好適な実施形態において、原点は、画像センサの光軸及び画像センサ自体により定義される。２つの画像センサを用いる一実施形態において、原点は画像センサの光軸を結ぶ線分の中心及び画像センサ自体により定義される。３Ｄ座標は、少なくとも２つの画像センサにより記録される２Ｄ画像の立体解析を適用することにより判定されるのが好ましい。立体解析において、識別された顔の視差が画像データにおいて検出される。視差は、空間中の点が少なくとも２つの画像センサの双方により検出される場合に、異なる座標を有する記録画像データにおいて、それら２つの画像センサが異なる方向からその点を検出することにより画像データにおいて表現される立体画像の画像データ中の画素の座標の距離である。画像センサは、画像データを提供する画像センサに関する空間中の点の距離で立体画像中の画素の視差を撮像する関数を検出するために測定され、またその逆も成立つ。その後、画像センサからの距離はこの関数を適用することにより判定され、従って、３Ｄ座標のＺ座標はその距離に基づいて判定可能である。あるいは、Ｚ座標は、従来技術において周知である他の任意の方法を使用して判定可能である。
【００３２】
一実施形態において、画像データを提供する画像センサから顔までの距離は、３Ｄ座標に基づいて判定されるのが更に好ましい。画像センサから顔までの距離は、他の方法を使用して、例えばレーザを用いる距離測定によっても判定可能である。
【００３３】
ステップ１１５における画像データ中の顔の識別は、まだ検出されていないか又は追跡中に見失われた顔を見つけるために画像データが探索されるよう、画像データの受信と同期して実行されるのが好ましい。従って、好適な実施形態において、既に識別されている顔及びそれらの位置は格納されるものとする。好適な方法は、新しい顔の識別がステップ１３０における眼追跡と関係なく実行されるように更に設計される。画像データにおいて顔が識別された場合、ステップ１２０において、それらの顔が既に追跡されているか否かがチェックされる。これは、眼の間隔又は顔の比率等の格納された顔の特徴、又は好ましくは３Ｄ座標に基づいてチェックされる。このようにチェックの結果、識別された顔がまだ追跡されていない場合、その顔の眼、もしくは両眼はまだ検出されていない。本実施形態では、ステップ１２５において、識別された顔上に少なくとも１つの第１の探索域を定義し、且つ定義された探索域内で少なくとも一方の眼を検出することにより、眼は顔の中から検出される。顔が既に追跡されている場合、顔の両眼の少なくとも一方の眼が追跡される第２の探索域を定義することにより、更なる追跡が実行される。一実施形態において、第１の探索域は第２の探索域より大きいのが好ましい。好適な実施形態において、ステップ１２５及びステップ１３０にて、少なくとも一方の眼が第１の探索域の各々において検出され、その後第２の探索域において追跡されるのが好ましい。ステップ１３５における、両眼を形成するための検出もしくは追跡される眼の割り当ては、３Ｄ座標であるのが好ましい座標を判定した後に実行されるのが好ましい。検出もしくは追跡される両眼は、方法の反復実行、又は本明細書中で説明する実施形態の一部ではない他の用途の更なる処理に対して提供される。ステップ１４０において、両眼の３Ｄ座標は、図７を参照して以下に説明するようにコンピュータ７２５により更に処理されるために、例えば適切なインタフェース７２０を介して提供される。
【００３４】
図２及び図３を参照して、方法の他の好適な実施形態を説明する。図２に示す処理は、図１のステップ１２５において眼を検出する動作を詳細に説明する。処理は、顔がまだ追跡されておらず、その上、その顔の中に眼が検出されていないと判明した場合に開始される。眼は、識別された顔の現在の画像データ及び３Ｄ座標に基づいて検出される。処理ステップ２１０において、少なくとも１つの第１の探索域３１０が識別された顔上に定義される。この場合、第１の探索域のサイズは、選択された顔検出方法の特徴及び精度に依存する。好適な一実施形態において、第１の探索域は約５０ｍｍ×５０ｍｍのサイズを有する。第１の探索域３１０は、顔の判定された３Ｄ座標及び顔の形状を使用して定義される。この情報に基づいて、この顔の眼が位置する可能性が最も高い領域が計算され、それにより、第１の探索域はその計算された領域に基づいて画像データにおいて定義される。図３は画像３２０中の定義された第１の探索域３１０を示す。第１の探索域３１０は顔の中の各眼に１つずつ対応し、前記眼は「暗瞳孔効果」を使用して指定される。更なる処理ステップは、第１の探索域の各々においてのみ実行される。これは、顔上の調査領域がはるかに小さくなるという効果を有し、そのため、計算負荷及び方法の効率に好影響を及ぼす。ステップ２１５において、画像データを提供する画像センサから顔までの距離に基づいて、識別された顔の眼の一部のサイズが計算される。一実施形態において、眼のこの部分は眼の瞳孔である。これは、「暗瞳孔効果」が採用される場合、瞳孔が眼の他の部分に対して特に異なって強調表示されるためである。別の実施形態において、眼の瞳孔に加えて虹彩が眼の関連部分として使用される。距離は、識別された顔の３Ｄ座標に基づいて計算されるか、又は従来技術において周知である他の任意の方法により計算される。更に、距離値は、更なる使用のために処理ステップ１２５に渡されるのが好ましい。眼の瞳孔の予想サイズは、適切なアルゴリズムを適用することにより計算されるが、本明細書においてこれを更に詳細に説明しない。眼を検出する更なるステップは、ステップ２２０における第１の探索域の分割に対する閾値の計算を含む。
【００３５】
ここでの分割は、ある特定の等質基準に従って隣接画素を組み合わせることにより、内容に関する限り関連する領域が作成される画像処理方法である。好適な実施形態において、階調値が等質基準として使用される。画像処理において、階調値は個々の画素の輝度値又は強度値である。尚、階調値は画像データの色に依存しない。
【００３６】
好適な一実施形態において、画像データは、白色から黒色まで２５６個の中間レベルの階調値を含む。階調値は、画像データを提供する画像センサから識別された顔までの距離に依存して、後続の処理ステップにおいて使用される閾値として計算される。画像センサからの距離が変化するに従って、輝度値及び強度値が画像データにおいてシフトされるため、閾値はその距離を考慮して計算されるのが好ましい。更なるステップ２２５において、第１の探索域は、眼の瞳孔又は眼の瞳孔及び虹彩等の画像の関連部分を、画像の他の部分から更に区別するために前処理される。
【００３７】
ここで好適な実施形態において、この前処理ステップは、第１の探索域における階調値ヒストグラムの平坦化を含む。ヒストグラムの平坦化において、画像データにおける階調値又は色値の統計分布は、階調値又は色のより適切な分布を達成するために平坦化関数を使用して変換され、それにより、コントラストを向上し且つ探索域内の画像データの内容を正規化する。これは、画像データを提供する画像センサから顔までの距離に起因し、能動照明の効果の減少又は追加の照明効果（例えば赤外光を多く有する入射太陽光）により引き起こされる、画像データにおける異なる輝度の影響を減少させ、そのため、更なる処理のために同様のコントラスト値を作成するのに役立つ。
【００３８】
第１の探索域内の画像データがこのように処理されると、ステップ２３０において分割が実行される。画素の階調値に基づく画素の割り当てを可能にする任意の適切な方法がこの分割に使用可能である。一実施形態によると、好適な分割方法は画素の２値化である。ステップ２２０において計算された閾値がこの２値化に使用される。第１の探索域内の画素は、それらの階調値が閾値より小さい場合に値１を与えられ、それらの階調値が閾値より大きい場合に値０を与えられる。画素の階調値が閾値より小さい場合に値０が画素に与えられ、且つ階調値が閾値より大きい場合に値１が画素に与えられる画素の逆２値化も使用可能である。このようにして、第１の探索域において、閾値より大きい関連画素のみが値１を与えられることにより黒色として出現し、他の全ての画素が値０を与えられることにより白色として出現することが達成される。後続の処理ステップ２３５において、分割された探索域で結合領域が計算される。結合領域は、隣接画素が同一の特性に基づいて、例えばそれらの階調値に関して同類に属すると判明した領域である。
【００３９】
好適な一実施形態において、８画素の結合領域が計算される。これは、個々の例において、例えば４画素の結合領域より適切に画素の結びつきを表現する。１つの画素に隣接する８個の画素の全てが考慮され、これらの隣接画素が同一の階調値を有するかが計算される。４画素の結合領域の場合、水平方向又は垂直方向に隣接する画素のみが考慮される。同一の階調値を有する全ての画素は、同一の結合領域に割り当てられる。一実施形態によると、階調値のある特定の範囲に存在する画素は、共通の結合領域に割り当てられる。
【００４０】
後続のステップ２４０において、計算された結合領域のサイズが判定される。その後、計算された各結合領域の判定サイズは、眼の瞳孔又は眼の一部の予想サイズと比較される。サイズ比較ステップ２４５において、結合領域のサイズが眼の瞳孔の予想サイズとほぼ同一であることが判明した場合、結合領域は眼であると決定される。他の全ての場合、結合領域は眼ではない。当然、このようにして第１の探索域内に複数の眼が検出されることがあり、それらは、両眼を形成するために割り当てる処理ステップ１３５において更に処理される。本実施形態によると、眼を見つける処理ステップはステップ２５０で終了し、検出した眼を提供する。第１の探索域内で眼が検出されなかった場合、処理は、より大きな第１の探索域を用いて繰り返されるか、又は識別された顔の中に検出可能な眼がないものとして終了される。
【００４１】
別の好適な実施形態において、多くのテストパターン及びテストパターンシーケンスにて検出性能を測定することにより、閾値、閾値を計算するアルゴリズム、又は閾値を計算するアルゴリズムのパラメータが検出され、且つ最適化される。この場合、画像データを提供する画像センサまでの距離が増加するにつれて、例えば能動照明の能力及び効果が減少するため、画像データを提供する画像センサから顔又は眼までの距離が考慮される。閾値を計算する実際のアルゴリズムを以下に示す：
閾値＝最小輝度値＋初期値＋（最大距離−距離）／１００
式中、最小輝度値は分割される領域内の画素の最低輝度であり、初期値は上述の最適化測定中に判定された値に基づいて定義される値であり、最大距離は画像データを提供する画像センサから観察者までのｍｍ単位の最大可能距離であり、距離は画像データを提供する画像センサから顔又は眼までのｍｍ単位の実際の距離である。
【００４２】
図４及び図５を参照して、方法の他の好適な実施形態を以下に説明する。図４に示す方法は、図１のステップ１３０において眼を追跡する個々の動作を詳細に説明する。眼の検出ステップとは異なり、既に検出されている眼を追跡する場合、ステップ４１０において、眼を追跡するための第２の探索域が眼の既知の位置に基づいて定義される。第２の探索域は、対応する第１の探索域より小さく定義されるのが好ましい。通常、第２の探索域のサイズは眼のサイズとほぼ一致し、この場合、第２の探索域のサイズは、画像センサにより記録される画像データの再生速度、並びに眼の動きの自由度及び運動速度に依存して動的に拡大可能である。更なる好適な一実施形態において、第２の探索域は約２０ｍｍ×１５ｍｍのサイズを有し、この場合、眼は第２の探索域に完全に含まれると仮定される。第２の探索域５１０は、以下のようにして顔３２０上に定義される。図１の処理ステップ１３０において、追跡される眼の３Ｄ座標は、前に実行された処理ステップ、特に先行の画像データのステップ１４０から既知である。例えば、眼の複数の前の３Ｄ座標に基づいて、検出され且つ追跡される眼がある特定の方向において、ある特定の速度で相対運動を実行するかが判定される。そのように相対運動が行われると確認される場合、現在の画像における眼の位置の予測は計算可能である。これに対して、多くの方法が従来技術において周知であり、それらは本明細書に参考として完全に含まれる。その後、第２の探索域は眼の予測位置を考慮して対応して定義される。相対運動が検出されなかったか又は眼が先行のステップにおいて初めて検出された他の例において、第２の探索域は、先行のステップ１４０において検出された眼の位置に基づいて定義される。
【００４３】
既に識別されている顔３２０上での第２の探索域５１０の例示的な定義を図５に示す。これらと図３の探索域３１０とを比較すると、第２の探索域５１０がはるかに小さいことは明らかである。そのため、第２の探索域内の画素数は少なく、計算負荷は最小限にされる。
【００４４】
第２の探索域を定義した後、ステップ４１５において、画像データを提供する画像センサから眼までの距離に依存して、眼の一部のサイズが計算される。計算は、例えば上記のステップ２１５において説明したように実行される。その後、ステップ４２０において、第２の探索域内で最小階調値が判定される。この場合も、最小階調値は従来技術において周知の画像処理方法を使用して判定される。ステップ４２０の判定された最小階調値は、以下の反復において引き続き使用される。反復は、分割に対する現在の閾値として階調値を計算するステップ（ステップ４２５）と、探索域を分割するステップ（ステップ４３０）と、結合領域を計算するステップ（ステップ４３５）と、結合領域のサイズを判定するステップ（ステップ４４０）と、判定サイズと予想サイズとを比較するステップ（ステップ４４５）とから成る。ステップ４４５の完了後、少なくとも２つの眼が検出された場合、反復はステップ４５０において終了する。他の全ての場合、別の反復ステップが実行される。好適な一実施形態において、比較ステップで検出された眼の数に関係なく、反復ステップの数が４つに制限されるため、反復は４番目の反復ステップ後に終了され、それまでに検出された眼のみを提供する。各反復ステップにおいて、最初に階調値が判定され、これは後続の分割に対する閾値として使用される。現在の閾値は、画像データを提供する画像センサから眼までの距離、ステップ４２５からの最小階調値、及び現在の反復ステップを考慮して、周知の方法を使用して判定される。後続の分割において、画像データ中のより多くの領域が閾値を使用して潜在的に眼を含む領域として分類されるように、閾値は各反復ステップにおいて更に調整される。
【００４５】
上述の実施形態に係る視線追跡の処理はステップ４５５で終了し、追跡可能な眼を提供する。
【００４６】
上述のように、多くの周知の分割方法が採用可能である。好適な一実施形態において、２値化法が画像処理関数として使用される。上述のように、画素の階調値が閾値より小さい場合にその画素は値０を与えられ、且つ階調値が閾値より大きい場合に値１を与えられるか、又は画素の階調値が閾値より小さい場合にその画素は値１を与えられ、且つ階調値が閾値より大きい場合にその画素は値０を与えられる。
【００４７】
２値化の後、結合領域が上述のように計算される。上述の８画素の結合領域は結合領域の好適な種類である。その後、各結合領域のサイズが判定される。この判定サイズは眼の一部、例えば本実施形態において好適である眼の瞳孔の予想サイズと比較される。予想サイズが判定サイズとほぼ同一の場合、眼が検出されたと仮定される。この比較は、計算された結合領域毎に実行される。全ての結合領域のサイズが眼の一部の予想サイズと比較される場合、その反復ステップにおいて検出された眼の数が判定される。少なくとも２つの眼が検出された場合、現在の画像データにおける眼の追跡は終了される。その後、図１に従う処理は、検出された眼を用いてステップ１３５にて続行される。
【００４８】
例えば４つの反復ステップが実行された場合にも、反復が終了されるのが有利である。少なくとも２つの眼が依然として検出されていない場合、利用可能な計算資源に応じて、反復は、より少ない反復ステップの後に終了されてもよく、又はかなり多い反復ステップの後に終了されてもよい。
【００４９】
反復ステップにおける分割に対する閾値は、ステップ１２５で使用された計算アルゴリズム及びそこで導入されたパラメータに従って計算される。計算は、以下のように実行されるのが有利である：
閾値＝最小輝度＋初期値＋反復値＋（最大距離−距離）／１００
式中、反復値は、ステップ幅を１とする０〜Ｘの範囲であって、既に実行された反復ステップの数を表す値である。反復ステップの最大数Ｘは、上述の測定において検出された値の最適化により判定可能である。本明細書中で説明する実施形態において、反復の最大数は４である。
【００５０】
従って、第２の探索域内で眼を追跡する場合、反復ステップの既定の最大数の完了後であっても眼が検出できない可能性がある。そのような場合、眼を追跡するステップは、例えばより大きな第２の探索域において繰り返されるか、又は眼を検出するステップが再度実行される。
【００５１】
一実施形態によると、第２の探索域を定義する時、両眼の３Ｄ座標が１つの画像内で検出されてから後続画像内で追跡されるまで変化していないか又は僅かにしか変化していない場合、その両眼の３Ｄ座標はその後続画像に続く画像においても（ほぼ）同一であると仮定される。その反対に、多くの画像にわたって眼を検出する際に、追跡された両眼の３Ｄ座標が初期の３Ｄ座標から遠くに移動した場合、一般に、次の画像の３Ｄ座標及び第２の探索域は、例えばカルマンフィルタリングなどのの周知の方法を使用して、上述の動き及び運動速度により定義される動きベクトルを使用して予測可能である。
【００５２】
図６を参照して、方法の更に好適な実施形態を説明する。図６に示す処理は、図１のステップ１３５において両眼を形成するために眼を割り当てる動作を詳細に説明する。眼を検出するステップ及び眼を追跡するステップにおいて検出された眼は、両眼を形成するために割り当てられる。最初に、ステップ６１０において、それら検出された眼の３Ｄ座標が上述のように判定される。好適な一実施形態において、両眼を形成するための眼の割り当ては、分類により実行される。分類法はオブジェクトをクラスにグループ化するための方法及び基準である。画像データ中のオブジェクトを割り当てるのに、従来技術において周知である適切な分類器が使用される。好適な一実施形態において、分類器はサポートベクトルマシンである。サポートベクトルマシンは、オブジェクトを含まない可能な限り広い範囲により、クラスの境界が包囲されるように１組のオブジェクトをクラスに分割する。この分割に対する必要条件として、サポートベクトルマシンは区別される組のトレーニングオブジェクトを学習させられる。好適な一実施形態において、種々の眼を示す第１の画像の組及び種々の眼以外を示す第２の画像の組が、ステップ６１５において形成される。通常、これらの組は処理が実行される前に形成されるが、両眼を形成するために眼を割り当てるステップが実行される直前に形成されてもよい。ステップ６２０において、サポートベクトルマシンは、画像データにおける眼の分類が可能になるように、これら２つの組を学習させられる。その後、検出された眼又は追跡される眼は、ステップ６２５において、サポートベクトルマシンのパターン比較により比較され、それらが眼のクラス又は眼以外のクラスに対してある特定の一致度を示す場合、いずれかのクラスに追加される。分類の結果は、トレーニングオブジェクトとしてサポートベクトルマシンに提供される。その後、サポートベクトルマシンは、両眼を形成するために眼を割り当て、両眼は眼のクラスに追加される。上述の実施形態に従う両眼を形成するための眼の割り当てはステップ６３５で終了し、割り当てられた両眼を提供する。
【００５３】
図７を参照して、両眼の３Ｄ座標をリアルタイムで見つけ且つその後追跡する装置の好適な一実施形態を説明する。図は、例えば共通の担持体構成に装着されている並列配置の２つの画像センサ７１０、各画像センサに対する能動照明手段７１５、及び本発明に係る方法を実行する中央制御コンピュータ７２５へ各画像センサの画像データを送信する手段７２０を示す。好適な一実施形態において、画像センサ７１０は、「暗瞳孔効果」を表す画像データを記録するように、照明手段７１５に関連して設計される。画像センサは、使用される画像センサが充分に鮮明な画像データを提供することが保証されるように、特定の検出範囲に対する非自動焦点光学系を取り付けられる。例えば０．５ｍ〜３．５ｍ以上の検出範囲を含む画像センサ、あるいは０．５ｍ〜１．５ｍ及び／又は１．８ｍ〜３．０ｍのより小さい範囲を含む画像センサが使用されるのが有利である。一実施形態によると１つの光源のみを含むことができる能動照明手段７１５は、約８５０ｎｍの波長を有するパルス赤外光を放射するように設計されるのが好ましい。画像センサに関する能動照明の構成は、画像センサに関する検出され且つ追跡される被写体の空間位置により判定される。制御コンピュータ７２５は、各画像センサの画像データを送信する手段７２０を介して画像センサによる画像データの記録を制御し、その場合、能動照明もこれら送信手段を介してオン及びオフされる。一実施形態によると、各画像センサの画像データを送信する手段７２０は単一のシリアルインタフェースの形態で実現される。
【００５４】
別の好適な実施形態において、画像センサ及び能動照明の同期制御は、例えばクロックパルス発振器の形態で実現される。画像センサにより記録された画像は送信手段７２０を介して中央制御コンピュータ７２５へ送信される。制御コンピュータ７２５の現在市販されているハードウェア構成要素により、本発明に係る方法は、最大４人の観察者を検出し且つ追跡するのに、毎秒２５画像以上の検出及び追跡頻度で実行される。使用されるハードウェア構成要素は非常に小型であるため、例えばモニタのケースに一体化可能である。制御コンピュータ７２５により検出され且つ追跡される眼は、更なる使用のために別のインタフェース（不図示）を介して送信可能である。好適な一実施形態において、画像データを送信する手段７２０及び更なるインタフェースは、シリアルインタフェースの形態で実現される。好適な一実施形態において、装置は、方法をリアルタイムで実行するように、すなわち現在受信した画像データと一致する各画像内で眼を検出し且つ追跡するように設計される。
【００５５】
本発明に係る方法は、例えば制御コンピュータ７２５のようなコンピュータを制御する実行可能なコンピュータプログラムの形態で実現されるのが更に好ましい。図８を参照して、コンピュータプログラムの形態である好適な一実施形態を説明する。図８に示す実施形態は、オブジェクト指向パラダイムに従ってコンピュータプログラムのドラフトルーチンを説明する。この場合、当業者はドラフトにより、適切な開発環境においてオブジェクト指向のコンピュータプログラムを実現できる。
【００５６】
以下に説明するオブジェクト及びインスタンスは、上述の処理ステップの２つ以上を部分的に実現するか、又はオブジェクト及びインスタンスにおいてそれらを組み合わせる。従って、これらのオブジェクト及びインスタンス、並びにそれらで実行される処理ステップは、上述の処理ステップとは異なる名称を与えられる。しかし、これは、処理が異なることを意味するわけではない。以下に説明する実施形態は、本発明に係る方法の１つの可能なオブジェクト指向物理形態として解釈されるにすぎない。
【００５７】
制御メインインスタンス８１０はメインループであり、従って、以下に詳細に説明する処理ステップ又は処理グループを制御するための制御インスタンスである。以下の処理ステップは、メインインスタンス８１０において表され且つ実現される：
−画像データの取得；
−追跡器インスタンス８２０の呼び出し；
−有効な眼の位置として検出される全ての眼の位置に対して、追跡器インスタンス８２０により眼の３Ｄ座標を計算；
−３Ｄ座標を許容範囲内に制限することによるフィルタリング。更なる実施形態によると、フィルタリングステップは、ノイズフィルタリングと、システムの遅延を補償するための顔の３Ｄの運動速度に基づく３Ｄ位置の事前計算又は予測とを含む。３Ｄ位置は、典型的なシステム遅延である、６０ｍｓ毎の予測であるのが有利である。ここで、システム遅延は、画像データの受信から両眼の３Ｄ座標の出力までに経過する時間であると理解される。
【００５８】
−対応して更に結果を処理できるようにするために、出力インタフェース８７０を介して結果として得られた３Ｄ座標を送信。
【００５９】
入力情報は、１つ又は複数の画像センサによりデジタルビデオ信号のシーケンスの形態で取得される画像データを含む。出力情報は、全ての両眼の３Ｄ座標を含む。
【００６０】
複数のコンテキストインスタンス８４０−１、．．．、８４０−ｎは、顔検出１１５、眼検出１２５、及び瞳追跡１３０の相互作用の調整及び管理に対する管理構成を表すために実現される。各コンテキストインスタンス８４０には、顔検出１１５のための顔検出器インスタンス８５０、及び顔検出器インスタンス８５０により判定される対応する眼の探索域における眼検出１２５のための眼検出器インスタンス８６０が割り当てられる。従って、眼検出器インスタンス８６０により検出された眼は、顔検出器インスタンス８５０により検出された顔に属する。コンテキスト８４０が被写体に割り当てられない場合、それはフリーであると定義され、従って、新しい被写体を追跡するために利用可能である。
【００６１】
コンテキストインスタンス８４０の主要な処理ステップは以下を含む：
−被写体毎に１つの顔検出器インスタンス８５０及び１つの眼検出器インスタンス８６０を管理；
−１つの被写体が検出及び追跡の許容範囲内に留まっている間、その被写体に対するこれら２つのインスタンス８５０、８６０を参照；
−コンテキスト８４０の制御割り当て及び管理。利用可能なコンテキスト８４０より少ない被写体が検出及び追跡範囲内に位置する場合、コンテキスト８４０はフリーのままであり、全てのコンテキスト８４０が占有されると、更なる被写体は検出されず且つ追跡されない。
【００６２】
更に、コンテキスト８４０内での個々の顔検出器インスタンス８５０及び眼検出器インスタンス８６０の相互作用は、追跡器インスタンス８２０により調整及び管理される。
追跡器インスタンス８２０の主要な処理ステップは以下を含む：
−顔検出器インスタンス８５０及び眼検出器インスタンス８６０の２つの検出器オブジェクトを初期化；
−コンテキストインスタンス８４０−１、．．．、８４０−ｎを管理；
−顔検出器インスタンス８５０から顔の座標を受信し且つ顔管理インスタンス８３０へ送信；
−フリーのコンテキスト８４０に新たに検出された顔を割り当て；
−各占有されたコンテキスト８４０の顔検出器インスタンス８５０及び眼検出器インスタンス８６０に対するアルゴリズムを呼び出し；
−全ての両眼の３Ｄ座標を計算。
【００６３】
入力情報は画像データを含み、出力情報は全ての両眼の３Ｄ座標を含む。
【００６４】
追跡器インスタンス８２０の特定のステップは以下を含む：
−新しい顔の座標が未決定であるか否かを入力インタフェース８８０で確認し、それらデータを読出して現在の顔の位置のリストに追加；
−少なくとも１つのコンテキスト８４０が利用可能である場合、顔管理インスタンス８３０を呼び出し；
−顔がコンテキスト８４０において既に追跡されているか否かを顔管理インスタンス８３０の顔候補で確認し、重複していると判明した顔候補を削除；
−フリーのコンテキスト８４０の顔検出器インスタンス８５０に新しい顔として認識される残りの顔を割り当て；
−全てのコンテキスト８４０−１、．．．、８４０−ｎに対して、以下のステップを反復：
○顔検出器インスタンス８５０を呼び出す；
○顔検出器インスタンス８５０が顔を追跡している場合は眼検出器インスタンス８６０を呼び出し、それ以外の場合は現在のコンテキスト８４０がフリーである旨の印を付ける；
○眼検出器インスタンス８６０が探索モードであり、且つ眼候補が判定された場合に、
・顔検出器インスタンス８５０により最適な眼候補を選択；
・眼検出器インスタンス８６０を追跡モードに切り替え；
○全てのコンテキスト８４０が処理されるまで、次の占有コンテキスト８４０を処理。
【００６５】
顔検出器インスタンス８５０により受信された顔の座標は、顔管理インスタンス８３０により解析され、顔管理インスタンス８３０は、これら座標に基づいて追跡に対して有効な顔として認識される顔候補のリストを編集する。
【００６６】
この顔管理インスタンス８３０のステップは以下を含む：
−顔検出器インスタンス８５０の検出された顔を管理；
−顔検出器インスタンス８５０により検出された顔に基づいて有効な顔として認識される顔候補のリストを編集；
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算。
【００６７】
入力情報は画像データ及び顔探索に対する探索域を含み、出力情報は検出された顔及びそれらの座標のリストを含む。
【００６８】
特別な機能として、顔管理インスタンス８３０は以下のステップを含む：
−現在の顔の位置のリストが変更された場合に：
○そのリストを解析；
○立体解析により画像データを提供する画像センサから有効な顔までの距離を計算し、検出及び追跡範囲内に位置する顔を顔候補のリストに追加。
【００６９】
追跡される顔は、対応する顔検出器インスタンス８５０により管理される。顔検出器インスタンス８５０は、顔管理インスタンス８３０の顔のリストから１つの顔を割り当てられる。顔は検出及び追跡範囲の外側に移動するまで追跡される。顔検出器インスタンス８５０のステップは以下を含む：
−検出された顔の位置を管理；
−眼検出器インスタンス８６０に対する探索域を計算；
−立体画像における視差に基づいて画像データを提供する画像センサから顔までの距離を計算；
−対応する眼検出器インスタンス８６０の可能な両眼の候補のリストから最適な両眼を決定。
【００７０】
入力情報は以下を含む：
−画像データ；
−検出された顔に関する情報；
−顔追跡インスタンス８５０に対する探索域；
−両眼の候補のリスト。
【００７１】
出力情報は以下を含む：
−検出された顔及びそれらの座標のリスト；
−眼検出器インスタンス８６０に対する探索域；
−選択された両眼。
【００７２】
特別な機能として、この顔検出器インスタンス８５０は以下のステップを含む：
−現在の顔の位置のリストが変更された場合に：
○顔の位置を更新；
○既に検出されている顔がそれ以上検出されないための後続画像の数に対する尺度である検出／喪失参照カウンタを再設定；
−リストが変更されていない場合に：
○眼検出器が眼を追跡する場合：
・眼の位置に基づいて顔の位置を計算；
・顔の距離／眼の距離を計算；
○眼検出器が眼を追跡しない場合：
・顔は見失われ、検出／喪失参照カウンタは増分される。しかし、顔は依然として検出された顔としてカウントされる；
・検出／喪失参照カウンタがある特定の既定値を上回らない限り、前の顔の位置が格納されたままである。カウンタが既定値を上回ると、顔は存在しないとみなされる。
【００７３】
眼の検出及び追跡は、探索モードにおいて既定の探索域内で眼を検出するか、又は追跡モードにおいて既に検出されている眼を追跡する、眼検出器インスタンス８６０により実行される。このようにして、可能な両眼は判定され、候補のリストは評価基準に基づいて編集される。
【００７４】
眼検出器インスタンス８６０のステップは以下を含む：
−検出された両眼の位置を管理；
−眼の初期探索；
−追跡に対する探索域を計算；
−眼の位置を追跡；
−検出された眼候補の信頼度を判定し、且つ潜在候補を編集。
【００７５】
入力情報は以下を含む：
−画像データ；
−眼の探索及び追跡に対する探索域；
−検出された眼に関する情報；
出力情報は以下を含む：
−両眼及びその座標。
【００７６】
この眼検出器インスタンス８６０の特別な機能は、以下のステップを含む：
−眼検出器インスタンス８６０が探索モードである場合に：
○顔検出器インスタンス８５０により眼探索域を判定；
○眼探索域内で眼を検出するアルゴリズムを適用；
−眼検出器インスタンス８６０が追跡モードである場合に：
○以前の眼の位置及び画像データを提供する画像センサから観察者までの距離を使用して判定された眼の速度に基づいて、探索域の新しい位置及びそのサイズを計算し、予測もしくは推定；
○探索域内で眼を追跡するアルゴリズムを適用；
−候補が見つかった場合に：
○両眼の潜在候補を判定する目的で、種々のテストを実行。テスト及び条件は以下を含む：
・互いに関連する眼の位置及び顔の位置に対する眼の位置；
・眼の間隔及び傾斜；
・検出された位置及び周辺位置の領域における輝度パターンの分類に基づく信頼度。この場合、信頼度がより高い周辺位置は、位置の精度を向上するために後で使用される。
【００７７】
○結果として得られた評価基準に基づく候補のリストを編集；
−眼検出器インスタンス８６０が追跡モードである場合に：
○候補が判定された場合：
・予測された眼の位置に最も近い眼の候補対を選択；
・新しい結果として、現在の眼の位置を更新；
○候補が全く検出されなかったか又は適切な候補が検出されなかった場合：
・眼検出器インスタンス８６０を探索モードに切り替えて、探索を繰り返す。
【００７８】
上記の本発明の実施形態は、上述のように、デジタル信号処理装置（ＤＳＰ）及び／又はプログラマブルデジタル集積回路（ＦＰＧＡ）及び適切な周辺装置及び適切なパーソナルコンピュータ等の制御コンピュータ上で有利に実行される制御プログラム等の適切なハードウェア及びソフトウェアを使用して実現される。
【００７９】
一実施形態によると、特許請求されるコンピュータプログラムは、例えばＲＯＭに格納されたソースコードの形態であるソフトウェア構成要素として、あるいはハードウェア構成要素として、例えばＡＳＩＣ又はＦＰＧＡ内の論理回路として格納又は実現される。例えば、コンピュータプログラムが制御コンピュータのメモリ内のソフトウェア構成要素として格納される場合、これは、一実施形態によると例えばソフトウェア構成要素を実行するための高速デジタル信号プロセッサ（ＤＳＰ）を含む制御コンピュータにより動作中に実行される。
【００８０】
一実施形態によると、データ記憶媒体は、コンピュータプログラムが格納されるＣＤ−ＲＯＭ又はＲＯＭ等の機械可読データ記憶媒体である。
【特許請求の範囲】
【請求項１】
少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する方法であって：
ａ）少なくとも１つの画像センサから少なくとも１つのデジタルビデオ信号のシーケンスを含む画像データを受信するステップと；
ｂ）前記画像データにおいて、眼を検出、又は既に検出されている眼を追跡するステップと；
ｃ）前記検出された眼又は前記追跡される眼の３Ｄ座標を判定するステップと；
ｄ）両眼を形成するために、前記検出された眼又は前記追跡される眼を割り当てるステップと；
ｅ）前記両眼の前記３Ｄ座標を出力するステップとを有し、
前記画像データにおいて眼を検出する処理は：
ｆ）前記画像データにおいて１つ又は複数の顔を識別するステップと；
ｇ）少なくとも１つの識別された顔の３Ｄ座標を判定するステップと；
ｈ）前記識別された顔上に第１の探索域を定義するステップと；
ｉ）前記第１の探索域内で少なくとも一方の眼を検出するステップとを含み、
前記画像データにおいて既に検出されている眼を追跡する処理が：
ｊ）前記識別された顔上に第２の探索域を定義するステップと；
ｋ）前記第２の探索域内で前記両眼の眼を追跡するステップとを含み、
前記第１の探索域内で少なくとも一方の眼を検出する処理は：
ｌ）前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと；
ｍ）前記画像データを提供する画像センサから前記識別された顔までの前記距離に依存して、前記第１の探索域における分割に対する閾値として階調値を計算するステップと；
ｎ）コントラストを向上するために、前記第１の探索域を前処理するステップと；
ｏ）前記前処理後に前記第１の探索域を分割するステップと；
ｐ）前記分割された第１の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと；
ｑ）計算された各結合領域のサイズを判定するステップと；
ｒ）前記眼の前記一部の前記予想サイズと前記結合領域の判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は検出された眼を表すものとするステップと
を含むことを特徴とする方法。
【請求項２】
前記第２の探索域内で前記両眼の眼を追跡する処理は：
ｓ）前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと；
ｔ）第２の探索域における最小階調値を判定するステップと；
ｕ）前記第２の探索域における閾値である階調値にわたり反復し、少なくとも両眼が検出されると終了される反復ステップとを含み、反復ステップは、
ｖ）前記画像データを提供する画像センサ、現在の反復ステップ及び前記最小階調値から前記識別された顔までの距離に依存して、前記第２の探索域における分割に対する閾値として前記階調値を計算するステップと；
ｗ）前記第２の探索域を分割するステップと；
ｘ）前記分割された第２の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと；
ｙ）計算された各結合領域のサイズを判定するステップと；
ｚ）前記眼の前記一部の前記予想サイズと前記結合領域の前記判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は追跡された眼を表すものとするステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記分割は各画素の２値化であり、前記画素は、前記閾値より小さい場合に値１を与えられ且つ前記閾値より大きい場合に値０を与えられるか、あるいは前記画素は、前記閾値より小さい場合に値０を与えられ且つ前記閾値より大きい場合に値１を与えられることを特徴とする請求項１又は２に記載の方法。
【請求項４】
ステップｎ）における前記前処理は、階調値ヒストグラムの平坦化であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記結合領域は８画素の結合領域であることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記眼の前記一部は、瞳孔又は瞳孔及び虹彩を含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
両眼を形成するための前記検出された眼又は前記追跡される眼の前記割り当ては分類を含むことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記分類はサポートベクトルマシンにより実行されることを特徴とする請求項７に記載の方法。
【請求項９】
前記サポートベクトルマシンは、眼及び／又は眼以外の１つ又は複数の画像を学習させられることを特徴とする請求項８に記載の方法。
【請求項１０】
前記画像データにおける１つ又は複数の顔の前記識別は、識別された顔の３Ｄ座標と先行ステップにおいて識別された顔の３Ｄ座標との比較を含むことを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
顔の３Ｄ座標の前記判定は、前記画像データの立体解析を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記画像データを提供する画像センサから前記識別された顔までの前記距離は、前記顔の前記３Ｄ座標に基づく前記顔の前記距離の計算を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記顔は、前記画像データの記録中に赤外光を用いて能動的に照らされることを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記方法は、前記画像センサから約０．５ｍ〜３．５ｍの距離に存在する両眼を検出し、且つ追跡することを特徴とする請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
前記第１の探索域のサイズは、前記第２の探索域のサイズより大きいことを特徴とする請求項１乃至１４のいずれか１項に記載の方法。
【請求項１６】
前記第１の探索域は、約５０ｍｍ×５０ｍｍのサイズを有することを特徴とする請求項１乃至１５のいずれか１項に記載の方法。
【請求項１７】
前記第２の探索域は、約２０ｍｍ×１５ｍｍのサイズを有することを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記方法は、リアルタイムで実行されることを特徴とする請求項１乃至１７のいずれか１項に記載の方法。
【請求項１９】
コンピュータ上で実行する場合に、請求項１乃至１８のいずれか１項に記載の方法を実行するように前記コンピュータを制御するコンピュータプログラム。
【請求項２０】
請求項１９に記載のコンピュータプログラムが格納されたデータ記憶媒体。
【請求項２１】
少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する装置であって、請求項１乃至１８のいずれか１項に記載の方法を実行できるように設計される装置。
【請求項１】
少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する方法であって：
ａ）少なくとも１つの画像センサから少なくとも１つのデジタルビデオ信号のシーケンスを含む画像データを受信するステップと；
ｂ）前記画像データにおいて、眼を検出、又は既に検出されている眼を追跡するステップと；
ｃ）前記検出された眼又は前記追跡される眼の３Ｄ座標を判定するステップと；
ｄ）両眼を形成するために、前記検出された眼又は前記追跡される眼を割り当てるステップと；
ｅ）前記両眼の前記３Ｄ座標を出力するステップとを有し、
前記画像データにおいて眼を検出する処理は：
ｆ）前記画像データにおいて１つ又は複数の顔を識別するステップと；
ｇ）少なくとも１つの識別された顔の３Ｄ座標を判定するステップと；
ｈ）前記識別された顔上に第１の探索域を定義するステップと；
ｉ）前記第１の探索域内で少なくとも一方の眼を検出するステップとを含み、
前記画像データにおいて既に検出されている眼を追跡する処理が：
ｊ）前記識別された顔上に第２の探索域を定義するステップと；
ｋ）前記第２の探索域内で前記両眼の眼を追跡するステップとを含み、
前記第１の探索域内で少なくとも一方の眼を検出する処理は：
ｌ）前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと；
ｍ）前記画像データを提供する画像センサから前記識別された顔までの前記距離に依存して、前記第１の探索域における分割に対する閾値として階調値を計算するステップと；
ｎ）コントラストを向上するために、前記第１の探索域を前処理するステップと；
ｏ）前記前処理後に前記第１の探索域を分割するステップと；
ｐ）前記分割された第１の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと；
ｑ）計算された各結合領域のサイズを判定するステップと；
ｒ）前記眼の前記一部の前記予想サイズと前記結合領域の判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は検出された眼を表すものとするステップと
を含むことを特徴とする方法。
【請求項２】
前記第２の探索域内で前記両眼の眼を追跡する処理は：
ｓ）前記画像データを提供する画像センサから前記識別された顔までの距離に依存して、前記眼の一部の予想サイズを計算するステップと；
ｔ）第２の探索域における最小階調値を判定するステップと；
ｕ）前記第２の探索域における閾値である階調値にわたり反復し、少なくとも両眼が検出されると終了される反復ステップとを含み、反復ステップは、
ｖ）前記画像データを提供する画像センサ、現在の反復ステップ及び前記最小階調値から前記識別された顔までの距離に依存して、前記第２の探索域における分割に対する閾値として前記階調値を計算するステップと；
ｗ）前記第２の探索域を分割するステップと；
ｘ）前記分割された第２の探索域において、少なくともほぼ同一の階調値を有する隣接画素の集合である１つ又は複数の結合領域を計算するステップと；
ｙ）計算された各結合領域のサイズを判定するステップと；
ｚ）前記眼の前記一部の前記予想サイズと前記結合領域の前記判定サイズとを比較し、前記結合領域の前記判定サイズが前記眼の前記一部の前記予想サイズと少なくともほぼ一致する場合に前記結合領域は追跡された眼を表すものとするステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記分割は各画素の２値化であり、前記画素は、前記閾値より小さい場合に値１を与えられ且つ前記閾値より大きい場合に値０を与えられるか、あるいは前記画素は、前記閾値より小さい場合に値０を与えられ且つ前記閾値より大きい場合に値１を与えられることを特徴とする請求項１又は２に記載の方法。
【請求項４】
ステップｎ）における前記前処理は、階調値ヒストグラムの平坦化であることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記結合領域は８画素の結合領域であることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記眼の前記一部は、瞳孔又は瞳孔及び虹彩を含むことを特徴とする請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
両眼を形成するための前記検出された眼又は前記追跡される眼の前記割り当ては分類を含むことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記分類はサポートベクトルマシンにより実行されることを特徴とする請求項７に記載の方法。
【請求項９】
前記サポートベクトルマシンは、眼及び／又は眼以外の１つ又は複数の画像を学習させられることを特徴とする請求項８に記載の方法。
【請求項１０】
前記画像データにおける１つ又は複数の顔の前記識別は、識別された顔の３Ｄ座標と先行ステップにおいて識別された顔の３Ｄ座標との比較を含むことを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
顔の３Ｄ座標の前記判定は、前記画像データの立体解析を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
前記画像データを提供する画像センサから前記識別された顔までの前記距離は、前記顔の前記３Ｄ座標に基づく前記顔の前記距離の計算を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
【請求項１３】
前記顔は、前記画像データの記録中に赤外光を用いて能動的に照らされることを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
【請求項１４】
前記方法は、前記画像センサから約０．５ｍ〜３．５ｍの距離に存在する両眼を検出し、且つ追跡することを特徴とする請求項１乃至１３のいずれか１項に記載の方法。
【請求項１５】
前記第１の探索域のサイズは、前記第２の探索域のサイズより大きいことを特徴とする請求項１乃至１４のいずれか１項に記載の方法。
【請求項１６】
前記第１の探索域は、約５０ｍｍ×５０ｍｍのサイズを有することを特徴とする請求項１乃至１５のいずれか１項に記載の方法。
【請求項１７】
前記第２の探索域は、約２０ｍｍ×１５ｍｍのサイズを有することを特徴とする請求項１乃至１６のいずれか１項に記載の方法。
【請求項１８】
前記方法は、リアルタイムで実行されることを特徴とする請求項１乃至１７のいずれか１項に記載の方法。
【請求項１９】
コンピュータ上で実行する場合に、請求項１乃至１８のいずれか１項に記載の方法を実行するように前記コンピュータを制御するコンピュータプログラム。
【請求項２０】
請求項１９に記載のコンピュータプログラムが格納されたデータ記憶媒体。
【請求項２１】
少なくとも１つの顔の中の両眼の３Ｄ座標を検出し、その後追跡する装置であって、請求項１乃至１８のいずれか１項に記載の方法を実行できるように設計される装置。
【図１】
【図２】
【図４】
【図６】
【図７】
【図８】
【図３】
【図５】
【図２】
【図４】
【図６】
【図７】
【図８】
【図３】
【図５】
【公表番号】特表２０１１−５０８２８９（Ｐ２０１１−５０８２８９Ａ）
【公表日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２０１０−５３３５６１（Ｐ２０１０−５３３５６１）
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６５３５２
【国際公開番号】ＷＯ２００９／０６２９４５
【国際公開日】平成２１年５月２２日（２００９．５．２２）
【出願人】（５０７２３０２６７）シーリアル テクノロジーズ ソシエテ アノニム (89)
【氏名又は名称原語表記】ＳＥＥＲＥＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ Ｓ．Ａ．
【Ｆターム（参考）】
【公表日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２０年１１月１２日（２００８．１１．１２）
【国際出願番号】ＰＣＴ／ＥＰ２００８／０６５３５２
【国際公開番号】ＷＯ２００９／０６２９４５
【国際公開日】平成２１年５月２２日（２００９．５．２２）
【出願人】（５０７２３０２６７）シーリアル テクノロジーズ ソシエテ アノニム (89)
【氏名又は名称原語表記】ＳＥＥＲＥＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]