補正値算出装置、補正値算出方法および補正値算出プログラム
【課題】対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めること。
【解決手段】補正値算出装置１０１は、被写体１２０の眼の撮影画像に基づく眼球１２１から画面１０５に向かう視線ベクトルＶ１を取得する。補正値算出装置１０１は、被写体１２０の眼の撮影画像の撮影時における画面１０５の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。補正値算出装置１０１は、領域ごとの特徴量に基づいて、複数の領域のいずれかの領域を注視点Ｗに決定する。補正値算出装置１０１は、視線ベクトルＶ１と視線ベクトルＶ２とに基づいて、被写体１２０に固有の補正値を算出する。これにより、視線検出中に、対象者の個人差にともなう視線の誤差を補正するための補正値を高精度に算出することができる。
【解決手段】補正値算出装置１０１は、被写体１２０の眼の撮影画像に基づく眼球１２１から画面１０５に向かう視線ベクトルＶ１を取得する。補正値算出装置１０１は、被写体１２０の眼の撮影画像の撮影時における画面１０５の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。補正値算出装置１０１は、領域ごとの特徴量に基づいて、複数の領域のいずれかの領域を注視点Ｗに決定する。補正値算出装置１０１は、視線ベクトルＶ１と視線ベクトルＶ２とに基づいて、被写体１２０に固有の補正値を算出する。これにより、視線検出中に、対象者の個人差にともなう視線の誤差を補正するための補正値を高精度に算出することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正値を算出する補正値算出装置、補正値算出方法および補正値算出プログラムに関する。
【背景技術】
【０００２】
人の視線を検出する技術として、近赤外線を対象者の眼球に照射して、角膜表面における反射像の位置から得られる角膜曲率中心と瞳孔中心から視線を検出するものがある。しかし、角膜表面における反射像を利用して検出される視線（以下、「仮の視線」という）と、実際の視線との間には、対象者に固有の誤差が生じる。
【０００３】
対象者に固有の誤差の発生要因としては、たとえば、角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差がある。そのため、実際の視線と仮の視線との誤差を補正するために、キャリブレーションと呼ばれる仮の視線を補正するための処理が行われる。キャリブレーションでは、対象者に固有の補正値を用いて仮の視線を補正する。
【０００４】
従来、対象者に固有の補正値は、視線検出前の段階に対象者の協力の下で行われる事前手続において求める。事前手続では、画面上に表示される複数のマーカを順に注視するように対象者に指示する。そして、事前手続では、対象者が指示されたマーカを注視した際の仮の視線と、対象者の眼球からマーカに向かう視線との誤差から補正値を算出する。
【０００５】
しかしながら、事前手続は、対象者の協力の下に行われるため対象者に負担がかかるとともに、対象者の視線の検出を開始するまでに時間がかかってしまう。そこで、事前手続を行うことなく、対象者の視線を正確に検出するための技術が望まれている。
【０００６】
従来において、視線の動きが心理実験等に基づく特定パターンに集中しやすく規則的になるという性質を利用する技術がある。具体的には、従来装置は、視線の動きが顔画像の目、口、鼻、耳などの特定パターンに集中しやすい性質を利用して、眼球運動の測定データを実際の注視位置に合わせるための補正値を求める。
【０００７】
また、補正用ターゲットを表示部に表示し、補正用ターゲットの座標位置と、補正用ターゲットが表示された際に検出された視線位置とを比較して、視線位置を補正する技術がある。また、３次元顔モデルと３次元眼球モデルを用いて、３次元的な視線方向を推定する技術がある。また、視線に関する他の技術として、操作者の視線位置を検出し、視線の移動速度が所定の速度を超えたときに、画面をスクロール制御する技術がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−００５１３０号公報
【特許文献２】特開平１１−０７６１６５号公報
【特許文献３】特開２００８−１９４１４６号公報
【特許文献４】特開平０８−０２２３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術によれば、画面に表示される任意の画像を見ている対象者の視線検出中に、対象者の個人差にともなう誤差を補正するための補正値を求めることが難しいという問題がある。たとえば、視線の動きが特定パターンに集中しやすいという性質を利用する技術では、視線の動きが心理実験等に基づく特定パターンとならない画像に対しては適用することが難しいという問題がある。
【００１０】
また、補正用ターゲットを利用して視線位置を補正する技術では、視線位置を補正するのに適した補正用ターゲットを予め用意して、視線検出中に補正用ターゲットを表示する必要があるという問題がある。また、３次元顔モデルと３次元眼球モデルを利用して視線方向を推定する技術では、実際の眼球の持つ角膜曲率などの個人差にともなう誤差を３次元眼球モデルで補正することが難しいという問題がある。
【００１１】
本発明は、上述した従来技術による問題点を解消するため、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができる補正値算出装置、補正値算出方法および補正値算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、取得された第１の視線ベクトルと、前記眼から決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する。
【発明の効果】
【００１３】
本補正値算出装置、補正値算出方法および補正値算出プログラムによれば、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【図２】実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。
【図３】ディスプレイの外観の一例を示す説明図である。
【図４】視線検出に使用する座標系の一例を示す説明図である。
【図５】視線検出装置の機能的構成を示すブロック図である。
【図６】眼球画像の具体例を示す説明図である。
【図７】特徴量テーブルの記憶内容の一例を示す説明図である。
【図８】ベクトルペアテーブルの記憶内容の一例を示す説明図である。
【図９】パラメータテーブルの記憶内容の一例を示す説明図である。
【図１０】ベクトルテーブルの記憶内容の一例を示す説明図である。
【図１１】視線検出結果の具体例を示す説明図である。
【図１２−１】視線算出部の具体的処理の概要を示す説明図（その１）である。
【図１２−２】視線算出部の具体的処理の概要を示す説明図（その２）である。
【図１３】視線ベクトルと視線位置との関係を表す説明図である。
【図１４】２値化処理の概要を示す説明図である。
【図１５】輝度・色・形が周囲と異なる領域の一例を示す説明図である。
【図１６】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図１７】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図１８】色成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図１９】色成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２０】色成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２１】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図２２】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２３】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２４】表示画像の顕著度マップ作成処理の概要を示す説明図である。
【図２５】顕著度マップの具体例を示す説明図である。
【図２６】視線検出装置の視線検出処理手順の一例を示すフローチャート（その１）である。
【図２７】視線検出装置の視線検出処理手順の一例を示すフローチャート（その２）である。
【図２８】注視点決定処理の具体的処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、この発明にかかる補正値算出装置、補正値算出方法および補正値算出プログラムの好適な実施の形態を詳細に説明する。
【００１６】
（実施の形態１）
まず、実施の形態１にかかる補正値算出装置１０１が適用されるシステム１００の一実施例について説明する。図１は、実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【００１７】
図１において、システム１００は、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４と、を含む。システム１００において、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４とは、有線または無線のネットワーク１１０を介して通信可能に接続されている。
【００１８】
システム１００は、たとえば、商業施設、空港、駅などに設置されるデジタルサイネージ（電子看板）を利用した広告システムや、ｅラーニング（ｅｌｅｃｔｒｏｎｉｃ ｌｅａｒｎｉｎｇ）を利用した学習システムなどに適用される。
【００１９】
補正値算出装置１０１は、表示装置１０３が有する画面１０５に対向している被写体１２０に固有の補正値を算出する。ここで、被写体１２０とは、撮影装置１０４の撮影対象となる人である。たとえば、被写体１２０は、画面１０５を見ながら作業をしているユーザでもよく、また、表示装置１０３の前を通りかかって画面１０５を見ている通行人でもよい。
【００２０】
また、被写体１２０に固有の補正値とは、キャリブレーションに用いるパラメータの値である。キャリブレーションとは、被写体１２０の眼球１２１の角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差にともなう視線の誤差を補正するための処理である。
【００２１】
視線検出装置１０２は、表示装置１０３が有する画面１０５に対向している被写体１２０の視線を検出する。ここで、被写体１２０の視線は、たとえば、被写体１２０の眼球１２１の角膜曲率中心１２２から瞳孔１２３の瞳孔中心１２４に向かうベクトルによって定義される。
【００２２】
具体的には、たとえば、視線検出装置１０２が、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づいて、被写体１２０の視線ベクトルＶ１を算出する。ここで、被写体１２０の眼とは、被写体１２０の眼球１２１の表面であり、たとえば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球１２１の表面である。また、視線検出装置１０２は、補正値算出装置１０１によって算出された被写体１２０に固有の補正値を用いて、視線ベクトルＶ１を補正する。
【００２３】
表示装置１０３は、画面１０５に表示画像ＳＰを表示する。画面１０５に表示される表示画像ＳＰは、任意の時間間隔で連続的に切り替わる。表示画像ＳＰは、たとえば、デジタルサイネージの広告画像でもよく、また、ｅラーニングのための教材画像でもよい。
【００２４】
撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影する。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影可能な所定の位置に設置されている。
【００２５】
以下、被写体１２０に固有の補正値を算出する補正値算出装置１０１の処理手順（１）〜（５）について説明する。
【００２６】
（１）補正値算出装置１０１は、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づく被写体１２０の眼球１２１から画面１０５に向かう視線ベクトルＶ１を視線検出装置１０２から取得する。
【００２７】
（２）補正値算出装置１０１は、被写体１２０の眼の撮影画像の撮影時における画面１０５の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、たとえば、表示画像ＳＰを画素単位で区切って分割した画像領域である。画素値とは、たとえば、画素の赤色、緑色、青色ごとの輝度である。また、特徴量とは、人間の視覚的な注意を引きつける強さを表す指標値である。すなわち、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きい領域となる。具体的には、たとえば、補正値算出装置１０１が、表示画像ＳＰに含まれる画素の画素値に基づいて、領域ごとの特徴を強調する処理を行うことにより、領域ごとの特徴量を算出する。
【００２８】
（３）補正値算出装置１０１は、領域ごとの特徴量に基づいて、複数の領域のいずれかの領域を、被写体１２０が注視している注視点に決定する。ここで、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きくなるため、人間の視線が向きやすい領域として扱うことができる。そこで、補正値算出装置１０１が、複数の領域のうち他の領域に比べて特徴量が大きい領域を、被写体１２０が注視している注視点Ｗに決定する。ここでは、表示画像ＳＰ上の領域Ａｘが、被写体１２０が注視している注視点Ｗに決定されている。この結果、被写体１２０の実際の視線は、眼球１２１から注視点Ｗに向かう視線ベクトルＶ２であると推定することができる。
【００２９】
（４）補正値算出装置１０１は、視線ベクトルＶ１と視線ベクトルＶ２とに基づいて、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための被写体１２０に固有の補正値を算出する。すなわち、ここでは、被写体１２０の実際の視線が注視点Ｗに向いていると仮定して、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための補正値を算出する。
【００３０】
（５）補正値算出装置１０１は、算出された被写体１２０に固有の補正値を視線検出装置１０２に出力する。この結果、視線検出装置１０２において、被写体１２０に固有の補正値を用いて、被写体１２０の眼の撮影画像に基づく視線ベクトルＶ１を補正することが可能となり、被写体１２０の個人差にともなう誤差を補正した視線を検出することができる。
【００３１】
以上説明したように、実施の形態１にかかる補正値算出装置１０１によれば、画面１０５の表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量に基づいて、表示画像ＳＰの中から注視点Ｗを決定することができる。これにより、眼球１２１から注視点Ｗに向かう視線ベクトルＶ２を被写体１２０の実際の視線として推定することができる。
【００３２】
また、補正値算出装置１０１によれば、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための補正値を、キャリブレーションに用いる被写体１２０に固有の補正値として算出することができる。これにより、視線検出前の段階に被写体１２０の協力の下で行われる事前手続を行うことなく、被写体１２０に固有の補正値を求めることができる。
【００３３】
また、補正値算出装置１０１によれば、表示画像ＳＰに含まれる画素の画素値から領域ごとの特徴量を求めるため、画面１０５に表示される任意の表示画像ＳＰの注視点Ｗを求めることができる。これにより、被写体１２０に固有の補正値を求めるために、特定の画像を予め用意する必要がなく、さらに、特定の画像を被写体１２０に対して呈示する必要がない。
【００３４】
（実施の形態２）
つぎに、実施の形態２にかかる視線検出装置２００について説明する。実施の形態２では、実施の形態１で説明した補正値算出装置１０１を視線検出装置２００に適用した場合について説明する。
【００３５】
（視線検出装置２００のハードウェア構成）
まず、実施の形態２にかかる視線検出装置２００のハードウェア構成について説明する。図２は、実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。図２において、視線検出装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０８と、キーボード２０９と、マウス２１０と、ディスプレイ２１１と、カメラ２１２と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
【００３６】
ここで、ＣＰＵ２０１は、視線検出装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００３７】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータに読み取らせたりする。
【００３８】
Ｉ／Ｆ２０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、ネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０８は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０８には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００３９】
キーボード２０９は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１０は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。
【００４０】
ディスプレイ２１１は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ２１１は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ２１２は、ディスプレイ２１１に対向している被写体の眼を撮影するためのデジタルカメラである。カメラ２１２は、たとえば、被写体の眼を撮影するための専用カメラであってもよく、また、監視カメラやウェブカメラなどであってもよい。
【００４１】
（ディスプレイ２１１の外観）
つぎに、視線検出装置２００のディスプレイ２１１の外観について説明する。図３は、ディスプレイの外観の一例を示す説明図である。図３において、ディスプレイ２１１には、カメラ２１２と赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）３０１が設置されている。
【００４２】
カメラ２１２は、ディスプレイ２１１に対向している被写体の眼３０２を撮影可能な位置に設置されている。赤外線ＬＥＤ３０１は、近赤外線を照射する点光源である。赤外線ＬＥＤ３０１は、たとえば、カメラ２１２の光軸から外れた位置から、被写体の眼３０２に近赤外線を照射可能な状態で設置されている。
【００４３】
（各種座標系４１０，４２０，４３０）
ここで、被写体の視線検出に使用する各種座標系４１０，４２０，４３０について説明する。図４は、視線検出に使用する座標系の一例を示す説明図である。図４において、画像座標系４１０は、たとえば、カメラ２１２によって撮影された被写体の眼の撮影画像（以下、「眼球画像ＥＰ」という）の所定の基準点を原点ＯPとするＸP軸とＹP軸からなる直交座標系である。
【００４４】
カメラ座標系４２０は、たとえば、カメラ原点ＯCをカメラ２１２の光学中心とするＸC軸とＹC軸とＺC軸とからなる直交座標系である。世界座標系４３０は、たとえば、ディスプレイ２１１上の所定の基準点を原点ＯWとするＸW軸とＹW軸とＺW軸とからなる直交座標系である。
【００４５】
（視線検出装置２００の機能的構成）
つぎに、実施の形態２にかかる視線検出装置２００の機能的構成について説明する。図５は、視線検出装置の機能的構成を示すブロック図である。図５において、視線検出装置２００は、取得部５０１と、視線算出部５０２と、特徴量算出部５０３と、決定部５０４と、領域特定部５０５と、第１の位置算出部５０６と、抽出部５０７と、関連付け部５０８と、補正値算出部５０９と、補正部５１０と、第２の位置算出部５１１と、誤差算出部５１２と、誤差判定部５１３と、速度判定部５１４と、出力部５１５と、を含む。
【００４６】
各機能部５０１〜５１５は、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、または、Ｉ／Ｆ２０８により、その機能を実現する。なお、各機能部５０１〜５１５の処理結果は、特に指定する場合を除いて、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
【００４７】
まず、取得部５０１は、たとえば、連続的に表示が切り替わるディスプレイ２１１の表示画像ＳＰを取得する。具体的には、たとえば、取得部５０１が、ディスプレイ２１１に表示された画面イメージを画像データとしてキャプチャすることにより表示画像ＳＰを取得する。
【００４８】
なお、表示画像ＳＰは、動画像でも任意の時間間隔で表示が切り替わる静止画像でもよい。また、取得部５０１による表示画像ＳＰの取得タイミングは、任意に設定可能である。たとえば、取得部５０１は、ディスプレイ２１１の表示が切り替わるごとに表示画像ＳＰを取得してもよい。また、取得部５０１は、一定の時間間隔で表示画像ＳＰを取得してもよい。
【００４９】
取得部５０１は、ディスプレイ２１１に対向している被写体の眼（眼球）の眼球画像ＥＰをカメラ２１２から取得する。ここで、被写体とは、カメラ２１２によって撮影される対象者である。たとえば、被写体は、ディスプレイ２１１を見ながら作業をしているユーザでもよく、また、ディスプレイ２１１の前を通りかかってディスプレイ２１１を見ている通行人でもよい。
【００５０】
また、被写体の眼（眼球）とは、被写体の眼球表面であり、たとえば、まぶたの動きに連動して露出する黒眼と白眼を含む部分である。なお、以下の説明では、被写体として「人」を例に挙げて説明するが、被写体は眼球を有するゴリラや猿などの「人に準ずる動物」でもよい。
【００５１】
また、取得部５０１による眼球画像ＥＰの取得タイミングは、任意に設定可能である。たとえば、取得部５０１は、一定の時間間隔で眼球画像ＥＰを取得してもよい。また、取得部５０１は、表示画像ＳＰの取得タイミングと同期を取って、眼球画像ＥＰを取得してもよい。また、眼球画像ＥＰに写る被写体の眼球は、片眼でも両眼でもよい。
【００５２】
取得された眼球画像ＥＰは、たとえば、取得された眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰと関連付けてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。なお、眼球画像ＥＰには、たとえば、眼球画像ＥＰの撮影時刻が付加されている。
【００５３】
ここで、カメラ２１２によって撮影された眼球画像ＥＰの具体例について説明する。図６は、眼球画像の具体例を示す説明図である。図６において、眼球画像ＥＰは、カメラ２１２によって人の眼球６００を撮影した画像である。なお、図面では眼球画像ＥＰの一部を抜粋して表示している。
【００５４】
ここでは、図３に示した赤外線ＬＥＤ３０１により、眼球６００に向けて近赤外線を照射して撮影している。このため、眼球画像ＥＰにおいて、瞳孔６０１が虹彩６０２と比較して暗くなり、角膜表面にプルキニエ像６０３が現れている。プルキニエ像６０３とは、眼球６００に近赤外線を照射した際に現れる角膜表面における反射像である。
【００５５】
図５の説明に戻り、視線算出部５０２は、取得された眼球画像ＥＰに基づいて、被写体の眼球からディスプレイ２１１に向かう第１の視線ベクトルＶ１を算出する。具体的には、たとえば、視線算出部５０２が、人の眼球に近赤外線を照射したときの角膜表面における反射像（たとえば、図６に示したプルキニエ像６０３）を利用して、第１の視線ベクトルＶ１を算出する。
【００５６】
ただし、世界座標系４３０におけるディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は、予め設定されている。具体的には、たとえば、ディスプレイ２１１を、商業施設、空港、駅などに設置されるデジタルサイネージとして使用する場合、ディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は１００〜１３０［ｃｍ］程度に設定される。また、ディスプレイ２１１を、パーソナル・コンピュータの画面として使用する場合、ディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は３０〜５０［ｃｍ］程度に設定される。
【００５７】
また、世界座標系４３０におけるカメラ２１２の設置位置は、既知の値である。このため、カメラ２１２によって撮影された被写体の眼球画像ＥＰから第１の視線ベクトルＶ１を算出することができる。なお、第１の視線ベクトルＶ１を算出する具体的な処理内容は、図１２−１および図１２−２を用いて後述する。
【００５８】
ここで、第１の視線ベクトルＶ１は、たとえば、下記式（１）を用いて、極座標系におけるベクトルによって表現される。ただし、Ｖ１は、第１の視線ベクトルである。また、ｒ１は動径であり、世界座標系４３０の原点ＯWから眼球までの距離である。また、θ１は偏角であり、第１の視線ベクトルＶ１と世界座標系４３０の基準軸（たとえば、ＺW軸）とのなす角である。また、φ１は偏角であり、第１の視線ベクトルＶ１と世界座標系４３０の基準軸（たとえば、ＸW軸）とのなす角である。
【００５９】
【数１】
【００６０】
特徴量算出部５０３は、眼球画像ＥＰが撮影されたときのディスプレイ２１１の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、表示画像ＳＰを任意の大きさで区切って分割した画像領域である。
【００６１】
たとえば、領域は、表示画像ＳＰを画素単位で区切って分割したものでもよく、また、表示画像ＳＰをＮ画素×Ｍ画素の単位で分割したものでもよい（Ｎ，Ｍ：自然数）。以下、表示画像ＳＰ上の複数の領域を「領域Ａ１〜Ａｎ」と表記し、領域Ａ１〜Ａｎのうち任意の領域を「領域Ａｉ」と表記する（ｉ＝１，２，…，ｎ）。
【００６２】
画素の画素値とは、たとえば、画素の色（赤、緑、青）ごとの輝度である。なお、輝度とは、各領域Ａ１〜Ａｎの色ごとの明るさの度合いを表す値である。特徴量とは、人の視覚的な注意を引きつける強さを表す指標値である。すなわち、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち特徴量が大きい領域ほど、人の視覚的な注意を引きつける強さが大きい領域となる。
【００６３】
ただし、領域Ａｉの特徴量Ｃｉは、複数の領域Ａ１〜Ａｎの特徴を相対評価して算出してもよく、また、各領域Ａｉの特徴を絶対評価して算出してもよい。以下、各領域Ａ１〜Ａｎの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。なお、特徴量算出部５０３の具体的な処理内容は、図１４〜図２４を用いて後述する。
【００６４】
また、算出された領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎは、たとえば、図７に示す特徴量テーブル７００に記憶される。特徴量テーブル７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、特徴量テーブル７００の記憶内容について説明する。
【００６５】
図７は、特徴量テーブルの記憶内容の一例を示す説明図である。図７において、特徴量テーブル７００は、領域ＩＤ、座標位置および特徴量のフィールドを有し、領域Ａ１〜Ａｎごとの特徴量データ７００−１〜７００−ｎをレコードとして記憶している。
【００６６】
領域ＩＤとは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。ただし、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＺW座標は「０」である。特徴量とは、領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを表す指標値である。
【００６７】
なお、ここでは各領域Ａ１〜Ａｎの座標位置を、各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標としたが、これに限らない。たとえば、各領域Ａ１〜Ａｎの座標位置として、各領域Ａ１〜Ａｎ内の中心点以外の任意の点のＸW座標およびＹW座標を用いることにしてもよい。
【００６８】
図５の説明に戻り、決定部５０４は、算出された領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎに基づいて、複数の領域Ａ１〜Ａｎのいずれかの領域Ａｉを、被写体が注視している注視点Ｗに決定する。ここで、複数の領域Ａ１〜Ａｎのうち特徴量が大きい領域は、人の視線が向きやすい領域であり、人が注視している可能性が高い領域である。
【００６９】
そこで、決定部５０４が、たとえば、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域を注視点Ｗに決定することにしてもよい。具体的には、たとえば、領域特定部５０５が、特徴量テーブル７００を参照して、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域を特定する。
【００７０】
一例として、特徴量テーブル７００内の特徴量Ｃ１〜Ｃｎのうち特徴量Ｃ１が最大であるとする。この場合、領域特定部５０５が、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域Ａ１を特定する。そして、決定部５０４が、特定された領域Ａ１の座標位置「（ＸW，ＹW）＝（ｘ１，ｙ１）」を注視点Ｗに決定する。
【００７１】
これにより、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい領域（たとえば、領域Ａ１）を注視点Ｗに決定することができる。以下、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる領域を「領域Ａmax」と表記する。
【００７２】
ただし、特徴量Ｃ１〜Ｃｎのうち最大の特徴量とは、特徴量Ｃ１〜Ｃｎの中で値が最大となる特徴量Ｃmaxでもよく、特徴量Ｃmaxに１未満の定数α（たとえば、０．９）を掛けた値以上となる特徴量でもよい。これにより、領域Ａmaxとして、特徴量Ｃｉが特徴量Ｃmaxと同程度の値となる領域Ａｉを特定することができる。なお、定数αは、たとえば、予め設定されてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００７３】
第１の位置算出部５０６は、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、たとえば、第１の位置算出部５０６が、第１の視線ベクトルＶ１の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。
【００７４】
ここで、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置は、眼球画像ＥＰに基づく被写体の視線位置である。このため、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置には、被写体の個人差にともなう誤差が含まれている可能性がある。そこで、以下の説明では、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を「仮の視線位置ＶＰ」と表記する。また、仮の視線位置ＶＰの座標位置を「（ＸW，ＹW）＝（ｖｘ，ｖｙ）」と表記する。なお、第１の位置算出部５０６の具体的な処理内容については、図１３を用いて後述する。
【００７５】
また、領域特定部５０５は、特徴量が最大となる領域Ａmaxが複数存在する場合、表示画像ＳＰ上の仮の視線位置ＶＰの最近傍に位置する領域Ａmaxを特定する。そして、決定部５０４は、表示画像ＳＰ上の仮の視線位置ＶＰの最近傍に位置する領域Ａmaxを注視点Ｗに決定することにしてもよい。
【００７６】
ここで、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる複数の領域Ａmaxを「領域Ａmax［１］〜Ａmax［Ｋ］」と表記する。また、領域Ａmax［１］〜Ａmax［Ｋ］のうち任意の領域を「領域Ａmax［ｋ］」と表記する（ｋ＝１，２，…，Ｋ）。
【００７７】
この場合、たとえば、まず、領域特定部５０５が、下記式（２）を用いて、各領域Ａmax［１］〜Ａmax［Ｋ］と仮の視線位置ＶＰとの距離ｄ［１］〜ｄ［Ｋ］を算出する。ただし、ｄ［ｋ］は、領域Ａmax［ｋ］と仮の視線位置ＶＰとの距離である。ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標、ＹW座標である。ｘ［ｋ］，ｙ［ｋ］は、領域Ａmax［ｋ］のＸW座標、ＹW座標である。
【００７８】
ｄ［ｋ］＝｛（ｖｘ−ｘ［ｋ］）2＋（ｖｙ−ｙ［ｋ］）2｝1/2 ・・・（２）
【００７９】
なお、領域Ａmax［ｋ］の座標位置（ｘ［ｋ］，ｙ［ｋ］）は、たとえば、特徴量テーブル７００から特定される。たとえば、領域Ａmax［ｋ］が領域Ａ１の場合、領域Ａmax［ｋ］のＸW座標は『ｘ［ｋ］＝ｘ１』となり、領域Ａmax［ｋ］のＹW座標は『ｙ［ｋ］＝ｙ１』となる。
【００８０】
このあと、領域特定部５０５が、領域Ａmax［１］〜Ａmax［Ｋ］のうち、仮の視線位置ＶＰとの距離が最小となる領域Ａmax［ｋ］を特定する。そして、決定部５０４が、特定された領域Ａmax［ｋ］を注視点Ｗに決定する。これにより、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち、仮の視線位置ＶＰに最も近く、人の視線が最も向きやすい領域Ａmax［ｋ］を注視点Ｗに決定することができる。
【００８１】
また、決定部５０４は、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］が複数存在する場合、複数の領域Ａ１〜Ａｎの中から注視点Ｗを決定しないことにしてもよい。これにより、注視点Ｗの候補となる点が複数存在し、注視点Ｗを一意に決定することができない場合は、表示画像ＳＰ上の注視点Ｗを未決定とすることができる。
【００８２】
なお、距離ｄ［１］〜ｄ［Ｋ］のうちの最小の距離とは、たとえば、距離ｄ［１］〜ｄ［Ｋ］の中で値が最小となる距離ｄminでもよく、距離ｄminに定数β（たとえば、３［ｍｍ］）を加算した値以下となる距離でもよい。これにより、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］として、距離ｄ［ｋ］が距離ｄminと同程度の値となる領域Ａmax［ｋ］を特定することができる。なお、定数βは、たとえば、予め設定されてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００８３】
抽出部５０７は、表示画像ＳＰの中から仮の視線位置ＶＰを含む所定範囲の画像を抽出する。ここで、所定範囲は、予め規定されており、たとえば、仮の視線位置ＶＰを中心とする円でもよく、また、仮の視線位置ＶＰを含む領域を中心とする領域の集合でもよい。より具体的には、たとえば、所定範囲は、仮の視線位置ＶＰを中心として、被写体の個人差にともなう視線位置の誤差として想定される最大の誤差を半径とする円である。
【００８４】
この場合、特徴量算出部５０３は、抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することにしてもよい。これにより、表示画像ＳＰにおいて仮の視線位置ＶＰから離れすぎているために注視点Ｗとなる可能性が低い領域Ａｉを、注視点Ｗの候補から排除することができる。また、特徴量Ｃｉの算出対象となる領域数が少なくなるため、特徴量Ｃｉの算出処理にかかる負荷を軽減させることができる。なお、以下の説明では、抽出された所定範囲の画像上の複数の領域を、表示画像ＳＰ上の複数の領域と同様に「複数の領域Ａ１〜Ａｎ」と表記する。
【００８５】
また、視線算出部５０２は、被写体の眼球から、決定された注視点Ｗに向かう第２の視線ベクトルＶ２を算出する。具体的には、たとえば、視線算出部５０２が、世界座標系４３０における眼球の角膜曲率中心の座標位置と注視点Ｗの座標位置とに基づいて、第２の視線ベクトルＶ２を算出する。なお、第２の視線ベクトルＶ２を算出する具体的な処理内容は、図１３を用いて後述する。
【００８６】
ここで、第２の視線ベクトルＶ２は、たとえば、下記式（３）を用いて、極座標系におけるベクトルによって表現される。Ｖ２は、第２の視線ベクトルである。また、ｒ２は動径であり、世界座標系４３０の原点ＯWから眼球までの距離である。また、θ２は偏角であり、第２の視線ベクトルＶ２と世界座標系４３０の基準軸（たとえば、ＺW軸）とのなす角である。また、φ２は偏角であり、第２の視線ベクトルＶ２と世界座標系４３０の基準軸（たとえば、ＸW軸）とのなす角である。
【００８７】
【数２】
【００８８】
関連付け部５０８は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とを関連付ける。具体的には、たとえば、関連付け部５０８が、注視点Ｗが決定されるごとに、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける。
【００８９】
なお、関連付け結果は、たとえば、図８に示すベクトルペアテーブル８００に記憶される。ベクトルペアテーブル８００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、ベクトルペアテーブル８００の記憶内容について説明する。
【００９０】
図８は、ベクトルペアテーブルの記憶内容の一例を示す説明図である。図８において、ベクトルペアテーブル８００は、ペアＩＤ、ｔ、θ１、φ１、θ２およびφ２のフィールドを有し、ベクトルペアＰ１〜Ｐ３ごとの偏角データ（たとえば、偏角データ８００−１〜８００−３）をレコードとして記憶している。
【００９１】
ここで、ペアＩＤとは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２のベクトルペアの識別子である。ｔは、第１の視線ベクトルＶ１の算出元となる眼球画像ＥＰの撮影時刻である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。θ２およびφ２は、第２の視線ベクトルＶ２の偏角である。なお、各偏角の単位は［度］である。以下の説明では、任意のベクトルペアを「ベクトルペアＰｊ」と表記する。
【００９２】
図５の説明に戻り、補正値算出部５０９は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とに基づいて、第１の視線ベクトルＶ１を第２の視線ベクトルＶ２に略一致させるための被写体に固有の補正値を算出する。
【００９３】
ここで、補正値は、被写体の個人差にともなう視線位置の誤差を補正するためのキャリブレーションに用いるパラメータの値である。具体的には、たとえば、補正値は、下記式（４）に示す行列Ｗ（以下、「キャリブレーション行列Ｗ」という）に含まれるパラメータω1〜ω4の値である。
【００９４】
【数３】
【００９５】
より具体的には、たとえば、補正値算出部５０９が、下記式（５）を用いて、被写体に固有のパラメータω1〜ω4の値を算出することができる。ただし、Ｖ１は第１の視線ベクトル、Ｖ２は第２の視線ベクトル、Ｗはキャリブレーション行列である。
【００９６】
【数４】
【００９７】
なお、上記式（５）を用いる場合、キャリブレーション行列Ｗに含まれる未知数が４つのため、パラメータω1〜ω4の値を求めるために少なくとも２組のベクトルペアが必要となる。そこで、たとえば、補正値算出部５０９は、ベクトルペアテーブル８００を参照して、複数のベクトルペアＰｊに基づいて、被写体に固有の補正値を算出する。なお、補正値算出部５０９の具体的な処理内容については後述する。
【００９８】
ただし、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4のうち、いずれか２つのパラメータ（たとえば、ω2，ω4）の値を固定値とすることで、未知数を減らすことにしてもよい。これにより、１組のベクトルペアに基づいて、被写体に固有のパラメータ（たとえば、ω1，ω3）の値を算出することができる。
【００９９】
また、算出された補正値は、たとえば、図９に示すパラメータテーブル９００に記憶される。パラメータテーブル９００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０１００】
図９は、パラメータテーブルの記憶内容の一例を示す説明図である。図９において、パラメータテーブル９００は、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を保持している。なお、パラメータテーブル９００の記憶内容は、被写体に固有の補正値（パラメータω1〜ω4の値）が算出されると、その都度更新される。
【０１０１】
図５の説明に戻り、補正部５１０は、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正する。具体的には、たとえば、補正部５１０が、下記式（６）を用いて、補正後の第１の視線ベクトルＶ１を算出することができる。ただし、Ｖ１’は補正後の第１の視線ベクトル、Ｖ１は第１の視線ベクトル、Ｗはキャリブレーション行列である。
【０１０２】
【数５】
【０１０３】
より具体的には、たとえば、まず、補正部５１０が、パラメータテーブル９００を参照して、各パラメータω1〜ω4の値を上記式（６）に代入する。また、補正部５１０が、第１の視線ベクトルＶ１の動径ｒ１および偏角ω１、φ１を上記式（６）に代入することにより、補正後の第１の視線ベクトルＶ１’を算出することができる。
【０１０４】
第２の位置算出部５１１は、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、たとえば、第２の位置算出部５１１が、補正後の第１の視線ベクトルＶ１’の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。
【０１０５】
ここで、補正後の第１の視線ベクトルＶ１’に基づく表示画像ＳＰ上の視線位置は、被写体の個人差にともなう誤差が補正された被写体の視線位置である。なお、以下の説明では、補正後の第１の視線ベクトルＶ１’について、補正前の第１の視線ベクトルＶ１と同様に「第１の視線ベクトルＶ１」と表記する。
【０１０６】
また、補正部５１０は、第１の視線ベクトルＶ１が算出されたときに、被写体に固有の補正値が算出されている場合、該補正値を用いて第１の視線ベクトルＶ１を補正することにしてもよい。具体的には、たとえば、補正部５１０が、第１の視線ベクトルＶ１が算出されたときに、パラメータテーブル９００にパラメータω1〜ω4の値が記憶されている場合、該パラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する。
【０１０７】
この場合、関連付け部５０８は、補正された補正後の第１の視線ベクトルＶ１と、第２の視線ベクトルＶ２とを関連付ける。これにより、被写体の個人差にともなう誤差が補正された第１の視線ベクトルＶ１を用いて、パラメータω1〜ω4の値を再計算することができる。
【０１０８】
誤差算出部５１２は、関連付けられた第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を算出する。具体的には、たとえば、誤差算出部５１２が、下記式（７）〜（９）を用いて、ベクトルペアＰｊの第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルεを算出することができる。
【０１０９】
ただし、εは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルである。εθは、第１の視線ベクトルＶ１の偏角θ１と第２の視線ベクトルＶ２の偏角θ２との誤差である。εφは、第１の視線ベクトルＶ１の偏角φ１と第２の視線ベクトルＶ２の偏角φ２との誤差である。
【０１１０】
【数６】
【０１１１】
εθ＝｜θ２−θ１｜ ・・・（８）
【０１１２】
εφ＝｜φ２−φ１｜ ・・・（９）
【０１１３】
誤差判定部５１３は、算出された誤差が所定の閾値未満か否かを判定する。具体的には、たとえば、誤差判定部５１３が、誤差ベクトルεの各値εθ，εφが、所定の閾値ε0未満となるか否かを判定する。なお、閾値ε0は、予め設定されてＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【０１１４】
たとえば、閾値ε0の値として、１画素（ピクセル）を識別できるほどの誤差を設定することにしてもよい。具体的には、たとえば、閾値ε0は、下記式（１０）を用いて求めることができる。ただし、ｈは１画素当たりの長さ、Ｌはディスプレイ２１１から被写体の眼球までの距離である。なお、ｈ，Ｌの単位は［ｍｍ］である。
【０１１５】
ε0＝ｔａｎ-1（ｈ／Ｌ） ・・・（１０）
【０１１６】
ここで、Ｌ＝４５０［ｍｍ］とし、ディスプレイ２１１の大きさ（横×縦）を４０８［ｍｍ］×３０７［ｍｍ］とし、ディスプレイ２１１の解像度（横×縦）を１２８０［画素］×１０２４［画素］とする。この場合、閾値ε0は、上記式（１０）から「ε0＝０．０４」となる。
【０１１７】
なお、上述した説明では、誤差ベクトルεの各値εθ，εφについて共通の閾値ε0を設定することにしたが、これに限らない。たとえば、誤差ベクトルεの各値εθ，εφについて、それぞれ異なる閾値ε1，ε2を設定することにしてもよい。
【０１１８】
また、補正値算出部５０９は、誤差が所定の閾値以上と判定された場合、被写体に固有の補正値を算出することにしてもよい。一方、補正値算出部５０９は、誤差が所定の閾値未満と判定された場合、被写体に固有の補正値を算出しないことにしてもよい。具体的には、たとえば、補正値算出部５０９が、誤差ベクトルεの各値εθ，εφが閾値ε0以上の場合、被写体に固有のパラメータω1〜ω4の値を算出する。一方、補正値算出部５０９が、誤差ベクトルεの各値εθ，εφが閾値ε0未満の場合、被写体に固有のパラメータω1〜ω4の値を算出しない。
【０１１９】
これにより、既に算出済みのパラメータω1〜ω4の値を用いて補正された補正後の第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差が十分小さくなったら、パラメータω1〜ω4の値の更新を停止することができる。なお、被写体が動いて眼球の位置が変化することを考慮して、一定時間経過後に、パラメータω1〜ω4の値の更新を再開することにしてもよい。
【０１２０】
速度判定部５１４は、時系列に連続する第１の視線ベクトルＶ１に基づいて、被写体の視線の移動速度が所定の速度以上か否かを判定する。ここで、時系列に連続する第１の視線ベクトルＶ１とは、たとえば、算出元の眼球画像ＥＰの撮影時刻ｔが時系列に連続する一対の第１の視線ベクトルＶ１である。
【０１２１】
すなわち、速度判定部５１４は、被写体の視線の移動速度が所定の速度以上で動く眼球運動（以下、「サッカード」という）が発生したか否かを判定する。具体的には、たとえば、速度判定部５１４が、第１の視線ベクトルＶ１の偏角θ１，φ１の単位時間当たりの変化量が所定の閾値Ｓ以上となった場合に、サッカードが発生したと判定する。
【０１２２】
なお、閾値Ｓは、予め設定されてＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。ここで、一例として、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１，φ１のいずれか一方の単位時間当たりの変化量が１００［度／秒］以上となった場合をサッカードと定義する。
【０１２３】
また、表示画像ＳＰを６０［ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）］の動画像とし、時系列に連続する撮影時刻ｔの時間間隔を１［ｆｒａｍｅ］（＝１／６０［秒］）とする。この場合、閾値Ｓは『Ｓ＝１．６７［度／ｆｒａｍｅ］』となる。
【０１２４】
具体的には、たとえば、まず、速度判定部５１４が、下記式（１１）を用いて、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１の差分を算出する。ただし、Ｓθは、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１の差分である。ｔｋ，ｔ（ｋ＋１）は、時系列に連続する撮影時刻である。θ１tkは、撮影時刻ｔｋの眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１である。θ１t(k+1)は、撮影時刻ｔ（ｋ＋１）の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１である。
【０１２５】
Ｓθ＝｜θ１tk−θ１t(k+1)｜ ・・・（１１）
【０１２６】
また、速度判定部５１４が、下記式（１２）を用いて、時系列に連続する一対の第１の視線ベクトルＶ１の偏角φ１の差分を算出する。ただし、Ｓφは、時系列に連続する一対の第１の視線ベクトルＶ１の偏角φ１の差分である。ｔｋ，ｔ（ｋ＋１）は、時系列に連続する撮影時刻である。φ１tkは、撮影時刻ｔｋの眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角φ１である。φ１t(k+1)は、撮影時刻ｔ（ｋ＋１）の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角φ１である。
【０１２７】
Ｓφ＝｜φ１tk−φ１t(k+1)｜ ・・・（１２）
【０１２８】
そして、速度判定部５１４が、算出された差分Ｓθ，Ｓφの少なくともいずれか一方が閾値Ｓ以上の場合、サッカードが発生したと判定する。一方、速度判定部５１４が、算出された差分Ｓθ，Ｓφの両方が閾値Ｓ未満の場合、サッカードが発生していないと判定する。
【０１２９】
なお、時系列に連続する一対の第１の視線ベクトルＶ１は、たとえば、図１０に示すベクトルテーブル１０００に記憶されている。ベクトルテーブル１０００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、ベクトルテーブル１０００の記憶内容について説明する。
【０１３０】
図１０は、ベクトルテーブルの記憶内容の一例を示す説明図である。図１０において、ベクトルテーブル１０００は、ｔ、θ１およびφ１のフィールドを有し、時系列に連続する一対のベクトルデータをレコードとして記憶する。ここで、ｔは、第１の視線ベクトルＶ１の算出元となる眼球画像ＥＰの撮影時刻である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。
【０１３１】
図１０に示す（ａ）では、撮影時刻ｔ５，ｔ６の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１，φ１がベクトルデータ１０００−１，１０００−２として記憶されている。この場合、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２に基づいてサッカードが発生したか否かを判定する。
【０１３２】
具体的には、たとえば、まず、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２の撮影時刻ｔ５，ｔ６の偏角θ１t5，θ１t6を上記式（１１）に代入することにより、差分Ｓθを算出する。ここでは、「θ１t5＝２４．２」、「θ１t6＝２６．２」のため、差分Ｓθは「Ｓθ＝２」となる。
【０１３３】
また、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２の撮影時刻ｔ５，ｔ６の偏角φ１t5，φ１t6を上記式（１２）に代入することにより、差分Ｓφを算出する。ここでは、「φ１t5＝１０．３」、「φ１t6＝１０．３」のため、差分Ｓφは「Ｓφ＝０」となる。
【０１３４】
ここで、撮影時刻ｔ５，ｔ６の時間差を１［ｆｒａｍｅ］とし、閾値Ｓを「Ｓ＝１．６７［度／ｆｒａｍｅ］とする。この場合、速度判定部５１４が、算出された差分Ｓθ，Ｓφのうち、差分Ｓθ（＝２）が閾値Ｓ（＝１．６７）以上となるため、サッカードが発生したと判定する。
【０１３５】
なお、ベクトルテーブル１０００の記憶内容は、第１の視線ベクトルＶ１が算出されると、その都度更新される。たとえば、図１０に示す（ａ）において、新たな第１の視線ベクトルＶ１が算出されると、ベクトルデータ１０００−１が削除され、新たな第１の視線ベクトルＶ１に関するベクトルデータ１０００−３が記憶される。
【０１３６】
図１０に示す（ｂ）では、撮影時刻ｔ６，ｔ７の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１，φ１がベクトルデータ１０００−２，１０００−３として記憶されている。この場合、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３に基づいてサッカードが発生したか否かを判定する。
【０１３７】
具体的には、たとえば、まず、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３の撮影時刻ｔ６，ｔ７の偏角θ１t6，θ１t7を上記式（１１）に代入することにより、差分Ｓθを算出する。ここでは、「θ１t6＝２６．２」、「θ１t7＝２７．２」のため、差分Ｓθは「Ｓθ＝１」となる。
【０１３８】
また、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３の撮影時刻ｔ６，ｔ７の偏角φ１t6，φ１t7を上記式（１２）に代入することにより、差分Ｓφを算出する。ここでは、「φ１t6＝１０．３」、「φ１t7＝１０．３」のため、差分Ｓφは「Ｓφ＝０」となる。
【０１３９】
ここで、撮影時刻ｔ５，ｔ６の時間差を１［ｆｒａｍｅ］とし、閾値Ｓを「Ｓ＝１．６７［度／ｆｒａｍｅ］とする。この場合、速度判定部５１４が、算出された差分Ｓθ，Ｓφの両方が閾値Ｓ（＝１．６７）未満となるため、サッカードが発生していないと判定する。
【０１４０】
特徴量算出部５０３は、速度判定部５１４によって判定された判定結果に基づいて、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することにしてもよい。具体的には、たとえば、特徴量算出部５０３は、サッカードが発生したと判定された場合、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する。
【０１４１】
一方、特徴量算出部５０３は、サッカードが発生していないと判定された場合、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出しない。ここで、サッカードが発生していない状態は、時系列に連続する時刻ｔｋと時刻ｔ（ｋ＋１）との間の第１の視線ベクトルＶ１の偏角θ１，φ１の変化量が少なく、被写体の視線位置が停留している状態といえる。
【０１４２】
さらに、この場合、表示画像ＳＰの中から注視点Ｗに決定される領域Ａｉは、時刻ｔｋと時刻ｔ（ｋ＋１）との間で変化しない可能性が高く、その結果算出されるパラメータω1〜ω4の値の変化量も少なくなる可能性が高い。そこで、サッカードが発生していない場合は、特徴量Ｃ１〜Ｃｎの算出処理を抑制し、パラメータω1〜ω4の値の算出にかかる一連の処理の効率化を図る。
【０１４３】
また、出力部５１５は、補正後の第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を出力する。具体的には、たとえば、出力部５１５が、表示画像ＳＰと、表示画像ＳＰ上での視線位置（以下、「被写体の視線位置ＲＰ」という）とを関連付けて示す視線検出結果を出力することにしてもよい。ここで、視線検出結果の具体例について説明する。
【０１４４】
図１１は、視線検出結果の具体例を示す説明図である。図１１において、視線検出結果Ｒは、画像ＩＤ、時刻および座標位置を有している。画像ＩＤは、表示画像ＳＰの識別子である。時刻は、眼球画像ＥＰの撮影時刻であり、視線検出時刻を表している。座標位置は、世界座標系４３０における被写体の視線位置ＲＰのＸW座標およびＹW座標である。
【０１４５】
視線検出結果Ｒによれば、時刻ｔｊに表示画像ＳＰｊを見ている被写体の表示画像ＳＰｊ上での視線位置ＲＰ（ｘｊ，ｙｊ）を認識することができる。具体的には、たとえば、視線検出結果Ｒは、たとえば、表示装置１０３に対する入力インターフェースとして利用することができる。
【０１４６】
なお、出力部５１５の出力形式としては、たとえば、ディスプレイ２１１への表示、Ｉ／Ｆ２０８による外部装置への送信がある。また、他の出力形式として、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶することにしてもよい。
【０１４７】
また、出力部５１５は、算出された被写体に固有の補正値を出力することにしてもよい。具体的には、たとえば、出力部５１５が、パラメータテーブル９００内のパラメータω1〜ω4の値を出力することにしてもよい。これにより、以降において、被写体に固有のパラメータω1〜ω4の値を用いて、キャリブレーションを行うことができる。
【０１４８】
なお、上述した説明では、世界座標系４３０におけるディスプレイ２１１と被写体の眼球とのＺW軸方向の距離を、予め設定することにしたが、これに限らない。たとえば、既存技術を利用して、ディスプレイ２１１に対向している被写体にレーザ光を照射し、レーザ光が反射して戻ってくるまでの時間から、ディスプレイ２１１と被写体の眼球との距離を測定することにしてもよい。
【０１４９】
（補正値算出部５０９の具体的な処理内容）
ここで、被写体に固有の補正値を算出する補正値算出部５０９の具体的な処理内容について説明する。ここでは、まず、補正値算出部５０９が、２組のベクトルペアＰｊを用いて、パラメータω1〜ω4の値を求める場合について説明する。まず、補正値算出部５０９が、上記式（５）を展開することにより、下記式（１３）および（１４）の連立方程式を求める。
【０１５０】
θ２＝ω1θ１＋ω2 ・・・（１３）
φ２＝ω3φ１＋ω4 ・・・（１４）
【０１５１】
このあと、補正値算出部５０９が、たとえば、図８に示したベクトルペアテーブル８００を参照して、偏角データ８００−１，８００−２を上記式（１３）および（１４）に代入して、４つの連立方程式を求める。ただし、各偏角θ１、φ１、θ２およびφ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１３）および（１４）に代入する。
【０１５２】
そして、補正値算出部５０９が、４つの連立方程式を解くことで、パラメータω1〜ω4の値を求めることができる。偏角データ８００−１，８００−２の例では、各パラメータω1〜ω4の値は『ω1＝１．１８，ω2＝０．０８７，ω3＝９，ω4＝−２．９８』となる。
【０１５３】
つぎに、補正値算出部５０９が、３組以上のベクトルペアＰｊを用いて、パラメータω1〜ω4の値を求める場合について説明する。ここでは、最小二乗法を用いて、パラメータω1〜ω4の値を求める場合について説明する。
【０１５４】
まず、補正値算出部５０９が、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての下記式（１５）の誤差関数を、パラメータω1，ω2それぞれについて偏微分して、下記式（１６）および（１７）の連立方程式を求める。ただし、Ｅ（ω1，ω2）は、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての誤差関数である。θ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角θ１である。θ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角θ２である。
【０１５５】
【数７】
【０１５６】
【数８】
【０１５７】
同様に、補正値算出部５０９が、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての下記式（１８）の誤差関数を、パラメータω3，ω4それぞれについて偏微分して、下記式（１９）および（２０）の連立方程式を求める。ただし、Ｅ（ω3，ω4）は、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての誤差関数である。φ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角φ１である。φ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角φ２である。
【０１５８】
【数９】
【０１５９】
【数１０】
【０１６０】
このあと、補正値算出部５０９が、たとえば、ベクトルペアテーブル８００を参照して、偏角データ８００−１〜８００−３の偏角θ１，θ２を上記式（１６）および（１７）に代入することにより、下記式（２１）を求める。ただし、偏角θ１，θ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１６）および（１７）に代入する。
【０１６１】
【数１１】
【０１６２】
また、補正値算出部５０９が、ベクトルペアテーブル８００を参照して、偏角データ８００−１〜８００−３の偏角φ１，φ２を上記式（１９）および（２０）に代入することにより、下記式（２２）を求める。ただし、偏角φ１，φ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１９）および（２０）に代入する。
【０１６３】
【数１２】
【０１６４】
そして、補正値算出部５０９が、上記式（２１）および（２２）を解くことにより、パラメータω1〜ω4の値を求めることができる。偏角データ８００−１〜８００−３の例では、各パラメータω1〜ω4の値は『ω1＝０．９５，ω2＝０．１４，ω3＝１．１７，ω4＝−０．１２』となる。
【０１６５】
このように、複数のベクトルペアＰｊを用いて統計的にパラメータω1〜ω4の値を算出することにより、被写体に固有のパラメータω1〜ω4の値を精度よく求めることができる。
【０１６６】
（視線算出部５０２の具体的な処理内容）
つぎに、第１の視線ベクトルＶ１を算出する視線算出部５０２の具体的な処理内容について説明する。図１２−１および図１２−２は、視線算出部５０２の具体的処理の概要を示す説明図である。ここでは、図６に示した眼球６００に近赤外線を照射したときの角膜表面におけるプルキニエ像６０３を利用して、第１の視線ベクトルＶ１を算出する場合について説明する。
【０１６７】
（ｉ）視線算出部５０２は、画像座標系４１０における眼球画像ＥＰ上の瞳孔６０１の瞳孔中心１２０１の位置ベクトルＰ’Pおよびプルキニエ像６０３の位置ベクトルｕPを算出する。そして、視線算出部５０２は、瞳孔中心１２０１の位置ベクトルＰ’Pおよびプルキニエ像６０３の位置ベクトルｕPをカメラ座標系４２０に座標変換する。
【０１６８】
ここで、世界座標系４３０におけるプルキニエ像６０３および瞳孔中心１２０１のＺW座標は、ディスプレイ２１１と被写体の眼球６００との距離として予め設定されている。このため、カメラ座標系４２０における瞳孔中心１２０１の位置ベクトルＰ’Cは、世界座標系４３０における瞳孔中心１２０１のＺW座標と画像座標系４１０における瞳孔中心１２０１の位置ベクトルＰ’Pから求めることができる。また、カメラ座標系４２０におけるプルキニエ像６０３の位置ベクトルｕCは、世界座標系４３０におけるプルキニエ像６０３のＺW座標と画像座標系４１０におけるプルキニエ像６０３の位置ベクトルｕPから求めることができる。
【０１６９】
なお、瞳孔中心１２０１は、たとえば、眼球画像ＥＰに写っている眼球表面のうち、周囲に比べて暗い楕円領域（瞳孔６０１）の中心位置である。また、プルキニエ像６０３は、たとえば、眼球画像ＥＰに写っている眼球表面のうち、瞳孔６０１の近傍に位置する輝点である。
【０１７０】
（ｉｉ）視線算出部５０２は、プルキニエ像６０３の位置ベクトルｕCから、角膜１２０２の角膜曲率中心１２０３の位置ベクトルｃCを算出する。具体的には、たとえば、視線算出部５０２が、下記式（２３）を用いて、角膜曲率中心１２０３の位置ベクトルｃCを算出することができる。
【０１７１】
ただし、ｃCは、カメラ座標系４２０における角膜曲率中心１２０３の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖ｕC‖は、位置ベクトルｕCのノルムである。なお、図１２−１中、符号１２０４は「房水」である。
【０１７２】
【数１３】
【０１７３】
一例として、Ｃ＝７．６［ｍｍ］、プルキニエ像６０３の位置ベクトルｕC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６００）とする。この場合、上記式（２３）から、角膜曲率中心１２０３の位置ベクトルｃCは、『ｃC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６０７．６）』となる。なお、各座標値の単位は［ｍｍ］である。
【０１７４】
（ｉｉｉ）視線算出部５０２は、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’Cから、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを算出する。具体的には、たとえば、視線算出部５０２が、下記式（２４）を用いて、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを算出することができる。
【０１７５】
ただし、ＰCは、角膜表面での瞳孔中心１２０１の位置ベクトルである。Ｐ’Cは、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖Ｐ’C‖は、位置ベクトルＰ’Cのノルムである。また、Ｍは下記式（２５）となる。ただし、‖Ｐ’C−ｕC‖は、位置ベクトル（Ｐ’C−ｕC）のノルムである。
【０１７６】
【数１４】
【０１７７】
【数１５】
【０１７８】
一例として、Ｃ＝７．６［ｍｍ］、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’C（ＸC，ＹC，ＺC）＝（３５．１４，５９．２２，６００）とする。この場合、上記式（２４）および（２５）から、角膜表面での瞳孔中心１２０１の位置ベクトルＰCは、『ＰC（ＸC，ＹC，ＺC）＝（３５．１５，５９．４４，６０７．６）』となる。
【０１７９】
ただし、角膜１２０２に照射した光は、角膜表面で屈折する。したがって、観察された瞳孔６０１も実際の位置からは屈折して見えることになるため、位置ベクトルＰCの補正が必要となる。そこで、視線算出部５０２が、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを補正する。
【０１８０】
（ｉｖ）視線算出部５０２は、角膜表面での瞳孔中心１２０１に入射した光の屈折ベクトルｔCと、角膜曲率中心１２０３から瞳孔中心１２０１までの距離Ｌとに基づいて、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを補正する。具体的には、たとえば、視線算出部５０２が、下記式（２６）を用いて、補正後の瞳孔中心１２０１の位置ベクトルｐCを求めることができる。
【０１８１】
ただし、ｐCは、補正後の瞳孔中心１２０１の位置ベクトルである。Ｌは、角膜曲率中心１２０３から瞳孔中心１２０１までの距離を表す定数である。Ｃは、角膜曲率半径を表す定数である。ＰCは、角膜表面での瞳孔中心１２０１の位置ベクトルである。また、ｔCは下記式（２７）となる。ただし、ｎ1は空気の屈折率、ｎ2は房水１２０４の屈折率である。ｒCは、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’Cの単位ベクトルである。（ｒC，ｎ）は、ｒCとｎとの内積を表す。また、ｎは下記式（２８）となる。
【０１８２】
【数１６】
【０１８３】
【数１７】
【０１８４】
【数１８】
【０１８５】
一例として、Ｃ＝７．６［ｍｍ］、Ｌ＝４．５［ｍｍ］、屈折ベクトルｔC（ＸC，ＹC，ＺC）＝（０．０５７，０．１３，１）とし、単位ベクトルｎ（ＸC，ＹC，ＺC）＝（−０．０３６，−０．２１，−１）とする。この場合、上記式（２６）〜（２８）から、補正後の瞳孔中心１２０１の位置ベクトルｐCは、『ｐC（ＸC，ＹC，ＺC）＝（３５．３，５９．８３，６０３．０７）』となる。
【０１８６】
（ｖ）視線算出部５０２は、補正後の瞳孔中心１２０１の位置ベクトルｐCおよび角膜曲率中心１２０３の位置ベクトルｃCを、カメラ座標系４２０から世界座標系４３０に座標変換する。そして、視線算出部５０２は、世界座標系４３０における補正後の瞳孔中心１２０１の位置ベクトルｐWと、角膜曲率中心１２０３の位置ベクトルｃWとに基づいて、第１の視線ベクトルＶ１Wを算出する。
【０１８７】
具体的には、たとえば、視線算出部５０２が、下記式（２９）を用いて、第１の視線ベクトルＶ１Wを求めることができる。ただし、Ｖ１Wは、世界座標系４３０における第１の視線ベクトルＶ１である。
【０１８８】
Ｖ１W＝ｐW−ｃW ・・・（２９）
【０１８９】
一例として、瞳孔中心１２０１の位置ベクトルｐW（ＸW，ＹW，ＺW）＝（３５．３，５９．８３，６０３．０７）とし、角膜曲率中心１２０３の位置ベクトルｃW（ＸW，ＹW，ＺW）＝（３５．４２，６１．０４，６０７．６）とする。この場合、上記式（２９）から、第１の視線ベクトルＶ１Wは、『Ｖ１W（ＸW，ＹW，ＺW）＝（−０．１２，−１．２１，−４．５３）』となる。
【０１９０】
また、視線算出部５０２が、世界座標系４３０における第１の視線ベクトルＶ１Wを極座標変換することにより、上記式（１）に含まれる動径ｒ１、偏角θ１およびφ１を求めることができる。一例として、第１の視線ベクトルＶ１W（ＸW，ＹW，ＺW）＝（１，１，−７）とすると、極座標系における第１の視線ベクトルＶは『ｒ１＝１．７４，θ１＝１６８．５８，φ１＝４５』となる。
【０１９１】
なお、上述した説明では、人の左眼または右眼のいずれか一方の眼球に着目して、第１の視線ベクトルＶ１Wを求めることにしたが、これに限らない。たとえば、視線算出部５０２が、左眼および右眼の眼球画像ＥＰから左眼および右眼の第１の視線ベクトルＶ１Wを求めて、左眼および右眼の第１の視線ベクトルＶ１Wの平均値をとることにしてもよい。
【０１９２】
（第１の位置算出部５０６の具体的な処理内容）
第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を算出する第１の位置算出部５０６の具体的な処理内容について説明する。図１３は、視線ベクトルと視線位置との関係を表す説明図である。
【０１９３】
図１３において、点Ｏは、世界座標系４３０における角膜曲率中心１２０３（図１２−１参照）の位置ベクトルｃWの先端の点である。点Ａは、世界座標系４３０における第１の視線ベクトルＶ１Wの先端の点である。点Ａ’は、第１の視線ベクトルＶ１Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、仮の視線位置ＶＰである。
【０１９４】
ここで、三角形ＯＡＢと三角形ＯＡ’Ｂ’は相似関係にある。このため、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、仮の視線位置ＶＰを求めることができる。具体的には、たとえば、第１の位置算出部５０６が、下記式（３０）および（３１）を用いて、仮の視線位置ＶＰを求めることができる。
【０１９５】
ただし、ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標およびＹW座標である。また、仮の視線位置ＶＰのＺW座標は「０」である。ｘV1，ｙV1は、第１の視線ベクトルＶ１WのＸW座標およびＹW座標である。Ｇは、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０１９６】
ｖｘ＝（Ｇ／ｇ）×ｘV1 ・・・（３０）
ｖｙ＝（Ｇ／ｇ）×ｙV1 ・・・（３１）
【０１９７】
一例として、世界座標系４３０における第１の視線ベクトルＶ１WをＶ１W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７．００）とし、角膜曲率中心１２０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０１９８】
したがって、仮の視線位置ＶＰのＸW座標は、上記式（３０）から「ｖｘ＝９９．７２＝（６０７／７）×１．１５」となる。また、仮の視線位置ＶＰのＹW座標は、上記式（３１）から「ｖｙ＝９９．７２＝（６０７／７）×１．１５」となる。
【０１９９】
つぎに、図１３を用いて、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２を算出する視線算出部５０２の具体的な処理内容について説明する。図１３において、点Ｃは、世界座標系４３０における第２の視線ベクトルＶ２Wの先端の点である。点Ｃ’は、第２の視線ベクトルＶ２Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、注視点Ｗである。
【０２００】
ここで、三角形ＯＣＢと三角形ＯＣ’Ｂ’は相似関係にある。このため、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、第２の視線ベクトルＶ２Wを求めることができる。具体的には、たとえば、視線算出部５０２が、下記式（３２）〜（３４）を用いて、第２の視線ベクトルＶ２Wを求めることができる。
【０２０１】
ただし、ｗｘ，ｗｙは、注視点ＷのＸW座標およびＹW座標である。また、注視点ＷのＺW座標は「０」である。ｘV2，ｙV2，ｚV2は、第２の視線ベクトルＶ２WのＸW座標、ＹW座標およびＺW座標である。ｚV1は、第１の視線ベクトルＶ１WのＺW座標である。Ｇは、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０２０２】
ｘV2＝（ｇ／Ｇ）×ｗｘ ・・・（３２）
ｙV2＝（ｇ／Ｇ）×ｗｙ ・・・（３３）
ｚV2＝ｚV1 ・・・（３４）
【０２０３】
一例として、世界座標系４３０における注視点Ｗを（ＸW，ＹW，ＺW）＝（１００，１００，０）とし、角膜曲率中心１２０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。第１の視線ベクトルＶ１WのＺW座標を「ＺW＝−７」とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０２０４】
したがって、第２の視線ベクトルＶ２WのＸW座標は、上記式（３２）から「ｘV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＹW座標は、上記式（３３）から「ｙV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＺW座標は、上記式（３４）から「ｚV2＝−７」となる。
【０２０５】
そして、視線算出部５０２が、第２の視線ベクトルＶ２Wを極座標変換することにより、第２の視線ベクトルＶ２を求めることができる。一例として、第２の視線ベクトルＶ２Wを『（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７）』とすると、第２の視線ベクトルＶ２は『ｒ２＝７．１８，θ２＝１６６．９２，φ２＝４５』となる。
【０２０６】
（特徴量算出部５０３の具体的な処理内容）
つぎに、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する特徴量算出部５０３の具体的な処理内容について説明する。ここでは、まず、表示画像ＳＰに対して２値化処理を施すことにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。
【０２０７】
＜２値化処理＞
図１４は、２値化処理の概要を示す説明図である。図１４において、表示画像輝度テーブル１４１０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１４１０−１〜１４１０−ｎを記憶している。
【０２０８】
領域ＩＤは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。輝度は、各領域Ａ１〜Ａｎの赤（Ｒ）、緑（Ｇ）、青（Ｂ）ごとの輝度である。ここでは、各色の輝度が「０〜２５５」の２５６階調で表現されている。
【０２０９】
まず、特徴量算出部５０３は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、グレースケール画像ＬＰとは、画像を灰色の濃淡（白から黒までの明暗）だけで表現したものである。具体的には、たとえば、特徴量算出部５０３が、表示画像ＳＰの各領域Ａ１〜Ａｎの色ごとの輝度に基づいて、グレースケール画像における各領域Ａ１〜Ａｎの灰色の輝度を算出する。
【０２１０】
より具体的には、たとえば、特徴量算出部５０３が、下記式（３５）を用いて、グレースケール画像における領域Ａ１〜Ａｎごとの灰色の輝度を算出することができる。ただし、Ｌ（ｉ）は、グレースケール画像における領域Ａｉの灰色の輝度である。Ｒ（ｉ）は、表示画像ＳＰにおける領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰにおける領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、表示画像ＳＰにおける領域Ａｉの青色の輝度である。
【０２１１】
Ｌ（ｉ）＝｛Ｒ（ｉ）＋Ｇ（ｉ）＋Ｂ（ｉ）｝／３ ・・・（３５）
【０２１２】
すなわち、特徴量算出部５０３は、表示画像輝度テーブル１４１０を参照して、領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３５）に代入することにより、領域Ａｉの輝度Ｌ（ｉ）を算出することができる。たとえば、領域Ａ４の輝度Ｌ（４）は、『Ｌ（４）＝２００』となる。
【０２１３】
なお、算出された領域Ａ１〜Ａｎごとの灰色の輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、グレースケール画像輝度テーブル１４２０に記憶される。グレースケール画像輝度テーブル１４２０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１４２０−１〜１４２０−ｎを記憶している。ここで、輝度は、各領域Ａ１〜Ａｎの灰色（Ｌ）の輝度である。
【０２１４】
つぎに、特徴量算出部５０３は、変換後のグレースケール画像に対して、２値化処理を実行する。ここで、２値化処理とは、濃淡のある画像を白と黒の２階調に変換する処理である。具体的には、たとえば、特徴量算出部５０３は、各領域Ａ１〜Ａｎの灰色の輝度が、所定の閾値Ｌ以上となる場合は「白」、閾値Ｌ未満となる場合は「黒」に置き換える。なお、閾値Ｌは、任意に設定されて、ＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【０２１５】
より具体的には、たとえば、特徴量算出部５０３は、グレースケール画像輝度テーブル１４２０を参照して、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ以上となる場合は、輝度Ｌ（ｉ）を「２５５」に置き換える。一方、特徴量算出部５０３は、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ未満となる場合は、輝度Ｌ（ｉ）を「０」に置き換える。
【０２１６】
ここで、上記閾値Ｌを『Ｌ＝２００』とする。この場合、たとえば、領域Ａ１の輝度Ｌ（１）は、閾値Ｌ未満のため「０」に置き換えられる。また、領域Ａ４の輝度Ｌ（４）は、閾値Ｌ以上のため「２５５」に置き換えられる。
【０２１７】
なお、２値化された領域Ａ１〜Ａｎごとの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、図７に示した特徴量テーブル７００の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、各領域Ａ１〜Ａｎの２値化後の輝度Ｌ（１）〜Ｌ（ｎ）を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとする。
【０２１８】
このように、各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を２値化して表すことにより、領域Ａ１〜Ａｎの中から輝度・色・形が周囲と異なる領域Ａｉを特定することができる。図１５は、輝度・色・形が周囲と異なる領域の一例を示す説明図である。なお、図面では、表示画像ＳＰの一部を抜粋して表示している。
【０２１９】
図１５において、表示画像ＳＰａでは、領域Ａａが周囲と比べて明るくなっている。表示画像ＳＰｂでは、領域Ａｂが周囲と比べて色が異なっている。表示画像ＳＰｃでは、領域Ａｃのみに文字が表示されている（形が周囲と異なる）。
【０２２０】
表示画像ＳＰにおいて、輝度・色・形が周囲と異なる領域Ａｉは、他の領域に比べて人の視線が向きやすい領域といえる。このため、各領域Ａ１〜Ａｎの輝度を２値化して表すことにより、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを注視点Ｗに決定することができる。
【０２２１】
なお、視線検出装置２００は、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを含む表示画像ＳＰを、視線検出中の任意のタイミングでディスプレイ２１１に表示することにしてもよい。これにより、表示画像ＳＰの中から注視点Ｗを精度よく決定して、被写体に固有の補正値（パラメータω1〜ω4の値）を高精度に算出することができる。
【０２２２】
＜顕著度マップ作成処理＞
つぎに、表示画像ＳＰに関する顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。ここで、顕著度マップとは、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを顕著度として表すマップである。
【０２２３】
具体的には、特徴量算出部５０３が、表示画像ＳＰを輝度成分、色成分、方向成分に分離して、各成分に関する顕著度マップＭ１〜Ｍ３を作成する。そして、特徴量算出部５０３が、顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する。
【０２２４】
以下、図１６〜図２４を用いて、顕著度マップ作成処理の具体的な処理内容について説明する。ここでは、まず、図１６および図１７を用いて、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成する場合について説明する。
【０２２５】
図１６および図１７は、輝度成分に関する顕著度マップ作成処理の概要を示す説明図である。図１６において、（ｉ）特徴量算出部５０３は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、表示画像輝度テーブル１６１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色（ＲＧＢ）ごとの輝度を記憶するテーブルである。
【０２２６】
具体的には、たとえば、特徴量算出部５０３が、表示画像輝度テーブル１６１０を参照して、表示画像ＳＰ上の領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３５）に代入する。これにより、グレースケール画像ＬＰ上の領域Ａｉの灰色（Ｌ）の輝度Ｌ（ｉ）を算出することができる。
【０２２７】
グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、グレースケール画像輝度テーブル１６２０に記憶される。グレースケール画像輝度テーブル１６２０は、グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２２８】
図１６において、（ｉｉ）特徴量算出部５０３は、グレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰを作成する。ここで、ガウシアンフィルタとは、画像を滑らかにして輪郭のボケを少なくすることを目的とした平滑化フィルタである。ダウンサンプリングとは、サンプリング周波数を下げて再サンプリングすることである。
【０２２９】
ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル１６３０に記憶される。ダウンサンプリング画像輝度テーブル１６３０は、ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２３０】
図１６において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰにアップサンプリング（バイリニア補間）を実施して、ピラミッド画像ＰＰを作成する。ここで、アップサンプリングとは、サンプリング周波数を上げて再サンプリングすることである。ピラミッド画像ＰＰとは、解像度の異なる画像の集合である。
【０２３１】
ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル１６４０に記憶される。ピラミッド画像輝度テーブル１６４０は、ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。ただし、ピラミッド画像輝度テーブル１６４０は、ピラミッド画像ＰＰの低解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶している。
【０２３２】
図１７において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰに関する中心周辺差分処理を実施して、輝度成分に関する顕著度マップＭ１を作成する。ここで、中心周辺差分処理とは、ピラミッド画像ＰＰの高解像度画像と低解像度画像との差分を取ることである。ここでは、ピラミッド画像ＰＰの高解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）として、グレースケール画像輝度テーブル１６２０内の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を用いる。
【０２３３】
具体的には、特徴量算出部５０３が、ピラミッド画像輝度テーブル１６４０内の領域Ａｉの輝度Ｌ（ｉ）と、グレースケール画像輝度テーブル１６２０内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度成分に関する顕著度を算出する。たとえば、領域Ａ２の輝度成分に関する顕著度は、『４７＝｜３３−８０｜』となる。
【０２３４】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度は、たとえば、輝度顕著度テーブル１７００に記憶される。輝度顕著度テーブル１７００は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度を記憶するテーブルである。これにより、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成することができる。
【０２３５】
なお、上述した各種テーブル１６１０，１６２０，１６３０，１６４０，１７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２３６】
つぎに、図１８〜図２０を用いて、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成する場合について説明する。図１８〜図２０は、色成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２３７】
図１８および図１９において、（ｉ）特徴量算出部５０３は、表示画像輝度テーブル１６１０（図１６参照）を参照して、表示画像ＳＰをＲ成分、Ｇ成分、Ｂ成分およびＹ（黄）成分に分離する。ここで、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、特徴量算出部５０３が、下記式（３６）を用いて求めることができる。ただし、Ｙ（ｉ）は、領域Ａｉの黄色の輝度である。Ｒ（ｉ）は、領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、領域Ａｉの青色の輝度である。なお、Ｙ（ｉ）が負の値の場合は「Ｙ（ｉ）＝０」とする。
【０２３８】
【数１９】
【０２３９】
分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分輝度テーブル１８１０に記憶される。Ｒ成分輝度テーブル１８１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４０】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分輝度テーブル１８２０に記憶される。Ｇ成分輝度テーブル１８２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４１】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分輝度テーブル１９１０に記憶される。Ｂ成分輝度テーブル１９１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２４２】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分輝度テーブル１９２０に記憶される。Ｙ成分輝度テーブル１９２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２４３】
図１８において、（ｉｉ）特徴量算出部５０３は、Ｒ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＲ成分のダウンサンプリング画像ＤＰを作成する。
【０２４４】
Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分ダウンサンプリング画像輝度テーブル１８１１に記憶される。Ｒ成分ダウンサンプリング画像輝度テーブル１８１１は、Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４５】
図１８において、（ｉｉｉ）特徴量算出部５０３は、Ｒ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｒ成分のピラミッド画像ＰＰを作成する。Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分ピラミッド画像輝度テーブル１８１２に記憶される。Ｒ成分ピラミッド画像輝度テーブル１８１２は、Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４６】
図１８において、（ｉｉ）特徴量算出部５０３は、Ｇ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＧ成分のダウンサンプリング画像ＤＰを作成する。Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分ダウンサンプリング画像輝度テーブル１８２１に記憶される。Ｇ成分ダウンサンプリング画像輝度テーブル１８２１は、Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４７】
図１８において、（ｉｉｉ）特徴量算出部５０３は、Ｇ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｇ成分のピラミッド画像ＰＰを作成する。Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分ピラミッド画像輝度テーブル１８２２に記憶される。Ｇ成分ピラミッド画像輝度テーブル１８２２は、Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４８】
図１９において、（ｉｉ）特徴量算出部５０３は、Ｂ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＢ成分のダウンサンプリング画像ＤＰを作成する。Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分ダウンサンプリング画像輝度テーブル１９１１に記憶される。Ｂ成分ダウンサンプリング画像輝度テーブル１９１１は、Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２４９】
図１９において、（ｉｉｉ）特徴量算出部５０３は、Ｂ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｂ成分のピラミッド画像ＰＰを作成する。Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分ピラミッド画像輝度テーブル１９１２に記憶される。Ｂ成分ピラミッド画像輝度テーブル１９１２は、Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２５０】
図１９において、（ｉｉ）特徴量算出部５０３は、Ｙ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＹ成分のダウンサンプリング画像ＤＰを作成する。Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分ダウンサンプリング画像輝度テーブル１９２１に記憶される。Ｙ成分ダウンサンプリング画像輝度テーブル１９２１は、Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２５１】
図１９において、（ｉｉｉ）特徴量算出部５０３は、Ｙ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｙ成分のピラミッド画像ＰＰを作成する。Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分ピラミッド画像輝度テーブル１９２２に記憶される。Ｙ成分ピラミッド画像輝度テーブル１９２２は、Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２５２】
図２０において、（ｉｖ）特徴量算出部５０３は、Ｒ成分の表示画像ＳＰとＧ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、たとえば、特徴量算出部５０３が、下記式（３７）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色（ＲＧ）の輝度ＲＧ（１）〜ＲＧ（ｎ）を算出する。ただし、ＲＧ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色および緑色の輝度である。Ｒ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰ上の領域Ａｉの緑色の輝度である。ＲP（ｉ）は、Ｒ成分のピラミッド画像ＰＰ上の領域Ａｉの赤色の輝度である。ＧP（ｉ）は、Ｇ成分のピラミッド画像ＰＰ上の領域Ａｉの緑色の輝度である。
【０２５３】
ＲＧ（ｉ）＝｜｛Ｒ（ｉ）−Ｇ（ｉ）｝−｛ＧP（ｉ）−ＲP（ｉ）｝｜
・・・（３７）
【０２５４】
なお、輝度Ｒ（ｉ）は、Ｒ成分輝度テーブル１８１０に記憶されている。輝度Ｇ（ｉ）は、Ｇ成分輝度テーブル１８２０に記憶されている。輝度ＲP（ｉ）は、Ｒ成分ピラミッド画像輝度テーブル１８１２に記憶されている。輝度ＧP（ｉ）は、Ｇ成分ピラミッド画像輝度テーブル１８２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）は、たとえば、ＲＧ成分輝度テーブル２０１０に記憶される。ＲＧ成分輝度テーブル２０１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）を記憶するテーブルである。
【０２５５】
図２０において、（ｉｖ）特徴量算出部５０３は、Ｂ成分の表示画像ＳＰとＹ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、たとえば、特徴量算出部５０３が、下記式（３８）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色（ＢＹ）の輝度ＢＹ（１）〜ＢＹ（ｎ）を算出する。ただし、ＢＹ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色および黄色の輝度である。Ｂ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色の輝度である。Ｙ（ｉ）は、表示画像ＳＰ上の領域Ａｉの黄色の輝度である。ＢP（ｉ）は、Ｂ成分のピラミッド画像ＰＰ上の領域Ａｉの青の輝度である。ＹP（ｉ）は、Ｙ成分のピラミッド画像ＰＰ上の領域Ａｉの黄色の輝度である。
【０２５６】
ＢＹ（ｉ）＝｛Ｂ（ｉ）−Ｙ（ｉ）｝−｛ＹP（ｉ）−ＢP（ｉ）｝・・・（３８）
【０２５７】
なお、輝度Ｂ（ｉ）は、Ｂ成分輝度テーブル１９１０に記憶されている。輝度Ｙ（ｉ）は、Ｙ成分輝度テーブル１９２０に記憶されている。輝度ＢP（ｉ）は、Ｂ成分ピラミッド画像輝度テーブル１９１２に記憶されている。輝度ＹP（ｉ）は、Ｙ成分ピラミッド画像輝度テーブル１９２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）は、たとえば、ＢＹ成分輝度テーブル２０２０に記憶される。ＢＹ成分輝度テーブル２０２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）を記憶するテーブルである。
【０２５８】
図２０において、（ｖ）特徴量算出部５０３は、領域Ａ１〜Ａｎの輝度ＲＧ（１）〜ＲＧ（ｎ）と、領域Ａ１〜Ａｎの輝度ＢＹ（１）〜ＢＹ（ｎ）との線形和をとることにより、色成分に関する顕著度マップＭ２を作成する。具体的には、特徴量算出部５０３が、ＲＧ成分輝度テーブル２０１０内の領域Ａｉの輝度ＲＧ（ｉ）と、ＢＹ成分輝度テーブル２０２０内の領域Ａｉの輝度ＢＹ（ｉ）とを足し合わせて、領域Ａｉの色成分に関する顕著度を算出する。たとえば、領域Ａ２の色成分に関する顕著度は、『３４０＝２０＋３２０』となる。
【０２５９】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度は、たとえば、色顕著度テーブル２０３０に記憶される。色顕著度テーブル２０３０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度を記憶するテーブルである。これにより、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成することができる。
【０２６０】
なお、上述した各種テーブル１８１０〜１８１２，１８２０〜１８２２，１９１０〜１９１２，１９２０〜１９２２，２０１０，２０２０，２０３０は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２６１】
つぎに、図２１〜図２３を用いて、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成する場合について説明する。なお、以下に示す各角度（０度、４５度、９０度、１３５度）は、ガボール関数の縞模様の方向である。図２１〜図２３は、方向成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２６２】
図２１において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して０度のガボールフィルタによりフィルタリングする。ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、０度ガボールフィルタ輝度テーブル２１１０に記憶される。０度ガボールフィルタ輝度テーブル２１１０は、０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６３】
図２１において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して４５度のガボールフィルタによりフィルタリングする。４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、４５度ガボールフィルタ輝度テーブル２１２０に記憶される。４５度ガボールフィルタ輝度テーブル２１２０は、４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６４】
図２２において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して９０度のガボールフィルタによりフィルタリングする。９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、９０度ガボールフィルタ輝度テーブル２２１０に記憶される。９０度ガボールフィルタ輝度テーブル２２１０は、９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６５】
図２２において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して１３５度のガボールフィルタによりフィルタリングする。１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、１３５度ガボールフィルタ輝度テーブル２２２０に記憶される。１３５度ガボールフィルタ輝度テーブル２２２０は、１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６６】
図２１において、（ｉｉ）特徴量算出部５０３は、０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（０度）を作成する。ダウンサンプリング画像ＤＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２１１１に記憶される。
【０２６７】
図２１において、（ｉｉ）特徴量算出部５０３は、４５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（４５度）を作成する。ダウンサンプリング画像ＤＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２１２１に記憶される。
【０２６８】
図２２において、（ｉｉ）特徴量算出部５０３は、９０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（９０度）を作成する。ダウンサンプリング画像ＤＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２２１１に記憶される。
【０２６９】
図２２において、（ｉｉ）特徴量算出部５０３は、１３５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（１３５度）を作成する。ダウンサンプリング画像ＤＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２２２１に記憶される。
【０２７０】
図２１において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（０度）を作成する。ピラミッド画像ＰＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２１１２に記憶される。
【０２７１】
図２１において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（４５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（４５度）を作成する。ピラミッド画像ＰＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２１２２に記憶される。
【０２７２】
図２２において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（９０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（９０度）を作成する。ピラミッド画像ＰＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２２１２に記憶される。
【０２７３】
図２２において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（１３５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（１３５度）を作成する。ピラミッド画像ＰＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２２２２に記憶される。
【０２７４】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、０度ガボールフィルタ輝度テーブル２１１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２１１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、０度差分輝度テーブル２３１１に記憶される。
【０２７５】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、４５度ガボールフィルタ輝度テーブル２１２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２１２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、４５度差分輝度テーブル２３１２に記憶される。
【０２７６】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、９０度ガボールフィルタ輝度テーブル２２１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２２１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、９０度差分輝度テーブル２３１３に記憶される。
【０２７７】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、１３５度ガボールフィルタ輝度テーブル２２２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２２２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、１３５度差分輝度テーブル２３１４に記憶される。
【０２７８】
図２３において、（ｖ）特徴量算出部５０３は、０度、４５度、９０度、１３５度のガボールフィルタに通したグレースケール画像ＬＰに基づく領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）の線形和をとることにより、方向成分に関する顕著度マップＭ３を作成する。具体的には、特徴量算出部５０３が、差分輝度テーブル２３１１〜２３１４内の領域Ａｉの輝度Ｌ（ｉ）を足し合わせて、領域Ａｉの方向成分に関する顕著度を算出する。たとえば、領域Ａ３の方向成分に関する顕著度は、『１７０＝０＋０＋０＋１７０』となる。
【０２７９】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度は、たとえば、方向顕著度テーブル２３２０に記憶される。方向顕著度テーブル２３２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度を記憶するテーブルである。これにより、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成することができる。
【０２８０】
なお、上述した各種テーブル２１１０〜２１１２，２１２０〜２１２２，２２１０〜２２１２，２２２０〜２２２２，２３１１〜２３１４，２３２０は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２８１】
つぎに、図２４を用いて、輝度成分、色成分および方向成分に関する表示画像ＳＰの顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する場合について説明する。図２４は、表示画像の顕著度マップ作成処理の概要を示す説明図である。
【０２８２】
図２４において、（ｉ）特徴量算出部５０３は、輝度顕著度テーブル１７００（図１７参照）の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ２の顕著度が「４７」から「１２０」に変換されている。
【０２８３】
図２４において、（ｉ）特徴量算出部５０３は、色顕著度テーブル２０３０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ３の顕著度が「７８０」から「２５５」に変換されている。
【０２８４】
図２４において、（ｉ）特徴量算出部５０３は、方向顕著度テーブル２３２０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ２の顕著度が「１７０」から「２５５」に変換されている。
【０２８５】
図２４において、（ｉｉ）特徴量算出部５０３は、輝度、色、方向顕著度テーブル１７００，２０３０，２３２０の領域Ａ１〜Ａｎごとの顕著度の線形合成を行うことにより、領域Ａ１〜Ａｎごとの顕著度を算出する。これにより、表示画像ＳＰに関する顕著度マップＭを作成することができる。
【０２８６】
具体的には、特徴量算出部５０３が、輝度、色、方向顕著度テーブル１７００，２０３０，２３２０の領域Ａ１〜Ａｎごとの顕著度の線形和をとる。そして、特徴量算出部５０３が、線形和をとった領域Ａ１〜Ａｎごとの顕著度を最小値が「０」かつ最大値が「２５５」となるように正規化する。算出された領域Ａ１〜Ａｎごとの顕著度は、たとえば、図７に示した特徴量テーブル７００内の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、ここでは、各領域Ａ１〜Ａｎの顕著度を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとしている。
【０２８７】
ここで、領域Ａ１〜Ａｎのうち領域Ａ１〜Ａ４に着目する。この場合、たとえば、上記決定部５０４は、特徴量テーブル７００を参照して、領域Ａ１〜Ａ４のうち、特徴量が最大の領域Ａ３を注視点Ｗに決定する。ここで、表示画像ＳＰに関する顕著度マップＭの具体例について説明する。
【０２８８】
図２５は、顕著度マップの具体例を示す説明図である。図２５において、表示画像２５０１は、ディスプレイ２１１に表示された表示画像ＳＰである。また、顕著度マップ２５０２は、表示画像２５０１の顕著度マップＭである。顕著度マップ２５０２では、輝度や色などの特徴が周囲に比べて顕著な部分を強調して表している。
【０２８９】
具体的には、顕著度マップ２５０２において、白い部分は黒い部分に比べて人の視覚的な注意を引きつける強さが大きいことを表している。顕著度マップ２５０２によれば、表示画像２５０１の中から人が注視しやすい注視点Ｗを高精度に決定することができる。
【０２９０】
（視線検出処理手順）
つぎに、視線検出装置２００の視線検出処理手順について説明する。図２６および図２７は、視線検出装置の視線検出処理手順の一例を示すフローチャートである。図２６のフローチャートにおいて、まず、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ２６０１）。ただし、表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中のものである。
【０２９１】
ここで、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ２６０１：Ｎｏ）。このあと、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ２６０１：Ｙｅｓ）、視線算出部５０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ２６０２）。第１の視線ベクトルＶ１は、被写体の眼球からディスプレイ２１１に向かうベクトルである。
【０２９２】
つぎに、補正部５１０により、パラメータテーブル９００を参照して、パラメータω1〜ω4の値が登録されているか否かを判断する（ステップＳ２６０３）。ここで、パラメータω1〜ω4の値が登録されている場合（ステップＳ２６０３：Ｙｅｓ）、補正部５１０により、パラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する（ステップＳ２６０４）。
【０２９３】
そして、補正部５１０により、ベクトルテーブル１０００の記憶内容を更新する（ステップＳ２６０５）。具体的には、補正部５１０が、眼球画像ＥＰの撮影時刻ｔと、補正後の第１の視線ベクトルＶ１の偏角θ１，φ１をベクトルテーブル１０００に記憶する。
【０２９４】
また、ステップＳ２６０３において、パラメータω1〜ω4の値が登録されていない場合（ステップＳ２６０３：Ｎｏ）、視線算出部５０２により、ベクトルテーブル１０００の記憶内容を更新する（ステップＳ２６０５）。具体的には、視線算出部５０２が、眼球画像ＥＰの撮影時刻ｔと、第１の視線ベクトルＶ１の偏角θ１，φ１をベクトルテーブル１０００に記憶する。
【０２９５】
このあと、速度判定部５１４により、ベクトルテーブル１０００を参照して、一対のベクトルデータが存在するか否かを判断する（ステップＳ２６０６）。ここで、一対のベクトルデータが存在しない場合（ステップＳ２６０６：Ｎｏ）、ステップＳ２６０９に移行する。
【０２９６】
一方、一対のベクトルデータが存在する場合（ステップＳ２６０６：Ｙｅｓ）、速度判定部５１４により、上記式（１１）および（１２）を用いて、一対のベクトルデータの偏角θ１，φ１の差分Ｓθ，Ｓφを算出する（ステップＳ２６０７）。
【０２９７】
そして、速度判定部５１４により、算出された差分Ｓθ，Ｓφの少なくともいずれか一方が閾値Ｓ以上となるか否かを判断して、サッカードが発生したか否かを判定する（ステップＳ２６０８）。ここで、サッカードが発生していない場合（ステップＳ２６０８：Ｎｏ）、図２７に示すステップＳ２６１９に移行する。
【０２９８】
一方、サッカードが発生した場合（ステップＳ２６０８：Ｙｅｓ）、決定部５０４により、表示画像ＳＰの中から注視点Ｗを決定する注視点決定処理を実行する（ステップＳ２６０９）。そして、視線算出部５０２により、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２を算出して（ステップＳ２６１０）、図２７に示すステップＳ２６１１に移行する。
【０２９９】
つぎに、図２７のフローチャートにおいて、関連付け部５０８により、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とを関連付けて（ステップＳ２６１１）、ベクトルペアテーブル８００に登録する（ステップＳ２６１２）。ただし、第１の視線ベクトルＶ１は、ステップＳ２６０２において算出された第１の視線ベクトルＶ１、または、ステップＳ２６０４において補正された補正後の第１の視線ベクトルＶ１である。第２の視線ベクトルＶ２は、ステップＳ２６１０において算出された第２の視線ベクトルＶ２である。
【０３００】
このあと、誤差算出部５１２により、上記式（７）〜（９）を用いて、関連付けられた第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルεを算出する（ステップＳ２６１３）。そして、誤差判定部５１３により、算出された誤差ベクトルεの各値εθ，εφが閾値ε0未満となるか否かを判定する（ステップＳ２６１４）。
【０３０１】
ここで、誤差ベクトルεの各値εθ，εφが閾値ε0未満となる場合（ステップＳ２６１４：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。一方、各値εθ，εφが閾値ε0未満とならない場合（ステップＳ２６１４：Ｎｏ）、補正値算出部５０９により、ベクトルペアテーブル８００を参照して、ベクトルペアＰｊが２組以上あるか否かを判断する（ステップＳ２６１５）。
【０３０２】
ここで、ベクトルペアＰｊが２組未満の場合（ステップＳ２６１５：Ｎｏ）、ステップＳ２６１９に移行する。一方、ベクトルペアＰｊが２組以上の場合（ステップＳ２６１５：Ｙｅｓ）、補正値算出部５０９により、被写体に固有のパラメータω1〜ω4の値を算出する（ステップＳ２６１６）。
【０３０３】
なお、ベクトルペアＰｊが２組の場合、補正値算出部５０９が、たとえば、上記式（１３）および（１４）を用いて、パラメータω1〜ω4の値を算出することにしてもよい。また、ベクトルペアＰｊが３組以上の場合、補正値算出部５０９が、たとえば、上記式（１５）〜（２０）を用いて、パラメータω1〜ω4の値を算出することにしてもよい。
【０３０４】
このあと、補正値算出部５０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル９００に登録して、パラメータテーブル９００の記憶内容を更新する（ステップＳ２６１７）。そして、補正部５１０により、パラメータテーブル９００内のパラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する（ステップＳ２６１８）。
【０３０５】
つぎに、第２の位置算出部５１１により、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の被写体の視線位置ＲＰを算出する（ステップＳ２６１９）。そして、出力部５１５により、表示画像ＳＰと被写体の視線位置ＲＰとを関連付けて表す視線検出結果Ｒを出力して（ステップＳ２６２０）、図２６に示したステップＳ２６０１に戻る。
【０３０６】
これにより、被写体の視線検出中に、被写体に意識させることなく補正値（パラメータω1〜ω4の値）を算出することができる。また、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを検出することができる。
【０３０７】
なお、ステップＳ２６０１において、表示画像ＳＰおよび眼球画像ＥＰが一定時間継続して取得されなかった場合は、各種テーブル８００，９００，１０００等の記憶内容を初期化することにしてもよい。これにより、カメラ２１２の撮影対象となる被写体が変わった場合に、新たな被写体に固有の補正値を算出してキャリブレーションを行うことができる。
【０３０８】
つぎに、図２６に示したステップＳ２６０９の注視点決定処理の具体的処理手順について説明する。図２８は、注視点決定処理の具体的処理手順の一例を示すフローチャートである。
【０３０９】
図２８のフローチャートにおいて、まず、第１の位置算出部５０６により、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ２８０１）。つぎに、抽出部５０７により、表示画像ＳＰの中から仮の視線位置ＶＰを含む所定範囲の画像を抽出する（ステップＳ２８０２）。
【０３１０】
そして、特徴量算出部５０３により、所定範囲の画像上の領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ２８０３）。具体的には、たとえば、特徴量算出部５０３が、所定範囲の画像に関する顕著度マップＭを作成することにより、領域Ａ１〜Ａｎごとの顕著度を特徴量Ｃ１〜Ｃｎとして算出する。
【０３１１】
このあと、領域特定部５０５により、複数のＡ１〜Ａｎの中から、特徴量が最大となる領域Ａmaxを特定する（ステップＳ２８０４）。そして、決定部５０４により、特定された領域Ａmaxが複数存在するか否かを判断する（ステップＳ２８０５）。
【０３１２】
ここで、特定された領域Ａmaxが一つの場合（ステップＳ２８０５：Ｎｏ）、決定部５０４により、特定された領域Ａmaxを注視点Ｗに決定して（ステップＳ２８０６）、図２６に示したステップＳ２６１０に移行する。
【０３１３】
一方、ステップＳ２８０５において、特定された領域Ａmaxが複数存在する場合（ステップＳ２８０５：Ｙｅｓ）、領域特定部５０５により、上記式（２）を用いて、各領域Ａmax［ｋ］と仮の視線位置ＶＰとの距離ｄ［ｋ］を算出する（ステップＳ２８０７）。つぎに、領域特定部５０５により、複数の領域Ａmax［１］〜Ａmax［Ｋ］の中から、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］を特定する（ステップＳ２８０８）。
【０３１４】
そして、決定部５０４により、特定された最近傍の領域Ａmax［ｋ］が複数存在するか否かを判断する（ステップＳ２８０９）。ここで、特定された最近傍の領域Ａmax［ｋ］が複数存在する場合（ステップＳ２８０９：Ｙｅｓ）、図２７に示したステップＳ２６１９に移行する。
【０３１５】
一方、特定された最近傍の領域Ａmax［ｋ］が一つの場合（ステップＳ２８０９：Ｎｏ）、決定部５０４により、特定された最近傍の領域Ａmax［ｋ］を注視点Ｗに決定して（ステップＳ２８１０）、図２６に示したステップＳ２６１０に移行する。
【０３１６】
これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを決定することができる。
【０３１７】
以上説明したように、実施の形態２にかかる視線検出装置２００によれば、表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを決定することができる。
【０３１８】
また、視線検出装置２００によれば、眼球画像ＥＰに基づく第１の視線ベクトルＶ１を、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２に略一致させるための被写体に固有の補正値を算出することができる。これにより、対象者の視線検出中に、対象者に意識させることなく補正値（パラメータω1〜ω4の値）を算出することができる。
【０３１９】
また、視線検出装置２００によれば、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正（キャリブレーション）することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを検出することができる。
【０３２０】
また、視線検出装置２００によれば、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との複数のベクトルペアＰｊを用いて統計的に補正値を算出することができる。これにより、被写体に固有の補正値を精度よく求めることができ、キャリブレーションでの補正精度を向上させることができる。
【０３２１】
また、視線検出装置２００によれば、既に算出済みの補正値を用いて補正された補正後の第１の視線ベクトルＶ１に基づいて、新たな補正値を算出することができる。これにより、被写体の個人差にともなう誤差が補正された第１の視線ベクトルＶ１を用いて補正値を再計算することができ、被写体に固有の補正値の算出精度を向上させることができる。
【０３２２】
また、視線検出装置２００によれば、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる領域Ａmaxを注視点Ｗに決定することができる。これにより、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい領域Ａmaxを注視点Ｗに決定することができる。
【０３２３】
また、視線検出装置２００によれば、特徴量が最大となる複数の領域Ａmax［１］〜Ａmax［Ｋ］のうち、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］を注視点Ｗに決定することができる。これにより、仮の視線位置ＶＰに最も近く、人の視線が最も向きやすい領域Ａmax［ｋ］を注視点Ｗに決定することができる。
【０３２４】
また、視線検出装置２００によれば、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］が複数存在すると判定された場合、表示画像ＳＰ上の注視点Ｗを決定しないことにすることができる。これにより、注視点Ｗの候補となる点が複数存在し、注視点Ｗを一意に決定することができない場合は、表示画像ＳＰ上の注視点Ｗを未決定とすることができる。
【０３２５】
また、視線検出装置２００によれば、表示画像ＳＰから仮の視線位置ＶＰを含む所定範囲の画像を抽出し、所定範囲の画像上の領域Ａ［１］〜Ａ［ｎ］ごとの特徴量Ｃ［１］〜Ｃ［ｎ］を算出することができる。これにより、表示画像ＳＰにおいて仮の視線位置ＶＰから離れすぎているために注視点Ｗとなる可能性が低い領域Ａｉを、注視点Ｗの候補から排除することができる。また、特徴量Ｃｉの算出対象となる領域数が少なくなるため、特徴量Ｃｉの算出処理にかかる負荷を軽減させることができる。
【０３２６】
また、視線検出装置２００によれば、表示画像ＳＰの顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを高精度に決定することができる。
【０３２７】
また、視線検出装置２００によれば、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差ベクトルεの各値εθ，εφが閾値ε0以上の場合、被写体に固有の補正値を算出することができる。これにより、既に算出済みのパラメータω1〜ω4の値を用いて補正された補正後の第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差が十分小さくなったら、パラメータω1〜ω4の値の更新を停止することができる。
【０３２８】
また、視線検出装置２００によれば、時系列に連続する一対の第１の視線ベクトルＶ１に基づいて、サッカードの発生を判定することができる。これにより、サッカードが発生していない場合は、特徴量Ｃ１〜Ｃｎの算出処理を抑制し、パラメータω1〜ω4の値の算出にかかる一連の処理の効率化を図ることができる。
【０３２９】
これらのことから、視線検出装置２００によれば、対象者の視線検出中に、対象者に意識させることなくキャリブレーションを行うことが可能となり、対象者の個人差にともなう誤差を補正した視線を検出することができる。
【０３３０】
また、視線検出装置２００を、たとえば、デジタルサイネージを利用した広告システムに適用することにより、対象者が見ている広告の内容を正確に特定することができる。この結果、対象者が見ている内容に関連する詳細情報をさらに表示するなどして、より効果的な宣伝広告を行うことができる。
【０３３１】
また、視線検出装置２００を、たとえば、ｅラーニングを利用した学習システムに適用することにより、対象者が読み飛ばした部分を顕著に表示するなどして、リアルタイムに対象者の学習をサポートすることができる。
【０３３２】
また、視線検出装置２００を、たとえば、パーソナル・コンピュータに適用することにより、ユーザが見たウェブサイト上のバナー広告などを特定することができる。これにより、ユーザに意識させることなく、ウェブサイト上のバナー広告などの閲覧回数を調査することが可能となる。
【０３３３】
また、視線検出装置２００を、たとえば、飛行機のフライトシミュレータに適用することにより、熟練パイロットや訓練生の視線を正確に検出することができる。これにより、たとえば、パイロット養成において、熟練パイロットの視線と訓練生の視線とを比較して、訓練生に的確なアドバイスを行うことができる。
【０３３４】
なお、本実施の形態で説明した補正値算出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本補正値算出プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本補正値算出プログラムは、インターネット等のネットワークを介して配布してもよい。
【０３３５】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０３３６】
（付記１）被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得部と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記取得部によって取得された第１の視線ベクトルと、前記眼から前記決定部によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【０３３７】
（付記２）前記決定部によって前記注視点が決定されるごとに、前記取得部によって取得された第１の視線ベクトルと前記眼から前記注視点に向かう第２の視線ベクトルとを関連付ける関連付け部をさらに備え、
前記補正値算出部は、
前記関連付け部によって関連付けられた第１の視線ベクトルと第２の視線ベクトルとの複数の組み合わせに基づいて、前記補正値を算出することを特徴とする付記１に記載の補正値算出装置。
【０３３８】
（付記３）前記補正値算出部によって算出された前記補正値を用いて、前記第１の視線ベクトルを補正する補正部と、
前記補正部によって補正された補正後の前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出する位置算出部をさらに備えることを特徴とする付記１または２に記載の補正値算出装置。
【０３３９】
（付記４）前記補正部は、
前記取得部によって前記第１の視線ベクトルが取得されたときに、前記補正値算出部によって前記補正値が算出されている場合、当該補正値を用いて前記第１の視線ベクトルを補正し、
前記補正値算出部は、
前記補正部によって補正された補正後の前記第１の視線ベクトルと、前記第２の視線ベクトルとに基づいて、前記補正値を算出することを特徴とする付記１〜３のいずれか一つに記載の補正値算出装置。
【０３４０】
（付記５）前記決定部は、
前記複数の領域のうち、前記特徴量が最大となる領域を前記注視点に決定することを特徴とする付記１〜４のいずれか一つに記載の補正値算出装置。
【０３４１】
（付記６）前記位置算出部は、
前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出し、
前記決定部は、
前記複数の領域のうち、前記位置算出部によって算出された前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域を前記注視点に決定することを特徴とする付記５に記載の補正値算出装置。
【０３４２】
（付記７）前記決定部は、
前記複数の領域のうち、前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域が複数存在する場合、前記注視点を決定しないことを特徴とする付記６に記載の補正値算出装置。
【０３４３】
（付記８）前記表示画像の中から、前記表示画像上の視線位置を含む所定範囲の画像を抽出する抽出部をさらに備え、
前記特徴量算出部は、
前記抽出部によって抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することを特徴とする付記１〜７のいずれか一つに記載の補正値算出装置。
【０３４４】
（付記９）前記特徴量算出部は、
前記表示画像に含まれる画素の色ごとの輝度に基づいて、前記領域ごとの特徴を強調して表す特徴量を算出することを特徴とする付記１〜８のいずれか一つに記載の補正値算出装置。
【０３４５】
（付記１０）前記第１の視線ベクトルと前記第２の視線ベクトルとの誤差を算出する誤差算出部と、
前記誤差算出部によって算出された誤差が所定の閾値未満か否かを判定する誤差判定部と、をさらに備え、
前記補正値算出部は、
前記誤差判定部によって前記誤差が所定の閾値以上と判定された場合、前記補正値を算出することを特徴とする付記１〜９のいずれか一つに記載の補正値算出装置。
【０３４６】
（付記１１）前記取得部によって取得された時系列に連続する第１の視線ベクトルに基づいて、前記被写体の視線の移動速度が所定の速度以上か否かを判定する速度判定部をさらに備え、
前記特徴量算出部は、
前記速度判定部によって判定された判定結果に基づいて、前記特徴量を算出することを特徴とする付記１〜１０のいずれか一つに記載の補正値算出装置。
【０３４７】
（付記１２）前記眼の撮影画像に基づいて、前記眼から前記画面に向かう第１の視線ベクトルを算出する視線算出部をさらに備え、
前記取得部は、
前記視線算出部によって算出された第１の視線ベクトルを取得することを特徴とする付記１〜１１のいずれか一つに記載の補正値算出装置。
【０３４８】
（付記１３）コンピュータが、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行することを特徴とする補正値算出方法。
【０３４９】
（付記１４）コンピュータに、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行させることを特徴とする補正値算出プログラム。
【符号の説明】
【０３５０】
１００ システム
１０１ 補正値算出装置
１０２，２００ 視線検出装置
１０３ 表示装置
１０４ 撮影装置
１０５ 画面
１２０ 被写体
１２１ 眼球
５０１ 取得部
５０２ 視線算出部
５０３ 特徴量算出部
５０４ 決定部
５０５ 領域特定部
５０６ 第１の位置算出部
５０７ 抽出部
５０８ 関連付け部
５０９ 補正値算出部
５１０ 補正部
５１１ 第２の位置算出部
５１２ 誤差算出部
５１３ 誤差判定部
５１４ 速度判定部
５１５ 出力部
【技術分野】
【０００１】
本発明は、補正値を算出する補正値算出装置、補正値算出方法および補正値算出プログラムに関する。
【背景技術】
【０００２】
人の視線を検出する技術として、近赤外線を対象者の眼球に照射して、角膜表面における反射像の位置から得られる角膜曲率中心と瞳孔中心から視線を検出するものがある。しかし、角膜表面における反射像を利用して検出される視線（以下、「仮の視線」という）と、実際の視線との間には、対象者に固有の誤差が生じる。
【０００３】
対象者に固有の誤差の発生要因としては、たとえば、角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差がある。そのため、実際の視線と仮の視線との誤差を補正するために、キャリブレーションと呼ばれる仮の視線を補正するための処理が行われる。キャリブレーションでは、対象者に固有の補正値を用いて仮の視線を補正する。
【０００４】
従来、対象者に固有の補正値は、視線検出前の段階に対象者の協力の下で行われる事前手続において求める。事前手続では、画面上に表示される複数のマーカを順に注視するように対象者に指示する。そして、事前手続では、対象者が指示されたマーカを注視した際の仮の視線と、対象者の眼球からマーカに向かう視線との誤差から補正値を算出する。
【０００５】
しかしながら、事前手続は、対象者の協力の下に行われるため対象者に負担がかかるとともに、対象者の視線の検出を開始するまでに時間がかかってしまう。そこで、事前手続を行うことなく、対象者の視線を正確に検出するための技術が望まれている。
【０００６】
従来において、視線の動きが心理実験等に基づく特定パターンに集中しやすく規則的になるという性質を利用する技術がある。具体的には、従来装置は、視線の動きが顔画像の目、口、鼻、耳などの特定パターンに集中しやすい性質を利用して、眼球運動の測定データを実際の注視位置に合わせるための補正値を求める。
【０００７】
また、補正用ターゲットを表示部に表示し、補正用ターゲットの座標位置と、補正用ターゲットが表示された際に検出された視線位置とを比較して、視線位置を補正する技術がある。また、３次元顔モデルと３次元眼球モデルを用いて、３次元的な視線方向を推定する技術がある。また、視線に関する他の技術として、操作者の視線位置を検出し、視線の移動速度が所定の速度を超えたときに、画面をスクロール制御する技術がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−００５１３０号公報
【特許文献２】特開平１１−０７６１６５号公報
【特許文献３】特開２００８−１９４１４６号公報
【特許文献４】特開平０８−０２２３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術によれば、画面に表示される任意の画像を見ている対象者の視線検出中に、対象者の個人差にともなう誤差を補正するための補正値を求めることが難しいという問題がある。たとえば、視線の動きが特定パターンに集中しやすいという性質を利用する技術では、視線の動きが心理実験等に基づく特定パターンとならない画像に対しては適用することが難しいという問題がある。
【００１０】
また、補正用ターゲットを利用して視線位置を補正する技術では、視線位置を補正するのに適した補正用ターゲットを予め用意して、視線検出中に補正用ターゲットを表示する必要があるという問題がある。また、３次元顔モデルと３次元眼球モデルを利用して視線方向を推定する技術では、実際の眼球の持つ角膜曲率などの個人差にともなう誤差を３次元眼球モデルで補正することが難しいという問題がある。
【００１１】
本発明は、上述した従来技術による問題点を解消するため、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができる補正値算出装置、補正値算出方法および補正値算出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する。開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、取得された第１の視線ベクトルと、前記眼から決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する。
【発明の効果】
【００１３】
本補正値算出装置、補正値算出方法および補正値算出プログラムによれば、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【図２】実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。
【図３】ディスプレイの外観の一例を示す説明図である。
【図４】視線検出に使用する座標系の一例を示す説明図である。
【図５】視線検出装置の機能的構成を示すブロック図である。
【図６】眼球画像の具体例を示す説明図である。
【図７】特徴量テーブルの記憶内容の一例を示す説明図である。
【図８】ベクトルペアテーブルの記憶内容の一例を示す説明図である。
【図９】パラメータテーブルの記憶内容の一例を示す説明図である。
【図１０】ベクトルテーブルの記憶内容の一例を示す説明図である。
【図１１】視線検出結果の具体例を示す説明図である。
【図１２−１】視線算出部の具体的処理の概要を示す説明図（その１）である。
【図１２−２】視線算出部の具体的処理の概要を示す説明図（その２）である。
【図１３】視線ベクトルと視線位置との関係を表す説明図である。
【図１４】２値化処理の概要を示す説明図である。
【図１５】輝度・色・形が周囲と異なる領域の一例を示す説明図である。
【図１６】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図１７】輝度成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図１８】色成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図１９】色成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２０】色成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２１】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その１）である。
【図２２】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その２）である。
【図２３】方向成分に関する顕著度マップ作成処理の概要を示す説明図（その３）である。
【図２４】表示画像の顕著度マップ作成処理の概要を示す説明図である。
【図２５】顕著度マップの具体例を示す説明図である。
【図２６】視線検出装置の視線検出処理手順の一例を示すフローチャート（その１）である。
【図２７】視線検出装置の視線検出処理手順の一例を示すフローチャート（その２）である。
【図２８】注視点決定処理の具体的処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、この発明にかかる補正値算出装置、補正値算出方法および補正値算出プログラムの好適な実施の形態を詳細に説明する。
【００１６】
（実施の形態１）
まず、実施の形態１にかかる補正値算出装置１０１が適用されるシステム１００の一実施例について説明する。図１は、実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
【００１７】
図１において、システム１００は、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４と、を含む。システム１００において、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４とは、有線または無線のネットワーク１１０を介して通信可能に接続されている。
【００１８】
システム１００は、たとえば、商業施設、空港、駅などに設置されるデジタルサイネージ（電子看板）を利用した広告システムや、ｅラーニング（ｅｌｅｃｔｒｏｎｉｃ ｌｅａｒｎｉｎｇ）を利用した学習システムなどに適用される。
【００１９】
補正値算出装置１０１は、表示装置１０３が有する画面１０５に対向している被写体１２０に固有の補正値を算出する。ここで、被写体１２０とは、撮影装置１０４の撮影対象となる人である。たとえば、被写体１２０は、画面１０５を見ながら作業をしているユーザでもよく、また、表示装置１０３の前を通りかかって画面１０５を見ている通行人でもよい。
【００２０】
また、被写体１２０に固有の補正値とは、キャリブレーションに用いるパラメータの値である。キャリブレーションとは、被写体１２０の眼球１２１の角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差にともなう視線の誤差を補正するための処理である。
【００２１】
視線検出装置１０２は、表示装置１０３が有する画面１０５に対向している被写体１２０の視線を検出する。ここで、被写体１２０の視線は、たとえば、被写体１２０の眼球１２１の角膜曲率中心１２２から瞳孔１２３の瞳孔中心１２４に向かうベクトルによって定義される。
【００２２】
具体的には、たとえば、視線検出装置１０２が、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づいて、被写体１２０の視線ベクトルＶ１を算出する。ここで、被写体１２０の眼とは、被写体１２０の眼球１２１の表面であり、たとえば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球１２１の表面である。また、視線検出装置１０２は、補正値算出装置１０１によって算出された被写体１２０に固有の補正値を用いて、視線ベクトルＶ１を補正する。
【００２３】
表示装置１０３は、画面１０５に表示画像ＳＰを表示する。画面１０５に表示される表示画像ＳＰは、任意の時間間隔で連続的に切り替わる。表示画像ＳＰは、たとえば、デジタルサイネージの広告画像でもよく、また、ｅラーニングのための教材画像でもよい。
【００２４】
撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影する。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影可能な所定の位置に設置されている。
【００２５】
以下、被写体１２０に固有の補正値を算出する補正値算出装置１０１の処理手順（１）〜（５）について説明する。
【００２６】
（１）補正値算出装置１０１は、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づく被写体１２０の眼球１２１から画面１０５に向かう視線ベクトルＶ１を視線検出装置１０２から取得する。
【００２７】
（２）補正値算出装置１０１は、被写体１２０の眼の撮影画像の撮影時における画面１０５の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、たとえば、表示画像ＳＰを画素単位で区切って分割した画像領域である。画素値とは、たとえば、画素の赤色、緑色、青色ごとの輝度である。また、特徴量とは、人間の視覚的な注意を引きつける強さを表す指標値である。すなわち、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きい領域となる。具体的には、たとえば、補正値算出装置１０１が、表示画像ＳＰに含まれる画素の画素値に基づいて、領域ごとの特徴を強調する処理を行うことにより、領域ごとの特徴量を算出する。
【００２８】
（３）補正値算出装置１０１は、領域ごとの特徴量に基づいて、複数の領域のいずれかの領域を、被写体１２０が注視している注視点に決定する。ここで、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きくなるため、人間の視線が向きやすい領域として扱うことができる。そこで、補正値算出装置１０１が、複数の領域のうち他の領域に比べて特徴量が大きい領域を、被写体１２０が注視している注視点Ｗに決定する。ここでは、表示画像ＳＰ上の領域Ａｘが、被写体１２０が注視している注視点Ｗに決定されている。この結果、被写体１２０の実際の視線は、眼球１２１から注視点Ｗに向かう視線ベクトルＶ２であると推定することができる。
【００２９】
（４）補正値算出装置１０１は、視線ベクトルＶ１と視線ベクトルＶ２とに基づいて、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための被写体１２０に固有の補正値を算出する。すなわち、ここでは、被写体１２０の実際の視線が注視点Ｗに向いていると仮定して、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための補正値を算出する。
【００３０】
（５）補正値算出装置１０１は、算出された被写体１２０に固有の補正値を視線検出装置１０２に出力する。この結果、視線検出装置１０２において、被写体１２０に固有の補正値を用いて、被写体１２０の眼の撮影画像に基づく視線ベクトルＶ１を補正することが可能となり、被写体１２０の個人差にともなう誤差を補正した視線を検出することができる。
【００３１】
以上説明したように、実施の形態１にかかる補正値算出装置１０１によれば、画面１０５の表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量に基づいて、表示画像ＳＰの中から注視点Ｗを決定することができる。これにより、眼球１２１から注視点Ｗに向かう視線ベクトルＶ２を被写体１２０の実際の視線として推定することができる。
【００３２】
また、補正値算出装置１０１によれば、視線ベクトルＶ１を視線ベクトルＶ２に略一致させるための補正値を、キャリブレーションに用いる被写体１２０に固有の補正値として算出することができる。これにより、視線検出前の段階に被写体１２０の協力の下で行われる事前手続を行うことなく、被写体１２０に固有の補正値を求めることができる。
【００３３】
また、補正値算出装置１０１によれば、表示画像ＳＰに含まれる画素の画素値から領域ごとの特徴量を求めるため、画面１０５に表示される任意の表示画像ＳＰの注視点Ｗを求めることができる。これにより、被写体１２０に固有の補正値を求めるために、特定の画像を予め用意する必要がなく、さらに、特定の画像を被写体１２０に対して呈示する必要がない。
【００３４】
（実施の形態２）
つぎに、実施の形態２にかかる視線検出装置２００について説明する。実施の形態２では、実施の形態１で説明した補正値算出装置１０１を視線検出装置２００に適用した場合について説明する。
【００３５】
（視線検出装置２００のハードウェア構成）
まず、実施の形態２にかかる視線検出装置２００のハードウェア構成について説明する。図２は、実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。図２において、視線検出装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０８と、キーボード２０９と、マウス２１０と、ディスプレイ２１１と、カメラ２１２と、を備えている。また、各構成部はバス２２０によってそれぞれ接続されている。
【００３６】
ここで、ＣＰＵ２０１は、視線検出装置２００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００３７】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータに読み取らせたりする。
【００３８】
Ｉ／Ｆ２０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、ネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０８は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０８には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００３９】
キーボード２０９は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１０は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。
【００４０】
ディスプレイ２１１は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ２１１は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ２１２は、ディスプレイ２１１に対向している被写体の眼を撮影するためのデジタルカメラである。カメラ２１２は、たとえば、被写体の眼を撮影するための専用カメラであってもよく、また、監視カメラやウェブカメラなどであってもよい。
【００４１】
（ディスプレイ２１１の外観）
つぎに、視線検出装置２００のディスプレイ２１１の外観について説明する。図３は、ディスプレイの外観の一例を示す説明図である。図３において、ディスプレイ２１１には、カメラ２１２と赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）３０１が設置されている。
【００４２】
カメラ２１２は、ディスプレイ２１１に対向している被写体の眼３０２を撮影可能な位置に設置されている。赤外線ＬＥＤ３０１は、近赤外線を照射する点光源である。赤外線ＬＥＤ３０１は、たとえば、カメラ２１２の光軸から外れた位置から、被写体の眼３０２に近赤外線を照射可能な状態で設置されている。
【００４３】
（各種座標系４１０，４２０，４３０）
ここで、被写体の視線検出に使用する各種座標系４１０，４２０，４３０について説明する。図４は、視線検出に使用する座標系の一例を示す説明図である。図４において、画像座標系４１０は、たとえば、カメラ２１２によって撮影された被写体の眼の撮影画像（以下、「眼球画像ＥＰ」という）の所定の基準点を原点ＯPとするＸP軸とＹP軸からなる直交座標系である。
【００４４】
カメラ座標系４２０は、たとえば、カメラ原点ＯCをカメラ２１２の光学中心とするＸC軸とＹC軸とＺC軸とからなる直交座標系である。世界座標系４３０は、たとえば、ディスプレイ２１１上の所定の基準点を原点ＯWとするＸW軸とＹW軸とＺW軸とからなる直交座標系である。
【００４５】
（視線検出装置２００の機能的構成）
つぎに、実施の形態２にかかる視線検出装置２００の機能的構成について説明する。図５は、視線検出装置の機能的構成を示すブロック図である。図５において、視線検出装置２００は、取得部５０１と、視線算出部５０２と、特徴量算出部５０３と、決定部５０４と、領域特定部５０５と、第１の位置算出部５０６と、抽出部５０７と、関連付け部５０８と、補正値算出部５０９と、補正部５１０と、第２の位置算出部５１１と、誤差算出部５１２と、誤差判定部５１３と、速度判定部５１４と、出力部５１５と、を含む。
【００４６】
各機能部５０１〜５１５は、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されたプログラムをＣＰＵ２０１に実行させることにより、または、Ｉ／Ｆ２０８により、その機能を実現する。なお、各機能部５０１〜５１５の処理結果は、特に指定する場合を除いて、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。
【００４７】
まず、取得部５０１は、たとえば、連続的に表示が切り替わるディスプレイ２１１の表示画像ＳＰを取得する。具体的には、たとえば、取得部５０１が、ディスプレイ２１１に表示された画面イメージを画像データとしてキャプチャすることにより表示画像ＳＰを取得する。
【００４８】
なお、表示画像ＳＰは、動画像でも任意の時間間隔で表示が切り替わる静止画像でもよい。また、取得部５０１による表示画像ＳＰの取得タイミングは、任意に設定可能である。たとえば、取得部５０１は、ディスプレイ２１１の表示が切り替わるごとに表示画像ＳＰを取得してもよい。また、取得部５０１は、一定の時間間隔で表示画像ＳＰを取得してもよい。
【００４９】
取得部５０１は、ディスプレイ２１１に対向している被写体の眼（眼球）の眼球画像ＥＰをカメラ２１２から取得する。ここで、被写体とは、カメラ２１２によって撮影される対象者である。たとえば、被写体は、ディスプレイ２１１を見ながら作業をしているユーザでもよく、また、ディスプレイ２１１の前を通りかかってディスプレイ２１１を見ている通行人でもよい。
【００５０】
また、被写体の眼（眼球）とは、被写体の眼球表面であり、たとえば、まぶたの動きに連動して露出する黒眼と白眼を含む部分である。なお、以下の説明では、被写体として「人」を例に挙げて説明するが、被写体は眼球を有するゴリラや猿などの「人に準ずる動物」でもよい。
【００５１】
また、取得部５０１による眼球画像ＥＰの取得タイミングは、任意に設定可能である。たとえば、取得部５０１は、一定の時間間隔で眼球画像ＥＰを取得してもよい。また、取得部５０１は、表示画像ＳＰの取得タイミングと同期を取って、眼球画像ＥＰを取得してもよい。また、眼球画像ＥＰに写る被写体の眼球は、片眼でも両眼でもよい。
【００５２】
取得された眼球画像ＥＰは、たとえば、取得された眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰと関連付けてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶される。なお、眼球画像ＥＰには、たとえば、眼球画像ＥＰの撮影時刻が付加されている。
【００５３】
ここで、カメラ２１２によって撮影された眼球画像ＥＰの具体例について説明する。図６は、眼球画像の具体例を示す説明図である。図６において、眼球画像ＥＰは、カメラ２１２によって人の眼球６００を撮影した画像である。なお、図面では眼球画像ＥＰの一部を抜粋して表示している。
【００５４】
ここでは、図３に示した赤外線ＬＥＤ３０１により、眼球６００に向けて近赤外線を照射して撮影している。このため、眼球画像ＥＰにおいて、瞳孔６０１が虹彩６０２と比較して暗くなり、角膜表面にプルキニエ像６０３が現れている。プルキニエ像６０３とは、眼球６００に近赤外線を照射した際に現れる角膜表面における反射像である。
【００５５】
図５の説明に戻り、視線算出部５０２は、取得された眼球画像ＥＰに基づいて、被写体の眼球からディスプレイ２１１に向かう第１の視線ベクトルＶ１を算出する。具体的には、たとえば、視線算出部５０２が、人の眼球に近赤外線を照射したときの角膜表面における反射像（たとえば、図６に示したプルキニエ像６０３）を利用して、第１の視線ベクトルＶ１を算出する。
【００５６】
ただし、世界座標系４３０におけるディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は、予め設定されている。具体的には、たとえば、ディスプレイ２１１を、商業施設、空港、駅などに設置されるデジタルサイネージとして使用する場合、ディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は１００〜１３０［ｃｍ］程度に設定される。また、ディスプレイ２１１を、パーソナル・コンピュータの画面として使用する場合、ディスプレイ２１１と被写体の眼球とのＺW軸方向の距離は３０〜５０［ｃｍ］程度に設定される。
【００５７】
また、世界座標系４３０におけるカメラ２１２の設置位置は、既知の値である。このため、カメラ２１２によって撮影された被写体の眼球画像ＥＰから第１の視線ベクトルＶ１を算出することができる。なお、第１の視線ベクトルＶ１を算出する具体的な処理内容は、図１２−１および図１２−２を用いて後述する。
【００５８】
ここで、第１の視線ベクトルＶ１は、たとえば、下記式（１）を用いて、極座標系におけるベクトルによって表現される。ただし、Ｖ１は、第１の視線ベクトルである。また、ｒ１は動径であり、世界座標系４３０の原点ＯWから眼球までの距離である。また、θ１は偏角であり、第１の視線ベクトルＶ１と世界座標系４３０の基準軸（たとえば、ＺW軸）とのなす角である。また、φ１は偏角であり、第１の視線ベクトルＶ１と世界座標系４３０の基準軸（たとえば、ＸW軸）とのなす角である。
【００５９】
【数１】
【００６０】
特徴量算出部５０３は、眼球画像ＥＰが撮影されたときのディスプレイ２１１の表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、表示画像ＳＰを任意の大きさで区切って分割した画像領域である。
【００６１】
たとえば、領域は、表示画像ＳＰを画素単位で区切って分割したものでもよく、また、表示画像ＳＰをＮ画素×Ｍ画素の単位で分割したものでもよい（Ｎ，Ｍ：自然数）。以下、表示画像ＳＰ上の複数の領域を「領域Ａ１〜Ａｎ」と表記し、領域Ａ１〜Ａｎのうち任意の領域を「領域Ａｉ」と表記する（ｉ＝１，２，…，ｎ）。
【００６２】
画素の画素値とは、たとえば、画素の色（赤、緑、青）ごとの輝度である。なお、輝度とは、各領域Ａ１〜Ａｎの色ごとの明るさの度合いを表す値である。特徴量とは、人の視覚的な注意を引きつける強さを表す指標値である。すなわち、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち特徴量が大きい領域ほど、人の視覚的な注意を引きつける強さが大きい領域となる。
【００６３】
ただし、領域Ａｉの特徴量Ｃｉは、複数の領域Ａ１〜Ａｎの特徴を相対評価して算出してもよく、また、各領域Ａｉの特徴を絶対評価して算出してもよい。以下、各領域Ａ１〜Ａｎの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。なお、特徴量算出部５０３の具体的な処理内容は、図１４〜図２４を用いて後述する。
【００６４】
また、算出された領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎは、たとえば、図７に示す特徴量テーブル７００に記憶される。特徴量テーブル７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、特徴量テーブル７００の記憶内容について説明する。
【００６５】
図７は、特徴量テーブルの記憶内容の一例を示す説明図である。図７において、特徴量テーブル７００は、領域ＩＤ、座標位置および特徴量のフィールドを有し、領域Ａ１〜Ａｎごとの特徴量データ７００−１〜７００−ｎをレコードとして記憶している。
【００６６】
領域ＩＤとは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。ただし、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＺW座標は「０」である。特徴量とは、領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを表す指標値である。
【００６７】
なお、ここでは各領域Ａ１〜Ａｎの座標位置を、各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標としたが、これに限らない。たとえば、各領域Ａ１〜Ａｎの座標位置として、各領域Ａ１〜Ａｎ内の中心点以外の任意の点のＸW座標およびＹW座標を用いることにしてもよい。
【００６８】
図５の説明に戻り、決定部５０４は、算出された領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎに基づいて、複数の領域Ａ１〜Ａｎのいずれかの領域Ａｉを、被写体が注視している注視点Ｗに決定する。ここで、複数の領域Ａ１〜Ａｎのうち特徴量が大きい領域は、人の視線が向きやすい領域であり、人が注視している可能性が高い領域である。
【００６９】
そこで、決定部５０４が、たとえば、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域を注視点Ｗに決定することにしてもよい。具体的には、たとえば、領域特定部５０５が、特徴量テーブル７００を参照して、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域を特定する。
【００７０】
一例として、特徴量テーブル７００内の特徴量Ｃ１〜Ｃｎのうち特徴量Ｃ１が最大であるとする。この場合、領域特定部５０５が、複数の領域Ａ１〜Ａｎのうち、特徴量が最大となる領域Ａ１を特定する。そして、決定部５０４が、特定された領域Ａ１の座標位置「（ＸW，ＹW）＝（ｘ１，ｙ１）」を注視点Ｗに決定する。
【００７１】
これにより、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい領域（たとえば、領域Ａ１）を注視点Ｗに決定することができる。以下、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる領域を「領域Ａmax」と表記する。
【００７２】
ただし、特徴量Ｃ１〜Ｃｎのうち最大の特徴量とは、特徴量Ｃ１〜Ｃｎの中で値が最大となる特徴量Ｃmaxでもよく、特徴量Ｃmaxに１未満の定数α（たとえば、０．９）を掛けた値以上となる特徴量でもよい。これにより、領域Ａmaxとして、特徴量Ｃｉが特徴量Ｃmaxと同程度の値となる領域Ａｉを特定することができる。なお、定数αは、たとえば、予め設定されてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００７３】
第１の位置算出部５０６は、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、たとえば、第１の位置算出部５０６が、第１の視線ベクトルＶ１の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。
【００７４】
ここで、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置は、眼球画像ＥＰに基づく被写体の視線位置である。このため、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置には、被写体の個人差にともなう誤差が含まれている可能性がある。そこで、以下の説明では、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を「仮の視線位置ＶＰ」と表記する。また、仮の視線位置ＶＰの座標位置を「（ＸW，ＹW）＝（ｖｘ，ｖｙ）」と表記する。なお、第１の位置算出部５０６の具体的な処理内容については、図１３を用いて後述する。
【００７５】
また、領域特定部５０５は、特徴量が最大となる領域Ａmaxが複数存在する場合、表示画像ＳＰ上の仮の視線位置ＶＰの最近傍に位置する領域Ａmaxを特定する。そして、決定部５０４は、表示画像ＳＰ上の仮の視線位置ＶＰの最近傍に位置する領域Ａmaxを注視点Ｗに決定することにしてもよい。
【００７６】
ここで、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる複数の領域Ａmaxを「領域Ａmax［１］〜Ａmax［Ｋ］」と表記する。また、領域Ａmax［１］〜Ａmax［Ｋ］のうち任意の領域を「領域Ａmax［ｋ］」と表記する（ｋ＝１，２，…，Ｋ）。
【００７７】
この場合、たとえば、まず、領域特定部５０５が、下記式（２）を用いて、各領域Ａmax［１］〜Ａmax［Ｋ］と仮の視線位置ＶＰとの距離ｄ［１］〜ｄ［Ｋ］を算出する。ただし、ｄ［ｋ］は、領域Ａmax［ｋ］と仮の視線位置ＶＰとの距離である。ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標、ＹW座標である。ｘ［ｋ］，ｙ［ｋ］は、領域Ａmax［ｋ］のＸW座標、ＹW座標である。
【００７８】
ｄ［ｋ］＝｛（ｖｘ−ｘ［ｋ］）2＋（ｖｙ−ｙ［ｋ］）2｝1/2 ・・・（２）
【００７９】
なお、領域Ａmax［ｋ］の座標位置（ｘ［ｋ］，ｙ［ｋ］）は、たとえば、特徴量テーブル７００から特定される。たとえば、領域Ａmax［ｋ］が領域Ａ１の場合、領域Ａmax［ｋ］のＸW座標は『ｘ［ｋ］＝ｘ１』となり、領域Ａmax［ｋ］のＹW座標は『ｙ［ｋ］＝ｙ１』となる。
【００８０】
このあと、領域特定部５０５が、領域Ａmax［１］〜Ａmax［Ｋ］のうち、仮の視線位置ＶＰとの距離が最小となる領域Ａmax［ｋ］を特定する。そして、決定部５０４が、特定された領域Ａmax［ｋ］を注視点Ｗに決定する。これにより、表示画像ＳＰ上の複数の領域Ａ１〜Ａｎのうち、仮の視線位置ＶＰに最も近く、人の視線が最も向きやすい領域Ａmax［ｋ］を注視点Ｗに決定することができる。
【００８１】
また、決定部５０４は、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］が複数存在する場合、複数の領域Ａ１〜Ａｎの中から注視点Ｗを決定しないことにしてもよい。これにより、注視点Ｗの候補となる点が複数存在し、注視点Ｗを一意に決定することができない場合は、表示画像ＳＰ上の注視点Ｗを未決定とすることができる。
【００８２】
なお、距離ｄ［１］〜ｄ［Ｋ］のうちの最小の距離とは、たとえば、距離ｄ［１］〜ｄ［Ｋ］の中で値が最小となる距離ｄminでもよく、距離ｄminに定数β（たとえば、３［ｍｍ］）を加算した値以下となる距離でもよい。これにより、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］として、距離ｄ［ｋ］が距離ｄminと同程度の値となる領域Ａmax［ｋ］を特定することができる。なお、定数βは、たとえば、予め設定されてＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【００８３】
抽出部５０７は、表示画像ＳＰの中から仮の視線位置ＶＰを含む所定範囲の画像を抽出する。ここで、所定範囲は、予め規定されており、たとえば、仮の視線位置ＶＰを中心とする円でもよく、また、仮の視線位置ＶＰを含む領域を中心とする領域の集合でもよい。より具体的には、たとえば、所定範囲は、仮の視線位置ＶＰを中心として、被写体の個人差にともなう視線位置の誤差として想定される最大の誤差を半径とする円である。
【００８４】
この場合、特徴量算出部５０３は、抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することにしてもよい。これにより、表示画像ＳＰにおいて仮の視線位置ＶＰから離れすぎているために注視点Ｗとなる可能性が低い領域Ａｉを、注視点Ｗの候補から排除することができる。また、特徴量Ｃｉの算出対象となる領域数が少なくなるため、特徴量Ｃｉの算出処理にかかる負荷を軽減させることができる。なお、以下の説明では、抽出された所定範囲の画像上の複数の領域を、表示画像ＳＰ上の複数の領域と同様に「複数の領域Ａ１〜Ａｎ」と表記する。
【００８５】
また、視線算出部５０２は、被写体の眼球から、決定された注視点Ｗに向かう第２の視線ベクトルＶ２を算出する。具体的には、たとえば、視線算出部５０２が、世界座標系４３０における眼球の角膜曲率中心の座標位置と注視点Ｗの座標位置とに基づいて、第２の視線ベクトルＶ２を算出する。なお、第２の視線ベクトルＶ２を算出する具体的な処理内容は、図１３を用いて後述する。
【００８６】
ここで、第２の視線ベクトルＶ２は、たとえば、下記式（３）を用いて、極座標系におけるベクトルによって表現される。Ｖ２は、第２の視線ベクトルである。また、ｒ２は動径であり、世界座標系４３０の原点ＯWから眼球までの距離である。また、θ２は偏角であり、第２の視線ベクトルＶ２と世界座標系４３０の基準軸（たとえば、ＺW軸）とのなす角である。また、φ２は偏角であり、第２の視線ベクトルＶ２と世界座標系４３０の基準軸（たとえば、ＸW軸）とのなす角である。
【００８７】
【数２】
【００８８】
関連付け部５０８は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とを関連付ける。具体的には、たとえば、関連付け部５０８が、注視点Ｗが決定されるごとに、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける。
【００８９】
なお、関連付け結果は、たとえば、図８に示すベクトルペアテーブル８００に記憶される。ベクトルペアテーブル８００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、ベクトルペアテーブル８００の記憶内容について説明する。
【００９０】
図８は、ベクトルペアテーブルの記憶内容の一例を示す説明図である。図８において、ベクトルペアテーブル８００は、ペアＩＤ、ｔ、θ１、φ１、θ２およびφ２のフィールドを有し、ベクトルペアＰ１〜Ｐ３ごとの偏角データ（たとえば、偏角データ８００−１〜８００−３）をレコードとして記憶している。
【００９１】
ここで、ペアＩＤとは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２のベクトルペアの識別子である。ｔは、第１の視線ベクトルＶ１の算出元となる眼球画像ＥＰの撮影時刻である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。θ２およびφ２は、第２の視線ベクトルＶ２の偏角である。なお、各偏角の単位は［度］である。以下の説明では、任意のベクトルペアを「ベクトルペアＰｊ」と表記する。
【００９２】
図５の説明に戻り、補正値算出部５０９は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とに基づいて、第１の視線ベクトルＶ１を第２の視線ベクトルＶ２に略一致させるための被写体に固有の補正値を算出する。
【００９３】
ここで、補正値は、被写体の個人差にともなう視線位置の誤差を補正するためのキャリブレーションに用いるパラメータの値である。具体的には、たとえば、補正値は、下記式（４）に示す行列Ｗ（以下、「キャリブレーション行列Ｗ」という）に含まれるパラメータω1〜ω4の値である。
【００９４】
【数３】
【００９５】
より具体的には、たとえば、補正値算出部５０９が、下記式（５）を用いて、被写体に固有のパラメータω1〜ω4の値を算出することができる。ただし、Ｖ１は第１の視線ベクトル、Ｖ２は第２の視線ベクトル、Ｗはキャリブレーション行列である。
【００９６】
【数４】
【００９７】
なお、上記式（５）を用いる場合、キャリブレーション行列Ｗに含まれる未知数が４つのため、パラメータω1〜ω4の値を求めるために少なくとも２組のベクトルペアが必要となる。そこで、たとえば、補正値算出部５０９は、ベクトルペアテーブル８００を参照して、複数のベクトルペアＰｊに基づいて、被写体に固有の補正値を算出する。なお、補正値算出部５０９の具体的な処理内容については後述する。
【００９８】
ただし、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4のうち、いずれか２つのパラメータ（たとえば、ω2，ω4）の値を固定値とすることで、未知数を減らすことにしてもよい。これにより、１組のベクトルペアに基づいて、被写体に固有のパラメータ（たとえば、ω1，ω3）の値を算出することができる。
【００９９】
また、算出された補正値は、たとえば、図９に示すパラメータテーブル９００に記憶される。パラメータテーブル９００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０１００】
図９は、パラメータテーブルの記憶内容の一例を示す説明図である。図９において、パラメータテーブル９００は、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を保持している。なお、パラメータテーブル９００の記憶内容は、被写体に固有の補正値（パラメータω1〜ω4の値）が算出されると、その都度更新される。
【０１０１】
図５の説明に戻り、補正部５１０は、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正する。具体的には、たとえば、補正部５１０が、下記式（６）を用いて、補正後の第１の視線ベクトルＶ１を算出することができる。ただし、Ｖ１’は補正後の第１の視線ベクトル、Ｖ１は第１の視線ベクトル、Ｗはキャリブレーション行列である。
【０１０２】
【数５】
【０１０３】
より具体的には、たとえば、まず、補正部５１０が、パラメータテーブル９００を参照して、各パラメータω1〜ω4の値を上記式（６）に代入する。また、補正部５１０が、第１の視線ベクトルＶ１の動径ｒ１および偏角ω１、φ１を上記式（６）に代入することにより、補正後の第１の視線ベクトルＶ１’を算出することができる。
【０１０４】
第２の位置算出部５１１は、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、たとえば、第２の位置算出部５１１が、補正後の第１の視線ベクトルＶ１’の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。
【０１０５】
ここで、補正後の第１の視線ベクトルＶ１’に基づく表示画像ＳＰ上の視線位置は、被写体の個人差にともなう誤差が補正された被写体の視線位置である。なお、以下の説明では、補正後の第１の視線ベクトルＶ１’について、補正前の第１の視線ベクトルＶ１と同様に「第１の視線ベクトルＶ１」と表記する。
【０１０６】
また、補正部５１０は、第１の視線ベクトルＶ１が算出されたときに、被写体に固有の補正値が算出されている場合、該補正値を用いて第１の視線ベクトルＶ１を補正することにしてもよい。具体的には、たとえば、補正部５１０が、第１の視線ベクトルＶ１が算出されたときに、パラメータテーブル９００にパラメータω1〜ω4の値が記憶されている場合、該パラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する。
【０１０７】
この場合、関連付け部５０８は、補正された補正後の第１の視線ベクトルＶ１と、第２の視線ベクトルＶ２とを関連付ける。これにより、被写体の個人差にともなう誤差が補正された第１の視線ベクトルＶ１を用いて、パラメータω1〜ω4の値を再計算することができる。
【０１０８】
誤差算出部５１２は、関連付けられた第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を算出する。具体的には、たとえば、誤差算出部５１２が、下記式（７）〜（９）を用いて、ベクトルペアＰｊの第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルεを算出することができる。
【０１０９】
ただし、εは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルである。εθは、第１の視線ベクトルＶ１の偏角θ１と第２の視線ベクトルＶ２の偏角θ２との誤差である。εφは、第１の視線ベクトルＶ１の偏角φ１と第２の視線ベクトルＶ２の偏角φ２との誤差である。
【０１１０】
【数６】
【０１１１】
εθ＝｜θ２−θ１｜ ・・・（８）
【０１１２】
εφ＝｜φ２−φ１｜ ・・・（９）
【０１１３】
誤差判定部５１３は、算出された誤差が所定の閾値未満か否かを判定する。具体的には、たとえば、誤差判定部５１３が、誤差ベクトルεの各値εθ，εφが、所定の閾値ε0未満となるか否かを判定する。なお、閾値ε0は、予め設定されてＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【０１１４】
たとえば、閾値ε0の値として、１画素（ピクセル）を識別できるほどの誤差を設定することにしてもよい。具体的には、たとえば、閾値ε0は、下記式（１０）を用いて求めることができる。ただし、ｈは１画素当たりの長さ、Ｌはディスプレイ２１１から被写体の眼球までの距離である。なお、ｈ，Ｌの単位は［ｍｍ］である。
【０１１５】
ε0＝ｔａｎ-1（ｈ／Ｌ） ・・・（１０）
【０１１６】
ここで、Ｌ＝４５０［ｍｍ］とし、ディスプレイ２１１の大きさ（横×縦）を４０８［ｍｍ］×３０７［ｍｍ］とし、ディスプレイ２１１の解像度（横×縦）を１２８０［画素］×１０２４［画素］とする。この場合、閾値ε0は、上記式（１０）から「ε0＝０．０４」となる。
【０１１７】
なお、上述した説明では、誤差ベクトルεの各値εθ，εφについて共通の閾値ε0を設定することにしたが、これに限らない。たとえば、誤差ベクトルεの各値εθ，εφについて、それぞれ異なる閾値ε1，ε2を設定することにしてもよい。
【０１１８】
また、補正値算出部５０９は、誤差が所定の閾値以上と判定された場合、被写体に固有の補正値を算出することにしてもよい。一方、補正値算出部５０９は、誤差が所定の閾値未満と判定された場合、被写体に固有の補正値を算出しないことにしてもよい。具体的には、たとえば、補正値算出部５０９が、誤差ベクトルεの各値εθ，εφが閾値ε0以上の場合、被写体に固有のパラメータω1〜ω4の値を算出する。一方、補正値算出部５０９が、誤差ベクトルεの各値εθ，εφが閾値ε0未満の場合、被写体に固有のパラメータω1〜ω4の値を算出しない。
【０１１９】
これにより、既に算出済みのパラメータω1〜ω4の値を用いて補正された補正後の第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差が十分小さくなったら、パラメータω1〜ω4の値の更新を停止することができる。なお、被写体が動いて眼球の位置が変化することを考慮して、一定時間経過後に、パラメータω1〜ω4の値の更新を再開することにしてもよい。
【０１２０】
速度判定部５１４は、時系列に連続する第１の視線ベクトルＶ１に基づいて、被写体の視線の移動速度が所定の速度以上か否かを判定する。ここで、時系列に連続する第１の視線ベクトルＶ１とは、たとえば、算出元の眼球画像ＥＰの撮影時刻ｔが時系列に連続する一対の第１の視線ベクトルＶ１である。
【０１２１】
すなわち、速度判定部５１４は、被写体の視線の移動速度が所定の速度以上で動く眼球運動（以下、「サッカード」という）が発生したか否かを判定する。具体的には、たとえば、速度判定部５１４が、第１の視線ベクトルＶ１の偏角θ１，φ１の単位時間当たりの変化量が所定の閾値Ｓ以上となった場合に、サッカードが発生したと判定する。
【０１２２】
なお、閾値Ｓは、予め設定されてＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。ここで、一例として、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１，φ１のいずれか一方の単位時間当たりの変化量が１００［度／秒］以上となった場合をサッカードと定義する。
【０１２３】
また、表示画像ＳＰを６０［ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）］の動画像とし、時系列に連続する撮影時刻ｔの時間間隔を１［ｆｒａｍｅ］（＝１／６０［秒］）とする。この場合、閾値Ｓは『Ｓ＝１．６７［度／ｆｒａｍｅ］』となる。
【０１２４】
具体的には、たとえば、まず、速度判定部５１４が、下記式（１１）を用いて、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１の差分を算出する。ただし、Ｓθは、時系列に連続する一対の第１の視線ベクトルＶ１の偏角θ１の差分である。ｔｋ，ｔ（ｋ＋１）は、時系列に連続する撮影時刻である。θ１tkは、撮影時刻ｔｋの眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１である。θ１t(k+1)は、撮影時刻ｔ（ｋ＋１）の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１である。
【０１２５】
Ｓθ＝｜θ１tk−θ１t(k+1)｜ ・・・（１１）
【０１２６】
また、速度判定部５１４が、下記式（１２）を用いて、時系列に連続する一対の第１の視線ベクトルＶ１の偏角φ１の差分を算出する。ただし、Ｓφは、時系列に連続する一対の第１の視線ベクトルＶ１の偏角φ１の差分である。ｔｋ，ｔ（ｋ＋１）は、時系列に連続する撮影時刻である。φ１tkは、撮影時刻ｔｋの眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角φ１である。φ１t(k+1)は、撮影時刻ｔ（ｋ＋１）の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角φ１である。
【０１２７】
Ｓφ＝｜φ１tk−φ１t(k+1)｜ ・・・（１２）
【０１２８】
そして、速度判定部５１４が、算出された差分Ｓθ，Ｓφの少なくともいずれか一方が閾値Ｓ以上の場合、サッカードが発生したと判定する。一方、速度判定部５１４が、算出された差分Ｓθ，Ｓφの両方が閾値Ｓ未満の場合、サッカードが発生していないと判定する。
【０１２９】
なお、時系列に連続する一対の第１の視線ベクトルＶ１は、たとえば、図１０に示すベクトルテーブル１０００に記憶されている。ベクトルテーブル１０００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。ここで、ベクトルテーブル１０００の記憶内容について説明する。
【０１３０】
図１０は、ベクトルテーブルの記憶内容の一例を示す説明図である。図１０において、ベクトルテーブル１０００は、ｔ、θ１およびφ１のフィールドを有し、時系列に連続する一対のベクトルデータをレコードとして記憶する。ここで、ｔは、第１の視線ベクトルＶ１の算出元となる眼球画像ＥＰの撮影時刻である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。
【０１３１】
図１０に示す（ａ）では、撮影時刻ｔ５，ｔ６の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１，φ１がベクトルデータ１０００−１，１０００−２として記憶されている。この場合、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２に基づいてサッカードが発生したか否かを判定する。
【０１３２】
具体的には、たとえば、まず、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２の撮影時刻ｔ５，ｔ６の偏角θ１t5，θ１t6を上記式（１１）に代入することにより、差分Ｓθを算出する。ここでは、「θ１t5＝２４．２」、「θ１t6＝２６．２」のため、差分Ｓθは「Ｓθ＝２」となる。
【０１３３】
また、速度判定部５１４が、ベクトルデータ１０００−１，１０００−２の撮影時刻ｔ５，ｔ６の偏角φ１t5，φ１t6を上記式（１２）に代入することにより、差分Ｓφを算出する。ここでは、「φ１t5＝１０．３」、「φ１t6＝１０．３」のため、差分Ｓφは「Ｓφ＝０」となる。
【０１３４】
ここで、撮影時刻ｔ５，ｔ６の時間差を１［ｆｒａｍｅ］とし、閾値Ｓを「Ｓ＝１．６７［度／ｆｒａｍｅ］とする。この場合、速度判定部５１４が、算出された差分Ｓθ，Ｓφのうち、差分Ｓθ（＝２）が閾値Ｓ（＝１．６７）以上となるため、サッカードが発生したと判定する。
【０１３５】
なお、ベクトルテーブル１０００の記憶内容は、第１の視線ベクトルＶ１が算出されると、その都度更新される。たとえば、図１０に示す（ａ）において、新たな第１の視線ベクトルＶ１が算出されると、ベクトルデータ１０００−１が削除され、新たな第１の視線ベクトルＶ１に関するベクトルデータ１０００−３が記憶される。
【０１３６】
図１０に示す（ｂ）では、撮影時刻ｔ６，ｔ７の眼球画像ＥＰに基づく第１の視線ベクトルＶ１の偏角θ１，φ１がベクトルデータ１０００−２，１０００−３として記憶されている。この場合、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３に基づいてサッカードが発生したか否かを判定する。
【０１３７】
具体的には、たとえば、まず、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３の撮影時刻ｔ６，ｔ７の偏角θ１t6，θ１t7を上記式（１１）に代入することにより、差分Ｓθを算出する。ここでは、「θ１t6＝２６．２」、「θ１t7＝２７．２」のため、差分Ｓθは「Ｓθ＝１」となる。
【０１３８】
また、速度判定部５１４が、ベクトルデータ１０００−２，１０００−３の撮影時刻ｔ６，ｔ７の偏角φ１t6，φ１t7を上記式（１２）に代入することにより、差分Ｓφを算出する。ここでは、「φ１t6＝１０．３」、「φ１t7＝１０．３」のため、差分Ｓφは「Ｓφ＝０」となる。
【０１３９】
ここで、撮影時刻ｔ５，ｔ６の時間差を１［ｆｒａｍｅ］とし、閾値Ｓを「Ｓ＝１．６７［度／ｆｒａｍｅ］とする。この場合、速度判定部５１４が、算出された差分Ｓθ，Ｓφの両方が閾値Ｓ（＝１．６７）未満となるため、サッカードが発生していないと判定する。
【０１４０】
特徴量算出部５０３は、速度判定部５１４によって判定された判定結果に基づいて、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することにしてもよい。具体的には、たとえば、特徴量算出部５０３は、サッカードが発生したと判定された場合、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する。
【０１４１】
一方、特徴量算出部５０３は、サッカードが発生していないと判定された場合、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出しない。ここで、サッカードが発生していない状態は、時系列に連続する時刻ｔｋと時刻ｔ（ｋ＋１）との間の第１の視線ベクトルＶ１の偏角θ１，φ１の変化量が少なく、被写体の視線位置が停留している状態といえる。
【０１４２】
さらに、この場合、表示画像ＳＰの中から注視点Ｗに決定される領域Ａｉは、時刻ｔｋと時刻ｔ（ｋ＋１）との間で変化しない可能性が高く、その結果算出されるパラメータω1〜ω4の値の変化量も少なくなる可能性が高い。そこで、サッカードが発生していない場合は、特徴量Ｃ１〜Ｃｎの算出処理を抑制し、パラメータω1〜ω4の値の算出にかかる一連の処理の効率化を図る。
【０１４３】
また、出力部５１５は、補正後の第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を出力する。具体的には、たとえば、出力部５１５が、表示画像ＳＰと、表示画像ＳＰ上での視線位置（以下、「被写体の視線位置ＲＰ」という）とを関連付けて示す視線検出結果を出力することにしてもよい。ここで、視線検出結果の具体例について説明する。
【０１４４】
図１１は、視線検出結果の具体例を示す説明図である。図１１において、視線検出結果Ｒは、画像ＩＤ、時刻および座標位置を有している。画像ＩＤは、表示画像ＳＰの識別子である。時刻は、眼球画像ＥＰの撮影時刻であり、視線検出時刻を表している。座標位置は、世界座標系４３０における被写体の視線位置ＲＰのＸW座標およびＹW座標である。
【０１４５】
視線検出結果Ｒによれば、時刻ｔｊに表示画像ＳＰｊを見ている被写体の表示画像ＳＰｊ上での視線位置ＲＰ（ｘｊ，ｙｊ）を認識することができる。具体的には、たとえば、視線検出結果Ｒは、たとえば、表示装置１０３に対する入力インターフェースとして利用することができる。
【０１４６】
なお、出力部５１５の出力形式としては、たとえば、ディスプレイ２１１への表示、Ｉ／Ｆ２０８による外部装置への送信がある。また、他の出力形式として、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶することにしてもよい。
【０１４７】
また、出力部５１５は、算出された被写体に固有の補正値を出力することにしてもよい。具体的には、たとえば、出力部５１５が、パラメータテーブル９００内のパラメータω1〜ω4の値を出力することにしてもよい。これにより、以降において、被写体に固有のパラメータω1〜ω4の値を用いて、キャリブレーションを行うことができる。
【０１４８】
なお、上述した説明では、世界座標系４３０におけるディスプレイ２１１と被写体の眼球とのＺW軸方向の距離を、予め設定することにしたが、これに限らない。たとえば、既存技術を利用して、ディスプレイ２１１に対向している被写体にレーザ光を照射し、レーザ光が反射して戻ってくるまでの時間から、ディスプレイ２１１と被写体の眼球との距離を測定することにしてもよい。
【０１４９】
（補正値算出部５０９の具体的な処理内容）
ここで、被写体に固有の補正値を算出する補正値算出部５０９の具体的な処理内容について説明する。ここでは、まず、補正値算出部５０９が、２組のベクトルペアＰｊを用いて、パラメータω1〜ω4の値を求める場合について説明する。まず、補正値算出部５０９が、上記式（５）を展開することにより、下記式（１３）および（１４）の連立方程式を求める。
【０１５０】
θ２＝ω1θ１＋ω2 ・・・（１３）
φ２＝ω3φ１＋ω4 ・・・（１４）
【０１５１】
このあと、補正値算出部５０９が、たとえば、図８に示したベクトルペアテーブル８００を参照して、偏角データ８００−１，８００−２を上記式（１３）および（１４）に代入して、４つの連立方程式を求める。ただし、各偏角θ１、φ１、θ２およびφ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１３）および（１４）に代入する。
【０１５２】
そして、補正値算出部５０９が、４つの連立方程式を解くことで、パラメータω1〜ω4の値を求めることができる。偏角データ８００−１，８００−２の例では、各パラメータω1〜ω4の値は『ω1＝１．１８，ω2＝０．０８７，ω3＝９，ω4＝−２．９８』となる。
【０１５３】
つぎに、補正値算出部５０９が、３組以上のベクトルペアＰｊを用いて、パラメータω1〜ω4の値を求める場合について説明する。ここでは、最小二乗法を用いて、パラメータω1〜ω4の値を求める場合について説明する。
【０１５４】
まず、補正値算出部５０９が、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての下記式（１５）の誤差関数を、パラメータω1，ω2それぞれについて偏微分して、下記式（１６）および（１７）の連立方程式を求める。ただし、Ｅ（ω1，ω2）は、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての誤差関数である。θ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角θ１である。θ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角θ２である。
【０１５５】
【数７】
【０１５６】
【数８】
【０１５７】
同様に、補正値算出部５０９が、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての下記式（１８）の誤差関数を、パラメータω3，ω4それぞれについて偏微分して、下記式（１９）および（２０）の連立方程式を求める。ただし、Ｅ（ω3，ω4）は、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての誤差関数である。φ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角φ１である。φ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角φ２である。
【０１５８】
【数９】
【０１５９】
【数１０】
【０１６０】
このあと、補正値算出部５０９が、たとえば、ベクトルペアテーブル８００を参照して、偏角データ８００−１〜８００−３の偏角θ１，θ２を上記式（１６）および（１７）に代入することにより、下記式（２１）を求める。ただし、偏角θ１，θ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１６）および（１７）に代入する。
【０１６１】
【数１１】
【０１６２】
また、補正値算出部５０９が、ベクトルペアテーブル８００を参照して、偏角データ８００−１〜８００−３の偏角φ１，φ２を上記式（１９）および（２０）に代入することにより、下記式（２２）を求める。ただし、偏角φ１，φ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１９）および（２０）に代入する。
【０１６３】
【数１２】
【０１６４】
そして、補正値算出部５０９が、上記式（２１）および（２２）を解くことにより、パラメータω1〜ω4の値を求めることができる。偏角データ８００−１〜８００−３の例では、各パラメータω1〜ω4の値は『ω1＝０．９５，ω2＝０．１４，ω3＝１．１７，ω4＝−０．１２』となる。
【０１６５】
このように、複数のベクトルペアＰｊを用いて統計的にパラメータω1〜ω4の値を算出することにより、被写体に固有のパラメータω1〜ω4の値を精度よく求めることができる。
【０１６６】
（視線算出部５０２の具体的な処理内容）
つぎに、第１の視線ベクトルＶ１を算出する視線算出部５０２の具体的な処理内容について説明する。図１２−１および図１２−２は、視線算出部５０２の具体的処理の概要を示す説明図である。ここでは、図６に示した眼球６００に近赤外線を照射したときの角膜表面におけるプルキニエ像６０３を利用して、第１の視線ベクトルＶ１を算出する場合について説明する。
【０１６７】
（ｉ）視線算出部５０２は、画像座標系４１０における眼球画像ＥＰ上の瞳孔６０１の瞳孔中心１２０１の位置ベクトルＰ’Pおよびプルキニエ像６０３の位置ベクトルｕPを算出する。そして、視線算出部５０２は、瞳孔中心１２０１の位置ベクトルＰ’Pおよびプルキニエ像６０３の位置ベクトルｕPをカメラ座標系４２０に座標変換する。
【０１６８】
ここで、世界座標系４３０におけるプルキニエ像６０３および瞳孔中心１２０１のＺW座標は、ディスプレイ２１１と被写体の眼球６００との距離として予め設定されている。このため、カメラ座標系４２０における瞳孔中心１２０１の位置ベクトルＰ’Cは、世界座標系４３０における瞳孔中心１２０１のＺW座標と画像座標系４１０における瞳孔中心１２０１の位置ベクトルＰ’Pから求めることができる。また、カメラ座標系４２０におけるプルキニエ像６０３の位置ベクトルｕCは、世界座標系４３０におけるプルキニエ像６０３のＺW座標と画像座標系４１０におけるプルキニエ像６０３の位置ベクトルｕPから求めることができる。
【０１６９】
なお、瞳孔中心１２０１は、たとえば、眼球画像ＥＰに写っている眼球表面のうち、周囲に比べて暗い楕円領域（瞳孔６０１）の中心位置である。また、プルキニエ像６０３は、たとえば、眼球画像ＥＰに写っている眼球表面のうち、瞳孔６０１の近傍に位置する輝点である。
【０１７０】
（ｉｉ）視線算出部５０２は、プルキニエ像６０３の位置ベクトルｕCから、角膜１２０２の角膜曲率中心１２０３の位置ベクトルｃCを算出する。具体的には、たとえば、視線算出部５０２が、下記式（２３）を用いて、角膜曲率中心１２０３の位置ベクトルｃCを算出することができる。
【０１７１】
ただし、ｃCは、カメラ座標系４２０における角膜曲率中心１２０３の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖ｕC‖は、位置ベクトルｕCのノルムである。なお、図１２−１中、符号１２０４は「房水」である。
【０１７２】
【数１３】
【０１７３】
一例として、Ｃ＝７．６［ｍｍ］、プルキニエ像６０３の位置ベクトルｕC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６００）とする。この場合、上記式（２３）から、角膜曲率中心１２０３の位置ベクトルｃCは、『ｃC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６０７．６）』となる。なお、各座標値の単位は［ｍｍ］である。
【０１７４】
（ｉｉｉ）視線算出部５０２は、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’Cから、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを算出する。具体的には、たとえば、視線算出部５０２が、下記式（２４）を用いて、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを算出することができる。
【０１７５】
ただし、ＰCは、角膜表面での瞳孔中心１２０１の位置ベクトルである。Ｐ’Cは、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖Ｐ’C‖は、位置ベクトルＰ’Cのノルムである。また、Ｍは下記式（２５）となる。ただし、‖Ｐ’C−ｕC‖は、位置ベクトル（Ｐ’C−ｕC）のノルムである。
【０１７６】
【数１４】
【０１７７】
【数１５】
【０１７８】
一例として、Ｃ＝７．６［ｍｍ］、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’C（ＸC，ＹC，ＺC）＝（３５．１４，５９．２２，６００）とする。この場合、上記式（２４）および（２５）から、角膜表面での瞳孔中心１２０１の位置ベクトルＰCは、『ＰC（ＸC，ＹC，ＺC）＝（３５．１５，５９．４４，６０７．６）』となる。
【０１７９】
ただし、角膜１２０２に照射した光は、角膜表面で屈折する。したがって、観察された瞳孔６０１も実際の位置からは屈折して見えることになるため、位置ベクトルＰCの補正が必要となる。そこで、視線算出部５０２が、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを補正する。
【０１８０】
（ｉｖ）視線算出部５０２は、角膜表面での瞳孔中心１２０１に入射した光の屈折ベクトルｔCと、角膜曲率中心１２０３から瞳孔中心１２０１までの距離Ｌとに基づいて、角膜表面での瞳孔中心１２０１の位置ベクトルＰCを補正する。具体的には、たとえば、視線算出部５０２が、下記式（２６）を用いて、補正後の瞳孔中心１２０１の位置ベクトルｐCを求めることができる。
【０１８１】
ただし、ｐCは、補正後の瞳孔中心１２０１の位置ベクトルである。Ｌは、角膜曲率中心１２０３から瞳孔中心１２０１までの距離を表す定数である。Ｃは、角膜曲率半径を表す定数である。ＰCは、角膜表面での瞳孔中心１２０１の位置ベクトルである。また、ｔCは下記式（２７）となる。ただし、ｎ1は空気の屈折率、ｎ2は房水１２０４の屈折率である。ｒCは、眼球画像ＥＰ上での瞳孔中心１２０１の位置ベクトルＰ’Cの単位ベクトルである。（ｒC，ｎ）は、ｒCとｎとの内積を表す。また、ｎは下記式（２８）となる。
【０１８２】
【数１６】
【０１８３】
【数１７】
【０１８４】
【数１８】
【０１８５】
一例として、Ｃ＝７．６［ｍｍ］、Ｌ＝４．５［ｍｍ］、屈折ベクトルｔC（ＸC，ＹC，ＺC）＝（０．０５７，０．１３，１）とし、単位ベクトルｎ（ＸC，ＹC，ＺC）＝（−０．０３６，−０．２１，−１）とする。この場合、上記式（２６）〜（２８）から、補正後の瞳孔中心１２０１の位置ベクトルｐCは、『ｐC（ＸC，ＹC，ＺC）＝（３５．３，５９．８３，６０３．０７）』となる。
【０１８６】
（ｖ）視線算出部５０２は、補正後の瞳孔中心１２０１の位置ベクトルｐCおよび角膜曲率中心１２０３の位置ベクトルｃCを、カメラ座標系４２０から世界座標系４３０に座標変換する。そして、視線算出部５０２は、世界座標系４３０における補正後の瞳孔中心１２０１の位置ベクトルｐWと、角膜曲率中心１２０３の位置ベクトルｃWとに基づいて、第１の視線ベクトルＶ１Wを算出する。
【０１８７】
具体的には、たとえば、視線算出部５０２が、下記式（２９）を用いて、第１の視線ベクトルＶ１Wを求めることができる。ただし、Ｖ１Wは、世界座標系４３０における第１の視線ベクトルＶ１である。
【０１８８】
Ｖ１W＝ｐW−ｃW ・・・（２９）
【０１８９】
一例として、瞳孔中心１２０１の位置ベクトルｐW（ＸW，ＹW，ＺW）＝（３５．３，５９．８３，６０３．０７）とし、角膜曲率中心１２０３の位置ベクトルｃW（ＸW，ＹW，ＺW）＝（３５．４２，６１．０４，６０７．６）とする。この場合、上記式（２９）から、第１の視線ベクトルＶ１Wは、『Ｖ１W（ＸW，ＹW，ＺW）＝（−０．１２，−１．２１，−４．５３）』となる。
【０１９０】
また、視線算出部５０２が、世界座標系４３０における第１の視線ベクトルＶ１Wを極座標変換することにより、上記式（１）に含まれる動径ｒ１、偏角θ１およびφ１を求めることができる。一例として、第１の視線ベクトルＶ１W（ＸW，ＹW，ＺW）＝（１，１，−７）とすると、極座標系における第１の視線ベクトルＶは『ｒ１＝１．７４，θ１＝１６８．５８，φ１＝４５』となる。
【０１９１】
なお、上述した説明では、人の左眼または右眼のいずれか一方の眼球に着目して、第１の視線ベクトルＶ１Wを求めることにしたが、これに限らない。たとえば、視線算出部５０２が、左眼および右眼の眼球画像ＥＰから左眼および右眼の第１の視線ベクトルＶ１Wを求めて、左眼および右眼の第１の視線ベクトルＶ１Wの平均値をとることにしてもよい。
【０１９２】
（第１の位置算出部５０６の具体的な処理内容）
第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を算出する第１の位置算出部５０６の具体的な処理内容について説明する。図１３は、視線ベクトルと視線位置との関係を表す説明図である。
【０１９３】
図１３において、点Ｏは、世界座標系４３０における角膜曲率中心１２０３（図１２−１参照）の位置ベクトルｃWの先端の点である。点Ａは、世界座標系４３０における第１の視線ベクトルＶ１Wの先端の点である。点Ａ’は、第１の視線ベクトルＶ１Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、仮の視線位置ＶＰである。
【０１９４】
ここで、三角形ＯＡＢと三角形ＯＡ’Ｂ’は相似関係にある。このため、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、仮の視線位置ＶＰを求めることができる。具体的には、たとえば、第１の位置算出部５０６が、下記式（３０）および（３１）を用いて、仮の視線位置ＶＰを求めることができる。
【０１９５】
ただし、ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標およびＹW座標である。また、仮の視線位置ＶＰのＺW座標は「０」である。ｘV1，ｙV1は、第１の視線ベクトルＶ１WのＸW座標およびＹW座標である。Ｇは、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０１９６】
ｖｘ＝（Ｇ／ｇ）×ｘV1 ・・・（３０）
ｖｙ＝（Ｇ／ｇ）×ｙV1 ・・・（３１）
【０１９７】
一例として、世界座標系４３０における第１の視線ベクトルＶ１WをＶ１W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７．００）とし、角膜曲率中心１２０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０１９８】
したがって、仮の視線位置ＶＰのＸW座標は、上記式（３０）から「ｖｘ＝９９．７２＝（６０７／７）×１．１５」となる。また、仮の視線位置ＶＰのＹW座標は、上記式（３１）から「ｖｙ＝９９．７２＝（６０７／７）×１．１５」となる。
【０１９９】
つぎに、図１３を用いて、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２を算出する視線算出部５０２の具体的な処理内容について説明する。図１３において、点Ｃは、世界座標系４３０における第２の視線ベクトルＶ２Wの先端の点である。点Ｃ’は、第２の視線ベクトルＶ２Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、注視点Ｗである。
【０２００】
ここで、三角形ＯＣＢと三角形ＯＣ’Ｂ’は相似関係にある。このため、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、第２の視線ベクトルＶ２Wを求めることができる。具体的には、たとえば、視線算出部５０２が、下記式（３２）〜（３４）を用いて、第２の視線ベクトルＶ２Wを求めることができる。
【０２０１】
ただし、ｗｘ，ｗｙは、注視点ＷのＸW座標およびＹW座標である。また、注視点ＷのＺW座標は「０」である。ｘV2，ｙV2，ｚV2は、第２の視線ベクトルＶ２WのＸW座標、ＹW座標およびＺW座標である。ｚV1は、第１の視線ベクトルＶ１WのＺW座標である。Ｇは、角膜曲率中心１２０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
【０２０２】
ｘV2＝（ｇ／Ｇ）×ｗｘ ・・・（３２）
ｙV2＝（ｇ／Ｇ）×ｗｙ ・・・（３３）
ｚV2＝ｚV1 ・・・（３４）
【０２０３】
一例として、世界座標系４３０における注視点Ｗを（ＸW，ＹW，ＺW）＝（１００，１００，０）とし、角膜曲率中心１２０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。第１の視線ベクトルＶ１WのＺW座標を「ＺW＝−７」とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
【０２０４】
したがって、第２の視線ベクトルＶ２WのＸW座標は、上記式（３２）から「ｘV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＹW座標は、上記式（３３）から「ｙV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＺW座標は、上記式（３４）から「ｚV2＝−７」となる。
【０２０５】
そして、視線算出部５０２が、第２の視線ベクトルＶ２Wを極座標変換することにより、第２の視線ベクトルＶ２を求めることができる。一例として、第２の視線ベクトルＶ２Wを『（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７）』とすると、第２の視線ベクトルＶ２は『ｒ２＝７．１８，θ２＝１６６．９２，φ２＝４５』となる。
【０２０６】
（特徴量算出部５０３の具体的な処理内容）
つぎに、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する特徴量算出部５０３の具体的な処理内容について説明する。ここでは、まず、表示画像ＳＰに対して２値化処理を施すことにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。
【０２０７】
＜２値化処理＞
図１４は、２値化処理の概要を示す説明図である。図１４において、表示画像輝度テーブル１４１０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１４１０−１〜１４１０−ｎを記憶している。
【０２０８】
領域ＩＤは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系４３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。輝度は、各領域Ａ１〜Ａｎの赤（Ｒ）、緑（Ｇ）、青（Ｂ）ごとの輝度である。ここでは、各色の輝度が「０〜２５５」の２５６階調で表現されている。
【０２０９】
まず、特徴量算出部５０３は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、グレースケール画像ＬＰとは、画像を灰色の濃淡（白から黒までの明暗）だけで表現したものである。具体的には、たとえば、特徴量算出部５０３が、表示画像ＳＰの各領域Ａ１〜Ａｎの色ごとの輝度に基づいて、グレースケール画像における各領域Ａ１〜Ａｎの灰色の輝度を算出する。
【０２１０】
より具体的には、たとえば、特徴量算出部５０３が、下記式（３５）を用いて、グレースケール画像における領域Ａ１〜Ａｎごとの灰色の輝度を算出することができる。ただし、Ｌ（ｉ）は、グレースケール画像における領域Ａｉの灰色の輝度である。Ｒ（ｉ）は、表示画像ＳＰにおける領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰにおける領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、表示画像ＳＰにおける領域Ａｉの青色の輝度である。
【０２１１】
Ｌ（ｉ）＝｛Ｒ（ｉ）＋Ｇ（ｉ）＋Ｂ（ｉ）｝／３ ・・・（３５）
【０２１２】
すなわち、特徴量算出部５０３は、表示画像輝度テーブル１４１０を参照して、領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３５）に代入することにより、領域Ａｉの輝度Ｌ（ｉ）を算出することができる。たとえば、領域Ａ４の輝度Ｌ（４）は、『Ｌ（４）＝２００』となる。
【０２１３】
なお、算出された領域Ａ１〜Ａｎごとの灰色の輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、グレースケール画像輝度テーブル１４２０に記憶される。グレースケール画像輝度テーブル１４２０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１４２０−１〜１４２０−ｎを記憶している。ここで、輝度は、各領域Ａ１〜Ａｎの灰色（Ｌ）の輝度である。
【０２１４】
つぎに、特徴量算出部５０３は、変換後のグレースケール画像に対して、２値化処理を実行する。ここで、２値化処理とは、濃淡のある画像を白と黒の２階調に変換する処理である。具体的には、たとえば、特徴量算出部５０３は、各領域Ａ１〜Ａｎの灰色の輝度が、所定の閾値Ｌ以上となる場合は「白」、閾値Ｌ未満となる場合は「黒」に置き換える。なお、閾値Ｌは、任意に設定されて、ＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置に記憶されている。
【０２１５】
より具体的には、たとえば、特徴量算出部５０３は、グレースケール画像輝度テーブル１４２０を参照して、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ以上となる場合は、輝度Ｌ（ｉ）を「２５５」に置き換える。一方、特徴量算出部５０３は、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ未満となる場合は、輝度Ｌ（ｉ）を「０」に置き換える。
【０２１６】
ここで、上記閾値Ｌを『Ｌ＝２００』とする。この場合、たとえば、領域Ａ１の輝度Ｌ（１）は、閾値Ｌ未満のため「０」に置き換えられる。また、領域Ａ４の輝度Ｌ（４）は、閾値Ｌ以上のため「２５５」に置き換えられる。
【０２１７】
なお、２値化された領域Ａ１〜Ａｎごとの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、図７に示した特徴量テーブル７００の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、各領域Ａ１〜Ａｎの２値化後の輝度Ｌ（１）〜Ｌ（ｎ）を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとする。
【０２１８】
このように、各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を２値化して表すことにより、領域Ａ１〜Ａｎの中から輝度・色・形が周囲と異なる領域Ａｉを特定することができる。図１５は、輝度・色・形が周囲と異なる領域の一例を示す説明図である。なお、図面では、表示画像ＳＰの一部を抜粋して表示している。
【０２１９】
図１５において、表示画像ＳＰａでは、領域Ａａが周囲と比べて明るくなっている。表示画像ＳＰｂでは、領域Ａｂが周囲と比べて色が異なっている。表示画像ＳＰｃでは、領域Ａｃのみに文字が表示されている（形が周囲と異なる）。
【０２２０】
表示画像ＳＰにおいて、輝度・色・形が周囲と異なる領域Ａｉは、他の領域に比べて人の視線が向きやすい領域といえる。このため、各領域Ａ１〜Ａｎの輝度を２値化して表すことにより、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを注視点Ｗに決定することができる。
【０２２１】
なお、視線検出装置２００は、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを含む表示画像ＳＰを、視線検出中の任意のタイミングでディスプレイ２１１に表示することにしてもよい。これにより、表示画像ＳＰの中から注視点Ｗを精度よく決定して、被写体に固有の補正値（パラメータω1〜ω4の値）を高精度に算出することができる。
【０２２２】
＜顕著度マップ作成処理＞
つぎに、表示画像ＳＰに関する顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。ここで、顕著度マップとは、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを顕著度として表すマップである。
【０２２３】
具体的には、特徴量算出部５０３が、表示画像ＳＰを輝度成分、色成分、方向成分に分離して、各成分に関する顕著度マップＭ１〜Ｍ３を作成する。そして、特徴量算出部５０３が、顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する。
【０２２４】
以下、図１６〜図２４を用いて、顕著度マップ作成処理の具体的な処理内容について説明する。ここでは、まず、図１６および図１７を用いて、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成する場合について説明する。
【０２２５】
図１６および図１７は、輝度成分に関する顕著度マップ作成処理の概要を示す説明図である。図１６において、（ｉ）特徴量算出部５０３は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、表示画像輝度テーブル１６１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色（ＲＧＢ）ごとの輝度を記憶するテーブルである。
【０２２６】
具体的には、たとえば、特徴量算出部５０３が、表示画像輝度テーブル１６１０を参照して、表示画像ＳＰ上の領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３５）に代入する。これにより、グレースケール画像ＬＰ上の領域Ａｉの灰色（Ｌ）の輝度Ｌ（ｉ）を算出することができる。
【０２２７】
グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、グレースケール画像輝度テーブル１６２０に記憶される。グレースケール画像輝度テーブル１６２０は、グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２２８】
図１６において、（ｉｉ）特徴量算出部５０３は、グレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰを作成する。ここで、ガウシアンフィルタとは、画像を滑らかにして輪郭のボケを少なくすることを目的とした平滑化フィルタである。ダウンサンプリングとは、サンプリング周波数を下げて再サンプリングすることである。
【０２２９】
ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル１６３０に記憶される。ダウンサンプリング画像輝度テーブル１６３０は、ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２３０】
図１６において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰにアップサンプリング（バイリニア補間）を実施して、ピラミッド画像ＰＰを作成する。ここで、アップサンプリングとは、サンプリング周波数を上げて再サンプリングすることである。ピラミッド画像ＰＰとは、解像度の異なる画像の集合である。
【０２３１】
ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル１６４０に記憶される。ピラミッド画像輝度テーブル１６４０は、ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。ただし、ピラミッド画像輝度テーブル１６４０は、ピラミッド画像ＰＰの低解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶している。
【０２３２】
図１７において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰに関する中心周辺差分処理を実施して、輝度成分に関する顕著度マップＭ１を作成する。ここで、中心周辺差分処理とは、ピラミッド画像ＰＰの高解像度画像と低解像度画像との差分を取ることである。ここでは、ピラミッド画像ＰＰの高解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）として、グレースケール画像輝度テーブル１６２０内の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を用いる。
【０２３３】
具体的には、特徴量算出部５０３が、ピラミッド画像輝度テーブル１６４０内の領域Ａｉの輝度Ｌ（ｉ）と、グレースケール画像輝度テーブル１６２０内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度成分に関する顕著度を算出する。たとえば、領域Ａ２の輝度成分に関する顕著度は、『４７＝｜３３−８０｜』となる。
【０２３４】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度は、たとえば、輝度顕著度テーブル１７００に記憶される。輝度顕著度テーブル１７００は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度を記憶するテーブルである。これにより、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成することができる。
【０２３５】
なお、上述した各種テーブル１６１０，１６２０，１６３０，１６４０，１７００は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２３６】
つぎに、図１８〜図２０を用いて、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成する場合について説明する。図１８〜図２０は、色成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２３７】
図１８および図１９において、（ｉ）特徴量算出部５０３は、表示画像輝度テーブル１６１０（図１６参照）を参照して、表示画像ＳＰをＲ成分、Ｇ成分、Ｂ成分およびＹ（黄）成分に分離する。ここで、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、特徴量算出部５０３が、下記式（３６）を用いて求めることができる。ただし、Ｙ（ｉ）は、領域Ａｉの黄色の輝度である。Ｒ（ｉ）は、領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、領域Ａｉの青色の輝度である。なお、Ｙ（ｉ）が負の値の場合は「Ｙ（ｉ）＝０」とする。
【０２３８】
【数１９】
【０２３９】
分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分輝度テーブル１８１０に記憶される。Ｒ成分輝度テーブル１８１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４０】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分輝度テーブル１８２０に記憶される。Ｇ成分輝度テーブル１８２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４１】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分輝度テーブル１９１０に記憶される。Ｂ成分輝度テーブル１９１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２４２】
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分輝度テーブル１９２０に記憶される。Ｙ成分輝度テーブル１９２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２４３】
図１８において、（ｉｉ）特徴量算出部５０３は、Ｒ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＲ成分のダウンサンプリング画像ＤＰを作成する。
【０２４４】
Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分ダウンサンプリング画像輝度テーブル１８１１に記憶される。Ｒ成分ダウンサンプリング画像輝度テーブル１８１１は、Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４５】
図１８において、（ｉｉｉ）特徴量算出部５０３は、Ｒ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｒ成分のピラミッド画像ＰＰを作成する。Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、たとえば、Ｒ成分ピラミッド画像輝度テーブル１８１２に記憶される。Ｒ成分ピラミッド画像輝度テーブル１８１２は、Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
【０２４６】
図１８において、（ｉｉ）特徴量算出部５０３は、Ｇ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＧ成分のダウンサンプリング画像ＤＰを作成する。Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分ダウンサンプリング画像輝度テーブル１８２１に記憶される。Ｇ成分ダウンサンプリング画像輝度テーブル１８２１は、Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４７】
図１８において、（ｉｉｉ）特徴量算出部５０３は、Ｇ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｇ成分のピラミッド画像ＰＰを作成する。Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、たとえば、Ｇ成分ピラミッド画像輝度テーブル１８２２に記憶される。Ｇ成分ピラミッド画像輝度テーブル１８２２は、Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
【０２４８】
図１９において、（ｉｉ）特徴量算出部５０３は、Ｂ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＢ成分のダウンサンプリング画像ＤＰを作成する。Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分ダウンサンプリング画像輝度テーブル１９１１に記憶される。Ｂ成分ダウンサンプリング画像輝度テーブル１９１１は、Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２４９】
図１９において、（ｉｉｉ）特徴量算出部５０３は、Ｂ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｂ成分のピラミッド画像ＰＰを作成する。Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、たとえば、Ｂ成分ピラミッド画像輝度テーブル１９１２に記憶される。Ｂ成分ピラミッド画像輝度テーブル１９１２は、Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
【０２５０】
図１９において、（ｉｉ）特徴量算出部５０３は、Ｙ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＹ成分のダウンサンプリング画像ＤＰを作成する。Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分ダウンサンプリング画像輝度テーブル１９２１に記憶される。Ｙ成分ダウンサンプリング画像輝度テーブル１９２１は、Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２５１】
図１９において、（ｉｉｉ）特徴量算出部５０３は、Ｙ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｙ成分のピラミッド画像ＰＰを作成する。Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、たとえば、Ｙ成分ピラミッド画像輝度テーブル１９２２に記憶される。Ｙ成分ピラミッド画像輝度テーブル１９２２は、Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
【０２５２】
図２０において、（ｉｖ）特徴量算出部５０３は、Ｒ成分の表示画像ＳＰとＧ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、たとえば、特徴量算出部５０３が、下記式（３７）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色（ＲＧ）の輝度ＲＧ（１）〜ＲＧ（ｎ）を算出する。ただし、ＲＧ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色および緑色の輝度である。Ｒ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰ上の領域Ａｉの緑色の輝度である。ＲP（ｉ）は、Ｒ成分のピラミッド画像ＰＰ上の領域Ａｉの赤色の輝度である。ＧP（ｉ）は、Ｇ成分のピラミッド画像ＰＰ上の領域Ａｉの緑色の輝度である。
【０２５３】
ＲＧ（ｉ）＝｜｛Ｒ（ｉ）−Ｇ（ｉ）｝−｛ＧP（ｉ）−ＲP（ｉ）｝｜
・・・（３７）
【０２５４】
なお、輝度Ｒ（ｉ）は、Ｒ成分輝度テーブル１８１０に記憶されている。輝度Ｇ（ｉ）は、Ｇ成分輝度テーブル１８２０に記憶されている。輝度ＲP（ｉ）は、Ｒ成分ピラミッド画像輝度テーブル１８１２に記憶されている。輝度ＧP（ｉ）は、Ｇ成分ピラミッド画像輝度テーブル１８２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）は、たとえば、ＲＧ成分輝度テーブル２０１０に記憶される。ＲＧ成分輝度テーブル２０１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）を記憶するテーブルである。
【０２５５】
図２０において、（ｉｖ）特徴量算出部５０３は、Ｂ成分の表示画像ＳＰとＹ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、たとえば、特徴量算出部５０３が、下記式（３８）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色（ＢＹ）の輝度ＢＹ（１）〜ＢＹ（ｎ）を算出する。ただし、ＢＹ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色および黄色の輝度である。Ｂ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色の輝度である。Ｙ（ｉ）は、表示画像ＳＰ上の領域Ａｉの黄色の輝度である。ＢP（ｉ）は、Ｂ成分のピラミッド画像ＰＰ上の領域Ａｉの青の輝度である。ＹP（ｉ）は、Ｙ成分のピラミッド画像ＰＰ上の領域Ａｉの黄色の輝度である。
【０２５６】
ＢＹ（ｉ）＝｛Ｂ（ｉ）−Ｙ（ｉ）｝−｛ＹP（ｉ）−ＢP（ｉ）｝・・・（３８）
【０２５７】
なお、輝度Ｂ（ｉ）は、Ｂ成分輝度テーブル１９１０に記憶されている。輝度Ｙ（ｉ）は、Ｙ成分輝度テーブル１９２０に記憶されている。輝度ＢP（ｉ）は、Ｂ成分ピラミッド画像輝度テーブル１９１２に記憶されている。輝度ＹP（ｉ）は、Ｙ成分ピラミッド画像輝度テーブル１９２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）は、たとえば、ＢＹ成分輝度テーブル２０２０に記憶される。ＢＹ成分輝度テーブル２０２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）を記憶するテーブルである。
【０２５８】
図２０において、（ｖ）特徴量算出部５０３は、領域Ａ１〜Ａｎの輝度ＲＧ（１）〜ＲＧ（ｎ）と、領域Ａ１〜Ａｎの輝度ＢＹ（１）〜ＢＹ（ｎ）との線形和をとることにより、色成分に関する顕著度マップＭ２を作成する。具体的には、特徴量算出部５０３が、ＲＧ成分輝度テーブル２０１０内の領域Ａｉの輝度ＲＧ（ｉ）と、ＢＹ成分輝度テーブル２０２０内の領域Ａｉの輝度ＢＹ（ｉ）とを足し合わせて、領域Ａｉの色成分に関する顕著度を算出する。たとえば、領域Ａ２の色成分に関する顕著度は、『３４０＝２０＋３２０』となる。
【０２５９】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度は、たとえば、色顕著度テーブル２０３０に記憶される。色顕著度テーブル２０３０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度を記憶するテーブルである。これにより、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成することができる。
【０２６０】
なお、上述した各種テーブル１８１０〜１８１２，１８２０〜１８２２，１９１０〜１９１２，１９２０〜１９２２，２０１０，２０２０，２０３０は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２６１】
つぎに、図２１〜図２３を用いて、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成する場合について説明する。なお、以下に示す各角度（０度、４５度、９０度、１３５度）は、ガボール関数の縞模様の方向である。図２１〜図２３は、方向成分に関する顕著度マップ作成処理の概要を示す説明図である。
【０２６２】
図２１において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して０度のガボールフィルタによりフィルタリングする。ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、０度ガボールフィルタ輝度テーブル２１１０に記憶される。０度ガボールフィルタ輝度テーブル２１１０は、０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６３】
図２１において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して４５度のガボールフィルタによりフィルタリングする。４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、４５度ガボールフィルタ輝度テーブル２１２０に記憶される。４５度ガボールフィルタ輝度テーブル２１２０は、４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６４】
図２２において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して９０度のガボールフィルタによりフィルタリングする。９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、９０度ガボールフィルタ輝度テーブル２２１０に記憶される。９０度ガボールフィルタ輝度テーブル２２１０は、９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６５】
図２２において、（ｉ）特徴量算出部５０３は、グレースケール画像輝度テーブル１６２０を参照して、グレースケール画像ＬＰに対して１３５度のガボールフィルタによりフィルタリングする。１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、１３５度ガボールフィルタ輝度テーブル２２２０に記憶される。１３５度ガボールフィルタ輝度テーブル２２２０は、１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
【０２６６】
図２１において、（ｉｉ）特徴量算出部５０３は、０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（０度）を作成する。ダウンサンプリング画像ＤＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２１１１に記憶される。
【０２６７】
図２１において、（ｉｉ）特徴量算出部５０３は、４５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（４５度）を作成する。ダウンサンプリング画像ＤＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２１２１に記憶される。
【０２６８】
図２２において、（ｉｉ）特徴量算出部５０３は、９０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（９０度）を作成する。ダウンサンプリング画像ＤＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２２１１に記憶される。
【０２６９】
図２２において、（ｉｉ）特徴量算出部５０３は、１３５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（１３５度）を作成する。ダウンサンプリング画像ＤＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ダウンサンプリング画像輝度テーブル２２２１に記憶される。
【０２７０】
図２１において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（０度）を作成する。ピラミッド画像ＰＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２１１２に記憶される。
【０２７１】
図２１において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（４５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（４５度）を作成する。ピラミッド画像ＰＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２１２２に記憶される。
【０２７２】
図２２において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（９０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（９０度）を作成する。ピラミッド画像ＰＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２２１２に記憶される。
【０２７３】
図２２において、（ｉｉｉ）特徴量算出部５０３は、ダウンサンプリング画像ＤＰ（１３５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（１３５度）を作成する。ピラミッド画像ＰＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、ピラミッド画像輝度テーブル２２２２に記憶される。
【０２７４】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、０度ガボールフィルタ輝度テーブル２１１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２１１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、０度差分輝度テーブル２３１１に記憶される。
【０２７５】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、４５度ガボールフィルタ輝度テーブル２１２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２１２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、４５度差分輝度テーブル２３１２に記憶される。
【０２７６】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、９０度ガボールフィルタ輝度テーブル２２１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２２１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、９０度差分輝度テーブル２３１３に記憶される。
【０２７７】
図２３において、（ｉｖ）特徴量算出部５０３は、ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部５０３が、１３５度ガボールフィルタ輝度テーブル２２２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２２２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、たとえば、１３５度差分輝度テーブル２３１４に記憶される。
【０２７８】
図２３において、（ｖ）特徴量算出部５０３は、０度、４５度、９０度、１３５度のガボールフィルタに通したグレースケール画像ＬＰに基づく領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）の線形和をとることにより、方向成分に関する顕著度マップＭ３を作成する。具体的には、特徴量算出部５０３が、差分輝度テーブル２３１１〜２３１４内の領域Ａｉの輝度Ｌ（ｉ）を足し合わせて、領域Ａｉの方向成分に関する顕著度を算出する。たとえば、領域Ａ３の方向成分に関する顕著度は、『１７０＝０＋０＋０＋１７０』となる。
【０２７９】
表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度は、たとえば、方向顕著度テーブル２３２０に記憶される。方向顕著度テーブル２３２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度を記憶するテーブルである。これにより、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成することができる。
【０２８０】
なお、上述した各種テーブル２１１０〜２１１２，２１２０〜２１２２，２２１０〜２２１２，２２２０〜２２２２，２３１１〜２３１４，２３２０は、たとえば、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７などの記憶装置により実現される。
【０２８１】
つぎに、図２４を用いて、輝度成分、色成分および方向成分に関する表示画像ＳＰの顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する場合について説明する。図２４は、表示画像の顕著度マップ作成処理の概要を示す説明図である。
【０２８２】
図２４において、（ｉ）特徴量算出部５０３は、輝度顕著度テーブル１７００（図１７参照）の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ２の顕著度が「４７」から「１２０」に変換されている。
【０２８３】
図２４において、（ｉ）特徴量算出部５０３は、色顕著度テーブル２０３０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ３の顕著度が「７８０」から「２５５」に変換されている。
【０２８４】
図２４において、（ｉ）特徴量算出部５０３は、方向顕著度テーブル２３２０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、たとえば、領域Ａ２の顕著度が「１７０」から「２５５」に変換されている。
【０２８５】
図２４において、（ｉｉ）特徴量算出部５０３は、輝度、色、方向顕著度テーブル１７００，２０３０，２３２０の領域Ａ１〜Ａｎごとの顕著度の線形合成を行うことにより、領域Ａ１〜Ａｎごとの顕著度を算出する。これにより、表示画像ＳＰに関する顕著度マップＭを作成することができる。
【０２８６】
具体的には、特徴量算出部５０３が、輝度、色、方向顕著度テーブル１７００，２０３０，２３２０の領域Ａ１〜Ａｎごとの顕著度の線形和をとる。そして、特徴量算出部５０３が、線形和をとった領域Ａ１〜Ａｎごとの顕著度を最小値が「０」かつ最大値が「２５５」となるように正規化する。算出された領域Ａ１〜Ａｎごとの顕著度は、たとえば、図７に示した特徴量テーブル７００内の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、ここでは、各領域Ａ１〜Ａｎの顕著度を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとしている。
【０２８７】
ここで、領域Ａ１〜Ａｎのうち領域Ａ１〜Ａ４に着目する。この場合、たとえば、上記決定部５０４は、特徴量テーブル７００を参照して、領域Ａ１〜Ａ４のうち、特徴量が最大の領域Ａ３を注視点Ｗに決定する。ここで、表示画像ＳＰに関する顕著度マップＭの具体例について説明する。
【０２８８】
図２５は、顕著度マップの具体例を示す説明図である。図２５において、表示画像２５０１は、ディスプレイ２１１に表示された表示画像ＳＰである。また、顕著度マップ２５０２は、表示画像２５０１の顕著度マップＭである。顕著度マップ２５０２では、輝度や色などの特徴が周囲に比べて顕著な部分を強調して表している。
【０２８９】
具体的には、顕著度マップ２５０２において、白い部分は黒い部分に比べて人の視覚的な注意を引きつける強さが大きいことを表している。顕著度マップ２５０２によれば、表示画像２５０１の中から人が注視しやすい注視点Ｗを高精度に決定することができる。
【０２９０】
（視線検出処理手順）
つぎに、視線検出装置２００の視線検出処理手順について説明する。図２６および図２７は、視線検出装置の視線検出処理手順の一例を示すフローチャートである。図２６のフローチャートにおいて、まず、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ２６０１）。ただし、表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中のものである。
【０２９１】
ここで、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ２６０１：Ｎｏ）。このあと、取得部５０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ２６０１：Ｙｅｓ）、視線算出部５０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ２６０２）。第１の視線ベクトルＶ１は、被写体の眼球からディスプレイ２１１に向かうベクトルである。
【０２９２】
つぎに、補正部５１０により、パラメータテーブル９００を参照して、パラメータω1〜ω4の値が登録されているか否かを判断する（ステップＳ２６０３）。ここで、パラメータω1〜ω4の値が登録されている場合（ステップＳ２６０３：Ｙｅｓ）、補正部５１０により、パラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する（ステップＳ２６０４）。
【０２９３】
そして、補正部５１０により、ベクトルテーブル１０００の記憶内容を更新する（ステップＳ２６０５）。具体的には、補正部５１０が、眼球画像ＥＰの撮影時刻ｔと、補正後の第１の視線ベクトルＶ１の偏角θ１，φ１をベクトルテーブル１０００に記憶する。
【０２９４】
また、ステップＳ２６０３において、パラメータω1〜ω4の値が登録されていない場合（ステップＳ２６０３：Ｎｏ）、視線算出部５０２により、ベクトルテーブル１０００の記憶内容を更新する（ステップＳ２６０５）。具体的には、視線算出部５０２が、眼球画像ＥＰの撮影時刻ｔと、第１の視線ベクトルＶ１の偏角θ１，φ１をベクトルテーブル１０００に記憶する。
【０２９５】
このあと、速度判定部５１４により、ベクトルテーブル１０００を参照して、一対のベクトルデータが存在するか否かを判断する（ステップＳ２６０６）。ここで、一対のベクトルデータが存在しない場合（ステップＳ２６０６：Ｎｏ）、ステップＳ２６０９に移行する。
【０２９６】
一方、一対のベクトルデータが存在する場合（ステップＳ２６０６：Ｙｅｓ）、速度判定部５１４により、上記式（１１）および（１２）を用いて、一対のベクトルデータの偏角θ１，φ１の差分Ｓθ，Ｓφを算出する（ステップＳ２６０７）。
【０２９７】
そして、速度判定部５１４により、算出された差分Ｓθ，Ｓφの少なくともいずれか一方が閾値Ｓ以上となるか否かを判断して、サッカードが発生したか否かを判定する（ステップＳ２６０８）。ここで、サッカードが発生していない場合（ステップＳ２６０８：Ｎｏ）、図２７に示すステップＳ２６１９に移行する。
【０２９８】
一方、サッカードが発生した場合（ステップＳ２６０８：Ｙｅｓ）、決定部５０４により、表示画像ＳＰの中から注視点Ｗを決定する注視点決定処理を実行する（ステップＳ２６０９）。そして、視線算出部５０２により、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２を算出して（ステップＳ２６１０）、図２７に示すステップＳ２６１１に移行する。
【０２９９】
つぎに、図２７のフローチャートにおいて、関連付け部５０８により、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とを関連付けて（ステップＳ２６１１）、ベクトルペアテーブル８００に登録する（ステップＳ２６１２）。ただし、第１の視線ベクトルＶ１は、ステップＳ２６０２において算出された第１の視線ベクトルＶ１、または、ステップＳ２６０４において補正された補正後の第１の視線ベクトルＶ１である。第２の視線ベクトルＶ２は、ステップＳ２６１０において算出された第２の視線ベクトルＶ２である。
【０３００】
このあと、誤差算出部５１２により、上記式（７）〜（９）を用いて、関連付けられた第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差を表す誤差ベクトルεを算出する（ステップＳ２６１３）。そして、誤差判定部５１３により、算出された誤差ベクトルεの各値εθ，εφが閾値ε0未満となるか否かを判定する（ステップＳ２６１４）。
【０３０１】
ここで、誤差ベクトルεの各値εθ，εφが閾値ε0未満となる場合（ステップＳ２６１４：Ｙｅｓ）、本フローチャートによる一連の処理を終了する。一方、各値εθ，εφが閾値ε0未満とならない場合（ステップＳ２６１４：Ｎｏ）、補正値算出部５０９により、ベクトルペアテーブル８００を参照して、ベクトルペアＰｊが２組以上あるか否かを判断する（ステップＳ２６１５）。
【０３０２】
ここで、ベクトルペアＰｊが２組未満の場合（ステップＳ２６１５：Ｎｏ）、ステップＳ２６１９に移行する。一方、ベクトルペアＰｊが２組以上の場合（ステップＳ２６１５：Ｙｅｓ）、補正値算出部５０９により、被写体に固有のパラメータω1〜ω4の値を算出する（ステップＳ２６１６）。
【０３０３】
なお、ベクトルペアＰｊが２組の場合、補正値算出部５０９が、たとえば、上記式（１３）および（１４）を用いて、パラメータω1〜ω4の値を算出することにしてもよい。また、ベクトルペアＰｊが３組以上の場合、補正値算出部５０９が、たとえば、上記式（１５）〜（２０）を用いて、パラメータω1〜ω4の値を算出することにしてもよい。
【０３０４】
このあと、補正値算出部５０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル９００に登録して、パラメータテーブル９００の記憶内容を更新する（ステップＳ２６１７）。そして、補正部５１０により、パラメータテーブル９００内のパラメータω1〜ω4の値を用いて、第１の視線ベクトルＶ１を補正する（ステップＳ２６１８）。
【０３０５】
つぎに、第２の位置算出部５１１により、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の被写体の視線位置ＲＰを算出する（ステップＳ２６１９）。そして、出力部５１５により、表示画像ＳＰと被写体の視線位置ＲＰとを関連付けて表す視線検出結果Ｒを出力して（ステップＳ２６２０）、図２６に示したステップＳ２６０１に戻る。
【０３０６】
これにより、被写体の視線検出中に、被写体に意識させることなく補正値（パラメータω1〜ω4の値）を算出することができる。また、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを検出することができる。
【０３０７】
なお、ステップＳ２６０１において、表示画像ＳＰおよび眼球画像ＥＰが一定時間継続して取得されなかった場合は、各種テーブル８００，９００，１０００等の記憶内容を初期化することにしてもよい。これにより、カメラ２１２の撮影対象となる被写体が変わった場合に、新たな被写体に固有の補正値を算出してキャリブレーションを行うことができる。
【０３０８】
つぎに、図２６に示したステップＳ２６０９の注視点決定処理の具体的処理手順について説明する。図２８は、注視点決定処理の具体的処理手順の一例を示すフローチャートである。
【０３０９】
図２８のフローチャートにおいて、まず、第１の位置算出部５０６により、第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ２８０１）。つぎに、抽出部５０７により、表示画像ＳＰの中から仮の視線位置ＶＰを含む所定範囲の画像を抽出する（ステップＳ２８０２）。
【０３１０】
そして、特徴量算出部５０３により、所定範囲の画像上の領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ２８０３）。具体的には、たとえば、特徴量算出部５０３が、所定範囲の画像に関する顕著度マップＭを作成することにより、領域Ａ１〜Ａｎごとの顕著度を特徴量Ｃ１〜Ｃｎとして算出する。
【０３１１】
このあと、領域特定部５０５により、複数のＡ１〜Ａｎの中から、特徴量が最大となる領域Ａmaxを特定する（ステップＳ２８０４）。そして、決定部５０４により、特定された領域Ａmaxが複数存在するか否かを判断する（ステップＳ２８０５）。
【０３１２】
ここで、特定された領域Ａmaxが一つの場合（ステップＳ２８０５：Ｎｏ）、決定部５０４により、特定された領域Ａmaxを注視点Ｗに決定して（ステップＳ２８０６）、図２６に示したステップＳ２６１０に移行する。
【０３１３】
一方、ステップＳ２８０５において、特定された領域Ａmaxが複数存在する場合（ステップＳ２８０５：Ｙｅｓ）、領域特定部５０５により、上記式（２）を用いて、各領域Ａmax［ｋ］と仮の視線位置ＶＰとの距離ｄ［ｋ］を算出する（ステップＳ２８０７）。つぎに、領域特定部５０５により、複数の領域Ａmax［１］〜Ａmax［Ｋ］の中から、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］を特定する（ステップＳ２８０８）。
【０３１４】
そして、決定部５０４により、特定された最近傍の領域Ａmax［ｋ］が複数存在するか否かを判断する（ステップＳ２８０９）。ここで、特定された最近傍の領域Ａmax［ｋ］が複数存在する場合（ステップＳ２８０９：Ｙｅｓ）、図２７に示したステップＳ２６１９に移行する。
【０３１５】
一方、特定された最近傍の領域Ａmax［ｋ］が一つの場合（ステップＳ２８０９：Ｎｏ）、決定部５０４により、特定された最近傍の領域Ａmax［ｋ］を注視点Ｗに決定して（ステップＳ２８１０）、図２６に示したステップＳ２６１０に移行する。
【０３１６】
これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを決定することができる。
【０３１７】
以上説明したように、実施の形態２にかかる視線検出装置２００によれば、表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを決定することができる。
【０３１８】
また、視線検出装置２００によれば、眼球画像ＥＰに基づく第１の視線ベクトルＶ１を、被写体の眼球から注視点Ｗに向かう第２の視線ベクトルＶ２に略一致させるための被写体に固有の補正値を算出することができる。これにより、対象者の視線検出中に、対象者に意識させることなく補正値（パラメータω1〜ω4の値）を算出することができる。
【０３１９】
また、視線検出装置２００によれば、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１を補正（キャリブレーション）することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを検出することができる。
【０３２０】
また、視線検出装置２００によれば、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との複数のベクトルペアＰｊを用いて統計的に補正値を算出することができる。これにより、被写体に固有の補正値を精度よく求めることができ、キャリブレーションでの補正精度を向上させることができる。
【０３２１】
また、視線検出装置２００によれば、既に算出済みの補正値を用いて補正された補正後の第１の視線ベクトルＶ１に基づいて、新たな補正値を算出することができる。これにより、被写体の個人差にともなう誤差が補正された第１の視線ベクトルＶ１を用いて補正値を再計算することができ、被写体に固有の補正値の算出精度を向上させることができる。
【０３２２】
また、視線検出装置２００によれば、複数の領域Ａ１〜Ａｎのうち特徴量が最大となる領域Ａmaxを注視点Ｗに決定することができる。これにより、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい領域Ａmaxを注視点Ｗに決定することができる。
【０３２３】
また、視線検出装置２００によれば、特徴量が最大となる複数の領域Ａmax［１］〜Ａmax［Ｋ］のうち、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］を注視点Ｗに決定することができる。これにより、仮の視線位置ＶＰに最も近く、人の視線が最も向きやすい領域Ａmax［ｋ］を注視点Ｗに決定することができる。
【０３２４】
また、視線検出装置２００によれば、仮の視線位置ＶＰの最近傍に位置する領域Ａmax［ｋ］が複数存在すると判定された場合、表示画像ＳＰ上の注視点Ｗを決定しないことにすることができる。これにより、注視点Ｗの候補となる点が複数存在し、注視点Ｗを一意に決定することができない場合は、表示画像ＳＰ上の注視点Ｗを未決定とすることができる。
【０３２５】
また、視線検出装置２００によれば、表示画像ＳＰから仮の視線位置ＶＰを含む所定範囲の画像を抽出し、所定範囲の画像上の領域Ａ［１］〜Ａ［ｎ］ごとの特徴量Ｃ［１］〜Ｃ［ｎ］を算出することができる。これにより、表示画像ＳＰにおいて仮の視線位置ＶＰから離れすぎているために注視点Ｗとなる可能性が低い領域Ａｉを、注視点Ｗの候補から排除することができる。また、特徴量Ｃｉの算出対象となる領域数が少なくなるため、特徴量Ｃｉの算出処理にかかる負荷を軽減させることができる。
【０３２６】
また、視線検出装置２００によれば、表示画像ＳＰの顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ２１１に表示中の表示画像ＳＰ上の領域Ａ１〜Ａｎの中から、被写体の注視点Ｗを高精度に決定することができる。
【０３２７】
また、視線検出装置２００によれば、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差ベクトルεの各値εθ，εφが閾値ε0以上の場合、被写体に固有の補正値を算出することができる。これにより、既に算出済みのパラメータω1〜ω4の値を用いて補正された補正後の第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との誤差が十分小さくなったら、パラメータω1〜ω4の値の更新を停止することができる。
【０３２８】
また、視線検出装置２００によれば、時系列に連続する一対の第１の視線ベクトルＶ１に基づいて、サッカードの発生を判定することができる。これにより、サッカードが発生していない場合は、特徴量Ｃ１〜Ｃｎの算出処理を抑制し、パラメータω1〜ω4の値の算出にかかる一連の処理の効率化を図ることができる。
【０３２９】
これらのことから、視線検出装置２００によれば、対象者の視線検出中に、対象者に意識させることなくキャリブレーションを行うことが可能となり、対象者の個人差にともなう誤差を補正した視線を検出することができる。
【０３３０】
また、視線検出装置２００を、たとえば、デジタルサイネージを利用した広告システムに適用することにより、対象者が見ている広告の内容を正確に特定することができる。この結果、対象者が見ている内容に関連する詳細情報をさらに表示するなどして、より効果的な宣伝広告を行うことができる。
【０３３１】
また、視線検出装置２００を、たとえば、ｅラーニングを利用した学習システムに適用することにより、対象者が読み飛ばした部分を顕著に表示するなどして、リアルタイムに対象者の学習をサポートすることができる。
【０３３２】
また、視線検出装置２００を、たとえば、パーソナル・コンピュータに適用することにより、ユーザが見たウェブサイト上のバナー広告などを特定することができる。これにより、ユーザに意識させることなく、ウェブサイト上のバナー広告などの閲覧回数を調査することが可能となる。
【０３３３】
また、視線検出装置２００を、たとえば、飛行機のフライトシミュレータに適用することにより、熟練パイロットや訓練生の視線を正確に検出することができる。これにより、たとえば、パイロット養成において、熟練パイロットの視線と訓練生の視線とを比較して、訓練生に的確なアドバイスを行うことができる。
【０３３４】
なお、本実施の形態で説明した補正値算出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本補正値算出プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本補正値算出プログラムは、インターネット等のネットワークを介して配布してもよい。
【０３３５】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０３３６】
（付記１）被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得部と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記取得部によって取得された第１の視線ベクトルと、前記眼から前記決定部によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【０３３７】
（付記２）前記決定部によって前記注視点が決定されるごとに、前記取得部によって取得された第１の視線ベクトルと前記眼から前記注視点に向かう第２の視線ベクトルとを関連付ける関連付け部をさらに備え、
前記補正値算出部は、
前記関連付け部によって関連付けられた第１の視線ベクトルと第２の視線ベクトルとの複数の組み合わせに基づいて、前記補正値を算出することを特徴とする付記１に記載の補正値算出装置。
【０３３８】
（付記３）前記補正値算出部によって算出された前記補正値を用いて、前記第１の視線ベクトルを補正する補正部と、
前記補正部によって補正された補正後の前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出する位置算出部をさらに備えることを特徴とする付記１または２に記載の補正値算出装置。
【０３３９】
（付記４）前記補正部は、
前記取得部によって前記第１の視線ベクトルが取得されたときに、前記補正値算出部によって前記補正値が算出されている場合、当該補正値を用いて前記第１の視線ベクトルを補正し、
前記補正値算出部は、
前記補正部によって補正された補正後の前記第１の視線ベクトルと、前記第２の視線ベクトルとに基づいて、前記補正値を算出することを特徴とする付記１〜３のいずれか一つに記載の補正値算出装置。
【０３４０】
（付記５）前記決定部は、
前記複数の領域のうち、前記特徴量が最大となる領域を前記注視点に決定することを特徴とする付記１〜４のいずれか一つに記載の補正値算出装置。
【０３４１】
（付記６）前記位置算出部は、
前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出し、
前記決定部は、
前記複数の領域のうち、前記位置算出部によって算出された前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域を前記注視点に決定することを特徴とする付記５に記載の補正値算出装置。
【０３４２】
（付記７）前記決定部は、
前記複数の領域のうち、前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域が複数存在する場合、前記注視点を決定しないことを特徴とする付記６に記載の補正値算出装置。
【０３４３】
（付記８）前記表示画像の中から、前記表示画像上の視線位置を含む所定範囲の画像を抽出する抽出部をさらに備え、
前記特徴量算出部は、
前記抽出部によって抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することを特徴とする付記１〜７のいずれか一つに記載の補正値算出装置。
【０３４４】
（付記９）前記特徴量算出部は、
前記表示画像に含まれる画素の色ごとの輝度に基づいて、前記領域ごとの特徴を強調して表す特徴量を算出することを特徴とする付記１〜８のいずれか一つに記載の補正値算出装置。
【０３４５】
（付記１０）前記第１の視線ベクトルと前記第２の視線ベクトルとの誤差を算出する誤差算出部と、
前記誤差算出部によって算出された誤差が所定の閾値未満か否かを判定する誤差判定部と、をさらに備え、
前記補正値算出部は、
前記誤差判定部によって前記誤差が所定の閾値以上と判定された場合、前記補正値を算出することを特徴とする付記１〜９のいずれか一つに記載の補正値算出装置。
【０３４６】
（付記１１）前記取得部によって取得された時系列に連続する第１の視線ベクトルに基づいて、前記被写体の視線の移動速度が所定の速度以上か否かを判定する速度判定部をさらに備え、
前記特徴量算出部は、
前記速度判定部によって判定された判定結果に基づいて、前記特徴量を算出することを特徴とする付記１〜１０のいずれか一つに記載の補正値算出装置。
【０３４７】
（付記１２）前記眼の撮影画像に基づいて、前記眼から前記画面に向かう第１の視線ベクトルを算出する視線算出部をさらに備え、
前記取得部は、
前記視線算出部によって算出された第１の視線ベクトルを取得することを特徴とする付記１〜１１のいずれか一つに記載の補正値算出装置。
【０３４８】
（付記１３）コンピュータが、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行することを特徴とする補正値算出方法。
【０３４９】
（付記１４）コンピュータに、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行させることを特徴とする補正値算出プログラム。
【符号の説明】
【０３５０】
１００ システム
１０１ 補正値算出装置
１０２，２００ 視線検出装置
１０３ 表示装置
１０４ 撮影装置
１０５ 画面
１２０ 被写体
１２１ 眼球
５０１ 取得部
５０２ 視線算出部
５０３ 特徴量算出部
５０４ 決定部
５０５ 領域特定部
５０６ 第１の位置算出部
５０７ 抽出部
５０８ 関連付け部
５０９ 補正値算出部
５１０ 補正部
５１１ 第２の位置算出部
５１２ 誤差算出部
５１３ 誤差判定部
５１４ 速度判定部
５１５ 出力部
【特許請求の範囲】
【請求項１】
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得部と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記取得部によって取得された第１の視線ベクトルと、前記眼から前記決定部によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【請求項２】
前記決定部によって前記注視点が決定されるごとに、前記取得部によって取得された第１の視線ベクトルと前記眼から前記注視点に向かう第２の視線ベクトルとを関連付ける関連付け部をさらに備え、
前記補正値算出部は、
前記関連付け部によって関連付けられた第１の視線ベクトルと第２の視線ベクトルとの複数の組み合わせに基づいて、前記補正値を算出することを特徴とする請求項１に記載の補正値算出装置。
【請求項３】
前記補正値算出部によって算出された前記補正値を用いて、前記第１の視線ベクトルを補正する補正部と、
前記補正部によって補正された補正後の前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出する位置算出部をさらに備えることを特徴とする請求項１または２に記載の補正値算出装置。
【請求項４】
前記位置算出部は、
前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出し、
前記決定部は、
前記複数の領域のうち、前記位置算出部によって算出された前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域を前記注視点に決定することを特徴とする請求項３に記載の補正値算出装置。
【請求項５】
前記表示画像の中から、前記表示画像上の視線位置を含む所定範囲の画像を抽出する抽出部をさらに備え、
前記特徴量算出部は、
前記抽出部によって抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することを特徴とする請求項１〜４のいずれか一つに記載の補正値算出装置。
【請求項６】
コンピュータが、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行することを特徴とする補正値算出方法。
【請求項７】
コンピュータに、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行させることを特徴とする補正値算出プログラム。
【請求項１】
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得部と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記取得部によって取得された第１の視線ベクトルと、前記眼から前記決定部によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
【請求項２】
前記決定部によって前記注視点が決定されるごとに、前記取得部によって取得された第１の視線ベクトルと前記眼から前記注視点に向かう第２の視線ベクトルとを関連付ける関連付け部をさらに備え、
前記補正値算出部は、
前記関連付け部によって関連付けられた第１の視線ベクトルと第２の視線ベクトルとの複数の組み合わせに基づいて、前記補正値を算出することを特徴とする請求項１に記載の補正値算出装置。
【請求項３】
前記補正値算出部によって算出された前記補正値を用いて、前記第１の視線ベクトルを補正する補正部と、
前記補正部によって補正された補正後の前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出する位置算出部をさらに備えることを特徴とする請求項１または２に記載の補正値算出装置。
【請求項４】
前記位置算出部は、
前記第１の視線ベクトルに基づいて、前記表示画像上の視線位置を算出し、
前記決定部は、
前記複数の領域のうち、前記位置算出部によって算出された前記表示画像上の視線位置の最近傍に位置する前記特徴量が最大となる領域を前記注視点に決定することを特徴とする請求項３に記載の補正値算出装置。
【請求項５】
前記表示画像の中から、前記表示画像上の視線位置を含む所定範囲の画像を抽出する抽出部をさらに備え、
前記特徴量算出部は、
前記抽出部によって抽出された所定範囲の画像上の領域ごとの特徴を抽出した特徴量を算出することを特徴とする請求項１〜４のいずれか一つに記載の補正値算出装置。
【請求項６】
コンピュータが、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行することを特徴とする補正値算出方法。
【請求項７】
コンピュータに、
被写体の眼の撮影画像に基づく前記眼から表示装置の画面に向かう第１の視線ベクトルを取得する取得工程と、
前記画面の表示画像に含まれる画素の画素値に基づいて、前記表示画像上の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記表示画像上の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された第１の視線ベクトルと、前記眼から前記決定工程によって決定された注視点に向かう第２の視線ベクトルとに基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
を実行させることを特徴とする補正値算出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２−１】
【図１２−２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２−１】
【図１２−２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１１−２１７７６４（Ｐ２０１１−２１７７６４Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８６３０５（Ｐ２０１０−８６３０５）
【出願日】平成２２年４月２日（２０１０．４．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月２日（２０１０．４．２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
[ Back to top ]