注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体
【課題】虹彩中心位置を検出したり、眼球中心の投影位置を推定したりすることなく、ユーザの注視位置を推定することが可能な注視位置推定システムを提供すること。
【解決手段】撮影部１７は、表示手段に表示される画面を見るユーザの顔を撮影する。領域検出部３２は、ユーザの顔領域と、ユーザの目以外の所定部位領域と、の少なくとも一方と、ユーザの目領域と、を撮影部１７の撮影画像から検出する。面積／位置情報取得部６０は、目領域の面積情報及び位置情報と、顔領域と所定部位領域との少なくとも一方の面積情報及び位置情報と、を取得する。注視位置推定部６２は、面積／位置情報取得部６０によって取得された面積情報及び位置情報に基づいて、ユーザが注視している画面内の位置を推定する。
【解決手段】撮影部１７は、表示手段に表示される画面を見るユーザの顔を撮影する。領域検出部３２は、ユーザの顔領域と、ユーザの目以外の所定部位領域と、の少なくとも一方と、ユーザの目領域と、を撮影部１７の撮影画像から検出する。面積／位置情報取得部６０は、目領域の面積情報及び位置情報と、顔領域と所定部位領域との少なくとも一方の面積情報及び位置情報と、を取得する。注視位置推定部６２は、面積／位置情報取得部６０によって取得された面積情報及び位置情報に基づいて、ユーザが注視している画面内の位置を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体に関する。
【背景技術】
【０００２】
一つのカメラによって撮影されたユーザの顔の画像に基づいて、ユーザが注視している位置を推定する技術が提案されている。例えば、特許文献１には、一つのカメラによって撮影された画像からユーザの虹彩中心位置を検出し、さらに、該画像からユーザの眼球中心の投影位置を推定し、それらの虹彩中心位置と眼球中心の投影位置とに基づいてユーザの視線方向を推定することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９０７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術では、ユーザの虹彩中心位置を検出したり、ユーザの眼球中心の投影位置を推定したりする必要がある。虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするためには処理負荷の重い処理を実行する必要があるため、ユーザの注視位置を推定するための処理の処理負荷が重くなってしまう場合がある。
【０００５】
本発明は上記課題に鑑みてなされたものであって、その目的は、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりすることなく、ユーザの注視位置を推定することが可能な注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る注視位置推定システムは、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段と、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影手段の撮影画像から検出する領域検出手段と、前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得手段と、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、を含むことを特徴とする。
【０００７】
また、本発明に係る注視位置推定システムの制御方法は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像を取得するステップと、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影画像から検出する領域検出ステップと、前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得ステップと、前記面積／位置情報取得ステップにおいて取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、を含むことを特徴とする。
【０００８】
また、本発明に係る注視位置推定装置は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段と、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、を含むことを特徴とする。
【０００９】
また、本発明に係る注視位置推定装置の制御方法は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得するステップと、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、を含むことを特徴とする。
【００１０】
また、本発明に係るプログラムは、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、としてコンピュータを機能させるためのプログラムである。
【００１１】
また、本発明に係る情報記憶媒体は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【００１２】
また、本発明の一態様では、前記ユーザが前記画面内の基準位置を見ている場合における前記目領域の面積情報及び位置情報に基づいて前記目領域の基準面積情報及び基準位置情報を取得し、かつ、前記ユーザが前記画面内の前記基準位置を見ている場合における前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報に基づいて、前記顔領域と前記所定部位領域との前記少なくとも一方の基準面積情報及び基準位置情報を取得する基準面積／位置情報取得手段を含み、前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差に基づいて、前記ユーザが注視している前記画面内の位置を推定するようにしてもよい。
【００１３】
また、本発明の一態様では、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出する手段を含み、前記注視位置推定手段は、前記移動平均に基づいて、前記ユーザが注視している前記画面内の位置を推定するようにしてもよい。
【００１４】
また、本発明の一態様では、前記領域検出手段によるいずれかの領域の検出が失敗したか否かを判定する手段と、前記領域検出手段によるいずれかの領域の検出が失敗した場合に、前記注視位置推定手段による推定の実行を抑止する手段と、を含むようにしてもよい。
【００１５】
また、本発明の一態様では、前記ユーザが注視していると前記注視位置推定手段によって推定された前記画面内の位置を示す画像を前記画面内に表示させる手段を含むようにしてもよい。
【００１６】
また、本発明の一態様では、情報処理装置を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、前記撮影手段は、前記ユーザの顔を第１の所定時間ごとに撮影し、前記撮影手段によって撮影された、前記第１の所定時間ごとの撮影画像のうちの、前記第１の所定時間よりも長い第２の所定時間ごとの撮影画像が、前記領域検出手段による検出の対象とされ、前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記第２の所定時間を設定する設定手段を含むようにしてもよい。
【００１７】
また、本発明の一態様では、情報処理装置を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、前記注視位置推定手段は、前記面積／位置情報取得手段による直近の所定数の取得結果に基づいて、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出し、前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記所定数を設定する設定手段を含むようにしてもよい。
【００１８】
また、本発明の一態様では、前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づき、１又は複数の演算式に従って演算を実行することによって、前記ユーザが注視している前記画面内の位置を推定し、前記注視位置推定システムは、前記ユーザによって指示された前記画面内の位置を取得する指示位置取得手段と、前記ユーザによって指示された前記画面内の位置と、該位置が前記ユーザによって指示された際における、前記目領域の面積情報及び位置情報と、前記顔領と前記所定部位領域との少なくとも一方の面積情報及び位置情報と、に基づいて、前記１又は複数の演算式に含まれる定数又は／及び係数を補正する補正手段と、を含むようにしてもよい。
【００１９】
また、本発明の一態様では、前記領域検出手段は、前記ユーザの顔領域と、前記ユーザの両目領域と、前記ユーザの左目領域と、前記ユーザの右目領域と、前記ユーザの鼻領域と、前記ユーザの口領域と、を前記撮影画像から検出し、前記面積／位置情報取得手段は、前記顔領域と、前記両目領域と、前記左目領域と、前記右目領域と、前記鼻領域と、前記口領域との各々の面積情報及び位置情報を取得するようにしてもよい。
【００２０】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記撮影画像を前記サーバに送信する手段を含み、前記サーバ装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含むようにしてもよい。
【００２１】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段と、前記領域検出手段の検出結果を前記サーバ装置に送信する手段と、を含み、前記サーバ装置は前記面積／位置情報取得手段及び前記注視位置推定手段を含むようにしてもよい。
【００２２】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段及び前記面積／位置情報取得手段と、前記面積／位置情報取得手段によって取得された面積情報及び位置情報を前記サーバ装置に送信する手段と、を含み、前記サーバ装置は前記注視位置推定手段を含むようにしてもよい。
【００２３】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段と、前記注視位置推定手段による推定結果に関する注視位置データを前記サーバ装置に送信する手段と、を含み、前記サーバ装置は、前記注視位置データを受信する手段と、前記注視位置データに基づいて、前記ユーザが注視している前記画面内の位置に関する集計処理を実行する手段と、を含むようにしてもよい。
【発明の効果】
【００２４】
本発明によれば、例えば、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりすることなく、ユーザの注視位置を推定することが可能になる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る注視位置推定システムの構成の一例を示す図である。
【図２】情報処理装置の外観を示す図である。
【図３】表示部に表示される画面の一例を示す図である。
【図４】注視位置推定システムの機能ブロック図である。
【図５】初期設定画面の一例を示す図である。
【図６】撮影部の撮影画像の一例を示す模式図である。
【図７】領域検出部の動作について説明するための図である。
【図８】基準面積／位置情報記憶部の記憶内容の一例を示す図である。
【図９】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１０】注視位置推定システムの機能ブロック図である。
【図１１】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１２】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１３】主成分スコアを算出するための演算式を示す図である。
【図１４】ユーザの注視位置を算出するための演算式を示す図である。
【図１５】主成分スコアを算出するための演算式や、ユーザの注視位置を算出するための演算式の決定方法の一例を説明するための図である。
【図１６】注視位置推定システムの機能ブロック図である。
【図１７】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１８】対応関係情報の一例を示す図である。
【図１９】対応関係情報の他の一例を示す図である。
【図２０】注視位置推定システムの機能ブロック図である。
【図２１】補正データ記憶部の記憶内容の一例を示す図である。
【図２２】注視位置推定システムの構成の他の一例を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００２７】
［第１実施形態］まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る注視位置推定システムの構成を示す。図１に示すように、注視位置推定システム１は情報処理装置１０（注視位置推定装置）を含んで構成される。図２は情報処理装置１０の外観の一例を示す。なお、図２に示す情報処理装置１０はラップトップ型のコンピュータであるが、情報処理装置１０はラップトップ型のコンピュータに限られるわけではない。情報処理装置１０は、例えば、デスクトップ型のコンピュータ、タブレット型のコンピュータ、又はスマートフォン等であってもよい。
【００２８】
情報処理装置１０は制御部１１、主記憶部１２、補助記憶部１３、光ディスクドライブ部１４、通信インタフェース１５、操作部１６、撮影部１７、表示部１８、及び音声出力部１９を含む。
【００２９】
制御部１１は例えば１又は複数のマイクロプロセッサを含み、補助記憶部１３に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。主記憶部１２は例えばＲＡＭであり、補助記憶部１３は例えばハードディスク又はソリッドステートドライブである。光ディスクドライブ部１４は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。
【００３０】
プログラムやデータは光ディスクを介して補助記憶部１３に供給される。すなわち、プログラムやデータが記憶された光ディスクが光ディスクドライブ部１４に装着され、プログラムやデータが光ディスクドライブ部１４によって光ディスクから読み出され、補助記憶部１３に記憶される。なお、光ディスクドライブ部１４は必須の構成要素ではない。光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が光ディスクドライブ部１４の代わりに含まれるようにしてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが補助記憶部１３に供給されるようにしてもよい。
【００３１】
通信インタフェース１５は情報処理装置１０を通信ネットワークに接続するためのインタフェースである。情報処理装置１０は通信ネットワークを介して他の装置（例えばサーバ装置等）とデータを授受できるようになっている。なお、プログラム及びデータが通信ネットワークを介して補助記憶部１３に供給されるようにしてもよい。
【００３２】
操作部１６はユーザが操作を行うためのものである。本実施形態の場合、情報処理装置１０は、キーボード１６Ａ、タッチパッド１６Ｂ、及びマウス１６Ｃを操作部１６として備えている。タッチパッド１６Ｂ及びマウス１６Ｃは、表示部１８に表示される画面内の位置をユーザが指示するためのポインティングデバイスである。なお、情報処理装置１０は、スティック（レバー）、又は表示部１８の上に重ねて設けられるタッチパネル等を備えるようにしてもよい。
【００３３】
撮影部１７は公知のデジタルカメラを含んで構成される。撮影部１７は、表示部１８に表示される画面を見るユーザの顔を撮影可能な位置に設けられており、撮影部１７は、表示部１８に表示される画面を見るユーザの顔を撮影するために用いられる。図２に示す例では、レンズをユーザに向けた状態で表示部１８の上に撮影部１７が設けられている。撮影部１７による撮影は所定時間（例えば１／３０秒）ごとに行われる。すなわち、１秒ごとのフレーム数が所定数（例えば３０）である動画が撮影部１７によって撮影される。撮影部１７によって撮影された動画は補助記憶部１３に保存される。
【００３４】
表示部１８は例えば液晶表示ディスプレイ等であり、音声出力部１９は例えばスピーカ又はヘッドホン端子等である。表示部１８には各種プログラムによって各種画面が表示される。
【００３５】
例えば、情報処理装置１０でＷｅｂブラウザが実行された場合には、処理要求（ＨＴＴＰリクエスト）がＷｅｂブラウザによってＷｅｂサーバ装置に送信される。この場合、上記の処理要求に対応するページデータ（ＨＴＴＰレスポンス）がＷｅｂサーバ装置から情報処理装置１０に返信され、このページデータに基づいてＷｅｂページ（画面）が表示部１８に表示される。
【００３６】
図３は表示部１８に表示される画面の一例を示す。図３は、商品やサービスを通信ネットワークを介して購入可能な電子商取引サイト（仮想商店街サイト）にアクセスした場合に表示部１８に表示されるＷｅｂページの一例を示している。具体的には、キーワードとして「バッグ」が指定された場合に表示される商品一覧ページの一例を図３は示している。
【００３７】
図３に示すように、商品一覧ページはキーワード欄２０、検索ボタン２２、及び一覧領域２４を含んでいる。キーワード欄２０にはユーザによって指定されたキーワードが表示される。なお、キーワード欄２０及び検索ボタン２２は商品の一覧を絞り込むために使用される。
【００３８】
一覧領域２４には、ユーザによって指定されたキーワードに関連する商品の一覧が表示される。例えば、商品の名称及び価格や商品を販売している店舗が一覧領域２４に表示される。なお、一覧領域２４では、商品名がリンクボタンになっており、商品を購入するための商品ページへのリンク情報（ＵＲＬ）が商品名に関連づけられている。ユーザが商品名をクリックすると、商品ページが表示部１８に表示される。
【００３９】
また、商品一覧ページには店舗又は商品の広告２６が表示される。広告２６はリンクボタンになっており、店舗ページ又は商品ページへのリンク情報（ＵＲＬ）が広告２６に関連づけられている。広告２６がクリックされると、店舗ページ又は商品ページが表示部１８に表示される。
【００４０】
ところで、例えば図３に示すような商品一覧ページが表示部１８に表示されている場合にユーザが画面（商品一覧ページ）内のどの位置を見ていたのかを取得することができれば、ユーザの目にとまってほしい情報（例えば広告２６）の表示位置を見直す際の判断材料として用いることができる。
【００４１】
この点、注視位置推定システム１は、ユーザが注視している画面（言い換えれば、表示部１８の表示領域）内の位置を撮影部１７の撮影画像に基づいて推定するようになっている。より具体的には、注視位置推定システム１は、撮影画像におけるユーザの目領域、顔領域、目以外の部位領域の面積や位置に基づいて、ユーザの注視位置を推定するようになっている。以下、ユーザの注視位置を推定するための構成について詳しく説明する。
【００４２】
注視位置推定システム１では、ユーザの注視位置の推定を実行するのに先だって初期設定を実行する必要がある。そこで、まず、初期設定のための構成について説明する。
【００４３】
図４は、注視位置推定システム１で実現される機能ブロックのうち、初期設定のための機能ブロックを示す機能ブロック図である。図４に示すように、注視位置推定システム１は、初期設定のための機能ブロックとして、基準面積／位置情報記憶部３０、領域検出部３２、基準面積／位置情報取得部３４を含んでいる。基準面積／位置情報記憶部３０は例えば補助記憶部１３によって実現される。また、領域検出部３２、及び基準面積／位置情報取得部３４は例えば制御部１１によって実現される。すなわち、制御部１１がプログラムに従って処理を実行することによって、制御部１１がそれらの機能ブロックとして機能するようになる。
【００４４】
初期設定を行う場合には初期設定画面が表示部１８に表示される。図５は初期設定画面の一例を示す。図５に示す初期設定画面にはマーカー４０及びメッセージ４２が表示されている。マーカー４０はユーザが注視すべき画面内の位置を示している。図５に示す例では、画面の中心点が「ユーザが注視すべき画面内の位置」として設定されている。なお、中心点以外の位置が「ユーザが注視すべき画面内の位置」として設定されるようにしてもよい。メッセージ４２の内容は、上記の位置を見るようにユーザに要求する内容になっている。
【００４５】
初期設定では、上記の初期設定画面が表示されることによって、画面の中心点を見ているユーザの顔の画像が撮影部１７によって撮影され、補助記憶部１３に保存されることになる。図６は撮影部１７の撮影画像の一例を示す模式図である。
【００４６】
領域検出部３２について説明する。図７は領域検出部３２の動作について説明するための図である。
【００４７】
領域検出部３２は、ユーザの目に対応する目領域を撮影画像から検出する。ここで、「目領域」とは、例えば、ユーザの両目に対応する両目領域５２と、ユーザの左目に対応する左目領域５２Ｌと、ユーザの右目に対応する右目領域５２Ｒと、の少なくとも一つである。
【００４８】
図７に示す例の場合、両目領域５２はユーザの両目に対応する矩形領域である。また、左目領域５２Ｌはユーザの左目に対応する矩形領域であり、右目領域５２Ｒはユーザの右目に対応する矩形領域である。なお、図７に示す例の場合、両目領域５２、左目領域５２Ｌ、及び右目領域５２Ｒが矩形領域になっているが、これらの領域は矩形以外の形状の領域であってもよい。
【００４９】
また、領域検出部３２は、ユーザの顔に対応する顔領域と、ユーザの顔にある部位のうちの目以外の所定部位に対応する所定部位領域と、の少なくとも一方を撮影画像から検出する。ここで、「目以外の所定部位」とは、例えば鼻、口、又は耳等である。
【００５０】
図７に示す例の場合、顔領域５０はユーザの顔に対応する矩形領域である。また、鼻領域５４はユーザの鼻に対応する矩形領域であり、口領域５６はユーザの口に対応する矩形領域である。図７に示す例の場合、鼻領域５４及び口領域５６の少なくとも一方が上記の「所定部位領域」に相当する。なお、図７に示す例の場合、顔領域５０、鼻領域５４、及び口領域５６が矩形領域になっているが、これらの領域は矩形以外の形状であってもよい。
【００５１】
なお以下では、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６が領域検出部３２によって検出されることとして説明する。
【００５２】
領域検出部３２は、公知の画像認識アルゴリズムに基づいて、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する。「画像認識アルゴリズム」としては、例えば、ＯｐｅｎＣＶを用いた顔認識アルゴリズムが用いられる。
【００５３】
基準面積／位置情報取得部３４について説明する。基準面積／位置情報取得部３４は、目領域の基準面積情報及び基準位置情報を取得する。具体的には、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される目領域の面積情報及び位置情報に基づいて、目領域の基準面積情報及び基準位置情報を取得する。なお、本実施形態の場合、初期設定画面においてユーザが見るように要求されている位置（例えば中心点）が「基準位置」に相当する。
【００５４】
また、基準面積／位置情報取得部３４は、顔領域と所定部位領域との少なくとも一方の基準面積情報及び基準位置情報を取得する。具体的には、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される顔領域の面積情報及び位置情報に基づいて、顔領域の基準面積情報及び基準位置情報を取得する。また、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される所定部位領域の面積情報及び位置情報に基づいて、所定部位領域の基準面積情報及び基準位置情報を取得する。なお上述したように、「所定部位領域」とは、ユーザの顔にある部位のうちの目以外の所定部位に対応する領域である。
【００５５】
本実施形態の場合、基準面積／位置情報取得部３４は下記の情報を取得する。
（１）顔領域５０の基準面積
（２）顔領域５０の代表点の基準Ｘ座標及び基準Ｙ座標
（３）両目領域５２の基準面積
（４）両目領域５２の代表点の基準Ｘ座標及び基準Ｙ座標
（５）左目領域５２Ｌの基準面積
（６）左目領域５２Ｌの代表点の基準Ｘ座標及び基準Ｙ座標
（７）右目領域５２Ｒの基準面積
（８）右目領域５２Ｒの代表点の基準Ｘ座標及び基準Ｙ座標
（９）鼻領域５４の基準面積
（１０）鼻領域５４の代表点の基準Ｘ座標及び基準Ｙ座標
（１１）口領域５６の基準面積
（１２）口領域５６の代表点の基準Ｘ座標及び基準Ｙ座標
【００５６】
ここで、「代表点」とは例えば領域の中心点である。なお、領域が矩形領域である場合、「代表点」は矩形領域のいずれかの頂点（例えば左上頂点）であってもよい。また、「代表点」の位置はＸＹ座標系によって表される。なお、ＸＹ座標系は、例えば撮影画像の左上頂点を原点Ｏとし、右方向をＸ軸正方向とし、下方向をＹ軸正方向とする座標系である（図７参照）。
【００５７】
例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の面積に基づいて、顔領域５０の基準面積を取得する。例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の面積を、顔領域５０の基準面積として取得する。あるいは、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の複数の撮影画像の各々から検出される顔領域５０の面積の統計値（例えば平均値）を、顔領域５０の基準面積として取得する。
【００５８】
また、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の代表点のＸ座標及びＹ座標に基づいて、顔領域５０の基準Ｘ座標及び基準Ｙ座標を取得する。例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出される顔領域５０の代表点のＸ座標及びＹ座標を、顔領域５０の基準Ｘ座標及び基準Ｙ座標として取得する。あるいは、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の複数の撮影画像の各々から検出される顔領域５０の代表点のＸ座標の統計値（例えば平均値）を、顔領域５０の基準Ｘ座標として取得する。また、基準面積／位置情報取得部３４は、それら複数の撮影画像の各々から検出される顔領域５０の代表点のＹ座標の統計値（例えば平均値）を、顔領域５０の基準Ｙ座標として取得する。
【００５９】
基準面積／位置情報取得部３４は、顔領域５０以外の領域の基準面積、基準Ｘ座標、及び基準Ｙ座標も顔領域５０と同様にして取得する。
【００６０】
基準面積／位置情報記憶部３０は、基準面積／位置情報取得部３４によって取得された基準面積情報及び基準位置情報を記憶する。図８は基準面積／位置情報記憶部３０の記憶内容の一例を示している。図８に示すように、基準面積／位置情報記憶部３０は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積、基準Ｘ座標、及び基準Ｙ座標を記憶する。
【００６１】
ここで、以上に説明した領域検出部３２及び基準面積／位置情報取得部３４を実現するために注視位置推定システム１で実行される処理について説明しておく。図９は該処理の一例を示すフロー図である。制御部１１がプログラムに従って図９に示す処理を実行することによって、制御部１１が領域検出部３２及び基準面積／位置情報取得部３４として機能するようになる。
【００６２】
図９に示す処理は、初期設定画面が所定時間にわたって表示された後に事後的に実行される。図９に示す処理は、補助記憶部１３に保存された動画データ（初期設定画面内の中心点を見るユーザの顔を撮影してなる動画データ）に基づいて実行される。
【００６３】
図９に示すように、制御部１１は動画データから１フレーム分の撮影画像を取得する（Ｓ１０１）。なお、初期設定画面が表示されてから、ユーザがメッセージ４２を認識して初期設定画面の中心点（マーカー４０）を見つめるまでには一定の時間が要されるため、制御部１１はその期間内の撮影画像を無視し、該期間後の撮影画像を取得する。
【００６４】
その後、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ１０２）。例えば、制御部１１はＯｐｅｎＣＶを用いた顔認識アルゴリズムに基づいて上記の各領域を検出する。
【００６５】
そして、制御部１１は、少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ１０３）。少なくとも一つの領域の検出に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ１０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ１０４）。すなわち、制御部１１は、ステップＳ１０２で検出された各領域の面積と、ステップＳ１０２で検出された各領域の代表点（例えば中心点）のＸ座標及びＹ座標と、を取得する。そして、制御部１１は、ステップＳ１０２で検出された各領域の面積情報及び位置情報を補助記憶部１３に記録する。
【００６６】
その後、制御部１１は、次のフレームの撮影画像が存在しているか否かを判定する（Ｓ１０５）。次のフレームの撮影画像が存在している場合、制御部１１は次のフレームの撮影画像を動画データから取得する（Ｓ１０６）。そして、制御部１１はステップＳ１０２の処理を再び実行する。
【００６７】
一方、次のフレームの撮影画像が存在していない場合、すなわち、現在のフレームの撮影画像が動画データのうちの最終フレームの画像である場合、制御部１１は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積情報及び基準位置情報を補助記憶部１３（基準面積／位置情報記憶部３０）に保存する（Ｓ１０７）。
【００６８】
例えば、制御部１１は、各フレームの撮影画像から検出された両目領域５２の面積の統計値（例えば平均値）を、両目領域５２の基準面積として保存する。同様に、制御部１１は、各フレームの撮影画像から検出された両目領域５２の代表点のＸ座標の統計値（例えば平均値）を、両目領域５２の基準Ｘ座標として保存する。また、制御部１１は、各フレームの撮影画像から検出された両目領域５２の代表点のＹ座標の統計値（例えば平均値）を、両目領域５２の基準Ｙ座標として保存する。制御部１１は、両目領域５２以外の領域の基準面積、基準Ｘ座標、及び基準Ｙ座標も、両目領域５２と同様にして取得する。
【００６９】
なお、ステップＳ１０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ１０４の処理を実行することなく、ステップＳ１０５の処理を実行する。すなわち、図９に示す処理では、少なくとも一つの領域の検出に失敗した場合にそのフレームの撮影画像が無視されるようになっている。
【００７０】
以上のように、初期設定では、初期設定画面の中心点をユーザが見ている場合の顔領域５０等の面積情報及び位置情報に基づいて、顔領域５０等の基準面積情報及び基準位置情報が補助記憶部１３（基準面積／位置情報記憶部３０）に保存される。以上で初期設定に関する説明を終了する。次に、ユーザの注視位置を推定する構成について説明する。
【００７１】
図１０は、注視位置推定システム１で実現される機能ブロックのうち、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図１０に示すように、注視位置推定システム１は、ユーザの注視位置を推定する機能ブロックとして、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４を含んでいる。基準面積／位置情報記憶部３０及び領域検出部３２は、図４における基準面積／位置情報記憶部３０及び領域検出部３２と同様である。面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４は例えば制御部１１によって実現される。すなわち、制御部１１がプログラムに従って処理を実行することによって、制御部１１がそれらの機能ブロックとして機能するようになる。
【００７２】
例えば、商品一覧ページが表示されている期間におけるユーザの注視位置を推定する場合には、商品一覧ページが表示されている期間において撮影部１７によって撮影された動画データに基づいて、領域検出部３２、面積／位置情報取得部６０、及び注視位置推定部６２が動作することになる。
【００７３】
領域検出部３２について説明する。上述したように、領域検出部３２は、ユーザの目に対応する目領域を撮影画像から検出する。また、領域検出部３２は、ユーザの顔に対応する顔領域と、ユーザの顔にある部位のうちの目以外の所定部位に対応する所定部位領域と、の少なくとも一方を撮影画像から検出する。
【００７４】
本実施形態の場合、領域検出部３２は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する。
【００７５】
面積／位置情報取得部６０について説明する。面積／位置情報取得部６０は、領域検出部３２によって検出された各領域の面積情報及び位置情報を取得する。例えば、面積／位置情報取得部６０は目領域の面積情報及び位置情報を取得する。また、面積／位置情報取得部６０は、顔領域及び所定部位領域の少なくとも一方の面積情報及び位置情報を取得する。
【００７６】
本実施形態の場合、面積／位置情報取得部６０は下記の情報を取得する。
（１）顔領域５０の面積
（２）顔領域５０の代表点のＸ座標及びＹ座標
（３）両目領域５２の面積
（４）両目領域５２の代表点のＸ座標及びＹ座標
（５）左目領域５２Ｌの面積
（６）左目領域５２Ｌの代表点のＸ座標及びＹ座標
（７）右目領域５２Ｒの面積
（８）右目領域５２Ｒの代表点のＸ座標及びＹ座標
（９）鼻領域５４の面積
（１０）鼻領域５４の代表点のＸ座標及びＹ座標
（１１）口領域５６の面積
（１２）口領域５６の代表点のＸ座標及びＹ座標
【００７７】
「代表点」は例えば領域の中心点である。なお、領域が矩形領域である場合、「代表点」は矩形領域のいずれかの頂点（例えば左上頂点）であってもよい。また、各領域の代表点の位置はＸＹ座標系（図７参照）によって表される。
【００７８】
注視位置推定部６２について説明する。注視位置推定部６２は、面積／位置情報取得部６０によって取得された各領域の面積情報及び位置情報に基づいて、ユーザが注視している画面内の位置を推定する。
【００７９】
例えば、注視位置推定部６２は、面積／位置情報取得部６０によって取得された各領域の面積情報及び位置情報と、基準面積／位置情報記憶部３０に記憶された各領域の基準面積情報及び基準位置情報と、の差に基づいて、ユーザの注視位置を推定する。例えば、注視位置推定部６２は、上記の差に基づき、１又は複数の演算式に従って演算を行うことによって、ユーザの注視位置を推定する。注視位置推定部６２の動作の詳細については後述する（後述の図１１及び図１２のステップＳ２０５〜Ｓ２１０参照）。
【００８０】
処理実行部６４について説明する。処理実行部６４は、注視位置推定部６２によって推定されたユーザの注視位置に基づいて、所定の処理を実行する。「所定の処理」とは、例えば、ユーザの注視位置に関する集計処理や、ユーザの注視位置の分布を示す分布データを生成する処理等である。
【００８１】
ここで、以上に説明した領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４を実現するために注視位置推定システム１で実行される処理について説明する。図１１及び図１２は該処理の一例を示すフロー図である。制御部１１がプログラムに従って図１１及び図１２に示す処理を実行することによって、制御部１１が領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４として機能する。
【００８２】
なお、図１１及び図１２に示す処理は、補助記憶部１３に予め保存された動画データ（例えば、商品一覧ページが表示されている間に撮影されたユーザの顔の動画データ）に基づいて実行される。
【００８３】
図１１に示すように、まず、制御部１１は動画データから１フレーム分の撮影画像を取得する（Ｓ２０１）。そして、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ２０２）。例えば、制御部１１はＯｐｅｎＣＶを用いた顔認識アルゴリズムに基づいて上記の各領域を検出する。
【００８４】
その後、制御部１１は、少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ２０３）。少なくとも一つの領域の検出に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ２０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ２０４）。すなわち、制御部１１は、ステップＳ２０２で検出された各領域の面積と、ステップＳ２０２で検出された各領域の代表点（例えば中心点）のＸ座標及びＹ座標と、を取得する。
【００８５】
その後、制御部１１は、ステップＳ２０２で検出された各領域について、面積差分値（ΔＳ）を算出する（Ｓ２０５）。面積差分値（ΔＳ）は、ステップＳ２０４で取得された面積と基準面積との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０の面積から、補助記憶部１３に記憶された顔領域５０の基準面積を引くことによって、顔領域５０の面積差分値（ΔＳ）を算出する。制御部１１は顔領域５０以外の各領域の面積差分値（ΔＳ）も顔領域５０と同様にして算出する。
【００８６】
また、制御部１１は、ステップＳ２０２で検出された各領域について、Ｘ座標差分値（ΔＸ）を算出する（Ｓ２０６）。Ｘ座標差分値（ΔＸ）は、ステップＳ２０４で取得されたＸ座標と基準Ｘ座標との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０のＸ座標から、補助記憶部１３に記憶された顔領域５０の基準Ｘ座標を引くことによって、顔領域５０のＸ座標差分値（ΔＸ）を算出する。制御部１１は顔領域５０以外の各領域のＸ座標差分値（ΔＸ）も顔領域５０と同様にして算出する。
【００８７】
さらに、制御部１１は、ステップＳ２０２で検出された各領域について、Ｙ座標差分値（ΔＹ）を算出する（Ｓ２０７）。Ｙ座標差分値（ΔＹ）は、ステップＳ２０４で取得されたＹ座標と基準Ｙ座標との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０のＹ座標から、補助記憶部１３に記憶された顔領域５０の基準Ｙ座標を引くことによって、顔領域５０のＹ座標差分値（ΔＹ）を算出する。制御部１１は顔領域５０以外の各領域のＹ座標差分値（ΔＹ）も顔領域５０と同様にして算出する。
【００８８】
上記のステップＳ２０５〜Ｓ２０７の処理によって下記の１８個の差分値が取得されることになる。
（１）顔領域５０の面積差分値（ΔＳ）
（２）顔領域５０のＸ軸差分値（ΔＸ）
（３）顔領域５０のＹ軸差分値（ΔＹ）
（４）両目領域５２の面積差分値（ΔＳ）
（５）両目領域５２のＸ軸差分値（ΔＸ）
（６）両目領域５２のＹ軸差分値（ΔＹ）
（７）左目領域５２Ｌの面積差分値（ΔＳ）
（８）左目領域５２ＬのＸ軸差分値（ΔＸ）
（９）左目領域５２ＬのＹ軸差分値（ΔＹ）
（１０）右目領域５２Ｒの面積差分値（ΔＳ）
（１１）右目領域５２ＲのＸ軸差分値（ΔＸ）
（１２）右目領域５２ＲのＹ軸差分値（ΔＹ）
（１３）鼻領域５４の面積差分値（ΔＳ）
（１４）鼻領域５４のＸ軸差分値（ΔＸ）
（１５）鼻領域５４のＹ軸差分値（ΔＹ）
（１６）口領域５６の面積差分値（ΔＳ）
（１７）口領域５６のＸ軸差分値（ΔＸ）
（１８）口領域５６のＹ軸差分値（ΔＹ）
【００８９】
その後、制御部１１は、上記の１８個の差分値の各々について、加重移動平均を算出する（Ｓ２０８）。例えば、制御部１１は顔領域５０の面積差分値（ΔＳ）の加重移動平均を算出する。すなわち、制御部１１は、直近のＮ個（例えば１０個）の顔領域５０の面積差分値（ΔＳ）の加重平均を算出する。同様にして、制御部１１は、顔領域５０のＸ座標差分値（ΔＸ）の移動加重平均や、顔領域５０のＹ座標差分値（ΔＹ）の移動加重平均も算出する。また同様にして、制御部１１は、顔領域５０以外の各領域の各差分値ごとに加重移動平均を算出する。なお、ステップＳ２０８において、制御部１１は、上記の１８個の差分値の各々について、単純移動平均を算出するようにしてもよい。
【００９０】
その後、制御部１１は、上記の１８個の差分値の各々の加重移動平均（又は単純移動平均）に対して、第１〜第１８の主成分スコアを算出する（Ｓ２０９）。すなわち、制御部１１は、上記の１８個の差分値の各々の加重移動平均を１８個の主成分スコアに変換する。制御部１１は第１〜第１８の主成分スコアを図１３に示す演算式に基づいて算出する。
【００９１】
なお図１３において、「ｚｉ」（ｉ：１〜１８の自然数）は第ｉの主成分スコアを示す。すなわち、「ｚ１」は第１の主成分スコアを示し、「ｚ１８」は第１８の主成分スコアを示す。
【００９２】
また図１３において、「ｄ１」〜「ｄ１８」は上記の１８個の差分値の各々の加重移動平均（又は単純移動平均）を示す。例えば「ｄ１」〜「ｄ１８」は下記を示す。
（１）ｄ１，ｄ２，ｄ３：顔領域５０の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（２）ｄ４，ｄ５，ｄ６：両目領域５２の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（３）ｄ７，ｄ８，ｄ９：左目領域５２Ｌの面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（４）ｄ１０，ｄ１１，ｄ１２：右目領域５２Ｒの面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（５）ｄ１３，ｄ１４，ｄ１５：鼻領域５４の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（６）ｄ１６，ｄ１７，ｄ１８：口領域５６の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
【００９３】
また図１３において、「Ｌｉ＿ｊ」（ｉ，ｊ：１〜１８の自然数）は予め定められた係数を示している。係数Ｌｉ＿ｊの決定方法については後述する（後述の図１５参照）。
【００９４】
ステップＳ３０５において第１〜第１８の主成分スコアが算出された後、制御部１１は、第１〜第１８の主成分スコアに基づいて、ユーザの注視位置を算出する（Ｓ２１０）。制御部１１はユーザの注視位置を図１４に示す演算式に従って算出する。
【００９５】
なお図１４において、「Ｇｘ」はユーザの注視位置のＸｓ座標を示し、「Ｇｙ」はユーザの注視位置のＹｓ座標を示す。Ｘｓ座標及びＹｓ座標は、画面内の位置を示すためのＸｓＹｓ座標系における座標値であり、ＸｓＹｓ座標系は、例えば画面の左上頂点を原点Ｏｓとし、右方向をＸｓ軸正方向とし、下方向をＹｓ軸正方向とする座標系である（図２参照）。また、図１３と同様、「ｚｉ」（ｉ：１〜１８の自然数）は第ｉの主成分スコアを示す。また図１４において、「Ｐ」及び「Ｓ」は予め定められた定数であり、「Ｑｉ」及び「Ｔｉ」（ｉ：１〜１８の自然数）は予め定められた係数である。
【００９６】
ところで、図１４に示す演算式では、第１〜第１８の主成分スコアのすべてを用いてユーザの注視位置のＸｓ座標及びＹｓ座標が算出されるようになっているが、実際には、係数Ｑｉ又は係数Ｔｉが零に設定される場合もある。例えば、ユーザの注視位置のＸｓ座標を算出するための演算式において、係数Ｑ１６が零に設定される場合があり、その場合、第１６の主成分スコアはユーザの注視位置のＸｓ座標の算出に用いられないことになる。このように、ユーザの注視位置のＸｓ座標は、必ずしも、第１〜第１８の主成分スコアのすべてを用いて算出されるわけではなく、第１〜第１８の主成分スコアのうちの少なくとも一つを用いて算出される。ユーザの注視位置のＹｓ座標も同様である。定数Ｐ，Ｓや係数Ｑｉ及びＴｉの決定方法については後述する（後述の図１５参照）。
【００９７】
ステップＳ２１０では以上のようにしてユーザの注視位置が算出され、制御部１１は、算出された注視位置を補助記憶部１３に記録する（Ｓ２１１）。なお、ステップＳ２０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ２０４〜Ｓ２１１の処理を実行することなく、後述のステップＳ２１２の処理を実行するようになっている。すなわち、少なくとも一つの領域の検出に失敗した場合、制御部１１はそのフレームの撮影画像を無視し、ユーザの注視位置を算出しないようになっている。
【００９８】
ユーザの注視位置が補助記憶部１３に記録された後、制御部１１は次のフレームの撮影画像が存在しているか否かを判定する（Ｓ２１２）。次のフレームの撮影画像が存在している場合、制御部１１は次のフレームの撮影画像を動画データから取得する（Ｓ２１３）。そして、制御部１１はステップＳ２０２の処理を再び実行する。
【００９９】
一方、次のフレームの撮影画像が存在していない場合、すなわち、現在のフレームの撮影画像が動画データのうちの最終フレームの画像である場合、制御部１１は、補助記憶部１３に記録されたユーザの注視位置の分布を示す分布データを生成する（Ｓ２１４）。以上で図１１及び図１２に示す処理の説明を終了する。
【０１００】
ここで、第１〜第１８の主成分スコアを算出するための演算式（図１３）やユーザの注視位置を算出するための演算式（図１４）における定数及び係数の決定方法について説明する。
【０１０１】
これらの係数及び定数は、複数の被験者を対象として下記に説明するようなデータを収集し、かつ、該データを分析することによって決定される。図１５は上記の係数及び定数の決定手順について説明するための図である。なお、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）は、ユーザの注視位置を推定するためのプログラム内に埋め込む必要があるため、下記に説明するデータの収集及び分析は該プログラムを開発する際に実施される。また例えば、ユーザの注視位置を推定するためのプログラムの開発者やその同僚等が上記の「被験者」となる。
【０１０２】
上記の係数及び定数を決定する場合、まず、被験者が画面内の所定位置（例えば中心点）を見ている場合における撮影部１７の撮影画像を取得し、その撮影画像に基づいて、被験者が画面内の所定位置を見ている場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報を取得する。そして、それらの面積情報及び位置情報に基づいて、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積情報及び基準位置情報を取得する（図１５（Ａ）参照）。この基準面積情報及び基準位置情報を取得するための処理は図９において説明した処理と同様である。
【０１０３】
次に、被験者が画面内の様々な位置を見ている場合の撮影部１７の撮影画像を取得する。具体的には、ポインティングデバイスを用いて画面内の様々な位置を指示するように被験者に要求し、被験者が画面内の位置を指示した場合における撮影部１７の撮影画像を取得する。そして、その撮影画像に基づいて、被験者が画面内の位置を指示した場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報を取得する（図１５（Ｂ）参照）。
【０１０４】
なお、人間はポインティングデバイスで画面内の位置を指示する場合にその位置を注視する傾向にあるため、ここで取得された面積情報及び位置情報は、ポインティングデバイスを用いて指示された位置を被験者が見ている場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報に相当する。
【０１０５】
次に、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を取得する（図１５（Ｃ）参照）。これらは図１５（Ａ）に示すデータと図１５（Ｂ）に示すデータとに基づいて取得される。
【０１０６】
次に、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を対象として主成分分析を実施する。すなわち、１８個の差分値（６個の領域の各々の３個の差分値）を対象として一般的な主成分分析の手順に従って主成分分析が実施され、その結果として、第１〜第１８の主成分スコアを示す演算式（図１３）が取得される。すなわち、第１〜第１８の主成分スコアを算出するための演算式における係数Ｌｉ＿ｊ（ｉ，ｊ：１〜１８の自然数）が取得される。
【０１０７】
次に、第１〜第１８の主成分スコアを算出するための演算式（図１３）に従って、第１〜第１８の主成分スコアを算出する（図１５（Ｄ）参照）。そして、被験者が指定した画面内の位置（すなわち、被験者が実際に見ていた位置）と、被験者が該位置を指定した場合（すなわち、被験者が該位置を実際に見ていた場合）の第１〜第１８の主成分スコアと、を対象として線形回帰分析を実施する。すなわち、一般的な線形回帰分析の手順に従って線形回帰分析が実施され、その結果として、ユーザの注視位置と第１〜第１８の主成分スコアとの関係を示す演算式（図１４）が取得される。すなわち、ユーザの注視位置を算出するための演算式における定数Ｐ，Ｓ及び係数Ｑｉ，Ｔｉ（ｉ：１〜１８の自然数）が取得される。
【０１０８】
以上に説明したようにして、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）は決定される。
【０１０９】
以上に説明した第１実施形態に係る注視位置推定システム１によれば、一つの撮影部（カメラ）によって撮影されたユーザの顔の画像に基づいて、ユーザが注視している画面内の位置を推定することが可能になる。
【０１１０】
ところで、一つの撮影部によって撮影されたユーザの顔の画像に基づいてユーザの注視位置を推定する方法としては、例えば、画像内のユーザの虹彩中心位置を検出し、さらに、画像からユーザの眼球中心の投影位置を推定し、それらの虹彩中心位置及び眼球中心の投影位置に基づいてユーザの注視位置を推定する方法が知られている（例えば特開２０１１−９０７０２号公報）。
【０１１１】
しかしながら、この方法を採用する場合には、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がある。虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするためには処理負荷の重い処理を実行する必要があるため、上記の方法を採用した場合には、ユーザの注視位置を推定するための処理の処理負荷が重くなってしまう場合がある。これに対し、第１実施形態に係る注視位置推定システム１によれば、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がない。その結果、第１実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための処理の処理負荷を抑えることが可能になる。
【０１１２】
また、上記の方法を採用する場合には、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするために画像が高解像度でなければならず、高解像度の撮影部（カメラ）が必要となる。これに対し、第１実施形態に係る注視位置推定システム１では、ユーザの顔、目、鼻、及び口を判別できれば十分であるため、高解像度のカメラは必要でない。
【０１１３】
また、上記の方法によれば、上下左右のどちらの方向をユーザが見ているのかを判別することは可能になるが（例えば特開２０１１−９０７０２号公報の図２２参照）、比較的狭い画面内のどの位置をユーザが注視しているのかを判別するという目的を達成するためには精度が十分でない。これに対し、第１実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を上記の方法よりも高い精度で推定できるようになる。
【０１１４】
なお、第１実施形態に係る注視位置推定システム１では、顔領域５０等の各領域の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の移動平均が算出され、それらの移動平均に基づいて、ユーザの注視位置が推定されるようになっている（図１２のステップＳ２０８参照）。両目領域５２等を撮影画像から検出する場合には誤って眉毛領域が両目領域５２として検出されてしまう場合がある。しかしながら、注視位置推定システム１では上記のようになっていることによって、例えば、あるフレームの撮影画像において領域の誤検出が生じたとしても、それが注視位置の推定の精度に及ぼす影響が抑えられるようになっている。すなわち、上記のようにすることによって、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１１５】
また、第１実施形態に係る注視位置推定システム１では、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６のうちの少なくとも一つの検出が失敗した場合、その撮影画像が無視されることになり、その撮影画像はユーザの注視位置の推定に用いられないようになっている（図１１のステップＳ２０３参照）。このようにすることによって、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１１６】
また、第１実施形態に係る注視位置推定システム１によれば、所定の画面（例えば商品一覧ページ）が表示されている場合におけるユーザの注視位置を取得できるようになるため、例えば、ユーザの目にとまってほしい情報（例えば広告２６等）の表示位置を見直す際の判断材料を得ることができるようになる。
【０１１７】
［第２実施形態］次に、本発明の第２実施形態について説明する。本発明の第２実施形態に係る注視位置推定システム１の構成等は第１実施形態と同様である（図１，２参照）。
【０１１８】
第２実施形態に係る注視位置推定システム１は、ユーザの注視位置の推定をリアルタイムで実行する点で第１実施形態とは異なる。また、第２実施形態に係る注視位置推定システム１は、ユーザの注視位置の推定をリアルタイムで実行するならではの構成を備えている点でも第１実施形態とは異なる。
【０１１９】
図１６は、第２実施形態に係る注視位置推定システム１で実現される機能ブロックのうちの、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図１６に示すように、第２実施形態に係る注視位置推定システム１は、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、処理実行部６４、及び設定部７０を含む。
【０１２０】
上述したように、第２実施形態に係る注視位置推定システム１では、領域検出部３２による領域の検出、面積／位置情報取得部６０による面積情報及び位置情報の取得や、注視位置推定部６２による注視位置の推定が、撮影部１７によって所定時間（例えば１／３０秒）ごとに撮影される画像に基づいてリアルタイムに実行される点で第１実施形態とは異なる。リアルタイムで処理が実行される点を除き、領域検出部３２、面積／位置情報取得部６０、及び注視位置推定部６２は第１実施形態と同様である。
【０１２１】
図１７は、第２実施形態に係る注視位置推定システム１で実行される処理の一例を示すフロー図である。図１７に示す処理は、ユーザの注視位置を推定すべき期間内において所定時間（例えば１／３０秒）ごとに実行される。「ユーザの注視位置を推定すべき期間」とは、例えば所定画面（商品一覧ページ等）が表示されている期間である。
【０１２２】
図１７に示すように、まず、制御部１１は、撮影部１７によって撮影された最新の撮影画像を取得する（Ｓ３０１）。その後、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ３０２）。ステップＳ３０２の処理は図１１のステップＳ２０２の処理と同様である。
【０１２３】
また、制御部１１は少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ３０３）。少なくとも一つの領域に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ３０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ３０４）。ステップＳ３０３，Ｓ３０４の処理は図１１のステップＳ２０３，Ｓ２０４の処理と同様である。
【０１２４】
その後、制御部１１は、ステップＳ３０２で検出された各領域の面積情報及び位置情報に基づいて、ユーザの注視位置を推定し（Ｓ３０５）、ユーザの注視位置を補助記憶部１３に記録する（Ｓ３０６）。ステップＳ３０５，Ｓ３０６の処理は図１１及び図１２のステップＳ２０５〜Ｓ２１１の処理と同様である。
【０１２５】
その後、制御部１１は、ユーザの注視位置を示す画像を画面内に表示させる（Ｓ３０７）。例えば、制御部１１は、ユーザの注視位置として推定された画面内の位置に所定画像（マーカー等）を表示させる。
【０１２６】
なお、ステップＳ３０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ３０４〜Ｓ３０７の処理を実行することなく、本処理を終了する。この場合、撮影画像は無視されることになり、ユーザの注視位置の推定等は実行されなくなる。以上で図１７に示す処理の説明を終了する。
【０１２７】
第２実施形態に係る注視位置推定システム１では、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がなく、その結果として、ユーザの注視位置を推定するための処理の処理負荷が抑えられるため、ユーザの注視位置をリアルタイムに推定することが可能になる。また、第２実施形態に係る注視位置推定システム１によれば、ユーザの注視位置がリアルタイムに画面に表示されるようになる。これによって、ユーザが実際に注視している位置と、ユーザが注視していると推定された位置との間の差を一見して把握できるようになる。
【０１２８】
なお、第２実施形態に係る注視位置推定システム１では、ユーザの注視位置をリアルタイムに取得することが可能になるため、例えば、ユーザが注視位置によって各種の指示を情報処理装置１０に与えるようなユーザインタフェースを実現することも可能になる。例えば、画面内に設定された所定領域を所定期間にわたってユーザが注視し続けた場合に該所定領域に対応する処理（例えば画面のスクロール等）を情報処理装置１０が実行するようなユーザインタフェースを実現することも可能になる。
【０１２９】
ところで、第２実施形態に係る注視位置推定システム１は設定部７０を含む点でも第１実施形態とは異なる。以下、設定部７０について説明する。
【０１３０】
設定部７０は情報処理装置１０の処理能力に関する情報（処理能力情報）を取得する。「処理能力情報」とは、例えば、情報処理装置１０の処理速度に関する情報である。例えば、設定部７０は、情報処理装置１０において所定処理を実行させ、情報処理装置１０が該所定処理を実行するために要する時間を計測する。そして、設定部７０は、計測された時間を「処理能力情報」として取得する。この場合、上記時間が短いほど、情報処理装置１０の処理能力が高いことを示すことになる。
【０１３１】
また、設定部７０はユーザの注視位置を推定する処理（図１７）の実行間隔を処理能力情報に基づいて設定する。上記の実行間隔を処理能力情報に基づいて設定するためには、処理能力情報と実行間隔との対応関係を示す対応関係情報が必要となる。図１８はこの対応関係情報の一例を示す。設定部７０は、図１８に示す対応関係情報と、情報処理装置１０の処理能力情報と、に基づいて、ユーザの注視位置を推定する処理（図１７）の実行間隔を設定する。
【０１３２】
なお図１８において、「ｐ」は情報処理装置１０の処理能力（処理速度）を示す指標値である。指標値（ｐ）の値が高いほど、情報処理装置１０の処理能力が高いことを示す。例えば、情報処理装置１０が所定処理を実行するために要した時間を「ｔ」とすると、指標値（ｐ）はｐ＝１／ｔによって算出される。
【０１３３】
また図１８において、「Ｐａ」及び「Ｐｂ」は所定値を示し、これらは「Ｐａ＜Ｐｂ」の関係を有する。また、「Ｔａ」、「Ｔｂ」、及び「Ｔｃ」は所定時間を示し、これらは「Ｔａ＞Ｔｂ＞Ｔｃ」の関係を有する。例えば、「Ｔａ」は１／１０秒であり、「Ｔｂ」は１／１５秒であり、「Ｔｃ」は１／３０秒である。
【０１３４】
図１８に示す対応関係情報では、情報処理装置１０の処理能力が高いほど、ユーザの注視位置を推定する処理（図１７）の実行間隔が短くなるようになっている。また、図１８に示す対応関係情報では、指標値（ｐ）が「０＜ｐ≦Ｐａ」の関係を満たす場合、上記の実行間隔が撮影部１７の撮影間隔（１／３０秒）よりも長い時間（１／１０秒）に設定されるようになっている。同様に、指標値（ｐ）が「Ｐａ＜ｐ≦Ｐｂ」の関係を満たす場合にも、上記の実行間隔が撮影部１７の撮影間隔（１／３０秒）よりも長い時間（１／１５秒）に設定されるようになっている。
【０１３５】
第２実施形態に係る注視位置推定システム１によれば、上記のような設定部７０を含んでいることによって、ユーザの注視位置を推定する処理（図１７）の実行間隔が、注視位置推定システム１（情報処理装置１０）の処理能力に応じて設定されるようになる。例えば、注視位置推定システム１（情報処理装置１０）の処理能力が低い場合には、上記の実行間隔が長くなり、その結果として、ユーザの注視位置の推定に関わる処理負荷が軽減されるようになる。一方、注視位置推定システム１（情報処理装置１０）の処理能力が高い場合には、上記の実行間隔が短くなり、その結果として、ユーザの注視位置の推定の頻度が高くなるようになる。
【０１３６】
なお、設定部７０の態様は上記に説明した態様に限られない。
【０１３７】
例えば、図１２のステップＳ２０８では、例えば、ステップＳ２０２で検出された各領域の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の各々の加重移動平均を算出する場合に直近のＮ個の値を用いることとして説明した。設定部７０はこの個数（Ｎ）を処理能力情報に基づいて設定するようにしてもよい。
【０１３８】
上記の個数（Ｎ）を処理能力情報に基づいて設定するためには、処理能力情報と個数（Ｎ）との対応関係を示す対応関係情報が必要となる。図１９はこの対応関係情報の一例を示す。設定部７０は、図１９に示す対応関係情報と、情報処理装置１０の処理能力情報と、に基づいて、上記の個数（Ｎ）を設定する。
【０１３９】
図１８と同様、図１９において、「ｐ」は情報処理装置１０の処理能力（処理速度）を示す指標値である。また、「Ｐａ」及び「Ｐｂ」は所定値を示し、これらは「Ｐａ＜Ｐｂ」の関係を有する。さらに図１９において、「Ｎａ」、「Ｎｂ」、及び「Ｎｃ」は所定の個数を示し、これらは「Ｎａ＜Ｎｂ＜Ｎｃ」の関係を有する。例えば、「Ｎａ」は３個であり、「Ｎｂ」は５個であり、「Ｎｃ」は１０個である。図１９に示す対応関係情報では、情報処理装置１０の処理能力が高いほど、上記の個数（Ｎ）が多くなるようになっている。
【０１４０】
上記のような設定部７０によれば、例えば、注視位置推定システム１（情報処理装置１０）の処理能力が低い場合には上記の個数（Ｎ）が少なくなり、その結果として、面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の各々の加重移動平均の算出に関わる処理負荷が軽減されるようになる。一方、注視位置推定システム１（情報処理装置１０）の処理能力が高い場合には上記の個数（Ｎ）が多くなり、その結果として、ユーザの注視位置の推定の精度が高まるようになる。
【０１４１】
［第３実施形態］次に、本発明の第３実施形態について説明する。本発明の第３実施形態に係る注視位置推定システム１の構成等は第１実施形態及び第２実施形態と同様である（図１，２参照）。
【０１４２】
例えば、ユーザがマウス１６Ｃ等のポインティングデバイスを用いて画面内の位置を指示しようとする場合、自らが指示しようとする位置をユーザは注視する傾向がある。第３実施形態に係る注視位置推定システム１は、このようなユーザの傾向を考慮して、ユーザの注視位置の推定の精度を高めるための構成を備える点で第１実施形態及び第２実施形態とは異なる。
【０１４３】
図２０は、第３実施形態に係る注視位置推定システム１で実現される機能ブロックのうちの、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図２０に示すように、第３実施形態に係る注視位置推定システム１は、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、処理実行部６４、指示位置取得部８０、補正データ記憶部８２、及び補正部８４を含む。
【０１４４】
第３実施形態に係る注視位置推定システム１は指示位置取得部８０、補正データ記憶部８２、及び補正部８４を含む点で第１実施形態及び第２実施形態とは異なる。このため、以下ではこれらの機能ブロックについて説明する。なお、他の機能ブロックは第１実施形態又は第２実施形態と同様であるため、ここでは説明を省略する。
【０１４５】
指示位置取得部８０はユーザによって指示された画面内の位置を取得する。例えば、指示位置取得部８０は、ユーザがタッチパッド１６Ｂやマウス１６Ｃ等のポインティングデバイスを用いて指示した画面内の位置を取得する。
【０１４６】
補正データ記憶部８２は、ユーザの注視位置を算出するための１又は複数の演算式（図１３，１４）に含まれる定数又は／及び係数を補正するための補正データを記憶する。
【０１４７】
具体的には、補正データ記憶部８２は、ユーザによって指示された画面内の位置と、該位置がユーザによって指示された際における顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報と、を対応づけて記憶する。図２１は補正データ記憶部８２に記憶される補正データの一例を示す。
【０１４８】
補正部８４は、ユーザの注視位置を算出するための１又は複数の演算式（図１３，１４）に含まれる定数又は／及び係数を補正データに基づいて補正する。
【０１４９】
例えば、補正部８４は、図１５を参照しながら説明した処理と同様の処理を補正データに基づいて実行することによって、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）を決定し直す。この場合、基準面積／位置情報記憶部３０の記憶内容（図８）が図１５（Ａ）に示すデータに相当し、補正データ記憶部８２に記憶される補正データ（図２１）が図１５（Ｂ）に示すデータに相当することになる。なお、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）を決定し直す場合には、補正データに多数のレコード（例えば１００００件程度のレコード）が記憶されているのが望ましい。
【０１５０】
すなわち、補正部８４は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を取得する。
【０１５１】
その後、補正部８４は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を対象として主成分分析を実施する。
【０１５２】
すなわち、補正部８４は、１８個の差分値（６個の領域の各々の３個の差分値）を対象として一般的な主成分分析の手順に従って主成分分析を実施し、その結果として、第１〜第１８の主成分スコアを示す演算式（図１３）を新たに取得する。すなわち、補正部８４は、第１〜第１８の主成分スコアを算出するための演算式における係数Ｌｉ＿ｊ（ｉ，ｊ：１〜１８の自然数）を新たに取得する。この場合、以降において第１〜第１８の主成分スコアを算出する際には、新たに取得された演算式が用いられることになる。
【０１５３】
また、補正部８４は、第１〜第１８の主成分スコアを算出するための演算式（図１３）に従って、ユーザが画面内の位置を指示した場合の第１〜第１８の主成分スコアを算出する。そして、ユーザが指示した画面内の位置（つまり、ユーザが実際に見ていた位置）と、ユーザが該位置を指示した場合（つまり、ユーザが該位置を見ていた場合）の第１〜第１８の主成分スコアと、を対象として線形回帰分析を実施する。
【０１５４】
すなわち、補正部８４は、一般的な線形回帰分析の手順に従って線形回帰分析を実施し、その結果として、ユーザの注視位置と第１〜第１８の主成分スコアとの関係を示す演算式（図１４）を新たに取得する。すなわち、補正部８４は、ユーザの注視位置を算出するための演算式における定数Ｐ，Ｓ及び係数Ｑｉ，Ｔｉ（ｉ：１〜１８の自然数）を新たに取得する。この場合、以降においてユーザの注視位置を算出する際には、新たに取得された演算式が用いられることになる。
【０１５５】
以上に説明した第３実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための１又は複数の演算式（図１３，１４）における定数又は／及び係数が、ユーザが画面内の位置を見ていた場合のユーザの顔領域５０等の面積情報及び位置情報に基づいて見直されるようになる。すなわち、第３実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための１又は複数の演算式における定数又は／及び係数を、ユーザの顔の特徴やユーザの癖等が反映されたものへと補正することが可能になる。その結果として、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１５６】
なお、以上では、補正データ記憶部８２が、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶することとして説明した（図２１）。
【０１５７】
しかしながら、補正データ記憶部８２は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶する代わりに、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を記憶するようにしてもよい。
【０１５８】
あるいは、補正データ記憶部８２は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶する代わりに、ユーザが画面内の位置を指示した場合における撮影画像を記憶するようにしてもよい。
【０１５９】
［第４実施形態］次に、本発明の第４実施形態について説明する。図２２は、本発明の第４実施形態に係る注視位置推定システム１の構成の一例を示している。図２２に示すように、第４実施形態に係る注視位置推定システム１は情報処理装置１０とサーバ装置９０とを含んで構成される。情報処理装置１０とサーバ装置９０との間では、例えばインターネット等の通信ネットワーク２を介してデータを授受できるようになっている。
【０１６０】
情報処理装置１０の構成は第１実施形態における情報処理装置１０と同様である。サーバ装置９０は、図２２に示すように、制御部９１、主記憶部９２、補助記憶部９３、光ディスクドライブ部９４、及び通信インタフェース９５を含む。制御部９１、主記憶部９２、補助記憶部９３、光ディスクドライブ部９４、及び通信インタフェース９５は情報処理装置１０の制御部１１、主記憶部１２、補助記憶部１３、光ディスクドライブ部１４、及び通信インタフェース１５と同様である。
【０１６１】
第４実施形態に係る注視位置推定システム１は第１実施形態と同様の機能ブロックを含む（図１０）。ただし、第４実施形態に係る注視位置推定システム１では、図１０に示す機能ブロックのうちの少なくとも一つがサーバ装置９０において実現される。言い換えれば、図１１及び図１２に示す処理のうちの少なくとも一部がサーバ装置９０において実行される。以下、第４実施形態に係る注視位置推定システム１の具体例として、第４−１実施形態、第４−２実施形態、及び第４−３実施形態について説明する。
【０１６２】
［第４−１実施形態］第４−１実施形態では、処理実行部６４がサーバ装置９０において実現され、処理実行部６４以外の機能ブロックが情報処理装置１０において実現される。すなわち、この実施形態では、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が処理実行部６４として機能する。
【０１６３】
この実施形態の場合、ユーザの注視位置を推定（算出）するまでの処理が情報処理装置１０において実行され、それ以降の処理がサーバ装置９０において実行される。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２１４の処理がサーバ装置９０において実行され、他の処理が情報処理装置１０において実行される。
【０１６４】
つまり、この実施形態では、ステップＳ２１２において次のフレームの撮影画像が存在しないと判定された場合に、制御部１１は、補助記憶部１３に記録されたユーザの注視位置に関するデータ（注視位置データ）をサーバ装置９０に送信する。
【０１６５】
なお、この場合、どのような画面が表示部１８に表示されていたのかをサーバ装置９０側で把握できるようにするべく、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。「表示部１８に表示されていた画面に関するデータ」としては、例えば、表示部１８に表示されていた画面の識別データや、表示部１８に表示されていた画面の画像データが送信される。なお、表示部１８に表示される画面の状態がユーザの操作に応じて変化するようになっている場合（例えば、画面がユーザの操作に応じてスクロールするようになっている場合）には、画面の表示が開始された後にユーザが行った操作の履歴を示す操作履歴データもサーバ装置９０に送信される。
【０１６６】
情報処理装置１０から送信されたデータが受信された場合、サーバ装置９０の制御部９１はステップＳ２１４と同様の処理を該データに基づいて実行する。
【０１６７】
［第４−２実施形態］第４−２実施形態では、注視位置推定部６２及び処理実行部６４がサーバ装置９０（注視位置推定装置）において実現され、注視位置推定部６２及び処理実行部６４以外の機能ブロックが情報処理装置１０において実現される。すなわち、この実施形態では、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が注視位置推定部６２及び処理実行部６４として機能する。
【０１６８】
この実施形態の場合、顔領域５０等の各領域の面積及び位置を算出するまでの処理が情報処理装置１０において実行され、それ以降の処理がサーバ装置９０において実行される。すなわち、この実施形態の場合、図１１及び図１２に示す処理のうち、ステップＳ２０５〜Ｓ２１１，Ｓ２１４の処理がサーバ装置９０において実行され、他の処理が情報処理装置１０において実行される。
【０１６９】
つまり、この実施形態の場合、図１１及び図１２に示す処理からステップＳ２０５〜Ｓ２１１，Ｓ２１４の処理を除いた処理が情報処理装置１０において実行される。また、この実施形態の場合、各フレームの撮影画像における顔領域５０等の面積及び位置を示すデータが情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、図１１及び図１２のステップＳ２０５〜Ｓ２１１，Ｓ２１４と同様の処理が実行される。
【０１７０】
なお、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を算出するまでの処理を情報処理装置１０において実行し、それ以降の処理をサーバ装置９０において実行するようにしてもよい。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２０８〜Ｓ２１１，Ｓ２１４の処理をサーバ装置９０において実行し、他の処理を情報処理装置１０において実行するようにしてもよい。
【０１７１】
この場合、図１１及び図１２に示す処理からステップＳ２０８〜Ｓ２１１，Ｓ２１４の処理を除いた処理が情報処理装置１０において実行される。そして、各フレームの撮影画像における顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を示すデータが情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、図１１及び図１２のステップＳ２０８〜Ｓ２１１，Ｓ２１４と同様の処理が実行される。
【０１７２】
または、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均を算出するまでの処理を情報処理装置１０において実行し、それ以降の処理をサーバ装置９０において実行するようにしてもよい。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２０９〜Ｓ２１１，Ｓ２１４の処理をサーバ装置９０において実行し、他の処理を情報処理装置１０において実行するようにしてもよい。
【０１７３】
［第４−３実施形態］第４−３実施形態では、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４がサーバ装置９０（注視位置推定装置）において実現される。すなわち、この実施形態の場合、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４として機能する。
【０１７４】
この実施形態の場合、撮影部１７の撮影画像（動画データ）が情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信された撮影画像（動画データ）に基づいて、図１１及び図１２に示す処理が実行される。
【０１７５】
なお、上述の第４−１実施形態及び第４−２実施形態によれば、第４−３実施形態に比べて、情報処理装置１０からサーバ装置９０に送信されるデータ量が小さくなるため、通信ネットワーク２の負荷を軽減することが可能になる。
【０１７６】
ところで、第４実施形態に係る注視位置推定システム１においても、第２実施形態と同様に、ユーザの注視位置の推定がリアルタイムに実行されるようにしてもよい。
【０１７７】
例えば、第４−２実施形態と同様に、図１７に示す処理のうちの、ステップＳ３０５がサーバ装置９０において実行され、ステップＳ３０５以外の処理が情報処理装置１０において実行されるようにしてもよい。この場合、ステップＳ３０４の処理が実行された後、顔領域５０等の面積及び位置を示すデータが情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ステップＳ３０５の処理と同様の処理が実行され、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１７８】
または、ステップＳ３０５の処理の一部がサーバ装置９０において実行され、それ以外の処理が情報処理装置１０において実行されるようにしてもよい。例えば、この場合、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）が算出された後、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を示すデータが情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１７９】
あるいは、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均が算出された後、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均を示すデータが情報処理装置１０からサーバ装置９０に送信されるようにしてもよい。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ユーザの注視位置が推定されるようにしてもよい。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行されるようにしてもよい。
【０１８０】
また例えば、第４−３実施形態と同様に、図１７に示す処理のうちの、ステップＳ３０２〜Ｓ３０５の処理がサーバ装置９０において実行され、それ以外の処理が情報処理装置１０において実行されるようにしてもよい。この場合、ステップＳ３０１で取得された撮影画像が情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信された撮影画像に基づいて、ステップＳ３０２〜Ｓ３０５の処理と同様の処理が実行され、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１８１】
なお、以上に説明した第４実施形態において、サーバ装置９０は、Ｗｅｂページを情報処理装置１０に提供するＷｅｂサーバ装置であってもよいし、Ｗｅｂサーバ装置とは別のサーバ装置（すなわち、ユーザの注視位置を推定するための専用サーバ装置）であってもよい。例えば、サーバ装置９０は、図３に示したような商品一覧ページを情報処理装置１０に提供するような電子商取引サイトのＷｅｂサーバ装置であってもよい。この場合、電子商取引サイトのＷｅｂサーバ装置は、自らが情報処理装置１０に提供したＷｅｂページ（例えば商品一覧ページ）におけるユーザの注視位置に関するデータを取得できるようになる。すなわち、Ｗｅｂサーバ装置は、各Ｗｅｂページにおける、ユーザの目にとまってほしい各種情報（例えば広告等）の表示位置を見直す際の判断材料を得ることができるようになる。
【０１８２】
なお、本発明は以上に説明した第１実施形態〜第４実施形態に限定されるものではない。
【０１８３】
例えば、以上では、ユーザの注視位置を推定するために、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の６つの領域のすべてを用いることとして説明したが、これら６つの領域のうちの一部を用いるようにしてもよい。例えば、顔領域５０、両目領域５２、及び鼻領域５４のみを用いるようにしてもよい。
【０１８４】
また例えば、ユーザの注視位置を推定するために、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６以外の領域を用いるようにしてもよい。
【０１８５】
また例えば、第２実施形態と第３実施形態とを組み合わせるようにしてもよい。また、第２実施形態と第３実施形態との少なくとも一方と第４実施形態とを組み合わせるようにしてもよい。
【０１８６】
なお、第２実施形態と第４実施形態とを組み合わせる場合、補正データ記憶部８２及び補正部８４は情報処理装置１０において実現されるようにしてもよいし、サーバ装置９０において実現されるようにしてもよい。また、補正データ記憶部８２をサーバ装置９０において実現される場合（すなわち、全ユーザの補正データがサーバ装置９０に記憶される場合）には、補正部８４は他のユーザの補正データも用いるようにしてもよい。ただし、その場合、ユーザの補正データの重みを他のユーザの補正データよりも大きくするようにしてもよい。
【０１８７】
また例えば、表示部を備える装置と、撮影部及び制御部を備える装置と、は別体の装置であってもよい。例えば、家庭用テレビの上部又は下部等にカメラ（撮影部）を設置し、情報処理装置（例えばパーソナルコンピュータ）において、カメラ（撮影部）の撮影画像に基づいて、ユーザが注視している家庭用テレビの画面内の位置を推定するようにしてもよい、
【符号の説明】
【０１８８】
１ 注視位置推定システム、２ 通信ネットワーク、１０ 情報処理装置、１１，９１ 制御部、１２，９２ 主記憶部、１３，９３ 補助記憶部、１４，９４ 光ディスクドライブ部、１５ 通信インタフェース、１６ 操作部、１６Ａ キーボード、１６Ｂ タッチパッド、１６Ｃ マウス、１７ 撮影部、１８ 表示部、１９ 音声出力部、２０ キーワード欄、２２ 検索ボタン、２４ 一覧領域、２６ 広告、３０ 基準面積／位置情報記憶部、３２ 領域検出部、３４ 基準面積／位置情報取得部、４０ マーカー、４２ メッセージ、５０ 顔領域、５２ 両目領域、５２Ｌ 左目領域、５２Ｒ 右目領域、５４ 鼻領域、５６ 口領域、６０ 面積／位置情報取得部、６２ 注視位置推定部、６４ 処理実行部、７０ 設定部、８０ 指示位置取得部、８２ 補正データ記憶部、８４ 補正部、９０ サーバ装置。
【技術分野】
【０００１】
本発明は注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体に関する。
【背景技術】
【０００２】
一つのカメラによって撮影されたユーザの顔の画像に基づいて、ユーザが注視している位置を推定する技術が提案されている。例えば、特許文献１には、一つのカメラによって撮影された画像からユーザの虹彩中心位置を検出し、さらに、該画像からユーザの眼球中心の投影位置を推定し、それらの虹彩中心位置と眼球中心の投影位置とに基づいてユーザの視線方向を推定することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−９０７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された技術では、ユーザの虹彩中心位置を検出したり、ユーザの眼球中心の投影位置を推定したりする必要がある。虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするためには処理負荷の重い処理を実行する必要があるため、ユーザの注視位置を推定するための処理の処理負荷が重くなってしまう場合がある。
【０００５】
本発明は上記課題に鑑みてなされたものであって、その目的は、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりすることなく、ユーザの注視位置を推定することが可能な注視位置推定システム、注視位置推定システムの制御方法、注視位置推定装置、注視位置推定装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る注視位置推定システムは、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段と、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影手段の撮影画像から検出する領域検出手段と、前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得手段と、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、を含むことを特徴とする。
【０００７】
また、本発明に係る注視位置推定システムの制御方法は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像を取得するステップと、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影画像から検出する領域検出ステップと、前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得ステップと、前記面積／位置情報取得ステップにおいて取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、を含むことを特徴とする。
【０００８】
また、本発明に係る注視位置推定装置は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段と、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、を含むことを特徴とする。
【０００９】
また、本発明に係る注視位置推定装置の制御方法は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得するステップと、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、を含むことを特徴とする。
【００１０】
また、本発明に係るプログラムは、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、としてコンピュータを機能させるためのプログラムである。
【００１１】
また、本発明に係る情報記憶媒体は、表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【００１２】
また、本発明の一態様では、前記ユーザが前記画面内の基準位置を見ている場合における前記目領域の面積情報及び位置情報に基づいて前記目領域の基準面積情報及び基準位置情報を取得し、かつ、前記ユーザが前記画面内の前記基準位置を見ている場合における前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報に基づいて、前記顔領域と前記所定部位領域との前記少なくとも一方の基準面積情報及び基準位置情報を取得する基準面積／位置情報取得手段を含み、前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差に基づいて、前記ユーザが注視している前記画面内の位置を推定するようにしてもよい。
【００１３】
また、本発明の一態様では、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出する手段を含み、前記注視位置推定手段は、前記移動平均に基づいて、前記ユーザが注視している前記画面内の位置を推定するようにしてもよい。
【００１４】
また、本発明の一態様では、前記領域検出手段によるいずれかの領域の検出が失敗したか否かを判定する手段と、前記領域検出手段によるいずれかの領域の検出が失敗した場合に、前記注視位置推定手段による推定の実行を抑止する手段と、を含むようにしてもよい。
【００１５】
また、本発明の一態様では、前記ユーザが注視していると前記注視位置推定手段によって推定された前記画面内の位置を示す画像を前記画面内に表示させる手段を含むようにしてもよい。
【００１６】
また、本発明の一態様では、情報処理装置を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、前記撮影手段は、前記ユーザの顔を第１の所定時間ごとに撮影し、前記撮影手段によって撮影された、前記第１の所定時間ごとの撮影画像のうちの、前記第１の所定時間よりも長い第２の所定時間ごとの撮影画像が、前記領域検出手段による検出の対象とされ、前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記第２の所定時間を設定する設定手段を含むようにしてもよい。
【００１７】
また、本発明の一態様では、情報処理装置を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、前記注視位置推定手段は、前記面積／位置情報取得手段による直近の所定数の取得結果に基づいて、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出し、前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記所定数を設定する設定手段を含むようにしてもよい。
【００１８】
また、本発明の一態様では、前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づき、１又は複数の演算式に従って演算を実行することによって、前記ユーザが注視している前記画面内の位置を推定し、前記注視位置推定システムは、前記ユーザによって指示された前記画面内の位置を取得する指示位置取得手段と、前記ユーザによって指示された前記画面内の位置と、該位置が前記ユーザによって指示された際における、前記目領域の面積情報及び位置情報と、前記顔領と前記所定部位領域との少なくとも一方の面積情報及び位置情報と、に基づいて、前記１又は複数の演算式に含まれる定数又は／及び係数を補正する補正手段と、を含むようにしてもよい。
【００１９】
また、本発明の一態様では、前記領域検出手段は、前記ユーザの顔領域と、前記ユーザの両目領域と、前記ユーザの左目領域と、前記ユーザの右目領域と、前記ユーザの鼻領域と、前記ユーザの口領域と、を前記撮影画像から検出し、前記面積／位置情報取得手段は、前記顔領域と、前記両目領域と、前記左目領域と、前記右目領域と、前記鼻領域と、前記口領域との各々の面積情報及び位置情報を取得するようにしてもよい。
【００２０】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記撮影画像を前記サーバに送信する手段を含み、前記サーバ装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含むようにしてもよい。
【００２１】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段と、前記領域検出手段の検出結果を前記サーバ装置に送信する手段と、を含み、前記サーバ装置は前記面積／位置情報取得手段及び前記注視位置推定手段を含むようにしてもよい。
【００２２】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段及び前記面積／位置情報取得手段と、前記面積／位置情報取得手段によって取得された面積情報及び位置情報を前記サーバ装置に送信する手段と、を含み、前記サーバ装置は前記注視位置推定手段を含むようにしてもよい。
【００２３】
また、本発明の一態様では、前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段と、前記注視位置推定手段による推定結果に関する注視位置データを前記サーバ装置に送信する手段と、を含み、前記サーバ装置は、前記注視位置データを受信する手段と、前記注視位置データに基づいて、前記ユーザが注視している前記画面内の位置に関する集計処理を実行する手段と、を含むようにしてもよい。
【発明の効果】
【００２４】
本発明によれば、例えば、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりすることなく、ユーザの注視位置を推定することが可能になる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る注視位置推定システムの構成の一例を示す図である。
【図２】情報処理装置の外観を示す図である。
【図３】表示部に表示される画面の一例を示す図である。
【図４】注視位置推定システムの機能ブロック図である。
【図５】初期設定画面の一例を示す図である。
【図６】撮影部の撮影画像の一例を示す模式図である。
【図７】領域検出部の動作について説明するための図である。
【図８】基準面積／位置情報記憶部の記憶内容の一例を示す図である。
【図９】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１０】注視位置推定システムの機能ブロック図である。
【図１１】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１２】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１３】主成分スコアを算出するための演算式を示す図である。
【図１４】ユーザの注視位置を算出するための演算式を示す図である。
【図１５】主成分スコアを算出するための演算式や、ユーザの注視位置を算出するための演算式の決定方法の一例を説明するための図である。
【図１６】注視位置推定システムの機能ブロック図である。
【図１７】注視位置推定システムで実行される処理の一例を示すフロー図である。
【図１８】対応関係情報の一例を示す図である。
【図１９】対応関係情報の他の一例を示す図である。
【図２０】注視位置推定システムの機能ブロック図である。
【図２１】補正データ記憶部の記憶内容の一例を示す図である。
【図２２】注視位置推定システムの構成の他の一例を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００２７】
［第１実施形態］まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係る注視位置推定システムの構成を示す。図１に示すように、注視位置推定システム１は情報処理装置１０（注視位置推定装置）を含んで構成される。図２は情報処理装置１０の外観の一例を示す。なお、図２に示す情報処理装置１０はラップトップ型のコンピュータであるが、情報処理装置１０はラップトップ型のコンピュータに限られるわけではない。情報処理装置１０は、例えば、デスクトップ型のコンピュータ、タブレット型のコンピュータ、又はスマートフォン等であってもよい。
【００２８】
情報処理装置１０は制御部１１、主記憶部１２、補助記憶部１３、光ディスクドライブ部１４、通信インタフェース１５、操作部１６、撮影部１７、表示部１８、及び音声出力部１９を含む。
【００２９】
制御部１１は例えば１又は複数のマイクロプロセッサを含み、補助記憶部１３に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。主記憶部１２は例えばＲＡＭであり、補助記憶部１３は例えばハードディスク又はソリッドステートドライブである。光ディスクドライブ部１４は、光ディスク（情報記憶媒体）に記憶されたプログラムやデータを読み取る。
【００３０】
プログラムやデータは光ディスクを介して補助記憶部１３に供給される。すなわち、プログラムやデータが記憶された光ディスクが光ディスクドライブ部１４に装着され、プログラムやデータが光ディスクドライブ部１４によって光ディスクから読み出され、補助記憶部１３に記憶される。なお、光ディスクドライブ部１４は必須の構成要素ではない。光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み取るための構成要素が光ディスクドライブ部１４の代わりに含まれるようにしてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが補助記憶部１３に供給されるようにしてもよい。
【００３１】
通信インタフェース１５は情報処理装置１０を通信ネットワークに接続するためのインタフェースである。情報処理装置１０は通信ネットワークを介して他の装置（例えばサーバ装置等）とデータを授受できるようになっている。なお、プログラム及びデータが通信ネットワークを介して補助記憶部１３に供給されるようにしてもよい。
【００３２】
操作部１６はユーザが操作を行うためのものである。本実施形態の場合、情報処理装置１０は、キーボード１６Ａ、タッチパッド１６Ｂ、及びマウス１６Ｃを操作部１６として備えている。タッチパッド１６Ｂ及びマウス１６Ｃは、表示部１８に表示される画面内の位置をユーザが指示するためのポインティングデバイスである。なお、情報処理装置１０は、スティック（レバー）、又は表示部１８の上に重ねて設けられるタッチパネル等を備えるようにしてもよい。
【００３３】
撮影部１７は公知のデジタルカメラを含んで構成される。撮影部１７は、表示部１８に表示される画面を見るユーザの顔を撮影可能な位置に設けられており、撮影部１７は、表示部１８に表示される画面を見るユーザの顔を撮影するために用いられる。図２に示す例では、レンズをユーザに向けた状態で表示部１８の上に撮影部１７が設けられている。撮影部１７による撮影は所定時間（例えば１／３０秒）ごとに行われる。すなわち、１秒ごとのフレーム数が所定数（例えば３０）である動画が撮影部１７によって撮影される。撮影部１７によって撮影された動画は補助記憶部１３に保存される。
【００３４】
表示部１８は例えば液晶表示ディスプレイ等であり、音声出力部１９は例えばスピーカ又はヘッドホン端子等である。表示部１８には各種プログラムによって各種画面が表示される。
【００３５】
例えば、情報処理装置１０でＷｅｂブラウザが実行された場合には、処理要求（ＨＴＴＰリクエスト）がＷｅｂブラウザによってＷｅｂサーバ装置に送信される。この場合、上記の処理要求に対応するページデータ（ＨＴＴＰレスポンス）がＷｅｂサーバ装置から情報処理装置１０に返信され、このページデータに基づいてＷｅｂページ（画面）が表示部１８に表示される。
【００３６】
図３は表示部１８に表示される画面の一例を示す。図３は、商品やサービスを通信ネットワークを介して購入可能な電子商取引サイト（仮想商店街サイト）にアクセスした場合に表示部１８に表示されるＷｅｂページの一例を示している。具体的には、キーワードとして「バッグ」が指定された場合に表示される商品一覧ページの一例を図３は示している。
【００３７】
図３に示すように、商品一覧ページはキーワード欄２０、検索ボタン２２、及び一覧領域２４を含んでいる。キーワード欄２０にはユーザによって指定されたキーワードが表示される。なお、キーワード欄２０及び検索ボタン２２は商品の一覧を絞り込むために使用される。
【００３８】
一覧領域２４には、ユーザによって指定されたキーワードに関連する商品の一覧が表示される。例えば、商品の名称及び価格や商品を販売している店舗が一覧領域２４に表示される。なお、一覧領域２４では、商品名がリンクボタンになっており、商品を購入するための商品ページへのリンク情報（ＵＲＬ）が商品名に関連づけられている。ユーザが商品名をクリックすると、商品ページが表示部１８に表示される。
【００３９】
また、商品一覧ページには店舗又は商品の広告２６が表示される。広告２６はリンクボタンになっており、店舗ページ又は商品ページへのリンク情報（ＵＲＬ）が広告２６に関連づけられている。広告２６がクリックされると、店舗ページ又は商品ページが表示部１８に表示される。
【００４０】
ところで、例えば図３に示すような商品一覧ページが表示部１８に表示されている場合にユーザが画面（商品一覧ページ）内のどの位置を見ていたのかを取得することができれば、ユーザの目にとまってほしい情報（例えば広告２６）の表示位置を見直す際の判断材料として用いることができる。
【００４１】
この点、注視位置推定システム１は、ユーザが注視している画面（言い換えれば、表示部１８の表示領域）内の位置を撮影部１７の撮影画像に基づいて推定するようになっている。より具体的には、注視位置推定システム１は、撮影画像におけるユーザの目領域、顔領域、目以外の部位領域の面積や位置に基づいて、ユーザの注視位置を推定するようになっている。以下、ユーザの注視位置を推定するための構成について詳しく説明する。
【００４２】
注視位置推定システム１では、ユーザの注視位置の推定を実行するのに先だって初期設定を実行する必要がある。そこで、まず、初期設定のための構成について説明する。
【００４３】
図４は、注視位置推定システム１で実現される機能ブロックのうち、初期設定のための機能ブロックを示す機能ブロック図である。図４に示すように、注視位置推定システム１は、初期設定のための機能ブロックとして、基準面積／位置情報記憶部３０、領域検出部３２、基準面積／位置情報取得部３４を含んでいる。基準面積／位置情報記憶部３０は例えば補助記憶部１３によって実現される。また、領域検出部３２、及び基準面積／位置情報取得部３４は例えば制御部１１によって実現される。すなわち、制御部１１がプログラムに従って処理を実行することによって、制御部１１がそれらの機能ブロックとして機能するようになる。
【００４４】
初期設定を行う場合には初期設定画面が表示部１８に表示される。図５は初期設定画面の一例を示す。図５に示す初期設定画面にはマーカー４０及びメッセージ４２が表示されている。マーカー４０はユーザが注視すべき画面内の位置を示している。図５に示す例では、画面の中心点が「ユーザが注視すべき画面内の位置」として設定されている。なお、中心点以外の位置が「ユーザが注視すべき画面内の位置」として設定されるようにしてもよい。メッセージ４２の内容は、上記の位置を見るようにユーザに要求する内容になっている。
【００４５】
初期設定では、上記の初期設定画面が表示されることによって、画面の中心点を見ているユーザの顔の画像が撮影部１７によって撮影され、補助記憶部１３に保存されることになる。図６は撮影部１７の撮影画像の一例を示す模式図である。
【００４６】
領域検出部３２について説明する。図７は領域検出部３２の動作について説明するための図である。
【００４７】
領域検出部３２は、ユーザの目に対応する目領域を撮影画像から検出する。ここで、「目領域」とは、例えば、ユーザの両目に対応する両目領域５２と、ユーザの左目に対応する左目領域５２Ｌと、ユーザの右目に対応する右目領域５２Ｒと、の少なくとも一つである。
【００４８】
図７に示す例の場合、両目領域５２はユーザの両目に対応する矩形領域である。また、左目領域５２Ｌはユーザの左目に対応する矩形領域であり、右目領域５２Ｒはユーザの右目に対応する矩形領域である。なお、図７に示す例の場合、両目領域５２、左目領域５２Ｌ、及び右目領域５２Ｒが矩形領域になっているが、これらの領域は矩形以外の形状の領域であってもよい。
【００４９】
また、領域検出部３２は、ユーザの顔に対応する顔領域と、ユーザの顔にある部位のうちの目以外の所定部位に対応する所定部位領域と、の少なくとも一方を撮影画像から検出する。ここで、「目以外の所定部位」とは、例えば鼻、口、又は耳等である。
【００５０】
図７に示す例の場合、顔領域５０はユーザの顔に対応する矩形領域である。また、鼻領域５４はユーザの鼻に対応する矩形領域であり、口領域５６はユーザの口に対応する矩形領域である。図７に示す例の場合、鼻領域５４及び口領域５６の少なくとも一方が上記の「所定部位領域」に相当する。なお、図７に示す例の場合、顔領域５０、鼻領域５４、及び口領域５６が矩形領域になっているが、これらの領域は矩形以外の形状であってもよい。
【００５１】
なお以下では、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６が領域検出部３２によって検出されることとして説明する。
【００５２】
領域検出部３２は、公知の画像認識アルゴリズムに基づいて、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する。「画像認識アルゴリズム」としては、例えば、ＯｐｅｎＣＶを用いた顔認識アルゴリズムが用いられる。
【００５３】
基準面積／位置情報取得部３４について説明する。基準面積／位置情報取得部３４は、目領域の基準面積情報及び基準位置情報を取得する。具体的には、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される目領域の面積情報及び位置情報に基づいて、目領域の基準面積情報及び基準位置情報を取得する。なお、本実施形態の場合、初期設定画面においてユーザが見るように要求されている位置（例えば中心点）が「基準位置」に相当する。
【００５４】
また、基準面積／位置情報取得部３４は、顔領域と所定部位領域との少なくとも一方の基準面積情報及び基準位置情報を取得する。具体的には、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される顔領域の面積情報及び位置情報に基づいて、顔領域の基準面積情報及び基準位置情報を取得する。また、基準面積／位置情報取得部３４は、ユーザが画面内の基準位置を見ている際の撮影画像から検出される所定部位領域の面積情報及び位置情報に基づいて、所定部位領域の基準面積情報及び基準位置情報を取得する。なお上述したように、「所定部位領域」とは、ユーザの顔にある部位のうちの目以外の所定部位に対応する領域である。
【００５５】
本実施形態の場合、基準面積／位置情報取得部３４は下記の情報を取得する。
（１）顔領域５０の基準面積
（２）顔領域５０の代表点の基準Ｘ座標及び基準Ｙ座標
（３）両目領域５２の基準面積
（４）両目領域５２の代表点の基準Ｘ座標及び基準Ｙ座標
（５）左目領域５２Ｌの基準面積
（６）左目領域５２Ｌの代表点の基準Ｘ座標及び基準Ｙ座標
（７）右目領域５２Ｒの基準面積
（８）右目領域５２Ｒの代表点の基準Ｘ座標及び基準Ｙ座標
（９）鼻領域５４の基準面積
（１０）鼻領域５４の代表点の基準Ｘ座標及び基準Ｙ座標
（１１）口領域５６の基準面積
（１２）口領域５６の代表点の基準Ｘ座標及び基準Ｙ座標
【００５６】
ここで、「代表点」とは例えば領域の中心点である。なお、領域が矩形領域である場合、「代表点」は矩形領域のいずれかの頂点（例えば左上頂点）であってもよい。また、「代表点」の位置はＸＹ座標系によって表される。なお、ＸＹ座標系は、例えば撮影画像の左上頂点を原点Ｏとし、右方向をＸ軸正方向とし、下方向をＹ軸正方向とする座標系である（図７参照）。
【００５７】
例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の面積に基づいて、顔領域５０の基準面積を取得する。例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の面積を、顔領域５０の基準面積として取得する。あるいは、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の複数の撮影画像の各々から検出される顔領域５０の面積の統計値（例えば平均値）を、顔領域５０の基準面積として取得する。
【００５８】
また、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出された顔領域５０の代表点のＸ座標及びＹ座標に基づいて、顔領域５０の基準Ｘ座標及び基準Ｙ座標を取得する。例えば、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の撮影画像から検出される顔領域５０の代表点のＸ座標及びＹ座標を、顔領域５０の基準Ｘ座標及び基準Ｙ座標として取得する。あるいは、基準面積／位置情報取得部３４は、初期設定画面の中心点をユーザが見ている場合の複数の撮影画像の各々から検出される顔領域５０の代表点のＸ座標の統計値（例えば平均値）を、顔領域５０の基準Ｘ座標として取得する。また、基準面積／位置情報取得部３４は、それら複数の撮影画像の各々から検出される顔領域５０の代表点のＹ座標の統計値（例えば平均値）を、顔領域５０の基準Ｙ座標として取得する。
【００５９】
基準面積／位置情報取得部３４は、顔領域５０以外の領域の基準面積、基準Ｘ座標、及び基準Ｙ座標も顔領域５０と同様にして取得する。
【００６０】
基準面積／位置情報記憶部３０は、基準面積／位置情報取得部３４によって取得された基準面積情報及び基準位置情報を記憶する。図８は基準面積／位置情報記憶部３０の記憶内容の一例を示している。図８に示すように、基準面積／位置情報記憶部３０は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積、基準Ｘ座標、及び基準Ｙ座標を記憶する。
【００６１】
ここで、以上に説明した領域検出部３２及び基準面積／位置情報取得部３４を実現するために注視位置推定システム１で実行される処理について説明しておく。図９は該処理の一例を示すフロー図である。制御部１１がプログラムに従って図９に示す処理を実行することによって、制御部１１が領域検出部３２及び基準面積／位置情報取得部３４として機能するようになる。
【００６２】
図９に示す処理は、初期設定画面が所定時間にわたって表示された後に事後的に実行される。図９に示す処理は、補助記憶部１３に保存された動画データ（初期設定画面内の中心点を見るユーザの顔を撮影してなる動画データ）に基づいて実行される。
【００６３】
図９に示すように、制御部１１は動画データから１フレーム分の撮影画像を取得する（Ｓ１０１）。なお、初期設定画面が表示されてから、ユーザがメッセージ４２を認識して初期設定画面の中心点（マーカー４０）を見つめるまでには一定の時間が要されるため、制御部１１はその期間内の撮影画像を無視し、該期間後の撮影画像を取得する。
【００６４】
その後、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ１０２）。例えば、制御部１１はＯｐｅｎＣＶを用いた顔認識アルゴリズムに基づいて上記の各領域を検出する。
【００６５】
そして、制御部１１は、少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ１０３）。少なくとも一つの領域の検出に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ１０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ１０４）。すなわち、制御部１１は、ステップＳ１０２で検出された各領域の面積と、ステップＳ１０２で検出された各領域の代表点（例えば中心点）のＸ座標及びＹ座標と、を取得する。そして、制御部１１は、ステップＳ１０２で検出された各領域の面積情報及び位置情報を補助記憶部１３に記録する。
【００６６】
その後、制御部１１は、次のフレームの撮影画像が存在しているか否かを判定する（Ｓ１０５）。次のフレームの撮影画像が存在している場合、制御部１１は次のフレームの撮影画像を動画データから取得する（Ｓ１０６）。そして、制御部１１はステップＳ１０２の処理を再び実行する。
【００６７】
一方、次のフレームの撮影画像が存在していない場合、すなわち、現在のフレームの撮影画像が動画データのうちの最終フレームの画像である場合、制御部１１は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積情報及び基準位置情報を補助記憶部１３（基準面積／位置情報記憶部３０）に保存する（Ｓ１０７）。
【００６８】
例えば、制御部１１は、各フレームの撮影画像から検出された両目領域５２の面積の統計値（例えば平均値）を、両目領域５２の基準面積として保存する。同様に、制御部１１は、各フレームの撮影画像から検出された両目領域５２の代表点のＸ座標の統計値（例えば平均値）を、両目領域５２の基準Ｘ座標として保存する。また、制御部１１は、各フレームの撮影画像から検出された両目領域５２の代表点のＹ座標の統計値（例えば平均値）を、両目領域５２の基準Ｙ座標として保存する。制御部１１は、両目領域５２以外の領域の基準面積、基準Ｘ座標、及び基準Ｙ座標も、両目領域５２と同様にして取得する。
【００６９】
なお、ステップＳ１０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ１０４の処理を実行することなく、ステップＳ１０５の処理を実行する。すなわち、図９に示す処理では、少なくとも一つの領域の検出に失敗した場合にそのフレームの撮影画像が無視されるようになっている。
【００７０】
以上のように、初期設定では、初期設定画面の中心点をユーザが見ている場合の顔領域５０等の面積情報及び位置情報に基づいて、顔領域５０等の基準面積情報及び基準位置情報が補助記憶部１３（基準面積／位置情報記憶部３０）に保存される。以上で初期設定に関する説明を終了する。次に、ユーザの注視位置を推定する構成について説明する。
【００７１】
図１０は、注視位置推定システム１で実現される機能ブロックのうち、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図１０に示すように、注視位置推定システム１は、ユーザの注視位置を推定する機能ブロックとして、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４を含んでいる。基準面積／位置情報記憶部３０及び領域検出部３２は、図４における基準面積／位置情報記憶部３０及び領域検出部３２と同様である。面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４は例えば制御部１１によって実現される。すなわち、制御部１１がプログラムに従って処理を実行することによって、制御部１１がそれらの機能ブロックとして機能するようになる。
【００７２】
例えば、商品一覧ページが表示されている期間におけるユーザの注視位置を推定する場合には、商品一覧ページが表示されている期間において撮影部１７によって撮影された動画データに基づいて、領域検出部３２、面積／位置情報取得部６０、及び注視位置推定部６２が動作することになる。
【００７３】
領域検出部３２について説明する。上述したように、領域検出部３２は、ユーザの目に対応する目領域を撮影画像から検出する。また、領域検出部３２は、ユーザの顔に対応する顔領域と、ユーザの顔にある部位のうちの目以外の所定部位に対応する所定部位領域と、の少なくとも一方を撮影画像から検出する。
【００７４】
本実施形態の場合、領域検出部３２は、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する。
【００７５】
面積／位置情報取得部６０について説明する。面積／位置情報取得部６０は、領域検出部３２によって検出された各領域の面積情報及び位置情報を取得する。例えば、面積／位置情報取得部６０は目領域の面積情報及び位置情報を取得する。また、面積／位置情報取得部６０は、顔領域及び所定部位領域の少なくとも一方の面積情報及び位置情報を取得する。
【００７６】
本実施形態の場合、面積／位置情報取得部６０は下記の情報を取得する。
（１）顔領域５０の面積
（２）顔領域５０の代表点のＸ座標及びＹ座標
（３）両目領域５２の面積
（４）両目領域５２の代表点のＸ座標及びＹ座標
（５）左目領域５２Ｌの面積
（６）左目領域５２Ｌの代表点のＸ座標及びＹ座標
（７）右目領域５２Ｒの面積
（８）右目領域５２Ｒの代表点のＸ座標及びＹ座標
（９）鼻領域５４の面積
（１０）鼻領域５４の代表点のＸ座標及びＹ座標
（１１）口領域５６の面積
（１２）口領域５６の代表点のＸ座標及びＹ座標
【００７７】
「代表点」は例えば領域の中心点である。なお、領域が矩形領域である場合、「代表点」は矩形領域のいずれかの頂点（例えば左上頂点）であってもよい。また、各領域の代表点の位置はＸＹ座標系（図７参照）によって表される。
【００７８】
注視位置推定部６２について説明する。注視位置推定部６２は、面積／位置情報取得部６０によって取得された各領域の面積情報及び位置情報に基づいて、ユーザが注視している画面内の位置を推定する。
【００７９】
例えば、注視位置推定部６２は、面積／位置情報取得部６０によって取得された各領域の面積情報及び位置情報と、基準面積／位置情報記憶部３０に記憶された各領域の基準面積情報及び基準位置情報と、の差に基づいて、ユーザの注視位置を推定する。例えば、注視位置推定部６２は、上記の差に基づき、１又は複数の演算式に従って演算を行うことによって、ユーザの注視位置を推定する。注視位置推定部６２の動作の詳細については後述する（後述の図１１及び図１２のステップＳ２０５〜Ｓ２１０参照）。
【００８０】
処理実行部６４について説明する。処理実行部６４は、注視位置推定部６２によって推定されたユーザの注視位置に基づいて、所定の処理を実行する。「所定の処理」とは、例えば、ユーザの注視位置に関する集計処理や、ユーザの注視位置の分布を示す分布データを生成する処理等である。
【００８１】
ここで、以上に説明した領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４を実現するために注視位置推定システム１で実行される処理について説明する。図１１及び図１２は該処理の一例を示すフロー図である。制御部１１がプログラムに従って図１１及び図１２に示す処理を実行することによって、制御部１１が領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４として機能する。
【００８２】
なお、図１１及び図１２に示す処理は、補助記憶部１３に予め保存された動画データ（例えば、商品一覧ページが表示されている間に撮影されたユーザの顔の動画データ）に基づいて実行される。
【００８３】
図１１に示すように、まず、制御部１１は動画データから１フレーム分の撮影画像を取得する（Ｓ２０１）。そして、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ２０２）。例えば、制御部１１はＯｐｅｎＣＶを用いた顔認識アルゴリズムに基づいて上記の各領域を検出する。
【００８４】
その後、制御部１１は、少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ２０３）。少なくとも一つの領域の検出に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ２０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ２０４）。すなわち、制御部１１は、ステップＳ２０２で検出された各領域の面積と、ステップＳ２０２で検出された各領域の代表点（例えば中心点）のＸ座標及びＹ座標と、を取得する。
【００８５】
その後、制御部１１は、ステップＳ２０２で検出された各領域について、面積差分値（ΔＳ）を算出する（Ｓ２０５）。面積差分値（ΔＳ）は、ステップＳ２０４で取得された面積と基準面積との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０の面積から、補助記憶部１３に記憶された顔領域５０の基準面積を引くことによって、顔領域５０の面積差分値（ΔＳ）を算出する。制御部１１は顔領域５０以外の各領域の面積差分値（ΔＳ）も顔領域５０と同様にして算出する。
【００８６】
また、制御部１１は、ステップＳ２０２で検出された各領域について、Ｘ座標差分値（ΔＸ）を算出する（Ｓ２０６）。Ｘ座標差分値（ΔＸ）は、ステップＳ２０４で取得されたＸ座標と基準Ｘ座標との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０のＸ座標から、補助記憶部１３に記憶された顔領域５０の基準Ｘ座標を引くことによって、顔領域５０のＸ座標差分値（ΔＸ）を算出する。制御部１１は顔領域５０以外の各領域のＸ座標差分値（ΔＸ）も顔領域５０と同様にして算出する。
【００８７】
さらに、制御部１１は、ステップＳ２０２で検出された各領域について、Ｙ座標差分値（ΔＹ）を算出する（Ｓ２０７）。Ｙ座標差分値（ΔＹ）は、ステップＳ２０４で取得されたＹ座標と基準Ｙ座標との差分値である。例えば、制御部１１は、ステップＳ２０４で取得された顔領域５０のＹ座標から、補助記憶部１３に記憶された顔領域５０の基準Ｙ座標を引くことによって、顔領域５０のＹ座標差分値（ΔＹ）を算出する。制御部１１は顔領域５０以外の各領域のＹ座標差分値（ΔＹ）も顔領域５０と同様にして算出する。
【００８８】
上記のステップＳ２０５〜Ｓ２０７の処理によって下記の１８個の差分値が取得されることになる。
（１）顔領域５０の面積差分値（ΔＳ）
（２）顔領域５０のＸ軸差分値（ΔＸ）
（３）顔領域５０のＹ軸差分値（ΔＹ）
（４）両目領域５２の面積差分値（ΔＳ）
（５）両目領域５２のＸ軸差分値（ΔＸ）
（６）両目領域５２のＹ軸差分値（ΔＹ）
（７）左目領域５２Ｌの面積差分値（ΔＳ）
（８）左目領域５２ＬのＸ軸差分値（ΔＸ）
（９）左目領域５２ＬのＹ軸差分値（ΔＹ）
（１０）右目領域５２Ｒの面積差分値（ΔＳ）
（１１）右目領域５２ＲのＸ軸差分値（ΔＸ）
（１２）右目領域５２ＲのＹ軸差分値（ΔＹ）
（１３）鼻領域５４の面積差分値（ΔＳ）
（１４）鼻領域５４のＸ軸差分値（ΔＸ）
（１５）鼻領域５４のＹ軸差分値（ΔＹ）
（１６）口領域５６の面積差分値（ΔＳ）
（１７）口領域５６のＸ軸差分値（ΔＸ）
（１８）口領域５６のＹ軸差分値（ΔＹ）
【００８９】
その後、制御部１１は、上記の１８個の差分値の各々について、加重移動平均を算出する（Ｓ２０８）。例えば、制御部１１は顔領域５０の面積差分値（ΔＳ）の加重移動平均を算出する。すなわち、制御部１１は、直近のＮ個（例えば１０個）の顔領域５０の面積差分値（ΔＳ）の加重平均を算出する。同様にして、制御部１１は、顔領域５０のＸ座標差分値（ΔＸ）の移動加重平均や、顔領域５０のＹ座標差分値（ΔＹ）の移動加重平均も算出する。また同様にして、制御部１１は、顔領域５０以外の各領域の各差分値ごとに加重移動平均を算出する。なお、ステップＳ２０８において、制御部１１は、上記の１８個の差分値の各々について、単純移動平均を算出するようにしてもよい。
【００９０】
その後、制御部１１は、上記の１８個の差分値の各々の加重移動平均（又は単純移動平均）に対して、第１〜第１８の主成分スコアを算出する（Ｓ２０９）。すなわち、制御部１１は、上記の１８個の差分値の各々の加重移動平均を１８個の主成分スコアに変換する。制御部１１は第１〜第１８の主成分スコアを図１３に示す演算式に基づいて算出する。
【００９１】
なお図１３において、「ｚｉ」（ｉ：１〜１８の自然数）は第ｉの主成分スコアを示す。すなわち、「ｚ１」は第１の主成分スコアを示し、「ｚ１８」は第１８の主成分スコアを示す。
【００９２】
また図１３において、「ｄ１」〜「ｄ１８」は上記の１８個の差分値の各々の加重移動平均（又は単純移動平均）を示す。例えば「ｄ１」〜「ｄ１８」は下記を示す。
（１）ｄ１，ｄ２，ｄ３：顔領域５０の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（２）ｄ４，ｄ５，ｄ６：両目領域５２の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（３）ｄ７，ｄ８，ｄ９：左目領域５２Ｌの面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（４）ｄ１０，ｄ１１，ｄ１２：右目領域５２Ｒの面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（５）ｄ１３，ｄ１４，ｄ１５：鼻領域５４の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
（６）ｄ１６，ｄ１７，ｄ１８：口領域５６の面積差分値（ΔＳ）の加重移動平均、Ｘ座標差分値（ΔＸ）の加重移動平均、Ｙ座標差分値（ΔＹ）の加重移動平均
【００９３】
また図１３において、「Ｌｉ＿ｊ」（ｉ，ｊ：１〜１８の自然数）は予め定められた係数を示している。係数Ｌｉ＿ｊの決定方法については後述する（後述の図１５参照）。
【００９４】
ステップＳ３０５において第１〜第１８の主成分スコアが算出された後、制御部１１は、第１〜第１８の主成分スコアに基づいて、ユーザの注視位置を算出する（Ｓ２１０）。制御部１１はユーザの注視位置を図１４に示す演算式に従って算出する。
【００９５】
なお図１４において、「Ｇｘ」はユーザの注視位置のＸｓ座標を示し、「Ｇｙ」はユーザの注視位置のＹｓ座標を示す。Ｘｓ座標及びＹｓ座標は、画面内の位置を示すためのＸｓＹｓ座標系における座標値であり、ＸｓＹｓ座標系は、例えば画面の左上頂点を原点Ｏｓとし、右方向をＸｓ軸正方向とし、下方向をＹｓ軸正方向とする座標系である（図２参照）。また、図１３と同様、「ｚｉ」（ｉ：１〜１８の自然数）は第ｉの主成分スコアを示す。また図１４において、「Ｐ」及び「Ｓ」は予め定められた定数であり、「Ｑｉ」及び「Ｔｉ」（ｉ：１〜１８の自然数）は予め定められた係数である。
【００９６】
ところで、図１４に示す演算式では、第１〜第１８の主成分スコアのすべてを用いてユーザの注視位置のＸｓ座標及びＹｓ座標が算出されるようになっているが、実際には、係数Ｑｉ又は係数Ｔｉが零に設定される場合もある。例えば、ユーザの注視位置のＸｓ座標を算出するための演算式において、係数Ｑ１６が零に設定される場合があり、その場合、第１６の主成分スコアはユーザの注視位置のＸｓ座標の算出に用いられないことになる。このように、ユーザの注視位置のＸｓ座標は、必ずしも、第１〜第１８の主成分スコアのすべてを用いて算出されるわけではなく、第１〜第１８の主成分スコアのうちの少なくとも一つを用いて算出される。ユーザの注視位置のＹｓ座標も同様である。定数Ｐ，Ｓや係数Ｑｉ及びＴｉの決定方法については後述する（後述の図１５参照）。
【００９７】
ステップＳ２１０では以上のようにしてユーザの注視位置が算出され、制御部１１は、算出された注視位置を補助記憶部１３に記録する（Ｓ２１１）。なお、ステップＳ２０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ２０４〜Ｓ２１１の処理を実行することなく、後述のステップＳ２１２の処理を実行するようになっている。すなわち、少なくとも一つの領域の検出に失敗した場合、制御部１１はそのフレームの撮影画像を無視し、ユーザの注視位置を算出しないようになっている。
【００９８】
ユーザの注視位置が補助記憶部１３に記録された後、制御部１１は次のフレームの撮影画像が存在しているか否かを判定する（Ｓ２１２）。次のフレームの撮影画像が存在している場合、制御部１１は次のフレームの撮影画像を動画データから取得する（Ｓ２１３）。そして、制御部１１はステップＳ２０２の処理を再び実行する。
【００９９】
一方、次のフレームの撮影画像が存在していない場合、すなわち、現在のフレームの撮影画像が動画データのうちの最終フレームの画像である場合、制御部１１は、補助記憶部１３に記録されたユーザの注視位置の分布を示す分布データを生成する（Ｓ２１４）。以上で図１１及び図１２に示す処理の説明を終了する。
【０１００】
ここで、第１〜第１８の主成分スコアを算出するための演算式（図１３）やユーザの注視位置を算出するための演算式（図１４）における定数及び係数の決定方法について説明する。
【０１０１】
これらの係数及び定数は、複数の被験者を対象として下記に説明するようなデータを収集し、かつ、該データを分析することによって決定される。図１５は上記の係数及び定数の決定手順について説明するための図である。なお、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）は、ユーザの注視位置を推定するためのプログラム内に埋め込む必要があるため、下記に説明するデータの収集及び分析は該プログラムを開発する際に実施される。また例えば、ユーザの注視位置を推定するためのプログラムの開発者やその同僚等が上記の「被験者」となる。
【０１０２】
上記の係数及び定数を決定する場合、まず、被験者が画面内の所定位置（例えば中心点）を見ている場合における撮影部１７の撮影画像を取得し、その撮影画像に基づいて、被験者が画面内の所定位置を見ている場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報を取得する。そして、それらの面積情報及び位置情報に基づいて、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の基準面積情報及び基準位置情報を取得する（図１５（Ａ）参照）。この基準面積情報及び基準位置情報を取得するための処理は図９において説明した処理と同様である。
【０１０３】
次に、被験者が画面内の様々な位置を見ている場合の撮影部１７の撮影画像を取得する。具体的には、ポインティングデバイスを用いて画面内の様々な位置を指示するように被験者に要求し、被験者が画面内の位置を指示した場合における撮影部１７の撮影画像を取得する。そして、その撮影画像に基づいて、被験者が画面内の位置を指示した場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報を取得する（図１５（Ｂ）参照）。
【０１０４】
なお、人間はポインティングデバイスで画面内の位置を指示する場合にその位置を注視する傾向にあるため、ここで取得された面積情報及び位置情報は、ポインティングデバイスを用いて指示された位置を被験者が見ている場合における被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報に相当する。
【０１０５】
次に、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を取得する（図１５（Ｃ）参照）。これらは図１５（Ａ）に示すデータと図１５（Ｂ）に示すデータとに基づいて取得される。
【０１０６】
次に、被験者の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を対象として主成分分析を実施する。すなわち、１８個の差分値（６個の領域の各々の３個の差分値）を対象として一般的な主成分分析の手順に従って主成分分析が実施され、その結果として、第１〜第１８の主成分スコアを示す演算式（図１３）が取得される。すなわち、第１〜第１８の主成分スコアを算出するための演算式における係数Ｌｉ＿ｊ（ｉ，ｊ：１〜１８の自然数）が取得される。
【０１０７】
次に、第１〜第１８の主成分スコアを算出するための演算式（図１３）に従って、第１〜第１８の主成分スコアを算出する（図１５（Ｄ）参照）。そして、被験者が指定した画面内の位置（すなわち、被験者が実際に見ていた位置）と、被験者が該位置を指定した場合（すなわち、被験者が該位置を実際に見ていた場合）の第１〜第１８の主成分スコアと、を対象として線形回帰分析を実施する。すなわち、一般的な線形回帰分析の手順に従って線形回帰分析が実施され、その結果として、ユーザの注視位置と第１〜第１８の主成分スコアとの関係を示す演算式（図１４）が取得される。すなわち、ユーザの注視位置を算出するための演算式における定数Ｐ，Ｓ及び係数Ｑｉ，Ｔｉ（ｉ：１〜１８の自然数）が取得される。
【０１０８】
以上に説明したようにして、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）は決定される。
【０１０９】
以上に説明した第１実施形態に係る注視位置推定システム１によれば、一つの撮影部（カメラ）によって撮影されたユーザの顔の画像に基づいて、ユーザが注視している画面内の位置を推定することが可能になる。
【０１１０】
ところで、一つの撮影部によって撮影されたユーザの顔の画像に基づいてユーザの注視位置を推定する方法としては、例えば、画像内のユーザの虹彩中心位置を検出し、さらに、画像からユーザの眼球中心の投影位置を推定し、それらの虹彩中心位置及び眼球中心の投影位置に基づいてユーザの注視位置を推定する方法が知られている（例えば特開２０１１−９０７０２号公報）。
【０１１１】
しかしながら、この方法を採用する場合には、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がある。虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするためには処理負荷の重い処理を実行する必要があるため、上記の方法を採用した場合には、ユーザの注視位置を推定するための処理の処理負荷が重くなってしまう場合がある。これに対し、第１実施形態に係る注視位置推定システム１によれば、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がない。その結果、第１実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための処理の処理負荷を抑えることが可能になる。
【０１１２】
また、上記の方法を採用する場合には、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりするために画像が高解像度でなければならず、高解像度の撮影部（カメラ）が必要となる。これに対し、第１実施形態に係る注視位置推定システム１では、ユーザの顔、目、鼻、及び口を判別できれば十分であるため、高解像度のカメラは必要でない。
【０１１３】
また、上記の方法によれば、上下左右のどちらの方向をユーザが見ているのかを判別することは可能になるが（例えば特開２０１１−９０７０２号公報の図２２参照）、比較的狭い画面内のどの位置をユーザが注視しているのかを判別するという目的を達成するためには精度が十分でない。これに対し、第１実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を上記の方法よりも高い精度で推定できるようになる。
【０１１４】
なお、第１実施形態に係る注視位置推定システム１では、顔領域５０等の各領域の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の移動平均が算出され、それらの移動平均に基づいて、ユーザの注視位置が推定されるようになっている（図１２のステップＳ２０８参照）。両目領域５２等を撮影画像から検出する場合には誤って眉毛領域が両目領域５２として検出されてしまう場合がある。しかしながら、注視位置推定システム１では上記のようになっていることによって、例えば、あるフレームの撮影画像において領域の誤検出が生じたとしても、それが注視位置の推定の精度に及ぼす影響が抑えられるようになっている。すなわち、上記のようにすることによって、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１１５】
また、第１実施形態に係る注視位置推定システム１では、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６のうちの少なくとも一つの検出が失敗した場合、その撮影画像が無視されることになり、その撮影画像はユーザの注視位置の推定に用いられないようになっている（図１１のステップＳ２０３参照）。このようにすることによって、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１１６】
また、第１実施形態に係る注視位置推定システム１によれば、所定の画面（例えば商品一覧ページ）が表示されている場合におけるユーザの注視位置を取得できるようになるため、例えば、ユーザの目にとまってほしい情報（例えば広告２６等）の表示位置を見直す際の判断材料を得ることができるようになる。
【０１１７】
［第２実施形態］次に、本発明の第２実施形態について説明する。本発明の第２実施形態に係る注視位置推定システム１の構成等は第１実施形態と同様である（図１，２参照）。
【０１１８】
第２実施形態に係る注視位置推定システム１は、ユーザの注視位置の推定をリアルタイムで実行する点で第１実施形態とは異なる。また、第２実施形態に係る注視位置推定システム１は、ユーザの注視位置の推定をリアルタイムで実行するならではの構成を備えている点でも第１実施形態とは異なる。
【０１１９】
図１６は、第２実施形態に係る注視位置推定システム１で実現される機能ブロックのうちの、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図１６に示すように、第２実施形態に係る注視位置推定システム１は、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、処理実行部６４、及び設定部７０を含む。
【０１２０】
上述したように、第２実施形態に係る注視位置推定システム１では、領域検出部３２による領域の検出、面積／位置情報取得部６０による面積情報及び位置情報の取得や、注視位置推定部６２による注視位置の推定が、撮影部１７によって所定時間（例えば１／３０秒）ごとに撮影される画像に基づいてリアルタイムに実行される点で第１実施形態とは異なる。リアルタイムで処理が実行される点を除き、領域検出部３２、面積／位置情報取得部６０、及び注視位置推定部６２は第１実施形態と同様である。
【０１２１】
図１７は、第２実施形態に係る注視位置推定システム１で実行される処理の一例を示すフロー図である。図１７に示す処理は、ユーザの注視位置を推定すべき期間内において所定時間（例えば１／３０秒）ごとに実行される。「ユーザの注視位置を推定すべき期間」とは、例えば所定画面（商品一覧ページ等）が表示されている期間である。
【０１２２】
図１７に示すように、まず、制御部１１は、撮影部１７によって撮影された最新の撮影画像を取得する（Ｓ３０１）。その後、制御部１１は、撮影画像内の顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６を検出する（Ｓ３０２）。ステップＳ３０２の処理は図１１のステップＳ２０２の処理と同様である。
【０１２３】
また、制御部１１は少なくとも一つの領域の検出に失敗したか否かを判定する（Ｓ３０３）。少なくとも一つの領域に失敗したと判定されなかった場合、すなわち、すべての領域の検出に成功した場合、制御部１１は、ステップＳ３０２で検出された各領域の面積情報及び位置情報を取得する（Ｓ３０４）。ステップＳ３０３，Ｓ３０４の処理は図１１のステップＳ２０３，Ｓ２０４の処理と同様である。
【０１２４】
その後、制御部１１は、ステップＳ３０２で検出された各領域の面積情報及び位置情報に基づいて、ユーザの注視位置を推定し（Ｓ３０５）、ユーザの注視位置を補助記憶部１３に記録する（Ｓ３０６）。ステップＳ３０５，Ｓ３０６の処理は図１１及び図１２のステップＳ２０５〜Ｓ２１１の処理と同様である。
【０１２５】
その後、制御部１１は、ユーザの注視位置を示す画像を画面内に表示させる（Ｓ３０７）。例えば、制御部１１は、ユーザの注視位置として推定された画面内の位置に所定画像（マーカー等）を表示させる。
【０１２６】
なお、ステップＳ３０３において、少なくとも一つの領域の検出に失敗したと判定された場合、制御部１１は、ステップＳ３０４〜Ｓ３０７の処理を実行することなく、本処理を終了する。この場合、撮影画像は無視されることになり、ユーザの注視位置の推定等は実行されなくなる。以上で図１７に示す処理の説明を終了する。
【０１２７】
第２実施形態に係る注視位置推定システム１では、虹彩中心位置を検出したり、眼球中心の投影位置を推定したりする必要がなく、その結果として、ユーザの注視位置を推定するための処理の処理負荷が抑えられるため、ユーザの注視位置をリアルタイムに推定することが可能になる。また、第２実施形態に係る注視位置推定システム１によれば、ユーザの注視位置がリアルタイムに画面に表示されるようになる。これによって、ユーザが実際に注視している位置と、ユーザが注視していると推定された位置との間の差を一見して把握できるようになる。
【０１２８】
なお、第２実施形態に係る注視位置推定システム１では、ユーザの注視位置をリアルタイムに取得することが可能になるため、例えば、ユーザが注視位置によって各種の指示を情報処理装置１０に与えるようなユーザインタフェースを実現することも可能になる。例えば、画面内に設定された所定領域を所定期間にわたってユーザが注視し続けた場合に該所定領域に対応する処理（例えば画面のスクロール等）を情報処理装置１０が実行するようなユーザインタフェースを実現することも可能になる。
【０１２９】
ところで、第２実施形態に係る注視位置推定システム１は設定部７０を含む点でも第１実施形態とは異なる。以下、設定部７０について説明する。
【０１３０】
設定部７０は情報処理装置１０の処理能力に関する情報（処理能力情報）を取得する。「処理能力情報」とは、例えば、情報処理装置１０の処理速度に関する情報である。例えば、設定部７０は、情報処理装置１０において所定処理を実行させ、情報処理装置１０が該所定処理を実行するために要する時間を計測する。そして、設定部７０は、計測された時間を「処理能力情報」として取得する。この場合、上記時間が短いほど、情報処理装置１０の処理能力が高いことを示すことになる。
【０１３１】
また、設定部７０はユーザの注視位置を推定する処理（図１７）の実行間隔を処理能力情報に基づいて設定する。上記の実行間隔を処理能力情報に基づいて設定するためには、処理能力情報と実行間隔との対応関係を示す対応関係情報が必要となる。図１８はこの対応関係情報の一例を示す。設定部７０は、図１８に示す対応関係情報と、情報処理装置１０の処理能力情報と、に基づいて、ユーザの注視位置を推定する処理（図１７）の実行間隔を設定する。
【０１３２】
なお図１８において、「ｐ」は情報処理装置１０の処理能力（処理速度）を示す指標値である。指標値（ｐ）の値が高いほど、情報処理装置１０の処理能力が高いことを示す。例えば、情報処理装置１０が所定処理を実行するために要した時間を「ｔ」とすると、指標値（ｐ）はｐ＝１／ｔによって算出される。
【０１３３】
また図１８において、「Ｐａ」及び「Ｐｂ」は所定値を示し、これらは「Ｐａ＜Ｐｂ」の関係を有する。また、「Ｔａ」、「Ｔｂ」、及び「Ｔｃ」は所定時間を示し、これらは「Ｔａ＞Ｔｂ＞Ｔｃ」の関係を有する。例えば、「Ｔａ」は１／１０秒であり、「Ｔｂ」は１／１５秒であり、「Ｔｃ」は１／３０秒である。
【０１３４】
図１８に示す対応関係情報では、情報処理装置１０の処理能力が高いほど、ユーザの注視位置を推定する処理（図１７）の実行間隔が短くなるようになっている。また、図１８に示す対応関係情報では、指標値（ｐ）が「０＜ｐ≦Ｐａ」の関係を満たす場合、上記の実行間隔が撮影部１７の撮影間隔（１／３０秒）よりも長い時間（１／１０秒）に設定されるようになっている。同様に、指標値（ｐ）が「Ｐａ＜ｐ≦Ｐｂ」の関係を満たす場合にも、上記の実行間隔が撮影部１７の撮影間隔（１／３０秒）よりも長い時間（１／１５秒）に設定されるようになっている。
【０１３５】
第２実施形態に係る注視位置推定システム１によれば、上記のような設定部７０を含んでいることによって、ユーザの注視位置を推定する処理（図１７）の実行間隔が、注視位置推定システム１（情報処理装置１０）の処理能力に応じて設定されるようになる。例えば、注視位置推定システム１（情報処理装置１０）の処理能力が低い場合には、上記の実行間隔が長くなり、その結果として、ユーザの注視位置の推定に関わる処理負荷が軽減されるようになる。一方、注視位置推定システム１（情報処理装置１０）の処理能力が高い場合には、上記の実行間隔が短くなり、その結果として、ユーザの注視位置の推定の頻度が高くなるようになる。
【０１３６】
なお、設定部７０の態様は上記に説明した態様に限られない。
【０１３７】
例えば、図１２のステップＳ２０８では、例えば、ステップＳ２０２で検出された各領域の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の各々の加重移動平均を算出する場合に直近のＮ個の値を用いることとして説明した。設定部７０はこの個数（Ｎ）を処理能力情報に基づいて設定するようにしてもよい。
【０１３８】
上記の個数（Ｎ）を処理能力情報に基づいて設定するためには、処理能力情報と個数（Ｎ）との対応関係を示す対応関係情報が必要となる。図１９はこの対応関係情報の一例を示す。設定部７０は、図１９に示す対応関係情報と、情報処理装置１０の処理能力情報と、に基づいて、上記の個数（Ｎ）を設定する。
【０１３９】
図１８と同様、図１９において、「ｐ」は情報処理装置１０の処理能力（処理速度）を示す指標値である。また、「Ｐａ」及び「Ｐｂ」は所定値を示し、これらは「Ｐａ＜Ｐｂ」の関係を有する。さらに図１９において、「Ｎａ」、「Ｎｂ」、及び「Ｎｃ」は所定の個数を示し、これらは「Ｎａ＜Ｎｂ＜Ｎｃ」の関係を有する。例えば、「Ｎａ」は３個であり、「Ｎｂ」は５個であり、「Ｎｃ」は１０個である。図１９に示す対応関係情報では、情報処理装置１０の処理能力が高いほど、上記の個数（Ｎ）が多くなるようになっている。
【０１４０】
上記のような設定部７０によれば、例えば、注視位置推定システム１（情報処理装置１０）の処理能力が低い場合には上記の個数（Ｎ）が少なくなり、その結果として、面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の各々の加重移動平均の算出に関わる処理負荷が軽減されるようになる。一方、注視位置推定システム１（情報処理装置１０）の処理能力が高い場合には上記の個数（Ｎ）が多くなり、その結果として、ユーザの注視位置の推定の精度が高まるようになる。
【０１４１】
［第３実施形態］次に、本発明の第３実施形態について説明する。本発明の第３実施形態に係る注視位置推定システム１の構成等は第１実施形態及び第２実施形態と同様である（図１，２参照）。
【０１４２】
例えば、ユーザがマウス１６Ｃ等のポインティングデバイスを用いて画面内の位置を指示しようとする場合、自らが指示しようとする位置をユーザは注視する傾向がある。第３実施形態に係る注視位置推定システム１は、このようなユーザの傾向を考慮して、ユーザの注視位置の推定の精度を高めるための構成を備える点で第１実施形態及び第２実施形態とは異なる。
【０１４３】
図２０は、第３実施形態に係る注視位置推定システム１で実現される機能ブロックのうちの、ユーザの注視位置を推定する機能ブロックを示す機能ブロック図である。図２０に示すように、第３実施形態に係る注視位置推定システム１は、基準面積／位置情報記憶部３０、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、処理実行部６４、指示位置取得部８０、補正データ記憶部８２、及び補正部８４を含む。
【０１４４】
第３実施形態に係る注視位置推定システム１は指示位置取得部８０、補正データ記憶部８２、及び補正部８４を含む点で第１実施形態及び第２実施形態とは異なる。このため、以下ではこれらの機能ブロックについて説明する。なお、他の機能ブロックは第１実施形態又は第２実施形態と同様であるため、ここでは説明を省略する。
【０１４５】
指示位置取得部８０はユーザによって指示された画面内の位置を取得する。例えば、指示位置取得部８０は、ユーザがタッチパッド１６Ｂやマウス１６Ｃ等のポインティングデバイスを用いて指示した画面内の位置を取得する。
【０１４６】
補正データ記憶部８２は、ユーザの注視位置を算出するための１又は複数の演算式（図１３，１４）に含まれる定数又は／及び係数を補正するための補正データを記憶する。
【０１４７】
具体的には、補正データ記憶部８２は、ユーザによって指示された画面内の位置と、該位置がユーザによって指示された際における顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積情報及び位置情報と、を対応づけて記憶する。図２１は補正データ記憶部８２に記憶される補正データの一例を示す。
【０１４８】
補正部８４は、ユーザの注視位置を算出するための１又は複数の演算式（図１３，１４）に含まれる定数又は／及び係数を補正データに基づいて補正する。
【０１４９】
例えば、補正部８４は、図１５を参照しながら説明した処理と同様の処理を補正データに基づいて実行することによって、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）を決定し直す。この場合、基準面積／位置情報記憶部３０の記憶内容（図８）が図１５（Ａ）に示すデータに相当し、補正データ記憶部８２に記憶される補正データ（図２１）が図１５（Ｂ）に示すデータに相当することになる。なお、第１〜第１８の主成分スコアを算出するための演算式（図１３）や、ユーザの注視位置を算出するための演算式（図１４）を決定し直す場合には、補正データに多数のレコード（例えば１００００件程度のレコード）が記憶されているのが望ましい。
【０１５０】
すなわち、補正部８４は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を取得する。
【０１５１】
その後、補正部８４は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の各々の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を対象として主成分分析を実施する。
【０１５２】
すなわち、補正部８４は、１８個の差分値（６個の領域の各々の３個の差分値）を対象として一般的な主成分分析の手順に従って主成分分析を実施し、その結果として、第１〜第１８の主成分スコアを示す演算式（図１３）を新たに取得する。すなわち、補正部８４は、第１〜第１８の主成分スコアを算出するための演算式における係数Ｌｉ＿ｊ（ｉ，ｊ：１〜１８の自然数）を新たに取得する。この場合、以降において第１〜第１８の主成分スコアを算出する際には、新たに取得された演算式が用いられることになる。
【０１５３】
また、補正部８４は、第１〜第１８の主成分スコアを算出するための演算式（図１３）に従って、ユーザが画面内の位置を指示した場合の第１〜第１８の主成分スコアを算出する。そして、ユーザが指示した画面内の位置（つまり、ユーザが実際に見ていた位置）と、ユーザが該位置を指示した場合（つまり、ユーザが該位置を見ていた場合）の第１〜第１８の主成分スコアと、を対象として線形回帰分析を実施する。
【０１５４】
すなわち、補正部８４は、一般的な線形回帰分析の手順に従って線形回帰分析を実施し、その結果として、ユーザの注視位置と第１〜第１８の主成分スコアとの関係を示す演算式（図１４）を新たに取得する。すなわち、補正部８４は、ユーザの注視位置を算出するための演算式における定数Ｐ，Ｓ及び係数Ｑｉ，Ｔｉ（ｉ：１〜１８の自然数）を新たに取得する。この場合、以降においてユーザの注視位置を算出する際には、新たに取得された演算式が用いられることになる。
【０１５５】
以上に説明した第３実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための１又は複数の演算式（図１３，１４）における定数又は／及び係数が、ユーザが画面内の位置を見ていた場合のユーザの顔領域５０等の面積情報及び位置情報に基づいて見直されるようになる。すなわち、第３実施形態に係る注視位置推定システム１によれば、ユーザの注視位置を推定するための１又は複数の演算式における定数又は／及び係数を、ユーザの顔の特徴やユーザの癖等が反映されたものへと補正することが可能になる。その結果として、ユーザの注視位置の推定の精度を向上させることが可能になる。
【０１５６】
なお、以上では、補正データ記憶部８２が、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶することとして説明した（図２１）。
【０１５７】
しかしながら、補正データ記憶部８２は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶する代わりに、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を記憶するようにしてもよい。
【０１５８】
あるいは、補正データ記憶部８２は、ユーザが画面内の位置を指示した場合におけるユーザの顔領域５０等の面積及び位置を記憶する代わりに、ユーザが画面内の位置を指示した場合における撮影画像を記憶するようにしてもよい。
【０１５９】
［第４実施形態］次に、本発明の第４実施形態について説明する。図２２は、本発明の第４実施形態に係る注視位置推定システム１の構成の一例を示している。図２２に示すように、第４実施形態に係る注視位置推定システム１は情報処理装置１０とサーバ装置９０とを含んで構成される。情報処理装置１０とサーバ装置９０との間では、例えばインターネット等の通信ネットワーク２を介してデータを授受できるようになっている。
【０１６０】
情報処理装置１０の構成は第１実施形態における情報処理装置１０と同様である。サーバ装置９０は、図２２に示すように、制御部９１、主記憶部９２、補助記憶部９３、光ディスクドライブ部９４、及び通信インタフェース９５を含む。制御部９１、主記憶部９２、補助記憶部９３、光ディスクドライブ部９４、及び通信インタフェース９５は情報処理装置１０の制御部１１、主記憶部１２、補助記憶部１３、光ディスクドライブ部１４、及び通信インタフェース１５と同様である。
【０１６１】
第４実施形態に係る注視位置推定システム１は第１実施形態と同様の機能ブロックを含む（図１０）。ただし、第４実施形態に係る注視位置推定システム１では、図１０に示す機能ブロックのうちの少なくとも一つがサーバ装置９０において実現される。言い換えれば、図１１及び図１２に示す処理のうちの少なくとも一部がサーバ装置９０において実行される。以下、第４実施形態に係る注視位置推定システム１の具体例として、第４−１実施形態、第４−２実施形態、及び第４−３実施形態について説明する。
【０１６２】
［第４−１実施形態］第４−１実施形態では、処理実行部６４がサーバ装置９０において実現され、処理実行部６４以外の機能ブロックが情報処理装置１０において実現される。すなわち、この実施形態では、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が処理実行部６４として機能する。
【０１６３】
この実施形態の場合、ユーザの注視位置を推定（算出）するまでの処理が情報処理装置１０において実行され、それ以降の処理がサーバ装置９０において実行される。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２１４の処理がサーバ装置９０において実行され、他の処理が情報処理装置１０において実行される。
【０１６４】
つまり、この実施形態では、ステップＳ２１２において次のフレームの撮影画像が存在しないと判定された場合に、制御部１１は、補助記憶部１３に記録されたユーザの注視位置に関するデータ（注視位置データ）をサーバ装置９０に送信する。
【０１６５】
なお、この場合、どのような画面が表示部１８に表示されていたのかをサーバ装置９０側で把握できるようにするべく、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。「表示部１８に表示されていた画面に関するデータ」としては、例えば、表示部１８に表示されていた画面の識別データや、表示部１８に表示されていた画面の画像データが送信される。なお、表示部１８に表示される画面の状態がユーザの操作に応じて変化するようになっている場合（例えば、画面がユーザの操作に応じてスクロールするようになっている場合）には、画面の表示が開始された後にユーザが行った操作の履歴を示す操作履歴データもサーバ装置９０に送信される。
【０１６６】
情報処理装置１０から送信されたデータが受信された場合、サーバ装置９０の制御部９１はステップＳ２１４と同様の処理を該データに基づいて実行する。
【０１６７】
［第４−２実施形態］第４−２実施形態では、注視位置推定部６２及び処理実行部６４がサーバ装置９０（注視位置推定装置）において実現され、注視位置推定部６２及び処理実行部６４以外の機能ブロックが情報処理装置１０において実現される。すなわち、この実施形態では、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が注視位置推定部６２及び処理実行部６４として機能する。
【０１６８】
この実施形態の場合、顔領域５０等の各領域の面積及び位置を算出するまでの処理が情報処理装置１０において実行され、それ以降の処理がサーバ装置９０において実行される。すなわち、この実施形態の場合、図１１及び図１２に示す処理のうち、ステップＳ２０５〜Ｓ２１１，Ｓ２１４の処理がサーバ装置９０において実行され、他の処理が情報処理装置１０において実行される。
【０１６９】
つまり、この実施形態の場合、図１１及び図１２に示す処理からステップＳ２０５〜Ｓ２１１，Ｓ２１４の処理を除いた処理が情報処理装置１０において実行される。また、この実施形態の場合、各フレームの撮影画像における顔領域５０等の面積及び位置を示すデータが情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、図１１及び図１２のステップＳ２０５〜Ｓ２１１，Ｓ２１４と同様の処理が実行される。
【０１７０】
なお、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を算出するまでの処理を情報処理装置１０において実行し、それ以降の処理をサーバ装置９０において実行するようにしてもよい。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２０８〜Ｓ２１１，Ｓ２１４の処理をサーバ装置９０において実行し、他の処理を情報処理装置１０において実行するようにしてもよい。
【０１７１】
この場合、図１１及び図１２に示す処理からステップＳ２０８〜Ｓ２１１，Ｓ２１４の処理を除いた処理が情報処理装置１０において実行される。そして、各フレームの撮影画像における顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を示すデータが情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、図１１及び図１２のステップＳ２０８〜Ｓ２１１，Ｓ２１４と同様の処理が実行される。
【０１７２】
または、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均を算出するまでの処理を情報処理装置１０において実行し、それ以降の処理をサーバ装置９０において実行するようにしてもよい。すなわち、図１１及び図１２に示す処理のうち、ステップＳ２０９〜Ｓ２１１，Ｓ２１４の処理をサーバ装置９０において実行し、他の処理を情報処理装置１０において実行するようにしてもよい。
【０１７３】
［第４−３実施形態］第４−３実施形態では、領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４がサーバ装置９０（注視位置推定装置）において実現される。すなわち、この実施形態の場合、サーバ装置９０の制御部９１がプログラムに従って処理を実行することによって、制御部９１が領域検出部３２、面積／位置情報取得部６０、注視位置推定部６２、及び処理実行部６４として機能する。
【０１７４】
この実施形態の場合、撮影部１７の撮影画像（動画データ）が情報処理装置１０からサーバ装置９０に送信される。また、表示部１８に表示されていた画面に関するデータもサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信された撮影画像（動画データ）に基づいて、図１１及び図１２に示す処理が実行される。
【０１７５】
なお、上述の第４−１実施形態及び第４−２実施形態によれば、第４−３実施形態に比べて、情報処理装置１０からサーバ装置９０に送信されるデータ量が小さくなるため、通信ネットワーク２の負荷を軽減することが可能になる。
【０１７６】
ところで、第４実施形態に係る注視位置推定システム１においても、第２実施形態と同様に、ユーザの注視位置の推定がリアルタイムに実行されるようにしてもよい。
【０１７７】
例えば、第４−２実施形態と同様に、図１７に示す処理のうちの、ステップＳ３０５がサーバ装置９０において実行され、ステップＳ３０５以外の処理が情報処理装置１０において実行されるようにしてもよい。この場合、ステップＳ３０４の処理が実行された後、顔領域５０等の面積及び位置を示すデータが情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ステップＳ３０５の処理と同様の処理が実行され、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１７８】
または、ステップＳ３０５の処理の一部がサーバ装置９０において実行され、それ以外の処理が情報処理装置１０において実行されるようにしてもよい。例えば、この場合、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）が算出された後、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）を示すデータが情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１７９】
あるいは、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均が算出された後、顔領域５０等の面積差分値（ΔＳ）、Ｘ座標差分値（ΔＸ）、及びＹ座標差分値（ΔＹ）の加重移動平均を示すデータが情報処理装置１０からサーバ装置９０に送信されるようにしてもよい。そして、サーバ装置９０では、情報処理装置１０から受信されたデータに基づいて、ユーザの注視位置が推定されるようにしてもよい。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行されるようにしてもよい。
【０１８０】
また例えば、第４−３実施形態と同様に、図１７に示す処理のうちの、ステップＳ３０２〜Ｓ３０５の処理がサーバ装置９０において実行され、それ以外の処理が情報処理装置１０において実行されるようにしてもよい。この場合、ステップＳ３０１で取得された撮影画像が情報処理装置１０からサーバ装置９０に送信される。そして、サーバ装置９０では、情報処理装置１０から受信された撮影画像に基づいて、ステップＳ３０２〜Ｓ３０５の処理と同様の処理が実行され、ユーザの注視位置が推定される。その後、ユーザの注視位置がサーバ装置９０から情報処理装置１０へと返信され、情報処理装置１０では、ステップＳ３０６，Ｓ３０７の処理が実行される。
【０１８１】
なお、以上に説明した第４実施形態において、サーバ装置９０は、Ｗｅｂページを情報処理装置１０に提供するＷｅｂサーバ装置であってもよいし、Ｗｅｂサーバ装置とは別のサーバ装置（すなわち、ユーザの注視位置を推定するための専用サーバ装置）であってもよい。例えば、サーバ装置９０は、図３に示したような商品一覧ページを情報処理装置１０に提供するような電子商取引サイトのＷｅｂサーバ装置であってもよい。この場合、電子商取引サイトのＷｅｂサーバ装置は、自らが情報処理装置１０に提供したＷｅｂページ（例えば商品一覧ページ）におけるユーザの注視位置に関するデータを取得できるようになる。すなわち、Ｗｅｂサーバ装置は、各Ｗｅｂページにおける、ユーザの目にとまってほしい各種情報（例えば広告等）の表示位置を見直す際の判断材料を得ることができるようになる。
【０１８２】
なお、本発明は以上に説明した第１実施形態〜第４実施形態に限定されるものではない。
【０１８３】
例えば、以上では、ユーザの注視位置を推定するために、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６の６つの領域のすべてを用いることとして説明したが、これら６つの領域のうちの一部を用いるようにしてもよい。例えば、顔領域５０、両目領域５２、及び鼻領域５４のみを用いるようにしてもよい。
【０１８４】
また例えば、ユーザの注視位置を推定するために、顔領域５０、両目領域５２、左目領域５２Ｌ、右目領域５２Ｒ、鼻領域５４、及び口領域５６以外の領域を用いるようにしてもよい。
【０１８５】
また例えば、第２実施形態と第３実施形態とを組み合わせるようにしてもよい。また、第２実施形態と第３実施形態との少なくとも一方と第４実施形態とを組み合わせるようにしてもよい。
【０１８６】
なお、第２実施形態と第４実施形態とを組み合わせる場合、補正データ記憶部８２及び補正部８４は情報処理装置１０において実現されるようにしてもよいし、サーバ装置９０において実現されるようにしてもよい。また、補正データ記憶部８２をサーバ装置９０において実現される場合（すなわち、全ユーザの補正データがサーバ装置９０に記憶される場合）には、補正部８４は他のユーザの補正データも用いるようにしてもよい。ただし、その場合、ユーザの補正データの重みを他のユーザの補正データよりも大きくするようにしてもよい。
【０１８７】
また例えば、表示部を備える装置と、撮影部及び制御部を備える装置と、は別体の装置であってもよい。例えば、家庭用テレビの上部又は下部等にカメラ（撮影部）を設置し、情報処理装置（例えばパーソナルコンピュータ）において、カメラ（撮影部）の撮影画像に基づいて、ユーザが注視している家庭用テレビの画面内の位置を推定するようにしてもよい、
【符号の説明】
【０１８８】
１ 注視位置推定システム、２ 通信ネットワーク、１０ 情報処理装置、１１，９１ 制御部、１２，９２ 主記憶部、１３，９３ 補助記憶部、１４，９４ 光ディスクドライブ部、１５ 通信インタフェース、１６ 操作部、１６Ａ キーボード、１６Ｂ タッチパッド、１６Ｃ マウス、１７ 撮影部、１８ 表示部、１９ 音声出力部、２０ キーワード欄、２２ 検索ボタン、２４ 一覧領域、２６ 広告、３０ 基準面積／位置情報記憶部、３２ 領域検出部、３４ 基準面積／位置情報取得部、４０ マーカー、４２ メッセージ、５０ 顔領域、５２ 両目領域、５２Ｌ 左目領域、５２Ｒ 右目領域、５４ 鼻領域、５６ 口領域、６０ 面積／位置情報取得部、６２ 注視位置推定部、６４ 処理実行部、７０ 設定部、８０ 指示位置取得部、８２ 補正データ記憶部、８４ 補正部、９０ サーバ装置。
【特許請求の範囲】
【請求項１】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段と、
前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影手段の撮影画像から検出する領域検出手段と、
前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得手段と、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
を含むことを特徴とする注視位置推定システム。
【請求項２】
請求項１に記載の注視位置推定システムにおいて、
前記ユーザが前記画面内の基準位置を見ている場合における前記目領域の面積情報及び位置情報に基づいて前記目領域の基準面積情報及び基準位置情報を取得し、かつ、前記ユーザが前記画面内の前記基準位置を見ている場合における前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報に基づいて、前記顔領域と前記所定部位領域との前記少なくとも一方の基準面積情報及び基準位置情報を取得する基準面積／位置情報取得手段を含み、
前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
ことを特徴とする注視位置推定システム。
【請求項３】
請求項２に記載の注視位置推定システムにおいて、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出する手段を含み、
前記注視位置推定手段は、前記移動平均に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
ことを特徴とする注視位置推定システム。
【請求項４】
請求項１乃至３のいずれかに記載の注視位置推定システムにおいて、
前記領域検出手段によるいずれかの領域の検出が失敗したか否かを判定する手段と、
前記領域検出手段によるいずれかの領域の検出が失敗した場合に、前記注視位置推定手段による推定の実行を抑止する手段と、
を含むことを特徴とする注視位置推定システム。
【請求項５】
請求項１乃至４のいずれかに記載の注視位置推定システムにおいて、
前記ユーザが注視していると前記注視位置推定手段によって推定された前記画面内の位置を示す画像を前記画面内に表示させる手段を含むことを特徴とする注視位置推定システム。
【請求項６】
請求項１乃至５のいずれかに記載の注視位置推定システムにおいて、
情報処理装置を含み、
前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
前記撮影手段は、前記ユーザの顔を第１の所定時間ごとに撮影し、
前記撮影手段によって撮影された、前記第１の所定時間ごとの撮影画像のうちの、前記第１の所定時間よりも長い第２の所定時間ごとの撮影画像が、前記領域検出手段による検出の対象とされ、
前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記第２の所定時間を設定する設定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項７】
請求項３に記載の注視位置推定システムにおいて、
情報処理装置を含み、
前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
前記注視位置推定手段は、前記面積／位置情報取得手段による直近の所定数の取得結果に基づいて、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出し、
前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記所定数を設定する設定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項８】
請求項１乃至７のいずれかに記載の注視位置推定システムにおいて、
前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づき、１又は複数の演算式に従って演算を実行することによって、前記ユーザが注視している前記画面内の位置を推定し、
前記注視位置推定システムは、
前記ユーザによって指示された前記画面内の位置を取得する指示位置取得手段と、
前記ユーザによって指示された前記画面内の位置と、該位置が前記ユーザによって指示された際における、前記目領域の面積情報及び位置情報と、前記顔領と前記所定部位領域との少なくとも一方の面積情報及び位置情報と、に基づいて、前記１又は複数の演算式に含まれる定数又は／及び係数を補正する補正手段と、を含む、
ことを特徴とする注視位置推定システム。
【請求項９】
請求項１乃至８のいずれかに記載の注視位置推定システムにおいて、
前記領域検出手段は、前記ユーザの顔領域と、前記ユーザの両目領域と、前記ユーザの左目領域と、前記ユーザの右目領域と、前記ユーザの鼻領域と、前記ユーザの口領域と、を前記撮影画像から検出し、
前記面積／位置情報取得手段は、前記顔領域と、前記両目領域と、前記左目領域と、前記右目領域と、前記鼻領域と、前記口領域との各々の面積情報及び位置情報を取得する、
ことを特徴とする注視位置推定システム。
【請求項１０】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、前記撮影画像を前記サーバに送信する手段を含み、
前記サーバ装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１１】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段と、
前記領域検出手段の検出結果を前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は前記面積／位置情報取得手段及び前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１２】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段及び前記面積／位置情報取得手段と、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報を前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１３】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段と、
前記注視位置推定手段による推定結果に関する注視位置データを前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は、
前記注視位置データを受信する手段と、
前記注視位置データに基づいて、前記ユーザが注視している前記画面内の位置に関する集計処理を実行する手段と、を含む、
ことを特徴とする注視位置推定システム。
【請求項１４】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像を取得するステップと、
前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影画像から検出する領域検出ステップと、
前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得ステップと、
前記面積／位置情報取得ステップにおいて取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
を含むことを特徴とする注視位置推定システムの制御方法。
【請求項１５】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段と、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
を含むことを特徴とする注視位置推定装置。
【請求項１６】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得するステップと、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
を含むことを特徴とする注視位置推定装置の制御方法。
【請求項１７】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
としてコンピュータを機能させるためのプログラム。
【請求項１８】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
【請求項１】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段と、
前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影手段の撮影画像から検出する領域検出手段と、
前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得手段と、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
を含むことを特徴とする注視位置推定システム。
【請求項２】
請求項１に記載の注視位置推定システムにおいて、
前記ユーザが前記画面内の基準位置を見ている場合における前記目領域の面積情報及び位置情報に基づいて前記目領域の基準面積情報及び基準位置情報を取得し、かつ、前記ユーザが前記画面内の前記基準位置を見ている場合における前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報に基づいて、前記顔領域と前記所定部位領域との前記少なくとも一方の基準面積情報及び基準位置情報を取得する基準面積／位置情報取得手段を含み、
前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
ことを特徴とする注視位置推定システム。
【請求項３】
請求項２に記載の注視位置推定システムにおいて、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出する手段を含み、
前記注視位置推定手段は、前記移動平均に基づいて、前記ユーザが注視している前記画面内の位置を推定する、
ことを特徴とする注視位置推定システム。
【請求項４】
請求項１乃至３のいずれかに記載の注視位置推定システムにおいて、
前記領域検出手段によるいずれかの領域の検出が失敗したか否かを判定する手段と、
前記領域検出手段によるいずれかの領域の検出が失敗した場合に、前記注視位置推定手段による推定の実行を抑止する手段と、
を含むことを特徴とする注視位置推定システム。
【請求項５】
請求項１乃至４のいずれかに記載の注視位置推定システムにおいて、
前記ユーザが注視していると前記注視位置推定手段によって推定された前記画面内の位置を示す画像を前記画面内に表示させる手段を含むことを特徴とする注視位置推定システム。
【請求項６】
請求項１乃至５のいずれかに記載の注視位置推定システムにおいて、
情報処理装置を含み、
前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
前記撮影手段は、前記ユーザの顔を第１の所定時間ごとに撮影し、
前記撮影手段によって撮影された、前記第１の所定時間ごとの撮影画像のうちの、前記第１の所定時間よりも長い第２の所定時間ごとの撮影画像が、前記領域検出手段による検出の対象とされ、
前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記第２の所定時間を設定する設定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項７】
請求項３に記載の注視位置推定システムにおいて、
情報処理装置を含み、
前記情報処理装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含み、
前記注視位置推定手段は、前記面積／位置情報取得手段による直近の所定数の取得結果に基づいて、前記面積／位置情報取得手段によって取得された面積情報及び位置情報と、前記基準面積／位置情報取得手段によって取得された基準面積情報及び基準位置情報と、の差の移動平均を算出し、
前記注視位置推定システムは、前記情報処理装置の処理能力に関する情報に基づいて、前記所定数を設定する設定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項８】
請求項１乃至７のいずれかに記載の注視位置推定システムにおいて、
前記注視位置推定手段は、前記面積／位置情報取得手段によって取得された面積情報及び位置情報に基づき、１又は複数の演算式に従って演算を実行することによって、前記ユーザが注視している前記画面内の位置を推定し、
前記注視位置推定システムは、
前記ユーザによって指示された前記画面内の位置を取得する指示位置取得手段と、
前記ユーザによって指示された前記画面内の位置と、該位置が前記ユーザによって指示された際における、前記目領域の面積情報及び位置情報と、前記顔領と前記所定部位領域との少なくとも一方の面積情報及び位置情報と、に基づいて、前記１又は複数の演算式に含まれる定数又は／及び係数を補正する補正手段と、を含む、
ことを特徴とする注視位置推定システム。
【請求項９】
請求項１乃至８のいずれかに記載の注視位置推定システムにおいて、
前記領域検出手段は、前記ユーザの顔領域と、前記ユーザの両目領域と、前記ユーザの左目領域と、前記ユーザの右目領域と、前記ユーザの鼻領域と、前記ユーザの口領域と、を前記撮影画像から検出し、
前記面積／位置情報取得手段は、前記顔領域と、前記両目領域と、前記左目領域と、前記右目領域と、前記鼻領域と、前記口領域との各々の面積情報及び位置情報を取得する、
ことを特徴とする注視位置推定システム。
【請求項１０】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、前記撮影画像を前記サーバに送信する手段を含み、
前記サーバ装置は、前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１１】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段と、
前記領域検出手段の検出結果を前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は前記面積／位置情報取得手段及び前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１２】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段及び前記面積／位置情報取得手段と、
前記面積／位置情報取得手段によって取得された面積情報及び位置情報を前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は前記注視位置推定手段を含む、
ことを特徴とする注視位置推定システム。
【請求項１３】
請求項１乃至９のいずれかに記載の注視位置推定システムにおいて、
前記撮影手段と接続された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、を含み、
前記情報処理装置は、
前記領域検出手段、前記面積／位置情報取得手段、及び前記注視位置推定手段と、
前記注視位置推定手段による推定結果に関する注視位置データを前記サーバ装置に送信する手段と、を含み、
前記サーバ装置は、
前記注視位置データを受信する手段と、
前記注視位置データに基づいて、前記ユーザが注視している前記画面内の位置に関する集計処理を実行する手段と、を含む、
ことを特徴とする注視位置推定システム。
【請求項１４】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像を取得するステップと、
前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、を前記撮影画像から検出する領域検出ステップと、
前記目領域の面積情報及び位置情報と、前記顔領域と前記所定部位領域との前記少なくとも一方の面積情報及び位置情報と、を取得する面積／位置情報取得ステップと、
前記面積／位置情報取得ステップにおいて取得された面積情報及び位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
を含むことを特徴とする注視位置推定システムの制御方法。
【請求項１５】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段と、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段と、
を含むことを特徴とする注視位置推定装置。
【請求項１６】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得するステップと、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定ステップと、
を含むことを特徴とする注視位置推定装置の制御方法。
【請求項１７】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
としてコンピュータを機能させるためのプログラム。
【請求項１８】
表示手段に表示される画面を見るユーザの顔を撮影するための撮影手段の撮影画像から検出された、前記ユーザの顔領域と、前記ユーザの目以外の所定部位領域と、の少なくとも一方と、前記ユーザの目領域と、の面積情報及び位置情報を取得する手段、及び、
前記面積情報及び前記位置情報に基づいて、前記ユーザが注視している前記画面内の位置を推定する注視位置推定手段、
としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−１０１５２４（Ｐ２０１３−１０１５２４Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４５２７９（Ｐ２０１１−２４５２７９）
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月９日（２０１１．１１．９）
【出願人】（３９９０３７４０５）楽天株式会社 (416)
【Ｆターム（参考）】
[ Back to top ]