注視点計測装置、注視点計測方法、プログラムおよび記憶媒体
【課題】アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことなく、適切な計測を行う。また、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測する。
【解決手段】対応点検索処理３１では、実空間特徴点５１ａおよび原形特徴点５１ｂを抽出し、実空間対応点４２ａおよび原形対応点４２ｂの組を検索する。平面射影変換行列算出処理３３では、視野映像４の座標を原形画像３の座標に平面射影変換するための平面射影変換行列４４を出力する。曲面メッシュ生成処理３５では、原形メッシュ４３に対して平面射影変換行列４４に基づく平面射影変換を行うことで平面メッシュ４５を生成し、実空間対応点４２ａに対して平面射影変換を行うことで平面対応点４２ｃを算出し、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４に基づいて平面メッシュ４５を変形することで曲面メッシュ４６を生成する。
【解決手段】対応点検索処理３１では、実空間特徴点５１ａおよび原形特徴点５１ｂを抽出し、実空間対応点４２ａおよび原形対応点４２ｂの組を検索する。平面射影変換行列算出処理３３では、視野映像４の座標を原形画像３の座標に平面射影変換するための平面射影変換行列４４を出力する。曲面メッシュ生成処理３５では、原形メッシュ４３に対して平面射影変換行列４４に基づく平面射影変換を行うことで平面メッシュ４５を生成し、実空間対応点４２ａに対して平面射影変換を行うことで平面対応点４２ｃを算出し、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４に基づいて平面メッシュ４５を変形することで曲面メッシュ４６を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アイトラッキング装置を用いて商品等に関する媒体の分析を行うときに、注視点の位置を計測する注視点計測装置等に関するものである。
【背景技術】
【０００２】
従来から、商品またはサービスに関するブランドを消費者に対して適切に訴求するために、商品等のパッケージデザイン、パンフレット、リーフレット、およびチラシ等、様々な場所に掲示されるポスターおよび看板等、店頭等で用いられるＰＯＰ（Ｐｏｉｎｔ ｏｆ ｐｕｒｃｈａｓｅ ａｄｖｅｒｔｉｓｉｎｇ）、雑誌および新聞等に掲載する広告、ならびに商品の取扱説明書およびサービスの説明文書など（以下、「訴求媒体」という。）の分析が行われている。
訴求媒体の分析では、消費者の消費行動において、商品の認知から選択、購買、使用（またはサービスの認知から選択、契約、利用）までの行動、心理などを分析し、ブランドの価値が消費者に適切に伝えられているかどうかを把握することが重要である。
【０００３】
訴求媒体の分析を行うための手法の一つとして、アイトラッキングシステムを利用することが挙げられる。アイトラッキングシステムは、消費者の眼球の動きを測定、分析することで、消費者が無意識に行っている行動も含めて、消費者の行動などを解析するシステムである。
例えば、消費者が商品のパンフレットを手に取り、商品を認知するまでの行動などを分析する場合を考える。アイトラッキングシステムによって、パンフレットに対する消費者の視線の注視点、軌跡、視線停留時間などを知ることで、「消費者がパンフレットで伝えたい部分を見ているのか」、「どのような順序でパンフレットを見ているのか」、「パンフレットの中で見ている時間が最も長い部分はどこか」などを把握することができる。
【０００４】
例えば、頭部装着型のアイトラッキング装置では、顔が向いている方向をカメラによって撮影し、撮影した映像に装着者の視線の注視点をマッピングすることができる。訴求媒体の分析を行うためには、装着者が対象物体のどの位置を見ているのかを示す情報（対象物体内の注視点の位置）が非常に重要であるが、頭部の動きに合わせてカメラも動くため、撮影した映像における対象物体の位置が変化する。その為、対象物体内の注視点の位置は、分析者が目視によって確認、または特定することが一般的である。しかしながら、分析における人的負荷が非常に大きく、時間と費用の面で大きな課題となっている。
【０００５】
前述の人的負荷をなくすために、対象物体内の注視点の位置をコンピュータによって自動的に特定する技術がいくつか開発されている。
例えば、特許文献１に記載の技術では、対象物体の四隅にマーカーを付ける。アイカメラによって撮影された映像の１フレーム目からマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータを算出する。２フレーム目以降は、１フレーム目からのマーカーのずれに合わせて、対象物体内の注視点座標への変換をずらす。
また、例えば、特許文献２に記載の技術では、アイカメラによって撮影された映像のフレームごとにマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータをフレームごとに算出し直す。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】昭６２−５３６３０号公報
【０００７】
【特許文献２】平３−７７５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の技術では、マーカーの平行移動によるずれにのみ対応している為、頭部や対象物体の回転に対応できない。これに対して、特許文献２に記載の技術では、頭部や対象物体の回転に対応することはできる。しかし、特許文献１および特許文献２に記載の技術では、ともに、対象物体の四隅にマーカーが必要である。マーカーは、画像処理で自動的に認識する必要があるため、目立つ形状や色にする必要がある。マーカーが訴求媒体よりも目立つことから、無意識にマーカーに視線が向いてしまい、適切な計測を行うことができない。また、アイトラッキング装置によって撮影された映像（以下、「視野映像」という。）からマーカーが外れた場合に計測を行うことができない。
更に、特許文献１および特許文献２に記載の技術は、平面かつ変形しない対象物体にしか適用できない。
【０００９】
前述したように、パンフレットなどの訴求媒体については、消費者が手に取って観察することが通常であり、訴求媒体の端が湾曲したり、訴求媒体の内部に凹凸が生じたりするなど平行移動や回転とは異なる変形が起こる。
一方、訴求媒体の分析を行う際は、レイアウトソフトなどによって作成された訴求媒体のレイアウト画像など、対象物体（＝訴求媒体）の原形（変形していない状態）の画像（以下、「原形画像」という。）を準備し、視野映像内のアイマークの位置と対応付けて、原形画像における注視点の位置を特定する。仮に、視野映像における対象物体の変形を無視すると、対象物体の原形画像における注視点の位置は正確に特定することができない。
従って、シート、紙、フィルムなど剛性が低い素材の訴求媒体の分析においては、依然として、分析者が目視によって視野映像と原形画像を比較し、原形画像における注視点の位置の特定をしなくてはならない。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、アイトラッキング装置の装着者の視線が無意識にマーカーに向いてしまうことがなく、視野映像からマーカーが外れても適切な計測を行うことができる注視点計測装置等を提供することである。また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる注視点計測装置等を提供することである。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために第１の発明は、アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、を具備することを特徴とする注視点計測装置である。
第１の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
【００１２】
第１の発明は、前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成手段と、を更に具備することが望ましい。
これによって、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。
【００１３】
また、第１の発明における前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれと変形の複雑度とを含む判定式に基づいて前記平面メッシュを繰り返し変形することで、最適な前記曲面メッシュを生成することが望ましい。
これによって、滑らかな変形によって位置ずれの修正を行うことができる。
【００１４】
また、第１の発明における前記曲面メッシュ生成手段は、例えば、前記平面対応点と前記実空間対応点との位置ずれが閾値よりも大きい対応点の組は、前記判定式の算出処理に採用しない。これによって、誤って対応づけられた可能性が高い対応点の組を除外して、判定式の算出処理に採用する対応点の組を選択することができる。
この場合、前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
【００１５】
また、第１の発明における前記曲面メッシュ生成手段は、例えば、前記平面対応点と前記実空間対応点との位置ずれが大きい方から一定の数の対応点の組は、前記判定式の算出処理に採用しない。これによって、誤って対応づけられた可能性が高い対応点の組を除外して、判定式の算出処理に採用する対応点の組を選択することができる。
この場合、前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
【００１６】
また、第１の発明は、前記視野映像内のアイマークを含む前記平面メッシュまたは前記曲面メッシュの要素と対応する前記原形メッシュの要素が、前記注視点を含むものとして前記注視点の位置を特定する注視点位置特定手段、を更に具備することが望ましい。
これによって、注視点を含む原形メッシュの要素を注視点の位置として特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
【００１７】
第２の発明は、アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、を含むことを特徴とする注視点計測方法である。
第２の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
【００１８】
第２の発明は、前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成ステップと、を更に含むことが望ましい。
これによって、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。
【００１９】
第３の発明は、コンピュータを第１の発明の注視点計測装置として機能させるためのプログラムである。
ネットワークを介して第３の発明を配布し、汎用的なコンピュータにインストールすることで、第１の発明の注視点計測装置を提供することができる。
【００２０】
第４の発明は、コンピュータを第１の発明の注視点計測装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体である。
汎用的なコンピュータが備える記憶媒体読取装置に第４の発明を装着し、汎用的なコンピュータに第４の発明が記憶するプログラムをインストールすることで、第１の発明の注視点計測装置を提供することができる。
【発明の効果】
【００２１】
本発明により、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、視野映像からマーカーが外れても適切な計測を行うことができる注視点計測装置等を提供することができる。また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる注視点計測装置等を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る注視点計測システムの概要を示す図
【図２】原形画像３と視野映像４の模式図
【図３】注視点計測装置１のハードウエア構成図
【図４】アイトラッキング装置２のハードウエア構成図
【図５】注視点計測装置１に係るデータと処理の流れを示す図
【図６】対応点検索処理３１を説明する図
【図７】原形メッシュ４３の模式図
【図８】平面射影変換行列算出処理３３の流れを示すフローチャート
【図９】平面射影変換行列４４の一例を示す図
【図１０】平面射影変換行列４４の一例を示す図
【図１１】平面メッシュ生成処理３４、曲面メッシュ生成処理３５の流れを示すフローチャート
【図１２】平面メッシュ４５の一例を示す図
【図１３】実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４を説明する図
【図１４】曲面メッシュ４６の一例を示す図
【図１５】注視点位置４８の算出処理の一例を説明する図
【図１６】判定式の算出処理に採用する対応点の組の選択処理の第１の例を示すフローチャート
【図１７】判定式の算出処理に採用する対応点の組の選択処理の第２の例を示すフローチャート
【発明を実施するための形態】
【００２３】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本発明に係る注視点計測システムの概要を示す図である。図２は、原形画像３と視野映像４の模式図である。
図１に示すように、本発明に係る注視点計測システムは、注視点計測装置１、アイトラッキング装置２等から構成される。
本発明に係る注視点計測システムは、図２に示す対象物体５が、剛性が低い素材の訴求媒体であるときに最適である。本発明によって訴求媒体の注視点計測を行うことで、訴求媒体の分析における人的負荷が飛躍的に軽減される。ここで、剛性が低い素材とは、人力によって容易に変形できる程度の素材を意味する。剛性が低い素材の一例としては、シート、紙、フィルムなどが挙げられるが、これらの例に限定されるわけではない。
【００２４】
注視点計測装置１は、アイトラッキング装置２によって撮影された映像である視野映像４内のアイマーク６の位置と対応付けて、対象物体５の静止画像である原形画像３における注視点７の位置を計測する。
原形画像３とは、対象物体５の原形の画像、すなわち人力などによって変形されていない画像である。原形画像３は、文字、図形、記号、写真などを含む。対象物体５が訴求媒体の場合、原形画像３は、例えば、レイアウトソフトをインストールしたコンピュータによって生成されるレイアウト画像である。原形画像３は、注視点計測装置１に格納されている。
【００２５】
アイトラッキング装置２は、例えば、頭部装着型であって、装着者の顔が向いている方向をカメラによって撮影し、撮影した視野映像４に装着者の視線の注視点をアイマークとしてマッピングする。撮影した視野映像４は、注視点計測装置１に送信される。
【００２６】
図２に示すように、原形画像３は、２次元平面の形状を有する。図２では、原形画像３を模式的に示している。原形画像３の上部の斜線部は、同様の模様および色彩が付されていることを示している。原形画像３内部の矩形は、写真を示している。原形画像３内部の複数の横線は、文章を示している。
【００２７】
また、図２に示すように、視野映像４は、対象物体５を含む。図２では、視野映像４を模式的に示している。視野映像４に含まれる対象物体５は、人力などによって不規則に変形され、端が湾曲したり、訴求媒体の内部に凹凸が生じたりしている。尚、図面を分かりやすくする為、人間の手やテーブルなど、実際には実空間に存在する物体を省略し、対象物体５を除く領域は全て空白としている。
【００２８】
アイトラッキング装置２は、視野映像４内において、対象物体５と、その他の物体や背景とを区別することができない。アイトラッキング装置２は、単にアイトラッキング装置２の装着者が視野映像４内のどこを見ているかをアイマーク６としてマッピングするのみである。従って、例えば、装着者が対象物体５から目を離せば、アイマーク６が対象物体５ではない領域にマッピングされるが、アイトラッキング装置２は、装着者が対象物体５から目を離したことは認識できない。
【００２９】
次に、図３、図４を参照しながら、注視点計測装置１およびアイトラッキング装置２のハードウエア構成について説明する。
図３は、注視点計測装置１のハードウエア構成図である。尚、図３のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３０】
注視点計測装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００３１】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
【００３２】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、注視点計測装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３３】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
また、記憶部１２には、原形画像３が格納されている。
【００３４】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３５】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３６】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器としては、例えば、アイトラッキング装置２等がある。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３７】
図４は、アイトラッキング装置２のハードウエア構成図である。尚、図４のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３８】
アイトラッキング装置２は、制御部２１、記憶部２２、視野カメラ２３、アイマーク検出部２４、電源部２５、スイッチ２６、外部出力部２７等が、バス２８を介して接続される。
【００３９】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
【００４０】
ＣＰＵは、記憶部２２、ＲＯＭ等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続されたアイトラッキング装置２の各装置を駆動制御現する。
ＲＯＭは、不揮発性メモリであり、プログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ等からロードしたプログラム、データ、視野カメラ２３が撮影した視野映像４、アイマーク検出部２４が検出したアイマーク６の位置を示す座標データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００４１】
記憶部２２は、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００４２】
視野カメラ２３は、装着者の顔が向いている方向を撮影する。
アイマーク検出部２４は、装着者の眼球を撮影し、撮影された眼球画像から装着者の眼球運動、向き（視線）を解析し、視野映像４にアイマーク６を重ねて記憶するとともに、アイマーク６の位置を示す座標データを記憶する。
【００４３】
電源部２５は、アイトラッキング装置２の起電力を供給する。電源部２５は、内蔵型のバッテリでも良いし、外部からの電力を伝送するアダプタでも良い。
スイッチ２６は、アイトラッキング装置２の電源のＯＮ、ＯＦＦや、各種のキャリブレーションなどを行うための入力装置である。
外部出力部２７は、視野映像４、アイマーク６の位置を示す座標データなどを外部に出力する。外部出力部２７は、有線であっても良いし、無線であっても良い。
【００４４】
次に、図５から図１７を参照しながら、注視点計測装置１が行う処理について説明する。
図５は、注視点計測装置１に係るデータと処理の流れを示す図である。図５に示すように、注視点計測装置１の制御部１１は、対応点検索処理３１、原形メッシュ生成処理３２、平面射影変換行列算出処理３３、平面メッシュ生成処理３４、曲面メッシュ生成処理３５、注視点位置特定処理３６、表示処理３７等を実行する。
【００４５】
対応点検索処理３１では、制御部１１は、アイトラッキング装置２から受信する視野映像４、記憶部１２に格納されている原形画像３を入力し、視野映像４と原形画像３とを対応づける点である対応点４２の組を出力する。
【００４６】
図６は、対応点検索処理３１を説明する図である。
対応点検索処理３１では、制御部１１は、視野映像４の特徴点である実空間特徴点５１ａおよび原形画像３の特徴点である原形特徴点５１ｂを抽出し、実空間特徴点５１ａおよび原形特徴点５１ｂの集合に基づいて、視野映像４と原形画像３とを対応づける対応点４２の組として、視野映像４の対応点４２である実空間対応点４２ａおよび原形画像３の対応点４２である原形対応点４２ｂの組を検索する。
図６では、実空間特徴点５１ａおよび原形特徴点５１ｂを黒丸によって示している。
【００４７】
対応点検索処理３１を実現する手法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｒｏｍ）などが知られている。ＳＩＦＴでは、画像中から特徴点の抽出と特徴量の記述を行う手法である。各特徴点には、スケールと、様々な特徴量を示す１２８次元ベクトルが定義される。そして、１２８次元ベクトル間のユークリッド距離を用いて、実空間特徴点５１ａの集合および原形特徴点５１ｂの集合から対応点４２の組を探索する。最も小さい距離の組（実空間特徴点５１ａと原形特徴点５１ｂの組）が対応点４２の組の候補となるが、２番目に小さい距離を持つ組との差が一定の値以上の場合にのみ、対応点４２の組と判定する。すなわち、対応点４２の組と判定されない実空間特徴点５１ａ、原形特徴点５１ｂが存在する。これは、特徴量の近い特徴点が複数存在する場合、誤って対応づけることを防止するためである。
後述する平面射影変換行列算出処理３３の入力としては、４つ以上の対応点４２の組が存在すれば良い。対応点４２の組が少ないことよりも、誤って対応づけた対応点４２の組が存在することの方が、平面射影変換行列算出処理３３の精度を低くする為、対応点検索処理３１では、出来る限り、誤って対応づけた対応点４２の組を出力しないようにする。
【００４８】
ＳＩＦＴは、対象物体５の回転、サイズ変化、照明変化の影響を受けにくいという効果がある。但し、本発明に係る対応点検索処理３１は、ＳＩＦＴに限定されるわけではなく、適宜公知の技術を適用することができる。
【００４９】
図５の説明に戻る。
原形メッシュ生成処理３２では、制御部１１は、記憶部１２に格納されている原形画像３を入力し、原形画像３のメッシュである原形メッシュ４３を出力する。メッシュとは、任意の多角形（例えば、三角形、四角形など）を最小単位として、計算対象領域が細かく分割されたものである。メッシュサイズ（正三角形、正四角形などであれば、一辺の大きさ）は、用途に応じてユーザが適宜決定することができる。
原形メッシュ生成処理３２では、公知の技術により、例えば、原形画像３を任意の多角形によって等分割する。
【００５０】
図７は、原形メッシュ４３の模式図である。図７に示す原形メッシュ４３は、図６に示す原形画像３を三角形によってメッシュ分割したものである。制御部１１は、各三角形を識別するＩＤとともに、各三角形の頂点の座標を記憶部１２に記憶する。
【００５１】
図５の説明に戻る。
平面射影変換行列算出処理３３では、制御部１１は、原形メッシュ生成処理３２によって出力される対応点４２の組を入力し、実空間対応点４２ａおよび原形対応点４２ｂの組の集合に基づいて、視野映像４の座標を原形画像３の座標に平面射影変換するための平面射影変換行列４４を出力する。
【００５２】
前述の対応点検索処理３１では、誤って対応づけられた対応点４２の組が出力される可能性がある。平面射影変換行列算出処理３３において、誤って対応づけられた対応点４２の組を採用して計算すると、正確な平面射影変換行列４４を得ることはできない。本発明の平面射影変換行列算出処理３３では、誤って対応づけられた対応点４２の組を採用して計算しないように、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）と呼ばれる手法を用いる。
【００５３】
図８は、平面射影変換行列算出処理３３の流れを示すフローチャートである。図９、図１０は、平面射影変換行列４４の一例を示す図である。
図８に示すフローチャートは、基本的には、ＲＡＮＳＡＣによる算出処理を示している。図９、図１０において、碁盤の目のように引かれた罫線は、平面の変形や各点の位置を把握し易いように付したものである。
【００５４】
制御部１１は、全ての対応点４２の組の中から平面射影変換行列４４の計算に採用する点を乱数によって決定する（Ｓ１０１）。
図９、図１０では、視野映像４における実空間対応点４２ａが、番号が付された正方形によって示されている。図９、図１０に示す例では、６つの実空間対応点４２ａが存在する。制御部１１は、平面射影変換行列４４の計算に採用する点として、６つの実空間対応点４２ａの中から、例えば、４つの実空間対応点４２ａを乱数によって決定する。
図９の例では、「１」、「２」、「３」、「４」の実空間対応点４２ａを行列計算に採用する点としている。また、図１０の例では、「１」、「３」、「４」、「６」の実空間対応点４２ａを行列計算に採用する点としている。
【００５５】
次に、制御部１１は、算出した平面射影変換行列４４を用いて、視野映像４の全ての対応点４２の組を変換し、原形画像３における変換点５２とする（Ｓ１０２）。
図９、図１０では、原形画像３における変換点５２が、番号が付された正方形によって示されている。また、図９、図１０では、後述するＳ１０３にて参照される、原形画像３における原形対応点４２ｂが、番号が付された円によって示されている。
【００５６】
次に、制御部１１は、原形対応点４２ｂと位置が一致する変換点５２の数を算出する（Ｓ１０３）。ここで、位置が一致するとは、ｘ座標とｙ座標が完全一致する場合だけでなく、原形対応点４２ｂと変換点５２とのユークリッド距離が一定の値以内の場合も含むものとする。また、位置が一致するどうかの比較対象は、変換点５２の変換元である実空間対応点４２ａと対応づけられている原形対応点４２ｂのみとする。
図９、図１０では、原形対応点４２ｂと変換点５２の位置が一致していることを円と正方形の重なりによって示している。
図９の例では、原形対応点４２ｂと位置が一致する変換点５２の数は、「２」の１つだけである。また、図１０の例では、原形対応点４２ｂと位置が一致する変換点５２の数は、「１」、「３」、「６」の３つである。
【００５７】
次に、制御部１１は、終了条件を満たすかどうか確認する（Ｓ１０４）。
終了条件は、例えば、繰り返し処理の回数、すなわち、Ｓ１０１からＳ１０３までの処理を所定の回数実行することである。
また、終了条件は、例えば、原形対応点４２ｂと位置が一致する変換点５２の数、すなわち、Ｓ１０３の算出結果が所定の数を上回ることである。
終了条件を満たさない場合（Ｓ１０４のＮｏ）、制御部１１は、Ｓ１０１から繰り返す。
終了条件を満たす場合（Ｓ１０４のＹｅｓ）、制御部１１は、Ｓ１０５に進む。
【００５８】
次に、制御部１１は、原形対応点４２ｂと位置が一致する変換点５２の数が最も多い平面射影変換行列４４を最適解として記憶部１２またはＲＡＭに保存する（Ｓ１０５）。
図９、図１０の例を比較すると、図１０の方が、原形対応点４２ｂと一致する変換点５２の数が多いことから、「１」、「３」、「４」、「６」の実空間対応点４２ａを採用して算出した平面射影変換行列４４が最適解となる。
尚、図２で対象物体５が湾曲等をしていない平面であれば、平面射影変換行列４４が求められると、前述した原形メッシュ生成処理３２、および後述する平面メッシュ生成処理３４、曲面メッシュ生成処理３５を行わなくても、視野映像４内のアイマーク６の位置座標から原形画像３の注視点７を求めることができる。
【００５９】
図５の説明に戻る。
平面メッシュ生成処理３４では、制御部１１は、平面射影変換行列算出処理３３によって出力される平面射影変換行列４４、対応点検索処理３１によって出力される対応点４２の組、原形メッシュ生成処理３２によって出力される原形メッシュ４３を入力し、視野映像４の平面メッシュ４５を出力する。
また、曲面メッシュ生成処理３５では、制御部１１は、平面メッシュ生成処理３によって出力される平面メッシュ４５を入力し、視野映像４の曲面メッシュ４６を出力する。
【００６０】
図１１は、平面メッシュ生成処理３４、曲面メッシュ生成処理３５の流れを示すフローチャートである。図１２は、平面メッシュ４５の一例を示す図である。図１３は、実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４を説明する図である。図１４は、曲面メッシュ４６の一例を示す図である。
【００６１】
平面メッシュ生成処理３４では、制御部１１は、原形メッシュ４３に対して平面射影変換行列４４に基づく平面射影変換を行うことで視野映像４の平面メッシュ４５を生成する。
また、曲面メッシュ生成処理３５では、制御部１１は、平面メッシュ４５に対して、実空間対応点４２ａに対して平面射影変換を行うことで平面対応点４２ｃを算出し、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４に基づいて平面メッシュ４５を変形することで視野映像４の曲面メッシュ４６を生成する。
【００６２】
図１１に示すように、制御部１１は、図８のＳ１０５にて算出した平面射影変換行列４４の最適解の逆行列を用いて、原形メッシュ４３の平面射影変換を行うことで平面メッシュ４５を生成する（Ｓ２０１）。
図１２では、原形メッシュ４３から平面メッシュ４５への変換を示している。説明の都合上、平面メッシュ４５は、視野映像４における対象物体５に重ねて示している。
図２に示すように、対象物体５の端が湾曲したり、内部に凹凸が生じたりしている場合、図１２に示すように、平面メッシュ４５は、不規則に変形した視野映像４の対象物体５とずれが生じる。これに対して、後述する曲面メッシュ生成処理３５を行うことで、対象物体５の端が湾曲したり、内部に凹凸が生じたりすることによるずれを修正し、注視点７の位置を正確に特定することできる。
【００６３】
次に、制御部１１は、平面メッシュ４５を対応点４２の組の集合（実空間対応点４２ａおよび平面対応点４２ｃの集合）に合わせて位置合わせを行う（Ｓ２０２）。
具体的には、制御部１１は、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４と、変形の複雑度とを含む判定式に基づいて平面メッシュ４５を変形する。判定式は、次に示す式（１）である。
【００６４】
【数１】
【００６５】
式（１）のＳは、平面メッシュ４５の各要素の頂点の集合であって、行列である。ε（Ｓ）が判定式である。λＤは、調整用パラメータである。εＤ（Ｓ）は、変形の複雑度である。εＣ（Ｓ）は、実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４に基づく値である。
式（２）のｎは、平面メッシュ４５の各要素を示す添字である。Ｎは、平面メッシュ４５の要素数である。εＤ（Ｓ（ｎ））は、式（２）に示すように、例えば、変形前後の各辺の差の二乗和の平方根である。差の二乗和の平方根に代えて、差の二乗和、分散、標準偏差などを採用しても良い。ｌｉ（ｎ）は、要素ｎの変形前の辺の長さである。ｌｉ´（ｎ）は、要素ｎの変形後の辺の長さである。要素が三角形の場合、辺が３つなので、ｉ＝１〜３である。また、要素が四角形の場合、辺が４つなので、ｉ＝１〜４となる。
式（３）のｋは、対応点４２の組を示す添字である。Ｋは、対応点４２の組の数である。εＣ（Ｓ（ｋ））は、式（３）に示すように、例えば、実空間対応点４２ａと平面対応点４２ｃとのユークリッド距離である。ｘ１（ｋ）、ｙ１（ｋ）は、実空間対応点４２ａのｘ座標、ｙ座標である。ｘ２（ｋ）、ｙ２（ｋ）は、平面対応点４２ｃのｘ座標、ｙ座標である。
【００６６】
εＤ（Ｓ）は、変形が複雑であれば、値が大きくなる。また、εＣ（Ｓ）は、位置ずれ５４が大きければ、値が大きくなる。
制御部１１は、単純な変形、すなわち滑らかな変形によって、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を小さくし、平面対応点４２ｃの位置と実空間対応点４２ａの位置が合うように位置合わせする為、式（１）に示す判定式ε（Ｓ）を最小化するＳを算出する。従って、制御部１１は、式（１）に示す判定式ε（Ｓ）の偏微分が０となるＳを算出する。
【００６７】
次に、制御部１１は、Ｓ２０２における位置合わせの結果に基づいて、平面メッシュ４５を変形する（Ｓ２０３）。ここでは、制御部１１は、Ｓ２０２にて算出された平面メッシュ４５の各要素の頂点の集合Ｓに基づいて、平面メッシュ４５の各要素の頂点を移動させれば良い。Ｓ２０３の変形では、要素の数は変わらないが、要素の面積、形状が変化する。
【００６８】
次に、制御部１１は、終了条件を満たすかどうか確認する（Ｓ２０４）。
終了条件は、例えば、繰り返し処理の回数、すなわち、Ｓ２０２からＳ２０３までの処理を所定の回数実行することである。
また、終了条件は、例えば、位置ずれ５４の最大値、すなわち、Ｓ２０２において算出する平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４の最大値が一定の値以下になることである。
終了条件を満たさない場合（Ｓ２０４のＮｏ）、制御部１１は、Ｓ２０２から繰り返す。
終了条件を満たす場合（Ｓ２０４のＹｅｓ）、制御部１１は、Ｓ２０５に進む。
【００６９】
図１３では、実空間対応点４２ａが、番号が付された正方形によって示され、平面対応点４２ｃが、番号が付された円によって示されている。図１３の例では、対応点４２の組の識別番号が「１」、「２」、「５」、「６」については、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が大きい。一方、対応点４２の識別番号が「３」、「４」については、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が小さい。
制御部１１がＳ２０２からＳ２０３の処理を繰り返すことで、図１３に示す位置ずれ５４は、次第に小さくなっていく。
【００７０】
次に、制御部１１は、現時点での変形した平面メッシュ４５を曲面メッシュ４６として記憶部１２に保存する（Ｓ２０５）。制御部１１は、平面メッシュ４５を繰り返し変形することで、最適な曲面メッシュ４６を生成する。
図１４では、曲面メッシュ４６の模式図を示している。図１１に示す処理を行うことで、視野映像４の対象物体５が正確に表現された曲面メッシュ４６が生成される。図１４に示すように、曲面メッシュ４６の領域は、視野映像４の対象物体５の領域と一致している。また、曲面メッシュ４６の各要素は、平面メッシュ４５の各要素と比較して、対象物体５の端の湾曲や内部の凹凸などの変形に応じて、位置、大きさ、形状が変形されている。
【００７１】
図５の説明に戻る。
注視点位置特定処理３６では、制御部１１は、アイトラッキング装置２から受信するアイマーク位置４７、曲面メッシュ生成処理３５によって出力される曲面メッシュ４６（または、平面メッシュ生成処理３４によって出力される平面メッシュ４５）を入力し、注視点位置４８を出力する。
図１４に示すように、視野映像４におけるアイマーク位置４７に基づいて、曲面メッシュ４６（または平面メッシュ４５）のアイマークを含む要素５６が判定できる。曲面メッシュ４６（または平面メッシュ４５）と原形メッシュ４３の各要素は、それぞれ対応づけられているので、曲面メッシュ４６（または平面メッシュ４５）のアイマークを含む要素５６と対応する原形メッシュ４３の要素が、注視点を含む要素５７と特定される。そして、制御部１１は、アイマークを含む要素５６、注視点を含む要素５７、およびアイマーク位置４７に基づいて、注視点位置４８を算出し、出力する。
【００７２】
図１５は、注視点位置４８の算出処理の一例を説明する図である。
図１５には、アイマークを含む要素５６と注視点を含む要素５７が図示されている。点Ａ、Ｂ、Ｃは、アイマークを含む要素５６（曲面メッシュ４６または平面メッシュ４５の三角形）の頂点であり、点Ａ、Ｂ、Ｃの座標は既知である。同様に、点Ａ’、Ｂ’、Ｃ’は、注視点を含む要素５７（原形メッシュ４３の三角形）の頂点であり、点Ａ’、Ｂ’、Ｃ’の座標は既知である。また、点Ｐはアイマーク位置４７であり、点Ｐの座標は既知である。
ここで、三角形ＰＢＣ、ＰＣＡ、ＰＡＢの面積比を（α、β、γ）とすると、点Ａ、Ｂ、Ｃ、Ｐの座標が既知であることから、（α、β、γ）は算出可能である。
更に、点Ｐ’を注視点位置４８とする。また、三角形Ｐ’Ｂ’Ｃ’、Ｐ’Ｃ’Ａ’、Ｐ’Ａ’Ｂ’の面積比を（α’、β’、γ’）とする。
制御部１１は、例えば、（α’、β’、γ’）＝（α、β、γ）となる点Ｐ’の座標を算出し、注視点位置４８の座標として出力する。
但し、注視点位置４８の算出処理は、この例に限定されるわけではなく、適宜公知の技術を適用することができる。
【００７３】
前述した位置合わせ処理（図１１のＳ２０２）の説明では、式（３）のεＣ（Ｓ）は、全ての対応点４２の組（ｋ＝１、・・・、Ｋ）を用いて算出したが、本発明はこの例に限定されない。
前述したように、対応点検索処理３１では、誤って対応づけられた対応点４２の組が出力される可能性がある。誤って対応づけられた対応点４２の組は、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が大きくなる。一方、図１１のＳ２０２では、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を小さくするように位置合わせを行う。従って、制御部１１は、誤って対応づけられた対応点４２の組の位置を合わせるように処理を行ってしまい、正確な曲面メッシュ４６を生成することができない場合がある。
【００７４】
以下では、図１６、図１７を参照しながら、誤って対応づけられた対応点４２の組を判定式の算出から除外するために、判定式の算出処理に採用する対応点４２の組の選択処理について説明する。
【００７５】
図１６は、判定式の算出処理に採用する対応点の組の選択処理の第１の例を示すフローチャートである。
制御部１１は、対応点４２の組を１つ選択し（Ｓ３０１）、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を算出する（Ｓ３０２）。
次に、制御部１１は、Ｓ３０２の算出結果が閾値以内かどうか確認する（Ｓ３０３）。
Ｓ３０２の算出結果が閾値以内の場合（Ｓ３０３のＹｅｓ）、制御部１１は、Ｓ３０１にて選択した対応点４２の組を判定式の算出処理に採用し（Ｓ３０４）、Ｓ３０５に進む。
Ｓ３０２の算出結果が閾値よりも大きい場合（Ｓ３０３のＮｏ）、制御部１１は、Ｓ３０１にて選択した対応点４２の組を判定式の算出処理に採用せずに、Ｓ３０５に進む。
【００７６】
次に、制御部１１は、全ての対応点４２の組に対して処理が終了したかどうか確認する（Ｓ３０５）。
全ての対応点４２の組に対して処理が終了していない場合（Ｓ３０５のＮｏ）、制御部１１は、Ｓ３０１から処理を繰り返す。
全ての対応点４２の組に対して処理が終了している場合（Ｓ３０５のＹｅｓ）、制御部１１は、処理を終了する。
【００７７】
図１６の処理によって、誤って対応づけられた可能性が高い対応点４２の組を除外して、判定式の算出処理に採用する対応点４２の組を選択することができる。
【００７８】
尚、Ｓ３０３の閾値は、平面メッシュ４５の変形を繰り返すごとに小さくしていくことが望ましい。
閾値を適切に変更していくことで、繰り返しの序盤では、多くの対応点４２の組（誤って対応づけられた対応点４２の組もある程度含む。）を使用して大まかな変形を行うことができる。
また、繰り返しの終盤では、少ない対応点４２の組（誤って対応づけられた対応点４２の組がほとんどない。）を使用して正確に細かい変形を行うことができる。
【００７９】
図１７は、判定式の算出処理に採用する対応点の組の選択処理の第２の例を示すフローチャートである。
制御部１１は、対応点４２の組を１つ選択し（Ｓ４０１）、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を算出する（Ｓ４０２）。
次に、制御部１１は、全ての対応点４２の組に対して処理が終了したかどうか確認する（Ｓ４０３）。
全ての対応点４２の組に対して処理が終了していない場合（Ｓ４０３のＮｏ）、制御部１１は、Ｓ４０１から処理を繰り返す。
全ての対応点４２の組に対して処理が終了している場合（Ｓ４０３のＹｅｓ）、制御部１１は、Ｓ４０４に進む。
【００８０】
次に、制御部１１は、位置ずれ５４が最も大きい対応点４２の組を除く対応点４２の組を判定式の算出処理に採用する（Ｓ４０４）。ここで、除外する対応点４２の組は、位置ずれ５４が最も大きい対応点４２の組ではなく、位置ずれ５４が大きい方から一定の数の対応点４２の組としても良い。
【００８１】
図１７の処理によって、誤って対応づけられた可能性が高い対応点４２の組を除外して、判定式の算出処理に採用する対応点４２の組を選択することができる。
【００８２】
尚、Ｓ４０４において、位置ずれ５４が大きい方から一定の数の対応点４２の組を除外する場合、一定の数は、平面メッシュ４５の変形を繰り返すごとに増やしていくことが望ましい。
一定の数を適切に変更していくことで、第１の例と同様、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点４２の組を使用して適切な変形を行うことができる。
【００８３】
第１の例および第２の例において適切な変形を行うことができる理由は、次の通りである。誤って対応づけられた対応点４２は、位置合わせの修正がばらばらになる。一方、正しく対応づけられた対応点４２は、同じ方向に修正を行うため、誤って対応づけられた対応点４２が含まれていても、全体としては正しい方向への修正量が大きくなる。
【００８４】
以上、詳細に説明した通り、本発明に係る注視点計測装置１は、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置２の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。また、剛性が低い素材の訴求媒体を対象物体５としたときに、対象物体５が変形した場合であっても、対象物体５の原形画像３における注視点の位置を正確に自動計測することができる。
【００８５】
以上、添付図面を参照しながら、本発明に係る注視点計測装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８６】
１………注視点計測装置
２………アイトラッキング装置
３………原形画像
４………視野映像
５………対象物体
６………アイマーク
７………注視点
３１………対応点検索処理
３２………原形メッシュ生成処理
３３………平面射影変換行列算出処理
３４………平面メッシュ生成処理
３５………曲面メッシュ生成処理
３６………注視点位置特定処理
４２………対応点
４２ａ………実空間対応点
４２ｂ………原形対応点
４２ｃ………平面対応点
４３………原形メッシュ
４４………平面射影変換行列
４５………平面メッシュ
４６………曲面メッシュ
４７………アイマーク位置
４８………注視点位置
５１ａ………実空間特徴点
５１ｂ………原形特徴点
５２………変換点
５４………位置ずれ
５６………アイマークを含む要素
５７………注視点を含む要素
【技術分野】
【０００１】
本発明は、アイトラッキング装置を用いて商品等に関する媒体の分析を行うときに、注視点の位置を計測する注視点計測装置等に関するものである。
【背景技術】
【０００２】
従来から、商品またはサービスに関するブランドを消費者に対して適切に訴求するために、商品等のパッケージデザイン、パンフレット、リーフレット、およびチラシ等、様々な場所に掲示されるポスターおよび看板等、店頭等で用いられるＰＯＰ（Ｐｏｉｎｔ ｏｆ ｐｕｒｃｈａｓｅ ａｄｖｅｒｔｉｓｉｎｇ）、雑誌および新聞等に掲載する広告、ならびに商品の取扱説明書およびサービスの説明文書など（以下、「訴求媒体」という。）の分析が行われている。
訴求媒体の分析では、消費者の消費行動において、商品の認知から選択、購買、使用（またはサービスの認知から選択、契約、利用）までの行動、心理などを分析し、ブランドの価値が消費者に適切に伝えられているかどうかを把握することが重要である。
【０００３】
訴求媒体の分析を行うための手法の一つとして、アイトラッキングシステムを利用することが挙げられる。アイトラッキングシステムは、消費者の眼球の動きを測定、分析することで、消費者が無意識に行っている行動も含めて、消費者の行動などを解析するシステムである。
例えば、消費者が商品のパンフレットを手に取り、商品を認知するまでの行動などを分析する場合を考える。アイトラッキングシステムによって、パンフレットに対する消費者の視線の注視点、軌跡、視線停留時間などを知ることで、「消費者がパンフレットで伝えたい部分を見ているのか」、「どのような順序でパンフレットを見ているのか」、「パンフレットの中で見ている時間が最も長い部分はどこか」などを把握することができる。
【０００４】
例えば、頭部装着型のアイトラッキング装置では、顔が向いている方向をカメラによって撮影し、撮影した映像に装着者の視線の注視点をマッピングすることができる。訴求媒体の分析を行うためには、装着者が対象物体のどの位置を見ているのかを示す情報（対象物体内の注視点の位置）が非常に重要であるが、頭部の動きに合わせてカメラも動くため、撮影した映像における対象物体の位置が変化する。その為、対象物体内の注視点の位置は、分析者が目視によって確認、または特定することが一般的である。しかしながら、分析における人的負荷が非常に大きく、時間と費用の面で大きな課題となっている。
【０００５】
前述の人的負荷をなくすために、対象物体内の注視点の位置をコンピュータによって自動的に特定する技術がいくつか開発されている。
例えば、特許文献１に記載の技術では、対象物体の四隅にマーカーを付ける。アイカメラによって撮影された映像の１フレーム目からマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータを算出する。２フレーム目以降は、１フレーム目からのマーカーのずれに合わせて、対象物体内の注視点座標への変換をずらす。
また、例えば、特許文献２に記載の技術では、アイカメラによって撮影された映像のフレームごとにマーカーの座標を認識し、対象物体内の注視点座標に変換するパラメータをフレームごとに算出し直す。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】昭６２−５３６３０号公報
【０００７】
【特許文献２】平３−７７５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載の技術では、マーカーの平行移動によるずれにのみ対応している為、頭部や対象物体の回転に対応できない。これに対して、特許文献２に記載の技術では、頭部や対象物体の回転に対応することはできる。しかし、特許文献１および特許文献２に記載の技術では、ともに、対象物体の四隅にマーカーが必要である。マーカーは、画像処理で自動的に認識する必要があるため、目立つ形状や色にする必要がある。マーカーが訴求媒体よりも目立つことから、無意識にマーカーに視線が向いてしまい、適切な計測を行うことができない。また、アイトラッキング装置によって撮影された映像（以下、「視野映像」という。）からマーカーが外れた場合に計測を行うことができない。
更に、特許文献１および特許文献２に記載の技術は、平面かつ変形しない対象物体にしか適用できない。
【０００９】
前述したように、パンフレットなどの訴求媒体については、消費者が手に取って観察することが通常であり、訴求媒体の端が湾曲したり、訴求媒体の内部に凹凸が生じたりするなど平行移動や回転とは異なる変形が起こる。
一方、訴求媒体の分析を行う際は、レイアウトソフトなどによって作成された訴求媒体のレイアウト画像など、対象物体（＝訴求媒体）の原形（変形していない状態）の画像（以下、「原形画像」という。）を準備し、視野映像内のアイマークの位置と対応付けて、原形画像における注視点の位置を特定する。仮に、視野映像における対象物体の変形を無視すると、対象物体の原形画像における注視点の位置は正確に特定することができない。
従って、シート、紙、フィルムなど剛性が低い素材の訴求媒体の分析においては、依然として、分析者が目視によって視野映像と原形画像を比較し、原形画像における注視点の位置の特定をしなくてはならない。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、アイトラッキング装置の装着者の視線が無意識にマーカーに向いてしまうことがなく、視野映像からマーカーが外れても適切な計測を行うことができる注視点計測装置等を提供することである。また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる注視点計測装置等を提供することである。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために第１の発明は、アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、を具備することを特徴とする注視点計測装置である。
第１の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
【００１２】
第１の発明は、前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成手段と、を更に具備することが望ましい。
これによって、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。
【００１３】
また、第１の発明における前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれと変形の複雑度とを含む判定式に基づいて前記平面メッシュを繰り返し変形することで、最適な前記曲面メッシュを生成することが望ましい。
これによって、滑らかな変形によって位置ずれの修正を行うことができる。
【００１４】
また、第１の発明における前記曲面メッシュ生成手段は、例えば、前記平面対応点と前記実空間対応点との位置ずれが閾値よりも大きい対応点の組は、前記判定式の算出処理に採用しない。これによって、誤って対応づけられた可能性が高い対応点の組を除外して、判定式の算出処理に採用する対応点の組を選択することができる。
この場合、前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
【００１５】
また、第１の発明における前記曲面メッシュ生成手段は、例えば、前記平面対応点と前記実空間対応点との位置ずれが大きい方から一定の数の対応点の組は、前記判定式の算出処理に採用しない。これによって、誤って対応づけられた可能性が高い対応点の組を除外して、判定式の算出処理に採用する対応点の組を選択することができる。
この場合、前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことが望ましい。これによって、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点の組を使用して適切な変形を行うことができる。
【００１６】
また、第１の発明は、前記視野映像内のアイマークを含む前記平面メッシュまたは前記曲面メッシュの要素と対応する前記原形メッシュの要素が、前記注視点を含むものとして前記注視点の位置を特定する注視点位置特定手段、を更に具備することが望ましい。
これによって、注視点を含む原形メッシュの要素を注視点の位置として特定することができる。注視点の位置は、メッシュの大きさを細かく設定することで、より詳細に特定することができる。
【００１７】
第２の発明は、アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、を含むことを特徴とする注視点計測方法である。
第２の発明では、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。
【００１８】
第２の発明は、前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成ステップと、を更に含むことが望ましい。
これによって、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる。
【００１９】
第３の発明は、コンピュータを第１の発明の注視点計測装置として機能させるためのプログラムである。
ネットワークを介して第３の発明を配布し、汎用的なコンピュータにインストールすることで、第１の発明の注視点計測装置を提供することができる。
【００２０】
第４の発明は、コンピュータを第１の発明の注視点計測装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体である。
汎用的なコンピュータが備える記憶媒体読取装置に第４の発明を装着し、汎用的なコンピュータに第４の発明が記憶するプログラムをインストールすることで、第１の発明の注視点計測装置を提供することができる。
【発明の効果】
【００２１】
本発明により、アイトラッキング装置の装着者が無意識にマーカーに視線を向けてしまうことがなく、視野映像からマーカーが外れても適切な計測を行うことができる注視点計測装置等を提供することができる。また、剛性が低い素材の訴求媒体を対象物体としたときに、対象物体が変形した場合であっても、対象物体の原形画像における注視点の位置を正確に自動計測することができる注視点計測装置等を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る注視点計測システムの概要を示す図
【図２】原形画像３と視野映像４の模式図
【図３】注視点計測装置１のハードウエア構成図
【図４】アイトラッキング装置２のハードウエア構成図
【図５】注視点計測装置１に係るデータと処理の流れを示す図
【図６】対応点検索処理３１を説明する図
【図７】原形メッシュ４３の模式図
【図８】平面射影変換行列算出処理３３の流れを示すフローチャート
【図９】平面射影変換行列４４の一例を示す図
【図１０】平面射影変換行列４４の一例を示す図
【図１１】平面メッシュ生成処理３４、曲面メッシュ生成処理３５の流れを示すフローチャート
【図１２】平面メッシュ４５の一例を示す図
【図１３】実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４を説明する図
【図１４】曲面メッシュ４６の一例を示す図
【図１５】注視点位置４８の算出処理の一例を説明する図
【図１６】判定式の算出処理に採用する対応点の組の選択処理の第１の例を示すフローチャート
【図１７】判定式の算出処理に採用する対応点の組の選択処理の第２の例を示すフローチャート
【発明を実施するための形態】
【００２３】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本発明に係る注視点計測システムの概要を示す図である。図２は、原形画像３と視野映像４の模式図である。
図１に示すように、本発明に係る注視点計測システムは、注視点計測装置１、アイトラッキング装置２等から構成される。
本発明に係る注視点計測システムは、図２に示す対象物体５が、剛性が低い素材の訴求媒体であるときに最適である。本発明によって訴求媒体の注視点計測を行うことで、訴求媒体の分析における人的負荷が飛躍的に軽減される。ここで、剛性が低い素材とは、人力によって容易に変形できる程度の素材を意味する。剛性が低い素材の一例としては、シート、紙、フィルムなどが挙げられるが、これらの例に限定されるわけではない。
【００２４】
注視点計測装置１は、アイトラッキング装置２によって撮影された映像である視野映像４内のアイマーク６の位置と対応付けて、対象物体５の静止画像である原形画像３における注視点７の位置を計測する。
原形画像３とは、対象物体５の原形の画像、すなわち人力などによって変形されていない画像である。原形画像３は、文字、図形、記号、写真などを含む。対象物体５が訴求媒体の場合、原形画像３は、例えば、レイアウトソフトをインストールしたコンピュータによって生成されるレイアウト画像である。原形画像３は、注視点計測装置１に格納されている。
【００２５】
アイトラッキング装置２は、例えば、頭部装着型であって、装着者の顔が向いている方向をカメラによって撮影し、撮影した視野映像４に装着者の視線の注視点をアイマークとしてマッピングする。撮影した視野映像４は、注視点計測装置１に送信される。
【００２６】
図２に示すように、原形画像３は、２次元平面の形状を有する。図２では、原形画像３を模式的に示している。原形画像３の上部の斜線部は、同様の模様および色彩が付されていることを示している。原形画像３内部の矩形は、写真を示している。原形画像３内部の複数の横線は、文章を示している。
【００２７】
また、図２に示すように、視野映像４は、対象物体５を含む。図２では、視野映像４を模式的に示している。視野映像４に含まれる対象物体５は、人力などによって不規則に変形され、端が湾曲したり、訴求媒体の内部に凹凸が生じたりしている。尚、図面を分かりやすくする為、人間の手やテーブルなど、実際には実空間に存在する物体を省略し、対象物体５を除く領域は全て空白としている。
【００２８】
アイトラッキング装置２は、視野映像４内において、対象物体５と、その他の物体や背景とを区別することができない。アイトラッキング装置２は、単にアイトラッキング装置２の装着者が視野映像４内のどこを見ているかをアイマーク６としてマッピングするのみである。従って、例えば、装着者が対象物体５から目を離せば、アイマーク６が対象物体５ではない領域にマッピングされるが、アイトラッキング装置２は、装着者が対象物体５から目を離したことは認識できない。
【００２９】
次に、図３、図４を参照しながら、注視点計測装置１およびアイトラッキング装置２のハードウエア構成について説明する。
図３は、注視点計測装置１のハードウエア構成図である。尚、図３のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３０】
注視点計測装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００３１】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
【００３２】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、注視点計測装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３３】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
また、記憶部１２には、原形画像３が格納されている。
【００３４】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３５】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３６】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器としては、例えば、アイトラッキング装置２等がある。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３７】
図４は、アイトラッキング装置２のハードウエア構成図である。尚、図４のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００３８】
アイトラッキング装置２は、制御部２１、記憶部２２、視野カメラ２３、アイマーク検出部２４、電源部２５、スイッチ２６、外部出力部２７等が、バス２８を介して接続される。
【００３９】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
【００４０】
ＣＰＵは、記憶部２２、ＲＯＭ等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続されたアイトラッキング装置２の各装置を駆動制御現する。
ＲＯＭは、不揮発性メモリであり、プログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ等からロードしたプログラム、データ、視野カメラ２３が撮影した視野映像４、アイマーク検出部２４が検出したアイマーク６の位置を示す座標データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００４１】
記憶部２２は、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００４２】
視野カメラ２３は、装着者の顔が向いている方向を撮影する。
アイマーク検出部２４は、装着者の眼球を撮影し、撮影された眼球画像から装着者の眼球運動、向き（視線）を解析し、視野映像４にアイマーク６を重ねて記憶するとともに、アイマーク６の位置を示す座標データを記憶する。
【００４３】
電源部２５は、アイトラッキング装置２の起電力を供給する。電源部２５は、内蔵型のバッテリでも良いし、外部からの電力を伝送するアダプタでも良い。
スイッチ２６は、アイトラッキング装置２の電源のＯＮ、ＯＦＦや、各種のキャリブレーションなどを行うための入力装置である。
外部出力部２７は、視野映像４、アイマーク６の位置を示す座標データなどを外部に出力する。外部出力部２７は、有線であっても良いし、無線であっても良い。
【００４４】
次に、図５から図１７を参照しながら、注視点計測装置１が行う処理について説明する。
図５は、注視点計測装置１に係るデータと処理の流れを示す図である。図５に示すように、注視点計測装置１の制御部１１は、対応点検索処理３１、原形メッシュ生成処理３２、平面射影変換行列算出処理３３、平面メッシュ生成処理３４、曲面メッシュ生成処理３５、注視点位置特定処理３６、表示処理３７等を実行する。
【００４５】
対応点検索処理３１では、制御部１１は、アイトラッキング装置２から受信する視野映像４、記憶部１２に格納されている原形画像３を入力し、視野映像４と原形画像３とを対応づける点である対応点４２の組を出力する。
【００４６】
図６は、対応点検索処理３１を説明する図である。
対応点検索処理３１では、制御部１１は、視野映像４の特徴点である実空間特徴点５１ａおよび原形画像３の特徴点である原形特徴点５１ｂを抽出し、実空間特徴点５１ａおよび原形特徴点５１ｂの集合に基づいて、視野映像４と原形画像３とを対応づける対応点４２の組として、視野映像４の対応点４２である実空間対応点４２ａおよび原形画像３の対応点４２である原形対応点４２ｂの組を検索する。
図６では、実空間特徴点５１ａおよび原形特徴点５１ｂを黒丸によって示している。
【００４７】
対応点検索処理３１を実現する手法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｒｏｍ）などが知られている。ＳＩＦＴでは、画像中から特徴点の抽出と特徴量の記述を行う手法である。各特徴点には、スケールと、様々な特徴量を示す１２８次元ベクトルが定義される。そして、１２８次元ベクトル間のユークリッド距離を用いて、実空間特徴点５１ａの集合および原形特徴点５１ｂの集合から対応点４２の組を探索する。最も小さい距離の組（実空間特徴点５１ａと原形特徴点５１ｂの組）が対応点４２の組の候補となるが、２番目に小さい距離を持つ組との差が一定の値以上の場合にのみ、対応点４２の組と判定する。すなわち、対応点４２の組と判定されない実空間特徴点５１ａ、原形特徴点５１ｂが存在する。これは、特徴量の近い特徴点が複数存在する場合、誤って対応づけることを防止するためである。
後述する平面射影変換行列算出処理３３の入力としては、４つ以上の対応点４２の組が存在すれば良い。対応点４２の組が少ないことよりも、誤って対応づけた対応点４２の組が存在することの方が、平面射影変換行列算出処理３３の精度を低くする為、対応点検索処理３１では、出来る限り、誤って対応づけた対応点４２の組を出力しないようにする。
【００４８】
ＳＩＦＴは、対象物体５の回転、サイズ変化、照明変化の影響を受けにくいという効果がある。但し、本発明に係る対応点検索処理３１は、ＳＩＦＴに限定されるわけではなく、適宜公知の技術を適用することができる。
【００４９】
図５の説明に戻る。
原形メッシュ生成処理３２では、制御部１１は、記憶部１２に格納されている原形画像３を入力し、原形画像３のメッシュである原形メッシュ４３を出力する。メッシュとは、任意の多角形（例えば、三角形、四角形など）を最小単位として、計算対象領域が細かく分割されたものである。メッシュサイズ（正三角形、正四角形などであれば、一辺の大きさ）は、用途に応じてユーザが適宜決定することができる。
原形メッシュ生成処理３２では、公知の技術により、例えば、原形画像３を任意の多角形によって等分割する。
【００５０】
図７は、原形メッシュ４３の模式図である。図７に示す原形メッシュ４３は、図６に示す原形画像３を三角形によってメッシュ分割したものである。制御部１１は、各三角形を識別するＩＤとともに、各三角形の頂点の座標を記憶部１２に記憶する。
【００５１】
図５の説明に戻る。
平面射影変換行列算出処理３３では、制御部１１は、原形メッシュ生成処理３２によって出力される対応点４２の組を入力し、実空間対応点４２ａおよび原形対応点４２ｂの組の集合に基づいて、視野映像４の座標を原形画像３の座標に平面射影変換するための平面射影変換行列４４を出力する。
【００５２】
前述の対応点検索処理３１では、誤って対応づけられた対応点４２の組が出力される可能性がある。平面射影変換行列算出処理３３において、誤って対応づけられた対応点４２の組を採用して計算すると、正確な平面射影変換行列４４を得ることはできない。本発明の平面射影変換行列算出処理３３では、誤って対応づけられた対応点４２の組を採用して計算しないように、例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）と呼ばれる手法を用いる。
【００５３】
図８は、平面射影変換行列算出処理３３の流れを示すフローチャートである。図９、図１０は、平面射影変換行列４４の一例を示す図である。
図８に示すフローチャートは、基本的には、ＲＡＮＳＡＣによる算出処理を示している。図９、図１０において、碁盤の目のように引かれた罫線は、平面の変形や各点の位置を把握し易いように付したものである。
【００５４】
制御部１１は、全ての対応点４２の組の中から平面射影変換行列４４の計算に採用する点を乱数によって決定する（Ｓ１０１）。
図９、図１０では、視野映像４における実空間対応点４２ａが、番号が付された正方形によって示されている。図９、図１０に示す例では、６つの実空間対応点４２ａが存在する。制御部１１は、平面射影変換行列４４の計算に採用する点として、６つの実空間対応点４２ａの中から、例えば、４つの実空間対応点４２ａを乱数によって決定する。
図９の例では、「１」、「２」、「３」、「４」の実空間対応点４２ａを行列計算に採用する点としている。また、図１０の例では、「１」、「３」、「４」、「６」の実空間対応点４２ａを行列計算に採用する点としている。
【００５５】
次に、制御部１１は、算出した平面射影変換行列４４を用いて、視野映像４の全ての対応点４２の組を変換し、原形画像３における変換点５２とする（Ｓ１０２）。
図９、図１０では、原形画像３における変換点５２が、番号が付された正方形によって示されている。また、図９、図１０では、後述するＳ１０３にて参照される、原形画像３における原形対応点４２ｂが、番号が付された円によって示されている。
【００５６】
次に、制御部１１は、原形対応点４２ｂと位置が一致する変換点５２の数を算出する（Ｓ１０３）。ここで、位置が一致するとは、ｘ座標とｙ座標が完全一致する場合だけでなく、原形対応点４２ｂと変換点５２とのユークリッド距離が一定の値以内の場合も含むものとする。また、位置が一致するどうかの比較対象は、変換点５２の変換元である実空間対応点４２ａと対応づけられている原形対応点４２ｂのみとする。
図９、図１０では、原形対応点４２ｂと変換点５２の位置が一致していることを円と正方形の重なりによって示している。
図９の例では、原形対応点４２ｂと位置が一致する変換点５２の数は、「２」の１つだけである。また、図１０の例では、原形対応点４２ｂと位置が一致する変換点５２の数は、「１」、「３」、「６」の３つである。
【００５７】
次に、制御部１１は、終了条件を満たすかどうか確認する（Ｓ１０４）。
終了条件は、例えば、繰り返し処理の回数、すなわち、Ｓ１０１からＳ１０３までの処理を所定の回数実行することである。
また、終了条件は、例えば、原形対応点４２ｂと位置が一致する変換点５２の数、すなわち、Ｓ１０３の算出結果が所定の数を上回ることである。
終了条件を満たさない場合（Ｓ１０４のＮｏ）、制御部１１は、Ｓ１０１から繰り返す。
終了条件を満たす場合（Ｓ１０４のＹｅｓ）、制御部１１は、Ｓ１０５に進む。
【００５８】
次に、制御部１１は、原形対応点４２ｂと位置が一致する変換点５２の数が最も多い平面射影変換行列４４を最適解として記憶部１２またはＲＡＭに保存する（Ｓ１０５）。
図９、図１０の例を比較すると、図１０の方が、原形対応点４２ｂと一致する変換点５２の数が多いことから、「１」、「３」、「４」、「６」の実空間対応点４２ａを採用して算出した平面射影変換行列４４が最適解となる。
尚、図２で対象物体５が湾曲等をしていない平面であれば、平面射影変換行列４４が求められると、前述した原形メッシュ生成処理３２、および後述する平面メッシュ生成処理３４、曲面メッシュ生成処理３５を行わなくても、視野映像４内のアイマーク６の位置座標から原形画像３の注視点７を求めることができる。
【００５９】
図５の説明に戻る。
平面メッシュ生成処理３４では、制御部１１は、平面射影変換行列算出処理３３によって出力される平面射影変換行列４４、対応点検索処理３１によって出力される対応点４２の組、原形メッシュ生成処理３２によって出力される原形メッシュ４３を入力し、視野映像４の平面メッシュ４５を出力する。
また、曲面メッシュ生成処理３５では、制御部１１は、平面メッシュ生成処理３によって出力される平面メッシュ４５を入力し、視野映像４の曲面メッシュ４６を出力する。
【００６０】
図１１は、平面メッシュ生成処理３４、曲面メッシュ生成処理３５の流れを示すフローチャートである。図１２は、平面メッシュ４５の一例を示す図である。図１３は、実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４を説明する図である。図１４は、曲面メッシュ４６の一例を示す図である。
【００６１】
平面メッシュ生成処理３４では、制御部１１は、原形メッシュ４３に対して平面射影変換行列４４に基づく平面射影変換を行うことで視野映像４の平面メッシュ４５を生成する。
また、曲面メッシュ生成処理３５では、制御部１１は、平面メッシュ４５に対して、実空間対応点４２ａに対して平面射影変換を行うことで平面対応点４２ｃを算出し、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４に基づいて平面メッシュ４５を変形することで視野映像４の曲面メッシュ４６を生成する。
【００６２】
図１１に示すように、制御部１１は、図８のＳ１０５にて算出した平面射影変換行列４４の最適解の逆行列を用いて、原形メッシュ４３の平面射影変換を行うことで平面メッシュ４５を生成する（Ｓ２０１）。
図１２では、原形メッシュ４３から平面メッシュ４５への変換を示している。説明の都合上、平面メッシュ４５は、視野映像４における対象物体５に重ねて示している。
図２に示すように、対象物体５の端が湾曲したり、内部に凹凸が生じたりしている場合、図１２に示すように、平面メッシュ４５は、不規則に変形した視野映像４の対象物体５とずれが生じる。これに対して、後述する曲面メッシュ生成処理３５を行うことで、対象物体５の端が湾曲したり、内部に凹凸が生じたりすることによるずれを修正し、注視点７の位置を正確に特定することできる。
【００６３】
次に、制御部１１は、平面メッシュ４５を対応点４２の組の集合（実空間対応点４２ａおよび平面対応点４２ｃの集合）に合わせて位置合わせを行う（Ｓ２０２）。
具体的には、制御部１１は、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４と、変形の複雑度とを含む判定式に基づいて平面メッシュ４５を変形する。判定式は、次に示す式（１）である。
【００６４】
【数１】
【００６５】
式（１）のＳは、平面メッシュ４５の各要素の頂点の集合であって、行列である。ε（Ｓ）が判定式である。λＤは、調整用パラメータである。εＤ（Ｓ）は、変形の複雑度である。εＣ（Ｓ）は、実空間対応点４２ａと平面対応点４２ｃとの位置ずれ５４に基づく値である。
式（２）のｎは、平面メッシュ４５の各要素を示す添字である。Ｎは、平面メッシュ４５の要素数である。εＤ（Ｓ（ｎ））は、式（２）に示すように、例えば、変形前後の各辺の差の二乗和の平方根である。差の二乗和の平方根に代えて、差の二乗和、分散、標準偏差などを採用しても良い。ｌｉ（ｎ）は、要素ｎの変形前の辺の長さである。ｌｉ´（ｎ）は、要素ｎの変形後の辺の長さである。要素が三角形の場合、辺が３つなので、ｉ＝１〜３である。また、要素が四角形の場合、辺が４つなので、ｉ＝１〜４となる。
式（３）のｋは、対応点４２の組を示す添字である。Ｋは、対応点４２の組の数である。εＣ（Ｓ（ｋ））は、式（３）に示すように、例えば、実空間対応点４２ａと平面対応点４２ｃとのユークリッド距離である。ｘ１（ｋ）、ｙ１（ｋ）は、実空間対応点４２ａのｘ座標、ｙ座標である。ｘ２（ｋ）、ｙ２（ｋ）は、平面対応点４２ｃのｘ座標、ｙ座標である。
【００６６】
εＤ（Ｓ）は、変形が複雑であれば、値が大きくなる。また、εＣ（Ｓ）は、位置ずれ５４が大きければ、値が大きくなる。
制御部１１は、単純な変形、すなわち滑らかな変形によって、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を小さくし、平面対応点４２ｃの位置と実空間対応点４２ａの位置が合うように位置合わせする為、式（１）に示す判定式ε（Ｓ）を最小化するＳを算出する。従って、制御部１１は、式（１）に示す判定式ε（Ｓ）の偏微分が０となるＳを算出する。
【００６７】
次に、制御部１１は、Ｓ２０２における位置合わせの結果に基づいて、平面メッシュ４５を変形する（Ｓ２０３）。ここでは、制御部１１は、Ｓ２０２にて算出された平面メッシュ４５の各要素の頂点の集合Ｓに基づいて、平面メッシュ４５の各要素の頂点を移動させれば良い。Ｓ２０３の変形では、要素の数は変わらないが、要素の面積、形状が変化する。
【００６８】
次に、制御部１１は、終了条件を満たすかどうか確認する（Ｓ２０４）。
終了条件は、例えば、繰り返し処理の回数、すなわち、Ｓ２０２からＳ２０３までの処理を所定の回数実行することである。
また、終了条件は、例えば、位置ずれ５４の最大値、すなわち、Ｓ２０２において算出する平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４の最大値が一定の値以下になることである。
終了条件を満たさない場合（Ｓ２０４のＮｏ）、制御部１１は、Ｓ２０２から繰り返す。
終了条件を満たす場合（Ｓ２０４のＹｅｓ）、制御部１１は、Ｓ２０５に進む。
【００６９】
図１３では、実空間対応点４２ａが、番号が付された正方形によって示され、平面対応点４２ｃが、番号が付された円によって示されている。図１３の例では、対応点４２の組の識別番号が「１」、「２」、「５」、「６」については、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が大きい。一方、対応点４２の識別番号が「３」、「４」については、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が小さい。
制御部１１がＳ２０２からＳ２０３の処理を繰り返すことで、図１３に示す位置ずれ５４は、次第に小さくなっていく。
【００７０】
次に、制御部１１は、現時点での変形した平面メッシュ４５を曲面メッシュ４６として記憶部１２に保存する（Ｓ２０５）。制御部１１は、平面メッシュ４５を繰り返し変形することで、最適な曲面メッシュ４６を生成する。
図１４では、曲面メッシュ４６の模式図を示している。図１１に示す処理を行うことで、視野映像４の対象物体５が正確に表現された曲面メッシュ４６が生成される。図１４に示すように、曲面メッシュ４６の領域は、視野映像４の対象物体５の領域と一致している。また、曲面メッシュ４６の各要素は、平面メッシュ４５の各要素と比較して、対象物体５の端の湾曲や内部の凹凸などの変形に応じて、位置、大きさ、形状が変形されている。
【００７１】
図５の説明に戻る。
注視点位置特定処理３６では、制御部１１は、アイトラッキング装置２から受信するアイマーク位置４７、曲面メッシュ生成処理３５によって出力される曲面メッシュ４６（または、平面メッシュ生成処理３４によって出力される平面メッシュ４５）を入力し、注視点位置４８を出力する。
図１４に示すように、視野映像４におけるアイマーク位置４７に基づいて、曲面メッシュ４６（または平面メッシュ４５）のアイマークを含む要素５６が判定できる。曲面メッシュ４６（または平面メッシュ４５）と原形メッシュ４３の各要素は、それぞれ対応づけられているので、曲面メッシュ４６（または平面メッシュ４５）のアイマークを含む要素５６と対応する原形メッシュ４３の要素が、注視点を含む要素５７と特定される。そして、制御部１１は、アイマークを含む要素５６、注視点を含む要素５７、およびアイマーク位置４７に基づいて、注視点位置４８を算出し、出力する。
【００７２】
図１５は、注視点位置４８の算出処理の一例を説明する図である。
図１５には、アイマークを含む要素５６と注視点を含む要素５７が図示されている。点Ａ、Ｂ、Ｃは、アイマークを含む要素５６（曲面メッシュ４６または平面メッシュ４５の三角形）の頂点であり、点Ａ、Ｂ、Ｃの座標は既知である。同様に、点Ａ’、Ｂ’、Ｃ’は、注視点を含む要素５７（原形メッシュ４３の三角形）の頂点であり、点Ａ’、Ｂ’、Ｃ’の座標は既知である。また、点Ｐはアイマーク位置４７であり、点Ｐの座標は既知である。
ここで、三角形ＰＢＣ、ＰＣＡ、ＰＡＢの面積比を（α、β、γ）とすると、点Ａ、Ｂ、Ｃ、Ｐの座標が既知であることから、（α、β、γ）は算出可能である。
更に、点Ｐ’を注視点位置４８とする。また、三角形Ｐ’Ｂ’Ｃ’、Ｐ’Ｃ’Ａ’、Ｐ’Ａ’Ｂ’の面積比を（α’、β’、γ’）とする。
制御部１１は、例えば、（α’、β’、γ’）＝（α、β、γ）となる点Ｐ’の座標を算出し、注視点位置４８の座標として出力する。
但し、注視点位置４８の算出処理は、この例に限定されるわけではなく、適宜公知の技術を適用することができる。
【００７３】
前述した位置合わせ処理（図１１のＳ２０２）の説明では、式（３）のεＣ（Ｓ）は、全ての対応点４２の組（ｋ＝１、・・・、Ｋ）を用いて算出したが、本発明はこの例に限定されない。
前述したように、対応点検索処理３１では、誤って対応づけられた対応点４２の組が出力される可能性がある。誤って対応づけられた対応点４２の組は、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４が大きくなる。一方、図１１のＳ２０２では、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を小さくするように位置合わせを行う。従って、制御部１１は、誤って対応づけられた対応点４２の組の位置を合わせるように処理を行ってしまい、正確な曲面メッシュ４６を生成することができない場合がある。
【００７４】
以下では、図１６、図１７を参照しながら、誤って対応づけられた対応点４２の組を判定式の算出から除外するために、判定式の算出処理に採用する対応点４２の組の選択処理について説明する。
【００７５】
図１６は、判定式の算出処理に採用する対応点の組の選択処理の第１の例を示すフローチャートである。
制御部１１は、対応点４２の組を１つ選択し（Ｓ３０１）、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を算出する（Ｓ３０２）。
次に、制御部１１は、Ｓ３０２の算出結果が閾値以内かどうか確認する（Ｓ３０３）。
Ｓ３０２の算出結果が閾値以内の場合（Ｓ３０３のＹｅｓ）、制御部１１は、Ｓ３０１にて選択した対応点４２の組を判定式の算出処理に採用し（Ｓ３０４）、Ｓ３０５に進む。
Ｓ３０２の算出結果が閾値よりも大きい場合（Ｓ３０３のＮｏ）、制御部１１は、Ｓ３０１にて選択した対応点４２の組を判定式の算出処理に採用せずに、Ｓ３０５に進む。
【００７６】
次に、制御部１１は、全ての対応点４２の組に対して処理が終了したかどうか確認する（Ｓ３０５）。
全ての対応点４２の組に対して処理が終了していない場合（Ｓ３０５のＮｏ）、制御部１１は、Ｓ３０１から処理を繰り返す。
全ての対応点４２の組に対して処理が終了している場合（Ｓ３０５のＹｅｓ）、制御部１１は、処理を終了する。
【００７７】
図１６の処理によって、誤って対応づけられた可能性が高い対応点４２の組を除外して、判定式の算出処理に採用する対応点４２の組を選択することができる。
【００７８】
尚、Ｓ３０３の閾値は、平面メッシュ４５の変形を繰り返すごとに小さくしていくことが望ましい。
閾値を適切に変更していくことで、繰り返しの序盤では、多くの対応点４２の組（誤って対応づけられた対応点４２の組もある程度含む。）を使用して大まかな変形を行うことができる。
また、繰り返しの終盤では、少ない対応点４２の組（誤って対応づけられた対応点４２の組がほとんどない。）を使用して正確に細かい変形を行うことができる。
【００７９】
図１７は、判定式の算出処理に採用する対応点の組の選択処理の第２の例を示すフローチャートである。
制御部１１は、対応点４２の組を１つ選択し（Ｓ４０１）、平面対応点４２ｃと実空間対応点４２ａとの位置ずれ５４を算出する（Ｓ４０２）。
次に、制御部１１は、全ての対応点４２の組に対して処理が終了したかどうか確認する（Ｓ４０３）。
全ての対応点４２の組に対して処理が終了していない場合（Ｓ４０３のＮｏ）、制御部１１は、Ｓ４０１から処理を繰り返す。
全ての対応点４２の組に対して処理が終了している場合（Ｓ４０３のＹｅｓ）、制御部１１は、Ｓ４０４に進む。
【００８０】
次に、制御部１１は、位置ずれ５４が最も大きい対応点４２の組を除く対応点４２の組を判定式の算出処理に採用する（Ｓ４０４）。ここで、除外する対応点４２の組は、位置ずれ５４が最も大きい対応点４２の組ではなく、位置ずれ５４が大きい方から一定の数の対応点４２の組としても良い。
【００８１】
図１７の処理によって、誤って対応づけられた可能性が高い対応点４２の組を除外して、判定式の算出処理に採用する対応点４２の組を選択することができる。
【００８２】
尚、Ｓ４０４において、位置ずれ５４が大きい方から一定の数の対応点４２の組を除外する場合、一定の数は、平面メッシュ４５の変形を繰り返すごとに増やしていくことが望ましい。
一定の数を適切に変更していくことで、第１の例と同様、繰り返しの序盤、繰り返しの終盤のそれぞれの場合において、適切な対応点４２の組を使用して適切な変形を行うことができる。
【００８３】
第１の例および第２の例において適切な変形を行うことができる理由は、次の通りである。誤って対応づけられた対応点４２は、位置合わせの修正がばらばらになる。一方、正しく対応づけられた対応点４２は、同じ方向に修正を行うため、誤って対応づけられた対応点４２が含まれていても、全体としては正しい方向への修正量が大きくなる。
【００８４】
以上、詳細に説明した通り、本発明に係る注視点計測装置１は、注視点の位置を特定するためのマーカーが不要な為、アイトラッキング装置２の装着者が無意識にマーカーに視線を向けてしまうことがなく、適切な計測を行うことができる。また、剛性が低い素材の訴求媒体を対象物体５としたときに、対象物体５が変形した場合であっても、対象物体５の原形画像３における注視点の位置を正確に自動計測することができる。
【００８５】
以上、添付図面を参照しながら、本発明に係る注視点計測装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８６】
１………注視点計測装置
２………アイトラッキング装置
３………原形画像
４………視野映像
５………対象物体
６………アイマーク
７………注視点
３１………対応点検索処理
３２………原形メッシュ生成処理
３３………平面射影変換行列算出処理
３４………平面メッシュ生成処理
３５………曲面メッシュ生成処理
３６………注視点位置特定処理
４２………対応点
４２ａ………実空間対応点
４２ｂ………原形対応点
４２ｃ………平面対応点
４３………原形メッシュ
４４………平面射影変換行列
４５………平面メッシュ
４６………曲面メッシュ
４７………アイマーク位置
４８………注視点位置
５１ａ………実空間特徴点
５１ｂ………原形特徴点
５２………変換点
５４………位置ずれ
５６………アイマークを含む要素
５７………注視点を含む要素
【特許請求の範囲】
【請求項１】
アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、
を具備することを特徴とする注視点計測装置。
【請求項２】
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成手段と、
を更に具備することを特徴とする請求項１に記載の注視点計測装置。
【請求項３】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれと変形の複雑度とを含む判定式に基づいて前記平面メッシュを繰り返し変形することで、最適な前記曲面メッシュを生成することを特徴とする請求項２に記載の注視点計測装置。
【請求項４】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが閾値よりも大きい対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項３に記載の注視点計測装置。
【請求項５】
前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことを特徴とする請求項４に記載の注視点計測装置。
【請求項６】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが大きい方から一定の数の対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項３に記載の注視点計測装置。
【請求項７】
前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことを特徴とする請求項６に記載の注視点計測装置。
【請求項８】
前記視野映像内のアイマークを含む前記平面メッシュまたは前記曲面メッシュの要素と対応する前記原形メッシュの要素が、前記注視点を含むものとして前記注視点の位置を特定する注視点位置特定手段、
を更に具備することを特徴とする請求項１から請求項７のいずれかに記載の注視点計測装置。
【請求項９】
アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、
を含むことを特徴とする注視点計測方法。
【請求項１０】
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成ステップと、
を更に含むことを特徴とする請求項９に記載の注視点計測方法。
【請求項１１】
コンピュータを請求項１から請求項８のいずれかに記載の注視点計測装置として機能させるためのプログラム。
【請求項１２】
コンピュータを請求項１から請求項８のいずれかに記載の注視点計測装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
【請求項１】
アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測装置であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索手段と、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出手段と、
を具備することを特徴とする注視点計測装置。
【請求項２】
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成手段と、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成手段と、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成手段と、
を更に具備することを特徴とする請求項１に記載の注視点計測装置。
【請求項３】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれと変形の複雑度とを含む判定式に基づいて前記平面メッシュを繰り返し変形することで、最適な前記曲面メッシュを生成することを特徴とする請求項２に記載の注視点計測装置。
【請求項４】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが閾値よりも大きい対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項３に記載の注視点計測装置。
【請求項５】
前記閾値は、前記平面メッシュの変形を繰り返すごとに小さくしていくことを特徴とする請求項４に記載の注視点計測装置。
【請求項６】
前記曲面メッシュ生成手段は、前記平面対応点と前記実空間対応点との位置ずれが大きい方から一定の数の対応点の組は、前記判定式の算出処理に採用しないことを特徴とする請求項３に記載の注視点計測装置。
【請求項７】
前記一定の数は、前記平面メッシュの変形を繰り返すごとに増やしていくことを特徴とする請求項６に記載の注視点計測装置。
【請求項８】
前記視野映像内のアイマークを含む前記平面メッシュまたは前記曲面メッシュの要素と対応する前記原形メッシュの要素が、前記注視点を含むものとして前記注視点の位置を特定する注視点位置特定手段、
を更に具備することを特徴とする請求項１から請求項７のいずれかに記載の注視点計測装置。
【請求項９】
アイトラッキング装置によって撮影された映像である視野映像内のアイマークの位置と対応付けて、前記視野映像に含まれる対象物体の原形画像における注視点の位置を計測する注視点計測方法であって、
前記視野映像の特徴点である実空間特徴点および前記原形画像の特徴点である原形特徴点を抽出し、前記実空間特徴点の集合および前記原形特徴点の集合に基づいて、前記視野映像と前記原形画像とを対応づける対応点の組として、前記視野映像の対応点である実空間対応点および前記原形画像の対応点である原形対応点の組を検索する対応点検索ステップと、
前記実空間対応点および前記原形対応点の組の集合に基づいて、前記視野映像の座標を前記原形画像の座標に平面射影変換するための平面射影変換行列を算出する変換行列算出ステップと、
を含むことを特徴とする注視点計測方法。
【請求項１０】
前記原形画像のメッシュである原形メッシュを生成する原形メッシュ生成ステップと、
前記原形メッシュに対して前記平面射影変換行列に基づく平面射影変換を行うことで前記視野映像の平面メッシュを生成する平面メッシュ生成ステップと、
前記実空間対応点に対して前記平面射影変換を行うことで平面対応点を算出し、前記平面対応点と前記実空間対応点との位置ずれに基づいて前記平面メッシュを変形することで前記視野映像の曲面メッシュを生成する曲面メッシュ生成ステップと、
を更に含むことを特徴とする請求項９に記載の注視点計測方法。
【請求項１１】
コンピュータを請求項１から請求項８のいずれかに記載の注視点計測装置として機能させるためのプログラム。
【請求項１２】
コンピュータを請求項１から請求項８のいずれかに記載の注視点計測装置として機能させるためのプログラムを記憶したコンピュータ読取可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−１９４１０５（Ｐ２０１１−１９４１０５Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５７３２（Ｐ２０１０−６５７３２）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
[ Back to top ]