見做し注視点検出装置
【課題】眼球の動きの検出手段を有するタイプのものは、特殊なゴーグルが必要になる。
【解決手段】頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、それらからのデータの記憶手段と、頭部及び胸部運動検出部からのデータにより胸部に対する水平方向の視線角と頭部の垂直方向の回転角を算定し、これら算定値に基づき視点の画像上の座標を算定し、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有する。よって、被験者が少なくともその近辺を注視していたと推定することを可能にして、眼球運動検出手段を不要にし、該眼球運動検出手段を装着するためのゴーグルが不要になる。
【解決手段】頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、それらからのデータの記憶手段と、頭部及び胸部運動検出部からのデータにより胸部に対する水平方向の視線角と頭部の垂直方向の回転角を算定し、これら算定値に基づき視点の画像上の座標を算定し、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有する。よって、被験者が少なくともその近辺を注視していたと推定することを可能にして、眼球運動検出手段を不要にし、該眼球運動検出手段を装着するためのゴーグルが不要になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、胸部及び頭部の動きに基づき見做し注視点を算定して、撮影した映像上に表示する様にした見做し注視点検出装置に関する。
【背景技術】
【０００２】
従来、被験者の視点の動きを映像上に表示する、例えば『アイマークレコーダー』などと称される注視点検出装置にあっては、眼球の動きを検出する眼球運動検出手段と、頭部の動きを検出する頭部運動検出手段と、前記眼球運動検出手段によって検出された眼球の動きと前記頭部運動検出手段によって検出された頭部の動きとに応じて、前記被験者の視線の動きを演算し、注視点を定義することによって視線の動きから注視点を分離する注視点処理手段と、注視点と注視点との間を移動する視線の動きからなる視線情報を画像上に表示するための画像処理手段と、前記視線情報を前記被験者の見ているビデオ画像上に重ね合わせるスーパーインポーズ手段とを備えたものが見受けられ、上記眼球運動検出部及び頭部運動検出部をゴーグルに装着し、上記眼球運動検出部は中央の発光ダイオードと該発光ダイオードの両側に配されたフォトダイオードを有し、上記頭部運動検出部としては磁気センサが用いられている（例えば、特許文献１参照）。
【０００３】
そして、白目と黒目とでは反射率が異なることを利用し、発光ダイオードから眼球に光を投射して、フォトダイオードで反射光を受光し、この反射率の違いを増幅して、差をとれば水平（左右）の出力となり、和をとれば垂直（上下）の出力となり、又水平方向と垂直方向とでは、眼球に対向するセンサの位置が異なり、水平方向のセンサは眼球の上下に対して中央に反射光を検出し、垂直方向のセンサは下方にて反射光を検出する様に夫々配置され、一方の眼に水平方向のセンサが、他方の眼に垂直方向のセンサが夫々配置され、これらを同時に用いることで２次元的な眼球運動を検出し、而も頭部運動を検出し、これを視線の動きに変換することにより、頭部運動によって実現される視線の動きと眼球運動による視線の動きを同時に分析して映像表示手段上に視点を表示することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平４−４６５７０号公報（〔特許請求の範囲〕、〔従来の技術〕、〔発明の実施例〕及び第５図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術にあっては、特殊なゴーグルを装着せねばならないことから、研究室外で使用する場合、被験者は非常に目立った存在になって衆人環視に晒され普段通りに振る舞えなくなるため、通常の精神状態下でのデータ収集とはなり難く、而も眼鏡使用者には適用出来ないなど、解決せねばならない課題があった。
【課題を解決するための手段】
【０００６】
本発明は、上記従来技術に基づく、特殊なゴーグルが必要になる課題に鑑み、頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有し、視覚情報を効果的に捉えるべく頭部運動と眼球運動を巧妙に組み合わせるプログラムを人間が有していることから、頭部に対する視線角を胸部に対する頭部の回転角により自動的に決定する様に処理すれば、ある程度正確に視点を算定出来ることから、その視点がある程度止まった場合に見做し注視点として映像上に表示することで、被験者が少なくともその近辺を注視していたと推定することを可能にし、被験者が実際に注視していた対象を判断するための材料として、ある程度の精度で以て注視点であろうと判断された見做し注視点を表示する様にしたことによって、上記特許文献１に記載の従来技術に必要な眼球運動検出手段が不要になり、該眼球運動検出手段を装着するためのゴーグルを不要にして、上記課題を解決する。
【発明の効果】
【０００７】
要するに本発明は、頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有しているので、胸部に対する頭部回転角は、頭部（具体的には耳殻）に取り付けた頭部運動検知部からのデータに基づき算出された頭部回転総角から、胸部中央に取り付けた胸部運動検知部からのデータに基づき算出された胸部回転角を減じて算定され、この頭部回転角に対応して頭部に対する視線角が自ずと決定されることから、眼球運動検知手段としての照明手段及びセンサが不要になり、而も視界カメラも胸部中央に取り付けられることから、眼球運動検知手段及び視界カメラを装着するゴーグルも不要になるため、被験者は外見上目立たぬ格好で調査可能になって衆人環視に晒されず普段通りに振る舞うことが出来、信頼度の高い調査結果を提供することが出来る。
而も、上記胸部運動検出部を上記撮影手段に内蔵したので、被験者は胸部運動検出部が内蔵された撮影手段及び頭部運動検知部だけになるため、より目立たぬ格好にすることが出来る等その実用的効果甚だ大である。
【０００８】
つまり、従来のものは、装着したゴーグルに撮影手段を取り付けられているため、頭部の向いている方向を撮影出来るのに対し、本発明は、頭部運動及び眼球運動の両者の移動量が予めプログラムされているとの前提の上で発明されたもので、撮影手段を胸部に取り付けているため、胸部の向いている方向を撮影することになるが、頭部の動きを検出する手段を頭部に、胸部の動きを検出する手段を胸部に夫々取り付けることで、頭部運動検出手段では胸部の動きと該胸部に対する頭部の動きとを合わせた動きとしてのデータが検出されるため、頭部運動検出手段の検出値から胸部運動検出手段の検出値を減じれば、胸部に対する頭部の動きの検出値となり、上記各データに基づき胸部に対する頭部の回転角を演算し、それに基づき頭部に対する視線角を演算すれば、胸部に対する視線角も自ずと決定されるため、胸部に取り付けた撮影手段による映像に対する視線情報を取得出来、その視点が設定時間以上止まっと見做された場合に注視状態と判断されて、映像上に見做し注視点が表示され、必要に応じて注視時間に応じて表示注視点を変化させる様にしている。
但し、人間は頭部を動かさずに眼球だけを動かすことが可能であることから、本発明では正確な視線の動きをトレースすることはできないが、見做し注視点間に視線がどの様に動いたかはあまり関係がなく、その結果表示された見做し注視点も正確とはいえないが、あくまでも被験者が注視しているとされる点を特定し表示するためのものであり、最終的な判断は、実際に映像上の見做し注視点に基づき何処を注視していたかを解析することになる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る見做し注視点検出装置の第１実施例を取り付けた状態の概略図である。
【図２（ａ）】データ格納手段及びデータ演算手段を別体化した見做し注視点検出装置の第１実施例のブロック図である。
【図２（ｂ）】データ格納手段及びデータ演算手段を一体化した見做し注視点検出装置のブロック図である。
【図３】頭部回転角、頭部に対する視線角及び胸部に対する視線角の関係を示す図である。
【図４】頭部に対する視線角及び胸部に対する視線角の関係を示すグラフである。
【図５】本発明に係る見做し注視点検出装置の第２実施例を取り付けた状態の概略図である。
【図６】データ格納手段及びデータ演算手段を別体化した見做し注視点検出装置の第２実施例のブロック図である。
【発明を実施するための形態】
【００１０】
本発明に係る見做し注視点検出装置の一実施例を図面に基づき説明する。
上記見做し注視点検出装置にあっては、頭部に取り付ける頭部運動検出部１と、上半身に取り付ける胸部運動検出部２と、胸部中央に取り付ける撮影手段３と、上記頭部回転検出部１、胸部運動検出部２及び撮影手段３を有線又は無線で接続して各種データを格納する手段４と、該データ格納手段４に格納されたデータに基づき胴部と頭部の回転角を算定して胴部に対する頭部の回転角を算定し、それに基づき頭部に対する視線角を算定し見做し注視点の画面上の座標を決定する演算手段５と、上記撮影手段３で撮影した映像に見做し注視点をスーパーインポーズする手段６と、見做し注視点がスーパーインポーズされた映像を表示する手段７とを有し、上記データ格納手段４及び演算手段５のうち少なくともデータ格納手段４を被験者がショルダーバッグ、デイパックなどに収容して携帯可能にし、終了後に上記データ格納手段４の各種データを演算手段５へ出力し、表示手段７に映像及び見做し注視点を表示する様にしている。
以下、詳細に説明する。
【実施例１】
【００１１】
図１、図２（ａ）及び図２（ｂ）に示す見做し注視点検出装置の実施例１にあっては、頭部運動検出部１が被験者の耳殻に取り付られ、胸部運動検出部２を内蔵した撮影手段３が胸部中央に取り付けられ、頭部運動検出部１、胸部運動検出部２及び撮影手段３が有線接続されたデータ格納手段４がショルダーバッグに収容して携行可能にしている。
【００１２】
上記頭部運動検出部１にあっては、装着手段をヘッドホンと同じにし、ケーシング９内にセンサ10が収容され、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に有線接続されている。
【００１３】
上記胸部運動検出部２及び撮影手段３にあっては、首からぶら下げて使用するペンダントタイプで、ペンダントヘッド11に小型ビデオカメラ12及びセンサ13を装備しており、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に接続されている。
【００１４】
上記データ格納手段４にあっては、図２（ａ）及び図２（ｂ）に示す様に、Ｉ／Ｏインターフェース14を介して、上記頭部運動検出部１、胸部運動検出部２及び撮影手段３を有線接続し、このデータ格納手段４には、頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cとを有している。
【実施例２】
【００１５】
図５、６に示す見做し注視点検出装置の実施例２にあっては、頭部運動検出部１が上記実施例１と同一で、胸部運動検出部２が被験者の上半身（胸部、腰部など）に取り付られ、撮影手段３が胸部中央に取り付けられ、頭部運動検出部１及び撮影手段３が有線接続されると共に胸部運動検出部２が無線接続されたデータ格納手段４がショルダーバッグに収容して携行可能にしている。
【００１６】
上記胸部運動検出部２にあっては、センサ13及びデータ格納手段４へのデータ送信手段を具備し、上記撮影手段３にあっては、首からぶら下げて使用するペンダントタイプで、ペンダントヘッド11に小型ビデオカメラ12を装備しており、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に接続されている。
【００１７】
上記データ格納手段４にあっては、図６に示す様に、Ｉ／Ｏインターフェース14を介して、上記頭部運動検出部１及び撮影手段３を有線接続し、データ格納手段４側にデータ受信手段20を設けて胸部運動検出部２を無線接続し、このデータ格納手段４には、頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cとを有している。
上記データ受信手段20にあっては、図６ではＩ／Ｏインターフェース14に接続する外付けタイプとしているが、データ格納手段４に内蔵一体化しても良い。
【００１８】
上記実施例１、２における頭部運動検出部１及び胸部運動検出部２のセンサ10、13にあっては、ジャイロセンサ、角速度センサなどを使用し、特に角速度センサの場合には、出力データを積分することで位置を求めることを可能にする。
【００１９】
上記実施例１、２における演算手段５にあっては、図２（ａ）、６に示す様に、Ｉ／Ｏインターフェース14a を介して上記データ格納手段４及び表示手段７と接続したり、或いは図２（ｂ）に示す様に、上記データ格納手段４と一体とし、例えば携帯型ＰＣ（ノートパソコン）のメモリーやＣＰＵなどの機能を利用してデータを処理し、Ｉ／Ｏインターフェース14b を介して、上記頭部運動検出部１、胸部運動検出部２、撮影手段３及び表示手段７と接続している。
そして、上記データ格納手段４における頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cから出力された各種データに基づき、映像上の視点の座標を算定し、この視点が設定時間以上設定範囲内に止まった場合に停止していると見做されて、見做し注視点として抽出される様に成っている。
【００２０】
上記実施例１、２におけるスーパーインポーズ手段６にあっては、演算手段５により抽出され出力された見做し注視点のデータを画像信号に変換すると共に、映像データ記憶手段4cから出力されたビデオ信号にスーパーインポーズさせてビデオ出力とし、映像表示手段７に表示される。
【００２１】
尚、図２（ａ）、図２（ｂ）及び図６に示す様に、データ格納手段４に小型マイク15や、心拍数、血圧、体温などの生体情報を取得する手段16や、気温、照度、騒音、気圧などの環境情報を取得する手段17を接続しても良い。
【００２２】
次に、本発明に係る見做し注視点検出方法の一実施例について説明する。
頭部運動検出部１及び胸部運動検出部２からのデータに基づき頭部総回転角ｘ0 及び胸部回転角ｘ1 を算定して胸部に対する頭部回転角ｘを下記（１）式で算定し、この算定値を、該算定値に基づき選択された数式f(x)に代入して頭部に対する視線角Ｙを算定し、この算定値を下記（２）式に代入して胸部に対する視線角Ｘを算定する。
ｘ＝ｘ0 −ｘ1 ………（１）
Ｘ＝ｘ＋Ｙ………（２）
【００２３】
上記（１）式による頭部回転角ｘの算定値に基づき選択される頭部に対する視線角Ｙを算定する数式f(x)は下記の通りであり、この数式を上記（２）式に代入して胸部に対する水平方向の視線角Ｘ（ヨー角）を算定する。
尚、図４は、頭部回転角ｘをｘ軸、視線角をｙ軸としたグラフであり、頭部に対する視線角Ｙはｙ＝f(x)で、胸部に対する視線角Ｘはｙ＝ｘ＋f(x)で表されている。
〔右回転の場合〕
( ａ) ０≦ｘ＜１０ f(x)＝０ ∴Ｘ＝ｘ
( ｂ) １０≦ｘ＜１５ f(x)＝ｘ−１０ ∴Ｘ＝２ｘ−１０
( ｃ) １５≦ｘ＜２０ f(x)＝０．４ｘ−１ ∴Ｘ＝１．４ｘ−１
( ｄ) ２０≦ｘ＜２５ f(x)＝ｘ−１３ ∴Ｘ＝２ｘ−１３
( ｅ) ２５≦ｘ＜３０ f(x)＝０．６ｘ−３ ∴Ｘ＝１．６ｘ−３
( ｆ) ３０≦ｘ f(x)＝１５ ∴Ｘ＝ｘ＋１５
〔左回転の場合〕
( ｇ) −１０＜ｘ≦０ f(x)＝０ ∴Ｘ＝ｘ
( ｈ) −１５＜ｘ≦−１０ f(x)＝ｘ＋１０ ∴Ｘ＝２ｘ＋１０
( ｉ) −２０＜ｘ≦−１５ f(x)＝０．４ｘ＋１ ∴Ｘ＝１．４ｘ＋１
( ｊ) −２５＜ｘ≦−２０ f(x)＝ｘ＋１３ ∴Ｘ＝２ｘ＋１３
( ｋ) −３０＜ｘ≦−２５ f(x)＝０．６ｘ＋３ ∴Ｘ＝１．６ｘ＋３
( ｌ) ｘ≦−３０ f(x)＝−１５ ∴Ｘ＝ｘ−１５
【００２４】
尚、頭部が上下方向に運動する場合、眼球が追従して上下しないものと定義されている。
つまり、上記頭部運動検出部１からのデータに基づき上下方向の角度（ピッチ角）を算定し、この算定値を上下方向の視線角とし、上記の視線角Ｘ（ヨー角）とで視点の画像上の座標を算定する。
【００２５】
そして、視点の座標が、設定時間内設定範囲内に止まった場合に、見做し注視点と判断されて抽出され、この抽出されたデータに基づきスーパーインポーズ手段６により画像信号に変換すると共に、映像データ記憶手段4cから出力されたビデオ信号にスーパーインポーズさせてビデオ出力とし、映像表示手段７に表示される。
【産業上の利用可能性】
【００２６】
本発明に係る見做し注視点検出装置は、来店者を被験者としてどの様な商品、陳列手段、広告手段が人目を惹くか等のマーケティングリサーチ用、運転時（実技とドライブシミュレーターの両方）用として利用する。
【符号の説明】
【００２７】
１ 頭部運動検出部
２ 胸部運動検出部
３ 撮影手段
４ データ記憶手段
５ 演算手段
６ スーパーインポーズ手段
７ 表示手段
ｘ0 頭部総回転角
ｘ1 胸部回転角
ｘ 頭部回転角
【技術分野】
【０００１】
本発明は、胸部及び頭部の動きに基づき見做し注視点を算定して、撮影した映像上に表示する様にした見做し注視点検出装置に関する。
【背景技術】
【０００２】
従来、被験者の視点の動きを映像上に表示する、例えば『アイマークレコーダー』などと称される注視点検出装置にあっては、眼球の動きを検出する眼球運動検出手段と、頭部の動きを検出する頭部運動検出手段と、前記眼球運動検出手段によって検出された眼球の動きと前記頭部運動検出手段によって検出された頭部の動きとに応じて、前記被験者の視線の動きを演算し、注視点を定義することによって視線の動きから注視点を分離する注視点処理手段と、注視点と注視点との間を移動する視線の動きからなる視線情報を画像上に表示するための画像処理手段と、前記視線情報を前記被験者の見ているビデオ画像上に重ね合わせるスーパーインポーズ手段とを備えたものが見受けられ、上記眼球運動検出部及び頭部運動検出部をゴーグルに装着し、上記眼球運動検出部は中央の発光ダイオードと該発光ダイオードの両側に配されたフォトダイオードを有し、上記頭部運動検出部としては磁気センサが用いられている（例えば、特許文献１参照）。
【０００３】
そして、白目と黒目とでは反射率が異なることを利用し、発光ダイオードから眼球に光を投射して、フォトダイオードで反射光を受光し、この反射率の違いを増幅して、差をとれば水平（左右）の出力となり、和をとれば垂直（上下）の出力となり、又水平方向と垂直方向とでは、眼球に対向するセンサの位置が異なり、水平方向のセンサは眼球の上下に対して中央に反射光を検出し、垂直方向のセンサは下方にて反射光を検出する様に夫々配置され、一方の眼に水平方向のセンサが、他方の眼に垂直方向のセンサが夫々配置され、これらを同時に用いることで２次元的な眼球運動を検出し、而も頭部運動を検出し、これを視線の動きに変換することにより、頭部運動によって実現される視線の動きと眼球運動による視線の動きを同時に分析して映像表示手段上に視点を表示することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平４−４６５７０号公報（〔特許請求の範囲〕、〔従来の技術〕、〔発明の実施例〕及び第５図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術にあっては、特殊なゴーグルを装着せねばならないことから、研究室外で使用する場合、被験者は非常に目立った存在になって衆人環視に晒され普段通りに振る舞えなくなるため、通常の精神状態下でのデータ収集とはなり難く、而も眼鏡使用者には適用出来ないなど、解決せねばならない課題があった。
【課題を解決するための手段】
【０００６】
本発明は、上記従来技術に基づく、特殊なゴーグルが必要になる課題に鑑み、頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有し、視覚情報を効果的に捉えるべく頭部運動と眼球運動を巧妙に組み合わせるプログラムを人間が有していることから、頭部に対する視線角を胸部に対する頭部の回転角により自動的に決定する様に処理すれば、ある程度正確に視点を算定出来ることから、その視点がある程度止まった場合に見做し注視点として映像上に表示することで、被験者が少なくともその近辺を注視していたと推定することを可能にし、被験者が実際に注視していた対象を判断するための材料として、ある程度の精度で以て注視点であろうと判断された見做し注視点を表示する様にしたことによって、上記特許文献１に記載の従来技術に必要な眼球運動検出手段が不要になり、該眼球運動検出手段を装着するためのゴーグルを不要にして、上記課題を解決する。
【発明の効果】
【０００７】
要するに本発明は、頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有しているので、胸部に対する頭部回転角は、頭部（具体的には耳殻）に取り付けた頭部運動検知部からのデータに基づき算出された頭部回転総角から、胸部中央に取り付けた胸部運動検知部からのデータに基づき算出された胸部回転角を減じて算定され、この頭部回転角に対応して頭部に対する視線角が自ずと決定されることから、眼球運動検知手段としての照明手段及びセンサが不要になり、而も視界カメラも胸部中央に取り付けられることから、眼球運動検知手段及び視界カメラを装着するゴーグルも不要になるため、被験者は外見上目立たぬ格好で調査可能になって衆人環視に晒されず普段通りに振る舞うことが出来、信頼度の高い調査結果を提供することが出来る。
而も、上記胸部運動検出部を上記撮影手段に内蔵したので、被験者は胸部運動検出部が内蔵された撮影手段及び頭部運動検知部だけになるため、より目立たぬ格好にすることが出来る等その実用的効果甚だ大である。
【０００８】
つまり、従来のものは、装着したゴーグルに撮影手段を取り付けられているため、頭部の向いている方向を撮影出来るのに対し、本発明は、頭部運動及び眼球運動の両者の移動量が予めプログラムされているとの前提の上で発明されたもので、撮影手段を胸部に取り付けているため、胸部の向いている方向を撮影することになるが、頭部の動きを検出する手段を頭部に、胸部の動きを検出する手段を胸部に夫々取り付けることで、頭部運動検出手段では胸部の動きと該胸部に対する頭部の動きとを合わせた動きとしてのデータが検出されるため、頭部運動検出手段の検出値から胸部運動検出手段の検出値を減じれば、胸部に対する頭部の動きの検出値となり、上記各データに基づき胸部に対する頭部の回転角を演算し、それに基づき頭部に対する視線角を演算すれば、胸部に対する視線角も自ずと決定されるため、胸部に取り付けた撮影手段による映像に対する視線情報を取得出来、その視点が設定時間以上止まっと見做された場合に注視状態と判断されて、映像上に見做し注視点が表示され、必要に応じて注視時間に応じて表示注視点を変化させる様にしている。
但し、人間は頭部を動かさずに眼球だけを動かすことが可能であることから、本発明では正確な視線の動きをトレースすることはできないが、見做し注視点間に視線がどの様に動いたかはあまり関係がなく、その結果表示された見做し注視点も正確とはいえないが、あくまでも被験者が注視しているとされる点を特定し表示するためのものであり、最終的な判断は、実際に映像上の見做し注視点に基づき何処を注視していたかを解析することになる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る見做し注視点検出装置の第１実施例を取り付けた状態の概略図である。
【図２（ａ）】データ格納手段及びデータ演算手段を別体化した見做し注視点検出装置の第１実施例のブロック図である。
【図２（ｂ）】データ格納手段及びデータ演算手段を一体化した見做し注視点検出装置のブロック図である。
【図３】頭部回転角、頭部に対する視線角及び胸部に対する視線角の関係を示す図である。
【図４】頭部に対する視線角及び胸部に対する視線角の関係を示すグラフである。
【図５】本発明に係る見做し注視点検出装置の第２実施例を取り付けた状態の概略図である。
【図６】データ格納手段及びデータ演算手段を別体化した見做し注視点検出装置の第２実施例のブロック図である。
【発明を実施するための形態】
【００１０】
本発明に係る見做し注視点検出装置の一実施例を図面に基づき説明する。
上記見做し注視点検出装置にあっては、頭部に取り付ける頭部運動検出部１と、上半身に取り付ける胸部運動検出部２と、胸部中央に取り付ける撮影手段３と、上記頭部回転検出部１、胸部運動検出部２及び撮影手段３を有線又は無線で接続して各種データを格納する手段４と、該データ格納手段４に格納されたデータに基づき胴部と頭部の回転角を算定して胴部に対する頭部の回転角を算定し、それに基づき頭部に対する視線角を算定し見做し注視点の画面上の座標を決定する演算手段５と、上記撮影手段３で撮影した映像に見做し注視点をスーパーインポーズする手段６と、見做し注視点がスーパーインポーズされた映像を表示する手段７とを有し、上記データ格納手段４及び演算手段５のうち少なくともデータ格納手段４を被験者がショルダーバッグ、デイパックなどに収容して携帯可能にし、終了後に上記データ格納手段４の各種データを演算手段５へ出力し、表示手段７に映像及び見做し注視点を表示する様にしている。
以下、詳細に説明する。
【実施例１】
【００１１】
図１、図２（ａ）及び図２（ｂ）に示す見做し注視点検出装置の実施例１にあっては、頭部運動検出部１が被験者の耳殻に取り付られ、胸部運動検出部２を内蔵した撮影手段３が胸部中央に取り付けられ、頭部運動検出部１、胸部運動検出部２及び撮影手段３が有線接続されたデータ格納手段４がショルダーバッグに収容して携行可能にしている。
【００１２】
上記頭部運動検出部１にあっては、装着手段をヘッドホンと同じにし、ケーシング９内にセンサ10が収容され、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に有線接続されている。
【００１３】
上記胸部運動検出部２及び撮影手段３にあっては、首からぶら下げて使用するペンダントタイプで、ペンダントヘッド11に小型ビデオカメラ12及びセンサ13を装備しており、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に接続されている。
【００１４】
上記データ格納手段４にあっては、図２（ａ）及び図２（ｂ）に示す様に、Ｉ／Ｏインターフェース14を介して、上記頭部運動検出部１、胸部運動検出部２及び撮影手段３を有線接続し、このデータ格納手段４には、頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cとを有している。
【実施例２】
【００１５】
図５、６に示す見做し注視点検出装置の実施例２にあっては、頭部運動検出部１が上記実施例１と同一で、胸部運動検出部２が被験者の上半身（胸部、腰部など）に取り付られ、撮影手段３が胸部中央に取り付けられ、頭部運動検出部１及び撮影手段３が有線接続されると共に胸部運動検出部２が無線接続されたデータ格納手段４がショルダーバッグに収容して携行可能にしている。
【００１６】
上記胸部運動検出部２にあっては、センサ13及びデータ格納手段４へのデータ送信手段を具備し、上記撮影手段３にあっては、首からぶら下げて使用するペンダントタイプで、ペンダントヘッド11に小型ビデオカメラ12を装備しており、後述するＩ／Ｏインターフェース14を介してデータ格納手段４に接続されている。
【００１７】
上記データ格納手段４にあっては、図６に示す様に、Ｉ／Ｏインターフェース14を介して、上記頭部運動検出部１及び撮影手段３を有線接続し、データ格納手段４側にデータ受信手段20を設けて胸部運動検出部２を無線接続し、このデータ格納手段４には、頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cとを有している。
上記データ受信手段20にあっては、図６ではＩ／Ｏインターフェース14に接続する外付けタイプとしているが、データ格納手段４に内蔵一体化しても良い。
【００１８】
上記実施例１、２における頭部運動検出部１及び胸部運動検出部２のセンサ10、13にあっては、ジャイロセンサ、角速度センサなどを使用し、特に角速度センサの場合には、出力データを積分することで位置を求めることを可能にする。
【００１９】
上記実施例１、２における演算手段５にあっては、図２（ａ）、６に示す様に、Ｉ／Ｏインターフェース14a を介して上記データ格納手段４及び表示手段７と接続したり、或いは図２（ｂ）に示す様に、上記データ格納手段４と一体とし、例えば携帯型ＰＣ（ノートパソコン）のメモリーやＣＰＵなどの機能を利用してデータを処理し、Ｉ／Ｏインターフェース14b を介して、上記頭部運動検出部１、胸部運動検出部２、撮影手段３及び表示手段７と接続している。
そして、上記データ格納手段４における頭部運動データ記憶手段4a、胸部運動データ記憶手段4b及び映像データ記憶手段4cから出力された各種データに基づき、映像上の視点の座標を算定し、この視点が設定時間以上設定範囲内に止まった場合に停止していると見做されて、見做し注視点として抽出される様に成っている。
【００２０】
上記実施例１、２におけるスーパーインポーズ手段６にあっては、演算手段５により抽出され出力された見做し注視点のデータを画像信号に変換すると共に、映像データ記憶手段4cから出力されたビデオ信号にスーパーインポーズさせてビデオ出力とし、映像表示手段７に表示される。
【００２１】
尚、図２（ａ）、図２（ｂ）及び図６に示す様に、データ格納手段４に小型マイク15や、心拍数、血圧、体温などの生体情報を取得する手段16や、気温、照度、騒音、気圧などの環境情報を取得する手段17を接続しても良い。
【００２２】
次に、本発明に係る見做し注視点検出方法の一実施例について説明する。
頭部運動検出部１及び胸部運動検出部２からのデータに基づき頭部総回転角ｘ0 及び胸部回転角ｘ1 を算定して胸部に対する頭部回転角ｘを下記（１）式で算定し、この算定値を、該算定値に基づき選択された数式f(x)に代入して頭部に対する視線角Ｙを算定し、この算定値を下記（２）式に代入して胸部に対する視線角Ｘを算定する。
ｘ＝ｘ0 −ｘ1 ………（１）
Ｘ＝ｘ＋Ｙ………（２）
【００２３】
上記（１）式による頭部回転角ｘの算定値に基づき選択される頭部に対する視線角Ｙを算定する数式f(x)は下記の通りであり、この数式を上記（２）式に代入して胸部に対する水平方向の視線角Ｘ（ヨー角）を算定する。
尚、図４は、頭部回転角ｘをｘ軸、視線角をｙ軸としたグラフであり、頭部に対する視線角Ｙはｙ＝f(x)で、胸部に対する視線角Ｘはｙ＝ｘ＋f(x)で表されている。
〔右回転の場合〕
( ａ) ０≦ｘ＜１０ f(x)＝０ ∴Ｘ＝ｘ
( ｂ) １０≦ｘ＜１５ f(x)＝ｘ−１０ ∴Ｘ＝２ｘ−１０
( ｃ) １５≦ｘ＜２０ f(x)＝０．４ｘ−１ ∴Ｘ＝１．４ｘ−１
( ｄ) ２０≦ｘ＜２５ f(x)＝ｘ−１３ ∴Ｘ＝２ｘ−１３
( ｅ) ２５≦ｘ＜３０ f(x)＝０．６ｘ−３ ∴Ｘ＝１．６ｘ−３
( ｆ) ３０≦ｘ f(x)＝１５ ∴Ｘ＝ｘ＋１５
〔左回転の場合〕
( ｇ) −１０＜ｘ≦０ f(x)＝０ ∴Ｘ＝ｘ
( ｈ) −１５＜ｘ≦−１０ f(x)＝ｘ＋１０ ∴Ｘ＝２ｘ＋１０
( ｉ) −２０＜ｘ≦−１５ f(x)＝０．４ｘ＋１ ∴Ｘ＝１．４ｘ＋１
( ｊ) −２５＜ｘ≦−２０ f(x)＝ｘ＋１３ ∴Ｘ＝２ｘ＋１３
( ｋ) −３０＜ｘ≦−２５ f(x)＝０．６ｘ＋３ ∴Ｘ＝１．６ｘ＋３
( ｌ) ｘ≦−３０ f(x)＝−１５ ∴Ｘ＝ｘ−１５
【００２４】
尚、頭部が上下方向に運動する場合、眼球が追従して上下しないものと定義されている。
つまり、上記頭部運動検出部１からのデータに基づき上下方向の角度（ピッチ角）を算定し、この算定値を上下方向の視線角とし、上記の視線角Ｘ（ヨー角）とで視点の画像上の座標を算定する。
【００２５】
そして、視点の座標が、設定時間内設定範囲内に止まった場合に、見做し注視点と判断されて抽出され、この抽出されたデータに基づきスーパーインポーズ手段６により画像信号に変換すると共に、映像データ記憶手段4cから出力されたビデオ信号にスーパーインポーズさせてビデオ出力とし、映像表示手段７に表示される。
【産業上の利用可能性】
【００２６】
本発明に係る見做し注視点検出装置は、来店者を被験者としてどの様な商品、陳列手段、広告手段が人目を惹くか等のマーケティングリサーチ用、運転時（実技とドライブシミュレーターの両方）用として利用する。
【符号の説明】
【００２７】
１ 頭部運動検出部
２ 胸部運動検出部
３ 撮影手段
４ データ記憶手段
５ 演算手段
６ スーパーインポーズ手段
７ 表示手段
ｘ0 頭部総回転角
ｘ1 胸部回転角
ｘ 頭部回転角
【特許請求の範囲】
【請求項１】
頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有することを特徴とする見做し注視点検出装置。
【請求項２】
上記胸部運動検出部を上記撮影手段に内蔵したことを特徴とする請求項１記載の見做し注視点検出装置。
【請求項３】
上記胸部運動検出部にデータ発信手段を具備し、データ記憶手段にデータ受信手段を具備して胸部運動検出部及びデータ記憶手段を無線接続したことを特徴とする請求項１記載の見做し注視点検出装置。
【請求項１】
頭部に装着する頭部運動検出部と、上半身に装着する胸部運動検出部と、胸部に装着する撮影手段と、上記頭部運動検出部、胸部運動検出部及び撮影手段からのデータを記憶する手段と、頭部運動検出部及び胸部運動検出部からのデータに基づき頭部の水平方向の総回転角及び胸部の水平方向の回転角を算定すると共に、頭部総回転角から胸部回転角を減じて胸部に対する頭部の水平方向の回転角を算定し、この算定値を、該算定値に基づき選択された数式に代入して頭部に対する視線角を算定すると共に、この算定値に頭部回転角を加して胸部に対する視線角を算定し、頭部運動検出部からのデータに基づき頭部の垂直方向の回転角を算定し、上記胸部に対する視線角と頭部の垂直方向の回転角の算定値に基づき視点の画像上の座標を算定すると共に、この視点から設定時間内設定範囲内に止まった見做し注視点を抽出する演算手段と、抽出されたデータに基づき見做し注視点を映像上にスーパーインポーズする手段と、見做し注視点がスーパーインポーズされた映像の表示手段とを有することを特徴とする見做し注視点検出装置。
【請求項２】
上記胸部運動検出部を上記撮影手段に内蔵したことを特徴とする請求項１記載の見做し注視点検出装置。
【請求項３】
上記胸部運動検出部にデータ発信手段を具備し、データ記憶手段にデータ受信手段を具備して胸部運動検出部及びデータ記憶手段を無線接続したことを特徴とする請求項１記載の見做し注視点検出装置。
【図１】
【図２（ａ）】
【図２（ｂ）】
【図３】
【図４】
【図５】
【図６】
【図２（ａ）】
【図２（ｂ）】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２５０１４（Ｐ２０１１−２５０１４Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２０１０−１３７０２９（Ｐ２０１０−１３７０２９）
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（５９７０７８９０５）株式会社 アドホック (3)
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２２年６月１６日（２０１０．６．１６）
【出願人】（５９７０７８９０５）株式会社 アドホック (3)
【Ｆターム（参考）】
[ Back to top ]