注目度計測装置及び注目度計測システム
【課題】注目度データを容易に把握する技術を提供する。
【解決手段】撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える。
【解決手段】撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目度計測装置に関するものである。
【背景技術】
【０００２】
従来の注目度計測装置は、特許文献１に記載のように、特定の注目対象の注目度を計測し、解析して、表形式で出力することが知られている。
【０００３】
【特許文献１】特開平１０−４８００８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された注目度計測解析システムでは、特定の注目対象に対する注目度データを表形式でモニタ出力またはプリントアウトしたものを確認しなければならず、注目度の分布等のデータを直感的に把握することが困難であった。
【０００５】
また注目度計測を開始する時点で、商品棚など限定された範囲の注目対象を指定することが前提となっており、指定された範囲外の注目度の計測や、その結果の表示などを行うことは考慮されていない。
【０００６】
本発明は、上記課題に鑑みて為されたものであり、その目的は、注目度データを容易に把握するのに好適な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち本発明は、撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備えることを特徴とする。
【０００８】
上記構成によれば、例えば、注目度の計測対象の画像と注目度の情報を示したグラフィックスをあわせて確認することができ、注目度データを好適に把握することができるという効果がある。また、注目度の情報をグラフィックスで示すことにより、注目度を多様に表現することが可能となり、注目度の計測対象を空間全体まで拡大することが可能となる。
【発明の効果】
【０００９】
本発明によれば、注目度の計測対象の画像と注目度の情報をあわせて確認することができ、注目度データを好適に把握することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に発明を実施するための実施の形態を図面を参照しつつ説明する。
【００１１】
なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【実施例１】
【００１２】
図１に本発明に係る第１実施例の構成を示す。
【００１３】
まず、撮像部１で空間中の人物を撮影して、その画像を得る。次に、人物位置計測部２で、空間中の人物の位置を計測する。撮像部１と人物位置計測部２は、視線方向計測部３に接続されている。視線方向計測部３では、撮像部１で得られた画像中から人物の検出と、視線方向の計測を行い、人物位置計測部２で得られた人物の位置から視線ベクトルの位置を決定する。さらに、空間情報記憶部４には、商品などの注目度の計測対象が空間上のどこに存在するかという位置の情報が予め格納されており、また注目度の計測対象に対する注目度を記憶する機能を有する。注目位置情報算出部５で、視線方向計測部３から得た空間中の視線の方向と人物の位置から視線ベクトルを決定し、空間情報記憶部４から得た空間情報とから注目位置を決定する。この注目位置の情報を注目度算出部６で受け取り、注目度を算出し、算出された注目度は空間情報記憶部４に記憶される。次に、出力制御部７で、出力する表または画像として出力部８に出力する。出力部８では出力制御部７より得た出力情報を表示または印字等で出力する。
【００１４】
また同じく、図１に示すように、第２の撮像部９を空間情報記憶部４に接続し、注目度の計測対象などの画像を撮影し、これを出力情報の生成に用いてもよい。
【００１５】
なお、本実施例は便宜上、図１のブロック図の構成にて示すが、必ずしもこれに限られるものではない。すなわち撮像部１は視線方向計測部３を介さず、注目位置情報算出部５、注目度算出部６、空間情報記憶部４、出力制御部７などと接続されてもよい。また第２の撮像部９は空間情報記憶部４ではなく、出力制御部７に接続されてもよい。
【００１６】
以下に図１のブロック図を構成するそれぞれの要素の詳細な説明を示す。
（撮像部）
撮像部１はカメラであり、バス、ＬＡＮ（ローカル・エリア・ネットワーク）などを通じて撮影した画像を視線方向計測部２に送る機能を有する。撮像部は、1台または複数台のカメラからなる。
（人物位置計測部）
人物位置計測部２では、任意の空間中にいる人物の位置を計測する機能を有する。この人物位置計測部の具体的な例としては、赤外線光を用いた距離センサや、ステレオカメラ、天井等に設置され俯瞰的な画像を撮るカメラなど複数の手段がある。ステレオカメラを用いる場合、ステレオカメラで得られた画像をそのまま入力画像として用いることが可能となるため、人物位置計測部２を撮像部１とみなすことが可能となる。
（視線方向計測部）
視線方向計測部３では、撮像部１から受け取った画像に対して画像処理を行い、画像中の人物の顔方向及び視線方向を計測する。さらに、画像中の人物の体の向きも計測し、これらのデータに基づいて、人物の最終的な視線方向を決定する。以下にこれを説明する。
【００１７】
まずは、顔と視線の方向を計測する方法を説明する。以下の方法を用いることにより、画像中に現れる任意の人物に対して精度良く視線方向を計測することができる。
【００１８】
視線方向計測部３は、例えば、図２のような構成になっている。例えば、画像取得部２１、移動体検出部２２、顔検出部２３、顔特徴量計算部２４、視線方向検出部２５、メタデータ作成部２６の構成要素を有する。
【００１９】
画像取得部２１は撮像部１からフレームごとに画像を取得する。取得した画像のカメラ番号と時間情報などから固有のフレームIDを作成し、これを画像のヘッダに書き込み管理する。画像取得部２１はデータ格納バッファを有しており、移動体検出部２２から取得要求が来るまで、数フレーム分の画像をバッファ内に保持しておく。
【００２０】
また、例えば、人物位置計測部２が撮像部である場合は、上記の画像データが人物位置計測データを兼ねてもよい。人物位置計測部２が距離センサなどである場合は、人物位置計測データは、画像取得部２１をパスして、直接移動体検出部２２に送られてもよい。
【００２１】
移動体検出部２２では、画像取得部２１から画像を取得し、さらに、人物位置計測部２から人物位置計測データを取得し、これらに基づき画像中から移動体を検出する。このとき、人物位置計測部２で得られる人物の位置情報を用いることで、画像中で人物の存在する範囲を決定することができる。このため、複数人が重なっていても正確に切り分けることが可能となる他、より高速に人物の検出を行うことが出来る。
【００２２】
次に、移動体検出部２２は、検出した移動体に固有の移動体番号を付け、毎フレーム追跡する。例えば、次フレームにおいて近い位置に近い大きさの移動体が検出されたら同一移動体として同じ移動体番号を付けて管理する。また例えば、一度フレームアウトしたら、その時点で追跡を終了することになり、次の移動体には異なる番号を付けて管理する。なお、移動体の同一性の判定は、上記の方法に限らず、以下に説明する顔特徴量を測定して、顔特徴量の測定結果の比較を実施し、顔特徴量が近いものを同一移動体として同じ移動体番号を付けて管理し、顔特徴量が近くないものを異なる移動体として異なる移動体番号を付けて管理してもよい。以上のように設定された毎フレームの移動体番号と移動体の存在する領域情報はメタデータ作成部２６に送られる。
【００２３】
次に、顔検出部２３では、移動体追跡部２２で得られた移動体領域中から既存の手法を用いて顔の検出を行う。顔検出部２３において顔が検出された場合のみ、顔特徴量計算部２４、視線検出部２５の処理が実行される。顔特徴計算部２４では、顔検出部２３で検出された顔画像から既存の手法を用いて顔特徴量を計算する。得られた顔特徴量はメタデータ作成部２６に送られる。視線検出部２５では、顔検出部２３で検出された顔画像から、顔方向と視線方向を計算する。この方向情報とは、カメラに対して水平方向φ度、垂直方向ψ度向いているという情報とする。図３に示すようにカメラのある方向をφ＝０、ψ＝０度とし、向かって右方向をφの正方向、向かって上方向をψの正方向とする。顔方向の水平・垂直成分をそれぞれφface、ψface、視線方向の水平・垂直成分をφeye、ψeyeとする。この、視線方向検出は従来の技術もしくは、以下で紹介する視線方向検出方法によってこれを行うこととする。メタデータ作成部２６では、そのフレーム画像が持つフレームID;３０a、カメラ番号３０b、画像の検出時間３０c、各検出部から送られてきた移動体番号３０d、移動体領域３０e、顔領域情報３０f、顔特徴量３０g、顔方向３０h、視線方向３０iという各情報を図４に示すような一つのフレーム情報１としてまとめ、注目位置情報算出部５、空間情報記憶部４などに送信する。移動体検出部２２において移動体が検出されなかった場合には、メタデータ作成部は何の処理も行わない。
【００２４】
（視線方向検出方法）
ここで、本実施例に係る視線方向検出の一例を述べる。かかる視線方向検出部２５は、顔検出部２３で得られた顔画像から、まず顔方向を計測し、得られた顔方向情報を用いて視線方向を決定する。
【００２５】
（顔方向推定）
図５の流れに従い、顔検出部２３から得た顔情報を元に顔方向を検出する。ステップ４１にてまず、顔検出部２３から顔領域情報と画像を得る。次にステップ４２で、背景差分や肌色領域抽出等により顔領域をより正確に推定しなおす。ここでいう、顔領域とは図６に示すように頭部に外接する四角形領域のことを言う。この顔領域の中心位置を顔領域中心位置と呼び、ステップ４３でこの位置を決定する。
【００２６】
次に、ステップ４４で顔器官中心位置を検出する。顔器官中心位置とは、図６に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置を言う。この顔器官中心位置は、眉や目尻、鼻といった各器官を検出し、各器官の位置関係から推定することが出来る。顔の各器官は、顔画像を輝度値によって２値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ４５では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。これは、図７の顔楕円モデルを参考にした式で決定される。図７は、水平方向右向きにφface向いた時の頭を真上から見下ろしたときのイメージである。このとき画像中の顔領域の両端がそれぞれF３０f2、顔器官中心位置がCである。このとき、顔領域の中心位置は楕円の中心位置OfaceでありF1とF2 の中点となる。wfaceは顔領域の幅であり、cfaceがCOface間の距離である。顔の幅aと奥行き方向の長さbの比を顔楕円比kとし、以下の数式によって顔方向φｆaceを求める。
【００２７】
【数１】
【００２８】
本システムでは楕円比kは約1.25とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのkの値は若干異なるが、その違いは0.1以下の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比kを求めることとする。本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定出来るため精度良く顔方向推定が可能である。また顔器官中心位置ではなく、耳位置を用いることで横向き時の方向推定も可能である。垂直方向の顔方向角度ψfaceの推定に関しては、既存の手法を用いて求める。
【００２９】
（視線方向検出方法）
以上の方法で得られた顔方向情報を用いて、視線方向を検出する。これは図８に示す流れで行う。ステップ５１において、まず顔画像中から瞳の中心位置を検出する。ステップ５２は、ステップ５１で瞳検出が成功したかを判定する。左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ５８で計測不可として終了する。片目だけもしくは両目とも検出に成功したら、ステップ５３に進む。ステップ５３ではステップ５２で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ５４はステップ５３で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。両目とも正しく目領域が検出できたらステップ５５へ、検出された目領域が片方のみの時、ステップ５７へと進む。ステップ５５、ステップ５７では、瞳の中心位置と目領域から視線方向計算を行う。ステップ５７では検出できた片方の目だけの視線方向を、ステップ５５では両目とも視線方向を計算する。ステップ５５で得られた両方の目の視線方向はステップ５６において統合され、ステップ５９において視線方向が検出される。
【００３０】
ステップ５５、ステップ５７で行われる視線方向計算の方法について述べる。これには顔方向と、ステップ５１とステップ５３でそれぞれ求めた瞳位置、目領域の情報を用いて、図９の眼球モデルに基づく式によって計算する。眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図９の弧E３０e2部分である。このE1とE2の位置を、それぞれ眼球の水平線から角度αの所にあるとする。図９においてOeye、Iがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Oeye´が実際の眼球の中心となる。φｆaceは上記顔方向検出で得られた顔方向の角度、φeyeが視線方向の角度、weyeは画像中における目領域の幅、ceyeは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向φeyeを以下の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。
【００３１】
【数２】
【００３２】
尚、数２において、ceyeはI−E1で表されている。これは、後述する数３及び数４にお
いても同様である。
【００３３】
また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視方向を計算しても良い。このとき、両目の眼球は図１０のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数２と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向φeyeは以下の式で求めることが出来る。
【００３４】
【数３】
【００３５】
同様に、右目の視線方向は以下の式で求めることが出来る。
【００３６】
【数４】
【００３７】
眼球の隠れ部分α、βは既定値（例えばα=７３、β＝４０度）を用いる。これは一般的な眼球の半径値と画像上の目領域の位置の値などから推定することも可能である。
【００３８】
ステップ５５において、両目とも視線が計測された後、ステップ５６において、両目の視線方向に重み付けを行い、足し合わせることで最終的な視線方向を決定する。この重みは顔方向によって決定する。顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目の重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときは、視線方向は両目の平均となる。なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して別々に行う。
【００３９】
以上の説明によって計測された顔の方向と視線の方向を用いて、視線方向計測部３は図１１の流れによって最終的な視線方向を決定する。以下にこれを説明する。
【００４０】
まず、ステップ７１では撮像部１で得られた画像、前フレームの画像での計測結果（例えば、人物位置や視線方向の情報など）、人物位置計測部２で得られた人物の位置情報が入力される。前フレームの人物位置・現在の人物位置の情報を基にして、ステップ７２で現フレームの画像中の人物位置を決定する。なお、前フレームまでに画像中に現れなかった新たな人物を検出した場合、この情報を空間情報記憶部４に送り、空間中を通過した人間の総和を記憶する。
【００４１】
次に、ステップ７３において顔方向、ステップ７４において視線方向を計測する。このとき、目が画像中に現れなかったなど、計測できなかった場合は計測不可を出力する。詳細は前述したとおりである。
【００４２】
ステップ７５において、映っている人物の体の向きを計測する。これは、画像から人物の肩のラインを検出することによって計測する、または過去数フレーム分の人物の位置情報の変化から移動方向を求めることで計測する。
【００４３】
次にステップ８１において、顔方向、視線方向、体の向きの情報から視線方向を決定する。ステップ７５で視線方向を計測できたときには、体の向きと顔の方向の情報を元にして得られた視線方向が正しいか判定する。また、このとき画像中の顔部分の解像度に応じて、得られた視線方向に想定される計測誤差分布を与えるようにしておく。以上により、人物の視線方向とその計測誤差分布の二つのデータを入手することができる。
【００４４】
一方、ステップ７５で視線方向計測不可であった場合、顔方向と体の向きから視線方向を推定し、これを視線方向とする。これは、それぞれの方向の関係と視線方向の確率密度分布を用いて決定する。以上により、この場合、人物の視線方向とその確率密度分布の二つのデータを入手することができる。
【００４５】
ここで、計測誤差分布と確率密度分布について説明する。
【００４６】
まず、計測誤差分布の例を図１２に示す。計測誤差分布は、視線方向計測部３で計測された視線方向の誤差を考慮して設定される視線方向の確率の分布である。図１２では、色の濃さが視線の方向の確率の大きさを表している。計測誤差分布は計測された視線方向を中心とした分布となると考えられる。この分布を考慮することにより、視線方向の測定誤差をデータに反映することができる。
【００４７】
これに対し、確率密度分布は、顔方向に対する視線方向の確率を示したものである。また、この確率密度分布は顔方向に対する視線の確率密度分布は体の向きと顔方向の関係によって変化する。
【００４８】
まず、顔方向と、体の向きが同じ方向である場合は、人間は一般的に物を見るとき顔の中心で捉えようとする。そのため、顔方向に対する視線の方向の確率密度分布は、視線方向の誤差分布と同様に図１２のようになると考えられる。ただし、確率密度分布の場合は、視線ではなく、顔の方向を基準としている。この確率密度分布を用いることで顔方向から視線の方向を精度良く推定できる。
【００４９】
次に、人間は移動方向に対して斜め前方にあるものを見るときは、顔の正面で物を見る事はほとんどなく、視線は顔方向よりも先に向かうことが多い。このため、図１３のように顔方向よりも先で確率の大きい分布を持つ確率密度分布を描くことになる。よって体の向きと顔の方向の関係も考慮することで、より正確な視線の確率分布を決定することができ、精度良く視線方向を推定することが可能となる。
【００５０】
いずれの場合も、確率密度分布において、もっとも確率の高い方向を視線方向とすることも可能である。
【００５１】
ここで、前述の計測誤差分布と確率密度分布の説明においては、ともに、図１２を用いて説明したが、これらの分布は互いに異なるものである。
【００５２】
例えば、確率密度分布は、統計的に求め、予めデータとして記憶しておいてもよい。
【００５３】
また、例えば、ステップ８１で視線と顔方向、体の向きが正確に計測されていたと判断された場合、それぞれの情報をステップ８３に送り、学習によって前述の確率密度分布を更新し、本システムの設置環境に応じた確率密度分布を構築してもよい。
【００５４】
以上のようにステップ８１では、視線方向とその計測誤差分布または視線の確率分布が得られる。これらの情報と画像中の人物位置情報が現フレーム画像における出力となる。これはステップ７１に送られ、次フレームの視線計測に用いられると共に、ステップ８２で注目位置情報算出部５へと送られる。
（空間情報記憶部）
空間情報記憶部４には、撮像部１と注目度の計測対象である物体の空間中での位置情報が記憶されている。具体的に、この位置情報は、ある決められた点を原点とした３次元空間における対象物の位置を指す。記憶されている位置情報は、例えば図１４のような陳列棚周辺においては棚により構成される平面を表す式、各商品が存在する座標範囲、商品が存在する代表点の座標等となる。一般に空間上の平面は、数５または、平面上の代表的な３点によって決定される。このためある平面を表す情報としては、この式とx、y、zそれぞれの値域を持つことになる。
（数５） az+by+cz=d (a,b,c,dは係数)
また、空間情報記憶部４は、指定した注目度計測対象ごとに注目度の情報を格納する領域を有しており、注目度算出部６において算出された注目度計測対象ごとの注目度を記憶する機能を有する。
【００５５】
図１４においては、例えば、商品Ａの存在する代表点の座標として、下記数６が与えられている。
（数６）( x , y , z ) = ( 23 , 150 , -20 )
図１４においては、例えば、商品Ａの存在する平面の座標範囲として、下記数７が与えられている。
（数７）z = -20 (10 ≦ x ≦ ３５１40 ≦ y ≦ 160)
その他の面も図１４に記載の式で座標範囲を与えられている。
【００５６】
図１４においては、人物が紙面方向を向いて商品棚を見るものとする。よって図１４に示されるように、商品の存在する位置の紙面方向に垂直な平面を商品Ａの存在する平面の座標としてもよい。またこの場合、商品ごとにxとｙの値の範囲を指定することにより、他の商品の座標範囲と異ならせている。他の商品の存在する座標範囲の例も図に示されるとおりである。また、図１４に示される棚の平面などは、以下説明する視線を遮るように設定するなどで利用できる。
【００５７】
また、空間情報記憶部４は図１４に示されるような、撮像部１のカメラ座標の情報も保持する。
【００５８】
またこの空間情報記憶部４は、例えば、陳列棚を表現した模式図や、または撮像部などによって撮影された前記陳列棚などの画像データを、図１４に示されるような各商品の位置情報と関連付けて保存しておいてもよい。
【００５９】
また、その他には、視線方向計測部２が測定する画像中に表れた人物の総数なども同様に記憶する。
【００６０】
視線方向計測部３、注目位置情報算出部５、注目度算出部６などは、必要に応じてこれらの情報を空間情報記憶部４から取得できる。
（注目位置情報算出部）
注目位置情報算出部５は、例えば、前述のように視線方向計測部３で得られた視線方向のベクトルと空間情報記憶部４にて記憶されている注目度計測対象の位置情報から、注目位置を算出する。または、前述のように視線方向計測部３で得られた視線方向のベクトル分布と空間情報記憶部４にて記憶されている注目度計測対象の位置情報から、注目位置確率分布を算出するなどの演算を行う。なお、視線方向のベクトル分布とは、前述の計測誤差分布や確率密度分布などのことをいう。
【００６１】
まずは視線方向のベクトルから注目位置を算出する場合について説明する。
【００６２】
視線ベクトルと注目位置の関係を図１５に示す。注目度計測対象として、平面Ａと平面Ｂがあるとき、それぞれの平面と視線ベクトルの交点を求める計算を行い、どの平面のどの位置を注目しているかを決定する。図１５では平面Ａ上に図示する注目位置を注目していることになる。
【００６３】
注目位置情報算出部５は、以上の処理により、注目位置の座標を算出する。
【００６４】
次に、視線ベクトル分布から注目位置確率分布を算出する場合について説明する。
【００６５】
まず、視線ベクトル分布から注目位置確率分布を算出する例を図２３に示す。以下の説明では、前記計測誤差分布及び前記確率密度分布を、視線ベクトル分布に含めて説明する。
【００６６】
視線ベクトル分布は前述した視線方向計測部３で計測された視線方向の確率の分布である。視線方向計測部３で計測された視線方向に対して、視線方向の確率が一定の閾値以上の視線ベクトルは、図２３に示されるように、ある程度の角度幅を持って広がっている。
【００６７】
なお、その閾値は例えば、その閾値以下の視線の確率または注目の確率が注目度の集計上、無視してよい値に設定する。具体的には、例えば、０．０１％、０．１％、１％などと設定する。
よって、図２３に示すように、前記の視線ベクトルの確率分布角度が注目度計測対象の平面と交わる範囲である注目位置確率の分布範囲は、注目している位置が遠くなるほど大きくなる。
【００６８】
視線ベクトル分布が前記計測誤差分布である場合は、実際の注目位置確率分布は、例えば図２４のようなガウス分布の形状であってもよい。
【００６９】
図２４は、図２３の平面Ａと平面Ｂそれぞれにおける注目位置確率分布であり、横軸が算出された注目位置からの距離、縦軸がその位置が実際の注目位置である確率を示している。注目度の算出は、この確率値を注目度として用いることとする。
【００７０】
また、視線ベクトル分布が前記確率密度分布である場合は、上記図２４のガウス分布ではなくてもよい。例えば、前述のように、人の一般的な行動の性質や、これらを観察して学習した結果を用いてもよい。また例えば、非対称分布であってもかまわない。
【００７１】
注目度計測対象面での注目位置と注目度分布の関係は例えば、図２５のようになる。
【００７２】
注目位置情報算出部５は、以上の処理により、注目度計測対象面での注目度分布を算出する。
【００７３】
注目位置情報算出部５は、例えば、上記の処理により得た注目位置の座標と注目度計測対象面での注目位置確率分布などのデータを注目度算出部６に転送する。このとき、注目度算出部６が注目位置の座標のみで注目度算出処理を行う場合には、注目度計測対象面での注目位置確率分布の算出及びこのデータの転送は不要である。
【００７４】
また、本実施例では、視線方向計測部３から取得した人物の位置情報など、注目位置情報算出部５が演算処理を行っていないデータも、注目位置情報算出部５が注目度算出部６に送ることとする。しかし、このような注目位置情報算出部５を経る必要の無いデータは、直接視線方向計測部３から注目度算出部６に送るようにしてもかまわない。
（注目度算出部）
注目度算出部６では、注目位置情報算出部５で得られた注目位置の位置情報または注目位置確率分布から、注目度を算出する。ここでは各商品に対する注目度の情報として、例えば、注目時間、注目回数、注目人数、注目位置確率、注目方法などを算出することとする。
【００７５】
以下に、注目位置の位置情報または注目位置確率分布を用いて、注目時間、注目回数、注目人数などを算出する例を説明する。
【００７６】
まず、人物が計測対象に注目しているか否かの判定は（以下、注目判定という。）、例えば、注目度算出部６が空間情報記憶部４から取得した各商品が存在する座標範囲内に、注目位置情報算出部５で得られた注目位置の位置座標が含まれているとき、これを注目している状態として判定する。
【００７７】
次に、注目回数、注目人数などのカウントに関して説明する。例えば、注目回数をカウントするとき、撮影画像の１フレームのみ注目位置が商品範囲に来たとしても人物が意識して注目していた可能性が低い。
よって、本実施例では、継続注目時間が閾値を超えた回数を注目回数としてカウントする。また、そのような注目動作をした人物を注目人物としてカウントする。ここでは仮に閾値を１秒とし、１秒以上注目した場合、注目回数、注目人数をカウントすることにする。
【００７８】
ここで、例えば、同一人物が商品Ａを２秒間注目した後、商品Ｂに３秒間注目し、商品Ｃに０.５秒注目し、また商品Ａに４秒間注目した場合、カウントする商品Ａの注目人数は１人、注目回数は２回、注目時間は２秒間と４秒間となり、総注目時間が６秒間となる。また、カウントする商品Ｂの注目人数は１人、注目回数は１回、総注目時間は３秒となり、カウントする商品Ｃの注目人数は０人、注目回数は０回、総注目時間は０秒となる。
【００７９】
また、上記では説明上、仮に閾値を1秒としたが、これは、システムの適用環境によって異なる。例えば、商品への注目等では０.３秒程とするとよい。
【００８０】
また、注目判定の別の方法としては、注目位置確率分布を用いて判定してもよい。この場合、例えば、次のように判定する。まず、注目度算出部６は注目位置情報算出部５で得られた注目位置確率分布と、空間情報記憶部４から取得した商品が存在する代表点の座標を比較し、この代表点の座標における注目位置確率を得る。次に、この注目位置確率が、予め定めた閾値を上回れば、注目していると判定し、閾値に達しなければ、注目していないと判定する。
【００８１】
また、ここで、上記のような閾値を設けず、単純に注目位置確率の積分を注目回数として評価してもよい。すなわち、注目位置確率分布における５０％の注目位置確率の位置に商品の代表点の座標が２回重なれば、1回分の注目回数としてもよい。
【００８２】
これらを算出することで、例えば、一回の注目あたりの平均時間、一人当たりの注目時間が求められる。さらに画像中に映った総人数の情報を記憶しておくことで、一人当たりの注目回数などが求められる。
【００８３】
また、注目度の一つとして上記に挙げた注目方法とは、注目度計測対象をどのように注目したかを意味する。注目方法としては、例えば、注目度計測対象に体を正対した注目（体方向注目）、顔だけを対象方向に向けた注目（顔方向注目）、視線だけを商品方向に向けた注目（目方向注目）などがある。これらは、体と顔の方向の差、顔と視線の方向の差を算出して決定する。この注目方法の情報によって、注目度計測対象への注目方法の分類や、注目方法による重み付けを行った注目度の算出が可能となる。
【００８４】
また、別の注目度評価パラメータとして、例えば、注目位置確率と時間などのパラメータに積分などを行う評価関数f(r,t0,t1)を用いて評価してもよい。ここで、rは商品の代表点の座標における注目位置確率、t0は注目度計測開始時刻、t1は注目度計測終了時刻である。
【００８５】
以上のように得られた注目度の情報は、注目度算出部６によって、空間情報記憶部４に格納される。格納される注目度の情報の一例を図１６に示す。例えば商品などの注目度計測対象ごとにテーブルを用意し、注目人物ごとに注目回数とその回ごとの注目時間、注目方法、注目開始時間及び上記に説明したような他の注目度等を記憶する。注目開始時間を記憶することで、注目度の時間帯ごとの結果を算出することも可能となる。更に、ある時間帯にその商品を注目していた人物の画像を見たいといった集計を行う場合に、画像へのインデックスとして利用することもできる。
【００８６】
次に、注目度算出部６における注目度算出の流れの一例を図１７に示す。ここでは、上記に説明した注目度の算出方法のうち、注目位置と各商品が存在する座標範囲を用いた方法における流れを説明する。他の注目度の算出方法においても、基本的には同じ流れであり、注目度の算出時に上記で説明したそれぞれのパラメータとその算出方法が相違する。
まず、ステップ７１では、得られた注目位置から注目している商品を決定する。注目判定の方法は前述のとおりである。
【００８７】
次にステップ７２で注目時間を計測する。前述の閾値をｎ秒と設定した場合、ステップ７３でひとつの商品に対する注目がn秒連続した場合、ステップ７４に進む。
【００８８】
ステップ７４では、注目された商品における注目情報の算出を行う。以下の算出は、図１６テーブルにおける前記商品の情報部分のパラメータについて行われる。まず、視線を向けた人物が初めてその商品を注目した人物かどうかを例えば前述した移動体の同一判定などの方法で判定する。例えば、ある人物が初めてその商品を注目した場合、新たにその商品を注目した人であるため、空間情報記憶部４に記憶されている注目人数と１を加算する。また、新たに注目開始したので空間情報記憶部４に記憶されている注目回数に１を足した回数を注目回数の算出値とする。また注目時間は、注目位置が商品の空間座標範囲内に入った時点から、商品の空間座標範囲内から出るまでの時間を計測し、注目時間の算出値として格納する。次に、前述のとおり、注目方法を、体の方向と顔方向との差、顔方向と視線方向との差から判定する。
【００８９】
最後にステップ７５にて、以上の算出値と注目方法の判定結果を用いて、空間情報記憶部４に記憶されている商品ごとの注目度の情報を更新する。
【００９０】
なお、本実施例では、かかる更新は、例えば、注目位置が商品の空間座標範囲内から出た時点で行うこととする。また、かかる更新は、一定時間のサンプリング間隔で自動的に行ってもよい。また、例えば、注目人数、注目回数の更新は、注目位置が商品の空間座標範囲内に入った時点で更新し、注目位置が商品の空間座標範囲内に入った時点からの経過時間をサンプリングのたびに更新するようにしてもよい。
【００９１】
このようにして、精度良く注目時間、注目回数、注目人数などの注目度に関するデータを取得保持できる。
（集計部）
集計部９は、注目度データの集計などを行い、集計した注目度の情報等を出力制御部７に出力する。
【００９２】
集計部９は、例えば、注目人数、注目回数、注目時間、またはこれらをパラメータとした注目度評価関数による演算結果などの注目度データを集計する。また、これらの注目度データを単位時間当たり、時間帯別、注目方法の種類毎に集計してもよい。
【００９３】
このような集計方法の選択は例えば、図１に示す集計部９に接続された入力部１２から入力される計測設定情報にもとづいて、選択してもよい。
【００９４】
この入力部１２は、図１に示す注目度ユニット１０の外部に接続されてもよく、内部にあってもよい。
【００９５】
また、入力部１２の計測設定情報の送り先は、集計部９ではなく、下記に説明する出力制御部７であってもよい。この場合は、出力制御部７が集計部９の集計方法を判断するようにしてもよい。
(出力制御部)
出力制御部７は、例えば、空間情報記憶部４に格納されている注目度の情報や集計部９によって集計された注目度の情報を所望の形式に変換し、出力部８に出力する。
【００９６】
以下に、出力部における出力の例を用いて出力制御部７での、データ変換を説明する。
【００９７】
まず、例えば、表示部８にモニタを用いた場合、注目度の計測対象を表すＣＧや、注目度の計測対象を撮影した画像を空間情報記憶部４から取得し、集計した注目度の情報を集計部９から取得する。次に、図１８示すように背景画像上に注目度のグラフィック情報を重畳して、合成する。これにより、商品の画像と注目度の情報を関連付けて、視覚的に容易に把握できるように表示することが可能となる。
【００９８】
ここで、出力制御部７によって合成されるグラフィック情報の一例について、図１８を参照しつつ説明する。本表示例は、例えば、表示画面のタイトル表示１０１、注目度情報画像表示１０２、注目度計測設定の表示１０３、注目度詳細情報表示１０４などを表示する。このうち、注目度情報表示画像１０２以外は、必要が無ければ表示しなくてもよい。
【００９９】
次に注目度情報画像表示１０２について説明する。本表示例は、例えば、背景画像として商品棚のＣＧを作成し、これに集計部９において集計された注目度のデータにもとづいて生成したグラフィック情報の画像を重畳合成して表示される。本実施例では商品Ａはモデル１０６として表示され、あわせて商品名１０７が表示されている。また、本実施例では注目度として総注目時間を用いており、その値を示す棒グラフ１０８及び、その注目度の値１０９が合成表示されている。グラフのみではなく、数値を合わせて表示してもよい。この場合、注目度が定量的に把握しやすいという効果がある。また計測対象の範囲（本表示例では棚）が複数ある場合など、図に示されるように対象表示欄１０５を設けてもよい。これにより、複数の計測対象の範囲を切替え表示する場合に、どの範囲を表示しているのかが、識別しやすくなる。
【０１００】
次に、注目度計測設定の表示１０３について説明する。注目度計測設定の表示１０３には例えば、計測期間の表示１１０、注目度表示方法の表示１１１、表示対象表示１１２、設定の表示１１３などが含まれる。これらを全て示す必要は無いが、これらを表示することにより、ユーザーが注目度の分析をおこなうにあたり、注目度の設定や、条件などを合わせて確認できる。
【０１０１】
次に注目度詳細情報表示１０４について説明する。注目度詳細情報表示１０４は例えば、図１８に示されるような、情報テーブルを表示する。これにより、注目度情報画像表示１０２だけでは表現しきれない詳細な情報を表示する。この表示を注目度情報画像表示１０２と同時に表示することにより、注目度の把握を容易にしながら、同時に、詳細なデータも確認することが可能となる。これにより、１つの表示画面でさまざまなアプローチで注目度を分析できるという効果がある。
【０１０２】
図１８の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内における商品ごとの総注目人数、総注目回数、総注目時間を表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１０３】
また上記の例では、注目度情報画像表示１０２が特定の領域に区切られている。これに対し、例えば、注目度情報画像表示１０２を画面全体に表示し、表示画面のタイトル表示１０１、対象表示欄１０５、注目度計測設定の表示１０３、注目度詳細情報表示１０４を注目度情報画像表示１０２に重畳するように表示しても構わない。
【０１０４】
また、例えば、注目度情報画像表示１０２の表示対象を他の表示対象に切り替える場合（本実施例では他の棚）に、対象表示欄１０５、注目度計測設定の表示１０３、注目度詳細情報表示１０４の表示内容も合わせて切り替えてもよい。このようにすれば、表示したい対象とデータをリンクさせて表示することが可能である。このような表示の切替えは、例えば、出力制御部７が必要なデータを空間情報記憶部４と集計部９にリクエストして、空間情報記憶部４がこれに応じてデータを出力制御部７にることにより行われる。同じく集計部９もこれに応じて集計データを出力制御部７に送り、出力制御部７で画像として生成されて、出力部８に出力される。
【０１０５】
尚、図１８の表示例では、特定の１時間の総注目時間を例として表示している。これに対し、例えば、注目度計測の期間を現在時刻から過去一定とし、時間の経過とともにデータを連続的に更新してもよい。これにより、最新の商品ごとの注目度の変化状態を確認することもできる。
【０１０６】
以上のような画像の編集は出力制御部７で行うが、前記背景画像の取得方法は例えば、以下の方法がある。
【０１０７】
まず、事前に撮像した注目対象の画像を背景画像に用いる方法である。撮像された画像は、空間情報記憶部４に格納される。注目対象の撮像は、一般的なデジタルカメラを用いてもよい。また、前記のように事前に作成したＣＧ画像を空間情報記憶部４に格納し、背景画像としてもよい。さらに、図１に示す第２の撮像部を注目度計測ユニットに接続し、この第２の撮像部でリアルタイム撮像された計測対象を背景画像としてもよい。この場合、第２の撮像部は、例えば空間情報記憶部４もしくは出力制御部７に接続され、出力制御部７によって、リアルタイムに注目度の情報を示す画像情報と合成される。
【０１０８】
例えば、空間情報記憶部４に記憶されている計測対象の位置（実空間の位置）が、取得した背景画像においてどの位置になるかの関連付けを行うことにより、背景画像中の計測対象の位置に、正確に注目度の情報の画像を表示することができる。この関連付けに関しては、背景画像と計測対象の位置情報の関連付けデータを空間情報記憶部４もしくは出力制御部７が保持することにより、可能となる。
【０１０９】
また例えば、背景画像が事前撮影や、ＣＧ等であれば、そのデータを入力する要素を設けてもよい。また、撮像部がズーム、パン、チルトなどの動作によって、撮像範囲を変化させる場合は、例えば、撮像部の空間上の位置、撮像部の画角、ズーム等の情報を事前に設定してもよい。次にこれらの設定データと空間情報記憶部４から取得した計測対象の位置情報のデータと撮像部の現在の動作状況のデータから、現在撮影している背景画像における計測対象の位置を算出する。これにより、撮像部が撮像範囲を変化させる場合も、背景画像の計測対象の位置に注目度のグラフィック画像を合成することが可能となる。
【０１１０】
注目度計測対象をリアルタイム撮影する場合において、例えば、陳列されている商品が別の商品に変更されたとき、空間情報記憶部４に記憶されているテーブル、注目位置情報算出部５、注目度算出部６及び集計部９の設定変更を行ってもよい。このとき、背景画像は現在の商品に追随するので、背景画像、注目度の情報とともに、現在の商品の情報を認識することが可能となる。これにより、当該別の商品について新たに注目度の集計が行われる。
【０１１１】
図１８に示されるように、注目度の情報は、棒グラフにて示される。また表示される注目殿情報は、例えば、注目人数、注目回数、注目時間及び前述した注目度評価関数による演算結果でもよい。または、これらを一定時間あたりの計測値、または最長連続注目時間などでもよい。
【０１１２】
なお、以上に述べた棒グラフは、円錐グラフでも、ピラミッドグラフでもよい。
【０１１３】
また、上記グラフは背景画像に表示される商品の横に表示してもよい。商品と商品の間に、グラフが表示できるスペースが無い場合は、図１８に示されるように、グラフに透過性を持たせ、背景がグラフを透過するようにしてもよい。このようにすれば、グラフによって注目度を確認しつつ、背景の商品も確認できる。以下に示す実施例で背景画像に合成する注目度のグラフ、注目位置確率分布、注目度分布などもすべて同様に、背景が透過する表示にしてもよい。
【０１１４】
また、図１９のような注目度情報として縦軸と横軸を持った２次元グラフ（例えば、折れ線グラフ、面グラフ、ヒストグラムなど。）や複数の棒グラフを背景画像と合成して示してもよい。この場合縦軸には例えば、注目時間、注目人数、注目回数等とし、横軸には、計測経過時間、時間帯、注目方法としてもよい。
【０１１５】
例えば、各商品の注目度の時間変化などを複数の商品間で比較して確認する場合、これを表によって表現しようとすると、比較的複雑な表となり、注目度の時間変化の把握が容易でない恐れがある。このようなときに、２次元グラフを用いることにより、注目度の時間変化なども比較的単純に表現することが可能となり、より、商品ごとの注目度を経時的に理解しやすくなる。
【０１１６】
図１９の表示例では、例えば、注目度の情報としてヒストグラム１２０を表示している。本表示例では複数の日数において特定の時間に計測された注目度を示しており、横軸を時間帯とし、縦軸を１時間あたりの注目回数としている。また、ヒストグラムにおいて、各商品ごとに最も注目度の高い時間帯をピーク時間帯として、他の時間帯とは異なる色で表示している。ピーク時間帯の色はどのような色でもよいが、他の時間帯と明確に区別できる色が好ましい。
【０１１７】
以上のような表示を行うことにより、例えば、時間帯別の商品の注目度を容易に把握できる。また、データの集計・表示内容が図１８の例とは異なるため、合わせて注目度計測設定の表示１０３と注目度詳細情報表示１０４の表示内容も異なっている。注目度計測設定の表示１０３には、例えば、グラフがヒストグラムであること、縦軸が１時間当たりの注目回数を示していること、横軸が時間帯を示していることなどが表示される。
【０１１８】
また、図１９の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内における商品ごとの総注目人数、総注目回数に加え、最も注目回数の多い時間帯を表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１１９】
以上説明した２次元グラフのほかにも、円グラフ、ドーナツグラフ、レーダーグラフ、バブルグラフ、積み上げ棒グラフなどを用いて注目度を示してもよい。これにより、商品ごとに異なる条件での注目度を比較することができ、注目度の多角的な評価データを、視覚的に容易に把握できるという効果がある。
【０１２０】
また、図１８および図１９では、注目度は各商品ごとに表示しているが、複数の商品をグループ分けし、このグループ分けし、このグループ毎に注目度のグラフィック情報を表示してもよい。例えば、上棚の複数の商品の総注目度や平均注目度と、下棚の複数の商品の総注目度や平均注目度などを表示してもよい。
【０１２１】
また、例えば、本システムをＰＯＳシステムと連携させることで、上記のグラフのパラメータのひとつに売上を表示してもよい。この場合は売上と注目度の関連を一目で把握でき、より理解しやすいという効果である。
【０１２２】
また、以上説明した構成を用いれば、例えば、注目位置情報算出部５で得られる現在の顧客の視線をリアルタイムに背景画像と合成して表示することも可能となる。ここでいうリアルタイムに背景画像と合成するとは、現在の顧客の視線を示すグラフィックスを、例えば１フレーム等に設定された周期で更新して表示することをいう。この周期は１フレームに限られず、一定周期であればよい。また、リアルタイムと表現しているが、完全に同時という意味を有するものではない。できる限り、遅延のない情報を表示することが望ましいが、処理時間等のタイムラグは少なからず発生する。このときの表示例を図２０に示す。
【０１２３】
図２０の例では、客ＡとＢが見ている位置を、注目位置確率分布１３０を用いてそれぞれ表示している。注目位置確率分布１３０に合わせて、その瞬間の注目情報データ表示１３１などを一緒に表示するとさらに、それぞれの客の注目状況を把握しやすい。例えば、図２０の例では、注目情報データ表示１３１として、注目位置確率分布の人物、現在注目していると判定される商品、現在の注目商品を連続して注目している経過時間などを合わせて表示することにより、注目位置確率分布１３０の表示を補足する情報を得ることができる。この注目情報データ表示１３１は注目位置確率分布１３０の移動と連動して画面上を移動したほうが、他の人物の注目位置確率分布との混同を防ぐことができるため、望ましい。
【０１２４】
また、以上の表示にあわせて現在の各商品ごとの注目状態を示す情報を商品データ表示１３２のように、各商品の表示の近くに表示してもよい。図２０の例では、商品データ表示１３２は例えば、現在の注目人数及び現在までの連続非注目時間（現在まで何秒間注目されていないかを計測した時間）を表示している。これにより、商品の注目状態と、人物の注目状態を同時に把握することができ、注目度の分析に役立つという効果がある。商品データ表示１３２に表示するデータは商品に関係するデータであれば、その他のデータでも構わない。
【０１２５】
また、図２０の例では、図１８、図１９の例と表示設定が異なるため、注目度計測設定の表示１０３、注目度詳細情報表示１０４の表示内容も図示されるように異なるものとなる。本表示例では、計測時刻の表示は例えば、現在時刻としている。また、前述した注目情報データ表示１３１や商品データ表示１３２などのデータ情報の表示のＯＮ／ＯＦＦ設定の状況を、注目度計測設定の表示１０３に示してもよい。
【０１２６】
図２０の表示例では、注目度詳細情報表示１０４は、計測されている各人物のこれまで注目した全商品、最も多く注目した商品、店舗に入店した時間からの経過時間などを表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１２７】
以上のような注目状況の表示を用いることにより、店舗の店員が、リアルタイムに顧客が興味を示している商品を把握できるようになる。よって店員は、顧客に話しかけて、顧客の注目に対し、的確な商品の説明をおこなうなどができ、顧客の購買を促すことなどが出来る。
【０１２８】
上記の説明では、さまざまな注目度の出力表示方法を提示したが、これらを切り替えて表示できるようにしても構わない。この場合の表示の切替えは、例えば、出力制御部７が、空間情報表示部４や集計部９と協働しておこなう。このような切替えをおこなうようにすれば、本注目度計測装置のユーザーの注目度の解析のニーズに合致した表示方法を提供することができる。
【０１２９】
以上の説明では図１のように、出力制御部７は注目度計測ユニット内にあるとし、この場合は合成画像を出力部に出力することとしたが、出力制御部７を出力部８が持つこととしてもよい。この場合は、例えば、注目度計測ユニットの空間情報記憶部４は、出力部８の出力制御部７に対し求められるデータの出力を行う。更に、注目度計測ユニットの集計部９は出力部８の出力制御部７に対し求められる集計を行い、集計結果を出力制御部７に出力するなどの動作をおこなう。
(出力部)
出力部８は上記では説明したモニタのほかに各種ディスプレイ（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ、その他方式ディスプレイ）でもよく、またプリンタ等の印字装置等でもかまわない。
【０１３０】
出力部８が印字装置等の場合は、図１８、図１９、などに説明した背景画像と注目度の合成画像を印刷して資料としてもよい。
【０１３１】
以上説明した実施例によれば、注目度の計測対象と各計測対象に関連する注目度をあわせて確認することができ、注目度データを好適に把握することが可能となる。
【実施例２】
【０１３２】
次に本発明に係る第２実施例を説明する。
【０１３３】
第２の実施例は、第１の実施例における注目度計測ユニットにおいて、注目度の計測対象を特定の商品や物体から空間全体に広げ、その注目度分布の算出結果を出力するものである。
【０１３４】
本実施例を用いれば、駅や施設などの広い空間において、壁や天井等の平面に対する注目度を算出することが可能となる。本実施例により得られる注目度分布の出力の一例を図２１に示す。
図２１において、注目度分布表示１４０は注目度の高さを等高線状に示したものであり、分布の濃度が注目度の大きさを表している。これによって、空間全体において、どこが多く注目されているかを計測することができ、例えば、広告設置場所の決定や、陳列におけるレイアウトの変更等に役立つ情報として出力することができる。また例えば、通行者に対する心理実験装置などとしても利用できる。
【０１３５】
図２１のように、ある空間全体における注目度の分布を算出する場合、空間情報記憶部４は、例えば、図２２に示すように格子状の領域ごとの空間情報を持つようにすればよい。
【０１３６】
すなわち、実施例１では、商品の陳列棚などの注目度計測対象の存在する特定の面の平面の情報を持っていた。これに対し本実施例では、例えば、壁や天井・柱など空間を構成する面が、例えば図２２に示される平面の方程式の情報を持つように構成する。また、実施例１では、前記計測対象の存在する平面において、各商品が存在する座標範囲を設定した。これに対し、本実施例では、例えば、空間を構成する平面ごとに分割領域を指定する。
【０１３７】
このように設定することで、空間を構成する各平面を分割した小領域の座標範囲とすることができる。
【０１３８】
なお、分割領域の数及び大きさは、各分割領域の値域をそれぞれ指定しても良いし、単純に平面の垂直方向・水平方向の分割数をそれぞれ指定しても良い。分割数が多ければ多いほど詳細な分布の情報を得ることができる。
【０１３９】
本実施例の説明では、図２１に示すような注目度計測対象の空間は、例えば、撮像部１によって撮像される空間と別の空間とし、ＣＧによって出力表示されることとする。しかしながら、この空間は例えば撮像部１によって撮像される空間であっても構わない。また、実施例１の第２の撮像部によって撮像される空間であっても構わない。また、ユーザーが設定もしくは入力した空間座標データによって構成される空間データであってもよい。
【０１４０】
本実施例における注目度算出部６では、例えば、実施例１における注目度計測対象面と同様に、算出した視線方向と視線方向の計測誤差分布もしくは確率密度分布のベクトル分布によって、前記空間を構成する平面における注目位置及び注目位置確率分布を算出する。続いて、各分割領域での平均注目位置確率もしくは、各分割領域の代表点での注目位置確率を算出する。そして、これらを用いて以下のように注目度情報に反映する。
【０１４１】
上記で算出した平面への注目位置と注目位置確率の関係は例えば、図２５に示される。
【０１４２】
次に、以上のように一フレームの画像から算出した注目位置と各分割領域における注目位置確率を用いて、各分割領域における注目位置確率値の最大値または平均値などをこの領域における注目度として毎フレームごと積算していく。なお、これらの各分割領域の注目位置確率の値は空間情報記憶部４に保持される。
【０１４３】
上記のような算出方法を用いた場合、注目位置による注目判定でカウントする注目回数のみを各分割領域ごとに積み上げる場合にくらべ、複数の領域に確率の重みをつけて注目度を算出する事ができるようになる。よって、各位置で緩やかに分布した注目度情報を取得することが可能となる。
【０１４４】
図２６に本実施例における注目度算出部６の算出の流れを示す。ステップ８１で注目位置確率分布範囲にある分割領域が決定する。次にステップ８２で各分割領域における、注目位置確率を決定する。最後にステップ８３で空間情報記憶部４に記憶されている現在の各分割領域の注目度に得られた注目度を加算し、新たに各分割領域の注目度とする。
【０１４５】
本実施例における出力制御部７では、図２１に示すように空間情報記憶部４に記憶される注目度を、色合いや、色の濃度に換算し、分割領域の画像上での位置を塗りつぶし、各分割領域における注目度の分布を表すグラフィック情報の画像として出力する。これにより表のみでは把握できなかった空間に対する注目度の分布を、視覚的・直感的に知ることが可能となる。
【０１４６】
また、表示色または濃度と注目度の関連付けに関しては、例えば、上記のように注目度の絶対値と表示色または濃度を関連付けても構わない。しかし、表現可能な色や濃度の範囲には限界がある。よって、各領域の注目度を正規化した値と表示色または濃度を関連付けすれば、この限界にかかる問題を解決することが可能となる。
【０１４７】
この正規化する値としては例えば、指定した時間帯での全領域における注目度の最大値を用いてもよく、この場合、その時間帯における各領域の順位を把握することが可能となる。また、正規化する値として、十分大きな一定値を用いてもよい。この場合は、異なる２つの時間帯のデータを比較する場合も、正規化する値に共通の値を用いることが可能となり、注目度と表示色または濃度を関連付けの基準が変化しないため、注目度の経時的な比較が容易に可能となる。
【０１４８】
以上に説明した注目度の分布は、上記説明では、ＣＧ上に表示色または濃度として表示されるとしたが、例えば、注目度計測対象の空間が、前述のように撮像部１または第２の撮像部で撮像した画像である場合は、これらの画像を背景画像として、その上に表示色または濃度として表示した注目度を合成しても構わない。これにより、より詳しい周囲の状況を確認しながら、注目度を評価することが可能となる。この場合も例えば、実施例１の２次元グラフのように、表示色または濃度の領域を半透明にすれば、注目度と背景の画像を同時に確認することが可能となり、注目度と周囲の状況をより容易に確認できるという効果がある。
【０１４９】
また以上に説明した注目度分布の出力または表示においては、空間上の平面を注目度計測面とした。しかしながら、かかる計測面を曲面としてもよい。この場合、複数の平面お所定の角度によって連続的に接続すれば、曲面に近似させた面が設定できる。これにより、より複雑な空間も注目度計測対象にすることが可能となり、計測及び表示の自由度が増すという効果がある。
【０１５０】
また図２１の表示例に示すように、注目度計測対象の空間の表示画像に、特定のオブジェクトを表示させて、注目度分布と必要な情報をあわせて確認できるようにしてもよい。
【０１５１】
図２１の表示例においては、オブジェクトＡ１４１、オブジェクトＢ１４２を表示するように設定している。これらと注目度分布表示１４０とあわせて確認できるように、オブジェクトの存在する領域は、注目度分布表示もしくはオブジェクトのいずれかを半透明にするのが望ましい。また表示の際はオブジェクトの名称を符号１４３、１４４の様に表示するとさらに情報が把握しやすくなり、なおよい。
【０１５２】
注目度計測設定の表示１０３には、上記にて説明した表示色または濃度を関連付けの設定を表示しても構わない、すなわち図２１の表示例においては、例えば、絶対値と表示色または濃度を関連付けていることを示すため、「絶対濃度表示」と表示している。
【０１５３】
またこの場合、例えば、図２１に示すように、注目度詳細情報表示１０４には各オブジェクトにおける注目度に関するデータなどを表示してもよい。
【０１５４】
図２１の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内に設定されている各オブジェクトを注目した人数、総注目度、最も注目度が高かった時間帯などを表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１５５】
このようなオブジェクトの設定は、例えば、前述の空間の計測対象平面の設定と同様に、図２２に示す式ような空間情報を与えられる。
【０１５６】
また、上記に説明した各オブジェクトにおける注目度に関するデータの算出は、例えば、実施例１と同様の方法によって行ってもよい。すなわち、例えば、注目度算出部６が注目度を算出し、これを空間情報記憶部４に格納し、これを集計部９が集計すればよい。
【０１５７】
以上説明した特定のオブジェクトを、例えば、注目度計測ユニットを広告の効果的な配置を分析するために用いる場合は、現在広告が配置してある領域を示すオブジェクトを設定すればよい。この場合は、現在広告の位置とその他の位置での注目度の比較が容易になるという効果がある。
【０１５８】
また店舗内全体の注目度などを分析するために用いる場合は、前記オブジェクトは商品棚全体の領域または商品の位置を示すであっても構わない。このとき同時に商品名などの商品に関係のある情報などを表示しても構わない。これらの場合、商品の情報と周囲の注目度の関連が容易に把握できるという効果がある。
【０１５９】
さらに、このとき、算出または集計した注目度の情報を、実施例１のようにグラフなどの画像情報として、あわせて表示しても構わない。この場合、商品ごとの詳細な注目度データと周囲の空間（店舗内全体の空間など）の注目度分布を比較できるという効果がある。
【０１６０】
以上説明した実施例によれば、注目度の計測対象を、広く空間全体まで広げることが可能となり、注目度データを好適に把握することが可能となる。
【実施例３】
【０１６１】
次に、実施例１または実施例２で説明した注目度計測装置の機器構成例を示す。
【０１６２】
図２７は例えば、カメラに注目度計測ユニットを組み込んだ際のシステム構成例である。図１の視線方向計測部３、空間情報記憶部４、注目位置情報算出部５、注目度算出部６、出力制御部７、集計部９のまとまりを注目度計測ユニット１０として、カメラ内に注目度計測ユニット１０を組み込む。これにより、ユーザーが指定した位置への注目度を計測する機能を持つ注目度計測カメラ２００を構築できる。
【０１６３】
本実施例では、カメラ２００内は例えばメモリ等の記憶媒体を備え、例えば空間情報記憶部４の機能を有する。同様にカメラ２００内は例えば画像処理用プロセッサを用意し、例えば視線方向計測部３、注目位置情報算出部５、注目度算出部６、集計部９、出力制御部７などの機能を有する。ここで、図２７では人物位置計測部２はカメラ２００と別体に記載されているが、人物位置計測部２の機能の一部もしくはすべてをカメラ２００が備えてもよい。
【０１６４】
また、例えば、カメラ２００内が方向センサやGPSを搭載することで、カメラが自動的に現在の位置を把握可能になる。これにより、空間情報記憶部４にカメラ位置の設定を行う必要なく注目位置を算出可能になる。
【０１６５】
図２８は、ＨＤＤなどの記録媒体を搭載した監視画像のレコーダに注目度計測ユニットを組み込んだ際のシステム構成例である。例えばレコーダ３００は接続された撮像部１からの画像を蓄積する機能を持ち、さらに注目度計測ユニット１０を備えている。これにより、注目度を算出する機能を有するレコーダを構成できる。この場合、レコーダ３００に接続された撮像部１から送られた画像に対してリアルタイムに注目度を算出し、画像と共に記録してもよい。また、レコーダ内に記録された画像に対して後から注目度の算出を行うことも可能である。後者の場合は、注目度の算出に用いるパラメータを変更して、再度算出することなどが可能である。
【０１６６】
以上図２７、図２８に示した注目度計測ユニット１０の出力制御部７は、実施例１で説明したとおり、図２７、図２８の出力部８が備えてもよい。また、図２７における出力部８はカメラ２００と一体でも構わず、また、図２８における出力部８はレコーダ３００と一体でも構わない。
【０１６７】
また図２７及び図２８の例はともに、注目度計測ユニット１０が搭載されている装置に、実施例１及び２で説明した第２の撮像部であるカメラを接続してもよい。そして、注目度計測ユニット１０がカメラ１００またはカメラ１とは異なる撮像データを取得できるように構成しても構わない。
【０１６８】
以上説明した実施例によれば、注目度の計測及び表示システムを構築でき、注目度データを好適に把握できる装置及びシステムを提供することが可能となる。
【実施例４】
【０１６９】
次に、以上のいずれかの実施例によって示された注目度計測システムを用いて、注目度計測の対象を電子広告とした電子広告システムの実施例を示す。
【０１７０】
図２９は本システムの構成を示したブロック図である。例えば、実施例１にて説明した注目度計測ユニット１０に、同じく実施例１にて説明した撮像部１と人物位置計測部２が接続され、注目度計測ユニット１０はさらに、広告制御部４０１に接続され、広告制御部４０１は広告表示部４０２に接続されている。
【０１７１】
また図３０はこのシステムを示した俯瞰図である。図３０の例では、通路の壁に設置された撮像部と、広告表示部と通路に立つ人物が示されている。
【０１７２】
このとき、注目度計測ユニットや広告制御部は例えば、広告表示部の背面などに埋め込まれ、外部からは見えないようにするとよい。
【０１７３】
図３０の例では、さらに人物の注目位置確率分布を表示している。前記注目位置確率分布は例えば、上記の注目度計測ユニット１０、撮像部１及び人物位置計測部２によって実施例１と同様に算出が可能である。また、同じく実施例１と同様の方法を持ちいれは、広告表示部４０２に対する注目度の算出及び集計が可能となる。実施例１と同様に、注目位置情報のみでなく、注目位置確率分布を用いた注目度情報を用いれば、少ない人物から、より連続的な注目度情報を得ることができ、注目度集計の方法が多様になるという効果がある。
【０１７４】
また広告制御部４０１と広告表示部４０２は例えば、いわゆる電子広告装置である。例えば、画像などの広告コンテンツの電子データを広告表示部４０２が表示するように、広告制御部４０１が制御を行うものである。コンテンツとなる電子データは、例えば、電子広告装置が備える記憶部などに保持してもよく、また電子広告装置に対して、ネットワークやデジタル放送などを用いて配信してもよい。
【０１７５】
本システムにより、広告周囲への通行人の広告に対する注目度を集計することができるため、当該電子広告の効果を知ることが可能となる。例えば、時間帯ごとの注目度と、広告の再生スケジュールのデータを連動させることで配信された広告ごとにどれだけ注目されたかを算出可能となる。
【０１７６】
また、本実施例によれば、例えば、注目方法や、1回の注目の平均時間などを算出できる。そのため、多くの人に見られてはいるが、ほとんどが目だけで一瞬見た程度というように詳細な情報を得ることができ、新たな広告コンテンツ作成へと役立つ情報を得られる。
【０１７７】
また、注目度の状況に応じた広告表示を行うことも可能である。例えば、注目人数が非常に少ない時間帯には動画を流して、通り過ぎる1人に対する注目度を上げることを試みるなどをしてもよい。
【０１７８】
また、注目人数が増大した場合には、最も宣伝したい部分だけを抜き出した静止画を表示するなどして、注目度を上げることを試みるなどをしてもよい。
【０１７９】
また、撮像部であるカメラの視野が制限され、広告を注目している人物を全てカバーできない場合には、２台以上のカメラを利用してもよい。
【０１８０】
これに対してカメラを１台で構成する場合には、例えば設定したカメラ視野から、計測されなかった広告注目者の人数を推定計測する機能を入れることも考えられる。これは、例えばそのときの広告周囲の総通行人数と、その内の広告注目者の人数、カメラ視野範囲などから、統計的なデータに基づいて推定してもよい。
【０１８１】
また、カメラからの距離が遠い人物は、画像中に比較的小さく写るため、広告を注目しているか計測できない場合がある。この場合も、例えば、視野範囲と同様に、現在の計測状況と統計的なデータに基づくことで計測不可能な距離にいる広告注目人数も推定してもよい。
【０１８２】
なお、上記に説明した電子広告表示システムでは、その他の実施例と同様に出力制御部と出力部を備えてもよい。この場合、複数の広告表示を注目度の集計対象とし、注目度を直感的に把握できる出力を得ることができる。また、広告表示がされる空間全体の注目度と合わせて確認することも可能となり、電子広告の表示に関してより幅広い分析が可能となる。
【０１８３】
以上説明した実施例によれば、注目度の計測と連動した電子広告表示システムを構築でき、電子広告に対する注目度の計測と、注目度データを好適に利用した広告表示を行うことができるシステムを提供することが可能となる。
【０１８４】
以上すべて実施例の説明では、説明の便宜上、注目度の計測の実施例として、主に店舗内での商品を計測対象とした例、または広告に対する注目度の計測に用いる例などの説明を行ったが、必ずしも本発明はこれらの用途に限られたものではない。
【０１８５】
また、以上説明した実施例はいずれを組み合わせて用いても、本発明の１つの実施の形態となりえる。
【産業上の利用可能性】
【０１８６】
本発明による装置またはシステムは、例えば、現在利用されている画像監視システム中に実装されることで、注目度を計測する機能を有する新たな画像監視システムとなり得る。また、電子広告表示システム内に搭載されることで、広告に対する注目度を計測する機能を持つ新たな広告システムとなるなど、様々なシステムへの応用が可能である。
【図面の簡単な説明】
【０１８７】
【図１】本発明の一実施例を示すブロック図
【図２】視線方向計測部の一実施例を示すブロック図
【図３】視線及び顔方向が示す方向の一例を説明するための図
【図４】視線方向計測部で生成されるフレーム情報の構成の一例を示す図
【図５】顔方向推定のフローチャートの一例
【図６】顔画像における顔領域と顔器官中心位置の定義の一例の図
【図７】顔方向推定のための顔モデルの一例の図
【図８】視線方向推定の処理を示すフローチャートの一例
【図９】視線方向推定を行うための眼球モデルの一例の図
【図１０】視線方向推定を行うための眼球モデルの一例の図
【図１１】視線方向計測部の処理の流れを示すフローチャート
【図１２】視線方向と顔方向と視線方向の確率分布の一例の図
【図１３】視線方向と顔方向と視線方向の確率分布の一例の図
【図１４】空間情報記憶部に記憶されている空間の位置情報の一例を示す図
【図１５】注目位置情報算出部の作用の一例を説明する図
【図１６】空間情報記憶部に記憶されている注目度情報のテーブルの一例を示す図
【図１７】注目度算出部の処理を示すフローチャートの一例
【図１８】出力部制御部により生成される出力画像の一例を示す図
【図１９】出力部制御部により生成される出力画像の一例を示す図
【図２０】出力部制御部により生成される出力画像の一例を示す図
【図２１】出力部制御部により生成される出力画像の一例を示す図
【図２２】空間情報記憶部に記憶されている空間の位置情報の一例を示す図
【図２３】注目位置と注目位置確率分布範囲を示す図
【図２４】注目位置確率分布範囲の注目位置確率分布を示す図
【図２５】注目位置確率分布範囲の注目位置確率分布を示す図
【図２６】注目度算出部の処理を示すフローチャートの一例
【図２７】本発明の構成例の一実施例を示す図
【図２８】本発明の構成例の一実施例を示す図
【図２９】本発明の一実施例を示すブロック図
【図３０】本発明の構成例の一実施例を示す図
【符号の説明】
【０１８８】
１ 撮像部、２ 人物位置計測部、３ 視線方向計測部、４ 空間情報記憶部、５ 注目位置情報算出部、６ 注目度算出部、７ 出力制御部、８ 出力部、９ 集計部、１０ 注目度計測ユニット、１１ 第２の撮像部、１２ 入力部、２１ 画像取得部、２２ 移動体検出部、２３ 顔検出部、２４ 顔特徴量計算部、２５ 視線検出部、２６ メタデータ作成部、３０a 情報、３０b 情報、３０c 情報、３０d 情報、３０e 情報、３０f 情報、３０g 情報、３０h 情報、３０i 情報、１０１ タイトル表示、１０２ 注目度情報画像表示、１０３ 注目度計測設定の表示、１０４ 注目度詳細情報表示、１０５ 対象表示欄、１０６ モデル、１０７ 商品名、１０８ グラフ、１０９ 注目度の値、１１０ 計測期間の表示、１１１ 注目度表示方法の表示、１１２ 表示対象表示、１１３ 設定の表示、１２０ グラフ、１３０ 注目位置確率分布、１３１ 注目情報データ表示、１３２ 商品データ表示、１４０ 注目度分布表示、１４１ オブジェクト、１４２ オブジェクト、１４３ オブジェクトの名称、１４４ オブジェクトの名称、２００ 注目度計測カメラ、３００ 注目度計測レコーダ、４０１ 広告制御部、４０２ 広告表示部
【技術分野】
【０００１】
本発明は、注目度計測装置に関するものである。
【背景技術】
【０００２】
従来の注目度計測装置は、特許文献１に記載のように、特定の注目対象の注目度を計測し、解析して、表形式で出力することが知られている。
【０００３】
【特許文献１】特開平１０−４８００８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された注目度計測解析システムでは、特定の注目対象に対する注目度データを表形式でモニタ出力またはプリントアウトしたものを確認しなければならず、注目度の分布等のデータを直感的に把握することが困難であった。
【０００５】
また注目度計測を開始する時点で、商品棚など限定された範囲の注目対象を指定することが前提となっており、指定された範囲外の注目度の計測や、その結果の表示などを行うことは考慮されていない。
【０００６】
本発明は、上記課題に鑑みて為されたものであり、その目的は、注目度データを容易に把握するのに好適な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、以下の技術を提供するものである。すなわち本発明は、撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備えることを特徴とする。
【０００８】
上記構成によれば、例えば、注目度の計測対象の画像と注目度の情報を示したグラフィックスをあわせて確認することができ、注目度データを好適に把握することができるという効果がある。また、注目度の情報をグラフィックスで示すことにより、注目度を多様に表現することが可能となり、注目度の計測対象を空間全体まで拡大することが可能となる。
【発明の効果】
【０００９】
本発明によれば、注目度の計測対象の画像と注目度の情報をあわせて確認することができ、注目度データを好適に把握することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に発明を実施するための実施の形態を図面を参照しつつ説明する。
【００１１】
なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【実施例１】
【００１２】
図１に本発明に係る第１実施例の構成を示す。
【００１３】
まず、撮像部１で空間中の人物を撮影して、その画像を得る。次に、人物位置計測部２で、空間中の人物の位置を計測する。撮像部１と人物位置計測部２は、視線方向計測部３に接続されている。視線方向計測部３では、撮像部１で得られた画像中から人物の検出と、視線方向の計測を行い、人物位置計測部２で得られた人物の位置から視線ベクトルの位置を決定する。さらに、空間情報記憶部４には、商品などの注目度の計測対象が空間上のどこに存在するかという位置の情報が予め格納されており、また注目度の計測対象に対する注目度を記憶する機能を有する。注目位置情報算出部５で、視線方向計測部３から得た空間中の視線の方向と人物の位置から視線ベクトルを決定し、空間情報記憶部４から得た空間情報とから注目位置を決定する。この注目位置の情報を注目度算出部６で受け取り、注目度を算出し、算出された注目度は空間情報記憶部４に記憶される。次に、出力制御部７で、出力する表または画像として出力部８に出力する。出力部８では出力制御部７より得た出力情報を表示または印字等で出力する。
【００１４】
また同じく、図１に示すように、第２の撮像部９を空間情報記憶部４に接続し、注目度の計測対象などの画像を撮影し、これを出力情報の生成に用いてもよい。
【００１５】
なお、本実施例は便宜上、図１のブロック図の構成にて示すが、必ずしもこれに限られるものではない。すなわち撮像部１は視線方向計測部３を介さず、注目位置情報算出部５、注目度算出部６、空間情報記憶部４、出力制御部７などと接続されてもよい。また第２の撮像部９は空間情報記憶部４ではなく、出力制御部７に接続されてもよい。
【００１６】
以下に図１のブロック図を構成するそれぞれの要素の詳細な説明を示す。
（撮像部）
撮像部１はカメラであり、バス、ＬＡＮ（ローカル・エリア・ネットワーク）などを通じて撮影した画像を視線方向計測部２に送る機能を有する。撮像部は、1台または複数台のカメラからなる。
（人物位置計測部）
人物位置計測部２では、任意の空間中にいる人物の位置を計測する機能を有する。この人物位置計測部の具体的な例としては、赤外線光を用いた距離センサや、ステレオカメラ、天井等に設置され俯瞰的な画像を撮るカメラなど複数の手段がある。ステレオカメラを用いる場合、ステレオカメラで得られた画像をそのまま入力画像として用いることが可能となるため、人物位置計測部２を撮像部１とみなすことが可能となる。
（視線方向計測部）
視線方向計測部３では、撮像部１から受け取った画像に対して画像処理を行い、画像中の人物の顔方向及び視線方向を計測する。さらに、画像中の人物の体の向きも計測し、これらのデータに基づいて、人物の最終的な視線方向を決定する。以下にこれを説明する。
【００１７】
まずは、顔と視線の方向を計測する方法を説明する。以下の方法を用いることにより、画像中に現れる任意の人物に対して精度良く視線方向を計測することができる。
【００１８】
視線方向計測部３は、例えば、図２のような構成になっている。例えば、画像取得部２１、移動体検出部２２、顔検出部２３、顔特徴量計算部２４、視線方向検出部２５、メタデータ作成部２６の構成要素を有する。
【００１９】
画像取得部２１は撮像部１からフレームごとに画像を取得する。取得した画像のカメラ番号と時間情報などから固有のフレームIDを作成し、これを画像のヘッダに書き込み管理する。画像取得部２１はデータ格納バッファを有しており、移動体検出部２２から取得要求が来るまで、数フレーム分の画像をバッファ内に保持しておく。
【００２０】
また、例えば、人物位置計測部２が撮像部である場合は、上記の画像データが人物位置計測データを兼ねてもよい。人物位置計測部２が距離センサなどである場合は、人物位置計測データは、画像取得部２１をパスして、直接移動体検出部２２に送られてもよい。
【００２１】
移動体検出部２２では、画像取得部２１から画像を取得し、さらに、人物位置計測部２から人物位置計測データを取得し、これらに基づき画像中から移動体を検出する。このとき、人物位置計測部２で得られる人物の位置情報を用いることで、画像中で人物の存在する範囲を決定することができる。このため、複数人が重なっていても正確に切り分けることが可能となる他、より高速に人物の検出を行うことが出来る。
【００２２】
次に、移動体検出部２２は、検出した移動体に固有の移動体番号を付け、毎フレーム追跡する。例えば、次フレームにおいて近い位置に近い大きさの移動体が検出されたら同一移動体として同じ移動体番号を付けて管理する。また例えば、一度フレームアウトしたら、その時点で追跡を終了することになり、次の移動体には異なる番号を付けて管理する。なお、移動体の同一性の判定は、上記の方法に限らず、以下に説明する顔特徴量を測定して、顔特徴量の測定結果の比較を実施し、顔特徴量が近いものを同一移動体として同じ移動体番号を付けて管理し、顔特徴量が近くないものを異なる移動体として異なる移動体番号を付けて管理してもよい。以上のように設定された毎フレームの移動体番号と移動体の存在する領域情報はメタデータ作成部２６に送られる。
【００２３】
次に、顔検出部２３では、移動体追跡部２２で得られた移動体領域中から既存の手法を用いて顔の検出を行う。顔検出部２３において顔が検出された場合のみ、顔特徴量計算部２４、視線検出部２５の処理が実行される。顔特徴計算部２４では、顔検出部２３で検出された顔画像から既存の手法を用いて顔特徴量を計算する。得られた顔特徴量はメタデータ作成部２６に送られる。視線検出部２５では、顔検出部２３で検出された顔画像から、顔方向と視線方向を計算する。この方向情報とは、カメラに対して水平方向φ度、垂直方向ψ度向いているという情報とする。図３に示すようにカメラのある方向をφ＝０、ψ＝０度とし、向かって右方向をφの正方向、向かって上方向をψの正方向とする。顔方向の水平・垂直成分をそれぞれφface、ψface、視線方向の水平・垂直成分をφeye、ψeyeとする。この、視線方向検出は従来の技術もしくは、以下で紹介する視線方向検出方法によってこれを行うこととする。メタデータ作成部２６では、そのフレーム画像が持つフレームID;３０a、カメラ番号３０b、画像の検出時間３０c、各検出部から送られてきた移動体番号３０d、移動体領域３０e、顔領域情報３０f、顔特徴量３０g、顔方向３０h、視線方向３０iという各情報を図４に示すような一つのフレーム情報１としてまとめ、注目位置情報算出部５、空間情報記憶部４などに送信する。移動体検出部２２において移動体が検出されなかった場合には、メタデータ作成部は何の処理も行わない。
【００２４】
（視線方向検出方法）
ここで、本実施例に係る視線方向検出の一例を述べる。かかる視線方向検出部２５は、顔検出部２３で得られた顔画像から、まず顔方向を計測し、得られた顔方向情報を用いて視線方向を決定する。
【００２５】
（顔方向推定）
図５の流れに従い、顔検出部２３から得た顔情報を元に顔方向を検出する。ステップ４１にてまず、顔検出部２３から顔領域情報と画像を得る。次にステップ４２で、背景差分や肌色領域抽出等により顔領域をより正確に推定しなおす。ここでいう、顔領域とは図６に示すように頭部に外接する四角形領域のことを言う。この顔領域の中心位置を顔領域中心位置と呼び、ステップ４３でこの位置を決定する。
【００２６】
次に、ステップ４４で顔器官中心位置を検出する。顔器官中心位置とは、図６に示すような両眉の中心、鼻筋、唇のくぼみ部分を通る直線の位置を言う。この顔器官中心位置は、眉や目尻、鼻といった各器官を検出し、各器官の位置関係から推定することが出来る。顔の各器官は、顔画像を輝度値によって２値化した画像、エッジ画像、分離度フィルタを施した画像などを用いた既存の手法により検出する。ステップ４５では得られた顔領域と顔器官中心位置から水平方向の顔方向を計算する。これは、図７の顔楕円モデルを参考にした式で決定される。図７は、水平方向右向きにφface向いた時の頭を真上から見下ろしたときのイメージである。このとき画像中の顔領域の両端がそれぞれF３０f2、顔器官中心位置がCである。このとき、顔領域の中心位置は楕円の中心位置OfaceでありF1とF2 の中点となる。wfaceは顔領域の幅であり、cfaceがCOface間の距離である。顔の幅aと奥行き方向の長さbの比を顔楕円比kとし、以下の数式によって顔方向φｆaceを求める。
【００２７】
【数１】
【００２８】
本システムでは楕円比kは約1.25とする。これは、人物の統計的なデータから測定した平均的な頭部楕円比の値である。人物によってこのkの値は若干異なるが、その違いは0.1以下の範囲内であり、これによる顔方向精度の影響は本システムにおいて許容される範囲内となる。システム構成によっては、既定値でなく、実際にこの顔楕円比kを求めることとする。本手法では、撮像部が上方向に設置され、各器官が検出しにくい場合にも、鼻など検出しやすいものだけを用いて顔器官中心位置を決定出来るため精度良く顔方向推定が可能である。また顔器官中心位置ではなく、耳位置を用いることで横向き時の方向推定も可能である。垂直方向の顔方向角度ψfaceの推定に関しては、既存の手法を用いて求める。
【００２９】
（視線方向検出方法）
以上の方法で得られた顔方向情報を用いて、視線方向を検出する。これは図８に示す流れで行う。ステップ５１において、まず顔画像中から瞳の中心位置を検出する。ステップ５２は、ステップ５１で瞳検出が成功したかを判定する。左右両方とも瞳検出に失敗した場合、視線方向検出失敗となりステップ５８で計測不可として終了する。片目だけもしくは両目とも検出に成功したら、ステップ５３に進む。ステップ５３ではステップ５２で求めた瞳位置を元にしてそれぞれの瞳が属する目領域を求める。ステップ５４はステップ５３で検出した目領域による条件分岐である。目領域が正しく検出できなかった場合、視線方向検出失敗とする。両目とも正しく目領域が検出できたらステップ５５へ、検出された目領域が片方のみの時、ステップ５７へと進む。ステップ５５、ステップ５７では、瞳の中心位置と目領域から視線方向計算を行う。ステップ５７では検出できた片方の目だけの視線方向を、ステップ５５では両目とも視線方向を計算する。ステップ５５で得られた両方の目の視線方向はステップ５６において統合され、ステップ５９において視線方向が検出される。
【００３０】
ステップ５５、ステップ５７で行われる視線方向計算の方法について述べる。これには顔方向と、ステップ５１とステップ５３でそれぞれ求めた瞳位置、目領域の情報を用いて、図９の眼球モデルに基づく式によって計算する。眼球は皮膚に覆われているため、画像中に実際に現れる目領域は角膜部分のみである。これは図９の弧E３０e2部分である。このE1とE2の位置を、それぞれ眼球の水平線から角度αの所にあるとする。図９においてOeye、Iがそれぞれ画像上での眼球の中心位置と瞳の中心位置であり、Oeye´が実際の眼球の中心となる。φｆaceは上記顔方向検出で得られた顔方向の角度、φeyeが視線方向の角度、weyeは画像中における目領域の幅、ceyeは画像上での眼球中心位置と瞳中心位置の長さとなる。このとき視線方向φeyeを以下の式で決定する。ここで眼球の隠れ部分の角度αは既定値とする。
【００３１】
【数２】
【００３２】
尚、数２において、ceyeはI−E1で表されている。これは、後述する数３及び数４にお
いても同様である。
【００３３】
また、顔の中心側と外側で、眼球の隠れ部分の角度が異なるとして視方向を計算しても良い。このとき、両目の眼球は図１０のようになる。顔の中心側の隠れ部分の角度をβ、外側をαとしている。数２と同じように式を立てると、左目と右目で式が異なることになる。左目の視線方向φeyeは以下の式で求めることが出来る。
【００３４】
【数３】
【００３５】
同様に、右目の視線方向は以下の式で求めることが出来る。
【００３６】
【数４】
【００３７】
眼球の隠れ部分α、βは既定値（例えばα=７３、β＝４０度）を用いる。これは一般的な眼球の半径値と画像上の目領域の位置の値などから推定することも可能である。
【００３８】
ステップ５５において、両目とも視線が計測された後、ステップ５６において、両目の視線方向に重み付けを行い、足し合わせることで最終的な視線方向を決定する。この重みは顔方向によって決定する。顔が右方向を向いている場合、右目は画像上にほとんど現れなくなるため、左目の重みを増加し、左目の視線方向情報を主な視線方向とする。顔が正面を向いているときは、視線方向は両目の平均となる。なお、この両目の視線方向の決定は垂直方向、水平方向それぞれに関して別々に行う。
【００３９】
以上の説明によって計測された顔の方向と視線の方向を用いて、視線方向計測部３は図１１の流れによって最終的な視線方向を決定する。以下にこれを説明する。
【００４０】
まず、ステップ７１では撮像部１で得られた画像、前フレームの画像での計測結果（例えば、人物位置や視線方向の情報など）、人物位置計測部２で得られた人物の位置情報が入力される。前フレームの人物位置・現在の人物位置の情報を基にして、ステップ７２で現フレームの画像中の人物位置を決定する。なお、前フレームまでに画像中に現れなかった新たな人物を検出した場合、この情報を空間情報記憶部４に送り、空間中を通過した人間の総和を記憶する。
【００４１】
次に、ステップ７３において顔方向、ステップ７４において視線方向を計測する。このとき、目が画像中に現れなかったなど、計測できなかった場合は計測不可を出力する。詳細は前述したとおりである。
【００４２】
ステップ７５において、映っている人物の体の向きを計測する。これは、画像から人物の肩のラインを検出することによって計測する、または過去数フレーム分の人物の位置情報の変化から移動方向を求めることで計測する。
【００４３】
次にステップ８１において、顔方向、視線方向、体の向きの情報から視線方向を決定する。ステップ７５で視線方向を計測できたときには、体の向きと顔の方向の情報を元にして得られた視線方向が正しいか判定する。また、このとき画像中の顔部分の解像度に応じて、得られた視線方向に想定される計測誤差分布を与えるようにしておく。以上により、人物の視線方向とその計測誤差分布の二つのデータを入手することができる。
【００４４】
一方、ステップ７５で視線方向計測不可であった場合、顔方向と体の向きから視線方向を推定し、これを視線方向とする。これは、それぞれの方向の関係と視線方向の確率密度分布を用いて決定する。以上により、この場合、人物の視線方向とその確率密度分布の二つのデータを入手することができる。
【００４５】
ここで、計測誤差分布と確率密度分布について説明する。
【００４６】
まず、計測誤差分布の例を図１２に示す。計測誤差分布は、視線方向計測部３で計測された視線方向の誤差を考慮して設定される視線方向の確率の分布である。図１２では、色の濃さが視線の方向の確率の大きさを表している。計測誤差分布は計測された視線方向を中心とした分布となると考えられる。この分布を考慮することにより、視線方向の測定誤差をデータに反映することができる。
【００４７】
これに対し、確率密度分布は、顔方向に対する視線方向の確率を示したものである。また、この確率密度分布は顔方向に対する視線の確率密度分布は体の向きと顔方向の関係によって変化する。
【００４８】
まず、顔方向と、体の向きが同じ方向である場合は、人間は一般的に物を見るとき顔の中心で捉えようとする。そのため、顔方向に対する視線の方向の確率密度分布は、視線方向の誤差分布と同様に図１２のようになると考えられる。ただし、確率密度分布の場合は、視線ではなく、顔の方向を基準としている。この確率密度分布を用いることで顔方向から視線の方向を精度良く推定できる。
【００４９】
次に、人間は移動方向に対して斜め前方にあるものを見るときは、顔の正面で物を見る事はほとんどなく、視線は顔方向よりも先に向かうことが多い。このため、図１３のように顔方向よりも先で確率の大きい分布を持つ確率密度分布を描くことになる。よって体の向きと顔の方向の関係も考慮することで、より正確な視線の確率分布を決定することができ、精度良く視線方向を推定することが可能となる。
【００５０】
いずれの場合も、確率密度分布において、もっとも確率の高い方向を視線方向とすることも可能である。
【００５１】
ここで、前述の計測誤差分布と確率密度分布の説明においては、ともに、図１２を用いて説明したが、これらの分布は互いに異なるものである。
【００５２】
例えば、確率密度分布は、統計的に求め、予めデータとして記憶しておいてもよい。
【００５３】
また、例えば、ステップ８１で視線と顔方向、体の向きが正確に計測されていたと判断された場合、それぞれの情報をステップ８３に送り、学習によって前述の確率密度分布を更新し、本システムの設置環境に応じた確率密度分布を構築してもよい。
【００５４】
以上のようにステップ８１では、視線方向とその計測誤差分布または視線の確率分布が得られる。これらの情報と画像中の人物位置情報が現フレーム画像における出力となる。これはステップ７１に送られ、次フレームの視線計測に用いられると共に、ステップ８２で注目位置情報算出部５へと送られる。
（空間情報記憶部）
空間情報記憶部４には、撮像部１と注目度の計測対象である物体の空間中での位置情報が記憶されている。具体的に、この位置情報は、ある決められた点を原点とした３次元空間における対象物の位置を指す。記憶されている位置情報は、例えば図１４のような陳列棚周辺においては棚により構成される平面を表す式、各商品が存在する座標範囲、商品が存在する代表点の座標等となる。一般に空間上の平面は、数５または、平面上の代表的な３点によって決定される。このためある平面を表す情報としては、この式とx、y、zそれぞれの値域を持つことになる。
（数５） az+by+cz=d (a,b,c,dは係数)
また、空間情報記憶部４は、指定した注目度計測対象ごとに注目度の情報を格納する領域を有しており、注目度算出部６において算出された注目度計測対象ごとの注目度を記憶する機能を有する。
【００５５】
図１４においては、例えば、商品Ａの存在する代表点の座標として、下記数６が与えられている。
（数６）( x , y , z ) = ( 23 , 150 , -20 )
図１４においては、例えば、商品Ａの存在する平面の座標範囲として、下記数７が与えられている。
（数７）z = -20 (10 ≦ x ≦ ３５１40 ≦ y ≦ 160)
その他の面も図１４に記載の式で座標範囲を与えられている。
【００５６】
図１４においては、人物が紙面方向を向いて商品棚を見るものとする。よって図１４に示されるように、商品の存在する位置の紙面方向に垂直な平面を商品Ａの存在する平面の座標としてもよい。またこの場合、商品ごとにxとｙの値の範囲を指定することにより、他の商品の座標範囲と異ならせている。他の商品の存在する座標範囲の例も図に示されるとおりである。また、図１４に示される棚の平面などは、以下説明する視線を遮るように設定するなどで利用できる。
【００５７】
また、空間情報記憶部４は図１４に示されるような、撮像部１のカメラ座標の情報も保持する。
【００５８】
またこの空間情報記憶部４は、例えば、陳列棚を表現した模式図や、または撮像部などによって撮影された前記陳列棚などの画像データを、図１４に示されるような各商品の位置情報と関連付けて保存しておいてもよい。
【００５９】
また、その他には、視線方向計測部２が測定する画像中に表れた人物の総数なども同様に記憶する。
【００６０】
視線方向計測部３、注目位置情報算出部５、注目度算出部６などは、必要に応じてこれらの情報を空間情報記憶部４から取得できる。
（注目位置情報算出部）
注目位置情報算出部５は、例えば、前述のように視線方向計測部３で得られた視線方向のベクトルと空間情報記憶部４にて記憶されている注目度計測対象の位置情報から、注目位置を算出する。または、前述のように視線方向計測部３で得られた視線方向のベクトル分布と空間情報記憶部４にて記憶されている注目度計測対象の位置情報から、注目位置確率分布を算出するなどの演算を行う。なお、視線方向のベクトル分布とは、前述の計測誤差分布や確率密度分布などのことをいう。
【００６１】
まずは視線方向のベクトルから注目位置を算出する場合について説明する。
【００６２】
視線ベクトルと注目位置の関係を図１５に示す。注目度計測対象として、平面Ａと平面Ｂがあるとき、それぞれの平面と視線ベクトルの交点を求める計算を行い、どの平面のどの位置を注目しているかを決定する。図１５では平面Ａ上に図示する注目位置を注目していることになる。
【００６３】
注目位置情報算出部５は、以上の処理により、注目位置の座標を算出する。
【００６４】
次に、視線ベクトル分布から注目位置確率分布を算出する場合について説明する。
【００６５】
まず、視線ベクトル分布から注目位置確率分布を算出する例を図２３に示す。以下の説明では、前記計測誤差分布及び前記確率密度分布を、視線ベクトル分布に含めて説明する。
【００６６】
視線ベクトル分布は前述した視線方向計測部３で計測された視線方向の確率の分布である。視線方向計測部３で計測された視線方向に対して、視線方向の確率が一定の閾値以上の視線ベクトルは、図２３に示されるように、ある程度の角度幅を持って広がっている。
【００６７】
なお、その閾値は例えば、その閾値以下の視線の確率または注目の確率が注目度の集計上、無視してよい値に設定する。具体的には、例えば、０．０１％、０．１％、１％などと設定する。
よって、図２３に示すように、前記の視線ベクトルの確率分布角度が注目度計測対象の平面と交わる範囲である注目位置確率の分布範囲は、注目している位置が遠くなるほど大きくなる。
【００６８】
視線ベクトル分布が前記計測誤差分布である場合は、実際の注目位置確率分布は、例えば図２４のようなガウス分布の形状であってもよい。
【００６９】
図２４は、図２３の平面Ａと平面Ｂそれぞれにおける注目位置確率分布であり、横軸が算出された注目位置からの距離、縦軸がその位置が実際の注目位置である確率を示している。注目度の算出は、この確率値を注目度として用いることとする。
【００７０】
また、視線ベクトル分布が前記確率密度分布である場合は、上記図２４のガウス分布ではなくてもよい。例えば、前述のように、人の一般的な行動の性質や、これらを観察して学習した結果を用いてもよい。また例えば、非対称分布であってもかまわない。
【００７１】
注目度計測対象面での注目位置と注目度分布の関係は例えば、図２５のようになる。
【００７２】
注目位置情報算出部５は、以上の処理により、注目度計測対象面での注目度分布を算出する。
【００７３】
注目位置情報算出部５は、例えば、上記の処理により得た注目位置の座標と注目度計測対象面での注目位置確率分布などのデータを注目度算出部６に転送する。このとき、注目度算出部６が注目位置の座標のみで注目度算出処理を行う場合には、注目度計測対象面での注目位置確率分布の算出及びこのデータの転送は不要である。
【００７４】
また、本実施例では、視線方向計測部３から取得した人物の位置情報など、注目位置情報算出部５が演算処理を行っていないデータも、注目位置情報算出部５が注目度算出部６に送ることとする。しかし、このような注目位置情報算出部５を経る必要の無いデータは、直接視線方向計測部３から注目度算出部６に送るようにしてもかまわない。
（注目度算出部）
注目度算出部６では、注目位置情報算出部５で得られた注目位置の位置情報または注目位置確率分布から、注目度を算出する。ここでは各商品に対する注目度の情報として、例えば、注目時間、注目回数、注目人数、注目位置確率、注目方法などを算出することとする。
【００７５】
以下に、注目位置の位置情報または注目位置確率分布を用いて、注目時間、注目回数、注目人数などを算出する例を説明する。
【００７６】
まず、人物が計測対象に注目しているか否かの判定は（以下、注目判定という。）、例えば、注目度算出部６が空間情報記憶部４から取得した各商品が存在する座標範囲内に、注目位置情報算出部５で得られた注目位置の位置座標が含まれているとき、これを注目している状態として判定する。
【００７７】
次に、注目回数、注目人数などのカウントに関して説明する。例えば、注目回数をカウントするとき、撮影画像の１フレームのみ注目位置が商品範囲に来たとしても人物が意識して注目していた可能性が低い。
よって、本実施例では、継続注目時間が閾値を超えた回数を注目回数としてカウントする。また、そのような注目動作をした人物を注目人物としてカウントする。ここでは仮に閾値を１秒とし、１秒以上注目した場合、注目回数、注目人数をカウントすることにする。
【００７８】
ここで、例えば、同一人物が商品Ａを２秒間注目した後、商品Ｂに３秒間注目し、商品Ｃに０.５秒注目し、また商品Ａに４秒間注目した場合、カウントする商品Ａの注目人数は１人、注目回数は２回、注目時間は２秒間と４秒間となり、総注目時間が６秒間となる。また、カウントする商品Ｂの注目人数は１人、注目回数は１回、総注目時間は３秒となり、カウントする商品Ｃの注目人数は０人、注目回数は０回、総注目時間は０秒となる。
【００７９】
また、上記では説明上、仮に閾値を1秒としたが、これは、システムの適用環境によって異なる。例えば、商品への注目等では０.３秒程とするとよい。
【００８０】
また、注目判定の別の方法としては、注目位置確率分布を用いて判定してもよい。この場合、例えば、次のように判定する。まず、注目度算出部６は注目位置情報算出部５で得られた注目位置確率分布と、空間情報記憶部４から取得した商品が存在する代表点の座標を比較し、この代表点の座標における注目位置確率を得る。次に、この注目位置確率が、予め定めた閾値を上回れば、注目していると判定し、閾値に達しなければ、注目していないと判定する。
【００８１】
また、ここで、上記のような閾値を設けず、単純に注目位置確率の積分を注目回数として評価してもよい。すなわち、注目位置確率分布における５０％の注目位置確率の位置に商品の代表点の座標が２回重なれば、1回分の注目回数としてもよい。
【００８２】
これらを算出することで、例えば、一回の注目あたりの平均時間、一人当たりの注目時間が求められる。さらに画像中に映った総人数の情報を記憶しておくことで、一人当たりの注目回数などが求められる。
【００８３】
また、注目度の一つとして上記に挙げた注目方法とは、注目度計測対象をどのように注目したかを意味する。注目方法としては、例えば、注目度計測対象に体を正対した注目（体方向注目）、顔だけを対象方向に向けた注目（顔方向注目）、視線だけを商品方向に向けた注目（目方向注目）などがある。これらは、体と顔の方向の差、顔と視線の方向の差を算出して決定する。この注目方法の情報によって、注目度計測対象への注目方法の分類や、注目方法による重み付けを行った注目度の算出が可能となる。
【００８４】
また、別の注目度評価パラメータとして、例えば、注目位置確率と時間などのパラメータに積分などを行う評価関数f(r,t0,t1)を用いて評価してもよい。ここで、rは商品の代表点の座標における注目位置確率、t0は注目度計測開始時刻、t1は注目度計測終了時刻である。
【００８５】
以上のように得られた注目度の情報は、注目度算出部６によって、空間情報記憶部４に格納される。格納される注目度の情報の一例を図１６に示す。例えば商品などの注目度計測対象ごとにテーブルを用意し、注目人物ごとに注目回数とその回ごとの注目時間、注目方法、注目開始時間及び上記に説明したような他の注目度等を記憶する。注目開始時間を記憶することで、注目度の時間帯ごとの結果を算出することも可能となる。更に、ある時間帯にその商品を注目していた人物の画像を見たいといった集計を行う場合に、画像へのインデックスとして利用することもできる。
【００８６】
次に、注目度算出部６における注目度算出の流れの一例を図１７に示す。ここでは、上記に説明した注目度の算出方法のうち、注目位置と各商品が存在する座標範囲を用いた方法における流れを説明する。他の注目度の算出方法においても、基本的には同じ流れであり、注目度の算出時に上記で説明したそれぞれのパラメータとその算出方法が相違する。
まず、ステップ７１では、得られた注目位置から注目している商品を決定する。注目判定の方法は前述のとおりである。
【００８７】
次にステップ７２で注目時間を計測する。前述の閾値をｎ秒と設定した場合、ステップ７３でひとつの商品に対する注目がn秒連続した場合、ステップ７４に進む。
【００８８】
ステップ７４では、注目された商品における注目情報の算出を行う。以下の算出は、図１６テーブルにおける前記商品の情報部分のパラメータについて行われる。まず、視線を向けた人物が初めてその商品を注目した人物かどうかを例えば前述した移動体の同一判定などの方法で判定する。例えば、ある人物が初めてその商品を注目した場合、新たにその商品を注目した人であるため、空間情報記憶部４に記憶されている注目人数と１を加算する。また、新たに注目開始したので空間情報記憶部４に記憶されている注目回数に１を足した回数を注目回数の算出値とする。また注目時間は、注目位置が商品の空間座標範囲内に入った時点から、商品の空間座標範囲内から出るまでの時間を計測し、注目時間の算出値として格納する。次に、前述のとおり、注目方法を、体の方向と顔方向との差、顔方向と視線方向との差から判定する。
【００８９】
最後にステップ７５にて、以上の算出値と注目方法の判定結果を用いて、空間情報記憶部４に記憶されている商品ごとの注目度の情報を更新する。
【００９０】
なお、本実施例では、かかる更新は、例えば、注目位置が商品の空間座標範囲内から出た時点で行うこととする。また、かかる更新は、一定時間のサンプリング間隔で自動的に行ってもよい。また、例えば、注目人数、注目回数の更新は、注目位置が商品の空間座標範囲内に入った時点で更新し、注目位置が商品の空間座標範囲内に入った時点からの経過時間をサンプリングのたびに更新するようにしてもよい。
【００９１】
このようにして、精度良く注目時間、注目回数、注目人数などの注目度に関するデータを取得保持できる。
（集計部）
集計部９は、注目度データの集計などを行い、集計した注目度の情報等を出力制御部７に出力する。
【００９２】
集計部９は、例えば、注目人数、注目回数、注目時間、またはこれらをパラメータとした注目度評価関数による演算結果などの注目度データを集計する。また、これらの注目度データを単位時間当たり、時間帯別、注目方法の種類毎に集計してもよい。
【００９３】
このような集計方法の選択は例えば、図１に示す集計部９に接続された入力部１２から入力される計測設定情報にもとづいて、選択してもよい。
【００９４】
この入力部１２は、図１に示す注目度ユニット１０の外部に接続されてもよく、内部にあってもよい。
【００９５】
また、入力部１２の計測設定情報の送り先は、集計部９ではなく、下記に説明する出力制御部７であってもよい。この場合は、出力制御部７が集計部９の集計方法を判断するようにしてもよい。
(出力制御部)
出力制御部７は、例えば、空間情報記憶部４に格納されている注目度の情報や集計部９によって集計された注目度の情報を所望の形式に変換し、出力部８に出力する。
【００９６】
以下に、出力部における出力の例を用いて出力制御部７での、データ変換を説明する。
【００９７】
まず、例えば、表示部８にモニタを用いた場合、注目度の計測対象を表すＣＧや、注目度の計測対象を撮影した画像を空間情報記憶部４から取得し、集計した注目度の情報を集計部９から取得する。次に、図１８示すように背景画像上に注目度のグラフィック情報を重畳して、合成する。これにより、商品の画像と注目度の情報を関連付けて、視覚的に容易に把握できるように表示することが可能となる。
【００９８】
ここで、出力制御部７によって合成されるグラフィック情報の一例について、図１８を参照しつつ説明する。本表示例は、例えば、表示画面のタイトル表示１０１、注目度情報画像表示１０２、注目度計測設定の表示１０３、注目度詳細情報表示１０４などを表示する。このうち、注目度情報表示画像１０２以外は、必要が無ければ表示しなくてもよい。
【００９９】
次に注目度情報画像表示１０２について説明する。本表示例は、例えば、背景画像として商品棚のＣＧを作成し、これに集計部９において集計された注目度のデータにもとづいて生成したグラフィック情報の画像を重畳合成して表示される。本実施例では商品Ａはモデル１０６として表示され、あわせて商品名１０７が表示されている。また、本実施例では注目度として総注目時間を用いており、その値を示す棒グラフ１０８及び、その注目度の値１０９が合成表示されている。グラフのみではなく、数値を合わせて表示してもよい。この場合、注目度が定量的に把握しやすいという効果がある。また計測対象の範囲（本表示例では棚）が複数ある場合など、図に示されるように対象表示欄１０５を設けてもよい。これにより、複数の計測対象の範囲を切替え表示する場合に、どの範囲を表示しているのかが、識別しやすくなる。
【０１００】
次に、注目度計測設定の表示１０３について説明する。注目度計測設定の表示１０３には例えば、計測期間の表示１１０、注目度表示方法の表示１１１、表示対象表示１１２、設定の表示１１３などが含まれる。これらを全て示す必要は無いが、これらを表示することにより、ユーザーが注目度の分析をおこなうにあたり、注目度の設定や、条件などを合わせて確認できる。
【０１０１】
次に注目度詳細情報表示１０４について説明する。注目度詳細情報表示１０４は例えば、図１８に示されるような、情報テーブルを表示する。これにより、注目度情報画像表示１０２だけでは表現しきれない詳細な情報を表示する。この表示を注目度情報画像表示１０２と同時に表示することにより、注目度の把握を容易にしながら、同時に、詳細なデータも確認することが可能となる。これにより、１つの表示画面でさまざまなアプローチで注目度を分析できるという効果がある。
【０１０２】
図１８の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内における商品ごとの総注目人数、総注目回数、総注目時間を表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１０３】
また上記の例では、注目度情報画像表示１０２が特定の領域に区切られている。これに対し、例えば、注目度情報画像表示１０２を画面全体に表示し、表示画面のタイトル表示１０１、対象表示欄１０５、注目度計測設定の表示１０３、注目度詳細情報表示１０４を注目度情報画像表示１０２に重畳するように表示しても構わない。
【０１０４】
また、例えば、注目度情報画像表示１０２の表示対象を他の表示対象に切り替える場合（本実施例では他の棚）に、対象表示欄１０５、注目度計測設定の表示１０３、注目度詳細情報表示１０４の表示内容も合わせて切り替えてもよい。このようにすれば、表示したい対象とデータをリンクさせて表示することが可能である。このような表示の切替えは、例えば、出力制御部７が必要なデータを空間情報記憶部４と集計部９にリクエストして、空間情報記憶部４がこれに応じてデータを出力制御部７にることにより行われる。同じく集計部９もこれに応じて集計データを出力制御部７に送り、出力制御部７で画像として生成されて、出力部８に出力される。
【０１０５】
尚、図１８の表示例では、特定の１時間の総注目時間を例として表示している。これに対し、例えば、注目度計測の期間を現在時刻から過去一定とし、時間の経過とともにデータを連続的に更新してもよい。これにより、最新の商品ごとの注目度の変化状態を確認することもできる。
【０１０６】
以上のような画像の編集は出力制御部７で行うが、前記背景画像の取得方法は例えば、以下の方法がある。
【０１０７】
まず、事前に撮像した注目対象の画像を背景画像に用いる方法である。撮像された画像は、空間情報記憶部４に格納される。注目対象の撮像は、一般的なデジタルカメラを用いてもよい。また、前記のように事前に作成したＣＧ画像を空間情報記憶部４に格納し、背景画像としてもよい。さらに、図１に示す第２の撮像部を注目度計測ユニットに接続し、この第２の撮像部でリアルタイム撮像された計測対象を背景画像としてもよい。この場合、第２の撮像部は、例えば空間情報記憶部４もしくは出力制御部７に接続され、出力制御部７によって、リアルタイムに注目度の情報を示す画像情報と合成される。
【０１０８】
例えば、空間情報記憶部４に記憶されている計測対象の位置（実空間の位置）が、取得した背景画像においてどの位置になるかの関連付けを行うことにより、背景画像中の計測対象の位置に、正確に注目度の情報の画像を表示することができる。この関連付けに関しては、背景画像と計測対象の位置情報の関連付けデータを空間情報記憶部４もしくは出力制御部７が保持することにより、可能となる。
【０１０９】
また例えば、背景画像が事前撮影や、ＣＧ等であれば、そのデータを入力する要素を設けてもよい。また、撮像部がズーム、パン、チルトなどの動作によって、撮像範囲を変化させる場合は、例えば、撮像部の空間上の位置、撮像部の画角、ズーム等の情報を事前に設定してもよい。次にこれらの設定データと空間情報記憶部４から取得した計測対象の位置情報のデータと撮像部の現在の動作状況のデータから、現在撮影している背景画像における計測対象の位置を算出する。これにより、撮像部が撮像範囲を変化させる場合も、背景画像の計測対象の位置に注目度のグラフィック画像を合成することが可能となる。
【０１１０】
注目度計測対象をリアルタイム撮影する場合において、例えば、陳列されている商品が別の商品に変更されたとき、空間情報記憶部４に記憶されているテーブル、注目位置情報算出部５、注目度算出部６及び集計部９の設定変更を行ってもよい。このとき、背景画像は現在の商品に追随するので、背景画像、注目度の情報とともに、現在の商品の情報を認識することが可能となる。これにより、当該別の商品について新たに注目度の集計が行われる。
【０１１１】
図１８に示されるように、注目度の情報は、棒グラフにて示される。また表示される注目殿情報は、例えば、注目人数、注目回数、注目時間及び前述した注目度評価関数による演算結果でもよい。または、これらを一定時間あたりの計測値、または最長連続注目時間などでもよい。
【０１１２】
なお、以上に述べた棒グラフは、円錐グラフでも、ピラミッドグラフでもよい。
【０１１３】
また、上記グラフは背景画像に表示される商品の横に表示してもよい。商品と商品の間に、グラフが表示できるスペースが無い場合は、図１８に示されるように、グラフに透過性を持たせ、背景がグラフを透過するようにしてもよい。このようにすれば、グラフによって注目度を確認しつつ、背景の商品も確認できる。以下に示す実施例で背景画像に合成する注目度のグラフ、注目位置確率分布、注目度分布などもすべて同様に、背景が透過する表示にしてもよい。
【０１１４】
また、図１９のような注目度情報として縦軸と横軸を持った２次元グラフ（例えば、折れ線グラフ、面グラフ、ヒストグラムなど。）や複数の棒グラフを背景画像と合成して示してもよい。この場合縦軸には例えば、注目時間、注目人数、注目回数等とし、横軸には、計測経過時間、時間帯、注目方法としてもよい。
【０１１５】
例えば、各商品の注目度の時間変化などを複数の商品間で比較して確認する場合、これを表によって表現しようとすると、比較的複雑な表となり、注目度の時間変化の把握が容易でない恐れがある。このようなときに、２次元グラフを用いることにより、注目度の時間変化なども比較的単純に表現することが可能となり、より、商品ごとの注目度を経時的に理解しやすくなる。
【０１１６】
図１９の表示例では、例えば、注目度の情報としてヒストグラム１２０を表示している。本表示例では複数の日数において特定の時間に計測された注目度を示しており、横軸を時間帯とし、縦軸を１時間あたりの注目回数としている。また、ヒストグラムにおいて、各商品ごとに最も注目度の高い時間帯をピーク時間帯として、他の時間帯とは異なる色で表示している。ピーク時間帯の色はどのような色でもよいが、他の時間帯と明確に区別できる色が好ましい。
【０１１７】
以上のような表示を行うことにより、例えば、時間帯別の商品の注目度を容易に把握できる。また、データの集計・表示内容が図１８の例とは異なるため、合わせて注目度計測設定の表示１０３と注目度詳細情報表示１０４の表示内容も異なっている。注目度計測設定の表示１０３には、例えば、グラフがヒストグラムであること、縦軸が１時間当たりの注目回数を示していること、横軸が時間帯を示していることなどが表示される。
【０１１８】
また、図１９の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内における商品ごとの総注目人数、総注目回数に加え、最も注目回数の多い時間帯を表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１１９】
以上説明した２次元グラフのほかにも、円グラフ、ドーナツグラフ、レーダーグラフ、バブルグラフ、積み上げ棒グラフなどを用いて注目度を示してもよい。これにより、商品ごとに異なる条件での注目度を比較することができ、注目度の多角的な評価データを、視覚的に容易に把握できるという効果がある。
【０１２０】
また、図１８および図１９では、注目度は各商品ごとに表示しているが、複数の商品をグループ分けし、このグループ分けし、このグループ毎に注目度のグラフィック情報を表示してもよい。例えば、上棚の複数の商品の総注目度や平均注目度と、下棚の複数の商品の総注目度や平均注目度などを表示してもよい。
【０１２１】
また、例えば、本システムをＰＯＳシステムと連携させることで、上記のグラフのパラメータのひとつに売上を表示してもよい。この場合は売上と注目度の関連を一目で把握でき、より理解しやすいという効果である。
【０１２２】
また、以上説明した構成を用いれば、例えば、注目位置情報算出部５で得られる現在の顧客の視線をリアルタイムに背景画像と合成して表示することも可能となる。ここでいうリアルタイムに背景画像と合成するとは、現在の顧客の視線を示すグラフィックスを、例えば１フレーム等に設定された周期で更新して表示することをいう。この周期は１フレームに限られず、一定周期であればよい。また、リアルタイムと表現しているが、完全に同時という意味を有するものではない。できる限り、遅延のない情報を表示することが望ましいが、処理時間等のタイムラグは少なからず発生する。このときの表示例を図２０に示す。
【０１２３】
図２０の例では、客ＡとＢが見ている位置を、注目位置確率分布１３０を用いてそれぞれ表示している。注目位置確率分布１３０に合わせて、その瞬間の注目情報データ表示１３１などを一緒に表示するとさらに、それぞれの客の注目状況を把握しやすい。例えば、図２０の例では、注目情報データ表示１３１として、注目位置確率分布の人物、現在注目していると判定される商品、現在の注目商品を連続して注目している経過時間などを合わせて表示することにより、注目位置確率分布１３０の表示を補足する情報を得ることができる。この注目情報データ表示１３１は注目位置確率分布１３０の移動と連動して画面上を移動したほうが、他の人物の注目位置確率分布との混同を防ぐことができるため、望ましい。
【０１２４】
また、以上の表示にあわせて現在の各商品ごとの注目状態を示す情報を商品データ表示１３２のように、各商品の表示の近くに表示してもよい。図２０の例では、商品データ表示１３２は例えば、現在の注目人数及び現在までの連続非注目時間（現在まで何秒間注目されていないかを計測した時間）を表示している。これにより、商品の注目状態と、人物の注目状態を同時に把握することができ、注目度の分析に役立つという効果がある。商品データ表示１３２に表示するデータは商品に関係するデータであれば、その他のデータでも構わない。
【０１２５】
また、図２０の例では、図１８、図１９の例と表示設定が異なるため、注目度計測設定の表示１０３、注目度詳細情報表示１０４の表示内容も図示されるように異なるものとなる。本表示例では、計測時刻の表示は例えば、現在時刻としている。また、前述した注目情報データ表示１３１や商品データ表示１３２などのデータ情報の表示のＯＮ／ＯＦＦ設定の状況を、注目度計測設定の表示１０３に示してもよい。
【０１２６】
図２０の表示例では、注目度詳細情報表示１０４は、計測されている各人物のこれまで注目した全商品、最も多く注目した商品、店舗に入店した時間からの経過時間などを表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１２７】
以上のような注目状況の表示を用いることにより、店舗の店員が、リアルタイムに顧客が興味を示している商品を把握できるようになる。よって店員は、顧客に話しかけて、顧客の注目に対し、的確な商品の説明をおこなうなどができ、顧客の購買を促すことなどが出来る。
【０１２８】
上記の説明では、さまざまな注目度の出力表示方法を提示したが、これらを切り替えて表示できるようにしても構わない。この場合の表示の切替えは、例えば、出力制御部７が、空間情報表示部４や集計部９と協働しておこなう。このような切替えをおこなうようにすれば、本注目度計測装置のユーザーの注目度の解析のニーズに合致した表示方法を提供することができる。
【０１２９】
以上の説明では図１のように、出力制御部７は注目度計測ユニット内にあるとし、この場合は合成画像を出力部に出力することとしたが、出力制御部７を出力部８が持つこととしてもよい。この場合は、例えば、注目度計測ユニットの空間情報記憶部４は、出力部８の出力制御部７に対し求められるデータの出力を行う。更に、注目度計測ユニットの集計部９は出力部８の出力制御部７に対し求められる集計を行い、集計結果を出力制御部７に出力するなどの動作をおこなう。
(出力部)
出力部８は上記では説明したモニタのほかに各種ディスプレイ（ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ、その他方式ディスプレイ）でもよく、またプリンタ等の印字装置等でもかまわない。
【０１３０】
出力部８が印字装置等の場合は、図１８、図１９、などに説明した背景画像と注目度の合成画像を印刷して資料としてもよい。
【０１３１】
以上説明した実施例によれば、注目度の計測対象と各計測対象に関連する注目度をあわせて確認することができ、注目度データを好適に把握することが可能となる。
【実施例２】
【０１３２】
次に本発明に係る第２実施例を説明する。
【０１３３】
第２の実施例は、第１の実施例における注目度計測ユニットにおいて、注目度の計測対象を特定の商品や物体から空間全体に広げ、その注目度分布の算出結果を出力するものである。
【０１３４】
本実施例を用いれば、駅や施設などの広い空間において、壁や天井等の平面に対する注目度を算出することが可能となる。本実施例により得られる注目度分布の出力の一例を図２１に示す。
図２１において、注目度分布表示１４０は注目度の高さを等高線状に示したものであり、分布の濃度が注目度の大きさを表している。これによって、空間全体において、どこが多く注目されているかを計測することができ、例えば、広告設置場所の決定や、陳列におけるレイアウトの変更等に役立つ情報として出力することができる。また例えば、通行者に対する心理実験装置などとしても利用できる。
【０１３５】
図２１のように、ある空間全体における注目度の分布を算出する場合、空間情報記憶部４は、例えば、図２２に示すように格子状の領域ごとの空間情報を持つようにすればよい。
【０１３６】
すなわち、実施例１では、商品の陳列棚などの注目度計測対象の存在する特定の面の平面の情報を持っていた。これに対し本実施例では、例えば、壁や天井・柱など空間を構成する面が、例えば図２２に示される平面の方程式の情報を持つように構成する。また、実施例１では、前記計測対象の存在する平面において、各商品が存在する座標範囲を設定した。これに対し、本実施例では、例えば、空間を構成する平面ごとに分割領域を指定する。
【０１３７】
このように設定することで、空間を構成する各平面を分割した小領域の座標範囲とすることができる。
【０１３８】
なお、分割領域の数及び大きさは、各分割領域の値域をそれぞれ指定しても良いし、単純に平面の垂直方向・水平方向の分割数をそれぞれ指定しても良い。分割数が多ければ多いほど詳細な分布の情報を得ることができる。
【０１３９】
本実施例の説明では、図２１に示すような注目度計測対象の空間は、例えば、撮像部１によって撮像される空間と別の空間とし、ＣＧによって出力表示されることとする。しかしながら、この空間は例えば撮像部１によって撮像される空間であっても構わない。また、実施例１の第２の撮像部によって撮像される空間であっても構わない。また、ユーザーが設定もしくは入力した空間座標データによって構成される空間データであってもよい。
【０１４０】
本実施例における注目度算出部６では、例えば、実施例１における注目度計測対象面と同様に、算出した視線方向と視線方向の計測誤差分布もしくは確率密度分布のベクトル分布によって、前記空間を構成する平面における注目位置及び注目位置確率分布を算出する。続いて、各分割領域での平均注目位置確率もしくは、各分割領域の代表点での注目位置確率を算出する。そして、これらを用いて以下のように注目度情報に反映する。
【０１４１】
上記で算出した平面への注目位置と注目位置確率の関係は例えば、図２５に示される。
【０１４２】
次に、以上のように一フレームの画像から算出した注目位置と各分割領域における注目位置確率を用いて、各分割領域における注目位置確率値の最大値または平均値などをこの領域における注目度として毎フレームごと積算していく。なお、これらの各分割領域の注目位置確率の値は空間情報記憶部４に保持される。
【０１４３】
上記のような算出方法を用いた場合、注目位置による注目判定でカウントする注目回数のみを各分割領域ごとに積み上げる場合にくらべ、複数の領域に確率の重みをつけて注目度を算出する事ができるようになる。よって、各位置で緩やかに分布した注目度情報を取得することが可能となる。
【０１４４】
図２６に本実施例における注目度算出部６の算出の流れを示す。ステップ８１で注目位置確率分布範囲にある分割領域が決定する。次にステップ８２で各分割領域における、注目位置確率を決定する。最後にステップ８３で空間情報記憶部４に記憶されている現在の各分割領域の注目度に得られた注目度を加算し、新たに各分割領域の注目度とする。
【０１４５】
本実施例における出力制御部７では、図２１に示すように空間情報記憶部４に記憶される注目度を、色合いや、色の濃度に換算し、分割領域の画像上での位置を塗りつぶし、各分割領域における注目度の分布を表すグラフィック情報の画像として出力する。これにより表のみでは把握できなかった空間に対する注目度の分布を、視覚的・直感的に知ることが可能となる。
【０１４６】
また、表示色または濃度と注目度の関連付けに関しては、例えば、上記のように注目度の絶対値と表示色または濃度を関連付けても構わない。しかし、表現可能な色や濃度の範囲には限界がある。よって、各領域の注目度を正規化した値と表示色または濃度を関連付けすれば、この限界にかかる問題を解決することが可能となる。
【０１４７】
この正規化する値としては例えば、指定した時間帯での全領域における注目度の最大値を用いてもよく、この場合、その時間帯における各領域の順位を把握することが可能となる。また、正規化する値として、十分大きな一定値を用いてもよい。この場合は、異なる２つの時間帯のデータを比較する場合も、正規化する値に共通の値を用いることが可能となり、注目度と表示色または濃度を関連付けの基準が変化しないため、注目度の経時的な比較が容易に可能となる。
【０１４８】
以上に説明した注目度の分布は、上記説明では、ＣＧ上に表示色または濃度として表示されるとしたが、例えば、注目度計測対象の空間が、前述のように撮像部１または第２の撮像部で撮像した画像である場合は、これらの画像を背景画像として、その上に表示色または濃度として表示した注目度を合成しても構わない。これにより、より詳しい周囲の状況を確認しながら、注目度を評価することが可能となる。この場合も例えば、実施例１の２次元グラフのように、表示色または濃度の領域を半透明にすれば、注目度と背景の画像を同時に確認することが可能となり、注目度と周囲の状況をより容易に確認できるという効果がある。
【０１４９】
また以上に説明した注目度分布の出力または表示においては、空間上の平面を注目度計測面とした。しかしながら、かかる計測面を曲面としてもよい。この場合、複数の平面お所定の角度によって連続的に接続すれば、曲面に近似させた面が設定できる。これにより、より複雑な空間も注目度計測対象にすることが可能となり、計測及び表示の自由度が増すという効果がある。
【０１５０】
また図２１の表示例に示すように、注目度計測対象の空間の表示画像に、特定のオブジェクトを表示させて、注目度分布と必要な情報をあわせて確認できるようにしてもよい。
【０１５１】
図２１の表示例においては、オブジェクトＡ１４１、オブジェクトＢ１４２を表示するように設定している。これらと注目度分布表示１４０とあわせて確認できるように、オブジェクトの存在する領域は、注目度分布表示もしくはオブジェクトのいずれかを半透明にするのが望ましい。また表示の際はオブジェクトの名称を符号１４３、１４４の様に表示するとさらに情報が把握しやすくなり、なおよい。
【０１５２】
注目度計測設定の表示１０３には、上記にて説明した表示色または濃度を関連付けの設定を表示しても構わない、すなわち図２１の表示例においては、例えば、絶対値と表示色または濃度を関連付けていることを示すため、「絶対濃度表示」と表示している。
【０１５３】
またこの場合、例えば、図２１に示すように、注目度詳細情報表示１０４には各オブジェクトにおける注目度に関するデータなどを表示してもよい。
【０１５４】
図２１の表示例では、注目度詳細情報表示１０４は、例えば、計測時間内に設定されている各オブジェクトを注目した人数、総注目度、最も注目度が高かった時間帯などを表示し、注目度情報画像表示１０２における注目度表示データを補足するデータを提供している。
【０１５５】
このようなオブジェクトの設定は、例えば、前述の空間の計測対象平面の設定と同様に、図２２に示す式ような空間情報を与えられる。
【０１５６】
また、上記に説明した各オブジェクトにおける注目度に関するデータの算出は、例えば、実施例１と同様の方法によって行ってもよい。すなわち、例えば、注目度算出部６が注目度を算出し、これを空間情報記憶部４に格納し、これを集計部９が集計すればよい。
【０１５７】
以上説明した特定のオブジェクトを、例えば、注目度計測ユニットを広告の効果的な配置を分析するために用いる場合は、現在広告が配置してある領域を示すオブジェクトを設定すればよい。この場合は、現在広告の位置とその他の位置での注目度の比較が容易になるという効果がある。
【０１５８】
また店舗内全体の注目度などを分析するために用いる場合は、前記オブジェクトは商品棚全体の領域または商品の位置を示すであっても構わない。このとき同時に商品名などの商品に関係のある情報などを表示しても構わない。これらの場合、商品の情報と周囲の注目度の関連が容易に把握できるという効果がある。
【０１５９】
さらに、このとき、算出または集計した注目度の情報を、実施例１のようにグラフなどの画像情報として、あわせて表示しても構わない。この場合、商品ごとの詳細な注目度データと周囲の空間（店舗内全体の空間など）の注目度分布を比較できるという効果がある。
【０１６０】
以上説明した実施例によれば、注目度の計測対象を、広く空間全体まで広げることが可能となり、注目度データを好適に把握することが可能となる。
【実施例３】
【０１６１】
次に、実施例１または実施例２で説明した注目度計測装置の機器構成例を示す。
【０１６２】
図２７は例えば、カメラに注目度計測ユニットを組み込んだ際のシステム構成例である。図１の視線方向計測部３、空間情報記憶部４、注目位置情報算出部５、注目度算出部６、出力制御部７、集計部９のまとまりを注目度計測ユニット１０として、カメラ内に注目度計測ユニット１０を組み込む。これにより、ユーザーが指定した位置への注目度を計測する機能を持つ注目度計測カメラ２００を構築できる。
【０１６３】
本実施例では、カメラ２００内は例えばメモリ等の記憶媒体を備え、例えば空間情報記憶部４の機能を有する。同様にカメラ２００内は例えば画像処理用プロセッサを用意し、例えば視線方向計測部３、注目位置情報算出部５、注目度算出部６、集計部９、出力制御部７などの機能を有する。ここで、図２７では人物位置計測部２はカメラ２００と別体に記載されているが、人物位置計測部２の機能の一部もしくはすべてをカメラ２００が備えてもよい。
【０１６４】
また、例えば、カメラ２００内が方向センサやGPSを搭載することで、カメラが自動的に現在の位置を把握可能になる。これにより、空間情報記憶部４にカメラ位置の設定を行う必要なく注目位置を算出可能になる。
【０１６５】
図２８は、ＨＤＤなどの記録媒体を搭載した監視画像のレコーダに注目度計測ユニットを組み込んだ際のシステム構成例である。例えばレコーダ３００は接続された撮像部１からの画像を蓄積する機能を持ち、さらに注目度計測ユニット１０を備えている。これにより、注目度を算出する機能を有するレコーダを構成できる。この場合、レコーダ３００に接続された撮像部１から送られた画像に対してリアルタイムに注目度を算出し、画像と共に記録してもよい。また、レコーダ内に記録された画像に対して後から注目度の算出を行うことも可能である。後者の場合は、注目度の算出に用いるパラメータを変更して、再度算出することなどが可能である。
【０１６６】
以上図２７、図２８に示した注目度計測ユニット１０の出力制御部７は、実施例１で説明したとおり、図２７、図２８の出力部８が備えてもよい。また、図２７における出力部８はカメラ２００と一体でも構わず、また、図２８における出力部８はレコーダ３００と一体でも構わない。
【０１６７】
また図２７及び図２８の例はともに、注目度計測ユニット１０が搭載されている装置に、実施例１及び２で説明した第２の撮像部であるカメラを接続してもよい。そして、注目度計測ユニット１０がカメラ１００またはカメラ１とは異なる撮像データを取得できるように構成しても構わない。
【０１６８】
以上説明した実施例によれば、注目度の計測及び表示システムを構築でき、注目度データを好適に把握できる装置及びシステムを提供することが可能となる。
【実施例４】
【０１６９】
次に、以上のいずれかの実施例によって示された注目度計測システムを用いて、注目度計測の対象を電子広告とした電子広告システムの実施例を示す。
【０１７０】
図２９は本システムの構成を示したブロック図である。例えば、実施例１にて説明した注目度計測ユニット１０に、同じく実施例１にて説明した撮像部１と人物位置計測部２が接続され、注目度計測ユニット１０はさらに、広告制御部４０１に接続され、広告制御部４０１は広告表示部４０２に接続されている。
【０１７１】
また図３０はこのシステムを示した俯瞰図である。図３０の例では、通路の壁に設置された撮像部と、広告表示部と通路に立つ人物が示されている。
【０１７２】
このとき、注目度計測ユニットや広告制御部は例えば、広告表示部の背面などに埋め込まれ、外部からは見えないようにするとよい。
【０１７３】
図３０の例では、さらに人物の注目位置確率分布を表示している。前記注目位置確率分布は例えば、上記の注目度計測ユニット１０、撮像部１及び人物位置計測部２によって実施例１と同様に算出が可能である。また、同じく実施例１と同様の方法を持ちいれは、広告表示部４０２に対する注目度の算出及び集計が可能となる。実施例１と同様に、注目位置情報のみでなく、注目位置確率分布を用いた注目度情報を用いれば、少ない人物から、より連続的な注目度情報を得ることができ、注目度集計の方法が多様になるという効果がある。
【０１７４】
また広告制御部４０１と広告表示部４０２は例えば、いわゆる電子広告装置である。例えば、画像などの広告コンテンツの電子データを広告表示部４０２が表示するように、広告制御部４０１が制御を行うものである。コンテンツとなる電子データは、例えば、電子広告装置が備える記憶部などに保持してもよく、また電子広告装置に対して、ネットワークやデジタル放送などを用いて配信してもよい。
【０１７５】
本システムにより、広告周囲への通行人の広告に対する注目度を集計することができるため、当該電子広告の効果を知ることが可能となる。例えば、時間帯ごとの注目度と、広告の再生スケジュールのデータを連動させることで配信された広告ごとにどれだけ注目されたかを算出可能となる。
【０１７６】
また、本実施例によれば、例えば、注目方法や、1回の注目の平均時間などを算出できる。そのため、多くの人に見られてはいるが、ほとんどが目だけで一瞬見た程度というように詳細な情報を得ることができ、新たな広告コンテンツ作成へと役立つ情報を得られる。
【０１７７】
また、注目度の状況に応じた広告表示を行うことも可能である。例えば、注目人数が非常に少ない時間帯には動画を流して、通り過ぎる1人に対する注目度を上げることを試みるなどをしてもよい。
【０１７８】
また、注目人数が増大した場合には、最も宣伝したい部分だけを抜き出した静止画を表示するなどして、注目度を上げることを試みるなどをしてもよい。
【０１７９】
また、撮像部であるカメラの視野が制限され、広告を注目している人物を全てカバーできない場合には、２台以上のカメラを利用してもよい。
【０１８０】
これに対してカメラを１台で構成する場合には、例えば設定したカメラ視野から、計測されなかった広告注目者の人数を推定計測する機能を入れることも考えられる。これは、例えばそのときの広告周囲の総通行人数と、その内の広告注目者の人数、カメラ視野範囲などから、統計的なデータに基づいて推定してもよい。
【０１８１】
また、カメラからの距離が遠い人物は、画像中に比較的小さく写るため、広告を注目しているか計測できない場合がある。この場合も、例えば、視野範囲と同様に、現在の計測状況と統計的なデータに基づくことで計測不可能な距離にいる広告注目人数も推定してもよい。
【０１８２】
なお、上記に説明した電子広告表示システムでは、その他の実施例と同様に出力制御部と出力部を備えてもよい。この場合、複数の広告表示を注目度の集計対象とし、注目度を直感的に把握できる出力を得ることができる。また、広告表示がされる空間全体の注目度と合わせて確認することも可能となり、電子広告の表示に関してより幅広い分析が可能となる。
【０１８３】
以上説明した実施例によれば、注目度の計測と連動した電子広告表示システムを構築でき、電子広告に対する注目度の計測と、注目度データを好適に利用した広告表示を行うことができるシステムを提供することが可能となる。
【０１８４】
以上すべて実施例の説明では、説明の便宜上、注目度の計測の実施例として、主に店舗内での商品を計測対象とした例、または広告に対する注目度の計測に用いる例などの説明を行ったが、必ずしも本発明はこれらの用途に限られたものではない。
【０１８５】
また、以上説明した実施例はいずれを組み合わせて用いても、本発明の１つの実施の形態となりえる。
【産業上の利用可能性】
【０１８６】
本発明による装置またはシステムは、例えば、現在利用されている画像監視システム中に実装されることで、注目度を計測する機能を有する新たな画像監視システムとなり得る。また、電子広告表示システム内に搭載されることで、広告に対する注目度を計測する機能を持つ新たな広告システムとなるなど、様々なシステムへの応用が可能である。
【図面の簡単な説明】
【０１８７】
【図１】本発明の一実施例を示すブロック図
【図２】視線方向計測部の一実施例を示すブロック図
【図３】視線及び顔方向が示す方向の一例を説明するための図
【図４】視線方向計測部で生成されるフレーム情報の構成の一例を示す図
【図５】顔方向推定のフローチャートの一例
【図６】顔画像における顔領域と顔器官中心位置の定義の一例の図
【図７】顔方向推定のための顔モデルの一例の図
【図８】視線方向推定の処理を示すフローチャートの一例
【図９】視線方向推定を行うための眼球モデルの一例の図
【図１０】視線方向推定を行うための眼球モデルの一例の図
【図１１】視線方向計測部の処理の流れを示すフローチャート
【図１２】視線方向と顔方向と視線方向の確率分布の一例の図
【図１３】視線方向と顔方向と視線方向の確率分布の一例の図
【図１４】空間情報記憶部に記憶されている空間の位置情報の一例を示す図
【図１５】注目位置情報算出部の作用の一例を説明する図
【図１６】空間情報記憶部に記憶されている注目度情報のテーブルの一例を示す図
【図１７】注目度算出部の処理を示すフローチャートの一例
【図１８】出力部制御部により生成される出力画像の一例を示す図
【図１９】出力部制御部により生成される出力画像の一例を示す図
【図２０】出力部制御部により生成される出力画像の一例を示す図
【図２１】出力部制御部により生成される出力画像の一例を示す図
【図２２】空間情報記憶部に記憶されている空間の位置情報の一例を示す図
【図２３】注目位置と注目位置確率分布範囲を示す図
【図２４】注目位置確率分布範囲の注目位置確率分布を示す図
【図２５】注目位置確率分布範囲の注目位置確率分布を示す図
【図２６】注目度算出部の処理を示すフローチャートの一例
【図２７】本発明の構成例の一実施例を示す図
【図２８】本発明の構成例の一実施例を示す図
【図２９】本発明の一実施例を示すブロック図
【図３０】本発明の構成例の一実施例を示す図
【符号の説明】
【０１８８】
１ 撮像部、２ 人物位置計測部、３ 視線方向計測部、４ 空間情報記憶部、５ 注目位置情報算出部、６ 注目度算出部、７ 出力制御部、８ 出力部、９ 集計部、１０ 注目度計測ユニット、１１ 第２の撮像部、１２ 入力部、２１ 画像取得部、２２ 移動体検出部、２３ 顔検出部、２４ 顔特徴量計算部、２５ 視線検出部、２６ メタデータ作成部、３０a 情報、３０b 情報、３０c 情報、３０d 情報、３０e 情報、３０f 情報、３０g 情報、３０h 情報、３０i 情報、１０１ タイトル表示、１０２ 注目度情報画像表示、１０３ 注目度計測設定の表示、１０４ 注目度詳細情報表示、１０５ 対象表示欄、１０６ モデル、１０７ 商品名、１０８ グラフ、１０９ 注目度の値、１１０ 計測期間の表示、１１１ 注目度表示方法の表示、１１２ 表示対象表示、１１３ 設定の表示、１２０ グラフ、１３０ 注目位置確率分布、１３１ 注目情報データ表示、１３２ 商品データ表示、１４０ 注目度分布表示、１４１ オブジェクト、１４２ オブジェクト、１４３ オブジェクトの名称、１４４ オブジェクトの名称、２００ 注目度計測カメラ、３００ 注目度計測レコーダ、４０１ 広告制御部、４０２ 広告表示部
【特許請求の範囲】
【請求項１】
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、
該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える
ことを特徴とする注目度計測装置。
【請求項２】
請求項１に記載の注目度計測装置であって、
更に、前記注目対象の空間位置情報を記憶する記憶部を有し、
前記注目度算出部は、該空間位置情報と前記注目位置情報から、前記注目対象に対する注目の有無を判定する
ことを特徴とする注目度計測装置。
【請求項３】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の空間的な分布を表す
ことを特徴とする注目度計測装置。
【請求項４】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、前記注目対象に対する注目時間を表す
ことを特徴とする注目度計測装置。
【請求項５】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、前記注目対象に対する注目回数を表す
ことを特徴とする注目度計測装置。
【請求項６】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像として、前記注目対象の撮像データを用いる
ことを特徴とする注目度計測装置。
【請求項７】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像として、予め記憶された画像を用いる
ことを特徴とする注目度計測装置。
【請求項８】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、背景画像が透過される部分を含む
ことを特徴とする注目度計測装置。
【請求項９】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像は複数の注目対象を示し、
前記注目度のグラフィックス情報は、前記複数の注目対象にそれぞれ対応した注目度情報を示し、
該グラフィックス情報は前記注目対象の画像に示されるそれぞれの注目対象の位置に対応付けられて表示される
ことを特徴とする注目度計測装置。
【請求項１０】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度を表すグラフである
ことを特徴とする注目度計測装置。
【請求項１１】
請求項１０に記載の注目度計測装置であって、
前記グラフは２次元グラフである
ことを特徴とする注目度計測装置。
【請求項１２】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、所定の周期で更新される
ことを特徴とする注目度計測装置。
【請求項１３】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の大きさを色の濃淡の識別で表現する
ことを特徴とする注目度計測装置。
【請求項１４】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の大きさに応じて色を異ならせて表現する
ことを特徴とする注目度計測装置。
【請求項１５】
請求項１に記載の注目度計測装置であって、
さらに該算出された注目度情報に基づき生成された表を合わせて表示する
ことを特徴とする注目度計測装置。
【請求項１６】
人物を撮像する撮像ユニットと、
該撮像ユニットに接続された注目度計測ユニットと、
該注目度計測ユニットに接続され、注目度計測ユニットの計測結果を視覚的に認識できる情報として出力する出力ユニット
とを含む注目度計測システムであって、
前記注目度計測ユニットは、
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、
該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える
を特徴とする注目度計測システム。
【請求項１７】
請求項１６に記載の注目度計測システムであって、
前記注目度計測ユニットに接続され、人物の位置を計測する人物位置計測ユニットを含む
ことを特徴とする注目度計測システム。
【請求項１８】
請求項１６に記載の注目度計測システムであって、
前記注目度計測ユニットに接続され、注目度の計測対象を撮像する第２の撮像ユニットを含む
ことを特徴とする注目度計測システム。
【請求項１９】
人物を撮像する撮像ユニットと、
該撮像ユニットに接続された注目度計測ユニットと、
広告表示部と、
前記広告表示部を制御する広告制御部と、
該広告制御部に接続された広告表示部を含む
とを含む広告表示システムであって、
前記注目度計測ユニットは、
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部を備え、
前記広告制御部は、
前記注目度情報に基づいて、前記広告表示部の表示内容を変化させる
ことを特徴とする注目度計測システム。
【請求項２０】
請求項１９に記載の注目度計測システムであって、
前記注目度情報は前記計測された視線方向にもとづいて算出された注目位置の確率分布を用いて算出される
ことを特徴とする注目度計測システム。
【請求項１】
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、
該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える
ことを特徴とする注目度計測装置。
【請求項２】
請求項１に記載の注目度計測装置であって、
更に、前記注目対象の空間位置情報を記憶する記憶部を有し、
前記注目度算出部は、該空間位置情報と前記注目位置情報から、前記注目対象に対する注目の有無を判定する
ことを特徴とする注目度計測装置。
【請求項３】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の空間的な分布を表す
ことを特徴とする注目度計測装置。
【請求項４】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、前記注目対象に対する注目時間を表す
ことを特徴とする注目度計測装置。
【請求項５】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、前記注目対象に対する注目回数を表す
ことを特徴とする注目度計測装置。
【請求項６】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像として、前記注目対象の撮像データを用いる
ことを特徴とする注目度計測装置。
【請求項７】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像として、予め記憶された画像を用いる
ことを特徴とする注目度計測装置。
【請求項８】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、背景画像が透過される部分を含む
ことを特徴とする注目度計測装置。
【請求項９】
請求項１に記載の注目度計測装置であって、
前記注目対象の画像は複数の注目対象を示し、
前記注目度のグラフィックス情報は、前記複数の注目対象にそれぞれ対応した注目度情報を示し、
該グラフィックス情報は前記注目対象の画像に示されるそれぞれの注目対象の位置に対応付けられて表示される
ことを特徴とする注目度計測装置。
【請求項１０】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度を表すグラフである
ことを特徴とする注目度計測装置。
【請求項１１】
請求項１０に記載の注目度計測装置であって、
前記グラフは２次元グラフである
ことを特徴とする注目度計測装置。
【請求項１２】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、所定の周期で更新される
ことを特徴とする注目度計測装置。
【請求項１３】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の大きさを色の濃淡の識別で表現する
ことを特徴とする注目度計測装置。
【請求項１４】
請求項１に記載の注目度計測装置であって、
前記注目度のグラフィックス情報は、注目度の大きさに応じて色を異ならせて表現する
ことを特徴とする注目度計測装置。
【請求項１５】
請求項１に記載の注目度計測装置であって、
さらに該算出された注目度情報に基づき生成された表を合わせて表示する
ことを特徴とする注目度計測装置。
【請求項１６】
人物を撮像する撮像ユニットと、
該撮像ユニットに接続された注目度計測ユニットと、
該注目度計測ユニットに接続され、注目度計測ユニットの計測結果を視覚的に認識できる情報として出力する出力ユニット
とを含む注目度計測システムであって、
前記注目度計測ユニットは、
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部と、
該算出された注目度情報に基づき生成されたグラフィックス情報と、該注目対象の画像とを重ね合わせて表示するための出力制御部とを備える
を特徴とする注目度計測システム。
【請求項１７】
請求項１６に記載の注目度計測システムであって、
前記注目度計測ユニットに接続され、人物の位置を計測する人物位置計測ユニットを含む
ことを特徴とする注目度計測システム。
【請求項１８】
請求項１６に記載の注目度計測システムであって、
前記注目度計測ユニットに接続され、注目度の計測対象を撮像する第２の撮像ユニットを含む
ことを特徴とする注目度計測システム。
【請求項１９】
人物を撮像する撮像ユニットと、
該撮像ユニットに接続された注目度計測ユニットと、
広告表示部と、
前記広告表示部を制御する広告制御部と、
該広告制御部に接続された広告表示部を含む
とを含む広告表示システムであって、
前記注目度計測ユニットは、
撮像データを入力して撮像された人物の視線方向を計測する視線方向計測部と、
該視線方向計測部によって計測された視線方向から、該人物の注目位置情報を算出する注目位置情報算出部と、
該注目位置情報算出部によって算出された注目位置情報を用いて、該人物の注目対象についての注目度情報を算出する注目度算出部を備え、
前記広告制御部は、
前記注目度情報に基づいて、前記広告表示部の表示内容を変化させる
ことを特徴とする注目度計測システム。
【請求項２０】
請求項１９に記載の注目度計測システムであって、
前記注目度情報は前記計測された視線方向にもとづいて算出された注目位置の確率分布を用いて算出される
ことを特徴とする注目度計測システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２００７−２８６９９５（Ｐ２００７−２８６９９５Ａ）
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願番号】特願２００６−１１５１５２（Ｐ２００６−１１５１５２）
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]