コンテンツ決定プログラムおよびコンテンツ決定装置
【課題】複数人物に最適なコンテンツを表示することを目的とする。
【解決手段】コンテンツ決定装置は、時系列に撮影された複数の撮影画像から人物画像を検出し、人物画像についての人物の速度ベクトルを算出する算出手段、複数の人物の算出した速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、関連付けられたグループ内の複数の人物画像を画像処理して、グループの属性情報を取得する取得手段、属性情報と記憶部に記憶された投影画像を特定する画像情報との対応関係に基づき、属性情報に対応する投影画像を決定する決定手段を有する。
【解決手段】コンテンツ決定装置は、時系列に撮影された複数の撮影画像から人物画像を検出し、人物画像についての人物の速度ベクトルを算出する算出手段、複数の人物の算出した速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、関連付けられたグループ内の複数の人物画像を画像処理して、グループの属性情報を取得する取得手段、属性情報と記憶部に記憶された投影画像を特定する画像情報との対応関係に基づき、属性情報に対応する投影画像を決定する決定手段を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は複数の人物に対してコンテンツ画像を決定するコンテンツ決定装置に関する。
【背景技術】
【０００２】
従来、移動する人物を特定して、特定した人物の移動方向の延長上にコンテンツ画像を表示するシステムがある。また、人物の個人情報、複数人物間の関連情報を含むＲＦＩＤを予め各人物に所持させることで、複数人物からなるグループに対して広告を表示するシステムがある。
【０００３】
しかし、従来技術は個人毎の嗜好に応じたコンテンツ画像の提供であり、親子、カップルなどのような移動する複数人物の組み合わせによって生まれる特徴を考慮していない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１３８１９号公報
【特許文献２】特開２００５−３００９６５号公報
【特許文献３】特開２００５−１６５４０６号公報
【非特許文献】
【０００５】
【非特許文献１】Ａ． Ｓｈｉｏ ａｎｄ Ｊ． Ｓｋｌａｎｓｋｙ： “Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｐｅｏｐｌｅ ｉｎ ｍｏｔｉｏｎ”， Ｐｒｏｃ． ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ， ｐｐ．３２５−３３２ （１９９１）
【非特許文献２】前泰志・白井良明・三浦純・久野義徳：“Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｂａｃｋ ｇｒｏｕｎｄ Ｂａｓｅｄ ｏｎ Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｅｄｇｅｓ“、ＪＲＳＪ Ｖｏｌ．１７， Ｎｏ．７， ｐｐ．４５−５１
【非特許文献３】郷原邦男， 馬場功淳， 江島俊朗：“人物追跡画像に基づく服装の実時間分類“， 情報処理学会研究報告． ＨＩ， ヒューマンインタフェース研究会報告 ２００１（８７） ｐｐ．１０１−１０８ ２００１０９１３
【非特許文献４】安藤寛哲、藤吉弘亘：“人検出結果に基づくカメラの自己キャリブレーションと３次元位置推定“、電気学会 一般産業研究会 ２００９
【非特許文献５】南竹俊介，高橋伸，田中二郎：“公共大画面への注視情報取得システム“， ｈｔｔｐ：／／ｗｗｗ．ｉｐｌａｂ．ｃｓ．ｔｓｕｋｕｂａ．ａｃ．ｊｐ／ｐａｐｅｒ／ｄｏｍｅｓｔｉｃ／ｍｉｎａｍｉｔａｋｅ＿ｄｉｃｏｍｏ２００８．ｐｄｆ
【非特許文献６】南竹俊介：“顔向き解析による大画面への注視情報の取得“， ｈｔｔｐ：／／ｗｗｗ．ｉｐｌａｂ．ｃｓ．ｔｓｕｋｕｂａ．ａｃ．ｊｐ／ｐａｐｅｒ／ｂａｃｈｅｌｏｒ／ｍｉｎａｍｉｔａｋｅ＿ｔｈｅｓｉｓ．ｐｄｆ
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の一つの側面は、複数人物に応じたコンテンツ画像を決定することを目的とする。
【課題を解決するための手段】
【０００７】
コンテンツ決定装置は、時系列に撮影された複数の撮影画像から人物画像を検出し、人物画像についての人物の速度ベクトルを算出する算出手段、複数の人物の算出した速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、関連付けられたグループ内の複数の人物画像を画像処理して、グループの属性情報を取得する取得手段、属性情報と記憶部に記憶された投影画像を特定する画像情報との対応関係に基づき、属性情報に対応する投影画像を決定する決定手段を有する。
【発明の効果】
【０００８】
本発明の一つの側面は、複数人物に応じたコンテンツを決定することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施例のコンテンツ決定装置１０の機能ブロック図である。
【図２】図２はコンテンツ画像のライブラリ９２の構成である。
【図３】図３は、コンテンツ画像管理情報９５の構成例である。
【図４】図４は動作状態情報９３の構成例である。
【図５】図５は属性情報９９の構成例である。
【図６】図６はグループ属性情報９８の構成例である。
【図７】図７は注視履歴情報９７の構成例である。
【図８】図８は、コンテンツ決定装置１０の全体の動作フローチャートである。
【図９】図９は撮影部１１が撮影した背景画像３００である。
【図１０】図１０は撮影部１１が撮影した入力画像３１０である。
【図１１】図１１は、図９と図１０の差分から得られる差分画像３２０である。
【図１２】図１２は、人物の顔および視線の方向を特定する処理のフローチャートである。
【図１３】図１３は、グループの関連付けの処理のフローチャートである。
【図１４】図１４は、グループ関連付けの時刻ｔ１の例である。
【図１５】図１５は、図１４での速度ベクトルのなす角を示す図である。
【図１６】図１６は、グループ関連付けの時刻ｔ２の例である。
【図１７】図１７は、図１６での速度ベクトルのなす角を示す図である。
【図１８】図１８は、グループ関連付けの時刻ｔ３の例である。
【図１９】図１９は、図１８での速度ベクトルのなす角を示す図である。
【図２０】図２０は、視聴者の視線方向の説明図である。
【図２１】図２１は、速度ベクトルと顔の向きの説明図である。
【図２２】図２２はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す例である。
【図２３】図２３は、図２２の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。
【図２４】図２４はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す第二の例である。
【図２５】図２５は、図２４の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。
【図２６】図２６は、グループとして関連付ける場合の人物の動作状態の組合せの例である。
【図２７】図２７はグループとして関連付けない場合の人物の動作状態の組合せの例である。
【図２８】図２８はグループとして関連付けない場合の人物の動作状態の組合せの例である。
【図２９】図２９は、グループとして関連付ける場合の人物の動作状態の組合せの例である。
【図３０】図３０は、複数の視聴者が会話状態の場合の例である。
【図３１】図３１は複数の人物が別方向から一箇所に集合する場合の時刻ｔ１での例である。
【図３２】図３２は複数の人物が別方向から一箇所に集合する場合の時刻ｔ３での例である。
【図３３】図３３、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ１での状態を説明する図である。
【図３４】図３４は、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ３での状態を説明する図である。
【図３５】図３５は注視情報の取得の処理のフローチャートである。
【図３６】図３６は、コンテンツ画像の投影位置を変更する前の状態である。
【図３７】図３７は、視聴者の進行方向に対して左右方向に投影位置を変更した状態である。
【図３８】図３８は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。
【図３９】図３９は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態の他の例である。
【図４０】図４０は図３６のコンテンツ画像の投影位置を視聴者から離れる位置に変更した状態である。
【図４１】図４１は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。
【図４２】図４２は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の他の状態である。
【図４３】図４３は、人物がコンテンツ画像を注視しているか否かを判定する処理のフローチャートである。
【図４４】図４４は、提示するコンテンツ画像を決定する処理のフローチャートである。
【図４５】図４５は、コンテンツ画像のカテゴリ毎の注視率の算出処理のフローチャートである。
【図４６】図４６はコンテンツ画像の注視率を算出する処理のフローチャートである。
【図４７】図４７は絵のみのコンテンツ画像の例である。
【図４８】図４８は文字のみのコンテンツ画像の例である。
【図４９】図４９は絵と文字を組み合わせたコンテンツ画像の例である。
【図５０】図５０は絵と文字を組み合わせたコンテンツ画像の第二の例である。
【図５１】図５１は、コンテンツ画像の投影例である。
【図５２】図５２は、本実施例のコンテンツ決定装置１０のハードウェア構成の例である。
【発明を実施するための形態】
【００１０】
本発明の実施の一形態について、図面を参照して説明する。
【００１１】
［コンテンツ決定装置１０］
図１は、本実施例のコンテンツ決定装置１０の機能ブロック図である。
【００１２】
本実施例のコンテンツ決定装置１０は、予め提示優先度が付与されている複数の広告などのコンテンツ画像を表示する。コンテンツ決定装置１０は、各個人または各個人の組み合わせによって構成されるグループの属性に応じて、コンテンツ画像の種類、再生時間の長さ、大きさ、情報量を決定する。この結果、コンテンツ決定装置は、複数の人物に対して適当なコンテンツ画像を提供することが可能になる。
【００１３】
以下、「人物」は、撮影部１１で撮影された画像に含まれる人間を示す。人物は、撮影範囲内で静止、あるいはそれぞれの速度で歩いたりするものとする。
【００１４】
以下、「画像」は、静止画像、動画像の総称であり、撮影部１１が取得する画像を示す。以下、「コンテンツ画像」は、人物に対して表示する広告などの静止画像あるいは動画像であり、コンテンツ画像表示部１６が出力する画像を示す。本実施例において、コンテンツ画像はグループの進行方向の床面に投影される。
【００１５】
以下のデータに含まれる情報は、文字列であってもよいし、数値であってもよい。数値を使用する場合、管理者は、分類した状態と数値とを関連付けるテーブルを定義しておく。
【００１６】
撮影部１１は画像を撮影する。撮影部１１は人物の頭上から足元に向かって撮影できる場所に配置される。撮影部１１は、例えば、天井に設置され、床面方向を撮影する。
【００１７】
画像記憶部２１は撮影部１１が撮影した画像を記憶する。
【００１８】
なお、コンテンツ決定装置１０は、人物の顔を撮影できる位置に第二の撮影部２２を設置する場合もある。
【００１９】
コンテンツ画像記憶部２０は、コンテンツ画像のライブラリである。図２はコンテンツ画像のライブラリ９２の構成である。ライブラリ９２はコンテンツ画像の表示サイズや文字の多さなどの特徴を示す情報を含む。なお、コンテンツ画像を投影画像という場合もある。
【００２０】
コンテンツ画像管理情報記憶部１９は、コンテンツ画像管理情報９５を記憶する。図３は、コンテンツ画像管理情報９５の構成例である。コンテンツ画像管理情報９５は、コンテンツ画像の種類を特定する画像の種類の情報、ライブラリ９２のコンテンツ画像を特定する情報、コンテンツ画像の配信の優先度を定めた画像配信優先度、コンテンツ画像のカテゴリを含む。画像配信優先度はコンテンツ画像を提示する日時情報やコンテンツ画像を提示する対象のグループの属性情報に関連するように設定されている。例えば画像の種類が「Ｉ１２３４」のコンテンツ画像が冬に売りたい商品であるとする。画像配信優先度は冬のときに大きく、他の季節のときに小さく設定しておく。図３の例では、このとき、「Ｉ１２３４」のコンテンツ画像の画像配信優先度は冬の場合に「１０」、他の季節の場合「０」と設定される。管理者は画像配信優先度を予め設定する。
【００２１】
動作状態取得部１３（算出手段）は画像内に写る人物の位置を検出し、検出した人物の移動速度を算出する。また、動作状態取得部１３は、取得した人物の動作状態を動作状態情報９３として属性情報保持部１８に格納する。
【００２２】
図４は動作状態情報９３の構成例である。動作状態情報９３は、視聴者ＩＤ、位置座標、速度ベクトル、加速度ベクトル、予測位置座標、顔の方向、視線方向を含む。視聴者ＩＤは、最新の画像内に写る人物を識別するための情報である。人物の視聴者ＩＤは、動作状態情報９３および、以降に説明する属性情報９９、注視履歴情報９７などの視聴者ＩＤにおいて共通する。位置座標は視聴者の画像内の位置を特定する情報である。速度ベクトルは視聴者の移動方向と、移動方向へ進む速さを含む情報である。加速度ベクトルは視聴者の加速方向と、加速方向への加速度の大きさを含む情報である。予測位置座標は、当該視聴者が将来の画像で位置すると予測される位置の情報である。顔の方向および視線方向は、当該視聴者の顔の方向および視線方向示す情報である。
【００２３】
属性情報取得部１４（関連付手段、取得手段）は、動作状態取得部１３で検出した人物を画像に写る外見で分類した属性情報９９を特定する。属性情報は、例えば、人物の外見の性別、服装、年齢（子供、大人）などから特定される。属性情報９９は人物毎に人物の属性を記憶する。
【００２４】
図５は属性情報９９の構成例である。属性情報９９の視聴者ＩＤは、画面に映る人物を識別する識別情報である。属性情報９９のグループ情報は視聴者ＩＤの人物が属するグループを識別する識別情報である。属性情報９９の個人属性は、人物の外見から分類された情報である。属性情報９９の性別は人物の外見から分類された性別あるいはＲＦＩＤから取得された性別を示す情報である。属性情報９９の年代は人物の外見から分類された年代あるいはＲＦＩＤから取得された年代を示す情報である。属性情報９９の服装は人物の外見から分類された服装を示す情報である。属性情報９９の動作状態は、人物の動作の状態を示す情報である。属性情報９９の日時は、属性情報を更新あるいは登録した日時の情報である。
【００２５】
属性情報保持部１８は、属性情報取得部１４で取得した属性情報９９を格納する。
【００２６】
属性情報取得部１４は、動作状態取得部１３で検出した人物の動作状態からグループを特定する。属性情報取得部１４は、特定したグループを構成する人物の属性情報の組み合わせからグループの属性を特定する。属性情報取得部１４は、特定したグループの属性としてグループ属性情報９８を属性情報保持部１８に格納する。
【００２７】
図６はグループ属性情報９８の構成例である。グループ属性情報９８はグループを識別するグループＩＤ、グループの属性を示すグループ属性、グループを特定した日時を含む。グループ属性情報９８はグループ毎にグループの属性を記憶する。
【００２８】
注視情報計測部１２は注視情報を算出する。注視情報は、コンテンツ画像を人物に表示した際に、当該人物がコンテンツ画像を注視したか否かを示す情報である。注視情報計測部１２は算出した注視情報の履歴を注視履歴情報９７として、注視履歴保持部１７に格納する。
【００２９】
図７は注視履歴情報９７の構成例である。注視履歴情報９７は、履歴ＩＤ、視聴者ＩＤ、グループＩＤ、グループ属性、個人属性、性別、年代、服装、動作状態、日付、カテゴリ、提示画像、画像情報、注視率などを含む。履歴ＩＤは、レコードを識別する情報である。視聴者ＩＤは、画像内の人物を特定する情報である。なお、コンテンツ提示装置の処理範囲外に出た人物が再度コンテンツ提示装置の処理範囲に入ってきた場合、本実施例では、新規の人物として扱う。しかし、例えばＲＦＩＤなどにより、人物を特定できる情報がある場合、コンテンツ提示装置は当該人物を同一人物として扱うことも可能である。グループＩＤは、グループを識別する情報である。
【００３０】
属性情報９９、グループ属性情報９８と同じ情報である。個人属性、性別、年代、服装、動作状態、日付は、属性情報９９、グループ属性情報９８と同じ情報である。カテゴリはニュース、行楽地情報、シューズ、音楽などコンテンツ画像のコンテンツ画像のカテゴリである。管理者はコンテンツ画像のカテゴリを予め登録する。提示画像はコンテンツ画像を識別する情報である。画像情報は提示したコンテンツ画像の特徴である。たとえば、コンテンツ画像のサイズ、再生時間、情報量などである。コンテンツ提示装置は、同じ商品を紹介する複数のコンテンツ提示装置を有することが可能である。この結果、コンテンツ提示装置は、グループの移動速度、グループの属性によって、表示するコンテンツ画像を切り替えることが可能になる。例えば、コンテンツ提示装置は、グループの移動速度が速い場合、同じ商品を紹介する場合に、文字よりも絵が多いコンテンツ画像を提示する。また、コンテンツ提示装置は、グループに子供が含まれる場合、同じ商品を紹介する場合に、文字よりも絵が多いコンテンツ画像を提示する。注視率は、コンテンツ画像が人物によって注視されている割合を、０から１までの実数で表した数値である。
【００３１】
注視履歴保持部１７は、注視情報と提示したコンテンツ画像の情報、日時情報、人物およびグループの属性情報、動作状態を含む注視履歴情報を記憶する。
【００３２】
コンテンツ画像選択部１５（決定手段）はグループに対して表示するコンテンツ画像を決定する。コンテンツ画像選択部１５は、注視履歴保持部１７の注視情報の履歴とコンテンツ画像管理情報記憶部１９の配信優先度とから、人物あるいはグループに対して出力するコンテンツ画像のカテゴリを決定する。
【００３３】
コンテンツ画像選択部１５は決定したカテゴリに属するコンテンツ画像の内、グループの動作状態に基づいて提示するコンテンツ画像の再生時間の長さ、提示する画像の寸法、情報量を満たすコンテンツ画像を特定する。コンテンツ画像選択部１５は、コンテンツ画像表示部１６（投影部）を介して、表示の対象となるグループに特定したコンテンツ画像を表示する。
【００３４】
［コンテンツ決定装置１０の全体の動作］
次に、コンテンツ決定装置１０の全体の動作について説明する。図８は、コンテンツ決定装置１０の全体の動作フローチャートである。
【００３５】
撮影部１１は、コンテンツ画像を表示可能な領域を含む画像を撮影する（Ｓ０１）。撮影部１１は所定時間毎に撮影対象を撮影する。撮影部１１は画像情報記憶部２１に画像を記憶する。撮影部１１は画像を動作状態取得部１３に送信する。
【００３６】
動作状態取得部１３は、Ｓ０１で撮影した画像内に人物を検出したか否かを判別する（Ｓ０２）。
【００３７】
Ｓ０２で撮影した画像の投影領域内に人物を検出しなかった場合（Ｓ０２：Ｎｏ）、動作状態取得部１３は、Ｓ１２の処理を終了するか否かの判定処理に移行する。一方、Ｓ０２で人物を検出した場合（Ｓ０２：Ｙｅｓ）、動作状態取得部１３は、Ｓ０２で検出した人物に対してすでにコンテンツ画像を提示中か否かを判別する（Ｓ０３）。既にコンテンツ画像を提示中の場合（Ｓ０３：Ｙｅｓ）、注視情報計測部１２は、各人物が提示しているコンテンツ画像を注視の状態を計測する（Ｓ０５）。注視情報の計測については後述する。
【００３８】
次に、属性情報取得部１４は、一つのグループを構成する人物が別れたか否かを判別する（Ｓ１３）。属性情報取得部１４は、複数の人物のそれぞれの速度ベクトルおよび複数の人物間の距離等に応じて、複数の人物を一つのグループに関連付ける。グループが複数のグループに別れた場合（Ｓ１３：Ｙｅｓ）、動作状態取得部１３は、別れたグループのそれぞれにコンテンツ画像を提示する（Ｓ１４）。一方、グループが別れていない場合（Ｓ１３：Ｎｏ）、動作状態取得部１３は、Ｓ１２の処理に移行する。
【００３９】
一方、コンテンツ画像を提示していない場合（Ｓ０３：Ｎｏ）、動作状態取得部１３は、Ｓ０４で算出した人物の移動速度が所定の移動速度以下か否かを判定する（Ｓ０６）。移動速度が所定の移動速度以下ではない場合（Ｓ０６：Ｎｏ）、コンテンツ画像を提示せずにＳ１２に移行する。対象の人物は急いでいると推測でき、該人物はコンテンツ画像を提示しても注視しない可能性が高いためである。
【００４０】
一方、移動速度が所定の移動速度以下の場合（Ｓ０６：Ｙｅｓ）、属性情報取得部１４は画像上の人物の位置、移動方向、および移動速度からグループの関連付けを行う（Ｓ０７）。グループの関連付け処理については後述する。
【００４１】
属性情報取得部１４は、各グループの属性情報を取得する（Ｓ０８）。属性情報取得部１４は、画像内の人物画像について画像処理してすることで個人の属性を特定する。その後、属性情報取得部１４は、特定した各人物の属性から該グループの属性を決定する。
【００４２】
コンテンツ画像選択部１５は、注視履歴情報の注視率とコンテンツ画像管理情報の管理者が予め設定した配信優先度とから、各コンテンツ画像を提示する優先度を決定する（Ｓ０９）。優先度の算出方法の詳細は後述する。コンテンツ画像選択部１５は、優先度に応じて提示するコンテンツ画像を決定する。コンテンツ画像選択部１５は、グループの属性情報と記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影するコンテンツ画像を決定する
コンテンツ画像選択部１５は、Ｓ０４で算出した人物の移動速度およびＳ０８で特定したグループの属性に応じて、提示するコンテンツ画像の再生時間の長さ、提示する画像サイズ、情報量を決定する（Ｓ１０）。コンテンツ提示装置は、一つのコンテンツに対して、再生時間の長さ、提示する画像サイズ、情報量の異なる複数のコンテンツ画像を記憶可能である。同一のコンテンツに対して複数のコンテンツ画像を有する場合、コンテンツ提示装置は、最適なコンテンツ画像を選択する。コンテンツ画像の決定方法については後述する。
【００４３】
コンテンツ画像表示部１６はＳ１０で決定したコンテンツ画像を提示する（Ｓ１１）。
【００４４】
コンテンツ決定装置１０は、コンテンツ画像の表示処理を終了するか否かを判別する（Ｓ１２）。コンテンツ画像の表示処理を終了する場合（Ｓ１２：Ｙｅｓ）、コンテンツ決定装置１０はコンテンツ画像の表示処理を終了する。一方、コンテンツ画像の表示処理を終了しない場合（Ｓ１２：Ｎｏ）、コンテンツ決定装置１０は、Ｓ０１からの処理を再度実行する。
［移動速度の算出方法］
次に、図８のＳ０２乃至Ｓ０４の撮影部１１が撮影した画像上の人物の検出処理、および検出した人物の位置、移動方向、移動速度の算出処理について説明する。人物の位置、移動速度の算出は、背景差分法や、物体の移動方向を示すオプティカルフローを用いる方法などがある。本実施例では背景差分法を用いた実施の例を示す。
【００４５】
背景差分法とは、検出対象が含まれていない背景画像を予め撮影しておき、背景画像と別途同一条件で撮影した入力画像との差分から、検出対象を検出する処理である。
【００４６】
図９乃至図１１は背景差分法による人の抽出処理を説明する図である。図９は撮影部１１が撮影した背景画像３００である。撮影部１１は、背景画像として例えば、予め静止画像を撮影する。背景画像３００の座標系はｆａ（ｘ，ｙ）とする。図１０は撮影部１１が撮影した入力画像３１０である。撮影部１１は、入力画像として例えば所定の時間間隔で静止画像を撮影する、あるいは動画像を撮影する。入力画像３１０の座標系はｆｂ（ｘ，ｙ）である。３１１、３１２、３１３は画像に写る人物である。図１１は、図１０と図９の差分から得られる差分画像３２０である。差分画像３２０の座標系はＦ（ｘ，ｙ）である。動作状態取得部１３は背景画像３００と入力画像３１０との特徴の差分から、例えば以下の数式１によって、差分画像３２０を特定する。
【００４７】
【数１】
【００４８】
動作状態取得部１３は、例えば、人間とは推定できないような小さな領域をノイズであると判定することにより、差分画像３２０についてノイズ除去処理を実行する。また、動作状態取得部１３は、例えば、過去に検出した人物の領域情報をメモリ５２に格納しておき、過去の人物の領域情報とノイズ除去後の差分画像３２０とを比較して、差分画像３２０に存在する領域が人物か人物以外の物体かを判別することも可能である。
【００４９】
なお、人物に提示するコンテンツ画像も差分画像に検出される。このため、差分画像はコンテンツ画像の存在する領域も含む。そこで、動作状態取得部１３は、例えば、以下の処理を実行することで、差分画像からコンテンツ画像の提示領域を除去する。動作状態取得部１３は、直前のコンテンツ画像表示時におけるコンテンツ画像表示領域内のコンテンツ画像提示領域の重心の座標を記憶しておく。動作状態取得部１３は、差分画像上に存在する領域を抽出する。動作状態取得部１３は、抽出した各領域の重心座標を特定する。動作状態取得部１３は、記憶していた直前のコンテンツ画像提示領域の重心座標に合致する領域の重心座標を特定する。動作状態取得部１３は、特定した重心座標をコンテンツ画像提示領域であると判定する。
【００５０】
動作状態取得部１３は、ノイズ除去後に差分画像上の独立した領域に、人物が存在すると推定する。動作状態取得部１３は、独立した領域の重心座標を人物の差分画像上での位置とする。さらに、動作状態取得部１３は、差分画像の座標系から、コンテンツ画像表示部１６が投影するコンテンツ画像の座標系に座標系を変換する。
【００５１】
動作状態取得部１３は、差分画像の座標系とコンテンツ画像表示部１６が投影するコンテンツ画像の座標系とがずれている場合に、座標系の変換を、例えば以下の手順によって実行する。
【００５２】
動作状態取得部１３は、差分画像の座標系とコンテンツ画像の座標系のずれ量を予め計測し、格納しておく。動作状態取得部１３は、事前に計測した座標のずれ量に基づき、差分画像３２０の各座標値をコンテンツ画像の座標値に変換することで差分画像の座標系からコンテンツ画像表示部１６が投影するコンテンツ画像の座標系に座標系を変換する。例えば、図１１の破線３２１はコンテンツ画像の座標系である。
【００５３】
動作状態取得部１３は、座標変換後の差分画像から人物の位置を取得する。また、動作状態取得部１３は、例えば、異なるフレーム毎に取得した各差分画像の人物の位置の差分によって、人物の速度ベクトルを算出する。速度ベクトルは、移動速度と移動方向を含む情報である。
【００５４】
動作状態取得部１３は、人物を特定する手段が無い場合、過去の画像から抽出した人物と最新の画像から抽出した人物との関連付けを行う。撮影部１１が動画像を撮像する場合、動作状態取得部１３は、動画のフレーム間で人物を関連付ける。動作状態取得部１３は、過去に取得した差分画像と現在取得した差分画像とを比較することで人の移動速度、加速度、移動方向を算出する。例えば、動作状態取得部１３は、過去の画像上の位置座標と現在の画像上の位置座標が最も近い人物が同一であると判定することができる。また、動作状態取得部１３は、過去の画像上の人物が現在の画像で存在すると予測される予測位置座標と現在の画像で存在する人物の位置座標とが最も近い人物を同一であると判定することができる。
【００５５】
また、各人物の顔の方向や視線の方向などを取得して、動作状態情報９３に記憶する。
【００５６】
人物の顔の向きを動画像から取得し、視線を推測することにより、注視情報を取得する。この場合、人物の顔を撮影できる位置に第二の撮影部２２を設置する。
【００５７】
図１２は、人物の顔および視線の方向を特定する処理のフローチャートである。
【００５８】
動作状態取得部１３は、画像を取得する（Ｓ７１）。なお、画像の取得のタイミングは、コンテンツ画像を提示中に連続して取得してもよいし、コンテンツ画像を表示する時間内の任意の時間で離散的に取得してもよい。
【００５９】
動作状態取得部１３は、Ｓ７１で取得した画像から人物の顔部分を検出する（Ｓ７２）。
【００６０】
動作状態取得部１３は、Ｓ７２で人物の顔を検出したか否かを判定する（Ｓ７３）。動作状態取得部１３は、例えば、Ｓ７１で取得した画像に対して画像処理を実行し、画像の濃淡図、エッジ情報、色情報を抽出することで画像内に顔を検出したか否かを判定する。
【００６１】
動作状態取得部１３は、画像内に顔を検出しなかった場合（Ｓ７３：Ｎｏ）、再度画像を取得するＳ７１の処理を実行する。一方、動作状態取得部１３は、画像内に顔を検出した場合（Ｓ７３：Ｙｅｓ）、画像内の人物の顔の方向を抽出する（Ｓ７４）。
【００６２】
動作状態取得部１３は画像内の人物の顔を特定する（Ｓ７５）。人物の顔は、中央に凸形状で鼻が位置する。そこで、画像内の顔部分の鼻の位置と、肌色領域の重心の情報を基に画像内の人物の顔の向きを推定する。動作状態取得部１３は画像内の人物の視線の方向を特定する（Ｓ７６）。動作状態取得部１３は特定した、人物の顔の方向および視線の方向を動作状態情報９３に記憶する（Ｓ７６）。
［グループの関連付け処理］
次に、Ｓ０７のグループの関連付け処理について説明する。本実施例のグループは、なんらかの関係を有する複数の人物の集合体を示す。属性情報取得部１４は差分画像から得られた各人物のグループを判別し、グループ情報を特定する。グループ情報は、グループに含まれる複数の人物の特定情報を含む。属性情報取得部１４は、あらかじめ設定した各人物がグループか否かを判断する基準（ルール）を満たすか否かによって、複数の人物間の関係の有無を判別する。
【００６３】
図１３は、グループの関連付けの処理のフローチャートである。属性情報取得部１４は、所定の時間範囲内の人物の動作状態からグループの判定処理を実行する。所定の時間範囲内は、任意の時刻ｔ１から時刻ｔ３までの時間である。属性情報取得部１４は、コンテンツ画像が終了する度、あるいは画像取得範囲内に人物が新たに入ってきた場合などにグループの判定処理を実行する。なお、本実施例において、ルールは複数の人物間の位置、速度、方向、顔の向きの関係から定義される。
【００６４】
属性情報取得部１４は、画像内の特定した任意の人物（第一の人物）を特定する（Ｓ８１）。
【００６５】
本実施例では、属性情報取得部１４は、画像内の全員についてグループの条件を満たすか否かの処理を実行する。よって、第一の人物として画像内の全員を選択する。なお、属性情報取得部１４による重複する判定処理を実行しないとすることは適宜選択可能である。
【００６６】
属性情報取得部１４は、画像内の特定した任意の人物（第二の人物）を特定する（Ｓ８２）。属性情報取得部１４は、第一の人物に対して画像内の全ての人物についてグループの条件を満たすか否かの判定を行う。よって、Ｓ８２で該当する第二の人物は複数存在する場合もある。
【００６７】
属性情報取得部１４は、第一の人物の比較対象となる第二の人物を検出する場合、画像内全体から第一の人物に関係するグループの候補を検索するのではなく、第一の人物の近傍に位置する人物を対象にするようにすることも可能である。第一の人物の近傍に位置する人物を対象にする場合、属性情報取得部１４は第一の人物を中心として所定の範囲内に位置する人物を検出する。第二の人物が第一の人物の所定の範囲内に存在するか否かは、動作状態情報９３に格納された両者の位置情報から距離を算出して、算出した距離が所定の距離内か否かによって判別する。
【００６８】
次に、属性情報取得部１４は、第一の人物のパラメータと第二の人物のパラメータとを比較する（Ｓ８３）。パラメータは、動作状態情報９３に格納されたデータである。属性情報取得部１４は、動作状態情報９３から第一の人物および第二の人物に該当するレコードの位置、速度、加速度、方向、顔の向き、視線の向き等のパラメータを読み出して比較する。
【００６９】
属性情報取得部１４は、特定した複数の人物間の関係の状態があらかじめ設定したルールを満たすか否かを判別する（Ｓ８４）。ルールを満たさない場合（Ｓ８４：Ｎｏ）、属性情報取得部１４は、次の人物について処理する。画像内の全員について判定処理が終了するまで、Ｓ８１からの処理を行う。
【００７０】
一方、ルールを満たす場合（Ｓ８４：Ｙｅｓ）、属性情報取得部１４は第一の人物と第二の人物とがグループであると判定することにより、第一の人物と第二の人物とを関連づけてグループに登録する（Ｓ８５）。具体的には、属性情報取得部１４は、特定したグループにグループを識別するためのグループＩＤを付与する。グループＩＤが付与されたグループを、グループを特定した日時とともに、グループ属性情報９８に登録する。
【００７１】
なお、三人以上の人物間の関係のルールをあらかじめ定義することも可能である。また、本実施例では、最終的に他の人物とも関連付けされない人物を一人の人物のみで構成されるグループとする。
【００７２】
以下、ルールについて説明する。まず、人物が移動中か否かを判別する。人物が移動中の場合、移動中の人物に対するグループ判定処理を行う。一方、人物が静止中の場合、静止中の人物に対するグループ判定処理を行う。
【００７３】
まず、移動中の人物に対するグループ判定処理について説明する。
【００７４】
図１４、図１６、図１８は、移動中の視聴者の状態を説明する図である。図１４は時刻ｔ１、図１６は時刻ｔ２、図１８は自国ｔ３の状態を示すものとする。時刻は、ｔ１からｔ２、ｔ２からｔ３の順に経過するものとする。視聴者Ａおよび視聴者Ｂの矢印はそれぞれの進行方向を示す。
【００７５】
属性情報取得部１４は、第一の人物（視聴者Ａとする）を特定する。属性情報取得部１４は、当該視聴者Ａから任意の定数Ｒ以下の距離にいる人物から、特定の第二の人物（視聴者Ｂとする）を特定する。属性情報取得部１４は、視聴者Ａと視聴者Ｂとが以下の関係を満たすときに視聴者Ａと視聴者Ｂとをグループとして関連付ける。
【００７６】
本実施例の関係は例えば、以下の３つである。
【００７７】
第一の条件は、視聴者Ａと視聴者Ｂとがほぼ同じ方向に移動していることである。図１４、図１６、図１８は、視聴者Ａと視聴者Ｂとがほぼ同じ方向に移動している。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルがなす角度θが、あらかじめ決めた角度φ以下である場合に、第一の条件を満たしていると判定する。図１５、図１７、図１９は、それぞれ、図１４、図１６、図１８の視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルのなす角度θ１、θ２、θ３を示す。
【００７８】
第二の条件は、視聴者Ａと視聴者Ｂとが近くにいることである。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａと視聴者Ｂの距離ｄがあらかじめ決めた距離Ｄ以下である場合に、第二の条件を満たしていると判定する。図１４、図１６、図１８は、それぞれ、視聴者Ａと視聴者Ｂの距離ｄ１、ｄ２、ｄ３があらかじめ決めた距離Ｄ以下である。
【００７９】
第三の条件は、視聴者Ａが視聴者Ｂの方を見ている、あるいは、視聴者Ｂが視聴者Ａの方を見ていることである。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であり、かつ、そのとき視聴者Ａの速度ベクトルとベクトルＶＡＢがなす角λが、あらかじめ決めた角度Λ以上である場合に、第三の条件を満たしていると判定する。なお、視聴者Ｂが視聴者Ａの方を見ている場合、上記の第三の条件は視聴者Ａと視聴者Ｂとが入れ替わる。
【００８０】
図１４、図１６、図１８は、時刻ｔ１、ｔ２、ｔ３のそれぞれの時刻における視聴者Ａ，Ｂの状態を示す図である。視聴者Ａ、Ｂは、時刻ｔ１、ｔ２、ｔ３のいずれの時刻においても、第一の条件と、第二の条件を満たす。また、時刻ｔ２、ｔ３において、第三の条件を満たす。この場合、視聴者Ａと視聴者Ｂをグループとして関連付ける。
【００８１】
設計者は、第一の条件、第二の条件、第三の条件の全てを時刻ｔ１から時刻ｔ３までの間で満たす場合のみにグループとして判定するように条件を定義することも可能である。本実施例では、時刻ｔ１から時刻ｔ３までの間で、常に第一の条件と第二の条件を満たし、第三の条件を満たす状態を検出すると、当該視聴者Ａ，Ｂをグループとして関連付ける。
【００８２】
図２０は、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡとは角τをなすことを示す。また、図２０は、視聴者Ｂの顔の方向ベクトルを中心として角度εの範囲を示す。図２０では、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡとのなす角τは、視聴者Ｂの顔の方向ベクトルを中心とする角度εの範囲内である。図２１は、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの速度ベクトルとが角λをなしており、当該角λは、あらかじめ決めた角度Λ以上である状態であることを示す。 図２０と図２１とから、視聴者Ａと視聴者Ｂとは第三の条件を満たす。
【００８３】
図２２はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す例である。図２３は、図２２の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。図２２では、視聴者Ａと視聴者Ｂとの距離ｄ４は、あらかじめ決めた距離Ｄより大きい。また、図２３で示すように、図２２の視聴者Ａと視聴者Ｂとは、ほぼ同じ方向に移動している。図２２の場合、属性情報取得部１４は、視聴者Ａと視聴者Ｂをグループとして関連付けない。
【００８４】
図２４はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す第二の例である。図２５は、図２４の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。図２４では、視聴者Ａと視聴者Ｂとの距離ｄ５は、あらかじめ決めた距離Ｄより小さい。しかし、図２５で示すように、図２４の視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルがなす角度θ５は、あらかじめ決めた角度φ以上である。よって、図２４の場合、属性情報取得部１４は、視聴者Ａと視聴者Ｂをグループとして関連付けない。
【００８５】
なお、３人以上の人物に関しても、あらかじめルールを定義することで、属性情報取得部１４は、１つのグループとして関連付けるか否かを判定することが可能である。なお、本実施例では、顔の方向も検出して、条件としてあげているが、人物の移動方向と位置のみでグループか否かを判断することも可能である。
【００８６】
図２６は、グループとして関連付ける場合の人物の動作状態の組合せの例である。図２６において、人Ａと人Ｂとが予め定めた一定の距離以内であり、かつ人Ａと人Ｂの移動方向がほぼ一致するとする。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付ける。
【００８７】
図２７はグループとして関連付けない場合の人物の動作状態の組合せの例である。図２７において、人Ａと人Ｂとは予め定めた一定の距離以内であるが、人Ａと人Ｂの移動方向および速度の大きさは一致しない。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付けない。
【００８８】
図２８はグループとして関連付けない場合の人物の動作状態の組合せの例である。図２８において、人Ａと人Ｂの移動方向は一致するが、人Ａと人Ｂとは予め定めた一定の距離以内にいない。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付けない。
【００８９】
図２９は、グループとして関連付ける場合の人物の動作状態の組合せの例である。図２９において、人Ａと人Ｂ、人Ｂと人Ｃ、人Ｃと人Ｄ間は、それぞれ予め定めた一定の距離以内であるとする。また、人Ａ、人Ｂ、人Ｃ、および人Ｄの移動方向および速度の大きさはほぼ一致するものとする。この場合、属性情報取得部１４は、人Ａ、人Ｂ、人Ｃ、および人Ｄをグループとして関連付ける。図２９のように、３人以上の人物が、グループの誰かと指定の一定の距離以内に常におり、かつ速度ベクトルの方向がほぼ一致している場合は全員を１つのグループとして関連付ける。
【００９０】
次に、Ｓ８４のルールを満たすか否かの判定処理における、静止中の人物に対するグループ判定処理について説明する。静止状態の人物については、複数の人物が会話状態であるのか、複数の人物が別方向から一箇所に集合する状態であるのかなどでグループか否かを判別することができる。
【００９１】
まず、複数の視聴者が会話状態の場合のグループの関連付け判別の処理を説明する。時刻ｔ１からｔ３までにおいて、属性情報取得部１４は、画像内の視聴者Ａを特定する。次に、属性情報取得部１４は、視聴者Ａから定数Ｒ以下の距離にいる視聴者Ｂを特定する。
【００９２】
属性情報取得部１４は、以下の条件を満たす場合に。視聴者Ａと視聴者Ｂとをグループとして関連付ける。第一の条件は、時刻ｔ１からｔ３までの任意のタイミングで、視聴者Ａと視聴者Ｂとがともに静止状態であることである。例えば、属性情報取得部１４は、視聴者Ａと視聴者Ｂとがともに速度０であること場合に、第一の条件を満たすと判定する。
【００９３】
第二の条件は、時刻ｔ１からｔ３までの任意のタイミングで、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であることである。なお、第二の条件は、視聴者Ａと視聴者Ｂとが入れ替わってもよい。
【００９４】
図３０は、複数の視聴者が会話状態の場合の例である。図３０において、視聴者Ａと視聴者Ｂとはともに静止状態であるとし、第一の条件を満たす。図３０において、視聴者Ａの顔および視聴者Ｂの顔は、それぞれ破線で示す方向を向いているものとする。視聴者Ａの顔の方向は、視聴者Ａと視聴者Ｂとを結ぶベクトルＶＡＢに対して角τａをなす。視聴者Ｂの顔の方向は、視聴者Ｂと視聴者Ａとを結ぶベクトルＶＢＡに対して角τｂをなす。角τａと角τｂはあらかじめ決めた角度ε以下である。よって、視聴者Ａと視聴者Ｂはともに互いの方向を見ていると判断でき、視聴者Ａと視聴者Ｂは第二の条件を満たす。
【００９５】
次に、複数の人物が別方向から一箇所に集合する場合のグループの関連付け判別の処理を説明する。図３１は複数の人物が別方向から一箇所に集合する場合の時刻ｔ１での例である。図３２は複数の人物が別方向から一箇所に集合する場合の時刻ｔ３での例である。
【００９６】
属性情報取得部１４は、時刻ｔ１からｔ３までにおいて、画像内の視聴者Ａを特定する。次に、属性情報取得部１４は、画像内の視聴者Ｂを特定する。
【００９７】
属性情報取得部１４は、以下の条件を満たす場合に、視聴者Ａと視聴者Ｂとをグループとして関連付ける。第一の条件は、時刻ｔ１において視聴者Ａと視聴者Ｂが別々の地点から一箇所に集まる方向に移動しており、時刻ｔ３では静止していることである。時刻ｔ３において視聴者Ａと視聴者Ｂがともに静止しているか否かは、例えば、属性情報取得部１４が時刻ｔ３において視聴者Ａと視聴者Ｂがともに速度０であることを特定することにより判別する。時刻ｔ１において視聴者Ａと視聴者Ｂが別々の地点から一箇所に集まる方向に移動しているか否かは例えば、以下の手順で検出する。
【００９８】
属性情報取得部１４は時刻ｔ３において視聴者Ａと視聴者Ｂが集まっている位置を特定する。属性情報取得部１４は、時刻ｔ１での視聴者Ａの位置と時刻ｔ３において視聴者Ａと視聴者Ｂが集まっている位置とを結ぶベクトルを特定する。属性情報取得部１４は、特定したベクトルの方向と時刻ｔ１での視聴者Ａの移動方向が合致するか否かを判定する。
【００９９】
また、属性情報取得部１４は、時刻ｔ１での視聴者Ｂの位置と時刻ｔ３において視聴者Ｂと視聴者Ａが集まっている位置とを結ぶベクトルを特定する。属性情報取得部１４は、特定したベクトルの方向と時刻ｔ１での視聴者Ｂの移動方向が合致するか否かを判定する。
【０１００】
第二の条件は、時刻ｔ３での静止した状態の視聴者Ａと視聴者Ｂの距離ｄがあらかじめ決めた距離Ｄ以下であることである。図３２において、Ｄは所定の距離、εは所定の角度、ｄは視聴者Ａと視聴者Ｂ間の距離、ＶＡＢは視聴者Ａから視聴者Ｂへの方向、ＶＢＡは視聴者Ｂから視聴者Ａへの方向、破線は視聴者Ａおよび視聴者Ｂの顔の方向、τａはＶＡＢの方向と視聴者Ａの顔の方向のなす角、τｂはＶＢＡの方向と視聴者Ｂの顔の方向のなす角である。視聴者Ａと視聴者Ｂの距離ｄはあらかじめ決めた距離Ｄ以下である。この場合、属性情報取得部１４は、第二の条件を満たすと判定する。任意のタイミングで、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であることである。なお、第二の条件は、視聴者Ａと視聴者Ｂとが入れ替わってもよい。
【０１０１】
第三の条件は、時刻ｔ３において視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τａがあらかじめ決めた角度ε以下であることである。
【０１０２】
図３２において、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τａがあらかじめ決めた角度ε以下である。この場合、属性情報取得部１４は、第三の条件を満たすと判定する。
【０１０３】
第四の条件は、時刻ｔ３において視聴者Ｂの顔の方向と視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡがなす角τｂがあらかじめ決めた角度ε以下であることである。
【０１０４】
図３２において、視聴者Ｂの顔の方向と視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡがなす角τｂがあらかじめ決めた角度ε以下である。この場合、属性情報取得部１４は、第四の条件を満たすと判定する。
【０１０５】
なお、３人以上の場合においてもあらかじめルールを定義しておき、三人以上の人物を１つのグループとして関連付けることも可能である。
【０１０６】
３人以上の場合のグループについて説明する。例えば、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合、視聴者Ａ，Ｂ，Ｃをグループとして扱う。
【０１０７】
図３３、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ１での状態を説明する図である。図３４は、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ３での状態を説明する図である。なお図３３の時点で、視聴者Ａと視聴者Ｂとはグループとして関連付けられているものとする。
【０１０８】
属性情報取得部１４は、視聴者Ａから任意の定数Ｒ以下の距離に近づいてくる視聴者Ｃが以下の条件を満たすとき視聴者Ｃを視聴者Ａと視聴者Ｂを含むグループに関連付ける。第一の条件は、時刻ｔ３において視聴者Ｃが静止していることである。
【０１０９】
第二の条件は、時刻ｔ３において静止した状態の視聴者Ｃとグループに属するいずれかの視聴者との距離ｄのうち最小の距離があらかじめ決めた距離Ｄ以下であることである。
【０１１０】
第三の条件は、時刻ｔ３において、視聴者Ｃの顔の方向と視聴者Ｃの位置からグループＸに属する何れかの視聴者の位置を結ぶベクトルがなす角τｃのうち最小の値が、あらかじめ決めた角度ε以下であることである。図３４において、視聴者Ｃの顔の方向と視聴者Ｃの位置からグループに属する視聴者Ｂの位置を結ぶベクトルνのなす角τは、あらかじめ決めた角度ε以下である。
【０１１１】
第四の条件は、時刻ｔ３において、視聴者Ｃの顔の向きが、グループに属する視聴者同士を結ぶ線分ｌと交差することである。図３４において、視聴者Ｃの顔の向きは、グループに属する視聴者Ａ、視聴者Ｂを結ぶ線分ｌと交差する。
【０１１２】
なお、本実施例では、コンテンツ決定装置１０は、グループか否かを判定する際、顔の方向を検出する。コンテンツ決定装置１０は、過去の視聴者の移動方向から顔の方向を推定する構成でもよい。また、コンテンツ決定装置１０は、顔の方向は条件とせず、人物の移動方向と位置のみでグループか否かを判断する構成でもよい。
【０１１３】
また、第一の人物と第二の人物の距離が、あらかじめ定めたグループと判別する距離の閾値に近い場合、当該閾値を超える距離あるいは超えない距離になることを繰り返す可能性がある。この場合、閾値を超えるあるいは超えないと検出する度に第一の人物と第二の人物とは、グループ／否グループとして判定される可能性がある。そうすると、表示するコンテンツ画面が、グループ／否グループとして判定される度に切り替わる可能性がある。そこで、属性情報取得部１４は一旦グループとして判定した場合、一定時間グループとしての条件を満足しない場合でもひとつのグループとして扱う。同様に、一旦、否グループとして判定した場合、一定時間グループとしての条件を満足する場合でも別のグループとして扱う。一定時間とは、たとえば、ひとつのコンテンツ画像の表示時間としてもよい。
【０１１４】
［属性情報の取得処理］
次に、Ｓ０８の属性情報９９の取得処理について説明する。画像内に新たな人物を検出した場合、属性情報取得部１４は属性情報９９に新たに検出した人物のレコードを登録する。属性情報取得部１４は、属性情報９９にレコードを登録するため、新たに検出した人物に視聴者ＩＤを付与する。属性情報取得部１４は、視聴者ＩＤが付与された人物の属性を取得し、属性情報９９に登録する処理を実行する。なお、動作状態の変更があると、属性情報取得部１４は属性情報９９の一部の情報を更新する。
【０１１５】
画像処理による属性情報９９の取得方法の一例を、以下に説明する。
【０１１６】
属性情報取得部１４は、例えば、視聴者の身長を取得する場合、斜め上方から撮影部１１が撮影する範囲を撮影できる第二の撮影部２２を設置する。第二の撮影部２２の設置位置は、撮影部１１が撮影する範囲の人物を横方向から撮影できる位置に設置してもよい。属性情報取得部１４は、撮影部１１が撮影した画像上の人物と第二の撮影部２２が撮影した画像上の人物とを幾何学演算により関連付けることが可能であるとする。例えば、属性情報取得部１４は当該第二の撮影部２２が撮影した画像上の人物の衣服の形状、色などの情報と、あらかじめ記憶した衣服の形状や色の情報から服装を推定する。服装は、「スーツ」、「カジュアル」、「派手」などであり、事前に管理者が衣服の形状や色の情報毎に分類して記憶しておく。また、属性情報取得部１４は服装や髪型、人物の身長などから人物の性別、年代を推定する。同様に服装、身長、性別などから、人物の個人属性を推定する。これらの推定は、管理者が外見の情報を分類した情報を予め定義しておき、属性情報取得部１４は、第二の撮影部２２が撮影した画像上の人物の外見が当該分類に合致するか否かを判定する。合致する場合、属性情報取得部１４は、人物は当該分類に属すると推定する。
【０１１７】
また、属性情報取得部１４は、視聴者の身長を取得する場合、斜め上方から撮影部１１が撮影する範囲を撮影できる第二の撮影部２２を設置してもよい。この場合、第二の撮影部２２の設置位置は、撮影部１１が撮影する範囲の人物を横方向から撮影できる位置に設置してもよい。第二の撮影部２２の設置位置と検出された視聴者の位置および第二の撮影部２２が撮影した画像内の人物の高さ方向の大きさから幾何計算により当該人物の身長を推定する。第二の撮影部２２が撮影した動画像上の人物の位置と撮影部１１が撮影した画像上の人物の位置との関係から、人物を特定する。属性情報取得部１４は、撮影部１１が撮影した画像上の人物と第二の撮影部２２が撮影した画像上の人物とを幾何学演算により関連付ける。
【０１１８】
なお、「個人属性」、「性別」、「年代」、「服装」などが登録されたＲＦＩＤを予め各人物に所持させ、図示しないＲＦＩＤ読み取り機によってＲＦＩＤに記憶された情報を読み取ることで、属性情報取得部１４が各人物の属性情報９９を取得することも可能である。
【０１１９】
属性情報取得部１４は、取得した属性情報９９のレコードを属性情報保持部１８に格納する。
【０１２０】
Ｓ０８において、属性情報取得部１４はグループ属性情報９８のグループ属性の取得処理も実行する。属性情報取得部１４は、Ｓ０７のグループの関連付け処理によって得られたグループを構成する各人物の属性情報９９から、予め決められた条件にしたがってグループの属性を特定する。条件は、グループを構成する各人物の属性情報や位置情報など組み合わせで構成される。例えば、管理者は、グループを構成する人物の年代が大人と子供である場合に「親子」、グループを構成する人物が女性と男性であり、常に所定の距離以下接近して移動している場合に「カップル」などの定義をしておく。
【０１２１】
属性情報取得部１４は、グループを構成する人物の属性情報９９を読み出す。属性情報取得部１４は、予め定義した条件によって、読み出した各人物の年代が大人と子供である場合に「親子」であると判断する。また、属性情報取得部１４は、グループを構成する人物が女性と男性であり、常に所定の距離以下接近して移動している場合に「カップル」であると判断する。なお、予め設定した組合せのパターン以外のグループ場合、属性情報取得部１４は、グループ属性に不明として登録する。
【０１２２】
属性情報取得部１４は、決定したグループ属性情報属性をグループＩＤに関連付けて属性情報保持部１８に格納する。
【０１２３】
［注視情報の計測］
次に、人物がコンテンツ画像を注視しているかを判定する処理について説明する。コンテンツ提示装置は、注視情報を取得する。注視情報は、視聴者が画像を注視していたかどうかについての情報である。注視情報を取得する方法は、コンテンツ画像の投影位置の操作によって取得する方法や人物の視線を取得する方法、人物の顔の方向を検出する方法を用いて取得する方法がある。
【０１２４】
まず、コンテンツ画像の投影位置の操作によって注視情報を取得する方法を説明する。
【０１２５】
コンテンツ画像の投影位置の操作によって注視情報を取得する場合、コンテンツ決定装置１０はコンテンツ画像の投影位置を本来の投影する位置から意図的にずらす。コンテンツ画像をずらした結果、人物の移動がコンテンツ画像に追従したか否かによって、コンテンツ決定装置１０はコンテンツ画像を注視したか否かを判定する。この結果コンテンツ決定装置１０は注視情報を取得する。なお、グループに対してコンテンツ画像を提示している場合、注視情報計測部１２は、グループを構成する人物の一人ずつに対して注視情報を計測する。
【０１２６】
人物の動きを撮影した画像として撮影部１１の画像を使用する。注視情報を取得するためのカメラを新たに設置する場合、使用するカメラは最低１台とする。カメラの設置位置は、プロジェクタの投影方向と同じ方向になるように設置する。カメラの撮影範囲は、全てのカメラの撮影範囲を合わせると画像を投影する領域を全て含むようにする。
【０１２７】
本方法で注視情報を取得する場合、人物の動きを撮影する第二の撮影部２２が必要である。
【０１２８】
以下、注視情報の取得の処理を説明する。図３５は注視情報の取得の処理のフローチャートである。注視情報計測部１２は、一定時間Ｔの周期で注視情報の取得の処理を実行する。
【０１２９】
視聴者にコンテンツ画像を投影開始した後、注視情報計測部１２は一定時間Ｔ待機する（Ｓ３１）。システム管理者は一定時間Ｔをあらかじめ設定する。一定時間Ｔが短いほどより正確に注視情報を取得することができる。
【０１３０】
一定時間Ｔの経過後、注視情報計測部１２は画像の投影位置を操作する。注視情報計測部１２は視聴者の進行方向からずらした位置にコンテンツ画像を投影する（Ｓ３２）。
【０１３１】
ここで、投影位置の操作について説明する。コンテンツ決定装置は、コンテンツ画像を投影する位置を視聴者の動作から予測して決定する。以降、コンテンツ決定装置がコンテンツ画像を投影する位置を予測投影位置とする。通常、予測投影位置は視聴者の進行方向にある。視聴者の進行方向は視聴者の速度ベクトルの方向である。注視情報計測部１２は予測投影位置から投影位置を変更する。
【０１３２】
注視情報計測部１２は、視聴者に対して左右の方向に投影位置を変更する場合、視聴者の位置と変更されたコンテンツ画像の投影位置を結ぶ線が当該視聴者の速度ベクトルと９０度以下の範囲になるように、投影位置を変更する。
【０１３３】
注視情報計測部１２は、視聴者に対して前後の方向に投影位置を変更する場合、変更された投影位置と視聴者の距離が離れすぎないあるいは近づき過ぎない範囲になるように、投影位置を変更する。例えば、コンテンツ画像を視聴者から離す方向に投影位置を変更する場合、注視情報計測部１２は予測投影位置と視聴者との距離の２倍以内に収める。あるいは、コンテンツ画像を視聴者に近づける方向に投影位置を変更する場合、注視情報計測部１２は予測投影位置と視聴者との距離の０．５倍以上に収める。
【０１３４】
コンテンツ決定装置１０は、コンテンツ画像の投影位置を左右に変更した場合、変更した時点の視聴者の位置から変更後のコンテンツ画像の投影位置の中心の位置への方向を視聴者の移動する方向として記憶する。以降の投影処理は、変更した視聴者の移動方向に基づき投影位置を決定する。また、コンテンツ決定装置１０は、コンテンツ画像の投影位置を前後に変更した場合、変更した時点の視聴者の位置から変更後のコンテンツ画像の投影位置の中心の位置までの距離を視聴者の移動する速さとして記憶する。以降の投影処理は、変更した視聴者の速さに基づき投影位置を決定する。
【０１３５】
一定時間Ｔより小さい適当な時間ｔが経過した後、注視情報計測部１２は注視の判定を行う。
【０１３６】
図３６乃至図４２は、コンテンツ画像の投影位置の変更と視聴者の追従の関係を説明する図である。図３６は、コンテンツ画像の投影位置を変更する前の状態である。
図３７は、視聴者の進行方向に対して左右方向に投影位置を変更した状態である。注視情報計測部１２は、図３６のコンテンツ画像の投影位置を図ＹＹ２の投影位置に変更する。図３８は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。なお、図３８は、コンテンツ画像と視聴者との距離を投影位置の変更前の距離よりも大きくする変更も行っている。図３８において、変更後の投影位置の移動方向と視聴者の移動方向とは同じである。
【０１３７】
また、図３８において距離ｄがあらかじめ決められた距離より小さい。これは、注視情報計測部１２がコンテンツ画像を意図的に遠くにしたにもかかわらず、視聴者が移動速さを大きくして、コンテンツ画像に追従していることを示す。この場合、視聴者の移動方向とコンテンツ画像の移動方向が同じであり、且つ、視聴者の移動速さとコンテンツ画像の移動速さとが同じであるため、注視情報計測部１２は視聴者が画像を注視していると判断する。
【０１３８】
一方、図３９は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態の他の例である。図３９では、変更後の投影位置の移動方向ｖ１と、視聴者の速度方向ｖ２が同じ方向を向いていない。この場合、注視情報計測部１２は視聴者が画像を注視していないと判断する。
【０１３９】
また、図４０乃至図４２は視聴者の進行方向に沿ってに投影位置を変更する場合の例である。図４０は図３６のコンテンツ画像の投影位置を視聴者から離れる位置に変更した状態である。
【０１４０】
図４１は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。図４１において、変更後の投影位置の移動方向と視聴者の速度方向が同じ方向は同じ方向を向いている。また、図４１において、視聴者とコンテンツ画像間の距離ｄがあらかじめ決められた距離Ｄより小さい。この場合、注視情報計測部１２は、視聴者が画像を注視していると判断する。
【０１４１】
図４２は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の他の状態である。図４２において、変更後の投影位置の移動方向ｖ１と視聴者の速度方向ｖ２とは同じ方向である。しかし、図４２において、視聴者とコンテンツ画像間の距離ｄはあらかじめ決められた距離Ｄより大きい。この場合、注視情報計測部１２は、視聴者が画像を注視していないと判断する。
【０１４２】
例えば、カメラは、コンテンツ画像の投影位置を変更した後、投影範囲内を対象とする画像を撮影する。注視情報計測部１２は、撮影した画像内の人物がコンテンツ画像を追従したか否かを判別する（Ｓ３３）。
【０１４３】
注視情報計測部１２は、コンテンツ画像の投影位置を視聴者の進行方向に対して左右に変更した場合、時間ｔ経過後において、投影位置の変更後のコンテンツ画像の移動方向と視聴者の移動方向がほぼ同じである場合に、追従したと判定する。注視情報計測部１２は、コンテンツ画像の移動方向ベクトルと視聴者の移動方向ベクトルのなす角が、所定一定の角度以下であるか否かで、方向が同じか否かを判別する。
【０１４４】
また、注視情報計測部１２は、コンテンツ画像の投影位置を視聴者の進行方向に対して前後に変更した場合、時間ｔ経過後において、投影位置と視聴者の位置との距離が、視聴者の速度に応じた所定の距離の範囲内にある場合に、追従したと判定する。
【０１４５】
撮影した画像内の人物がコンテンツ画像を追従した場合（Ｓ３３：Ｙｅｓ）、注視情報計測部１２は、人物がコンテンツ画像を注視していると判定する（Ｓ３４）。一方、撮影した画像内の人物がコンテンツ画像を追従していない場合（Ｓ３３：Ｎｏ）、注視情報計測部１２は、人物がコンテンツ画像を注視していないと判定する（Ｓ３５）。
【０１４６】
次に、注視情報計測部１２は、コンテンツ画像の提示が終了したか否かを判定する（Ｓ３６）。コンテンツ画像は例えば、１５秒、３０秒などのように、それぞれのコンテンツ画像毎に提示時間がある。注視情報計測部１２は、コンテンツ画像の提示が終了していない場合（Ｓ３６：Ｎｏ）、コンテンツ画像が終了するまで一定時間Ｔ間隔で注視しているか否かを判別する。
【０１４７】
注視情報計測部１２は、コンテンツ画像の提示が終了した場合（Ｓ３６：Ｙｅｓ）、注視情報を集計する（Ｓ３７）。注視情報計測部１２は、注視情報の集計結果として注視率を算出する。注視率は、コンテンツ画像が人物によって注視されている割合を、０から１までの実数で表した数値である。注視情報計測部１２は、例えば以下の数式によって注視率を算出する。注視情報計測部１２は、注視していた時間を計測する場合、数式２により算出する。
【０１４８】
【数２】
【０１４９】
数式２の注視率は、コンテンツ画像の再生時間の総和に対する人物がコンテンツ画像を注視していた時間の割合である。時間で計測する場合、連続して測定する必要があるが正確に測定可能である。また、注視情報計測部１２は、注視していた回数を計測する場合、数式３により算出する。
【０１５０】
【数３】
【０１５１】
数式３の注視率は、コンテンツ画像の再生時間中に計測を実施した回数の総和に対する人物がコンテンツ画像を注視していると判定された回数の割合である。回数で算出する場合、測定処理の負荷は低いが、注視したか否かの精度は低くなる。
【０１５２】
注視情報計測部１２は、注視率と視聴者の属性情報と関連付けて注視履歴保持部に記憶する（Ｓ３８）。
【０１５３】
次に、人物の顔検出を用いて注視情報を取得する方法を説明する。
【０１５４】
人物の顔の向きを動画像から取得し、視線を推測することにより、注視情報を取得する。例えば、人物の顔を撮影できる位置にカメラを設置する。
【０１５５】
図４３は、人物がコンテンツ画像を注視しているか否かを判定する処理のフローチャートである。
【０１５６】
注視情報計測部１２は、カメラから画像を取得する（Ｓ４１）。なお、画像の取得のタイミングは、コンテンツ画像を提示中に連続して取得してもよいし、コンテンツ画像を表示する時間内の任意の時間で離散的に取得してもよい。
【０１５７】
注視情報計測部１２は、Ｓ４１で取得した画像から人物の顔部分を検出する（Ｓ４２）。
【０１５８】
注視情報計測部１２は、Ｓ４２で人物の顔を検出したか否かを判定する（Ｓ４３）。注視情報計測部１２は、例えば、Ｓ４１で取得した画像に対して画像処理を実行し、画像の濃淡図、エッジ情報、色情報を抽出することで画像内に顔を検出したか否かを判定する。
【０１５９】
注視情報計測部１２は、画像内に顔を検出しなかった場合（Ｓ４３：Ｎｏ）、再度画像を取得するＳ４１の処理を実行する。一方、注視情報計測部１２は、画像内に顔を検出した場合（Ｓ４３：Ｙｅｓ）、画像内の人物の顔の方向を抽出する（Ｓ４４）。
【０１６０】
カメラは画像内の人物の顔を特定する。人物の顔は、中央に凸形状で鼻が位置する。そこで、画像内の顔部分の鼻の位置と、肌色領域の重心の情報を基に画像内の人物の顔の向きを推定する。推定した顔の方向と、人物の投影領域内の水平位置、人物の顔部分の高さ位置とから幾何学計算により、当該人物の注視している位置を特定する。
【０１６１】
さらに、視線の方向を検出できる場合は、視線の方向も幾何学計算にくわえてもよい。注視情報計測部１２は、例えば、顔の位置から目の位置と方向を検出し、視線方向を３次元的に検出することにより視線方向を抽出する。
【０１６２】
注視情報計測部１２は、注視情報を取得する（Ｓ４５）。具体的には、注視情報計測部１２は、人物がコンテンツ画像を注視しているか否かの情報を取得する。注視情報計測部１２は、例えば、人物の顔や視線の方向にコンテンツ画像が存在する場合、人物がコンテンツ画像を注視していると判定する。注視情報計測部１２は、注視情報を一時的に記憶する。
【０１６３】
以上のＳ４１からＳ４５の処理をコンテンツ画像の終了まで実行する。
注視情報計測部１２は、例えばひとつのコンテンツ画像の表示が終了した後、人物がどの程度終了したコンテンツ画像を見ていたかの注視率を算出する。注視情報計測部１２は、Ｓ３５で一時的に記憶した注視情報を読み出し、コンテンツ画像を注視した割合を算出する。
【０１６４】
なお、投影範囲内に複数のグループが存在し、それぞれのグループに対して別のコンテンツ画像が表示されている場合、（第一のグループ内の人物Ａ）が、第二のグループに向けて提示しているコンテンツ画像を注視する可能性がある。このような場合、第二のグループに向けて提示しているコンテンツ画像の注視率のレコードとして、人物Ａの注視率を記憶することも可能である。
【０１６５】
注視情報計測部１２は、注視履歴情報９７を注視履歴保持部１７に記憶する（Ｓ４６）。
【０１６６】
［提示するコンテンツ画像の決定］
次に、各グループ向けに提示するコンテンツ画像の決定処理について説明する。本実施例では、コンテンツ画像選択部１５はコンテンツ画像が切り替わる毎にコンテンツ画像の決定処理を実行するものとする。コンテンツ画像選択部１５はコンテンツ画像の提示の終了前に次のコンテンツ画像を決定してもよい。なお、本実施例では、コンテンツ画像選択部１５はコンテンツ画像の決定処理をグループ単位で実行する。
【０１６７】
図４４は、提示するコンテンツ画像を決定する処理のフローチャートである。
【０１６８】
まず、コンテンツ画像選択部１５は、コンテンツ画像を提示するグループを特定する。次に、コンテンツ画像選択部１５は、注視履歴情報９７から現在の日時に近い日時情報、現在の処理対象のグループの属性に合致するグループ属性情報のレコードを検索する（Ｓ２１）。なお、管理者は、検索項目の完全一致、部分一致などの条件をあらかじめ設定しておく。
【０１６９】
コンテンツ画像選択部１５は、Ｓ２１で検索されたそれぞれのコンテンツ画像について、カテゴリ毎のコンテンツ画像の注視率を算出する（Ｓ３２）。
【０１７０】
図４５は、コンテンツ画像のカテゴリ毎の注視率の算出処理のフローチャートである。本フローチャートでは、注視率を算出する処理の対象のカテゴリを「カテゴリＡ」とする。
【０１７１】
コンテンツ画像選択部１５は、Ｓ２１の検索結果に含まれるコンテンツ画像のうち、カテゴリＡに含まれるコンテンツ画像に関する履歴の数が所定数以上あるか否かを判別する（Ｓ５１）。
【０１７２】
所定数以上ある場合（Ｓ５１：Ｙｅｓ）、コンテンツ画像選択部１５は、検索結果からカテゴリＡに属するコンテンツ画像の注視率の平均値を求める。コンテンツ画像選択部１５は、求めた平均値を画像カテゴリＡの注視率とする（Ｓ５２）。
【０１７３】
例えば、コンテンツ画像選択部１５はカテゴリＡの注視率Ｇｃを下記の数式で算出する。
【０１７４】
【数４】
【０１７５】
上式において、Ｇｃは画像カテゴリの注視率である。ｇｉは各検索結果の各コンテンツ画像の履歴の注視率である。ｎは画像カテゴリＡに含まれるコンテンツ画像の総数である。
【０１７６】
一方、カテゴリＡに含まれるコンテンツ画像に関する履歴の数が所定数未満である場合（Ｓ５１：Ｎｏ）、コンテンツ画像選択部１５は、あらかじめ決めた値を注視率として用いる。あらかじめ決めた注視率は、カテゴリごとに管理者が設定しておいてもよいし、全てのカテゴリで一つの値を用いてもよい。
【０１７７】
また、コンテンツ画像選択部１５は、直前までコンテンツ画像の提示を行っていたか否かを判別する（Ｓ５４）。
【０１７８】
直前までコンテンツ画像の提示を行っていた場合（Ｓ５４：Ｙｅｓ）、コンテンツ画像選択部１５は、提示していたコンテンツ画像の注視情報から注視率を修正する（Ｓ５５）。直前に提示していたコンテンツ画像と同じカテゴリに含まれる他のコンテンツ画像を表示することが、視聴者に対して効果的な場合も考えられるためである。例えば、視聴者が直前に提示したカテゴリＡに属するコンテンツ画像を注視していた場合、コンテンツ画像選択部１５はカテゴリＡの注視率を１（最大値）にすることもできる。一方、視聴者が直前に提示したカテゴリＡに属するコンテンツ画像を注視していなかった場合、コンテンツ画像選択部１５はカテゴリＡの注視率を低くすることもできる。また、移動していた視聴者が立ち止まった場合、コンテンツ画像選択部１５は直前に提示していたコンテンツ画像に類似するカテゴリを選択することもできる。視聴者の移動速度が速くなった場合には、コンテンツ画像選択部１５はカテゴリの注視率を低くすることもできる。コンテンツ画像選択部１５はすべてのカテゴリについて注視率を算出する。
【０１７９】
次に、コンテンツ画像選択部１５は提示するコンテンツ画像のカテゴリを決定する（Ｓ２３）。例えば、コンテンツ画像選択部１５は、Ｓ２２で求めた注視率が最大であるカテゴリに、提示するコンテンツ画像のカテゴリを決定する。例えば、注視率が最も大きい画像カテゴリが複数ある場合、コンテンツ画像選択部１５は、配信者が決めた配信優先が高い画像カテゴリを選択する。また、コンテンツ画像選択部１５は、複数のカテゴリを含むコンテンツ画像を優先して選択することも可能である。
【０１８０】
次に、コンテンツ画像選択部１５は、Ｓ２３で選択されたカテゴリに属する各コンテンツ画像の注視率を決定する（Ｓ２４）。
【０１８１】
図４６はコンテンツ画像の注視率を算出する処理のフローチャートである。なお、本フローチャートにおいて、コンテンツ画像選択部１５はコンテンツ画像Ｂを対象に処理をするものとする。
【０１８２】
コンテンツ画像選択部１５は、カテゴリに属するコンテンツ画像Ｂの履歴が注視履歴情報９７に所定数以上存在するか否かを判別する（Ｓ６１）。コンテンツ画像選択部１５は、コンテンツ検索結果にコンテンツ画像Ｂに関する履歴の数が所定数以上ある場合（Ｓ６１：Ｙｅｓ）、履歴に含まれるコンテンツ画像Ｂの注視率の平均値をコンテンツ画像Ｂの注視率とする。コンテンツ画像選択部１５はコンテンツ画像Ｂの注視率を数式４で算出する。
【０１８３】
【数５】
【０１８４】
一方、コンテンツ画像選択部１５は、コンテンツ検索結果にコンテンツ画像Ｂに関する履歴の数が所定数未満である場合（Ｓ６１：Ｎｏ）、あらかじめ決めた値を注視率として用いる。あらかじめ決めた注視率は、コンテンツ画像ごとに管理者が設定しておいてもよいし、全てのカテゴリで一つの値を用いてもよい。
【０１８５】
次に、コンテンツ画像選択部１５は、Ｓ２４で求めたコンテンツ画像の注視率と配信優先度とから、コンテンツ画像の提示優先度を算出する（Ｓ２４）。配信優先度は、コンテンツ画像管理情報９５に記録されている。
【０１８６】
コンテンツ画像選択部１５は、コンテンツ画像の提示優先度を数式５で算出する。
【０１８７】
【数６】
【０１８８】
同様の方法で、コンテンツ画像選択部１５はＳ２３で選択されたカテゴリに属する他のコンテンツ画像について提示優先度を算出する。他のコンテンツ画像は、例えば、全注視履歴情報を遡って提示回数が少ないコンテンツ画像や、新規登録されたコンテンツ画像である。
【０１８９】
次に、コンテンツ画像選択部１５は提示するコンテンツ画像を決定する（Ｓ２６）。コンテンツ画像選択部１５はＳ２５で算出して提示優先度が最も大きいコンテンツ画像を提示するコンテンツ画像に決定する。コンテンツ画像選択部１５は、提示優先度が最も大きいコンテンツ画像が複数ある場合、配信者が決めた配信優先度が高いコンテンツ画像を選択してもよいし、注視率が高いコンテンツ画像を選択してもよい。
【０１９０】
以上により、コンテンツ提示装置は、各グループに対して、最適なコンテンツ画像を提供することができる。
【０１９１】
［動作状態に応じたコンテンツ画像の表示処理］
次に、グループの動作状態に応じたコンテンツ画像の選択処理を説明する。
【０１９２】
コンテンツ画像選択部１５は、動作状態情報９３からグループに属する各人物の動作状態を検出することで、グループの動作状態を特定する。動作状態は、例えば静止、歩行、早歩き、走行などであり、移動速度に応じて分類して定義しておく。例えば、コンテンツ画像選択部１５はグループを構成する人物の平均速度から、グループの移動速度を求める。
【０１９３】
コンテンツ画像選択部１５は、グループの動作状態に基づいて、コンテンツ画像の映像の再生時間長さ、提示する画像の寸法、情報量を制御する。
【０１９４】
提示する画像の寸法は、投影されるコンテンツ画像の表示サイズである。情報量とは、コンテンツ画像内の写真やイラストの数、文字の量、文字の大きさなどである。情報量の多い画像とは、コンテンツ画像内の写真やイラストの数、文字の量ともに多いものを指す。情報量が多い場合、グループにとって、情報を認識するまでに時間がかかることが予想される。そこで、グループの移動速度が比較的遅い場合に、情報量の多いコンテンツ画像を提供する。一方、比較的移動速度が速いグループには、情報量の少ないコンテンツ画像を提供することで、グループがコンテンツ画像を素早く認識できるようにする。また、グループの範囲が大きい場合、コンテンツ画像選択部１５は投影する大きい表示サイズのコンテンツ画像を選択することも可能である。
【０１９５】
コンテンツ画像は、図４７のように絵のみのコンテンツ画像でもよいし、図４８のように文字のみのコンテンツ画像でも、図４９、図５０のように絵と文字を組み合わせたコンテンツ画像でもよい。
【０１９６】
再生時間長さ、提示する画像の寸法、情報量の決定方法については、動作状態または移動速さ、速度からあらかじめ決めた条件に従って決定してもよいし、注視履歴保持部１７における注視率が最も高くなるように決定してもよい。あらかじめ決めた条件とは、例えば、静止している人であれば、長い時間注視してもらえる可能性が高いと考えられるので、再生時間が長く、情報量の多い画像を提示するなどである。
【０１９７】
次に、コンテンツ画像選択部１５は、グループに対して投影するコンテンツ画像の配置位置を決定する。図５１は、コンテンツ画像の配置位置の例である。４００、４０１、４０２、４０３、４０４は投影されたコンテンツ画像である。４１４は人物の速度ベクトルである。線４１４の長さは速度の大きさを示す。４１０は人物４１７と人物４１９とを結ぶ線である。４１１は線４１０の中点を通過し、且つ人物４１７、人物４１８、人物４１９の速度ベクトルの方向に平行な線である。４１２は人物４２２と人物４２３とを結ぶ線である。４１３は線４１２の中点を通過し、人物４２２および人物４２３の速度ベクトルの方向と平行な線である。４１５、４１６、４１７、４１８、４１９、４２０、４２１、４２２、４３３はコンテンツ画像の投影範囲内の人物である。
【０１９８】
コンテンツ画像選択部１５は、例えば、グループを構成する複数の人物の結ぶ線の中点を通過し、グループの速度ベクトルの方向に平行な線上にコンテンツ画像を配置する。コンテンツ画像選択部１５は、例えば、動作状態取得部１３で取得した複数の人物位置の座標を結ぶ線を特定する。このとき人物を上から見た重心位置を当該人物の中心の座標とする。次に、コンテンツ画像選択部１５は特定した線の中点を特定する。コンテンツ画像選択部１５は、動作状態取得部１３で取得した複数の人物の速度ベクトルからグループの速度ベクトルの方向を特定する。コンテンツ画像選択部１５は例えば、複数の速度ベクトルの方向の平均などにより特定する。
【０１９９】
コンテンツ画像選択部１５は、特定した中点を通り、且つ、グループの速度ベクトルに平行な線上にコンテンツ画像を配置する。人物４２２と人物４２３はグループであるとする。人物４２２と人物４２３とを結ぶ線４１２の中点を通り、且つ人物４２２と人物４２３のグループの速度ベクトルの方向に沿う線４１３上にコンテンツ画像４０３は配置される。なお、コンテンツ画像は線４１３上で線４１２よりも人物４２２および人物４２３の進行方向側に配置される。
【０２００】
コンテンツ画像選択部１５は、グループの移動速度に応じて、グループとコンテンツ画像との距離を決定する。コンテンツ画像選択部１５は所定速度よりも速い速度でグループが移動している場合、グループから遠い位置にコンテンツ画像を配置する。また、コンテンツ画像選択部１５は所定速度よりも遅い速度でグループが移動している場合、グループに近い位置にコンテンツ画像を配置する。人物４１５と人物４１６はそれぞれ一人のグループであるとする。人物４１５と人物４１６とは移動速度が異なる。この場合、コンテンツ画像選択部１５は、移動速度が遅い人物４１５に対しては、人物４１５に近い距離にコンテンツ画像４０１を配置する。また、コンテンツ画像選択部１５は、移動速度が速い人物４１６に対しては、人物４１６から離れた距離にコンテンツ画像４００を配置する。
【０２０１】
グループが３人以上の場合、コンテンツ画像選択部１５は、グループを構成する端の人物間を結ぶ線を特定し、特定した線分の中点を通過し、且つグループの速度ベクトルの方向に沿った線上にコンテンツ画像を配置する。人物４１７、人物４１８、人物４１９はグループを構成するものとする。この場合、グループの端は、人物４１７と人物４１９である。コンテンツ画像選択部４１５は、グループの端について、例えばグループの速度ベクトルに対して直角方向を求め、当該直角方向でもっとも離れている人物を特定することで、グループの端の人物を特定する。
【０２０２】
コンテンツ画像選択部４１５は、人物４１７と人物４１９とを結ぶ線４１０を特定する。コンテンツ画像選択部４１５は、線分４１０の中点を通過しグループの速度ベクトルに平行な線分４１１上にコンテンツ画像を配置する。
【０２０３】
コンテンツ画像選択部１５は、グループが停止している場合は、所定の距離を離した位置にコンテンツ画像を配置する。人物４２０と人物４２１はグループであるとする。この場合、コンテンツ画像選択部１５は、人物から所定の距離を離した位置にコンテンツ画像４０４を配置する。なお、コンテンツ画像選択部１５は、過去に移動してきた方向から人物の向きを推定する。また、コンテンツ画像選択部１５は、グループの向いている方向にコンテンツ画像を配置する。
【０２０４】
コンテンツ画像選択部４１５はコンテンツ画像の角度を速度ベクトルの方向に合うように変更する。
【０２０５】
コンテンツ画像選択部４１５は、コンテンツ画像の配置位置および配置角度を決定した後、投影画像を生成し、コンテンツ画像表示部１６に投影画像を送信する。コンテンツ画像表示部１６は取得した投影画像を投影する。
【０２０６】
また、提示するコンテンツ画像の制御の細かさについては、あらかじめ同じコンテンツについて再生時間長さ、寸法、情報量を変えた数種類のコンテンツ画像を用意し、コンテンツ画像記憶部２０に格納する。コンテンツ画像選択部１５は、その範囲で段階的に制御してもよい。また、コンテンツ画像の再生時間長さ、提示する画像の寸法を動的に編集して提示してもよい。
【０２０７】
以上により、コンテンツ決定装置１０は、親子連れ、カップル、会社員などのグループの属性およびグループの移動の状態に適したコンテンツ画像を各グループに対して提示することが可能になる。なお、コンテンツ決定装置１０は、人物の移動方向によってグループを特定し、グループ単位にコンテンツ画像を決定する処理と、グループを構成する人物の外見の組合せによってグループの属性を決定し、属性に応じてコンテンツ画像を決定する処理と、グループを構成する人物の注視度によってコンテンツ画像を決定する処理と、を個別に実行する、あるいは一部の処理を組み合わせて実行することが可能である。
【０２０８】
［コンテンツ決定装置１０のハードウェア構成］
次に、コンテンツ決定装置１０のハードウェア構成を説明する。
【０２０９】
図５２は、本実施例のコンテンツ決定装置１０のハードウェア構成の例である。コンテンツ決定装置１０はコンピュータであり、プロセッサ５１、メモリ５２、ストレージモジュール５３、入力モジュール５４、出力モジュール５５、撮影モジュール５６、投影モジュール５７などを含む。
【０２１０】
プロセッサ５１は例えばＣＰＵであり、コンテンツ決定装置１０が実行するプログラムの各種演算を行う。例えば、プロセッサ５１はメモリ５２に展開されたコンテンツ決定プログラムを実行することにより、注視情報計測部１２、動作状態取得部１３、属性情報取得部１４、コンテンツ画像選択部１５として機能する。
【０２１１】
メモリ５２は、コンテンツ決定装置１０が使用する各種データおよびコンテンツ決定装置１０が実行する各種プログラムを一時的に格納する。また、メモリ５２は画像メモリを含む。画像メモリは、投影モジュール５７に出力するための画像のデータを格納する記憶領域である。
【０２１２】
ストレージモジュール５３は、コンテンツ決定装置１０が使用する各種データおよびコンテンツ決定装置１０が実行するコンテンツ決定プログラムを格納する。ストレージモジュール５３は、画像情報記憶部２１、コンテンツ画像記憶部２０、コンテンツ画像管理情報記憶部１９、注視履歴保持部１７、属性情報保持部１８として機能する。ストレージモジュール５３は読み取り可能な記憶媒体から情報を読み出す、あるいは読み取り可能な記憶媒体に情報を書き込む機能を含む。読取り可能な記録媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ（非一時的）である。読取り可能な記録媒体は、例えば、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体を含む。なお、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体を遠隔地に配置し、それに格納されたプログラムを利用することとしても良い。
【０２１３】
投影モジュール５７は、プロセッサ５１からの指示により、コンテンツ画像を表示するコンテンツ画像表示部１６として機能する。投影モジュール５７は例えば、プロジェクタ、ディスプレイなどである。
【０２１４】
撮影モジュール５６は、プロセッサ５１からの指示により、画像を取得する撮影部１１、第二の撮影部２２として機能する。撮影モジュール５６は、例えば、カメラ、ビデオカメラなどである。なお、コンテンツ決定装置は撮影モジュール５６を複数有する場合もある。
【０２１５】
入力モジュール５４は、管理者がコンピュータに種々の情報を入力するための装置であり、例えば、キーボードやマウスなどである。出力モジュール５５は、コンピュータの種々の情報を出力するための装置であり、例えば、ディスプレイである。
【産業上の利用可能性】
【０２１６】
開示のコンテンツ決定装置１０は、複数人物にコンテンツを表示する分野に適用できる。
【符号の説明】
【０２１７】
１０ コンテンツ決定装置
５１ プロセッサ
５２ メモリ
５３ ストレージモジュール
５４ 入力モジュール
５５ 出力モジュール
５６ 撮影モジュール
５７ 投影モジュール
【技術分野】
【０００１】
本技術は複数の人物に対してコンテンツ画像を決定するコンテンツ決定装置に関する。
【背景技術】
【０００２】
従来、移動する人物を特定して、特定した人物の移動方向の延長上にコンテンツ画像を表示するシステムがある。また、人物の個人情報、複数人物間の関連情報を含むＲＦＩＤを予め各人物に所持させることで、複数人物からなるグループに対して広告を表示するシステムがある。
【０００３】
しかし、従来技術は個人毎の嗜好に応じたコンテンツ画像の提供であり、親子、カップルなどのような移動する複数人物の組み合わせによって生まれる特徴を考慮していない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１１３８１９号公報
【特許文献２】特開２００５−３００９６５号公報
【特許文献３】特開２００５−１６５４０６号公報
【非特許文献】
【０００５】
【非特許文献１】Ａ． Ｓｈｉｏ ａｎｄ Ｊ． Ｓｋｌａｎｓｋｙ： “Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｐｅｏｐｌｅ ｉｎ ｍｏｔｉｏｎ”， Ｐｒｏｃ． ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ， ｐｐ．３２５−３３２ （１９９１）
【非特許文献２】前泰志・白井良明・三浦純・久野義徳：“Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ｉｎ Ｃｌｕｔｔｅｒｅｄ Ｂａｃｋ ｇｒｏｕｎｄ Ｂａｓｅｄ ｏｎ Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ Ｅｄｇｅｓ“、ＪＲＳＪ Ｖｏｌ．１７， Ｎｏ．７， ｐｐ．４５−５１
【非特許文献３】郷原邦男， 馬場功淳， 江島俊朗：“人物追跡画像に基づく服装の実時間分類“， 情報処理学会研究報告． ＨＩ， ヒューマンインタフェース研究会報告 ２００１（８７） ｐｐ．１０１−１０８ ２００１０９１３
【非特許文献４】安藤寛哲、藤吉弘亘：“人検出結果に基づくカメラの自己キャリブレーションと３次元位置推定“、電気学会 一般産業研究会 ２００９
【非特許文献５】南竹俊介，高橋伸，田中二郎：“公共大画面への注視情報取得システム“， ｈｔｔｐ：／／ｗｗｗ．ｉｐｌａｂ．ｃｓ．ｔｓｕｋｕｂａ．ａｃ．ｊｐ／ｐａｐｅｒ／ｄｏｍｅｓｔｉｃ／ｍｉｎａｍｉｔａｋｅ＿ｄｉｃｏｍｏ２００８．ｐｄｆ
【非特許文献６】南竹俊介：“顔向き解析による大画面への注視情報の取得“， ｈｔｔｐ：／／ｗｗｗ．ｉｐｌａｂ．ｃｓ．ｔｓｕｋｕｂａ．ａｃ．ｊｐ／ｐａｐｅｒ／ｂａｃｈｅｌｏｒ／ｍｉｎａｍｉｔａｋｅ＿ｔｈｅｓｉｓ．ｐｄｆ
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の一つの側面は、複数人物に応じたコンテンツ画像を決定することを目的とする。
【課題を解決するための手段】
【０００７】
コンテンツ決定装置は、時系列に撮影された複数の撮影画像から人物画像を検出し、人物画像についての人物の速度ベクトルを算出する算出手段、複数の人物の算出した速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、関連付けられたグループ内の複数の人物画像を画像処理して、グループの属性情報を取得する取得手段、属性情報と記憶部に記憶された投影画像を特定する画像情報との対応関係に基づき、属性情報に対応する投影画像を決定する決定手段を有する。
【発明の効果】
【０００８】
本発明の一つの側面は、複数人物に応じたコンテンツを決定することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施例のコンテンツ決定装置１０の機能ブロック図である。
【図２】図２はコンテンツ画像のライブラリ９２の構成である。
【図３】図３は、コンテンツ画像管理情報９５の構成例である。
【図４】図４は動作状態情報９３の構成例である。
【図５】図５は属性情報９９の構成例である。
【図６】図６はグループ属性情報９８の構成例である。
【図７】図７は注視履歴情報９７の構成例である。
【図８】図８は、コンテンツ決定装置１０の全体の動作フローチャートである。
【図９】図９は撮影部１１が撮影した背景画像３００である。
【図１０】図１０は撮影部１１が撮影した入力画像３１０である。
【図１１】図１１は、図９と図１０の差分から得られる差分画像３２０である。
【図１２】図１２は、人物の顔および視線の方向を特定する処理のフローチャートである。
【図１３】図１３は、グループの関連付けの処理のフローチャートである。
【図１４】図１４は、グループ関連付けの時刻ｔ１の例である。
【図１５】図１５は、図１４での速度ベクトルのなす角を示す図である。
【図１６】図１６は、グループ関連付けの時刻ｔ２の例である。
【図１７】図１７は、図１６での速度ベクトルのなす角を示す図である。
【図１８】図１８は、グループ関連付けの時刻ｔ３の例である。
【図１９】図１９は、図１８での速度ベクトルのなす角を示す図である。
【図２０】図２０は、視聴者の視線方向の説明図である。
【図２１】図２１は、速度ベクトルと顔の向きの説明図である。
【図２２】図２２はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す例である。
【図２３】図２３は、図２２の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。
【図２４】図２４はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す第二の例である。
【図２５】図２５は、図２４の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。
【図２６】図２６は、グループとして関連付ける場合の人物の動作状態の組合せの例である。
【図２７】図２７はグループとして関連付けない場合の人物の動作状態の組合せの例である。
【図２８】図２８はグループとして関連付けない場合の人物の動作状態の組合せの例である。
【図２９】図２９は、グループとして関連付ける場合の人物の動作状態の組合せの例である。
【図３０】図３０は、複数の視聴者が会話状態の場合の例である。
【図３１】図３１は複数の人物が別方向から一箇所に集合する場合の時刻ｔ１での例である。
【図３２】図３２は複数の人物が別方向から一箇所に集合する場合の時刻ｔ３での例である。
【図３３】図３３、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ１での状態を説明する図である。
【図３４】図３４は、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ３での状態を説明する図である。
【図３５】図３５は注視情報の取得の処理のフローチャートである。
【図３６】図３６は、コンテンツ画像の投影位置を変更する前の状態である。
【図３７】図３７は、視聴者の進行方向に対して左右方向に投影位置を変更した状態である。
【図３８】図３８は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。
【図３９】図３９は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態の他の例である。
【図４０】図４０は図３６のコンテンツ画像の投影位置を視聴者から離れる位置に変更した状態である。
【図４１】図４１は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。
【図４２】図４２は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の他の状態である。
【図４３】図４３は、人物がコンテンツ画像を注視しているか否かを判定する処理のフローチャートである。
【図４４】図４４は、提示するコンテンツ画像を決定する処理のフローチャートである。
【図４５】図４５は、コンテンツ画像のカテゴリ毎の注視率の算出処理のフローチャートである。
【図４６】図４６はコンテンツ画像の注視率を算出する処理のフローチャートである。
【図４７】図４７は絵のみのコンテンツ画像の例である。
【図４８】図４８は文字のみのコンテンツ画像の例である。
【図４９】図４９は絵と文字を組み合わせたコンテンツ画像の例である。
【図５０】図５０は絵と文字を組み合わせたコンテンツ画像の第二の例である。
【図５１】図５１は、コンテンツ画像の投影例である。
【図５２】図５２は、本実施例のコンテンツ決定装置１０のハードウェア構成の例である。
【発明を実施するための形態】
【００１０】
本発明の実施の一形態について、図面を参照して説明する。
【００１１】
［コンテンツ決定装置１０］
図１は、本実施例のコンテンツ決定装置１０の機能ブロック図である。
【００１２】
本実施例のコンテンツ決定装置１０は、予め提示優先度が付与されている複数の広告などのコンテンツ画像を表示する。コンテンツ決定装置１０は、各個人または各個人の組み合わせによって構成されるグループの属性に応じて、コンテンツ画像の種類、再生時間の長さ、大きさ、情報量を決定する。この結果、コンテンツ決定装置は、複数の人物に対して適当なコンテンツ画像を提供することが可能になる。
【００１３】
以下、「人物」は、撮影部１１で撮影された画像に含まれる人間を示す。人物は、撮影範囲内で静止、あるいはそれぞれの速度で歩いたりするものとする。
【００１４】
以下、「画像」は、静止画像、動画像の総称であり、撮影部１１が取得する画像を示す。以下、「コンテンツ画像」は、人物に対して表示する広告などの静止画像あるいは動画像であり、コンテンツ画像表示部１６が出力する画像を示す。本実施例において、コンテンツ画像はグループの進行方向の床面に投影される。
【００１５】
以下のデータに含まれる情報は、文字列であってもよいし、数値であってもよい。数値を使用する場合、管理者は、分類した状態と数値とを関連付けるテーブルを定義しておく。
【００１６】
撮影部１１は画像を撮影する。撮影部１１は人物の頭上から足元に向かって撮影できる場所に配置される。撮影部１１は、例えば、天井に設置され、床面方向を撮影する。
【００１７】
画像記憶部２１は撮影部１１が撮影した画像を記憶する。
【００１８】
なお、コンテンツ決定装置１０は、人物の顔を撮影できる位置に第二の撮影部２２を設置する場合もある。
【００１９】
コンテンツ画像記憶部２０は、コンテンツ画像のライブラリである。図２はコンテンツ画像のライブラリ９２の構成である。ライブラリ９２はコンテンツ画像の表示サイズや文字の多さなどの特徴を示す情報を含む。なお、コンテンツ画像を投影画像という場合もある。
【００２０】
コンテンツ画像管理情報記憶部１９は、コンテンツ画像管理情報９５を記憶する。図３は、コンテンツ画像管理情報９５の構成例である。コンテンツ画像管理情報９５は、コンテンツ画像の種類を特定する画像の種類の情報、ライブラリ９２のコンテンツ画像を特定する情報、コンテンツ画像の配信の優先度を定めた画像配信優先度、コンテンツ画像のカテゴリを含む。画像配信優先度はコンテンツ画像を提示する日時情報やコンテンツ画像を提示する対象のグループの属性情報に関連するように設定されている。例えば画像の種類が「Ｉ１２３４」のコンテンツ画像が冬に売りたい商品であるとする。画像配信優先度は冬のときに大きく、他の季節のときに小さく設定しておく。図３の例では、このとき、「Ｉ１２３４」のコンテンツ画像の画像配信優先度は冬の場合に「１０」、他の季節の場合「０」と設定される。管理者は画像配信優先度を予め設定する。
【００２１】
動作状態取得部１３（算出手段）は画像内に写る人物の位置を検出し、検出した人物の移動速度を算出する。また、動作状態取得部１３は、取得した人物の動作状態を動作状態情報９３として属性情報保持部１８に格納する。
【００２２】
図４は動作状態情報９３の構成例である。動作状態情報９３は、視聴者ＩＤ、位置座標、速度ベクトル、加速度ベクトル、予測位置座標、顔の方向、視線方向を含む。視聴者ＩＤは、最新の画像内に写る人物を識別するための情報である。人物の視聴者ＩＤは、動作状態情報９３および、以降に説明する属性情報９９、注視履歴情報９７などの視聴者ＩＤにおいて共通する。位置座標は視聴者の画像内の位置を特定する情報である。速度ベクトルは視聴者の移動方向と、移動方向へ進む速さを含む情報である。加速度ベクトルは視聴者の加速方向と、加速方向への加速度の大きさを含む情報である。予測位置座標は、当該視聴者が将来の画像で位置すると予測される位置の情報である。顔の方向および視線方向は、当該視聴者の顔の方向および視線方向示す情報である。
【００２３】
属性情報取得部１４（関連付手段、取得手段）は、動作状態取得部１３で検出した人物を画像に写る外見で分類した属性情報９９を特定する。属性情報は、例えば、人物の外見の性別、服装、年齢（子供、大人）などから特定される。属性情報９９は人物毎に人物の属性を記憶する。
【００２４】
図５は属性情報９９の構成例である。属性情報９９の視聴者ＩＤは、画面に映る人物を識別する識別情報である。属性情報９９のグループ情報は視聴者ＩＤの人物が属するグループを識別する識別情報である。属性情報９９の個人属性は、人物の外見から分類された情報である。属性情報９９の性別は人物の外見から分類された性別あるいはＲＦＩＤから取得された性別を示す情報である。属性情報９９の年代は人物の外見から分類された年代あるいはＲＦＩＤから取得された年代を示す情報である。属性情報９９の服装は人物の外見から分類された服装を示す情報である。属性情報９９の動作状態は、人物の動作の状態を示す情報である。属性情報９９の日時は、属性情報を更新あるいは登録した日時の情報である。
【００２５】
属性情報保持部１８は、属性情報取得部１４で取得した属性情報９９を格納する。
【００２６】
属性情報取得部１４は、動作状態取得部１３で検出した人物の動作状態からグループを特定する。属性情報取得部１４は、特定したグループを構成する人物の属性情報の組み合わせからグループの属性を特定する。属性情報取得部１４は、特定したグループの属性としてグループ属性情報９８を属性情報保持部１８に格納する。
【００２７】
図６はグループ属性情報９８の構成例である。グループ属性情報９８はグループを識別するグループＩＤ、グループの属性を示すグループ属性、グループを特定した日時を含む。グループ属性情報９８はグループ毎にグループの属性を記憶する。
【００２８】
注視情報計測部１２は注視情報を算出する。注視情報は、コンテンツ画像を人物に表示した際に、当該人物がコンテンツ画像を注視したか否かを示す情報である。注視情報計測部１２は算出した注視情報の履歴を注視履歴情報９７として、注視履歴保持部１７に格納する。
【００２９】
図７は注視履歴情報９７の構成例である。注視履歴情報９７は、履歴ＩＤ、視聴者ＩＤ、グループＩＤ、グループ属性、個人属性、性別、年代、服装、動作状態、日付、カテゴリ、提示画像、画像情報、注視率などを含む。履歴ＩＤは、レコードを識別する情報である。視聴者ＩＤは、画像内の人物を特定する情報である。なお、コンテンツ提示装置の処理範囲外に出た人物が再度コンテンツ提示装置の処理範囲に入ってきた場合、本実施例では、新規の人物として扱う。しかし、例えばＲＦＩＤなどにより、人物を特定できる情報がある場合、コンテンツ提示装置は当該人物を同一人物として扱うことも可能である。グループＩＤは、グループを識別する情報である。
【００３０】
属性情報９９、グループ属性情報９８と同じ情報である。個人属性、性別、年代、服装、動作状態、日付は、属性情報９９、グループ属性情報９８と同じ情報である。カテゴリはニュース、行楽地情報、シューズ、音楽などコンテンツ画像のコンテンツ画像のカテゴリである。管理者はコンテンツ画像のカテゴリを予め登録する。提示画像はコンテンツ画像を識別する情報である。画像情報は提示したコンテンツ画像の特徴である。たとえば、コンテンツ画像のサイズ、再生時間、情報量などである。コンテンツ提示装置は、同じ商品を紹介する複数のコンテンツ提示装置を有することが可能である。この結果、コンテンツ提示装置は、グループの移動速度、グループの属性によって、表示するコンテンツ画像を切り替えることが可能になる。例えば、コンテンツ提示装置は、グループの移動速度が速い場合、同じ商品を紹介する場合に、文字よりも絵が多いコンテンツ画像を提示する。また、コンテンツ提示装置は、グループに子供が含まれる場合、同じ商品を紹介する場合に、文字よりも絵が多いコンテンツ画像を提示する。注視率は、コンテンツ画像が人物によって注視されている割合を、０から１までの実数で表した数値である。
【００３１】
注視履歴保持部１７は、注視情報と提示したコンテンツ画像の情報、日時情報、人物およびグループの属性情報、動作状態を含む注視履歴情報を記憶する。
【００３２】
コンテンツ画像選択部１５（決定手段）はグループに対して表示するコンテンツ画像を決定する。コンテンツ画像選択部１５は、注視履歴保持部１７の注視情報の履歴とコンテンツ画像管理情報記憶部１９の配信優先度とから、人物あるいはグループに対して出力するコンテンツ画像のカテゴリを決定する。
【００３３】
コンテンツ画像選択部１５は決定したカテゴリに属するコンテンツ画像の内、グループの動作状態に基づいて提示するコンテンツ画像の再生時間の長さ、提示する画像の寸法、情報量を満たすコンテンツ画像を特定する。コンテンツ画像選択部１５は、コンテンツ画像表示部１６（投影部）を介して、表示の対象となるグループに特定したコンテンツ画像を表示する。
【００３４】
［コンテンツ決定装置１０の全体の動作］
次に、コンテンツ決定装置１０の全体の動作について説明する。図８は、コンテンツ決定装置１０の全体の動作フローチャートである。
【００３５】
撮影部１１は、コンテンツ画像を表示可能な領域を含む画像を撮影する（Ｓ０１）。撮影部１１は所定時間毎に撮影対象を撮影する。撮影部１１は画像情報記憶部２１に画像を記憶する。撮影部１１は画像を動作状態取得部１３に送信する。
【００３６】
動作状態取得部１３は、Ｓ０１で撮影した画像内に人物を検出したか否かを判別する（Ｓ０２）。
【００３７】
Ｓ０２で撮影した画像の投影領域内に人物を検出しなかった場合（Ｓ０２：Ｎｏ）、動作状態取得部１３は、Ｓ１２の処理を終了するか否かの判定処理に移行する。一方、Ｓ０２で人物を検出した場合（Ｓ０２：Ｙｅｓ）、動作状態取得部１３は、Ｓ０２で検出した人物に対してすでにコンテンツ画像を提示中か否かを判別する（Ｓ０３）。既にコンテンツ画像を提示中の場合（Ｓ０３：Ｙｅｓ）、注視情報計測部１２は、各人物が提示しているコンテンツ画像を注視の状態を計測する（Ｓ０５）。注視情報の計測については後述する。
【００３８】
次に、属性情報取得部１４は、一つのグループを構成する人物が別れたか否かを判別する（Ｓ１３）。属性情報取得部１４は、複数の人物のそれぞれの速度ベクトルおよび複数の人物間の距離等に応じて、複数の人物を一つのグループに関連付ける。グループが複数のグループに別れた場合（Ｓ１３：Ｙｅｓ）、動作状態取得部１３は、別れたグループのそれぞれにコンテンツ画像を提示する（Ｓ１４）。一方、グループが別れていない場合（Ｓ１３：Ｎｏ）、動作状態取得部１３は、Ｓ１２の処理に移行する。
【００３９】
一方、コンテンツ画像を提示していない場合（Ｓ０３：Ｎｏ）、動作状態取得部１３は、Ｓ０４で算出した人物の移動速度が所定の移動速度以下か否かを判定する（Ｓ０６）。移動速度が所定の移動速度以下ではない場合（Ｓ０６：Ｎｏ）、コンテンツ画像を提示せずにＳ１２に移行する。対象の人物は急いでいると推測でき、該人物はコンテンツ画像を提示しても注視しない可能性が高いためである。
【００４０】
一方、移動速度が所定の移動速度以下の場合（Ｓ０６：Ｙｅｓ）、属性情報取得部１４は画像上の人物の位置、移動方向、および移動速度からグループの関連付けを行う（Ｓ０７）。グループの関連付け処理については後述する。
【００４１】
属性情報取得部１４は、各グループの属性情報を取得する（Ｓ０８）。属性情報取得部１４は、画像内の人物画像について画像処理してすることで個人の属性を特定する。その後、属性情報取得部１４は、特定した各人物の属性から該グループの属性を決定する。
【００４２】
コンテンツ画像選択部１５は、注視履歴情報の注視率とコンテンツ画像管理情報の管理者が予め設定した配信優先度とから、各コンテンツ画像を提示する優先度を決定する（Ｓ０９）。優先度の算出方法の詳細は後述する。コンテンツ画像選択部１５は、優先度に応じて提示するコンテンツ画像を決定する。コンテンツ画像選択部１５は、グループの属性情報と記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影するコンテンツ画像を決定する
コンテンツ画像選択部１５は、Ｓ０４で算出した人物の移動速度およびＳ０８で特定したグループの属性に応じて、提示するコンテンツ画像の再生時間の長さ、提示する画像サイズ、情報量を決定する（Ｓ１０）。コンテンツ提示装置は、一つのコンテンツに対して、再生時間の長さ、提示する画像サイズ、情報量の異なる複数のコンテンツ画像を記憶可能である。同一のコンテンツに対して複数のコンテンツ画像を有する場合、コンテンツ提示装置は、最適なコンテンツ画像を選択する。コンテンツ画像の決定方法については後述する。
【００４３】
コンテンツ画像表示部１６はＳ１０で決定したコンテンツ画像を提示する（Ｓ１１）。
【００４４】
コンテンツ決定装置１０は、コンテンツ画像の表示処理を終了するか否かを判別する（Ｓ１２）。コンテンツ画像の表示処理を終了する場合（Ｓ１２：Ｙｅｓ）、コンテンツ決定装置１０はコンテンツ画像の表示処理を終了する。一方、コンテンツ画像の表示処理を終了しない場合（Ｓ１２：Ｎｏ）、コンテンツ決定装置１０は、Ｓ０１からの処理を再度実行する。
［移動速度の算出方法］
次に、図８のＳ０２乃至Ｓ０４の撮影部１１が撮影した画像上の人物の検出処理、および検出した人物の位置、移動方向、移動速度の算出処理について説明する。人物の位置、移動速度の算出は、背景差分法や、物体の移動方向を示すオプティカルフローを用いる方法などがある。本実施例では背景差分法を用いた実施の例を示す。
【００４５】
背景差分法とは、検出対象が含まれていない背景画像を予め撮影しておき、背景画像と別途同一条件で撮影した入力画像との差分から、検出対象を検出する処理である。
【００４６】
図９乃至図１１は背景差分法による人の抽出処理を説明する図である。図９は撮影部１１が撮影した背景画像３００である。撮影部１１は、背景画像として例えば、予め静止画像を撮影する。背景画像３００の座標系はｆａ（ｘ，ｙ）とする。図１０は撮影部１１が撮影した入力画像３１０である。撮影部１１は、入力画像として例えば所定の時間間隔で静止画像を撮影する、あるいは動画像を撮影する。入力画像３１０の座標系はｆｂ（ｘ，ｙ）である。３１１、３１２、３１３は画像に写る人物である。図１１は、図１０と図９の差分から得られる差分画像３２０である。差分画像３２０の座標系はＦ（ｘ，ｙ）である。動作状態取得部１３は背景画像３００と入力画像３１０との特徴の差分から、例えば以下の数式１によって、差分画像３２０を特定する。
【００４７】
【数１】
【００４８】
動作状態取得部１３は、例えば、人間とは推定できないような小さな領域をノイズであると判定することにより、差分画像３２０についてノイズ除去処理を実行する。また、動作状態取得部１３は、例えば、過去に検出した人物の領域情報をメモリ５２に格納しておき、過去の人物の領域情報とノイズ除去後の差分画像３２０とを比較して、差分画像３２０に存在する領域が人物か人物以外の物体かを判別することも可能である。
【００４９】
なお、人物に提示するコンテンツ画像も差分画像に検出される。このため、差分画像はコンテンツ画像の存在する領域も含む。そこで、動作状態取得部１３は、例えば、以下の処理を実行することで、差分画像からコンテンツ画像の提示領域を除去する。動作状態取得部１３は、直前のコンテンツ画像表示時におけるコンテンツ画像表示領域内のコンテンツ画像提示領域の重心の座標を記憶しておく。動作状態取得部１３は、差分画像上に存在する領域を抽出する。動作状態取得部１３は、抽出した各領域の重心座標を特定する。動作状態取得部１３は、記憶していた直前のコンテンツ画像提示領域の重心座標に合致する領域の重心座標を特定する。動作状態取得部１３は、特定した重心座標をコンテンツ画像提示領域であると判定する。
【００５０】
動作状態取得部１３は、ノイズ除去後に差分画像上の独立した領域に、人物が存在すると推定する。動作状態取得部１３は、独立した領域の重心座標を人物の差分画像上での位置とする。さらに、動作状態取得部１３は、差分画像の座標系から、コンテンツ画像表示部１６が投影するコンテンツ画像の座標系に座標系を変換する。
【００５１】
動作状態取得部１３は、差分画像の座標系とコンテンツ画像表示部１６が投影するコンテンツ画像の座標系とがずれている場合に、座標系の変換を、例えば以下の手順によって実行する。
【００５２】
動作状態取得部１３は、差分画像の座標系とコンテンツ画像の座標系のずれ量を予め計測し、格納しておく。動作状態取得部１３は、事前に計測した座標のずれ量に基づき、差分画像３２０の各座標値をコンテンツ画像の座標値に変換することで差分画像の座標系からコンテンツ画像表示部１６が投影するコンテンツ画像の座標系に座標系を変換する。例えば、図１１の破線３２１はコンテンツ画像の座標系である。
【００５３】
動作状態取得部１３は、座標変換後の差分画像から人物の位置を取得する。また、動作状態取得部１３は、例えば、異なるフレーム毎に取得した各差分画像の人物の位置の差分によって、人物の速度ベクトルを算出する。速度ベクトルは、移動速度と移動方向を含む情報である。
【００５４】
動作状態取得部１３は、人物を特定する手段が無い場合、過去の画像から抽出した人物と最新の画像から抽出した人物との関連付けを行う。撮影部１１が動画像を撮像する場合、動作状態取得部１３は、動画のフレーム間で人物を関連付ける。動作状態取得部１３は、過去に取得した差分画像と現在取得した差分画像とを比較することで人の移動速度、加速度、移動方向を算出する。例えば、動作状態取得部１３は、過去の画像上の位置座標と現在の画像上の位置座標が最も近い人物が同一であると判定することができる。また、動作状態取得部１３は、過去の画像上の人物が現在の画像で存在すると予測される予測位置座標と現在の画像で存在する人物の位置座標とが最も近い人物を同一であると判定することができる。
【００５５】
また、各人物の顔の方向や視線の方向などを取得して、動作状態情報９３に記憶する。
【００５６】
人物の顔の向きを動画像から取得し、視線を推測することにより、注視情報を取得する。この場合、人物の顔を撮影できる位置に第二の撮影部２２を設置する。
【００５７】
図１２は、人物の顔および視線の方向を特定する処理のフローチャートである。
【００５８】
動作状態取得部１３は、画像を取得する（Ｓ７１）。なお、画像の取得のタイミングは、コンテンツ画像を提示中に連続して取得してもよいし、コンテンツ画像を表示する時間内の任意の時間で離散的に取得してもよい。
【００５９】
動作状態取得部１３は、Ｓ７１で取得した画像から人物の顔部分を検出する（Ｓ７２）。
【００６０】
動作状態取得部１３は、Ｓ７２で人物の顔を検出したか否かを判定する（Ｓ７３）。動作状態取得部１３は、例えば、Ｓ７１で取得した画像に対して画像処理を実行し、画像の濃淡図、エッジ情報、色情報を抽出することで画像内に顔を検出したか否かを判定する。
【００６１】
動作状態取得部１３は、画像内に顔を検出しなかった場合（Ｓ７３：Ｎｏ）、再度画像を取得するＳ７１の処理を実行する。一方、動作状態取得部１３は、画像内に顔を検出した場合（Ｓ７３：Ｙｅｓ）、画像内の人物の顔の方向を抽出する（Ｓ７４）。
【００６２】
動作状態取得部１３は画像内の人物の顔を特定する（Ｓ７５）。人物の顔は、中央に凸形状で鼻が位置する。そこで、画像内の顔部分の鼻の位置と、肌色領域の重心の情報を基に画像内の人物の顔の向きを推定する。動作状態取得部１３は画像内の人物の視線の方向を特定する（Ｓ７６）。動作状態取得部１３は特定した、人物の顔の方向および視線の方向を動作状態情報９３に記憶する（Ｓ７６）。
［グループの関連付け処理］
次に、Ｓ０７のグループの関連付け処理について説明する。本実施例のグループは、なんらかの関係を有する複数の人物の集合体を示す。属性情報取得部１４は差分画像から得られた各人物のグループを判別し、グループ情報を特定する。グループ情報は、グループに含まれる複数の人物の特定情報を含む。属性情報取得部１４は、あらかじめ設定した各人物がグループか否かを判断する基準（ルール）を満たすか否かによって、複数の人物間の関係の有無を判別する。
【００６３】
図１３は、グループの関連付けの処理のフローチャートである。属性情報取得部１４は、所定の時間範囲内の人物の動作状態からグループの判定処理を実行する。所定の時間範囲内は、任意の時刻ｔ１から時刻ｔ３までの時間である。属性情報取得部１４は、コンテンツ画像が終了する度、あるいは画像取得範囲内に人物が新たに入ってきた場合などにグループの判定処理を実行する。なお、本実施例において、ルールは複数の人物間の位置、速度、方向、顔の向きの関係から定義される。
【００６４】
属性情報取得部１４は、画像内の特定した任意の人物（第一の人物）を特定する（Ｓ８１）。
【００６５】
本実施例では、属性情報取得部１４は、画像内の全員についてグループの条件を満たすか否かの処理を実行する。よって、第一の人物として画像内の全員を選択する。なお、属性情報取得部１４による重複する判定処理を実行しないとすることは適宜選択可能である。
【００６６】
属性情報取得部１４は、画像内の特定した任意の人物（第二の人物）を特定する（Ｓ８２）。属性情報取得部１４は、第一の人物に対して画像内の全ての人物についてグループの条件を満たすか否かの判定を行う。よって、Ｓ８２で該当する第二の人物は複数存在する場合もある。
【００６７】
属性情報取得部１４は、第一の人物の比較対象となる第二の人物を検出する場合、画像内全体から第一の人物に関係するグループの候補を検索するのではなく、第一の人物の近傍に位置する人物を対象にするようにすることも可能である。第一の人物の近傍に位置する人物を対象にする場合、属性情報取得部１４は第一の人物を中心として所定の範囲内に位置する人物を検出する。第二の人物が第一の人物の所定の範囲内に存在するか否かは、動作状態情報９３に格納された両者の位置情報から距離を算出して、算出した距離が所定の距離内か否かによって判別する。
【００６８】
次に、属性情報取得部１４は、第一の人物のパラメータと第二の人物のパラメータとを比較する（Ｓ８３）。パラメータは、動作状態情報９３に格納されたデータである。属性情報取得部１４は、動作状態情報９３から第一の人物および第二の人物に該当するレコードの位置、速度、加速度、方向、顔の向き、視線の向き等のパラメータを読み出して比較する。
【００６９】
属性情報取得部１４は、特定した複数の人物間の関係の状態があらかじめ設定したルールを満たすか否かを判別する（Ｓ８４）。ルールを満たさない場合（Ｓ８４：Ｎｏ）、属性情報取得部１４は、次の人物について処理する。画像内の全員について判定処理が終了するまで、Ｓ８１からの処理を行う。
【００７０】
一方、ルールを満たす場合（Ｓ８４：Ｙｅｓ）、属性情報取得部１４は第一の人物と第二の人物とがグループであると判定することにより、第一の人物と第二の人物とを関連づけてグループに登録する（Ｓ８５）。具体的には、属性情報取得部１４は、特定したグループにグループを識別するためのグループＩＤを付与する。グループＩＤが付与されたグループを、グループを特定した日時とともに、グループ属性情報９８に登録する。
【００７１】
なお、三人以上の人物間の関係のルールをあらかじめ定義することも可能である。また、本実施例では、最終的に他の人物とも関連付けされない人物を一人の人物のみで構成されるグループとする。
【００７２】
以下、ルールについて説明する。まず、人物が移動中か否かを判別する。人物が移動中の場合、移動中の人物に対するグループ判定処理を行う。一方、人物が静止中の場合、静止中の人物に対するグループ判定処理を行う。
【００７３】
まず、移動中の人物に対するグループ判定処理について説明する。
【００７４】
図１４、図１６、図１８は、移動中の視聴者の状態を説明する図である。図１４は時刻ｔ１、図１６は時刻ｔ２、図１８は自国ｔ３の状態を示すものとする。時刻は、ｔ１からｔ２、ｔ２からｔ３の順に経過するものとする。視聴者Ａおよび視聴者Ｂの矢印はそれぞれの進行方向を示す。
【００７５】
属性情報取得部１４は、第一の人物（視聴者Ａとする）を特定する。属性情報取得部１４は、当該視聴者Ａから任意の定数Ｒ以下の距離にいる人物から、特定の第二の人物（視聴者Ｂとする）を特定する。属性情報取得部１４は、視聴者Ａと視聴者Ｂとが以下の関係を満たすときに視聴者Ａと視聴者Ｂとをグループとして関連付ける。
【００７６】
本実施例の関係は例えば、以下の３つである。
【００７７】
第一の条件は、視聴者Ａと視聴者Ｂとがほぼ同じ方向に移動していることである。図１４、図１６、図１８は、視聴者Ａと視聴者Ｂとがほぼ同じ方向に移動している。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルがなす角度θが、あらかじめ決めた角度φ以下である場合に、第一の条件を満たしていると判定する。図１５、図１７、図１９は、それぞれ、図１４、図１６、図１８の視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルのなす角度θ１、θ２、θ３を示す。
【００７８】
第二の条件は、視聴者Ａと視聴者Ｂとが近くにいることである。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａと視聴者Ｂの距離ｄがあらかじめ決めた距離Ｄ以下である場合に、第二の条件を満たしていると判定する。図１４、図１６、図１８は、それぞれ、視聴者Ａと視聴者Ｂの距離ｄ１、ｄ２、ｄ３があらかじめ決めた距離Ｄ以下である。
【００７９】
第三の条件は、視聴者Ａが視聴者Ｂの方を見ている、あるいは、視聴者Ｂが視聴者Ａの方を見ていることである。属性情報取得部１４は、時刻ｔ１から時刻ｔ３までの間、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であり、かつ、そのとき視聴者Ａの速度ベクトルとベクトルＶＡＢがなす角λが、あらかじめ決めた角度Λ以上である場合に、第三の条件を満たしていると判定する。なお、視聴者Ｂが視聴者Ａの方を見ている場合、上記の第三の条件は視聴者Ａと視聴者Ｂとが入れ替わる。
【００８０】
図１４、図１６、図１８は、時刻ｔ１、ｔ２、ｔ３のそれぞれの時刻における視聴者Ａ，Ｂの状態を示す図である。視聴者Ａ、Ｂは、時刻ｔ１、ｔ２、ｔ３のいずれの時刻においても、第一の条件と、第二の条件を満たす。また、時刻ｔ２、ｔ３において、第三の条件を満たす。この場合、視聴者Ａと視聴者Ｂをグループとして関連付ける。
【００８１】
設計者は、第一の条件、第二の条件、第三の条件の全てを時刻ｔ１から時刻ｔ３までの間で満たす場合のみにグループとして判定するように条件を定義することも可能である。本実施例では、時刻ｔ１から時刻ｔ３までの間で、常に第一の条件と第二の条件を満たし、第三の条件を満たす状態を検出すると、当該視聴者Ａ，Ｂをグループとして関連付ける。
【００８２】
図２０は、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡとは角τをなすことを示す。また、図２０は、視聴者Ｂの顔の方向ベクトルを中心として角度εの範囲を示す。図２０では、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡとのなす角τは、視聴者Ｂの顔の方向ベクトルを中心とする角度εの範囲内である。図２１は、視聴者Ｂの顔の方向ベクトルと視聴者Ｂの速度ベクトルとが角λをなしており、当該角λは、あらかじめ決めた角度Λ以上である状態であることを示す。 図２０と図２１とから、視聴者Ａと視聴者Ｂとは第三の条件を満たす。
【００８３】
図２２はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す例である。図２３は、図２２の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。図２２では、視聴者Ａと視聴者Ｂとの距離ｄ４は、あらかじめ決めた距離Ｄより大きい。また、図２３で示すように、図２２の視聴者Ａと視聴者Ｂとは、ほぼ同じ方向に移動している。図２２の場合、属性情報取得部１４は、視聴者Ａと視聴者Ｂをグループとして関連付けない。
【００８４】
図２４はルールを満たさない視聴者Ａと視聴者Ｂの関係での位置を示す第二の例である。図２５は、図２４の例での視聴者Ａと視聴者Ｂの速度ベクトルを示す図である。図２４では、視聴者Ａと視聴者Ｂとの距離ｄ５は、あらかじめ決めた距離Ｄより小さい。しかし、図２５で示すように、図２４の視聴者Ａの速度ベクトルと視聴者Ｂの速度ベクトルがなす角度θ５は、あらかじめ決めた角度φ以上である。よって、図２４の場合、属性情報取得部１４は、視聴者Ａと視聴者Ｂをグループとして関連付けない。
【００８５】
なお、３人以上の人物に関しても、あらかじめルールを定義することで、属性情報取得部１４は、１つのグループとして関連付けるか否かを判定することが可能である。なお、本実施例では、顔の方向も検出して、条件としてあげているが、人物の移動方向と位置のみでグループか否かを判断することも可能である。
【００８６】
図２６は、グループとして関連付ける場合の人物の動作状態の組合せの例である。図２６において、人Ａと人Ｂとが予め定めた一定の距離以内であり、かつ人Ａと人Ｂの移動方向がほぼ一致するとする。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付ける。
【００８７】
図２７はグループとして関連付けない場合の人物の動作状態の組合せの例である。図２７において、人Ａと人Ｂとは予め定めた一定の距離以内であるが、人Ａと人Ｂの移動方向および速度の大きさは一致しない。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付けない。
【００８８】
図２８はグループとして関連付けない場合の人物の動作状態の組合せの例である。図２８において、人Ａと人Ｂの移動方向は一致するが、人Ａと人Ｂとは予め定めた一定の距離以内にいない。この場合、属性情報取得部１４は、人Ａと人Ｂとをグループとして関連付けない。
【００８９】
図２９は、グループとして関連付ける場合の人物の動作状態の組合せの例である。図２９において、人Ａと人Ｂ、人Ｂと人Ｃ、人Ｃと人Ｄ間は、それぞれ予め定めた一定の距離以内であるとする。また、人Ａ、人Ｂ、人Ｃ、および人Ｄの移動方向および速度の大きさはほぼ一致するものとする。この場合、属性情報取得部１４は、人Ａ、人Ｂ、人Ｃ、および人Ｄをグループとして関連付ける。図２９のように、３人以上の人物が、グループの誰かと指定の一定の距離以内に常におり、かつ速度ベクトルの方向がほぼ一致している場合は全員を１つのグループとして関連付ける。
【００９０】
次に、Ｓ８４のルールを満たすか否かの判定処理における、静止中の人物に対するグループ判定処理について説明する。静止状態の人物については、複数の人物が会話状態であるのか、複数の人物が別方向から一箇所に集合する状態であるのかなどでグループか否かを判別することができる。
【００９１】
まず、複数の視聴者が会話状態の場合のグループの関連付け判別の処理を説明する。時刻ｔ１からｔ３までにおいて、属性情報取得部１４は、画像内の視聴者Ａを特定する。次に、属性情報取得部１４は、視聴者Ａから定数Ｒ以下の距離にいる視聴者Ｂを特定する。
【００９２】
属性情報取得部１４は、以下の条件を満たす場合に。視聴者Ａと視聴者Ｂとをグループとして関連付ける。第一の条件は、時刻ｔ１からｔ３までの任意のタイミングで、視聴者Ａと視聴者Ｂとがともに静止状態であることである。例えば、属性情報取得部１４は、視聴者Ａと視聴者Ｂとがともに速度０であること場合に、第一の条件を満たすと判定する。
【００９３】
第二の条件は、時刻ｔ１からｔ３までの任意のタイミングで、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であることである。なお、第二の条件は、視聴者Ａと視聴者Ｂとが入れ替わってもよい。
【００９４】
図３０は、複数の視聴者が会話状態の場合の例である。図３０において、視聴者Ａと視聴者Ｂとはともに静止状態であるとし、第一の条件を満たす。図３０において、視聴者Ａの顔および視聴者Ｂの顔は、それぞれ破線で示す方向を向いているものとする。視聴者Ａの顔の方向は、視聴者Ａと視聴者Ｂとを結ぶベクトルＶＡＢに対して角τａをなす。視聴者Ｂの顔の方向は、視聴者Ｂと視聴者Ａとを結ぶベクトルＶＢＡに対して角τｂをなす。角τａと角τｂはあらかじめ決めた角度ε以下である。よって、視聴者Ａと視聴者Ｂはともに互いの方向を見ていると判断でき、視聴者Ａと視聴者Ｂは第二の条件を満たす。
【００９５】
次に、複数の人物が別方向から一箇所に集合する場合のグループの関連付け判別の処理を説明する。図３１は複数の人物が別方向から一箇所に集合する場合の時刻ｔ１での例である。図３２は複数の人物が別方向から一箇所に集合する場合の時刻ｔ３での例である。
【００９６】
属性情報取得部１４は、時刻ｔ１からｔ３までにおいて、画像内の視聴者Ａを特定する。次に、属性情報取得部１４は、画像内の視聴者Ｂを特定する。
【００９７】
属性情報取得部１４は、以下の条件を満たす場合に、視聴者Ａと視聴者Ｂとをグループとして関連付ける。第一の条件は、時刻ｔ１において視聴者Ａと視聴者Ｂが別々の地点から一箇所に集まる方向に移動しており、時刻ｔ３では静止していることである。時刻ｔ３において視聴者Ａと視聴者Ｂがともに静止しているか否かは、例えば、属性情報取得部１４が時刻ｔ３において視聴者Ａと視聴者Ｂがともに速度０であることを特定することにより判別する。時刻ｔ１において視聴者Ａと視聴者Ｂが別々の地点から一箇所に集まる方向に移動しているか否かは例えば、以下の手順で検出する。
【００９８】
属性情報取得部１４は時刻ｔ３において視聴者Ａと視聴者Ｂが集まっている位置を特定する。属性情報取得部１４は、時刻ｔ１での視聴者Ａの位置と時刻ｔ３において視聴者Ａと視聴者Ｂが集まっている位置とを結ぶベクトルを特定する。属性情報取得部１４は、特定したベクトルの方向と時刻ｔ１での視聴者Ａの移動方向が合致するか否かを判定する。
【００９９】
また、属性情報取得部１４は、時刻ｔ１での視聴者Ｂの位置と時刻ｔ３において視聴者Ｂと視聴者Ａが集まっている位置とを結ぶベクトルを特定する。属性情報取得部１４は、特定したベクトルの方向と時刻ｔ１での視聴者Ｂの移動方向が合致するか否かを判定する。
【０１００】
第二の条件は、時刻ｔ３での静止した状態の視聴者Ａと視聴者Ｂの距離ｄがあらかじめ決めた距離Ｄ以下であることである。図３２において、Ｄは所定の距離、εは所定の角度、ｄは視聴者Ａと視聴者Ｂ間の距離、ＶＡＢは視聴者Ａから視聴者Ｂへの方向、ＶＢＡは視聴者Ｂから視聴者Ａへの方向、破線は視聴者Ａおよび視聴者Ｂの顔の方向、τａはＶＡＢの方向と視聴者Ａの顔の方向のなす角、τｂはＶＢＡの方向と視聴者Ｂの顔の方向のなす角である。視聴者Ａと視聴者Ｂの距離ｄはあらかじめ決めた距離Ｄ以下である。この場合、属性情報取得部１４は、第二の条件を満たすと判定する。任意のタイミングで、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τがあらかじめ決めた角度ε以下であることである。なお、第二の条件は、視聴者Ａと視聴者Ｂとが入れ替わってもよい。
【０１０１】
第三の条件は、時刻ｔ３において視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τａがあらかじめ決めた角度ε以下であることである。
【０１０２】
図３２において、視聴者Ａの顔の方向と視聴者Ａの位置から視聴者Ｂの位置を結ぶベクトルＶＡＢがなす角τａがあらかじめ決めた角度ε以下である。この場合、属性情報取得部１４は、第三の条件を満たすと判定する。
【０１０３】
第四の条件は、時刻ｔ３において視聴者Ｂの顔の方向と視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡがなす角τｂがあらかじめ決めた角度ε以下であることである。
【０１０４】
図３２において、視聴者Ｂの顔の方向と視聴者Ｂの位置から視聴者Ａの位置を結ぶベクトルＶＢＡがなす角τｂがあらかじめ決めた角度ε以下である。この場合、属性情報取得部１４は、第四の条件を満たすと判定する。
【０１０５】
なお、３人以上の場合においてもあらかじめルールを定義しておき、三人以上の人物を１つのグループとして関連付けることも可能である。
【０１０６】
３人以上の場合のグループについて説明する。例えば、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合、視聴者Ａ，Ｂ，Ｃをグループとして扱う。
【０１０７】
図３３、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ１での状態を説明する図である。図３４は、二人の視聴者Ａ、Ｂの会話に、視聴者Ｃが参加する場合の時刻ｔ３での状態を説明する図である。なお図３３の時点で、視聴者Ａと視聴者Ｂとはグループとして関連付けられているものとする。
【０１０８】
属性情報取得部１４は、視聴者Ａから任意の定数Ｒ以下の距離に近づいてくる視聴者Ｃが以下の条件を満たすとき視聴者Ｃを視聴者Ａと視聴者Ｂを含むグループに関連付ける。第一の条件は、時刻ｔ３において視聴者Ｃが静止していることである。
【０１０９】
第二の条件は、時刻ｔ３において静止した状態の視聴者Ｃとグループに属するいずれかの視聴者との距離ｄのうち最小の距離があらかじめ決めた距離Ｄ以下であることである。
【０１１０】
第三の条件は、時刻ｔ３において、視聴者Ｃの顔の方向と視聴者Ｃの位置からグループＸに属する何れかの視聴者の位置を結ぶベクトルがなす角τｃのうち最小の値が、あらかじめ決めた角度ε以下であることである。図３４において、視聴者Ｃの顔の方向と視聴者Ｃの位置からグループに属する視聴者Ｂの位置を結ぶベクトルνのなす角τは、あらかじめ決めた角度ε以下である。
【０１１１】
第四の条件は、時刻ｔ３において、視聴者Ｃの顔の向きが、グループに属する視聴者同士を結ぶ線分ｌと交差することである。図３４において、視聴者Ｃの顔の向きは、グループに属する視聴者Ａ、視聴者Ｂを結ぶ線分ｌと交差する。
【０１１２】
なお、本実施例では、コンテンツ決定装置１０は、グループか否かを判定する際、顔の方向を検出する。コンテンツ決定装置１０は、過去の視聴者の移動方向から顔の方向を推定する構成でもよい。また、コンテンツ決定装置１０は、顔の方向は条件とせず、人物の移動方向と位置のみでグループか否かを判断する構成でもよい。
【０１１３】
また、第一の人物と第二の人物の距離が、あらかじめ定めたグループと判別する距離の閾値に近い場合、当該閾値を超える距離あるいは超えない距離になることを繰り返す可能性がある。この場合、閾値を超えるあるいは超えないと検出する度に第一の人物と第二の人物とは、グループ／否グループとして判定される可能性がある。そうすると、表示するコンテンツ画面が、グループ／否グループとして判定される度に切り替わる可能性がある。そこで、属性情報取得部１４は一旦グループとして判定した場合、一定時間グループとしての条件を満足しない場合でもひとつのグループとして扱う。同様に、一旦、否グループとして判定した場合、一定時間グループとしての条件を満足する場合でも別のグループとして扱う。一定時間とは、たとえば、ひとつのコンテンツ画像の表示時間としてもよい。
【０１１４】
［属性情報の取得処理］
次に、Ｓ０８の属性情報９９の取得処理について説明する。画像内に新たな人物を検出した場合、属性情報取得部１４は属性情報９９に新たに検出した人物のレコードを登録する。属性情報取得部１４は、属性情報９９にレコードを登録するため、新たに検出した人物に視聴者ＩＤを付与する。属性情報取得部１４は、視聴者ＩＤが付与された人物の属性を取得し、属性情報９９に登録する処理を実行する。なお、動作状態の変更があると、属性情報取得部１４は属性情報９９の一部の情報を更新する。
【０１１５】
画像処理による属性情報９９の取得方法の一例を、以下に説明する。
【０１１６】
属性情報取得部１４は、例えば、視聴者の身長を取得する場合、斜め上方から撮影部１１が撮影する範囲を撮影できる第二の撮影部２２を設置する。第二の撮影部２２の設置位置は、撮影部１１が撮影する範囲の人物を横方向から撮影できる位置に設置してもよい。属性情報取得部１４は、撮影部１１が撮影した画像上の人物と第二の撮影部２２が撮影した画像上の人物とを幾何学演算により関連付けることが可能であるとする。例えば、属性情報取得部１４は当該第二の撮影部２２が撮影した画像上の人物の衣服の形状、色などの情報と、あらかじめ記憶した衣服の形状や色の情報から服装を推定する。服装は、「スーツ」、「カジュアル」、「派手」などであり、事前に管理者が衣服の形状や色の情報毎に分類して記憶しておく。また、属性情報取得部１４は服装や髪型、人物の身長などから人物の性別、年代を推定する。同様に服装、身長、性別などから、人物の個人属性を推定する。これらの推定は、管理者が外見の情報を分類した情報を予め定義しておき、属性情報取得部１４は、第二の撮影部２２が撮影した画像上の人物の外見が当該分類に合致するか否かを判定する。合致する場合、属性情報取得部１４は、人物は当該分類に属すると推定する。
【０１１７】
また、属性情報取得部１４は、視聴者の身長を取得する場合、斜め上方から撮影部１１が撮影する範囲を撮影できる第二の撮影部２２を設置してもよい。この場合、第二の撮影部２２の設置位置は、撮影部１１が撮影する範囲の人物を横方向から撮影できる位置に設置してもよい。第二の撮影部２２の設置位置と検出された視聴者の位置および第二の撮影部２２が撮影した画像内の人物の高さ方向の大きさから幾何計算により当該人物の身長を推定する。第二の撮影部２２が撮影した動画像上の人物の位置と撮影部１１が撮影した画像上の人物の位置との関係から、人物を特定する。属性情報取得部１４は、撮影部１１が撮影した画像上の人物と第二の撮影部２２が撮影した画像上の人物とを幾何学演算により関連付ける。
【０１１８】
なお、「個人属性」、「性別」、「年代」、「服装」などが登録されたＲＦＩＤを予め各人物に所持させ、図示しないＲＦＩＤ読み取り機によってＲＦＩＤに記憶された情報を読み取ることで、属性情報取得部１４が各人物の属性情報９９を取得することも可能である。
【０１１９】
属性情報取得部１４は、取得した属性情報９９のレコードを属性情報保持部１８に格納する。
【０１２０】
Ｓ０８において、属性情報取得部１４はグループ属性情報９８のグループ属性の取得処理も実行する。属性情報取得部１４は、Ｓ０７のグループの関連付け処理によって得られたグループを構成する各人物の属性情報９９から、予め決められた条件にしたがってグループの属性を特定する。条件は、グループを構成する各人物の属性情報や位置情報など組み合わせで構成される。例えば、管理者は、グループを構成する人物の年代が大人と子供である場合に「親子」、グループを構成する人物が女性と男性であり、常に所定の距離以下接近して移動している場合に「カップル」などの定義をしておく。
【０１２１】
属性情報取得部１４は、グループを構成する人物の属性情報９９を読み出す。属性情報取得部１４は、予め定義した条件によって、読み出した各人物の年代が大人と子供である場合に「親子」であると判断する。また、属性情報取得部１４は、グループを構成する人物が女性と男性であり、常に所定の距離以下接近して移動している場合に「カップル」であると判断する。なお、予め設定した組合せのパターン以外のグループ場合、属性情報取得部１４は、グループ属性に不明として登録する。
【０１２２】
属性情報取得部１４は、決定したグループ属性情報属性をグループＩＤに関連付けて属性情報保持部１８に格納する。
【０１２３】
［注視情報の計測］
次に、人物がコンテンツ画像を注視しているかを判定する処理について説明する。コンテンツ提示装置は、注視情報を取得する。注視情報は、視聴者が画像を注視していたかどうかについての情報である。注視情報を取得する方法は、コンテンツ画像の投影位置の操作によって取得する方法や人物の視線を取得する方法、人物の顔の方向を検出する方法を用いて取得する方法がある。
【０１２４】
まず、コンテンツ画像の投影位置の操作によって注視情報を取得する方法を説明する。
【０１２５】
コンテンツ画像の投影位置の操作によって注視情報を取得する場合、コンテンツ決定装置１０はコンテンツ画像の投影位置を本来の投影する位置から意図的にずらす。コンテンツ画像をずらした結果、人物の移動がコンテンツ画像に追従したか否かによって、コンテンツ決定装置１０はコンテンツ画像を注視したか否かを判定する。この結果コンテンツ決定装置１０は注視情報を取得する。なお、グループに対してコンテンツ画像を提示している場合、注視情報計測部１２は、グループを構成する人物の一人ずつに対して注視情報を計測する。
【０１２６】
人物の動きを撮影した画像として撮影部１１の画像を使用する。注視情報を取得するためのカメラを新たに設置する場合、使用するカメラは最低１台とする。カメラの設置位置は、プロジェクタの投影方向と同じ方向になるように設置する。カメラの撮影範囲は、全てのカメラの撮影範囲を合わせると画像を投影する領域を全て含むようにする。
【０１２７】
本方法で注視情報を取得する場合、人物の動きを撮影する第二の撮影部２２が必要である。
【０１２８】
以下、注視情報の取得の処理を説明する。図３５は注視情報の取得の処理のフローチャートである。注視情報計測部１２は、一定時間Ｔの周期で注視情報の取得の処理を実行する。
【０１２９】
視聴者にコンテンツ画像を投影開始した後、注視情報計測部１２は一定時間Ｔ待機する（Ｓ３１）。システム管理者は一定時間Ｔをあらかじめ設定する。一定時間Ｔが短いほどより正確に注視情報を取得することができる。
【０１３０】
一定時間Ｔの経過後、注視情報計測部１２は画像の投影位置を操作する。注視情報計測部１２は視聴者の進行方向からずらした位置にコンテンツ画像を投影する（Ｓ３２）。
【０１３１】
ここで、投影位置の操作について説明する。コンテンツ決定装置は、コンテンツ画像を投影する位置を視聴者の動作から予測して決定する。以降、コンテンツ決定装置がコンテンツ画像を投影する位置を予測投影位置とする。通常、予測投影位置は視聴者の進行方向にある。視聴者の進行方向は視聴者の速度ベクトルの方向である。注視情報計測部１２は予測投影位置から投影位置を変更する。
【０１３２】
注視情報計測部１２は、視聴者に対して左右の方向に投影位置を変更する場合、視聴者の位置と変更されたコンテンツ画像の投影位置を結ぶ線が当該視聴者の速度ベクトルと９０度以下の範囲になるように、投影位置を変更する。
【０１３３】
注視情報計測部１２は、視聴者に対して前後の方向に投影位置を変更する場合、変更された投影位置と視聴者の距離が離れすぎないあるいは近づき過ぎない範囲になるように、投影位置を変更する。例えば、コンテンツ画像を視聴者から離す方向に投影位置を変更する場合、注視情報計測部１２は予測投影位置と視聴者との距離の２倍以内に収める。あるいは、コンテンツ画像を視聴者に近づける方向に投影位置を変更する場合、注視情報計測部１２は予測投影位置と視聴者との距離の０．５倍以上に収める。
【０１３４】
コンテンツ決定装置１０は、コンテンツ画像の投影位置を左右に変更した場合、変更した時点の視聴者の位置から変更後のコンテンツ画像の投影位置の中心の位置への方向を視聴者の移動する方向として記憶する。以降の投影処理は、変更した視聴者の移動方向に基づき投影位置を決定する。また、コンテンツ決定装置１０は、コンテンツ画像の投影位置を前後に変更した場合、変更した時点の視聴者の位置から変更後のコンテンツ画像の投影位置の中心の位置までの距離を視聴者の移動する速さとして記憶する。以降の投影処理は、変更した視聴者の速さに基づき投影位置を決定する。
【０１３５】
一定時間Ｔより小さい適当な時間ｔが経過した後、注視情報計測部１２は注視の判定を行う。
【０１３６】
図３６乃至図４２は、コンテンツ画像の投影位置の変更と視聴者の追従の関係を説明する図である。図３６は、コンテンツ画像の投影位置を変更する前の状態である。
図３７は、視聴者の進行方向に対して左右方向に投影位置を変更した状態である。注視情報計測部１２は、図３６のコンテンツ画像の投影位置を図ＹＹ２の投影位置に変更する。図３８は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。なお、図３８は、コンテンツ画像と視聴者との距離を投影位置の変更前の距離よりも大きくする変更も行っている。図３８において、変更後の投影位置の移動方向と視聴者の移動方向とは同じである。
【０１３７】
また、図３８において距離ｄがあらかじめ決められた距離より小さい。これは、注視情報計測部１２がコンテンツ画像を意図的に遠くにしたにもかかわらず、視聴者が移動速さを大きくして、コンテンツ画像に追従していることを示す。この場合、視聴者の移動方向とコンテンツ画像の移動方向が同じであり、且つ、視聴者の移動速さとコンテンツ画像の移動速さとが同じであるため、注視情報計測部１２は視聴者が画像を注視していると判断する。
【０１３８】
一方、図３９は、図３６から図３７にコンテンツ画像の投影位置を変更後、一定時間Ｔより小さい適当な時間ｔが経過した時の状態の他の例である。図３９では、変更後の投影位置の移動方向ｖ１と、視聴者の速度方向ｖ２が同じ方向を向いていない。この場合、注視情報計測部１２は視聴者が画像を注視していないと判断する。
【０１３９】
また、図４０乃至図４２は視聴者の進行方向に沿ってに投影位置を変更する場合の例である。図４０は図３６のコンテンツ画像の投影位置を視聴者から離れる位置に変更した状態である。
【０１４０】
図４１は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の状態である。図４１において、変更後の投影位置の移動方向と視聴者の速度方向が同じ方向は同じ方向を向いている。また、図４１において、視聴者とコンテンツ画像間の距離ｄがあらかじめ決められた距離Ｄより小さい。この場合、注視情報計測部１２は、視聴者が画像を注視していると判断する。
【０１４１】
図４２は、図３６から図４０のように投影位置を変更し、一定時間Ｔより小さい適当な時間ｔが経過した時の他の状態である。図４２において、変更後の投影位置の移動方向ｖ１と視聴者の速度方向ｖ２とは同じ方向である。しかし、図４２において、視聴者とコンテンツ画像間の距離ｄはあらかじめ決められた距離Ｄより大きい。この場合、注視情報計測部１２は、視聴者が画像を注視していないと判断する。
【０１４２】
例えば、カメラは、コンテンツ画像の投影位置を変更した後、投影範囲内を対象とする画像を撮影する。注視情報計測部１２は、撮影した画像内の人物がコンテンツ画像を追従したか否かを判別する（Ｓ３３）。
【０１４３】
注視情報計測部１２は、コンテンツ画像の投影位置を視聴者の進行方向に対して左右に変更した場合、時間ｔ経過後において、投影位置の変更後のコンテンツ画像の移動方向と視聴者の移動方向がほぼ同じである場合に、追従したと判定する。注視情報計測部１２は、コンテンツ画像の移動方向ベクトルと視聴者の移動方向ベクトルのなす角が、所定一定の角度以下であるか否かで、方向が同じか否かを判別する。
【０１４４】
また、注視情報計測部１２は、コンテンツ画像の投影位置を視聴者の進行方向に対して前後に変更した場合、時間ｔ経過後において、投影位置と視聴者の位置との距離が、視聴者の速度に応じた所定の距離の範囲内にある場合に、追従したと判定する。
【０１４５】
撮影した画像内の人物がコンテンツ画像を追従した場合（Ｓ３３：Ｙｅｓ）、注視情報計測部１２は、人物がコンテンツ画像を注視していると判定する（Ｓ３４）。一方、撮影した画像内の人物がコンテンツ画像を追従していない場合（Ｓ３３：Ｎｏ）、注視情報計測部１２は、人物がコンテンツ画像を注視していないと判定する（Ｓ３５）。
【０１４６】
次に、注視情報計測部１２は、コンテンツ画像の提示が終了したか否かを判定する（Ｓ３６）。コンテンツ画像は例えば、１５秒、３０秒などのように、それぞれのコンテンツ画像毎に提示時間がある。注視情報計測部１２は、コンテンツ画像の提示が終了していない場合（Ｓ３６：Ｎｏ）、コンテンツ画像が終了するまで一定時間Ｔ間隔で注視しているか否かを判別する。
【０１４７】
注視情報計測部１２は、コンテンツ画像の提示が終了した場合（Ｓ３６：Ｙｅｓ）、注視情報を集計する（Ｓ３７）。注視情報計測部１２は、注視情報の集計結果として注視率を算出する。注視率は、コンテンツ画像が人物によって注視されている割合を、０から１までの実数で表した数値である。注視情報計測部１２は、例えば以下の数式によって注視率を算出する。注視情報計測部１２は、注視していた時間を計測する場合、数式２により算出する。
【０１４８】
【数２】
【０１４９】
数式２の注視率は、コンテンツ画像の再生時間の総和に対する人物がコンテンツ画像を注視していた時間の割合である。時間で計測する場合、連続して測定する必要があるが正確に測定可能である。また、注視情報計測部１２は、注視していた回数を計測する場合、数式３により算出する。
【０１５０】
【数３】
【０１５１】
数式３の注視率は、コンテンツ画像の再生時間中に計測を実施した回数の総和に対する人物がコンテンツ画像を注視していると判定された回数の割合である。回数で算出する場合、測定処理の負荷は低いが、注視したか否かの精度は低くなる。
【０１５２】
注視情報計測部１２は、注視率と視聴者の属性情報と関連付けて注視履歴保持部に記憶する（Ｓ３８）。
【０１５３】
次に、人物の顔検出を用いて注視情報を取得する方法を説明する。
【０１５４】
人物の顔の向きを動画像から取得し、視線を推測することにより、注視情報を取得する。例えば、人物の顔を撮影できる位置にカメラを設置する。
【０１５５】
図４３は、人物がコンテンツ画像を注視しているか否かを判定する処理のフローチャートである。
【０１５６】
注視情報計測部１２は、カメラから画像を取得する（Ｓ４１）。なお、画像の取得のタイミングは、コンテンツ画像を提示中に連続して取得してもよいし、コンテンツ画像を表示する時間内の任意の時間で離散的に取得してもよい。
【０１５７】
注視情報計測部１２は、Ｓ４１で取得した画像から人物の顔部分を検出する（Ｓ４２）。
【０１５８】
注視情報計測部１２は、Ｓ４２で人物の顔を検出したか否かを判定する（Ｓ４３）。注視情報計測部１２は、例えば、Ｓ４１で取得した画像に対して画像処理を実行し、画像の濃淡図、エッジ情報、色情報を抽出することで画像内に顔を検出したか否かを判定する。
【０１５９】
注視情報計測部１２は、画像内に顔を検出しなかった場合（Ｓ４３：Ｎｏ）、再度画像を取得するＳ４１の処理を実行する。一方、注視情報計測部１２は、画像内に顔を検出した場合（Ｓ４３：Ｙｅｓ）、画像内の人物の顔の方向を抽出する（Ｓ４４）。
【０１６０】
カメラは画像内の人物の顔を特定する。人物の顔は、中央に凸形状で鼻が位置する。そこで、画像内の顔部分の鼻の位置と、肌色領域の重心の情報を基に画像内の人物の顔の向きを推定する。推定した顔の方向と、人物の投影領域内の水平位置、人物の顔部分の高さ位置とから幾何学計算により、当該人物の注視している位置を特定する。
【０１６１】
さらに、視線の方向を検出できる場合は、視線の方向も幾何学計算にくわえてもよい。注視情報計測部１２は、例えば、顔の位置から目の位置と方向を検出し、視線方向を３次元的に検出することにより視線方向を抽出する。
【０１６２】
注視情報計測部１２は、注視情報を取得する（Ｓ４５）。具体的には、注視情報計測部１２は、人物がコンテンツ画像を注視しているか否かの情報を取得する。注視情報計測部１２は、例えば、人物の顔や視線の方向にコンテンツ画像が存在する場合、人物がコンテンツ画像を注視していると判定する。注視情報計測部１２は、注視情報を一時的に記憶する。
【０１６３】
以上のＳ４１からＳ４５の処理をコンテンツ画像の終了まで実行する。
注視情報計測部１２は、例えばひとつのコンテンツ画像の表示が終了した後、人物がどの程度終了したコンテンツ画像を見ていたかの注視率を算出する。注視情報計測部１２は、Ｓ３５で一時的に記憶した注視情報を読み出し、コンテンツ画像を注視した割合を算出する。
【０１６４】
なお、投影範囲内に複数のグループが存在し、それぞれのグループに対して別のコンテンツ画像が表示されている場合、（第一のグループ内の人物Ａ）が、第二のグループに向けて提示しているコンテンツ画像を注視する可能性がある。このような場合、第二のグループに向けて提示しているコンテンツ画像の注視率のレコードとして、人物Ａの注視率を記憶することも可能である。
【０１６５】
注視情報計測部１２は、注視履歴情報９７を注視履歴保持部１７に記憶する（Ｓ４６）。
【０１６６】
［提示するコンテンツ画像の決定］
次に、各グループ向けに提示するコンテンツ画像の決定処理について説明する。本実施例では、コンテンツ画像選択部１５はコンテンツ画像が切り替わる毎にコンテンツ画像の決定処理を実行するものとする。コンテンツ画像選択部１５はコンテンツ画像の提示の終了前に次のコンテンツ画像を決定してもよい。なお、本実施例では、コンテンツ画像選択部１５はコンテンツ画像の決定処理をグループ単位で実行する。
【０１６７】
図４４は、提示するコンテンツ画像を決定する処理のフローチャートである。
【０１６８】
まず、コンテンツ画像選択部１５は、コンテンツ画像を提示するグループを特定する。次に、コンテンツ画像選択部１５は、注視履歴情報９７から現在の日時に近い日時情報、現在の処理対象のグループの属性に合致するグループ属性情報のレコードを検索する（Ｓ２１）。なお、管理者は、検索項目の完全一致、部分一致などの条件をあらかじめ設定しておく。
【０１６９】
コンテンツ画像選択部１５は、Ｓ２１で検索されたそれぞれのコンテンツ画像について、カテゴリ毎のコンテンツ画像の注視率を算出する（Ｓ３２）。
【０１７０】
図４５は、コンテンツ画像のカテゴリ毎の注視率の算出処理のフローチャートである。本フローチャートでは、注視率を算出する処理の対象のカテゴリを「カテゴリＡ」とする。
【０１７１】
コンテンツ画像選択部１５は、Ｓ２１の検索結果に含まれるコンテンツ画像のうち、カテゴリＡに含まれるコンテンツ画像に関する履歴の数が所定数以上あるか否かを判別する（Ｓ５１）。
【０１７２】
所定数以上ある場合（Ｓ５１：Ｙｅｓ）、コンテンツ画像選択部１５は、検索結果からカテゴリＡに属するコンテンツ画像の注視率の平均値を求める。コンテンツ画像選択部１５は、求めた平均値を画像カテゴリＡの注視率とする（Ｓ５２）。
【０１７３】
例えば、コンテンツ画像選択部１５はカテゴリＡの注視率Ｇｃを下記の数式で算出する。
【０１７４】
【数４】
【０１７５】
上式において、Ｇｃは画像カテゴリの注視率である。ｇｉは各検索結果の各コンテンツ画像の履歴の注視率である。ｎは画像カテゴリＡに含まれるコンテンツ画像の総数である。
【０１７６】
一方、カテゴリＡに含まれるコンテンツ画像に関する履歴の数が所定数未満である場合（Ｓ５１：Ｎｏ）、コンテンツ画像選択部１５は、あらかじめ決めた値を注視率として用いる。あらかじめ決めた注視率は、カテゴリごとに管理者が設定しておいてもよいし、全てのカテゴリで一つの値を用いてもよい。
【０１７７】
また、コンテンツ画像選択部１５は、直前までコンテンツ画像の提示を行っていたか否かを判別する（Ｓ５４）。
【０１７８】
直前までコンテンツ画像の提示を行っていた場合（Ｓ５４：Ｙｅｓ）、コンテンツ画像選択部１５は、提示していたコンテンツ画像の注視情報から注視率を修正する（Ｓ５５）。直前に提示していたコンテンツ画像と同じカテゴリに含まれる他のコンテンツ画像を表示することが、視聴者に対して効果的な場合も考えられるためである。例えば、視聴者が直前に提示したカテゴリＡに属するコンテンツ画像を注視していた場合、コンテンツ画像選択部１５はカテゴリＡの注視率を１（最大値）にすることもできる。一方、視聴者が直前に提示したカテゴリＡに属するコンテンツ画像を注視していなかった場合、コンテンツ画像選択部１５はカテゴリＡの注視率を低くすることもできる。また、移動していた視聴者が立ち止まった場合、コンテンツ画像選択部１５は直前に提示していたコンテンツ画像に類似するカテゴリを選択することもできる。視聴者の移動速度が速くなった場合には、コンテンツ画像選択部１５はカテゴリの注視率を低くすることもできる。コンテンツ画像選択部１５はすべてのカテゴリについて注視率を算出する。
【０１７９】
次に、コンテンツ画像選択部１５は提示するコンテンツ画像のカテゴリを決定する（Ｓ２３）。例えば、コンテンツ画像選択部１５は、Ｓ２２で求めた注視率が最大であるカテゴリに、提示するコンテンツ画像のカテゴリを決定する。例えば、注視率が最も大きい画像カテゴリが複数ある場合、コンテンツ画像選択部１５は、配信者が決めた配信優先が高い画像カテゴリを選択する。また、コンテンツ画像選択部１５は、複数のカテゴリを含むコンテンツ画像を優先して選択することも可能である。
【０１８０】
次に、コンテンツ画像選択部１５は、Ｓ２３で選択されたカテゴリに属する各コンテンツ画像の注視率を決定する（Ｓ２４）。
【０１８１】
図４６はコンテンツ画像の注視率を算出する処理のフローチャートである。なお、本フローチャートにおいて、コンテンツ画像選択部１５はコンテンツ画像Ｂを対象に処理をするものとする。
【０１８２】
コンテンツ画像選択部１５は、カテゴリに属するコンテンツ画像Ｂの履歴が注視履歴情報９７に所定数以上存在するか否かを判別する（Ｓ６１）。コンテンツ画像選択部１５は、コンテンツ検索結果にコンテンツ画像Ｂに関する履歴の数が所定数以上ある場合（Ｓ６１：Ｙｅｓ）、履歴に含まれるコンテンツ画像Ｂの注視率の平均値をコンテンツ画像Ｂの注視率とする。コンテンツ画像選択部１５はコンテンツ画像Ｂの注視率を数式４で算出する。
【０１８３】
【数５】
【０１８４】
一方、コンテンツ画像選択部１５は、コンテンツ検索結果にコンテンツ画像Ｂに関する履歴の数が所定数未満である場合（Ｓ６１：Ｎｏ）、あらかじめ決めた値を注視率として用いる。あらかじめ決めた注視率は、コンテンツ画像ごとに管理者が設定しておいてもよいし、全てのカテゴリで一つの値を用いてもよい。
【０１８５】
次に、コンテンツ画像選択部１５は、Ｓ２４で求めたコンテンツ画像の注視率と配信優先度とから、コンテンツ画像の提示優先度を算出する（Ｓ２４）。配信優先度は、コンテンツ画像管理情報９５に記録されている。
【０１８６】
コンテンツ画像選択部１５は、コンテンツ画像の提示優先度を数式５で算出する。
【０１８７】
【数６】
【０１８８】
同様の方法で、コンテンツ画像選択部１５はＳ２３で選択されたカテゴリに属する他のコンテンツ画像について提示優先度を算出する。他のコンテンツ画像は、例えば、全注視履歴情報を遡って提示回数が少ないコンテンツ画像や、新規登録されたコンテンツ画像である。
【０１８９】
次に、コンテンツ画像選択部１５は提示するコンテンツ画像を決定する（Ｓ２６）。コンテンツ画像選択部１５はＳ２５で算出して提示優先度が最も大きいコンテンツ画像を提示するコンテンツ画像に決定する。コンテンツ画像選択部１５は、提示優先度が最も大きいコンテンツ画像が複数ある場合、配信者が決めた配信優先度が高いコンテンツ画像を選択してもよいし、注視率が高いコンテンツ画像を選択してもよい。
【０１９０】
以上により、コンテンツ提示装置は、各グループに対して、最適なコンテンツ画像を提供することができる。
【０１９１】
［動作状態に応じたコンテンツ画像の表示処理］
次に、グループの動作状態に応じたコンテンツ画像の選択処理を説明する。
【０１９２】
コンテンツ画像選択部１５は、動作状態情報９３からグループに属する各人物の動作状態を検出することで、グループの動作状態を特定する。動作状態は、例えば静止、歩行、早歩き、走行などであり、移動速度に応じて分類して定義しておく。例えば、コンテンツ画像選択部１５はグループを構成する人物の平均速度から、グループの移動速度を求める。
【０１９３】
コンテンツ画像選択部１５は、グループの動作状態に基づいて、コンテンツ画像の映像の再生時間長さ、提示する画像の寸法、情報量を制御する。
【０１９４】
提示する画像の寸法は、投影されるコンテンツ画像の表示サイズである。情報量とは、コンテンツ画像内の写真やイラストの数、文字の量、文字の大きさなどである。情報量の多い画像とは、コンテンツ画像内の写真やイラストの数、文字の量ともに多いものを指す。情報量が多い場合、グループにとって、情報を認識するまでに時間がかかることが予想される。そこで、グループの移動速度が比較的遅い場合に、情報量の多いコンテンツ画像を提供する。一方、比較的移動速度が速いグループには、情報量の少ないコンテンツ画像を提供することで、グループがコンテンツ画像を素早く認識できるようにする。また、グループの範囲が大きい場合、コンテンツ画像選択部１５は投影する大きい表示サイズのコンテンツ画像を選択することも可能である。
【０１９５】
コンテンツ画像は、図４７のように絵のみのコンテンツ画像でもよいし、図４８のように文字のみのコンテンツ画像でも、図４９、図５０のように絵と文字を組み合わせたコンテンツ画像でもよい。
【０１９６】
再生時間長さ、提示する画像の寸法、情報量の決定方法については、動作状態または移動速さ、速度からあらかじめ決めた条件に従って決定してもよいし、注視履歴保持部１７における注視率が最も高くなるように決定してもよい。あらかじめ決めた条件とは、例えば、静止している人であれば、長い時間注視してもらえる可能性が高いと考えられるので、再生時間が長く、情報量の多い画像を提示するなどである。
【０１９７】
次に、コンテンツ画像選択部１５は、グループに対して投影するコンテンツ画像の配置位置を決定する。図５１は、コンテンツ画像の配置位置の例である。４００、４０１、４０２、４０３、４０４は投影されたコンテンツ画像である。４１４は人物の速度ベクトルである。線４１４の長さは速度の大きさを示す。４１０は人物４１７と人物４１９とを結ぶ線である。４１１は線４１０の中点を通過し、且つ人物４１７、人物４１８、人物４１９の速度ベクトルの方向に平行な線である。４１２は人物４２２と人物４２３とを結ぶ線である。４１３は線４１２の中点を通過し、人物４２２および人物４２３の速度ベクトルの方向と平行な線である。４１５、４１６、４１７、４１８、４１９、４２０、４２１、４２２、４３３はコンテンツ画像の投影範囲内の人物である。
【０１９８】
コンテンツ画像選択部１５は、例えば、グループを構成する複数の人物の結ぶ線の中点を通過し、グループの速度ベクトルの方向に平行な線上にコンテンツ画像を配置する。コンテンツ画像選択部１５は、例えば、動作状態取得部１３で取得した複数の人物位置の座標を結ぶ線を特定する。このとき人物を上から見た重心位置を当該人物の中心の座標とする。次に、コンテンツ画像選択部１５は特定した線の中点を特定する。コンテンツ画像選択部１５は、動作状態取得部１３で取得した複数の人物の速度ベクトルからグループの速度ベクトルの方向を特定する。コンテンツ画像選択部１５は例えば、複数の速度ベクトルの方向の平均などにより特定する。
【０１９９】
コンテンツ画像選択部１５は、特定した中点を通り、且つ、グループの速度ベクトルに平行な線上にコンテンツ画像を配置する。人物４２２と人物４２３はグループであるとする。人物４２２と人物４２３とを結ぶ線４１２の中点を通り、且つ人物４２２と人物４２３のグループの速度ベクトルの方向に沿う線４１３上にコンテンツ画像４０３は配置される。なお、コンテンツ画像は線４１３上で線４１２よりも人物４２２および人物４２３の進行方向側に配置される。
【０２００】
コンテンツ画像選択部１５は、グループの移動速度に応じて、グループとコンテンツ画像との距離を決定する。コンテンツ画像選択部１５は所定速度よりも速い速度でグループが移動している場合、グループから遠い位置にコンテンツ画像を配置する。また、コンテンツ画像選択部１５は所定速度よりも遅い速度でグループが移動している場合、グループに近い位置にコンテンツ画像を配置する。人物４１５と人物４１６はそれぞれ一人のグループであるとする。人物４１５と人物４１６とは移動速度が異なる。この場合、コンテンツ画像選択部１５は、移動速度が遅い人物４１５に対しては、人物４１５に近い距離にコンテンツ画像４０１を配置する。また、コンテンツ画像選択部１５は、移動速度が速い人物４１６に対しては、人物４１６から離れた距離にコンテンツ画像４００を配置する。
【０２０１】
グループが３人以上の場合、コンテンツ画像選択部１５は、グループを構成する端の人物間を結ぶ線を特定し、特定した線分の中点を通過し、且つグループの速度ベクトルの方向に沿った線上にコンテンツ画像を配置する。人物４１７、人物４１８、人物４１９はグループを構成するものとする。この場合、グループの端は、人物４１７と人物４１９である。コンテンツ画像選択部４１５は、グループの端について、例えばグループの速度ベクトルに対して直角方向を求め、当該直角方向でもっとも離れている人物を特定することで、グループの端の人物を特定する。
【０２０２】
コンテンツ画像選択部４１５は、人物４１７と人物４１９とを結ぶ線４１０を特定する。コンテンツ画像選択部４１５は、線分４１０の中点を通過しグループの速度ベクトルに平行な線分４１１上にコンテンツ画像を配置する。
【０２０３】
コンテンツ画像選択部１５は、グループが停止している場合は、所定の距離を離した位置にコンテンツ画像を配置する。人物４２０と人物４２１はグループであるとする。この場合、コンテンツ画像選択部１５は、人物から所定の距離を離した位置にコンテンツ画像４０４を配置する。なお、コンテンツ画像選択部１５は、過去に移動してきた方向から人物の向きを推定する。また、コンテンツ画像選択部１５は、グループの向いている方向にコンテンツ画像を配置する。
【０２０４】
コンテンツ画像選択部４１５はコンテンツ画像の角度を速度ベクトルの方向に合うように変更する。
【０２０５】
コンテンツ画像選択部４１５は、コンテンツ画像の配置位置および配置角度を決定した後、投影画像を生成し、コンテンツ画像表示部１６に投影画像を送信する。コンテンツ画像表示部１６は取得した投影画像を投影する。
【０２０６】
また、提示するコンテンツ画像の制御の細かさについては、あらかじめ同じコンテンツについて再生時間長さ、寸法、情報量を変えた数種類のコンテンツ画像を用意し、コンテンツ画像記憶部２０に格納する。コンテンツ画像選択部１５は、その範囲で段階的に制御してもよい。また、コンテンツ画像の再生時間長さ、提示する画像の寸法を動的に編集して提示してもよい。
【０２０７】
以上により、コンテンツ決定装置１０は、親子連れ、カップル、会社員などのグループの属性およびグループの移動の状態に適したコンテンツ画像を各グループに対して提示することが可能になる。なお、コンテンツ決定装置１０は、人物の移動方向によってグループを特定し、グループ単位にコンテンツ画像を決定する処理と、グループを構成する人物の外見の組合せによってグループの属性を決定し、属性に応じてコンテンツ画像を決定する処理と、グループを構成する人物の注視度によってコンテンツ画像を決定する処理と、を個別に実行する、あるいは一部の処理を組み合わせて実行することが可能である。
【０２０８】
［コンテンツ決定装置１０のハードウェア構成］
次に、コンテンツ決定装置１０のハードウェア構成を説明する。
【０２０９】
図５２は、本実施例のコンテンツ決定装置１０のハードウェア構成の例である。コンテンツ決定装置１０はコンピュータであり、プロセッサ５１、メモリ５２、ストレージモジュール５３、入力モジュール５４、出力モジュール５５、撮影モジュール５６、投影モジュール５７などを含む。
【０２１０】
プロセッサ５１は例えばＣＰＵであり、コンテンツ決定装置１０が実行するプログラムの各種演算を行う。例えば、プロセッサ５１はメモリ５２に展開されたコンテンツ決定プログラムを実行することにより、注視情報計測部１２、動作状態取得部１３、属性情報取得部１４、コンテンツ画像選択部１５として機能する。
【０２１１】
メモリ５２は、コンテンツ決定装置１０が使用する各種データおよびコンテンツ決定装置１０が実行する各種プログラムを一時的に格納する。また、メモリ５２は画像メモリを含む。画像メモリは、投影モジュール５７に出力するための画像のデータを格納する記憶領域である。
【０２１２】
ストレージモジュール５３は、コンテンツ決定装置１０が使用する各種データおよびコンテンツ決定装置１０が実行するコンテンツ決定プログラムを格納する。ストレージモジュール５３は、画像情報記憶部２１、コンテンツ画像記憶部２０、コンテンツ画像管理情報記憶部１９、注視履歴保持部１７、属性情報保持部１８として機能する。ストレージモジュール５３は読み取り可能な記憶媒体から情報を読み出す、あるいは読み取り可能な記憶媒体に情報を書き込む機能を含む。読取り可能な記録媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ（非一時的）である。読取り可能な記録媒体は、例えば、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体を含む。なお、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記録媒体を遠隔地に配置し、それに格納されたプログラムを利用することとしても良い。
【０２１３】
投影モジュール５７は、プロセッサ５１からの指示により、コンテンツ画像を表示するコンテンツ画像表示部１６として機能する。投影モジュール５７は例えば、プロジェクタ、ディスプレイなどである。
【０２１４】
撮影モジュール５６は、プロセッサ５１からの指示により、画像を取得する撮影部１１、第二の撮影部２２として機能する。撮影モジュール５６は、例えば、カメラ、ビデオカメラなどである。なお、コンテンツ決定装置は撮影モジュール５６を複数有する場合もある。
【０２１５】
入力モジュール５４は、管理者がコンピュータに種々の情報を入力するための装置であり、例えば、キーボードやマウスなどである。出力モジュール５５は、コンピュータの種々の情報を出力するための装置であり、例えば、ディスプレイである。
【産業上の利用可能性】
【０２１６】
開示のコンテンツ決定装置１０は、複数人物にコンテンツを表示する分野に適用できる。
【符号の説明】
【０２１７】
１０ コンテンツ決定装置
５１ プロセッサ
５２ メモリ
５３ ストレージモジュール
５４ 入力モジュール
５５ 出力モジュール
５６ 撮影モジュール
５７ 投影モジュール
【特許請求の範囲】
【請求項１】
時系列に撮影された複数の撮影画像から人物画像を検出し、該人物画像についての速度ベクトルを算出し、
算出した該速度ベクトルに応じて、複数の人物画像を一つのグループに関連付け、
一つのグループに関連付けられた複数の人物画像の画像処理結果から、該グループの属性情報を取得し、
該グループの属性情報と記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影に用いられるコンテンツ画像を決定する、
処理をコンピュータに実行させるためのコンテンツ決定プログラム。
【請求項２】
該関連付手段は、該複数の人物の該速度ベクトルの差が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１に記載のコンテンツ決定プログラム。
【請求項３】
該算出手段は、更に人物の位置を特定し、
該関連付手段は、該複数の人物間の距離が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１または請求項２に記載のコンテンツ決定プログラム。
【請求項４】
該算出手段は、更に人物の位置を特定し、
該関連付手段は、該複数の人物間の距離が所定値以下の場合かつ該複数の人物の該速度ベクトルの差が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１または請求項２に記載のコンテンツ決定プログラム。
【請求項５】
さらに、該撮影画像から該人物画像の顔の画像部分を検出し、検出結果に基づき視線方向を抽出し、抽出した該視線方向に該記憶部に記憶されたいずれかの該投影画像が存在する時間から、注視率を算出し、
該算出した注視率と該属性情報に応じて投影画像を決定する
ことを特徴とする請求項１乃至４に記載のコンテンツ決定プログラム。
【請求項６】
該算出した優先度と該属性情報に応じて投影画像を決定する
ことを特徴とする請求項１乃至５に記載のコンテンツ決定プログラム。
【請求項７】
時系列に複数の画像を撮影する撮影部と、
該撮影部で撮影された該画像から人物画像を検出し、該人物画像についての人物の速度ベクトルを算出する算出手段、
複数の人物の該算出した該速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、
該関連付けられた該グループ内の該複数の人物画像を画像処理して、該グループの属性情報を取得する取得手段、
該グループの属性情報と予め記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影するコンテンツ画像を決定する決定手段、
該決定したグループに対して、該決定手段で決定した該投影画像を投影する投影部と
を有することを特徴とするコンテンツ決定装置。
【請求項１】
時系列に撮影された複数の撮影画像から人物画像を検出し、該人物画像についての速度ベクトルを算出し、
算出した該速度ベクトルに応じて、複数の人物画像を一つのグループに関連付け、
一つのグループに関連付けられた複数の人物画像の画像処理結果から、該グループの属性情報を取得し、
該グループの属性情報と記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影に用いられるコンテンツ画像を決定する、
処理をコンピュータに実行させるためのコンテンツ決定プログラム。
【請求項２】
該関連付手段は、該複数の人物の該速度ベクトルの差が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１に記載のコンテンツ決定プログラム。
【請求項３】
該算出手段は、更に人物の位置を特定し、
該関連付手段は、該複数の人物間の距離が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１または請求項２に記載のコンテンツ決定プログラム。
【請求項４】
該算出手段は、更に人物の位置を特定し、
該関連付手段は、該複数の人物間の距離が所定値以下の場合かつ該複数の人物の該速度ベクトルの差が所定値以下の場合に、該複数の人物を一つのグループに関連付ける
ことを特徴とする請求項１または請求項２に記載のコンテンツ決定プログラム。
【請求項５】
さらに、該撮影画像から該人物画像の顔の画像部分を検出し、検出結果に基づき視線方向を抽出し、抽出した該視線方向に該記憶部に記憶されたいずれかの該投影画像が存在する時間から、注視率を算出し、
該算出した注視率と該属性情報に応じて投影画像を決定する
ことを特徴とする請求項１乃至４に記載のコンテンツ決定プログラム。
【請求項６】
該算出した優先度と該属性情報に応じて投影画像を決定する
ことを特徴とする請求項１乃至５に記載のコンテンツ決定プログラム。
【請求項７】
時系列に複数の画像を撮影する撮影部と、
該撮影部で撮影された該画像から人物画像を検出し、該人物画像についての人物の速度ベクトルを算出する算出手段、
複数の人物の該算出した該速度ベクトルに応じて、複数の人物を一つのグループに関連付ける関連付手段、
該関連付けられた該グループ内の該複数の人物画像を画像処理して、該グループの属性情報を取得する取得手段、
該グループの属性情報と予め記憶部に記憶されたコンテンツ画像の属性情報との対応関係に基づき、投影するコンテンツ画像を決定する決定手段、
該決定したグループに対して、該決定手段で決定した該投影画像を投影する投影部と
を有することを特徴とするコンテンツ決定装置。
【図６】
【図１３】
【図１７】
【図２３】
【図３６】
【図３７】
【図３８】
【図３９】
【図５０】
【図５１】
【図５２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図１３】
【図１７】
【図２３】
【図３６】
【図３７】
【図３８】
【図３９】
【図５０】
【図５１】
【図５２】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【公開番号】特開２０１１−２４８５４８（Ｐ２０１１−２４８５４８Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１９９２９（Ｐ２０１０−１１９９２９）
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]