映像情報提示装置
【課題】通行人の注目度をより向上させる。
【解決手段】通行人の移動経路上に撮影装置１００とディスプレイ装置２００とを設け、通行人の画像をリアルタイム映像Ｖ１として撮影する。動体認識部３５０によりリアルタイム映像Ｖ１内の通行人部分を動体領域Ａとして認識し、動体画像切出部３４０により通行人部分である動体画像Ｍを切り出す。ＣＧ映像作成部３２０は、材料データ格納部３３０内に用意された背景画像Ｂｋに動体画像Ｍを合成した初期画像を含むＣＧ映像Ｖ２を作成する。映像切替部３１０は、動体認識がなされた時点で、ディスプレイ装置２００に供給する映像を、リアルタイム映像Ｖ１からＣＧ映像Ｖ２へ切り替える。通行人が、ディスプレイ画面上の自分自身が写ったリアルタイム映像Ｖ１に注目すると、やがてＣＧ映像Ｖ２へと連続的な移行が行われる。
【解決手段】通行人の移動経路上に撮影装置１００とディスプレイ装置２００とを設け、通行人の画像をリアルタイム映像Ｖ１として撮影する。動体認識部３５０によりリアルタイム映像Ｖ１内の通行人部分を動体領域Ａとして認識し、動体画像切出部３４０により通行人部分である動体画像Ｍを切り出す。ＣＧ映像作成部３２０は、材料データ格納部３３０内に用意された背景画像Ｂｋに動体画像Ｍを合成した初期画像を含むＣＧ映像Ｖ２を作成する。映像切替部３１０は、動体認識がなされた時点で、ディスプレイ装置２００に供給する映像を、リアルタイム映像Ｖ１からＣＧ映像Ｖ２へ切り替える。通行人が、ディスプレイ画面上の自分自身が写ったリアルタイム映像Ｖ１に注目すると、やがてＣＧ映像Ｖ２へと連続的な移行が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通行人に対して映像情報を提示する映像情報提示装置に関し、特に、不特定多数の者が往来する街頭や公共施設などに設置して、広告その他の情報をディスプレイ画面上で提示する装置に関する。
【背景技術】
【０００２】
不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館などの公共施設において、通行人に対して広告その他の情報をディスプレイ画面上で提示する映像情報提示装置は古くから利用されている。近年は、デジタル映像を作成し、これを配信する技術が向上したため、コンピュータを利用した様々なデジタル技術を活用して情報提示を行うデジタルサイネージと呼ばれる広告媒体も普及している。
【０００３】
たとえば、下記の特許文献１には、ディスプレイ画面上に表示する映像の視野角を制御することにより、観察位置に応じて異なる映像を提示する技術が開示されている。また、特許文献２には、テレビ放送を街頭で提示する際に、時間帯ごとに放送局を切り替え、当該切替時に広告を挿入することにより、広告への誘因頻度を高める技術が開示されている。更に、特許文献３には、利用者自身が入力した文字情報を、街頭に設置したディスプレイ画面上に表示させることにより、注目度を高める技術が開示されており、特許文献４には、ディスプレイ画面上に提示した質問に対する回答を利用者の端末装置経由で収集し、回答の集計結果に基づく広告をディスプレイ画面上に表示することにより、利用者の需要に適合した広告を提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２３０７３５号公報
【特許文献２】特開２００２−２５１５６６号公報
【特許文献３】特開２００３−１５５６７号公報
【特許文献４】特開２００３−２２３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
不特定多数の者が往来する街頭や公共施設などに映像情報提示装置を設置する目的は、当然ながら、広告その他の提示対象情報を通行人に伝達することにある。街頭に設置された大型ディスプレイ装置を用いた広告提示や、通信技術やＣＧ技術を利用したデジタルサイネージは、当初は物珍しさから注目度も高かったが、最近は様々な場所で頻繁に見かけるようになってきており、今後は陳腐化の一途を辿ることは避けられない。このため、前掲の各特許文献に開示されているような技術を導入することにより、通行人の注目度を高める工夫がなされているが、通行人の注意を引きつける効果がそれほど向上していないのが現状である。特に、商業的な広告情報の提示を行う場合、投資に見合う十分な費用対効果が得られないことは大きな問題になる。
【０００６】
そこで本発明は、通行人の注目度をより向上させることが可能な映像情報提示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
(1) 本発明の第１の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
ディスプレイ装置を制御する制御装置と、
を設け、
制御装置には、
撮影装置によって撮影されたリアルタイム映像に基づいて動体認識を行い、動体が占める動体領域を決定する動体認識部と、
撮影装置によって撮影されたリアルタイム映像における動体領域内の画像を動体画像として切り出す動体画像切出部と、
所定のコンピュータプログラムに基づいてＣＧ映像を作成し、これを提供するＣＧ映像作成部と、
ＣＧ映像作成部による映像作成の材料となる材料データを格納した材料データ格納部と、
撮影装置によって撮影されたリアルタイム映像と、ＣＧ映像作成部から提供されたＣＧ映像と、のいずれか一方を選択してディスプレイ装置に与え、ディスプレイ装置の画面上に、選択された映像を表示させる映像切替部と、
映像切替部がリアルタイム映像を選択中に、動体認識部によって認識された動体領域が所定条件を満たしたときに、映像切替部およびＣＧ映像作成部に対してＣＧ切替信号を出力する切替指示部と、
を設け、
映像切替部は、初期状態ではリアルタイム映像を選択し、ＣＧ切替信号が与えられた時点で選択対象をＣＧ映像に切り替え、選択されたＣＧ映像が終了した時点で再び選択対象をリアルタイム映像に切り替える処理を行い、
材料データ格納部には、少なくとも撮影装置の撮影視野に写る背景画像が材料データとして格納されており、
ＣＧ映像作成部は、ＣＧ切替信号が与えられたときに、動体画像切出部によって所定の切出位置から切り出された動体画像を背景画像上の上記切出位置に配置することにより得られる合成画像を初期画像とする動画からなるＣＧ映像を作成し、これを映像切替部に与えるようにしたものである。
【０００８】
(2) 本発明の第２の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【０００９】
(3) 本発明の第３の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１０】
(4) 本発明の第４の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１１】
(5) 本発明の第５の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１２】
(6) 本発明の第６の態様は、上述の第１〜第５の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部に対してＣＧ映像終了信号を送信し、
映像切替部が、ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行うとともに、切替指示部に対してＣＧ映像終了信号を送信し、
切替指示部が、ＣＧ映像終了信号の受信により、映像切替部が選択対象をリアルタイム映像に切り替えたことを認識するようにしたものである。
【００１３】
(7) 本発明の第７の態様は、上述の第１〜第５の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部および切替指示部に対してＣＧ映像終了信号を送信し、
映像切替部が、ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行い、
切替指示部が、ＣＧ映像終了信号の受信により、映像切替部が選択対象をリアルタイム映像に切り替えたことを認識するようにしたものである。
【００１４】
(8) 本発明の第８の態様は、上述の第１〜第７の態様に係る映像情報提示装置において、
動体認識部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、当該現静止画像についての動体領域と決定するようにしたものである。
【００１５】
(9) 本発明の第９の態様は、上述の第１〜第８の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を作成するようにしたものである。
【００１６】
(10) 本発明の第１０の態様は、上述の第９の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画を作成するようにしたものである。
【００１７】
(11) 本発明の第１１の態様は、上述の第９の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成するようにしたものである。
【００１８】
(12) 本発明の第１２の態様は、上述の第１〜第１１の態様に係る映像情報提示装置において、
ＣＧ映像格納部が、初期画像に含まれていた背景画像が時間的に変化する動画を作成するようにしたものである。
【００１９】
(13) 本発明の第１３の態様は、上述の第１〜第１２の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画を作成するようにしたものである。
【００２０】
(14) 本発明の第１４の態様は、上述の第１〜第１３の態様に係る映像情報提示装置において、
制御装置が、撮影装置によって撮影されたリアルタイム映像に基づいて、撮影装置の撮影視野に写る背景画像を生成し、生成した背景画像を材料データ格納部に材料データとして格納する処理を行う背景画像生成部を更に有するようにしたものである。
【００２１】
(15) 本発明の第１５の態様は、上述の第１４の態様に係る映像情報提示装置において、
背景画像生成部が、動体認識部によって動体が認識されていない時点におけるリアルタイム映像を背景画像として取り込み、これを材料データ格納部に格納する処理を行うようにしたものである。
【００２２】
(16) 本発明の第１６の態様は、上述の第１４の態様に係る映像情報提示装置において、
背景画像生成部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行うようにしたものである。
【００２３】
(17) 本発明の第１７の態様は、上述の第１〜１６の態様に係る映像情報提示装置における制御装置を、コンピュータにプログラムを組み込むことによって構成するようにしたものである。
【００２４】
(18) 本発明の第１８の態様は、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
ディスプレイ装置を制御する制御装置と、
を用いて、通行人に対して映像情報を提示する映像情報提示方法において、
制御装置が、
撮影装置によって撮影されたリアルタイム映像をディスプレイ装置に与えて、ディスプレイ装置の画面上に表示する処理を開始するリアルタイム映像表示開始段階と、
リアルタイム映像の表示が行われているときに、リアルタイム映像に基づいて動体認識を行う動体認識段階と、
動体認識段階で動体が認識されたときに、映像上で認識された動体が占める動体領域が所定条件を満足するか否かを判定する条件判定段階と、
条件判定段階で条件満足との判定がなされたときに、ＣＧ映像を作成し、リアルタイム映像の代わりに、作成したＣＧ映像をディスプレイ装置に与えて、ディスプレイ装置の画面上に表示するＣＧ映像作成表示段階と、
を実行し、ＣＧ映像作成表示段階が終了したときに、再びリアルタイム映像表示開始段階へと戻る処理を行い、
ＣＧ映像作成表示段階において、リアルタイム映像内の動体画像を撮影装置の撮影視野に写る背景画像上に配置することにより得られる合成画像を初期画像とするＣＧ映像を作成し、これを表示するようにしたものである。
【発明の効果】
【００２５】
本発明に係る映像情報提示装置では、通行人自身の映像がリアルタイム映像として撮影されるとともに、ＣＧ映像（本来の提示対象映像、たとえば、広告映像）の作成も行われる。そして、ディスプレイ装置の画面上には、リアルタイム映像とＣＧ映像とが切り替えられて表示される。このため、ディスプレイ画面上に自分自身が登場しているリアルタイム映像を認識した通行人は、必然的に当該映像に注意を向けることになる。やがて、リアルタイム映像はＣＧ映像（本来の提示対象映像）に切り替えられるので、通行人の注意が向いた状態で提示対象映像の提示が行われることになり、通行人の注目度をより向上させることができる。
【００２６】
リアルタイム映像からＣＧ映像への切り替えは、通行人が写っているリアルタイム映像に対する動体認識処理の結果に基づいて行われるため、通行人がディスプレイ装置の画面に注意を向けるであろうと予想される効果的なタイミングで、ＣＧ映像（本来の提示対象映像）の提示を行うことができる。特に、動体領域の占有面積が所定のしきい値を超えた時点をトリガーとする切り替えや、動体領域の重心点が、所定の検出領域内に検出された時点をトリガーとする切り替えを行うと、通行人が映像閲覧に適した位置にきたタイミングで、ＣＧ映像への切り替えが可能になる。
【００２７】
しかも、ＣＧ映像の初期画像は、リアルタイム映像から認識された動体画像を背景画像上に合成した画像であり、リアルタイム映像に非常に近い画像になる。このため、リアルタイム映像からＣＧ映像への切り替えが行われた後も、通行人は、しばらくの間は、リアルタイム映像がそのまま継続して表示されているものと錯覚することになる。したがって、ＣＧ映像として提示される内容を、現実世界の出来事の延長線上の出来事として印象づけることができ、極めて臨場感をもった映像提示が可能になり、通行人の注目度をより向上させることができるようになる。
【００２８】
特に、広告の対象物など、通行人に対してアピールしたい何らかの提示対象物（たとえば、広告対象となる商品）が存在する場合、ＣＧ映像の初期画像に含まれていた動体画像（通行人の画像）が、その同じ位置において当該提示対象物に置き換えられるＣＧ映像を作成するようにすれば、通行人には、自分自身が広告対象商品などの対象物に置き換わる動画を提示することできるので、当該対象物に対して強烈な印象を与えることが可能になる。
【００２９】
また、ＣＧ映像として、初期画像に含まれていた背景画像が時間的に変化する動画を提示すれば、通行人に対して、現実世界にいる臨場感を与えながら、その背景が変化するという仮想世界の体験を与えることができるようになり、強烈な印象を与えることが可能になる。
【００３０】
更に、リアルタイム映像から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と関連した特徴をもった提示対象物が含まれるＣＧ映像を作成すれば、リアルタイム映像として撮影された現実世界と、ＣＧ映像として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の基本的実施形態に係る映像情報提示装置の構成を示すブロック図である。
【図２】図１に示す映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。
【図３】図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。
【図４】図１に示す映像情報提示装置の撮影装置１００によって撮影されたリアルタイム映像Ｖ１の一例を示す平面図である。
【図５】図１に示す映像情報提示装置の動体認識部３５０によって認識された動体領域Ａ（ハッチング部分）を示す平面図である。
【図６】図１に示す映像情報提示装置の材料データ格納部３３０内に用意されている背景画像Ｂｋを示す平面図である。
【図７】図１に示す映像情報提示装置の動体画像切出部３４０によって切り出された動体画像Ｍ（人物の部分）を示す平面図である。
【図８】図１に示す映像情報提示装置の映像切替部３１０による切替直前におけるリアルタイム映像Ｖ１、切替直後におけるＣＧ映像Ｖ２、およびＣＧ映像Ｖ２の構成内容を示す平面図である。
【図９】図１に示す映像情報提示装置の映像切替部３１０の切替動作および切替指示部３６０の指示動作の例を示すタイミングチャートである。
【図１０】図５に示す動体領域Ａについての重心Ｇを示す平面図である。
【図１１】図１に示す映像情報提示装置の撮影装置１００の撮影視野Ｖ内に設定された検出領域Ｚ（ハッチング部分）を示す平面図である。
【図１２】図１に示す映像情報提示装置において提示されるＣＧ映像の第１の例を示す平面図である。
【図１３】図１に示す映像情報提示装置において提示されるＣＧ映像の第２の例を示す平面図である。
【図１４】図１に示す映像情報提示装置において提示されるＣＧ映像の第３の例を示す平面図である。
【図１５】図１に示す映像情報提示装置において提示されるＣＧ映像の第４の例を示す平面図である。
【図１６】図１に示す映像情報提示装置において提示されるＣＧ映像の第５の例を示す平面図である。
【図１７】図１に示す映像情報提示装置において提示されるＣＧ映像の第６の例を示す平面図である。
【図１８】図１に示す映像情報提示装置の動体認識部３５０によって認識された動体領域Ａ（ハッチング部分）の別な例（通行人が姿勢を変えた例）を示す平面図である。
【図１９】図１８に示す動体領域Ａ（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物（ボトル）が含まれるＣＧ映像Ｖ２の一例を示す平面図である。
【図２０】通行人の色彩に関する特徴と提示対象物（ボトル）の色彩に関する特徴との関連性の一例を示す平面図である。
【図２１】本発明の変形例に係る映像情報提示装置の構成を示すブロック図である。
【図２２】本発明に係る映像情報提示方法の手順を示す流れ図である。
【発明を実施するための形態】
【００３２】
以下、本発明を図示する実施形態に基づいて説明する。
【００３３】
＜＜＜ §１．基本的実施形態の構成および動作 ＞＞＞
図１は、本発明の基本的実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図示のとおり、この装置は、撮影装置１００、ディスプレイ装置２００、制御装置３００によって構成され、通行人に対して映像情報を提示する機能を果たす。
【００３４】
ここで、ディスプレイ装置２００は、通行人の移動経路もしくは立寄場所に設置され、撮影装置１００は、このディスプレイ装置２００の表示画面を観察中の通行人を撮影するのに適した位置に設置される。図２は、この映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。ディスプレイ装置２００は、不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館など、様々な場所に設置することが可能である。図には、このディスプレイ装置２００の正面を通行しながら、その表示画面を観察している通行人Ｐが描かれている。撮影装置１００は、このように、ディスプレイ装置２００の表示画面を観察中の通行人Ｐを撮影するのに適した位置に設置される。図示の例の場合、ディスプレイ装置２００の上部中央に撮影装置１００が取り付けられている。
【００３５】
撮影装置１００は、通行人を撮影して動画からなる映像信号を生成する機能をもった装置であれば、どのような装置を用いてもかまわない。一般的には、動画を撮影して映像データを生成する機能をもったデジタルビデオカメラを用いるのが好ましいが、アナログ式のビデオカメラを用いてもかまわない（この場合、後述する動体認識処理などを行う際には、アナログ映像信号をデジタル映像データに変換する処理が必要になる）。一方、ディスプレイ装置２００は、後に詳述する制御装置３００から提供される映像信号に基づいて画面上に映像を提示する機能をもった装置であれば、どのような装置を用いてもかまわない。図には、比較的大型の平面型ディスプレイを用いた例が示されているが、提示対象となる映像の内容、提示目的、設置場所などに応じて、任意のサイズの任意の方式のディスプレイ装置を用いることができる。
【００３６】
図３は、図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。ここでは、説明の便宜上、撮影装置１００およびディスプレイ装置２００が、ホテル内の通路に設置されている例を示すことにする。図示のとおり、この通路は、壁１０，２０によって仕切られており、通行人Ｐは通路の床３０上を歩行することになる。壁１０には、壁掛け式のディスプレイ装置２００が取り付けられており、その上部中央には撮影装置１００が取り付けられている。図の一点鎖線は、この撮影装置１００の撮影視野を示しており、壁２０を背景として通行人Ｐが撮影視野内に入っている。
【００３７】
図４は、図３に示す撮影視野内の映像を示す平面図である。ここでは、説明の便宜上、壁２０には、額絵４１，４２および照明器具４３が取り付けられており、壁２０の近傍には、飾り壺５０が置かれているものとする。撮影視野内の映像には、これらの物品を含め、壁２０および床３０を背景として、通行人Ｐが写っている。当該映像は、撮影装置１００によってリアルタイムで撮影された映像であるため、以下、「リアルタイム映像Ｖ１」と呼ぶことにする。ここに示す実施形態の場合、撮影装置１００としてデジタルビデオカメラを用いており、リアルタイム映像Ｖ１は、このデジタルビデオカメラによって撮影された現時点の映像ということになる。
【００３８】
続いて、制御装置３００の構成および動作を説明する。制御装置３００は、図１に一点鎖線で囲った領域内に描かれている各構成要素３１０〜３６０を有しており、ディスプレイ装置２００を制御する機能を果たす。具体的には、図示のとおり、制御装置３００には、映像切替部３１０、ＣＧ映像作成部３２０、材料データ格納部３３０、動体画像切出部３４０、動体認識部３５０、切替指示部３６０が設けられている。以下、これらの各構成要素を順に説明する。
【００３９】
まず、動体認識部３５０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて動体認識を行い、動体が占める動体領域Ａを決定する処理を行う構成要素である。図示のとおり、撮影装置１００によって得られたリアルタイム映像Ｖ１は、動体認識部３５０へと与えられる。リアルタイム映像Ｖ１は、１コマ１コマの静止画像（フレーム）を時系列上に並べることによって構成されており、動体認識部３５０は、これら時系列上の静止画像を解析し、動体が存在すると予想される動体領域Ａを認識する処理を行う。
【００４０】
図５は、このような動体認識処理によって認識された動体領域Ａ（ハッチング部分）を示す平面図である。この例の場合、図４に示す通行人Ｐの部分が動体領域Ａとして認識されている。これは、図４に示す壁２０，床３０，額絵４１，４２，照明器具４３，飾り壷５０などが静止しているのに対して、通行人Ｐが動いているため、通行人Ｐの部分を動体として認識したためである。
【００４１】
このような動体認識のアルゴリズムとしては、たとえば、リアルタイム映像Ｖ１を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と前記平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、当該現静止画像についての動体領域と決定する、という手法が利用されている。
【００４２】
具体的には、図４に示す映像Ｖ１の場合、たとえば、額絵４１の位置にある各画素については、所定サンプル期間を適当に決めてやれば、現時点の画素値と過去の所定サンプル期間内の平均画素値との差は、ほとんど零であろう。これに対して、通行人Ｐの位置にある各画素については、通行人Ｐが現れてからの画素値と過去の所定サンプル期間内の平均画素値との差は、かなり大きくなる。したがって、当該差が所定の基準を超える画素の集合からなる領域を、動体領域Ａとして抽出すれば、図５に示す例のように、通行人Ｐの部分が動体領域Ａとして抽出できる。
【００４３】
なお、カラー画像の場合、三原色についての三次元色空間内に、個々の画素値（三原色を示す３つの画素値）に対応する座標点をプロットし、２つの座標点間のユークリッド距離を、両画素値の差と定義するような手法を採ればよい。
【００４４】
所定サンプル期間としては、たとえば、過去１０時間というような設定を行うこともできるし、過去１ヶ月間というような長期設定を行うこともできる。サンプル期間内の平均画素値をもった画素によって構成される画像は、結局、図６に示すような背景画像Ｂｋに対応する画像になる。背景が不変であるという前提であれば、サンプル期間を長く設定すればするほど、得られる背景画像Ｂｋの精度は高くなる。したがって、図示の例のように、室内であって、その照明環境が２４時間不変であるような場合には、サンプル期間はできるだけ長く設定した方がよい。逆に、屋外の場合、あるいは室内であっても照明環境が変化するような場合には、あまり長いサンプル期間を設定すると、かえって得られる背景画像Ｂｋの精度は低下してしまう。このような場合は、たとえば、過去３０分間というようなサンプル期間を設定するのが望ましい。
【００４５】
このように、一般的な動体認識処理は、時系列的に連続する多数の静止画像の各画素の画素値の変動を調べ、過去のサンプル期間内の平均画素値に対する画素値の変動が所定の許容範囲内である画素は背景領域の画素と判断し、画素値の変動が許容範囲を超える画素は動体領域の画素と判断する、という基本原理に基づくものである。このような動体認識の具体的方法は、様々な分野で実用化されている公知の技術であるため、ここでは詳しい説明は省略する。
【００４６】
図１に示す制御装置３００において、動体認識部３５０によって動体領域Ａが認識されると、当該動体領域Ａを示す情報は、動体画像切出部３４０および切替指示部３６０に与えられる。もちろん、撮影装置１００によって撮影されたリアルタイム映像Ｖ１が、図６に示すような背景画像Ｂｋであった場合（すなわち、通行人Ｐが誰もいない場合）、動体領域Ａの認識は行われない。
【００４７】
動体画像切出部３４０は、動体認識部３５０によって認識された動体領域Ａを利用して、撮影装置１００によって撮影されたリアルタイム映像Ｖ１における動体領域Ａ内の画像を動体画像Ｍとして切り出す処理を行う。たとえば、図５に示すような動体領域Ａ（ハッチング部分）が認識された場合、図４に示すリアルタイム映像Ｖ１から、動体領域Ａに対応する部分を切り出し、図７に示すような動体画像Ｍを生成する処理が行われる。なお、ここに示す実施形態の場合、この動体画像Ｍには、画像自体の情報（個々の画素の画素値）に、全画像領域に対する切出位置情報（図７に示す破線枠に対する人物部分の相対的な位置情報）が付加されている。
【００４８】
動体認識部３５０も、動体画像切出部３４０も、リアルタイム映像Ｖ１に含まれる１コマ１コマの静止画像のそれぞれに対して、それぞれ動体認識処理および動体画像切出処理を実行する。したがって、図５に示すような動体領域Ａは、１コマ１コマの静止画像のそれぞれについて生成され、当該動体領域Ａを用いた切り出し処理も、１コマ１コマの静止画像のそれぞれについて実行されることになるので、図７に示す動体画像Ｍも、１コマ１コマの静止画像のそれぞれに対応して生成されることになる。結局、こうして得られた動体画像Ｍは、動体部分（通行人Ｐ）のみを抽出したリアルタイムの動画を構成することになる。
【００４９】
もちろん、上記処理は、必ずしもリアルタイム映像Ｖ１に含まれる１コマ１コマの静止画像のすべてに対して行う必要はなく、必要に応じて、コマを間引いて、たとえば、５コマごとに行う、というようにしてもかまわない。ただ、このような間引きを行うと、得られる動体画像Ｍによって構成される動画がコマ落ちした動画となるため、実用上は、１コマ１コマの静止画像のすべてに対して動体画像Ｍを切り出す処理を行うのが好ましい。
【００５０】
一方、ＣＧ映像作成部３２０は、所定のコンピュータプログラムに基づいてＣＧ映像Ｖ２を作成し、これを提供する機能を果たし、材料データ格納部３３０は、このＣＧ映像作成部３２０による映像作成の材料となる材料データを格納する機能を果たす。この材料データ格納部３３０には、ＣＧ映像Ｖ２を作成するための様々な材料データを用意しておくことができるが、少なくとも、撮影装置１００の撮影視野に写る背景画像Ｂｋを材料データとして格納しておく必要がある。したがって、図示の実施形態の場合、少なくとも、図６に示すような背景画像Ｂｋが材料データとして格納されていることになる。
【００５１】
なお、日照環境や照明環境が時間に応じて変動する場合、撮影装置１００の撮影視野に写る背景画像Ｂｋも時間に応じて変動することになるので、この場合は、時間帯ごとにそれぞれ異なる複数通りの背景画像Ｂｋを用意しておき、ＣＧ映像作成部３２０が、その時刻に応じて、該当する背景画像Ｂｋを利用してＣＧ画像Ｖ２を作成するようにすればよい。たとえば、朝／昼／夜の３通りの背景画像Ｂｋを用意した場合、午前８：００には、朝の背景画像Ｂｋを利用してＣＧ画像の作成が行われることになる。
【００５２】
ＣＧ映像作成部３２０が作成するＣＧ映像Ｖ２は、この映像情報提示装置によって、通行人に対して提示すべき本来の映像であり、たとえば、商品の広告情報などの映像である。材料データ格納部３３０内には、予め、提示対象となるＣＧ映像Ｖ２の作成に必要な様々な材料データを用意しておくことになる。商品の広告映像の場合、たとえば、当該商品の画像やキャッチコピーなどが、材料データ格納部３３０内に材料データとして用意されることになる。もちろん、ＣＧ映像Ｖ２の上映時間は任意に設定できる。
【００５３】
映像切替部３１０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、ＣＧ映像作成部３２０から提供されたＣＧ映像Ｖ２と、のいずれか一方を選択してディスプレイ装置２００に与え、ディスプレイ装置２００の画面上に、選択された映像を表示させる機能を果たす。より具体的には、映像切替部３１０は、初期状態（たとえば、この制御装置３００を起動した時点や、リセットした時点）ではリアルタイム映像Ｖ１を選択し、切替指示部３６０からＣＧ切替信号Ｓが与えられた時点で選択対象をＣＧ映像Ｖ２に切り替え、この選択されたＣＧ映像Ｖ２が終了した時点で再び選択対象をリアルタイム映像Ｖ１に切り替える処理を行う。結局、ディスプレイ装置２００の画面上には、リアルタイム映像Ｖ１とＣＧ映像Ｖ２とが交互に表示されることになる。
【００５４】
ここに示す基本的実施形態では、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０に対してＣＧ映像終了信号Ｅを送信する。このＣＧ映像終了信号Ｅは、必ずしも実体のある信号である必要はなく、映像切替部３１０に対して、今まで提供していたＣＧ映像の上映が終了したことを示す信号であれば、どのような信号であってもかまわない。たとえば、「実体的な映像データを何も送信しない」ことによって、映像切替部３１０に対して、ＣＧ映像の上映が終了したことを示すようにしてもよい。
【００５５】
切替指示部３６０は、映像切替部３１０に対して、ＣＧ切替信号Ｓを与えるための構成要素であり、映像切替部３１０によるリアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替処理のタイミングを決定する機能を果たす。具体的には、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件（具体的な条件については、§２で詳述する）を満たしたときに、映像切替部３１０およびＣＧ映像作成部３２０に対してＣＧ切替信号Ｓを出力する。映像切替部３１０は、このＣＧ切替信号Ｓを受けたときに、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替処理を実行する。
【００５６】
一方、ＣＧ映像作成部３２０は、このＣＧ切替信号Ｓが与えられると、予め組み込まれていた所定のコンピュータプログラムに基づいて、提示対象となる所定のＣＧ映像Ｖ２（たとえば、広告映像）を作成し、これを映像切替部３１０に与え、その上映が終了した時点でＣＧ映像終了信号Ｅを送信する。ここで重要な点は、このＣＧ映像作成部３２０が作成するＣＧ映像Ｖ２は、動画からなる映像であり、しかも、その初期画像が、動体画像切出部３４０によって所定の切出位置から切り出された動体画像Ｍを、材料データ格納部３３０内に格納されている背景画像Ｂｋ上の上記切出位置に配置することにより得られる合成画像である点である。
【００５７】
図１に示すとおり、ＣＧ映像作成部３２０には、動体画像切出部３４０によって切り出された動体画像Ｍが与えられているので、材料データ格納部３３０内に格納されている背景画像Ｂｋ（たとえば、図６に示す画像）の上に、この動体画像Ｍ（たとえば、図７に示す画像）を重畳すれば、図４に示すリアルタイム映像Ｖ１と同等のＣＧ映像Ｖ２を作成することができる。
【００５８】
図８は、図１に示す映像情報提示装置の映像切替部３１０による切替直前におけるリアルタイム映像Ｖ１、切替直後におけるＣＧ映像Ｖ２、およびこのＣＧ映像Ｖ２の構成内容を示す平面図である。図８(a) は、切替直前におけるリアルタイム映像Ｖ１を示しており、撮影装置１００によって撮影された映像をそのままディスプレイ装置２００の画面上に表示したものである。この映像における通行人Ｐは、撮影装置１００によって撮影された現時点の実在の通行人であり、その背景にある額絵４１，４２などの背景も、撮影装置１００によって撮影された現時点の実在の物体である。
【００５９】
これに対して、図８(b) は、切替直後におけるＣＧ映像Ｖ２を示しており、ＣＧ映像作成部３２０によって作成された動画の初期画像である。切替前後の画像を比べると、内容は全く同じに見えるが、図８(a) が実写に基づくリアルタイム映像Ｖ１であるのに対して、図８(b) はコンピュータで合成されたＣＧ映像Ｖ２ということになる。図８の下段に示すとおり、この図８(b) に示すＣＧ映像Ｖ２は、材料データ格納部３３０内に格納されている背景画像Ｂｋの上に、動体画像切出部３４０によって切り出された動体画像Ｍを重畳して得られた合成画像である。
【００６０】
前述したとおり、動体画像Ｍは、図７に示すように、切出位置情報を含んでいるため、この切出位置情報を考慮して背景画像Ｂｋの上に合成すれば（すなわち、図７の破線枠が、図６の背景画像Ｂｋの画像枠に重なるように合成すれば）、リアルタイム映像Ｖ１と全く同じ位置に通行人Ｐが配置されたＣＧ映像Ｖ２を作成することができる。映像切替部３１０が、ＣＧ映像Ｖ２を選択している間も、動体画像切出部３４０および動体認識部３５０には、引き続き、撮影装置１００によって撮影されたリアルタイム映像Ｖ１が与えられるので、動体画像Ｍは、現時点の通行人Ｐの映像を示すものになる。
【００６１】
したがって、通行人Ｐから見ると、ディスプレイ装置２００上の表示が、図８(b) に示すようなＣＧ映像Ｖ２に切り替わった後も、自分自身の動きに同期して映像内の通行人Ｐも動くことになるので、引き続き、リアルタイム映像Ｖ１を観察しているような錯覚を抱くことになる。すなわち、ディスプレイ画面２００上の表示が、図８(a) に示すリアルタイム映像Ｖ１から、図８(b) に示すＣＧ映像に切り替わっても、通行人Ｐの観点では、何ら変化は生じていないのである。これが、本発明の重要な特徴である。
【００６２】
ディスプレイ装置２００の近傍を通りかかった通行人Ｐは、まず、ディスプレイの画面上に自分自身が登場しているリアルタイム映像Ｖ１を認識する。通常、ディスプレイ装置２００の前を通りかかった通行人Ｐにとって、自分には直接関係のない情報しか含まない広告映像などが表示されていたとしても、それほど注意を引くものではない。ところが、現在通行中の場所を背景として自分自身が写っているリアルタイム映像Ｖ１は、極めて関心の高い情報になる。多くの通行人は、ディスプレイ画面上に自分自身が登場している映像を認識した時点で、ディスプレイ画面を注視することになろう。本発明では、こうして、通行人の注意を画面上に誘導した状態で、リアルタイム映像Ｖ１からＣＧ映像Ｖ２へと切り替え、ＣＧ映像Ｖ２によって、本来提示すべき情報（広告情報など）を通行人に提示するのである。
【００６３】
図８(b) には、切替直後のＣＧ映像Ｖ２しか示されていないが、このＣＧ映像Ｖ２は、撮影装置１００によって撮影された実写映像ではなく、ＣＧ映像作成部３２０によって作成された動画映像であるため、ＣＧ映像作成部３２０内に用意されたプログラムおよび材料データ格納部３３０内に用意された材料データ次第で、切替後に任意の映像に変化させてゆくことができる。なお、より効果的な情報提示を行うための具体的なＣＧ映像Ｖ２の例については、§３で詳述する。
【００６４】
以上、図１のブロック図を参照しながら、本発明の基本的実施形態に係る映像情報提示装置の基本構成および基本動作を説明したが、図に、制御装置３００として示す構成要素は、実際には、コンピュータに所定のプログラムを組み込むことによって実現することができる。
【００６５】
図１にブロックとして示す各構成要素のうち、ディスプレイ装置２００は、たとえば、通行人に映像を提示するのに適した場所に設置する必要があり、撮影装置１００は、この通行人を撮影するのに適した場所に設置する必要があるが、制御装置３００は、コンピュータによって構成することができるので、たとえば、ディスプレイ装置２００のフレーム内に組み込むことも可能である。もちろん、撮影装置１００と制御装置３００との間や、ディスプレイ装置２００と制御装置３００との間は、ＬＡＮやインターネットを介した接続が可能であるので、制御装置３００は、ディスプレイ装置２００や撮影装置１００の設置場所に対する遠隔地に設置してもかまわない。あるいは、制御装置３００を構成する一部の要素（たとえば、材料データ格納部３３０）だけを、他の構成要素に対する遠隔地に設置することも可能である。たとえば、材料データ格納部３３０を、画像データサーバによって構成し、ＣＧ映像作成部３２０が、ネットワーク経由で、種々の材料データを読み込んで用いるようにしてもよい。
【００６６】
＜＜＜ §２．映像の切替タイミング ＞＞＞
既に§１で述べたとおり、図１に示す映像情報提示装置では、映像切替部３１０による切替動作によって、ディスプレイ装置２００の画面上には、リアルタイム映像Ｖ１とＣＧ映像Ｖ２とが交互に表示されることになる。ここで、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切り替えは、切替指示部３６０から与えられるＣＧ切替信号Ｓに基づいて行われ、ＣＧ映像Ｖ２からリアルタイム映像Ｖ１への切り替えは、ＣＧ映像作成部３２０から与えられるＣＧ映像終了信号Ｅに基づいて行われる。
【００６７】
図９は、映像切替部３１０の切替動作および切替指示部３６０の指示動作の例を示すタイミングチャートである。いずれも図の水平方向は時間軸（右方向が正）を示しており、図の上段(a) は、映像切替部３１０の動作を示し、下段(b) は、切替指示部３６０の動作を示している。
【００６８】
図示のとおり、初期状態の時刻ｔ０の時点では、映像切替部３１０はリアルタイム映像Ｖ１を選択した状態にあり、時刻ｔ１において、切替指示部３６０からＣＧ切替信号Ｓが与えられるまで、リアルタイム映像Ｖ１の選択状態が継続する。時刻ｔ１において、切替指示部３６０からＣＧ切替信号Ｓが出力されると、映像切替部３１０の選択対象は、ＣＧ映像Ｖ２に切り替わり、ディスプレイ画面上にはＣＧ映像Ｖ２が表示される。ＣＧ切替信号Ｓは、ＣＧ映像作成部３２０にも与えられるので、ＣＧ映像の作成は、時刻ｔ１から開始されることになる。
【００６９】
やがて、時刻ｔ２になると、ＣＧ映像作成部３２０から映像切替部３１０に対して、ＣＧ映像終了信号Ｅが与えられ、映像切替部３１０の選択対象は、リアルタイム映像Ｖ１に切り替わり、ディスプレイ画面上には再びリアルタイム映像Ｖ１が表示される。このとき、ＣＧ映像終了信号Ｅは、映像切替部３１０から切替指示部３６０へと伝達される。以下、同様にして、ＣＧ切替信号Ｓが与えられたタイミングでＣＧ映像Ｖ２への切り替えが行われ、ＣＧ映像終了信号Ｅが与えられたタイミングでリアルタイム映像Ｖ１への切り替えが行われ、......という動作が繰り返されてゆく。
【００７０】
ここで、ＣＧ映像作成部３２０からＣＧ映像終了信号Ｅが出力されるタイミングは、ＣＧ映像作成部３２０によるＣＧ映像Ｖ２の提供（上映）が終了した時点である。たとえば、ＣＧ映像作成部３２０に組み込まれているプログラムが、１５秒間の広告動画をＣＧ映像Ｖ２として作成する機能をもっていた場合、当該１５秒間の広告動画の上映時間が終了した時点で、ＣＧ映像終了信号Ｅが出力されることになる。。
【００７１】
前述したとおり、ＣＧ映像終了信号Ｅは、必ずしも実体のある信号である必要はなく、「実体的な映像データを何も送信しない」ことにより、ＣＧ映像の終了を映像切替部３１０に伝達することも可能である。このような方法を採る場合、ＣＧ映像作成部３２０は、積極的にＣＧ映像終了信号Ｅを出力する必要はなく、単に、提供対象となるＣＧ映像Ｖ２の映像データを映像切替部３１０に時間軸に沿って送信するだけの処理を行えばよい。映像切替部３１０は、ＣＧ映像作成部３２０からの映像データが途切れた時点で、ＣＧ映像終了信号Ｅが与えられたものと判断し、ＣＧ映像Ｖ２からリアルタイム映像Ｖ１への切り替えを行えばよい。
【００７２】
一方、切替指示部３６０がＣＧ切替信号Ｓを出力するタイミングは、動体認識部３５０によって認識された動体領域Ａに基づいて決定される。§１で述べたとおり、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件を満たしているか否かの条件判定を行う機能を有している。図９のタイミングチャートに示されているとおり、切替指示部３６０は、初期時点ｔ０もしくはＣＧ映像終了信号Ｅが与えられた時点ｔ２から条件判定処理を開始し、現時点で動体認識部３５０から与えられた動体領域Ａが所定条件を満たしているか否かの条件判定を行う。そして、条件満足との判定が得られた時点で、ＣＧ切替信号Ｓを出力するとともに、条件判定処理を休止する。したがって、映像切替部３１０がＣＧ映像Ｖ２を選択している期間中（図の場合、時刻ｔ１〜ｔ２）は、ＣＧ切替信号Ｓが出力されることはない。
【００７３】
図９のタイミングチャートにおける時刻ｔ１の切替時点の前後にディスプレイ画面上に表示される映像は、図８(a) ，(b) に示すようなものになる。すなわち、切替時刻ｔ１の直前には、図８(a) に示すようなリアルタイム映像Ｖ１が表示されており、切替時刻ｔ１の直後には、図８(b) に示すようなＣＧ映像Ｖ２が表示されている。したがって、前述したとおり、この切替動作の前後の映像は、観察者から見る限り同一であるが、切替前がリアルタイム映像Ｖ１（実写映像）であるのに対し、切替後はＣＧ映像Ｖ２（コンピュータによって作成された映像）となっている。このため、時刻ｔ１以降は、実写映像とは無関係に、プログラムに応じた任意の映像を提示することが可能になる。そして、当該任意の映像こそが、本来、通行人に対して提示すべき映像（たとえば、広告映像）であり、通行人に注視してもらいたい映像である。
【００７４】
したがって、「通行人にＣＧ映像Ｖ２を提示する」という本来の目的を達成するためには、「通行人がディスプレイ画面上に注意を向けたタイミング」で、ＣＧ映像Ｖ２への切替処理を行うのが好ましい。すなわち、図９のタイミングチャートにおいて、ＣＧ切替信号Ｓを出力する時刻ｔ１を、通行人がディスプレイ画面上に注意を向けたと推定されるタイミングに設定するのが好ましい。本発明では、当該タイミングを決めるために、動体認識部３５０によって認識された動体領域Ａを利用する。具体的には、動体領域Ａが所定条件を満たした時点を、「通行人がディスプレイ画面上に注意を向けた時点」と推定し、ＣＧ切替信号Ｓを出力する処理が行われる。
【００７５】
このように、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件を満たしたときに、映像切替部３１０およびＣＧ映像作成部３２０に対してＣＧ切替信号Ｓを出力する処理を行う構成要素である。ここで、所定条件としては、動体領域Ａとしてリアルタイム映像Ｖ１上に現れている通行人が、ディスプレイ画面上に注意を向けていると推定できる何らかの条件を設定しておけばよい。ここでは、いくつかの具体的な条件設定の例を以下に掲げておく。
【００７６】
(1) 第１の条件設定例
最も単純な条件は、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件である。たとえば、図５に示すように、ハッチングを施して示した部分が動体領域Ａとして認識された場合、当該動体領域Ａの面積（画素数）を求め、当該面積が所定のしきい値を超えた場合に、条件満足との判定を行い、ＣＧ切替信号Ｓを出力すればよい。具体的には、たとえば、「全映像領域の面積を１００％としたときに、動体領域Ａの占有面積が２０％を超えたら、ＣＧ切替信号Ｓを出力する。」といった処理を行えばよい。
【００７７】
動体領域Ａの占有面積が大きくなればなるほど、通行人Ｐはディスプレイ装置２００に接近した位置に存在すると推定され、それだけディスプレイ画面上に注意を向けていると推定できる。もちろん、通行人が複数存在する場合は、動体領域Ａは、これら複数の通行人に対応する領域になるため、それほどディスプレイ装置２００に近づいていなくても、その占有面積がしきい値を超える可能性がある。ただ、その場合も、多数の通行人がディスプレイ画面上を閲覧していることになるので、そのうちの何人かがディスプレイ画面上に注意を向けている可能性が高くなり、やはりＣＧ切替信号Ｓを出力して、ＣＧ映像Ｖ２に切り替えることに合理的な意味があることになる。このように、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件は、ＣＧ映像Ｖ２に切り替える条件として、非常に合理的な条件ということができる。
【００７８】
なお、実用上は、「動体領域Ａの占有面積が所定のしきい値を超えた時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。具体的には、たとえば「動体領域Ａの占有面積が全映像領域の面積の２０％を超えた時点から５秒経過すること」という条件設定をしておけばよい。たとえば、通行人がディスプレイ画面上を注視した瞬間にＣＧ映像Ｖ２に切り替えるよりも、しばらくの間、当該通行人に自分自身が写ったリアルタイム映像Ｖ１を提示してから、ＣＧ映像Ｖ２に切り替えた方がより効果的である場合には、占有面積が所定のしきい値を超えた時点から所定の遅延時間だけ経過した時点で切り替えを行った方が好ましい。
【００７９】
要するに、この第１の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００８０】
(2) 第２の条件設定例
動体領域Ａは、通行人の視線方向の情報まで正確に与えるものではないので、ディスプレイ画面とは無関係な方向を向いた通行人が、たまたまディスプレイ画面の近くを通り過ぎた場合にも、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件が満たされてしまうケースもあり得る。ここで述べる第２の条件設定例は、そのようなケースも考慮して、より正確な判定が可能になるように上記第１の条件設定に若干修正を加えたものである。
【００８１】
すなわち、この例では、「動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続すること」という条件設定がなされる。たとえば、占有面積に関するしきい値として「全映像領域の面積の２０％」という値を設定した場合でも「動体領域Ａの占有面積が一瞬だけ２０％を超えた」というようなケースは、条件を満足したとは判定されないことになる。条件満足のための継続時間として、たとえば、「５秒」という時間を設定した場合、「動体領域Ａの占有面積が２０％を超えた状態が継続して５秒続いた」ときに、はじめて条件満足との判定がなされることになる。
【００８２】
このような条件設定を行えば、通行人が、たまたまディスプレイ画面の近くを通り過ぎたようなケースでは、条件満足との判定はなされないことになる。通行人が、ディスプレイ画面上に注意を向けているとすれば、ある程度継続して、ディスプレイ画面の近くに滞在することが予想されるので、上記条件は、より正確な判定を行うためのより合理的な条件ということができる。
【００８３】
この場合も、実用上は、「動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。具体的には、たとえば「動体領域Ａの占有面積が２０％を超えた状態が継続して５秒継続した時点から、更に５秒経過すること」という条件設定をしておけばよい。
【００８４】
要するに、この第２の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００８５】
(3) 第３の条件設定例
これまで述べた条件は、「動体領域Ａの占有面積」を基準とした条件であるが、ここで述べる条件は、「動体領域Ａの位置」を基準とした条件ということができる。一般論として、通行人Ｐがディスプレイ画面の端に立っている場合よりも、ディスプレイ画面の中央に立っている場合の方が、画面に注意を向けていると推定できる。したがって、動体領域Ａが、全映像領域の中央に位置していた場合に、当該動体領域Ａに対応する通行人が画面に注意を向けていると推定することは非常に合理的である。
【００８６】
また、ディスプレイ装置２００を設置した具体的環境によっては、最もディスプレイ画面を落ち着いて観察できる特定の場所が存在するケースもあり得る。たとえば、他の通行人の邪魔にならないような特定の観察場所があれば、そのような観察場所に立っている通行人は、ディスプレイ画面に注意を向けている可能性が高い。しかも、そのような特定の観察場所に立っている通行人の位置は、必ずしもディスプレイ画面の中央位置とは限らない。
【００８７】
そこで、ここで述べる例では、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出されること」という条件を設定する。ここで、「動体領域Ａの重心点Ｇ」は、通行人の代表位置を示し、「所定の検出領域Ｚ」は、通行人が当該領域付近に居る場合にディスプレイ画面に注意を向けている可能性が高いと推定される領域を示す。
【００８８】
図１０は、図５に示す動体領域Ａについての重心Ｇを示す平面図である。このような重心Ｇの位置は、動体領域Ａを構成する各画素の座標値に基づく幾何学演算によって算出することができる。一方、図１１は、撮影装置１００の撮影視野Ｖ内に設定された検出領域Ｚ（ハッチング部分）を示す平面図である。ここで、検出領域Ｚは、通行人が当該領域付近に居る場合にディスプレイ画面に注意を向けている可能性が高いと推定される領域であり、図示の例の場合、撮影視野Ｖの中央付近に設定されている。これは、上述したように、通行人が、ディスプレイ画面の中央正面に立っている場合、当該通行人が画面に注意を向けている可能性が高い、という推定に基づくものである。
【００８９】
このような条件設定をした場合、切替指示部３６０は、リアルタイム映像Ｖ１が選択されている期間中、動体認識部３５０から与えられる動体領域Ａの重心Ｇを演算により求め、この重心Ｇが、図１１に示す検出領域Ｚ内に入るか否かを判定する処理を行うことになる。そして、重心Ｇが検出領域Ｚ内に入ると判定された場合は、条件が満足されたものとして、ＣＧ切替信号Ｓを出力することになる。
【００９０】
この場合も、実用上は、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。
【００９１】
要するに、この第３の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００９２】
(4) 第４の条件設定例
上述した第３の条件設定例の場合も、ディスプレイ画面とは無関係な方向を向いた通行人が、たまたまディスプレイ画面の近くを通り過ぎた場合にも、条件満足との判定がなされてしまうケースもあり得る。ここで述べる第４の条件設定例は、そのようなケースも考慮して、より正確な判定が可能になるように上記第３の条件設定に若干修正を加えたものである。
【００９３】
すなわち、この例では、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続すること」という条件設定がなされる。たとえば、図１０に示すような動体領域Ａが得られ、その重心Ｇが、図１１に示す検出領域Ｚ内に入っていたとしても、それだけでは条件満足との判定はなされないことになる。条件満足のための継続時間として、たとえば、「５秒」という時間を設定した場合、「重心Ｇが検出領域Ｚ内に位置する状態が継続して５秒続いた」ときに、はじめて条件満足との判定がなされることになる。
【００９４】
このような条件設定を行えば、通行人が、たまたま検出領域Ｚに対応する場所を通り過ぎたようなケースでは、条件満足との判定はなされないことになる。通行人が、ディスプレイ画面上に注意を向けているとすれば、ある程度継続して、検出領域Ｚに対応する場所に滞在することが予想されるので、上記条件は、より正確な判定を行うためのより合理的な条件ということができる。
【００９５】
この場合も、実用上は、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続した時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。
【００９６】
要するに、この第４の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力する処理を行えばよい。
【００９７】
以上、切替指示部３６０によって行われる条件判定処理を４つの具体例を掲げて説明したが、もちろん、実際には、この他にも様々な条件設定を行うことが可能である。動体領域Ａとしてリアルタイム映像Ｖ１上に現れている通行人が、ディスプレイ画面上に注意を向けていると推定できる条件であれば、どのような条件を設定してもかまわない。
【００９８】
このように、本発明では、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切り替えが、通行人が写っているリアルタイム映像Ｖ１に対する動体認識処理の結果に基づいて行われるため、通行人がディスプレイ装置の画面に注意を向けるであろうと予想される効果的なタイミングで、ＣＧ映像（本来の提示対象映像）の提示を行うことができる。特に、上例のように、動体領域Ａの占有面積が所定のしきい値を超えた時点をトリガーとする切り替えや、動体領域Ａの重心Ｇが、所定の検出領域Ｚ内に検出された時点をトリガーとする切り替えを行うと、通行人が映像閲覧に適した位置にきたタイミングで、ＣＧ映像への切り替えが可能になる。
【００９９】
なお、図９のタイミングチャートに示されているとおり、切替指示部３６０による条件判定処理は、映像切替部３１０がリアルタイム映像Ｖ１を選択している期間のみ行われ、ＣＧ映像Ｖ２を選択している期間は、条件判定処理は休止される。したがって、図示の例の場合、時刻ｔ１〜ｔ２の期間、通行人にＣＧ映像Ｖ２を提示した後、時刻ｔ２で再びリアルタイム映像Ｖ１の提示に切り替わることになり、この時点から条件判定処理が再開されることになる。
【０１００】
この場合、通行人が時刻ｔ１〜ｔ２まで、ずっと同じ場所でディスプレイ画面を閲覧していたとすると、時刻ｔ２以後の条件判定で再び条件満足との判定がなされることになる。このため、上述した第１の条件設定例を採り、「動体領域Ａの占有面積が所定のしきい値を超えた時点」で直ちにＣＧ切替信号Ｓを出力すると、時刻ｔ２の直後に条件満足との判定がなされ、時刻ｔ２において、ほんと一瞬だけリアルタイム映像Ｖ１が提示された後、再び、ＣＧ映像Ｖ２の提示が始まることになる。これは、第３の条件設定例を採り、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点」で直ちにＣＧ切替信号Ｓを出力した場合も同様である。
【０１０１】
このように、時刻ｔ２において、一瞬だけリアルタイム映像Ｖ１が提示されるような事態を避けたい場合には、上述したとおり、各時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにすればよい。あるいは、上述した第２の条件設定例や第４の条件設定例を採るようにすればよい。
【０１０２】
＜＜＜ §３．ＣＧ映像の具体例 ＞＞＞
ここでは、ＣＧ映像作成部３２０によって作成されるＣＧ映像Ｖ２の具体例をいくつか述べておく。前述したとおり、ＣＧ映像作成部３２０には、ＣＧ映像Ｖ２を作成する処理を行うためのプログラムが用意されている。当該プログラムは、材料データ格納部３３０内に格納されている材料データを利用して、情報提供主（たとえば、広告主）が通行人に提示したいと考えている情報をもったＣＧ映像Ｖ２を作成する機能を有している。したがって、作成されるＣＧ映像Ｖ２の具体的な内容は、情報提供主との相談によって決められるべきものであるが、本発明におけるＣＧ映像Ｖ２は、少なくとも特定の条件を満たす画像を初期画像とする動画である必要がある。すなわち、その初期画像は「動体画像切出部３４０によって所定の切出位置から切り出された動体画像Ｍを、材料データ格納部３３０に格納されていた背景画像上の前記切出位置に配置することにより得られる合成画像」である必要がある。
【０１０３】
ＣＧ映像Ｖ２に切り替わった時点で提示される初期画像に、このような条件を付加するのは、切替直前に提示されていたリアルタイム映像Ｖ１との連続性を確保するためである。図８に示す例の場合、通行人Ｐから見ると、ディスプレイ装置２００上の表示が、図８(a) に示すリアルタイム映像Ｖ１から図８(b) に示すＣＧ映像Ｖ２に切り替わっても、引き続き、リアルタイム映像Ｖ１を観察しているような錯覚を抱くことになる。前述したとおり、通行人Ｐにとって、自分には直接関係のない情報しか含まない広告映像などが突然表示されたとしても、それほど注意を引くものではない。ところが、現在通行中の場所を背景として自分自身が写っているリアルタイム映像Ｖ１は、極めて関心の高い情報になる。そこで、このリアルタイム映像Ｖ１に対して連続性をもたせたＣＧ映像Ｖ２を提示すれば、通行人Ｐは、リアルタイム映像Ｖ１と同等の関心をもって、ＣＧ映像Ｖ２を引き続き閲覧する可能性が高い。
【０１０４】
ＣＧ映像Ｖ２の初期画像は、リアルタイム映像Ｖ１から認識された動体画像Ｍ１を背景画像Ｂｋ上に合成した画像であり、リアルタイム映像Ｖ１に非常に近い画像になる。このため、映像の切り替えが行われた後も、通行人Ｐは、しばらくの間は、リアルタイム映像Ｖ１がそのまま継続して表示されているものと錯覚することになる。したがって、ＣＧ映像Ｖ２として提示される内容を、現実世界の出来事の延長線上の出来事として印象づけることができ、臨場感をもった映像提示が可能になり、通行人の注目度をより向上させることができるようになる。
【０１０５】
図８(b) は、切替直後のＣＧ映像Ｖ２であるため、その内容は、図８(a) に示す切替直前のリアルタイム映像と同じものである。しかしながら、このＣＧ映像Ｖ２は、撮影装置１００によって撮影された実写映像ではなく、ＣＧ映像作成部３２０によって作成された動画映像であるため、ＣＧ映像作成部３２０内に用意されたプログラムおよび材料データ格納部３３０内に用意された材料データ次第で、切替後に任意の映像に変化させてゆくことができる。ＣＧ映像Ｖ２の内容をどのように変化させてゆくかは、前述のとおり、広告主等の意向に応じて決定されるべき事項であるが、ここでは、切替直前に提示されていたリアルタイム映像Ｖ１との連続性を確保する上で好ましいと思われる、いくつかの実施形態を例示しておく。
【０１０６】
(1) ＣＧ映像の第１の実施形態
ここで述べる第１の実施形態は、「初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画」からなるＣＧ映像というべきものである。たとえば、図８(b) に示すＣＧ映像（切替直後の初期画像）の場合、通行人Ｐの部分は、動体画像Ｍによって構成されている部分である。通行人Ｐ自身は、当該動体画像Ｍを自分自身の映像として認識しているので、当該動体画像Ｍの部分は、通行人Ｐが最も注視している部分と推定される。したがって、この通行人Ｐの注視の対象物である動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を提示すれば、通行人Ｐの目を当該別な提示対象物に向けることができる。
【０１０７】
図１２は、この第１の実施形態の典型例となるＣＧ映像Ｖ２を示す平面図である。ここで、図１２(a) 〜(e) は、このＣＧ映像Ｖ２の内容の変遷を示すサンプル画像を示しており、図１２(a) から図１２(e) に向かって画像の内容が変遷してゆくことになる。図１２(a) は、この動画の初期画像を示しており、図８(b) と同一の画像（すなわち、図８(a) に示す切替直前のリアルタイム映像Ｖ１と同じ画像）になる。この後、図１２(b) に示すように、映像中の通行人Ｐの部分が徐々にフェードアウトしてゆき、やがて、図１２(c) に示すように、通行人Ｐの部分は完全に消失する。そして、続く図１２(d) では、通行人Ｐの代わりに、別な提示対象物（この例では、広告対象物となるボトル）が徐々にフェードインしてくる。最後に、図１２(e) に示すように、当該対象物（ボトル）が完全に表示され、「Patent Drink」なる商品名とともに、星型のアニメーションが表示される。
【０１０８】
図１２(a) 〜(e) の映像は、いずれも同一の背景画像Ｂｋを用いているが、その上に合成する画像が異なっている。すなわち、図１２(a) ，(b) では、動体画像切出部３４０から与えられる動体画像Ｍを合成対象としているのに対して、図１２(d) ，(e) では、動体画像Ｍの代わりに商品画像「ボトル」を合成対象としている。図１２(a) から(b) への変遷は、いわゆる「αブレンド」という画像合成の手法を利用して、動体画像Ｍの画素値の影響度を徐々に減少させてゆく処理を行い、図１２(d) から(e) への変遷も、同様に「αブレンド」の手法を利用して、ボトルの画像の画素値の影響度を徐々に増加させてゆく処理を行えばよい。なお、ボトルの商品画像、「Patent Drink」なる商品名、星型のアニメーションは、予め材料データ格納部３３０内に材料データとして格納されていたデータを利用してＣＧ画像に組み込まれる。
【０１０９】
図１３は、図１２に示す例の変形例である。図１２に示す例との相違は、図１２(c) に示すように、背景のみの画像提示が行われる状態をなくし、通行人Ｐの部分のフェードアウトと、ボトルの画像部分のフェードインとが一部重なるように設定した点である。したがって、図１３(c) に示すように、通行人Ｐの部分とボトルの画像部分とが重畳表示される期間が確保される。
【０１１０】
いずれの例でも、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画が構成されていることになる。しかも、動体画像と置換後の提示対象物とは、ほぼ同じ位置を占めるので、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画が提示されることになる。通行人Ｐから見ると、ディスプレイ画面上で注視していた自分自身が、その位置でボトルに変化することになるので、ボトルに対する注目度は非常に大きなものになる。
【０１１１】
特に、上例の場合、広告の対象物となる「ボトル」の画像を予め材料データとして用意しておき、ＣＧ映像の初期画像に含まれていた動体画像（通行人の画像）が、その同じ位置において当該広告対象物に置き換えられるＣＧ映像が提示されるので、当該広告対象物に対して強烈な印象を与えることが可能になる。
【０１１２】
なお、動体画像と置換後の提示対象物とを同じ位置に配置するためには、たとえば、初期画像上において、図１０に示す例のように、動体領域Ａの重心Ｇを求めておき、「ボトル」の画像についても同様に重心Ｇ′を求めておき、重心Ｇの位置に重心Ｇ′の位置が重なるように、「ボトル」の画像を配置するようにすればよい。
【０１１３】
なお、ここで述べる第１の実施形態において、動体画像を提示対象物に置き換える手法は、必ずしも「フェードアウト／フェードイン」という手法に限定されるものではなく、この他にも種々の置換手法を採ることが可能である。たとえば、ＣＧで多用されている手法として、「モーフィング」という手法が広く知られている。したがって、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成するようにしてもよい。上例の場合、通行人が徐々にボトルに変形してゆく変形態様が、動画として提示されることになる。
【０１１４】
図１４は、動体画像を提示対象物に置き換える別な手法を示す例である。図示のとおり、通行人の頭上から巨大な靴が落下してきて、通行人を踏みつぶす、という現象を示す映像になっている。この場合も、最終的には、動体画像（通行人）が、その同じ位置において別な提示対象物（巨大な靴）に置き換えられている。巨大な靴を表示する水平方向の位置は、通行人の位置（動体領域Ａの重心Ｇ）に基づいて決定されることになる。この例では、この巨大な靴が広告対象物となっており、通行人に対する靴の広告宣伝効果は非常に大きなものになる。
【０１１５】
なお、何らかの広告対象物を提示するためのＣＧ映像において、動体画像（通行人）を置換する提示対象物は、必ずしも当該広告対象物それ自身である必要はない。図１５は、図１２，図１３に示す例と同様に、「Patent Drink」なる商品を広告対象物とする広告用のＣＧ映像の例である。まず、図１５(a) に示す初期画像の状態から、図１５(b) に示すように通行人が消え（動体画像をフェードアウトして消してもよいし、突然消してもよい）、図１５(c) に示すように、通行人が立っていた後方の壁面にひび割れが生じ、図１５(d) に示すように、壁の中から別な人物が現れ、図１５(e) に示すように、当該別な人物が「Patent Drink」なる商品を飲み干す、という構成の動画である。この場合、動体画像（通行人）を置換する別な提示対象物は、「Patent Drink」なる商品自体ではなく、図示する別な人物ということになる。
【０１１６】
この場合でも、通行人の注意は、自分が立っていた場所に交替して出現した別な人物へ向くことになり、更に、当該別な人物が飲み干した「Patent Drink」なる商品へも向くことになろう。このように、ここで述べる第１の実施形態の特徴は、「初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画」という点にある。特に、背景として初期画像の背景画像をそのまま流用し、動体画像（通行人）の部分のみを別な提示対象物に置換する、という手法を採ると、通行人から見た場合に、自分自身が現在立っている現実の場所において、ＣＧ映像として提示された仮想の事柄が起こっているように見え、臨場感をもった、強烈な印象を与えることが可能になる。
【０１１７】
(2) ＣＧ映像の第２の実施形態
続いて説明する第２の実施形態は、「初期画像に含まれていた背景画像が時間的に変化する動画」からなるＣＧ映像というべきものである。たとえば、図１６に示す例の場合、図１６(a) に示す初期画像は、図８(b) と同一の画像（すなわち、図８(a) に示す切替直前のリアルタイム映像Ｖ１と同じ画像）であるが、この後、図１６(b) 〜図１６(d) に示すように、映像中の通行人Ｐの部分は変化していないのに、背景部分が時々刻々と変化することになる。具体的には、壁面に飾られていた額絵が順に、飾り壷の中へと吸い込まれてゆくＣＧアニメーションが提示され、最後に、図１６(e) に示すように、通行人Ｐが消去され、代わりに広告対象物（ボトル）が出現し、「Patent Drink」なる商品名とともに、星型のアニメーションが表示される。
【０１１８】
このようなＣＧ映像を作成するには、まず、背景用のＣＧアニメーションを用意しておき、材料データ格納部３３０内に材料データとして格納しておくようにする。具体的には、図６に示すような背景画像Ｂｋをもとにして、額絵４１，４２が、飾り壷５０内に順番に吸い込まれるようなアニメーションを作成しておけばよい。このアニメーションには、通行人の画像は一切含まれていない。また、最終的に提示することとなる図１６(e) に示すようなアニメーションも材料データとして用意しておく。
【０１１９】
このような材料データを用意しておけば、ＣＧ映像作成部３２０は、図１６に例示するようなＣＧ映像を作成することができる。すなわち、用意した背景用のＣＧアニメーションの上に、動体画像切出部３４０からリアルタイムで与えられる動体画像Ｍを重ね合わせた合成アニメーション映像を作成し、その最後に、図１６(e) に示すようなアニメーション映像を付加する処理を行えばよい。このようにして作成されたＣＧ映像では、図１６(a) 〜(d) に示す通行人の部分は、リアルタイム映像から各時点でリアルタイムに切り出された画像になるので、通行人の実写映像ということになる。このため、極めて臨場感のある映像提示がなされる。
【０１２０】
このようなＣＧ映像が提示された場合、通行人には、自分自身が、いま現実に立っている場所の景色が、突然、変化し始めたように見えるので、通行人の着目度は極めて高くなる。実際、図１６に示す例では、通行人が現在歩行中のホテルの廊下において、額絵が魔法のように壺に吸い込まれてゆくという非現実的な映像が提示されるので、臨場感がありながら、「現実的には決してあり得ない事象」が提示されるので、通行人に与えるインパクトは非常に大きなものになる。結局、ＣＧ映像として、初期画像に含まれていた背景画像が時間的に変化する動画を提示すれば、通行人に対して、現実世界にいる臨場感を与えながら、その背景が変化するという仮想世界の体験を与えることができるようになり、強烈な印象を与えることが可能になる。
【０１２１】
なお、「現実的には決してあり得ない事象」を提示する代わりに、「現実的に起こり得る事象」を提示してもよい。たとえば、「額絵が壺に吸い込まれる」という現実的にはあり得ない事象の代わりに、「額絵が床に落下する」という現実的に起こり得る事象を提示した場合、通行人の反応は別なものになるであろう。ディスプレイ画面上で額絵が落下するのを見た通行人の中には、実際に額絵が落下したものと思って、壁２０側を振り返って確認する者もいるであろう。現実世界では、額絵には異常がないことを認識した通行人が再びディスプレイ画面を見たタイミングで、図１６(e) のような広告映像が提示されれば、非常にインパクトのある広告効果が得られる。
【０１２２】
もちろん、「背景画像が時間的に変化する動画」は、必ずしも「背景の個々の構成要素が１つずつ順番に変化してゆく」動画に限定されるものではない。図１７は、背景画像の変化の形態を若干変えた実施例を示している。この例の場合、図１７(a) に示す初期画像の状態から、図１７(b) に示すように、初期画像の表示画面全体がバタンと後方へ倒れ込むようなＣＧアニメーションが提示され、その結果、図１７(c) に示すように、別な背景画像が出現し、図１７(d) に示すように、女性が出現して歩み寄り、図１７(e) に示すように、英会話教室の宣伝を行う、というＣＧ映像になっている。
【０１２３】
このＣＧ映像の場合も、通行人が立っている現実世界の背景画像が時間的に変化する動画になっている。このため、通行人には、自分自身が、いま現実に立っている場所の景色が、突然、変化したように見えるので、通行人の着目度は極めて高くなる。図１７(b) では、通行人自身の画像（動体画像）も含めて、図１７(a) に示す初期画像の平面全体がバタンと倒れるアニメーションになっているが、もちろん、背景画像のみをバタンと倒し、通行人自身の画像（動体画像）をそのまま残すようにすることも可能である。その場合、通行人は、新たな背景画像の中で、英会話教室の宣伝女性に声をかけられるという設定になる。
【０１２４】
(3) ＣＧ映像の第３の実施形態
ここで説明する第３の実施形態は、「現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画」からなるＣＧ映像というべきものである。
【０１２５】
図１に示すとおり、撮影装置１００によって撮影されたリアルタイム映像Ｖ１は、画像切替部３１０の切替動作とは無関係に、常に、動体認識部３５０および動体画像切出部３４０に与えられている。したがって、ディスプレイ装置２００上にＣＧ映像Ｖ２が提示されている最中も、動体画像切出部３４０からは、各時点での動体画像Ｍ、すなわち、通行人のその時点でのリアルタイム画像が出力されている。
【０１２６】
このため、たとえば、通行人が体を一方向へ傾けるような動作を行ったとすると、リアルタイム映像Ｖ１に対する動体認識処理によって得られる動体領域Ａは、図１８のように変化することになる。そこで、動体認識部３５０からＣＧ映像作成部３２０に対して、動体領域Ａを示す情報を伝達し、ＣＧ映像作成部３２０に、動体領域Ａの傾斜度を認識する機能をもたせておき（たとえば、図１８にハッチングを施した動体領域Ａについて、各水平ラインごとに中心点を求め、これら中心点を上下に連結して得られる線の近似直線の傾斜度を演算すればよい）、当該傾斜度に合致するように提示対象物を傾斜させたＣＧ映像Ｖ２を作成させればよい。
【０１２７】
図１９は、図１８に示す動体領域Ａ（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物６０（ボトル）が含まれるＣＧ映像Ｖ２の一例を示す平面図である。この例では、提示対象物６０（ボトル）が、図の左方向へ傾いた例が示されているが、これは、ＣＧ映像作成部３２０によって、ボトル６０の向きを、図１８に示す動体領域Ａの傾きに合致させる処理が行われたためである。要するに、ＣＧ映像作成部３２０は、リアルタイム映像Ｖ１から通行人の部分を認識し、その姿勢（体の傾斜方向）に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物６０（ボトル）が含まれるＣＧ映像Ｖ２を作成する処理を行うことになる。このため、通行人が体を左右に傾斜させると、ディスプレイ画面に表示されているＣＧ映像Ｖ２中の提示対象物６０（ボトル）も、通行人の体の動きに合わせて左右に傾斜することになる。
【０１２８】
このように、通行人の観点からは、ＣＧ映像Ｖ２内の提示対象物６０（ボトル）が、自分の姿勢にシンクロナイズしてその姿勢を変えるので、このようなシンクロナイズ現象に気付いた通行人は、様々な姿勢をとりながら、広告映像に見入ることになろう。その結果、「Patent Drink」なる商品のボトルに対する通行人の注目度は極めて高いものとなり、極めて大きな広告効果が得られることになる。
【０１２９】
動体画像Ｍから抽出する特徴は、必ずしも通行人の姿勢に限定されるものではない。たとえば、動体画像Ｍの大きさ（動体領域Ａの面積）を特徴として抽出し、この抽出した大きさに応じて、ＣＧ映像Ｖ２内の提示対象物６０の大きさを変えるような処理を行うことも可能である。具体的には、ＣＧ映像作成部３２０によって、動体領域Ａの面積（画素数）を求める処理を行い、背景画像上に提示対象物６０（ボトル）を重ねて合成する処理を行う際に、提示対象物６０を当該面積に比例した大きさとすればよい。そうすれば、通行人がディスプレイ装置２００から離れると（リアルタイム映像Ｖ１内の動体領域Ａの面積が小さくなると）、ＣＧ映像Ｖ２内の提示対象物６０（ボトル）も小さくなる。結局、通行人がディスプレイ装置２００に近づいたり離れたりすると、それにシンクロナイズして、提示対象物６０（ボトル）がその大きさを変えることになる。
【０１３０】
また、リアルタイム映像Ｖ１から通行人の部分を認識し、その色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれるＣＧ映像Ｖ２を作成することも可能である。図２０は、このような通行人の色彩に関する特徴と提示対象物７０（ボトル）に関する特徴との関連性の一例を示す平面図である。図２０(a) は、リアルタイム映像Ｖ１から認識された動体画像Ｍを示しており、図２０(b) は、ＣＧ映像Ｖ２内に表示する提示対象物７０（ボトル）を示している。ここで、提示対象物７０（ボトル）の各部の色彩を、動体画像Ｍ（リアルタイムで得られている動体画像Ｍではなく、過去の特定タイミングで得られた動体画像でもよい）の各部の色彩に応じて決定するようにする。
【０１３１】
具体的には、たとえば、リアルタイム映像Ｖ１に対する動体認識処理により、図２０(a) に示すような動体画像Ｍを抽出したら、その縦寸法Ｌを測定し、この縦寸法Ｌを基準として、下から１０％，４０％，６０％，８０％，９８％の位置に、それぞれ高さレベルＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５を設定する。そして、動体画像Ｍの画素のうち、高さレベルＬ５にある画素の色の平均値を、ボトル栓部７０Ａの色彩とし、高さレベルＬ１〜Ｌ２の範囲内にある画素の色の平均値を、ボトル本体部７０Ｂの色彩とし、高さレベルＬ３〜Ｌ４の範囲内にある画素の色の平均値を、ボトルラベル部７０Ｃの色彩とする。この場合、材料データ格納部３３０内には、色彩の情報をもたないボトルの画像を材料データとして用意しておき、ＣＧ映像作成部３２０によって、各部の色彩を決定する処理を行えばよい。
【０１３２】
このような方法で色彩を決定した提示対象物７０（ボトル）を用いてＣＧ映像Ｖ２を作成すれば、通行人の全身の色彩分布に類似した色彩分布をもつ提示対象物７０（ボトル）を提示することができる。たとえば、通行人が赤い帽子、黄色いジャケット、水色のジーンズを着用していたとすると、赤いボトル栓部７０Ａ、水色のボトル本体部７０Ｂ、黄色いラベル部７０Ｃをもったボトル７０が、提示対象物として、ＣＧ映像Ｖ２内に表示されることになる。もちろん、色彩をより細かく反映させるようにすれば、衣服の柄と同じ模様をもったボトルを表示させることも可能である。
【０１３３】
このように、リアルタイム映像Ｖ１から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と類似した特徴をもった提示対象物が含まれるＣＧ映像Ｖ２を作成すれば、リアルタイム映像Ｖ１として撮影された現実世界とＣＧ映像Ｖ２として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。
【０１３４】
＜＜＜ §４．その他の変形例 ＞＞＞
ここでは、これまで述べてきた基本的実施形態に対するいくつかの変形例を提案しておく。
【０１３５】
(1) ＣＧ映像終了信号Ｅの送信方法の変形例
図１に示す映像情報提示装置では、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０に対してＣＧ映像終了信号Ｅを送信し、映像切替部３１０が、このＣＧ映像終了信号Ｅを受けた時点で選択対象をリアルタイム映像Ｖ１に切り替える処理を行うとともに、切替指示部３６０に対してＣＧ映像終了信号Ｅを送信し、切替指示部３６０が、映像切替部３１０から送信されてきたＣＧ映像終了信号Ｅを受信することにより、映像切替部３１０が選択対象をリアルタイム映像Ｖ１に切り替えたことを認識する構成をとっていた。
【０１３６】
しかしながら、切替指示部３６０へのＣＧ映像終了信号Ｅの送信は、必ずしも映像切替部３１０の機能として実行する必要はない。たとえば、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０および切替指示部３６０の双方に対してＣＧ映像終了信号Ｅを送信するようにし、映像切替部３１０が、このＣＧ映像終了信号Ｅを受けた時点で選択対象をリアルタイム映像Ｖ１に切り替える処理を行い、切替指示部３６０が、ＣＧ映像作成部３２０から送信されてきたＣＧ映像終了信号Ｅを受信することにより、映像切替部３１０が選択対象をリアルタイム映像Ｖ１に切り替えたことを認識する構成をとってもかまわない。
【０１３７】
(2) 背景画像Ｂｋの格納方法の変形例
図１に示す映像情報提示装置では、予め背景画像Ｂｋを用意し、これを材料データ格納部３３０内に格納しておき、ＣＧ映像作成部３２０が、この予め用意した背景画像Ｂｋを利用してＣＧ映像Ｖ２を作成することになる。このとき、もし、日照条件や照明環境などによって背景画像が時間に応じて変動するのであれば、たとえば、朝／昼／夜の３通りの背景画像Ｂｋを用意して、ＣＧ映像を作成する時間帯に応じて、用いる背景画像Ｂｋを使い分けるような手法を採ることが可能であることは既に説明した。ここで述べる変形例では、用いる背景画像Ｂｋを、リアルタイム映像Ｖ１を利用して作成する方法を採る。
【０１３８】
図２１は、この変形例に係る映像情報提示装置の構成を示すブロック図である。図１に示す装置との相違点は、制御装置３００が、新たな構成要素である背景画像生成部３７０を有する点である。この背景画像生成部３７０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて、撮影装置１００の撮影視野に写る背景画像Ｂｋを生成し、生成した背景画像Ｂｋを材料データ格納部３３０に材料データとして格納する処理を行う構成要素である。
【０１３９】
背景画像生成部３７０が、所定のタイミングで（たとえば、１時間おきに）、新たな背景画像Ｂｋを生成して、材料データ格納部３３０内に格納する処理を繰り返し実行するようにすれば、材料データ格納部３３０内には、常に、最新の背景画像Ｂｋが用意された状態になる。このようにすれば、ＣＧ映像作成部３２０によって作成されるＣＧ映像Ｖ２の初期画面の背景画像が、できるだけ現時点の実際の背景に近い画像になるので、時間に応じて背景画像の明るさなどが変動した場合にも、常に、現時点に近い背景画像を用いたＣＧ映像を作成することができるようになる。
【０１４０】
背景画像生成部３７０によって、ある時点における背景画像Ｂｋを生成する１つの方法としては、動体認識部３５０と同様に、所定サンプル期間内の平均画素値を求める方法を採ることができる。すなわち、背景画像生成部３７０に、リアルタイム映像Ｖ１を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内（たとえば、過去１時間の間）の平均画素値を演算する機能をもたせておき、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行わせればよい。通行人などの動体は、絶えず移動していると考えられるので、所定サンプル期間内の平均画素値をとれば、動体の情報は希釈され、有意な情報としては残らなくなる。
【０１４１】
別な方法は、通行人がいないときに得られた撮影画像を、そのまま背景画像とする方法である。具体的には、動体認識部３５０による認識結果を背景画像生成部３７０へ伝達させるようにし、動体認識部３５０によって動体が認識されていない時点におけるリアルタイム映像Ｖ１を背景画像Ｂｋとして取り込み、これを材料データ格納部３３０に格納させればよい。たとえば、動体認識部３５０から背景画像生成部３７０に対して、動体領域Ａの情報を伝達させるようにする。そして、背景画像生成部３７０は、この動体領域Ａの面積が零もしくは所定の微小基準値以下であった場合に、その時点で与えられているリアルタイム映像Ｖ１の静止画像を背景画像Ｂｋとして、材料データ格納部３３０に格納すればよい。
【０１４２】
(3) 切替前後の画像の同一性
これまでの実施形態では、図８(a) ，(b) に示すように、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替前後においてディスプレイ画面上に提示される画像が、同一であるという説明を行ってきた。そうすることによって、映像を閲覧している通行人に対して、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への変遷を感じさせず、切替後もリアルタイム映像Ｖ１がそのまま継続して表示されているとの錯覚を与えることが可能になる。
【０１４３】
ただ、本発明の最終目的は、ディスプレイ画面上に表示されるＣＧ映像に対して、通行人の注目度をより向上させることにあり、当該目的を達成する上では、切替前後の画像が完全同一である必要はない。実際、材料データ格納部３３０内に用意されている背景画像Ｂｋは、リアルタイム映像Ｖ１内の個々の時点における背景画像とは正確には一致しないため、図８(a) に示す切替直前のリアルタイム映像Ｖ１と、図８(b) に示す切替直後のＣＧ映像Ｖ２（動画の初期画像）とは、厳密な意味では同一の画像ではない。
【０１４４】
このように、切替前後の画像が正確には同一ではなくても、通行人が、切替後に提示されるＣＧ映像の内容を、現実世界の出来事の延長線上の出来事として把握することができれば、通行人に対して臨場感をもった映像提示が可能になり、通行人の注目度を向上させるという作用効果を得ることができる。したがって、本発明を実施する上で、切替前後の画像を厳密に一致させるために大きな労力を費やす必要はない。
【０１４５】
また、切替前後で、意図的に画質や色相を変えるような方法を採ることも可能である。たとえば、切替直前まではリアルタイム映像Ｖ１をモノクロ画像として提示しておき、切替直後はカラーのＣＧ画像Ｖ２を提示する、という手法をとってもよい。この場合、図８(a) に示す切替直前のリアルタイム映像Ｖ１はモノクロ画像であり、図８(b) に示す切替直後のＣＧ映像Ｖ２はカラー画像ということになり、画像としては、もちろん同一ではない。しかしながら、切替前後で描写されている情景は同じであるので、通行人は「モノクロ画像に急に色彩が現れた」という印象をもつであろう。しかも、ディスプレイ画面上に表示されている被写体や背景は変わらないため、やはり臨場感をもった映像提示を行うことができる。
【０１４６】
＜＜＜ §５．映像情報提示方法の手順 ＞＞＞
最後に、本発明に係る映像情報提示方法の基本手順を、図２２の流れ図を参照しながら説明する。この方法は、通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置２００と、このディスプレイ装置２００の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置１００と、このディスプレイ装置２００を制御する制御装置３００と、を用いて、通行人に対して映像情報を提示する映像情報提示方法ということになる。ここで、制御装置３００は、図２２の流れ図に示すように、ステップＳ１〜Ｓ６を順次実行する機能を有する。
【０１４７】
まず、ステップＳ１のリアルタイム映像表示開始段階は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１をディスプレイ装置２００に与えて、ディスプレイ装置２００の画面上に表示する処理を開始する段階である。図９のタイムチャートでは、時刻ｔ０〜ｔ１の段階ということになる。
【０１４８】
続く、ステップＳ２の動体認識段階は、このリアルタイム映像Ｖ１の表示が行われているときに、当該リアルタイム映像Ｖ１に基づいて動体認識を行う段階である。図９のタイムチャートでは、やはり時刻ｔ０〜ｔ１の段階ということになる。このステップＳ２において、動体が認識されなかったときは、ステップＳ３を経て、何度もステップＳ２が繰り返されることになる。
【０１４９】
一方、動体認識がなされた場合は、ステップＳ３からステップＳ４へと進み、条件判定段階が実行される。この段階では、リアルタイム映像Ｖ１上で認識された動体が占める動体領域Ａが所定条件を満足するか否かの判定が行われる。具体的な判定条件については、§２で述べたとおりである。このステップＳ４において、条件満足との判定がなされなかったときは、ステップＳ５を経て、ステップＳ２へ戻ることになる。
【０１５０】
このステップＳ４の条件判定段階で条件満足との判定がなされたときには、ステップＳ５を経て、ステップＳ６のＣＧ映像作成表示段階が実行される。この段階では、ＣＧ映像Ｖ２を作成し、リアルタイム映像Ｖ１の代わりに、作成したＣＧ映像Ｖ２をディスプレイ装置２００に与え、このディスプレイ装置２００の画面上にＣＧ映像Ｖ２を表示させる処理が行われる。このＣＧ映像作成表示段階が終了すると、ステップＳ１のリアルタイム映像表示開始段階へと戻る処理が行われる。
【０１５１】
ここで重要な点は、ステップＳ６のＣＧ映像作成表示段階において、「リアルタイム映像Ｖ１内の動体画像Ｍを、撮影装置１００の撮影視野に写る背景画像Ｂｋ上に配置することにより得られる合成画像」を初期画像とするＣＧ映像が作成される点である。そうすることにより、通行人は、ＣＧ映像Ｖ２をリアルタイム映像Ｖ１に継続した映像と認識し、ＣＧ映像Ｖ２として提示される内容を、現実世界の出来事の延長線上の出来事として捉えることになる。このため、極めて臨場感の高い映像提示が可能になり、通行人の注目度をより向上させることができる、という作用効果が得られる。
【符号の説明】
【０１５２】
１０：壁
２０：壁
３０：床
４１，４２：額絵
４３：照明器具
５０：飾り壺
６０：提示対象物（ボトル）
７０：提示対象物（ボトル）
７０Ａ：ボトル栓部
７０Ｂ：ボトル本体部
７０Ｃ：ボトルラベル部
１００：撮影装置
２００：ディスプレイ装置
３００：制御装置
３１０：映像切替部
３２０：ＣＧ映像作成部
３３０：材料データ格納部
３４０：動体画像切出部
３５０：動体認識部
３６０：切替指示部
３７０：背景画像生成部
Ａ：動体領域
Ｂｋ：背景画像
Ｅ：ＣＧ映像終了信号
Ｇ：重心
Ｌ：通行人画像の縦寸法
Ｌ１〜Ｌ５：通行人画像の高さレベル
Ｍ：動体画像
Ｐ：通行人
Ｓ：ＣＧ切替信号
Ｓ１〜Ｓ６：流れ図の各ステップ
ｔ０〜ｔ２：時刻
Ｖ：撮影視野
Ｖ１：リアルタイム映像
Ｖ２：ＣＧ映像
Ｚ：検出領域
【技術分野】
【０００１】
本発明は、通行人に対して映像情報を提示する映像情報提示装置に関し、特に、不特定多数の者が往来する街頭や公共施設などに設置して、広告その他の情報をディスプレイ画面上で提示する装置に関する。
【背景技術】
【０００２】
不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館などの公共施設において、通行人に対して広告その他の情報をディスプレイ画面上で提示する映像情報提示装置は古くから利用されている。近年は、デジタル映像を作成し、これを配信する技術が向上したため、コンピュータを利用した様々なデジタル技術を活用して情報提示を行うデジタルサイネージと呼ばれる広告媒体も普及している。
【０００３】
たとえば、下記の特許文献１には、ディスプレイ画面上に表示する映像の視野角を制御することにより、観察位置に応じて異なる映像を提示する技術が開示されている。また、特許文献２には、テレビ放送を街頭で提示する際に、時間帯ごとに放送局を切り替え、当該切替時に広告を挿入することにより、広告への誘因頻度を高める技術が開示されている。更に、特許文献３には、利用者自身が入力した文字情報を、街頭に設置したディスプレイ画面上に表示させることにより、注目度を高める技術が開示されており、特許文献４には、ディスプレイ画面上に提示した質問に対する回答を利用者の端末装置経由で収集し、回答の集計結果に基づく広告をディスプレイ画面上に表示することにより、利用者の需要に適合した広告を提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２３０７３５号公報
【特許文献２】特開２００２−２５１５６６号公報
【特許文献３】特開２００３−１５５６７号公報
【特許文献４】特開２００３−２２３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
不特定多数の者が往来する街頭や公共施設などに映像情報提示装置を設置する目的は、当然ながら、広告その他の提示対象情報を通行人に伝達することにある。街頭に設置された大型ディスプレイ装置を用いた広告提示や、通信技術やＣＧ技術を利用したデジタルサイネージは、当初は物珍しさから注目度も高かったが、最近は様々な場所で頻繁に見かけるようになってきており、今後は陳腐化の一途を辿ることは避けられない。このため、前掲の各特許文献に開示されているような技術を導入することにより、通行人の注目度を高める工夫がなされているが、通行人の注意を引きつける効果がそれほど向上していないのが現状である。特に、商業的な広告情報の提示を行う場合、投資に見合う十分な費用対効果が得られないことは大きな問題になる。
【０００６】
そこで本発明は、通行人の注目度をより向上させることが可能な映像情報提示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
(1) 本発明の第１の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
ディスプレイ装置を制御する制御装置と、
を設け、
制御装置には、
撮影装置によって撮影されたリアルタイム映像に基づいて動体認識を行い、動体が占める動体領域を決定する動体認識部と、
撮影装置によって撮影されたリアルタイム映像における動体領域内の画像を動体画像として切り出す動体画像切出部と、
所定のコンピュータプログラムに基づいてＣＧ映像を作成し、これを提供するＣＧ映像作成部と、
ＣＧ映像作成部による映像作成の材料となる材料データを格納した材料データ格納部と、
撮影装置によって撮影されたリアルタイム映像と、ＣＧ映像作成部から提供されたＣＧ映像と、のいずれか一方を選択してディスプレイ装置に与え、ディスプレイ装置の画面上に、選択された映像を表示させる映像切替部と、
映像切替部がリアルタイム映像を選択中に、動体認識部によって認識された動体領域が所定条件を満たしたときに、映像切替部およびＣＧ映像作成部に対してＣＧ切替信号を出力する切替指示部と、
を設け、
映像切替部は、初期状態ではリアルタイム映像を選択し、ＣＧ切替信号が与えられた時点で選択対象をＣＧ映像に切り替え、選択されたＣＧ映像が終了した時点で再び選択対象をリアルタイム映像に切り替える処理を行い、
材料データ格納部には、少なくとも撮影装置の撮影視野に写る背景画像が材料データとして格納されており、
ＣＧ映像作成部は、ＣＧ切替信号が与えられたときに、動体画像切出部によって所定の切出位置から切り出された動体画像を背景画像上の上記切出位置に配置することにより得られる合成画像を初期画像とする動画からなるＣＧ映像を作成し、これを映像切替部に与えるようにしたものである。
【０００８】
(2) 本発明の第２の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【０００９】
(3) 本発明の第３の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１０】
(4) 本発明の第４の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１１】
(5) 本発明の第５の態様は、上述の第１の態様に係る映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力するようにしたものである。
【００１２】
(6) 本発明の第６の態様は、上述の第１〜第５の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部に対してＣＧ映像終了信号を送信し、
映像切替部が、ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行うとともに、切替指示部に対してＣＧ映像終了信号を送信し、
切替指示部が、ＣＧ映像終了信号の受信により、映像切替部が選択対象をリアルタイム映像に切り替えたことを認識するようにしたものである。
【００１３】
(7) 本発明の第７の態様は、上述の第１〜第５の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部および切替指示部に対してＣＧ映像終了信号を送信し、
映像切替部が、ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行い、
切替指示部が、ＣＧ映像終了信号の受信により、映像切替部が選択対象をリアルタイム映像に切り替えたことを認識するようにしたものである。
【００１４】
(8) 本発明の第８の態様は、上述の第１〜第７の態様に係る映像情報提示装置において、
動体認識部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、当該現静止画像についての動体領域と決定するようにしたものである。
【００１５】
(9) 本発明の第９の態様は、上述の第１〜第８の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を作成するようにしたものである。
【００１６】
(10) 本発明の第１０の態様は、上述の第９の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画を作成するようにしたものである。
【００１７】
(11) 本発明の第１１の態様は、上述の第９の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成するようにしたものである。
【００１８】
(12) 本発明の第１２の態様は、上述の第１〜第１１の態様に係る映像情報提示装置において、
ＣＧ映像格納部が、初期画像に含まれていた背景画像が時間的に変化する動画を作成するようにしたものである。
【００１９】
(13) 本発明の第１３の態様は、上述の第１〜第１２の態様に係る映像情報提示装置において、
ＣＧ映像作成部が、現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画を作成するようにしたものである。
【００２０】
(14) 本発明の第１４の態様は、上述の第１〜第１３の態様に係る映像情報提示装置において、
制御装置が、撮影装置によって撮影されたリアルタイム映像に基づいて、撮影装置の撮影視野に写る背景画像を生成し、生成した背景画像を材料データ格納部に材料データとして格納する処理を行う背景画像生成部を更に有するようにしたものである。
【００２１】
(15) 本発明の第１５の態様は、上述の第１４の態様に係る映像情報提示装置において、
背景画像生成部が、動体認識部によって動体が認識されていない時点におけるリアルタイム映像を背景画像として取り込み、これを材料データ格納部に格納する処理を行うようにしたものである。
【００２２】
(16) 本発明の第１６の態様は、上述の第１４の態様に係る映像情報提示装置において、
背景画像生成部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行うようにしたものである。
【００２３】
(17) 本発明の第１７の態様は、上述の第１〜１６の態様に係る映像情報提示装置における制御装置を、コンピュータにプログラムを組み込むことによって構成するようにしたものである。
【００２４】
(18) 本発明の第１８の態様は、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
ディスプレイ装置を制御する制御装置と、
を用いて、通行人に対して映像情報を提示する映像情報提示方法において、
制御装置が、
撮影装置によって撮影されたリアルタイム映像をディスプレイ装置に与えて、ディスプレイ装置の画面上に表示する処理を開始するリアルタイム映像表示開始段階と、
リアルタイム映像の表示が行われているときに、リアルタイム映像に基づいて動体認識を行う動体認識段階と、
動体認識段階で動体が認識されたときに、映像上で認識された動体が占める動体領域が所定条件を満足するか否かを判定する条件判定段階と、
条件判定段階で条件満足との判定がなされたときに、ＣＧ映像を作成し、リアルタイム映像の代わりに、作成したＣＧ映像をディスプレイ装置に与えて、ディスプレイ装置の画面上に表示するＣＧ映像作成表示段階と、
を実行し、ＣＧ映像作成表示段階が終了したときに、再びリアルタイム映像表示開始段階へと戻る処理を行い、
ＣＧ映像作成表示段階において、リアルタイム映像内の動体画像を撮影装置の撮影視野に写る背景画像上に配置することにより得られる合成画像を初期画像とするＣＧ映像を作成し、これを表示するようにしたものである。
【発明の効果】
【００２５】
本発明に係る映像情報提示装置では、通行人自身の映像がリアルタイム映像として撮影されるとともに、ＣＧ映像（本来の提示対象映像、たとえば、広告映像）の作成も行われる。そして、ディスプレイ装置の画面上には、リアルタイム映像とＣＧ映像とが切り替えられて表示される。このため、ディスプレイ画面上に自分自身が登場しているリアルタイム映像を認識した通行人は、必然的に当該映像に注意を向けることになる。やがて、リアルタイム映像はＣＧ映像（本来の提示対象映像）に切り替えられるので、通行人の注意が向いた状態で提示対象映像の提示が行われることになり、通行人の注目度をより向上させることができる。
【００２６】
リアルタイム映像からＣＧ映像への切り替えは、通行人が写っているリアルタイム映像に対する動体認識処理の結果に基づいて行われるため、通行人がディスプレイ装置の画面に注意を向けるであろうと予想される効果的なタイミングで、ＣＧ映像（本来の提示対象映像）の提示を行うことができる。特に、動体領域の占有面積が所定のしきい値を超えた時点をトリガーとする切り替えや、動体領域の重心点が、所定の検出領域内に検出された時点をトリガーとする切り替えを行うと、通行人が映像閲覧に適した位置にきたタイミングで、ＣＧ映像への切り替えが可能になる。
【００２７】
しかも、ＣＧ映像の初期画像は、リアルタイム映像から認識された動体画像を背景画像上に合成した画像であり、リアルタイム映像に非常に近い画像になる。このため、リアルタイム映像からＣＧ映像への切り替えが行われた後も、通行人は、しばらくの間は、リアルタイム映像がそのまま継続して表示されているものと錯覚することになる。したがって、ＣＧ映像として提示される内容を、現実世界の出来事の延長線上の出来事として印象づけることができ、極めて臨場感をもった映像提示が可能になり、通行人の注目度をより向上させることができるようになる。
【００２８】
特に、広告の対象物など、通行人に対してアピールしたい何らかの提示対象物（たとえば、広告対象となる商品）が存在する場合、ＣＧ映像の初期画像に含まれていた動体画像（通行人の画像）が、その同じ位置において当該提示対象物に置き換えられるＣＧ映像を作成するようにすれば、通行人には、自分自身が広告対象商品などの対象物に置き換わる動画を提示することできるので、当該対象物に対して強烈な印象を与えることが可能になる。
【００２９】
また、ＣＧ映像として、初期画像に含まれていた背景画像が時間的に変化する動画を提示すれば、通行人に対して、現実世界にいる臨場感を与えながら、その背景が変化するという仮想世界の体験を与えることができるようになり、強烈な印象を与えることが可能になる。
【００３０】
更に、リアルタイム映像から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と関連した特徴をもった提示対象物が含まれるＣＧ映像を作成すれば、リアルタイム映像として撮影された現実世界と、ＣＧ映像として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の基本的実施形態に係る映像情報提示装置の構成を示すブロック図である。
【図２】図１に示す映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。
【図３】図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。
【図４】図１に示す映像情報提示装置の撮影装置１００によって撮影されたリアルタイム映像Ｖ１の一例を示す平面図である。
【図５】図１に示す映像情報提示装置の動体認識部３５０によって認識された動体領域Ａ（ハッチング部分）を示す平面図である。
【図６】図１に示す映像情報提示装置の材料データ格納部３３０内に用意されている背景画像Ｂｋを示す平面図である。
【図７】図１に示す映像情報提示装置の動体画像切出部３４０によって切り出された動体画像Ｍ（人物の部分）を示す平面図である。
【図８】図１に示す映像情報提示装置の映像切替部３１０による切替直前におけるリアルタイム映像Ｖ１、切替直後におけるＣＧ映像Ｖ２、およびＣＧ映像Ｖ２の構成内容を示す平面図である。
【図９】図１に示す映像情報提示装置の映像切替部３１０の切替動作および切替指示部３６０の指示動作の例を示すタイミングチャートである。
【図１０】図５に示す動体領域Ａについての重心Ｇを示す平面図である。
【図１１】図１に示す映像情報提示装置の撮影装置１００の撮影視野Ｖ内に設定された検出領域Ｚ（ハッチング部分）を示す平面図である。
【図１２】図１に示す映像情報提示装置において提示されるＣＧ映像の第１の例を示す平面図である。
【図１３】図１に示す映像情報提示装置において提示されるＣＧ映像の第２の例を示す平面図である。
【図１４】図１に示す映像情報提示装置において提示されるＣＧ映像の第３の例を示す平面図である。
【図１５】図１に示す映像情報提示装置において提示されるＣＧ映像の第４の例を示す平面図である。
【図１６】図１に示す映像情報提示装置において提示されるＣＧ映像の第５の例を示す平面図である。
【図１７】図１に示す映像情報提示装置において提示されるＣＧ映像の第６の例を示す平面図である。
【図１８】図１に示す映像情報提示装置の動体認識部３５０によって認識された動体領域Ａ（ハッチング部分）の別な例（通行人が姿勢を変えた例）を示す平面図である。
【図１９】図１８に示す動体領域Ａ（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物（ボトル）が含まれるＣＧ映像Ｖ２の一例を示す平面図である。
【図２０】通行人の色彩に関する特徴と提示対象物（ボトル）の色彩に関する特徴との関連性の一例を示す平面図である。
【図２１】本発明の変形例に係る映像情報提示装置の構成を示すブロック図である。
【図２２】本発明に係る映像情報提示方法の手順を示す流れ図である。
【発明を実施するための形態】
【００３２】
以下、本発明を図示する実施形態に基づいて説明する。
【００３３】
＜＜＜ §１．基本的実施形態の構成および動作 ＞＞＞
図１は、本発明の基本的実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図示のとおり、この装置は、撮影装置１００、ディスプレイ装置２００、制御装置３００によって構成され、通行人に対して映像情報を提示する機能を果たす。
【００３４】
ここで、ディスプレイ装置２００は、通行人の移動経路もしくは立寄場所に設置され、撮影装置１００は、このディスプレイ装置２００の表示画面を観察中の通行人を撮影するのに適した位置に設置される。図２は、この映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。ディスプレイ装置２００は、不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館など、様々な場所に設置することが可能である。図には、このディスプレイ装置２００の正面を通行しながら、その表示画面を観察している通行人Ｐが描かれている。撮影装置１００は、このように、ディスプレイ装置２００の表示画面を観察中の通行人Ｐを撮影するのに適した位置に設置される。図示の例の場合、ディスプレイ装置２００の上部中央に撮影装置１００が取り付けられている。
【００３５】
撮影装置１００は、通行人を撮影して動画からなる映像信号を生成する機能をもった装置であれば、どのような装置を用いてもかまわない。一般的には、動画を撮影して映像データを生成する機能をもったデジタルビデオカメラを用いるのが好ましいが、アナログ式のビデオカメラを用いてもかまわない（この場合、後述する動体認識処理などを行う際には、アナログ映像信号をデジタル映像データに変換する処理が必要になる）。一方、ディスプレイ装置２００は、後に詳述する制御装置３００から提供される映像信号に基づいて画面上に映像を提示する機能をもった装置であれば、どのような装置を用いてもかまわない。図には、比較的大型の平面型ディスプレイを用いた例が示されているが、提示対象となる映像の内容、提示目的、設置場所などに応じて、任意のサイズの任意の方式のディスプレイ装置を用いることができる。
【００３６】
図３は、図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。ここでは、説明の便宜上、撮影装置１００およびディスプレイ装置２００が、ホテル内の通路に設置されている例を示すことにする。図示のとおり、この通路は、壁１０，２０によって仕切られており、通行人Ｐは通路の床３０上を歩行することになる。壁１０には、壁掛け式のディスプレイ装置２００が取り付けられており、その上部中央には撮影装置１００が取り付けられている。図の一点鎖線は、この撮影装置１００の撮影視野を示しており、壁２０を背景として通行人Ｐが撮影視野内に入っている。
【００３７】
図４は、図３に示す撮影視野内の映像を示す平面図である。ここでは、説明の便宜上、壁２０には、額絵４１，４２および照明器具４３が取り付けられており、壁２０の近傍には、飾り壺５０が置かれているものとする。撮影視野内の映像には、これらの物品を含め、壁２０および床３０を背景として、通行人Ｐが写っている。当該映像は、撮影装置１００によってリアルタイムで撮影された映像であるため、以下、「リアルタイム映像Ｖ１」と呼ぶことにする。ここに示す実施形態の場合、撮影装置１００としてデジタルビデオカメラを用いており、リアルタイム映像Ｖ１は、このデジタルビデオカメラによって撮影された現時点の映像ということになる。
【００３８】
続いて、制御装置３００の構成および動作を説明する。制御装置３００は、図１に一点鎖線で囲った領域内に描かれている各構成要素３１０〜３６０を有しており、ディスプレイ装置２００を制御する機能を果たす。具体的には、図示のとおり、制御装置３００には、映像切替部３１０、ＣＧ映像作成部３２０、材料データ格納部３３０、動体画像切出部３４０、動体認識部３５０、切替指示部３６０が設けられている。以下、これらの各構成要素を順に説明する。
【００３９】
まず、動体認識部３５０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて動体認識を行い、動体が占める動体領域Ａを決定する処理を行う構成要素である。図示のとおり、撮影装置１００によって得られたリアルタイム映像Ｖ１は、動体認識部３５０へと与えられる。リアルタイム映像Ｖ１は、１コマ１コマの静止画像（フレーム）を時系列上に並べることによって構成されており、動体認識部３５０は、これら時系列上の静止画像を解析し、動体が存在すると予想される動体領域Ａを認識する処理を行う。
【００４０】
図５は、このような動体認識処理によって認識された動体領域Ａ（ハッチング部分）を示す平面図である。この例の場合、図４に示す通行人Ｐの部分が動体領域Ａとして認識されている。これは、図４に示す壁２０，床３０，額絵４１，４２，照明器具４３，飾り壷５０などが静止しているのに対して、通行人Ｐが動いているため、通行人Ｐの部分を動体として認識したためである。
【００４１】
このような動体認識のアルゴリズムとしては、たとえば、リアルタイム映像Ｖ１を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と前記平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、当該現静止画像についての動体領域と決定する、という手法が利用されている。
【００４２】
具体的には、図４に示す映像Ｖ１の場合、たとえば、額絵４１の位置にある各画素については、所定サンプル期間を適当に決めてやれば、現時点の画素値と過去の所定サンプル期間内の平均画素値との差は、ほとんど零であろう。これに対して、通行人Ｐの位置にある各画素については、通行人Ｐが現れてからの画素値と過去の所定サンプル期間内の平均画素値との差は、かなり大きくなる。したがって、当該差が所定の基準を超える画素の集合からなる領域を、動体領域Ａとして抽出すれば、図５に示す例のように、通行人Ｐの部分が動体領域Ａとして抽出できる。
【００４３】
なお、カラー画像の場合、三原色についての三次元色空間内に、個々の画素値（三原色を示す３つの画素値）に対応する座標点をプロットし、２つの座標点間のユークリッド距離を、両画素値の差と定義するような手法を採ればよい。
【００４４】
所定サンプル期間としては、たとえば、過去１０時間というような設定を行うこともできるし、過去１ヶ月間というような長期設定を行うこともできる。サンプル期間内の平均画素値をもった画素によって構成される画像は、結局、図６に示すような背景画像Ｂｋに対応する画像になる。背景が不変であるという前提であれば、サンプル期間を長く設定すればするほど、得られる背景画像Ｂｋの精度は高くなる。したがって、図示の例のように、室内であって、その照明環境が２４時間不変であるような場合には、サンプル期間はできるだけ長く設定した方がよい。逆に、屋外の場合、あるいは室内であっても照明環境が変化するような場合には、あまり長いサンプル期間を設定すると、かえって得られる背景画像Ｂｋの精度は低下してしまう。このような場合は、たとえば、過去３０分間というようなサンプル期間を設定するのが望ましい。
【００４５】
このように、一般的な動体認識処理は、時系列的に連続する多数の静止画像の各画素の画素値の変動を調べ、過去のサンプル期間内の平均画素値に対する画素値の変動が所定の許容範囲内である画素は背景領域の画素と判断し、画素値の変動が許容範囲を超える画素は動体領域の画素と判断する、という基本原理に基づくものである。このような動体認識の具体的方法は、様々な分野で実用化されている公知の技術であるため、ここでは詳しい説明は省略する。
【００４６】
図１に示す制御装置３００において、動体認識部３５０によって動体領域Ａが認識されると、当該動体領域Ａを示す情報は、動体画像切出部３４０および切替指示部３６０に与えられる。もちろん、撮影装置１００によって撮影されたリアルタイム映像Ｖ１が、図６に示すような背景画像Ｂｋであった場合（すなわち、通行人Ｐが誰もいない場合）、動体領域Ａの認識は行われない。
【００４７】
動体画像切出部３４０は、動体認識部３５０によって認識された動体領域Ａを利用して、撮影装置１００によって撮影されたリアルタイム映像Ｖ１における動体領域Ａ内の画像を動体画像Ｍとして切り出す処理を行う。たとえば、図５に示すような動体領域Ａ（ハッチング部分）が認識された場合、図４に示すリアルタイム映像Ｖ１から、動体領域Ａに対応する部分を切り出し、図７に示すような動体画像Ｍを生成する処理が行われる。なお、ここに示す実施形態の場合、この動体画像Ｍには、画像自体の情報（個々の画素の画素値）に、全画像領域に対する切出位置情報（図７に示す破線枠に対する人物部分の相対的な位置情報）が付加されている。
【００４８】
動体認識部３５０も、動体画像切出部３４０も、リアルタイム映像Ｖ１に含まれる１コマ１コマの静止画像のそれぞれに対して、それぞれ動体認識処理および動体画像切出処理を実行する。したがって、図５に示すような動体領域Ａは、１コマ１コマの静止画像のそれぞれについて生成され、当該動体領域Ａを用いた切り出し処理も、１コマ１コマの静止画像のそれぞれについて実行されることになるので、図７に示す動体画像Ｍも、１コマ１コマの静止画像のそれぞれに対応して生成されることになる。結局、こうして得られた動体画像Ｍは、動体部分（通行人Ｐ）のみを抽出したリアルタイムの動画を構成することになる。
【００４９】
もちろん、上記処理は、必ずしもリアルタイム映像Ｖ１に含まれる１コマ１コマの静止画像のすべてに対して行う必要はなく、必要に応じて、コマを間引いて、たとえば、５コマごとに行う、というようにしてもかまわない。ただ、このような間引きを行うと、得られる動体画像Ｍによって構成される動画がコマ落ちした動画となるため、実用上は、１コマ１コマの静止画像のすべてに対して動体画像Ｍを切り出す処理を行うのが好ましい。
【００５０】
一方、ＣＧ映像作成部３２０は、所定のコンピュータプログラムに基づいてＣＧ映像Ｖ２を作成し、これを提供する機能を果たし、材料データ格納部３３０は、このＣＧ映像作成部３２０による映像作成の材料となる材料データを格納する機能を果たす。この材料データ格納部３３０には、ＣＧ映像Ｖ２を作成するための様々な材料データを用意しておくことができるが、少なくとも、撮影装置１００の撮影視野に写る背景画像Ｂｋを材料データとして格納しておく必要がある。したがって、図示の実施形態の場合、少なくとも、図６に示すような背景画像Ｂｋが材料データとして格納されていることになる。
【００５１】
なお、日照環境や照明環境が時間に応じて変動する場合、撮影装置１００の撮影視野に写る背景画像Ｂｋも時間に応じて変動することになるので、この場合は、時間帯ごとにそれぞれ異なる複数通りの背景画像Ｂｋを用意しておき、ＣＧ映像作成部３２０が、その時刻に応じて、該当する背景画像Ｂｋを利用してＣＧ画像Ｖ２を作成するようにすればよい。たとえば、朝／昼／夜の３通りの背景画像Ｂｋを用意した場合、午前８：００には、朝の背景画像Ｂｋを利用してＣＧ画像の作成が行われることになる。
【００５２】
ＣＧ映像作成部３２０が作成するＣＧ映像Ｖ２は、この映像情報提示装置によって、通行人に対して提示すべき本来の映像であり、たとえば、商品の広告情報などの映像である。材料データ格納部３３０内には、予め、提示対象となるＣＧ映像Ｖ２の作成に必要な様々な材料データを用意しておくことになる。商品の広告映像の場合、たとえば、当該商品の画像やキャッチコピーなどが、材料データ格納部３３０内に材料データとして用意されることになる。もちろん、ＣＧ映像Ｖ２の上映時間は任意に設定できる。
【００５３】
映像切替部３１０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、ＣＧ映像作成部３２０から提供されたＣＧ映像Ｖ２と、のいずれか一方を選択してディスプレイ装置２００に与え、ディスプレイ装置２００の画面上に、選択された映像を表示させる機能を果たす。より具体的には、映像切替部３１０は、初期状態（たとえば、この制御装置３００を起動した時点や、リセットした時点）ではリアルタイム映像Ｖ１を選択し、切替指示部３６０からＣＧ切替信号Ｓが与えられた時点で選択対象をＣＧ映像Ｖ２に切り替え、この選択されたＣＧ映像Ｖ２が終了した時点で再び選択対象をリアルタイム映像Ｖ１に切り替える処理を行う。結局、ディスプレイ装置２００の画面上には、リアルタイム映像Ｖ１とＣＧ映像Ｖ２とが交互に表示されることになる。
【００５４】
ここに示す基本的実施形態では、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０に対してＣＧ映像終了信号Ｅを送信する。このＣＧ映像終了信号Ｅは、必ずしも実体のある信号である必要はなく、映像切替部３１０に対して、今まで提供していたＣＧ映像の上映が終了したことを示す信号であれば、どのような信号であってもかまわない。たとえば、「実体的な映像データを何も送信しない」ことによって、映像切替部３１０に対して、ＣＧ映像の上映が終了したことを示すようにしてもよい。
【００５５】
切替指示部３６０は、映像切替部３１０に対して、ＣＧ切替信号Ｓを与えるための構成要素であり、映像切替部３１０によるリアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替処理のタイミングを決定する機能を果たす。具体的には、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件（具体的な条件については、§２で詳述する）を満たしたときに、映像切替部３１０およびＣＧ映像作成部３２０に対してＣＧ切替信号Ｓを出力する。映像切替部３１０は、このＣＧ切替信号Ｓを受けたときに、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替処理を実行する。
【００５６】
一方、ＣＧ映像作成部３２０は、このＣＧ切替信号Ｓが与えられると、予め組み込まれていた所定のコンピュータプログラムに基づいて、提示対象となる所定のＣＧ映像Ｖ２（たとえば、広告映像）を作成し、これを映像切替部３１０に与え、その上映が終了した時点でＣＧ映像終了信号Ｅを送信する。ここで重要な点は、このＣＧ映像作成部３２０が作成するＣＧ映像Ｖ２は、動画からなる映像であり、しかも、その初期画像が、動体画像切出部３４０によって所定の切出位置から切り出された動体画像Ｍを、材料データ格納部３３０内に格納されている背景画像Ｂｋ上の上記切出位置に配置することにより得られる合成画像である点である。
【００５７】
図１に示すとおり、ＣＧ映像作成部３２０には、動体画像切出部３４０によって切り出された動体画像Ｍが与えられているので、材料データ格納部３３０内に格納されている背景画像Ｂｋ（たとえば、図６に示す画像）の上に、この動体画像Ｍ（たとえば、図７に示す画像）を重畳すれば、図４に示すリアルタイム映像Ｖ１と同等のＣＧ映像Ｖ２を作成することができる。
【００５８】
図８は、図１に示す映像情報提示装置の映像切替部３１０による切替直前におけるリアルタイム映像Ｖ１、切替直後におけるＣＧ映像Ｖ２、およびこのＣＧ映像Ｖ２の構成内容を示す平面図である。図８(a) は、切替直前におけるリアルタイム映像Ｖ１を示しており、撮影装置１００によって撮影された映像をそのままディスプレイ装置２００の画面上に表示したものである。この映像における通行人Ｐは、撮影装置１００によって撮影された現時点の実在の通行人であり、その背景にある額絵４１，４２などの背景も、撮影装置１００によって撮影された現時点の実在の物体である。
【００５９】
これに対して、図８(b) は、切替直後におけるＣＧ映像Ｖ２を示しており、ＣＧ映像作成部３２０によって作成された動画の初期画像である。切替前後の画像を比べると、内容は全く同じに見えるが、図８(a) が実写に基づくリアルタイム映像Ｖ１であるのに対して、図８(b) はコンピュータで合成されたＣＧ映像Ｖ２ということになる。図８の下段に示すとおり、この図８(b) に示すＣＧ映像Ｖ２は、材料データ格納部３３０内に格納されている背景画像Ｂｋの上に、動体画像切出部３４０によって切り出された動体画像Ｍを重畳して得られた合成画像である。
【００６０】
前述したとおり、動体画像Ｍは、図７に示すように、切出位置情報を含んでいるため、この切出位置情報を考慮して背景画像Ｂｋの上に合成すれば（すなわち、図７の破線枠が、図６の背景画像Ｂｋの画像枠に重なるように合成すれば）、リアルタイム映像Ｖ１と全く同じ位置に通行人Ｐが配置されたＣＧ映像Ｖ２を作成することができる。映像切替部３１０が、ＣＧ映像Ｖ２を選択している間も、動体画像切出部３４０および動体認識部３５０には、引き続き、撮影装置１００によって撮影されたリアルタイム映像Ｖ１が与えられるので、動体画像Ｍは、現時点の通行人Ｐの映像を示すものになる。
【００６１】
したがって、通行人Ｐから見ると、ディスプレイ装置２００上の表示が、図８(b) に示すようなＣＧ映像Ｖ２に切り替わった後も、自分自身の動きに同期して映像内の通行人Ｐも動くことになるので、引き続き、リアルタイム映像Ｖ１を観察しているような錯覚を抱くことになる。すなわち、ディスプレイ画面２００上の表示が、図８(a) に示すリアルタイム映像Ｖ１から、図８(b) に示すＣＧ映像に切り替わっても、通行人Ｐの観点では、何ら変化は生じていないのである。これが、本発明の重要な特徴である。
【００６２】
ディスプレイ装置２００の近傍を通りかかった通行人Ｐは、まず、ディスプレイの画面上に自分自身が登場しているリアルタイム映像Ｖ１を認識する。通常、ディスプレイ装置２００の前を通りかかった通行人Ｐにとって、自分には直接関係のない情報しか含まない広告映像などが表示されていたとしても、それほど注意を引くものではない。ところが、現在通行中の場所を背景として自分自身が写っているリアルタイム映像Ｖ１は、極めて関心の高い情報になる。多くの通行人は、ディスプレイ画面上に自分自身が登場している映像を認識した時点で、ディスプレイ画面を注視することになろう。本発明では、こうして、通行人の注意を画面上に誘導した状態で、リアルタイム映像Ｖ１からＣＧ映像Ｖ２へと切り替え、ＣＧ映像Ｖ２によって、本来提示すべき情報（広告情報など）を通行人に提示するのである。
【００６３】
図８(b) には、切替直後のＣＧ映像Ｖ２しか示されていないが、このＣＧ映像Ｖ２は、撮影装置１００によって撮影された実写映像ではなく、ＣＧ映像作成部３２０によって作成された動画映像であるため、ＣＧ映像作成部３２０内に用意されたプログラムおよび材料データ格納部３３０内に用意された材料データ次第で、切替後に任意の映像に変化させてゆくことができる。なお、より効果的な情報提示を行うための具体的なＣＧ映像Ｖ２の例については、§３で詳述する。
【００６４】
以上、図１のブロック図を参照しながら、本発明の基本的実施形態に係る映像情報提示装置の基本構成および基本動作を説明したが、図に、制御装置３００として示す構成要素は、実際には、コンピュータに所定のプログラムを組み込むことによって実現することができる。
【００６５】
図１にブロックとして示す各構成要素のうち、ディスプレイ装置２００は、たとえば、通行人に映像を提示するのに適した場所に設置する必要があり、撮影装置１００は、この通行人を撮影するのに適した場所に設置する必要があるが、制御装置３００は、コンピュータによって構成することができるので、たとえば、ディスプレイ装置２００のフレーム内に組み込むことも可能である。もちろん、撮影装置１００と制御装置３００との間や、ディスプレイ装置２００と制御装置３００との間は、ＬＡＮやインターネットを介した接続が可能であるので、制御装置３００は、ディスプレイ装置２００や撮影装置１００の設置場所に対する遠隔地に設置してもかまわない。あるいは、制御装置３００を構成する一部の要素（たとえば、材料データ格納部３３０）だけを、他の構成要素に対する遠隔地に設置することも可能である。たとえば、材料データ格納部３３０を、画像データサーバによって構成し、ＣＧ映像作成部３２０が、ネットワーク経由で、種々の材料データを読み込んで用いるようにしてもよい。
【００６６】
＜＜＜ §２．映像の切替タイミング ＞＞＞
既に§１で述べたとおり、図１に示す映像情報提示装置では、映像切替部３１０による切替動作によって、ディスプレイ装置２００の画面上には、リアルタイム映像Ｖ１とＣＧ映像Ｖ２とが交互に表示されることになる。ここで、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切り替えは、切替指示部３６０から与えられるＣＧ切替信号Ｓに基づいて行われ、ＣＧ映像Ｖ２からリアルタイム映像Ｖ１への切り替えは、ＣＧ映像作成部３２０から与えられるＣＧ映像終了信号Ｅに基づいて行われる。
【００６７】
図９は、映像切替部３１０の切替動作および切替指示部３６０の指示動作の例を示すタイミングチャートである。いずれも図の水平方向は時間軸（右方向が正）を示しており、図の上段(a) は、映像切替部３１０の動作を示し、下段(b) は、切替指示部３６０の動作を示している。
【００６８】
図示のとおり、初期状態の時刻ｔ０の時点では、映像切替部３１０はリアルタイム映像Ｖ１を選択した状態にあり、時刻ｔ１において、切替指示部３６０からＣＧ切替信号Ｓが与えられるまで、リアルタイム映像Ｖ１の選択状態が継続する。時刻ｔ１において、切替指示部３６０からＣＧ切替信号Ｓが出力されると、映像切替部３１０の選択対象は、ＣＧ映像Ｖ２に切り替わり、ディスプレイ画面上にはＣＧ映像Ｖ２が表示される。ＣＧ切替信号Ｓは、ＣＧ映像作成部３２０にも与えられるので、ＣＧ映像の作成は、時刻ｔ１から開始されることになる。
【００６９】
やがて、時刻ｔ２になると、ＣＧ映像作成部３２０から映像切替部３１０に対して、ＣＧ映像終了信号Ｅが与えられ、映像切替部３１０の選択対象は、リアルタイム映像Ｖ１に切り替わり、ディスプレイ画面上には再びリアルタイム映像Ｖ１が表示される。このとき、ＣＧ映像終了信号Ｅは、映像切替部３１０から切替指示部３６０へと伝達される。以下、同様にして、ＣＧ切替信号Ｓが与えられたタイミングでＣＧ映像Ｖ２への切り替えが行われ、ＣＧ映像終了信号Ｅが与えられたタイミングでリアルタイム映像Ｖ１への切り替えが行われ、......という動作が繰り返されてゆく。
【００７０】
ここで、ＣＧ映像作成部３２０からＣＧ映像終了信号Ｅが出力されるタイミングは、ＣＧ映像作成部３２０によるＣＧ映像Ｖ２の提供（上映）が終了した時点である。たとえば、ＣＧ映像作成部３２０に組み込まれているプログラムが、１５秒間の広告動画をＣＧ映像Ｖ２として作成する機能をもっていた場合、当該１５秒間の広告動画の上映時間が終了した時点で、ＣＧ映像終了信号Ｅが出力されることになる。。
【００７１】
前述したとおり、ＣＧ映像終了信号Ｅは、必ずしも実体のある信号である必要はなく、「実体的な映像データを何も送信しない」ことにより、ＣＧ映像の終了を映像切替部３１０に伝達することも可能である。このような方法を採る場合、ＣＧ映像作成部３２０は、積極的にＣＧ映像終了信号Ｅを出力する必要はなく、単に、提供対象となるＣＧ映像Ｖ２の映像データを映像切替部３１０に時間軸に沿って送信するだけの処理を行えばよい。映像切替部３１０は、ＣＧ映像作成部３２０からの映像データが途切れた時点で、ＣＧ映像終了信号Ｅが与えられたものと判断し、ＣＧ映像Ｖ２からリアルタイム映像Ｖ１への切り替えを行えばよい。
【００７２】
一方、切替指示部３６０がＣＧ切替信号Ｓを出力するタイミングは、動体認識部３５０によって認識された動体領域Ａに基づいて決定される。§１で述べたとおり、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件を満たしているか否かの条件判定を行う機能を有している。図９のタイミングチャートに示されているとおり、切替指示部３６０は、初期時点ｔ０もしくはＣＧ映像終了信号Ｅが与えられた時点ｔ２から条件判定処理を開始し、現時点で動体認識部３５０から与えられた動体領域Ａが所定条件を満たしているか否かの条件判定を行う。そして、条件満足との判定が得られた時点で、ＣＧ切替信号Ｓを出力するとともに、条件判定処理を休止する。したがって、映像切替部３１０がＣＧ映像Ｖ２を選択している期間中（図の場合、時刻ｔ１〜ｔ２）は、ＣＧ切替信号Ｓが出力されることはない。
【００７３】
図９のタイミングチャートにおける時刻ｔ１の切替時点の前後にディスプレイ画面上に表示される映像は、図８(a) ，(b) に示すようなものになる。すなわち、切替時刻ｔ１の直前には、図８(a) に示すようなリアルタイム映像Ｖ１が表示されており、切替時刻ｔ１の直後には、図８(b) に示すようなＣＧ映像Ｖ２が表示されている。したがって、前述したとおり、この切替動作の前後の映像は、観察者から見る限り同一であるが、切替前がリアルタイム映像Ｖ１（実写映像）であるのに対し、切替後はＣＧ映像Ｖ２（コンピュータによって作成された映像）となっている。このため、時刻ｔ１以降は、実写映像とは無関係に、プログラムに応じた任意の映像を提示することが可能になる。そして、当該任意の映像こそが、本来、通行人に対して提示すべき映像（たとえば、広告映像）であり、通行人に注視してもらいたい映像である。
【００７４】
したがって、「通行人にＣＧ映像Ｖ２を提示する」という本来の目的を達成するためには、「通行人がディスプレイ画面上に注意を向けたタイミング」で、ＣＧ映像Ｖ２への切替処理を行うのが好ましい。すなわち、図９のタイミングチャートにおいて、ＣＧ切替信号Ｓを出力する時刻ｔ１を、通行人がディスプレイ画面上に注意を向けたと推定されるタイミングに設定するのが好ましい。本発明では、当該タイミングを決めるために、動体認識部３５０によって認識された動体領域Ａを利用する。具体的には、動体領域Ａが所定条件を満たした時点を、「通行人がディスプレイ画面上に注意を向けた時点」と推定し、ＣＧ切替信号Ｓを出力する処理が行われる。
【００７５】
このように、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中に、動体認識部３５０によって認識された動体領域Ａが所定条件を満たしたときに、映像切替部３１０およびＣＧ映像作成部３２０に対してＣＧ切替信号Ｓを出力する処理を行う構成要素である。ここで、所定条件としては、動体領域Ａとしてリアルタイム映像Ｖ１上に現れている通行人が、ディスプレイ画面上に注意を向けていると推定できる何らかの条件を設定しておけばよい。ここでは、いくつかの具体的な条件設定の例を以下に掲げておく。
【００７６】
(1) 第１の条件設定例
最も単純な条件は、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件である。たとえば、図５に示すように、ハッチングを施して示した部分が動体領域Ａとして認識された場合、当該動体領域Ａの面積（画素数）を求め、当該面積が所定のしきい値を超えた場合に、条件満足との判定を行い、ＣＧ切替信号Ｓを出力すればよい。具体的には、たとえば、「全映像領域の面積を１００％としたときに、動体領域Ａの占有面積が２０％を超えたら、ＣＧ切替信号Ｓを出力する。」といった処理を行えばよい。
【００７７】
動体領域Ａの占有面積が大きくなればなるほど、通行人Ｐはディスプレイ装置２００に接近した位置に存在すると推定され、それだけディスプレイ画面上に注意を向けていると推定できる。もちろん、通行人が複数存在する場合は、動体領域Ａは、これら複数の通行人に対応する領域になるため、それほどディスプレイ装置２００に近づいていなくても、その占有面積がしきい値を超える可能性がある。ただ、その場合も、多数の通行人がディスプレイ画面上を閲覧していることになるので、そのうちの何人かがディスプレイ画面上に注意を向けている可能性が高くなり、やはりＣＧ切替信号Ｓを出力して、ＣＧ映像Ｖ２に切り替えることに合理的な意味があることになる。このように、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件は、ＣＧ映像Ｖ２に切り替える条件として、非常に合理的な条件ということができる。
【００７８】
なお、実用上は、「動体領域Ａの占有面積が所定のしきい値を超えた時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。具体的には、たとえば「動体領域Ａの占有面積が全映像領域の面積の２０％を超えた時点から５秒経過すること」という条件設定をしておけばよい。たとえば、通行人がディスプレイ画面上を注視した瞬間にＣＧ映像Ｖ２に切り替えるよりも、しばらくの間、当該通行人に自分自身が写ったリアルタイム映像Ｖ１を提示してから、ＣＧ映像Ｖ２に切り替えた方がより効果的である場合には、占有面積が所定のしきい値を超えた時点から所定の遅延時間だけ経過した時点で切り替えを行った方が好ましい。
【００７９】
要するに、この第１の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００８０】
(2) 第２の条件設定例
動体領域Ａは、通行人の視線方向の情報まで正確に与えるものではないので、ディスプレイ画面とは無関係な方向を向いた通行人が、たまたまディスプレイ画面の近くを通り過ぎた場合にも、「動体領域Ａの占有面積が所定のしきい値を超えること」という条件が満たされてしまうケースもあり得る。ここで述べる第２の条件設定例は、そのようなケースも考慮して、より正確な判定が可能になるように上記第１の条件設定に若干修正を加えたものである。
【００８１】
すなわち、この例では、「動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続すること」という条件設定がなされる。たとえば、占有面積に関するしきい値として「全映像領域の面積の２０％」という値を設定した場合でも「動体領域Ａの占有面積が一瞬だけ２０％を超えた」というようなケースは、条件を満足したとは判定されないことになる。条件満足のための継続時間として、たとえば、「５秒」という時間を設定した場合、「動体領域Ａの占有面積が２０％を超えた状態が継続して５秒続いた」ときに、はじめて条件満足との判定がなされることになる。
【００８２】
このような条件設定を行えば、通行人が、たまたまディスプレイ画面の近くを通り過ぎたようなケースでは、条件満足との判定はなされないことになる。通行人が、ディスプレイ画面上に注意を向けているとすれば、ある程度継続して、ディスプレイ画面の近くに滞在することが予想されるので、上記条件は、より正確な判定を行うためのより合理的な条件ということができる。
【００８３】
この場合も、実用上は、「動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。具体的には、たとえば「動体領域Ａの占有面積が２０％を超えた状態が継続して５秒継続した時点から、更に５秒経過すること」という条件設定をしておけばよい。
【００８４】
要するに、この第２の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００８５】
(3) 第３の条件設定例
これまで述べた条件は、「動体領域Ａの占有面積」を基準とした条件であるが、ここで述べる条件は、「動体領域Ａの位置」を基準とした条件ということができる。一般論として、通行人Ｐがディスプレイ画面の端に立っている場合よりも、ディスプレイ画面の中央に立っている場合の方が、画面に注意を向けていると推定できる。したがって、動体領域Ａが、全映像領域の中央に位置していた場合に、当該動体領域Ａに対応する通行人が画面に注意を向けていると推定することは非常に合理的である。
【００８６】
また、ディスプレイ装置２００を設置した具体的環境によっては、最もディスプレイ画面を落ち着いて観察できる特定の場所が存在するケースもあり得る。たとえば、他の通行人の邪魔にならないような特定の観察場所があれば、そのような観察場所に立っている通行人は、ディスプレイ画面に注意を向けている可能性が高い。しかも、そのような特定の観察場所に立っている通行人の位置は、必ずしもディスプレイ画面の中央位置とは限らない。
【００８７】
そこで、ここで述べる例では、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出されること」という条件を設定する。ここで、「動体領域Ａの重心点Ｇ」は、通行人の代表位置を示し、「所定の検出領域Ｚ」は、通行人が当該領域付近に居る場合にディスプレイ画面に注意を向けている可能性が高いと推定される領域を示す。
【００８８】
図１０は、図５に示す動体領域Ａについての重心Ｇを示す平面図である。このような重心Ｇの位置は、動体領域Ａを構成する各画素の座標値に基づく幾何学演算によって算出することができる。一方、図１１は、撮影装置１００の撮影視野Ｖ内に設定された検出領域Ｚ（ハッチング部分）を示す平面図である。ここで、検出領域Ｚは、通行人が当該領域付近に居る場合にディスプレイ画面に注意を向けている可能性が高いと推定される領域であり、図示の例の場合、撮影視野Ｖの中央付近に設定されている。これは、上述したように、通行人が、ディスプレイ画面の中央正面に立っている場合、当該通行人が画面に注意を向けている可能性が高い、という推定に基づくものである。
【００８９】
このような条件設定をした場合、切替指示部３６０は、リアルタイム映像Ｖ１が選択されている期間中、動体認識部３５０から与えられる動体領域Ａの重心Ｇを演算により求め、この重心Ｇが、図１１に示す検出領域Ｚ内に入るか否かを判定する処理を行うことになる。そして、重心Ｇが検出領域Ｚ内に入ると判定された場合は、条件が満足されたものとして、ＣＧ切替信号Ｓを出力することになる。
【００９０】
この場合も、実用上は、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。
【００９１】
要するに、この第３の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力する処理を行えばよい。
【００９２】
(4) 第４の条件設定例
上述した第３の条件設定例の場合も、ディスプレイ画面とは無関係な方向を向いた通行人が、たまたまディスプレイ画面の近くを通り過ぎた場合にも、条件満足との判定がなされてしまうケースもあり得る。ここで述べる第４の条件設定例は、そのようなケースも考慮して、より正確な判定が可能になるように上記第３の条件設定に若干修正を加えたものである。
【００９３】
すなわち、この例では、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続すること」という条件設定がなされる。たとえば、図１０に示すような動体領域Ａが得られ、その重心Ｇが、図１１に示す検出領域Ｚ内に入っていたとしても、それだけでは条件満足との判定はなされないことになる。条件満足のための継続時間として、たとえば、「５秒」という時間を設定した場合、「重心Ｇが検出領域Ｚ内に位置する状態が継続して５秒続いた」ときに、はじめて条件満足との判定がなされることになる。
【００９４】
このような条件設定を行えば、通行人が、たまたま検出領域Ｚに対応する場所を通り過ぎたようなケースでは、条件満足との判定はなされないことになる。通行人が、ディスプレイ画面上に注意を向けているとすれば、ある程度継続して、検出領域Ｚに対応する場所に滞在することが予想されるので、上記条件は、より正確な判定を行うためのより合理的な条件ということができる。
【００９５】
この場合も、実用上は、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続した時点」で直ちにＣＧ切替信号Ｓを出力する代わりに、当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにしてもかまわない。
【００９６】
要するに、この第４の条件設定例の場合、切替指示部３６０は、映像切替部３１０がリアルタイム映像Ｖ１を選択中において、動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力する処理を行えばよい。
【００９７】
以上、切替指示部３６０によって行われる条件判定処理を４つの具体例を掲げて説明したが、もちろん、実際には、この他にも様々な条件設定を行うことが可能である。動体領域Ａとしてリアルタイム映像Ｖ１上に現れている通行人が、ディスプレイ画面上に注意を向けていると推定できる条件であれば、どのような条件を設定してもかまわない。
【００９８】
このように、本発明では、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切り替えが、通行人が写っているリアルタイム映像Ｖ１に対する動体認識処理の結果に基づいて行われるため、通行人がディスプレイ装置の画面に注意を向けるであろうと予想される効果的なタイミングで、ＣＧ映像（本来の提示対象映像）の提示を行うことができる。特に、上例のように、動体領域Ａの占有面積が所定のしきい値を超えた時点をトリガーとする切り替えや、動体領域Ａの重心Ｇが、所定の検出領域Ｚ内に検出された時点をトリガーとする切り替えを行うと、通行人が映像閲覧に適した位置にきたタイミングで、ＣＧ映像への切り替えが可能になる。
【００９９】
なお、図９のタイミングチャートに示されているとおり、切替指示部３６０による条件判定処理は、映像切替部３１０がリアルタイム映像Ｖ１を選択している期間のみ行われ、ＣＧ映像Ｖ２を選択している期間は、条件判定処理は休止される。したがって、図示の例の場合、時刻ｔ１〜ｔ２の期間、通行人にＣＧ映像Ｖ２を提示した後、時刻ｔ２で再びリアルタイム映像Ｖ１の提示に切り替わることになり、この時点から条件判定処理が再開されることになる。
【０１００】
この場合、通行人が時刻ｔ１〜ｔ２まで、ずっと同じ場所でディスプレイ画面を閲覧していたとすると、時刻ｔ２以後の条件判定で再び条件満足との判定がなされることになる。このため、上述した第１の条件設定例を採り、「動体領域Ａの占有面積が所定のしきい値を超えた時点」で直ちにＣＧ切替信号Ｓを出力すると、時刻ｔ２の直後に条件満足との判定がなされ、時刻ｔ２において、ほんと一瞬だけリアルタイム映像Ｖ１が提示された後、再び、ＣＧ映像Ｖ２の提示が始まることになる。これは、第３の条件設定例を採り、「動体領域Ａの重心点Ｇが、所定の検出領域Ｚ内に検出された時点」で直ちにＣＧ切替信号Ｓを出力した場合も同様である。
【０１０１】
このように、時刻ｔ２において、一瞬だけリアルタイム映像Ｖ１が提示されるような事態を避けたい場合には、上述したとおり、各時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号Ｓを出力するようにすればよい。あるいは、上述した第２の条件設定例や第４の条件設定例を採るようにすればよい。
【０１０２】
＜＜＜ §３．ＣＧ映像の具体例 ＞＞＞
ここでは、ＣＧ映像作成部３２０によって作成されるＣＧ映像Ｖ２の具体例をいくつか述べておく。前述したとおり、ＣＧ映像作成部３２０には、ＣＧ映像Ｖ２を作成する処理を行うためのプログラムが用意されている。当該プログラムは、材料データ格納部３３０内に格納されている材料データを利用して、情報提供主（たとえば、広告主）が通行人に提示したいと考えている情報をもったＣＧ映像Ｖ２を作成する機能を有している。したがって、作成されるＣＧ映像Ｖ２の具体的な内容は、情報提供主との相談によって決められるべきものであるが、本発明におけるＣＧ映像Ｖ２は、少なくとも特定の条件を満たす画像を初期画像とする動画である必要がある。すなわち、その初期画像は「動体画像切出部３４０によって所定の切出位置から切り出された動体画像Ｍを、材料データ格納部３３０に格納されていた背景画像上の前記切出位置に配置することにより得られる合成画像」である必要がある。
【０１０３】
ＣＧ映像Ｖ２に切り替わった時点で提示される初期画像に、このような条件を付加するのは、切替直前に提示されていたリアルタイム映像Ｖ１との連続性を確保するためである。図８に示す例の場合、通行人Ｐから見ると、ディスプレイ装置２００上の表示が、図８(a) に示すリアルタイム映像Ｖ１から図８(b) に示すＣＧ映像Ｖ２に切り替わっても、引き続き、リアルタイム映像Ｖ１を観察しているような錯覚を抱くことになる。前述したとおり、通行人Ｐにとって、自分には直接関係のない情報しか含まない広告映像などが突然表示されたとしても、それほど注意を引くものではない。ところが、現在通行中の場所を背景として自分自身が写っているリアルタイム映像Ｖ１は、極めて関心の高い情報になる。そこで、このリアルタイム映像Ｖ１に対して連続性をもたせたＣＧ映像Ｖ２を提示すれば、通行人Ｐは、リアルタイム映像Ｖ１と同等の関心をもって、ＣＧ映像Ｖ２を引き続き閲覧する可能性が高い。
【０１０４】
ＣＧ映像Ｖ２の初期画像は、リアルタイム映像Ｖ１から認識された動体画像Ｍ１を背景画像Ｂｋ上に合成した画像であり、リアルタイム映像Ｖ１に非常に近い画像になる。このため、映像の切り替えが行われた後も、通行人Ｐは、しばらくの間は、リアルタイム映像Ｖ１がそのまま継続して表示されているものと錯覚することになる。したがって、ＣＧ映像Ｖ２として提示される内容を、現実世界の出来事の延長線上の出来事として印象づけることができ、臨場感をもった映像提示が可能になり、通行人の注目度をより向上させることができるようになる。
【０１０５】
図８(b) は、切替直後のＣＧ映像Ｖ２であるため、その内容は、図８(a) に示す切替直前のリアルタイム映像と同じものである。しかしながら、このＣＧ映像Ｖ２は、撮影装置１００によって撮影された実写映像ではなく、ＣＧ映像作成部３２０によって作成された動画映像であるため、ＣＧ映像作成部３２０内に用意されたプログラムおよび材料データ格納部３３０内に用意された材料データ次第で、切替後に任意の映像に変化させてゆくことができる。ＣＧ映像Ｖ２の内容をどのように変化させてゆくかは、前述のとおり、広告主等の意向に応じて決定されるべき事項であるが、ここでは、切替直前に提示されていたリアルタイム映像Ｖ１との連続性を確保する上で好ましいと思われる、いくつかの実施形態を例示しておく。
【０１０６】
(1) ＣＧ映像の第１の実施形態
ここで述べる第１の実施形態は、「初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画」からなるＣＧ映像というべきものである。たとえば、図８(b) に示すＣＧ映像（切替直後の初期画像）の場合、通行人Ｐの部分は、動体画像Ｍによって構成されている部分である。通行人Ｐ自身は、当該動体画像Ｍを自分自身の映像として認識しているので、当該動体画像Ｍの部分は、通行人Ｐが最も注視している部分と推定される。したがって、この通行人Ｐの注視の対象物である動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を提示すれば、通行人Ｐの目を当該別な提示対象物に向けることができる。
【０１０７】
図１２は、この第１の実施形態の典型例となるＣＧ映像Ｖ２を示す平面図である。ここで、図１２(a) 〜(e) は、このＣＧ映像Ｖ２の内容の変遷を示すサンプル画像を示しており、図１２(a) から図１２(e) に向かって画像の内容が変遷してゆくことになる。図１２(a) は、この動画の初期画像を示しており、図８(b) と同一の画像（すなわち、図８(a) に示す切替直前のリアルタイム映像Ｖ１と同じ画像）になる。この後、図１２(b) に示すように、映像中の通行人Ｐの部分が徐々にフェードアウトしてゆき、やがて、図１２(c) に示すように、通行人Ｐの部分は完全に消失する。そして、続く図１２(d) では、通行人Ｐの代わりに、別な提示対象物（この例では、広告対象物となるボトル）が徐々にフェードインしてくる。最後に、図１２(e) に示すように、当該対象物（ボトル）が完全に表示され、「Patent Drink」なる商品名とともに、星型のアニメーションが表示される。
【０１０８】
図１２(a) 〜(e) の映像は、いずれも同一の背景画像Ｂｋを用いているが、その上に合成する画像が異なっている。すなわち、図１２(a) ，(b) では、動体画像切出部３４０から与えられる動体画像Ｍを合成対象としているのに対して、図１２(d) ，(e) では、動体画像Ｍの代わりに商品画像「ボトル」を合成対象としている。図１２(a) から(b) への変遷は、いわゆる「αブレンド」という画像合成の手法を利用して、動体画像Ｍの画素値の影響度を徐々に減少させてゆく処理を行い、図１２(d) から(e) への変遷も、同様に「αブレンド」の手法を利用して、ボトルの画像の画素値の影響度を徐々に増加させてゆく処理を行えばよい。なお、ボトルの商品画像、「Patent Drink」なる商品名、星型のアニメーションは、予め材料データ格納部３３０内に材料データとして格納されていたデータを利用してＣＧ画像に組み込まれる。
【０１０９】
図１３は、図１２に示す例の変形例である。図１２に示す例との相違は、図１２(c) に示すように、背景のみの画像提示が行われる状態をなくし、通行人Ｐの部分のフェードアウトと、ボトルの画像部分のフェードインとが一部重なるように設定した点である。したがって、図１３(c) に示すように、通行人Ｐの部分とボトルの画像部分とが重畳表示される期間が確保される。
【０１１０】
いずれの例でも、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画が構成されていることになる。しかも、動体画像と置換後の提示対象物とは、ほぼ同じ位置を占めるので、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画が提示されることになる。通行人Ｐから見ると、ディスプレイ画面上で注視していた自分自身が、その位置でボトルに変化することになるので、ボトルに対する注目度は非常に大きなものになる。
【０１１１】
特に、上例の場合、広告の対象物となる「ボトル」の画像を予め材料データとして用意しておき、ＣＧ映像の初期画像に含まれていた動体画像（通行人の画像）が、その同じ位置において当該広告対象物に置き換えられるＣＧ映像が提示されるので、当該広告対象物に対して強烈な印象を与えることが可能になる。
【０１１２】
なお、動体画像と置換後の提示対象物とを同じ位置に配置するためには、たとえば、初期画像上において、図１０に示す例のように、動体領域Ａの重心Ｇを求めておき、「ボトル」の画像についても同様に重心Ｇ′を求めておき、重心Ｇの位置に重心Ｇ′の位置が重なるように、「ボトル」の画像を配置するようにすればよい。
【０１１３】
なお、ここで述べる第１の実施形態において、動体画像を提示対象物に置き換える手法は、必ずしも「フェードアウト／フェードイン」という手法に限定されるものではなく、この他にも種々の置換手法を採ることが可能である。たとえば、ＣＧで多用されている手法として、「モーフィング」という手法が広く知られている。したがって、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成するようにしてもよい。上例の場合、通行人が徐々にボトルに変形してゆく変形態様が、動画として提示されることになる。
【０１１４】
図１４は、動体画像を提示対象物に置き換える別な手法を示す例である。図示のとおり、通行人の頭上から巨大な靴が落下してきて、通行人を踏みつぶす、という現象を示す映像になっている。この場合も、最終的には、動体画像（通行人）が、その同じ位置において別な提示対象物（巨大な靴）に置き換えられている。巨大な靴を表示する水平方向の位置は、通行人の位置（動体領域Ａの重心Ｇ）に基づいて決定されることになる。この例では、この巨大な靴が広告対象物となっており、通行人に対する靴の広告宣伝効果は非常に大きなものになる。
【０１１５】
なお、何らかの広告対象物を提示するためのＣＧ映像において、動体画像（通行人）を置換する提示対象物は、必ずしも当該広告対象物それ自身である必要はない。図１５は、図１２，図１３に示す例と同様に、「Patent Drink」なる商品を広告対象物とする広告用のＣＧ映像の例である。まず、図１５(a) に示す初期画像の状態から、図１５(b) に示すように通行人が消え（動体画像をフェードアウトして消してもよいし、突然消してもよい）、図１５(c) に示すように、通行人が立っていた後方の壁面にひび割れが生じ、図１５(d) に示すように、壁の中から別な人物が現れ、図１５(e) に示すように、当該別な人物が「Patent Drink」なる商品を飲み干す、という構成の動画である。この場合、動体画像（通行人）を置換する別な提示対象物は、「Patent Drink」なる商品自体ではなく、図示する別な人物ということになる。
【０１１６】
この場合でも、通行人の注意は、自分が立っていた場所に交替して出現した別な人物へ向くことになり、更に、当該別な人物が飲み干した「Patent Drink」なる商品へも向くことになろう。このように、ここで述べる第１の実施形態の特徴は、「初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画」という点にある。特に、背景として初期画像の背景画像をそのまま流用し、動体画像（通行人）の部分のみを別な提示対象物に置換する、という手法を採ると、通行人から見た場合に、自分自身が現在立っている現実の場所において、ＣＧ映像として提示された仮想の事柄が起こっているように見え、臨場感をもった、強烈な印象を与えることが可能になる。
【０１１７】
(2) ＣＧ映像の第２の実施形態
続いて説明する第２の実施形態は、「初期画像に含まれていた背景画像が時間的に変化する動画」からなるＣＧ映像というべきものである。たとえば、図１６に示す例の場合、図１６(a) に示す初期画像は、図８(b) と同一の画像（すなわち、図８(a) に示す切替直前のリアルタイム映像Ｖ１と同じ画像）であるが、この後、図１６(b) 〜図１６(d) に示すように、映像中の通行人Ｐの部分は変化していないのに、背景部分が時々刻々と変化することになる。具体的には、壁面に飾られていた額絵が順に、飾り壷の中へと吸い込まれてゆくＣＧアニメーションが提示され、最後に、図１６(e) に示すように、通行人Ｐが消去され、代わりに広告対象物（ボトル）が出現し、「Patent Drink」なる商品名とともに、星型のアニメーションが表示される。
【０１１８】
このようなＣＧ映像を作成するには、まず、背景用のＣＧアニメーションを用意しておき、材料データ格納部３３０内に材料データとして格納しておくようにする。具体的には、図６に示すような背景画像Ｂｋをもとにして、額絵４１，４２が、飾り壷５０内に順番に吸い込まれるようなアニメーションを作成しておけばよい。このアニメーションには、通行人の画像は一切含まれていない。また、最終的に提示することとなる図１６(e) に示すようなアニメーションも材料データとして用意しておく。
【０１１９】
このような材料データを用意しておけば、ＣＧ映像作成部３２０は、図１６に例示するようなＣＧ映像を作成することができる。すなわち、用意した背景用のＣＧアニメーションの上に、動体画像切出部３４０からリアルタイムで与えられる動体画像Ｍを重ね合わせた合成アニメーション映像を作成し、その最後に、図１６(e) に示すようなアニメーション映像を付加する処理を行えばよい。このようにして作成されたＣＧ映像では、図１６(a) 〜(d) に示す通行人の部分は、リアルタイム映像から各時点でリアルタイムに切り出された画像になるので、通行人の実写映像ということになる。このため、極めて臨場感のある映像提示がなされる。
【０１２０】
このようなＣＧ映像が提示された場合、通行人には、自分自身が、いま現実に立っている場所の景色が、突然、変化し始めたように見えるので、通行人の着目度は極めて高くなる。実際、図１６に示す例では、通行人が現在歩行中のホテルの廊下において、額絵が魔法のように壺に吸い込まれてゆくという非現実的な映像が提示されるので、臨場感がありながら、「現実的には決してあり得ない事象」が提示されるので、通行人に与えるインパクトは非常に大きなものになる。結局、ＣＧ映像として、初期画像に含まれていた背景画像が時間的に変化する動画を提示すれば、通行人に対して、現実世界にいる臨場感を与えながら、その背景が変化するという仮想世界の体験を与えることができるようになり、強烈な印象を与えることが可能になる。
【０１２１】
なお、「現実的には決してあり得ない事象」を提示する代わりに、「現実的に起こり得る事象」を提示してもよい。たとえば、「額絵が壺に吸い込まれる」という現実的にはあり得ない事象の代わりに、「額絵が床に落下する」という現実的に起こり得る事象を提示した場合、通行人の反応は別なものになるであろう。ディスプレイ画面上で額絵が落下するのを見た通行人の中には、実際に額絵が落下したものと思って、壁２０側を振り返って確認する者もいるであろう。現実世界では、額絵には異常がないことを認識した通行人が再びディスプレイ画面を見たタイミングで、図１６(e) のような広告映像が提示されれば、非常にインパクトのある広告効果が得られる。
【０１２２】
もちろん、「背景画像が時間的に変化する動画」は、必ずしも「背景の個々の構成要素が１つずつ順番に変化してゆく」動画に限定されるものではない。図１７は、背景画像の変化の形態を若干変えた実施例を示している。この例の場合、図１７(a) に示す初期画像の状態から、図１７(b) に示すように、初期画像の表示画面全体がバタンと後方へ倒れ込むようなＣＧアニメーションが提示され、その結果、図１７(c) に示すように、別な背景画像が出現し、図１７(d) に示すように、女性が出現して歩み寄り、図１７(e) に示すように、英会話教室の宣伝を行う、というＣＧ映像になっている。
【０１２３】
このＣＧ映像の場合も、通行人が立っている現実世界の背景画像が時間的に変化する動画になっている。このため、通行人には、自分自身が、いま現実に立っている場所の景色が、突然、変化したように見えるので、通行人の着目度は極めて高くなる。図１７(b) では、通行人自身の画像（動体画像）も含めて、図１７(a) に示す初期画像の平面全体がバタンと倒れるアニメーションになっているが、もちろん、背景画像のみをバタンと倒し、通行人自身の画像（動体画像）をそのまま残すようにすることも可能である。その場合、通行人は、新たな背景画像の中で、英会話教室の宣伝女性に声をかけられるという設定になる。
【０１２４】
(3) ＣＧ映像の第３の実施形態
ここで説明する第３の実施形態は、「現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画」からなるＣＧ映像というべきものである。
【０１２５】
図１に示すとおり、撮影装置１００によって撮影されたリアルタイム映像Ｖ１は、画像切替部３１０の切替動作とは無関係に、常に、動体認識部３５０および動体画像切出部３４０に与えられている。したがって、ディスプレイ装置２００上にＣＧ映像Ｖ２が提示されている最中も、動体画像切出部３４０からは、各時点での動体画像Ｍ、すなわち、通行人のその時点でのリアルタイム画像が出力されている。
【０１２６】
このため、たとえば、通行人が体を一方向へ傾けるような動作を行ったとすると、リアルタイム映像Ｖ１に対する動体認識処理によって得られる動体領域Ａは、図１８のように変化することになる。そこで、動体認識部３５０からＣＧ映像作成部３２０に対して、動体領域Ａを示す情報を伝達し、ＣＧ映像作成部３２０に、動体領域Ａの傾斜度を認識する機能をもたせておき（たとえば、図１８にハッチングを施した動体領域Ａについて、各水平ラインごとに中心点を求め、これら中心点を上下に連結して得られる線の近似直線の傾斜度を演算すればよい）、当該傾斜度に合致するように提示対象物を傾斜させたＣＧ映像Ｖ２を作成させればよい。
【０１２７】
図１９は、図１８に示す動体領域Ａ（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物６０（ボトル）が含まれるＣＧ映像Ｖ２の一例を示す平面図である。この例では、提示対象物６０（ボトル）が、図の左方向へ傾いた例が示されているが、これは、ＣＧ映像作成部３２０によって、ボトル６０の向きを、図１８に示す動体領域Ａの傾きに合致させる処理が行われたためである。要するに、ＣＧ映像作成部３２０は、リアルタイム映像Ｖ１から通行人の部分を認識し、その姿勢（体の傾斜方向）に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物６０（ボトル）が含まれるＣＧ映像Ｖ２を作成する処理を行うことになる。このため、通行人が体を左右に傾斜させると、ディスプレイ画面に表示されているＣＧ映像Ｖ２中の提示対象物６０（ボトル）も、通行人の体の動きに合わせて左右に傾斜することになる。
【０１２８】
このように、通行人の観点からは、ＣＧ映像Ｖ２内の提示対象物６０（ボトル）が、自分の姿勢にシンクロナイズしてその姿勢を変えるので、このようなシンクロナイズ現象に気付いた通行人は、様々な姿勢をとりながら、広告映像に見入ることになろう。その結果、「Patent Drink」なる商品のボトルに対する通行人の注目度は極めて高いものとなり、極めて大きな広告効果が得られることになる。
【０１２９】
動体画像Ｍから抽出する特徴は、必ずしも通行人の姿勢に限定されるものではない。たとえば、動体画像Ｍの大きさ（動体領域Ａの面積）を特徴として抽出し、この抽出した大きさに応じて、ＣＧ映像Ｖ２内の提示対象物６０の大きさを変えるような処理を行うことも可能である。具体的には、ＣＧ映像作成部３２０によって、動体領域Ａの面積（画素数）を求める処理を行い、背景画像上に提示対象物６０（ボトル）を重ねて合成する処理を行う際に、提示対象物６０を当該面積に比例した大きさとすればよい。そうすれば、通行人がディスプレイ装置２００から離れると（リアルタイム映像Ｖ１内の動体領域Ａの面積が小さくなると）、ＣＧ映像Ｖ２内の提示対象物６０（ボトル）も小さくなる。結局、通行人がディスプレイ装置２００に近づいたり離れたりすると、それにシンクロナイズして、提示対象物６０（ボトル）がその大きさを変えることになる。
【０１３０】
また、リアルタイム映像Ｖ１から通行人の部分を認識し、その色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれるＣＧ映像Ｖ２を作成することも可能である。図２０は、このような通行人の色彩に関する特徴と提示対象物７０（ボトル）に関する特徴との関連性の一例を示す平面図である。図２０(a) は、リアルタイム映像Ｖ１から認識された動体画像Ｍを示しており、図２０(b) は、ＣＧ映像Ｖ２内に表示する提示対象物７０（ボトル）を示している。ここで、提示対象物７０（ボトル）の各部の色彩を、動体画像Ｍ（リアルタイムで得られている動体画像Ｍではなく、過去の特定タイミングで得られた動体画像でもよい）の各部の色彩に応じて決定するようにする。
【０１３１】
具体的には、たとえば、リアルタイム映像Ｖ１に対する動体認識処理により、図２０(a) に示すような動体画像Ｍを抽出したら、その縦寸法Ｌを測定し、この縦寸法Ｌを基準として、下から１０％，４０％，６０％，８０％，９８％の位置に、それぞれ高さレベルＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５を設定する。そして、動体画像Ｍの画素のうち、高さレベルＬ５にある画素の色の平均値を、ボトル栓部７０Ａの色彩とし、高さレベルＬ１〜Ｌ２の範囲内にある画素の色の平均値を、ボトル本体部７０Ｂの色彩とし、高さレベルＬ３〜Ｌ４の範囲内にある画素の色の平均値を、ボトルラベル部７０Ｃの色彩とする。この場合、材料データ格納部３３０内には、色彩の情報をもたないボトルの画像を材料データとして用意しておき、ＣＧ映像作成部３２０によって、各部の色彩を決定する処理を行えばよい。
【０１３２】
このような方法で色彩を決定した提示対象物７０（ボトル）を用いてＣＧ映像Ｖ２を作成すれば、通行人の全身の色彩分布に類似した色彩分布をもつ提示対象物７０（ボトル）を提示することができる。たとえば、通行人が赤い帽子、黄色いジャケット、水色のジーンズを着用していたとすると、赤いボトル栓部７０Ａ、水色のボトル本体部７０Ｂ、黄色いラベル部７０Ｃをもったボトル７０が、提示対象物として、ＣＧ映像Ｖ２内に表示されることになる。もちろん、色彩をより細かく反映させるようにすれば、衣服の柄と同じ模様をもったボトルを表示させることも可能である。
【０１３３】
このように、リアルタイム映像Ｖ１から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と類似した特徴をもった提示対象物が含まれるＣＧ映像Ｖ２を作成すれば、リアルタイム映像Ｖ１として撮影された現実世界とＣＧ映像Ｖ２として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。
【０１３４】
＜＜＜ §４．その他の変形例 ＞＞＞
ここでは、これまで述べてきた基本的実施形態に対するいくつかの変形例を提案しておく。
【０１３５】
(1) ＣＧ映像終了信号Ｅの送信方法の変形例
図１に示す映像情報提示装置では、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０に対してＣＧ映像終了信号Ｅを送信し、映像切替部３１０が、このＣＧ映像終了信号Ｅを受けた時点で選択対象をリアルタイム映像Ｖ１に切り替える処理を行うとともに、切替指示部３６０に対してＣＧ映像終了信号Ｅを送信し、切替指示部３６０が、映像切替部３１０から送信されてきたＣＧ映像終了信号Ｅを受信することにより、映像切替部３１０が選択対象をリアルタイム映像Ｖ１に切り替えたことを認識する構成をとっていた。
【０１３６】
しかしながら、切替指示部３６０へのＣＧ映像終了信号Ｅの送信は、必ずしも映像切替部３１０の機能として実行する必要はない。たとえば、ＣＧ映像作成部３２０が、作成したＣＧ映像Ｖ２の提供が終了した時点で、映像切替部３１０および切替指示部３６０の双方に対してＣＧ映像終了信号Ｅを送信するようにし、映像切替部３１０が、このＣＧ映像終了信号Ｅを受けた時点で選択対象をリアルタイム映像Ｖ１に切り替える処理を行い、切替指示部３６０が、ＣＧ映像作成部３２０から送信されてきたＣＧ映像終了信号Ｅを受信することにより、映像切替部３１０が選択対象をリアルタイム映像Ｖ１に切り替えたことを認識する構成をとってもかまわない。
【０１３７】
(2) 背景画像Ｂｋの格納方法の変形例
図１に示す映像情報提示装置では、予め背景画像Ｂｋを用意し、これを材料データ格納部３３０内に格納しておき、ＣＧ映像作成部３２０が、この予め用意した背景画像Ｂｋを利用してＣＧ映像Ｖ２を作成することになる。このとき、もし、日照条件や照明環境などによって背景画像が時間に応じて変動するのであれば、たとえば、朝／昼／夜の３通りの背景画像Ｂｋを用意して、ＣＧ映像を作成する時間帯に応じて、用いる背景画像Ｂｋを使い分けるような手法を採ることが可能であることは既に説明した。ここで述べる変形例では、用いる背景画像Ｂｋを、リアルタイム映像Ｖ１を利用して作成する方法を採る。
【０１３８】
図２１は、この変形例に係る映像情報提示装置の構成を示すブロック図である。図１に示す装置との相違点は、制御装置３００が、新たな構成要素である背景画像生成部３７０を有する点である。この背景画像生成部３７０は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて、撮影装置１００の撮影視野に写る背景画像Ｂｋを生成し、生成した背景画像Ｂｋを材料データ格納部３３０に材料データとして格納する処理を行う構成要素である。
【０１３９】
背景画像生成部３７０が、所定のタイミングで（たとえば、１時間おきに）、新たな背景画像Ｂｋを生成して、材料データ格納部３３０内に格納する処理を繰り返し実行するようにすれば、材料データ格納部３３０内には、常に、最新の背景画像Ｂｋが用意された状態になる。このようにすれば、ＣＧ映像作成部３２０によって作成されるＣＧ映像Ｖ２の初期画面の背景画像が、できるだけ現時点の実際の背景に近い画像になるので、時間に応じて背景画像の明るさなどが変動した場合にも、常に、現時点に近い背景画像を用いたＣＧ映像を作成することができるようになる。
【０１４０】
背景画像生成部３７０によって、ある時点における背景画像Ｂｋを生成する１つの方法としては、動体認識部３５０と同様に、所定サンプル期間内の平均画素値を求める方法を採ることができる。すなわち、背景画像生成部３７０に、リアルタイム映像Ｖ１を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内（たとえば、過去１時間の間）の平均画素値を演算する機能をもたせておき、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行わせればよい。通行人などの動体は、絶えず移動していると考えられるので、所定サンプル期間内の平均画素値をとれば、動体の情報は希釈され、有意な情報としては残らなくなる。
【０１４１】
別な方法は、通行人がいないときに得られた撮影画像を、そのまま背景画像とする方法である。具体的には、動体認識部３５０による認識結果を背景画像生成部３７０へ伝達させるようにし、動体認識部３５０によって動体が認識されていない時点におけるリアルタイム映像Ｖ１を背景画像Ｂｋとして取り込み、これを材料データ格納部３３０に格納させればよい。たとえば、動体認識部３５０から背景画像生成部３７０に対して、動体領域Ａの情報を伝達させるようにする。そして、背景画像生成部３７０は、この動体領域Ａの面積が零もしくは所定の微小基準値以下であった場合に、その時点で与えられているリアルタイム映像Ｖ１の静止画像を背景画像Ｂｋとして、材料データ格納部３３０に格納すればよい。
【０１４２】
(3) 切替前後の画像の同一性
これまでの実施形態では、図８(a) ，(b) に示すように、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への切替前後においてディスプレイ画面上に提示される画像が、同一であるという説明を行ってきた。そうすることによって、映像を閲覧している通行人に対して、リアルタイム映像Ｖ１からＣＧ映像Ｖ２への変遷を感じさせず、切替後もリアルタイム映像Ｖ１がそのまま継続して表示されているとの錯覚を与えることが可能になる。
【０１４３】
ただ、本発明の最終目的は、ディスプレイ画面上に表示されるＣＧ映像に対して、通行人の注目度をより向上させることにあり、当該目的を達成する上では、切替前後の画像が完全同一である必要はない。実際、材料データ格納部３３０内に用意されている背景画像Ｂｋは、リアルタイム映像Ｖ１内の個々の時点における背景画像とは正確には一致しないため、図８(a) に示す切替直前のリアルタイム映像Ｖ１と、図８(b) に示す切替直後のＣＧ映像Ｖ２（動画の初期画像）とは、厳密な意味では同一の画像ではない。
【０１４４】
このように、切替前後の画像が正確には同一ではなくても、通行人が、切替後に提示されるＣＧ映像の内容を、現実世界の出来事の延長線上の出来事として把握することができれば、通行人に対して臨場感をもった映像提示が可能になり、通行人の注目度を向上させるという作用効果を得ることができる。したがって、本発明を実施する上で、切替前後の画像を厳密に一致させるために大きな労力を費やす必要はない。
【０１４５】
また、切替前後で、意図的に画質や色相を変えるような方法を採ることも可能である。たとえば、切替直前まではリアルタイム映像Ｖ１をモノクロ画像として提示しておき、切替直後はカラーのＣＧ画像Ｖ２を提示する、という手法をとってもよい。この場合、図８(a) に示す切替直前のリアルタイム映像Ｖ１はモノクロ画像であり、図８(b) に示す切替直後のＣＧ映像Ｖ２はカラー画像ということになり、画像としては、もちろん同一ではない。しかしながら、切替前後で描写されている情景は同じであるので、通行人は「モノクロ画像に急に色彩が現れた」という印象をもつであろう。しかも、ディスプレイ画面上に表示されている被写体や背景は変わらないため、やはり臨場感をもった映像提示を行うことができる。
【０１４６】
＜＜＜ §５．映像情報提示方法の手順 ＞＞＞
最後に、本発明に係る映像情報提示方法の基本手順を、図２２の流れ図を参照しながら説明する。この方法は、通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置２００と、このディスプレイ装置２００の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置１００と、このディスプレイ装置２００を制御する制御装置３００と、を用いて、通行人に対して映像情報を提示する映像情報提示方法ということになる。ここで、制御装置３００は、図２２の流れ図に示すように、ステップＳ１〜Ｓ６を順次実行する機能を有する。
【０１４７】
まず、ステップＳ１のリアルタイム映像表示開始段階は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１をディスプレイ装置２００に与えて、ディスプレイ装置２００の画面上に表示する処理を開始する段階である。図９のタイムチャートでは、時刻ｔ０〜ｔ１の段階ということになる。
【０１４８】
続く、ステップＳ２の動体認識段階は、このリアルタイム映像Ｖ１の表示が行われているときに、当該リアルタイム映像Ｖ１に基づいて動体認識を行う段階である。図９のタイムチャートでは、やはり時刻ｔ０〜ｔ１の段階ということになる。このステップＳ２において、動体が認識されなかったときは、ステップＳ３を経て、何度もステップＳ２が繰り返されることになる。
【０１４９】
一方、動体認識がなされた場合は、ステップＳ３からステップＳ４へと進み、条件判定段階が実行される。この段階では、リアルタイム映像Ｖ１上で認識された動体が占める動体領域Ａが所定条件を満足するか否かの判定が行われる。具体的な判定条件については、§２で述べたとおりである。このステップＳ４において、条件満足との判定がなされなかったときは、ステップＳ５を経て、ステップＳ２へ戻ることになる。
【０１５０】
このステップＳ４の条件判定段階で条件満足との判定がなされたときには、ステップＳ５を経て、ステップＳ６のＣＧ映像作成表示段階が実行される。この段階では、ＣＧ映像Ｖ２を作成し、リアルタイム映像Ｖ１の代わりに、作成したＣＧ映像Ｖ２をディスプレイ装置２００に与え、このディスプレイ装置２００の画面上にＣＧ映像Ｖ２を表示させる処理が行われる。このＣＧ映像作成表示段階が終了すると、ステップＳ１のリアルタイム映像表示開始段階へと戻る処理が行われる。
【０１５１】
ここで重要な点は、ステップＳ６のＣＧ映像作成表示段階において、「リアルタイム映像Ｖ１内の動体画像Ｍを、撮影装置１００の撮影視野に写る背景画像Ｂｋ上に配置することにより得られる合成画像」を初期画像とするＣＧ映像が作成される点である。そうすることにより、通行人は、ＣＧ映像Ｖ２をリアルタイム映像Ｖ１に継続した映像と認識し、ＣＧ映像Ｖ２として提示される内容を、現実世界の出来事の延長線上の出来事として捉えることになる。このため、極めて臨場感の高い映像提示が可能になり、通行人の注目度をより向上させることができる、という作用効果が得られる。
【符号の説明】
【０１５２】
１０：壁
２０：壁
３０：床
４１，４２：額絵
４３：照明器具
５０：飾り壺
６０：提示対象物（ボトル）
７０：提示対象物（ボトル）
７０Ａ：ボトル栓部
７０Ｂ：ボトル本体部
７０Ｃ：ボトルラベル部
１００：撮影装置
２００：ディスプレイ装置
３００：制御装置
３１０：映像切替部
３２０：ＣＧ映像作成部
３３０：材料データ格納部
３４０：動体画像切出部
３５０：動体認識部
３６０：切替指示部
３７０：背景画像生成部
Ａ：動体領域
Ｂｋ：背景画像
Ｅ：ＣＧ映像終了信号
Ｇ：重心
Ｌ：通行人画像の縦寸法
Ｌ１〜Ｌ５：通行人画像の高さレベル
Ｍ：動体画像
Ｐ：通行人
Ｓ：ＣＧ切替信号
Ｓ１〜Ｓ６：流れ図の各ステップ
ｔ０〜ｔ２：時刻
Ｖ：撮影視野
Ｖ１：リアルタイム映像
Ｖ２：ＣＧ映像
Ｚ：検出領域
【特許請求の範囲】
【請求項１】
通行人に対して映像情報を提示する映像情報提示装置であって、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
前記ディスプレイ装置を制御する制御装置と、
を備え、
前記制御装置は、
前記撮影装置によって撮影されたリアルタイム映像に基づいて動体認識を行い、動体が占める動体領域を決定する動体認識部と、
前記撮影装置によって撮影されたリアルタイム映像における前記動体領域内の画像を動体画像として切り出す動体画像切出部と、
所定のコンピュータプログラムに基づいてＣＧ映像を作成し、これを提供するＣＧ映像作成部と、
前記ＣＧ映像作成部による映像作成の材料となる材料データを格納した材料データ格納部と、
前記撮影装置によって撮影されたリアルタイム映像と、前記ＣＧ映像作成部から提供されたＣＧ映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、前記ディスプレイ装置の画面上に、選択された映像を表示させる映像切替部と、
前記映像切替部がリアルタイム映像を選択中に、前記動体認識部によって認識された動体領域が所定条件を満たしたときに、前記映像切替部および前記ＣＧ映像作成部に対してＣＧ切替信号を出力する切替指示部と、
を有し、
前記映像切替部は、初期状態ではリアルタイム映像を選択し、前記ＣＧ切替信号が与えられた時点で選択対象をＣＧ映像に切り替え、選択されたＣＧ映像が終了した時点で再び選択対象をリアルタイム映像に切り替える処理を行い、
前記材料データ格納部には、少なくとも前記撮影装置の撮影視野に写る背景画像が材料データとして格納されており、
前記ＣＧ映像作成部は、前記ＣＧ切替信号が与えられたときに、前記動体画像切出部によって所定の切出位置から切り出された動体画像を前記背景画像上の前記切出位置に配置することにより得られる合成画像を初期画像とする動画からなるＣＧ映像を作成し、前記映像切替部に与えることを特徴とする映像情報提示装置。
【請求項２】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項３】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項４】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項５】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項６】
請求項１〜５のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部に対してＣＧ映像終了信号を送信し、
映像切替部は、前記ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行うとともに、切替指示部に対して前記ＣＧ映像終了信号を送信し、
切替指示部は、前記ＣＧ映像終了信号の受信により、前記映像切替部が選択対象をリアルタイム映像に切り替えたことを認識することを特徴とする映像情報提示装置。
【請求項７】
請求項１〜５のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部および切替指示部に対してＣＧ映像終了信号を送信し、
映像切替部は、前記ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行い、
切替指示部は、前記ＣＧ映像終了信号の受信により、前記映像切替部が選択対象をリアルタイム映像に切り替えたことを認識することを特徴とする映像情報提示装置。
【請求項８】
請求項１〜７のいずれかに記載の映像情報提示装置において、
動体認識部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と前記平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、前記現静止画像についての動体領域と決定することを特徴とする映像情報提示装置。
【請求項９】
請求項１〜８のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を作成することを特徴とする映像情報提示装置。
【請求項１０】
請求項９に記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画を作成することを特徴とする映像情報提示装置。
【請求項１１】
請求項９に記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成することを特徴とする映像情報提示装置。
【請求項１２】
請求項１〜１１のいずれかに記載の映像情報提示装置において、
ＣＧ映像格納部が、初期画像に含まれていた背景画像が時間的に変化する動画を作成することを特徴とする映像情報提示装置。
【請求項１３】
請求項１〜１２のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画を作成することを特徴とする映像情報提示装置。
【請求項１４】
請求項１〜１３のいずれかに記載の映像情報提示装置において、
制御装置が、撮影装置によって撮影されたリアルタイム映像に基づいて、前記撮影装置の撮影視野に写る背景画像を生成し、生成した背景画像を材料データ格納部に材料データとして格納する処理を行う背景画像生成部を更に有することを特徴とする映像情報提示装置。
【請求項１５】
請求項１４に記載の映像情報提示装置において、
背景画像生成部が、動体認識部によって動体が認識されていない時点におけるリアルタイム映像を背景画像として取り込み、これを材料データ格納部に格納する処理を行うことを特徴とする映像情報提示装置。
【請求項１６】
請求項１４に記載の映像情報提示装置において、
背景画像生成部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行うことを特徴とする映像情報提示装置。
【請求項１７】
請求項１〜１６のいずれかに記載の映像情報提示装置における制御装置としてコンピュータを機能させるプログラム。
【請求項１８】
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
前記ディスプレイ装置を制御する制御装置と、
を用いて、通行人に対して映像情報を提示する映像情報提示方法であって、
前記制御装置が、
前記撮影装置によって撮影されたリアルタイム映像を前記ディスプレイ装置に与えて、前記ディスプレイ装置の画面上に表示する処理を開始するリアルタイム映像表示開始段階と、
前記リアルタイム映像の表示が行われているときに、前記リアルタイム映像に基づいて動体認識を行う動体認識段階と、
前記動体認識段階で動体が認識されたときに、映像上で認識された動体が占める動体領域が所定条件を満足するか否かを判定する条件判定段階と、
前記条件判定段階で条件満足との判定がなされたときに、ＣＧ映像を作成し、前記リアルタイム映像の代わりに、作成した前記ＣＧ映像を前記ディスプレイ装置に与えて、前記ディスプレイ装置の画面上に表示するＣＧ映像作成表示段階と、
を実行し、前記ＣＧ映像作成表示段階が終了したときに、再び前記リアルタイム映像表示開始段階へと戻る処理を行い、
前記ＣＧ映像作成表示段階において、前記リアルタイム映像内の動体画像を前記撮影装置の撮影視野に写る背景画像上に配置することにより得られる合成画像を初期画像とするＣＧ映像を作成し、これを表示することを特徴とする映像情報提示方法。
【請求項１】
通行人に対して映像情報を提示する映像情報提示装置であって、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
前記ディスプレイ装置を制御する制御装置と、
を備え、
前記制御装置は、
前記撮影装置によって撮影されたリアルタイム映像に基づいて動体認識を行い、動体が占める動体領域を決定する動体認識部と、
前記撮影装置によって撮影されたリアルタイム映像における前記動体領域内の画像を動体画像として切り出す動体画像切出部と、
所定のコンピュータプログラムに基づいてＣＧ映像を作成し、これを提供するＣＧ映像作成部と、
前記ＣＧ映像作成部による映像作成の材料となる材料データを格納した材料データ格納部と、
前記撮影装置によって撮影されたリアルタイム映像と、前記ＣＧ映像作成部から提供されたＣＧ映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、前記ディスプレイ装置の画面上に、選択された映像を表示させる映像切替部と、
前記映像切替部がリアルタイム映像を選択中に、前記動体認識部によって認識された動体領域が所定条件を満たしたときに、前記映像切替部および前記ＣＧ映像作成部に対してＣＧ切替信号を出力する切替指示部と、
を有し、
前記映像切替部は、初期状態ではリアルタイム映像を選択し、前記ＣＧ切替信号が与えられた時点で選択対象をＣＧ映像に切り替え、選択されたＣＧ映像が終了した時点で再び選択対象をリアルタイム映像に切り替える処理を行い、
前記材料データ格納部には、少なくとも前記撮影装置の撮影視野に写る背景画像が材料データとして格納されており、
前記ＣＧ映像作成部は、前記ＣＧ切替信号が与えられたときに、前記動体画像切出部によって所定の切出位置から切り出された動体画像を前記背景画像上の前記切出位置に配置することにより得られる合成画像を初期画像とする動画からなるＣＧ映像を作成し、前記映像切替部に与えることを特徴とする映像情報提示装置。
【請求項２】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項３】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の占有面積が所定のしきい値を超えた状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項４】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に検出された時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項５】
請求項１に記載の映像情報提示装置において、
切替指示部が、映像切替部がリアルタイム映像を選択中において、動体領域の重心点が、所定の検出領域内に位置する状態が所定期間にわたって継続した時点、もしくは当該時点から所定の遅延時間だけ経過した時点で、ＣＧ切替信号を出力することを特徴とする映像情報提示装置。
【請求項６】
請求項１〜５のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部に対してＣＧ映像終了信号を送信し、
映像切替部は、前記ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行うとともに、切替指示部に対して前記ＣＧ映像終了信号を送信し、
切替指示部は、前記ＣＧ映像終了信号の受信により、前記映像切替部が選択対象をリアルタイム映像に切り替えたことを認識することを特徴とする映像情報提示装置。
【請求項７】
請求項１〜５のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、作成したＣＧ映像の提供が終了した時点で、映像切替部および切替指示部に対してＣＧ映像終了信号を送信し、
映像切替部は、前記ＣＧ映像終了信号を受けた時点で選択対象をリアルタイム映像に切り替える処理を行い、
切替指示部は、前記ＣＧ映像終了信号の受信により、前記映像切替部が選択対象をリアルタイム映像に切り替えたことを認識することを特徴とする映像情報提示装置。
【請求項８】
請求項１〜７のいずれかに記載の映像情報提示装置において、
動体認識部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、現時点で得られた現静止画像を構成する個々の画素について、当該画素の現時点の画素値と前記平均画素値との差を求め、求めた差が所定の基準を超える画素の集合からなる領域を、前記現静止画像についての動体領域と決定することを特徴とする映像情報提示装置。
【請求項９】
請求項１〜８のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像に含まれていた動体画像が、その同じ位置において別な提示対象物に置き換えられる動画を作成することを特徴とする映像情報提示装置。
【請求項１０】
請求項９に記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像をフェードアウトし、提示対象物をフェードインすることにより、動体画像から提示対象物への置換が行われる動画を作成することを特徴とする映像情報提示装置。
【請求項１１】
請求項９に記載の映像情報提示装置において、
ＣＧ映像作成部が、初期画像と同一の背景画像上において、動体画像から提示対象物へのモーフィング処理を行うことにより、動体画像から提示対象物への置換が行われる動画を作成することを特徴とする映像情報提示装置。
【請求項１２】
請求項１〜１１のいずれかに記載の映像情報提示装置において、
ＣＧ映像格納部が、初期画像に含まれていた背景画像が時間的に変化する動画を作成することを特徴とする映像情報提示装置。
【請求項１３】
請求項１〜１２のいずれかに記載の映像情報提示装置において、
ＣＧ映像作成部が、現時点で得られている、もしくは過去に得られた動体画像の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる動画を作成することを特徴とする映像情報提示装置。
【請求項１４】
請求項１〜１３のいずれかに記載の映像情報提示装置において、
制御装置が、撮影装置によって撮影されたリアルタイム映像に基づいて、前記撮影装置の撮影視野に写る背景画像を生成し、生成した背景画像を材料データ格納部に材料データとして格納する処理を行う背景画像生成部を更に有することを特徴とする映像情報提示装置。
【請求項１５】
請求項１４に記載の映像情報提示装置において、
背景画像生成部が、動体認識部によって動体が認識されていない時点におけるリアルタイム映像を背景画像として取り込み、これを材料データ格納部に格納する処理を行うことを特徴とする映像情報提示装置。
【請求項１６】
請求項１４に記載の映像情報提示装置において、
背景画像生成部が、リアルタイム映像を構成する１コマ１コマの静止画像を構成する個々の画素について、過去の所定サンプル期間内の平均画素値を演算する機能を有し、当該平均画素値をもった画素の集合からなる静止画像を、背景画像として、材料データ格納部に格納する処理を行うことを特徴とする映像情報提示装置。
【請求項１７】
請求項１〜１６のいずれかに記載の映像情報提示装置における制御装置としてコンピュータを機能させるプログラム。
【請求項１８】
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
前記ディスプレイ装置を制御する制御装置と、
を用いて、通行人に対して映像情報を提示する映像情報提示方法であって、
前記制御装置が、
前記撮影装置によって撮影されたリアルタイム映像を前記ディスプレイ装置に与えて、前記ディスプレイ装置の画面上に表示する処理を開始するリアルタイム映像表示開始段階と、
前記リアルタイム映像の表示が行われているときに、前記リアルタイム映像に基づいて動体認識を行う動体認識段階と、
前記動体認識段階で動体が認識されたときに、映像上で認識された動体が占める動体領域が所定条件を満足するか否かを判定する条件判定段階と、
前記条件判定段階で条件満足との判定がなされたときに、ＣＧ映像を作成し、前記リアルタイム映像の代わりに、作成した前記ＣＧ映像を前記ディスプレイ装置に与えて、前記ディスプレイ装置の画面上に表示するＣＧ映像作成表示段階と、
を実行し、前記ＣＧ映像作成表示段階が終了したときに、再び前記リアルタイム映像表示開始段階へと戻る処理を行い、
前記ＣＧ映像作成表示段階において、前記リアルタイム映像内の動体画像を前記撮影装置の撮影視野に写る背景画像上に配置することにより得られる合成画像を初期画像とするＣＧ映像を作成し、これを表示することを特徴とする映像情報提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１７５４１８（Ｐ２０１１−１７５４１８Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３８５５５（Ｐ２０１０−３８５５５）
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２４日（２０１０．２．２４）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]