画像表示システムおよび画像表示装置ならびにプログラム
【課題】 意外性のある表示画像を表示し表示画像を見た者に大きなインパクトを与える。
【解決手段】 撮影手段２により被写体を撮影したときに、撮影して得られた被写体Ｓの画像Ｐ１から被写体Ｓの顔情報ＦＤが抽出される。その後、抽出した顔情報ＦＤを用いて被写体が特定され、特定された被写体の動きが検出される。そして、検出された被写体Ｓの動きに基づいて、素材記憶手段８ｂから表示画像ＡＰに使用する被服の素材画像ＣＰが選択され、被服の素材画像ＣＰと抽出した顔情報ＦＤとを合成することにより表示画像ＡＰが生成される。この生成した表示画像ＡＰが表示装置１００に表示され被写体Ｓに提供させる。
【解決手段】 撮影手段２により被写体を撮影したときに、撮影して得られた被写体Ｓの画像Ｐ１から被写体Ｓの顔情報ＦＤが抽出される。その後、抽出した顔情報ＦＤを用いて被写体が特定され、特定された被写体の動きが検出される。そして、検出された被写体Ｓの動きに基づいて、素材記憶手段８ｂから表示画像ＡＰに使用する被服の素材画像ＣＰが選択され、被服の素材画像ＣＰと抽出した顔情報ＦＤとを合成することにより表示画像ＡＰが生成される。この生成した表示画像ＡＰが表示装置１００に表示され被写体Ｓに提供させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば屋外に設置された表示装置に合成画像である表示画像を表示させる画像表示システムならびに画像表示装置およびプログラムに関するものである。
【背景技術】
【０００２】
従来、現実の映像と仮想空間の映像とを合成した映像を表示することが広く行われており、その一例として合成した画像を広告表示として用いることにより広告効果を向上させる方法が提案されている（たとえば特許文献１参照）。特許文献１の広告提示システムにおいては、対象者が鏡を見たときにその鏡に映るであろう周辺風景の鏡像と、たとえばＣＭタレント等の広告情報とを重ね合わせて鏡像表示媒体に表示させる。そして、現実の視界映像と鏡像表示媒体に表示された鏡像とが一致しないことによる意外性により広告効果を向上させるようになっている。
【特許文献１】特開２００４−１９８４５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した広告提示システムに限らず表示した合成画像の注目度を高めるときには、合成画像の内容とともに表示方法の意外性が重要になる。たとえば特許文献１に示すような広告提示方法の場合には、周辺風景と広告画像との合成画像を静的に表示しているものであるため、必ずしも合成画像の注目度が高いとはいえない。
【０００４】
そこで、本発明は、意外性のある表示画像を表示し表示画像を見た者に大きなインパクトを与えることができる画像表示システムおよび画像表示装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明の画像表示システムは、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。
【０００６】
ここで、被服の素材画像は静止画であってもよいし動画であってもよく、それに伴い表示画像も静止画・動画のいずれであってもよい。ここで、画像生成手段が表示画像として動画を生成する場合、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するようにしてもよい。
【０００７】
また、素材記憶手段は、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶されたものであればよく、さらには１つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されていても良い。このとき、素材画像選択手段は、被写体の動きに対応した複数の被服の素材画像を選択するものであってもよい。さらに、画像生成手段は、各被服の素材画像毎に表示画像を生成し、表示制御手段はたとえば一定時間毎に各表示画像を切り換えて表示装置に表示するようにしてもよい。
【０００８】
なお、表示装置の大きさは問わないが、ショーウィンドウの光透過面に被写体のほぼ等身大の前記表示画像を表示可能なものであることが好ましい。そして、表示制御手段は、顔抽出手段が顔情報を抽出したときにショーウィンドウを見ている被写体の目の前に表示画像を表示させるようにしてもよい。
【０００９】
さらに、表示制御手段は、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであってもよい。特に、動き検出手段が被写体の歩く動きを検出するものであり、このとき、表示制御手段は、被写体の歩く動きに合わせて被写体にほぼ正対する位置に該被写体とほぼ同一の大きさを有する表示画像を表示装置に表示するものであってもよい。
【００１０】
また、撮影手段は、１つのカメラからなるものであってもよいし、複数のカメラからなるものであってもよい。撮影手段が第１カメラと第２カメラとを有する場合、顔抽出手段は第１カメラにより得られた第１画像から被写体の顔情報を抽出するものであってもよい。また、動き検出手段は第２カメラにより得られた第２画像から被写体の動きを検出するものであってもよい。
【００１１】
さらに、第２画像内に複数の顔が存在するときに、顔抽出手段により抽出された顔情報を第２画像内において検索することにより、表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第２画像から検出するものであってもよい。
【００１２】
また、本発明の画像表示装置は、人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。
【００１３】
さらに、本発明の画像表示プログラムは、コンピュータに、人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、撮影した被写体の画像から被写体の動きを検出し、検出した被写体の動きに基づいて、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から表示画像の生成に使用する被服の素材画像を選択し、選択した被服の素材画像と抽出した顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成し、生成した表示画像を表示装置に表示することを実行させることを特徴とするものである。
【発明の効果】
【００１４】
本発明の画像表示システムによれば、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の動作に合わせて動くような意外性のある動きをする被写体の顔情報が含まれた意外性のある表示画像を被写体に提供することができるため、表示画像の注目度を高めることができる。
【００１５】
なお、表示装置が、ほぼ等身大の被写体を表示することができる大きさを有したショーウィンドウの光透過面に表示画像を表示させるものであり、顔抽出手段が顔情報を抽出したときに、表示制御手段がショーウィンドウを見ている被写体の目の前に表示画像を表示させるものであれば、ショーウィンドウを見ている被写体にとって意外性のある場所に表示画像を表示させることができるため、表示画像の注目度を高めることができる。
【００１６】
さらに、表示制御手段が、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであれば、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００１７】
特に、動き検出手段が被写体の歩く動きを検出するものであり、表示制御手段が、被写体の歩く動きに合わせて表示画像を表示装置に表示するものであれば、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００１８】
さらに、画像生成手段が、表示画像として動画を生成するものであり、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するものであれば、表示装置に表示される表示画像の動きを被写体の動きにより忠実に再現することができるため、表示画像の注目度をより向上させることができる。
【００１９】
また、撮影手段が第１カメラと第２カメラとを有し、顔抽出手段が第１カメラにより得られた第１画像から被写体の顔情報を抽出するものであり、動き検出手段が第２カメラにより得られた第２画像から被写体の動きを検出するものであれば、第１カメラついては顔抽出に適した撮影条件により撮影を行うとともに、第２カメラについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報の抽出および動き検出を効率的に精度良く行うことができる。
【００２０】
また、顔抽出手段により第１画像から抽出された顔情報を第２画像内において検出して表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第２画像から検出する構成にすれば、複数人が第２画像に含まれている場合であっても、顔を抽出した被写体を特定し表示画像を提供することができる。
【００２１】
また、本発明の画像表示装置およびプログラムによれば、表示画像を提供する被写体を撮影したときに得られた被写体の画像から被写体の顔情報を抽出する顔抽出手段と、被写体の画像から被写体の動きを検出する動き検出手段と、表示画像を生成する際の素材となる被服の素材画像が被写体の動き毎に複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像として使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の顔情報が含まれた被写体の動作に合わせて動く動的な表示画像を被写体に提供することができるため、被写体に対する表示画像の注目度を高めることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の画像表示システムの実施の形態を詳細に説明する。図１は、本発明の画像表示システムの好ましい実施の形態を示す概略図である。図１における画像表示システム１は、たとえばショーウィンドウ１０に展示された被服ＤＬの宣伝広告に用いられる表示画像ＡＰの生成・表示に用いたものである。画像表示システム１は、ショーウィンドウ１０を見ている人物被写体Ｓを撮影する撮影手段２と、撮影手段により撮影された被写体Ｓの顔とショーウィンドウ１０に飾られた被服とを合成し表示画像ＡＰを生成する画像表示装置５０と、生成した表示画像ＡＰを表示する表示装置１００とを有している。
【００２３】
撮影手段２は、図１に示すように、ショーウィンドウ１０を見ている被写体Ｓを撮影する第１カメラ２Ａと、表示装置１００の前を通り過ぎる被写体Ｓを撮影する第２カメラ２Ｂとを有している。そして、第１カメラ２Ａおよび第２カメラ２Ｂは、それぞれ第１画像および第２画像を画像表示装置に出力するようになっている。表示装置１００は、被服ＤＬが展示されているショーウィンドウ１０のガラス面（光透過面）１０ａに表示画像ＡＰを表示させるものであり、表示画像ＡＰはショーウィンドウ１０に飾られた被服ＤＬと被写体Ｓとの間に表示されるようになっている。
【００２４】
次に、図２は本発明の画像表示システムの好ましい実施の形態を示すブロック図であり、
図１と図２を参照して画像表示装置５０について説明する。なお、図２のような画像表示装置５０の構成は、ハードディスク装置等の補助記憶装置に読み込まれた表示画像生成プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この表示画像生成プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２５】
図２の画像表示装置５０は、撮影手段２により撮影より得られた画像に含まれる被写体の顔情報を抽出する顔抽出手段３と、顔抽出手段３により抽出された顔情報ＦＤを用いて画像に含まれる被写体Ｓの中から表示画像ＡＰを提供する被写体Ｓを特定する被写体特定手段５と、被写体特定手段５により特定された被写体Ｓの動きを検出する動き検出手段６と、被写体Ｓの動きに応じた被服の素材画像ＣＰが複数記憶された素材記憶手段８ｂと、動き検出手段６により検出された被写体Ｓの動きに基づいて、素材記憶手段８ｂから表示画像として使用する被服の素材画像ＣＰを選択する素材画像選択手段８ａと、素材画像選択手段８ａにより選択された被服の素材画像ＣＰを用いて表示画像ＡＰを生成する画像生成手段７と、画像生成手段７により生成された表示画像ＡＰを表示装置１００に表示する表示制御手段９とを有している。
【００２６】
ここで、顔抽出手段３は、第１カメラ２Ａにより取得された第１画像Ｐ１に含まれる顔情報ＦＤを抽出し顔情報記憶手段４に記憶するようになっている。また、顔抽出手段３は、第１画像Ｐ１に複数の顔情報ＦＤが含まれている場合には各顔情報ＦＤをそれぞれ抽出し、さらには異なる時間に取得された複数の第１画像Ｐ１について顔情報ＦＤの抽出を行う。したがって、顔情報記憶手段４には顔抽出手段３により抽出された複数の顔情報ＦＤが記憶されることになる。
【００２７】
なお、顔抽出手段３における顔抽出する手法として、たとえば第１画像Ｐ１における顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を第１画像から顔情報ＦＤを抽出する方法や、その他の公知の技術を用いることができる。
【００２８】
被写体特定手段５は、第２カメラ２Ｂにより取得された第２画像Ｐ２内の顔情報ＦＤと顔情報記憶手段４に記憶された顔情報ＦＤとを照合することにより、顔情報記憶手段４から表示画像ＡＰとして用いる顔情報ＦＤを選択するようになっている。すなわち、たとえば図１に示すようなショーウィンドウ１０に画像表示システム１を用いる場合、第２カメラ２Ｂにより撮影された画像には複数の被写体Ｓが撮影されてしまうことがあり、表示画像ＡＰに用いる顔情報ＦＤを正しく選択することができない場合がある。そこで、被写体特定手段５において顔認証を行うことにより被写体特定精度を高め、効果的に被写体Ｓに表示画像ＡＰを提供するようになっている。
【００２９】
動き検出手段６は、第２カメラ２Ｂにより取得された第２画像Ｐ２から被写体Ｓの動きを検出し、たとえば「歩く」、「回る」、「振り向く」といった検出した動き情報を素材画像選択手段８ａに出力するようになっている。顔抽出手段３が第１カメラ２Ａにより得られた第１画像Ｐ１から被写体Ｓの顔情報ＦＤを抽出し、動き検出手段６が第２カメラ２Ｂにより得られた第２画像Ｐ２から被写体Ｓの動きを検出することにより、第１カメラ２Ａついては顔抽出に適した撮影条件により撮影を行うとともに、第２カメラ２Ｂについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報ＦＤの抽出および動き検出を効率的に精度良く行うことができる。
【００３０】
ここで、動き検出手段６における動きの検出手法として、たとえば所定の大きさを有する注目領域の範囲での時刻ｔ、時刻ｔ＋αにおける画像を切り出し、この２つの画像に含まれる被写体の輪郭線を検出し、この輪郭線の差分を求めることにより画像の面内平行方向、面内回転方向および／または放射方向の動きを検出し、この画像の動きに基づいて背景の動きを補償し、背景とは異なる動きをする物体を検出する方法やその他公知の手法を用いることができる。なお、ショーウィンドウ１０の前の被写体Ｓの動作を検出する赤外線センサ等を配置しておき、動き検出手段６が第２画像Ｐ２と赤外線センサ等とにより被写体の動作を検出するようにしてもよい。
【００３１】
素材画像選択手段８ａは、動き検出手段６により検出された被写体Ｓの動きに基づいて、この動きに合った被服の素材画像ＣＰを素材記憶手段８ｂから選択するものである。ここで、素材記憶手段８ｂには、図３に示すように、被写体Ｓの動き情報に関連づけされた複数の被服の素材画像ＣＰが記憶されている。具体的には、動き情報「歩く」には商品を身につけたモデルが歩いている被服の素材画像ＣＰ１が関連づけられて記憶されており、動き情報「回る」には商品を身につけたモデルが回る被服の素材画像ＣＰ２が関連づけられて記憶されており、動き情報「振り向く」には商品を身につけたモデルが振り向く被服の素材画像ＣＰ３が関連づけられて記憶されている。
【００３２】
なお、この被服の素材画像ＣＰは、モデルの実写データであってもよいし、ＣＧ（コンピュータグラフィックス）により動く体の画像であってもよい。さらに、被服の素材画像ＣＰは、被写体Ｓと同一の動作をしたときのモデル等の画像からなるものであってもよいし、表示装置１００に表示したときに被写体Ｓの鏡像となるような画像からなるものであってもよい。
【００３３】
画像生成手段７は、素材画像選択手段８ａにより選択された被服の素材画像ＣＰを用いて表示画像ＡＰを生成するものである。特に、画像生成手段７は、顔抽出手段３により抽出された顔情報ＦＤと、選択された被服の素材画像ＣＰとを合成することにより表示画像ＡＰを生成するようになっている。このように、表示画像ＡＰに被写体Ｓの顔情報を含ませることができるため、表示画像ＡＰの注目度を高めることができる。さらに、画像表示システム１により被写体Ｓに提供される表示画像ＡＰは、被写体Ｓの動きに応じて様々な被服の素材画像ＣＰにより生成されたものであって動的なものであるため、従来のような静的な表示画像に比べて被写体Ｓの注意を引きやすく、これを広告表示に用いた場合には広告効果の向上を図ることができる。
【００３４】
表示制御手段９は、画像生成手段７により生成された表示画像ＡＰを表示装置１００に表示するものである。具体的には、図４に示すように、表示装置１００は、たとえば表示画像ＡＰをガラス面１０ａ側に投射するプロジェクタ装置１００Ａと、ガラス面１０ａに設置された光透過性のスクリーン１００Ｂとを有している。表示制御手段９はプロジェクタ装置１００Ａの動作を制御することによりスクリーン１００Ｂ上に映し出される表示画像ＡＰの内容および表示位置を制御するようになっている。特に、表示制御手段９は、表示装置１００が被写体Ｓと正対する位置に被写体とほぼ同一の大きさを有する表示画像ＡＰを表示装置１００に表示するようになっている。このように、ショーウィンドウ１０を見ている被写体Ｓの目の前に表示画像ＡＰを表示させることにより、ショーウィンドウ１０を見ている被写体Ｓにとって意外性のある場所に表示画像ＡＰを表示させることができるため、表示画像ＡＰの注目度を高めることができる。
【００３５】
さらに、被写体ＳがＸ方向に移動したときに、表示制御手段９は図５のようにプロジェクタ装置１００Ａを被写体Ｓの動きに合わせて揺動させる。すると、スクリーン１００Ｂに映し出される表示画像ＡＰも被写体Ｓの移動に合わせて移動するようになる。これにより、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００３６】
ここで、表示画像ＡＰが動画であるとき、表示制御手段９は動き検出手段６により検出された動きの速さに基づいて再生速度を調整する機能を有している。たとえば、表示制御手段９は、被写体Ｓがゆっくり歩いているときには被写体Ｓのゆっくりした歩行速度に合わせて表示画像ＡＰを再生し、被写体Ｓが速く歩いているときには被写体Ｓの速い歩行速度に合わせて表示画像ＡＰを再生するようになっている。これにより、表示装置１００の表示画像ＡＰが被写体Ｓの位置とずれることなくほぼ正対した状態で移動させることができる。
【００３７】
図６は本発明の画像表示システムおよび画像表示装置の動作例を示すフローチャートであり、図１から図６を参照して広告が像表示方法の一例について説明する。まず、たとえばショーウィンドウ１０の被服ＤＬを見ている通行人を被写体Ｓとして第１カメラ２Ａによる撮影が行われる（ステップＳＴ１）。そして、図２の顔抽出手段３において第１カメラ２Ａにより取得された第１画像Ｐ１から被写体Ｓの顔情報ＦＤが抽出され顔情報記憶手段４に記憶される（ステップＳＴ２）。
【００３８】
一方で、第２カメラ２Ｂにおいても被写体Ｓの撮影が行われる。そして、被写体特定手段５において第２カメラ２Ｂにより取得された第２画像Ｐ２から顔情報ＦＤの抽出が行われ、抽出された顔情報ＦＤが顔情報記憶手段４に記憶されているか否かが判断される（ステップＳＴ３）。顔情報ＦＤが顔情報記憶手段４に記憶されていない場合、第２カメラ２Ｂにより取得された第２画像Ｐ２に含まれる他の顔情報ＦＤの抽出および照合が行われる。一方、抽出された顔情報ＦＤが顔情報記憶手段４に存在する場合、顔情報記憶手段４に記憶されている顔情報ＦＤが画像生成手段７に送られる。
【００３９】
また、被写体特定手段５において特定した被写体Ｓの動きが動き検出手段６により第２画像Ｐ２から検出される（ステップＳＴ４）。そして、検出した被写体Ｓの動きに基づいて素材記憶手段８ｂから被写体Ｓの動きに対応した被服の素材画像ＣＰが表示画像ＡＰとして選択される（ステップＳＴ５）。その後、画像生成手段７において、選択した被服の素材画像ＣＰと抽出した顔情報ＦＤとの表示画像ＡＰが生成され（ステップＳＴ６）、表示制御手段９により生成した表示画像ＡＰが被写体Ｓの鏡像となるような位置に表示装置１００に表示される。
【００４０】
具体的には、図７のように、被写体Ｓがショーウィンドウ１０の被服ＤＬを立ち止まって見ているとき、あるいはショーウィンドウ１０を見ながら（ショーウィンドウ１０側に顔を向けながら）歩いているとき、上述した顔検出および動き検出が行われて被写体Ｓの目の前に表示画像ＡＰが表示される。そして、矢印Ｘ方向に移動したとき、歩く素材画像ＣＰに基づく表示画像ＡＰが生成され被写体Ｓの移動に伴って表示位置が変化する。その後、被写体Ｓが立ち止まってたとえば両手を挙げたとき、両手を挙げた素材画像ＣＰに基づく表示画像ＡＰが生成・表示される。
【００４１】
ショーウィンドウ１０のガラス面１０ａという意外性な場所に、被写体Ｓの顔が含まれる意外な画像であって、被写体Ｓの動作に同期した意外な動きする表示画像ＡＰを表示させることができるため、被写体Ｓに大きなインパクトを与えることができる。さらに、驚いた被写体Ｓは立ち止まり振り向いたり回ったりしたときに、表示画像ＡＰもまた振り向いたり回ったりするため、さらに大きなインパクトを与えることができる。
【００４２】
なお、図１のようにショーウィンドウ１０に複数の被服ＤＬが展示されている場合、各被服ＤＬ毎に画像表示システム１が設けられていてもよいし、あるいは、複数の第１カメラ２Ａおよび第２カメラ２Ｂから得られた画像に基づいて１つの画像表示装置５０において表示画像ＡＰの作成および表示制御を行うようにしてもよい。１つの画像表示装置５０において表示画像ＡＰの作成および表示制御を行う場合、被写体Ｓが異なる被服ＤＬの前に移動したときにシームレスに表示画像ＡＰの素材画像ＣＰの変更を行うようにしてもよい。これによりさらに効果的な表示画像ＡＰの演出を行うことができる。このとき、素材記憶手段８ｂには１つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されるようになる。
【００４３】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば図２において第１カメラ２Ａを用いて顔情報ＦＤの抽出・記憶を行い、第２カメラ２Ｂを用いて被写体Ｓの特定・動きの検出を行うようにしているが、撮影手段２が１つのカメラからなり、このカメラによる撮影から得られた被写体Ｓの画像から顔情報ＦＤの抽出および動きの検出を行うようにしてもよい。
【００４４】
また、図１において、表示装置１００が被写体Ｓの等身大の大きさの表示画像ＡＰを表示することができる大きさを有する場合について例示しているが、ショーウィンドウ１０内に収容可能な大きさを有する表示装置１００を用いるようにしても良い。このとき、撮影手段２は２つのカメラ２Ａ、２Ｂを有するものであってもよいし、上述したような１つのカメラからなるものであってもよい。
【００４５】
また、図１においてショーウィンドウ１０のガラス面１０ａに表示画像ＡＰを表示する場合について例示しているが、図８に示すように、表示装置１００がショーウィンドウ１０に隣接して配置されているものであってもよい。このとき、第１カメラ２Ａがショーウィンドウ１０を見ている被写体Ｓを撮影し、被写体Ｓが表示装置１００側に歩いていったときに表示装置１００に表示画像ＡＰが表示されるようになっている。このとき、第２カメラ２Ｂは表示装置１００側に設置されており、表示装置１００側にいる被写体Ｓの動きを検出することができるようになっている。この場合であっても、被写体Ｓに意外性のある画像であって意外性のある動きをする表示画像ＡＰを表示することができる。
【００４６】
さらに、図２の画像生成手段７において、顔情報ＦＤと被服の素材画像ＣＰとを合成することにより表示画像ＡＰを生成するようにしているが、顔情報ＦＤと被服の素材画像ＣＰとを合成せず被服の素材画像ＣＰを表示画像ＡＰとして用い、表示装置１００の表面に写る被写体Ｓの顔の位置に合わせて被服の素材画像ＣＰを表示するようにしても良い。
【００４７】
また、図２の顔抽出手段３において、抽出した顔情報ＦＤを顔情報記憶手段４に記憶する際に、たとえばショーウィンドウ１０に展示された被服等の広告対象年齢層・性別等により抽出した顔情報ＦＤを記憶するか否かの判断を行うようにしても良い。これにより、たとえば女性用の被服の表示画像ＡＰとして男性の顔情報ＦＤが合成されるといった不具合を防止することができる。
【００４８】
さらに、上記実施の形態において、画像生成手段７において使用される顔情報ＦＤは顔情報記憶手段４に記憶されているものを使用するようにしているが、被写体特定手段５において抽出される顔情報ＦＤを用いるようにしても良い。
【００４９】
また、図４と図５において、表示装置１００がプロジェクタ装置である場合について例示しているが、ガラス面に設置された光透過性を有するＥＬパネル等により形成されていてもよい。
【図面の簡単な説明】
【００５０】
【図１】本発明の画像表示システムの好ましい実施の形態を示す概略図
【図２】本発明の画像表示システムの好ましい実施の形態を示すブロック図
【図３】図２の画像表示装置における素材記憶手段のデータ構造を示す模式図
【図４】図２の画像表示システムにおける表示装置の一例を示す模式図
【図５】図２の画像表示システムにおける表示装置の一例を示す模式図
【図６】本発明の画像表示システムの動作例を示すフローチャート
【図７】表示装置に表示画像が表示されている様子を示す模式図
【図８】本発明の画像表示システムの別の実施の形態を示す模式図
【符号の説明】
【００５１】
１ 画像表示システム
２ 撮影手段
２Ａ 第１カメラ
２Ｂ 第２カメラ
３ 顔抽出手段
４ 顔情報記憶手段
５ 被写体特定手段
６ 動き検出手段
７ 画像生成手段
８ａ 素材画像選択手段
８ｂ 素材記憶手段
９ 表示制御手段
１０ ショーウィンドウ
５０ 画像表示装置
１００ 表示装置
ＡＰ 表示画像
ＣＰ 被服の素材画像
ＦＤ 顔情報
Ｐ１ 第１画像
Ｐ２ 第２画像
Ｓ 被写体
【技術分野】
【０００１】
本発明は、たとえば屋外に設置された表示装置に合成画像である表示画像を表示させる画像表示システムならびに画像表示装置およびプログラムに関するものである。
【背景技術】
【０００２】
従来、現実の映像と仮想空間の映像とを合成した映像を表示することが広く行われており、その一例として合成した画像を広告表示として用いることにより広告効果を向上させる方法が提案されている（たとえば特許文献１参照）。特許文献１の広告提示システムにおいては、対象者が鏡を見たときにその鏡に映るであろう周辺風景の鏡像と、たとえばＣＭタレント等の広告情報とを重ね合わせて鏡像表示媒体に表示させる。そして、現実の視界映像と鏡像表示媒体に表示された鏡像とが一致しないことによる意外性により広告効果を向上させるようになっている。
【特許文献１】特開２００４−１９８４５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した広告提示システムに限らず表示した合成画像の注目度を高めるときには、合成画像の内容とともに表示方法の意外性が重要になる。たとえば特許文献１に示すような広告提示方法の場合には、周辺風景と広告画像との合成画像を静的に表示しているものであるため、必ずしも合成画像の注目度が高いとはいえない。
【０００４】
そこで、本発明は、意外性のある表示画像を表示し表示画像を見た者に大きなインパクトを与えることができる画像表示システムおよび画像表示装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明の画像表示システムは、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。
【０００６】
ここで、被服の素材画像は静止画であってもよいし動画であってもよく、それに伴い表示画像も静止画・動画のいずれであってもよい。ここで、画像生成手段が表示画像として動画を生成する場合、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するようにしてもよい。
【０００７】
また、素材記憶手段は、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶されたものであればよく、さらには１つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されていても良い。このとき、素材画像選択手段は、被写体の動きに対応した複数の被服の素材画像を選択するものであってもよい。さらに、画像生成手段は、各被服の素材画像毎に表示画像を生成し、表示制御手段はたとえば一定時間毎に各表示画像を切り換えて表示装置に表示するようにしてもよい。
【０００８】
なお、表示装置の大きさは問わないが、ショーウィンドウの光透過面に被写体のほぼ等身大の前記表示画像を表示可能なものであることが好ましい。そして、表示制御手段は、顔抽出手段が顔情報を抽出したときにショーウィンドウを見ている被写体の目の前に表示画像を表示させるようにしてもよい。
【０００９】
さらに、表示制御手段は、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであってもよい。特に、動き検出手段が被写体の歩く動きを検出するものであり、このとき、表示制御手段は、被写体の歩く動きに合わせて被写体にほぼ正対する位置に該被写体とほぼ同一の大きさを有する表示画像を表示装置に表示するものであってもよい。
【００１０】
また、撮影手段は、１つのカメラからなるものであってもよいし、複数のカメラからなるものであってもよい。撮影手段が第１カメラと第２カメラとを有する場合、顔抽出手段は第１カメラにより得られた第１画像から被写体の顔情報を抽出するものであってもよい。また、動き検出手段は第２カメラにより得られた第２画像から被写体の動きを検出するものであってもよい。
【００１１】
さらに、第２画像内に複数の顔が存在するときに、顔抽出手段により抽出された顔情報を第２画像内において検索することにより、表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第２画像から検出するものであってもよい。
【００１２】
また、本発明の画像表示装置は、人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することを特徴とするものである。
【００１３】
さらに、本発明の画像表示プログラムは、コンピュータに、人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、撮影した被写体の画像から被写体の動きを検出し、検出した被写体の動きに基づいて、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から表示画像の生成に使用する被服の素材画像を選択し、選択した被服の素材画像と抽出した顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成し、生成した表示画像を表示装置に表示することを実行させることを特徴とするものである。
【発明の効果】
【００１４】
本発明の画像表示システムによれば、人物被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、撮影手段により撮影された被写体の画像から被写体の動きを検出する動き検出手段と、被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像の生成に使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と顔抽出手段により抽出された顔情報とを合成することにより、被写体が被服の素材画像を着用した表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の動作に合わせて動くような意外性のある動きをする被写体の顔情報が含まれた意外性のある表示画像を被写体に提供することができるため、表示画像の注目度を高めることができる。
【００１５】
なお、表示装置が、ほぼ等身大の被写体を表示することができる大きさを有したショーウィンドウの光透過面に表示画像を表示させるものであり、顔抽出手段が顔情報を抽出したときに、表示制御手段がショーウィンドウを見ている被写体の目の前に表示画像を表示させるものであれば、ショーウィンドウを見ている被写体にとって意外性のある場所に表示画像を表示させることができるため、表示画像の注目度を高めることができる。
【００１６】
さらに、表示制御手段が、動き検出手段において検出された被写体の移動に合わせて被写体にほぼ正対する位置に表示画像が表示されるように、表示装置における表示画像の位置を移動させるものであれば、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００１７】
特に、動き検出手段が被写体の歩く動きを検出するものであり、表示制御手段が、被写体の歩く動きに合わせて表示画像を表示装置に表示するものであれば、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００１８】
さらに、画像生成手段が、表示画像として動画を生成するものであり、表示制御手段が、動き検出手段により検出された動きの速さに応じて表示画像の再生速度を調整するものであれば、表示装置に表示される表示画像の動きを被写体の動きにより忠実に再現することができるため、表示画像の注目度をより向上させることができる。
【００１９】
また、撮影手段が第１カメラと第２カメラとを有し、顔抽出手段が第１カメラにより得られた第１画像から被写体の顔情報を抽出するものであり、動き検出手段が第２カメラにより得られた第２画像から被写体の動きを検出するものであれば、第１カメラついては顔抽出に適した撮影条件により撮影を行うとともに、第２カメラについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報の抽出および動き検出を効率的に精度良く行うことができる。
【００２０】
また、顔抽出手段により第１画像から抽出された顔情報を第２画像内において検出して表示画像を提供する被写体を特定する被写体特定手段をさらに有し、動き検出手段が、被写体特定手段により特定された被写体の動きを第２画像から検出する構成にすれば、複数人が第２画像に含まれている場合であっても、顔を抽出した被写体を特定し表示画像を提供することができる。
【００２１】
また、本発明の画像表示装置およびプログラムによれば、表示画像を提供する被写体を撮影したときに得られた被写体の画像から被写体の顔情報を抽出する顔抽出手段と、被写体の画像から被写体の動きを検出する動き検出手段と、表示画像を生成する際の素材となる被服の素材画像が被写体の動き毎に複数記憶された素材記憶手段と、動き検出手段により検出された被写体の動きに基づいて、素材記憶手段から表示画像として使用する被服の素材画像を選択する素材画像選択手段と、素材画像選択手段により選択された被服の素材画像と、顔抽出手段により抽出された顔情報とを合成することにより表示画像を生成する画像生成手段と、画像生成手段により生成された表示画像を表示装置に表示する表示制御手段とを有することにより、被写体の顔情報が含まれた被写体の動作に合わせて動く動的な表示画像を被写体に提供することができるため、被写体に対する表示画像の注目度を高めることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の画像表示システムの実施の形態を詳細に説明する。図１は、本発明の画像表示システムの好ましい実施の形態を示す概略図である。図１における画像表示システム１は、たとえばショーウィンドウ１０に展示された被服ＤＬの宣伝広告に用いられる表示画像ＡＰの生成・表示に用いたものである。画像表示システム１は、ショーウィンドウ１０を見ている人物被写体Ｓを撮影する撮影手段２と、撮影手段により撮影された被写体Ｓの顔とショーウィンドウ１０に飾られた被服とを合成し表示画像ＡＰを生成する画像表示装置５０と、生成した表示画像ＡＰを表示する表示装置１００とを有している。
【００２３】
撮影手段２は、図１に示すように、ショーウィンドウ１０を見ている被写体Ｓを撮影する第１カメラ２Ａと、表示装置１００の前を通り過ぎる被写体Ｓを撮影する第２カメラ２Ｂとを有している。そして、第１カメラ２Ａおよび第２カメラ２Ｂは、それぞれ第１画像および第２画像を画像表示装置に出力するようになっている。表示装置１００は、被服ＤＬが展示されているショーウィンドウ１０のガラス面（光透過面）１０ａに表示画像ＡＰを表示させるものであり、表示画像ＡＰはショーウィンドウ１０に飾られた被服ＤＬと被写体Ｓとの間に表示されるようになっている。
【００２４】
次に、図２は本発明の画像表示システムの好ましい実施の形態を示すブロック図であり、
図１と図２を参照して画像表示装置５０について説明する。なお、図２のような画像表示装置５０の構成は、ハードディスク装置等の補助記憶装置に読み込まれた表示画像生成プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この表示画像生成プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２５】
図２の画像表示装置５０は、撮影手段２により撮影より得られた画像に含まれる被写体の顔情報を抽出する顔抽出手段３と、顔抽出手段３により抽出された顔情報ＦＤを用いて画像に含まれる被写体Ｓの中から表示画像ＡＰを提供する被写体Ｓを特定する被写体特定手段５と、被写体特定手段５により特定された被写体Ｓの動きを検出する動き検出手段６と、被写体Ｓの動きに応じた被服の素材画像ＣＰが複数記憶された素材記憶手段８ｂと、動き検出手段６により検出された被写体Ｓの動きに基づいて、素材記憶手段８ｂから表示画像として使用する被服の素材画像ＣＰを選択する素材画像選択手段８ａと、素材画像選択手段８ａにより選択された被服の素材画像ＣＰを用いて表示画像ＡＰを生成する画像生成手段７と、画像生成手段７により生成された表示画像ＡＰを表示装置１００に表示する表示制御手段９とを有している。
【００２６】
ここで、顔抽出手段３は、第１カメラ２Ａにより取得された第１画像Ｐ１に含まれる顔情報ＦＤを抽出し顔情報記憶手段４に記憶するようになっている。また、顔抽出手段３は、第１画像Ｐ１に複数の顔情報ＦＤが含まれている場合には各顔情報ＦＤをそれぞれ抽出し、さらには異なる時間に取得された複数の第１画像Ｐ１について顔情報ＦＤの抽出を行う。したがって、顔情報記憶手段４には顔抽出手段３により抽出された複数の顔情報ＦＤが記憶されることになる。
【００２７】
なお、顔抽出手段３における顔抽出する手法として、たとえば第１画像Ｐ１における顔のおおよその位置および大きさを検出し、この位置および大きさにより示される領域の画像を第１画像から顔情報ＦＤを抽出する方法や、その他の公知の技術を用いることができる。
【００２８】
被写体特定手段５は、第２カメラ２Ｂにより取得された第２画像Ｐ２内の顔情報ＦＤと顔情報記憶手段４に記憶された顔情報ＦＤとを照合することにより、顔情報記憶手段４から表示画像ＡＰとして用いる顔情報ＦＤを選択するようになっている。すなわち、たとえば図１に示すようなショーウィンドウ１０に画像表示システム１を用いる場合、第２カメラ２Ｂにより撮影された画像には複数の被写体Ｓが撮影されてしまうことがあり、表示画像ＡＰに用いる顔情報ＦＤを正しく選択することができない場合がある。そこで、被写体特定手段５において顔認証を行うことにより被写体特定精度を高め、効果的に被写体Ｓに表示画像ＡＰを提供するようになっている。
【００２９】
動き検出手段６は、第２カメラ２Ｂにより取得された第２画像Ｐ２から被写体Ｓの動きを検出し、たとえば「歩く」、「回る」、「振り向く」といった検出した動き情報を素材画像選択手段８ａに出力するようになっている。顔抽出手段３が第１カメラ２Ａにより得られた第１画像Ｐ１から被写体Ｓの顔情報ＦＤを抽出し、動き検出手段６が第２カメラ２Ｂにより得られた第２画像Ｐ２から被写体Ｓの動きを検出することにより、第１カメラ２Ａついては顔抽出に適した撮影条件により撮影を行うとともに、第２カメラ２Ｂについて動き検出に適した撮影条件により撮影を行うことができるため、顔情報ＦＤの抽出および動き検出を効率的に精度良く行うことができる。
【００３０】
ここで、動き検出手段６における動きの検出手法として、たとえば所定の大きさを有する注目領域の範囲での時刻ｔ、時刻ｔ＋αにおける画像を切り出し、この２つの画像に含まれる被写体の輪郭線を検出し、この輪郭線の差分を求めることにより画像の面内平行方向、面内回転方向および／または放射方向の動きを検出し、この画像の動きに基づいて背景の動きを補償し、背景とは異なる動きをする物体を検出する方法やその他公知の手法を用いることができる。なお、ショーウィンドウ１０の前の被写体Ｓの動作を検出する赤外線センサ等を配置しておき、動き検出手段６が第２画像Ｐ２と赤外線センサ等とにより被写体の動作を検出するようにしてもよい。
【００３１】
素材画像選択手段８ａは、動き検出手段６により検出された被写体Ｓの動きに基づいて、この動きに合った被服の素材画像ＣＰを素材記憶手段８ｂから選択するものである。ここで、素材記憶手段８ｂには、図３に示すように、被写体Ｓの動き情報に関連づけされた複数の被服の素材画像ＣＰが記憶されている。具体的には、動き情報「歩く」には商品を身につけたモデルが歩いている被服の素材画像ＣＰ１が関連づけられて記憶されており、動き情報「回る」には商品を身につけたモデルが回る被服の素材画像ＣＰ２が関連づけられて記憶されており、動き情報「振り向く」には商品を身につけたモデルが振り向く被服の素材画像ＣＰ３が関連づけられて記憶されている。
【００３２】
なお、この被服の素材画像ＣＰは、モデルの実写データであってもよいし、ＣＧ（コンピュータグラフィックス）により動く体の画像であってもよい。さらに、被服の素材画像ＣＰは、被写体Ｓと同一の動作をしたときのモデル等の画像からなるものであってもよいし、表示装置１００に表示したときに被写体Ｓの鏡像となるような画像からなるものであってもよい。
【００３３】
画像生成手段７は、素材画像選択手段８ａにより選択された被服の素材画像ＣＰを用いて表示画像ＡＰを生成するものである。特に、画像生成手段７は、顔抽出手段３により抽出された顔情報ＦＤと、選択された被服の素材画像ＣＰとを合成することにより表示画像ＡＰを生成するようになっている。このように、表示画像ＡＰに被写体Ｓの顔情報を含ませることができるため、表示画像ＡＰの注目度を高めることができる。さらに、画像表示システム１により被写体Ｓに提供される表示画像ＡＰは、被写体Ｓの動きに応じて様々な被服の素材画像ＣＰにより生成されたものであって動的なものであるため、従来のような静的な表示画像に比べて被写体Ｓの注意を引きやすく、これを広告表示に用いた場合には広告効果の向上を図ることができる。
【００３４】
表示制御手段９は、画像生成手段７により生成された表示画像ＡＰを表示装置１００に表示するものである。具体的には、図４に示すように、表示装置１００は、たとえば表示画像ＡＰをガラス面１０ａ側に投射するプロジェクタ装置１００Ａと、ガラス面１０ａに設置された光透過性のスクリーン１００Ｂとを有している。表示制御手段９はプロジェクタ装置１００Ａの動作を制御することによりスクリーン１００Ｂ上に映し出される表示画像ＡＰの内容および表示位置を制御するようになっている。特に、表示制御手段９は、表示装置１００が被写体Ｓと正対する位置に被写体とほぼ同一の大きさを有する表示画像ＡＰを表示装置１００に表示するようになっている。このように、ショーウィンドウ１０を見ている被写体Ｓの目の前に表示画像ＡＰを表示させることにより、ショーウィンドウ１０を見ている被写体Ｓにとって意外性のある場所に表示画像ＡＰを表示させることができるため、表示画像ＡＰの注目度を高めることができる。
【００３５】
さらに、被写体ＳがＸ方向に移動したときに、表示制御手段９は図５のようにプロジェクタ装置１００Ａを被写体Ｓの動きに合わせて揺動させる。すると、スクリーン１００Ｂに映し出される表示画像ＡＰも被写体Ｓの移動に合わせて移動するようになる。これにより、たとえばショーウィンドウ沿いを歩いている被写体の隣に表示画像が被写体とともに移動するため、表示画像の意外性を高め表示画像の注目度を向上させることができる。
【００３６】
ここで、表示画像ＡＰが動画であるとき、表示制御手段９は動き検出手段６により検出された動きの速さに基づいて再生速度を調整する機能を有している。たとえば、表示制御手段９は、被写体Ｓがゆっくり歩いているときには被写体Ｓのゆっくりした歩行速度に合わせて表示画像ＡＰを再生し、被写体Ｓが速く歩いているときには被写体Ｓの速い歩行速度に合わせて表示画像ＡＰを再生するようになっている。これにより、表示装置１００の表示画像ＡＰが被写体Ｓの位置とずれることなくほぼ正対した状態で移動させることができる。
【００３７】
図６は本発明の画像表示システムおよび画像表示装置の動作例を示すフローチャートであり、図１から図６を参照して広告が像表示方法の一例について説明する。まず、たとえばショーウィンドウ１０の被服ＤＬを見ている通行人を被写体Ｓとして第１カメラ２Ａによる撮影が行われる（ステップＳＴ１）。そして、図２の顔抽出手段３において第１カメラ２Ａにより取得された第１画像Ｐ１から被写体Ｓの顔情報ＦＤが抽出され顔情報記憶手段４に記憶される（ステップＳＴ２）。
【００３８】
一方で、第２カメラ２Ｂにおいても被写体Ｓの撮影が行われる。そして、被写体特定手段５において第２カメラ２Ｂにより取得された第２画像Ｐ２から顔情報ＦＤの抽出が行われ、抽出された顔情報ＦＤが顔情報記憶手段４に記憶されているか否かが判断される（ステップＳＴ３）。顔情報ＦＤが顔情報記憶手段４に記憶されていない場合、第２カメラ２Ｂにより取得された第２画像Ｐ２に含まれる他の顔情報ＦＤの抽出および照合が行われる。一方、抽出された顔情報ＦＤが顔情報記憶手段４に存在する場合、顔情報記憶手段４に記憶されている顔情報ＦＤが画像生成手段７に送られる。
【００３９】
また、被写体特定手段５において特定した被写体Ｓの動きが動き検出手段６により第２画像Ｐ２から検出される（ステップＳＴ４）。そして、検出した被写体Ｓの動きに基づいて素材記憶手段８ｂから被写体Ｓの動きに対応した被服の素材画像ＣＰが表示画像ＡＰとして選択される（ステップＳＴ５）。その後、画像生成手段７において、選択した被服の素材画像ＣＰと抽出した顔情報ＦＤとの表示画像ＡＰが生成され（ステップＳＴ６）、表示制御手段９により生成した表示画像ＡＰが被写体Ｓの鏡像となるような位置に表示装置１００に表示される。
【００４０】
具体的には、図７のように、被写体Ｓがショーウィンドウ１０の被服ＤＬを立ち止まって見ているとき、あるいはショーウィンドウ１０を見ながら（ショーウィンドウ１０側に顔を向けながら）歩いているとき、上述した顔検出および動き検出が行われて被写体Ｓの目の前に表示画像ＡＰが表示される。そして、矢印Ｘ方向に移動したとき、歩く素材画像ＣＰに基づく表示画像ＡＰが生成され被写体Ｓの移動に伴って表示位置が変化する。その後、被写体Ｓが立ち止まってたとえば両手を挙げたとき、両手を挙げた素材画像ＣＰに基づく表示画像ＡＰが生成・表示される。
【００４１】
ショーウィンドウ１０のガラス面１０ａという意外性な場所に、被写体Ｓの顔が含まれる意外な画像であって、被写体Ｓの動作に同期した意外な動きする表示画像ＡＰを表示させることができるため、被写体Ｓに大きなインパクトを与えることができる。さらに、驚いた被写体Ｓは立ち止まり振り向いたり回ったりしたときに、表示画像ＡＰもまた振り向いたり回ったりするため、さらに大きなインパクトを与えることができる。
【００４２】
なお、図１のようにショーウィンドウ１０に複数の被服ＤＬが展示されている場合、各被服ＤＬ毎に画像表示システム１が設けられていてもよいし、あるいは、複数の第１カメラ２Ａおよび第２カメラ２Ｂから得られた画像に基づいて１つの画像表示装置５０において表示画像ＡＰの作成および表示制御を行うようにしてもよい。１つの画像表示装置５０において表示画像ＡＰの作成および表示制御を行う場合、被写体Ｓが異なる被服ＤＬの前に移動したときにシームレスに表示画像ＡＰの素材画像ＣＰの変更を行うようにしてもよい。これによりさらに効果的な表示画像ＡＰの演出を行うことができる。このとき、素材記憶手段８ｂには１つの被写体の動きに対し、たとえば色の違う被服や種類の違う被服等の複数の被服の素材画像が記憶されるようになる。
【００４３】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば図２において第１カメラ２Ａを用いて顔情報ＦＤの抽出・記憶を行い、第２カメラ２Ｂを用いて被写体Ｓの特定・動きの検出を行うようにしているが、撮影手段２が１つのカメラからなり、このカメラによる撮影から得られた被写体Ｓの画像から顔情報ＦＤの抽出および動きの検出を行うようにしてもよい。
【００４４】
また、図１において、表示装置１００が被写体Ｓの等身大の大きさの表示画像ＡＰを表示することができる大きさを有する場合について例示しているが、ショーウィンドウ１０内に収容可能な大きさを有する表示装置１００を用いるようにしても良い。このとき、撮影手段２は２つのカメラ２Ａ、２Ｂを有するものであってもよいし、上述したような１つのカメラからなるものであってもよい。
【００４５】
また、図１においてショーウィンドウ１０のガラス面１０ａに表示画像ＡＰを表示する場合について例示しているが、図８に示すように、表示装置１００がショーウィンドウ１０に隣接して配置されているものであってもよい。このとき、第１カメラ２Ａがショーウィンドウ１０を見ている被写体Ｓを撮影し、被写体Ｓが表示装置１００側に歩いていったときに表示装置１００に表示画像ＡＰが表示されるようになっている。このとき、第２カメラ２Ｂは表示装置１００側に設置されており、表示装置１００側にいる被写体Ｓの動きを検出することができるようになっている。この場合であっても、被写体Ｓに意外性のある画像であって意外性のある動きをする表示画像ＡＰを表示することができる。
【００４６】
さらに、図２の画像生成手段７において、顔情報ＦＤと被服の素材画像ＣＰとを合成することにより表示画像ＡＰを生成するようにしているが、顔情報ＦＤと被服の素材画像ＣＰとを合成せず被服の素材画像ＣＰを表示画像ＡＰとして用い、表示装置１００の表面に写る被写体Ｓの顔の位置に合わせて被服の素材画像ＣＰを表示するようにしても良い。
【００４７】
また、図２の顔抽出手段３において、抽出した顔情報ＦＤを顔情報記憶手段４に記憶する際に、たとえばショーウィンドウ１０に展示された被服等の広告対象年齢層・性別等により抽出した顔情報ＦＤを記憶するか否かの判断を行うようにしても良い。これにより、たとえば女性用の被服の表示画像ＡＰとして男性の顔情報ＦＤが合成されるといった不具合を防止することができる。
【００４８】
さらに、上記実施の形態において、画像生成手段７において使用される顔情報ＦＤは顔情報記憶手段４に記憶されているものを使用するようにしているが、被写体特定手段５において抽出される顔情報ＦＤを用いるようにしても良い。
【００４９】
また、図４と図５において、表示装置１００がプロジェクタ装置である場合について例示しているが、ガラス面に設置された光透過性を有するＥＬパネル等により形成されていてもよい。
【図面の簡単な説明】
【００５０】
【図１】本発明の画像表示システムの好ましい実施の形態を示す概略図
【図２】本発明の画像表示システムの好ましい実施の形態を示すブロック図
【図３】図２の画像表示装置における素材記憶手段のデータ構造を示す模式図
【図４】図２の画像表示システムにおける表示装置の一例を示す模式図
【図５】図２の画像表示システムにおける表示装置の一例を示す模式図
【図６】本発明の画像表示システムの動作例を示すフローチャート
【図７】表示装置に表示画像が表示されている様子を示す模式図
【図８】本発明の画像表示システムの別の実施の形態を示す模式図
【符号の説明】
【００５１】
１ 画像表示システム
２ 撮影手段
２Ａ 第１カメラ
２Ｂ 第２カメラ
３ 顔抽出手段
４ 顔情報記憶手段
５ 被写体特定手段
６ 動き検出手段
７ 画像生成手段
８ａ 素材画像選択手段
８ｂ 素材記憶手段
９ 表示制御手段
１０ ショーウィンドウ
５０ 画像表示装置
１００ 表示装置
ＡＰ 表示画像
ＣＰ 被服の素材画像
ＦＤ 顔情報
Ｐ１ 第１画像
Ｐ２ 第２画像
Ｓ 被写体
【特許請求の範囲】
【請求項１】
人物被写体を撮影する撮影手段と、
該撮影手段により撮影された前記被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示システム。
【請求項２】
前記表示装置が、ショーウィンドウの光透過面に前記被写体のほぼ等身大の前記表示画像を表示可能なものであり、前記表示制御手段がショーウィンドウを見ている前記被写体の目前に前記表示画像を表示させるものであることを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記表示制御手段が、前記動き検出手段において検出された前記被写体の移動に合わせて前記被写体にほぼ正対する位置に前記表示画像が表示されるように、前記表示装置における前記表示画像の位置を移動させるものであることを特徴とする請求項１に記載の画像表示システム。
【請求項４】
前記動き検出手段が前記被写体の歩く動きを検出するものであり、前記表示制御手段が、前記被写体の歩く動きに合わせて前記表示画像を前記表示装置に表示するものであることを特徴とする請求項３に記載の画像表示システム。
【請求項５】
前記画像生成手段が前記表示画像として動画を生成するものであり、前記表示制御手段が前記動き検出手段により検出された動きの速さに応じて前記表示画像の再生速度を調整するものであることを特徴とする請求項１または４に記載の画像表示システム。
【請求項６】
前記撮影手段が第１カメラと第２カメラとを有し、前記顔抽出手段が前記第１カメラにより得られた第１画像から前記被写体の顔情報を抽出するものであり、前記動き検出手段が前記第２カメラにより得られた第２画像から前記被写体の動きを検出するものであることを特徴とする請求項１から５のいずれか１項に記載の画像表示システム。
【請求項７】
前記顔抽出手段により前記第１画像から抽出された前記顔情報を前記第２画像内において検索し前記表示画像を提供する前記被写体を特定する被写体特定手段をさらに有し、前記動き検出手段が、該被写体特定手段により特定された前記被写体の動きを前記第２画像から検出するものであることを特徴とする請求項６に記載の画像表示システム。
【請求項８】
人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記被写体を撮影する撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と、前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示装置。
【請求項９】
コンピュータに、
人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、
撮影した前記被写体の画像から前記被写体の動きを検出し、
検出した前記被写体の動きに基づいて、前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択し、
選択した前記被服の素材画像と抽出した前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成し、
生成した前記表示画像を前記表示装置に表示する
ことを実行させるための画像表示プログラム。
【請求項１】
人物被写体を撮影する撮影手段と、
該撮影手段により撮影された前記被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示システム。
【請求項２】
前記表示装置が、ショーウィンドウの光透過面に前記被写体のほぼ等身大の前記表示画像を表示可能なものであり、前記表示制御手段がショーウィンドウを見ている前記被写体の目前に前記表示画像を表示させるものであることを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記表示制御手段が、前記動き検出手段において検出された前記被写体の移動に合わせて前記被写体にほぼ正対する位置に前記表示画像が表示されるように、前記表示装置における前記表示画像の位置を移動させるものであることを特徴とする請求項１に記載の画像表示システム。
【請求項４】
前記動き検出手段が前記被写体の歩く動きを検出するものであり、前記表示制御手段が、前記被写体の歩く動きに合わせて前記表示画像を前記表示装置に表示するものであることを特徴とする請求項３に記載の画像表示システム。
【請求項５】
前記画像生成手段が前記表示画像として動画を生成するものであり、前記表示制御手段が前記動き検出手段により検出された動きの速さに応じて前記表示画像の再生速度を調整するものであることを特徴とする請求項１または４に記載の画像表示システム。
【請求項６】
前記撮影手段が第１カメラと第２カメラとを有し、前記顔抽出手段が前記第１カメラにより得られた第１画像から前記被写体の顔情報を抽出するものであり、前記動き検出手段が前記第２カメラにより得られた第２画像から前記被写体の動きを検出するものであることを特徴とする請求項１から５のいずれか１項に記載の画像表示システム。
【請求項７】
前記顔抽出手段により前記第１画像から抽出された前記顔情報を前記第２画像内において検索し前記表示画像を提供する前記被写体を特定する被写体特定手段をさらに有し、前記動き検出手段が、該被写体特定手段により特定された前記被写体の動きを前記第２画像から検出するものであることを特徴とする請求項６に記載の画像表示システム。
【請求項８】
人物被写体を撮影手段により撮影したときの該被写体の画像から該被写体の顔情報を抽出する顔抽出手段と、
前記被写体を撮影する撮影手段により撮影された前記被写体の画像から前記被写体の動きを検出する動き検出手段と、
前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段と、
前記動き検出手段により検出された前記被写体の動きに基づいて、前記素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択する素材画像選択手段と、
該素材画像選択手段により選択された前記被服の素材画像と、前記顔抽出手段により抽出された前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成する画像生成手段と、
前記画像生成手段により生成された前記表示画像を前記表示装置に表示する表示制御手段と
を有することを特徴とする画像表示装置。
【請求項９】
コンピュータに、
人物被写体を撮影したときの該被写体の画像から該被写体の顔情報を抽出し、
撮影した前記被写体の画像から前記被写体の動きを検出し、
検出した前記被写体の動きに基づいて、前記被写体の動きに対応した、表示装置に表示させる表示画像を生成する際の被服の素材となる被服の素材画像が複数記憶された素材記憶手段から前記表示画像の生成に使用する前記被服の素材画像を選択し、
選択した前記被服の素材画像と抽出した前記顔情報とを合成することにより、前記被写体が前記被服の素材画像を着用した前記表示画像を生成し、
生成した前記表示画像を前記表示装置に表示する
ことを実行させるための画像表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−４４２７（Ｐ２００７−４４２７Ａ）
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−１８３１２０（Ｐ２００５−１８３１２０）
【出願日】平成１７年６月２３日（２００５．６．２３）
【出願人】（０００００５２０１）富士フイルムホールディングス株式会社 (7,609)
【復代理人】
【識別番号】１００１３４２４５
【弁理士】
【氏名又は名称】本澤 大樹
【Ｆターム（参考）】
【公開日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願日】平成１７年６月２３日（２００５．６．２３）
【出願人】（０００００５２０１）富士フイルムホールディングス株式会社 (7,609)
【復代理人】
【識別番号】１００１３４２４５
【弁理士】
【氏名又は名称】本澤 大樹
【Ｆターム（参考）】
[ Back to top ]