画像処理装置、方法、及びプログラム
【課題】実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示する。
【解決手段】形状推定部３１で、背景画像内の面を有する領域を推定し、提示領域選択部３３で、形状推定部３１で推定された面を有する領域であって、かつ領域内の各画素の画素値が単色または単色のグラデーションを示し、所定サイズ以上の領域を提示画像を重畳する領域として選択する。提示画像選択部３６は、実環境情報取得部３２で取得した本装置の位置、移動方向等の実環境情報、及びユーザ情報取得部３４で取得したユーザの属性情報に基づいて、提示画像記憶部３７に記憶された複数の提示画像から提示画像を選択する。表示制御部３８で、提示領域選択部３３により選択された領域に、提示画像選択部３６により選択された提示画像が重畳されて提示されるように表示装置４０を制御する。
【解決手段】形状推定部３１で、背景画像内の面を有する領域を推定し、提示領域選択部３３で、形状推定部３１で推定された面を有する領域であって、かつ領域内の各画素の画素値が単色または単色のグラデーションを示し、所定サイズ以上の領域を提示画像を重畳する領域として選択する。提示画像選択部３６は、実環境情報取得部３２で取得した本装置の位置、移動方向等の実環境情報、及びユーザ情報取得部３４で取得したユーザの属性情報に基づいて、提示画像記憶部３７に記憶された複数の提示画像から提示画像を選択する。表示制御部３８で、提示領域選択部３３により選択された領域に、提示画像選択部３６により選択された提示画像が重畳されて提示されるように表示装置４０を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、コンピュータグラフィックスの技術を使って、現実環境には存在しない映像を実写映像に重畳してディスプレイに表示する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、放送映像中に映るビルボード広告に、別の広告画像を合成して表示する手法が知られている（例えば、非特許文献１及び非特許文献２）。非特許文献１の手法は、予め登録しておいたビルボード広告画像に一致する領域を映像中から探索し、その領域を別の広告画像に置き換える。また、非特許文献２の技術では、サッカー中継などの映像における特定のビルボード広告を別の画像に置き換え、さらにビルボード広告の前に立つ人物が隠れないためのマスク処理をビルボード広告画像に行う。
【０００３】
また、実環境中にマーカー等を設置せずに、実写映像に看板などの画像及び映像などのオフジエクトを重畳する技術が提案されている（例えば、特許文献１及び特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２３６３６号公報
【特許文献２】特開２００５−１７３６８５号公報
【非特許文献】
【０００５】
【非特許文献１】G. Medioni，G. Guy，H. Rom and A. Francois，"Real-Time Billboard Substitution in a Video Stream，" Proc. of the 10th Tyrrhenian International Workshop on Digital Communications，1998
【非特許文献２】F. Aldershoff and T. Gevers，" Visual Tracking and Localization of Billboards in Streamed Soccer Matches，" Proc.of SPIE Electronic Imaging 2004
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１及び非特許文献２の手法では、画像を提示する場所を予め人手で決めておき、その場所を探索するための知識も人手で与える必要がある、という問題がある。
【０００７】
また、特許文献１及び特許文献２の手法では、実写画像とオブジェクトとの整合性を考慮するものの、予め実写環境に写る各物体の３次元形状を精密に取得することが必要であり、また登録されたオブジェクトの３次元形状のモデルと実写画像との整合性しか考慮していない。このため、モデルが存在しない場所にはそもそも提示することができず、また、広告などの追加情報が実写映像中の３次元形状のどこに配置するのが適切かといった考慮は行われず、事前に登録された領域にのみ表示されてしまう、という問題がある。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、入力画像内における面を有する領域を選択する領域選択手段と、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択する画像選択手段と、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する表示制御手段と、を含んで構成されている。
【００１０】
本発明の画像処理装置によれば、領域選択手段が、入力画像内における面を有する領域を選択する。面は、平面及び曲面であり、このような面を有する領域が、入力画像に提示画像を重畳して表示手段に提示するための領域として選択される。
【００１１】
また、画像選択手段が、表示手段の状態、及び入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、入力画像に重畳して提示する提示画像を選択する。そして、画像制御手段が、領域選択手段により選択された領域に、画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する。
【００１２】
このように、入力画像内における面を有する領域に、表示手段の状態及びユーザの属性情報の少なくとも一方に基づいて選択された提示画像を重畳するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる。
【００１３】
また、前記領域選択手段は、前記領域内の面から面中の適切な高さ、適切な幅の領域を選択する。例えば、面全体の高さに対する提示領域の高さの割合、面全体の幅に対する提示領域の幅の割合を事前に設定しておき、設定した割合の大きさの領域が所定サイズ以上の領域が得られる場合に、提示領域として選択することができる。面の中央に配置することもでき、どちらかに寄せて配置することも可能である。あるいは、画像の色の情報に基づいて、前記領域内の各画素の画素値が単色または単色のグラデーションを示す所定サイズ以上の領域を選択することもできる。もちろん他の手法により適切な領域を選択することも可能である。このような領域は、建物の壁面、看板、路面、電柱、樹木、車両の側面、及び標識のいずれかを示す領域である。これらの領域は、実環境においても看板や標識等が設置される位置であり、画像内において提示画像を重畳するのに適した領域である。
【００１４】
また、前記画像選択手段は、前記表示手段の状態として、該表示手段の移動方向を取得し、該移動方向との関連が高い提示画像を選択したり、前記ユーザの属性情報として、該ユーザの年齢、性別、住所、及び過去の提示画像に関連する利用履歴の少なくとも１つに基づいて、前記ユーザの属性との関連が高い提示画像を選択したりすることができる。これにより、状況に適した提示画像を選択することができる。
【００１５】
また、前記画像選択手段は、さらに、前記領域選択手段により選択された領域の面形状、該領域を含む周辺領域の画素値、及び前記表示手段の状態に基づいて、視聴し易い提示画像を選択することができる。
【００１６】
また、本発明の画像処理方法は、領域選択手段と、画像選択手段と、表示制御手段とを含む画像処理装置における画像処理方法であって、前記領域選択手段は、入力画像内における面を有する領域を選択し、前記画像選択手段は、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択し、前記表示制御手段は、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する方法である。
【００１７】
また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、入力画像内における面を有する領域に、表示手段の状態及びユーザの属性情報の少なくとも一方に基づいて選択された提示画像を重畳するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態の画像処理装置の構成を示すブロック図である。
【図２】本実施の形態の画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】車載カメラで撮影された背景画像の一例を示す図である。
【図４】背景画像内において平面を構成する３次元点群を復元した図である。
【図５】図３に示した背景画像内の壁面を示す領域に提示画像を重畳した一例を示す図である。
【図６】背景画像内の道路面を示す領域に提示画像を重畳した一例を示す図である。
【図７】背景画像内の道路面を示す領域に立体的な提示画像を重畳した一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、本発明の画像処理装置を車両に搭載し、走行中の周辺環境を撮影した画像に提示画像を重畳する場合を例に説明する。
【００２１】
本実施の形態に係る画像処理装置１は、図１に示すように、周辺環境を撮影する車載カメラ１０と、車載カメラ１０または車両の状態を検出するセンサ群２０と、後述する画像処理ルーチンを実行するコンピュータ３０と、コンピュータ３０による画像処理結果を表示する液晶パネル等で構成された表示装置４０とを含んで構成されている。
【００２２】
車載カメラ１０は、例えばＣＣＤカメラ等で構成され、自車両の周辺環境を撮影する。車載カメラ１０により撮影された画像を、以下では「背景画像」という。撮影された背景画像はコンピュータ３０に出力される。
【００２３】
センサ群２０は、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報（例えば、位置情報、移動方向、移動速度等の情報）を検出するための、ＧＰＳ装置、ジャイロセンサ、加速度センサ、速度計、トリップメータ一、ハンドル角計測装置等の各センサを含んで構成されている。各センサによる検出値はコンピュータ３０に出力される。
【００２４】
コンピュータ３０は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラム及び各種データを記憶したＲＯＭとを備えている。このコンピュータは、機能的には、図１に示すように、形状推定部３１と、実環境情報取得部３２と、提示領域選択部３３と、ユーザ情報取得部３４と、提示画像選択部３６と、表示制御部３８とを含んだ構成で表すことができる。
【００２５】
形状推定部３１は、車載カメラ１０から入力された背景画像において、面を有する領域を推定する。面は、平面及び曲面（円柱面、球面等）である。すなわち形状推定部３１は、入力された背景画像から、環境中の平面及び曲面の形状を推定する。形状の推定は、例えば、２枚以上の画像から３次元構造を復元するステレオ画像処理技術（例えば、金澤靖，金谷健一，「[解説] コンピュータビジョンのための画像の特徴点抽出」, 電子情報通信学会誌, Vol. 87, No. 12 (2004-12), pp. 1043-1048. 参照）により実現することができる。形状推定部３１で推定された３次元空間中の形状（面を有する領域）の情報は、提示領域選択部３３、提示画像選択部３６、及び表示制御部３８に出力される。
【００２６】
実環境情報取得部３２は、センサ群２０を構成する各センサで検出された検出値を取得し、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報を、実環境情報として取得する。取得した実環境情報は、提示領域選択部３３、提示画像選択部３６、及び表示制御部３８に出力される。
【００２７】
提示領域選択部３３は、形状推定部３１から入力された３次元空間中の形状の情報、及び車載カメラ１０から入力された背景画像に基づいて、背景画像内で提示画像の提示に適した領域を選択する。提示画像の提示に適した領域とは、その領域全体に対して一定の割合の大きさの領域であり、その領域の大きさが所定の大きさ以上の領域である。例えば、建物の壁面、既存の看板、路面、電柱、樹木、車両の側面、既存の標識等を示す領域が挙げられる。また、提示領域選択部３３は、実環境情報取得部３２から入力された車載カメラ１０の位置、移動方向等の実環境情報に応じて、選択される提示画像の領域を変化させる。例えば、車載カメラ１０の位置や移動方向の情報を利用することで、いつも背景画像の右側のユーザが見易い位置を提示領域として選択する。提示領域選択部３３で選択された領域は、提示画像選択部３６、及び表示制御部３８に出力される。
【００２８】
ユーザ情報取得部３４は、本装置を利用しているユーザの属性を示す属性情報を、ユーザ情報記憶部３５から取得し、提示画像選択部３６に出力する。属性情報は、例えば、ユーザの年齢、性別、住所等とすることができ、これらの情報を予めユーザ情報記憶部３５に記憶しておく。また、過去に本装置により提示された提示画像に関連する店舗への来店履歴や商品の購入履歴などの利用履歴を記憶しておき、この利用履歴を属性情報として用いてもよい。なお、ユーザ情報取得部３４は、ユーザ情報記憶部３５に記憶されたユーザの属性情報を取得する場合に限らず、図示しない入力装置から入力されたユーザの属性情報を取得するようにしてもよい。
【００２９】
提示画像選択部３６は、ユーザ情報取得部３４から入力されたユーザの属性情報、実環境情報取得部３２から入力された実環境情報、及び車載カメラ１０から入力された背景画像を用いて、状況（実環境及びユーザの属性）に応じた提示画像を、提示画像記憶部３７に記憶された複数の提示画像の中から選択する。提示画像記憶部３７には、提示画像を示す画像データと、提示画像が示す対象の位置情報や対象のターゲットに関する情報等とが対応付けられて記憶されている。なお、提示画像が示す対象とは、店舗や商品等である。提示画像選択部３６では、ユーザの属性や車両の移動方向との関連が高い提示画像を選択する。具体的には、入力された属性情報が示すユーザの属性と提示画像が示す対象のターゲットとが一致する提示画像を選択したり、実環境情報が示す車両の移動方向に対応した位置情報が対応付けられている提示画像を選択したりすることができる。例えば、ユーザの年齢や性別を対象とした商品の宣伝広告画像を提示画像として選択することができる。また、例えば、車両の進行方向の先にある店舗の宣伝広告画像を提示画像として選択することができる。
【００３０】
また、提示画像選択部３６は、提示領域選択部３３から入力された領域について形状推定部３１で推定された形状、その領域、及び実環境情報取得部３２から入力された実環境情報に基づいて、ユーザが視認し易い提示画像を選択する。例えば、提示領域選択部３３から入力された領域の周辺領域とのコントラストが高い提示画像を選択したり、その領域が平面か曲面かに応じて、合成した際に見易い提示画像を選択したりすることができる。また、実環境情報が示す車両の移動速度が速い場合には情報量の少ない提示画像を選択するようにしてもよい。提示画像選択部３６で選択された提示画像は、表示制御部３８に出力される。
【００３１】
表示制御部３８は、提示画像選択部３６で選択された提示画像を、車載カメラ１０から入力された背景画像内の提示領域選択部３３で選択された領域に合成して、表示装置４０に表示するように制御する。この際、提示領域選択部３３で選択された領域について形状推定部３１で推定された３次元形状に沿うように、提示画像を変形させる。例えば、選択された領域が路面（推定された形状が奥行き方向に延びる平面）の場合には、提示画像の上部を縮小し、下部を拡大して、奥行きを持たせた形状に変形する。また、例えば、選択された領域が電柱（推定された形状が上下方向に伸びる円柱面）の場合には、提示画像を円柱状に変形する。
【００３２】
また、表示制御部３８は、実環境情報取得部３２から入力された車両の位置、移動方向、移動速度等の実環境情報をもとに、提示画像に例えばモーションブラーや、車両と提示位置との距離に応じたぼかし処理等の画像効果を施してもよい。また、車載カメラ１０から入力された背景画像の各画素の画素値（輝度値及び色情報）、提示領域選択部３３で選択された領域について形状推定部３１で推定された形状、実環境情報取得部３２から入力された実環境情報が示す車載カメラ１０の動きの情報等に応じて、例えば、整合のとれた隠蔽の処理、色調の調整、アニメーションの処理等を施し、自然な画像に加工するようにしてもよい。
【００３３】
次に、図２を参照して、本実施の形態の画像処理装置１において実行される画像処理ルーチンについて説明する。
【００３４】
ステップ１００で、車載カメラ１０により撮影された背景画像を取得する。例えば、図３に示すような背景画像が取得される。また、センサ群２０を構成する各センサで検出された検出値を取得する。
【００３５】
次に、ステップ１０２で、例えば、２枚以上の画像から３次元構造を復元するステレオ画像処理技術を用いるなどして、上記ステップ１００で取得した背景画像から、環境中の平面及び曲面の形状を推定し、背景画像内の面を有する領域を推定する。図４に、平面を構成する３次元点群を復元した例を示す。
【００３６】
次に、ステップ１０４で、上記ステップ１００で取得した各センサの検出値に基づいて、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報（例えば、位置情報、移動方向、移動速度等の情報）を、実環境情報として取得する。
【００３７】
次に、ステップ１０６で、上記ステップ１０２で推定した３次元空間中の形状の情報、及び上記ステップ１００で取得した背景画像に基づいて、面を有する領域であって、その領域に対して一定の割合の領域で、その領域の大きさが所定の大きさ以上の領域を、提示画像の提示に適した領域として選択する。
【００３８】
次に、ステップ１０８で、ユーザ情報記憶部３５に記憶されたユーザの属性情報を取得する。次に、ステップ１１０で、上記ステップ１０８で取得したユーザの属性情報、上記ステップ１０４で取得した実環境情報、上記ステップ１００で取得した背景画像、及び上記ステップ１０２で推定した３次元空間中の形状の情報を用いて、状況（実環境及びユーザの属性）に応じた提示画像を、提示画像記憶部３７に記憶された複数の提示画像の中から選択する。
【００３９】
次に、ステップ１１２で、上記ステップ１１０で選択された提示画像を、上記ステップ１０６で選択された領域について上記ステップ１０２で推定された３次元形状に沿うように変形して、その領域に合成して、表示装置４０に表示する。提示画像を合成した例を図５〜７に示す。図５は、図３に示した背景画像内の壁面を示す領域に提示画像を重畳した例である。また、図６は、背景画像内の道路面を示す領域に提示画像を重畳した例である。図７は、背景画像内の道路面を示す領域に立体的な提示画像を重畳した例である。
【００４０】
以上説明したように、本実施の形態の画像処理装置によれば、入力された背景画像から環境の３次元形状を推定し、背景画像内の面を有する領域であって、所定の画素値の所定サイズの領域を、提示画像を重畳する領域として選択し、本装置の移動方向等の実環境情報及びユーザの属性情報に応じた提示画像を選択して、選択された提示画像を選択された領域に重畳して表示するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる。
【００４１】
なお、上記実施の形態では、本装置を車両に搭載する場合について説明したが、撮影装置及び表示装置を備えた携帯端末装置に適用してもよい。
【００４２】
また、上記実施の形態では、車載カメラで撮影された背景画像にリアルタイムに提示画像を重畳して表示する場合について説明したが、既に撮影済みの実環境を撮影した画像を背景画像として入力するようにしてもよい。また、本装置とユーザが目視する表示装置とを別々に構成し、本装置と表示装置を有する端末間でデータを送受信することにより、表示装置に提示画像を重畳表示するようにしてもよい。この場合、表示装置を有する端末から、ユーザの属性情報や表示装置の位置情報等の実環境情報を取得するようにするとよい。例えば、ディスプレイを有するパーソナルコンピュータ（ＰＣ）において、ユーザが映像アーカイブから視聴したい映像を検索して視聴する場合などにも適用することができる。具体的には、本装置は、ユーザによって指定された映像を背景画像としてユーザのディスプレイに表示するように配信し、提示画像を提示する領域を配信中の画像から選択し、ユーザの属性情報やＰＣ（またはディスプレイ）の位置情報等の実環境情報を通信により取得し、取得した情報に基づいて提示画像を選択して、選択した提示画像を配信中の画像の選択した領域に重畳して表示するようにすることができる。
【００４３】
このように、過去の映像アーカイブやクラウド上に集積した実環境を撮影した映像の中に、違和感のない広告が提示できるなど新たなビジネスモデルが期待できる。提示画像は、個人毎にカスタマイズでき、言語や嗜好など、個人属性に応じた提示画像を選択できるほか、表示装置の位置、進行方向、速度や、撮影装置で撮影した背景画像にリアルタイムに提示画像を重畳する場合には、撮影装置の位置、進行方向、速度、撮影時間などによりＴＰＯにあった提示画像を選択することもできる。また、提示画像として広告画像を提示する場合だけでなく、背景画像中から標識を示す平面領域を選択して、標識を翻訳した提示画像を重畳する等の応用も可能である。
【００４４】
また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４５】
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００４６】
１ 画像処理装置
１０ 車載カメラ
２０ センサ群
３０ コンピュータ
３１ 形状推定部
３２ 実環境情報取得部
３３ 提示領域選択部
３４ ユーザ情報取得部
３５ ユーザ情報記憶部
３６ 提示画像選択部
３７ 提示画像記憶部
３８ 表示制御部
４０ 表示装置
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、コンピュータグラフィックスの技術を使って、現実環境には存在しない映像を実写映像に重畳してディスプレイに表示する画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、放送映像中に映るビルボード広告に、別の広告画像を合成して表示する手法が知られている（例えば、非特許文献１及び非特許文献２）。非特許文献１の手法は、予め登録しておいたビルボード広告画像に一致する領域を映像中から探索し、その領域を別の広告画像に置き換える。また、非特許文献２の技術では、サッカー中継などの映像における特定のビルボード広告を別の画像に置き換え、さらにビルボード広告の前に立つ人物が隠れないためのマスク処理をビルボード広告画像に行う。
【０００３】
また、実環境中にマーカー等を設置せずに、実写映像に看板などの画像及び映像などのオフジエクトを重畳する技術が提案されている（例えば、特許文献１及び特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３２３６３６号公報
【特許文献２】特開２００５−１７３６８５号公報
【非特許文献】
【０００５】
【非特許文献１】G. Medioni，G. Guy，H. Rom and A. Francois，"Real-Time Billboard Substitution in a Video Stream，" Proc. of the 10th Tyrrhenian International Workshop on Digital Communications，1998
【非特許文献２】F. Aldershoff and T. Gevers，" Visual Tracking and Localization of Billboards in Streamed Soccer Matches，" Proc.of SPIE Electronic Imaging 2004
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１及び非特許文献２の手法では、画像を提示する場所を予め人手で決めておき、その場所を探索するための知識も人手で与える必要がある、という問題がある。
【０００７】
また、特許文献１及び特許文献２の手法では、実写画像とオブジェクトとの整合性を考慮するものの、予め実写環境に写る各物体の３次元形状を精密に取得することが必要であり、また登録されたオブジェクトの３次元形状のモデルと実写画像との整合性しか考慮していない。このため、モデルが存在しない場所にはそもそも提示することができず、また、広告などの追加情報が実写映像中の３次元形状のどこに配置するのが適切かといった考慮は行われず、事前に登録された領域にのみ表示されてしまう、という問題がある。
【０００８】
本発明は上記問題点に鑑みてなされたものであり、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、入力画像内における面を有する領域を選択する領域選択手段と、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択する画像選択手段と、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する表示制御手段と、を含んで構成されている。
【００１０】
本発明の画像処理装置によれば、領域選択手段が、入力画像内における面を有する領域を選択する。面は、平面及び曲面であり、このような面を有する領域が、入力画像に提示画像を重畳して表示手段に提示するための領域として選択される。
【００１１】
また、画像選択手段が、表示手段の状態、及び入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、入力画像に重畳して提示する提示画像を選択する。そして、画像制御手段が、領域選択手段により選択された領域に、画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する。
【００１２】
このように、入力画像内における面を有する領域に、表示手段の状態及びユーザの属性情報の少なくとも一方に基づいて選択された提示画像を重畳するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる。
【００１３】
また、前記領域選択手段は、前記領域内の面から面中の適切な高さ、適切な幅の領域を選択する。例えば、面全体の高さに対する提示領域の高さの割合、面全体の幅に対する提示領域の幅の割合を事前に設定しておき、設定した割合の大きさの領域が所定サイズ以上の領域が得られる場合に、提示領域として選択することができる。面の中央に配置することもでき、どちらかに寄せて配置することも可能である。あるいは、画像の色の情報に基づいて、前記領域内の各画素の画素値が単色または単色のグラデーションを示す所定サイズ以上の領域を選択することもできる。もちろん他の手法により適切な領域を選択することも可能である。このような領域は、建物の壁面、看板、路面、電柱、樹木、車両の側面、及び標識のいずれかを示す領域である。これらの領域は、実環境においても看板や標識等が設置される位置であり、画像内において提示画像を重畳するのに適した領域である。
【００１４】
また、前記画像選択手段は、前記表示手段の状態として、該表示手段の移動方向を取得し、該移動方向との関連が高い提示画像を選択したり、前記ユーザの属性情報として、該ユーザの年齢、性別、住所、及び過去の提示画像に関連する利用履歴の少なくとも１つに基づいて、前記ユーザの属性との関連が高い提示画像を選択したりすることができる。これにより、状況に適した提示画像を選択することができる。
【００１５】
また、前記画像選択手段は、さらに、前記領域選択手段により選択された領域の面形状、該領域を含む周辺領域の画素値、及び前記表示手段の状態に基づいて、視聴し易い提示画像を選択することができる。
【００１６】
また、本発明の画像処理方法は、領域選択手段と、画像選択手段と、表示制御手段とを含む画像処理装置における画像処理方法であって、前記領域選択手段は、入力画像内における面を有する領域を選択し、前記画像選択手段は、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択し、前記表示制御手段は、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する方法である。
【００１７】
また、本発明の画像処理プログラムは、コンピュータを、上記の画像処理装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、入力画像内における面を有する領域に、表示手段の状態及びユーザの属性情報の少なくとも一方に基づいて選択された提示画像を重畳するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本実施の形態の画像処理装置の構成を示すブロック図である。
【図２】本実施の形態の画像処理装置における画像処理ルーチンの内容を示すフローチャートである。
【図３】車載カメラで撮影された背景画像の一例を示す図である。
【図４】背景画像内において平面を構成する３次元点群を復元した図である。
【図５】図３に示した背景画像内の壁面を示す領域に提示画像を重畳した一例を示す図である。
【図６】背景画像内の道路面を示す領域に提示画像を重畳した一例を示す図である。
【図７】背景画像内の道路面を示す領域に立体的な提示画像を重畳した一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、本発明の画像処理装置を車両に搭載し、走行中の周辺環境を撮影した画像に提示画像を重畳する場合を例に説明する。
【００２１】
本実施の形態に係る画像処理装置１は、図１に示すように、周辺環境を撮影する車載カメラ１０と、車載カメラ１０または車両の状態を検出するセンサ群２０と、後述する画像処理ルーチンを実行するコンピュータ３０と、コンピュータ３０による画像処理結果を表示する液晶パネル等で構成された表示装置４０とを含んで構成されている。
【００２２】
車載カメラ１０は、例えばＣＣＤカメラ等で構成され、自車両の周辺環境を撮影する。車載カメラ１０により撮影された画像を、以下では「背景画像」という。撮影された背景画像はコンピュータ３０に出力される。
【００２３】
センサ群２０は、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報（例えば、位置情報、移動方向、移動速度等の情報）を検出するための、ＧＰＳ装置、ジャイロセンサ、加速度センサ、速度計、トリップメータ一、ハンドル角計測装置等の各センサを含んで構成されている。各センサによる検出値はコンピュータ３０に出力される。
【００２４】
コンピュータ３０は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラム及び各種データを記憶したＲＯＭとを備えている。このコンピュータは、機能的には、図１に示すように、形状推定部３１と、実環境情報取得部３２と、提示領域選択部３３と、ユーザ情報取得部３４と、提示画像選択部３６と、表示制御部３８とを含んだ構成で表すことができる。
【００２５】
形状推定部３１は、車載カメラ１０から入力された背景画像において、面を有する領域を推定する。面は、平面及び曲面（円柱面、球面等）である。すなわち形状推定部３１は、入力された背景画像から、環境中の平面及び曲面の形状を推定する。形状の推定は、例えば、２枚以上の画像から３次元構造を復元するステレオ画像処理技術（例えば、金澤靖，金谷健一，「[解説] コンピュータビジョンのための画像の特徴点抽出」, 電子情報通信学会誌, Vol. 87, No. 12 (2004-12), pp. 1043-1048. 参照）により実現することができる。形状推定部３１で推定された３次元空間中の形状（面を有する領域）の情報は、提示領域選択部３３、提示画像選択部３６、及び表示制御部３８に出力される。
【００２６】
実環境情報取得部３２は、センサ群２０を構成する各センサで検出された検出値を取得し、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報を、実環境情報として取得する。取得した実環境情報は、提示領域選択部３３、提示画像選択部３６、及び表示制御部３８に出力される。
【００２７】
提示領域選択部３３は、形状推定部３１から入力された３次元空間中の形状の情報、及び車載カメラ１０から入力された背景画像に基づいて、背景画像内で提示画像の提示に適した領域を選択する。提示画像の提示に適した領域とは、その領域全体に対して一定の割合の大きさの領域であり、その領域の大きさが所定の大きさ以上の領域である。例えば、建物の壁面、既存の看板、路面、電柱、樹木、車両の側面、既存の標識等を示す領域が挙げられる。また、提示領域選択部３３は、実環境情報取得部３２から入力された車載カメラ１０の位置、移動方向等の実環境情報に応じて、選択される提示画像の領域を変化させる。例えば、車載カメラ１０の位置や移動方向の情報を利用することで、いつも背景画像の右側のユーザが見易い位置を提示領域として選択する。提示領域選択部３３で選択された領域は、提示画像選択部３６、及び表示制御部３８に出力される。
【００２８】
ユーザ情報取得部３４は、本装置を利用しているユーザの属性を示す属性情報を、ユーザ情報記憶部３５から取得し、提示画像選択部３６に出力する。属性情報は、例えば、ユーザの年齢、性別、住所等とすることができ、これらの情報を予めユーザ情報記憶部３５に記憶しておく。また、過去に本装置により提示された提示画像に関連する店舗への来店履歴や商品の購入履歴などの利用履歴を記憶しておき、この利用履歴を属性情報として用いてもよい。なお、ユーザ情報取得部３４は、ユーザ情報記憶部３５に記憶されたユーザの属性情報を取得する場合に限らず、図示しない入力装置から入力されたユーザの属性情報を取得するようにしてもよい。
【００２９】
提示画像選択部３６は、ユーザ情報取得部３４から入力されたユーザの属性情報、実環境情報取得部３２から入力された実環境情報、及び車載カメラ１０から入力された背景画像を用いて、状況（実環境及びユーザの属性）に応じた提示画像を、提示画像記憶部３７に記憶された複数の提示画像の中から選択する。提示画像記憶部３７には、提示画像を示す画像データと、提示画像が示す対象の位置情報や対象のターゲットに関する情報等とが対応付けられて記憶されている。なお、提示画像が示す対象とは、店舗や商品等である。提示画像選択部３６では、ユーザの属性や車両の移動方向との関連が高い提示画像を選択する。具体的には、入力された属性情報が示すユーザの属性と提示画像が示す対象のターゲットとが一致する提示画像を選択したり、実環境情報が示す車両の移動方向に対応した位置情報が対応付けられている提示画像を選択したりすることができる。例えば、ユーザの年齢や性別を対象とした商品の宣伝広告画像を提示画像として選択することができる。また、例えば、車両の進行方向の先にある店舗の宣伝広告画像を提示画像として選択することができる。
【００３０】
また、提示画像選択部３６は、提示領域選択部３３から入力された領域について形状推定部３１で推定された形状、その領域、及び実環境情報取得部３２から入力された実環境情報に基づいて、ユーザが視認し易い提示画像を選択する。例えば、提示領域選択部３３から入力された領域の周辺領域とのコントラストが高い提示画像を選択したり、その領域が平面か曲面かに応じて、合成した際に見易い提示画像を選択したりすることができる。また、実環境情報が示す車両の移動速度が速い場合には情報量の少ない提示画像を選択するようにしてもよい。提示画像選択部３６で選択された提示画像は、表示制御部３８に出力される。
【００３１】
表示制御部３８は、提示画像選択部３６で選択された提示画像を、車載カメラ１０から入力された背景画像内の提示領域選択部３３で選択された領域に合成して、表示装置４０に表示するように制御する。この際、提示領域選択部３３で選択された領域について形状推定部３１で推定された３次元形状に沿うように、提示画像を変形させる。例えば、選択された領域が路面（推定された形状が奥行き方向に延びる平面）の場合には、提示画像の上部を縮小し、下部を拡大して、奥行きを持たせた形状に変形する。また、例えば、選択された領域が電柱（推定された形状が上下方向に伸びる円柱面）の場合には、提示画像を円柱状に変形する。
【００３２】
また、表示制御部３８は、実環境情報取得部３２から入力された車両の位置、移動方向、移動速度等の実環境情報をもとに、提示画像に例えばモーションブラーや、車両と提示位置との距離に応じたぼかし処理等の画像効果を施してもよい。また、車載カメラ１０から入力された背景画像の各画素の画素値（輝度値及び色情報）、提示領域選択部３３で選択された領域について形状推定部３１で推定された形状、実環境情報取得部３２から入力された実環境情報が示す車載カメラ１０の動きの情報等に応じて、例えば、整合のとれた隠蔽の処理、色調の調整、アニメーションの処理等を施し、自然な画像に加工するようにしてもよい。
【００３３】
次に、図２を参照して、本実施の形態の画像処理装置１において実行される画像処理ルーチンについて説明する。
【００３４】
ステップ１００で、車載カメラ１０により撮影された背景画像を取得する。例えば、図３に示すような背景画像が取得される。また、センサ群２０を構成する各センサで検出された検出値を取得する。
【００３５】
次に、ステップ１０２で、例えば、２枚以上の画像から３次元構造を復元するステレオ画像処理技術を用いるなどして、上記ステップ１００で取得した背景画像から、環境中の平面及び曲面の形状を推定し、背景画像内の面を有する領域を推定する。図４に、平面を構成する３次元点群を復元した例を示す。
【００３６】
次に、ステップ１０４で、上記ステップ１００で取得した各センサの検出値に基づいて、車載カメラ１０または車載カメラ１０が搭載された車両の状態を示す情報（例えば、位置情報、移動方向、移動速度等の情報）を、実環境情報として取得する。
【００３７】
次に、ステップ１０６で、上記ステップ１０２で推定した３次元空間中の形状の情報、及び上記ステップ１００で取得した背景画像に基づいて、面を有する領域であって、その領域に対して一定の割合の領域で、その領域の大きさが所定の大きさ以上の領域を、提示画像の提示に適した領域として選択する。
【００３８】
次に、ステップ１０８で、ユーザ情報記憶部３５に記憶されたユーザの属性情報を取得する。次に、ステップ１１０で、上記ステップ１０８で取得したユーザの属性情報、上記ステップ１０４で取得した実環境情報、上記ステップ１００で取得した背景画像、及び上記ステップ１０２で推定した３次元空間中の形状の情報を用いて、状況（実環境及びユーザの属性）に応じた提示画像を、提示画像記憶部３７に記憶された複数の提示画像の中から選択する。
【００３９】
次に、ステップ１１２で、上記ステップ１１０で選択された提示画像を、上記ステップ１０６で選択された領域について上記ステップ１０２で推定された３次元形状に沿うように変形して、その領域に合成して、表示装置４０に表示する。提示画像を合成した例を図５〜７に示す。図５は、図３に示した背景画像内の壁面を示す領域に提示画像を重畳した例である。また、図６は、背景画像内の道路面を示す領域に提示画像を重畳した例である。図７は、背景画像内の道路面を示す領域に立体的な提示画像を重畳した例である。
【００４０】
以上説明したように、本実施の形態の画像処理装置によれば、入力された背景画像から環境の３次元形状を推定し、背景画像内の面を有する領域であって、所定の画素値の所定サイズの領域を、提示画像を重畳する領域として選択し、本装置の移動方向等の実環境情報及びユーザの属性情報に応じた提示画像を選択して、選択された提示画像を選択された領域に重畳して表示するため、実環境中にマーカーを設置する等の事前処理を行うことなく、実環境を撮影した画像に適切な提示画像を調和させて提示することができる。
【００４１】
なお、上記実施の形態では、本装置を車両に搭載する場合について説明したが、撮影装置及び表示装置を備えた携帯端末装置に適用してもよい。
【００４２】
また、上記実施の形態では、車載カメラで撮影された背景画像にリアルタイムに提示画像を重畳して表示する場合について説明したが、既に撮影済みの実環境を撮影した画像を背景画像として入力するようにしてもよい。また、本装置とユーザが目視する表示装置とを別々に構成し、本装置と表示装置を有する端末間でデータを送受信することにより、表示装置に提示画像を重畳表示するようにしてもよい。この場合、表示装置を有する端末から、ユーザの属性情報や表示装置の位置情報等の実環境情報を取得するようにするとよい。例えば、ディスプレイを有するパーソナルコンピュータ（ＰＣ）において、ユーザが映像アーカイブから視聴したい映像を検索して視聴する場合などにも適用することができる。具体的には、本装置は、ユーザによって指定された映像を背景画像としてユーザのディスプレイに表示するように配信し、提示画像を提示する領域を配信中の画像から選択し、ユーザの属性情報やＰＣ（またはディスプレイ）の位置情報等の実環境情報を通信により取得し、取得した情報に基づいて提示画像を選択して、選択した提示画像を配信中の画像の選択した領域に重畳して表示するようにすることができる。
【００４３】
このように、過去の映像アーカイブやクラウド上に集積した実環境を撮影した映像の中に、違和感のない広告が提示できるなど新たなビジネスモデルが期待できる。提示画像は、個人毎にカスタマイズでき、言語や嗜好など、個人属性に応じた提示画像を選択できるほか、表示装置の位置、進行方向、速度や、撮影装置で撮影した背景画像にリアルタイムに提示画像を重畳する場合には、撮影装置の位置、進行方向、速度、撮影時間などによりＴＰＯにあった提示画像を選択することもできる。また、提示画像として広告画像を提示する場合だけでなく、背景画像中から標識を示す平面領域を選択して、標識を翻訳した提示画像を重畳する等の応用も可能である。
【００４４】
また、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００４５】
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００４６】
１ 画像処理装置
１０ 車載カメラ
２０ センサ群
３０ コンピュータ
３１ 形状推定部
３２ 実環境情報取得部
３３ 提示領域選択部
３４ ユーザ情報取得部
３５ ユーザ情報記憶部
３６ 提示画像選択部
３７ 提示画像記憶部
３８ 表示制御部
４０ 表示装置
【特許請求の範囲】
【請求項１】
入力画像内における面を有する領域を選択する領域選択手段と、
前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択する画像選択手段と、
前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する表示制御手段と、
を含む画像処理装置。
【請求項２】
前記領域選択手段は、前記領域内の一定の割合の領域で所定サイズ以上の領域を選択する請求項１記載の画像処理装置。
【請求項３】
前記面を有する領域は、建物の壁面、看板、路面、電柱、樹木、車両の側面、及び標識のいずれかを示す領域である請求項１または請求項２記載の画像処理装置。
【請求項４】
前記画像選択手段は、前記表示手段の状態として、該表示手段の移動方向を取得し、該移動方向との関連が高い提示画像を選択する請求項１〜請求項３のいずれか１項記載の画像処理装置。
【請求項５】
前記画像選択手段は、前記ユーザの属性情報として、該ユーザの年齢、性別、住所、及び過去の提示画像に関連する利用履歴の少なくとも１つに基づいて、前記ユーザの属性との関連が高い提示画像を選択する請求項１〜請求項４のいずれか１項記載の画像処理装置。
【請求項６】
前記画像選択手段は、さらに、前記領域選択手段により選択された領域の面形状、該領域を含む周辺領域の画素値、及び前記表示手段の状態に基づいて、視聴し易い提示画像を選択する請求項１〜請求項５のいずれか１項記載の画像処理装置。
【請求項７】
領域選択手段と、画像選択手段と、表示制御手段とを含む画像処理装置における画像処理方法であって、
前記領域選択手段は、入力画像内における面を有する領域を選択し、
前記画像選択手段は、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択し、
前記表示制御手段は、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する
画像処理方法。
【請求項８】
コンピュータを、請求項１〜請求項６のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
【請求項１】
入力画像内における面を有する領域を選択する領域選択手段と、
前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択する画像選択手段と、
前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する表示制御手段と、
を含む画像処理装置。
【請求項２】
前記領域選択手段は、前記領域内の一定の割合の領域で所定サイズ以上の領域を選択する請求項１記載の画像処理装置。
【請求項３】
前記面を有する領域は、建物の壁面、看板、路面、電柱、樹木、車両の側面、及び標識のいずれかを示す領域である請求項１または請求項２記載の画像処理装置。
【請求項４】
前記画像選択手段は、前記表示手段の状態として、該表示手段の移動方向を取得し、該移動方向との関連が高い提示画像を選択する請求項１〜請求項３のいずれか１項記載の画像処理装置。
【請求項５】
前記画像選択手段は、前記ユーザの属性情報として、該ユーザの年齢、性別、住所、及び過去の提示画像に関連する利用履歴の少なくとも１つに基づいて、前記ユーザの属性との関連が高い提示画像を選択する請求項１〜請求項４のいずれか１項記載の画像処理装置。
【請求項６】
前記画像選択手段は、さらに、前記領域選択手段により選択された領域の面形状、該領域を含む周辺領域の画素値、及び前記表示手段の状態に基づいて、視聴し易い提示画像を選択する請求項１〜請求項５のいずれか１項記載の画像処理装置。
【請求項７】
領域選択手段と、画像選択手段と、表示制御手段とを含む画像処理装置における画像処理方法であって、
前記領域選択手段は、入力画像内における面を有する領域を選択し、
前記画像選択手段は、前記表示手段の状態、及び前記入力画像を目視するユーザの属性情報の少なくとも一方に基づいて、予め記憶された複数の提示画像から、前記入力画像に重畳して提示する提示画像を選択し、
前記表示制御手段は、前記領域選択手段により選択された領域に、前記画像選択手段により選択された提示画像が重畳されて提示されるように表示手段を制御する
画像処理方法。
【請求項８】
コンピュータを、請求項１〜請求項６のいずれか１項記載の画像処理装置を構成する各手段として機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０９４６９（Ｐ２０１３−１０９４６９Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５２５７６（Ｐ２０１１−２５２５７６）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
[ Back to top ]