情報処理装置、その処理方法及びプログラム
【課題】
現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できるようにした技術を提供する。
【解決手段】
情報処理装置は、現実空間を撮影した現実画像に対して仮想画像を合成する。ここで、情報処理装置は、現実空間における各部の奥行き情報を取得する取得手段と、仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、取得した奥行き情報と算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、現実画像における色情報を用いて抽出領域を補正する補正手段と、補正した抽出領域を、仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、描画禁止領域に基づいて仮想画像を描画する描画手段と、現実画像と描画した仮想画像とを合成する合成手段とを具備する。
現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できるようにした技術を提供する。
【解決手段】
情報処理装置は、現実空間を撮影した現実画像に対して仮想画像を合成する。ここで、情報処理装置は、現実空間における各部の奥行き情報を取得する取得手段と、仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、取得した奥行き情報と算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、現実画像における色情報を用いて抽出領域を補正する補正手段と、補正した抽出領域を、仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、描画禁止領域に基づいて仮想画像を描画する描画手段と、現実画像と描画した仮想画像とを合成する合成手段とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、現実空間の映像に三次元のＣＧ（Computer Graphics）を合成することにより、現実空間にはない情報をユーザに提示する技術が開発されている。このような技術は、ＭＲ（Mixed Reality：複合現実感）システムと呼ばれている。
【０００３】
ＭＲシステムは、現実空間と切り離された状況のみにおいて体験することが可能であった仮想空間と現実空間との共存を目的とし、仮想空間を増強する技術として注目されている。
【０００４】
ＭＲシステムを実現させるための１つの技術として位置合わせ技術がある。これは、現実空間のカメラの位置及び姿勢と仮想カメラの位置及び姿勢とを一致させることを目的とした技術であり、現実空間とＣＧとを違和感なく合成するために必要な技術である。
【０００５】
現実空間のカメラの位置及び姿勢を算出する方法としては、位置姿勢計測センサを用いる方法や、カメラが撮影した特徴点の位置から画像処理を用いて算出する方法（特許文献１）、それら両者の技術を組み合わせた方法（特許文献２）などが提案されている。しかし、上述した方法では、現実空間の奥行き情報が不足しているため、ＣＧと現実物との奥行き方向の関係を正しく表現することができない。
【０００６】
ここで、図９（ａ）に示すように、ＣＧ１０１に対してユーザが自らの手１０２を使ってＣＧに対して何らかの操作を行なう場合について考えてみる。符号１０３は、ＣＧと現実画像との境界部分を示している。この場合、手の奥行き情報がないため、手１０２とＣＧ１０１との奥行き関係を求めることはできない。そのため、図９（ｂ）に示すように、手１０２がＣＧ１０１によって隠れてしまった合成映像になってしまう。符号２０１は、ＣＧ１０１と手１０２との境界部分を示している。
【０００７】
この状況に対処する方法の１つとしては、予め登録しておいた色情報に基づいてマスキング処理を行なう方法が提案されている（特許文献３）。この方法では、「現実画像内の予め登録された色領域」→「ＣＧ」→「現実画像」の優先順位で描画がなされる。例えば、手の色を予め登録しておいた場合、「手」→「ＣＧ」→「手以外の現実画像」の優先順位で描画が行なわれ、図１０の符号３０１に示すように、ＣＧ１０１と手１０２との境界部分がなくなった合成映像が得られる。しかし、この方法においても、現実空間の奥行き情報がないため、奥行き方向の関係を必ずしも正しく表現することはできない。
【０００８】
ここで、現実空間の奥行き情報を取得する方法としては、赤外線や超音波等を使用した奥行きセンサを用いる方法や、２つ以上のカメラで撮影した映像から画像処理を用いて距離を求める方法などが知られている。しかし、一般に、奥行き画像の解像度は、カメラの撮像解像度と比べて低く、また、測定可能範囲を大きくすればするほど、分解能が低くなってしまう場合が多い。
【０００９】
そのため、不正確な奥行き情報が得られ、このような奥行き情報を用いて、現実画像とＣＧとを合成した場合、図１１（ａ）に示すように、現実画像とＣＧとの境界部分１０３に不自然なノイズが発生してしまう。また、奥行き情報の分解能が低い場合には、図１１（ｂ）に示すように、本来の正しい位置関係すら表現できない場合も考えられる。このような奥行き画像の問題を回避する方法の１つとしては、カメラにより撮影された現実画像を用いて、奥行き画像を超解像度化する手法が提案されている（非特許文献１）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−３１９３８８号公報
【特許文献２】特開２００７−１６４６３１号公報
【特許文献３】特開２００３−２９６７５号公報
【非特許文献】
【００１１】
【非特許文献１】Qingxiong Yang, Ruigang Yang, James Davis, David Nister, Spatial-Depth Super Resolution for Range Images, CVPR 2007
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述した通り、奥行き情報が得られたとしても、当該奥行き情報の解像度が現実画像の解像度よりも低い場合や、分解能が低い場合には、現実画像とＣＧとの合成が不正確になってしまっていた。
【００１３】
また、複合現実感をユーザに体験させるためには、全ての処理をリアルタイムに実施する必要がある。しかし、上記方法（非特許文献１）では、距離画像の全領域に対して超解像度化の処理が行なわれるため、処理時間を要し、リアルタイム性を確保できない可能性がある。
【００１４】
本発明は、上記課題に鑑みてなされたものであり、現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明の一態様は、現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置であって、前記現実空間における各部の奥行き情報を取得する取得手段と、前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、前記現実画像における色情報を用いて前記抽出領域を補正する補正手段と、前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、前記描画禁止領域に基づいて仮想画像を描画する描画手段と、前記現実画像と前記描画された仮想画像とを合成する合成手段とを具備する
。
【発明の効果】
【００１６】
本発明によれば、現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態に係わる情報処理装置１０を配して構成した情報処理システムの構成の一例を示す図。
【図２】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図３】図２のＳ１０７に示す第２の補正処理の流れの一例を示すフローチャート。
【図４】図２のＳ１０４の処理で抽出される領域（抽出領域）の概要を示す図。
【図５】図２のＳ１０６及びＳ１０７に示す補正処理の概要を示す図。
【図６】図２のＳ１０８〜Ｓ１１０の処理の概要を示す図。
【図７】実施形態２に係わる情報処理装置１０の処理の流れの一例を示すフローチャート。
【図８】図７に示すＳ３０４及びＳ３０５の処理の概要を示す図。
【図９】従来技術を説明するための図。
【図１０】従来技術を説明するための図。
【図１１】従来技術を説明するための図。
【発明を実施するための形態】
【００１８】
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
【００１９】
（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置１０を配して構成した情報処理システムの構成の一例を示す図である。
【００２０】
情報処理システムには、情報処理装置１０と、撮像装置２１と、位置姿勢計測装置２２と、デプス値計測装置２３と、表示装置２４とが具備される。
【００２１】
情報処理装置１０、撮像装置２１、位置姿勢計測装置２２、デプス値計測装置２３及び表示装置２４には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ（Central Processing Unit）等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００２２】
ここで、撮像装置２１は、例えば、ＣＣＤ（Charge Coupled Device）カメラなどで実現され、現実空間を撮影する。位置姿勢計測装置２２は、例えば、ジャイロセンサ、磁器センサなどで実現され、撮像装置２１の位置及び姿勢を計測する。
【００２３】
デプス値計測装置２３は、例えば、赤外線、超音波、又はステレオ画像などを用いて現実空間のデプス値（奥行き情報）を測定する。表示装置２４は、例えば、ＣＲＴ液晶モニターなどで実現され、情報処理装置１０により合成された画像（映像）を表示する。
【００２４】
ここで、情報処理装置１０は、その機能的な構成として、画像取得部３１と、位置姿勢算出部３２と、記憶部３３と、Ｚバッファ作成部３４と、領域抽出部３５と、デプス値取得部３６と、補正部３７とを具備して構成される。また、情報処理装置１０には、ステンシルバッファ作成部３８、ＣＧ描画部３９、合成部４０も設けられる。以下、各部の機能について説明する。
【００２５】
画像取得部３１は、撮像装置２１により撮影された現実空間の画像を取得する。取得された現実画像は、補正部３７及び合成部４０へ送られる。また、現実画像は、撮像装置２１の位置及び姿勢の計測処理に画像を使用する場合、位置姿勢算出部３２へも送られる。
【００２６】
位置姿勢算出部３２は、撮像装置２１の位置及び姿勢を算出する。位置姿勢算出部３２においては、位置姿勢計測装置２２により計測された位置及び姿勢の計測値、現実画像の少なくともいずれかを用いて、撮像装置２１の位置及び姿勢（の情報）を算出する。
【００２７】
ここで、位置及び姿勢の計測値を用いて撮像装置２１の位置及び姿勢を算出する場合、位置姿勢算出部３２は、撮像装置２１固有の特性を表すパラメータや、位置姿勢計測装置２２の取り付け位置と撮像装置２１のレンズ中心との位置姿勢関係を用いる。なお、撮像装置２１固有の特性を表すパラメータは、例えば、撮像装置２１の焦点距離や主点位置などを示す情報であり、記憶部３３に予め記憶されている。
【００２８】
また、現実画像を用いて撮像装置２１の位置及び姿勢を算出する場合、位置姿勢算出部３２は、撮像装置２１固有の特性を表すパラメータと、現実空間に存在する指標に関する位置姿勢定義情報と、現実画像内の指標に関する位置情報とを用いる。なお、位置姿勢算出部３２により算出された位置及び姿勢（の情報）は、Ｚバッファ作成部３４、領域抽出部３５及びＣＧ描画部３９へ送られる。
【００２９】
Ｚバッファ作成部３４は、位置姿勢算出部３２により算出された位置及び姿勢の情報に基づいて、仮想画像（ＣＧ）を投影したときのＺ値（奥行き情報）を算出する。これにより、ＣＧのＺバッファを作成する。Ｚバッファは、仮想画像における各部の奥行き情報算出の結果がＺ値として保持されるメモリ領域を示す。なお、算出されたＺ値は、領域抽出部３５へ送られる。
【００３０】
デプス値取得部３６は、デプス値計測装置２３により計測された現実空間のデプス値（デプスマップ）を取得する。なお、デプスマップには、撮像装置２１により撮影された現実空間における各部の奥行き情報がデプス値として保持される。取得したデプス値（デプスマップ）は、領域抽出部３５へ送られる。
【００３１】
記憶部３３は、各種情報を記憶する。記憶部３３には、撮像装置２１の焦点距離や主点位置などの撮像装置２１固有の特性を表すパラメータ、位置姿勢計測装置２２の取り付け位置と撮像装置２１のレンズ中心との位置姿勢関係などが記憶される。また、記憶部３３には、現実空間に存在する指標の位置姿勢定義情報も記憶される。
【００３２】
領域抽出部３５は、Ｚバッファ作成部３４により算出されたＣＧのＺ値と、デプス値取得部３６により取得された現実空間のデプス値とをそれぞれ対応する位置毎に比較し、その比較結果に基づいてＺ値とデプス値との差が所定の閾値を越える領域を抽出する。この領域の抽出は、現実画像から行なわれる。なお、抽出する領域（抽出領域）は、上述した所定の閾値を「０」に設定し、Ｚ値がデプス値を越える全ての領域としても良い。また、デプス値の分解能が低い場合には、閾値を「０」よりも小さい値に設定し、Ｚ値がデプス値よりも小さくなる領域をも含めるようにしても良い。
【００３３】
補正部３７は、領域抽出部３５により抽出された領域（抽出領域）に対して補正処理を行なう。より具体的には、補正部３７は、抽出領域の色情報に基づいて、当該抽出領域の範囲を補正する。
【００３４】
ステンシルバッファ作成部３８は、補正部３７により補正された領域を書き込み禁止領域（描画禁止領域）として規定するステンシルバッファを作成する。すなわち、ステンシルバッファに規定された現実画像上における領域は、ＣＧの描画が禁止される。作成されたステンシルバッファは、ＣＧ描画部３９へ送られる。
【００３５】
ＣＧ描画部３９は、ステンシルバッファ作成部３８により作成されたステンシルバッファに基づいて仮想画像（ＣＧ）を描画する。より具体的には、ステンシルバッファに規定された領域以外でＣＧの描画を行なう。合成部４０は、現実画像とＣＧ画像とを合成する。合成された映像は、表示装置２４において表示される。
【００３６】
以上が、情報処理システムの構成の一例についての説明である。なお、情報処理装置１０に設けられた機能的な構成は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていればよい。
【００３７】
また、各種装置の構成も、必ずしも図示した通りに実現される必要はない。例えば、撮像装置２１、位置姿勢計測装置２２、デプス値計測装置２３、表示装置２４の少なくともいずれかが情報処理装置１０内の構成として設けられていても良い。
【００３８】
次に、図２を用いて、図１に示す情報処理装置１０における処理の流れの一例について説明する。
【００３９】
この処理では、まず、撮像装置２１において、現実空間の撮影が行なわれる。すると、情報処理装置１０は、画像取得部３１において、撮像装置２１により撮影された画像（現実画像）を取得する（Ｓ１０１）。また、このとき、デプス値計測装置２３において、現実空間のデプス値が測定され、情報処理装置１０は、デプス値取得部３６において、当該デプス値（すなわち、デプスマップ）を取得する（Ｓ１０２）。
【００４０】
情報処理装置１０は、Ｚバッファ作成部３４において、位置姿勢算出部３２により算出された撮像装置２１の位置及び姿勢に基づいて、ＣＧを投影したときのＺ値を算出する（Ｓ１０３）。すなわち、ＣＧのＺバッファを作成する。
【００４１】
情報処理装置１０は、領域抽出部３５において、現実空間のデプス値とＣＧのＺ値とをそれぞれ対応する位置毎に比較し、ＣＧのＺ値と現実空間のデプス値との差が所定の閾値を越える領域（抽出領域）を抽出する（Ｓ１０４）。上述した通り、この抽出領域は、現実画像から抽出される。
【００４２】
ここで、情報処理装置１０は、補正部３７において、抽出領域を代表する色情報を算出（決定）する（Ｓ１０５）。この処理においては、例えば、抽出領域内の色情報（輝度及び色調等）のヒストグラムを作成し、頻度が最も高い色情報を代表値（代表色情報）として算出すれば良い。
【００４３】
情報処理装置１０は、補正部３７において、代表色情報を用いて、抽出領域の範囲を補正（第１の補正）する。より具体的には、代表色情報と、抽出領域における注目画素の色情報とを画素毎に比較する。比較の結果、注目画素の色情報が、代表色情報と類似していれば当該画素を抽出領域内に含め、類似していなければ抽出領域から排除する（Ｓ１０６）。なお、類似しているか否かはの判定は、色情報に対して所定の基準（例えば、閾値）を設け、代表色情報と注目画素との色情報が、所定の基準よりも類似しているか否かを比較することにより行なえば良い。
【００４４】
続いて、情報処理装置１０は、補正部３７において、当該領域の色情報の変化量を用いて、Ｓ１０６で処理された抽出領域の範囲を更に補正（第２の補正）する（Ｓ１０７）。なお、この処理の詳細については後述する。
【００４５】
情報処理装置１０は、ステンシルバッファ作成部３８において、Ｓ１０６及びＳ１０７の処理で範囲が補正された抽出領域を書込み禁止とするステンシルバッファを作成する（Ｓ１０８）。そして、ＣＧ描画部３９において、当該作成したステンシルバッファに基づいてＣＧを描画する（Ｓ１０９）。その後、情報処理装置１０は、合成部４０において、Ｓ１０１の処理で取得された現実画像と、Ｓ１０９の処理で描画されたＣＧとを合成した後（Ｓ１１０）、この処理を終了する。
【００４６】
ここで、図３を用いて、図２のＳ１０７に示す第２の補正処理の詳細について説明する。
【００４７】
情報処理装置１０は、補正部３７において、現実画像を走査する（Ｓ２０１）。そして、注目画素が図２のＳ１０６の処理で抽出された領域（抽出領域）であるか否かを判定する。抽出領域でなければ（Ｓ２０２でＮＯ）、未走査の画素が存在するか否かを判定し、未走査の画素があれば（Ｓ２０３でＹＥＳ）、情報処理装置１０は、再度、Ｓ２０１の処理を行なう。一方、未走査の画素がなければ（Ｓ２０３でＮＯ）、情報処理装置１０は、この処理を終了する。
【００４８】
また、Ｓ２０２の処理の結果、抽出領域であれば（Ｓ２０２でＹＥＳ）、情報処理装置１０は、補正部３７において、注目画素の所定範囲内（注目画素を囲む領域：例えば、注目画素の８近傍内）に、抽出領域以外にある画素が存在するか否かを探索する（Ｓ２０４）。抽出領域以外にある画素が存在しなければ（Ｓ２０５でＮＯ）、情報処理装置１０は、未走査の画素が存在するか否かを判定する。未走査の画素があれば（Ｓ２０９でＹＥＳ）、情報処理装置１０は、再度、Ｓ２０１の処理を行なう。一方、未走査の画素がなければ（Ｓ２０９でＮＯ）、情報処理装置１０は、この処理を終了する。
【００４９】
Ｓ２０５の判定の結果、注目画素の所定範囲内に、抽出領域以外にある画素が存在すれば（Ｓ２０５でＹＥＳ）、情報処理装置１０は、補正部３７において、注目画素を中心とした輝度変化を算出する（Ｓ２０６）。なお、輝度変化は、例えば、輝度や濃度の微分や、ラプラシアンなどにより求めれば良い。
【００５０】
Ｓ２０６の処理の結果、注目画素がエッジであれば（Ｓ２０７でＹＥＳ）、情報処理装置１０は、この処理を終了する。注目画素がエッジでなければ（Ｓ２０７でＮＯ）、情報処理装置１０は、注目画素の所定範囲内（例えば、注目画素の８近傍）の全てを抽出領域に含めた後（Ｓ２０８）、上述したＳ２０９の処理に進む。なお、Ｓ２０７の処理では、微分値の大きさが所定の閾値以上になった場合にエッジと判定すれば良い。また、ラプラシアンの符号が変化した場合にエッジと判定しても良い。
【００５１】
ここで、図４を用いて、図２のＳ１０４の処理で抽出される領域（抽出領域）の概要について説明する。
【００５２】
符号５１は、現実空間のデプスマップを示し、符号５２は、仮想画像（ＣＧ）のＺバッファを示し、符号５３は、現実画像を示している。符号５４及び符号５５は、デプスマップ５１のデプス値とＺバッファ５２のＺ値との比較の結果に基づいて抽出された領域（抽出領域）を、デプスマップ及び現実画像においてそれぞれ示している。
【００５３】
次に、図５を用いて、図２のＳ１０６及びＳ１０７に示す補正処理の概要について説明する。
【００５４】
符号５６は、図４に示す抽出領域５５の拡大図を示している。すなわち、現実画像５３における抽出領域５４の拡大図である。符号５６は、抽出領域５６に対して第１の補正処理を実施した結果を示している。符号５７は、第１の補正処理後の抽出領域５７に対して、第２の補正処理（図３参照）を実施した結果を示している。すなわち、符号５７においては、代表色情報に基づいて抽出領域の範囲が補正されており、符号５８においては、色情報の変化量に基づいて抽出領域の範囲が補正されている。
【００５５】
次に、図６を用いて、図２のＳ１０８〜Ｓ１１０の処理の概要について説明する。
【００５６】
符号６１は、第２の補正処理後の抽出領域６４を描画禁止領域として規定するステンシルバッファを示している。符号６２は、当該ステンシルバッファに基づいてＣＧ６５を描画した結果を示している。符号６３は、ＣＧの描画画像６２と現実画像とを合成した合成画像６３を示している。すなわち、符号６２においては、ステンシルバッファに規定された領域以外でＣＧの描画が行なわれており、符号６３においては、当該描画されたＣＧと現実画像との合成が行なわれている。
【００５７】
以上説明したように本実施形態によれば、現実空間のデプス値と仮想画像（ＣＧ）のＺ値とを比較してＣＧの描画禁止領域の候補となる領域（抽出領域）を抽出する。そして、色情報に基づいて当該抽出領域の範囲を補正し、当該補正後の抽出領域に基づいてＣＧを描画して合成する。
【００５８】
このように本実施形態によれば、現実画像と仮想画像（ＣＧ）との奥行き関係を考慮して、ＣＧと現実画像との境界部分にノイズ等が生じることを抑えた合成映像を生成する。
【００５９】
また、本実施形態によれば、上記ノイズ等の発生を抑えるために抽出領域のみを対象として処理を行なうので、処理対象となる範囲が抑えられ、処理の高速化が図れる。すなわち、本実施形態によれば、ノイズ等の発生を抑えた合成映像をリアルタイムに生成することができる。
【００６０】
（実施形態２）
次に、実施形態２について説明する。実施形態２に係わる情報処理装置１０は、実施形態１を説明した図１と同様の構成となる。そのため、実施形態２に係わる情報処理装置１０の構成については、図示を用いた説明を省略する。ここでは、相違する点について重点的に説明する。
【００６１】
ここで、実施形態１を説明した図１と相違する構成としては、領域抽出部３５及び補正部３７が挙げられる。
【００６２】
実施形態１に係わる領域抽出部３５においては、現実画像から領域の抽出を行なっていたが、実施形態２に係わる領域抽出部３５においては、デプスマップから領域の抽出を行なう。
また、実施形態１に係わる補正部３７においては、第１の補正処理及び第２の補正処理を実施し、現実画像から抽出された抽出領域の範囲を補正していた。これに対して、実施形態２に係わる補正部３７においては、現実画像ではなく、デプスマップから抽出された抽出領域に対して補正処理を行なう。補正処理としては、第１の補正処理及び第２の補正処理を行なわず、超解像度化処理を行なう。以下、この点についてより具体的に説明する。
【００６３】
ここで、図７を用いて、実施形態２に係わる情報処理装置１０における処理の流れの一例について説明する。
【００６４】
情報処理装置１０は、実施形態１を説明した図２のＳ１０１〜Ｓ１０３と同様の処理を実施する（Ｓ３０１〜Ｓ３０３）。その後、情報処理装置１０は、領域抽出部３５において、現実空間のデプス値とＣＧのＺ値とをそれぞれ対応する位置毎に比較し、ＣＧのＺ値と現実空間のデプス値との差が所定の閾値を越える領域（抽出領域）を抽出する（Ｓ３０４）。上述した通り、実施形態２においては、抽出領域は、デプスマップから抽出される。
【００６５】
情報処理装置１０は、補正部３７において、Ｓ３０４の処理で抽出された抽出領域５４（及び／又は、抽出領域５４とそれ以外の領域との境界領域）に対して超解像度化処理を行なう（Ｓ３０５）。すなわち、デプスマップにおける抽出領域を超解像度化する。この超解像度化は、現実画像における対応する領域（抽出領域５５及び／又は、抽出領域５５とそれ以外の領域との境界領域）の色情報を用いて行なわれる。なお、超解像度化は、例えば、非特許文献１に記載された手法等に従って行なえば良い。
【００６６】
その後、情報処理装置１０は、ステンシルバッファ作成部３８において、Ｓ３０５の処理で超解像度化された領域を書込み禁止とするステンシルバッファを作成する（Ｓ３０６）。情報処理装置１０は、当該作成したステンシルバッファに基づいてＣＧを描画する（Ｓ３０７）。その後、情報処理装置１０は、合成部４０において、Ｓ３０１の処理で取得された現実画像と、Ｓ３０７の処理で描画されたＣＧとを合成した後（Ｓ３０８）、この処理を終了する。
【００６７】
ここで、図８を用いて、図７に示すＳ３０４及びＳ３０５の処理の概要について説明する。
【００６８】
符号５４は、図４に示す抽出領域５４の拡大図を示している。すなわち、デプスマップ５１における抽出領域の拡大図を示している。符号７１は、現実画像における抽出領域５５の色情報を用いて、デプスマップ５１における抽出領域５４に対して超解像度化を行なった結果を示している。なお、符号７１に示す抽出領域の形状が変化しているのは、超解像度化処理により抽出領域が高解像度化されたためである。
【００６９】
以上説明したように実施形態２によれば、現実空間のデプス値と仮想画像（ＣＧ）のＺ値とを比較してＣＧの描画禁止領域（抽出領域）を抽出する。そして、当該抽出領域を超解像度化により補正した後、当該補正後の抽出領域に基づいてＣＧを描画して合成する。
【００７０】
これにより、実施形態２においても、実施形態１同様に、現実画像と仮想画像（ＣＧ）との奥行き関係を考慮して、ノイズ等の発生を抑えた合成映像をリアルタイムに生成することができる。
【００７１】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００７２】
例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７３】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、情報処理装置、その処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、現実空間の映像に三次元のＣＧ（Computer Graphics）を合成することにより、現実空間にはない情報をユーザに提示する技術が開発されている。このような技術は、ＭＲ（Mixed Reality：複合現実感）システムと呼ばれている。
【０００３】
ＭＲシステムは、現実空間と切り離された状況のみにおいて体験することが可能であった仮想空間と現実空間との共存を目的とし、仮想空間を増強する技術として注目されている。
【０００４】
ＭＲシステムを実現させるための１つの技術として位置合わせ技術がある。これは、現実空間のカメラの位置及び姿勢と仮想カメラの位置及び姿勢とを一致させることを目的とした技術であり、現実空間とＣＧとを違和感なく合成するために必要な技術である。
【０００５】
現実空間のカメラの位置及び姿勢を算出する方法としては、位置姿勢計測センサを用いる方法や、カメラが撮影した特徴点の位置から画像処理を用いて算出する方法（特許文献１）、それら両者の技術を組み合わせた方法（特許文献２）などが提案されている。しかし、上述した方法では、現実空間の奥行き情報が不足しているため、ＣＧと現実物との奥行き方向の関係を正しく表現することができない。
【０００６】
ここで、図９（ａ）に示すように、ＣＧ１０１に対してユーザが自らの手１０２を使ってＣＧに対して何らかの操作を行なう場合について考えてみる。符号１０３は、ＣＧと現実画像との境界部分を示している。この場合、手の奥行き情報がないため、手１０２とＣＧ１０１との奥行き関係を求めることはできない。そのため、図９（ｂ）に示すように、手１０２がＣＧ１０１によって隠れてしまった合成映像になってしまう。符号２０１は、ＣＧ１０１と手１０２との境界部分を示している。
【０００７】
この状況に対処する方法の１つとしては、予め登録しておいた色情報に基づいてマスキング処理を行なう方法が提案されている（特許文献３）。この方法では、「現実画像内の予め登録された色領域」→「ＣＧ」→「現実画像」の優先順位で描画がなされる。例えば、手の色を予め登録しておいた場合、「手」→「ＣＧ」→「手以外の現実画像」の優先順位で描画が行なわれ、図１０の符号３０１に示すように、ＣＧ１０１と手１０２との境界部分がなくなった合成映像が得られる。しかし、この方法においても、現実空間の奥行き情報がないため、奥行き方向の関係を必ずしも正しく表現することはできない。
【０００８】
ここで、現実空間の奥行き情報を取得する方法としては、赤外線や超音波等を使用した奥行きセンサを用いる方法や、２つ以上のカメラで撮影した映像から画像処理を用いて距離を求める方法などが知られている。しかし、一般に、奥行き画像の解像度は、カメラの撮像解像度と比べて低く、また、測定可能範囲を大きくすればするほど、分解能が低くなってしまう場合が多い。
【０００９】
そのため、不正確な奥行き情報が得られ、このような奥行き情報を用いて、現実画像とＣＧとを合成した場合、図１１（ａ）に示すように、現実画像とＣＧとの境界部分１０３に不自然なノイズが発生してしまう。また、奥行き情報の分解能が低い場合には、図１１（ｂ）に示すように、本来の正しい位置関係すら表現できない場合も考えられる。このような奥行き画像の問題を回避する方法の１つとしては、カメラにより撮影された現実画像を用いて、奥行き画像を超解像度化する手法が提案されている（非特許文献１）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−３１９３８８号公報
【特許文献２】特開２００７−１６４６３１号公報
【特許文献３】特開２００３−２９６７５号公報
【非特許文献】
【００１１】
【非特許文献１】Qingxiong Yang, Ruigang Yang, James Davis, David Nister, Spatial-Depth Super Resolution for Range Images, CVPR 2007
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述した通り、奥行き情報が得られたとしても、当該奥行き情報の解像度が現実画像の解像度よりも低い場合や、分解能が低い場合には、現実画像とＣＧとの合成が不正確になってしまっていた。
【００１３】
また、複合現実感をユーザに体験させるためには、全ての処理をリアルタイムに実施する必要がある。しかし、上記方法（非特許文献１）では、距離画像の全領域に対して超解像度化の処理が行なわれるため、処理時間を要し、リアルタイム性を確保できない可能性がある。
【００１４】
本発明は、上記課題に鑑みてなされたものであり、現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明の一態様は、現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置であって、前記現実空間における各部の奥行き情報を取得する取得手段と、前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、前記現実画像における色情報を用いて前記抽出領域を補正する補正手段と、前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、前記描画禁止領域に基づいて仮想画像を描画する描画手段と、前記現実画像と前記描画された仮想画像とを合成する合成手段とを具備する
。
【発明の効果】
【００１６】
本発明によれば、現実画像と仮想画像（ＣＧ）とを正確且つ高速に合成できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態に係わる情報処理装置１０を配して構成した情報処理システムの構成の一例を示す図。
【図２】図１に示す情報処理装置１０の処理の流れの一例を示すフローチャート。
【図３】図２のＳ１０７に示す第２の補正処理の流れの一例を示すフローチャート。
【図４】図２のＳ１０４の処理で抽出される領域（抽出領域）の概要を示す図。
【図５】図２のＳ１０６及びＳ１０７に示す補正処理の概要を示す図。
【図６】図２のＳ１０８〜Ｓ１１０の処理の概要を示す図。
【図７】実施形態２に係わる情報処理装置１０の処理の流れの一例を示すフローチャート。
【図８】図７に示すＳ３０４及びＳ３０５の処理の概要を示す図。
【図９】従来技術を説明するための図。
【図１０】従来技術を説明するための図。
【図１１】従来技術を説明するための図。
【発明を実施するための形態】
【００１８】
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
【００１９】
（実施形態１）
図１は、本発明の一実施の形態に係わる情報処理装置１０を配して構成した情報処理システムの構成の一例を示す図である。
【００２０】
情報処理システムには、情報処理装置１０と、撮像装置２１と、位置姿勢計測装置２２と、デプス値計測装置２３と、表示装置２４とが具備される。
【００２１】
情報処理装置１０、撮像装置２１、位置姿勢計測装置２２、デプス値計測装置２３及び表示装置２４には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ（Central Processing Unit）等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００２２】
ここで、撮像装置２１は、例えば、ＣＣＤ（Charge Coupled Device）カメラなどで実現され、現実空間を撮影する。位置姿勢計測装置２２は、例えば、ジャイロセンサ、磁器センサなどで実現され、撮像装置２１の位置及び姿勢を計測する。
【００２３】
デプス値計測装置２３は、例えば、赤外線、超音波、又はステレオ画像などを用いて現実空間のデプス値（奥行き情報）を測定する。表示装置２４は、例えば、ＣＲＴ液晶モニターなどで実現され、情報処理装置１０により合成された画像（映像）を表示する。
【００２４】
ここで、情報処理装置１０は、その機能的な構成として、画像取得部３１と、位置姿勢算出部３２と、記憶部３３と、Ｚバッファ作成部３４と、領域抽出部３５と、デプス値取得部３６と、補正部３７とを具備して構成される。また、情報処理装置１０には、ステンシルバッファ作成部３８、ＣＧ描画部３９、合成部４０も設けられる。以下、各部の機能について説明する。
【００２５】
画像取得部３１は、撮像装置２１により撮影された現実空間の画像を取得する。取得された現実画像は、補正部３７及び合成部４０へ送られる。また、現実画像は、撮像装置２１の位置及び姿勢の計測処理に画像を使用する場合、位置姿勢算出部３２へも送られる。
【００２６】
位置姿勢算出部３２は、撮像装置２１の位置及び姿勢を算出する。位置姿勢算出部３２においては、位置姿勢計測装置２２により計測された位置及び姿勢の計測値、現実画像の少なくともいずれかを用いて、撮像装置２１の位置及び姿勢（の情報）を算出する。
【００２７】
ここで、位置及び姿勢の計測値を用いて撮像装置２１の位置及び姿勢を算出する場合、位置姿勢算出部３２は、撮像装置２１固有の特性を表すパラメータや、位置姿勢計測装置２２の取り付け位置と撮像装置２１のレンズ中心との位置姿勢関係を用いる。なお、撮像装置２１固有の特性を表すパラメータは、例えば、撮像装置２１の焦点距離や主点位置などを示す情報であり、記憶部３３に予め記憶されている。
【００２８】
また、現実画像を用いて撮像装置２１の位置及び姿勢を算出する場合、位置姿勢算出部３２は、撮像装置２１固有の特性を表すパラメータと、現実空間に存在する指標に関する位置姿勢定義情報と、現実画像内の指標に関する位置情報とを用いる。なお、位置姿勢算出部３２により算出された位置及び姿勢（の情報）は、Ｚバッファ作成部３４、領域抽出部３５及びＣＧ描画部３９へ送られる。
【００２９】
Ｚバッファ作成部３４は、位置姿勢算出部３２により算出された位置及び姿勢の情報に基づいて、仮想画像（ＣＧ）を投影したときのＺ値（奥行き情報）を算出する。これにより、ＣＧのＺバッファを作成する。Ｚバッファは、仮想画像における各部の奥行き情報算出の結果がＺ値として保持されるメモリ領域を示す。なお、算出されたＺ値は、領域抽出部３５へ送られる。
【００３０】
デプス値取得部３６は、デプス値計測装置２３により計測された現実空間のデプス値（デプスマップ）を取得する。なお、デプスマップには、撮像装置２１により撮影された現実空間における各部の奥行き情報がデプス値として保持される。取得したデプス値（デプスマップ）は、領域抽出部３５へ送られる。
【００３１】
記憶部３３は、各種情報を記憶する。記憶部３３には、撮像装置２１の焦点距離や主点位置などの撮像装置２１固有の特性を表すパラメータ、位置姿勢計測装置２２の取り付け位置と撮像装置２１のレンズ中心との位置姿勢関係などが記憶される。また、記憶部３３には、現実空間に存在する指標の位置姿勢定義情報も記憶される。
【００３２】
領域抽出部３５は、Ｚバッファ作成部３４により算出されたＣＧのＺ値と、デプス値取得部３６により取得された現実空間のデプス値とをそれぞれ対応する位置毎に比較し、その比較結果に基づいてＺ値とデプス値との差が所定の閾値を越える領域を抽出する。この領域の抽出は、現実画像から行なわれる。なお、抽出する領域（抽出領域）は、上述した所定の閾値を「０」に設定し、Ｚ値がデプス値を越える全ての領域としても良い。また、デプス値の分解能が低い場合には、閾値を「０」よりも小さい値に設定し、Ｚ値がデプス値よりも小さくなる領域をも含めるようにしても良い。
【００３３】
補正部３７は、領域抽出部３５により抽出された領域（抽出領域）に対して補正処理を行なう。より具体的には、補正部３７は、抽出領域の色情報に基づいて、当該抽出領域の範囲を補正する。
【００３４】
ステンシルバッファ作成部３８は、補正部３７により補正された領域を書き込み禁止領域（描画禁止領域）として規定するステンシルバッファを作成する。すなわち、ステンシルバッファに規定された現実画像上における領域は、ＣＧの描画が禁止される。作成されたステンシルバッファは、ＣＧ描画部３９へ送られる。
【００３５】
ＣＧ描画部３９は、ステンシルバッファ作成部３８により作成されたステンシルバッファに基づいて仮想画像（ＣＧ）を描画する。より具体的には、ステンシルバッファに規定された領域以外でＣＧの描画を行なう。合成部４０は、現実画像とＣＧ画像とを合成する。合成された映像は、表示装置２４において表示される。
【００３６】
以上が、情報処理システムの構成の一例についての説明である。なお、情報処理装置１０に設けられた機能的な構成は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていればよい。
【００３７】
また、各種装置の構成も、必ずしも図示した通りに実現される必要はない。例えば、撮像装置２１、位置姿勢計測装置２２、デプス値計測装置２３、表示装置２４の少なくともいずれかが情報処理装置１０内の構成として設けられていても良い。
【００３８】
次に、図２を用いて、図１に示す情報処理装置１０における処理の流れの一例について説明する。
【００３９】
この処理では、まず、撮像装置２１において、現実空間の撮影が行なわれる。すると、情報処理装置１０は、画像取得部３１において、撮像装置２１により撮影された画像（現実画像）を取得する（Ｓ１０１）。また、このとき、デプス値計測装置２３において、現実空間のデプス値が測定され、情報処理装置１０は、デプス値取得部３６において、当該デプス値（すなわち、デプスマップ）を取得する（Ｓ１０２）。
【００４０】
情報処理装置１０は、Ｚバッファ作成部３４において、位置姿勢算出部３２により算出された撮像装置２１の位置及び姿勢に基づいて、ＣＧを投影したときのＺ値を算出する（Ｓ１０３）。すなわち、ＣＧのＺバッファを作成する。
【００４１】
情報処理装置１０は、領域抽出部３５において、現実空間のデプス値とＣＧのＺ値とをそれぞれ対応する位置毎に比較し、ＣＧのＺ値と現実空間のデプス値との差が所定の閾値を越える領域（抽出領域）を抽出する（Ｓ１０４）。上述した通り、この抽出領域は、現実画像から抽出される。
【００４２】
ここで、情報処理装置１０は、補正部３７において、抽出領域を代表する色情報を算出（決定）する（Ｓ１０５）。この処理においては、例えば、抽出領域内の色情報（輝度及び色調等）のヒストグラムを作成し、頻度が最も高い色情報を代表値（代表色情報）として算出すれば良い。
【００４３】
情報処理装置１０は、補正部３７において、代表色情報を用いて、抽出領域の範囲を補正（第１の補正）する。より具体的には、代表色情報と、抽出領域における注目画素の色情報とを画素毎に比較する。比較の結果、注目画素の色情報が、代表色情報と類似していれば当該画素を抽出領域内に含め、類似していなければ抽出領域から排除する（Ｓ１０６）。なお、類似しているか否かはの判定は、色情報に対して所定の基準（例えば、閾値）を設け、代表色情報と注目画素との色情報が、所定の基準よりも類似しているか否かを比較することにより行なえば良い。
【００４４】
続いて、情報処理装置１０は、補正部３７において、当該領域の色情報の変化量を用いて、Ｓ１０６で処理された抽出領域の範囲を更に補正（第２の補正）する（Ｓ１０７）。なお、この処理の詳細については後述する。
【００４５】
情報処理装置１０は、ステンシルバッファ作成部３８において、Ｓ１０６及びＳ１０７の処理で範囲が補正された抽出領域を書込み禁止とするステンシルバッファを作成する（Ｓ１０８）。そして、ＣＧ描画部３９において、当該作成したステンシルバッファに基づいてＣＧを描画する（Ｓ１０９）。その後、情報処理装置１０は、合成部４０において、Ｓ１０１の処理で取得された現実画像と、Ｓ１０９の処理で描画されたＣＧとを合成した後（Ｓ１１０）、この処理を終了する。
【００４６】
ここで、図３を用いて、図２のＳ１０７に示す第２の補正処理の詳細について説明する。
【００４７】
情報処理装置１０は、補正部３７において、現実画像を走査する（Ｓ２０１）。そして、注目画素が図２のＳ１０６の処理で抽出された領域（抽出領域）であるか否かを判定する。抽出領域でなければ（Ｓ２０２でＮＯ）、未走査の画素が存在するか否かを判定し、未走査の画素があれば（Ｓ２０３でＹＥＳ）、情報処理装置１０は、再度、Ｓ２０１の処理を行なう。一方、未走査の画素がなければ（Ｓ２０３でＮＯ）、情報処理装置１０は、この処理を終了する。
【００４８】
また、Ｓ２０２の処理の結果、抽出領域であれば（Ｓ２０２でＹＥＳ）、情報処理装置１０は、補正部３７において、注目画素の所定範囲内（注目画素を囲む領域：例えば、注目画素の８近傍内）に、抽出領域以外にある画素が存在するか否かを探索する（Ｓ２０４）。抽出領域以外にある画素が存在しなければ（Ｓ２０５でＮＯ）、情報処理装置１０は、未走査の画素が存在するか否かを判定する。未走査の画素があれば（Ｓ２０９でＹＥＳ）、情報処理装置１０は、再度、Ｓ２０１の処理を行なう。一方、未走査の画素がなければ（Ｓ２０９でＮＯ）、情報処理装置１０は、この処理を終了する。
【００４９】
Ｓ２０５の判定の結果、注目画素の所定範囲内に、抽出領域以外にある画素が存在すれば（Ｓ２０５でＹＥＳ）、情報処理装置１０は、補正部３７において、注目画素を中心とした輝度変化を算出する（Ｓ２０６）。なお、輝度変化は、例えば、輝度や濃度の微分や、ラプラシアンなどにより求めれば良い。
【００５０】
Ｓ２０６の処理の結果、注目画素がエッジであれば（Ｓ２０７でＹＥＳ）、情報処理装置１０は、この処理を終了する。注目画素がエッジでなければ（Ｓ２０７でＮＯ）、情報処理装置１０は、注目画素の所定範囲内（例えば、注目画素の８近傍）の全てを抽出領域に含めた後（Ｓ２０８）、上述したＳ２０９の処理に進む。なお、Ｓ２０７の処理では、微分値の大きさが所定の閾値以上になった場合にエッジと判定すれば良い。また、ラプラシアンの符号が変化した場合にエッジと判定しても良い。
【００５１】
ここで、図４を用いて、図２のＳ１０４の処理で抽出される領域（抽出領域）の概要について説明する。
【００５２】
符号５１は、現実空間のデプスマップを示し、符号５２は、仮想画像（ＣＧ）のＺバッファを示し、符号５３は、現実画像を示している。符号５４及び符号５５は、デプスマップ５１のデプス値とＺバッファ５２のＺ値との比較の結果に基づいて抽出された領域（抽出領域）を、デプスマップ及び現実画像においてそれぞれ示している。
【００５３】
次に、図５を用いて、図２のＳ１０６及びＳ１０７に示す補正処理の概要について説明する。
【００５４】
符号５６は、図４に示す抽出領域５５の拡大図を示している。すなわち、現実画像５３における抽出領域５４の拡大図である。符号５６は、抽出領域５６に対して第１の補正処理を実施した結果を示している。符号５７は、第１の補正処理後の抽出領域５７に対して、第２の補正処理（図３参照）を実施した結果を示している。すなわち、符号５７においては、代表色情報に基づいて抽出領域の範囲が補正されており、符号５８においては、色情報の変化量に基づいて抽出領域の範囲が補正されている。
【００５５】
次に、図６を用いて、図２のＳ１０８〜Ｓ１１０の処理の概要について説明する。
【００５６】
符号６１は、第２の補正処理後の抽出領域６４を描画禁止領域として規定するステンシルバッファを示している。符号６２は、当該ステンシルバッファに基づいてＣＧ６５を描画した結果を示している。符号６３は、ＣＧの描画画像６２と現実画像とを合成した合成画像６３を示している。すなわち、符号６２においては、ステンシルバッファに規定された領域以外でＣＧの描画が行なわれており、符号６３においては、当該描画されたＣＧと現実画像との合成が行なわれている。
【００５７】
以上説明したように本実施形態によれば、現実空間のデプス値と仮想画像（ＣＧ）のＺ値とを比較してＣＧの描画禁止領域の候補となる領域（抽出領域）を抽出する。そして、色情報に基づいて当該抽出領域の範囲を補正し、当該補正後の抽出領域に基づいてＣＧを描画して合成する。
【００５８】
このように本実施形態によれば、現実画像と仮想画像（ＣＧ）との奥行き関係を考慮して、ＣＧと現実画像との境界部分にノイズ等が生じることを抑えた合成映像を生成する。
【００５９】
また、本実施形態によれば、上記ノイズ等の発生を抑えるために抽出領域のみを対象として処理を行なうので、処理対象となる範囲が抑えられ、処理の高速化が図れる。すなわち、本実施形態によれば、ノイズ等の発生を抑えた合成映像をリアルタイムに生成することができる。
【００６０】
（実施形態２）
次に、実施形態２について説明する。実施形態２に係わる情報処理装置１０は、実施形態１を説明した図１と同様の構成となる。そのため、実施形態２に係わる情報処理装置１０の構成については、図示を用いた説明を省略する。ここでは、相違する点について重点的に説明する。
【００６１】
ここで、実施形態１を説明した図１と相違する構成としては、領域抽出部３５及び補正部３７が挙げられる。
【００６２】
実施形態１に係わる領域抽出部３５においては、現実画像から領域の抽出を行なっていたが、実施形態２に係わる領域抽出部３５においては、デプスマップから領域の抽出を行なう。
また、実施形態１に係わる補正部３７においては、第１の補正処理及び第２の補正処理を実施し、現実画像から抽出された抽出領域の範囲を補正していた。これに対して、実施形態２に係わる補正部３７においては、現実画像ではなく、デプスマップから抽出された抽出領域に対して補正処理を行なう。補正処理としては、第１の補正処理及び第２の補正処理を行なわず、超解像度化処理を行なう。以下、この点についてより具体的に説明する。
【００６３】
ここで、図７を用いて、実施形態２に係わる情報処理装置１０における処理の流れの一例について説明する。
【００６４】
情報処理装置１０は、実施形態１を説明した図２のＳ１０１〜Ｓ１０３と同様の処理を実施する（Ｓ３０１〜Ｓ３０３）。その後、情報処理装置１０は、領域抽出部３５において、現実空間のデプス値とＣＧのＺ値とをそれぞれ対応する位置毎に比較し、ＣＧのＺ値と現実空間のデプス値との差が所定の閾値を越える領域（抽出領域）を抽出する（Ｓ３０４）。上述した通り、実施形態２においては、抽出領域は、デプスマップから抽出される。
【００６５】
情報処理装置１０は、補正部３７において、Ｓ３０４の処理で抽出された抽出領域５４（及び／又は、抽出領域５４とそれ以外の領域との境界領域）に対して超解像度化処理を行なう（Ｓ３０５）。すなわち、デプスマップにおける抽出領域を超解像度化する。この超解像度化は、現実画像における対応する領域（抽出領域５５及び／又は、抽出領域５５とそれ以外の領域との境界領域）の色情報を用いて行なわれる。なお、超解像度化は、例えば、非特許文献１に記載された手法等に従って行なえば良い。
【００６６】
その後、情報処理装置１０は、ステンシルバッファ作成部３８において、Ｓ３０５の処理で超解像度化された領域を書込み禁止とするステンシルバッファを作成する（Ｓ３０６）。情報処理装置１０は、当該作成したステンシルバッファに基づいてＣＧを描画する（Ｓ３０７）。その後、情報処理装置１０は、合成部４０において、Ｓ３０１の処理で取得された現実画像と、Ｓ３０７の処理で描画されたＣＧとを合成した後（Ｓ３０８）、この処理を終了する。
【００６７】
ここで、図８を用いて、図７に示すＳ３０４及びＳ３０５の処理の概要について説明する。
【００６８】
符号５４は、図４に示す抽出領域５４の拡大図を示している。すなわち、デプスマップ５１における抽出領域の拡大図を示している。符号７１は、現実画像における抽出領域５５の色情報を用いて、デプスマップ５１における抽出領域５４に対して超解像度化を行なった結果を示している。なお、符号７１に示す抽出領域の形状が変化しているのは、超解像度化処理により抽出領域が高解像度化されたためである。
【００６９】
以上説明したように実施形態２によれば、現実空間のデプス値と仮想画像（ＣＧ）のＺ値とを比較してＣＧの描画禁止領域（抽出領域）を抽出する。そして、当該抽出領域を超解像度化により補正した後、当該補正後の抽出領域に基づいてＣＧを描画して合成する。
【００７０】
これにより、実施形態２においても、実施形態１同様に、現実画像と仮想画像（ＣＧ）との奥行き関係を考慮して、ノイズ等の発生を抑えた合成映像をリアルタイムに生成することができる。
【００７１】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００７２】
例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７３】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置であって、
前記現実空間における各部の奥行き情報を取得する取得手段と、
前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、
前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、
前記現実画像における色情報を用いて前記抽出領域を補正する補正手段と、
前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、
前記描画禁止領域に基づいて仮想画像を描画する描画手段と、
前記現実画像と前記描画された仮想画像とを合成する合成手段と
を具備することを特徴とする情報処理装置。
【請求項２】
前記領域抽出手段は、
前記抽出領域として、前記現実画像から前記取得した奥行き情報と前記算出した奥行き情報との差が所定の閾値を越える領域を抽出し、
前記補正手段は、
前記現実画像における色情報を用いて前記抽出領域の範囲を補正し、
前記規定手段は、
前記補正手段により範囲が補正された前記抽出領域を、前記描画禁止領域として規定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記補正手段は、
前記抽出領域を代表する色情報を決定する決定手段と、
前記決定手段により決定された代表色情報と、前記抽出領域の色情報とを画素毎に比較し、前記代表色情報と前記色情報とが所定の基準よりも類似している画素を前記抽出領域に含め、そうでない画素を前記抽出領域から排除する
ことを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記補正手段は、
前記抽出領域の色情報の変化量に基づいて、前記抽出領域とそれ以外の領域との境界を変更する
ことを特徴とする請求項２又は３記載の情報処理装置。
【請求項５】
前記取得手段は、
前記取得した奥行き情報をデプス値としてデプスマップに保持し、
前記奥行き情報算出手段は、
前記算出した奥行き情報をＺ値としてＺバッファに保持し、
前記領域抽出手段は、
前記抽出領域として、前記デプスマップから前記デプス値と前記Ｚ値との差が所定の閾値を越える領域を抽出し、
前記補正手段は、
前記抽出領域を、前記現実画像における対応する領域の色情報を用いて超解像度化し、
前記規定手段は、
前記現実画像における色情報を用いて、前記補正手段による補正により超解像度化された前記抽出領域を、前記描画禁止領域として規定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記現実空間を撮影した撮像装置の位置及び姿勢を算出する位置姿勢算出手段
を更に具備し、
前記奥行き情報算出手段は、
前記位置姿勢算出手段により算出された前記撮像装置の位置及び姿勢の情報に基づいて奥行き情報を算出する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置の処理方法であって、
取得手段が、前記現実空間における各部の奥行き情報を取得する工程と、
奥行き情報算出手段が、前記仮想画像における各部の奥行き情報を算出する工程と、
領域抽出手段が、前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する工程と、
補正手段が、前記現実画像における色情報を用いて前記抽出領域を補正する工程と、
規定手段が、前記補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する工程と、
描画手段が、前記描画禁止領域に基づいて仮想画像を描画する工程と、
合成手段が、前記現実画像と前記描画された仮想画像とを合成する工程と
を含むことを特徴とする処理方法。
【請求項８】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置に内蔵されたコンピュータを、
前記現実空間における各部の奥行き情報を取得する取得手段、
前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段、
前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段、
前記現実画像における色情報を用いて前記抽出領域を補正する補正手段、
前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段、
前記描画禁止領域に基づいて仮想画像を描画する描画手段、
前記現実画像と前記描画された仮想画像とを合成する合成手段
として機能させるためのプログラム。
【請求項１】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置であって、
前記現実空間における各部の奥行き情報を取得する取得手段と、
前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段と、
前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段と、
前記現実画像における色情報を用いて前記抽出領域を補正する補正手段と、
前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段と、
前記描画禁止領域に基づいて仮想画像を描画する描画手段と、
前記現実画像と前記描画された仮想画像とを合成する合成手段と
を具備することを特徴とする情報処理装置。
【請求項２】
前記領域抽出手段は、
前記抽出領域として、前記現実画像から前記取得した奥行き情報と前記算出した奥行き情報との差が所定の閾値を越える領域を抽出し、
前記補正手段は、
前記現実画像における色情報を用いて前記抽出領域の範囲を補正し、
前記規定手段は、
前記補正手段により範囲が補正された前記抽出領域を、前記描画禁止領域として規定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記補正手段は、
前記抽出領域を代表する色情報を決定する決定手段と、
前記決定手段により決定された代表色情報と、前記抽出領域の色情報とを画素毎に比較し、前記代表色情報と前記色情報とが所定の基準よりも類似している画素を前記抽出領域に含め、そうでない画素を前記抽出領域から排除する
ことを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記補正手段は、
前記抽出領域の色情報の変化量に基づいて、前記抽出領域とそれ以外の領域との境界を変更する
ことを特徴とする請求項２又は３記載の情報処理装置。
【請求項５】
前記取得手段は、
前記取得した奥行き情報をデプス値としてデプスマップに保持し、
前記奥行き情報算出手段は、
前記算出した奥行き情報をＺ値としてＺバッファに保持し、
前記領域抽出手段は、
前記抽出領域として、前記デプスマップから前記デプス値と前記Ｚ値との差が所定の閾値を越える領域を抽出し、
前記補正手段は、
前記抽出領域を、前記現実画像における対応する領域の色情報を用いて超解像度化し、
前記規定手段は、
前記現実画像における色情報を用いて、前記補正手段による補正により超解像度化された前記抽出領域を、前記描画禁止領域として規定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記現実空間を撮影した撮像装置の位置及び姿勢を算出する位置姿勢算出手段
を更に具備し、
前記奥行き情報算出手段は、
前記位置姿勢算出手段により算出された前記撮像装置の位置及び姿勢の情報に基づいて奥行き情報を算出する
ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置の処理方法であって、
取得手段が、前記現実空間における各部の奥行き情報を取得する工程と、
奥行き情報算出手段が、前記仮想画像における各部の奥行き情報を算出する工程と、
領域抽出手段が、前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する工程と、
補正手段が、前記現実画像における色情報を用いて前記抽出領域を補正する工程と、
規定手段が、前記補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する工程と、
描画手段が、前記描画禁止領域に基づいて仮想画像を描画する工程と、
合成手段が、前記現実画像と前記描画された仮想画像とを合成する工程と
を含むことを特徴とする処理方法。
【請求項８】
現実空間を撮影した現実画像に対して仮想画像を合成する情報処理装置に内蔵されたコンピュータを、
前記現実空間における各部の奥行き情報を取得する取得手段、
前記仮想画像における各部の奥行き情報を算出する奥行き情報算出手段、
前記取得した奥行き情報と前記算出した奥行き情報とをそれぞれ対応する位置毎に比較し、それぞれの差が所定の閾値を越える領域を抽出領域として抽出する領域抽出手段、
前記現実画像における色情報を用いて前記抽出領域を補正する補正手段、
前記補正手段により補正された前記抽出領域を、前記仮想画像の描画を禁止する描画禁止領域として規定する規定手段、
前記描画禁止領域に基づいて仮想画像を描画する描画手段、
前記現実画像と前記描画された仮想画像とを合成する合成手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図７】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図８】
【図２】
【図３】
【図７】
【図９】
【図１０】
【図１１】
【図４】
【図５】
【図６】
【図８】
【公開番号】特開２０１２−２３８１１７（Ｐ２０１２−２３８１１７Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５６４３（Ｐ２０１１−１０５６４３）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]