画像処理装置及び画像処理方法
【課題】 実写画像上で観測される実物体の形状を反映した矛盾のない複合現実感画像を生成することを目的とする。
【解決手段】 現実空間を撮影した実写画像を取得する取得手段と、前記取得手段により取得した実写画像を画像処理する画像処理手段と、光線追跡法により仮想空間を投影した像と、前記実写画像取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行う。
【解決手段】 現実空間を撮影した実写画像を取得する取得手段と、前記取得手段により取得した実写画像を画像処理する画像処理手段と、光線追跡法により仮想空間を投影した像と、前記実写画像取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）技術に関し、特に仮想空間の画像を光線追跡法により生成する画像処理装置に関する。
【背景技術】
【０００２】
従来より画像処理技術の分野では、カメラなどの撮影装置で現実空間を撮像して得られる実写画像と、仮想物体のＣＧ画像とを合成した画像を生成することで、現実空間には存在しない部分に任意の仮想物体が存在する画像を得るＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）技術が各種シミュレーション、ゲーム等に広く利用されている。
【０００３】
また近年では、ＣＧ画像の合成に光線追跡（レイトレーシング）法を利用したＭＲ技術が研究されている（非特許文献１参照）。光線追跡法を利用すると、従来のラスタライゼーション法では困難であった反射や屈折表現、影の高速な生成、グローバルイルミネーションの表現が可能になり、高品質な画像を生成することができる。
【０００４】
非特許文献１では、仮想物体の影が実物体である部屋の床面に落ちる様子をＭＲ画像として生成している。これを実現するためには、現実の床に相当する仮想物体の床が存在する必要がある。非特許文献１では、床面の一部に相当する不可視の仮想物体を作成し、仮想空間に配置している。
【非特許文献１】Ａｎｄｒｅａｓ Ｐｏｍｉ，Ｐｈｉｌｉｐｐ Ｓｌｕｓａｌｌｅｋ，“Ｉｎｔｅｒａｃｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｒｅｎｄｅｒｉｎｇ ｉｎ ａ Ｄｉｓｔｒｉｂｕｔｅｄ Ｒａｙ Ｔｒａｃｉｎｇ Ｆｒａｍｅｗｏｒｋ”，ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ＩＳＭＡＲ ２００４，Ｓｔｕｄｅｎｔ Ｃｏｌｌｏｑｕｉｕｍ，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の技術では、実写画像中に存在する実物体と、実物体に相当する仮想物体との間に位置・姿勢・形状のずれがあっても、ＭＲ画像生成時にずれを考慮した処理を行っていない。このため、生成したＭＲ画像に矛盾が生ずる可能性があった。
【０００６】
この課題を図１２の例を用いて示す。図１２はＭＲ画像であり、１２０１は実写画像上の実物体、１２０２は実物体１２０１に相当する仮想物体である。実物体１２０１と仮想物体１２０２には形状の差がある。実物体１２０１および仮想物体１２０２の背景１２０４には、仮想物体もしくは現実物体が存在する。
【０００７】
このような場合、実物体１２０１の境界とこれに相当する仮想物体１２０２の境界との間の隙間領域１２０３内の画素を、光線追跡法で描画処理する際、光線は仮想物体１２０２に交差する。したがって、隙間領域１２０３には仮想物体１２０２の像が描画されることになる。しかしながら、この領域は実物体１２０１が存在しないので、正しくは背景１２０４の像が描画されなければならない。すなわち、生成したＭＲ画像に実世界との矛盾が生じている。
【０００８】
本発明は上記の課題を鑑み、実写画像上で観測される実物体の形状を反映した矛盾のないＭＲ画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の画像処理装置は、現実空間を撮影した実写画像を取得する取得手段と、前記取得手段により取得した実写画像を画像処理する画像処理手段と、光線追跡法により仮想空間を投影した像と、前記実写画像取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする。
【発明の効果】
【００１０】
上記構成により、実写画像上で観測される実物体の形状を反映した矛盾のないＭＲ画像を生成することを可能にする。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【実施例１】
【００１２】
本実施例では、カメラで撮影した実写画像に仮想物体の投影像を重畳して、複合現実感画像（以下、「ＭＲ画像」）を生成する情報処理装置を例に挙げて本発明を説明する。
【００１３】
実物体と仮想物体の隠蔽関係を考慮せずに実写画像にＣＧ画像を重畳すると、実写画像中で仮想物体に重なる部分は仮想物体の像で隠されて見えなくなる。
【００１４】
本実施例では、実写画像中で人間の手に相当する領域を検出して、その領域の内部については実写画像が仮想物体で隠蔽されないようにする処理を施す。手の領域は実写画像中の肌色領域として抽出する。なお、ここでは生成するＭＲ画像のサイズは、実写画像のサイズと同一であるとする。ただし、両画像のサイズが同一である必然性はなく、実写画像を拡大または縮小してＭＲ画像のサイズに調整するなどすればよい。また、カメラの位置・姿勢・画角など、現実世界と仮想世界の相対位置・姿勢を合致させるために必要な情報は予め公知の方法により取得されているとする。
【００１５】
図１は実施例１における情報処理装置の働きを示す原理図である。図１（ａ）は描画方法の原理を示す図、図１（ｂ）は描画結果の例である。
【００１６】
図１（ａ）において、１０１はＣＧ画像を生成する際の仮想カメラの視点であり、同時に実写画像を撮影するカメラの視点でもある。また、１０２は投影画面、１０３は仮想物体、１０４は実写画像に写り込んだ手などの肌色領域である。
【００１７】
本実施例では、光線追跡法によりＣＧ画像を生成する際に、画素が肌色領域外であれば光線追跡処理を行い、肌色領域内であれば光線追跡処理を行わない。例えば、１０５は肌色領域外の画素であるため、画素１０５を通る光線１０６の追跡処理を行う。図１（ａ）の場合は、光線１０６が仮想物体１０３に点１０７で交差するので、画素１０５の色は点１０７の陰影として計算する。一方、肌色領域内の画素１０８については、光線追跡を行わず、実写画像の対応する画素値を画素１０８の画素値とする。このように、実写画像から画像処理により肌色領域を抽出した結果に基づき光線を制御することによって、図１（ｂ）のように肌色領域が仮想物体よりも必ず手前に現れるように描画する。すなわち、実物体である肌色領域の形状を反映したＭＲ画像を生成することが出来る。
【００１８】
次に本実施例における情報処理装置の構成を示す。図２はモジュール構成を示す図である。本情報処理装置は、画像取得部２０１、画像処理部２０２、画像生成部２０３から成る。画像取得部２０１はカメラから実写画像を取得し、画像処理部２０２が肌色領域を抽出する。画像生成部２０３は、ＣＧ画像と画像取得部２０１で取得した実写画像とを合成したＭＲ画像を生成する。ＣＧ描画時には、光線制御部２０４が画像処理部２０２の処理結果に基づき、光線を制御する。
【００１９】
図３は本情報処理装置のハードウェアの構成である。図３において、３０１はＣＰＵであり、装置全体の動作を制御する。３０２はメモリであり、ＣＰＵ３０１の動作に用いるプログラムやデータを格納する。３０３はバスであり、各構成モジュール間のデータ転送を司る。３０４はバス３０３と各種装置とのインタフェースである。また、３０５はＣＰＵ３０１に読み込むプログラムやデータを格納する外部記憶装置、３０６および３０７はプログラムを起動したり、プログラムの動作を指定するための入力装置を構成するキーボードおよびマウス、３０８はプロセスの動作結果を表示するための表示部、３０９は装置外部とのデータ入出力部、３１０はカメラである。
【００２０】
図４は実施例１に係る情報処理装置で実行される処理全体の流れを示すフローチャートである。処理を開始すると、ステップＳ４０１において、以降のステップを行うためのデータの初期化を行う。ここでは、仮想物体のモデルデータ、仮想カメラおよび現実カメラの視点位置・姿勢データ、カメラの画角など仮想空間から画像への投影条件を表すデータ、肌色領域として抽出すべき画素値などを外部記憶装置３０５よりメモリ３０２に読み込む。
【００２１】
次のステップＳ４０２では、カメラ３１０にて撮影した実写画像を取得し、メモリ３０２に格納する。ステップＳ４０３では実写画像を処理し、画像中から肌色領域を抽出する。最後にステップＳ４０４でＭＲ画像を描画する。ステップＳ４０４の詳細については後述する。
【００２２】
なお、ステップＳ４０３では、実写画像の各画素の画素値がステップＳ４０１で読み込んだ肌色領域とみなす画素値に該当するか否か判断し、該当すれば肌色領域に含まれる画素とする。逆に、該当しなければ肌色領域に含まれない画素とする。ステップＳ４０３の結果は、メモリ３０２上に実写画像と同じサイズの白黒画像として記録する。このとき白黒画像では、肌色領域内の画素を白、肌色領域外の画素を黒とする。
【００２３】
図５は画像生成処理（ステップＳ４０４）の詳細を示すフローチャートである。処理を開始すると、ステップＳ５０１で未処理の画素を選択する。以下、ステップＳ５０１で選択した画素を「選択画素」と呼ぶ。ステップＳ５０２では、選択画素がステップＳ４０３で抽出した肌色領域に含まれるか否か判断する。選択画素が肌色領域に含まれると判断した場合、選択画素の画素値を、ステップＳ４０２で取得した実写画像の同じ座標の画素の画素値に設定する（ステップＳ５０７）。続いて、ステップＳ５０８に進む。
【００２４】
一方、ステップＳ５０２で選択画素が肌色領域に含まれないと判断した場合、光線探索を行うため選択画素を通る光線を設定する（ステップＳ５０３）。次に、ステップＳ５０３で設定した光線と仮想物体との交点を探索する（ステップＳ５０４）。ステップＳ５０５では、ステップＳ５０４の光線探索の結果として光線と仮想物体との交点が存在するか否か判定する。ステップＳ５０５で交点が存在すると判断した場合、ステップＳ５０６に進み、交点の陰影付けを行って選択画素の画素値を算出する。一方、ステップＳ５０５で交点がないと判断した場合、当該選択画素は実写の背景であるので、ステップＳ５０７に進み、さらにステップＳ５０８に進む。ステップＳ５０８では、画像上のすべての画素を処理したか否か判断する。すべての画素が処理済であると判断した場合は、画像生成処理を終了する。一方、未処理の画素が残っている場合は、ステップＳ５０１に戻る。
【００２５】
上記のように、肌色領域内の画素については光線探索を行わずに実写画像の画素値を使うことにより、肌色領域は仮想物体の像に隠されずに実物体が現れるようにすることができる。すなわち、実物体である肌色領域の形状を反映した矛盾がないＭＲ画像を生成することが出来る。
【００２６】
なお、上記の説明では画像処理の内容を肌色の画素値を持つ画素の抽出としているが、これに限るものではない。手に相当する領域が検出できれば、他の内容の画像処理を行っても良い。
【００２７】
さらに、実写画像中から検出する対象物は人間の手に限定されない。その対象物に相当する領域が検出できれば、対象物の種類を問わない。画像処理の内容は、その対象物を抽出するのに適した方法を用いればよい。例えば、エッジに特徴がある対象物であれば、エッジ検出を行えばよい。
【００２８】
また、画像取得部２０１は実写画像を撮影するカメラであるとしているが、これに限るものではない。例えば、コンピュータネットワーク上の画像ファイルを取得するモジュールであっても良い。
【実施例２】
【００２９】
実施例１では、実写画像から画像処理結果に基づいて、各画素に関する光線追跡処理を行うか否かを決定している。本実施形態では、画像処理結果およびＣＧモデルの配置に基づいて光線の制御を行う例を示す。
【００３０】
本実施例では、所定の実物体を含む実写画像を取得し、その実物体の像に位置を合わせて、実物体と同等の形状を持つ仮想物体を重畳描画する。実物体の位置・姿勢は６自由度位置・姿勢センサを用いて計測するが、計測値には誤差が含まれる。したがって、位置・姿勢センサの値に基づいて仮想物体を仮想空間に配置した場合、実物体と仮想物体に位置ずれが生じて、実物体の像から仮想物体の像がはみ出す可能性がある。本実施形態は、このような像のはみ出しを防止してＭＲ画像を描画する方法を示すものである。
【００３１】
図６は本実施例における情報処理装置の動作原理を示すものである。図６において、６０１はＣＧ画像を生成する際の仮想カメラの視点であり、同時に実写画像を撮影するカメラの視点でもある。また、６０２は投影画面、６０３は仮想物体を重畳表示する対象である実物体が存在する画像領域（以下、「実物体領域」と呼ぶ）、６０４は重畳表示する仮想物体（以下、「重畳物体」と呼ぶ）である。ここで、実物体は全体が青色一色であるとする。したがって、実物体領域は実写画像から青色の領域を抽出することにより取得することが出来る。
【００３２】
本実施例では、光線追跡法によりＣＧ画像を生成する際に、重畳物体と交差する光線が通る画素が実物体領域内であれば、交差した点における陰影付けの処理を行う。例えば、点６０７で実物体と交差する光線６０６が通る画素６０５は実物体領域内にあるので、画素６０５の色は点６０７の陰影として計算する。一方、重畳物体と交差する光線が通る画素が実物体領域外の場合、その交点では陰影付け処理を行わず、光線の追跡を継続する。例えば、光線６０９は重畳物体と点６１０で交差するが、光線６０９が通る画素６０８が実物体領域外なので、点６１０の陰影付け処理を行わず、さらに光線の追跡を続ける。この結果、重畳物体において実物体領域に納まらない部分６１１については描画しないようにすることができる。
【００３３】
本実施例における画像処理方法の処理の流れは図４と同様である。ただし、本実施形態では実物体領域を求めるために、肌色の替わりに青色領域を抽出する（ステップＳ４０３）。
【００３４】
図７は本実施例における画像生成処理（ステップＳ４０４）の詳細を示すフローチャートである。ステップＳ５０１、Ｓ５０３、Ｓ５０４、Ｓ５０５、Ｓ５０６、Ｓ５０７、Ｓ５０８は図５のフローチャートにおける処理と同様であるので、詳細な説明を省略する。ステップＳ５０１・Ｓ５０３・Ｓ５０４と処理することによって、画像上で選択した画素を通る光線と仮想物体との交点を探索する。ステップＳ５０５で交点が存在すると判定した場合、ステップＳ７０１でその交点が重畳物体上の点か否か判定する。ステップＳ７０１で交点が重畳物体上にあると判定すると、ステップＳ７０２に進む。ステップＳ７０２では、選択画素がステップＳ４０３で抽出した青色領域、すなわち実物体領域の内部か否か判定する。ここで青色領域内であると判定した場合、ステップＳ５０６に進み、光線と仮想物体の交点における陰影付け処理を行う。一方、ステップＳ７０２で選択画素が青色領域外であると判定された場合は、ステップＳ５０４に戻り光線追跡を継続する。なお、ステップＳ５０５で交点がないと判定された場合、当該の選択画素は実写の背景であるので、ステップＳ５０７で実写画像から画素値を取得する。
【００３５】
以上のように、実写画像の処理結果と仮想物体の配置に基づいて光線を制御することにより、実物体と仮想物体との位置ずれに起因するＭＲ画像上の矛盾を軽減することが可能になる。
【実施例３】
【００３６】
本実施例では、実物体の形状を模擬する仮想物体（以下、「マスクオブジェクト」と呼ぶ）を描画する際に、実物体とマスクオブジェクトとの形状のずれに起因する矛盾を解消するために光線を制御する例を示す。ここで、マスクオブジェクトで形状を模擬する実物体は、人間の手など肌色の物体であるとする。
【００３７】
図８は本実施例における情報処理装置の働きを示す原理図である。図８（ａ）は本実施例の方法で生成したＭＲ画像の例である。このＭＲ画像中には、実物体である肌色物体８０１および仮想物体８０２が含まれている。この一部８０３を拡大したものが図８（ｂ）である。
【００３８】
本実施例では、肌色物体の形状を球の集合体として表現する。図８（ｂ）において、８０４は肌色物体、８０５は肌色物体を表すマスクオブジェクトの一部をなす仮想物体の球である。図８（ｂ）に示したように、ＭＲ画像上でマスクオブジェクトは肌色物体の領域から突出している。
【００３９】
ここで、光線が球体８０５と交差する位置については、ＭＲ画像上で肌色領域内の場合（図８（ｃ））と肌色領域外の場合（図８（ｄ））があり得る。前者の場合、光線８０７が球体８０５に交差した時点で光線追跡を終了し、交差点８０８に相当する実写画像上の画素の色を光線の色とすればよい。一方、後者の場合、光線８０９は球体８０５を通過させ、光線追跡を継続する。このように光線を制御することにより、マスクオブジェクトが肌色物体から突出した部分については、マスクオブジェクトの背景が描画される。
【００４０】
図９は本実施例の情報処理装置のモジュール構成を示す図である。本情報処理装置は、画像取得部９０１、画像処理部９０２、画像生成部９０３、マスクオブジェクト生成部９０５から成る。画像取得部９０１はカメラから実写画像を取得し、画像処理部９０２が肌色領域を抽出する。マスクオブジェクト生成部９０５は、画像取得部９０１が取得した画像および画像処理部９０２が抽出した肌色領域に基づいて肌色領域の実物体の形状を表す球体の集合を生成する。画像生成部９０３はＣＧ画像を生成し、画像取得部９０１で取得した実写画像と合成して、ＭＲ画像を生成する。ＣＧ描画時には、光線制御部９０４が画像処理部９０２の処理結果およびマスクオブジェクト生成部９０５が生成したマスクオブジェクトの形状に基づき、光線を制御する。
【００４１】
本実施例の情報処理装置のハードウェア構成は図３と同様である。ただし、カメラ３１０はステレオカメラである。したがって、カメラ３１０から出力される情報は１対の画像データとなる。
【００４２】
図１０は本実施例における処理全体の流れを示すフローチャートである。処理を開始すると、ステップＳ１００１で以降のステップを行うためのデータの初期化を行う。本ステップの処理内容の詳細は実施例１におけるステップＳ４０１（図４）と同様である。ただし、マスクオブジェクトの生成処理（ステップＳ１００４）のために、さらにカメラ３１０の２台の撮像装置間の相対位置・姿勢を表すデータを読み込む。次のステップＳ１００２では、カメラ３１０にて撮影した実写画像を取得し、メモリ３０２に格納する。ステップＳ１００３では実写画像を処理し、画像中から肌色領域を抽出する。なお、肌色領域の抽出は、ステップＳ１００２で取得したステレオ画像の各画像に対して行う。続くステップＳ１００４では、ステップＳ１００３で抽出した肌色領域の実物体に相当するマスクオブジェクトを生成する。最後にステップＳ１００５でＭＲ画像を描画する。ステップＳ１００５の詳細については後述する。
【００４３】
なおステップＳ１００４ではまず、肌色領域内の各画素についてカメラからの距離を求める。距離の算出は公知のステレオ画像からの距離計測手法を用いる。続いて、肌色領域内の各画素に対応する３次元位置に所定の半径をもつ球体を配置してマスクオブジェクトを形成する。また、ステップＳ１００５ではステップＳ１００２で取得したステレオ画像のうち、一方の画像についてＭＲ画像を生成する。
【００４４】
図１１はステップＳ１００５の画像生成処理の流れを示すフローチャートである。図１１において、ステップＳ５０１、Ｓ５０３、Ｓ５０４、Ｓ５０５、Ｓ５０６、Ｓ５０７、Ｓ５０８の処理は図５のフローチャートにおける同記号の処理内容と同様である。ステップＳ１１０１では、ステップＳ５０４にて求めた光線と仮想物体との交点がマスクオブジェクト上の点か否か判定する。マスクオブジェクト上の点である場合は、ステップＳ１１０２で選択画素が肌色領域内であるか否か判定する。選択画素が肌色領域内である場合は、ステップＳ５０７に進み選択画素の画素値を実写画像より取得する。一方、選択画素が肌色領域外である場合は、ステップＳ５０４に戻り、光線追跡を継続する。ステップＳ１１０１において、光線がマスクオブジェクト以外の仮想物体と交差する場合は、交差点の陰影付け処理を行う（ステップＳ５０６）。光線がいずれの仮想物体とも交差しない場合（ステップＳ５０５で交点がないと判定した場合）は、当該の選択画素は実写の背景であるので、ステップＳ５０７に進み、選択画素の画素値を実写画像より取得する。
【００４５】
以上の構成をとることにより、肌色領域からマスクオブジェクトが突出した画素について、マスクオブジェクトではなく、その背景が描画される。すなわち、現実空間を正しく反映した陰影付けが可能となっている。
【００４６】
なお、上記の説明ではマスクオブジェクトを各画素の奥行き位置に配置した球体の集合としているが、これに限るものではない。例えば、マスクオブジェクト上の点群を結合して、平面パッチからなるポリゴンモデルを生成し、マスクオブジェクトとして用いても良い。
【００４７】
また、実施例１と同様に、画像取得部２０１は実写画像を撮影するカメラでなくとも良いし、画像処理は肌色領域の抽出に限らず任意の処理内容であっても良い。
【００４８】
なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。
【００４９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５１】
また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。
【図面の簡単な説明】
【００５３】
【図１】第１の実施形態における装置の働きを示す原理を示す図である。
【図２】第１の実施形態における装置のモジュール構成を示す図である。
【図３】第１の実施形態における装置のハードウェア構成を示す図である。
【図４】第１の実施形態における処理全体の流れを示すフローチャートである。
【図５】第１の実施形態における画像生成処理の流れを示すフローチャートである。
【図６】第２の実施形態における装置の働きを示す原理を示す図である。
【図７】第２の実施形態における画像生成処理の流れを示すフローチャートである。
【図８】第３の実施形態における装置の働きを示す原理を示す図である。
【図９】第３の実施形態における装置のモジュール構成を示す図である。
【図１０】第３の実施形態における処理全体の流れを示すフローチャートである。
【図１１】第３の実施形態における画像生成処理の流れを示すフローチャートである。
【図１２】発明が解決しようとする課題を例示する図である。
【符号の説明】
【００５４】
２０１ 画像取得部
２０２ 画像処理部
２０３ 画像生成部
２０４ 光線制御部
【技術分野】
【０００１】
本発明はＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）技術に関し、特に仮想空間の画像を光線追跡法により生成する画像処理装置に関する。
【背景技術】
【０００２】
従来より画像処理技術の分野では、カメラなどの撮影装置で現実空間を撮像して得られる実写画像と、仮想物体のＣＧ画像とを合成した画像を生成することで、現実空間には存在しない部分に任意の仮想物体が存在する画像を得るＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実感）技術が各種シミュレーション、ゲーム等に広く利用されている。
【０００３】
また近年では、ＣＧ画像の合成に光線追跡（レイトレーシング）法を利用したＭＲ技術が研究されている（非特許文献１参照）。光線追跡法を利用すると、従来のラスタライゼーション法では困難であった反射や屈折表現、影の高速な生成、グローバルイルミネーションの表現が可能になり、高品質な画像を生成することができる。
【０００４】
非特許文献１では、仮想物体の影が実物体である部屋の床面に落ちる様子をＭＲ画像として生成している。これを実現するためには、現実の床に相当する仮想物体の床が存在する必要がある。非特許文献１では、床面の一部に相当する不可視の仮想物体を作成し、仮想空間に配置している。
【非特許文献１】Ａｎｄｒｅａｓ Ｐｏｍｉ，Ｐｈｉｌｉｐｐ Ｓｌｕｓａｌｌｅｋ，“Ｉｎｔｅｒａｃｔｉｖｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｒｅｎｄｅｒｉｎｇ ｉｎ ａ Ｄｉｓｔｒｉｂｕｔｅｄ Ｒａｙ Ｔｒａｃｉｎｇ Ｆｒａｍｅｗｏｒｋ”，ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ＩＳＭＡＲ ２００４，Ｓｔｕｄｅｎｔ Ｃｏｌｌｏｑｕｉｕｍ，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の技術では、実写画像中に存在する実物体と、実物体に相当する仮想物体との間に位置・姿勢・形状のずれがあっても、ＭＲ画像生成時にずれを考慮した処理を行っていない。このため、生成したＭＲ画像に矛盾が生ずる可能性があった。
【０００６】
この課題を図１２の例を用いて示す。図１２はＭＲ画像であり、１２０１は実写画像上の実物体、１２０２は実物体１２０１に相当する仮想物体である。実物体１２０１と仮想物体１２０２には形状の差がある。実物体１２０１および仮想物体１２０２の背景１２０４には、仮想物体もしくは現実物体が存在する。
【０００７】
このような場合、実物体１２０１の境界とこれに相当する仮想物体１２０２の境界との間の隙間領域１２０３内の画素を、光線追跡法で描画処理する際、光線は仮想物体１２０２に交差する。したがって、隙間領域１２０３には仮想物体１２０２の像が描画されることになる。しかしながら、この領域は実物体１２０１が存在しないので、正しくは背景１２０４の像が描画されなければならない。すなわち、生成したＭＲ画像に実世界との矛盾が生じている。
【０００８】
本発明は上記の課題を鑑み、実写画像上で観測される実物体の形状を反映した矛盾のないＭＲ画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の画像処理装置は、現実空間を撮影した実写画像を取得する取得手段と、前記取得手段により取得した実写画像を画像処理する画像処理手段と、光線追跡法により仮想空間を投影した像と、前記実写画像取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする。
【発明の効果】
【００１０】
上記構成により、実写画像上で観測される実物体の形状を反映した矛盾のないＭＲ画像を生成することを可能にする。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【実施例１】
【００１２】
本実施例では、カメラで撮影した実写画像に仮想物体の投影像を重畳して、複合現実感画像（以下、「ＭＲ画像」）を生成する情報処理装置を例に挙げて本発明を説明する。
【００１３】
実物体と仮想物体の隠蔽関係を考慮せずに実写画像にＣＧ画像を重畳すると、実写画像中で仮想物体に重なる部分は仮想物体の像で隠されて見えなくなる。
【００１４】
本実施例では、実写画像中で人間の手に相当する領域を検出して、その領域の内部については実写画像が仮想物体で隠蔽されないようにする処理を施す。手の領域は実写画像中の肌色領域として抽出する。なお、ここでは生成するＭＲ画像のサイズは、実写画像のサイズと同一であるとする。ただし、両画像のサイズが同一である必然性はなく、実写画像を拡大または縮小してＭＲ画像のサイズに調整するなどすればよい。また、カメラの位置・姿勢・画角など、現実世界と仮想世界の相対位置・姿勢を合致させるために必要な情報は予め公知の方法により取得されているとする。
【００１５】
図１は実施例１における情報処理装置の働きを示す原理図である。図１（ａ）は描画方法の原理を示す図、図１（ｂ）は描画結果の例である。
【００１６】
図１（ａ）において、１０１はＣＧ画像を生成する際の仮想カメラの視点であり、同時に実写画像を撮影するカメラの視点でもある。また、１０２は投影画面、１０３は仮想物体、１０４は実写画像に写り込んだ手などの肌色領域である。
【００１７】
本実施例では、光線追跡法によりＣＧ画像を生成する際に、画素が肌色領域外であれば光線追跡処理を行い、肌色領域内であれば光線追跡処理を行わない。例えば、１０５は肌色領域外の画素であるため、画素１０５を通る光線１０６の追跡処理を行う。図１（ａ）の場合は、光線１０６が仮想物体１０３に点１０７で交差するので、画素１０５の色は点１０７の陰影として計算する。一方、肌色領域内の画素１０８については、光線追跡を行わず、実写画像の対応する画素値を画素１０８の画素値とする。このように、実写画像から画像処理により肌色領域を抽出した結果に基づき光線を制御することによって、図１（ｂ）のように肌色領域が仮想物体よりも必ず手前に現れるように描画する。すなわち、実物体である肌色領域の形状を反映したＭＲ画像を生成することが出来る。
【００１８】
次に本実施例における情報処理装置の構成を示す。図２はモジュール構成を示す図である。本情報処理装置は、画像取得部２０１、画像処理部２０２、画像生成部２０３から成る。画像取得部２０１はカメラから実写画像を取得し、画像処理部２０２が肌色領域を抽出する。画像生成部２０３は、ＣＧ画像と画像取得部２０１で取得した実写画像とを合成したＭＲ画像を生成する。ＣＧ描画時には、光線制御部２０４が画像処理部２０２の処理結果に基づき、光線を制御する。
【００１９】
図３は本情報処理装置のハードウェアの構成である。図３において、３０１はＣＰＵであり、装置全体の動作を制御する。３０２はメモリであり、ＣＰＵ３０１の動作に用いるプログラムやデータを格納する。３０３はバスであり、各構成モジュール間のデータ転送を司る。３０４はバス３０３と各種装置とのインタフェースである。また、３０５はＣＰＵ３０１に読み込むプログラムやデータを格納する外部記憶装置、３０６および３０７はプログラムを起動したり、プログラムの動作を指定するための入力装置を構成するキーボードおよびマウス、３０８はプロセスの動作結果を表示するための表示部、３０９は装置外部とのデータ入出力部、３１０はカメラである。
【００２０】
図４は実施例１に係る情報処理装置で実行される処理全体の流れを示すフローチャートである。処理を開始すると、ステップＳ４０１において、以降のステップを行うためのデータの初期化を行う。ここでは、仮想物体のモデルデータ、仮想カメラおよび現実カメラの視点位置・姿勢データ、カメラの画角など仮想空間から画像への投影条件を表すデータ、肌色領域として抽出すべき画素値などを外部記憶装置３０５よりメモリ３０２に読み込む。
【００２１】
次のステップＳ４０２では、カメラ３１０にて撮影した実写画像を取得し、メモリ３０２に格納する。ステップＳ４０３では実写画像を処理し、画像中から肌色領域を抽出する。最後にステップＳ４０４でＭＲ画像を描画する。ステップＳ４０４の詳細については後述する。
【００２２】
なお、ステップＳ４０３では、実写画像の各画素の画素値がステップＳ４０１で読み込んだ肌色領域とみなす画素値に該当するか否か判断し、該当すれば肌色領域に含まれる画素とする。逆に、該当しなければ肌色領域に含まれない画素とする。ステップＳ４０３の結果は、メモリ３０２上に実写画像と同じサイズの白黒画像として記録する。このとき白黒画像では、肌色領域内の画素を白、肌色領域外の画素を黒とする。
【００２３】
図５は画像生成処理（ステップＳ４０４）の詳細を示すフローチャートである。処理を開始すると、ステップＳ５０１で未処理の画素を選択する。以下、ステップＳ５０１で選択した画素を「選択画素」と呼ぶ。ステップＳ５０２では、選択画素がステップＳ４０３で抽出した肌色領域に含まれるか否か判断する。選択画素が肌色領域に含まれると判断した場合、選択画素の画素値を、ステップＳ４０２で取得した実写画像の同じ座標の画素の画素値に設定する（ステップＳ５０７）。続いて、ステップＳ５０８に進む。
【００２４】
一方、ステップＳ５０２で選択画素が肌色領域に含まれないと判断した場合、光線探索を行うため選択画素を通る光線を設定する（ステップＳ５０３）。次に、ステップＳ５０３で設定した光線と仮想物体との交点を探索する（ステップＳ５０４）。ステップＳ５０５では、ステップＳ５０４の光線探索の結果として光線と仮想物体との交点が存在するか否か判定する。ステップＳ５０５で交点が存在すると判断した場合、ステップＳ５０６に進み、交点の陰影付けを行って選択画素の画素値を算出する。一方、ステップＳ５０５で交点がないと判断した場合、当該選択画素は実写の背景であるので、ステップＳ５０７に進み、さらにステップＳ５０８に進む。ステップＳ５０８では、画像上のすべての画素を処理したか否か判断する。すべての画素が処理済であると判断した場合は、画像生成処理を終了する。一方、未処理の画素が残っている場合は、ステップＳ５０１に戻る。
【００２５】
上記のように、肌色領域内の画素については光線探索を行わずに実写画像の画素値を使うことにより、肌色領域は仮想物体の像に隠されずに実物体が現れるようにすることができる。すなわち、実物体である肌色領域の形状を反映した矛盾がないＭＲ画像を生成することが出来る。
【００２６】
なお、上記の説明では画像処理の内容を肌色の画素値を持つ画素の抽出としているが、これに限るものではない。手に相当する領域が検出できれば、他の内容の画像処理を行っても良い。
【００２７】
さらに、実写画像中から検出する対象物は人間の手に限定されない。その対象物に相当する領域が検出できれば、対象物の種類を問わない。画像処理の内容は、その対象物を抽出するのに適した方法を用いればよい。例えば、エッジに特徴がある対象物であれば、エッジ検出を行えばよい。
【００２８】
また、画像取得部２０１は実写画像を撮影するカメラであるとしているが、これに限るものではない。例えば、コンピュータネットワーク上の画像ファイルを取得するモジュールであっても良い。
【実施例２】
【００２９】
実施例１では、実写画像から画像処理結果に基づいて、各画素に関する光線追跡処理を行うか否かを決定している。本実施形態では、画像処理結果およびＣＧモデルの配置に基づいて光線の制御を行う例を示す。
【００３０】
本実施例では、所定の実物体を含む実写画像を取得し、その実物体の像に位置を合わせて、実物体と同等の形状を持つ仮想物体を重畳描画する。実物体の位置・姿勢は６自由度位置・姿勢センサを用いて計測するが、計測値には誤差が含まれる。したがって、位置・姿勢センサの値に基づいて仮想物体を仮想空間に配置した場合、実物体と仮想物体に位置ずれが生じて、実物体の像から仮想物体の像がはみ出す可能性がある。本実施形態は、このような像のはみ出しを防止してＭＲ画像を描画する方法を示すものである。
【００３１】
図６は本実施例における情報処理装置の動作原理を示すものである。図６において、６０１はＣＧ画像を生成する際の仮想カメラの視点であり、同時に実写画像を撮影するカメラの視点でもある。また、６０２は投影画面、６０３は仮想物体を重畳表示する対象である実物体が存在する画像領域（以下、「実物体領域」と呼ぶ）、６０４は重畳表示する仮想物体（以下、「重畳物体」と呼ぶ）である。ここで、実物体は全体が青色一色であるとする。したがって、実物体領域は実写画像から青色の領域を抽出することにより取得することが出来る。
【００３２】
本実施例では、光線追跡法によりＣＧ画像を生成する際に、重畳物体と交差する光線が通る画素が実物体領域内であれば、交差した点における陰影付けの処理を行う。例えば、点６０７で実物体と交差する光線６０６が通る画素６０５は実物体領域内にあるので、画素６０５の色は点６０７の陰影として計算する。一方、重畳物体と交差する光線が通る画素が実物体領域外の場合、その交点では陰影付け処理を行わず、光線の追跡を継続する。例えば、光線６０９は重畳物体と点６１０で交差するが、光線６０９が通る画素６０８が実物体領域外なので、点６１０の陰影付け処理を行わず、さらに光線の追跡を続ける。この結果、重畳物体において実物体領域に納まらない部分６１１については描画しないようにすることができる。
【００３３】
本実施例における画像処理方法の処理の流れは図４と同様である。ただし、本実施形態では実物体領域を求めるために、肌色の替わりに青色領域を抽出する（ステップＳ４０３）。
【００３４】
図７は本実施例における画像生成処理（ステップＳ４０４）の詳細を示すフローチャートである。ステップＳ５０１、Ｓ５０３、Ｓ５０４、Ｓ５０５、Ｓ５０６、Ｓ５０７、Ｓ５０８は図５のフローチャートにおける処理と同様であるので、詳細な説明を省略する。ステップＳ５０１・Ｓ５０３・Ｓ５０４と処理することによって、画像上で選択した画素を通る光線と仮想物体との交点を探索する。ステップＳ５０５で交点が存在すると判定した場合、ステップＳ７０１でその交点が重畳物体上の点か否か判定する。ステップＳ７０１で交点が重畳物体上にあると判定すると、ステップＳ７０２に進む。ステップＳ７０２では、選択画素がステップＳ４０３で抽出した青色領域、すなわち実物体領域の内部か否か判定する。ここで青色領域内であると判定した場合、ステップＳ５０６に進み、光線と仮想物体の交点における陰影付け処理を行う。一方、ステップＳ７０２で選択画素が青色領域外であると判定された場合は、ステップＳ５０４に戻り光線追跡を継続する。なお、ステップＳ５０５で交点がないと判定された場合、当該の選択画素は実写の背景であるので、ステップＳ５０７で実写画像から画素値を取得する。
【００３５】
以上のように、実写画像の処理結果と仮想物体の配置に基づいて光線を制御することにより、実物体と仮想物体との位置ずれに起因するＭＲ画像上の矛盾を軽減することが可能になる。
【実施例３】
【００３６】
本実施例では、実物体の形状を模擬する仮想物体（以下、「マスクオブジェクト」と呼ぶ）を描画する際に、実物体とマスクオブジェクトとの形状のずれに起因する矛盾を解消するために光線を制御する例を示す。ここで、マスクオブジェクトで形状を模擬する実物体は、人間の手など肌色の物体であるとする。
【００３７】
図８は本実施例における情報処理装置の働きを示す原理図である。図８（ａ）は本実施例の方法で生成したＭＲ画像の例である。このＭＲ画像中には、実物体である肌色物体８０１および仮想物体８０２が含まれている。この一部８０３を拡大したものが図８（ｂ）である。
【００３８】
本実施例では、肌色物体の形状を球の集合体として表現する。図８（ｂ）において、８０４は肌色物体、８０５は肌色物体を表すマスクオブジェクトの一部をなす仮想物体の球である。図８（ｂ）に示したように、ＭＲ画像上でマスクオブジェクトは肌色物体の領域から突出している。
【００３９】
ここで、光線が球体８０５と交差する位置については、ＭＲ画像上で肌色領域内の場合（図８（ｃ））と肌色領域外の場合（図８（ｄ））があり得る。前者の場合、光線８０７が球体８０５に交差した時点で光線追跡を終了し、交差点８０８に相当する実写画像上の画素の色を光線の色とすればよい。一方、後者の場合、光線８０９は球体８０５を通過させ、光線追跡を継続する。このように光線を制御することにより、マスクオブジェクトが肌色物体から突出した部分については、マスクオブジェクトの背景が描画される。
【００４０】
図９は本実施例の情報処理装置のモジュール構成を示す図である。本情報処理装置は、画像取得部９０１、画像処理部９０２、画像生成部９０３、マスクオブジェクト生成部９０５から成る。画像取得部９０１はカメラから実写画像を取得し、画像処理部９０２が肌色領域を抽出する。マスクオブジェクト生成部９０５は、画像取得部９０１が取得した画像および画像処理部９０２が抽出した肌色領域に基づいて肌色領域の実物体の形状を表す球体の集合を生成する。画像生成部９０３はＣＧ画像を生成し、画像取得部９０１で取得した実写画像と合成して、ＭＲ画像を生成する。ＣＧ描画時には、光線制御部９０４が画像処理部９０２の処理結果およびマスクオブジェクト生成部９０５が生成したマスクオブジェクトの形状に基づき、光線を制御する。
【００４１】
本実施例の情報処理装置のハードウェア構成は図３と同様である。ただし、カメラ３１０はステレオカメラである。したがって、カメラ３１０から出力される情報は１対の画像データとなる。
【００４２】
図１０は本実施例における処理全体の流れを示すフローチャートである。処理を開始すると、ステップＳ１００１で以降のステップを行うためのデータの初期化を行う。本ステップの処理内容の詳細は実施例１におけるステップＳ４０１（図４）と同様である。ただし、マスクオブジェクトの生成処理（ステップＳ１００４）のために、さらにカメラ３１０の２台の撮像装置間の相対位置・姿勢を表すデータを読み込む。次のステップＳ１００２では、カメラ３１０にて撮影した実写画像を取得し、メモリ３０２に格納する。ステップＳ１００３では実写画像を処理し、画像中から肌色領域を抽出する。なお、肌色領域の抽出は、ステップＳ１００２で取得したステレオ画像の各画像に対して行う。続くステップＳ１００４では、ステップＳ１００３で抽出した肌色領域の実物体に相当するマスクオブジェクトを生成する。最後にステップＳ１００５でＭＲ画像を描画する。ステップＳ１００５の詳細については後述する。
【００４３】
なおステップＳ１００４ではまず、肌色領域内の各画素についてカメラからの距離を求める。距離の算出は公知のステレオ画像からの距離計測手法を用いる。続いて、肌色領域内の各画素に対応する３次元位置に所定の半径をもつ球体を配置してマスクオブジェクトを形成する。また、ステップＳ１００５ではステップＳ１００２で取得したステレオ画像のうち、一方の画像についてＭＲ画像を生成する。
【００４４】
図１１はステップＳ１００５の画像生成処理の流れを示すフローチャートである。図１１において、ステップＳ５０１、Ｓ５０３、Ｓ５０４、Ｓ５０５、Ｓ５０６、Ｓ５０７、Ｓ５０８の処理は図５のフローチャートにおける同記号の処理内容と同様である。ステップＳ１１０１では、ステップＳ５０４にて求めた光線と仮想物体との交点がマスクオブジェクト上の点か否か判定する。マスクオブジェクト上の点である場合は、ステップＳ１１０２で選択画素が肌色領域内であるか否か判定する。選択画素が肌色領域内である場合は、ステップＳ５０７に進み選択画素の画素値を実写画像より取得する。一方、選択画素が肌色領域外である場合は、ステップＳ５０４に戻り、光線追跡を継続する。ステップＳ１１０１において、光線がマスクオブジェクト以外の仮想物体と交差する場合は、交差点の陰影付け処理を行う（ステップＳ５０６）。光線がいずれの仮想物体とも交差しない場合（ステップＳ５０５で交点がないと判定した場合）は、当該の選択画素は実写の背景であるので、ステップＳ５０７に進み、選択画素の画素値を実写画像より取得する。
【００４５】
以上の構成をとることにより、肌色領域からマスクオブジェクトが突出した画素について、マスクオブジェクトではなく、その背景が描画される。すなわち、現実空間を正しく反映した陰影付けが可能となっている。
【００４６】
なお、上記の説明ではマスクオブジェクトを各画素の奥行き位置に配置した球体の集合としているが、これに限るものではない。例えば、マスクオブジェクト上の点群を結合して、平面パッチからなるポリゴンモデルを生成し、マスクオブジェクトとして用いても良い。
【００４７】
また、実施例１と同様に、画像取得部２０１は実写画像を撮影するカメラでなくとも良いし、画像処理は肌色領域の抽出に限らず任意の処理内容であっても良い。
【００４８】
なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。
【００４９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５１】
また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。
【図面の簡単な説明】
【００５３】
【図１】第１の実施形態における装置の働きを示す原理を示す図である。
【図２】第１の実施形態における装置のモジュール構成を示す図である。
【図３】第１の実施形態における装置のハードウェア構成を示す図である。
【図４】第１の実施形態における処理全体の流れを示すフローチャートである。
【図５】第１の実施形態における画像生成処理の流れを示すフローチャートである。
【図６】第２の実施形態における装置の働きを示す原理を示す図である。
【図７】第２の実施形態における画像生成処理の流れを示すフローチャートである。
【図８】第３の実施形態における装置の働きを示す原理を示す図である。
【図９】第３の実施形態における装置のモジュール構成を示す図である。
【図１０】第３の実施形態における処理全体の流れを示すフローチャートである。
【図１１】第３の実施形態における画像生成処理の流れを示すフローチャートである。
【図１２】発明が解決しようとする課題を例示する図である。
【符号の説明】
【００５４】
２０１ 画像取得部
２０２ 画像処理部
２０３ 画像生成部
２０４ 光線制御部
【特許請求の範囲】
【請求項１】
現実空間を撮影した実写画像を取得する取得手段と、
前記取得手段により取得した実写画像を画像処理する画像処理手段と、
光線追跡法により仮想空間を投影した像と、前記取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、
前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段における画像処理は、前記取得手段により取得した実写画像から所定の現実物体に相当する画像領域を抽出する処理であり、
前記画像生成手段は、前記画像領域に属する画素に対してのみ、光線及び仮想物体との交点の探索を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段における画像処理は、前記取得手段により取得した実写画像から所定の現実物体に相当する画像領域を抽出する処理であり、
前記画像生成手段は、前記画像処理手段による画像処理の結果、及び前記所定の現実物体に相当する仮想物体に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記所定の現実物体に相当する画像領域外を通る光線に関して、前記所定の現実物体に相当する仮想物体を、光線との交差判定の対象外とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像生成手段は、光線及び前記所定の現実物体に相当する仮想物体とが交差し、かつ前記光線が前記所定の現実物体に相当する画像領域外を通る場合に、前記交差を無効にすることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記画像生成手段は、光線及び前記所定の現実物体に相当する仮想物体とが交差し、かつ前記交差が発生する３次元位置に相当する前記実写画像上の位置が、前記所定の現実物体に相当する画像領域外である場合に、前記交差を無効にすることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
更に前記所定の現実物体に相当する仮想物体を生成する仮想物体生成手段を有することを特徴とする請求項３乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
現実空間を撮影した実写画像を取得する取得工程と、
前記取得工程により取得した実写画像を画像処理する画像処理工程と、
光線追跡法により仮想空間を投影した像と、前記取得工程により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成工程とを有し、
前記画像生成工程は前記画像処理工程による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータに請求項８に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１】
現実空間を撮影した実写画像を取得する取得手段と、
前記取得手段により取得した実写画像を画像処理する画像処理手段と、
光線追跡法により仮想空間を投影した像と、前記取得手段により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成手段とを有し、
前記画像生成手段は前記画像処理手段による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段における画像処理は、前記取得手段により取得した実写画像から所定の現実物体に相当する画像領域を抽出する処理であり、
前記画像生成手段は、前記画像領域に属する画素に対してのみ、光線及び仮想物体との交点の探索を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段における画像処理は、前記取得手段により取得した実写画像から所定の現実物体に相当する画像領域を抽出する処理であり、
前記画像生成手段は、前記画像処理手段による画像処理の結果、及び前記所定の現実物体に相当する仮想物体に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記所定の現実物体に相当する画像領域外を通る光線に関して、前記所定の現実物体に相当する仮想物体を、光線との交差判定の対象外とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像生成手段は、光線及び前記所定の現実物体に相当する仮想物体とが交差し、かつ前記光線が前記所定の現実物体に相当する画像領域外を通る場合に、前記交差を無効にすることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記画像生成手段は、光線及び前記所定の現実物体に相当する仮想物体とが交差し、かつ前記交差が発生する３次元位置に相当する前記実写画像上の位置が、前記所定の現実物体に相当する画像領域外である場合に、前記交差を無効にすることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
更に前記所定の現実物体に相当する仮想物体を生成する仮想物体生成手段を有することを特徴とする請求項３乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
現実空間を撮影した実写画像を取得する取得工程と、
前記取得工程により取得した実写画像を画像処理する画像処理工程と、
光線追跡法により仮想空間を投影した像と、前記取得工程により取得した実写画像に含まれる実物体の像とを合成した画像を生成する画像生成工程とを有し、
前記画像生成工程は前記画像処理工程による画像処理の結果に基づき、光線及び仮想物体との交点の探索を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータに請求項８に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１４０２９６（Ｐ２００９−１４０２９６Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００７−３１６８１０（Ｐ２００７−３１６８１０）
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成１９年１２月７日（２００７．１２．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]