映像合成装置、映像合成方法、および映像合成プログラム
【課題】複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源方向を推定して映像を合成する。
【解決手段】光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置が、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像を記憶し、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域に含まれる被写体が、球面であるか否かを判定し、被写体が球面であると判定した複数の被写体領域毎に、被写体領域における被写体に対する光源位置を算出し、既知映像を、算出した光源位置に基づいて補正し、光源位置を補正した既知映像を、入力映像に合成する。
【解決手段】光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置が、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像を記憶し、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域に含まれる被写体が、球面であるか否かを判定し、被写体が球面であると判定した複数の被写体領域毎に、被写体領域における被写体に対する光源位置を算出し、既知映像を、算出した光源位置に基づいて補正し、光源位置を補正した既知映像を、入力映像に合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する技術に関する。
【背景技術】
【０００２】
陰影のある複数の３次元映像を１つの映像に合成する場合、被写体に対する光源位置が異なる映像をそのまま合成すれば、各被写体における光の当たり方に矛盾が生じ違和感のある映像となってしまう。そこで、光学的整合性のある映像を生成するために、映像における被写体に対する光源位置を算出し、複数の映像の光源位置が同一となるように補正してから合成することが望ましい。このために、映像における光源位置を算出することが必要である。
このような光源位置を算出する方法として、カメラに光源が映るように映像を撮像する方法と、直接には光源が映っていない映像から光源位置を推定する方法とが存在する。
前者の方法として、魚眼レンズや全方位カメラを用いることで、被写体と同様に光源を含めて撮像することによって相対的な光源位置を推定する方法（例えば、非特許文献１参照）がある。
後者の方法として、被写体と同じ空間に金属球をおき、その空間をカメラで撮像し、金属球に映った光源に基づいて光源位置を推定する方法（例えば、非特許文献２参照）がある。この方法は、球面における最も照度の高い領域が光源の方向を示すという特性を用いる方法（例えば、非特許文献３参照）である。例えば、図１３（ａ）は、右上前面（破線矢印）方向から光源が照射している球が被写体として撮像された映像の例である。図１３（ｂ）は、図１３（ａ）における線分ＡＢ上の輝度の分布を示す。線分ＡＢの映像面上での位置は、選択した被写体領域の輪郭画素に対してクラスタリングを行い、推定する。このような分布において輝度が最も高い領域が、最も照度の高い領域であると考えられる。そこで、映像上の球において最も輝度が高い領域の方向（破線矢印方向）に基づいて、光源位置を算出することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大蔵 苑子、川上 玲、池内 克史、「光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価」、情報処理学会論文誌 コンピュータビジョンとイメージメディア Ｖｏｌ．２ Ｎｏ．１、２００９年５月、ｐｐ．３２−４１
【非特許文献２】Debevec、P.E.“Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography”、Proceedings of SIGGRAPH 98、１９９８、ｐｐ．１８９−１９８
【非特許文献３】Jorge Lopez-Moreno、Sunil Hadap、Erik Reinhard、Diego Gutierrez、“Composing images through light source detection”、Computers & Graphics、 vol.34、no.6、２０１０、ｐｐ．６９８−７０７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の非特許文献１、２に示す方法は、特殊な方法により撮像を行わなければならず、事前に複雑なキャリブレーションが必要となる。例えば、非特許文献１の方法では、魚眼カメラや全方位カメラ等のデバイスを利用することが前提となり、このようなカメラを用いて撮像した映像でなければ光源位置を推定することができない。非特許文献２の方法では、予め撮像空間中に金属球を含めて撮像しなければ、光源位置を推定することができない。すなわち、上述の方法では、このような条件を満たさずに撮像された映像に基づいて光源位置を推定することができない。そこで、このような特殊な条件を満たす場合でなくとも、映像における被写体に対する光源の位置を推定することが望ましい。
【０００５】
本発明は、上述のような事情に鑑みてなされたもので、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源方向を推定して映像を合成する映像合成装置、映像合成方法、および映像合成プログラムを提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置であって、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部と、既知映像と合成する入力映像が入力される映像入力部と、映像入力部に入力された入力映像に含まれる複数の被写体領域を選択する領域選択部と、領域選択部によって選択された被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定部と、球面領域判定部によって被写体が球面であると判定された複数の被写体領域毎の光源方向を算出し、算出した複数の光源方向に基づいて被写体に対する光源位置を算出する光源位置算出部と、既知映像を、光源位置算出部によって算出された光源位置に基づいて補正する光源位置調整部と、光源位置調整部によって光源位置を補正した既知映像を、入力映像に合成する映像合成部とを備えたことを特徴とする。
【０００７】
また、本発明は、光源位置算出部によって算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正部を備えたことを特徴とする。
【０００８】
また、本発明は、球面領域判定部によって得られた球面領域に対して、球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価部
を備えたことを特徴とする。
【０００９】
また、本発明は、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置の映像合成方法であって、既知映像と合成する入力映像が入力される映像入力ステップと、入力された入力映像に含まれる複数の被写体領域を選択する領域選択ステップと、選択した被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定ステップと、被写体が球面であると判定した複数の被写体領域毎の光源方向を算出し、算出した複数の光源方向に基づいて被写体に対する光源位置を算出する光源位置算出ステップと、既知映像を、光源位置算出ステップにおいて算出された光源位置に基づいて補正する光源位置調整ステップと、光源位置を補正した既知映像を、入力映像に合成する映像合成ステップと、を備えたことを特徴とする。
【００１０】
また、本発明は、光源位置算出ステップと光源位置調整ステップとの間に、光源位置算出ステップにおいて算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正ステップを備えたことを特徴とする。
【００１１】
また、本発明は、球面領域判定ステップと光源位置算出ステップとの間に、球面領域判定ステップにおいて得られた球面領域に対して、球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価ステップを備えたことを特徴とする。
【００１２】
また、本発明は、光源位置が予め対応付けられた既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置のコンピュータに、上述の映像合成方法を実行させる映像合成プログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置が、光源位置が予め対応付けられた既知映像を記憶し、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域に含まれる被写体が、球面であるか否かを判定し、被写体が球面であると判定した複数の被写体領域毎に、被写体領域における被写体に対する光源位置を算出し、既知映像を、算出した光源位置に基づいて補正し、光源位置を補正した既知映像を、入力映像に合成するようにしたので、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源方向を推定して映像を合成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による映像合成装置の構成例を示すブロック図である。
【図２】本発明の一実施形態による球面領域の判定処理を説明する図である。
【図３】本発明の一実施形態による推定対象の光源方向の範囲を説明する図である。
【図４】本発明の一実施形態により光源方向を推定する様子を説明する図である。
【図５】本発明の一実施形態による光源位置を推定する様子を説明する図である。
【図６】本発明の一実施形態による映像合成装置の動作例を示すフローチャートである。
【図７】本発明の一実施形態による光源情報推定処理の詳細を説明するフローチャートである。
【図８】本発明の第２の実施形態による映像合成装置の構成例を示すブロック図である
【図９】本発明の第２の実施形態による映像合成装置の動作例を示すフローチャートである
【図１０】本発明の第２の実施形態により光源情報の補正を行う仕組みを説明する図である。
【図１１】本発明の第３の実施形態による映像合成装置の構成例を示すブロック図である
【図１２】本発明の第３の実施形態による映像合成装置の動作例を示すフローチャートである
【図１３】光源方向推定技術で利用する球面特性を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、図面を参照して説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態による映像合成装置２０の構成を示すブロック図である。映像合成装置２０は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成して合成映像を生成するコンピュータ装置である。映像合成装置２０は、映像入力部１と、映像出力部２と、映像・データ蓄積部３と、領域選択部４と、球面領域判定部５と、光源情報推定部６と、光源情報調整部７と、映像合成部８とを備えている。
【００１６】
映像入力部１には、予め映像・データ蓄積部３に記憶されている既知映像と合成する入力映像が入力される。例えば、映像入力部１には、カメラ等の入力機器から、屋外、屋内等の様々な環境で撮像された映像が入力される。映像入力部１は、入力された入力映像を映像・データ蓄積部３に記憶させる。
映像出力部２は、映像合成装置２０によって生成された合成画像を、ディスプレイ等の出力機器に出力し、画像を表示させる。
【００１７】
映像・データ蓄積部３には、映像合成装置２０における各処理に用いられる情報が記憶される。例えば、映像・データ蓄積部３には、映像入力部１に入力された入力映像と合成する既知映像が予め記憶されている。既知映像は、形状や光源位置が既知であり、これらが含まれる光源情報が予め対応付けられた被写体を含む情報である。既知映像は、例えば、ＣＧ（コンピュータグラフィックス）で作成した映像や、距離センサ等の手段によって入力機器の位置を基点とした距離情報が得られている映像である。また、映像・データ蓄積部３には、映像入力部１から入力された映像や、後述する領域選択部４、球面領域判定部５、光源情報推定部６、光源情報調整部７、映像合成部８等によって得られたデータや映像が記憶される。映像・データ蓄積部３は、例えば、映像合成装置２０がパーソナルコンピュータであれば、いわゆるメモリやハードディスクである。
【００１８】
領域選択部４は、映像入力部１に入力されて映像・データ蓄積部３に記憶された入力映像を読み出し、読み出した入力映像に含まれる複数の被写体領域を選択する。被写体領域の選択は、例えばマウスやデジタイザ等の外部入力機器を用いて被写体の輪郭部分を指定する入力を受け付けるようにしても良いし、事前に様々な被写体を学習データとして蓄積しておき、パターンマッチング等によって照合を行うことで被写体領域を選択するようにしても良い。領域選択部４は、このようにして、映像・データ蓄積部３に格納されている入力映像から被写体領域を複数種類、選択する。
【００１９】
球面領域判定部５は、領域選択部４によって選択された被写体領域の照度分布を用いて、その領域に含まれる被写体が、球面であるか否かを判定する。例えば、球面領域判定部５は、図２(ａ)のように、映像上の光源方向に平行に照度値分布を求める。図２(ｂ)に示す分布１と分布２は、図２（ａ）上の破線に相当する部分の照度値分布の例であり、被写体が、例えば、りんごの芯の領域のように窪み等がある場合には、分布１のように複数のピークになり、球面（凸）になっていれば分布２のように照度値分布には１つのみのピークをもつ。そこで、球面領域判定部５は、光源方向の照度値分布のピーク数が２つ以上ある場合には、その領域が球面でないと判定し、ピーク数が１つである場合には、その領域が球面であると判定する。
【００２０】
すなわち、映像中から選択した領域が窪みの存在により完全な球でない場合、局所的に照度の高い領域が複数存在することになり、正確な光源位置を算出することが困難である。例えば被写体がリンゴであれば、リンゴの芯の周辺にある窪みによってピークの数が複数になる。このような場合も同様に処理すると、光源方向の推定精度が悪くなると考えられるため、球面ではないものとして処理から除外する。
【００２１】
光源情報推定部６は、球面領域判定部５によって被写体が球面であると判定された複数の被写体領域毎に、その被写体領域における前記被写体に対する光源位置を算出する光源位置算出部である。まず、光源情報推定部６による光源方向の算出処理を説明する。光源方向とは、被写体に対する光源の法線方向である。図３は、映像中の被写体に３次元の座標系を重畳表示した例であり、ｘ軸は映像面と垂直な方向、ｙ軸は映像面上の水平方向、ｚ軸は映像面上の垂直方向を表す。本実施形態で算出する光源方向は、映像面（ｙｚ平面）から手前側に該当し、ｘ軸方向の回転の角度φと、ｚ軸方向の回転の角度θとの組み合わせによって示される。
【００２２】
ｘ軸方向の回転の角度φは、ｙｚ平面に射影した光源方向であり、ｚ軸方向の回転の角度θは、映像面より手前側のｘｙ平面に射影した光源方向である。具体的には、光源情報推定部６は、領域選択部４が選択した被写体領域の輪郭画素の輝度を基にクラスタリング（例えば、Ｆｕｚｚｙ Ｋ−ｍｅａｎｓ）を行い、輝度のピークのある方向をｙｚ面上の光源方向（角度φ）として算出する。図３に示す映像の場合、右上（破線の矢印）方向が光源方向である。
【００２３】
また、光源情報推定部６は、図４に示すように、後述する球面領域判定部５によって球面であると判定された領域の映像面上における光源方向上の画素値分布のピーク位置に相当する角度θを、光源の方向として算出する。また、光源情報推定部６は、以下式（１）に示すような、光源強度と光源方向の関係に基づいて、光源強度を算出する。
【００２４】
【数１】
【００２５】
式（１）において、Ｌは光源強度、Ωは映像上で被写体の存在する位置から光源に対する法線ベクトルｎと光源方向ω、および被写体の反射率に関連した定数Ｃで決定される。ここでは、被写体の位置に対応する映像上の座標の画素値Ｐが既知であることから、光源強度Ｌを算出できる。
【００２６】
光源情報推定部６は、このように算出した光源方向を示す角度φと、角度θと、光源強度Ｌとに基づいて、光源位置を算出する。図５（ａ）は被写体を上から見た図であり、図５（ｂ）は正面からみた図（映像）であり、各矢印付き線分は各被写体から推定された光源方向である。光源情報推定部６は、光源方向を示す線分の交点を光源位置として算出する。図５（ｂ）（正面図）においては、２つの被写体からの光源方向を示す線分は交わらないため、２種類の線分の距離が最も短い箇所の中点（黒丸で示す）を光源位置として算出する。このように、光源方向と光源位置を算出する。ここで、例えば実映像の場合には各被写体から推定された光源方向に誤差を含むために、光源方向の向き（正負）が逆になっている場合もありえる。このような場合には、光源方向の３成分のうち、１種類（例えば、最も精度が悪いｚ方向）ないしは複数種類の成分の平均を求めても良いし、複数の被写体から推定された光源方向のうち、他と大きく異なる推定値を除外して平均しても良い。
【００２７】
光源情報調整部７は、映像・データ蓄積部３に記憶されている既知映像の光源情報を、光源情報推定部６によって算出された光源方向、光源位置に基づいて補正する。
映像合成部８は、光源情報調整部７によって光源位置を補正した既知映像を、映像・データ蓄積部３に記憶された入力映像に合成する。
【００２８】
次に、本実施形態による映像合成装置２０の動作例を説明する。図６は、映像合成装置２０が備える各部の動作例を示すフローチャートである。
まず、映像入力部１は、映像を入力し、映像・データ蓄積部３に格納する（ステップＳ１）。そして、領域選択部４は、複数の被写体領域を選択する（ステップＳ２）。ステップＳ２において得られた個々の被写体領域に対して、光源情報推定部６が、映像面上の光源方向（角度φ）を推定する（ステップＳ３）。
【００２９】
そして、球面領域判定部５が、被写体領域が球面であるか否かを判定する（ステップＳ４）。光源方向（角度φ）の照度値分布のピーク数が２つ以上ある場合には、その局所領域を球面外領域とし、本光源方向推定処理から除外する。ピーク数が１つである場合には、その局所領域を球面領域であると判定する。そして、光源情報推定部６が、球面領域であると判定された被写体領域に対して、光源情報を推定する（ステップＳ５）。ステップＳ５の処理の詳細を、図７のフローチャートを参照しながら説明する。
【００３０】
図７では、球面領域と判定された被写体領域に対して光源方向と光源の位置を推定するまでの流れを示す。光源情報推定部６は、ｚ軸方向の回転角度θを、光源方向として算出する（ステップＳ５１）。また、上述した式（１）により、光源強度Ｌを算出する（ステップＳ５２）。そして、光源情報推定部６は、角度φと、角度θと、光源強度Ｌとに基づいて、光源位置を算出する（ステップＳ５３）。
【００３１】
図６に戻り、光源情報調整部７は、合成対象の既知映像を映像・データ蓄積部３から読み出す（ステップＳ６）。既知映像は、各被写体の位置が既知もしくは距離センサ等のデバイスによって取得された距離データを有しているものとする。被写体の位置情報を有する既知映像に対して、光源情報調整部７は、光源情報推定部６で得られた光源情報にあわせるように光源情報を調整した映像を生成する（ステップＳ７）。ステップＳ６にて読み出した既知映像がＣＧである場合には、ステップＳ５３で得られた光源位置に光源を配置し、レンダリングして映像を生成する。一方、ステップＳ６にて読み出した既知映像がＣＧでない場合には、ステップＳ５２で得られた光源強度を０とおいた映像を生成した上で、ステップＳ５３の結果である光源位置に光源をおいた場合の映像を生成する。映像合成部８は、光源情報を調整した既知映像を、入力映像に合成し（ステップＳ８）、映像・データ蓄積部３に記憶させる。映像出力部２は、映像・データ蓄積部３に記憶された合成映像を出力する。
【００３２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して説明する。図８は、本実施形態の映像合成装置２０構成を示すブロック図である。第２の実施形態による映像合成装置２０は、第１の実施形態の映像合成装置２０が備える各部に加えて、光源情報補正部９を備える。以下、光源情報補正部９を中心に説明する。本実施形態は、特に、実映像を用いる場合に生じる推定誤差を映像上のハイライト領域を手がかりとして補正するものである。光源情報補正部９は、光源情報推定部６において推定された光源の位置を映像中にあるハイライト領域を用いて補正を行う。
【００３３】
図９は、本実施形態による映像合成装置２０の動作例を示すフローチャートである。ここでは、図６に示したフローに、光源情報の補正処理（ステップＳ９）が追加されている。ステップＳ１からＳ６、ステップＳ６からＳ８までの処理は第１の実施形態と同じであるため、説明を省略する。光源情報の補正ステップ（ステップＳ９）では、ステップＳ５における光源情報の推定の際に求めた照度値分布のピークの位置に対して、近傍にハイライト領域の有無を探索し、もし、ハイライト領域がある場合には、その領域の中で最も照度の高い点を画素値分布のピークに対応する映像上の位置とする。図１０（ａ）は、球状の物体から得られた照度値のピークに該当する映像上の位置をＸとする。まず、近傍に位置Ｘにおける照度よりも高い照度をもつハイライト領域が存在するか否かを探索する。この探索は、たとえば、近傍ｎ画素平方の範囲の中に、位置Ｘの照度よりも高い照度があるかどうかを探索する。ここでｎは３や５等の数値とする。近傍ｎ画素平方の中に、位置Ｘの照度よりも高いものが存在した場合に、位置Ｘとして得られた画素値のピークの位置を近傍にあるハイライト領域中の最も照度の高い位置に置き換える（図１０（ｂ））。
【００３４】
＜第３の実施形態＞
次に、本発明の第３の実施形態について図１１のブロック図および図１２のフローチャートを参照しながら説明する。第３の実施形態と第１の実施形態との違いは、図１１において球面領域再評価部１０が追加された点のみであるため、以下、球面領域再評価部１０を中心に説明する。第３の実施形態は、例えば、固定カメラによる屋外シーンの映像のように異なる光源位置での同一被写体の映像が複数存在する場合に、各映像フレームで得られた同一被写体領域に対する球面領域判定部の結果を統合することで、その被写体領域に対してより正確に球面領域か否かの判定を行う。
【００３５】
図１２のフローチャートにおいては、第１の実施形態に対し、球面領域の判定（ステップＳ４）と光源情報の推定（ステップＳ５）との間に球面領域の再評価（ステップＳ１０）の処理を行う。他の処理は第１の実施形態と同様である。ステップＳ１０における具体的な処理を以下に説明する。フレームｉの対象被写体領域において、ステップＳ４において球面領域と判定された画素（ｘ、ｙ）のマスク領域Ｍｉ（ｘ、ｙ)を以下式（２）のように設定する。
【００３６】
【数２】
【００３７】
すなわち、球面領域と判定された場合にはマスクに１を設定し、非球面領域と判定された場合にはマスクに０を設定し、以下式（３）に示すようにフレームの異なる同一被写体の同一画素におけるマスクの平均値が所定の閾値ｔｈを越える場合に、該当領域を球面領域として判定する。
【００３８】
【数３】
【００３９】
ここで対象とするフレームは被写体が含まれる全てのフレームであっても構わないし、特定の間隔を置いても構わないことは自明である。この処理の結果に基づいて、次の光源情報の推定（ステップＳ５）の処理に進む。
なお、上述の球面領域の再評価ステップにおいては、カメラが固定で光源位置のみが移動する場合のシーンを対象に説明したが、カメラや被写体が動く場合であっても被写体の局所的な領域間で対応がつけば、複数フレームに含まれる同一被写体領域に対する球面領域の判定結果に基づいて式（２）、（３）による判定結果を得ることも可能である。
【００４０】
以上説明したように、本実施形態によれば、映像に含まれる複数の球面領域を検出し、その球面領域における画素の輝度の分布に応じて、輝度の高い領域の法線方向に光源があるとして光源方向を算出し、複数の球面領域毎に算出した複数の光源方向に基づいて、光源位置を算出するようにした。これにより、光源環境の異なる複数の映像から、光源方向および光源位置を推定し、映像中の被写体における光源方向や位置・光源強度を調整することで、光学的整合性を実現した映像を合成することができる。よって、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源位置を算出することが可能となる。
【００４１】
また、例えば、屋外・屋内等様々な環境で撮像された入力映像に対し、各映像シーンにおける光源情報を推定・調整することで、陰影等に違和感のない、光学的整合性のある既知映像を合成することができる。
【００４２】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像合成を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４４】
１…映像入力部、２…映像出力部、３…映像・データ蓄積部、４…領域選択部、５…球面領域判定部、６…光源情報推定部、７…光源情報調整部、８…映像合成部、９…光源情報補正部、１０…球面領域再評価部、２０…映像合成装置
【技術分野】
【０００１】
本発明は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する技術に関する。
【背景技術】
【０００２】
陰影のある複数の３次元映像を１つの映像に合成する場合、被写体に対する光源位置が異なる映像をそのまま合成すれば、各被写体における光の当たり方に矛盾が生じ違和感のある映像となってしまう。そこで、光学的整合性のある映像を生成するために、映像における被写体に対する光源位置を算出し、複数の映像の光源位置が同一となるように補正してから合成することが望ましい。このために、映像における光源位置を算出することが必要である。
このような光源位置を算出する方法として、カメラに光源が映るように映像を撮像する方法と、直接には光源が映っていない映像から光源位置を推定する方法とが存在する。
前者の方法として、魚眼レンズや全方位カメラを用いることで、被写体と同様に光源を含めて撮像することによって相対的な光源位置を推定する方法（例えば、非特許文献１参照）がある。
後者の方法として、被写体と同じ空間に金属球をおき、その空間をカメラで撮像し、金属球に映った光源に基づいて光源位置を推定する方法（例えば、非特許文献２参照）がある。この方法は、球面における最も照度の高い領域が光源の方向を示すという特性を用いる方法（例えば、非特許文献３参照）である。例えば、図１３（ａ）は、右上前面（破線矢印）方向から光源が照射している球が被写体として撮像された映像の例である。図１３（ｂ）は、図１３（ａ）における線分ＡＢ上の輝度の分布を示す。線分ＡＢの映像面上での位置は、選択した被写体領域の輪郭画素に対してクラスタリングを行い、推定する。このような分布において輝度が最も高い領域が、最も照度の高い領域であると考えられる。そこで、映像上の球において最も輝度が高い領域の方向（破線矢印方向）に基づいて、光源位置を算出することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】大蔵 苑子、川上 玲、池内 克史、「光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価」、情報処理学会論文誌 コンピュータビジョンとイメージメディア Ｖｏｌ．２ Ｎｏ．１、２００９年５月、ｐｐ．３２−４１
【非特許文献２】Debevec、P.E.“Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography”、Proceedings of SIGGRAPH 98、１９９８、ｐｐ．１８９−１９８
【非特許文献３】Jorge Lopez-Moreno、Sunil Hadap、Erik Reinhard、Diego Gutierrez、“Composing images through light source detection”、Computers & Graphics、 vol.34、no.6、２０１０、ｐｐ．６９８−７０７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の非特許文献１、２に示す方法は、特殊な方法により撮像を行わなければならず、事前に複雑なキャリブレーションが必要となる。例えば、非特許文献１の方法では、魚眼カメラや全方位カメラ等のデバイスを利用することが前提となり、このようなカメラを用いて撮像した映像でなければ光源位置を推定することができない。非特許文献２の方法では、予め撮像空間中に金属球を含めて撮像しなければ、光源位置を推定することができない。すなわち、上述の方法では、このような条件を満たさずに撮像された映像に基づいて光源位置を推定することができない。そこで、このような特殊な条件を満たす場合でなくとも、映像における被写体に対する光源の位置を推定することが望ましい。
【０００５】
本発明は、上述のような事情に鑑みてなされたもので、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源方向を推定して映像を合成する映像合成装置、映像合成方法、および映像合成プログラムを提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置であって、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部と、既知映像と合成する入力映像が入力される映像入力部と、映像入力部に入力された入力映像に含まれる複数の被写体領域を選択する領域選択部と、領域選択部によって選択された被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定部と、球面領域判定部によって被写体が球面であると判定された複数の被写体領域毎の光源方向を算出し、算出した複数の光源方向に基づいて被写体に対する光源位置を算出する光源位置算出部と、既知映像を、光源位置算出部によって算出された光源位置に基づいて補正する光源位置調整部と、光源位置調整部によって光源位置を補正した既知映像を、入力映像に合成する映像合成部とを備えたことを特徴とする。
【０００７】
また、本発明は、光源位置算出部によって算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正部を備えたことを特徴とする。
【０００８】
また、本発明は、球面領域判定部によって得られた球面領域に対して、球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価部
を備えたことを特徴とする。
【０００９】
また、本発明は、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置の映像合成方法であって、既知映像と合成する入力映像が入力される映像入力ステップと、入力された入力映像に含まれる複数の被写体領域を選択する領域選択ステップと、選択した被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定ステップと、被写体が球面であると判定した複数の被写体領域毎の光源方向を算出し、算出した複数の光源方向に基づいて被写体に対する光源位置を算出する光源位置算出ステップと、既知映像を、光源位置算出ステップにおいて算出された光源位置に基づいて補正する光源位置調整ステップと、光源位置を補正した既知映像を、入力映像に合成する映像合成ステップと、を備えたことを特徴とする。
【００１０】
また、本発明は、光源位置算出ステップと光源位置調整ステップとの間に、光源位置算出ステップにおいて算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正ステップを備えたことを特徴とする。
【００１１】
また、本発明は、球面領域判定ステップと光源位置算出ステップとの間に、球面領域判定ステップにおいて得られた球面領域に対して、球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価ステップを備えたことを特徴とする。
【００１２】
また、本発明は、光源位置が予め対応付けられた既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置のコンピュータに、上述の映像合成方法を実行させる映像合成プログラムである。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置が、光源位置が予め対応付けられた既知映像を記憶し、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域に含まれる被写体が、球面であるか否かを判定し、被写体が球面であると判定した複数の被写体領域毎に、被写体領域における被写体に対する光源位置を算出し、既知映像を、算出した光源位置に基づいて補正し、光源位置を補正した既知映像を、入力映像に合成するようにしたので、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源方向を推定して映像を合成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による映像合成装置の構成例を示すブロック図である。
【図２】本発明の一実施形態による球面領域の判定処理を説明する図である。
【図３】本発明の一実施形態による推定対象の光源方向の範囲を説明する図である。
【図４】本発明の一実施形態により光源方向を推定する様子を説明する図である。
【図５】本発明の一実施形態による光源位置を推定する様子を説明する図である。
【図６】本発明の一実施形態による映像合成装置の動作例を示すフローチャートである。
【図７】本発明の一実施形態による光源情報推定処理の詳細を説明するフローチャートである。
【図８】本発明の第２の実施形態による映像合成装置の構成例を示すブロック図である
【図９】本発明の第２の実施形態による映像合成装置の動作例を示すフローチャートである
【図１０】本発明の第２の実施形態により光源情報の補正を行う仕組みを説明する図である。
【図１１】本発明の第３の実施形態による映像合成装置の構成例を示すブロック図である
【図１２】本発明の第３の実施形態による映像合成装置の動作例を示すフローチャートである
【図１３】光源方向推定技術で利用する球面特性を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、図面を参照して説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態による映像合成装置２０の構成を示すブロック図である。映像合成装置２０は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成して合成映像を生成するコンピュータ装置である。映像合成装置２０は、映像入力部１と、映像出力部２と、映像・データ蓄積部３と、領域選択部４と、球面領域判定部５と、光源情報推定部６と、光源情報調整部７と、映像合成部８とを備えている。
【００１６】
映像入力部１には、予め映像・データ蓄積部３に記憶されている既知映像と合成する入力映像が入力される。例えば、映像入力部１には、カメラ等の入力機器から、屋外、屋内等の様々な環境で撮像された映像が入力される。映像入力部１は、入力された入力映像を映像・データ蓄積部３に記憶させる。
映像出力部２は、映像合成装置２０によって生成された合成画像を、ディスプレイ等の出力機器に出力し、画像を表示させる。
【００１７】
映像・データ蓄積部３には、映像合成装置２０における各処理に用いられる情報が記憶される。例えば、映像・データ蓄積部３には、映像入力部１に入力された入力映像と合成する既知映像が予め記憶されている。既知映像は、形状や光源位置が既知であり、これらが含まれる光源情報が予め対応付けられた被写体を含む情報である。既知映像は、例えば、ＣＧ（コンピュータグラフィックス）で作成した映像や、距離センサ等の手段によって入力機器の位置を基点とした距離情報が得られている映像である。また、映像・データ蓄積部３には、映像入力部１から入力された映像や、後述する領域選択部４、球面領域判定部５、光源情報推定部６、光源情報調整部７、映像合成部８等によって得られたデータや映像が記憶される。映像・データ蓄積部３は、例えば、映像合成装置２０がパーソナルコンピュータであれば、いわゆるメモリやハードディスクである。
【００１８】
領域選択部４は、映像入力部１に入力されて映像・データ蓄積部３に記憶された入力映像を読み出し、読み出した入力映像に含まれる複数の被写体領域を選択する。被写体領域の選択は、例えばマウスやデジタイザ等の外部入力機器を用いて被写体の輪郭部分を指定する入力を受け付けるようにしても良いし、事前に様々な被写体を学習データとして蓄積しておき、パターンマッチング等によって照合を行うことで被写体領域を選択するようにしても良い。領域選択部４は、このようにして、映像・データ蓄積部３に格納されている入力映像から被写体領域を複数種類、選択する。
【００１９】
球面領域判定部５は、領域選択部４によって選択された被写体領域の照度分布を用いて、その領域に含まれる被写体が、球面であるか否かを判定する。例えば、球面領域判定部５は、図２(ａ)のように、映像上の光源方向に平行に照度値分布を求める。図２(ｂ)に示す分布１と分布２は、図２（ａ）上の破線に相当する部分の照度値分布の例であり、被写体が、例えば、りんごの芯の領域のように窪み等がある場合には、分布１のように複数のピークになり、球面（凸）になっていれば分布２のように照度値分布には１つのみのピークをもつ。そこで、球面領域判定部５は、光源方向の照度値分布のピーク数が２つ以上ある場合には、その領域が球面でないと判定し、ピーク数が１つである場合には、その領域が球面であると判定する。
【００２０】
すなわち、映像中から選択した領域が窪みの存在により完全な球でない場合、局所的に照度の高い領域が複数存在することになり、正確な光源位置を算出することが困難である。例えば被写体がリンゴであれば、リンゴの芯の周辺にある窪みによってピークの数が複数になる。このような場合も同様に処理すると、光源方向の推定精度が悪くなると考えられるため、球面ではないものとして処理から除外する。
【００２１】
光源情報推定部６は、球面領域判定部５によって被写体が球面であると判定された複数の被写体領域毎に、その被写体領域における前記被写体に対する光源位置を算出する光源位置算出部である。まず、光源情報推定部６による光源方向の算出処理を説明する。光源方向とは、被写体に対する光源の法線方向である。図３は、映像中の被写体に３次元の座標系を重畳表示した例であり、ｘ軸は映像面と垂直な方向、ｙ軸は映像面上の水平方向、ｚ軸は映像面上の垂直方向を表す。本実施形態で算出する光源方向は、映像面（ｙｚ平面）から手前側に該当し、ｘ軸方向の回転の角度φと、ｚ軸方向の回転の角度θとの組み合わせによって示される。
【００２２】
ｘ軸方向の回転の角度φは、ｙｚ平面に射影した光源方向であり、ｚ軸方向の回転の角度θは、映像面より手前側のｘｙ平面に射影した光源方向である。具体的には、光源情報推定部６は、領域選択部４が選択した被写体領域の輪郭画素の輝度を基にクラスタリング（例えば、Ｆｕｚｚｙ Ｋ−ｍｅａｎｓ）を行い、輝度のピークのある方向をｙｚ面上の光源方向（角度φ）として算出する。図３に示す映像の場合、右上（破線の矢印）方向が光源方向である。
【００２３】
また、光源情報推定部６は、図４に示すように、後述する球面領域判定部５によって球面であると判定された領域の映像面上における光源方向上の画素値分布のピーク位置に相当する角度θを、光源の方向として算出する。また、光源情報推定部６は、以下式（１）に示すような、光源強度と光源方向の関係に基づいて、光源強度を算出する。
【００２４】
【数１】
【００２５】
式（１）において、Ｌは光源強度、Ωは映像上で被写体の存在する位置から光源に対する法線ベクトルｎと光源方向ω、および被写体の反射率に関連した定数Ｃで決定される。ここでは、被写体の位置に対応する映像上の座標の画素値Ｐが既知であることから、光源強度Ｌを算出できる。
【００２６】
光源情報推定部６は、このように算出した光源方向を示す角度φと、角度θと、光源強度Ｌとに基づいて、光源位置を算出する。図５（ａ）は被写体を上から見た図であり、図５（ｂ）は正面からみた図（映像）であり、各矢印付き線分は各被写体から推定された光源方向である。光源情報推定部６は、光源方向を示す線分の交点を光源位置として算出する。図５（ｂ）（正面図）においては、２つの被写体からの光源方向を示す線分は交わらないため、２種類の線分の距離が最も短い箇所の中点（黒丸で示す）を光源位置として算出する。このように、光源方向と光源位置を算出する。ここで、例えば実映像の場合には各被写体から推定された光源方向に誤差を含むために、光源方向の向き（正負）が逆になっている場合もありえる。このような場合には、光源方向の３成分のうち、１種類（例えば、最も精度が悪いｚ方向）ないしは複数種類の成分の平均を求めても良いし、複数の被写体から推定された光源方向のうち、他と大きく異なる推定値を除外して平均しても良い。
【００２７】
光源情報調整部７は、映像・データ蓄積部３に記憶されている既知映像の光源情報を、光源情報推定部６によって算出された光源方向、光源位置に基づいて補正する。
映像合成部８は、光源情報調整部７によって光源位置を補正した既知映像を、映像・データ蓄積部３に記憶された入力映像に合成する。
【００２８】
次に、本実施形態による映像合成装置２０の動作例を説明する。図６は、映像合成装置２０が備える各部の動作例を示すフローチャートである。
まず、映像入力部１は、映像を入力し、映像・データ蓄積部３に格納する（ステップＳ１）。そして、領域選択部４は、複数の被写体領域を選択する（ステップＳ２）。ステップＳ２において得られた個々の被写体領域に対して、光源情報推定部６が、映像面上の光源方向（角度φ）を推定する（ステップＳ３）。
【００２９】
そして、球面領域判定部５が、被写体領域が球面であるか否かを判定する（ステップＳ４）。光源方向（角度φ）の照度値分布のピーク数が２つ以上ある場合には、その局所領域を球面外領域とし、本光源方向推定処理から除外する。ピーク数が１つである場合には、その局所領域を球面領域であると判定する。そして、光源情報推定部６が、球面領域であると判定された被写体領域に対して、光源情報を推定する（ステップＳ５）。ステップＳ５の処理の詳細を、図７のフローチャートを参照しながら説明する。
【００３０】
図７では、球面領域と判定された被写体領域に対して光源方向と光源の位置を推定するまでの流れを示す。光源情報推定部６は、ｚ軸方向の回転角度θを、光源方向として算出する（ステップＳ５１）。また、上述した式（１）により、光源強度Ｌを算出する（ステップＳ５２）。そして、光源情報推定部６は、角度φと、角度θと、光源強度Ｌとに基づいて、光源位置を算出する（ステップＳ５３）。
【００３１】
図６に戻り、光源情報調整部７は、合成対象の既知映像を映像・データ蓄積部３から読み出す（ステップＳ６）。既知映像は、各被写体の位置が既知もしくは距離センサ等のデバイスによって取得された距離データを有しているものとする。被写体の位置情報を有する既知映像に対して、光源情報調整部７は、光源情報推定部６で得られた光源情報にあわせるように光源情報を調整した映像を生成する（ステップＳ７）。ステップＳ６にて読み出した既知映像がＣＧである場合には、ステップＳ５３で得られた光源位置に光源を配置し、レンダリングして映像を生成する。一方、ステップＳ６にて読み出した既知映像がＣＧでない場合には、ステップＳ５２で得られた光源強度を０とおいた映像を生成した上で、ステップＳ５３の結果である光源位置に光源をおいた場合の映像を生成する。映像合成部８は、光源情報を調整した既知映像を、入力映像に合成し（ステップＳ８）、映像・データ蓄積部３に記憶させる。映像出力部２は、映像・データ蓄積部３に記憶された合成映像を出力する。
【００３２】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して説明する。図８は、本実施形態の映像合成装置２０構成を示すブロック図である。第２の実施形態による映像合成装置２０は、第１の実施形態の映像合成装置２０が備える各部に加えて、光源情報補正部９を備える。以下、光源情報補正部９を中心に説明する。本実施形態は、特に、実映像を用いる場合に生じる推定誤差を映像上のハイライト領域を手がかりとして補正するものである。光源情報補正部９は、光源情報推定部６において推定された光源の位置を映像中にあるハイライト領域を用いて補正を行う。
【００３３】
図９は、本実施形態による映像合成装置２０の動作例を示すフローチャートである。ここでは、図６に示したフローに、光源情報の補正処理（ステップＳ９）が追加されている。ステップＳ１からＳ６、ステップＳ６からＳ８までの処理は第１の実施形態と同じであるため、説明を省略する。光源情報の補正ステップ（ステップＳ９）では、ステップＳ５における光源情報の推定の際に求めた照度値分布のピークの位置に対して、近傍にハイライト領域の有無を探索し、もし、ハイライト領域がある場合には、その領域の中で最も照度の高い点を画素値分布のピークに対応する映像上の位置とする。図１０（ａ）は、球状の物体から得られた照度値のピークに該当する映像上の位置をＸとする。まず、近傍に位置Ｘにおける照度よりも高い照度をもつハイライト領域が存在するか否かを探索する。この探索は、たとえば、近傍ｎ画素平方の範囲の中に、位置Ｘの照度よりも高い照度があるかどうかを探索する。ここでｎは３や５等の数値とする。近傍ｎ画素平方の中に、位置Ｘの照度よりも高いものが存在した場合に、位置Ｘとして得られた画素値のピークの位置を近傍にあるハイライト領域中の最も照度の高い位置に置き換える（図１０（ｂ））。
【００３４】
＜第３の実施形態＞
次に、本発明の第３の実施形態について図１１のブロック図および図１２のフローチャートを参照しながら説明する。第３の実施形態と第１の実施形態との違いは、図１１において球面領域再評価部１０が追加された点のみであるため、以下、球面領域再評価部１０を中心に説明する。第３の実施形態は、例えば、固定カメラによる屋外シーンの映像のように異なる光源位置での同一被写体の映像が複数存在する場合に、各映像フレームで得られた同一被写体領域に対する球面領域判定部の結果を統合することで、その被写体領域に対してより正確に球面領域か否かの判定を行う。
【００３５】
図１２のフローチャートにおいては、第１の実施形態に対し、球面領域の判定（ステップＳ４）と光源情報の推定（ステップＳ５）との間に球面領域の再評価（ステップＳ１０）の処理を行う。他の処理は第１の実施形態と同様である。ステップＳ１０における具体的な処理を以下に説明する。フレームｉの対象被写体領域において、ステップＳ４において球面領域と判定された画素（ｘ、ｙ）のマスク領域Ｍｉ（ｘ、ｙ)を以下式（２）のように設定する。
【００３６】
【数２】
【００３７】
すなわち、球面領域と判定された場合にはマスクに１を設定し、非球面領域と判定された場合にはマスクに０を設定し、以下式（３）に示すようにフレームの異なる同一被写体の同一画素におけるマスクの平均値が所定の閾値ｔｈを越える場合に、該当領域を球面領域として判定する。
【００３８】
【数３】
【００３９】
ここで対象とするフレームは被写体が含まれる全てのフレームであっても構わないし、特定の間隔を置いても構わないことは自明である。この処理の結果に基づいて、次の光源情報の推定（ステップＳ５）の処理に進む。
なお、上述の球面領域の再評価ステップにおいては、カメラが固定で光源位置のみが移動する場合のシーンを対象に説明したが、カメラや被写体が動く場合であっても被写体の局所的な領域間で対応がつけば、複数フレームに含まれる同一被写体領域に対する球面領域の判定結果に基づいて式（２）、（３）による判定結果を得ることも可能である。
【００４０】
以上説明したように、本実施形態によれば、映像に含まれる複数の球面領域を検出し、その球面領域における画素の輝度の分布に応じて、輝度の高い領域の法線方向に光源があるとして光源方向を算出し、複数の球面領域毎に算出した複数の光源方向に基づいて、光源位置を算出するようにした。これにより、光源環境の異なる複数の映像から、光源方向および光源位置を推定し、映像中の被写体における光源方向や位置・光源強度を調整することで、光学的整合性を実現した映像を合成することができる。よって、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から光源位置を算出することが可能となる。
【００４１】
また、例えば、屋外・屋内等様々な環境で撮像された入力映像に対し、各映像シーンにおける光源情報を推定・調整することで、陰影等に違和感のない、光学的整合性のある既知映像を合成することができる。
【００４２】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像合成を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４４】
１…映像入力部、２…映像出力部、３…映像・データ蓄積部、４…領域選択部、５…球面領域判定部、６…光源情報推定部、７…光源情報調整部、８…映像合成部、９…光源情報補正部、１０…球面領域再評価部、２０…映像合成装置
【特許請求の範囲】
【請求項１】
光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置であって、
光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部と、
前記既知映像と合成する入力映像が入力される映像入力部と、
前記映像入力部に入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択部と、
前記領域選択部によって選択された被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定部と、
前記球面領域判定部によって前記被写体が球面であると判定された複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出部と、
前記既知映像を、前記光源位置算出部によって算出された光源位置に基づいて補正する光源位置調整部と、
前記光源位置調整部によって光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成部と
を備えたことを特徴とする映像合成装置。
【請求項２】
前記光源位置算出部によって算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正部
を備えたことを特徴とする請求項１に記載の映像合成装置。
【請求項３】
前記球面領域判定部によって得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価部
を備えたことを特徴とする請求項１または請求項２に記載の映像合成装置。
【請求項４】
光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置の映像合成方法であって、
前記既知映像と合成する入力映像が入力される映像入力ステップと、
入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択ステップと、
選択した被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定ステップと、
前記被写体が球面であると判定した複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出ステップと、
前記既知映像を、前記光源位置算出ステップにおいて算出された光源位置に基づいて補正する光源位置調整ステップと、
光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成ステップと、
を備えたことを特徴とする映像合成方法。
【請求項５】
前記光源位置算出ステップと前記光源位置調整ステップとの間に、
前記光源位置算出ステップにおいて算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正ステップ
を備えたことを特徴とする請求項４に記載の映像合成方法。
【請求項６】
前記球面領域判定ステップと前記光源位置算出ステップとの間に、
前記球面領域判定ステップにおいて得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価ステップ
を備えたことを特徴とする請求項４または請求項５に記載の映像合成方法。
【請求項７】
光源位置が予め対応付けられた既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置のコンピュータに、請求項４から６のいずれか１項に記載の映像合成方法を実行させる映像合成プログラム。
【請求項１】
光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置であって、
光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部と、
前記既知映像と合成する入力映像が入力される映像入力部と、
前記映像入力部に入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択部と、
前記領域選択部によって選択された被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定部と、
前記球面領域判定部によって前記被写体が球面であると判定された複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出部と、
前記既知映像を、前記光源位置算出部によって算出された光源位置に基づいて補正する光源位置調整部と、
前記光源位置調整部によって光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成部と
を備えたことを特徴とする映像合成装置。
【請求項２】
前記光源位置算出部によって算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正部
を備えたことを特徴とする請求項１に記載の映像合成装置。
【請求項３】
前記球面領域判定部によって得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価部
を備えたことを特徴とする請求項１または請求項２に記載の映像合成装置。
【請求項４】
光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置の映像合成方法であって、
前記既知映像と合成する入力映像が入力される映像入力ステップと、
入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択ステップと、
選択した被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定ステップと、
前記被写体が球面であると判定した複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出ステップと、
前記既知映像を、前記光源位置算出ステップにおいて算出された光源位置に基づいて補正する光源位置調整ステップと、
光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成ステップと、
を備えたことを特徴とする映像合成方法。
【請求項５】
前記光源位置算出ステップと前記光源位置調整ステップとの間に、
前記光源位置算出ステップにおいて算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正ステップ
を備えたことを特徴とする請求項４に記載の映像合成方法。
【請求項６】
前記球面領域判定ステップと前記光源位置算出ステップとの間に、
前記球面領域判定ステップにおいて得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価ステップ
を備えたことを特徴とする請求項４または請求項５に記載の映像合成方法。
【請求項７】
光源位置が予め対応付けられた既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置のコンピュータに、請求項４から６のいずれか１項に記載の映像合成方法を実行させる映像合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９０８２（Ｐ２０１３−９０８２Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９３５０（Ｐ２０１１−１３９３５０）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
[ Back to top ]