自由視点映像生成装置
【課題】奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できる自由視点映像生成装置を提供することにある。
【解決手段】従来技術では、背景バッファ１に記録される背景の映像は、背景は平面であることを仮定しているため、背景バッファ１に記録される背景の映像と実際の奥行が連続的に変化している背景の画像２とにはずれが生じた。本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、背景バッファ３に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ３に格納された背景と実際の背景２との間の位置のずれを減少させた。因みに、該背景バッファ３を従来の平面背景バッファに対して、曲面背景バッファと名付ける。
【解決手段】従来技術では、背景バッファ１に記録される背景の映像は、背景は平面であることを仮定しているため、背景バッファ１に記録される背景の映像と実際の奥行が連続的に変化している背景の画像２とにはずれが生じた。本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、背景バッファ３に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ３に格納された背景と実際の背景２との間の位置のずれを減少させた。因みに、該背景バッファ３を従来の平面背景バッファに対して、曲面背景バッファと名付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像とその奥行画像のみから任意の視点から見た映像を生成する自由視点映像生成装置に関する。
【背景技術】
【０００２】
従来、２次元画像とそれに対応する奥行データとから、任意の仮想視点から見た画像を生成する自由視点映像生成装置に関しては、動的に更新される背景バッファを用いる下記の非特許文献１，２に開示されているものがある。
【０００３】
これらの文献１，２に開示されている方法は、２次元動画像と対応するフレーム毎の奥行データからフレーム毎に背景を切り出し、その背景をバッファに蓄えていく、つまり動画像であることを利用し、当該フレームだけでなく過去のフレームにある情報を全て使って背景の画像を動的に更新していくものである。
【０００４】
これにより、当該フレームでは新視点から見て前景の陰に隠れている背景部（隠蔽領域）であっても、その動的更新背景バッファから画像を持ってくることによって、隠蔽領域のより少ない任意視点映像が生成できることになる。
【非特許文献１】松村篤志，内藤整，川田亮一，小池淳，松本修一“任意視点動画像の高圧縮伝送を目的とした隠蔽領域補完方式の提案”電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68
【非特許文献２】松村篤志，内藤整，川田亮一，小池淳，松本修一“複数枚の背景バッファを用いた自由視点動画像に対する高精度な補完方式”映像情報メディア学会冬季大会 No.8-8, Dec. 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の従来技術では、図１(a)に示すように、前記背景バッファ１に記録される背景の映像は、背景は平面であることを仮定している。そのため、背景バッファ１に記録される背景の映像と実際の奥行が連続的に変化している背景の画像２とにはずれが生じ、例えば人物の陰に隠れた地面などの奥行が連続的に変化している部分の隠蔽領域についてはうまく補完することができず、新視点映像にずれが生じてしまうという課題があった。
【０００６】
本発明の目的は、前記した従来技術の課題を解消し、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できる自由視点映像生成装置を提供することにある。
【０００７】
また、他の目的は、背景が激しく動いた場合にも正確な奥行値を求めて、任意視点からの画像を高精度に生成できる自由視点映像生成装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記の目的を達成するために、本発明は、２次元画像とその奥行画像を用いて、任意の視点から見た画像を生成する自由視点映像生成装置において、背景バッファを具備し、該背景バッファに前記２次元画像の背景画像とその奥行値を記録するようにした点に特徴がある。また、該背景バッファを、曲面単層背景バッファと曲面多層背景バッファとから構成した点に他の特徴がある。
また、前記奥行値を、奥行画像に射影変換して補正するようにした点に他の特徴がある。
【発明の効果】
【０００９】
本発明によれば、背景バッファに格納された背景と実際の背景との間の位置のずれを減少または零にさせることができるので、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できるようになる。
また、背景が激しく動いた場合でも、正確な奥行値を求めることができるようになる。
この結果、任意視点からの映像を高精度に生成することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、図１(b)に示されているように、背景バッファ３に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ３に格納された背景と実際の背景２との間の位置のずれを減少させるものである。なお、以降では、必要に応じて、この背景バッファ３を「曲面背景バッファ３」と呼ぶ。該曲面背景バッファ３は、従来の背景バッファ１が映像のみを記録する「平面背景バッファ」に対するものである。
【００１１】
次に、本発明の第１の実施形態を図２を参照して説明する。図２は、本発明の実施形態に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図である。この処理手順の各ステップはハードウエアあるいはソフトウエアで実現できる。
【００１２】
図２に示すように、本発明では、まず、参照画像と奥行マップから各フレームの仮の自由視点画像を生成する（Ｓ１）。同時に、参照画像と奥行マップから背景領域を抽出する（Ｓ２）。この背景領域の抽出では、曲面単層背景バッファおよび曲面多層背景バッファの両者に保存する背景画像とその奥行値とを背景領域として抽出する。
【００１３】
ここで、図３は前記参照画像の一例、図４は該参照画像の背景画像の奥行の概念図を示す。該奥行の概念図では、白黒の濃淡で奥行の大きさを示し、濃度が濃いほど奥行値が大きいことを示している。
【００１４】
次に、抽出された背景画像とその奥行値とを、曲面単層背景バッファおよび曲面多層背景バッファに保存する。ここに保存される背景画像とその奥行値は、後続のフレームごとに抽出した最新の背景画像とその奥行値で更新される。すなわち、背景画像とその奥行値は曲面単層背景バッファおよび曲面多層背景バッファに動的に生成・更新される（Ｓ３）。
【００１５】
ここで、図５は従来手法の平面背景バッファの概念図を示し、図６は本発明手法による曲面背景バッファの概念図を示す。図５には、奥行がない背景画像が示されているが、図６には奥行のある背景画像が示されている。
【００１６】
このように動的に生成・更新された背景画像とその奥行値を用いることにより、参照画像における前景領域で隠蔽されていた背景領域に対する画素をより完全に補完できる。なお、１フレーム分前の画像から抽出される背景画像とその奥行値あるいは数フレーム前以降の画像から抽出される背景画像とその奥行値により生成、更新される背景画像とその奥行値を用いてもある程度の画素補完は可能である。
【００１７】
再度、図２に戻ると、次に、前記Ｓ１で生成された仮の自由視点画像を曲面多層背景バッファに保存した背景画像とその奥行値で補完し（Ｓ４−１）、続いて、これにより補完されない画素を曲面単層背景バッファに保存した背景画像とその奥行値で補完する（Ｓ４−２）。以上の手順により曲面多層背景バッファを用いた補完方法および曲面単層背景バッファを用いた補完方法の各長所を取り入れた広範囲かつ高精度の補完を行うことができる。
【００１８】
以下に、上記処理手順の各ステップについて詳細に説明する。
１．仮の自由視点画像の生成（Ｓ１）
まず、参照画像Ｉを撮影した視点から自由視点への回転、および平行移動を３×３の行列Ｒ′、および１×３のベクトルｔ′として定義すると、参照画像Ｉにおける画素の位置（ｕ，ｖ，１）と自由視点画像Ａにおけるその画素に対応する画素（以下、対応点と称す。）の位置（ｕ″，ｖ″、１）との関係は、式(1)によって表される。ここで、ＤＩ（ｕ，ｖ）は参照画像Ｉにおける画素の位置（ｕ，ｖ）の奥行値を表し、（ｕ，ｖ，１）や（ｕ″，ｖ″、１）は３次元上での画素の位置を表す。なお、奥行値の単位は奥行マップの定義に従うものとする。
（ＤＩ（ｕ，ｖ）（ｕ，ｖ，１）Ｔ−ｔ′）×Ｒ′（ｕ″，ｖ″，１）Ｔ＝０ (1)
【００１９】
式(1)を（ｕ″，ｖ″，１）Ｔについて解くことにより、参照画像Ｉと自由視点画像Ａとの間の対応点を求めることができる。この対応関係で式(2)により描画を行い、仮の自由視点画像Ａを生成する。なお、式(2)において、Ａ（ｕ″，ｖ″）は自由視点画像Ａの位置（ｕ″，ｖ″）の画素値を表し、Ｉ（ｕ，ｖ）は参照画像Ｉの位置（ｕ，ｖ）の画素値を表す。
Ａ（ｕ″，ｖ″）＝Ｉ（ｕ，ｖ） (2)
【００２０】
２．背景領域の抽出（Ｓ２）
背景領域の抽出は、曲面多層背景バッファおよび単層背景バッファに保存する背景画像を抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、式(3)を用いて参照画像Ｉの奥行分布の統計をとる。式(3)の右辺は、参照画像Ｉにおける奥行がｎＳ以上、（ｎ＋１）Ｓ未満である画素の個数を意味し、Ｓは統計をとる際のステップ幅を表す。また、ｎは整数である。
【００２１】
【数１】
【００２２】
次に、式(3)で求められたＶ(n)をガウスフィルタで平滑化し、Ｖ′（ｎ）を算出する。ここで、Ｖ′（ｎ）が極小値をとる際の奥行を分割指標（Ｓの整数倍数とする。）として定義し、値が小さい順に分割指標ｍｉｎ１，ｍｉｎ２，・・・，ｍｉｎＭを生成する。最後に、式(4)に従って参照画像Ｉを複数の画像Ｉｍ（ｍ＝０，１，・・・，Ｍ）に分割する。なお、式(4)において、nullは画素が存在しないことを表す。また、ｍｉｎ０＝−∞、ｍｉｎＭ＋１＝∞とする。この複数の画像Ｉｍ（ｍ＝１，・・・，Ｍ）は、後述する多層背景バッファ内の背景画像の生成・更新のために使用される。
【００２３】
【数２】
【００２４】
さらに、式(5)で生成される画像Ｉａｌｌを定義する。画像Ｉａｌｌは、曲面単層背景バッファ内の背景画像の生成・更新のために使用される。
【００２５】
【数３】
【００２６】
３．曲面背景バッファの生成・更新（Ｓ３）
ここでは、背景領域の抽出（Ｓ２）で抽出された画像Ｉｍ（ｍ＝１，・・・，Ｍ，all）を曲面背景バッファ（曲面多層背景バッファおよび曲面単層背景バッファ）に保存し、それをフレームごとに更新する。画像Ｉｍ（ｍ＝１，・・・，Ｍ，all）のそれぞれに背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）が対応するとする。なお、画像Ｉ０は前景画像であるため、それに対応する背景バッファＵ０は存在しない。
【００２７】
先頭フレームでは、画像Ｉｍを背景バッファＵｍにそのまま保存する。続く他のフレームでは、画像Ｉｍと背景バッファＵｍに保存された画像の合成を以下の手順で行う。
【００２８】
まず、画像Ｉｍと背景バッファＵｍに保存された曲面背景画像から８点以上の対応点を探索し、それらの対応点を用いて式(6)を満たす射影変換行列Ｂｍを算出する。ただし、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）と背景バッファＵｍに保存されている画像内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）は対応点であるとする。
（ｕＩｍ ，ｖＩｍ ，１）Ｔ×Ｂｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）Ｔ＝０ ・・・(6)
【００２９】
その後、式(6)によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式(7)に代入することにより、背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）に保存した曲面背景画像を更新する。
【００３０】
【数４】
【００３１】
また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）とおき、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおくと、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。
【００３２】
【数５】
【００３３】
４．出力画像の生成（Ｓ４，Ｓ５）
仮の自由視点画像Ａを背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）に保存された背景画像およびその奥行値を用いて補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。
【００３４】
まず、曲面多層背景バッファを用いた補完を行うために、ｍ＝１，・・・，Ｍとして、曲面背景画像Ｕｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）の点に対応する仮の自由視点画像Ａの座標（ｕ″，ｖ″)の点式（９）により算出する。
（ＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）Ｔ−ｔ）×Ｒ（ｕ ″，ｖ″，１)Ｔ＝０ ・・・(9)
ただし、行列Ｒは視点の回転移動を定義し、ベクトルｔは視点の平行移動を定義する。
【００３５】
次に、（９）式によって求められる（ｕ″，ｖ″)と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（１０）に代入することにより、自由視点画像Ａに対する補完を行う。
【００３６】
【数６】
【００３７】
さらに、曲面単層背景バッファを用いた補完を行うために、ｍ＝allとして、上記と同様に、対応点を算出し、この対応点を用いて自由視点画像Ａに対する補完を行う。なお、曲面単層背景バッファを用いた補完は、Ａ（ｕ″，ｖ″）＝nullの画素、すなわち、曲面多層背景バッファを用いた補完では補完されずに残っている画素に対して行われる。以上によって得られる画像を出力画像として出力する。
【００３８】
図７(a)、(b)および(c)の各々に、背景画像を補完しなかった場合（従来）、平面背景バッファで補完した場合（従来）および曲面背景バッファで補完した場合（本発明）の任意視点映像の具体例を示す。図７(a)では隠蔽領域が残り、同図(b)では背景画像の一部が下の方にずれているのに対して、同図(c)では該下方向にずれていた背景画像が他部の背景画像とほぼ整合していることが分かる。すなわち、本発明によれば、奥行が連続的に変化している部分の隠蔽領域についても高精度に任意の視点映像を生成することができる。
【００３９】
次に、本発明の第２の実施形態を以下に説明する。この実施形態は、例えばカメラの位置が急激に動いた場合、換言すれば背景が激しく動いた場合でも、正確な奥行値を求めることができるようにするものである。
【００４０】
この課題を達成するために、本実施形態では、前記第１の実施形態における奥行値を奥行画像に射影変換して補正することにより、正確な奥行値を求めるようにした。
【００４１】
具体的には、前記式（７）の後の文「また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）とおき、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおくと、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」を、次の文に置き換える処理をする。これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。
【００４２】
すなわち、「また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおき、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を求め、式（７）’を使って奥行値ＤＩＭ（ｕＩｍ ，ｖＩｍ）を算出する。
ＤＩＭ（ｕＩｍ ，ｖＩｍ）（ｕＩｍ ，ｖＩｍ ，１）Ｔ
＝ＢｍＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）・・・（７）’
【００４３】
このＤＩＭ（ｕＩｍ ，ｖＩｍ）を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」。なお、これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。
【００４４】
この第２実施形態は、カメラ位置を、図８の左側のカメラ位置から右側のカメラ位置に急激に移動すると、実際の奥行値（背景バッファの奥行値）と奥行き画像の奥行値とが一致しなくなるのを補正して、一致するようにするものである。すなわち、実際の奥行値が奥行き基準面に対する奥行値と等しくなるように、該実際の奥行値を補正する。
【００４５】
以上、実施形態を説明したが、本発明は種々の形態で実施できる。例えば、送信側から参照画像と奥行マップを送信し、送信された参照画像と奥行マップを用いて受信側で自由視点画像を生成することができ、本発明は、放送受信機、映像受信機としての携帯端末などに適用できる。
【図面の簡単な説明】
【００４６】
【図１】従来の背景バッファと本発明による曲面背景バッファの概念図である。
【図２】本発明の第１の実施形態の自由視点画像の隠蔽領域補完方式の処理手順を示すフロー図である。
【図３】参照画像の一具体例を示す図である。
【図４】図３に対応する奥行画像の概念図である。
【図５】従来手法による背景バッファの一具体例を示す図である。
【図６】本発明手法による曲面背景バッファの一具体例を示す図である。
【図７】背景画像を補完しなかった場合（a）、平面背景バッファで補完した場合（b）および曲面背景バッファで補完した場合（c）の任意視点映像の一具体例を示す図である。
【図８】本発明の第２の実施形態における奥行値の補正の説明図である。
【符号の説明】
【００４７】
Ｓ１・・・仮の自由視点画像の生成、Ｓ２・・・背景領域の抽出、Ｓ３・・・曲面背景バッファの生成・更新、Ｓ４−１・・・仮の自由視点画像の補完、Ｓ４−２・・・仮の出力画像の補完。
【技術分野】
【０００１】
本発明は、２次元画像とその奥行画像のみから任意の視点から見た映像を生成する自由視点映像生成装置に関する。
【背景技術】
【０００２】
従来、２次元画像とそれに対応する奥行データとから、任意の仮想視点から見た画像を生成する自由視点映像生成装置に関しては、動的に更新される背景バッファを用いる下記の非特許文献１，２に開示されているものがある。
【０００３】
これらの文献１，２に開示されている方法は、２次元動画像と対応するフレーム毎の奥行データからフレーム毎に背景を切り出し、その背景をバッファに蓄えていく、つまり動画像であることを利用し、当該フレームだけでなく過去のフレームにある情報を全て使って背景の画像を動的に更新していくものである。
【０００４】
これにより、当該フレームでは新視点から見て前景の陰に隠れている背景部（隠蔽領域）であっても、その動的更新背景バッファから画像を持ってくることによって、隠蔽領域のより少ない任意視点映像が生成できることになる。
【非特許文献１】松村篤志，内藤整，川田亮一，小池淳，松本修一“任意視点動画像の高圧縮伝送を目的とした隠蔽領域補完方式の提案”電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68
【非特許文献２】松村篤志，内藤整，川田亮一，小池淳，松本修一“複数枚の背景バッファを用いた自由視点動画像に対する高精度な補完方式”映像情報メディア学会冬季大会 No.8-8, Dec. 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の従来技術では、図１(a)に示すように、前記背景バッファ１に記録される背景の映像は、背景は平面であることを仮定している。そのため、背景バッファ１に記録される背景の映像と実際の奥行が連続的に変化している背景の画像２とにはずれが生じ、例えば人物の陰に隠れた地面などの奥行が連続的に変化している部分の隠蔽領域についてはうまく補完することができず、新視点映像にずれが生じてしまうという課題があった。
【０００６】
本発明の目的は、前記した従来技術の課題を解消し、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できる自由視点映像生成装置を提供することにある。
【０００７】
また、他の目的は、背景が激しく動いた場合にも正確な奥行値を求めて、任意視点からの画像を高精度に生成できる自由視点映像生成装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記の目的を達成するために、本発明は、２次元画像とその奥行画像を用いて、任意の視点から見た画像を生成する自由視点映像生成装置において、背景バッファを具備し、該背景バッファに前記２次元画像の背景画像とその奥行値を記録するようにした点に特徴がある。また、該背景バッファを、曲面単層背景バッファと曲面多層背景バッファとから構成した点に他の特徴がある。
また、前記奥行値を、奥行画像に射影変換して補正するようにした点に他の特徴がある。
【発明の効果】
【０００９】
本発明によれば、背景バッファに格納された背景と実際の背景との間の位置のずれを減少または零にさせることができるので、奥行が連続的に変化している部分の隠蔽領域の画像についても高精度に生成できるようになる。
また、背景が激しく動いた場合でも、正確な奥行値を求めることができるようになる。
この結果、任意視点からの映像を高精度に生成することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の原理を説明する。
本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、図１(b)に示されているように、背景バッファ３に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ３に格納された背景と実際の背景２との間の位置のずれを減少させるものである。なお、以降では、必要に応じて、この背景バッファ３を「曲面背景バッファ３」と呼ぶ。該曲面背景バッファ３は、従来の背景バッファ１が映像のみを記録する「平面背景バッファ」に対するものである。
【００１１】
次に、本発明の第１の実施形態を図２を参照して説明する。図２は、本発明の実施形態に係る自由視点画像の隠蔽領域補完方式における処理手順を示すフロー図である。この処理手順の各ステップはハードウエアあるいはソフトウエアで実現できる。
【００１２】
図２に示すように、本発明では、まず、参照画像と奥行マップから各フレームの仮の自由視点画像を生成する（Ｓ１）。同時に、参照画像と奥行マップから背景領域を抽出する（Ｓ２）。この背景領域の抽出では、曲面単層背景バッファおよび曲面多層背景バッファの両者に保存する背景画像とその奥行値とを背景領域として抽出する。
【００１３】
ここで、図３は前記参照画像の一例、図４は該参照画像の背景画像の奥行の概念図を示す。該奥行の概念図では、白黒の濃淡で奥行の大きさを示し、濃度が濃いほど奥行値が大きいことを示している。
【００１４】
次に、抽出された背景画像とその奥行値とを、曲面単層背景バッファおよび曲面多層背景バッファに保存する。ここに保存される背景画像とその奥行値は、後続のフレームごとに抽出した最新の背景画像とその奥行値で更新される。すなわち、背景画像とその奥行値は曲面単層背景バッファおよび曲面多層背景バッファに動的に生成・更新される（Ｓ３）。
【００１５】
ここで、図５は従来手法の平面背景バッファの概念図を示し、図６は本発明手法による曲面背景バッファの概念図を示す。図５には、奥行がない背景画像が示されているが、図６には奥行のある背景画像が示されている。
【００１６】
このように動的に生成・更新された背景画像とその奥行値を用いることにより、参照画像における前景領域で隠蔽されていた背景領域に対する画素をより完全に補完できる。なお、１フレーム分前の画像から抽出される背景画像とその奥行値あるいは数フレーム前以降の画像から抽出される背景画像とその奥行値により生成、更新される背景画像とその奥行値を用いてもある程度の画素補完は可能である。
【００１７】
再度、図２に戻ると、次に、前記Ｓ１で生成された仮の自由視点画像を曲面多層背景バッファに保存した背景画像とその奥行値で補完し（Ｓ４−１）、続いて、これにより補完されない画素を曲面単層背景バッファに保存した背景画像とその奥行値で補完する（Ｓ４−２）。以上の手順により曲面多層背景バッファを用いた補完方法および曲面単層背景バッファを用いた補完方法の各長所を取り入れた広範囲かつ高精度の補完を行うことができる。
【００１８】
以下に、上記処理手順の各ステップについて詳細に説明する。
１．仮の自由視点画像の生成（Ｓ１）
まず、参照画像Ｉを撮影した視点から自由視点への回転、および平行移動を３×３の行列Ｒ′、および１×３のベクトルｔ′として定義すると、参照画像Ｉにおける画素の位置（ｕ，ｖ，１）と自由視点画像Ａにおけるその画素に対応する画素（以下、対応点と称す。）の位置（ｕ″，ｖ″、１）との関係は、式(1)によって表される。ここで、ＤＩ（ｕ，ｖ）は参照画像Ｉにおける画素の位置（ｕ，ｖ）の奥行値を表し、（ｕ，ｖ，１）や（ｕ″，ｖ″、１）は３次元上での画素の位置を表す。なお、奥行値の単位は奥行マップの定義に従うものとする。
（ＤＩ（ｕ，ｖ）（ｕ，ｖ，１）Ｔ−ｔ′）×Ｒ′（ｕ″，ｖ″，１）Ｔ＝０ (1)
【００１９】
式(1)を（ｕ″，ｖ″，１）Ｔについて解くことにより、参照画像Ｉと自由視点画像Ａとの間の対応点を求めることができる。この対応関係で式(2)により描画を行い、仮の自由視点画像Ａを生成する。なお、式(2)において、Ａ（ｕ″，ｖ″）は自由視点画像Ａの位置（ｕ″，ｖ″）の画素値を表し、Ｉ（ｕ，ｖ）は参照画像Ｉの位置（ｕ，ｖ）の画素値を表す。
Ａ（ｕ″，ｖ″）＝Ｉ（ｕ，ｖ） (2)
【００２０】
２．背景領域の抽出（Ｓ２）
背景領域の抽出は、曲面多層背景バッファおよび単層背景バッファに保存する背景画像を抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、式(3)を用いて参照画像Ｉの奥行分布の統計をとる。式(3)の右辺は、参照画像Ｉにおける奥行がｎＳ以上、（ｎ＋１）Ｓ未満である画素の個数を意味し、Ｓは統計をとる際のステップ幅を表す。また、ｎは整数である。
【００２１】
【数１】
【００２２】
次に、式(3)で求められたＶ(n)をガウスフィルタで平滑化し、Ｖ′（ｎ）を算出する。ここで、Ｖ′（ｎ）が極小値をとる際の奥行を分割指標（Ｓの整数倍数とする。）として定義し、値が小さい順に分割指標ｍｉｎ１，ｍｉｎ２，・・・，ｍｉｎＭを生成する。最後に、式(4)に従って参照画像Ｉを複数の画像Ｉｍ（ｍ＝０，１，・・・，Ｍ）に分割する。なお、式(4)において、nullは画素が存在しないことを表す。また、ｍｉｎ０＝−∞、ｍｉｎＭ＋１＝∞とする。この複数の画像Ｉｍ（ｍ＝１，・・・，Ｍ）は、後述する多層背景バッファ内の背景画像の生成・更新のために使用される。
【００２３】
【数２】
【００２４】
さらに、式(5)で生成される画像Ｉａｌｌを定義する。画像Ｉａｌｌは、曲面単層背景バッファ内の背景画像の生成・更新のために使用される。
【００２５】
【数３】
【００２６】
３．曲面背景バッファの生成・更新（Ｓ３）
ここでは、背景領域の抽出（Ｓ２）で抽出された画像Ｉｍ（ｍ＝１，・・・，Ｍ，all）を曲面背景バッファ（曲面多層背景バッファおよび曲面単層背景バッファ）に保存し、それをフレームごとに更新する。画像Ｉｍ（ｍ＝１，・・・，Ｍ，all）のそれぞれに背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）が対応するとする。なお、画像Ｉ０は前景画像であるため、それに対応する背景バッファＵ０は存在しない。
【００２７】
先頭フレームでは、画像Ｉｍを背景バッファＵｍにそのまま保存する。続く他のフレームでは、画像Ｉｍと背景バッファＵｍに保存された画像の合成を以下の手順で行う。
【００２８】
まず、画像Ｉｍと背景バッファＵｍに保存された曲面背景画像から８点以上の対応点を探索し、それらの対応点を用いて式(6)を満たす射影変換行列Ｂｍを算出する。ただし、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）と背景バッファＵｍに保存されている画像内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）は対応点であるとする。
（ｕＩｍ ，ｖＩｍ ，１）Ｔ×Ｂｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）Ｔ＝０ ・・・(6)
【００２９】
その後、式(6)によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式(7)に代入することにより、背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）に保存した曲面背景画像を更新する。
【００３０】
【数４】
【００３１】
また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）とおき、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおくと、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。
【００３２】
【数５】
【００３３】
４．出力画像の生成（Ｓ４，Ｓ５）
仮の自由視点画像Ａを背景バッファＵｍ（ｍ＝１，・・・，Ｍ，all）に保存された背景画像およびその奥行値を用いて補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。
【００３４】
まず、曲面多層背景バッファを用いた補完を行うために、ｍ＝１，・・・，Ｍとして、曲面背景画像Ｕｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）の点に対応する仮の自由視点画像Ａの座標（ｕ″，ｖ″)の点式（９）により算出する。
（ＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）Ｔ−ｔ）×Ｒ（ｕ ″，ｖ″，１)Ｔ＝０ ・・・(9)
ただし、行列Ｒは視点の回転移動を定義し、ベクトルｔは視点の平行移動を定義する。
【００３５】
次に、（９）式によって求められる（ｕ″，ｖ″)と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（１０）に代入することにより、自由視点画像Ａに対する補完を行う。
【００３６】
【数６】
【００３７】
さらに、曲面単層背景バッファを用いた補完を行うために、ｍ＝allとして、上記と同様に、対応点を算出し、この対応点を用いて自由視点画像Ａに対する補完を行う。なお、曲面単層背景バッファを用いた補完は、Ａ（ｕ″，ｖ″）＝nullの画素、すなわち、曲面多層背景バッファを用いた補完では補完されずに残っている画素に対して行われる。以上によって得られる画像を出力画像として出力する。
【００３８】
図７(a)、(b)および(c)の各々に、背景画像を補完しなかった場合（従来）、平面背景バッファで補完した場合（従来）および曲面背景バッファで補完した場合（本発明）の任意視点映像の具体例を示す。図７(a)では隠蔽領域が残り、同図(b)では背景画像の一部が下の方にずれているのに対して、同図(c)では該下方向にずれていた背景画像が他部の背景画像とほぼ整合していることが分かる。すなわち、本発明によれば、奥行が連続的に変化している部分の隠蔽領域についても高精度に任意の視点映像を生成することができる。
【００３９】
次に、本発明の第２の実施形態を以下に説明する。この実施形態は、例えばカメラの位置が急激に動いた場合、換言すれば背景が激しく動いた場合でも、正確な奥行値を求めることができるようにするものである。
【００４０】
この課題を達成するために、本実施形態では、前記第１の実施形態における奥行値を奥行画像に射影変換して補正することにより、正確な奥行値を求めるようにした。
【００４１】
具体的には、前記式（７）の後の文「また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）とおき、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおくと、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」を、次の文に置き換える処理をする。これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。
【００４２】
すなわち、「また、画像Ｉｍ内の座標（ｕＩｍ ，ｖＩｍ）における奥行値をＤＩｍ（ｕＩｍ ，ｖＩｍ）、背景バッファＵｍ内の座標（ｕ′Ｕｍ ，ｖ′Ｕｍ）における奥行値をＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）とおき、式（６）によって求められる（ｕＩｍ ，ｖＩｍ）と（ｕ′Ｕｍ ，ｖ′Ｕｍ）の対応を求め、式（７）’を使って奥行値ＤＩＭ（ｕＩｍ ，ｖＩｍ）を算出する。
ＤＩＭ（ｕＩｍ ，ｖＩｍ）（ｕＩｍ ，ｖＩｍ ，１）Ｔ
＝ＢｍＤＵｍ（ｕ′Ｕｍ ，ｖ′Ｕｍ）（ｕ′Ｕｍ ，ｖ′Ｕｍ ，１）・・・（７）’
【００４３】
このＤＩＭ（ｕＩｍ ，ｖＩｍ）を式（８）に代入することにより、背景バッファＵｍにおける奥行値ＤＵｍ（ｍ＝１，・・・，Ｍ，all）の値を更新する。」。なお、これ以外の処理は第１の実施形態における処理と同じであるので、説明を省略する。
【００４４】
この第２実施形態は、カメラ位置を、図８の左側のカメラ位置から右側のカメラ位置に急激に移動すると、実際の奥行値（背景バッファの奥行値）と奥行き画像の奥行値とが一致しなくなるのを補正して、一致するようにするものである。すなわち、実際の奥行値が奥行き基準面に対する奥行値と等しくなるように、該実際の奥行値を補正する。
【００４５】
以上、実施形態を説明したが、本発明は種々の形態で実施できる。例えば、送信側から参照画像と奥行マップを送信し、送信された参照画像と奥行マップを用いて受信側で自由視点画像を生成することができ、本発明は、放送受信機、映像受信機としての携帯端末などに適用できる。
【図面の簡単な説明】
【００４６】
【図１】従来の背景バッファと本発明による曲面背景バッファの概念図である。
【図２】本発明の第１の実施形態の自由視点画像の隠蔽領域補完方式の処理手順を示すフロー図である。
【図３】参照画像の一具体例を示す図である。
【図４】図３に対応する奥行画像の概念図である。
【図５】従来手法による背景バッファの一具体例を示す図である。
【図６】本発明手法による曲面背景バッファの一具体例を示す図である。
【図７】背景画像を補完しなかった場合（a）、平面背景バッファで補完した場合（b）および曲面背景バッファで補完した場合（c）の任意視点映像の一具体例を示す図である。
【図８】本発明の第２の実施形態における奥行値の補正の説明図である。
【符号の説明】
【００４７】
Ｓ１・・・仮の自由視点画像の生成、Ｓ２・・・背景領域の抽出、Ｓ３・・・曲面背景バッファの生成・更新、Ｓ４−１・・・仮の自由視点画像の補完、Ｓ４−２・・・仮の出力画像の補完。
【特許請求の範囲】
【請求項１】
２次元画像とその奥行画像を用いて、任意の視点から見た画像を生成する自由視点映像生成装置において、
背景バッファを具備し、
該背景バッファに前記２次元画像の背景画像とその奥行値を記録するようにしたことを特徴とする自由視点映像生成装置。
【請求項２】
請求項１に記載の自由視点映像生成装置において、
前記背景バッファは曲面単層背景バッファと曲面多層背景バッファとからなることを特徴とする自由視点映像生成装置。
【請求項３】
請求項１または２に記載の自由視点映像生成装置において、
前記奥行値を、奥行画像に射影変換して補正するようにしたことを特徴とする自由視点映像生成装置。
【請求項１】
２次元画像とその奥行画像を用いて、任意の視点から見た画像を生成する自由視点映像生成装置において、
背景バッファを具備し、
該背景バッファに前記２次元画像の背景画像とその奥行値を記録するようにしたことを特徴とする自由視点映像生成装置。
【請求項２】
請求項１に記載の自由視点映像生成装置において、
前記背景バッファは曲面単層背景バッファと曲面多層背景バッファとからなることを特徴とする自由視点映像生成装置。
【請求項３】
請求項１または２に記載の自由視点映像生成装置において、
前記奥行値を、奥行画像に射影変換して補正するようにしたことを特徴とする自由視点映像生成装置。
【図１】
【図２】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図８】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−１４６８４６（Ｐ２００６−１４６８４６Ａ）
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願番号】特願２００４−３４９７０３（Ｐ２００４−３４９７０３）
【出願日】平成１６年１２月２日（２００４．１２．２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成１８年６月８日（２００６．６．８）
【国際特許分類】
【出願日】平成１６年１２月２日（２００４．１２．２）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]