視差画像生成装置、及びその方法
【課題】 複数の手法によって求められた画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現する視差画像の生成
【解決手段】 第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、複数の方法に基づいて、前記方法毎に3次元空間における再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部と、を備えることを特徴とする視差画像生成装置。
【解決手段】 第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、複数の方法に基づいて、前記方法毎に3次元空間における再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部と、を備えることを特徴とする視差画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、視差画像生成装置、及びその方法に関する。
【背景技術】
【０００２】
2次元画像（静止画像、動画像を含む）を元に画面内の奥行き情報を推定し、推定された奥行き情報に従って視差画像を生成する技術がある。
【０００３】
画像の高域成分に応じて複数の画面全体の奥行きを表したモデルをブレンドし、ブレンドされた奥行きモデルに画像の色信号の１つである赤信号を加算して最終的な奥行きを求める方法が開示されている（例えば、特許文献１）。また、３つの方法で画面全体の奥行きを推定し、推定された３つの奥行きを重み付き平均して最終的な奥行きを求める方法が開示されている（例えば、非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-151534号
【非特許文献】
【０００５】
【非特許文献１】C.-C. Cheng, C.-T. Li, Y.-M. Tsai and L.-G. Chen, "A Quality-Scalable Depth-Aware Video Processing System", SID2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の手法によって求められた画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現する視差画像の生成を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の一態様に係る視差画像生成装置は、第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、複数の方法に基づいて、前記方法毎に3次元空間における再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部とを備える。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の視差画像生成装置を示す図。
【図２】第１の実施形態の視差画像生成装置の動作を示す図。
【図３】（ａ）分布情報の奥行きモデルの例を示す図（ｂ）凹凸情報の奥行きモデルの例を示す図。
【図４】奥行き情報から視差ベクトルを算出する方法を説明する図。
【図５】視差ベクトルから、視差画像を生成する方法を説明する図である。
【図６】奥行き情報の例を示す図。
【図７】第１奥行き情報および第２奥行き情報の例を示す図。
【図８】第３奥行き情報の例を示す図。
【図９】奥行き情報から視差への変換モデルの例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の各実施形態について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
（第１の実施形態）
本実施形態は、2次元画像（静止画像、動画像を含む）である第１画像から、相互に視差のある少なくとも１枚の視差画像を生成する装置に関する。なお、以下の実施形態では、視差画像を２枚生成する方法について例示するが、これに限られるものではない。例えば、裸眼で立体視を等の用途の場合には、視点数に対応する数の視差画像を生成しても構わない。
【００１１】
図１（ａ）は、本実施形態の視差画像生成装置を示す図である。視差画像生成装置は、第１奥行き算出部１００と、第２奥行き算出部２００と、合成部３００、生成部４００とを備える。
第１奥行き算出部１０１は、Ｎ（Ｎ≧２）個以上の推定部１０１（１）〜１０１（Ｎ）と、合成部１０３とを備える。
推定部１０１（１）〜１０１（Ｎ）は、それぞれに異なる方法で、推定部１０１（１）〜１０１（Ｎ）毎に3次元空間における再現範囲における第１画像内の奥行きの分布を示す分布情報を推定する。
合成部１０３は、推定部１０１（１）〜１０１（Ｎ）が推定した複数の分布情報を合成して第１奥行き情報を求める。
第２奥行き算出部２００は、第１画像内のオブジェクト領域内での相対的な凹凸を示す第２奥行き情報を求める。オブジェクト領域とは、第１画面内でオブジェクトが存在する領域を示す。
【００１２】
分布情報は、画面全体での奥行き再現範囲内での絶対的な奥行きを示すのに対して、凹凸情報はオブジェクト内での相対的な奥行きの関係を示すものである。つまり、分布情報が再現する奥行きの範囲は、再現範囲内であればいずれでもいいのに対し、凹凸情報が再現する奥行きの範囲は再現範囲に比べ狭い範囲となる。
【００１３】
合成部３００は、第１奥行き情報と、第２奥行き情報とを合成して第３奥行き情報を求める。なお、合成部３００は、合成部１０３とは異なる方法で奥行きを合成する。詳細については後述する。
生成部４００は、第３奥行き情報と、第１画像とに基づいて、視差画像を生成する。奥行きから視差画像を生成する手法は既存の如何なる手法であっても構わない。
【００１４】
図１（ｂ）は、本実施形態の視差画像生成装置の変形例を示す図である。第２奥行き算出部２００が、第２奥行き算出部２０１は、Ｍ（Ｍ≧２）個以上の推定部２０１（１）〜２０１（Ｍ）と、合成部２０３とを備える点が、図１（ａ）の例とは異なる。
推定部２０１（ｍ）は、第１画像内の、対象とするオブジェクトを検出し、検出されたオブジェクト毎に検出されたオブジェクトの種類に応じた凹凸情報を推定する（１≦ｍ≦Ｍ）。また、推定部２０１（１）〜２０１（Ｍ）は共通のオブジェクトをＭ種類の手法で検出し、検出されたオブジェクトの凹凸情報を同じ方法で推定するものであっても構わない。また、推定部２０１（１）〜２０１（Ｍ）は共通のオブジェクトを共通の手法で検出し、検出されたオブジェクトの凹凸情報をＭ種類の手法で推定するものであってもよい。
【００１５】
合成部２０３は、推定部２０１（１）〜２０１（Ｍ）が推定した複数の凹凸情報を合成する。
【００１６】
次に、本実施形態の視差画像生成装置の動作を説明するが、簡便のために図１（ｂ）の例について述べる。
図２は、本実施形態の視差画像生成装置の動作を示す図である。以下の各ステップで生成する視差画像によって再現する3次元空間における奥行きの再現範囲を０≦ｚ≦Ｚとする。ここでｚは奥行き情報を表す。ｚ＝０が再現範囲内で最も手前側（奥行きが小さい）を表し、ｚ＝Ｚが再現範囲内で最も奥側（奥行きが大きい）を表す。
【００１７】
推定部１０１（１）〜１０１（Ｎ）は、それぞれに異なる方法で、推定部１０１（１）〜１０１（Ｎ）毎に3次元空間における再現範囲における第１画像内の奥行きの分布を示す分布情報を推定する（Ｓ２１（１）〜（Ｎ））。なお、Ｓ２１（ｎ）では推定部１０１（ｎ）が分布情報を推定する（１≦ｎ≦Ｎ）。分布情報を推定する方法としては、あらかじめ定められた奥行きモデルを用意しておき、第１画像に応じてそれらを適宜用いる方法でもよい。
【００１８】
図３（ａ）は、分布情報の奥行きモデルの例を示す図である。ｘ軸、ｙ軸は画像内の位置を示す。また、白でハッチングされた領域は奥行きが奥側であることを示し、黒に近づく程に奥行きが手前側となっていることを示す。また、第１画像と、第１画像とは異なる時間に表示すべき第２の画像との間の動きを検出し、検出された動きに基づいて分布情報を推定する方法でもよい。また、特定の画素値パターンに応じて分布情報を推定する方法でも良い。Ｓ２１（ｎ）における分布情報の推定手法は、第１画像の画面全体での奥行きの分布情報を推定することが出来るものであればいずれの方法でもよい。ここでｎ番目（１≦ｎ≦Ｎ）のＳ２１（ｎ）によって推定された分布情報における、画素位置（ｘ，ｙ）での奥行きｚｎを以下のように定義する。なお、０≦ｚｎ（ｘ，ｙ）≦Ｚである。
合成部１０３は、推定部１０１（１）〜１０１（Ｎ）が推定した複数の分布情報を合成して第１奥行き情報を求める（Ｓ２２）。奥行き合成ステップでは、N個の奥行き情報を合成して、一つの第１奥行き情報を求める。コンピュータグラフィックスでは二つの奥行きを合成する場合には、カメラに近いものを選択して合成する。これは光線追跡の考え方に基づいたもので、目に入る光は最終的に遮蔽されなかったものである、という原理に基づいている。ここでも同様に手前側の奥行きを選択して合成する。奥行きの値が小さい程、手前側を表すため、次式のように最小値を選択することにより第１奥行き情報を求める。
ｚｃ（ｘ，ｙ）＝ｍｉｎ｛ｚ１（ｘ，ｙ），・・・，ｚＮ（ｘ，ｙ）｝
ここでｚｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第１奥行き情報である。また、min{a,b,c…}、{a,b,c…}の中から最小値を選択する操作を意味する。また光線追跡的には好ましくはないが、N個の奥行き情報の平均によって、第１奥行き情報を求めても良い。
【００１９】
推定部２０１（１）〜（Ｍ）は、第１画像内の、対象とするオブジェクトを検出し、検出されたオブジェクト毎に検出されたオブジェクトの種類に応じた凹凸情報を推定する（Ｓ２３（１）〜Ｓ２３（Ｍ））。なお、Ｓ２３（ｍ）では推定部２０１（ｍ）が凹凸情報を推定する（１≦ｍ≦Ｍ）。推定部２０１は、第１画像内で検出対象のオブジェクトを検出する。検出されたオブジェクトの種類に応じてあらかじめ定めてあった相対的な凹凸モデルをオブジェクト領域内に割り当てることで第２奥行き情報を算出する。なお、本実施形態では第１画像中に存在する顔の位置と大きさを検出し、検出された位置にあらかじめ定めておいた相対的な奥行きモデルを割り当てる手法について例示する。こうすることによって、オブジェクトの領域に適切な凹凸を設定することができる。
【００２０】
図３（ｂ）は、顔及び胴のモデルの例を示す図である。ｘ軸、ｙ軸は画像内の位置を示す。また、白でハッチングされた領域は奥行きが奥側であることを示し、黒に近づく程に奥行きが手前側となっていることを示す。また顔だけでなく、のオブジェクトを検出してそれらに応じた奥行きモデルを割り当ててもよい。なお、検出するオブジェクトは顔によらず、例えば人物、動物、車等であっても構わない。本実施形態では、顔以外に車を検出する例について述べる。
【００２１】
ここでＳ２３（ｍ）によって推定された画素位置（ｘ，ｙ）における凹凸情報を以下のように定義する。−Ｚｒ≦ｒｍ（ｘ，ｙ）≦Ｚｒここでｒｍ（ｘ，ｙ）＝０が相対的な凹凸がない状態であり、−Ｚｒがオブジェクト領域内で相対的に手前側に凸な状態、Ｚｒが相対的に奥側に凹な状態とする。ここでＺｒは検出されたオブジェクトの大きさに基づいて決定することができる。例えば大きなオブジェクトほど相対的な奥行きも大きく見えるため、Ｚｒを大きくし、小さなオブジェクトはＺｒを小さくするなどである。またオブジェクトの位置における第１奥行き情報に基づいてＺｒを決定しても良い。第１奥行き情報が手前を示している場合にはＺｒを大きくし、第１奥行き情報が奥のものはＺｒを小さくする。
【００２２】
合成部２０３は、推定部２０１（１）〜２０１（Ｍ）が推定した複数の凹凸情報を合成して第２奥行き情報を求める（Ｓ２４）。コンピュータグラフィックスでは二つの奥行きを合成する場合には、カメラに近いものを選択して合成する。これは光線追跡の考え方に基づいたもので、目に入る光は最終的に遮蔽されなかったものである、という原理に基づいている。Ｓ２４でも、Ｓ２２と同様に手前側の奥行きを選択して合成する。奥行き情報は小さい値が手前側を表すため、以下のように最小値を選択することにより達成できる。ｒｃ（ｘ，ｙ）＝ｍｉｎ｛ｒ１（ｘ，ｙ），・・・，ｒＭ（ｘ，ｙ）｝ここでｒｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第２奥行き情報である。また光線追跡的には正しくはないが、M個の凹凸情報の平均を用いても良い。
【００２３】
また第１奥行き情報に基づいて凹凸情報の合成をしても良い。凹凸情報を与えているそれぞれのオブジェクトの重心位置における第１奥行き情報を重心奥行き情報とすると、オブジェクト間（例えば、人と車等）で重なり合いが発生している領域において、重心奥行き情報が最も手前になる凹凸情報を選択するようにしても良い。
【００２４】
合成部３００は、第１奥行き情報と、第２奥行き情報とを合成して第３奥行き情報を求める（Ｓ２４）。なお、合成部３００は、合成部１０３及び合成部２０３とは異なる方法で奥行きを合成する。
【００２５】
第１画像内の奥行きの絶対的な分布を示す第１奥行き情報に、オブジェクト領域内での相対的な凹凸を付加して奥行きを表現するために、第１奥行き情報と第２奥行き情報を加算することで第３奥行き情報を求める。
ｚｆ（ｘ，ｙ）＝ｚｃ（ｘ，ｙ）＋ｒｃ（ｘ，ｙ）
ここでｚｆ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第３奥行き情報である。また加算ではなく乗算でも構わない。ｚｆ（ｘ，ｙ）＝ｚｃ（ｘ，ｙ）・ｒｃ（ｘ，ｙ）
第１奥行き情報と第２奥行き情報を合成したことにより再現したい3次元空間における奥行きの再現範囲０≦ｚ≦Ｚを逸脱してしまうことがあり得る。そこで再現範囲内に収まるように第３奥行き情報を調節することが好ましい。
生成部４００は、第３奥行き情報と、第１画像とに基づいて、視差画像を生成する（Ｓ２５）。まずは第３奥行き情報から視差ベクトルを算出する。以下、視差画像の生成方法の一例について詳述する。
【００２６】
図４は、奥行き情報から視差ベクトルを算出する方法を説明する図である。右目・左目・物体を結ぶ三角形と、画面上での右視差・左視差・物体、二つの三角形の相似性を利用して、視差ベクトルが算出できる。ここでｚｆは最終的な奥行き情報、ｄ［ｃｍ］は視差ベクトルの大きさ、ｂ［ｃｍ］は眼間距離、ｚｓ［ｃｍ］は画面までの距離、ｚ０［ｃｍ］、実空間での奥行きの距離Ｌｚ［ｃｍ］を示す。
【００２７】
画素サイズから実空間［ｃｍ］への変換を以下に従い行う。
【００２８】
ｄpixel＝（画面解像度[pixel]／画面サイズ［ｃｍ］）・ｄ［ｃｍ］
奥行き情報ｚｆは０〜Ｚの範囲であり（０〜１でも良い）、０が手前、Ｚが奥を表しているとする。しかしこの値は、仮想的なものであり実際の距離に換算する必要がある。実空間での距離Ｌｚを用いて奥行き情報から実空間の距離へ変換する。奥行きから実空間へは、以下の変換式によって変換する。γ＝Ｌｚ／ｚｍａｘ［ｃｍ］ここでｚｍａｘ＝Ｚである。すると画面から対象物までの距離ｚ’は以下のようになる。ｚ’＝γｚｆ−ｚ０
三角形の相似性から以下の関係が成り立つ。
ｄ：ｂ＝（ｚ’）：（ｚｓ＋ｚ’） ・・・式（１）
ｄ（ｚｓ＋ｚ’）＝ｂｚ’ ・・・式（２）
ｚ＝｛（ｂ−ｄ）ｚ０＋ｄｚｓ｝／｛γ（ｂ−ｄ）｝ ・・・式（３）
上記奥行き変換モデルは視差ベクトルと反比例の関係にあるモデルだったが、例えば反比例の関係を部分的な比例関係で近似した関数のモデルでも良い。
【００２９】
立体視のパラメータｂ，ｚｓ，ｚ０，Ｌｚは、提供したい立体視に基づいて任意に決定できる。例えば、実際の画面の位置に従ってｚｓを決定し、飛び出しを大きくしたい場合にはｚ０を大きくする。また奥行きの深さはＬＺによって決定できる。
立体視のパラメータが決まれば、式（１）〜（３）を変形した以下の奥行き視差ベクトル変換モデルに従って、奥行き情報から視差ベクトルを算出できる。ｄの単位は［ｃｍ］
ｄ：ｂ＝（ｚ’）：（ｚｓ＋ｚ’）
ｄ＝ｂ｛ｚ’／（ｚｓ＋ｚ’）｝
図５は、算出された視差ベクトルから、視差画像を生成する方法を説明する図である。第１画像は左目・右目の中間の視点から得られたものだとすると、左視差画像と右視差画像は視差ベクトルｄに−１／２，１／２を乗じた視差ベクトルｄＬ，ｄＲから生成できる。
ｄＬ＝（−１／２）ｄ、 ｄＲ＝（１／２）ｄ
左視差画像は、第１画像の画素値Ｉｔ（ｘ，ｙ）をｄＬに従って移動させることにより生成できる。右視差画像は、第１画像の画素値Ｉｔ（ｘ，ｙ）をｄＲに従って移動させることにより生成できる。単純に移動しただけでは画素値が割り当てられていない領域（以下、穴と記載）が発生してしまう場合がある。そのため、穴には周辺の画素値を割り当てる等すればよい。ここでは２つ視差画像を生成する例について述べたが、多視差の場合も同様に処理すればよい。
【００３０】
次に、本実施形態の視差画像生成装置による、第３奥行き情報について詳細に説明する。
例えば、部屋の中に人が存在する画像が第１画像の場合を考える。その場合、例えば部屋の奥行きをモデルを当てはめる、動きベクトルを求める等して複数の分布情報を推定し、これらを合成し第１奥行き情報を取得する。また、第１画像内の人を検出して顔の凹凸情報（第２奥行き情報）を推定する。推定された第１奥行き情報と第２奥行き情報を合成する必要がある。しかし凹凸情報の再現範囲は、画面全体の奥行きの分布情報よりも大幅に狭い。従って、第１奥行き情報および第２奥行き情報を、第１奥行き情報及び／又は第２奥行き情報を求める際の合成方法と同様の手法で合成してしまうと、画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現することができない。
【００３１】
以下の図６〜図８の横軸は、画素位置を示し、縦軸は、奥行き情報を示す
図６は、奥行き情報の例を示す図である。図６（ａ）に奥行き情報のテストパターンを示す。なお、図６では0が最も奥側、10が最も手前側を示している。上述した奥行き情報とは奥側と手前側の大小関係が逆転している。分布情報１、分布情報２は、それぞれ推定部１０１（ｎ）が求めた分布情報の例を示す。凹凸情報１、凹凸情報２は、推定部２０１（ｍ）が求めた凹凸情報の例を示す。
【００３２】
図６（ｂ）は、図６（ａ）のテストパターンの分布情報１、分布情報２、凹凸情報１、凹凸情報２の平均を取ったものと、図６（ａ）のテストパターンのうち同位置で最大値を選択して合成したものを示す。平均を取った場合には分布情報が示す奥行きのダイナミックレンジが圧縮されてしまい、凹凸情報は全体に埋もれてしまっている。それに対して最大値を取った場合には、部屋全体の奥行きのダイナミックレンジは保持されるが、顔の奥行きは完全に埋もれてしまっている。これは、画面全体での絶対的な奥行きの分布情報と、オブジェクト内での相対的な奥行きの凹凸情報を一緒に合成したことが原因である。「絶対的」は、奥行き再現範囲０≦ｚ≦Ｚに対して絶対的な奥行きを意味する。「相対的」は、画面内での局所的なオブジェクト領域内での相対的な奥行きを意味する。相対的な奥行き情報の再現範囲は絶対的な奥行き情報の再現範囲とは異なる。そのため絶対的な奥行き情報と相対的な奥行き情報を同じ手法で合成しようとすると、相互の持っている値の意味が異なるために合成が失敗してしまう。
【００３３】
図７（ａ）は、図６（ａ）に奥行き情報のテストパターンから、分布情報１及び分布情報２を合成した第１奥行き情報を示す図である。図７（ｂ）は、凹凸情報１及び凹凸情報２から合成した第２奥行き情報の例を示す図である。合成方法は、第１奥行き情報および第２奥行き情報共に同位置で奥行きが最も手前側の奥行き情報を選択して合成したものを示す。
【００３４】
図８は、図７で示した第１奥行き情報および第２奥行き情報を合成した第３奥行き情報を示す。第３奥行き情報は、第１奥行き情報と第２奥行き情報とを加算して合成した。
第１奥行き情報および第２奥行き情報を求める際の合成方法と、第１奥行き情報と第２奥行き情報を合成する際の合成方法とで異なる方法を用いることで、複数の手法によって求められた画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現する視差画像の生成をすることが出来る。
【００３５】
（第２の実施形態）
図９は、本実施形態の視差画像生成装置を示す図である。本実施形態の視差画像生成装置は、図１（ｂ）の視差画像生成装置に対して、奥行き情報を調節する機能を備える点が異なる。
【００３６】
調整部１０２（ｎ）は、推定部１０１（ｎ）が推定した分布情報を調節する。例えば、推定部１０１（１）では０≦ｚ≦Ｚの範囲の分布情報を推定するが、推定部１０１（２）では１００≦ｚ≦Ｚの範囲の値を出力するといったように、出力される奥行き情報の範囲が異なる場合に、それらを調節して同じ範囲にする必要がある。そのため、調整部１０２（ｎ）は、例えば奥行き情報の一点（以下、固定点と記載）を固定して（例えばＺ）奥行き範囲の幅を広くしたり狭くしたり、といった調節をする。また、ある推定部１０１（ｎ）信頼性が低い場合には、奥行き範囲を奥側に狭める調節を行い、信頼性の低い奥行き情報の影響を少なくすることもできる。
【００３７】
調整部２０２（ｍ）は、推定部２０１（ｍ）が推定した第2奥行き情報を調節する。調整の仕方は、調整部１０２（ｎ）と同様の手法であって良い。奥行き情報調節ステップと同様に調節を行うことができる。なお、固定点を０にすることにより相対的な凹凸情報の特性を有効に活用することができる。
【符号の説明】
【００３８】
第１奥行き算出部１００、推定部１０１（ｎ）、調整部１０２（ｎ）、調整部２０２（ｍ）、第２奥行き算出部２００、統合部３００、生成部４００
【技術分野】
【０００１】
本開示は、視差画像生成装置、及びその方法に関する。
【背景技術】
【０００２】
2次元画像（静止画像、動画像を含む）を元に画面内の奥行き情報を推定し、推定された奥行き情報に従って視差画像を生成する技術がある。
【０００３】
画像の高域成分に応じて複数の画面全体の奥行きを表したモデルをブレンドし、ブレンドされた奥行きモデルに画像の色信号の１つである赤信号を加算して最終的な奥行きを求める方法が開示されている（例えば、特許文献１）。また、３つの方法で画面全体の奥行きを推定し、推定された３つの奥行きを重み付き平均して最終的な奥行きを求める方法が開示されている（例えば、非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-151534号
【非特許文献】
【０００５】
【非特許文献１】C.-C. Cheng, C.-T. Li, Y.-M. Tsai and L.-G. Chen, "A Quality-Scalable Depth-Aware Video Processing System", SID2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の手法によって求められた画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現する視差画像の生成を目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の一態様に係る視差画像生成装置は、第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、複数の方法に基づいて、前記方法毎に3次元空間における再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部とを備える。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の視差画像生成装置を示す図。
【図２】第１の実施形態の視差画像生成装置の動作を示す図。
【図３】（ａ）分布情報の奥行きモデルの例を示す図（ｂ）凹凸情報の奥行きモデルの例を示す図。
【図４】奥行き情報から視差ベクトルを算出する方法を説明する図。
【図５】視差ベクトルから、視差画像を生成する方法を説明する図である。
【図６】奥行き情報の例を示す図。
【図７】第１奥行き情報および第２奥行き情報の例を示す図。
【図８】第３奥行き情報の例を示す図。
【図９】奥行き情報から視差への変換モデルの例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の各実施形態について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１０】
（第１の実施形態）
本実施形態は、2次元画像（静止画像、動画像を含む）である第１画像から、相互に視差のある少なくとも１枚の視差画像を生成する装置に関する。なお、以下の実施形態では、視差画像を２枚生成する方法について例示するが、これに限られるものではない。例えば、裸眼で立体視を等の用途の場合には、視点数に対応する数の視差画像を生成しても構わない。
【００１１】
図１（ａ）は、本実施形態の視差画像生成装置を示す図である。視差画像生成装置は、第１奥行き算出部１００と、第２奥行き算出部２００と、合成部３００、生成部４００とを備える。
第１奥行き算出部１０１は、Ｎ（Ｎ≧２）個以上の推定部１０１（１）〜１０１（Ｎ）と、合成部１０３とを備える。
推定部１０１（１）〜１０１（Ｎ）は、それぞれに異なる方法で、推定部１０１（１）〜１０１（Ｎ）毎に3次元空間における再現範囲における第１画像内の奥行きの分布を示す分布情報を推定する。
合成部１０３は、推定部１０１（１）〜１０１（Ｎ）が推定した複数の分布情報を合成して第１奥行き情報を求める。
第２奥行き算出部２００は、第１画像内のオブジェクト領域内での相対的な凹凸を示す第２奥行き情報を求める。オブジェクト領域とは、第１画面内でオブジェクトが存在する領域を示す。
【００１２】
分布情報は、画面全体での奥行き再現範囲内での絶対的な奥行きを示すのに対して、凹凸情報はオブジェクト内での相対的な奥行きの関係を示すものである。つまり、分布情報が再現する奥行きの範囲は、再現範囲内であればいずれでもいいのに対し、凹凸情報が再現する奥行きの範囲は再現範囲に比べ狭い範囲となる。
【００１３】
合成部３００は、第１奥行き情報と、第２奥行き情報とを合成して第３奥行き情報を求める。なお、合成部３００は、合成部１０３とは異なる方法で奥行きを合成する。詳細については後述する。
生成部４００は、第３奥行き情報と、第１画像とに基づいて、視差画像を生成する。奥行きから視差画像を生成する手法は既存の如何なる手法であっても構わない。
【００１４】
図１（ｂ）は、本実施形態の視差画像生成装置の変形例を示す図である。第２奥行き算出部２００が、第２奥行き算出部２０１は、Ｍ（Ｍ≧２）個以上の推定部２０１（１）〜２０１（Ｍ）と、合成部２０３とを備える点が、図１（ａ）の例とは異なる。
推定部２０１（ｍ）は、第１画像内の、対象とするオブジェクトを検出し、検出されたオブジェクト毎に検出されたオブジェクトの種類に応じた凹凸情報を推定する（１≦ｍ≦Ｍ）。また、推定部２０１（１）〜２０１（Ｍ）は共通のオブジェクトをＭ種類の手法で検出し、検出されたオブジェクトの凹凸情報を同じ方法で推定するものであっても構わない。また、推定部２０１（１）〜２０１（Ｍ）は共通のオブジェクトを共通の手法で検出し、検出されたオブジェクトの凹凸情報をＭ種類の手法で推定するものであってもよい。
【００１５】
合成部２０３は、推定部２０１（１）〜２０１（Ｍ）が推定した複数の凹凸情報を合成する。
【００１６】
次に、本実施形態の視差画像生成装置の動作を説明するが、簡便のために図１（ｂ）の例について述べる。
図２は、本実施形態の視差画像生成装置の動作を示す図である。以下の各ステップで生成する視差画像によって再現する3次元空間における奥行きの再現範囲を０≦ｚ≦Ｚとする。ここでｚは奥行き情報を表す。ｚ＝０が再現範囲内で最も手前側（奥行きが小さい）を表し、ｚ＝Ｚが再現範囲内で最も奥側（奥行きが大きい）を表す。
【００１７】
推定部１０１（１）〜１０１（Ｎ）は、それぞれに異なる方法で、推定部１０１（１）〜１０１（Ｎ）毎に3次元空間における再現範囲における第１画像内の奥行きの分布を示す分布情報を推定する（Ｓ２１（１）〜（Ｎ））。なお、Ｓ２１（ｎ）では推定部１０１（ｎ）が分布情報を推定する（１≦ｎ≦Ｎ）。分布情報を推定する方法としては、あらかじめ定められた奥行きモデルを用意しておき、第１画像に応じてそれらを適宜用いる方法でもよい。
【００１８】
図３（ａ）は、分布情報の奥行きモデルの例を示す図である。ｘ軸、ｙ軸は画像内の位置を示す。また、白でハッチングされた領域は奥行きが奥側であることを示し、黒に近づく程に奥行きが手前側となっていることを示す。また、第１画像と、第１画像とは異なる時間に表示すべき第２の画像との間の動きを検出し、検出された動きに基づいて分布情報を推定する方法でもよい。また、特定の画素値パターンに応じて分布情報を推定する方法でも良い。Ｓ２１（ｎ）における分布情報の推定手法は、第１画像の画面全体での奥行きの分布情報を推定することが出来るものであればいずれの方法でもよい。ここでｎ番目（１≦ｎ≦Ｎ）のＳ２１（ｎ）によって推定された分布情報における、画素位置（ｘ，ｙ）での奥行きｚｎを以下のように定義する。なお、０≦ｚｎ（ｘ，ｙ）≦Ｚである。
合成部１０３は、推定部１０１（１）〜１０１（Ｎ）が推定した複数の分布情報を合成して第１奥行き情報を求める（Ｓ２２）。奥行き合成ステップでは、N個の奥行き情報を合成して、一つの第１奥行き情報を求める。コンピュータグラフィックスでは二つの奥行きを合成する場合には、カメラに近いものを選択して合成する。これは光線追跡の考え方に基づいたもので、目に入る光は最終的に遮蔽されなかったものである、という原理に基づいている。ここでも同様に手前側の奥行きを選択して合成する。奥行きの値が小さい程、手前側を表すため、次式のように最小値を選択することにより第１奥行き情報を求める。
ｚｃ（ｘ，ｙ）＝ｍｉｎ｛ｚ１（ｘ，ｙ），・・・，ｚＮ（ｘ，ｙ）｝
ここでｚｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第１奥行き情報である。また、min{a,b,c…}、{a,b,c…}の中から最小値を選択する操作を意味する。また光線追跡的には好ましくはないが、N個の奥行き情報の平均によって、第１奥行き情報を求めても良い。
【００１９】
推定部２０１（１）〜（Ｍ）は、第１画像内の、対象とするオブジェクトを検出し、検出されたオブジェクト毎に検出されたオブジェクトの種類に応じた凹凸情報を推定する（Ｓ２３（１）〜Ｓ２３（Ｍ））。なお、Ｓ２３（ｍ）では推定部２０１（ｍ）が凹凸情報を推定する（１≦ｍ≦Ｍ）。推定部２０１は、第１画像内で検出対象のオブジェクトを検出する。検出されたオブジェクトの種類に応じてあらかじめ定めてあった相対的な凹凸モデルをオブジェクト領域内に割り当てることで第２奥行き情報を算出する。なお、本実施形態では第１画像中に存在する顔の位置と大きさを検出し、検出された位置にあらかじめ定めておいた相対的な奥行きモデルを割り当てる手法について例示する。こうすることによって、オブジェクトの領域に適切な凹凸を設定することができる。
【００２０】
図３（ｂ）は、顔及び胴のモデルの例を示す図である。ｘ軸、ｙ軸は画像内の位置を示す。また、白でハッチングされた領域は奥行きが奥側であることを示し、黒に近づく程に奥行きが手前側となっていることを示す。また顔だけでなく、のオブジェクトを検出してそれらに応じた奥行きモデルを割り当ててもよい。なお、検出するオブジェクトは顔によらず、例えば人物、動物、車等であっても構わない。本実施形態では、顔以外に車を検出する例について述べる。
【００２１】
ここでＳ２３（ｍ）によって推定された画素位置（ｘ，ｙ）における凹凸情報を以下のように定義する。−Ｚｒ≦ｒｍ（ｘ，ｙ）≦Ｚｒここでｒｍ（ｘ，ｙ）＝０が相対的な凹凸がない状態であり、−Ｚｒがオブジェクト領域内で相対的に手前側に凸な状態、Ｚｒが相対的に奥側に凹な状態とする。ここでＺｒは検出されたオブジェクトの大きさに基づいて決定することができる。例えば大きなオブジェクトほど相対的な奥行きも大きく見えるため、Ｚｒを大きくし、小さなオブジェクトはＺｒを小さくするなどである。またオブジェクトの位置における第１奥行き情報に基づいてＺｒを決定しても良い。第１奥行き情報が手前を示している場合にはＺｒを大きくし、第１奥行き情報が奥のものはＺｒを小さくする。
【００２２】
合成部２０３は、推定部２０１（１）〜２０１（Ｍ）が推定した複数の凹凸情報を合成して第２奥行き情報を求める（Ｓ２４）。コンピュータグラフィックスでは二つの奥行きを合成する場合には、カメラに近いものを選択して合成する。これは光線追跡の考え方に基づいたもので、目に入る光は最終的に遮蔽されなかったものである、という原理に基づいている。Ｓ２４でも、Ｓ２２と同様に手前側の奥行きを選択して合成する。奥行き情報は小さい値が手前側を表すため、以下のように最小値を選択することにより達成できる。ｒｃ（ｘ，ｙ）＝ｍｉｎ｛ｒ１（ｘ，ｙ），・・・，ｒＭ（ｘ，ｙ）｝ここでｒｃ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第２奥行き情報である。また光線追跡的には正しくはないが、M個の凹凸情報の平均を用いても良い。
【００２３】
また第１奥行き情報に基づいて凹凸情報の合成をしても良い。凹凸情報を与えているそれぞれのオブジェクトの重心位置における第１奥行き情報を重心奥行き情報とすると、オブジェクト間（例えば、人と車等）で重なり合いが発生している領域において、重心奥行き情報が最も手前になる凹凸情報を選択するようにしても良い。
【００２４】
合成部３００は、第１奥行き情報と、第２奥行き情報とを合成して第３奥行き情報を求める（Ｓ２４）。なお、合成部３００は、合成部１０３及び合成部２０３とは異なる方法で奥行きを合成する。
【００２５】
第１画像内の奥行きの絶対的な分布を示す第１奥行き情報に、オブジェクト領域内での相対的な凹凸を付加して奥行きを表現するために、第１奥行き情報と第２奥行き情報を加算することで第３奥行き情報を求める。
ｚｆ（ｘ，ｙ）＝ｚｃ（ｘ，ｙ）＋ｒｃ（ｘ，ｙ）
ここでｚｆ（ｘ，ｙ）は画素位置（ｘ，ｙ）における第３奥行き情報である。また加算ではなく乗算でも構わない。ｚｆ（ｘ，ｙ）＝ｚｃ（ｘ，ｙ）・ｒｃ（ｘ，ｙ）
第１奥行き情報と第２奥行き情報を合成したことにより再現したい3次元空間における奥行きの再現範囲０≦ｚ≦Ｚを逸脱してしまうことがあり得る。そこで再現範囲内に収まるように第３奥行き情報を調節することが好ましい。
生成部４００は、第３奥行き情報と、第１画像とに基づいて、視差画像を生成する（Ｓ２５）。まずは第３奥行き情報から視差ベクトルを算出する。以下、視差画像の生成方法の一例について詳述する。
【００２６】
図４は、奥行き情報から視差ベクトルを算出する方法を説明する図である。右目・左目・物体を結ぶ三角形と、画面上での右視差・左視差・物体、二つの三角形の相似性を利用して、視差ベクトルが算出できる。ここでｚｆは最終的な奥行き情報、ｄ［ｃｍ］は視差ベクトルの大きさ、ｂ［ｃｍ］は眼間距離、ｚｓ［ｃｍ］は画面までの距離、ｚ０［ｃｍ］、実空間での奥行きの距離Ｌｚ［ｃｍ］を示す。
【００２７】
画素サイズから実空間［ｃｍ］への変換を以下に従い行う。
【００２８】
ｄpixel＝（画面解像度[pixel]／画面サイズ［ｃｍ］）・ｄ［ｃｍ］
奥行き情報ｚｆは０〜Ｚの範囲であり（０〜１でも良い）、０が手前、Ｚが奥を表しているとする。しかしこの値は、仮想的なものであり実際の距離に換算する必要がある。実空間での距離Ｌｚを用いて奥行き情報から実空間の距離へ変換する。奥行きから実空間へは、以下の変換式によって変換する。γ＝Ｌｚ／ｚｍａｘ［ｃｍ］ここでｚｍａｘ＝Ｚである。すると画面から対象物までの距離ｚ’は以下のようになる。ｚ’＝γｚｆ−ｚ０
三角形の相似性から以下の関係が成り立つ。
ｄ：ｂ＝（ｚ’）：（ｚｓ＋ｚ’） ・・・式（１）
ｄ（ｚｓ＋ｚ’）＝ｂｚ’ ・・・式（２）
ｚ＝｛（ｂ−ｄ）ｚ０＋ｄｚｓ｝／｛γ（ｂ−ｄ）｝ ・・・式（３）
上記奥行き変換モデルは視差ベクトルと反比例の関係にあるモデルだったが、例えば反比例の関係を部分的な比例関係で近似した関数のモデルでも良い。
【００２９】
立体視のパラメータｂ，ｚｓ，ｚ０，Ｌｚは、提供したい立体視に基づいて任意に決定できる。例えば、実際の画面の位置に従ってｚｓを決定し、飛び出しを大きくしたい場合にはｚ０を大きくする。また奥行きの深さはＬＺによって決定できる。
立体視のパラメータが決まれば、式（１）〜（３）を変形した以下の奥行き視差ベクトル変換モデルに従って、奥行き情報から視差ベクトルを算出できる。ｄの単位は［ｃｍ］
ｄ：ｂ＝（ｚ’）：（ｚｓ＋ｚ’）
ｄ＝ｂ｛ｚ’／（ｚｓ＋ｚ’）｝
図５は、算出された視差ベクトルから、視差画像を生成する方法を説明する図である。第１画像は左目・右目の中間の視点から得られたものだとすると、左視差画像と右視差画像は視差ベクトルｄに−１／２，１／２を乗じた視差ベクトルｄＬ，ｄＲから生成できる。
ｄＬ＝（−１／２）ｄ、 ｄＲ＝（１／２）ｄ
左視差画像は、第１画像の画素値Ｉｔ（ｘ，ｙ）をｄＬに従って移動させることにより生成できる。右視差画像は、第１画像の画素値Ｉｔ（ｘ，ｙ）をｄＲに従って移動させることにより生成できる。単純に移動しただけでは画素値が割り当てられていない領域（以下、穴と記載）が発生してしまう場合がある。そのため、穴には周辺の画素値を割り当てる等すればよい。ここでは２つ視差画像を生成する例について述べたが、多視差の場合も同様に処理すればよい。
【００３０】
次に、本実施形態の視差画像生成装置による、第３奥行き情報について詳細に説明する。
例えば、部屋の中に人が存在する画像が第１画像の場合を考える。その場合、例えば部屋の奥行きをモデルを当てはめる、動きベクトルを求める等して複数の分布情報を推定し、これらを合成し第１奥行き情報を取得する。また、第１画像内の人を検出して顔の凹凸情報（第２奥行き情報）を推定する。推定された第１奥行き情報と第２奥行き情報を合成する必要がある。しかし凹凸情報の再現範囲は、画面全体の奥行きの分布情報よりも大幅に狭い。従って、第１奥行き情報および第２奥行き情報を、第１奥行き情報及び／又は第２奥行き情報を求める際の合成方法と同様の手法で合成してしまうと、画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現することができない。
【００３１】
以下の図６〜図８の横軸は、画素位置を示し、縦軸は、奥行き情報を示す
図６は、奥行き情報の例を示す図である。図６（ａ）に奥行き情報のテストパターンを示す。なお、図６では0が最も奥側、10が最も手前側を示している。上述した奥行き情報とは奥側と手前側の大小関係が逆転している。分布情報１、分布情報２は、それぞれ推定部１０１（ｎ）が求めた分布情報の例を示す。凹凸情報１、凹凸情報２は、推定部２０１（ｍ）が求めた凹凸情報の例を示す。
【００３２】
図６（ｂ）は、図６（ａ）のテストパターンの分布情報１、分布情報２、凹凸情報１、凹凸情報２の平均を取ったものと、図６（ａ）のテストパターンのうち同位置で最大値を選択して合成したものを示す。平均を取った場合には分布情報が示す奥行きのダイナミックレンジが圧縮されてしまい、凹凸情報は全体に埋もれてしまっている。それに対して最大値を取った場合には、部屋全体の奥行きのダイナミックレンジは保持されるが、顔の奥行きは完全に埋もれてしまっている。これは、画面全体での絶対的な奥行きの分布情報と、オブジェクト内での相対的な奥行きの凹凸情報を一緒に合成したことが原因である。「絶対的」は、奥行き再現範囲０≦ｚ≦Ｚに対して絶対的な奥行きを意味する。「相対的」は、画面内での局所的なオブジェクト領域内での相対的な奥行きを意味する。相対的な奥行き情報の再現範囲は絶対的な奥行き情報の再現範囲とは異なる。そのため絶対的な奥行き情報と相対的な奥行き情報を同じ手法で合成しようとすると、相互の持っている値の意味が異なるために合成が失敗してしまう。
【００３３】
図７（ａ）は、図６（ａ）に奥行き情報のテストパターンから、分布情報１及び分布情報２を合成した第１奥行き情報を示す図である。図７（ｂ）は、凹凸情報１及び凹凸情報２から合成した第２奥行き情報の例を示す図である。合成方法は、第１奥行き情報および第２奥行き情報共に同位置で奥行きが最も手前側の奥行き情報を選択して合成したものを示す。
【００３４】
図８は、図７で示した第１奥行き情報および第２奥行き情報を合成した第３奥行き情報を示す。第３奥行き情報は、第１奥行き情報と第２奥行き情報とを加算して合成した。
第１奥行き情報および第２奥行き情報を求める際の合成方法と、第１奥行き情報と第２奥行き情報を合成する際の合成方法とで異なる方法を用いることで、複数の手法によって求められた画面内の奥行き分布による立体感を保持しつつ、オブジェクトの凹凸を表現する視差画像の生成をすることが出来る。
【００３５】
（第２の実施形態）
図９は、本実施形態の視差画像生成装置を示す図である。本実施形態の視差画像生成装置は、図１（ｂ）の視差画像生成装置に対して、奥行き情報を調節する機能を備える点が異なる。
【００３６】
調整部１０２（ｎ）は、推定部１０１（ｎ）が推定した分布情報を調節する。例えば、推定部１０１（１）では０≦ｚ≦Ｚの範囲の分布情報を推定するが、推定部１０１（２）では１００≦ｚ≦Ｚの範囲の値を出力するといったように、出力される奥行き情報の範囲が異なる場合に、それらを調節して同じ範囲にする必要がある。そのため、調整部１０２（ｎ）は、例えば奥行き情報の一点（以下、固定点と記載）を固定して（例えばＺ）奥行き範囲の幅を広くしたり狭くしたり、といった調節をする。また、ある推定部１０１（ｎ）信頼性が低い場合には、奥行き範囲を奥側に狭める調節を行い、信頼性の低い奥行き情報の影響を少なくすることもできる。
【００３７】
調整部２０２（ｍ）は、推定部２０１（ｍ）が推定した第2奥行き情報を調節する。調整の仕方は、調整部１０２（ｎ）と同様の手法であって良い。奥行き情報調節ステップと同様に調節を行うことができる。なお、固定点を０にすることにより相対的な凹凸情報の特性を有効に活用することができる。
【符号の説明】
【００３８】
第１奥行き算出部１００、推定部１０１（ｎ）、調整部１０２（ｎ）、調整部２０２（ｍ）、第２奥行き算出部２００、統合部３００、生成部４００
【特許請求の範囲】
【請求項１】
第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、
複数の方法に基づいて、前記方法毎に3次元空間における奥行きの再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、
前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、
前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、
前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部と、
を備えることを特徴とする視差画像生成装置。
【請求項２】
前記第１合成部は、複数の前記分布情報のうち、前記第１画像内の同じ位置における奥行きが手前側の方の奥行きを選択することを特徴とする請求項１記載の視差画像生成装置。
【請求項３】
前記第１合成部及び前記第２合成部は、前記第１奥行き情報及び前記第２奥行き情報をそれぞれ合成の前に奥行き情報の調節を行うことを特徴とする請求項２記載の視差画像生成装置。
【請求項４】
前記第３合成部は、前記第１画像内の同じ位置における前記第１奥行き情報が示す奥行きと、前記第２奥行き情報が示す奥行きとを加算して前記第３奥行き情報を求めることを特徴とする請求項２記載の視差画像生成装置。
【請求項５】
前記第３合成部は、前記第１画像内の同じ位置における前記第１奥行き情報が示す奥行きと、前記第２奥行き情報が示す奥行きとを乗算して前記第３奥行き情報を求めることを特徴とする請求項２記載の視差画像生成装置。
【請求項６】
前記第２算出部は、
前記第１画像内の、複数種類のオブジェクトを検出し、検出されたオブジェクト毎に前記種類に応じた凹凸情報を推定する第２推定部と、
複数の前記凹凸情報を合成する第２合成部と、
を備え、
ることを特徴とする請求項１記載の視差画像生成装置。
【請求項７】
前記第１の推定部は、前記第１画像と、前記第１画像とは異なる時間に表示すべき第２の画像との間の動きに応じて、前記分布情報を推定することを特徴とする請求項１記載の視差画像生成装置。
【請求項８】
前記第１の推定部は、前記第１画像の構図の種類を判定し、判定結果に応じて前記分布情報を推定することを特徴とする請求項１記載の視差画像生成装置。
【請求項１】
第１画像を用いて相互に視差のある少なくとも１枚の視差画像を生成する視差画像生成装置において、
複数の方法に基づいて、前記方法毎に3次元空間における奥行きの再現範囲における前記第１画像内の奥行きの分布を示す分布情報を推定する第１推定部と、複数の前記分布情報を合成して第１奥行き情報を求める第１合成部と、を有する第１算出部と、
前記第１画像内のオブジェクト毎の相対的な凹凸を示す第２奥行き情報を求める第２算出部と、
前記第１奥行き情報と、前記第２奥行き情報とを前記第１合成部とは異なる方法で統合して第３奥行き情報を求める第３合成部と、
前記第３奥行き情報と、前記第１画像とに基づいて、前記視差画像を生成する生成部と、
を備えることを特徴とする視差画像生成装置。
【請求項２】
前記第１合成部は、複数の前記分布情報のうち、前記第１画像内の同じ位置における奥行きが手前側の方の奥行きを選択することを特徴とする請求項１記載の視差画像生成装置。
【請求項３】
前記第１合成部及び前記第２合成部は、前記第１奥行き情報及び前記第２奥行き情報をそれぞれ合成の前に奥行き情報の調節を行うことを特徴とする請求項２記載の視差画像生成装置。
【請求項４】
前記第３合成部は、前記第１画像内の同じ位置における前記第１奥行き情報が示す奥行きと、前記第２奥行き情報が示す奥行きとを加算して前記第３奥行き情報を求めることを特徴とする請求項２記載の視差画像生成装置。
【請求項５】
前記第３合成部は、前記第１画像内の同じ位置における前記第１奥行き情報が示す奥行きと、前記第２奥行き情報が示す奥行きとを乗算して前記第３奥行き情報を求めることを特徴とする請求項２記載の視差画像生成装置。
【請求項６】
前記第２算出部は、
前記第１画像内の、複数種類のオブジェクトを検出し、検出されたオブジェクト毎に前記種類に応じた凹凸情報を推定する第２推定部と、
複数の前記凹凸情報を合成する第２合成部と、
を備え、
ることを特徴とする請求項１記載の視差画像生成装置。
【請求項７】
前記第１の推定部は、前記第１画像と、前記第１画像とは異なる時間に表示すべき第２の画像との間の動きに応じて、前記分布情報を推定することを特徴とする請求項１記載の視差画像生成装置。
【請求項８】
前記第１の推定部は、前記第１画像の構図の種類を判定し、判定結果に応じて前記分布情報を推定することを特徴とする請求項１記載の視差画像生成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２１５９４９（Ｐ２０１１−２１５９４９Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８４３２６（Ｐ２０１０−８４３２６）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]