奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
【課題】背景とオブジェクトとの分離感を向上させ立体効果を高める。
【解決手段】ＲＢ割合算出部１１９１は、Ｒ信号及びＢ信号に基づいてＲＢ割合RB_rateを算出する。基点変更部１１９２は、ＲＢ割合ＲＢ_rateから基点変更を行う。オフセット算出部１１９３は、下部の高域成分評価値に基づいて基本奥行きモデルタイプの選択に合わせるように、オフセット値を計算する。加算部１１９４は、基点変更部１１９２からの信号とオフセットとを加算する。加算部１１９５は、加算部１１９４からのオフセット加算信号と合成部から供給される基本奥行きモデル合成画像信号とを加算して、選択されて合成された基本奥行きモデルの合成画像の構図に合わせてオブジェクト情報の重畳度合いを変化させた奥行き推定データを生成する。
【解決手段】ＲＢ割合算出部１１９１は、Ｒ信号及びＢ信号に基づいてＲＢ割合RB_rateを算出する。基点変更部１１９２は、ＲＢ割合ＲＢ_rateから基点変更を行う。オフセット算出部１１９３は、下部の高域成分評価値に基づいて基本奥行きモデルタイプの選択に合わせるように、オフセット値を計算する。加算部１１９４は、基点変更部１１９２からの信号とオフセットとを加算する。加算部１１９５は、加算部１１９４からのオフセット加算信号と合成部から供給される基本奥行きモデル合成画像信号とを加算して、選択されて合成された基本奥行きモデルの合成画像の構図に合わせてオブジェクト情報の重畳度合いを変化させた奥行き推定データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施すことで、立体感を感じさせる別視点の非立体画像を生成し、出力する擬似立体画像の生成装置、生成方法及び生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の擬似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号（Ｒ信号）とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その合成基本奥行きモデルの画像に、凹凸感を示す情報であるオブジェクト情報として入力非立体画像のＲ信号を重畳することで、最終的な奥行き推定データを生成している。また、特許文献１には、合成基本奥行きモデルの画像に重畳するオブジェクト情報として、入力非立体画像の青色信号（Ｂ信号）でも、あるいはＲ信号とＢ信号の双方を併用した信号でもよいとの記載がある。
【０００６】
しかしながら、特許文献１記載の疑似立体画像生成装置では、基本奥行きモデルの画像は入力非立体画像のシーン構造を解析して選択される。これに対して、オブジェクト情報はＲ信号、Ｂ信号あるいはＲ信号とＢ信号とを併用するいずれの場合でも、入力非立体画像のシーン解析を反映していない。そして、特許文献１記載の疑似立体画像生成装置では、上記のオブジェクト情報を選択された基本奥行きモデルの画像に単純に加算する構成であるため、図１２(Ａ)に示すように背景１２１とオブジェクト(人物等の物体)１２２との分離感が乏しいという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、背景とオブジェクトとの分離感を向上させ立体効果を高め得る奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、第１の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段と、発生手段から発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成手段と、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段と、オブジェクト信号をオフセット値に基づき補正する補正手段と、合成手段により合成した基本奥行きモデル合成画像に補正手段により補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。
【０００９】
また、上記の目的を達成するため、第２の発明の奥行き推定データ生成装置は、第１の発明における第２の算定手段は、第１の算定手段が、複数の基本奥行きモデルの画像のうち平面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは奥行きを強調するオフセット値を算出し、一方、複数の基本奥行きモデルの画像のうち凹面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは飛び出しを強調するオフセット値を算出することを特徴とする。
【００１０】
また、上記の目的を達成するため、第３の発明の奥行き推定データ生成装置は、第１の発明のオブジェクト信号生成手段が、非立体画像の映像信号を構成する赤色信号と青色信号との信号割合を画素単位に算出する割合算出手段と、割合算出手段により算出された信号割合の中心を０基点に変更した値をオブジェクト信号として出力する基点変更手段とからなることを特徴とする。
【００１１】
また、上記の目的を達成するため、第４の発明の奥行き推定データ生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成ステップと、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定ステップと、オブジェクト信号をオフセット値に基づき補正する補正ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正ステップにより補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
【００１２】
また、上記の目的を達成するため、第５の発明の奥行き推定データ生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定機能と、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成機能と、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定機能と、オブジェクト信号をオフセット値に基づき補正する補正機能と、合成機能により合成した基本奥行きモデル合成画像に補正機能により補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータに実現させることを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の疑似立体画像生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第１の発明の奥行き推定データ生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の疑似立体画像生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第４の発明の奥行き推定データ生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の疑似立体画像生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第５の発明の奥行き推定データ生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、オブジェクトと背景との分離感を向上させ、立体効果を高めることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の擬似立体画像生成装置の一実施の形態を示すブロック図である。
【図２】本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。
【図３】基本奥行きモデルタイプＡの立体構造の一例を示す図である。
【図４】基本奥行きモデルタイプＢの立体構造の一例を示す図である。
【図５】基本奥行きモデルタイプＣの立体構造の一例を示す図である。
【図６】基本奥行きモデル合成比率決定条件の一例を説明する図である。
【図７】図２中の重畳部の一実施例のブロック図である。
【図８】図７中のＲＢ割合算出部の一例の説明図である。
【図９】図７中の基点変更部の一例の説明図である。
【図１０】図７中のオフセット算出部の一例の入出力特性図である。
【図１１】図７中のオフセット加算部の一例の説明図である。
【図１２】特許文献１の疑似立体画像の一例と本発明により生成された奥行き推定データによる疑似立体画像の一例とを対比して示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１は、本発明になる擬似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置１は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元カラー画像（非立体画像）から擬似的な３次元カラー立体画像を生成する所謂２Ｄ３Ｄ変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。
【００２０】
疑似立体画像生成装置１は、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置１０と、奥行き推定データから入力非立体画像と共に擬似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置２０とから構成されている。ステレオ表示装置３０は、ステレオペア生成装置２０から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。
【００２１】
奥行き推定データ生成装置１０は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部１１から構成されている。奥行き推定部１１の詳細な構成は後述する。ステレオペア生成部２０は、奥行き推定部１１で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３とから構成されており、ポスト処理部２３からシフトされた左目画像２４を出力すると共に、入力映像信号である右目画像２５を出力する。すなわち、ステレオペア生成部２０は、入力非立体画像を右目画像２５としたとき、この右目画像２５と擬似的な立体画像を構成する左目画像２４を生成して右目画像２５と共にステレオペアとして出力する。ステレオペア生成部２０は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。
【００２２】
次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部１１の構成及び動作について更に詳細に説明する。
【００２３】
図２は、奥行き推定部１１の一実施例のブロック図を示す。同図に示すように、奥行き推定部１１は、画像入力部１１１、画面上部の高域成分評価部１１２、画面下部の高域成分評価部１１３、フレームメモリ１１４〜１１６、合成部１１７、及び重畳部１１９から構成されている。この奥行き推定部１１は、重畳部１１９の構成に特徴がある。
【００２４】
図２において、画像入力部１１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の入力映像信号を一時記憶した後、その１フレーム分の入力映像信号を画面上部の高域成分評価部１１２、及び画面下部の高域成分評価部１１３にそれぞれ供給すると共に、入力映像信号中の赤色信号（Ｒ信号）と青色信号（Ｂ信号）とを重畳部１１９に供給する。
【００２５】
画面上部の高域成分評価部１１２及び画面下部の高域成分評価部１１３は、本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する３種類の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段を構成している。
【００２６】
すなわち、画面上部の高域成分評価部１１２は、１フレーム分の入力映像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部１１２は、画面上部の高域成分評価値(top_act)を合成部１１７に供給する。画面下部の高域成分評価部１１３は、１フレーム分の入力映像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部１１３は、画面下部の高域成分評価値(bottom_act)を合成部１１７に供給する。
【００２７】
一方、フレームメモリ１１４は基本奥行きモデルタイプＡ、フレームメモリ１１５は基本奥行きモデルタイプＢ、フレームメモリ１１６は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ擬似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。
【００２８】
例えば、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。
【００２９】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００３０】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１１４〜１１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１１７へ供給される。
【００３１】
合成部１１７は、まず、画面上部の高域成分評価部１１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００３２】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）top_actと、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）bottom_actの各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。上記の基本奥行きモデルタイプＡ〜Ｃの画像、及び上記の合成比率の決定条件は、本出願人が特許文献１等にて開示した公知の基本奥行きモデルタイプＡ〜Ｃの画像及び決定条件であるが、これに限定されるものではない。
【００３３】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ＴｙｐｅＡ／Ｂ」の領域では、下記のように上部の高域成分評価値(top_act)と下部の高域成分評価値(bottom_act)との比率で基本奥行きモデルタイプＡの値であるＴｙｐｅＡと基本奥行きモデルタイプＢの値であるＴｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるＴｙｐｅＣは比率の決定には用いられない。
【００３４】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）：（tp１−top_act）：０
また、図６において、「ＴｙｐｅＡ／Ｂ／Ｃ」の領域では、ＴｙｐｅＡ／ＢとＴｙｐｅＡ／Ｃとの平均を採用して、下記のようにＴｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００３５】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）＋（bottom_act−bms）：（tpl−top_act）：（bml−bottom_act）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００３６】
ｋ１＝ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （１）
ｋ２＝ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （２）
ｋ３＝ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （３）
合成部１１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３のうち、合成比率ｋ１と基本奥行きモデルタイプＡの値であるＴｙｐｅＡとの第１の乗算結果と、合成比率ｋ２と基本奥行きモデルタイプＢの値であるＴｙｐｅＢとの第２の乗算結果と、合成比率ｋ３と基本奥行きモデルタイプＣの値であるＴｙｐｅＣとの第３の乗算結果とをそれぞれ算出し、更にそれら３つの乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。
【００３７】
重畳部１１９は、合成部１１７から供給される基本奥行きモデル合成画像信号（これは背景の画像信号に相当する）と、画像入力部１１１から供給されるＲ信号及びＢ信号（これはオブジェクト情報を示すオブジェクト信号に相当する）とに基づいて、奥行き推定データを生成する。
【００３８】
図７は、重畳部１１９の一実施例のブロック図を示す。同図に示すように、重畳部１１９は、画像入力部１１１から供給されるＲ信号及びＢ信号に基づいてＲＢ割合RB_rateを算出するＲＢ割合算出部１１９１と、ＲＢ割合ＲＢ_rateから基点変更を行う基点変更部１１９２と、画面下部の高域成分評価１１３からの下部の高域成分評価値(bottom_act)に基づいてオフセットを算出するオフセット算出部１１９３と、基点変更部１１９２からの信号と上記オフセットとを加算する加算部１１９４と、加算部１１９４から出力される加算信号と合成部１１７から供給される合成奥行きモデルとなる画像信号とを加算して最終的な奥行き推定データを生成する加算部１１９５とから構成されている。
【００３９】
ＲＢ割合算出部１１９１と基点変更部１１９２とは、本発明のオブジェクト信号生成手段を構成している。オブジェクト信号は疑似立体画像の凹凸に関するオブジェクト情報を示す。また、オフセット算出部１１９３は、本発明において非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段を構成している。更に、加算部１１９４は、本発明においてオブジェクト信号をオフセット値に基づき補正する補正手段を構成している。
【００４０】
図８は、ＲＢ割合算出部１１９１の一例の説明図を示す。ＲＢ割合算出部１１９１は、図８においてＸ軸に示す入力Ｂ信号の値と、Ｙ軸に示す入力Ｒ信号の値とに基づいて、Ｚ軸に示されるＲＢ割合ＲＢ_rateの値を算出する。ここでは、Ｂ信号及びＲ信号は一例として８ビットにより画素の階調が表わされる信号であるものとしているので、Ｂ信号及びＲ信号の各値は０〜２５５の範囲内のいずれかの値である。ＲＢ割合ＲＢ_rateの値は、次式により画素単位に算出される。
【００４１】
ＲＢ_rate＝（０.５×Ｒ）＋｛０.５×（２５５−Ｂ）｝ （４）
ただし、（４）式中、Ｒは入力Ｒ信号の値、Ｂは入力Ｂ信号の値を示す。
【００４２】
図８において、ＲＢ割合ＲＢ_rateの値は、２００〜２５０の範囲Ia、１５０〜２００の範囲IIa、１００〜１５０の範囲IIIa、５０〜１００の範囲IVa、０〜５０の範囲Vaのいずれかの範囲に含まれる。ＲＢ割合ＲＢ_rateの値は入力映像信号の色相が赤色や黄色が強いときは範囲Ia内の大きな値となり、青色やシアンが強いときは範囲Va内の小さな値となる。
【００４３】
次に、基点変更部１１９２は、ＲＢ割合算出部１１９１により算出されたＲＢ割合ＲＢ_rateの中心を次式により０基点に変更し、変更後のＲＢ割合ＲＢ_outを加算部１１９４へ出力する。
【００４４】
ＲＢ_out＝ＲＢ_rate−１２８ （５）
これにより、基点変更部１１９２から出力される基点変更後のＲＢ割合ＲＢ_outは、図９において、Ｘ軸に示す入力Ｂ信号成分の値（０〜２５５のいずれか）と、Ｙ軸に示す入力Ｒ信号成分の値（０〜２５５のいずれか）とに対して、Ｚ軸に示される値となり、図８のＺ軸に示したＲＢ割合ＲＢ_rateの中心が０基点に変更されたものとなる。すなわち、図９において、図８の範囲Ia、IIa、IIIa、IVa、Vaの値が、範囲Ib、IIb、IIIb、IVb、Vbの値に変更される。
【００４５】
基点変更部１１９２によりＲＢ割合ＲＢ_rateの中心を０基点に変更する理由は、中心を０基点とすることで、加算部１１９４において下部の高域成分評価値と加算したときに、赤色の強い画像は手前に飛び出し、青色の強い画像は奥に引っ込むという値の加算値が得られるようにするためである。これにより、（５）式により算出され、図９に示される基点変更後のＲＢ割合ＲＢ_outは、赤色の強い画像部分を手前に配置する値（正の大なる値）となり、青色の強い画像部分を奥に配置する値（負の絶対値が大なる値）となる。また、基点変更後のＲＢ割合ＲＢ_outは、黒色や白色（グレースケール）の出力値は０となるため、奥行きは変化しない。
【００４６】
一方、オフセット算出部１１９３は、下部の高域成分評価値(bottom_act)に応じたオフセット値ＲＢ_offsetを生成して、加算部１１９４へ出力する。図１０は、オフセット算出部１１９３の入出力特性の一例を示し、横軸が入力される下部の高域成分評価値(bottom_act)の値、縦軸が出力されるオフセット値ＲＢ_offsetを示す。図１０に示すように、オフセット算出部１１９３の入出力特性は、下部の高域成分評価値(bottom_act)の値が大きいほど、オフセット値ＲＢ_offsetが大となる特性を示している。
【００４７】
この理由は、以下の通りである。図６に示すように、下部の高域成分評価値(bottom_act)が小さいときは合成部１１７において図５に示した上部が平面、下部が円筒面（軸は水平方向）とした平面モデル（基本奥行きモデルタイプＣ）の画像が選択され、下部の高域成分評価値(bottom_act)が大きいときは合成部１１７において図３や図４に示した凹面（球面）モデル（基本奥行きモデルタイプＡ又はＢ）の画像が選択されて、基本奥行きモデルタイプの画像が合成される。
【００４８】
オフセット算出部１１９３は、この基本奥行きモデルタイプの選択に合わせるように、オフセット値ＲＢ_offsetを計算している。つまり、オフセット算出部１１９３は、平面モデル寄りの下部の高域成分評価値(bottom_act)が小さいほどオブジェクトは奥行きを強調するような値の小さなオフセット値ＲＢ_offsetとし、一方、凹面モデル寄りの下部の高域成分評価値(bottom_act)が大きいほどオブジェクトは飛び出しを強調するような大きなオフセット値ＲＢ_offsetとする。これにより、背景とオブジェクトとの分離感を強調でき、立体効果をより高めることができる。
【００４９】
加算部１１９４は、上記のオフセット値ＲＢ_offsetと基点変更部１１９２からの基点変更後のＲＢ割合ＲＢ_outとを加算し、オフセットが付加された基点変更後のＲＢ割合ＲＢ_out_offsetを出力する。図１１は、基点変更後のＲＢ割合ＲＢ_outにオフセット値ＲＢ_offsetを付加してＲＢ割合ＲＢ_out_offsetが生成されることを示す図である。同図中、図９と同一部分には同一符号を付し、その説明を省略する。
【００５０】
図１１において、Ｘ軸に示す入力Ｂ信号の値（０〜２５５のいずれか）と、Ｙ軸に示す入力Ｒ信号の値（０〜２５５のいずれか）とに対して、図９のＺ軸に示した基点変更後のＲＢ割合ＲＢ_outの基点がオフセット値ＲＢ_offsetに応じて図１１のＺ軸に４１で示すように変更された、ＲＢ割合ＲＢ_out_offsetが生成される。
【００５１】
そして、加算部１１９５は、合成部１１７から供給される合成奥行きモデルとなる画像信号に、加算部１１９４から出力されるオフセットが付加された上記のＲＢ_out_offsetを加算することで、最終的な奥行き推定データを生成して出力する。
【００５２】
この最終的な奥行き推定データは、（５）式により中心が０基点に変更されたＲＢ割合ＲＢ_outに基づいて生成されているため、赤色の強い画像部分を手前に、青色の強い画像部分を奥に配置し、また黒色や白色（グレースケール）の画像部分は奥行きを変化させない。これは下記の３つの特徴に基づくものである。
【００５３】
（１）Ｒ信号成分が強い画像部分を手前に配置する理由の一つは、Ｒ信号成分の大きさが、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則によるものである。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００５４】
（２）Ｂ信号成分が強い画像部分を奥に配置する理由の一つは、光線の散乱により遠くにあるものほど、青色寄りに見えるという物理法則的一般論（空気遠近法）によるものである。
【００５５】
（３）暖色系は色彩学における前進色であり、寒色系（後退色）よりも奥行きが手前に認識されるという特徴があり、寒色系（後退色）は暖色系よりも奥行きが奥に認識される特徴がある。
【００５６】
再び図１に戻ってステレオペア生成装置２０の構成及び動作について説明する。テクスチャシフト部２１は、上記のようにして奥行き推定部１１により生成された奥行き推定データと、入力映像信号とに基づいて、入力映像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１は、入力映像信号が右目画像２５を示す右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した左目用画像信号を生成する。その場合、テクスチャシフト部２１は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５７】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００５８】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００５９】
オクルージョン補償部２２は、テクスチャシフト部２１より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部２３に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部２２は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００６０】
ポスト処理手段であるポスト処理部２３は、オクルージョン補償部２２によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目画像２４を示す左目用画像信号を出力する。
【００６１】
ここで、テクスチャシフト部２１が出力する画像信号のシフト量（Ｄｄ−ｍ）／ｎ画素において、入力映像信号によって変化する奥行き推定データの値Ｄｄ以外の輻輳値ｍと奥行き値ｎは固定値であり、それぞれは０〜２５５の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が決まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値ｍと奥行き値ｎを適切に設定すれば、２Ｄ３Ｄ変換された画像は決められた範囲の視差角に収まる。そこで、擬似立体画像生成装置１は、この２Ｄ３Ｄ変換されてポスト処理部２３から出力される左目用映像信号を左目画像２４として出力し、基線長や輻輳角を調整するときの基準（手本）とする。なお、擬似立体画像生成装置１は、入力映像信号をそのまま右目画像２５として出力する。
【００６２】
このように、ステレオペア生成装置２０は、奥行き推定部１１により生成された奥行き推定データを基に、入力される非立体画像（ここでは右目画像２５）とは別視点の左目画像２４を生成して入力非立体画像（右目画像２５）と共に疑似立体画像を表示させるステレオペアとして出力する。これらの左目画像２４と右目画像２５とは、ステレオ表示装置３０へ出力される。
【００６３】
ステレオ表示装置３０とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。
【００６４】
奥行き推定データ生成装置１０、ステレオペア生成装置２０、ステレオ表示装置３０を組み合わせることにより、非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像表示システムを構成することができる。
【００６５】
以上のように、本実施の形態によれば、奥行き推定データ生成装置１０において、選択された基本奥行きモデルの画像の構図が平面寄りの場合はオブジェクト情報の値を奥行きを強調する値とし、選択された基本奥行きモデルの画像の構図が凹面寄りの場合はオブジェクト情報の値を飛び出しを強調する値として選択された基本奥行きモデルの画像に重畳するように、選択された基本奥行きモデルの画像の構図に合わせてオブジェクト情報の重畳度合いを変化させた奥行き推定データを生成するようにしたため、その奥行き推定データに基づいて生成される疑似立体画像は、例えば、図１２（Ｂ）に示すように、背景１２３と物体（人物）１２４との分離感が従来に比べて向上し、立体効果を高めたものにできる。
【００６６】
なお、本発明は以上の実施の形態に限定されるものではなく、例えばステレオペアに関して、左右反転することで左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。また、図１の疑似立体画像生成装置１においては、入力非立体画像を右目画像２５として左目画像２４を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
【００６７】
また、ステレオペア生成装置２０として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
【００６８】
また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６９】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像生成装置１や、図２及び図７に示した奥行き推定データ生成装置２０を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００７０】
１ 疑似立体画像生成装置
１０ 奥行き推定データ生成装置
１１ 奥行き推定部
２０ ステレオペア生成装置
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像
２５ 右目画像
３０ ステレオ表示装置
１１１ 画像入力部
１１２ 画面上部の高域成分評価部
１１３ 画面下部の高域成分評価部
１１４〜１１６ フレームメモリ
１１７ 合成部
１１９ 重畳部
１１９１ ＲＢ割合算出部
１１９２ 基点変更部
１１９３ オフセット算出部
１１９４、１１９５ 加算部
【技術分野】
【０００１】
本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施すことで、立体感を感じさせる別視点の非立体画像を生成し、出力する擬似立体画像の生成装置、生成方法及び生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の擬似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号（Ｒ信号）とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その合成基本奥行きモデルの画像に、凹凸感を示す情報であるオブジェクト情報として入力非立体画像のＲ信号を重畳することで、最終的な奥行き推定データを生成している。また、特許文献１には、合成基本奥行きモデルの画像に重畳するオブジェクト情報として、入力非立体画像の青色信号（Ｂ信号）でも、あるいはＲ信号とＢ信号の双方を併用した信号でもよいとの記載がある。
【０００６】
しかしながら、特許文献１記載の疑似立体画像生成装置では、基本奥行きモデルの画像は入力非立体画像のシーン構造を解析して選択される。これに対して、オブジェクト情報はＲ信号、Ｂ信号あるいはＲ信号とＢ信号とを併用するいずれの場合でも、入力非立体画像のシーン解析を反映していない。そして、特許文献１記載の疑似立体画像生成装置では、上記のオブジェクト情報を選択された基本奥行きモデルの画像に単純に加算する構成であるため、図１２(Ａ)に示すように背景１２１とオブジェクト(人物等の物体)１２２との分離感が乏しいという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、背景とオブジェクトとの分離感を向上させ立体効果を高め得る奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、第１の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段と、発生手段から発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成手段と、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段と、オブジェクト信号をオフセット値に基づき補正する補正手段と、合成手段により合成した基本奥行きモデル合成画像に補正手段により補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。
【０００９】
また、上記の目的を達成するため、第２の発明の奥行き推定データ生成装置は、第１の発明における第２の算定手段は、第１の算定手段が、複数の基本奥行きモデルの画像のうち平面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは奥行きを強調するオフセット値を算出し、一方、複数の基本奥行きモデルの画像のうち凹面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは飛び出しを強調するオフセット値を算出することを特徴とする。
【００１０】
また、上記の目的を達成するため、第３の発明の奥行き推定データ生成装置は、第１の発明のオブジェクト信号生成手段が、非立体画像の映像信号を構成する赤色信号と青色信号との信号割合を画素単位に算出する割合算出手段と、割合算出手段により算出された信号割合の中心を０基点に変更した値をオブジェクト信号として出力する基点変更手段とからなることを特徴とする。
【００１１】
また、上記の目的を達成するため、第４の発明の奥行き推定データ生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成ステップと、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定ステップと、オブジェクト信号をオフセット値に基づき補正する補正ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正ステップにより補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
【００１２】
また、上記の目的を達成するため、第５の発明の奥行き推定データ生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定機能と、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成機能と、供給される非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定機能と、オブジェクト信号をオフセット値に基づき補正する補正機能と、合成機能により合成した基本奥行きモデル合成画像に補正機能により補正されたオブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータに実現させることを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の疑似立体画像生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第１の発明の奥行き推定データ生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の疑似立体画像生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第４の発明の奥行き推定データ生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の疑似立体画像生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第５の発明の奥行き推定データ生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、オブジェクトと背景との分離感を向上させ、立体効果を高めることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の擬似立体画像生成装置の一実施の形態を示すブロック図である。
【図２】本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。
【図３】基本奥行きモデルタイプＡの立体構造の一例を示す図である。
【図４】基本奥行きモデルタイプＢの立体構造の一例を示す図である。
【図５】基本奥行きモデルタイプＣの立体構造の一例を示す図である。
【図６】基本奥行きモデル合成比率決定条件の一例を説明する図である。
【図７】図２中の重畳部の一実施例のブロック図である。
【図８】図７中のＲＢ割合算出部の一例の説明図である。
【図９】図７中の基点変更部の一例の説明図である。
【図１０】図７中のオフセット算出部の一例の入出力特性図である。
【図１１】図７中のオフセット加算部の一例の説明図である。
【図１２】特許文献１の疑似立体画像の一例と本発明により生成された奥行き推定データによる疑似立体画像の一例とを対比して示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
図１は、本発明になる擬似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置１は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元カラー画像（非立体画像）から擬似的な３次元カラー立体画像を生成する所謂２Ｄ３Ｄ変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。
【００２０】
疑似立体画像生成装置１は、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置１０と、奥行き推定データから入力非立体画像と共に擬似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置２０とから構成されている。ステレオ表示装置３０は、ステレオペア生成装置２０から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。
【００２１】
奥行き推定データ生成装置１０は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部１１から構成されている。奥行き推定部１１の詳細な構成は後述する。ステレオペア生成部２０は、奥行き推定部１１で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３とから構成されており、ポスト処理部２３からシフトされた左目画像２４を出力すると共に、入力映像信号である右目画像２５を出力する。すなわち、ステレオペア生成部２０は、入力非立体画像を右目画像２５としたとき、この右目画像２５と擬似的な立体画像を構成する左目画像２４を生成して右目画像２５と共にステレオペアとして出力する。ステレオペア生成部２０は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。
【００２２】
次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部１１の構成及び動作について更に詳細に説明する。
【００２３】
図２は、奥行き推定部１１の一実施例のブロック図を示す。同図に示すように、奥行き推定部１１は、画像入力部１１１、画面上部の高域成分評価部１１２、画面下部の高域成分評価部１１３、フレームメモリ１１４〜１１６、合成部１１７、及び重畳部１１９から構成されている。この奥行き推定部１１は、重畳部１１９の構成に特徴がある。
【００２４】
図２において、画像入力部１１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の入力映像信号を一時記憶した後、その１フレーム分の入力映像信号を画面上部の高域成分評価部１１２、及び画面下部の高域成分評価部１１３にそれぞれ供給すると共に、入力映像信号中の赤色信号（Ｒ信号）と青色信号（Ｂ信号）とを重畳部１１９に供給する。
【００２５】
画面上部の高域成分評価部１１２及び画面下部の高域成分評価部１１３は、本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する３種類の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段を構成している。
【００２６】
すなわち、画面上部の高域成分評価部１１２は、１フレーム分の入力映像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部１１２は、画面上部の高域成分評価値(top_act)を合成部１１７に供給する。画面下部の高域成分評価部１１３は、１フレーム分の入力映像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部１１３は、画面下部の高域成分評価値(bottom_act)を合成部１１７に供給する。
【００２７】
一方、フレームメモリ１１４は基本奥行きモデルタイプＡ、フレームメモリ１１５は基本奥行きモデルタイプＢ、フレームメモリ１１６は基本奥行きモデルタイプＣの画像を予め格納している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ擬似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。
【００２８】
例えば、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。
【００２９】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００３０】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１１４〜１１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１１７へ供給される。
【００３１】
合成部１１７は、まず、画面上部の高域成分評価部１１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００３２】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）top_actと、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）bottom_actの各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。上記の基本奥行きモデルタイプＡ〜Ｃの画像、及び上記の合成比率の決定条件は、本出願人が特許文献１等にて開示した公知の基本奥行きモデルタイプＡ〜Ｃの画像及び決定条件であるが、これに限定されるものではない。
【００３３】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ＴｙｐｅＡ／Ｂ」の領域では、下記のように上部の高域成分評価値(top_act)と下部の高域成分評価値(bottom_act)との比率で基本奥行きモデルタイプＡの値であるＴｙｐｅＡと基本奥行きモデルタイプＢの値であるＴｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるＴｙｐｅＣは比率の決定には用いられない。
【００３４】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）：（tp１−top_act）：０
また、図６において、「ＴｙｐｅＡ／Ｂ／Ｃ」の領域では、ＴｙｐｅＡ／ＢとＴｙｐｅＡ／Ｃとの平均を採用して、下記のようにＴｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００３５】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）＋（bottom_act−bms）：（tpl−top_act）：（bml−bottom_act）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００３６】
ｋ１＝ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （１）
ｋ２＝ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （２）
ｋ３＝ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （３）
合成部１１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３のうち、合成比率ｋ１と基本奥行きモデルタイプＡの値であるＴｙｐｅＡとの第１の乗算結果と、合成比率ｋ２と基本奥行きモデルタイプＢの値であるＴｙｐｅＢとの第２の乗算結果と、合成比率ｋ３と基本奥行きモデルタイプＣの値であるＴｙｐｅＣとの第３の乗算結果とをそれぞれ算出し、更にそれら３つの乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。
【００３７】
重畳部１１９は、合成部１１７から供給される基本奥行きモデル合成画像信号（これは背景の画像信号に相当する）と、画像入力部１１１から供給されるＲ信号及びＢ信号（これはオブジェクト情報を示すオブジェクト信号に相当する）とに基づいて、奥行き推定データを生成する。
【００３８】
図７は、重畳部１１９の一実施例のブロック図を示す。同図に示すように、重畳部１１９は、画像入力部１１１から供給されるＲ信号及びＢ信号に基づいてＲＢ割合RB_rateを算出するＲＢ割合算出部１１９１と、ＲＢ割合ＲＢ_rateから基点変更を行う基点変更部１１９２と、画面下部の高域成分評価１１３からの下部の高域成分評価値(bottom_act)に基づいてオフセットを算出するオフセット算出部１１９３と、基点変更部１１９２からの信号と上記オフセットとを加算する加算部１１９４と、加算部１１９４から出力される加算信号と合成部１１７から供給される合成奥行きモデルとなる画像信号とを加算して最終的な奥行き推定データを生成する加算部１１９５とから構成されている。
【００３９】
ＲＢ割合算出部１１９１と基点変更部１１９２とは、本発明のオブジェクト信号生成手段を構成している。オブジェクト信号は疑似立体画像の凹凸に関するオブジェクト情報を示す。また、オフセット算出部１１９３は、本発明において非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、オブジェクト信号による凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段を構成している。更に、加算部１１９４は、本発明においてオブジェクト信号をオフセット値に基づき補正する補正手段を構成している。
【００４０】
図８は、ＲＢ割合算出部１１９１の一例の説明図を示す。ＲＢ割合算出部１１９１は、図８においてＸ軸に示す入力Ｂ信号の値と、Ｙ軸に示す入力Ｒ信号の値とに基づいて、Ｚ軸に示されるＲＢ割合ＲＢ_rateの値を算出する。ここでは、Ｂ信号及びＲ信号は一例として８ビットにより画素の階調が表わされる信号であるものとしているので、Ｂ信号及びＲ信号の各値は０〜２５５の範囲内のいずれかの値である。ＲＢ割合ＲＢ_rateの値は、次式により画素単位に算出される。
【００４１】
ＲＢ_rate＝（０.５×Ｒ）＋｛０.５×（２５５−Ｂ）｝ （４）
ただし、（４）式中、Ｒは入力Ｒ信号の値、Ｂは入力Ｂ信号の値を示す。
【００４２】
図８において、ＲＢ割合ＲＢ_rateの値は、２００〜２５０の範囲Ia、１５０〜２００の範囲IIa、１００〜１５０の範囲IIIa、５０〜１００の範囲IVa、０〜５０の範囲Vaのいずれかの範囲に含まれる。ＲＢ割合ＲＢ_rateの値は入力映像信号の色相が赤色や黄色が強いときは範囲Ia内の大きな値となり、青色やシアンが強いときは範囲Va内の小さな値となる。
【００４３】
次に、基点変更部１１９２は、ＲＢ割合算出部１１９１により算出されたＲＢ割合ＲＢ_rateの中心を次式により０基点に変更し、変更後のＲＢ割合ＲＢ_outを加算部１１９４へ出力する。
【００４４】
ＲＢ_out＝ＲＢ_rate−１２８ （５）
これにより、基点変更部１１９２から出力される基点変更後のＲＢ割合ＲＢ_outは、図９において、Ｘ軸に示す入力Ｂ信号成分の値（０〜２５５のいずれか）と、Ｙ軸に示す入力Ｒ信号成分の値（０〜２５５のいずれか）とに対して、Ｚ軸に示される値となり、図８のＺ軸に示したＲＢ割合ＲＢ_rateの中心が０基点に変更されたものとなる。すなわち、図９において、図８の範囲Ia、IIa、IIIa、IVa、Vaの値が、範囲Ib、IIb、IIIb、IVb、Vbの値に変更される。
【００４５】
基点変更部１１９２によりＲＢ割合ＲＢ_rateの中心を０基点に変更する理由は、中心を０基点とすることで、加算部１１９４において下部の高域成分評価値と加算したときに、赤色の強い画像は手前に飛び出し、青色の強い画像は奥に引っ込むという値の加算値が得られるようにするためである。これにより、（５）式により算出され、図９に示される基点変更後のＲＢ割合ＲＢ_outは、赤色の強い画像部分を手前に配置する値（正の大なる値）となり、青色の強い画像部分を奥に配置する値（負の絶対値が大なる値）となる。また、基点変更後のＲＢ割合ＲＢ_outは、黒色や白色（グレースケール）の出力値は０となるため、奥行きは変化しない。
【００４６】
一方、オフセット算出部１１９３は、下部の高域成分評価値(bottom_act)に応じたオフセット値ＲＢ_offsetを生成して、加算部１１９４へ出力する。図１０は、オフセット算出部１１９３の入出力特性の一例を示し、横軸が入力される下部の高域成分評価値(bottom_act)の値、縦軸が出力されるオフセット値ＲＢ_offsetを示す。図１０に示すように、オフセット算出部１１９３の入出力特性は、下部の高域成分評価値(bottom_act)の値が大きいほど、オフセット値ＲＢ_offsetが大となる特性を示している。
【００４７】
この理由は、以下の通りである。図６に示すように、下部の高域成分評価値(bottom_act)が小さいときは合成部１１７において図５に示した上部が平面、下部が円筒面（軸は水平方向）とした平面モデル（基本奥行きモデルタイプＣ）の画像が選択され、下部の高域成分評価値(bottom_act)が大きいときは合成部１１７において図３や図４に示した凹面（球面）モデル（基本奥行きモデルタイプＡ又はＢ）の画像が選択されて、基本奥行きモデルタイプの画像が合成される。
【００４８】
オフセット算出部１１９３は、この基本奥行きモデルタイプの選択に合わせるように、オフセット値ＲＢ_offsetを計算している。つまり、オフセット算出部１１９３は、平面モデル寄りの下部の高域成分評価値(bottom_act)が小さいほどオブジェクトは奥行きを強調するような値の小さなオフセット値ＲＢ_offsetとし、一方、凹面モデル寄りの下部の高域成分評価値(bottom_act)が大きいほどオブジェクトは飛び出しを強調するような大きなオフセット値ＲＢ_offsetとする。これにより、背景とオブジェクトとの分離感を強調でき、立体効果をより高めることができる。
【００４９】
加算部１１９４は、上記のオフセット値ＲＢ_offsetと基点変更部１１９２からの基点変更後のＲＢ割合ＲＢ_outとを加算し、オフセットが付加された基点変更後のＲＢ割合ＲＢ_out_offsetを出力する。図１１は、基点変更後のＲＢ割合ＲＢ_outにオフセット値ＲＢ_offsetを付加してＲＢ割合ＲＢ_out_offsetが生成されることを示す図である。同図中、図９と同一部分には同一符号を付し、その説明を省略する。
【００５０】
図１１において、Ｘ軸に示す入力Ｂ信号の値（０〜２５５のいずれか）と、Ｙ軸に示す入力Ｒ信号の値（０〜２５５のいずれか）とに対して、図９のＺ軸に示した基点変更後のＲＢ割合ＲＢ_outの基点がオフセット値ＲＢ_offsetに応じて図１１のＺ軸に４１で示すように変更された、ＲＢ割合ＲＢ_out_offsetが生成される。
【００５１】
そして、加算部１１９５は、合成部１１７から供給される合成奥行きモデルとなる画像信号に、加算部１１９４から出力されるオフセットが付加された上記のＲＢ_out_offsetを加算することで、最終的な奥行き推定データを生成して出力する。
【００５２】
この最終的な奥行き推定データは、（５）式により中心が０基点に変更されたＲＢ割合ＲＢ_outに基づいて生成されているため、赤色の強い画像部分を手前に、青色の強い画像部分を奥に配置し、また黒色や白色（グレースケール）の画像部分は奥行きを変化させない。これは下記の３つの特徴に基づくものである。
【００５３】
（１）Ｒ信号成分が強い画像部分を手前に配置する理由の一つは、Ｒ信号成分の大きさが、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則によるものである。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
【００５４】
（２）Ｂ信号成分が強い画像部分を奥に配置する理由の一つは、光線の散乱により遠くにあるものほど、青色寄りに見えるという物理法則的一般論（空気遠近法）によるものである。
【００５５】
（３）暖色系は色彩学における前進色であり、寒色系（後退色）よりも奥行きが手前に認識されるという特徴があり、寒色系（後退色）は暖色系よりも奥行きが奥に認識される特徴がある。
【００５６】
再び図１に戻ってステレオペア生成装置２０の構成及び動作について説明する。テクスチャシフト部２１は、上記のようにして奥行き推定部１１により生成された奥行き推定データと、入力映像信号とに基づいて、入力映像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１は、入力映像信号が右目画像２５を示す右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した左目用画像信号を生成する。その場合、テクスチャシフト部２１は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５７】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００５８】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００５９】
オクルージョン補償部２２は、テクスチャシフト部２１より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部２３に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部２２は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献（山田邦男、望月研二、相澤清晴、齊藤隆弘："領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866（2002.5））に記載の手法でオクルージョンを補償してもよい。
【００６０】
ポスト処理手段であるポスト処理部２３は、オクルージョン補償部２２によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目画像２４を示す左目用画像信号を出力する。
【００６１】
ここで、テクスチャシフト部２１が出力する画像信号のシフト量（Ｄｄ−ｍ）／ｎ画素において、入力映像信号によって変化する奥行き推定データの値Ｄｄ以外の輻輳値ｍと奥行き値ｎは固定値であり、それぞれは０〜２５５の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が決まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値ｍと奥行き値ｎを適切に設定すれば、２Ｄ３Ｄ変換された画像は決められた範囲の視差角に収まる。そこで、擬似立体画像生成装置１は、この２Ｄ３Ｄ変換されてポスト処理部２３から出力される左目用映像信号を左目画像２４として出力し、基線長や輻輳角を調整するときの基準（手本）とする。なお、擬似立体画像生成装置１は、入力映像信号をそのまま右目画像２５として出力する。
【００６２】
このように、ステレオペア生成装置２０は、奥行き推定部１１により生成された奥行き推定データを基に、入力される非立体画像（ここでは右目画像２５）とは別視点の左目画像２４を生成して入力非立体画像（右目画像２５）と共に疑似立体画像を表示させるステレオペアとして出力する。これらの左目画像２４と右目画像２５とは、ステレオ表示装置３０へ出力される。
【００６３】
ステレオ表示装置３０とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。
【００６４】
奥行き推定データ生成装置１０、ステレオペア生成装置２０、ステレオ表示装置３０を組み合わせることにより、非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像表示システムを構成することができる。
【００６５】
以上のように、本実施の形態によれば、奥行き推定データ生成装置１０において、選択された基本奥行きモデルの画像の構図が平面寄りの場合はオブジェクト情報の値を奥行きを強調する値とし、選択された基本奥行きモデルの画像の構図が凹面寄りの場合はオブジェクト情報の値を飛び出しを強調する値として選択された基本奥行きモデルの画像に重畳するように、選択された基本奥行きモデルの画像の構図に合わせてオブジェクト情報の重畳度合いを変化させた奥行き推定データを生成するようにしたため、その奥行き推定データに基づいて生成される疑似立体画像は、例えば、図１２（Ｂ）に示すように、背景１２３と物体（人物）１２４との分離感が従来に比べて向上し、立体効果を高めたものにできる。
【００６６】
なお、本発明は以上の実施の形態に限定されるものではなく、例えばステレオペアに関して、左右反転することで左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。また、図１の疑似立体画像生成装置１においては、入力非立体画像を右目画像２５として左目画像２４を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
【００６７】
また、ステレオペア生成装置２０として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
【００６８】
また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６９】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像生成装置１や、図２及び図７に示した奥行き推定データ生成装置２０を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００７０】
１ 疑似立体画像生成装置
１０ 奥行き推定データ生成装置
１１ 奥行き推定部
２０ ステレオペア生成装置
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像
２５ 右目画像
３０ ステレオ表示装置
１１１ 画像入力部
１１２ 画面上部の高域成分評価部
１１３ 画面下部の高域成分評価部
１１４〜１１６ フレームメモリ
１１７ 合成部
１１９ 重畳部
１１９１ ＲＢ割合算出部
１１９２ 基点変更部
１１９３ オフセット算出部
１１９４、１１９５ 加算部
【特許請求の範囲】
【請求項１】
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段と、
前記発生手段から発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成手段と、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段と、
前記オブジェクト信号を前記オフセット値に基づき補正する補正手段と、
前記合成手段により合成した前記基本奥行きモデル合成画像に前記補正手段により補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
を有することを特徴とする奥行き推定データ生成装置。
【請求項２】
前記第２の算定手段は、
前記第１の算定手段が、前記複数の基本奥行きモデルの画像のうち平面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは奥行きを強調するオフセット値を算出し、一方、前記複数の基本奥行きモデルの画像のうち凹面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは飛び出しを強調するオフセット値を算出することを特徴とする請求項１記載の奥行き推定データ生成装置。
【請求項３】
前記オブジェクト信号生成手段は、
前記非立体画像の映像信号を構成する赤色信号と青色信号との信号割合を画素単位に算出する割合算出手段と、
前記割合算出手段により算出された前記信号割合の中心を０基点に変更した値を前記オブジェクト信号として出力する基点変更手段と
からなることを特徴とする請求項１又は２記載の奥行き推定データ生成装置。
【請求項４】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定ステップと、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成ステップと、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定ステップと、
前記オブジェクト信号を前記オフセット値に基づき補正する補正ステップと、
前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記補正ステップにより補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
を含むことを特徴とする奥行き推定データ生成方法。
【請求項５】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定機能と、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成機能と、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定機能と、
前記オブジェクト信号を前記オフセット値に基づき補正する補正機能と、
前記合成機能により合成した前記基本奥行きモデル合成画像に前記補正機能により補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
をコンピュータに実現させることを特徴とする奥行き推定データ生成プログラム。
【請求項６】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
を有することを特徴とする疑似立体画像生成装置。
【請求項７】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項４に記載の奥行き推定データ生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
を含むことを特徴とする疑似立体画像生成方法。
【請求項８】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項５に記載の奥行き推定データ生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とを
コンピュータに実現させることを特徴とする疑似立体画像生成プログラム。
【請求項１】
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定手段と、
前記発生手段から発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成手段と、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定手段と、
前記オブジェクト信号を前記オフセット値に基づき補正する補正手段と、
前記合成手段により合成した前記基本奥行きモデル合成画像に前記補正手段により補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
を有することを特徴とする奥行き推定データ生成装置。
【請求項２】
前記第２の算定手段は、
前記第１の算定手段が、前記複数の基本奥行きモデルの画像のうち平面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは奥行きを強調するオフセット値を算出し、一方、前記複数の基本奥行きモデルの画像のうち凹面モデル寄りの基本奥行きモデルの画像を他の基本奥行きモデルの画像に対して大なる合成比率で算定するときは飛び出しを強調するオフセット値を算出することを特徴とする請求項１記載の奥行き推定データ生成装置。
【請求項３】
前記オブジェクト信号生成手段は、
前記非立体画像の映像信号を構成する赤色信号と青色信号との信号割合を画素単位に算出する割合算出手段と、
前記割合算出手段により算出された前記信号割合の中心を０基点に変更した値を前記オブジェクト信号として出力する基点変更手段と
からなることを特徴とする請求項１又は２記載の奥行き推定データ生成装置。
【請求項４】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定ステップと、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成ステップと、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定ステップと、
前記オブジェクト信号を前記オフセット値に基づき補正する補正ステップと、
前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記補正ステップにより補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
を含むことを特徴とする奥行き推定データ生成方法。
【請求項５】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する第１の算定機能と、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号を生成するオブジェクト信号生成機能と、
供給される前記非立体画像の画面内の所定領域における画素値の少なくとも一部の前記統計量を利用して、前記オブジェクト信号による前記凹凸に関するオブジェクト情報を強調するためのオフセット値を算定する第２の算定機能と、
前記オブジェクト信号を前記オフセット値に基づき補正する補正機能と、
前記合成機能により合成した前記基本奥行きモデル合成画像に前記補正機能により補正された前記オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
をコンピュータに実現させることを特徴とする奥行き推定データ生成プログラム。
【請求項６】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
を有することを特徴とする疑似立体画像生成装置。
【請求項７】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項４に記載の奥行き推定データ生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
を含むことを特徴とする疑似立体画像生成方法。
【請求項８】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項５に記載の奥行き推定データ生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とを
コンピュータに実現させることを特徴とする疑似立体画像生成プログラム。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【図１２】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【図１２】
【公開番号】特開２０１３−７０２０５（Ｐ２０１３−７０２０５Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０６７８７（Ｐ２０１１−２０６７８７）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]