奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
【課題】同一オブジェクト内の分離やオブジェクトの位置関係の不一致の発生を防ぎ自然な立体効果をもたらす疑似立体画像を生成する。
【解決手段】高域成分検出部１１８１は、Ｒ信号の高域成分を検出する。高域成分比較部１１８２は、高域成分の値が特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、特定期間内において高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する。ゲイン算出部１１８３は、複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、入力フラグが示す閾値分割範囲に対応して設定された比率をゲインとして算出する。乗算部１１８４は、Ｒ信号とゲインとを乗算することで、Ｒ信号に比べて、画像の小面積部分で周辺画素との凹凸の差が抑制されたオブジェクト信号Ｒ’を生成する。
【解決手段】高域成分検出部１１８１は、Ｒ信号の高域成分を検出する。高域成分比較部１１８２は、高域成分の値が特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、特定期間内において高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する。ゲイン算出部１１８３は、複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、入力フラグが示す閾値分割範囲に対応して設定された比率をゲインとして算出する。乗算部１１８４は、Ｒ信号とゲインとを乗算することで、Ｒ信号に比べて、画像の小面積部分で周辺画素との凹凸の差が抑制されたオブジェクト信号Ｒ’を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施すことで、立体感を感じさせる別視点の非立体画像を生成し、出力する擬似立体画像の生成装置、生成方法及び生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の擬似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号（Ｒ信号）とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その基本奥行きモデルの合成画像にオブジェクト情報として非立体画像のＲ信号を重畳することで、最終的な奥行き推定データを生成している。
【０００６】
しかしながら、特許文献１記載の疑似立体画像生成装置では、どのような絵柄に対してもＲ信号のレベルのみに依存して基本奥行きモデルの合成画像に重畳して奥行き推定データを生成するため、例えば同一オブジェクト内の細かい部分（小面積）だけが過度に飛び出して見える場合があり、その結果、同一オブジェクト内の分離やオブジェクトの位置関係の不一致が発生するという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、同一オブジェクト内の分離やオブジェクトの位置関係の不一致の発生を防ぎ自然な立体効果をもたらす疑似立体画像を生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、第１の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、発生手段から発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出手段と、高域成分検出手段により検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成手段と、オブジェクト信号とゲイン生成手段からのゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成手段と、合成手段により合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。
【０００９】
また、上記の目的を達成するため、第２の発明の奥行き推定データ生成装置は、第１の発明における上記ゲイン生成手段が、高域成分検出手段から供給される高域成分の値が、オブジェクト信号の予め設定した特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、特定期間内において高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する高域成分比較手段と、複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、高域成分比較手段から供給されるフラグが示す閾値分割範囲に対応して設定された比率をゲインとして算出するゲイン算出手段とを有することを特徴とする。
【００１０】
また、上記の目的を達成するため、第３の発明の奥行き推定データ生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出ステップと、高域成分検出ステップにより検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成ステップと、オブジェクト信号とゲイン生成ステップで生成されたゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
また、上記の目的を達成するため、第４の発明の奥行き推定データ生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出機能と、高域成分検出機能により検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成機能と、オブジェクト信号とゲイン生成機能で生成されたゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成機能と、合成機能により合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータにより実現させることを特徴とする。
【００１１】
また、上記の目的を達成するため、第５の発明の疑似立体画像生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。
【００１２】
また、上記の目的を達成するため、第６の発明の疑似立体画像生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第３の発明の奥行き推定データ生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。
【００１３】
更に、上記の目的を達成するため、第７の発明の疑似立体画像生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第４の発明の奥行き推定データ生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、同一オブジェクト内の分離やオブジェクトの位置関係の不一致の発生を防ぎ、自然な立体効果をもたらす疑似立体画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の擬似立体画像生成装置の一実施の形態を示すブロック図である。
【図２】本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。
【図３】基本奥行きモデルタイプＡの立体構造の一例を示す図である。
【図４】基本奥行きモデルタイプＢの立体構造の一例を示す図である。
【図５】基本奥行きモデルタイプＣの立体構造の一例を示す図である。
【図６】基本奥行きモデル合成比率決定条件の一例を説明する図である。
【図７】図２中のオブジェクト信号補正部の一実施例のブロック図である。
【図８】図７中の高域成分検出部の一例の動作説明図である。
【図９】図７中の高域成分比較部の一例の比較動作説明図である。
【図１０】図７中の高域成分比較部の一例の比較期間説明図である。
【図１１】図７中のオブジェクト信号補正部の一例の動作説明用タイミングチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
図１は、本発明になる擬似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置１は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元カラー画像（非立体画像）から擬似的な３次元カラー立体画像を生成する所謂２Ｄ３Ｄ変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。
【００１８】
疑似立体画像生成装置１は、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置１０と、奥行き推定データから入力非立体画像と共に擬似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置２０とから構成されている。ステレオ表示装置３０は、ステレオペア生成装置２０から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。
【００１９】
奥行き推定データ生成装置１０は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部１１から構成されている。奥行き推定部１１の詳細な構成は後述する。ステレオペア生成部２０は、奥行き推定部１１で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３とから構成されており、ポスト処理部２３からシフトされた左目画像２４を出力すると共に、入力映像信号である右目画像２５を出力する。すなわち、ステレオペア生成部２０は、入力非立体画像を右目画像２５としたとき、この右目画像２５と擬似的な立体画像を構成する左目画像２４を生成して右目画像２５と共にステレオペアとして出力する。ステレオペア生成部２０は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。
【００２０】
次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部１１の構成及び動作について更に詳細に説明する。
【００２１】
図２は、奥行き推定部１１の一実施例のブロック図を示す。同図に示すように、奥行き推定部１１は、画像入力部１１１、画面上部の高域成分評価部１１２、画面下部の高域成分評価部１１３、フレームメモリ１１４〜１１６、合成部１１７、オブジェクト信号補正部１１８及び加算部１１９から構成されている。この奥行き推定部１１は、オブジェクト信号補正部１１８の構成に特徴がある。
【００２２】
図２において、画像入力部１１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の入力映像信号を一時記憶した後、その１フレーム分の入力映像信号中の輝度信号を画面上部の高域成分評価部１１２、及び画面下部の高域成分評価部１１３にそれぞれ供給すると共に、入力映像信号中の赤色信号（Ｒ信号）をオブジェクト信号補正部１１８に供給する。
【００２３】
画面上部の高域成分評価部１１２及び画面下部の高域成分評価部１１３は、本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する３種類の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段を構成している。
【００２４】
すなわち、画面上部の高域成分評価部１１２は、１フレーム分の入力映像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部１１２は、画面上部の高域成分評価値(top_act)を合成部１１７に供給する。画面下部の高域成分評価部１１３は、１フレーム分の入力映像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部１１３は、画面下部の高域成分評価値(bottom_act)を合成部１１７に供給する。画面上部の高域成分評価値(top_act)及び画面下部の高域成分評価値(bottom_act)は、それぞれ非立体画像の画面上部、画面下部の各所定領域（各２０％領域）における画素値の統計量を示す。なお、高域成分は非立体画像のエッジを示す周波数信号成分である。
【００２５】
一方、フレームメモリ１１４は基本奥行きモデルタイプＡ、フレームメモリ１１５は基本奥行きモデルタイプＢ、フレームメモリ１１６は基本奥行きモデルタイプＣの画像を予め格納しており、本発明の奥行き推定データ生成装置の発生手段を構成している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ擬似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。
【００２６】
例えば、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００２７】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００２８】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１１４〜１１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１１７へ供給される。
【００２９】
合成部１１７は、まず、画面上部の高域成分評価部１１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００３０】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）top_actと、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）bottom_actの各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。
【００３１】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ＴｙｐｅＡ／Ｂ」の領域では、下記のように上部の高域成分評価値(top_act)と下部の高域成分評価値(bottom_act)との比率で基本奥行きモデルタイプＡの値であるＴｙｐｅＡと基本奥行きモデルタイプＢの値であるＴｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるＴｙｐｅＣは比率の決定には用いられない。
【００３２】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）：（tp１−top_act）：０
また、図６において、「ＴｙｐｅＡ／Ｂ／Ｃ」の領域では、ＴｙｐｅＡ／ＢとＴｙｐｅＡ／Ｃとの平均を採用して、下記のようにＴｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００３３】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）＋（bottom_act−bms）：（tpl−top_act）：（bml−bottom_act）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００３４】
ｋ１＝ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （１）
ｋ２＝ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （２）
ｋ３＝ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （３）
合成部１１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３のうち、合成比率ｋ１と基本奥行きモデルタイプＡの値であるＴｙｐｅＡとの第１の乗算結果と、合成比率ｋ２と基本奥行きモデルタイプＢの値であるＴｙｐｅＢとの第２の乗算結果と、合成比率ｋ３と基本奥行きモデルタイプＣの値であるＴｙｐｅＣとの第３の乗算結果とをそれぞれ算出し、更にそれら３つの乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。
【００３５】
なお、上記の基本奥行きモデルタイプＡ〜Ｃの画像、及び上記の合成比率の決定条件は、本出願人が特許文献１にて開示した公知の基本奥行きモデルタイプＡ〜Ｃの画像及び決定条件であるが、これに限定されるものではない。また、合成部１１７の構成は本出願人が特開２００６−１８５０３３号公報にて開示した構成であってもよい。
【００３６】
このように、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルタイプを用意し、上記の合成部１１７において基本奥行きモデルタイプＡの画像を基本にしながらも、上部の高域成分評価値top_actが小さい場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して画面上部の奥行きを深くした基本奥行きモデルタイプＢの画像の合成比率を増加させ、下部の高域成分評価値bottom_actが小さい場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きの浅くなる基本奥行きモデルタイプＣの画像の合成比率を増加させる合成処理を行うことで、どのような画像に対しても違和感を感じさせることがなく、またできる限り現実に近いシーン構造の決定を行うことができる。
【００３７】
次に、オブジェクト信号補正部１１８は、画像入力部１１１から供給される入力映像信号中のＲ信号（これは生成する疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号に相当する）を補正し、補正後のオブジェクト信号Ｒ’を加算部１１９に供給する。Ｒ信号をオブジェクト信号として使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００３８】
図７は、オブジェクト信号補正部１１８の一実施例のブロック図を示す。同図に示すように、オブジェクト信号補正部１１８は、画像入力部１１１から供給されるオブジェクト信号であるＲ信号の高域成分を検出する高域成分検出部１１８１と、上記の高域成分と分割した複数の閾値範囲とを比較する高域成分比較部１１８２と、高域成分比較部１１８２の比較結果に応じてゲインを算出するゲイン算出部１１８３と、ゲインとオブジェクト信号（Ｒ信号）とを乗算する乗算部１１８４と、乗算部１１８４から出力される乗算信号の高域成分を低減し、補正後のオブジェクト信号（Ｒ’信号）を生成する空間ローパスフィルタ（ＬＰＦ）１１８５とから構成されている。
【００３９】
高域成分検出部１１８１は、画像入力部１１１から非立体画像の入力映像信号中のＲ信号がオブジェクト信号として供給され、そのＲ信号の高域成分を検出する。Ｒ信号の高域成分は入力映像信号のエッジ成分を示す。
【００４０】
図８は、高域成分検出部１１８１の検出位相の説明図を示す。高域成分検出部１１８１は、図８（Ａ）のように、現在の画素を黒丸で示し、検出位相の画素を白丸で示すものとすると、図８（Ｂ）に模式的に示すように、画面水平方向において処理対象の現在の画素ｐに対して左側に隣接する画素ｘ_ｍと右側に隣接する画素ｘ_ｐとの差分の絶対値（水平差分Ａｃｔ_Ｈ）を算出し、また、図８（Ｃ）に模式的に示すように、画面垂直方向において処理対象の現在の画素ｐに対して１ライン上側の隣接画素ｙ_ｍと１ライン下側の隣接画素ｙ_ｐとの差分の絶対値（垂直差分Ａｃｔ_Ｖ）を算出する。従って、水平差分Ａｃｔ_Ｈと垂直差分Ａｃｔ_Ｖはそれぞれ次式により算出される。
【００４１】
Ａｃｔ_Ｈ＝ａｂｓ（ｘ_ｍ−ｘ_ｐ） （４）
Ａｃｔ_Ｖ＝ａｂｓ（ｙ_ｍ−ｙ_ｐ） （５）
ここで、（４）式及び（５）式中、ａｂｓは絶対値を意味する。
そして、高域成分検出部１１８１は、上記の水平差分Ａｃｔ_Ｈと垂直差分Ａｃｔ_Ｖとを次式のように加算することで、高域成分Ａｃｔ_ＨＶを算出する。
【００４２】
Ａｃｔ_ＨＶ＝Ａｃｔ_Ｈ＋Ａｃｔ_Ｖ （６）
高域成分比較部１１８２は、高域成分検出部１１８１から供給される高域成分Ａｃｔ_ＨＶが、図９に示す５つに分割された閾値範囲を示すスレッショルドレンジＲａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅのいずれに入っているかを示す比較結果を次式により求める。
【００４３】
Range_a＝Edge_th＜Act_HV (７a）
Range_b＝Edge_th×3/4＜Act_HV≦Edge_th (７b）
Range_c＝Edge_th×2/4＜Act_HV≦Edge_th×3/4 （７c）
Range_d＝Edge_th×1/4＜Act_HV≦Edge_th×2/4 （７d）
Range_e＝Act_HV≦Edge_th×1/4 （７e）
ここで、Ｒａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅは、（７ａ）式〜（７ｅ）式の右辺の不等式を満足するとき値が「１」、満足しないとき値が「０」である。なお、Edge_thは予め設定した閾値で、例えば「４０」である。従って、一例として、高域成分Ａｃｔ_ＨＶが「３５」であるときは、高域成分比較部１１８２は、（７ｂ）式の不等式のみを満足するので、Ｒａｎｇｅ_ａ＝０、Ｒａｎｇｅ_ｂ＝１、Ｒａｎｇｅ_ｃ＝０、Ｒａｎｇｅ_ｄ＝０、Ｒａｎｇｅ_ｅ＝０の比較結果を出力する。
【００４４】
続いて、高域成分比較部１１８２は、図１０に示すように、上記の比較結果が得られた黒丸で示す現在の画素を中心とし、現在の画素の左右各３画素（白丸で示す）からなる計７画素において、前記の５つのスレッショルドレンジＲａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅのいずれに含まれているかを判別し、含まれているスレッショルドレンジのうち、最も閾値レベルが大きいスレッショルドレンジに対応したフラグＦｌａｇに「１」をたてる。従って、高域成分比較部１１８２は、上記の連続する７画素期間において、例えばＲａｎｇｅ_ａ＝１、Ｒａｎｇｅ_ｅ＝１の比較結果を判別した場合は、閾値レベルが大きい方のスレッショルドレンジＲａｎｇｅ_ａに対応したフラグｆｌａｇ_ａに「１」をたてる。このような動作は次式により示される。
【００４５】
for( x＝−3；x＜＝3；x++){
if( Range_a(x)==1) Flag_a＝1;
if( Range_b(x)==1) Flag_b＝1;
if( Range_c(x)==1) Flag_c＝1;
if( Range_d(x)==1) Flag_d＝1;
if( Range_e(x)==1) Flag_e＝1;
} （８）
図１０に示した高域成分比較部１１８２における高域成分の比較期間である７画素期間は、オブジェクト内の小面積部分を示す特定期間である。ただし、高域成分比較部１１８２における特定期間は、図１０に示した７画素期間に限定されるものではない。
【００４６】
ゲイン算出部１１８３は、高域成分比較部１１８２から供給される上記フラグに従い、次式に示す計算式によりゲイン（Depth_Gain）を算出する。
【００４７】
if( Flag_a == 1) Depth_Gain＝2／8；
else if( Flag_b == 1) Depth_Gain＝3／8；
else if( Flag_c == 1) Depth_Gain＝5／8；
else if( Flag_d == 1) Depth_Gain＝7／8；
else Depth_Gain＝8／8； （９）
従って、ゲイン算出部１１８３は、高域成分比較部１１８２から供給されるフラグFlag_a〜Flag_eのうち値「１」であるフラグが、スレッショルドレンジの閾値レベルが大きいフラグであるほど、小なる値のゲイン（Depth_Gain）を算出し、値「１」であるフラグが閾値レベルが最小のスレッショルドレンジＲａｎｇｅ_ｅを示すFlag_eであるときは最大値「１」のゲイン（Depth_Gain）を算出する。（９）式に示すようにゲイン（Depth_Gain）は１以下で０より大なる比率を示す。
【００４８】
乗算部１１８４は、ゲイン算出部１１８３により算出されたゲイン（Depth_Gain）を、次式に示すように画像入力部１１１から供給される入力映像信号中のＲ信号と乗算して乗算結果Ｒ_outを出力する。
【００４９】
Ｒ_out＝Ｒ×Depth_Gain （１０）
ただし、（１０）式中、ＲはＲ信号の現在の画素の画素値を示す。
【００５０】
空間ＬＰＦ１１８５は、乗算結果Ｒ_outに対して空間低域フィルタ特性を施してＲ’信号を生成する。ここで、空間ＬＰＦ１１８５は、水平ＬＰＦと垂直ＬＰＦとが縦続接続された公知のデジタルフィルタの構成とされている。一例として、上記水平ＬＰＦは各々遅延時間が１水平走査期間である縦続接続された遅延素子８個と、入力信号又は各遅延素子の出力信号をそれぞれ各タップ係数１／３２、２／３２、４／３２、６／３２、６／３２、６／３２、４／３２、２／３２、１／３２と乗算する９個の乗算器と、それらの乗算結果を合成する加算器からなる９タップの構成である。また、上記垂直ＬＰＦは、各々遅延時間が１垂直走査期間である縦続接続された遅延素子２個と、入力信号又は各遅延素子の出力信号をそれぞれ各タップ係数１／４、２／４、１／４と乗算する３個の乗算器と、それらの乗算結果を合成する加算器からなる３タップの構成である。
【００５１】
非立体画像の凹凸成分の変化が大きい領域については、後段のステレオペア生成部２０においてテクスチャシフトされたシフト画素が、周辺の画素と重なったり、表示する画素が存在しなかったりするため、シフト画像の破綻が目立つようになる。この問題に対して、空間ＬＰＦ１１８５は乗算部１１８４からの乗算信号の高域成分を低減することで凹凸成分を滑らかにするものであり、連続する凹凸成分の変化が大きいときに発生する、シフト処理画像の不自然性を緩和する働きがある。
【００５２】
次に、オブジェクト信号補正部１１８の動作について、図１１のタイミングチャートと共に更に詳細に説明する。一例として、図１１（Ａ）に模式的に示すように、入力Ｒ信号は時刻ｔ３から時刻ｔ６までの期間伝送される黒丸で示す５画素の小面積部分の値が「８０」で、それ以外の白丸で示す画素値は「０」であるものとする。従って、この場合、特許文献１記載の疑似立体画像生成装置におけるＲ信号のゲインは、図１１（Ｂ）に示すように、時刻ｔ３から時刻ｔ６までの期間「８０」、それ以外の期間は「０」である。なお、Ｒ信号は一例として０〜２５５の範囲内の画素値を絵柄に応じて示すものとする。
【００５３】
この入力Ｒ信号に対して、高域成分検出部１１８１は、図１１（Ｃ）に示すように、時刻ｔ３で入力される値「８０」の１番目の画素の左側に隣接する値「０」の画素の入力時刻ｔ２から右側に隣接する値「８０」の２番目の画素の入力時刻ｔ４までの期間、値「８０」の高域成分Ａｃｔ_ＨＶを出力する。また、高域成分検出部１１８１は、図１１（Ｃ）に示すように、値「８０」の画素に続いて入力される値「０」の最初の画素の左側に隣接する値「８０」の５番目の画素の入力時刻ｔ５から上記最初の画素の右側に隣接する値「０」の画素の入力時刻ｔ７までの期間、値「８０」の高域成分Ａｃｔ_ＨＶを出力する。
【００５４】
これにより、高域成分比較部１１８２は、時刻ｔ２の画素の３画素前の画素入力時刻ｔ１から時刻ｔ７の画素の３画素後４画素目の入力時刻ｔ８までの期間、（８）式に従い「１」の値のフラグFlag_aを出力する。また、時刻ｔ１以前、及び時刻ｔ８以降の期間では、（８）式に従い「１」の値のフラグFlag_eを出力する。従って、ゲイン算出部１１８３は、（９）式に従い、図１１（Ｄ）に示すように、上記の時刻ｔ１から時刻ｔ８までの期間は値が「２／８」で、時刻ｔ１以前、及び時刻ｔ８以降の期間では値が「１」であるゲインDepth_Gainを算出して出力する。
【００５５】
従って、乗算部１１８４は、図１１（Ｅ）に示すように、値が「８０」である時刻ｔ３から時刻ｔ６までのＲ信号入力期間のみ値が「２０」（＝８０×２／８）で、時刻ｔ３以前及び時刻ｔ６以降の値が「０」のＲ信号入力期間では値が「０」（＝０×１又は０×２／８）である信号Ｒ_outを（１０）式により算出して出力する。
【００５６】
これにより、空間ＬＰＦ１１８５は乗算部１１８４から供給される図１１（Ｅ）に示す信号Ｒ_outに対して所定の空間低域フィルタ特性を施し、図１１（Ｆ）に示すように、時刻ｔ２から時刻ｔ４の期間、値「０」から値「２０」へ滑らかに立ち上がり、時刻ｔ５から時刻ｔ７の期間、値「２０」から値「０」へ滑らかに立ち下がる波形のＲ’信号を補正されたオブジェクト信号として生成する。このＲ’信号は、図２の加算部１１９に供給される。加算部１１９は、合成部１１７から供給される合成奥行きモデルとなる画像信号（すなわち、背景の画像信号）と、加算信号生成部１１８から供給されるＲ’信号（すなわち、画像の凹凸を示す補正されたオブジェクト信号）とを加算して最終的な奥行き推定データを生成する。
【００５７】
このように、本実施の形態の奥行き推定部１１では、奥行き推定データを生成するために、加算部１１９において合成奥行きモデルとなる画像信号と加算されるオブジェクト信号を、図１１（Ｂ）に示したＲ信号に比べて、画像の小面積部分で周辺画素との凹凸の差が抑制された図１１（Ｆ）に示したＲ’信号としたため、例えば同一オブジェクト内の細かい部分（小面積）だけが過度に飛び出して見える現象を抑制することができる。その結果、本実施の形態によれば、同一オブジェクト内の分離やオブジェクトの位置関係の不一致が発生するという課題を解決することができる。
【００５８】
再び図１に戻って説明する。テクスチャシフト部２１は、上記のようにして奥行き推定部１１により生成された奥行き推定データと、入力映像信号とに基づいて、入力映像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１は、入力映像信号が右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部２１は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５９】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００６０】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００６１】
なお、本発明は以上の実施の形態に限定されるものではなく、例えばオブジェクト信号補正部１１８は、空間ＬＰＦ１１８５を省略し構成としてもよい。また、オブジェクト信号補正部１１８の補正対象のオブジェクト信号はＲ信号に限定されるものではなく、青色信号（Ｂ信号）でもよい。赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能であるからである。更には、オブジェクト信号としてＲ信号とＢ信号とを併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００６２】
また、高域成分比較部１１８２は、特定期間内において高域成分が分割された複数の閾値分割範囲内のどの閾値分割範囲内に含まれるかを検出し、更に検出した閾値分割範囲に応じたフラグに「１」を立てているが、閾値を設けることなく供給される高域成分の値を検出するように構成してもよい。
【００６３】
また、ステレオペアに関して、左右反転することで左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。また、図１の疑似立体画像生成装置１においては、入力非立体画像を右目画像２５として左目画像２４を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
【００６４】
また、ステレオペア生成装置２０として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
【００６５】
また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６６】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像生成装置１や、図２及び図７に示した奥行き推定データ生成装置２０を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００６７】
１ 疑似立体画像生成装置
１０ 奥行き推定データ生成装置
１１ 奥行き推定部
２０ ステレオペア生成装置
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像
２５ 右目画像
３０ ステレオ表示装置
１１１ 画像入力部
１１２ 画面上部の高域成分評価部
１１３ 画面下部の高域成分評価部
１１４〜１１６ フレームメモリ
１１７ 合成部
１１８ オブジェクト信号補正部
１１９ 加算部
１１８１ 高域成分検出部
１１８２ 高域成分比較部
１１８３ ゲイン算出部
１１８４ 乗算部
１１８５ 空間ＬＰＦ（ローパスフィルタ）
【技術分野】
【０００１】
本発明は奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに上記奥行き推定データを基にした処理を上記非立体画像に施すことで、立体感を感じさせる別視点の非立体画像を生成し、出力する擬似立体画像の生成装置、生成方法及び生成プログラムに関する。
【背景技術】
【０００２】
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画を構成する時系列的に連続した複数の画像、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の擬似立体画像生成装置は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルの画像を用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルの画像を合成する。続いて、合成した基本奥行きモデルの画像と入力非立体画像の赤色信号（Ｒ信号）とを重畳することで、最終的な奥行き推定データを生成する。そして、この奥行き推定データを基にした処理を入力非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の疑似立体画像生成装置は、入力非立体画像の高域成分評価値に応じて決定した合成比率に応じて複数種類の基本奥行きモデルの画像を合成し、その基本奥行きモデルの合成画像にオブジェクト情報として非立体画像のＲ信号を重畳することで、最終的な奥行き推定データを生成している。
【０００６】
しかしながら、特許文献１記載の疑似立体画像生成装置では、どのような絵柄に対してもＲ信号のレベルのみに依存して基本奥行きモデルの合成画像に重畳して奥行き推定データを生成するため、例えば同一オブジェクト内の細かい部分（小面積）だけが過度に飛び出して見える場合があり、その結果、同一オブジェクト内の分離やオブジェクトの位置関係の不一致が発生するという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、同一オブジェクト内の分離やオブジェクトの位置関係の不一致の発生を防ぎ自然な立体効果をもたらす疑似立体画像を生成する奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、第１の発明の奥行き推定データ生成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、発生手段から発生した複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出手段と、高域成分検出手段により検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成手段と、オブジェクト信号とゲイン生成手段からのゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成手段と、合成手段により合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段とを有することを特徴とする。
【０００９】
また、上記の目的を達成するため、第２の発明の奥行き推定データ生成装置は、第１の発明における上記ゲイン生成手段が、高域成分検出手段から供給される高域成分の値が、オブジェクト信号の予め設定した特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、特定期間内において高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する高域成分比較手段と、複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、高域成分比較手段から供給されるフラグが示す閾値分割範囲に対応して設定された比率をゲインとして算出するゲイン算出手段とを有することを特徴とする。
【００１０】
また、上記の目的を達成するため、第３の発明の奥行き推定データ生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出ステップと、高域成分検出ステップにより検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成ステップと、オブジェクト信号とゲイン生成ステップで生成されたゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成ステップと、合成ステップにより合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップとを含むことを特徴とする。
また、上記の目的を達成するため、第４の発明の奥行き推定データ生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、複数の基本奥行きモデルの画像を、合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出機能と、高域成分検出機能により検出された高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成機能と、オブジェクト信号とゲイン生成機能で生成されたゲインとを乗算して、オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成機能と、合成機能により合成した基本奥行きモデル合成画像に補正オブジェクト信号を加算して、非立体画像と共に擬似的な立体画像を構成する、非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能とをコンピュータにより実現させることを特徴とする。
【００１１】
また、上記の目的を達成するため、第５の発明の疑似立体画像生成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段とを有することを特徴とする。
【００１２】
また、上記の目的を達成するため、第６の発明の疑似立体画像生成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第３の発明の奥行き推定データ生成方法にて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップとを含むことを特徴とする。
【００１３】
更に、上記の目的を達成するため、第７の発明の疑似立体画像生成プログラムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される第４の発明の奥行き推定データ生成プログラムにて生成された奥行き推定データと、非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、非立体画像及び別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能とをコンピュータに実現させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、同一オブジェクト内の分離やオブジェクトの位置関係の不一致の発生を防ぎ、自然な立体効果をもたらす疑似立体画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の擬似立体画像生成装置の一実施の形態を示すブロック図である。
【図２】本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部のブロック図である。
【図３】基本奥行きモデルタイプＡの立体構造の一例を示す図である。
【図４】基本奥行きモデルタイプＢの立体構造の一例を示す図である。
【図５】基本奥行きモデルタイプＣの立体構造の一例を示す図である。
【図６】基本奥行きモデル合成比率決定条件の一例を説明する図である。
【図７】図２中のオブジェクト信号補正部の一実施例のブロック図である。
【図８】図７中の高域成分検出部の一例の動作説明図である。
【図９】図７中の高域成分比較部の一例の比較動作説明図である。
【図１０】図７中の高域成分比較部の一例の比較期間説明図である。
【図１１】図７中のオブジェクト信号補正部の一例の動作説明用タイミングチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１７】
図１は、本発明になる擬似立体画像生成装置の一実施の形態のブロック図を示す。本実施の形態の疑似立体画像生成装置１は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元カラー画像（非立体画像）から擬似的な３次元カラー立体画像を生成する所謂２Ｄ３Ｄ変換を行う装置であり、非立体画像の入力映像信号に基づいて、入力非立体画像の視点と別視点の画像を生成する。
【００１８】
疑似立体画像生成装置１は、非立体画像の入力映像信号に対して奥行き推定データを生成する奥行き推定データ生成装置１０と、奥行き推定データから入力非立体画像と共に擬似的な立体画像を構成する、入力非立体画像とは別視点の画像を生成して入力非立体画像と共にステレオペアとして出力するステレオペア生成装置２０とから構成されている。ステレオ表示装置３０は、ステレオペア生成装置２０から出力されたステレオペアを入力信号として受け、疑似的な立体画像を表示する。
【００１９】
奥行き推定データ生成装置１０は、本発明になる奥行き推定データ生成装置の一実施の形態である奥行き推定部１１から構成されている。奥行き推定部１１の詳細な構成は後述する。ステレオペア生成部２０は、奥行き推定部１１で生成された奥行き推定データに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３とから構成されており、ポスト処理部２３からシフトされた左目画像２４を出力すると共に、入力映像信号である右目画像２５を出力する。すなわち、ステレオペア生成部２０は、入力非立体画像を右目画像２５としたとき、この右目画像２５と擬似的な立体画像を構成する左目画像２４を生成して右目画像２５と共にステレオペアとして出力する。ステレオペア生成部２０は、奥行き推定データと非立体画像とに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段を構成している。
【００２０】
次に、本発明の奥行き推定データ生成装置の一実施の形態を構成する奥行き推定部１１の構成及び動作について更に詳細に説明する。
【００２１】
図２は、奥行き推定部１１の一実施例のブロック図を示す。同図に示すように、奥行き推定部１１は、画像入力部１１１、画面上部の高域成分評価部１１２、画面下部の高域成分評価部１１３、フレームメモリ１１４〜１１６、合成部１１７、オブジェクト信号補正部１１８及び加算部１１９から構成されている。この奥行き推定部１１は、オブジェクト信号補正部１１８の構成に特徴がある。
【００２２】
図２において、画像入力部１１１は、フレームメモリを備えており、非立体画像信号である１フレーム分の入力映像信号を一時記憶した後、その１フレーム分の入力映像信号中の輝度信号を画面上部の高域成分評価部１１２、及び画面下部の高域成分評価部１１３にそれぞれ供給すると共に、入力映像信号中の赤色信号（Ｒ信号）をオブジェクト信号補正部１１８に供給する。
【００２３】
画面上部の高域成分評価部１１２及び画面下部の高域成分評価部１１３は、本発明においてそれぞれ非立体画像のシーン構造を推定するために、非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、後述する３種類の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段を構成している。
【００２４】
すなわち、画面上部の高域成分評価部１１２は、１フレーム分の入力映像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値(top_act)として算出する。そして、画面上部の高域成分評価部１１２は、画面上部の高域成分評価値(top_act)を合成部１１７に供給する。画面下部の高域成分評価部１１３は、１フレーム分の入力映像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値(bottom_act)として算出する。そして、画面下部の高域成分評価部１１３は、画面下部の高域成分評価値(bottom_act)を合成部１１７に供給する。画面上部の高域成分評価値(top_act)及び画面下部の高域成分評価値(bottom_act)は、それぞれ非立体画像の画面上部、画面下部の各所定領域（各２０％領域）における画素値の統計量を示す。なお、高域成分は非立体画像のエッジを示す周波数信号成分である。
【００２５】
一方、フレームメモリ１１４は基本奥行きモデルタイプＡ、フレームメモリ１１５は基本奥行きモデルタイプＢ、フレームメモリ１１６は基本奥行きモデルタイプＣの画像を予め格納しており、本発明の奥行き推定データ生成装置の発生手段を構成している。これらの基本奥行きモデルタイプＡ〜Ｃの画像は、それぞれ擬似立体画像信号を生成するための基本となるシーン構造の奥行き値を示す画像である。
【００２６】
例えば、上記の基本奥行きモデルタイプＡの画像は、球面状の凹面による奥行きモデルの画像で、図３に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
【００２７】
また、上記の基本奥行きモデルタイプＢの画像は、基本奥行きモデルタイプＡの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図４に立体構造を示すような、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。
【００２８】
更に、上記の基本奥行きモデルタイプＣの画像は、図５に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１１４〜１１６に格納されている、これら基本奥行きモデルタイプＡ〜Ｃの画像は、合成部１１７へ供給される。
【００２９】
合成部１１７は、まず、画面上部の高域成分評価部１１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプＡの合成比率ｋ１、基本奥行きモデルタイプＢの合成比率ｋ２、基本奥行きモデルタイプＣの合成比率ｋ３を自動的に算出する。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。
【００３０】
図６は、合成比率の決定条件の一例を示す。図６は、横軸に示す画面上部の高域成分評価値（以下、上部の高域成分評価値と略す）top_actと、縦軸に示す画面下部の高域成分評価値（以下、下部の高域成分評価値と略す）bottom_actの各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。
【００３１】
図６において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図６において、「ＴｙｐｅＡ／Ｂ」の領域では、下記のように上部の高域成分評価値(top_act)と下部の高域成分評価値(bottom_act)との比率で基本奥行きモデルタイプＡの値であるＴｙｐｅＡと基本奥行きモデルタイプＢの値であるＴｙｐｅＢの比率が決定され、基本奥行きモデルタイプＣの値であるＴｙｐｅＣは比率の決定には用いられない。
【００３２】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）：（tp１−top_act）：０
また、図６において、「ＴｙｐｅＡ／Ｂ／Ｃ」の領域では、ＴｙｐｅＡ／ＢとＴｙｐｅＡ／Ｃとの平均を採用して、下記のようにＴｙｐｅＡ／Ｂ／Ｃの値が決定される。
【００３３】
ＴｙｐｅＡ：ＴｙｐｅＢ：ＴｙｐｅＣ
＝（top_act−tps）＋（bottom_act−bms）：（tpl−top_act）：（bml−bottom_act）
なお、合成比率ｋ１、ｋ２、ｋ３は次式で算出される。
【００３４】
ｋ１＝ＴｙｐｅＡ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （１）
ｋ２＝ＴｙｐｅＢ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （２）
ｋ３＝ＴｙｐｅＣ／（ＴｙｐｅＡ＋ＴｙｐｅＢ＋ＴｙｐｅＣ） （３）
合成部１１７は、続いて、上記のように算出した合成比率ｋ１〜ｋ３のうち、合成比率ｋ１と基本奥行きモデルタイプＡの値であるＴｙｐｅＡとの第１の乗算結果と、合成比率ｋ２と基本奥行きモデルタイプＢの値であるＴｙｐｅＢとの第２の乗算結果と、合成比率ｋ３と基本奥行きモデルタイプＣの値であるＴｙｐｅＣとの第３の乗算結果とをそれぞれ算出し、更にそれら３つの乗算結果を加算して合成奥行きモデルとなる画像信号を生成する。
【００３５】
なお、上記の基本奥行きモデルタイプＡ〜Ｃの画像、及び上記の合成比率の決定条件は、本出願人が特許文献１にて開示した公知の基本奥行きモデルタイプＡ〜Ｃの画像及び決定条件であるが、これに限定されるものではない。また、合成部１１７の構成は本出願人が特開２００６−１８５０３３号公報にて開示した構成であってもよい。
【００３６】
このように、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルタイプを用意し、上記の合成部１１７において基本奥行きモデルタイプＡの画像を基本にしながらも、上部の高域成分評価値top_actが小さい場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して画面上部の奥行きを深くした基本奥行きモデルタイプＢの画像の合成比率を増加させ、下部の高域成分評価値bottom_actが小さい場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きの浅くなる基本奥行きモデルタイプＣの画像の合成比率を増加させる合成処理を行うことで、どのような画像に対しても違和感を感じさせることがなく、またできる限り現実に近いシーン構造の決定を行うことができる。
【００３７】
次に、オブジェクト信号補正部１１８は、画像入力部１１１から供給される入力映像信号中のＲ信号（これは生成する疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号に相当する）を補正し、補正後のオブジェクト信号Ｒ’を加算部１１９に供給する。Ｒ信号をオブジェクト信号として使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
【００３８】
図７は、オブジェクト信号補正部１１８の一実施例のブロック図を示す。同図に示すように、オブジェクト信号補正部１１８は、画像入力部１１１から供給されるオブジェクト信号であるＲ信号の高域成分を検出する高域成分検出部１１８１と、上記の高域成分と分割した複数の閾値範囲とを比較する高域成分比較部１１８２と、高域成分比較部１１８２の比較結果に応じてゲインを算出するゲイン算出部１１８３と、ゲインとオブジェクト信号（Ｒ信号）とを乗算する乗算部１１８４と、乗算部１１８４から出力される乗算信号の高域成分を低減し、補正後のオブジェクト信号（Ｒ’信号）を生成する空間ローパスフィルタ（ＬＰＦ）１１８５とから構成されている。
【００３９】
高域成分検出部１１８１は、画像入力部１１１から非立体画像の入力映像信号中のＲ信号がオブジェクト信号として供給され、そのＲ信号の高域成分を検出する。Ｒ信号の高域成分は入力映像信号のエッジ成分を示す。
【００４０】
図８は、高域成分検出部１１８１の検出位相の説明図を示す。高域成分検出部１１８１は、図８（Ａ）のように、現在の画素を黒丸で示し、検出位相の画素を白丸で示すものとすると、図８（Ｂ）に模式的に示すように、画面水平方向において処理対象の現在の画素ｐに対して左側に隣接する画素ｘ_ｍと右側に隣接する画素ｘ_ｐとの差分の絶対値（水平差分Ａｃｔ_Ｈ）を算出し、また、図８（Ｃ）に模式的に示すように、画面垂直方向において処理対象の現在の画素ｐに対して１ライン上側の隣接画素ｙ_ｍと１ライン下側の隣接画素ｙ_ｐとの差分の絶対値（垂直差分Ａｃｔ_Ｖ）を算出する。従って、水平差分Ａｃｔ_Ｈと垂直差分Ａｃｔ_Ｖはそれぞれ次式により算出される。
【００４１】
Ａｃｔ_Ｈ＝ａｂｓ（ｘ_ｍ−ｘ_ｐ） （４）
Ａｃｔ_Ｖ＝ａｂｓ（ｙ_ｍ−ｙ_ｐ） （５）
ここで、（４）式及び（５）式中、ａｂｓは絶対値を意味する。
そして、高域成分検出部１１８１は、上記の水平差分Ａｃｔ_Ｈと垂直差分Ａｃｔ_Ｖとを次式のように加算することで、高域成分Ａｃｔ_ＨＶを算出する。
【００４２】
Ａｃｔ_ＨＶ＝Ａｃｔ_Ｈ＋Ａｃｔ_Ｖ （６）
高域成分比較部１１８２は、高域成分検出部１１８１から供給される高域成分Ａｃｔ_ＨＶが、図９に示す５つに分割された閾値範囲を示すスレッショルドレンジＲａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅのいずれに入っているかを示す比較結果を次式により求める。
【００４３】
Range_a＝Edge_th＜Act_HV (７a）
Range_b＝Edge_th×3/4＜Act_HV≦Edge_th (７b）
Range_c＝Edge_th×2/4＜Act_HV≦Edge_th×3/4 （７c）
Range_d＝Edge_th×1/4＜Act_HV≦Edge_th×2/4 （７d）
Range_e＝Act_HV≦Edge_th×1/4 （７e）
ここで、Ｒａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅは、（７ａ）式〜（７ｅ）式の右辺の不等式を満足するとき値が「１」、満足しないとき値が「０」である。なお、Edge_thは予め設定した閾値で、例えば「４０」である。従って、一例として、高域成分Ａｃｔ_ＨＶが「３５」であるときは、高域成分比較部１１８２は、（７ｂ）式の不等式のみを満足するので、Ｒａｎｇｅ_ａ＝０、Ｒａｎｇｅ_ｂ＝１、Ｒａｎｇｅ_ｃ＝０、Ｒａｎｇｅ_ｄ＝０、Ｒａｎｇｅ_ｅ＝０の比較結果を出力する。
【００４４】
続いて、高域成分比較部１１８２は、図１０に示すように、上記の比較結果が得られた黒丸で示す現在の画素を中心とし、現在の画素の左右各３画素（白丸で示す）からなる計７画素において、前記の５つのスレッショルドレンジＲａｎｇｅ_ａ、Ｒａｎｇｅ_ｂ、Ｒａｎｇｅ_ｃ、Ｒａｎｇｅ_ｄ及びＲａｎｇｅ_ｅのいずれに含まれているかを判別し、含まれているスレッショルドレンジのうち、最も閾値レベルが大きいスレッショルドレンジに対応したフラグＦｌａｇに「１」をたてる。従って、高域成分比較部１１８２は、上記の連続する７画素期間において、例えばＲａｎｇｅ_ａ＝１、Ｒａｎｇｅ_ｅ＝１の比較結果を判別した場合は、閾値レベルが大きい方のスレッショルドレンジＲａｎｇｅ_ａに対応したフラグｆｌａｇ_ａに「１」をたてる。このような動作は次式により示される。
【００４５】
for( x＝−3；x＜＝3；x++){
if( Range_a(x)==1) Flag_a＝1;
if( Range_b(x)==1) Flag_b＝1;
if( Range_c(x)==1) Flag_c＝1;
if( Range_d(x)==1) Flag_d＝1;
if( Range_e(x)==1) Flag_e＝1;
} （８）
図１０に示した高域成分比較部１１８２における高域成分の比較期間である７画素期間は、オブジェクト内の小面積部分を示す特定期間である。ただし、高域成分比較部１１８２における特定期間は、図１０に示した７画素期間に限定されるものではない。
【００４６】
ゲイン算出部１１８３は、高域成分比較部１１８２から供給される上記フラグに従い、次式に示す計算式によりゲイン（Depth_Gain）を算出する。
【００４７】
if( Flag_a == 1) Depth_Gain＝2／8；
else if( Flag_b == 1) Depth_Gain＝3／8；
else if( Flag_c == 1) Depth_Gain＝5／8；
else if( Flag_d == 1) Depth_Gain＝7／8；
else Depth_Gain＝8／8； （９）
従って、ゲイン算出部１１８３は、高域成分比較部１１８２から供給されるフラグFlag_a〜Flag_eのうち値「１」であるフラグが、スレッショルドレンジの閾値レベルが大きいフラグであるほど、小なる値のゲイン（Depth_Gain）を算出し、値「１」であるフラグが閾値レベルが最小のスレッショルドレンジＲａｎｇｅ_ｅを示すFlag_eであるときは最大値「１」のゲイン（Depth_Gain）を算出する。（９）式に示すようにゲイン（Depth_Gain）は１以下で０より大なる比率を示す。
【００４８】
乗算部１１８４は、ゲイン算出部１１８３により算出されたゲイン（Depth_Gain）を、次式に示すように画像入力部１１１から供給される入力映像信号中のＲ信号と乗算して乗算結果Ｒ_outを出力する。
【００４９】
Ｒ_out＝Ｒ×Depth_Gain （１０）
ただし、（１０）式中、ＲはＲ信号の現在の画素の画素値を示す。
【００５０】
空間ＬＰＦ１１８５は、乗算結果Ｒ_outに対して空間低域フィルタ特性を施してＲ’信号を生成する。ここで、空間ＬＰＦ１１８５は、水平ＬＰＦと垂直ＬＰＦとが縦続接続された公知のデジタルフィルタの構成とされている。一例として、上記水平ＬＰＦは各々遅延時間が１水平走査期間である縦続接続された遅延素子８個と、入力信号又は各遅延素子の出力信号をそれぞれ各タップ係数１／３２、２／３２、４／３２、６／３２、６／３２、６／３２、４／３２、２／３２、１／３２と乗算する９個の乗算器と、それらの乗算結果を合成する加算器からなる９タップの構成である。また、上記垂直ＬＰＦは、各々遅延時間が１垂直走査期間である縦続接続された遅延素子２個と、入力信号又は各遅延素子の出力信号をそれぞれ各タップ係数１／４、２／４、１／４と乗算する３個の乗算器と、それらの乗算結果を合成する加算器からなる３タップの構成である。
【００５１】
非立体画像の凹凸成分の変化が大きい領域については、後段のステレオペア生成部２０においてテクスチャシフトされたシフト画素が、周辺の画素と重なったり、表示する画素が存在しなかったりするため、シフト画像の破綻が目立つようになる。この問題に対して、空間ＬＰＦ１１８５は乗算部１１８４からの乗算信号の高域成分を低減することで凹凸成分を滑らかにするものであり、連続する凹凸成分の変化が大きいときに発生する、シフト処理画像の不自然性を緩和する働きがある。
【００５２】
次に、オブジェクト信号補正部１１８の動作について、図１１のタイミングチャートと共に更に詳細に説明する。一例として、図１１（Ａ）に模式的に示すように、入力Ｒ信号は時刻ｔ３から時刻ｔ６までの期間伝送される黒丸で示す５画素の小面積部分の値が「８０」で、それ以外の白丸で示す画素値は「０」であるものとする。従って、この場合、特許文献１記載の疑似立体画像生成装置におけるＲ信号のゲインは、図１１（Ｂ）に示すように、時刻ｔ３から時刻ｔ６までの期間「８０」、それ以外の期間は「０」である。なお、Ｒ信号は一例として０〜２５５の範囲内の画素値を絵柄に応じて示すものとする。
【００５３】
この入力Ｒ信号に対して、高域成分検出部１１８１は、図１１（Ｃ）に示すように、時刻ｔ３で入力される値「８０」の１番目の画素の左側に隣接する値「０」の画素の入力時刻ｔ２から右側に隣接する値「８０」の２番目の画素の入力時刻ｔ４までの期間、値「８０」の高域成分Ａｃｔ_ＨＶを出力する。また、高域成分検出部１１８１は、図１１（Ｃ）に示すように、値「８０」の画素に続いて入力される値「０」の最初の画素の左側に隣接する値「８０」の５番目の画素の入力時刻ｔ５から上記最初の画素の右側に隣接する値「０」の画素の入力時刻ｔ７までの期間、値「８０」の高域成分Ａｃｔ_ＨＶを出力する。
【００５４】
これにより、高域成分比較部１１８２は、時刻ｔ２の画素の３画素前の画素入力時刻ｔ１から時刻ｔ７の画素の３画素後４画素目の入力時刻ｔ８までの期間、（８）式に従い「１」の値のフラグFlag_aを出力する。また、時刻ｔ１以前、及び時刻ｔ８以降の期間では、（８）式に従い「１」の値のフラグFlag_eを出力する。従って、ゲイン算出部１１８３は、（９）式に従い、図１１（Ｄ）に示すように、上記の時刻ｔ１から時刻ｔ８までの期間は値が「２／８」で、時刻ｔ１以前、及び時刻ｔ８以降の期間では値が「１」であるゲインDepth_Gainを算出して出力する。
【００５５】
従って、乗算部１１８４は、図１１（Ｅ）に示すように、値が「８０」である時刻ｔ３から時刻ｔ６までのＲ信号入力期間のみ値が「２０」（＝８０×２／８）で、時刻ｔ３以前及び時刻ｔ６以降の値が「０」のＲ信号入力期間では値が「０」（＝０×１又は０×２／８）である信号Ｒ_outを（１０）式により算出して出力する。
【００５６】
これにより、空間ＬＰＦ１１８５は乗算部１１８４から供給される図１１（Ｅ）に示す信号Ｒ_outに対して所定の空間低域フィルタ特性を施し、図１１（Ｆ）に示すように、時刻ｔ２から時刻ｔ４の期間、値「０」から値「２０」へ滑らかに立ち上がり、時刻ｔ５から時刻ｔ７の期間、値「２０」から値「０」へ滑らかに立ち下がる波形のＲ’信号を補正されたオブジェクト信号として生成する。このＲ’信号は、図２の加算部１１９に供給される。加算部１１９は、合成部１１７から供給される合成奥行きモデルとなる画像信号（すなわち、背景の画像信号）と、加算信号生成部１１８から供給されるＲ’信号（すなわち、画像の凹凸を示す補正されたオブジェクト信号）とを加算して最終的な奥行き推定データを生成する。
【００５７】
このように、本実施の形態の奥行き推定部１１では、奥行き推定データを生成するために、加算部１１９において合成奥行きモデルとなる画像信号と加算されるオブジェクト信号を、図１１（Ｂ）に示したＲ信号に比べて、画像の小面積部分で周辺画素との凹凸の差が抑制された図１１（Ｆ）に示したＲ’信号としたため、例えば同一オブジェクト内の細かい部分（小面積）だけが過度に飛び出して見える現象を抑制することができる。その結果、本実施の形態によれば、同一オブジェクト内の分離やオブジェクトの位置関係の不一致が発生するという課題を解決することができる。
【００５８】
再び図１に戻って説明する。テクスチャシフト部２１は、上記のようにして奥行き推定部１１により生成された奥行き推定データと、入力映像信号とに基づいて、入力映像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部２１は、入力映像信号が右目用画像信号であるとしたときは、その右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部２１は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側（鼻側）に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部２１は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
【００５９】
ここでは、それぞれの画素に対する奥行き推定データを８ビットの値Ｄｄで表すものとする。テクスチャシフト部２１は、Ｄｄの小さい値（すなわち、画面奥に位置するもの）から順に、そのＤｄに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に（Ｄｄ−ｍ）／ｎ画素分右にシフトした画像信号を生成する。上記のｍは飛び出し感を表すパラメータ（輻輳値）であり、上記のｎは奥行きを表すパラメータ（奥行き値）である。
【００６０】
なお、ユーザーには、奥行き推定データを示す値Ｄｄの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ｄｄの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Ｄｄ、輻輳値ｍ、奥行き値ｎは０〜２５５の範囲の値であり、例えば、輻輳値ｍ＝２００、奥行き値ｎ＝２０である。
【００６１】
なお、本発明は以上の実施の形態に限定されるものではなく、例えばオブジェクト信号補正部１１８は、空間ＬＰＦ１１８５を省略し構成としてもよい。また、オブジェクト信号補正部１１８の補正対象のオブジェクト信号はＲ信号に限定されるものではなく、青色信号（Ｂ信号）でもよい。赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能であるからである。更には、オブジェクト信号としてＲ信号とＢ信号とを併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
【００６２】
また、高域成分比較部１１８２は、特定期間内において高域成分が分割された複数の閾値分割範囲内のどの閾値分割範囲内に含まれるかを検出し、更に検出した閾値分割範囲に応じたフラグに「１」を立てているが、閾値を設けることなく供給される高域成分の値を検出するように構成してもよい。
【００６３】
また、ステレオペアに関して、左右反転することで左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。また、図１の疑似立体画像生成装置１においては、入力非立体画像を右目画像２５として左目画像２４を生成しているが、入力非立体画像を左目画像として右目画像を生成するようにしてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。
【００６４】
また、ステレオペア生成装置２０として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。
【００６５】
また、疑似立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６６】
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像生成装置１や、図２及び図７に示した奥行き推定データ生成装置２０を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより擬似立体画像生成や奥行き推定データ生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００６７】
１ 疑似立体画像生成装置
１０ 奥行き推定データ生成装置
１１ 奥行き推定部
２０ ステレオペア生成装置
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像
２５ 右目画像
３０ ステレオ表示装置
１１１ 画像入力部
１１２ 画面上部の高域成分評価部
１１３ 画面下部の高域成分評価部
１１４〜１１６ フレームメモリ
１１７ 合成部
１１８ オブジェクト信号補正部
１１９ 加算部
１１８１ 高域成分検出部
１１８２ 高域成分比較部
１１８３ ゲイン算出部
１１８４ 乗算部
１１８５ 空間ＬＰＦ（ローパスフィルタ）
【特許請求の範囲】
【請求項１】
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、
前記発生手段から発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出手段と、
前記高域成分検出手段により検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成手段と、
前記オブジェクト信号と前記ゲイン生成手段からの前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成手段と、
前記合成手段により合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
を有することを特徴とする奥行き推定データ生成装置。
【請求項２】
前記ゲイン生成手段は、
前記高域成分検出手段から供給される前記高域成分の値が、前記オブジェクト信号の予め設定した特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、前記特定期間内において前記高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する高域成分比較手段と、
前記複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、前記高域成分比較手段から供給される前記フラグが示す閾値分割範囲に対応して設定された前記比率を前記ゲインとして算出するゲイン算出手段と
を有することを特徴とする請求項１記載の奥行き推定データ生成装置。
【請求項３】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出ステップと、
前記高域成分検出ステップにより検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成ステップと、
前記オブジェクト信号と前記ゲイン生成ステップで生成された前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成ステップと、
前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
を含むことを特徴とする奥行き推定データ生成方法。
【請求項４】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出機能と、
前記高域成分検出機能により検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成機能と、
前記オブジェクト信号と前記ゲイン生成機能で生成された前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成機能と、
前記合成機能により合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
をコンピュータにより実現させることを特徴とする奥行き推定データ生成プログラム。
【請求項５】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
を有することを特徴とする疑似立体画像生成装置。
【請求項６】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項３に記載の奥行き推定データ生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
を含むことを特徴とする疑似立体画像生成方法。
【請求項７】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項４に記載の奥行き推定データ生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能と
をコンピュータに実現させることを特徴とする疑似立体画像生成プログラム。
【請求項１】
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像を発生する発生手段と、
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、前記複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定手段と、
前記発生手段から発生した前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成手段と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出手段と、
前記高域成分検出手段により検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成手段と、
前記オブジェクト信号と前記ゲイン生成手段からの前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成手段と、
前記合成手段により合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算手段と
を有することを特徴とする奥行き推定データ生成装置。
【請求項２】
前記ゲイン生成手段は、
前記高域成分検出手段から供給される前記高域成分の値が、前記オブジェクト信号の予め設定した特定期間毎に、閾値を分割して得た複数の閾値分割範囲のいずれの閾値分割範囲に含まれるかを比較し、前記特定期間内において前記高域成分の値が含まれる最も閾値が大きな閾値分割範囲を示すフラグを出力する高域成分比較手段と、
前記複数の閾値分割範囲に対応して閾値が大きな閾値分割範囲ほど小なる値の比率が予め設定されており、前記高域成分比較手段から供給される前記フラグが示す閾値分割範囲に対応して設定された前記比率を前記ゲインとして算出するゲイン算出手段と
を有することを特徴とする請求項１記載の奥行き推定データ生成装置。
【請求項３】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定ステップと、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成ステップと、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出ステップと、
前記高域成分検出ステップにより検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成ステップと、
前記オブジェクト信号と前記ゲイン生成ステップで生成された前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成ステップと、
前記合成ステップにより合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算ステップと
を含むことを特徴とする奥行き推定データ生成方法。
【請求項４】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない供給される非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の少なくとも一部の統計量を利用して、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルの画像間の合成比率を算定する合成比率算定機能と、
前記複数の基本奥行きモデルの画像を、前記合成比率で合成して、基本奥行きモデル合成画像を生成する合成機能と、
前記非立体画像から疑似立体画像の凹凸に関するオブジェクト情報を示すオブジェクト信号が供給され、そのオブジェクト信号のエッジを示す高域成分を検出する高域成分検出機能と、
前記高域成分検出機能により検出された前記高域成分の値が大であるほど小なる値とされるゲインを生成するゲイン生成機能と、
前記オブジェクト信号と前記ゲイン生成機能で生成された前記ゲインとを乗算して、前記オブジェクト信号のレベルを補正した補正オブジェクト信号を生成する補正オブジェクト信号生成機能と、
前記合成機能により合成した前記基本奥行きモデル合成画像に前記補正オブジェクト信号を加算して、前記非立体画像と共に擬似的な立体画像を構成する、前記非立体画像とは別視点の画像を生成するための奥行き推定データを生成する加算機能と
をコンピュータにより実現させることを特徴とする奥行き推定データ生成プログラム。
【請求項５】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項１に記載の奥行き推定データ生成装置にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成手段と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する手段と
を有することを特徴とする疑似立体画像生成装置。
【請求項６】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項３に記載の奥行き推定データ生成方法にて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成ステップと、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力するステップと
を含むことを特徴とする疑似立体画像生成方法。
【請求項７】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が供給される請求項４に記載の奥行き推定データ生成プログラムにて生成された奥行き推定データと、前記非立体画像とに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する別視点画像生成機能と、
前記非立体画像及び前記別視点画像の一方を左目画像とし、他方を右目画像とする疑似立体画像を出力する機能と
をコンピュータに実現させることを特徴とする疑似立体画像生成プログラム。
【図１】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【図２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−７０２０６（Ｐ２０１３−７０２０６Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０６７８８（Ｐ２０１１−２０６７８８）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]