奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
【課題】モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることのできる奥行き推定データ生成装置を提供する。
【解決手段】本発明の奥行き推定データ生成装置は、色差信号成分から彩度平均値データを生成する彩度平均値生成部１２と、輝度信号成分と所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部１３２と、Ｒ成分が擬似立体画像の手前側に、Ｂ成分が擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部１３３と、輝度信号変更値を補正する輝度信号ゲインとＲＢ合成値を補正するＲＢゲインとを彩度平均値データに基づいて生成するゲイン生成部１３４と、輝度信号変更値と輝度信号ゲインとの演算結果とＲＢ合成値とＲＢゲインとの演算結果とを合成して奥行き推定データを算出する奥行き推定データ算出部１３５とを備えていることを特徴とする。
【解決手段】本発明の奥行き推定データ生成装置は、色差信号成分から彩度平均値データを生成する彩度平均値生成部１２と、輝度信号成分と所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部１３２と、Ｒ成分が擬似立体画像の手前側に、Ｂ成分が擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部１３３と、輝度信号変更値を補正する輝度信号ゲインとＲＢ合成値を補正するＲＢゲインとを彩度平均値データに基づいて生成するゲイン生成部１３４と、輝度信号変更値と輝度信号ゲインとの演算結果とＲＢ合成値とＲＢゲインとの演算結果とを合成して奥行き推定データを算出する奥行き推定データ算出部１３５とを備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を生成するための奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に関する。
【背景技術】
【０００２】
立体表示システムでは、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われている。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１の擬似立体画像生成装置では、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを用意しておき、上部及び下部の高域成分評価部からの高域成分評価値に応じて合成比率を決定し、この合成比率に応じて複数の基本奥行きモデルを合成する。そして、合成した基本奥行きモデルと非立体画像のＲ信号とを加算器で重畳して最終的な奥行き推定データを生成し、この奥行き推定データをもとにした処理を非立体画像に施すことで、立体感を感じさせる別視点画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された手法では、基本奥行きモデルに重畳する信号についてＲ信号だけでなく、Ｂ信号でもよく、Ｒ信号とＢ信号を併用した信号でも良いとしている。ところが、この手法は重畳する信号を選択する方式であるため、例えばＲ信号とＢ信号を併用した場合には、暖色や寒色が多く含まれている色鮮やかな画像であれば立体効果を大きく出せるが、モノトーン画像の場合には立体効果が小さくなってしまうという問題点があった。したがって、特許文献１に開示された手法では、すべてのシーンに対して十分な立体効果を得られるわけではないという課題があった。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることのできる奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明に係る奥行き推定データ生成装置は、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部と、前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部とを備えていることを特徴とする。
【０００８】
また、本発明に係る奥行き推定データ生成プログラムは、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出ステップと、前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップとをコンピュータに実行させることを特徴とする。
【０００９】
さらに、本発明に係る擬似立体画像表示装置は、前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。
【発明の効果】
【００１０】
本発明に係る奥行き推定データ生成装置及び奥行き推定データ生成プログラムによれば、輝度信号から推定される奥行きとＲ信号及びＢ信号から推定される奥行きとを、彩度の平均値に応じて合成して奥行き推定データを生成するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。
【００１１】
また、本発明に係る擬似立体画像表示装置によれば、輝度信号から推定される奥行きとＲ信号及びＢ信号から推定される奥行きとを彩度の平均値に応じて合成し、この合成された奥行き推定データを用いて擬似立体画像を生成して表示するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果のある画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【図２】本発明を適用した一実施形態に係る奥行き推定データ生成装置の彩度平均値生成部の構成を示すブロック図である。
【図３】本発明を適用した一実施形態に係る奥行き推定データ生成装置の奥行き推定部の構成を示すブロック図である。
【図４】本発明を適用した一実施形態に係る奥行き推定データ生成装置のリーク型積分部の構成を示すブロック図である。
【図５】本発明を適用した一実施形態に係る奥行き推定データ生成装置による彩度平均値データの生成処理の手順を示すフローチャートである。
【図６】本発明を適用した一実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の手順を示すフローチャートである。
【図７】本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度変更値の算出方法を説明するための図である。
【図８】本発明を適用した一実施形態に係る奥行き推定データ生成装置によるＲＢ合成値の算出方法を説明するための図である。
【図９】本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度信号ゲイン及びＲＢゲインの算出方法を説明するための図である。
【図１０】本発明を適用した一実施形態に係る奥行き推定データ生成装置による効果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した一実施形態について図面を参照して説明する。図１は本実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態に係る擬似立体画像表示装置は、奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とを備えており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が入力されると、時系列的に連続した複数の画像で構成されている非立体画像から左目画像信号と右目画像信号とを生成し、ステレオ表示装置３で左目画像信号と右目画像信号とを用いて擬似立体画像を表示するように構成されている。
【００１５】
以下、擬似立体画像表示装置を構成する奥行き推定データ生成装置１とステレオペア生成装置２とステレオ表示装置３の各装置について説明する。
【００１６】
［奥行き推定データ生成装置の構成］
図１に示すように、本実施形態に係る奥行き推定データ生成装置１は、入力されたＲＧＢ信号を輝度信号と色差信号に変換するマトリクス変換部１１と、入力映像信号の色差信号成分から彩度を算出して彩度平均値データを生成する彩度平均値生成部１２と、奥行き推定データを生成する奥行き推定部１３とを備えている。奥行き推定データは、奥行き情報が与えられていない画像（非立体画像ともいう）から擬似立体画像を生成するためのデータである。
【００１７】
ここで、図２を参照して彩度平均値生成部１２の構成を説明する。図２に示すように、彩度平均値生成部１２は、色差信号Ｂ−Ｙ、Ｒ−Ｙから各画素の彩度（ＶＣ）を算出する彩度算出部１２１と、画素毎に算出された彩度の値を積算して１フレームの彩度積算値（ＶＣ_total）を算出する積算部１２２と、彩度積算値（ＶＣ_total）を１フレームの総画素数で除算して彩度の平均値（ＶＣ_ave）を算出する正規化部１２３と、算出された彩度の平均値（ＶＣ_ave）を保持するレジスタ１２４とを備えている。尚、本実施形態では１フィールド又は１フレーム毎に彩度平均値データを生成しているが、複数フィールド又は複数フレーム毎に彩度平均値データを生成してもよく、画面の所定単位（時間単位）毎に彩度平均値データを生成すればよい。ただし、１フィールド又は１フレーム毎に彩度平均値データを生成することが望ましい。
【００１８】
次に、図３を参照して奥行き推定部１３の構成を説明する。図３に示すように、奥行き推定部１３は、彩度平均値データにリーク型積分処理を行うリーク型積分部１３１と、輝度信号Ｙと予め設定された所定値との差分を求めて輝度信号変更値（Ｙ_out）を算出する輝度信号変更値算出部１３２と、Ｒ信号が擬似立体画像の手前側に、Ｂ信号が擬似立体画像の奥側になるように合成したＲＢ合成値（ＲＢ_out）を算出するＲＢ合成値算出部１３３と、輝度信号変更値（Ｙ_out）を補正するための輝度信号ゲインＧｙとＲＢ合成値（ＲＢ_out）を補正するためのＲＢゲインＧｒｂとを彩度平均値データ（ＶＣ_ave_out）に基づいて生成するゲイン生成部１３４と、輝度信号変更値（Ｙ_out）と輝度信号ゲインＧｙとの演算結果とＲＢ合成値（ＲＢ_out）とＲＢゲインＧｒｂとの演算結果とを合成して奥行き推定データを算出する奥行き推定データ算出部１３５とを備えている。
【００１９】
ここで、図４を参照してリーク型積分部１３１の回路構成を説明する。図４に示すように、リーク型積分部１３１は、加算器４１と、レジスタ４２と、乗算器４３、４４とを備えている。そして、彩度平均値データ（ＶＣ_ave）が入力されると、時間方向にリーク型の積分処理を実行する。このリーク型積分処理については後述する。
【００２０】
［彩度平均値データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置１による彩度平均値データの生成処理の手順を図５のフローチャートを参照して説明する。
【００２１】
図５に示すように、ステップＳ１０１において、まず入力された映像信号（ＲＧＢ）を式（１）によってマトリクス変換部１１が輝度信号Ｙと色差信号Ｕ（Ｂ−Ｙ）、Ｖ（Ｒ−Ｙ）に変換する。
【００２２】
Y = 0.299×R + 0.587×G + 0.114×B
U = −0.169×R −0.331×G + 0.500×B （１）
V = 0.500×R − 0.419×G − 0.081×B
変換後の色差信号Ｂ−Ｙ、Ｒ−Ｙは彩度平均値生成部１２に供給され、輝度信号Ｙは奥行き推定部１３に供給される。
【００２３】
次に、ステップＳ１０２において、彩度平均値生成部１２に色差信号Ｒ−Ｙ、Ｂ−Ｙが入力されると、式（２）に示す計算式によって各画素の彩度（ＶＣ）を算出する。
【数１】
【００２４】
画素毎に彩度（ＶＣ）が算出されると、彩度平均値生成部１２はステップＳ１０３では算出された彩度の値を積算していき、１フレーム分の彩度の積算値（ＶＣ_total）を算出する。そして、ステップＳ１０４では算出した彩度の積算値を１フレームの総画素数で除算し、彩度の平均値（ＶＣ_ave）を算出する。
【００２５】
ＶＣ_ave = ＶＣ_total ／ 総画素数 （３）
こうして１フレーム毎に彩度の平均値（ＶＣ_ave）が生成されると、レジスタ１２４で保持してから奥行き推定部１３へ彩度平均値データとして供給し、本実施形態に係る奥行き推定データ生成装置１による彩度平均値データの生成処理は終了する。
【００２６】
［奥行き推定データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理の手順を図６のフローチャートを参照して説明する。
【００２７】
図６に示すように、ステップＳ２０１において、彩度平均値生成部１２から供給された彩度平均値データ（ＶＣ_ave）に対してリーク型積分部１３１でリーク型積分処理を行い、リーク型積分後の彩度平均値データ（ＶＣ_ave_out）を出力する。
【００２８】
ここで、図４を参照してリーク型積分処理を説明する。図４に示すように、入力データとしてＶＣ_ave＿inが入力されると、レジスタ４２から出力されたデータに乗算器４３で１５／１６が乗算され、その値が加算器４１で入力データに加算される。この加算された結果はレジスタ４２に格納され、次のＶＣ_ave＿inが入力された際に同様に利用される。次に、レジスタ４２から出力されたデータは乗算器４４で１／１６が乗算されて最終的な出力データであるＶＣ_ave＿outが出力される。このように、リーク型積分部１３１でリーク型積分処理を行うことによって、画像を緩やかに変化させてより自然な画質を提供することができる。
【００２９】
次に、ステップＳ２０２では、マトリクス変換部１１から供給された輝度信号Ｙと予め設定された所定値との差分を求めて輝度信号変更値（Ｙ_out）を算出する。ここで、図７を参照して輝度信号変更値を算出する処理を説明する。図７に示すように、図７の横軸は入力の輝度信号Ｙ（０〜２５５）であり、縦軸は出力される輝度信号変更値（Ｙ_out）である。本実施形態では、式（４）に示す計算式によって輝度信号Ｙから１２８を減算している。
【００３０】
Ｙ_out = Ｙ − １２８ （４）
このように輝度信号Ｙから所定値を減算する理由は、下記の２つの特徴を実現するためである。
【００３１】
１）白色は膨張色であり、黒色よりも奥行きが手前に認識される特徴を有する。
【００３２】
２）黒色は収縮色であり、白色よりも奥行きが奥に認識される特徴を有する。
【００３３】
すなわち、輝度信号Ｙから１２８を減算することによって黒色はマイナスの値になるので、擬似立体画像では奥側に配置され、白色はプラスの値になるので、擬似立体画像では手前側に配置される。したがって、輝度変更値（Ｙ_out）を算出することによって、上記した２つの特徴を実現することができる。ただし、本実施形態では輝度信号Ｙに対して減算する処理を行っているが、Ｇ信号に対して処理を行うようにしてもよい。
【００３４】
次に、ステップＳ２０３では入力された映像信号のうちＲ信号とＢ信号に対して、Ｒ信号が擬似立体画像の手前側に、Ｂ信号が擬似立体画像の奥側になるように合成してＲＢ合成値を算出する。ここで、図８を参照してＲＢ合成値算出部１３３のＲＢ合成値の算出処理を説明する。図８に示すように、Ｘ軸は入力されるＢ信号（０〜２５５）であり、Ｙ軸は入力されるＲ信号（０〜２５５）であり、Ｚ軸は式（５）に示す計算式によって算出されるＲＢ_rateを示している。
【００３５】
ＲＢ_rate = ( 0.5 × R ) + { 0.5 × (255 − B) } （５）
さらに、式（６）に示す計算式によってＲＢ_rateからＲＢ合成値（ＲＢ_out）を算出する。
【００３６】
ＲＢ_out = ＲＢ_rate − １２８ （６）
このようにしてＲＢ合成値（ＲＢ_out）を算出することにより、赤の強い部分を擬似立体画像の手前側に、青の強い部分を擬似立体画像の奥側に配置することができる。また、黒色や白色（グレースケール）の出力値は０となるので、奥行きは変化しない。したがって、モノトーン画像では立体効果は得られない。
【００３７】
このようにＲＢ合成値を算出する理由は以下に示す３つの特徴のためである。
【００３８】
１）Ｒ信号が強い部分を手前側に配置する理由は、順光に近い環境で、尚且つテクスチャの明度が大きく異ならないような条件において、Ｒ信号の大きさは被写体の凹凸と一致する確率が高いという経験則があるためである。
【００３９】
２）Ｂ信号が強い部分を奥側に配置する理由は、光線の散乱によって遠くにあるもの程、青寄りに見えるという物理法則の一般論（空気遠近法）があるためである。
【００４０】
３）暖色系は色彩学における前進色であり、寒色系（後退色）よりも奥行きが手前に認識されるという特徴があり、寒色系(後退色)は暖色系よりも奥行きが奥側に認識されるという特徴がある。
【００４１】
したがって、ＲＢ合成値を算出することにより、これら３つの特徴によって擬似立体画像に立体効果を与えることができる。
【００４２】
次に、ステップＳ２０４において、輝度信号変更値（Ｙ_out）を補正するための輝度信号ゲインＧｙとＲＢ合成値（ＲＢ_out）を補正するためのＲＢゲインＧｒｂとを彩度平均値データ（ＶＣ_ave_out）に基づいて生成する。
【００４３】
ここで、ゲイン生成部１３４における輝度信号ゲインＧｙとＲＢゲインＧｒｂの生成方法を、図９を参照して説明する。図９（Ａ）は輝度信号ゲインＧｙの生成方法を説明するための図であり、図９（Ｂ）はＲＢゲインＧｒｂの生成方法を説明するための図である。
【００４４】
図９（Ａ）に示すように、横軸は彩度平均値（ＶＣ_ave_out）、縦軸は輝度信号ゲインＧｙを表しており、彩度平均値（ＶＣ_ave_out）が大きくなるにつれて輝度信号ゲインＧｙが小さくなるような特性を持たせている。
【００４５】
一方、図９（Ｂ）では横軸が彩度平均値（ＶＣ_ave_out）、縦軸がＲＢゲインＧｒｂを表しており、彩度平均値（ＶＣ_ave_out）が大きくなるにつれてＲＢゲインＧｒｂが大きくなるような特性を持たせている。そして、式（７）に示す計算式に基づいて、輝度信号ゲインＧｙとＲＢゲインＧｒｂの特性を決定している。
【００４６】
Gy + Grb = 1.0 （７）
但し、これはあくまで一例でありゲイン特性は式（７）に限定されるものではない。
【００４７】
こうして輝度信号ゲインＧｙとＲＢゲインＧｒｂが決定すると、次にステップＳ２０５において、式（８）に示す計算式によって奥行き推定データ（Depth）を算出する。
【００４８】
Depth = ( Ｙ_out × Gy ) ＋ ( RB_out × Grb) （８）
この奥行き推定データ（Depth）では、輝度信号変更値（Ｙ_out）に輝度信号ゲインＧｙを乗算し、ＲＢ合成値（ＲＢ_out）にＲＢゲインＧｒｂを乗算してから、それぞれを加算している。
【００４９】
ここで、輝度信号ゲインＧｙとＲＢゲインＧｒｂは彩度平均値データ（ＶＣ_ave_out）に基づいて生成されているので、式（８）の奥行き推定データでは、輝度信号（Ｙ）から推定される奥行き推定データと色信号（Ｒ、Ｂ）から推定される奥行き推定データとの合成比率が、彩度平均値データ（ＶＣ_ave_out）に基づいて決定されている。
【００５０】
こうして奥行き推定データが生成されると、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理は終了する。
【００５１】
［奥行き推定データ生成装置の効果］
次に、本実施形態に係る奥行き推定データ生成装置の効果について、図１０を参照して説明する。
【００５２】
図１０に示すように、入力画像として図１０（ａ）に示すような空（モノトーン）の画像が入力された場合について説明する。この入力画像の輝度のレベルと画素の出現頻度との間の関係を示すと、図１０（ｂ）に示すようになり、中間輝度領域に画像が分布していることが分かる。
【００５３】
ここで、従来の処理を施したシフト量画像を図１０（ｃ）に示す。このシフト量画像はグレースケールで表現したものであり、黒〜白を２５６ステップで表示して黒側は奥行き（凹）方向へ移動し、白側は飛出し（凸）方向へ移動したものとする。図１０（ｄ）は横軸をシフト量、縦軸を画素頻度として表したものであり、シフト量は１２８に集中している。すなわち視差０となっており、図１０（ｃ）に示すようにフラットな立体効果の得られない出力画像となっている。
【００５４】
一方、図１０（ｅ）に示す本発明による処理を施したシフト量画像では、画像の彩度平均値を検出して輝度信号変更値とＲＢ合成値との合成比率を決定している。したがって、図１０（ｅ）の画像ではモノトーンの画像なので彩度平均値が０になり、輝度信号ゲインＧｙ＝１、ＲＢゲインＧｒｂ＝０となって輝度信号から推定された奥行き値の比率が１００％となる奥行き推定データを自動で生成することができる。これにより図１０（ｆ）に示す広い分布からも分かるように、濃淡の差が大きい、すなわち視差が大きくて十分な立体効果を有する出力画像を生成することが可能となる。
【００５５】
このように従来ではモノトーン画像に対して立体効果を得ることはできなかったが、本実施形態に係る奥行き推定データ生成装置１によれば、モノトーン画像であっても十分な立体効果を得ることができ、これによってモノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。
【００５６】
［ステレオペア生成装置、ステレオ表示装置の構成］
上述したように奥行き推定データ生成装置１によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。ここで、図１を参照して、本実施形態に係るステレオペア生成装置２及びステレオ表示装置３の構成を説明する。
【００５７】
図１に示すように、ステレオペア生成装置２は、入力される非立体画像の映像信号のテクスチャを奥行き推定データに基づいてシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを備えている。
【００５８】
そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号は、ステレオ表示装置３へ入力され、ステレオ表示装置３で擬似的な立体画像として表示される。
【００５９】
［ステレオペア生成装置２の動作の一例］
ステレオペア生成装置２では、奥行き推定データ生成装置１によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、対応部分のテクスチャを内側すなわち右側へ奥行きに応じた量だけ移動する。これに対して、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、対応部分のテクスチャを左側へ奥行きに応じた量だけ移動する。このような処理を施した画像を左目画像とし、入力された非立体画像を右目画像とすることによってステレオペアが構成される。
【００６０】
つまり、図１に示す本実施形態に係るステレオペア生成装置２では、まずテクスチャシフト部２１が奥行き推定部１３から出力された奥行き推定データに基づいて、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量Ｓ画素分だけ左へシフトする。
【００６１】
テクスチャシフト部２１におけるシフト量Ｓに基づいた映像信号のテクスチャのシフト動作は、非立体画像のテクスチャのシフトに対応するものである。換言すると、非立体画像の各画素を、奥行き推定データの値であるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【００６２】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載された手法で充填する。
【００６３】
オクルージョン補償部２２でオクルージョン補償された画像は、ポスト処理部２３によって平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。一方で、右目画像信号生成部２５は、入力された映像信号を右目画像信号として出力する。
【００６４】
このようにして、ステレオペア生成装置２は、奥行き推定データ生成装置１によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして、左目画像信号と右目画像信号とのステレオペアを生成することができる。これらの左目画像信号と右目画像信号はステレオ表示装置３へ出力され、ステレオ表示装置３ではステレオペアによって画面全体として擬似的な立体感を向上させた擬似立体画像を表示することが可能となる。
【００６５】
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像とするステレオペアを構成してもよい。また、上記処理では、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【００６６】
［ステレオ表示装置３の動作の一例］
図１に示す本実施形態に係るステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイやステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像信号と右目画像信号とが入力されてディスプレイ等に擬似立体画像を表示する。
【００６７】
なお、上記実施形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明はこれに限定されるわけではない。すなわち、２視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
【００６８】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。本立体表示システムでは音声出力を装備する形態のものを考慮してもよい。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６９】
さらに、本実施形態では、図１に示すように奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とをハードウエアによって構成する場合について説明したが、本発明はハードウエアによって構成されたものに限定されるわけではなく、例えば、ＣＰＵと、そのＣＰＵを前述のように動作させるためのコンピュータプログラムのソフトウェアによって奥行き推定データ生成装置１、ステレオペア生成装置２及びステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれるようにしても良い。
【００７０】
以上、本発明を一実施形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するためのものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【００７１】
１ 奥行き推定データ生成装置
２ ステレオペア生成装置
３ ステレオ表示装置
１１ マトリクス変換部
１２ 彩度平均値生成部
１３ 奥行き推定部
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像信号生成部
２５ 右目画像信号生成部
１２１ 彩度算出部
１２２ 積算部
１２３ 正規化部
１２４ レジスタ
１３１ リーク型積分部
１３２ 輝度信号変更値算出部
１３３ ＲＢ合成値算出部
１３４ ゲイン生成部
１３５ 奥行き推定データ算出部
【技術分野】
【０００１】
本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を生成するための奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に関する。
【背景技術】
【０００２】
立体表示システムでは、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われている。
【０００３】
このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１の擬似立体画像生成装置では、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを用意しておき、上部及び下部の高域成分評価部からの高域成分評価値に応じて合成比率を決定し、この合成比率に応じて複数の基本奥行きモデルを合成する。そして、合成した基本奥行きモデルと非立体画像のＲ信号とを加算器で重畳して最終的な奥行き推定データを生成し、この奥行き推定データをもとにした処理を非立体画像に施すことで、立体感を感じさせる別視点画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された手法では、基本奥行きモデルに重畳する信号についてＲ信号だけでなく、Ｂ信号でもよく、Ｒ信号とＢ信号を併用した信号でも良いとしている。ところが、この手法は重畳する信号を選択する方式であるため、例えばＲ信号とＢ信号を併用した場合には、暖色や寒色が多く含まれている色鮮やかな画像であれば立体効果を大きく出せるが、モノトーン画像の場合には立体効果が小さくなってしまうという問題点があった。したがって、特許文献１に開示された手法では、すべてのシーンに対して十分な立体効果を得られるわけではないという課題があった。
【０００６】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることのできる奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した目的を達成するために、本発明に係る奥行き推定データ生成装置は、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部と、前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部とを備えていることを特徴とする。
【０００８】
また、本発明に係る奥行き推定データ生成プログラムは、入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出ステップと、前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップとをコンピュータに実行させることを特徴とする。
【０００９】
さらに、本発明に係る擬似立体画像表示装置は、前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。
【発明の効果】
【００１０】
本発明に係る奥行き推定データ生成装置及び奥行き推定データ生成プログラムによれば、輝度信号から推定される奥行きとＲ信号及びＢ信号から推定される奥行きとを、彩度の平均値に応じて合成して奥行き推定データを生成するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。
【００１１】
また、本発明に係る擬似立体画像表示装置によれば、輝度信号から推定される奥行きとＲ信号及びＢ信号から推定される奥行きとを彩度の平均値に応じて合成し、この合成された奥行き推定データを用いて擬似立体画像を生成して表示するので、モノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果のある画像を表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【図２】本発明を適用した一実施形態に係る奥行き推定データ生成装置の彩度平均値生成部の構成を示すブロック図である。
【図３】本発明を適用した一実施形態に係る奥行き推定データ生成装置の奥行き推定部の構成を示すブロック図である。
【図４】本発明を適用した一実施形態に係る奥行き推定データ生成装置のリーク型積分部の構成を示すブロック図である。
【図５】本発明を適用した一実施形態に係る奥行き推定データ生成装置による彩度平均値データの生成処理の手順を示すフローチャートである。
【図６】本発明を適用した一実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の手順を示すフローチャートである。
【図７】本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度変更値の算出方法を説明するための図である。
【図８】本発明を適用した一実施形態に係る奥行き推定データ生成装置によるＲＢ合成値の算出方法を説明するための図である。
【図９】本発明を適用した一実施形態に係る奥行き推定データ生成装置による輝度信号ゲイン及びＲＢゲインの算出方法を説明するための図である。
【図１０】本発明を適用した一実施形態に係る奥行き推定データ生成装置による効果を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した一実施形態について図面を参照して説明する。図１は本実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態に係る擬似立体画像表示装置は、奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とを備えており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像が入力されると、時系列的に連続した複数の画像で構成されている非立体画像から左目画像信号と右目画像信号とを生成し、ステレオ表示装置３で左目画像信号と右目画像信号とを用いて擬似立体画像を表示するように構成されている。
【００１５】
以下、擬似立体画像表示装置を構成する奥行き推定データ生成装置１とステレオペア生成装置２とステレオ表示装置３の各装置について説明する。
【００１６】
［奥行き推定データ生成装置の構成］
図１に示すように、本実施形態に係る奥行き推定データ生成装置１は、入力されたＲＧＢ信号を輝度信号と色差信号に変換するマトリクス変換部１１と、入力映像信号の色差信号成分から彩度を算出して彩度平均値データを生成する彩度平均値生成部１２と、奥行き推定データを生成する奥行き推定部１３とを備えている。奥行き推定データは、奥行き情報が与えられていない画像（非立体画像ともいう）から擬似立体画像を生成するためのデータである。
【００１７】
ここで、図２を参照して彩度平均値生成部１２の構成を説明する。図２に示すように、彩度平均値生成部１２は、色差信号Ｂ−Ｙ、Ｒ−Ｙから各画素の彩度（ＶＣ）を算出する彩度算出部１２１と、画素毎に算出された彩度の値を積算して１フレームの彩度積算値（ＶＣ_total）を算出する積算部１２２と、彩度積算値（ＶＣ_total）を１フレームの総画素数で除算して彩度の平均値（ＶＣ_ave）を算出する正規化部１２３と、算出された彩度の平均値（ＶＣ_ave）を保持するレジスタ１２４とを備えている。尚、本実施形態では１フィールド又は１フレーム毎に彩度平均値データを生成しているが、複数フィールド又は複数フレーム毎に彩度平均値データを生成してもよく、画面の所定単位（時間単位）毎に彩度平均値データを生成すればよい。ただし、１フィールド又は１フレーム毎に彩度平均値データを生成することが望ましい。
【００１８】
次に、図３を参照して奥行き推定部１３の構成を説明する。図３に示すように、奥行き推定部１３は、彩度平均値データにリーク型積分処理を行うリーク型積分部１３１と、輝度信号Ｙと予め設定された所定値との差分を求めて輝度信号変更値（Ｙ_out）を算出する輝度信号変更値算出部１３２と、Ｒ信号が擬似立体画像の手前側に、Ｂ信号が擬似立体画像の奥側になるように合成したＲＢ合成値（ＲＢ_out）を算出するＲＢ合成値算出部１３３と、輝度信号変更値（Ｙ_out）を補正するための輝度信号ゲインＧｙとＲＢ合成値（ＲＢ_out）を補正するためのＲＢゲインＧｒｂとを彩度平均値データ（ＶＣ_ave_out）に基づいて生成するゲイン生成部１３４と、輝度信号変更値（Ｙ_out）と輝度信号ゲインＧｙとの演算結果とＲＢ合成値（ＲＢ_out）とＲＢゲインＧｒｂとの演算結果とを合成して奥行き推定データを算出する奥行き推定データ算出部１３５とを備えている。
【００１９】
ここで、図４を参照してリーク型積分部１３１の回路構成を説明する。図４に示すように、リーク型積分部１３１は、加算器４１と、レジスタ４２と、乗算器４３、４４とを備えている。そして、彩度平均値データ（ＶＣ_ave）が入力されると、時間方向にリーク型の積分処理を実行する。このリーク型積分処理については後述する。
【００２０】
［彩度平均値データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置１による彩度平均値データの生成処理の手順を図５のフローチャートを参照して説明する。
【００２１】
図５に示すように、ステップＳ１０１において、まず入力された映像信号（ＲＧＢ）を式（１）によってマトリクス変換部１１が輝度信号Ｙと色差信号Ｕ（Ｂ−Ｙ）、Ｖ（Ｒ−Ｙ）に変換する。
【００２２】
Y = 0.299×R + 0.587×G + 0.114×B
U = −0.169×R −0.331×G + 0.500×B （１）
V = 0.500×R − 0.419×G − 0.081×B
変換後の色差信号Ｂ−Ｙ、Ｒ−Ｙは彩度平均値生成部１２に供給され、輝度信号Ｙは奥行き推定部１３に供給される。
【００２３】
次に、ステップＳ１０２において、彩度平均値生成部１２に色差信号Ｒ−Ｙ、Ｂ−Ｙが入力されると、式（２）に示す計算式によって各画素の彩度（ＶＣ）を算出する。
【数１】
【００２４】
画素毎に彩度（ＶＣ）が算出されると、彩度平均値生成部１２はステップＳ１０３では算出された彩度の値を積算していき、１フレーム分の彩度の積算値（ＶＣ_total）を算出する。そして、ステップＳ１０４では算出した彩度の積算値を１フレームの総画素数で除算し、彩度の平均値（ＶＣ_ave）を算出する。
【００２５】
ＶＣ_ave = ＶＣ_total ／ 総画素数 （３）
こうして１フレーム毎に彩度の平均値（ＶＣ_ave）が生成されると、レジスタ１２４で保持してから奥行き推定部１３へ彩度平均値データとして供給し、本実施形態に係る奥行き推定データ生成装置１による彩度平均値データの生成処理は終了する。
【００２６】
［奥行き推定データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理の手順を図６のフローチャートを参照して説明する。
【００２７】
図６に示すように、ステップＳ２０１において、彩度平均値生成部１２から供給された彩度平均値データ（ＶＣ_ave）に対してリーク型積分部１３１でリーク型積分処理を行い、リーク型積分後の彩度平均値データ（ＶＣ_ave_out）を出力する。
【００２８】
ここで、図４を参照してリーク型積分処理を説明する。図４に示すように、入力データとしてＶＣ_ave＿inが入力されると、レジスタ４２から出力されたデータに乗算器４３で１５／１６が乗算され、その値が加算器４１で入力データに加算される。この加算された結果はレジスタ４２に格納され、次のＶＣ_ave＿inが入力された際に同様に利用される。次に、レジスタ４２から出力されたデータは乗算器４４で１／１６が乗算されて最終的な出力データであるＶＣ_ave＿outが出力される。このように、リーク型積分部１３１でリーク型積分処理を行うことによって、画像を緩やかに変化させてより自然な画質を提供することができる。
【００２９】
次に、ステップＳ２０２では、マトリクス変換部１１から供給された輝度信号Ｙと予め設定された所定値との差分を求めて輝度信号変更値（Ｙ_out）を算出する。ここで、図７を参照して輝度信号変更値を算出する処理を説明する。図７に示すように、図７の横軸は入力の輝度信号Ｙ（０〜２５５）であり、縦軸は出力される輝度信号変更値（Ｙ_out）である。本実施形態では、式（４）に示す計算式によって輝度信号Ｙから１２８を減算している。
【００３０】
Ｙ_out = Ｙ − １２８ （４）
このように輝度信号Ｙから所定値を減算する理由は、下記の２つの特徴を実現するためである。
【００３１】
１）白色は膨張色であり、黒色よりも奥行きが手前に認識される特徴を有する。
【００３２】
２）黒色は収縮色であり、白色よりも奥行きが奥に認識される特徴を有する。
【００３３】
すなわち、輝度信号Ｙから１２８を減算することによって黒色はマイナスの値になるので、擬似立体画像では奥側に配置され、白色はプラスの値になるので、擬似立体画像では手前側に配置される。したがって、輝度変更値（Ｙ_out）を算出することによって、上記した２つの特徴を実現することができる。ただし、本実施形態では輝度信号Ｙに対して減算する処理を行っているが、Ｇ信号に対して処理を行うようにしてもよい。
【００３４】
次に、ステップＳ２０３では入力された映像信号のうちＲ信号とＢ信号に対して、Ｒ信号が擬似立体画像の手前側に、Ｂ信号が擬似立体画像の奥側になるように合成してＲＢ合成値を算出する。ここで、図８を参照してＲＢ合成値算出部１３３のＲＢ合成値の算出処理を説明する。図８に示すように、Ｘ軸は入力されるＢ信号（０〜２５５）であり、Ｙ軸は入力されるＲ信号（０〜２５５）であり、Ｚ軸は式（５）に示す計算式によって算出されるＲＢ_rateを示している。
【００３５】
ＲＢ_rate = ( 0.5 × R ) + { 0.5 × (255 − B) } （５）
さらに、式（６）に示す計算式によってＲＢ_rateからＲＢ合成値（ＲＢ_out）を算出する。
【００３６】
ＲＢ_out = ＲＢ_rate − １２８ （６）
このようにしてＲＢ合成値（ＲＢ_out）を算出することにより、赤の強い部分を擬似立体画像の手前側に、青の強い部分を擬似立体画像の奥側に配置することができる。また、黒色や白色（グレースケール）の出力値は０となるので、奥行きは変化しない。したがって、モノトーン画像では立体効果は得られない。
【００３７】
このようにＲＢ合成値を算出する理由は以下に示す３つの特徴のためである。
【００３８】
１）Ｒ信号が強い部分を手前側に配置する理由は、順光に近い環境で、尚且つテクスチャの明度が大きく異ならないような条件において、Ｒ信号の大きさは被写体の凹凸と一致する確率が高いという経験則があるためである。
【００３９】
２）Ｂ信号が強い部分を奥側に配置する理由は、光線の散乱によって遠くにあるもの程、青寄りに見えるという物理法則の一般論（空気遠近法）があるためである。
【００４０】
３）暖色系は色彩学における前進色であり、寒色系（後退色）よりも奥行きが手前に認識されるという特徴があり、寒色系(後退色)は暖色系よりも奥行きが奥側に認識されるという特徴がある。
【００４１】
したがって、ＲＢ合成値を算出することにより、これら３つの特徴によって擬似立体画像に立体効果を与えることができる。
【００４２】
次に、ステップＳ２０４において、輝度信号変更値（Ｙ_out）を補正するための輝度信号ゲインＧｙとＲＢ合成値（ＲＢ_out）を補正するためのＲＢゲインＧｒｂとを彩度平均値データ（ＶＣ_ave_out）に基づいて生成する。
【００４３】
ここで、ゲイン生成部１３４における輝度信号ゲインＧｙとＲＢゲインＧｒｂの生成方法を、図９を参照して説明する。図９（Ａ）は輝度信号ゲインＧｙの生成方法を説明するための図であり、図９（Ｂ）はＲＢゲインＧｒｂの生成方法を説明するための図である。
【００４４】
図９（Ａ）に示すように、横軸は彩度平均値（ＶＣ_ave_out）、縦軸は輝度信号ゲインＧｙを表しており、彩度平均値（ＶＣ_ave_out）が大きくなるにつれて輝度信号ゲインＧｙが小さくなるような特性を持たせている。
【００４５】
一方、図９（Ｂ）では横軸が彩度平均値（ＶＣ_ave_out）、縦軸がＲＢゲインＧｒｂを表しており、彩度平均値（ＶＣ_ave_out）が大きくなるにつれてＲＢゲインＧｒｂが大きくなるような特性を持たせている。そして、式（７）に示す計算式に基づいて、輝度信号ゲインＧｙとＲＢゲインＧｒｂの特性を決定している。
【００４６】
Gy + Grb = 1.0 （７）
但し、これはあくまで一例でありゲイン特性は式（７）に限定されるものではない。
【００４７】
こうして輝度信号ゲインＧｙとＲＢゲインＧｒｂが決定すると、次にステップＳ２０５において、式（８）に示す計算式によって奥行き推定データ（Depth）を算出する。
【００４８】
Depth = ( Ｙ_out × Gy ) ＋ ( RB_out × Grb) （８）
この奥行き推定データ（Depth）では、輝度信号変更値（Ｙ_out）に輝度信号ゲインＧｙを乗算し、ＲＢ合成値（ＲＢ_out）にＲＢゲインＧｒｂを乗算してから、それぞれを加算している。
【００４９】
ここで、輝度信号ゲインＧｙとＲＢゲインＧｒｂは彩度平均値データ（ＶＣ_ave_out）に基づいて生成されているので、式（８）の奥行き推定データでは、輝度信号（Ｙ）から推定される奥行き推定データと色信号（Ｒ、Ｂ）から推定される奥行き推定データとの合成比率が、彩度平均値データ（ＶＣ_ave_out）に基づいて決定されている。
【００５０】
こうして奥行き推定データが生成されると、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理は終了する。
【００５１】
［奥行き推定データ生成装置の効果］
次に、本実施形態に係る奥行き推定データ生成装置の効果について、図１０を参照して説明する。
【００５２】
図１０に示すように、入力画像として図１０（ａ）に示すような空（モノトーン）の画像が入力された場合について説明する。この入力画像の輝度のレベルと画素の出現頻度との間の関係を示すと、図１０（ｂ）に示すようになり、中間輝度領域に画像が分布していることが分かる。
【００５３】
ここで、従来の処理を施したシフト量画像を図１０（ｃ）に示す。このシフト量画像はグレースケールで表現したものであり、黒〜白を２５６ステップで表示して黒側は奥行き（凹）方向へ移動し、白側は飛出し（凸）方向へ移動したものとする。図１０（ｄ）は横軸をシフト量、縦軸を画素頻度として表したものであり、シフト量は１２８に集中している。すなわち視差０となっており、図１０（ｃ）に示すようにフラットな立体効果の得られない出力画像となっている。
【００５４】
一方、図１０（ｅ）に示す本発明による処理を施したシフト量画像では、画像の彩度平均値を検出して輝度信号変更値とＲＢ合成値との合成比率を決定している。したがって、図１０（ｅ）の画像ではモノトーンの画像なので彩度平均値が０になり、輝度信号ゲインＧｙ＝１、ＲＢゲインＧｒｂ＝０となって輝度信号から推定された奥行き値の比率が１００％となる奥行き推定データを自動で生成することができる。これにより図１０（ｆ）に示す広い分布からも分かるように、濃淡の差が大きい、すなわち視差が大きくて十分な立体効果を有する出力画像を生成することが可能となる。
【００５５】
このように従来ではモノトーン画像に対して立体効果を得ることはできなかったが、本実施形態に係る奥行き推定データ生成装置１によれば、モノトーン画像であっても十分な立体効果を得ることができ、これによってモノトーン画像から色鮮やかな画像まであらゆるシーンに対して十分な立体効果を得ることができる。
【００５６】
［ステレオペア生成装置、ステレオ表示装置の構成］
上述したように奥行き推定データ生成装置１によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。ここで、図１を参照して、本実施形態に係るステレオペア生成装置２及びステレオ表示装置３の構成を説明する。
【００５７】
図１に示すように、ステレオペア生成装置２は、入力される非立体画像の映像信号のテクスチャを奥行き推定データに基づいてシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを備えている。
【００５８】
そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号は、ステレオ表示装置３へ入力され、ステレオ表示装置３で擬似的な立体画像として表示される。
【００５９】
［ステレオペア生成装置２の動作の一例］
ステレオペア生成装置２では、奥行き推定データ生成装置１によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、対応部分のテクスチャを内側すなわち右側へ奥行きに応じた量だけ移動する。これに対して、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、対応部分のテクスチャを左側へ奥行きに応じた量だけ移動する。このような処理を施した画像を左目画像とし、入力された非立体画像を右目画像とすることによってステレオペアが構成される。
【００６０】
つまり、図１に示す本実施形態に係るステレオペア生成装置２では、まずテクスチャシフト部２１が奥行き推定部１３から出力された奥行き推定データに基づいて、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量Ｓ画素分だけ左へシフトする。
【００６１】
テクスチャシフト部２１におけるシフト量Ｓに基づいた映像信号のテクスチャのシフト動作は、非立体画像のテクスチャのシフトに対応するものである。換言すると、非立体画像の各画素を、奥行き推定データの値であるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【００６２】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載された手法で充填する。
【００６３】
オクルージョン補償部２２でオクルージョン補償された画像は、ポスト処理部２３によって平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。一方で、右目画像信号生成部２５は、入力された映像信号を右目画像信号として出力する。
【００６４】
このようにして、ステレオペア生成装置２は、奥行き推定データ生成装置１によって生成された奥行き推定データと入力された非立体画像の映像信号とを基にして、左目画像信号と右目画像信号とのステレオペアを生成することができる。これらの左目画像信号と右目画像信号はステレオ表示装置３へ出力され、ステレオ表示装置３ではステレオペアによって画面全体として擬似的な立体感を向上させた擬似立体画像を表示することが可能となる。
【００６５】
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像とするステレオペアを構成してもよい。また、上記処理では、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【００６６】
［ステレオ表示装置３の動作の一例］
図１に示す本実施形態に係るステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイやステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像信号と右目画像信号とが入力されてディスプレイ等に擬似立体画像を表示する。
【００６７】
なお、上記実施形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明はこれに限定されるわけではない。すなわち、２視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
【００６８】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。本立体表示システムでは音声出力を装備する形態のものを考慮してもよい。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６９】
さらに、本実施形態では、図１に示すように奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とをハードウエアによって構成する場合について説明したが、本発明はハードウエアによって構成されたものに限定されるわけではなく、例えば、ＣＰＵと、そのＣＰＵを前述のように動作させるためのコンピュータプログラムのソフトウェアによって奥行き推定データ生成装置１、ステレオペア生成装置２及びステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれるようにしても良い。
【００７０】
以上、本発明を一実施形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するためのものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【００７１】
１ 奥行き推定データ生成装置
２ ステレオペア生成装置
３ ステレオ表示装置
１１ マトリクス変換部
１２ 彩度平均値生成部
１３ 奥行き推定部
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像信号生成部
２５ 右目画像信号生成部
１２１ 彩度算出部
１２２ 積算部
１２３ 正規化部
１２４ レジスタ
１３１ リーク型積分部
１３２ 輝度信号変更値算出部
１３３ ＲＢ合成値算出部
１３４ ゲイン生成部
１３５ 奥行き推定データ算出部
【特許請求の範囲】
【請求項１】
入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、
前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部と、
前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部と
を備えていることを特徴とする奥行き推定データ生成装置。
【請求項２】
入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、
前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出ステップと、
前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップと
をコンピュータに実行させることを特徴とする奥行き推定データ生成プログラム。
【請求項３】
前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、
前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、
前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
【請求項１】
入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成部と、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出部と、
前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出部と、
前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成部と、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出部と
を備えていることを特徴とする奥行き推定データ生成装置。
【請求項２】
入力映像信号の色差信号成分から彩度を算出し、前記彩度の平均値を求めて彩度平均値データを生成する彩度平均値生成ステップと、
前記入力映像信号の輝度信号成分と予め設定された所定値との差分を求めて輝度信号変更値を算出する輝度信号変更値算出ステップと、
前記入力映像信号のＲ成分が前記擬似立体画像の手前側に、前記入力映像信号のＢ成分が前記擬似立体画像の奥側になるように合成したＲＢ合成値を算出するＲＢ合成値算出ステップと、
前記輝度信号変更値を補正するための輝度信号ゲインと前記ＲＢ合成値を補正するためのＲＢゲインとを前記彩度平均値データに基づいて生成するゲイン生成ステップと、
前記輝度信号変更値と前記輝度信号ゲインとの演算結果と前記ＲＢ合成値と前記ＲＢゲインとの演算結果とを合成して、前記入力映像信号から擬似立体画像を示す信号を生成するための奥行き推定データを算出する奥行き推定データ算出ステップと
をコンピュータに実行させることを特徴とする奥行き推定データ生成プログラム。
【請求項３】
前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、
前記奥行き推定データと前記入力映像信号とを用いて、前記入力映像信号のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像信号を生成するステレオペア生成装置と、
前記別視点画像信号と前記入力映像信号とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５６７８８（Ｐ２０１２−１５６７８８Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４０８７（Ｐ２０１１−１４０８７）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]