奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
【課題】ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることのできる奥行き推定データ生成装置を提供する。
【解決手段】本発明の奥行き推定データ生成装置は、入力された非立体画像の平均輝度から検出された平均値データと最小輝度から検出された最小値データと最大輝度から検出された最大値データとを生成する画像特徴検出部１２と、非立体画像と平均値データとの差分を求めて差分データを生成する差分データ生成部１３２と、最小値データを用いて、差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部１３３と、最大値データを用いて、差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部１３４とを備えていることを特徴とする。
【解決手段】本発明の奥行き推定データ生成装置は、入力された非立体画像の平均輝度から検出された平均値データと最小輝度から検出された最小値データと最大輝度から検出された最大値データとを生成する画像特徴検出部１２と、非立体画像と平均値データとの差分を求めて差分データを生成する差分データ生成部１３２と、最小値データを用いて、差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部１３３と、最大値データを用いて、差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部１３４とを備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に係り、特に通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を生成する奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に関する。
【背景技術】
【０００２】
立体表示システムでは、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われている。
【０００３】
このような技術の一例として、例えば特許文献１に開示された技術のように、奥行きに応じた輪郭線を断面としたチューブを構成することを前提とした遠近法ベースのアプローチが従来から知られている。
【０００４】
この特許文献１に開示された技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から取得したカラー画像データを適用する。そして、三次元ポリゴン立体データで構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
【０００５】
また、別の従来例としては特許文献２に開示された技術があり、特許文献２に開示された擬似立体画像生成装置では、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを用いて、上部の高域成分評価部と下部の高域成分評価部からの高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数の基本奥行きモデルを合成する。そして、加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データをもとにした処理を非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１８５７１２号公報
【特許文献２】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果が限定的になってしまうという問題点がある。また、遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではないという問題点もあった。
【０００８】
さらに、特許文献２に開示された手法では、複数の基本奥行きモデルを合成し、この合成された基本奥行きモデルにＲ信号を重畳することによって奥行き推定データを生成している。ところが、重畳されるＲ信号が１画面内で大きい値の近傍に集まっている場合には、奥行き推定データとして使用できるダイナミックレンジを部分的にしか使用していないので、得られる擬似立体効果が十分なものではなかった。
【０００９】
例えば、図１０を参照して説明すると、特許文献２ではＲ信号を１／１０にして重畳しているので、図１０ではＲ信号の入力は１／１０にされている。そして、Ｒ信号の平均値をＡＰＬ、最大値をＭＡＸ、最小値をＭＩＮとすると、図１０の下方に図示した拡大図に示すようにＲ信号が実際に使っている使用レンジはダイナミックレンジよりもかなり狭い範囲になってしまう。したがって、ダイナミックレンジを部分的にしか使用していないので、十分な擬似立体効果を得ることはできなかった。
【００１０】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることのできる奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記した目的を達成するために、本発明に係る奥行き推定データ生成装置は、画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出部と、前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出部と、前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出部と、前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成部と、前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部と、前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部と、前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力部とを備えていることを特徴とする。
【００１２】
また、本発明に係る奥行き推定データ生成プログラムは、画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出ステップと、前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出ステップと、前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出ステップと、前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成ステップと、前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成ステップと、前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成ステップと、前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力ステップとをコンピュータに実行させることを特徴とする。
【００１３】
さらに、本発明に係る擬似立体画像表示装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、前記奥行き推定データを生成する奥行き推定データ生成装置と、前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。
【発明の効果】
【００１４】
本発明に係る奥行き推定データ生成装置及び奥行き推定データ生成プログラムによれば、非立体画像の平均輝度を基準にして非立体画像の最大値及び最小値をダイナミックレンジの上限及び下限に対応させて補正するので、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることができる。
【００１５】
また、本発明に係る擬似立体画像表示装置によれば、非立体画像の平均輝度を基準にして非立体画像の最大値及び最小値をダイナミックレンジの上限及び下限に対応して補正し、補正された奥行き推定データを用いて擬似立体画像を生成して表示するので、ダイナミックレンジを最大限に活用して十分な擬似立体効果のある画像を表示することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【図２】本発明を適用した一実施形態に係る擬似立体画像表示装置に入力される画像の一画面内における判定領域の一例を示す図である。
【図３】本発明を適用した一実施形態に係る奥行き推定データ生成装置のリーク型積分部の構成を示すブロック図である。
【図４】本発明を適用した一実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の処理手順を示すフローチャートである。
【図５】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図６】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図７】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図８】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図９】本発明を適用した一実施形態に係る奥行き推定データ生成装置による効果を説明するための図である。
【図１０】従来の擬似立体画像生成装置による課題を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明を適用した一実施形態について図面を参照して説明する。図１は本実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【００１８】
図１に示すように、本実施形態に係る擬似立体画像表示装置は、奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とを備えており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号（輝度信号Ｙ、色差信号Ｂ−Ｙ、Ｒ−Ｙ）から左目画像信号と右目画像信号とを生成し、ステレオ表示装置３で左目画像信号と右目画像信号とを用いて擬似立体画像を表示するように構成されている。
【００１９】
以下、擬似立体画像表示装置を構成する奥行き推定データ生成装置１とステレオペア生成装置２とステレオ表示装置３の各装置について説明する。
【００２０】
［奥行き推定データ生成装置の構成］
図１に示すように、本実施形態に係る奥行き推定データ生成装置１は、ノイズ成分の影響を除去するローパスフィルタ１１と、入力された非立体画像の特徴を検出して画像特徴データを出力する画像特徴検出部１２と、奥行き推定データを生成する奥行き推定部１３とを備えている。なお、ローパスフィルタ１１は、必須のものではなく、省略しても良い。
【００２１】
ここで、画像特徴検出部１２は、非立体画像の輝度信号成分の平均輝度を検出して平均値（ＡＰＬ）データを生成する平均値検出部１２１と、非立体画像の輝度信号成分の最小輝度を検出して最小値（ＭＩＮ）データを生成する最小値検出部１２２と、非立体画像の輝度信号成分の最大輝度を検出して最大値（ＭＡＸ）データを生成する最大値検出部１２３とを備えている。
【００２２】
図２は、入力される非立体画像の一画面ｆ内に設けられた判定領域ｆａの一例を示す図である。図２に示すように、画像特徴検出部１２は、１フィールド又は１フレームである画面ｆ内に所定の判定領域ｆａを設け、判定領域ｆａ内の輝度レベルに基づいて、画像特徴データとして平均値データ、最小値データ、最大値データを生成する。
【００２３】
尚、本実施形態では１フィールド又は１フレーム毎に画像特徴データを生成するが、複数フィールド又は複数フレーム毎に画像特徴データを生成してもよく、画面の所定単位（時間単位）毎に画像特徴データを生成すればよい。ただし、１フィールド又は１フレーム毎に画像特徴データを生成することが望ましい。さらに判定領域ｆａは、有効映像期間内であれば大きさは任意である。
【００２４】
奥行き推定部１３は、画像特徴データにリーク型積分処理を行うリーク型積分部１３１と、非立体画像の輝度信号成分と平均値データとの差分を求めて差分データを生成する差分データ生成部１３２と、最小値データを用いて、差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部１３３と、最大値データを用いて、差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部１３４と、負のシフト量と正のシフト量とを奥行き推定データとして出力する奥行き推定データ出力部１３５とを備えている。奥行き推定データは、奥行き情報が与えられていない画像（非立体画像とも言う）から擬似立体画像を生成するためのデータである。
【００２５】
ここで、図３を参照してリーク型積分部１３１の回路構成を説明する。図３に示すように、リーク型積分部１３１は、加算器３１と、レジスタ３２と、乗算器３３、３４とを備えている。そして、画像特徴データである平均値データ、最小値データ、最大値データが入力されると、時間方向にリーク型の積分処理を実行する。ただし、図３では一例として平均値データが入力された場合について説明する。
【００２６】
図３に示すように、入力データとして入力平均値データAPL＿inが入力されると、レジスタ３２から出力されたデータに乗算器３３で１５／１６が乗算された値が、加算器３１で加算される。この加算された結果はレジスタ３２に格納され、次のフィールドまたはフレームにおける入力平均値データAPL＿inが入力された際に同様に利用される。次に、レジスタ３２から出力されたデータは乗算器３４で１／１６が乗算されて最終的な出力データである出力平均値データAPL＿outが出力される。
【００２７】
このように、リーク型積分部１３１でリーク型積分処理を行うことによって、画像を緩やかに変化させてより自然な画質を提供することができる。
【００２８】
［奥行き推定データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の手順を図４のフローチャートを参照して説明する。
【００２９】
図４に示すように、ステップＳ１０１において画像特徴検出部１２は、ローパスフィルタ１１でノイズの除去された入力映像信号の輝度信号成分から平均輝度、最小輝度、最大輝度を検出して画像特徴データを生成する。この画像特徴データには平均値（ＡＰＬ）データ、最小値（ＭＩＮ）データ、最大値（ＭＡＸ）データが含まれている。そして、これらの画像特徴データに対して、ステップＳ１０２においてリーク型積分部１３１により時間方向のリーク型積分処理が行われる。
【００３０】
次に、ステップＳ１０３では、差分データ生成部１３２が入力映像信号の輝度信号成分と平均値データとの差分を式（１）によって求めて差分データを生成する。
【００３１】
Ｙ_sub（j）＝ j − APL （１）
ここで、Ｙ_sub（j）は差分データ、jは入力映像信号の輝度信号、APLは平均値データである。
【００３２】
こうして差分データＹ_sub（j）が生成されると、ステップＳ１０４において負のシフト量生成部１３３により式（２）に示す最小値データによる正規化処理が行われる。
【００３３】
Ｙ_sub（j）＜ ０の場合
Ｓ（j）−＝ Ｙ_sub（j）× LowLim ／ （MIN−APL） （２）
ここで、Ｓ（j）−は負のシフト量、LowLimは下限リミット閾値、MINは最小値データである。
【００３４】
この最小値データによる正規化処理は、最小値データを用いて、差分データの０より小さな値を予め設定されたダイナミックレンジの下限に対応させて補正し、負のシフト量を生成するものである。例えば、図５（ａ）を参照して説明すると、平均輝度がAPL、最小輝度がMIN、最大輝度がMAXの輝度信号が入力された場合に、差分データを求めて正規化処理を行うと、図５（ｂ）に示すMINからAPLまでの直線が負のシフト量Ｓ（j）−となる。
【００３５】
図５（ｂ）に示すように、入力輝度信号がAPLの場合には負のシフト量Ｓ（j）−＝０となり、入力輝度信号ｊが最小輝度MINの場合には負のシフト量Ｓ（j）−＝LowLimとなる。したがって、LowLimをダイナミックレンジの下限に予め設定しておくことによって、負のシフト量Ｓ（j）−をダイナミックレンジの下限まで拡大することができる。
【００３６】
ここで従来と比較すると、正規化処理を行わない従来の方法では、入力輝度信号ｊが最小輝度MINのときのシフト量はダイナミックレンジの下限になるとは限らないので、ダイナミックレンジの全体を活用することはできない。しかし、本実施形態では正規化処理を行うことによって図５（ｂ）に示すように、入力輝度信号ｊが最小輝度MINのときに負のシフト量Ｓ（j）−＝LowLimとなるので、LowLimを予めダイナミックレンジの下限に設定しておけばダイナミックレンジ全体を十分に利用することができる。
【００３７】
こうして負のシフト量が生成されると、次にステップＳ１０５において正のシフト量生成部１３４により式（３）に示す最大値データによる正規化処理が行われる。
【００３８】
Ｙ_sub（j）＞ ０の場合
Ｓ（j）＋＝ Ｙ_sub（j）× UpLim ／ （MAX−APL） （３）
ここで、Ｓ（j）＋は正のシフト量、UpLimは上限リミット閾値、MAXは最大値データである。
【００３９】
この最大値データによる正規化処理は、最大値データを用いて、差分データの０より大きな値を予め設定されたダイナミックレンジの上限に対応させて補正し、正のシフト量を生成するものである。例えば、図５を参照して説明すると、平均輝度がAPL、最小輝度がMIN、最大輝度がMAXの輝度信号が入力された場合に、差分データを求めて正規化処理を行うと、図５（ｂ）に示すAPLからMAXまでの直線が正のシフト量Ｓ（j）＋となる。
【００４０】
図５（ｂ）に示すように、入力輝度信号ｊがAPLの場合には正のシフト量Ｓ（j）＋＝０となり、入力輝度信号ｊがMAXの場合には正のシフト量Ｓ（j）＋＝UpLimとなる。したがって、UpLimをダイナミックレンジの上限に予め設定しておくことによって、正のシフト量Ｓ（j）＋をダイナミックレンジの上限まで拡大することができる。
【００４１】
ここで従来と比較すると、正規化処理を行わない従来の方法では、入力輝度信号ｊが最大輝度MAXのときのシフト量はダイナミックレンジの上限になるとは限らないので、ダイナミックレンジの全体を活用することはできない。しかし、本実施形態では正規化処理を行うことによって図５（ｂ）に示すように、入力輝度信号ｊが最大輝度MAXのときに正のシフト量Ｓ（j）＋＝UpLimとなるので、UpLimをダイナミックレンジの上限に設定しておけばダイナミックレンジ全体を十分に利用することができる。
【００４２】
上述したようにして負のシフト量Ｓ（j）−と正のシフト量Ｓ（j）＋とが生成されると、次にステップＳ１０６において奥行き推定データ出力部１３５が式（４）に示すシフト量Ｓ（j）を算出し、このシフト量Ｓ（j）を奥行き推定データとして出力する。
【００４３】
Ｓ（j）＝Ｓ（j）−＋Ｓ（j）＋ （４）
尚、正のシフト量Ｓ（j）＋は飛び出し（凸）方向に作用し、負のシフト量Ｓ（j）−は引っ込み（凹）方向に作用するものである。この特性を決定する要因としては、グレースケールにおいて、明度が高い白は膨張色であり大きく広がって見えるが、明度が低い黒は収縮色であり小さく見えるためである。
【００４４】
次に、入力された輝度信号の分布がさまざまに変化した場合の奥行き推定データの生成例について図６〜８を参照して説明する。
【００４５】
図６は、輝度信号のデータが中間輝度に集中している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図６に示すように、入力画像は狭いレンジ（MAX−MIN）に集中しているが、正規化処理を行うことによって拡大し、奥行き推定データではLowLimからUpLimまでダイナミックレンジを最大限活用している。
【００４６】
図７は、輝度信号ｊのデータが高輝度に多く分布している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図７に示すように、APLを検出して画像情報が多く含まれているAPLのレベルを基点としているので、高輝度に多く含まれている必要な情報を保存したまま奥行き推定データへ転換することが可能となっている。
【００４７】
図８は、輝度信号ｊのデータが低輝度に多く分布している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図８に示すように、APLを検出して画像情報が多く含まれているAPLのレベルを基点としているので、低輝度に多く含まれている必要な情報を保存したまま奥行き推定データへ転換することが可能となっている。これにより奥行き感を向上させる効果がある。
【００４８】
上述したようにステップＳ１０６の処理が終了すると、その後はＳ１０１へ戻って上述したステップＳ１０６までの処理を繰り返し行い、すべての入力映像信号について奥行き推定データが生成されると、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理は終了する。
【００４９】
［奥行き推定データ生成装置の効果］
次に、本実施形態に係る奥行き推定データ生成装置の効果について、図９を参照して説明する。
【００５０】
図９に示すように、入力画像として図９（ａ）に示すような全体的に明るい空の画像が入力された場合について説明する。この入力画像の画像特徴データは、図９（ｂ）に示すように平均輝度値は１７５、最小輝度値は１３１、最大輝度値は２４２であり、縦軸に示す画素の出現頻度を参照して分かるように全体的に明るい輝度領域に画像が集まっていることを示している。
【００５１】
ここで、従来の処理を施したシフト量画像を図９（ｃ）に示す。このシフト量画像はグレースケールで表現したものであり、黒〜白を２５６ステップで表示して黒側は奥行き（凹）方向へ移動し、白側は飛出し（凸）方向へ移動したものとする。図９（ｄ）は横軸をシフト量、縦軸を画素頻度として表したものであり、ダイナミックレンジが１２８を中心に−２４、＋２３の範囲(１０４〜１５１)とした場合である。図９（ｄ）に示すように、シフト量は１２８〜１４９の狭い範囲しか使用されておらず、図９（ｃ）に示す画像を見て分かるように濃淡の差が少ない立体効果の弱い出力画像となっている。
【００５２】
一方、図９（ｅ）に示す本発明による処理を施したシフト量画像は、図９（ｆ）に示すようにダイナミックレンジ（１０４〜１５１）の大部分を活用することができている。したがって、図９（ｅ）に示すシフト量画像は濃淡の差が大きい、すなわち視差の大きい十分な立体効果をもった出力画像となっている。このように本実施形態に係る奥行き推定データ生成装置１によれば、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることができる。
【００５３】
［ステレオペア生成装置、ステレオ表示装置の構成］
上述したように奥行き推定データ生成装置１によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。ここで、図１を参照して、本実施形態に係るステレオペア生成装置２及びステレオ表示装置３の構成を説明する。
【００５４】
図１に示すように、ステレオペア生成装置２は、奥行き推定部１３で生成された奥行き推定データに基づいて入力される非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを備えている。
【００５５】
そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号は、ステレオ表示装置３へ入力され、ステレオ表示装置３で擬似的な立体画像として表示される。
【００５６】
［ステレオペア生成装置２の動作の一例］
ステレオペア生成装置２では、奥行き推定データ生成装置１によって生成された階調補正曲線に基づいて推定された奥行き信号と、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、対応部分のテクスチャを内側すなわち右に奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、対応部分のテクスチャを左に奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【００５７】
つまり、図１に示す本実施形態のステレオペア生成装置２では、まずテクスチャシフト部２１が奥行き推定データ生成装置１の奥行き推定部１３から出力された奥行き推定データについて、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量Ｓ画素分だけ左へシフトする。
【００５８】
テクスチャシフト部２１におけるシフト量Ｓに基づいた映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行き推定データの値であるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【００５９】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載された手法で充填する。
【００６０】
オクルージョン補償部２２でオクルージョン補償された画像は、ポスト処理部２３により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。一方で、右目画像信号生成部２５は、映像信号を右目画像信号として出力する。
【００６１】
このようにして、ステレオペア生成装置２は、奥行き推定データ生成装置１によって生成された階調補正曲線に基づいて推定した奥行き推定データと、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。そして、これらの左目画像信号と右目画像信号は、ステレオ表示装置３へ出力される。そして、ステレオ表示装置３では、ステレオペアによって画面全体として擬似的な立体感を向上させた擬似立体画像を表示することが可能となる。
【００６２】
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像とするステレオペアを構成してもよい。また、上記処理では、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【００６３】
［ステレオ表示装置３の動作の一例］
図１に示す本実施形態に係るステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイやステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像信号と右目画像信号とが入力されてディスプレイ等に擬似立体画像を表示する。
【００６４】
なお、上記実施形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明はこれに限定されるわけではない。すなわち、２視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
【００６５】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。本立体表示システムでは音声出力を装備する形態のものを考慮してもよい。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６６】
また、本実施形態では、図１に示すように奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とをハードウエアによって構成する場合について説明したが、本発明では、ハードウエアによって構成したものに限定されるわけではなく、例えば、ＣＰＵと、そのＣＰＵを前述のように動作させるためのコンピュータプログラムのソフトウェアによって奥行き推定データ生成装置１、ステレオペア生成装置２及びステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれるようにしても良い。
【００６７】
以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するためのものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【００６８】
１ 奥行き推定データ生成装置
２ ステレオペア生成装置
３ ステレオ表示装置
１１ ローパスフィルタ
１２ 画像特徴検出部
１３ 奥行き推定部
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像信号生成部
２５ 右目画像信号生成部
１２１ 平均値検出部
１２２ 最小値検出部
１２３ 最大値検出部
１３１ リーク型積分部
１３２ 差分データ生成部
１３３ 負のシフト量生成部
１３４ 正のシフト量生成部
１３５ 奥行き推定データ出力部
【技術分野】
【０００１】
本発明は奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に係り、特に通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を生成する奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置に関する。
【背景技術】
【０００２】
立体表示システムでは、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われている。
【０００３】
このような技術の一例として、例えば特許文献１に開示された技術のように、奥行きに応じた輪郭線を断面としたチューブを構成することを前提とした遠近法ベースのアプローチが従来から知られている。
【０００４】
この特許文献１に開示された技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から取得したカラー画像データを適用する。そして、三次元ポリゴン立体データで構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
【０００５】
また、別の従来例としては特許文献２に開示された技術があり、特許文献２に開示された擬似立体画像生成装置では、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを用いて、上部の高域成分評価部と下部の高域成分評価部からの高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数の基本奥行きモデルを合成する。そして、加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データをもとにした処理を非立体画像の映像信号に施すことで、立体感を感じさせる別視点画像の映像信号を生成している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１８５７１２号公報
【特許文献２】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果が限定的になってしまうという問題点がある。また、遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではないという問題点もあった。
【０００８】
さらに、特許文献２に開示された手法では、複数の基本奥行きモデルを合成し、この合成された基本奥行きモデルにＲ信号を重畳することによって奥行き推定データを生成している。ところが、重畳されるＲ信号が１画面内で大きい値の近傍に集まっている場合には、奥行き推定データとして使用できるダイナミックレンジを部分的にしか使用していないので、得られる擬似立体効果が十分なものではなかった。
【０００９】
例えば、図１０を参照して説明すると、特許文献２ではＲ信号を１／１０にして重畳しているので、図１０ではＲ信号の入力は１／１０にされている。そして、Ｒ信号の平均値をＡＰＬ、最大値をＭＡＸ、最小値をＭＩＮとすると、図１０の下方に図示した拡大図に示すようにＲ信号が実際に使っている使用レンジはダイナミックレンジよりもかなり狭い範囲になってしまう。したがって、ダイナミックレンジを部分的にしか使用していないので、十分な擬似立体効果を得ることはできなかった。
【００１０】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることのできる奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記した目的を達成するために、本発明に係る奥行き推定データ生成装置は、画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出部と、前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出部と、前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出部と、前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成部と、前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部と、前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部と、前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力部とを備えていることを特徴とする。
【００１２】
また、本発明に係る奥行き推定データ生成プログラムは、画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出ステップと、前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出ステップと、前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出ステップと、前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成ステップと、前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成ステップと、前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成ステップと、前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力ステップとをコンピュータに実行させることを特徴とする。
【００１３】
さらに、本発明に係る擬似立体画像表示装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、前記奥行き推定データを生成する奥行き推定データ生成装置と、前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。
【発明の効果】
【００１４】
本発明に係る奥行き推定データ生成装置及び奥行き推定データ生成プログラムによれば、非立体画像の平均輝度を基準にして非立体画像の最大値及び最小値をダイナミックレンジの上限及び下限に対応させて補正するので、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることができる。
【００１５】
また、本発明に係る擬似立体画像表示装置によれば、非立体画像の平均輝度を基準にして非立体画像の最大値及び最小値をダイナミックレンジの上限及び下限に対応して補正し、補正された奥行き推定データを用いて擬似立体画像を生成して表示するので、ダイナミックレンジを最大限に活用して十分な擬似立体効果のある画像を表示することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【図２】本発明を適用した一実施形態に係る擬似立体画像表示装置に入力される画像の一画面内における判定領域の一例を示す図である。
【図３】本発明を適用した一実施形態に係る奥行き推定データ生成装置のリーク型積分部の構成を示すブロック図である。
【図４】本発明を適用した一実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の処理手順を示すフローチャートである。
【図５】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図６】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図７】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図８】本発明を適用した一実施形態に係る奥行き推定データ生成装置によって算出された奥行き推定データの一例を示す図である。
【図９】本発明を適用した一実施形態に係る奥行き推定データ生成装置による効果を説明するための図である。
【図１０】従来の擬似立体画像生成装置による課題を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、本発明を適用した一実施形態について図面を参照して説明する。図１は本実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。
【００１８】
図１に示すように、本実施形態に係る擬似立体画像表示装置は、奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とを備えており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号（輝度信号Ｙ、色差信号Ｂ−Ｙ、Ｒ−Ｙ）から左目画像信号と右目画像信号とを生成し、ステレオ表示装置３で左目画像信号と右目画像信号とを用いて擬似立体画像を表示するように構成されている。
【００１９】
以下、擬似立体画像表示装置を構成する奥行き推定データ生成装置１とステレオペア生成装置２とステレオ表示装置３の各装置について説明する。
【００２０】
［奥行き推定データ生成装置の構成］
図１に示すように、本実施形態に係る奥行き推定データ生成装置１は、ノイズ成分の影響を除去するローパスフィルタ１１と、入力された非立体画像の特徴を検出して画像特徴データを出力する画像特徴検出部１２と、奥行き推定データを生成する奥行き推定部１３とを備えている。なお、ローパスフィルタ１１は、必須のものではなく、省略しても良い。
【００２１】
ここで、画像特徴検出部１２は、非立体画像の輝度信号成分の平均輝度を検出して平均値（ＡＰＬ）データを生成する平均値検出部１２１と、非立体画像の輝度信号成分の最小輝度を検出して最小値（ＭＩＮ）データを生成する最小値検出部１２２と、非立体画像の輝度信号成分の最大輝度を検出して最大値（ＭＡＸ）データを生成する最大値検出部１２３とを備えている。
【００２２】
図２は、入力される非立体画像の一画面ｆ内に設けられた判定領域ｆａの一例を示す図である。図２に示すように、画像特徴検出部１２は、１フィールド又は１フレームである画面ｆ内に所定の判定領域ｆａを設け、判定領域ｆａ内の輝度レベルに基づいて、画像特徴データとして平均値データ、最小値データ、最大値データを生成する。
【００２３】
尚、本実施形態では１フィールド又は１フレーム毎に画像特徴データを生成するが、複数フィールド又は複数フレーム毎に画像特徴データを生成してもよく、画面の所定単位（時間単位）毎に画像特徴データを生成すればよい。ただし、１フィールド又は１フレーム毎に画像特徴データを生成することが望ましい。さらに判定領域ｆａは、有効映像期間内であれば大きさは任意である。
【００２４】
奥行き推定部１３は、画像特徴データにリーク型積分処理を行うリーク型積分部１３１と、非立体画像の輝度信号成分と平均値データとの差分を求めて差分データを生成する差分データ生成部１３２と、最小値データを用いて、差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部１３３と、最大値データを用いて、差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部１３４と、負のシフト量と正のシフト量とを奥行き推定データとして出力する奥行き推定データ出力部１３５とを備えている。奥行き推定データは、奥行き情報が与えられていない画像（非立体画像とも言う）から擬似立体画像を生成するためのデータである。
【００２５】
ここで、図３を参照してリーク型積分部１３１の回路構成を説明する。図３に示すように、リーク型積分部１３１は、加算器３１と、レジスタ３２と、乗算器３３、３４とを備えている。そして、画像特徴データである平均値データ、最小値データ、最大値データが入力されると、時間方向にリーク型の積分処理を実行する。ただし、図３では一例として平均値データが入力された場合について説明する。
【００２６】
図３に示すように、入力データとして入力平均値データAPL＿inが入力されると、レジスタ３２から出力されたデータに乗算器３３で１５／１６が乗算された値が、加算器３１で加算される。この加算された結果はレジスタ３２に格納され、次のフィールドまたはフレームにおける入力平均値データAPL＿inが入力された際に同様に利用される。次に、レジスタ３２から出力されたデータは乗算器３４で１／１６が乗算されて最終的な出力データである出力平均値データAPL＿outが出力される。
【００２７】
このように、リーク型積分部１３１でリーク型積分処理を行うことによって、画像を緩やかに変化させてより自然な画質を提供することができる。
【００２８】
［奥行き推定データの生成処理の手順］
次に、本実施形態に係る奥行き推定データ生成装置による奥行き推定データの生成処理の手順を図４のフローチャートを参照して説明する。
【００２９】
図４に示すように、ステップＳ１０１において画像特徴検出部１２は、ローパスフィルタ１１でノイズの除去された入力映像信号の輝度信号成分から平均輝度、最小輝度、最大輝度を検出して画像特徴データを生成する。この画像特徴データには平均値（ＡＰＬ）データ、最小値（ＭＩＮ）データ、最大値（ＭＡＸ）データが含まれている。そして、これらの画像特徴データに対して、ステップＳ１０２においてリーク型積分部１３１により時間方向のリーク型積分処理が行われる。
【００３０】
次に、ステップＳ１０３では、差分データ生成部１３２が入力映像信号の輝度信号成分と平均値データとの差分を式（１）によって求めて差分データを生成する。
【００３１】
Ｙ_sub（j）＝ j − APL （１）
ここで、Ｙ_sub（j）は差分データ、jは入力映像信号の輝度信号、APLは平均値データである。
【００３２】
こうして差分データＹ_sub（j）が生成されると、ステップＳ１０４において負のシフト量生成部１３３により式（２）に示す最小値データによる正規化処理が行われる。
【００３３】
Ｙ_sub（j）＜ ０の場合
Ｓ（j）−＝ Ｙ_sub（j）× LowLim ／ （MIN−APL） （２）
ここで、Ｓ（j）−は負のシフト量、LowLimは下限リミット閾値、MINは最小値データである。
【００３４】
この最小値データによる正規化処理は、最小値データを用いて、差分データの０より小さな値を予め設定されたダイナミックレンジの下限に対応させて補正し、負のシフト量を生成するものである。例えば、図５（ａ）を参照して説明すると、平均輝度がAPL、最小輝度がMIN、最大輝度がMAXの輝度信号が入力された場合に、差分データを求めて正規化処理を行うと、図５（ｂ）に示すMINからAPLまでの直線が負のシフト量Ｓ（j）−となる。
【００３５】
図５（ｂ）に示すように、入力輝度信号がAPLの場合には負のシフト量Ｓ（j）−＝０となり、入力輝度信号ｊが最小輝度MINの場合には負のシフト量Ｓ（j）−＝LowLimとなる。したがって、LowLimをダイナミックレンジの下限に予め設定しておくことによって、負のシフト量Ｓ（j）−をダイナミックレンジの下限まで拡大することができる。
【００３６】
ここで従来と比較すると、正規化処理を行わない従来の方法では、入力輝度信号ｊが最小輝度MINのときのシフト量はダイナミックレンジの下限になるとは限らないので、ダイナミックレンジの全体を活用することはできない。しかし、本実施形態では正規化処理を行うことによって図５（ｂ）に示すように、入力輝度信号ｊが最小輝度MINのときに負のシフト量Ｓ（j）−＝LowLimとなるので、LowLimを予めダイナミックレンジの下限に設定しておけばダイナミックレンジ全体を十分に利用することができる。
【００３７】
こうして負のシフト量が生成されると、次にステップＳ１０５において正のシフト量生成部１３４により式（３）に示す最大値データによる正規化処理が行われる。
【００３８】
Ｙ_sub（j）＞ ０の場合
Ｓ（j）＋＝ Ｙ_sub（j）× UpLim ／ （MAX−APL） （３）
ここで、Ｓ（j）＋は正のシフト量、UpLimは上限リミット閾値、MAXは最大値データである。
【００３９】
この最大値データによる正規化処理は、最大値データを用いて、差分データの０より大きな値を予め設定されたダイナミックレンジの上限に対応させて補正し、正のシフト量を生成するものである。例えば、図５を参照して説明すると、平均輝度がAPL、最小輝度がMIN、最大輝度がMAXの輝度信号が入力された場合に、差分データを求めて正規化処理を行うと、図５（ｂ）に示すAPLからMAXまでの直線が正のシフト量Ｓ（j）＋となる。
【００４０】
図５（ｂ）に示すように、入力輝度信号ｊがAPLの場合には正のシフト量Ｓ（j）＋＝０となり、入力輝度信号ｊがMAXの場合には正のシフト量Ｓ（j）＋＝UpLimとなる。したがって、UpLimをダイナミックレンジの上限に予め設定しておくことによって、正のシフト量Ｓ（j）＋をダイナミックレンジの上限まで拡大することができる。
【００４１】
ここで従来と比較すると、正規化処理を行わない従来の方法では、入力輝度信号ｊが最大輝度MAXのときのシフト量はダイナミックレンジの上限になるとは限らないので、ダイナミックレンジの全体を活用することはできない。しかし、本実施形態では正規化処理を行うことによって図５（ｂ）に示すように、入力輝度信号ｊが最大輝度MAXのときに正のシフト量Ｓ（j）＋＝UpLimとなるので、UpLimをダイナミックレンジの上限に設定しておけばダイナミックレンジ全体を十分に利用することができる。
【００４２】
上述したようにして負のシフト量Ｓ（j）−と正のシフト量Ｓ（j）＋とが生成されると、次にステップＳ１０６において奥行き推定データ出力部１３５が式（４）に示すシフト量Ｓ（j）を算出し、このシフト量Ｓ（j）を奥行き推定データとして出力する。
【００４３】
Ｓ（j）＝Ｓ（j）−＋Ｓ（j）＋ （４）
尚、正のシフト量Ｓ（j）＋は飛び出し（凸）方向に作用し、負のシフト量Ｓ（j）−は引っ込み（凹）方向に作用するものである。この特性を決定する要因としては、グレースケールにおいて、明度が高い白は膨張色であり大きく広がって見えるが、明度が低い黒は収縮色であり小さく見えるためである。
【００４４】
次に、入力された輝度信号の分布がさまざまに変化した場合の奥行き推定データの生成例について図６〜８を参照して説明する。
【００４５】
図６は、輝度信号のデータが中間輝度に集中している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図６に示すように、入力画像は狭いレンジ（MAX−MIN）に集中しているが、正規化処理を行うことによって拡大し、奥行き推定データではLowLimからUpLimまでダイナミックレンジを最大限活用している。
【００４６】
図７は、輝度信号ｊのデータが高輝度に多く分布している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図７に示すように、APLを検出して画像情報が多く含まれているAPLのレベルを基点としているので、高輝度に多く含まれている必要な情報を保存したまま奥行き推定データへ転換することが可能となっている。
【００４７】
図８は、輝度信号ｊのデータが低輝度に多く分布している画像について奥行き推定データ（シフト量Ｓ）を生成した場合を示したものである。図８に示すように、APLを検出して画像情報が多く含まれているAPLのレベルを基点としているので、低輝度に多く含まれている必要な情報を保存したまま奥行き推定データへ転換することが可能となっている。これにより奥行き感を向上させる効果がある。
【００４８】
上述したようにステップＳ１０６の処理が終了すると、その後はＳ１０１へ戻って上述したステップＳ１０６までの処理を繰り返し行い、すべての入力映像信号について奥行き推定データが生成されると、本実施形態に係る奥行き推定データ生成装置１による奥行き推定データの生成処理は終了する。
【００４９】
［奥行き推定データ生成装置の効果］
次に、本実施形態に係る奥行き推定データ生成装置の効果について、図９を参照して説明する。
【００５０】
図９に示すように、入力画像として図９（ａ）に示すような全体的に明るい空の画像が入力された場合について説明する。この入力画像の画像特徴データは、図９（ｂ）に示すように平均輝度値は１７５、最小輝度値は１３１、最大輝度値は２４２であり、縦軸に示す画素の出現頻度を参照して分かるように全体的に明るい輝度領域に画像が集まっていることを示している。
【００５１】
ここで、従来の処理を施したシフト量画像を図９（ｃ）に示す。このシフト量画像はグレースケールで表現したものであり、黒〜白を２５６ステップで表示して黒側は奥行き（凹）方向へ移動し、白側は飛出し（凸）方向へ移動したものとする。図９（ｄ）は横軸をシフト量、縦軸を画素頻度として表したものであり、ダイナミックレンジが１２８を中心に−２４、＋２３の範囲(１０４〜１５１)とした場合である。図９（ｄ）に示すように、シフト量は１２８〜１４９の狭い範囲しか使用されておらず、図９（ｃ）に示す画像を見て分かるように濃淡の差が少ない立体効果の弱い出力画像となっている。
【００５２】
一方、図９（ｅ）に示す本発明による処理を施したシフト量画像は、図９（ｆ）に示すようにダイナミックレンジ（１０４〜１５１）の大部分を活用することができている。したがって、図９（ｅ）に示すシフト量画像は濃淡の差が大きい、すなわち視差の大きい十分な立体効果をもった出力画像となっている。このように本実施形態に係る奥行き推定データ生成装置１によれば、ダイナミックレンジを最大限に活用して十分な擬似立体効果を得ることができる。
【００５３】
［ステレオペア生成装置、ステレオ表示装置の構成］
上述したように奥行き推定データ生成装置１によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。ここで、図１を参照して、本実施形態に係るステレオペア生成装置２及びステレオ表示装置３の構成を説明する。
【００５４】
図１に示すように、ステレオペア生成装置２は、奥行き推定部１３で生成された奥行き推定データに基づいて入力される非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを備えている。
【００５５】
そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号は、ステレオ表示装置３へ入力され、ステレオ表示装置３で擬似的な立体画像として表示される。
【００５６】
［ステレオペア生成装置２の動作の一例］
ステレオペア生成装置２では、奥行き推定データ生成装置１によって生成された階調補正曲線に基づいて推定された奥行き信号と、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、対応部分のテクスチャを内側すなわち右に奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、対応部分のテクスチャを左に奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
【００５７】
つまり、図１に示す本実施形態のステレオペア生成装置２では、まずテクスチャシフト部２１が奥行き推定データ生成装置１の奥行き推定部１３から出力された奥行き推定データについて、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量Ｓ画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量Ｓ画素分だけ左へシフトする。
【００５８】
テクスチャシフト部２１におけるシフト量Ｓに基づいた映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行き推定データの値であるシフト量Ｓの値に応じてそれぞれを左右に移動する処理である。
【００５９】
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載された手法で充填する。
【００６０】
オクルージョン補償部２２でオクルージョン補償された画像は、ポスト処理部２３により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。一方で、右目画像信号生成部２５は、映像信号を右目画像信号として出力する。
【００６１】
このようにして、ステレオペア生成装置２は、奥行き推定データ生成装置１によって生成された階調補正曲線に基づいて推定した奥行き推定データと、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。そして、これらの左目画像信号と右目画像信号は、ステレオ表示装置３へ出力される。そして、ステレオ表示装置３では、ステレオペアによって画面全体として擬似的な立体感を向上させた擬似立体画像を表示することが可能となる。
【００６２】
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像とするステレオペアを構成してもよい。また、上記処理では、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。
【００６３】
［ステレオ表示装置３の動作の一例］
図１に示す本実施形態に係るステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイやステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像信号と右目画像信号とが入力されてディスプレイ等に擬似立体画像を表示する。
【００６４】
なお、上記実施形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明はこれに限定されるわけではない。すなわち、２視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
【００６５】
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。本立体表示システムでは音声出力を装備する形態のものを考慮してもよい。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
【００６６】
また、本実施形態では、図１に示すように奥行き推定データ生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３とをハードウエアによって構成する場合について説明したが、本発明では、ハードウエアによって構成したものに限定されるわけではなく、例えば、ＣＰＵと、そのＣＰＵを前述のように動作させるためのコンピュータプログラムのソフトウェアによって奥行き推定データ生成装置１、ステレオペア生成装置２及びステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれるようにしても良い。
【００６７】
以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するためのものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。
【符号の説明】
【００６８】
１ 奥行き推定データ生成装置
２ ステレオペア生成装置
３ ステレオ表示装置
１１ ローパスフィルタ
１２ 画像特徴検出部
１３ 奥行き推定部
２１ テクスチャシフト部
２２ オクルージョン補償部
２３ ポスト処理部
２４ 左目画像信号生成部
２５ 右目画像信号生成部
１２１ 平均値検出部
１２２ 最小値検出部
１２３ 最大値検出部
１３１ リーク型積分部
１３２ 差分データ生成部
１３３ 負のシフト量生成部
１３４ 正のシフト量生成部
１３５ 奥行き推定データ出力部
【特許請求の範囲】
【請求項１】
画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出部と、
前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出部と、
前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出部と、
前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成部と、
前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部と、
前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部と、
前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力部と
を備えていることを特徴とする奥行き推定データ生成装置。
【請求項２】
画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出ステップと、
前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出ステップと、
前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出ステップと、
前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成ステップと、
前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成ステップと、
前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成ステップと、
前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力ステップと
をコンピュータに実行させることを特徴とする奥行き推定データ生成プログラム。
【請求項３】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、
前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、
前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、
前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
【請求項１】
画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出部と、
前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出部と、
前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出部と、
前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成部と、
前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成部と、
前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成部と、
前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力部と
を備えていることを特徴とする奥行き推定データ生成装置。
【請求項２】
画像の輝度信号成分の平均輝度を検出して平均値データを生成する平均値検出ステップと、
前記画像の輝度信号成分の最小輝度を検出して最小値データを生成する最小値検出ステップと、
前記画像の輝度信号成分の最大輝度を検出して最大値データを生成する最大値検出ステップと、
前記画像の輝度信号成分と前記平均値データとの差分を求めて差分データを生成する差分データ生成ステップと、
前記最小値データを用いて、前記差分データの０より小さな値をダイナミックレンジの下限に対応させて補正して負のシフト量を生成する負のシフト量生成ステップと、
前記最大値データを用いて、前記差分データの０より大きな値をダイナミックレンジの上限に対応させて補正して正のシフト量を生成する正のシフト量生成ステップと、
前記負のシフト量と前記正のシフト量とを、前記画像から擬似立体画像を生成するための奥行き推定データとして出力する奥行き推定データ出力ステップと
をコンピュータに実行させることを特徴とする奥行き推定データ生成プログラム。
【請求項３】
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、
前記奥行き推定データを生成する請求項１に記載の奥行き推定データ生成装置と、
前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、
前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５５３８９（Ｐ２０１２−１５５３８９Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１１８３６（Ｐ２０１１−１１８３６）
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２４日（２０１１．１．２４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]