画像処理装置、表示装置、画像処理方法及びプログラム
【課題】各フレームのコントラスト調整時にフレーム間の相関を推定する。
【解決手段】３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部１３と、Ｍフレーム目の画像の輝度成分を抽出する輝度抽出部１２と、Ｍフレーム目の画像の輝度成分に基づいてＭフレーム目のコントラスト成分を抽出するコントラスト抽出部１５と、Ｍフレーム目のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部１６と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部２０とを備えた画像処理装置１０であって、ゲイン生成部１６は、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定する。
【解決手段】３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部１３と、Ｍフレーム目の画像の輝度成分を抽出する輝度抽出部１２と、Ｍフレーム目の画像の輝度成分に基づいてＭフレーム目のコントラスト成分を抽出するコントラスト抽出部１５と、Ｍフレーム目のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部１６と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部２０とを備えた画像処理装置１０であって、ゲイン生成部１６は、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、右眼用画像と左眼用画像の水平方向のずれである両眼視差によって画像を立体視表示する技術が注目され、実用化されている。立体視表示では、両眼視差が大きいほど、画像が手前に飛び出て見えたり、奥に引っ込んで見えたりする。よって、両眼視差を大きくとると、立体視表示に迫力を出すことができるが、ユーザに視覚疲労を与えることにもなりかねない。
【０００３】
そこで、鑑賞者の視覚疲労を軽減するために、両眼視差を調整する方法が提案されている。例えば、特許文献１には、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対して許容できるか否かを応答させることにより、両眼視差を調整する技術が開示されている。また、例えば、特許文献２には、画像内のオブジェクトの奥行き方向の位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることにより、奥行き感を強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７４９２２７号公報
【特許文献２】特開２００１−２３８２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、ユーザの視覚疲労を抑えるために、基本的には、立体感や奥行き感を減らす方向に両眼視差を調整することになる。このため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを与えることにもなる。また、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
【０００６】
これに対して、単眼立体情報から奥行きをどの程度知覚するかという人間の視覚特性を利用することも考えられる。例えば、単眼立体情報の一つである空気遠近法によれば、コントラストの高低によって、人間は物体の遠近を経験的に感じることができる。よって、コントラスト成分を使って画像を処理すると、手前に表示されているオブジェクトのコントラストを上げればより手前に表示されるように見え、奥に表示されているオブジェクトのコントラストを下げればより奥に表示されるように見える。このような視覚特性に基づいて、画像の有するコントラストを調整することも考えられる。
【０００７】
この場合、処理対象が静止画であれば、画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると１フレーム毎に独立した処理となり、前後のフレーム間の相関情報を持たない。このため、フレーム毎に奥行き情報（ディスパリティ）を抽出し、ディスパリティマップを作成する。抽出した奥行き情報には誤差が含まれるため、本来フレーム間で奥行きに変化がない領域でも、変化があるように誤って抽出されることがある。この結果、フレーム毎にディスパリティマップがはらつき、コントラスト調整ゲインが毎フレームで僅かに変化し、フリッカのような目障りな現象が発生することがある。
【０００８】
上記課題に対して、本発明の目的とするところは、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することが可能な、画像処理装置、表示装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出部と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出部と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部と、を備え、前記ゲイン生成部は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する画像処理装置が提供される。
【００１０】
Ｍフレーム目は、０フレーム目又はリセット周期である周期値の整数倍のフレーム目の少なくともいずれかを含んでもよい。
【００１１】
前記相関推定部は、Ｎフレーム目と（Ｎ−１）フレーム目との間の相関値を算出し、前記ゲイン生成部は、前記算出されたＮフレーム目と（Ｎ−１）フレーム目との間の相関値を用いて、（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定してもよい。
【００１２】
前記相関推定部は、０フレーム目以外のすべてのフレームに対してＮフレーム目と（Ｎ−１）フレーム目から前記相関値を算出する処理を繰り返し、前記ゲイン生成部は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を繰り返してもよい。
【００１３】
前記ゲイン生成部は、前記Ｎフレーム目が前記Ｍフレーム目に一致する場合、前記推定したＮフレーム目のコントラスト調整用ゲインマップＥＧと、前記算出したＭフレーム目のコントラスト調整用ゲインマップＣＧと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のコントラスト調整用ゲインマップＭＧを生成してもよい。
【００１４】
Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定してもよい。
【００１５】
前記Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定し、前記入力される動画像の動きが小さいほど大きい値に設定してもよい。
【００１６】
前記相関推定部は、動き推定技術を用いて前記相関値を算出してもよい。
【００１７】
前記Ｍフレーム目の輝度成分に基づいて、前記Ｍフレーム目の画像の空間周波数成分を抽出する空間周波数抽出部を更に備え、前記ゲイン生成部は、前記Ｍフレーム目の画像のコントラスト成分、空間周波数成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出してもよい。
【００１８】
前記算出されたコントラスト調整用ゲインマップＣＧ又は前記推定されたコントラスト調整用ゲインマップＥＧ又は前記生成されたコントラスト調整用ゲインマップＭＧのいずれかを用いて、Ｎフレーム目の画像のコントラスト成分を調整するコントラスト調整部を更に備えてもよい。
【００１９】
前記画像処理装置によりコントラスト成分が調整された各フレームの画像を表示する表示装置を備えていてもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、前記ゲイン生成ステップは、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法が提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、前記ゲイン生成処理は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラムが提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、入力された連続する２つのフレームの画像の相関値を算出する相関推定部と、入力された画像のコントラスト成分及び奥行き情報に基づいて、前記画像のコントラストの調整を行うためのゲインマップＣＧを算出し、ゲインマップＣＧと前記相関値から前記画像のコントラストの調整を行うためのゲインマップＥＧを推定するゲイン生成部と、を備える画像処理装置が提供される。
【００２３】
前記ゲイン生成部は、（Ｎ−１）フレーム目の画像の前記ゲインマップＣＧと、（Ｎ−１）フレーム目とＮフレーム目との前記相関値とから、Ｎフレーム目のゲインマップＥＧを推定してもよい。
【００２４】
前記ゲイン生成部は、（Ｐ−１）フレーム目の画像の前記ゲインマップＥＧと、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧを推定してもよい。
【００２５】
前記ゲイン生成部は、Ｑフレーム目の画像の前記ゲインマップＥＧと、Ｑフレーム目の前記ゲインマップＣＧとの加算平均処理又は所定の重み付け処理をすることによりＱフレーム目のゲインマップＭＧを生成してもよい。
【発明の効果】
【００２６】
以上説明したように本発明によれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、３次元画像の奥行き感が適正化された、滑らかな動画像をユーザに提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像処理装置の全体構成図である。
【図２】同実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。
【図３】図２に示したゲインマップＣＧ作成処理のフローチャートである。
【図４】図２に示したゲインマップＥＧ作成処理のフローチャートである。
【図５】同実施形態に係る画像処理装置により処理される０フレーム目の原画（右眼用）、原画（左眼用）の一例を示した図である。
【図６】０フレーム目のディスパリティマップ（左眼用）の一例を示した図である。
【図７】０フレーム目のゲインマップＣＧ（左眼用）の一例を示した図である。
【図８】１フレーム目の原画（左眼用）の一例を示した図である。
【図９】動作推定技術を説明するための図である。
【図１０】０フレーム目と１フレーム目との間の動きベクトルの一例を示した図である。
【図１１】１フレーム目のゲインマップＥＧ（左眼用）の一例を示した図である。
【図１２】５フレーム目の原画（右眼用）、原画（左眼用）の一例を示した図である。
【図１３】５フレーム目のゲインマップＥＧ（左眼用）の一例を示した図である。
【図１４】５フレーム目のディスパリティマップ（左眼用）の一例を示した図である。
【図１５】５フレーム目のゲインマップＣＧ（左眼用）の一例を示した図である。
【図１６】５フレーム目のゲインマップＭＧ（左眼用）の一例を示した図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の一実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は次の順序で行う。
＜第１実施形態＞
［画像処理装置の機能構成］
（動画像とフレーム相関)
［画像処理装置の動作］
（コントラスト調整処理）
（ゲインマップＣＧＮ算出処理）
（ゲインマップＥＧＮ推定処理）
（ゲインマップＭＧＮ生成処理）
【００３０】
＜第１実施形態＞
［画像処理装置の機能構成］
まず、本実施形態に係る画像処理装置の機能構成について図１に示した機能ブロック図を参照しながら説明する。
【００３１】
画像処理装置１０は、画像入力部１１、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、画像出力部１９及び相関推定部２０を有する。
【００３２】
画像処理装置１０は、入力された３次元の動画像に対して、各フレーム目の画像の奥行き感を強めたり弱めたりするために、各フレーム目の画像のコントラストを調整する処理を行う。ここで、３次元画像とは、観察者に３次元の画像を知覚させるための２次元画像をいう。本実施形態では、３次元の動画像の各フレームの画像が３次元画像として構成されている。
【００３３】
画像入力部１１は、外部からの３次元の動画像の入力を受け付け、入力されたフレーム毎の３次元画像を輝度抽出部１２に供給する。外部から入力される３次元画像のデータ形式には様々な形式があるが、いずれの形式であってもよい。３次元画像のデータ形式には、例えば、左眼用画像Ｌと右眼用画像Ｒとから構成されるステレオ画像の形で供給される第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形で供給される第２のデータ形式、２次元画像とその奥行き情報という形で供給される第３のデータ形式等がある。以下においては、処理対象として画像又は輝度画像という場合には、第１のデータ形式では、左眼用画像Ｌと右眼用画像Ｒのそれぞれを意味し、第２のデータ形式では、複数の視点画像のそれぞれを意味し、第２のデータ形式では、奥行き情報とともに２次元画像を意味する。
【００３４】
輝度抽出部１２は、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する。Ｍフレーム目は、０フレーム目とリセット周期である周期値の整数倍のフレーム目から構成される。周期値についての詳細は後述する。
【００３５】
例えば、画像がＲＧＢ表色系における線形のＲＧＢ値で表されている場合、輝度抽出部１２は、ＩＴＵ−Ｒ ＢＴ７０９で規定される式（１）により輝度値Ｙに変換することにより、３次元画像の輝度成分を抽出する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（１）
【００３６】
式（１）により、各画素の輝度値Ｙで構成される画像を輝度画像という。なお、画像は、必ずしもＲＧＢ値からなる形式（ＲＧＢ信号）で表されている必要はなく、ＣＩＥ ＸＹＺ表色系におけるＸＹＺ値で表されている場合には、輝度値Ｙで構成される画像が輝度画像とされる。また、輝度値の抽出は、必ずしも式（１）により算出する必要はなく、他の方法で算出してもよい。
【００３７】
奥行き情報抽出部１３は、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出し、ディスパリティマップを生成する。具体的には、画像入力部１１から奥行き情報抽出部１３に、奥行き情報を抽出する３次元画像を処理対象として奥行き情報抽出部１３に供給してもよいし、輝度抽出部１２の処理結果の輝度画像を処理対象として奥行き情報抽出部１３に供給してもよい。
【００３８】
３次元の動画像が第１のデータ形式で入力された場合には、奥行き情報抽出部１３は、ステレオ画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法等の手法を用いることにより算出することができる。また、３次元の動画像が第２のデータ形式で入力された場合には、奥行き情報抽出部１３は、３以上の視点画像のうち対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。さらに、３次元の動画像が第３のデータ形式で入力された場合には、奥行き情報抽出部１３は、奥行き情報そのものが供給されるので、供給された奥行き情報を抽出する。
【００３９】
空間周波数抽出部１４は、輝度抽出部１２により抽出された輝度成分に基づき、３次元画像の所定の空間周波数成分を抽出する。空間周波数成分の抽出には、例えば、ガボールフィルタ(Gabor Filter)を用いることができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）は、式（２）で表される。
【数１】
【００４０】
式（２）において、ｘ、ｙは輝度画像の座標値、λは空間周波数に対応する波長、θは方位（方向）、ψは位相、σはガウス分布の分散、γはアスペクト比をそれぞれ表す。また、ここでの空間周波数とは、人間の目の１°(degree)の視覚内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はｃｐｄ(cycle per degree)である。
【００４１】
例えば、空間周波数抽出部１４は、λを所定の波長とした式（２）のガボールフィルタ関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）と、輝度抽出部１２で抽出された輝度画像の輝度値Ｙを畳み込み積分することにより、輝度画像のどの領域にどの空間周波数が含まれるかを抽出する。
【００４２】
なお、輝度画像の各領域に含まれる空間周波数成分を抽出する方法としては、上記方法に限られず、例えば、フーリエ変換等を用いて空間周波数成分を抽出してもよい。ただし、この場合には、各領域に含まれる空間周波数成分を抽出するためには、輝度画像を所定の領域に分割後、領域毎にフーリエ変換を行う必要がある。また、空間周波数抽出部１４による処理は、コントラスト調整部１７において適用する評価関数を、所定の空間周波数毎に変更する場合に必要な処理である、このため、コントラスト調整部１７において輝度画像全体に対して同一の評価関数を適用する場合には、空間周波数抽出部１４による処理は省略することができる。なお、評価関数については、特願２００９−２７００７７号公報に記載された評価関数に関する情報を本願にも適用することができる。
【００４３】
コントラスト抽出部１５は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて３次元画像のコントラスト成分を抽出する。一例としては、コントラスト抽出部１５は、コントラスト成分を抽出する処理の単位である処理単位領域として、横×縦にｎ×ｍ画素（ｎ，ｍ≧２）の領域を決定する。コントラスト抽出部１５は、処理単位領域を、例えば輝度画像の左上端の位置からラスタスキャン方向に所定の画素ずつ移動させることにより、輝度画像全体に亘って複数の処理単位領域のマイケルソンコントラストＣを算出する。
【００４４】
マイケルソンコントラストＣは、式（３）で定義される。
【数２】
式（３）において、Ｌｍａｘは、処理単位領域内の輝度値Ｙの最大値、Ｌｍｉｎは、処理単位領域内の輝度値Ｙの最小値である。
【００４５】
なお、３次元画像のコントラスト成分を抽出する方法としては、上記方法に限られず、他の方法によりコントラスト成分を抽出してもよい。また、処理単位領域の大きさは、特に限定されないが、視角と画素数の関係から、最適な大きさを決定することができる。
【００４６】
奥行き情報抽出部１３は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて奥行き情報を抽出し、当該奥行き情報に基づいて視差に関する情報を有するディスパリティマップを作成する。ゲイン生成部１６は、コントラスト抽出部１５により抽出されたコントラスト成分とディスパリティマップに基づいて、３次元画像の奥行き感を変更するためのコントラスト調整用ゲインマップＣＧを算出する。前述のとおり、空間周波数抽出部１４により空間周波数成分が抽出されている場合、ゲインマップＣＧを算出には、コントラスト成分及び奥行き情報とともに、空間周波数成分が用いられる。なお、本実施形態にて説明される各種コントラスト調整用ゲインマップＣＧ、ＥＧ、ＭＧの添え字は、フレーム番号を示す。例えば、Ｎフレーム目のコントラスト調整用ゲインマップＣＧ、ＥＧ、ＭＧはゲインマップＣＧＮ、ＥＧＮ、ＭＧＮと表記する。
【００４７】
空間周波数成分が抽出されていない場合のゲイン生成部１６の処理について説明する。ます、ゲイン生成部１６は、ディスパリティマップに含まれる奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。ここで、奥側の領域と手前側の領域に分離される領域の最小単位は、コントラスト抽出部１５が、マイケルソンコントラストＣを計算した時の処理単位領域と実質的に等しくなる。ゲイン生成部１６は、奥側の領域と手前側の領域に含まれるすべての処理単位領域について、そのマイケルソンコントラストＣから、入力画像が現在有する主観的奥行き量Ｄを算出する。
【００４８】
マイケルソンコントラストＣと主観的奥行き量Ｄとの間には、単調増加の関係が存在するため、例えば、３次元画像の奥行き感を出すためには、マイケルソンコントラストＣが大きくなるように輝度画像のコントラスト成分を調整すればよい。算出された主観的奥行き量Ｄと予め設定された奥行き調整量とからコントラスト調整後の処理単位領域に対する主観的奥行き量Ｄが決定される。すなわち、ゲイン生成部１６は、すべての処理単位領域について、現在の主観的奥行き量Ｄと画像の奥行き情報とから、現在のマイケルソンコントラストＣを何倍にすればよいかを算出し、この結果からゲインマップを作る。
【００４９】
コントラスト調整部１７は、ゲインマップのコントラスト調整用ゲインを用いて、３次元画像のコントラスト成分を調整する。これにより、コントラストを高くすると手前に見え、コントラストを低くすると奥に見えるという空気遠近法を用いた画像の表示制御が可能となる。
【００５０】
画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。
【００５１】
画像出力部１９は、画像処理部１８で生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一のフレームの３次元動画像に変換し、表示装置３０に出力する。３次元画像を出力する際のデータ形式が指定されている場合等には、画像出力部１９は、３次元画像のデータ形式を指定された形式に変換してから出力することもできる。なお、動画像を表示力する表示装置３０は、画像処理装置１０と一体に構成されていてもよく、別体に構成され、ネットワークにより接続されていてもよい。
【００５２】
以上、単眼立体情報から奥行きをどの程度知覚するかという視覚特性の定量関係に基づいて、画像の有するコントラスト成分を調整する技術について説明した。
【００５３】
(動画像とフレーム相関)
処理対象画像が静止画の場合には、以上のように３次元画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると１フレーム毎に独立した処理となり、前後のフレーム間の継承情報を持たない。このため、フレーム毎に奥行き情報（ディスパリティ）を抽出し、ディスパリティマップを作成する。抽出した奥行き情報には誤差が含まれるため、本来フレーム間で奥行きに変化がない領域でも、変化があるように誤って抽出されることがある。この結果、フレーム毎にディスパリティマップがはらつき、コントラスト調整ゲインが毎フレームで僅かに変化し、フリッカのような目障りな現象が発生することがある。
【００５４】
そこで、本実施形態に係る相関推定部２０は、動き推定技術を用いて連続する２フレーム間の画像の相関値を算出する。例えば、（Ｎ−１）フレーム目とＮフレーム目（Ｎ＞０）とは、時間的に連続した２枚のフレームである。相関推定部２０は、動き推定技術を用いて動きベクトルからＮフレーム目と（Ｎ−１）フレーム目との間の画像の相関値を算出する。ここで、動き推定とは、フレーム内の画像のオブジェクトがどの方向にどういう大きさで動いているかをフレーム間の相関を見ながら推定していく技術である。例えば、図９では、相関推定部２０は、（Ｎ−１）フレーム目の右眼用又は左眼用画像の画素ＰＮ−１に対する、Ｎフレーム目の右眼用又は左眼用画像の画素ＰＮの状態を示す動きベクトルを推定する。動きベクトルの方向とその大きさによって、画素Ｐのクレーム間の相関を認識し、どのオブジェクトが次のフレームでどこに行くかということを推定できる。相関推定部２０は、連続する２フレームから画像に含まれる各画素に対して動きベクトルを算出する。動き推定技術の一例としては、ブロックマッチング、勾配法がある。
【００５５】
これによれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、フリッカのような目障りな現象が発生を抑制し、３次元画像の奥行き感が適正化された、滑らかな画像をユーザに提供することができる。
【００５６】
相関推定部２０は、０フレーム目以外のすべてのフレームに対してＮフレーム目（Ｎ＞０）と（Ｎ−１）フレーム目の画像から相関値を算出する処理を繰り返す。ゲイン生成部１６は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のゲインマップＥＧを推定する処理を繰り返す。例えば、（Ｐ−１）フレーム目の画像のゲインマップＥＧＰ−１と、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧＰが推定される。なお、１フレーム目（Ｎ＝１）の場合には、ゲイン生成部１６は、前記相関値とゲインマップＣＧ０とからゲインマップＥＧ１を推定する。
【００５７】
前述の通り、Ｍフレームの周期値はリセット周期であるが、本実施形態では周期値が「５」に設定されていると仮定する。ゲイン生成部１６は、処理対象のＮフレーム目が、リセット周期であるＭ（＝５）の整数倍になるまで、（Ｎ−１）フレームとＮフレームとの相関値と、（Ｎ−１）フレーム目のゲインマップＥＧＮ−１とから、Ｎフレーム目のゲインマップＥＧＮを推定する。
【００５８】
そして、処理対象のＮフレーム目が、リセット周期であるＭ（＝５）の整数倍に一致したとき、ゲイン生成部１６は、上述の処理に基づき抽出されたディスパリティマップに基づいて、５フレーム目のゲインマップＣＧＮを算出する。そして、ゲイン生成部１６は、推定した５フレーム目のゲインマップＥＧＮと、前記算出した５フレーム目のゲインマップＣＧＮと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のゲインマップＭＧＮを生成する。例えば、Ｑフレーム目では、Ｑフレーム目の画像のゲインマップＥＧＱと、Ｑフレーム目の画像のゲインマップＣＧＱとの加算平均処理又は所定の重み付け処理によりＱフレーム目のゲインマップＭＧＱが生成される。
【００５９】
例えば、シーンがガラッと変わる場合等には、動きベクトルによるフレーム間の継承情報に誤差が多く入り込むことも考えられる。よって、処理対象のＮフレーム目がリセット周期に一致する場合には、動きベクトルによるフレーム間の継承情報をリセットする処理を行う。ゲインマップＣＧＮとゲインマップＥＧＮとの加算平均処理又は所定の重み付け処理によりゲインマップＭＧＮを生成する。この結果、フリッカを低減しながら、フレーム間の継承情報の誤差を抑制することができる。
【００６０】
なお、上記各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ(図示せず)により実行される。次に説明するコントラスト調整処理を実行するためのプログラムは、ＲＯＭや不揮発性メモリ(ともに図示せず)に予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行する。これにより、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、相関推定部２０の各機能が実現される。
【００６１】
［画像処理装置の動作］
次に、図２〜図４のフローチャートを参照して、画像処理装置１０が行うコントラスト調整処理について説明する。図２は、本実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。図３は、図２に示したゲインマップＣＧ算出処理のフローチャートである。図４は、図２に示したゲインマップＥＧ推定処理のフローチャートである。なお、図２〜図４の各ステップの説明に際し、必要に応じて図５〜図１６も併せて参照する。
【００６２】
（コントラスト調整処理）
初めに、図２のステップＳ２０５において、画像入力部１１は、３次元の動画像を入力する。例えば、前述のように第１〜第３データ形式のいずれかにより、３次元の動画像が０フレーム目から順に入力される。また、処理対象のフレーム番号Ｎは「０」に設定される。
【００６３】
図５は、第１のデータ形式で入力された０フレーム目の画像（原画）である。第１のデータ形式においては、左眼用画像３１Ｌ及び右眼用画像３１Ｒから構成される画像が、０フレーム目から順に入力される。なお、画像は、遊園地の回転しながら昇降する乗り物に人が乗っていて、背景には建物と他のアトラクションが映っている。
【００６４】
（ゲインマップＣＧＮ算出処理）
ステップＳ２１０において、ゲインマップＣＧＮ（計算値）の算出処理が実行される。具体的には、ゲインマップＣＧＮ（計算値）の算出処理は、図３の各ステップにより実行される。すなわち、ステップＳ３０５において、輝度抽出部１２は、Ｎフレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒから輝度成分をそれぞれ抽出する。ここでは、図５の０フレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分がそれぞれ抽出される。次に、ステップＳ３１０において、コントラスト抽出部１５は、輝度抽出部１２で抽出された左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分に基づいて、左眼用及び右眼用画像のコントラスト成分をそれぞれ抽出する。
【００６５】
次に、ステップＳ３１５において、空間周波数抽出部１４は、左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分に基づいて、各画像の所定の空間周波数成分をそれぞれ抽出する。次に、ステップＳ３２０において、奥行き情報抽出部１３は、０フレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒの奥行き情報を抽出し、抽出されたコントラスト成分と奥行き情報と空間周波数成分に基づき、視差に関する情報を有するディスパリティマップを生成する。図６は、第１のデータ形式で入力された０フレーム目の左眼用画像又はその輝度画像から形成された、０フレーム目の左眼用のディスパリティマップ３２Ｌを示す。
【００６６】
次に、ステップＳ３２５において、ゲイン生成部１６は、ディスパリティマップに基づいて、３次元画像の奥行き感を変更するための、コントラスト調整用のゲインマップＣＧを算出する。図７は、０フレーム目の左眼用ディスパリティマップ３２Ｌに基づいて算出された、０フレーム目の左眼用のゲインマップＣＧ０（計算値）３３Ｌを示す。
【００６７】
このようにして図３の処理が終了すると再び図２に戻り、ステップＳ２１５において、フレーム番号Ｎが０より大きいかを判定する。この時点では、フレーム番号Ｎは０であるため、ステップＳ２２０に進み、コントラスト調整部１７は、ゲインマップＣＧ０（計算値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成し、画像出力部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００６８】
ステップＳ２３０において、処理対象となるフレームが終了したかを判定する。フレームが終了していない場合、ステップＳ２３５において、フレーム番号Ｎに１加算する。ここでは、次に処理対象のフレーム番号Ｎは「１」となる。図８は、第１のデータ形式で入力された１フレーム目の左眼用の画像（原画）３４Ｌを示す。
【００６９】
（ゲインマップＥＧＮ推定処理）
次に、ステップＳ２４０において、ゲインマップＥＧＮ（推定値）の推定処理が実行される。具体的には、ゲインマップＥＧＮ（推定値）の推定処理は、図４の各ステップにより実行される。すなわち、ステップＳ４０５において、相関推定部２０は、０フレーム目及び１フレーム目の連続する２フレームの画像(図５、図８)を用いて、ブロックマッチング、勾配法等の動き推定技術を用いて、画像中の画素毎に図９に示した動きベクトルを推定する。図１０は、０フレーム目と１フレーム目との間の動きベクトルを矢印で可視化した左眼用画像３５Ｌを示す。
【００７０】
次に、ステップＳ４１０において、ゲイン生成部１６は、動きベクトルを用いて、０フレーム目のゲインマップＣＧ０から１フレーム目のゲインマップＥＧ１（推定値）を推定する。図１１は、推定された１フレーム目の左眼用のゲインマップＥＧ１（推定値）３６Ｌを示す。
【００７１】
このようにして図４の処理が終了すると再び図２に戻り、ステップＳ２４５において、フレーム番号Ｎが周期値の整数倍であるかを判定する。ここでは、周期値「５」に対してフレーム番号Ｎは１であるから、フレーム番号Ｎは周期値の整数倍ではない。よって、ステップＳ２５０に進み、コントラスト調整部１７は、ゲインマップＥＧ１（推定値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を、入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００７２】
ステップＳ２３０〜Ｓ２５０、Ｓ２２５の処理は、フレーム番号Ｎが周期値の整数倍になるまで繰り返し処理される。なお、ステップＳ４１０において、２フレーム目以降は、ゲイン生成部１６は、動きベクトルを用いて、（Ｎ−１）フレームのゲインマップＥＧＮー１からＮフレームのゲインマップＥＧＮ（推定値）を推定する。
【００７３】
（ゲインマップＭＧＮ生成処理）
フレーム番号Ｎが周期値の整数倍になると、つまり、ここではフレーム番号Ｎが５になると、まず、ステップＳ２４０のゲインマップＥＧＮ（推定値）の推定処理が実行され、その結果、５フレーム目のゲインマップＥＧ５（推定値）が生成される。図１３は、５フレーム目の左眼用のゲインマップＥＧ５（推定値）３８Ｌを示す。
【００７４】
次に、Ｎが周期値の整数倍であるため、ステップＳ２４５からステップＳ２５５に進み、ゲイン生成部１６は、図１２に示した５フレーム目の左眼用画像３７Ｌ及び右眼用画像３７Ｒに基づき５フレーム目の各抽出処理を行う(ステップＳ３０５〜Ｓ３１５)。そして、抽出された奥行き情報から、５フレーム目のディスパリティマップを作成し(ステップＳ３２０)、ディスパリティマップを用いて、５フレーム目のゲインマップＣＧ５を算出する(ステップＳ３２５)。図１４は、５フレーム目の左眼用のディスパリティマップ３９Ｌを示し、図１５は、５フレーム目の左眼用のゲインマップＣＧ５（計算値）４０Ｌを示す。
【００７５】
次に、図２に戻り、ステップＳ２６０において、ゲイン生成部１６は、推定した５フレーム目のゲインマップＥＧ５と、算出した５フレーム目のゲインマップＣＧ５と、の加算平均処理又は所定の重み付け処理をすることにより、５フレーム目のコントラスト調整用ゲインマップＭＧ５を生成する。ここでは、ゲインマップＭＧ５を加算平均処理（ＭＧ５＝（ＣＧ５＋ＥＧ５）／２）により生成する。図１６は、５フレーム目の左眼用のゲインマップＭＧ５４１Ｌを示す。
【００７６】
次に、ステップＳ２６５において、コントラスト調整部１７は、ゲインマップＭＧ５（生成値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像と入力画像が元々有していた色情報を組合せた画像を、入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。以上の処理をフレームが終了するまで行う。
【００７７】
以上に説明したように、本実施形態に係る画像処理装置１０が実行する画像処理方法によれば、処理対象が最初のフレーム（０フレーム目）の場合には、奥行き情報の抽出処理、コントラストの抽出処理及び空間周波数の抽出処理を実行することによりゲインマップＣＧ０を求め、ゲインマップＣＧ０に基づきコントラストの調整処理を行う。
【００７８】
これに対して、処理対象が１フレーム以上の場合には、時間的に連続する２フレームの画像から動きベクトルの方向とその大きさを推定することによってクレーム間の各画素の相関を認識し、どのオブジェクトが次のフレームでどの位置に移動しているかを推定する。このようにしてオブジェクトの動きが分かれば、その相関関係に基づき、前のフレームのオブジェクトの情報（例えば、奥行き情報やコントラスト成分）を次のフレームに継承でき、これにより推定されたゲインマップＥＧＮを、次のフレームのコントラストの調整処理に利用可能となる。これにより、０フレーム目に実行した奥行き情報の抽出、コントラストの抽出及び空間周波数の抽出処理を、各フレームで独立に行った場合にはフリッカのような目障りな現象が発生する場合があったが、本実施形態ではこれを抑制することができる。この結果、３次元画像の奥行き感が適正化された、滑らかな動画像をユーザに提供することができる。
【００７９】
このようにして処理対象のＮフレーム目がリセット周期（周期値の整数倍）であるＭフレーム目に一致しない場合には、動き推定技術を用いてあるフレーム内のオブジェクトの動きから次のフレームのオブジェクトの動きを予測する。このため、前述した奥行き情報の抽出処理、コントラストの抽出処理及び空間周波数の抽出処理をフレーム毎に繰り返す必要がない。特に、奥行き情報の計算は負荷が高いため、これらの処理を省略することにより後続フレームの処理負荷を軽減することができる。
【００８０】
しかしながら、例えば、シーンがガラッと変わる場合等には、動きベクトルによるフレーム間の継承情報に誤差が多く入り込むことも考えられる。よって、処理対象のＮフレーム目がリセット周期のＭフレーム目に一致する場合には、動きベクトルによるフレーム間の継承情報をリセットする処理を行う。その際、完全にリセットせずに、前フレームからの継承情報としてのゲインマップＥＧＮと新たな計算により算出されたゲインマップＣＧＮとの両方を使い、計算しなおしたゲインマップＣＧＮと、前フレームの継承情報であるゲインマップＥＧＮとの加算平均処理又は所定の重み付け処理によりゲインマップＭＧＮを生成する。このようにして、推定された動きベクトルの情報、画像が持っているコントラストの情報、奥行き情報、周波数情報等を用いてゲインマップＭＧＮを得ることにより、フレーム間の継承情報の誤差とフリッカ等のチラツキを抑制することができる。この結果、より精度の高いゲインマップＭＧＮを用いて画像のコントラストを調整することができる。
【００８１】
なお、Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定することができる。たとえば、Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定され、前記入力される動画像の動きが小さいほど大きい値に設定されてもよい。風景画のように動きが少ない場合には、前フレームから次フレームに継承されるエラーの頻度は高くないという推測の下に１０フレームを周期値としてもよい。また、スポーツのように動きが多い場合には、前フレームから次フレームに継承されるエラーの頻度が高くなるという推測の下に１又は２フレーム程度を周期値としてもよい。ただし、周期値を小さくするほど処理負荷は高くなる。
【００８２】
入力される３次元の動画像のコンテンツ毎に周期値を設定するようにしてもよい。コンテンツ内で周期を可変にしたほうがよい場合もある。例えば、１つのコンテンツ映像内に動きの激しいシーンと緩やかなシーンがある場合には、動きの緩やかなシーンでは周期値を大きく設定し、動きの激しいシーンでは周期値を小さく設定するように、１つのコンテンツ内で可変にしてもよい。
【００８３】
上記一実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理装置の実施形態を、画像処理方法の実施形態及び画像処理装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。
【００８４】
これにより、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、（Ｎ−１）フレーム目及びＮフレーム目を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、前記ゲイン生成ステップは、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法を提供することができる。
【００８５】
また、これにより、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、（Ｎ−１）フレーム目及びＮフレーム目を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、前記ゲイン生成処理は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラムを提供することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、上記実施形態では、動きベクトルを推定するために直前の（Ｎ−１）フレーム目とＮフレーム目との３次元画像の相関値を用いたが、本発明はかかる例に限定されない。例えば、直前の（Ｎ−１）フレーム目とＮフレーム目の画像の相関値だけでなく、複数の前フレーム情報を用いて相関値を求めてもよい。例えば、（Ｎ−１）フレーム目及び（Ｎ−２）フレーム目の画像を用いて、（Ｎ−２）フレーム目と（Ｎ−１）フレーム目との３次元画像の相関値を求め、（Ｎ−１）フレーム目とＮフレーム目との３次元画像の相関値を求め、それらの相関値からＮフレーム目の動きベクトルを推定してもよい。
【００８８】
周期値を１としてもよい。この場合には、全フレームについて上記ゲインマップＣＧのための計算及び上記ゲインマップＥＧの推定を行うことになる。
【００８９】
また、リセット周期においても、１フレーム目と同様に、算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定してもよい。例えば、上記実施形態のリセット周期においては、ゲインマップＭＧを用いたが、ゲインマップＥＧを用いることも可能である。
【００９０】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００９１】
１０ 画像処理装置
１１ 画像入力部
１２ 輝度抽出部
１３ 奥行き情報抽出部
１４ 空間周波数抽出部
１５ コントラスト抽出部
１６ ゲイン生成部
１７ コントラスト調整部
１８ 画像処理部
１９ 画像出力部
２０ 相関推定部
３０ 表示装置
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、右眼用画像と左眼用画像の水平方向のずれである両眼視差によって画像を立体視表示する技術が注目され、実用化されている。立体視表示では、両眼視差が大きいほど、画像が手前に飛び出て見えたり、奥に引っ込んで見えたりする。よって、両眼視差を大きくとると、立体視表示に迫力を出すことができるが、ユーザに視覚疲労を与えることにもなりかねない。
【０００３】
そこで、鑑賞者の視覚疲労を軽減するために、両眼視差を調整する方法が提案されている。例えば、特許文献１には、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対して許容できるか否かを応答させることにより、両眼視差を調整する技術が開示されている。また、例えば、特許文献２には、画像内のオブジェクトの奥行き方向の位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることにより、奥行き感を強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７４９２２７号公報
【特許文献２】特開２００１−２３８２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、ユーザの視覚疲労を抑えるために、基本的には、立体感や奥行き感を減らす方向に両眼視差を調整することになる。このため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを与えることにもなる。また、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
【０００６】
これに対して、単眼立体情報から奥行きをどの程度知覚するかという人間の視覚特性を利用することも考えられる。例えば、単眼立体情報の一つである空気遠近法によれば、コントラストの高低によって、人間は物体の遠近を経験的に感じることができる。よって、コントラスト成分を使って画像を処理すると、手前に表示されているオブジェクトのコントラストを上げればより手前に表示されるように見え、奥に表示されているオブジェクトのコントラストを下げればより奥に表示されるように見える。このような視覚特性に基づいて、画像の有するコントラストを調整することも考えられる。
【０００７】
この場合、処理対象が静止画であれば、画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると１フレーム毎に独立した処理となり、前後のフレーム間の相関情報を持たない。このため、フレーム毎に奥行き情報（ディスパリティ）を抽出し、ディスパリティマップを作成する。抽出した奥行き情報には誤差が含まれるため、本来フレーム間で奥行きに変化がない領域でも、変化があるように誤って抽出されることがある。この結果、フレーム毎にディスパリティマップがはらつき、コントラスト調整ゲインが毎フレームで僅かに変化し、フリッカのような目障りな現象が発生することがある。
【０００８】
上記課題に対して、本発明の目的とするところは、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することが可能な、画像処理装置、表示装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出部と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出部と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部と、を備え、前記ゲイン生成部は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する画像処理装置が提供される。
【００１０】
Ｍフレーム目は、０フレーム目又はリセット周期である周期値の整数倍のフレーム目の少なくともいずれかを含んでもよい。
【００１１】
前記相関推定部は、Ｎフレーム目と（Ｎ−１）フレーム目との間の相関値を算出し、前記ゲイン生成部は、前記算出されたＮフレーム目と（Ｎ−１）フレーム目との間の相関値を用いて、（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定してもよい。
【００１２】
前記相関推定部は、０フレーム目以外のすべてのフレームに対してＮフレーム目と（Ｎ−１）フレーム目から前記相関値を算出する処理を繰り返し、前記ゲイン生成部は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を繰り返してもよい。
【００１３】
前記ゲイン生成部は、前記Ｎフレーム目が前記Ｍフレーム目に一致する場合、前記推定したＮフレーム目のコントラスト調整用ゲインマップＥＧと、前記算出したＭフレーム目のコントラスト調整用ゲインマップＣＧと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のコントラスト調整用ゲインマップＭＧを生成してもよい。
【００１４】
Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定してもよい。
【００１５】
前記Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定し、前記入力される動画像の動きが小さいほど大きい値に設定してもよい。
【００１６】
前記相関推定部は、動き推定技術を用いて前記相関値を算出してもよい。
【００１７】
前記Ｍフレーム目の輝度成分に基づいて、前記Ｍフレーム目の画像の空間周波数成分を抽出する空間周波数抽出部を更に備え、前記ゲイン生成部は、前記Ｍフレーム目の画像のコントラスト成分、空間周波数成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出してもよい。
【００１８】
前記算出されたコントラスト調整用ゲインマップＣＧ又は前記推定されたコントラスト調整用ゲインマップＥＧ又は前記生成されたコントラスト調整用ゲインマップＭＧのいずれかを用いて、Ｎフレーム目の画像のコントラスト成分を調整するコントラスト調整部を更に備えてもよい。
【００１９】
前記画像処理装置によりコントラスト成分が調整された各フレームの画像を表示する表示装置を備えていてもよい。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、前記ゲイン生成ステップは、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法が提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、前記ゲイン生成処理は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラムが提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、入力された連続する２つのフレームの画像の相関値を算出する相関推定部と、入力された画像のコントラスト成分及び奥行き情報に基づいて、前記画像のコントラストの調整を行うためのゲインマップＣＧを算出し、ゲインマップＣＧと前記相関値から前記画像のコントラストの調整を行うためのゲインマップＥＧを推定するゲイン生成部と、を備える画像処理装置が提供される。
【００２３】
前記ゲイン生成部は、（Ｎ−１）フレーム目の画像の前記ゲインマップＣＧと、（Ｎ−１）フレーム目とＮフレーム目との前記相関値とから、Ｎフレーム目のゲインマップＥＧを推定してもよい。
【００２４】
前記ゲイン生成部は、（Ｐ−１）フレーム目の画像の前記ゲインマップＥＧと、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧを推定してもよい。
【００２５】
前記ゲイン生成部は、Ｑフレーム目の画像の前記ゲインマップＥＧと、Ｑフレーム目の前記ゲインマップＣＧとの加算平均処理又は所定の重み付け処理をすることによりＱフレーム目のゲインマップＭＧを生成してもよい。
【発明の効果】
【００２６】
以上説明したように本発明によれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、３次元画像の奥行き感が適正化された、滑らかな動画像をユーザに提供することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係る画像処理装置の全体構成図である。
【図２】同実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。
【図３】図２に示したゲインマップＣＧ作成処理のフローチャートである。
【図４】図２に示したゲインマップＥＧ作成処理のフローチャートである。
【図５】同実施形態に係る画像処理装置により処理される０フレーム目の原画（右眼用）、原画（左眼用）の一例を示した図である。
【図６】０フレーム目のディスパリティマップ（左眼用）の一例を示した図である。
【図７】０フレーム目のゲインマップＣＧ（左眼用）の一例を示した図である。
【図８】１フレーム目の原画（左眼用）の一例を示した図である。
【図９】動作推定技術を説明するための図である。
【図１０】０フレーム目と１フレーム目との間の動きベクトルの一例を示した図である。
【図１１】１フレーム目のゲインマップＥＧ（左眼用）の一例を示した図である。
【図１２】５フレーム目の原画（右眼用）、原画（左眼用）の一例を示した図である。
【図１３】５フレーム目のゲインマップＥＧ（左眼用）の一例を示した図である。
【図１４】５フレーム目のディスパリティマップ（左眼用）の一例を示した図である。
【図１５】５フレーム目のゲインマップＣＧ（左眼用）の一例を示した図である。
【図１６】５フレーム目のゲインマップＭＧ（左眼用）の一例を示した図である。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の一実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
なお、説明は次の順序で行う。
＜第１実施形態＞
［画像処理装置の機能構成］
（動画像とフレーム相関)
［画像処理装置の動作］
（コントラスト調整処理）
（ゲインマップＣＧＮ算出処理）
（ゲインマップＥＧＮ推定処理）
（ゲインマップＭＧＮ生成処理）
【００３０】
＜第１実施形態＞
［画像処理装置の機能構成］
まず、本実施形態に係る画像処理装置の機能構成について図１に示した機能ブロック図を参照しながら説明する。
【００３１】
画像処理装置１０は、画像入力部１１、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、画像出力部１９及び相関推定部２０を有する。
【００３２】
画像処理装置１０は、入力された３次元の動画像に対して、各フレーム目の画像の奥行き感を強めたり弱めたりするために、各フレーム目の画像のコントラストを調整する処理を行う。ここで、３次元画像とは、観察者に３次元の画像を知覚させるための２次元画像をいう。本実施形態では、３次元の動画像の各フレームの画像が３次元画像として構成されている。
【００３３】
画像入力部１１は、外部からの３次元の動画像の入力を受け付け、入力されたフレーム毎の３次元画像を輝度抽出部１２に供給する。外部から入力される３次元画像のデータ形式には様々な形式があるが、いずれの形式であってもよい。３次元画像のデータ形式には、例えば、左眼用画像Ｌと右眼用画像Ｒとから構成されるステレオ画像の形で供給される第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形で供給される第２のデータ形式、２次元画像とその奥行き情報という形で供給される第３のデータ形式等がある。以下においては、処理対象として画像又は輝度画像という場合には、第１のデータ形式では、左眼用画像Ｌと右眼用画像Ｒのそれぞれを意味し、第２のデータ形式では、複数の視点画像のそれぞれを意味し、第２のデータ形式では、奥行き情報とともに２次元画像を意味する。
【００３４】
輝度抽出部１２は、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する。Ｍフレーム目は、０フレーム目とリセット周期である周期値の整数倍のフレーム目から構成される。周期値についての詳細は後述する。
【００３５】
例えば、画像がＲＧＢ表色系における線形のＲＧＢ値で表されている場合、輝度抽出部１２は、ＩＴＵ−Ｒ ＢＴ７０９で規定される式（１）により輝度値Ｙに変換することにより、３次元画像の輝度成分を抽出する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（１）
【００３６】
式（１）により、各画素の輝度値Ｙで構成される画像を輝度画像という。なお、画像は、必ずしもＲＧＢ値からなる形式（ＲＧＢ信号）で表されている必要はなく、ＣＩＥ ＸＹＺ表色系におけるＸＹＺ値で表されている場合には、輝度値Ｙで構成される画像が輝度画像とされる。また、輝度値の抽出は、必ずしも式（１）により算出する必要はなく、他の方法で算出してもよい。
【００３７】
奥行き情報抽出部１３は、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出し、ディスパリティマップを生成する。具体的には、画像入力部１１から奥行き情報抽出部１３に、奥行き情報を抽出する３次元画像を処理対象として奥行き情報抽出部１３に供給してもよいし、輝度抽出部１２の処理結果の輝度画像を処理対象として奥行き情報抽出部１３に供給してもよい。
【００３８】
３次元の動画像が第１のデータ形式で入力された場合には、奥行き情報抽出部１３は、ステレオ画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法等の手法を用いることにより算出することができる。また、３次元の動画像が第２のデータ形式で入力された場合には、奥行き情報抽出部１３は、３以上の視点画像のうち対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。さらに、３次元の動画像が第３のデータ形式で入力された場合には、奥行き情報抽出部１３は、奥行き情報そのものが供給されるので、供給された奥行き情報を抽出する。
【００３９】
空間周波数抽出部１４は、輝度抽出部１２により抽出された輝度成分に基づき、３次元画像の所定の空間周波数成分を抽出する。空間周波数成分の抽出には、例えば、ガボールフィルタ(Gabor Filter)を用いることができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）は、式（２）で表される。
【数１】
【００４０】
式（２）において、ｘ、ｙは輝度画像の座標値、λは空間周波数に対応する波長、θは方位（方向）、ψは位相、σはガウス分布の分散、γはアスペクト比をそれぞれ表す。また、ここでの空間周波数とは、人間の目の１°(degree)の視覚内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はｃｐｄ(cycle per degree)である。
【００４１】
例えば、空間周波数抽出部１４は、λを所定の波長とした式（２）のガボールフィルタ関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）と、輝度抽出部１２で抽出された輝度画像の輝度値Ｙを畳み込み積分することにより、輝度画像のどの領域にどの空間周波数が含まれるかを抽出する。
【００４２】
なお、輝度画像の各領域に含まれる空間周波数成分を抽出する方法としては、上記方法に限られず、例えば、フーリエ変換等を用いて空間周波数成分を抽出してもよい。ただし、この場合には、各領域に含まれる空間周波数成分を抽出するためには、輝度画像を所定の領域に分割後、領域毎にフーリエ変換を行う必要がある。また、空間周波数抽出部１４による処理は、コントラスト調整部１７において適用する評価関数を、所定の空間周波数毎に変更する場合に必要な処理である、このため、コントラスト調整部１７において輝度画像全体に対して同一の評価関数を適用する場合には、空間周波数抽出部１４による処理は省略することができる。なお、評価関数については、特願２００９−２７００７７号公報に記載された評価関数に関する情報を本願にも適用することができる。
【００４３】
コントラスト抽出部１５は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて３次元画像のコントラスト成分を抽出する。一例としては、コントラスト抽出部１５は、コントラスト成分を抽出する処理の単位である処理単位領域として、横×縦にｎ×ｍ画素（ｎ，ｍ≧２）の領域を決定する。コントラスト抽出部１５は、処理単位領域を、例えば輝度画像の左上端の位置からラスタスキャン方向に所定の画素ずつ移動させることにより、輝度画像全体に亘って複数の処理単位領域のマイケルソンコントラストＣを算出する。
【００４４】
マイケルソンコントラストＣは、式（３）で定義される。
【数２】
式（３）において、Ｌｍａｘは、処理単位領域内の輝度値Ｙの最大値、Ｌｍｉｎは、処理単位領域内の輝度値Ｙの最小値である。
【００４５】
なお、３次元画像のコントラスト成分を抽出する方法としては、上記方法に限られず、他の方法によりコントラスト成分を抽出してもよい。また、処理単位領域の大きさは、特に限定されないが、視角と画素数の関係から、最適な大きさを決定することができる。
【００４６】
奥行き情報抽出部１３は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて奥行き情報を抽出し、当該奥行き情報に基づいて視差に関する情報を有するディスパリティマップを作成する。ゲイン生成部１６は、コントラスト抽出部１５により抽出されたコントラスト成分とディスパリティマップに基づいて、３次元画像の奥行き感を変更するためのコントラスト調整用ゲインマップＣＧを算出する。前述のとおり、空間周波数抽出部１４により空間周波数成分が抽出されている場合、ゲインマップＣＧを算出には、コントラスト成分及び奥行き情報とともに、空間周波数成分が用いられる。なお、本実施形態にて説明される各種コントラスト調整用ゲインマップＣＧ、ＥＧ、ＭＧの添え字は、フレーム番号を示す。例えば、Ｎフレーム目のコントラスト調整用ゲインマップＣＧ、ＥＧ、ＭＧはゲインマップＣＧＮ、ＥＧＮ、ＭＧＮと表記する。
【００４７】
空間周波数成分が抽出されていない場合のゲイン生成部１６の処理について説明する。ます、ゲイン生成部１６は、ディスパリティマップに含まれる奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。ここで、奥側の領域と手前側の領域に分離される領域の最小単位は、コントラスト抽出部１５が、マイケルソンコントラストＣを計算した時の処理単位領域と実質的に等しくなる。ゲイン生成部１６は、奥側の領域と手前側の領域に含まれるすべての処理単位領域について、そのマイケルソンコントラストＣから、入力画像が現在有する主観的奥行き量Ｄを算出する。
【００４８】
マイケルソンコントラストＣと主観的奥行き量Ｄとの間には、単調増加の関係が存在するため、例えば、３次元画像の奥行き感を出すためには、マイケルソンコントラストＣが大きくなるように輝度画像のコントラスト成分を調整すればよい。算出された主観的奥行き量Ｄと予め設定された奥行き調整量とからコントラスト調整後の処理単位領域に対する主観的奥行き量Ｄが決定される。すなわち、ゲイン生成部１６は、すべての処理単位領域について、現在の主観的奥行き量Ｄと画像の奥行き情報とから、現在のマイケルソンコントラストＣを何倍にすればよいかを算出し、この結果からゲインマップを作る。
【００４９】
コントラスト調整部１７は、ゲインマップのコントラスト調整用ゲインを用いて、３次元画像のコントラスト成分を調整する。これにより、コントラストを高くすると手前に見え、コントラストを低くすると奥に見えるという空気遠近法を用いた画像の表示制御が可能となる。
【００５０】
画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。
【００５１】
画像出力部１９は、画像処理部１８で生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一のフレームの３次元動画像に変換し、表示装置３０に出力する。３次元画像を出力する際のデータ形式が指定されている場合等には、画像出力部１９は、３次元画像のデータ形式を指定された形式に変換してから出力することもできる。なお、動画像を表示力する表示装置３０は、画像処理装置１０と一体に構成されていてもよく、別体に構成され、ネットワークにより接続されていてもよい。
【００５２】
以上、単眼立体情報から奥行きをどの程度知覚するかという視覚特性の定量関係に基づいて、画像の有するコントラスト成分を調整する技術について説明した。
【００５３】
(動画像とフレーム相関)
処理対象画像が静止画の場合には、以上のように３次元画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると１フレーム毎に独立した処理となり、前後のフレーム間の継承情報を持たない。このため、フレーム毎に奥行き情報（ディスパリティ）を抽出し、ディスパリティマップを作成する。抽出した奥行き情報には誤差が含まれるため、本来フレーム間で奥行きに変化がない領域でも、変化があるように誤って抽出されることがある。この結果、フレーム毎にディスパリティマップがはらつき、コントラスト調整ゲインが毎フレームで僅かに変化し、フリッカのような目障りな現象が発生することがある。
【００５４】
そこで、本実施形態に係る相関推定部２０は、動き推定技術を用いて連続する２フレーム間の画像の相関値を算出する。例えば、（Ｎ−１）フレーム目とＮフレーム目（Ｎ＞０）とは、時間的に連続した２枚のフレームである。相関推定部２０は、動き推定技術を用いて動きベクトルからＮフレーム目と（Ｎ−１）フレーム目との間の画像の相関値を算出する。ここで、動き推定とは、フレーム内の画像のオブジェクトがどの方向にどういう大きさで動いているかをフレーム間の相関を見ながら推定していく技術である。例えば、図９では、相関推定部２０は、（Ｎ−１）フレーム目の右眼用又は左眼用画像の画素ＰＮ−１に対する、Ｎフレーム目の右眼用又は左眼用画像の画素ＰＮの状態を示す動きベクトルを推定する。動きベクトルの方向とその大きさによって、画素Ｐのクレーム間の相関を認識し、どのオブジェクトが次のフレームでどこに行くかということを推定できる。相関推定部２０は、連続する２フレームから画像に含まれる各画素に対して動きベクトルを算出する。動き推定技術の一例としては、ブロックマッチング、勾配法がある。
【００５５】
これによれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、フリッカのような目障りな現象が発生を抑制し、３次元画像の奥行き感が適正化された、滑らかな画像をユーザに提供することができる。
【００５６】
相関推定部２０は、０フレーム目以外のすべてのフレームに対してＮフレーム目（Ｎ＞０）と（Ｎ−１）フレーム目の画像から相関値を算出する処理を繰り返す。ゲイン生成部１６は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のゲインマップＥＧを推定する処理を繰り返す。例えば、（Ｐ−１）フレーム目の画像のゲインマップＥＧＰ−１と、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧＰが推定される。なお、１フレーム目（Ｎ＝１）の場合には、ゲイン生成部１６は、前記相関値とゲインマップＣＧ０とからゲインマップＥＧ１を推定する。
【００５７】
前述の通り、Ｍフレームの周期値はリセット周期であるが、本実施形態では周期値が「５」に設定されていると仮定する。ゲイン生成部１６は、処理対象のＮフレーム目が、リセット周期であるＭ（＝５）の整数倍になるまで、（Ｎ−１）フレームとＮフレームとの相関値と、（Ｎ−１）フレーム目のゲインマップＥＧＮ−１とから、Ｎフレーム目のゲインマップＥＧＮを推定する。
【００５８】
そして、処理対象のＮフレーム目が、リセット周期であるＭ（＝５）の整数倍に一致したとき、ゲイン生成部１６は、上述の処理に基づき抽出されたディスパリティマップに基づいて、５フレーム目のゲインマップＣＧＮを算出する。そして、ゲイン生成部１６は、推定した５フレーム目のゲインマップＥＧＮと、前記算出した５フレーム目のゲインマップＣＧＮと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のゲインマップＭＧＮを生成する。例えば、Ｑフレーム目では、Ｑフレーム目の画像のゲインマップＥＧＱと、Ｑフレーム目の画像のゲインマップＣＧＱとの加算平均処理又は所定の重み付け処理によりＱフレーム目のゲインマップＭＧＱが生成される。
【００５９】
例えば、シーンがガラッと変わる場合等には、動きベクトルによるフレーム間の継承情報に誤差が多く入り込むことも考えられる。よって、処理対象のＮフレーム目がリセット周期に一致する場合には、動きベクトルによるフレーム間の継承情報をリセットする処理を行う。ゲインマップＣＧＮとゲインマップＥＧＮとの加算平均処理又は所定の重み付け処理によりゲインマップＭＧＮを生成する。この結果、フリッカを低減しながら、フレーム間の継承情報の誤差を抑制することができる。
【００６０】
なお、上記各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ(図示せず)により実行される。次に説明するコントラスト調整処理を実行するためのプログラムは、ＲＯＭや不揮発性メモリ(ともに図示せず)に予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行する。これにより、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、相関推定部２０の各機能が実現される。
【００６１】
［画像処理装置の動作］
次に、図２〜図４のフローチャートを参照して、画像処理装置１０が行うコントラスト調整処理について説明する。図２は、本実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。図３は、図２に示したゲインマップＣＧ算出処理のフローチャートである。図４は、図２に示したゲインマップＥＧ推定処理のフローチャートである。なお、図２〜図４の各ステップの説明に際し、必要に応じて図５〜図１６も併せて参照する。
【００６２】
（コントラスト調整処理）
初めに、図２のステップＳ２０５において、画像入力部１１は、３次元の動画像を入力する。例えば、前述のように第１〜第３データ形式のいずれかにより、３次元の動画像が０フレーム目から順に入力される。また、処理対象のフレーム番号Ｎは「０」に設定される。
【００６３】
図５は、第１のデータ形式で入力された０フレーム目の画像（原画）である。第１のデータ形式においては、左眼用画像３１Ｌ及び右眼用画像３１Ｒから構成される画像が、０フレーム目から順に入力される。なお、画像は、遊園地の回転しながら昇降する乗り物に人が乗っていて、背景には建物と他のアトラクションが映っている。
【００６４】
（ゲインマップＣＧＮ算出処理）
ステップＳ２１０において、ゲインマップＣＧＮ（計算値）の算出処理が実行される。具体的には、ゲインマップＣＧＮ（計算値）の算出処理は、図３の各ステップにより実行される。すなわち、ステップＳ３０５において、輝度抽出部１２は、Ｎフレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒから輝度成分をそれぞれ抽出する。ここでは、図５の０フレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分がそれぞれ抽出される。次に、ステップＳ３１０において、コントラスト抽出部１５は、輝度抽出部１２で抽出された左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分に基づいて、左眼用及び右眼用画像のコントラスト成分をそれぞれ抽出する。
【００６５】
次に、ステップＳ３１５において、空間周波数抽出部１４は、左眼用画像３１Ｌ及び右眼用画像３１Ｒの輝度成分に基づいて、各画像の所定の空間周波数成分をそれぞれ抽出する。次に、ステップＳ３２０において、奥行き情報抽出部１３は、０フレーム目の左眼用画像３１Ｌ及び右眼用画像３１Ｒの奥行き情報を抽出し、抽出されたコントラスト成分と奥行き情報と空間周波数成分に基づき、視差に関する情報を有するディスパリティマップを生成する。図６は、第１のデータ形式で入力された０フレーム目の左眼用画像又はその輝度画像から形成された、０フレーム目の左眼用のディスパリティマップ３２Ｌを示す。
【００６６】
次に、ステップＳ３２５において、ゲイン生成部１６は、ディスパリティマップに基づいて、３次元画像の奥行き感を変更するための、コントラスト調整用のゲインマップＣＧを算出する。図７は、０フレーム目の左眼用ディスパリティマップ３２Ｌに基づいて算出された、０フレーム目の左眼用のゲインマップＣＧ０（計算値）３３Ｌを示す。
【００６７】
このようにして図３の処理が終了すると再び図２に戻り、ステップＳ２１５において、フレーム番号Ｎが０より大きいかを判定する。この時点では、フレーム番号Ｎは０であるため、ステップＳ２２０に進み、コントラスト調整部１７は、ゲインマップＣＧ０（計算値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成し、画像出力部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００６８】
ステップＳ２３０において、処理対象となるフレームが終了したかを判定する。フレームが終了していない場合、ステップＳ２３５において、フレーム番号Ｎに１加算する。ここでは、次に処理対象のフレーム番号Ｎは「１」となる。図８は、第１のデータ形式で入力された１フレーム目の左眼用の画像（原画）３４Ｌを示す。
【００６９】
（ゲインマップＥＧＮ推定処理）
次に、ステップＳ２４０において、ゲインマップＥＧＮ（推定値）の推定処理が実行される。具体的には、ゲインマップＥＧＮ（推定値）の推定処理は、図４の各ステップにより実行される。すなわち、ステップＳ４０５において、相関推定部２０は、０フレーム目及び１フレーム目の連続する２フレームの画像(図５、図８)を用いて、ブロックマッチング、勾配法等の動き推定技術を用いて、画像中の画素毎に図９に示した動きベクトルを推定する。図１０は、０フレーム目と１フレーム目との間の動きベクトルを矢印で可視化した左眼用画像３５Ｌを示す。
【００７０】
次に、ステップＳ４１０において、ゲイン生成部１６は、動きベクトルを用いて、０フレーム目のゲインマップＣＧ０から１フレーム目のゲインマップＥＧ１（推定値）を推定する。図１１は、推定された１フレーム目の左眼用のゲインマップＥＧ１（推定値）３６Ｌを示す。
【００７１】
このようにして図４の処理が終了すると再び図２に戻り、ステップＳ２４５において、フレーム番号Ｎが周期値の整数倍であるかを判定する。ここでは、周期値「５」に対してフレーム番号Ｎは１であるから、フレーム番号Ｎは周期値の整数倍ではない。よって、ステップＳ２５０に進み、コントラスト調整部１７は、ゲインマップＥＧ１（推定値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を、入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００７２】
ステップＳ２３０〜Ｓ２５０、Ｓ２２５の処理は、フレーム番号Ｎが周期値の整数倍になるまで繰り返し処理される。なお、ステップＳ４１０において、２フレーム目以降は、ゲイン生成部１６は、動きベクトルを用いて、（Ｎ−１）フレームのゲインマップＥＧＮー１からＮフレームのゲインマップＥＧＮ（推定値）を推定する。
【００７３】
（ゲインマップＭＧＮ生成処理）
フレーム番号Ｎが周期値の整数倍になると、つまり、ここではフレーム番号Ｎが５になると、まず、ステップＳ２４０のゲインマップＥＧＮ（推定値）の推定処理が実行され、その結果、５フレーム目のゲインマップＥＧ５（推定値）が生成される。図１３は、５フレーム目の左眼用のゲインマップＥＧ５（推定値）３８Ｌを示す。
【００７４】
次に、Ｎが周期値の整数倍であるため、ステップＳ２４５からステップＳ２５５に進み、ゲイン生成部１６は、図１２に示した５フレーム目の左眼用画像３７Ｌ及び右眼用画像３７Ｒに基づき５フレーム目の各抽出処理を行う(ステップＳ３０５〜Ｓ３１５)。そして、抽出された奥行き情報から、５フレーム目のディスパリティマップを作成し(ステップＳ３２０)、ディスパリティマップを用いて、５フレーム目のゲインマップＣＧ５を算出する(ステップＳ３２５)。図１４は、５フレーム目の左眼用のディスパリティマップ３９Ｌを示し、図１５は、５フレーム目の左眼用のゲインマップＣＧ５（計算値）４０Ｌを示す。
【００７５】
次に、図２に戻り、ステップＳ２６０において、ゲイン生成部１６は、推定した５フレーム目のゲインマップＥＧ５と、算出した５フレーム目のゲインマップＣＧ５と、の加算平均処理又は所定の重み付け処理をすることにより、５フレーム目のコントラスト調整用ゲインマップＭＧ５を生成する。ここでは、ゲインマップＭＧ５を加算平均処理（ＭＧ５＝（ＣＧ５＋ＥＧ５）／２）により生成する。図１６は、５フレーム目の左眼用のゲインマップＭＧ５４１Ｌを示す。
【００７６】
次に、ステップＳ２６５において、コントラスト調整部１７は、ゲインマップＭＧ５（生成値）を用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ２２５において、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像と入力画像が元々有していた色情報を組合せた画像を、入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。以上の処理をフレームが終了するまで行う。
【００７７】
以上に説明したように、本実施形態に係る画像処理装置１０が実行する画像処理方法によれば、処理対象が最初のフレーム（０フレーム目）の場合には、奥行き情報の抽出処理、コントラストの抽出処理及び空間周波数の抽出処理を実行することによりゲインマップＣＧ０を求め、ゲインマップＣＧ０に基づきコントラストの調整処理を行う。
【００７８】
これに対して、処理対象が１フレーム以上の場合には、時間的に連続する２フレームの画像から動きベクトルの方向とその大きさを推定することによってクレーム間の各画素の相関を認識し、どのオブジェクトが次のフレームでどの位置に移動しているかを推定する。このようにしてオブジェクトの動きが分かれば、その相関関係に基づき、前のフレームのオブジェクトの情報（例えば、奥行き情報やコントラスト成分）を次のフレームに継承でき、これにより推定されたゲインマップＥＧＮを、次のフレームのコントラストの調整処理に利用可能となる。これにより、０フレーム目に実行した奥行き情報の抽出、コントラストの抽出及び空間周波数の抽出処理を、各フレームで独立に行った場合にはフリッカのような目障りな現象が発生する場合があったが、本実施形態ではこれを抑制することができる。この結果、３次元画像の奥行き感が適正化された、滑らかな動画像をユーザに提供することができる。
【００７９】
このようにして処理対象のＮフレーム目がリセット周期（周期値の整数倍）であるＭフレーム目に一致しない場合には、動き推定技術を用いてあるフレーム内のオブジェクトの動きから次のフレームのオブジェクトの動きを予測する。このため、前述した奥行き情報の抽出処理、コントラストの抽出処理及び空間周波数の抽出処理をフレーム毎に繰り返す必要がない。特に、奥行き情報の計算は負荷が高いため、これらの処理を省略することにより後続フレームの処理負荷を軽減することができる。
【００８０】
しかしながら、例えば、シーンがガラッと変わる場合等には、動きベクトルによるフレーム間の継承情報に誤差が多く入り込むことも考えられる。よって、処理対象のＮフレーム目がリセット周期のＭフレーム目に一致する場合には、動きベクトルによるフレーム間の継承情報をリセットする処理を行う。その際、完全にリセットせずに、前フレームからの継承情報としてのゲインマップＥＧＮと新たな計算により算出されたゲインマップＣＧＮとの両方を使い、計算しなおしたゲインマップＣＧＮと、前フレームの継承情報であるゲインマップＥＧＮとの加算平均処理又は所定の重み付け処理によりゲインマップＭＧＮを生成する。このようにして、推定された動きベクトルの情報、画像が持っているコントラストの情報、奥行き情報、周波数情報等を用いてゲインマップＭＧＮを得ることにより、フレーム間の継承情報の誤差とフリッカ等のチラツキを抑制することができる。この結果、より精度の高いゲインマップＭＧＮを用いて画像のコントラストを調整することができる。
【００８１】
なお、Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定することができる。たとえば、Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定され、前記入力される動画像の動きが小さいほど大きい値に設定されてもよい。風景画のように動きが少ない場合には、前フレームから次フレームに継承されるエラーの頻度は高くないという推測の下に１０フレームを周期値としてもよい。また、スポーツのように動きが多い場合には、前フレームから次フレームに継承されるエラーの頻度が高くなるという推測の下に１又は２フレーム程度を周期値としてもよい。ただし、周期値を小さくするほど処理負荷は高くなる。
【００８２】
入力される３次元の動画像のコンテンツ毎に周期値を設定するようにしてもよい。コンテンツ内で周期を可変にしたほうがよい場合もある。例えば、１つのコンテンツ映像内に動きの激しいシーンと緩やかなシーンがある場合には、動きの緩やかなシーンでは周期値を大きく設定し、動きの激しいシーンでは周期値を小さく設定するように、１つのコンテンツ内で可変にしてもよい。
【００８３】
上記一実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理装置の実施形態を、画像処理方法の実施形態及び画像処理装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。
【００８４】
これにより、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、（Ｎ−１）フレーム目及びＮフレーム目を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、前記ゲイン生成ステップは、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法を提供することができる。
【００８５】
また、これにより、入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、（Ｎ−１）フレーム目及びＮフレーム目を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、前記ゲイン生成処理は、前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラムを提供することができる。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、上記実施形態では、動きベクトルを推定するために直前の（Ｎ−１）フレーム目とＮフレーム目との３次元画像の相関値を用いたが、本発明はかかる例に限定されない。例えば、直前の（Ｎ−１）フレーム目とＮフレーム目の画像の相関値だけでなく、複数の前フレーム情報を用いて相関値を求めてもよい。例えば、（Ｎ−１）フレーム目及び（Ｎ−２）フレーム目の画像を用いて、（Ｎ−２）フレーム目と（Ｎ−１）フレーム目との３次元画像の相関値を求め、（Ｎ−１）フレーム目とＮフレーム目との３次元画像の相関値を求め、それらの相関値からＮフレーム目の動きベクトルを推定してもよい。
【００８８】
周期値を１としてもよい。この場合には、全フレームについて上記ゲインマップＣＧのための計算及び上記ゲインマップＥＧの推定を行うことになる。
【００８９】
また、リセット周期においても、１フレーム目と同様に、算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定してもよい。例えば、上記実施形態のリセット周期においては、ゲインマップＭＧを用いたが、ゲインマップＥＧを用いることも可能である。
【００９０】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【符号の説明】
【００９１】
１０ 画像処理装置
１１ 画像入力部
１２ 輝度抽出部
１３ 奥行き情報抽出部
１４ 空間周波数抽出部
１５ コントラスト抽出部
１６ ゲイン生成部
１７ コントラスト調整部
１８ 画像処理部
１９ 画像出力部
２０ 相関推定部
３０ 表示装置
【特許請求の範囲】
【請求項１】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部と、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出部と、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出部と、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部と、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部と、を備え、
前記ゲイン生成部は、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する画像処理装置。
【請求項２】
Ｍフレーム目は、０フレーム目又はリセット周期である周期値の整数倍のフレーム目の少なくともいずれかを含む請求項１に記載の画像処理装置。
【請求項３】
前記相関推定部は、Ｎフレーム目と（Ｎ−１）フレーム目との間の相関値を算出し、
前記ゲイン生成部は、前記算出されたＮフレーム目と（Ｎ−１）フレーム目との間の相関値を用いて、（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定する請求項２に記載の画像処理装置。
【請求項４】
前記相関推定部は、０フレーム目以外のすべてのフレームに対してＮフレーム目と（Ｎ−１）フレーム目から前記相関値を算出する処理を繰り返し、
前記ゲイン生成部は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を繰り返す請求項３に記載の画像処理装置。
【請求項５】
前記ゲイン生成部は、前記Ｎフレーム目が前記Ｍフレーム目に一致する場合、前記推定したＮフレーム目のコントラスト調整用ゲインマップＥＧと、前記算出したＭフレーム目のコントラスト調整用ゲインマップＣＧと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のコントラスト調整用ゲインマップＭＧを生成する請求項２に記載の画像処理装置。
【請求項６】
Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定される請求項２に記載の画像処理装置。
【請求項７】
前記Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定され、前記入力される動画像の動きが小さいほど大きい値に設定される請求項６に記載の画像処理装置。
【請求項８】
前記相関推定部は、動き推定技術を用いて前記相関値を算出する請求項１に記載の画像処理装置。
【請求項９】
前記Ｍフレーム目の輝度成分に基づいて、前記Ｍフレーム目の画像の空間周波数成分を抽出する空間周波数抽出部を更に備え、
前記ゲイン生成部は、前記Ｍフレーム目の画像のコントラスト成分、空間周波数成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出する請求項１に記載の画像処理装置。
【請求項１０】
前記算出されたコントラスト調整用ゲインマップＣＧ又は前記推定されたコントラスト調整用ゲインマップＥＧ又は前記生成されたコントラスト調整用ゲインマップＭＧのいずれかを用いて、Ｎフレーム目の画像のコントラスト成分を調整するコントラスト調整部を更に備える請求項５に記載の画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置によりコントラスト成分が調整された各フレームの画像を表示する表示装置。
【請求項１２】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、
前記ゲイン生成ステップは、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法。
【請求項１３】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、
前記ゲイン生成処理は、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラム。
【請求項１４】
入力された連続する２つのフレームの画像の相関値を算出する相関推定部と、
入力された画像のコントラスト成分及び奥行き情報に基づいて、前記画像のコントラストの調整を行うためのゲインマップＣＧを算出し、ゲインマップＣＧと前記相関値から前記画像のコントラストの調整を行うためのゲインマップＥＧを推定するゲイン生成部と、を備える画像処理装置。
【請求項１５】
前記ゲイン生成部は、
（Ｎ−１）フレーム目の画像の前記ゲインマップＣＧと、（Ｎ−１）フレーム目とＮフレーム目との前記相関値とから、Ｎフレーム目のゲインマップＥＧを推定する請求項１４に記載の画像処理装置。
【請求項１６】
前記ゲイン生成部は、
（Ｐ−１）フレーム目の画像の前記ゲインマップＥＧと、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧを推定する請求項１５に記載の画像処理装置。
【請求項１７】
前記ゲイン生成部は、
Ｑフレーム目の画像の前記ゲインマップＥＧと、Ｑフレーム目の前記ゲインマップＣＧとの加算平均処理又は所定の重み付け処理をすることによりＱフレーム目のゲインマップＭＧを生成する請求項１５または１６に記載の画像処理装置。
【請求項１】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出部と、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出部と、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出部と、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成部と、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定部と、を備え、
前記ゲイン生成部は、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する画像処理装置。
【請求項２】
Ｍフレーム目は、０フレーム目又はリセット周期である周期値の整数倍のフレーム目の少なくともいずれかを含む請求項１に記載の画像処理装置。
【請求項３】
前記相関推定部は、Ｎフレーム目と（Ｎ−１）フレーム目との間の相関値を算出し、
前記ゲイン生成部は、前記算出されたＮフレーム目と（Ｎ−１）フレーム目との間の相関値を用いて、（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧからＮフレーム目のコントラスト調整用ゲインマップＥＧを推定する請求項２に記載の画像処理装置。
【請求項４】
前記相関推定部は、０フレーム目以外のすべてのフレームに対してＮフレーム目と（Ｎ−１）フレーム目から前記相関値を算出する処理を繰り返し、
前記ゲイン生成部は、０フレーム目以外のすべてのフレームに対して前記算出された相関値と（Ｎ−１）フレーム目のコントラスト調整用ゲインマップＥＧとから、Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を繰り返す請求項３に記載の画像処理装置。
【請求項５】
前記ゲイン生成部は、前記Ｎフレーム目が前記Ｍフレーム目に一致する場合、前記推定したＮフレーム目のコントラスト調整用ゲインマップＥＧと、前記算出したＭフレーム目のコントラスト調整用ゲインマップＣＧと、の加算平均処理又は所定の重み付け処理をすることにより、Ｎフレーム目のコントラスト調整用ゲインマップＭＧを生成する請求項２に記載の画像処理装置。
【請求項６】
Ｍフレームの周期値は、前記入力される動画像の変化に基づいて、可変に設定される請求項２に記載の画像処理装置。
【請求項７】
前記Ｍフレームの周期値は、前記入力される動画像の動きが大きいほど小さい値に設定され、前記入力される動画像の動きが小さいほど大きい値に設定される請求項６に記載の画像処理装置。
【請求項８】
前記相関推定部は、動き推定技術を用いて前記相関値を算出する請求項１に記載の画像処理装置。
【請求項９】
前記Ｍフレーム目の輝度成分に基づいて、前記Ｍフレーム目の画像の空間周波数成分を抽出する空間周波数抽出部を更に備え、
前記ゲイン生成部は、前記Ｍフレーム目の画像のコントラスト成分、空間周波数成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出する請求項１に記載の画像処理装置。
【請求項１０】
前記算出されたコントラスト調整用ゲインマップＣＧ又は前記推定されたコントラスト調整用ゲインマップＥＧ又は前記生成されたコントラスト調整用ゲインマップＭＧのいずれかを用いて、Ｎフレーム目の画像のコントラスト成分を調整するコントラスト調整部を更に備える請求項５に記載の画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置によりコントラスト成分が調整された各フレームの画像を表示する表示装置。
【請求項１２】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出ステップと、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出ステップと、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出ステップと、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成ステップと、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定ステップと、を含み、
前記ゲイン生成ステップは、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定するステップを含む画像処理方法。
【請求項１３】
入力された３次元の動画像のＭフレーム目の画像の奥行き情報を抽出する奥行き情報抽出処理と、
入力された３次元の動画像のＭフレーム目の画像の輝度成分を抽出する輝度抽出処理と、
前記Ｍフレーム目の画像の輝度成分に基づいて、Ｍフレーム目の画像のコントラスト成分を抽出するコントラスト抽出処理と、
前記Ｍフレーム目の画像のコントラスト成分及び奥行き情報に基づいて、Ｍフレーム目の画像のコントラスト調整用ゲインマップＣＧを算出するゲイン生成処理と、
（Ｎ−１）フレーム目及びＮフレーム目（Ｎ＞０）を含む少なくとも２フレーム間の画像の相関値を算出する相関推定処理と、を含む処理をコンピュータに実行させるためのプログラムであって、
前記ゲイン生成処理は、
前記算出されたＭフレーム目の画像のコントラスト調整用ゲインマップＣＧと前記相関値とから前記Ｎフレーム目のコントラスト調整用ゲインマップＥＧを推定する処理を含むプログラム。
【請求項１４】
入力された連続する２つのフレームの画像の相関値を算出する相関推定部と、
入力された画像のコントラスト成分及び奥行き情報に基づいて、前記画像のコントラストの調整を行うためのゲインマップＣＧを算出し、ゲインマップＣＧと前記相関値から前記画像のコントラストの調整を行うためのゲインマップＥＧを推定するゲイン生成部と、を備える画像処理装置。
【請求項１５】
前記ゲイン生成部は、
（Ｎ−１）フレーム目の画像の前記ゲインマップＣＧと、（Ｎ−１）フレーム目とＮフレーム目との前記相関値とから、Ｎフレーム目のゲインマップＥＧを推定する請求項１４に記載の画像処理装置。
【請求項１６】
前記ゲイン生成部は、
（Ｐ−１）フレーム目の画像の前記ゲインマップＥＧと、（Ｐ−１）フレーム目とＰフレーム目との前記相関値とから、Ｐフレーム目のゲインマップＥＧを推定する請求項１５に記載の画像処理装置。
【請求項１７】
前記ゲイン生成部は、
Ｑフレーム目の画像の前記ゲインマップＥＧと、Ｑフレーム目の前記ゲインマップＣＧとの加算平均処理又は所定の重み付け処理をすることによりＱフレーム目のゲインマップＭＧを生成する請求項１５または１６に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図９】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図９】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１１９７８３（Ｐ２０１２−１１９７８３Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５６４７（Ｐ２０１０−２６５６４７）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]