画像処理方法、画像処理装置及び表示装置
【課題】画像の奥行きの調整を適正化することが可能な画像処理を提供する。
【解決手段】取得された画像に対して遮蔽・発生領域を検出することと、前記画像の奥行き情報を抽出することと、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、を備える画像処理方法が提供される。
【解決手段】取得された画像に対して遮蔽・発生領域を検出することと、前記画像の奥行き情報を抽出することと、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、を備える画像処理方法が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び表示装置に関する。
【背景技術】
【０００２】
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがあり、人間は、単眼立体情報と両眼立体情報とを併せて物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差や輻輳といった奥行きに関する情報があり、単眼立体情報には、例えば、空気遠近法、陰影、オクルージョンといった情報がある。
【０００３】
画像の立体感や奥行き感を強調したいとき、両眼立体情報の一つである両眼視差を大きくする方法が考えられる。しかし、この方法では、過度な両眼視差が観察者に視覚疲労や不快感を与えることになりやすい。これに対して、両眼視差を抑えると快適にステレオ３Ｄ画像を鑑賞することができるが、両眼視差を制限した画像では表現できる奥行きが浅くなり、臨場感や迫力に欠けることになりかねない。
【０００４】
一方、単眼立体情報から奥行きをどの程度知覚するかという人間の視覚特性を利用することにより、画像の立体感や奥行き感を強調する方法も考えられる。例えば、単眼立体情報の一つである空気遠近法によれば、コントラストの高低によって、人間は物体の遠近を経験的に感じることができる。よって、コントラスト成分を使って画像を処理すると、手前に表示されているオブジェクトのコントラストを上げればより手前に表示されるように見え、奥に表示されているオブジェクトのコントラストを下げればより奥に表示されるように見える。非特許文献１には、このような視覚特性に基づいて奥行き調整値を制御する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「空気遠近法に基づいた３Ｄ画像の奥行き制御技術」 高橋修一等 第１２回日本感性工学会大会 ２０１０年９月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
処理対象が静止画の場合、画像毎にコントラストを調整すればよい。しかしながら、処理対象が動画像の場合、フレーム間における物体の動きを予測した結果から動画像のコントラストを調整した方が画像の奥行き感が適正化され、より滑らかな動画像を得ることができる。
【０００７】
フレーム間で動き推定を行う際、遮蔽・発生領域では前後フレームにおいて本来対応点は存在しない。ところが、遮蔽・発生領域にもかかわらず誤って対応点をとってしまうことがあった。これにより、画像のコントラストの調整値にエラーが発生したり、次フレームに新たに現れた物体に不適切なコントラストの調整値が適用されるというエラーが発生したりすることがあった。この結果、画像のコントラスト調整の精度が低下することがあった。
【０００８】
そこで、画像の奥行きの調整をより適正化することが可能な画像処理方法が求められていた。
【課題を解決するための手段】
【０００９】
本開示のある観点によれば、取得された画像に対して遮蔽・発生領域を検出することと、前記画像の奥行き情報を抽出することと、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、を備える画像処理方法が提供される。
【００１０】
また、本開示の別の観点によれば、取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、前記画像の奥行き情報を抽出する奥行き情報抽出部と、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、を備える画像処理装置が提供される。
【００１１】
また、本開示の別の観点によれば、取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、前記画像の奥行き情報を抽出する奥行き情報抽出部と、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、を備える表示装置が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、画像の奥行きの調整をより適正化することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１〜第４実施形態に係る画像処理装置の機能構成を示した図である。
【図２】マイケルソンコントラストＣとコントラストによって主観的に知覚される奥行き情報Ｄの関係を定量化した評価関数を示した図である。
【図３】動作推定技術を説明するための図である。
【図４】第１実施形態におけるゲイン補正処理を説明するための図である。
【図５】第１〜第４実施形態にて実行されるコントラスト調整処理のフローチャートである。
【図６】第１〜第４実施形態にて実行されるゲインマップＣＧ算出処理のフローチャートである。
【図７】第１〜第４実施形態にて実行されるゲインマップＥＧ推定処理のフローチャートである。
【図８】第１実施形態にて実行されるゲイン補正処理のフローチャートである。
【図９】第１実施形態におけるゲイン補正処理の効果を示した図である。
【図１０】第２実施形態にて用いられる変換テーブルを示した図である。
【図１１】第２実施形態にて実行されるゲイン補正処理のフローチャートである。
【図１２】第３実施形態にて用いられる変換テーブルを示した図である。
【図１３】第３実施形態にて実行されるゲイン補正処理のフローチャートである。
【図１４】第３実施形態におけるゲイン補正処理の効果を示した図である。
【図１５】第４実施形態にて実行されるゲイン補正処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の一実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は次の順序で行う。
＜第１実施形態＞
［画像処理装置の機能構成］
（ゲイン補正)
［画像処理装置の動作］
（コントラスト調整処理）
（ゲインマップＣＧ算出処理)
（ゲインマップＥＧ推定処理)
（ゲイン補正処理)
＜第２実施形態＞
（ゲイン補正)
［画像処理装置の動作］
（ゲイン補正処理)
＜第２実施形態の変形例＞
（ゲイン補正)
［画像処理装置の動作］
（ゲイン補正処理)
＜第３実施形態＞
＜第４実施形態＞
［画像処理装置の動作］
（ゲイン補正処理)
【００１６】
＜第１実施形態＞
［画像処理装置の機能構成］
まず、本実施形態に係る画像処理装置の機能構成について図１に示した機能ブロック図を参照しながら説明する。
【００１７】
画像処理装置１０は、画像入力部１１、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、表示制御部１９、相関推定部２０及び遮蔽・発生領域検出部２１を有する。
【００１８】
画像処理装置１０は、入力された３次元の動画像に対して、各フレームの画像の奥行き感を強めたり弱めたりするために、各フレームの画像のコントラストを調整する処理を行う。本実施形態では、３次元の動画像の各フレームが３次元画像として構成されている。ここで、３次元画像とは、観察者に３次元の画像を知覚させるための２次元画像をいう。
【００１９】
（画像入力部１１）
画像入力部１１は、外部からの３次元の動画像の入力を受け付け、入力されたフレーム毎の３次元画像を輝度抽出部１２に供給する。外部から入力される３次元画像のデータ形式には様々な形式があるが、いずれの形式であってもよい。３次元画像のデータ形式には、例えば、左眼用画像Ｌと右眼用画像Ｒとから構成されるステレオ画像の形で供給される第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形で供給される第２のデータ形式、２次元画像とその奥行き情報という形で供給される第３のデータ形式等がある。以下においては、処理対象として画像という場合には、第１のデータ形式では、左眼用画像Ｌ及び右眼用画像Ｒを意味し、第２のデータ形式では、複数の視点画像を意味し、第３のデータ形式では、奥行き情報とともに２次元画像を意味する。
【００２０】
（輝度抽出部１２）
輝度抽出部１２は、取得された画像の輝度成分を抽出する。ここでは、輝度抽出部１２は、入力された３次元の動画像の各フレームの輝度成分を抽出する。例えば、画像がＲＧＢ表色系における線形のＲＧＢ値で表されている場合、輝度抽出部１２は、ＩＴＵ−Ｒ ＢＴ７０９で規定される式（１）により輝度値Ｙに変換することにより、３次元画像の輝度成分を抽出する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（１）
【００２１】
式（１）により、各画素の輝度値Ｙで構成される画像を輝度画像という。なお、画像は、必ずしもＲＧＢ値からなる形式（ＲＧＢ信号）で表されている必要はなく、ＣＩＥ ＸＹＺ表色系におけるＸＹＺ値で表されている場合には、輝度値Ｙで構成される画像が輝度画像とされる。また、輝度値の抽出は、必ずしも式（１）により算出する必要はなく、他の方法で算出してもよい。
【００２２】
（奥行き情報抽出部１３）
奥行き情報抽出部１３は、画像の奥行き情報を抽出する。ここでは、奥行き情報抽出部１３は、入力された３次元の動画像の各フレームのディスパリティ値を抽出し、抽出されたディスパリティをイメージ化したディスパリティマップを作成する。ただし、ディスパリティマップは必ずしも作成する必要はなく、ディスパリティ値をそのまま図示しないメモリに記憶するようにしてもよい。ディスパリティ値と奥行き情報とは一対一に対応する。
【００２３】
３次元の動画像が第１のデータ形式で入力された場合、奥行き情報抽出部１３は、ステレオ画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいてディスパリティを近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法等の手法を用いることにより算出することができる。また、３次元の動画像が第２のデータ形式で入力された場合、奥行き情報抽出部１３は、３以上の視点画像のうち対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差に基づいてディスパリティを近似的に算出する。さらに、３次元の動画像が第３のデータ形式で入力された場合、奥行き情報抽出部１３は、ディスパリティそのものが供給されるので、供給されたディスパリティを抽出する。
【００２４】
（空間周波数抽出部１４）
空間周波数抽出部１４は、画像の空間周波数成分を抽出する。ここでは、空間周波数抽出部１４は、輝度抽出部１２により抽出された輝度成分に基づき、３次元画像の所定の空間周波数成分を抽出する。空間周波数成分の抽出には、例えば、ガボールフィルタ(Gabor Filter)を用いることができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）は、式（２）で表される。
【数１】
【００２５】
式（２）において、ｘ、ｙは輝度画像の座標値、λは空間周波数に対応する波長、θは方位（方向）、ψは位相、σはガウス分布の分散、γはアスペクト比をそれぞれ表す。また、ここでの空間周波数とは、人間の目の１°(degree)の視覚内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はｃｐｄ(cycle per degree)である。
【００２６】
例えば、空間周波数抽出部１４は、λを所定の波長とした式（２）のガボールフィルタ関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）と、輝度抽出部１２で抽出された輝度画像の輝度値Ｙを畳み込み積分することにより、輝度画像のどの領域にどの空間周波数が含まれるかを抽出する。
【００２７】
なお、輝度画像の各領域に含まれる空間周波数成分を抽出する方法としては、上記方法に限られず、例えば、フーリエ変換等を用いて空間周波数成分を抽出してもよい。ただし、この場合には、各領域に含まれる空間周波数成分を抽出するためには、輝度画像を所定の領域に分割後、領域毎にフーリエ変換を行う必要がある。また、空間周波数抽出部１４による処理は、コントラスト調整部１７において適用する評価関数を、所定の空間周波数毎に変更する場合に必要な処理である。このため、コントラスト調整部１７において輝度画像全体に対して同一の評価関数を適用する場合には、空間周波数抽出部１４による処理は省略することができる。
【００２８】
（コントラスト抽出部１５）
コントラスト抽出部１５は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて３次元画像のコントラスト成分を抽出する。一例としては、コントラスト抽出部１５は、コントラスト成分を抽出する処理の単位である処理単位領域として、横×縦にｎ×ｍ画素（ｎ，ｍ≧２）の領域を決定する。コントラスト抽出部１５は、処理単位領域を、例えば輝度画像の左上端の位置からラスタスキャン方向に所定の画素ずつ移動させることにより、輝度画像全体に亘って複数の処理単位領域のマイケルソンコントラストＣを算出する。
【００２９】
マイケルソンコントラストＣは、式（３）で定義される。
【数２】
式（３）において、Ｌｍａｘは、処理単位領域内の輝度値Ｙの最大値、Ｌｍｉｎは、処理単位領域内の輝度値Ｙの最小値である。
【００３０】
なお、３次元画像のコントラスト成分を抽出する方法としては、上記方法に限られず、他の方法によりコントラスト成分を抽出してもよい。また、処理単位領域の大きさは、特に限定されないが、視角と画素数の関係から最適な大きさを決定することができる。
【００３１】
ここで、図２を用いて評価関数について説明する。図２は、横軸のマイケルソンコントラストＣの対数軸に対する縦軸の主観的奥行き情報Ｄを評価関数として示している。この評価関数は、人間の視覚特性に基づいて視覚実験により得られた関数である。マイケルソンコントラストＣの単位は、％であり、主観的奥行き情報Ｄの単位は、ａｒｃｍｉｎ（角度分）である。
【００３２】
図２において、四角（□）は、空間周波数が０．５ｃｐｄ、１ｃｐｄ、２ｃｐｄの輝度画像におけるマイケルソンコントラストＣと主観的奥行き情報Ｄとの関係を示している。菱形（◆）は、空間周波数が４ｃｐｄ、８ｃｐｄの輝度画像におけるマイケルソンコントラストＣと主観的奥行き情報Ｄとの関係を示している。
【００３３】
観察者がディスプレイに表示された物体をディスプレイ上にあると感じるとき、主観的奥行き情報Ｄは０ａｒｃｍｉｎである。主観的奥行き情報Ｄが正の値を有する場合には、その値だけ観察者がディスプレイよりも手前に物体があると感じること示し、主観的奥行き情報Ｄが負の値を有する場合には、その値だけ観察者がディスプレイよりも奥に物体があると感じること示している。例えば、マイケルソンコントラストＣを５％から２５％にすると、観察者は、ディスプレイ上にあると感じた物体が、マイケルソンコントラストＣ変更後は約３０ａｒｃｍｉｎだけ手前にあると感じる。なお、マイケルソンコントラストＣと主観的奥行き情報Ｄとの間には単調増加の関係が存在する。
【００３４】
評価関数のタイプは２種類である。一つのタイプは、式（４）で示される対数型の評価関数である。
Ｄ＝１８．０４×ｌｏｇ（Ｃ）−２９．０７・・・・（４）
図２では、式（４）は、ｌｏｇ関数を示す破線で示されている。
【００３５】
評価関数のもう一つのタイプは、式（５）で示されるＮａｋａ−Ｒｕｓｈｔｏｎ型の評価関数である。
Ｄ＝Ｄａｍｐ×Ｃｎ／（Ｃｎ＋Ｃ５０ｎ）＋Ｄｍｉｎ・・・・（５）
【００３６】
式（５）において、Ｄａｍｐ、Ｄｍｉｎ、Ｃ５０及びｎは、所定の定数であり、Ｄａｍｐは奥行き情報の最大値及び最小値の幅を、Ｄｍｉｎは奥行き情報の最小量を、Ｃ５０は奥行き情報がその最大量と最小値の中間値となるときのコントラスト値を表す。
【００３７】
視覚実験により得られた０．５ｃｐｄ、１ｃｐｄ、２ｃｐｄ、４ｃｐｄ及び８ｃｐｄのすべての空間周波数のデータに対して、残差が最小となるように、Ｎａｋａ−Ｒｕｓｈｔｏｎ式のパラメータＤａｍｐ、Ｄｍｉｎ、Ｃ５０及びｎを求めると、式（６）となる。
Ｄ＝７７．９×Ｃ１．０９／（Ｃ１．０９＋７．７４１．０９）−３０．５・・・・（６）
【００３８】
評価関数は、所定の空間周波数毎に区別して適用してもよい。例えば、図２において、評価関数としてＮａｋａ−Ｒｕｓｈｔｏｎ式を採用した場合、２ｃｐｄ以下の空間周波数の輝度画像と、２ｃｐｄより大きい空間周波数の輝度画像とで適用する評価関数を区別してもよい。その場合、２ｃｐｄ以下の空間周波数成分のデータに対して、Ｄａｍｐ＝７８．５、Ｄｍｉｎ＝−３０．５、Ｃ５０＝９．３３、ｎ＝１．２３が得られる。また、２ｃｐｄより大きい空間周波数成分のデータに対して、Ｄａｍｐ＝５８．５、Ｄｍｉｎ＝−３０．５、Ｃ５０＝３．４５、ｎ＝２．０５が得られる。すなわち、２ｃｐｄ以下の空間周波数の輝度画像については、式（７）の評価関数を、２ｃｐｄより大きい空間周波数の輝度画像については、式（８）の評価関数を適用することができる。
【００３９】
Ｄ＝７８．５×Ｃ１．２３／（Ｃ１．２３＋９．３３１．２３）−３０．５・・・・（７）
Ｄ＝５８．５×Ｃ２．０５／（Ｃ２．０５＋３．４５２．０５）−３０．５・・・・（８）
【００４０】
コントラスト抽出部１５は、画像のコントラスト成分として算出された、各処理単位領域のマイケルソンコントラストＣをゲイン生成部１６に供給する。
【００４１】
（ゲイン生成部１６）
ゲイン生成部１６は、コントラスト抽出部１５により抽出された各処理単位領域のマイケルソンコントラストＣとディスパリティマップに基づいて、３次元画像の奥行き感を変更するためのコントラスト調整用ゲインマップＣＧを算出する。ただし、ゲインマップは必ずしも作成する必要はなく、各画素のコントラスト調整用ゲイン値をそのまま図示しないメモリに記憶してもよい。
【００４２】
なお、ゲイン生成部１６は、後述するように、遮蔽・発生領域に対応する奥行き情報に基づき、遮蔽・発生領域に適用する補正調整値を生成する調整値生成部としても機能する。
【００４３】
前述のとおり、空間周波数抽出部１４により空間周波数成分が抽出されている場合、ゲインマップＣＧを算出には、コントラスト成分及び奥行き情報とともに、空間周波数成分が用いられる。
【００４４】
空間周波数成分が抽出されていない場合のゲイン生成部１６の処理について説明する。ます、ゲイン生成部１６は、ディスパリティマップに含まれる奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。ここで、奥側の領域と手前側の領域に分離される領域の最小単位は、コントラスト抽出部１５が、マイケルソンコントラストＣを計算した時の処理単位領域と実質的に等しくなる。ゲイン生成部１６は、奥側の領域と手前側の領域とに含まれるすべての処理単位領域について、そのマイケルソンコントラストＣから、入力画像が現在有する主観的奥行き情報Ｄを算出する。
【００４５】
前述のように、マイケルソンコントラストＣと主観的奥行き情報Ｄとの間には、単調増加の関係が存在する。このため、例えば、３次元画像の奥行き感を出すためには、マイケルソンコントラストＣが大きくなるように輝度画像のコントラスト成分を調整すればよい。算出された主観的奥行き情報Ｄと予め設定された奥行き調整値とからコントラスト調整後の処理単位領域に対する主観的奥行き情報Ｄが決定される。すなわち、ゲイン生成部１６は、すべての処理単位領域について、現在の主観的奥行き情報Ｄと画像の奥行き情報とから、現在のマイケルソンコントラストＣを何倍にすればよいかを算出し、この結果からゲインマップが作成される。ゲインマップの遮蔽・発生領域は、後述するように補正調整値にて補正される。
【００４６】
（コントラスト調整部１７）
コントラスト調整部１７は、ゲインマップのコントラスト調整用ゲインを用いて、３次元画像のコントラスト成分を調整する。これにより、コントラストを高くすると手前に見え、コントラストを低くすると奥に見えるという空気遠近法を用いた画像処理が可能となる。
【００４７】
（画像処理部１８）
画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。
【００４８】
（表示制御部１９）
表示制御部１９は、画像処理部１８で生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一のフレームの３次元動画像に変換し、表示装置３０に出力する。３次元画像を出力する際のデータ形式が指定されている場合等には、表示制御部１９は、３次元画像のデータ形式を指定された形式に変換してから出力することもできる。なお、動画像を表示力する表示装置３０は、画像処理装置１０と一体に構成されていてもよく、別体に構成され、ネットワークにより接続されていてもよい。
【００４９】
以上、単眼立体情報から奥行きをどの程度知覚するかという視覚特性の定量関係に基づいて、画像の有するコントラスト成分を調整する技術について説明した。
【００５０】
（相関推定部２０）
処理対象画像が静止画の場合には、以上のように３次元画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると一フレーム毎に独立した処理となり、前後のフレーム間の継承情報を持たない。この結果、前後のフレーム間の継承情報を持った場合に比べて抽出した奥行き情報に含まれる誤差が多くなり、フリッカのような目障りな現象が発生することがある。
【００５１】
動き推定とは、フレーム内の画像のオブジェクトがどの方向にどういう大きさで動いているかをフレーム間の相関を見ながら推定していく技術であり、相関推定部２０は、動き推定技術を用いて動きベクトルから連続する２フレームの画像の相関値を算出する
【００５２】
例えば、図３では、相関推定部２０は、（Ｎ−１）フレームの右眼用又は左眼用画像の画素ＰＮ−１に対する、Ｎフレームの右眼用又は左眼用画像の画素ＰＮの状態を示す動きベクトルを推定する。動きベクトルの方向とその大きさによって、画素Ｐのクレーム間の相関を認識し、どのオブジェクトが次のフレームでどこに行くかを推定できる。相関推定部２０は、連続する２フレームの各画素に対して動きベクトルを算出する。動き推定技術の一例としては、ブロックマッチング、勾配法がある。
【００５３】
これによれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、フリッカのような目障りな現象が発生を抑制することができる。
【００５４】
相関推定部２０は、０フレーム以外のすべてのフレームに対してＮフレーム（Ｎ＞０）と（Ｎ−１）フレームの画像から相関値を算出する処理を繰り返す。ゲイン生成部１６は、（Ｎ−１）フレームとＮフレームとの相関値と、（Ｎ−１）フレームのゲインマップＥＧとから、ＮフレームのゲインマップＥＧを推定する処理を繰り返す。なお、ゲインマップＥＧは、前後のフレーム間の継承情報を持たないゲインマップＣＧと区別される。
【００５５】
（遮蔽・発生領域検出部２１）
遮蔽・発生領域検出部２１は、取得された画像に対して遮蔽・発生領域を検出する。遮蔽・発生領域検出部２１は、取得された動画像の２フレーム間の画像の相関値に基づき遮蔽・発生領域を検出する。
【００５６】
なお、上記各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ(図示せず)により実行される。次に説明するコントラスト調整処理、ゲインマップ算出処理、ゲインマップ推定処理、ゲイン補正処理を実行するためのプログラムは、ＲＯＭや不揮発性メモリ(ともに図示せず)に予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行する。これにより、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、表示制御部１９、相関推定部２０及び遮蔽・発生領域検出部２１の各機能が実現される。
【００５７】
（ゲイン補正)
フレーム間で動き推定を行う際、遮蔽・発生領域では前後フレームにおいて、本来対応点が存在しない。例えば、前フレームで隠れていた領域が、次フレームで新しく発生した領域となる場合である。動き推定処理時、遮蔽・発生領域にもかかわらず誤って対応点をとってしまうことがある。これにより、画像のコントラストの調整値にエラーが発生したり、次フレームに新たに現れた物体に不適切なコントラストの調整値が適用されるようなエラーが発生したりして、画像のコントラスト調整の精度が低下する場合がある。
【００５８】
そこで、第１実施形態及び後述する第２〜第４実施形態では、遮蔽・発生領域に補正ゲインを適用することにより、ゲインマップを補正する。第１実施形態では、対数型の評価関数であって１チャネルの場合について補正ゲインの適用方法を説明する。なお、チャネルは、空間周波数成分に基づき定められる。図４は、第１実施形態のゲイン補正の適用方法を説明するための図である。図４の上側のグラフを参照すると、奥行きの調整量Ｐで示される調整値は、コントラストを調整するためのゲイン値Ｇと一対一の関係にある。よって、奥行き調整量Ｐを決定すれば、ゲイン値Ｇは一意に決まる。これは、対数型の評価関数の性質であり、ゲイン値Ｇと調整量との関係を示す傾きは一定であって、ゲイン値Ｇは原画像のコントラストに依存しないことを示している。奥行き調整量Ｐはディスパリティ値で一意に決まることと前記対数型の評価関数の性質から、ディスパリティ値とゲイン値とは一対一に対応することがわかる。そこで、第１実施形態では、図４の下側に示したように、ディスパリティ値と補正ゲイン値とを対応付けて記憶した変換テーブルを用いて、検出された遮蔽・発生領域のディスパリティ値Ｄから補正ゲイン値ＧＤを算出する。これにより、遮蔽・発生領域におけるエラー検知を低減し、画像のコントラスト調整の精度を向上させることができる。なお、ディスパリティ値は奥行き情報に対応し、ゲイン値は補正調整値に対応する。
【００５９】
［画像処理装置の動作］
次に、図５〜図８のフローチャートを参照して、第１実施形態に係る画像処理装置１０が行うコントラスト調整処理について説明する。図５は、本実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。図６は、図５のステップＳ５１０にて呼び出されるゲインマップＣＧ算出処理のフローチャートである。図７は、図５のステップＳ５３５にて呼び出されるゲインマップＥＧ推定処理のフローチャートである。図８は、図５のステップＳ５４０にて呼び出されるゲイン補正処理のフローチャートである。
【００６０】
（コントラスト調整処理）
初めに、コントラスト調整処理について説明する。コントラスト調整処理は、図５のステップＳ５０５から開始され、ステップＳ５０５にて、画像入力部１１は、３次元の動画像を入力する。例えば、前述のように第１〜第３データ形式のいずれかにより、３次元の動画像が０フレームから順に入力される。また、処理対象のフレーム番号Ｎは「０」に設定される。
【００６１】
図９の左上図は、第１のデータ形式で入力された０フレームの画像（原画）の一例である。第１のデータ形式においては、左眼用画像３１Ｌ及び右眼用画像３１Ｒの画像が、０フレームから順に入力される。
【００６２】
（ゲインマップＣＧＮ算出処理）
次に、ステップＳ５１０に進み、０フレームのゲインマップＣＧ（＝ＣＧＮ）の算出処理が実行される。具体的には、ゲインマップＣＧの算出処理は、図６の各ステップにより実行される。すなわち、ステップＳ６０５において、輝度抽出部１２は、Ｎフレームの左眼用画像及び右眼用画像から輝度成分をそれぞれ抽出する。次に、ステップＳ６１０において、コントラスト抽出部１５は、輝度抽出部１２で抽出された左眼用画像及び右眼用画像の輝度成分に基づいて、左眼用及び右眼用画像のコントラスト成分をそれぞれ抽出する。
【００６３】
次に、ステップＳ６１５において、空間周波数抽出部１４は、左眼用画像及び右眼用画像の輝度成分に基づいて、各画像の所定の空間周波数成分をそれぞれ抽出する。次に、ステップＳ６２０において、奥行き情報抽出部１３は、０フレームの左眼用画像及び右眼用画像の奥行き情報としてディスパリティを抽出し、抽出されたコントラスト成分とディスパリティと空間周波数成分とに基づき、視差に関する情報を有するディスパリティマップを生成する。
【００６４】
次に、ステップＳ６２５において、ゲイン生成部１６は、ディスパリティマップに基づいて、３次元画像の奥行き感を変更するための、コントラスト調整用のゲインマップＣＧを算出する。図９の左下図は、図９の左上図の原画像から抽出された０フレームのゲインマップ（ゲイン推定値）を示す。
【００６５】
再び図５に戻り、ステップＳ５１５にて、コントラスト調整部１７は、０フレームのゲインマップＣＧを用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ５２０において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。同ステップにおいて表示制御部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００６６】
次に、ステップＳ５２５において、処理対象となるフレームが終了したかを判定する。フレームが終了していない場合、ステップＳ５３０において、フレーム番号Ｎに１加算する。ここでは、次に処理対象のフレーム番号Ｎは「１」となる。
【００６７】
（ゲインマップＥＧＮ推定処理）
次に、ステップＳ５３５において、１フレーム目のゲインマップＥＧ（＝ＥＧ１）の推定処理が実行される。具体的には、１フレーム目のゲインマップＥＧの推定処理は、図７の各ステップにより実行される。すなわち、ステップＳ７０５において、相関推定部２０は、０フレーム及び１フレームの連続する２フレームの画像を用いて、ブロックマッチング、勾配法等の動き推定技術を用いて、画像中の画素毎に動きベクトルを推定する。
【００６８】
次に、ステップＳ７１０において、ゲイン生成部１６は、動きベクトルを用いて、０フレームのゲインマップＣＧから１フレームのゲインマップＥＧを推定する。
【００６９】
（ゲイン補正処理)
再び図５に戻り、ステップＳ５４０において、ゲイン補正処理を実行する。ゲイン補正処理は、図８のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、連続する前後フレームから２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００７０】
次に、ステップＳ８１０に進み、ゲイン生成部１６は、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ８１５に進み、ゲイン生成部１６は、図４の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値に対応する補正ゲイン値を特定する。次に、ステップＳ８２０に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を特定された補正ゲイン値で補正し、本処理を終了する。
【００７１】
図９の中央図は、遮蔽・発生領域にゲイン値が挿入されていないゲインマップを示す。図９の右図は、遮蔽・発生領域にゲイン値が挿入されたゲインマップを示す。
【００７２】
再び図５に戻り、ステップＳ５４５にて、コントラスト調整部１７は、１フレームのゲインマップＥＧを用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ５２０において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。同ステップにて、表示制御部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。以上の処理をフレームが終了するまで行う。
【００７３】
以上に説明したように、第１実施形態に係る画像処理装置１０によれば、対数型（１チャネル）の評価関数を用いた場合、ディスパリティ値とゲイン値とが一対一に対応することを利用して、遮蔽・発生領域にディスパリティ値に対応する補正ゲイン値を挿入する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００７４】
また、第１実施形態に係る画像処理装置１０では、評価関数に対数型（１チャネル）の関数であって、ディスパリティ値とゲイン値とが一対一に対応しているため、ゲイン補正が単純な変換処理を中心とした処理となり、処理コストを低減することができる。
【００７５】
＜第２実施形態＞
（ゲイン補正)
次に、図１０を参照しながら、第２実施形態に係る画像処理装置１０が行うゲイン補正について説明する。図１０は、本実施形態で用いられる変換テーブルを示した図である。
【００７６】
本実施形態においても、第１実施形態で説明した、図５のコントラスト調整処理、図６のゲインマップＣＧ算出処理、図７のゲインマップＥＧ推定処理は同様に実行される。一方、本実施形態では、第１実施形態で説明した図８のゲイン補正処理の替わりに、図１１のゲイン補正処理が実行される。よって、本実施形態では、図１１のゲイン補正処理を中心に説明し、第１実施形態ですでに説明したコントラスト調整処理、ゲインマップＣＧ算出処理、ゲインマップＥＧ推定処理の説明は省略する。
【００７７】
本実施形態においても、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数が用いられる。ただし、本実施形態におけるチャネル数は、複数チャネルも含む。つまり、本実施形態では、空間周波数解析により抽出された画像の空間周波数成分から複数チャネル（Ｎチャネル）が特定される。本実施形態では、ディスパリティ値（奥行き調整量Ｐに対応）に対してゲイン値は一対Ｎに対応し、ディスパリティ値に対して空間周波数解析により決定されたチャネル毎にゲイン値が決まる。つまり、本実施形態では、ゲイン値ＧＤＮは、ディスパリティ値及びチャネルＮの評価関数の傾きで決定される。つまり、同じディスパリティ値ＤでもチャネルＮによってゲイン値ＧＤＮが変わる。
【００７８】
ここで、遮蔽・発生領域のディスパリティと同じディスパリティ値（奥行き）をもつ領域はテクスチャの類似性が高いことを拘束条件として、ディスパリティ値に応じた最適なゲイン値（統計ゲイン値）を導出する。具体的には、チャネル毎のゲイン値ＧＤ１〜ＧＤＮはさほどのバラツキはないことを前提にこれを利用して、チャネル毎に定まるゲイン値に対して、下記式（９）に示した重みづけ平均をとり、ディスパリティ値に応じた最適なゲイン値（統計ゲイン値ＧＤｅｓｔ）を導出する。
【００７９】
【数３】
【００８０】
上記最適化された統計ゲイン値ＧＤｅｓｔはディスパリティ値と一対一に対応させて変換テーブルに記憶される。これにより、本実施形態では、画像の各チャネルに分岐される画素数を考慮しながら、１チャネルの場合と同様に、ディスパリティ値から統計ゲイン値を一意に特定することができる。つまり、ゲイン生成部１６は、上述したように、複数チャネルの補正調整値の重みづけ平均値とディスパリティ値とを対応付けて記憶した変換テーブルを用いて、前記抽出されたディスパリティ値に基づき統計ゲイン値を特定する。なお、前述の通りディスパリティ値は奥行き情報に対応し、統計ゲイン値は補正調整値に対応する。
【００８１】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１１のゲイン補正処理のフローチャートを参照しながら、本実施形態のゲイン補正処理について説明する。第２実施形態において図５のステップＳ５４０で呼び出される図１１のゲイン補正処理は、図１１のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００８２】
ゲイン生成部１６は、ステップＳ８１０にて、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ１１００に進み、ゲイン生成部１６は、図１０の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値に対応する統計ゲイン値を特定する。次に、ステップＳ１１０５に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を特定された統計ゲイン値で補正し、本処理を終了する。
【００８３】
以上に説明したように、第２実施形態に係る画像処理装置１０によれば、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数を用いた場合、遮蔽・発生領域の空間周波数成分からチャネルを特定し、ディスパリティ値及び特定された複数チャネルを用いてディスパリティ値と統計ゲイン値とが一対一に対応するように変換テーブルを作成する。この変換テーブルを利用して、遮蔽・発生領域のディスパリティ値に対応する統計ゲイン値を遮蔽・発生領域のゲイン値として挿入する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００８４】
＜第２実施形態の変形例＞
（ゲイン補正)
次に、第２実施形態の変形例について説明する。本変形例で用いられる変換テーブルでは、図１２に示したように、ディスパリティ値に対して空間周波数解析により特定されたチャネル毎にゲイン値が記憶されている。
【００８５】
本変形例では、空間周波数抽出部１４は、遮蔽・発生領域の空間周波数成分を抽出する。抽出された空間周波数成分に基づき、評価関数のチャネルが特定される。ゲイン生成部１６は、前記変換テーブルを用いて、前記抽出された遮蔽・発生領域の空間周波数成分に対応するチャネル（１チャネル又は複数チャネル）と遮蔽・発生領域のディスパリティ値とに基づき補正ゲイン値を特定する。特定された補正ゲイン値は、ゲインマップの遮蔽・発生領域に挿入される。
【００８６】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１３のゲイン補正処理のフローチャートを参照しながら、第２実施形態の本変形例に係るゲイン補正処理について説明する。第２実施形態の変形例においても、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数が用いられる。第２実施形態の変形例において図５のステップＳ５４０で呼び出される図１３のゲイン補正処理は、図１３のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００８７】
ゲイン生成部１６は、ステップＳ８１０にて、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ１３００に進み、空間周波数抽出部１４は、遮蔽・発生領域の空間周波数を解析する。次に、ステップＳ１３０５に進み、ゲイン生成部１６は、解析の結果抽出された空間周波数からチャネル（１又は複数チャネル）を特定する。次に、ステップＳ１３１０に進み、ゲイン生成部１６は、図１２の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値及びチャネル（１又は複数チャネル）に対応する補正ゲイン値をそれぞれ特定する。次に、ステップＳ８２０に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を補正ゲイン値で補正し、本処理を終了する。
【００８８】
以上に説明したように、第２実施形態の変形例に係る画像処理装置１０によれば、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数を用いた場合、遮蔽・発生領域の空間周波数成分から複数チャネルを特定し、ディスパリティ値及び特定された１又は複数チャネルに対応した補正ゲイン値により遮蔽・発生領域を補正する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００８９】
また、画像全体ではなく、遮蔽・発生領域だけを周波数解析することにより処理の負荷及び計算コストを低減することができる。
【００９０】
＜第３実施形態＞
次に、第３実施形態に係る画像処理装置１０が行うゲイン補正について説明する。本実施形態では、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数が用いられる。チャネルは、空間周波数解析により１又は複数のチャネル（Ｎチャネル：Ｎ≧１）に分岐される。第３実施形態においても、図５のコントラスト調整処理、図６のゲインマップＣＧ算出処理、図７のゲインマップＥＧ推定処理は同様に実行される。一方、本実施形態では、第２実施形態で説明した図１０の変換テーブルを用いてゲイン値を特定する。また、本実施形態では、第２実施形態で説明した図１１のゲイン補正処理が実行される。よって、本実施形態と第２実施形態とを比較すると、本実施形態ではＮａｋａ−Ｒｕｓｈｔｏｎ型の評価関数が利用されるのに対し、第２実施形態では対数型の評価関数が利用される点が異なるが、図１１に示したゲイン補正処理は第２実施形態と同じであり、すでに説明したとおりであるからここでは説明を省略する。
【００９１】
以上に説明したように、第３実施形態に係る画像処理装置１０によれば、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数の場合、ゲイン値は、原画像のコントラストと奥行き調整値に依存し、ディスパリティ値とゲイン値とは、ほぼ一対無限対応となる。よって、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数を用いる第３実施形態では、図１０に示した式（９）を用いて、統計ゲイン値ＧＤｅｓｔを算出することにより、統計ゲイン値ＧＤｅｓｔとディスパリティ値とを一対一に対応させる。
【００９２】
このように、本実施形態では、統計ゲイン値ＧＤｅｓｔとディスパリティ値とを一対一に対応させることにより、ディスパリティ値から一意に統計ゲイン値を特定することができる。このため、ゲインマップの遮蔽・発生領域に、ディスパリティ値に対応する統計ゲイン値を挿入し、これよりゲインマップを補正することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整をより適正化することができる。
【００９３】
なお、抽出された空間周波数とコントラスト成分とディスパリティ値とを使うと、ディスパリティ値に対してゲインのほぼ正解値を一対一に対応させる変換テーブルを作成することができる。これによれば、近似値である統計ゲイン値を利用する場合に比べて、ゲインマップの遮蔽・発生領域をより確からしいゲイン値で補正することができる。
【００９４】
図１４の左側は、対数型の評価関数を利用した２チャネルの場合の補正後のゲインマップを示し、図１４の右側は、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数を利用した２チャネルの場合の補正後のゲインマップを示す。いずれにおいても、ディスパリティ値と変換テーブルとを参照してゲインマップを補正したため、図９の中央のゲインマップと比較してエラー領域（黒部分）が少なくなっていることが分かる。
【００９５】
＜第４実施形態＞
第１〜第３実施形態では、ゲイン値の変換テーブルに基づき、遮蔽・発生領域のディスパリティ値に応じたゲイン値を遮蔽・発生領域に挿入することにより、ゲインマップを補正した。一方、第４実施形態では、左眼用画像Ｌ及び右眼用画像Ｒの一方で遮蔽されている画像が他方で遮蔽されていない場合、一方の画像の遮蔽されていない領域のゲイン値を他方の画像の遮蔽されている領域のゲイン値に適用する。
【００９６】
本実施形態は、以下の３ステップから構成される。
・ステップＳ１
遮蔽・発生領域検出部２１は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれにおいて、遮蔽・発生領域を検出する。このとき、遮蔽・発生領域のゲイン値は未確定とする。
・ステップＳ２
左眼用画像Ｌ及び右眼用画像Ｒの遮蔽・発生領域に対してディスパリティ値を参照し、左眼用画像Ｌ及び右眼用画像Ｒの一方で遮蔽されている画像が他方で遮蔽されていない場合、一方の画像の遮蔽されていない領域のゲインマップのゲイン値を他方の画像の遮蔽されている領域のゲインマップのゲイン値に挿入することにより、ゲインマップを補正する。左眼用画像Ｌ及び右眼用画像Ｒのいずれも遮蔽されている領域がある場合には、ステップＳ３へ進む。いずれも遮蔽されている領域がない場合には、処理を終了する。
・ステップＳ３
左眼用画像Ｌ及び右眼用画像Ｒのいずれも遮蔽されている領域がある場合、第２実施形態又は第３実施形態にて説明したゲイン補正処理（図１１及び図１３のゲイン補正処理を参照）を実行することにより、遮蔽・発生領域にゲイン値を挿入し、処理を終了する。
【００９７】
なお、ステップＳ３は省略することも可能である。また、ステップＳ１では、遮蔽・発生領域のゲイン値は未確定としたが、ステップＳ１で何らかの公知の手法を用いて遮蔽・発生領域にゲイン値を補償した後、ステップＳ２及びステップＳ３で、より適正なゲイン値で遮蔽・発生領域内を上書きしてもよい。
【００９８】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１５のゲイン補正処理のフローチャートを参照しながら、第４実施形態に係るゲイン補正処理について説明する。第４実施形態における図１５のゲイン補正処理は、図５のステップＳ５４０で呼び出され、ステップＳ１５００から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき、取得された左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの画像の遮蔽・発生領域を検出する。
【００９９】
次に、ステップＳ１５０５に進み、ゲイン生成部１６は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの遮蔽・発生領域に対するディスパリティ値を特定する。次いで、ステップＳ１５１０にて、左眼用画像Ｌ及び右眼用画像Ｒのうちの一方の画像の遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でないかを判定する。
【０１００】
判定の結果、遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、ステップＳ１５１５に進んで、ゲイン生成部１６は、前記他方の対応する領域の前記ディスパリティ値に対応するゲイン値を前記一方の遮蔽・発生領域のゲイン値として適用する。
【０１０１】
一方、判定の結果、遮蔽・発生領域に対応する他方の画像の領域が同じく遮蔽・発生領域である場合、ステップＳ１５２０に進んで、ゲイン生成部１６は、第２実施形態又は第３実施形態で使用した変換テーブル(図１０参照)、を用いて、第２実施形態又は第３実施形態に示したゲイン補正処理(図１１参照)を実行する。ゲイン生成部１６は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれについての遮蔽・発生領域に対応するディスパリティ値に基づき、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの遮蔽・発生領域に適用する補正ゲイン値を特定する。
【０１０２】
以上に説明したように、第４実施形態に係る画像処理装置１０によれば、一方の画像の遮蔽されていない領域のゲイン値を他方の画像の遮蔽されている領域のゲイン値に挿入して、ゲインマップを補正する。このようにして補正されたゲインマップによれば、画像のコントラスト調整の精度を高め、画像の奥行きの調整をより適正化することができる。
【０１０３】
以上、各実施形態及び変形例によれば、画像の奥行きの調整を適正化することが可能な画像処理方法を提供することができる。
【０１０４】
上記一実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理方法の実施形態を、画像処理装置の実施形態及び前記画像処理方法を実現する表示装置の実施形態とすることができる。
【０１０５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０６】
上記ゲイン補正処理を実行する頻度は、毎フレームであってもよく、数フレーム後であってもよい。
【０１０７】
また、解析された周波数成分を用いて遮蔽・発生領域を複数のチャネルに分けると近似の精度が向上し、画像の奥行き調整がより適正化される一方、処理の負担が大きくコスト高となる。よって、遮蔽・発生領域を分けるチャネルは、最大５チャネル程度が適当である。
【０１０８】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１０９】
なお、本技術は以下のような構成も取ることができる。
（１）取得された画像に対して遮蔽・発生領域を検出することと、
前記画像の奥行き情報を抽出することと、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、
を備える画像処理方法。
（２） 前記補正調整値を生成することは、
奥行き情報と補正調整値とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（３） 前記補正調整値を生成することは、
１又は複数チャネルの補正調整値の重みづけ平均値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（４） 前記遮蔽・発生領域の画像の空間周波数成分を抽出することを更に備え、
前記補正調整値を生成することは、
複数チャネルの補正調整値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記空間周波数成分に基づき定められる複数チャネルと前記抽出された奥行き情報とに基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（５） コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項２〜４のいずれか一項に記載の画像処理方法。
（６） 前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項２〜４のいずれか一項に記載の画像処理方法。
（７） 前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示すNaka-Rushton型の評価関数に基づき、前記コントラスト成分に応じた奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項３に記載の画像処理方法。
（８） 取得された左眼用画像及び右眼用画像のそれぞれの遮蔽・発生領域を検出することと、
前記左眼用画像及び右眼用画像のそれぞれの奥行き情報を抽出することと、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、前記他方の対応する領域の前記奥行き情報に対応する調整値を前記一方の遮蔽・発生領域の補正調整値として適用することと、
を備える画像処理方法。
（９） 前記補正調整値を生成することは、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域である場合、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に適用する補正調整値を特定することを含む、
請求項８に記載の画像処理方法。
（１０） 前記遮蔽・発生領域を検出することとは、
取得された動画像の２フレーム間の画像の相関値を算出し、算出された相関値に基づき前記遮蔽・発生領域を検出することを含む、
請求項１〜９のいずれか一項に記載の画像処理方法。
（１１） 取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
を備える画像処理装置。
（１２） 取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、
を備える表示装置。
【符号の説明】
【０１１０】
１０ 画像処理装置
１１ 画像入力部
１２ 輝度抽出部
１３ 奥行き情報抽出部
１４ 空間周波数抽出部
１５ コントラスト抽出部
１６ ゲイン生成部
１７ コントラスト調整部
１８ 画像処理部
１９ 表示制御部
２０ 相関推定部
２１ 遮蔽・発生領域検出部
３０ 表示装置
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及び表示装置に関する。
【背景技術】
【０００２】
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがあり、人間は、単眼立体情報と両眼立体情報とを併せて物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差や輻輳といった奥行きに関する情報があり、単眼立体情報には、例えば、空気遠近法、陰影、オクルージョンといった情報がある。
【０００３】
画像の立体感や奥行き感を強調したいとき、両眼立体情報の一つである両眼視差を大きくする方法が考えられる。しかし、この方法では、過度な両眼視差が観察者に視覚疲労や不快感を与えることになりやすい。これに対して、両眼視差を抑えると快適にステレオ３Ｄ画像を鑑賞することができるが、両眼視差を制限した画像では表現できる奥行きが浅くなり、臨場感や迫力に欠けることになりかねない。
【０００４】
一方、単眼立体情報から奥行きをどの程度知覚するかという人間の視覚特性を利用することにより、画像の立体感や奥行き感を強調する方法も考えられる。例えば、単眼立体情報の一つである空気遠近法によれば、コントラストの高低によって、人間は物体の遠近を経験的に感じることができる。よって、コントラスト成分を使って画像を処理すると、手前に表示されているオブジェクトのコントラストを上げればより手前に表示されるように見え、奥に表示されているオブジェクトのコントラストを下げればより奥に表示されるように見える。非特許文献１には、このような視覚特性に基づいて奥行き調整値を制御する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「空気遠近法に基づいた３Ｄ画像の奥行き制御技術」 高橋修一等 第１２回日本感性工学会大会 ２０１０年９月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
処理対象が静止画の場合、画像毎にコントラストを調整すればよい。しかしながら、処理対象が動画像の場合、フレーム間における物体の動きを予測した結果から動画像のコントラストを調整した方が画像の奥行き感が適正化され、より滑らかな動画像を得ることができる。
【０００７】
フレーム間で動き推定を行う際、遮蔽・発生領域では前後フレームにおいて本来対応点は存在しない。ところが、遮蔽・発生領域にもかかわらず誤って対応点をとってしまうことがあった。これにより、画像のコントラストの調整値にエラーが発生したり、次フレームに新たに現れた物体に不適切なコントラストの調整値が適用されるというエラーが発生したりすることがあった。この結果、画像のコントラスト調整の精度が低下することがあった。
【０００８】
そこで、画像の奥行きの調整をより適正化することが可能な画像処理方法が求められていた。
【課題を解決するための手段】
【０００９】
本開示のある観点によれば、取得された画像に対して遮蔽・発生領域を検出することと、前記画像の奥行き情報を抽出することと、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、を備える画像処理方法が提供される。
【００１０】
また、本開示の別の観点によれば、取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、前記画像の奥行き情報を抽出する奥行き情報抽出部と、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、を備える画像処理装置が提供される。
【００１１】
また、本開示の別の観点によれば、取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、前記画像の奥行き情報を抽出する奥行き情報抽出部と、前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、を備える表示装置が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、画像の奥行きの調整をより適正化することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１〜第４実施形態に係る画像処理装置の機能構成を示した図である。
【図２】マイケルソンコントラストＣとコントラストによって主観的に知覚される奥行き情報Ｄの関係を定量化した評価関数を示した図である。
【図３】動作推定技術を説明するための図である。
【図４】第１実施形態におけるゲイン補正処理を説明するための図である。
【図５】第１〜第４実施形態にて実行されるコントラスト調整処理のフローチャートである。
【図６】第１〜第４実施形態にて実行されるゲインマップＣＧ算出処理のフローチャートである。
【図７】第１〜第４実施形態にて実行されるゲインマップＥＧ推定処理のフローチャートである。
【図８】第１実施形態にて実行されるゲイン補正処理のフローチャートである。
【図９】第１実施形態におけるゲイン補正処理の効果を示した図である。
【図１０】第２実施形態にて用いられる変換テーブルを示した図である。
【図１１】第２実施形態にて実行されるゲイン補正処理のフローチャートである。
【図１２】第３実施形態にて用いられる変換テーブルを示した図である。
【図１３】第３実施形態にて実行されるゲイン補正処理のフローチャートである。
【図１４】第３実施形態におけるゲイン補正処理の効果を示した図である。
【図１５】第４実施形態にて実行されるゲイン補正処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の一実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は次の順序で行う。
＜第１実施形態＞
［画像処理装置の機能構成］
（ゲイン補正)
［画像処理装置の動作］
（コントラスト調整処理）
（ゲインマップＣＧ算出処理)
（ゲインマップＥＧ推定処理)
（ゲイン補正処理)
＜第２実施形態＞
（ゲイン補正)
［画像処理装置の動作］
（ゲイン補正処理)
＜第２実施形態の変形例＞
（ゲイン補正)
［画像処理装置の動作］
（ゲイン補正処理)
＜第３実施形態＞
＜第４実施形態＞
［画像処理装置の動作］
（ゲイン補正処理)
【００１６】
＜第１実施形態＞
［画像処理装置の機能構成］
まず、本実施形態に係る画像処理装置の機能構成について図１に示した機能ブロック図を参照しながら説明する。
【００１７】
画像処理装置１０は、画像入力部１１、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、表示制御部１９、相関推定部２０及び遮蔽・発生領域検出部２１を有する。
【００１８】
画像処理装置１０は、入力された３次元の動画像に対して、各フレームの画像の奥行き感を強めたり弱めたりするために、各フレームの画像のコントラストを調整する処理を行う。本実施形態では、３次元の動画像の各フレームが３次元画像として構成されている。ここで、３次元画像とは、観察者に３次元の画像を知覚させるための２次元画像をいう。
【００１９】
（画像入力部１１）
画像入力部１１は、外部からの３次元の動画像の入力を受け付け、入力されたフレーム毎の３次元画像を輝度抽出部１２に供給する。外部から入力される３次元画像のデータ形式には様々な形式があるが、いずれの形式であってもよい。３次元画像のデータ形式には、例えば、左眼用画像Ｌと右眼用画像Ｒとから構成されるステレオ画像の形で供給される第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形で供給される第２のデータ形式、２次元画像とその奥行き情報という形で供給される第３のデータ形式等がある。以下においては、処理対象として画像という場合には、第１のデータ形式では、左眼用画像Ｌ及び右眼用画像Ｒを意味し、第２のデータ形式では、複数の視点画像を意味し、第３のデータ形式では、奥行き情報とともに２次元画像を意味する。
【００２０】
（輝度抽出部１２）
輝度抽出部１２は、取得された画像の輝度成分を抽出する。ここでは、輝度抽出部１２は、入力された３次元の動画像の各フレームの輝度成分を抽出する。例えば、画像がＲＧＢ表色系における線形のＲＧＢ値で表されている場合、輝度抽出部１２は、ＩＴＵ−Ｒ ＢＴ７０９で規定される式（１）により輝度値Ｙに変換することにより、３次元画像の輝度成分を抽出する。
Ｙ＝０．２１２６Ｒ＋０．７１５２Ｇ＋０．０７２２Ｂ・・・（１）
【００２１】
式（１）により、各画素の輝度値Ｙで構成される画像を輝度画像という。なお、画像は、必ずしもＲＧＢ値からなる形式（ＲＧＢ信号）で表されている必要はなく、ＣＩＥ ＸＹＺ表色系におけるＸＹＺ値で表されている場合には、輝度値Ｙで構成される画像が輝度画像とされる。また、輝度値の抽出は、必ずしも式（１）により算出する必要はなく、他の方法で算出してもよい。
【００２２】
（奥行き情報抽出部１３）
奥行き情報抽出部１３は、画像の奥行き情報を抽出する。ここでは、奥行き情報抽出部１３は、入力された３次元の動画像の各フレームのディスパリティ値を抽出し、抽出されたディスパリティをイメージ化したディスパリティマップを作成する。ただし、ディスパリティマップは必ずしも作成する必要はなく、ディスパリティ値をそのまま図示しないメモリに記憶するようにしてもよい。ディスパリティ値と奥行き情報とは一対一に対応する。
【００２３】
３次元の動画像が第１のデータ形式で入力された場合、奥行き情報抽出部１３は、ステレオ画像における対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいてディスパリティを近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法等の手法を用いることにより算出することができる。また、３次元の動画像が第２のデータ形式で入力された場合、奥行き情報抽出部１３は、３以上の視点画像のうち対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差に基づいてディスパリティを近似的に算出する。さらに、３次元の動画像が第３のデータ形式で入力された場合、奥行き情報抽出部１３は、ディスパリティそのものが供給されるので、供給されたディスパリティを抽出する。
【００２４】
（空間周波数抽出部１４）
空間周波数抽出部１４は、画像の空間周波数成分を抽出する。ここでは、空間周波数抽出部１４は、輝度抽出部１２により抽出された輝度成分に基づき、３次元画像の所定の空間周波数成分を抽出する。空間周波数成分の抽出には、例えば、ガボールフィルタ(Gabor Filter)を用いることができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）は、式（２）で表される。
【数１】
【００２５】
式（２）において、ｘ、ｙは輝度画像の座標値、λは空間周波数に対応する波長、θは方位（方向）、ψは位相、σはガウス分布の分散、γはアスペクト比をそれぞれ表す。また、ここでの空間周波数とは、人間の目の１°(degree)の視覚内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はｃｐｄ(cycle per degree)である。
【００２６】
例えば、空間周波数抽出部１４は、λを所定の波長とした式（２）のガボールフィルタ関数ｇ（ｘ、ｙ、λ、θ、ψ、σ、γ）と、輝度抽出部１２で抽出された輝度画像の輝度値Ｙを畳み込み積分することにより、輝度画像のどの領域にどの空間周波数が含まれるかを抽出する。
【００２７】
なお、輝度画像の各領域に含まれる空間周波数成分を抽出する方法としては、上記方法に限られず、例えば、フーリエ変換等を用いて空間周波数成分を抽出してもよい。ただし、この場合には、各領域に含まれる空間周波数成分を抽出するためには、輝度画像を所定の領域に分割後、領域毎にフーリエ変換を行う必要がある。また、空間周波数抽出部１４による処理は、コントラスト調整部１７において適用する評価関数を、所定の空間周波数毎に変更する場合に必要な処理である。このため、コントラスト調整部１７において輝度画像全体に対して同一の評価関数を適用する場合には、空間周波数抽出部１４による処理は省略することができる。
【００２８】
（コントラスト抽出部１５）
コントラスト抽出部１５は、輝度抽出部１２で抽出された３次元画像の輝度成分を用いて３次元画像のコントラスト成分を抽出する。一例としては、コントラスト抽出部１５は、コントラスト成分を抽出する処理の単位である処理単位領域として、横×縦にｎ×ｍ画素（ｎ，ｍ≧２）の領域を決定する。コントラスト抽出部１５は、処理単位領域を、例えば輝度画像の左上端の位置からラスタスキャン方向に所定の画素ずつ移動させることにより、輝度画像全体に亘って複数の処理単位領域のマイケルソンコントラストＣを算出する。
【００２９】
マイケルソンコントラストＣは、式（３）で定義される。
【数２】
式（３）において、Ｌｍａｘは、処理単位領域内の輝度値Ｙの最大値、Ｌｍｉｎは、処理単位領域内の輝度値Ｙの最小値である。
【００３０】
なお、３次元画像のコントラスト成分を抽出する方法としては、上記方法に限られず、他の方法によりコントラスト成分を抽出してもよい。また、処理単位領域の大きさは、特に限定されないが、視角と画素数の関係から最適な大きさを決定することができる。
【００３１】
ここで、図２を用いて評価関数について説明する。図２は、横軸のマイケルソンコントラストＣの対数軸に対する縦軸の主観的奥行き情報Ｄを評価関数として示している。この評価関数は、人間の視覚特性に基づいて視覚実験により得られた関数である。マイケルソンコントラストＣの単位は、％であり、主観的奥行き情報Ｄの単位は、ａｒｃｍｉｎ（角度分）である。
【００３２】
図２において、四角（□）は、空間周波数が０．５ｃｐｄ、１ｃｐｄ、２ｃｐｄの輝度画像におけるマイケルソンコントラストＣと主観的奥行き情報Ｄとの関係を示している。菱形（◆）は、空間周波数が４ｃｐｄ、８ｃｐｄの輝度画像におけるマイケルソンコントラストＣと主観的奥行き情報Ｄとの関係を示している。
【００３３】
観察者がディスプレイに表示された物体をディスプレイ上にあると感じるとき、主観的奥行き情報Ｄは０ａｒｃｍｉｎである。主観的奥行き情報Ｄが正の値を有する場合には、その値だけ観察者がディスプレイよりも手前に物体があると感じること示し、主観的奥行き情報Ｄが負の値を有する場合には、その値だけ観察者がディスプレイよりも奥に物体があると感じること示している。例えば、マイケルソンコントラストＣを５％から２５％にすると、観察者は、ディスプレイ上にあると感じた物体が、マイケルソンコントラストＣ変更後は約３０ａｒｃｍｉｎだけ手前にあると感じる。なお、マイケルソンコントラストＣと主観的奥行き情報Ｄとの間には単調増加の関係が存在する。
【００３４】
評価関数のタイプは２種類である。一つのタイプは、式（４）で示される対数型の評価関数である。
Ｄ＝１８．０４×ｌｏｇ（Ｃ）−２９．０７・・・・（４）
図２では、式（４）は、ｌｏｇ関数を示す破線で示されている。
【００３５】
評価関数のもう一つのタイプは、式（５）で示されるＮａｋａ−Ｒｕｓｈｔｏｎ型の評価関数である。
Ｄ＝Ｄａｍｐ×Ｃｎ／（Ｃｎ＋Ｃ５０ｎ）＋Ｄｍｉｎ・・・・（５）
【００３６】
式（５）において、Ｄａｍｐ、Ｄｍｉｎ、Ｃ５０及びｎは、所定の定数であり、Ｄａｍｐは奥行き情報の最大値及び最小値の幅を、Ｄｍｉｎは奥行き情報の最小量を、Ｃ５０は奥行き情報がその最大量と最小値の中間値となるときのコントラスト値を表す。
【００３７】
視覚実験により得られた０．５ｃｐｄ、１ｃｐｄ、２ｃｐｄ、４ｃｐｄ及び８ｃｐｄのすべての空間周波数のデータに対して、残差が最小となるように、Ｎａｋａ−Ｒｕｓｈｔｏｎ式のパラメータＤａｍｐ、Ｄｍｉｎ、Ｃ５０及びｎを求めると、式（６）となる。
Ｄ＝７７．９×Ｃ１．０９／（Ｃ１．０９＋７．７４１．０９）−３０．５・・・・（６）
【００３８】
評価関数は、所定の空間周波数毎に区別して適用してもよい。例えば、図２において、評価関数としてＮａｋａ−Ｒｕｓｈｔｏｎ式を採用した場合、２ｃｐｄ以下の空間周波数の輝度画像と、２ｃｐｄより大きい空間周波数の輝度画像とで適用する評価関数を区別してもよい。その場合、２ｃｐｄ以下の空間周波数成分のデータに対して、Ｄａｍｐ＝７８．５、Ｄｍｉｎ＝−３０．５、Ｃ５０＝９．３３、ｎ＝１．２３が得られる。また、２ｃｐｄより大きい空間周波数成分のデータに対して、Ｄａｍｐ＝５８．５、Ｄｍｉｎ＝−３０．５、Ｃ５０＝３．４５、ｎ＝２．０５が得られる。すなわち、２ｃｐｄ以下の空間周波数の輝度画像については、式（７）の評価関数を、２ｃｐｄより大きい空間周波数の輝度画像については、式（８）の評価関数を適用することができる。
【００３９】
Ｄ＝７８．５×Ｃ１．２３／（Ｃ１．２３＋９．３３１．２３）−３０．５・・・・（７）
Ｄ＝５８．５×Ｃ２．０５／（Ｃ２．０５＋３．４５２．０５）−３０．５・・・・（８）
【００４０】
コントラスト抽出部１５は、画像のコントラスト成分として算出された、各処理単位領域のマイケルソンコントラストＣをゲイン生成部１６に供給する。
【００４１】
（ゲイン生成部１６）
ゲイン生成部１６は、コントラスト抽出部１５により抽出された各処理単位領域のマイケルソンコントラストＣとディスパリティマップに基づいて、３次元画像の奥行き感を変更するためのコントラスト調整用ゲインマップＣＧを算出する。ただし、ゲインマップは必ずしも作成する必要はなく、各画素のコントラスト調整用ゲイン値をそのまま図示しないメモリに記憶してもよい。
【００４２】
なお、ゲイン生成部１６は、後述するように、遮蔽・発生領域に対応する奥行き情報に基づき、遮蔽・発生領域に適用する補正調整値を生成する調整値生成部としても機能する。
【００４３】
前述のとおり、空間周波数抽出部１４により空間周波数成分が抽出されている場合、ゲインマップＣＧを算出には、コントラスト成分及び奥行き情報とともに、空間周波数成分が用いられる。
【００４４】
空間周波数成分が抽出されていない場合のゲイン生成部１６の処理について説明する。ます、ゲイン生成部１６は、ディスパリティマップに含まれる奥行き情報に基づいて、３次元輝度画像の奥側の領域と手前側の領域を判別する。ここで、奥側の領域と手前側の領域に分離される領域の最小単位は、コントラスト抽出部１５が、マイケルソンコントラストＣを計算した時の処理単位領域と実質的に等しくなる。ゲイン生成部１６は、奥側の領域と手前側の領域とに含まれるすべての処理単位領域について、そのマイケルソンコントラストＣから、入力画像が現在有する主観的奥行き情報Ｄを算出する。
【００４５】
前述のように、マイケルソンコントラストＣと主観的奥行き情報Ｄとの間には、単調増加の関係が存在する。このため、例えば、３次元画像の奥行き感を出すためには、マイケルソンコントラストＣが大きくなるように輝度画像のコントラスト成分を調整すればよい。算出された主観的奥行き情報Ｄと予め設定された奥行き調整値とからコントラスト調整後の処理単位領域に対する主観的奥行き情報Ｄが決定される。すなわち、ゲイン生成部１６は、すべての処理単位領域について、現在の主観的奥行き情報Ｄと画像の奥行き情報とから、現在のマイケルソンコントラストＣを何倍にすればよいかを算出し、この結果からゲインマップが作成される。ゲインマップの遮蔽・発生領域は、後述するように補正調整値にて補正される。
【００４６】
（コントラスト調整部１７）
コントラスト調整部１７は、ゲインマップのコントラスト調整用ゲインを用いて、３次元画像のコントラスト成分を調整する。これにより、コントラストを高くすると手前に見え、コントラストを低くすると奥に見えるという空気遠近法を用いた画像処理が可能となる。
【００４７】
（画像処理部１８）
画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。具体的には、画像処理部１８は、各処理単位領域の調整後の各周波数成分のスペクトル強度に逆フーリエ変換を施すことで、各処理単位領域の調整後の輝度画像を算出する。
【００４８】
（表示制御部１９）
表示制御部１９は、画像処理部１８で生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一のフレームの３次元動画像に変換し、表示装置３０に出力する。３次元画像を出力する際のデータ形式が指定されている場合等には、表示制御部１９は、３次元画像のデータ形式を指定された形式に変換してから出力することもできる。なお、動画像を表示力する表示装置３０は、画像処理装置１０と一体に構成されていてもよく、別体に構成され、ネットワークにより接続されていてもよい。
【００４９】
以上、単眼立体情報から奥行きをどの程度知覚するかという視覚特性の定量関係に基づいて、画像の有するコントラスト成分を調整する技術について説明した。
【００５０】
（相関推定部２０）
処理対象画像が静止画の場合には、以上のように３次元画像毎にコントラストを調整すればよい。しかしながら、動画像の場合には、全フレームに静止画と同一の処理を適用すると一フレーム毎に独立した処理となり、前後のフレーム間の継承情報を持たない。この結果、前後のフレーム間の継承情報を持った場合に比べて抽出した奥行き情報に含まれる誤差が多くなり、フリッカのような目障りな現象が発生することがある。
【００５１】
動き推定とは、フレーム内の画像のオブジェクトがどの方向にどういう大きさで動いているかをフレーム間の相関を見ながら推定していく技術であり、相関推定部２０は、動き推定技術を用いて動きベクトルから連続する２フレームの画像の相関値を算出する
【００５２】
例えば、図３では、相関推定部２０は、（Ｎ−１）フレームの右眼用又は左眼用画像の画素ＰＮ−１に対する、Ｎフレームの右眼用又は左眼用画像の画素ＰＮの状態を示す動きベクトルを推定する。動きベクトルの方向とその大きさによって、画素Ｐのクレーム間の相関を認識し、どのオブジェクトが次のフレームでどこに行くかを推定できる。相関推定部２０は、連続する２フレームの各画素に対して動きベクトルを算出する。動き推定技術の一例としては、ブロックマッチング、勾配法がある。
【００５３】
これによれば、３次元の動画像において各フレームのコントラスト調整時にフレーム間の相関を推定することにより、フリッカのような目障りな現象が発生を抑制することができる。
【００５４】
相関推定部２０は、０フレーム以外のすべてのフレームに対してＮフレーム（Ｎ＞０）と（Ｎ−１）フレームの画像から相関値を算出する処理を繰り返す。ゲイン生成部１６は、（Ｎ−１）フレームとＮフレームとの相関値と、（Ｎ−１）フレームのゲインマップＥＧとから、ＮフレームのゲインマップＥＧを推定する処理を繰り返す。なお、ゲインマップＥＧは、前後のフレーム間の継承情報を持たないゲインマップＣＧと区別される。
【００５５】
（遮蔽・発生領域検出部２１）
遮蔽・発生領域検出部２１は、取得された画像に対して遮蔽・発生領域を検出する。遮蔽・発生領域検出部２１は、取得された動画像の２フレーム間の画像の相関値に基づき遮蔽・発生領域を検出する。
【００５６】
なお、上記各部への指令は、専用の制御デバイスあるいはプログラムを実行するＣＰＵ(図示せず)により実行される。次に説明するコントラスト調整処理、ゲインマップ算出処理、ゲインマップ推定処理、ゲイン補正処理を実行するためのプログラムは、ＲＯＭや不揮発性メモリ(ともに図示せず)に予め記憶されていて、ＣＰＵが、これらのメモリから各プログラムを読み出し実行する。これにより、輝度抽出部１２、奥行き情報抽出部１３、空間周波数抽出部１４、コントラスト抽出部１５、ゲイン生成部１６、コントラスト調整部１７、画像処理部１８、表示制御部１９、相関推定部２０及び遮蔽・発生領域検出部２１の各機能が実現される。
【００５７】
（ゲイン補正)
フレーム間で動き推定を行う際、遮蔽・発生領域では前後フレームにおいて、本来対応点が存在しない。例えば、前フレームで隠れていた領域が、次フレームで新しく発生した領域となる場合である。動き推定処理時、遮蔽・発生領域にもかかわらず誤って対応点をとってしまうことがある。これにより、画像のコントラストの調整値にエラーが発生したり、次フレームに新たに現れた物体に不適切なコントラストの調整値が適用されるようなエラーが発生したりして、画像のコントラスト調整の精度が低下する場合がある。
【００５８】
そこで、第１実施形態及び後述する第２〜第４実施形態では、遮蔽・発生領域に補正ゲインを適用することにより、ゲインマップを補正する。第１実施形態では、対数型の評価関数であって１チャネルの場合について補正ゲインの適用方法を説明する。なお、チャネルは、空間周波数成分に基づき定められる。図４は、第１実施形態のゲイン補正の適用方法を説明するための図である。図４の上側のグラフを参照すると、奥行きの調整量Ｐで示される調整値は、コントラストを調整するためのゲイン値Ｇと一対一の関係にある。よって、奥行き調整量Ｐを決定すれば、ゲイン値Ｇは一意に決まる。これは、対数型の評価関数の性質であり、ゲイン値Ｇと調整量との関係を示す傾きは一定であって、ゲイン値Ｇは原画像のコントラストに依存しないことを示している。奥行き調整量Ｐはディスパリティ値で一意に決まることと前記対数型の評価関数の性質から、ディスパリティ値とゲイン値とは一対一に対応することがわかる。そこで、第１実施形態では、図４の下側に示したように、ディスパリティ値と補正ゲイン値とを対応付けて記憶した変換テーブルを用いて、検出された遮蔽・発生領域のディスパリティ値Ｄから補正ゲイン値ＧＤを算出する。これにより、遮蔽・発生領域におけるエラー検知を低減し、画像のコントラスト調整の精度を向上させることができる。なお、ディスパリティ値は奥行き情報に対応し、ゲイン値は補正調整値に対応する。
【００５９】
［画像処理装置の動作］
次に、図５〜図８のフローチャートを参照して、第１実施形態に係る画像処理装置１０が行うコントラスト調整処理について説明する。図５は、本実施形態に係る画像処理装置が実行するコントラスト調整処理のフローチャートである。図６は、図５のステップＳ５１０にて呼び出されるゲインマップＣＧ算出処理のフローチャートである。図７は、図５のステップＳ５３５にて呼び出されるゲインマップＥＧ推定処理のフローチャートである。図８は、図５のステップＳ５４０にて呼び出されるゲイン補正処理のフローチャートである。
【００６０】
（コントラスト調整処理）
初めに、コントラスト調整処理について説明する。コントラスト調整処理は、図５のステップＳ５０５から開始され、ステップＳ５０５にて、画像入力部１１は、３次元の動画像を入力する。例えば、前述のように第１〜第３データ形式のいずれかにより、３次元の動画像が０フレームから順に入力される。また、処理対象のフレーム番号Ｎは「０」に設定される。
【００６１】
図９の左上図は、第１のデータ形式で入力された０フレームの画像（原画）の一例である。第１のデータ形式においては、左眼用画像３１Ｌ及び右眼用画像３１Ｒの画像が、０フレームから順に入力される。
【００６２】
（ゲインマップＣＧＮ算出処理）
次に、ステップＳ５１０に進み、０フレームのゲインマップＣＧ（＝ＣＧＮ）の算出処理が実行される。具体的には、ゲインマップＣＧの算出処理は、図６の各ステップにより実行される。すなわち、ステップＳ６０５において、輝度抽出部１２は、Ｎフレームの左眼用画像及び右眼用画像から輝度成分をそれぞれ抽出する。次に、ステップＳ６１０において、コントラスト抽出部１５は、輝度抽出部１２で抽出された左眼用画像及び右眼用画像の輝度成分に基づいて、左眼用及び右眼用画像のコントラスト成分をそれぞれ抽出する。
【００６３】
次に、ステップＳ６１５において、空間周波数抽出部１４は、左眼用画像及び右眼用画像の輝度成分に基づいて、各画像の所定の空間周波数成分をそれぞれ抽出する。次に、ステップＳ６２０において、奥行き情報抽出部１３は、０フレームの左眼用画像及び右眼用画像の奥行き情報としてディスパリティを抽出し、抽出されたコントラスト成分とディスパリティと空間周波数成分とに基づき、視差に関する情報を有するディスパリティマップを生成する。
【００６４】
次に、ステップＳ６２５において、ゲイン生成部１６は、ディスパリティマップに基づいて、３次元画像の奥行き感を変更するための、コントラスト調整用のゲインマップＣＧを算出する。図９の左下図は、図９の左上図の原画像から抽出された０フレームのゲインマップ（ゲイン推定値）を示す。
【００６５】
再び図５に戻り、ステップＳ５１５にて、コントラスト調整部１７は、０フレームのゲインマップＣＧを用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ５２０において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。同ステップにおいて表示制御部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。
【００６６】
次に、ステップＳ５２５において、処理対象となるフレームが終了したかを判定する。フレームが終了していない場合、ステップＳ５３０において、フレーム番号Ｎに１加算する。ここでは、次に処理対象のフレーム番号Ｎは「１」となる。
【００６７】
（ゲインマップＥＧＮ推定処理）
次に、ステップＳ５３５において、１フレーム目のゲインマップＥＧ（＝ＥＧ１）の推定処理が実行される。具体的には、１フレーム目のゲインマップＥＧの推定処理は、図７の各ステップにより実行される。すなわち、ステップＳ７０５において、相関推定部２０は、０フレーム及び１フレームの連続する２フレームの画像を用いて、ブロックマッチング、勾配法等の動き推定技術を用いて、画像中の画素毎に動きベクトルを推定する。
【００６８】
次に、ステップＳ７１０において、ゲイン生成部１６は、動きベクトルを用いて、０フレームのゲインマップＣＧから１フレームのゲインマップＥＧを推定する。
【００６９】
（ゲイン補正処理)
再び図５に戻り、ステップＳ５４０において、ゲイン補正処理を実行する。ゲイン補正処理は、図８のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、連続する前後フレームから２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００７０】
次に、ステップＳ８１０に進み、ゲイン生成部１６は、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ８１５に進み、ゲイン生成部１６は、図４の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値に対応する補正ゲイン値を特定する。次に、ステップＳ８２０に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を特定された補正ゲイン値で補正し、本処理を終了する。
【００７１】
図９の中央図は、遮蔽・発生領域にゲイン値が挿入されていないゲインマップを示す。図９の右図は、遮蔽・発生領域にゲイン値が挿入されたゲインマップを示す。
【００７２】
再び図５に戻り、ステップＳ５４５にて、コントラスト調整部１７は、１フレームのゲインマップＥＧを用いて、３次元画像のコントラスト成分を調整する。次に、ステップＳ５２０において、画像処理部１８は、コントラスト調整部１７の調整結果に基づき、コントラスト調整後の輝度画像を生成する。同ステップにて、表示制御部１９は、生成された輝度画像と入力画像が元々有していた色情報を組合せた画像を、画像入力部１１に入力されたときと同一の３次元動画像の特定フレームに変換し、表示装置３０に出力する。以上の処理をフレームが終了するまで行う。
【００７３】
以上に説明したように、第１実施形態に係る画像処理装置１０によれば、対数型（１チャネル）の評価関数を用いた場合、ディスパリティ値とゲイン値とが一対一に対応することを利用して、遮蔽・発生領域にディスパリティ値に対応する補正ゲイン値を挿入する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００７４】
また、第１実施形態に係る画像処理装置１０では、評価関数に対数型（１チャネル）の関数であって、ディスパリティ値とゲイン値とが一対一に対応しているため、ゲイン補正が単純な変換処理を中心とした処理となり、処理コストを低減することができる。
【００７５】
＜第２実施形態＞
（ゲイン補正)
次に、図１０を参照しながら、第２実施形態に係る画像処理装置１０が行うゲイン補正について説明する。図１０は、本実施形態で用いられる変換テーブルを示した図である。
【００７６】
本実施形態においても、第１実施形態で説明した、図５のコントラスト調整処理、図６のゲインマップＣＧ算出処理、図７のゲインマップＥＧ推定処理は同様に実行される。一方、本実施形態では、第１実施形態で説明した図８のゲイン補正処理の替わりに、図１１のゲイン補正処理が実行される。よって、本実施形態では、図１１のゲイン補正処理を中心に説明し、第１実施形態ですでに説明したコントラスト調整処理、ゲインマップＣＧ算出処理、ゲインマップＥＧ推定処理の説明は省略する。
【００７７】
本実施形態においても、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数が用いられる。ただし、本実施形態におけるチャネル数は、複数チャネルも含む。つまり、本実施形態では、空間周波数解析により抽出された画像の空間周波数成分から複数チャネル（Ｎチャネル）が特定される。本実施形態では、ディスパリティ値（奥行き調整量Ｐに対応）に対してゲイン値は一対Ｎに対応し、ディスパリティ値に対して空間周波数解析により決定されたチャネル毎にゲイン値が決まる。つまり、本実施形態では、ゲイン値ＧＤＮは、ディスパリティ値及びチャネルＮの評価関数の傾きで決定される。つまり、同じディスパリティ値ＤでもチャネルＮによってゲイン値ＧＤＮが変わる。
【００７８】
ここで、遮蔽・発生領域のディスパリティと同じディスパリティ値（奥行き）をもつ領域はテクスチャの類似性が高いことを拘束条件として、ディスパリティ値に応じた最適なゲイン値（統計ゲイン値）を導出する。具体的には、チャネル毎のゲイン値ＧＤ１〜ＧＤＮはさほどのバラツキはないことを前提にこれを利用して、チャネル毎に定まるゲイン値に対して、下記式（９）に示した重みづけ平均をとり、ディスパリティ値に応じた最適なゲイン値（統計ゲイン値ＧＤｅｓｔ）を導出する。
【００７９】
【数３】
【００８０】
上記最適化された統計ゲイン値ＧＤｅｓｔはディスパリティ値と一対一に対応させて変換テーブルに記憶される。これにより、本実施形態では、画像の各チャネルに分岐される画素数を考慮しながら、１チャネルの場合と同様に、ディスパリティ値から統計ゲイン値を一意に特定することができる。つまり、ゲイン生成部１６は、上述したように、複数チャネルの補正調整値の重みづけ平均値とディスパリティ値とを対応付けて記憶した変換テーブルを用いて、前記抽出されたディスパリティ値に基づき統計ゲイン値を特定する。なお、前述の通りディスパリティ値は奥行き情報に対応し、統計ゲイン値は補正調整値に対応する。
【００８１】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１１のゲイン補正処理のフローチャートを参照しながら、本実施形態のゲイン補正処理について説明する。第２実施形態において図５のステップＳ５４０で呼び出される図１１のゲイン補正処理は、図１１のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００８２】
ゲイン生成部１６は、ステップＳ８１０にて、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ１１００に進み、ゲイン生成部１６は、図１０の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値に対応する統計ゲイン値を特定する。次に、ステップＳ１１０５に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を特定された統計ゲイン値で補正し、本処理を終了する。
【００８３】
以上に説明したように、第２実施形態に係る画像処理装置１０によれば、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数を用いた場合、遮蔽・発生領域の空間周波数成分からチャネルを特定し、ディスパリティ値及び特定された複数チャネルを用いてディスパリティ値と統計ゲイン値とが一対一に対応するように変換テーブルを作成する。この変換テーブルを利用して、遮蔽・発生領域のディスパリティ値に対応する統計ゲイン値を遮蔽・発生領域のゲイン値として挿入する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００８４】
＜第２実施形態の変形例＞
（ゲイン補正)
次に、第２実施形態の変形例について説明する。本変形例で用いられる変換テーブルでは、図１２に示したように、ディスパリティ値に対して空間周波数解析により特定されたチャネル毎にゲイン値が記憶されている。
【００８５】
本変形例では、空間周波数抽出部１４は、遮蔽・発生領域の空間周波数成分を抽出する。抽出された空間周波数成分に基づき、評価関数のチャネルが特定される。ゲイン生成部１６は、前記変換テーブルを用いて、前記抽出された遮蔽・発生領域の空間周波数成分に対応するチャネル（１チャネル又は複数チャネル）と遮蔽・発生領域のディスパリティ値とに基づき補正ゲイン値を特定する。特定された補正ゲイン値は、ゲインマップの遮蔽・発生領域に挿入される。
【００８６】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１３のゲイン補正処理のフローチャートを参照しながら、第２実施形態の本変形例に係るゲイン補正処理について説明する。第２実施形態の変形例においても、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数が用いられる。第２実施形態の変形例において図５のステップＳ５４０で呼び出される図１３のゲイン補正処理は、図１３のステップＳ８０５から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき画像の遮蔽・発生領域を検出する。
【００８７】
ゲイン生成部１６は、ステップＳ８１０にて、遮蔽・発生領域のディスパリティ値を特定する。次に、ステップＳ１３００に進み、空間周波数抽出部１４は、遮蔽・発生領域の空間周波数を解析する。次に、ステップＳ１３０５に進み、ゲイン生成部１６は、解析の結果抽出された空間周波数からチャネル（１又は複数チャネル）を特定する。次に、ステップＳ１３１０に進み、ゲイン生成部１６は、図１２の変換テーブルを用いて、遮蔽・発生領域のディスパリティ値及びチャネル（１又は複数チャネル）に対応する補正ゲイン値をそれぞれ特定する。次に、ステップＳ８２０に進み、ゲイン生成部１６は、ゲインマップの遮蔽・発生領域を補正ゲイン値で補正し、本処理を終了する。
【００８８】
以上に説明したように、第２実施形態の変形例に係る画像処理装置１０によれば、評価関数に対数型（Ｎチャネル：Ｎ≧２）の関数を用いた場合、遮蔽・発生領域の空間周波数成分から複数チャネルを特定し、ディスパリティ値及び特定された１又は複数チャネルに対応した補正ゲイン値により遮蔽・発生領域を補正する。このようにして補正されたゲインマップによれば、遮蔽・発生領域においても適切にコントラストを調整することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整を適正化することができる。
【００８９】
また、画像全体ではなく、遮蔽・発生領域だけを周波数解析することにより処理の負荷及び計算コストを低減することができる。
【００９０】
＜第３実施形態＞
次に、第３実施形態に係る画像処理装置１０が行うゲイン補正について説明する。本実施形態では、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数が用いられる。チャネルは、空間周波数解析により１又は複数のチャネル（Ｎチャネル：Ｎ≧１）に分岐される。第３実施形態においても、図５のコントラスト調整処理、図６のゲインマップＣＧ算出処理、図７のゲインマップＥＧ推定処理は同様に実行される。一方、本実施形態では、第２実施形態で説明した図１０の変換テーブルを用いてゲイン値を特定する。また、本実施形態では、第２実施形態で説明した図１１のゲイン補正処理が実行される。よって、本実施形態と第２実施形態とを比較すると、本実施形態ではＮａｋａ−Ｒｕｓｈｔｏｎ型の評価関数が利用されるのに対し、第２実施形態では対数型の評価関数が利用される点が異なるが、図１１に示したゲイン補正処理は第２実施形態と同じであり、すでに説明したとおりであるからここでは説明を省略する。
【００９１】
以上に説明したように、第３実施形態に係る画像処理装置１０によれば、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数の場合、ゲイン値は、原画像のコントラストと奥行き調整値に依存し、ディスパリティ値とゲイン値とは、ほぼ一対無限対応となる。よって、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数を用いる第３実施形態では、図１０に示した式（９）を用いて、統計ゲイン値ＧＤｅｓｔを算出することにより、統計ゲイン値ＧＤｅｓｔとディスパリティ値とを一対一に対応させる。
【００９２】
このように、本実施形態では、統計ゲイン値ＧＤｅｓｔとディスパリティ値とを一対一に対応させることにより、ディスパリティ値から一意に統計ゲイン値を特定することができる。このため、ゲインマップの遮蔽・発生領域に、ディスパリティ値に対応する統計ゲイン値を挿入し、これよりゲインマップを補正することができる。これにより、画像のコントラスト調整の精度を高め、画像の奥行きの調整をより適正化することができる。
【００９３】
なお、抽出された空間周波数とコントラスト成分とディスパリティ値とを使うと、ディスパリティ値に対してゲインのほぼ正解値を一対一に対応させる変換テーブルを作成することができる。これによれば、近似値である統計ゲイン値を利用する場合に比べて、ゲインマップの遮蔽・発生領域をより確からしいゲイン値で補正することができる。
【００９４】
図１４の左側は、対数型の評価関数を利用した２チャネルの場合の補正後のゲインマップを示し、図１４の右側は、Ｎａｋａ−Ｒｕｓｈｔｏｎ型の評価関数を利用した２チャネルの場合の補正後のゲインマップを示す。いずれにおいても、ディスパリティ値と変換テーブルとを参照してゲインマップを補正したため、図９の中央のゲインマップと比較してエラー領域（黒部分）が少なくなっていることが分かる。
【００９５】
＜第４実施形態＞
第１〜第３実施形態では、ゲイン値の変換テーブルに基づき、遮蔽・発生領域のディスパリティ値に応じたゲイン値を遮蔽・発生領域に挿入することにより、ゲインマップを補正した。一方、第４実施形態では、左眼用画像Ｌ及び右眼用画像Ｒの一方で遮蔽されている画像が他方で遮蔽されていない場合、一方の画像の遮蔽されていない領域のゲイン値を他方の画像の遮蔽されている領域のゲイン値に適用する。
【００９６】
本実施形態は、以下の３ステップから構成される。
・ステップＳ１
遮蔽・発生領域検出部２１は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれにおいて、遮蔽・発生領域を検出する。このとき、遮蔽・発生領域のゲイン値は未確定とする。
・ステップＳ２
左眼用画像Ｌ及び右眼用画像Ｒの遮蔽・発生領域に対してディスパリティ値を参照し、左眼用画像Ｌ及び右眼用画像Ｒの一方で遮蔽されている画像が他方で遮蔽されていない場合、一方の画像の遮蔽されていない領域のゲインマップのゲイン値を他方の画像の遮蔽されている領域のゲインマップのゲイン値に挿入することにより、ゲインマップを補正する。左眼用画像Ｌ及び右眼用画像Ｒのいずれも遮蔽されている領域がある場合には、ステップＳ３へ進む。いずれも遮蔽されている領域がない場合には、処理を終了する。
・ステップＳ３
左眼用画像Ｌ及び右眼用画像Ｒのいずれも遮蔽されている領域がある場合、第２実施形態又は第３実施形態にて説明したゲイン補正処理（図１１及び図１３のゲイン補正処理を参照）を実行することにより、遮蔽・発生領域にゲイン値を挿入し、処理を終了する。
【００９７】
なお、ステップＳ３は省略することも可能である。また、ステップＳ１では、遮蔽・発生領域のゲイン値は未確定としたが、ステップＳ１で何らかの公知の手法を用いて遮蔽・発生領域にゲイン値を補償した後、ステップＳ２及びステップＳ３で、より適正なゲイン値で遮蔽・発生領域内を上書きしてもよい。
【００９８】
［画像処理装置の動作］
（ゲイン補正処理)
次に、図１５のゲイン補正処理のフローチャートを参照しながら、第４実施形態に係るゲイン補正処理について説明する。第４実施形態における図１５のゲイン補正処理は、図５のステップＳ５４０で呼び出され、ステップＳ１５００から始まり、遮蔽・発生領域検出部２１は、前後フレームの２フレーム間の相関値を算出し、算出された相関値に基づき、取得された左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの画像の遮蔽・発生領域を検出する。
【００９９】
次に、ステップＳ１５０５に進み、ゲイン生成部１６は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの遮蔽・発生領域に対するディスパリティ値を特定する。次いで、ステップＳ１５１０にて、左眼用画像Ｌ及び右眼用画像Ｒのうちの一方の画像の遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でないかを判定する。
【０１００】
判定の結果、遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、ステップＳ１５１５に進んで、ゲイン生成部１６は、前記他方の対応する領域の前記ディスパリティ値に対応するゲイン値を前記一方の遮蔽・発生領域のゲイン値として適用する。
【０１０１】
一方、判定の結果、遮蔽・発生領域に対応する他方の画像の領域が同じく遮蔽・発生領域である場合、ステップＳ１５２０に進んで、ゲイン生成部１６は、第２実施形態又は第３実施形態で使用した変換テーブル(図１０参照)、を用いて、第２実施形態又は第３実施形態に示したゲイン補正処理(図１１参照)を実行する。ゲイン生成部１６は、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれについての遮蔽・発生領域に対応するディスパリティ値に基づき、左眼用画像Ｌ及び右眼用画像Ｒのそれぞれの遮蔽・発生領域に適用する補正ゲイン値を特定する。
【０１０２】
以上に説明したように、第４実施形態に係る画像処理装置１０によれば、一方の画像の遮蔽されていない領域のゲイン値を他方の画像の遮蔽されている領域のゲイン値に挿入して、ゲインマップを補正する。このようにして補正されたゲインマップによれば、画像のコントラスト調整の精度を高め、画像の奥行きの調整をより適正化することができる。
【０１０３】
以上、各実施形態及び変形例によれば、画像の奥行きの調整を適正化することが可能な画像処理方法を提供することができる。
【０１０４】
上記一実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理方法の実施形態を、画像処理装置の実施形態及び前記画像処理方法を実現する表示装置の実施形態とすることができる。
【０１０５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０６】
上記ゲイン補正処理を実行する頻度は、毎フレームであってもよく、数フレーム後であってもよい。
【０１０７】
また、解析された周波数成分を用いて遮蔽・発生領域を複数のチャネルに分けると近似の精度が向上し、画像の奥行き調整がより適正化される一方、処理の負担が大きくコスト高となる。よって、遮蔽・発生領域を分けるチャネルは、最大５チャネル程度が適当である。
【０１０８】
尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
【０１０９】
なお、本技術は以下のような構成も取ることができる。
（１）取得された画像に対して遮蔽・発生領域を検出することと、
前記画像の奥行き情報を抽出することと、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、
を備える画像処理方法。
（２） 前記補正調整値を生成することは、
奥行き情報と補正調整値とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（３） 前記補正調整値を生成することは、
１又は複数チャネルの補正調整値の重みづけ平均値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（４） 前記遮蔽・発生領域の画像の空間周波数成分を抽出することを更に備え、
前記補正調整値を生成することは、
複数チャネルの補正調整値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記空間周波数成分に基づき定められる複数チャネルと前記抽出された奥行き情報とに基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
（５） コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項２〜４のいずれか一項に記載の画像処理方法。
（６） 前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項２〜４のいずれか一項に記載の画像処理方法。
（７） 前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示すNaka-Rushton型の評価関数に基づき、前記コントラスト成分に応じた奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項３に記載の画像処理方法。
（８） 取得された左眼用画像及び右眼用画像のそれぞれの遮蔽・発生領域を検出することと、
前記左眼用画像及び右眼用画像のそれぞれの奥行き情報を抽出することと、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、前記他方の対応する領域の前記奥行き情報に対応する調整値を前記一方の遮蔽・発生領域の補正調整値として適用することと、
を備える画像処理方法。
（９） 前記補正調整値を生成することは、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域である場合、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に適用する補正調整値を特定することを含む、
請求項８に記載の画像処理方法。
（１０） 前記遮蔽・発生領域を検出することとは、
取得された動画像の２フレーム間の画像の相関値を算出し、算出された相関値に基づき前記遮蔽・発生領域を検出することを含む、
請求項１〜９のいずれか一項に記載の画像処理方法。
（１１） 取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
を備える画像処理装置。
（１２） 取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、
を備える表示装置。
【符号の説明】
【０１１０】
１０ 画像処理装置
１１ 画像入力部
１２ 輝度抽出部
１３ 奥行き情報抽出部
１４ 空間周波数抽出部
１５ コントラスト抽出部
１６ ゲイン生成部
１７ コントラスト調整部
１８ 画像処理部
１９ 表示制御部
２０ 相関推定部
２１ 遮蔽・発生領域検出部
３０ 表示装置
【特許請求の範囲】
【請求項１】
取得された画像に対して遮蔽・発生領域を検出することと、
前記画像の奥行き情報を抽出することと、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、
を備える画像処理方法。
【請求項２】
前記補正調整値を生成することは、
奥行き情報と補正調整値とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記補正調整値を生成することは、
１又は複数チャネルの補正調整値の重みづけ平均値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項４】
前記遮蔽・発生領域の画像の空間周波数成分を抽出することを更に備え、
前記補正調整値を生成することは、
複数チャネルの補正調整値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記空間周波数成分に基づき定められる複数チャネルと前記抽出された奥行き情報とに基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項５】
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項１に記載の画像処理方法。
【請求項６】
前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項１に記載の画像処理方法。
【請求項７】
前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示すNaka-Rushton型の評価関数に基づき、前記コントラスト成分に応じた奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項３に記載の画像処理方法。
【請求項８】
取得された左眼用画像及び右眼用画像のそれぞれの遮蔽・発生領域を検出することと、
前記左眼用画像及び右眼用画像のそれぞれの奥行き情報を抽出することと、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、前記他方の対応する領域の前記奥行き情報に対応する調整値を前記一方の遮蔽・発生領域の補正調整値として適用することと、
を備える画像処理方法。
【請求項９】
前記補正調整値を生成することは、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域である場合、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に適用する補正調整値を特定することを含む、
請求項８に記載の画像処理方法。
【請求項１０】
前記遮蔽・発生領域を検出することとは、
取得された動画像の２フレーム間の画像の相関値を算出し、算出された相関値に基づき前記遮蔽・発生領域を検出することを含む、
請求項１に記載の画像処理方法。
【請求項１１】
取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
を備える画像処理装置。
【請求項１２】
取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、
を備える表示装置。
【請求項１】
取得された画像に対して遮蔽・発生領域を検出することと、
前記画像の奥行き情報を抽出することと、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成することと、
を備える画像処理方法。
【請求項２】
前記補正調整値を生成することは、
奥行き情報と補正調整値とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項３】
前記補正調整値を生成することは、
１又は複数チャネルの補正調整値の重みづけ平均値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記抽出された奥行き情報に基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項４】
前記遮蔽・発生領域の画像の空間周波数成分を抽出することを更に備え、
前記補正調整値を生成することは、
複数チャネルの補正調整値と奥行き情報とを対応付けて記憶した変換テーブルを用いて、前記空間周波数成分に基づき定められる複数チャネルと前記抽出された奥行き情報とに基づき前記補正調整値を特定することを含む、
請求項１に記載の画像処理方法。
【請求項５】
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項１に記載の画像処理方法。
【請求項６】
前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示す対数型の評価関数に基づき、前記コントラスト成分から前記画像の奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項１に記載の画像処理方法。
【請求項７】
前記取得された画像の輝度成分を抽出することと、
前記輝度成分に基づき前記画像のコントラスト成分を抽出することと、
コントラスト成分と奥行き情報との関係を示すNaka-Rushton型の評価関数に基づき、前記コントラスト成分に応じた奥行き情報を算出し、算出された奥行き情報と前記抽出された奥行き情報とに基づき算出される調整量と前記遮蔽・発生領域に補正した補正調整値とに基づき、前記画像のコントラスト成分を調整すること、
を更に備える請求項３に記載の画像処理方法。
【請求項８】
取得された左眼用画像及び右眼用画像のそれぞれの遮蔽・発生領域を検出することと、
前記左眼用画像及び右眼用画像のそれぞれの奥行き情報を抽出することと、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域でない場合、前記他方の対応する領域の前記奥行き情報に対応する調整値を前記一方の遮蔽・発生領域の補正調整値として適用することと、
を備える画像処理方法。
【請求項９】
前記補正調整値を生成することは、
前記左眼用画像及び右眼用画像のうちの一方の画像の前記遮蔽・発生領域に対応する他方の画像の領域が前記遮蔽・発生領域である場合、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記左眼用画像及び右眼用画像のそれぞれの前記遮蔽・発生領域に適用する補正調整値を特定することを含む、
請求項８に記載の画像処理方法。
【請求項１０】
前記遮蔽・発生領域を検出することとは、
取得された動画像の２フレーム間の画像の相関値を算出し、算出された相関値に基づき前記遮蔽・発生領域を検出することを含む、
請求項１に記載の画像処理方法。
【請求項１１】
取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
を備える画像処理装置。
【請求項１２】
取得された画像に対して遮蔽・発生領域を検出する遮蔽・発生領域検出部と、
前記画像の奥行き情報を抽出する奥行き情報抽出部と、
前記遮蔽・発生領域に対応する前記奥行き情報に基づき、前記遮蔽・発生領域に適用する補正調整値を生成する調整値生成部と、
前記遮蔽・発生領域に適用する補正調整値を用いてコントラスト成分が調整された画像の表示を制御する表示制御部と、
を備える表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図９】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図９】
【図１４】
【公開番号】特開２０１２−２２６５７４（Ｐ２０１２−２２６５７４Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９３９０９（Ｐ２０１１−９３９０９）
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]