画像処理装置、画像処理方法、およびプログラム
【課題】人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする。
【解決手段】I値調整量決定部は、評価関数に基づいて、決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。調整ゲイン計算部は、入力値Iの調整量△Iに基づいて、各空間周波数成分のゲイン値を計算する。画像調整部は、計算された各空間周波数成分のゲイン値により、入力された３次元画像の空間周波数成分を調整する。本技術は、例えば、３次元画像の奥行きを調整する画像処理装置に適用できる。
【解決手段】I値調整量決定部は、評価関数に基づいて、決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。調整ゲイン計算部は、入力値Iの調整量△Iに基づいて、各空間周波数成分のゲイン値を計算する。画像調整部は、計算された各空間周波数成分のゲイン値により、入力された３次元画像の空間周波数成分を調整する。本技術は、例えば、３次元画像の奥行きを調整する画像処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる方法として、両眼視差（左眼と右眼の視差）が設けられている左眼用２次元画像と右眼用２次元画像を、それぞれ、鑑賞者の左眼と右眼に呈示する方法がある。
【０００３】
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがある。人間は、単眼立体情報と両眼立体情報とを併せて、物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差、水平輻輳などがあり、単眼立体情報には、例えば、陰影、コントラスト、色、空間周波数、遮蔽関係などがある。
【０００４】
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる場合において、立体感や奥行き感を強調したいとき、例えば、両眼立体情報のうちの一つである両眼視差を大きくする方法が考えられる。
【０００５】
しかし、両眼視差を大きくすることは、人間の眼球構造や視覚特性の観点からすると、次のような問題がある。すなわち、人間の眼球は、通常、平行からやや内向きの輻輳状態になっているため、両眼視差が瞳孔間距離よりも大きくなると、両眼が外側に向く開散状態となる。瞳孔間距離は年齢や性別などによって異なるため、特に、瞳孔間距離が通常よりも狭い人は、開散状態になりやすい。
【０００６】
また、現実世界においては、注視点に両眼の視線が向けられ、かつ眼の焦点も合わせられているため、眼球の輻輳と調節の距離が一致している。しかし、左眼用２次元画像と右眼用２次元画像により３次元画像を知覚させる場合には、輻輳は３次元画像として知覚する位置に合わせられるが、調節は画像表示面に合わせられているため、眼球の輻輳による距離と調節による距離が一致しないこととなる。従って、両眼視差を大きくすることで立体感や奥行き感を強調することは、この眼球の輻輳による距離と調節による距離をさらに一致しない方向に変化させることになるため、鑑賞者に不自然さを知覚させたり、不快感や視覚疲労を覚えさせたりすることになりやすい。
【０００７】
そこで、鑑賞者の不快感や視覚疲労を軽減するように両眼視差を調整する方法も提案されている。例えば、特許文献１で提案されている方法は、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対し、許容できるか否かを応答させることで、両眼視差を調整するものである。
【０００８】
しかし、特許文献１の方法で鑑賞者の不快感や視覚疲労を軽減しようとすると、基本的には両眼視差が立体感や奥行き感を減らす方向に調整されることになるため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを覚えることにもなる。
【０００９】
従って、両眼視差を大きくすることで３次元画像の立体感や奥行き感を強調するのは適切ではない。
【００１０】
一方、単眼立体情報を用いて、立体感や奥行き感を強調する方法も提案されている。例えば、特許文献２では、画像内のオブジェクトの奥行き位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることで、奥行き感を強調させることが提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第３７４９２２７号公報
【特許文献２】特開２００１−２３８２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
【００１３】
本技術は、このような状況に鑑みてなされたものであり、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の一側面の画像処理装置は、入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部とを備える。
【００１５】
本技術の一側面の画像処理方法は、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む。
【００１６】
本技術の一側面のプログラムは、コンピュータに、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのものである。
【００１７】
本技術の一側面においては、入力された３次元画像の奥行き調整量が決定され、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された奥行き調整量に対応する入力値の調整量が決定され、決定された入力値の調整量に基づいて、各空間周波数成分のゲイン値が計算され、計算された各空間周波数成分のゲイン値により、入力された３次元画像の各空間周波数成分が調整される。
【００１８】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１９】
記録装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２０】
本発明の一側面によれば、３次元画像の奥行き感を制御することができる。
【００２１】
また、本発明の一側面によれば、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本技術が適用された画像処理装置の第1の実施の形態の構成例を示すブロック図である。
【図２】奥行き調整量定義関数の一例を示す図である。
【図３】評価関数の例を示す図である。
【図４】空間数周波数fsと奥行き効率E(fs)との関係を示す図である。
【図５】I値調整量決定部の処理を説明する図である。
【図６】奥行き制御部の処理の詳細について説明する図である。
【図７】奥行き制御部の処理の詳細について説明する図である。
【図８】奥行き制御部の処理の詳細について説明する図である。
【図９】奥行き制御処理について説明するフローチャートである。
【図１０】重み関数F(fs)のその他の例を示す図である。
【図１１】重み関数F(fs)のその他の例を示す図である。
【図１２】重み関数F(fs)のその他の例を示す図である。
【図１３】時間数周波数ftと奥行き効率E(ft)との関係を示す図である。
【図１４】本技術が適用された画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１５】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
＜１．第1の実施の形態＞
［画像処理装置の構成例］
図１は、本技術が適用された画像処理装置の第1の実施の形態の構成例を示している。
【００２４】
画像処理装置１は、入力された３次元画像の奥行き感を強調させるため、その３次元画像の空間周波数を調整する処理を行う。ここで、３次元画像とは、鑑賞者に３次元画像を知覚させるための２次元画像をいう。
【００２５】
画像処理装置１に入力された３次元画像は、輝度成分計算部１１に供給される。なお、外部から入力される３次元画像のデータ形式には様々な形式があるが、その形式は問わない。３次元画像のデータ形式には、例えば、左眼用画像（L画像）と右眼用画像（R画像）から構成されるステレオ画像の形式である第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形式である第２のデータ形式、２次元画像とその奥行き情報という形式である第３のデータ形式などがある。本実施の形態では、第１のデータ形式で３次元画像の画像データが供給されるものとして、画像処理装置１は、左眼用画像と右眼用画像それぞれに対して処理を行うものとする。
【００２６】
輝度成分計算部１１は、供給される３次元画像（左眼用画像と右眼用画像）の輝度成分を計算する。例えば、供給される３次元画像がRGB表色系における線形のRGB値で表されている場合、輝度成分計算部１１は、ITU-R BT709で規定される次式（１）により、輝度値Yに変換することで、３次元画像の輝度成分を計算する。
Y=０．２１２６R＋０．７１５２G＋０．０７２２B・・・・・（１）
【００２７】
式（１）により、左眼用画像または右眼用画像それぞれの輝度画像が得られる。以下において左眼用画像と右眼用画像を特に区別しない場合、単に、輝度画像といい、また、３次元画像という場合であっても、左眼用画像及び右眼用画像それぞれの輝度画像に対する処理を行うものとする。なお、３次元画像は、必ずしもRGB値からなる形式（RGB信号）で表されている必要はなく、CIE XYZ表色系におけるXYZ値で表されている場合には、輝度値Yで構成される画像が輝度画像とされる。また、輝度値の算出（抽出）も、式（１）以外の方法で算出してもよい。輝度成分計算部１１により計算されて得られた輝度画像が奥行き推定部１２に供給される。
【００２８】
奥行き推定部１２は、輝度成分計算部１１から供給された輝度画像の各画素について奥行き情報（ディスパリティ）を推定する。具体的には、奥行き推定部１２は、ステレオ画像における水平方向の対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法などの手法を用いることで算出することができる。
【００２９】
また、３次元画像が第２のデータ形式で入力された場合には、奥行き推定部１２は、３以上の視点画像のうちの対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。さらに、３次元画像が第３のデータ形式で入力された場合には、奥行き推定部１２は、奥行き情報そのものが供給されるので、それを採用する。
【００３０】
奥行き推定部１２により推定された奥行き情報は、奥行き調整量決定部１４に供給される。
【００３１】
奥行き調整量定義関数記憶部１３は、奥行き情報（の値）に対する奥行き調整量を定義した奥行き調整量定義関数を記憶し、奥行き調整量決定部１４に供給する。
【００３２】
［奥行き調整量定義関数の一例]
図２は、奥行き調整量定義関数記憶部１３に記憶される奥行き調整量定義関数の一例を示している。
【００３３】
図２の横軸は、入力された３次元画像において検出される奥行き情報［画素］を示し、縦軸は奥行き調整量［arcmin：角度分］を示している。奥行き情報は、正の値が画像上の物体をユーザが奥に知覚するディスパリティであり、負の値が画像上の物体をユーザが手前に知覚するディスパリティである。奥行き調整量は、正の値が手前に変化させることを表し、負の値が奥に変化させることを表す。
【００３４】
図２で示される奥行き調整量定義関数では、入力された３次元画像において奥にある物体は、より奥に変化するように移動させ、手前にある物体は、より手前に変化するように移動させて、３次元画像全体として立体感を増すような関数として定義されている。
【００３５】
図１の奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている、このような奥行き調整量定義関数に基づいて、輝度画像の各画素について奥行き調整量を決定する。例えば、奥行き情報がｄである輝度画像のある画素に対して、奥行き調整量決定部１４は、図２の奥行き調整量定義関数を用いて、奥行き調整量を△Dと決定する。
【００３６】
図１に戻り、評価関数記憶部１５は、視覚実験によって得られた、３次元画像から得られる入力値Iと、主観的に知覚される奥行き量である主観的奥行き量ｚとの関係を定量化した評価関数を記憶する。
【００３７】
［評価関数の説明］
図３は、視覚実験によって得られた評価関数の例を示している。
【００３８】
図３において、対数軸である横軸は、次式（２）で求められる入力値Iを表し、縦軸は主観的奥行き量ｚを表す。
【数１】
【００３９】
式（２）のC(fs)は、輝度画像の画像全体に含まれる空間周波数成分をN個の空間周波数成分fsに分類したときの各周波数成分fsのコントラストを表す。式（２）のE(fs)は、各空間数周波数fsの奥行き効率を表す。各空間数周波数fsの奥行き効率E(fs)とは、各空間数周波数fsが奥行き知覚に与える重みであり、視覚実験によって得られた値である。
【００４０】
従って、入力値Iは、各空間周波数成分fsのコントラストと、その空間周波数成分fsの重みを乗算した乗算結果の、画像全体のN個の空間周波数成分fsについての総和であるということができる。
【００４１】
図４は、視覚実験により得られた空間数周波数fsと奥行き効率E(fs)との関係を示している。
【００４２】
横軸の空間数周波数fsは、人間の目の１°（degree）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はcpd（cycle per degree）である。
【００４３】
視覚実験では、様々な空間数周波数fsの画像（パターン）を被験者に提示し、その画像から、被験者が奥行き量（奥行き位置）をどの程度に感じるかが実験される。
【００４４】
図４に示されるデータによれば、空間数周波数fsと奥行き効率E(fs)との関係は、空間数周波数fsが大きくなるほど、重みが小さい（奥行き知覚に与える影響が小さい）ことを示している。
【００４５】
式（２）の奥行き効率E(fs)は、図４に示される空間数周波数fsと奥行き効率E(fs)との関係を定式化したものであり、例えば、ガウス近似式で表した次式（３）が採用される。
【数２】
ここで、Aは係数、fs0は空間周波数fsのオフセット、σsは空間周波数fsの標準偏差を表す。
【００４６】
一方、図３の縦軸である主観的奥行き量ｚは、視覚実験の被験者が知覚した実際の奥行き量である実データｘを、以下の式（４）の計算式で換算したものであり、実データｘを正規化または標準化したものに相当する。このような主観的奥行き量ｚを採用することで、データの単位を揃えることができるので、データ感の比較が容易となり、実データの絶対的なバラツキを排除した解析が可能となる。
【数３】
【００４７】
主観的奥行き量ｚは、大きい値であるほど、ユーザが物体を手前に知覚することを示す。主観的奥行き量ｚは、次式（５）を用いて、単位をarcminとする奥行き調整量に換算することが可能である。
【数４】
【００４８】
３次元画像から得られる入力値Iと、主観的奥行き量ｚとの関係を定量化した評価関数は、例えば、視覚系の応答について利用されるNaka-Rushtonの式と、z=A×log10（I）＋B，（A，Bは定数）の対数式の２種類で表すことができる。
【００４９】
図３において実線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係を対数関数で定義した場合を示しており、その式は、式（６）で表される。また、破線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係をNaka-Rushtonの式で定義した場合を示しており、その式は、式（７）で表される。
【数５】
【００５０】
評価関数によれば、３次元画像の入力値Iが大きくなるように調整することで、物体を手前に知覚させることができることがわかる。反対に、物体を奥に知覚させるように調整したい場合には、その逆の調整が必要である。
【００５１】
そこで、I値調整量決定部１６は、このような評価関数に基づいて、図５に示すように、奥行き調整量決定部１４で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００５２】
具体的には、I値調整量決定部１６は、奥行き調整量決定部１４で決定された奥行き調整量△Dを、上述した式（５）により、主観的奥行き量ｚの調整量△ｚに換算する。そして、I値調整量決定部１６は、換算して得られた主観的奥行き量ｚの調整量△ｚに対応する入力値Iの調整量△I（＝I1-I2）を決定する。
【００５３】
なお、図５において、縦軸のｚ1及びｚ2は、主観的奥行き量調整前の入力時の３次元画像の主観的奥行き量ｚと、主観的奥行き量調整後の３次元画像の主観的奥行き量ｚを示している。また、横軸のI1及びI2は、主観的奥行き量調整前の入力時の３次元画像の入力値Iと、主観的奥行き量調整後の３次元画像の入力値Iを示している。しかし、奥行き量調整のためには、入力値I1と入力値I2自体は知る必要がなく、入力値Iの調整量△Iが分かればよい。そして、入力値Iの調整量△Iは、対数関数である式（７）の評価関数を採用すれば、傾き一定であるので簡単に算出することができる。
【００５４】
図１に戻り、I値調整量決定部１６は、以上のようにして、奥行き調整量決定部１４から供給される奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００５５】
奥行き制御部１７は、I値調整量決定部１６で決定された入力値Iの調整量△Iを満たすように、３次元画像の空間周波数成分を調整することで、入力された３次元画像の奥行きを調整（制御）し、調整後の３次元画像を出力する。
【００５６】
奥行き制御部１７は、周波数空間変換部３１、ゲイン計算部３２、ゲイン重畳部３３、及び逆変換部３４を有する。
【００５７】
周波数空間変換部３１は、３次元画像を周波数空間に変換する。即ち、周波数空間変換部３１は、入力された３次元画像（の画像データ）に対してDFT（Discrete Fourier Transformation：離散フーリエ変換）演算を行うことにより、画像空間から周波数空間に変換する。以下では、周波数空間に変換された３次元画像を、周波数空間画像という。
【００５８】
ゲイン計算部３２は、I値調整量決定部１６からの入力値Iの調整量△Iを満たす、各空間周波数fsのゲインを計算する。
【００５９】
ゲイン重畳部３３は、周波数空間画像に対し、ゲイン計算部３２で得られたゲインを重畳することにより、３次元画像の空間周波数を調整（変更）する。
【００６０】
逆変換部３４は、周波数空間画像に対してIDFT（Inversed DFT）演算を行うことにより、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の３次元画像を、空間周波数調整後の３次元画像として出力する。
【００６１】
空間周波数重み設定部１８は、ゲイン計算部３２で各空間周波数fsのゲインを計算するために必要となる、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を、ユーザの操作に基づいて設定し、ゲイン計算部３２に供給する。空間周波数重み設定部１８の内部には、低域側を強調したり、高域側を強調したり、全域を強調したりなどの特性を有する各種の重み関数F(fs)が記憶されている。
【００６２】
画像処理装置１は、以上のように構成される。
【００６３】
［奥行き制御部１７の詳細処理］
次に、図６乃至図８を参照して、奥行き制御部１７の処理の詳細について説明する。
【００６４】
図６は、奥行き制御部１７が行う一連の処理の概要を示している。
【００６５】
入力画像である３次元画像（輝度画像）の所定の位置にあるm×n画素（m，n＞０）を、空間周波数調整の対象として注目し、m×n画素の輝度値（画素値）の空間周波数を調整する場合について説明する。この場合、m×n画素の周辺のM×N画素（M＞m，N＞n）が処理対象領域に設定される。ここで、m，n，N、およびMは、例えば、m，n＝２、M，N＝１１４などとすることができる。
【００６６】
周波数空間変換部３１は、DFT演算を行うことにより、３次元画像を、画像空間から周波数空間に変換する。ここで、画像空間上の輝度画像をｆ（ｋ，ｌ）で表し、周波数空間に変換して得られるフーリエ係数をF(x,y)で表すと、周波数空間変換部３１の処理は、次式（８）で表すことができる。
【数６】
【００６７】
次に、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
【００６８】
図７は、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の例を示している。
【００６９】
奥行き調整量△Dが正である場合には、入力値Iの調整量△Iも正である必要があるため（△D＞０⇔△I＞０）、入力値Iの調整量△Iも正となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
【００７０】
図７Aは、空間周波数重み設定部１８から供給される、△I＞０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Aは、輝度画像上の物体をより手前に調整するための重み関数F(fs)の例である。
【００７１】
図７Aの重み関数F(fs)は、全ての空間周波数fsにおいて、常に正となるように設定されているので、△I＞０の制約条件を満たす。また、図７Aの重み関数F(fs)は、高域側の周波数成分を特に強調するような設定とされている。
【００７２】
一方、奥行き調整量△Dが負である場合には、入力値Iの調整量△Iも負である必要があるため（△D＜０⇔△I＜０）、入力値Iの調整量△Iも負となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
【００７３】
図７Bは、空間周波数重み設定部１８から供給される、△I＜０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Bは、輝度画像上の物体をより奥に調整するための重み関数F(fs)の例である。
【００７４】
図７Bの重み関数F(fs)は、全ての空間周波数fsにおいて、常に負となるように設定されているので、△I＜０の制約条件を満たす。また、図７Bの重み関数F(fs)は、高域側の周波数成分の落ち込みを抑えるような設定とされている。
【００７５】
ゲイン計算部３２は、空間周波数重み設定部１８から重み関数F(fs)を取得し、次式（９）の、入力値Iの調整量△Iを満たすような空間周波数コントラストC’(fs)を算出する。
【数７】
ここで、C’(fs)は、空間周波数調整後の各周波数成分fsのコントラストを表す。
【００７６】
空間周波数調整後の空間周波数コントラストC’(fs)の算出方法について説明する。
【００７７】
初めに、ゲイン計算部３２は、上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)を、０ないし１００の範囲の値に正規化することにより、空間周波数調整前の空間周波数コントラストC(x,y)を求める。
【００７８】
図８は、奥行き制御部１７の周波数空間の演算で利用される、空間周波数対応テーブルを示した図である。なお、図８は、M，N＝１１４の例である。
【００７９】
空間周波数対応テーブルは、画像空間の画素数と同一の１１４行×１１４列からなり、テーブルの各要素が各空間周波数fsに対応する。空間周波数対応テーブルは、図８Aに示されるように、左上隅に配置されるDC成分と、それ以外のAC成分で表される。空間周波数対応テーブルのAC成分は、おおよそ0.5cpdないし40cpdの空間周波数であって、１１４行×１１４列のテーブルの中心に高域成分、境界（周辺）に低域成分が配置される。
【００８０】
図８Bは、図８Aにおいて破線で示されるDC成分周辺の拡大図を示し、マス目内の値は、そのマス（の要素）が対応する空間周波数fsを示している。
【００８１】
上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)は、このような空間周波数対応テーブルを用いて得ることが出来るので、フーリエ係数F(x,y)を０ないし１００の範囲の値に正規化して得られるC(x,y)も同様に求めることができる。そして、C(x,y)が分かれば、空間周波数調整前の空間周波数コントラストC(fs)も得られる。例えば、図８Bの対応テーブルにおいて斜線を付して示される、DC成分の隣の第１行第２列の要素であるC(1,2)に格納される値がC(fs＝0.5)に相当する。
【００８２】
ゲイン計算部３２は、空間周波数重み設定部１８から取得した重み関数F(fs)が調整量△Iに対応するように、式（１０）により、重み関数F(fs)を正規化し、正規化後の重み関数F'(fs)を得る。
【数８】
【００８３】
式（１０）により、重み関数F(fs)を、いわば後処理的に調整量△Iとなるように調整することができるので、空間周波数重み設定部１８において重み関数F(fs)を設定する場合に、ユーザは、各空間周波数fsに与えるゲインの重みのみに注意すればよい。これにより、重み関数F(fs)の設計が容易になる。
【００８４】
次に、ゲイン計算部３２は、周波数空間画像に直接付加するゲインである、各空間周波数fsのゲインG(fs)を、次式（１１）により設定する。
G(fs)＝１＋F'(fs) ・・・・・・・・・・・・・（１１）
【００８５】
重み関数F(fs)は、入力値Iの調整量が△Iとなるように式（１０）により正規化した場合、（０以上）１以下の値になることがある。そのため、式（１１）で示されるように、正規化後の重み関数F'(fs)に１を加算したものが最終的な各空間周波数fsのゲインG(fs)とされる。これにより、重み関数F(fs)が正であれば（F(fs)＞０）、ゲインG(fs)が１以上となり、奥行き制御部１７では、各空間周波数fsのコントラストを高める処理が行われることになる。一方、重み関数F(fs)が負であれば（F(fs)＜０）、ゲインG(fs)が１未満となり、奥行き制御部１７では、各空間周波数fsのコントラストを抑制する処理が行われることになる。
【００８６】
ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、フーリエ変換のDFTフォーマットのゲインg(x,y)に変換する。即ち、ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、図８の空間周波数対応テーブルの形式に変換する。
【００８７】
ゲイン計算部３２が、入力値Iの調整量△Iを満たす各空間周波数fsのゲインG(fs)（＝g(x,y)）を求めることは、即ち、式（９）で表される、入力値Iの調整量△Iを満たす空間周波数コントラストC' (fs)を求めたことを意味する。
【００８８】
そして、図６に示すように、ゲイン重畳部３３は、DFT演算後のフーリエ係数F(x,y)のAC成分に、ゲイン計算部３２で得られたゲインg(x,y)を重畳し、空間周波数を調整する。即ち、ゲイン重畳部３３は、次式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
F'(x,y)＝F(x,y)・g(x,y) ・・・・・・・・・・・・・（１２）
【００８９】
最後に、逆変換部３４は、ゲイン重畳後のフーリエ係数F'(x,y)をIDFT演算（Inversed DFT）することにより、周波数空間から画像空間へ逆変換する。即ち、逆変換部３４は、次式（１３）を演算し、空間周波数調整後の輝度画像f'(k,l)を得る。
【数９】
【００９０】
そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力する。
【００９１】
なお、本実施の形態では、奥行き制御部１７において、３次元画像を周波数空間に変換する演算として、フーリエ変換を採用しているが、ウェーブレット変換やコサイン変換などのその他の空間周波数変換手段（演算）を用いてもよい。
【００９２】
［奥行き調整処理のフローチャート］
次に、図９のフローチャートを参照して、画像処理装置１が行う、空間周波数調整により奥行きを制御する奥行き制御処理について説明する。この処理は、例えば、３次元画像が入力されたとき開始される。
【００９３】
初めに、ステップＳ１において、輝度成分計算部１１は、外部から入力された３次元画像の輝度成分を計算する。これにより、例えば、左眼用画像（L画像）と右眼用画像（R画像）それぞれの輝度画像が奥行き推定部１２に供給される。
【００９４】
ステップＳ２において、奥行き推定部１２は、輝度成分計算部１１から供給された３次元画像（輝度画像）の各画素について奥行き情報（ディスパリティ）を推定する。
【００９５】
ステップＳ３において、奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている奥行き調整量定義関数に基づいて、３次元画像の各画素について奥行き調整量△Dを決定する。
【００９６】
ステップＳ４において、I値調整量決定部１６は、評価関数記憶部１５に記憶されている評価関数に基づいて、ステップＳ３で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００９７】
ステップＳ５において、周波数空間変換部３１は、DFT演算を行うことにより、入力画像である３次元画像を周波数空間に変換する。
【００９８】
ステップＳ６において、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
【００９９】
ステップＳ７において、ゲイン計算部３２は、式（１０）により、調整量△Iとなるように重み関数F(fs)を正規化する。これにより、正規化後の重み関数F'(fs)が得られる。
【０１００】
ここで、M×N画素の入力値Iの算出方法について説明する。M×N画素の入力値Iは、例えば、以下の２種類の算出方法を採用することができる。
【０１０１】
第１の算出方法は、図８に示した空間周波数対応テーブルを利用して、式（３）の奥行き効率E(fs)をE(x,y)に変換し、次式（１４）により計算する方法である。
【数１０】
【０１０２】
第２の算出方法は、基準となる空間周波数を定めて積算する方法である。具体的には、例えば、基準となる空間周波数fsが、0.5cpd,1.0cpd,2.0cpd,4.0cpd,8.0cpdの５種類に決定されているとする。
【０１０３】
初めに、以下の式（１５）または式（１６）のいずれかにより、基準周波数fsを中心とする所定の範囲内の空間周波数コントラストC(fs)が、基準周波数fsの空間周波数コントラストC(fs)として求められる。
【数１１】
【０１０４】
そして、式（１７）により、入力値Iが求められる。即ち、計算された各基準周波数fsと奥行き効率E(fs)との積和が計算され、入力値Iとされる。
【数１２】
【０１０５】
なお、これらの２種類の算出方法には、値を単純加算するのではなく、複数の隣接する空間周波数の平均化した値を加算するなどの変形もあり得る。
【０１０６】
ステップＳ７において、正規化後の重み関数F'(fs)が求められた後、ステップＳ８において、ゲイン計算部３２は、上述した式（１１）により、各空間周波数fsのゲインG(fs)を計算する。
【０１０７】
そして、ステップＳ９において、ゲイン計算部３２は、計算により得られた各空間周波数fsのゲインG(fs)を、DFTフォーマットのゲインg(x,y)に変換する。
【０１０８】
ステップＳ１０において、ゲイン重畳部３３は、上述した式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
【０１０９】
ステップＳ１１において、逆変換部３４は、IDFT演算を行うことにより、ゲイン重畳後のフーリエ係数F'(x,y)を、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力して、終了する。
【０１１０】
画像処理装置１では、以上のようにして、奥行き調整量定義関数に基づいて決定された入力画像の各画素の奥行き調整量△Dに対応する入力値Iの調整量△Iが決定され、その調整量△Iを満たすように、入力画像の各空間周波数fsが制御される。奥行き調整量△Dに対応する入力値Iの調整量△Iは、画像パターンの各空間周波数fsに対する人間の視覚特性を評価した評価関数に基づいて決定され、また、各空間周波数fsに所望の重みを設定することが可能である。従って、人間の視覚特性に基づいて単眼立体情報のパラメータである空間周波数を調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
【０１１１】
［重み関数F(fs)の設定例］
上述した実施の形態では、各空間周波数fsに設定する重み、即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)として、図７を参照して説明したような、低域側または高域側を強調する関数の例を示した。
【０１１２】
図１０乃至図１２を参照して、重み関数F(fs)のその他の設定例について説明する。
【０１１３】
図１０は、画像上の物体をより手前に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが正である場合（△D＞０⇔△I＞０）の重み関数F(fs)の設定例を示している。
【０１１４】
また、図１０は、（A）各空間周波数帯の全域を一律にn倍に強調、（B）低い空間周波数帯を強調、（C）高い空間周波数帯を強調、の場合の３種類の重み関数F(fs)の設定例を示している。
【０１１５】
（A）各空間周波数帯の全域を一律にn倍に強調した場合には、マイケルソンコントラストがn倍に強調される。マイケルソンコントラストは、次式（１８）で定義される。
【数１３】
式（１８）において、Lmaxは、３次元画像の処理単位領域内の輝度値の最大値、Lminは、３次元画像の処理単位領域内の輝度値の最小値を表す。処理単位領域の大きさは、視角と画素数の関係から、最適な大きさに適宜設定される。
【０１１６】
（B）低い空間周波数帯を強調した場合には、３次元画像に対して、陰影を強調し、エッジを保持する処理となり、相対的にシャッキリ感は減少することがある。
【０１１７】
（C）高い空間周波数帯を強調した場合には、３次元画像に対して、エッジを強調し、陰影を保持する処理となり、同程度の輝度値が並ぶのっぺりした領域で、ノイズが強調されることがある。
【０１１８】
図１１は、画像上の物体をより奥に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが負である場合（△D＜０⇔△I＜０）の重み関数F(fs)の設定例を示している。
【０１１９】
また、図１１は、（A）各空間周波数帯の全域を一律にn倍に低減、（B）低い空間周波数帯を低減、（C）高い空間周波数帯を低減、の場合の３種類の重み関数F(fs)の設定例を示している。
【０１２０】
（A）各空間周波数帯の全域を一律にn倍に低減した場合には、マイケルソンコントラストがn倍に低減される。
【０１２１】
（B）低い空間周波数帯を低減した場合には、３次元画像に対して、エッジを保持し、陰影を低減する処理となり、高周波成分を残しすぎるとテクスチャの印象が変化することがある。
【０１２２】
（C）高い空間周波数帯を低減した場合には、３次元画像に対して、陰影を保持し、エッジを低減する処理となり、（A）全域低減よりボケたような印象になることがある。
【０１２３】
図７、図１０、および、図１１に示した重み関数F(fs)は、いずれも、関数が常に正側または負側の領域となるように設定された例であるが、入力値Iの調整量△Iについての制約条件を満たすのであれば、常に正側または負側の領域となるような重み関数F(fs)である必要はない。
【０１２４】
図１２は、画像上の物体をより手前に調整する場合の、さらにその他の重み関数F(fs)の設定例を示している。
【０１２５】
画像上の物体をより手前に調整する場合には、入力値Iの調整量△Iが正であるという制約条件（△I＞０）を満たしさえすれば、図１２に示すような重み関数F(fs)の設定も可能である。
【０１２６】
図１２は、（A）低い空間周波数帯を強調し、高い空間周波数帯を低減（B）特定の空間周波数帯を重点的に強調、の場合の重み関数F(fs)の設定例を示している。
【０１２７】
（A）低い空間周波数帯を強調し、高い空間周波数帯を低減した場合には、３次元画像に対して、エッジを強調し、陰影を低減する処理となる。
【０１２８】
（B）特定の空間周波数帯を重点的に強調する処理は、例えば、画像特徴量に応じて調整する空間周波数帯を選択して処理する場合に使用される。
【０１２９】
画像上の物体をより奥に調整する場合においても、入力値Iの調整量△Iが負であるという制約条件（△I＜０）を満たしさえすれば、図１２と同様の重み関数F(fs)を設定することが可能である。即ち、図示は省略するが、低い空間周波数帯を低減し、高い空間周波数帯を強調したり、特定の空間周波数帯を重点的に低減する重み関数F(fs)の設定などが可能である。
【０１３０】
［奥行き効率のその他の例］
上述した実施の形態において、評価関数の入力値Iは、式（２）のように、各周波数成分fsのコントラストC(fs)と、その空間数周波数fsの奥行き効率E(fs)の積和で求めた。
【０１３１】
しかし、入力値Iのその他の計算例として、式（２）の空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮して、入力値Iを計算することも可能である。
【０１３２】
以下の式（１９）は、空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮した場合の入力値Iの演算式であり、式（２０）は、奥行き効率E(fs,ft)を表す式である。
【数１４】
【０１３３】
奥行き効率E(fs,ft)は、式（２０）から分かるように、空間数周波数fsに対する奥行き効率E(fs)と、時間数周波数ftに対する奥行き効率E(ft)の積で表される。
【０１３４】
図１３は、式（２０）の時間数周波数ftに対する奥行き効率E(ft)のガウス近似式に対応する、時間数周波数ftと奥行き効率E(ft)との関係を表す視覚実験のデータを示している。
【０１３５】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、本技術が適用された画像処理装置の第２の実施の形態の構成例を示している。
【０１３６】
図１４は、周波数解析部５１とコントラスト解析部５２が新たに設けられている点が、上述した第1の実施の形態と異なる。
【０１３７】
周波数解析部５１は、３次元画像の空間周波数成分の解析を行う。空間周波数成分の解析には、例えば、ガボールフィルタ（Gabor filter）を用いる手法を採用することができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（x，y，λ，θ，ψ，σ，γ）は、式（２１）で表される。
【数１５】
式（２１）において、x，yは輝度画像の座標値を、λは空間周波数に対応する波長を、θは方位（方向）を、ψは位相を、σはガウス分布の分散を、γはアスペクト比を、それぞれ表す。
【０１３８】
例えば、周波数解析部５１は、λを１cpdの波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像の１cpdの空間周波数成分を有する領域を抽出することができる。輝度画像のその他の空間周波数成分を有する領域を抽出する場合も同様に、λを適宜設定して、そのガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と輝度画像の輝度値を畳み込み積分することで、求めることができる。例えば、λは、上述した１cpdの波長の他、０．５cpd、２cpd、４cpd、８cpdの５種類の波長に設定して、空間周波数成分の解析を行うことができる。勿論、その他の波長をさらに加えたり、これら以外の波長について解析してもよい。
【０１３９】
このように、λを所定の空間周波数の波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像のどの領域にどの空間周波数の成分が含まれるかが分かる。
【０１４０】
コントラスト解析部５２は、輝度成分計算部１１で計算された３次元画像の輝度成分を用いて、３次元画像のコントラスト成分を抽出する。具体的には、コントラスト解析部５２は、コントラスト成分を抽出する処理の単位である処理単位領域として、例えば、上述のM×N画素の領域を決定する。そして、コントラスト解析部５２は、決定した処理単位領域について、式（１８）のマイケルソンコントラストを算出する。各処理単位領域は、一部が重複するように設定してもよいし、重複しないようにタイル状に設定してもよい。精度を重視する場合には、１画素単位でずらすようにすればよい。
【０１４１】
周波数解析部５１で解析された空間周波数成分の特徴（分布）、及び、コントラスト解析部５２で解析されたコントラスト成分の特徴（分布）は、奥行き制御部１７に供給される。奥行き制御部１７では、それらの特徴を用いて、各空間周波数fsのゲインの重みを決定することができる。即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の決定を、周波数解析部５１とコントラスト解析部５２の解析結果に基づいて行うことができる。
【０１４２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１４５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１４６】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１４７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１４９】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１５０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５１】
なお、本技術は以下のような構成も取ることができる。
（１）
入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
を備える画像処理装置。
（２）
入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
をさらに備え、
前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
前記（１）に記載の画像処理装置。
（３）
前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
前記（２）に記載の画像処理装置。
（４）
各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む画像処理方法。
（８）
コンピュータに、
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【０１５２】
１ 画像処理装置， １２ 奥行き推定部， １３ 奥行き調整量定義関数記憶部， １４ 奥行き調整量決定部， １５ 評価関数記憶部， １６ I値調整量決定部， １７ 奥行き制御部， １８ 空間周波数重み設定部， ３１ 周波数空間変換部， ３２ ゲイン計算部， ３３ ゲイン重畳部， ３４ 逆変換部
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる方法として、両眼視差（左眼と右眼の視差）が設けられている左眼用２次元画像と右眼用２次元画像を、それぞれ、鑑賞者の左眼と右眼に呈示する方法がある。
【０００３】
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがある。人間は、単眼立体情報と両眼立体情報とを併せて、物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差、水平輻輳などがあり、単眼立体情報には、例えば、陰影、コントラスト、色、空間周波数、遮蔽関係などがある。
【０００４】
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる場合において、立体感や奥行き感を強調したいとき、例えば、両眼立体情報のうちの一つである両眼視差を大きくする方法が考えられる。
【０００５】
しかし、両眼視差を大きくすることは、人間の眼球構造や視覚特性の観点からすると、次のような問題がある。すなわち、人間の眼球は、通常、平行からやや内向きの輻輳状態になっているため、両眼視差が瞳孔間距離よりも大きくなると、両眼が外側に向く開散状態となる。瞳孔間距離は年齢や性別などによって異なるため、特に、瞳孔間距離が通常よりも狭い人は、開散状態になりやすい。
【０００６】
また、現実世界においては、注視点に両眼の視線が向けられ、かつ眼の焦点も合わせられているため、眼球の輻輳と調節の距離が一致している。しかし、左眼用２次元画像と右眼用２次元画像により３次元画像を知覚させる場合には、輻輳は３次元画像として知覚する位置に合わせられるが、調節は画像表示面に合わせられているため、眼球の輻輳による距離と調節による距離が一致しないこととなる。従って、両眼視差を大きくすることで立体感や奥行き感を強調することは、この眼球の輻輳による距離と調節による距離をさらに一致しない方向に変化させることになるため、鑑賞者に不自然さを知覚させたり、不快感や視覚疲労を覚えさせたりすることになりやすい。
【０００７】
そこで、鑑賞者の不快感や視覚疲労を軽減するように両眼視差を調整する方法も提案されている。例えば、特許文献１で提案されている方法は、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対し、許容できるか否かを応答させることで、両眼視差を調整するものである。
【０００８】
しかし、特許文献１の方法で鑑賞者の不快感や視覚疲労を軽減しようとすると、基本的には両眼視差が立体感や奥行き感を減らす方向に調整されることになるため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを覚えることにもなる。
【０００９】
従って、両眼視差を大きくすることで３次元画像の立体感や奥行き感を強調するのは適切ではない。
【００１０】
一方、単眼立体情報を用いて、立体感や奥行き感を強調する方法も提案されている。例えば、特許文献２では、画像内のオブジェクトの奥行き位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることで、奥行き感を強調させることが提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第３７４９２２７号公報
【特許文献２】特開２００１−２３８２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
【００１３】
本技術は、このような状況に鑑みてなされたものであり、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の一側面の画像処理装置は、入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部とを備える。
【００１５】
本技術の一側面の画像処理方法は、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む。
【００１６】
本技術の一側面のプログラムは、コンピュータに、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのものである。
【００１７】
本技術の一側面においては、入力された３次元画像の奥行き調整量が決定され、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された奥行き調整量に対応する入力値の調整量が決定され、決定された入力値の調整量に基づいて、各空間周波数成分のゲイン値が計算され、計算された各空間周波数成分のゲイン値により、入力された３次元画像の各空間周波数成分が調整される。
【００１８】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１９】
記録装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００２０】
本発明の一側面によれば、３次元画像の奥行き感を制御することができる。
【００２１】
また、本発明の一側面によれば、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本技術が適用された画像処理装置の第1の実施の形態の構成例を示すブロック図である。
【図２】奥行き調整量定義関数の一例を示す図である。
【図３】評価関数の例を示す図である。
【図４】空間数周波数fsと奥行き効率E(fs)との関係を示す図である。
【図５】I値調整量決定部の処理を説明する図である。
【図６】奥行き制御部の処理の詳細について説明する図である。
【図７】奥行き制御部の処理の詳細について説明する図である。
【図８】奥行き制御部の処理の詳細について説明する図である。
【図９】奥行き制御処理について説明するフローチャートである。
【図１０】重み関数F(fs)のその他の例を示す図である。
【図１１】重み関数F(fs)のその他の例を示す図である。
【図１２】重み関数F(fs)のその他の例を示す図である。
【図１３】時間数周波数ftと奥行き効率E(ft)との関係を示す図である。
【図１４】本技術が適用された画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１５】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
＜１．第1の実施の形態＞
［画像処理装置の構成例］
図１は、本技術が適用された画像処理装置の第1の実施の形態の構成例を示している。
【００２４】
画像処理装置１は、入力された３次元画像の奥行き感を強調させるため、その３次元画像の空間周波数を調整する処理を行う。ここで、３次元画像とは、鑑賞者に３次元画像を知覚させるための２次元画像をいう。
【００２５】
画像処理装置１に入力された３次元画像は、輝度成分計算部１１に供給される。なお、外部から入力される３次元画像のデータ形式には様々な形式があるが、その形式は問わない。３次元画像のデータ形式には、例えば、左眼用画像（L画像）と右眼用画像（R画像）から構成されるステレオ画像の形式である第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形式である第２のデータ形式、２次元画像とその奥行き情報という形式である第３のデータ形式などがある。本実施の形態では、第１のデータ形式で３次元画像の画像データが供給されるものとして、画像処理装置１は、左眼用画像と右眼用画像それぞれに対して処理を行うものとする。
【００２６】
輝度成分計算部１１は、供給される３次元画像（左眼用画像と右眼用画像）の輝度成分を計算する。例えば、供給される３次元画像がRGB表色系における線形のRGB値で表されている場合、輝度成分計算部１１は、ITU-R BT709で規定される次式（１）により、輝度値Yに変換することで、３次元画像の輝度成分を計算する。
Y=０．２１２６R＋０．７１５２G＋０．０７２２B・・・・・（１）
【００２７】
式（１）により、左眼用画像または右眼用画像それぞれの輝度画像が得られる。以下において左眼用画像と右眼用画像を特に区別しない場合、単に、輝度画像といい、また、３次元画像という場合であっても、左眼用画像及び右眼用画像それぞれの輝度画像に対する処理を行うものとする。なお、３次元画像は、必ずしもRGB値からなる形式（RGB信号）で表されている必要はなく、CIE XYZ表色系におけるXYZ値で表されている場合には、輝度値Yで構成される画像が輝度画像とされる。また、輝度値の算出（抽出）も、式（１）以外の方法で算出してもよい。輝度成分計算部１１により計算されて得られた輝度画像が奥行き推定部１２に供給される。
【００２８】
奥行き推定部１２は、輝度成分計算部１１から供給された輝度画像の各画素について奥行き情報（ディスパリティ）を推定する。具体的には、奥行き推定部１２は、ステレオ画像における水平方向の対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法などの手法を用いることで算出することができる。
【００２９】
また、３次元画像が第２のデータ形式で入力された場合には、奥行き推定部１２は、３以上の視点画像のうちの対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。さらに、３次元画像が第３のデータ形式で入力された場合には、奥行き推定部１２は、奥行き情報そのものが供給されるので、それを採用する。
【００３０】
奥行き推定部１２により推定された奥行き情報は、奥行き調整量決定部１４に供給される。
【００３１】
奥行き調整量定義関数記憶部１３は、奥行き情報（の値）に対する奥行き調整量を定義した奥行き調整量定義関数を記憶し、奥行き調整量決定部１４に供給する。
【００３２】
［奥行き調整量定義関数の一例]
図２は、奥行き調整量定義関数記憶部１３に記憶される奥行き調整量定義関数の一例を示している。
【００３３】
図２の横軸は、入力された３次元画像において検出される奥行き情報［画素］を示し、縦軸は奥行き調整量［arcmin：角度分］を示している。奥行き情報は、正の値が画像上の物体をユーザが奥に知覚するディスパリティであり、負の値が画像上の物体をユーザが手前に知覚するディスパリティである。奥行き調整量は、正の値が手前に変化させることを表し、負の値が奥に変化させることを表す。
【００３４】
図２で示される奥行き調整量定義関数では、入力された３次元画像において奥にある物体は、より奥に変化するように移動させ、手前にある物体は、より手前に変化するように移動させて、３次元画像全体として立体感を増すような関数として定義されている。
【００３５】
図１の奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている、このような奥行き調整量定義関数に基づいて、輝度画像の各画素について奥行き調整量を決定する。例えば、奥行き情報がｄである輝度画像のある画素に対して、奥行き調整量決定部１４は、図２の奥行き調整量定義関数を用いて、奥行き調整量を△Dと決定する。
【００３６】
図１に戻り、評価関数記憶部１５は、視覚実験によって得られた、３次元画像から得られる入力値Iと、主観的に知覚される奥行き量である主観的奥行き量ｚとの関係を定量化した評価関数を記憶する。
【００３７】
［評価関数の説明］
図３は、視覚実験によって得られた評価関数の例を示している。
【００３８】
図３において、対数軸である横軸は、次式（２）で求められる入力値Iを表し、縦軸は主観的奥行き量ｚを表す。
【数１】
【００３９】
式（２）のC(fs)は、輝度画像の画像全体に含まれる空間周波数成分をN個の空間周波数成分fsに分類したときの各周波数成分fsのコントラストを表す。式（２）のE(fs)は、各空間数周波数fsの奥行き効率を表す。各空間数周波数fsの奥行き効率E(fs)とは、各空間数周波数fsが奥行き知覚に与える重みであり、視覚実験によって得られた値である。
【００４０】
従って、入力値Iは、各空間周波数成分fsのコントラストと、その空間周波数成分fsの重みを乗算した乗算結果の、画像全体のN個の空間周波数成分fsについての総和であるということができる。
【００４１】
図４は、視覚実験により得られた空間数周波数fsと奥行き効率E(fs)との関係を示している。
【００４２】
横軸の空間数周波数fsは、人間の目の１°（degree）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はcpd（cycle per degree）である。
【００４３】
視覚実験では、様々な空間数周波数fsの画像（パターン）を被験者に提示し、その画像から、被験者が奥行き量（奥行き位置）をどの程度に感じるかが実験される。
【００４４】
図４に示されるデータによれば、空間数周波数fsと奥行き効率E(fs)との関係は、空間数周波数fsが大きくなるほど、重みが小さい（奥行き知覚に与える影響が小さい）ことを示している。
【００４５】
式（２）の奥行き効率E(fs)は、図４に示される空間数周波数fsと奥行き効率E(fs)との関係を定式化したものであり、例えば、ガウス近似式で表した次式（３）が採用される。
【数２】
ここで、Aは係数、fs0は空間周波数fsのオフセット、σsは空間周波数fsの標準偏差を表す。
【００４６】
一方、図３の縦軸である主観的奥行き量ｚは、視覚実験の被験者が知覚した実際の奥行き量である実データｘを、以下の式（４）の計算式で換算したものであり、実データｘを正規化または標準化したものに相当する。このような主観的奥行き量ｚを採用することで、データの単位を揃えることができるので、データ感の比較が容易となり、実データの絶対的なバラツキを排除した解析が可能となる。
【数３】
【００４７】
主観的奥行き量ｚは、大きい値であるほど、ユーザが物体を手前に知覚することを示す。主観的奥行き量ｚは、次式（５）を用いて、単位をarcminとする奥行き調整量に換算することが可能である。
【数４】
【００４８】
３次元画像から得られる入力値Iと、主観的奥行き量ｚとの関係を定量化した評価関数は、例えば、視覚系の応答について利用されるNaka-Rushtonの式と、z=A×log10（I）＋B，（A，Bは定数）の対数式の２種類で表すことができる。
【００４９】
図３において実線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係を対数関数で定義した場合を示しており、その式は、式（６）で表される。また、破線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係をNaka-Rushtonの式で定義した場合を示しており、その式は、式（７）で表される。
【数５】
【００５０】
評価関数によれば、３次元画像の入力値Iが大きくなるように調整することで、物体を手前に知覚させることができることがわかる。反対に、物体を奥に知覚させるように調整したい場合には、その逆の調整が必要である。
【００５１】
そこで、I値調整量決定部１６は、このような評価関数に基づいて、図５に示すように、奥行き調整量決定部１４で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００５２】
具体的には、I値調整量決定部１６は、奥行き調整量決定部１４で決定された奥行き調整量△Dを、上述した式（５）により、主観的奥行き量ｚの調整量△ｚに換算する。そして、I値調整量決定部１６は、換算して得られた主観的奥行き量ｚの調整量△ｚに対応する入力値Iの調整量△I（＝I1-I2）を決定する。
【００５３】
なお、図５において、縦軸のｚ1及びｚ2は、主観的奥行き量調整前の入力時の３次元画像の主観的奥行き量ｚと、主観的奥行き量調整後の３次元画像の主観的奥行き量ｚを示している。また、横軸のI1及びI2は、主観的奥行き量調整前の入力時の３次元画像の入力値Iと、主観的奥行き量調整後の３次元画像の入力値Iを示している。しかし、奥行き量調整のためには、入力値I1と入力値I2自体は知る必要がなく、入力値Iの調整量△Iが分かればよい。そして、入力値Iの調整量△Iは、対数関数である式（７）の評価関数を採用すれば、傾き一定であるので簡単に算出することができる。
【００５４】
図１に戻り、I値調整量決定部１６は、以上のようにして、奥行き調整量決定部１４から供給される奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００５５】
奥行き制御部１７は、I値調整量決定部１６で決定された入力値Iの調整量△Iを満たすように、３次元画像の空間周波数成分を調整することで、入力された３次元画像の奥行きを調整（制御）し、調整後の３次元画像を出力する。
【００５６】
奥行き制御部１７は、周波数空間変換部３１、ゲイン計算部３２、ゲイン重畳部３３、及び逆変換部３４を有する。
【００５７】
周波数空間変換部３１は、３次元画像を周波数空間に変換する。即ち、周波数空間変換部３１は、入力された３次元画像（の画像データ）に対してDFT（Discrete Fourier Transformation：離散フーリエ変換）演算を行うことにより、画像空間から周波数空間に変換する。以下では、周波数空間に変換された３次元画像を、周波数空間画像という。
【００５８】
ゲイン計算部３２は、I値調整量決定部１６からの入力値Iの調整量△Iを満たす、各空間周波数fsのゲインを計算する。
【００５９】
ゲイン重畳部３３は、周波数空間画像に対し、ゲイン計算部３２で得られたゲインを重畳することにより、３次元画像の空間周波数を調整（変更）する。
【００６０】
逆変換部３４は、周波数空間画像に対してIDFT（Inversed DFT）演算を行うことにより、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の３次元画像を、空間周波数調整後の３次元画像として出力する。
【００６１】
空間周波数重み設定部１８は、ゲイン計算部３２で各空間周波数fsのゲインを計算するために必要となる、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を、ユーザの操作に基づいて設定し、ゲイン計算部３２に供給する。空間周波数重み設定部１８の内部には、低域側を強調したり、高域側を強調したり、全域を強調したりなどの特性を有する各種の重み関数F(fs)が記憶されている。
【００６２】
画像処理装置１は、以上のように構成される。
【００６３】
［奥行き制御部１７の詳細処理］
次に、図６乃至図８を参照して、奥行き制御部１７の処理の詳細について説明する。
【００６４】
図６は、奥行き制御部１７が行う一連の処理の概要を示している。
【００６５】
入力画像である３次元画像（輝度画像）の所定の位置にあるm×n画素（m，n＞０）を、空間周波数調整の対象として注目し、m×n画素の輝度値（画素値）の空間周波数を調整する場合について説明する。この場合、m×n画素の周辺のM×N画素（M＞m，N＞n）が処理対象領域に設定される。ここで、m，n，N、およびMは、例えば、m，n＝２、M，N＝１１４などとすることができる。
【００６６】
周波数空間変換部３１は、DFT演算を行うことにより、３次元画像を、画像空間から周波数空間に変換する。ここで、画像空間上の輝度画像をｆ（ｋ，ｌ）で表し、周波数空間に変換して得られるフーリエ係数をF(x,y)で表すと、周波数空間変換部３１の処理は、次式（８）で表すことができる。
【数６】
【００６７】
次に、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
【００６８】
図７は、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の例を示している。
【００６９】
奥行き調整量△Dが正である場合には、入力値Iの調整量△Iも正である必要があるため（△D＞０⇔△I＞０）、入力値Iの調整量△Iも正となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
【００７０】
図７Aは、空間周波数重み設定部１８から供給される、△I＞０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Aは、輝度画像上の物体をより手前に調整するための重み関数F(fs)の例である。
【００７１】
図７Aの重み関数F(fs)は、全ての空間周波数fsにおいて、常に正となるように設定されているので、△I＞０の制約条件を満たす。また、図７Aの重み関数F(fs)は、高域側の周波数成分を特に強調するような設定とされている。
【００７２】
一方、奥行き調整量△Dが負である場合には、入力値Iの調整量△Iも負である必要があるため（△D＜０⇔△I＜０）、入力値Iの調整量△Iも負となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
【００７３】
図７Bは、空間周波数重み設定部１８から供給される、△I＜０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Bは、輝度画像上の物体をより奥に調整するための重み関数F(fs)の例である。
【００７４】
図７Bの重み関数F(fs)は、全ての空間周波数fsにおいて、常に負となるように設定されているので、△I＜０の制約条件を満たす。また、図７Bの重み関数F(fs)は、高域側の周波数成分の落ち込みを抑えるような設定とされている。
【００７５】
ゲイン計算部３２は、空間周波数重み設定部１８から重み関数F(fs)を取得し、次式（９）の、入力値Iの調整量△Iを満たすような空間周波数コントラストC’(fs)を算出する。
【数７】
ここで、C’(fs)は、空間周波数調整後の各周波数成分fsのコントラストを表す。
【００７６】
空間周波数調整後の空間周波数コントラストC’(fs)の算出方法について説明する。
【００７７】
初めに、ゲイン計算部３２は、上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)を、０ないし１００の範囲の値に正規化することにより、空間周波数調整前の空間周波数コントラストC(x,y)を求める。
【００７８】
図８は、奥行き制御部１７の周波数空間の演算で利用される、空間周波数対応テーブルを示した図である。なお、図８は、M，N＝１１４の例である。
【００７９】
空間周波数対応テーブルは、画像空間の画素数と同一の１１４行×１１４列からなり、テーブルの各要素が各空間周波数fsに対応する。空間周波数対応テーブルは、図８Aに示されるように、左上隅に配置されるDC成分と、それ以外のAC成分で表される。空間周波数対応テーブルのAC成分は、おおよそ0.5cpdないし40cpdの空間周波数であって、１１４行×１１４列のテーブルの中心に高域成分、境界（周辺）に低域成分が配置される。
【００８０】
図８Bは、図８Aにおいて破線で示されるDC成分周辺の拡大図を示し、マス目内の値は、そのマス（の要素）が対応する空間周波数fsを示している。
【００８１】
上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)は、このような空間周波数対応テーブルを用いて得ることが出来るので、フーリエ係数F(x,y)を０ないし１００の範囲の値に正規化して得られるC(x,y)も同様に求めることができる。そして、C(x,y)が分かれば、空間周波数調整前の空間周波数コントラストC(fs)も得られる。例えば、図８Bの対応テーブルにおいて斜線を付して示される、DC成分の隣の第１行第２列の要素であるC(1,2)に格納される値がC(fs＝0.5)に相当する。
【００８２】
ゲイン計算部３２は、空間周波数重み設定部１８から取得した重み関数F(fs)が調整量△Iに対応するように、式（１０）により、重み関数F(fs)を正規化し、正規化後の重み関数F'(fs)を得る。
【数８】
【００８３】
式（１０）により、重み関数F(fs)を、いわば後処理的に調整量△Iとなるように調整することができるので、空間周波数重み設定部１８において重み関数F(fs)を設定する場合に、ユーザは、各空間周波数fsに与えるゲインの重みのみに注意すればよい。これにより、重み関数F(fs)の設計が容易になる。
【００８４】
次に、ゲイン計算部３２は、周波数空間画像に直接付加するゲインである、各空間周波数fsのゲインG(fs)を、次式（１１）により設定する。
G(fs)＝１＋F'(fs) ・・・・・・・・・・・・・（１１）
【００８５】
重み関数F(fs)は、入力値Iの調整量が△Iとなるように式（１０）により正規化した場合、（０以上）１以下の値になることがある。そのため、式（１１）で示されるように、正規化後の重み関数F'(fs)に１を加算したものが最終的な各空間周波数fsのゲインG(fs)とされる。これにより、重み関数F(fs)が正であれば（F(fs)＞０）、ゲインG(fs)が１以上となり、奥行き制御部１７では、各空間周波数fsのコントラストを高める処理が行われることになる。一方、重み関数F(fs)が負であれば（F(fs)＜０）、ゲインG(fs)が１未満となり、奥行き制御部１７では、各空間周波数fsのコントラストを抑制する処理が行われることになる。
【００８６】
ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、フーリエ変換のDFTフォーマットのゲインg(x,y)に変換する。即ち、ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、図８の空間周波数対応テーブルの形式に変換する。
【００８７】
ゲイン計算部３２が、入力値Iの調整量△Iを満たす各空間周波数fsのゲインG(fs)（＝g(x,y)）を求めることは、即ち、式（９）で表される、入力値Iの調整量△Iを満たす空間周波数コントラストC' (fs)を求めたことを意味する。
【００８８】
そして、図６に示すように、ゲイン重畳部３３は、DFT演算後のフーリエ係数F(x,y)のAC成分に、ゲイン計算部３２で得られたゲインg(x,y)を重畳し、空間周波数を調整する。即ち、ゲイン重畳部３３は、次式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
F'(x,y)＝F(x,y)・g(x,y) ・・・・・・・・・・・・・（１２）
【００８９】
最後に、逆変換部３４は、ゲイン重畳後のフーリエ係数F'(x,y)をIDFT演算（Inversed DFT）することにより、周波数空間から画像空間へ逆変換する。即ち、逆変換部３４は、次式（１３）を演算し、空間周波数調整後の輝度画像f'(k,l)を得る。
【数９】
【００９０】
そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力する。
【００９１】
なお、本実施の形態では、奥行き制御部１７において、３次元画像を周波数空間に変換する演算として、フーリエ変換を採用しているが、ウェーブレット変換やコサイン変換などのその他の空間周波数変換手段（演算）を用いてもよい。
【００９２】
［奥行き調整処理のフローチャート］
次に、図９のフローチャートを参照して、画像処理装置１が行う、空間周波数調整により奥行きを制御する奥行き制御処理について説明する。この処理は、例えば、３次元画像が入力されたとき開始される。
【００９３】
初めに、ステップＳ１において、輝度成分計算部１１は、外部から入力された３次元画像の輝度成分を計算する。これにより、例えば、左眼用画像（L画像）と右眼用画像（R画像）それぞれの輝度画像が奥行き推定部１２に供給される。
【００９４】
ステップＳ２において、奥行き推定部１２は、輝度成分計算部１１から供給された３次元画像（輝度画像）の各画素について奥行き情報（ディスパリティ）を推定する。
【００９５】
ステップＳ３において、奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている奥行き調整量定義関数に基づいて、３次元画像の各画素について奥行き調整量△Dを決定する。
【００９６】
ステップＳ４において、I値調整量決定部１６は、評価関数記憶部１５に記憶されている評価関数に基づいて、ステップＳ３で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
【００９７】
ステップＳ５において、周波数空間変換部３１は、DFT演算を行うことにより、入力画像である３次元画像を周波数空間に変換する。
【００９８】
ステップＳ６において、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
【００９９】
ステップＳ７において、ゲイン計算部３２は、式（１０）により、調整量△Iとなるように重み関数F(fs)を正規化する。これにより、正規化後の重み関数F'(fs)が得られる。
【０１００】
ここで、M×N画素の入力値Iの算出方法について説明する。M×N画素の入力値Iは、例えば、以下の２種類の算出方法を採用することができる。
【０１０１】
第１の算出方法は、図８に示した空間周波数対応テーブルを利用して、式（３）の奥行き効率E(fs)をE(x,y)に変換し、次式（１４）により計算する方法である。
【数１０】
【０１０２】
第２の算出方法は、基準となる空間周波数を定めて積算する方法である。具体的には、例えば、基準となる空間周波数fsが、0.5cpd,1.0cpd,2.0cpd,4.0cpd,8.0cpdの５種類に決定されているとする。
【０１０３】
初めに、以下の式（１５）または式（１６）のいずれかにより、基準周波数fsを中心とする所定の範囲内の空間周波数コントラストC(fs)が、基準周波数fsの空間周波数コントラストC(fs)として求められる。
【数１１】
【０１０４】
そして、式（１７）により、入力値Iが求められる。即ち、計算された各基準周波数fsと奥行き効率E(fs)との積和が計算され、入力値Iとされる。
【数１２】
【０１０５】
なお、これらの２種類の算出方法には、値を単純加算するのではなく、複数の隣接する空間周波数の平均化した値を加算するなどの変形もあり得る。
【０１０６】
ステップＳ７において、正規化後の重み関数F'(fs)が求められた後、ステップＳ８において、ゲイン計算部３２は、上述した式（１１）により、各空間周波数fsのゲインG(fs)を計算する。
【０１０７】
そして、ステップＳ９において、ゲイン計算部３２は、計算により得られた各空間周波数fsのゲインG(fs)を、DFTフォーマットのゲインg(x,y)に変換する。
【０１０８】
ステップＳ１０において、ゲイン重畳部３３は、上述した式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
【０１０９】
ステップＳ１１において、逆変換部３４は、IDFT演算を行うことにより、ゲイン重畳後のフーリエ係数F'(x,y)を、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力して、終了する。
【０１１０】
画像処理装置１では、以上のようにして、奥行き調整量定義関数に基づいて決定された入力画像の各画素の奥行き調整量△Dに対応する入力値Iの調整量△Iが決定され、その調整量△Iを満たすように、入力画像の各空間周波数fsが制御される。奥行き調整量△Dに対応する入力値Iの調整量△Iは、画像パターンの各空間周波数fsに対する人間の視覚特性を評価した評価関数に基づいて決定され、また、各空間周波数fsに所望の重みを設定することが可能である。従って、人間の視覚特性に基づいて単眼立体情報のパラメータである空間周波数を調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
【０１１１】
［重み関数F(fs)の設定例］
上述した実施の形態では、各空間周波数fsに設定する重み、即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)として、図７を参照して説明したような、低域側または高域側を強調する関数の例を示した。
【０１１２】
図１０乃至図１２を参照して、重み関数F(fs)のその他の設定例について説明する。
【０１１３】
図１０は、画像上の物体をより手前に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが正である場合（△D＞０⇔△I＞０）の重み関数F(fs)の設定例を示している。
【０１１４】
また、図１０は、（A）各空間周波数帯の全域を一律にn倍に強調、（B）低い空間周波数帯を強調、（C）高い空間周波数帯を強調、の場合の３種類の重み関数F(fs)の設定例を示している。
【０１１５】
（A）各空間周波数帯の全域を一律にn倍に強調した場合には、マイケルソンコントラストがn倍に強調される。マイケルソンコントラストは、次式（１８）で定義される。
【数１３】
式（１８）において、Lmaxは、３次元画像の処理単位領域内の輝度値の最大値、Lminは、３次元画像の処理単位領域内の輝度値の最小値を表す。処理単位領域の大きさは、視角と画素数の関係から、最適な大きさに適宜設定される。
【０１１６】
（B）低い空間周波数帯を強調した場合には、３次元画像に対して、陰影を強調し、エッジを保持する処理となり、相対的にシャッキリ感は減少することがある。
【０１１７】
（C）高い空間周波数帯を強調した場合には、３次元画像に対して、エッジを強調し、陰影を保持する処理となり、同程度の輝度値が並ぶのっぺりした領域で、ノイズが強調されることがある。
【０１１８】
図１１は、画像上の物体をより奥に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが負である場合（△D＜０⇔△I＜０）の重み関数F(fs)の設定例を示している。
【０１１９】
また、図１１は、（A）各空間周波数帯の全域を一律にn倍に低減、（B）低い空間周波数帯を低減、（C）高い空間周波数帯を低減、の場合の３種類の重み関数F(fs)の設定例を示している。
【０１２０】
（A）各空間周波数帯の全域を一律にn倍に低減した場合には、マイケルソンコントラストがn倍に低減される。
【０１２１】
（B）低い空間周波数帯を低減した場合には、３次元画像に対して、エッジを保持し、陰影を低減する処理となり、高周波成分を残しすぎるとテクスチャの印象が変化することがある。
【０１２２】
（C）高い空間周波数帯を低減した場合には、３次元画像に対して、陰影を保持し、エッジを低減する処理となり、（A）全域低減よりボケたような印象になることがある。
【０１２３】
図７、図１０、および、図１１に示した重み関数F(fs)は、いずれも、関数が常に正側または負側の領域となるように設定された例であるが、入力値Iの調整量△Iについての制約条件を満たすのであれば、常に正側または負側の領域となるような重み関数F(fs)である必要はない。
【０１２４】
図１２は、画像上の物体をより手前に調整する場合の、さらにその他の重み関数F(fs)の設定例を示している。
【０１２５】
画像上の物体をより手前に調整する場合には、入力値Iの調整量△Iが正であるという制約条件（△I＞０）を満たしさえすれば、図１２に示すような重み関数F(fs)の設定も可能である。
【０１２６】
図１２は、（A）低い空間周波数帯を強調し、高い空間周波数帯を低減（B）特定の空間周波数帯を重点的に強調、の場合の重み関数F(fs)の設定例を示している。
【０１２７】
（A）低い空間周波数帯を強調し、高い空間周波数帯を低減した場合には、３次元画像に対して、エッジを強調し、陰影を低減する処理となる。
【０１２８】
（B）特定の空間周波数帯を重点的に強調する処理は、例えば、画像特徴量に応じて調整する空間周波数帯を選択して処理する場合に使用される。
【０１２９】
画像上の物体をより奥に調整する場合においても、入力値Iの調整量△Iが負であるという制約条件（△I＜０）を満たしさえすれば、図１２と同様の重み関数F(fs)を設定することが可能である。即ち、図示は省略するが、低い空間周波数帯を低減し、高い空間周波数帯を強調したり、特定の空間周波数帯を重点的に低減する重み関数F(fs)の設定などが可能である。
【０１３０】
［奥行き効率のその他の例］
上述した実施の形態において、評価関数の入力値Iは、式（２）のように、各周波数成分fsのコントラストC(fs)と、その空間数周波数fsの奥行き効率E(fs)の積和で求めた。
【０１３１】
しかし、入力値Iのその他の計算例として、式（２）の空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮して、入力値Iを計算することも可能である。
【０１３２】
以下の式（１９）は、空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮した場合の入力値Iの演算式であり、式（２０）は、奥行き効率E(fs,ft)を表す式である。
【数１４】
【０１３３】
奥行き効率E(fs,ft)は、式（２０）から分かるように、空間数周波数fsに対する奥行き効率E(fs)と、時間数周波数ftに対する奥行き効率E(ft)の積で表される。
【０１３４】
図１３は、式（２０）の時間数周波数ftに対する奥行き効率E(ft)のガウス近似式に対応する、時間数周波数ftと奥行き効率E(ft)との関係を表す視覚実験のデータを示している。
【０１３５】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、本技術が適用された画像処理装置の第２の実施の形態の構成例を示している。
【０１３６】
図１４は、周波数解析部５１とコントラスト解析部５２が新たに設けられている点が、上述した第1の実施の形態と異なる。
【０１３７】
周波数解析部５１は、３次元画像の空間周波数成分の解析を行う。空間周波数成分の解析には、例えば、ガボールフィルタ（Gabor filter）を用いる手法を採用することができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（x，y，λ，θ，ψ，σ，γ）は、式（２１）で表される。
【数１５】
式（２１）において、x，yは輝度画像の座標値を、λは空間周波数に対応する波長を、θは方位（方向）を、ψは位相を、σはガウス分布の分散を、γはアスペクト比を、それぞれ表す。
【０１３８】
例えば、周波数解析部５１は、λを１cpdの波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像の１cpdの空間周波数成分を有する領域を抽出することができる。輝度画像のその他の空間周波数成分を有する領域を抽出する場合も同様に、λを適宜設定して、そのガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と輝度画像の輝度値を畳み込み積分することで、求めることができる。例えば、λは、上述した１cpdの波長の他、０．５cpd、２cpd、４cpd、８cpdの５種類の波長に設定して、空間周波数成分の解析を行うことができる。勿論、その他の波長をさらに加えたり、これら以外の波長について解析してもよい。
【０１３９】
このように、λを所定の空間周波数の波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像のどの領域にどの空間周波数の成分が含まれるかが分かる。
【０１４０】
コントラスト解析部５２は、輝度成分計算部１１で計算された３次元画像の輝度成分を用いて、３次元画像のコントラスト成分を抽出する。具体的には、コントラスト解析部５２は、コントラスト成分を抽出する処理の単位である処理単位領域として、例えば、上述のM×N画素の領域を決定する。そして、コントラスト解析部５２は、決定した処理単位領域について、式（１８）のマイケルソンコントラストを算出する。各処理単位領域は、一部が重複するように設定してもよいし、重複しないようにタイル状に設定してもよい。精度を重視する場合には、１画素単位でずらすようにすればよい。
【０１４１】
周波数解析部５１で解析された空間周波数成分の特徴（分布）、及び、コントラスト解析部５２で解析されたコントラスト成分の特徴（分布）は、奥行き制御部１７に供給される。奥行き制御部１７では、それらの特徴を用いて、各空間周波数fsのゲインの重みを決定することができる。即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の決定を、周波数解析部５１とコントラスト解析部５２の解析結果に基づいて行うことができる。
【０１４２】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１４５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１４６】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１４７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４８】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１４９】
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１５０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５１】
なお、本技術は以下のような構成も取ることができる。
（１）
入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
を備える画像処理装置。
（２）
入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
をさらに備え、
前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
前記（１）に記載の画像処理装置。
（３）
前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
前記（２）に記載の画像処理装置。
（４）
各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む画像処理方法。
（８）
コンピュータに、
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む処理を実行させるためのプログラム。
【符号の説明】
【０１５２】
１ 画像処理装置， １２ 奥行き推定部， １３ 奥行き調整量定義関数記憶部， １４ 奥行き調整量決定部， １５ 評価関数記憶部， １６ I値調整量決定部， １７ 奥行き制御部， １８ 空間周波数重み設定部， ３１ 周波数空間変換部， ３２ ゲイン計算部， ３３ ゲイン重畳部， ３４ 逆変換部
【特許請求の範囲】
【請求項１】
入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
を備える画像処理装置。
【請求項２】
入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
をさらに備え、
前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
請求項１に記載の画像処理装置。
【請求項３】
前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
請求項２に記載の画像処理装置。
【請求項４】
各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
請求項１に記載の画像処理装置。
【請求項５】
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
請求項１に記載の画像処理装置。
【請求項６】
入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
請求項１に記載の画像処理装置。
【請求項７】
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む画像処理方法。
【請求項８】
コンピュータに、
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む処理を実行させるためのプログラム。
【請求項１】
入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
を備える画像処理装置。
【請求項２】
入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
をさらに備え、
前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
請求項１に記載の画像処理装置。
【請求項３】
前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
請求項２に記載の画像処理装置。
【請求項４】
各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
請求項１に記載の画像処理装置。
【請求項５】
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
請求項１に記載の画像処理装置。
【請求項６】
入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
請求項１に記載の画像処理装置。
【請求項７】
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む画像処理方法。
【請求項８】
コンピュータに、
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む処理を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２４７８９１（Ｐ２０１２−２４７８９１Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１７６４９（Ｐ２０１１−１１７６４９）
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２６日（２０１１．５．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]