画像処理装置、および画像処理方法、並びにプログラム
【課題】立体画像表示に適用する左画像と右画像の視差制御を行なう装置、方法を提供する。
【解決手段】左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【解決手段】左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）に対応した視差画像の視差制御を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ステレオ視（立体視）に対応したいわゆる視差画像（３次元画像、３Ｄ画像とも呼ばれる）を生成するためには、異なる視点からの画像、すなわち左眼用画像と右眼用画像が必要となる。すなわち、視差のある画像を左眼用画像と右眼用画像として生成し、左眼用画像を観察者（ユーザ）の左眼のみで観察し、右眼用画像を観察者（ユーザ）の右眼のみで観察する制御を行うことで、観察者は立体感を実感することができる。
【０００３】
なお、各画像をユーザの一方の眼で観察させるための構成としては様々な方法がある。例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、あるいは液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式などがある。一般的には、このような立体視用の特殊な眼鏡を装着して画像を観察することで立体画像の観察が可能となる。
このように、従来から、視差を持つ画像の提示による立体視の実現方法については、様々な手法が提案されている。
【０００４】
しかし、視差範囲、すなわち近くに見える被写体と遠くに見える被写体の幅が狭すぎると、十分な立体感が感じられないという問題がある。一方では、視差範囲が大きい３次元画像を長時間、観察し続けると疲労や気分が悪くなるといった観察者が発生するといった報告もある。このような問題を解決する手法として、立体感を適正に与えるために視差量を制御する手法が提案されている。
【０００５】
例えば、特許文献１（特開平０７−１６７６３３号公報）は、３次元画像を構成する左右の画像（左眼用画像と右眼用画像）から視差に相当する網膜像差（ディスパリティ）を検出して、検出した網膜像差（ディスパリティ）情報に基づいて左右の画像を水平シフトして視差を調整する方法を開示している。すなわち、この特許文献１に開示された方法は、ディスパリティの平均値を用いて画像全体を水平にシフトすることで、観察者が見やすい視差範囲に設定する画像変換方法である。
【０００６】
なお、ディスパリティとは、網膜像差、あるいは表示部における同一被写体の左眼用画像と右眼用画像間の距離に対応する値であり、ディスパリティが大きいほど視差が大きくなる。
この特許文献１に開示された方法は、ディスパリティの平均値を用いて画像全体を水平にシフトすることで、観察者が見やすい視差範囲に設定する画像変換方法である。
【０００７】
この特許文献１に開示された構成は、ディスパリティの平均値を用いて水平シフト量を決定する構成であり、少ない処理量での変換が可能となるというメリットがある。しかし、左右画像を全体的に水平シフトする構成であり、視差のダイナミックレンジ（最も近い被写体と遠い被写体の奥行きの差）を制御することはできないという問題がある。
【０００８】
また、非特許文献１（"Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅ ｆｏｒ ３Ｄ ＴＶ"，Ｌ．Ｚｈａｎｇ ａｎｄ Ｗ．Ｊ．Ｔａｍ， ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．５１，Ｎｏ．２，Ｊｕｎｅ ２００５）は、左右の画像から、画像の画素ごとに対応するディスパリティ（左画像と右画像のずれ）を記述したディスパリティマップを生成して、ディスパリティマップと原画像を用いて、異なる視点に対する画像を復元する方法を開示している。
【０００９】
この非特許文献１に開示された手法は、新たな視点からの画像を生成することが可能であり、ステレオ画像の視差のダイナミックレンジについても制御した画像を生成することができる。しかしながら、この非特許文献１に記載の方法では、画像の画素ごとのディスパリティ（像差）を記述したディスパリティマップを生成することが不可欠であり、処理コストが大きくなり、回路の小型化が難しいという問題がある。また、生成される画像の品質がディスパリティマップの精度に依存するため、高解像度かつ、高精度なディスパリティマップが求められる。このような高精度なディスパリティマップの生成は困難であり、回路規模を増大させる要因になる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０７−１６７６３３号公報
【非特許文献】
【００１１】
【非特許文献１】"Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅ ｆｏｒ ３Ｄ ＴＶ"，Ｌ．Ｚｈａｎｇ ａｎｄ Ｗ．Ｊ．Ｔａｍ， ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．５１，Ｎｏ．２，Ｊｕｎｅ ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、例えば上記の問題に鑑みてなされたものであり、画像の画素ごとのディスパリティを記述したディスパリティマップの生成を不要、または少ない処理での生成が可能なデータ量の少ない粗いディスパリティマップを生成するのみで、ステレオ画像における視差の制御を行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、
立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置にある。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記左画像変換部は、前記特徴量として前記左画像の画像信号の微分信号を生成する左画像微分器と、前記左画像の微分信号、または該微分信号の変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成する左画像合成部を有し、前記右画像変換部は、前記特徴量として前記右画像の画像信号の微分信号を生成する右画像微分器と、前記右画像の微分信号、または該微分信号の変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する右画像合成部を有する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記左画像変換部は、前記前記左画像の微分信号の非線形変換処理を実行する左画像非線形変換部を有し、前記左画像合成部は、前記左画像非線形変換部の生成した変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成し、前記右画像変換部は、前記前記右画像の微分信号の非線形変換処理を実行する右画像非線形変換部を有し、前記右画像合成部は、前記右画像非線形変換部の生成した変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、同一の微分態様による微分処理を実行し、前記左画像合成部と前記右画像合成部のいずれか一方は、各画像の微分信号または該微分信号の変換信号を入力画像信号に加算し、他方が入力画像信号から減算する処理を行う。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、入力画像信号の輝度信号の微分処理を実行する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置を解析して視差情報を生成する視差検出部を有し、前記左画像微分器と前記右画像微分器は、前記視差検出部の生成する前記視差情報に応じて、微分処理態様を変更して微分処理を実行する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記視差検出部は、画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置が、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する、
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する、
上記（ａ），（ｂ）いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記視差検出部は、画像処理装置に入力する前記左画像と前記右画像の縮小画像または間引き画像を適用して視差情報を生成する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記左画像微分器と前記右画像微分器の微分処理態様、または前記左画像非線形変換部と前記右画像非線形変換部における変換処理態様の少なくともいずれかを変更制御するための制御信号を入力する制御信号入力部を有する。
【００２３】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法にある。
【００２４】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラムにある。
【００２５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２７】
本発明の一実施例構成によれば、立体画像表示に適用する左画像と右画像の視差制御を行なう装置、方法が提供される。本発明の画像処理装置は、左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図２】本発明の一実施例に係る画像処理装置の微分器の微分処理について説明する図である。
【図３】本発明の一実施例に係る画像処理装置の非線形変換部の非線形変換処理について説明する図である。
【図４】本発明の一実施例に係る画像処理装置の左画像変換部の処理例について説明する図である。
【図５】本発明の一実施例に係る画像処理装置の右画像変換部の処理例について説明する図である。
【図６】本発明の一実施例に係る画像処理装置の実行する画像変換処理例について説明する図である。
【図７】本発明の実施例１に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図８】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１１】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１２】本発明の一実施例に係る画像処理装置の実行する画像変換処理例について説明する図である。
【図１３】本発明の実施例２に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１４】本発明の実施例３（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１５】本発明の実施例３（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１６】本発明の実施例４（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１７】本発明の実施例４（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１８】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図１９】本発明の実施例５（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図２０】本発明の実施例５（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図２１】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図２２】本発明の一実施例に係る画像処理装置の微分器の構成例について説明する図である。
【図２３】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下の呼応目に従って順次説明する。
Ａ．実施例１：表示部の表示面より奥側に設定された視差範囲の縮小処理例
Ｂ．実施例２：表示部の表示面より奥側に設定された視差範囲の拡大処理例
Ｃ．実施例３：表示部の表示面より手前側に設定された視差範囲の制御（縮小／拡大）処理例
Ｄ．実施例４：表示部の表示面の前後に設定された視差範囲の制御処理例
Ｅ．実施例５：簡易なディスパリティマップを利用した視差制御を行う実施例
Ｆ．実施例６：シフト態様の制御用の信号を入力可能とした構成を有する実施例
【００３０】
［Ａ．実施例１：表示部の表示面より奥側に設定された視差範囲の縮小処理例］
図１以下を参照して本発明の実施例１について説明する。
第１の実施例は、立体画像（３次元画像）を構成する左右の画像（左眼用画像と右眼用画像）の像のずれ（網膜像差等や表示部における左画像と右画像の表示位置間距離）に相当するディスパリティの値を各画素に対応付けたディスパリティマップを利用することなく視差制御を可能とした実施例である。
本実施例は、ディスパリティマップを生成することなく、３次元画像を構成する左右の画像（左眼用画像と右眼用画像）の視差範囲の縮小処理や拡大処理等の視差制御を実行する画像処理装置を実現するものである。
【００３１】
図１を参照して、本実施例の画像処理装置の構成例について説明する。画像処理装置１００は、図１に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０を有する。
【００３２】
入力画像としての左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０は、立体画像（３次元画像）表示に適用する左眼用画像と右眼用画像である。すなわち、異なる視点からの撮影画像等、被写体距離に応じた視差の設定された画像である。なお、左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０は、ビデオデータ等の動画や、静止画、いずれでもよい。動画、静止画いずれの場合も、それぞれ３次元画像表示に適用する１組の左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０が、順次、左画像変換部１１０、右画像変換部１２０に入力され、各部において、各画像の変換処理が施されて視差調整が施された視差調整左画像（Ｌ２画像）５０と視差調整右画像（Ｒ２画像）６０を生成する。
【００３３】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
【００３４】
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
【００３５】
左画像変換部１１０と、右画像変換部１２０は、それぞれ入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで視差の制御された視差調整左画像５０と視差調整右画像６０を生成して、左画像出力部１１５と右画像出力部１２５を介して出力する処理を行う。
【００３６】
なお、左画像出力部１１５と右画像出力部１２５は、例えば３次元画像の表示処理を行う表示部に接続され、視差が調整された視差調整左画像（Ｌ２）５０と視差調整右画像（Ｒ２）６０を適用した３次元画像表示処理がなされる。
あるいは、左画像出力部１１５と右画像出力部１２５は、記録メディアに対する記録処理を実行する記録部に接続され、視差調整左画像（Ｌ１）５０と視差調整右画像（Ｒ１）６０の記録メディアに対する記録処理が行われる。あるいは通信部を介して外部装置に送信する構成としてもよい。
【００３７】
左画像変換部１１０の実行する処理の詳細について説明する。
左画像入力部１１１は、３次元画像表示に適用するために予め生成された左画像（Ｌ１）１０を入力する。
左画像微分器１１２は、左画像変換部１１０に入力された左画像１０から画像特徴量を抽出する。具体的には、左画像１０から輝度信号を取り出し、輝度信号に対する微分信号（ＨＬ）を生成する。左画像微分器１１２は、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
【００３８】
図２は、左画像微分器１１２における微分信号の生成処理例を示している。
図２には、
（ａ）入力信号
（ｂ）微分信号
これらの各信号の例を示している。
【００３９】
図２（ａ）は、入力画像信号の一例である。
図２（ｂ）は、図２（ａ）の入力画像信号を微分処理した画像であり、例えば左画像微分器１１２の生成する輝度微分信号（ＨＬ）である。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。
【００４０】
左画像非線形変換部１１３は、左画像微分器１１２から出力される微分信号（ＨＬ）を非線形的に変換し、非線形変換信号（ＥＬ）として画像合成部１１４に出力する。
図３は、左画像非線形変換部１１３において実行する非線形変換処理の一例を示している。横軸が、左画像微分器１１２から出力される微分信号（輝度微分信号）の輝度値である。縦軸が、左画像非線形変換部１１３における非線形変換処理後の出力輝度値を示している。
【００４１】
左画像非線形変換部１１３は、入力された微分信号（Ｉｎ（＝ＨＬ））を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ（＝ＥＬ））を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘγ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、左画像非線形変換部１１３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００４２】
なお、図１に点線で示すように、左画像非線形変換部１１３の処理を省略した構成としてもよい。この場合、左画像微分器１１２から出力される微分信号（ＨＬ）を直接、左画像合成部１１４に入力する。
【００４３】
左画像合成部１１４は、左画像（Ｌ１）１０と、この左画像（Ｌ１）１０から生成した空間的な特徴量、すなわち、輝度信号の微分信号（ＨＬ）、または、この微分信号を非線形変換して生成した非線形変換信号（ＥＬ）を適用して視差調整左眼用画像５０を生成する処理を行う。
【００４４】
次に左画像合成部１１４の処理について説明する。
左画像合成部１１４は、入力画像である左画像１０と、この左画像１０から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した非線形変換信号を適用して視差調整左画像５０を生成する処理を行う。生成した視差調整左画像５０は、左画像出力部１１５を介して出力され、例えば表示部に表示される。
【００４５】
図４は、左画像合成部１１４において実行する画像合成処理の一例を示している。上から順に、
（ａ）入力信号（Ｌ１）
（ｂ）微分信号（ＨＬ）
（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））
これらの各信号を示している。
【００４６】
（ａ）入力信号（Ｌ１）は、画像処理装置１００に入力される左画像（Ｌ１）１０の例えばビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。
ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ｐにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｑにおいて、輝度が次第に低くなる変化を示している。
【００４７】
（ｂ）微分信号（ＨＬ）は、（ａ）入力信号（Ｌ１）の微分結果である。この微分信号は、図１に示す左画像変換部１１０の左画像微分器１１２において生成される信号である。
なお、左画像微分器１１２において利用される微分フィルタ係数は、図４（ｂ）に示すように、
１，０，−１
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分信号（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝（Ｉ（ｎ−１））−（Ｉ（ｎ＋１））
【００４８】
左画像微分器１１２の生成する微分信号（ＬＨ）は、図４に示すとおり、（ａ）入力左画像信号（Ｌ１）の輝度変化が正になる領域Ｐにおいて負の値をとり、（ａ）入力左画像信号（Ｌ１）の輝度変化が負になる領域Ｑにおいて正の値をとる。
【００４９】
（ｃ）合成信号（視差調整左画像信号（Ｌ２））は、図１に示す左画像変換部１１０の左画像合成部１１４において生成する信号である。左画像合成部１１４は、（ａ）入力左画像信号（Ｌ１）と、（ｂ）左画像微分信号（ＨＬ）とを加算する合成処理を実行して合成信号（視差調整左画像信号（Ｌ２））を生成する。この結果、図４（ｃ）に示す合成信号（視差調整左画像信号（Ｌ２））が生成される。
【００５０】
この図から理解されるように、（ａ）入力信号（Ｌ１）のＰ，Ｑの輝度変化部分が、（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））においては、右方向に位相変化（シフト）している。これは、入力信号（Ｌ１）に対する微分信号の合成（加算）処理による効果である。
【００５１】
なお、図４の説明では、図１に示す左画像非線形変換部１１３の処理について省略した例を示しているが、左画像非線形変換部１１３の処理を加えた場合は、図４（ｂ）の微分信号の振幅が制御（例えば抑制）されることになる。
この場合も、左画像合成部１１４における合成処理結果としての（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））は、図４に示すと同様、Ｐ，Ｑの輝度変化部分が、（ａ）入力信号（Ｌ１）に対して右側に移動した位相変化（シフト）した信号となる。
【００５２】
このように、図１に示す左画像変換部１１０は、入力画像である左画像（Ｌ１）１０の輝度変化部分について、右方向にシフトした視差調整左画像（Ｌ２）５０を生成して出力する。
【００５３】
次に、図１に示す右画像変換部１２０の処理について説明する。右画像変換部１２０は、左画像変換部１１０と同様の構成を有する。
すなわち、右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
【００５４】
基本的には、右画像変換部１２０の各構成部における処理は、左画像変換部１１０の対応する各構成部の処理と同様の処理が行われる。
ただし、右画像２０の微分処理を行う右画像微分処理部１２２において適用する微分フィルタの係数が異なる。
右画像微分処理部１２２において適用する微分フィルタの係数は、左画像変換部１１０の左画像微分処理部１１２において適用する微分フィルタの係数を反転した系列、すなわち逆パターンの系列となる。
【００５５】
図５を参照して、右画像変換部１２０に入力する右画像（Ｒ１）２０と、右画像微分処理部１２２において生成する右画像微分信号（ＨＲ）と、右画像合成部１２４の生成する合成信号（視差調整右画像信号（Ｒ２）の一例について説明する。
図５に示す信号例は、先に左画像変換部１１０の信号例として説明した図４に対応する。
【００５６】
すなわち、図５は、右画像合成部１２４において実行する画像合成処理の一例を示している。上から順に、
（ａ）入力信号（Ｒ１）
（ｂ）微分信号（ＨＲ）
（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））
これらの各信号を示している。
【００５７】
（ａ）入力信号（Ｒ１）は、画像処理装置１００に入力される右画像（Ｒ１）２０の例えばビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。
ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ｐにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｑにおいて、輝度が次第に低くなる変化を示している。
【００５８】
（ｂ）微分信号（ＨＲ）は、（ａ）入力信号（Ｒ１）の微分結果である。この微分信号は、図１に示す右画像変換部１２０の右画像微分器１２２において生成される信号である。
なお、右画像微分器１２２において利用される微分フィルタ係数は、前述したように、左画像微分器１１２において利用される微分フィルタ係数を反転した係数列から構成される。すなわち、図５（ｂ）に示すように、
−１，０，１
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分信号（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝−（Ｉ（ｎ−１））＋（Ｉ（ｎ＋１））
【００５９】
右画像微分器１２２の生成する微分信号（ＨＲ）は、図５に示すとおり、（ａ）入力右画像信号（Ｒ１）の輝度変化が正になる領域Ｐにおいて正の値をとり、（ａ）入力右画像信号（Ｒ１）の輝度変化が負になる領域Ｑにおいて負の値をとる。
【００６０】
（ｃ）合成信号（視差調整右画像信号（Ｒ２））は、図１に示す右画像変換部１２０の右画像合成部１２４において生成する信号である。右画像合成部１２４は、（ａ）入力右画像信号（Ｒ１）と、（ｂ）右画像微分信号（ＨＲ）とを加算する合成処理を実行して合成信号（視差調整右画像信号（Ｒ２））を生成する。この結果、図５（ｃ）に示す合成信号（視差調整右画像信号（Ｒ２））が生成される。
【００６１】
この図から理解されるように、（ａ）入力信号（Ｒ１）のＰ，Ｑの輝度変化部分が、（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））においては、左方向に位相変化（シフト）している。これは、入力信号（Ｒ１）に対する微分信号の合成（加算）処理による効果である。
【００６２】
なお、図５の説明では、図１に示す右画像非線形変換部１２３の処理について省略した例を示しているが、右画像非線形変換部１２３の処理を加えた場合は、図５（ｂ）の微分信号の振幅が制御（例えば抑制）されることになる。
この場合も、右画像合成部１２４における合成処理結果としての（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））は、図５に示すと同様、Ｐ，Ｑの輝度変化部分が、（ａ）入力信号（Ｒ１）に対して左側に移動、すなわち左方向に位相変化（シフト）した信号となる。
【００６３】
このように、図１に示す右画像変換部１２０は、入力画像である右画像（Ｒ１）２０の輝度変化部分について、左方向にシフトした視差調整左画像（Ｒ２）５０を生成して出力する。
【００６４】
次に、図６を参照して、画像処理装置１００の入力画像と出力画像との対応について説明する。
図６には、上から、
（Ｌ１）入力左画像信号
（Ｌ２）出力左画像信号（視差調整左画像信号）
（Ｒ１）入力右画像信号
（Ｒ２）出力右画像信号（視差調整左画像信号）
これらの信号パターンを示している。これらは、図４、図５を参照して説明した信号パターンに対応する。
【００６５】
画像処理装置１００の入力画像信号は、
（Ｌ１）入力左画像信号
（Ｒ１）入力右画像信号
これらの１組の画像信号であり、これらは、３次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図６において、輝度変化部分［Ｐ］の中央部分の（Ｌ１）入力左画像信号の表示位置と、（Ｒ１）入力右画像信号の表示位置にはずれが設定されている。この表示位置ずれによって視差が生ずる。
【００６６】
なお、以下では、同一被写体の表示部における左画像と右画像との表示位置間の距離を「ディスパリティ」と定義して説明する。
入力画像（Ｌ１），（Ｒ１）の輝度変化部分［Ｐ］の中央部分のディスパリティは、
（Ｌ１）入力左画像信号の点（ｐ１）と、
（Ｒ１）入力右画像信号の点（ｐ２）と、
これらの各点間の距離［Ｖ１］として設定されている。
【００６７】
これに対して、出力画像、すなわち視差調整画像信号においては、
（Ｌ２）出力左画像信号（視差調整左画像信号）の点（ｐ３）と、
（Ｒ２）出力右画像信号（視差調整左画像信号）の点（ｐ４）と、
これらの各点間の距離［Ｖ２］がディスパリティとなる。
【００６８】
このように、輝度変化部分［Ｐ］の中央部分のディスパリティは、
入力画像の組のディスパリティＶ１、
出力画像（視差調整画像信号）のディスパリティＶ２、
このように異なる値となる。
本例では、
Ｖ２＜Ｖ１
であり、出力画像におけるディスパリティが、入力画像のディスパリティに比較して減少している。このディスパリティの減少より、視差が抑制される。
この効果は、各画像の位相変化（シフト）による効果として得られるものである。
【００６９】
図７を参照して、本実施例１の画像処理装置の視差調整の効果について説明する。図７には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ２
これらの２つの視差範囲を示している。なお、３次元画像を構成する左画像と右画像（左眼用画像と右眼用画像）には、様々な被写体距離（カメラからの距離）を持つ被写体が含まれ、左画像と右画像には被写体距離に応じた様々な視差が設定される。
【００７０】
なお、図７（ａ），（ｂ）には、観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【００７１】
なお、視差の指標値として、観察者（ユーザ）の左眼２０１と右眼２０２の各眼の網膜上の像の位置ずれを示す網膜像差や、同一被写体の表示画面上の距離が利用される。ここでは、同一被写体の表示画面上の距離をディスパリティと定義して、ディスパリティの比較を行う。ディスパリティ＝０であれば視差＝０となる。これは、観察者（ユーザ）の左眼２０１によって観察される左画像と、観察者（ユーザ）の右眼２０２によって観察される右画像、各々における被写体の表示画面２１０上の表示位置が同一位置となる場合である。
【００７２】
具体的には、図７（ａ）の表示画面２１０上の中央のＡ点２２１が視差＝０となる被写体Ａ、すなわちディスパリティ＝０となる被写体Ａである。この場合、ユーザは、被写体Ａが表示画面２１０上に位置するように感じられる。
【００７３】
なお、図中に示す［Ａ左／右画像］は、ユーザの左眼２０１によって観察される３次元画像用の左画像における被写体Ａの表示画面２１０上の表示位置と、ユーザの右眼２０２によって観察される３次元画像用の右画像における被写体Ａの表示画面２１０上の表示位置とが同じ位置であることを意味する。
【００７４】
一方、図７（ａ）に示す
Ｂ左画像とＢ右画像、
Ｃ左画像とＣ右画像、
これらの各画像の表示画面２１０上の表示位置が異なっている。
これは、ユーザの左眼２０１によって観察される３次元画像用の左画像における被写体Ｂ，Ｃの表示位置と、ユーザの右眼２０２によって観察される３次元画像用の右画像における被写体Ｂ，Ｃの表示位置とが異なる位置であることを意味する。
【００７５】
この様な場合、ユーザは被写体Ｂ，Ｃが表示画面２１０上と異なる位置にあるように感じられる。
具体的には、被写体Ｂは、観察者の左眼２０１と表示画面２１０上のＢ左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上のＢ右画像の表示位置を結ぶ直線との交点である空間上の点２２２に位置するように観察される。
また、被写体Ｃは、観察者の左眼２０１と表示画面２１０上のＣ左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上のＣ右画像の表示位置を結ぶ直線との交点である空間上の点２２３に位置するように観察される。
【００７６】
このように、観察者によって感じられる被写体の位置は、同一被写体の左画像と右画像の表示画面２１０上の距離（ディスパリティ）に応じて設定される。表示画面２１０上の左画像と右画像の被写体間隔を示すディスパリティを用いて説明する。
被写体Ａはディスパリティ＝０である。
被写体Ａは、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａの位置は表示画面２１０上の位置２２１となる。
【００７７】
被写体Ｂはディスパリティ＝ＤＢである。
被写体Ｂは、左画像と右画像の表示画面２１０上の距離がＤＢであり、ディスパリティがＤＢとなる。
観察者が実感する被写体Ｂの位置は観察者から表示画面２１０より遠い位置２２２となる。
【００７８】
被写体Ｃはディスパリティ＝ＤＣである。
なお、ＤＢ＜ＤＣである。
被写体Ｃは、左画像と右画像の表示画面２１０上の距離がＤＣであり、ディスパリティがＤＣとなる。
観察者が実感する被写体Ｃの位置は観察者から表示画面２１０より遠く、さらに被写体Ｂより遠い位置２２３となる。
【００７９】
画像において被写体Ａ，Ｂ，Ｃが観察される場合、観察者の観察する視差範囲は、最も手前の表示画面位置のＡ点から、画像内の最も遠い被写体Ｃ点までの幅［Ｓ１］になる。
【００８０】
図７（ｂ）は、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ａ２，Ｂ２，Ｃ２は、図７（ａ）のＡ，Ｂ，Ｃと同じ被写体であるが、前述した変換処理によって画像信号の位相変化に基づく画像シフトが発生し、観察者によって観察される被写体位置が変化する。
【００８１】
被写体Ａ２はディスパリティ＝０である。
被写体Ａ２は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａ２の位置は表示画面２１０上の位置２３１となる。
【００８２】
被写体Ｂ２はディスパリティ＝ＤＢ２である。
被写体Ｂ２は、左画像と右画像の表示画面２１０上の距離がＤＢ２であり、ディスパリティがＤＢ２となる。
観察者が実感する被写体Ｂ２の位置は観察者から表示画面２１０より遠い位置２３２となる。
ただし、観察者が実感する被写体Ｂ２の位置は、図７（ａ）に示す変換前の入力画像における被写体位置Ｂより観察者から近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【００８３】
被写体Ｃ２はディスパリティ＝ＤＣ２である。
なお、ＤＢ２＜ＤＣ２である。
被写体Ｃ２は、左画像と右画像の表示画面２１０上の距離がＤＣ２であり、ディスパリティがＤＣ２となる。
観察者が実感する被写体Ｃ２の位置は観察者から表示画面２１０より遠く、さらに被写体Ｂ２より遠い位置２３３となる。
ただし、観察者が実感する被写体Ｃ２の位置は、図７（ａ）に示す変換前の入力画像における被写体位置Ｃより観察者に近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【００８４】
画像処理装置１００の画像変換処理により、例えば、Ｂ点は左画像位置が右方向に少し移動し、右画像位置が左方向に少し移動することにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＢからＤＢ２に小さくなる。
【００８５】
さらに奥に位置するＣ点では、左画像位置が右方向に大きく移動し、右画像位置が左方向に大きく移動し、ディスパリティがさらに小さくなる。
ディスパリティは、ＤＣからＤＣ２に小さくなる。
なお、
（ＤＣ−ＤＣ２）＞（ＤＢ−ＤＢ２）
であり、奥の被写体のほうが、ディスパリティの減少幅が大きくなる。
【００８６】
この結果、図７（ａ），（ｂ）の視差範囲Ｓ１，Ｓ２を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ａ〜Ｃ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ２（Ａ２〜Ｃ２）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ２（Ａ２〜Ｃ２）は、入力画像の視差範囲Ｓ１（Ａ〜Ｃ）より縮小される。
【００８７】
図７に示して説明した視差抑制効果は、先に図４、図５を参照して説明した画像シフトの結果もたらされる効果である。
すなわち、左画像微分処理部１１３で、図４（ｂ）に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
また、右画像微分処理部１２３で、図５（ｂ）に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図７（ａ）の視差範囲Ｓ１から図７（ｂ）に示す視差範囲Ｓ２のように視差範囲を縮小することができる。
【００８８】
なお、図１に示す画像処理装置１００の実行する画像変換処理では、変換対象画像となる画像において焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる。
図７に示す例では、一番手前のＡ点で焦点があっており、Ａ点でのディスパリティ（ＤＡとする）の変化はほとんど発生しない。画像は被写体が奥に行く（Ａ→Ｂ→Ｃ）に従って焦点から遠ざかることによりボケが大きくなると考えられる。
この場合、被写体Ａ，Ｂ，Ｃの、
画像変換前のディスパリティをＤＡ，ＤＢ，ＤＣとし、
画像変換後のディスパリティをＤＡ２，ＤＢ２，ＤＣ２とすると、
ディスパリティの変化幅は、
（ＤＣ２−ＤＣ）＞（ＤＢ２−ＤＢ）＞（ＤＡ２−ＤＡ）≒０
このような設定となる。
【００８９】
図１に示す非線形変換部１１３，１２３では、例えば先に図３説明した非線形変換処理により、微分信号の低域を持ち上げる処理を行う。この処理によって、例えば焦点のあっていないボケ領域（低周波領域）の微分信号のレベルを上げるといった処理が可能となる。この処理によって、図７を参照して説明した処理、すなわち、焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化を小さくして、合焦位置から離れるに従ってディスパリティの変化を大きくするといった制御が可能となる。
【００９０】
画像処理装置１００に対する入力信号と、微分信号、および出力信号との具体的な対応関係の例について図８〜図１１を参照して説明する。
図８〜図１１には、入力信号と、微分信号、および出力信号の各ラインを示している。各ラインは、画像信号の１つの水平ラインの一部に相当する。縦軸が輝度、横軸が水平方向の画素位置である。
入力信号は、画像処理装置１００に入力する左画像（Ｌ１）１０または右画像（Ｒ１）２０を構成する１つの水平ラインの輝度を示すラインである。
微分信号は、画像処理装置１００の微分器（左画像微分器１１２または右画像微分器１２２）における微分処理によって生成される信号である。
出力信号は、画像処理装置１００の合成部（左画像合成部１１４または右画像合成部１２４）における合成処理によって生成される信号である。
【００９１】
図８〜図１１に示す信号は、以下の処理例に対応する。
（１）図８：画像を構成する高周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例（右方向シフト）
（２）図９：画像を構成する高周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例（左方向シフト）
（３ａ）図１０（ａ）：画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例（右方向シフト）
（３ｂ）図１０（ｂ）：画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例（左方向シフト）
（４ａ）図１１（ａ）：画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例（右方向シフト）
（４ｂ）図１１（ｂ）：画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例（左方向シフト）
【００９２】
図８は、画像を構成する高周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例を示している。
入力信号（ａ）に対する微分処理により微分信号（ｂ）が生成され、入力信号と微分信号との合成処理によって出力信号（ｃ）が生成される。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
【００９３】
図９は、画像を構成する高周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例を示している。
入力信号（ａ）に対する微分処理により微分信号（ｂ）が生成され、入力信号と微分信号との合成処理によって出力信号（ｃ）が生成される。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９４】
図１０（ａ）は、画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
図１０（ｂ）は、画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９５】
図１１（ａ）は、画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
図１１（ｂ）は、画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９６】
なお、図１に示す非線形変換部１１３，１２３では、例えば先に図３説明した非線形変換処理により、微分信号の低域を持ち上げる処理を行う。この処理によって、例えば焦点のあっていない低周波領域の微分信号のレベルを上げるといった処理が可能であり、この処理によって例えば低周波領域のシフト量（位相変化量）を大きくするといった処理が可能である。
すなわち、この非線形変換部１１３，１２３の変換処理態様の設定に応じて、低周波領域と高周波領域のシフト量の差を大きくする、あるいは小さくするといった制御が実現される。
【００９７】
［Ｂ．実施例２：表示部の表示面より奥側に設定された視差範囲の拡大処理例］
次に、本発明の画像処理装置の実施例２について説明する。
実施例２の画像処理装置は、実施例１において説明した図１に示す画像処理装置１００と同じ構成を有する。
ただし、左画像変換部１１０の左画像微分器１１２で適用する微分フィルタと、右画像変換部１２０の右画像微分器１２２で適用する微分フィルタとを、実施例１の場合と入れ替えた構成である。
この微分フィルタの変更により、左画像と右画像の画像シフト方向が逆方向となる。この結果、実施例１では視差範囲の縮小処理を行ったが、本実施例では視差範囲を拡大する処理が行われる。
【００９８】
図１２を参照して、本実施例における画像処理装置１００の入力画像と出力画像との対応について説明する。この図１２は、実施例１において説明した図６と同様の図である。図１２には、上から、
（Ｌ１）入力左画像信号
（Ｌ２）出力左画像信号（視差調整左画像信号）
（Ｒ１）入力右画像信号
（Ｒ２）出力右画像信号（視差調整左画像信号）
これらの信号パターンを示している。
【００９９】
画像処理装置１００の入力画像信号は、
（Ｌ１）入力左画像信号
（Ｒ１）入力右画像信号
これらの１組の画像信号であり、これらは、３次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図１２において、輝度変化部分［Ｐ］の中央部分の（Ｌ１）入力左画像信号の表示位置と、（Ｒ１）入力右画像信号の表示位置にはずれ（ディスパリティ）が設定されている。この表示位置ずれによって視差が生ずる。
【０１００】
入力画像（Ｌ１），（Ｒ１）の輝度変化部分［Ｐ］の中央部分のディスパリティは、
（Ｌ１）入力左画像信号の点（ｐ１）と、
（Ｒ１）入力右画像信号の点（ｐ２）と、
これらの各点間の距離［Ｖ１］として設定されている。
【０１０１】
これに対して、出力画像、すなわち視差調整画像信号においては、
（Ｌ２）出力左画像信号（視差調整左画像信号）の点（ｐ５）と、
（Ｒ２）出力右画像信号（視差調整左画像信号）の点（ｐ６）と、
これらの各点間の距離［Ｖ３］がディスパリティとなる。
【０１０２】
本実施例では、左画像変換部１１０の左画像微分器１１２で適用する微分フィルタは、図１２（Ｌ２）に示すように、
−１，０，１
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例１では、右画像変換部１２０の右画像微分器１２２で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分データ（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝−（Ｉ（ｎ−１））＋（Ｉ（ｎ＋１））
【０１０３】
この微分信号は、実施例１において図５（ｂ）を参照して説明した微分信号と同様の信号である。結果として、この微分信号と原入力信号の合成（加算）処理結果は、図１２（Ｌ１）入力信号のＰ，Ｑの輝度変化部分が左方向にシフトされた、図１２（Ｌ２）に示す出力左画像信号（視差調整左画像（Ｌ２））となる。
【０１０４】
一方、右画像変換部１２０の右画像微分器１２２で適用する微分フィルタは、図１２（Ｒ２）に示すように、
１，０，−１
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例１では、左画像変換部１１０の左画像微分器１１２で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分データ（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝（Ｉ（ｎ−１））−（Ｉ（ｎ＋１））
【０１０５】
この微分信号は、実施例１において図４（ｂ）を参照して説明した微分信号と同様の信号である。結果として、この微分信号と原入力信号の合成（加算）処理結果は、図１２（Ｒ１）入力信号のＰ，Ｑの輝度変化部分が右方向にシフトされた、図１２（Ｒ２）に示す出力右画像信号（視差調整左画像（Ｒ２））となる。
なお、非線形変換処理については省略して説明しているが、非線形変換処理を行った場合もシフト方向は同様の設定となる。
【０１０６】
実施例２は、このように実施例１の左右画像用の各微分器において適用する微分フィルタを入れ替えた処理を行うことで、左画像と右画像のシフト方向を逆方向に設定する構成としている。
【０１０７】
この結果、図１２に示すように、輝度変化部分［Ｐ］の中央部分のディスパリティは、
入力画像の組のディスパリティＶ１、
出力画像（視差調整画像信号）のディスパリティＶ３、
このように異なる値となる。
本実施例では、
Ｖ１＜Ｖ３
であり、出力画像におけるディスパリティＶ３は、入力画像のディスパリティＶ１に比較して増加している。このディスパリティの増加より、視差が増幅される。
この効果は、各画像のシフトによる効果として得られるものである。
【０１０８】
図１３を参照して、本実施例２の画像処理装置の視差調整の効果について説明する。図１３には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ３
なお、図１３（ａ），（ｂ）は、先の実施例１の図７と同様、観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１０９】
視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１３（ａ）は視差調整前の入力画像に対応する図であり、図７（ａ）と同じ図である。図１３（ａ）において、
被写体Ａは、ディスパリティ＝０、
被写体Ｂは、ディスパリティ＝ＤＢ、
被写体Ｃは、ディスパリティ＝ＤＣ、
である。
０＜ＤＢ＜ＤＣ
であり、ユーザの実感する被写体の観察位置は、Ａがディスプレイ上、Ｂはディスプレイより奥（観察者から遠い）、ＣはＢよりさらに遠い位置となる。
観察者の観察する視差範囲は、最も手前の表示画面位置のＡ点から、最も遠い被写体観察位置であるＣ点までの幅［Ｓ１］になる。
【０１１０】
図１３（ｂ）は、本実施例２に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ａ３，Ｂ３，Ｃ３は、図１３（ａ）のＡ，Ｂ，Ｃと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１１１】
被写体Ａ３はディスパリティ＝０である。
被写体Ａ３は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａ３の位置は表示画面２１０上の位置２４１となる。
【０１１２】
被写体Ｂ３はディスパリティ＝ＤＢ３である。
被写体Ｂ３は、左画像と右画像の表示画面２１０上の距離がＤＢ３であり、ディスパリティがＤＢ３となる。
観察者が実感する被写体Ｂ３の位置は観察者から表示画面２１０より遠い位置２４２となる。
ただし、観察者が実感する被写体Ｂ３の位置は、図１３（ａ）に示す変換前の入力画像における被写体位置Ｂより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１１３】
被写体Ｃ３はディスパリティ＝ＤＣ３である。
なお、ＤＢ３＜ＤＣ３である。
被写体Ｃ３は、左画像と右画像の表示画面２１０上の距離がＤＣ３であり、ディスパリティがＤＣ３となる。
観察者が実感する被写体Ｃ３の位置は観察者から表示画面２１０より遠く、さらに被写体Ｂ２より遠い位置２４３となる。
ただし、観察者が実感する被写体Ｃ３の位置は、図１３（ａ）に示す変換前の入力画像における被写体位置Ｃより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１１４】
画像処理装置１００の画像変換処理により、本実施例２では、前述の実施例１と逆方向の画像シフトが実行される。
すなわち、Ｂ点は左画像位置が左方向に少し移動し、右画像位置が右方向に少し移動することにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＢからＤＢ３に大きくなる。
【０１１５】
さらに奥に位置するＣ点では、左画像位置が左方向に大きく移動し、右画像位置が右方向に大きく移動し、ディスパリティがさらに大きくなる。
ディスパリティは、ＤＣからＤＣ３に大きくなる。
なお、
（ＤＣ３−ＤＣ）＞（ＤＢ３−ＤＢ）
であり、奥の被写体のほうが、ディスパリティの拡大幅が大きくなる。
【０１１６】
この結果、図１３（ａ），（ｂ）の視差範囲Ｓ１，Ｓ３を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ａ〜Ｃ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ３（Ａ３〜Ｃ３）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ３（Ａ３〜Ｃ３）は、入力画像の視差範囲Ｓ１（Ａ〜Ｃ）より拡大される。
【０１１７】
図１３を参照して説明した視差拡大効果は、先に図１２を参照して説明した画像シフトの結果もたらされる効果である。
すなわち、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図１３（ａ）の視差範囲Ｓ１から図１３（ｂ）に示す視差範囲Ｓ３のように視差範囲を拡大することができる。
【０１１８】
なお、画像処理装置１００の実行する画像変換処理では、前述の通り、変換対象画像となる画像において焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる。
図１３に示す状況では、一番手前のＡ点で焦点があっており、奥に行くに従って被写体ボケが大きくなると考えると、Ａ点はディスパリティがほとんど変化しない。
【０１１９】
一番手前のＡ点で焦点があっている場合、画像は被写体が奥に行く（Ａ→Ｂ→Ｃ）に従って焦点から遠ざかることによりボケが大きくなると考えられる。
この場合、被写体Ａ，Ｂ，Ｃの、
画像変換前のディスパリティをＤＡ，ＤＢ，ＤＣとし、
画像変換後のディスパリティをＤＡ３，ＤＢ３，ＤＣ３とすると、
ディスパリティの変化幅は、
（ＤＣ３−ＤＣ）＞（ＤＢ３−ＤＢ）＞（ＤＡ３−ＤＡ）≒０
このような設定となる。
【０１２０】
［Ｃ．実施例３：表示部の表示面より手前に設定された視差範囲の制御（縮小／拡大）処理例］
実施例１と実施例２では、画像処理装置に対して入力する３次元表示用の画像、すなわち、左画像（Ｌ１）１０と右画像（Ｒ１）２０の視差設定が表示部の表示面から奥側、すなわち観察者から遠い位置に設定される画像である場合の処理例を説明した。すなわち、
実施例１では表示部の表示面より奥側に設定された視差範囲の縮小、
実施例２では表示部の表示面より奥側に設定された視差範囲の拡大、
これらの処理例について説明した、
【０１２１】
しかし、３次元画像の表示に適用する画像は、実施例１，２で説明した画像に限らず、表示部の表示面の手前側、すなわち観察者に近い位置に飛び出すように視差を設定した画像もある。
以下、実施例３として、視差制御を行なう入力画像が表示面より手前側（観察者方向）に被写体の観察位置が設定される３次元画像である場合の処理例を説明する。
実施例３（ａ）では表示部の表示面より手前に設定された視差範囲の縮小、
実施例３（ｂ）では表示部の表示面より手前に設定された視差範囲の拡大、
これらの処理例について、順次説明する。
なお、本実施例３は実施例１で説明した図１の画像処理装置１００と同一の構成によって実現される。
【０１２２】
（ａ）表示部の表示面より手前に設定された視差範囲の縮小処理例
まず、表示部の表示面より手前に設定された視差範囲の縮小処理例について、図１４を参照して説明する。
図１４には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ４
なお、図１４（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１２３】
前述の実施例１，２と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１４（ａ）は視差調整前の入力画像に対応する図である。
図１４（ａ）において、
被写体Ｅは、ディスパリティ＝ＤＥ＝０、
被写体Ｆは、ディスパリティ＝ＤＦ、
被写体Ｇは、ディスパリティ＝ＤＧ、
である。各ディスパリティの大きさは、
ＤＧ＞ＤＦ＞ＤＥ≒０
上記のような関係にある。
【０１２４】
ユーザの実感する被写体の観察位置は、Ｅがディスプレイ上、Ｆはディスプレイより手前（観察者に近い）、ＧはＦよりさらに観察者に近い位置となる。
観察者の観察する視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１２５】
先に説明したように、被写体は、観察者の左眼２０１と表示画面２１０上の左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上の右画像の表示位置を結ぶ直線との交点である空間上の点に位置するように観察される。
本実施例では、その交点が表示画面２１０より手前（観察者に近い方向）に設定されるように、左画像と右画像の各被写体の画像（Ｅ〜Ｇ右画像とＥ〜Ｇ左画像）が設定されている。
このような設定の３次元画像である場合、図１４（ａ）に示すように、観察者は、各被写体を表示画面２１０より近い位置に実感することになる。
【０１２６】
前述の通り、図１４（ａ）に示す入力画像の視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１２７】
図１４（ｂ）は、本実施例３（ａ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｅ４，Ｆ４，Ｇ４は、図１４（ａ）のＥ，Ｆ，Ｇと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１２８】
被写体Ｅ４はディスパリティ＝０である。
被写体Ｅ４は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｅ４の位置は表示画面２１０上の位置となる。
【０１２９】
被写体Ｆ４はディスパリティ＝ＤＦ４である。
被写体Ｆ４は、左画像と右画像の表示画面２１０上の距離がＤＦ４であり、ディスパリティがＤＦ４となる。
観察者が実感する被写体Ｆ４の位置は表示画面２１０から手前、すなわち観察者側の位置Ｆ４となる。
ただし、観察者が実感する被写体Ｆ４の位置は、図１４（ａ）に示す変換前の入力画像における被写体位置Ｆより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１３０】
被写体Ｇ４はディスパリティ＝ＤＧ４である。
なお、ＤＦ４＜ＤＧ４である。
被写体Ｇ４は、左画像と右画像の表示画面２１０上の距離がＤＧ４であり、ディスパリティがＤＧ４となる。
観察者が実感する被写体Ｇ４の位置は表示画面２１０から手前、すなわち観察者側の位置Ｇ４となる。
ただし、観察者が実感する被写体Ｇ４の位置は、図１４（ａ）に示す変換前の入力画像における被写体位置Ｇより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１３１】
画像処理装置１００の画像変換処理により、本実施例３（ａ）では、前述の実施例２と同方向の画像シフトが実行される。
具体的には、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１３２】
この結果、左画像のＦ位置（図１４（ａ）Ｆ左画像）が左方向に少し移動して図１４（ｂ）Ｆ４左画像位置となり、右画像のＦ位置（図１４（ａ）Ｆ右画像）が右方向に少し移動して図１４（ｂ）Ｆ４右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＦからＤＦ４に小さくなる。
【０１３３】
さらに手前（観察者側）に位置するＧ点では、左画像のＧ位置（図１４（ａ）Ｇ左画像）が左方向に大きく移動して図１４（ｂ）Ｇ４左画像位置となり、右画像のＧ位置（図１４（ａ）Ｇ右画像）が右方向に大きく移動して図１４（ｂ）Ｇ４右画像位置となる。この移動により、ディスパリティがさらに小さくなる。
ディスパリティは、ＤＧからＤＧ４に小さくなる。
なお、
（ＤＧ−ＤＧ４）＞（ＤＦ−ＤＦ４）
であり、手前（表示画面２１０から遠い）の被写体のほうが、ディスパリティの縮小幅が大きくなる。
【０１３４】
この結果、図１４（ａ），（ｂ）の視差範囲Ｓ１，Ｓ４を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ４（Ｅ４〜Ｇ４）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ４（Ｅ４〜Ｇ４）は、入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）より縮小される。
【０１３５】
図１４を参照して説明した視差範囲縮小効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例３（ａ）では、左画像微分器１１２において、実施例２と同様、図１２（Ｌ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｌ１），（Ｌ２）に示すように左画像は左方向へシフトされる。
また、右画像微分器１２２において、図１２（Ｒ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｒ１），（Ｒ２）に示すように右画像は右方向へシフトされる。
【０１３６】
図１４に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図１４（ａ）の視差範囲Ｓ１から図１４（ｂ）に示す視差範囲Ｓ４のように視差範囲を縮小することができる。
【０１３７】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従って（Ｅ→Ｆ→Ｇ）ディスパリティの変化が大きくなる設定としている。
【０１３８】
（ｂ）表示部の表示面より手前に設定された視差範囲の拡大処理例
次に、表示部の表示面より手前に設定された視差範囲の拡大処理例について、図１５を参照して説明する。
図１５には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ４
なお、図１５（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１３９】
前述の実施例と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１５（ａ）は視差調整前の入力画像に対応する図であり、図１４（ａ）に示す図と同じである。
図１５（ａ）において、
被写体Ｅは、ディスパリティ＝ＤＥ＝０、
被写体Ｆは、ディスパリティ＝ＤＦ、
被写体Ｇは、ディスパリティ＝ＤＧ、
である。各ディスパリティの大きさは、
ＤＧ＞ＤＦ＞ＤＥ≒０
上記のような関係にある。
【０１４０】
ユーザの実感する被写体の観察位置は、Ｅがディスプレイ上、Ｆはディスプレイより手前（観察者に近い）、ＧはＦよりさらに観察者に近い位置となる。
【０１４１】
この図１５（ａ）に示す設定は、先に説明した図１４（ａ）と同様の設定であり、観察者は、各被写体を表示画面２１０より近い位置に実感することになる。
図１５（ａ）に示す入力画像の視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１４２】
図１５（ｂ）は、本実施例３（ｂ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｅ５，Ｆ５，Ｇ５は、図１５（ａ）のＥ，Ｆ，Ｇと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１４３】
被写体Ｅ５はディスパリティ＝０である。
被写体Ｅ５は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｅ５の位置は表示画面２１０上の位置となる。
【０１４４】
被写体Ｆ５はディスパリティ＝ＤＦ５である。
被写体Ｆ５は、左画像と右画像の表示画面２１０上の距離がＤＦ５であり、ディスパリティがＤＦ５となる。
観察者が実感する被写体Ｆ５の位置は表示画面２１０から手前、すなわち観察者側の位置Ｆ５となる。
ただし、観察者が実感する被写体Ｆ５の位置は、図１５（ａ）に示す変換前の入力画像における被写体位置Ｆより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１４５】
被写体Ｇ５はディスパリティ＝ＤＧ５である。
なお、ＤＦ５＜ＤＧ５である。
被写体Ｇ５は、左画像と右画像の表示画面２１０上の距離がＤＧ５であり、ディスパリティがＤＧ５となる。
観察者が実感する被写体Ｇ５の位置は表示画面２１０から手前、すなわち観察者側の位置Ｇ５となる。
ただし、観察者が実感する被写体Ｇ５の位置は、図１５（ａ）に示す変換前の入力画像における被写体位置Ｇより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１４６】
画像処理装置１００の画像変換処理により、本実施例３（ｂ）では、前述の実施例１と同方向の画像シフトが実行される。
具体的には、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１４７】
この結果、左画像のＦ位置（図１５（ａ）Ｆ左画像）が右方向に少し移動して図１５（ｂ）Ｆ５左画像位置となり、右画像のＦ位置（図１５（ａ）Ｆ右画像）が左方向に少し移動して図１５（ｂ）Ｆ５右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＦからＤＦ５に大きくなる。
【０１４８】
さらに手前（観察者側）に位置するＧ点では、左画像のＧ位置（図１５（ａ）Ｇ左画像）が右方向に大きく移動して図１５（ｂ）Ｇ５左画像位置となり、右画像のＧ位置（図１５（ａ）Ｇ右画像）が左方向に大きく移動して図１５（ｂ）Ｇ５右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＧからＤＧ５に大きくなる。
なお、
（ＤＧ５−ＤＧ）＞（ＤＦ５−ＤＦ）
であり、手前（表示画面２１０から遠い）の被写体のほうが、ディスパリティの拡大幅が大きくなる。
【０１４９】
この結果、図１５（ａ），（ｂ）の視差範囲Ｓ１，Ｓ５を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ５（Ｅ５〜Ｇ５）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ５（Ｅ５〜Ｇ５）は、入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）より拡大される。
【０１５０】
図１５を参照して説明した視差範囲縮小効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例３（ｂ）では、先に説明した実施例１と同様の微分処理が行われ、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１５１】
本実施例３（ｂ）では、左画像微分器１１２において、図６（Ｌ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｌ１），（Ｌ２）に示すように左画像は右方向へシフトされる。
また、右画像微分器１２２において、図６（Ｒ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は左方向へシフトされる。
【０１５２】
図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図６（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図１５（ａ）の視差範囲Ｓ１から図１５（ｂ）に示す視差範囲Ｓ５のように視差範囲を拡大することができる。
【０１５３】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従って（Ｅ→Ｆ→Ｇ）ディスパリティの変化が大きくなる設定としている。
【０１５４】
［Ｄ．実施例４：表示部の表示面の前後に設定された視差範囲の制御処理例］
次に、表示部の表示面の前後に視差範囲を設定した画像を入力した場合の視差制御処理例について説明する。
実施例１，２では、表示面の奥に視差範囲が設定された画像に対する処理例を説明し、実施例３では表示面の手前に視差範囲の設定された画像に対する処理例を説明した。このように視差範囲の設定は、左画像と右画像における被写体位置を変更することで様々な態様に設定できる。従って、表示部の表示面の前後に視差範囲を設定した画像も生成できる。以下では、このような表示部の表示面の前後に視差範囲を設定した画像を入力して視差制御を行なう構成例について説明する。
なお、本実施例４は実施例１で説明した図１の画像処理装置１００と同一の構成によって実現される。
【０１５５】
実施例４では、実施例３と同様、以下の２つの処理例について説明する。
（ａ）左画像を右方向にシフトし、右画像を左方向にシフトする処理例
（ｂ）左画像を左方向にシフトし、右画像を右方向にシフトする処理例
これらの処理例について、順次説明する。
【０１５６】
（ａ）左画像を右方向にシフトし、右画像を左方向にシフトする処理例
まず、図１６を参照して、画像処理装置１００に入力する左画像（Ｌ１）１０を右方向にシフトし、右画像（Ｒ１）２０を左方向にシフトする処理例について説明する。
本処理例は、先の実施例１において説明した図６に示す処理に対応する処理を実行する。
すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１５７】
本実施例４（ａ）では、左画像微分器１１２において、図６（Ｌ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｌ１），（Ｌ２）に示すように左画像は右方向へシフトされる。
また、右画像微分器１２２において、図６（Ｒ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は左方向へシフトされる。
【０１５８】
図１６を参照して、本実施例４（ａ）における視差制御処理例について説明する。
図１６には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｔ１
（ｂ）視差調整画像の視差範囲Ｔ５
なお、図１６（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０１５９】
先に説明したように、被写体は、観察者の左眼２０１と表示画面２１０上の左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上の右画像の表示位置を結ぶ直線との交点である空間上の点に位置するように観察される。
本実施例では、その交点が表示画面２１０の前後に設定されるように、左画像と右画像の各被写体の画像（Ｈ〜Ｊ右画像とＨ〜Ｊ左画像）が設定されている。
【０１６０】
具体的には、
被写体Ｈが表示画面２１０上に観察され、
被写体Ｉが表示画面２１０の手前（観察者側）に観察され、
被写体Ｊが表示画面２１０の奥側に観察される設定となった入力画像である。
【０１６１】
前述の実施例と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１６（ａ）は視差調整前の入力画像に対応する図である。
図１６（ａ）において、
被写体Ｈは、ディスパリティ＝ＤＨ＝０、
被写体Ｉは、ディスパリティ＝ＤＩ、
被写体Ｊは、ディスパリティ＝ＤＪ、
ここで、被写体Ｉのディスパリティは、被写体Ｉの像が表示画面２１０の手前に観察される設定であり、被写体Ｊのディスパリティは、被写体Ｊの像が表示画面２１０の奥に観察される設定である。
【０１６２】
すなわち、図１６（ａ）の表示画面２１０上の配置から理解されるように、
左画像における被写体Ｉの画像（Ｉ左画像）は表示画面２１０の右側、
右像における被写体Ｉの画像（Ｉ右画像）は表示画面２１０の左側に設定されている。
これに対して、
左画像における被写体Ｊの画像（Ｊ左画像）は表示画面２１０の左側、
右像における被写体Ｊの画像（Ｊ右画像）は表示画面２１０の右側に設定されている。
このような設定により、被写体Ｉが表示画面２１０の手前（観察者側）に観察され、被写体Ｊが表示画面２１０の奥側に観察される。
【０１６３】
観察者の観察する視差範囲は、観察者から最も遠いＪ点から、最も近いＩ点までの幅［Ｔ１］になる。
図１６（ｂ）は、本実施例４（ａ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｈ６，Ｉ６，Ｊ６は、図１６（ａ）のＨ，Ｉ，Ｊと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１６４】
被写体Ｈ６はディスパリティ＝０である。
被写体Ｈ６は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｈ６の位置は表示画面２１０上の位置となる。
【０１６５】
被写体Ｉ６はディスパリティ＝ＤＩ６である。
被写体Ｉ６は、左画像と右画像の表示画面２１０上の距離がＤＩ６であり、ディスパリティがＤＩ６となる。
観察者が実感する被写体Ｉ６の位置は表示画面２１０から手前、すなわち観察者側の位置Ｉ６となる。
ただし、観察者が実感する被写体Ｉ６の位置は、図１６（ａ）に示す変換前の入力画像における被写体位置Ｉより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１６６】
被写体Ｊ６はディスパリティ＝ＤＪ６である。
被写体Ｊ６は、左画像と右画像の表示画面２１０上の距離がＤＪ６であり、ディスパリティがＤＪ６となる。
観察者が実感する被写体Ｊ６の位置は表示画面２１０の奥、すなわち観察者から最も遠い位置Ｊ６となる。
ただし、観察者が実感する被写体Ｊ６の位置は、図１６（ａ）に示す変換前の入力画像における被写体位置Ｊより観察者に近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１６７】
画像処理装置１００の画像変換処理により、本実施例４（ａ）では、前述の実施例１と同方向の画像シフトが実行される。
具体的には、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１６８】
この結果、表示画面２１０の手前に観察される被写体Ｉについては以下のような処理が行われる。
左画像のＩ位置（図１６（ａ）Ｉ左画像）が右方向に移動して図１６（ｂ）Ｉ６左画像位置となり、右画像のＩ位置（図１６（ａ）Ｉ右画像）が左方向に移動して図１６（ｂ）Ｉ６右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＩからＤＩ６に大きくなる。
【０１６９】
さらに、表示画面２１０の奥に観察される被写体Ｊについては以下のような処理が行われる。
左画像のＪ位置（図１６（ａ）Ｊ左画像）が右方向に移動して図１６（ｂ）Ｊ６左画像位置となり、右画像のＪ位置（図１６（ａ）Ｊ右画像）が左方向に移動して図１６（ｂ）Ｊ６右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＪからＤＪ６に小さくなる。
【０１７０】
このように、実施例４（ａ）の処理では、
表示画面２１０の手前に観察される被写体Ｉではディスパリティが大きく変更され、より手前に観察されることになる。
一方、表示画面２１０の奥に観察される被写体Ｊではディスパリティが小さく変更され、この場合も変換前より手前に観察されることになる。
【０１７１】
この結果、図１６（ａ），（ｂ）の視差範囲Ｔ１，Ｔ６を比較して理解されるように、
変換前の入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）は、変換後の出力画像（視差調整画像）の視差範囲Ｔ６（Ｉ６〜Ｊ６）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｔ６（Ｉ６〜Ｊ６）は、入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）を全体として観察者側に近づけるように制御される。
【０１７２】
図１６を参照して説明した視差範囲移動効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例４（ａ）では、前述したように、先に説明した実施例１と同様の微分処理が行われ、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１７３】
図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図６（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図１６（ａ），（ｂ）に示すように変更され、図１６（ａ）の視差範囲Ｔ１から図１６（ｂ）に示す視差範囲Ｔ６のように視差範囲を全体としてより観察者側に近づけることができる。
【０１７４】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０１７５】
（ｂ）左画像を左方向にシフトし、右画像を右方向にシフトする処理例
次に、図１７を参照して、画像処理装置１００に入力する左画像（Ｌ１）１０を左方向にシフトし、右画像（Ｒ１）２０を右方向にシフトする処理例について説明する。
本処理例は、先の実施例２において説明した図１２に示す処理に対応する処理を実行する。
すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１７６】
本実施例４（ａ）では、左画像微分器１１２において、図１２（Ｌ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｌ１），（Ｌ２）に示すように左画像は左方向へシフトされる。
また、右画像微分器１２２において、図１２（Ｒ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は右方向へシフトされる。
【０１７７】
図１７を参照して、本実施例４（ｂ）における視差制御処理例について説明する。
図１７には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｔ１
（ｂ）視差調整画像の視差範囲Ｔ５
なお、図１７（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０１７８】
図１７（ａ）は、先に説明した図１６（ａ）と同様の入力画像の視差範囲Ｔ１を示す図である。
具体的には、
被写体Ｈが表示画面２１０上に観察され、
被写体Ｉが表示画面２１０の手前（観察者側）に観察され、
被写体Ｊが表示画面２１０の奥側に観察される設定となった入力画像である。
図１７（ａ）において、
被写体Ｈは、ディスパリティ＝ＤＨ＝０、
被写体Ｉは、ディスパリティ＝ＤＩ、
被写体Ｊは、ディスパリティ＝ＤＪ、
ここで、被写体Ｉのディスパリティは、被写体Ｉの像が表示画面２１０の手前に観察される設定であり、被写体Ｊのディスパリティは、被写体Ｊの像が表示画面２１０の奥に観察される設定である。
【０１７９】
観察者の観察する視差範囲は、観察者から最も遠いＪ点から、最も近いＩ点までの幅［Ｔ１］になる。
図１７（ｂ）は、本実施例４（ｂ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｈ７，Ｉ７，Ｊ７は、図１７（ａ）のＨ，Ｉ，Ｊと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１８０】
被写体Ｈ７はディスパリティ＝０である。
被写体Ｈ７は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｈ７の位置は表示画面２１０上の位置となる。
【０１８１】
被写体Ｉ７はディスパリティ＝ＤＩ７である。
被写体Ｉ７は、左画像と右画像の表示画面２１０上の距離がＤＩ７であり、ディスパリティがＤＩ７となる。
観察者が実感する被写体Ｉ７の位置は表示画面２１０から手前、すなわち観察者側の位置Ｉ７となる。
ただし、観察者が実感する被写体Ｉ７の位置は、図１７（ａ）に示す変換前の入力画像における被写体位置Ｉより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１８２】
被写体Ｊ７はディスパリティ＝ＤＪ７である。
被写体Ｊ７は、左画像と右画像の表示画面２１０上の距離がＤＪ７であり、ディスパリティがＤＪ７となる。
観察者が実感する被写体Ｊ７の位置は表示画面２１０の奥、すなわち観察者から最も遠い位置Ｊ７となる。
ただし、観察者が実感する被写体Ｊ７の位置は、図１７（ａ）に示す変換前の入力画像における被写体位置Ｊより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１８３】
画像処理装置１００の画像変換処理により、本実施例４（ｂ）では、前述の実施例２と同方向の画像シフトが実行される。
具体的には、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１８４】
この結果、表示画面２１０の手前に観察される被写体Ｉについては以下のような処理が行われる。
左画像のＩ位置（図１７（ａ）Ｉ左画像）が左方向に移動して図１７（ｂ）Ｉ７左画像位置となり、右画像のＩ位置（図１７（ａ）Ｉ右画像）が右方向に移動して図１７（ｂ）Ｉ７右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＩからＤＩ７に小さくなる。
【０１８５】
さらに、表示画面２１０の奥に観察される被写体Ｊについては以下のような処理が行われる。
左画像のＪ位置（図１７（ａ）Ｊ左画像）が左方向に移動して図１７（ｂ）Ｊ７左画像位置となり、右画像のＪ位置（図１７（ａ）Ｊ右画像）が右方向に移動して図１７（ｂ）Ｊ７右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＪからＤＪ７に大きくなる。
【０１８６】
このように、実施例４（ｂ）の処理では、
表示画面２１０の手前に観察される被写体Ｉではディスパリティが小さく変更され、観察者から遠い位置、すなわち表示画面２１０に近い位置に観察されることになる。
一方、表示画面２１０の奥に観察される被写体Ｊではディスパリティが大きく変更され、この場合も変換前より、観察者からより遠い位置に観察されることになる。
【０１８７】
この結果、図１７（ａ），（ｂ）の視差範囲Ｔ１，Ｔ７を比較して理解されるように、
変換前の入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）は、変換後の出力画像（視差調整画像）の視差範囲Ｔ７（Ｉ７〜Ｊ７）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｔ７（Ｉ７〜Ｊ７）は、入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）を全体として観察者から遠ざけるように制御される。
【０１８８】
図１７を参照して説明した視差範囲移動効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例４（ｂ）では、前述したように、先に説明した実施例２と同様の微分処理が行われ、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１８９】
図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図１７（ａ），（ｂ）に示すように変更され、図１７（ａ）の視差範囲Ｔ１から図１７（ｂ）に示す視差範囲Ｔ７のように視差範囲を全体としてより観察者から遠ざけることができる。
【０１９０】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０１９１】
ここまで、説明した実施例１〜実施例４の構成は、左画像と右画像の画素ごとに対応するディスパリティ（像差）を記述したディスパリティマップを生成する処理や、ディスパリティマップの利用処理が不要であるため処理コストが小さく、回路の小型化が容易である。
次に、簡易的なディスパリティマップを利用した実施例について説明する。
【０１９２】
［Ｅ．実施例５：簡易なディスパリティマップを利用した視差制御を行う実施例］
次に、実施例５として、簡易なディスパリティマップを利用して視差制御を実行する画像処理装置の構成と処理例について説明する。
以下に説明する実施例は、簡易的なディスパリティマップを生成することにより、視差範囲の制御をより的確に行うことが可能な画像変換装置を実現する。
【０１９３】
実施例５に係る画像処理装置３００の構成例を図１８に示す。図１８に示す画像処理装置３００は、先に実施例１の画像処理装置とし説明した図１に示す画像処理装置１００に視差検出部３０１を追加した構成である。その他の構成は、図１に示す構成と同一である。
【０１９４】
画像処理装置３００は、図１８に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０、さらに、視差検出部３０１を有する。
【０１９５】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
この左画像変換部１１０と右画像変換部１２０は、先に実施例１〜４において説明した処理と同様の処理を実行する。
【０１９６】
視差検出部３０１は、左画像変換部１１０の左画像入力部１１１から出力される左画像輝度信号と、右画像変換部１２０の右画像入力部１２１から出力される右画像輝度信号を受信し、左画像と右画像において同一被写体を示すと判断される水平方向の対応画素位置を検出する。
【０１９７】
本実施例における視差検出部３０１は、左画像と右画像の対応画素位置（以下、対応点と呼ぶ）の位置関係について、以下の判定結果を取得する。
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
この２つのパターンのいずれであるかを判定する。
【０１９８】
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
（ａ）の場合は、先に実施例４において説明した図１７（ａ）を参照して説明すると、被写体Ｊの左画像と右画像の対応関係となる。
すなわち、左画像の対応点（Ｊ左画像）は、右画像の対応点（Ｊ右画像）よりも左に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より奥側（観察者から遠い位置）となる。
【０１９９】
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
（ｂ）の場合は、先に実施例４において説明した図１７（ａ）を参照して説明すると、被写体Ｉの左画像と右画像の対応関係となる。
すなわち、左画像の対応点（Ｉ左画像）は、右画像の対応点（Ｉ右画像）よりも右に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より手前側（観察者に近い位置）となる。
【０２００】
以下では、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
この場合のディスパリティを正のディスパリティとする。
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
この場合のディスパリティを負のディスパリティとする。
正のディスパリティの場合は、被写体の観察される位置は、表示画面より奥側（観察者から遠い位置）となる。
負のディスパリティの場合は、被写体の観察される位置は、表示画面より手前側（観察者に近い位置）となる。
【０２０１】
一般的なディスパリティマップは、左画像と右画像の各画素対応の正確な画素ずれ量（画素数）を保持する設定であるが、本実施例では、視差検出部３０１は、各画素または複数画素からなるブロックについて、上述のディスパリティの正負（極性）のみを検出する。
【０２０２】
視差検出部３０１は、この画素またはブロック対応のディスパリティ極性情報からなる粗いディスパリティマップを生成して、左画像変換部１１０の左画像微分処理部１１２と、右画像変換部１２０の右画像微分処理部１２２に入力する。
【０２０３】
なお、本実施例の画像処理装置３００における視差検出部３０１の実行する視差検出処理は、視差の高い数値精度を得るような複雑な視差検出処理は必要ない。ディスパリティマップは、例えば微分処理部のフィルタ係数の制御に用いるが、画像の水平移動は、原理上、入力画像の空間周波数に依存するため、ディスパリティマップの空間解像度は視差制御の性能に大きく影響しない。従って、視差検出処理は縮小した画像を用いる構成としてもよい。または、入力画像を空間的に間引いた点のみで視差情報を検出する構成としてもよい。このような構成により、処理コストを削減することが可能である。
【０２０４】
左画像微分処理部１１２、および右画像微分処理部１２２は、それぞれ、入力されるディスパリティマップの対象画素位置での極性に応じて微分処理の態様を切り換える。具体的には、例えば、先に実施例１，２において説明した図６に示す設定の微分フィルタを適用した処理と、図１２に示す設定の微分フィルタを適用した処理とを適宜、切り換える処理を行う。
すなわち、
（１）左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６）、
（２）左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２）、
これらのいずれかの処理をディスパリティマップの対象画素位置での極性に応じて切り換えて実行する。
【０２０５】
以下、図１９および図２０を参照して、ディスパリティの極性が２方向（表示画面の奥にも手前にも被写体が表示される）にあるような入力画像に対して、本実施例５の図１８に示す画像処理装置３００を適用した処理例として、以下の処理例について、順次説明する。
実施例５（ａ）視差範囲を縮小する実施例
実施例５（ｂ）視差範囲を拡大する実施例
【０２０６】
（実施例５（ａ）視差範囲を縮小する実施例）
まず、図１９を参照して、ディスパリティの極性判定情報を適用して視差範囲を縮小する処理を行う実施例について説明する。
【０２０７】
図１９は、先の各実施例において説明したと同様、以下の各図を示している。
（ａ）入力画像の視差範囲Ｕ１
（ｂ）視差調整画像の視差範囲Ｕ８
なお、図１９（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０２０８】
図１９（ａ）は、先に実施例４において説明した図１６（ａ）、図１７（ａ）と同様、被写体が表示画面２１０の前後に観察される。すなわち、
被写体Ｋが表示画面２１０上に観察され、
被写体Ｌが表示画面２１０の手前（観察者側）に観察され、
被写体Ｍが表示画面２１０の奥側に観察される設定となった入力画像である。
図１９（ａ）において、
被写体Ｋは、ディスパリティ＝ＤＨ＝０、
被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））、
被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））、
ここで、被写体Ｌのディスパリティは極性が負であり、被写体Ｌの像が表示画面２１０の手前に観察される設定であり、被写体Ｍのディスパリティは極性が正であり、被写体Ｍの像が表示画面２１０の奥に観察される設定である。
視差範囲は、被写体Ｌ〜Ｍの観察位置に相当する視差範囲［Ｕ１］となる。
【０２０９】
図１９（ｂ）は、本実施例５（ａ）に従って、図１８に示す画像処理装置３００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｋ８，Ｌ８，Ｍ８は、図１９（ａ）のＫ，Ｌ，Ｍと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
【０２１０】
被写体Ｋ８はディスパリティ＝０である。
被写体Ｋ８は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｋ８の位置は表示画面２１０上の位置となる。
【０２１１】
被写体Ｌ８はディスパリティ＝ＤＬ８となる。
被写体Ｌ８は、左画像と右画像の表示画面２１０上の距離がＤＬ８であり、ディスパリティがＤＬ８となる。
観察者が実感する被写体Ｌ８の位置は表示画面２１０から手前、すなわち観察者側の位置Ｌ８となる。
ただし、観察者が実感する被写体Ｌ８の位置は、図１９（ａ）に示す変換前の入力画像における被写体位置Ｌより観察者から遠い（表示画面２１０に近い）位置に設定される。これは画像のシフト処理の結果である。
【０２１２】
このシフト処理においては、図１９（ａ）に示す被写体ＬのディスパリティＤＬの極性が考慮される。
前述したように、被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））である。すなわち、左画像の対応点（Ｌ左画像）は、右画像の対応点（Ｌ右画像）よりも右に位置する。
このようにディスパリティ極性＝負（−）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ａ）では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２参照）」を実行する。
【０２１３】
すなわち、図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については左方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図１２（Ｒ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
【０２１４】
この画像変換処理により、被写体Ｌのディスパリティは、図１９（ａ）の示すＤＬから図１９（ｂ）に示すＤＬ８に変更される。結果として、左画像の対応点（Ｌ８左画像）と、右画像の対応点（Ｌ８右画像）の距離は小さくなり、結果として、被写体像Ｌ８は、変換前の図１９（ａ）に示す被写体像Ｌの位置より、観察者から遠ざかる（表示画面２１０に近づく）方向に移動して設定される。
【０２１５】
一方、表示画面２１０の奥に位置する被写体Ｍは、画像変換前のディスパリティ＝ＤＭが、画像変換の結果、図１９（ｂ）に示すディスパリティ＝ＤＭ８となる。
観察者が実感する被写体Ｍ８の位置は表示画面２１０より奥の位置Ｍ８となる。
ただし、観察者が実感する被写体Ｍ８の位置は、図１９（ａ）に示す変換前の入力画像における被写体位置Ｍより観察者から近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０２１６】
このシフト処理においても、図１９（ａ）に示す被写体ＭのディスパリティＤＭの極性が考慮される。
前述したように、被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））である。すなわち、左画像の対応点（Ｍ左画像）は、右画像の対応点（Ｍ右画像）よりも左に位置する。
このようにディスパリティ極性＝正（＋）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ａ）では、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６参照）」を実行する。
【０２１７】
すなわち、図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については右方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図６（Ｒ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
【０２１８】
この画像変換処理により、被写体Ｍのディスパリティは、図１９（ａ）の示すＤＭから図１９（ｂ）に示すＤＭ８に変更される。結果として、左画像の対応点（Ｍ８左画像）と、右画像の対応点（Ｍ８右画像）の距離は小さくなり、結果として、被写体像Ｍ８は、変換前の図１９（ａ）に示す被写体像Ｍの位置より、観察者に近づく（表示画面２１０に近づく）方向に移動して設定される。
【０２１９】
この結果、変換画像によって表示される３次元画像の視差範囲は、図１９（ｂ）に示す視差範囲［Ｕ８］となる。
変換後の視差範囲［Ｕ８］は、変換前の画像による視差範囲［Ｕ１］に比較して、表示画面の前後とも表示画面２１０に近づき、縮小された視差範囲となる。
【０２２０】
このように、本実施例５（ａ）によれば、表示画面の手前に観察される被写体と、表示画面の奥に観察される被写体について、それぞれ逆のパターンの微分フィルタ係数を用いた処理により、逆方向のシフト処理を実行する。すなわちディスパリティの極性に応じて異なるフィルタを選択適用して異なる方向への画像シフト処理（図６または図１２）を実行する。
【０２２１】
この処理により、表示画面の手前に観察される被写体も、表示画面の奥に観察される被写体も、その観察位置を表示画面方向に移動させることが可能となり、結果として、より効率的に視差範囲を縮小（Ｕ１からＵ８）することが可能となる。
【０２２２】
（実施例５（ｂ）視差範囲を拡大する実施例）
次に、図２０を参照して、ディスパリティの極性判定情報を適用して視差範囲を拡大する処理を行う実施例について説明する。
【０２２３】
図２０は、先の各実施例において説明したと同様、以下の各図を示している。
（ａ）入力画像の視差範囲Ｕ１
（ｂ）視差調整画像の視差範囲Ｕ９
なお、図２０（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０２２４】
図２０（ａ）は、図１９（ａ）と同様、被写体が表示画面２１０の前後に観察される。すなわち、
被写体Ｋが表示画面２１０上に観察され、
被写体Ｌが表示画面２１０の手前（観察者側）に観察され、
被写体Ｍが表示画面２１０の奥側に観察される設定となった入力画像である。
図２０（ａ）において、
被写体Ｋは、ディスパリティ＝ＤＨ＝０、
被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））、
被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））、
ここで、被写体Ｌのディスパリティは極性が負であり、被写体Ｌの像が表示画面２１０の手前に観察される設定であり、被写体Ｍのディスパリティは極性が正であり、被写体Ｍの像が表示画面２１０の奥に観察される設定である。
視差範囲は、被写体Ｌ〜Ｍの観察位置に相当する視差範囲［Ｕ１］となる。
【０２２５】
図２０（ｂ）は、本実施例５（ｂ）に従って、図１８に示す画像処理装置３００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｋ９，Ｌ９，Ｍ９は、図２０（ａ）のＫ，Ｌ，Ｍと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
【０２２６】
被写体Ｋ９はディスパリティ＝０である。
被写体Ｋ９は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｋ９の位置は表示画面２１０上の位置となる。
【０２２７】
被写体Ｌ９はディスパリティ＝ＤＬ９となる。
被写体Ｌ９は、左画像と右画像の表示画面２１０上の距離がＤＬ９であり、ディスパリティがＤＬ９となる。
観察者が実感する被写体Ｌ９の位置は表示画面２１０から手前、すなわち観察者側の位置Ｌ９となる。
ただし、観察者が実感する被写体Ｌ９の位置は、図２０（ａ）に示す変換前の入力画像における被写体位置Ｌより観察者に近い（表示画面２１０から遠い）位置に設定される。これは画像のシフト処理の結果である。
【０２２８】
このシフト処理においては、図２０（ａ）に示す被写体ＬのディスパリティＤＬの極性が考慮される。
前述したように、被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））である。すなわち、左画像の対応点（Ｌ左画像）は、右画像の対応点（Ｌ右画像）よりも右に位置する。
このようにディスパリティ極性＝負（−）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ｂ）では、先の実施例５（ａ）とは異なり、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６参照）」を実行する。
【０２２９】
すなわち、図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については右方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図６（Ｒ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
【０２３０】
この画像変換処理により、被写体Ｌのディスパリティは、図２０（ａ）の示すＤＬから図２０（ｂ）に示すＤＬ９に変更される。結果として、左画像の対応点（Ｌ９左画像）と、右画像の対応点（Ｌ９右画像）の距離は大きくなり、結果として、被写体像Ｌ９は、変換前の図２０（ａ）に示す被写体像Ｌの位置より、観察者に近づく（表示画面２１０から遠ざかる）方向に移動して設定される。
【０２３１】
一方、表示画面２１０の奥に位置する被写体Ｍは、画像変換前のディスパリティ＝ＤＭが、画像変換の結果、図２０（ｂ）に示すディスパリティ＝ＤＭ９となる。
観察者が実感する被写体Ｍ９の位置は表示画面２１０より奥の位置Ｍ９となる。
ただし、観察者が実感する被写体Ｍ９の位置は、図２０（ａ）に示す変換前の入力画像における被写体位置Ｍより観察者から遠い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０２３２】
このシフト処理においても、図２０（ａ）に示す被写体ＭのディスパリティＤＭの極性が考慮される。
前述したように、被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））である。すなわち、左画像の対応点（Ｍ左画像）は、右画像の対応点（Ｍ右画像）よりも左に位置する。
このようにディスパリティ極性＝正（＋）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ｂ）では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２参照）」を実行する。
【０２３３】
すなわち、図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については左方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図１２（Ｒ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
【０２３４】
この画像変換処理により、被写体Ｍのディスパリティは、図２０（ａ）の示すＤＭから図２０（ｂ）に示すＤＭ９に変更される。結果として、左画像の対応点（Ｍ９左画像）と、右画像の対応点（Ｍ９右画像）の距離は大きくなり、結果として、被写体像Ｍ９は、変換前の図２０（ａ）に示す被写体像Ｍの位置より、観察者から遠ざかる（表示画面２１０から遠ざかる）方向に移動して設定される。
【０２３５】
この結果、変換画像によって表示される３次元画像の視差範囲は、図２０（ｂ）に示す視差範囲［Ｕ９］となる。
変換後の視差範囲［Ｕ９］は、変換前の画像による視差範囲［Ｕ１］に比較して、表示画面の前後とも表示画面２１０から遠ざかり、拡大された視差範囲となる。
【０２３６】
このように、本実施例５（ｂ）によれば、表示画面の手前に観察される被写体と、表示画面の奥に観察される被写体について、それぞれ逆のパターンの微分フィルタ係数を用いた処理により、逆方向のシフト処理を実行する。すなわちディスパリティの極性に応じて異なるフィルタを選択適用して異なる方向への画像シフト処理（図６または図１２）を実行する。
【０２３７】
この処理により、表示画面の手前に観察される被写体も、表示画面の奥に観察される被写体も、その観察位置を表示画面方向から遠ざかる方向に移動させることが可能となり、結果として、より効率的に視差範囲を拡大（Ｕ１からＵ９）することが可能となる。
【０２３８】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０２３９】
［Ｆ．実施例６：シフト態様の制御用の信号を入力可能とした構成を有する実施例］
次に、シフト態様の制御のための制御信号を入力可能とした構成を有する実施例について図２１〜２３を参照して説明する。
上述の実施例では、図１に示す構成において、左画像微分器１１２と右画像微分器１２２において適用する微分フィルタ係数について、図６や図１２を参照して説明したように、［−１，０，１］と［１，０，−１］の組み合わせを利用する構成としている。
【０２４０】
具体的には、以下のような設定となっている。
実施例１では、図６に従った微分フィルタ係数の設定（左画像微分器：［１，０，−１］、右画像微分器［−１，０，１］）として、左画像を右方向にシフト、右画像を左方向にシフトする設定。
実施例２では図１２に従った設定（左画像微分器：［−１，０，１］、右画像微分器［１，０，−１］）として、左画像を左方向にシフト、右画像を右方向にシフトする設定。
実施例３（ａ）では図１２に従った設定、
実施例３（ｂ）では図６に従った設定、
実施例４（ａ）では図６に従った設定、
実施例４（ｂ）では図１２に従った設定、
実施例５（ａ）では図１２に従った設定、
実施例５（ｂ）では図６に従った設定、
このように、各実施例において、各微分器において適用する微分フィルタ係数を設定している。
この微分フィルタ係数の設定態様に応じて、画像のシフト方向の制御が可能となる。
また、微分フィルタ係数は、［−１，０，１］，［１，０，−１］のような組み合わせに限らず、［−２，０，２］，［２，０，−２］、さらには、［−１，−０．５，０，０．５，１］，［１，０．５，０，−０．５，−１］の組み合わせ、あるいは一次微分フィルタ以外の２次元フィルタを適用するといった様々な設定が可能であり、この様な微分フィルタ係数の変更により、シフト態様を変更することが可能となる。
【０２４１】
また、上述の実施例１〜５では、左線形変換部１１３、および右線形変換部１２３では、例えば図３に示すパターンに従った非線形変換処理を実行すると説明した。
前述したように、この変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
【０２４２】
実施例６では、シフト方向やシフト態様を制御するための制御信号入力部を設けた構成である。
図２１に示す画像処理装置４００は、図１に示す画像処理装置１００に制御信号入力部４０１を追加した構成を有する。その他の構成は、図１に示す構成と同一である。
【０２４３】
画像処理装置４００は、図２１に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０、さらに、視差検出部３０１を有する。
【０２４４】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
【０２４５】
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
この左画像変換部１１０と右画像変換部１２０は、先に実施例１〜４において説明した処理と同様の処理を実行する。
【０２４６】
制御信号入力部４０１は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力する。
【０２４７】
微分器の微分フィルタの設定制御構成の具体例について図２２を参照して説明する。図２２は、左画像微分器１１２の内部構成例を示す図である。
左画像微分器１１２は、フィルタ選択部４２１、微分フィルタ適用部４２２を有する。
【０２４８】
微分フィルタ適用部４２２は、複数の異なる微分フィルタ係数を選択適用可能な構成を有している。フィルタ選択部４２１は、制御信号入力部４０１からの制御信号に応じて、特定の微分フィルタを選択し、選択した微分フィルタによって、左画像入力部１１１から入力する左画像の輝度信号に対する微分処理を実行する。
例えばこのような構成により、様々な微分フィルタ係数を適用した微分処理が実現される。
なお、図２２は左画像微分器１１２の構成例として説明したが、右画像微分器１２２も同様の構成を有し、様々な微分フィルタ係数を適用した微分処理が実現される。
【０２４９】
図２１に示すように、制御信号入力部４０１の制御信号は、左画像非線形変換部１１３と、右画像非線形変換部１２３にも制御信号を入力する。
左画像非線形変換部１１３と、右画像非線形変換部１２３に入力される制御信号は、微分信号の変換処理態様を制御する信号である。先に説明した実施例では、例えば図３に示すパターンに従った非線形変換処理を実行する構成として説明したが、本実施例では、制御信号によって、変換パターンを様々な態様に制御可能な構成としている。制御信号は、例えば入力（Ｉｎ）に対して適用する関数Ｆとして設定可能である。
この制御信号としての関数Ｆによって、
出力Ｏｕｔ＝Ｆ（Ｉｎ）が決定される。
このように変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
なお、変換処理は非線形に限らず線形変換とする設定としてもよい。
【０２５０】
このように、図２１に示す画像処理装置４００は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力可能な構成とした。
【０２５１】
この制御信号の入力により、画像のシフト方向やシフト態様の制御が可能となる。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や３次元画像の設定を実現することが可能となる。
【０２５２】
図２１を参照して説明した構成は、前述した実施例１〜４の構成として説明した図１の画像処理装置に制御信号入力部４０１を追加した構成であるが、実施例５の構成として説明した図１８に示す画像処理装置３００に制御信号入力部を追加した構成としてもよい。図２３に、この画像処理装置５００の構成例を示す。
【０２５３】
図２３に示す画像処理装置５００は、先に実施例５の画像処理装置として説明した図１８に示す画像処理装置３００に制御信号入力部５０１を追加した構成である。
左画像変換部１１０、右画像変換部１２０、視差検出部３０１の構成および実行する処理は先に実施例５において説明したとほぼ同様である。
ただし、図２３に示す画像処理装置５００は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力可能な構成である。
【０２５４】
この制御信号の入力により、画像のシフト方向やシフト態様の制御が可能となる。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や３次元画像の設定を実現することが可能となる。
【０２５５】
なお、上述した実施例において、入力画像をそのまま適用して変換する処理構成として説明したが、各画像入力部で入力した画像（左画像１０、右画像２０）に対して縮小処理や間引き処理を実行し、その後、微分処理、非線形変換、合成処理、あるいは視差検出処理を実行する構成としてもよい。このような処理構成とすることで、データ処理量を削減することが可能となる。なお、実施例５において説明したように、視差検出部３０１の視差検出処理のみを縮小画像あるいは間引き処理画像を適用した処理として実行する構成としてもよい。
【０２５６】
また、上記した各実施例では、左画像微分器と右画像微分器とで微分フィルタ係数のパターンを逆系列とした設定の微分フィルタを適用する構成としたが、左画像微分器と右画像微分器とで同じ微分フィルタ係数を用いて微分処理を実行し、その後の合成処理において、一方（例えば左画像）は、微分信号（または微分信号を非線形変換した信号）を原画像信号に加算し、他方（例えば右画像）は原画像信号に対する減算処理を実行する構成としても同様の効果を奏することができる。
【０２５７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２５９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２６０】
以上、説明したように、本発明の一実施例構成によれば、立体画像表示に適用する左画像と右画像の視差制御を行なう装置、方法が提供される。本発明の画像処理装置は、左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【符号の説明】
【０２６１】
１０ 左画像（Ｌ１画像）
２０ 右画像（Ｒ１画像）
５０ 視差調整左画像（Ｌ２画像）
６０ 視差調整右画像（Ｒ２画像）
１００ 画像処理装置
１１０ 左画像変換部
１１１ 左画像入力部
１１２ 左画像微分処理部
１１３ 左非線形変換部
１１４ 左画像合成部
１１５ 左画像出力部
１２０ 右画像変換部
１２１ 右画像入力部
１２２ 右画像微分処理部
１２３ 右非線形変換部
１２４ 右画像合成部
１２５ 右画像出力部
３００ 画像処理装置
３０１ 視差検出部
４００ 画像処理装置
４０１ 制御信号入力部
４２１ フィルタ選択部
４２２ 微分フィルタ適用部
５００ 画像処理装置
５０１ 制御信号入力部
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）に対応した視差画像の視差制御を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
ステレオ視（立体視）に対応したいわゆる視差画像（３次元画像、３Ｄ画像とも呼ばれる）を生成するためには、異なる視点からの画像、すなわち左眼用画像と右眼用画像が必要となる。すなわち、視差のある画像を左眼用画像と右眼用画像として生成し、左眼用画像を観察者（ユーザ）の左眼のみで観察し、右眼用画像を観察者（ユーザ）の右眼のみで観察する制御を行うことで、観察者は立体感を実感することができる。
【０００３】
なお、各画像をユーザの一方の眼で観察させるための構成としては様々な方法がある。例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、あるいは液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式などがある。一般的には、このような立体視用の特殊な眼鏡を装着して画像を観察することで立体画像の観察が可能となる。
このように、従来から、視差を持つ画像の提示による立体視の実現方法については、様々な手法が提案されている。
【０００４】
しかし、視差範囲、すなわち近くに見える被写体と遠くに見える被写体の幅が狭すぎると、十分な立体感が感じられないという問題がある。一方では、視差範囲が大きい３次元画像を長時間、観察し続けると疲労や気分が悪くなるといった観察者が発生するといった報告もある。このような問題を解決する手法として、立体感を適正に与えるために視差量を制御する手法が提案されている。
【０００５】
例えば、特許文献１（特開平０７−１６７６３３号公報）は、３次元画像を構成する左右の画像（左眼用画像と右眼用画像）から視差に相当する網膜像差（ディスパリティ）を検出して、検出した網膜像差（ディスパリティ）情報に基づいて左右の画像を水平シフトして視差を調整する方法を開示している。すなわち、この特許文献１に開示された方法は、ディスパリティの平均値を用いて画像全体を水平にシフトすることで、観察者が見やすい視差範囲に設定する画像変換方法である。
【０００６】
なお、ディスパリティとは、網膜像差、あるいは表示部における同一被写体の左眼用画像と右眼用画像間の距離に対応する値であり、ディスパリティが大きいほど視差が大きくなる。
この特許文献１に開示された方法は、ディスパリティの平均値を用いて画像全体を水平にシフトすることで、観察者が見やすい視差範囲に設定する画像変換方法である。
【０００７】
この特許文献１に開示された構成は、ディスパリティの平均値を用いて水平シフト量を決定する構成であり、少ない処理量での変換が可能となるというメリットがある。しかし、左右画像を全体的に水平シフトする構成であり、視差のダイナミックレンジ（最も近い被写体と遠い被写体の奥行きの差）を制御することはできないという問題がある。
【０００８】
また、非特許文献１（"Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅ ｆｏｒ ３Ｄ ＴＶ"，Ｌ．Ｚｈａｎｇ ａｎｄ Ｗ．Ｊ．Ｔａｍ， ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．５１，Ｎｏ．２，Ｊｕｎｅ ２００５）は、左右の画像から、画像の画素ごとに対応するディスパリティ（左画像と右画像のずれ）を記述したディスパリティマップを生成して、ディスパリティマップと原画像を用いて、異なる視点に対する画像を復元する方法を開示している。
【０００９】
この非特許文献１に開示された手法は、新たな視点からの画像を生成することが可能であり、ステレオ画像の視差のダイナミックレンジについても制御した画像を生成することができる。しかしながら、この非特許文献１に記載の方法では、画像の画素ごとのディスパリティ（像差）を記述したディスパリティマップを生成することが不可欠であり、処理コストが大きくなり、回路の小型化が難しいという問題がある。また、生成される画像の品質がディスパリティマップの精度に依存するため、高解像度かつ、高精度なディスパリティマップが求められる。このような高精度なディスパリティマップの生成は困難であり、回路規模を増大させる要因になる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平０７−１６７６３３号公報
【非特許文献】
【００１１】
【非特許文献１】"Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ ｇｅｎｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｄｅｐｔｈ ｉｍａｇｅ ｆｏｒ ３Ｄ ＴＶ"，Ｌ．Ｚｈａｎｇ ａｎｄ Ｗ．Ｊ．Ｔａｍ， ＩＥＥＥ Ｔｒａｎｓ．Ｏｎ Ｂｒｏａｄｃａｓｔｉｎｇ，Ｖｏｌ．５１，Ｎｏ．２，Ｊｕｎｅ ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、例えば上記の問題に鑑みてなされたものであり、画像の画素ごとのディスパリティを記述したディスパリティマップの生成を不要、または少ない処理での生成が可能なデータ量の少ない粗いディスパリティマップを生成するのみで、ステレオ画像における視差の制御を行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、
立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置にある。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記左画像変換部は、前記特徴量として前記左画像の画像信号の微分信号を生成する左画像微分器と、前記左画像の微分信号、または該微分信号の変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成する左画像合成部を有し、前記右画像変換部は、前記特徴量として前記右画像の画像信号の微分信号を生成する右画像微分器と、前記右画像の微分信号、または該微分信号の変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する右画像合成部を有する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記左画像変換部は、前記前記左画像の微分信号の非線形変換処理を実行する左画像非線形変換部を有し、前記左画像合成部は、前記左画像非線形変換部の生成した変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成し、前記右画像変換部は、前記前記右画像の微分信号の非線形変換処理を実行する右画像非線形変換部を有し、前記右画像合成部は、前記右画像非線形変換部の生成した変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、同一の微分態様による微分処理を実行し、前記左画像合成部と前記右画像合成部のいずれか一方は、各画像の微分信号または該微分信号の変換信号を入力画像信号に加算し、他方が入力画像信号から減算する処理を行う。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記左画像微分器と前記右画像微分器は、入力画像信号の輝度信号の微分処理を実行する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置を解析して視差情報を生成する視差検出部を有し、前記左画像微分器と前記右画像微分器は、前記視差検出部の生成する前記視差情報に応じて、微分処理態様を変更して微分処理を実行する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記視差検出部は、画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置が、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する、
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する、
上記（ａ），（ｂ）いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記視差検出部は、画像処理装置に入力する前記左画像と前記右画像の縮小画像または間引き画像を適用して視差情報を生成する。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記左画像微分器と前記右画像微分器の微分処理態様、または前記左画像非線形変換部と前記右画像非線形変換部における変換処理態様の少なくともいずれかを変更制御するための制御信号を入力する制御信号入力部を有する。
【００２３】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法にある。
【００２４】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラムにある。
【００２５】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２７】
本発明の一実施例構成によれば、立体画像表示に適用する左画像と右画像の視差制御を行なう装置、方法が提供される。本発明の画像処理装置は、左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図２】本発明の一実施例に係る画像処理装置の微分器の微分処理について説明する図である。
【図３】本発明の一実施例に係る画像処理装置の非線形変換部の非線形変換処理について説明する図である。
【図４】本発明の一実施例に係る画像処理装置の左画像変換部の処理例について説明する図である。
【図５】本発明の一実施例に係る画像処理装置の右画像変換部の処理例について説明する図である。
【図６】本発明の一実施例に係る画像処理装置の実行する画像変換処理例について説明する図である。
【図７】本発明の実施例１に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図８】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図９】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１０】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１１】本発明の一実施例に係る画像処理装置の実行する画像変換処理による各信号パターンの対応例について説明する図である。
【図１２】本発明の一実施例に係る画像処理装置の実行する画像変換処理例について説明する図である。
【図１３】本発明の実施例２に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１４】本発明の実施例３（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１５】本発明の実施例３（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１６】本発明の実施例４（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１７】本発明の実施例４（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図１８】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図１９】本発明の実施例５（ａ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図２０】本発明の実施例５（ｂ）に係る画像処理装置の実行する画像変換処理による制御処理の具体例について説明する図である。
【図２１】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図２２】本発明の一実施例に係る画像処理装置の微分器の構成例について説明する図である。
【図２３】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。以下の呼応目に従って順次説明する。
Ａ．実施例１：表示部の表示面より奥側に設定された視差範囲の縮小処理例
Ｂ．実施例２：表示部の表示面より奥側に設定された視差範囲の拡大処理例
Ｃ．実施例３：表示部の表示面より手前側に設定された視差範囲の制御（縮小／拡大）処理例
Ｄ．実施例４：表示部の表示面の前後に設定された視差範囲の制御処理例
Ｅ．実施例５：簡易なディスパリティマップを利用した視差制御を行う実施例
Ｆ．実施例６：シフト態様の制御用の信号を入力可能とした構成を有する実施例
【００３０】
［Ａ．実施例１：表示部の表示面より奥側に設定された視差範囲の縮小処理例］
図１以下を参照して本発明の実施例１について説明する。
第１の実施例は、立体画像（３次元画像）を構成する左右の画像（左眼用画像と右眼用画像）の像のずれ（網膜像差等や表示部における左画像と右画像の表示位置間距離）に相当するディスパリティの値を各画素に対応付けたディスパリティマップを利用することなく視差制御を可能とした実施例である。
本実施例は、ディスパリティマップを生成することなく、３次元画像を構成する左右の画像（左眼用画像と右眼用画像）の視差範囲の縮小処理や拡大処理等の視差制御を実行する画像処理装置を実現するものである。
【００３１】
図１を参照して、本実施例の画像処理装置の構成例について説明する。画像処理装置１００は、図１に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０を有する。
【００３２】
入力画像としての左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０は、立体画像（３次元画像）表示に適用する左眼用画像と右眼用画像である。すなわち、異なる視点からの撮影画像等、被写体距離に応じた視差の設定された画像である。なお、左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０は、ビデオデータ等の動画や、静止画、いずれでもよい。動画、静止画いずれの場合も、それぞれ３次元画像表示に適用する１組の左画像（Ｌ１画像）１０、右画像（Ｒ１画像）２０が、順次、左画像変換部１１０、右画像変換部１２０に入力され、各部において、各画像の変換処理が施されて視差調整が施された視差調整左画像（Ｌ２画像）５０と視差調整右画像（Ｒ２画像）６０を生成する。
【００３３】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
【００３４】
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
【００３５】
左画像変換部１１０と、右画像変換部１２０は、それぞれ入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで視差の制御された視差調整左画像５０と視差調整右画像６０を生成して、左画像出力部１１５と右画像出力部１２５を介して出力する処理を行う。
【００３６】
なお、左画像出力部１１５と右画像出力部１２５は、例えば３次元画像の表示処理を行う表示部に接続され、視差が調整された視差調整左画像（Ｌ２）５０と視差調整右画像（Ｒ２）６０を適用した３次元画像表示処理がなされる。
あるいは、左画像出力部１１５と右画像出力部１２５は、記録メディアに対する記録処理を実行する記録部に接続され、視差調整左画像（Ｌ１）５０と視差調整右画像（Ｒ１）６０の記録メディアに対する記録処理が行われる。あるいは通信部を介して外部装置に送信する構成としてもよい。
【００３７】
左画像変換部１１０の実行する処理の詳細について説明する。
左画像入力部１１１は、３次元画像表示に適用するために予め生成された左画像（Ｌ１）１０を入力する。
左画像微分器１１２は、左画像変換部１１０に入力された左画像１０から画像特徴量を抽出する。具体的には、左画像１０から輝度信号を取り出し、輝度信号に対する微分信号（ＨＬ）を生成する。左画像微分器１１２は、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
【００３８】
図２は、左画像微分器１１２における微分信号の生成処理例を示している。
図２には、
（ａ）入力信号
（ｂ）微分信号
これらの各信号の例を示している。
【００３９】
図２（ａ）は、入力画像信号の一例である。
図２（ｂ）は、図２（ａ）の入力画像信号を微分処理した画像であり、例えば左画像微分器１１２の生成する輝度微分信号（ＨＬ）である。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。
【００４０】
左画像非線形変換部１１３は、左画像微分器１１２から出力される微分信号（ＨＬ）を非線形的に変換し、非線形変換信号（ＥＬ）として画像合成部１１４に出力する。
図３は、左画像非線形変換部１１３において実行する非線形変換処理の一例を示している。横軸が、左画像微分器１１２から出力される微分信号（輝度微分信号）の輝度値である。縦軸が、左画像非線形変換部１１３における非線形変換処理後の出力輝度値を示している。
【００４１】
左画像非線形変換部１１３は、入力された微分信号（Ｉｎ（＝ＨＬ））を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ（＝ＥＬ））を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘγ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、左画像非線形変換部１１３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００４２】
なお、図１に点線で示すように、左画像非線形変換部１１３の処理を省略した構成としてもよい。この場合、左画像微分器１１２から出力される微分信号（ＨＬ）を直接、左画像合成部１１４に入力する。
【００４３】
左画像合成部１１４は、左画像（Ｌ１）１０と、この左画像（Ｌ１）１０から生成した空間的な特徴量、すなわち、輝度信号の微分信号（ＨＬ）、または、この微分信号を非線形変換して生成した非線形変換信号（ＥＬ）を適用して視差調整左眼用画像５０を生成する処理を行う。
【００４４】
次に左画像合成部１１４の処理について説明する。
左画像合成部１１４は、入力画像である左画像１０と、この左画像１０から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した非線形変換信号を適用して視差調整左画像５０を生成する処理を行う。生成した視差調整左画像５０は、左画像出力部１１５を介して出力され、例えば表示部に表示される。
【００４５】
図４は、左画像合成部１１４において実行する画像合成処理の一例を示している。上から順に、
（ａ）入力信号（Ｌ１）
（ｂ）微分信号（ＨＬ）
（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））
これらの各信号を示している。
【００４６】
（ａ）入力信号（Ｌ１）は、画像処理装置１００に入力される左画像（Ｌ１）１０の例えばビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。
ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ｐにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｑにおいて、輝度が次第に低くなる変化を示している。
【００４７】
（ｂ）微分信号（ＨＬ）は、（ａ）入力信号（Ｌ１）の微分結果である。この微分信号は、図１に示す左画像変換部１１０の左画像微分器１１２において生成される信号である。
なお、左画像微分器１１２において利用される微分フィルタ係数は、図４（ｂ）に示すように、
１，０，−１
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分信号（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝（Ｉ（ｎ−１））−（Ｉ（ｎ＋１））
【００４８】
左画像微分器１１２の生成する微分信号（ＬＨ）は、図４に示すとおり、（ａ）入力左画像信号（Ｌ１）の輝度変化が正になる領域Ｐにおいて負の値をとり、（ａ）入力左画像信号（Ｌ１）の輝度変化が負になる領域Ｑにおいて正の値をとる。
【００４９】
（ｃ）合成信号（視差調整左画像信号（Ｌ２））は、図１に示す左画像変換部１１０の左画像合成部１１４において生成する信号である。左画像合成部１１４は、（ａ）入力左画像信号（Ｌ１）と、（ｂ）左画像微分信号（ＨＬ）とを加算する合成処理を実行して合成信号（視差調整左画像信号（Ｌ２））を生成する。この結果、図４（ｃ）に示す合成信号（視差調整左画像信号（Ｌ２））が生成される。
【００５０】
この図から理解されるように、（ａ）入力信号（Ｌ１）のＰ，Ｑの輝度変化部分が、（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））においては、右方向に位相変化（シフト）している。これは、入力信号（Ｌ１）に対する微分信号の合成（加算）処理による効果である。
【００５１】
なお、図４の説明では、図１に示す左画像非線形変換部１１３の処理について省略した例を示しているが、左画像非線形変換部１１３の処理を加えた場合は、図４（ｂ）の微分信号の振幅が制御（例えば抑制）されることになる。
この場合も、左画像合成部１１４における合成処理結果としての（ｃ）合成画像信号（＝視差調整左画像信号（Ｌ２））は、図４に示すと同様、Ｐ，Ｑの輝度変化部分が、（ａ）入力信号（Ｌ１）に対して右側に移動した位相変化（シフト）した信号となる。
【００５２】
このように、図１に示す左画像変換部１１０は、入力画像である左画像（Ｌ１）１０の輝度変化部分について、右方向にシフトした視差調整左画像（Ｌ２）５０を生成して出力する。
【００５３】
次に、図１に示す右画像変換部１２０の処理について説明する。右画像変換部１２０は、左画像変換部１１０と同様の構成を有する。
すなわち、右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
【００５４】
基本的には、右画像変換部１２０の各構成部における処理は、左画像変換部１１０の対応する各構成部の処理と同様の処理が行われる。
ただし、右画像２０の微分処理を行う右画像微分処理部１２２において適用する微分フィルタの係数が異なる。
右画像微分処理部１２２において適用する微分フィルタの係数は、左画像変換部１１０の左画像微分処理部１１２において適用する微分フィルタの係数を反転した系列、すなわち逆パターンの系列となる。
【００５５】
図５を参照して、右画像変換部１２０に入力する右画像（Ｒ１）２０と、右画像微分処理部１２２において生成する右画像微分信号（ＨＲ）と、右画像合成部１２４の生成する合成信号（視差調整右画像信号（Ｒ２）の一例について説明する。
図５に示す信号例は、先に左画像変換部１１０の信号例として説明した図４に対応する。
【００５６】
すなわち、図５は、右画像合成部１２４において実行する画像合成処理の一例を示している。上から順に、
（ａ）入力信号（Ｒ１）
（ｂ）微分信号（ＨＲ）
（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））
これらの各信号を示している。
【００５７】
（ａ）入力信号（Ｒ１）は、画像処理装置１００に入力される右画像（Ｒ１）２０の例えばビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。
ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ｐにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｑにおいて、輝度が次第に低くなる変化を示している。
【００５８】
（ｂ）微分信号（ＨＲ）は、（ａ）入力信号（Ｒ１）の微分結果である。この微分信号は、図１に示す右画像変換部１２０の右画像微分器１２２において生成される信号である。
なお、右画像微分器１２２において利用される微分フィルタ係数は、前述したように、左画像微分器１１２において利用される微分フィルタ係数を反転した係数列から構成される。すなわち、図５（ｂ）に示すように、
−１，０，１
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分信号（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝−（Ｉ（ｎ−１））＋（Ｉ（ｎ＋１））
【００５９】
右画像微分器１２２の生成する微分信号（ＨＲ）は、図５に示すとおり、（ａ）入力右画像信号（Ｒ１）の輝度変化が正になる領域Ｐにおいて正の値をとり、（ａ）入力右画像信号（Ｒ１）の輝度変化が負になる領域Ｑにおいて負の値をとる。
【００６０】
（ｃ）合成信号（視差調整右画像信号（Ｒ２））は、図１に示す右画像変換部１２０の右画像合成部１２４において生成する信号である。右画像合成部１２４は、（ａ）入力右画像信号（Ｒ１）と、（ｂ）右画像微分信号（ＨＲ）とを加算する合成処理を実行して合成信号（視差調整右画像信号（Ｒ２））を生成する。この結果、図５（ｃ）に示す合成信号（視差調整右画像信号（Ｒ２））が生成される。
【００６１】
この図から理解されるように、（ａ）入力信号（Ｒ１）のＰ，Ｑの輝度変化部分が、（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））においては、左方向に位相変化（シフト）している。これは、入力信号（Ｒ１）に対する微分信号の合成（加算）処理による効果である。
【００６２】
なお、図５の説明では、図１に示す右画像非線形変換部１２３の処理について省略した例を示しているが、右画像非線形変換部１２３の処理を加えた場合は、図５（ｂ）の微分信号の振幅が制御（例えば抑制）されることになる。
この場合も、右画像合成部１２４における合成処理結果としての（ｃ）合成画像信号（＝視差調整右画像信号（Ｒ２））は、図５に示すと同様、Ｐ，Ｑの輝度変化部分が、（ａ）入力信号（Ｒ１）に対して左側に移動、すなわち左方向に位相変化（シフト）した信号となる。
【００６３】
このように、図１に示す右画像変換部１２０は、入力画像である右画像（Ｒ１）２０の輝度変化部分について、左方向にシフトした視差調整左画像（Ｒ２）５０を生成して出力する。
【００６４】
次に、図６を参照して、画像処理装置１００の入力画像と出力画像との対応について説明する。
図６には、上から、
（Ｌ１）入力左画像信号
（Ｌ２）出力左画像信号（視差調整左画像信号）
（Ｒ１）入力右画像信号
（Ｒ２）出力右画像信号（視差調整左画像信号）
これらの信号パターンを示している。これらは、図４、図５を参照して説明した信号パターンに対応する。
【００６５】
画像処理装置１００の入力画像信号は、
（Ｌ１）入力左画像信号
（Ｒ１）入力右画像信号
これらの１組の画像信号であり、これらは、３次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図６において、輝度変化部分［Ｐ］の中央部分の（Ｌ１）入力左画像信号の表示位置と、（Ｒ１）入力右画像信号の表示位置にはずれが設定されている。この表示位置ずれによって視差が生ずる。
【００６６】
なお、以下では、同一被写体の表示部における左画像と右画像との表示位置間の距離を「ディスパリティ」と定義して説明する。
入力画像（Ｌ１），（Ｒ１）の輝度変化部分［Ｐ］の中央部分のディスパリティは、
（Ｌ１）入力左画像信号の点（ｐ１）と、
（Ｒ１）入力右画像信号の点（ｐ２）と、
これらの各点間の距離［Ｖ１］として設定されている。
【００６７】
これに対して、出力画像、すなわち視差調整画像信号においては、
（Ｌ２）出力左画像信号（視差調整左画像信号）の点（ｐ３）と、
（Ｒ２）出力右画像信号（視差調整左画像信号）の点（ｐ４）と、
これらの各点間の距離［Ｖ２］がディスパリティとなる。
【００６８】
このように、輝度変化部分［Ｐ］の中央部分のディスパリティは、
入力画像の組のディスパリティＶ１、
出力画像（視差調整画像信号）のディスパリティＶ２、
このように異なる値となる。
本例では、
Ｖ２＜Ｖ１
であり、出力画像におけるディスパリティが、入力画像のディスパリティに比較して減少している。このディスパリティの減少より、視差が抑制される。
この効果は、各画像の位相変化（シフト）による効果として得られるものである。
【００６９】
図７を参照して、本実施例１の画像処理装置の視差調整の効果について説明する。図７には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ２
これらの２つの視差範囲を示している。なお、３次元画像を構成する左画像と右画像（左眼用画像と右眼用画像）には、様々な被写体距離（カメラからの距離）を持つ被写体が含まれ、左画像と右画像には被写体距離に応じた様々な視差が設定される。
【００７０】
なお、図７（ａ），（ｂ）には、観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【００７１】
なお、視差の指標値として、観察者（ユーザ）の左眼２０１と右眼２０２の各眼の網膜上の像の位置ずれを示す網膜像差や、同一被写体の表示画面上の距離が利用される。ここでは、同一被写体の表示画面上の距離をディスパリティと定義して、ディスパリティの比較を行う。ディスパリティ＝０であれば視差＝０となる。これは、観察者（ユーザ）の左眼２０１によって観察される左画像と、観察者（ユーザ）の右眼２０２によって観察される右画像、各々における被写体の表示画面２１０上の表示位置が同一位置となる場合である。
【００７２】
具体的には、図７（ａ）の表示画面２１０上の中央のＡ点２２１が視差＝０となる被写体Ａ、すなわちディスパリティ＝０となる被写体Ａである。この場合、ユーザは、被写体Ａが表示画面２１０上に位置するように感じられる。
【００７３】
なお、図中に示す［Ａ左／右画像］は、ユーザの左眼２０１によって観察される３次元画像用の左画像における被写体Ａの表示画面２１０上の表示位置と、ユーザの右眼２０２によって観察される３次元画像用の右画像における被写体Ａの表示画面２１０上の表示位置とが同じ位置であることを意味する。
【００７４】
一方、図７（ａ）に示す
Ｂ左画像とＢ右画像、
Ｃ左画像とＣ右画像、
これらの各画像の表示画面２１０上の表示位置が異なっている。
これは、ユーザの左眼２０１によって観察される３次元画像用の左画像における被写体Ｂ，Ｃの表示位置と、ユーザの右眼２０２によって観察される３次元画像用の右画像における被写体Ｂ，Ｃの表示位置とが異なる位置であることを意味する。
【００７５】
この様な場合、ユーザは被写体Ｂ，Ｃが表示画面２１０上と異なる位置にあるように感じられる。
具体的には、被写体Ｂは、観察者の左眼２０１と表示画面２１０上のＢ左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上のＢ右画像の表示位置を結ぶ直線との交点である空間上の点２２２に位置するように観察される。
また、被写体Ｃは、観察者の左眼２０１と表示画面２１０上のＣ左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上のＣ右画像の表示位置を結ぶ直線との交点である空間上の点２２３に位置するように観察される。
【００７６】
このように、観察者によって感じられる被写体の位置は、同一被写体の左画像と右画像の表示画面２１０上の距離（ディスパリティ）に応じて設定される。表示画面２１０上の左画像と右画像の被写体間隔を示すディスパリティを用いて説明する。
被写体Ａはディスパリティ＝０である。
被写体Ａは、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａの位置は表示画面２１０上の位置２２１となる。
【００７７】
被写体Ｂはディスパリティ＝ＤＢである。
被写体Ｂは、左画像と右画像の表示画面２１０上の距離がＤＢであり、ディスパリティがＤＢとなる。
観察者が実感する被写体Ｂの位置は観察者から表示画面２１０より遠い位置２２２となる。
【００７８】
被写体Ｃはディスパリティ＝ＤＣである。
なお、ＤＢ＜ＤＣである。
被写体Ｃは、左画像と右画像の表示画面２１０上の距離がＤＣであり、ディスパリティがＤＣとなる。
観察者が実感する被写体Ｃの位置は観察者から表示画面２１０より遠く、さらに被写体Ｂより遠い位置２２３となる。
【００７９】
画像において被写体Ａ，Ｂ，Ｃが観察される場合、観察者の観察する視差範囲は、最も手前の表示画面位置のＡ点から、画像内の最も遠い被写体Ｃ点までの幅［Ｓ１］になる。
【００８０】
図７（ｂ）は、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ａ２，Ｂ２，Ｃ２は、図７（ａ）のＡ，Ｂ，Ｃと同じ被写体であるが、前述した変換処理によって画像信号の位相変化に基づく画像シフトが発生し、観察者によって観察される被写体位置が変化する。
【００８１】
被写体Ａ２はディスパリティ＝０である。
被写体Ａ２は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａ２の位置は表示画面２１０上の位置２３１となる。
【００８２】
被写体Ｂ２はディスパリティ＝ＤＢ２である。
被写体Ｂ２は、左画像と右画像の表示画面２１０上の距離がＤＢ２であり、ディスパリティがＤＢ２となる。
観察者が実感する被写体Ｂ２の位置は観察者から表示画面２１０より遠い位置２３２となる。
ただし、観察者が実感する被写体Ｂ２の位置は、図７（ａ）に示す変換前の入力画像における被写体位置Ｂより観察者から近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【００８３】
被写体Ｃ２はディスパリティ＝ＤＣ２である。
なお、ＤＢ２＜ＤＣ２である。
被写体Ｃ２は、左画像と右画像の表示画面２１０上の距離がＤＣ２であり、ディスパリティがＤＣ２となる。
観察者が実感する被写体Ｃ２の位置は観察者から表示画面２１０より遠く、さらに被写体Ｂ２より遠い位置２３３となる。
ただし、観察者が実感する被写体Ｃ２の位置は、図７（ａ）に示す変換前の入力画像における被写体位置Ｃより観察者に近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【００８４】
画像処理装置１００の画像変換処理により、例えば、Ｂ点は左画像位置が右方向に少し移動し、右画像位置が左方向に少し移動することにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＢからＤＢ２に小さくなる。
【００８５】
さらに奥に位置するＣ点では、左画像位置が右方向に大きく移動し、右画像位置が左方向に大きく移動し、ディスパリティがさらに小さくなる。
ディスパリティは、ＤＣからＤＣ２に小さくなる。
なお、
（ＤＣ−ＤＣ２）＞（ＤＢ−ＤＢ２）
であり、奥の被写体のほうが、ディスパリティの減少幅が大きくなる。
【００８６】
この結果、図７（ａ），（ｂ）の視差範囲Ｓ１，Ｓ２を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ａ〜Ｃ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ２（Ａ２〜Ｃ２）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ２（Ａ２〜Ｃ２）は、入力画像の視差範囲Ｓ１（Ａ〜Ｃ）より縮小される。
【００８７】
図７に示して説明した視差抑制効果は、先に図４、図５を参照して説明した画像シフトの結果もたらされる効果である。
すなわち、左画像微分処理部１１３で、図４（ｂ）に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
また、右画像微分処理部１２３で、図５（ｂ）に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図７（ａ）の視差範囲Ｓ１から図７（ｂ）に示す視差範囲Ｓ２のように視差範囲を縮小することができる。
【００８８】
なお、図１に示す画像処理装置１００の実行する画像変換処理では、変換対象画像となる画像において焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる。
図７に示す例では、一番手前のＡ点で焦点があっており、Ａ点でのディスパリティ（ＤＡとする）の変化はほとんど発生しない。画像は被写体が奥に行く（Ａ→Ｂ→Ｃ）に従って焦点から遠ざかることによりボケが大きくなると考えられる。
この場合、被写体Ａ，Ｂ，Ｃの、
画像変換前のディスパリティをＤＡ，ＤＢ，ＤＣとし、
画像変換後のディスパリティをＤＡ２，ＤＢ２，ＤＣ２とすると、
ディスパリティの変化幅は、
（ＤＣ２−ＤＣ）＞（ＤＢ２−ＤＢ）＞（ＤＡ２−ＤＡ）≒０
このような設定となる。
【００８９】
図１に示す非線形変換部１１３，１２３では、例えば先に図３説明した非線形変換処理により、微分信号の低域を持ち上げる処理を行う。この処理によって、例えば焦点のあっていないボケ領域（低周波領域）の微分信号のレベルを上げるといった処理が可能となる。この処理によって、図７を参照して説明した処理、すなわち、焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化を小さくして、合焦位置から離れるに従ってディスパリティの変化を大きくするといった制御が可能となる。
【００９０】
画像処理装置１００に対する入力信号と、微分信号、および出力信号との具体的な対応関係の例について図８〜図１１を参照して説明する。
図８〜図１１には、入力信号と、微分信号、および出力信号の各ラインを示している。各ラインは、画像信号の１つの水平ラインの一部に相当する。縦軸が輝度、横軸が水平方向の画素位置である。
入力信号は、画像処理装置１００に入力する左画像（Ｌ１）１０または右画像（Ｒ１）２０を構成する１つの水平ラインの輝度を示すラインである。
微分信号は、画像処理装置１００の微分器（左画像微分器１１２または右画像微分器１２２）における微分処理によって生成される信号である。
出力信号は、画像処理装置１００の合成部（左画像合成部１１４または右画像合成部１２４）における合成処理によって生成される信号である。
【００９１】
図８〜図１１に示す信号は、以下の処理例に対応する。
（１）図８：画像を構成する高周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例（右方向シフト）
（２）図９：画像を構成する高周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例（左方向シフト）
（３ａ）図１０（ａ）：画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例（右方向シフト）
（３ｂ）図１０（ｂ）：画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例（左方向シフト）
（４ａ）図１１（ａ）：画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例（右方向シフト）
（４ｂ）図１１（ｂ）：画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例（左方向シフト）
【００９２】
図８は、画像を構成する高周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例を示している。
入力信号（ａ）に対する微分処理により微分信号（ｂ）が生成され、入力信号と微分信号との合成処理によって出力信号（ｃ）が生成される。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
【００９３】
図９は、画像を構成する高周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例を示している。
入力信号（ａ）に対する微分処理により微分信号（ｂ）が生成され、入力信号と微分信号との合成処理によって出力信号（ｃ）が生成される。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９４】
図１０（ａ）は、画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理を適用した場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
図１０（ｂ）は、画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理を適用した場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９５】
図１１（ａ）は、画像を構成する低周波領域に対する微分フィルタ係数［１，０，−１］による微分（本実施例では左画像微分器１１２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して右方向にシフトする。
図１１（ｂ）は、画像を構成する低周波領域に対する微分フィルタ係数［−１，０，１］による微分（本実施例では右画像微分器１２２）処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例を示している。
図から理解されるように、出力信号（ｃ）は入力信号（ａ）に対して左方向にシフトする。
【００９６】
なお、図１に示す非線形変換部１１３，１２３では、例えば先に図３説明した非線形変換処理により、微分信号の低域を持ち上げる処理を行う。この処理によって、例えば焦点のあっていない低周波領域の微分信号のレベルを上げるといった処理が可能であり、この処理によって例えば低周波領域のシフト量（位相変化量）を大きくするといった処理が可能である。
すなわち、この非線形変換部１１３，１２３の変換処理態様の設定に応じて、低周波領域と高周波領域のシフト量の差を大きくする、あるいは小さくするといった制御が実現される。
【００９７】
［Ｂ．実施例２：表示部の表示面より奥側に設定された視差範囲の拡大処理例］
次に、本発明の画像処理装置の実施例２について説明する。
実施例２の画像処理装置は、実施例１において説明した図１に示す画像処理装置１００と同じ構成を有する。
ただし、左画像変換部１１０の左画像微分器１１２で適用する微分フィルタと、右画像変換部１２０の右画像微分器１２２で適用する微分フィルタとを、実施例１の場合と入れ替えた構成である。
この微分フィルタの変更により、左画像と右画像の画像シフト方向が逆方向となる。この結果、実施例１では視差範囲の縮小処理を行ったが、本実施例では視差範囲を拡大する処理が行われる。
【００９８】
図１２を参照して、本実施例における画像処理装置１００の入力画像と出力画像との対応について説明する。この図１２は、実施例１において説明した図６と同様の図である。図１２には、上から、
（Ｌ１）入力左画像信号
（Ｌ２）出力左画像信号（視差調整左画像信号）
（Ｒ１）入力右画像信号
（Ｒ２）出力右画像信号（視差調整左画像信号）
これらの信号パターンを示している。
【００９９】
画像処理装置１００の入力画像信号は、
（Ｌ１）入力左画像信号
（Ｒ１）入力右画像信号
これらの１組の画像信号であり、これらは、３次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図１２において、輝度変化部分［Ｐ］の中央部分の（Ｌ１）入力左画像信号の表示位置と、（Ｒ１）入力右画像信号の表示位置にはずれ（ディスパリティ）が設定されている。この表示位置ずれによって視差が生ずる。
【０１００】
入力画像（Ｌ１），（Ｒ１）の輝度変化部分［Ｐ］の中央部分のディスパリティは、
（Ｌ１）入力左画像信号の点（ｐ１）と、
（Ｒ１）入力右画像信号の点（ｐ２）と、
これらの各点間の距離［Ｖ１］として設定されている。
【０１０１】
これに対して、出力画像、すなわち視差調整画像信号においては、
（Ｌ２）出力左画像信号（視差調整左画像信号）の点（ｐ５）と、
（Ｒ２）出力右画像信号（視差調整左画像信号）の点（ｐ６）と、
これらの各点間の距離［Ｖ３］がディスパリティとなる。
【０１０２】
本実施例では、左画像変換部１１０の左画像微分器１１２で適用する微分フィルタは、図１２（Ｌ２）に示すように、
−１，０，１
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例１では、右画像変換部１２０の右画像微分器１２２で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分データ（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝−（Ｉ（ｎ−１））＋（Ｉ（ｎ＋１））
【０１０３】
この微分信号は、実施例１において図５（ｂ）を参照して説明した微分信号と同様の信号である。結果として、この微分信号と原入力信号の合成（加算）処理結果は、図１２（Ｌ１）入力信号のＰ，Ｑの輝度変化部分が左方向にシフトされた、図１２（Ｌ２）に示す出力左画像信号（視差調整左画像（Ｌ２））となる。
【０１０４】
一方、右画像変換部１２０の右画像微分器１２２で適用する微分フィルタは、図１２（Ｒ２）に示すように、
１，０，−１
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例１では、左画像変換部１１０の左画像微分器１１２で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素（ｎ）の微分データ（Ｉｎ'）を、
画素（ｎ）の前（左）の画素（ｎ−１）の画素値（本例では輝度）＝（Ｉ（ｎ−１））と、
画素（ｎ）の後（右）の画素（ｎ＋１）の画素値（本例では輝度）＝（Ｉ（ｎ＋１））、
を適用して以下のように算出することを意味する。
Ｉｎ'＝（Ｉ（ｎ−１））−（Ｉ（ｎ＋１））
【０１０５】
この微分信号は、実施例１において図４（ｂ）を参照して説明した微分信号と同様の信号である。結果として、この微分信号と原入力信号の合成（加算）処理結果は、図１２（Ｒ１）入力信号のＰ，Ｑの輝度変化部分が右方向にシフトされた、図１２（Ｒ２）に示す出力右画像信号（視差調整左画像（Ｒ２））となる。
なお、非線形変換処理については省略して説明しているが、非線形変換処理を行った場合もシフト方向は同様の設定となる。
【０１０６】
実施例２は、このように実施例１の左右画像用の各微分器において適用する微分フィルタを入れ替えた処理を行うことで、左画像と右画像のシフト方向を逆方向に設定する構成としている。
【０１０７】
この結果、図１２に示すように、輝度変化部分［Ｐ］の中央部分のディスパリティは、
入力画像の組のディスパリティＶ１、
出力画像（視差調整画像信号）のディスパリティＶ３、
このように異なる値となる。
本実施例では、
Ｖ１＜Ｖ３
であり、出力画像におけるディスパリティＶ３は、入力画像のディスパリティＶ１に比較して増加している。このディスパリティの増加より、視差が増幅される。
この効果は、各画像のシフトによる効果として得られるものである。
【０１０８】
図１３を参照して、本実施例２の画像処理装置の視差調整の効果について説明する。図１３には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ３
なお、図１３（ａ），（ｂ）は、先の実施例１の図７と同様、観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１０９】
視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１３（ａ）は視差調整前の入力画像に対応する図であり、図７（ａ）と同じ図である。図１３（ａ）において、
被写体Ａは、ディスパリティ＝０、
被写体Ｂは、ディスパリティ＝ＤＢ、
被写体Ｃは、ディスパリティ＝ＤＣ、
である。
０＜ＤＢ＜ＤＣ
であり、ユーザの実感する被写体の観察位置は、Ａがディスプレイ上、Ｂはディスプレイより奥（観察者から遠い）、ＣはＢよりさらに遠い位置となる。
観察者の観察する視差範囲は、最も手前の表示画面位置のＡ点から、最も遠い被写体観察位置であるＣ点までの幅［Ｓ１］になる。
【０１１０】
図１３（ｂ）は、本実施例２に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ａ３，Ｂ３，Ｃ３は、図１３（ａ）のＡ，Ｂ，Ｃと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１１１】
被写体Ａ３はディスパリティ＝０である。
被写体Ａ３は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ａ３の位置は表示画面２１０上の位置２４１となる。
【０１１２】
被写体Ｂ３はディスパリティ＝ＤＢ３である。
被写体Ｂ３は、左画像と右画像の表示画面２１０上の距離がＤＢ３であり、ディスパリティがＤＢ３となる。
観察者が実感する被写体Ｂ３の位置は観察者から表示画面２１０より遠い位置２４２となる。
ただし、観察者が実感する被写体Ｂ３の位置は、図１３（ａ）に示す変換前の入力画像における被写体位置Ｂより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１１３】
被写体Ｃ３はディスパリティ＝ＤＣ３である。
なお、ＤＢ３＜ＤＣ３である。
被写体Ｃ３は、左画像と右画像の表示画面２１０上の距離がＤＣ３であり、ディスパリティがＤＣ３となる。
観察者が実感する被写体Ｃ３の位置は観察者から表示画面２１０より遠く、さらに被写体Ｂ２より遠い位置２４３となる。
ただし、観察者が実感する被写体Ｃ３の位置は、図１３（ａ）に示す変換前の入力画像における被写体位置Ｃより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１１４】
画像処理装置１００の画像変換処理により、本実施例２では、前述の実施例１と逆方向の画像シフトが実行される。
すなわち、Ｂ点は左画像位置が左方向に少し移動し、右画像位置が右方向に少し移動することにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＢからＤＢ３に大きくなる。
【０１１５】
さらに奥に位置するＣ点では、左画像位置が左方向に大きく移動し、右画像位置が右方向に大きく移動し、ディスパリティがさらに大きくなる。
ディスパリティは、ＤＣからＤＣ３に大きくなる。
なお、
（ＤＣ３−ＤＣ）＞（ＤＢ３−ＤＢ）
であり、奥の被写体のほうが、ディスパリティの拡大幅が大きくなる。
【０１１６】
この結果、図１３（ａ），（ｂ）の視差範囲Ｓ１，Ｓ３を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ａ〜Ｃ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ３（Ａ３〜Ｃ３）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ３（Ａ３〜Ｃ３）は、入力画像の視差範囲Ｓ１（Ａ〜Ｃ）より拡大される。
【０１１７】
図１３を参照して説明した視差拡大効果は、先に図１２を参照して説明した画像シフトの結果もたらされる効果である。
すなわち、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図１３（ａ）の視差範囲Ｓ１から図１３（ｂ）に示す視差範囲Ｓ３のように視差範囲を拡大することができる。
【０１１８】
なお、画像処理装置１００の実行する画像変換処理では、前述の通り、変換対象画像となる画像において焦点が合った画素位置（例えば一番手前の被写体など）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる。
図１３に示す状況では、一番手前のＡ点で焦点があっており、奥に行くに従って被写体ボケが大きくなると考えると、Ａ点はディスパリティがほとんど変化しない。
【０１１９】
一番手前のＡ点で焦点があっている場合、画像は被写体が奥に行く（Ａ→Ｂ→Ｃ）に従って焦点から遠ざかることによりボケが大きくなると考えられる。
この場合、被写体Ａ，Ｂ，Ｃの、
画像変換前のディスパリティをＤＡ，ＤＢ，ＤＣとし、
画像変換後のディスパリティをＤＡ３，ＤＢ３，ＤＣ３とすると、
ディスパリティの変化幅は、
（ＤＣ３−ＤＣ）＞（ＤＢ３−ＤＢ）＞（ＤＡ３−ＤＡ）≒０
このような設定となる。
【０１２０】
［Ｃ．実施例３：表示部の表示面より手前に設定された視差範囲の制御（縮小／拡大）処理例］
実施例１と実施例２では、画像処理装置に対して入力する３次元表示用の画像、すなわち、左画像（Ｌ１）１０と右画像（Ｒ１）２０の視差設定が表示部の表示面から奥側、すなわち観察者から遠い位置に設定される画像である場合の処理例を説明した。すなわち、
実施例１では表示部の表示面より奥側に設定された視差範囲の縮小、
実施例２では表示部の表示面より奥側に設定された視差範囲の拡大、
これらの処理例について説明した、
【０１２１】
しかし、３次元画像の表示に適用する画像は、実施例１，２で説明した画像に限らず、表示部の表示面の手前側、すなわち観察者に近い位置に飛び出すように視差を設定した画像もある。
以下、実施例３として、視差制御を行なう入力画像が表示面より手前側（観察者方向）に被写体の観察位置が設定される３次元画像である場合の処理例を説明する。
実施例３（ａ）では表示部の表示面より手前に設定された視差範囲の縮小、
実施例３（ｂ）では表示部の表示面より手前に設定された視差範囲の拡大、
これらの処理例について、順次説明する。
なお、本実施例３は実施例１で説明した図１の画像処理装置１００と同一の構成によって実現される。
【０１２２】
（ａ）表示部の表示面より手前に設定された視差範囲の縮小処理例
まず、表示部の表示面より手前に設定された視差範囲の縮小処理例について、図１４を参照して説明する。
図１４には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ４
なお、図１４（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１２３】
前述の実施例１，２と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１４（ａ）は視差調整前の入力画像に対応する図である。
図１４（ａ）において、
被写体Ｅは、ディスパリティ＝ＤＥ＝０、
被写体Ｆは、ディスパリティ＝ＤＦ、
被写体Ｇは、ディスパリティ＝ＤＧ、
である。各ディスパリティの大きさは、
ＤＧ＞ＤＦ＞ＤＥ≒０
上記のような関係にある。
【０１２４】
ユーザの実感する被写体の観察位置は、Ｅがディスプレイ上、Ｆはディスプレイより手前（観察者に近い）、ＧはＦよりさらに観察者に近い位置となる。
観察者の観察する視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１２５】
先に説明したように、被写体は、観察者の左眼２０１と表示画面２１０上の左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上の右画像の表示位置を結ぶ直線との交点である空間上の点に位置するように観察される。
本実施例では、その交点が表示画面２１０より手前（観察者に近い方向）に設定されるように、左画像と右画像の各被写体の画像（Ｅ〜Ｇ右画像とＥ〜Ｇ左画像）が設定されている。
このような設定の３次元画像である場合、図１４（ａ）に示すように、観察者は、各被写体を表示画面２１０より近い位置に実感することになる。
【０１２６】
前述の通り、図１４（ａ）に示す入力画像の視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１２７】
図１４（ｂ）は、本実施例３（ａ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｅ４，Ｆ４，Ｇ４は、図１４（ａ）のＥ，Ｆ，Ｇと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１２８】
被写体Ｅ４はディスパリティ＝０である。
被写体Ｅ４は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｅ４の位置は表示画面２１０上の位置となる。
【０１２９】
被写体Ｆ４はディスパリティ＝ＤＦ４である。
被写体Ｆ４は、左画像と右画像の表示画面２１０上の距離がＤＦ４であり、ディスパリティがＤＦ４となる。
観察者が実感する被写体Ｆ４の位置は表示画面２１０から手前、すなわち観察者側の位置Ｆ４となる。
ただし、観察者が実感する被写体Ｆ４の位置は、図１４（ａ）に示す変換前の入力画像における被写体位置Ｆより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１３０】
被写体Ｇ４はディスパリティ＝ＤＧ４である。
なお、ＤＦ４＜ＤＧ４である。
被写体Ｇ４は、左画像と右画像の表示画面２１０上の距離がＤＧ４であり、ディスパリティがＤＧ４となる。
観察者が実感する被写体Ｇ４の位置は表示画面２１０から手前、すなわち観察者側の位置Ｇ４となる。
ただし、観察者が実感する被写体Ｇ４の位置は、図１４（ａ）に示す変換前の入力画像における被写体位置Ｇより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１３１】
画像処理装置１００の画像変換処理により、本実施例３（ａ）では、前述の実施例２と同方向の画像シフトが実行される。
具体的には、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１３２】
この結果、左画像のＦ位置（図１４（ａ）Ｆ左画像）が左方向に少し移動して図１４（ｂ）Ｆ４左画像位置となり、右画像のＦ位置（図１４（ａ）Ｆ右画像）が右方向に少し移動して図１４（ｂ）Ｆ４右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＦからＤＦ４に小さくなる。
【０１３３】
さらに手前（観察者側）に位置するＧ点では、左画像のＧ位置（図１４（ａ）Ｇ左画像）が左方向に大きく移動して図１４（ｂ）Ｇ４左画像位置となり、右画像のＧ位置（図１４（ａ）Ｇ右画像）が右方向に大きく移動して図１４（ｂ）Ｇ４右画像位置となる。この移動により、ディスパリティがさらに小さくなる。
ディスパリティは、ＤＧからＤＧ４に小さくなる。
なお、
（ＤＧ−ＤＧ４）＞（ＤＦ−ＤＦ４）
であり、手前（表示画面２１０から遠い）の被写体のほうが、ディスパリティの縮小幅が大きくなる。
【０１３４】
この結果、図１４（ａ），（ｂ）の視差範囲Ｓ１，Ｓ４を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ４（Ｅ４〜Ｇ４）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ４（Ｅ４〜Ｇ４）は、入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）より縮小される。
【０１３５】
図１４を参照して説明した視差範囲縮小効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例３（ａ）では、左画像微分器１１２において、実施例２と同様、図１２（Ｌ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｌ１），（Ｌ２）に示すように左画像は左方向へシフトされる。
また、右画像微分器１２２において、図１２（Ｒ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｒ１），（Ｒ２）に示すように右画像は右方向へシフトされる。
【０１３６】
図１４に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図１４（ａ）の視差範囲Ｓ１から図１４（ｂ）に示す視差範囲Ｓ４のように視差範囲を縮小することができる。
【０１３７】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従って（Ｅ→Ｆ→Ｇ）ディスパリティの変化が大きくなる設定としている。
【０１３８】
（ｂ）表示部の表示面より手前に設定された視差範囲の拡大処理例
次に、表示部の表示面より手前に設定された視差範囲の拡大処理例について、図１５を参照して説明する。
図１５には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｓ１
（ｂ）視差調整画像の視差範囲Ｓ４
なお、図１５（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
【０１３９】
前述の実施例と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１５（ａ）は視差調整前の入力画像に対応する図であり、図１４（ａ）に示す図と同じである。
図１５（ａ）において、
被写体Ｅは、ディスパリティ＝ＤＥ＝０、
被写体Ｆは、ディスパリティ＝ＤＦ、
被写体Ｇは、ディスパリティ＝ＤＧ、
である。各ディスパリティの大きさは、
ＤＧ＞ＤＦ＞ＤＥ≒０
上記のような関係にある。
【０１４０】
ユーザの実感する被写体の観察位置は、Ｅがディスプレイ上、Ｆはディスプレイより手前（観察者に近い）、ＧはＦよりさらに観察者に近い位置となる。
【０１４１】
この図１５（ａ）に示す設定は、先に説明した図１４（ａ）と同様の設定であり、観察者は、各被写体を表示画面２１０より近い位置に実感することになる。
図１５（ａ）に示す入力画像の視差範囲は、最も遠い表示画面位置のＥ点から、最も近い被写体観察位置であるＧ点までの幅［Ｓ１］になる。
【０１４２】
図１５（ｂ）は、本実施例３（ｂ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｅ５，Ｆ５，Ｇ５は、図１５（ａ）のＥ，Ｆ，Ｇと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１４３】
被写体Ｅ５はディスパリティ＝０である。
被写体Ｅ５は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｅ５の位置は表示画面２１０上の位置となる。
【０１４４】
被写体Ｆ５はディスパリティ＝ＤＦ５である。
被写体Ｆ５は、左画像と右画像の表示画面２１０上の距離がＤＦ５であり、ディスパリティがＤＦ５となる。
観察者が実感する被写体Ｆ５の位置は表示画面２１０から手前、すなわち観察者側の位置Ｆ５となる。
ただし、観察者が実感する被写体Ｆ５の位置は、図１５（ａ）に示す変換前の入力画像における被写体位置Ｆより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１４５】
被写体Ｇ５はディスパリティ＝ＤＧ５である。
なお、ＤＦ５＜ＤＧ５である。
被写体Ｇ５は、左画像と右画像の表示画面２１０上の距離がＤＧ５であり、ディスパリティがＤＧ５となる。
観察者が実感する被写体Ｇ５の位置は表示画面２１０から手前、すなわち観察者側の位置Ｇ５となる。
ただし、観察者が実感する被写体Ｇ５の位置は、図１５（ａ）に示す変換前の入力画像における被写体位置Ｇより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１４６】
画像処理装置１００の画像変換処理により、本実施例３（ｂ）では、前述の実施例１と同方向の画像シフトが実行される。
具体的には、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１４７】
この結果、左画像のＦ位置（図１５（ａ）Ｆ左画像）が右方向に少し移動して図１５（ｂ）Ｆ５左画像位置となり、右画像のＦ位置（図１５（ａ）Ｆ右画像）が左方向に少し移動して図１５（ｂ）Ｆ５右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＦからＤＦ５に大きくなる。
【０１４８】
さらに手前（観察者側）に位置するＧ点では、左画像のＧ位置（図１５（ａ）Ｇ左画像）が右方向に大きく移動して図１５（ｂ）Ｇ５左画像位置となり、右画像のＧ位置（図１５（ａ）Ｇ右画像）が左方向に大きく移動して図１５（ｂ）Ｇ５右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＧからＤＧ５に大きくなる。
なお、
（ＤＧ５−ＤＧ）＞（ＤＦ５−ＤＦ）
であり、手前（表示画面２１０から遠い）の被写体のほうが、ディスパリティの拡大幅が大きくなる。
【０１４９】
この結果、図１５（ａ），（ｂ）の視差範囲Ｓ１，Ｓ５を比較して理解されるように、
変換前の入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）は、変換後の出力画像（視差調整画像）の視差範囲Ｓ５（Ｅ５〜Ｇ５）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｓ５（Ｅ５〜Ｇ５）は、入力画像の視差範囲Ｓ１（Ｅ〜Ｇ）より拡大される。
【０１５０】
図１５を参照して説明した視差範囲縮小効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例３（ｂ）では、先に説明した実施例１と同様の微分処理が行われ、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１５１】
本実施例３（ｂ）では、左画像微分器１１２において、図６（Ｌ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｌ１），（Ｌ２）に示すように左画像は右方向へシフトされる。
また、右画像微分器１２２において、図６（Ｒ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は左方向へシフトされる。
【０１５２】
図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図６（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図１５（ａ）の視差範囲Ｓ１から図１５（ｂ）に示す視差範囲Ｓ５のように視差範囲を拡大することができる。
【０１５３】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従って（Ｅ→Ｆ→Ｇ）ディスパリティの変化が大きくなる設定としている。
【０１５４】
［Ｄ．実施例４：表示部の表示面の前後に設定された視差範囲の制御処理例］
次に、表示部の表示面の前後に視差範囲を設定した画像を入力した場合の視差制御処理例について説明する。
実施例１，２では、表示面の奥に視差範囲が設定された画像に対する処理例を説明し、実施例３では表示面の手前に視差範囲の設定された画像に対する処理例を説明した。このように視差範囲の設定は、左画像と右画像における被写体位置を変更することで様々な態様に設定できる。従って、表示部の表示面の前後に視差範囲を設定した画像も生成できる。以下では、このような表示部の表示面の前後に視差範囲を設定した画像を入力して視差制御を行なう構成例について説明する。
なお、本実施例４は実施例１で説明した図１の画像処理装置１００と同一の構成によって実現される。
【０１５５】
実施例４では、実施例３と同様、以下の２つの処理例について説明する。
（ａ）左画像を右方向にシフトし、右画像を左方向にシフトする処理例
（ｂ）左画像を左方向にシフトし、右画像を右方向にシフトする処理例
これらの処理例について、順次説明する。
【０１５６】
（ａ）左画像を右方向にシフトし、右画像を左方向にシフトする処理例
まず、図１６を参照して、画像処理装置１００に入力する左画像（Ｌ１）１０を右方向にシフトし、右画像（Ｒ１）２０を左方向にシフトする処理例について説明する。
本処理例は、先の実施例１において説明した図６に示す処理に対応する処理を実行する。
すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１５７】
本実施例４（ａ）では、左画像微分器１１２において、図６（Ｌ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｌ１），（Ｌ２）に示すように左画像は右方向へシフトされる。
また、右画像微分器１２２において、図６（Ｒ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は左方向へシフトされる。
【０１５８】
図１６を参照して、本実施例４（ａ）における視差制御処理例について説明する。
図１６には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｔ１
（ｂ）視差調整画像の視差範囲Ｔ５
なお、図１６（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０１５９】
先に説明したように、被写体は、観察者の左眼２０１と表示画面２１０上の左画像の表示位置を結ぶ直線と、観察者の右眼２０２と表示画面２１０上の右画像の表示位置を結ぶ直線との交点である空間上の点に位置するように観察される。
本実施例では、その交点が表示画面２１０の前後に設定されるように、左画像と右画像の各被写体の画像（Ｈ〜Ｊ右画像とＨ〜Ｊ左画像）が設定されている。
【０１６０】
具体的には、
被写体Ｈが表示画面２１０上に観察され、
被写体Ｉが表示画面２１０の手前（観察者側）に観察され、
被写体Ｊが表示画面２１０の奥側に観察される設定となった入力画像である。
【０１６１】
前述の実施例と同様、視差の指標値として、同一被写体の表示画面上の距離であるディスパリティを用いて説明する。
図１６（ａ）は視差調整前の入力画像に対応する図である。
図１６（ａ）において、
被写体Ｈは、ディスパリティ＝ＤＨ＝０、
被写体Ｉは、ディスパリティ＝ＤＩ、
被写体Ｊは、ディスパリティ＝ＤＪ、
ここで、被写体Ｉのディスパリティは、被写体Ｉの像が表示画面２１０の手前に観察される設定であり、被写体Ｊのディスパリティは、被写体Ｊの像が表示画面２１０の奥に観察される設定である。
【０１６２】
すなわち、図１６（ａ）の表示画面２１０上の配置から理解されるように、
左画像における被写体Ｉの画像（Ｉ左画像）は表示画面２１０の右側、
右像における被写体Ｉの画像（Ｉ右画像）は表示画面２１０の左側に設定されている。
これに対して、
左画像における被写体Ｊの画像（Ｊ左画像）は表示画面２１０の左側、
右像における被写体Ｊの画像（Ｊ右画像）は表示画面２１０の右側に設定されている。
このような設定により、被写体Ｉが表示画面２１０の手前（観察者側）に観察され、被写体Ｊが表示画面２１０の奥側に観察される。
【０１６３】
観察者の観察する視差範囲は、観察者から最も遠いＪ点から、最も近いＩ点までの幅［Ｔ１］になる。
図１６（ｂ）は、本実施例４（ａ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｈ６，Ｉ６，Ｊ６は、図１６（ａ）のＨ，Ｉ，Ｊと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１６４】
被写体Ｈ６はディスパリティ＝０である。
被写体Ｈ６は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｈ６の位置は表示画面２１０上の位置となる。
【０１６５】
被写体Ｉ６はディスパリティ＝ＤＩ６である。
被写体Ｉ６は、左画像と右画像の表示画面２１０上の距離がＤＩ６であり、ディスパリティがＤＩ６となる。
観察者が実感する被写体Ｉ６の位置は表示画面２１０から手前、すなわち観察者側の位置Ｉ６となる。
ただし、観察者が実感する被写体Ｉ６の位置は、図１６（ａ）に示す変換前の入力画像における被写体位置Ｉより観察者に近い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１６６】
被写体Ｊ６はディスパリティ＝ＤＪ６である。
被写体Ｊ６は、左画像と右画像の表示画面２１０上の距離がＤＪ６であり、ディスパリティがＤＪ６となる。
観察者が実感する被写体Ｊ６の位置は表示画面２１０の奥、すなわち観察者から最も遠い位置Ｊ６となる。
ただし、観察者が実感する被写体Ｊ６の位置は、図１６（ａ）に示す変換前の入力画像における被写体位置Ｊより観察者に近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１６７】
画像処理装置１００の画像変換処理により、本実施例４（ａ）では、前述の実施例１と同方向の画像シフトが実行される。
具体的には、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１６８】
この結果、表示画面２１０の手前に観察される被写体Ｉについては以下のような処理が行われる。
左画像のＩ位置（図１６（ａ）Ｉ左画像）が右方向に移動して図１６（ｂ）Ｉ６左画像位置となり、右画像のＩ位置（図１６（ａ）Ｉ右画像）が左方向に移動して図１６（ｂ）Ｉ６右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＩからＤＩ６に大きくなる。
【０１６９】
さらに、表示画面２１０の奥に観察される被写体Ｊについては以下のような処理が行われる。
左画像のＪ位置（図１６（ａ）Ｊ左画像）が右方向に移動して図１６（ｂ）Ｊ６左画像位置となり、右画像のＪ位置（図１６（ａ）Ｊ右画像）が左方向に移動して図１６（ｂ）Ｊ６右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＪからＤＪ６に小さくなる。
【０１７０】
このように、実施例４（ａ）の処理では、
表示画面２１０の手前に観察される被写体Ｉではディスパリティが大きく変更され、より手前に観察されることになる。
一方、表示画面２１０の奥に観察される被写体Ｊではディスパリティが小さく変更され、この場合も変換前より手前に観察されることになる。
【０１７１】
この結果、図１６（ａ），（ｂ）の視差範囲Ｔ１，Ｔ６を比較して理解されるように、
変換前の入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）は、変換後の出力画像（視差調整画像）の視差範囲Ｔ６（Ｉ６〜Ｊ６）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｔ６（Ｉ６〜Ｊ６）は、入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）を全体として観察者側に近づけるように制御される。
【０１７２】
図１６を参照して説明した視差範囲移動効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例４（ａ）では、前述したように、先に説明した実施例１と同様の微分処理が行われ、図６を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については右方向へのシフト処理、
右画像（Ｒ１）２０については左方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１７３】
図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図６（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図１６（ａ），（ｂ）に示すように変更され、図１６（ａ）の視差範囲Ｔ１から図１６（ｂ）に示す視差範囲Ｔ６のように視差範囲を全体としてより観察者側に近づけることができる。
【０１７４】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０１７５】
（ｂ）左画像を左方向にシフトし、右画像を右方向にシフトする処理例
次に、図１７を参照して、画像処理装置１００に入力する左画像（Ｌ１）１０を左方向にシフトし、右画像（Ｒ１）２０を右方向にシフトする処理例について説明する。
本処理例は、先の実施例２において説明した図１２に示す処理に対応する処理を実行する。
すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１７６】
本実施例４（ａ）では、左画像微分器１１２において、図１２（Ｌ２）に示す微分フィルタ係数、すなわち、
［−１，０，１］
この微分フィルタ係数を適用した微分処理が実行され、図１２（Ｌ１），（Ｌ２）に示すように左画像は左方向へシフトされる。
また、右画像微分器１２２において、図１２（Ｒ２）に示す微分フィルタ係数、すなわち、
［１，０，−１］
この微分フィルタ係数を適用した微分処理が実行され、図６（Ｒ１），（Ｒ２）に示すように右画像は右方向へシフトされる。
【０１７７】
図１７を参照して、本実施例４（ｂ）における視差制御処理例について説明する。
図１７には、以下の各図を示している。
（ａ）入力画像の視差範囲Ｔ１
（ｂ）視差調整画像の視差範囲Ｔ５
なお、図１７（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０１７８】
図１７（ａ）は、先に説明した図１６（ａ）と同様の入力画像の視差範囲Ｔ１を示す図である。
具体的には、
被写体Ｈが表示画面２１０上に観察され、
被写体Ｉが表示画面２１０の手前（観察者側）に観察され、
被写体Ｊが表示画面２１０の奥側に観察される設定となった入力画像である。
図１７（ａ）において、
被写体Ｈは、ディスパリティ＝ＤＨ＝０、
被写体Ｉは、ディスパリティ＝ＤＩ、
被写体Ｊは、ディスパリティ＝ＤＪ、
ここで、被写体Ｉのディスパリティは、被写体Ｉの像が表示画面２１０の手前に観察される設定であり、被写体Ｊのディスパリティは、被写体Ｊの像が表示画面２１０の奥に観察される設定である。
【０１７９】
観察者の観察する視差範囲は、観察者から最も遠いＪ点から、最も近いＩ点までの幅［Ｔ１］になる。
図１７（ｂ）は、本実施例４（ｂ）に従って、図１に示す画像処理装置１００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｈ７，Ｉ７，Ｊ７は、図１７（ａ）のＨ，Ｉ，Ｊと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
【０１８０】
被写体Ｈ７はディスパリティ＝０である。
被写体Ｈ７は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｈ７の位置は表示画面２１０上の位置となる。
【０１８１】
被写体Ｉ７はディスパリティ＝ＤＩ７である。
被写体Ｉ７は、左画像と右画像の表示画面２１０上の距離がＤＩ７であり、ディスパリティがＤＩ７となる。
観察者が実感する被写体Ｉ７の位置は表示画面２１０から手前、すなわち観察者側の位置Ｉ７となる。
ただし、観察者が実感する被写体Ｉ７の位置は、図１７（ａ）に示す変換前の入力画像における被写体位置Ｉより観察者から遠い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１８２】
被写体Ｊ７はディスパリティ＝ＤＪ７である。
被写体Ｊ７は、左画像と右画像の表示画面２１０上の距離がＤＪ７であり、ディスパリティがＤＪ７となる。
観察者が実感する被写体Ｊ７の位置は表示画面２１０の奥、すなわち観察者から最も遠い位置Ｊ７となる。
ただし、観察者が実感する被写体Ｊ７の位置は、図１７（ａ）に示す変換前の入力画像における被写体位置Ｊより観察者から遠い（表示画面２１０からも遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０１８３】
画像処理装置１００の画像変換処理により、本実施例４（ｂ）では、前述の実施例２と同方向の画像シフトが実行される。
具体的には、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１８４】
この結果、表示画面２１０の手前に観察される被写体Ｉについては以下のような処理が行われる。
左画像のＩ位置（図１７（ａ）Ｉ左画像）が左方向に移動して図１７（ｂ）Ｉ７左画像位置となり、右画像のＩ位置（図１７（ａ）Ｉ右画像）が右方向に移動して図１７（ｂ）Ｉ７右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、ＤＩからＤＩ７に小さくなる。
【０１８５】
さらに、表示画面２１０の奥に観察される被写体Ｊについては以下のような処理が行われる。
左画像のＪ位置（図１７（ａ）Ｊ左画像）が左方向に移動して図１７（ｂ）Ｊ７左画像位置となり、右画像のＪ位置（図１７（ａ）Ｊ右画像）が右方向に移動して図１７（ｂ）Ｊ７右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、ＤＪからＤＪ７に大きくなる。
【０１８６】
このように、実施例４（ｂ）の処理では、
表示画面２１０の手前に観察される被写体Ｉではディスパリティが小さく変更され、観察者から遠い位置、すなわち表示画面２１０に近い位置に観察されることになる。
一方、表示画面２１０の奥に観察される被写体Ｊではディスパリティが大きく変更され、この場合も変換前より、観察者からより遠い位置に観察されることになる。
【０１８７】
この結果、図１７（ａ），（ｂ）の視差範囲Ｔ１，Ｔ７を比較して理解されるように、
変換前の入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）は、変換後の出力画像（視差調整画像）の視差範囲Ｔ７（Ｉ７〜Ｊ７）に変化する。
すなわち、この例では、出力画像（視差調整画像）の視差範囲Ｔ７（Ｉ７〜Ｊ７）は、入力画像の視差範囲Ｔ１（Ｉ〜Ｊ）を全体として観察者から遠ざけるように制御される。
【０１８８】
図１７を参照して説明した視差範囲移動効果は、画像処理装置１００による画像シフトの結果もたらされる効果である。
本実施例４（ｂ）では、前述したように、先に説明した実施例２と同様の微分処理が行われ、図１２を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像（Ｌ１）１０については左方向へのシフト処理、
右画像（Ｒ１）２０については右方向へのシフト処理、
これらの画像シフト処理が実行される。
【０１８９】
図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
また、右画像微分処理部１２３で、図１２（Ｒ２）に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図１７（ａ），（ｂ）に示すように変更され、図１７（ａ）の視差範囲Ｔ１から図１７（ｂ）に示す視差範囲Ｔ７のように視差範囲を全体としてより観察者から遠ざけることができる。
【０１９０】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０１９１】
ここまで、説明した実施例１〜実施例４の構成は、左画像と右画像の画素ごとに対応するディスパリティ（像差）を記述したディスパリティマップを生成する処理や、ディスパリティマップの利用処理が不要であるため処理コストが小さく、回路の小型化が容易である。
次に、簡易的なディスパリティマップを利用した実施例について説明する。
【０１９２】
［Ｅ．実施例５：簡易なディスパリティマップを利用した視差制御を行う実施例］
次に、実施例５として、簡易なディスパリティマップを利用して視差制御を実行する画像処理装置の構成と処理例について説明する。
以下に説明する実施例は、簡易的なディスパリティマップを生成することにより、視差範囲の制御をより的確に行うことが可能な画像変換装置を実現する。
【０１９３】
実施例５に係る画像処理装置３００の構成例を図１８に示す。図１８に示す画像処理装置３００は、先に実施例１の画像処理装置とし説明した図１に示す画像処理装置１００に視差検出部３０１を追加した構成である。その他の構成は、図１に示す構成と同一である。
【０１９４】
画像処理装置３００は、図１８に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０、さらに、視差検出部３０１を有する。
【０１９５】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
この左画像変換部１１０と右画像変換部１２０は、先に実施例１〜４において説明した処理と同様の処理を実行する。
【０１９６】
視差検出部３０１は、左画像変換部１１０の左画像入力部１１１から出力される左画像輝度信号と、右画像変換部１２０の右画像入力部１２１から出力される右画像輝度信号を受信し、左画像と右画像において同一被写体を示すと判断される水平方向の対応画素位置を検出する。
【０１９７】
本実施例における視差検出部３０１は、左画像と右画像の対応画素位置（以下、対応点と呼ぶ）の位置関係について、以下の判定結果を取得する。
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
この２つのパターンのいずれであるかを判定する。
【０１９８】
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
（ａ）の場合は、先に実施例４において説明した図１７（ａ）を参照して説明すると、被写体Ｊの左画像と右画像の対応関係となる。
すなわち、左画像の対応点（Ｊ左画像）は、右画像の対応点（Ｊ右画像）よりも左に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より奥側（観察者から遠い位置）となる。
【０１９９】
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
（ｂ）の場合は、先に実施例４において説明した図１７（ａ）を参照して説明すると、被写体Ｉの左画像と右画像の対応関係となる。
すなわち、左画像の対応点（Ｉ左画像）は、右画像の対応点（Ｉ右画像）よりも右に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より手前側（観察者に近い位置）となる。
【０２００】
以下では、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する。
この場合のディスパリティを正のディスパリティとする。
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する。
この場合のディスパリティを負のディスパリティとする。
正のディスパリティの場合は、被写体の観察される位置は、表示画面より奥側（観察者から遠い位置）となる。
負のディスパリティの場合は、被写体の観察される位置は、表示画面より手前側（観察者に近い位置）となる。
【０２０１】
一般的なディスパリティマップは、左画像と右画像の各画素対応の正確な画素ずれ量（画素数）を保持する設定であるが、本実施例では、視差検出部３０１は、各画素または複数画素からなるブロックについて、上述のディスパリティの正負（極性）のみを検出する。
【０２０２】
視差検出部３０１は、この画素またはブロック対応のディスパリティ極性情報からなる粗いディスパリティマップを生成して、左画像変換部１１０の左画像微分処理部１１２と、右画像変換部１２０の右画像微分処理部１２２に入力する。
【０２０３】
なお、本実施例の画像処理装置３００における視差検出部３０１の実行する視差検出処理は、視差の高い数値精度を得るような複雑な視差検出処理は必要ない。ディスパリティマップは、例えば微分処理部のフィルタ係数の制御に用いるが、画像の水平移動は、原理上、入力画像の空間周波数に依存するため、ディスパリティマップの空間解像度は視差制御の性能に大きく影響しない。従って、視差検出処理は縮小した画像を用いる構成としてもよい。または、入力画像を空間的に間引いた点のみで視差情報を検出する構成としてもよい。このような構成により、処理コストを削減することが可能である。
【０２０４】
左画像微分処理部１１２、および右画像微分処理部１２２は、それぞれ、入力されるディスパリティマップの対象画素位置での極性に応じて微分処理の態様を切り換える。具体的には、例えば、先に実施例１，２において説明した図６に示す設定の微分フィルタを適用した処理と、図１２に示す設定の微分フィルタを適用した処理とを適宜、切り換える処理を行う。
すなわち、
（１）左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６）、
（２）左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２）、
これらのいずれかの処理をディスパリティマップの対象画素位置での極性に応じて切り換えて実行する。
【０２０５】
以下、図１９および図２０を参照して、ディスパリティの極性が２方向（表示画面の奥にも手前にも被写体が表示される）にあるような入力画像に対して、本実施例５の図１８に示す画像処理装置３００を適用した処理例として、以下の処理例について、順次説明する。
実施例５（ａ）視差範囲を縮小する実施例
実施例５（ｂ）視差範囲を拡大する実施例
【０２０６】
（実施例５（ａ）視差範囲を縮小する実施例）
まず、図１９を参照して、ディスパリティの極性判定情報を適用して視差範囲を縮小する処理を行う実施例について説明する。
【０２０７】
図１９は、先の各実施例において説明したと同様、以下の各図を示している。
（ａ）入力画像の視差範囲Ｕ１
（ｂ）視差調整画像の視差範囲Ｕ８
なお、図１９（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０２０８】
図１９（ａ）は、先に実施例４において説明した図１６（ａ）、図１７（ａ）と同様、被写体が表示画面２１０の前後に観察される。すなわち、
被写体Ｋが表示画面２１０上に観察され、
被写体Ｌが表示画面２１０の手前（観察者側）に観察され、
被写体Ｍが表示画面２１０の奥側に観察される設定となった入力画像である。
図１９（ａ）において、
被写体Ｋは、ディスパリティ＝ＤＨ＝０、
被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））、
被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））、
ここで、被写体Ｌのディスパリティは極性が負であり、被写体Ｌの像が表示画面２１０の手前に観察される設定であり、被写体Ｍのディスパリティは極性が正であり、被写体Ｍの像が表示画面２１０の奥に観察される設定である。
視差範囲は、被写体Ｌ〜Ｍの観察位置に相当する視差範囲［Ｕ１］となる。
【０２０９】
図１９（ｂ）は、本実施例５（ａ）に従って、図１８に示す画像処理装置３００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｋ８，Ｌ８，Ｍ８は、図１９（ａ）のＫ，Ｌ，Ｍと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
【０２１０】
被写体Ｋ８はディスパリティ＝０である。
被写体Ｋ８は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｋ８の位置は表示画面２１０上の位置となる。
【０２１１】
被写体Ｌ８はディスパリティ＝ＤＬ８となる。
被写体Ｌ８は、左画像と右画像の表示画面２１０上の距離がＤＬ８であり、ディスパリティがＤＬ８となる。
観察者が実感する被写体Ｌ８の位置は表示画面２１０から手前、すなわち観察者側の位置Ｌ８となる。
ただし、観察者が実感する被写体Ｌ８の位置は、図１９（ａ）に示す変換前の入力画像における被写体位置Ｌより観察者から遠い（表示画面２１０に近い）位置に設定される。これは画像のシフト処理の結果である。
【０２１２】
このシフト処理においては、図１９（ａ）に示す被写体ＬのディスパリティＤＬの極性が考慮される。
前述したように、被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））である。すなわち、左画像の対応点（Ｌ左画像）は、右画像の対応点（Ｌ右画像）よりも右に位置する。
このようにディスパリティ極性＝負（−）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ａ）では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２参照）」を実行する。
【０２１３】
すなわち、図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については左方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図１２（Ｒ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
【０２１４】
この画像変換処理により、被写体Ｌのディスパリティは、図１９（ａ）の示すＤＬから図１９（ｂ）に示すＤＬ８に変更される。結果として、左画像の対応点（Ｌ８左画像）と、右画像の対応点（Ｌ８右画像）の距離は小さくなり、結果として、被写体像Ｌ８は、変換前の図１９（ａ）に示す被写体像Ｌの位置より、観察者から遠ざかる（表示画面２１０に近づく）方向に移動して設定される。
【０２１５】
一方、表示画面２１０の奥に位置する被写体Ｍは、画像変換前のディスパリティ＝ＤＭが、画像変換の結果、図１９（ｂ）に示すディスパリティ＝ＤＭ８となる。
観察者が実感する被写体Ｍ８の位置は表示画面２１０より奥の位置Ｍ８となる。
ただし、観察者が実感する被写体Ｍ８の位置は、図１９（ａ）に示す変換前の入力画像における被写体位置Ｍより観察者から近い（表示画面２１０に近い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０２１６】
このシフト処理においても、図１９（ａ）に示す被写体ＭのディスパリティＤＭの極性が考慮される。
前述したように、被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））である。すなわち、左画像の対応点（Ｍ左画像）は、右画像の対応点（Ｍ右画像）よりも左に位置する。
このようにディスパリティ極性＝正（＋）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ａ）では、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６参照）」を実行する。
【０２１７】
すなわち、図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については右方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図６（Ｒ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
【０２１８】
この画像変換処理により、被写体Ｍのディスパリティは、図１９（ａ）の示すＤＭから図１９（ｂ）に示すＤＭ８に変更される。結果として、左画像の対応点（Ｍ８左画像）と、右画像の対応点（Ｍ８右画像）の距離は小さくなり、結果として、被写体像Ｍ８は、変換前の図１９（ａ）に示す被写体像Ｍの位置より、観察者に近づく（表示画面２１０に近づく）方向に移動して設定される。
【０２１９】
この結果、変換画像によって表示される３次元画像の視差範囲は、図１９（ｂ）に示す視差範囲［Ｕ８］となる。
変換後の視差範囲［Ｕ８］は、変換前の画像による視差範囲［Ｕ１］に比較して、表示画面の前後とも表示画面２１０に近づき、縮小された視差範囲となる。
【０２２０】
このように、本実施例５（ａ）によれば、表示画面の手前に観察される被写体と、表示画面の奥に観察される被写体について、それぞれ逆のパターンの微分フィルタ係数を用いた処理により、逆方向のシフト処理を実行する。すなわちディスパリティの極性に応じて異なるフィルタを選択適用して異なる方向への画像シフト処理（図６または図１２）を実行する。
【０２２１】
この処理により、表示画面の手前に観察される被写体も、表示画面の奥に観察される被写体も、その観察位置を表示画面方向に移動させることが可能となり、結果として、より効率的に視差範囲を縮小（Ｕ１からＵ８）することが可能となる。
【０２２２】
（実施例５（ｂ）視差範囲を拡大する実施例）
次に、図２０を参照して、ディスパリティの極性判定情報を適用して視差範囲を拡大する処理を行う実施例について説明する。
【０２２３】
図２０は、先の各実施例において説明したと同様、以下の各図を示している。
（ａ）入力画像の視差範囲Ｕ１
（ｂ）視差調整画像の視差範囲Ｕ９
なお、図２０（ａ），（ｂ）には、さらに観察者（ユーザ）の左眼２０１、右眼２０２と、３次元画像表示を実行中の表示部の表示画面２１０を示している。
表示画面２１０上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者（ユーザ）が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
【０２２４】
図２０（ａ）は、図１９（ａ）と同様、被写体が表示画面２１０の前後に観察される。すなわち、
被写体Ｋが表示画面２１０上に観察され、
被写体Ｌが表示画面２１０の手前（観察者側）に観察され、
被写体Ｍが表示画面２１０の奥側に観察される設定となった入力画像である。
図２０（ａ）において、
被写体Ｋは、ディスパリティ＝ＤＨ＝０、
被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））、
被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））、
ここで、被写体Ｌのディスパリティは極性が負であり、被写体Ｌの像が表示画面２１０の手前に観察される設定であり、被写体Ｍのディスパリティは極性が正であり、被写体Ｍの像が表示画面２１０の奥に観察される設定である。
視差範囲は、被写体Ｌ〜Ｍの観察位置に相当する視差範囲［Ｕ１］となる。
【０２２５】
図２０（ｂ）は、本実施例５（ｂ）に従って、図１８に示す画像処理装置３００において変換された画像、すなわち例えば視差調整左画像（Ｌ２）５０と、視差調整右画像（Ｒ２）６０とによって表示される画像の観察状況を示している。
被写体Ｋ９，Ｌ９，Ｍ９は、図２０（ａ）のＫ，Ｌ，Ｍと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
【０２２６】
被写体Ｋ９はディスパリティ＝０である。
被写体Ｋ９は、左画像と右画像が表示画面２１０上の同じ位置に表示されており、ディスパリティが０となる。
観察者が実感する被写体Ｋ９の位置は表示画面２１０上の位置となる。
【０２２７】
被写体Ｌ９はディスパリティ＝ＤＬ９となる。
被写体Ｌ９は、左画像と右画像の表示画面２１０上の距離がＤＬ９であり、ディスパリティがＤＬ９となる。
観察者が実感する被写体Ｌ９の位置は表示画面２１０から手前、すなわち観察者側の位置Ｌ９となる。
ただし、観察者が実感する被写体Ｌ９の位置は、図２０（ａ）に示す変換前の入力画像における被写体位置Ｌより観察者に近い（表示画面２１０から遠い）位置に設定される。これは画像のシフト処理の結果である。
【０２２８】
このシフト処理においては、図２０（ａ）に示す被写体ＬのディスパリティＤＬの極性が考慮される。
前述したように、被写体Ｌは、ディスパリティ＝ＤＬ（ディスパリティ極性＝負（−））である。すなわち、左画像の対応点（Ｌ左画像）は、右画像の対応点（Ｌ右画像）よりも右に位置する。
このようにディスパリティ極性＝負（−）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ｂ）では、先の実施例５（ａ）とは異なり、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理（図６参照）」を実行する。
【０２２９】
すなわち、図６に示すように、左画像微分処理部１１３で、図６（Ｌ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については右方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図６（Ｒ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
【０２３０】
この画像変換処理により、被写体Ｌのディスパリティは、図２０（ａ）の示すＤＬから図２０（ｂ）に示すＤＬ９に変更される。結果として、左画像の対応点（Ｌ９左画像）と、右画像の対応点（Ｌ９右画像）の距離は大きくなり、結果として、被写体像Ｌ９は、変換前の図２０（ａ）に示す被写体像Ｌの位置より、観察者に近づく（表示画面２１０から遠ざかる）方向に移動して設定される。
【０２３１】
一方、表示画面２１０の奥に位置する被写体Ｍは、画像変換前のディスパリティ＝ＤＭが、画像変換の結果、図２０（ｂ）に示すディスパリティ＝ＤＭ９となる。
観察者が実感する被写体Ｍ９の位置は表示画面２１０より奥の位置Ｍ９となる。
ただし、観察者が実感する被写体Ｍ９の位置は、図２０（ａ）に示す変換前の入力画像における被写体位置Ｍより観察者から遠い（表示画面２１０から遠い）位置に設定される。これは前述の画像のシフト処理の結果である。
【０２３２】
このシフト処理においても、図２０（ａ）に示す被写体ＭのディスパリティＤＭの極性が考慮される。
前述したように、被写体Ｍは、ディスパリティ＝ＤＭ（ディスパリティ極性＝正（＋））である。すなわち、左画像の対応点（Ｍ左画像）は、右画像の対応点（Ｍ右画像）よりも左に位置する。
このようにディスパリティ極性＝正（＋）の画素位置（画素またはブロック）についての変換処理は、本実施例５（ｂ）では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理（図１２参照）」を実行する。
【０２３３】
すなわち、図１２に示すように、左画像微分処理部１１３で、図１２（Ｌ２）に示す係数［−１，０，１］により微分を行い、微分信号、または微分信号の非線形処理結果を左画像に加算する合成処理により、入力左画像については左方向に画像がずれた変換画像を生成する。
また、右画像微分処理部１２３では、図１２（Ｒ２）に示す係数［１，０，−１］により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
【０２３４】
この画像変換処理により、被写体Ｍのディスパリティは、図２０（ａ）の示すＤＭから図２０（ｂ）に示すＤＭ９に変更される。結果として、左画像の対応点（Ｍ９左画像）と、右画像の対応点（Ｍ９右画像）の距離は大きくなり、結果として、被写体像Ｍ９は、変換前の図２０（ａ）に示す被写体像Ｍの位置より、観察者から遠ざかる（表示画面２１０から遠ざかる）方向に移動して設定される。
【０２３５】
この結果、変換画像によって表示される３次元画像の視差範囲は、図２０（ｂ）に示す視差範囲［Ｕ９］となる。
変換後の視差範囲［Ｕ９］は、変換前の画像による視差範囲［Ｕ１］に比較して、表示画面の前後とも表示画面２１０から遠ざかり、拡大された視差範囲となる。
【０２３６】
このように、本実施例５（ｂ）によれば、表示画面の手前に観察される被写体と、表示画面の奥に観察される被写体について、それぞれ逆のパターンの微分フィルタ係数を用いた処理により、逆方向のシフト処理を実行する。すなわちディスパリティの極性に応じて異なるフィルタを選択適用して異なる方向への画像シフト処理（図６または図１２）を実行する。
【０２３７】
この処理により、表示画面の手前に観察される被写体も、表示画面の奥に観察される被写体も、その観察位置を表示画面方向から遠ざかる方向に移動させることが可能となり、結果として、より効率的に視差範囲を拡大（Ｕ１からＵ９）することが可能となる。
【０２３８】
なお、本実施例でも、変換対象画像となる画像において焦点が合った画素位置（被写体Ｅ）で最もディスパリティの変化が小さく、合焦位置から離れるに従ってディスパリティの変化が大きくなる設定としている。
【０２３９】
［Ｆ．実施例６：シフト態様の制御用の信号を入力可能とした構成を有する実施例］
次に、シフト態様の制御のための制御信号を入力可能とした構成を有する実施例について図２１〜２３を参照して説明する。
上述の実施例では、図１に示す構成において、左画像微分器１１２と右画像微分器１２２において適用する微分フィルタ係数について、図６や図１２を参照して説明したように、［−１，０，１］と［１，０，−１］の組み合わせを利用する構成としている。
【０２４０】
具体的には、以下のような設定となっている。
実施例１では、図６に従った微分フィルタ係数の設定（左画像微分器：［１，０，−１］、右画像微分器［−１，０，１］）として、左画像を右方向にシフト、右画像を左方向にシフトする設定。
実施例２では図１２に従った設定（左画像微分器：［−１，０，１］、右画像微分器［１，０，−１］）として、左画像を左方向にシフト、右画像を右方向にシフトする設定。
実施例３（ａ）では図１２に従った設定、
実施例３（ｂ）では図６に従った設定、
実施例４（ａ）では図６に従った設定、
実施例４（ｂ）では図１２に従った設定、
実施例５（ａ）では図１２に従った設定、
実施例５（ｂ）では図６に従った設定、
このように、各実施例において、各微分器において適用する微分フィルタ係数を設定している。
この微分フィルタ係数の設定態様に応じて、画像のシフト方向の制御が可能となる。
また、微分フィルタ係数は、［−１，０，１］，［１，０，−１］のような組み合わせに限らず、［−２，０，２］，［２，０，−２］、さらには、［−１，−０．５，０，０．５，１］，［１，０．５，０，−０．５，−１］の組み合わせ、あるいは一次微分フィルタ以外の２次元フィルタを適用するといった様々な設定が可能であり、この様な微分フィルタ係数の変更により、シフト態様を変更することが可能となる。
【０２４１】
また、上述の実施例１〜５では、左線形変換部１１３、および右線形変換部１２３では、例えば図３に示すパターンに従った非線形変換処理を実行すると説明した。
前述したように、この変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
【０２４２】
実施例６では、シフト方向やシフト態様を制御するための制御信号入力部を設けた構成である。
図２１に示す画像処理装置４００は、図１に示す画像処理装置１００に制御信号入力部４０１を追加した構成を有する。その他の構成は、図１に示す構成と同一である。
【０２４３】
画像処理装置４００は、図２１に示すように左画像（Ｌ１画像）１０を入力して画像変換を行い、視差調整が施された視差調整左画像（Ｌ２画像）５０を生成する左画像変換部１１０と、右画像（Ｒ１画像）２０を入力して画像変換を行い、視差調整が施された視差調整右画像（Ｒ２画像）６０を生成する右画像変換部１２０、さらに、視差検出部３０１を有する。
【０２４４】
左画像変換部１１０は、左画像（Ｌ１）１０を入力する左画像入力部１１１、左画像１０の微分処理を行う左画像微分処理部１１２、左画像１０の微分信号を非線形変換する左非線形変換部１１３、左画像１０と非線形変換された微分信号を合成する左画像合成部１１４、変換後の視差調整左画像（Ｌ２）５０を出力する左画像出力部１１５から構成される。
【０２４５】
右画像変換部１２０は、右画像（Ｒ１）２０を入力する右画像入力部１２１、右画像２０の微分処理を行う右画像微分処理部１２２、右画像２０の微分信号を非線形変換する右非線形変換部１２３、右画像２０と非線形変換された微分信号を合成する右画像合成部１２４、変換後の視差調整右画像（Ｒ２）６０を出力する右画像出力部１２５から構成される。
この左画像変換部１１０と右画像変換部１２０は、先に実施例１〜４において説明した処理と同様の処理を実行する。
【０２４６】
制御信号入力部４０１は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力する。
【０２４７】
微分器の微分フィルタの設定制御構成の具体例について図２２を参照して説明する。図２２は、左画像微分器１１２の内部構成例を示す図である。
左画像微分器１１２は、フィルタ選択部４２１、微分フィルタ適用部４２２を有する。
【０２４８】
微分フィルタ適用部４２２は、複数の異なる微分フィルタ係数を選択適用可能な構成を有している。フィルタ選択部４２１は、制御信号入力部４０１からの制御信号に応じて、特定の微分フィルタを選択し、選択した微分フィルタによって、左画像入力部１１１から入力する左画像の輝度信号に対する微分処理を実行する。
例えばこのような構成により、様々な微分フィルタ係数を適用した微分処理が実現される。
なお、図２２は左画像微分器１１２の構成例として説明したが、右画像微分器１２２も同様の構成を有し、様々な微分フィルタ係数を適用した微分処理が実現される。
【０２４９】
図２１に示すように、制御信号入力部４０１の制御信号は、左画像非線形変換部１１３と、右画像非線形変換部１２３にも制御信号を入力する。
左画像非線形変換部１１３と、右画像非線形変換部１２３に入力される制御信号は、微分信号の変換処理態様を制御する信号である。先に説明した実施例では、例えば図３に示すパターンに従った非線形変換処理を実行する構成として説明したが、本実施例では、制御信号によって、変換パターンを様々な態様に制御可能な構成としている。制御信号は、例えば入力（Ｉｎ）に対して適用する関数Ｆとして設定可能である。
この制御信号としての関数Ｆによって、
出力Ｏｕｔ＝Ｆ（Ｉｎ）が決定される。
このように変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
なお、変換処理は非線形に限らず線形変換とする設定としてもよい。
【０２５０】
このように、図２１に示す画像処理装置４００は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力可能な構成とした。
【０２５１】
この制御信号の入力により、画像のシフト方向やシフト態様の制御が可能となる。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や３次元画像の設定を実現することが可能となる。
【０２５２】
図２１を参照して説明した構成は、前述した実施例１〜４の構成として説明した図１の画像処理装置に制御信号入力部４０１を追加した構成であるが、実施例５の構成として説明した図１８に示す画像処理装置３００に制御信号入力部を追加した構成としてもよい。図２３に、この画像処理装置５００の構成例を示す。
【０２５３】
図２３に示す画像処理装置５００は、先に実施例５の画像処理装置として説明した図１８に示す画像処理装置３００に制御信号入力部５０１を追加した構成である。
左画像変換部１１０、右画像変換部１２０、視差検出部３０１の構成および実行する処理は先に実施例５において説明したとほぼ同様である。
ただし、図２３に示す画像処理装置５００は、左画像微分器１１２と右画像微分器１２２において適用する微分態様を制御するための制御信号、および、左画像非線形変換部１１３と、右画像非線形変換部１２３に変換処理の制御信号を入力可能な構成である。
【０２５４】
この制御信号の入力により、画像のシフト方向やシフト態様の制御が可能となる。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や３次元画像の設定を実現することが可能となる。
【０２５５】
なお、上述した実施例において、入力画像をそのまま適用して変換する処理構成として説明したが、各画像入力部で入力した画像（左画像１０、右画像２０）に対して縮小処理や間引き処理を実行し、その後、微分処理、非線形変換、合成処理、あるいは視差検出処理を実行する構成としてもよい。このような処理構成とすることで、データ処理量を削減することが可能となる。なお、実施例５において説明したように、視差検出部３０１の視差検出処理のみを縮小画像あるいは間引き処理画像を適用した処理として実行する構成としてもよい。
【０２５６】
また、上記した各実施例では、左画像微分器と右画像微分器とで微分フィルタ係数のパターンを逆系列とした設定の微分フィルタを適用する構成としたが、左画像微分器と右画像微分器とで同じ微分フィルタ係数を用いて微分処理を実行し、その後の合成処理において、一方（例えば左画像）は、微分信号（または微分信号を非線形変換した信号）を原画像信号に加算し、他方（例えば右画像）は原画像信号に対する減算処理を実行する構成としても同様の効果を奏することができる。
【０２５７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２５９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２６０】
以上、説明したように、本発明の一実施例構成によれば、立体画像表示に適用する左画像と右画像の視差制御を行なう装置、方法が提供される。本発明の画像処理装置は、左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【符号の説明】
【０２６１】
１０ 左画像（Ｌ１画像）
２０ 右画像（Ｒ１画像）
５０ 視差調整左画像（Ｌ２画像）
６０ 視差調整右画像（Ｒ２画像）
１００ 画像処理装置
１１０ 左画像変換部
１１１ 左画像入力部
１１２ 左画像微分処理部
１１３ 左非線形変換部
１１４ 左画像合成部
１１５ 左画像出力部
１２０ 右画像変換部
１２１ 右画像入力部
１２２ 右画像微分処理部
１２３ 右非線形変換部
１２４ 右画像合成部
１２５ 右画像出力部
３００ 画像処理装置
３０１ 視差検出部
４００ 画像処理装置
４０１ 制御信号入力部
４２１ フィルタ選択部
４２２ 微分フィルタ適用部
５００ 画像処理装置
５０１ 制御信号入力部
【特許請求の範囲】
【請求項１】
立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置。
【請求項２】
前記左画像変換部は、
前記特徴量として前記左画像の画像信号の微分信号を生成する左画像微分器と、
前記左画像の微分信号、または該微分信号の変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成する左画像合成部を有し、
前記右画像変換部は、
前記特徴量として前記右画像の画像信号の微分信号を生成する右画像微分器と、
前記右画像の微分信号、または該微分信号の変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する右画像合成部を有する請求項１に記載の画像処理装置。
【請求項３】
前記左画像変換部は、
前記前記左画像の微分信号の非線形変換処理を実行する左画像非線形変換部を有し、前記左画像合成部は、前記左画像非線形変換部の生成した変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成し、
前記右画像変換部は、
前記前記右画像の微分信号の非線形変換処理を実行する右画像非線形変換部を有し、前記右画像合成部は、前記右画像非線形変換部の生成した変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記左画像微分器と前記右画像微分器は、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項２または３に記載の画像処理装置。
【請求項５】
前記左画像微分器と前記右画像微分器は、同一の微分態様による微分処理を実行し、
前記左画像合成部と前記右画像合成部のいずれか一方は、各画像の微分信号または該微分信号の変換信号を入力画像信号に加算し、他方が入力画像信号から減算する処理を行う請求項２または３に記載の画像処理装置。
【請求項６】
前記左画像微分器と前記右画像微分器は、入力画像信号の輝度信号の微分処理を実行する請求項２〜５いずれかに記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置を解析して視差情報を生成する視差検出部を有し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成する前記視差情報に応じて、微分処理態様を変更して微分処理を実行する請求項２〜６いずれかに記載の画像処理装置。
【請求項８】
前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置が、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する、
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する、
上記（ａ），（ｂ）いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項７に記載の画像処理装置。
【請求項９】
前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像の縮小画像または間引き画像を適用して視差情報を生成する請求項７または８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、
前記左画像微分器と前記右画像微分器の微分処理態様、または前記左画像非線形変換部と前記右画像非線形変換部における変換処理態様の少なくともいずれかを変更制御するための制御信号を入力する制御信号入力部を有する請求項３〜９いずれかに記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラム。
【請求項１】
立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置。
【請求項２】
前記左画像変換部は、
前記特徴量として前記左画像の画像信号の微分信号を生成する左画像微分器と、
前記左画像の微分信号、または該微分信号の変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成する左画像合成部を有し、
前記右画像変換部は、
前記特徴量として前記右画像の画像信号の微分信号を生成する右画像微分器と、
前記右画像の微分信号、または該微分信号の変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する右画像合成部を有する請求項１に記載の画像処理装置。
【請求項３】
前記左画像変換部は、
前記前記左画像の微分信号の非線形変換処理を実行する左画像非線形変換部を有し、前記左画像合成部は、前記左画像非線形変換部の生成した変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成し、
前記右画像変換部は、
前記前記右画像の微分信号の非線形変換処理を実行する右画像非線形変換部を有し、前記右画像合成部は、前記右画像非線形変換部の生成した変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記左画像微分器と前記右画像微分器は、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項２または３に記載の画像処理装置。
【請求項５】
前記左画像微分器と前記右画像微分器は、同一の微分態様による微分処理を実行し、
前記左画像合成部と前記右画像合成部のいずれか一方は、各画像の微分信号または該微分信号の変換信号を入力画像信号に加算し、他方が入力画像信号から減算する処理を行う請求項２または３に記載の画像処理装置。
【請求項６】
前記左画像微分器と前記右画像微分器は、入力画像信号の輝度信号の微分処理を実行する請求項２〜５いずれかに記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置を解析して視差情報を生成する視差検出部を有し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成する前記視差情報に応じて、微分処理態様を変更して微分処理を実行する請求項２〜６いずれかに記載の画像処理装置。
【請求項８】
前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置が、
（ａ）左画像の対応点が右画像の対応点よりも左に位置する、
（ｂ）左画像の対応点が右画像の対応点よりも右に位置する、
上記（ａ），（ｂ）いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項７に記載の画像処理装置。
【請求項９】
前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像の縮小画像または間引き画像を適用して視差情報を生成する請求項７または８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、
前記左画像微分器と前記右画像微分器の微分処理態様、または前記左画像非線形変換部と前記右画像非線形変換部における変換処理態様の少なくともいずれかを変更制御するための制御信号を入力する制御信号入力部を有する請求項３〜９いずれかに記載の画像処理装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【公開番号】特開２０１１−１６６６０６（Ｐ２０１１−１６６６０６Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２９２３９（Ｐ２０１０−２９２３９）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]