画像処理装置、および画像処理方法、並びにプログラム
【課題】３次元画像としてのＬＲ画像に基づいて多視点画像を生成する構成を提供する。
【解決手段】３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
【解決手段】３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼には右眼用の画像が、右眼には左眼用の画像が入ってしまう逆視や、左眼用画像と右眼用画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左眼用画像と右眼用画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左眼用画像と右眼用画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左眼用画像と右眼用画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左眼用画像と右眼用画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左眼用画像と右眼用画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じて、適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左眼用画像と右眼用画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理は、生成する仮想視点画像の品質が考慮されておらず、左眼用画像と右眼用画像の中心を基準に仮想視点位置を決定する構成としている。従って、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１０】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１１】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【００１２】
また、特許文献２（特開２００６−１１５１９８号公報）は、入力するオリジナルの左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の３Ｄ画像から最大視差量を検出し、クロストーク量や融像視差範囲に最大視差を収めるように、仮想視点位置を決定する手法を提案している。すなわち、入力ＬＲ画像の持つ最大視差量に応じて生成する仮想視点画像の視点間隔を決定する手法を開示している。
【００１３】
しかし、オリジナルＬＲ画像からの最大視差の検出時に、最大視差を持つ画像領域の画像や、画像領域の注目のしやすさを考慮していない。したがって、例えば以下のような問題点が発生する。
・最大視差検出時に、最大視差を持つ画像領域の面積を考慮していないため、面積の小さい物体が最大視差をもつ場合は、視覚的にほとんど影響がない最大視差画像領域の存在に応じて、不必要に仮想視点間隔を狭めてしまう可能性がある。
・また、最大視差検出時に最大視差を持つ画像領域の注目のしやすさを考慮していないため、視覚的に注目されない画像領域が最大視差を持つ場合、視覚的にほとんど影響のない画像領域の最大視差情報に応じて、不必要に仮想視点間隔を狭めてしまう場合や、広めてしまう場合がある。
【００１４】
また、特許文献３（特開平９−１２１３７０号公報）は、入力するオリジナルの左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を用いて、これらの画像を平行移動（シフト）することで、視差を融像範囲に収める手法を開示している。
【００１５】
この特許文献３に開示されたシフト処理による仮想視点画像の生成を行うことで、視差分布のオフセットの調整、すなわち、奥行きが多きすぎる画像を全体として手前に移動させるといったオフセット調整が可能となる。しかし、視差分布の広がりの調整は行うことができないため、オフセット調整によって、全体が手前に寄り過ぎる、あるいは奥に行き過ぎるといった不具合が発生する可能性がある。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００６−１１５１９８号公報
【特許文献３】特開平９−１２１３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、例えば、画像品質や適切な視差量、あるいは画像の注目し易い領域等を考慮して仮想視点位置を決定して多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供する。
【課題を解決するための手段】
【００１８】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置にある。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。
【００２７】
さらに、本開示の第２の側面は、
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）と右眼用の画像信号である右眼用画像（Ｒ画像）を撮影する撮像部と、
前記撮像部から、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
前記撮像部から、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置にある。
【００２８】
さらに、本開示の第３の側面は、
画像処理装置において、多視点画像を生成する画像処理方法であり、
左眼用画像入力部が、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力ステップと、
右眼用画像入力部が、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力ステップと、
視差情報生成部が、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成ステップと、
仮想視点画像生成部が、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法にある。
【００２９】
さらに、本開示の第４側面は、
画像処理装置において、多視点画像を生成させるプログラムであり、
左眼用画像入力部に、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力させる左眼用画像入力ステップと、
右眼用画像入力部に、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力させる右眼用画像入力ステップと、
視差情報生成部に、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成させる視差情報生成ステップと、
仮想視点画像生成部に、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力させて、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラムにある。
【００３０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づいて多視点画像を生成する構成が実現される。
具体的には、例えば、３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
これらの処理によって、各観察位置に応じた最適な仮想視点画像、すなわち、快適な視差範囲の高品質な仮想視点画像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図２】仮想視点画像の生成処理の一例について説明する図である。
【図３】多視点画像の表示処理の一例について説明する図である。
【図４】多視点画像の表示処理の一例について説明する図である。
【図５】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図６】仮想視点画像の画像品質について説明する図である。
【図７】仮想視点画像の画像品質の算出処理の一例について説明する図である。
【図８】仮想視点画像の画像品質の算出処理の一例について説明する図である。
【図９】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１０】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１１】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１２】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１３】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１４】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図１５】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１６】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１７】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１８】視差ｄと重み付き視差分布Ｈ（ｄ）との関係データ、および視差ｄと視差累積分布Ｏ（ｄ）との関係データについて説明する図である。
【図１９】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２０】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２１】非等間隔な仮想視点間隔を持つ仮想視点位置の決定処理例について説明する図である。
【図２２】シフト処理を用いて仮想視点画像を生成する処理例の処理シーケンスを説明するフローチャートを示す図である。
【図２３】視差ｄと重み付き視差分布Ｈ（ｄ）との関係データ、および視差ｄと視差累積分布Ｏ（ｄ）との関係データについて説明する図である。
【図２４】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２５】重み付き視差分布と平行移動の補正を行った補正重み付き視差分布の一例について説明する図である。
【図２６】視差分布の平行移動処理例について説明する図である。
【図２７】画像の平行移動処理を仮想視点画像生成処理例について説明する図である。
【図２８】画像処理装置の一構成例について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．（実施例１）画像品質を考慮した仮想視点位置の決定処理を実行する実施例
１−１．画像処理装置の実行する処理の全体処理シーケンスについて
１−２．実施例１における仮想視点位置の決定処理について
２．（実施例２）適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例
３．（実施例３）画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例
４．（実施例４）非等間隔な仮想視点位置を決定する処理例
５．（実施例５）シフト処理を用いて仮想視点画像を生成する処理例
６．画像処理装置の構成例について
７．本開示の構成のまとめ
【００３５】
［１．（実施例１）画像品質を考慮した仮想視点位置の決定処理を実行する実施例］
まず、本開示の画像処理装置の第１実施例として、画像品質を考慮した仮想視点位置の決定処理を実行する実施例について説明する。
【００３６】
［１−１．画像処理装置の実行する処理の全体処理シーケンスについて］
図１は、本実施例の画像処理装置の実行する処理の全体処理シーケンスを説明するフローチャートである。
まず、図１のフローに従って、本実施例の画像処理装置の実行する処理の全体処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。
【００３７】
画像処理装置は、ステップＳ１０１において、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。
すなわち、３次元（３Ｄ）画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な３次元画像が観察される標準ＬＲ画像を利用して、視差情報を取得する。
【００３８】
視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００３９】
ステップＳ１０２では、ステップＳ１０１において取得した視差情報に基づいて、生成すべき多視点画像の仮想視点位置を決定する。
標準ＬＲ画像には、大きな視差から小さな視差まで、ある範囲の視差を持つ。ステップＳ１０２では、この視差分布情報等に基づいて、生成すべき多視点画像の仮想視点位置を決定する。
【００４０】
ステップＳ１０３では、ステップＳ１０２において決定した仮想視点位置に対応する仮想視点画像を含む多視点画像を生成する。
仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。
【００４１】
最後に、ステップＳ１０４において、ステップＳ１０３で生成した仮想視点画像を利用した画像表示処理を実行する。
【００４２】
前述したように、入力ＬＲ画像は、１つの標準的な観察位置において観察した場合に最適な３次元画像として観察できるが、観察位置がこの標準位置からずれた場合に、この標準ＬＲ画像を観察すると逆視やクロストークが発生する。
しかし、本処理に従って生成した多視点画像から、観察位置に応じて選択された２つのＬＲ画像をそれぞれ観察者の左眼と右眼に観察させることで、逆視やクロストークを抑制することが可能となる。
ステップＳ１０４ではこのような画像表示を実行する。
【００４３】
次に、図１に示すフローチャートの各ステップの処理の詳細について説明する。
（ステップＳ１０１：視差情報の取得）
まず、ステップＳ１０１における視差情報の取得処理について説明する。
ステップＳ１０１では、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４４】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００４５】
ブロックマッチングベースの視差情報取得処理について簡単に説明する。
入力したオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）について、例えばＬ画像の画素領域（ブロック）を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００４６】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像）がある。デプスマップは、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
ステップＳ１０１では、例えば視差情報として、このようなデプスマップを生成する。
【００４７】
（ステップＳ１０２：仮想視点位置の決定）
ステップＳ１０２の仮想視点位置の決定処理については、後段で詳細に説明する。
【００４８】
（ステップＳ１０３：仮想視点画像の生成）
次に、ステップＳ１０３における仮想視点画像の生成処理について説明する。
ステップＳ１０３では、ステップＳ１０２において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップＳ１０２では、例えば予め設定した数（例えば１０）の仮想視点を決定し、ステップＳ１０３では、これらの各仮想視点に対応する仮想視点画像を生成する。
【００４９】
仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図２を参照して説明する。
【００５０】
図２には、画像処理装置に入力するオリジナルの左眼用画像（Ｌ画像）１０１と右眼用画像（Ｒ画像）１０２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１０３を示している。
左眼用画像（Ｌ画像）１０１は標準位置における左眼視点位置から観察した画像であり、右眼用画像（Ｒ画像）１０２は標準位置における右眼視点位置から観察した画像である。
左眼用画像（Ｌ画像）１０１の視点位置を０．０、
右眼用画像（Ｒ画像）１０２の視点位置を１．０とする。
【００５１】
図２は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１０３として生成する場合の処理例を示している。
左眼用画像（Ｌ画像）１０１と右眼用画像（Ｒ画像）１０２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図２に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００５２】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００５３】
（Ｓ１０４：画像表示処理）
次に、ステップＳ１０４の処理、すなわちステップＳ１０３において生成した仮想視点画像を利用した画像表示処理の詳細について図３を参照して説明する。
【００５４】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御している。すなわち、左眼用画像と右眼用画像を生成して左眼用画像は左眼でのみ観察させ、右眼用画像は右眼でのみ観察させる構成としている。
このような技術を用いることで、左眼と右眼に入る画像が混ざるクロストークを抑制し、メガネを装着しなくても立体視が可能となる。
【００５５】
ステップＳ１０３における仮想視点画像の生成によって、入力ＬＲ画像を含めた複数（例えばＮ個）の視点からなる多視点画像が生成される。
これらＮ個の画像が裸眼３Ｄ表示装置に表示され、観察者の観察位置に応じて、異なる組み合わせの視点画像をそれぞれ観察者の左眼と右眼に知覚させることで、観察位置に応じた最適な３Ｄ画像表示を実行させる。
【００５６】
図３は、入力ＬＲ画像を含めた多視点画像の数Ｎ＝４として、第１視点〜第４視点画像を利用した表示処理例を説明している。
図３（ａ）多視点画像が、入力ＬＲ画像を含めた多視点画像を示している。
まず、この４つの視点画像をインターリーブした画像を生成する。
すなわち、図３（ｂ）インターリーブ画像である。
例えば、第１視点画像〜第４視点画像を水平方向に順番に並べて、インターリーブ画像を生成する。
このインターリーブ画像に対して、観察方向に応じたバリアを設定し、ある方向から観察した場合に、特定の視点画像のみが観察される設定とする。
図３（ｃ）観察画像例は、ある観察位置において、観察者の左眼あるいは右眼のいずれかにおいて観察される画像の例を示している。
この例では、第２視点画像が観察されるようなバリア設定となっている。
【００５７】
３次元画像として知覚させるためには、観察者の左眼と右眼に異なる視点位置からの観察画像が知覚されることが必要である。
具体的には、例えば図４に示すように、
（ｃ１）左眼用視点画像として第２視点画像、
（ｃ２）右眼用視点画像として第４視点画像、
このような設定である。
このように観察者の観察位置に応じてバリアと観察画像が異なる設定となるような表示処理を行うのがバリア方式を用いた裸眼３Ｄ表示装置である。
レンチキュラー方式においても観察位置に応じて、それざれ観察者の左眼と右眼に異なる視点画像のペアが観察される。
【００５８】
ステップＳ１０４における画像表示処理は、このように観察者の観察位置に応じた異なる視点画像のペアを観察させるような３Ｄ画像表示処理を実行する。
【００５９】
［１−２．実施例１における仮想視点位置の決定処理について］
次に、図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理の詳細について説明する。
【００６０】
図５は、図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理の詳細シーケンスを説明するフローチャートである。
まず、このフローチャートに従って仮想視点位置の決定処理の一連の処理について説明する。
まず、ステップＳ１２１において、仮想視点画像の品質を推定する。具体的には、画像品質評価値（Ｑ）を算出する。
次に、ステップＳ１２２において、ステップＳ１２１で取得した仮想視点画像の画像品質（画像品質評価値（Ｑ））に応じて仮想視点間隔（Ｇ）を決定する。
最後に、ステップＳ１２３において、ステップＳ１２２で決定した仮想視点間隔（Ｇ）に応じて仮想視点位置を決定する。
以下、これらの各処理の詳細について図面を参照して説明する。
【００６１】
（Ｓ１２１：画像品質の推定処理）
まず、ステップＳ１２１において実行する仮想視点画像の品質（画像品質評価値（Ｑ））の算出処理について図６他を参照して説明する。
仮想視点画像は、先に図２を参照して説明したように、入力ＬＲ画像を利用した線形補間処理等によって実行される。
すなわち、利用できる画像は入力した左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の２つの画像のみである。
【００６２】
このような設定で、仮想視点画像を生成する場合、生成する仮想視点画像の画像品質は、以下の傾向を持つ。
（ａ）「視差検出に失敗した場合」や、「視差検出の精度が低い場合」は、生成される仮想視点映像の品質は低くなる。
（ｂ）「複雑な画像」や「オクルージョン発生が多い画像」の場合は、生成される仮想視点映像の品質は低くなる。
【００６３】
図６は、先に説明した図２と同様、画像処理装置に入力するオリジナルの左眼用画像（Ｌ画像）１２１と右眼用画像（Ｒ画像）１２２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１２３を示している。
左眼用画像（Ｌ画像）１２１の視点位置を０．０、
右眼用画像（Ｒ画像）１２２の視点位置を１．０とする。
図６は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１２３として生成する場合の処理例を示している。
図６（ａ）は複雑でない画像に対する処理例、
図６（ｂ）は複雑な画像に対する処理例、
を示している。
一般的に画像の複雑さが増加すると仮想視点画像の品質は低下する。
【００６４】
仮想視点画像の品質の推定方法としては、例えば以下のような手法を適用する。
（Ａ）視差情報の信頼度に応じた仮想視点画像品質の推定処理
（Ｂ）入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理
（Ｃ）実際に用いる仮想視点画像を生成し、生成した画像に基づく品質推定処理
例えば上記の（Ａ）〜（Ｃ）のいずれかの処理、または、上記処理（Ａ）〜（Ｃ）の組み合わせによって仮想視点画像の品質評価値Ｑを算出する。
【００６５】
これらの処理の具体例について説明する。
（Ａ）視差情報の信頼度に応じた仮想視点画像品質の推定処理
まず、視差情報の信頼度に応じた仮想視点画像品質の推定処理について説明する。
この処理は、図１のフローに示すステップＳ１０１で取得した視差情報（例えばデプスマップ）の信頼度を計算し、この視差情報信頼度を画像品質と定義する処理である。
前述したように、視差情報は、入力ＬＲ画像に基づいて生成され、例えばブロックマッチング等の処理によって生成されるデータである。この処理においてエラーが発生する場合があり、この視差情報が間違っている場合には、生成される仮想視点画像の品質は低下する。
このように、仮想視点画像の画像品質は、視差情報の精度に密接に関連する。したがって視差情報の精度を算出しこれを仮想視点画像の画像品質と定義することができる。
【００６６】
具体的な計算手法の一例について、図７を参照して説明する。
図７には、入力ＬＲ画像から取得した視差値の２次微分を積分して、この積分値を視差情報の信頼度と定義し、積分値が小さいほど、視差情報の信頼度が高いと判定する処理例を示している。
【００６７】
入力ＬＲ画像から求められる視差は、被写体距離に応じた分布を示すが、例えばある距離の被写体が存在している場合、この１つの被写体に対応する視差の値は、視差情報が正しく算出されている場合は一定となる。しかし正しく算出されていない場合は、様々な値、すなわち視差値に暴れが発生する。
具体的には、視差が正しく求まっている場合は，図７（Ａ）に示すように、ノイズなどの影響が少なく、視差値が滑らかになる傾向があり、視差値の２次微分の積分値が小さくなる。このような場合、視差情報信頼度が高いと判定し、この結果として、仮想視点画像の画像品質も高い（＝仮想視点画像の品質評価値Ｑは高い）と判定する。
【００６８】
一方、視差が正しく求まっていない場合は，図７（Ｂ）に示すように、ノイズなどの影響等により、視差値が様々な値に分散して暴れる傾向があり、視差値の２次微分の積分値が大きくなる。このような場合、視差情報信頼度が低いと判定し、この結果として、仮想視点画像の画像品質も低い（＝仮想視点画像の品質評価値Ｑは低い）と判定する。
【００６９】
なお、視差情報の信頼度判定処理としてはこのような処理に限らず、その他の方法、例えば、視差情報からなる距離画像（デプスマップ）と原画像との相関を算出してその相関値を信頼度として算出する手法などがあり、これらの手法を適用してもよい。
【００７０】
（Ｂ）入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理
次に、力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理の具体例について、図８を参照して説明する。
【００７１】
（Ｂ）の処理は、例えば、視点位置＝０．０の入力左眼画像（Ｌ画像）を利用して、視点位置＝１．０のＲ画像に対応する仮想視点画像Ｒ'を作成し、作成した仮想視点画像Ｒ'と、入力画像である入力右眼画像（Ｒ画像）を比較して、その差分に応じて、仮想視点画像の品質を決定する処理である。
すなわち、差分が大きい場合、仮想視点画像の品質が低く、差分が小さい場合は、仮想視点画像の品質が高いと判定する。
なお、同様に、視点位置＝１．０の入力右眼画像（Ｒ画像）を利用して、視点位置＝０．０のＬ画像に対応する仮想視点画像Ｌ'を作成し、作成した仮想視点画像Ｌ'と、入力画像である入力左眼画像（Ｌ画像）を比較して、その差分に応じて、仮想視点画像の品質を決定する。
【００７２】
図８には、以下の処理例を示している。
ステップ１：視点位置＝０．０の入力左眼画像（Ｌ画像）と、視差情報（デプスマップ）を利用して、視点位置＝１．０のＲ画像に対応する仮想視点画像Ｒ'を作成する処理。
ステップ２：作成した仮想視点画像Ｒ'と、入力画像である入力右眼画像（Ｒ画像）を比較する処理。
このステップ２の比較処理は、例えば、２つの画像の差分総和を算出し、差分が小さいほど、仮想視点画像Ｒ'は正しい画像であり、信頼度が高く（＝仮想視点画像の品質評価値Ｑは高い）、差分が大きいほど、仮想視点画像Ｒ'は誤った画像であり、信頼度が低い（＝仮想視点画像の品質評価値Ｑは低い）と判定する。
このような画像比較に応じて、仮想視点画像の品質評価値Ｑを算出することができる。
【００７３】
（ステップＳ１２２：仮想視点間隔の決定処理）
次に、ステップＳ１２２の処理、すなわち、ステップＳ１２１で取得した仮想視点画像の画像品質（画像品質評価値（Ｑ））に応じて仮想視点間隔（Ｇ）を決定する処理の具体例について説明する。
【００７４】
この処理では、以下のパラメータを適用して、仮想視点間隔（Ｇ）を決定する。
Ｑ：仮想視点画像品質評価値（ステップＳ１２１において算出された値）
Ｑ'：仮想視点間隔計算パラメータ（ユーザ入力）
これらのパラメータを適用して、仮想視点間隔（Ｇ）を決定する。
これらのパラメータＱ，Ｑ'に基づいて、仮想視点間隔（Ｇ）は、以下の式によって算出される。
Ｇ＝Ｑ／Ｑ'
【００７５】
なお、
Ｎ：仮想視点の総数
Ｑｍａｘ：画像の品質評価値の最大値、
とし、
Ｑ'＝Ｑｍａｘ・Ｎ
とすると、
仮想視点画像品質評価値Ｑが最大値Ｑｍａｘである場合、
Ｇ＝Ｑ／Ｑ'＝１／Ｎ
となり、
例えば入力ＬＲ画像の視点位置を、
Ｌ画像視点位置＝０．０、
Ｒ画像視点位置＝１．０、
とした場合、
各仮想視点位置は、視点位置０．０〜１．０の間をＮ等分した位置となる。
なお、仮想視点の総数（Ｎ）は、例えば表示装置（ディスプレイ）に応じて予め設定された値、あるいはユーザ入力値を適用する。
【００７６】
（ステップＳ１２３：仮想視点位置の決定処理）
次に、ステップＳ１２３の処理、すなわち、ステップＳ１２２で決定した仮想視点間隔（Ｇ）に応じて仮想視点位置を決定する処理の具体例について説明する。
【００７７】
まず、仮想視点位置の決定に適用するパラメータについて説明する。仮想視点位置の決定に適用するパラメータには以下のパラメータがある。
Ｎ：仮想視点の総数
Ｐ（ｉ）：ｉ番目の仮想視点位置［ｉ＝０，１，２，・・・Ｎ−２，Ｎ−１］
Ｇ：仮想視点間隔
Ｎｆｉｘ：基準位置として設定する仮想視点位置（＝基準仮想視点位置）の番号
Ｐｆｉｘ：基準位置として設定する仮想視点位置（＝基準仮想視点位置）
なお、上記の各パラメータの関係式として以下の関係式が成立する。
Ｐ（ｉ）＝Ｐｆｉｘ＋（１−Ｎｆｉｘ）×Ｇ
【００７８】
上記パラメータ中、
仮想視点総数（Ｎ）は、表示装置（ディスプレイ）に応じて予め設定された値、あるいはユーザ入力値を適用する。
仮想視点位置Ｐ（ｉ）は、このステップＳ１２３の処理によって決定される仮想視点位置情報である。
仮想視点間隔（Ｇ）は、前述のステップＳ１２２の処理において決定した値である。
基準仮想視点位置（Ｐｆｉｘ）とその番号（Ｎｆｉｘ）は、任意に設定することが可能な値であり、例えばユーザ入力値である。
なお、基準仮想視点位置番号（Ｎｆｉｘ）は、例えば、複数の仮想視点位置の左端の仮想視点位置番号を０として、右方向に、１，２，３・・として設定する。
【００７９】
以下、仮想視点総数Ｎ＝９とした設定において、
基準仮想視点位置（Ｐｆｉｘ）とその番号（Ｎｆｉｘ）を様々な設定とした場合の仮想視点位置の設定例について図９〜図１３を参照して説明する。
【００８０】
（仮想視点位置決定処理例１）
図９を参照して仮想視点位置決定処理例１について説明する。
この処理例１は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝８
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００８１】
図９には、以下の４パターンの仮想視点位置決定処理例を示している。
（１ａ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝４／３２
（１ｂ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝３／３２
（１ｃ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝１／３２
（１ｄ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝５／３２
【００８２】
（１ａ）〜（４ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（１ａ）Ｇ＝４／３２，（１ｂ）Ｇ＝３／３２，（１ｃ）Ｇ＝１／３２．（１ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００８３】
（１ａ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８４】
（１ｂ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８５】
（１ｃ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８６】
（１ｄ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８７】
（仮想視点位置決定処理例２）
次に図１０を参照して仮想視点位置決定処理例２について説明する。
この処理例２は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝０
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００８８】
図１０には、以下の４パターンの仮想視点位置決定処理例を示している。
（２ａ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（２ｂ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（２ｃ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（２ｄ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【００８９】
（２ａ）〜（２ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（２ａ）Ｇ＝４／３２，（２ｂ）Ｇ＝３／３２，（２ｃ）Ｇ＝１／３２．（２ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００９０】
（２ａ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９１】
（２ｂ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９２】
（２ｃ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９３】
（２ｄ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９４】
（仮想視点位置決定処理例３）
次に図１１を参照して仮想視点位置決定処理例３について説明する。
この処理例３は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝４
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００９５】
図１１には、以下の４パターンの仮想視点位置決定処理例を示している。
（３ａ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（３ｂ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（３ｃ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（３ｄ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【００９６】
（３ａ）〜（３ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（３ａ）Ｇ＝４／３２，（３ｂ）Ｇ＝３／３２，（３ｃ）Ｇ＝１／３２．（３ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００９７】
（３ａ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９８】
（３ｂ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９９】
（３ｃ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１００】
（３ｄ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０１】
（仮想視点位置決定処理例４）
次に図１２を参照して仮想視点位置決定処理例４について説明する。
この処理例４は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝２
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【０１０２】
図１２には、以下の４パターンの仮想視点位置決定処理例を示している。
（４ａ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（４ｂ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（４ｃ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（４ｄ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【０１０３】
（４ａ）〜（４ｄ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（４ａ）Ｇ＝４／３２，（４ｂ）Ｇ＝３／３２，（４ｃ）Ｇ＝１／３２．（４ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【０１０４】
（４ａ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０５】
（４ｂ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０６】
（４ｃ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０７】
（４ｄ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０８】
（仮想視点位置決定処理例５）
次に図１３を参照して仮想視点位置決定処理例５について説明する。
この処理例５は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝４
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【０１０９】
図１３には、以下の４パターンの仮想視点位置決定処理例を示している。
（５ａ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝４／３２
（５ｂ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝３／３２
（５ｃ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝１／３２
（５ｄ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝５／３２
【０１１０】
（５ａ）〜（５ｄ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（５ａ）Ｇ＝４／３２，（５ｂ）Ｇ＝３／３２，（５ｃ）Ｇ＝１／３２．（５ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【０１１１】
（５ａ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１２】
（５ｂ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１３】
（５ｃ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１４】
（５ｄ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１５】
［２．（実施例２）適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例］
次に、本開示の画像処理装置の実行する処理の第２実施例として、適切視差量と画像重みを考慮した仮想視点位置の決定処理を実行する実施例について説明する。
【０１１６】
なお、この実施例２においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１１７】
図１４は、本実施例２における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
まず、図１４のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。
【０１１８】
画像処理装置は、まず、ステップ１４１において、適切視差量を決定する。具体的な処理については後述するが、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。
【０１１９】
次に、ステップＳ１４２において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。詳細については後述する。
これらの情報に基づいて、重み付き視差分布情報を算出する。
【０１２０】
次に、ステップＳ１４３において、ステップＳ１４２で算出した重み付き視差分布情報を適用して、視差最大値を算出する。これは、仮想視点画像に設定する視差の最大値に対応する値である。算出処理の詳細については後述する。
【０１２１】
次に、ステップＳ１４４において、ステップＳ１４３で算出した視差最大値と、ステップＳ１４１で決定した適切視差量を用いて、仮想視点間隔（Ｇ）を算出する。
【０１２２】
最後に、ステップＳ１４５において、ステップＳ１４４で求めた仮想視点間隔（Ｇ）を適用して、仮想視点位置を決定する。
以下、これらの各処理の詳細について図面を参照して説明する。
【０１２３】
（Ｓ１４１：適切視差量の決定処理）
まず、ステップＳ１４１において実行する適切視差量の決定処理の一例について説明する。
適切視差量は、例えば融像視差量やクロストーク許容量を考慮して決定する。
融像視差量は、視差の設定されたＬＲ画像を観察した場合に立体画像として観察可能な限界の視差量に対応し、適切視差量は、この融像視差量の例えば半分の視差量として設定できる。
融像視差量は、ディスプレイのサイズや観察者とディスプレイ間の距離、両眼の間隔等によって算出される値である。一例として例えば表示装置に固有の値として設定し、この設定された融像視差量を利用して、この半分の値を適切視差量として決定することができる。
【０１２４】
例えば、観察者から表示装置（ディスプレイ）間の視距離を標準視距離（＝ディスプレイ高さの３倍）とし、ディスプレイの横方向の画サイズを１９２０ピクセル（画素）とし、観察者の両眼間隔を６５ｍｍ（大人の両眼間隔の平均）とした場合、
融像視差量＝１１４ピクセル（画素）、
適切視差量＝５７ピクセル（画素）、
として算出することができる。
【０１２５】
また、適切視差量は、例えばクロストーク許容量を考慮して決定することもできる。
クロストークは、左眼用画像が右眼に観察され、右眼用画像が左眼に観察されるといったエラーである。
あるクロストーク許容量を設定し、クロストークがクロストーク許容量以下になるような視差量を適切視差量として設定する。
【０１２６】
このように、適切視差量は、融像視差量、クロストーク許容量のいずれか、あるいはこれら両者を考慮して決定する。
【０１２７】
（Ｓ１４２：重み付き視差分布の算出）
次に、ステップＳ１４２において実行する重み付き視差分布の算出処理の詳細について説明する。
すなわち、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
重み情報とは、観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
【０１２８】
重み情報を利用して重み付き視差分布を算出する以下の複数の処理例（１）〜（３）について図１５〜図１７を参照して説明する。
（１）画像領域に応じた重みを設定した処理例（中心領域に大きな重みを設定）
（２）被写体に応じた重みを設定した処理例（人物領域にに大きな重みを設定）
（３）上記（１），（２）の両処理を合成した処理例
【０１２９】
まず、図１５を参照して、
（１）画像領域に応じた重みを設定した処理例（中心領域に大きな重みを設定）
この重み付き視差分布を算出する処理例について説明する。
図１５に示す入力画像１５１は、オリジナルの左眼用画像（Ｌ画像）または右眼用画像（Ｒ画像）である。視差情報１５２は、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を用いて取得する視差情報である。
図１５（Ａ）に示す視差ヒストグラムは、視差情報１５２の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。
図１５（Ａ）のヒストグラムは簡略化して示してあるが、画像に含まれる被写体として、木、人、背景があり、これらの視差（被写体距離に相当）に対応するデータが反映されたヒストグラムとなっている。
カメラに最も近い被写体が「木」、その次に「人」、その次に「背景」、このような視差（被写体距離）が設定されていることが分かる。
【０１３０】
本実施例では、この視差情報に対して、所定の重み情報を利用した補正を行う。
図１５に示す例は、画像領域に応じた重み、具体的には画像の中心領域を高い重みとして設定した重み情報に基づく補正を実行して図１５（Ｂ）に示す分布を持つ重み付き視差分布（視差ヒストグラム）を生成する。
【０１３１】
画像領域応じた重みを設定した重み情報としては、例えば図１５に示す重み情報Ａ１５３が利用される。
重み情報Ａ１５３は、図に示すように、画像領域に応じた重みを輝度によって示した画像である。
輝度の高い中心領域が重みが高く、輝度の低い周辺領域が重みが低いことを示している。
視差情報１５２と、この重み情報Ａ１５３を対応画素単位で乗算することで、図１５（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
【０１３２】
図１５（Ｂ）に示すように、「人」や「木」は画像の中心領域に存在するため、頻度の値がアップし、「背景」は周囲領域に多く存在するため、頻度の値が低下している。このように画像処理装置は、例えば画像領域に応じた重みを設定した重み付き視差情報を生成する。
【０１３３】
次に、図１６を参照して、
（２）被写体に応じた重みを設定した処理例（人物領域にに大きな重みを設定）
この重み付き視差分布を算出する処理例について説明する。
図１６に示す入力画像１５１は、オリジナルの左眼用画像（Ｌ画像）または右眼用画像（Ｒ画像）である。視差情報１５２は、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を用いて取得する視差情報である。
図１６（Ａ）に示す視差ヒストグラムは、図１５と同様の視差情報１５２の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。
【０１３４】
本実施例では、この視差情報に対して被写体に応じた重み、具体的には例えば人領域を高い重みとして設定した重み情報に基づく補正を実行して図１６（Ｂ）に示す分布を持つ重み付き視差分布（視差ヒストグラム）を生成する。
【０１３５】
被写体領域応じた重みを設定した重み情報としては、例えば図１６に示す重み情報Ｂ１５４が利用される。
重み情報Ｂ１５４は、図に示すように、被写体領域に応じた重みを輝度によって示した画像である。
本例では、被写体＝人の領域の重みが高く、被写体≠人の領域の重みが低いことを示している。
視差情報１５２と、この重み情報Ｂ１５４を対応画素単位で乗算することで、図１６（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
【０１３６】
図１６（Ｂ）に示すように、「人」の頻度の値がアップし、「木」、「背景」は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。
【０１３７】
図１７は、図１５を参照して説明した画像領域対応の重み情報と、被写体対応の重み情報の両者を用いた処理例である。
【０１３８】
まず、画像領域対応の重み情報からなる重み情報Ａ１５３と、被写体対応の重み情報Ｂ１５４とを乗算して、２つの重み上方を合成した重み画像を生成した後、視差情報１５２との乗算（対応画素の乗算）を実行する。
この処理によって、図１７（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
図１７（Ｂ）に示すように、「人」の頻度の値がアップし、「木」、「背景」は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。
【０１３９】
図１５〜図１７を参照して複数の重み付き視差分布の算出処理例について説明した。
この重み付き視差分布の算出処理について説明する。
視差情報、重み情報、重み付き視差分布を以下のように示す。
Ｄ（ｘ，ｙ）：視差情報
Ｗ（ｘ，ｙ）：重み情報
Ｈ（ｄ）：重み付き視差分布
ただし、Ｄ（ｘ，ｙ）、Ｗ（ｘ，ｙ）は画像の画素位置（ｘ，ｙ）における視差と、重みの値を示している。
Ｈ（ｄ）のｄは視差の値、Ｈ（ｄ）はその視差ｄを持つ画素数を意味する。
この条件設定の下で、重み付き視差分布：Ｈ（ｄ）は、以下の算出式で求めることができる。
Ｈ（ｄ）＝Σｘ，ｙ｛Ｗ（ｘ，ｙ）・δ（ｄ−Ｄ（ｘ，ｙ））｝
ただし、
δ（ｘ）は、ｘ＝０のとき１、それ以外は０を返す関数である。
【０１４０】
本実施例において、画像処理装置は、図１４に示すフローチャートのステップＳ１４２において、上記式に従った算出処理により、重み付き視差分布を算出する。
【０１４１】
（ステップＳ１４３：視差最大値の算出）
次に、ステップＳ１４３において実行する視差最大値の算出処理の詳細について説明する。
この処理は、ステップＳ１４２で算出した重み付き視差分布情報を適用して、視差最大値を算出する処理であり、仮想視点画像に設定する視差の最大値を算出する処理である。
【０１４２】
視差最大値（Ｄａｂｓｍａｘ）の算出処理の詳細について説明する。
以下のように各パラメータを定義する。
Ｈ（ｄ）：重み付き視差分布（ステップＳ１４２での算出値）
Ｏ（ｄ）：視差累積分布（Ｈ（ｄ）から算出）
Ｓ：重み付き視差分布の総和（Ｈ（ｄ）から算出）
ｔｈ：最大視差算出処理に適用するしきい値（ユーザ入力値または既定値）
Ｄｍａｘ：視差最大値（ｔｈから算出）
Ｄｍｉｎ：視差最小値（ｔｈから算出）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（出力値）
【０１４３】
なお、
Ｏ（ｄ）＝Σｉ＝ｍｉｎ（Ｄ）〜ｄ｛Ｈ（ｉ）｝
となり、
Ｄｍｉｎ＝Ｏ−１（ｔｈ）
Ｄｍａｘ＝Ｏ−１（Ｓ−ｔｈ）
である。
【０１４４】
図１８（ａ）は、視差ｄと重み付き視差分布Ｈ（ｄ）の関係を示すデータの一例を示した図である。
図１８（ｂ）は、視差ｄと、視差累積分布Ｏ（ｄ）との関係データの中に、以下の各データの値の一例を示した図である。
重み付き視差分布の総和：Ｓ
しきい値：ｔｈ
視差最大値：Ｄｍａｘ
視差最小値：Ｄｍｉｎ
さらに、Ｓ−ｔｈ、
これらのデータ例を示している。
【０１４５】
出力する視差最大値（Ｄａｂｓｍａｘ）は、以下の式で算出する。
Ｄａｂｓｍａｘ＝ｍａｘ（ａｂｓ（Ｄｍａｘ），ａｂｓ（Ｄｍｉｎ））
ステップＳ１４３では、上記式に従って、視差最大値（Ｄａｂｓｍａｘ）を算出する。
【０１４６】
（ステップＳ１４４：仮想視点間隔を算出）
次に、ステップＳ１４４において実行する仮想視点間隔（Ｇ）の算出処理について説明する。
すなわち、ステップＳ１４３で算出した視差最大値と、ステップＳ１４１で決定した適切視差量を用いて、仮想視点間隔（Ｇ）を算出する処理である。
【０１４７】
仮想視点間隔（Ｇ）の算出処理について説明する。
各パラータを以下のように定義する。
Ｅ：左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差（ディスプレイ方式によって決定される値）
ＤＦ：融像視差量（表示装置に応じた値（既定値））
ＤＥ：隣接仮想視点間融像視差量（ＤＥ＝ＤＦ／Ｅ）
ＤＣ：隣接仮想視点間クロストーク許容量（表示装置に応じた値（既定値））
ＤＡ：適切視差量（ステップＳ１４１の算出値）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（ステップＳ１４３の算出値）
Ｇ：仮想視点間隔（出力値）
【０１４８】
なお、
ＤＥ＝ＤＦ／Ｅ
ＤＡ＝ｍｉｎ（ＤＣ，ＤＥ）
である。
このとき、仮想視点間隔（Ｇ）は以下の式によって算出する。
Ｇ＝Ｄａｂｓｍａｘ／ＤＡ
ステップＳ１４４では、上記式に従って、仮想視点間隔（Ｇ）を算出する。
【０１４９】
（ステップＳ１４５：仮想視点位置の決定）
次に、ステップＳ１４５において実行する仮想視点位置の決定処理について説明する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１５０】
ステップＳ１４４において算出した仮想視点間隔（Ｇ）の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、図９〜図１３を参照して説明したように、様々な設定がなされる。
【０１５１】
［３．（実施例３）画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例］
次に、本開示の画像処理装置の実行する処理の第３実施例として、上述した実施例１で説明した画像品質を考慮した仮想視点位置の決定処理と、実施例２として説明した適切視差量と画像重みを考慮した仮想視点位置の決定処理、これらを併せた処理例について説明する。
すなわち、
仮想視点画像の画像品質、
適切視差量、
画像重み、
これらをすべて考慮して仮想視点位置を決定する処理である。
【０１５２】
なお、この実施例３においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１５３】
図１９は、本実施例３における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
図１９のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。
【０１５４】
図１９に示すフローにおけるステップＳ１６１〜Ｓ１６３の処理は、実施例２において説明した図１４に示すフローのステップＳ１４１〜Ｓ１４３の処理と同じ処理である。
すなわち、ステップＳ１６１において、適切視差量を決定する。具体的には、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。
次に、ステップＳ１６２において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
この処理は、先に図１５〜図１７を参照して説明した処理である。
次に、ステップＳ１６３において、ステップＳ１６２で算出した重み付き視差分布情報を適用して、視差最大値を算出する。
これらの処理は、実施例２において説明した図１４に示すフローのステップＳ１４１〜Ｓ１４３の処理と同じ処理である。
【０１５５】
次のステップＳ１６４の処理は、実施例１において説明した図５のフローのステップＳ１２１の処理と同じ処理である。
すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図６〜図８を参照して説明した処理に対応する。
【０１５６】
次のステップＳ１６５では、
ステップＳ１６１で求めた適切視差量、
ステップＳ１６３で求めた視差最大値、
ステップＳ１６４で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
【０１５７】
この仮想視点間隔の算出処理について説明する。
パラメータを以下のように定義する。
Ｅ：左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差（ディスプレイ方式によって決定される値）
ＤＦ：融像視差量（表示装置に応じた値（既定値））
ＤＥ：隣接仮想視点間融像視差量（ＤＥ＝ＤＦ／Ｅ）
ＤＣ：隣接仮想視点間クロストーク許容量（表示装置に応じた値（既定値））
ＤＡ：適切視差量（ステップＳ１６１の算出値）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（ステップＳ１６３の算出値）
Ｇ：仮想視点間隔（出力値）
Ｑ：仮想視点画像品質評価値（ステップＳ１６４において算出された値）
Ｑ'：仮想視点間隔計算パラメータ（ユーザ入力）
【０１５８】
なお、
ＤＥ＝ＤＦ／Ｅ
ＤＡ＝ｍｉｎ（ＤＣ，ＤＥ）
である。
このとき、仮想視点間隔（Ｇ）は以下の式によって算出する。
Ｇ＝｛Ｄｍａｘ／ＤＡ｝・｛Ｑ／Ｑ'｝
ステップＳ１６５では、上記式に従って、仮想視点間隔（Ｇ）を算出する。
【０１５９】
最後のステップＳ１６６では、ステップＳ１６５において算出した仮想視点間隔（Ｇ）を適用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１６０】
ステップＳ１６５において算出した仮想視点間隔（Ｇ）の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、図９〜図１３を参照して説明したように、様々な設定がなされる。
【０１６１】
［４．（実施例４）非等間隔な仮想視点位置を決定する処理例］
次に、本開示の画像処理装置の実行する処理の第４実施例として、非等間隔な仮想視点位置を決定する処理例について説明する。
【０１６２】
なお、この実施例４においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１６３】
図２０は、本実施例４における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
図２０のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。
ステップＳ１８１〜Ｓ１８５の処理は、前述の実施例３において説明した図１９に示すフローのステップＳ１６１〜１６５の処理と同様の処理である。
すなわち、ステップＳ１８５では、
ステップＳ１８１で求めた適切視差量、
ステップＳ１８３で求めた視差最大値、
ステップＳ１８４で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
【０１６４】
次に、ステップＳ１８６において、ステップＳ１８５で求めた仮想視点間隔（Ｇ）を非線形にマッピングする。この処理の具体例具について説明する。
パラメータを以下のように定義する。
ｉ：視点番号
Ｇ：仮想視点間隔
Ｇ（ｉ）：マッピング後の仮想視点間隔
【０１６５】
視点番号（ｉ）に応じて仮想視点間隔を非線形にマッピングする関数は、例えば図２１（ａ）に示すような関数であり、予め画像処理装置内のメモリに格納し、これを適用する。
【０１６６】
次に、ステップＳ１８７において、ステップＳ１８６で決定した仮想視点間隔Ｇ（ｉ）を利用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１６７】
ステップＳ１８６において算出した仮想視点間隔（Ｇ（ｉ））の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、様々な設定がなされる。
ただし、図９〜図１３を参照して説明した処理では、すべての仮想視点間隔は同じであるが、本例では、例えば図２１（ｂ）に示すように、各仮想視点間隔は異なる設定となる。すなわち、Ｇ（ｉ）によって決定された間隔に設定される。
図２１（ｂ）に示す例は、
Ｎ＝９、Ｂｆｉｘ＝４、Ｐｆｉｘ＝０．０の場合の例を示している。
【０１６８】
このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する。
【０１６９】
［５．（実施例５）シフト処理を用いて仮想視点画像を生成する処理例］
次に、本開示の画像処理装置の第５実施例として、シフト処理を用いて仮想視点画像を生成する処理例について説明する。
【０１７０】
本実施例における画像処理装置の処理シーケンスを図２２に示すフローチャートを参照して説明する。
画像処理装置は、ステップＳ２０１において、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。
すなわち、３次元（３Ｄ）画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な３次元画像が観察される標準ＬＲ画像を利用して、視差情報を取得する。
【０１７１】
次に、ステップＳ２０２において、適切視差量を決定する。
この処理は、先に実施例２として説明した図１４に示すフローチャートのステップＳ１４１の処理と同様の処理である。例えば融像視差量やクロストーク許容量を考慮して決定する。
【０１７２】
次にステップＳ２０３において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
この処理は、先に実施例２として説明した図１４に示すフローチャートのステップＳ１４２の処理と同様の処理である。
重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
先に図１５〜図１７を参照して説明した処理と同様の処理によって重み付き視差分布を算出する。
【０１７３】
次にステップＳ２０４において、平行移動量（シフト量）の決定処理を実行する。
この平行移動量は視差分布を視差が大きくなる方向、あるいは視差が小さくなる方向に移動するための視差分布の平行移動量である。
この視差分布の平行移動量の算出処理について説明する。
【０１７４】
パラメータを以下のように定義する。
Ｈ（ｄ）：重み付き視差分布（ステップＳ２０３の取得値）
Ｏ（ｄ）：視差累積分布（Ｈ（ｄ）から算出）
Ｓ：視差分布総和（Ｈ（ｄ）から算出）
Ｄａｖｇ：視差平均値
Ｄｃｅｎｔｅｒ：視差中央値
Ｄｍａｘ：視差最大値
Ｄｍｉｎ：視差最小値
Ｓｈｉｆｔ
【０１７５】
なお、
Ｏ（ｄ）＝Σｉ＝ｍｉｎ（Ｄ）〜ｄ｛Ｈ（ｉ）｝
となり、
Ｄｍｉｎ＝Ｏ−１（ｔｈ）
Ｄｍａｘ＝Ｏ−１（Ｓ−ｔｈ）
Ｄｃｅｎｔｅｒ＝（Ｄｍａｘ−Ｄｍｉｎ）／２
Ｄａｖｇ＝ａｖｅｒａｇｅ（Ｈ（ｄ））
である。
【０１７６】
図２３（ａ）は、視差ｄと重み付き視差分布Ｈ（ｄ）の関係を示すデータの一例を示した図である。
図２３（ｂ）は、視差ｄと、視差累積分布Ｏ（ｄ）との関係データの中に、以下の各データの値の一例を示した図である。
重み付き視差分布の総和：Ｓ
しきい値：ｔｈ
視差最大値：Ｄｍａｘ
視差最小値：Ｄｍｉｎ
さらに、Ｓ−ｔｈ、
これらのデータ例を示している。
【０１７７】
出力する平行移動量（Ｓｈｉｆｔ）は、以下の式で算出する。
Ｓｈｉｆｔ＝−Ｄａｖｇ
または、
Ｓｈｉｆｔ＝−Ｄｃｅｎｔｅｒ
ステップＳ２０４では、上記式に従って、重み付き視差分布の平行移動量（Ｓｈｉｆｔ）を算出する。
【０１７８】
次のステップＳ２０５では、仮想視点位置の決定処理を行う。
この処理の詳細シーケンスを図２４のフローチャートを参照して説明する。
まず、ステップＳ２２１において、ステップＳ２０４で求めた平行移動量に基づいて重み付き視差分布の補正、すなわち、平行移動を行う。
具体的には、図２５に示すように、
（ａ）重み付き視差分布データをステップＳ２０３で求めた平行移動量に基づいて平行移動して、
（ｂ）補正重み付き視差分布データを生成する。
【０１７９】
この視差分布補正処理を式で示すと以下のようになる。
以下のパラメータを定義する。
Ｓｈｉｆｔ：平行移動量（ステップＳ２０４で算出）
Ｈ（ｄ）：視差分布（重み付き視差分布）
Ｈ（ｄ）'：補正視差分布（補正重み付き視差分布）
【０１８０】
この時、補正重み付き視差分布［Ｈ（ｄ）'］は以下の式に従って算出される。
Ｈ（ｄ）'＝Ｈ（ｄ−Ｓｈｉｆｔ）
【０１８１】
次のステップＳ２２２では、ステップＳ２０３で算出した重み付き視差分布情報を適用して、視差最大値を算出する。この処理は、実施例２において説明した図１４に示すフローのステップＳ１４３の処理と同じ処理である。
【０１８２】
次のステップＳ２２３の処理は、実施例１において説明した図５のフローのステップＳ１２１の処理と同じ処理である。
すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図６〜図８を参照して説明した処理に対応する。
【０１８３】
次のステップＳ２２４では、
ステップＳ２０２で求めた適切視差量、
ステップＳ２２２で求めた視差最大値、
ステップＳ２２３で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
この処理は、先に実施例３として説明した図１９に示すフローのステップＳ１６５の処理と同様の処理である。
【０１８４】
最後のステップＳ２２５では、ステップＳ２２４において算出した仮想視点間隔（Ｇ）を適用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１８５】
この図２４に示すフローのステップＳ２２１〜Ｓ２２５に従って、図２２のフローのステップＳ２０５の仮想視点位置の決定処理が行われる。
次に、図２４のフローに示すステップＳ２０５において、仮想視点画像の生成処理を実行する。
【０１８６】
この処理は、先に実施例１として説明した図１に示すフローのステップＳ１０３の処理と同様の処理である。
ステップＳ２０５では、ステップＳ２０４において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップＳ２０４では、例えば予め設定した数（例えば１０）の仮想視点を決定し、ステップＳ１０５では、これらの各仮想視点に対応する仮想視点画像を生成する。
仮想視点画像は、先に図２を参照して説明したように、入力した標準ＬＲ画像を利用して生成する。すなわち、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を利用して生成する。
【０１８７】
次に、ステップＳ２０７において、仮想視点間隔（Ｇ）に応じて平行移動量を補正する。
この処理について、図２６を参照して説明する。
パラメータを以下のように定義する。
Ｓｈｉｆｔ：平行移動量（ステップＳ２０４で決定した値）
Ｓｈｉｆｔ'：補正後の平行移動量
Ｇ：仮想視点間隔（ステップＳ２０５（ステップＳ２２４）で決定したＧ）
上記のパラメータの設定の下、補正後の平行移動量Ｓｈｉｆｔ'は以下の式に従って算出する。
−Ｓｈｉｆｔ'＝Ｓｈｉｆｔ・Ｇ
【０１８８】
図２６には、
（ａ）入力ＬＲ画像間の視差分布
（ｂ）隣接仮想視点間の視差分布（実線）
（ｃ）補正後の平行移動量を加えた後の視差分布
これらを示している。
【０１８９】
（ｂ）に示す隣接仮想視点間の視差分布は、仮想視点間隔Ｇに依存して変化する。すなわち、
ＨＥ（ｄ）＝Ｈ（ｄ・Ｇ）
であり、
（ｃ）に示す補正後の視差分布ＨＥ（ｄ）'は以下の式によって表現される。
ＨＥ（ｄ）'＝Ｈ（ｄ・Ｇ＋Ｓｈｉｆｔ'）
【０１９０】
次に、ステップＳ２０８において、仮想視点画像の平行移動画像を生成する。
この処理について、図２７を参照して説明する。
パラメータを以下のように定義する。
Ｓｈｉｆｔ'：補正後の平行移動量（ステップＳ２０７で決定した値）
Ｌ（ｉ，ｘ，ｙ）：平行移動前のｉ番目の仮想視点画像
Ｌ（ｉ，ｘ，ｙ）'：平行移動後のｉ番目の仮想視点画像
Ｎｆｉｘｓｈｉｆｔ：平行移動しない基準の仮想視点画像の番号（ユーザ入力）
Ｓｈｉｆｔ'（ｉ）：ｉ番目の仮想視点画像に加える平行移動量
なお、Ｌ（ｉ，ｘ，ｙ）、Ｌ（ｉ，ｘ，ｙ）'の（ｘ，ｙ）は画像を構成する画素位置を示し、各画像の画素値を意味する。
【０１９１】
上記パラメータに基づいて、
ｉ番目の仮想視点画像に加える平行移動量［Ｓｈｉｆｔ'（ｉ）］は、以下の式によって算出する。
Ｓｈｉｆｔ'（ｉ）＝Ｓｈｉｆｔ'・（ｉ−Ｎｆｉｘｓｈｉｆｔ））
さらに、平行移動後のｉ番目の仮想視点画像［Ｌ（ｉ，ｘ，ｙ）'］は以下の式によって算出する。
Ｌ（ｉ，ｘ，ｙ）'＝Ｌ（ｉ，ｘ＋Ｓｈｉｆｔ'（ｉ），ｙ）
【０１９２】
なお、上記式は、画像の画素位置がｘ方向に移動（水平シフト）させて平行移動後の仮想視点画像が生成されることを意味する。
図２７に示す例は、
Ｎ＝９
Ｎｆｉｘｓｈｉｆｔ＝４
Ｓｈｉｆｔ'＝１．５
上記設定において、
各仮想視点画像に対する平行移動（シフト）処理の実行例を示した図である。
【０１９３】
このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。
【０１９４】
なお、上述した本実施例の説明において、入力ＬＲ画像から得られる視差分布に基づいて、重み付き視差分布を生成し、生成した重み付き視差分布データに対して処理を行う構成例として説明したが、重み付き視差分布を生成することなく、入力ＬＲ画像から得られる視差分布データをそのまま適用して処理を行う構成としてもよい。
【０１９５】
［６．画像処理装置の構成例について］
次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図２８を参照して説明する。
【０１９６】
図２８に示す画像処理装置３００は、左眼用画像（Ｌ画像）入力部３０１、右眼用画像（Ｒ画像）入力部３０２、視差情報生成部３０３、重み情報生成部３０４、仮想視点画像生成部３０５、表示制御部３０６を有し、画像処理装置３００において生成した画像が表示部３１０に出力される。
なお、図２８に示す構成では、表示部３１０を画像処理装置３００の外部構成として示しているが、画像処理装置３００内に表示部３１０を有する構成としてもよい。
【０１９７】
なお、図２８に示す構成は、画像処理装置３００の主要構成を示すものであり、画像処理装置３００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
【０１９８】
左眼用画像（Ｌ画像）入力部３０１と、右眼用画像（Ｒ画像）入力部３０２は、予め生成された３次元（３Ｄ）画像表示用の左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を入力する。
【０１９９】
視差情報生成部３０３は、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【０２００】
前述したように、視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【０２０１】
重み情報生成部３０４は、Ｌ画像またはＲ画像のいずれかを利用して、画像領域単位の画像重みを示す重み情報を生成する。例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
具体的には、先に図１５〜図１７を参照して説明したように、
（１）画像領域に応じた重みを設定した重み情報（中心領域に大きな重みを設定）
（２）被写体に応じた重みを設定した重み情報（人物領域にに大きな重みを設定）
（３）上記（１），（２）の両処理を合成した重み情報
例えば、このような重み情報である。
【０２０２】
仮想視点画像生成部３０５は、
左眼用画像（Ｌ画像）入力部３０１からＬ画像、
右眼用画像（Ｒ画像）入力部３０２からＲ画像、
視差情報生成部３０３から視差情報、
重み情報生成部３０４から重み情報、
これらの各情報を入力して、仮想視点画像を生成する。
【０２０３】
仮想視点画像生成部３０５は、前述の実施例１〜５のいずれかの手法に従って、仮想視点間隔の決定処理や、仮想視点位置の決定処理を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【０２０４】
具体的には、例えば以下のいずれかの処理に従った仮想視点画像の生成処理を実行する。
（１）画像品質を考慮して決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例１）
（２）適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例２）
（３）画像品質と適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例３）
（４）非等間隔な仮想視点位置に対応する仮想視点画像の生成処理（実施例４）
（５）シフト処理を用いた仮想視点画像の生成処理（実施例５）
【０２０５】
仮想視点画像生成部３０５は、これらの処理に基づいて、例えば異なるＮ視点の多視点画像を生成して、表示制御部３０６に出力する。
【０２０６】
表示制御部３０６は、仮想視点画像生成部３０５の生成した多視点画像に基づいて、表示部３１０に応じた表示情報を生成して表示部３１０に出力する。
前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【０２０７】
表示部３１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部３０６は、例えば先に図３を参照して説明したように、仮想視点画像生成部３０５の生成したＮ視点の画像をインターリーブした画像を生成して表示部３１０に出力する。
なお、表示制御部３０６は、表示部３１０の表示構成に応じた表示情報を生成する。
【０２０８】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【０２０９】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１０】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。
（２）前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）に記載の画像処理装置。
（３）前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する前記（２）に記載の画像処理装置。
【０２１１】
（４）前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（４）いずれかに記載の画像処理装置。
【０２１２】
（６）前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２１３】
（８）前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２１４】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２１５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２１７】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づいて多視点画像を生成する構成が実現される。
具体的には、例えば、３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
これらの処理によって、各観察位置に応じた最適な仮想視点画像、すなわち、快適な視差範囲の高品質な仮想視点画像を生成することができる。
【符号の説明】
【０２１８】
１０１ 左眼用画像（Ｌ画像）
１０２ 右眼用画像（Ｒ画像）
１０３ 仮想視点画像
１２１ 左眼用画像（Ｌ画像）
１２２ 右眼用画像（Ｒ画像）
１２３ 仮想視点画像
１５１ 入力画像
１５２ 視差情報
１５３ 重み情報
１５４ 重み情報
３００ 画像処理装置
３０１ 左眼用画像（Ｌ画像）入力部
３０２ 右眼用画像（Ｒ画像）入力部
３０３ 視差情報生成部
３０４ 重み情報生成部
３０５ 仮想視点画像生成部
３０６ 表示制御部
３１０ 表示部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼には右眼用の画像が、右眼には左眼用の画像が入ってしまう逆視や、左眼用画像と右眼用画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左眼用画像と右眼用画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左眼用画像と右眼用画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左眼用画像と右眼用画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左眼用画像と右眼用画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左眼用画像と右眼用画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じて、適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左眼用画像と右眼用画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理は、生成する仮想視点画像の品質が考慮されておらず、左眼用画像と右眼用画像の中心を基準に仮想視点位置を決定する構成としている。従って、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１０】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１１】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【００１２】
また、特許文献２（特開２００６−１１５１９８号公報）は、入力するオリジナルの左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の３Ｄ画像から最大視差量を検出し、クロストーク量や融像視差範囲に最大視差を収めるように、仮想視点位置を決定する手法を提案している。すなわち、入力ＬＲ画像の持つ最大視差量に応じて生成する仮想視点画像の視点間隔を決定する手法を開示している。
【００１３】
しかし、オリジナルＬＲ画像からの最大視差の検出時に、最大視差を持つ画像領域の画像や、画像領域の注目のしやすさを考慮していない。したがって、例えば以下のような問題点が発生する。
・最大視差検出時に、最大視差を持つ画像領域の面積を考慮していないため、面積の小さい物体が最大視差をもつ場合は、視覚的にほとんど影響がない最大視差画像領域の存在に応じて、不必要に仮想視点間隔を狭めてしまう可能性がある。
・また、最大視差検出時に最大視差を持つ画像領域の注目のしやすさを考慮していないため、視覚的に注目されない画像領域が最大視差を持つ場合、視覚的にほとんど影響のない画像領域の最大視差情報に応じて、不必要に仮想視点間隔を狭めてしまう場合や、広めてしまう場合がある。
【００１４】
また、特許文献３（特開平９−１２１３７０号公報）は、入力するオリジナルの左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を用いて、これらの画像を平行移動（シフト）することで、視差を融像範囲に収める手法を開示している。
【００１５】
この特許文献３に開示されたシフト処理による仮想視点画像の生成を行うことで、視差分布のオフセットの調整、すなわち、奥行きが多きすぎる画像を全体として手前に移動させるといったオフセット調整が可能となる。しかし、視差分布の広がりの調整は行うことができないため、オフセット調整によって、全体が手前に寄り過ぎる、あるいは奥に行き過ぎるといった不具合が発生する可能性がある。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００６−１１５１９８号公報
【特許文献３】特開平９−１２１３７０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、例えば、画像品質や適切な視差量、あるいは画像の注目し易い領域等を考慮して仮想視点位置を決定して多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供する。
【課題を解決するための手段】
【００１８】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置にある。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。
【００２７】
さらに、本開示の第２の側面は、
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）と右眼用の画像信号である右眼用画像（Ｒ画像）を撮影する撮像部と、
前記撮像部から、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
前記撮像部から、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置にある。
【００２８】
さらに、本開示の第３の側面は、
画像処理装置において、多視点画像を生成する画像処理方法であり、
左眼用画像入力部が、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力ステップと、
右眼用画像入力部が、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力ステップと、
視差情報生成部が、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成ステップと、
仮想視点画像生成部が、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法にある。
【００２９】
さらに、本開示の第４側面は、
画像処理装置において、多視点画像を生成させるプログラムであり、
左眼用画像入力部に、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力させる左眼用画像入力ステップと、
右眼用画像入力部に、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力させる右眼用画像入力ステップと、
視差情報生成部に、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成させる視差情報生成ステップと、
仮想視点画像生成部に、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力させて、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラムにある。
【００３０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づいて多視点画像を生成する構成が実現される。
具体的には、例えば、３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
これらの処理によって、各観察位置に応じた最適な仮想視点画像、すなわち、快適な視差範囲の高品質な仮想視点画像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図２】仮想視点画像の生成処理の一例について説明する図である。
【図３】多視点画像の表示処理の一例について説明する図である。
【図４】多視点画像の表示処理の一例について説明する図である。
【図５】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図６】仮想視点画像の画像品質について説明する図である。
【図７】仮想視点画像の画像品質の算出処理の一例について説明する図である。
【図８】仮想視点画像の画像品質の算出処理の一例について説明する図である。
【図９】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１０】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１１】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１２】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１３】Ｎ視点の仮想視点画像の各々の視点位置に対応する仮想視点位置の決定処理の一例について説明する図である。
【図１４】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図１５】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１６】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１７】重み情報を適用した重み付き視差分布の生成処理例について説明する図である。
【図１８】視差ｄと重み付き視差分布Ｈ（ｄ）との関係データ、および視差ｄと視差累積分布Ｏ（ｄ）との関係データについて説明する図である。
【図１９】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２０】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２１】非等間隔な仮想視点間隔を持つ仮想視点位置の決定処理例について説明する図である。
【図２２】シフト処理を用いて仮想視点画像を生成する処理例の処理シーケンスを説明するフローチャートを示す図である。
【図２３】視差ｄと重み付き視差分布Ｈ（ｄ）との関係データ、および視差ｄと視差累積分布Ｏ（ｄ）との関係データについて説明する図である。
【図２４】画像処理装置の実行する仮想視点位置決定処理シーケンスの一処理例について説明するフローチャートを示す図である。
【図２５】重み付き視差分布と平行移動の補正を行った補正重み付き視差分布の一例について説明する図である。
【図２６】視差分布の平行移動処理例について説明する図である。
【図２７】画像の平行移動処理を仮想視点画像生成処理例について説明する図である。
【図２８】画像処理装置の一構成例について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．（実施例１）画像品質を考慮した仮想視点位置の決定処理を実行する実施例
１−１．画像処理装置の実行する処理の全体処理シーケンスについて
１−２．実施例１における仮想視点位置の決定処理について
２．（実施例２）適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例
３．（実施例３）画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例
４．（実施例４）非等間隔な仮想視点位置を決定する処理例
５．（実施例５）シフト処理を用いて仮想視点画像を生成する処理例
６．画像処理装置の構成例について
７．本開示の構成のまとめ
【００３５】
［１．（実施例１）画像品質を考慮した仮想視点位置の決定処理を実行する実施例］
まず、本開示の画像処理装置の第１実施例として、画像品質を考慮した仮想視点位置の決定処理を実行する実施例について説明する。
【００３６】
［１−１．画像処理装置の実行する処理の全体処理シーケンスについて］
図１は、本実施例の画像処理装置の実行する処理の全体処理シーケンスを説明するフローチャートである。
まず、図１のフローに従って、本実施例の画像処理装置の実行する処理の全体処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。
【００３７】
画像処理装置は、ステップＳ１０１において、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。
すなわち、３次元（３Ｄ）画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な３次元画像が観察される標準ＬＲ画像を利用して、視差情報を取得する。
【００３８】
視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００３９】
ステップＳ１０２では、ステップＳ１０１において取得した視差情報に基づいて、生成すべき多視点画像の仮想視点位置を決定する。
標準ＬＲ画像には、大きな視差から小さな視差まで、ある範囲の視差を持つ。ステップＳ１０２では、この視差分布情報等に基づいて、生成すべき多視点画像の仮想視点位置を決定する。
【００４０】
ステップＳ１０３では、ステップＳ１０２において決定した仮想視点位置に対応する仮想視点画像を含む多視点画像を生成する。
仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。
【００４１】
最後に、ステップＳ１０４において、ステップＳ１０３で生成した仮想視点画像を利用した画像表示処理を実行する。
【００４２】
前述したように、入力ＬＲ画像は、１つの標準的な観察位置において観察した場合に最適な３次元画像として観察できるが、観察位置がこの標準位置からずれた場合に、この標準ＬＲ画像を観察すると逆視やクロストークが発生する。
しかし、本処理に従って生成した多視点画像から、観察位置に応じて選択された２つのＬＲ画像をそれぞれ観察者の左眼と右眼に観察させることで、逆視やクロストークを抑制することが可能となる。
ステップＳ１０４ではこのような画像表示を実行する。
【００４３】
次に、図１に示すフローチャートの各ステップの処理の詳細について説明する。
（ステップＳ１０１：視差情報の取得）
まず、ステップＳ１０１における視差情報の取得処理について説明する。
ステップＳ１０１では、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４４】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００４５】
ブロックマッチングベースの視差情報取得処理について簡単に説明する。
入力したオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）について、例えばＬ画像の画素領域（ブロック）を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００４６】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像）がある。デプスマップは、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
ステップＳ１０１では、例えば視差情報として、このようなデプスマップを生成する。
【００４７】
（ステップＳ１０２：仮想視点位置の決定）
ステップＳ１０２の仮想視点位置の決定処理については、後段で詳細に説明する。
【００４８】
（ステップＳ１０３：仮想視点画像の生成）
次に、ステップＳ１０３における仮想視点画像の生成処理について説明する。
ステップＳ１０３では、ステップＳ１０２において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップＳ１０２では、例えば予め設定した数（例えば１０）の仮想視点を決定し、ステップＳ１０３では、これらの各仮想視点に対応する仮想視点画像を生成する。
【００４９】
仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図２を参照して説明する。
【００５０】
図２には、画像処理装置に入力するオリジナルの左眼用画像（Ｌ画像）１０１と右眼用画像（Ｒ画像）１０２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１０３を示している。
左眼用画像（Ｌ画像）１０１は標準位置における左眼視点位置から観察した画像であり、右眼用画像（Ｒ画像）１０２は標準位置における右眼視点位置から観察した画像である。
左眼用画像（Ｌ画像）１０１の視点位置を０．０、
右眼用画像（Ｒ画像）１０２の視点位置を１．０とする。
【００５１】
図２は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１０３として生成する場合の処理例を示している。
左眼用画像（Ｌ画像）１０１と右眼用画像（Ｒ画像）１０２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図２に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００５２】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００５３】
（Ｓ１０４：画像表示処理）
次に、ステップＳ１０４の処理、すなわちステップＳ１０３において生成した仮想視点画像を利用した画像表示処理の詳細について図３を参照して説明する。
【００５４】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御している。すなわち、左眼用画像と右眼用画像を生成して左眼用画像は左眼でのみ観察させ、右眼用画像は右眼でのみ観察させる構成としている。
このような技術を用いることで、左眼と右眼に入る画像が混ざるクロストークを抑制し、メガネを装着しなくても立体視が可能となる。
【００５５】
ステップＳ１０３における仮想視点画像の生成によって、入力ＬＲ画像を含めた複数（例えばＮ個）の視点からなる多視点画像が生成される。
これらＮ個の画像が裸眼３Ｄ表示装置に表示され、観察者の観察位置に応じて、異なる組み合わせの視点画像をそれぞれ観察者の左眼と右眼に知覚させることで、観察位置に応じた最適な３Ｄ画像表示を実行させる。
【００５６】
図３は、入力ＬＲ画像を含めた多視点画像の数Ｎ＝４として、第１視点〜第４視点画像を利用した表示処理例を説明している。
図３（ａ）多視点画像が、入力ＬＲ画像を含めた多視点画像を示している。
まず、この４つの視点画像をインターリーブした画像を生成する。
すなわち、図３（ｂ）インターリーブ画像である。
例えば、第１視点画像〜第４視点画像を水平方向に順番に並べて、インターリーブ画像を生成する。
このインターリーブ画像に対して、観察方向に応じたバリアを設定し、ある方向から観察した場合に、特定の視点画像のみが観察される設定とする。
図３（ｃ）観察画像例は、ある観察位置において、観察者の左眼あるいは右眼のいずれかにおいて観察される画像の例を示している。
この例では、第２視点画像が観察されるようなバリア設定となっている。
【００５７】
３次元画像として知覚させるためには、観察者の左眼と右眼に異なる視点位置からの観察画像が知覚されることが必要である。
具体的には、例えば図４に示すように、
（ｃ１）左眼用視点画像として第２視点画像、
（ｃ２）右眼用視点画像として第４視点画像、
このような設定である。
このように観察者の観察位置に応じてバリアと観察画像が異なる設定となるような表示処理を行うのがバリア方式を用いた裸眼３Ｄ表示装置である。
レンチキュラー方式においても観察位置に応じて、それざれ観察者の左眼と右眼に異なる視点画像のペアが観察される。
【００５８】
ステップＳ１０４における画像表示処理は、このように観察者の観察位置に応じた異なる視点画像のペアを観察させるような３Ｄ画像表示処理を実行する。
【００５９】
［１−２．実施例１における仮想視点位置の決定処理について］
次に、図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理の詳細について説明する。
【００６０】
図５は、図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理の詳細シーケンスを説明するフローチャートである。
まず、このフローチャートに従って仮想視点位置の決定処理の一連の処理について説明する。
まず、ステップＳ１２１において、仮想視点画像の品質を推定する。具体的には、画像品質評価値（Ｑ）を算出する。
次に、ステップＳ１２２において、ステップＳ１２１で取得した仮想視点画像の画像品質（画像品質評価値（Ｑ））に応じて仮想視点間隔（Ｇ）を決定する。
最後に、ステップＳ１２３において、ステップＳ１２２で決定した仮想視点間隔（Ｇ）に応じて仮想視点位置を決定する。
以下、これらの各処理の詳細について図面を参照して説明する。
【００６１】
（Ｓ１２１：画像品質の推定処理）
まず、ステップＳ１２１において実行する仮想視点画像の品質（画像品質評価値（Ｑ））の算出処理について図６他を参照して説明する。
仮想視点画像は、先に図２を参照して説明したように、入力ＬＲ画像を利用した線形補間処理等によって実行される。
すなわち、利用できる画像は入力した左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）の２つの画像のみである。
【００６２】
このような設定で、仮想視点画像を生成する場合、生成する仮想視点画像の画像品質は、以下の傾向を持つ。
（ａ）「視差検出に失敗した場合」や、「視差検出の精度が低い場合」は、生成される仮想視点映像の品質は低くなる。
（ｂ）「複雑な画像」や「オクルージョン発生が多い画像」の場合は、生成される仮想視点映像の品質は低くなる。
【００６３】
図６は、先に説明した図２と同様、画像処理装置に入力するオリジナルの左眼用画像（Ｌ画像）１２１と右眼用画像（Ｒ画像）１２２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１２３を示している。
左眼用画像（Ｌ画像）１２１の視点位置を０．０、
右眼用画像（Ｒ画像）１２２の視点位置を１．０とする。
図６は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１２３として生成する場合の処理例を示している。
図６（ａ）は複雑でない画像に対する処理例、
図６（ｂ）は複雑な画像に対する処理例、
を示している。
一般的に画像の複雑さが増加すると仮想視点画像の品質は低下する。
【００６４】
仮想視点画像の品質の推定方法としては、例えば以下のような手法を適用する。
（Ａ）視差情報の信頼度に応じた仮想視点画像品質の推定処理
（Ｂ）入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理
（Ｃ）実際に用いる仮想視点画像を生成し、生成した画像に基づく品質推定処理
例えば上記の（Ａ）〜（Ｃ）のいずれかの処理、または、上記処理（Ａ）〜（Ｃ）の組み合わせによって仮想視点画像の品質評価値Ｑを算出する。
【００６５】
これらの処理の具体例について説明する。
（Ａ）視差情報の信頼度に応じた仮想視点画像品質の推定処理
まず、視差情報の信頼度に応じた仮想視点画像品質の推定処理について説明する。
この処理は、図１のフローに示すステップＳ１０１で取得した視差情報（例えばデプスマップ）の信頼度を計算し、この視差情報信頼度を画像品質と定義する処理である。
前述したように、視差情報は、入力ＬＲ画像に基づいて生成され、例えばブロックマッチング等の処理によって生成されるデータである。この処理においてエラーが発生する場合があり、この視差情報が間違っている場合には、生成される仮想視点画像の品質は低下する。
このように、仮想視点画像の画像品質は、視差情報の精度に密接に関連する。したがって視差情報の精度を算出しこれを仮想視点画像の画像品質と定義することができる。
【００６６】
具体的な計算手法の一例について、図７を参照して説明する。
図７には、入力ＬＲ画像から取得した視差値の２次微分を積分して、この積分値を視差情報の信頼度と定義し、積分値が小さいほど、視差情報の信頼度が高いと判定する処理例を示している。
【００６７】
入力ＬＲ画像から求められる視差は、被写体距離に応じた分布を示すが、例えばある距離の被写体が存在している場合、この１つの被写体に対応する視差の値は、視差情報が正しく算出されている場合は一定となる。しかし正しく算出されていない場合は、様々な値、すなわち視差値に暴れが発生する。
具体的には、視差が正しく求まっている場合は，図７（Ａ）に示すように、ノイズなどの影響が少なく、視差値が滑らかになる傾向があり、視差値の２次微分の積分値が小さくなる。このような場合、視差情報信頼度が高いと判定し、この結果として、仮想視点画像の画像品質も高い（＝仮想視点画像の品質評価値Ｑは高い）と判定する。
【００６８】
一方、視差が正しく求まっていない場合は，図７（Ｂ）に示すように、ノイズなどの影響等により、視差値が様々な値に分散して暴れる傾向があり、視差値の２次微分の積分値が大きくなる。このような場合、視差情報信頼度が低いと判定し、この結果として、仮想視点画像の画像品質も低い（＝仮想視点画像の品質評価値Ｑは低い）と判定する。
【００６９】
なお、視差情報の信頼度判定処理としてはこのような処理に限らず、その他の方法、例えば、視差情報からなる距離画像（デプスマップ）と原画像との相関を算出してその相関値を信頼度として算出する手法などがあり、これらの手法を適用してもよい。
【００７０】
（Ｂ）入力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理
次に、力画像に基づいて生成した仮想視点画像と入力画像との比較結果に基づく仮想視点画像品質の推定処理の具体例について、図８を参照して説明する。
【００７１】
（Ｂ）の処理は、例えば、視点位置＝０．０の入力左眼画像（Ｌ画像）を利用して、視点位置＝１．０のＲ画像に対応する仮想視点画像Ｒ'を作成し、作成した仮想視点画像Ｒ'と、入力画像である入力右眼画像（Ｒ画像）を比較して、その差分に応じて、仮想視点画像の品質を決定する処理である。
すなわち、差分が大きい場合、仮想視点画像の品質が低く、差分が小さい場合は、仮想視点画像の品質が高いと判定する。
なお、同様に、視点位置＝１．０の入力右眼画像（Ｒ画像）を利用して、視点位置＝０．０のＬ画像に対応する仮想視点画像Ｌ'を作成し、作成した仮想視点画像Ｌ'と、入力画像である入力左眼画像（Ｌ画像）を比較して、その差分に応じて、仮想視点画像の品質を決定する。
【００７２】
図８には、以下の処理例を示している。
ステップ１：視点位置＝０．０の入力左眼画像（Ｌ画像）と、視差情報（デプスマップ）を利用して、視点位置＝１．０のＲ画像に対応する仮想視点画像Ｒ'を作成する処理。
ステップ２：作成した仮想視点画像Ｒ'と、入力画像である入力右眼画像（Ｒ画像）を比較する処理。
このステップ２の比較処理は、例えば、２つの画像の差分総和を算出し、差分が小さいほど、仮想視点画像Ｒ'は正しい画像であり、信頼度が高く（＝仮想視点画像の品質評価値Ｑは高い）、差分が大きいほど、仮想視点画像Ｒ'は誤った画像であり、信頼度が低い（＝仮想視点画像の品質評価値Ｑは低い）と判定する。
このような画像比較に応じて、仮想視点画像の品質評価値Ｑを算出することができる。
【００７３】
（ステップＳ１２２：仮想視点間隔の決定処理）
次に、ステップＳ１２２の処理、すなわち、ステップＳ１２１で取得した仮想視点画像の画像品質（画像品質評価値（Ｑ））に応じて仮想視点間隔（Ｇ）を決定する処理の具体例について説明する。
【００７４】
この処理では、以下のパラメータを適用して、仮想視点間隔（Ｇ）を決定する。
Ｑ：仮想視点画像品質評価値（ステップＳ１２１において算出された値）
Ｑ'：仮想視点間隔計算パラメータ（ユーザ入力）
これらのパラメータを適用して、仮想視点間隔（Ｇ）を決定する。
これらのパラメータＱ，Ｑ'に基づいて、仮想視点間隔（Ｇ）は、以下の式によって算出される。
Ｇ＝Ｑ／Ｑ'
【００７５】
なお、
Ｎ：仮想視点の総数
Ｑｍａｘ：画像の品質評価値の最大値、
とし、
Ｑ'＝Ｑｍａｘ・Ｎ
とすると、
仮想視点画像品質評価値Ｑが最大値Ｑｍａｘである場合、
Ｇ＝Ｑ／Ｑ'＝１／Ｎ
となり、
例えば入力ＬＲ画像の視点位置を、
Ｌ画像視点位置＝０．０、
Ｒ画像視点位置＝１．０、
とした場合、
各仮想視点位置は、視点位置０．０〜１．０の間をＮ等分した位置となる。
なお、仮想視点の総数（Ｎ）は、例えば表示装置（ディスプレイ）に応じて予め設定された値、あるいはユーザ入力値を適用する。
【００７６】
（ステップＳ１２３：仮想視点位置の決定処理）
次に、ステップＳ１２３の処理、すなわち、ステップＳ１２２で決定した仮想視点間隔（Ｇ）に応じて仮想視点位置を決定する処理の具体例について説明する。
【００７７】
まず、仮想視点位置の決定に適用するパラメータについて説明する。仮想視点位置の決定に適用するパラメータには以下のパラメータがある。
Ｎ：仮想視点の総数
Ｐ（ｉ）：ｉ番目の仮想視点位置［ｉ＝０，１，２，・・・Ｎ−２，Ｎ−１］
Ｇ：仮想視点間隔
Ｎｆｉｘ：基準位置として設定する仮想視点位置（＝基準仮想視点位置）の番号
Ｐｆｉｘ：基準位置として設定する仮想視点位置（＝基準仮想視点位置）
なお、上記の各パラメータの関係式として以下の関係式が成立する。
Ｐ（ｉ）＝Ｐｆｉｘ＋（１−Ｎｆｉｘ）×Ｇ
【００７８】
上記パラメータ中、
仮想視点総数（Ｎ）は、表示装置（ディスプレイ）に応じて予め設定された値、あるいはユーザ入力値を適用する。
仮想視点位置Ｐ（ｉ）は、このステップＳ１２３の処理によって決定される仮想視点位置情報である。
仮想視点間隔（Ｇ）は、前述のステップＳ１２２の処理において決定した値である。
基準仮想視点位置（Ｐｆｉｘ）とその番号（Ｎｆｉｘ）は、任意に設定することが可能な値であり、例えばユーザ入力値である。
なお、基準仮想視点位置番号（Ｎｆｉｘ）は、例えば、複数の仮想視点位置の左端の仮想視点位置番号を０として、右方向に、１，２，３・・として設定する。
【００７９】
以下、仮想視点総数Ｎ＝９とした設定において、
基準仮想視点位置（Ｐｆｉｘ）とその番号（Ｎｆｉｘ）を様々な設定とした場合の仮想視点位置の設定例について図９〜図１３を参照して説明する。
【００８０】
（仮想視点位置決定処理例１）
図９を参照して仮想視点位置決定処理例１について説明する。
この処理例１は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝８
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００８１】
図９には、以下の４パターンの仮想視点位置決定処理例を示している。
（１ａ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝４／３２
（１ｂ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝３／３２
（１ｃ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝１／３２
（１ｄ）Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝５／３２
【００８２】
（１ａ）〜（４ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（１ａ）Ｇ＝４／３２，（１ｂ）Ｇ＝３／３２，（１ｃ）Ｇ＝１／３２．（１ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００８３】
（１ａ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８４】
（１ｂ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８５】
（１ｃ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８６】
（１ｄ）は、Ｎ＝９，Ｎｆｉｘ＝８，Ｐｆｉｘ＝１．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝１．０（入力右眼画像（Ｒ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝８、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝１．０に、基準仮想視点位置番号：Ｎｆｉｘ＝８の仮想視点Ｐ（８）を設定する。
次に、仮想視点Ｐ（８）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（７）を設定する。
この処理によって、（１ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００８７】
（仮想視点位置決定処理例２）
次に図１０を参照して仮想視点位置決定処理例２について説明する。
この処理例２は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝０
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００８８】
図１０には、以下の４パターンの仮想視点位置決定処理例を示している。
（２ａ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（２ｂ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（２ｃ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（２ｄ）Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【００８９】
（２ａ）〜（２ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（２ａ）Ｇ＝４／３２，（２ｂ）Ｇ＝３／３２，（２ｃ）Ｇ＝１／３２．（２ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００９０】
（２ａ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９１】
（２ｂ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９２】
（２ｃ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９３】
（２ｄ）は、Ｎ＝９，Ｎｆｉｘ＝０，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝０、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝０の仮想視点Ｐ（０）を設定する。
次に、仮想視点Ｐ（０）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（１）〜Ｐ（８）を設定する。
この処理によって、（２ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９４】
（仮想視点位置決定処理例３）
次に図１１を参照して仮想視点位置決定処理例３について説明する。
この処理例３は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝４
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【００９５】
図１１には、以下の４パターンの仮想視点位置決定処理例を示している。
（３ａ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（３ｂ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（３ｃ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（３ｄ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【００９６】
（３ａ）〜（３ａ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（３ａ）Ｇ＝４／３２，（３ｂ）Ｇ＝３／３２，（３ｃ）Ｇ＝１／３２．（３ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【００９７】
（３ａ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９８】
（３ｂ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【００９９】
（３ｃ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１００】
（３ｄ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（３ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０１】
（仮想視点位置決定処理例４）
次に図１２を参照して仮想視点位置決定処理例４について説明する。
この処理例４は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝２
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【０１０２】
図１２には、以下の４パターンの仮想視点位置決定処理例を示している。
（４ａ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝４／３２
（４ｂ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝３／３２
（４ｃ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝１／３２
（４ｄ）Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝５／３２
【０１０３】
（４ａ）〜（４ｄ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（４ａ）Ｇ＝４／３２，（４ｂ）Ｇ＝３／３２，（４ｃ）Ｇ＝１／３２．（４ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【０１０４】
（４ａ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０５】
（４ｂ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０６】
（４ｃ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０７】
（４ｄ）は、Ｎ＝９，Ｎｆｉｘ＝２，Ｐｆｉｘ＝０．０，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．０（入力左眼画像（Ｌ画像）視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝２、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．０に、基準仮想視点位置番号：Ｎｆｉｘ＝２の仮想視点Ｐ（２）を設定する。
次に、仮想視点Ｐ（２）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（１）と、Ｐ（３）〜Ｐ（８）を設定する。
この処理によって、（４ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１０８】
（仮想視点位置決定処理例５）
次に図１３を参照して仮想視点位置決定処理例５について説明する。
この処理例５は、
仮想視点総数：Ｎ＝９
基準仮想視点位置番号：Ｎｆｉｘ＝４
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）
仮想視点間隔：Ｇ＝４／３２，３／３２，１．３２．５／３２
上記の設定に従った仮想視点位置の決定処理例である。
【０１０９】
図１３には、以下の４パターンの仮想視点位置決定処理例を示している。
（５ａ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝４／３２
（５ｂ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝３／３２
（５ｃ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝１／３２
（５ｄ）Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝５／３２
【０１１０】
（５ａ）〜（５ｄ）に示す９本の太線が仮想視点位置であり、
左端の仮想視点位置Ｐ（０）から右端の仮想視点位置Ｐ（８）まで、Ｎ＝９個の仮想視点位置が、それぞれ間隔Ｇ［（５ａ）Ｇ＝４／３２，（５ｂ）Ｇ＝３／３２，（５ｃ）Ｇ＝１／３２．（５ｄ）Ｇ＝５／３２］の等間隔で設定した例を示している。
【０１１１】
（５ａ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝４／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝４／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ａ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１２】
（５ｂ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝３／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝３／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｂ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１３】
（５ｃ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝１／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝１／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｃ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１４】
（５ｄ）は、Ｎ＝９，Ｎｆｉｘ＝４，Ｐｆｉｘ＝０．５，Ｇ＝５／３２の例である。
まず、
基準仮想視点位置：Ｐｆｉｘ＝０．５（入力左眼画像（Ｌ画像）と入力右眼画像（Ｒ画像）の中間の視点位置）、
基準仮想視点位置番号：Ｎｆｉｘ＝４、
これらの設定条件に従って、
基準仮想視点位置：Ｐｆｉｘ＝０．５に、基準仮想視点位置番号：Ｎｆｉｘ＝４の仮想視点Ｐ（４）を設定する。
次に、仮想視点Ｐ（４）を設定した基準位置から、仮想視点間隔：Ｇ＝５／３２ずつ離間させて、残りの仮想視点：Ｐ（０）〜Ｐ（３）と、Ｐ（５）〜Ｐ（８）を設定する。
この処理によって、（５ｄ）に示す９個の仮想視点位置Ｐ（０）〜Ｐ（８）が設定される。
【０１１５】
［２．（実施例２）適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例］
次に、本開示の画像処理装置の実行する処理の第２実施例として、適切視差量と画像重みを考慮した仮想視点位置の決定処理を実行する実施例について説明する。
【０１１６】
なお、この実施例２においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１１７】
図１４は、本実施例２における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
まず、図１４のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明し、その後、各ステップの処理の詳細について順次説明する。
【０１１８】
画像処理装置は、まず、ステップ１４１において、適切視差量を決定する。具体的な処理については後述するが、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。
【０１１９】
次に、ステップＳ１４２において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。詳細については後述する。
これらの情報に基づいて、重み付き視差分布情報を算出する。
【０１２０】
次に、ステップＳ１４３において、ステップＳ１４２で算出した重み付き視差分布情報を適用して、視差最大値を算出する。これは、仮想視点画像に設定する視差の最大値に対応する値である。算出処理の詳細については後述する。
【０１２１】
次に、ステップＳ１４４において、ステップＳ１４３で算出した視差最大値と、ステップＳ１４１で決定した適切視差量を用いて、仮想視点間隔（Ｇ）を算出する。
【０１２２】
最後に、ステップＳ１４５において、ステップＳ１４４で求めた仮想視点間隔（Ｇ）を適用して、仮想視点位置を決定する。
以下、これらの各処理の詳細について図面を参照して説明する。
【０１２３】
（Ｓ１４１：適切視差量の決定処理）
まず、ステップＳ１４１において実行する適切視差量の決定処理の一例について説明する。
適切視差量は、例えば融像視差量やクロストーク許容量を考慮して決定する。
融像視差量は、視差の設定されたＬＲ画像を観察した場合に立体画像として観察可能な限界の視差量に対応し、適切視差量は、この融像視差量の例えば半分の視差量として設定できる。
融像視差量は、ディスプレイのサイズや観察者とディスプレイ間の距離、両眼の間隔等によって算出される値である。一例として例えば表示装置に固有の値として設定し、この設定された融像視差量を利用して、この半分の値を適切視差量として決定することができる。
【０１２４】
例えば、観察者から表示装置（ディスプレイ）間の視距離を標準視距離（＝ディスプレイ高さの３倍）とし、ディスプレイの横方向の画サイズを１９２０ピクセル（画素）とし、観察者の両眼間隔を６５ｍｍ（大人の両眼間隔の平均）とした場合、
融像視差量＝１１４ピクセル（画素）、
適切視差量＝５７ピクセル（画素）、
として算出することができる。
【０１２５】
また、適切視差量は、例えばクロストーク許容量を考慮して決定することもできる。
クロストークは、左眼用画像が右眼に観察され、右眼用画像が左眼に観察されるといったエラーである。
あるクロストーク許容量を設定し、クロストークがクロストーク許容量以下になるような視差量を適切視差量として設定する。
【０１２６】
このように、適切視差量は、融像視差量、クロストーク許容量のいずれか、あるいはこれら両者を考慮して決定する。
【０１２７】
（Ｓ１４２：重み付き視差分布の算出）
次に、ステップＳ１４２において実行する重み付き視差分布の算出処理の詳細について説明する。
すなわち、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
重み情報とは、観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
【０１２８】
重み情報を利用して重み付き視差分布を算出する以下の複数の処理例（１）〜（３）について図１５〜図１７を参照して説明する。
（１）画像領域に応じた重みを設定した処理例（中心領域に大きな重みを設定）
（２）被写体に応じた重みを設定した処理例（人物領域にに大きな重みを設定）
（３）上記（１），（２）の両処理を合成した処理例
【０１２９】
まず、図１５を参照して、
（１）画像領域に応じた重みを設定した処理例（中心領域に大きな重みを設定）
この重み付き視差分布を算出する処理例について説明する。
図１５に示す入力画像１５１は、オリジナルの左眼用画像（Ｌ画像）または右眼用画像（Ｒ画像）である。視差情報１５２は、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を用いて取得する視差情報である。
図１５（Ａ）に示す視差ヒストグラムは、視差情報１５２の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。
図１５（Ａ）のヒストグラムは簡略化して示してあるが、画像に含まれる被写体として、木、人、背景があり、これらの視差（被写体距離に相当）に対応するデータが反映されたヒストグラムとなっている。
カメラに最も近い被写体が「木」、その次に「人」、その次に「背景」、このような視差（被写体距離）が設定されていることが分かる。
【０１３０】
本実施例では、この視差情報に対して、所定の重み情報を利用した補正を行う。
図１５に示す例は、画像領域に応じた重み、具体的には画像の中心領域を高い重みとして設定した重み情報に基づく補正を実行して図１５（Ｂ）に示す分布を持つ重み付き視差分布（視差ヒストグラム）を生成する。
【０１３１】
画像領域応じた重みを設定した重み情報としては、例えば図１５に示す重み情報Ａ１５３が利用される。
重み情報Ａ１５３は、図に示すように、画像領域に応じた重みを輝度によって示した画像である。
輝度の高い中心領域が重みが高く、輝度の低い周辺領域が重みが低いことを示している。
視差情報１５２と、この重み情報Ａ１５３を対応画素単位で乗算することで、図１５（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
【０１３２】
図１５（Ｂ）に示すように、「人」や「木」は画像の中心領域に存在するため、頻度の値がアップし、「背景」は周囲領域に多く存在するため、頻度の値が低下している。このように画像処理装置は、例えば画像領域に応じた重みを設定した重み付き視差情報を生成する。
【０１３３】
次に、図１６を参照して、
（２）被写体に応じた重みを設定した処理例（人物領域にに大きな重みを設定）
この重み付き視差分布を算出する処理例について説明する。
図１６に示す入力画像１５１は、オリジナルの左眼用画像（Ｌ画像）または右眼用画像（Ｒ画像）である。視差情報１５２は、オリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を用いて取得する視差情報である。
図１６（Ａ）に示す視差ヒストグラムは、図１５と同様の視差情報１５２の視差情報のヒストグラムであり、横軸に視差の値、縦軸に頻度を設定したヒストグラムである。
【０１３４】
本実施例では、この視差情報に対して被写体に応じた重み、具体的には例えば人領域を高い重みとして設定した重み情報に基づく補正を実行して図１６（Ｂ）に示す分布を持つ重み付き視差分布（視差ヒストグラム）を生成する。
【０１３５】
被写体領域応じた重みを設定した重み情報としては、例えば図１６に示す重み情報Ｂ１５４が利用される。
重み情報Ｂ１５４は、図に示すように、被写体領域に応じた重みを輝度によって示した画像である。
本例では、被写体＝人の領域の重みが高く、被写体≠人の領域の重みが低いことを示している。
視差情報１５２と、この重み情報Ｂ１５４を対応画素単位で乗算することで、図１６（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
【０１３６】
図１６（Ｂ）に示すように、「人」の頻度の値がアップし、「木」、「背景」は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。
【０１３７】
図１７は、図１５を参照して説明した画像領域対応の重み情報と、被写体対応の重み情報の両者を用いた処理例である。
【０１３８】
まず、画像領域対応の重み情報からなる重み情報Ａ１５３と、被写体対応の重み情報Ｂ１５４とを乗算して、２つの重み上方を合成した重み画像を生成した後、視差情報１５２との乗算（対応画素の乗算）を実行する。
この処理によって、図１７（Ｂ）に示す重み付き視差分布としての視差ヒストグラムを算出する。
図１７（Ｂ）に示すように、「人」の頻度の値がアップし、「木」、「背景」は頻度の値が低下している。画像処理装置は、このように被写体に応じた重みを設定した重み付き視差情報を生成する。
【０１３９】
図１５〜図１７を参照して複数の重み付き視差分布の算出処理例について説明した。
この重み付き視差分布の算出処理について説明する。
視差情報、重み情報、重み付き視差分布を以下のように示す。
Ｄ（ｘ，ｙ）：視差情報
Ｗ（ｘ，ｙ）：重み情報
Ｈ（ｄ）：重み付き視差分布
ただし、Ｄ（ｘ，ｙ）、Ｗ（ｘ，ｙ）は画像の画素位置（ｘ，ｙ）における視差と、重みの値を示している。
Ｈ（ｄ）のｄは視差の値、Ｈ（ｄ）はその視差ｄを持つ画素数を意味する。
この条件設定の下で、重み付き視差分布：Ｈ（ｄ）は、以下の算出式で求めることができる。
Ｈ（ｄ）＝Σｘ，ｙ｛Ｗ（ｘ，ｙ）・δ（ｄ−Ｄ（ｘ，ｙ））｝
ただし、
δ（ｘ）は、ｘ＝０のとき１、それ以外は０を返す関数である。
【０１４０】
本実施例において、画像処理装置は、図１４に示すフローチャートのステップＳ１４２において、上記式に従った算出処理により、重み付き視差分布を算出する。
【０１４１】
（ステップＳ１４３：視差最大値の算出）
次に、ステップＳ１４３において実行する視差最大値の算出処理の詳細について説明する。
この処理は、ステップＳ１４２で算出した重み付き視差分布情報を適用して、視差最大値を算出する処理であり、仮想視点画像に設定する視差の最大値を算出する処理である。
【０１４２】
視差最大値（Ｄａｂｓｍａｘ）の算出処理の詳細について説明する。
以下のように各パラメータを定義する。
Ｈ（ｄ）：重み付き視差分布（ステップＳ１４２での算出値）
Ｏ（ｄ）：視差累積分布（Ｈ（ｄ）から算出）
Ｓ：重み付き視差分布の総和（Ｈ（ｄ）から算出）
ｔｈ：最大視差算出処理に適用するしきい値（ユーザ入力値または既定値）
Ｄｍａｘ：視差最大値（ｔｈから算出）
Ｄｍｉｎ：視差最小値（ｔｈから算出）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（出力値）
【０１４３】
なお、
Ｏ（ｄ）＝Σｉ＝ｍｉｎ（Ｄ）〜ｄ｛Ｈ（ｉ）｝
となり、
Ｄｍｉｎ＝Ｏ−１（ｔｈ）
Ｄｍａｘ＝Ｏ−１（Ｓ−ｔｈ）
である。
【０１４４】
図１８（ａ）は、視差ｄと重み付き視差分布Ｈ（ｄ）の関係を示すデータの一例を示した図である。
図１８（ｂ）は、視差ｄと、視差累積分布Ｏ（ｄ）との関係データの中に、以下の各データの値の一例を示した図である。
重み付き視差分布の総和：Ｓ
しきい値：ｔｈ
視差最大値：Ｄｍａｘ
視差最小値：Ｄｍｉｎ
さらに、Ｓ−ｔｈ、
これらのデータ例を示している。
【０１４５】
出力する視差最大値（Ｄａｂｓｍａｘ）は、以下の式で算出する。
Ｄａｂｓｍａｘ＝ｍａｘ（ａｂｓ（Ｄｍａｘ），ａｂｓ（Ｄｍｉｎ））
ステップＳ１４３では、上記式に従って、視差最大値（Ｄａｂｓｍａｘ）を算出する。
【０１４６】
（ステップＳ１４４：仮想視点間隔を算出）
次に、ステップＳ１４４において実行する仮想視点間隔（Ｇ）の算出処理について説明する。
すなわち、ステップＳ１４３で算出した視差最大値と、ステップＳ１４１で決定した適切視差量を用いて、仮想視点間隔（Ｇ）を算出する処理である。
【０１４７】
仮想視点間隔（Ｇ）の算出処理について説明する。
各パラータを以下のように定義する。
Ｅ：左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差（ディスプレイ方式によって決定される値）
ＤＦ：融像視差量（表示装置に応じた値（既定値））
ＤＥ：隣接仮想視点間融像視差量（ＤＥ＝ＤＦ／Ｅ）
ＤＣ：隣接仮想視点間クロストーク許容量（表示装置に応じた値（既定値））
ＤＡ：適切視差量（ステップＳ１４１の算出値）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（ステップＳ１４３の算出値）
Ｇ：仮想視点間隔（出力値）
【０１４８】
なお、
ＤＥ＝ＤＦ／Ｅ
ＤＡ＝ｍｉｎ（ＤＣ，ＤＥ）
である。
このとき、仮想視点間隔（Ｇ）は以下の式によって算出する。
Ｇ＝Ｄａｂｓｍａｘ／ＤＡ
ステップＳ１４４では、上記式に従って、仮想視点間隔（Ｇ）を算出する。
【０１４９】
（ステップＳ１４５：仮想視点位置の決定）
次に、ステップＳ１４５において実行する仮想視点位置の決定処理について説明する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１５０】
ステップＳ１４４において算出した仮想視点間隔（Ｇ）の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、図９〜図１３を参照して説明したように、様々な設定がなされる。
【０１５１】
［３．（実施例３）画像品質と適切視差量と画像重みに基づく仮想視点位置の決定処理を実行する実施例］
次に、本開示の画像処理装置の実行する処理の第３実施例として、上述した実施例１で説明した画像品質を考慮した仮想視点位置の決定処理と、実施例２として説明した適切視差量と画像重みを考慮した仮想視点位置の決定処理、これらを併せた処理例について説明する。
すなわち、
仮想視点画像の画像品質、
適切視差量、
画像重み、
これらをすべて考慮して仮想視点位置を決定する処理である。
【０１５２】
なお、この実施例３においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１５３】
図１９は、本実施例３における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
図１９のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。
【０１５４】
図１９に示すフローにおけるステップＳ１６１〜Ｓ１６３の処理は、実施例２において説明した図１４に示すフローのステップＳ１４１〜Ｓ１４３の処理と同じ処理である。
すなわち、ステップＳ１６１において、適切視差量を決定する。具体的には、例えば融像視差量、クロストーク許容量等を考慮して適切視差量を決定する。
次に、ステップＳ１６２において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
この処理は、先に図１５〜図１７を参照して説明した処理である。
次に、ステップＳ１６３において、ステップＳ１６２で算出した重み付き視差分布情報を適用して、視差最大値を算出する。
これらの処理は、実施例２において説明した図１４に示すフローのステップＳ１４１〜Ｓ１４３の処理と同じ処理である。
【０１５５】
次のステップＳ１６４の処理は、実施例１において説明した図５のフローのステップＳ１２１の処理と同じ処理である。
すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図６〜図８を参照して説明した処理に対応する。
【０１５６】
次のステップＳ１６５では、
ステップＳ１６１で求めた適切視差量、
ステップＳ１６３で求めた視差最大値、
ステップＳ１６４で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
【０１５７】
この仮想視点間隔の算出処理について説明する。
パラメータを以下のように定義する。
Ｅ：左眼に入力する仮想視点画像の番号と、右眼に入力する仮想視点画像番号の差（ディスプレイ方式によって決定される値）
ＤＦ：融像視差量（表示装置に応じた値（既定値））
ＤＥ：隣接仮想視点間融像視差量（ＤＥ＝ＤＦ／Ｅ）
ＤＣ：隣接仮想視点間クロストーク許容量（表示装置に応じた値（既定値））
ＤＡ：適切視差量（ステップＳ１６１の算出値）
Ｄａｂｓｍａｘ：視差最大値（絶対値）（ステップＳ１６３の算出値）
Ｇ：仮想視点間隔（出力値）
Ｑ：仮想視点画像品質評価値（ステップＳ１６４において算出された値）
Ｑ'：仮想視点間隔計算パラメータ（ユーザ入力）
【０１５８】
なお、
ＤＥ＝ＤＦ／Ｅ
ＤＡ＝ｍｉｎ（ＤＣ，ＤＥ）
である。
このとき、仮想視点間隔（Ｇ）は以下の式によって算出する。
Ｇ＝｛Ｄｍａｘ／ＤＡ｝・｛Ｑ／Ｑ'｝
ステップＳ１６５では、上記式に従って、仮想視点間隔（Ｇ）を算出する。
【０１５９】
最後のステップＳ１６６では、ステップＳ１６５において算出した仮想視点間隔（Ｇ）を適用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１６０】
ステップＳ１６５において算出した仮想視点間隔（Ｇ）の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、図９〜図１３を参照して説明したように、様々な設定がなされる。
【０１６１】
［４．（実施例４）非等間隔な仮想視点位置を決定する処理例］
次に、本開示の画像処理装置の実行する処理の第４実施例として、非等間隔な仮想視点位置を決定する処理例について説明する。
【０１６２】
なお、この実施例４においても、全体処理シーケンスは、先に実施例１で説明した図１に示すフローに従って実行される。
図１に示すフローチャートにおけるステップＳ１０２において実行する仮想視点位置の決定処理が前述の実施例１とは異なる処理となる。
【０１６３】
図２０は、本実施例４における仮想視点位置決定処理の詳細シーケンスを説明するフローチャートである。
図２０のフローに従って、本実施例の仮想視点位置決定処理シーケンスについて説明する。
ステップＳ１８１〜Ｓ１８５の処理は、前述の実施例３において説明した図１９に示すフローのステップＳ１６１〜１６５の処理と同様の処理である。
すなわち、ステップＳ１８５では、
ステップＳ１８１で求めた適切視差量、
ステップＳ１８３で求めた視差最大値、
ステップＳ１８４で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
【０１６４】
次に、ステップＳ１８６において、ステップＳ１８５で求めた仮想視点間隔（Ｇ）を非線形にマッピングする。この処理の具体例具について説明する。
パラメータを以下のように定義する。
ｉ：視点番号
Ｇ：仮想視点間隔
Ｇ（ｉ）：マッピング後の仮想視点間隔
【０１６５】
視点番号（ｉ）に応じて仮想視点間隔を非線形にマッピングする関数は、例えば図２１（ａ）に示すような関数であり、予め画像処理装置内のメモリに格納し、これを適用する。
【０１６６】
次に、ステップＳ１８７において、ステップＳ１８６で決定した仮想視点間隔Ｇ（ｉ）を利用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１６７】
ステップＳ１８６において算出した仮想視点間隔（Ｇ（ｉ））の他、
表示装置（ディスプレイ）に応じて決定される仮想視点総数Ｎ、
例えばユーザ入力によって決定される基準仮想視点位置（Ｐｆｉｘ）、基準仮想視点位置番号（Ｎｆｉｘ）、
これらの各値に応じて、様々な設定がなされる。
ただし、図９〜図１３を参照して説明した処理では、すべての仮想視点間隔は同じであるが、本例では、例えば図２１（ｂ）に示すように、各仮想視点間隔は異なる設定となる。すなわち、Ｇ（ｉ）によって決定された間隔に設定される。
図２１（ｂ）に示す例は、
Ｎ＝９、Ｂｆｉｘ＝４、Ｐｆｉｘ＝０．０の場合の例を示している。
【０１６８】
このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する。
【０１６９】
［５．（実施例５）シフト処理を用いて仮想視点画像を生成する処理例］
次に、本開示の画像処理装置の第５実施例として、シフト処理を用いて仮想視点画像を生成する処理例について説明する。
【０１７０】
本実施例における画像処理装置の処理シーケンスを図２２に示すフローチャートを参照して説明する。
画像処理装置は、ステップＳ２０１において、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力して、これらの入力ＬＲ画像を利用して、視差情報を取得する。
すなわち、３次元（３Ｄ）画像を表示するディスプレイに対して標準的な視覚位置で観察した場合に最適な３次元画像が観察される標準ＬＲ画像を利用して、視差情報を取得する。
【０１７１】
次に、ステップＳ２０２において、適切視差量を決定する。
この処理は、先に実施例２として説明した図１４に示すフローチャートのステップＳ１４１の処理と同様の処理である。例えば融像視差量やクロストーク許容量を考慮して決定する。
【０１７２】
次にステップＳ２０３において、入力した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から算出される視差情報と重み情報とに基づいて重み付き視差分布を算出する。
この処理は、先に実施例２として説明した図１４に示すフローチャートのステップＳ１４２の処理と同様の処理である。
重み情報とは、画像に含まれる画像領域単位の画像重みを示す情報であり、例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
先に図１５〜図１７を参照して説明した処理と同様の処理によって重み付き視差分布を算出する。
【０１７３】
次にステップＳ２０４において、平行移動量（シフト量）の決定処理を実行する。
この平行移動量は視差分布を視差が大きくなる方向、あるいは視差が小さくなる方向に移動するための視差分布の平行移動量である。
この視差分布の平行移動量の算出処理について説明する。
【０１７４】
パラメータを以下のように定義する。
Ｈ（ｄ）：重み付き視差分布（ステップＳ２０３の取得値）
Ｏ（ｄ）：視差累積分布（Ｈ（ｄ）から算出）
Ｓ：視差分布総和（Ｈ（ｄ）から算出）
Ｄａｖｇ：視差平均値
Ｄｃｅｎｔｅｒ：視差中央値
Ｄｍａｘ：視差最大値
Ｄｍｉｎ：視差最小値
Ｓｈｉｆｔ
【０１７５】
なお、
Ｏ（ｄ）＝Σｉ＝ｍｉｎ（Ｄ）〜ｄ｛Ｈ（ｉ）｝
となり、
Ｄｍｉｎ＝Ｏ−１（ｔｈ）
Ｄｍａｘ＝Ｏ−１（Ｓ−ｔｈ）
Ｄｃｅｎｔｅｒ＝（Ｄｍａｘ−Ｄｍｉｎ）／２
Ｄａｖｇ＝ａｖｅｒａｇｅ（Ｈ（ｄ））
である。
【０１７６】
図２３（ａ）は、視差ｄと重み付き視差分布Ｈ（ｄ）の関係を示すデータの一例を示した図である。
図２３（ｂ）は、視差ｄと、視差累積分布Ｏ（ｄ）との関係データの中に、以下の各データの値の一例を示した図である。
重み付き視差分布の総和：Ｓ
しきい値：ｔｈ
視差最大値：Ｄｍａｘ
視差最小値：Ｄｍｉｎ
さらに、Ｓ−ｔｈ、
これらのデータ例を示している。
【０１７７】
出力する平行移動量（Ｓｈｉｆｔ）は、以下の式で算出する。
Ｓｈｉｆｔ＝−Ｄａｖｇ
または、
Ｓｈｉｆｔ＝−Ｄｃｅｎｔｅｒ
ステップＳ２０４では、上記式に従って、重み付き視差分布の平行移動量（Ｓｈｉｆｔ）を算出する。
【０１７８】
次のステップＳ２０５では、仮想視点位置の決定処理を行う。
この処理の詳細シーケンスを図２４のフローチャートを参照して説明する。
まず、ステップＳ２２１において、ステップＳ２０４で求めた平行移動量に基づいて重み付き視差分布の補正、すなわち、平行移動を行う。
具体的には、図２５に示すように、
（ａ）重み付き視差分布データをステップＳ２０３で求めた平行移動量に基づいて平行移動して、
（ｂ）補正重み付き視差分布データを生成する。
【０１７９】
この視差分布補正処理を式で示すと以下のようになる。
以下のパラメータを定義する。
Ｓｈｉｆｔ：平行移動量（ステップＳ２０４で算出）
Ｈ（ｄ）：視差分布（重み付き視差分布）
Ｈ（ｄ）'：補正視差分布（補正重み付き視差分布）
【０１８０】
この時、補正重み付き視差分布［Ｈ（ｄ）'］は以下の式に従って算出される。
Ｈ（ｄ）'＝Ｈ（ｄ−Ｓｈｉｆｔ）
【０１８１】
次のステップＳ２２２では、ステップＳ２０３で算出した重み付き視差分布情報を適用して、視差最大値を算出する。この処理は、実施例２において説明した図１４に示すフローのステップＳ１４３の処理と同じ処理である。
【０１８２】
次のステップＳ２２３の処理は、実施例１において説明した図５のフローのステップＳ１２１の処理と同じ処理である。
すなわち、仮想視点画像の画像品質の算出を実行する。この処理は、先に図６〜図８を参照して説明した処理に対応する。
【０１８３】
次のステップＳ２２４では、
ステップＳ２０２で求めた適切視差量、
ステップＳ２２２で求めた視差最大値、
ステップＳ２２３で求めた画像品質、
これらすべてを適用して仮想視点間隔を算出する。
この処理は、先に実施例３として説明した図１９に示すフローのステップＳ１６５の処理と同様の処理である。
【０１８４】
最後のステップＳ２２５では、ステップＳ２２４において算出した仮想視点間隔（Ｇ）を適用して仮想視点位置を決定する。
この仮想視点位置の決定処理は、先に説明した実施例１の図５のフローのステップＳ１２３の処理と同様の処理である。具体的には、図９〜図１３を参照して説明した処理と同様の処理となる。
【０１８５】
この図２４に示すフローのステップＳ２２１〜Ｓ２２５に従って、図２２のフローのステップＳ２０５の仮想視点位置の決定処理が行われる。
次に、図２４のフローに示すステップＳ２０５において、仮想視点画像の生成処理を実行する。
【０１８６】
この処理は、先に実施例１として説明した図１に示すフローのステップＳ１０３の処理と同様の処理である。
ステップＳ２０５では、ステップＳ２０４において決定した仮想視点位置から観察した画像に相当する画像、すなわち仮想視点画像を生成する。なお、ステップＳ２０４では、例えば予め設定した数（例えば１０）の仮想視点を決定し、ステップＳ１０５では、これらの各仮想視点に対応する仮想視点画像を生成する。
仮想視点画像は、先に図２を参照して説明したように、入力した標準ＬＲ画像を利用して生成する。すなわち、３次元画像表示用のオリジナルの左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を利用して生成する。
【０１８７】
次に、ステップＳ２０７において、仮想視点間隔（Ｇ）に応じて平行移動量を補正する。
この処理について、図２６を参照して説明する。
パラメータを以下のように定義する。
Ｓｈｉｆｔ：平行移動量（ステップＳ２０４で決定した値）
Ｓｈｉｆｔ'：補正後の平行移動量
Ｇ：仮想視点間隔（ステップＳ２０５（ステップＳ２２４）で決定したＧ）
上記のパラメータの設定の下、補正後の平行移動量Ｓｈｉｆｔ'は以下の式に従って算出する。
−Ｓｈｉｆｔ'＝Ｓｈｉｆｔ・Ｇ
【０１８８】
図２６には、
（ａ）入力ＬＲ画像間の視差分布
（ｂ）隣接仮想視点間の視差分布（実線）
（ｃ）補正後の平行移動量を加えた後の視差分布
これらを示している。
【０１８９】
（ｂ）に示す隣接仮想視点間の視差分布は、仮想視点間隔Ｇに依存して変化する。すなわち、
ＨＥ（ｄ）＝Ｈ（ｄ・Ｇ）
であり、
（ｃ）に示す補正後の視差分布ＨＥ（ｄ）'は以下の式によって表現される。
ＨＥ（ｄ）'＝Ｈ（ｄ・Ｇ＋Ｓｈｉｆｔ'）
【０１９０】
次に、ステップＳ２０８において、仮想視点画像の平行移動画像を生成する。
この処理について、図２７を参照して説明する。
パラメータを以下のように定義する。
Ｓｈｉｆｔ'：補正後の平行移動量（ステップＳ２０７で決定した値）
Ｌ（ｉ，ｘ，ｙ）：平行移動前のｉ番目の仮想視点画像
Ｌ（ｉ，ｘ，ｙ）'：平行移動後のｉ番目の仮想視点画像
Ｎｆｉｘｓｈｉｆｔ：平行移動しない基準の仮想視点画像の番号（ユーザ入力）
Ｓｈｉｆｔ'（ｉ）：ｉ番目の仮想視点画像に加える平行移動量
なお、Ｌ（ｉ，ｘ，ｙ）、Ｌ（ｉ，ｘ，ｙ）'の（ｘ，ｙ）は画像を構成する画素位置を示し、各画像の画素値を意味する。
【０１９１】
上記パラメータに基づいて、
ｉ番目の仮想視点画像に加える平行移動量［Ｓｈｉｆｔ'（ｉ）］は、以下の式によって算出する。
Ｓｈｉｆｔ'（ｉ）＝Ｓｈｉｆｔ'・（ｉ−Ｎｆｉｘｓｈｉｆｔ））
さらに、平行移動後のｉ番目の仮想視点画像［Ｌ（ｉ，ｘ，ｙ）'］は以下の式によって算出する。
Ｌ（ｉ，ｘ，ｙ）'＝Ｌ（ｉ，ｘ＋Ｓｈｉｆｔ'（ｉ），ｙ）
【０１９２】
なお、上記式は、画像の画素位置がｘ方向に移動（水平シフト）させて平行移動後の仮想視点画像が生成されることを意味する。
図２７に示す例は、
Ｎ＝９
Ｎｆｉｘｓｈｉｆｔ＝４
Ｓｈｉｆｔ'＝１．５
上記設定において、
各仮想視点画像に対する平行移動（シフト）処理の実行例を示した図である。
【０１９３】
このように、本実施例の画像処理装置の仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する。
【０１９４】
なお、上述した本実施例の説明において、入力ＬＲ画像から得られる視差分布に基づいて、重み付き視差分布を生成し、生成した重み付き視差分布データに対して処理を行う構成例として説明したが、重み付き視差分布を生成することなく、入力ＬＲ画像から得られる視差分布データをそのまま適用して処理を行う構成としてもよい。
【０１９５】
［６．画像処理装置の構成例について］
次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図２８を参照して説明する。
【０１９６】
図２８に示す画像処理装置３００は、左眼用画像（Ｌ画像）入力部３０１、右眼用画像（Ｒ画像）入力部３０２、視差情報生成部３０３、重み情報生成部３０４、仮想視点画像生成部３０５、表示制御部３０６を有し、画像処理装置３００において生成した画像が表示部３１０に出力される。
なお、図２８に示す構成では、表示部３１０を画像処理装置３００の外部構成として示しているが、画像処理装置３００内に表示部３１０を有する構成としてもよい。
【０１９７】
なお、図２８に示す構成は、画像処理装置３００の主要構成を示すものであり、画像処理装置３００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
【０１９８】
左眼用画像（Ｌ画像）入力部３０１と、右眼用画像（Ｒ画像）入力部３０２は、予め生成された３次元（３Ｄ）画像表示用の左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を入力する。
【０１９９】
視差情報生成部３０３は、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【０２００】
前述したように、視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【０２０１】
重み情報生成部３０４は、Ｌ画像またはＲ画像のいずれかを利用して、画像領域単位の画像重みを示す重み情報を生成する。例えば観察者の注目しやすい画像領域、具体的には画像の中央部分や人の顔画像領域等に大きな重みを設定した情報である。
具体的には、先に図１５〜図１７を参照して説明したように、
（１）画像領域に応じた重みを設定した重み情報（中心領域に大きな重みを設定）
（２）被写体に応じた重みを設定した重み情報（人物領域にに大きな重みを設定）
（３）上記（１），（２）の両処理を合成した重み情報
例えば、このような重み情報である。
【０２０２】
仮想視点画像生成部３０５は、
左眼用画像（Ｌ画像）入力部３０１からＬ画像、
右眼用画像（Ｒ画像）入力部３０２からＲ画像、
視差情報生成部３０３から視差情報、
重み情報生成部３０４から重み情報、
これらの各情報を入力して、仮想視点画像を生成する。
【０２０３】
仮想視点画像生成部３０５は、前述の実施例１〜５のいずれかの手法に従って、仮想視点間隔の決定処理や、仮想視点位置の決定処理を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【０２０４】
具体的には、例えば以下のいずれかの処理に従った仮想視点画像の生成処理を実行する。
（１）画像品質を考慮して決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例１）
（２）適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例２）
（３）画像品質と適切視差量と画像重みに基づいて決定した仮想視点位置に対応する仮想視点画像の生成処理（実施例３）
（４）非等間隔な仮想視点位置に対応する仮想視点画像の生成処理（実施例４）
（５）シフト処理を用いた仮想視点画像の生成処理（実施例５）
【０２０５】
仮想視点画像生成部３０５は、これらの処理に基づいて、例えば異なるＮ視点の多視点画像を生成して、表示制御部３０６に出力する。
【０２０６】
表示制御部３０６は、仮想視点画像生成部３０５の生成した多視点画像に基づいて、表示部３１０に応じた表示情報を生成して表示部３１０に出力する。
前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【０２０７】
表示部３１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部３０６は、例えば先に図３を参照して説明したように、仮想視点画像生成部３０５の生成したＮ視点の画像をインターリーブした画像を生成して表示部３１０に出力する。
なお、表示制御部３０６は、表示部３１０の表示構成に応じた表示情報を生成する。
【０２０８】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【０２０９】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１０】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。
（２）前記仮想視点画像生成部は、仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）に記載の画像処理装置。
（３）前記仮想視点画像生成部は、前記視差情報の信頼度情報、または、生成した仮想視点画像情報、上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する前記（２）に記載の画像処理装置。
【０２１１】
（４）前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記仮想視点画像生成部は、融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（４）いずれかに記載の画像処理装置。
【０２１２】
（６）前記画像処理装置は、画像領域に応じた画像重み情報を算出する重み情報生成部を有し、前記仮想視点画像生成部は、前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記重み情報生成部は、画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２１３】
（８）前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記仮想視点画像生成部は、仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２１４】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２１５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２１７】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づいて多視点画像を生成する構成が実現される。
具体的には、例えば、３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入力し、左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）とに基づいて視差情報を生成し、ＬＲ画像と視差情報を利用して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。仮想視点画像生成部は、仮想視点画像の画像品質、または融像視差量やクロストーク許容量を考慮した適切視差量、または画像の位置や被写体等の画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する。
これらの処理によって、各観察位置に応じた最適な仮想視点画像、すなわち、快適な視差範囲の高品質な仮想視点画像を生成することができる。
【符号の説明】
【０２１８】
１０１ 左眼用画像（Ｌ画像）
１０２ 右眼用画像（Ｒ画像）
１０３ 仮想視点画像
１２１ 左眼用画像（Ｌ画像）
１２２ 右眼用画像（Ｒ画像）
１２３ 仮想視点画像
１５１ 入力画像
１５２ 視差情報
１５３ 重み情報
１５４ 重み情報
３００ 画像処理装置
３０１ 左眼用画像（Ｌ画像）入力部
３０２ 右眼用画像（Ｒ画像）入力部
３０３ 視差情報生成部
３０４ 重み情報生成部
３０５ 仮想視点画像生成部
３０６ 表示制御部
３１０ 表示部
【特許請求の範囲】
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。
【請求項２】
前記仮想視点画像生成部は、
仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、
算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項３】
前記仮想視点画像生成部は、
前記視差情報の信頼度情報、または、
生成した仮想視点画像情報、
上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する請求項２に記載の画像処理装置。
【請求項４】
前記仮想視点画像生成部は、
融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、
算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項５】
前記仮想視点画像生成部は、
融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、
算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
画像領域に応じた画像重み情報を算出する重み情報生成部を有し、
前記仮想視点画像生成部は、
前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、
算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項７】
前記重み情報生成部は、
画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する請求項６に記載の画像処理装置。
【請求項８】
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項９】
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、
前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項１０】
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）と右眼用の画像信号である右眼用画像（Ｒ画像）を撮影する撮像部と、
前記撮像部から、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
前記撮像部から、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置。
【請求項１１】
画像処理装置において、多視点画像を生成する画像処理方法であり、
左眼用画像入力部が、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力ステップと、
右眼用画像入力部が、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力ステップと、
視差情報生成部が、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成ステップと、
仮想視点画像生成部が、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法。
【請求項１２】
画像処理装置において、多視点画像を生成させるプログラムであり、
左眼用画像入力部に、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力させる左眼用画像入力ステップと、
右眼用画像入力部に、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力させる右眼用画像入力ステップと、
視差情報生成部に、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成させる視差情報生成ステップと、
仮想視点画像生成部に、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力させて、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラム。
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する画像処理装置。
【請求項２】
前記仮想視点画像生成部は、
仮想視点画像の画像品質を示す画像品質評価値Ｑを算出し、
算出した画像品質評価値Ｑを適用して仮想視点間隔Ｇを算出して、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項３】
前記仮想視点画像生成部は、
前記視差情報の信頼度情報、または、
生成した仮想視点画像情報、
上記の少なくともいずれかの情報を適用して前記画像品質評価値Ｑを算出する請求項２に記載の画像処理装置。
【請求項４】
前記仮想視点画像生成部は、
融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、
算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項５】
前記仮想視点画像生成部は、
融像視差量またはクロストーク許容量のいずれか小さい値を適切視差量として算出し、
算出した適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
画像領域に応じた画像重み情報を算出する重み情報生成部を有し、
前記仮想視点画像生成部は、
前記画像重み情報を適用して前記視差情報を補正した重み付き視差分布を算出し、
算出した重み付き視差分布から算出する視差最大値と、前記適切視差量を適用して仮想視点間隔Ｇを算出し、算出した仮想視点間隔Ｇに基づいて仮想視点位置を決定する請求項１に記載の画像処理装置。
【請求項７】
前記重み情報生成部は、
画像の位置に応じた画像領域単位の重みを設定した画像重み情報、または画像に含まれる被写体に応じた画像重み情報を生成する請求項６に記載の画像処理装置。
【請求項８】
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって第１の仮想視点位置を決定し、決定した第１の仮想視点位置に対する非線形マッピング処理によって、非等間隔の第２の仮想視点位置を決定し、決定した非等間隔の第２の仮想視点位置に対応する仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項９】
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、
前記視差情報から算出される視差分布データに基づいて平行移動量を算出し、算出した平行移動量に基づいて、各仮想視点位置の仮想視点画像間の視差分布の移動処理を実行して、視差分布データの移動処理結果を反映した仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項１０】
３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）と右眼用の画像信号である右眼用画像（Ｒ画像）を撮影する撮像部と、
前記撮像部から、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力部と、
前記撮像部から、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力部と、
前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成部と、
前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成する撮像装置。
【請求項１１】
画像処理装置において、多視点画像を生成する画像処理方法であり、
左眼用画像入力部が、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力する左眼用画像入力ステップと、
右眼用画像入力部が、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力する右眼用画像入力ステップと、
視差情報生成部が、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成する視差情報生成ステップと、
仮想視点画像生成部が、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成ステップを実行し、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成するステップである画像処理方法。
【請求項１２】
画像処理装置において、多視点画像を生成させるプログラムであり、
左眼用画像入力部に、３次元画像表示に適用する左眼用の画像信号である左眼用画像（Ｌ画像）を入力させる左眼用画像入力ステップと、
右眼用画像入力部に、３次元画像表示に適用する右眼用の画像信号である右眼用画像（Ｒ画像）を入力させる右眼用画像入力ステップと、
視差情報生成部に、前記左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）から視差情報を生成させる視差情報生成ステップと、
仮想視点画像生成部に、前記左眼用画像（Ｌ画像）と、前記右眼用画像（Ｒ画像）と、前記視差情報を入力させて、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成させる仮想視点画像生成ステップを実行させ、
前記仮想視点画像生成ステップは、
仮想視点画像の画像品質、または適切視差量、または画像領域に応じた画像重みの少なくともいずれかを考慮した処理によって仮想視点位置を決定し、決定した仮想視点位置に対応する仮想視点画像を生成させるステップであるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図８】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図８】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３８６０２（Ｐ２０１３−３８６０２Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３２６８（Ｐ２０１１−１７３２６８）
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月８日（２０１１．８．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]