画像処理装置、および画像処理方法、並びにプログラム
【課題】３次元画像としてのＬＲ画像に基づく推定視差の信頼度に応じた多視点画像を生成する。
【解決手段】３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
【解決手段】３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
すなわち、左眼には左目から観察した画像に相当する左視点画像が観察され、右眼には右目から観察した画像に相当する右視点画像が観察されるような制御を行う。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左視点画像と右視点画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左視点画像と右視点画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左視点画像と右視点画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左視点画像と右視点画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左視点画像と右視点画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じた最適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左視点画像と右視点画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理は、生成する仮想視点画像の品質が考慮されておらず、左視点画像と右視点画像の中心を基準に仮想視点位置を決定する構成としている。従って、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１０】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１１】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【００１２】
また、この特許文献１（特開２００６−１１５１９８号公報）は、入力するオリジナルの左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の３Ｄ画像から最大視差量を検出し、クロストーク量や融像視差範囲に最大視差を収めるように、仮想視点位置を決定する手法を提案している。すなわち、入力ＬＲ画像の持つ最大視差量に応じて生成する仮想視点画像の視点間隔を決定する手法を開示している。
【００１３】
しかし、オリジナルＬＲ画像からの最大視差の検出時に、最大視差を持つ画像領域の画像や、画像領域の注目のしやすさを考慮していない。したがって、例えば以下のような問題点が発生する。
・最大視差検出時に、最大視差を持つ画像領域の面積を考慮していないため、面積の小さい物体が最大視差をもつ場合は、視覚的にほとんど影響がない最大視差画像領域の存在に応じて、不必要に仮想視点間隔を狭めてしまう可能性がある。
・また、最大視差検出時に最大視差を持つ画像領域の注目のしやすさを考慮していないため、視覚的に注目されない画像領域が最大視差を持つ場合、視覚的にほとんど影響のない画像領域の最大視差情報に応じて、不必要に仮想視点間隔を狭めてしまう場合や、広めてしまう場合がある。
【００１４】
また、特許文献２（特開２００６−１２６９６５号公報）は、入力するオリジナルの左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を用いて、これらの画像を用いた視差合成の際に推定誤差に応じてフィルタ処理を行う構成を開示している。
【００１５】
しかし、この特許文献２は、推定する誤差の導出手法について必ずしも明確でなく、誤差の推定手法の信頼性が劣る場合には、フィルタ処理の適用によっても破綻のある合成画像が生成される可能性がある。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００６−１２６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく品質の高い多視点画像の生成処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１８】
また、本開示は、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、例えば、視差の推定処理とその推定処理結果の信頼度算出を実行して、算出した信頼度に応じて視差調整を実行することで、高品質な多視点画像の生成を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【００１９】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する。
【００３２】
さらに、本開示の第２の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。
【００３３】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
視差推定部が、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成し、
信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、
仮想視点画像生成部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法にある。
【００３４】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
視差推定部において、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する処理と、
信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、
仮想視点画像生成部において、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記仮想視点画像生成処理においては、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラムにある。
【００３５】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３６】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３７】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく推定視差の信頼度に応じた最適な多視点画像を生成する構成が実現される。
具体的には、３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
この処理により、推定視差の信頼度に応じた最適な多視点画像を生成することができる。
【図面の簡単な説明】
【００３８】
【図１】画像処理装置の構成例について説明する図である。
【図２】視差推定部の処理例について説明する図である。
【図３】仮想視点画像の生成処理の一例について説明する図である。
【図４】仮想視点画像の生成処理の一例について説明する図である。
【図５】仮想視点画像の生成処理の一例について説明する図である。
【図６】信頼度算出部の具体例について説明する図である。
【図７】第１信頼度算出部の実行する処理について説明する図である。
【図８】第１信頼度算出部の実行する処理について説明する図である。
【図９】第１信頼度算出部の実行する処理について説明する図である。
【図１０】第１信頼度算出部の実行する処理について説明する図である。
【図１１】第１信頼度算出部の実行する処理について説明する図である。
【図１２】第１信頼度算出部の実行する処理について説明する図である。
【図１３】第１信頼度算出部の実行する処理について説明する図である。
【図１４】第２信頼度算出部の実行する処理について説明する図である。
【図１５】第２信頼度算出部の実行する処理について説明する図である。
【図１６】第２信頼度算出部の実行する処理について説明する図である。
【図１７】第３信頼度算出部の実行する処理について説明する図である。
【図１８】第３信頼度算出部の実行する処理について説明する図である。
【図１９】第３信頼度算出部の実行する処理について説明する図である。
【図２０】第４信頼度算出部の実行する処理について説明する図である。
【図２１】第５信頼度算出部の実行する処理について説明する図である。
【図２２】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２３】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２４】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２５】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２６】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２７】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２８】画像処理装置の一構成例について説明する図である。
【発明を実施するための形態】
【００３９】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．画像処理装置の全体構成と処理の概要について
２．視差推定部の処理について
３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について
４．信頼度算出部の処理について
４−１．第１信頼度算出部の実行する信頼度算出処理について
４−１−１．残差成分に基づく信頼度（Ｒ０）算出処理例１
４−１−２．残差成分に基づく信頼度（Ｒ０）算出処理例２
４−２．第２信頼度算出部の実行する信頼度算出処理について
４−３．第３信頼度算出部の実行する信頼度算出処理について
４−４．第４信頼度算出部の実行する信頼度算出処理について
４−５．第５信頼度算出部の実行する信頼度算出処理について
４−６．信頼度算出部における最終的な信頼度算出処理について
５．仮想視点画像生成部の処理について
５−１．信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例
５−２．信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例
５−３．ＬＰＦを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について
６．解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について
７．本開示の構成のまとめ
【００４０】
［１．画像処理装置の全体構成と処理の概要について］
まず、本開示の画像処理装置の全体構成と処理の概要について図１を参照して説明する。その後、各構成部の処理の詳細について説明する。
図１に示すように、画像処理装置１００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、信頼度算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１００において生成した画像が表示部１１０に出力される。
なお、図１に示す構成では、表示部１１０を画像処理装置１００の外部構成として示しているが、画像処理装置１００内に表示部１１０を有する構成としてもよい。
【００４１】
なお、図１は、画像処理装置の主要構成を示すものであり、画像処理装置１００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
例えば制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。
【００４２】
左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２は、予め生成された３次元（３Ｄ）画像表示用の左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力する。
左視点画像（Ｌ画像）は、左眼から観察される画像に相当し、右視点画像（Ｒ画像）は、右眼から観察される画像に相当する。
【００４３】
ただし、これらの２つの画像は、標準的な２つのＬＲ画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備えた裸眼３Ｄ表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい３Ｄ画像として観察されるＬＲ画像である。
ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【００４４】
画像処理装置１００は、この問題を解決するために、正規の１つの観察位置に対応する入力ＬＲ画像、すなわち標準の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点（仮想視点）からの画像を生成する。
【００４５】
視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４６】
信頼度算出部１０４は、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。
【００４７】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００４８】
仮想視点画像生成部１０５は、例えば信頼度算出部１０４から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【００４９】
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報を参照した仮想視点画像の生成処理を実行する。すなわち入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像を生成して出力する。仮想視点画像生成部１０５は、例えば、生成する仮想視点画像の視差間隔を、信頼度算出部１０４の算出した信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。この処理の詳細については後述する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【００５０】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００５１】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００５２】
なお、画像処理装置１００は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００５３】
［２．視差推定部の処理について］
次に、視差推定部１０３の処理について説明する。
視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００５４】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００５５】
図２を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。
図２に示すように、入力したオリジナルの標準画像である、
（ａ）左視点画像（Ｌ画像）と、
（ｂ）右視点画像（Ｒ画像）、
これらの入力ＬＲ画像を利用し、例えばＬ画像の画素領域（ブロック）１２１を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００５６】
図２において、例えばＬ画像の画素領域（ブロック）１２１の注目画素ＬＰ＝（５，３）の、Ｒ画像における対応画素は、ＲＰ＝（７，３）である。
この場合、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）のＬＲ画像間の視差ｄ（５，３）は以下のように算出される。
視差ｄ（５，３）＝（７，３）−（５，３）＝（２，０）、
すなわち、
Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）の視差ｄは２画素［ｐｉｘｅｌ］となる。
【００５７】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像あるいは視差マップ）がある。デプスマップ（視差マップ）は、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００５８】
［３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について］
次に、仮想視点画像生成部１０５の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００５９】
例えば予め設定した数（例えば１０）の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、入力画像である左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図３以下を参照して説明する。
【００６０】
図３には、画像処理装置に入力するオリジナルの左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１３３を示している。
左視点画像（Ｌ画像）１３１は標準位置における左眼視点位置から観察した画像であり、右視点画像（Ｒ画像）１３２は標準位置における右眼視点位置から観察した画像である。
左視点画像（Ｌ画像）１３１の視点位置を０．０、
右視点画像（Ｒ画像）１３２の視点位置を１．０とする。
【００６１】
図３は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１３３として生成する場合の処理例を示している。
左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図３に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００６２】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００６３】
入力ＬＲ画像のブレンド処理に基づく仮想視点画像１３１の画素値の決定処理例について図４を参照して説明する。
図４には、
視点位置＝０である入力左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１、
視点位置＝１である入力右視点画像（Ｒ画像）におけるＬ画像の画素Ｐの対応画素１４２、
視点位置＝Φである仮想視点画像におけるＬ画像の画素Ｐの対応画素１４３、
これらを示している。
なお、
Φ＝０〜１
である。
【００６４】
左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の視差がｄ（ｘ，ｙ）［ｐｉｘｅｌ］である場合、
仮想視点画像におけるＬ画像の画素Ｐ（ｘ，ｙ）の対応画素１４３の画素位置は、
画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）とする。
すなわち、仮想視点画像における画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）の画素値を、左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の画素値に設定する。
仮想視点画像の各画素の画素値は、このように、左視点画像（Ｌ画像）の画素の視差情報に基づいて設定する。
なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像（Ｒ画像）を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。
【００６５】
図５には、
左視点画像（Ｌ画像）の水平ライン１５１、
右視点画像（Ｒ画像）の水平ライン１５２
仮想視点画像の水平ライン１５３、
を示している。
図に示す矢印は、仮想視点画像の水平ライン１５３の画素値を決定するために適用可能な左視点画像（Ｌ画像）の画素位置と、右視点画像（Ｒ画像）の画素位置を結ぶラインである。
【００６６】
図５に示す仮想視点画像の水平ライン１５３において、
１＝左視点画像（Ｌ画像）の水平ライン１５１の構成画素値によって画素値の設定された領域
２＝右視点画像（Ｒ画像）の水平ライン１５３の構成画素値によって画素値の設定された領域
３＝その他の領域
である。
【００６７】
このように、仮想視点画像の画素値の設定は、例えば、以下の３つの処理によって実行される。
１．左視点画像（Ｌ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像（Ｌ画像）の画素値を補間する。
２．右視点画像（Ｒ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像（Ｒ画像）の画素値を補間する。
３．上記１，２の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。
【００６８】
なお、図４、図５を参照して説明した処理は入力ＬＲ画像に基づいてこれらのＬＲ画像と異なる仮想視点からの画像を生成する基本的な処理である。
本開示の画像処理装置の仮想視点画像生成部１０５は、この基本的な処理をベースとして、さらに、信頼度算出部１０４から入力する信頼度情報を適用して、信頼度情報に基づいて生成する仮想視点位置等を決定して最終的な仮想視点画像を生成する。
この処理については後段で詳細に説明する。
【００６９】
［４．信頼度算出部の処理について］
次に、信頼度算出部１０４の実行する処理について説明する。
信頼度算出部１０４は、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。
【００７０】
信頼度算出部１０４は、図６に示すように、
左視点画像（Ｌ画像）入力部１０１から、左視点画像（Ｌ画像）、
右視点画像（Ｒ画像）入力部１０２から、右視点画像（Ｒ画像）、
視差推定部１０３から推定視差情報を入力する。
信頼度算出部１０４は、これらの入力情報に基づいて、第１〜第５信頼度算出部１７１〜１７５において、複数の異なる処理によって複数の信頼度（Ｒ０〜Ｒ４）を算出し、演算部１８１において、これら複数の信頼度（Ｒ０〜Ｒ４）を適用して、最終的な推定視差情報の信頼度情報を算出して仮想視点画像生成部１０５に出力する。
【００７１】
演算部１８１は、第１〜第５信頼度算出部１７１〜１７５において算出した信頼度Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ４について、予め設定された重み係数α０，α１，α２，α３，α４を適用した以下の式に従って重み付き和（Ｒ）を算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部１０５に出力する。
Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
【００７２】
なお、図６には第１〜第５信頼度算出部１７１〜１７５、これら５種類の信頼度算出部を示しているが、これら５つの全てではなく１つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。
以下、図６に示す第１〜第５信頼度算出部１７１〜１７５の実行する信頼度算出処理の詳細について、説明する。
【００７３】
（４−１．第１信頼度算出部の実行する信頼度算出処理について）
第１信頼度算出部１７１は、視差補償の残差成分に基づく信頼度（Ｒ０）を算出する。
すなわち、視差推定部１０３から入力する画素単位の推定視差情報を適用して視差補償画像を生成し、この視差補償画像に含まれる画素値に基づいて、視差推定部１０３の生成した推定視差情報の信頼度を判定する。
視差補償の残差成分に基づく信頼度（Ｒ０）算出処理例に関する複数の処理例について説明する。
【００７４】
（４−１−１．残差成分に基づく信頼度（Ｒ０）算出処理例１）
図７は、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例１について説明する図である。
第１信頼度算出部１７１は、まず、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像２０１に対して、視差推定部１０３から入力する画素単位の推定視差情報２０２を適用して視差補償画像２０３を生成する。
【００７５】
推定視差情報２０２は、例えば視差マップとも呼ばれ、視差推定部１０３の生成した視差情報を輝度で表現した画像データである。視差マップは、視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００７６】
視差補償画像２０３は、Ｌ画像２０１に対して、視差推定部１０３から入力する画素単位の推定視差情報２０２を適用して生成される仮想視点画像である。ただし、この仮想視点は、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の視点位置（位相＝１）に相当する視点位置である。
【００７７】
推定視差情報２０２を適用して生成した視差補償画像２０３は、視差推定部１０３の生成した画素単位の推定視差情報２０２が正しければ、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像に一致することになる。
【００７８】
しかし、実際には、視差推定部１０３の生成した推定視差情報２０２には、推定エラー等が含まれ、Ｌ画像２０１に基づいて生成した視差補償画像２０３と、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像２０４とには差分が発生する。
【００７９】
この視差補償画像２０３と、入力Ｒ画像２０４との対応画素単位の画素値差分を画像単位で算出したマップ、すなわち、図に示す残差マップ２０５を生成する。図に示す残差マップ２０５は、視差補償画像２０３と、入力Ｒ画像２０４との対応画素単位の画素値差分を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。
【００８０】
この残差マップ２０５から、画素単位の差分である残差と予め設定した閾値（Ｔｈ）を比較し、閾値（Ｔｈ）より大きい残差を持つ画素数をカウントする。このカウント値をＮとして、Ｎの値に応じて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０を決定する。
【００８１】
すなわち、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが多い場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は低い。
一方、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが少ない場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は高いと判定する。
【００８２】
閾値（Ｔｈ）より大きい残差を持つ画素数Ｎと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０との対応関係は、具体的には、例えば図８に示すような対応関係として規定される。
【００８３】
すなわち、第１信頼度算出部１７１は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０の値を、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎの値に応じて、以下のように算出する。
０≦Ｎ≦Ｎｍｉｎ：信頼度Ｒ０＝Ｒ０ｍａｘ
Ｎｍｉｎ≦Ｎ≦Ｎｍａｘ：信頼度Ｒ０＝Ｒ０ｍａｘ〜Ｒ０ｍｉｎ
Ｎｍａｘ≦Ｎ：信頼度Ｒ０＝Ｒ０ｍｉｎ
【００８４】
なお、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｎｍｉｎ≦Ｎ≦Ｎｍａｘの範囲では、信頼度Ｒ０は、Ｒ０ｍａｘ〜Ｒ０ｍｉｎ間を直線的に変化させる。
【００８５】
なお、上記処理例では、Ｌ画像を基準として、Ｌ画像に基づいて視差補償画像を生成する処理例について説明したが、上述した処理におけるＬ画像をＲ画像に置き換えた処理を行ってもよい。すなわち、Ｒ画像を基準としてＲ画像に基づいて視差補償画像を生成して処理を行う構成としてもよい。
【００８６】
なお、以下の処理例においてもすべてＬ画像を基準として実行する処理について説明するが、これらの処理においてもＬＲ画像を入れ替えた処理として実行する構成としてもよい。
【００８７】
（４−１−２．残差成分に基づく信頼度（Ｒ０）算出処理例２）
次に、図９、図１０を参照して、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例２について説明する。
【００８８】
本処理例２では、入力画像であるＬ画像に対して、視差推定部１０３から入力する画素単位の推定視差情報を適用して、視差に対応する距離をシフトさせた入力Ｒ画像の画素位置を、対応画素位置として求める。
Ｌ画像の各画素と、上記の処理で求めたＲ画像の対応画素位置の画素値の差分を残差Ｄとして算出する。
画像全体の残差Ｄの加算値に基づいて、視差推定部１０３の生成した推定視差情報の信頼度を判定する。
【００８９】
図９は、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例２について説明する図である。
第１信頼度算出部１７１は、まず、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像２１１の各画素に対応する視差情報を、視差推定部１０３の生成した推定視差情報２１２に基づいて取得する。
【００９０】
ここでは、水平方向（Ｘ方向）のみに視差が存在すると仮定する。
例えばＬ画像２１１の画素（ｘ，ｙ）に対する視差をｄ（ｘ）とする。ｄ（ｘ）は例えば２ｐｉｘｅｌ（２画素）等の視差に相当する画素数として表現される。
【００９１】
第１信頼度算出部１７１は、Ｌ画像２１１の画素（ｘ，ｙ）に対する視差ｄ（ｘ）に基づいて、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像２１３の対応画素位置を決定する。すなわち、Ｌ画像２１１の画素（ｘ，ｙ）と同じＲ画像２１３の画素位置（ｘ，ｙ）から視差ｄ（ｘ）に相当する距離、水平方向に移動した位置を対応画素位置として設定する。
【００９２】
視差推定部１０３の推定視差情報が正確な値であれば、このＲ画像２１３における対応画素位置の画素値は、Ｌ画像２１１の画素（ｘ，ｙ）と同じ画素値を持つ。
しかし、視差推定部１０３の推定視差情報が不正確な値であれば、このＲ画像２１３における対応画素位置の画素値は、Ｌ画像２１１の画素（ｘ，ｙ）と異なる画素値となる可能性が高い。
【００９３】
このＬ画像２１１とＲ画像２１３の対応画素の画素値差分を残差成分（Ｄ）として算出する。例えば、画像全体の残差成分を濃淡情報で表現した残差マップ２１４を生成する。
図に示す残差マップ２１４は、Ｌ画像２１１とＲ画像２１３の対応画素の画素値差分（残差）を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。
【００９４】
この残差マップ２１４に示される画素単位の差分（残差）を画像全体で加算した値を残差成分量Ｄとして算出する。
この残差成分量Ｄの値に応じて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０を決定する。
【００９５】
すなわち、残差成分量Ｄが大きい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は低い。
一方、残差成分量Ｄが小さい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は高いと判定する。
【００９６】
残差成分量Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０との対応関係は、具体的には、例えば図１０に示すような対応関係として規定される。
【００９７】
すなわち、第１信頼度算出部１７１は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０の値を、残差成分量Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ０＝Ｒ０ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ０＝Ｒ０ｍａｘ〜Ｒ０ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ０＝Ｒ０ｍｉｎ
【００９８】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ０は、Ｒ０ｍａｘ〜Ｒ０ｍｉｎ間を直線的に変化させる。
【００９９】
なお、図７〜図１０を参照して説明した処理は、視差推定部１０３から入力する画素単位の推定視差情報を適用した残差成分に基づく推定視差の信頼度算出処理を行うものであるが、例えば推定視差の誤り、すなわち残差成分の残る仮想視点画像を生成した場合でも、残差成分は、画像の各領域の特徴（素性）によって目立つ場合と影響の少ない場合があるため、残差成分に基づく信頼度判定に際しては、画像の各領域の特徴によって異なる処理を行う設定としてもよい。
【０１００】
具体的には、例えば、残差成分の残る仮想視点画像を生成した場合、
テクスチャ領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が大きくなり、画像を観察した場合にエラーが目立つことになる。
一方、平坦領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が小さくなり、画像を観察した場合でもエラーが目立つことは少ない。
【０１０１】
このような事情を考慮して、画像の領域の特徴（素性）を検出し、検出した画像領域単位の特徴に応じて、残差成分の導出方法を適応的に変更する設定としてもよい。
例えば画像領域の特徴量として、以下のような特徴量を検出する。
空間アクティビティ
ダイナミックレンジ
【０１０２】
また、上記の画像領域単位の特徴量に応じて、残差成分に応じて算出する信頼度を適応的に変化させる。具体的には、例えば、
先に図８、図１０を参照して説明した信頼度算出処理に用いる各種のパラメータ、すなわち、
図８のグラフに示す以下のパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
図１０のグラフに示す以下のパラメータ、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
あるいは、図７に示す閾値（Ｔｈ）、
これらのパラメータを画像領域単位の特徴量に応じて変更するといた処理を行う。
【０１０３】
具体例について、図１１を参照して説明する。
図１１は、画像、例えば入力Ｌ画像に対して画素単位の特徴量として空間アクティビティを検出し、空間アクティビティの値に応じて図７に示す閾値（Ｔｈ）を変更して、残差成分の指標としてのカウント値（Ｎ）を変更する設定とした例を示す図である。
【０１０４】
なお、空間アクティビティは、例えば図１１（空間アクテイビティ算出処理例）に示すように、注目画素を中心とする画素領域（例えば３×３画素）における隣接画素間の画素値差分の絶対値の総和として算出する。
画素値差分の絶対値総和の値が大きい領域はテクスチャ領域（エッジ領域）であり、小さい領域は平坦領域であると判定することができる。
【０１０５】
図１１に示すグラフは、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。
ここで、図７を参照して説明した閾値（Ｔｈ）、すなわち残差ありと判定するカウント数Ｎのカウント値として参入するか否かを規定する閾値（Ｔｈ）を図に示すように、画像領域の空間アクティビティに応じて変化させる。
このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。
【０１０６】
図１２は、図１１と異なる処理例を示している。
図１１と同様、画像、例えば入力Ｌ画像に対して画素単位の特徴量として空間アクティビティを検出する。
図１２に示す例は、空間アクティビティの値に応じて図８、図１０に示すパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｄｍｉｎ、Ｄｍａｘ、
これらのパラメータを変更して、残差成分に基づく信頼度算出処理を変更する。
【０１０７】
図１２に示すグラフは、図１１と同様、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。
ここで、図８、図１０に示すパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｄｍｉｎ、Ｄｍａｘ、
これらのパラメータを図に示すように、画像領域の空間アクティビティに応じて変化させる。
このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。
【０１０８】
図１１、図１２を参照して説明した処理例は、画像領域の特徴量として空間アクティビティを適用した処理例である。
画像領域の特徴量としては、この他、ダイナミックレンジを適用してもよい。
画像領域の特徴量としてダイナミックレンジを取得し、ダイナミックレンジの値に基づいて処理態様を変更する例について図１３を参照して説明する。
【０１０９】
図１３には、左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２から入力した２つの画像領域、すなわち、
（ａ）入力Ｌ画像の注目画素を中心とした３×３画素の画像領域
（ｂ）入力Ｒ画像の注目画素を中心とした３×３画素の画像領域
これらを示している。
これらの画像領域は、視差推定部１０３における視差推定処理によって対応する画素ブロックとして抽出された対応ブロックである。
すなわち、視差推定が正しければ、この２つの画素ブロックには同一被写体の画像が撮影されている。
【０１１０】
（ａ）入力Ｌ画像の注目画素を中心とした３×３画素の画像領域に含まれる９画素から、
最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＬ）、
最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＬ）、
これらの画素値を取得する。
同様に、
（ｂ）入力Ｒ画像の注目画素を中心とした３×３画素の画像領域に含まれる９画素から、
最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＲ）、
最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＲ）、
これらの画素値を取得する。
【０１１１】
さらに、注目画素に対応する残差成分を、
Ｌ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｌｘ）
Ｌｘ＝（ｍａｘＬ＋ｍｉｎＬ）／２＋α（ｍａｘＬ−ｍｉｎＬ）〜（ｍａｘＬ＋ｍｉｎＬ）／２−α（ｍａｘＬ−ｍｉｎＬ）
と、
Ｒ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｒｘ）
Ｒｘ＝（ｍａｘＲ＋ｍｉｎＲ）／２＋α（ｍａｘＲ−ｍｉｎＲ）〜（ｍａｘＲ＋ｍｉｎＲ）／２−α（ｍａｘＲ−ｍｉｎＲ）
これらを算出する。
【０１１２】
なお、
（ｍａｘＬ＋ｍｉｎＬ）／２は、Ｌ画像の画素ブロックの画素値の中間値
（ｍａｘＬ−ｍｉｎＬ）は、Ｌ画像の画素ブロックの画素値のダイナミックレンジに対応する。
（ｍａｘＲ＋ｍｉｎＲ）／２は、Ｒ画像の画素ブロックの画素値の中間値
（ｍａｘＲ−ｍｉｎＲ）は、Ｒ画像の画素ブロックの画素値のダイナミックレンジに対応する。
αは係数である。
【０１１３】
さらに、ＬｘとＲｘの差分の最小値を算出して、この差分を注目画素の残差成分とする。
このとき、ＬｘとＲｘの差分の最小値は、各画素ブロックのダイナミックレンジに応じて変化することになる。
結果として、画素ブロック単位のダイナミックレンジに応じて算出される残差成分が適応的に調整される。
このようなダイナミックレンジを画像領域の特徴量として用いて、画像の各領域のダイナミックレンジの値に応じた信頼度算出が可能となる。
【０１１４】
（４−２．第２信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第２信頼度算出部１７２の実行する信頼度（Ｒ1）算出処理例について説明する。
図６に示す第２信頼度算出部１７２は、視差マップの水平隣接画素差分に基づいて信頼度（Ｒ１）を算出する。視差マップは、視差推定部１０３の生成した視差情報を輝度表現した画像データである。
【０１１５】
図１４は、仮想視点画像の生成処理例を示している。例えば、入力Ｌ画像の画素値を利用して、視差推定部１０３の生成した視差情報を利用して仮想視点画像の画素値を設定する場合を想定する。
図１４に示すＬ画像はＬ画像の１つの水平方向ラインを示し、矢印は、視差推定部１０３の生成した視差情報に対応する。
【０１１６】
Ｌ画像の画素領域ａと画素領域ｂにおいて、異なる距離を持つ異なる被写体が設定されているような場合、
Ｌ画像の領域ａに対応する視差情報に従って、仮想視点画像の領域ａｘにＬ画像の領域ａと同様の画素値が設定される。
同様に、Ｌ画像の領域ｂに対応する視差情報に従って、仮想視点画像の領域ｂｘにＬ画像の領域ｂと同様の画素値が設定される。
【０１１７】
しかし、この場合、仮想視点画像の領域２３１には、Ｌ画像のどの領域も対応する画素値が存在せず、画素値の設定ができない領域、すなわち、画素値設定不可領域２３１となってしまう。
【０１１８】
このような画素領域に対しては、他の画像、あるいは生成した仮想視点画像の近傍画素の画素値を利用した補間処理が必要になる。しかし、結果としては不自然な画像になる可能性が高い。
【０１１９】
図６に示す第２信頼度算出部１７２の実行する信頼度（Ｒ1）算出処理では、このような画素値設定不可領域の発生可能性を画素単位で算出し、この可能性に応じて推定視差情報の信頼度Ｒ１を算出する。
【０１２０】
具体的な信頼度算出処理例について図１５を参照して説明する。
図６に示す第２信頼度算出部１７２は、図１に示す視差推定部１０３から推定視差情報２３２を入力する。
図１５に示す推定視差情報２３２は、各画素単位で、推定視差を画素の濃淡（輝度）で表現したものである。
【０１２１】
この視差推定情報に対して、注目画素を中心とした水平方向の３画素を順次選択する。さらに、
注目画素の視差を示す画素値（輝度値）と左隣接画素の視差を示す画素値（輝度値）差分絶対値、
注目画素の視差を示す画素値（輝度値）と右隣接画素の視差を示す画素値（輝度値）差分絶対値、
これらを算出し、
これらの２つの差分絶対値を加算して差分絶対値和（Ｄ）を算出する。
【０１２２】
この差分絶対値和Ｄに基づいて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１を決定する。
すなわち、差分絶対値和Ｄが大きい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１は低い。
一方、差分絶対値和Ｄが小さい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１は高いと判定する。
【０１２３】
差分絶対値和Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１との対応関係は、具体的には、例えば図１６に示すような対応関係として規定される。
【０１２４】
すなわち、第２信頼度算出部１７２は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１の値を、差分絶対値和Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ１＝Ｒ１ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ１＝Ｒ１ｍａｘ〜Ｒ１ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ１＝Ｒ１ｍｉｎ
【０１２５】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ１ｍｉｎ、Ｒ１ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ１は、Ｒ１ｍａｘ〜Ｒ１ｍｉｎ間を直線的に変化させる。
【０１２６】
（４−３．第３信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第３信頼度算出部１７３の実行する信頼度（Ｒ２）算出処理例について説明する。
図６に示す第３信頼度算出部１７３は、縦エッジ部の視差の垂直隣接画素差分に基づいて信頼度（Ｒ２）を算出する。
【０１２７】
縦エッジ部、すなわち垂直方向である縦方向のエッジが存在する画像領域では、水平方向に画素値や輝度が大きく変化する領域であり、このような縦エッジ部において、視差推定の誤りが発生すると、観察した３Ｄ画像の不自然さがより目立ってしまう。
従って、画像の縦エッジ部においては、視差推定部１０３の生成する推定視差情報を利用した仮想視点画像を生成する場合、その推定視差情報は、横エッジ部よりさらに正確であることが求められる。
【０１２８】
第３信頼度算出部１７３は、上記事情を考慮して、画像領域単位で縦エッジの強度に応じた信頼度（Ｒ２）を算出する。
なお、縦エッジ部であるか否かを判定するためには、例えば図１７に示す方法が適用可能である。
【０１２９】
図１７に示すようにＬ画像から、注目画素２４１を含む入力Ｌ画像の２×３画素領域を抽出し、これらの各隣接画素間の画素値（輝度値でも可）の差分絶対値を算出し、
横（水平）方向の隣接画素間の複数の差分絶対値を加算した横方向差分絶対値和、
縦（垂直）方向の隣接画素間の複数の差分絶対値を加算した縦方向差分絶対値和、
これらを算出する。
【０１３０】
さらに、予め設定したしきい値：Ｔｈ＿Ｈ、Ｔｈ＿Ｖと比較する。すなわち、
（１）横方向の差分絶対値和＞Ｔｈ＿Ｈ
（２）縦方向の差分絶対値和＜Ｔｈ＿Ｖ
この（１），（２）の双方を満たすか否かを判定する。
上記（１），（２）の双方を満たす場合、
注目画素２４１は縦エッジ部であると判定する。
一方、上記（１），（２）のいずれか一方でも満たさない場合、
注目画素２４１は縦エッジ部であると判定することができる。
【０１３１】
第３信頼度算出部１７３は、このような縦エッジの強度に応じた信頼度（Ｒ２）を算出する。
なお、縦エッジの領域では、例えばブロックマッチング等の処理によって行われる視差推定部１０３の生成する推定視差情報の信頼度は高くなる。
【０１３２】
第３信頼度算出部１７３において実行する縦エッジの強度に応じた信頼度（Ｒ２）算出処理について図１８を参照して説明する。
図１８に示すように、第３信頼度算出部１７３は、図１に示す視差推定部１０３から推定視差情報２３２を入力する。
図１８に示す推定視差情報２３２は、各画素単位で、推定視差を画素の濃淡（輝度）で表現したものである。
【０１３３】
この視差推定情報に対して、注目画素を中心とした垂直方向の３画素を順次選択する。さらに、
注目画素の視差を示す画素値（輝度値）と上隣接画素の視差を示す画素値（輝度値）差分絶対値、
注目画素の視差を示す画素値（輝度値）と下隣接画素の視差を示す画素値（輝度値）差分絶対値、
これらを算出し、
これらの２つの差分絶対値を加算して差分絶対値和（Ｄ）を算出する。
【０１３４】
この差分絶対値和Ｄに基づいて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２を決定する。
差分絶対値和Ｄが大きい場合は、縦方向にも画素値（輝度）の大きな差が存在しており、縦エッジの傾向が低く、この場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２を低い値として設定する。
一方、差分絶対値和Ｄが小さい場合は、縦方向の画素値（輝度）の差が少なく、縦エッジの傾向が高く、この場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２は高いと判定する。
【０１３５】
差分絶対値和Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２との対応関係は、具体的には、例えば図１９に示すような対応関係として規定される。
【０１３６】
すなわち、第３信頼度算出部１７３は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２の値を、差分絶対値和Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ２＝Ｒ２ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ２＝Ｒ２ｍａｘ〜Ｒ２ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ２＝Ｒ２ｍｉｎ
【０１３７】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ２ｍｉｎ、Ｒ２ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ２は、Ｒ２ｍａｘ〜Ｒ２ｍｉｎ間を直線的に変化させる。
【０１３８】
（４−４．第４信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第４信頼度算出部１７４の実行する信頼度（Ｒ３）の算出処理例について説明する。
図６に示す第４信頼度算出部１７４は、視差推定部１０３の生成する推定視差情報と、予め設定した推定視差の上限値や下限値との比較に基づいて信頼度（Ｒ３）を算出する。
【０１３９】
図１に示す画像処理装置１００の視差推定部１０３は、先に例えば図２を参照して説明したブロックマッチング処理などを適用して入力ＬＲ画像間の視差を推定する。
この視差推定処理では、処理の効率化のために、例えばブロックマッチングを行う場合にＬ画像に設定した１つのブロックに対してＲ画像に設定するブロックの設定範囲、すなわち探索範囲を予め設定して行われる。
【０１４０】
従って、実際の正しい視差が探索範囲を超えてしまう場合には、視差推定部１０３の生成する推定視差情報は所定の探索範囲に応じた上限値または下限値をとなる。
推定視差情報として上限値または下限値が出力されている場合、実際の視差は、その上限値より大きい、または下限値より小さい可能性が高い。
図６に示す第４信頼度算出部１７４は、このような上限値または下限値の視差が算出された画素領域を抽出して推定視差情報の信頼度（Ｒ３）を算出する。
【０１４１】
図２０を参照して、図６に示す第４信頼度算出部１７４の実行する処理について説明する。
図６に示す第４信頼度算出部１７４は、図２０（ａ）に示すように左視点画像（Ｌ画像）入力部１０１から入力するＬ画像から、注目画素２４１を含む画素領域、例えば、注目画素２４１を中心画素とした３×３画素領域を抽出し、まず、注目画素２４１に対して、視差推定部１０３の生成した推定視差情報が上限値または下限値に達しているか否かを判定する。
【０１４２】
注目画素２４１に対応する推定視差情報が上限値または下限値に達していない場合は、その注目画素の信頼度（Ｒ３）は最大値（Ｒ３ｍａｘ）とする。
注目画素２４１に対応する推定視差情報が上限値または下限値に達している場合は、注目画素２４１含む画素領域、例えば図２０（ａ）に示す３×３画素領域の９個の画素について推定視差情報が上限値または下限値に達している画素の数（Ｎ）をカウントする。
【０１４３】
第４信頼度算出部１７４は、このカウント数（Ｎ）に応じて信頼度（Ｒ３）を算出する。
推定視差情報が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる画素において、推定視差情報が上限値または下限値に達している画素数（Ｎ）が多い場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性が高いと判定し、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３を低い値として設定する。
【０１４４】
一方、推定視差情報が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる画素において、推定視差情報が上限値または下限値に達している画素数（Ｎ）が少ない場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性がさほど高くないと判定し、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３を高い値として設定する。
【０１４５】
画素カウント数Ｎと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３との対応関係は、具体的には、例えば図２０（ｂ）に示すような対応関係として規定される。
【０１４６】
すなわち、第４信頼度算出部１７４は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３の値を、推定視差が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる推定視差が上限値または下限値に達している画素数Ｎの値に応じて、以下のように算出する。
０≦Ｎ≦Ｎｍｉｎ：信頼度Ｒ３＝Ｒ３ｍａｘ
Ｎｍｉｎ≦Ｎ≦Ｎｍａｘ：信頼度Ｒ３＝Ｒ３ｍａｘ〜Ｒ３ｍｉｎ
Ｎｍａｘ≦Ｎ：信頼度Ｒ３＝Ｒ３ｍｉｎ
【０１４７】
なお、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ３ｍｉｎ、Ｒ３ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｎｍｉｎ≦Ｎ≦Ｎｍａｘの範囲では、信頼度Ｒ３は、Ｒ３ｍａｘ〜Ｒ３ｍｉｎ間を直線的に変化させる。
【０１４８】
（４−５．第５信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第５信頼度算出部１７５の実行する信頼度（Ｒ４）の算出処理例について説明する。
図６に示す第５信頼度算出部１７５は、図２１（１）に示すように、視差推定部１０３の生成した推定視差情報に基づいてＬ画像の各画素（ａ）に対応するＲ画像の対応画素位置（ｂ）を算出する。さらに、そのＲ画像における算出画素位置（ｂ）に対応するＬ画像間の視差を推定して、Ｌ画像の対応画素位置（ｃ）を算出する。
推定された視差が正しければ、（ａ）＝（ｃ）となる。すなわち、図に示す、
移動量（Ｘ）＝０
となる。
しかし、推定視差情報が誤りである場合は、
移動量（Ｘ）≠０
となる。
【０１４９】
図６に示す第５信頼度算出部１７５は、このような処理によって、信頼度（Ｒ４）を算出する。
なお、この処理の前提として、
視差推定部１０３は、
左視点画像（Ｌ画像）入力部１０１から入力するＬ画像に対応するＲ画像の対応画素位置の検出情報に基づくＬ画像ベースの推定視差情報、
右視点画像（Ｒ画像）入力部１０２から入力するＲ画像に対応するＬ画像の対応画素位置の検出情報に基づくＲ画像ベースの推定視差情報、
これらの２つの推定視差情報を生成して第５信頼度算出部１７５に提供しているものとする。
【０１５０】
図６に示す第５信頼度算出部１７５は、具体的には以下の処理を順次実行する。
（処理１）左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の注目画素（ａ）について、視差推定部１０３の生成したＬ画像ベースの推定視差情報に基づいて右視点画像（Ｒ画像）入力部１０２から入力するＲ画像における対応画素位置（ｂ）を取得する。
（処理２）右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の画素（ｂ）に対して、視差推定部１０３の生成したＲ画像ベースの推定視差情報に基づいてＬ画像における対応画素位置（ｃ）を取得する。
【０１５１】
（処理３）Ｌ画像における画素（ａ）と画素（ｃ）の距離（移動量Ｘ）を取得して、規定しきい値（ＴＨ＿Ｘ）と比較
（処理４）左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の全画素について上記処理１〜３を実行し、以下の判定式を満足する画素数（Ｃ）をカウント
移動量Ｘ≧ＴＨ＿Ｘ
【０１５２】
図６に示す第５信頼度算出部１７５は、この上記判定式を満足する画素数（Ｃ）に応じて推定視差情報の信頼度（Ｒ４）を算出する。
上記判定式を満足する画素数（Ｃ）が多い場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４を低い値として設定する。
一方、上記判定式を満足する画素数（Ｃ）が少ない場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４を高い値として設定する。
【０１５３】
画素数Ｃと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４との対応関係は、具体的には、例えば図２１（ｂ）に示すような対応関係として規定される。
【０１５４】
すなわち、第５信頼度算出部１７５は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４の値を、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の全画素について以下の判定式、
移動量Ｘ≧ＴＨ＿Ｘ
を満足する画素数（Ｃ）の値に応じて、以下のように算出する。
０≦Ｃ≦Ｃｍｉｎ：信頼度Ｒ４＝Ｒ４ｍａｘ
Ｃｍｉｎ≦Ｃ≦Ｃｍａｘ：信頼度Ｒ４＝Ｒ４ｍａｘ〜Ｒ４ｍｉｎ
Ｃｍａｘ≦Ｃ：信頼度Ｒ４＝Ｒ４ｍｉｎ
【０１５５】
なお、
Ｃｍｉｎ、Ｃｍａｘ、
Ｒ４ｍｉｎ、Ｒ４ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｃｍｉｎ≦Ｃ≦Ｃｍａｘの範囲では、信頼度Ｒ４は、Ｒ４ｍａｘ〜Ｒ４ｍｉｎ間を直線的に変化させる。
【０１５６】
（４−６．信頼度算出部における最終的な信頼度算出処理について）
図６を参照して説明したように、信頼度算出部１０４は、図６に示すように、
左視点画像（Ｌ画像）入力部１０１から、左視点画像（Ｌ画像）、
右視点画像（Ｒ画像）入力部１０２から、右視点画像（Ｒ画像）、
視差推定部１０３から推定視差情報を入力し、これらの入力情報に基づいて、上述したように、第１〜第５信頼度算出部１７１〜１７５において、複数の異なる処理によって複数の信頼度（Ｒ０〜Ｒ４）を算出する。
【０１５７】
図６に示す演算部１８１は、これら複数の信頼度（Ｒ０〜Ｒ４）を適用して、最終的な信頼度情報を算出して仮想視点画像生成部１０５に出力する。
演算部１８１は、第１〜第５信頼度算出部１７１〜１７５において算出した信頼度Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ４について、予め設定された重み係数α０，α１，α２，α３，α４を適用した以下の式に従って重み付き和（Ｒ）を算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部１０５に出力する。
Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
【０１５８】
なお、図６には、第１〜第５信頼度算出部１７１〜１７５、これら５種類の信頼度算出部を示しているが、これら５つの全てではなく１つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。
【０１５９】
［５．仮想視点画像生成部の処理について］
次に、図１に示す仮想視点画像生成部１０５の具体的処理例について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【０１６０】
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報に応じて、視差量を調整、すなわち生成する仮想視点位置（位相）を決定して、決定した仮想視点位置（位相）に対応する仮想視点画像を生成する。
具体的には、仮想視点画像生成部１０５は、例えば、生成する仮想視点画像の視差間隔を信頼度算出部１０４から入力する信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。
以下、仮想視点画像生成部１０５の複数の具体的構成例について、順次、説明する。
【０１６１】
（５−１．信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例）
仮想視点画像生成部１０５の１つの実施例を、図２２を参照して説明する。
図２２に示すように、本実施例の仮想視点画像生成部１０５は、視差調整部３１１と、画像合成部３１２を有する。
【０１６２】
視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報、すなわち視差推定部１０３の生成した推定視差情報の信頼度を入力する。
この信頼度は、前述したように、たとえば、複数の異なる信頼度情報（Ｒ０〜Ｒ４）の重み付け加算値である。具体的には、
信頼度Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
ただし、α０，α１，α２・・・は予め設定した重み係数、
上記式に従って、算出した信頼度Ｒを入力する。信頼度Ｒは、０〜１の値を持ち、最も高い信頼度の場合、Ｒ＝１、最も低い信頼度の場合、Ｒ＝０となる。
【０１６３】
視差調整部３１１は、入力した信頼度Ｒに応じて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
具体的には、０〜１の値を持つ信頼度Ｒの値に応じて、図２３に示すような仮想視点位置の決定処理を行う。
【０１６４】
図２３は、信頼度Ｒ＝０〜１の場合における仮想視点画像位置の設定例を示した図である。
視点位置＝０は、入力Ｌ画像に対応する視点位置、
視点位置＝１は、入力Ｒ画像に対応する視点位置、
である。
【０１６５】
すなわち、信頼度＝１のライン上の、
画像ｂ３２１は、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像、
画像ｈ３２２は、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像、
に対応する。
信頼度＝１のライン上のその他の縦ラインは、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝１、最も信頼できる値である場合、仮想視点画像生成部１０５において生成する仮想視点画像の位置（位相）を示す。
この例では、入力ＬＲ画像を含めて、ａ〜ｉまで合計９個の異なる視点の画像を生成して出力するものとする。
【０１６６】
信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝１の場合は、視差調整部３１１は、図２３の上段にあるａ〜ｉの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って行われる。
【０１６７】
また、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝０．５、すなわち中程度の信頼度である場合は、視差調整部３１１は、図２３の中段にあるａ２〜ｉ２の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１６８】
この中低度の信頼度＝０．５の場合、図から理解されるように、仮想視点画像ａ２〜ｉ２の視差範囲は、信頼度Ｒ＝１の高信頼度の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。
【０１６９】
また、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝０の場合、すなわち全く信用できない場合は、視差調整部３１１は、図２３の下段にある画像３３３を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、図２３の下段にある画像３３３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。
なお、この場合、仮想視点画像生成部１０５は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。
【０１７０】
視差調整部３１１は、仮想視点画像の設定位置（位相）の算出処理を以下のアルゴリズムに従って実行する。
なお、信頼度Ｒ＝１の場合に生成する仮想視点画像については予め決定しておく。図２３に示すａ〜ｉの位置である。
信頼度算出部１０４から入力する信頼度情報をＲとする。
ただし、Ｒ＝０〜１である。
信頼度Ｒ＝１の場合の仮想視点画像位置（位相）をＶ０とする。
このとき、信頼度Ｒに応じて設定する仮想視点画像位置（位相）Ｖは以下の式に従って算出する。
Ｖ＝（Ｖ０−１）・Ｒ＋１
【０１７１】
図２３に示す仮想視点画像３３１の位置（位相）は、信頼度：Ｒ＝１の場合に出力予定の仮想視点画像位置である。
この仮想視点画像位置（位相）：Ｖ＝０．３とする。
このＶの値を利用して、各信頼度Ｒ＝０〜１の場合の仮想視点画像位置（位相）を上記式に従って算出する。
【０１７２】
例えば、信頼度Ｒ＝０．５の場合、仮想視点画像３３１の位置（位相）Ｖ＝０．３を用いて、図２３に示す仮想視点画像位置３３２（ｄ２）の位置（Ｖ）を、上記式に従って算出できる。すなわち、
Ｖ＝（Ｖ０−１）・Ｒ＋１
＝（０．３−１）・０．５＋１
＝０．８５
となる。
【０１７３】
例えば、信頼度Ｒ＝０の場合、仮想視点画像３３１の位置（位相）Ｖ＝０．３を用いて、図２３に示す仮想視点画像位置３３３（ｄ３）の位置（Ｖ）を、上記式に従って算出できる。すなわち、
Ｖ＝（Ｖ０−１）・Ｒ＋１
＝（０．３−１）・０＋１
＝１
となる。
【０１７４】
このように視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報Ｒを入力し、入力した信頼度情報Ｒの値に応じて仮想視点画像の設定位置を決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１７５】
（５−２．信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例）
次に、信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する仮想視点画像生成部１０５の実施例を、図２４を参照して説明する。
図２４に示すように、本実施例の仮想視点画像生成部１０５は、図２２を参照して説明したと同様の視差調整部３１１と、画像合成部３１２、さらに、信頼度と最適視差量との対応関係情報を格納した信頼度データベース３１３を有する。
【０１７６】
視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報、すなわち視差推定部１０３の生成した推定視差情報の信頼度を入力する。
この信頼度は、前述したように、たとえば、複数の異なる信頼度情報（Ｒ０〜Ｒ４）の重み付け加算値である。具体的には、
信頼度Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
ただし、α０，α１，α２・・・は予め設定した重み係数、
上記式に従って、算出した信頼度Ｒを入力する。信頼度Ｒは、０〜１の値を持ち、最も高い信頼度の場合、Ｒ＝１、最も低い信頼度の場合、Ｒ＝０となる。
【０１７７】
視差調整部３１１は、
信頼度算出部１０４の算出した信頼度Ｒ、さらに、
信頼度データベース３１３から、信頼度と最適視差量との対応関係情報、
これらを入力する。
【０１７８】
視差調整部３１１は、
これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
【０１７９】
信頼度データベース３１３には、最適視差量との対応関係情報の関係データが格納されている。例えば図２５に示すデータである。
このデータは、予め準備した学習データ、例えば、様々な信頼度の視差を持つ学習データを観察させて、観察者が快適に３Ｄ画像を観察できた視差を最適視差量として決定したデータである。
【０１８０】
視差調整部３１１は、信頼度データベース３１３に格納された最適視差量との対応関係情報の関係データを取得して、信頼度算出部１０４の算出した信頼度Ｒに対応する係数ｐを算出する。係数ｐは、信頼度Ｒに対応する乗数であり、最適視差量を設定するための調整信頼度ｐＲを算出するための係数である。係数ｐは、例えば最小二乗法などの回帰分析処理を適用して求める。
【０１８１】
視差調整部３１１は、算出した係数ｐを信頼度算出部１０４の算出した信頼度Ｒに乗算して調整信頼度ｐＲを算出する。この調整信頼度ｐＲに応じて、図２６に示すような仮想視点位置の決定処理を行う。
【０１８２】
図２６は、調整信頼度ｐＲ＝０〜１の場合における仮想視点画像位置の設定例を示した図である。
視点位置＝０は、入力Ｌ画像に対応する視点位置、
視点位置＝１は、入力Ｒ画像に対応する視点位置、
である。
【０１８３】
すなわち、調整信頼度＝１のライン上の、
画像ｂ３２１は、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像、
画像ｈ３２２は、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像、
に対応する。
調整信頼度＝１のライン上のその他の縦ラインは、調整信頼度情報ｐＲが、ｐＲ＝１、最も信頼できる値である場合、仮想視点画像生成部１０５において生成する仮想視点画像の位置（位相）を示す。
この例では、入力ＬＲ画像を含めて、ａ〜ｉまで合計９個の異なる視点の画像を生成して出力するものとする。
【０１８４】
調整信頼度情報ｐＲが、ｐＲ＝１の場合は、視差調整部３１１は、図２３の上段にあるａ〜ｉの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って行われる。
【０１８５】
また、調整信頼度情報ｐＲが、ｐＲ＝０．５、すなわち中程度の信頼度である場合は、視差調整部３１１は、図２６の中段にあるａ２〜ｉ２の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１８６】
この中低度の調整信頼度＝０．５の場合、図から理解されるように、仮想視点画像ａ２〜ｉ２の視差範囲は、調整信頼度Ｒ＝１の高信頼度の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。
【０１８７】
また、調整信頼度情報ｐＲが、ｐＲ＝０の場合、すなわち全く信用できない場合は、視差調整部３１１は、図２６の下段にある画像３３３を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、図２６の下段にある画像３３３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。
なお、この場合、仮想視点画像生成部１０５は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。
【０１８８】
このように、本実施例においては、視差調整部３１１は、信頼度算出部１０４の算出した信頼度Ｒ、さらに、信頼度データベース３１３から、信頼度と最適視差量との対応関係情報、これらを入力する。
視差調整部３１１は、これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
【０１８９】
（５−３．ＬＰＦを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について）
次に、ＬＰＦ（ローパスフィルタ）を適用した視差情報変換と仮想視点画像の変換処理を含む仮想視点画像生成部の実施例について図２７を参照して説明する。
【０１９０】
図２７に示す仮想視点画像生成部１０５は、第１ＬＰＦ（ローパスフィルタ）３３１、視差情報選択部３３２、画像合成部３３３、第２ＬＰＦ（ローパスフィルタ）３３４、仮想視点画像選択部３３５を有する。
【０１９１】
第１ＬＰＦ（ローパスフィルタ）３３１は、視差推定部１０３の生成する推定視差情報（視差マップ）を入力してＬＰＦを適用する。ＬＰＦの適用により、視差情報の急激な変化部分はなだらかに変化するように変換される。
第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報は、視差情報選択部３３２に入力される。
【０１９２】
視差情報選択部３３２は、以下の情報を入力する。
（ａ）視差推定部１０３の生成した推定視差情報（視差マップ）
（ｂ）第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒ
【０１９３】
視差情報選択部３３２は、これらの情報を入力して以下の処理を実行する。
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値以上の信頼度の高い画素については、
（ａ）視差推定部１０３の生成した推定視差情報（視差マップ）に含まれる画素対応の視差情報を画像合成部３３３に選択出力する。
【０１９４】
一方、
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値未満の信頼度の低い画素については、
（ｂ）第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報に含まれる画素対応の視差情報を画像合成部３３３に選択出力する。
【０１９５】
これらの出力情報は、画像合成部３３３に入力される。
画像合成部３３３は、これらの視差情報に基づいて仮想視点画像を生成する。
仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って入力ＬＲ画像を利用して実行される。
【０１９６】
画像合成部３３３の生成した仮想視点画像は第２ＬＰＦ３３４と、仮想視点画像選択部３３５に入力される。
第２ＬＰＦ３３４は、画像合成部３３３の生成した仮想視点画像に対してＬＰＦを適用する。このＬＰＦ適用処理によって、仮想視点画像内の急激な画素値変化部分はなだらかな変化に変換される。
この第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像は仮想視点画像選択部３３５に入力される。
【０１９７】
仮想視点画像選択部３３５は、以下の情報を入力する。
（ｄ）画像合成部３３３の生成した仮想視点画像
（ｅ）第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒ
【０１９８】
仮想視点画像選択部３３５は、これらの情報を入力して以下の処理を実行する。
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値以上の信頼度の高い画素については、
（ｄ）画像合成部３３３の生成した仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。
【０１９９】
一方、
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値未満の信頼度の低い画素については、
（ｅ）第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。
【０２００】
図２７に示す仮想視点画像生成部１０５は、このようにＬＰＦを適用して視差情報の変換と、仮想視点画像の変換を実行して仮想視点画像を生成する。
【０２０１】
［６．解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について］
次に、図２８を参照して、解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について説明する。
【０２０２】
図２８に示す画像処理装置４００は、点線で示す領域４０１は、信頼度選択部４１５を除いて、図１に示す画像処理装置１００と同様の構成である。
本実施例の画像処理装置４００は、図１に示す画像処理装置の構成に、解像度変換部４１１、第２視差推定部４１２、第２信頼度算出部４１３、解像度逆変換部４１４、信頼度選択部４１５を追加した構成を持つ。
【０２０３】
解像度変換部４１１は、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像と、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の解像度変換を実行する。
具体的には、入力ＬＲ画像より低解像度の画像を生成する。
【０２０４】
第２視差推定部４１２は、解像度変換部４１１の生成した低解像度のＬＲ画像を用いて視差を推定する。低解像度画像に基づく推定視差情報を生成する。
この推定視差情報は、第２信頼度算出部４１３に入力される。
【０２０５】
第２信頼度算出部４１３は、第２視差推定部４１２の生成した推定視差情報の信頼度を算出する。この信頼度算出処理は、先に図６〜図２１を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度（Ｒ０〜Ｒ５）を算出して、予め設定した重みα０〜α５を利用して重み付け加算を実行して信頼度を算出する。
この信頼度は低解像度画像の各画素単位で設定される。
この信頼度情報は、解像度逆変換部４１４に入力される。
【０２０６】
解像度逆変換部４１４は各画素対応の信頼度情報を解像度変換部４１１の解像度変換の逆の解像度変換処理を実行し、元の入力画像の画素数に戻す処理を行う。
この解像度逆変換処理によって生成した第２信頼度情報は信頼度選択部４１５に入力される。
【０２０７】
図に示す第１視差推定部１０３は、前述の図１以下を参照して説明したと同様の処理を実行し、入力ＬＲ画像に基づく推定視差情報を生成する。
第１信頼度算出部１０４も前述の図１以下を参照して説明したと同様の処理を実行し、第１視差推定部１０３の生成した画素単位の推定視差情報に対応する信頼度を算出する。先に図６〜図２１を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度（Ｒ０〜Ｒ５）を算出して、予め設定した重みα０〜α５を利用して重み付け加算を実行して信頼度を算出する。
この第１信頼度算出部１０４の算出した第１信頼度は、信頼度選択部４１５に入力される。
【０２０８】
信頼度選択部４１５は、以下の情報を入力する。
（ａ）第１信頼度算出部１０４の算出した入力ＬＲ画像ベースの推定視差情報に対応する第１信頼度情報、
（ｂ）第２信頼度算出部４１３の算出した低解像度のＬＲ画像ベースの推定視差情報に対応する第２信頼度情報、
すなわち、信頼度選択部４１５は、各画素に対応する２つの信頼度情報を入力する。
信頼度選択部４１５は、これら２つの信頼度情報を画素単位で比較して、高い方の信頼度情報を選択し、高い信頼度情報をその画素の信頼度情報として出力する。
【０２０９】
画素単位で選択された信頼度情報は、仮想視点画像生成部１０５に入力される。
仮想視点画像生成部１０５は、先に図２２〜図２７を参照して説明した処理を実行して、信頼度情報を参照した仮想視点画像の生成処理を実行する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【０２１０】
このように、本実施例の構成では、
解像度変換前の画像に基づく視差の推定と信頼度情報算出処理、
さらに、低解像度に変換した低解像度画像に基づく視差の推定と信頼度情報算出処理、
これらの２つの処理を実行して、それぞれの画像に応じた２つの信頼度情報を生成する。さらに、これら２つの信頼度情報について、画素単位で高い信頼度情報が得られた方を最終的な信頼度情報として利用する。
この処理により、例えば局所的な画像エラー等によって発生する視差推定の誤り等の影響を削減することが可能となる。
【０２１１】
なお、前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【０２１２】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【０２１３】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【０２１４】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【０２１６】
（２）前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する前記（１）に記載の画像処理装置。
（３）前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する前記（１）または（２）に記載の画像処理装置。
【０２１７】
（４）前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する前記（３）に記載の画像処理装置。
（５）前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する前記（３）に記載の画像処理装置。
【０２１８】
（６）前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２１９】
（８）前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記信頼度算出部は、前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２２０】
（１０）前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する前記（１０）に記載の画像処理装置。
【０２２１】
（１２）前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する前記（１）〜（１１）いずれかに記載の画像処理装置。
（１３）前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、
上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する前記（１）〜（１２）いずれかに記載の画像処理装置。
【０２２２】
（１４）３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【０２２３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２２４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２２５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２２６】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく推定視差の信頼度に応じた最適な多視点画像を生成する構成が実現される。
具体的には、３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
この処理により、推定視差の信頼度に応じた最適な多視点画像を生成することができる。
【符号の説明】
【０２２７】
１００ 画像処理装置
１０１ 左視点画像（Ｌ画像）入力部
１０２ 右視点画像（Ｒ画像）入力部
１０３ 視差推定部
１０４ 信頼度算出部
１０５ 仮想視点画像生成部
１０６ 表示制御部
１０７ 表示部
１２１ ブロック
１３１ 入力Ｌ画像
１３２ 入力Ｒ画像
１３３ 仮想視点画像
１７１ 第１信頼度（Ｒ０）算出部
１７２ 第２信頼度（Ｒ１）算出部
１７３ 第３信頼度（Ｒ２）算出部
１７４ 第４信頼度（Ｒ３）算出部
１７５ 第５信頼度（Ｒ４）算出部
１８１ 演算部
２０１ 入力Ｌ画像
２０２ 推定視差情報
２０３ 視差補償画像
２０４ 入力Ｒ画像
２０５ 残差マップ
２１１ 入力Ｌ画像
２１２ 推定視差情報
２１３
２１４ 残差マップ
２３２ 推定視差情報
３１１ 視差調整部
３１２ 画像合成部
３１３ 信頼度データベース
３３１ 第１ＬＰＦ
３３２ 視差情報選択部
３３３ 画像合成部
３３４ 第２ＬＰＦ
３３５ 仮想視点画像選択部
４１１ 解像度変換部
４１２ 第２視差推定部
４１３ 第２信頼度算出部
４１４ 解像度逆変換部
４１５ 信頼度選択部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
すなわち、左眼には左目から観察した画像に相当する左視点画像が観察され、右眼には右目から観察した画像に相当する右視点画像が観察されるような制御を行う。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左視点画像と右視点画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左視点画像と右視点画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左視点画像と右視点画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左視点画像と右視点画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左視点画像と右視点画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じた最適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左視点画像と右視点画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理は、生成する仮想視点画像の品質が考慮されておらず、左視点画像と右視点画像の中心を基準に仮想視点位置を決定する構成としている。従って、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１０】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１１】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【００１２】
また、この特許文献１（特開２００６−１１５１９８号公報）は、入力するオリジナルの左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の３Ｄ画像から最大視差量を検出し、クロストーク量や融像視差範囲に最大視差を収めるように、仮想視点位置を決定する手法を提案している。すなわち、入力ＬＲ画像の持つ最大視差量に応じて生成する仮想視点画像の視点間隔を決定する手法を開示している。
【００１３】
しかし、オリジナルＬＲ画像からの最大視差の検出時に、最大視差を持つ画像領域の画像や、画像領域の注目のしやすさを考慮していない。したがって、例えば以下のような問題点が発生する。
・最大視差検出時に、最大視差を持つ画像領域の面積を考慮していないため、面積の小さい物体が最大視差をもつ場合は、視覚的にほとんど影響がない最大視差画像領域の存在に応じて、不必要に仮想視点間隔を狭めてしまう可能性がある。
・また、最大視差検出時に最大視差を持つ画像領域の注目のしやすさを考慮していないため、視覚的に注目されない画像領域が最大視差を持つ場合、視覚的にほとんど影響のない画像領域の最大視差情報に応じて、不必要に仮想視点間隔を狭めてしまう場合や、広めてしまう場合がある。
【００１４】
また、特許文献２（特開２００６−１２６９６５号公報）は、入力するオリジナルの左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を用いて、これらの画像を用いた視差合成の際に推定誤差に応じてフィルタ処理を行う構成を開示している。
【００１５】
しかし、この特許文献２は、推定する誤差の導出手法について必ずしも明確でなく、誤差の推定手法の信頼性が劣る場合には、フィルタ処理の適用によっても破綻のある合成画像が生成される可能性がある。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００６−１２６９６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく品質の高い多視点画像の生成処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１８】
また、本開示は、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、例えば、視差の推定処理とその推定処理結果の信頼度算出を実行して、算出した信頼度に応じて視差調整を実行することで、高品質な多視点画像の生成を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【００１９】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度算出部は、前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する。
【００３２】
さらに、本開示の第２の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置にある。
【００３３】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
視差推定部が、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成し、
信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、
仮想視点画像生成部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法にある。
【００３４】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
視差推定部において、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する処理と、
信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、
仮想視点画像生成部において、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記仮想視点画像生成処理においては、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラムにある。
【００３５】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３６】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３７】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく推定視差の信頼度に応じた最適な多視点画像を生成する構成が実現される。
具体的には、３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
この処理により、推定視差の信頼度に応じた最適な多視点画像を生成することができる。
【図面の簡単な説明】
【００３８】
【図１】画像処理装置の構成例について説明する図である。
【図２】視差推定部の処理例について説明する図である。
【図３】仮想視点画像の生成処理の一例について説明する図である。
【図４】仮想視点画像の生成処理の一例について説明する図である。
【図５】仮想視点画像の生成処理の一例について説明する図である。
【図６】信頼度算出部の具体例について説明する図である。
【図７】第１信頼度算出部の実行する処理について説明する図である。
【図８】第１信頼度算出部の実行する処理について説明する図である。
【図９】第１信頼度算出部の実行する処理について説明する図である。
【図１０】第１信頼度算出部の実行する処理について説明する図である。
【図１１】第１信頼度算出部の実行する処理について説明する図である。
【図１２】第１信頼度算出部の実行する処理について説明する図である。
【図１３】第１信頼度算出部の実行する処理について説明する図である。
【図１４】第２信頼度算出部の実行する処理について説明する図である。
【図１５】第２信頼度算出部の実行する処理について説明する図である。
【図１６】第２信頼度算出部の実行する処理について説明する図である。
【図１７】第３信頼度算出部の実行する処理について説明する図である。
【図１８】第３信頼度算出部の実行する処理について説明する図である。
【図１９】第３信頼度算出部の実行する処理について説明する図である。
【図２０】第４信頼度算出部の実行する処理について説明する図である。
【図２１】第５信頼度算出部の実行する処理について説明する図である。
【図２２】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２３】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２４】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２５】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２６】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２７】仮想視点画像生成部の実行する具体的な処理例について説明する図である。
【図２８】画像処理装置の一構成例について説明する図である。
【発明を実施するための形態】
【００３９】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．画像処理装置の全体構成と処理の概要について
２．視差推定部の処理について
３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について
４．信頼度算出部の処理について
４−１．第１信頼度算出部の実行する信頼度算出処理について
４−１−１．残差成分に基づく信頼度（Ｒ０）算出処理例１
４−１−２．残差成分に基づく信頼度（Ｒ０）算出処理例２
４−２．第２信頼度算出部の実行する信頼度算出処理について
４−３．第３信頼度算出部の実行する信頼度算出処理について
４−４．第４信頼度算出部の実行する信頼度算出処理について
４−５．第５信頼度算出部の実行する信頼度算出処理について
４−６．信頼度算出部における最終的な信頼度算出処理について
５．仮想視点画像生成部の処理について
５−１．信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例
５−２．信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例
５−３．ＬＰＦを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について
６．解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について
７．本開示の構成のまとめ
【００４０】
［１．画像処理装置の全体構成と処理の概要について］
まず、本開示の画像処理装置の全体構成と処理の概要について図１を参照して説明する。その後、各構成部の処理の詳細について説明する。
図１に示すように、画像処理装置１００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１０３、信頼度算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１００において生成した画像が表示部１１０に出力される。
なお、図１に示す構成では、表示部１１０を画像処理装置１００の外部構成として示しているが、画像処理装置１００内に表示部１１０を有する構成としてもよい。
【００４１】
なお、図１は、画像処理装置の主要構成を示すものであり、画像処理装置１００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
例えば制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。
【００４２】
左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２は、予め生成された３次元（３Ｄ）画像表示用の左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力する。
左視点画像（Ｌ画像）は、左眼から観察される画像に相当し、右視点画像（Ｒ画像）は、右眼から観察される画像に相当する。
【００４３】
ただし、これらの２つの画像は、標準的な２つのＬＲ画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備えた裸眼３Ｄ表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい３Ｄ画像として観察されるＬＲ画像である。
ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【００４４】
画像処理装置１００は、この問題を解決するために、正規の１つの観察位置に対応する入力ＬＲ画像、すなわち標準の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点（仮想視点）からの画像を生成する。
【００４５】
視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４６】
信頼度算出部１０４は、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。
【００４７】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００４８】
仮想視点画像生成部１０５は、例えば信頼度算出部１０４から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【００４９】
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報を参照した仮想視点画像の生成処理を実行する。すなわち入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像を生成して出力する。仮想視点画像生成部１０５は、例えば、生成する仮想視点画像の視差間隔を、信頼度算出部１０４の算出した信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。この処理の詳細については後述する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【００５０】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００５１】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００５２】
なお、画像処理装置１００は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００５３】
［２．視差推定部の処理について］
次に、視差推定部１０３の処理について説明する。
視差推定部１０３は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００５４】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００５５】
図２を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。
図２に示すように、入力したオリジナルの標準画像である、
（ａ）左視点画像（Ｌ画像）と、
（ｂ）右視点画像（Ｒ画像）、
これらの入力ＬＲ画像を利用し、例えばＬ画像の画素領域（ブロック）１２１を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００５６】
図２において、例えばＬ画像の画素領域（ブロック）１２１の注目画素ＬＰ＝（５，３）の、Ｒ画像における対応画素は、ＲＰ＝（７，３）である。
この場合、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）のＬＲ画像間の視差ｄ（５，３）は以下のように算出される。
視差ｄ（５，３）＝（７，３）−（５，３）＝（２，０）、
すなわち、
Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）の視差ｄは２画素［ｐｉｘｅｌ］となる。
【００５７】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像あるいは視差マップ）がある。デプスマップ（視差マップ）は、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００５８】
［３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について］
次に、仮想視点画像生成部１０５の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００５９】
例えば予め設定した数（例えば１０）の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、入力画像である左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図３以下を参照して説明する。
【００６０】
図３には、画像処理装置に入力するオリジナルの左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１３３を示している。
左視点画像（Ｌ画像）１３１は標準位置における左眼視点位置から観察した画像であり、右視点画像（Ｒ画像）１３２は標準位置における右眼視点位置から観察した画像である。
左視点画像（Ｌ画像）１３１の視点位置を０．０、
右視点画像（Ｒ画像）１３２の視点位置を１．０とする。
【００６１】
図３は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１３３として生成する場合の処理例を示している。
左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図３に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００６２】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００６３】
入力ＬＲ画像のブレンド処理に基づく仮想視点画像１３１の画素値の決定処理例について図４を参照して説明する。
図４には、
視点位置＝０である入力左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１、
視点位置＝１である入力右視点画像（Ｒ画像）におけるＬ画像の画素Ｐの対応画素１４２、
視点位置＝Φである仮想視点画像におけるＬ画像の画素Ｐの対応画素１４３、
これらを示している。
なお、
Φ＝０〜１
である。
【００６４】
左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の視差がｄ（ｘ，ｙ）［ｐｉｘｅｌ］である場合、
仮想視点画像におけるＬ画像の画素Ｐ（ｘ，ｙ）の対応画素１４３の画素位置は、
画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）とする。
すなわち、仮想視点画像における画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）の画素値を、左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の画素値に設定する。
仮想視点画像の各画素の画素値は、このように、左視点画像（Ｌ画像）の画素の視差情報に基づいて設定する。
なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像（Ｒ画像）を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。
【００６５】
図５には、
左視点画像（Ｌ画像）の水平ライン１５１、
右視点画像（Ｒ画像）の水平ライン１５２
仮想視点画像の水平ライン１５３、
を示している。
図に示す矢印は、仮想視点画像の水平ライン１５３の画素値を決定するために適用可能な左視点画像（Ｌ画像）の画素位置と、右視点画像（Ｒ画像）の画素位置を結ぶラインである。
【００６６】
図５に示す仮想視点画像の水平ライン１５３において、
１＝左視点画像（Ｌ画像）の水平ライン１５１の構成画素値によって画素値の設定された領域
２＝右視点画像（Ｒ画像）の水平ライン１５３の構成画素値によって画素値の設定された領域
３＝その他の領域
である。
【００６７】
このように、仮想視点画像の画素値の設定は、例えば、以下の３つの処理によって実行される。
１．左視点画像（Ｌ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像（Ｌ画像）の画素値を補間する。
２．右視点画像（Ｒ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像（Ｒ画像）の画素値を補間する。
３．上記１，２の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。
【００６８】
なお、図４、図５を参照して説明した処理は入力ＬＲ画像に基づいてこれらのＬＲ画像と異なる仮想視点からの画像を生成する基本的な処理である。
本開示の画像処理装置の仮想視点画像生成部１０５は、この基本的な処理をベースとして、さらに、信頼度算出部１０４から入力する信頼度情報を適用して、信頼度情報に基づいて生成する仮想視点位置等を決定して最終的な仮想視点画像を生成する。
この処理については後段で詳細に説明する。
【００６９】
［４．信頼度算出部の処理について］
次に、信頼度算出部１０４の実行する処理について説明する。
信頼度算出部１０４は、視差推定部１０３が入力ＬＲ画像に基づいて推定した各画素単位あるいは画素領域単位の視差情報の信頼度を算出する。
【００７０】
信頼度算出部１０４は、図６に示すように、
左視点画像（Ｌ画像）入力部１０１から、左視点画像（Ｌ画像）、
右視点画像（Ｒ画像）入力部１０２から、右視点画像（Ｒ画像）、
視差推定部１０３から推定視差情報を入力する。
信頼度算出部１０４は、これらの入力情報に基づいて、第１〜第５信頼度算出部１７１〜１７５において、複数の異なる処理によって複数の信頼度（Ｒ０〜Ｒ４）を算出し、演算部１８１において、これら複数の信頼度（Ｒ０〜Ｒ４）を適用して、最終的な推定視差情報の信頼度情報を算出して仮想視点画像生成部１０５に出力する。
【００７１】
演算部１８１は、第１〜第５信頼度算出部１７１〜１７５において算出した信頼度Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ４について、予め設定された重み係数α０，α１，α２，α３，α４を適用した以下の式に従って重み付き和（Ｒ）を算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部１０５に出力する。
Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
【００７２】
なお、図６には第１〜第５信頼度算出部１７１〜１７５、これら５種類の信頼度算出部を示しているが、これら５つの全てではなく１つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。
以下、図６に示す第１〜第５信頼度算出部１７１〜１７５の実行する信頼度算出処理の詳細について、説明する。
【００７３】
（４−１．第１信頼度算出部の実行する信頼度算出処理について）
第１信頼度算出部１７１は、視差補償の残差成分に基づく信頼度（Ｒ０）を算出する。
すなわち、視差推定部１０３から入力する画素単位の推定視差情報を適用して視差補償画像を生成し、この視差補償画像に含まれる画素値に基づいて、視差推定部１０３の生成した推定視差情報の信頼度を判定する。
視差補償の残差成分に基づく信頼度（Ｒ０）算出処理例に関する複数の処理例について説明する。
【００７４】
（４−１−１．残差成分に基づく信頼度（Ｒ０）算出処理例１）
図７は、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例１について説明する図である。
第１信頼度算出部１７１は、まず、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像２０１に対して、視差推定部１０３から入力する画素単位の推定視差情報２０２を適用して視差補償画像２０３を生成する。
【００７５】
推定視差情報２０２は、例えば視差マップとも呼ばれ、視差推定部１０３の生成した視差情報を輝度で表現した画像データである。視差マップは、視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００７６】
視差補償画像２０３は、Ｌ画像２０１に対して、視差推定部１０３から入力する画素単位の推定視差情報２０２を適用して生成される仮想視点画像である。ただし、この仮想視点は、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の視点位置（位相＝１）に相当する視点位置である。
【００７７】
推定視差情報２０２を適用して生成した視差補償画像２０３は、視差推定部１０３の生成した画素単位の推定視差情報２０２が正しければ、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像に一致することになる。
【００７８】
しかし、実際には、視差推定部１０３の生成した推定視差情報２０２には、推定エラー等が含まれ、Ｌ画像２０１に基づいて生成した視差補償画像２０３と、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像２０４とには差分が発生する。
【００７９】
この視差補償画像２０３と、入力Ｒ画像２０４との対応画素単位の画素値差分を画像単位で算出したマップ、すなわち、図に示す残差マップ２０５を生成する。図に示す残差マップ２０５は、視差補償画像２０３と、入力Ｒ画像２０４との対応画素単位の画素値差分を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。
【００８０】
この残差マップ２０５から、画素単位の差分である残差と予め設定した閾値（Ｔｈ）を比較し、閾値（Ｔｈ）より大きい残差を持つ画素数をカウントする。このカウント値をＮとして、Ｎの値に応じて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０を決定する。
【００８１】
すなわち、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが多い場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は低い。
一方、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎが少ない場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は高いと判定する。
【００８２】
閾値（Ｔｈ）より大きい残差を持つ画素数Ｎと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０との対応関係は、具体的には、例えば図８に示すような対応関係として規定される。
【００８３】
すなわち、第１信頼度算出部１７１は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０の値を、閾値（Ｔｈ）より大きい残差を持つ画素数Ｎの値に応じて、以下のように算出する。
０≦Ｎ≦Ｎｍｉｎ：信頼度Ｒ０＝Ｒ０ｍａｘ
Ｎｍｉｎ≦Ｎ≦Ｎｍａｘ：信頼度Ｒ０＝Ｒ０ｍａｘ〜Ｒ０ｍｉｎ
Ｎｍａｘ≦Ｎ：信頼度Ｒ０＝Ｒ０ｍｉｎ
【００８４】
なお、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｎｍｉｎ≦Ｎ≦Ｎｍａｘの範囲では、信頼度Ｒ０は、Ｒ０ｍａｘ〜Ｒ０ｍｉｎ間を直線的に変化させる。
【００８５】
なお、上記処理例では、Ｌ画像を基準として、Ｌ画像に基づいて視差補償画像を生成する処理例について説明したが、上述した処理におけるＬ画像をＲ画像に置き換えた処理を行ってもよい。すなわち、Ｒ画像を基準としてＲ画像に基づいて視差補償画像を生成して処理を行う構成としてもよい。
【００８６】
なお、以下の処理例においてもすべてＬ画像を基準として実行する処理について説明するが、これらの処理においてもＬＲ画像を入れ替えた処理として実行する構成としてもよい。
【００８７】
（４−１−２．残差成分に基づく信頼度（Ｒ０）算出処理例２）
次に、図９、図１０を参照して、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例２について説明する。
【００８８】
本処理例２では、入力画像であるＬ画像に対して、視差推定部１０３から入力する画素単位の推定視差情報を適用して、視差に対応する距離をシフトさせた入力Ｒ画像の画素位置を、対応画素位置として求める。
Ｌ画像の各画素と、上記の処理で求めたＲ画像の対応画素位置の画素値の差分を残差Ｄとして算出する。
画像全体の残差Ｄの加算値に基づいて、視差推定部１０３の生成した推定視差情報の信頼度を判定する。
【００８９】
図９は、第１信頼度算出部１７１の実行する残差成分に基づく信頼度（Ｒ０）算出処理例２について説明する図である。
第１信頼度算出部１７１は、まず、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像２１１の各画素に対応する視差情報を、視差推定部１０３の生成した推定視差情報２１２に基づいて取得する。
【００９０】
ここでは、水平方向（Ｘ方向）のみに視差が存在すると仮定する。
例えばＬ画像２１１の画素（ｘ，ｙ）に対する視差をｄ（ｘ）とする。ｄ（ｘ）は例えば２ｐｉｘｅｌ（２画素）等の視差に相当する画素数として表現される。
【００９１】
第１信頼度算出部１７１は、Ｌ画像２１１の画素（ｘ，ｙ）に対する視差ｄ（ｘ）に基づいて、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像２１３の対応画素位置を決定する。すなわち、Ｌ画像２１１の画素（ｘ，ｙ）と同じＲ画像２１３の画素位置（ｘ，ｙ）から視差ｄ（ｘ）に相当する距離、水平方向に移動した位置を対応画素位置として設定する。
【００９２】
視差推定部１０３の推定視差情報が正確な値であれば、このＲ画像２１３における対応画素位置の画素値は、Ｌ画像２１１の画素（ｘ，ｙ）と同じ画素値を持つ。
しかし、視差推定部１０３の推定視差情報が不正確な値であれば、このＲ画像２１３における対応画素位置の画素値は、Ｌ画像２１１の画素（ｘ，ｙ）と異なる画素値となる可能性が高い。
【００９３】
このＬ画像２１１とＲ画像２１３の対応画素の画素値差分を残差成分（Ｄ）として算出する。例えば、画像全体の残差成分を濃淡情報で表現した残差マップ２１４を生成する。
図に示す残差マップ２１４は、Ｌ画像２１１とＲ画像２１３の対応画素の画素値差分（残差）を濃淡情報で表現したマップである。例えば黒い部分がより差分が大きいことを示す。
【００９４】
この残差マップ２１４に示される画素単位の差分（残差）を画像全体で加算した値を残差成分量Ｄとして算出する。
この残差成分量Ｄの値に応じて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０を決定する。
【００９５】
すなわち、残差成分量Ｄが大きい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は低い。
一方、残差成分量Ｄが小さい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０は高いと判定する。
【００９６】
残差成分量Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０との対応関係は、具体的には、例えば図１０に示すような対応関係として規定される。
【００９７】
すなわち、第１信頼度算出部１７１は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ０の値を、残差成分量Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ０＝Ｒ０ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ０＝Ｒ０ｍａｘ〜Ｒ０ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ０＝Ｒ０ｍｉｎ
【００９８】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ０は、Ｒ０ｍａｘ〜Ｒ０ｍｉｎ間を直線的に変化させる。
【００９９】
なお、図７〜図１０を参照して説明した処理は、視差推定部１０３から入力する画素単位の推定視差情報を適用した残差成分に基づく推定視差の信頼度算出処理を行うものであるが、例えば推定視差の誤り、すなわち残差成分の残る仮想視点画像を生成した場合でも、残差成分は、画像の各領域の特徴（素性）によって目立つ場合と影響の少ない場合があるため、残差成分に基づく信頼度判定に際しては、画像の各領域の特徴によって異なる処理を行う設定としてもよい。
【０１００】
具体的には、例えば、残差成分の残る仮想視点画像を生成した場合、
テクスチャ領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が大きくなり、画像を観察した場合にエラーが目立つことになる。
一方、平坦領域では、残差成分、すなわち推定視差のずれによる画像に対する影響が小さくなり、画像を観察した場合でもエラーが目立つことは少ない。
【０１０１】
このような事情を考慮して、画像の領域の特徴（素性）を検出し、検出した画像領域単位の特徴に応じて、残差成分の導出方法を適応的に変更する設定としてもよい。
例えば画像領域の特徴量として、以下のような特徴量を検出する。
空間アクティビティ
ダイナミックレンジ
【０１０２】
また、上記の画像領域単位の特徴量に応じて、残差成分に応じて算出する信頼度を適応的に変化させる。具体的には、例えば、
先に図８、図１０を参照して説明した信頼度算出処理に用いる各種のパラメータ、すなわち、
図８のグラフに示す以下のパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
図１０のグラフに示す以下のパラメータ、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ０ｍｉｎ、Ｒ０ｍａｘ、
あるいは、図７に示す閾値（Ｔｈ）、
これらのパラメータを画像領域単位の特徴量に応じて変更するといた処理を行う。
【０１０３】
具体例について、図１１を参照して説明する。
図１１は、画像、例えば入力Ｌ画像に対して画素単位の特徴量として空間アクティビティを検出し、空間アクティビティの値に応じて図７に示す閾値（Ｔｈ）を変更して、残差成分の指標としてのカウント値（Ｎ）を変更する設定とした例を示す図である。
【０１０４】
なお、空間アクティビティは、例えば図１１（空間アクテイビティ算出処理例）に示すように、注目画素を中心とする画素領域（例えば３×３画素）における隣接画素間の画素値差分の絶対値の総和として算出する。
画素値差分の絶対値総和の値が大きい領域はテクスチャ領域（エッジ領域）であり、小さい領域は平坦領域であると判定することができる。
【０１０５】
図１１に示すグラフは、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。
ここで、図７を参照して説明した閾値（Ｔｈ）、すなわち残差ありと判定するカウント数Ｎのカウント値として参入するか否かを規定する閾値（Ｔｈ）を図に示すように、画像領域の空間アクティビティに応じて変化させる。
このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。
【０１０６】
図１２は、図１１と異なる処理例を示している。
図１１と同様、画像、例えば入力Ｌ画像に対して画素単位の特徴量として空間アクティビティを検出する。
図１２に示す例は、空間アクティビティの値に応じて図８、図１０に示すパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｄｍｉｎ、Ｄｍａｘ、
これらのパラメータを変更して、残差成分に基づく信頼度算出処理を変更する。
【０１０７】
図１２に示すグラフは、図１１と同様、横軸が空間アクティビティ、縦軸が残差成分であり、各点は、各画素の空間アクティビティと残差成分の値に対応する。
ここで、図８、図１０に示すパラメータ、
Ｎｍｉｎ、Ｎｍａｘ、
Ｄｍｉｎ、Ｄｍａｘ、
これらのパラメータを図に示すように、画像領域の空間アクティビティに応じて変化させる。
このような設定とすることで、画像の各領域の特徴に応じた信頼度算出が行われることになる。
【０１０８】
図１１、図１２を参照して説明した処理例は、画像領域の特徴量として空間アクティビティを適用した処理例である。
画像領域の特徴量としては、この他、ダイナミックレンジを適用してもよい。
画像領域の特徴量としてダイナミックレンジを取得し、ダイナミックレンジの値に基づいて処理態様を変更する例について図１３を参照して説明する。
【０１０９】
図１３には、左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２から入力した２つの画像領域、すなわち、
（ａ）入力Ｌ画像の注目画素を中心とした３×３画素の画像領域
（ｂ）入力Ｒ画像の注目画素を中心とした３×３画素の画像領域
これらを示している。
これらの画像領域は、視差推定部１０３における視差推定処理によって対応する画素ブロックとして抽出された対応ブロックである。
すなわち、視差推定が正しければ、この２つの画素ブロックには同一被写体の画像が撮影されている。
【０１１０】
（ａ）入力Ｌ画像の注目画素を中心とした３×３画素の画像領域に含まれる９画素から、
最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＬ）、
最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＬ）、
これらの画素値を取得する。
同様に、
（ｂ）入力Ｒ画像の注目画素を中心とした３×３画素の画像領域に含まれる９画素から、
最大の画素値（輝度値）を持つ画素の画素値（ｍａｘＲ）、
最小の画素値（輝度値）を持つ画素の画素値（ｍｉｎＲ）、
これらの画素値を取得する。
【０１１１】
さらに、注目画素に対応する残差成分を、
Ｌ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｌｘ）
Ｌｘ＝（ｍａｘＬ＋ｍｉｎＬ）／２＋α（ｍａｘＬ−ｍｉｎＬ）〜（ｍａｘＬ＋ｍｉｎＬ）／２−α（ｍａｘＬ−ｍｉｎＬ）
と、
Ｒ画像の画素ブロックの画素値の中間値とダイナミックレンジを用いた算出値（Ｒｘ）
Ｒｘ＝（ｍａｘＲ＋ｍｉｎＲ）／２＋α（ｍａｘＲ−ｍｉｎＲ）〜（ｍａｘＲ＋ｍｉｎＲ）／２−α（ｍａｘＲ−ｍｉｎＲ）
これらを算出する。
【０１１２】
なお、
（ｍａｘＬ＋ｍｉｎＬ）／２は、Ｌ画像の画素ブロックの画素値の中間値
（ｍａｘＬ−ｍｉｎＬ）は、Ｌ画像の画素ブロックの画素値のダイナミックレンジに対応する。
（ｍａｘＲ＋ｍｉｎＲ）／２は、Ｒ画像の画素ブロックの画素値の中間値
（ｍａｘＲ−ｍｉｎＲ）は、Ｒ画像の画素ブロックの画素値のダイナミックレンジに対応する。
αは係数である。
【０１１３】
さらに、ＬｘとＲｘの差分の最小値を算出して、この差分を注目画素の残差成分とする。
このとき、ＬｘとＲｘの差分の最小値は、各画素ブロックのダイナミックレンジに応じて変化することになる。
結果として、画素ブロック単位のダイナミックレンジに応じて算出される残差成分が適応的に調整される。
このようなダイナミックレンジを画像領域の特徴量として用いて、画像の各領域のダイナミックレンジの値に応じた信頼度算出が可能となる。
【０１１４】
（４−２．第２信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第２信頼度算出部１７２の実行する信頼度（Ｒ1）算出処理例について説明する。
図６に示す第２信頼度算出部１７２は、視差マップの水平隣接画素差分に基づいて信頼度（Ｒ１）を算出する。視差マップは、視差推定部１０３の生成した視差情報を輝度表現した画像データである。
【０１１５】
図１４は、仮想視点画像の生成処理例を示している。例えば、入力Ｌ画像の画素値を利用して、視差推定部１０３の生成した視差情報を利用して仮想視点画像の画素値を設定する場合を想定する。
図１４に示すＬ画像はＬ画像の１つの水平方向ラインを示し、矢印は、視差推定部１０３の生成した視差情報に対応する。
【０１１６】
Ｌ画像の画素領域ａと画素領域ｂにおいて、異なる距離を持つ異なる被写体が設定されているような場合、
Ｌ画像の領域ａに対応する視差情報に従って、仮想視点画像の領域ａｘにＬ画像の領域ａと同様の画素値が設定される。
同様に、Ｌ画像の領域ｂに対応する視差情報に従って、仮想視点画像の領域ｂｘにＬ画像の領域ｂと同様の画素値が設定される。
【０１１７】
しかし、この場合、仮想視点画像の領域２３１には、Ｌ画像のどの領域も対応する画素値が存在せず、画素値の設定ができない領域、すなわち、画素値設定不可領域２３１となってしまう。
【０１１８】
このような画素領域に対しては、他の画像、あるいは生成した仮想視点画像の近傍画素の画素値を利用した補間処理が必要になる。しかし、結果としては不自然な画像になる可能性が高い。
【０１１９】
図６に示す第２信頼度算出部１７２の実行する信頼度（Ｒ1）算出処理では、このような画素値設定不可領域の発生可能性を画素単位で算出し、この可能性に応じて推定視差情報の信頼度Ｒ１を算出する。
【０１２０】
具体的な信頼度算出処理例について図１５を参照して説明する。
図６に示す第２信頼度算出部１７２は、図１に示す視差推定部１０３から推定視差情報２３２を入力する。
図１５に示す推定視差情報２３２は、各画素単位で、推定視差を画素の濃淡（輝度）で表現したものである。
【０１２１】
この視差推定情報に対して、注目画素を中心とした水平方向の３画素を順次選択する。さらに、
注目画素の視差を示す画素値（輝度値）と左隣接画素の視差を示す画素値（輝度値）差分絶対値、
注目画素の視差を示す画素値（輝度値）と右隣接画素の視差を示す画素値（輝度値）差分絶対値、
これらを算出し、
これらの２つの差分絶対値を加算して差分絶対値和（Ｄ）を算出する。
【０１２２】
この差分絶対値和Ｄに基づいて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１を決定する。
すなわち、差分絶対値和Ｄが大きい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１は低い。
一方、差分絶対値和Ｄが小さい場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１は高いと判定する。
【０１２３】
差分絶対値和Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１との対応関係は、具体的には、例えば図１６に示すような対応関係として規定される。
【０１２４】
すなわち、第２信頼度算出部１７２は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ１の値を、差分絶対値和Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ１＝Ｒ１ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ１＝Ｒ１ｍａｘ〜Ｒ１ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ１＝Ｒ１ｍｉｎ
【０１２５】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ１ｍｉｎ、Ｒ１ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ１は、Ｒ１ｍａｘ〜Ｒ１ｍｉｎ間を直線的に変化させる。
【０１２６】
（４−３．第３信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第３信頼度算出部１７３の実行する信頼度（Ｒ２）算出処理例について説明する。
図６に示す第３信頼度算出部１７３は、縦エッジ部の視差の垂直隣接画素差分に基づいて信頼度（Ｒ２）を算出する。
【０１２７】
縦エッジ部、すなわち垂直方向である縦方向のエッジが存在する画像領域では、水平方向に画素値や輝度が大きく変化する領域であり、このような縦エッジ部において、視差推定の誤りが発生すると、観察した３Ｄ画像の不自然さがより目立ってしまう。
従って、画像の縦エッジ部においては、視差推定部１０３の生成する推定視差情報を利用した仮想視点画像を生成する場合、その推定視差情報は、横エッジ部よりさらに正確であることが求められる。
【０１２８】
第３信頼度算出部１７３は、上記事情を考慮して、画像領域単位で縦エッジの強度に応じた信頼度（Ｒ２）を算出する。
なお、縦エッジ部であるか否かを判定するためには、例えば図１７に示す方法が適用可能である。
【０１２９】
図１７に示すようにＬ画像から、注目画素２４１を含む入力Ｌ画像の２×３画素領域を抽出し、これらの各隣接画素間の画素値（輝度値でも可）の差分絶対値を算出し、
横（水平）方向の隣接画素間の複数の差分絶対値を加算した横方向差分絶対値和、
縦（垂直）方向の隣接画素間の複数の差分絶対値を加算した縦方向差分絶対値和、
これらを算出する。
【０１３０】
さらに、予め設定したしきい値：Ｔｈ＿Ｈ、Ｔｈ＿Ｖと比較する。すなわち、
（１）横方向の差分絶対値和＞Ｔｈ＿Ｈ
（２）縦方向の差分絶対値和＜Ｔｈ＿Ｖ
この（１），（２）の双方を満たすか否かを判定する。
上記（１），（２）の双方を満たす場合、
注目画素２４１は縦エッジ部であると判定する。
一方、上記（１），（２）のいずれか一方でも満たさない場合、
注目画素２４１は縦エッジ部であると判定することができる。
【０１３１】
第３信頼度算出部１７３は、このような縦エッジの強度に応じた信頼度（Ｒ２）を算出する。
なお、縦エッジの領域では、例えばブロックマッチング等の処理によって行われる視差推定部１０３の生成する推定視差情報の信頼度は高くなる。
【０１３２】
第３信頼度算出部１７３において実行する縦エッジの強度に応じた信頼度（Ｒ２）算出処理について図１８を参照して説明する。
図１８に示すように、第３信頼度算出部１７３は、図１に示す視差推定部１０３から推定視差情報２３２を入力する。
図１８に示す推定視差情報２３２は、各画素単位で、推定視差を画素の濃淡（輝度）で表現したものである。
【０１３３】
この視差推定情報に対して、注目画素を中心とした垂直方向の３画素を順次選択する。さらに、
注目画素の視差を示す画素値（輝度値）と上隣接画素の視差を示す画素値（輝度値）差分絶対値、
注目画素の視差を示す画素値（輝度値）と下隣接画素の視差を示す画素値（輝度値）差分絶対値、
これらを算出し、
これらの２つの差分絶対値を加算して差分絶対値和（Ｄ）を算出する。
【０１３４】
この差分絶対値和Ｄに基づいて、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２を決定する。
差分絶対値和Ｄが大きい場合は、縦方向にも画素値（輝度）の大きな差が存在しており、縦エッジの傾向が低く、この場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２を低い値として設定する。
一方、差分絶対値和Ｄが小さい場合は、縦方向の画素値（輝度）の差が少なく、縦エッジの傾向が高く、この場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２は高いと判定する。
【０１３５】
差分絶対値和Ｄと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２との対応関係は、具体的には、例えば図１９に示すような対応関係として規定される。
【０１３６】
すなわち、第３信頼度算出部１７３は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ２の値を、差分絶対値和Ｄの値に応じて、以下のように算出する。
０≦Ｄ≦Ｄｍｉｎ：信頼度Ｒ２＝Ｒ２ｍａｘ
Ｄｍｉｎ≦Ｄ≦Ｄｍａｘ：信頼度Ｒ２＝Ｒ２ｍａｘ〜Ｒ２ｍｉｎ
Ｄｍａｘ≦Ｄ：信頼度Ｒ２＝Ｒ２ｍｉｎ
【０１３７】
なお、
Ｄｍｉｎ、Ｄｍａｘ、
Ｒ２ｍｉｎ、Ｒ２ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｄｍｉｎ≦Ｄ≦Ｄｍａｘの範囲では、信頼度Ｒ２は、Ｒ２ｍａｘ〜Ｒ２ｍｉｎ間を直線的に変化させる。
【０１３８】
（４−４．第４信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第４信頼度算出部１７４の実行する信頼度（Ｒ３）の算出処理例について説明する。
図６に示す第４信頼度算出部１７４は、視差推定部１０３の生成する推定視差情報と、予め設定した推定視差の上限値や下限値との比較に基づいて信頼度（Ｒ３）を算出する。
【０１３９】
図１に示す画像処理装置１００の視差推定部１０３は、先に例えば図２を参照して説明したブロックマッチング処理などを適用して入力ＬＲ画像間の視差を推定する。
この視差推定処理では、処理の効率化のために、例えばブロックマッチングを行う場合にＬ画像に設定した１つのブロックに対してＲ画像に設定するブロックの設定範囲、すなわち探索範囲を予め設定して行われる。
【０１４０】
従って、実際の正しい視差が探索範囲を超えてしまう場合には、視差推定部１０３の生成する推定視差情報は所定の探索範囲に応じた上限値または下限値をとなる。
推定視差情報として上限値または下限値が出力されている場合、実際の視差は、その上限値より大きい、または下限値より小さい可能性が高い。
図６に示す第４信頼度算出部１７４は、このような上限値または下限値の視差が算出された画素領域を抽出して推定視差情報の信頼度（Ｒ３）を算出する。
【０１４１】
図２０を参照して、図６に示す第４信頼度算出部１７４の実行する処理について説明する。
図６に示す第４信頼度算出部１７４は、図２０（ａ）に示すように左視点画像（Ｌ画像）入力部１０１から入力するＬ画像から、注目画素２４１を含む画素領域、例えば、注目画素２４１を中心画素とした３×３画素領域を抽出し、まず、注目画素２４１に対して、視差推定部１０３の生成した推定視差情報が上限値または下限値に達しているか否かを判定する。
【０１４２】
注目画素２４１に対応する推定視差情報が上限値または下限値に達していない場合は、その注目画素の信頼度（Ｒ３）は最大値（Ｒ３ｍａｘ）とする。
注目画素２４１に対応する推定視差情報が上限値または下限値に達している場合は、注目画素２４１含む画素領域、例えば図２０（ａ）に示す３×３画素領域の９個の画素について推定視差情報が上限値または下限値に達している画素の数（Ｎ）をカウントする。
【０１４３】
第４信頼度算出部１７４は、このカウント数（Ｎ）に応じて信頼度（Ｒ３）を算出する。
推定視差情報が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる画素において、推定視差情報が上限値または下限値に達している画素数（Ｎ）が多い場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性が高いと判定し、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３を低い値として設定する。
【０１４４】
一方、推定視差情報が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる画素において、推定視差情報が上限値または下限値に達している画素数（Ｎ）が少ない場合は、その注目画素の実際の視差は、上限値より大きいまたは下限値より小さい可能性がさほど高くないと判定し、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３を高い値として設定する。
【０１４５】
画素カウント数Ｎと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３との対応関係は、具体的には、例えば図２０（ｂ）に示すような対応関係として規定される。
【０１４６】
すなわち、第４信頼度算出部１７４は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ３の値を、推定視差が上限値または下限値に達している注目画素を含む画素領域（３×３画素）に含まれる推定視差が上限値または下限値に達している画素数Ｎの値に応じて、以下のように算出する。
０≦Ｎ≦Ｎｍｉｎ：信頼度Ｒ３＝Ｒ３ｍａｘ
Ｎｍｉｎ≦Ｎ≦Ｎｍａｘ：信頼度Ｒ３＝Ｒ３ｍａｘ〜Ｒ３ｍｉｎ
Ｎｍａｘ≦Ｎ：信頼度Ｒ３＝Ｒ３ｍｉｎ
【０１４７】
なお、
Ｎｍｉｎ、Ｎｍａｘ、
Ｒ３ｍｉｎ、Ｒ３ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｎｍｉｎ≦Ｎ≦Ｎｍａｘの範囲では、信頼度Ｒ３は、Ｒ３ｍａｘ〜Ｒ３ｍｉｎ間を直線的に変化させる。
【０１４８】
（４−５．第５信頼度算出部の実行する信頼度算出処理について）
次に、図６に示す第５信頼度算出部１７５の実行する信頼度（Ｒ４）の算出処理例について説明する。
図６に示す第５信頼度算出部１７５は、図２１（１）に示すように、視差推定部１０３の生成した推定視差情報に基づいてＬ画像の各画素（ａ）に対応するＲ画像の対応画素位置（ｂ）を算出する。さらに、そのＲ画像における算出画素位置（ｂ）に対応するＬ画像間の視差を推定して、Ｌ画像の対応画素位置（ｃ）を算出する。
推定された視差が正しければ、（ａ）＝（ｃ）となる。すなわち、図に示す、
移動量（Ｘ）＝０
となる。
しかし、推定視差情報が誤りである場合は、
移動量（Ｘ）≠０
となる。
【０１４９】
図６に示す第５信頼度算出部１７５は、このような処理によって、信頼度（Ｒ４）を算出する。
なお、この処理の前提として、
視差推定部１０３は、
左視点画像（Ｌ画像）入力部１０１から入力するＬ画像に対応するＲ画像の対応画素位置の検出情報に基づくＬ画像ベースの推定視差情報、
右視点画像（Ｒ画像）入力部１０２から入力するＲ画像に対応するＬ画像の対応画素位置の検出情報に基づくＲ画像ベースの推定視差情報、
これらの２つの推定視差情報を生成して第５信頼度算出部１７５に提供しているものとする。
【０１５０】
図６に示す第５信頼度算出部１７５は、具体的には以下の処理を順次実行する。
（処理１）左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の注目画素（ａ）について、視差推定部１０３の生成したＬ画像ベースの推定視差情報に基づいて右視点画像（Ｒ画像）入力部１０２から入力するＲ画像における対応画素位置（ｂ）を取得する。
（処理２）右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の画素（ｂ）に対して、視差推定部１０３の生成したＲ画像ベースの推定視差情報に基づいてＬ画像における対応画素位置（ｃ）を取得する。
【０１５１】
（処理３）Ｌ画像における画素（ａ）と画素（ｃ）の距離（移動量Ｘ）を取得して、規定しきい値（ＴＨ＿Ｘ）と比較
（処理４）左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の全画素について上記処理１〜３を実行し、以下の判定式を満足する画素数（Ｃ）をカウント
移動量Ｘ≧ＴＨ＿Ｘ
【０１５２】
図６に示す第５信頼度算出部１７５は、この上記判定式を満足する画素数（Ｃ）に応じて推定視差情報の信頼度（Ｒ４）を算出する。
上記判定式を満足する画素数（Ｃ）が多い場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４を低い値として設定する。
一方、上記判定式を満足する画素数（Ｃ）が少ない場合は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４を高い値として設定する。
【０１５３】
画素数Ｃと、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４との対応関係は、具体的には、例えば図２１（ｂ）に示すような対応関係として規定される。
【０１５４】
すなわち、第５信頼度算出部１７５は、視差推定部１０３の生成した推定視差情報の信頼度Ｒ４の値を、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像の全画素について以下の判定式、
移動量Ｘ≧ＴＨ＿Ｘ
を満足する画素数（Ｃ）の値に応じて、以下のように算出する。
０≦Ｃ≦Ｃｍｉｎ：信頼度Ｒ４＝Ｒ４ｍａｘ
Ｃｍｉｎ≦Ｃ≦Ｃｍａｘ：信頼度Ｒ４＝Ｒ４ｍａｘ〜Ｒ４ｍｉｎ
Ｃｍａｘ≦Ｃ：信頼度Ｒ４＝Ｒ４ｍｉｎ
【０１５５】
なお、
Ｃｍｉｎ、Ｃｍａｘ、
Ｒ４ｍｉｎ、Ｒ４ｍａｘ、
これらの値は予め既定した値を用いる。
また、Ｃｍｉｎ≦Ｃ≦Ｃｍａｘの範囲では、信頼度Ｒ４は、Ｒ４ｍａｘ〜Ｒ４ｍｉｎ間を直線的に変化させる。
【０１５６】
（４−６．信頼度算出部における最終的な信頼度算出処理について）
図６を参照して説明したように、信頼度算出部１０４は、図６に示すように、
左視点画像（Ｌ画像）入力部１０１から、左視点画像（Ｌ画像）、
右視点画像（Ｒ画像）入力部１０２から、右視点画像（Ｒ画像）、
視差推定部１０３から推定視差情報を入力し、これらの入力情報に基づいて、上述したように、第１〜第５信頼度算出部１７１〜１７５において、複数の異なる処理によって複数の信頼度（Ｒ０〜Ｒ４）を算出する。
【０１５７】
図６に示す演算部１８１は、これら複数の信頼度（Ｒ０〜Ｒ４）を適用して、最終的な信頼度情報を算出して仮想視点画像生成部１０５に出力する。
演算部１８１は、第１〜第５信頼度算出部１７１〜１７５において算出した信頼度Ｒ０，Ｒ１，Ｒ２，Ｒ３，Ｒ４について、予め設定された重み係数α０，α１，α２，α３，α４を適用した以下の式に従って重み付き和（Ｒ）を算出し、この算出値を最終的な信頼度情報として仮想視点画像生成部１０５に出力する。
Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
【０１５８】
なお、図６には、第１〜第５信頼度算出部１７１〜１７５、これら５種類の信頼度算出部を示しているが、これら５つの全てではなく１つ以上の信頼度算出部を用いる構成としてもよい。あるいはさらに、他の信頼度を適用した構成とすることも可能である。
【０１５９】
［５．仮想視点画像生成部の処理について］
次に、図１に示す仮想視点画像生成部１０５の具体的処理例について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【０１６０】
仮想視点画像生成部１０５は、信頼度算出部１０４から入力する信頼度情報に応じて、視差量を調整、すなわち生成する仮想視点位置（位相）を決定して、決定した仮想視点位置（位相）に対応する仮想視点画像を生成する。
具体的には、仮想視点画像生成部１０５は、例えば、生成する仮想視点画像の視差間隔を信頼度算出部１０４から入力する信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する。
以下、仮想視点画像生成部１０５の複数の具体的構成例について、順次、説明する。
【０１６１】
（５−１．信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例）
仮想視点画像生成部１０５の１つの実施例を、図２２を参照して説明する。
図２２に示すように、本実施例の仮想視点画像生成部１０５は、視差調整部３１１と、画像合成部３１２を有する。
【０１６２】
視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報、すなわち視差推定部１０３の生成した推定視差情報の信頼度を入力する。
この信頼度は、前述したように、たとえば、複数の異なる信頼度情報（Ｒ０〜Ｒ４）の重み付け加算値である。具体的には、
信頼度Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
ただし、α０，α１，α２・・・は予め設定した重み係数、
上記式に従って、算出した信頼度Ｒを入力する。信頼度Ｒは、０〜１の値を持ち、最も高い信頼度の場合、Ｒ＝１、最も低い信頼度の場合、Ｒ＝０となる。
【０１６３】
視差調整部３１１は、入力した信頼度Ｒに応じて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
具体的には、０〜１の値を持つ信頼度Ｒの値に応じて、図２３に示すような仮想視点位置の決定処理を行う。
【０１６４】
図２３は、信頼度Ｒ＝０〜１の場合における仮想視点画像位置の設定例を示した図である。
視点位置＝０は、入力Ｌ画像に対応する視点位置、
視点位置＝１は、入力Ｒ画像に対応する視点位置、
である。
【０１６５】
すなわち、信頼度＝１のライン上の、
画像ｂ３２１は、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像、
画像ｈ３２２は、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像、
に対応する。
信頼度＝１のライン上のその他の縦ラインは、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝１、最も信頼できる値である場合、仮想視点画像生成部１０５において生成する仮想視点画像の位置（位相）を示す。
この例では、入力ＬＲ画像を含めて、ａ〜ｉまで合計９個の異なる視点の画像を生成して出力するものとする。
【０１６６】
信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝１の場合は、視差調整部３１１は、図２３の上段にあるａ〜ｉの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って行われる。
【０１６７】
また、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝０．５、すなわち中程度の信頼度である場合は、視差調整部３１１は、図２３の中段にあるａ２〜ｉ２の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１６８】
この中低度の信頼度＝０．５の場合、図から理解されるように、仮想視点画像ａ２〜ｉ２の視差範囲は、信頼度Ｒ＝１の高信頼度の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。
【０１６９】
また、信頼度算出部１０４の算出した信頼度情報Ｒが、Ｒ＝０の場合、すなわち全く信用できない場合は、視差調整部３１１は、図２３の下段にある画像３３３を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、図２３の下段にある画像３３３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。
なお、この場合、仮想視点画像生成部１０５は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。
【０１７０】
視差調整部３１１は、仮想視点画像の設定位置（位相）の算出処理を以下のアルゴリズムに従って実行する。
なお、信頼度Ｒ＝１の場合に生成する仮想視点画像については予め決定しておく。図２３に示すａ〜ｉの位置である。
信頼度算出部１０４から入力する信頼度情報をＲとする。
ただし、Ｒ＝０〜１である。
信頼度Ｒ＝１の場合の仮想視点画像位置（位相）をＶ０とする。
このとき、信頼度Ｒに応じて設定する仮想視点画像位置（位相）Ｖは以下の式に従って算出する。
Ｖ＝（Ｖ０−１）・Ｒ＋１
【０１７１】
図２３に示す仮想視点画像３３１の位置（位相）は、信頼度：Ｒ＝１の場合に出力予定の仮想視点画像位置である。
この仮想視点画像位置（位相）：Ｖ＝０．３とする。
このＶの値を利用して、各信頼度Ｒ＝０〜１の場合の仮想視点画像位置（位相）を上記式に従って算出する。
【０１７２】
例えば、信頼度Ｒ＝０．５の場合、仮想視点画像３３１の位置（位相）Ｖ＝０．３を用いて、図２３に示す仮想視点画像位置３３２（ｄ２）の位置（Ｖ）を、上記式に従って算出できる。すなわち、
Ｖ＝（Ｖ０−１）・Ｒ＋１
＝（０．３−１）・０．５＋１
＝０．８５
となる。
【０１７３】
例えば、信頼度Ｒ＝０の場合、仮想視点画像３３１の位置（位相）Ｖ＝０．３を用いて、図２３に示す仮想視点画像位置３３３（ｄ３）の位置（Ｖ）を、上記式に従って算出できる。すなわち、
Ｖ＝（Ｖ０−１）・Ｒ＋１
＝（０．３−１）・０＋１
＝１
となる。
【０１７４】
このように視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報Ｒを入力し、入力した信頼度情報Ｒの値に応じて仮想視点画像の設定位置を決定し、この仮想視点位置情報を図２２に示す画像合成部３１２に出力する。
図２２に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１７５】
（５−２．信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する構成例）
次に、信頼度と最適視差量との対応関係情報と信頼度算出部から入力する信頼度情報に応じた仮想視点位置を決定する仮想視点画像生成部１０５の実施例を、図２４を参照して説明する。
図２４に示すように、本実施例の仮想視点画像生成部１０５は、図２２を参照して説明したと同様の視差調整部３１１と、画像合成部３１２、さらに、信頼度と最適視差量との対応関係情報を格納した信頼度データベース３１３を有する。
【０１７６】
視差調整部３１１は、信頼度算出部１０４の算出した信頼度情報、すなわち視差推定部１０３の生成した推定視差情報の信頼度を入力する。
この信頼度は、前述したように、たとえば、複数の異なる信頼度情報（Ｒ０〜Ｒ４）の重み付け加算値である。具体的には、
信頼度Ｒ＝α０・Ｒ０＋α１・Ｒ１＋α２・Ｒ２＋α３・Ｒ３＋α４・Ｒ４
ただし、α０，α１，α２・・・は予め設定した重み係数、
上記式に従って、算出した信頼度Ｒを入力する。信頼度Ｒは、０〜１の値を持ち、最も高い信頼度の場合、Ｒ＝１、最も低い信頼度の場合、Ｒ＝０となる。
【０１７７】
視差調整部３１１は、
信頼度算出部１０４の算出した信頼度Ｒ、さらに、
信頼度データベース３１３から、信頼度と最適視差量との対応関係情報、
これらを入力する。
【０１７８】
視差調整部３１１は、
これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
【０１７９】
信頼度データベース３１３には、最適視差量との対応関係情報の関係データが格納されている。例えば図２５に示すデータである。
このデータは、予め準備した学習データ、例えば、様々な信頼度の視差を持つ学習データを観察させて、観察者が快適に３Ｄ画像を観察できた視差を最適視差量として決定したデータである。
【０１８０】
視差調整部３１１は、信頼度データベース３１３に格納された最適視差量との対応関係情報の関係データを取得して、信頼度算出部１０４の算出した信頼度Ｒに対応する係数ｐを算出する。係数ｐは、信頼度Ｒに対応する乗数であり、最適視差量を設定するための調整信頼度ｐＲを算出するための係数である。係数ｐは、例えば最小二乗法などの回帰分析処理を適用して求める。
【０１８１】
視差調整部３１１は、算出した係数ｐを信頼度算出部１０４の算出した信頼度Ｒに乗算して調整信頼度ｐＲを算出する。この調整信頼度ｐＲに応じて、図２６に示すような仮想視点位置の決定処理を行う。
【０１８２】
図２６は、調整信頼度ｐＲ＝０〜１の場合における仮想視点画像位置の設定例を示した図である。
視点位置＝０は、入力Ｌ画像に対応する視点位置、
視点位置＝１は、入力Ｒ画像に対応する視点位置、
である。
【０１８３】
すなわち、調整信頼度＝１のライン上の、
画像ｂ３２１は、左視点画像（Ｌ画像）入力部１０１から入力する入力Ｌ画像、
画像ｈ３２２は、右視点画像（Ｒ画像）入力部１０２から入力する入力Ｒ画像、
に対応する。
調整信頼度＝１のライン上のその他の縦ラインは、調整信頼度情報ｐＲが、ｐＲ＝１、最も信頼できる値である場合、仮想視点画像生成部１０５において生成する仮想視点画像の位置（位相）を示す。
この例では、入力ＬＲ画像を含めて、ａ〜ｉまで合計９個の異なる視点の画像を生成して出力するものとする。
【０１８４】
調整信頼度情報ｐＲが、ｐＲ＝１の場合は、視差調整部３１１は、図２３の上段にあるａ〜ｉの画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って行われる。
【０１８５】
また、調整信頼度情報ｐＲが、ｐＲ＝０．５、すなわち中程度の信頼度である場合は、視差調整部３１１は、図２６の中段にあるａ２〜ｉ２の画像を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
【０１８６】
この中低度の調整信頼度＝０．５の場合、図から理解されるように、仮想視点画像ａ２〜ｉ２の視差範囲は、調整信頼度Ｒ＝１の高信頼度の場合の仮想視点画像ａ〜ｉの視差範囲より狭くなる。
【０１８７】
また、調整信頼度情報ｐＲが、ｐＲ＝０の場合、すなわち全く信用できない場合は、視差調整部３１１は、図２６の下段にある画像３３３を仮想視点画像の設定位置として決定し、この仮想視点位置情報を図２４に示す画像合成部３１２に出力する。
図２４に示す画像合成部３１２は、視差調整部３１１から入力する仮想視点画像の設定位置情報に基づいて、その設定位置に対応する仮想視点画像を入力Ｌ画像と入力Ｒ画像を適用して生成する。
なお、図２６の下段にある画像３３３の画像位置は、入力Ｒ画像の画像位置に対応する。すなわち、この場合、新たな仮想視点画像を生成することなく、入力Ｒ画像をそのまま出力する。
なお、この場合、仮想視点画像生成部１０５は、入力Ｌ画像についてもそのまま出力し、表示部には入力ＬＲ画像のみが出力されることになる。
【０１８８】
このように、本実施例においては、視差調整部３１１は、信頼度算出部１０４の算出した信頼度Ｒ、さらに、信頼度データベース３１３から、信頼度と最適視差量との対応関係情報、これらを入力する。
視差調整部３１１は、これらの情報に基づいて、調整信頼度を算出し、調整信頼度に基づいて、生成すべき仮想視点画像の視差、すなわち、生成する仮想視点画像の位置（位相）を決定する。
【０１８９】
（５−３．ＬＰＦを適用した視差情報変換と仮想視点画像の変換処理を含む実施例について）
次に、ＬＰＦ（ローパスフィルタ）を適用した視差情報変換と仮想視点画像の変換処理を含む仮想視点画像生成部の実施例について図２７を参照して説明する。
【０１９０】
図２７に示す仮想視点画像生成部１０５は、第１ＬＰＦ（ローパスフィルタ）３３１、視差情報選択部３３２、画像合成部３３３、第２ＬＰＦ（ローパスフィルタ）３３４、仮想視点画像選択部３３５を有する。
【０１９１】
第１ＬＰＦ（ローパスフィルタ）３３１は、視差推定部１０３の生成する推定視差情報（視差マップ）を入力してＬＰＦを適用する。ＬＰＦの適用により、視差情報の急激な変化部分はなだらかに変化するように変換される。
第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報は、視差情報選択部３３２に入力される。
【０１９２】
視差情報選択部３３２は、以下の情報を入力する。
（ａ）視差推定部１０３の生成した推定視差情報（視差マップ）
（ｂ）第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒ
【０１９３】
視差情報選択部３３２は、これらの情報を入力して以下の処理を実行する。
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値以上の信頼度の高い画素については、
（ａ）視差推定部１０３の生成した推定視差情報（視差マップ）に含まれる画素対応の視差情報を画像合成部３３３に選択出力する。
【０１９４】
一方、
（ｃ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値未満の信頼度の低い画素については、
（ｂ）第１ＬＰＦ（ローパスフィルタ）３３１の生成したＬＰＦ適用推定視差情報に含まれる画素対応の視差情報を画像合成部３３３に選択出力する。
【０１９５】
これらの出力情報は、画像合成部３３３に入力される。
画像合成部３３３は、これらの視差情報に基づいて仮想視点画像を生成する。
仮想視点画像の生成処理は、先に、図３、図４を参照して説明した処理に従って入力ＬＲ画像を利用して実行される。
【０１９６】
画像合成部３３３の生成した仮想視点画像は第２ＬＰＦ３３４と、仮想視点画像選択部３３５に入力される。
第２ＬＰＦ３３４は、画像合成部３３３の生成した仮想視点画像に対してＬＰＦを適用する。このＬＰＦ適用処理によって、仮想視点画像内の急激な画素値変化部分はなだらかな変化に変換される。
この第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像は仮想視点画像選択部３３５に入力される。
【０１９７】
仮想視点画像選択部３３５は、以下の情報を入力する。
（ｄ）画像合成部３３３の生成した仮想視点画像
（ｅ）第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒ
【０１９８】
仮想視点画像選択部３３５は、これらの情報を入力して以下の処理を実行する。
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値以上の信頼度の高い画素については、
（ｄ）画像合成部３３３の生成した仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。
【０１９９】
一方、
（ｆ）信頼度算出部１０４の算出した信頼度情報Ｒが予め設定したしきい値未満の信頼度の低い画素については、
（ｅ）第２ＬＰＦ３３４の生成したＬＰＦ適用仮想視点画像の画素情報を出力する仮想視点画像の構成画素として選択出力する。
【０２００】
図２７に示す仮想視点画像生成部１０５は、このようにＬＰＦを適用して視差情報の変換と、仮想視点画像の変換を実行して仮想視点画像を生成する。
【０２０１】
［６．解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について］
次に、図２８を参照して、解像度変換を実行し、解像度変換画像を適用した視差推定を実行する実施例について説明する。
【０２０２】
図２８に示す画像処理装置４００は、点線で示す領域４０１は、信頼度選択部４１５を除いて、図１に示す画像処理装置１００と同様の構成である。
本実施例の画像処理装置４００は、図１に示す画像処理装置の構成に、解像度変換部４１１、第２視差推定部４１２、第２信頼度算出部４１３、解像度逆変換部４１４、信頼度選択部４１５を追加した構成を持つ。
【０２０３】
解像度変換部４１１は、左視点画像（Ｌ画像）入力部１０１から入力するＬ画像と、右視点画像（Ｒ画像）入力部１０２から入力するＲ画像の解像度変換を実行する。
具体的には、入力ＬＲ画像より低解像度の画像を生成する。
【０２０４】
第２視差推定部４１２は、解像度変換部４１１の生成した低解像度のＬＲ画像を用いて視差を推定する。低解像度画像に基づく推定視差情報を生成する。
この推定視差情報は、第２信頼度算出部４１３に入力される。
【０２０５】
第２信頼度算出部４１３は、第２視差推定部４１２の生成した推定視差情報の信頼度を算出する。この信頼度算出処理は、先に図６〜図２１を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度（Ｒ０〜Ｒ５）を算出して、予め設定した重みα０〜α５を利用して重み付け加算を実行して信頼度を算出する。
この信頼度は低解像度画像の各画素単位で設定される。
この信頼度情報は、解像度逆変換部４１４に入力される。
【０２０６】
解像度逆変換部４１４は各画素対応の信頼度情報を解像度変換部４１１の解像度変換の逆の解像度変換処理を実行し、元の入力画像の画素数に戻す処理を行う。
この解像度逆変換処理によって生成した第２信頼度情報は信頼度選択部４１５に入力される。
【０２０７】
図に示す第１視差推定部１０３は、前述の図１以下を参照して説明したと同様の処理を実行し、入力ＬＲ画像に基づく推定視差情報を生成する。
第１信頼度算出部１０４も前述の図１以下を参照して説明したと同様の処理を実行し、第１視差推定部１０３の生成した画素単位の推定視差情報に対応する信頼度を算出する。先に図６〜図２１を参照して説明した処理と同様の処理として実行される。すなわち複数の異なる信頼度（Ｒ０〜Ｒ５）を算出して、予め設定した重みα０〜α５を利用して重み付け加算を実行して信頼度を算出する。
この第１信頼度算出部１０４の算出した第１信頼度は、信頼度選択部４１５に入力される。
【０２０８】
信頼度選択部４１５は、以下の情報を入力する。
（ａ）第１信頼度算出部１０４の算出した入力ＬＲ画像ベースの推定視差情報に対応する第１信頼度情報、
（ｂ）第２信頼度算出部４１３の算出した低解像度のＬＲ画像ベースの推定視差情報に対応する第２信頼度情報、
すなわち、信頼度選択部４１５は、各画素に対応する２つの信頼度情報を入力する。
信頼度選択部４１５は、これら２つの信頼度情報を画素単位で比較して、高い方の信頼度情報を選択し、高い信頼度情報をその画素の信頼度情報として出力する。
【０２０９】
画素単位で選択された信頼度情報は、仮想視点画像生成部１０５に入力される。
仮想視点画像生成部１０５は、先に図２２〜図２７を参照して説明した処理を実行して、信頼度情報を参照した仮想視点画像の生成処理を実行する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【０２１０】
このように、本実施例の構成では、
解像度変換前の画像に基づく視差の推定と信頼度情報算出処理、
さらに、低解像度に変換した低解像度画像に基づく視差の推定と信頼度情報算出処理、
これらの２つの処理を実行して、それぞれの画像に応じた２つの信頼度情報を生成する。さらに、これら２つの信頼度情報について、画素単位で高い信頼度情報が得られた方を最終的な信頼度情報として利用する。
この処理により、例えば局所的な画像エラー等によって発生する視差推定の誤り等の影響を削減することが可能となる。
【０２１１】
なお、前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【０２１２】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【０２１３】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【０２１４】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【０２１６】
（２）前記信頼度算出部は、複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する前記（１）に記載の画像処理装置。
（３）前記信頼度算出部は、前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する前記（１）または（２）に記載の画像処理装置。
【０２１７】
（４）前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する前記（３）に記載の画像処理装置。
（５）前記信頼度算出部は、前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する前記（３）に記載の画像処理装置。
【０２１８】
（６）前記信頼度算出部は、前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記信頼度算出部は、前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２１９】
（８）前記信頼度算出部は、前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記信頼度算出部は、前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、の整合性に応じた信頼度算出を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２２０】
（１０）前記仮想視点画像生成部は、前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記仮想視点画像生成部は、前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、前記視差調整部は、記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する前記（１０）に記載の画像処理装置。
【０２２１】
（１２）前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する前記（１）〜（１１）いずれかに記載の画像処理装置。
（１３）前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、
上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する前記（１）〜（１２）いずれかに記載の画像処理装置。
【０２２２】
（１４）３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【０２２３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２２４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２２５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２２６】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく推定視差の信頼度に応じた最適な多視点画像を生成する構成が実現される。
具体的には、３次元画像表示に適用する左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力し、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）とに基づいて視差情報を生成し、生成した視差情報の信頼度を算出する。例えば複数の異なる解析処理によって複数の異なる信頼度を算出し、算出した複数の信頼度の重み付き加算によって最終的な信頼度を算出する。算出した信頼度に応じて仮想視点画像の生成態様を変更する。例えば、信頼度が高い場合には、仮想視点画像の視差間隔を広く設定し、低い場合には狭く設定する処理を行う。
この処理により、推定視差の信頼度に応じた最適な多視点画像を生成することができる。
【符号の説明】
【０２２７】
１００ 画像処理装置
１０１ 左視点画像（Ｌ画像）入力部
１０２ 右視点画像（Ｒ画像）入力部
１０３ 視差推定部
１０４ 信頼度算出部
１０５ 仮想視点画像生成部
１０６ 表示制御部
１０７ 表示部
１２１ ブロック
１３１ 入力Ｌ画像
１３２ 入力Ｒ画像
１３３ 仮想視点画像
１７１ 第１信頼度（Ｒ０）算出部
１７２ 第２信頼度（Ｒ１）算出部
１７３ 第３信頼度（Ｒ２）算出部
１７４ 第４信頼度（Ｒ３）算出部
１７５ 第５信頼度（Ｒ４）算出部
１８１ 演算部
２０１ 入力Ｌ画像
２０２ 推定視差情報
２０３ 視差補償画像
２０４ 入力Ｒ画像
２０５ 残差マップ
２１１ 入力Ｌ画像
２１２ 推定視差情報
２１３
２１４ 残差マップ
２３２ 推定視差情報
３１１ 視差調整部
３１２ 画像合成部
３１３ 信頼度データベース
３３１ 第１ＬＰＦ
３３２ 視差情報選択部
３３３ 画像合成部
３３４ 第２ＬＰＦ
３３５ 仮想視点画像選択部
４１１ 解像度変換部
４１２ 第２視差推定部
４１３ 第２信頼度算出部
４１４ 解像度逆変換部
４１５ 信頼度選択部
【特許請求の範囲】
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【請求項２】
前記信頼度算出部は、
複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する請求項１に記載の画像処理装置。
【請求項３】
前記信頼度算出部は、
前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項４】
前記信頼度算出部は、
前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する請求項３に記載の画像処理装置。
【請求項５】
前記信頼度算出部は、
前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する請求項３に記載の画像処理装置。
【請求項６】
前記信頼度算出部は、
前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項７】
前記信頼度算出部は、
前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項８】
前記信頼度算出部は、
前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項９】
前記信頼度算出部は、
前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、
前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、
の整合性に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記仮想視点画像生成部は、
前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、
前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する請求項１に記載の画像処理装置。
【請求項１１】
前記仮想視点画像生成部は、
前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、
前記視差調整部は、
前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する請求項１０に記載の画像処理装置。
【請求項１２】
前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、
前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する請求項１に記載の画像処理装置。
【請求項１３】
前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、
上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する請求項１に記載の画像処理装置。
【請求項１４】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【請求項１５】
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
視差推定部が、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成し、
信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、
仮想視点画像生成部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法。
【請求項１６】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
視差推定部において、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する処理と、
信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、
仮想視点画像生成部において、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記仮想視点画像生成処理においては、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラム。
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部と、
前記視差推定部の生成した視差情報の信頼度を算出する信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【請求項２】
前記信頼度算出部は、
複数の異なる信頼度算出処理によって複数の信頼度情報を算出し、算出した複数の信頼度情報に対する重み付き加算によって最終的な信頼度を算出する請求項１に記載の画像処理装置。
【請求項３】
前記信頼度算出部は、
前記視差推定部の推定した視差情報に応じた視差補償により生成した視差補償画像と入力画像との差分算出によって得られる残差成分量に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項４】
前記信頼度算出部は、
前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位の空間アクティビティに応じて信頼度算出態様を変更する請求項３に記載の画像処理装置。
【請求項５】
前記信頼度算出部は、
前記残差成分に応じた信頼度算出処理において、前記左視点画像（Ｌ画像）または前記右視点画像（Ｒ画像）の画素領域単位のダイナミックレンジに応じて信頼度算出態様を変更する請求項３に記載の画像処理装置。
【請求項６】
前記信頼度算出部は、
前記視差推定部の推定した視差情報の水平隣接画素の視差差分に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項７】
前記信頼度算出部は、
前記視差推定部の推定した視差情報の垂直隣接画素の視差差分に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項８】
前記信頼度算出部は、
前記視差推定部の推定した視差情報が、既定の上限値または下限値に達しているか否かに応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項９】
前記信頼度算出部は、
前記左視点画像（Ｌ画像）入力部から入力した左視点画像（Ｌ画像）に基づいて前記視差推定部の推定した視差情報と、
前記右視点画像（Ｒ画像）入力部から入力した右視点画像（Ｒ画像）に基づいて前記視差推定部の推定した視差情報と、
の整合性に応じた信頼度算出を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記仮想視点画像生成部は、
前記信頼度算出部の算出した信頼度に応じて、生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像の視点位置を決定する視差調整部と、
前記視差調整部の決定した視点位置に応じた仮想視点画像を生成する画像合成部を有する請求項１に記載の画像処理装置。
【請求項１１】
前記仮想視点画像生成部は、
前記信頼度と最適視差量との関係情報を格納した信頼度データベースを有し、
前記視差調整部は、
前記信頼度データベースに格納された前記信頼度と最適視差量との関係情報を適用して、信頼度算出部から入力する信頼度に応じた最適視差量を取得し、取得した視差量に応じた仮想視点画像位置を決定する請求項１０に記載の画像処理装置。
【請求項１２】
前記仮想視点画像生成部は、
（ａ）前記視差推定部の推定した視差情報、
（ｂ）前記視差情報を画像表現した視差マップに対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用視差情報、
上記の（ａ），（ｂ）２つの視差情報について、前記信頼度の高い画素については、前記視差情報、前記信頼度の低い画素については、前記ＬＰＦ適用視差情報を選択する視差情報選択部と、
前記視差情報選択部の選択した視差情報に基づいて仮想視点画像の生成を行う画像合成部を有する請求項１に記載の画像処理装置。
【請求項１３】
前記仮想視点画像生成部は、さらに、
（ａ）前記画像合成部の生成した仮想視点画像、
（ｂ）前記画像合成部の生成した仮想視点画像に対するローパスフィルタ（ＬＰＦ）適用結果であるＬＰＦ適用仮想視点画像、
上記の（ａ），（ｂ）２つの仮想視点画像について、前記信頼度の高い画素については、前記仮想視点画像、前記信頼度の低い画素については、前記ＬＰＦ適用仮想視点画像を選択する仮想視点画像選択部を有する請求項１に記載の画像処理装置。
【請求項１４】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する第１視差推定部と、
前記第１視差推定部の生成した視差情報の第１信頼度を算出する第１信頼度算出部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）の解像度変換を行う解像度変換部と、
前記解像度変換部から出力される低解像度の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく視差情報推定を行う第２視差推定部と、
前記第２視差推定部の生成した第２視差情報の第２信頼度を算出する第２信頼度算出部と、
前記解像度変換の逆変換を行う解像度逆変換部と、
前記第１信頼度と、前記第２信頼度とを比較して高い信頼度を最終信頼度として選択出力する信頼度選択部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最終信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記最終信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理装置。
【請求項１５】
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
視差推定部が、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成し、
信頼度算出部が、前記視差推定部の生成した視差情報の信頼度を算出し、
仮想視点画像生成部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記仮想視点画像生成部は、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する画像処理方法。
【請求項１６】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
視差推定部において、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する処理と、
信頼度算出部において、前記視差推定部の生成した視差情報の信頼度を算出する処理と、
仮想視点画像生成部において、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記信頼度を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記仮想視点画像生成処理においては、
生成する仮想視点画像の視差間隔を前記信頼度が高い場合には広く設定し、低い場合には狭く設定した仮想視点画像を生成する処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図７】
【図９】
【図１５】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図１７】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図７】
【図９】
【図１５】
【図１８】
【公開番号】特開２０１３−８９９８１（Ｐ２０１３−８９９８１Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２５５１３（Ｐ２０１１−２２５５１３）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]