画像処理装置、および画像処理方法、並びにプログラム
【課題】３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成する。
【解決手段】３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
【解決手段】３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
すなわち、左眼には左目から観察した画像に相当する左視点画像が観察され、右眼には右目から観察した画像に相当する右視点画像が観察されるような制御を行う。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左視点画像と右視点画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左視点画像と右視点画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左視点画像と右視点画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左視点画像と右視点画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左視点画像と右視点画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じた最適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左視点画像と右視点画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理などによって仮想視点画像を生成する場合、視差の小さい仮想視点画像を生成しても十分な立体感が享受できないという問題が発生する。
【００１０】
特に、入力したオリジナルのＬＲ画像の間の視点に対応する仮想視点画像、すなわち入力ＬＲ画像間に内挿した仮想視点画像を２つ適用して観察すると、これらの仮想視点画像の視差は、入力ＬＲ画像の視差より小さくなり、立体感が得られにくくなる。
しかし、この視差を調整する処理を行う構成を追加すれば、コストアップとなり、また視差調整による画質劣化などが生じ、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１１】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１２】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００６−１１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく品質の高い多視点画像の生成処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１５】
また、本開示は、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、入力ＬＲ画像を適用して生成した仮想視点画像に対する大きな加工処理を施すことなく、立体感の強調を行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【００１６】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置にある。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、前記仮想視点画像生成部は、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する。
【００２２】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記最適シフト量算出処理は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理であり、
前記仮想視点画像生成処理は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理として実行する画像処理方法にある。
【００２３】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記最適シフト量算出処理においては、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理を実行させ、
前記仮想視点画像生成処理においては、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理を実行させるプログラムにある。
【００２４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
具体的には、３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
この処理により、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】画像処理装置の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】視差推定部の処理例について説明する図である。
【図４】仮想視点画像の生成処理の一例について説明する図である。
【図５】仮想視点画像の生成処理の一例について説明する図である。
【図６】仮想視点画像の生成処理の一例について説明する図である。
【図７】最適シフト量算出部の実行する処理について説明する図である。
【図８】最適シフト量算出部の実行する処理について説明する図である。
【図９】最適シフト量算出部の実行する処理について説明する図である。
【図１０】最適シフト量算出部の実行する処理について説明する図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．画像処理装置の全体構成と処理の概要について
２．視差情報と、視差推定部の処理の詳細について
３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について
４．最適シフト量算出部の処理について
５．仮想視点画像生成部の処理について
６．本開示の構成のまとめ
【００２９】
［１．画像処理装置の全体構成と処理の概要について］
まず、本開示の画像処理装置の全体構成と処理の概要について図１を参照して説明する。その後、各構成部の処理の詳細について説明する。
図１に示すように、画像処理装置１００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差情報入力部１０３、最適シフト量算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１００において生成した画像が表示部１１０に出力される。
なお、図１に示す構成では、表示部１１０を画像処理装置１００の外部構成として示しているが、画像処理装置１００内に表示部１１０を有する構成としてもよい。
【００３０】
なお、図１は、画像処理装置の主要構成を示すものであり、画像処理装置１００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
例えば制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。
【００３１】
左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２は、予め生成された３次元（３Ｄ）画像表示用の左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力する。
左視点画像（Ｌ画像）は、左眼から観察される画像に相当し、右視点画像（Ｒ画像）は、右眼から観察される画像に相当する。
【００３２】
ただし、これらの２つの画像は、標準的な２つのＬＲ画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備えた裸眼３Ｄ表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい３Ｄ画像として観察されるＬＲ画像である。
ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【００３３】
画像処理装置１００は、この問題を解決するために、正規の１つの観察位置に対応する入力ＬＲ画像、すなわち標準の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点（仮想視点）からの画像を生成する。
【００３４】
視差情報入力部１０３は、入力ＬＲ画像、すなわち、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）との２つの画像間の視差情報を入力する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）によって構成される。
【００３５】
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。この処理の詳細については後述する。
【００３６】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３から視差情報、
最適シフト量算出部１０４から最適視差量、
これらの各情報を入力して、仮想視点画像を生成する。
【００３７】
仮想視点画像生成部１０５は、例えば最適シフト量算出部１０４から入力する最適視差量に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【００３８】
仮想視点画像生成部１０５は、入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像を生成して出力する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【００３９】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００４０】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００４１】
なお、画像処理装置１００は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００４２】
図１を示す画像処理装置の構成は、ＬＲ画像の入力に併せて、入力ＬＲ画像に対応する視差情報についても視差情報入力部１０３を介して入力する構成としている。
このように予め生成された視差情報を入力する構成ではなく、入力ＬＲ画像に対応する視差情報を画像処理装置の内部において生成する構成としてもよい。
このような画像処理装置の構成例を図２に示す。
【００４３】
図２に示す画像処理装置１２０は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１１５、最適シフト量算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１２０において生成した画像が表示部１１０に出力される。
図１に示す画像処理装置１００と異なる点は、図１に示す視差情報入力部１０３を持たずに、視差推定部１１５を有する点である。
その他の構成は図１に示す構成と同様である。
【００４４】
視差推定部１１５は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４５】
その他の構成は、図１に示す構成と同様である。
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１１５から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。この処理の詳細については後述する。
【００４６】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１１５から視差情報、
最適シフト量算出部１０４から最適視差量、
これらの各情報を入力して、仮想視点画像を生成する。
【００４７】
［２．視差情報と、視差推定部の処理の詳細について］
次に、視差情報と、視差推定部の処理の詳細について説明する。
図１に示す画像処理装置１００では、外部から入力ＬＲ画像に対応する視差情報を入力し、図２に示す画像処理装置１２０は、視差推定部１１５において、入力ＬＲ画像に対応する視差情報を生成する。
視差推定部１１５は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４８】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００４９】
図３を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。
図３に示すように、入力したオリジナルの標準画像である、
（ａ）左視点画像（Ｌ画像）と、
（ｂ）右視点画像（Ｒ画像）、
これらの入力ＬＲ画像を利用し、例えばＬ画像の画素領域（ブロック）１２１を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００５０】
図３において、例えばＬ画像の画素領域（ブロック）１２１の注目画素ＬＰ＝（５，３）の、Ｒ画像における対応画素は、ＲＰ＝（７，３）である。
この場合、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）のＬＲ画像間の視差ｄ（５，３）は以下のように算出される。
視差ｄ（５，３）＝（７，３）−（５，３）＝（２，０）、
すなわち、
Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）の視差ｄは２画素［ｐｉｘｅｌ］となる。
【００５１】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像あるいは視差マップ）がある。デプスマップ（視差マップ）は、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００５２】
［３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について］
次に、仮想視点画像生成部１０５の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００５３】
例えば予め設定した数（例えば１０）の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、入力画像である左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図４以下を参照して説明する。
【００５４】
図４には、画像処理装置に入力するオリジナルの左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１３３を示している。
左視点画像（Ｌ画像）１３１は標準位置における左眼視点位置から観察した画像であり、右視点画像（Ｒ画像）１３２は標準位置における右眼視点位置から観察した画像である。
左視点画像（Ｌ画像）１３１の視点位置を０．０、
右視点画像（Ｒ画像）１３２の視点位置を１．０とする。
【００５５】
図４は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１３３として生成する場合の処理例を示している。
左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図４に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００５６】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００５７】
入力ＬＲ画像のブレンド処理に基づく仮想視点画像１３１の画素値の決定処理例について図５を参照して説明する。
図５には、
視点位置＝０である入力左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１、
視点位置＝１である入力右視点画像（Ｒ画像）におけるＬ画像の画素Ｐの対応画素１４２、
視点位置＝Φである仮想視点画像におけるＬ画像の画素Ｐの対応画素１４３、
これらを示している。
なお、
Φ＝０〜１
である。
【００５８】
左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の視差がｄ（ｘ，ｙ）［ｐｉｘｅｌ］である場合、
仮想視点画像におけるＬ画像の画素Ｐ（ｘ，ｙ）の対応画素１４３の画素位置は、
画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）とする。
すなわち、仮想視点画像における画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）の画素値を、左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の画素値に設定する。
仮想視点画像の各画素の画素値は、このように、左視点画像（Ｌ画像）の画素の視差情報に基づいて設定する。
なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像（Ｒ画像）を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。
【００５９】
図６には、
左視点画像（Ｌ画像）の水平ライン１５１、
右視点画像（Ｒ画像）の水平ライン１５２
仮想視点画像の水平ライン１５３、
を示している。
図に示す矢印は、仮想視点画像の水平ライン１５３の画素値を決定するために適用可能な左視点画像（Ｌ画像）の画素位置と、右視点画像（Ｒ画像）の画素位置を結ぶラインである。
【００６０】
図６に示す仮想視点画像の水平ライン１５３において、
１＝左視点画像（Ｌ画像）の水平ライン１５１の構成画素値によって画素値の設定された領域
２＝右視点画像（Ｒ画像）の水平ライン１５３の構成画素値によって画素値の設定された領域
３＝その他の領域
である。
【００６１】
このように、仮想視点画像の画素値の設定は、例えば、以下の３つの処理によって実行される。
１．左視点画像（Ｌ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像（Ｌ画像）の画素値を補間する。
２．右視点画像（Ｒ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像（Ｒ画像）の画素値を補間する。
３．上記１，２の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。
【００６２】
なお、図５、図６を参照して説明した処理は入力ＬＲ画像に基づいてこれらのＬＲ画像と異なる仮想視点からの画像を生成する基本的な処理である。
本開示の画像処理装置の仮想視点画像生成部１０５は、この基本的な処理をベースとして、さらに、最適シフト量算出部１０４から入力する最適シフト量情報を適用して、画像シフトを実行して立体感を強調した最終的な仮想視点画像を生成する。
【００６３】
［４．最適シフト量算出部の処理について］
次に、最適シフト量算出部１０４の実行する処理について説明する。
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３、または視差推定部１１５から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。
【００６４】
具体的には、最適シフト量算出部１０４は、図１の構成では外部から入力する視差情報、また図２に示す構成では視差推定部１１５から入力する視差情報に基づいて、
クロストーク量、
奥行き感（≒観察者の認識する被写体距離）
これらの情報を考慮して、仮想視点画像に対する最適なシフト量を決定する処理を実行する。
【００６５】
最適シフト量算出部１０４は、予め記憶部に保持された例えば図７に示すデータを記憶部から取得して、このデータに基づいて最適視差量の算出を実行する。
図７に示すデータについて説明する。
図７は、入力ＬＲ画像におけるある１つの対応点の１画素に関するデータ例を示している。
例えば視差の設定された画像のある画素、すなわち、視差：ｘ＝ｄの画素について、様々なシフト量Δｄを設定した場合の奥行き感Ｄ（＝観察者の認識する被写体距離）の変化と、クロストーク量Ｃの変化を示す図である。
クロストークは、先に説明したように、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざる現象である。従って、クロストーク量が少ない方が好ましい画像である。
【００６６】
横軸に「視差ｘ＝ｄ＋Δｄ」
縦軸に「奥行き感Ｄ」と、「クロストーク量Ｃ」
これらの関係データを示している。
シフト量は、例えば、画素を水平方向に左移動するシフト処理を−方向のシフト処理、右方向に移動するシフト処理を＋方向のシフト処理として示している。
さらに、クロストーク量が、予め既定した値以下の範囲を快適視差範囲として規定する。
この快適視差範囲は、例えば図に示すように、
視差ｘ＝ｘ１〜ｘ２
この範囲に設定する。
【００６７】
視差と奥行き感Ｄ（＝観察者の認識する被写体距離）との対応関係について、図８を参照して説明する。
図８には、
（ａ）視差＜０
（ｂ）視差＝０
（ｃ）視差＞０
これらの３つの態様の視差を持つＬＲ画像の観察状態を示している。
【００６８】
図に示す表示面３０１は、ディスプレイの表示面である。
この表示面に、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の同一被写体の画像が水平方向に位置をずらして表示されることで視差が発生し、観察位置が表示面の前後に設定されることになる。
【００６９】
図８（ｂ）の視差＝０の場合は、２次元表示と同様の表示であり、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の同一被写体の画像が表示面上で位置ずれなく表示される。この場合は、その表示オブジェクトの観察位置３１２は表示面上となる。
【００７０】
一方、図８（ａ）の視差＜０の場合は、左視点画像（Ｌ画像）が左側、右視点画像（Ｒ画像）が右側にずれて表示面上で表示される。この表示位置の「ずれ」が視差となり、この場合は、その表示オブジェクトの観察位置は表示面より遠い位置となる。図８（ａ）に示す観察位置３１１となる。
【００７１】
一方、図８（ｃ）の視差＞０の場合は、左視点画像（Ｌ画像）が右側、右視点画像（Ｒ画像）が左側にずれて表示面上で表示される。この表示位置の「ずれ」が視差となり、この場合は、その表示オブジェクトの観察位置は表示面より近い位置となる。図８（ｃ）に示す観察位置３１３となる。
【００７２】
このように視差に応じて奥行き感Ｄ（＝観察者の認識する被写体距離）が変更される。
図８に示す３つのデータから理解されるように、視差を決定しているのは、表示面３０１に表示されるＬＲ画像の対応画素の位置である。
例えば図８（ａ）に示す左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の表示位置を水平方向にシフトすることで、図８（ｂ）の設定や図８（ｃ）の設定が可能となる。すなわちシフト処理によって、奥行き感を変化させることができる。
このシフト処理と奥行き感の対応を示しているのが、図７に示す奥行き感Ｄのラインである。
【００７３】
また、例えば入力ＬＲ画像に基づいて生成した１つの仮想視点画像に対するシフト処理によって、奥行きレンジを拡大することが可能となる。
この例について図９を参照して説明する。
【００７４】
図９には以下の３つのＬＲ画像の視差範囲（奥行きレンジ）を示している。
（１）入力ＬＲ画像の視差範囲（奥行きレンジ）
（２）視点内挿処理による仮想視点画像の視差範囲（奥行きレンジ）
（３）上記の（２）の視点内挿処理による仮想視点画像に対してシフト処理を実行して生成したシフト画像の視差範囲（奥行きレンジ）
【００７５】
図９（２）は、入力ＬＲ画像の視点より、内側に視点を設定した仮想視点画像における視差範囲（奥行きレンジ）を示している。この視差範囲は、入力ＬＲ画像の視差範囲より小さくなる。つまり、視点内挿による仮想視点画像は、奥行きレンジを縮小した画像となる。
【００７６】
この図９（２）に示す仮想視点画像に対して、画像シフトを実行して生成したシフト画像は、図９（３）に示すように、奥行きレンジが拡大される。
すなわち、観察者は画像に含まれるもっとも遠い被写体と最も近い被写体の距離間隔をより大きく感じることが可能となる。
【００７７】
なお、図１０に示すように、
観察者の眼の位置からの被写体距離をＬｄとしたとき、
被写体距離Ｌｄは、以下の式によって算出される。
Ｌｄ＝（Ｌｓ・ｄｅ）／（ｄｅ＋ｘ）
ただし、
Ｌｓ：観察者の眼から表示面間の距離
ｄｅ：観察者の左右の眼の間隔
ｘ：ｄ＋Δｄ
ｄ：入力ＬＲ画像における視差
Δｄ：シフト量
である。
【００７８】
図８〜図１０を参照して説明したように、所定の視差を持つ画像に対して、画像のシフト処理を施すことによって、奥行きレンジの拡大効果が得られる。
ただし、シフト量によっては、クロストーク量が増大してしまい、快適な３Ｄ画像の観察ができなくなる場合がある。クロストーク量Ｃは、先に説明したように、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざる現象である。
このクロストーク量Ｃは、図７に示すように視差の絶対値が大きくなるにつれ、すなわち、視差＝０の位置から離れるにしたがって大きくなる傾向がある。
ただし、このクロストーク量は、３Ｄ画像を表示するディスプレイによって異なる。
【００７９】
最適シフト量算出部１０４は、図７に示すデータ、すなわち、
シフト量（Δｄ）のシフト処理によって調整可能な視差（ｘ）と奥行き感（Ｄ）との対応関係、
シフト量（Δｄ）のシフト処理によって調整可能な視差（ｘ）とクロストーク量（Ｃ）との対応関係、
これらの対応データを考慮して、快適視差範囲でのシフト量を決定する。
なお、図７に示すデータ、すなわち、
視差ｘと、奥行き感Ｄとの対応関係データ、
視差ｘと、クロストーク量Ｃとの対応関係データ、
これらの関係データは、予め計測あるいは算出して、画像処理装置の記憶部に格納しておく。
また、所定の奥行き感Ｄが得られ、さらに、クロストーク量が所定の値以下となる視差範囲を快適視差範囲として規定しておく。例えば、図７に示す視差ｘ＝ｘ１〜ｘ２の範囲を快適視差範囲として、この快適視差範囲情報を記憶部に格納しておく。
【００８０】
最適シフト量算出部１０４は、これらのデータ、すなわち、
視差ｘと、奥行き感Ｄとの対応関係データ、
視差ｘと、クロストーク量Ｃとの対応関係データ、
快適視差範囲情報：視差ｘ＝ｘ１〜ｘ２、
これらのデータを記憶部から取得して、最適なシフト量を決定する。
【００８１】
シフト量の決定処理は、以下のアルゴリズムに従って行う。
（ステップ１）既定の評価関数を使用して画素ごとに評価値ｓを算出する。
（ステップ２）各画素の評価値ｓを合計して１フレームの評価値Ｓを算出する。
（ステップ３）画像の視差調整のために実行するＬＲ画像のいずれか一方の画像の水平方向のシフト量をΔｄとして、図７に示す既定の快適視差範囲内の設定可能なシフト量Δｄに基づく画像フレーム単位の評価値Ｓ（Δｄ）を算出する。
（ステップ４）快適視差範囲内の設定可能なシフト量Δｄに応じて算出される画像フレーム単位の評価値Ｓ（Δｄ）中、最大の評価値となるシフト量Δｄ'を、最適シフト量とする。
【００８２】
最適シフト量算出部１０４は、上記のアルゴリズムに従って、最適シフト量Δｄ'を生成して仮想視点画像生成部１０５に出力する。
仮想視点画像生成部１０５は、入力ＬＲ画像に基づいて生成した仮想視点画像に対して、最適シフト量Δｄ'を適用した水平方向シフト処理を実行して最終的な仮想視点画像を生成する。
【００８３】
上記の（ステップ１）において利用する評価関数について説明する。画素単位の評価値ｓは、例えば以下の評価関数によって算出する。
ｓ＝α・Ｄ（ｄ＋Δｄ）−β・Ｃ（ｄ＋Δｄ）
なお、
α，βは、予め設定した重み係数
Ｄは奥行き感データ（図７参照）、
Ｃはクロストーク量（図７参照）、
ｄは視差情報、
Δｄはシフト量を示す変数、
である。
図７に示す設定で、
視差ｘ＝ｄ＋Δｄであり、
ｘ＝ｘ１〜ｘ２の範囲で、変数Δｄを設定して各シフト量Δｄの値に対応する評価値ｓを算出する。
【００８４】
視差情報ｄは、画素単位の視差情報であり、図１の構成では、視差情報入力部１１０３から入力され、図２の構成では視差推定部１１５から入力される。
奥行き感データＤと、クロストーク量Ｃは、入力される視差情報ｄに基づいて、記憶部から取得する図７に示す関係データに基づいて算出される。
【００８５】
Δｄは変数であり、図７に示す既定の快適視差範囲内で設定される。
各シフト量Δｄに基づく画像フレームの画素単位の評価値ｓ（Δｄ）を算出し、さらに、１フレームの画像全体の画素の評価値ｓ（Δｄ）の加算値を、画像フレーム単位の評価値Ｓ（Δｄ）として算出する。
【００８６】
なお、画素単位の評価値ｓ（Δｄ）の単純な加算値を、画像フレーム単位の評価値Ｓ（Δｄ）として算出する構成としてもよいが、各画素の評価値に対してさらに重み付けを行って重み付け後の評価値の加算値を画像フレーム全体の評価値として算出してもよい。
重み付けは、例えば、注目領域、例えば画像の中心部分やあるいは人物領域などに対する重みを大きくする設定などが有効である。具体的には、「Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ」の「ｓａｌｉｅｎｃｙ ｍａｐ」などを利用して注目領域に大きい重み例数を設定して加算する処理などが可能である。
【００８７】
このようにして、快適視差範囲内で設定可能なシフト量Δｄに応じて算出される画像フレーム単位の評価値Ｓ（Δｄ）中、最大の評価値となるシフト量Δｄ'を、最適シフト量とする。
【００８８】
最適シフト量算出部１０４は、このように、最適シフト量Δｄ'を生成して、仮想視点画像生成部１０５に出力する。仮想視点画像生成部１０５は、最適シフト量Δｄ'をＬＲ画像に基づいて生成した仮想視点画像に対する水平方向シフト量として適用したシフト画像を生成し、これを最終的に出力する仮想視点画像とする。
【００８９】
このような画像シフトにより、クロストーク量を所定値以下に抑えた快適視差範囲内で、所定の奥行き感を実現する仮想視点画像の生成が可能となる。
【００９０】
最適シフト量算出部１０４は、先に図７に示す快適視差範囲内のシフト量であり、かつ画像フレームの構成画素の評価値ｓのトータルとして得られる画像単位の評価値Ｓが最大となるシフト量Δｄ'を決定する。
【００９１】
このシフト量Δｄ'を適用したシフト処理によって、快適視差範囲内でかつ十分な奥行き感を持つ仮想視点画像を生成して出力することが可能となる。
【００９２】
［５．仮想視点画像生成部の処理について］
次に、図１、図２に示す仮想視点画像生成部１０５の具体的処理例について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
最適シフト量算出部１０４から最適シフト量、
これらの各情報を入力して、仮想視点画像を生成する。
【００９３】
仮想視点画像生成部１０５は、左視点画像（Ｌ画像）入力部１０１からＬ画像と、右視点画像（Ｒ画像）入力部１０２からＲ画像を適用して仮想視点画像を生成する。まず、先に、図４〜図６を参照して説明した処理に従って、予め決められた数（Ｎ）の仮想視点画像を生成する。
さらに、この仮想視点画像に対するシフト処理を実行する。すなわち、最適シフト量算出部１０４から入力する最適シフト量Δｄ'を仮想視点画像の構成画素の水平方向のシフト量として適用したシフト処理を実行して、これを出力する仮想視点画像とする。
【００９４】
この処理により、快適視差範囲内でかつ十分な奥行き感を持つ仮想視点画像を生成して出力することが可能となる。
【００９５】
なお、前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００９６】
図１、図２に示す表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成した仮想視点画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００９７】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００９８】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置。
【０１００】
（２）前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）に記載の画像処理装置。
（３）前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）または（２）に記載の画像処理装置。
【０１０１】
（４）前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１０２】
（６）前記画像処理装置は、さらに、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、前記仮想視点画像生成部は、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１０３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１０４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０６】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
具体的には、３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
この処理により、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
【符号の説明】
【０１０７】
１００ 画像処理装置
１０１ 左視点画像（Ｌ画像）入力部
１０２ 右視点画像（Ｒ画像）入力部
１０３ 視差情報入力部
１０４ 最適シフト量算出部
１０５ 仮想視点画像生成部
１０６ 表示制御部
１０７ 表示部
１１５ 視差推定部
１２１ ブロック
１３１ 入力Ｌ画像
１３２ 入力Ｒ画像
１３３ 仮想視点画像
３０１ 表示面
３１１〜３１３ 観察位置
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元（３Ｄ）画像表示に適用する多視点画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元（３Ｄ）画像表示処理において、メガネを装着しないで立体画像を知覚できる裸眼型の３Ｄ表示装置が実用化され始めている。裸眼３Ｄ表示装置は、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御する。
すなわち、左眼には左目から観察した画像に相当する左視点画像が観察され、右眼には右目から観察した画像に相当する右視点画像が観察されるような制御を行う。
【０００３】
しかしながら、このような方法では、ディスプレイに対して限定的な視聴位置でしか正しい立体視が得られない。従って、ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【０００４】
この問題を解決するために、正規の１つの観察位置に対応する標準の左視点画像と右視点画像のみならず、その他の観察位置で観察した場合にクロストークの発生しない設定とした新たな視点からの画像を生成して表示する構成が提案されている。
【０００５】
オリジナルの１組の左視点画像と右視点画像のみならず、その他の仮想視点の画像を多視点画像として生成し、これらの多視点画像の中からユーザの観察位置に応じて最適な左視点画像と右視点画像の組を観察位置に応じて選択可能として、逆視やクロストークを抑えた画像表示を行うものである。
すなわち、ユーザの観察位置に応じて異なる左視点画像と右視点画像のペアを観察させることで、ユーザの観察位置が変更された場合にも、観察者の左眼と右眼にそれぞれ観察位置に応じた左視点画像と右視点画像を観察させるものである。
【０００６】
具体的には、表示装置や画像処理装置に入力されるオリジナルの２視点の画像、すなわち３Ｄ画像表示用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の２つの視点画像に基づいて、これら２つの視点以外の仮想視点の視点画像を生成する。例えばオリジナルのＬＲ画像を含めて１０個の異なる視点の多視点画像を生成する。
【０００７】
生成した多視点画像から、ディスプレイに対するユーザの観察位置に応じた最適な２つの画像を組み合わせて観察させることで、様々な観察位置において、左視点画像と右視点画像が混ざるクロストークを抑制した３Ｄ画像の表示、観察が可能となる。
【０００８】
例えば特許文献１（特開２００６−１１５１９８号公報）には、オリジナルの左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を入力して、これらの２つの画像から視差検出を実行して、検出した視差情報に基づいて、複数の仮想視点の画像を生成する手法を開示している。具体的には、入力する左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の２つのオリジナル３Ｄ画像から視差を検出し、クロストーク量や融像視差範囲に基づいて入力ＬＲ画像と異なる仮想視点位置を決定する手法を開示している。
【０００９】
しかし、この特許文献１に記載の処理などによって仮想視点画像を生成する場合、視差の小さい仮想視点画像を生成しても十分な立体感が享受できないという問題が発生する。
【００１０】
特に、入力したオリジナルのＬＲ画像の間の視点に対応する仮想視点画像、すなわち入力ＬＲ画像間に内挿した仮想視点画像を２つ適用して観察すると、これらの仮想視点画像の視差は、入力ＬＲ画像の視差より小さくなり、立体感が得られにくくなる。
しかし、この視差を調整する処理を行う構成を追加すれば、コストアップとなり、また視差調整による画質劣化などが生じ、生成された仮想視点画像の品質が低下してしまい、観察に耐えられない画像が表示される可能性がある。
【００１１】
仮想視点位置と画像品質には密接な関係がある。
例えば、
入力Ｌ画像の視点位置を０．０、
入力Ｒ画像の視点位置を１．０、
とすると、
新たに生成する仮想視点の画像と画像品質との関係には、以下の特徴がある。
（特徴１）Ｌ画像（０．０）とＲ画像（１．０）間の０．０〜１．０の間の仮想視点位置では、
ＬＲ画像の中央位置である０．５の仮想視点画像が、他の仮想視点位置と比較して画像品質が最も低くなる。
（特徴２）Ｌ画像より左側、またはＲ画像より右側の０．０以下、１．０以上の仮想視点位置では，
Ｌ画像またはＲ画像から離れれば離れるほど映像の品質が低くなる
【００１２】
このような仮想視点位置と画像品質との関係は、例えば、視差検出の精度や画像に含まれるオクルージョン領域の量などに起因するものである。
なお、視点位置＝０．０ではオリジナルの入力左眼画像、視点位置＝１．０ではオリジナルの入力右眼画像がそのまま利用可能であるため、画像品質は最も高くなる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００６−１１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本開示は、例えば上記の問題点を解決するものであり、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく品質の高い多視点画像の生成処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１５】
また、本開示は、３Ｄ画像用の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づく多視点画像の生成処理を行う構成において、入力ＬＲ画像を適用して生成した仮想視点画像に対する大きな加工処理を施すことなく、立体感の強調を行うことを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【００１６】
本開示の第１の側面は、
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置にある。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、前記仮想視点画像生成部は、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する。
【００２２】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記最適シフト量算出処理は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理であり、
前記仮想視点画像生成処理は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理として実行する画像処理方法にある。
【００２３】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記最適シフト量算出処理においては、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理を実行させ、
前記仮想視点画像生成処理においては、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理を実行させるプログラムにある。
【００２４】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２５】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
具体的には、３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
この処理により、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】画像処理装置の構成例について説明する図である。
【図２】画像処理装置の構成例について説明する図である。
【図３】視差推定部の処理例について説明する図である。
【図４】仮想視点画像の生成処理の一例について説明する図である。
【図５】仮想視点画像の生成処理の一例について説明する図である。
【図６】仮想視点画像の生成処理の一例について説明する図である。
【図７】最適シフト量算出部の実行する処理について説明する図である。
【図８】最適シフト量算出部の実行する処理について説明する図である。
【図９】最適シフト量算出部の実行する処理について説明する図である。
【図１０】最適シフト量算出部の実行する処理について説明する図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．画像処理装置の全体構成と処理の概要について
２．視差情報と、視差推定部の処理の詳細について
３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について
４．最適シフト量算出部の処理について
５．仮想視点画像生成部の処理について
６．本開示の構成のまとめ
【００２９】
［１．画像処理装置の全体構成と処理の概要について］
まず、本開示の画像処理装置の全体構成と処理の概要について図１を参照して説明する。その後、各構成部の処理の詳細について説明する。
図１に示すように、画像処理装置１００は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差情報入力部１０３、最適シフト量算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１００において生成した画像が表示部１１０に出力される。
なお、図１に示す構成では、表示部１１０を画像処理装置１００の外部構成として示しているが、画像処理装置１００内に表示部１１０を有する構成としてもよい。
【００３０】
なお、図１は、画像処理装置の主要構成を示すものであり、画像処理装置１００には、図に示す構成の他、データ処理制御を実行するＣＰＵ等のプログラム実行機能を備えた制御部、制御部において実行するプログラムや、各種パラメータを格納した記憶部、パラメータや画像データなどを入力する入力部を有する。
例えば制御部は、以下に説明する処理を予め記憶部に格納したプログラムに従って実行する。
【００３１】
左視点画像（Ｌ画像）入力部１０１と、右視点画像（Ｒ画像）入力部１０２は、予め生成された３次元（３Ｄ）画像表示用の左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力する。
左視点画像（Ｌ画像）は、左眼から観察される画像に相当し、右視点画像（Ｒ画像）は、右眼から観察される画像に相当する。
【００３２】
ただし、これらの２つの画像は、標準的な２つのＬＲ画像である。すなわち、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備えた裸眼３Ｄ表示装置において、規定位置、例えばディスプレイを正面中心位置から観察した際に正しい３Ｄ画像として観察されるＬＲ画像である。
ユーザの観察位置が規定位置と異なる位置にある場合は、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざるクロストークが発生する。
【００３３】
画像処理装置１００は、この問題を解決するために、正規の１つの観察位置に対応する入力ＬＲ画像、すなわち標準の左視点画像（Ｌ画像）と右視点画像（Ｒ画像）に基づいて、様々な観察位置で観察した場合にクロストークの発生しない新たな視点（仮想視点）からの画像を生成する。
【００３４】
視差情報入力部１０３は、入力ＬＲ画像、すなわち、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）との２つの画像間の視差情報を入力する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）によって構成される。
【００３５】
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。この処理の詳細については後述する。
【００３６】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３から視差情報、
最適シフト量算出部１０４から最適視差量、
これらの各情報を入力して、仮想視点画像を生成する。
【００３７】
仮想視点画像生成部１０５は、例えば最適シフト量算出部１０４から入力する最適視差量に従って、仮想視点位置の決定処理等を実行して、決定した仮想視点位置に対応する仮想視点画像を生成する。
【００３８】
仮想視点画像生成部１０５は、入力ＬＲ画像の２視点の画像に加え、さらにその他の視点の画像を加えた計Ｎ視点の画像を生成して出力する。
仮想視点画像生成部１０５の生成した仮想視点画像は、表示制御部１０６を介して表示部１１０に出力表示される。
【００３９】
本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００４０】
表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成したＮ視点の画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００４１】
なお、画像処理装置１００は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００４２】
図１を示す画像処理装置の構成は、ＬＲ画像の入力に併せて、入力ＬＲ画像に対応する視差情報についても視差情報入力部１０３を介して入力する構成としている。
このように予め生成された視差情報を入力する構成ではなく、入力ＬＲ画像に対応する視差情報を画像処理装置の内部において生成する構成としてもよい。
このような画像処理装置の構成例を図２に示す。
【００４３】
図２に示す画像処理装置１２０は、左視点画像（Ｌ画像）入力部１０１、右視点画像（Ｒ画像）入力部１０２、視差推定部１１５、最適シフト量算出部１０４、仮想視点画像生成部１０５、表示制御部１０６を有し、画像処理装置１２０において生成した画像が表示部１１０に出力される。
図１に示す画像処理装置１００と異なる点は、図１に示す視差情報入力部１０３を持たずに、視差推定部１１５を有する点である。
その他の構成は図１に示す構成と同様である。
【００４４】
視差推定部１１５は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
視差情報とは、入力ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位や画素領域単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４５】
その他の構成は、図１に示す構成と同様である。
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１１５から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。この処理の詳細については後述する。
【００４６】
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１１５から視差情報、
最適シフト量算出部１０４から最適視差量、
これらの各情報を入力して、仮想視点画像を生成する。
【００４７】
［２．視差情報と、視差推定部の処理の詳細について］
次に、視差情報と、視差推定部の処理の詳細について説明する。
図１に示す画像処理装置１００では、外部から入力ＬＲ画像に対応する視差情報を入力し、図２に示す画像処理装置１２０は、視差推定部１１５において、入力ＬＲ画像に対応する視差情報を生成する。
視差推定部１１５は、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）を入力し、これらの画像に基づいて視差情報を生成する。
前述したように、視差情報とは、標準ＬＲ画像に含まれる同一被写体の画像間のずれ（左右方向の画素ずれ）に相当し、被写体の距離に相当する情報となる。具体的には、例えば各画素単位の視差情報（被写体距離情報）を持つデータを生成する。
【００４８】
この視差情報の取得は、例えば、以下のような既存の手法によって実行される。
（ａ）ブロックマッチングベースの視差情報取得処理
（ｂ）ＤＰ（ダイナミックプログラミング）マッチングベースの視差情報取得処理
（ｃ）セグメンテーションベースの視差情報取得処理
（ｄ）学習ベースの視差情報取得処理
（ｅ）上記各手法の組み合わせによる視差情報取得処理
例えば、上記（ａ）〜（ｅ）のいずれかの手法で視差情報を取得する。
【００４９】
図３を参照してブロックマッチングベースの視差情報取得処理について簡単に説明する。
図３に示すように、入力したオリジナルの標準画像である、
（ａ）左視点画像（Ｌ画像）と、
（ｂ）右視点画像（Ｒ画像）、
これらの入力ＬＲ画像を利用し、例えばＬ画像の画素領域（ブロック）１２１を選択し、その選択ブロックと類似するブロックをＲ画像中から検出する。すなわち、同一被写体の撮影領域であると判断されるブロック（マッチングブロック）をＬＲ画像から選択する。さらに、ＬＲ画像間におけるマッチングブロックの位置ずれ（水平方向の画素数等）を測定する。
【００５０】
図３において、例えばＬ画像の画素領域（ブロック）１２１の注目画素ＬＰ＝（５，３）の、Ｒ画像における対応画素は、ＲＰ＝（７，３）である。
この場合、Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）のＬＲ画像間の視差ｄ（５，３）は以下のように算出される。
視差ｄ（５，３）＝（７，３）−（５，３）＝（２，０）、
すなわち、
Ｌ画像の画素位置（ｘ，ｙ）＝（５，３）の視差ｄは２画素［ｐｉｘｅｌ］となる。
【００５１】
ブロックの位置ずれは、そのブロックに撮影されている被写体の距離に応じて変動する。
すなわち、ブロックの位置ずれが被写体距離に対応し、この位置ずれ情報を視差情報として取得する。
なお、この視差情報の表現形式として例えばデプスマップ（距離画像あるいは視差マップ）がある。デプスマップ（視差マップ）は、例えばＬ画像、Ｒ画像の各画素単位の視差（被写体距離）を画素単位の輝度によって表現した画像であり、例えば高輝度領域は、近い（カメラに近い）被写体、低輝度領域は、遠い（カメラから遠い）被写体を示す。すなわち被写体距離が輝度によって示された画像である。
【００５２】
［３．仮想視点画像生成部の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について］
次に、仮想視点画像生成部１０５の実行する入力ＬＲ画像に基づく基本的な仮想視点画像の生成処理について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
信頼度算出部１０４から信頼度情報、
これらの各情報を入力して、仮想視点画像を生成する。
【００５３】
例えば予め設定した数（例えば１０）の仮想視点を決定し、これらの各仮想視点に対応する仮想視点画像を生成する。仮想視点画像は、入力した標準ＬＲ画像を利用して生成する。すなわち、入力画像である左視点画像（Ｌ画像）と右視点画像（Ｒ画像）を利用して生成する。
具体的な仮想視点画像の生成処理例について、図４以下を参照して説明する。
【００５４】
図４には、画像処理装置に入力するオリジナルの左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２、さらに、これらのＬＲ画像に基づいて生成する仮想視点画像１３３を示している。
左視点画像（Ｌ画像）１３１は標準位置における左眼視点位置から観察した画像であり、右視点画像（Ｒ画像）１３２は標準位置における右眼視点位置から観察した画像である。
左視点画像（Ｌ画像）１３１の視点位置を０．０、
右視点画像（Ｒ画像）１３２の視点位置を１．０とする。
【００５５】
図４は、例えばこの視点位置０．０〜１．０の間の視点位置＝０．３からの観察画像を仮想視点画像１３３として生成する場合の処理例を示している。
左視点画像（Ｌ画像）１３１と右視点画像（Ｒ画像）１３２にはそれぞれ異なる位置に同一被写体（リンゴ）が撮影されている。Ｌ画像と、Ｒ画像において、この同一被写体の位置は、視点位置が異なるために、異なる位置となっている。
視点位置＝０．０と視点位置１．０の間の視点位置＝０．３の仮想視点画像１０３を生成する場合、この被写体（リンゴ）の位置を線型補間によって設定する。図４に示す直線Ｌ１に沿って被写体位置を変更することによって、各仮想視点における仮想視点画像の被写体位置を決定して仮想視点画像を生成することができる。
このように入力ＬＲ画像に基づく線形補間処理によって各仮想視点位置の仮想視点画像を生成する。
【００５６】
なお、仮想視点画像を生成する場合、入力ＬＲ画像の双方を利用して２つの画像をブレンドする処理によって生成することができる。
あるいは、Ｌ画像のみ、あるいはＲ画像のみを利用して仮想視点位置に応じて被写体位置をずらす処理によって、１つの画像のみを利用して生成することもできる。
あるいは、Ｌ画像側に近い仮想視点位置ではＬ画像のみを利用して仮想視点画像を生成し、Ｒ画像に近い位置ではＲ画像のみを利用して仮想視点画像を生成するといった処理を行ってもよい。
【００５７】
入力ＬＲ画像のブレンド処理に基づく仮想視点画像１３１の画素値の決定処理例について図５を参照して説明する。
図５には、
視点位置＝０である入力左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１、
視点位置＝１である入力右視点画像（Ｒ画像）におけるＬ画像の画素Ｐの対応画素１４２、
視点位置＝Φである仮想視点画像におけるＬ画像の画素Ｐの対応画素１４３、
これらを示している。
なお、
Φ＝０〜１
である。
【００５８】
左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の視差がｄ（ｘ，ｙ）［ｐｉｘｅｌ］である場合、
仮想視点画像におけるＬ画像の画素Ｐ（ｘ，ｙ）の対応画素１４３の画素位置は、
画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）とする。
すなわち、仮想視点画像における画素Ｑ（ｘ＋Φ・ｄ（ｘ，ｙ），ｙ）の画素値を、左視点画像（Ｌ画像）の画素Ｐ（ｘ，ｙ）１４１の画素値に設定する。
仮想視点画像の各画素の画素値は、このように、左視点画像（Ｌ画像）の画素の視差情報に基づいて設定する。
なお、この処理によって、仮想視点画像の埋まらなかった画素は、右視点画像（Ｒ画像）を適用した処理や隣接画素の画素値による補間処理、左視点画像の同一座標の画素で補間する処理などによって画素値を決定する。
【００５９】
図６には、
左視点画像（Ｌ画像）の水平ライン１５１、
右視点画像（Ｒ画像）の水平ライン１５２
仮想視点画像の水平ライン１５３、
を示している。
図に示す矢印は、仮想視点画像の水平ライン１５３の画素値を決定するために適用可能な左視点画像（Ｌ画像）の画素位置と、右視点画像（Ｒ画像）の画素位置を結ぶラインである。
【００６０】
図６に示す仮想視点画像の水平ライン１５３において、
１＝左視点画像（Ｌ画像）の水平ライン１５１の構成画素値によって画素値の設定された領域
２＝右視点画像（Ｒ画像）の水平ライン１５３の構成画素値によって画素値の設定された領域
３＝その他の領域
である。
【００６１】
このように、仮想視点画像の画素値の設定は、例えば、以下の３つの処理によって実行される。
１．左視点画像（Ｌ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に左視点画像（Ｌ画像）の画素値を補間する。
２．右視点画像（Ｒ画像）の各画素に対して、出力視点位置で対応する画素位置を求め、その画素位置に右視点画像（Ｒ画像）の画素値を補間する。
３．上記１，２の処理でも補間されない出力視点画像の画素は、隣接画素に基づく補間処理を行う。
【００６２】
なお、図５、図６を参照して説明した処理は入力ＬＲ画像に基づいてこれらのＬＲ画像と異なる仮想視点からの画像を生成する基本的な処理である。
本開示の画像処理装置の仮想視点画像生成部１０５は、この基本的な処理をベースとして、さらに、最適シフト量算出部１０４から入力する最適シフト量情報を適用して、画像シフトを実行して立体感を強調した最終的な仮想視点画像を生成する。
【００６３】
［４．最適シフト量算出部の処理について］
次に、最適シフト量算出部１０４の実行する処理について説明する。
最適シフト量算出部１０４は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差情報入力部１０３、または視差推定部１１５から視差情報、
これらの各情報を入力して、既定のアルゴリズムに従って、最適視差量を算出する。
【００６４】
具体的には、最適シフト量算出部１０４は、図１の構成では外部から入力する視差情報、また図２に示す構成では視差推定部１１５から入力する視差情報に基づいて、
クロストーク量、
奥行き感（≒観察者の認識する被写体距離）
これらの情報を考慮して、仮想視点画像に対する最適なシフト量を決定する処理を実行する。
【００６５】
最適シフト量算出部１０４は、予め記憶部に保持された例えば図７に示すデータを記憶部から取得して、このデータに基づいて最適視差量の算出を実行する。
図７に示すデータについて説明する。
図７は、入力ＬＲ画像におけるある１つの対応点の１画素に関するデータ例を示している。
例えば視差の設定された画像のある画素、すなわち、視差：ｘ＝ｄの画素について、様々なシフト量Δｄを設定した場合の奥行き感Ｄ（＝観察者の認識する被写体距離）の変化と、クロストーク量Ｃの変化を示す図である。
クロストークは、先に説明したように、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざる現象である。従って、クロストーク量が少ない方が好ましい画像である。
【００６６】
横軸に「視差ｘ＝ｄ＋Δｄ」
縦軸に「奥行き感Ｄ」と、「クロストーク量Ｃ」
これらの関係データを示している。
シフト量は、例えば、画素を水平方向に左移動するシフト処理を−方向のシフト処理、右方向に移動するシフト処理を＋方向のシフト処理として示している。
さらに、クロストーク量が、予め既定した値以下の範囲を快適視差範囲として規定する。
この快適視差範囲は、例えば図に示すように、
視差ｘ＝ｘ１〜ｘ２
この範囲に設定する。
【００６７】
視差と奥行き感Ｄ（＝観察者の認識する被写体距離）との対応関係について、図８を参照して説明する。
図８には、
（ａ）視差＜０
（ｂ）視差＝０
（ｃ）視差＞０
これらの３つの態様の視差を持つＬＲ画像の観察状態を示している。
【００６８】
図に示す表示面３０１は、ディスプレイの表示面である。
この表示面に、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の同一被写体の画像が水平方向に位置をずらして表示されることで視差が発生し、観察位置が表示面の前後に設定されることになる。
【００６９】
図８（ｂ）の視差＝０の場合は、２次元表示と同様の表示であり、左視点画像（Ｌ画像）と、右視点画像（Ｒ画像）の同一被写体の画像が表示面上で位置ずれなく表示される。この場合は、その表示オブジェクトの観察位置３１２は表示面上となる。
【００７０】
一方、図８（ａ）の視差＜０の場合は、左視点画像（Ｌ画像）が左側、右視点画像（Ｒ画像）が右側にずれて表示面上で表示される。この表示位置の「ずれ」が視差となり、この場合は、その表示オブジェクトの観察位置は表示面より遠い位置となる。図８（ａ）に示す観察位置３１１となる。
【００７１】
一方、図８（ｃ）の視差＞０の場合は、左視点画像（Ｌ画像）が右側、右視点画像（Ｒ画像）が左側にずれて表示面上で表示される。この表示位置の「ずれ」が視差となり、この場合は、その表示オブジェクトの観察位置は表示面より近い位置となる。図８（ｃ）に示す観察位置３１３となる。
【００７２】
このように視差に応じて奥行き感Ｄ（＝観察者の認識する被写体距離）が変更される。
図８に示す３つのデータから理解されるように、視差を決定しているのは、表示面３０１に表示されるＬＲ画像の対応画素の位置である。
例えば図８（ａ）に示す左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の表示位置を水平方向にシフトすることで、図８（ｂ）の設定や図８（ｃ）の設定が可能となる。すなわちシフト処理によって、奥行き感を変化させることができる。
このシフト処理と奥行き感の対応を示しているのが、図７に示す奥行き感Ｄのラインである。
【００７３】
また、例えば入力ＬＲ画像に基づいて生成した１つの仮想視点画像に対するシフト処理によって、奥行きレンジを拡大することが可能となる。
この例について図９を参照して説明する。
【００７４】
図９には以下の３つのＬＲ画像の視差範囲（奥行きレンジ）を示している。
（１）入力ＬＲ画像の視差範囲（奥行きレンジ）
（２）視点内挿処理による仮想視点画像の視差範囲（奥行きレンジ）
（３）上記の（２）の視点内挿処理による仮想視点画像に対してシフト処理を実行して生成したシフト画像の視差範囲（奥行きレンジ）
【００７５】
図９（２）は、入力ＬＲ画像の視点より、内側に視点を設定した仮想視点画像における視差範囲（奥行きレンジ）を示している。この視差範囲は、入力ＬＲ画像の視差範囲より小さくなる。つまり、視点内挿による仮想視点画像は、奥行きレンジを縮小した画像となる。
【００７６】
この図９（２）に示す仮想視点画像に対して、画像シフトを実行して生成したシフト画像は、図９（３）に示すように、奥行きレンジが拡大される。
すなわち、観察者は画像に含まれるもっとも遠い被写体と最も近い被写体の距離間隔をより大きく感じることが可能となる。
【００７７】
なお、図１０に示すように、
観察者の眼の位置からの被写体距離をＬｄとしたとき、
被写体距離Ｌｄは、以下の式によって算出される。
Ｌｄ＝（Ｌｓ・ｄｅ）／（ｄｅ＋ｘ）
ただし、
Ｌｓ：観察者の眼から表示面間の距離
ｄｅ：観察者の左右の眼の間隔
ｘ：ｄ＋Δｄ
ｄ：入力ＬＲ画像における視差
Δｄ：シフト量
である。
【００７８】
図８〜図１０を参照して説明したように、所定の視差を持つ画像に対して、画像のシフト処理を施すことによって、奥行きレンジの拡大効果が得られる。
ただし、シフト量によっては、クロストーク量が増大してしまい、快適な３Ｄ画像の観察ができなくなる場合がある。クロストーク量Ｃは、先に説明したように、左眼に右眼用の画像（右視点画像）が、右眼に左眼用の画像（左視点画像）が入ってしまう逆視や、左視点画像と右視点画像が混ざる現象である。
このクロストーク量Ｃは、図７に示すように視差の絶対値が大きくなるにつれ、すなわち、視差＝０の位置から離れるにしたがって大きくなる傾向がある。
ただし、このクロストーク量は、３Ｄ画像を表示するディスプレイによって異なる。
【００７９】
最適シフト量算出部１０４は、図７に示すデータ、すなわち、
シフト量（Δｄ）のシフト処理によって調整可能な視差（ｘ）と奥行き感（Ｄ）との対応関係、
シフト量（Δｄ）のシフト処理によって調整可能な視差（ｘ）とクロストーク量（Ｃ）との対応関係、
これらの対応データを考慮して、快適視差範囲でのシフト量を決定する。
なお、図７に示すデータ、すなわち、
視差ｘと、奥行き感Ｄとの対応関係データ、
視差ｘと、クロストーク量Ｃとの対応関係データ、
これらの関係データは、予め計測あるいは算出して、画像処理装置の記憶部に格納しておく。
また、所定の奥行き感Ｄが得られ、さらに、クロストーク量が所定の値以下となる視差範囲を快適視差範囲として規定しておく。例えば、図７に示す視差ｘ＝ｘ１〜ｘ２の範囲を快適視差範囲として、この快適視差範囲情報を記憶部に格納しておく。
【００８０】
最適シフト量算出部１０４は、これらのデータ、すなわち、
視差ｘと、奥行き感Ｄとの対応関係データ、
視差ｘと、クロストーク量Ｃとの対応関係データ、
快適視差範囲情報：視差ｘ＝ｘ１〜ｘ２、
これらのデータを記憶部から取得して、最適なシフト量を決定する。
【００８１】
シフト量の決定処理は、以下のアルゴリズムに従って行う。
（ステップ１）既定の評価関数を使用して画素ごとに評価値ｓを算出する。
（ステップ２）各画素の評価値ｓを合計して１フレームの評価値Ｓを算出する。
（ステップ３）画像の視差調整のために実行するＬＲ画像のいずれか一方の画像の水平方向のシフト量をΔｄとして、図７に示す既定の快適視差範囲内の設定可能なシフト量Δｄに基づく画像フレーム単位の評価値Ｓ（Δｄ）を算出する。
（ステップ４）快適視差範囲内の設定可能なシフト量Δｄに応じて算出される画像フレーム単位の評価値Ｓ（Δｄ）中、最大の評価値となるシフト量Δｄ'を、最適シフト量とする。
【００８２】
最適シフト量算出部１０４は、上記のアルゴリズムに従って、最適シフト量Δｄ'を生成して仮想視点画像生成部１０５に出力する。
仮想視点画像生成部１０５は、入力ＬＲ画像に基づいて生成した仮想視点画像に対して、最適シフト量Δｄ'を適用した水平方向シフト処理を実行して最終的な仮想視点画像を生成する。
【００８３】
上記の（ステップ１）において利用する評価関数について説明する。画素単位の評価値ｓは、例えば以下の評価関数によって算出する。
ｓ＝α・Ｄ（ｄ＋Δｄ）−β・Ｃ（ｄ＋Δｄ）
なお、
α，βは、予め設定した重み係数
Ｄは奥行き感データ（図７参照）、
Ｃはクロストーク量（図７参照）、
ｄは視差情報、
Δｄはシフト量を示す変数、
である。
図７に示す設定で、
視差ｘ＝ｄ＋Δｄであり、
ｘ＝ｘ１〜ｘ２の範囲で、変数Δｄを設定して各シフト量Δｄの値に対応する評価値ｓを算出する。
【００８４】
視差情報ｄは、画素単位の視差情報であり、図１の構成では、視差情報入力部１１０３から入力され、図２の構成では視差推定部１１５から入力される。
奥行き感データＤと、クロストーク量Ｃは、入力される視差情報ｄに基づいて、記憶部から取得する図７に示す関係データに基づいて算出される。
【００８５】
Δｄは変数であり、図７に示す既定の快適視差範囲内で設定される。
各シフト量Δｄに基づく画像フレームの画素単位の評価値ｓ（Δｄ）を算出し、さらに、１フレームの画像全体の画素の評価値ｓ（Δｄ）の加算値を、画像フレーム単位の評価値Ｓ（Δｄ）として算出する。
【００８６】
なお、画素単位の評価値ｓ（Δｄ）の単純な加算値を、画像フレーム単位の評価値Ｓ（Δｄ）として算出する構成としてもよいが、各画素の評価値に対してさらに重み付けを行って重み付け後の評価値の加算値を画像フレーム全体の評価値として算出してもよい。
重み付けは、例えば、注目領域、例えば画像の中心部分やあるいは人物領域などに対する重みを大きくする設定などが有効である。具体的には、「Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ」の「ｓａｌｉｅｎｃｙ ｍａｐ」などを利用して注目領域に大きい重み例数を設定して加算する処理などが可能である。
【００８７】
このようにして、快適視差範囲内で設定可能なシフト量Δｄに応じて算出される画像フレーム単位の評価値Ｓ（Δｄ）中、最大の評価値となるシフト量Δｄ'を、最適シフト量とする。
【００８８】
最適シフト量算出部１０４は、このように、最適シフト量Δｄ'を生成して、仮想視点画像生成部１０５に出力する。仮想視点画像生成部１０５は、最適シフト量Δｄ'をＬＲ画像に基づいて生成した仮想視点画像に対する水平方向シフト量として適用したシフト画像を生成し、これを最終的に出力する仮想視点画像とする。
【００８９】
このような画像シフトにより、クロストーク量を所定値以下に抑えた快適視差範囲内で、所定の奥行き感を実現する仮想視点画像の生成が可能となる。
【００９０】
最適シフト量算出部１０４は、先に図７に示す快適視差範囲内のシフト量であり、かつ画像フレームの構成画素の評価値ｓのトータルとして得られる画像単位の評価値Ｓが最大となるシフト量Δｄ'を決定する。
【００９１】
このシフト量Δｄ'を適用したシフト処理によって、快適視差範囲内でかつ十分な奥行き感を持つ仮想視点画像を生成して出力することが可能となる。
【００９２】
［５．仮想視点画像生成部の処理について］
次に、図１、図２に示す仮想視点画像生成部１０５の具体的処理例について説明する。
仮想視点画像生成部１０５は、
左視点画像（Ｌ画像）入力部１０１からＬ画像、
右視点画像（Ｒ画像）入力部１０２からＲ画像、
視差推定部１０３から視差情報、
最適シフト量算出部１０４から最適シフト量、
これらの各情報を入力して、仮想視点画像を生成する。
【００９３】
仮想視点画像生成部１０５は、左視点画像（Ｌ画像）入力部１０１からＬ画像と、右視点画像（Ｒ画像）入力部１０２からＲ画像を適用して仮想視点画像を生成する。まず、先に、図４〜図６を参照して説明した処理に従って、予め決められた数（Ｎ）の仮想視点画像を生成する。
さらに、この仮想視点画像に対するシフト処理を実行する。すなわち、最適シフト量算出部１０４から入力する最適シフト量Δｄ'を仮想視点画像の構成画素の水平方向のシフト量として適用したシフト処理を実行して、これを出力する仮想視点画像とする。
【００９４】
この処理により、快適視差範囲内でかつ十分な奥行き感を持つ仮想視点画像を生成して出力することが可能となる。
【００９５】
なお、前述したように、本開示の画像処理装置の生成する表示画像は、ユーザがメガネを装着しなくても立体画像を視聴することができる裸眼３Ｄ表示装置における表示画像である。
【００９６】
図１、図２に示す表示部１１０は、裸眼３Ｄ表示を行う表示部であり、ディスプレイ面に例えばレンチキュラシートや、パララックスバリア（視差バリア）を備え、視聴位置によって左眼と右眼に入る画像を制御可能とした表示部である。
表示制御部１０６は、仮想視点画像生成部１０５の生成した仮想視点画像を表示部１１０に出力する。
なお、表示制御部１０６は、表示部１１０の表示構成に応じた表示情報を生成する。
【００９７】
なお、画像処理装置は、例えば撮像部を備えたカメラ等の撮像装置、ＰＣ、テレビなどの表示装置として構成することも可能であり、これらの装置として構成する場合は各装置に応じた機能を備えた構成とする。
例えばカメラの場合、異なる視点からの画像としてのＬＲ画像を撮影する撮像部を有し、撮像部から入力するＬＲ画像を利用して多視点画像を生成する構成とする。
【００９８】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置。
【０１００】
（２）前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）に記載の画像処理装置。
（３）前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）または（２）に記載の画像処理装置。
【０１０１】
（４）前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記最適シフト量算出部は、クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１０２】
（６）前記画像処理装置は、さらに、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、前記仮想視点画像生成部は、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１０３】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１０４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１０５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１０６】
以上、説明したように、本開示の一実施例構成によれば、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
具体的には、３次元画像表示に適用する左眼用の画像信号であるＬ画像と、Ｒ画像を入力し、Ｌ画像とＲ画像と、ＬＲ画像の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有する。最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、仮想視点画像生成部は、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する。
この処理により、３次元画像としてのＬＲ画像に基づく仮想視点画像の生成に際して、画像シフト処理を施すことで立体感を強調した視差画像を生成することが可能となる。
【符号の説明】
【０１０７】
１００ 画像処理装置
１０１ 左視点画像（Ｌ画像）入力部
１０２ 右視点画像（Ｒ画像）入力部
１０３ 視差情報入力部
１０４ 最適シフト量算出部
１０５ 仮想視点画像生成部
１０６ 表示制御部
１０７ 表示部
１１５ 視差推定部
１２１ ブロック
１３１ 入力Ｌ画像
１３２ 入力Ｒ画像
１３３ 仮想視点画像
３０１ 表示面
３１１〜３１３ 観察位置
【特許請求の範囲】
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置。
【請求項２】
前記最適シフト量算出部は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項３】
前記最適シフト量算出部は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項４】
前記最適シフト量算出部は、
クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項５】
前記最適シフト量算出部は、
クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、
前記仮想視点画像生成部は、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項７】
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記最適シフト量算出処理は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理であり、
前記仮想視点画像生成処理は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理として実行する画像処理方法。
【請求項８】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記最適シフト量算出処理においては、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理を実行させ、
前記仮想視点画像生成処理においては、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理を実行させるプログラム。
【請求項１】
３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）を入力する左視点画像入力部と、
３次元画像表示に適用する右眼用の画像信号である右視点画像（Ｒ画像）を入力する右視点画像入力部と、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出部と、
入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成部を有し、
前記最適シフト量算出部は、視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出し、
前記仮想視点画像生成部は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する画像処理装置。
【請求項２】
前記最適シフト量算出部は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓを加算した画像単位の画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項３】
前記最適シフト量算出部は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、各画素対応の画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項４】
前記最適シフト量算出部は、
クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓを加算した、シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項５】
前記最適シフト量算出部は、
クロストーク量が予め規定した値以下の範囲を快適視差範囲として、該快適視差範囲内で、シフト量を変化させて、各シフト量に応じた画素対応評価値ｓを算出し、
さらに画像全体の構成画素の画素対応評価値ｓに対して、画像領域単位の重み付けを行う重み係数を乗算して加算した各シフト量に応じた画像単位評価値Ｓを算出して、画像単位評価値Ｓが最大となるシフト量を最適シフト量として算出する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、さらに、
前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）から視差情報を生成する視差推定部を有し、
前記仮想視点画像生成部は、
前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記視差情報と、前記最適シフト量を入力して、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する請求項１に記載の画像処理装置。
【請求項７】
画像処理装置において実行する画像処理方法であり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力し、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行し、
前記最適シフト量算出処理は、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理であり、
前記仮想視点画像生成処理は、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理として実行する画像処理方法。
【請求項８】
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部を介して、３次元画像表示に適用する左眼用の画像信号である左視点画像（Ｌ画像）と、右眼用の画像信号である右視点画像（Ｒ画像）を入力する処理と、
最適シフト量算出部が、前記左視点画像（Ｌ画像）と、前記右視点画像（Ｒ画像）と、前記左視点画像（Ｌ画像）と右視点画像（Ｒ画像）の視差情報を入力して、快適視差範囲内の画像シフト量の最適値を算出する最適シフト量算出処理と、
仮想視点画像生成部が、入力ＬＲ画像の視点以外の視点画像を含む仮想視点画像を生成する仮想視点画像生成処理を実行させ、
前記最適シフト量算出処理においては、
視差量と立体感との対応関係データと、視差量とクロストーク量との対応関係データを利用して、予め既定したクロストーク量以下の範囲内の最適シフト量を算出する処理を実行させ、
前記仮想視点画像生成処理においては、
入力ＬＲ画像に基づいて生成した仮想視点画像に対して、前記最適シフト量算出部の算出した最適シフト量に従った画像シフト処理を施して最終的な出力用仮想視点画像を生成する処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図５】
【図６】
【図２】
【図３】
【図４】
【図７】
【図８】
【図９】
【図１０】
【図５】
【図６】
【公開番号】特開２０１３−９０１２９（Ｐ２０１３−９０１２９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８６９８（Ｐ２０１１−２２８６９８）
【出願日】平成２３年１０月１８日（２０１１．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１８日（２０１１．１０．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]