画像処理方法、画像処理装置及び表示装置
【課題】所望の補間画像の生成する際の描画エラーを防止する。
【解決手段】第１の原画像及び第２の原画像を取得し、前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法が提供される。
【解決手段】第１の原画像及び第２の原画像を取得し、前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理方法、画像処理装置及び表示装置に関する。
【背景技術】
【０００２】
左眼用画像（以下、Ｌ画像と呼ぶ）及び右眼用画像（以下、Ｒ画像と呼ぶ）のステレオ画像と視差情報とを用いて、所望の生成位相の補間画像を生成することが知られている。生成された補間画像は、多視点画像中の一視点画像として主に立体視可能な表示装置の所定位置に表示される。視差情報は、例えば、ＬＲ画像の水平方向のずれ量をディスパリティマップとして生成することにより得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ディスパリティマップに基づき補間画像を生成する際、ディスパリティ（視差）の抽出エラーに起因して補間エラーが生じる場合がある。例えば、補間エラーとしては、既に前景を表す画素が描画されている補間画像の座標を、背景を表す画素で上書きしてしまう現象が挙げられる。その結果、補間画像の一部で前景が背景で侵食され、補間画像の画質が劣化する。
【０００５】
そこで、補間画像を生成する際の描画エラーを防止し、補間画像の画質を良好にすることが可能な画像処理方法、画像処理装置及び表示装置が求められていた。
【課題を解決するための手段】
【０００６】
本開示によれば、右眼用画像及び左眼用画像を取得し、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法が提供される。
【０００７】
また、本開示によれば、右眼用画像及び左眼用画像を取得する取得部と、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、右眼用画像及び左眼用画像を取得する取得部と、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、前記右眼用画像、前記左眼用画像及び前記補間画像の表示を制御する表示制御部と、を備える表示装置が提供される。
【発明の効果】
【０００９】
以上説明したように、本開示の画像処理によれば、補間画像を生成する際の描画エラーを防止し、補間画像の画質を良好にすることが可能な画像処理方法、画像処理装置及び表示装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１及び第２の実施形態に係る画像処理装置の機能構成図である。
【図２】第１の実施形態に係る画像処理を示すフローチャートである。
【図３】第１及び第２の実施形態に係るディスパリティの抽出を説明するための図である。
【図４】第１の実施形態に係る補間画像生成処理を示すフローチャートである。
【図５】第１の実施形態に係るＬ画像の補間画像生成を説明するための図である。
【図６】第１の実施形態に係るＲ画像の補間画像生成を説明するための図である。
【図７】第１の実施形態に係るＬＲ画像の補間画像のマージを説明するための図である。
【図８】第２の実施形態に係る画像処理を示すフローチャートである。
【図９】第２の実施形態に係る選択された原画像の補間画像生成処理を説明するための図である。
【図１０】第２の実施形態に係る選択されなかった原画像の補間画像生成処理を説明するための図である。
【図１１】補間エラーの一例を示した図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．画像処理装置の機能
１．２．画像処理装置の動作
１．２．１．ディスパリティの抽出
１．２．２．Ｌ画像から補間画像を生成する例
１．２．３．Ｒ画像から補間画像を生成する例
１．２．４．ＬＲ画像から生成された補間画像のマージ
１．３．効果の例
２．第２の実施形態
２．１．画像処理装置の機能
２．２．画像処理装置の動作
２．２．１．選択された原画像から補間画像を生成する例
２．２．２．選択されなかった原画像から補間画像を生成する例
２．３．効果の例
【００１３】
＜１．第１の実施形態＞
［１．１．画像処理装置の機能］
まず、本開示の第１の実施形態に係る画像処理装置の機能構成について、図１を参照しながら説明する。第１の実施形態に係る画像処理装置１０は、取得部１０５、抽出部１１０、画像処理部１１５、記憶部１２０及び表示制御部１２５を有する。
【００１４】
取得部１０５は、コンテンツのＬ画像及びＲ画像のステレオ画像を取得する。取得可能なコンテンツの情報としては、ステレオ画像の映像信号のみの場合や、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のようにステレオ画像の映像信号とディスパリティ情報の場合がある。
【００１５】
取得部１０５がステレオ画像の映像信号のみを取得した場合、抽出部１１０は、Ｌ画像及びＲ画像の水平方向のずれ量からディスパリティマップを生成する。ディスパリティマップは視差情報の一例であり、視差情報は必ずしもマップ化する必要はない。なお、取得部１０５がディスパリティを取得した場合には、抽出部１１０によるディスパリティの抽出は省略できる。
【００１６】
例えば、図３には、最上位及び最下位にＬ画像及びＲ画像の対応水平ラインのディスパリティが丸の中の数値によって示されている。また、そのラインの隣りには、Ｌ画像及びＲ画像の対応水平ラインの映像情報が四角によって示されている。図３には、水平ラインが１つのみ示されているが、コンテンツが有するラインの数だけディスパリティは抽出される。
【００１７】
第１及び第２実施形態では、Ｌ画像のディスパリティが「０」の場合、Ｒ画像のディスパリティとのずれがない、つまり、Ｌ画像のある画素と、対応するＲ画像の画素のディスパリティは同じであると定義する。また、Ｌ画像のディスパリティが「１１」の場合、Ｌ画像とＲ画像とは１１画素だけずれていることを示す。例えば図３のＬ画像の「１１」で示されるディスパリティを持つ画素領域Ａの映像情報（塗りつぶされた四角で表された画像）は、Ｒ画像の「１１」で示されるディスパリティを持つ画素領域Ｂの映像情報（塗りつぶされた四角で表された画像）と同じ映像情報を持っていることがわかる。このようにディスパリティは、Ｌ画像とＲ画像の対応点を示す。換言すれば、Ｌ画像とＲ画像で同じ映像が写っているところの水平方向のずれ量がディスパリティである。
【００１８】
画像処理部１１５は、Ｌ画像及びＲ画像から所望のフェース（生成位相）の補間画像を生成する。画像処理部１１５は、Ｌ画像及びＲ画像から補間画像を生成する際、Ｌ画像とＲ画像とのいずれか一方の原画像のディスパリティと補間画像のディスパリティとの大小関係に応じて、その一方の原画像の映像情報を補間画像に描画するかを決定する。具体的には、画像処理部１１５は、ディスパリティの大小関係から、Ｌ画像とＲ画像とのいずれか一方の原画像の映像情報が補間画像の前景か又は背景かを判定する。判定の結果、画像処理部１１５は、Ｌ画像又はＲ画像の映像情報が前景であると判定された場合、その映像情報を補間画像に描画し、背景であると判定された場合、その映像情報を補間画像に描画することを禁止する。図３には、一水平ラインのみ示されているが、コンテンツが有する水平ラインの数だけ上記補間画像生成処理が実行される。
【００１９】
例えば、前景を示す数値が背景を示す数値より大きい値になるようにディスパリティの値が定義されている場合、描画しようとする画像のディスパリティが、描画される側の画像のディスパリティより大きい場合、描画しようとする画像は前景であるため、その描画を許す。一方、描画しようとする画像のディスパリティが、描画される側の画像のディスパリティ値より小さい場合、描画しようとする画像は背景であるため、その描画を禁止する。これにより、背景の映像で前景の映像を上書きすることを防止できる。ただし、ディスパリティ値の大小関係と書き込みの許可又は禁止は、ディスパリティ値を表す数値の定義の仕方によって変わってくる。例えば、本実施形態とは逆に、前景を示す数値が背景を示す数値より小さい値になるようにディスパリティ値を定義した場合には、ディスパリティ値の大小関係と、描画しようとする画像の描画の許可又は禁止の制御は、前述した制御と反対になる。つまり、描画しようとする画像のディスパリティ値が描画される側の画像のディスパリティ値より大きい場合、描画しようとする画像の描画を禁止し、描画しようとする画像のディスパリティ値が描画される側の画像のディスパリティ値より小さい場合、描画しようとする画像の描画を許可する。このように、本実施形態では、ディスパリティ値の大小関係から、描画する側及び描画される側の画像の奥行き関係が判断される。判断の結果、描画する側の画像が前景であれば、その画像の描画（上書き）は許可され、そうでなければその画像の描画は禁止される。
【００２０】
記憶部１２０は、生成途中の補間画像である第１の補間画像及び第２の補間画像の映像情報及びディスパリティを記憶する。
【００２１】
表示制御部１２５は、画像処理部１１５によって生成された補間画像をＬ画像及びＲ画像とともに所定のフェーズ位置に表示する。これにより、多視点画像をディスプレイに立体視可能に表示することができる。
【００２２】
なお、抽出部１１０、画像処理部１１５及び表示制御部１２５の機能は、例えば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶部１２０に格納されたプログラムに従って動作することによって実現されうる。このプログラムは、記憶媒体に格納して提供され、図示しないドライバを介して記憶部１２０に読み込まれるものであってもよく、また、ネットワークからダウンロードされて記憶部１２０に格納されるものであってもよい。また、上記各部の機能を実現するために、ＣＰＵに代えてＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が用いられてもよい。記憶部１２０は、例えば半導体メモリ、磁気ディスク、または光学ディスクなどを用いるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現されうる。また、上記各部の機能は、ソフトウエアを用いて動作することにより実現されてもよく、ハードウエアを用いて動作することにより実現されてもよい。
【００２３】
［１．２．画像処理装置の動作］
次に、図２を参照して、第１の実施形態に係る画像処理装置１０の動作について説明する。図２は、第１の実施形態に係る画像処理を示すフローチャートである。本処理が始まると、ステップＳ２０５にて、取得部１０５は、Ｌ画像及びＲ画像を取得する。
【００２４】
（１．２．１．ディスパリティの抽出）
次に、ステップＳ２１０にて、抽出部１１０は、Ｌ画像及びＲ画像からＬ画像のディスパリティマップとＲ画像のディスパリティマップとを生成する。図３には、ある水平ラインのＬ画像のディスパリティ、Ｌ画像の映像情報（フェーズ０）、Ｒ画像のディスパリティ、Ｒ画像の映像情報（フェーズ１）、及び生成対象であるフェーズ０．６（生成位相０．６）の補間画像が示されている。前述したとおり、Ｌ画像の「１１」で示されたディスパリティに対応するＬ画像の映像情報と、Ｌ画像の座標から水平方向に１１画素ずれたＲ画像の「１１」で示されたディスパリティに対応するＲ画像の映像情報とが同じ映像であることを示している。また、本実施形態では、ディスパリティ値「０」は背景を示し、ディスパリティ値「１１」は前景を示す。
【００２５】
ディスパリティ抽出後、ステップＳ２１５の補間画像生成処理（Ｌ画像）とステップＳ２２０の補間画像生成処理（Ｒ画像）とに分岐する。ステップＳ２１５、Ｓ２２０の補間画像生成処理は、図４に示したフローチャートをそれぞれ実行する。ステップＳ２１５の補間画像生成処理は、フェーズ０のＬ画像からフェーズ０．６の補間画像（第１の補間画像）を生成する。つまり、Ｌ画像の視差情報とフェーズ０．６の第１の補間画像の視差情報との大小関係に応じて、Ｌ画像の映像情報を第１の補間画像に描画する。また、ステップＳ２２０の補間画像生成処理は、フェーズ１のＲ画像からフェーズ０．６の補間画像（第２の補間画像）を生成する。つまり、Ｒ画像の視差情報とフェーズ０．６の第２の補間画像の視差情報との大小関係に応じて、Ｒ画像の映像情報を第２の補間画像に描画する。なお、第１の補間画像及び第２の補間画像は、フェーズ０．６の補間画像を生成するためにＬ画像及びＲ画像から生成された補間画像生成途中の中間画像であり、後述するように第１及び第２の補間画像に基づきフェーズ０．６の補間画像が完成する。また、Ｌ画像の映像情報を第１の補間画像に描画するステップＳ２１５の処理と、Ｒ画像の映像情報を第２の補間画像に描画するステップＳ２２０の処理とは並列的な処理が可能である。これにより、ステップＳ２１５、Ｓ２２０の処理を直列的に処理した場合に比べて処理時間を１／２にすることができる。
【００２６】
（１．２．２．Ｌ画像から補間画像を生成する例）
次に、ステップＳ２１５にて呼び出される補間画像生成処理（図４）について、図４及び図５を参照しながら説明する。図４では、補間画像（第１の補間画像）の映像情報はｖｉｍｇで示され、第１の補間画像の座標（ｘ，ｙ）の映像情報はｖｉｍｇ（ｘ，ｙ）で示される。第１の補間画像のディスパリティはｖｄｓｐで示され、第１の補間画像の座標（ｘ，ｙ）のディスパリティはｖｄｓｐ（ｘ，ｙ）で示される。なお、本処理が開始される前に、第１の補間画像の映像情報ｖｉｍｇのすべての座標データは「０」で初期化され、第１の補間画像のディスパリティｖｄｓｐのすべての座標データは、「−１」で初期化されている。
【００２７】
また、原画像（ここでは、Ｌ画像）の映像情報はｓｉｍｇで示され、原画像の座標（ｘ’
，ｙ’）の映像情報はｓｉｍｇ（ｘ’ ，ｙ’）で示される。原画像（ここでは、Ｌ画像）のディスパリティはｓｄｓｐで示され、原画像の座標（ｘ’，ｙ’）のディスパリティはｓｄｓｐ（ｘ’ ,ｙ’）で示される。補間画像のディスパリティｖｄｓｐ及び映像情報ｖｉｍｇ、原画像のディスパリティｓｄｓｐ及び映像情報ｓｉｍｇは記憶部１２０に記憶される。
【００２８】
ステップＳ２１５の補間画像生成処理では、Ｌ画像から第１の補間画像が生成される。本処理はステップＳ４０５から始まり、まず、画像処理部１１５は、ｖｉｍｇ（ｘ，ｙ）の補間画像をＬ画像ｓｉｍｇ（ｘ’ ，ｙ’）に決定する。図５には、Ｌ画像から第１の補間画像を生成する過程が示されている。図５の例では、紙面の左側から右側へ向けてフェーズ０．６の第１の補間画素が一画素ずつ生成される状態が示されている。ただし、右から左に向かって走査してもよい。ここでは、最も左に位置するＬ画像のディスパリティｓｄｓｐは「０」である。このため、Ｌ画像の画素ｓｉｍｇ（ｘ ，ｙ）に対応する第１の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。つまり、第１の補間画像ｖｉｍｇの最も左の画素の座標とＬ画像ｓｉｍｇの最も左の画素の座標とのずれは、０画素と決定される。
【００２９】
次に、画像処理部１１５は、ステップＳ４１０にて、第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しいか（つまり、最初の描画か）を判定する。ここでは補間画素のディスパリティｖｄｓｐのすべての座標データは、「−１」で初期化されている。よって、画像処理部１１５は、第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）は−１に等しいと判定し、ステップＳ４１５に進み、Ｌ画像のディスパリティｓｄｓｐ（ｘ’,ｙ’）を第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）に代入し、Ｌ画像の映像情報ｓｉｍｇ（ｘ ，ｙ）を第１の補間画素ｖｉｍｇ（ｘ，ｙ）に代入する。図５では、フェーズ０．６の第１の補間画像の最も左のディスパリティｖｄｓｐは「０」となり、Ｌ画像の背景を示す映像情報がそのまま第１の補間画像の最も左の画素に描画される。
【００３０】
次に、ステップＳ４２０にて、原画像（ここでは、Ｌ画像）のすべての画素（座標）に対して本処理を実行したかを判定する。この時点ではすべての画素に対して本処理を実行していないので、ステップＳ４０５に戻る。
【００３１】
このようにして、第１の補間画像の左から１番目の画素から１９番目の画素までは、ステップＳ４０５〜Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１番目から１９番目までは、ディスパリティｖｄｓｐは「０」となり、Ｌ画像の背景を示す映像情報が第１の補間画像ｖｉｍｇに描画される。
【００３２】
次に、第１の補間画像の左から２０番目の画素についての処理を説明する。画像処理部１１５は、ステップＳ４０５にて、第１の補間画像ｖｉｍｇ（ｘ，ｙ）をＬ画像ｓｉｍｇ（ｘ’
，ｙ’）に定める。図５では、左から２０番目に位置するＬ画像のディスパリティｓｄｓｐは「１１」である。このため、第１の補間画素ｖｉｍｇの座標とＬ画像の画素ｓｉｍｇの座標とのずれは、１１画素と決定される。次に、ステップＳ４１０にて、画像処理部１１５は、Ｌ画像と１１画素ずれた位置の第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しいか（つまり、最初の描画か）を判定する。ここでは、第１の補間画素の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）は、「０」に設定されている。よって、画像処理部１１５は、最初の描画ではないと判定し、ステップＳ４２５に進み、Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）が第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であるか（つまり、既に描画されている画素よりも前景か）を判定する。
【００３３】
Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）が第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であれば、Ｌ画像の２０番目の画素が第１の補間画像の１０番目に既に描画されている画素よりも前景の映像情報であり、それ以外であればＬ画像の２０番目の画素は背景の映像情報である。ここでは、Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）は、第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい。よって、Ｌ画像の２０番目の画素は、前景の映像情報と判定され、第１の補間画像の１０番目に上書きされる。
【００３４】
このようにして、第１の補間画像の左から１０番目の画素から１５番目の画素までは、ステップＳ４０５、Ｓ４１０、Ｓ４２５、Ｓ４３０、Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１０番目の画素から１５番目の画素までは、Ｌ画像の前景オブジェクトの映像情報ｖｉｍｇ及びディスパリティｖｄｓｐにより上書きされる。
【００３５】
第１の補間画像の左から２６番目の画素から３３番目までは、第１の補間画像の最も左の画素と同様に処理されるためここでは説明を省略する。また、画像処理部１１５は、以上に説明した水平方向の一ラインの画像処理をＬ画像のすべてのラインについて行う。
【００３６】
（１．２．３．Ｒ画像から補間画像を生成する例）
次に、ステップＳ２２０にて呼び出される補間画像生成処理（図４）について、図４及び図６を参照しながら説明する。ステップＳ２２０の補間画像生成処理では、Ｒ画像から第２の補間画像が生成される。ステップＳ２２０にて呼び出される補間画像生成処理では、補間画像は、フェーズ０．６の第２の補間画像であり、原画像はＲ画像であり、表記方法及び初期化については、Ｌ画像から第１の補間画像を生成する場合と同じである。
【００３７】
Ｒ画像から第２の補間画像を生成するステップＳ２２５の補間画像生成処理は、ステップＳ４０５から始まり、まず、画像処理部１１５は、第２の補間画像ｖｉｍｇ（ｘ，ｙ）をＬ画像ｓｉｍｇ（ｘ’，ｙ’）に定める。図６には、Ｒ画像から補間画像（第２の補間画像）を生成する過程が示されている。図６の例では、紙面の左側から右側へ向けてフェーズ０．６の第２の補間画素が一画素ずつ生成される状態が示されている。ただし、右から左に向かって走査してもよい。ここでは、最も左に位置するＲ画像のディスパリティｓｄｓｐは「０」である。このため、Ｒ画像の画素ｓｉｍｇ（ｘ，ｙ）に対応する第２の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。つまり、第２の補間画像ｖｉｍｇの最も右の画素の座標とＬ画像ｓｉｍｇの最も右の画素の座標とのずれは、０画素と決定される。
【００３８】
Ｒ画像のディスパリティが「１１」の値を持つ領域Ｂでは、第２の補間画像の座標がＲ画像の座標と７（＝１１×０．４／０．６）画素だけずれた位置にＲ画像のディスパリティｓｄｓｐの値「１１」を代入し、Ｒ画像ｓｉｍｇの映像情報を描画する。
【００３９】
次に、第２の補間画像の左から１０番目の画素についての処理を説明する。画像処理部１１５は、ステップＳ４０５にて、第２の補間画像ｖｉｍｇ（ｘ，ｙ）をＲ画像ｓｉｍｇ（ｘ’，ｙ’）に定める。図６では、左から１０番目に位置するＲ画像のディスパリティｓｄｓｐは「０」である。このため、Ｒ画像の画素ｓｉｍｇ（ｘ，ｙ）に対応する第２の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。
【００４０】
次に、ステップＳ４１０にて、画像処理部１１５は、第２の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しい（つまり、最初の描画か）を判定する。ここでは、第２の補間画素の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）は、「１１」に設定されている。よって、画像処理部１１５は、第２の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）は−１に等しくない（最初の描画でない）と判定し、ステップＳ４２５に進み、Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）が第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であるかを判定する。Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）が第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であれば、Ｒ画像の１０番目の画素が第２の補間画像の１０番目に既に描画されている画素よりも前景の映像情報であり、それ以外であれば背景の映像情報である。ここでは、Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）は第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より小さい。このため、画像処理部１１５は、Ｒ画像の１０番目の画素を第２の補間画像の１０番目に描画することを禁止する。これにより、第２の補間画像の前景の映像が背景の映像で侵食されることが防止される。
【００４１】
このようにして、第２の補間画像の左から１０番目の画素から１５番目の画素までは、ステップＳ４０５、Ｓ４１０、Ｓ４２５、Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１０番目の画素から１５番目の画素までは、ディスパリティｖｄｓｐ及び映像情報ｖｉｍｇは上書きされず情報をそのまま保持する。
【００４２】
第２の補間画像の左から１６番目から３３番目までは、第２の補間画像の最も左の画素と同様に処理されるためここでは説明を省略する。また、画像処理部１１５は、以上に説明した水平方向の一ラインの画像処理をＲ画像のすべてのラインについて行う。また、画像処理部１１５は、Ｌ画像の映像情報を第１の補間画像に描画する処理（Ｓ２１５）と、Ｒ画像の映像情報を第２の補間画像に描画する処理（Ｓ２２０）とを並列処理する。これにより補間画像の生成スピードが２倍に高められる。
【００４３】
（１．２．４．ＬＲ画像から生成された補間画像のマージ）
次に、第１又は第２の補間画像のマージについて、図７を参照しながら説明する。画像処理部１１５は、第１又は第２の補間画像のうち、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像の描画されていない画素に、補間画像の生成位相から遠い位相を持つもう一方の原画像から生成された補間画像の対応する画素を描画する。これにより、所望の補間画像が完成する。本実施形態では、第１又は第２の補間画像のうち生成位相（フェーズ０．６）に近い位相を持つ原画像はＲ画像（フェーズ１）である。よって、Ｒ画像から生成された第２の補間画像を優先して、第２の補間画像をベースとして、第２の補間画像のうちの描画されていない画素に第１の補間画像の対応画素を描画する。図７では、第２の補間画像の右から４番目〜９番目の画素に第１の補間画像の４番目から９番目の画素を描画する。これにより、フェーズ０．６の補間画像が完成する。
【００４４】
ただし、画像処理部１１５は、Ｌ画像から生成された第１の補間画像をベースとして、第１の補間画像のうちの描画されていない画素に第２の補間画像の対応画素を描画してもよい。ただし、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像を基準とした方が好ましい。生成された補間画像の原画像からのずれが小さい方の補間画像をベースとするため、ずれが大きい補間画像をベースとしたときより、補間エラーの確率が低くなるためである。
【００４５】
［１．３．効果の例］
前述したように、ディスパリティマップに基づき補間画像を生成する際、ディスパリティ（視差）の抽出エラーに起因して補間エラーが生じる場合がある。補間エラーとしては、例えば、既に前景を表す画素が描画されている補間画像の座標を、背景を表す画素で上書きしてしまう現象が挙げられる。その結果、例えば、図１１の左図の補間画像のＥ１、Ｅ２、Ｅ３の領域に示されているように、補間画像の一部で前景のオブジェクトが背景のオブジェクトによる上書きで侵食され、補間画像の画質が劣化している。
【００４６】
しかしながら、以上に説明したように、第１の実施形態に係る画像処理装置１０によれば、原画像の視差情報と補間画像の視差情報との大小関係に応じて、原画像の映像情報を補間画像に描画するかが決定される。つまり、補間画像に描画された前景情報が原画像の背景情報で上書きされないように原画像と補間画像の視差情報の大小関係に応じて原画像の映像情報を補間画像に描画することを許可又は禁止する。これにより、所望の補間画像の生成する際、前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されるような描画エラーを防止することができる。以上の本実施形態に係る画像処理方法により生成された補間画像を、図１１の右図に示す。本実施形態では、補間画像は、Ｃ１、Ｃ２、Ｃ３の領域に示されているように、Ｅ１、Ｅ２、Ｅ３の領域と比較して前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されておらず、補間画像の画質が高まっていることが分かる。
【００４７】
また、今まではオクルージョンの現象が目立たないように、カメラの間隔を狭め、かつ多数のカメラを用いてＬ画像とＲ画像との間隔が大きくならないようにしてＬ画像及びＲ画像を撮影していた。しかしながら、第１の実施形態に係る画像処理装置１０によれば、Ｌ画像とＲ画像との間隔が大きくなることにより、ディスパリティ値の差分が大きくなっても、前景のオブジェクトを背景のオブジェクトで上書きするエラーを回避できる。また、Ｌ画像から生成された第１の補間画像及びＲ画像から生成された第２の補間画像をマージすることによって、補間画像映像情報が埋め込まれていない箇所を対応する原画像の映像情報で埋めることができる。これにより、オクルージョンの問題を解消することができる。よって、本実施形態によれば、オクルージョンの現象が目立たないようにＬ画像とＲ画像との間隔を小さくするように多数のカメラを配置する必要はない。よって、画像生成のために必要なカメラの台数を減らすことができる。
【００４８】
＜２．第２の実施形態＞
次に、本開示の第２の実施形態に係る画像処理装置１０について説明する。本開示の第２の実施形態に係る画像処理装置の機能構成（図１）は、第１の実施形態に係る画像処理装置の機能構成と同じである。しかしながら、第２の実施形態の画像処理では、Ｌ画像から第１の補間画像を生成する処理とＲ画像から第２の補間画像を生成する処理とを並行して実行しない点で第１の実施形態の画像処理と異なる。以下で具体的に説明する。
【００４９】
［２．１．画像処理装置の機能］
画像処理部１１５は、Ｌ画像及びＲ画像の一方の原画像のディスパリティと第１の補間画像のディスパリティとの大小関係に応じて、前記一方の原画像の映像情報を第１の補間画像に描画する。その後、画像処理部１１５は、Ｌ画像及びＲ画像の他方の原画像のディスパリティと第１の補間画像のＶとの大小関係に応じて、他方の原画像の映像情報を第１の補間画像に描画する。これにより、前記所望の補間画像が生成される。
【００５０】
その際、補間画像の生成位相に近い位相を持つ原画像を、第１の補間画像を生成するためのベースとなる原画像としてＬ画像及びＲ画像から選択することが好ましい。たとえば、補間画像のフェーズがＲ画像のフェーズに近い場合には、Ｒ画像をベースにするほうがよい。その場合、Ｒ画像を基準に生成された補間画像の中で、埋め切れなかった画素部分をＬ画像を基準に生成された補間画像の対応する画素で補間する。同様に、補間画像のフェーズがＬ画像のフェーズに近い場合には、Ｌ画像をベースにするほうがよい。補間画像とフェーズが近い原画像から生成された補間画像の方が画像上のずれが小さくなるため、補間画像とフェーズが遠い原画像から生成された補間画像よりオクルージョンが小さくなり、画像をより正確に生成することができるためである。フェーズ０．５の補間画像は、Ｌ画像及びＲ画像の中間点となるため、いずれの原画像を選択しても効果は変わらない。本実施形態では、補間画像のフェーズが０．５より小さい場合には、Ｌ画像を選択して第１の補間画像を生成し、補間画像のフェーズが０．５以上の場合には、Ｒ画像を選択して第１の補間画像を生成する。
【００５１】
［２．２．画像処理装置の動作］
次に、図８を参照して、第２の実施形態に係る画像処理装置１０の動作について説明する。図８は、第２の実施形態に係る画像処理を示すフローチャートである。本処理が始まると、ステップＳ２０５にて、取得部１０５は、Ｌ画像及びＲ画像を取得する。次に、ステップＳ２１０にて、抽出部１１０は、Ｌ画像及びＲ画像からＬ画像のディスパリティマップとＲ画像のディスパリティマップを生成する。
【００５２】
次に、ステップＳ９０５にて、画像処理部１１５は、Ｌ画像及びＲ画像から第１の補間画像を生成するための原画像を選択する。画像処理部１１５は、図９に示した第１の補間画像の生成位相（フェーズ０．６）に近い位相を持つＲ画像を、第１の補間画像を生成するための基準となる原画像として選択する。
【００５３】
次に、ステップＳ９１０にて選択された原画像（Ｒ画像）に基づく補間画像生成処理を実行した後、ステップＳ９１５にて選択されなかった原画像（Ｌ画像）に基づく補間画像生成処理を実行する。第２実施形態では、ステップＳ９１０、Ｓ９１５の処理は直列的に処理される。
【００５４】
（２．２．１．選択された原画像から補間画像を生成する例）
ステップＳ９１０では、第１実施形態と同様に、図４に示した処理順序で補間画像生成処理が実行される。よって、図９に示したように、第１実施形態で説明した図６と同じ補間画像が生成される。ただし、本実施形態では、Ｒ画像を優先して補間画像を生成するため、ここで、生成される補間画像は第１の補間画像であり、本実施形態では第２の補間画像は生成されない。
【００５５】
（２．２．２．選択されなかった原画像から補間画像を生成する例）
ステップＳ９１５でも、図４に示した処理順序で補間画像生成処理が実行される。ただし、本実施形態では、第１の補間画像及びＬ画像を用いて補間画像生成処理が実行される。よって、図１０に示したように、ステップＳ９１５の補間画像生成処理が実行される前に、第１の補間画像には、既にＲ画像からのディスパリティｖｄｓｐ及び映像情報ｖｉｍｇが埋め込められている。実際には、第１の補間画像の画素毎のディスパリティｖｄｓｐ及び映像情報ｖｉｍｇは記憶部１２０に記憶されている。
【００５６】
この状態で、さらに、Ｌ画像を基準として補間画像生成処理が実行される。図１０の場合、第１の補間画像のディスパリティｖｄｓｐが初期値に設定されているＣ領域において、第１の補間画像のディスパリティｖｄｓｐにＬ画像のディスパリティｓｄｓｐが代入され、第１の補間画像の映像情報ｖｉｍｇにＬ画像の映像情報ｓｉｍｇが代入され、その他のすべての画素へのＬ画像の描画は禁止される。
【００５７】
［２．３．効果の例］
これにより、第２実施形態においても、図１１の右図に示したように、補間画像の生成する際、前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されるような描画エラーを防止することができる。
【００５８】
また、本実施形態では、ステップＳ９１０、Ｓ９１５を並行処理せずに順番に実行するため、２つの補間画像をマージするステップは不要である。
【００５９】
また、本実施形態においても、Ｌ画像及びＲ画像を用いて補間画像を生成することにより、オクルージョンの問題を解消することができる。よって、本実施形態によっても、オクルージョンの現象が目立たないようにＬ画像とＲ画像との間隔を小さくするように多数のカメラを配置する必要はない。よって、画像生成のために必要なカメラの台数を減らすことができる。
【００６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６１】
例えば、上記実施形態では、水平方向のずれ量をディスパリティとして抽出したが、本技術はこれに限られない。例えば、本技術では、垂直方向のずれ量をディスパリティとして抽出してもよい。
【００６２】
また、上記実施形態では、描画しようとする画像のディスパリティ値が、描画される側の画像のディスパリティ値に等しい場合に原画像の映像情報の上書きを禁止したが、本技術は、これに限られず、等しい場合には原画像の映像情報の上書きを許可してもよい。
【００６３】
また、上記実施形態では、視差情報の大小関係から、「０」の視差情報を持つ背景と「それより大きな視差情報を持つ前景とを区別し、前景のオブジェクトと背景のオブジェクトとの前後関係が崩れないように補間画像を生成した。しかしながら、本技術はこれに限られず、一の前景のオブジェクトと他の前景のオブジェクトの視差情報の大小関係から、前景のオブジェクト同士の前後関係が崩れないように補間画像を生成することももちろん可能である。
【００６４】
また、上記実施形態では、ステレオ画像から３Ｄ表示のための多視点画像を得るために補間画像を生成したが、本技術はこれに限られない。例えば、ホログラム等、角度の違う画像を２Ｄ表示するための補間画像を生成するために本技術は適用可能である。本技術が搭載される表示装置は、３Ｄ表示が可能な表示装置だけでなく、２Ｄ表示のみ可能な表示装置や、３Ｄと２Ｄとの切り替え表示が可能な表示装置であってもよい。
【００６５】
いわゆるバーチャルスタジオの画像生成に本技術を適用することも可能である。例えば、テーブルの脇で人が立っているバーチャルスタジオを想定する。テーブルというオブジェクトと人というオブジェクトを重ねて描画する場合、一方のオブジェクトに他方のオブジェクトを上書きするかどうかを本技術により判定し得る。
【００６６】
各オブジェクトはそれぞれディスパリティ値を持っている。オブジェクトが動けばこれに応じてディスパリティ値が変化する。オブジェクトが動いていないのにディスパリティ値を変化させてコンテンツを前後に動かすこともできる。その際、本技術を用いて、各コンテンツのディスパリティ値を比較することにより、前景のオブジェクトと背景のオブジェクトとを入れ替えることができる。このように、本技術は、３Ｄ用途の画像生成だけでなく、２Ｄ用途の画像から新たな２Ｄ用途の画像を、２つの画像を融合した形で生成する際にも適用し得る。
【００６７】
例えば、上記実施形態では、左眼用画像（Ｌ画像）及び右眼用画像（Ｒ画像）は原画像の一例であって、本発明は、これに限られず、異なる角度で撮像された２つの画像であればよい。
【００６８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）第１の原画像及び第２の原画像を取得し、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法。
（２）前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が背景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画することを禁止する前記（１）に記載の画像処理方法。
（３）前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が前景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画する前記（１）又は（２）に記載の画像処理方法。
（４）前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と第２の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第２の補間画像に描画し、
前記第１及び第２の補間画像に基づき前記補間画像を生成する前記（２）又は（３）に記載の画像処理方法。
（５）前記一方の原画像の映像情報を前記第１の補間画像に描画することと、前記他方の原画像の映像情報を前記第２の補間画像に描画することとを並列して実行する前記（４）に記載の画像処理方法。
（６）前記第１の補間画像及び前記第２の補間画像の一方の補間画像の描画されていない画素を、前記第１の補間画像及び前記第２の補間画像の他方の補間画像の対応する画素で描画する前記（４）又は（５）に記載の画像処理方法。
（７）前記一方の補間画像は、前記他方の補間画像より、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像である前記（６）に記載の画像処理方法。
（８）前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と前記第１の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第１の補間画像の描画されていない画素に描画することにより補間画像を生成する前記（２）又は（３）に記載の画像処理方法。
（９）前記補間画像の生成位相に近い位相を持つ原画像を、前記補間の原画像として前記第１の原画像及び前記第２の原画像から選択する前記（８）に記載の画像処理方法。
（１０）前記第１の原画像及び前記第２の原画像の視差情報を取得する、又は、前記第１の原画像及び前記第２の原画像から前記第１の原画像及び前記第２の原画像の視差情報を生成する前記（１）〜（９）のいずれか一項に記載の画像処理方法。
（１１）前記視差情報は、前記第１の原画像及び前記第２の原画像の水平方向のずれ量、又は前記第１の原画像及び前記第２の原画像の垂直方向のずれ量である前記（１０）に記載の画像処理方法。
（１２）第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
を備える画像処理装置。
（１３）第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
前記第１の原画像、前記第２の原画像及び前記補間画像の表示を制御する表示制御部と、
を備える表示装置。
【符号の説明】
【００６９】
１０ 画像処理装置
１０５ 入力部
１１０ 抽出部
１１５ 画像処理部
１２０ 記憶部
１２５ 出力部
ｖｉｍｇ 補間画像の映像情報
ｖｄｓｐ 補間画像のディスパリティ
ｓｉｍｇ 原画像の映像情報
ｓｄｓｐ 原画像のディスパリティ
【技術分野】
【０００１】
本開示は、画像処理方法、画像処理装置及び表示装置に関する。
【背景技術】
【０００２】
左眼用画像（以下、Ｌ画像と呼ぶ）及び右眼用画像（以下、Ｒ画像と呼ぶ）のステレオ画像と視差情報とを用いて、所望の生成位相の補間画像を生成することが知られている。生成された補間画像は、多視点画像中の一視点画像として主に立体視可能な表示装置の所定位置に表示される。視差情報は、例えば、ＬＲ画像の水平方向のずれ量をディスパリティマップとして生成することにより得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０９−９３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ディスパリティマップに基づき補間画像を生成する際、ディスパリティ（視差）の抽出エラーに起因して補間エラーが生じる場合がある。例えば、補間エラーとしては、既に前景を表す画素が描画されている補間画像の座標を、背景を表す画素で上書きしてしまう現象が挙げられる。その結果、補間画像の一部で前景が背景で侵食され、補間画像の画質が劣化する。
【０００５】
そこで、補間画像を生成する際の描画エラーを防止し、補間画像の画質を良好にすることが可能な画像処理方法、画像処理装置及び表示装置が求められていた。
【課題を解決するための手段】
【０００６】
本開示によれば、右眼用画像及び左眼用画像を取得し、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法が提供される。
【０００７】
また、本開示によれば、右眼用画像及び左眼用画像を取得する取得部と、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、右眼用画像及び左眼用画像を取得する取得部と、前記右眼用画像及び前記左眼用画像の一方の原画像の視差情報と補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、前記右眼用画像、前記左眼用画像及び前記補間画像の表示を制御する表示制御部と、を備える表示装置が提供される。
【発明の効果】
【０００９】
以上説明したように、本開示の画像処理によれば、補間画像を生成する際の描画エラーを防止し、補間画像の画質を良好にすることが可能な画像処理方法、画像処理装置及び表示装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１及び第２の実施形態に係る画像処理装置の機能構成図である。
【図２】第１の実施形態に係る画像処理を示すフローチャートである。
【図３】第１及び第２の実施形態に係るディスパリティの抽出を説明するための図である。
【図４】第１の実施形態に係る補間画像生成処理を示すフローチャートである。
【図５】第１の実施形態に係るＬ画像の補間画像生成を説明するための図である。
【図６】第１の実施形態に係るＲ画像の補間画像生成を説明するための図である。
【図７】第１の実施形態に係るＬＲ画像の補間画像のマージを説明するための図である。
【図８】第２の実施形態に係る画像処理を示すフローチャートである。
【図９】第２の実施形態に係る選択された原画像の補間画像生成処理を説明するための図である。
【図１０】第２の実施形態に係る選択されなかった原画像の補間画像生成処理を説明するための図である。
【図１１】補間エラーの一例を示した図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．画像処理装置の機能
１．２．画像処理装置の動作
１．２．１．ディスパリティの抽出
１．２．２．Ｌ画像から補間画像を生成する例
１．２．３．Ｒ画像から補間画像を生成する例
１．２．４．ＬＲ画像から生成された補間画像のマージ
１．３．効果の例
２．第２の実施形態
２．１．画像処理装置の機能
２．２．画像処理装置の動作
２．２．１．選択された原画像から補間画像を生成する例
２．２．２．選択されなかった原画像から補間画像を生成する例
２．３．効果の例
【００１３】
＜１．第１の実施形態＞
［１．１．画像処理装置の機能］
まず、本開示の第１の実施形態に係る画像処理装置の機能構成について、図１を参照しながら説明する。第１の実施形態に係る画像処理装置１０は、取得部１０５、抽出部１１０、画像処理部１１５、記憶部１２０及び表示制御部１２５を有する。
【００１４】
取得部１０５は、コンテンツのＬ画像及びＲ画像のステレオ画像を取得する。取得可能なコンテンツの情報としては、ステレオ画像の映像信号のみの場合や、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のようにステレオ画像の映像信号とディスパリティ情報の場合がある。
【００１５】
取得部１０５がステレオ画像の映像信号のみを取得した場合、抽出部１１０は、Ｌ画像及びＲ画像の水平方向のずれ量からディスパリティマップを生成する。ディスパリティマップは視差情報の一例であり、視差情報は必ずしもマップ化する必要はない。なお、取得部１０５がディスパリティを取得した場合には、抽出部１１０によるディスパリティの抽出は省略できる。
【００１６】
例えば、図３には、最上位及び最下位にＬ画像及びＲ画像の対応水平ラインのディスパリティが丸の中の数値によって示されている。また、そのラインの隣りには、Ｌ画像及びＲ画像の対応水平ラインの映像情報が四角によって示されている。図３には、水平ラインが１つのみ示されているが、コンテンツが有するラインの数だけディスパリティは抽出される。
【００１７】
第１及び第２実施形態では、Ｌ画像のディスパリティが「０」の場合、Ｒ画像のディスパリティとのずれがない、つまり、Ｌ画像のある画素と、対応するＲ画像の画素のディスパリティは同じであると定義する。また、Ｌ画像のディスパリティが「１１」の場合、Ｌ画像とＲ画像とは１１画素だけずれていることを示す。例えば図３のＬ画像の「１１」で示されるディスパリティを持つ画素領域Ａの映像情報（塗りつぶされた四角で表された画像）は、Ｒ画像の「１１」で示されるディスパリティを持つ画素領域Ｂの映像情報（塗りつぶされた四角で表された画像）と同じ映像情報を持っていることがわかる。このようにディスパリティは、Ｌ画像とＲ画像の対応点を示す。換言すれば、Ｌ画像とＲ画像で同じ映像が写っているところの水平方向のずれ量がディスパリティである。
【００１８】
画像処理部１１５は、Ｌ画像及びＲ画像から所望のフェース（生成位相）の補間画像を生成する。画像処理部１１５は、Ｌ画像及びＲ画像から補間画像を生成する際、Ｌ画像とＲ画像とのいずれか一方の原画像のディスパリティと補間画像のディスパリティとの大小関係に応じて、その一方の原画像の映像情報を補間画像に描画するかを決定する。具体的には、画像処理部１１５は、ディスパリティの大小関係から、Ｌ画像とＲ画像とのいずれか一方の原画像の映像情報が補間画像の前景か又は背景かを判定する。判定の結果、画像処理部１１５は、Ｌ画像又はＲ画像の映像情報が前景であると判定された場合、その映像情報を補間画像に描画し、背景であると判定された場合、その映像情報を補間画像に描画することを禁止する。図３には、一水平ラインのみ示されているが、コンテンツが有する水平ラインの数だけ上記補間画像生成処理が実行される。
【００１９】
例えば、前景を示す数値が背景を示す数値より大きい値になるようにディスパリティの値が定義されている場合、描画しようとする画像のディスパリティが、描画される側の画像のディスパリティより大きい場合、描画しようとする画像は前景であるため、その描画を許す。一方、描画しようとする画像のディスパリティが、描画される側の画像のディスパリティ値より小さい場合、描画しようとする画像は背景であるため、その描画を禁止する。これにより、背景の映像で前景の映像を上書きすることを防止できる。ただし、ディスパリティ値の大小関係と書き込みの許可又は禁止は、ディスパリティ値を表す数値の定義の仕方によって変わってくる。例えば、本実施形態とは逆に、前景を示す数値が背景を示す数値より小さい値になるようにディスパリティ値を定義した場合には、ディスパリティ値の大小関係と、描画しようとする画像の描画の許可又は禁止の制御は、前述した制御と反対になる。つまり、描画しようとする画像のディスパリティ値が描画される側の画像のディスパリティ値より大きい場合、描画しようとする画像の描画を禁止し、描画しようとする画像のディスパリティ値が描画される側の画像のディスパリティ値より小さい場合、描画しようとする画像の描画を許可する。このように、本実施形態では、ディスパリティ値の大小関係から、描画する側及び描画される側の画像の奥行き関係が判断される。判断の結果、描画する側の画像が前景であれば、その画像の描画（上書き）は許可され、そうでなければその画像の描画は禁止される。
【００２０】
記憶部１２０は、生成途中の補間画像である第１の補間画像及び第２の補間画像の映像情報及びディスパリティを記憶する。
【００２１】
表示制御部１２５は、画像処理部１１５によって生成された補間画像をＬ画像及びＲ画像とともに所定のフェーズ位置に表示する。これにより、多視点画像をディスプレイに立体視可能に表示することができる。
【００２２】
なお、抽出部１１０、画像処理部１１５及び表示制御部１２５の機能は、例えば、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶部１２０に格納されたプログラムに従って動作することによって実現されうる。このプログラムは、記憶媒体に格納して提供され、図示しないドライバを介して記憶部１２０に読み込まれるものであってもよく、また、ネットワークからダウンロードされて記憶部１２０に格納されるものであってもよい。また、上記各部の機能を実現するために、ＣＰＵに代えてＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が用いられてもよい。記憶部１２０は、例えば半導体メモリ、磁気ディスク、または光学ディスクなどを用いるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）として実現されうる。また、上記各部の機能は、ソフトウエアを用いて動作することにより実現されてもよく、ハードウエアを用いて動作することにより実現されてもよい。
【００２３】
［１．２．画像処理装置の動作］
次に、図２を参照して、第１の実施形態に係る画像処理装置１０の動作について説明する。図２は、第１の実施形態に係る画像処理を示すフローチャートである。本処理が始まると、ステップＳ２０５にて、取得部１０５は、Ｌ画像及びＲ画像を取得する。
【００２４】
（１．２．１．ディスパリティの抽出）
次に、ステップＳ２１０にて、抽出部１１０は、Ｌ画像及びＲ画像からＬ画像のディスパリティマップとＲ画像のディスパリティマップとを生成する。図３には、ある水平ラインのＬ画像のディスパリティ、Ｌ画像の映像情報（フェーズ０）、Ｒ画像のディスパリティ、Ｒ画像の映像情報（フェーズ１）、及び生成対象であるフェーズ０．６（生成位相０．６）の補間画像が示されている。前述したとおり、Ｌ画像の「１１」で示されたディスパリティに対応するＬ画像の映像情報と、Ｌ画像の座標から水平方向に１１画素ずれたＲ画像の「１１」で示されたディスパリティに対応するＲ画像の映像情報とが同じ映像であることを示している。また、本実施形態では、ディスパリティ値「０」は背景を示し、ディスパリティ値「１１」は前景を示す。
【００２５】
ディスパリティ抽出後、ステップＳ２１５の補間画像生成処理（Ｌ画像）とステップＳ２２０の補間画像生成処理（Ｒ画像）とに分岐する。ステップＳ２１５、Ｓ２２０の補間画像生成処理は、図４に示したフローチャートをそれぞれ実行する。ステップＳ２１５の補間画像生成処理は、フェーズ０のＬ画像からフェーズ０．６の補間画像（第１の補間画像）を生成する。つまり、Ｌ画像の視差情報とフェーズ０．６の第１の補間画像の視差情報との大小関係に応じて、Ｌ画像の映像情報を第１の補間画像に描画する。また、ステップＳ２２０の補間画像生成処理は、フェーズ１のＲ画像からフェーズ０．６の補間画像（第２の補間画像）を生成する。つまり、Ｒ画像の視差情報とフェーズ０．６の第２の補間画像の視差情報との大小関係に応じて、Ｒ画像の映像情報を第２の補間画像に描画する。なお、第１の補間画像及び第２の補間画像は、フェーズ０．６の補間画像を生成するためにＬ画像及びＲ画像から生成された補間画像生成途中の中間画像であり、後述するように第１及び第２の補間画像に基づきフェーズ０．６の補間画像が完成する。また、Ｌ画像の映像情報を第１の補間画像に描画するステップＳ２１５の処理と、Ｒ画像の映像情報を第２の補間画像に描画するステップＳ２２０の処理とは並列的な処理が可能である。これにより、ステップＳ２１５、Ｓ２２０の処理を直列的に処理した場合に比べて処理時間を１／２にすることができる。
【００２６】
（１．２．２．Ｌ画像から補間画像を生成する例）
次に、ステップＳ２１５にて呼び出される補間画像生成処理（図４）について、図４及び図５を参照しながら説明する。図４では、補間画像（第１の補間画像）の映像情報はｖｉｍｇで示され、第１の補間画像の座標（ｘ，ｙ）の映像情報はｖｉｍｇ（ｘ，ｙ）で示される。第１の補間画像のディスパリティはｖｄｓｐで示され、第１の補間画像の座標（ｘ，ｙ）のディスパリティはｖｄｓｐ（ｘ，ｙ）で示される。なお、本処理が開始される前に、第１の補間画像の映像情報ｖｉｍｇのすべての座標データは「０」で初期化され、第１の補間画像のディスパリティｖｄｓｐのすべての座標データは、「−１」で初期化されている。
【００２７】
また、原画像（ここでは、Ｌ画像）の映像情報はｓｉｍｇで示され、原画像の座標（ｘ’
，ｙ’）の映像情報はｓｉｍｇ（ｘ’ ，ｙ’）で示される。原画像（ここでは、Ｌ画像）のディスパリティはｓｄｓｐで示され、原画像の座標（ｘ’，ｙ’）のディスパリティはｓｄｓｐ（ｘ’ ,ｙ’）で示される。補間画像のディスパリティｖｄｓｐ及び映像情報ｖｉｍｇ、原画像のディスパリティｓｄｓｐ及び映像情報ｓｉｍｇは記憶部１２０に記憶される。
【００２８】
ステップＳ２１５の補間画像生成処理では、Ｌ画像から第１の補間画像が生成される。本処理はステップＳ４０５から始まり、まず、画像処理部１１５は、ｖｉｍｇ（ｘ，ｙ）の補間画像をＬ画像ｓｉｍｇ（ｘ’ ，ｙ’）に決定する。図５には、Ｌ画像から第１の補間画像を生成する過程が示されている。図５の例では、紙面の左側から右側へ向けてフェーズ０．６の第１の補間画素が一画素ずつ生成される状態が示されている。ただし、右から左に向かって走査してもよい。ここでは、最も左に位置するＬ画像のディスパリティｓｄｓｐは「０」である。このため、Ｌ画像の画素ｓｉｍｇ（ｘ ，ｙ）に対応する第１の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。つまり、第１の補間画像ｖｉｍｇの最も左の画素の座標とＬ画像ｓｉｍｇの最も左の画素の座標とのずれは、０画素と決定される。
【００２９】
次に、画像処理部１１５は、ステップＳ４１０にて、第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しいか（つまり、最初の描画か）を判定する。ここでは補間画素のディスパリティｖｄｓｐのすべての座標データは、「−１」で初期化されている。よって、画像処理部１１５は、第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）は−１に等しいと判定し、ステップＳ４１５に進み、Ｌ画像のディスパリティｓｄｓｐ（ｘ’,ｙ’）を第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）に代入し、Ｌ画像の映像情報ｓｉｍｇ（ｘ ，ｙ）を第１の補間画素ｖｉｍｇ（ｘ，ｙ）に代入する。図５では、フェーズ０．６の第１の補間画像の最も左のディスパリティｖｄｓｐは「０」となり、Ｌ画像の背景を示す映像情報がそのまま第１の補間画像の最も左の画素に描画される。
【００３０】
次に、ステップＳ４２０にて、原画像（ここでは、Ｌ画像）のすべての画素（座標）に対して本処理を実行したかを判定する。この時点ではすべての画素に対して本処理を実行していないので、ステップＳ４０５に戻る。
【００３１】
このようにして、第１の補間画像の左から１番目の画素から１９番目の画素までは、ステップＳ４０５〜Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１番目から１９番目までは、ディスパリティｖｄｓｐは「０」となり、Ｌ画像の背景を示す映像情報が第１の補間画像ｖｉｍｇに描画される。
【００３２】
次に、第１の補間画像の左から２０番目の画素についての処理を説明する。画像処理部１１５は、ステップＳ４０５にて、第１の補間画像ｖｉｍｇ（ｘ，ｙ）をＬ画像ｓｉｍｇ（ｘ’
，ｙ’）に定める。図５では、左から２０番目に位置するＬ画像のディスパリティｓｄｓｐは「１１」である。このため、第１の補間画素ｖｉｍｇの座標とＬ画像の画素ｓｉｍｇの座標とのずれは、１１画素と決定される。次に、ステップＳ４１０にて、画像処理部１１５は、Ｌ画像と１１画素ずれた位置の第１の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しいか（つまり、最初の描画か）を判定する。ここでは、第１の補間画素の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）は、「０」に設定されている。よって、画像処理部１１５は、最初の描画ではないと判定し、ステップＳ４２５に進み、Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）が第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であるか（つまり、既に描画されている画素よりも前景か）を判定する。
【００３３】
Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）が第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であれば、Ｌ画像の２０番目の画素が第１の補間画像の１０番目に既に描画されている画素よりも前景の映像情報であり、それ以外であればＬ画像の２０番目の画素は背景の映像情報である。ここでは、Ｌ画像の２０番目のディスパリティｓｄｓｐ（ｘ’ ,ｙ’）は、第１の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい。よって、Ｌ画像の２０番目の画素は、前景の映像情報と判定され、第１の補間画像の１０番目に上書きされる。
【００３４】
このようにして、第１の補間画像の左から１０番目の画素から１５番目の画素までは、ステップＳ４０５、Ｓ４１０、Ｓ４２５、Ｓ４３０、Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１０番目の画素から１５番目の画素までは、Ｌ画像の前景オブジェクトの映像情報ｖｉｍｇ及びディスパリティｖｄｓｐにより上書きされる。
【００３５】
第１の補間画像の左から２６番目の画素から３３番目までは、第１の補間画像の最も左の画素と同様に処理されるためここでは説明を省略する。また、画像処理部１１５は、以上に説明した水平方向の一ラインの画像処理をＬ画像のすべてのラインについて行う。
【００３６】
（１．２．３．Ｒ画像から補間画像を生成する例）
次に、ステップＳ２２０にて呼び出される補間画像生成処理（図４）について、図４及び図６を参照しながら説明する。ステップＳ２２０の補間画像生成処理では、Ｒ画像から第２の補間画像が生成される。ステップＳ２２０にて呼び出される補間画像生成処理では、補間画像は、フェーズ０．６の第２の補間画像であり、原画像はＲ画像であり、表記方法及び初期化については、Ｌ画像から第１の補間画像を生成する場合と同じである。
【００３７】
Ｒ画像から第２の補間画像を生成するステップＳ２２５の補間画像生成処理は、ステップＳ４０５から始まり、まず、画像処理部１１５は、第２の補間画像ｖｉｍｇ（ｘ，ｙ）をＬ画像ｓｉｍｇ（ｘ’，ｙ’）に定める。図６には、Ｒ画像から補間画像（第２の補間画像）を生成する過程が示されている。図６の例では、紙面の左側から右側へ向けてフェーズ０．６の第２の補間画素が一画素ずつ生成される状態が示されている。ただし、右から左に向かって走査してもよい。ここでは、最も左に位置するＲ画像のディスパリティｓｄｓｐは「０」である。このため、Ｒ画像の画素ｓｉｍｇ（ｘ，ｙ）に対応する第２の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。つまり、第２の補間画像ｖｉｍｇの最も右の画素の座標とＬ画像ｓｉｍｇの最も右の画素の座標とのずれは、０画素と決定される。
【００３８】
Ｒ画像のディスパリティが「１１」の値を持つ領域Ｂでは、第２の補間画像の座標がＲ画像の座標と７（＝１１×０．４／０．６）画素だけずれた位置にＲ画像のディスパリティｓｄｓｐの値「１１」を代入し、Ｒ画像ｓｉｍｇの映像情報を描画する。
【００３９】
次に、第２の補間画像の左から１０番目の画素についての処理を説明する。画像処理部１１５は、ステップＳ４０５にて、第２の補間画像ｖｉｍｇ（ｘ，ｙ）をＲ画像ｓｉｍｇ（ｘ’，ｙ’）に定める。図６では、左から１０番目に位置するＲ画像のディスパリティｓｄｓｐは「０」である。このため、Ｒ画像の画素ｓｉｍｇ（ｘ，ｙ）に対応する第２の補間画素ｖｉｍｇ（ｘ，ｙ）の座標は同じと定められる。
【００４０】
次に、ステップＳ４１０にて、画像処理部１１５は、第２の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）が−１に等しい（つまり、最初の描画か）を判定する。ここでは、第２の補間画素の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）は、「１１」に設定されている。よって、画像処理部１１５は、第２の補間画素のディスパリティｖｄｓｐ（ｘ，ｙ）は−１に等しくない（最初の描画でない）と判定し、ステップＳ４２５に進み、Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）が第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であるかを判定する。Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）が第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より大きい値であれば、Ｒ画像の１０番目の画素が第２の補間画像の１０番目に既に描画されている画素よりも前景の映像情報であり、それ以外であれば背景の映像情報である。ここでは、Ｒ画像の１０番目のディスパリティｓｄｓｐ（ｘ’,ｙ’）は第２の補間画像の１０番目のディスパリティｖｄｓｐ（ｘ，ｙ）より小さい。このため、画像処理部１１５は、Ｒ画像の１０番目の画素を第２の補間画像の１０番目に描画することを禁止する。これにより、第２の補間画像の前景の映像が背景の映像で侵食されることが防止される。
【００４１】
このようにして、第２の補間画像の左から１０番目の画素から１５番目の画素までは、ステップＳ４０５、Ｓ４１０、Ｓ４２５、Ｓ４２０を繰り返す。この結果、第１の補間画像の左から１０番目の画素から１５番目の画素までは、ディスパリティｖｄｓｐ及び映像情報ｖｉｍｇは上書きされず情報をそのまま保持する。
【００４２】
第２の補間画像の左から１６番目から３３番目までは、第２の補間画像の最も左の画素と同様に処理されるためここでは説明を省略する。また、画像処理部１１５は、以上に説明した水平方向の一ラインの画像処理をＲ画像のすべてのラインについて行う。また、画像処理部１１５は、Ｌ画像の映像情報を第１の補間画像に描画する処理（Ｓ２１５）と、Ｒ画像の映像情報を第２の補間画像に描画する処理（Ｓ２２０）とを並列処理する。これにより補間画像の生成スピードが２倍に高められる。
【００４３】
（１．２．４．ＬＲ画像から生成された補間画像のマージ）
次に、第１又は第２の補間画像のマージについて、図７を参照しながら説明する。画像処理部１１５は、第１又は第２の補間画像のうち、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像の描画されていない画素に、補間画像の生成位相から遠い位相を持つもう一方の原画像から生成された補間画像の対応する画素を描画する。これにより、所望の補間画像が完成する。本実施形態では、第１又は第２の補間画像のうち生成位相（フェーズ０．６）に近い位相を持つ原画像はＲ画像（フェーズ１）である。よって、Ｒ画像から生成された第２の補間画像を優先して、第２の補間画像をベースとして、第２の補間画像のうちの描画されていない画素に第１の補間画像の対応画素を描画する。図７では、第２の補間画像の右から４番目〜９番目の画素に第１の補間画像の４番目から９番目の画素を描画する。これにより、フェーズ０．６の補間画像が完成する。
【００４４】
ただし、画像処理部１１５は、Ｌ画像から生成された第１の補間画像をベースとして、第１の補間画像のうちの描画されていない画素に第２の補間画像の対応画素を描画してもよい。ただし、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像を基準とした方が好ましい。生成された補間画像の原画像からのずれが小さい方の補間画像をベースとするため、ずれが大きい補間画像をベースとしたときより、補間エラーの確率が低くなるためである。
【００４５】
［１．３．効果の例］
前述したように、ディスパリティマップに基づき補間画像を生成する際、ディスパリティ（視差）の抽出エラーに起因して補間エラーが生じる場合がある。補間エラーとしては、例えば、既に前景を表す画素が描画されている補間画像の座標を、背景を表す画素で上書きしてしまう現象が挙げられる。その結果、例えば、図１１の左図の補間画像のＥ１、Ｅ２、Ｅ３の領域に示されているように、補間画像の一部で前景のオブジェクトが背景のオブジェクトによる上書きで侵食され、補間画像の画質が劣化している。
【００４６】
しかしながら、以上に説明したように、第１の実施形態に係る画像処理装置１０によれば、原画像の視差情報と補間画像の視差情報との大小関係に応じて、原画像の映像情報を補間画像に描画するかが決定される。つまり、補間画像に描画された前景情報が原画像の背景情報で上書きされないように原画像と補間画像の視差情報の大小関係に応じて原画像の映像情報を補間画像に描画することを許可又は禁止する。これにより、所望の補間画像の生成する際、前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されるような描画エラーを防止することができる。以上の本実施形態に係る画像処理方法により生成された補間画像を、図１１の右図に示す。本実施形態では、補間画像は、Ｃ１、Ｃ２、Ｃ３の領域に示されているように、Ｅ１、Ｅ２、Ｅ３の領域と比較して前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されておらず、補間画像の画質が高まっていることが分かる。
【００４７】
また、今まではオクルージョンの現象が目立たないように、カメラの間隔を狭め、かつ多数のカメラを用いてＬ画像とＲ画像との間隔が大きくならないようにしてＬ画像及びＲ画像を撮影していた。しかしながら、第１の実施形態に係る画像処理装置１０によれば、Ｌ画像とＲ画像との間隔が大きくなることにより、ディスパリティ値の差分が大きくなっても、前景のオブジェクトを背景のオブジェクトで上書きするエラーを回避できる。また、Ｌ画像から生成された第１の補間画像及びＲ画像から生成された第２の補間画像をマージすることによって、補間画像映像情報が埋め込まれていない箇所を対応する原画像の映像情報で埋めることができる。これにより、オクルージョンの問題を解消することができる。よって、本実施形態によれば、オクルージョンの現象が目立たないようにＬ画像とＲ画像との間隔を小さくするように多数のカメラを配置する必要はない。よって、画像生成のために必要なカメラの台数を減らすことができる。
【００４８】
＜２．第２の実施形態＞
次に、本開示の第２の実施形態に係る画像処理装置１０について説明する。本開示の第２の実施形態に係る画像処理装置の機能構成（図１）は、第１の実施形態に係る画像処理装置の機能構成と同じである。しかしながら、第２の実施形態の画像処理では、Ｌ画像から第１の補間画像を生成する処理とＲ画像から第２の補間画像を生成する処理とを並行して実行しない点で第１の実施形態の画像処理と異なる。以下で具体的に説明する。
【００４９】
［２．１．画像処理装置の機能］
画像処理部１１５は、Ｌ画像及びＲ画像の一方の原画像のディスパリティと第１の補間画像のディスパリティとの大小関係に応じて、前記一方の原画像の映像情報を第１の補間画像に描画する。その後、画像処理部１１５は、Ｌ画像及びＲ画像の他方の原画像のディスパリティと第１の補間画像のＶとの大小関係に応じて、他方の原画像の映像情報を第１の補間画像に描画する。これにより、前記所望の補間画像が生成される。
【００５０】
その際、補間画像の生成位相に近い位相を持つ原画像を、第１の補間画像を生成するためのベースとなる原画像としてＬ画像及びＲ画像から選択することが好ましい。たとえば、補間画像のフェーズがＲ画像のフェーズに近い場合には、Ｒ画像をベースにするほうがよい。その場合、Ｒ画像を基準に生成された補間画像の中で、埋め切れなかった画素部分をＬ画像を基準に生成された補間画像の対応する画素で補間する。同様に、補間画像のフェーズがＬ画像のフェーズに近い場合には、Ｌ画像をベースにするほうがよい。補間画像とフェーズが近い原画像から生成された補間画像の方が画像上のずれが小さくなるため、補間画像とフェーズが遠い原画像から生成された補間画像よりオクルージョンが小さくなり、画像をより正確に生成することができるためである。フェーズ０．５の補間画像は、Ｌ画像及びＲ画像の中間点となるため、いずれの原画像を選択しても効果は変わらない。本実施形態では、補間画像のフェーズが０．５より小さい場合には、Ｌ画像を選択して第１の補間画像を生成し、補間画像のフェーズが０．５以上の場合には、Ｒ画像を選択して第１の補間画像を生成する。
【００５１】
［２．２．画像処理装置の動作］
次に、図８を参照して、第２の実施形態に係る画像処理装置１０の動作について説明する。図８は、第２の実施形態に係る画像処理を示すフローチャートである。本処理が始まると、ステップＳ２０５にて、取得部１０５は、Ｌ画像及びＲ画像を取得する。次に、ステップＳ２１０にて、抽出部１１０は、Ｌ画像及びＲ画像からＬ画像のディスパリティマップとＲ画像のディスパリティマップを生成する。
【００５２】
次に、ステップＳ９０５にて、画像処理部１１５は、Ｌ画像及びＲ画像から第１の補間画像を生成するための原画像を選択する。画像処理部１１５は、図９に示した第１の補間画像の生成位相（フェーズ０．６）に近い位相を持つＲ画像を、第１の補間画像を生成するための基準となる原画像として選択する。
【００５３】
次に、ステップＳ９１０にて選択された原画像（Ｒ画像）に基づく補間画像生成処理を実行した後、ステップＳ９１５にて選択されなかった原画像（Ｌ画像）に基づく補間画像生成処理を実行する。第２実施形態では、ステップＳ９１０、Ｓ９１５の処理は直列的に処理される。
【００５４】
（２．２．１．選択された原画像から補間画像を生成する例）
ステップＳ９１０では、第１実施形態と同様に、図４に示した処理順序で補間画像生成処理が実行される。よって、図９に示したように、第１実施形態で説明した図６と同じ補間画像が生成される。ただし、本実施形態では、Ｒ画像を優先して補間画像を生成するため、ここで、生成される補間画像は第１の補間画像であり、本実施形態では第２の補間画像は生成されない。
【００５５】
（２．２．２．選択されなかった原画像から補間画像を生成する例）
ステップＳ９１５でも、図４に示した処理順序で補間画像生成処理が実行される。ただし、本実施形態では、第１の補間画像及びＬ画像を用いて補間画像生成処理が実行される。よって、図１０に示したように、ステップＳ９１５の補間画像生成処理が実行される前に、第１の補間画像には、既にＲ画像からのディスパリティｖｄｓｐ及び映像情報ｖｉｍｇが埋め込められている。実際には、第１の補間画像の画素毎のディスパリティｖｄｓｐ及び映像情報ｖｉｍｇは記憶部１２０に記憶されている。
【００５６】
この状態で、さらに、Ｌ画像を基準として補間画像生成処理が実行される。図１０の場合、第１の補間画像のディスパリティｖｄｓｐが初期値に設定されているＣ領域において、第１の補間画像のディスパリティｖｄｓｐにＬ画像のディスパリティｓｄｓｐが代入され、第１の補間画像の映像情報ｖｉｍｇにＬ画像の映像情報ｓｉｍｇが代入され、その他のすべての画素へのＬ画像の描画は禁止される。
【００５７】
［２．３．効果の例］
これにより、第２実施形態においても、図１１の右図に示したように、補間画像の生成する際、前景に描画されるべきオブジェクトが背景のオブジェクトにより侵食されるような描画エラーを防止することができる。
【００５８】
また、本実施形態では、ステップＳ９１０、Ｓ９１５を並行処理せずに順番に実行するため、２つの補間画像をマージするステップは不要である。
【００５９】
また、本実施形態においても、Ｌ画像及びＲ画像を用いて補間画像を生成することにより、オクルージョンの問題を解消することができる。よって、本実施形態によっても、オクルージョンの現象が目立たないようにＬ画像とＲ画像との間隔を小さくするように多数のカメラを配置する必要はない。よって、画像生成のために必要なカメラの台数を減らすことができる。
【００６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６１】
例えば、上記実施形態では、水平方向のずれ量をディスパリティとして抽出したが、本技術はこれに限られない。例えば、本技術では、垂直方向のずれ量をディスパリティとして抽出してもよい。
【００６２】
また、上記実施形態では、描画しようとする画像のディスパリティ値が、描画される側の画像のディスパリティ値に等しい場合に原画像の映像情報の上書きを禁止したが、本技術は、これに限られず、等しい場合には原画像の映像情報の上書きを許可してもよい。
【００６３】
また、上記実施形態では、視差情報の大小関係から、「０」の視差情報を持つ背景と「それより大きな視差情報を持つ前景とを区別し、前景のオブジェクトと背景のオブジェクトとの前後関係が崩れないように補間画像を生成した。しかしながら、本技術はこれに限られず、一の前景のオブジェクトと他の前景のオブジェクトの視差情報の大小関係から、前景のオブジェクト同士の前後関係が崩れないように補間画像を生成することももちろん可能である。
【００６４】
また、上記実施形態では、ステレオ画像から３Ｄ表示のための多視点画像を得るために補間画像を生成したが、本技術はこれに限られない。例えば、ホログラム等、角度の違う画像を２Ｄ表示するための補間画像を生成するために本技術は適用可能である。本技術が搭載される表示装置は、３Ｄ表示が可能な表示装置だけでなく、２Ｄ表示のみ可能な表示装置や、３Ｄと２Ｄとの切り替え表示が可能な表示装置であってもよい。
【００６５】
いわゆるバーチャルスタジオの画像生成に本技術を適用することも可能である。例えば、テーブルの脇で人が立っているバーチャルスタジオを想定する。テーブルというオブジェクトと人というオブジェクトを重ねて描画する場合、一方のオブジェクトに他方のオブジェクトを上書きするかどうかを本技術により判定し得る。
【００６６】
各オブジェクトはそれぞれディスパリティ値を持っている。オブジェクトが動けばこれに応じてディスパリティ値が変化する。オブジェクトが動いていないのにディスパリティ値を変化させてコンテンツを前後に動かすこともできる。その際、本技術を用いて、各コンテンツのディスパリティ値を比較することにより、前景のオブジェクトと背景のオブジェクトとを入れ替えることができる。このように、本技術は、３Ｄ用途の画像生成だけでなく、２Ｄ用途の画像から新たな２Ｄ用途の画像を、２つの画像を融合した形で生成する際にも適用し得る。
【００６７】
例えば、上記実施形態では、左眼用画像（Ｌ画像）及び右眼用画像（Ｒ画像）は原画像の一例であって、本発明は、これに限られず、異なる角度で撮像された２つの画像であればよい。
【００６８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）第１の原画像及び第２の原画像を取得し、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法。
（２）前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が背景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画することを禁止する前記（１）に記載の画像処理方法。
（３）前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が前景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画する前記（１）又は（２）に記載の画像処理方法。
（４）前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と第２の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第２の補間画像に描画し、
前記第１及び第２の補間画像に基づき前記補間画像を生成する前記（２）又は（３）に記載の画像処理方法。
（５）前記一方の原画像の映像情報を前記第１の補間画像に描画することと、前記他方の原画像の映像情報を前記第２の補間画像に描画することとを並列して実行する前記（４）に記載の画像処理方法。
（６）前記第１の補間画像及び前記第２の補間画像の一方の補間画像の描画されていない画素を、前記第１の補間画像及び前記第２の補間画像の他方の補間画像の対応する画素で描画する前記（４）又は（５）に記載の画像処理方法。
（７）前記一方の補間画像は、前記他方の補間画像より、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像である前記（６）に記載の画像処理方法。
（８）前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と前記第１の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第１の補間画像の描画されていない画素に描画することにより補間画像を生成する前記（２）又は（３）に記載の画像処理方法。
（９）前記補間画像の生成位相に近い位相を持つ原画像を、前記補間の原画像として前記第１の原画像及び前記第２の原画像から選択する前記（８）に記載の画像処理方法。
（１０）前記第１の原画像及び前記第２の原画像の視差情報を取得する、又は、前記第１の原画像及び前記第２の原画像から前記第１の原画像及び前記第２の原画像の視差情報を生成する前記（１）〜（９）のいずれか一項に記載の画像処理方法。
（１１）前記視差情報は、前記第１の原画像及び前記第２の原画像の水平方向のずれ量、又は前記第１の原画像及び前記第２の原画像の垂直方向のずれ量である前記（１０）に記載の画像処理方法。
（１２）第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
を備える画像処理装置。
（１３）第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
前記第１の原画像、前記第２の原画像及び前記補間画像の表示を制御する表示制御部と、
を備える表示装置。
【符号の説明】
【００６９】
１０ 画像処理装置
１０５ 入力部
１１０ 抽出部
１１５ 画像処理部
１２０ 記憶部
１２５ 出力部
ｖｉｍｇ 補間画像の映像情報
ｖｄｓｐ 補間画像のディスパリティ
ｓｉｍｇ 原画像の映像情報
ｓｄｓｐ 原画像のディスパリティ
【特許請求の範囲】
【請求項１】
第１の原画像及び第２の原画像を取得し、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法。
【請求項２】
前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が背景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画することを禁止する請求項１に記載の画像処理方法。
【請求項３】
前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が前景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画する請求項１に記載の画像処理方法。
【請求項４】
前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と第２の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第２の補間画像に描画し、
前記第１及び第２の補間画像に基づき前記補間画像を生成する請求項２に記載の画像処理方法。
【請求項５】
前記一方の原画像の映像情報を前記第１の補間画像に描画することと、前記他方の原画像の映像情報を前記第２の補間画像に描画することとを並列して実行する請求項４に記載の画像処理方法。
【請求項６】
前記第１の補間画像及び前記第２の補間画像の一方の補間画像の描画されていない画素を、前記第１の補間画像及び前記第２の補間画像の他方の補間画像の対応する画素で描画する請求項４に記載の画像処理方法。
【請求項７】
前記一方の補間画像は、前記他方の補間画像より、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像である請求項６に記載の画像処理方法。
【請求項８】
前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と前記第１の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第１の補間画像の描画されていない画素に描画することにより補間画像を生成する請求項２に記載の画像処理方法。
【請求項９】
前記補間画像の生成位相に近い位相を持つ原画像を、前記補間の原画像として前記第１の原画像及び前記第２の原画像から選択する請求項８に記載の画像処理方法。
【請求項１０】
前記第１の原画像及び前記第２の原画像の視差情報を取得する、又は、前記第１の原画像及び前記第２の原画像から前記第１の原画像及び前記第２の原画像の視差情報を生成する請求項１に記載の画像処理方法。
【請求項１１】
前記視差情報は、前記第１の原画像及び前記第２の原画像の水平方向のずれ量、又は前記第１の原画像及び前記第２の原画像の垂直方向のずれ量である請求項１０に記載の画像処理方法。
【請求項１２】
第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
を備える画像処理装置。
【請求項１３】
第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
前記第１の原画像、前記第２の原画像及び前記補間画像の表示を制御する表示制御部と、
を備える表示装置。
【請求項１】
第１の原画像及び第２の原画像を取得し、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理方法。
【請求項２】
前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が背景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画することを禁止する請求項１に記載の画像処理方法。
【請求項３】
前記視差情報の大小関係から、前記一方の原画像の映像情報が前記補間画像の前景か又は背景かを判定し、
前記一方の原画像の映像情報が前景であると判定された場合、前記一方の原画像の映像情報を前記補間画像に描画する請求項１に記載の画像処理方法。
【請求項４】
前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と第２の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第２の補間画像に描画し、
前記第１及び第２の補間画像に基づき前記補間画像を生成する請求項２に記載の画像処理方法。
【請求項５】
前記一方の原画像の映像情報を前記第１の補間画像に描画することと、前記他方の原画像の映像情報を前記第２の補間画像に描画することとを並列して実行する請求項４に記載の画像処理方法。
【請求項６】
前記第１の補間画像及び前記第２の補間画像の一方の補間画像の描画されていない画素を、前記第１の補間画像及び前記第２の補間画像の他方の補間画像の対応する画素で描画する請求項４に記載の画像処理方法。
【請求項７】
前記一方の補間画像は、前記他方の補間画像より、補間画像の生成位相に近い位相を持つ原画像から生成された補間画像である請求項６に記載の画像処理方法。
【請求項８】
前記一方の原画像の視差情報と第１の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記第１の補間画像に描画し、
前記第１の原画像及び前記第２の原画像の他方の原画像の視差情報と前記第１の補間画像の視差情報との大小関係に応じて、前記他方の原画像の映像情報を前記第１の補間画像の描画されていない画素に描画することにより補間画像を生成する請求項２に記載の画像処理方法。
【請求項９】
前記補間画像の生成位相に近い位相を持つ原画像を、前記補間の原画像として前記第１の原画像及び前記第２の原画像から選択する請求項８に記載の画像処理方法。
【請求項１０】
前記第１の原画像及び前記第２の原画像の視差情報を取得する、又は、前記第１の原画像及び前記第２の原画像から前記第１の原画像及び前記第２の原画像の視差情報を生成する請求項１に記載の画像処理方法。
【請求項１１】
前記視差情報は、前記第１の原画像及び前記第２の原画像の水平方向のずれ量、又は前記第１の原画像及び前記第２の原画像の垂直方向のずれ量である請求項１０に記載の画像処理方法。
【請求項１２】
第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
を備える画像処理装置。
【請求項１３】
第１の原画像及び第２の原画像を取得する取得部と、
前記第１の原画像及び前記第２の原画像の一方の原画像の視差情報と、前記第１の原画像及び前記第２の原画像の補間画像の視差情報との大小関係に応じて、前記一方の原画像の映像情報を前記補間画像に描画するかを決定する画像処理部と、
前記第１の原画像、前記第２の原画像及び前記補間画像の表示を制御する表示制御部と、
を備える表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３５３３８（Ｐ２０１２−２３５３３８Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０３０３７（Ｐ２０１１−１０３０３７）
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月２日（２０１１．５．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]