画像処理装置および画像処理方法
【課題】オクルージョン領域の奥行き情報を精度良く求めること。
【解決手段】複数の視点で被写体を撮像して得られた複数の画像間で、各画素の対応関係を検出する対応関係検出手段３１と、前記対応関係が検出された画素の奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段３２と、オクルージョン領域とその周囲領域とからなる画像参照領域を決定する画像参照領域決定手段３４と、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段３５と、前記奥行きマップにおける注目クラスタの奥行き情報、および、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、オクルージョン領域の奥行き情報を算出するオクルージョン奥行き情報算出手段３６と、算出された奥行き情報を奥行きマップに追加する奥行きマップ更新手段３７を備えた。
【解決手段】複数の視点で被写体を撮像して得られた複数の画像間で、各画素の対応関係を検出する対応関係検出手段３１と、前記対応関係が検出された画素の奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段３２と、オクルージョン領域とその周囲領域とからなる画像参照領域を決定する画像参照領域決定手段３４と、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段３５と、前記奥行きマップにおける注目クラスタの奥行き情報、および、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、オクルージョン領域の奥行き情報を算出するオクルージョン奥行き情報算出手段３６と、算出された奥行き情報を奥行きマップに追加する奥行きマップ更新手段３７を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点から撮像して得られた３Ｄ画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
複数の撮像系を備えた３Ｄデジタルカメラがユーザに提供されている。３Ｄデジタルカメラで撮影して得られた３Ｄ画像は、その３Ｄデジタルカメラに実装された３Ｄモニタや、３Ｄビューワーと呼ばれる広画面の３Ｄモニタ装置により立体視可能にして表示することができるほか、３Ｄプリントシステムによりプリント媒体に立体視可能にして印刷することができる。また、より高画質の３Ｄ画像をユーザに提示するため、複数視点から撮像して任意の仮想視点から見た場合の３Ｄ画像を作成する画像処理が知られている。
【０００３】
特許文献１には、複数の異なる視点の画像から２枚以上の奥行きマップを生成し、これらの奥行きマップをもとに仮想視点から見た仮想視点奥行きマップを生成する構成が開示されている。ある一つの視点から見えない領域（オクルージョン領域）の奥行き情報を他の視点の情報で補間し、奥行き情報が決定されない画素については、周囲の画素の奥行き情報で線形補間し、さらに平滑化処理を行う。仮想奥行きマップをもとに、多視点画像（実視点画像）の画素を並べ変えて再構成することで、仮想視点画像を作成する。
【０００４】
特許文献２には、オクルージョンが発生した場合は、オクルージョンが発生していない視点で撮像された画像データを参照して、被写体の位置情報を取得する構成が開示されている。
【０００５】
特許文献３には、物体の輪郭線を検出し、オクルージョン領域の視差を推定する際に輪郭部分が不連続となるようにする構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５９３４６６号公報
【特許文献２】特開２００４−２４６６６７号公報
【特許文献３】特開平９−２７９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
３Ｄ画像には、一方の視点からは撮像されたが他方の視点からは撮像されなかった領域（いわゆる「オクルージョン領域」）が存在する。３Ｄ画像から任意の中間仮想視点の３Ｄ画像を精度良く作成するためには、このオクルージョン領域の奥行き情報を精度良く求めることが求められる。
【０００８】
特許文献１に記載の構成では、オクルージョン領域の奥行き情報を単に周囲の画素の奥行き情報を用いて線形補間するだけなので、オクルージョン領域とは異なる被写体に対応する奥行き情報を用いて補間された場合、奥行き情報の誤差が大きくなるという問題がある。特許文献２に記載の構成にも同様の問題がある。
【０００９】
また、特許文献２に記載の実施例では、オクルージョン処理に３つ以上のカメラが必要であり、二眼のカメラには不向きである。
【００１０】
また、特許文献３に記載の構成では、画像全体から輪郭を求めるので、演算量が多く、また、領域分割の精度が悪い。
【００１１】
本発明はこのような事情に鑑みてなされたもので、複数の視点で被写体をそれぞれ撮像して得られた画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、を備えたことを特徴とする画像処理装置を提供する。
【００１３】
即ち、オクルージョン領域とそのオクルージョン領域を囲む周囲領域とからなる画像参照領域を、その画像参照領域内の部分画像の特徴量に基づいて複数のクラスタに分割し、各クラスタに注目して、各注目クラスタの奥行き情報と、部分画像の特徴量に基づいて選択した他のクラスタの奥行き情報とのうち、少なくとも一方の奥行き情報に基づいて、各注目クラスタのオクルージョン領域の奥行き情報を算出するようにしたので、線形補間によりオクルージョン領域の奥行き情報を単純に補間する従来の画像処理装置と比較して、オクルージョン領域の周囲の情報のうちオクルージョン領域とは無関係な情報が排除される一方でオクルージョン領域に繋がる有効な情報が反映されることになり、オクルージョン領域の奥行き情報の精度が向上する。また、各クラスタごとに特徴量や奥行きマップを参照すればよいので、計算量が少なくて済み、処理の高速化が可能となる。
【００１４】
なお、奥行き情報は、視点（実視点または仮想視点）からの実際の奥行き値である必要はなく、奥行きに対応した情報であればよい。例えば、符号付視差量を奥行き情報として用いることができる。また、視差量以外に可変パラメータがある場合には、符号付き視差量とその可変パラメータとの組み合わせにより奥行き情報を表してもよい。つまり、奥行きマップ更新後に、立体視表示、立体視プリント作成、あるいは他の画像処理で扱いやすい形式で表せばよい。
【００１５】
また、奥行き情報は、１画素ごとに算出する必要はなく、一定数の画素からなる画素群ごとに算出してもよい。
【００１６】
本発明の一態様では、前記領域分割手段は、前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行う。
【００１７】
なお、色としては、色相、彩度など各種の色情報を用いることができる。空間周波数は、例えば、輝度の空間周波数を用いてもよいし、特定色（例えば緑）成分の空間周波数を用いてもよい。
【００１８】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とする。
【００１９】
即ち、各クラスタごとの平均値算出により、高速且つ適切に、オクルージョン領域内の奥行き情報を算出できる。
【００２０】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とする。
【００２１】
即ち、クラスタ内に非オクルージョン画素がない場合でも、特徴的に似ているクラスタの奥行き情報が利用されるので、オクルージョン領域内の奥行き情報を精度良く求めることができる。
【００２２】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出する。
【００２３】
即ち、各クラスタ内で奥行き情報が平坦でなく傾斜がある場合でも、オクルージョン領域内の奥行き情報を精度良く求めることができる。
【００２４】
本発明の一態様では、前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定する。
【００２５】
即ち、簡単且つ適切に画像参照領域を決定することができる。
【００２６】
本発明の一態様では、前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定する。
【００２７】
即ち、オクルージョン領域の幅に応じて、精度良く、オクルージョン領域内の奥行き情報を求めることができる。
【００２８】
また、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、を含むことを特徴とする画像処理方法を提供する。
【発明の効果】
【００２９】
本発明によれば、複数の視点でそれぞれ撮像して得られた画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明に係る画像処理装置の一例の構成を示すブロック図
【図２】視差量および奥行き情報の説明に用いる説明図
【図３】画像処理の一例の流れを示すフローチャート
【図４】入力された左画像および右画像の一例を示す説明図
【図５】画像間の対応関係検出の説明に用いる説明図
【図６】奥行きマップ作成の説明に用いる説明図
【図７】オクルージョン領域検出の説明に用いる説明図
【図８】画像参照領域決定の説明に用いる説明図
【図９】領域分割の説明に用いる説明図
【図１０】オクルージョン領域における奥行き情報算出の説明に用いる説明図
【図１１】奥行きマップ更新の説明に用いる説明図
【図１２】オクルージョン奥行き情報算出の第１の例の説明に用いる説明図
【図１３】オクルージョン奥行き情報算出の第２の例の説明に用いる説明図
【図１４】オクルージョン奥行き情報算出の第３の例の説明に用いる説明図
【図１５】画像参照領域決定の例の説明に用いる説明図
【発明を実施するための形態】
【００３１】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３２】
図１は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。
【００３３】
図１において、画像処理装置２は、指示入力手段２１、データ入出力手段２２、ＣＰＵ２３、記憶手段２４、および、表示手段２５を含んで構成されている。また、ＣＰＵ２３は、対応関係検出手段３１、奥行きマップ作成手段３２、オクルージョン領域検出手段３３、画像参照領域決定手段３４、領域分割手段３５、オクルージョン奥行き情報算出手段３６、奥行きマップ更新手段３７、および、仮想視点画像作成手段３８を有する。
【００３４】
指示入力手段２１は、指示を入力するための入力デバイスである。例えば、キーボード、ポインティングデバイスなどによって構成される。
【００３５】
データ入出力手段２２は、各種のデータを入力および出力するための入出力デバイスである。本例では、特に、画像データ（以下単に「画像」という）の入力と、仮想視点画像および奥行きマップの出力とに用いられる。データ入出力手段２２は、例えば、メモリカードなどのリムーバブルな記録メディアからのデータ入力およびその記録メディアへのデータ出力を行う記録メディアインタフェースや、ネットワークからのデータ入力およびそのネットワークへのデータ出力を行うネットワークインタフェースによって構成される。
【００３６】
本例では、データ入出力手段２２により、複数の視点で被写体をそれぞれ撮像して得られた複数の２Ｄ画像（「単視点画像」ともいう）からなる３Ｄ画像（「複数視点画像」ともいう）が入力される。
【００３７】
奥行きマップは、３Ｄ画像を構成する複数の２Ｄ画像のうち少なくとも一方について、画素の奥行き情報を画素の位置に対応付けて示すデータである。各画素の奥行き情報は、各画素の視差量に対応する。視差量については後に詳説する。
【００３８】
ＣＰＵ（Central Processing Unit）２３は、画像処理装置２の各部を制御するとともに、画像処理を実行する。
【００３９】
対応関係検出手段３１は、３Ｄ画像を構成する複数の２Ｄ画像間で、各画素の対応関係を検出する。つまり、視点が異なる複数の２Ｄ画像間で、画素と画素との対応付けを行う。
【００４０】
奥行きマップ作成手段３２は、対応関係が検出された画素（以下「非オクルージョン画素」という）の奥行き情報を算出して、その奥行き情報を含む奥行きマップを作成する。
【００４１】
オクルージョン領域検出手段３３は、対応関係が検出されなかった画素（以下「オクルージョン画素」という）の領域をオクルージョン領域として検出する。対応関係が検出された非オクルージョン画素の領域は、非オクルージョン領域である。
【００４２】
画像参照領域決定手段３４は、オクルージョン画素の奥行き情報を算出するために部分画像を参照する画像参照領域であって、オクルージョン領域とオクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する。なお、具体例については後に詳説する。
【００４３】
領域分割手段３５は、画像参照領域内の部分画像の特徴量に基づいて、画像参照領域を複数のクラスタに分割する。なお、具体例については後に詳説する。
【００４４】
オクルージョン奥行き情報算出手段３６は、オクルージョン領域内の画素（オクルージョン画素）の奥行き情報を算出する。具体的には、各クラスタに順次注目し、奥行きマップにおける注目クラスタ内の非オクルージョン画素の奥行き情報、および、注目クラスタの特徴量に基づいて選択した他のクラスタ内の奥行き情報のうち、少なくとも一方の奥行き情報に基づいて算出する。なお、具体例についは後に詳説する。
【００４５】
奥行きマップ更新手段３７は、オクルージョン画素の奥行き情報を奥行きマップに追加することで、奥行きマップの更新を行う。
【００４６】
仮想視点画像作成手段３８は、実視点画像（即ちデータ入出力手段２２に入力された３Ｄ画像）、および、更新された奥行きマップに基づいて、任意の仮想視点から見た場合の３Ｄ画像（仮想視点画像）を作成する。
【００４７】
記憶手段２４は、各種のデータを記憶する記憶デバイスであり、不揮発性メモリまたはディスクを含んで構成されている。
【００４８】
表示手段２５は、液晶表示デバイスなどの表示デバイスである。本例の表示手段２５は、画像処理装置２の操作者とのユーザインタフェースに用いられるものであり、立体視表示可能でなくてもよい。
【００４９】
次に、視差量および奥行き情報について、図２を用いて説明する。
【００５０】
図２において、３Ｄデジタルカメラ１は、複数の撮像系１１Ｌ、１１Ｒを備える。各撮像系１１Ｌ、１１Ｒは、ズームレンズ、フォーカスレンズおよび絞りを有する撮影光学系と、ＣＣＤセンサなどの撮像素子を有する。なお、発明の理解を容易にするため、３Ｄデジタルカメラ１にて、基線長ＳＢ（撮像系１１Ｌ、１１Ｒの光軸の間隔）、及び、輻輳角θｃ（撮像系１１Ｌ、１１Ｒの光軸同士が成す角度）は、固定であるものとして説明する。
【００５１】
複数の撮像系１１Ｌ、１１Ｒにより、同一の被写体９１（本例では球）を複数の視点から撮像することで、複数の２Ｄ画像（左画像９２Ｌ及び右画像９２Ｒ）が生成される。生成された２Ｄ画像９２Ｌ、９２Ｒは、同一の被写体９１が投影された被写体像９３Ｌ、９３Ｒを、それぞれ含んでいる。これらの２Ｄ画像９２Ｌ、９２Ｒを、立体視表示可能なモニタ６０で重ね合わせて表示することで、すなわち３Ｄ表示することで、３Ｄ画像９４が再生される。観察者９５は、モニタ６０上の３Ｄ画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には被写体９１の虚像９７が飛び出して見える。尚、図２では、光軸間の交点９９（クロスポイント）よりも近い位置に被写体９１が存在したので虚像９７が手前側に飛び出して見えるが、交点９９よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。
【００５２】
図２に示すように被写体距離Ｓが交点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、３Ｄ画像９４上で被写体像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦの差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、２Ｄ画像９２Ｌ、９２Ｒ間で対応画素同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これを視差量ＡＰとして表す。つまり、基線長ＳＢ及び輻輳角θｃが決まっていれば、交点９９よりも前では被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。
【００５３】
各２Ｄ画像における画素の奥行き情報は、基線長ＳＢ、輻輳角θｃおよび焦点距離が定まっていれば、視差量ＡＰを用いて表すことができる。例えば、交点９９よりも前に被写体９１がある場合には、視差量ＡＰに正の符号を付した値が奥行き情報となり、交点９９よりも後に被写体９１がある場合には、視差量ＡＰに負の符号を付した値が奥行き情報となる。交点９９に対応する奥行き情報は０（ゼロ）である。この場合、奥行き情報が正の場合には、値が大きいほど飛び出し量ＡＤが大きくなり、奥行き情報が負の場合、絶対値が大きいほど引き込み量が大きくなる。
【００５４】
なお、奥行き情報は、被写体距離Ｓにも対応するので、被写体距離Ｓを用いて表すことも可能である。
【００５５】
また、基線長ＳＢ及び輻輳角θｃが一定である場合を例に説明したが、輻輳角θｃが可変である構造の場合には、輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、輻輳角θｃに加えて基線長ＳＢも可変である構造の場合には、基線長ＳＢ及び輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、基線長ＳＢ及び輻輳角θｃが一定であっても、２Ｄ画像９２Ｌ、９２Ｒ間で画素ずらしを行って視差量ＡＰを変更した場合には、飛び出し量ＡＤも変わってくる。
【００５６】
図３は、画像処理装置２における画像処理の一例の流れを示すフローチャートである。
【００５７】
ステップＳ１にて、データ入出力手段２２により、３Ｄ画像を入力する。３Ｄ画像は、３Ｄデジタルカメラ１により複数の視点で被写体をそれぞれ撮像して得られた複数の２Ｄ画像９２Ｌ、９２Ｒからなる。以下では、図４に示す左画像９２Ｌおよび右画像９２Ｒが入力されたものとして説明する。
【００５８】
ステップＳ２にて、対応関係検出手段３１により、２Ｄ画像９２Ｌ、９２Ｒ間で、各画素の対応関係を検出する。例えば、図５に示すように、右画像９２Ｒの各画素Ｒ１、Ｒ２に注目するとともに、右画像９２Ｒの各注目画素Ｒ１、Ｒ２にそれぞれ対応する左画像の対応画素Ｌ１、Ｌ２を検出する。なお、左画像９２Ｌ中の画素ＬＲ１、ＬＲ２は、右画像９２Ｒの注目画素Ｒ１、Ｒ２を単純に投影した位置にある画素である。
【００５９】
ステップＳ３にて、奥行きマップ作成手段３２により、対応関係が検出された画素（非オクルージョン画素）の奥行き情報を算出して、その奥行き情報を含む奥行きマップを作成する。図６（Ａ）にて、画素Ｌ１の奥行き情報を矢印ｐ１で示し、画素Ｌ２の奥行き情報を矢印ｐ２で示した。ここで、ｐ１はＬ１−ＬＲ１間のベクトル、ｐ２はＬ２−ＬＲ２間のベクトルに相当する。本例における奥行き情報は、実際には、符号付きの視差量として、符号と絶対値とで表される。図６（Ｂ）は、左画像９２Ｌを右画像９２Ｒに投影するマップを、矢印の配列で模式的に示したもので、左画像９２Ｌの奥行きマップと呼ばれる。図６（Ｂ）に示すように、奥行きマップは各画素の奥行き情報を各画素の位置に対応付けた情報であるといえる。本例における奥行きマップは、実際には、符号付き視差量の配列で表される。なお、左画像９２Ｌの奥行きマップ作成を例に説明したが、右画像９２Ｒの奥行きマップも同様に作成する。
【００６０】
ステップＳ４にて、オクルージョン領域検出手段３３により、図７に示すように、オクルージョン領域８０Ｌ、８０Ｒを検出する。即ち、２Ｄ画像９２Ｌ、９２Ｒ間で対応関係を検出できなかったオクルージョン画素の領域８０Ｌ、８０Ｒを、オクルージョン領域とする。左画像９２Ｌのオクルージョン領域８０Ｌは図２の右撮像系１１Ｒからは見えなかった領域であり、右画像９２Ｒのオクルージョン領域８０Ｒは図２の左撮像系１１Ｒからは見えなかった領域である。
【００６１】
ステップＳ５にて、画像参照領域決定手段３４により、図８に示すように、オクルージョン領域８０Ｌとオクルージョン領域８０Ｌを囲む帯状の周囲領域８２Ｌとからなる画像参照領域８４Ｌを決定する。なお、左画像９２Ｌの画像参照領域８４Ｌを例に説明したが、右画像９２Ｒの画像参照領域も同様に決定される。
【００６２】
ステップＳ６にて、領域分割手段３５により、図９に示すように、画像参照領域８４Ｌ内の部分画像の特徴量に基づいて、画像参照領域８４Ｌを複数のクラスタＣ１〜Ｃ４（分割領域）に分割する。領域分割手段３５は、例えば、色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、画像参照領域８４Ｌを複数のクラスタＣ１〜Ｃ４に分割する。なお、色としては、色相、彩度など各種の色情報を用いることができる。空間周波数は、例えば、輝度の空間周波数を用いてもよいし、特定色（例えば緑）成分の空間周波数を用いてもよい。
【００６３】
ステップＳ７にて、オクルージョン奥行き情報算出手段３６により、オクルージョン領域８０Ｌ（ＰＡ１、ＰＡ２およびＰＡ３）内の奥行き情報を算出する。図１０において、オクルージョン領域ＰＡ１、ＰＡ２およびＰＡ３のうち、ＰＡ１とＰＡ２は左画像９２Ｌ中の樹の部分画像を構成する画素であり奥行き情報であり、ＰＡ３は左画像９２Ｌ中の人の部分画像を構成する画素である。
【００６４】
オクルージョン奥行き情報算出手段３６は、具体的には、画像参照領域８４Ｌ内の各クラスタＣ１，Ｃ２，Ｃ３，Ｃ４に順次注目し、次のようにして奥行き情報を算出する。まず、図９のクラスタＣ１に注目し、クラスタＣ１内には既に奥行き情報が検出された画素（即ち右画像９２Ｒの画素との対応関係が検出された非オクルージョン画素）があるので、その奥行き情報に基づいて、クラスタＣ１内の図１０に示すオクルージョン部分領域ＰＡ１、ＰＡ２の奥行き情報を算出する。なお、具体的な計算例は、後に詳説する。次に、図９のクラスタＣ２に注目し、クラスタＣ２内には既に奥行き情報が検出された画素があるので、その奥行き情報に基づいて、クラスタＣ２内の図１０に示すオクルージョン部分領域ＰＡ３の奥行き情報を算出する。なお、図９のクラスタＣ３，Ｃ４にはオクルージョン領域がないので、ここでは奥行き情報の算出は不要である。
【００６５】
なお、注目クラスタ内にオクルージョン画素のみが存在する場合には、注目クラスタの部分画像の特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて、注目クラスタ内のオクルージョン領域の奥行き情報を算出すればよい。このような場合の例は、後に詳細に説明する。
【００６６】
ステップＳ８にて、奥行きマップ更新手段３７により、奥行きマップを更新する。図１１は、左画像９２Ｌの奥行きマップを、矢印の配列で模式的に示したものである。即ち、オクルージョン領域８０Ｌの図１１では矢印で表した奥行き情報を、奥行きマップに追加する。前述のように、本例では、実際には、符号付き視差量の配列により奥行きマップが表される。
【００６７】
ステップＳ９にて、仮想視点画像作成手段３８により、実視点画像（即ち、ステップＳ１でデータ入出力手段２２により入力された３Ｄ画像）、および、更新された奥行きマップに基づいて、任意の仮想視点から見た場合の３Ｄ画像（仮想視点画像）を作成する。
【００６８】
作成された仮想視点画像は、３Ｄ表示や３Ｄプリントに用いられる。即ち、図示省略の３Ｄモニタ装置（３Ｄビューワー）で立体視表示したり、図示省略の３Ｄプリント装置でプリント媒体に立体視可能にして印刷したりする際に用いられる。
【００６９】
更新された奥行きマップおよび仮想視点画像は、記憶手段２４に記憶された後、データ入出力手段２２により出力される。例えば、リムーバブルメディアに記録される。また、例えば、図示を省略したネットワークに出力される。
【００７０】
次に、オクルージョン奥行き情報算出の具体例について、詳説する。
【００７１】
まず、オクルージョン奥行き情報算出の第１の例を説明する。
【００７２】
図１２に、奥行きマップの一例の一部を示す。図１２の左側が更新前の状態であり、右側が更新後の状態である。図１２に示すように、本例のオクルージョン奥行き情報算出手段３６は、各クラスタＣ１１、Ｃ１２ごとに、既に奥行き情報が検出された複数の非オクルージョン画素（図中左側の数字付きの画素）の平均値を算出し、その平均値を各クラスタ内の奥行き情報が検出されていないオクルージョン画素（図中左側の‘？’マーク付き画素）の奥行き情報に決定する。例えば、クラスタＣ１１では、平均値が「＋３」なので、オクルージョン画素の奥行き情報に「＋３」を設定する。また、クラスタＣ１２では、平均値が「−６」なので、オクルージョン画素の奥行き情報に「−６」を設定する。
【００７３】
本例によれば、画像特徴量に基づいて分割した各クラスタごとにオクルージョン領域内の各画素の奥行き情報を決定するので、オクルージョン領域における奥行き情報の精度が向上する。
【００７４】
なお、非オクルージョン画素がないクラスタにおけるオクルージョン画素の奥行き情報算出については、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて算出する。その具体例については、次の第２の例で説明する。公知の他の方法を用いてもよい。
【００７５】
次に、オクルージョン奥行き情報算出の第２の例を説明する。
【００７６】
図１３に、奥行きマップの一例の一部を示す。図１３の左側が更新前の状態であり、右側が更新後の状態である。図１３にて、クラスタＣ２１、Ｃ２３、Ｃ２４には、それぞれ既に奥行き情報が検出された複数の非オクルージョン画素が存在し、奥行き情報の平均値がそれぞれ「３」、「８」、「−４」である。クラスタＣ２２は、非オクルージョン画素が存在しない。本例のオクルージョン奥行き情報算出手段３６は、注目クラスタ内に非オクルージョン画素が存在する場合には、注目クラスタ内の奥行き情報の平均値を、その注目クラスタ内のオクルージョン画素の奥行き情報に決定する。本例では、クラスタＣ２１、Ｃ２３、Ｃ２４におけるオクルージョン画素の奥行き情報を、それぞれ「３」、「８」、「−４」に設定する。その一方で、オクルージョン奥行き情報算出手段３６は、注目クラスタ内に非オクルージョン画素が存在しない場合には、画像参照領域内の複数のクラスタのうちで部分画像の特徴量が注目クラスタの特徴量に最も近いクラスタ内の奥行き情報の平均値を、注目クラスタ内のオクルージョン画素の奥行き情報に決定する。本例では、クラスタＣ２２におけるオクルージョン画素の奥行き情報を、特徴量が最も近いクラスタＣ２１の奥行き情報の平均値である「３」に決定する。例えば、色が最も近いクラスタを選択する。色および輝度の両方に基づいて選択してもよい。テクスチャに基づいて選択してもよい。輝度や特定色成分の高周波成分（即ち空間周波数）に基づいて選択してもよい。
【００７７】
本例によれば、非オクルージョン画素がないクラスタについては、部分画像の特徴量が最も近いクラスタ内の奥行き情報の平均値を用いてオクルージョン画素の奥行き情報を決定することで、オクルージョン領域の奥行き情報の精度を向上させることができる。
【００７８】
次に、オクルージョン奥行き情報算出の第３の例を説明する。
【００７９】
図１４に、奥行きマップの一例の一部を示す。図１４の左側が更新前の状態であり、右側が更新後の状態である。図１４にて、クラスタＣ３１，Ｃ３２には、それぞれ既に奥行き情報が検出された非オクルージョン画素が存在するけれども、その奥行き情報はクラスタ内で傾斜している。オクルージョン奥行き情報算出手段３６は、各クラスタＣ３１、Ｃ３２ごとに非オクルージョン領域における奥行き情報の分布を示す分布情報を算出し、その分布情報に基づいて各クラスタＣ３１，Ｃ３２内のオクルージョン画素の奥行き情報を算出する。例えば、各クラスタＣ３１，Ｃ３２ごとに、水平方向Ｈ、垂直方向Ｖ、斜め方向Ｓのうち少なくともひとつの方向にて奥行き情報の傾きを検出し、その傾きに応じてオクルージョン画素の奥行き情報を算出する。
【００８０】
本例によれば、クラスタ内で非オクルージョン画素の奥行きが傾斜している場合でも、オクルージョン領域における奥行き情報を適切に算出することができる。
【００８１】
なお、非オクルージョン画素がないクラスタにおけるオクルージョン画素の奥行き情報算出については、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて算出すればよい。
【００８２】
また、各クラスタごとに、非オクルージョン画素の奥行き情報に傾斜があるか否かを判定し、傾斜が閾値未満（または傾斜が無い）と判定した場合には、第１の例にて説明したように、各クラスタごとの非オクルージョン画素の奥行き情報の平均値を、オクルージョン画素の奥行き情報としてもよい。
【００８３】
次に、画像参照領域決定の具体例について、説明する。
【００８４】
図１５は、画像参照領域決定の第１の例の説明に用いる説明図である。図１５に示すように、本例の画像参照領域決定手段３４は、オクルージョン領域８０の外周に、一定の幅を有する帯状の周囲領域８２を設定する。即ち、画像参照領域８４をオクルージョン領域８０から一定の幅で拡張するようにして領域決定を行う。例えば、図１５にて、水平方向Ｈの拡張幅αと垂直方向Ｖの拡張幅βとは、同じ（α＝β）である。
【００８５】
奥行き情報の精度向上の観点からは、拡張幅α、βをオクルージョン領域８０の形状に応じて変更することが、より好ましい。例えば、図１５にて、オクルージョン領域８０の水平方向Ｈの幅をＷｈ、垂直方向Ｖの幅をＷｖとしたとき、α＝Ｗｈ／２，β＝Ｗｖ／２とする。即ち、オクルージョン領域８０の幅（Ｗｈ，Ｗｖ）に対して一定の比率の幅（α，β）を有する周囲領域８２を設定する。オクルージョン領域８０と周囲領域８２とで面積を略１：１にすると、より好ましい。
【００８６】
また、２視点で撮像した場合を例に説明したが、本発明は３視点以上の場合に適用できることは、言うまでもない。
【００８７】
また、いわゆるコンピュータ装置で画像処理を行う場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、３Ｄデジタルカメラ、３Ｄビューワー、３Ｄプリント装置など各種の装置に適用できる。
【００８８】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【００８９】
２…画像処理装置、２１・・・指示入力手段、２２…データ入出力手段、２３…ＣＰＵ、３１…対応関係検出手段、３２…奥行きマップ作成手段、３３…オクルージョン領域検出手段、３４…画像参照領域決定手段、３５…領域分割手段、３６…オクルージョン奥行き情報算出手段、３７…奥行きマップ更新手段
【技術分野】
【０００１】
本発明は、複数の視点から撮像して得られた３Ｄ画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
複数の撮像系を備えた３Ｄデジタルカメラがユーザに提供されている。３Ｄデジタルカメラで撮影して得られた３Ｄ画像は、その３Ｄデジタルカメラに実装された３Ｄモニタや、３Ｄビューワーと呼ばれる広画面の３Ｄモニタ装置により立体視可能にして表示することができるほか、３Ｄプリントシステムによりプリント媒体に立体視可能にして印刷することができる。また、より高画質の３Ｄ画像をユーザに提示するため、複数視点から撮像して任意の仮想視点から見た場合の３Ｄ画像を作成する画像処理が知られている。
【０００３】
特許文献１には、複数の異なる視点の画像から２枚以上の奥行きマップを生成し、これらの奥行きマップをもとに仮想視点から見た仮想視点奥行きマップを生成する構成が開示されている。ある一つの視点から見えない領域（オクルージョン領域）の奥行き情報を他の視点の情報で補間し、奥行き情報が決定されない画素については、周囲の画素の奥行き情報で線形補間し、さらに平滑化処理を行う。仮想奥行きマップをもとに、多視点画像（実視点画像）の画素を並べ変えて再構成することで、仮想視点画像を作成する。
【０００４】
特許文献２には、オクルージョンが発生した場合は、オクルージョンが発生していない視点で撮像された画像データを参照して、被写体の位置情報を取得する構成が開示されている。
【０００５】
特許文献３には、物体の輪郭線を検出し、オクルージョン領域の視差を推定する際に輪郭部分が不連続となるようにする構成が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５９３４６６号公報
【特許文献２】特開２００４−２４６６６７号公報
【特許文献３】特開平９−２７９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
３Ｄ画像には、一方の視点からは撮像されたが他方の視点からは撮像されなかった領域（いわゆる「オクルージョン領域」）が存在する。３Ｄ画像から任意の中間仮想視点の３Ｄ画像を精度良く作成するためには、このオクルージョン領域の奥行き情報を精度良く求めることが求められる。
【０００８】
特許文献１に記載の構成では、オクルージョン領域の奥行き情報を単に周囲の画素の奥行き情報を用いて線形補間するだけなので、オクルージョン領域とは異なる被写体に対応する奥行き情報を用いて補間された場合、奥行き情報の誤差が大きくなるという問題がある。特許文献２に記載の構成にも同様の問題がある。
【０００９】
また、特許文献２に記載の実施例では、オクルージョン処理に３つ以上のカメラが必要であり、二眼のカメラには不向きである。
【００１０】
また、特許文献３に記載の構成では、画像全体から輪郭を求めるので、演算量が多く、また、領域分割の精度が悪い。
【００１１】
本発明はこのような事情に鑑みてなされたもので、複数の視点で被写体をそれぞれ撮像して得られた画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、を備えたことを特徴とする画像処理装置を提供する。
【００１３】
即ち、オクルージョン領域とそのオクルージョン領域を囲む周囲領域とからなる画像参照領域を、その画像参照領域内の部分画像の特徴量に基づいて複数のクラスタに分割し、各クラスタに注目して、各注目クラスタの奥行き情報と、部分画像の特徴量に基づいて選択した他のクラスタの奥行き情報とのうち、少なくとも一方の奥行き情報に基づいて、各注目クラスタのオクルージョン領域の奥行き情報を算出するようにしたので、線形補間によりオクルージョン領域の奥行き情報を単純に補間する従来の画像処理装置と比較して、オクルージョン領域の周囲の情報のうちオクルージョン領域とは無関係な情報が排除される一方でオクルージョン領域に繋がる有効な情報が反映されることになり、オクルージョン領域の奥行き情報の精度が向上する。また、各クラスタごとに特徴量や奥行きマップを参照すればよいので、計算量が少なくて済み、処理の高速化が可能となる。
【００１４】
なお、奥行き情報は、視点（実視点または仮想視点）からの実際の奥行き値である必要はなく、奥行きに対応した情報であればよい。例えば、符号付視差量を奥行き情報として用いることができる。また、視差量以外に可変パラメータがある場合には、符号付き視差量とその可変パラメータとの組み合わせにより奥行き情報を表してもよい。つまり、奥行きマップ更新後に、立体視表示、立体視プリント作成、あるいは他の画像処理で扱いやすい形式で表せばよい。
【００１５】
また、奥行き情報は、１画素ごとに算出する必要はなく、一定数の画素からなる画素群ごとに算出してもよい。
【００１６】
本発明の一態様では、前記領域分割手段は、前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行う。
【００１７】
なお、色としては、色相、彩度など各種の色情報を用いることができる。空間周波数は、例えば、輝度の空間周波数を用いてもよいし、特定色（例えば緑）成分の空間周波数を用いてもよい。
【００１８】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とする。
【００１９】
即ち、各クラスタごとの平均値算出により、高速且つ適切に、オクルージョン領域内の奥行き情報を算出できる。
【００２０】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とする。
【００２１】
即ち、クラスタ内に非オクルージョン画素がない場合でも、特徴的に似ているクラスタの奥行き情報が利用されるので、オクルージョン領域内の奥行き情報を精度良く求めることができる。
【００２２】
本発明の一態様では、前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出する。
【００２３】
即ち、各クラスタ内で奥行き情報が平坦でなく傾斜がある場合でも、オクルージョン領域内の奥行き情報を精度良く求めることができる。
【００２４】
本発明の一態様では、前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定する。
【００２５】
即ち、簡単且つ適切に画像参照領域を決定することができる。
【００２６】
本発明の一態様では、前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定する。
【００２７】
即ち、オクルージョン領域の幅に応じて、精度良く、オクルージョン領域内の奥行き情報を求めることができる。
【００２８】
また、本発明は、複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、を含むことを特徴とする画像処理方法を提供する。
【発明の効果】
【００２９】
本発明によれば、複数の視点でそれぞれ撮像して得られた画像の奥行き情報マップを作成する際に、オクルージョン領域の奥行き情報を精度良く求めることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明に係る画像処理装置の一例の構成を示すブロック図
【図２】視差量および奥行き情報の説明に用いる説明図
【図３】画像処理の一例の流れを示すフローチャート
【図４】入力された左画像および右画像の一例を示す説明図
【図５】画像間の対応関係検出の説明に用いる説明図
【図６】奥行きマップ作成の説明に用いる説明図
【図７】オクルージョン領域検出の説明に用いる説明図
【図８】画像参照領域決定の説明に用いる説明図
【図９】領域分割の説明に用いる説明図
【図１０】オクルージョン領域における奥行き情報算出の説明に用いる説明図
【図１１】奥行きマップ更新の説明に用いる説明図
【図１２】オクルージョン奥行き情報算出の第１の例の説明に用いる説明図
【図１３】オクルージョン奥行き情報算出の第２の例の説明に用いる説明図
【図１４】オクルージョン奥行き情報算出の第３の例の説明に用いる説明図
【図１５】画像参照領域決定の例の説明に用いる説明図
【発明を実施するための形態】
【００３１】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３２】
図１は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。
【００３３】
図１において、画像処理装置２は、指示入力手段２１、データ入出力手段２２、ＣＰＵ２３、記憶手段２４、および、表示手段２５を含んで構成されている。また、ＣＰＵ２３は、対応関係検出手段３１、奥行きマップ作成手段３２、オクルージョン領域検出手段３３、画像参照領域決定手段３４、領域分割手段３５、オクルージョン奥行き情報算出手段３６、奥行きマップ更新手段３７、および、仮想視点画像作成手段３８を有する。
【００３４】
指示入力手段２１は、指示を入力するための入力デバイスである。例えば、キーボード、ポインティングデバイスなどによって構成される。
【００３５】
データ入出力手段２２は、各種のデータを入力および出力するための入出力デバイスである。本例では、特に、画像データ（以下単に「画像」という）の入力と、仮想視点画像および奥行きマップの出力とに用いられる。データ入出力手段２２は、例えば、メモリカードなどのリムーバブルな記録メディアからのデータ入力およびその記録メディアへのデータ出力を行う記録メディアインタフェースや、ネットワークからのデータ入力およびそのネットワークへのデータ出力を行うネットワークインタフェースによって構成される。
【００３６】
本例では、データ入出力手段２２により、複数の視点で被写体をそれぞれ撮像して得られた複数の２Ｄ画像（「単視点画像」ともいう）からなる３Ｄ画像（「複数視点画像」ともいう）が入力される。
【００３７】
奥行きマップは、３Ｄ画像を構成する複数の２Ｄ画像のうち少なくとも一方について、画素の奥行き情報を画素の位置に対応付けて示すデータである。各画素の奥行き情報は、各画素の視差量に対応する。視差量については後に詳説する。
【００３８】
ＣＰＵ（Central Processing Unit）２３は、画像処理装置２の各部を制御するとともに、画像処理を実行する。
【００３９】
対応関係検出手段３１は、３Ｄ画像を構成する複数の２Ｄ画像間で、各画素の対応関係を検出する。つまり、視点が異なる複数の２Ｄ画像間で、画素と画素との対応付けを行う。
【００４０】
奥行きマップ作成手段３２は、対応関係が検出された画素（以下「非オクルージョン画素」という）の奥行き情報を算出して、その奥行き情報を含む奥行きマップを作成する。
【００４１】
オクルージョン領域検出手段３３は、対応関係が検出されなかった画素（以下「オクルージョン画素」という）の領域をオクルージョン領域として検出する。対応関係が検出された非オクルージョン画素の領域は、非オクルージョン領域である。
【００４２】
画像参照領域決定手段３４は、オクルージョン画素の奥行き情報を算出するために部分画像を参照する画像参照領域であって、オクルージョン領域とオクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する。なお、具体例については後に詳説する。
【００４３】
領域分割手段３５は、画像参照領域内の部分画像の特徴量に基づいて、画像参照領域を複数のクラスタに分割する。なお、具体例については後に詳説する。
【００４４】
オクルージョン奥行き情報算出手段３６は、オクルージョン領域内の画素（オクルージョン画素）の奥行き情報を算出する。具体的には、各クラスタに順次注目し、奥行きマップにおける注目クラスタ内の非オクルージョン画素の奥行き情報、および、注目クラスタの特徴量に基づいて選択した他のクラスタ内の奥行き情報のうち、少なくとも一方の奥行き情報に基づいて算出する。なお、具体例についは後に詳説する。
【００４５】
奥行きマップ更新手段３７は、オクルージョン画素の奥行き情報を奥行きマップに追加することで、奥行きマップの更新を行う。
【００４６】
仮想視点画像作成手段３８は、実視点画像（即ちデータ入出力手段２２に入力された３Ｄ画像）、および、更新された奥行きマップに基づいて、任意の仮想視点から見た場合の３Ｄ画像（仮想視点画像）を作成する。
【００４７】
記憶手段２４は、各種のデータを記憶する記憶デバイスであり、不揮発性メモリまたはディスクを含んで構成されている。
【００４８】
表示手段２５は、液晶表示デバイスなどの表示デバイスである。本例の表示手段２５は、画像処理装置２の操作者とのユーザインタフェースに用いられるものであり、立体視表示可能でなくてもよい。
【００４９】
次に、視差量および奥行き情報について、図２を用いて説明する。
【００５０】
図２において、３Ｄデジタルカメラ１は、複数の撮像系１１Ｌ、１１Ｒを備える。各撮像系１１Ｌ、１１Ｒは、ズームレンズ、フォーカスレンズおよび絞りを有する撮影光学系と、ＣＣＤセンサなどの撮像素子を有する。なお、発明の理解を容易にするため、３Ｄデジタルカメラ１にて、基線長ＳＢ（撮像系１１Ｌ、１１Ｒの光軸の間隔）、及び、輻輳角θｃ（撮像系１１Ｌ、１１Ｒの光軸同士が成す角度）は、固定であるものとして説明する。
【００５１】
複数の撮像系１１Ｌ、１１Ｒにより、同一の被写体９１（本例では球）を複数の視点から撮像することで、複数の２Ｄ画像（左画像９２Ｌ及び右画像９２Ｒ）が生成される。生成された２Ｄ画像９２Ｌ、９２Ｒは、同一の被写体９１が投影された被写体像９３Ｌ、９３Ｒを、それぞれ含んでいる。これらの２Ｄ画像９２Ｌ、９２Ｒを、立体視表示可能なモニタ６０で重ね合わせて表示することで、すなわち３Ｄ表示することで、３Ｄ画像９４が再生される。観察者９５は、モニタ６０上の３Ｄ画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には被写体９１の虚像９７が飛び出して見える。尚、図２では、光軸間の交点９９（クロスポイント）よりも近い位置に被写体９１が存在したので虚像９７が手前側に飛び出して見えるが、交点９９よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。
【００５２】
図２に示すように被写体距離Ｓが交点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、３Ｄ画像９４上で被写体像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦの差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、２Ｄ画像９２Ｌ、９２Ｒ間で対応画素同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これを視差量ＡＰとして表す。つまり、基線長ＳＢ及び輻輳角θｃが決まっていれば、交点９９よりも前では被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。
【００５３】
各２Ｄ画像における画素の奥行き情報は、基線長ＳＢ、輻輳角θｃおよび焦点距離が定まっていれば、視差量ＡＰを用いて表すことができる。例えば、交点９９よりも前に被写体９１がある場合には、視差量ＡＰに正の符号を付した値が奥行き情報となり、交点９９よりも後に被写体９１がある場合には、視差量ＡＰに負の符号を付した値が奥行き情報となる。交点９９に対応する奥行き情報は０（ゼロ）である。この場合、奥行き情報が正の場合には、値が大きいほど飛び出し量ＡＤが大きくなり、奥行き情報が負の場合、絶対値が大きいほど引き込み量が大きくなる。
【００５４】
なお、奥行き情報は、被写体距離Ｓにも対応するので、被写体距離Ｓを用いて表すことも可能である。
【００５５】
また、基線長ＳＢ及び輻輳角θｃが一定である場合を例に説明したが、輻輳角θｃが可変である構造の場合には、輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、輻輳角θｃに加えて基線長ＳＢも可変である構造の場合には、基線長ＳＢ及び輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、基線長ＳＢ及び輻輳角θｃが一定であっても、２Ｄ画像９２Ｌ、９２Ｒ間で画素ずらしを行って視差量ＡＰを変更した場合には、飛び出し量ＡＤも変わってくる。
【００５６】
図３は、画像処理装置２における画像処理の一例の流れを示すフローチャートである。
【００５７】
ステップＳ１にて、データ入出力手段２２により、３Ｄ画像を入力する。３Ｄ画像は、３Ｄデジタルカメラ１により複数の視点で被写体をそれぞれ撮像して得られた複数の２Ｄ画像９２Ｌ、９２Ｒからなる。以下では、図４に示す左画像９２Ｌおよび右画像９２Ｒが入力されたものとして説明する。
【００５８】
ステップＳ２にて、対応関係検出手段３１により、２Ｄ画像９２Ｌ、９２Ｒ間で、各画素の対応関係を検出する。例えば、図５に示すように、右画像９２Ｒの各画素Ｒ１、Ｒ２に注目するとともに、右画像９２Ｒの各注目画素Ｒ１、Ｒ２にそれぞれ対応する左画像の対応画素Ｌ１、Ｌ２を検出する。なお、左画像９２Ｌ中の画素ＬＲ１、ＬＲ２は、右画像９２Ｒの注目画素Ｒ１、Ｒ２を単純に投影した位置にある画素である。
【００５９】
ステップＳ３にて、奥行きマップ作成手段３２により、対応関係が検出された画素（非オクルージョン画素）の奥行き情報を算出して、その奥行き情報を含む奥行きマップを作成する。図６（Ａ）にて、画素Ｌ１の奥行き情報を矢印ｐ１で示し、画素Ｌ２の奥行き情報を矢印ｐ２で示した。ここで、ｐ１はＬ１−ＬＲ１間のベクトル、ｐ２はＬ２−ＬＲ２間のベクトルに相当する。本例における奥行き情報は、実際には、符号付きの視差量として、符号と絶対値とで表される。図６（Ｂ）は、左画像９２Ｌを右画像９２Ｒに投影するマップを、矢印の配列で模式的に示したもので、左画像９２Ｌの奥行きマップと呼ばれる。図６（Ｂ）に示すように、奥行きマップは各画素の奥行き情報を各画素の位置に対応付けた情報であるといえる。本例における奥行きマップは、実際には、符号付き視差量の配列で表される。なお、左画像９２Ｌの奥行きマップ作成を例に説明したが、右画像９２Ｒの奥行きマップも同様に作成する。
【００６０】
ステップＳ４にて、オクルージョン領域検出手段３３により、図７に示すように、オクルージョン領域８０Ｌ、８０Ｒを検出する。即ち、２Ｄ画像９２Ｌ、９２Ｒ間で対応関係を検出できなかったオクルージョン画素の領域８０Ｌ、８０Ｒを、オクルージョン領域とする。左画像９２Ｌのオクルージョン領域８０Ｌは図２の右撮像系１１Ｒからは見えなかった領域であり、右画像９２Ｒのオクルージョン領域８０Ｒは図２の左撮像系１１Ｒからは見えなかった領域である。
【００６１】
ステップＳ５にて、画像参照領域決定手段３４により、図８に示すように、オクルージョン領域８０Ｌとオクルージョン領域８０Ｌを囲む帯状の周囲領域８２Ｌとからなる画像参照領域８４Ｌを決定する。なお、左画像９２Ｌの画像参照領域８４Ｌを例に説明したが、右画像９２Ｒの画像参照領域も同様に決定される。
【００６２】
ステップＳ６にて、領域分割手段３５により、図９に示すように、画像参照領域８４Ｌ内の部分画像の特徴量に基づいて、画像参照領域８４Ｌを複数のクラスタＣ１〜Ｃ４（分割領域）に分割する。領域分割手段３５は、例えば、色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、画像参照領域８４Ｌを複数のクラスタＣ１〜Ｃ４に分割する。なお、色としては、色相、彩度など各種の色情報を用いることができる。空間周波数は、例えば、輝度の空間周波数を用いてもよいし、特定色（例えば緑）成分の空間周波数を用いてもよい。
【００６３】
ステップＳ７にて、オクルージョン奥行き情報算出手段３６により、オクルージョン領域８０Ｌ（ＰＡ１、ＰＡ２およびＰＡ３）内の奥行き情報を算出する。図１０において、オクルージョン領域ＰＡ１、ＰＡ２およびＰＡ３のうち、ＰＡ１とＰＡ２は左画像９２Ｌ中の樹の部分画像を構成する画素であり奥行き情報であり、ＰＡ３は左画像９２Ｌ中の人の部分画像を構成する画素である。
【００６４】
オクルージョン奥行き情報算出手段３６は、具体的には、画像参照領域８４Ｌ内の各クラスタＣ１，Ｃ２，Ｃ３，Ｃ４に順次注目し、次のようにして奥行き情報を算出する。まず、図９のクラスタＣ１に注目し、クラスタＣ１内には既に奥行き情報が検出された画素（即ち右画像９２Ｒの画素との対応関係が検出された非オクルージョン画素）があるので、その奥行き情報に基づいて、クラスタＣ１内の図１０に示すオクルージョン部分領域ＰＡ１、ＰＡ２の奥行き情報を算出する。なお、具体的な計算例は、後に詳説する。次に、図９のクラスタＣ２に注目し、クラスタＣ２内には既に奥行き情報が検出された画素があるので、その奥行き情報に基づいて、クラスタＣ２内の図１０に示すオクルージョン部分領域ＰＡ３の奥行き情報を算出する。なお、図９のクラスタＣ３，Ｃ４にはオクルージョン領域がないので、ここでは奥行き情報の算出は不要である。
【００６５】
なお、注目クラスタ内にオクルージョン画素のみが存在する場合には、注目クラスタの部分画像の特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて、注目クラスタ内のオクルージョン領域の奥行き情報を算出すればよい。このような場合の例は、後に詳細に説明する。
【００６６】
ステップＳ８にて、奥行きマップ更新手段３７により、奥行きマップを更新する。図１１は、左画像９２Ｌの奥行きマップを、矢印の配列で模式的に示したものである。即ち、オクルージョン領域８０Ｌの図１１では矢印で表した奥行き情報を、奥行きマップに追加する。前述のように、本例では、実際には、符号付き視差量の配列により奥行きマップが表される。
【００６７】
ステップＳ９にて、仮想視点画像作成手段３８により、実視点画像（即ち、ステップＳ１でデータ入出力手段２２により入力された３Ｄ画像）、および、更新された奥行きマップに基づいて、任意の仮想視点から見た場合の３Ｄ画像（仮想視点画像）を作成する。
【００６８】
作成された仮想視点画像は、３Ｄ表示や３Ｄプリントに用いられる。即ち、図示省略の３Ｄモニタ装置（３Ｄビューワー）で立体視表示したり、図示省略の３Ｄプリント装置でプリント媒体に立体視可能にして印刷したりする際に用いられる。
【００６９】
更新された奥行きマップおよび仮想視点画像は、記憶手段２４に記憶された後、データ入出力手段２２により出力される。例えば、リムーバブルメディアに記録される。また、例えば、図示を省略したネットワークに出力される。
【００７０】
次に、オクルージョン奥行き情報算出の具体例について、詳説する。
【００７１】
まず、オクルージョン奥行き情報算出の第１の例を説明する。
【００７２】
図１２に、奥行きマップの一例の一部を示す。図１２の左側が更新前の状態であり、右側が更新後の状態である。図１２に示すように、本例のオクルージョン奥行き情報算出手段３６は、各クラスタＣ１１、Ｃ１２ごとに、既に奥行き情報が検出された複数の非オクルージョン画素（図中左側の数字付きの画素）の平均値を算出し、その平均値を各クラスタ内の奥行き情報が検出されていないオクルージョン画素（図中左側の‘？’マーク付き画素）の奥行き情報に決定する。例えば、クラスタＣ１１では、平均値が「＋３」なので、オクルージョン画素の奥行き情報に「＋３」を設定する。また、クラスタＣ１２では、平均値が「−６」なので、オクルージョン画素の奥行き情報に「−６」を設定する。
【００７３】
本例によれば、画像特徴量に基づいて分割した各クラスタごとにオクルージョン領域内の各画素の奥行き情報を決定するので、オクルージョン領域における奥行き情報の精度が向上する。
【００７４】
なお、非オクルージョン画素がないクラスタにおけるオクルージョン画素の奥行き情報算出については、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて算出する。その具体例については、次の第２の例で説明する。公知の他の方法を用いてもよい。
【００７５】
次に、オクルージョン奥行き情報算出の第２の例を説明する。
【００７６】
図１３に、奥行きマップの一例の一部を示す。図１３の左側が更新前の状態であり、右側が更新後の状態である。図１３にて、クラスタＣ２１、Ｃ２３、Ｃ２４には、それぞれ既に奥行き情報が検出された複数の非オクルージョン画素が存在し、奥行き情報の平均値がそれぞれ「３」、「８」、「−４」である。クラスタＣ２２は、非オクルージョン画素が存在しない。本例のオクルージョン奥行き情報算出手段３６は、注目クラスタ内に非オクルージョン画素が存在する場合には、注目クラスタ内の奥行き情報の平均値を、その注目クラスタ内のオクルージョン画素の奥行き情報に決定する。本例では、クラスタＣ２１、Ｃ２３、Ｃ２４におけるオクルージョン画素の奥行き情報を、それぞれ「３」、「８」、「−４」に設定する。その一方で、オクルージョン奥行き情報算出手段３６は、注目クラスタ内に非オクルージョン画素が存在しない場合には、画像参照領域内の複数のクラスタのうちで部分画像の特徴量が注目クラスタの特徴量に最も近いクラスタ内の奥行き情報の平均値を、注目クラスタ内のオクルージョン画素の奥行き情報に決定する。本例では、クラスタＣ２２におけるオクルージョン画素の奥行き情報を、特徴量が最も近いクラスタＣ２１の奥行き情報の平均値である「３」に決定する。例えば、色が最も近いクラスタを選択する。色および輝度の両方に基づいて選択してもよい。テクスチャに基づいて選択してもよい。輝度や特定色成分の高周波成分（即ち空間周波数）に基づいて選択してもよい。
【００７７】
本例によれば、非オクルージョン画素がないクラスタについては、部分画像の特徴量が最も近いクラスタ内の奥行き情報の平均値を用いてオクルージョン画素の奥行き情報を決定することで、オクルージョン領域の奥行き情報の精度を向上させることができる。
【００７８】
次に、オクルージョン奥行き情報算出の第３の例を説明する。
【００７９】
図１４に、奥行きマップの一例の一部を示す。図１４の左側が更新前の状態であり、右側が更新後の状態である。図１４にて、クラスタＣ３１，Ｃ３２には、それぞれ既に奥行き情報が検出された非オクルージョン画素が存在するけれども、その奥行き情報はクラスタ内で傾斜している。オクルージョン奥行き情報算出手段３６は、各クラスタＣ３１、Ｃ３２ごとに非オクルージョン領域における奥行き情報の分布を示す分布情報を算出し、その分布情報に基づいて各クラスタＣ３１，Ｃ３２内のオクルージョン画素の奥行き情報を算出する。例えば、各クラスタＣ３１，Ｃ３２ごとに、水平方向Ｈ、垂直方向Ｖ、斜め方向Ｓのうち少なくともひとつの方向にて奥行き情報の傾きを検出し、その傾きに応じてオクルージョン画素の奥行き情報を算出する。
【００８０】
本例によれば、クラスタ内で非オクルージョン画素の奥行きが傾斜している場合でも、オクルージョン領域における奥行き情報を適切に算出することができる。
【００８１】
なお、非オクルージョン画素がないクラスタにおけるオクルージョン画素の奥行き情報算出については、注目クラスタの特徴量に基づいて選択した他のクラスタの奥行き情報に基づいて算出すればよい。
【００８２】
また、各クラスタごとに、非オクルージョン画素の奥行き情報に傾斜があるか否かを判定し、傾斜が閾値未満（または傾斜が無い）と判定した場合には、第１の例にて説明したように、各クラスタごとの非オクルージョン画素の奥行き情報の平均値を、オクルージョン画素の奥行き情報としてもよい。
【００８３】
次に、画像参照領域決定の具体例について、説明する。
【００８４】
図１５は、画像参照領域決定の第１の例の説明に用いる説明図である。図１５に示すように、本例の画像参照領域決定手段３４は、オクルージョン領域８０の外周に、一定の幅を有する帯状の周囲領域８２を設定する。即ち、画像参照領域８４をオクルージョン領域８０から一定の幅で拡張するようにして領域決定を行う。例えば、図１５にて、水平方向Ｈの拡張幅αと垂直方向Ｖの拡張幅βとは、同じ（α＝β）である。
【００８５】
奥行き情報の精度向上の観点からは、拡張幅α、βをオクルージョン領域８０の形状に応じて変更することが、より好ましい。例えば、図１５にて、オクルージョン領域８０の水平方向Ｈの幅をＷｈ、垂直方向Ｖの幅をＷｖとしたとき、α＝Ｗｈ／２，β＝Ｗｖ／２とする。即ち、オクルージョン領域８０の幅（Ｗｈ，Ｗｖ）に対して一定の比率の幅（α，β）を有する周囲領域８２を設定する。オクルージョン領域８０と周囲領域８２とで面積を略１：１にすると、より好ましい。
【００８６】
また、２視点で撮像した場合を例に説明したが、本発明は３視点以上の場合に適用できることは、言うまでもない。
【００８７】
また、いわゆるコンピュータ装置で画像処理を行う場合を例に説明したが、本発明はこのような場合に特に限定されない。例えば、３Ｄデジタルカメラ、３Ｄビューワー、３Ｄプリント装置など各種の装置に適用できる。
【００８８】
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【００８９】
２…画像処理装置、２１・・・指示入力手段、２２…データ入出力手段、２３…ＣＰＵ、３１…対応関係検出手段、３２…奥行きマップ作成手段、３３…オクルージョン領域検出手段、３４…画像参照領域決定手段、３５…領域分割手段、３６…オクルージョン奥行き情報算出手段、３７…奥行きマップ更新手段
【特許請求の範囲】
【請求項１】
複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、
前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、
前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、
前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、
前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、
前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、
前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記領域分割手段は、前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記オクルージョン奥行き情報算出手段は、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記画像参照領域決定手段は、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
【請求項８】
複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、
前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、
前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、
前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、
前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、
前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記オクルージョン奥行き情報算出ステップにて、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
【請求項１２】
前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項８または９に記載の画像処理方法。
【請求項１３】
前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。
【請求項１４】
前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。
【請求項１】
複数の視点で被写体をそれぞれ撮像して得られた複数の画像を入力する画像入力手段と、
前記複数の画像間で各画素の対応関係を検出する対応関係検出手段と、
前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成手段と、
前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定手段と、
前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割手段と、
前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出手段と、
前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記領域分割手段は、前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記オクルージョン奥行き情報算出手段は、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記オクルージョン奥行き情報算出手段は、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記画像参照領域決定手段は、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記画像参照領域決定手段は、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
【請求項８】
複数の視点で被写体をそれぞれ撮像して得られた複数の画像間で各画素の対応関係を検出する対応関係検出ステップと、
前記対応関係が検出された画素の奥行き情報を算出して、該奥行き情報を含む奥行きマップを作成する奥行きマップ作成ステップと、
前記対応関係が検出されなかったオクルージョン画素に対応する領域をオクルージョン領域として、前記オクルージョン領域と該オクルージョン領域を囲む周囲領域とからなる画像参照領域を決定する画像参照領域決定ステップと、
前記画像参照領域内の部分画像の特徴量に基づいて、前記画像参照領域を複数のクラスタに分割する領域分割ステップと、
前記各クラスタに注目し、前記奥行きマップにおける注目クラスタの前記奥行き情報、および、前記注目クラスタの前記特徴量に基づいて選択した他の前記クラスタの前記奥行き情報のうち、少なくとも一方の奥行き情報に基づいて、前記注目クラスタ内の前記オクルージョン画素の奥行き情報を算出するオクルージョン奥行き情報算出ステップと、
前記オクルージョン画素の前記奥行き情報を前記奥行きマップに追加する奥行きマップ更新ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
前記特徴量として、前記部分画像の色、輝度、空間周波数およびテクスチャのうち少なくともひとつに基づいて、前記画像参照領域の分割を行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに、前記対応関係が検出された画素の奥行き情報の平均値を算出し、該平均値を前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
【請求項１１】
前記オクルージョン奥行き情報算出ステップにて、前記注目クラスタ内に前記対応関係が検出された画素がある場合には、前記注目クラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とし、前記注目クラスタ内に前記対応関係が検出された画素がない場合には、前記画像参照領域内の前記複数のクラスタのうちで前記特徴量が前記注目クラスタの前記特徴量に最も近いクラスタを選択し、その選択したクラスタ内の前記奥行き情報の平均値を、前記注目クラスタ内の前記オクルージョン画素の奥行き情報とすることを特徴とする請求項８または９に記載の画像処理方法。
【請求項１２】
前記オクルージョン奥行き情報算出ステップにて、前記各クラスタごとに前記奥行き情報の分布を示す分布情報を算出し、該分布情報に基づいて前記オクルージョン画素の奥行き情報を算出することを特徴とする請求項８または９に記載の画像処理方法。
【請求項１３】
前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、一定の幅を有する帯状の前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。
【請求項１４】
前記画像参照領域決定ステップにて、前記オクルージョン領域の外周に、前記オクルージョン領域の幅に対して一定の比率の幅を有する前記周囲領域を設定することを特徴とする請求項８ないし１２のうちいずれか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−６０２１６（Ｐ２０１１−６０２１６Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２１２１６３（Ｐ２００９−２１２１６３）
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月１４日（２００９．９．１４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]