画像処理装置およびプログラム
【課題】被写体および被写体外を含む視差マップを、処理量を抑えつつ得ることができる画像処理装置を提供すること。
【解決手段】少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、2つの視点の画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、2つの視差マップを合成する合成処理部とを備える。
【解決手段】少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、2つの視点の画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、2つの視差マップを合成する合成処理部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【0002】
従来、2つのカメラによって被写体を撮影した画像についてステレオマッチングを行って視差値を検出し、この視差値に基づき、被写体までの距離を算出する距離計測方法がある。このとき、ステレオマッチングの処理量を抑えるために、撮影した画像中の被写体の領域を検出し、該領域についてのみステレオマッチングを行う距離計測方法がある(例えば、特許文献1)。
また、ステレオマッチングの処理量を抑えるために、探索範囲を複数の距離エリアに分割し、近距離の距離エリアの方が視差分解能が大きくなるように、距離エリア毎に空間分解能を変更する距離分布検知装置もある(例えば、特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−177937号公報
【特許文献2】特開2001−126065号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の距離計測方法や距離分布検知装置においては、被写体外についての距離分布が得られない、あるいは、被写体外の距離分布(視差マップ)の算出にも必要な処理量が多いという問題がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、被写体および被写体外を含む視差マップを、処理量を抑えつつ得ることができる画像処理装置およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、前記2つの視差マップを合成する合成処理部とを備えることを特徴とする画像処理装置である。
【0007】
(2)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする。
【0008】
(3)また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部を備え、前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うことを特徴とする。
【0009】
(4)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角(基準とする画像の画角における探索範囲の占める部分)が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする。
【0010】
(5)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角(基準とする画像の画角における最大視差の占める部分)が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする。
【0011】
(6)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする。
【0012】
(7)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角(基準とする画像の画角における最小視差の占める部分)が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする。
【0013】
(8)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする。
【0014】
(9)また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも2つの視点の画像は動画像であり、前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定することを特徴とする。
【0015】
(10)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする。
【0016】
(11)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする。
【0017】
(12)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする。
【0018】
(13)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする。
【0019】
(14)また、本発明の他の態様は、上述の画像処理装置であって、前記基準とする画像を縮小する基準画像縮小処理部を備え、前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出することを特徴とする。
【0020】
(15)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、前記2つの視差マップを合成する合成処理部として機能させるためのプログラムである。
【0021】
(16)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。
【0022】
(17)また、本発明の他の態様は、上述の画像処理装置であって、前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする。
【0023】
(18)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも2つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。
【発明の効果】
【0024】
この発明によれば、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。
【図面の簡単な説明】
【0025】
【図1】この発明の第1の実施形態による画像処理装置100の構成を示す概略ブロック図である。
【図2】同実施形態による被写体外領域マッチング処理部104の動作を説明する図である。
【図3】同実施形態による被写体外領域マッチング処理部104の動作を説明する図である。
【図4】同実施形態による被写体領域マッチング処理部107の動作を説明する図である。
【図5】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータの例を示す表である。
【図6】同実施形態による画像処理装置100の動作を説明するフローチャートである。
【図7】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。
【図8】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。
【図9】この発明の第2の実施形態による画像処理装置200の構成を示す概略ブロック図である。
【図10】この発明の第3の実施形態による画像処理装置200aの構成を示す概略ブロック図である。
【図11】この発明の第4の実施形態による画像処理装置300の構成を示す概略ブロック図である。
【発明を実施するための形態】
【0026】
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、本実施形態による画像処理装置100の構成を示す概略ブロック図である。画像処理装置100は、入力された少なくとも2視点の画像から、視差マップMを生成する。本実施形態では、2視点の画像として、左目に相当する視点からの画像である左画像Lと、右目に相当する視点からの画像である右画像Rとが入力され、左画像Lを基準画像とする視差マップを生成する。なお、後述する左画像Lに対する処理と右画像Rに対する処理を逆にし、右画像Rを基準画像とするようにしてもよい。また、本実施形態では、左画像Lおよび右画像Rの各々は、フルハイビジョンの解像度(1920×1080)を有し、各画素の輝度値を有する。
【0027】
図1に示すように、画像処理装置100は、縮小処理部101、102、被写体領域検出処理部103、被写体外領域マッチング処理部104、拡大処理部105、106、被写体領域マッチング処理部107、合成処理部108を備える。縮小処理部101は、左画像Lを縮小する。ここでは、縮小処理部101は、縦方向および横方向にそれぞれ1/3に縮小する。すなわち、解像度1920×1080の画像を、解像度640×360の画像に縮小する。この縮小は、画像を間引くことで実現してもよいし、3×3画素のブロックの平均値を、1画素とすることで実現してもよい。また、バイリニア補間など、一般的に利用される縮小の方法で実現してもよい。縮小処理部102は、右画像Rを、縮小処理部101と同様にして縮小する。
【0028】
被写体領域検出処理部103は、縮小処理部101が縮小した左画像について、被写体の領域を検出する。被写体の領域を検出する方法としては、以下のような方法がある。なお、これらのうち、いずれの方法を用いても良いが、これらに限らず、その他の方法をもちいてもよい。a)顔認識処理を行い検出した顔の領域を被写体の領域とする。顔を複数検出したときは、検出した顔のうち、画像の中心に最も近いものの領域を被写体の領域とする。また、検出した顔のうち、面積が最も大きいものの領域を被写体の領域としてもよい。b)処理対象の2視点の画像が動画であるときは、縮小した左画像について、フレーム間で動き検出を行ない、動いた領域を被写体の領域とする。
【0029】
c)縮小した左画像に対してエッジ検出を行ない、エッジで囲われた領域のうち、画像の中心を含む領域を被写体の領域とする。あるいは、エッジで囲われた領域のうち、強いエッジで囲われた領域、すなわちピントがあっている領域を被写体の領域とする。d)縮小した左画像を液晶表示装置などの表示デバイスに表示し、タッチパネル、マウス、タブレットなどの入力デバイスを用いてユーザにより指定された領域を被写体の領域とする。e)縮小した左画像を色に基づき領域分割し、分割した領域のうち、画像の中心を含む領域を被写体の領域とする。なお、この場合、すくなくとも左画像Lは、輝度値のみでなく、色差値、RGB値など、各画素の色を示す情報を有する。f)縮小した左画像と、縮小した右画像とを用いて、視差マップを生成し、視差値の大きさ、あるいは、視差値のエッジに基づき、縮小した左画像を領域分割し、画像の中心を含む領域、あるいは、視差が最も大きい領域を被写体の領域とする。
【0030】
被写体外領域マッチング処理部104は、被写体領域検出処理部103が検出した被写体の領域を除いた領域について、縮小処理部101が縮小した左画像を基準として、縮小処理部102が縮小した右画像との間でステレオマッチングを行い、視差マップを生成する。拡大処理部105は、被写体外領域マッチング処理部104が生成した視差マップを、縮小処理部101にて縮小した倍率の逆数倍に拡大する。本実施形態では、縮小処理部101にて1/3に縮小しているので、縦方向および横方向にそれぞれ3倍に拡大する。すなわち、解像度640×360の画像を、解像度1920×1080の画像に拡大する。なお、このとき画素数だけでなく、視差値についても同様の倍率(ここでは、3倍)で拡大する。
【0031】
拡大処理部106は、被写体領域検出処理部103が検出した被写体の領域を示す情報を、拡大処理部105と同様に、縮小処理部101にて縮小した倍率の逆数倍に拡大する。すなわち、縦方向および横方向にそれぞれ3倍に拡大して、解像度640×360から解像度1920×1080に変換する。被写体領域マッチング処理部107は、拡大処理部106により拡大された情報が示す被写体の領域について、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップを生成する。合成処理部108は、拡大処理部105が拡大した視差マップと、被写体領域マッチング処理部107が生成した視差マップとを合成して、左画像Lに対応する視差マップMを生成する。合成処理部108は、被写体の領域については、被写体領域マッチング処理部107が生成した視差マップから抽出した視差値を配置し、被写体の領域を除いた領域については、拡大処理部105が拡大した視差マップから抽出した視差値を配置することで、これらを合成して、左画像Lに対応する視差マップMを生成する。
【0032】
図2と図3は、被写体外領域マッチング処理部104の動作を説明する図である。図2において、画像DLは、縮小処理部101が縮小した左画像の一例である。図2に示すように、画像DLの解像度は、640×360である。その中心付近の符号OB1で示す領域は、被写体領域検出処理部103が検出した被写体の領域である。符号OW1で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、3×3の画素からなるブロックである。符号DA1で示す領域は、ステレオマッチング処理を行えない領域であり、画像DLの左端から、最大視差MD1までの領域と、画像DLの上端、下端、右端から、ウィンドウOW1の幅から1画素を引いた値の半分NW1までの領域からなる。符号MA1で示す領域、すなわち、画像DLから領域OB1、DA1を除いた領域は、被写体外領域マッチング処理部104がステレオマッチングを行う領域である。被写体外領域マッチング処理部104は、図2に矢印で示すようにラスタスキャンする順に、この領域MA1の各画素を注目画素として選択する。
【0033】
図3において、画像DRは、縮小処理部102が縮小した右画像の一例である。図3に示すように画像DRの解像度は、640×360である。その中心付近には、符号OB2で示す、画像DLにおける領域OB1に対応する被写体が表示されている領域がある。なお、この領域OB2は、当該画像処理装置100は認識しない。図3には、画像DLにおける注目画素の位置が注目画素位置Xであるときの、画像DRにおける探索範囲SAを示す。探索範囲SAは、注目画素位置X対して左に最大視差MD1の位置から、注目画素位置Xに対して左に最小視差MS1の位置までである。
【0034】
被写体外領域マッチング処理部104は、画像DL上の各注目画素について、注目画素を中心とするウィンドウ(例えば、ウィンドウOW1)と、画像DR上の探索範囲内の各画素を中心とするウィンドウ(例えば、ウィンドウOW2)とを比較し、画像DR上の探索範囲内の各画素を中心とするウィンドウの中から、画像DL上の注目画素を中心とするウィンドウに最も近いものを選択する。そして、被写体外領域マッチング処理部104は、画像DL上の注目画素と、画像DR上の選択したウィンドウの中心の画素との座標の差を、画像DL上の注目画素における視差値とする。なお、被写体外領域マッチング処理部104は、上述のウィンドウ同士の比較には、例えば、SAD(Sum of Absolute Difference;差分絶対値和)法を用いる。なお、被写体外領域マッチング処理部104におけるウィンドウ同士の比較には、SAD法に限らず、SSD(Sum of Squared Difference;差分2乗和)やNCC(Normalized Cross-Correlation;正規化相互相関)など、その他の方法を用いてもよい。さらに、被写体外領域マッチング処理104におけるステレオマッチング法には、DP(Dynamic Programming)や、GC(Graph Cuts)など、その他の方法を用いても良い。
【0035】
図4は、被写体領域マッチング処理部107の動作を説明する図である。図4において、画像Lは、画像処理装置100に入力された左画像Lの一例である。図4に示すように、画像Lの解像度は、1920×1080である。その中心付近の符号OB2で示す領域は、被写体領域検出処理部103が検出し、拡大処理部106が拡大した被写体の領域である。符号OW3で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、9×9の画素からなるブロックである。被写体領域マッチング処理部107は、被写体外領域マッチング処理部104と同様にステレオマッチングを行うが、その注目画素は、左画像Lの被写体の領域OB2内のみである。
【0036】
図5は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータの例を示す表である。図5に示す例では、被写体外領域マッチング処理部104は、最大視差を40画素、最小視差を0画素、探索範囲を40画素、ウィンドウサイズを15×15画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を0画素、探索範囲を120画素、ウィンドウサイズを45×45画素としている。なお、図5に示す例は、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。縮小処理を行っているため、最大視差の画素数が、被写体外領域マッチング処理部104において、ステレオマッチングを行う際の探索範囲の最大視差の画素数は、被写体領域マッチング処理部107において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少なくなっている。
【0037】
なお、視差xは、基線長tx×焦点距離f/(被写体との距離D×画素ピッチp)となるので、上述の最大視差を設定する際に、左画像Lおよび右画像Rを撮影するカメラの合焦可能な最短距離に基づく値を用いてもよい。なお、基線長txとは、左画像Lの視点と、右画像Rの視点との間の距離、すなわち左画像Lを撮影するカメラの光軸と、右画像Rを撮影するカメラの光軸との距離である。また、これら2つのカメラの光軸は平行である。焦点距離fは、左画像Lおよび右画像Rを撮影するカメラの撮影レンズの焦点距離である。画素ピッチpとは、左画像Lおよび右画像Rを撮影するカメラの撮像素子の1画素当たりの幅[mm/pix]である。
【0038】
図6は、本実施形態における画像処理装置100の動作を説明するフローチャートである。まず、画像処理装置100は、左画像Lと右画像Rとの入力を受ける(S1)。次に、縮小処理部101が左画像Lを縮小し、縮小処理部102が右画像Rを縮小する(S2)。次に、被写体領域検出処理部103が、縮小された左画像から被写体の領域(顔領域)を検出する(S3)。次に、拡大処理部106が、被写体領域検出処理部103が検出した被写体領域を、縮小処理部101、102における倍率の逆数倍に拡大する(S4)。次に、被写体領域マッチング処理部107が、左画像Lと右画像Rとから被写体領域の視差を検出して、視差マップを生成する(S5)。次に、被写体外領域マッチング処理部104が、縮小された左画像と右画像とから被写体領域以外の領域(背景領域)の視差を検出して、視差マップを生成する(S6)。次に、拡大処理部105が、被写体外領域マッチング処理部104が生成した視差マップを、拡大処理部106と同様の倍率で拡大する(S7)。次に、合成処理部108が、ステップS5で生成した視差マップと、ステップS7で拡大した視差マップとを合成して、左画像Lに対応する視差マップを生成する(S8)。
【0039】
このように、本実施形態では、被写体外領域マッチング処理部104における探索範囲、ウィンドウサイズ、マッチングを行う画像サイズ(解像度)を、被写体領域マッチング処理部107における値よりも小さくしている。これにより、被写体の領域に比べて、重要度の低い被写体外の領域における視差値の演算量を削減しているので、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。また、被写体領域マッチング処理部107における誤検出についても、抑えることができる。
【0040】
ステレオマッチングによる距離推定では、距離の近い被写体は視差が急激に変化し、距離の遠い被写体は視差が緩やかに変化する。そのため、被写体領域を入力画像サイズでマッチングし、背景領域を縮小画像サイズでマッチングをすることで被写体のマッチング精度を低下させることなく、画像全体の処理量を削減することができる。また、背景領域の視差は緩やかに変化するため、縮小画像でマッチングを行ってもマッチング精度を低下させずに視差を検出することが可能である。
【0041】
図7は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。図7に示す例では、被写体外領域マッチング処理部104は、最大視差を30画素、最小視差を0画素、探索範囲を30画素、ウィンドウサイズを9×9画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を0画素、探索範囲を120画素、ウィンドウサイズを45×45画素としている。
【0042】
図5の例では、被写体領域マッチング処理部107よりも被写体外領域マッチング処理部104における探索範囲、ウィンドウサイズの画素数を小さくしていたが、これら探索範囲およびウィンドウサイズの画角は被写体領域マッチング処理部107と被写体外領域マッチング処理部104とで同じであった。なお、ここで探索範囲およびウィンドウサイズの画角とは、それぞれの撮像面における大きさ(長さ)をd、撮像したカメラの焦点距離をfとしたときに、2×arctan(d/2f)で表される角度である。すなわち、
入力された画像の画角における探索範囲あるいはウィンドウサイズの占める部分である。
焦点距離fで撮像した画像を画像処理にて縮小率sで縮小した場合の1画素当たりの画角は、1画素の撮像面における大きさが1/s倍となる。したがって、縮小率sで縮小した場合の1画素当たりの画角は、前記焦点距離fを縮小率sの分だけ縮小して撮影した場合の1画素当たりの画角と等価である。そのため、これら探索範囲およびウィンドウサイズの画角は、マッチング処理を行う画像サイズに対する探索範囲あるいはウィンドウサイズの割合と同じである。
なお、この画角は、画像全体の大きさに対する対象の領域の大きさの割合と比例する。
【0043】
図7の例では、画素数だけでなく、画角についても小さくしている。被写体領域マッチング処理部107では、画像全体の大きさは、1920×1080であるのに対し、探索範囲は水平方向に120画素であるので、探索範囲の画角は120/1920=3/48に比例した値である。また、ウィンドウサイズの画角は、水平方向を基準にすると45/1920=3/128に比例した値である。一方、被写体外領域マッチング処理部104では、画像全体の大きさは、640×360であるのに対し、探索範囲は水平方向に30画素であるので、探索範囲の画角は30/640=3/64に比例した値であり、先の3/48より小さくなっている。また、ウィンドウサイズの画角は、水平方向を基準にすると9/640に比例した値であり、先の3/128より小さくなっている。これは、遠い距離の被写体は近距離の同じ大きさの被写体と比べ画像上の大きさが小さく撮影されるため、画角を小さくしてもマッチング精度を低下させずに検出できる。そのため、被写体外の領域におけるウィンドウサイズの画角を小さくすることが可能である。
【0044】
これにより、さらに被写体外の領域における演算量を削減することができる。なお、上述のように、図7に示す例も、図5の例と同様に、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。
【0045】
図8は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。図8に示す例では、被写体外領域マッチング処理部104は、最大視差を30画素、最小視差を0画素、探索範囲を30画素、ウィンドウサイズを15×15画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を90画素、探索範囲を30画素、ウィンドウサイズを45×45画素としている。
図8の例では、被写体領域マッチング処理部107における最小視差の画角(あるいは画素数)を、被写体外領域マッチング処理部104における最小視差よりも大きくしている。これにより、被写体の領域による演算量についても削減することができる。なお、図8に示す例も、図5および図7の例と同様に、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。
【0046】
また、上述の実施形態において、被写体領域マッチング処理部104におけるウィンドウサイズは、被写体領域の大きさに応じた値にしてもよい。被写体領域マッチング処理部104は、ウィンドウサイズを被写体領域よりも大きくすると、より好ましい。これは、左画像の注目画素を含むウィンドウが被写体内部に入ってしまうと、右画像の探索範囲内に一致を示すウィンドウが複数発生する場合があり、誤検出が増加する。そのため、ウィンドウサイズを被写体領域より大きくする(すなわち、ウィンドウ内に被写体のエッジが必ず含まれるようにする)ことで、ウィンドウが被写体内部に入ってしまうことを防ぎ、誤検出を低下させることができるからである。
また、上述の実施形態において、縮小した画像全体についてステレオマッチングを行い求めた視差に基づき、被写体領域マッチング処理部107の最大視差および探索範囲を決定するようにしてもよい。
また、上述の実施形態において、被写体領域検出処理部103は、縮小された左画像に対して、被写体の領域を検出しているが、縮小されていない左画像Lに対して、被写体の領域を検出するようにしてもよい。
【0047】
[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。図9は、本実施形態による画像処理装置200の構成を示す概略ブロック図である。同図において、図1に対応する部分には、同一の符号(101〜103)を付し、その説明を省略する。画像処理装置200も、第1の実施形態における画像処理装置100と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置200は、縮小処理部101、102、被写体領域検出部処理部103、ステレオマッチング処理部204、被写体領域最大視差検出処理部205、拡大処理部206、ステレオマッチング処理部207を備える。
【0048】
ステレオマッチング処理部204は、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。被写体領域最大視差検出処理部205は、ステレオマッチング処理部204が検出した視差のうち、被写体領域検出処理部103が検出した被写体の領域の視差であり、かつ、値が最大の視差を検出する。拡大処理部206は、被写体領域最大視差検出処理部205が検出した最大の視差を、縮小処理部101における縮小倍率の逆数倍に拡大する。すなわち、ここでは3倍にする。ステレオマッチング処理部207は、拡大処理部206が拡大した最大の視差を、最大視差および探索範囲として用いて、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップMを生成する。
【0049】
このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部207は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0050】
なお、画像処理装置200は、縮小した画像から被写体の領域を検出する被写体領域検出処理部103を備え、ステレオマッチング処理部207は、ステレオマッチング処理部204が検出した視差のうち、前記被写体の領域における最大視差に基づき、探索範囲を決定する。
これにより、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0051】
なお、本実施形態においても、ステレオマッチング処理部204におけるウィンドウの画素数を、ステレオマッチング処理部207におけるものより小さくすることで、ステレオマッチング処理部204における処理量を削減することができる。なお、ウィンドウサイズの画角については、第1の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204の方が小さくてもよい。
【0052】
[第3の実施形態]
以下、図面を参照して、本発明の第3の実施形態について説明する。図10は、本実施形態による画像処理装置200aの構成を示す概略ブロック図である。同図において、図9に対応する部分には、同一の符号(101〜103、206、207)を付し、その説明を省略する。画像処理装置200aも、第1の実施形態における画像処理装置100および第2の実施形態における画像処理装置200と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置200aは、縮小処理部101、102、被写体領域検出部処理部103、ステレオマッチング処理部204a、被写体領域最大視差検出処理部205a、拡大処理部206、ステレオマッチング処理部207を備える。
【0053】
ステレオマッチング処理部204aは、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。ただし、ステレオマッチング処理部204aは、縮小された左画像のうち、被写体領域検出処理部103が検出した被写体領域についてのみステレオマッチングを行う。被写体領域最大視差検出処理部205aは、ステレオマッチング処理部204aが検出した視差のうち、値が最大の視差を検出する。
【0054】
このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部207は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0055】
なお、画像処理装置200aは、縮小した画像から被写体の領域を検出する被写体領域検出処理部103を備え、ステレオマッチング処理部207は、ステレオマッチング処理部204aが検出した被写体の領域における視差のうち、最大視差に基づき、探索範囲を決定する。
これにより、ステレオマッチング処理部204aにおけるステレオマッチングを行う領域を限定するとともに、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0056】
なお、本実施形態においても、ステレオマッチング処理部204aにおけるウィンドウの画素数を、ステレオマッチング処理部207におけるものより小さくすることで、ステレオマッチング処理部204aにおける処理量を削減することができる。なお、ウィンドウサイズの画角については、第1および第2の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204aの方が小さくてもよい。
【0057】
[第4の実施形態]
以下、図面を参照して、本発明の第4の実施形態について説明する。図11は、本実施形態による画像処理装置300の構成を示す概略ブロック図である。同図において、図9に対応する部分には、同一の符号(101、102、204)を付し、その説明を省略する。画像処理装置300も、第2の実施形態における画像処理装置200と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置300は、縮小処理部101、102、ステレオマッチング処理部204、ライン毎最大視差検出部305、拡大処理部306、ステレオマッチング処理部307を備える。
【0058】
ライン毎最大視差検出部305は、ステレオマッチング処理部204が検出した視差から、各ラインについて最大値を検出し、それらを抽出する。拡大処理部306は、ライン毎最大視差検出部305が抽出した視差を、縮小処理部101における縮小倍率の逆数倍に拡大する。すなわち、ここでは3倍にする。ステレオマッチング処理部307は、拡大処理部306が拡大した視差を、各ラインにおける視差の最大値(最大視差)として探索範囲を決定し、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップMを生成する。
【0059】
このように、縮小した画像を用いて各ラインの最大視差を検出し、ステレオマッチング処理部307は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0060】
なお、本実施形態では、各ラインの最大視差を検出して、探索範囲を決定したが、各ラインの最大視差および最小視差を検出して、これらに基づき、探索範囲を決定するようにしてもよい。すなわち、注目画素から最小視差だけ離れた画素と、注目画素から最大視差だけ離れた画素との間を、探索範囲とするようにしてもよい。
【0061】
なお、本実施形態においても、ステレオマッチング処理部204におけるウィンドウサイズの画素数を、ステレオマッチング処理部307におけるものより小さくすることで、ステレオマッチング処理部204における処理量を削減することができる。なお、ウィンドウサイズの画角については、第1から第3の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204の方が小さくてもよい。
【0062】
また、図1における画像処理装置100の一部または全部の機能、図9における画像処理装置200の一部または全部の機能、図10における画像処理装置200aの一部または全部の機能、あるいは、図11における画像処理装置300の一部または全部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0063】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0064】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0065】
100、200、200a、300…画像処理装置
101、102…縮小処理部
103…被写体領域検出処理部
104…被写体外領域マッチング処理部
105、106、206、306…拡大処理部
107…被写体領域マッチング処理部
108…合成処理部
204、204a、207、307…ステレオマッチング処理部
205、205a…被写体領域最大視差検出処理部
305…ライン毎最大視差検出部
【技術分野】
【0001】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【0002】
従来、2つのカメラによって被写体を撮影した画像についてステレオマッチングを行って視差値を検出し、この視差値に基づき、被写体までの距離を算出する距離計測方法がある。このとき、ステレオマッチングの処理量を抑えるために、撮影した画像中の被写体の領域を検出し、該領域についてのみステレオマッチングを行う距離計測方法がある(例えば、特許文献1)。
また、ステレオマッチングの処理量を抑えるために、探索範囲を複数の距離エリアに分割し、近距離の距離エリアの方が視差分解能が大きくなるように、距離エリア毎に空間分解能を変更する距離分布検知装置もある(例えば、特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−177937号公報
【特許文献2】特開2001−126065号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の距離計測方法や距離分布検知装置においては、被写体外についての距離分布が得られない、あるいは、被写体外の距離分布(視差マップ)の算出にも必要な処理量が多いという問題がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、被写体および被写体外を含む視差マップを、処理量を抑えつつ得ることができる画像処理装置およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、前記2つの視差マップを合成する合成処理部とを備えることを特徴とする画像処理装置である。
【0007】
(2)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする。
【0008】
(3)また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部を備え、前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うことを特徴とする。
【0009】
(4)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角(基準とする画像の画角における探索範囲の占める部分)が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする。
【0010】
(5)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角(基準とする画像の画角における最大視差の占める部分)が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする。
【0011】
(6)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする。
【0012】
(7)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角(基準とする画像の画角における最小視差の占める部分)が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする。
【0013】
(8)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする。
【0014】
(9)また、本発明の他の態様は、上述の画像処理装置であって、前記少なくとも2つの視点の画像は動画像であり、前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定することを特徴とする。
【0015】
(10)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする。
【0016】
(11)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする。
【0017】
(12)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする。
【0018】
(13)また、本発明の他の態様は、上述の画像処理装置であって、前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする。
【0019】
(14)また、本発明の他の態様は、上述の画像処理装置であって、前記基準とする画像を縮小する基準画像縮小処理部を備え、前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出することを特徴とする。
【0020】
(15)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、前記2つの視差マップを合成する合成処理部として機能させるためのプログラムである。
【0021】
(16)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。
【0022】
(17)また、本発明の他の態様は、上述の画像処理装置であって、前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする。
【0023】
(18)また、本発明の他の態様は、少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、前記少なくとも2つの視点の画像を縮小する縮小処理部と、前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも2つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部とを備えることを特徴とする画像処理装置である。
【発明の効果】
【0024】
この発明によれば、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。
【図面の簡単な説明】
【0025】
【図1】この発明の第1の実施形態による画像処理装置100の構成を示す概略ブロック図である。
【図2】同実施形態による被写体外領域マッチング処理部104の動作を説明する図である。
【図3】同実施形態による被写体外領域マッチング処理部104の動作を説明する図である。
【図4】同実施形態による被写体領域マッチング処理部107の動作を説明する図である。
【図5】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータの例を示す表である。
【図6】同実施形態による画像処理装置100の動作を説明するフローチャートである。
【図7】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。
【図8】同実施形態による被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。
【図9】この発明の第2の実施形態による画像処理装置200の構成を示す概略ブロック図である。
【図10】この発明の第3の実施形態による画像処理装置200aの構成を示す概略ブロック図である。
【図11】この発明の第4の実施形態による画像処理装置300の構成を示す概略ブロック図である。
【発明を実施するための形態】
【0026】
[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、本実施形態による画像処理装置100の構成を示す概略ブロック図である。画像処理装置100は、入力された少なくとも2視点の画像から、視差マップMを生成する。本実施形態では、2視点の画像として、左目に相当する視点からの画像である左画像Lと、右目に相当する視点からの画像である右画像Rとが入力され、左画像Lを基準画像とする視差マップを生成する。なお、後述する左画像Lに対する処理と右画像Rに対する処理を逆にし、右画像Rを基準画像とするようにしてもよい。また、本実施形態では、左画像Lおよび右画像Rの各々は、フルハイビジョンの解像度(1920×1080)を有し、各画素の輝度値を有する。
【0027】
図1に示すように、画像処理装置100は、縮小処理部101、102、被写体領域検出処理部103、被写体外領域マッチング処理部104、拡大処理部105、106、被写体領域マッチング処理部107、合成処理部108を備える。縮小処理部101は、左画像Lを縮小する。ここでは、縮小処理部101は、縦方向および横方向にそれぞれ1/3に縮小する。すなわち、解像度1920×1080の画像を、解像度640×360の画像に縮小する。この縮小は、画像を間引くことで実現してもよいし、3×3画素のブロックの平均値を、1画素とすることで実現してもよい。また、バイリニア補間など、一般的に利用される縮小の方法で実現してもよい。縮小処理部102は、右画像Rを、縮小処理部101と同様にして縮小する。
【0028】
被写体領域検出処理部103は、縮小処理部101が縮小した左画像について、被写体の領域を検出する。被写体の領域を検出する方法としては、以下のような方法がある。なお、これらのうち、いずれの方法を用いても良いが、これらに限らず、その他の方法をもちいてもよい。a)顔認識処理を行い検出した顔の領域を被写体の領域とする。顔を複数検出したときは、検出した顔のうち、画像の中心に最も近いものの領域を被写体の領域とする。また、検出した顔のうち、面積が最も大きいものの領域を被写体の領域としてもよい。b)処理対象の2視点の画像が動画であるときは、縮小した左画像について、フレーム間で動き検出を行ない、動いた領域を被写体の領域とする。
【0029】
c)縮小した左画像に対してエッジ検出を行ない、エッジで囲われた領域のうち、画像の中心を含む領域を被写体の領域とする。あるいは、エッジで囲われた領域のうち、強いエッジで囲われた領域、すなわちピントがあっている領域を被写体の領域とする。d)縮小した左画像を液晶表示装置などの表示デバイスに表示し、タッチパネル、マウス、タブレットなどの入力デバイスを用いてユーザにより指定された領域を被写体の領域とする。e)縮小した左画像を色に基づき領域分割し、分割した領域のうち、画像の中心を含む領域を被写体の領域とする。なお、この場合、すくなくとも左画像Lは、輝度値のみでなく、色差値、RGB値など、各画素の色を示す情報を有する。f)縮小した左画像と、縮小した右画像とを用いて、視差マップを生成し、視差値の大きさ、あるいは、視差値のエッジに基づき、縮小した左画像を領域分割し、画像の中心を含む領域、あるいは、視差が最も大きい領域を被写体の領域とする。
【0030】
被写体外領域マッチング処理部104は、被写体領域検出処理部103が検出した被写体の領域を除いた領域について、縮小処理部101が縮小した左画像を基準として、縮小処理部102が縮小した右画像との間でステレオマッチングを行い、視差マップを生成する。拡大処理部105は、被写体外領域マッチング処理部104が生成した視差マップを、縮小処理部101にて縮小した倍率の逆数倍に拡大する。本実施形態では、縮小処理部101にて1/3に縮小しているので、縦方向および横方向にそれぞれ3倍に拡大する。すなわち、解像度640×360の画像を、解像度1920×1080の画像に拡大する。なお、このとき画素数だけでなく、視差値についても同様の倍率(ここでは、3倍)で拡大する。
【0031】
拡大処理部106は、被写体領域検出処理部103が検出した被写体の領域を示す情報を、拡大処理部105と同様に、縮小処理部101にて縮小した倍率の逆数倍に拡大する。すなわち、縦方向および横方向にそれぞれ3倍に拡大して、解像度640×360から解像度1920×1080に変換する。被写体領域マッチング処理部107は、拡大処理部106により拡大された情報が示す被写体の領域について、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップを生成する。合成処理部108は、拡大処理部105が拡大した視差マップと、被写体領域マッチング処理部107が生成した視差マップとを合成して、左画像Lに対応する視差マップMを生成する。合成処理部108は、被写体の領域については、被写体領域マッチング処理部107が生成した視差マップから抽出した視差値を配置し、被写体の領域を除いた領域については、拡大処理部105が拡大した視差マップから抽出した視差値を配置することで、これらを合成して、左画像Lに対応する視差マップMを生成する。
【0032】
図2と図3は、被写体外領域マッチング処理部104の動作を説明する図である。図2において、画像DLは、縮小処理部101が縮小した左画像の一例である。図2に示すように、画像DLの解像度は、640×360である。その中心付近の符号OB1で示す領域は、被写体領域検出処理部103が検出した被写体の領域である。符号OW1で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、3×3の画素からなるブロックである。符号DA1で示す領域は、ステレオマッチング処理を行えない領域であり、画像DLの左端から、最大視差MD1までの領域と、画像DLの上端、下端、右端から、ウィンドウOW1の幅から1画素を引いた値の半分NW1までの領域からなる。符号MA1で示す領域、すなわち、画像DLから領域OB1、DA1を除いた領域は、被写体外領域マッチング処理部104がステレオマッチングを行う領域である。被写体外領域マッチング処理部104は、図2に矢印で示すようにラスタスキャンする順に、この領域MA1の各画素を注目画素として選択する。
【0033】
図3において、画像DRは、縮小処理部102が縮小した右画像の一例である。図3に示すように画像DRの解像度は、640×360である。その中心付近には、符号OB2で示す、画像DLにおける領域OB1に対応する被写体が表示されている領域がある。なお、この領域OB2は、当該画像処理装置100は認識しない。図3には、画像DLにおける注目画素の位置が注目画素位置Xであるときの、画像DRにおける探索範囲SAを示す。探索範囲SAは、注目画素位置X対して左に最大視差MD1の位置から、注目画素位置Xに対して左に最小視差MS1の位置までである。
【0034】
被写体外領域マッチング処理部104は、画像DL上の各注目画素について、注目画素を中心とするウィンドウ(例えば、ウィンドウOW1)と、画像DR上の探索範囲内の各画素を中心とするウィンドウ(例えば、ウィンドウOW2)とを比較し、画像DR上の探索範囲内の各画素を中心とするウィンドウの中から、画像DL上の注目画素を中心とするウィンドウに最も近いものを選択する。そして、被写体外領域マッチング処理部104は、画像DL上の注目画素と、画像DR上の選択したウィンドウの中心の画素との座標の差を、画像DL上の注目画素における視差値とする。なお、被写体外領域マッチング処理部104は、上述のウィンドウ同士の比較には、例えば、SAD(Sum of Absolute Difference;差分絶対値和)法を用いる。なお、被写体外領域マッチング処理部104におけるウィンドウ同士の比較には、SAD法に限らず、SSD(Sum of Squared Difference;差分2乗和)やNCC(Normalized Cross-Correlation;正規化相互相関)など、その他の方法を用いてもよい。さらに、被写体外領域マッチング処理104におけるステレオマッチング法には、DP(Dynamic Programming)や、GC(Graph Cuts)など、その他の方法を用いても良い。
【0035】
図4は、被写体領域マッチング処理部107の動作を説明する図である。図4において、画像Lは、画像処理装置100に入力された左画像Lの一例である。図4に示すように、画像Lの解像度は、1920×1080である。その中心付近の符号OB2で示す領域は、被写体領域検出処理部103が検出し、拡大処理部106が拡大した被写体の領域である。符号OW3で示す領域は、注目画素を中心とし、ステレオマッチングを行う際のウィンドウの一例である。ここで、ウィンドウは、9×9の画素からなるブロックである。被写体領域マッチング処理部107は、被写体外領域マッチング処理部104と同様にステレオマッチングを行うが、その注目画素は、左画像Lの被写体の領域OB2内のみである。
【0036】
図5は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータの例を示す表である。図5に示す例では、被写体外領域マッチング処理部104は、最大視差を40画素、最小視差を0画素、探索範囲を40画素、ウィンドウサイズを15×15画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を0画素、探索範囲を120画素、ウィンドウサイズを45×45画素としている。なお、図5に示す例は、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。縮小処理を行っているため、最大視差の画素数が、被写体外領域マッチング処理部104において、ステレオマッチングを行う際の探索範囲の最大視差の画素数は、被写体領域マッチング処理部107において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少なくなっている。
【0037】
なお、視差xは、基線長tx×焦点距離f/(被写体との距離D×画素ピッチp)となるので、上述の最大視差を設定する際に、左画像Lおよび右画像Rを撮影するカメラの合焦可能な最短距離に基づく値を用いてもよい。なお、基線長txとは、左画像Lの視点と、右画像Rの視点との間の距離、すなわち左画像Lを撮影するカメラの光軸と、右画像Rを撮影するカメラの光軸との距離である。また、これら2つのカメラの光軸は平行である。焦点距離fは、左画像Lおよび右画像Rを撮影するカメラの撮影レンズの焦点距離である。画素ピッチpとは、左画像Lおよび右画像Rを撮影するカメラの撮像素子の1画素当たりの幅[mm/pix]である。
【0038】
図6は、本実施形態における画像処理装置100の動作を説明するフローチャートである。まず、画像処理装置100は、左画像Lと右画像Rとの入力を受ける(S1)。次に、縮小処理部101が左画像Lを縮小し、縮小処理部102が右画像Rを縮小する(S2)。次に、被写体領域検出処理部103が、縮小された左画像から被写体の領域(顔領域)を検出する(S3)。次に、拡大処理部106が、被写体領域検出処理部103が検出した被写体領域を、縮小処理部101、102における倍率の逆数倍に拡大する(S4)。次に、被写体領域マッチング処理部107が、左画像Lと右画像Rとから被写体領域の視差を検出して、視差マップを生成する(S5)。次に、被写体外領域マッチング処理部104が、縮小された左画像と右画像とから被写体領域以外の領域(背景領域)の視差を検出して、視差マップを生成する(S6)。次に、拡大処理部105が、被写体外領域マッチング処理部104が生成した視差マップを、拡大処理部106と同様の倍率で拡大する(S7)。次に、合成処理部108が、ステップS5で生成した視差マップと、ステップS7で拡大した視差マップとを合成して、左画像Lに対応する視差マップを生成する(S8)。
【0039】
このように、本実施形態では、被写体外領域マッチング処理部104における探索範囲、ウィンドウサイズ、マッチングを行う画像サイズ(解像度)を、被写体領域マッチング処理部107における値よりも小さくしている。これにより、被写体の領域に比べて、重要度の低い被写体外の領域における視差値の演算量を削減しているので、被写体および被写体外を含む距離分布を、処理量を抑えつつ得ることができる。また、被写体領域マッチング処理部107における誤検出についても、抑えることができる。
【0040】
ステレオマッチングによる距離推定では、距離の近い被写体は視差が急激に変化し、距離の遠い被写体は視差が緩やかに変化する。そのため、被写体領域を入力画像サイズでマッチングし、背景領域を縮小画像サイズでマッチングをすることで被写体のマッチング精度を低下させることなく、画像全体の処理量を削減することができる。また、背景領域の視差は緩やかに変化するため、縮小画像でマッチングを行ってもマッチング精度を低下させずに視差を検出することが可能である。
【0041】
図7は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。図7に示す例では、被写体外領域マッチング処理部104は、最大視差を30画素、最小視差を0画素、探索範囲を30画素、ウィンドウサイズを9×9画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を0画素、探索範囲を120画素、ウィンドウサイズを45×45画素としている。
【0042】
図5の例では、被写体領域マッチング処理部107よりも被写体外領域マッチング処理部104における探索範囲、ウィンドウサイズの画素数を小さくしていたが、これら探索範囲およびウィンドウサイズの画角は被写体領域マッチング処理部107と被写体外領域マッチング処理部104とで同じであった。なお、ここで探索範囲およびウィンドウサイズの画角とは、それぞれの撮像面における大きさ(長さ)をd、撮像したカメラの焦点距離をfとしたときに、2×arctan(d/2f)で表される角度である。すなわち、
入力された画像の画角における探索範囲あるいはウィンドウサイズの占める部分である。
焦点距離fで撮像した画像を画像処理にて縮小率sで縮小した場合の1画素当たりの画角は、1画素の撮像面における大きさが1/s倍となる。したがって、縮小率sで縮小した場合の1画素当たりの画角は、前記焦点距離fを縮小率sの分だけ縮小して撮影した場合の1画素当たりの画角と等価である。そのため、これら探索範囲およびウィンドウサイズの画角は、マッチング処理を行う画像サイズに対する探索範囲あるいはウィンドウサイズの割合と同じである。
なお、この画角は、画像全体の大きさに対する対象の領域の大きさの割合と比例する。
【0043】
図7の例では、画素数だけでなく、画角についても小さくしている。被写体領域マッチング処理部107では、画像全体の大きさは、1920×1080であるのに対し、探索範囲は水平方向に120画素であるので、探索範囲の画角は120/1920=3/48に比例した値である。また、ウィンドウサイズの画角は、水平方向を基準にすると45/1920=3/128に比例した値である。一方、被写体外領域マッチング処理部104では、画像全体の大きさは、640×360であるのに対し、探索範囲は水平方向に30画素であるので、探索範囲の画角は30/640=3/64に比例した値であり、先の3/48より小さくなっている。また、ウィンドウサイズの画角は、水平方向を基準にすると9/640に比例した値であり、先の3/128より小さくなっている。これは、遠い距離の被写体は近距離の同じ大きさの被写体と比べ画像上の大きさが小さく撮影されるため、画角を小さくしてもマッチング精度を低下させずに検出できる。そのため、被写体外の領域におけるウィンドウサイズの画角を小さくすることが可能である。
【0044】
これにより、さらに被写体外の領域における演算量を削減することができる。なお、上述のように、図7に示す例も、図5の例と同様に、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。
【0045】
図8は、被写体外領域マッチング処理部104と被写体領域マッチング処理部107のマッチング処理に用いるパラメータのその他の例を示す表である。図8に示す例では、被写体外領域マッチング処理部104は、最大視差を30画素、最小視差を0画素、探索範囲を30画素、ウィンドウサイズを15×15画素としている。被写体領域マッチング処理部107は、最大視差を120画素、最小視差を90画素、探索範囲を30画素、ウィンドウサイズを45×45画素としている。
図8の例では、被写体領域マッチング処理部107における最小視差の画角(あるいは画素数)を、被写体外領域マッチング処理部104における最小視差よりも大きくしている。これにより、被写体の領域による演算量についても削減することができる。なお、図8に示す例も、図5および図7の例と同様に、画像処理装置100に入力された画像の解像度が、1920×1080であり、縮小処理101、102による縮小処理が、これらの画像を1/3に縮小、すなわち解像度640×360の画像に縮小する場合の例である。
【0046】
また、上述の実施形態において、被写体領域マッチング処理部104におけるウィンドウサイズは、被写体領域の大きさに応じた値にしてもよい。被写体領域マッチング処理部104は、ウィンドウサイズを被写体領域よりも大きくすると、より好ましい。これは、左画像の注目画素を含むウィンドウが被写体内部に入ってしまうと、右画像の探索範囲内に一致を示すウィンドウが複数発生する場合があり、誤検出が増加する。そのため、ウィンドウサイズを被写体領域より大きくする(すなわち、ウィンドウ内に被写体のエッジが必ず含まれるようにする)ことで、ウィンドウが被写体内部に入ってしまうことを防ぎ、誤検出を低下させることができるからである。
また、上述の実施形態において、縮小した画像全体についてステレオマッチングを行い求めた視差に基づき、被写体領域マッチング処理部107の最大視差および探索範囲を決定するようにしてもよい。
また、上述の実施形態において、被写体領域検出処理部103は、縮小された左画像に対して、被写体の領域を検出しているが、縮小されていない左画像Lに対して、被写体の領域を検出するようにしてもよい。
【0047】
[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。図9は、本実施形態による画像処理装置200の構成を示す概略ブロック図である。同図において、図1に対応する部分には、同一の符号(101〜103)を付し、その説明を省略する。画像処理装置200も、第1の実施形態における画像処理装置100と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置200は、縮小処理部101、102、被写体領域検出部処理部103、ステレオマッチング処理部204、被写体領域最大視差検出処理部205、拡大処理部206、ステレオマッチング処理部207を備える。
【0048】
ステレオマッチング処理部204は、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。被写体領域最大視差検出処理部205は、ステレオマッチング処理部204が検出した視差のうち、被写体領域検出処理部103が検出した被写体の領域の視差であり、かつ、値が最大の視差を検出する。拡大処理部206は、被写体領域最大視差検出処理部205が検出した最大の視差を、縮小処理部101における縮小倍率の逆数倍に拡大する。すなわち、ここでは3倍にする。ステレオマッチング処理部207は、拡大処理部206が拡大した最大の視差を、最大視差および探索範囲として用いて、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップMを生成する。
【0049】
このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部207は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0050】
なお、画像処理装置200は、縮小した画像から被写体の領域を検出する被写体領域検出処理部103を備え、ステレオマッチング処理部207は、ステレオマッチング処理部204が検出した視差のうち、前記被写体の領域における最大視差に基づき、探索範囲を決定する。
これにより、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0051】
なお、本実施形態においても、ステレオマッチング処理部204におけるウィンドウの画素数を、ステレオマッチング処理部207におけるものより小さくすることで、ステレオマッチング処理部204における処理量を削減することができる。なお、ウィンドウサイズの画角については、第1の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204の方が小さくてもよい。
【0052】
[第3の実施形態]
以下、図面を参照して、本発明の第3の実施形態について説明する。図10は、本実施形態による画像処理装置200aの構成を示す概略ブロック図である。同図において、図9に対応する部分には、同一の符号(101〜103、206、207)を付し、その説明を省略する。画像処理装置200aも、第1の実施形態における画像処理装置100および第2の実施形態における画像処理装置200と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置200aは、縮小処理部101、102、被写体領域検出部処理部103、ステレオマッチング処理部204a、被写体領域最大視差検出処理部205a、拡大処理部206、ステレオマッチング処理部207を備える。
【0053】
ステレオマッチング処理部204aは、縮小された左画像を基準として、縮小された右画像との間でステレオマッチングを行い、視差を検出する。ただし、ステレオマッチング処理部204aは、縮小された左画像のうち、被写体領域検出処理部103が検出した被写体領域についてのみステレオマッチングを行う。被写体領域最大視差検出処理部205aは、ステレオマッチング処理部204aが検出した視差のうち、値が最大の視差を検出する。
【0054】
このように、縮小した画像を用いて被写体領域における最大視差を検出し、ステレオマッチング処理部207は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0055】
なお、画像処理装置200aは、縮小した画像から被写体の領域を検出する被写体領域検出処理部103を備え、ステレオマッチング処理部207は、ステレオマッチング処理部204aが検出した被写体の領域における視差のうち、最大視差に基づき、探索範囲を決定する。
これにより、ステレオマッチング処理部204aにおけるステレオマッチングを行う領域を限定するとともに、探索範囲を被写体に適した範囲とすることができるので、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0056】
なお、本実施形態においても、ステレオマッチング処理部204aにおけるウィンドウの画素数を、ステレオマッチング処理部207におけるものより小さくすることで、ステレオマッチング処理部204aにおける処理量を削減することができる。なお、ウィンドウサイズの画角については、第1および第2の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204aの方が小さくてもよい。
【0057】
[第4の実施形態]
以下、図面を参照して、本発明の第4の実施形態について説明する。図11は、本実施形態による画像処理装置300の構成を示す概略ブロック図である。同図において、図9に対応する部分には、同一の符号(101、102、204)を付し、その説明を省略する。画像処理装置300も、第2の実施形態における画像処理装置200と同様に、左画像Lと右画像Rとから視差マップMを生成する。画像処理装置300は、縮小処理部101、102、ステレオマッチング処理部204、ライン毎最大視差検出部305、拡大処理部306、ステレオマッチング処理部307を備える。
【0058】
ライン毎最大視差検出部305は、ステレオマッチング処理部204が検出した視差から、各ラインについて最大値を検出し、それらを抽出する。拡大処理部306は、ライン毎最大視差検出部305が抽出した視差を、縮小処理部101における縮小倍率の逆数倍に拡大する。すなわち、ここでは3倍にする。ステレオマッチング処理部307は、拡大処理部306が拡大した視差を、各ラインにおける視差の最大値(最大視差)として探索範囲を決定し、左画像Lを基準として、右画像Rとの間でステレオマッチングを行い、視差マップMを生成する。
【0059】
このように、縮小した画像を用いて各ラインの最大視差を検出し、ステレオマッチング処理部307は、該最大視差を用いてステレオマッチングを行うので、適切な探索範囲でステレオマッチングを行うことができ、処理量を削減するとともに、視差の誤検出を抑制することができる。
【0060】
なお、本実施形態では、各ラインの最大視差を検出して、探索範囲を決定したが、各ラインの最大視差および最小視差を検出して、これらに基づき、探索範囲を決定するようにしてもよい。すなわち、注目画素から最小視差だけ離れた画素と、注目画素から最大視差だけ離れた画素との間を、探索範囲とするようにしてもよい。
【0061】
なお、本実施形態においても、ステレオマッチング処理部204におけるウィンドウサイズの画素数を、ステレオマッチング処理部307におけるものより小さくすることで、ステレオマッチング処理部204における処理量を削減することができる。なお、ウィンドウサイズの画角については、第1から第3の実施形態と同様に、同じであっても良いし、ステレオマッチング処理部204の方が小さくてもよい。
【0062】
また、図1における画像処理装置100の一部または全部の機能、図9における画像処理装置200の一部または全部の機能、図10における画像処理装置200aの一部または全部の機能、あるいは、図11における画像処理装置300の一部または全部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの機能を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0063】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0064】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0065】
100、200、200a、300…画像処理装置
101、102…縮小処理部
103…被写体領域検出処理部
104…被写体外領域マッチング処理部
105、106、206、306…拡大処理部
107…被写体領域マッチング処理部
108…合成処理部
204、204a、207、307…ステレオマッチング処理部
205、205a…被写体領域最大視差検出処理部
305…ライン毎最大視差検出部
【特許請求の範囲】
【請求項1】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、
前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、
前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、
前記2つの視差マップを合成する合成処理部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記少なくとも2つの視点の画像を縮小する縮小処理部を備え、
前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うこと
を特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする請求項2に記載の画像処理装置。
【請求項7】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする請求項2に記載の画像処理装置。
【請求項8】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする請求項2に記載の画像処理装置。
【請求項9】
前記少なくとも2つの視点の画像は動画像であり、
前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定すること
を特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする請求項1に記載の画像処理装置。
【請求項13】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記基準とする画像を縮小する基準画像縮小処理部を備え、
前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出すること
を特徴とする請求項1に記載の画像処理装置。
【請求項15】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、
前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、
前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、
前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、
前記2つの視差マップを合成する合成処理部
として機能させるためのプログラム。
【請求項16】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記少なくとも2つの視点の画像を縮小する縮小処理部と、
前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、
前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
を備えることを特徴とする画像処理装置。
【請求項17】
前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする請求項16に記載の画像処理装置。
【請求項18】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記少なくとも2つの視点の画像を縮小する縮小処理部と、
前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、
前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも2つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
を備えることを特徴とする画像処理装置。
【請求項1】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部と、
前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部と、
前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部と、
前記2つの視差マップを合成する合成処理部と
を備えることを特徴とする画像処理装置。
【請求項2】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画素数よりも少ないことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記少なくとも2つの視点の画像を縮小する縮小処理部を備え、
前記被写体外領域マッチング処理部は、前記縮小された画像に対して、マッチングを行うこと
を特徴とする請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の画角より小さいまたは等しいことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画角よりも小さいことを特徴とする請求項2に記載の画像処理装置。
【請求項6】
前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数が、前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最大視差の画素数よりも少ないことを特徴とする請求項2に記載の画像処理装置。
【請求項7】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画角よりも大きいことを特徴とする請求項2に記載の画像処理装置。
【請求項8】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際の探索範囲の最小視差の画素数よりも大きいことを特徴とする請求項2に記載の画像処理装置。
【請求項9】
前記少なくとも2つの視点の画像は動画像であり、
前記被写体領域マッチング処理部または前記被写体外領域マッチング処理部は、ステレオマッチングを行う際の探索範囲を、前フレームのステレオマッチングの結果に基づき決定すること
を特徴とする請求項1に記載の画像処理装置。
【請求項10】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画素数よりも多いことを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角が、前記被写体外領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの画角よりも大きいことを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域に応じた大きさにすることを特徴とする請求項1に記載の画像処理装置。
【請求項13】
前記被写体領域マッチング処理部において、ステレオマッチングを行う際のウィンドウの大きさを、前記被写体領域検出部が検出した被写体の領域より大きくすることを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記基準とする画像を縮小する基準画像縮小処理部を備え、
前記被写体領域検出部は、前記縮小された画像について、被写体の領域を検出すること
を特徴とする請求項1に記載の画像処理装置。
【請求項15】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置のコンピュータを、
前記画像のうち、基準とする画像について、被写体の領域を検出する被写体領域検出部、
前記被写体の領域についてステレオマッチングを行い、該領域の視差マップを生成する被写体領域マッチング処理部、
前記被写体の領域外についてステレオマッチングを行い、該領域の視差マップを生成する被写体外領域マッチング処理部、
前記2つの視差マップを合成する合成処理部
として機能させるためのプログラム。
【請求項16】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記少なくとも2つの視点の画像を縮小する縮小処理部と、
前記縮小した画像に対してステレオマッチングを行い、視差の最大値を検出する縮小画像マッチング処理部と、
前記縮小画像マッチング処理部が検出した視差の最大値に基づき、探索範囲を決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
を備えることを特徴とする画像処理装置。
【請求項17】
前記縮小画像マッチング処理部が検出する視差の最大値は、被写体領域における最大値であることを特徴とする請求項16に記載の画像処理装置。
【請求項18】
少なくとも2つの視点の画像から視差マップを生成する画像処理装置であって、
前記少なくとも2つの視点の画像を縮小する縮小処理部と、
前記縮小した画像に対してステレオマッチングを行い、前記縮小した画像のライン毎に視差の最大値を検出する縮小画像マッチング処理部と、
前記縮小画像マッチング処理部がライン毎に検出した視差の最大値に基づき、前記少なくとも2つの視点の画像の探索範囲をライン毎に決定し、該探索範囲を用いて、前記少なくとも2つの視点の画像に対してステレオマッチングを行い、前記視差マップを生成するマッチング処理部と
を備えることを特徴とする画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−133408(P2012−133408A)
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願番号】特願2010−282392(P2010−282392)
【出願日】平成22年12月17日(2010.12.17)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年7月12日(2012.7.12)
【国際特許分類】
【出願日】平成22年12月17日(2010.12.17)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]