対応点探索装置
【課題】ステレオカメラを用いて得られた２つの画像についての対応点探索処理において、遠近競合を抑制した対応点探索装置を提供する。
【解決手段】ステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行う解像度変換部１２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。
【解決手段】ステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行う解像度変換部１２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の画像の間で対応点を探索する対応点探索技術に関する。
【背景技術】
【０００２】
近年、自走可能な移動体、例えば自動車において、車載カメラを用いて、前方を含めた周辺の画像を撮像し、車載表示装置に表示させる周辺表示装置が開発されている。
【０００３】
このような周辺表示装置において、車載カメラとしてステレオカメラを用いて３次元画像を表示させる場合、同一の被写体が異なる視点から撮影されることで得られる２つの画像の間で、相互に画素の対応付けを行う対応点探索処理が行われる。
【０００４】
このような対応点探索処理では、一般に２つの画像の間における２次元領域の相関を用いたエリアベースの探索処理が行われる。
【０００５】
このエリアベースの探索処理では次のような処理が行われる。一方の画像が基準とされ、該一方の画像に対して基準点を重心位置とするウインドウが設定されるとともに、他方の画像に対して同サイズのウインドウが設定される。そして、２つのウインドウに係る画像領域の間における相関に基づき、基準点に対応する他方の画像の対応点を求めると言った処理が、一方の画像の全画素を順次に基準点としながら実施される。このようなエリアベースの探索処理の一例は特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１８７１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このようなエリアベースの対応点探索処理を上述した周辺表示装置で使用する場合、設定するウインドウの形状によっては対応点探索処理において遠近競合が起きる可能性がある。ここで、遠近競合とは、設定ウインドウ内に遠距離の被写体と近距離の被写体との両方を含んでいる状態のことである。
【０００８】
すなわち、対応点探索では、ウインドウの形状は正方形のような等方的な形状に設定されることが多いが、このような等方ウインドウの場合、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすいという問題がある。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、ステレオカメラを用いて得られた２つの画像についての対応点探索処理において、遠近競合を抑制した対応点探索装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る対応点探索装置の第１の態様は、ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する。
【００１１】
本発明に係る対応点探索装置の第２の態様は、前記ウインドウ設定部が、前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する。
【００１２】
本発明に係る対応点探索装置の第３の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。
【００１３】
本発明に係る対応点探索装置の第４の態様は、前記対応点探索部が、前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、前記ウインドウ設定部は、前記第２の探索処理に際してのウインドウの設定において、前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて前記ウインドウの形状を設定する。
【００１４】
本発明に係る対応点探索装置の第５の態様は、前記ウインドウ設定部が、前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。
【００１５】
本発明に係る対応点探索装置の第６の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する。
【００１６】
本発明に係る対応点探索装置の第７の態様は、前記撮像レンズは変倍レンズで構成され、前記ウインドウ設定部は、前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する。
【００１７】
本発明に係る対応点探索装置の第８の態様は、前記変倍レンズとしてアナモフィックレンズを用いる。
【００１８】
本発明に係る対応点探索装置の第９の態様は、前記ウインドウ設定部が、前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する。
【００１９】
本発明に係る対応点探索装置の第１０の態様は、前記第１および第２の探索処理に、位相限定相関法を使用し、前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる。
【発明の効果】
【００２０】
本発明に係る対応点探索装置の第１の態様によれば、第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用してウインドウの形状を設定するので、例えば、自動車の周辺表示装置に適用した場合、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することができ、遠近競合を抑制することができる。
【００２１】
本発明に係る対応点探索装置の第２の態様によれば、探索結果の信頼度を表す値についての閾値判定に基づいてウインドウの形状を設定するので、ウインドウの設定に信頼性を有することとなる。
【００２２】
本発明に係る対応点探索装置の第３の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。
【００２３】
本発明に係る対応点探索装置の第４の態様によれば、例えば、基準視差と第１の対応点より前に対応付けられた第２の画像上の画素の視差との比較結果が一致するのであれば、正確に対応点探索が行われており、遠近競合が起きていないと判断できるので、ウインドウの設定に信頼性を有することとなる。
【００２４】
本発明に係る対応点探索装置の第５の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。
【００２５】
本発明に係る対応点探索装置の第６の態様によれば、例えば、ステレオカメラの撮像レンズの縦横の倍率比が異なるような場合でも、遠近競合を抑制することができる。
【００２６】
本発明に係る対応点探索装置の第７の態様によれば、撮像レンズが変倍レンズで構成される場合に遠近競合を抑制することができる。
【００２７】
本発明に係る対応点探索装置の第８の態様によれば、撮像レンズがアナモフィックレンズで構成される場合に遠近競合を抑制することができる。
【００２８】
本発明に係る対応点探索装置の第９の態様によれば、変倍レンズの種類が決まれば、自動的に、ウインドウの縦横比を決定することができる。
【００２９】
本発明に係る対応点探索装置の第１０の態様によれば、第１および第２の探索処理に位相限定相関法を用いるので、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して対応点を精度良く探索できる。
【図面の簡単な説明】
【００３０】
【図１】ステレオカメラが前方を撮像する状態を模式的に示す図である。
【図２】ステレオカメラを構成する２つのカメラのうち、一方で得られた画像を示す図である。
【図３】Ｙ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図４】Ｙ方向が長辺となった長方形のウインドウのサイズを示す図である。
【図５】Ｘ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図６】Ｘ方向が長辺となった長方形のウインドウのサイズを示す図である。
【図７】正方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図８】正方形のウインドウのサイズを示す図である。
【図９】路面に正方形のウインドウを設定した場合を模式的に示す図である。
【図１０】路面にＸ方向が長辺となった長方形のウインドウを設定した場合を模式的に示す図である。
【図１１】本発明に係る対応点探索装置の構成を示すブロック図である。
【図１２】撮像画像を例示する模式図である。
【図１３】縮小された低解像度の画像を例示する模式図である。
【図１４】縮小された低解像度の画像を例示する模式図である。
【図１５】縮小された低解像度の画像を例示する模式図である。
【図１６】対応点探索を説明する模式図である。
【図１７】最下層画像に設定した基準点を示す図である。
【図１８】最下層画像に設定したウインドウを示す図である。
【図１９】縮小された参照画像に設定した処理対象点を示す図である。
【図２０】縮小された参照画像に設定した処理対象点を示す図である。
【図２１】参照画像に設定した処理対象点を示す図である。
【図２２】多重解像度処理の概念図である。
【図２３】位相限定相関法を用いた対応点探索処理を説明するための図である。
【図２４】位相限定相関法を用いた処理結果を示す図である。
【図２５】本発明に係る対応点探索装置の動作を示すフローチャートである。
【図２６】ウインドウ設定の具体例を説明する図である。
【図２７】ウインドウ設定の具体例を説明する図である。
【図２８】アナモフィックレンズの特性を模式的に示す図である。
【図２９】撮影対象となる物体面を表す図である。
【図３０】アナモフィックレンズを介して撮影された画像面を表す図である。
【図３１】物体面に対して等方的なウインドウを設定した図である。
【図３２】アナモフィックレンズを介して撮影された画像面に発明に係るウインドウを設定した図である。
【図３３】アナモフィックレンズを介して撮影された画像面に等方的なウインドウを設定した図である。
【図３４】物体面に対して非等方的なウインドウを設定した図である。
【図３５】変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。
【図３６】変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。
【発明を実施するための形態】
【００３１】
＜序＞
実施の形態の説明に先立って、ウインドウ形状による遠近競合の状態の違いと、発明の概要について説明する。
【００３２】
図１は、車両ＭＶの進行方向（Ｚ方向）の前方を撮像するステレオカメラＳＣが、前方を撮像する状態を模式的に示しており、車両ＭＶの前方の路面ＲＳ上に物体ＯＢが存在している状況を模式的に示している。なお、図１においてＸ方向が路面ＲＳを横断する方向であり、路面ＲＳに対して垂直な方向がＹ方向である。
【００３３】
図２は、ステレオカメラＳＣを構成する２つのカメラのうち、一方で得られた画像を示す図である。このような画像を取得した場合、形状の異なる３種類のウインドウによってそれぞれ得られる遠近競合が起こりにくい領域を図３〜図８を用いて模式的に表す。
【００３４】
図３は、Ｙ方向が長辺となった長方形のウインドウＷＤ１を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図２に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図３には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１はＸ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３５】
また、図４にはウインドウＷＤ１のサイズを示しており、ウインドウＷＤ１はＹ方向に沿った長辺の長さが２ａ、Ｘ方向に沿った短辺の長さが２ｂとなっている。
【００３６】
図５は、Ｘ方向が長辺となった長方形のウインドウＷＤ２を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図５に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図５には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３７】
また、図６にはウインドウＷＤ２のサイズを示しており、ウインドウＷＤ２はＸ方向に沿った長辺の長さが２ａ、Ｙ方向に沿った短辺の長さが２ｂとなっている。
【００３８】
図７は、正方形のウインドウＷＤ３を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図７に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図７には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３９】
また、図８にはウインドウＷＤ３のサイズを示しており、ウインドウＷＤ３は一辺の長さが２ｃとなっている。
【００４０】
図３、図５および図７の比較により、非競合物体領域ＯＢＲ２が最も広いのは、図７の正方形のウインドウＷＤ３を設定した場合であることが判る。
【００４１】
ここで、図３、図５および図７のそれぞれの非競合物体領域ＯＢＲ２の面積は、以下の数式（１）〜（６）を用いて算出することができる。
【００４２】
すなわち、非競合物体領域ＯＢＲ２は、設定したウインドウの領域に物体領域と周辺領域とを同時に含まない領域で定義することができ、これに従えば、ウインドウＷＤ１を設定した図３の場合の非競合物体領域ＯＢＲ２の面積Ｓ１は下記の数式（１）で表される。
【００４３】
【数１】
【００４４】
同様に、ウインドウＷＤ２を設定した図５の場合の非競合物体領域ＯＢＲ２の面積Ｓ２は下記の数式（２）で表される。
【００４５】
【数２】
【００４６】
また、ウインドウＷＤ３を設定した図７の場合の非競合物体領域ＯＢＲ２の面積Ｓ３は下記の数式（３）で表される。
【００４７】
【数３】
【００４８】
なお、ウインドウＷＤ１〜ＷＤ３の面積は何れも等しいものとし、４ａｂ＝４ｃ2であるものとする。
【００４９】
ここで、各サイズに数値を入れ、ｍ＝２００、ｎ＝１５０、２ａ＝３２、２ｂ＝８、２ｃ＝１６とする。なお、各数値は、画素数であり上述した面積Ｓ１〜Ｓ３も、正確には画素数を指しているが、便宜的に面積としている。
【００５０】
上記各サイズを、数式（１）〜（３）に代入すると、面積Ｓ１〜Ｓ３は、それぞれ下記の数式（４）〜（６）で表され、正方形のウインドウＷＤ３を設定した場合の非競合物体領域ＯＢＲ２が最も広いことが判る。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
【数６】
【００５４】
しかし、ウインドウＷＤ３のような等方ウインドウの場合、先に説明したように、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすい。
【００５５】
図９の(ａ)部には、路面ＲＳにウインドウＷＤ３を設定した場合を模式的に示しており、視差値の大きな手前側と、視差値の小さな奥側とで距離情報が異なり、遠近競合が起こりやすいことが判る。
【００５６】
また、図９の(ｂ)部には、路面ＲＳと路面上の物体ＯＢの両方を含むようにウインドウＷＤ３を設定した場合を模式的に示しており、複数の遠近情報が混在して遠近競合が起こりやすいことを示している。
【００５７】
一方、図１０の(ａ)部には、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定した場合を模式的に示しており、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合が起こりにくいことが判る。
【００５８】
また、図１０の(ｂ)部には、路面ＲＳと路面上の物体ＯＢとで、設定するウインドウの形状を変更した場合を模式的に示しており、物体ＯＢ近傍の路面ＲＳには、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定し、物体ＯＢ上には等方ウインドウであるウインドウＷＤ３を設定している。
【００５９】
物体ＯＢ近傍の路面ＲＳに設定したウインドウＷＤ２内では、視差の変化が小さく、遠近競合が起こりにくく、また物体ＯＢ上に設定した等方ウインドウでは、視差の変化が小さく、ほぼ同じ距離情報となるので遠近競合が起こりにくく、また、先に説明したように、非競合物体領域も広くできる。
【００６０】
従って、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制するというのが、本願発明の概要である。
【００６１】
＜実施の形態＞
＜装置構成＞
図１１は、本発明に係る対応点探索装置１０の構成を示すブロック図である。図１１に示すように対応点探索装置１０は、基準画像を撮影するカメラ１ａと、参照画像を撮影するカメラ１ｂとで構成されるステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行って多重解像度処理のための多重解像度画像を生成する解像度変換部１２と、解像度変換された全ての層の画像データについての対応点探索が終了したか否かを判定する残層判定部２１と、基準画像の全画素についての対応点探索が終了したか否かを判定する残画素判定部２２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。
【００６２】
カメラ１ａで撮影された基準画像の画像データ（基準画像データ）は、画像入力部１１内の基準画像入力部１１ａに画素単位で与えられ、カメラ１ｂで撮影された参照画像の画像データ（参照画像データ）は、画像入力部１１内の参照画像入力部１１ｂに画素単位で与えられる。
【００６３】
解像度変換部１２の基準画像解像度変換部１２ａにおいては、基準画像をベースとして、該基準画像に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を生成し、参照画像解像度変換部１２ｂにおいては、参照画像をベースとして、該参照画像に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を生成する。
【００６４】
解像度変換部１２の基準画像解像度変換部１２ａおよび参照画像解像度変換部１２ｂのそれぞれからは、解像度変換された基準画像データおよび参照画像データが、ポイント設定部１３の基準点設定部１３ａおよび比較点設定部１３ｂに与えられる。基準点設定部１３ａでは、対応点探索を行うための基準点が設定され、比較点設定部１３ｂでは基準点に対応する比較点が設定される。
【００６５】
視差設定部１４の基準画像視差設定部１４ａおよび参照画像視差設定部１４ｂでは、対応点の探索の基準となる所定の視差（ここでは初期視差）を含むように、基準画像においては基準点を仮に設定し、参照画像においては比較点を仮に設定する。所定の初期視差としては、例えば、ゼロ等が設定される。
【００６６】
ウインドウ設定部１５の基準点ウインドウ設定部１５ａおよび比較点ウインドウ設定部１５ｂでは、それぞれ、基準点および比較点を中心として包含するウインドウを設定する。
【００６７】
ウインドウが設定された画像データは、対応点探索処理部１６に与えられて、対応点探索処理が実行される。なお、対応点探索処理については後に説明する。
【００６８】
対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的なものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。
【００６９】
次に、各構成について以下にさらに説明する。
【００７０】
＜画像入力部＞
画像入力部１１は、ステレオカメラＳＣによって撮像された同一の被写体を同じタイミングでとらえた第１撮像画像Ｇ１および第２撮像画像Ｇ２を取得する。
【００７１】
図１２は、第１および第２撮像画像Ｇ１およびＧ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１およびＧ２では、多数の画素がマトリックス状に配列される。具合的には、縦方向（Ｙ方向）に第１所定数（ここでは、４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは、６４０個）の画素が配列される。
【００７２】
なお、第１および第２撮像画像Ｇ１およびＧ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１およびＧ２を構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１およびＧ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
【００７３】
また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（基準画像）となり、第２撮像画像Ｇ２が参照される画像（参照画像）となる。以下では、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称し、それぞれ、基準画像入力部１１ａおよび参照画像入力部１１ｂによって取得される。なお、画像取得部１１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。
【００７４】
＜解像度変換部＞
解像度変換部１２は、基準画像Ｇ１をベースとして、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を基準画像解像度変換部１２ａで生成するとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を参照画像解像度変換部１２ｂで生成する。
【００７５】
より詳細には、基準画像解像度変換部１２ａでは、基準画像Ｇ１を構成する複数の縦方向の画素の列（垂直ライン）および複数の横方向の画素の行（水平ライン）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の基準画像（第１縮小基準画像）Ｇ１１（図１３）が生成される。なお、第１縮小基準画像Ｇ１１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。
【００７６】
そして、基準画像解像度変換部１２ａでは、第１縮小基準画像Ｇ１１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第２縮小基準画像）Ｇ１２（図１４）が生成される。なお、第２縮小基準画像Ｇ１２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。
【００７７】
さらに、基準画像解像度変換部１２ａでは、第２縮小基準画像Ｇ１２のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第３縮小基準画像）Ｇ１３（図１５）が生成される。なお、第３縮小基準画像Ｇ１３は、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。
【００７８】
また、参照画像解像度変換部１２ｂでは、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の参照画像（第１縮小参照画像）Ｇ２１（図１３）が生成される。なお、第１縮小参照画像Ｇ２１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。
【００７９】
そして、参照画像解像度変換部１２ｂでは、第１縮小参照画像Ｇ２１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第２縮小参照画像）Ｇ２２（図１４）が生成される。なお、第２縮小参照画像Ｇ２２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。
【００８０】
さらに、参照画像解像度変換部１２ｂでは、第２縮小参照画像Ｇ２２のうち、１列おきの垂直画素ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第３縮小参照画像）Ｇ２３（図１５）が生成される。なお、第３縮小参照画像Ｇ２３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。
【００８１】
このように、解像度変換部１２によって、基準画像Ｇ１と参照画像Ｇ２の組が基準とされ、１段階解像度が低減された第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が１層目の高解像度の画像の組として生成される。また、２段階解像度が低減された第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が、２層目の低解像度の画像の組として形成される。更に、３段階解像度が低減された第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組が、３層目（最下層）の低解像度の画像の組として形成される。
【００８２】
＜ポイント設定部＞
ポイント設定部１３の、基準点設定部１３ａは、基準画像Ｇ１に対して、図１６に示すように対応点探索の基準となる点（基準点）Ｓｐ１を設定する。
【００８３】
具体的には、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対しての対応点探索により参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。より詳細には、基準画像Ｇ１に対して、図１６の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは、１画素）ずつずらされながら（スキャンされながら）時間順次に設定され、各基準点Ｓｐ１に対応する対応点を、参照画像Ｇ２上で検出する。
【００８４】
換言すれば、基準画像Ｇ１については、−Ｙ方向から＋Ｙ方向に向けて並んだＸ方向に平行な各水平ラインに沿って、基準点Ｓｐ１が時間順次に設定される。そして、Ｘ方向に平行な１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ方向に位置するＸ方向に平行な次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。
【００８５】
また、ポイント設定部１３の、比較点設定部１３ｂは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する。
【００８６】
＜視差設定部＞
視差設定部１４の基準画像視差設定部１４ａでは、図１７で示されるように、基準点設定部１３ａによって設定された基準点Ｓｐ１に対応する点（基準点）Ｓｐ１３を最下層画像である第３縮小基準画像Ｇ１３に対して設定し、参照画像視差設定部１４ｂでは、最下層画像である第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置との間におけるＸ座標のずれ量が、予め定めた初期視差に相当する。
【００８７】
＜ウインドウ設定部＞
ウインドウ設定部１５の基準点ウインドウ設定部１５ａでは、図１８で示されるように、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウ（基準領域）Ｗ１３を設定し、比較点ウインドウ設定部１５ｂでは、図１８で示されるように、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３を設定する。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。
【００８８】
＜対応点探索処理部＞
対応点探索処理部１６は、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する。この下層対応点探索処理部３６７では、後述する位相限定相関法（ＰＯＣ法）を用いて得られる基準領域Ｗ１３と比較領域Ｗ２３との相関に基づいて、対応点の探索が行われる。
【００８９】
このように、多重解像度処理においては、まず、視差設定部１４、ウインドウ設定部１５、および対応点探索処理部１６によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する処理が行われる。
【００９０】
そして、対応点探索処理部１６による探索結果を示す情報は、適宜、次層である第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索のためにフィードバックされる。
【００９１】
すなわち、対応点探索処理部１６による第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索結果に応じて得られる基準視差に基づいて、第２縮小参照画像Ｇ２２における演算処理の対象となる点（処理対象点）が設定される。
【００９２】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図１９で示されるように、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２を設定する。このとき、第２縮小基準画像Ｇ１２における基準点（図示せず）の位置と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図１９では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２２も併せて示している。
【００９３】
また、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、次層である第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索のためにフィードバックされる。
【００９４】
すなわち、対応点探索処理部１６による第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２１における処理対象点が設定される。
【００９５】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２０で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を設定する。このとき、第１縮小基準画像Ｇ１１における基準点（図示せず）の位置と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２０では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２１も併せて示している。
【００９６】
さらに、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、最上層である基準画像Ｇ１および参照画像Ｇ２を用いての対応点探索のためにフィードバックされる。
【００９７】
すなわち、対応点探索処理部１６による第１縮小基準画像Ｇ１１および第２縮小参照画像Ｇ２１に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２における処理対象点が設定される。
【００９８】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２１で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を設定する。このとき、基準画像Ｇ１における基準点（図示せず）の位置と、参照画像Ｇ２における処理対象点Ｐｐ２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２１では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２も併せて示している。
【００９９】
なお、上述したように、対応点探索処理部１６では、ＰＯＣ法により対応点の探索が行われ、得られた対応点と基準点との視差に関する情報を視差設定部１４に与えるとともに、ＰＯＣ値のピークの情報をウインドウ設定部１５に与える構成となっている。これについては、後に説明する。
【０１００】
また、対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的ものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。
【０１０１】
図２２には、以上説明した多重解像度処理の概念図を示す。図２２において、第１縮小基準画像Ｇ１１、第２縮小基準画像Ｇ１２および第３縮小基準画像Ｇ１３が階層的に示されており、低解像度側から高解像度側に向けて対応点探索処理部１６による探索結果、すなわち「解」の情報が与えられることが示されている。
【０１０２】
＜残層判定部＞
残層判定部２１は、探索処理の対象とすべき画像の組（層）の全てに対して処理が終わったか否かを判定し、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する。
【０１０３】
＜残画素判定部＞
残画素判定部２２は、基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されたか否かを判定する。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作を終了する。
【０１０４】
＜対応点探索処理＞
次に、図２３および図２４を用いて、対応点探索処理部１６での対応点探索処理について説明する。対応点探索処理部１６では、対応点探索処理に位相限定相関法（ＰＯＣ：Phase Only Correlation)を用いる。
【０１０５】
図２３は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウインドウ内の画像と、参照画像上のウインドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【０１０６】
【数７】
【０１０７】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウインドウ内の画像および参照画像上のウインドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１０８】
次に、基準画像および参照画像のウインドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【０１０９】
【数８】
【０１１０】
なお、上記の数式のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【０１１１】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【０１１２】
【数９】
【０１１３】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【０１１４】
【数１０】
【０１１５】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１１６】
【数１１】
【０１１７】
以上の位相限定相関法を用いた処理により、例えば図２４に示すような結果が得られる。この図２４においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【０１１８】
以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【０１１９】
なお、本願では、先に説明したように、ウインドウの設定に特徴を有しており、このウインドウの設定に際しては、ＰＯＣ値のピークＪｃを用いてウインドウの設定変更を行う。すなわち、ＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば信頼度の高い数値であり、物体領域であると判断され、路面であればピークＪｃが１より小さくなり、また、遠近競合が起こって信頼度が低下していればピークＪｃがさらに小さくなるので、遠近競合部と判断される。このように、物体領域、路面、遠近競合部で適宜、閾値を設定することで、物体領域、路面および遠近競合部の何れであるかを判定することができ、それぞれに合わせたウインドウの設定が可能となる。なお、ウインドウの設定の例については後に説明する。
【０１２０】
＜対応点探索動作＞
次に、図２５に示すフローチャートを用いて、図１１を参照しつつ本実施形態に係る対応点探索動作について説明する。
【０１２１】
ステレオカメラＳＣにより基準画像および参照画像が撮像され対応点探索処理が開始されると、画像入力部１１の基準画像入力部１１ａおよび参照画像入力部１１ｂが、それぞれ基準画像および参照画像を取得する（ステップＳ１）。
【０１２２】
次に、解像度変換部１２によって、基準画像Ｇ１（図１２）をベースとして、該基準画像Ｇ１から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小基準画像Ｇ１１〜Ｇ１３（図１３〜図１５）がそれぞれ生成されるとともに、参照画像Ｇ２（図１２）をベースとして、該参照画像Ｇ２から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小参照画像Ｇ２１〜２３（図１３〜図１５）がそれぞれ生成される（ステップＳ２）。
【０１２３】
次に、残層判定部２１において、探索処理の対象とすべき画像の組（層）全てに対して処理が終わったか否かを判定し（ステップＳ３）、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する（ステップＳ９）。
【０１２４】
ここで、多重解像度処理では、最下層側から最上層に向けて探索処理が実行され、本実施の形態では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３が最初に探索処理の対象となる画像の組として指定され、次いで、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の順で指定され、最後に基準画像Ｇ１および参照画像Ｇ２が探索処理の対象となる。従って、残層判定部２２では、最上層の基準画像Ｇ１および参照画像Ｇ２の処理が終わっていれば、探索処理の対象とすべき画像の組は存在しないという判定を行う。なお、以下の説明では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索処理を実行する場合を中心に説明する。
【０１２５】
残画素判定部２２では、処理すべき画素が基準画像Ｇ１に残っているか否か、すなわち基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１（図１６）として設定されたか否かを判定し（ステップＳ４）、処理すべき画素が残っていればその旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、処理すべき画素が残っていない場合には、対応点探索動作を終了する。
【０１２６】
次に、ポイント設定部１３の基準点設定部１３ａにおいて、基準画像Ｇ１に対して、基準点Ｓｐ１を設定し、比較点設定部１３ｂでは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する（ステップＳ５）。
【０１２７】
次に、視差設定部１４において、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における所定の初期視差が仮に設定される（ステップＳ６）。
【０１２８】
具体的には、基準画像視差設定部１４ａにおいて、ステップＳ５で設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が第３縮小基準画像Ｇ１３に対して設定される。また、参照画像視差設定部１４ｂにおいて、第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置に対して、予め定めた初期視差に基づいて第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置を設定するが、初期視差はゼロに設定する場合が多い。
【０１２９】
次に、ウインドウ設定部１５の基準点ウインドウ設定部１５ａにおいて、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウＷ１３（図１８）を設定し、比較点ウインドウ設定部１５ｂでは、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウＷ２３を設定する（ステップＳ７）。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。
【０１３０】
ここで、基準領域Ｗ１３および比較領域Ｗ２３の形状は、対応点探索に使用されるＰＯＣ値のピークＪｃ（図２５）を用いてウインドウ設定部１５で決定する。すなわち、ＰＯＣ法ではＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点に対応した参照画像上の対応点に相当することとなるが、このＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば物体領域であると判断され、路面であればピークＪｃが１より小さくなり、遠近競合が起こっていればピークＪｃがさらに小さくなるので、予め、路面、遠近競合部で適宜、閾値を設定しておき、それに基づいて、現在着目している部分が物体領域であるか、路面であるか、あるいは遠近競合部の何れであるかを判定する。なお、判定のための閾値としては、ピークＪｃが１であるか、それ以外であるかによって判定しても良いし、１に近い値を閾値として設定し、それ以上であるか否かで判定しても良い。
【０１３１】
そして、路面であると判定した場合は、次にウインドウを設定する際には、図５に示したように、Ｘ方向が長辺、Ｙ方向（２次元画像上で遠近方向）が短辺となった長方形のウインドウＷＤ２を設定する。また、物体領域あるいは遠近競合部であると判定した場合は、次にウインドウを設定する際には、図７に示したように、正方形のウインドウＷＤ３を設定する。このとき、ウインドウＷＤ２とＷＤ３とで面積が同じとなるように設定することで、特徴量を同等とすることができる。なお、解像度の低い層においては、ウインドウの形状は変更せず、例えば、最上層である基準画像Ｇ１の基準点に対応する参照画像Ｇ２上の対応点を探索する際にのみ、ウインドウの形状を変更するようにしても良い。
【０１３２】
このように、対応点探索に使用されるＰＯＣ値のピークＪｃを用いてウインドウの形状を決定するので、対応点探索処理部１６での探索結果は、視差設定部１４に基準視差を定めるための情報としてフィードバックされるだけでなく、ウインドウ設定部１５にＰＯＣ値のピークＪｃの情報をフィードバックする構成となっている。
【０１３３】
なお、ウインドウ設定部１５では、探索処理の対象となっている画像の組（層）に対して、最初にウインドウを設定する際は、デフォルトで正方形のウインドウを設定するものとし、２回目以降のウインドウの設定に対してフィードバック結果を反映させる。
【０１３４】
最後に、対応点探索処理部１６において、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点が探索される（ステップＳ８）。
【０１３５】
ステップＳ５〜Ｓ８を経て、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索し、第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索し、第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て基準画像Ｇ１の基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点を探索する。そして、参照画像Ｇ２上の対応点を決定した後は、基準画像Ｇ１の新たな基準点を設定し、再び、同様の対応点探索処理を繰り返す。これを、基準画像Ｇ１上に処理すべき画素がなくなるまで繰り返す。
【０１３６】
＜ウインドウ設定の具体例＞
次に、図２６および図２７を用いて、ウインドウ設定の具体例について説明する。図２４および図２５においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図２６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。
【０１３７】
このように、図２６においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定する例を示しているが、これにより、先に説明したように非競合物体領域の面積を広くすることができる。
【０１３８】
また、図２７の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図２７の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２７の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。
【０１３９】
図２７においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においても等方的なウインドウを設定するが、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。
【０１４０】
このように、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制することができる。
【０１４１】
＜ウインドウ設定の変形例＞
図２６を用いて示したように、物体領域では、画像面上のウインドウは等方的な形状であることが望ましいが、画像面上でのウインドウ形状は、物体面上で等方的な形状となるように設定しないと、画像面上の縦横で周波数特性が大きく変わってしまうことから、被写体パターンの姿勢依存性が大きく現れ、傾きなどの姿勢変動による方向性を持つこととなる。この結果、対応点探索の精度低下に繋がる可能性があるが、これに対する対策として物体面上で等方的となるようなウインドウ設定を画像面上で行うことが考えられる。
【０１４２】
しかし、レンズの種類によっては、物体面上で等方的となるようなウインドウ設定を画像面上で行っても、必ずしも等方的なウインドウにできない場合がある。
【０１４３】
例えば、横方向に画角が広く、縦方向は画角が狭いアナモフィックレンズのような縦横比の異なるレンズを用いてステレオカメラを構成する場合、レンズの特性から、物体面上で等方的となる画像面上でのウインドウは、縦方向に伸びたウインドウ形状となる。
【０１４４】
このようなウインドウの場合は、画像面上での等方的なウインドウ設定と同様に、路面と車両との両方を含む位置での設定では、遠近の情報を含みやすいため、出力結果の遠近競合が起こりやすい。このような場合にも、本願発明によるウインドウ形状の変更は有効である。
【０１４５】
以下、ステレオカメラの撮像レンズにアナモフィックレンズを用いた場合のウインドウ形状の変更例について説明する。
【０１４６】
図２８に示すアナモフィックレンズＡＬは、円筒の軸（Ｙ軸方向）と垂直な方向（Ｘ軸方向）に画像を圧縮するように構成されており、被写体Ａ１をアナモフィックレンズＡＬを通して撮影することで、画面ＰＮ上にはＸ軸方向に圧縮された画像Ａ２が映されることになる。
【０１４７】
図２９は、撮影対象となる物体面を表しており、自車両ＭＶの運転席から見た前方を見た状態を表している。
【０１４８】
図３０は、図２９に示す物体面のうち、枠線で囲まれた領域ＲＩについてアナモフィックレンズを介して撮影された画像面を表しており、水平方向が圧縮されて、垂直方向に伸長していることが判る。
【０１４９】
ここで、対応点探索を行うために、図３１に示すように、物体面に対して演算の周波数特性が等方となるように等方的なウインドウＷ１を設定した場合、アナモフィックレンズを介して得られた画像面上では、物体面と同様の周波数特性を含むように演算領域を設定するために、図３２に示すウインドウＷ２のように垂直方向に伸長したウインドウサイズとすることが望ましい。このときに、先に説明した、ウインドウ設定部１５では、アナモフィックレンズのレンズ特性に基づいてウインドウの縦横比を設定することで、対応付け精度の低下を防止することができる。
【０１５０】
一方、図３３に示すように、図３２に示したウインドウＷ２と同じ面積（画素数）を有し、等方的に設定されたウインドウＷ３を画像面上に設定した場合、ウインドウＷ２と同レベルの情報量を含んでいるため、図３２の場合と同精度での対応点探索が可能となるが、画像面上で等方的なウインドウを設定すると、物体面上でのウインドウは図３４に示すウインドウＷ４のように、縦横比が大きく変わり、算出可能な周波数特性が大きく異なることとなる。この結果、対応点算出領域における被写体パターンの姿勢依存性が大きくなることとなり、望ましくはない。
【０１５１】
また、図３３に示すウインドウＷ３のように、水平方向に長いウインドウを設定すると、水平方向に圧縮された画像面では、遠近競合が生じ、遠近の判別が難しくなるという問題もある。
【０１５２】
ここで、多重解像度処理により対応付けを行う場合、下層の低解像度画像では、上層の高解像度画像での基準視差を決定することが目的であるので、低解像度画像ではウインドウは等方的な形状に設定し、上層の高解像度画像で使用する基準視差を取得する。
【０１５３】
そして、最終的な対応点探索結果を算出する階層、すなわち最上層の画像においては、遠近競合を軽減するために、遠近競合の起きやすい領域では、遠近競合を抑制する形状のウインドウ設定を行う。
【０１５４】
以下、図３５および図３６を用いて、変倍レンズ（アナモフィックレンズ）を用いて撮像した画像に対するウインドウ設定の具体例について説明する。図３５および図３６においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図３５の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図３５の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３５の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。
【０１５５】
このように、図３５においては、解像度の高いレイヤー０の画像においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定するが、解像度の低いレイヤー１および２の画像においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定している。これにより、非競合物体領域の面積を広くすることができる。
【０１５６】
また、図３６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図３６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。
【０１５７】
図３６においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定し、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。
【０１５８】
このように、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制することができる。
【０１５９】
ここで、変倍レンズの縦横の倍率比に従ってウインドウの形状を設定する具体例としては、例えば、垂直方向に対する水平方向の比率（圧縮比）が１／４となるレンズを使用する場合は、ウインドウＷＤの縦（Ｙ軸方向）横（Ｘ軸方向）の比率を４対１となるように設定し、垂直方向に対する水平方向の比率が１／２となるレンズを使用する場合は、ウインドウＷＤの縦横の比率が２対１となるように設定する。これは、基準画像においてもSN昭画像においても同様である。
【０１６０】
また、レンズ特性については、予め種々のカメラ（変倍率率レンズを含んだ）に対するレンズ特性を対応点探索装置１０内のデータテーブル等に記憶させておき、ステレオカメラＳＣ（図１１）と対応点探索装置１０とを接続したときに、対応点探索装１０がステレオカメラＳＣを構成するカメラの種類を判別して、上記データテーブルからレンズ特性を読み出してウインドウ設定部１５に情報を与えるようにすれば良い。また、ステレオカメラＳＣを構成するカメラから、レンズ特性を対応点探索装置１０に与えるような構成であれば、ウインドウ設定部１５で、その情報を受けるようにすれば良い。
【０１６１】
なお、上記のようにアナモフィックレンズの特性が判明している場合は、それに合わせてウインドウの縦横比を設定すれば良いが、特性が判らない場合は、縦方向が長くなるようなウインドウサイズ、例えば縦横の比率を２対１に一律に設定する構成を採れば、精度低下を軽減できる。
【０１６２】
また、図３５および図３６を用いた説明では、低解像度画像では、変倍レンズの縦横の倍率比に従って、縦方向が長辺となった長方形のウインドウＷＤ１を設定するものとして説明したが、このウインドウＷＤ１は、物体面にウインドウを設定した場合の形状が等方的となるように縦横の寸法を設定するようにしても、同様の効果が得られる。このとき、物体面のウインドウと画像面のウインドウとで同じ面積となるように設定することが望ましい。
【０１６３】
＜ウインドウ変更のための判定方法の他の例＞
以上の説明においてはウインドウ変更のための判定は、ＰＯＣ値のピークを信頼度の指標として用いて判定するものとして説明したが、他の方法としては、低解像度画像での対応点探索で得られた基準視差に基づいて得られた、より上層の画像での対応点の周辺情報に基づいて判定を行っても良い。
【０１６４】
すなわち、得られた対応点の周辺（この場合は当該対応点より前に対応付けられた画素）での視差と、上記基準視差とが同じ値であるなら、その近傍では正確に対応点探索が行われていると考えられ、遠近競合が起きていないと考えられる。このような場合は物体領域を探索しているものと判断して、等方的なウインドウを設定する。一方、視差に違いがある場合は、遠近競合が起きている可能性が高く、路面を探索しているものと判断して、ウインドウＷＤ２（図６）のような、横方向（路面を横断する方向）が長辺となった長方形のウインドウを設定する。このような判定方法でも、それぞれのシーンに適したウインドウ形状の設定が可能となる。
【符号の説明】
【０１６５】
１１ 画像入力部
１２ 解像度変換部
１３ ポイント設定部
１４ 視差設定部
１５ ウインドウ設定部
１６ 対応点探索処理部
ＳＣ ステレオカメラ
【技術分野】
【０００１】
本発明は、２以上の画像の間で対応点を探索する対応点探索技術に関する。
【背景技術】
【０００２】
近年、自走可能な移動体、例えば自動車において、車載カメラを用いて、前方を含めた周辺の画像を撮像し、車載表示装置に表示させる周辺表示装置が開発されている。
【０００３】
このような周辺表示装置において、車載カメラとしてステレオカメラを用いて３次元画像を表示させる場合、同一の被写体が異なる視点から撮影されることで得られる２つの画像の間で、相互に画素の対応付けを行う対応点探索処理が行われる。
【０００４】
このような対応点探索処理では、一般に２つの画像の間における２次元領域の相関を用いたエリアベースの探索処理が行われる。
【０００５】
このエリアベースの探索処理では次のような処理が行われる。一方の画像が基準とされ、該一方の画像に対して基準点を重心位置とするウインドウが設定されるとともに、他方の画像に対して同サイズのウインドウが設定される。そして、２つのウインドウに係る画像領域の間における相関に基づき、基準点に対応する他方の画像の対応点を求めると言った処理が、一方の画像の全画素を順次に基準点としながら実施される。このようなエリアベースの探索処理の一例は特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１８７１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このようなエリアベースの対応点探索処理を上述した周辺表示装置で使用する場合、設定するウインドウの形状によっては対応点探索処理において遠近競合が起きる可能性がある。ここで、遠近競合とは、設定ウインドウ内に遠距離の被写体と近距離の被写体との両方を含んでいる状態のことである。
【０００８】
すなわち、対応点探索では、ウインドウの形状は正方形のような等方的な形状に設定されることが多いが、このような等方ウインドウの場合、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすいという問題がある。
【０００９】
本発明は上記のような問題点を解消するためになされたもので、ステレオカメラを用いて得られた２つの画像についての対応点探索処理において、遠近競合を抑制した対応点探索装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る対応点探索装置の第１の態様は、ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する。
【００１１】
本発明に係る対応点探索装置の第２の態様は、前記ウインドウ設定部が、前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する。
【００１２】
本発明に係る対応点探索装置の第３の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。
【００１３】
本発明に係る対応点探索装置の第４の態様は、前記対応点探索部が、前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、前記ウインドウ設定部は、前記第２の探索処理に際してのウインドウの設定において、前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて前記ウインドウの形状を設定する。
【００１４】
本発明に係る対応点探索装置の第５の態様は、前記ウインドウ設定部が、前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する。
【００１５】
本発明に係る対応点探索装置の第６の態様は、前記ウインドウ設定部が、前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する。
【００１６】
本発明に係る対応点探索装置の第７の態様は、前記撮像レンズは変倍レンズで構成され、前記ウインドウ設定部は、前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する。
【００１７】
本発明に係る対応点探索装置の第８の態様は、前記変倍レンズとしてアナモフィックレンズを用いる。
【００１８】
本発明に係る対応点探索装置の第９の態様は、前記ウインドウ設定部が、前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する。
【００１９】
本発明に係る対応点探索装置の第１０の態様は、前記第１および第２の探索処理に、位相限定相関法を使用し、前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる。
【発明の効果】
【００２０】
本発明に係る対応点探索装置の第１の態様によれば、第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用してウインドウの形状を設定するので、例えば、自動車の周辺表示装置に適用した場合、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することができ、遠近競合を抑制することができる。
【００２１】
本発明に係る対応点探索装置の第２の態様によれば、探索結果の信頼度を表す値についての閾値判定に基づいてウインドウの形状を設定するので、ウインドウの設定に信頼性を有することとなる。
【００２２】
本発明に係る対応点探索装置の第３の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。
【００２３】
本発明に係る対応点探索装置の第４の態様によれば、例えば、基準視差と第１の対応点より前に対応付けられた第２の画像上の画素の視差との比較結果が一致するのであれば、正確に対応点探索が行われており、遠近競合が起きていないと判断できるので、ウインドウの設定に信頼性を有することとなる。
【００２４】
本発明に係る対応点探索装置の第５の態様によれば、例えば、自動車の周辺表示装置に適用した場合、路面上の物体については等方的な形状のウインドウを設定し、遠近競合の起きやすい路面については遠近方向の長さが短い長方形状のウインドウを設定することで、遠近競合を抑制することができる。
【００２５】
本発明に係る対応点探索装置の第６の態様によれば、例えば、ステレオカメラの撮像レンズの縦横の倍率比が異なるような場合でも、遠近競合を抑制することができる。
【００２６】
本発明に係る対応点探索装置の第７の態様によれば、撮像レンズが変倍レンズで構成される場合に遠近競合を抑制することができる。
【００２７】
本発明に係る対応点探索装置の第８の態様によれば、撮像レンズがアナモフィックレンズで構成される場合に遠近競合を抑制することができる。
【００２８】
本発明に係る対応点探索装置の第９の態様によれば、変倍レンズの種類が決まれば、自動的に、ウインドウの縦横比を決定することができる。
【００２９】
本発明に係る対応点探索装置の第１０の態様によれば、第１および第２の探索処理に位相限定相関法を用いるので、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して対応点を精度良く探索できる。
【図面の簡単な説明】
【００３０】
【図１】ステレオカメラが前方を撮像する状態を模式的に示す図である。
【図２】ステレオカメラを構成する２つのカメラのうち、一方で得られた画像を示す図である。
【図３】Ｙ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図４】Ｙ方向が長辺となった長方形のウインドウのサイズを示す図である。
【図５】Ｘ方向が長辺となった長方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図６】Ｘ方向が長辺となった長方形のウインドウのサイズを示す図である。
【図７】正方形のウインドウを設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図である。
【図８】正方形のウインドウのサイズを示す図である。
【図９】路面に正方形のウインドウを設定した場合を模式的に示す図である。
【図１０】路面にＸ方向が長辺となった長方形のウインドウを設定した場合を模式的に示す図である。
【図１１】本発明に係る対応点探索装置の構成を示すブロック図である。
【図１２】撮像画像を例示する模式図である。
【図１３】縮小された低解像度の画像を例示する模式図である。
【図１４】縮小された低解像度の画像を例示する模式図である。
【図１５】縮小された低解像度の画像を例示する模式図である。
【図１６】対応点探索を説明する模式図である。
【図１７】最下層画像に設定した基準点を示す図である。
【図１８】最下層画像に設定したウインドウを示す図である。
【図１９】縮小された参照画像に設定した処理対象点を示す図である。
【図２０】縮小された参照画像に設定した処理対象点を示す図である。
【図２１】参照画像に設定した処理対象点を示す図である。
【図２２】多重解像度処理の概念図である。
【図２３】位相限定相関法を用いた対応点探索処理を説明するための図である。
【図２４】位相限定相関法を用いた処理結果を示す図である。
【図２５】本発明に係る対応点探索装置の動作を示すフローチャートである。
【図２６】ウインドウ設定の具体例を説明する図である。
【図２７】ウインドウ設定の具体例を説明する図である。
【図２８】アナモフィックレンズの特性を模式的に示す図である。
【図２９】撮影対象となる物体面を表す図である。
【図３０】アナモフィックレンズを介して撮影された画像面を表す図である。
【図３１】物体面に対して等方的なウインドウを設定した図である。
【図３２】アナモフィックレンズを介して撮影された画像面に発明に係るウインドウを設定した図である。
【図３３】アナモフィックレンズを介して撮影された画像面に等方的なウインドウを設定した図である。
【図３４】物体面に対して非等方的なウインドウを設定した図である。
【図３５】変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。
【図３６】変倍レンズを用いて撮像した画像に対するウインドウ設定の具体例を説明する図である。
【発明を実施するための形態】
【００３１】
＜序＞
実施の形態の説明に先立って、ウインドウ形状による遠近競合の状態の違いと、発明の概要について説明する。
【００３２】
図１は、車両ＭＶの進行方向（Ｚ方向）の前方を撮像するステレオカメラＳＣが、前方を撮像する状態を模式的に示しており、車両ＭＶの前方の路面ＲＳ上に物体ＯＢが存在している状況を模式的に示している。なお、図１においてＸ方向が路面ＲＳを横断する方向であり、路面ＲＳに対して垂直な方向がＹ方向である。
【００３３】
図２は、ステレオカメラＳＣを構成する２つのカメラのうち、一方で得られた画像を示す図である。このような画像を取得した場合、形状の異なる３種類のウインドウによってそれぞれ得られる遠近競合が起こりにくい領域を図３〜図８を用いて模式的に表す。
【００３４】
図３は、Ｙ方向が長辺となった長方形のウインドウＷＤ１を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図２に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図３には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１はＸ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３５】
また、図４にはウインドウＷＤ１のサイズを示しており、ウインドウＷＤ１はＹ方向に沿った長辺の長さが２ａ、Ｘ方向に沿った短辺の長さが２ｂとなっている。
【００３６】
図５は、Ｘ方向が長辺となった長方形のウインドウＷＤ２を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図５に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図５には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３７】
また、図６にはウインドウＷＤ２のサイズを示しており、ウインドウＷＤ２はＸ方向に沿った長辺の長さが２ａ、Ｙ方向に沿った短辺の長さが２ｂとなっている。
【００３８】
図７は、正方形のウインドウＷＤ３を設定した場合に得られる、遠近競合が起こりにくい領域を模式的に表す図であり、図７に示す物体ＯＢが占める矩形領域を物体領域ＯＢＲ１として示し、物体領域ＯＢＲ１の周辺を周辺領域ＰＲ２として示し、物体領域ＯＢＲ１の周辺のうち、物体領域ＯＢＲ１の近傍領域であって、遠近競合が起きる可能性のある領域を周辺競合領域ＰＲ１として示し、物体領域ＯＢＲ１内の遠近競合が起こりにくい領域を非競合物体領域ＯＢＲ２として示している。なお、図７には、物体領域ＯＢＲ１のサイズも示しており、物体領域ＯＢＲ１は、Ｘ方向に沿った長辺の長さがｍ、Ｙ方向に沿った短辺の長さがｎとなっている。
【００３９】
また、図８にはウインドウＷＤ３のサイズを示しており、ウインドウＷＤ３は一辺の長さが２ｃとなっている。
【００４０】
図３、図５および図７の比較により、非競合物体領域ＯＢＲ２が最も広いのは、図７の正方形のウインドウＷＤ３を設定した場合であることが判る。
【００４１】
ここで、図３、図５および図７のそれぞれの非競合物体領域ＯＢＲ２の面積は、以下の数式（１）〜（６）を用いて算出することができる。
【００４２】
すなわち、非競合物体領域ＯＢＲ２は、設定したウインドウの領域に物体領域と周辺領域とを同時に含まない領域で定義することができ、これに従えば、ウインドウＷＤ１を設定した図３の場合の非競合物体領域ＯＢＲ２の面積Ｓ１は下記の数式（１）で表される。
【００４３】
【数１】
【００４４】
同様に、ウインドウＷＤ２を設定した図５の場合の非競合物体領域ＯＢＲ２の面積Ｓ２は下記の数式（２）で表される。
【００４５】
【数２】
【００４６】
また、ウインドウＷＤ３を設定した図７の場合の非競合物体領域ＯＢＲ２の面積Ｓ３は下記の数式（３）で表される。
【００４７】
【数３】
【００４８】
なお、ウインドウＷＤ１〜ＷＤ３の面積は何れも等しいものとし、４ａｂ＝４ｃ2であるものとする。
【００４９】
ここで、各サイズに数値を入れ、ｍ＝２００、ｎ＝１５０、２ａ＝３２、２ｂ＝８、２ｃ＝１６とする。なお、各数値は、画素数であり上述した面積Ｓ１〜Ｓ３も、正確には画素数を指しているが、便宜的に面積としている。
【００５０】
上記各サイズを、数式（１）〜（３）に代入すると、面積Ｓ１〜Ｓ３は、それぞれ下記の数式（４）〜（６）で表され、正方形のウインドウＷＤ３を設定した場合の非競合物体領域ＯＢＲ２が最も広いことが判る。
【００５１】
【数４】
【００５２】
【数５】
【００５３】
【数６】
【００５４】
しかし、ウインドウＷＤ３のような等方ウインドウの場合、先に説明したように、路面のようにウインドウ内の距離が緩やかに変化するような位置に設定された場合や、路面と路面上の物体の両方を含むような位置に設定された場合は、ウインドウ内に複数の遠近情報を含み、遠近競合が起こりやすい。
【００５５】
図９の(ａ)部には、路面ＲＳにウインドウＷＤ３を設定した場合を模式的に示しており、視差値の大きな手前側と、視差値の小さな奥側とで距離情報が異なり、遠近競合が起こりやすいことが判る。
【００５６】
また、図９の(ｂ)部には、路面ＲＳと路面上の物体ＯＢの両方を含むようにウインドウＷＤ３を設定した場合を模式的に示しており、複数の遠近情報が混在して遠近競合が起こりやすいことを示している。
【００５７】
一方、図１０の(ａ)部には、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定した場合を模式的に示しており、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合が起こりにくいことが判る。
【００５８】
また、図１０の(ｂ)部には、路面ＲＳと路面上の物体ＯＢとで、設定するウインドウの形状を変更した場合を模式的に示しており、物体ＯＢ近傍の路面ＲＳには、路面ＲＳを横断する方向（Ｘ方向）に長いウインドウＷＤ２を設定し、物体ＯＢ上には等方ウインドウであるウインドウＷＤ３を設定している。
【００５９】
物体ＯＢ近傍の路面ＲＳに設定したウインドウＷＤ２内では、視差の変化が小さく、遠近競合が起こりにくく、また物体ＯＢ上に設定した等方ウインドウでは、視差の変化が小さく、ほぼ同じ距離情報となるので遠近競合が起こりにくく、また、先に説明したように、非競合物体領域も広くできる。
【００６０】
従って、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制するというのが、本願発明の概要である。
【００６１】
＜実施の形態＞
＜装置構成＞
図１１は、本発明に係る対応点探索装置１０の構成を示すブロック図である。図１１に示すように対応点探索装置１０は、基準画像を撮影するカメラ１ａと、参照画像を撮影するカメラ１ｂとで構成されるステレオカメラＳＣで得られた画像データが入力される画像入力部１１と、画像入力部１１から出力される画像データに対して、解像度変換を行って多重解像度処理のための多重解像度画像を生成する解像度変換部１２と、解像度変換された全ての層の画像データについての対応点探索が終了したか否かを判定する残層判定部２１と、基準画像の全画素についての対応点探索が終了したか否かを判定する残画素判定部２２と、解像度変換された画像データに対して対応点探索を行うためのポイント設定を行うポイント設定部１３と、ポイント設定された画像データに対して多重解像度処理のための視差を設定するための視差設定部１４と、ポイント設定された画像データに対して、ウインドウを設定するウインドウ設定部１５と、ウインドウが設定された画像データに対して対応点探索処理を実行する対応点探索処理部１６とを備えている。
【００６２】
カメラ１ａで撮影された基準画像の画像データ（基準画像データ）は、画像入力部１１内の基準画像入力部１１ａに画素単位で与えられ、カメラ１ｂで撮影された参照画像の画像データ（参照画像データ）は、画像入力部１１内の参照画像入力部１１ｂに画素単位で与えられる。
【００６３】
解像度変換部１２の基準画像解像度変換部１２ａにおいては、基準画像をベースとして、該基準画像に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を生成し、参照画像解像度変換部１２ｂにおいては、参照画像をベースとして、該参照画像に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を生成する。
【００６４】
解像度変換部１２の基準画像解像度変換部１２ａおよび参照画像解像度変換部１２ｂのそれぞれからは、解像度変換された基準画像データおよび参照画像データが、ポイント設定部１３の基準点設定部１３ａおよび比較点設定部１３ｂに与えられる。基準点設定部１３ａでは、対応点探索を行うための基準点が設定され、比較点設定部１３ｂでは基準点に対応する比較点が設定される。
【００６５】
視差設定部１４の基準画像視差設定部１４ａおよび参照画像視差設定部１４ｂでは、対応点の探索の基準となる所定の視差（ここでは初期視差）を含むように、基準画像においては基準点を仮に設定し、参照画像においては比較点を仮に設定する。所定の初期視差としては、例えば、ゼロ等が設定される。
【００６６】
ウインドウ設定部１５の基準点ウインドウ設定部１５ａおよび比較点ウインドウ設定部１５ｂでは、それぞれ、基準点および比較点を中心として包含するウインドウを設定する。
【００６７】
ウインドウが設定された画像データは、対応点探索処理部１６に与えられて、対応点探索処理が実行される。なお、対応点探索処理については後に説明する。
【００６８】
対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的なものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。
【００６９】
次に、各構成について以下にさらに説明する。
【００７０】
＜画像入力部＞
画像入力部１１は、ステレオカメラＳＣによって撮像された同一の被写体を同じタイミングでとらえた第１撮像画像Ｇ１および第２撮像画像Ｇ２を取得する。
【００７１】
図１２は、第１および第２撮像画像Ｇ１およびＧ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１およびＧ２では、多数の画素がマトリックス状に配列される。具合的には、縦方向（Ｙ方向）に第１所定数（ここでは、４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは、６４０個）の画素が配列される。
【００７２】
なお、第１および第２撮像画像Ｇ１およびＧ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１およびＧ２を構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１およびＧ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
【００７３】
また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（基準画像）となり、第２撮像画像Ｇ２が参照される画像（参照画像）となる。以下では、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称し、それぞれ、基準画像入力部１１ａおよび参照画像入力部１１ｂによって取得される。なお、画像取得部１１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。
【００７４】
＜解像度変換部＞
解像度変換部１２は、基準画像Ｇ１をベースとして、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を基準画像解像度変換部１２ａで生成するとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を参照画像解像度変換部１２ｂで生成する。
【００７５】
より詳細には、基準画像解像度変換部１２ａでは、基準画像Ｇ１を構成する複数の縦方向の画素の列（垂直ライン）および複数の横方向の画素の行（水平ライン）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の基準画像（第１縮小基準画像）Ｇ１１（図１３）が生成される。なお、第１縮小基準画像Ｇ１１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。
【００７６】
そして、基準画像解像度変換部１２ａでは、第１縮小基準画像Ｇ１１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第２縮小基準画像）Ｇ１２（図１４）が生成される。なお、第２縮小基準画像Ｇ１２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。
【００７７】
さらに、基準画像解像度変換部１２ａでは、第２縮小基準画像Ｇ１２のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第３縮小基準画像）Ｇ１３（図１５）が生成される。なお、第３縮小基準画像Ｇ１３は、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。
【００７８】
また、参照画像解像度変換部１２ｂでは、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の参照画像（第１縮小参照画像）Ｇ２１（図１３）が生成される。なお、第１縮小参照画像Ｇ２１は、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列されている。
【００７９】
そして、参照画像解像度変換部１２ｂでは、第１縮小参照画像Ｇ２１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第２縮小参照画像）Ｇ２２（図１４）が生成される。なお、第２縮小参照画像Ｇ２２は、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列されている。
【００８０】
さらに、参照画像解像度変換部１２ｂでは、第２縮小参照画像Ｇ２２のうち、１列おきの垂直画素ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第３縮小参照画像）Ｇ２３（図１５）が生成される。なお、第３縮小参照画像Ｇ２３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列されている。
【００８１】
このように、解像度変換部１２によって、基準画像Ｇ１と参照画像Ｇ２の組が基準とされ、１段階解像度が低減された第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が１層目の高解像度の画像の組として生成される。また、２段階解像度が低減された第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が、２層目の低解像度の画像の組として形成される。更に、３段階解像度が低減された第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組が、３層目（最下層）の低解像度の画像の組として形成される。
【００８２】
＜ポイント設定部＞
ポイント設定部１３の、基準点設定部１３ａは、基準画像Ｇ１に対して、図１６に示すように対応点探索の基準となる点（基準点）Ｓｐ１を設定する。
【００８３】
具体的には、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対しての対応点探索により参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。より詳細には、基準画像Ｇ１に対して、図１６の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは、１画素）ずつずらされながら（スキャンされながら）時間順次に設定され、各基準点Ｓｐ１に対応する対応点を、参照画像Ｇ２上で検出する。
【００８４】
換言すれば、基準画像Ｇ１については、−Ｙ方向から＋Ｙ方向に向けて並んだＸ方向に平行な各水平ラインに沿って、基準点Ｓｐ１が時間順次に設定される。そして、Ｘ方向に平行な１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ方向に位置するＸ方向に平行な次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。
【００８５】
また、ポイント設定部１３の、比較点設定部１３ｂは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する。
【００８６】
＜視差設定部＞
視差設定部１４の基準画像視差設定部１４ａでは、図１７で示されるように、基準点設定部１３ａによって設定された基準点Ｓｐ１に対応する点（基準点）Ｓｐ１３を最下層画像である第３縮小基準画像Ｇ１３に対して設定し、参照画像視差設定部１４ｂでは、最下層画像である第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置との間におけるＸ座標のずれ量が、予め定めた初期視差に相当する。
【００８７】
＜ウインドウ設定部＞
ウインドウ設定部１５の基準点ウインドウ設定部１５ａでは、図１８で示されるように、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウ（基準領域）Ｗ１３を設定し、比較点ウインドウ設定部１５ｂでは、図１８で示されるように、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３を設定する。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。
【００８８】
＜対応点探索処理部＞
対応点探索処理部１６は、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する。この下層対応点探索処理部３６７では、後述する位相限定相関法（ＰＯＣ法）を用いて得られる基準領域Ｗ１３と比較領域Ｗ２３との相関に基づいて、対応点の探索が行われる。
【００８９】
このように、多重解像度処理においては、まず、視差設定部１４、ウインドウ設定部１５、および対応点探索処理部１６によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する処理が行われる。
【００９０】
そして、対応点探索処理部１６による探索結果を示す情報は、適宜、次層である第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索のためにフィードバックされる。
【００９１】
すなわち、対応点探索処理部１６による第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索結果に応じて得られる基準視差に基づいて、第２縮小参照画像Ｇ２２における演算処理の対象となる点（処理対象点）が設定される。
【００９２】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図１９で示されるように、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２を設定する。このとき、第２縮小基準画像Ｇ１２における基準点（図示せず）の位置と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図１９では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２２も併せて示している。
【００９３】
また、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、次層である第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索のためにフィードバックされる。
【００９４】
すなわち、対応点探索処理部１６による第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２１における処理対象点が設定される。
【００９５】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２０で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を設定する。このとき、第１縮小基準画像Ｇ１１における基準点（図示せず）の位置と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２０では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２１も併せて示している。
【００９６】
さらに、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１を用いての対応点探索の後は、対応点探索処理部１６による探索結果を示す情報は、最上層である基準画像Ｇ１および参照画像Ｇ２を用いての対応点探索のためにフィードバックされる。
【００９７】
すなわち、対応点探索処理部１６による第１縮小基準画像Ｇ１１および第２縮小参照画像Ｇ２１に対する探索結果に応じて得られる基準視差に基づいて、第１縮小参照画像Ｇ２における処理対象点が設定される。
【００９８】
より詳細には、対応点探索処理部１６で得られた基準視差は視差設定部１４に与えられ、視差設定部１４では、図２１で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を設定する。このとき、基準画像Ｇ１における基準点（図示せず）の位置と、参照画像Ｇ２における処理対象点Ｐｐ２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。なお、図２１では、比較点ウインドウ設定部１５ｂで設定されるウインドウ（比較領域）Ｗ２も併せて示している。
【００９９】
なお、上述したように、対応点探索処理部１６では、ＰＯＣ法により対応点の探索が行われ、得られた対応点と基準点との視差に関する情報を視差設定部１４に与えるとともに、ＰＯＣ値のピークの情報をウインドウ設定部１５に与える構成となっている。これについては、後に説明する。
【０１００】
また、対応点探索処理が終了した後は、算出された対応点に対して、平行化、歪補正、３次元再構成等の処理を行うことで３次元情報を取得し、当該３次元情報に基づいて３次元画像データを算出する。なお、これらの処理を行う構成については従来的ものであれば良く、本願発明との関係が薄いので、図示および説明は省略する。
【０１０１】
図２２には、以上説明した多重解像度処理の概念図を示す。図２２において、第１縮小基準画像Ｇ１１、第２縮小基準画像Ｇ１２および第３縮小基準画像Ｇ１３が階層的に示されており、低解像度側から高解像度側に向けて対応点探索処理部１６による探索結果、すなわち「解」の情報が与えられることが示されている。
【０１０２】
＜残層判定部＞
残層判定部２１は、探索処理の対象とすべき画像の組（層）の全てに対して処理が終わったか否かを判定し、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する。
【０１０３】
＜残画素判定部＞
残画素判定部２２は、基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されたか否かを判定する。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作を終了する。
【０１０４】
＜対応点探索処理＞
次に、図２３および図２４を用いて、対応点探索処理部１６での対応点探索処理について説明する。対応点探索処理部１６では、対応点探索処理に位相限定相関法（ＰＯＣ：Phase Only Correlation)を用いる。
【０１０５】
図２３は、位相限定相関法を用いた対応点探索処理を説明するための図である。位相限定相関法を用いた対応点探索処理では、まず基準画像上のウインドウ内の画像と、参照画像上のウインドウ内の画像とが抽出される。これらの画像については、次の数式のように表されるものとする。
【０１０６】
【数７】
【０１０７】
ここで、上記の数式におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウインドウ内の画像および参照画像上のウインドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１０８】
次に、基準画像および参照画像のウインドウ内の各画像に対し、次の数式に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【０１０９】
【数８】
【０１１０】
なお、上記の数式のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【０１１１】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の数式に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【０１１２】
【数９】
【０１１３】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数式に示す演算式を用いた合成処理Ｔ３が行われる。
【０１１４】
【数１０】
【０１１５】
合成処理Ｔ３とともに、次の数式に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１１６】
【数１１】
【０１１７】
以上の位相限定相関法を用いた処理により、例えば図２４に示すような結果が得られる。この図２４においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【０１１８】
以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【０１１９】
なお、本願では、先に説明したように、ウインドウの設定に特徴を有しており、このウインドウの設定に際しては、ＰＯＣ値のピークＪｃを用いてウインドウの設定変更を行う。すなわち、ＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば信頼度の高い数値であり、物体領域であると判断され、路面であればピークＪｃが１より小さくなり、また、遠近競合が起こって信頼度が低下していればピークＪｃがさらに小さくなるので、遠近競合部と判断される。このように、物体領域、路面、遠近競合部で適宜、閾値を設定することで、物体領域、路面および遠近競合部の何れであるかを判定することができ、それぞれに合わせたウインドウの設定が可能となる。なお、ウインドウの設定の例については後に説明する。
【０１２０】
＜対応点探索動作＞
次に、図２５に示すフローチャートを用いて、図１１を参照しつつ本実施形態に係る対応点探索動作について説明する。
【０１２１】
ステレオカメラＳＣにより基準画像および参照画像が撮像され対応点探索処理が開始されると、画像入力部１１の基準画像入力部１１ａおよび参照画像入力部１１ｂが、それぞれ基準画像および参照画像を取得する（ステップＳ１）。
【０１２２】
次に、解像度変換部１２によって、基準画像Ｇ１（図１２）をベースとして、該基準画像Ｇ１から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小基準画像Ｇ１１〜Ｇ１３（図１３〜図１５）がそれぞれ生成されるとともに、参照画像Ｇ２（図１２）をベースとして、該参照画像Ｇ２から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小参照画像Ｇ２１〜２３（図１３〜図１５）がそれぞれ生成される（ステップＳ２）。
【０１２３】
次に、残層判定部２１において、探索処理の対象とすべき画像の組（層）全てに対して処理が終わったか否かを判定し（ステップＳ３）、処理が終わっていない画像の組が存在していれば、その旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともに残画素判定部２２に与えられる。一方、探索処理の対象とすべき画像の組が存在しない場合には、対応点探索の結果を出力する（ステップＳ９）。
【０１２４】
ここで、多重解像度処理では、最下層側から最上層に向けて探索処理が実行され、本実施の形態では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３が最初に探索処理の対象となる画像の組として指定され、次いで、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の順で指定され、最後に基準画像Ｇ１および参照画像Ｇ２が探索処理の対象となる。従って、残層判定部２２では、最上層の基準画像Ｇ１および参照画像Ｇ２の処理が終わっていれば、探索処理の対象とすべき画像の組は存在しないという判定を行う。なお、以下の説明では、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３に対する探索処理を実行する場合を中心に説明する。
【０１２５】
残画素判定部２２では、処理すべき画素が基準画像Ｇ１に残っているか否か、すなわち基準点設定部１３ａによって基準画像Ｇ１の全画素が基準点Ｓｐ１（図１６）として設定されたか否かを判定し（ステップＳ４）、処理すべき画素が残っていればその旨を示す信号が、解像度変換された基準画像データおよび参照画像データとともにポイント設定部１３に与えられる。一方、処理すべき画素が残っていない場合には、対応点探索動作を終了する。
【０１２６】
次に、ポイント設定部１３の基準点設定部１３ａにおいて、基準画像Ｇ１に対して、基準点Ｓｐ１を設定し、比較点設定部１３ｂでは、基準点設定部１３ａで基準点Ｓｐ１を設定する動作と平行して、基準点設定部１３ａと同様のスキャン動作により、参照画像Ｇ２におけるウインドウ設定のための中心点（比較点）を設定する（ステップＳ５）。
【０１２７】
次に、視差設定部１４において、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における所定の初期視差が仮に設定される（ステップＳ６）。
【０１２８】
具体的には、基準画像視差設定部１４ａにおいて、ステップＳ５で設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が第３縮小基準画像Ｇ１３に対して設定される。また、参照画像視差設定部１４ｂにおいて、第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置に対して、予め定めた初期視差に基づいて第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置を設定するが、初期視差はゼロに設定する場合が多い。
【０１２９】
次に、ウインドウ設定部１５の基準点ウインドウ設定部１５ａにおいて、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウＷ１３（図１８）を設定し、比較点ウインドウ設定部１５ｂでは、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウＷ２３を設定する（ステップＳ７）。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの領域である。
【０１３０】
ここで、基準領域Ｗ１３および比較領域Ｗ２３の形状は、対応点探索に使用されるＰＯＣ値のピークＪｃ（図２５）を用いてウインドウ設定部１５で決定する。すなわち、ＰＯＣ法ではＰＯＣ値のピークＪｃに対応する参照画像上のウインドウ内の位置が、基準画像上のウインドウの中心点に対応した参照画像上の対応点に相当することとなるが、このＰＯＣ値のピークＪｃ（規格化されたもの）が１および１に近い値であれば物体領域であると判断され、路面であればピークＪｃが１より小さくなり、遠近競合が起こっていればピークＪｃがさらに小さくなるので、予め、路面、遠近競合部で適宜、閾値を設定しておき、それに基づいて、現在着目している部分が物体領域であるか、路面であるか、あるいは遠近競合部の何れであるかを判定する。なお、判定のための閾値としては、ピークＪｃが１であるか、それ以外であるかによって判定しても良いし、１に近い値を閾値として設定し、それ以上であるか否かで判定しても良い。
【０１３１】
そして、路面であると判定した場合は、次にウインドウを設定する際には、図５に示したように、Ｘ方向が長辺、Ｙ方向（２次元画像上で遠近方向）が短辺となった長方形のウインドウＷＤ２を設定する。また、物体領域あるいは遠近競合部であると判定した場合は、次にウインドウを設定する際には、図７に示したように、正方形のウインドウＷＤ３を設定する。このとき、ウインドウＷＤ２とＷＤ３とで面積が同じとなるように設定することで、特徴量を同等とすることができる。なお、解像度の低い層においては、ウインドウの形状は変更せず、例えば、最上層である基準画像Ｇ１の基準点に対応する参照画像Ｇ２上の対応点を探索する際にのみ、ウインドウの形状を変更するようにしても良い。
【０１３２】
このように、対応点探索に使用されるＰＯＣ値のピークＪｃを用いてウインドウの形状を決定するので、対応点探索処理部１６での探索結果は、視差設定部１４に基準視差を定めるための情報としてフィードバックされるだけでなく、ウインドウ設定部１５にＰＯＣ値のピークＪｃの情報をフィードバックする構成となっている。
【０１３３】
なお、ウインドウ設定部１５では、探索処理の対象となっている画像の組（層）に対して、最初にウインドウを設定する際は、デフォルトで正方形のウインドウを設定するものとし、２回目以降のウインドウの設定に対してフィードバック結果を反映させる。
【０１３４】
最後に、対応点探索処理部１６において、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点が探索される（ステップＳ８）。
【０１３５】
ステップＳ５〜Ｓ８を経て、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索し、第２縮小参照画像Ｇ２２を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索し、第１縮小参照画像Ｇ２１を対象として基準点に対応する対応点を探索した後は、次に、ステップＳ５〜Ｓ８を経て基準画像Ｇ１の基準点Ｓｐ１に対応する参照画像Ｇ２上の対応点を探索する。そして、参照画像Ｇ２上の対応点を決定した後は、基準画像Ｇ１の新たな基準点を設定し、再び、同様の対応点探索処理を繰り返す。これを、基準画像Ｇ１上に処理すべき画素がなくなるまで繰り返す。
【０１３６】
＜ウインドウ設定の具体例＞
次に、図２６および図２７を用いて、ウインドウ設定の具体例について説明する。図２４および図２５においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図２６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。
【０１３７】
このように、図２６においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定する例を示しているが、これにより、先に説明したように非競合物体領域の面積を広くすることができる。
【０１３８】
また、図２７の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図２７の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ３を設定した例を示しており、図２７の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ３を設定した例を示している。
【０１３９】
図２７においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においても等方的なウインドウを設定するが、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。
【０１４０】
このように、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制することができる。
【０１４１】
＜ウインドウ設定の変形例＞
図２６を用いて示したように、物体領域では、画像面上のウインドウは等方的な形状であることが望ましいが、画像面上でのウインドウ形状は、物体面上で等方的な形状となるように設定しないと、画像面上の縦横で周波数特性が大きく変わってしまうことから、被写体パターンの姿勢依存性が大きく現れ、傾きなどの姿勢変動による方向性を持つこととなる。この結果、対応点探索の精度低下に繋がる可能性があるが、これに対する対策として物体面上で等方的となるようなウインドウ設定を画像面上で行うことが考えられる。
【０１４２】
しかし、レンズの種類によっては、物体面上で等方的となるようなウインドウ設定を画像面上で行っても、必ずしも等方的なウインドウにできない場合がある。
【０１４３】
例えば、横方向に画角が広く、縦方向は画角が狭いアナモフィックレンズのような縦横比の異なるレンズを用いてステレオカメラを構成する場合、レンズの特性から、物体面上で等方的となる画像面上でのウインドウは、縦方向に伸びたウインドウ形状となる。
【０１４４】
このようなウインドウの場合は、画像面上での等方的なウインドウ設定と同様に、路面と車両との両方を含む位置での設定では、遠近の情報を含みやすいため、出力結果の遠近競合が起こりやすい。このような場合にも、本願発明によるウインドウ形状の変更は有効である。
【０１４５】
以下、ステレオカメラの撮像レンズにアナモフィックレンズを用いた場合のウインドウ形状の変更例について説明する。
【０１４６】
図２８に示すアナモフィックレンズＡＬは、円筒の軸（Ｙ軸方向）と垂直な方向（Ｘ軸方向）に画像を圧縮するように構成されており、被写体Ａ１をアナモフィックレンズＡＬを通して撮影することで、画面ＰＮ上にはＸ軸方向に圧縮された画像Ａ２が映されることになる。
【０１４７】
図２９は、撮影対象となる物体面を表しており、自車両ＭＶの運転席から見た前方を見た状態を表している。
【０１４８】
図３０は、図２９に示す物体面のうち、枠線で囲まれた領域ＲＩについてアナモフィックレンズを介して撮影された画像面を表しており、水平方向が圧縮されて、垂直方向に伸長していることが判る。
【０１４９】
ここで、対応点探索を行うために、図３１に示すように、物体面に対して演算の周波数特性が等方となるように等方的なウインドウＷ１を設定した場合、アナモフィックレンズを介して得られた画像面上では、物体面と同様の周波数特性を含むように演算領域を設定するために、図３２に示すウインドウＷ２のように垂直方向に伸長したウインドウサイズとすることが望ましい。このときに、先に説明した、ウインドウ設定部１５では、アナモフィックレンズのレンズ特性に基づいてウインドウの縦横比を設定することで、対応付け精度の低下を防止することができる。
【０１５０】
一方、図３３に示すように、図３２に示したウインドウＷ２と同じ面積（画素数）を有し、等方的に設定されたウインドウＷ３を画像面上に設定した場合、ウインドウＷ２と同レベルの情報量を含んでいるため、図３２の場合と同精度での対応点探索が可能となるが、画像面上で等方的なウインドウを設定すると、物体面上でのウインドウは図３４に示すウインドウＷ４のように、縦横比が大きく変わり、算出可能な周波数特性が大きく異なることとなる。この結果、対応点算出領域における被写体パターンの姿勢依存性が大きくなることとなり、望ましくはない。
【０１５１】
また、図３３に示すウインドウＷ３のように、水平方向に長いウインドウを設定すると、水平方向に圧縮された画像面では、遠近競合が生じ、遠近の判別が難しくなるという問題もある。
【０１５２】
ここで、多重解像度処理により対応付けを行う場合、下層の低解像度画像では、上層の高解像度画像での基準視差を決定することが目的であるので、低解像度画像ではウインドウは等方的な形状に設定し、上層の高解像度画像で使用する基準視差を取得する。
【０１５３】
そして、最終的な対応点探索結果を算出する階層、すなわち最上層の画像においては、遠近競合を軽減するために、遠近競合の起きやすい領域では、遠近競合を抑制する形状のウインドウ設定を行う。
【０１５４】
以下、図３５および図３６を用いて、変倍レンズ（アナモフィックレンズ）を用いて撮像した画像に対するウインドウ設定の具体例について説明する。図３５および図３６においては、解像度変換を行って得られた解像度の異なる複数の画像を示しており、図３５の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ３を設定した例を示しており、図３５の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３５の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。
【０１５５】
このように、図３５においては、解像度の高いレイヤー０の画像においては、路面ＲＳ上の物体ＯＢに対してウインドウを設定する場合には、等方的なウインドウＷＤ３を設定するが、解像度の低いレイヤー１および２の画像においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定している。これにより、非競合物体領域の面積を広くすることができる。
【０１５６】
また、図３６の(ａ)部には、基準画像Ｇ１と参照画像Ｇ２の組に対応する層（レイヤー０）の画像に対してウインドウＷＤ２を設定した例を示しており、図３６の(ｂ)部には、基準画像Ｇ１１と参照画像Ｇ２１の組に対応する層（レイヤー１）の画像に対してウインドウＷＤ１を設定した例を示しており、図３６の(ｃ)部には、基準画像Ｇ１２と参照画像Ｇ２２の組に対応する層（レイヤー２）の画像に対してウインドウＷＤ１を設定した例を示している。
【０１５７】
図３６においては、路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分に対してウインドウを設定する場合には、レイヤーによってウインドウの形状を変更する例を示している。すなわち、レイヤー１およびレイヤー２の画像に対しては、遠近競合が起きやすい路面ＲＳと、路面ＲＳ上の物体ＯＢとの境界部分においては、変倍レンズの縦横の倍率比に従って、縦方向（路面ＲＳを横断する方向とは垂直な方向）が長辺となった長方形のウインドウＷＤ１を設定し、レイヤー０の画像に対しては、路面ＲＳ上では、路面ＲＳを横断する方向に長いウインドウＷＤ２を設定することで、ウインドウ内での視差の変化が小さく、距離情報が混在せず、遠近競合を抑制することができる。
【０１５８】
このように、路面と、路面上の物体などのように、対象物に応じて遠近競合が起こりにくい形状にウインドウを設定することで、遠近競合を抑制することができる。
【０１５９】
ここで、変倍レンズの縦横の倍率比に従ってウインドウの形状を設定する具体例としては、例えば、垂直方向に対する水平方向の比率（圧縮比）が１／４となるレンズを使用する場合は、ウインドウＷＤの縦（Ｙ軸方向）横（Ｘ軸方向）の比率を４対１となるように設定し、垂直方向に対する水平方向の比率が１／２となるレンズを使用する場合は、ウインドウＷＤの縦横の比率が２対１となるように設定する。これは、基準画像においてもSN昭画像においても同様である。
【０１６０】
また、レンズ特性については、予め種々のカメラ（変倍率率レンズを含んだ）に対するレンズ特性を対応点探索装置１０内のデータテーブル等に記憶させておき、ステレオカメラＳＣ（図１１）と対応点探索装置１０とを接続したときに、対応点探索装１０がステレオカメラＳＣを構成するカメラの種類を判別して、上記データテーブルからレンズ特性を読み出してウインドウ設定部１５に情報を与えるようにすれば良い。また、ステレオカメラＳＣを構成するカメラから、レンズ特性を対応点探索装置１０に与えるような構成であれば、ウインドウ設定部１５で、その情報を受けるようにすれば良い。
【０１６１】
なお、上記のようにアナモフィックレンズの特性が判明している場合は、それに合わせてウインドウの縦横比を設定すれば良いが、特性が判らない場合は、縦方向が長くなるようなウインドウサイズ、例えば縦横の比率を２対１に一律に設定する構成を採れば、精度低下を軽減できる。
【０１６２】
また、図３５および図３６を用いた説明では、低解像度画像では、変倍レンズの縦横の倍率比に従って、縦方向が長辺となった長方形のウインドウＷＤ１を設定するものとして説明したが、このウインドウＷＤ１は、物体面にウインドウを設定した場合の形状が等方的となるように縦横の寸法を設定するようにしても、同様の効果が得られる。このとき、物体面のウインドウと画像面のウインドウとで同じ面積となるように設定することが望ましい。
【０１６３】
＜ウインドウ変更のための判定方法の他の例＞
以上の説明においてはウインドウ変更のための判定は、ＰＯＣ値のピークを信頼度の指標として用いて判定するものとして説明したが、他の方法としては、低解像度画像での対応点探索で得られた基準視差に基づいて得られた、より上層の画像での対応点の周辺情報に基づいて判定を行っても良い。
【０１６４】
すなわち、得られた対応点の周辺（この場合は当該対応点より前に対応付けられた画素）での視差と、上記基準視差とが同じ値であるなら、その近傍では正確に対応点探索が行われていると考えられ、遠近競合が起きていないと考えられる。このような場合は物体領域を探索しているものと判断して、等方的なウインドウを設定する。一方、視差に違いがある場合は、遠近競合が起きている可能性が高く、路面を探索しているものと判断して、ウインドウＷＤ２（図６）のような、横方向（路面を横断する方向）が長辺となった長方形のウインドウを設定する。このような判定方法でも、それぞれのシーンに適したウインドウ形状の設定が可能となる。
【符号の説明】
【０１６５】
１１ 画像入力部
１２ 解像度変換部
１３ ポイント設定部
１４ 視差設定部
１５ ウインドウ設定部
１６ 対応点探索処理部
ＳＣ ステレオカメラ
【特許請求の範囲】
【請求項１】
ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、
前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、
前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、
前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、
前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、
前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、
前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する、対応点探索装置。
【請求項２】
前記ウインドウ設定部は、
前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
【請求項３】
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項２記載の対応点探索装置。
【請求項４】
前記対応点探索部は、
前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、
前記ウインドウ設定部は、
前記第２の探索処理に際してのウインドウの設定において、
前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて、前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
【請求項５】
前記ウインドウ設定部は、
前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、
前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項４記載の対応点探索装置。
【請求項６】
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する、請求項２記載の対応点探索装置。
【請求項７】
前記撮像レンズは変倍レンズで構成され、
前記ウインドウ設定部は、
前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する、請求項６記載の対応点探索装置。
【請求項８】
前記変倍レンズとしてアナモフィックレンズを用いる、請求項７記載の対応点探索装置。
【請求項９】
前記ウインドウ設定部は、
前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する、請求項５記載の対応点探索装置。
【請求項１０】
前記第１および第２の探索処理に、位相限定相関法を使用し、
前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる、請求項２記載の対応点探索装置。
【請求項１】
ステレオカメラからの第１および第２の画像を受け、２つの画像間で、相互に画素の対応付けを行う対応点探索装置であって、
前記第１の画像に対して解像度を低下させた関係にある第１の低解像度画像および、前記第２の画像に対して解像度を低下させた関係にある第２の低解像度画像を階層的に生成する解像度変換部と、
前記第１の画像に対して第１の基準点を設定する第１の基準点設定部と、
前記第１の低解像度画像に対して、前記第１の基準点に対応する第２の基準点を設定する第２の基準点設定部と、
前記第２の低解像度画像を対象として前記第２の基準点に対応する第２の対応点を探索する第１の探索処理、および、前記第１の画像に対して前記第１の探索処理による探索結果を利用して、前記第２の画像を対象として前記第１の基準点に対応する第１の対応点を探索する第２の探索処理を行う対応点探索部と、
前記第１および第２の探索処理のためのウインドウを設定するウインドウ設定部と、を備え、
前記ウインドウ設定部においては、前記第１および第２の探索処理の少なくとも一方に際して、事前の探索処理による探索結果を利用して前記ウインドウの形状を設定する、対応点探索装置。
【請求項２】
前記ウインドウ設定部は、
前記探索結果の信頼度を表す値についての閾値判定に基づいて前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
【請求項３】
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても等方的な形状のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項２記載の対応点探索装置。
【請求項４】
前記対応点探索部は、
前記第１の探索処理で得られた、前記第２の基準点と前記第２の対応点との視差を基準視差として前記第２の探索処理を行い、
前記ウインドウ設定部は、
前記第２の探索処理に際してのウインドウの設定において、
前記基準視差と、前記第１の対応点より前に対応付けられた前記第２の画像上の画素の視差との比較結果に基づいて、前記ウインドウの形状を設定する、請求項１記載の対応点探索装置。
【請求項５】
前記ウインドウ設定部は、
前記画素の前記視差と前記基準視差とが等しい領域においては、等方的な形状のウインドウを設定し、
前記画素の前記視差と前記基準視差とに違いがある場合には、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状のウインドウを設定する、請求項４記載の対応点探索装置。
【請求項６】
前記ウインドウ設定部は、
前記第１の探索処理に際して、前記第１および前記第２の低解像度画像のどの領域においても前記ステレオカメラの撮像レンズの縦横の倍率比と同じ縦横比の第１のウインドウを設定し、
前記第２の探索処理に際して、前記第１の探索処理による前記探索結果の前記信頼度を表す値が所定の閾値より高い領域においては、等方的な形状の第２のウインドウを設定し、前記所定の閾値以下の領域においては、遠近方向の長さが短く、該遠近方向に垂直な方向の長さが長い長方形状の第３のウインドウを設定する、請求項２記載の対応点探索装置。
【請求項７】
前記撮像レンズは変倍レンズで構成され、
前記ウインドウ設定部は、
前記第１のウインドウを物体面に適用した場合に、物体面での縦横比が等方となるように前記第１のウインドウの縦横比を設定する、請求項６記載の対応点探索装置。
【請求項８】
前記変倍レンズとしてアナモフィックレンズを用いる、請求項７記載の対応点探索装置。
【請求項９】
前記ウインドウ設定部は、
前記第１のウインドウの縦横比を決める前記変倍レンズの縦横の倍率比の情報をテーブル情報として有する、請求項５記載の対応点探索装置。
【請求項１０】
前記第１および第２の探索処理に、位相限定相関法を使用し、
前記探索結果の信頼度を表す前記値は、ＰＯＣ値のピークの値を用いる、請求項２記載の対応点探索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１１−１６４９０５（Ｐ２０１１−１６４９０５Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２６６３８（Ｐ２０１０−２６６３８）
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月９日（２０１０．２．９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]