立体形状検出装置
【課題】 画像データに基づいて路面段差のような立体物についても形状把握を可能とする立体形状検出装置を提供する。
【解決手段】 ステレオカメラ３で取得した撮像対象物６のステレオ画像中から画像処理手段１のエッジ抽出手段１０は、輪郭エッジを抽出し、対応点探索手段１１により、対応エッジを判定する。そして、エッジを挟み込んで隣接する小領域について、類似度算出手段１２は、各画像間でその類似度を判定し、その類似度の違いに基づいて形状推定手段１３が立体物であるか否かを判定する。
【解決手段】 ステレオカメラ３で取得した撮像対象物６のステレオ画像中から画像処理手段１のエッジ抽出手段１０は、輪郭エッジを抽出し、対応点探索手段１１により、対応エッジを判定する。そして、エッジを挟み込んで隣接する小領域について、類似度算出手段１２は、各画像間でその類似度を判定し、その類似度の違いに基づいて形状推定手段１３が立体物であるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の障害物検出等に用いることができる画像を用いた立体形状検出装置に関する。
【背景技術】
【０００２】
自動車の周辺状況を把握して運転者に提供することで運転支援を行う各種の運転支援システムの開発が進められている。こうした運転支援システムの一つとしてガードレールや側壁、駐車車両等の障害物を認識して、自車両との接触可能性を評価し、接触可能性があると判定した場合に、運転者に対して報知や回避制御を行うシステムがある（例えば、特許文献１参照）。
【０００３】
同文献には、ＣＣＤカメラや超音波センサにより、車両進路方向における三次元距離分布を把握して道路形状と障害物を把握し、自車両の形状との対比により、接触可能性の判定を行う技術が記載されている。
【特許文献１】特開平１０−２８３５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この技術においては、道路上の障害物、例えば、電柱や駐車車両、対向車両等については、ステレオ視技術によりその３次元情報を求める手法がとられているが、側溝等の路面より下の障害物は超音波センサにより把握している。その理由については詳述されていないが、ステレオ視における空間位置算出は、対応画像中の特徴点の画素位置の対応関係を基にして行うのが一般的であり、特許文献１にも同様の技術が開示されている。しかし、例えば、側溝の場合、底部のエッジが撮影画像中に存在するとは限らないこともあって、エッジ位置自体が溝の上部の路面との境界位置に位置してしまい、路面上の模様（白線等）との識別が難しいという点がある。これらは、側溝に限らず、路面上の段差等においてもあてはまる。
【０００５】
そこで本発明は、画像データに基づいて路面段差のような立体物についても形状把握を可能とする立体形状検出装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明にかかる立体形状検出装置は、（１）高さ方向の異なる位置から対となる画像を撮像する撮像手段と、（２）取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、（３）対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、（４）探索した対応点の類似度を算出する類似度算出手段と、（５）上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、エッジ周辺の形状を推定する形状推定手段と、を備えていることを特徴とする。
【０００７】
高さ方向に異なる位置から対となる画像を取得することで、立体物について異なる視点からの画像を取得できる。側溝の画像を取得する場合を例に考えると、上側から取得した画像（上側カメラ画像）と、下側から取得した画像（下側カメラ画像）のそれぞれにおいて映り込む側壁部分の範囲は、上側カメラ画像のほうがより深い位置まで達する。言い換えると、側壁画像の撮像装置に近い側の路面との境界エッジの上側の領域は、上側と下側のカメラ画像では異なる範囲を撮像したものとなる。一方、下側の領域は、同じ領域を異なる角度で撮像したものとなる。路面より遠い側の境界エッジについては、上側、下側ともほぼ同一の領域を撮像したものとなる。したがって、上側領域と下側領域の相関度から、側溝等の近い側のエッジであるか否かを判定することができる。
【０００８】
具体的には、形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上小さい場合に、下側領域から上側領域に向かって下がる立体形状であると推定し、あるいは、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上大きい場合に、下側領域から上側領域に向かって下がる立体形状ではないと推定するとよい。
【０００９】
この撮像手段の高さ方向で異なる位置の間の位置から撮像対象に向けて投光する投光手段をさらに備えているとよい。この投光手段が投光する光は、可視光に限られるものではなく、例えば、撮像手段が赤外線画像を取得可能な場合には、赤外光を投光してもよい。
【００１０】
側溝を例にとると、投光手段と対向する側壁の上側には、投光手段からの光が届くが、下側領域（側壁の形状によっては、底部分）は、投光手段からの光は、反対側の側壁のエッジより投光手段側の路面によって遮られて届かず、影になる。投光手段より下側から撮像した場合には、この影部分は映り込まないが、投光手段より上側から撮像した場合には、この影部分が映り込む。つまり、影の存否から立体物を判定できる。
【００１１】
あるいは、本発明にかかる立体形状検出装置は、（１）画像を取得する撮像手段と、（２）取得した画像中のエッジを抽出するエッジ抽出手段と、（３）抽出したエッジの３次元位置を検出する第１検出手段と、（４）３次元空間内の所定の平面上に位置するエッジに挟まれている領域に検出領域を設定する設定手段と、（５）設定した検出領域の３次元位置を検出する第２検出手段と、（６）第２検出手段の検出結果に基づいて検出領域部分の立体形状を推定する形状推定手段と、を備えていることを特徴とするものでもよい。
【００１２】
本発明によれば、まず、輪郭位置であるエッジの空間位置を検出し、その空間位置が所定平面（例えば、路面）に位置しているエッジの間に検出領域を設定し、設定した検出領域の３次元空間位置を検出することで、当該２つのエッジ間が平面であるか否かを判定する。
【００１３】
具体的には、形状推定手段は、検出領域が所定の平面上に位置していない場合に、エッジに挟まれている空間が立体物であると推定するとよく、あるいは、検出領域が所定の平面上に位置している場合に、エッジに挟まれている空間は平面物であると推定してもよい。
【発明の効果】
【００１４】
本発明にかかる立体形状検出装置によれば、側溝等の路面段差が存在する場合に、エッジ位置だけでなく、エッジの上下の画像相関度を参照することで、段差と平面とを精度よく判定することが可能となる。このとき、上下の撮像手段の間から対象物に投光すると、対象物表面に形成される陰影からさらに精度よく立体形状の判定を行うことができる。
【００１５】
また、本発明にかかる別の立体形状検出装置によれば、輪郭位置を判定し、その輪郭位置間に検出領域を設定して、検出領域の空間位置を求めることで、輪郭位置間の形状を精度よく判定することができる。このため、例えば、側溝の底部画像を取得できていない場合であっても、側溝であるか否かを精度よく判定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１７】
図１は、本発明にかかる立体形状検出装置の第１の実施形態の構成を示すブロック図である。本立体形状検出装置は、車両に搭載され、障害物の検出に用いられるものであり、撮像対象物６の画像を異なる視点から撮像するステレオカメラ３と撮像対象物６を照らす投光手段４と、ステレオカメラ３の出力信号をデジタル変換するＡ／Ｄコンバータ２と、画像処理により立体形状検出を行う画像処理手段１を備え、車両挙動制御装置５に推定した形状情報を出力する。
【００１８】
画像処理手段１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。以下に説明する画像処理手段１内の各構成要素は、ハードウェア的に区分されていてもよいが、共通のハードウェア上で稼働するソフトウェアによって実現されていてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。
【００１９】
画像処理手段１は、画像中の対象物の輪郭線を検出して抽出するエッジ抽出手段１０と、対応画像中のエッジ間の対応点を探索する対応点探索手段１１と、エッジに隣接する所定の領域間での類似度を算出する類似度算出手段１２と、これらの情報を基にして撮像対象物６の立体形状を推定する形状推定手段１３とを備えている。
【００２０】
車両挙動制御装置５としては、検出した障害物等と、自車両との接触可能性を判定して、警報や回避動作支援を行う装置やレーン内の走行を維持する装置、先行車両に追従して走行する装置等が挙げられる。
【００２１】
図２にステレオカメラ３の配置例を、図３にその構成例を、図４に取得する画像の一例を示す。ステレオカメラ３は、上カメラ３０ｕと下カメラ３０ｄとを上下に配置することで、撮像対象物６を異なる高さ位置から撮像するものであり、上カメラ３０ｕと下カメラ３０ｄで取得した画像は撮像部３１に送られ、処理される。各カメラ３０ｕ、３０ｄは、広視野角のカメラであり、例えば、円周魚眼レンズや対角魚眼レンズ等を備えているとよい。このステレオカメラ３は、車両８の側面や前方、後方等に配置される。図２では、左側面に配置した例を示している。撮像対象は、車両８周囲の障害物等であって、路面９に沿って設けられた側溝９０や縁石９１等の画像を取得する。このようなステレオカメラ３で図４（ａ）に示されるような側溝９０の画像を取得した場合、上カメラ３０ｕ、下カメラ３０ｄでそれぞれ取得した画像Ｉｕ、Ｉｄは、図４（ｂ）、図４（ｃ）にそれぞれ示されるようになる（以下、最初に投光手段４を使用していない場合を例に説明する）。側溝９０の底部のエッジが両画像でともに確認できる状態にあれば底部位置から側溝９０の存在を判定できるが、図４（ｂ）（ｃ）に示されるように、側溝９０の上部エッジしか見えない場合には、エッジ部の位置情報からのみでは、間が平面であるのか、立体物であるかを判定できない。
【００２２】
本実施形態の立体形状検出装置は、図４（ｂ）（ｃ）に示されるような取得画像からでも側溝９０の存在を検知可能としたものであり、以下にその具体的な動作について説明する。図５は、その処理のメインフローチャートの前半部であり、図６は、その後半部である。この処理は、車両の電源がオンにされてからオフにされるまでの間（画像処理手段のオン／オフスイッチを有する場合には、さらにそのスイッチがオンにされている間に限る。）所定のタイミングで繰り返し実行される。
【００２３】
まず、ステレオカメラ３で取得し、Ａ／Ｄコンバータ２でデジタル信号に変換された画像信号を取得する（ステップＳ１、図４（ｂ）、（ｃ）参照）。次に、エッジ抽出手段１０により、横方向のエッジ線を抽出する（ステップＳ３）。具体的には、図７（ａ）に示される画像の側溝対応部Ｐｕ、Ｐｄの輪郭線部分のエッジ点をＳｏｂｅｌフィルタや上下方向差分等の方法で抽出し（図７（ｂ）参照）、その後、抽出したエッジ点列からＨｏｕｇｈ変換や最小自乗法により直線としてのエッジ線Ｌｕ１、Ｌｕ２、Ｌｄ１、Ｌｄ２を求める（図７（ｃ）参照）。ここで検出した横エッジ線には番号（インデックス）付けがされる。
【００２４】
次に変数ｉに初期値０を代入し（ステップＳ５）、横エッジ直線下側領域について画像間のマッチングを調べる（ステップＳ７）。具体的には、まず、図８（ａ）に示されるように、抽出した上カメラ３０ｕの画像Ｉｕ中の横エッジ曲線Ｌｕ１の直下の小領域（例えば、３×３画素領域）ａｕ１，ｄ１について、対応点探索手段１１により下カメラ３０ｄの画像Ｉｄにおいて対応するエピポーラ極線ｅ１上に位置し、かつ、横エッジ直線Ｌｄ１、Ｌｄ２直下の小領域ａｄ１，ｄ１、ａｄ２，ｄ１を探索し、類似度算出手段１２により、小領域ａｕ１，ｄ１とａｄ１，ｄ１およびａｄ２，ｄ１との相関値を求める。この相関値を算出する手法としては、正規化相関法や差分総和などのパターン認識技術を利用すればよい。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値（最大相関値）をＳＬとする。
【００２５】
次に、求めたＳＬを閾値ＴＨｓと比較する（ステップＳ９）。ＳＬがＴＨｓ以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップＳ２７へと移行する。ＳＬがＴＨｓを超えている場合には、当該対応領域候補を対応領域と判定する。図８（ｂ）の例では、小領域ａｄ１，ｄ１が小領域ａｕ１，ｄ１の対応領域となる。対応領域が確認できたらエッジ下側小領域ａｄ１，ｄ１と小領域ａｕ１，ｄ１の画像内での位置関係からステレオ視による３次元変換技術により当該領域の３次元位置ＰＬを算出する（ステップＳ１１）。これは三角測量の原理を用いることで実行できる。
【００２６】
次に、横エッジ直線上側領域について画像間のマッチングを調べる（ステップＳ１３）。処理の内容は、ステップＳ７と同様であって、図９（ａ）に示されるように、抽出した上カメラ３０ｕの画像Ｉｕ中の横エッジ曲線Ｌｕ１の直上の小領域（領域の大きさはステップＳ７の小領域と同サイズとする。）ａｕ１，ｕ１について、対応点探索手段１１により下カメラ３０ｄの画像Ｉｄにおいて対応するエピポーラ極線ｅ１上に位置し、かつ、横エッジ直線Ｌｄ１、Ｌｄ２直上の小領域ａｄ１，ｕ１、ａｄ２，ｕ１を探索し、類似度算出手段１２により相関値を求める。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値（最大相関値）をＳＵとする。
【００２７】
次に、求めたＳＵを閾値ＴＨｓと比較する（ステップＳ１５）。ＳＬがＴＨｓ以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップＳ１９へと移行する。ＳＵがＴＨｓを超えている場合には、当該対応領域候補を対応領域と判定する。図９（ｂ）の例では、小領域ａｄ１，ｕ１が小領域ａｕ１，ｕ１の対応領域となる。対応領域が確認できたらエッジ上側小領域ａｄ１，ｕ１と小領域ａｕ１，ｕ１の画像内での位置関係から当該領域の３次元位置ＰＵを算出する（ステップＳ１７）。
【００２８】
続いて形状推定手段１３は、ＳＵとＳＬの比である相関値比ＲＳを算出し（ステップＳ１９）、求めたＲＳを閾値ＴＨＲと比較する（ステップＳ２１）。このＴＨＲは、１より小さいが、１に近い数値、例えば、０．８等に設定されている。立体物の形状によって上カメラ３０ｕで取得した画像Ｉｕと下カメラ３０ｄで取得した画像Ｉｄ中の対応エッジの直上、直下に映り込む領域が異なる場合がある。領域が異なるとＳＵとＳＬが異なる値をとることになり、ＲＳが１からずれる。以下、立体形状の具体例を挙げて説明する。
【００２９】
側溝の上端の両エッジＥｄ１、Ｅｄ２の双方が両カメラ３０ｕ、３０ｄの撮像範囲にある場合を図１０、図１１に示す。この場合、上カメラ３０ｕの取得した画像Ｉｕと、下カメラ３０ｄの取得した画像Ｉｄにおいては、手前エッジＥｄ１の直下に映り込む小領域は、いずれもＥｄ１に隣接する領域ａｄ１であるが、手前エッジＥｄ１の直上に映り込む小領域は、対岸の側溝の壁面であって、Ｉｄにおいては、Ｉｕにおける領域ａｕ１により上部のａｕ２となる。この結果、上記ＲＳは１より小さくなる。
【００３０】
一方、対岸、つまり、奥側エッジＥｄ１の直上および直下に映り込む領域は、図１２、図１３に示されるように、画像Ｉｕにおいても、画像Ｉｄにおいてもａｕ３とａｄ２の組み合わせで一致する。したがって、この場合の上記ＲＳは１にほぼ等しくなる。
【００３１】
また、対岸のない下り段差の場合は図１４、図１５に示されるように、エッジＥｄ３の下側に映り込む領域は、画像Ｉｕ、Ｉｄで一致し、エッジＥｄ３に隣接する領域ａｄ３となる。一方、直上に映り込む領域は、画像Ｉｕでは、ａｕ４、画像Ｉｄでは、ａｕ５となり、画像Ｉｕのほうが、画像Ｉｄの場合よりカメラ３に近い領域が映り込む。この結果、この場合の上記ＲＳも１より小さくなる。
【００３２】
逆に上り段差においては、その手前エッジＥｄ４については、図１６、図１７に示されるように、その直上および直下に映り込む領域は、ａｕ６、ａｄ４で一致し、また、奥側エッジＥｄ５についても、図１８、図１９に示されるように、その直上および直下に映り込む領域は、ａｕ７、ａｄ５で一致する。この場合も上記ＲＳは１にほぼ等しくなる。
【００３３】
すなわち、ＲＳは、エッジが平面に存在している場合や上り段差のエッジである場合には、１にほぼ等しくなるが、下り段差のエッジ（側溝の手前エッジを含む）である場合には、１より小さくなる。これを利用して、ＲＳを判定することで、下り段差のエッジであるか否かを判定することができる。
【００３４】
ステップＳ２１においてＲＳが閾値ＴＨＲより小さいと判定した場合には、下り段差のエッジであると判定して、側溝エッジ候補としてマークをつける（ステップＳ２３）。そして、ステップＳ１１で求めた位置情報ＰＬをエッジの位置情報として記録する。一方、ＲＳが閾値ＴＨＲ以上であると判定した場合には、下り段差のエッジではないと判定し、側溝以外のエッジ候補としてマークをつける（ステップＳ２５）。この場合には、ステップＳ１７で求めた位置情報ＰＵをエッジの位置情報として記録する。
【００３５】
ステップＳ２３、Ｓ２５終了後は、ステップＳ２７へと移行し、当該横エッジ線Ｌｉの全構成点について調べたか否かを判定する。構成点の全てについて判定を終了していない場合には、ステップＳ７へと戻り、次の構成点についてステップＳ７〜Ｓ２５の処理を実行する。これにより、図８（ｃ）、図９（ｃ）に示されるようにエッジＬｕ１の左端から右端までの全構成点の直上領域と直下領域の小領域に対応する領域の検出を行い、下り段差エッジであるか否かと、その位置情報の算出を行う。
【００３６】
横エッジ線Ｌｉの全構成点についての判定が終了したら、図６に示されるステップＳ２９へと移行し、横エッジ線Ｌｉにおいて、側溝エッジ候補としてマークづけした構成点の数Ｎｇと、側溝以外のエッジ候補としてマークづけした構成点の数Ｎｃをそれぞれ数える。図２０においては、側溝エッジ候補を黒丸で、側溝以外のエッジ候補を黒三角で示している。画像取得時の条件（明るさや影の状態、カメラとの角度等）によって実際には下り段差のエッジの場合に、ＲＳが１に近いと判定して、側溝エッジ候補でないと判定する場合や、その逆に判定する場合がある。このような誤判定の影響を軽減するために、エッジ全体について側溝エッジ候補の数Ｎｇとそれ以外のエッジ候補の数Ｎｃの比率を調べることで、判定精度の向上を図る。
【００３７】
具体的には、ＮｇとＮｃの比率と閾値ＴＨＮとを比較する（ステップＳ３１）。Ｎｇ／ＮｃがＴＨＮを上回っている場合には、当該エッジＬｉを側溝エッジとしてマークづけし（ステップＳ３３）、当該エッジ線の３次元位置・姿勢を導出する（ステップＳ３５）。図２０の例では、黒丸が大部分を占める手前側エッジが側溝エッジとしてマークづけされる。このエッジ線を構成する点上、または、そのエッジ点直下や直上の小領域の３次元情報を用いて、Ｈｏｕｇｈ変換や最小自乗法等の手法を用いて当該エッジの３次元直線式を導出すればよい。この直線式は、例えば以下の式（１）で表せる。
【００３８】
【数１】
【００３９】
なお、ｘ１、ｙ１、ｚ１、ａ１、ｂ１、ｃ１はいずれも定数である。
【００４０】
一方、Ｎｇ／ＮｃがＴＨＮ以下の場合には、当該エッジＬｉを側溝以外エッジとしてマークづけし（ステップＳ３７）、当該エッジ線の３次元位置・姿勢を導出する（ステップＳ３９）。図２０の例では、黒三角が大部分を占める奥側エッジが側溝以外エッジとしてマークづけされる。空間位置の算出手法は、上述した側溝エッジの場合と同じ手法を用いればよい。
【００４１】
ステップＳ３５、Ｓ３９終了後は、ステップＳ４１へと移行し、画像内の全ての横エッジ線について判定を終了したか否かを調べる。終了していない場合には、ステップＳ４３へと移行して、変数ｉに１を加算し、ステップＳ７へと戻ることにより、次のエッジ線についての調査を行う。
【００４２】
全てのエッジ線について調査が終了したらステップＳ４５へと移行し、画面内に側溝エッジ線が存在するか否かを調べる。側溝エッジ線が存在しない場合には、その後の処理をスキップして処理を終了する。側溝エッジ線が存在する場合には、変数ｊを初期値０に設定し（ステップＳ４７）、側溝エッジ線Ｌｇｉ（手前エッジ）に対応する奥側エッジの探索を行う（ステップＳ４９）。具体的には、側溝エッジ線Ｌｇｉと並行で、かつ、それより上（奥側）に位置し、かつ、最も近接している横エッジ線Ｌｏを探索する。
【００４３】
例として、側溝エッジ線が上記式（１）で別のエッジ線が下記式（２）で表される場合を考える。（ここで、ｘ２、ｙ２、ｚ２、ａ２、ｂ２、ｃ２も定数である。
【００４４】
【数２】
【００４５】
上記の２直線がなす角度θ１２は、下記の式（３）で求めることができる。
【００４６】
【数３】
【００４７】
θ１２の絶対値が閾値ＴＨθより小さいとき（例えば、５°未満）の場合に、２直線はほぼ平行であると判定すればよい。
【００４８】
横エッジ線Ｌｏの探索が成功したか否かを判定し（ステップＳ５１）、成功した、つまり、Ｌｏが存在した場合には、ステップＳ５３へと移行してＬｏを対岸エッジとして、側溝の幅、見掛けの深さ等を算出する。側溝の幅Ｄ１２は２直線間の距離として算出でき、下記の（４）式によって表すことができる。
【００４９】
【数４】
【００５０】
また、車両８と側溝９０の位置関係が、図２１に示されるような関係である場合に、側溝までの距離ｄと、側溝の伸長方向と車両８から横向きに伸ばした延長線とのなす角度φは下記の式（５）、（６）で表される。
【００５１】
【数５】
【００５２】
一方、Ｌｏが存在しない場合には、対岸が撮像領域内に存在しないか、対岸のない単純な下り段差である場合を意味する。この場合は、ステップＳ５５へと移行して、段差または対岸が壁であると判断し、その旨を表す情報を記録する。
【００５３】
ステップＳ５３、Ｓ５５終了後は、求めた側溝情報を出力する（ステップＳ５７）。そして、全ての側溝エッジ線について対応する横エッジ線の探索を終了したか否かを判定する（ステップＳ５９）。判定が未了の場合には、ステップＳ６１へと移行し、ｊを１加算して、次の側溝エッジ線について対応横エッジ線の探索処理を行う。一方、判定が終了した場合には、全処理を終了する。
【００５４】
以上説明したように、本発明によれば、エッジ抽出によって検出した物体の輪郭位置だけでなく、エッジ直上直下の領域の類似度を判定することで、側溝等の立体物の存在を判定することができる。これにより、側溝を障害物として正しく認識し、車両挙動制御装置５において適切な車両挙動制御（例えば、障害物回避制御等）を行うことができ、安全性がさらに向上する。
【００５５】
さらに、投光手段４を活用することで、検出を容易にすることができる。図２２（ａ）は投光手段４により照明光を被写体に向けて照射した場合の関係図を、図２２（ｂ）、（ｃ）はこの場合に取得される上カメラ画像Ｉｕと、下カメラ画像Ｉｄを示している。ここで、投光手段４により照射される照明光は、上カメラ３０ｕ、下カメラ３０ｄにおいて検出可能であれば赤外光や紫外光など可視光線に限られるものではない。
【００５６】
上カメラ３０ｕと下カメラ３０ｄの間に配置される投光手段４により投影した光の投光エリア４０は、図２２（ａ）に示されるようになり、手前エッジＥｄ１に対向する壁面の上側は投光エリア４０内に位置するが、下側は、手前エッジＥｄ１の影となる。このため、画像Ｉｄにおいて手前エッジＥｄ１の直上に映り込む領域ａｕ２は投光エリア４０内に位置し、比較的高い輝度値を有するのに対して、画像Ｉｕにおいて手前エッジＥｄ１の直上に映り込む領域ａｕ１は投光エリア４０の外の影Ｓ１内に位置し、比較的低い輝度値を有することになる。そのため、輝度差が大きくなり、その相関値は低いものとなる。これにより、手前エッジの検出が容易になり、側溝等をより精度良く判定することが可能となる。
【００５７】
以上の説明では、上カメラ３０ｕと下カメラ３０ｄの２つのカメラにより上下ステレオ画像を撮像する例を説明したが、ステレオ画像の取得は必ずしも２台のカメラを要するものではない。図２３は、１台のカメラで上下ステレオ画像を撮像できるステレオカメラ３ａの構成を示す概略図である。このカメラ３ａは、ＣＣＤやＣＭＯＳ等の固体撮像素子あるいは撮像管等を備えるカメラ本体３４の光学系３３の全面に対称構造のレンズ３５ｕ、３５ｄ、ミラー３６ｕ、３７ｕ、３６ｄ、３７ｄを配置している。レンズ３５ｕとレンズ３５ｄの光軸が平行で、かつ、所定距離（図では５０ｍｍ程度）離れるよう配置することで、取得した１画面中の上半分が上カメラ画像Ｉｕ、下半分が下カメラ画像Ｉｄに相当することになる。このようなカメラを用いると、車両８に上下ステレオカメラを設置する際に、上下カメラ間で光軸の調整や配置間隔の調整を行う必要がなく、その設置が容易になるほか、配置精度を高めることができるので、結果的に立体物の認識精度を高めることができる。
【００５８】
また、以上の説明では、上下ステレオ視の場合を例に説明したが、左右ステレオ視の場合や角度をもって配置されたステレオカメラの場合においても同様の手法により通常のステレオ視処理のみでは判定が困難な立体物形状を判定することが可能である。
【００５９】
次に、本発明にかかる立体形状検出装置の第２の実施形態について説明する。図２４は、この第２の実施形態の構成を示すブロック図である。ここでは、上述のステレオカメラ３ａを用いた場合を例に説明する。カメラ３ａの出力は、Ａ／Ｄコンバータ２で変換され、画像処理手段１ａへと送られる。この画像処理手段１ａは、図１に示される第１の実施形態の画像処理手段と同様にＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、各構成要素はハードウェアまたはソフトウェアによって実現される。
【００６０】
画像処理手段１ａは、画像内の横エッジを抽出するエッジ抽出手段１０と、抽出したエッジの３次元位置を検出する第１空間位置検出手段１４と、その結果を基にして検出領域の設定を行う検出領域設定手段１５と、設定した検出領域の３次元位置を検出する第２空間位置検出手段１６と、その検出結果に応じて対象物の立体形状を推定する形状推定手段１７とを備えている。
【００６１】
画像処理手段１ａには、車両の現在位置を検出するとともに、地図ＤＢ５０に格納された地図情報を読み出すナビゲーション装置５１の出力が入力されており、また、第１の実施形態と同様に車両挙動制御装置５に対して、推定した立体形状に関する情報を出力する。
【００６２】
この実施形態の動作である立体物検出処理のフローチャートを図２５に示す。まず、ステップＳ１０１では、図２６（ａ）に示されるような画像をカメラ３ａにより取得する。次に、取得した画像中からエッジ抽出手段１０が横方向エッジを抽出する（ステップＳ１０３、図２６（ｂ）参照）。エッジ抽出処理自体は上述した第１の実施形態におけるステップＳ３の処理手法と同様の手法を用いればよい。
【００６３】
次に、車両位置・姿勢・包囲情報をナビゲーション装置５１から取得する（ステップＳ１０５）。そして、地図ＤＢ５０から位置情報を読み込むとともに、車両の走行軌跡、現在車両位置情報の対応づけを行う（ステップＳ１０７）。そして、地図ＤＢ５０から道路構造物の相対位置情報を取得する（ステップＳ１０９）。取得した道路構造物の相対位置情報から当該構造物の画像内の位置を予測し、探索範囲を設定する（ステップＳ１１１）。
【００６４】
設定した探索範囲に基づいて対応点探索手段１１は、上下画像間でエッジの対応点を探索する（ステップＳ１１３、図２６（ｃ）参照）。ここで、上下画像においてエッジの対応点は、図２６（ｃ）中に符号ｅで示す同一のエピポーラ極線上に位置する。この関係と、画像内における類似度を利用して対応点を検出する。
【００６５】
対応点を検出したら、第１空間位置検出手段１４は、ステレオ視の手法によってその３次元位置を導出する（ステップＳ１１５）。検出した横エッジの３次元位置の一例を図２７（ａ）、（ｂ）、図２８に示す。図２７（ａ）は斜視図であり、図２７（ｂ）はそれを車両前方方向から見た断面図である。また、図２８は、図２７（ｂ）に対応する図を車両８とともに示す図である。
【００６６】
検出領域設定手段１５は、３次元位置検出結果を基にして、自車両８が乗っている平面９からの距離が閾値Ｔｈ１以内の点（エッジ）を抽出する（ステップＳ１１７）。図２８に示される例では、Ｅｄ−ｃ〜Ｅｄ−ｅが相当する。図２９は、実際の画像Ｉｕ、ＩｄにおけるこれらのエッジＥｄ−ｃ〜Ｅｄ−ｅ位置を示している。検出領域設定手段１５は、さらに、抽出した平面上に位置するエッジ（それに近い位置に位置するエッジを含む）の間に小領域Ｒｉを設定し、第２空間位置検出手段１６によりその空間位置を導出する（ステップＳ１１９）。例えば、図２９、図３０に示されるように、下画像Ｉｄ内のＥｄ−ｄとＥｄ−ｅ間に小領域ａＡ〜ａＣを配置する。そして、上画像のＥｄ−ｄとＥｄ−ｅ間に小領域ａＡ〜ａＣに対応する領域を探索し、ステレオ視の手法によってそれらの３次元位置を導出する。
【００６７】
形状推定手段１７は、求めた小領域Ｒｉとこれを挟み込むエッジの空間位置関係を判定する（ステップＳ１２１）。例えば、図３１（ａ）に示されるように、小領域ａＡ〜ａＣが奥側エッジＥｄ−ｄと同じ垂直面上に位置し、平面９から閾値Ｔｈ２より低い位置にあれば、ステップＳ１２３へ移行して側溝と判定する。一方、図３１（ｂ）に示されるように、小領域ａＡ〜ａＣがエッジＥｄ−ｃとＥｄ−ｄとほぼ同じ水平面上に位置していれば、ステップＳ１２５へ移行して側溝でないと判定する。ステップＳ１２３、Ｓ１２５終了後は、ステップＳ１２７へと移行し、判定結果を出力する。車両挙動制御装置５は、判定結果に応じて所望の車両挙動制御を実施する。
【００６８】
このようにエッジのみでなく、エッジに挟まれた小領域について対応をとり、その３次元空間位置を算出することで、例えば、底部の画像を取得できていない側溝のようにエッジからでは、その立体形状を正確に把握することができない立体物についても精度良くその形状を把握することが可能となる。
【００６９】
ここでは、車両の乗っている平面上のエッジについて判定を行ったが、それ以外の平面、例えば、図２８におけるＥｄ−ａとＥｄ−ｂを含む平面について判定を行ってもよい。また、以上の例では、ステレオカメラ３ａを用いた場合について説明してきたが、例えば、時系列画像を用いてモーションベースステレオ手法によって３次元位置検出を行ってもよい。あるいは、レーザスキャナの出力を用いて判定を行ってもよい。
【００７０】
また、ここでは、地図ＤＢ５０やナビゲーション装置５１を用いて予め探索される物体（ガードレール等）の位置情報から画像内での位置を予測し、予測結果に基づいて検出を行う例を説明したが、このような物体の位置情報を用いることなく、画像のみから立体物を検出する場合であっても本発明は好適に適用可能である。
【００７１】
以上の説明では、車両に搭載した場合を例に説明してきたが、本発明にかかる立体形状検出装置は、車載用に限られるものではなく、例えば、ロボット用のカメラや各種の検査機器、監視用カメラ等に用いることができる。
【図面の簡単な説明】
【００７２】
【図１】本発明にかかる立体形状検出装置の第１の実施形態の構成を示すブロック図である。
【図２】図１のステレオカメラ３の配置例を示す。
【図３】図２のステレオカメラ３の構成例を示す。
【図４】図３のステレオカメラ３で取得する画像の一例を示す。
【図５】図１の実施形態による立体形状検出処理のフローチャートの前半部である。
【図６】図１の実施形態による立体形状検出処理のフローチャートの後半部である。
【図７】エッジ抽出手法を説明する図である。
【図８】エッジの直下領域の類似度算出処理例を説明する図である。
【図９】エッジの直上領域の類似度算出処理例を説明する図である。
【図１０】側溝の上端の両エッジがカメラの撮像範囲にある場合の手前エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１１】図１０の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１２】側溝の上端の両エッジがカメラの撮像範囲にある場合の奥側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１３】図１２の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１４】下り段差を撮像した場合のエッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１５】図１４の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１６】上り段差の両エッジがカメラの撮像範囲にある場合の手前側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１７】図１６の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１８】上り段差の両エッジがカメラの撮像範囲にある場合の奥側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１９】図１８の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図２０】側溝エッジ候補と、側溝エッジ以外候補としての構成点のマークづけ例を示す図である。
【図２１】車両に対する側溝の位置関係情報を説明する図である。
【図２２】第１実施形態における投光手段の使用例を説明する図である。
【図２３】ステレオカメラの別の実施形態を説明する図である。
【図２４】本発明にかかる立体形状検出装置の第２の実施形態の構成を示すブロック図である。
【図２５】図２４に示す第２の実施形態による立体物検出処理のフローチャートである。
【図２６】図２５の処理におけるエッジ抽出処理を説明する図である。
【図２７】検出した横エッジの３次元位置の一例を説明する図である。
【図２８】図２７に対応して車両と横エッジの位置関係を示す図である。
【図２９】エッジの空間位置と画像中での位置関係を示す図である。
【図３０】エッジ間の小領域の設定例を示す図である。
【図３１】小領域の空間位置の判定例を説明する図である。
【符号の説明】
【００７３】
１、１ａ…画像処理手段、２…Ａ／Ｄコンバータ、３、３ａ…ステレオカメラ、４…投光手段、５…車両挙動制御装置、６…撮像対象物、８…車両、９…平面、１０…エッジ抽出手段、１１…対応点探索手段、１２…類似度算出手段、１３…形状推定手段、１４…第１空間位置検出手段、１５…検出領域設定手段、１６…第２空間位置検出手段、１７…形状推定手段、３０ｄ…下カメラ、３０ｕ…上カメラ、３１…撮像部、３３…光学系、３４…カメラ本体、３５ｕ、３５ｄ…レンズ、３６ｕ、３６ｄ、３７ｕ、３７ｄ…ミラー、４０…投光エリア、５０…地図ＤＢ、５１…ナビゲーション装置、９０…側溝、９１…縁石、ｅ１…エピポーラ極線、Ｅｄ…エッジ、Ｉｄ…下カメラ画像、Ｉｕ…上カメラ画像。
【技術分野】
【０００１】
本発明は、車両周辺の障害物検出等に用いることができる画像を用いた立体形状検出装置に関する。
【背景技術】
【０００２】
自動車の周辺状況を把握して運転者に提供することで運転支援を行う各種の運転支援システムの開発が進められている。こうした運転支援システムの一つとしてガードレールや側壁、駐車車両等の障害物を認識して、自車両との接触可能性を評価し、接触可能性があると判定した場合に、運転者に対して報知や回避制御を行うシステムがある（例えば、特許文献１参照）。
【０００３】
同文献には、ＣＣＤカメラや超音波センサにより、車両進路方向における三次元距離分布を把握して道路形状と障害物を把握し、自車両の形状との対比により、接触可能性の判定を行う技術が記載されている。
【特許文献１】特開平１０−２８３５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この技術においては、道路上の障害物、例えば、電柱や駐車車両、対向車両等については、ステレオ視技術によりその３次元情報を求める手法がとられているが、側溝等の路面より下の障害物は超音波センサにより把握している。その理由については詳述されていないが、ステレオ視における空間位置算出は、対応画像中の特徴点の画素位置の対応関係を基にして行うのが一般的であり、特許文献１にも同様の技術が開示されている。しかし、例えば、側溝の場合、底部のエッジが撮影画像中に存在するとは限らないこともあって、エッジ位置自体が溝の上部の路面との境界位置に位置してしまい、路面上の模様（白線等）との識別が難しいという点がある。これらは、側溝に限らず、路面上の段差等においてもあてはまる。
【０００５】
そこで本発明は、画像データに基づいて路面段差のような立体物についても形状把握を可能とする立体形状検出装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明にかかる立体形状検出装置は、（１）高さ方向の異なる位置から対となる画像を撮像する撮像手段と、（２）取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、（３）対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、（４）探索した対応点の類似度を算出する類似度算出手段と、（５）上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、エッジ周辺の形状を推定する形状推定手段と、を備えていることを特徴とする。
【０００７】
高さ方向に異なる位置から対となる画像を取得することで、立体物について異なる視点からの画像を取得できる。側溝の画像を取得する場合を例に考えると、上側から取得した画像（上側カメラ画像）と、下側から取得した画像（下側カメラ画像）のそれぞれにおいて映り込む側壁部分の範囲は、上側カメラ画像のほうがより深い位置まで達する。言い換えると、側壁画像の撮像装置に近い側の路面との境界エッジの上側の領域は、上側と下側のカメラ画像では異なる範囲を撮像したものとなる。一方、下側の領域は、同じ領域を異なる角度で撮像したものとなる。路面より遠い側の境界エッジについては、上側、下側ともほぼ同一の領域を撮像したものとなる。したがって、上側領域と下側領域の相関度から、側溝等の近い側のエッジであるか否かを判定することができる。
【０００８】
具体的には、形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上小さい場合に、下側領域から上側領域に向かって下がる立体形状であると推定し、あるいは、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上大きい場合に、下側領域から上側領域に向かって下がる立体形状ではないと推定するとよい。
【０００９】
この撮像手段の高さ方向で異なる位置の間の位置から撮像対象に向けて投光する投光手段をさらに備えているとよい。この投光手段が投光する光は、可視光に限られるものではなく、例えば、撮像手段が赤外線画像を取得可能な場合には、赤外光を投光してもよい。
【００１０】
側溝を例にとると、投光手段と対向する側壁の上側には、投光手段からの光が届くが、下側領域（側壁の形状によっては、底部分）は、投光手段からの光は、反対側の側壁のエッジより投光手段側の路面によって遮られて届かず、影になる。投光手段より下側から撮像した場合には、この影部分は映り込まないが、投光手段より上側から撮像した場合には、この影部分が映り込む。つまり、影の存否から立体物を判定できる。
【００１１】
あるいは、本発明にかかる立体形状検出装置は、（１）画像を取得する撮像手段と、（２）取得した画像中のエッジを抽出するエッジ抽出手段と、（３）抽出したエッジの３次元位置を検出する第１検出手段と、（４）３次元空間内の所定の平面上に位置するエッジに挟まれている領域に検出領域を設定する設定手段と、（５）設定した検出領域の３次元位置を検出する第２検出手段と、（６）第２検出手段の検出結果に基づいて検出領域部分の立体形状を推定する形状推定手段と、を備えていることを特徴とするものでもよい。
【００１２】
本発明によれば、まず、輪郭位置であるエッジの空間位置を検出し、その空間位置が所定平面（例えば、路面）に位置しているエッジの間に検出領域を設定し、設定した検出領域の３次元空間位置を検出することで、当該２つのエッジ間が平面であるか否かを判定する。
【００１３】
具体的には、形状推定手段は、検出領域が所定の平面上に位置していない場合に、エッジに挟まれている空間が立体物であると推定するとよく、あるいは、検出領域が所定の平面上に位置している場合に、エッジに挟まれている空間は平面物であると推定してもよい。
【発明の効果】
【００１４】
本発明にかかる立体形状検出装置によれば、側溝等の路面段差が存在する場合に、エッジ位置だけでなく、エッジの上下の画像相関度を参照することで、段差と平面とを精度よく判定することが可能となる。このとき、上下の撮像手段の間から対象物に投光すると、対象物表面に形成される陰影からさらに精度よく立体形状の判定を行うことができる。
【００１５】
また、本発明にかかる別の立体形状検出装置によれば、輪郭位置を判定し、その輪郭位置間に検出領域を設定して、検出領域の空間位置を求めることで、輪郭位置間の形状を精度よく判定することができる。このため、例えば、側溝の底部画像を取得できていない場合であっても、側溝であるか否かを精度よく判定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１７】
図１は、本発明にかかる立体形状検出装置の第１の実施形態の構成を示すブロック図である。本立体形状検出装置は、車両に搭載され、障害物の検出に用いられるものであり、撮像対象物６の画像を異なる視点から撮像するステレオカメラ３と撮像対象物６を照らす投光手段４と、ステレオカメラ３の出力信号をデジタル変換するＡ／Ｄコンバータ２と、画像処理により立体形状検出を行う画像処理手段１を備え、車両挙動制御装置５に推定した形状情報を出力する。
【００１８】
画像処理手段１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されている。以下に説明する画像処理手段１内の各構成要素は、ハードウェア的に区分されていてもよいが、共通のハードウェア上で稼働するソフトウェアによって実現されていてもよい。これらのソフトウェアは別々のプログラム、サブルーチン等によって構成される場合もあるが、一部またはその大部分のルーチンを共有していてもよい。
【００１９】
画像処理手段１は、画像中の対象物の輪郭線を検出して抽出するエッジ抽出手段１０と、対応画像中のエッジ間の対応点を探索する対応点探索手段１１と、エッジに隣接する所定の領域間での類似度を算出する類似度算出手段１２と、これらの情報を基にして撮像対象物６の立体形状を推定する形状推定手段１３とを備えている。
【００２０】
車両挙動制御装置５としては、検出した障害物等と、自車両との接触可能性を判定して、警報や回避動作支援を行う装置やレーン内の走行を維持する装置、先行車両に追従して走行する装置等が挙げられる。
【００２１】
図２にステレオカメラ３の配置例を、図３にその構成例を、図４に取得する画像の一例を示す。ステレオカメラ３は、上カメラ３０ｕと下カメラ３０ｄとを上下に配置することで、撮像対象物６を異なる高さ位置から撮像するものであり、上カメラ３０ｕと下カメラ３０ｄで取得した画像は撮像部３１に送られ、処理される。各カメラ３０ｕ、３０ｄは、広視野角のカメラであり、例えば、円周魚眼レンズや対角魚眼レンズ等を備えているとよい。このステレオカメラ３は、車両８の側面や前方、後方等に配置される。図２では、左側面に配置した例を示している。撮像対象は、車両８周囲の障害物等であって、路面９に沿って設けられた側溝９０や縁石９１等の画像を取得する。このようなステレオカメラ３で図４（ａ）に示されるような側溝９０の画像を取得した場合、上カメラ３０ｕ、下カメラ３０ｄでそれぞれ取得した画像Ｉｕ、Ｉｄは、図４（ｂ）、図４（ｃ）にそれぞれ示されるようになる（以下、最初に投光手段４を使用していない場合を例に説明する）。側溝９０の底部のエッジが両画像でともに確認できる状態にあれば底部位置から側溝９０の存在を判定できるが、図４（ｂ）（ｃ）に示されるように、側溝９０の上部エッジしか見えない場合には、エッジ部の位置情報からのみでは、間が平面であるのか、立体物であるかを判定できない。
【００２２】
本実施形態の立体形状検出装置は、図４（ｂ）（ｃ）に示されるような取得画像からでも側溝９０の存在を検知可能としたものであり、以下にその具体的な動作について説明する。図５は、その処理のメインフローチャートの前半部であり、図６は、その後半部である。この処理は、車両の電源がオンにされてからオフにされるまでの間（画像処理手段のオン／オフスイッチを有する場合には、さらにそのスイッチがオンにされている間に限る。）所定のタイミングで繰り返し実行される。
【００２３】
まず、ステレオカメラ３で取得し、Ａ／Ｄコンバータ２でデジタル信号に変換された画像信号を取得する（ステップＳ１、図４（ｂ）、（ｃ）参照）。次に、エッジ抽出手段１０により、横方向のエッジ線を抽出する（ステップＳ３）。具体的には、図７（ａ）に示される画像の側溝対応部Ｐｕ、Ｐｄの輪郭線部分のエッジ点をＳｏｂｅｌフィルタや上下方向差分等の方法で抽出し（図７（ｂ）参照）、その後、抽出したエッジ点列からＨｏｕｇｈ変換や最小自乗法により直線としてのエッジ線Ｌｕ１、Ｌｕ２、Ｌｄ１、Ｌｄ２を求める（図７（ｃ）参照）。ここで検出した横エッジ線には番号（インデックス）付けがされる。
【００２４】
次に変数ｉに初期値０を代入し（ステップＳ５）、横エッジ直線下側領域について画像間のマッチングを調べる（ステップＳ７）。具体的には、まず、図８（ａ）に示されるように、抽出した上カメラ３０ｕの画像Ｉｕ中の横エッジ曲線Ｌｕ１の直下の小領域（例えば、３×３画素領域）ａｕ１，ｄ１について、対応点探索手段１１により下カメラ３０ｄの画像Ｉｄにおいて対応するエピポーラ極線ｅ１上に位置し、かつ、横エッジ直線Ｌｄ１、Ｌｄ２直下の小領域ａｄ１，ｄ１、ａｄ２，ｄ１を探索し、類似度算出手段１２により、小領域ａｕ１，ｄ１とａｄ１，ｄ１およびａｄ２，ｄ１との相関値を求める。この相関値を算出する手法としては、正規化相関法や差分総和などのパターン認識技術を利用すればよい。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値（最大相関値）をＳＬとする。
【００２５】
次に、求めたＳＬを閾値ＴＨｓと比較する（ステップＳ９）。ＳＬがＴＨｓ以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップＳ２７へと移行する。ＳＬがＴＨｓを超えている場合には、当該対応領域候補を対応領域と判定する。図８（ｂ）の例では、小領域ａｄ１，ｄ１が小領域ａｕ１，ｄ１の対応領域となる。対応領域が確認できたらエッジ下側小領域ａｄ１，ｄ１と小領域ａｕ１，ｄ１の画像内での位置関係からステレオ視による３次元変換技術により当該領域の３次元位置ＰＬを算出する（ステップＳ１１）。これは三角測量の原理を用いることで実行できる。
【００２６】
次に、横エッジ直線上側領域について画像間のマッチングを調べる（ステップＳ１３）。処理の内容は、ステップＳ７と同様であって、図９（ａ）に示されるように、抽出した上カメラ３０ｕの画像Ｉｕ中の横エッジ曲線Ｌｕ１の直上の小領域（領域の大きさはステップＳ７の小領域と同サイズとする。）ａｕ１，ｕ１について、対応点探索手段１１により下カメラ３０ｄの画像Ｉｄにおいて対応するエピポーラ極線ｅ１上に位置し、かつ、横エッジ直線Ｌｄ１、Ｌｄ２直上の小領域ａｄ１，ｕ１、ａｄ２，ｕ１を探索し、類似度算出手段１２により相関値を求める。そして、最も相関値の高い小領域を対応領域候補とする。この対応領域候補の相関値（最大相関値）をＳＵとする。
【００２７】
次に、求めたＳＵを閾値ＴＨｓと比較する（ステップＳ１５）。ＳＬがＴＨｓ以下の場合には、当該対応領域候補は対応領域には該当しないと判定して、後述するステップＳ１９へと移行する。ＳＵがＴＨｓを超えている場合には、当該対応領域候補を対応領域と判定する。図９（ｂ）の例では、小領域ａｄ１，ｕ１が小領域ａｕ１，ｕ１の対応領域となる。対応領域が確認できたらエッジ上側小領域ａｄ１，ｕ１と小領域ａｕ１，ｕ１の画像内での位置関係から当該領域の３次元位置ＰＵを算出する（ステップＳ１７）。
【００２８】
続いて形状推定手段１３は、ＳＵとＳＬの比である相関値比ＲＳを算出し（ステップＳ１９）、求めたＲＳを閾値ＴＨＲと比較する（ステップＳ２１）。このＴＨＲは、１より小さいが、１に近い数値、例えば、０．８等に設定されている。立体物の形状によって上カメラ３０ｕで取得した画像Ｉｕと下カメラ３０ｄで取得した画像Ｉｄ中の対応エッジの直上、直下に映り込む領域が異なる場合がある。領域が異なるとＳＵとＳＬが異なる値をとることになり、ＲＳが１からずれる。以下、立体形状の具体例を挙げて説明する。
【００２９】
側溝の上端の両エッジＥｄ１、Ｅｄ２の双方が両カメラ３０ｕ、３０ｄの撮像範囲にある場合を図１０、図１１に示す。この場合、上カメラ３０ｕの取得した画像Ｉｕと、下カメラ３０ｄの取得した画像Ｉｄにおいては、手前エッジＥｄ１の直下に映り込む小領域は、いずれもＥｄ１に隣接する領域ａｄ１であるが、手前エッジＥｄ１の直上に映り込む小領域は、対岸の側溝の壁面であって、Ｉｄにおいては、Ｉｕにおける領域ａｕ１により上部のａｕ２となる。この結果、上記ＲＳは１より小さくなる。
【００３０】
一方、対岸、つまり、奥側エッジＥｄ１の直上および直下に映り込む領域は、図１２、図１３に示されるように、画像Ｉｕにおいても、画像Ｉｄにおいてもａｕ３とａｄ２の組み合わせで一致する。したがって、この場合の上記ＲＳは１にほぼ等しくなる。
【００３１】
また、対岸のない下り段差の場合は図１４、図１５に示されるように、エッジＥｄ３の下側に映り込む領域は、画像Ｉｕ、Ｉｄで一致し、エッジＥｄ３に隣接する領域ａｄ３となる。一方、直上に映り込む領域は、画像Ｉｕでは、ａｕ４、画像Ｉｄでは、ａｕ５となり、画像Ｉｕのほうが、画像Ｉｄの場合よりカメラ３に近い領域が映り込む。この結果、この場合の上記ＲＳも１より小さくなる。
【００３２】
逆に上り段差においては、その手前エッジＥｄ４については、図１６、図１７に示されるように、その直上および直下に映り込む領域は、ａｕ６、ａｄ４で一致し、また、奥側エッジＥｄ５についても、図１８、図１９に示されるように、その直上および直下に映り込む領域は、ａｕ７、ａｄ５で一致する。この場合も上記ＲＳは１にほぼ等しくなる。
【００３３】
すなわち、ＲＳは、エッジが平面に存在している場合や上り段差のエッジである場合には、１にほぼ等しくなるが、下り段差のエッジ（側溝の手前エッジを含む）である場合には、１より小さくなる。これを利用して、ＲＳを判定することで、下り段差のエッジであるか否かを判定することができる。
【００３４】
ステップＳ２１においてＲＳが閾値ＴＨＲより小さいと判定した場合には、下り段差のエッジであると判定して、側溝エッジ候補としてマークをつける（ステップＳ２３）。そして、ステップＳ１１で求めた位置情報ＰＬをエッジの位置情報として記録する。一方、ＲＳが閾値ＴＨＲ以上であると判定した場合には、下り段差のエッジではないと判定し、側溝以外のエッジ候補としてマークをつける（ステップＳ２５）。この場合には、ステップＳ１７で求めた位置情報ＰＵをエッジの位置情報として記録する。
【００３５】
ステップＳ２３、Ｓ２５終了後は、ステップＳ２７へと移行し、当該横エッジ線Ｌｉの全構成点について調べたか否かを判定する。構成点の全てについて判定を終了していない場合には、ステップＳ７へと戻り、次の構成点についてステップＳ７〜Ｓ２５の処理を実行する。これにより、図８（ｃ）、図９（ｃ）に示されるようにエッジＬｕ１の左端から右端までの全構成点の直上領域と直下領域の小領域に対応する領域の検出を行い、下り段差エッジであるか否かと、その位置情報の算出を行う。
【００３６】
横エッジ線Ｌｉの全構成点についての判定が終了したら、図６に示されるステップＳ２９へと移行し、横エッジ線Ｌｉにおいて、側溝エッジ候補としてマークづけした構成点の数Ｎｇと、側溝以外のエッジ候補としてマークづけした構成点の数Ｎｃをそれぞれ数える。図２０においては、側溝エッジ候補を黒丸で、側溝以外のエッジ候補を黒三角で示している。画像取得時の条件（明るさや影の状態、カメラとの角度等）によって実際には下り段差のエッジの場合に、ＲＳが１に近いと判定して、側溝エッジ候補でないと判定する場合や、その逆に判定する場合がある。このような誤判定の影響を軽減するために、エッジ全体について側溝エッジ候補の数Ｎｇとそれ以外のエッジ候補の数Ｎｃの比率を調べることで、判定精度の向上を図る。
【００３７】
具体的には、ＮｇとＮｃの比率と閾値ＴＨＮとを比較する（ステップＳ３１）。Ｎｇ／ＮｃがＴＨＮを上回っている場合には、当該エッジＬｉを側溝エッジとしてマークづけし（ステップＳ３３）、当該エッジ線の３次元位置・姿勢を導出する（ステップＳ３５）。図２０の例では、黒丸が大部分を占める手前側エッジが側溝エッジとしてマークづけされる。このエッジ線を構成する点上、または、そのエッジ点直下や直上の小領域の３次元情報を用いて、Ｈｏｕｇｈ変換や最小自乗法等の手法を用いて当該エッジの３次元直線式を導出すればよい。この直線式は、例えば以下の式（１）で表せる。
【００３８】
【数１】
【００３９】
なお、ｘ１、ｙ１、ｚ１、ａ１、ｂ１、ｃ１はいずれも定数である。
【００４０】
一方、Ｎｇ／ＮｃがＴＨＮ以下の場合には、当該エッジＬｉを側溝以外エッジとしてマークづけし（ステップＳ３７）、当該エッジ線の３次元位置・姿勢を導出する（ステップＳ３９）。図２０の例では、黒三角が大部分を占める奥側エッジが側溝以外エッジとしてマークづけされる。空間位置の算出手法は、上述した側溝エッジの場合と同じ手法を用いればよい。
【００４１】
ステップＳ３５、Ｓ３９終了後は、ステップＳ４１へと移行し、画像内の全ての横エッジ線について判定を終了したか否かを調べる。終了していない場合には、ステップＳ４３へと移行して、変数ｉに１を加算し、ステップＳ７へと戻ることにより、次のエッジ線についての調査を行う。
【００４２】
全てのエッジ線について調査が終了したらステップＳ４５へと移行し、画面内に側溝エッジ線が存在するか否かを調べる。側溝エッジ線が存在しない場合には、その後の処理をスキップして処理を終了する。側溝エッジ線が存在する場合には、変数ｊを初期値０に設定し（ステップＳ４７）、側溝エッジ線Ｌｇｉ（手前エッジ）に対応する奥側エッジの探索を行う（ステップＳ４９）。具体的には、側溝エッジ線Ｌｇｉと並行で、かつ、それより上（奥側）に位置し、かつ、最も近接している横エッジ線Ｌｏを探索する。
【００４３】
例として、側溝エッジ線が上記式（１）で別のエッジ線が下記式（２）で表される場合を考える。（ここで、ｘ２、ｙ２、ｚ２、ａ２、ｂ２、ｃ２も定数である。
【００４４】
【数２】
【００４５】
上記の２直線がなす角度θ１２は、下記の式（３）で求めることができる。
【００４６】
【数３】
【００４７】
θ１２の絶対値が閾値ＴＨθより小さいとき（例えば、５°未満）の場合に、２直線はほぼ平行であると判定すればよい。
【００４８】
横エッジ線Ｌｏの探索が成功したか否かを判定し（ステップＳ５１）、成功した、つまり、Ｌｏが存在した場合には、ステップＳ５３へと移行してＬｏを対岸エッジとして、側溝の幅、見掛けの深さ等を算出する。側溝の幅Ｄ１２は２直線間の距離として算出でき、下記の（４）式によって表すことができる。
【００４９】
【数４】
【００５０】
また、車両８と側溝９０の位置関係が、図２１に示されるような関係である場合に、側溝までの距離ｄと、側溝の伸長方向と車両８から横向きに伸ばした延長線とのなす角度φは下記の式（５）、（６）で表される。
【００５１】
【数５】
【００５２】
一方、Ｌｏが存在しない場合には、対岸が撮像領域内に存在しないか、対岸のない単純な下り段差である場合を意味する。この場合は、ステップＳ５５へと移行して、段差または対岸が壁であると判断し、その旨を表す情報を記録する。
【００５３】
ステップＳ５３、Ｓ５５終了後は、求めた側溝情報を出力する（ステップＳ５７）。そして、全ての側溝エッジ線について対応する横エッジ線の探索を終了したか否かを判定する（ステップＳ５９）。判定が未了の場合には、ステップＳ６１へと移行し、ｊを１加算して、次の側溝エッジ線について対応横エッジ線の探索処理を行う。一方、判定が終了した場合には、全処理を終了する。
【００５４】
以上説明したように、本発明によれば、エッジ抽出によって検出した物体の輪郭位置だけでなく、エッジ直上直下の領域の類似度を判定することで、側溝等の立体物の存在を判定することができる。これにより、側溝を障害物として正しく認識し、車両挙動制御装置５において適切な車両挙動制御（例えば、障害物回避制御等）を行うことができ、安全性がさらに向上する。
【００５５】
さらに、投光手段４を活用することで、検出を容易にすることができる。図２２（ａ）は投光手段４により照明光を被写体に向けて照射した場合の関係図を、図２２（ｂ）、（ｃ）はこの場合に取得される上カメラ画像Ｉｕと、下カメラ画像Ｉｄを示している。ここで、投光手段４により照射される照明光は、上カメラ３０ｕ、下カメラ３０ｄにおいて検出可能であれば赤外光や紫外光など可視光線に限られるものではない。
【００５６】
上カメラ３０ｕと下カメラ３０ｄの間に配置される投光手段４により投影した光の投光エリア４０は、図２２（ａ）に示されるようになり、手前エッジＥｄ１に対向する壁面の上側は投光エリア４０内に位置するが、下側は、手前エッジＥｄ１の影となる。このため、画像Ｉｄにおいて手前エッジＥｄ１の直上に映り込む領域ａｕ２は投光エリア４０内に位置し、比較的高い輝度値を有するのに対して、画像Ｉｕにおいて手前エッジＥｄ１の直上に映り込む領域ａｕ１は投光エリア４０の外の影Ｓ１内に位置し、比較的低い輝度値を有することになる。そのため、輝度差が大きくなり、その相関値は低いものとなる。これにより、手前エッジの検出が容易になり、側溝等をより精度良く判定することが可能となる。
【００５７】
以上の説明では、上カメラ３０ｕと下カメラ３０ｄの２つのカメラにより上下ステレオ画像を撮像する例を説明したが、ステレオ画像の取得は必ずしも２台のカメラを要するものではない。図２３は、１台のカメラで上下ステレオ画像を撮像できるステレオカメラ３ａの構成を示す概略図である。このカメラ３ａは、ＣＣＤやＣＭＯＳ等の固体撮像素子あるいは撮像管等を備えるカメラ本体３４の光学系３３の全面に対称構造のレンズ３５ｕ、３５ｄ、ミラー３６ｕ、３７ｕ、３６ｄ、３７ｄを配置している。レンズ３５ｕとレンズ３５ｄの光軸が平行で、かつ、所定距離（図では５０ｍｍ程度）離れるよう配置することで、取得した１画面中の上半分が上カメラ画像Ｉｕ、下半分が下カメラ画像Ｉｄに相当することになる。このようなカメラを用いると、車両８に上下ステレオカメラを設置する際に、上下カメラ間で光軸の調整や配置間隔の調整を行う必要がなく、その設置が容易になるほか、配置精度を高めることができるので、結果的に立体物の認識精度を高めることができる。
【００５８】
また、以上の説明では、上下ステレオ視の場合を例に説明したが、左右ステレオ視の場合や角度をもって配置されたステレオカメラの場合においても同様の手法により通常のステレオ視処理のみでは判定が困難な立体物形状を判定することが可能である。
【００５９】
次に、本発明にかかる立体形状検出装置の第２の実施形態について説明する。図２４は、この第２の実施形態の構成を示すブロック図である。ここでは、上述のステレオカメラ３ａを用いた場合を例に説明する。カメラ３ａの出力は、Ａ／Ｄコンバータ２で変換され、画像処理手段１ａへと送られる。この画像処理手段１ａは、図１に示される第１の実施形態の画像処理手段と同様にＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、各構成要素はハードウェアまたはソフトウェアによって実現される。
【００６０】
画像処理手段１ａは、画像内の横エッジを抽出するエッジ抽出手段１０と、抽出したエッジの３次元位置を検出する第１空間位置検出手段１４と、その結果を基にして検出領域の設定を行う検出領域設定手段１５と、設定した検出領域の３次元位置を検出する第２空間位置検出手段１６と、その検出結果に応じて対象物の立体形状を推定する形状推定手段１７とを備えている。
【００６１】
画像処理手段１ａには、車両の現在位置を検出するとともに、地図ＤＢ５０に格納された地図情報を読み出すナビゲーション装置５１の出力が入力されており、また、第１の実施形態と同様に車両挙動制御装置５に対して、推定した立体形状に関する情報を出力する。
【００６２】
この実施形態の動作である立体物検出処理のフローチャートを図２５に示す。まず、ステップＳ１０１では、図２６（ａ）に示されるような画像をカメラ３ａにより取得する。次に、取得した画像中からエッジ抽出手段１０が横方向エッジを抽出する（ステップＳ１０３、図２６（ｂ）参照）。エッジ抽出処理自体は上述した第１の実施形態におけるステップＳ３の処理手法と同様の手法を用いればよい。
【００６３】
次に、車両位置・姿勢・包囲情報をナビゲーション装置５１から取得する（ステップＳ１０５）。そして、地図ＤＢ５０から位置情報を読み込むとともに、車両の走行軌跡、現在車両位置情報の対応づけを行う（ステップＳ１０７）。そして、地図ＤＢ５０から道路構造物の相対位置情報を取得する（ステップＳ１０９）。取得した道路構造物の相対位置情報から当該構造物の画像内の位置を予測し、探索範囲を設定する（ステップＳ１１１）。
【００６４】
設定した探索範囲に基づいて対応点探索手段１１は、上下画像間でエッジの対応点を探索する（ステップＳ１１３、図２６（ｃ）参照）。ここで、上下画像においてエッジの対応点は、図２６（ｃ）中に符号ｅで示す同一のエピポーラ極線上に位置する。この関係と、画像内における類似度を利用して対応点を検出する。
【００６５】
対応点を検出したら、第１空間位置検出手段１４は、ステレオ視の手法によってその３次元位置を導出する（ステップＳ１１５）。検出した横エッジの３次元位置の一例を図２７（ａ）、（ｂ）、図２８に示す。図２７（ａ）は斜視図であり、図２７（ｂ）はそれを車両前方方向から見た断面図である。また、図２８は、図２７（ｂ）に対応する図を車両８とともに示す図である。
【００６６】
検出領域設定手段１５は、３次元位置検出結果を基にして、自車両８が乗っている平面９からの距離が閾値Ｔｈ１以内の点（エッジ）を抽出する（ステップＳ１１７）。図２８に示される例では、Ｅｄ−ｃ〜Ｅｄ−ｅが相当する。図２９は、実際の画像Ｉｕ、ＩｄにおけるこれらのエッジＥｄ−ｃ〜Ｅｄ−ｅ位置を示している。検出領域設定手段１５は、さらに、抽出した平面上に位置するエッジ（それに近い位置に位置するエッジを含む）の間に小領域Ｒｉを設定し、第２空間位置検出手段１６によりその空間位置を導出する（ステップＳ１１９）。例えば、図２９、図３０に示されるように、下画像Ｉｄ内のＥｄ−ｄとＥｄ−ｅ間に小領域ａＡ〜ａＣを配置する。そして、上画像のＥｄ−ｄとＥｄ−ｅ間に小領域ａＡ〜ａＣに対応する領域を探索し、ステレオ視の手法によってそれらの３次元位置を導出する。
【００６７】
形状推定手段１７は、求めた小領域Ｒｉとこれを挟み込むエッジの空間位置関係を判定する（ステップＳ１２１）。例えば、図３１（ａ）に示されるように、小領域ａＡ〜ａＣが奥側エッジＥｄ−ｄと同じ垂直面上に位置し、平面９から閾値Ｔｈ２より低い位置にあれば、ステップＳ１２３へ移行して側溝と判定する。一方、図３１（ｂ）に示されるように、小領域ａＡ〜ａＣがエッジＥｄ−ｃとＥｄ−ｄとほぼ同じ水平面上に位置していれば、ステップＳ１２５へ移行して側溝でないと判定する。ステップＳ１２３、Ｓ１２５終了後は、ステップＳ１２７へと移行し、判定結果を出力する。車両挙動制御装置５は、判定結果に応じて所望の車両挙動制御を実施する。
【００６８】
このようにエッジのみでなく、エッジに挟まれた小領域について対応をとり、その３次元空間位置を算出することで、例えば、底部の画像を取得できていない側溝のようにエッジからでは、その立体形状を正確に把握することができない立体物についても精度良くその形状を把握することが可能となる。
【００６９】
ここでは、車両の乗っている平面上のエッジについて判定を行ったが、それ以外の平面、例えば、図２８におけるＥｄ−ａとＥｄ−ｂを含む平面について判定を行ってもよい。また、以上の例では、ステレオカメラ３ａを用いた場合について説明してきたが、例えば、時系列画像を用いてモーションベースステレオ手法によって３次元位置検出を行ってもよい。あるいは、レーザスキャナの出力を用いて判定を行ってもよい。
【００７０】
また、ここでは、地図ＤＢ５０やナビゲーション装置５１を用いて予め探索される物体（ガードレール等）の位置情報から画像内での位置を予測し、予測結果に基づいて検出を行う例を説明したが、このような物体の位置情報を用いることなく、画像のみから立体物を検出する場合であっても本発明は好適に適用可能である。
【００７１】
以上の説明では、車両に搭載した場合を例に説明してきたが、本発明にかかる立体形状検出装置は、車載用に限られるものではなく、例えば、ロボット用のカメラや各種の検査機器、監視用カメラ等に用いることができる。
【図面の簡単な説明】
【００７２】
【図１】本発明にかかる立体形状検出装置の第１の実施形態の構成を示すブロック図である。
【図２】図１のステレオカメラ３の配置例を示す。
【図３】図２のステレオカメラ３の構成例を示す。
【図４】図３のステレオカメラ３で取得する画像の一例を示す。
【図５】図１の実施形態による立体形状検出処理のフローチャートの前半部である。
【図６】図１の実施形態による立体形状検出処理のフローチャートの後半部である。
【図７】エッジ抽出手法を説明する図である。
【図８】エッジの直下領域の類似度算出処理例を説明する図である。
【図９】エッジの直上領域の類似度算出処理例を説明する図である。
【図１０】側溝の上端の両エッジがカメラの撮像範囲にある場合の手前エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１１】図１０の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１２】側溝の上端の両エッジがカメラの撮像範囲にある場合の奥側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１３】図１２の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１４】下り段差を撮像した場合のエッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１５】図１４の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１６】上り段差の両エッジがカメラの撮像範囲にある場合の手前側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１７】図１６の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図１８】上り段差の両エッジがカメラの撮像範囲にある場合の奥側エッジとその直上、直下に映り込む領域の位置関係を示す図である。
【図１９】図１８の場合において、上カメラ、下カメラで取得されるそれぞれの画像を示す図である。
【図２０】側溝エッジ候補と、側溝エッジ以外候補としての構成点のマークづけ例を示す図である。
【図２１】車両に対する側溝の位置関係情報を説明する図である。
【図２２】第１実施形態における投光手段の使用例を説明する図である。
【図２３】ステレオカメラの別の実施形態を説明する図である。
【図２４】本発明にかかる立体形状検出装置の第２の実施形態の構成を示すブロック図である。
【図２５】図２４に示す第２の実施形態による立体物検出処理のフローチャートである。
【図２６】図２５の処理におけるエッジ抽出処理を説明する図である。
【図２７】検出した横エッジの３次元位置の一例を説明する図である。
【図２８】図２７に対応して車両と横エッジの位置関係を示す図である。
【図２９】エッジの空間位置と画像中での位置関係を示す図である。
【図３０】エッジ間の小領域の設定例を示す図である。
【図３１】小領域の空間位置の判定例を説明する図である。
【符号の説明】
【００７３】
１、１ａ…画像処理手段、２…Ａ／Ｄコンバータ、３、３ａ…ステレオカメラ、４…投光手段、５…車両挙動制御装置、６…撮像対象物、８…車両、９…平面、１０…エッジ抽出手段、１１…対応点探索手段、１２…類似度算出手段、１３…形状推定手段、１４…第１空間位置検出手段、１５…検出領域設定手段、１６…第２空間位置検出手段、１７…形状推定手段、３０ｄ…下カメラ、３０ｕ…上カメラ、３１…撮像部、３３…光学系、３４…カメラ本体、３５ｕ、３５ｄ…レンズ、３６ｕ、３６ｄ、３７ｕ、３７ｄ…ミラー、４０…投光エリア、５０…地図ＤＢ、５１…ナビゲーション装置、９０…側溝、９１…縁石、ｅ１…エピポーラ極線、Ｅｄ…エッジ、Ｉｄ…下カメラ画像、Ｉｕ…上カメラ画像。
【特許請求の範囲】
【請求項１】
高さ方向の異なる位置から対となる画像を撮像する撮像手段と、
取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、
対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、
探索した対応点の類似度を算出する類似度算出手段と、
上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、エッジ周辺の形状を推定する形状推定手段と、
を備えていることを特徴とする立体形状検出装置。
【請求項２】
前記形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上小さい場合に、下側領域から上側領域に向かって下がる立体形状であると推定することを特徴とする請求項１記載の立体形状検出装置。
【請求項３】
前記形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上大きい場合に、下側領域から上側領域に向かって下がる立体形状ではないと推定することを特徴とする請求項１記載の立体形状検出装置。
【請求項４】
前記撮像手段の高さ方向で異なる位置の間の位置から撮像対象に向けて投光する投光手段をさらに備えていることを特徴とする請求項１〜３のいずれかに記載の立体形状検出装置。
【請求項５】
画像を取得する撮像手段と、
取得した画像中のエッジを抽出するエッジ抽出手段と、
抽出したエッジの３次元位置を検出する第１空間位置検出手段と、
３次元空間内の所定の平面上に位置するエッジに挟まれている領域に検出領域を設定する検出領域設定手段と、
設定した検出領域の３次元位置を検出する第２空間位置検出手段と、
第２空間位置検出手段の検出結果に基づいて検出領域部分の立体形状を推定する形状推定手段と、
を備えていることを特徴とする立体形状検出装置。
【請求項６】
前記形状推定手段は、検出領域が前記所定の平面上に位置していない場合に、エッジに挟まれている空間が立体物であると推定することを特徴とする請求項５記載の立体形状検出装置。
【請求項７】
前記形状推定手段は、検出領域が前記所定の平面上に位置している場合に、エッジに挟まれている空間は平面物であると推定することを特徴とする請求項５記載の立体形状検出装置。
【請求項１】
高さ方向の異なる位置から対となる画像を撮像する撮像手段と、
取得した対画像内のそれぞれにおいて左右方向に延びるエッジを抽出するエッジ抽出手段と、
対画像内の抽出したエッジにより分割される上側領域と下側領域のそれぞれについて、対応点の探索を行う対応点探索手段と、
探索した対応点の類似度を算出する類似度算出手段と、
上側領域で探索した対応点の類似度と、下側領域で探索した対応点の類似度との関係に基づいて、エッジ周辺の形状を推定する形状推定手段と、
を備えていることを特徴とする立体形状検出装置。
【請求項２】
前記形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上小さい場合に、下側領域から上側領域に向かって下がる立体形状であると推定することを特徴とする請求項１記載の立体形状検出装置。
【請求項３】
前記形状推定手段は、上側領域で探索した対応点の類似度が下側領域で探索した対応点の類似度よりも所定基準以上大きい場合に、下側領域から上側領域に向かって下がる立体形状ではないと推定することを特徴とする請求項１記載の立体形状検出装置。
【請求項４】
前記撮像手段の高さ方向で異なる位置の間の位置から撮像対象に向けて投光する投光手段をさらに備えていることを特徴とする請求項１〜３のいずれかに記載の立体形状検出装置。
【請求項５】
画像を取得する撮像手段と、
取得した画像中のエッジを抽出するエッジ抽出手段と、
抽出したエッジの３次元位置を検出する第１空間位置検出手段と、
３次元空間内の所定の平面上に位置するエッジに挟まれている領域に検出領域を設定する検出領域設定手段と、
設定した検出領域の３次元位置を検出する第２空間位置検出手段と、
第２空間位置検出手段の検出結果に基づいて検出領域部分の立体形状を推定する形状推定手段と、
を備えていることを特徴とする立体形状検出装置。
【請求項６】
前記形状推定手段は、検出領域が前記所定の平面上に位置していない場合に、エッジに挟まれている空間が立体物であると推定することを特徴とする請求項５記載の立体形状検出装置。
【請求項７】
前記形状推定手段は、検出領域が前記所定の平面上に位置している場合に、エッジに挟まれている空間は平面物であると推定することを特徴とする請求項５記載の立体形状検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００７−２３２３８９（Ｐ２００７−２３２３８９Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５０８６６（Ｐ２００６−５０８６６）
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]