周辺認識装置、周辺認識方法、プログラム
【課題】カメラ挙動の検出および物体の検出の双方に対して信頼できる高精度のオプティカルフローを求めることができ、物体の三次元情報の検出精度を向上させることが可能な周辺認識装置及び方法、並びにプログラムを提供する。
【解決手段】第一撮像装置２は、その光軸が水平方向を向き且つ第一カメラ画像が横長（車両の幅方向の撮像範囲が広い）となるように設置されると共に、第二撮像装置３は、その光軸が第一撮像装置２より下向き（ピッチ角αが小）となり、且つ第二カメラ画像が縦長（車両の進行方向の撮像範囲が広い）となるように設置され、しかも、連続するフレームに同一特徴点ＰA2が必ず存在するように、即ち、特徴点ＰA2の追跡が容易となるように、車両の進行方向に対する光軸の傾斜角度が車速に応じて変化するように構成されている。
【解決手段】第一撮像装置２は、その光軸が水平方向を向き且つ第一カメラ画像が横長（車両の幅方向の撮像範囲が広い）となるように設置されると共に、第二撮像装置３は、その光軸が第一撮像装置２より下向き（ピッチ角αが小）となり、且つ第二カメラ画像が縦長（車両の進行方向の撮像範囲が広い）となるように設置され、しかも、連続するフレームに同一特徴点ＰA2が必ず存在するように、即ち、特徴点ＰA2の追跡が容易となるように、車両の進行方向に対する光軸の傾斜角度が車速に応じて変化するように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に設置された２台の撮像装置から得られる撮像画像を用いて障害物の位置，形状を示す三次元情報を生成する周辺認識装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、１台のカメラが移動しながら撮影した画像を用いて、カメラ自体またはカメラを搭載した移動体の挙動（以下単に「カメラ挙動」という）を検出すると共に、そのカメラ挙動と画像内の物体候補の動きから、物体の位置，形状を表す三次元情報を検出する装置が知られている（例えば、特許文献１参照）。
【０００３】
なお、カメラ挙動や物体の検出には、一般的に、連続する複数の画像列中における同一特徴点の動きをベクトルで表したオプティカルフローが用いられている。
このオプティカルフローは、特徴点が静止している場合は、カメラ挙動に対応したものとなり、また、特徴点が移動している場合は、カメラ挙動に特徴点自体の動きが重畳されたものとなる。
【特許文献１】特開２００１−２６６１６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、移動体が車両である場合、車両に搭載される障害物検出用のカメラは、可能な限り広い範囲に渡って撮影が可能なように、カメラの光軸がほぼ水平となるような姿勢で、車両の前方を撮像するように取り付けられる。
【０００５】
また、カメラ挙動の検出には、撮像画像中で最も面積が大きい静止物体である道路面上の特徴点を、画像列上で追跡することで得られるオプティカルフローが用いられる。
しかし、上述のように光軸がほぼ水平となるような姿勢で設置されたカメラでは、鉛直下向きに対して大きなピッチ角α（ここではα≒９０°）を有するため、道路面上の特徴点に基づくオプティカルフローの検出誤差が大きくなり、カメラ挙動を精度良く検出することができないという問題があった。
【０００６】
即ち、カメラの光軸が鉛直下向きに対するピッチ角αを有している場合、図１２に示すように、撮像画面Ｇには、その中心より上側にはより遠くの道路面が投影され、中心より下側にはより近くの道路面が投影されることになり、道路面上の特徴点（物体）が同じ距離だけ移動しても、撮像画面Ｇ上に投影された特徴点の動きは、より遠くに位置するものほど小さく、より近くに位置するものほど大きくなる。
【０００７】
このように、撮像画面Ｇ上の位置によって特徴点の動き方は異なっているため、その特徴点に基づいて検出されるオプティカルフローは、特徴点の動き方の違いに基づく誤差を含んだものとなってしまうのである。しかも、この誤差は、ピッチ角αが大きいほど、また、撮像画像の中心から外れるほど大きなものとなる。
【０００８】
実際に、車両に搭載されたピッチ角αを有する撮像装置により撮像された道路面の画像に基づいて、自車両の左右方向の並進運動量、前後方向の並進運動量、ヨー方向の回転運動量をシミュレーションにより求めた結果（真値に対する平均絶対値誤差）を表１に示す。
【０００９】
【表１】
【００１０】
但し、カメラから路面までの高さを１．５ｍ（１ＢＯＸ車両のマップランプ脇に前方カメラを設置したことに相当する）、カメラの設置角度をロール傾きなし、ヨー傾きなしとして、鉛直下向きに対するピッチ角αを、０．１、０．２、０．３、０．４、０．５［ｒａｄ］の５段階で変化させた。
【００１１】
また、カメラ解像度は、横３２０画素、縦２４０画素、フレームレートは、０．２ｍｓ／フレームとした。
そして、道路面は一様に平らで、横２ｍ縦５ｍの長方形ペイントが塗ってある平面とし、車両は、時速２２Ｋｍで１０秒かけて直角コーナーを左折する運動（ゆっくりと交差点を左折する運動に相当する）をするものとして、後述する実施形態で説明する挙動検出部１１ａでの処理を実行した。
【００１２】
但し、長方形ペイントの４頂点を特徴点とし、また、自車両の左右方向（図３（ｂ）のｘ軸方向）の並進運動成分、自車両の前後方向（同ｙ軸方向）の並進運動成分、自車両のヨー方向（同ｚ軸回り）の回転成分）だけが変化し、上下方向（同ｚ軸方向）の並進運動、ピッチ方向（同ｘ軸回り）の回転成分、ロール方向（同ｙ軸回り）の回転成分は変化せず、常にゼロであるものとした。
【００１３】
表１に示す結果から明らかなように、カメラのピッチ角αが大きくなるほど、特にヨー方向の回転運動量の誤差が大きくなり、車両の挙動を精度よく検出することができなくなることがわかる。
【００１４】
これに対して、カメラ挙動の検出精度を向上させるために、ピッチ角αを小さくする（カメラの光軸を鉛直下向きに近づける）と、カメラの撮像範囲が狭くなり、障害物の検出能力を低下させてしまう。つまり、物体の検出精度と、カメラ挙動の検出精度とはトレードオフの関係にあり、上述した従来装置では、両者を同時に向上させることができず、物体の三次元情報を精度良く求めることが困難であるという問題があった。
【００１５】
また、車両が前進している場合、三次元空間中で観測される静止物を示す特徴点は、車両に対して遠い方から近い方に移動し、車両の前方を撮像するように取り付けられたカメラの撮像画像から検出される特徴点のオプティカルフローは、画面上側から画面下側に流れる。つまり、図１３に示すように、道路面上の特徴点を追跡してオプティカルフローを求める際に、画像情報量が少ない側から多い側に向かって特徴点を追跡することになる。
【００１６】
従って、道路面上の情報が多く得られる画面下側では、画面上側より多くの特徴点が検出される可能性が高いが、その特徴点は直ぐに画面上から消えてしまうため、これを追跡することができず、これら特徴点の情報をオプティカルフローの検出に有効に役立てることができないという問題があった。
【００１７】
本発明は、上記問題点を解決するために、カメラ挙動の検出および物体の検出の双方に対して信頼できる高精度のオプティカルフローを求めることができ、物体の三次元情報の検出精度を向上させることが可能な周辺認識装置及び方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するためになされた本発明の周辺認識装置は、移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、第一撮像装置より光軸が下向きとなるように移動体に設置され、移動体が走行する道路面を撮像する第二撮像装置とを備えている。
【００１９】
そして、挙動検出手段が、第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、そのオプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出し、障害物検出手段が、挙動検出手段にて検出された挙動パラメータ、及び第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する。
【００２０】
つまり、第一撮像装置より光軸が下向きとなるように設置された第二撮像装置の撮像画像では、第一撮像装置の撮像画像と比較して、撮像画像内での位置によって特徴点の動き方が異なる度合いが小さいため、この第二撮像装置の撮像画像に基づいて道路面上の特徴点に基づくオプティカルフローを精度よく求めることができる。
【００２１】
また、第一撮像装置の撮像画像は、第二撮像装置の撮像画像と比較して、広い範囲を渡って撮像したものとなるため、この第一撮像装置の撮像画像に基づいて道路上及び道路周辺の多くの障害物（特徴点）を探索することができる。
【００２２】
従って、本発明の周辺認識装置によれば、第二撮像装置の撮像画像に基づいて挙動パラメータを精度良く求めることができ、その精度のよい挙動パラメータと、広い範囲を撮像した第一撮像装置の撮像画像とに基づいて、広い範囲に渡って物体の三次元情報を精度よく求めることができる。
【００２３】
ところで障害物検出手段は、例えば請求項２に記載のように、分割手段が、第一撮像装置の撮像画像を領域分割し、領域パラメータ算出手段が、分割手段にて分割された領域のそれぞれを対象領域として、対象領域上の特徴点のオプティカルフロー、及び挙動検出手段により検出された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出し、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするように構成されていてもよい。
【００２４】
また、障害物検出手段は、例えば請求項３に記載のように、分割手段が、第一撮像装置の撮像画像を領域分割し、挙動補正手段が、分割手段にて分割された領域から道路面を表す道路領域を抽出し、その道路領域上の特徴点のオプティカルフローに基づいて、挙動検出手段にて検出された挙動パラメータを補正し、領域パラメータ算出手段が、分割手段にて分割された領域のそれぞれを対象領域として、対象領域上の特徴点のオプティカルフロー、及び挙動補正手段により補正された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出し、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするように構成されていてもよい。
【００２５】
つまり、挙動パラメータは、請求項２に記載のように、そのまま移動体の挙動（又は第一撮像装置の挙動）として使用しても良いし、請求項３に記載のように、第一撮像装置から得られる情報に基づいて、より第一撮像装置の挙動を正確に表すように補正した上で使用してもよい。
【００２６】
ところで、第一撮像装置は、請求項４に記載のように、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることが望ましい。
つまり、第一撮像装置は、その光軸が水平方向に近いほど、より遠方の物体（特徴点）の撮像が可能となるため、道路上及び道路周辺に存在する障害物の検出性能を向上させることができる。
【００２７】
また、この場合、第一撮像装置の撮像画像は、請求項５に記載のように、横長であることが望ましい。この場合、第一撮像装置は、より側方の物体（特徴点）の撮像が可能となるため、移動体近傍（特に側方）に存在する障害物の検出性能を向上させることができる。
【００２８】
一方、第二撮像装置は、請求項６に記載のように、鉛直下方に光軸を向けて配置されているか、或いは、請求項７に記載のように、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることが望ましい。
【００２９】
つまり、前者（請求項６）の場合、道路面上の特徴点に基づくオプティカルフローの検出精度を最大限に向上させることができ、また、後者（請求項７）の場合、移動体の進行方向に沿った撮像範囲が広がるため、同一特徴点を長時間追跡することが可能となり、特徴点の追跡精度、ひいては特徴点に基づいて算出されるオプティカルフローや挙動パラメータの信頼度を向上させることができる。
【００３０】
また、第二撮像装置は、必ずしも一定の姿勢に固定されている必要はなく、例えば、請求項８に記載のように、姿勢制御手段が、第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように第二撮像装置の姿勢を変化させるように構成されていてもよい。
【００３１】
この場合、同一特徴点の追跡を確実に行うことができ、しかも、第二撮像装置の姿勢が必要以上に傾斜することがないため、第二撮像装置の姿勢に基づくオプティカルフローの検出精度の低下を必要最小限に抑えることができる。
【００３２】
そして、第二撮像装置の撮像画像は、請求項９に記載のように、縦長であることが望ましい。この場合、第二撮像装置の撮像領域を、移動体の進行方向に沿った撮像領域を、第二撮像装置の姿勢を傾斜させることなく広げることができる。
【００３３】
なお、第二撮像装置は、請求項１０に記載のように、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物，右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されているか、又は、請求項１１に記載のように、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯，右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることが望ましい。
【００３４】
前者（請求項１０）の場合、具体的には、第二撮像装置の姿勢を、光軸が移動体の左側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。また、後者（請求項１１）の場合、第二撮像装置の姿勢を、光軸が移動体の右側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。
【００３５】
なお、第二撮像装置は、車線の左右両端を示す路面表示、及び道路端の路側物や道路中央の分離帯を同時に撮像可能な姿勢及び位置に配置されていてもよい。
そして、第二撮像装置は、例えば、請求項１２に記載のように、移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
【００３６】
また、第二撮像装置は、例えば、請求項１３に記載のように、移動体の底面に配置されていてもよい。
この場合、第二撮像装置の撮像領域の全体が、当該装置を搭載する移動体の影の部分に含まれ、撮像画像に移動体の影の境界部分が映り込む可能性が低いため、影の境界を特徴点として誤認して、無駄な処理が実行されたり、誤った三次元情報が算出されることを防止できる。
【００３７】
なお、このように第二撮像装置が移動体の底面に配置されている場合、第二撮像装置は、請求項１４に記載のように、移動体の中心より前方に配置されていることがより望ましい。
【００３８】
つまり、第二撮像装置の撮像範囲を広げるために、光軸が移動体の後方に向けて傾斜するように第二撮像装置の姿勢を設定したとしても、その撮像範囲内に自身を搭載する移動体の影の境界部分が写り込む可能性をより確実に低下させることができる。
【００３９】
また、第二撮像装置は、必ずしも移動体上の一定の位置に固定されている必要はなく、請求項１５に記載のように、移動手段が、第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体、或いは路側物の影が写り込むことがないように第二撮像装置の姿勢及び位置を変化させるように構成されていてもよい。
【００４０】
この場合、影の境界を特徴点と誤認することによる影響を、より確実に除去することができる。
また、特徴点の検出を容易にするため、例えば、請求項１６に記載のように、第二撮像装置の撮像範囲を照射範囲とする照明手段を備えていてもよい。
【００４１】
ところで、第一撮像装置及び第二撮像装置としては、撮像を行う環境や撮像対象などに応じて、様々な種類の撮像画像を生成するものを用いることができる。
具体的には、例えば、請求項１７に記載のように、輝度強度を表す画素値を有した撮像画像を生成するもの（モノクロカメラ等）であってもよいし、請求項１８に記載のように、色彩を表す画素値を有した撮像画像を生成するもの（カラーカメラ等）であってもよし、請求項１９に記載のように、赤外線強度を表す画素値を有した撮像画像を生成するもの（赤外線カメラ等）であってもよいし、請求項２０に記載のように、エッジが強調された撮像画像を生成するもの（模様検出用ビジョンチップ等）であってもよい。
【００４２】
次に、請求項２１に記載の周辺認識方法は、第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出ステップと、挙動検出手段にて検出された挙動パラメータ、及び第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出ステップとを備えている。
【００４３】
つまり、本発明の周辺認識方法では、第二撮像装置の撮像画像は、専ら移動体の挙動（ひいては第一撮像装置の挙動）を表す挙動パラメータを精度良く求めるために使用し、その挙動パラメータを利用して、第一撮像装置の撮像画像からその撮像画像中に存在する障害物の三次元情報を精度よく求めている。
【００４４】
このため、同じ撮像装置から得られた撮像画像を用いて移動体の挙動の検出と障害物の検出とをいずれも行う従来装置とは異なり、撮像装置の姿勢（光軸の向き）に関わるトレードオフの関係に捕らわれることなく、移動体の挙動の検出精度を向上させ、且つ障害物の検出領域を十分に確保することができる。
【００４５】
そして、障害物検出ステップは、より詳細には、請求項２２に記載のように、第一撮像装置の撮像画像を領域分割する分割ステップと、分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び挙動検出ステップにより検出された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、領域パラメータ算出ステップにて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするマッピングステップとで構成されていてもよい。
【００４６】
また、障害物検出ステップは、請求項２３に記載のように、第一撮像装置の撮像画像を領域分割する分割ステップと、分割手段にて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、挙動検出ステップにて検出された挙動パラメータを補正する挙動補正ステップと、分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び挙動補正ステップにより補正された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、領域パラメータ算出ステップにて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするマッピングステップとで構成されていてもよい。
【００４７】
つまり、前者（請求項２２）の場合、挙動パラメータをそのまま利用することにより、少ない処理量で、障害物の三次元情報を求めることができ、一方、後者（請求項２３）の場合、挙動パラメータを、第一撮像装置の撮像画像から得られる情報を用いて補正することにより、第一撮像装置の挙動をより正確に表した挙動パラメータが得られるため、障害物の三次元情報の検出精度をより一層向上させることができる。
【００４８】
ところで、上記周辺認識方法は、請求項２４に記載のように、この方法を構成する各ステップをコンピュータに実行させるためのプログラムとして実現してもよい。
この場合、プログラムは、コンピュータが読み取り可能な記録媒体に記憶され、その記録媒体から必要に応じてコンピュータシステムにロードされるものであってもよいし、ネットワークを介してコンピュータシステムにロードされるものであってもよい。また、記録媒体は、持ち運び可能なものであってもよいし、コンピュータシステムに組み込まれたものであってもよい。
【発明を実施するための最良の形態】
【００４９】
以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１（ａ）は、本発明が適用された車載周辺認識装置１の全体構成を示すブロック図である。
【００５０】
図１（ａ）に示すように、車載周辺認識装置１は、車両前方の道路上及び道路周辺の状況を撮影する第一撮像装置２と、車両後方の道路面を中心に撮影する第二撮像装置３と、当該装置１を搭載する車両の車速を検出する車速センサ５と、車速センサ５にて検出される車速に応じて、第二撮像装置３の姿勢を制御する姿勢制御部４と、各種情報を視覚的，聴覚的に報知するためのディスプレイ６及びスピーカ７と、車両制御（エンジン，ブレーキ，変速機，ステアリング等の制御）を実行する際に駆動される各種アクチュエータ８と、第一撮像装置２及び第二撮像装置３から取得する撮像画像、及び姿勢制御部４から取得する姿勢情報に基づいて、道路上及び道路周辺の障害物（車両，路側物など）の位置や形状を示す三次元情報を生成する周辺認識部１１と、周辺認識部１１にて生成された三次元情報に基づいて、危険（道路領域以外への逸脱，障害物の存在等）の有無などを判断し、ディスプレイ６及びスピーカ７を介して警報，報知を行ったり、アクチュエータ８を制御することにより危険回避動作等を実行する危険判定部１３とを備えている。
【００５１】
なお、周辺認識部１１及び危険判定部１３は、ＣＰＵ，ＲＯＭ，ＲＡＭを中心に構成された周知のマイクロコンピュータからなる。また、第一撮像装置２及び第二撮像装置３は、輝度強度を画素値とする濃淡（モノクロ）画像を生成するＣＣＤカメラ（画角４５°）からなる。但し、第一撮像装置２及び第二撮像装置３は、縦方向と横方向とで画素数が異なった長方形の撮像画像を出力する。
【００５２】
ここで、図２は、第一撮像装置２及び第二撮像装置３の取付状態、及び姿勢制御部４による制御内容を示す説明図である。
図２に示すように、第一撮像装置２は、車両Ｍのフロントガラスのマップランプ周辺に取り付けられ、その光軸が車両の正面方向（前進方向）且つ水平方向（鉛直下方からのピッチ角α＝９０°）を向き、しかも、撮像画像が横長となる（撮像画像の短手方向が車両の進行方向と一致する）ように設定されている。
【００５３】
一方、第二撮像装置３は、車両Ｍの後方左端に高さ０．５ｍの位置に取り付けられ、その光軸が鉛直下向き（ピッチ角α＝０°）から（図２（ｂ）参照）から、車両Ｍの後方に向けて所定角度（本実施形態ではピッチ角α＝３０°）傾斜した向き（図２（ｃ）参照）の間を向くよう姿勢を変化させることが可能なように構成され、しかも、撮像画像が縦長となる（撮像画像の長手方向が車両の進行方向と一致する）ように設定されている。
【００５４】
そして、姿勢制御部４は、連続して取得される撮像画像（以下「フレーム」ともいう）中に、道路面上の同一特徴点が必ず存在するように、車速に応じてピッチ角αを変化させるように構成されている。
【００５５】
なお、第二撮像装置３の取付高さと姿勢（光軸の傾斜角度）の可動範囲は、第二撮像装置３のフレームレートを考慮して設定され、本実施形態では、車速４０ｋｍ／ｈ未満では、α＝０°、車速４０ｋｍ／ｈ以上でα＝３０°となるようにされている。
【００５６】
次に、周辺認識部１１は、図１（ｂ）に示すように、第二撮像装置３にて撮像された画像（以下「第二カメラ画像」という）、及び姿勢制御部４からの姿勢情報に基づいて、車両の挙動を表す挙動パラメータを生成する挙動検出部１１ａと、挙動検出部１１ａにて生成された挙動パラメータ、及び第一撮像装置２にて撮像された画像（以下「第一カメラ画像」という）に基づいて、挙動パラメータを第一撮像装置２の挙動を表したものに補正する挙動補正部１１ｂと、挙動補正部１１ｂにて補正された挙動パラメータ、及び第一カメラ画像に基づいて、第一カメラ画像に写されている障害物の三次元情報を求める三次元情報算出部１１ｃとからなる。なお、これら各部１１ａ〜１１ｃは、周辺認識部１１を構成するＣＰＵが実行する処理として実現される。
【００５７】
以下、周辺認識部１１の各部１１ａ〜１１ｃに対応した処理について詳述する。
但し、以下の説明において、第一撮像装置２の設置位置を基準とする第一カメラ座標系、及び第二撮像装置３の設置位置を基準とする第二カメラ座標系では、図３（ａ）に示すように、カメラ画像の左右方向をｘ軸、カメラ画像の上下方向をｙ軸、カメラの光軸方向をｚ軸とする。また、車両中心を原点とする車両座標系では、図３（ｂ）に示すように、車両の幅方向をｘ軸、車両の進行方向をｙ軸、上下方向をｚ軸とする。
【００５８】
そして、ｘ軸方向の速度を左右速度ｔｘ、ｙ軸方向の速度を前後速度ｔｙ、ｚ軸方向の速度を上下速度ｔｚ、ｘ軸を中心とする回転の角速度をピッチレートωｘ、ｙ軸を中心とする回転の角速度をロールレートωｙ、ｚ軸を中心とする回転の角速度をヨーレートωｚとして、これらを要素とするベクトルを、挙動パラメータＫ＝（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）と呼ぶものとする。
【００５９】
また、周辺認識部１１を構成するＲＯＭには、第一カメラ画像中で必ず道路が撮影される領域を道路領域Ａ１、第二カメラ画像中で必ず道路が撮影される領域を道路領域Ａ２として、その道路領域Ａ１の第一カメラ画像内での位置、及び道路領域Ａ２の第二カメラ画像内での位置を示す道路領域位置情報ＪA1，ＪA2及び道路領域Ａ２が平面であると仮定した元での第二カメラ座標系における道路領域Ａ２（道路平面）の位置，形状を特定する領域パラメータＲA2＝（ａ，ｂ，ｃ）が記憶されている。
【００６０】
なお、領域パラメータＲは、次の（１）（２）式で定義されるパラメータである。
【００６１】
【数１】
【００６２】
即ち、（１）式は、カメラ画像中の点（ｘ，ｙ）が、カメラ座標系で表された三次元空間内のある平面領域上に存在する場合、点（ｘ，ｙ）の奥行き（光軸方向の距離）Ｚとの関係を示す式であり、（２）式は、（１）式を満たす場合に、カメラの焦点距離をｆとして、点（ｘ，ｙ）とこれに対応するカメラ座標系内での三次元位置（Ｘ，Ｙ，Ｚ）との関係を示す式である。なお、平面領域の領域パラメータ（ａ，ｂ，ｃ）と、その平面領域の法線ベクトル（Ａ，Ｂ，Ｃ）とは、（３）式に示す関係を有する。
【００６３】
【数２】
【００６４】
また、第二撮像装置３の姿勢は車速に応じて変化するため、道路領域Ａ２の道路領域位置情報ＪA2、及び領域パラメータＲA2は、姿勢制御部４から取得される姿勢情報をインデックスとしたテーブル形式で記憶されている。
【００６５】
ここで、図４は挙動検出部１１ａでの処理内容、図５は挙動補正部１１ｂでの処理内容、図６は三次元情報算出部１１ｃでの処理内容を示すフローチャートである。
まず、挙動検出部１１ａでは、図４に示すように、第二撮像装置３から第二カメラ画像が取得されるまで待機し（Ｓ１００）、第二カメラ画像が取得されると、姿勢制御部４からの姿勢情報に基づいて道路領域位置情報ＪA2を取得し、その道路領域位置情報ＪA2により特定される第二カメラ画像中の道路領域Ａ２から、ＮA2個（少なくとも３個）の特徴点ＰA2＝（ｘ，ｙ）を抽出する（Ｓ１１０）。なお、ここでは、特徴点ＰA2として、各種路面表示（道路標示や区画線）の縁や、キャッツアイ、路側物（縁石，防音壁，街路樹等）と路面との境界など、画素値が大きく変化する地点を抽出する。
【００６６】
そして、Ｓ１１０で抽出された特徴点ＰA2と過去の検出結果とに基づいて、各特徴点ＰA2のそれぞれについてオプティカルフローＦA2＝（ｕ，ｖ）を算出する（Ｓ１２０）。
次に、姿勢情報に基づいて道路領域Ａ２の領域パラメータＲA2＝（ａ，ｂ，ｃ）を取得し（Ｓ１３０）、その取得した領域パラメータＲA2とＳ１２０にて算出したオプティカルフローＦA2に基づいて、第二カメラ座標系における第二撮像装置３の挙動を表す挙動パラメータＫB を算出する（Ｓ１４０）
具体的には、オプティカルフロー（ｕ，ｖ）は、特徴点（ｘ，ｙ）、領域パラメータ（ａ，ｂ，ｃ）、挙動パラメータ（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）、カメラの焦点距離ｆを用いて（４）（５）式で表される。
【００６７】
【数３】
【００６８】
このため、特徴点（ｘ，ｙ）及びオプティカルフロー（ｕ，ｖ）が３個以上あれば、これを（４）（５）式に代入することで、挙動パラメータ（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）の各要素を未知数とした６個以上の式からなる連立方程式が得られるため、この連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことにより、挙動パラメータの各要素を求めることができる。
【００６９】
なお、ここで説明したオプティカルフローモデルについては、例えば、G. Stein, O. Mano and A. Shashua. A robust method for. computing vehicle ego-motion,In IEEE Intelligent Vehicles Symposium (IV2000), Oct. 2000, Dearborn, MIに詳述されている。
【００７０】
このようにして得られた挙動パラメータＫB は、第二カメラ座標系で表されたものであるため、この挙動パラメータＫB を座標変換することにより、車両座標系で表された挙動パラメータＫC を求めて（Ｓ１５０）、Ｓ１００に戻る。
【００７１】
つまり、挙動検出部１１ａでは、車両Ｍに固定されている第二撮像装置３の挙動と、車両Ｍ自体の挙動とは等しいとみなして、第二カメラ画像から近似的に車両挙動を表す挙動パラメータＫC を求めている。
【００７２】
次に、挙動補正部１１ｂでは、図５に示すように、第一撮像装置２から第一カメラ画像が取得されるまで待機し（Ｓ２００）、第一カメラ画像が取得されると、挙動検出部１１ａで求めら、車両座標系で表された挙動パラメータＫC を座標変換することにより、第一カメラ座標系で表された仮の挙動パラメータＫD を求める（Ｓ２１０）。
【００７３】
そして、第一カメラ画像に関する道路領域位置情報ＪA1により特定される第一カメラ画像中の道路領域Ａ１から、ＮA1個（少なくとも３個）の特徴点ＰA1＝（ｘ，ｙ）を抽出する（Ｓ２２０）。
【００７４】
次に、Ｓ２２０で抽出された特徴点ＰA1と過去の検出結果とに基づいて、各特徴点ＰA1のそれぞれについてオプティカルフローＦA1＝（ｕ，ｖ）を算出する（Ｓ２３０）。
そして、先に求めた仮の挙動パラメータＫD 、及びＳ２２０で抽出した特徴点ＰA1、Ｓ２３０にて求めたオプティカルフローＦA1に基づいて、道路領域Ａ１の領域パラメータＲA1＝（ａ，ｂ，ｃ）を算出する（Ｓ２４０）。
【００７５】
また、その領域パラメータＲA1とＳ２３０にて求めたオプティカルフローＦA1とに基づいて、第一カメラ座標系における第一撮像装置２の挙動を表す挙動パラメータＫA を算出する（Ｓ２５０）。
【００７６】
なお、Ｓ２４０，Ｓ２５０では、Ｓ１４０での処理と同様に、（４）（５）式から得られる連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことで、領域パラメータＲA1や挙動パラメータＫA を算出する。
【００７７】
そして、Ｓ２１０で求められた仮の挙動パラメータＫD と、Ｓ２５０で求められた挙動パラメータＫA との距離Ｄを算出し（Ｓ２６０）、その距離Ｄが予め設定された閾値εより小さいか否かを判断する（Ｓ２７０）。
【００７８】
距離Ｄが閾値ε以上であれば、仮の挙動パラメータＫD の値を、Ｓ２５０で求めた挙動パラメータＫA で更新した上で（Ｓ２８０）、上述のＳ２４０〜Ｓ２７０の処理を繰り返し、一方、距離Ｄが閾値εより小さければ、挙動パラメータＫA を三次元情報算出部１１ｃに出力して（Ｓ２９０）、Ｓ２００に戻る。
【００７９】
つまり、挙動補正部１１ｂでは、第二カメラ画像の情報に基づく仮の挙動パラメータＫD と第一カメラ画像の情報を反映させた挙動パラメータＫA とが一致するまで反復処理を行うことにより、第一カメラ座標系における第一撮像装置２の挙動をより正確に反映した挙動パラメータＫA が得られるようにしている。
【００８０】
次に、三次元情報算出部１１ｃでは、図６に示すように、第一撮像装置２から第一カメラ画像が取得されるまで待機し（Ｓ３００）、第一カメラ画像が取得されると、第一カメラ画像を、各領域が単一平面からなるように領域分割する（Ｓ３１０）。
【００８１】
そして、分割された領域の一つを対象領域ＡDVとして選択し（Ｓ３２０）、その対象領域から、ＮDV個（少なくとも３個）の特徴点ＰDV＝（ｘ，ｙ）を抽出する（Ｓ３３０）と共に、その抽出した特徴点ＰDVと過去の検出結果とに基づいて、特徴点ＰDVのそれぞれについてオプティカルフローＦDV＝（ｕ，ｖ）を算出する（Ｓ３４０）。
【００８２】
そして、挙動補正部１１ｂにて求められた挙動パラメータＫA 、及びＳ３３０で抽出した特徴点ＰDV、Ｓ３４０にて求めたオプティカルフローＦDVに基づいて、対象領域ＡDVの領域パラメータＲDV＝（ａ，ｂ，ｃ）を算出し（Ｓ３５０）、その領域パラメータＲDVを用いて、第一カメラ座標で表された三次元空間に対象領域ＡDVをマッピングする（Ｓ３６０）。
【００８３】
その後、先のＳ３１０にて分割された全ての分割領域ＡDVについて、上述のＳ３２０〜Ｓ３６０の処理を実行したか否かを判断し（Ｓ３７０）、未処理の分割領域ＡDVが存在すれば、Ｓ３２０に戻って、その未処理の分割領域ＡDVに対してＳ３２０〜Ｓ３６０の処理を繰り返し、一方、全ての分割領域ＡDVについて処理が終了していれば、三次元空間にマッピングされた分割領域ＡDVをグループ化し、そのグループ化した物体を障害物として検出し、その障害物の三次元情報（位置，形状）を求めて（Ｓ３８０）、Ｓ３００に戻る。
【００８４】
以上説明したように、周辺認識装置１では、第一撮像装置２は、その光軸が水平方向を向き且つ第一カメラ画像が横長（車両の幅方向の撮像範囲が広い）となるように設置されると共に、第二撮像装置３は、その光軸が第一撮像装置２より下向き（ピッチ角αが小）となり、且つ第二カメラ画像が縦長（車両の進行方向の撮像範囲が広い）となるように設置され、しかも、連続するフレームに同一特徴点ＰA2が必ず存在するように、即ち、特徴点ＰA2の追跡が容易となるように、車両の進行方向に対する光軸の傾斜角度が車速に応じて変化するようにされている。
【００８５】
従って、周辺認識装置１によれば、第二カメラ画像に基づいて、道路領域Ａ２の道路面上の特徴点ＰA2に基づくオプティカルフローＦA2、ひいては車両挙動やカメラ挙動を表す挙動パラメータＫB ，ＫC ，ＫA を精度良く求めることができ、更に、その精度良く第一撮像装置２の挙動を表す挙動パラメータＫA と第一カメラ画像とに基づいて、広い範囲に渡って、障害物の三次元情報を精度良くの検出することができる。
【００８６】
また、周辺認識装置１によれば、第二撮像装置３が車両の後方を撮像するように設置され、車両が前進している時には、第二カメラ画像中のオプティカルフローＦA2が、画像情報量が大きい側（多くの特徴点を抽出可能な側）から画像情報の小さい側に流れるようにされているため、第二カメラ画像中の情報を無駄なく利用することができる。
［第２実施形態］
次に、本発明の第２実施形態について説明する。
【００８７】
本実施形態では、第１実施形態のものとは、周辺認識部１１の構成が異なるだけであるため、この相違する部分を中心に説明する。
図７は、本実施形態における周辺認識部１１の構成を示すブロック図である。
【００８８】
図７に示すように、周辺認識部１１は、第１実施形態のものと比較して挙動補正部１１ｂが省略された構成、即ち、挙動検出部１１ａと三次元情報算出部１１ｃとからなる。
そして、挙動検出部１１ａは、Ｓ１５０（図４参照）において、第二カメラ座標系で表された挙動パラメータＫＢを、第一カメラ座標系で表された挙動パラメータＫＡに座標変換し、また、三次元情報算出部１１ｃは、挙動検出部１１ａで算出された挙動パラメータＫＡに基づいて処理を実行する以外は、第１実施形態と全く同様に構成されている。
【００８９】
このように構成された本実施形態の周辺認識装置１によれば、挙動補正部１１ｂが省略されている分だけ、処理負荷を軽減することができる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
【００９０】
例えば、上記実施形態では、第二撮像装置３を、車両の後方左端に、且つ光軸が車両の鉛直下方又は車両の後方に傾斜した向きとなるように設置されているが、図８（ａ）に示すように、光軸が、車両の真後ろに向くのではなく、車両の進行方向を見て左側に傾斜した向きとなるように設置してもよい。
【００９１】
この場合、第二カメラ画像中の特徴点ＰA2として、車線の左端を示す道路区分標示や、左側通行の道路であれば道路左端に存在する縁石等の路側物を、右側通行の道路であれば道路中央に位置する中央分離帯等を、好適に抽出することができる。
【００９２】
また、第二撮像装置３は、車両の後端に限らず、図８（ｂ）に示すように、車両の前端や、図８（ｃ）に示すように、車両の中央付近に設置してもよい。
また、第二撮像装置３は、車両の進行方向を見た時の車両の左側に限らず、図９（ａ）（ｂ）に示すように、車両の右側に設置してもよい。
【００９３】
この場合、第二カメラ画像中の特徴点ＰA2として、車線の右端を示す道路区分表示や、左側通行の道路であれば道路中央に位置する中央分離帯等を、右側通行の道路であれば道路右端に存在する縁石等の路側物を、好適に抽出することができる。
【００９４】
また、第二撮像装置３は、図９（ｃ）に示すように、車両の後面に設置してもよい。
更に、図１０（ａ）（ｂ）に示すように、車両の周囲（図では車両左右側面及び後面）に沿ってレール２０を設け、このレール２０に沿った第二撮像装置３の移動を可能とすると共に、第二撮像装置３の姿勢（光軸の向き）の変更を可能とするように構成してもよい。
【００９５】
この場合、自車両又は併走する他車両の影の境界が、第二カメラ画像に映り込むことがないように第二撮像装置３の位置や姿勢を制御することにより、影の境界を特徴点と誤認する等の日射による影響を除去することができ、装置の信頼性をより向上させることができる。
【００９６】
また、図１１に示すように、第二撮像装置３は、車両の底面に設置されていてもよい。
この場合、自車両の影が第二カメラ画像に映り込むことがないよう、図１１（ａ）に示すように、車両の中央付近、又は、図１１（ｂ）（ｃ）に示すように、車速に応じて光軸が後方を向くことを考慮して、車両の中央より前方に設置することが望ましい。
【００９７】
また、上記実施形態では、車速に応じて第二撮像装置３の光軸を車両の後方に傾斜させる場合について説明したが、車両が後退する場合に、第二撮像装置３の光軸を車両の前方に傾斜させるように構成してもよい。
【００９８】
また、第二撮像装置３は、車両Ｍの後方の運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
また、周辺認識装置１は、第二カメラ画像における日射の影響を除去するために、第二撮像装置３の撮像範囲を照射する照明装置を備えていてもよい。
【００９９】
上記実施形態では、第一撮像装置２及び第二撮像装置３として画素値が輝度強度を表すモノクロ画像を生成するＣＣＤカメラを用いたが、画素値が色彩を表すカラー画像を生成するカメラや、画素値が赤外線強度を表す赤外線カメラ、画像処理を行ってエッジが強調された撮像画像を出力するビジョンチップなどを用いてもよい。
【０１００】
上記第一実施形態では、第二カメラ座標系の挙動パラメータＫB を、車両座標系の挙動パラメータＫC に変換した後、更に、第一カメラ座標系の挙動パラメータＫA に変換しているが、挙動パラメータＫC を経由することなく、挙動パラメータＫB から挙動パラメータＫA に直接変換してもよい。
【図面の簡単な説明】
【０１０１】
【図１】周辺認識装置の全体構成を示すブロック図。
【図２】撮像装置の設置位置及び状態を示す説明図。
【図３】座標系の定義等を示す説明図。
【図４】挙動検出部での処理内容を示すフローチャート。
【図５】挙動補正部での処理内容を示すフローチャート。
【図６】三次元情報算出部での処理内容を示すフローチャート。
【図７】周辺認識部の他の構成例（第２実施形態）を示すブロック図。
【図８】第二撮像装置の他の設置例を示す説明図。
【図９】第二撮像装置の他の設置例を示す説明図。
【図１０】第二撮像装置の他の設置例を示す説明図。
【図１１】第二撮像装置の他の設置例を示す説明図。
【図１２】撮像装置の光軸が鉛直下方に対して傾斜している場合の問題点を示す説明図。
【図１３】前方に向けて取り付けられた撮像装置の問題点を示す説明図。
【符号の説明】
【０１０２】
１…車載周辺認識装置、２…第一撮像装置、３…第二撮像装置、４…姿勢制御部、５…車速センサ、６…ディスプレイ、７…スピーカ、８…アクチュエータ、１１…周辺認識部、１１ａ…挙動検出部、１１ｂ…挙動補正部、１１ｃ…三次元情報算出部、１３…危険判定部、２０…レール、Ｇ…撮像画面、Ｍ…車両。
【技術分野】
【０００１】
本発明は、移動体に設置された２台の撮像装置から得られる撮像画像を用いて障害物の位置，形状を示す三次元情報を生成する周辺認識装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、１台のカメラが移動しながら撮影した画像を用いて、カメラ自体またはカメラを搭載した移動体の挙動（以下単に「カメラ挙動」という）を検出すると共に、そのカメラ挙動と画像内の物体候補の動きから、物体の位置，形状を表す三次元情報を検出する装置が知られている（例えば、特許文献１参照）。
【０００３】
なお、カメラ挙動や物体の検出には、一般的に、連続する複数の画像列中における同一特徴点の動きをベクトルで表したオプティカルフローが用いられている。
このオプティカルフローは、特徴点が静止している場合は、カメラ挙動に対応したものとなり、また、特徴点が移動している場合は、カメラ挙動に特徴点自体の動きが重畳されたものとなる。
【特許文献１】特開２００１−２６６１６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、移動体が車両である場合、車両に搭載される障害物検出用のカメラは、可能な限り広い範囲に渡って撮影が可能なように、カメラの光軸がほぼ水平となるような姿勢で、車両の前方を撮像するように取り付けられる。
【０００５】
また、カメラ挙動の検出には、撮像画像中で最も面積が大きい静止物体である道路面上の特徴点を、画像列上で追跡することで得られるオプティカルフローが用いられる。
しかし、上述のように光軸がほぼ水平となるような姿勢で設置されたカメラでは、鉛直下向きに対して大きなピッチ角α（ここではα≒９０°）を有するため、道路面上の特徴点に基づくオプティカルフローの検出誤差が大きくなり、カメラ挙動を精度良く検出することができないという問題があった。
【０００６】
即ち、カメラの光軸が鉛直下向きに対するピッチ角αを有している場合、図１２に示すように、撮像画面Ｇには、その中心より上側にはより遠くの道路面が投影され、中心より下側にはより近くの道路面が投影されることになり、道路面上の特徴点（物体）が同じ距離だけ移動しても、撮像画面Ｇ上に投影された特徴点の動きは、より遠くに位置するものほど小さく、より近くに位置するものほど大きくなる。
【０００７】
このように、撮像画面Ｇ上の位置によって特徴点の動き方は異なっているため、その特徴点に基づいて検出されるオプティカルフローは、特徴点の動き方の違いに基づく誤差を含んだものとなってしまうのである。しかも、この誤差は、ピッチ角αが大きいほど、また、撮像画像の中心から外れるほど大きなものとなる。
【０００８】
実際に、車両に搭載されたピッチ角αを有する撮像装置により撮像された道路面の画像に基づいて、自車両の左右方向の並進運動量、前後方向の並進運動量、ヨー方向の回転運動量をシミュレーションにより求めた結果（真値に対する平均絶対値誤差）を表１に示す。
【０００９】
【表１】
【００１０】
但し、カメラから路面までの高さを１．５ｍ（１ＢＯＸ車両のマップランプ脇に前方カメラを設置したことに相当する）、カメラの設置角度をロール傾きなし、ヨー傾きなしとして、鉛直下向きに対するピッチ角αを、０．１、０．２、０．３、０．４、０．５［ｒａｄ］の５段階で変化させた。
【００１１】
また、カメラ解像度は、横３２０画素、縦２４０画素、フレームレートは、０．２ｍｓ／フレームとした。
そして、道路面は一様に平らで、横２ｍ縦５ｍの長方形ペイントが塗ってある平面とし、車両は、時速２２Ｋｍで１０秒かけて直角コーナーを左折する運動（ゆっくりと交差点を左折する運動に相当する）をするものとして、後述する実施形態で説明する挙動検出部１１ａでの処理を実行した。
【００１２】
但し、長方形ペイントの４頂点を特徴点とし、また、自車両の左右方向（図３（ｂ）のｘ軸方向）の並進運動成分、自車両の前後方向（同ｙ軸方向）の並進運動成分、自車両のヨー方向（同ｚ軸回り）の回転成分）だけが変化し、上下方向（同ｚ軸方向）の並進運動、ピッチ方向（同ｘ軸回り）の回転成分、ロール方向（同ｙ軸回り）の回転成分は変化せず、常にゼロであるものとした。
【００１３】
表１に示す結果から明らかなように、カメラのピッチ角αが大きくなるほど、特にヨー方向の回転運動量の誤差が大きくなり、車両の挙動を精度よく検出することができなくなることがわかる。
【００１４】
これに対して、カメラ挙動の検出精度を向上させるために、ピッチ角αを小さくする（カメラの光軸を鉛直下向きに近づける）と、カメラの撮像範囲が狭くなり、障害物の検出能力を低下させてしまう。つまり、物体の検出精度と、カメラ挙動の検出精度とはトレードオフの関係にあり、上述した従来装置では、両者を同時に向上させることができず、物体の三次元情報を精度良く求めることが困難であるという問題があった。
【００１５】
また、車両が前進している場合、三次元空間中で観測される静止物を示す特徴点は、車両に対して遠い方から近い方に移動し、車両の前方を撮像するように取り付けられたカメラの撮像画像から検出される特徴点のオプティカルフローは、画面上側から画面下側に流れる。つまり、図１３に示すように、道路面上の特徴点を追跡してオプティカルフローを求める際に、画像情報量が少ない側から多い側に向かって特徴点を追跡することになる。
【００１６】
従って、道路面上の情報が多く得られる画面下側では、画面上側より多くの特徴点が検出される可能性が高いが、その特徴点は直ぐに画面上から消えてしまうため、これを追跡することができず、これら特徴点の情報をオプティカルフローの検出に有効に役立てることができないという問題があった。
【００１７】
本発明は、上記問題点を解決するために、カメラ挙動の検出および物体の検出の双方に対して信頼できる高精度のオプティカルフローを求めることができ、物体の三次元情報の検出精度を向上させることが可能な周辺認識装置及び方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するためになされた本発明の周辺認識装置は、移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、第一撮像装置より光軸が下向きとなるように移動体に設置され、移動体が走行する道路面を撮像する第二撮像装置とを備えている。
【００１９】
そして、挙動検出手段が、第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、そのオプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出し、障害物検出手段が、挙動検出手段にて検出された挙動パラメータ、及び第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する。
【００２０】
つまり、第一撮像装置より光軸が下向きとなるように設置された第二撮像装置の撮像画像では、第一撮像装置の撮像画像と比較して、撮像画像内での位置によって特徴点の動き方が異なる度合いが小さいため、この第二撮像装置の撮像画像に基づいて道路面上の特徴点に基づくオプティカルフローを精度よく求めることができる。
【００２１】
また、第一撮像装置の撮像画像は、第二撮像装置の撮像画像と比較して、広い範囲を渡って撮像したものとなるため、この第一撮像装置の撮像画像に基づいて道路上及び道路周辺の多くの障害物（特徴点）を探索することができる。
【００２２】
従って、本発明の周辺認識装置によれば、第二撮像装置の撮像画像に基づいて挙動パラメータを精度良く求めることができ、その精度のよい挙動パラメータと、広い範囲を撮像した第一撮像装置の撮像画像とに基づいて、広い範囲に渡って物体の三次元情報を精度よく求めることができる。
【００２３】
ところで障害物検出手段は、例えば請求項２に記載のように、分割手段が、第一撮像装置の撮像画像を領域分割し、領域パラメータ算出手段が、分割手段にて分割された領域のそれぞれを対象領域として、対象領域上の特徴点のオプティカルフロー、及び挙動検出手段により検出された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出し、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするように構成されていてもよい。
【００２４】
また、障害物検出手段は、例えば請求項３に記載のように、分割手段が、第一撮像装置の撮像画像を領域分割し、挙動補正手段が、分割手段にて分割された領域から道路面を表す道路領域を抽出し、その道路領域上の特徴点のオプティカルフローに基づいて、挙動検出手段にて検出された挙動パラメータを補正し、領域パラメータ算出手段が、分割手段にて分割された領域のそれぞれを対象領域として、対象領域上の特徴点のオプティカルフロー、及び挙動補正手段により補正された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出し、マッピング手段が、領域パラメータ算出手段にて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするように構成されていてもよい。
【００２５】
つまり、挙動パラメータは、請求項２に記載のように、そのまま移動体の挙動（又は第一撮像装置の挙動）として使用しても良いし、請求項３に記載のように、第一撮像装置から得られる情報に基づいて、より第一撮像装置の挙動を正確に表すように補正した上で使用してもよい。
【００２６】
ところで、第一撮像装置は、請求項４に記載のように、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることが望ましい。
つまり、第一撮像装置は、その光軸が水平方向に近いほど、より遠方の物体（特徴点）の撮像が可能となるため、道路上及び道路周辺に存在する障害物の検出性能を向上させることができる。
【００２７】
また、この場合、第一撮像装置の撮像画像は、請求項５に記載のように、横長であることが望ましい。この場合、第一撮像装置は、より側方の物体（特徴点）の撮像が可能となるため、移動体近傍（特に側方）に存在する障害物の検出性能を向上させることができる。
【００２８】
一方、第二撮像装置は、請求項６に記載のように、鉛直下方に光軸を向けて配置されているか、或いは、請求項７に記載のように、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることが望ましい。
【００２９】
つまり、前者（請求項６）の場合、道路面上の特徴点に基づくオプティカルフローの検出精度を最大限に向上させることができ、また、後者（請求項７）の場合、移動体の進行方向に沿った撮像範囲が広がるため、同一特徴点を長時間追跡することが可能となり、特徴点の追跡精度、ひいては特徴点に基づいて算出されるオプティカルフローや挙動パラメータの信頼度を向上させることができる。
【００３０】
また、第二撮像装置は、必ずしも一定の姿勢に固定されている必要はなく、例えば、請求項８に記載のように、姿勢制御手段が、第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように第二撮像装置の姿勢を変化させるように構成されていてもよい。
【００３１】
この場合、同一特徴点の追跡を確実に行うことができ、しかも、第二撮像装置の姿勢が必要以上に傾斜することがないため、第二撮像装置の姿勢に基づくオプティカルフローの検出精度の低下を必要最小限に抑えることができる。
【００３２】
そして、第二撮像装置の撮像画像は、請求項９に記載のように、縦長であることが望ましい。この場合、第二撮像装置の撮像領域を、移動体の進行方向に沿った撮像領域を、第二撮像装置の姿勢を傾斜させることなく広げることができる。
【００３３】
なお、第二撮像装置は、請求項１０に記載のように、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物，右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されているか、又は、請求項１１に記載のように、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯，右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることが望ましい。
【００３４】
前者（請求項１０）の場合、具体的には、第二撮像装置の姿勢を、光軸が移動体の左側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。また、後者（請求項１１）の場合、第二撮像装置の姿勢を、光軸が移動体の右側方を向くようにしたり、第二撮像装置を、移動体自身が撮像の邪魔になることがないように、移動体の左側面に配置すればよい。
【００３５】
なお、第二撮像装置は、車線の左右両端を示す路面表示、及び道路端の路側物や道路中央の分離帯を同時に撮像可能な姿勢及び位置に配置されていてもよい。
そして、第二撮像装置は、例えば、請求項１２に記載のように、移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
【００３６】
また、第二撮像装置は、例えば、請求項１３に記載のように、移動体の底面に配置されていてもよい。
この場合、第二撮像装置の撮像領域の全体が、当該装置を搭載する移動体の影の部分に含まれ、撮像画像に移動体の影の境界部分が映り込む可能性が低いため、影の境界を特徴点として誤認して、無駄な処理が実行されたり、誤った三次元情報が算出されることを防止できる。
【００３７】
なお、このように第二撮像装置が移動体の底面に配置されている場合、第二撮像装置は、請求項１４に記載のように、移動体の中心より前方に配置されていることがより望ましい。
【００３８】
つまり、第二撮像装置の撮像範囲を広げるために、光軸が移動体の後方に向けて傾斜するように第二撮像装置の姿勢を設定したとしても、その撮像範囲内に自身を搭載する移動体の影の境界部分が写り込む可能性をより確実に低下させることができる。
【００３９】
また、第二撮像装置は、必ずしも移動体上の一定の位置に固定されている必要はなく、請求項１５に記載のように、移動手段が、第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体、或いは路側物の影が写り込むことがないように第二撮像装置の姿勢及び位置を変化させるように構成されていてもよい。
【００４０】
この場合、影の境界を特徴点と誤認することによる影響を、より確実に除去することができる。
また、特徴点の検出を容易にするため、例えば、請求項１６に記載のように、第二撮像装置の撮像範囲を照射範囲とする照明手段を備えていてもよい。
【００４１】
ところで、第一撮像装置及び第二撮像装置としては、撮像を行う環境や撮像対象などに応じて、様々な種類の撮像画像を生成するものを用いることができる。
具体的には、例えば、請求項１７に記載のように、輝度強度を表す画素値を有した撮像画像を生成するもの（モノクロカメラ等）であってもよいし、請求項１８に記載のように、色彩を表す画素値を有した撮像画像を生成するもの（カラーカメラ等）であってもよし、請求項１９に記載のように、赤外線強度を表す画素値を有した撮像画像を生成するもの（赤外線カメラ等）であってもよいし、請求項２０に記載のように、エッジが強調された撮像画像を生成するもの（模様検出用ビジョンチップ等）であってもよい。
【００４２】
次に、請求項２１に記載の周辺認識方法は、第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出ステップと、挙動検出手段にて検出された挙動パラメータ、及び第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出ステップとを備えている。
【００４３】
つまり、本発明の周辺認識方法では、第二撮像装置の撮像画像は、専ら移動体の挙動（ひいては第一撮像装置の挙動）を表す挙動パラメータを精度良く求めるために使用し、その挙動パラメータを利用して、第一撮像装置の撮像画像からその撮像画像中に存在する障害物の三次元情報を精度よく求めている。
【００４４】
このため、同じ撮像装置から得られた撮像画像を用いて移動体の挙動の検出と障害物の検出とをいずれも行う従来装置とは異なり、撮像装置の姿勢（光軸の向き）に関わるトレードオフの関係に捕らわれることなく、移動体の挙動の検出精度を向上させ、且つ障害物の検出領域を十分に確保することができる。
【００４５】
そして、障害物検出ステップは、より詳細には、請求項２２に記載のように、第一撮像装置の撮像画像を領域分割する分割ステップと、分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び挙動検出ステップにより検出された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、領域パラメータ算出ステップにて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするマッピングステップとで構成されていてもよい。
【００４６】
また、障害物検出ステップは、請求項２３に記載のように、第一撮像装置の撮像画像を領域分割する分割ステップと、分割手段にて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、挙動検出ステップにて検出された挙動パラメータを補正する挙動補正ステップと、分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び挙動補正ステップにより補正された挙動パラメータに基づいて、三次元空間内での対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、領域パラメータ算出ステップにて算出された領域パラメータ、及び第一撮像装置の撮像画像内での対象領域の位置に基づいて、対象領域を三次元座標上にマッピングするマッピングステップとで構成されていてもよい。
【００４７】
つまり、前者（請求項２２）の場合、挙動パラメータをそのまま利用することにより、少ない処理量で、障害物の三次元情報を求めることができ、一方、後者（請求項２３）の場合、挙動パラメータを、第一撮像装置の撮像画像から得られる情報を用いて補正することにより、第一撮像装置の挙動をより正確に表した挙動パラメータが得られるため、障害物の三次元情報の検出精度をより一層向上させることができる。
【００４８】
ところで、上記周辺認識方法は、請求項２４に記載のように、この方法を構成する各ステップをコンピュータに実行させるためのプログラムとして実現してもよい。
この場合、プログラムは、コンピュータが読み取り可能な記録媒体に記憶され、その記録媒体から必要に応じてコンピュータシステムにロードされるものであってもよいし、ネットワークを介してコンピュータシステムにロードされるものであってもよい。また、記録媒体は、持ち運び可能なものであってもよいし、コンピュータシステムに組み込まれたものであってもよい。
【発明を実施するための最良の形態】
【００４９】
以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
図１（ａ）は、本発明が適用された車載周辺認識装置１の全体構成を示すブロック図である。
【００５０】
図１（ａ）に示すように、車載周辺認識装置１は、車両前方の道路上及び道路周辺の状況を撮影する第一撮像装置２と、車両後方の道路面を中心に撮影する第二撮像装置３と、当該装置１を搭載する車両の車速を検出する車速センサ５と、車速センサ５にて検出される車速に応じて、第二撮像装置３の姿勢を制御する姿勢制御部４と、各種情報を視覚的，聴覚的に報知するためのディスプレイ６及びスピーカ７と、車両制御（エンジン，ブレーキ，変速機，ステアリング等の制御）を実行する際に駆動される各種アクチュエータ８と、第一撮像装置２及び第二撮像装置３から取得する撮像画像、及び姿勢制御部４から取得する姿勢情報に基づいて、道路上及び道路周辺の障害物（車両，路側物など）の位置や形状を示す三次元情報を生成する周辺認識部１１と、周辺認識部１１にて生成された三次元情報に基づいて、危険（道路領域以外への逸脱，障害物の存在等）の有無などを判断し、ディスプレイ６及びスピーカ７を介して警報，報知を行ったり、アクチュエータ８を制御することにより危険回避動作等を実行する危険判定部１３とを備えている。
【００５１】
なお、周辺認識部１１及び危険判定部１３は、ＣＰＵ，ＲＯＭ，ＲＡＭを中心に構成された周知のマイクロコンピュータからなる。また、第一撮像装置２及び第二撮像装置３は、輝度強度を画素値とする濃淡（モノクロ）画像を生成するＣＣＤカメラ（画角４５°）からなる。但し、第一撮像装置２及び第二撮像装置３は、縦方向と横方向とで画素数が異なった長方形の撮像画像を出力する。
【００５２】
ここで、図２は、第一撮像装置２及び第二撮像装置３の取付状態、及び姿勢制御部４による制御内容を示す説明図である。
図２に示すように、第一撮像装置２は、車両Ｍのフロントガラスのマップランプ周辺に取り付けられ、その光軸が車両の正面方向（前進方向）且つ水平方向（鉛直下方からのピッチ角α＝９０°）を向き、しかも、撮像画像が横長となる（撮像画像の短手方向が車両の進行方向と一致する）ように設定されている。
【００５３】
一方、第二撮像装置３は、車両Ｍの後方左端に高さ０．５ｍの位置に取り付けられ、その光軸が鉛直下向き（ピッチ角α＝０°）から（図２（ｂ）参照）から、車両Ｍの後方に向けて所定角度（本実施形態ではピッチ角α＝３０°）傾斜した向き（図２（ｃ）参照）の間を向くよう姿勢を変化させることが可能なように構成され、しかも、撮像画像が縦長となる（撮像画像の長手方向が車両の進行方向と一致する）ように設定されている。
【００５４】
そして、姿勢制御部４は、連続して取得される撮像画像（以下「フレーム」ともいう）中に、道路面上の同一特徴点が必ず存在するように、車速に応じてピッチ角αを変化させるように構成されている。
【００５５】
なお、第二撮像装置３の取付高さと姿勢（光軸の傾斜角度）の可動範囲は、第二撮像装置３のフレームレートを考慮して設定され、本実施形態では、車速４０ｋｍ／ｈ未満では、α＝０°、車速４０ｋｍ／ｈ以上でα＝３０°となるようにされている。
【００５６】
次に、周辺認識部１１は、図１（ｂ）に示すように、第二撮像装置３にて撮像された画像（以下「第二カメラ画像」という）、及び姿勢制御部４からの姿勢情報に基づいて、車両の挙動を表す挙動パラメータを生成する挙動検出部１１ａと、挙動検出部１１ａにて生成された挙動パラメータ、及び第一撮像装置２にて撮像された画像（以下「第一カメラ画像」という）に基づいて、挙動パラメータを第一撮像装置２の挙動を表したものに補正する挙動補正部１１ｂと、挙動補正部１１ｂにて補正された挙動パラメータ、及び第一カメラ画像に基づいて、第一カメラ画像に写されている障害物の三次元情報を求める三次元情報算出部１１ｃとからなる。なお、これら各部１１ａ〜１１ｃは、周辺認識部１１を構成するＣＰＵが実行する処理として実現される。
【００５７】
以下、周辺認識部１１の各部１１ａ〜１１ｃに対応した処理について詳述する。
但し、以下の説明において、第一撮像装置２の設置位置を基準とする第一カメラ座標系、及び第二撮像装置３の設置位置を基準とする第二カメラ座標系では、図３（ａ）に示すように、カメラ画像の左右方向をｘ軸、カメラ画像の上下方向をｙ軸、カメラの光軸方向をｚ軸とする。また、車両中心を原点とする車両座標系では、図３（ｂ）に示すように、車両の幅方向をｘ軸、車両の進行方向をｙ軸、上下方向をｚ軸とする。
【００５８】
そして、ｘ軸方向の速度を左右速度ｔｘ、ｙ軸方向の速度を前後速度ｔｙ、ｚ軸方向の速度を上下速度ｔｚ、ｘ軸を中心とする回転の角速度をピッチレートωｘ、ｙ軸を中心とする回転の角速度をロールレートωｙ、ｚ軸を中心とする回転の角速度をヨーレートωｚとして、これらを要素とするベクトルを、挙動パラメータＫ＝（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）と呼ぶものとする。
【００５９】
また、周辺認識部１１を構成するＲＯＭには、第一カメラ画像中で必ず道路が撮影される領域を道路領域Ａ１、第二カメラ画像中で必ず道路が撮影される領域を道路領域Ａ２として、その道路領域Ａ１の第一カメラ画像内での位置、及び道路領域Ａ２の第二カメラ画像内での位置を示す道路領域位置情報ＪA1，ＪA2及び道路領域Ａ２が平面であると仮定した元での第二カメラ座標系における道路領域Ａ２（道路平面）の位置，形状を特定する領域パラメータＲA2＝（ａ，ｂ，ｃ）が記憶されている。
【００６０】
なお、領域パラメータＲは、次の（１）（２）式で定義されるパラメータである。
【００６１】
【数１】
【００６２】
即ち、（１）式は、カメラ画像中の点（ｘ，ｙ）が、カメラ座標系で表された三次元空間内のある平面領域上に存在する場合、点（ｘ，ｙ）の奥行き（光軸方向の距離）Ｚとの関係を示す式であり、（２）式は、（１）式を満たす場合に、カメラの焦点距離をｆとして、点（ｘ，ｙ）とこれに対応するカメラ座標系内での三次元位置（Ｘ，Ｙ，Ｚ）との関係を示す式である。なお、平面領域の領域パラメータ（ａ，ｂ，ｃ）と、その平面領域の法線ベクトル（Ａ，Ｂ，Ｃ）とは、（３）式に示す関係を有する。
【００６３】
【数２】
【００６４】
また、第二撮像装置３の姿勢は車速に応じて変化するため、道路領域Ａ２の道路領域位置情報ＪA2、及び領域パラメータＲA2は、姿勢制御部４から取得される姿勢情報をインデックスとしたテーブル形式で記憶されている。
【００６５】
ここで、図４は挙動検出部１１ａでの処理内容、図５は挙動補正部１１ｂでの処理内容、図６は三次元情報算出部１１ｃでの処理内容を示すフローチャートである。
まず、挙動検出部１１ａでは、図４に示すように、第二撮像装置３から第二カメラ画像が取得されるまで待機し（Ｓ１００）、第二カメラ画像が取得されると、姿勢制御部４からの姿勢情報に基づいて道路領域位置情報ＪA2を取得し、その道路領域位置情報ＪA2により特定される第二カメラ画像中の道路領域Ａ２から、ＮA2個（少なくとも３個）の特徴点ＰA2＝（ｘ，ｙ）を抽出する（Ｓ１１０）。なお、ここでは、特徴点ＰA2として、各種路面表示（道路標示や区画線）の縁や、キャッツアイ、路側物（縁石，防音壁，街路樹等）と路面との境界など、画素値が大きく変化する地点を抽出する。
【００６６】
そして、Ｓ１１０で抽出された特徴点ＰA2と過去の検出結果とに基づいて、各特徴点ＰA2のそれぞれについてオプティカルフローＦA2＝（ｕ，ｖ）を算出する（Ｓ１２０）。
次に、姿勢情報に基づいて道路領域Ａ２の領域パラメータＲA2＝（ａ，ｂ，ｃ）を取得し（Ｓ１３０）、その取得した領域パラメータＲA2とＳ１２０にて算出したオプティカルフローＦA2に基づいて、第二カメラ座標系における第二撮像装置３の挙動を表す挙動パラメータＫB を算出する（Ｓ１４０）
具体的には、オプティカルフロー（ｕ，ｖ）は、特徴点（ｘ，ｙ）、領域パラメータ（ａ，ｂ，ｃ）、挙動パラメータ（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）、カメラの焦点距離ｆを用いて（４）（５）式で表される。
【００６７】
【数３】
【００６８】
このため、特徴点（ｘ，ｙ）及びオプティカルフロー（ｕ，ｖ）が３個以上あれば、これを（４）（５）式に代入することで、挙動パラメータ（ｔｘ，ｔｙ，ｔｚ，ωｘ，ωｙ，ωｚ）の各要素を未知数とした６個以上の式からなる連立方程式が得られるため、この連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことにより、挙動パラメータの各要素を求めることができる。
【００６９】
なお、ここで説明したオプティカルフローモデルについては、例えば、G. Stein, O. Mano and A. Shashua. A robust method for. computing vehicle ego-motion,In IEEE Intelligent Vehicles Symposium (IV2000), Oct. 2000, Dearborn, MIに詳述されている。
【００７０】
このようにして得られた挙動パラメータＫB は、第二カメラ座標系で表されたものであるため、この挙動パラメータＫB を座標変換することにより、車両座標系で表された挙動パラメータＫC を求めて（Ｓ１５０）、Ｓ１００に戻る。
【００７１】
つまり、挙動検出部１１ａでは、車両Ｍに固定されている第二撮像装置３の挙動と、車両Ｍ自体の挙動とは等しいとみなして、第二カメラ画像から近似的に車両挙動を表す挙動パラメータＫC を求めている。
【００７２】
次に、挙動補正部１１ｂでは、図５に示すように、第一撮像装置２から第一カメラ画像が取得されるまで待機し（Ｓ２００）、第一カメラ画像が取得されると、挙動検出部１１ａで求めら、車両座標系で表された挙動パラメータＫC を座標変換することにより、第一カメラ座標系で表された仮の挙動パラメータＫD を求める（Ｓ２１０）。
【００７３】
そして、第一カメラ画像に関する道路領域位置情報ＪA1により特定される第一カメラ画像中の道路領域Ａ１から、ＮA1個（少なくとも３個）の特徴点ＰA1＝（ｘ，ｙ）を抽出する（Ｓ２２０）。
【００７４】
次に、Ｓ２２０で抽出された特徴点ＰA1と過去の検出結果とに基づいて、各特徴点ＰA1のそれぞれについてオプティカルフローＦA1＝（ｕ，ｖ）を算出する（Ｓ２３０）。
そして、先に求めた仮の挙動パラメータＫD 、及びＳ２２０で抽出した特徴点ＰA1、Ｓ２３０にて求めたオプティカルフローＦA1に基づいて、道路領域Ａ１の領域パラメータＲA1＝（ａ，ｂ，ｃ）を算出する（Ｓ２４０）。
【００７５】
また、その領域パラメータＲA1とＳ２３０にて求めたオプティカルフローＦA1とに基づいて、第一カメラ座標系における第一撮像装置２の挙動を表す挙動パラメータＫA を算出する（Ｓ２５０）。
【００７６】
なお、Ｓ２４０，Ｓ２５０では、Ｓ１４０での処理と同様に、（４）（５）式から得られる連立方程式をシンプレックス法などの周知の最適化手法を用いて解くことで、領域パラメータＲA1や挙動パラメータＫA を算出する。
【００７７】
そして、Ｓ２１０で求められた仮の挙動パラメータＫD と、Ｓ２５０で求められた挙動パラメータＫA との距離Ｄを算出し（Ｓ２６０）、その距離Ｄが予め設定された閾値εより小さいか否かを判断する（Ｓ２７０）。
【００７８】
距離Ｄが閾値ε以上であれば、仮の挙動パラメータＫD の値を、Ｓ２５０で求めた挙動パラメータＫA で更新した上で（Ｓ２８０）、上述のＳ２４０〜Ｓ２７０の処理を繰り返し、一方、距離Ｄが閾値εより小さければ、挙動パラメータＫA を三次元情報算出部１１ｃに出力して（Ｓ２９０）、Ｓ２００に戻る。
【００７９】
つまり、挙動補正部１１ｂでは、第二カメラ画像の情報に基づく仮の挙動パラメータＫD と第一カメラ画像の情報を反映させた挙動パラメータＫA とが一致するまで反復処理を行うことにより、第一カメラ座標系における第一撮像装置２の挙動をより正確に反映した挙動パラメータＫA が得られるようにしている。
【００８０】
次に、三次元情報算出部１１ｃでは、図６に示すように、第一撮像装置２から第一カメラ画像が取得されるまで待機し（Ｓ３００）、第一カメラ画像が取得されると、第一カメラ画像を、各領域が単一平面からなるように領域分割する（Ｓ３１０）。
【００８１】
そして、分割された領域の一つを対象領域ＡDVとして選択し（Ｓ３２０）、その対象領域から、ＮDV個（少なくとも３個）の特徴点ＰDV＝（ｘ，ｙ）を抽出する（Ｓ３３０）と共に、その抽出した特徴点ＰDVと過去の検出結果とに基づいて、特徴点ＰDVのそれぞれについてオプティカルフローＦDV＝（ｕ，ｖ）を算出する（Ｓ３４０）。
【００８２】
そして、挙動補正部１１ｂにて求められた挙動パラメータＫA 、及びＳ３３０で抽出した特徴点ＰDV、Ｓ３４０にて求めたオプティカルフローＦDVに基づいて、対象領域ＡDVの領域パラメータＲDV＝（ａ，ｂ，ｃ）を算出し（Ｓ３５０）、その領域パラメータＲDVを用いて、第一カメラ座標で表された三次元空間に対象領域ＡDVをマッピングする（Ｓ３６０）。
【００８３】
その後、先のＳ３１０にて分割された全ての分割領域ＡDVについて、上述のＳ３２０〜Ｓ３６０の処理を実行したか否かを判断し（Ｓ３７０）、未処理の分割領域ＡDVが存在すれば、Ｓ３２０に戻って、その未処理の分割領域ＡDVに対してＳ３２０〜Ｓ３６０の処理を繰り返し、一方、全ての分割領域ＡDVについて処理が終了していれば、三次元空間にマッピングされた分割領域ＡDVをグループ化し、そのグループ化した物体を障害物として検出し、その障害物の三次元情報（位置，形状）を求めて（Ｓ３８０）、Ｓ３００に戻る。
【００８４】
以上説明したように、周辺認識装置１では、第一撮像装置２は、その光軸が水平方向を向き且つ第一カメラ画像が横長（車両の幅方向の撮像範囲が広い）となるように設置されると共に、第二撮像装置３は、その光軸が第一撮像装置２より下向き（ピッチ角αが小）となり、且つ第二カメラ画像が縦長（車両の進行方向の撮像範囲が広い）となるように設置され、しかも、連続するフレームに同一特徴点ＰA2が必ず存在するように、即ち、特徴点ＰA2の追跡が容易となるように、車両の進行方向に対する光軸の傾斜角度が車速に応じて変化するようにされている。
【００８５】
従って、周辺認識装置１によれば、第二カメラ画像に基づいて、道路領域Ａ２の道路面上の特徴点ＰA2に基づくオプティカルフローＦA2、ひいては車両挙動やカメラ挙動を表す挙動パラメータＫB ，ＫC ，ＫA を精度良く求めることができ、更に、その精度良く第一撮像装置２の挙動を表す挙動パラメータＫA と第一カメラ画像とに基づいて、広い範囲に渡って、障害物の三次元情報を精度良くの検出することができる。
【００８６】
また、周辺認識装置１によれば、第二撮像装置３が車両の後方を撮像するように設置され、車両が前進している時には、第二カメラ画像中のオプティカルフローＦA2が、画像情報量が大きい側（多くの特徴点を抽出可能な側）から画像情報の小さい側に流れるようにされているため、第二カメラ画像中の情報を無駄なく利用することができる。
［第２実施形態］
次に、本発明の第２実施形態について説明する。
【００８７】
本実施形態では、第１実施形態のものとは、周辺認識部１１の構成が異なるだけであるため、この相違する部分を中心に説明する。
図７は、本実施形態における周辺認識部１１の構成を示すブロック図である。
【００８８】
図７に示すように、周辺認識部１１は、第１実施形態のものと比較して挙動補正部１１ｂが省略された構成、即ち、挙動検出部１１ａと三次元情報算出部１１ｃとからなる。
そして、挙動検出部１１ａは、Ｓ１５０（図４参照）において、第二カメラ座標系で表された挙動パラメータＫＢを、第一カメラ座標系で表された挙動パラメータＫＡに座標変換し、また、三次元情報算出部１１ｃは、挙動検出部１１ａで算出された挙動パラメータＫＡに基づいて処理を実行する以外は、第１実施形態と全く同様に構成されている。
【００８９】
このように構成された本実施形態の周辺認識装置１によれば、挙動補正部１１ｂが省略されている分だけ、処理負荷を軽減することができる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
【００９０】
例えば、上記実施形態では、第二撮像装置３を、車両の後方左端に、且つ光軸が車両の鉛直下方又は車両の後方に傾斜した向きとなるように設置されているが、図８（ａ）に示すように、光軸が、車両の真後ろに向くのではなく、車両の進行方向を見て左側に傾斜した向きとなるように設置してもよい。
【００９１】
この場合、第二カメラ画像中の特徴点ＰA2として、車線の左端を示す道路区分標示や、左側通行の道路であれば道路左端に存在する縁石等の路側物を、右側通行の道路であれば道路中央に位置する中央分離帯等を、好適に抽出することができる。
【００９２】
また、第二撮像装置３は、車両の後端に限らず、図８（ｂ）に示すように、車両の前端や、図８（ｃ）に示すように、車両の中央付近に設置してもよい。
また、第二撮像装置３は、車両の進行方向を見た時の車両の左側に限らず、図９（ａ）（ｂ）に示すように、車両の右側に設置してもよい。
【００９３】
この場合、第二カメラ画像中の特徴点ＰA2として、車線の右端を示す道路区分表示や、左側通行の道路であれば道路中央に位置する中央分離帯等を、右側通行の道路であれば道路右端に存在する縁石等の路側物を、好適に抽出することができる。
【００９４】
また、第二撮像装置３は、図９（ｃ）に示すように、車両の後面に設置してもよい。
更に、図１０（ａ）（ｂ）に示すように、車両の周囲（図では車両左右側面及び後面）に沿ってレール２０を設け、このレール２０に沿った第二撮像装置３の移動を可能とすると共に、第二撮像装置３の姿勢（光軸の向き）の変更を可能とするように構成してもよい。
【００９５】
この場合、自車両又は併走する他車両の影の境界が、第二カメラ画像に映り込むことがないように第二撮像装置３の位置や姿勢を制御することにより、影の境界を特徴点と誤認する等の日射による影響を除去することができ、装置の信頼性をより向上させることができる。
【００９６】
また、図１１に示すように、第二撮像装置３は、車両の底面に設置されていてもよい。
この場合、自車両の影が第二カメラ画像に映り込むことがないよう、図１１（ａ）に示すように、車両の中央付近、又は、図１１（ｂ）（ｃ）に示すように、車速に応じて光軸が後方を向くことを考慮して、車両の中央より前方に設置することが望ましい。
【００９７】
また、上記実施形態では、車速に応じて第二撮像装置３の光軸を車両の後方に傾斜させる場合について説明したが、車両が後退する場合に、第二撮像装置３の光軸を車両の前方に傾斜させるように構成してもよい。
【００９８】
また、第二撮像装置３は、車両Ｍの後方の運転者から死角となる領域を撮像するバックモニタ用カメラを兼用していてもよい。
また、周辺認識装置１は、第二カメラ画像における日射の影響を除去するために、第二撮像装置３の撮像範囲を照射する照明装置を備えていてもよい。
【００９９】
上記実施形態では、第一撮像装置２及び第二撮像装置３として画素値が輝度強度を表すモノクロ画像を生成するＣＣＤカメラを用いたが、画素値が色彩を表すカラー画像を生成するカメラや、画素値が赤外線強度を表す赤外線カメラ、画像処理を行ってエッジが強調された撮像画像を出力するビジョンチップなどを用いてもよい。
【０１００】
上記第一実施形態では、第二カメラ座標系の挙動パラメータＫB を、車両座標系の挙動パラメータＫC に変換した後、更に、第一カメラ座標系の挙動パラメータＫA に変換しているが、挙動パラメータＫC を経由することなく、挙動パラメータＫB から挙動パラメータＫA に直接変換してもよい。
【図面の簡単な説明】
【０１０１】
【図１】周辺認識装置の全体構成を示すブロック図。
【図２】撮像装置の設置位置及び状態を示す説明図。
【図３】座標系の定義等を示す説明図。
【図４】挙動検出部での処理内容を示すフローチャート。
【図５】挙動補正部での処理内容を示すフローチャート。
【図６】三次元情報算出部での処理内容を示すフローチャート。
【図７】周辺認識部の他の構成例（第２実施形態）を示すブロック図。
【図８】第二撮像装置の他の設置例を示す説明図。
【図９】第二撮像装置の他の設置例を示す説明図。
【図１０】第二撮像装置の他の設置例を示す説明図。
【図１１】第二撮像装置の他の設置例を示す説明図。
【図１２】撮像装置の光軸が鉛直下方に対して傾斜している場合の問題点を示す説明図。
【図１３】前方に向けて取り付けられた撮像装置の問題点を示す説明図。
【符号の説明】
【０１０２】
１…車載周辺認識装置、２…第一撮像装置、３…第二撮像装置、４…姿勢制御部、５…車速センサ、６…ディスプレイ、７…スピーカ、８…アクチュエータ、１１…周辺認識部、１１ａ…挙動検出部、１１ｂ…挙動補正部、１１ｃ…三次元情報算出部、１３…危険判定部、２０…レール、Ｇ…撮像画面、Ｍ…車両。
【特許請求の範囲】
【請求項１】
移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、
前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置と、
前記第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出手段と、
前記挙動検出手段にて検出された挙動パラメータ、及び前記第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出手段と、
を備えることを特徴とする周辺認識装置。
【請求項２】
前記障害物検出手段は、
前記第一撮像装置の撮像画像を領域分割する分割手段と、
前記分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動検出手段により検出された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピング手段と、
からなることを特徴とする請求項１に記載の周辺認識装置。
【請求項３】
前記障害物検出手段は、
前記第一撮像装置の撮像画像を領域分割する分割手段と、
前記分割手段にて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、前記挙動検出手段にて検出された挙動パラメータを補正する挙動補正手段と、
前記分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動補正手段により補正された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピング手段と、
からなることを特徴とする請求項１に記載の周辺認識装置。
【請求項４】
前記第一撮像装置は、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることを特徴とする請求項１乃至請求項３のいずれかに記載の周辺認識装置。
【請求項５】
前記第一撮像装置の撮像画像は横長であることを特徴とする請求項４に記載の周辺認識装置。
【請求項６】
前記第二撮像装置は、鉛直下方に光軸を向けて配置されていることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項７】
前記第二撮像装置は、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項８】
前記第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように前記第二撮像装置の姿勢を変化させる姿勢制御手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項９】
前記第二撮像装置の撮像画像は縦長であることを特徴とする請求項６乃至請求項８のいずれかに記載の周辺認識装置。
【請求項１０】
前記第二撮像装置は、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物，右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項１乃至請求項９のいずれかに記載の周辺認識装置。
【請求項１１】
前記第二撮像装置は、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯，右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項１乃至請求項１０のいずれかに記載の周辺認識装置。
【請求項１２】
前記第二撮像装置は、前記移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用することを特徴とする請求項１乃至請求項１１のいずれかに記載の周辺認識装置。
【請求項１３】
前記第二撮像装置は、前記移動体の底面に配置されていることを特徴とする請求項１乃至１１のいずれかに記載の周辺認識装置。
【請求項１４】
前記第二撮像装置は、前記移動体の中心より前方に配置されていることを特徴とする請求項１３に記載の周辺認識装置。
【請求項１５】
前記第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体又は路側物の影が写り込むことがないように前記第二撮像装置の姿勢及び位置を変化させる移動手段を備えることを特徴とする請求項１乃至請求項９のいずれかに記載の周辺認識装置。
【請求項１６】
前記第二撮像装置の撮像範囲を照射範囲とする照明手段を備えることを特徴とする請求項１乃至請求項１５のいずれかに記載の周辺認識装置。
【請求項１７】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、輝度強度を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項１８】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、色彩を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項１９】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、赤外線強度を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項２０】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、エッジが強調された撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項２１】
移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置とから得られる撮像画像に基づいて、移動体周辺に存在する障害物の三次元的な位置，形状を認識する周辺認識方法であって、
前記第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出ステップと、
前記挙動検出ステップにて検出された挙動パラメータ、及び前記第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出ステップと、
からなることを特徴とする周辺認識方法。
【請求項２２】
前記障害物検出ステップは、
前記第一撮像装置の撮像画像を領域分割する分割ステップと、
前記分割ステップにて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動検出ステップにより検出された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピングステップと、
からなることを特徴とする請求項２１に記載の周辺認識方法。
【請求項２３】
前記障害物検出ステップは、
前記第一撮像装置の撮像画像を領域分割する分割ステップと、
前記分割ステップにて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、前記挙動検出ステップにて検出された挙動パラメータを補正する挙動補正ステップと、
前記分割ステップにて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動補正ステップにより補正された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピングステップと、
からなることを特徴とする請求項２１に記載の周辺認識方法。
【請求項２４】
請求項２１乃至請求項２３のいずれかに記載の周辺認識方法を構成する各ステップを、コンピュータに実行させるためのプログラム。
【請求項１】
移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、
前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置と、
前記第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出手段と、
前記挙動検出手段にて検出された挙動パラメータ、及び前記第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出手段と、
を備えることを特徴とする周辺認識装置。
【請求項２】
前記障害物検出手段は、
前記第一撮像装置の撮像画像を領域分割する分割手段と、
前記分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動検出手段により検出された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピング手段と、
からなることを特徴とする請求項１に記載の周辺認識装置。
【請求項３】
前記障害物検出手段は、
前記第一撮像装置の撮像画像を領域分割する分割手段と、
前記分割手段にて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、前記挙動検出手段にて検出された挙動パラメータを補正する挙動補正手段と、
前記分割手段にて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動補正手段により補正された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出手段と、
前記領域パラメータ算出手段にて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピング手段と、
からなることを特徴とする請求項１に記載の周辺認識装置。
【請求項４】
前記第一撮像装置は、水平方向又は水平方向より下向きに、且つ移動体の前方に光軸を向けて配置されていることを特徴とする請求項１乃至請求項３のいずれかに記載の周辺認識装置。
【請求項５】
前記第一撮像装置の撮像画像は横長であることを特徴とする請求項４に記載の周辺認識装置。
【請求項６】
前記第二撮像装置は、鉛直下方に光軸を向けて配置されていることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項７】
前記第二撮像装置は、鉛直下方から移動体の後方に傾斜した方向に光軸を向けて配置されていることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項８】
前記第二撮像装置から取得される連続した二つの撮像画像中に、同一特徴点が存在するように、移動体の速度が大きいほど、移動体の進行方向とは反対側への光軸の傾斜角度が大きくなるように前記第二撮像装置の姿勢を変化させる姿勢制御手段を備えることを特徴とする請求項１乃至請求項５のいずれかに記載の周辺認識装置。
【請求項９】
前記第二撮像装置の撮像画像は縦長であることを特徴とする請求項６乃至請求項８のいずれかに記載の周辺認識装置。
【請求項１０】
前記第二撮像装置は、車線の左端を示す路面表示、又は左側通行の道路であれば道路端に設けられた路側物，右側通行の道路であれば道路中央の分離帯の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項１乃至請求項９のいずれかに記載の周辺認識装置。
【請求項１１】
前記第二撮像装置は、車線の右端を示す路面表示、又は左側通行の道路であれば道路中央の分離帯，右側通行の道路であれば道路端に設けられた路側物の撮像が少なくとも可能となる姿勢及び位置に配置されていることを特徴とする請求項１乃至請求項１０のいずれかに記載の周辺認識装置。
【請求項１２】
前記第二撮像装置は、前記移動体の後方に配置され、運転者から死角となる領域を撮像するバックモニタ用カメラを兼用することを特徴とする請求項１乃至請求項１１のいずれかに記載の周辺認識装置。
【請求項１３】
前記第二撮像装置は、前記移動体の底面に配置されていることを特徴とする請求項１乃至１１のいずれかに記載の周辺認識装置。
【請求項１４】
前記第二撮像装置は、前記移動体の中心より前方に配置されていることを特徴とする請求項１３に記載の周辺認識装置。
【請求項１５】
前記第二撮像装置の撮像画像中に、自移動体又は自移動体と併走する他移動体又は路側物の影が写り込むことがないように前記第二撮像装置の姿勢及び位置を変化させる移動手段を備えることを特徴とする請求項１乃至請求項９のいずれかに記載の周辺認識装置。
【請求項１６】
前記第二撮像装置の撮像範囲を照射範囲とする照明手段を備えることを特徴とする請求項１乃至請求項１５のいずれかに記載の周辺認識装置。
【請求項１７】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、輝度強度を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項１８】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、色彩を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項１９】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、赤外線強度を表す画素値を有した撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項２０】
前記第一撮像装置及び前記第二撮像装置のうち少なくとも一方は、エッジが強調された撮像画像を生成することを特徴とする請求項１乃至請求項１６のいずれかに記載の周辺認識装置。
【請求項２１】
移動体に設置され、移動体周辺の画像を撮像する第一撮像装置と、前記第一撮像装置より光軸が下向きとなるように前記移動体に設置され、前記移動体が走行する道路面を撮像する第二撮像装置とから得られる撮像画像に基づいて、移動体周辺に存在する障害物の三次元的な位置，形状を認識する周辺認識方法であって、
前記第二撮像装置の撮像画像から道路面上に存在する特徴点のオプティカルフローを抽出し、該オプティカルフローに基づいて移動体挙動を表す挙動パラメータを検出する挙動検出ステップと、
前記挙動検出ステップにて検出された挙動パラメータ、及び前記第一撮像装置の撮像画像に基づいて、障害物の位置，形状を示す三次元情報を算出する障害物検出ステップと、
からなることを特徴とする周辺認識方法。
【請求項２２】
前記障害物検出ステップは、
前記第一撮像装置の撮像画像を領域分割する分割ステップと、
前記分割ステップにて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動検出ステップにより検出された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピングステップと、
からなることを特徴とする請求項２１に記載の周辺認識方法。
【請求項２３】
前記障害物検出ステップは、
前記第一撮像装置の撮像画像を領域分割する分割ステップと、
前記分割ステップにて分割された領域から道路面を表す道路領域を抽出し、該道路領域上の特徴点のオプティカルフローに基づいて、前記挙動検出ステップにて検出された挙動パラメータを補正する挙動補正ステップと、
前記分割ステップにて分割された領域のそれぞれを対象領域として、該対象領域上の特徴点のオプティカルフロー、及び前記挙動補正ステップにより補正された挙動パラメータに基づいて、三次元空間内での前記対象領域の位置及び向きを規定する領域パラメータを算出する領域パラメータ算出ステップと、
前記領域パラメータ算出ステップにて算出された領域パラメータ、及び前記第一撮像装置の撮像画像内での前記対象領域の位置に基づいて、前記対象領域を三次元座標上にマッピングするマッピングステップと、
からなることを特徴とする請求項２１に記載の周辺認識方法。
【請求項２４】
請求項２１乃至請求項２３のいずれかに記載の周辺認識方法を構成する各ステップを、コンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１２】
【公開番号】特開２００７−３００１８１（Ｐ２００７−３００１８１Ａ）
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００６−１２４１１７（Ｐ２００６−１２４１１７）
【出願日】平成１８年４月２７日（２００６．４．２７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（５０６１４６６７７）
【Ｆターム（参考）】
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１８年４月２７日（２００６．４．２７）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【出願人】（５０６１４６６７７）
【Ｆターム（参考）】
[ Back to top ]