画像処理装置及び画像処理方法
【課題】道路平面の識別処理を少ない計算量で行うことが可能な画像処理装置を提供する。
【解決手段】画像処理装置２０は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域のオプティカルフローを算出するオプティカルフロー算出手段２２と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域のフローパラメータを算出するフローパラメータ算出手段２４と、フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段２６と、を備える。
【解決手段】画像処理装置２０は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域のオプティカルフローを算出するオプティカルフロー算出手段２２と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域のフローパラメータを算出するフローパラメータ算出手段２４と、フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段２６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが移動しながら撮像した画像を用いて、画像上の撮像された物体を識別する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、車両に前方を監視する１台のカメラを搭載して、このカメラにより撮像された画像を処理して周辺の車両や障害物などを識別する装置が提案されている。より詳しく説明すると、この特許文献１に係る装置は、カメラが移動しながら路面を撮像し、第１の画像の路面上の特徴点と、第２の画像の路面上の特徴点とを重ね合わせるための変換行列を算出する。そして、当該装置は、画像の複数の特徴点にこの変換行列を適用し、重ね合わせに失敗した特徴点を立体物の特徴点として識別する。
【特許文献１】特開２００３−４４９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来技術に係る装置では、路面上の特徴点を重ね合わせるための変換行列を算出して画像にこの変換行列を適用する必要がある。しかしながら、この処理のための計算量は膨大であるため、障害物の識別処理の計算周期および精度は装置の計算能力により制限されてしまう。即ち、障害物の識別結果を高解像度・高精度で得たい場合には、障害物の識別処理の計算周期を遅くする必要がある。一方、障害物を識別結果を高い計算周期で得たい場合には、障害物の識別結果の解像度・精度が低下してしまう。
【０００４】
本発明は、このような問題を解決するためになされたものであり、画像上の撮像された物体の識別処理を少ない計算量で行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る画像処理装置は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段と、を備えることを特徴とする。この構成によれば、画像処理装置は、比較的に簡易な処理でフローパラメータを算出し、このフローパラメータを用いて画像の道路平面を構成する領域を識別するため、画像の各領域を識別するための処理を簡易なものとして、計算量を少なくすることができる。これにより、画像の各領域の識別処理における画像の解像度を向上したり、画像の各領域の識別処理を実行する周期を短くすることができる。
【０００６】
上述した画像処理装置において、オプティカルフロー算出手段は、道路平面上の特徴的な画像部分について基準オプティカルフローを算出し、基準オプティカルフローに基づいて画像の各領域ごとに探索範囲を設定し、探索範囲内を探索することで画像の各領域ごとのオプティカルフローを算出することが好ましい。この構成によれば、画像処理装置は、道路平面上の特徴的な領域について算出されたオプティカルフローに基づいて画像の一部に探索範囲の設定するため、探索範囲を適切な位置に設定することができ、オプティカルフローの精度を向上することができる。特に、基準オプティカルフローの大きさに基づいて前記探索範囲が設定される位置や面積を決定することにより、探索範囲を適切に設定することができ、オプティカルフローの精度を向上することができる。
【０００７】
上述した画像処理装置において、オプティカルフロー算出手段は、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出することが好ましい。この構成によれば、通常の走行状態では自車両の進行方向は道路平面であるため、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出する。よって、基準オプティカルフローを適切に設定することができる。
【０００８】
上述した画像処理装置において、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、過去に算出された道路平面のフローパラメータを利用して道路平面を構成する領域を識別するため、道路平面を構成する領域を簡易な処理で識別することができる。
【０００９】
上述した画像処理装置において、領域識別手段は、自車両の進行方向の領域のフローパラメータの経時変化が予め設定された閾値より小さい場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定することが好ましい。この構成によれば、画像処理装置は、自車両の進行方向の領域のフローパラメータの経時変化が小さい場合に、その領域のフローパラメータを道路平面のフローパラメータとして設定するため、より確実に道路平面である領域のフローパラメータを利用して画像内の道路平面を識別することができる。
【００１０】
上述した画像処理装置において、領域識別手段は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定することが好ましい。この構成によれば、画像処理装置は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定するため、より確実に道路平面である領域のフローパラメータを利用して画像内の道路平面を識別することができる。
【００１１】
また、上述した目的を達成するために、本発明に係る画像処理方法は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出ステップと、算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出ステップと、算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別ステップと、を含む。
【発明の効果】
【００１２】
本発明の画像処理装置及び画像処理方法によれば、画像上の撮像された物体の識別処理を少ない計算量で行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の画像処理装置の好適な実施形態について説明する。本実施形態において、画像処理装置は車両に搭載されている。
【００１４】
図１に示すように、画像処理装置２０には、撮像手段としてカメラ１０が接続されている。カメラ１０は、例えば、ＣＣＤ[Charge Coupled Device]カメラ１０であり、画像処理装置２０を搭載する自動車の前方かつ中央に取り付けられる。カメラ１０は、所定時間が経過する度に、自動車の前方を撮像して、複数の画素データからなる画像データを生成する。カメラ１０は、生成された画像データを、画像処理装置２０に逐次出力する。
【００１５】
画像処理装置２０は、カメラ１０から画像データを取り込むと、画像データを処理して画像上の物体を識別する処理を行う。特に、画像処理装置２０は、画像上の被撮像物が道路平面であるか否かを識別する。画像処理装置２０は、物理的には、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されている。また、画像処理装置２０は、機能的には、オプティカルフロー算出手段２２と、フローパラメータ算出手段２４と、領域識別手段２６とを備えている。これらの機能は、ＣＰＵおよびＲＡＭが、ＲＯＭに記憶されたプログラムを実行することにより実現される。
【００１６】
オプティカルフロー算出手段２２は、画像データをテンプレートマッチング法により処理することで、オプティカルフローベクトルを算出する。フローパラメータ算出手段２４は、算出されたオプティカルフローベクトルに基づいて、一般的にフローパラメータと呼ばれる８つのパラメータを算出する。領域識別手段２６は、算出されたフローパラメータに基づいて、画像上の被撮像物が道路平面であるか否かを識別する。
【００１７】
上述した画像上の物体を識別する処理を可能とするために、画像処理装置２０には車両センサ３０が接続されている。車両センサ３０は、車両の挙動を検出するものであればよく、例えば、車速センサ、ハンドル角センサ、ヨーレートセンサ、ピッチセンサ、ロールセンサ、前後方向加速度センサ、横方向加速度センサ、上下方向加速度センサなどを含んで構成すればよい。これらのセンサによる検出値は、画像処理装置２０により取り込まれ、画像上の被撮像物を識別する処理に利用される。
【００１８】
画像処理装置２０による物体識別処理の結果は、車室内に設けられたモニターの表示制御や車両の動作制御などに利用される。例えば、画像処理装置２０による物体識別処理の結果が表示制御装置４０に入力されると、表示制御装置４０は、画像上の各領域の識別結果をモニターに表示したり、運転者への警告をモニターに表示する。また、画像処理装置２０による物体識別処理の結果が車両制御装置５０に入力されると、車両制御装置５０は、車両前方の物体との衝突を回避するように、エンジン、ブレーキ、変速機、ステアリングなどを制御する。
【００１９】
［物体識別の原理］
次に、画像処理装置２０が画像上の物体を識別する原理について説明する。
【００２０】
先ず、図２を参照して、３つの座標系、即ち、画像座標系、カメラ座標系および車両座標系について説明する。画像座標系は、カメラ１０の画像面に設定された２次元座標系であり、画像の中心を原点とし、画像の縦方向をｘ軸とし、画像の横方向をｙ軸としている。カメラ座標系は、カメラ１０を中心に設定された３次元座標系であり、カメラ１０の位置を原点とし、カメラ１０の上下方向をＸｃ軸とし、カメラ１０の左右方向をＹｃ軸とし、カメラ１０の光軸方向をＺｃ軸としている。車両座標系は、カメラ座標系を回転したものであり、車両の上下方向をＸｖ軸とし、車両の左右方向をＹｖ軸とし、車両の進行方向をＺｖ軸としている。車両に対するカメラ１０の姿勢が、図３に示されている。図３から理解できるように、カメラ座標系のＺｃ軸と車両座標系のＺｖ軸とがなす角度はθであり、カメラ座標系のＹｃ軸と車両座標系のＹｚ軸とがなす角度はφである。説明の便宜のため角度θ，φを大きく示しているが、実際にはカメラ座標系と車両座標系とはほぼ一致しており角度θ，φは微小である。なお、上述した画像座標系、カメラ座標系および車両座標系は、車両の移動に伴ってカメラ１０と共に移動する。
【００２１】
次に、図４を参照して、オプティカルフローを生じさせるカメラ１０の運動について説明する。車両が車両座標系のＸｖ軸方向、Ｙｖ軸方向、Ｚｖ軸方向にそれぞれａ，ｂ，ｃの速度で並進運動し、Ｘｖ軸周り、Ｙｖ軸周り、Ｚｖ軸周りにそれぞれω１，ω２，ω３の角速度で回転運動する場合には、車両座標系を基準とするカメラ１０の運動パラメータは{ａ，ｂ，ｃ，ω１，ω２，ω３}である。車両座標系を基準とするカメラ１０の運動パラメータを、車両座標系からカメラ座標系に座標変換すると、カメラ座標系を基準とするカメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}となる。
【００２２】
カメラ１０が上記の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}で運動する場合に、画像上の位置（ｘ，ｙ）で、Ｚｃ＝ｐ・Ｘｃ＋ｑ・Ｙｃ＋ｒで表される平面が撮像されると、次の数式（１）で表されるオプティカルフロー（ｕ，ｖ）が引き起こされる。なお、ｕはオプティカルフローベクトルのｘ方向成分であり、ｖはオプティカルフローベクトルのｙ方向成分である。
【００２３】
【数１】
【００２４】
なお、上の数式（１）において、ｆはカメラ１０の焦点距離である。また、ｐ，ｑおよびｒは、平面を規定するための平面パラメータである。また、８つのパラメータＵ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ及びＦは、一般にフローパラメータと呼ばれる数値であり、次の数式（２）で定義されている。なお、数式（１）および（２）については、「画像理解‐３次元認識の数理」（金谷健一著）に詳述されている。
【００２５】
【数２】
【００２６】
上述したように、オプティカルフローは、数式（１）および（２）により表されるものであるが、実際には連続撮像して得られる一連の画像を処理して算出される。即ち、あるタイミングの画像を多数の領域に分割してから、テンプレートマッチング法によりそれらの各領域と一致する領域を次のタイミングの画像から探索することにより、オプティカルフローは算出される。
【００２７】
さらに、このように算出されたオプティカルフローから、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝を算出することができる。即ち、画像上の一部の領域を平面であると見做せば、その領域ではフローパラメータは同一であるため、その領域の４つ以上のオプティカルフローの情報（ｘ，ｙ，ｕ，ｖ）からフローパラメータを算出することができる。例えば、画像上の一部の領域の４つのオプティカルフロー情報（ｘ１，ｙ１，ｕ１，ｖ１）、（ｘ２，ｙ２，ｕ２，ｖ２）、（ｘ３，ｙ３，ｕ３，ｖ３）、（ｘ４，ｙ４，ｕ４，ｖ４）と、カメラ１０の焦点距離ｆを上の数式（１）に代入すると、フローパラメータ{Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ}を未知数として含む数式が合計８つ得られる。よって、これらの８つの数式を周知の手法で処理することにより、フローパラメータの数値を求めることができる。フローパラメータの算出のために、５つ以上のオプティカルフロー情報を用いる場合には、最小自乗法などの近似法を用いればよい。なお、以下の説明では、画像上の位置（ｘ，ｙ）について算出されたフローパラメータを{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}と表す。
【００２８】
上記の数式（２）から理解できるように、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、カメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}および平面パラメータ{ｐ，ｑ，ｒ}によって一義的に定義される。よって、カメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}が一定値である場合には、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、撮像された物体表面の平面パラメータ{ｐ，ｑ，ｒ}と等価な数値として用いることができる。本実施形態における物体識別の原理ではこのようなフローパラメータの特性が利用されており、画像上の各領域について算出されたフローパラメータに基づいて画像上の各領域の平面が識別されている。
【００２９】
即ち、同一平面を撮像した画像領域については８つのフローパラメータはほぼ等しい値となる。よって、画像上の各領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を互いに比較することにより、２つの画像領域が同一平面であるか否かを判定することができる。特に、本実施形態では、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータとして、道路平面を基準とする平面のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}を求める。そして、画像上の各領域のフローパラメータを道路平面のフローパラメータと比較することにより、画像上の各領域が、道路平面あるか否かを識別している。ここで、両フローパラメータが類似する場合には、画像上のその領域は道路平面であると識別される。なお、両フローパラメータの類似とは、両フローパラメータが一致する場合、及び両フローパラメータの差分が所定の閾値より小さい場合である。
【００３０】
［物体識別処理］
次に、図５〜図８のフローチャートを参照して、本実施形態の画像処理装置２０による物体識別処理について説明する。図５には、画像処理装置２０による物体識別処理の全体的なフローが示されている。図６には、オプティカルフローを算出する処理のフローが示されている。図７には、道路平面のフローパラメータを設定する処理のフローが示されている。また、図８には、道路平面のフローパラメータを設定する別の処理のフローが示されている。
【００３１】
図５のフローチャートに示されるように、画像処理装置２０は、一定の時間間隔（例えば３０ｍｓｅｃ）ごとのタイミングＴｎに画像データを取り込む（Ｓ５０１）。画像処理装置２０により取り込まれた画像データの一例を、図９に示す。この画像では、前方に道路が拡がっている。道路上には対向車両が存在し、道路の端には歩道が延びている。画像処理装置２０は、取り込まれた画像データをＬｏＧフィルタ（Laplacian of Gaussian Filter）で処理する。次に、画像処理装置２０は、全画像面を矩形の小さな領域（例えば、８×８画素の領域、以下、小領域と呼ぶ）に網目状に分割し（図１０参照）、テンプレートマッチング法により各小領域ごとにオプティカルフローベクトルを算出する（Ｓ５０２、図１１参照）。オプティカルフローを算出する処理については、図６を参照して後に詳しく説明する。
【００３２】
次に、画像処理装置２０は、隣接する４つの小領域を含む領域を一組の領域（以下、中領域と呼ぶ）として設定し、各中領域を一枚の平面であると仮定して各中領域のフローパラメータを算出する（Ｓ５０３）。中領域に含まれる４つの小領域のオプティカルフロー情報（ｘ１，ｙ１，ｕ１，ｖ１）、（ｘ２，ｙ２，ｕ２，ｖ２）、（ｘ３，ｙ３，ｕ３，ｖ３）、（ｘ４，ｙ４，ｕ４，ｖ４）から当該中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を算出する方法については既述のとおりである。
【００３３】
次に、画像処理装置２０は、確実に道路平面である中領域のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}を設定する（Ｓ５０４）。道路平面のフローパラメータを設定する処理については、図７及び図８を参照して後に詳しく説明する。そして、画像処理装置２０は、画像上の各中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を、道路平面のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}と比較して、両フローパラメータが類似するか否かを判定する（Ｓ５０５）。具体的には、画像処理装置２０は、次の数式（３.１）又は数式（３.２）を用いて両フローパラメータの差分ΔＦＰｒを求め、この差分ΔＦＰｒが予め設定された閾値ＴＨよりも大きいか否かを判定する。
【００３４】
【数３】
【００３５】
ここで、ｋＵ，ｋＶ，ｋＡ，ｋＢ，ｋＣ，ｋＤ，ｋＥ，ｋＦは、各フローパラメータの重み係数である。各フローパラメータの重み係数ｋＵ〜ｋＦとしては、道路平面に対応する領域を識別するために好適な値が設定されればよい。ここで、各フローパラメータの重み係数ｋＵ〜ｋＦとしてそれぞれ異なる値が設定されてもよいし、共通する値が設定されてもよい。また、差分ΔＦＰｒと比較される閾値ＴＨは、道路平面に対応する領域を識別するために好適な値が設定される。例えば、閾値ＴＨは、自車両の走行速度やカメラ１０から道路の被撮像位置までの距離に応じて異なる値としてもよい。
【００３６】
ステップ５０５において差分ΔＦＰｒが閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似するため、その中領域が道路平面であると識別する（Ｓ５０６）。例えば、図１２において斜線で示される領域が道路平面であると識別される。一方、ステップ５０５において差分ΔＦＰｒが閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似しないため、その中領域が道路平面以外であると識別する。
【００３７】
次に、図６を参照して、オプティカルフローを算出する処理について説明する。図６には、オプティカルフローを算出する処理のフローチャートが示されている。図６に示されるフローチャートは、図５のステップ５０２に対応している。
【００３８】
ステップ６０１〜ステップ６０７において、画像処理装置２０は、道路平面のオプティカルフローとして基準となる基準オプティカルフローを算出する。先ず、画像処理装置２０は、時刻Ｔｎに撮像された画像において、車両前方の領域であって道路平面であると推測される領域から、特徴的な画像部分を含む小領域を抽出する（Ｓ６０１）。画像処理装置２０により抽出される小領域は、道路平面に描かれた横断歩道、白線、道路標識などの特徴的な画像部分を含む領域である。図１３に示される処理例では、画像の道路平面に対応する領域から、特徴的な画像部分として丸印内にある横断歩道のエッジ部分が抽出されている。図１４には、特徴的な画像部分を含む小領域が拡大して示されている。このような特徴的な画像部分を含む小領域はパターンマッチング処理に適しており、この領域を利用することでオプティカルフローベクトルを高精度に算出できる。
【００３９】
道路平面であると推測される領域には特徴的な画像部分が複数あるため、画像処理装置２０は、これらの特徴的な画像部分を含む複数の小領域を抽出すればよい。但し、画像処理装置２０は、前方を走行する他車両に対応する小領域が抽出されることを回避する必要がある。このために、画像処理装置２０は、車両速度ごとに標準的な車間距離のデータを予め記憶しておく。そして、画像処理装置２０は、車両センサ３０から車両速度の検出値を取り込んで、車両前方の領域であってその車両速度に応じた車間距離内の領域から、道路平面の特徴的な画像部分を含む小領域を抽出することが好ましい。
【００４０】
次に、画像処理装置２０は、特徴的な画像部分を含む小領域の中心（ｘｎ，ｙｎ）を、オプティカルフローベクトルの始点として設定する（Ｓ６０２）。さらに、画像処理装置２０は、図１４に示されるように、時刻Ｔｎに撮像された画像において、特徴的な画像部分を含む小領域と中心を同じくする範囲であって特徴的な画像部分を含む小領域よりも一回り大きな範囲を、テンプレートマッチング処理の対象となる探索範囲として決定する。そして、画像処理装置２０は、時刻Ｔｎ＋１に撮像された画像において、画像座標系の同位置に探索範囲を設定する（Ｓ６０３、図１５参照）。
【００４１】
次に、画像処理装置２０は、時刻Ｔｎの特徴的な画像部分を含む小領域をテンプレートとして用いて、時刻Ｔｎ＋１の画像に設定された探索範囲に対してテンプレートマッチング処理を行って、時刻Ｔｎ＋１における探索範囲に含まれる各小領域について相関値を演算する（Ｓ６０４）。そして、画像処理装置２０は、各小領域について演算された相関値を互いに比較して、相関値が最大となる小領域を求める（Ｓ６０５）。この結果、図１５に示されるように、タイミングＴｎの画像の小領域と適合する小領域が、時刻Ｔｎ＋１の画像の探索範囲内から探索される。
【００４２】
次に、画像処理装置２０は、時刻Ｔｎ＋１の画像で特徴的な画像部分を含む小領域の中心（ｘｎ＋１，ｙｎ＋１）を、オプティカルフローベクトルの終点として設定する（Ｓ６０６）。そして、画像処理装置２０は、オプティカルフローベクトルの始点から終点までのベクトルを、道路平面のオプティカルフローとして基準となる基準オプティカルフローベクトル（ｘｎ＋１−ｘｎ，ｙｎ＋１−ｙｎ）として算出する（Ｓ６０７）。
【００４３】
次に、画像処理装置２０は、ステップ６０７で算出された特徴的な画像部分のオプティカルフローベクトルに基づいて探索範囲を調節しつつ、画像上の各小領域ごとに探索範囲を設定する（Ｓ６０８）。具体的には、画像処理装置２０は、先ず、画像上の各小領域の夫々について、小領域と中心を同じくする範囲であってこの小領域よりも一回り大きな範囲を、テンプレートマッチング処理の対象となる探索範囲として仮設定する。そして、このように仮設定された探索範囲の夫々を、基準オプティカルフローベクトル（ｘｎ＋１−ｘｎ，ｙｎ＋１−ｙｎ）の距離及び方向に従って移動させる。
【００４４】
図１６には、車両速度が大きい場合に設定される探索範囲が示されている。車両速度が大きい場合には、基準オプティカルフローベクトルは大きいため、探索範囲は当初設定された位置（破線）から大きくずらされた位置（実線）に設定されている。一方、図１７には、車両速度が小さい場合に設定される探索範囲が示されている。車両速度が小さい場合には、基準オプティカルフローベクトルは小さいため、探索範囲は当初設定された位置（破線）に近い位置（実線）に設定されている。このように探索範囲の位置を調節することにより、移動後の小領域が確実に探索範囲に入るため、移動後の小領域を確実に探索することができ、オプティカルフローベクトルを高精度に算出することが可能となる。
【００４５】
なお、上記の探索範囲の設定に際して、基準オプティカルフローベクトルに応じて探索範囲の面積を調節してもよい。例えば、基準オプティカルフローベクトルが大きい場合には探索範囲の面積を大きくし、基準オプティカルフローベクトルが小さい場合には探索範囲の面積を小さくすればよい。このように探索範囲の面積を調節することにより、探索範囲を必要最小限な大きさに調節することができるため、オプティカルフローベクトルの算出処理の演算時間を短くすることができる。また、探索範囲を必要最小限な大きさに調節することにより、誤った小領域が探索される確率が小さくなるため、オプティカルフローベクトルを高精度に算出することが可能となる。
【００４６】
最後に、画像処理装置２０は、時刻Ｔｎの画像の各小領域をテンプレートとして用いて、時刻Ｔｎ＋１の画像に設定された探索範囲に対してテンプレートマッチング処理を行って、時刻Ｔｎ＋１の画像に設定された探索範囲から相関値が最大となる小領域を求める。そして、画像処理装置２０は、時刻Ｔｎにおける各小領域の中心を始点とし、時刻Ｔｎ＋１における移動後の各小領域の中心を終点とするベクトルを、各領域ごとのオプティカルフローベクトルとして算出する（Ｓ６０９）。
【００４７】
次に、図７を参照して、道路平面のフローパラメータを設定する処理について説明する。図７には、道路平面のフローパラメータを設定する処理のフローチャートが示されている。図７に示されるフローチャートは、図５のステップ５０４に対応している。
【００４８】
先ず、画像処理装置２０は、車両進行方向の複数の中領域を道路平面に対応するものと推測し、これらの中領域について算出されたフローパラメータを監視して、フローパラメータの経時変化の大きさを求める（Ｓ７０１）。ここで、経時変化の大きさは、フローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}のそれぞれについて算出される。次に、画像処理装置２０は、各フローパラメータの経時変化の大きさを予め設定された閾値ＴＵ，ＴＶ，ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥ，ＴＦと比較して、フローパラメータの経時変化の大きさが閾値ＴＵ〜ＴＦより小さい中領域を判別する（Ｓ７０２）。
【００４９】
ここで、閾値ＴＵ〜ＴＦは、フローパラメータの安定度合いを判定するためのものである。ある中領域についてフローパラメータの経時変化が計測されている間に、その中領域が継続して道路平面である場合には、その中領域のフローパラメータは安定しており、フローパラメータの経時変化の大きさは閾値ＴＵ〜ＴＦより小さくなる。一方、その中領域が道路平面以外である場合には、その中領域のフローパラメータは変化して不安定となり、フローパラメータの経時変化の大きさは閾値ＴＵ〜ＴＦより大きくなる。よって、フローパラメータの経時変化の大きさが閾値ＴＵ〜ＴＦより小さい場合に、その中領域が道路平面であることを判別することが可能となる。
【００５０】
但し、車両の走行状態によっては、車両に角速度変化ω１，ω２，ω３が発生することもある。このように角速度変化ω１，ω２，ω３が発生する場合には、実際には車両進行方向の中領域が道路平面に対応していても、角速度変化ω１，ω２，ω３を数式（２）に含むフローパラメータについては角速度の変化に伴ってその経時変化が大きくなるため、車両進行方向の中領域が道路平面に対応することを判別できなくなってしまう。そこで、角速度変化ω１，ω２，ω３が発生する走行状態である場合には、角速度変化を数式（２）に含まないフローパラメータを選択して、選択されたフローパラメータの経時変化と閾値ＴＵ〜ＴＦを比較する。
【００５１】
実際の処理では、画像処理装置２０は、フローパラメータＡ，Ｂ，Ｃ，Ｄを選択して、フローパラメータＡ，Ｂ，Ｃ，Ｄの経時変化を閾値ＴＡ，ＴＢ，ＴＣ，ＴＤと比較することが好ましい。ここで、フローパラメータＡ，Ｄは、数式（２）にヨーレートω１，ピッチレートω２，ロールレートω３を含まない。また、フローパラメータＢ，Ｃは、数式（２）にヨーレートω１，ピッチレートω２を含まない。よって、ヨーレートω１やピッチレートω２が発生する走行状態であっても、フローパラメータＡ，Ｂ，Ｃ，Ｄの経時変化は閾値ＴＡ，ＴＢ，ＴＣ，ＴＤより小さくなるため、車両進行方向の中領域が道路平面に対応することを判別できる。なお、フローパラメータＢ，Ｃは、数式（２）にロールレートω３を含むものの、車両に生じるロールレートの値は小さいため、フローパラメータＢ，Ｃの経時変化は小さい。
【００５２】
ステップ７０３において、画像処理装置２０は、車両進行方向の中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を、標準的な道路平面のフローパラメータ{Ｕａｖ，Ｖａｖ，Ａａｖ，Ｂａｖ，Ｃａｖ，Ｄａｖ，Ｅａｖ，Ｆａｖ}と比較して、両フローパラメータが類似する中領域を判別する（Ｓ７０３）。ここで、標準的な道路平面のフローパラメータとは、図３に示されるように標準的な位置及び向きでカメラ１０が配置された場合に発生する道路平面のフローパラメータであり、計算又は実測により予め求められる値である。具体的には、画像処理装置２０は、次の数式（４.１）又は数式（４.２）を用いて両フローパラメータの差分ΔＦＰａｖを求め、この差分ΔＦＰａｖが予め設定された閾値ＴＨよりも小さい中領域を判別する。
【００５３】
【数４】
【００５４】
ステップ７０３において、両フローパラメータの差分ＦＰａｖが予め設定された閾値ＴＨより小さい場合には、車両進行方向の中領域のフローパラメータは道路平面として妥当な値である。よって、画像処理装置２０は、車両進行方向の当該中領域のフローパラメータを、道路平面のフローパラメータとして設定する（Ｓ７０４）。
【００５５】
次に、図８を参照して、道路平面のフローパラメータを設定する処理の変形例について説明する。図８には、道路平面のフローパラメータを設定する処理のフローチャートが示されている。図８に示されるフローチャートは、図５のステップ５０４に対応している。
【００５６】
先ず、画像処理装置２０は、ステップ５０３で算出されたフローパラメータであって、所定時間前（例えば３秒前）の時刻Ｔｎ−ｋに撮像された画像の各中領域のフローパラメータ{Ｕｎ−ｋ，Ｖｎ−ｋ，Ａｎ−ｋ，Ｂｎ−ｋ，Ｃｎ−ｋ，Ｄｎ−ｋ，Ｅｎ−ｋ，Ｆｎ−ｋ}を取得する（Ｓ８０１）。次に、画像処理装置２０は、同じくステップ５０３で算出されたフローパラメータであって、現在時刻Ｔｎに撮像された画像の各中領域のフローパラメータ{Ｕｎ，Ｖｎ，Ａｎ，Ｂｎ，Ｃｎ，Ｄｎ，Ｅｎ，Ｆｎ}を取得する（Ｓ８０２）。
【００５７】
そして、画像処理装置２０は、画像の各中領域について、現在時刻Ｔｎのフローパラメータ{Ｕｎ，Ｖｎ，Ａｎ，Ｂｎ，Ｃｎ，Ｄｎ，Ｅｎ，Ｆｎ}を、所定時間前の時刻Ｔｎ−ｋのフローパラメータ{Ｕｎ−ｋ，Ｖｎ−ｋ，Ａｎ−ｋ，Ｂｎ−ｋ，Ｃｎ−ｋ，Ｄｎ−ｋ，Ｅｎ−ｋ，Ｆｎ−ｋ}と比較して、両フローパラメータが類似する中領域を判別する（Ｓ８０３）。具体的には、画像処理装置２０は、次の数式（５.１）又は数式（５.２）を用いて両フローパラメータの差分ΔＦＰｎを求め、この差分ΔＦＰｎが予め設定された閾値ＴＨよりも小さい中領域を判別する。
【００５８】
【数５】
【００５９】
建築物や他車両などに対応する中領域のフローパラメータは著しく変化する。一方、道路平面に対応する中領域のフローパラメータはほとんど変化しない。よって、ステップ７０３において、両フローパラメータの差分ＦＰｎが予め設定された閾値ＴＨより小さい場合には、このようにフローパラメータの変化が小さい中領域は道路平面である可能性が高い。よって、画像処理装置２０は、差分ＦＰｎが閾値ＴＨより小さい中領域のフローパラメータを、道路平面のフローパラメータとして設定する（Ｓ８０４）。
【００６０】
図１８には、所定時間前の時刻Ｔｎ−ｋの画像が示されており、図１９には、現在時刻Ｔｎの画像が示されている。図１８および図１９において太線で囲われる中領域は、両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面に対応している。このように両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面を撮像した中領域のフローパラメータが、道路平面のフローパラメータとして設定される。なお、図１８および図１９に示されるように、両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面を撮像した中領域が複数ある場合には、これらの中領域のフローパラメータを平均した値を、道路平面のフローパラメータとして設定すればよい。
【００６１】
なお、図７又は図８の処理により設定された道路平面のフローパラメータは、その後の処理において繰り返し利用することができる。即ち、画像処理装置は、画像の各中領域ごとにフローパラメータを算出すると、各中領域について算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、道路平面のフローパラメータが既に算出されているため、道路平面を構成する領域を簡易な処理で識別することができる。
【図面の簡単な説明】
【００６２】
【図１】本実施形態の画像処理装置を示す概略図である。
【図２】画像座標系、カメラ座標系、車両座標系を説明するための模式図である。
【図３】車両に搭載されたカメラの姿勢を説明するための模式図である。
【図４】車両の運動パラメータを説明するための模式図である。
【図５】物体識別処理の概略を示すフローチャートである。
【図６】オプティカルフローの算出処理を示すフローチャートである。
【図７】道路平面のフローパラメータを設定する処理を示すフローチャートである。
【図８】道路平面のフローパラメータを設定する処理を示す別のフローチャートである。
【図９】画像処理装置に取り込まれた画像を示す図である。
【図１０】画像の小領域を示す図である。
【図１１】画像のオプティカルフローを示す図である。
【図１２】画像から識別された道路平面を示す図である。
【図１３】画像から抽出される特徴的な画像部分を示す図である。
【図１４】特徴的な画像部分を拡大して示す図である。
【図１５】移動後の特徴的な画像部分を拡大して示す図である。
【図１６】車速が大きい場合に設定される探索範囲を示す図である。
【図１７】車速が小さい場合に設定される探索範囲を示す図である。
【図１８】時刻Ｔｎ−ｋにおいて道路平面に対応する領域を示す図である。
【図１９】時刻Ｔｎにおいて道路平面に対応する領域を示す図である。
【符号の説明】
【００６３】
１０…カメラ、２０…画像処理装置、３０…車両センサ、４０…表示制御装置、５０…車両動作制御装置。
【技術分野】
【０００１】
本発明は、カメラが移動しながら撮像した画像を用いて、画像上の撮像された物体を識別する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
特許文献１には、車両に前方を監視する１台のカメラを搭載して、このカメラにより撮像された画像を処理して周辺の車両や障害物などを識別する装置が提案されている。より詳しく説明すると、この特許文献１に係る装置は、カメラが移動しながら路面を撮像し、第１の画像の路面上の特徴点と、第２の画像の路面上の特徴点とを重ね合わせるための変換行列を算出する。そして、当該装置は、画像の複数の特徴点にこの変換行列を適用し、重ね合わせに失敗した特徴点を立体物の特徴点として識別する。
【特許文献１】特開２００３−４４９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来技術に係る装置では、路面上の特徴点を重ね合わせるための変換行列を算出して画像にこの変換行列を適用する必要がある。しかしながら、この処理のための計算量は膨大であるため、障害物の識別処理の計算周期および精度は装置の計算能力により制限されてしまう。即ち、障害物の識別結果を高解像度・高精度で得たい場合には、障害物の識別処理の計算周期を遅くする必要がある。一方、障害物を識別結果を高い計算周期で得たい場合には、障害物の識別結果の解像度・精度が低下してしまう。
【０００４】
本発明は、このような問題を解決するためになされたものであり、画像上の撮像された物体の識別処理を少ない計算量で行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した目的を達成するために、本発明に係る画像処理装置は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段と、を備えることを特徴とする。この構成によれば、画像処理装置は、比較的に簡易な処理でフローパラメータを算出し、このフローパラメータを用いて画像の道路平面を構成する領域を識別するため、画像の各領域を識別するための処理を簡易なものとして、計算量を少なくすることができる。これにより、画像の各領域の識別処理における画像の解像度を向上したり、画像の各領域の識別処理を実行する周期を短くすることができる。
【０００６】
上述した画像処理装置において、オプティカルフロー算出手段は、道路平面上の特徴的な画像部分について基準オプティカルフローを算出し、基準オプティカルフローに基づいて画像の各領域ごとに探索範囲を設定し、探索範囲内を探索することで画像の各領域ごとのオプティカルフローを算出することが好ましい。この構成によれば、画像処理装置は、道路平面上の特徴的な領域について算出されたオプティカルフローに基づいて画像の一部に探索範囲の設定するため、探索範囲を適切な位置に設定することができ、オプティカルフローの精度を向上することができる。特に、基準オプティカルフローの大きさに基づいて前記探索範囲が設定される位置や面積を決定することにより、探索範囲を適切に設定することができ、オプティカルフローの精度を向上することができる。
【０００７】
上述した画像処理装置において、オプティカルフロー算出手段は、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出することが好ましい。この構成によれば、通常の走行状態では自車両の進行方向は道路平面であるため、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出する。よって、基準オプティカルフローを適切に設定することができる。
【０００８】
上述した画像処理装置において、領域識別手段は、フローパラメータ算出手段により算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、過去に算出された道路平面のフローパラメータを利用して道路平面を構成する領域を識別するため、道路平面を構成する領域を簡易な処理で識別することができる。
【０００９】
上述した画像処理装置において、領域識別手段は、自車両の進行方向の領域のフローパラメータの経時変化が予め設定された閾値より小さい場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定することが好ましい。この構成によれば、画像処理装置は、自車両の進行方向の領域のフローパラメータの経時変化が小さい場合に、その領域のフローパラメータを道路平面のフローパラメータとして設定するため、より確実に道路平面である領域のフローパラメータを利用して画像内の道路平面を識別することができる。
【００１０】
上述した画像処理装置において、領域識別手段は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定することが好ましい。この構成によれば、画像処理装置は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを道路平面のフローパラメータとして設定するため、より確実に道路平面である領域のフローパラメータを利用して画像内の道路平面を識別することができる。
【００１１】
また、上述した目的を達成するために、本発明に係る画像処理方法は、異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出ステップと、算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出ステップと、算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別ステップと、を含む。
【発明の効果】
【００１２】
本発明の画像処理装置及び画像処理方法によれば、画像上の撮像された物体の識別処理を少ない計算量で行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の画像処理装置の好適な実施形態について説明する。本実施形態において、画像処理装置は車両に搭載されている。
【００１４】
図１に示すように、画像処理装置２０には、撮像手段としてカメラ１０が接続されている。カメラ１０は、例えば、ＣＣＤ[Charge Coupled Device]カメラ１０であり、画像処理装置２０を搭載する自動車の前方かつ中央に取り付けられる。カメラ１０は、所定時間が経過する度に、自動車の前方を撮像して、複数の画素データからなる画像データを生成する。カメラ１０は、生成された画像データを、画像処理装置２０に逐次出力する。
【００１５】
画像処理装置２０は、カメラ１０から画像データを取り込むと、画像データを処理して画像上の物体を識別する処理を行う。特に、画像処理装置２０は、画像上の被撮像物が道路平面であるか否かを識別する。画像処理装置２０は、物理的には、ＣＰＵ、ＲＯＭ、ＲＡＭ等で構成されている。また、画像処理装置２０は、機能的には、オプティカルフロー算出手段２２と、フローパラメータ算出手段２４と、領域識別手段２６とを備えている。これらの機能は、ＣＰＵおよびＲＡＭが、ＲＯＭに記憶されたプログラムを実行することにより実現される。
【００１６】
オプティカルフロー算出手段２２は、画像データをテンプレートマッチング法により処理することで、オプティカルフローベクトルを算出する。フローパラメータ算出手段２４は、算出されたオプティカルフローベクトルに基づいて、一般的にフローパラメータと呼ばれる８つのパラメータを算出する。領域識別手段２６は、算出されたフローパラメータに基づいて、画像上の被撮像物が道路平面であるか否かを識別する。
【００１７】
上述した画像上の物体を識別する処理を可能とするために、画像処理装置２０には車両センサ３０が接続されている。車両センサ３０は、車両の挙動を検出するものであればよく、例えば、車速センサ、ハンドル角センサ、ヨーレートセンサ、ピッチセンサ、ロールセンサ、前後方向加速度センサ、横方向加速度センサ、上下方向加速度センサなどを含んで構成すればよい。これらのセンサによる検出値は、画像処理装置２０により取り込まれ、画像上の被撮像物を識別する処理に利用される。
【００１８】
画像処理装置２０による物体識別処理の結果は、車室内に設けられたモニターの表示制御や車両の動作制御などに利用される。例えば、画像処理装置２０による物体識別処理の結果が表示制御装置４０に入力されると、表示制御装置４０は、画像上の各領域の識別結果をモニターに表示したり、運転者への警告をモニターに表示する。また、画像処理装置２０による物体識別処理の結果が車両制御装置５０に入力されると、車両制御装置５０は、車両前方の物体との衝突を回避するように、エンジン、ブレーキ、変速機、ステアリングなどを制御する。
【００１９】
［物体識別の原理］
次に、画像処理装置２０が画像上の物体を識別する原理について説明する。
【００２０】
先ず、図２を参照して、３つの座標系、即ち、画像座標系、カメラ座標系および車両座標系について説明する。画像座標系は、カメラ１０の画像面に設定された２次元座標系であり、画像の中心を原点とし、画像の縦方向をｘ軸とし、画像の横方向をｙ軸としている。カメラ座標系は、カメラ１０を中心に設定された３次元座標系であり、カメラ１０の位置を原点とし、カメラ１０の上下方向をＸｃ軸とし、カメラ１０の左右方向をＹｃ軸とし、カメラ１０の光軸方向をＺｃ軸としている。車両座標系は、カメラ座標系を回転したものであり、車両の上下方向をＸｖ軸とし、車両の左右方向をＹｖ軸とし、車両の進行方向をＺｖ軸としている。車両に対するカメラ１０の姿勢が、図３に示されている。図３から理解できるように、カメラ座標系のＺｃ軸と車両座標系のＺｖ軸とがなす角度はθであり、カメラ座標系のＹｃ軸と車両座標系のＹｚ軸とがなす角度はφである。説明の便宜のため角度θ，φを大きく示しているが、実際にはカメラ座標系と車両座標系とはほぼ一致しており角度θ，φは微小である。なお、上述した画像座標系、カメラ座標系および車両座標系は、車両の移動に伴ってカメラ１０と共に移動する。
【００２１】
次に、図４を参照して、オプティカルフローを生じさせるカメラ１０の運動について説明する。車両が車両座標系のＸｖ軸方向、Ｙｖ軸方向、Ｚｖ軸方向にそれぞれａ，ｂ，ｃの速度で並進運動し、Ｘｖ軸周り、Ｙｖ軸周り、Ｚｖ軸周りにそれぞれω１，ω２，ω３の角速度で回転運動する場合には、車両座標系を基準とするカメラ１０の運動パラメータは{ａ，ｂ，ｃ，ω１，ω２，ω３}である。車両座標系を基準とするカメラ１０の運動パラメータを、車両座標系からカメラ座標系に座標変換すると、カメラ座標系を基準とするカメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}となる。
【００２２】
カメラ１０が上記の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}で運動する場合に、画像上の位置（ｘ，ｙ）で、Ｚｃ＝ｐ・Ｘｃ＋ｑ・Ｙｃ＋ｒで表される平面が撮像されると、次の数式（１）で表されるオプティカルフロー（ｕ，ｖ）が引き起こされる。なお、ｕはオプティカルフローベクトルのｘ方向成分であり、ｖはオプティカルフローベクトルのｙ方向成分である。
【００２３】
【数１】
【００２４】
なお、上の数式（１）において、ｆはカメラ１０の焦点距離である。また、ｐ，ｑおよびｒは、平面を規定するための平面パラメータである。また、８つのパラメータＵ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ及びＦは、一般にフローパラメータと呼ばれる数値であり、次の数式（２）で定義されている。なお、数式（１）および（２）については、「画像理解‐３次元認識の数理」（金谷健一著）に詳述されている。
【００２５】
【数２】
【００２６】
上述したように、オプティカルフローは、数式（１）および（２）により表されるものであるが、実際には連続撮像して得られる一連の画像を処理して算出される。即ち、あるタイミングの画像を多数の領域に分割してから、テンプレートマッチング法によりそれらの各領域と一致する領域を次のタイミングの画像から探索することにより、オプティカルフローは算出される。
【００２７】
さらに、このように算出されたオプティカルフローから、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝を算出することができる。即ち、画像上の一部の領域を平面であると見做せば、その領域ではフローパラメータは同一であるため、その領域の４つ以上のオプティカルフローの情報（ｘ，ｙ，ｕ，ｖ）からフローパラメータを算出することができる。例えば、画像上の一部の領域の４つのオプティカルフロー情報（ｘ１，ｙ１，ｕ１，ｖ１）、（ｘ２，ｙ２，ｕ２，ｖ２）、（ｘ３，ｙ３，ｕ３，ｖ３）、（ｘ４，ｙ４，ｕ４，ｖ４）と、カメラ１０の焦点距離ｆを上の数式（１）に代入すると、フローパラメータ{Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ}を未知数として含む数式が合計８つ得られる。よって、これらの８つの数式を周知の手法で処理することにより、フローパラメータの数値を求めることができる。フローパラメータの算出のために、５つ以上のオプティカルフロー情報を用いる場合には、最小自乗法などの近似法を用いればよい。なお、以下の説明では、画像上の位置（ｘ，ｙ）について算出されたフローパラメータを{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}と表す。
【００２８】
上記の数式（２）から理解できるように、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、カメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}および平面パラメータ{ｐ，ｑ，ｒ}によって一義的に定義される。よって、カメラ１０の運動パラメータ{ａｃ，ｂｃ，ｃｃ，ω１ｃ，ω２ｃ，ω３ｃ}が一定値である場合には、フローパラメータ｛Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ｝は、撮像された物体表面の平面パラメータ{ｐ，ｑ，ｒ}と等価な数値として用いることができる。本実施形態における物体識別の原理ではこのようなフローパラメータの特性が利用されており、画像上の各領域について算出されたフローパラメータに基づいて画像上の各領域の平面が識別されている。
【００２９】
即ち、同一平面を撮像した画像領域については８つのフローパラメータはほぼ等しい値となる。よって、画像上の各領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を互いに比較することにより、２つの画像領域が同一平面であるか否かを判定することができる。特に、本実施形態では、３次元座標系における幾何学的配置が既知である基準平面のフローパラメータとして、道路平面を基準とする平面のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}を求める。そして、画像上の各領域のフローパラメータを道路平面のフローパラメータと比較することにより、画像上の各領域が、道路平面あるか否かを識別している。ここで、両フローパラメータが類似する場合には、画像上のその領域は道路平面であると識別される。なお、両フローパラメータの類似とは、両フローパラメータが一致する場合、及び両フローパラメータの差分が所定の閾値より小さい場合である。
【００３０】
［物体識別処理］
次に、図５〜図８のフローチャートを参照して、本実施形態の画像処理装置２０による物体識別処理について説明する。図５には、画像処理装置２０による物体識別処理の全体的なフローが示されている。図６には、オプティカルフローを算出する処理のフローが示されている。図７には、道路平面のフローパラメータを設定する処理のフローが示されている。また、図８には、道路平面のフローパラメータを設定する別の処理のフローが示されている。
【００３１】
図５のフローチャートに示されるように、画像処理装置２０は、一定の時間間隔（例えば３０ｍｓｅｃ）ごとのタイミングＴｎに画像データを取り込む（Ｓ５０１）。画像処理装置２０により取り込まれた画像データの一例を、図９に示す。この画像では、前方に道路が拡がっている。道路上には対向車両が存在し、道路の端には歩道が延びている。画像処理装置２０は、取り込まれた画像データをＬｏＧフィルタ（Laplacian of Gaussian Filter）で処理する。次に、画像処理装置２０は、全画像面を矩形の小さな領域（例えば、８×８画素の領域、以下、小領域と呼ぶ）に網目状に分割し（図１０参照）、テンプレートマッチング法により各小領域ごとにオプティカルフローベクトルを算出する（Ｓ５０２、図１１参照）。オプティカルフローを算出する処理については、図６を参照して後に詳しく説明する。
【００３２】
次に、画像処理装置２０は、隣接する４つの小領域を含む領域を一組の領域（以下、中領域と呼ぶ）として設定し、各中領域を一枚の平面であると仮定して各中領域のフローパラメータを算出する（Ｓ５０３）。中領域に含まれる４つの小領域のオプティカルフロー情報（ｘ１，ｙ１，ｕ１，ｖ１）、（ｘ２，ｙ２，ｕ２，ｖ２）、（ｘ３，ｙ３，ｕ３，ｖ３）、（ｘ４，ｙ４，ｕ４，ｖ４）から当該中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を算出する方法については既述のとおりである。
【００３３】
次に、画像処理装置２０は、確実に道路平面である中領域のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}を設定する（Ｓ５０４）。道路平面のフローパラメータを設定する処理については、図７及び図８を参照して後に詳しく説明する。そして、画像処理装置２０は、画像上の各中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を、道路平面のフローパラメータ{Ｕｒ，Ｖｒ，Ａｒ，Ｂｒ，Ｃｒ，Ｄｒ，Ｅｒ，Ｆｒ}と比較して、両フローパラメータが類似するか否かを判定する（Ｓ５０５）。具体的には、画像処理装置２０は、次の数式（３.１）又は数式（３.２）を用いて両フローパラメータの差分ΔＦＰｒを求め、この差分ΔＦＰｒが予め設定された閾値ＴＨよりも大きいか否かを判定する。
【００３４】
【数３】
【００３５】
ここで、ｋＵ，ｋＶ，ｋＡ，ｋＢ，ｋＣ，ｋＤ，ｋＥ，ｋＦは、各フローパラメータの重み係数である。各フローパラメータの重み係数ｋＵ〜ｋＦとしては、道路平面に対応する領域を識別するために好適な値が設定されればよい。ここで、各フローパラメータの重み係数ｋＵ〜ｋＦとしてそれぞれ異なる値が設定されてもよいし、共通する値が設定されてもよい。また、差分ΔＦＰｒと比較される閾値ＴＨは、道路平面に対応する領域を識別するために好適な値が設定される。例えば、閾値ＴＨは、自車両の走行速度やカメラ１０から道路の被撮像位置までの距離に応じて異なる値としてもよい。
【００３６】
ステップ５０５において差分ΔＦＰｒが閾値ＴＨよりも小さいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似するため、その中領域が道路平面であると識別する（Ｓ５０６）。例えば、図１２において斜線で示される領域が道路平面であると識別される。一方、ステップ５０５において差分ΔＦＰｒが閾値ＴＨよりも大きいと判定された場合には、その中領域のフローパラメータが道路平面のフローパラメータと類似しないため、その中領域が道路平面以外であると識別する。
【００３７】
次に、図６を参照して、オプティカルフローを算出する処理について説明する。図６には、オプティカルフローを算出する処理のフローチャートが示されている。図６に示されるフローチャートは、図５のステップ５０２に対応している。
【００３８】
ステップ６０１〜ステップ６０７において、画像処理装置２０は、道路平面のオプティカルフローとして基準となる基準オプティカルフローを算出する。先ず、画像処理装置２０は、時刻Ｔｎに撮像された画像において、車両前方の領域であって道路平面であると推測される領域から、特徴的な画像部分を含む小領域を抽出する（Ｓ６０１）。画像処理装置２０により抽出される小領域は、道路平面に描かれた横断歩道、白線、道路標識などの特徴的な画像部分を含む領域である。図１３に示される処理例では、画像の道路平面に対応する領域から、特徴的な画像部分として丸印内にある横断歩道のエッジ部分が抽出されている。図１４には、特徴的な画像部分を含む小領域が拡大して示されている。このような特徴的な画像部分を含む小領域はパターンマッチング処理に適しており、この領域を利用することでオプティカルフローベクトルを高精度に算出できる。
【００３９】
道路平面であると推測される領域には特徴的な画像部分が複数あるため、画像処理装置２０は、これらの特徴的な画像部分を含む複数の小領域を抽出すればよい。但し、画像処理装置２０は、前方を走行する他車両に対応する小領域が抽出されることを回避する必要がある。このために、画像処理装置２０は、車両速度ごとに標準的な車間距離のデータを予め記憶しておく。そして、画像処理装置２０は、車両センサ３０から車両速度の検出値を取り込んで、車両前方の領域であってその車両速度に応じた車間距離内の領域から、道路平面の特徴的な画像部分を含む小領域を抽出することが好ましい。
【００４０】
次に、画像処理装置２０は、特徴的な画像部分を含む小領域の中心（ｘｎ，ｙｎ）を、オプティカルフローベクトルの始点として設定する（Ｓ６０２）。さらに、画像処理装置２０は、図１４に示されるように、時刻Ｔｎに撮像された画像において、特徴的な画像部分を含む小領域と中心を同じくする範囲であって特徴的な画像部分を含む小領域よりも一回り大きな範囲を、テンプレートマッチング処理の対象となる探索範囲として決定する。そして、画像処理装置２０は、時刻Ｔｎ＋１に撮像された画像において、画像座標系の同位置に探索範囲を設定する（Ｓ６０３、図１５参照）。
【００４１】
次に、画像処理装置２０は、時刻Ｔｎの特徴的な画像部分を含む小領域をテンプレートとして用いて、時刻Ｔｎ＋１の画像に設定された探索範囲に対してテンプレートマッチング処理を行って、時刻Ｔｎ＋１における探索範囲に含まれる各小領域について相関値を演算する（Ｓ６０４）。そして、画像処理装置２０は、各小領域について演算された相関値を互いに比較して、相関値が最大となる小領域を求める（Ｓ６０５）。この結果、図１５に示されるように、タイミングＴｎの画像の小領域と適合する小領域が、時刻Ｔｎ＋１の画像の探索範囲内から探索される。
【００４２】
次に、画像処理装置２０は、時刻Ｔｎ＋１の画像で特徴的な画像部分を含む小領域の中心（ｘｎ＋１，ｙｎ＋１）を、オプティカルフローベクトルの終点として設定する（Ｓ６０６）。そして、画像処理装置２０は、オプティカルフローベクトルの始点から終点までのベクトルを、道路平面のオプティカルフローとして基準となる基準オプティカルフローベクトル（ｘｎ＋１−ｘｎ，ｙｎ＋１−ｙｎ）として算出する（Ｓ６０７）。
【００４３】
次に、画像処理装置２０は、ステップ６０７で算出された特徴的な画像部分のオプティカルフローベクトルに基づいて探索範囲を調節しつつ、画像上の各小領域ごとに探索範囲を設定する（Ｓ６０８）。具体的には、画像処理装置２０は、先ず、画像上の各小領域の夫々について、小領域と中心を同じくする範囲であってこの小領域よりも一回り大きな範囲を、テンプレートマッチング処理の対象となる探索範囲として仮設定する。そして、このように仮設定された探索範囲の夫々を、基準オプティカルフローベクトル（ｘｎ＋１−ｘｎ，ｙｎ＋１−ｙｎ）の距離及び方向に従って移動させる。
【００４４】
図１６には、車両速度が大きい場合に設定される探索範囲が示されている。車両速度が大きい場合には、基準オプティカルフローベクトルは大きいため、探索範囲は当初設定された位置（破線）から大きくずらされた位置（実線）に設定されている。一方、図１７には、車両速度が小さい場合に設定される探索範囲が示されている。車両速度が小さい場合には、基準オプティカルフローベクトルは小さいため、探索範囲は当初設定された位置（破線）に近い位置（実線）に設定されている。このように探索範囲の位置を調節することにより、移動後の小領域が確実に探索範囲に入るため、移動後の小領域を確実に探索することができ、オプティカルフローベクトルを高精度に算出することが可能となる。
【００４５】
なお、上記の探索範囲の設定に際して、基準オプティカルフローベクトルに応じて探索範囲の面積を調節してもよい。例えば、基準オプティカルフローベクトルが大きい場合には探索範囲の面積を大きくし、基準オプティカルフローベクトルが小さい場合には探索範囲の面積を小さくすればよい。このように探索範囲の面積を調節することにより、探索範囲を必要最小限な大きさに調節することができるため、オプティカルフローベクトルの算出処理の演算時間を短くすることができる。また、探索範囲を必要最小限な大きさに調節することにより、誤った小領域が探索される確率が小さくなるため、オプティカルフローベクトルを高精度に算出することが可能となる。
【００４６】
最後に、画像処理装置２０は、時刻Ｔｎの画像の各小領域をテンプレートとして用いて、時刻Ｔｎ＋１の画像に設定された探索範囲に対してテンプレートマッチング処理を行って、時刻Ｔｎ＋１の画像に設定された探索範囲から相関値が最大となる小領域を求める。そして、画像処理装置２０は、時刻Ｔｎにおける各小領域の中心を始点とし、時刻Ｔｎ＋１における移動後の各小領域の中心を終点とするベクトルを、各領域ごとのオプティカルフローベクトルとして算出する（Ｓ６０９）。
【００４７】
次に、図７を参照して、道路平面のフローパラメータを設定する処理について説明する。図７には、道路平面のフローパラメータを設定する処理のフローチャートが示されている。図７に示されるフローチャートは、図５のステップ５０４に対応している。
【００４８】
先ず、画像処理装置２０は、車両進行方向の複数の中領域を道路平面に対応するものと推測し、これらの中領域について算出されたフローパラメータを監視して、フローパラメータの経時変化の大きさを求める（Ｓ７０１）。ここで、経時変化の大きさは、フローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}のそれぞれについて算出される。次に、画像処理装置２０は、各フローパラメータの経時変化の大きさを予め設定された閾値ＴＵ，ＴＶ，ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥ，ＴＦと比較して、フローパラメータの経時変化の大きさが閾値ＴＵ〜ＴＦより小さい中領域を判別する（Ｓ７０２）。
【００４９】
ここで、閾値ＴＵ〜ＴＦは、フローパラメータの安定度合いを判定するためのものである。ある中領域についてフローパラメータの経時変化が計測されている間に、その中領域が継続して道路平面である場合には、その中領域のフローパラメータは安定しており、フローパラメータの経時変化の大きさは閾値ＴＵ〜ＴＦより小さくなる。一方、その中領域が道路平面以外である場合には、その中領域のフローパラメータは変化して不安定となり、フローパラメータの経時変化の大きさは閾値ＴＵ〜ＴＦより大きくなる。よって、フローパラメータの経時変化の大きさが閾値ＴＵ〜ＴＦより小さい場合に、その中領域が道路平面であることを判別することが可能となる。
【００５０】
但し、車両の走行状態によっては、車両に角速度変化ω１，ω２，ω３が発生することもある。このように角速度変化ω１，ω２，ω３が発生する場合には、実際には車両進行方向の中領域が道路平面に対応していても、角速度変化ω１，ω２，ω３を数式（２）に含むフローパラメータについては角速度の変化に伴ってその経時変化が大きくなるため、車両進行方向の中領域が道路平面に対応することを判別できなくなってしまう。そこで、角速度変化ω１，ω２，ω３が発生する走行状態である場合には、角速度変化を数式（２）に含まないフローパラメータを選択して、選択されたフローパラメータの経時変化と閾値ＴＵ〜ＴＦを比較する。
【００５１】
実際の処理では、画像処理装置２０は、フローパラメータＡ，Ｂ，Ｃ，Ｄを選択して、フローパラメータＡ，Ｂ，Ｃ，Ｄの経時変化を閾値ＴＡ，ＴＢ，ＴＣ，ＴＤと比較することが好ましい。ここで、フローパラメータＡ，Ｄは、数式（２）にヨーレートω１，ピッチレートω２，ロールレートω３を含まない。また、フローパラメータＢ，Ｃは、数式（２）にヨーレートω１，ピッチレートω２を含まない。よって、ヨーレートω１やピッチレートω２が発生する走行状態であっても、フローパラメータＡ，Ｂ，Ｃ，Ｄの経時変化は閾値ＴＡ，ＴＢ，ＴＣ，ＴＤより小さくなるため、車両進行方向の中領域が道路平面に対応することを判別できる。なお、フローパラメータＢ，Ｃは、数式（２）にロールレートω３を含むものの、車両に生じるロールレートの値は小さいため、フローパラメータＢ，Ｃの経時変化は小さい。
【００５２】
ステップ７０３において、画像処理装置２０は、車両進行方向の中領域のフローパラメータ{Ｕｘ，ｙ，Ｖｘ，ｙ，Ａｘ，ｙ，Ｂｘ，ｙ，Ｃｘ，ｙ，Ｄｘ，ｙ，Ｅｘ，ｙ，Ｆｘ，ｙ}を、標準的な道路平面のフローパラメータ{Ｕａｖ，Ｖａｖ，Ａａｖ，Ｂａｖ，Ｃａｖ，Ｄａｖ，Ｅａｖ，Ｆａｖ}と比較して、両フローパラメータが類似する中領域を判別する（Ｓ７０３）。ここで、標準的な道路平面のフローパラメータとは、図３に示されるように標準的な位置及び向きでカメラ１０が配置された場合に発生する道路平面のフローパラメータであり、計算又は実測により予め求められる値である。具体的には、画像処理装置２０は、次の数式（４.１）又は数式（４.２）を用いて両フローパラメータの差分ΔＦＰａｖを求め、この差分ΔＦＰａｖが予め設定された閾値ＴＨよりも小さい中領域を判別する。
【００５３】
【数４】
【００５４】
ステップ７０３において、両フローパラメータの差分ＦＰａｖが予め設定された閾値ＴＨより小さい場合には、車両進行方向の中領域のフローパラメータは道路平面として妥当な値である。よって、画像処理装置２０は、車両進行方向の当該中領域のフローパラメータを、道路平面のフローパラメータとして設定する（Ｓ７０４）。
【００５５】
次に、図８を参照して、道路平面のフローパラメータを設定する処理の変形例について説明する。図８には、道路平面のフローパラメータを設定する処理のフローチャートが示されている。図８に示されるフローチャートは、図５のステップ５０４に対応している。
【００５６】
先ず、画像処理装置２０は、ステップ５０３で算出されたフローパラメータであって、所定時間前（例えば３秒前）の時刻Ｔｎ−ｋに撮像された画像の各中領域のフローパラメータ{Ｕｎ−ｋ，Ｖｎ−ｋ，Ａｎ−ｋ，Ｂｎ−ｋ，Ｃｎ−ｋ，Ｄｎ−ｋ，Ｅｎ−ｋ，Ｆｎ−ｋ}を取得する（Ｓ８０１）。次に、画像処理装置２０は、同じくステップ５０３で算出されたフローパラメータであって、現在時刻Ｔｎに撮像された画像の各中領域のフローパラメータ{Ｕｎ，Ｖｎ，Ａｎ，Ｂｎ，Ｃｎ，Ｄｎ，Ｅｎ，Ｆｎ}を取得する（Ｓ８０２）。
【００５７】
そして、画像処理装置２０は、画像の各中領域について、現在時刻Ｔｎのフローパラメータ{Ｕｎ，Ｖｎ，Ａｎ，Ｂｎ，Ｃｎ，Ｄｎ，Ｅｎ，Ｆｎ}を、所定時間前の時刻Ｔｎ−ｋのフローパラメータ{Ｕｎ−ｋ，Ｖｎ−ｋ，Ａｎ−ｋ，Ｂｎ−ｋ，Ｃｎ−ｋ，Ｄｎ−ｋ，Ｅｎ−ｋ，Ｆｎ−ｋ}と比較して、両フローパラメータが類似する中領域を判別する（Ｓ８０３）。具体的には、画像処理装置２０は、次の数式（５.１）又は数式（５.２）を用いて両フローパラメータの差分ΔＦＰｎを求め、この差分ΔＦＰｎが予め設定された閾値ＴＨよりも小さい中領域を判別する。
【００５８】
【数５】
【００５９】
建築物や他車両などに対応する中領域のフローパラメータは著しく変化する。一方、道路平面に対応する中領域のフローパラメータはほとんど変化しない。よって、ステップ７０３において、両フローパラメータの差分ＦＰｎが予め設定された閾値ＴＨより小さい場合には、このようにフローパラメータの変化が小さい中領域は道路平面である可能性が高い。よって、画像処理装置２０は、差分ＦＰｎが閾値ＴＨより小さい中領域のフローパラメータを、道路平面のフローパラメータとして設定する（Ｓ８０４）。
【００６０】
図１８には、所定時間前の時刻Ｔｎ−ｋの画像が示されており、図１９には、現在時刻Ｔｎの画像が示されている。図１８および図１９において太線で囲われる中領域は、両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面に対応している。このように両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面を撮像した中領域のフローパラメータが、道路平面のフローパラメータとして設定される。なお、図１８および図１９に示されるように、両時刻Ｔｎ−ｋ，Ｔｎにおいて道路平面を撮像した中領域が複数ある場合には、これらの中領域のフローパラメータを平均した値を、道路平面のフローパラメータとして設定すればよい。
【００６１】
なお、図７又は図８の処理により設定された道路平面のフローパラメータは、その後の処理において繰り返し利用することができる。即ち、画像処理装置は、画像の各中領域ごとにフローパラメータを算出すると、各中領域について算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することが好ましい。この構成によれば、画像処理装置は、道路平面のフローパラメータが既に算出されているため、道路平面を構成する領域を簡易な処理で識別することができる。
【図面の簡単な説明】
【００６２】
【図１】本実施形態の画像処理装置を示す概略図である。
【図２】画像座標系、カメラ座標系、車両座標系を説明するための模式図である。
【図３】車両に搭載されたカメラの姿勢を説明するための模式図である。
【図４】車両の運動パラメータを説明するための模式図である。
【図５】物体識別処理の概略を示すフローチャートである。
【図６】オプティカルフローの算出処理を示すフローチャートである。
【図７】道路平面のフローパラメータを設定する処理を示すフローチャートである。
【図８】道路平面のフローパラメータを設定する処理を示す別のフローチャートである。
【図９】画像処理装置に取り込まれた画像を示す図である。
【図１０】画像の小領域を示す図である。
【図１１】画像のオプティカルフローを示す図である。
【図１２】画像から識別された道路平面を示す図である。
【図１３】画像から抽出される特徴的な画像部分を示す図である。
【図１４】特徴的な画像部分を拡大して示す図である。
【図１５】移動後の特徴的な画像部分を拡大して示す図である。
【図１６】車速が大きい場合に設定される探索範囲を示す図である。
【図１７】車速が小さい場合に設定される探索範囲を示す図である。
【図１８】時刻Ｔｎ−ｋにおいて道路平面に対応する領域を示す図である。
【図１９】時刻Ｔｎにおいて道路平面に対応する領域を示す図である。
【符号の説明】
【００６３】
１０…カメラ、２０…画像処理装置、３０…車両センサ、４０…表示制御装置、５０…車両動作制御装置。
【特許請求の範囲】
【請求項１】
異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、
前記フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記オプティカルフロー算出手段は、道路平面上の特徴的な画像部分について基準オプティカルフローを算出し、前記基準オプティカルフローに基づいて画像の各領域ごとに探索範囲を設定し、前記探索範囲内を探索することで画像の各領域ごとのオプティカルフローを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オプティカルフロー算出手段は、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オプティカルフロー算出手段は、前記基準オプティカルフローの大きさに基づいて前記探索範囲が設定される位置を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記オプティカルフロー算出手段は、前記基準オプティカルフローの大きさに基づいて前記探索範囲が設定される面積を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記領域識別手段は、自車両の進行方向の領域のフローパラメータの経時変化が予め設定された閾値より小さい場合に、当該領域のフローパラメータを前記道路平面のフローパラメータとして設定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記領域識別手段は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを前記道路平面のフローパラメータとして設定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出ステップと、
算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出ステップと、
算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別ステップと、
を含む画像処理方法。
【請求項１】
異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出手段と、
前記オプティカルフロー算出手段により算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出手段と、
前記フローパラメータ算出手段により算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記オプティカルフロー算出手段は、道路平面上の特徴的な画像部分について基準オプティカルフローを算出し、前記基準オプティカルフローに基づいて画像の各領域ごとに探索範囲を設定し、前記探索範囲内を探索することで画像の各領域ごとのオプティカルフローを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オプティカルフロー算出手段は、画像において自車両の進行方向の領域を道路平面の領域とし、この領域に含まれる特徴的な画像部分について基準オプティカルフローを算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オプティカルフロー算出手段は、前記基準オプティカルフローの大きさに基づいて前記探索範囲が設定される位置を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記オプティカルフロー算出手段は、前記基準オプティカルフローの大きさに基づいて前記探索範囲が設定される面積を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記領域識別手段は、前記フローパラメータ算出手段により算出されたフローパラメータが、過去に算出された道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記領域識別手段は、自車両の進行方向の領域のフローパラメータの経時変化が予め設定された閾値より小さい場合に、当該領域のフローパラメータを前記道路平面のフローパラメータとして設定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記領域識別手段は、自車両の進行方向の領域のフローパラメータが標準的な道路平面のフローパラメータと類似する場合に、当該領域のフローパラメータを前記道路平面のフローパラメータとして設定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
異なる時刻に撮像された複数の画像データを処理して、画像の各領域ごとのオプティカルフローを算出するオプティカルフロー算出ステップと、
算出された少なくとも４つのオプティカルフローが同一平面上のオプティカルフローであると仮定して、画像の各領域ごとのフローパラメータを算出するフローパラメータ算出ステップと、
算出されたフローパラメータが、道路平面のフローパラメータと類似する領域を、道路平面を構成する領域であると識別する領域識別ステップと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−３６９６（Ｐ２００８−３６９６Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１７０２３９（Ｐ２００６−１７０２３９）
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（５０２０８７４６０）株式会社トヨタＩＴ開発センター (232)
【Ｆターム（参考）】
[ Back to top ]