画像処理装置、および方法
【課題】 撮像画像の消失線を検出し、消失線がモニタの中央となるように画像位置を補正すること。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の画像の画像速度を算出し、算出した画像速度に基づいて、画像上に設定した各検出領域内における速度の分散値を算出する。算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を抽出して、抽出した検出領域を消失線として検出する。そして、検出した消失線がモニタ１０４の垂直方向中央と一致するように画像の表示位置を補正する。
【解決手段】 制御装置１０３は、カメラ１０１で撮像した自車両前方の画像の画像速度を算出し、算出した画像速度に基づいて、画像上に設定した各検出領域内における速度の分散値を算出する。算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を抽出して、抽出した検出領域を消失線として検出する。そして、検出した消失線がモニタ１０４の垂直方向中央と一致するように画像の表示位置を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮像された画像を処理する画像処理装置、よび方法に関する。
【背景技術】
【０００２】
次のような位置検出装置が特許文献１によって知られている。この位置検出装置では、撮像された画面上で検出された対象物のフレーム間の縦方向の移動量を計測し、その移動量に基づいてピッチング角の変化量を算出する。そして、過去フレームにおけるピッチング変化量に、算出した現フレームのピッチング変化量を加算してピッチング補正量を算出し、画像をピッチングの影響をキャンセルするように補正する。
【０００３】
【特許文献１】特開２００１−８４４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置においては、ピッチング補正量を、各フレームで演算したピッチング角の変化量を加算して算出するため、計測誤差が累積されてピッチング補正量がずれ、画像の補正の際にピッチングの影響を完全にはキャンセルできない可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出し、算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を消失線として検出し、検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の検出領域内における速度の分散値を算出し、算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を抽出して、抽出した検出領域を消失線として検出し、検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正するようにした。これによって、消失線上に存在する物体は、ピッチングが発生した場合でも画像上における速度の分散値の絶対値が相対的に小さくなることを考慮して精度高く消失線を検出することができる。また、この消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することによって、車両のピッチングに起因する画像の縦方向の位置変化を精度高く補正することができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における画像処理装置の一実施の形態の構成例を示すブロック図である。画像処理装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、後述する制御装置１０３と、カメラ１０１で撮像された自車両前方の画像を表示するためのモニタ１０４とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔（フレームレート＝５００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置され、その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。
【０００９】
制御装置１０３は、後述するように、図３に示すカメラ１０１で撮像した撮像画像３ａの速度情報（画像速度）を算出し、算出した画像速度に基づいて撮像画像内の水平方向に延在するカメラ１０１の設置高に相当する位置、すなわち消失線３ｂを検出する。そして、検出した消失線３ｂにおける画像速度に基づいて車両のピッチング角速度を算出する。
【００１０】
まず、撮像画像３ａ上に、消失線３ｂを検出するための検出領域を設定する。具体的には、図４に示すように撮像画像３ａを垂直方向（縦方向）に所定画素分の高さ、例えば１画素分の高さを有し、水平方向に延在する複数の領域４ａを検出領域４ａとして設定する。すなわち、検出領域４ａで撮像画像３ａを水平方向に分割する。そして、撮像画像３ａに対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像３ａにおける画素ごとの画像速度を算出する。なお、エッジ抽出処理、およびオプティカルフロー算出処理については、公知の技術のため、説明を省略する。
【００１１】
例えば、図５に示すように実空間上で消失線３ｂよりも上方に存在する物体５ａ、消失線３ｂ上に存在する物体５ｂ、および消失線３ｂよりも下方に存在する物体５ｃが存在する場合には、各物体から算出される画像速度は、図６に示すようになる。すなわち、消失線３ｂよりも上方に存在する物体５ａは、時間の経過とともに自車両が接近して、自車両との距離が短くなるにつれて上向きの画像速度６ａが増加していく。また、消失線３ｂよりも下方に存在する物体５ｃは、時間の経過とともに下向きの画像速度６ｃが増加していく。これに対して、消失線３ｂ上に存在する物体５ｂから算出される画像速度６ｂは、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって検出される画像速度を考慮しなければ、自車両との距離に関わらず、常に０となる。
【００１２】
これにより、消失線３ｂよりも上方、または下方に位置する物体においては、実空間上でその存在する地面からの高さが同じであっても、自車両との距離が異なればそれぞれの物体から算出される画像速度も異なることになる。例えば、図７に示すように、物体７ａが上述した物体５ｃよりも自車両から離れた位置に存在し、その地面からの高さが同じ場合には、画像速度は図８に示すようになる。すなわち、自車両から近い位置に存在する物体５ｃの画像速度８ｂの方が、自車両から遠い位置に存在する物体７ａの画像速度８ａよりも大きく（図８では負方向に大きく）算出される。
【００１３】
このように、消失線３ｂよりも上方、または下方に位置する物体からは自車両と各物体までの距離に応じて異なる画像速度が算出されるのに対して、消失線３ｂ上に存在する物体においては、自車両との距離に関わらず、画像速度が通常は０となることを加味して、撮像画像３ａ内における消失線３ｂを検出する。すなわち、各検出領域４ａごとに、各検出領域４ａ内で算出された画像速度の分散値を算出する。上述したように、消失線３ｂ上以外の位置に存在する物体は、自車両からの距離に応じて異なる画像速度を有することから、その分散値の絶対値は大きくなる。
【００１４】
しかし、消失線３ｂ上に存在する物体から算出される画像速度は通常は０となるため、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって画像速度が検出されたとしても、消失線３ｂ上以外の位置と比較すれば画像速度の分散値の絶対値は相対的に小さくなる。このことから、算出した画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを消失線候補領域として抽出する。そして、ここで抽出された消失線候補領域が１つであれば、この抽出した消失線候補領域内に消失線３ｂが存在すると判断して、消失線３ｂを検出する。すなわち、このときの消失線候補領域を消失線３ｂと判断し、撮像画像３ａ内において消失線３ｂが存在する位置を検出する。
【００１５】
一方、抽出された消失線候補領域が２つ以上あれば、これを１つに絞り込むために、以下のように処理する。すなわち、カメラ１０１のフレームレートを所定の割合だけ低下させて画像を撮像し、この画像に基づいて上述した処理によって画像速度の分散値を算出する。上述したように、消失線４ｂ位置近傍に存在する物体は、自車両との距離が変化しても画像速度の変化が小さいことから、カメラ１０１のフレームレートを低下させることによって、複数抽出された消失線候補領域間における画像速度の違いを明確にすることができる。
【００１６】
このため、再度算出した画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを抽出すれば、フレームレートを低下させる前よりも抽出される消失線候補領域は少なくなる。したがって、このときに抽出された消失線候補領域が１つであれば、この抽出した消失線候補領域内に消失線３ｂが存在すると判断して、撮像画像３ａ内における消失線３ｂの位置を検出する。それでもなお抽出された消失線候補領域が２つ以上であれば、消失線候補領域が１つに限定されるまで所定の割合間隔でカメラ１０１のフレームレートを徐々に低下させていく。
【００１７】
以上の処理によって、消失線候補領域が１つだけ抽出されたときに、その消失線候補領域内に撮像画像３ａにおける消失線３ｂが存在すると判断して、撮像画像３ａ内における消失線３ｂの位置を検出する。なお、検出領域４ａは、撮像画像３ａ上に縦方向に所定画素の幅を有するように設定されているため、消失線３ｂが存在する範囲に幅が生じてしまうが、上述したように、検出領域４ａを縦方向に微小な高さ、例えば１画素分の高さを有するように設定することによって、消失線３ｂ位置の範囲を限定して、検出領域４ａをそのまま消失線３ｂとして検出しても、精度高く消失線を検出することができる。
【００１８】
そして、検出した消失線３ｂが常にモニタ１０４の垂直方向の中央になるように、撮像画像３ａを補正してモニタ１０４に表示することで、ピッチングの影響によりカメラ１０１の視軸向きが変化して上下にずれた状態で撮像された撮像画像３ａを補正して、使用者に提示することが可能となる。
【００１９】
次に、検出した消失線３ｂ上に存在する各画素の画像速度に基づいて、車両に発生しているピッチングの角速度を算出する。まず、消失線３ｂ上に存在する各画素の画像速度の平均値（平均画像速度）を算出する。上述したように消失線３ｂ上に存在する物体から算出される画像速度は通常は０となるため、消失線３ｂ上に存在する各画素で算出された画像速度は、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって検出されたものと判断できる。すなわち、上述した平均画像速度を算出することによって、ピッチングに起因する画像速度を算出することができる。
【００２０】
そして、算出した平均画像速度に基づいて、撮像画像３ａ上における単位時間当たりの消失線３ｂの移動量を算出し、当該移動量とカメラ１０１のパラメータとを用いて実空間上のカメラ１０１の視軸向き変位量を算出することにより、単位時間当たりのカメラ視軸角度の変化量、すなわちピッチング角速度を算出する。これによって、車両に発生しているピッチングの状況を特別な計測機器を使用せずに検出することができる。
【００２１】
上述した処理をカメラ１０１で連続して撮像される各フレームに対して実行することによって、撮像画像３ａを常にピッチングの影響を排除してモニタ１０４に表示することができ、さらにピッチング角速度を計測することで、路面の状況に応じて逐次変化するピッチングの状況を検出することが可能となる。
【００２２】
なお、第１の実施の形態では、各フレームで上述した消失線３ｂの検出を行うが、極めて微小な時間間隔Δｔごとに撮像される連続したフレーム間では、消失線３ｂの位置は大きく変化しないことを考慮して、算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、予測した存在範囲内に存在する検出領域４ａのみを消失線候補領域として画像速度の分散値を算出する。これによって、消失線３ｂを検出するための範囲を限定することができ、処理速度を向上することができる。
【００２３】
図９は、第１の実施の形態における画像処理装置１００の処理を示すフローチャートである。図９に示す処理は画像処理装置１００を搭載した車両のイグニションスイッチがオンされることによって画像処理装置１００の電源がオンされると、制御装置１０３によって実行される。ステップＳ１０において、画像メモリ１０２からの撮像画像３ａを取り込んでステップＳ２０へ進む。ステップＳ２０では、撮像画像３ａ上に消失線検出用の検出領域４ａを設定してステップＳ３０へ進む。
【００２４】
ステップＳ３０では、撮像画像３ａに対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像３ａにおける画素ごとの画像速度を算出する。その後、ステップＳ４０へ進み、前フレームに対する処理で消失線３ｂの存在範囲が予測済みであるか否かを判断する。消失線存在範囲が予測済みであると判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、予測済みの範囲内に存在する検出領域４ａで画像速度の分散値を算出し、ステップＳ７０へ進む。一方、
消失線存在範囲が予測済みでないと判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、設定した全検出領域４ａで画像速度の分散値を算出し、ステップＳ７０へ進む。
【００２５】
ステップＳ７０では、算出した分散値の絶対値が所定の閾値未満の検出領域４ａを消失線候補領域として抽出する。その後、ステップＳ８０へ進み、抽出した消失線候補領域が１つであるか否かを判断する。抽出した消失線候補領域が１つでないと判断した場合には、ステップＳ９０へ進む。ステップＳ９０では、カメラ１０１のフレームレートを所定の割合だけ低下させて、ステップＳ１０へ戻り、消失線候補領域が１つに限定されるまで処理を繰り返す。これに対して、抽出した消失線候補領域が１つであると判断した場合には、ステップＳ１００へ進む。
【００２６】
ステップＳ１００では、抽出した１つの消失線候補領域を消失線３ｂとして検出し、ステップＳ１１０へ進む。ステップＳ１１０では、検出した消失線３ｂの位置がモニタ１０４の中心となるように撮像画像３ａを補正し、ピッチングの影響を排除した撮像画像３ａをモニタ１０４に表示する。その後、ステップＳ１２０へ進み、上述したように消失線３ｂ上における平均画像速度を算出し、算出した平均画像速度に基づいて、カメラ１０１のパラメータを考慮してピッチング角速度を算出する。その後、ステップＳ１３０へ進む。
【００２７】
ステップＳ１３０では、算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、ステップＳ１４０へ進む。ステップＳ１４０では、画像処理装置１００を搭載した車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされないと判断した場合にはステップＳ１０へ戻り、次フレームの撮像画像３ａに対して上述した処理を実行する。一方、イグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００２８】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像画像３ａ上に設定した各検出領域４ｂにおいて画像速度の分散値を算出し、画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを消失線候補領域として抽出し、消失線候補領域が１つであるときに、その消失線候補領域を消失線４ｂの存在位置であると検出するようにした。これによって、消失線３ｂ上に存在する物体から算出される画像速度は通常は０となることを考慮し、さらにピッチングの影響によりカメラ１０１の視軸向きが変化することによって画像速度が検出されたとしても、消失線３ｂ上以外の位置と比較すれば画像速度の分散値の絶対値は相対的に小さくなることも考慮して、精度高く消失線４ｂを検出することができる。
【００２９】
（２）抽出された消失線候補領域が２つ以上あるときは、消失線候補領域が１つに限定されるまで所定の割合間隔でカメラ１０１のフレームレートを徐々に低下させるようにした。これによって、消失線４ｂ位置近傍に存在する物体は、自車両との距離が変化しても画像速度の変化が小さいことを考慮して、カメラ１０１のフレームレートを低下させることで複数抽出された消失線候補領域間における画像速度の違いを明確にし、消失線候補領域を絞り込むことができる。
【００３０】
（３）検出した消失線３ｂの位置が常にモニタ１０４の垂直方向の中央になるように、撮像画像３ａを補正してモニタ１０４に表示するようにした。これによって、ピッチングの影響によりカメラ１０１の視軸向きが変化して上下にずれた状態で撮像された撮像画像を補正して、使用者に提示することが可能となる。
【００３１】
（４）算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、予測した存在範囲内に存在する検出領域４ａのみを消失線候補領域として画像速度の分散値を算出するようにした。これによって、極めて微小な時間間隔Δｔごとに撮像される連続したフレーム間では、消失線３ｂの位置は大きく変化しないことを考慮して、消失線３ｂを検出するための範囲を限定することができ、処理速度を向上することができる。
【００３２】
（５）算出した平均画像速度に基づいて、撮像画像３ａ上における単位時間当たりの消失線３ｂの移動量を算出し、当該移動量とカメラ１０１のパラメータとを用いて実空間上のカメラ１０１の視軸向き変位量を算出することにより、ピッチング角速度を算出するようにした。これによって、特別な計測機器を使用せずにピッチング角速度を検出することができる。
【００３３】
―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で上述したようにフレームレートが早い状態で撮像された撮像画像よりも遅い状態で撮像された撮像画像からの方が、消失線候補領域を限定して絞り込めることを考慮して、消失線を検出する。なお、図１〜図８の各図については、第１の実施の形態と同様のため、説明を省略する。
【００３４】
制御装置１０３は、撮像画像３ａ上に検出領域４ｂを設定した後、カメラ１０１のフレームレートが早い状態、例えばフレームレート＝５００ｆｐｓの状態で消失線候補領域を抽出し、消失線４ｂの位置をある程度の範囲に絞りこんでおく。その後、所定の割合、例えば１０％フレームレートを低下させて、あらかじめ絞り込んだ範囲内で消失線候補領域を抽出して範囲をさらに絞り込む。これを繰り返していき、フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出する。なお、ここでの閾値には、消失線候補領域を１つに絞り込むために十分なフレームレートを設定するものとし、フレームレートをあらかじめ設定した閾値まで低下させたときは、必ず消失線候補領域が１つに絞り込めているものとする。
【００３５】
このように、最初は早いフレームレートでおおよその範囲で消失線候補領域を絞り込んで抽出しておき、その後、フレームレートを遅くしてしながら、徐々に消失線候補領域を絞り込んでいくことによって、精度高く消失線４ｂを検出することが可能となる。
【００３６】
図１０は、第２の実施の形態における画像処理装置１００の処理を示すフローチャートである。図１０に示す処理は画像処理装置１００を搭載した車両のイグニションスイッチがオンされることによって画像処理装置１００の電源がオンされると、制御装置１０３によって実行される。なお、第１の実施の形態における図９と共通する処理については同じステップ番号を付与し、相違点を中心に説明する。
【００３７】
ステップＳ４１において、消失線候補領域が抽出済みであるか否かを判断する。消失線候補領域が抽出済みであると判断した場合には、ステップＳ５１へ進む。ステップＳ５１では、抽出済みの消失線候補領域で画像速度の分散値を算出し、ステップＳ７０へ進む。一方、消失線候補領域が抽出済みでないと判断した場合には、ステップＳ６０へ進んで、撮像画像３ａ上に設定した全ての検出領域４ａで画像速度の分散値を算出する。
【００３８】
また、ステップＳ８１では、カメラ１０１のフレームレートが所定の閾値まで低下したか否かを判断する。カメラ１０１のフレームレートが所定の閾値まで低下していないと判断した場合には、ステップＳ９０へ進み、所定の割合でフレームレートを低下させる。一方、カメラ１０１のフレームレートが所定の閾値まで低下したと判断した場合には、ステップＳ１００へ進み、抽出した消失線候補領域を消失線３ｂとして検出する。
【００３９】
以上説明した第２の実施の形態によれば、第１の実施の形態における効果に加えて、以下のような作用効果を得ることができる。
（１）カメラ１０１のフレームレートを所定の割合で低下させていき、消失線候補領域の範囲を絞り込んでいく。そして、フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出するようにした。これによって、最初におおよその範囲で消失線候補領域を絞り込んで抽出しておき、その後、徐々に消失線候補領域を絞り込んでいくことができるため、精度高く消失線４ｂを検出することが可能となる。
（２）フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出するにあたって、この閾値に消失線候補領域を１つに絞り込むために十分なフレームレートを設定するようにした。これによって、フレームレートをあらかじめ設定した閾値まで低下させたときは、必ず消失線候補領域を１つに絞り込むことができる。
【００４０】
―変形例―
なお、上述した画像処理装置１００は以下のように変形することもできる。
（１）上述した第１、および第２の実施の形態では、本発明による画像処理装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００４１】
（２）上述した第１、および第２の実施の形態では、撮像画像に対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像における画素ごとの画像速度を算出する例について説明した。しかしこれに限定されず、その他の方法によってオプティカルフローを算出し、撮像画像における画素ごとの画像速度を算出してもよい。
【００４２】
（３）上述した第１、および第２の実施の形態では、消失線候補領域を１つに絞り込むため所定の割合でカメラ１０１のフレームレートを低下させる例について説明した。しかしこれに限定されず、自車両の車速をする車速センサを搭載し、車速センサで検出した車速に応じてフレームレートを変更するようにしてもよい。例えば、自車両が加速するに従ってフレームレートを早め、自車両が減速するに従ってフレームレートを遅くする。これによって、さらに精度高く消失線４ｂを検出することが可能になる。
【００４３】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００４４】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、モニタ１０４は表示手段に相当する。制御装置１０３は速度情報算出手段、分散値算出手段、消失線検出手段、表示位置補正手段、ピッチング角速度算出手段、予測手段、およびフレームレート変化手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００４５】
【図１】画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の具体例を示す図である。
【図４】撮像画像に検出領域４ａを設定した場合の具体例を示す図である。
【図５】消失線と物体との位置関係を示す第１の図である。
【図６】消失線と物体との位置関係に応じて変化する画像速度の具体例を示す図である。
【図７】消失線と物体との位置関係を示す第２の図である。
【図８】自車両との距離に応じて変化する画像速度の具体例を示す図である。
【図９】第１の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【図１０】第２の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４６】
１００ 画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ モニタ
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラによって撮像された画像を処理する画像処理装置、よび方法に関する。
【背景技術】
【０００２】
次のような位置検出装置が特許文献１によって知られている。この位置検出装置では、撮像された画面上で検出された対象物のフレーム間の縦方向の移動量を計測し、その移動量に基づいてピッチング角の変化量を算出する。そして、過去フレームにおけるピッチング変化量に、算出した現フレームのピッチング変化量を加算してピッチング補正量を算出し、画像をピッチングの影響をキャンセルするように補正する。
【０００３】
【特許文献１】特開２００１−８４４９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置においては、ピッチング補正量を、各フレームで演算したピッチング角の変化量を加算して算出するため、計測誤差が累積されてピッチング補正量がずれ、画像の補正の際にピッチングの影響を完全にはキャンセルできない可能性があるという問題が生じていた。
【課題を解決するための手段】
【０００５】
本発明は、撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出し、算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を消失線として検出し、検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の検出領域内における速度の分散値を算出し、算出した速度の分散値の絶対値が所定の閾値以下となる１つの検出領域を抽出して、抽出した検出領域を消失線として検出し、検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正するようにした。これによって、消失線上に存在する物体は、ピッチングが発生した場合でも画像上における速度の分散値の絶対値が相対的に小さくなることを考慮して精度高く消失線を検出することができる。また、この消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することによって、車両のピッチングに起因する画像の縦方向の位置変化を精度高く補正することができる。
【発明を実施するための最良の形態】
【０００７】
―第１の実施の形態―
図１は、第１の実施の形態における画像処理装置の一実施の形態の構成例を示すブロック図である。画像処理装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、後述する制御装置１０３と、カメラ１０１で撮像された自車両前方の画像を表示するためのモニタ１０４とを備えている。
【０００８】
カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば２ｍｓ間隔（フレームレート＝５００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置され、その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。
【０００９】
制御装置１０３は、後述するように、図３に示すカメラ１０１で撮像した撮像画像３ａの速度情報（画像速度）を算出し、算出した画像速度に基づいて撮像画像内の水平方向に延在するカメラ１０１の設置高に相当する位置、すなわち消失線３ｂを検出する。そして、検出した消失線３ｂにおける画像速度に基づいて車両のピッチング角速度を算出する。
【００１０】
まず、撮像画像３ａ上に、消失線３ｂを検出するための検出領域を設定する。具体的には、図４に示すように撮像画像３ａを垂直方向（縦方向）に所定画素分の高さ、例えば１画素分の高さを有し、水平方向に延在する複数の領域４ａを検出領域４ａとして設定する。すなわち、検出領域４ａで撮像画像３ａを水平方向に分割する。そして、撮像画像３ａに対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像３ａにおける画素ごとの画像速度を算出する。なお、エッジ抽出処理、およびオプティカルフロー算出処理については、公知の技術のため、説明を省略する。
【００１１】
例えば、図５に示すように実空間上で消失線３ｂよりも上方に存在する物体５ａ、消失線３ｂ上に存在する物体５ｂ、および消失線３ｂよりも下方に存在する物体５ｃが存在する場合には、各物体から算出される画像速度は、図６に示すようになる。すなわち、消失線３ｂよりも上方に存在する物体５ａは、時間の経過とともに自車両が接近して、自車両との距離が短くなるにつれて上向きの画像速度６ａが増加していく。また、消失線３ｂよりも下方に存在する物体５ｃは、時間の経過とともに下向きの画像速度６ｃが増加していく。これに対して、消失線３ｂ上に存在する物体５ｂから算出される画像速度６ｂは、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって検出される画像速度を考慮しなければ、自車両との距離に関わらず、常に０となる。
【００１２】
これにより、消失線３ｂよりも上方、または下方に位置する物体においては、実空間上でその存在する地面からの高さが同じであっても、自車両との距離が異なればそれぞれの物体から算出される画像速度も異なることになる。例えば、図７に示すように、物体７ａが上述した物体５ｃよりも自車両から離れた位置に存在し、その地面からの高さが同じ場合には、画像速度は図８に示すようになる。すなわち、自車両から近い位置に存在する物体５ｃの画像速度８ｂの方が、自車両から遠い位置に存在する物体７ａの画像速度８ａよりも大きく（図８では負方向に大きく）算出される。
【００１３】
このように、消失線３ｂよりも上方、または下方に位置する物体からは自車両と各物体までの距離に応じて異なる画像速度が算出されるのに対して、消失線３ｂ上に存在する物体においては、自車両との距離に関わらず、画像速度が通常は０となることを加味して、撮像画像３ａ内における消失線３ｂを検出する。すなわち、各検出領域４ａごとに、各検出領域４ａ内で算出された画像速度の分散値を算出する。上述したように、消失線３ｂ上以外の位置に存在する物体は、自車両からの距離に応じて異なる画像速度を有することから、その分散値の絶対値は大きくなる。
【００１４】
しかし、消失線３ｂ上に存在する物体から算出される画像速度は通常は０となるため、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって画像速度が検出されたとしても、消失線３ｂ上以外の位置と比較すれば画像速度の分散値の絶対値は相対的に小さくなる。このことから、算出した画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを消失線候補領域として抽出する。そして、ここで抽出された消失線候補領域が１つであれば、この抽出した消失線候補領域内に消失線３ｂが存在すると判断して、消失線３ｂを検出する。すなわち、このときの消失線候補領域を消失線３ｂと判断し、撮像画像３ａ内において消失線３ｂが存在する位置を検出する。
【００１５】
一方、抽出された消失線候補領域が２つ以上あれば、これを１つに絞り込むために、以下のように処理する。すなわち、カメラ１０１のフレームレートを所定の割合だけ低下させて画像を撮像し、この画像に基づいて上述した処理によって画像速度の分散値を算出する。上述したように、消失線４ｂ位置近傍に存在する物体は、自車両との距離が変化しても画像速度の変化が小さいことから、カメラ１０１のフレームレートを低下させることによって、複数抽出された消失線候補領域間における画像速度の違いを明確にすることができる。
【００１６】
このため、再度算出した画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを抽出すれば、フレームレートを低下させる前よりも抽出される消失線候補領域は少なくなる。したがって、このときに抽出された消失線候補領域が１つであれば、この抽出した消失線候補領域内に消失線３ｂが存在すると判断して、撮像画像３ａ内における消失線３ｂの位置を検出する。それでもなお抽出された消失線候補領域が２つ以上であれば、消失線候補領域が１つに限定されるまで所定の割合間隔でカメラ１０１のフレームレートを徐々に低下させていく。
【００１７】
以上の処理によって、消失線候補領域が１つだけ抽出されたときに、その消失線候補領域内に撮像画像３ａにおける消失線３ｂが存在すると判断して、撮像画像３ａ内における消失線３ｂの位置を検出する。なお、検出領域４ａは、撮像画像３ａ上に縦方向に所定画素の幅を有するように設定されているため、消失線３ｂが存在する範囲に幅が生じてしまうが、上述したように、検出領域４ａを縦方向に微小な高さ、例えば１画素分の高さを有するように設定することによって、消失線３ｂ位置の範囲を限定して、検出領域４ａをそのまま消失線３ｂとして検出しても、精度高く消失線を検出することができる。
【００１８】
そして、検出した消失線３ｂが常にモニタ１０４の垂直方向の中央になるように、撮像画像３ａを補正してモニタ１０４に表示することで、ピッチングの影響によりカメラ１０１の視軸向きが変化して上下にずれた状態で撮像された撮像画像３ａを補正して、使用者に提示することが可能となる。
【００１９】
次に、検出した消失線３ｂ上に存在する各画素の画像速度に基づいて、車両に発生しているピッチングの角速度を算出する。まず、消失線３ｂ上に存在する各画素の画像速度の平均値（平均画像速度）を算出する。上述したように消失線３ｂ上に存在する物体から算出される画像速度は通常は０となるため、消失線３ｂ上に存在する各画素で算出された画像速度は、ピッチングの影響によりカメラ１０１の視軸向きが変化することによって検出されたものと判断できる。すなわち、上述した平均画像速度を算出することによって、ピッチングに起因する画像速度を算出することができる。
【００２０】
そして、算出した平均画像速度に基づいて、撮像画像３ａ上における単位時間当たりの消失線３ｂの移動量を算出し、当該移動量とカメラ１０１のパラメータとを用いて実空間上のカメラ１０１の視軸向き変位量を算出することにより、単位時間当たりのカメラ視軸角度の変化量、すなわちピッチング角速度を算出する。これによって、車両に発生しているピッチングの状況を特別な計測機器を使用せずに検出することができる。
【００２１】
上述した処理をカメラ１０１で連続して撮像される各フレームに対して実行することによって、撮像画像３ａを常にピッチングの影響を排除してモニタ１０４に表示することができ、さらにピッチング角速度を計測することで、路面の状況に応じて逐次変化するピッチングの状況を検出することが可能となる。
【００２２】
なお、第１の実施の形態では、各フレームで上述した消失線３ｂの検出を行うが、極めて微小な時間間隔Δｔごとに撮像される連続したフレーム間では、消失線３ｂの位置は大きく変化しないことを考慮して、算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、予測した存在範囲内に存在する検出領域４ａのみを消失線候補領域として画像速度の分散値を算出する。これによって、消失線３ｂを検出するための範囲を限定することができ、処理速度を向上することができる。
【００２３】
図９は、第１の実施の形態における画像処理装置１００の処理を示すフローチャートである。図９に示す処理は画像処理装置１００を搭載した車両のイグニションスイッチがオンされることによって画像処理装置１００の電源がオンされると、制御装置１０３によって実行される。ステップＳ１０において、画像メモリ１０２からの撮像画像３ａを取り込んでステップＳ２０へ進む。ステップＳ２０では、撮像画像３ａ上に消失線検出用の検出領域４ａを設定してステップＳ３０へ進む。
【００２４】
ステップＳ３０では、撮像画像３ａに対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像３ａにおける画素ごとの画像速度を算出する。その後、ステップＳ４０へ進み、前フレームに対する処理で消失線３ｂの存在範囲が予測済みであるか否かを判断する。消失線存在範囲が予測済みであると判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、予測済みの範囲内に存在する検出領域４ａで画像速度の分散値を算出し、ステップＳ７０へ進む。一方、
消失線存在範囲が予測済みでないと判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、設定した全検出領域４ａで画像速度の分散値を算出し、ステップＳ７０へ進む。
【００２５】
ステップＳ７０では、算出した分散値の絶対値が所定の閾値未満の検出領域４ａを消失線候補領域として抽出する。その後、ステップＳ８０へ進み、抽出した消失線候補領域が１つであるか否かを判断する。抽出した消失線候補領域が１つでないと判断した場合には、ステップＳ９０へ進む。ステップＳ９０では、カメラ１０１のフレームレートを所定の割合だけ低下させて、ステップＳ１０へ戻り、消失線候補領域が１つに限定されるまで処理を繰り返す。これに対して、抽出した消失線候補領域が１つであると判断した場合には、ステップＳ１００へ進む。
【００２６】
ステップＳ１００では、抽出した１つの消失線候補領域を消失線３ｂとして検出し、ステップＳ１１０へ進む。ステップＳ１１０では、検出した消失線３ｂの位置がモニタ１０４の中心となるように撮像画像３ａを補正し、ピッチングの影響を排除した撮像画像３ａをモニタ１０４に表示する。その後、ステップＳ１２０へ進み、上述したように消失線３ｂ上における平均画像速度を算出し、算出した平均画像速度に基づいて、カメラ１０１のパラメータを考慮してピッチング角速度を算出する。その後、ステップＳ１３０へ進む。
【００２７】
ステップＳ１３０では、算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、ステップＳ１４０へ進む。ステップＳ１４０では、画像処理装置１００を搭載した車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされないと判断した場合にはステップＳ１０へ戻り、次フレームの撮像画像３ａに対して上述した処理を実行する。一方、イグニションスイッチがオフされたと判断した場合には、処理を終了する。
【００２８】
以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像画像３ａ上に設定した各検出領域４ｂにおいて画像速度の分散値を算出し、画像速度の分散値の絶対値が所定の閾値以下である検出領域４ａを消失線候補領域として抽出し、消失線候補領域が１つであるときに、その消失線候補領域を消失線４ｂの存在位置であると検出するようにした。これによって、消失線３ｂ上に存在する物体から算出される画像速度は通常は０となることを考慮し、さらにピッチングの影響によりカメラ１０１の視軸向きが変化することによって画像速度が検出されたとしても、消失線３ｂ上以外の位置と比較すれば画像速度の分散値の絶対値は相対的に小さくなることも考慮して、精度高く消失線４ｂを検出することができる。
【００２９】
（２）抽出された消失線候補領域が２つ以上あるときは、消失線候補領域が１つに限定されるまで所定の割合間隔でカメラ１０１のフレームレートを徐々に低下させるようにした。これによって、消失線４ｂ位置近傍に存在する物体は、自車両との距離が変化しても画像速度の変化が小さいことを考慮して、カメラ１０１のフレームレートを低下させることで複数抽出された消失線候補領域間における画像速度の違いを明確にし、消失線候補領域を絞り込むことができる。
【００３０】
（３）検出した消失線３ｂの位置が常にモニタ１０４の垂直方向の中央になるように、撮像画像３ａを補正してモニタ１０４に表示するようにした。これによって、ピッチングの影響によりカメラ１０１の視軸向きが変化して上下にずれた状態で撮像された撮像画像を補正して、使用者に提示することが可能となる。
【００３１】
（４）算出した平均画像速度に基づいて、次フレームの消失線３ｂの存在範囲を予測し、予測した存在範囲内に存在する検出領域４ａのみを消失線候補領域として画像速度の分散値を算出するようにした。これによって、極めて微小な時間間隔Δｔごとに撮像される連続したフレーム間では、消失線３ｂの位置は大きく変化しないことを考慮して、消失線３ｂを検出するための範囲を限定することができ、処理速度を向上することができる。
【００３２】
（５）算出した平均画像速度に基づいて、撮像画像３ａ上における単位時間当たりの消失線３ｂの移動量を算出し、当該移動量とカメラ１０１のパラメータとを用いて実空間上のカメラ１０１の視軸向き変位量を算出することにより、ピッチング角速度を算出するようにした。これによって、特別な計測機器を使用せずにピッチング角速度を検出することができる。
【００３３】
―第２の実施の形態―
第２の実施の形態では、第１の実施の形態で上述したようにフレームレートが早い状態で撮像された撮像画像よりも遅い状態で撮像された撮像画像からの方が、消失線候補領域を限定して絞り込めることを考慮して、消失線を検出する。なお、図１〜図８の各図については、第１の実施の形態と同様のため、説明を省略する。
【００３４】
制御装置１０３は、撮像画像３ａ上に検出領域４ｂを設定した後、カメラ１０１のフレームレートが早い状態、例えばフレームレート＝５００ｆｐｓの状態で消失線候補領域を抽出し、消失線４ｂの位置をある程度の範囲に絞りこんでおく。その後、所定の割合、例えば１０％フレームレートを低下させて、あらかじめ絞り込んだ範囲内で消失線候補領域を抽出して範囲をさらに絞り込む。これを繰り返していき、フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出する。なお、ここでの閾値には、消失線候補領域を１つに絞り込むために十分なフレームレートを設定するものとし、フレームレートをあらかじめ設定した閾値まで低下させたときは、必ず消失線候補領域が１つに絞り込めているものとする。
【００３５】
このように、最初は早いフレームレートでおおよその範囲で消失線候補領域を絞り込んで抽出しておき、その後、フレームレートを遅くしてしながら、徐々に消失線候補領域を絞り込んでいくことによって、精度高く消失線４ｂを検出することが可能となる。
【００３６】
図１０は、第２の実施の形態における画像処理装置１００の処理を示すフローチャートである。図１０に示す処理は画像処理装置１００を搭載した車両のイグニションスイッチがオンされることによって画像処理装置１００の電源がオンされると、制御装置１０３によって実行される。なお、第１の実施の形態における図９と共通する処理については同じステップ番号を付与し、相違点を中心に説明する。
【００３７】
ステップＳ４１において、消失線候補領域が抽出済みであるか否かを判断する。消失線候補領域が抽出済みであると判断した場合には、ステップＳ５１へ進む。ステップＳ５１では、抽出済みの消失線候補領域で画像速度の分散値を算出し、ステップＳ７０へ進む。一方、消失線候補領域が抽出済みでないと判断した場合には、ステップＳ６０へ進んで、撮像画像３ａ上に設定した全ての検出領域４ａで画像速度の分散値を算出する。
【００３８】
また、ステップＳ８１では、カメラ１０１のフレームレートが所定の閾値まで低下したか否かを判断する。カメラ１０１のフレームレートが所定の閾値まで低下していないと判断した場合には、ステップＳ９０へ進み、所定の割合でフレームレートを低下させる。一方、カメラ１０１のフレームレートが所定の閾値まで低下したと判断した場合には、ステップＳ１００へ進み、抽出した消失線候補領域を消失線３ｂとして検出する。
【００３９】
以上説明した第２の実施の形態によれば、第１の実施の形態における効果に加えて、以下のような作用効果を得ることができる。
（１）カメラ１０１のフレームレートを所定の割合で低下させていき、消失線候補領域の範囲を絞り込んでいく。そして、フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出するようにした。これによって、最初におおよその範囲で消失線候補領域を絞り込んで抽出しておき、その後、徐々に消失線候補領域を絞り込んでいくことができるため、精度高く消失線４ｂを検出することが可能となる。
（２）フレームレートがあらかじめ設定した閾値まで低下したときに抽出されている消失線候補領域を消失線４ｂとして検出するにあたって、この閾値に消失線候補領域を１つに絞り込むために十分なフレームレートを設定するようにした。これによって、フレームレートをあらかじめ設定した閾値まで低下させたときは、必ず消失線候補領域を１つに絞り込むことができる。
【００４０】
―変形例―
なお、上述した画像処理装置１００は以下のように変形することもできる。
（１）上述した第１、および第２の実施の形態では、本発明による画像処理装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
【００４１】
（２）上述した第１、および第２の実施の形態では、撮像画像に対して、エッジ抽出処理を行い、公知の勾配法やブロックマッチング法を用いてオプティカルフローを算出して、撮像画像における画素ごとの画像速度を算出する例について説明した。しかしこれに限定されず、その他の方法によってオプティカルフローを算出し、撮像画像における画素ごとの画像速度を算出してもよい。
【００４２】
（３）上述した第１、および第２の実施の形態では、消失線候補領域を１つに絞り込むため所定の割合でカメラ１０１のフレームレートを低下させる例について説明した。しかしこれに限定されず、自車両の車速をする車速センサを搭載し、車速センサで検出した車速に応じてフレームレートを変更するようにしてもよい。例えば、自車両が加速するに従ってフレームレートを早め、自車両が減速するに従ってフレームレートを遅くする。これによって、さらに精度高く消失線４ｂを検出することが可能になる。
【００４３】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
【００４４】
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、モニタ１０４は表示手段に相当する。制御装置１０３は速度情報算出手段、分散値算出手段、消失線検出手段、表示位置補正手段、ピッチング角速度算出手段、予測手段、およびフレームレート変化手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。
【図面の簡単な説明】
【００４５】
【図１】画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】カメラ１０１の車両への設置例を示す図である。
【図３】カメラ１０１で撮像した画像の具体例を示す図である。
【図４】撮像画像に検出領域４ａを設定した場合の具体例を示す図である。
【図５】消失線と物体との位置関係を示す第１の図である。
【図６】消失線と物体との位置関係に応じて変化する画像速度の具体例を示す図である。
【図７】消失線と物体との位置関係を示す第２の図である。
【図８】自車両との距離に応じて変化する画像速度の具体例を示す図である。
【図９】第１の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【図１０】第２の実施の形態における画像処理装置１００の処理を示すフローチャート図である。
【符号の説明】
【００４６】
１００ 画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ モニタ
【特許請求の範囲】
【請求項１】
車両に搭載される画像処理装置であって、
自車両前方の画像を撮像する撮像手段と、
前記撮像手段で撮像した画像を画像処理して、各画素の画像の速度情報を算出する速度情報算出手段と、
前記速度情報算出手段で算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出する分散値算出手段と、
前記分散値算出手段で算出した速度の分散値の絶対値が所定の閾値以下となる１つの前記検出領域を消失線として検出する消失線検出手段と、
前記消失線検出手段で検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正する表示位置補正手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記消失線検出手段で検出した画像上の消失線上に存在する各画素の画像の速度情報に基づいて、車両のピッチング角速度を算出するピッチング角速度算出手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記消失線検出手段で検出した画像上の消失線上に存在する各画素の画像の速度情報に基づいて、次フレームで消失線が存在する範囲を予測する予測手段をさらに備え、
次フレームの画像に対しては、
前記分散値算出手は、前記予測手段で予測した範囲の検出領域内における速度の分散値を算出し、
前記消失線検出手段は、前記予測手段で予測した範囲の検出領域内から前記消失線を検出することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記撮像手段のフレームレートを変化させるフレームレート変化手段をさらに備え、
前記消失線検出手段は、前記フレームレート変化手段を制御して、前記撮像手段のフレームレートを変化させながら前記消失線を検出することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記消失線検出手段は、前記分散値算出手段によって算出された前記速度の分散値の絶対値が所定の閾値以下となる検出領域が複数抽出される場合には、前記フレームレート変化手段を制御して前記撮像手段のフレームレートを低下させて、前記速度の分散値の絶対値が所定の閾値以下となる検出領域を１つに限定することを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記消失線検出手段は、前記フレームレート変化手段を制御して前記撮像手段のフレームレートを徐々に低下させながら、前記分散値算出手段によって算出された前記速度の分散値の絶対値が所定の閾値以下となる検出領域を１つに絞り込んでいくことを特徴とする画像処理装置。
【請求項７】
請求項４〜６のいずれか一項に記載の画像処理装置において、
前記フレームレート変化手段は、自車両の車速に応じて前記撮像手段のフレームレートを変化させることを特徴とする画像処理装置。
【請求項８】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、
算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出し、
算出した速度の分散値の絶対値が所定の閾値以下となる１つの前記検出領域を消失線として検出し、
検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することを特徴とする画像処理方法。
【請求項１】
車両に搭載される画像処理装置であって、
自車両前方の画像を撮像する撮像手段と、
前記撮像手段で撮像した画像を画像処理して、各画素の画像の速度情報を算出する速度情報算出手段と、
前記速度情報算出手段で算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出する分散値算出手段と、
前記分散値算出手段で算出した速度の分散値の絶対値が所定の閾値以下となる１つの前記検出領域を消失線として検出する消失線検出手段と、
前記消失線検出手段で検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正する表示位置補正手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記消失線検出手段で検出した画像上の消失線上に存在する各画素の画像の速度情報に基づいて、車両のピッチング角速度を算出するピッチング角速度算出手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記消失線検出手段で検出した画像上の消失線上に存在する各画素の画像の速度情報に基づいて、次フレームで消失線が存在する範囲を予測する予測手段をさらに備え、
次フレームの画像に対しては、
前記分散値算出手は、前記予測手段で予測した範囲の検出領域内における速度の分散値を算出し、
前記消失線検出手段は、前記予測手段で予測した範囲の検出領域内から前記消失線を検出することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記撮像手段のフレームレートを変化させるフレームレート変化手段をさらに備え、
前記消失線検出手段は、前記フレームレート変化手段を制御して、前記撮像手段のフレームレートを変化させながら前記消失線を検出することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記消失線検出手段は、前記分散値算出手段によって算出された前記速度の分散値の絶対値が所定の閾値以下となる検出領域が複数抽出される場合には、前記フレームレート変化手段を制御して前記撮像手段のフレームレートを低下させて、前記速度の分散値の絶対値が所定の閾値以下となる検出領域を１つに限定することを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記消失線検出手段は、前記フレームレート変化手段を制御して前記撮像手段のフレームレートを徐々に低下させながら、前記分散値算出手段によって算出された前記速度の分散値の絶対値が所定の閾値以下となる検出領域を１つに絞り込んでいくことを特徴とする画像処理装置。
【請求項７】
請求項４〜６のいずれか一項に記載の画像処理装置において、
前記フレームレート変化手段は、自車両の車速に応じて前記撮像手段のフレームレートを変化させることを特徴とする画像処理装置。
【請求項８】
撮像手段で撮像した自車両前方の画像を画像処理して、各画素の画像の速度情報を算出し、
算出した各画素の画像の速度情報に基づいて、画像上で水平方向に分割された複数の検出領域内における速度の分散値を算出し、
算出した速度の分散値の絶対値が所定の閾値以下となる１つの前記検出領域を消失線として検出し、
検出した消失線の位置が表示手段の垂直方向中央と一致するように画像の表示位置を補正することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１７４３７７（Ｐ２００６−１７４３７７Ａ）
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願番号】特願２００４−３６７９２６（Ｐ２００４−３６７９２６）
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１８年６月２９日（２００６．６．２９）
【国際特許分類】
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]