車両用画像処理装置および車両用画像処理方法
【課題】カメラにより取得された画像から路面の位置を求める。
【解決手段】車両用画像処理装置１０は、記憶部１３、路面検出部２７、近似平面作成部３１および路面データ更新部３２を備える。記憶部１３は、設定路面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けた路面データを記憶する。路面検出部２７は、スケールファクタつき相対並進成分と自車の並進成分とを用いてカメラ座標系における対象物の光軸方向座標値を算出するとともに、路面データにおいて対象物の画像上の座標値と関連付けられた光軸方向座標値を記憶部１３から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると対象物を路面と判定する。近似平面作成部３１は、複数の対象物のなす近似平面を表す式を立て、この近似平面上の点について近似平面データを求める。路面データ更新部３２は、記憶部１３の路面データを近似平面データで更新する。
【解決手段】車両用画像処理装置１０は、記憶部１３、路面検出部２７、近似平面作成部３１および路面データ更新部３２を備える。記憶部１３は、設定路面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けた路面データを記憶する。路面検出部２７は、スケールファクタつき相対並進成分と自車の並進成分とを用いてカメラ座標系における対象物の光軸方向座標値を算出するとともに、路面データにおいて対象物の画像上の座標値と関連付けられた光軸方向座標値を記憶部１３から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると対象物を路面と判定する。近似平面作成部３１は、複数の対象物のなす近似平面を表す式を立て、この近似平面上の点について近似平面データを求める。路面データ更新部３２は、記憶部１３の路面データを近似平面データで更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両用画像処理装置および車両用画像処理方法に関する。
【背景技術】
【０００２】
最近、自動車などの車両の運転を支援するための技術として、車両と対象物との衝突可能性を判定する技術の開発が望まれている。この種の技術には、たとえば、車両に搭載されたカメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する技術などがある。車両に搭載されたカメラにより撮像された画像を用いる場合、レーダを用いる場合に比べてデジタル化された画像データを利用することができることから、対象物の接近角度などの複雑な判断が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５６７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する従来の技術は、カメラにより撮像される路面が車両底面と平行であること（路面平面モデル）が前提となっており、カメラにより撮像される路面と車両底面とが平行でない場合を考慮していない。このため、カメラにより撮像される路面と車両底面とが平行でない場合には、画像から対象物との距離を求めることや移動体を特定することが難しい。
【０００５】
カメラにより撮像される路面と車両底面とが平行でない状況としては、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある状況や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある状況などが挙げられる。これらの状況は、実際の車両の運転において遭遇する可能性が高いものと考えられる。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る車両用画像処理装置は、上述した課題を解決するために、カメラと、スケールファクタ付き並進成分算出部と、記憶部と、路面検出部と、近似平面作成部と、路面データ更新部と、を備える。カメラは、車両に設けられ車両の周辺を撮像する。スケールファクタ付き並進成分算出部は、カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出する。記憶部は、所定の設定路面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶する。路面検出部は、スケールファクタつき相対並進成分と自車の並進成分とを用いてカメラ座標系における対象物の光軸方向座標値を算出するとともに、路面データにおいて対象物の画像上の座標値と関連付けられた光軸方向座標値を記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると対象物を路面と判定する。近似平面作成部は、路面と判定された複数の対象物のカメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求める。路面データ更新部は、所定の設定路面を近似平面とするよう、記憶部の路面データを近似平面データで更新する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図２】カメラ座標系におけるカメラ投影面と路面との関係を示す説明図。
【図３】第１実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【図４】本発明の第２実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図５】第２実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【図６】本発明の第３実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図７】第３実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
本発明に係る車両用画像処理装置および車両用画像処理方法の実施の形態について、添付図面を参照して説明する。
（第１の実施形態）
【０００９】
図１は、本発明の第１実施形態に係る車両用画像処理装置１０の一例を示す全体構成図である。
【００１０】
車両用画像処理装置１０は、カメラ１１、画像処理ＥＣＵ（Electronic Control Unit）１２および記憶部１３を有する。
【００１１】
カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して画像処理ＥＣＵ１２に与える。
【００１２】
たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１３】
画像処理ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。画像処理ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像にもとづいて、カメラ１１により取得された画像からリアルタイムに路面の位置を求める。
【００１４】
画像処理ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。画像処理ＥＣＵ１２のＲＯＭなどの記憶媒体は、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１５】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。
【００１６】
なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って画像処理ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１７】
記憶部１３は、画像処理ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、消失点（ＦＯＥ：Focus of Expansion）の情報ＦＯＥ（ｘ０、ｙ０）および路面データｚ２＝ｚ（ｘ、ｙ）、路面閾値ｚｔｈ、第１の固有値閾値λｔｈ１、第２の固有値閾値λｔｈ２、カメラ高さＨおよび角度閾値ψｔｈを記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。
【００１８】
路面データｚ２＝ｚ（ｘ、ｙ）は、所定の設定路面上の点について、画像上の座標値と光軸方向座標値とを関連付けたデータをいうものとする。すなわち、画像処理ＥＣＵ１２は、記憶部１３に記憶された路面データを参照することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２を取得することができる。
【００１９】
図１に示すように、画像処理ＥＣＵ１２のＣＰＵは、画像処理プログラムによって、少なくともスウィング角補正部２１、動きベクトル算出部２２、回転成分算出部２３、移動体検出部２４、スケールファクタ付き並進成分算出部２５、自車並進成分算出部２６、路面検出部２７、路面上点座標算出部２８、固有値・固有ベクトル算出部２９、定点設定部３０、近似平面作成部３１、路面データ更新部３２およびスウィング角算出部３３として機能する。この各部２１〜３３は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
ここで、カメラ座標系について簡単に説明する。
【００２０】
図２は、カメラ座標系におけるカメラ投影面４１と路面４２との関係を示す説明図である。
【００２１】
本実施形態に係る車両用画像処理装置１０は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。
【００２２】
カメラ座標系（ｘ、ｙ、ｚ）は、カメラ１１の中心を原点とする左手座標系である。カメラ座標系のｚ軸は、カメラ１１の光軸に一致するよう設定される。
【００２３】
カメラ投影面４１は、カメラ座標系においてｚ＝ｆの面である。ｆはカメラ１１の焦点距離である。カメラ１１は、このカメラ投影面４１に投影される車両周囲を撮像する。
【００２４】
対象物のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘ、Ｙ、Ｚ）とし、点Ｐのカメラ投影面４１に投影された点ｐの座標をｐ（ｘ、ｙ、ｆ）とする。このとき点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。ここで、ｘ、ｙは投影面４１上のｘｙ座標値であり、ｚは対象物のｚ座標値であることに注意する。投影面４１上のｘｙ座標値は、カメラ１１の画素と対応するものであるため、画像から容易に取得することができる。
【００２５】
カメラ高さＨは、タイヤが接地する車両直下の路面（以下、車両直下平面という）４３から見たカメラ１１の中心の高さをいうものとする。
【００２６】
本実施形態では、カメラ１１の中心から下ろした鉛直線と車両直下平面４３との交点が定点Ｐ０（α、β、γ）であるとともに、このＰ０から原点までの距離であるカメラ高さＨが定数であるものとする。また、本実施形態では、カメラ１１により撮像される路面４２は定点Ｐ０を通るものとする。
【００２７】
スウィング角補正部２１は、スウィング角算出部３３から受けた角度ずれψを補正するよう、カメラ１１により撮像された画像をｚ軸を中心として回転補正する。この結果、カメラ１１で撮像された画像はカメラ１１のｚ軸回りの取り付け角誤差を補正され、たとえば地平線が水平な位置に表示されるようになる。このスウィング角補正部２１による回転補正は、たとえばカメラ１１の取り付け時の初期設定において使用されてもよい。
【００２８】
動きベクトル算出部２２は、ブロックマッチング法や勾配法などを用いて、カメラ１１により撮像された複数の画像から画素ごとに動きベクトル（ｕ、ｖ）を算出する。
【００２９】
回転成分算出部２３は、動きベクトル（ｕ、ｖ）および消失点情報ＦＯＥ（ｘ０、ｙ０）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。以下、より具体的に説明する。
【００３０】
カメラ投影面４１上の動きベクトル（ｕ、ｖ）は、次のように書けることが知られている。
u = xy(1/f)Rx−(x2+f2)(1/f)Ry+yRz−f(Tx/z)+x(Tz/z) （１）
v = (y2+f2)(1/f) Rx−xy(1/f)Ry−xRz−f(Ty/z)+y(Tz/z) （２）
【００３１】
ここで、ｘ、ｙは投影面４１上のｘｙ座標値、ｚは対象物のｚ座標値をあらわす。また、Ｒｘ、Ｒｙ、Ｒｚ、Ｔｘ、Ｔｙ、Ｔｚは運動パラメータであり、Ｒｘ、Ｒｙ、Ｒｚは車両の回転成分をあらわし、Ｔｘ、Ｔｙ、Ｔｚは自車と対象物との相対並進成分をあらわす。
【００３２】
車両の回転成分Ｒｘはｘ軸中心の回転成分であり、自車のピッチング成分をあらわす。また、Ｒｙはｙ軸中心の回転成分であり、自車のヨーイング成分をあらわす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒｚはｚ軸中心の回転成分であり自車のローリング成分をあらわす。
【００３３】
対象物が静止物である場合には、回転成分で補正した対象物の動きベクトルの延長線がＦＯＥ（ｘ０、ｙ０）に収束することが知られている（崎本隆志ら、火の国情報シンポジウム２００３講演論文集、「拡張焦点を用いた移動車両検出及び追跡に関する研究」（２００３））。このため、次の式（３）が導かれる。
[u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz]/[ v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz]
= [x-x0]/[y-y0] （３）
【００３４】
したがって、Ｒｘ、Ｒｙ、Ｒｚを３つの未知数と考えれば、静止物に対応する少なくとも３つの画素の動きベクトルを得ることができればＲｘ、Ｒｙ、Ｒｚを算出できる。
【００３５】
そこで、回転成分算出部２３は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。すなわち、回転成分算出部２３は、カメラ１１が取得した画像から回転成分を算出することができる。
【００３６】
なお、回転成分は、車速データや舵角データなどの車両情報やジャイロセンサなどから求めることもできる。
【００３７】
移動体検出部２４は、消失点ＦＯＥに収束しない対象物については自車と異なる移動をしている移動体と判定するとともに、消失点ＦＯＥに収束する対象物については静止物と判定する。移動体検出部２４は、静止物と判定した対象物の情報を回転成分算出部２３および自車並進成分算出部２６に与える。このため、回転成分算出部２３は、静止物と判定された対象物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出することができる。
【００３８】
スケールファクタ付き並進成分算出部２５は、画像に含まれる対象物に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物のスケールファクタ付きの相対並進成分（以下、スケールファクタ付き並進成分という）Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００３９】
スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚは、対象物の相対並進成分Ｔｘ、Ｔｙ、Ｔｚを対象物のｚ座標値で除したものである。このため、相対並進成分Ｔｘ、Ｔｙ、Ｔｚが同一であれば、遠くにある（ｚ座標値が大きい）ものほどスケールファクタ付き並進成分が小さくなる。対象物の点Ｐが静止しているか移動しているかによらず、点Ｐはスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚで運動していると画像上において観測される。以下、より具体的に説明する。
【００４０】
式（１）および式（２）は、それぞれ次のように変形できる。
u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz = −f(Tx/z)+x(Tz/z) （４）
v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz = −f(Ty/z)+y(Tz/z) （５）
【００４１】
式（４）および式（５）において、左辺は動きベクトル（ｕ、ｖ）を回転成分で補正したものである。
【００４２】
式（４）および式（５）から、画像に含まれる対象物に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出することができる。
【００４３】
また、自車回転成分で補正した静止物（自車と平行移動する移動体を含む）の動きベクトルの傾きは、画素（ｘ、ｙ）からＦＯＥへ向かうベクトルの傾きに等しくなる。この関係から、次式（６）−（９）が導かれる。
(x−x0)/(y−y0) = { −f(Tx/z)+x(Tz/z)}/{ −f(Ty/z)+y(Tz/z)}
= (x−fTx/Tz)/(y−fTy/Tz) （６）
x0/f=Tx/Tz （７）
yo/f=Ty/Tz （８）
【００４４】
式（７）および式（８）を用いてＴｘおよびＴｙをＴｚに置換することにより、式（４）および式（５）はそれぞれ次のように変形できる。
{u−xy(1/f)Rx +(x2+f2)(1/f)Ry −yRz｝=(−x0+x)(Tz/z) （９）
{v−(y2+f2)(1/f) Rx＋xy(1/f)Ry＋xRz} =(−y0+y)(Tz/z) （１０）
【００４５】
したがって、スケールファクタ付き並進成分算出部２５は、式（９）および式（１０）にもとづいてスケールファクタ付き並進成分Ｔｚ／ｚを算出することができる。
【００４６】
自車並進成分算出部２６は、記憶部１３に記憶された路面データから画像上の座標値（ｘ、ｙ）に表示された対象物ｎ（ただし、ｎは対象物を識別するための添え字であるものとする）が所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２ｎを取得し、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎに対してｚ２ｎを乗じることにより自車並進成分Tzを算出する。
【００４７】
対象物ｎが静止物である場合、（Ｔｚ／ｚ）ｎ・ｚ２ｎを算出すれば、見かけ上の自車並進成分になる。ｍ個の自車並進成分の平均をＴｚａｖｅとするとＴｚａｖｅは次の式から求めることができる。
Tzave=(1/m)Σ（Tz/z）n・z2n (n=1,2,・・・m-1,m) （１１）
【００４８】
路面検出部２７は、自車並進成分の平均Ｔｚａｖｅと、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎとから次式を用いて対象物ｎの光軸方向座標値ｚ１ｎを算出する。
z1n= (z/Tz)n・Tzave （１２）
【００４９】
また、路面検出部２７は、式（１２）を用いて求めた対象物ｎの光軸方向座標値ｚ１ｎと、記憶部１３に記憶された路面データにおいて対象物ｎの画像上の座標値（ｘｎ、ｙｎ）に関連付けられた光軸方向座標値ｚ２ｎ＝ｚ（ｘｎ、ｙｎ）と、を比較し、両者の差の絶対値が所定の路面閾値ｚｔｈ以下であると、対象物ｎを路面と判定し、この対象物ｎの情報を路面上点座標算出部２８に与える。
【００５０】
路面上点座標算出部２８は、路面検出部２７により路面と判定された対象物ｎの画像上の座標値（ｘｎ、ｙｎ）と光軸方向座標値ｚ１ｎとを用いて、対象物ｎのカメラ座標系における三次元座標値を求める。
【００５１】
対象物ｎに対応する点Ｐｎの三次元座標値Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）は、ｘｎ、ｙｎ、ｚ１ｎと次の関係を満たす。
Ｘｎ＝（ｚ１ｎ／ｆ）・ｘｎ （１３）
Ｙｎ＝（ｚ１ｎ／ｆ）・ｙｎ （１４）
Ｚ＝ｚ１ｎ （１５）
【００５２】
路面上点座標算出部２８は、この式（１３）−（１５）を用いて点Ｐｎのカメラ座標系における三次元座標値を求める。
【００５３】
ここで、ｚ１ｎはスケールファクタ付き並進成分Ｔｚ／ｚと画像から推定した自車並進成分の平均Ｔｚａｖｅから求められており、Ｔｚａｖｅはスケールファクタ付き並進成分Ｔｚ／ｚと過去の路面データｚ２＝ｚ（ｘ、ｙ）から求められているため、何らかの誤差を持っている。しかしながら、この誤差は式（１３）−（１５）から明らかなようにＸｎ、Ｙｎ、Ｚｎに対して同じだけ影響を及ぼす。したがって、複数の点Ｐが乗る面として導出される平面の傾きには影響しない。
【００５４】
固有値・固有ベクトル算出部２９は、Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）から次の共分散行列Ｓを作成する。
S=(1/N)Σ（Xn,Yn,Zn）T(Xn,Yn,Zn) （１６）
ただし、Ｎは対象物の総数を表し、Σは複数画素Ｎ個についての総和を表す。
【００５５】
また、固有値・固有ベクトル算出部２９は、共分散行列Ｓの固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３を求める。ただし、固有値の大きい順にλ１、λ２、λ３とし、各固有値に対応する固有ベクトルをそれぞれη１、η２、η３とする。
【００５６】
複数の点の分布を平面近似した場合、η１、η２の張る平面は最小２乗最適解を与えることが知られている。また、共分散行列Ｓの固有値λ１、λ２が大きいほど、η１、η２の張る平面方向に多数の点が分散していると考えられる。また、λ３が小さいほど、η１、η２の張る平面に直交する方向には点の分散が小さいと考えられる。
【００５７】
そこで、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１以上であり、かつ固有値λ３が第２の固有値閾値λｔｈ２以下である場合に、現在画像内に存在している路面４２をη１、η２の張る平面で近似できると判定し、固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３の情報を近似平面作成部３１に与える。一方、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１より小さいか、固有値λ３が第２の固有値閾値λｔｈ２より大きい場合には、得られたデータが路面４２を近似する平面を求めるには不十分と判定して廃棄する。
【００５８】
定点設定部３０は、カメラ高さＨおよび消失点ＦＯＥの情報を用いて定点Ｐ０を次のように設定する。なお、本実施形態において、カメラ高さＨおよび消失点ＦＯＥはあらかじめ記憶部１３に記憶された既知の定数である。
α=0 （１７）
β=−Hf/√（f2＋y02） （１８）
γ＝Hy0/√（f2＋y02） （１９）
【００５９】
近似平面作成部３１は、共分散行列Ｓの固有ベクトルを用いて路面検出部２７により路面と判定された対象物ｎのなす近似平面を表す式を立てる。
【００６０】
具体的には、近似平面を表す式は、次の２つの方法で立てることができる。なお、以下の説明では、η１＝（η１１、η１２、η１３）、η２＝（η２１、η２２、η２３）、η１＝（η３１、η３２、η３３）であるものとする。
【００６１】
第１の方法は、固有ベクトルη３を用いて近似平面を表す式を作成する方法である。固有ベクトルη３は、近似平面の法線ベクトルである（近似平面は固有ベクトルη３に直交する）。この場合、近似平面が定点Ｐ０（α、β、γ）を通るとすれば、近似平面を表す式は次のように書ける。
η31（X−α）+η32（Y−β）+η33（Z−γ）=0 （２０）
【００６２】
式（１７）−（１９）を式（２０）に代入することにより、次の式が得られる。
η31（xz−αf）+η32（yz−βf）+η33（fz−γf）=0 （２１）
【００６３】
ここで、（ｘ、ｙ）は近似平面上の点Ｐ（Ｘ、Ｙ、Ｚ）の画像上の座標値であり、ｚは近似平面上の点Ｐ（Ｘ、Ｙ、Ｚ）の光軸方向座標値である。このため、式（２１）を次のように変形することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が近似平面上にある場合における光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）とを関連付けることができる。
z =f(η31α+η32β+η33γ）/(η31x+η32y+η33f）
= Hf(−η32f+η33y0）/{(η31x+η32y+η33f）√（f2＋yo2）} （２２）
【００６４】
第２の方法は、固有ベクトルη１×η２を用いて近似平面を表す式を作成する方法である。この場合、近似平面が定点Ｐ０（α、β、γ）を通るとすれば、近似平面を表す式は次のように書ける。
(η13η22−η23η12)（X−α）+(η11η23−η13η21)（Y−β）
+ (η21,η12−η11,η22) （Z−γ）=0 （２３）
【００６５】
したがって、第１の方法と同様に、式（２３）を次のように変形することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が近似平面上にある場合における光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）とを関連付けることができる。
z=f{(η13η22−η23η12)α+(η11η23−η13η21)β+η33γ}
/{(η13η22−η23η12)x+(η11η23−η13η21)y+ (η21η12−η11η22)f} （２４）
【００６６】
式（２２）や式（２４）により関連付けられた光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）のデータ（以下、近似平面データという）は、記憶部１３に記憶された路面データにくらべ現在カメラ１１が撮像する画像に含まれる路面により近いデータであるといえる。
【００６７】
なお、このとき、原点から近似平面上の点Ｐまでの距離ｒは次式で与えられる
r2=X2+Y2+Z2=(x2+y2+f2)(z2/f2) （２５）
【００６８】
したがって、画像上の座標値（ｘ、ｙ）が得られれば、この座標値（ｘ、ｙ）に表示された対象物が近似平面上にあるものと仮定した場合における三次元座標値を式（２２）や式（２４）から求めることができるとともに、距離ｒを式（２５）から一義的に求めることができる。
【００６９】
路面データ更新部３２は、近似平面作成部３１から近似平面データを受け、記憶部１３の路面データを近似平面データで更新する。
【００７０】
スウィング角算出部３３は、近似平面の法線ベクトルη３を基準として画像上（投影面４１上の）ｘｙ軸との角度ずれψを求める。具体的には、スウィング角算出部３３は、投影面４１に投影した法線ベクトルη３の方向とｘ軸（またはｙ軸）との角度を算出し、この角度の０度（または９０度）からのずれψを求める。また、スウィング角算出部３３は、角度ずれψが角度閾値ψｔｈ以下であるとこの角度ずれψの情報をスウィング角補正部２１に与える。
【００７１】
この角度ずれψは、本実施形態における立体物と路面との判定には直接影響しない。しかし、撮像画像の地平線が水平になるようにカメラ１１を車両に取り付けるのは手間がかかるため、カメラ１１の画像は取り付け時のｚ軸回りの回転誤差を含んでしまう場合がある。スウィング角算出部３３によれば、容易に角度ずれψの情報を取得することができ、スウィング角補正部２１によって撮像画像の回転誤差をソフトウエア的に容易に補正することができる。
【００７２】
次に、本実施形態に係る車両用画像処理装置１０の動作の一例について説明する。
【００７３】
図３は、第１実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００７４】
まず、ステップＳＴ１において、スウィング角補正部２１は、カメラ１１から撮像画像の画像データを取得する。
【００７５】
次に、ステップＳＴ２において、スウィング角補正部２１は、スウィング角算出部３３から受けた角度ずれψを補正するよう、カメラ１１により撮像された画像をｚ軸を中心として回転補正する。
【００７６】
次に、ステップＳＴ３において、動きベクトル算出部２２は、取得した画像データにもとづき、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに求める。
【００７７】
次に、ステップＳＴ４において、回転成分算出部２３は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７８】
次に、ステップＳＴ５において、移動体検出部２４は、消失点ＦＯＥに収束しない対象物については自車と異なる移動をしている移動体と判定するとともに、消失点ＦＯＥに収束する対象物については静止物と判定する。なお、ステップＳＴ４およびＳＴ５は所定回数繰り返し行われてもよい。この場合、移動体検出部２４により抽出された静止物の情報にもとづいて、回転成分算出部２３は、ステップＳＴ４において回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７９】
次に、ステップＳＴ６において、スケールファクタ付き並進成分算出部２５は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、対象物の動きベクトル（ｕ、ｖ）と、にもとづいて式（４）および式（５）から対象物のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。また、スケールファクタ付き並進成分算出部２５は、式（９）および式（１０）にもとづいてスケールファクタ付き並進成分Ｔｚ／ｚを算出する。
【００８０】
次に、ステップＳＴ７において、自車並進成分算出部２６は、記憶部１３に記憶された路面データから画像上の座標値（ｘ、ｙ）に表示された対象物ｎが所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２ｎを取得する。
【００８１】
次に、ステップＳＴ８において、自車並進成分算出部２６は、複数個の対象物についてスケールファクタ付き並進成分（Ｔｚ／ｚ）に対してｚ２を乗じることにより、複数の自車並進成分Tzを算出して、これらの平均Ｔｚａｖｅを算出する。
【００８２】
次に、ステップＳＴ９において、路面検出部２７は、自車並進成分の平均Ｔｚａｖｅと、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎとから、式（１２）を用いて対象物ｎの光軸方向座標値ｚ１ｎを算出する。
【００８３】
次に、ステップＳＴ１０において、路面検出部２７は、対象物ｎの光軸方向座標値ｚ１ｎと、記憶部１３に記憶された路面データにおいて対象物ｎの画像上の座標値（ｘｎ、ｙｎ）に関連付けられた光軸方向座標値ｚ２ｎ＝ｚ（ｘｎ、ｙｎ）との差の絶対値｜ｚ１ｎ−ｚ２ｎ｜が所定の路面閾値ｚｔｈ以下であるか否かを判定する。｜ｚ１ｎ−ｚ２ｎ｜がｚｔｈ以下である場合は、対象物ｎが路面であると判定し、この対象物ｎの情報を路面上点座標算出部２８に与えてステップＳ１１に進む。一方、｜ｚ１ｎ−ｚ２ｎ｜がｚｔｈより大きい場合は、対象物ｎは路面ではなく立体物であると判定し、他の対象物についてこのステップＳＴ１０を繰り返す。
【００８４】
次に、ステップＳＴ１１において、路面上点座標算出部２８は、路面検出部２７により路面と判定された対象物ｎの画像上の座標値（ｘｎ、ｙｎ）と光軸方向座標値ｚ１ｎとを用いて、式（１３）−（１５）にもとづき対象物ｎのカメラ座標系における三次元座標値Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）を求める。
【００８５】
次に、ステップＳＴ１２において、固有値・固有ベクトル算出部２９は、Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）から共分散行列Ｓを作成する（式（１６）参照）。
【００８６】
次に、ステップＳＴ１３において、固有値・固有ベクトル算出部２９は、共分散行列Ｓの固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３を求める。ただし、固有値の大きい順にλ１、λ２、λ３とし、各固有値に対応する固有ベクトルをそれぞれη１、η２、η３とする。
【００８７】
次に、ステップＳ１４において、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１以上であり、かつ固有値λ３が第２の固有値閾値λｔｈ２以下であると、現在画像内に存在している路面４２をη１、η２の張る平面で近似できると判定し、固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３の情報を近似平面作成部３１に与えてステップＳＴ１５に進む。一方、固有値λ１、λ２が第１の固有値閾値λｔｈ１より小さいか、固有値λ３が第２の固有値閾値λｔｈ２より大きいと、固有値・固有ベクトル算出部２９は、得られたデータが路面４２を近似する平面を求めるには不十分と判定して廃棄し、一連の手順は終了となる。
【００８８】
次に、ステップＳＴ１５において、定点設定部３０は、カメラ高さＨおよび消失点ＦＯＥの情報を用いて定点Ｐ０（α、β、γ）を式（１７）−（１９）を用いて設定する。なお、本実施形態において、カメラ高さＨおよび消失点ＦＯＥはあらかじめ記憶部１３に記憶された既知の定数である。
【００８９】
次に、ステップＳＴ１６において、近似平面作成部３１は、共分散行列Ｓの固有ベクトルを用いて路面検出部２７により路面と判定された対象物ｎのなす近似平面を表す式（２１）または式（２３）を立て、式（２２）または式（２４）を導く。
【００９０】
次に、ステップＳＴ１７において、路面データ更新部３２は、近似平面作成部３１から式（２２）または式（２４）で定義される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【００９１】
次に、ステップＳＴ１８において、スウィング角算出部３３は、近似平面の法線ベクトルη３を基準として画像上（投影面４１上の）ｘｙ軸との角度ずれψを求め、角度ずれψが角度閾値ψｔｈ以下であるとこの角度ずれψの情報をスウィング角補正部２１に与える。
【００９２】
以上の手順により、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。
【００９３】
本実施形態に係る車両用画像処理装置１０は、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【００９４】
したがって、本実施形態に係る車両用画像処理装置１０によれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から路面との距離を求めることができるとともに、移動体を特定することができる。
【００９５】
また、本実施形態に係る車両用画像処理装置１０は、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【００９６】
また、本実施形態に係る車両用画像処理装置１０は、カメラ１１により撮像された画像データのみを用いて記憶部１３の路面データを更新することができる。
（第２の実施形態）
【００９７】
次に、本発明に係る車両用画像処理装置および車両用画像処理方法の第２実施形態について説明する。
【００９８】
図４は、本発明の第２実施形態に係る車両用画像処理装置１０Ａの一例を示す全体構成図である。
【００９９】
この第２実施形態に示す車両用画像処理装置１０Ａは、車速パルスや加速度センサの出力を取得することで自車の速度を検出する自車速度検出部５１とカメラ高さＨを校正するためのカメラ高さ校正部５２を備え、記憶部１３にカメラ高さＨがあらかじめ記憶されなくてもよい点で第１実施形態に示す車両用画像処理装置１０と異なる。他の構成および作用については図１に示す車両用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１００】
自車速度検出部５１は、車速パルスや加速度センサの出力を取得することにより、自車の速度を検出し、自車並進成分Ｔｚを取得する。この自車並進速度Ｔｚは、画像とは独立して得られる情報である。自車並進成分Ｔｚは、第１実施形態における自車並進成分の平均Ｔｚａｖｅにかえて路面検出部２７に用いられる。なお、自車速度検出部５１は、自車速度の所定期間の平均から自車並進成分Ｔｚを算出してもよい。
【０１０１】
カメラ高さ校正部５２は、スケールファクタつき相対並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚと自車速度検出部５１により検出された自車並進成分Ｔｚとを用いて路面検出部２７により算出されたカメラ座標系における対象物ｎの光軸方向座標値ｚ１ｎを取得する。また、カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式を近似平面作成部３１から取得する。ここで、本実施形態において、定点Ｐ０（α、β、γ）の式（１７）−（１９）におけるカメラ高さＨは未知数として扱われる。
【０１０２】
そして、カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式に対して、複数の対象物の光軸方向座標値ｚ１を代入することにより、複数のＨの値を求め、この求めた複数のＨの値の平均をカメラが取り付けられた高さＨとし、記憶部１３に記憶させる。
【０１０３】
次に、本実施形態に係る車両用画像処理装置１０Ａの動作の一例について説明する。
【０１０４】
図５は、第２実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図５において、Ｓに数字を付した符号はフローチャートの各ステップを示す。図３と同等のステップには同一符号を付し、重複する説明を省略する。
【０１０５】
ステップＳ２１において、自車速度検出部５１は、車速パルスや加速度センサの出力を取得することにより、自車の速度を検出し、自車並進成分Ｔｚを取得する。
【０１０６】
ステップＳ２２において、カメラ高さ校正部５２は、路面検出部２７から対象物ｎの光軸方向座標値ｚ１ｎを、近似平面作成部３１から式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式を、それぞれ取得する。カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式に対して、複数の対象物の光軸方向座標値ｚ１を代入することにより、複数のＨの値を求める。そして、カメラ高さ校正部５２は、求めた複数のＨの値の平均をカメラが取り付けられた高さＨとし、記憶部１３に記憶させる。
【０１０７】
本実施形態に係る車両用画像処理装置１０Ａもまた、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１０８】
したがって、本実施形態に係る車両用画像処理装置１０Ａによれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から路面との距離を求めることができるとともに、移動体を特定することができる。
【０１０９】
また、本実施形態に係る車両用画像処理装置１０Ａは、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【０１１０】
また、本実施形態に係る車両用画像処理装置１０Ａは、自車速度検出部５１を備え、自車並進速度Ｔｚとして正確な値を用いることができる。このため、この正確な自車並進速度Ｔｚを用いてカメラ１１の取り付け高さＨを校正することができる。
（第３の実施形態）
【０１１１】
次に、本発明に係る車両用画像処理装置および車両用画像処理方法の第３実施形態について説明する。
【０１１２】
図６は、本発明の第３実施形態に係る車両用画像処理装置１０Ｂの一例を示す全体構成図である。
【０１１３】
この第２実施形態に示す車両用画像処理装置１０Ｂは、車速パルスや加速度センサの出力を取得することで自車の速度を検出する自車速度検出部５１と、路面検出部２７により路面上の点と判定された点について別の条件を用いて路面上の点であるか否かを判定する路面上点信頼性評価部６１を備え、記憶部１３に信頼性閾値Ｒｔｈがさらにあらかじめ記憶されており、近似平面が定点Ｐ０を通る必要がない点で第１実施形態に示す車両用画像処理装置１０と異なる。他の構成および作用については図１に示す車両用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。また、自車速度検出部５１は第２実施形態に示す車両用画像処理装置１０Ａと実質的に異ならないため、同一符号を付して説明を省略する。
【０１１４】
路面上点信頼性評価部６１は、路面検出部２７により路面と判定された複数の対象物間のベクトルと固有ベクトルη３との内積が所定の信頼性閾値Ｒｔｈ以下である対象物を抽出し、抽出した対象物の情報を近似平面作成部３１に与える。
【０１１５】
ここで、複数の対象物間のベクトルと固有ベクトルη３との内積を算出することは、ＫＬ変換のη３の係数算出と同様の意味を持つ。すなわち、この内積は、複数の対象物間のベクトルのη３成分の大きさを表しており、η１、η２の張る平面との差異を示しているといえる。したがって、この内積が大きな値をとるものは平面との差異が大きいと判断できる。理想的に平面上に位置すればこの内積はゼロになる。
【０１１６】
近似平面作成部３１は、固有値・固有ベクトル算出部２９から法線ベクトルη３（またはη１×η２）を受けて、未知定数ｄを用いてη３に直交する次の近似平面式を定義する。
η31X+η32Y+η33Z=d （２６）
【０１１７】
また、近似平面作成部３１は、路面上点信頼性評価部６１から受けた対象物の三次元座標値Ｐｎ(Ｘｎ、Ｙｎ、Ｚｎ)を式（２６）に代入することにより、未知定数ｄの値を求める。このとき、可能な限り多数の対象物を用いてｄの平均値ｄａｖｅを算出するとよい。このｄａｖｅを用いることにより、式（２６）は次のように書ける。
η31X+η32Y+η33Z=dave （２７）
【０１１８】
そして、近似平面作成部３１は、式（１３）−（１５）を用いて式（２７）を整理し、z=z2として、近似平面データをあらわす次の式（２８）を得る。
z2=fdave/(η31x+η32y+η33f) （２８）
【０１１９】
路面データ更新部３２は、近似平面作成部３１から式（２８）で表される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【０１２０】
次に、本実施形態に係る車両用画像処理装置１０Ｂの動作の一例について説明する。
【０１２１】
図７は、第３実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図７において、Ｓに数字を付した符号はフローチャートの各ステップを示す。図３および図５と同等のステップには同一符号を付し、重複する説明を省略する。
【０１２２】
ステップＳＴ３１において、近似平面作成部３１は、未知定数ｄを用いてη３に直交する近似平面を表す式（２６）を立てる。
【０１２３】
次に、ステップＳＴ３２において、路面上点信頼性評価部６１は、路面検出部２７により路面と判定された複数の対象物間のベクトルと固有ベクトルη３との内積が所定の信頼性閾値Ｒｔｈ以下である対象物を抽出し、抽出した対象物の情報を近似平面作成部３１に与える。
【０１２４】
次に、ステップＳＴ３３において、近似平面作成部３１は、路面上点信頼性評価部６１から受けた対象物の三次元座標値Ｐｎ(Ｘｎ、Ｙｎ、Ｚｎ)を式（２６）に代入することにより、未知定数ｄの値を求める。そして、近似平面作成部３１は、式（１３）−（１５）を用いて式（２７）を整理し、近似平面データをあらわす式（２８）を立てる。
【０１２５】
次に、ステップＳＴ３４において、路面データ更新部３２は、近似平面作成部３１から式（２８）で表される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【０１２６】
本実施形態に係る車両用画像処理装置１０Ｂもまた、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１２７】
したがって、本実施形態に係る車両用画像処理装置１０Ｂによれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１２８】
また、本実施形態に係る車両用画像処理装置１０Ｂは、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【０１２９】
また、本実施形態に係る車両用画像処理装置１０Ｂは、路面上点信頼性評価部６１を備え、路面検出部２７により路面と判定された対象物をさらに選定する。このため、より実際の路面に近い近似平面を表す式を立てることができる。
【０１３０】
また、近似平面作成部３１により立てられる近似平面を表す式には、定点Ｐ０の情報が含まれていない。このため、カメラ１１からみた斜面の開始位置によらず、カメラ１１に撮像される路面が定点Ｐ０を通らない平面である場合にも、正確に路面を近似した平面を表す式を立てることができる。また、記憶部１３に記憶された路面データをこの路面に対応する路面データ（近似平面データ）で更新することができる。したがって、第１実施形態および第２実施形態に係る車両用画像装置１０および１０Ａに比べ、より正確に路面との距離を求めることができるとともに、より正確に移動体、立体物、路面の特定を行うことができる。
【０１３１】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１３２】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１３３】
１０ 車両用画像処理装置
１１ カメラ
１２ 画像処理ＥＣＵ
１３ 記憶部
２１ スウィング角補正部
２２ 動きベクトル算出部
２３ 回転成分算出部
２４ 移動体検出部
２５ スケールファクタ付き並進成分算出部
２６ 自車並進成分算出部
２７ 路面検出部
２８ 路面上点座標算出部
２９ 固有値・固有ベクトル算出部
３０ 定点設定部
３１ 近似平面作成部
３２ 路面データ更新部
３３ スウィング角算出部
４１ カメラ投影面
４２ 路面
４３ 車両直下平面
５１ 自車速度検出部
５２ カメラ高さ校正部
６１ 路面上点信頼性評価部
【技術分野】
【０００１】
本発明の実施形態は、車両用画像処理装置および車両用画像処理方法に関する。
【背景技術】
【０００２】
最近、自動車などの車両の運転を支援するための技術として、車両と対象物との衝突可能性を判定する技術の開発が望まれている。この種の技術には、たとえば、車両に搭載されたカメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する技術などがある。車両に搭載されたカメラにより撮像された画像を用いる場合、レーダを用いる場合に比べてデジタル化された画像データを利用することができることから、対象物の接近角度などの複雑な判断が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５６７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する従来の技術は、カメラにより撮像される路面が車両底面と平行であること（路面平面モデル）が前提となっており、カメラにより撮像される路面と車両底面とが平行でない場合を考慮していない。このため、カメラにより撮像される路面と車両底面とが平行でない場合には、画像から対象物との距離を求めることや移動体を特定することが難しい。
【０００５】
カメラにより撮像される路面と車両底面とが平行でない状況としては、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある状況や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある状況などが挙げられる。これらの状況は、実際の車両の運転において遭遇する可能性が高いものと考えられる。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る車両用画像処理装置は、上述した課題を解決するために、カメラと、スケールファクタ付き並進成分算出部と、記憶部と、路面検出部と、近似平面作成部と、路面データ更新部と、を備える。カメラは、車両に設けられ車両の周辺を撮像する。スケールファクタ付き並進成分算出部は、カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出する。記憶部は、所定の設定路面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶する。路面検出部は、スケールファクタつき相対並進成分と自車の並進成分とを用いてカメラ座標系における対象物の光軸方向座標値を算出するとともに、路面データにおいて対象物の画像上の座標値と関連付けられた光軸方向座標値を記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると対象物を路面と判定する。近似平面作成部は、路面と判定された複数の対象物のカメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点についてカメラ座標系における画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求める。路面データ更新部は、所定の設定路面を近似平面とするよう、記憶部の路面データを近似平面データで更新する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図２】カメラ座標系におけるカメラ投影面と路面との関係を示す説明図。
【図３】第１実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【図４】本発明の第２実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図５】第２実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【図６】本発明の第３実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図７】第３実施形態に係る画像処理ＥＣＵのＣＰＵが、カメラにより取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャート。
【発明を実施するための形態】
【０００８】
本発明に係る車両用画像処理装置および車両用画像処理方法の実施の形態について、添付図面を参照して説明する。
（第１の実施形態）
【０００９】
図１は、本発明の第１実施形態に係る車両用画像処理装置１０の一例を示す全体構成図である。
【００１０】
車両用画像処理装置１０は、カメラ１１、画像処理ＥＣＵ（Electronic Control Unit）１２および記憶部１３を有する。
【００１１】
カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して画像処理ＥＣＵ１２に与える。
【００１２】
たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１３】
画像処理ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。画像処理ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された画像処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像にもとづいて、カメラ１１により取得された画像からリアルタイムに路面の位置を求める。
【００１４】
画像処理ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。画像処理ＥＣＵ１２のＲＯＭなどの記憶媒体は、画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１５】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。
【００１６】
なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って画像処理ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１７】
記憶部１３は、画像処理ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、消失点（ＦＯＥ：Focus of Expansion）の情報ＦＯＥ（ｘ０、ｙ０）および路面データｚ２＝ｚ（ｘ、ｙ）、路面閾値ｚｔｈ、第１の固有値閾値λｔｈ１、第２の固有値閾値λｔｈ２、カメラ高さＨおよび角度閾値ψｔｈを記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。
【００１８】
路面データｚ２＝ｚ（ｘ、ｙ）は、所定の設定路面上の点について、画像上の座標値と光軸方向座標値とを関連付けたデータをいうものとする。すなわち、画像処理ＥＣＵ１２は、記憶部１３に記憶された路面データを参照することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２を取得することができる。
【００１９】
図１に示すように、画像処理ＥＣＵ１２のＣＰＵは、画像処理プログラムによって、少なくともスウィング角補正部２１、動きベクトル算出部２２、回転成分算出部２３、移動体検出部２４、スケールファクタ付き並進成分算出部２５、自車並進成分算出部２６、路面検出部２７、路面上点座標算出部２８、固有値・固有ベクトル算出部２９、定点設定部３０、近似平面作成部３１、路面データ更新部３２およびスウィング角算出部３３として機能する。この各部２１〜３３は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
ここで、カメラ座標系について簡単に説明する。
【００２０】
図２は、カメラ座標系におけるカメラ投影面４１と路面４２との関係を示す説明図である。
【００２１】
本実施形態に係る車両用画像処理装置１０は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。
【００２２】
カメラ座標系（ｘ、ｙ、ｚ）は、カメラ１１の中心を原点とする左手座標系である。カメラ座標系のｚ軸は、カメラ１１の光軸に一致するよう設定される。
【００２３】
カメラ投影面４１は、カメラ座標系においてｚ＝ｆの面である。ｆはカメラ１１の焦点距離である。カメラ１１は、このカメラ投影面４１に投影される車両周囲を撮像する。
【００２４】
対象物のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘ、Ｙ、Ｚ）とし、点Ｐのカメラ投影面４１に投影された点ｐの座標をｐ（ｘ、ｙ、ｆ）とする。このとき点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。ここで、ｘ、ｙは投影面４１上のｘｙ座標値であり、ｚは対象物のｚ座標値であることに注意する。投影面４１上のｘｙ座標値は、カメラ１１の画素と対応するものであるため、画像から容易に取得することができる。
【００２５】
カメラ高さＨは、タイヤが接地する車両直下の路面（以下、車両直下平面という）４３から見たカメラ１１の中心の高さをいうものとする。
【００２６】
本実施形態では、カメラ１１の中心から下ろした鉛直線と車両直下平面４３との交点が定点Ｐ０（α、β、γ）であるとともに、このＰ０から原点までの距離であるカメラ高さＨが定数であるものとする。また、本実施形態では、カメラ１１により撮像される路面４２は定点Ｐ０を通るものとする。
【００２７】
スウィング角補正部２１は、スウィング角算出部３３から受けた角度ずれψを補正するよう、カメラ１１により撮像された画像をｚ軸を中心として回転補正する。この結果、カメラ１１で撮像された画像はカメラ１１のｚ軸回りの取り付け角誤差を補正され、たとえば地平線が水平な位置に表示されるようになる。このスウィング角補正部２１による回転補正は、たとえばカメラ１１の取り付け時の初期設定において使用されてもよい。
【００２８】
動きベクトル算出部２２は、ブロックマッチング法や勾配法などを用いて、カメラ１１により撮像された複数の画像から画素ごとに動きベクトル（ｕ、ｖ）を算出する。
【００２９】
回転成分算出部２３は、動きベクトル（ｕ、ｖ）および消失点情報ＦＯＥ（ｘ０、ｙ０）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。以下、より具体的に説明する。
【００３０】
カメラ投影面４１上の動きベクトル（ｕ、ｖ）は、次のように書けることが知られている。
u = xy(1/f)Rx−(x2+f2)(1/f)Ry+yRz−f(Tx/z)+x(Tz/z) （１）
v = (y2+f2)(1/f) Rx−xy(1/f)Ry−xRz−f(Ty/z)+y(Tz/z) （２）
【００３１】
ここで、ｘ、ｙは投影面４１上のｘｙ座標値、ｚは対象物のｚ座標値をあらわす。また、Ｒｘ、Ｒｙ、Ｒｚ、Ｔｘ、Ｔｙ、Ｔｚは運動パラメータであり、Ｒｘ、Ｒｙ、Ｒｚは車両の回転成分をあらわし、Ｔｘ、Ｔｙ、Ｔｚは自車と対象物との相対並進成分をあらわす。
【００３２】
車両の回転成分Ｒｘはｘ軸中心の回転成分であり、自車のピッチング成分をあらわす。また、Ｒｙはｙ軸中心の回転成分であり、自車のヨーイング成分をあらわす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒｚはｚ軸中心の回転成分であり自車のローリング成分をあらわす。
【００３３】
対象物が静止物である場合には、回転成分で補正した対象物の動きベクトルの延長線がＦＯＥ（ｘ０、ｙ０）に収束することが知られている（崎本隆志ら、火の国情報シンポジウム２００３講演論文集、「拡張焦点を用いた移動車両検出及び追跡に関する研究」（２００３））。このため、次の式（３）が導かれる。
[u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz]/[ v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz]
= [x-x0]/[y-y0] （３）
【００３４】
したがって、Ｒｘ、Ｒｙ、Ｒｚを３つの未知数と考えれば、静止物に対応する少なくとも３つの画素の動きベクトルを得ることができればＲｘ、Ｒｙ、Ｒｚを算出できる。
【００３５】
そこで、回転成分算出部２３は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。すなわち、回転成分算出部２３は、カメラ１１が取得した画像から回転成分を算出することができる。
【００３６】
なお、回転成分は、車速データや舵角データなどの車両情報やジャイロセンサなどから求めることもできる。
【００３７】
移動体検出部２４は、消失点ＦＯＥに収束しない対象物については自車と異なる移動をしている移動体と判定するとともに、消失点ＦＯＥに収束する対象物については静止物と判定する。移動体検出部２４は、静止物と判定した対象物の情報を回転成分算出部２３および自車並進成分算出部２６に与える。このため、回転成分算出部２３は、静止物と判定された対象物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出することができる。
【００３８】
スケールファクタ付き並進成分算出部２５は、画像に含まれる対象物に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物のスケールファクタ付きの相対並進成分（以下、スケールファクタ付き並進成分という）Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００３９】
スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚは、対象物の相対並進成分Ｔｘ、Ｔｙ、Ｔｚを対象物のｚ座標値で除したものである。このため、相対並進成分Ｔｘ、Ｔｙ、Ｔｚが同一であれば、遠くにある（ｚ座標値が大きい）ものほどスケールファクタ付き並進成分が小さくなる。対象物の点Ｐが静止しているか移動しているかによらず、点Ｐはスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚで運動していると画像上において観測される。以下、より具体的に説明する。
【００４０】
式（１）および式（２）は、それぞれ次のように変形できる。
u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz = −f(Tx/z)+x(Tz/z) （４）
v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz = −f(Ty/z)+y(Tz/z) （５）
【００４１】
式（４）および式（５）において、左辺は動きベクトル（ｕ、ｖ）を回転成分で補正したものである。
【００４２】
式（４）および式（５）から、画像に含まれる対象物に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出することができる。
【００４３】
また、自車回転成分で補正した静止物（自車と平行移動する移動体を含む）の動きベクトルの傾きは、画素（ｘ、ｙ）からＦＯＥへ向かうベクトルの傾きに等しくなる。この関係から、次式（６）−（９）が導かれる。
(x−x0)/(y−y0) = { −f(Tx/z)+x(Tz/z)}/{ −f(Ty/z)+y(Tz/z)}
= (x−fTx/Tz)/(y−fTy/Tz) （６）
x0/f=Tx/Tz （７）
yo/f=Ty/Tz （８）
【００４４】
式（７）および式（８）を用いてＴｘおよびＴｙをＴｚに置換することにより、式（４）および式（５）はそれぞれ次のように変形できる。
{u−xy(1/f)Rx +(x2+f2)(1/f)Ry −yRz｝=(−x0+x)(Tz/z) （９）
{v−(y2+f2)(1/f) Rx＋xy(1/f)Ry＋xRz} =(−y0+y)(Tz/z) （１０）
【００４５】
したがって、スケールファクタ付き並進成分算出部２５は、式（９）および式（１０）にもとづいてスケールファクタ付き並進成分Ｔｚ／ｚを算出することができる。
【００４６】
自車並進成分算出部２６は、記憶部１３に記憶された路面データから画像上の座標値（ｘ、ｙ）に表示された対象物ｎ（ただし、ｎは対象物を識別するための添え字であるものとする）が所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２ｎを取得し、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎに対してｚ２ｎを乗じることにより自車並進成分Tzを算出する。
【００４７】
対象物ｎが静止物である場合、（Ｔｚ／ｚ）ｎ・ｚ２ｎを算出すれば、見かけ上の自車並進成分になる。ｍ個の自車並進成分の平均をＴｚａｖｅとするとＴｚａｖｅは次の式から求めることができる。
Tzave=(1/m)Σ（Tz/z）n・z2n (n=1,2,・・・m-1,m) （１１）
【００４８】
路面検出部２７は、自車並進成分の平均Ｔｚａｖｅと、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎとから次式を用いて対象物ｎの光軸方向座標値ｚ１ｎを算出する。
z1n= (z/Tz)n・Tzave （１２）
【００４９】
また、路面検出部２７は、式（１２）を用いて求めた対象物ｎの光軸方向座標値ｚ１ｎと、記憶部１３に記憶された路面データにおいて対象物ｎの画像上の座標値（ｘｎ、ｙｎ）に関連付けられた光軸方向座標値ｚ２ｎ＝ｚ（ｘｎ、ｙｎ）と、を比較し、両者の差の絶対値が所定の路面閾値ｚｔｈ以下であると、対象物ｎを路面と判定し、この対象物ｎの情報を路面上点座標算出部２８に与える。
【００５０】
路面上点座標算出部２８は、路面検出部２７により路面と判定された対象物ｎの画像上の座標値（ｘｎ、ｙｎ）と光軸方向座標値ｚ１ｎとを用いて、対象物ｎのカメラ座標系における三次元座標値を求める。
【００５１】
対象物ｎに対応する点Ｐｎの三次元座標値Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）は、ｘｎ、ｙｎ、ｚ１ｎと次の関係を満たす。
Ｘｎ＝（ｚ１ｎ／ｆ）・ｘｎ （１３）
Ｙｎ＝（ｚ１ｎ／ｆ）・ｙｎ （１４）
Ｚ＝ｚ１ｎ （１５）
【００５２】
路面上点座標算出部２８は、この式（１３）−（１５）を用いて点Ｐｎのカメラ座標系における三次元座標値を求める。
【００５３】
ここで、ｚ１ｎはスケールファクタ付き並進成分Ｔｚ／ｚと画像から推定した自車並進成分の平均Ｔｚａｖｅから求められており、Ｔｚａｖｅはスケールファクタ付き並進成分Ｔｚ／ｚと過去の路面データｚ２＝ｚ（ｘ、ｙ）から求められているため、何らかの誤差を持っている。しかしながら、この誤差は式（１３）−（１５）から明らかなようにＸｎ、Ｙｎ、Ｚｎに対して同じだけ影響を及ぼす。したがって、複数の点Ｐが乗る面として導出される平面の傾きには影響しない。
【００５４】
固有値・固有ベクトル算出部２９は、Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）から次の共分散行列Ｓを作成する。
S=(1/N)Σ（Xn,Yn,Zn）T(Xn,Yn,Zn) （１６）
ただし、Ｎは対象物の総数を表し、Σは複数画素Ｎ個についての総和を表す。
【００５５】
また、固有値・固有ベクトル算出部２９は、共分散行列Ｓの固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３を求める。ただし、固有値の大きい順にλ１、λ２、λ３とし、各固有値に対応する固有ベクトルをそれぞれη１、η２、η３とする。
【００５６】
複数の点の分布を平面近似した場合、η１、η２の張る平面は最小２乗最適解を与えることが知られている。また、共分散行列Ｓの固有値λ１、λ２が大きいほど、η１、η２の張る平面方向に多数の点が分散していると考えられる。また、λ３が小さいほど、η１、η２の張る平面に直交する方向には点の分散が小さいと考えられる。
【００５７】
そこで、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１以上であり、かつ固有値λ３が第２の固有値閾値λｔｈ２以下である場合に、現在画像内に存在している路面４２をη１、η２の張る平面で近似できると判定し、固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３の情報を近似平面作成部３１に与える。一方、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１より小さいか、固有値λ３が第２の固有値閾値λｔｈ２より大きい場合には、得られたデータが路面４２を近似する平面を求めるには不十分と判定して廃棄する。
【００５８】
定点設定部３０は、カメラ高さＨおよび消失点ＦＯＥの情報を用いて定点Ｐ０を次のように設定する。なお、本実施形態において、カメラ高さＨおよび消失点ＦＯＥはあらかじめ記憶部１３に記憶された既知の定数である。
α=0 （１７）
β=−Hf/√（f2＋y02） （１８）
γ＝Hy0/√（f2＋y02） （１９）
【００５９】
近似平面作成部３１は、共分散行列Ｓの固有ベクトルを用いて路面検出部２７により路面と判定された対象物ｎのなす近似平面を表す式を立てる。
【００６０】
具体的には、近似平面を表す式は、次の２つの方法で立てることができる。なお、以下の説明では、η１＝（η１１、η１２、η１３）、η２＝（η２１、η２２、η２３）、η１＝（η３１、η３２、η３３）であるものとする。
【００６１】
第１の方法は、固有ベクトルη３を用いて近似平面を表す式を作成する方法である。固有ベクトルη３は、近似平面の法線ベクトルである（近似平面は固有ベクトルη３に直交する）。この場合、近似平面が定点Ｐ０（α、β、γ）を通るとすれば、近似平面を表す式は次のように書ける。
η31（X−α）+η32（Y−β）+η33（Z−γ）=0 （２０）
【００６２】
式（１７）−（１９）を式（２０）に代入することにより、次の式が得られる。
η31（xz−αf）+η32（yz−βf）+η33（fz−γf）=0 （２１）
【００６３】
ここで、（ｘ、ｙ）は近似平面上の点Ｐ（Ｘ、Ｙ、Ｚ）の画像上の座標値であり、ｚは近似平面上の点Ｐ（Ｘ、Ｙ、Ｚ）の光軸方向座標値である。このため、式（２１）を次のように変形することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が近似平面上にある場合における光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）とを関連付けることができる。
z =f(η31α+η32β+η33γ）/(η31x+η32y+η33f）
= Hf(−η32f+η33y0）/{(η31x+η32y+η33f）√（f2＋yo2）} （２２）
【００６４】
第２の方法は、固有ベクトルη１×η２を用いて近似平面を表す式を作成する方法である。この場合、近似平面が定点Ｐ０（α、β、γ）を通るとすれば、近似平面を表す式は次のように書ける。
(η13η22−η23η12)（X−α）+(η11η23−η13η21)（Y−β）
+ (η21,η12−η11,η22) （Z−γ）=0 （２３）
【００６５】
したがって、第１の方法と同様に、式（２３）を次のように変形することにより、画像上の座標値（ｘ、ｙ）に表示された対象物について、この対象物が近似平面上にある場合における光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）とを関連付けることができる。
z=f{(η13η22−η23η12)α+(η11η23−η13η21)β+η33γ}
/{(η13η22−η23η12)x+(η11η23−η13η21)y+ (η21η12−η11η22)f} （２４）
【００６６】
式（２２）や式（２４）により関連付けられた光軸方向座標値ｚと画像上の座標値（ｘ、ｙ）のデータ（以下、近似平面データという）は、記憶部１３に記憶された路面データにくらべ現在カメラ１１が撮像する画像に含まれる路面により近いデータであるといえる。
【００６７】
なお、このとき、原点から近似平面上の点Ｐまでの距離ｒは次式で与えられる
r2=X2+Y2+Z2=(x2+y2+f2)(z2/f2) （２５）
【００６８】
したがって、画像上の座標値（ｘ、ｙ）が得られれば、この座標値（ｘ、ｙ）に表示された対象物が近似平面上にあるものと仮定した場合における三次元座標値を式（２２）や式（２４）から求めることができるとともに、距離ｒを式（２５）から一義的に求めることができる。
【００６９】
路面データ更新部３２は、近似平面作成部３１から近似平面データを受け、記憶部１３の路面データを近似平面データで更新する。
【００７０】
スウィング角算出部３３は、近似平面の法線ベクトルη３を基準として画像上（投影面４１上の）ｘｙ軸との角度ずれψを求める。具体的には、スウィング角算出部３３は、投影面４１に投影した法線ベクトルη３の方向とｘ軸（またはｙ軸）との角度を算出し、この角度の０度（または９０度）からのずれψを求める。また、スウィング角算出部３３は、角度ずれψが角度閾値ψｔｈ以下であるとこの角度ずれψの情報をスウィング角補正部２１に与える。
【００７１】
この角度ずれψは、本実施形態における立体物と路面との判定には直接影響しない。しかし、撮像画像の地平線が水平になるようにカメラ１１を車両に取り付けるのは手間がかかるため、カメラ１１の画像は取り付け時のｚ軸回りの回転誤差を含んでしまう場合がある。スウィング角算出部３３によれば、容易に角度ずれψの情報を取得することができ、スウィング角補正部２１によって撮像画像の回転誤差をソフトウエア的に容易に補正することができる。
【００７２】
次に、本実施形態に係る車両用画像処理装置１０の動作の一例について説明する。
【００７３】
図３は、第１実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号はフローチャートの各ステップを示す。
【００７４】
まず、ステップＳＴ１において、スウィング角補正部２１は、カメラ１１から撮像画像の画像データを取得する。
【００７５】
次に、ステップＳＴ２において、スウィング角補正部２１は、スウィング角算出部３３から受けた角度ずれψを補正するよう、カメラ１１により撮像された画像をｚ軸を中心として回転補正する。
【００７６】
次に、ステップＳＴ３において、動きベクトル算出部２２は、取得した画像データにもとづき、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに求める。
【００７７】
次に、ステップＳＴ４において、回転成分算出部２３は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の動きベクトル（ｕ、ｖ）についての式（３）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７８】
次に、ステップＳＴ５において、移動体検出部２４は、消失点ＦＯＥに収束しない対象物については自車と異なる移動をしている移動体と判定するとともに、消失点ＦＯＥに収束する対象物については静止物と判定する。なお、ステップＳＴ４およびＳＴ５は所定回数繰り返し行われてもよい。この場合、移動体検出部２４により抽出された静止物の情報にもとづいて、回転成分算出部２３は、ステップＳＴ４において回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７９】
次に、ステップＳＴ６において、スケールファクタ付き並進成分算出部２５は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、対象物の動きベクトル（ｕ、ｖ）と、にもとづいて式（４）および式（５）から対象物のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。また、スケールファクタ付き並進成分算出部２５は、式（９）および式（１０）にもとづいてスケールファクタ付き並進成分Ｔｚ／ｚを算出する。
【００８０】
次に、ステップＳＴ７において、自車並進成分算出部２６は、記憶部１３に記憶された路面データから画像上の座標値（ｘ、ｙ）に表示された対象物ｎが所定の設定路面上にあるものと仮定した場合における光軸方向座標値ｚ２ｎを取得する。
【００８１】
次に、ステップＳＴ８において、自車並進成分算出部２６は、複数個の対象物についてスケールファクタ付き並進成分（Ｔｚ／ｚ）に対してｚ２を乗じることにより、複数の自車並進成分Tzを算出して、これらの平均Ｔｚａｖｅを算出する。
【００８２】
次に、ステップＳＴ９において、路面検出部２７は、自車並進成分の平均Ｔｚａｖｅと、対象物ｎのスケールファクタ付き並進成分（Ｔｚ／ｚ）ｎとから、式（１２）を用いて対象物ｎの光軸方向座標値ｚ１ｎを算出する。
【００８３】
次に、ステップＳＴ１０において、路面検出部２７は、対象物ｎの光軸方向座標値ｚ１ｎと、記憶部１３に記憶された路面データにおいて対象物ｎの画像上の座標値（ｘｎ、ｙｎ）に関連付けられた光軸方向座標値ｚ２ｎ＝ｚ（ｘｎ、ｙｎ）との差の絶対値｜ｚ１ｎ−ｚ２ｎ｜が所定の路面閾値ｚｔｈ以下であるか否かを判定する。｜ｚ１ｎ−ｚ２ｎ｜がｚｔｈ以下である場合は、対象物ｎが路面であると判定し、この対象物ｎの情報を路面上点座標算出部２８に与えてステップＳ１１に進む。一方、｜ｚ１ｎ−ｚ２ｎ｜がｚｔｈより大きい場合は、対象物ｎは路面ではなく立体物であると判定し、他の対象物についてこのステップＳＴ１０を繰り返す。
【００８４】
次に、ステップＳＴ１１において、路面上点座標算出部２８は、路面検出部２７により路面と判定された対象物ｎの画像上の座標値（ｘｎ、ｙｎ）と光軸方向座標値ｚ１ｎとを用いて、式（１３）−（１５）にもとづき対象物ｎのカメラ座標系における三次元座標値Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）を求める。
【００８５】
次に、ステップＳＴ１２において、固有値・固有ベクトル算出部２９は、Ｐｎ（Ｘｎ、Ｙｎ、Ｚｎ）から共分散行列Ｓを作成する（式（１６）参照）。
【００８６】
次に、ステップＳＴ１３において、固有値・固有ベクトル算出部２９は、共分散行列Ｓの固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３を求める。ただし、固有値の大きい順にλ１、λ２、λ３とし、各固有値に対応する固有ベクトルをそれぞれη１、η２、η３とする。
【００８７】
次に、ステップＳ１４において、固有値・固有ベクトル算出部２９は、固有値λ１、λ２が第１の固有値閾値λｔｈ１以上であり、かつ固有値λ３が第２の固有値閾値λｔｈ２以下であると、現在画像内に存在している路面４２をη１、η２の張る平面で近似できると判定し、固有値λ１、λ２、λ３、固有ベクトルη１、η２、η３の情報を近似平面作成部３１に与えてステップＳＴ１５に進む。一方、固有値λ１、λ２が第１の固有値閾値λｔｈ１より小さいか、固有値λ３が第２の固有値閾値λｔｈ２より大きいと、固有値・固有ベクトル算出部２９は、得られたデータが路面４２を近似する平面を求めるには不十分と判定して廃棄し、一連の手順は終了となる。
【００８８】
次に、ステップＳＴ１５において、定点設定部３０は、カメラ高さＨおよび消失点ＦＯＥの情報を用いて定点Ｐ０（α、β、γ）を式（１７）−（１９）を用いて設定する。なお、本実施形態において、カメラ高さＨおよび消失点ＦＯＥはあらかじめ記憶部１３に記憶された既知の定数である。
【００８９】
次に、ステップＳＴ１６において、近似平面作成部３１は、共分散行列Ｓの固有ベクトルを用いて路面検出部２７により路面と判定された対象物ｎのなす近似平面を表す式（２１）または式（２３）を立て、式（２２）または式（２４）を導く。
【００９０】
次に、ステップＳＴ１７において、路面データ更新部３２は、近似平面作成部３１から式（２２）または式（２４）で定義される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【００９１】
次に、ステップＳＴ１８において、スウィング角算出部３３は、近似平面の法線ベクトルη３を基準として画像上（投影面４１上の）ｘｙ軸との角度ずれψを求め、角度ずれψが角度閾値ψｔｈ以下であるとこの角度ずれψの情報をスウィング角補正部２１に与える。
【００９２】
以上の手順により、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。
【００９３】
本実施形態に係る車両用画像処理装置１０は、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【００９４】
したがって、本実施形態に係る車両用画像処理装置１０によれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から路面との距離を求めることができるとともに、移動体を特定することができる。
【００９５】
また、本実施形態に係る車両用画像処理装置１０は、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【００９６】
また、本実施形態に係る車両用画像処理装置１０は、カメラ１１により撮像された画像データのみを用いて記憶部１３の路面データを更新することができる。
（第２の実施形態）
【００９７】
次に、本発明に係る車両用画像処理装置および車両用画像処理方法の第２実施形態について説明する。
【００９８】
図４は、本発明の第２実施形態に係る車両用画像処理装置１０Ａの一例を示す全体構成図である。
【００９９】
この第２実施形態に示す車両用画像処理装置１０Ａは、車速パルスや加速度センサの出力を取得することで自車の速度を検出する自車速度検出部５１とカメラ高さＨを校正するためのカメラ高さ校正部５２を備え、記憶部１３にカメラ高さＨがあらかじめ記憶されなくてもよい点で第１実施形態に示す車両用画像処理装置１０と異なる。他の構成および作用については図１に示す車両用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１００】
自車速度検出部５１は、車速パルスや加速度センサの出力を取得することにより、自車の速度を検出し、自車並進成分Ｔｚを取得する。この自車並進速度Ｔｚは、画像とは独立して得られる情報である。自車並進成分Ｔｚは、第１実施形態における自車並進成分の平均Ｔｚａｖｅにかえて路面検出部２７に用いられる。なお、自車速度検出部５１は、自車速度の所定期間の平均から自車並進成分Ｔｚを算出してもよい。
【０１０１】
カメラ高さ校正部５２は、スケールファクタつき相対並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚと自車速度検出部５１により検出された自車並進成分Ｔｚとを用いて路面検出部２７により算出されたカメラ座標系における対象物ｎの光軸方向座標値ｚ１ｎを取得する。また、カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式を近似平面作成部３１から取得する。ここで、本実施形態において、定点Ｐ０（α、β、γ）の式（１７）−（１９）におけるカメラ高さＨは未知数として扱われる。
【０１０２】
そして、カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式に対して、複数の対象物の光軸方向座標値ｚ１を代入することにより、複数のＨの値を求め、この求めた複数のＨの値の平均をカメラが取り付けられた高さＨとし、記憶部１３に記憶させる。
【０１０３】
次に、本実施形態に係る車両用画像処理装置１０Ａの動作の一例について説明する。
【０１０４】
図５は、第２実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図５において、Ｓに数字を付した符号はフローチャートの各ステップを示す。図３と同等のステップには同一符号を付し、重複する説明を省略する。
【０１０５】
ステップＳ２１において、自車速度検出部５１は、車速パルスや加速度センサの出力を取得することにより、自車の速度を検出し、自車並進成分Ｔｚを取得する。
【０１０６】
ステップＳ２２において、カメラ高さ校正部５２は、路面検出部２７から対象物ｎの光軸方向座標値ｚ１ｎを、近似平面作成部３１から式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式を、それぞれ取得する。カメラ高さ校正部５２は、式（２２）に対して定点Ｐ０（α、β、γ）の式（１７）−（１９）を代入した式に対して、複数の対象物の光軸方向座標値ｚ１を代入することにより、複数のＨの値を求める。そして、カメラ高さ校正部５２は、求めた複数のＨの値の平均をカメラが取り付けられた高さＨとし、記憶部１３に記憶させる。
【０１０７】
本実施形態に係る車両用画像処理装置１０Ａもまた、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１０８】
したがって、本実施形態に係る車両用画像処理装置１０Ａによれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から路面との距離を求めることができるとともに、移動体を特定することができる。
【０１０９】
また、本実施形態に係る車両用画像処理装置１０Ａは、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【０１１０】
また、本実施形態に係る車両用画像処理装置１０Ａは、自車速度検出部５１を備え、自車並進速度Ｔｚとして正確な値を用いることができる。このため、この正確な自車並進速度Ｔｚを用いてカメラ１１の取り付け高さＨを校正することができる。
（第３の実施形態）
【０１１１】
次に、本発明に係る車両用画像処理装置および車両用画像処理方法の第３実施形態について説明する。
【０１１２】
図６は、本発明の第３実施形態に係る車両用画像処理装置１０Ｂの一例を示す全体構成図である。
【０１１３】
この第２実施形態に示す車両用画像処理装置１０Ｂは、車速パルスや加速度センサの出力を取得することで自車の速度を検出する自車速度検出部５１と、路面検出部２７により路面上の点と判定された点について別の条件を用いて路面上の点であるか否かを判定する路面上点信頼性評価部６１を備え、記憶部１３に信頼性閾値Ｒｔｈがさらにあらかじめ記憶されており、近似平面が定点Ｐ０を通る必要がない点で第１実施形態に示す車両用画像処理装置１０と異なる。他の構成および作用については図１に示す車両用画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。また、自車速度検出部５１は第２実施形態に示す車両用画像処理装置１０Ａと実質的に異ならないため、同一符号を付して説明を省略する。
【０１１４】
路面上点信頼性評価部６１は、路面検出部２７により路面と判定された複数の対象物間のベクトルと固有ベクトルη３との内積が所定の信頼性閾値Ｒｔｈ以下である対象物を抽出し、抽出した対象物の情報を近似平面作成部３１に与える。
【０１１５】
ここで、複数の対象物間のベクトルと固有ベクトルη３との内積を算出することは、ＫＬ変換のη３の係数算出と同様の意味を持つ。すなわち、この内積は、複数の対象物間のベクトルのη３成分の大きさを表しており、η１、η２の張る平面との差異を示しているといえる。したがって、この内積が大きな値をとるものは平面との差異が大きいと判断できる。理想的に平面上に位置すればこの内積はゼロになる。
【０１１６】
近似平面作成部３１は、固有値・固有ベクトル算出部２９から法線ベクトルη３（またはη１×η２）を受けて、未知定数ｄを用いてη３に直交する次の近似平面式を定義する。
η31X+η32Y+η33Z=d （２６）
【０１１７】
また、近似平面作成部３１は、路面上点信頼性評価部６１から受けた対象物の三次元座標値Ｐｎ(Ｘｎ、Ｙｎ、Ｚｎ)を式（２６）に代入することにより、未知定数ｄの値を求める。このとき、可能な限り多数の対象物を用いてｄの平均値ｄａｖｅを算出するとよい。このｄａｖｅを用いることにより、式（２６）は次のように書ける。
η31X+η32Y+η33Z=dave （２７）
【０１１８】
そして、近似平面作成部３１は、式（１３）−（１５）を用いて式（２７）を整理し、z=z2として、近似平面データをあらわす次の式（２８）を得る。
z2=fdave/(η31x+η32y+η33f) （２８）
【０１１９】
路面データ更新部３２は、近似平面作成部３１から式（２８）で表される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【０１２０】
次に、本実施形態に係る車両用画像処理装置１０Ｂの動作の一例について説明する。
【０１２１】
図７は、第３実施形態に係る画像処理ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像からリアルタイムに路面の位置を求める際の手順を示すフローチャートである。図７において、Ｓに数字を付した符号はフローチャートの各ステップを示す。図３および図５と同等のステップには同一符号を付し、重複する説明を省略する。
【０１２２】
ステップＳＴ３１において、近似平面作成部３１は、未知定数ｄを用いてη３に直交する近似平面を表す式（２６）を立てる。
【０１２３】
次に、ステップＳＴ３２において、路面上点信頼性評価部６１は、路面検出部２７により路面と判定された複数の対象物間のベクトルと固有ベクトルη３との内積が所定の信頼性閾値Ｒｔｈ以下である対象物を抽出し、抽出した対象物の情報を近似平面作成部３１に与える。
【０１２４】
次に、ステップＳＴ３３において、近似平面作成部３１は、路面上点信頼性評価部６１から受けた対象物の三次元座標値Ｐｎ(Ｘｎ、Ｙｎ、Ｚｎ)を式（２６）に代入することにより、未知定数ｄの値を求める。そして、近似平面作成部３１は、式（１３）−（１５）を用いて式（２７）を整理し、近似平面データをあらわす式（２８）を立てる。
【０１２５】
次に、ステップＳＴ３４において、路面データ更新部３２は、近似平面作成部３１から式（２８）で表される近似平面データを受け、記憶部１３の路面データをこの近似平面データで更新する。
【０１２６】
本実施形態に係る車両用画像処理装置１０Ｂもまた、カメラ１１により取得された画像からリアルタイムに路面の位置を求めることができる。このため、カメラ１１により撮像される路面と車両底面とが平行でない場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１２７】
したがって、本実施形態に係る車両用画像処理装置１０Ｂによれば、たとえば路面の勾配が変化しており車両直下の路面とカメラにより撮像される路面とで勾配の変化がある場合や、路面が平坦であっても車両積載荷重の多寡や乗車人員の変動による車両傾きがある場合にも、容易に画像から対象物との距離を求めることができるとともに、移動体を特定することができる。
【０１２８】
また、本実施形態に係る車両用画像処理装置１０Ｂは、リアルタイムに取得した路面の法線ベクトルの情報を用いることにより、容易にカメラ１１のｚ軸回りの取り付け角誤差をソフトウエア的に補正することができる。
【０１２９】
また、本実施形態に係る車両用画像処理装置１０Ｂは、路面上点信頼性評価部６１を備え、路面検出部２７により路面と判定された対象物をさらに選定する。このため、より実際の路面に近い近似平面を表す式を立てることができる。
【０１３０】
また、近似平面作成部３１により立てられる近似平面を表す式には、定点Ｐ０の情報が含まれていない。このため、カメラ１１からみた斜面の開始位置によらず、カメラ１１に撮像される路面が定点Ｐ０を通らない平面である場合にも、正確に路面を近似した平面を表す式を立てることができる。また、記憶部１３に記憶された路面データをこの路面に対応する路面データ（近似平面データ）で更新することができる。したがって、第１実施形態および第２実施形態に係る車両用画像装置１０および１０Ａに比べ、より正確に路面との距離を求めることができるとともに、より正確に移動体、立体物、路面の特定を行うことができる。
【０１３１】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１３２】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０１３３】
１０ 車両用画像処理装置
１１ カメラ
１２ 画像処理ＥＣＵ
１３ 記憶部
２１ スウィング角補正部
２２ 動きベクトル算出部
２３ 回転成分算出部
２４ 移動体検出部
２５ スケールファクタ付き並進成分算出部
２６ 自車並進成分算出部
２７ 路面検出部
２８ 路面上点座標算出部
２９ 固有値・固有ベクトル算出部
３０ 定点設定部
３１ 近似平面作成部
３２ 路面データ更新部
３３ スウィング角算出部
４１ カメラ投影面
４２ 路面
４３ 車両直下平面
５１ 自車速度検出部
５２ カメラ高さ校正部
６１ 路面上点信頼性評価部
【特許請求の範囲】
【請求項１】
車両に設けられ前記車両の周辺を撮像するカメラと、
前記カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するスケールファクタ付き並進成分算出部と、
所定の設定路面上の点についてカメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶する記憶部と、
前記スケールファクタつき相対並進成分と自車の並進成分とを用いて前記カメラ座標系における前記対象物の光軸方向座標値を算出するとともに、前記路面データにおいて前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を前記記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると前記対象物を路面と判定する路面検出部と、
を備えた車両用画像処理装置。
【請求項２】
前記路面と判定された複数の前記対象物の前記カメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて前記複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点について前記カメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求める近似平面作成部と、
前記所定の設定路面を前記近似平面とするよう、前記記憶部の前記路面データを前記近似平面データで更新する路面データ更新部と、
をさらに備えた請求項１記載の車両用画像処理装置。
【請求項３】
前記共分散行列は、
値が大きい順に第１、第２および第３の固有値を有するとともに、各固有値にそれぞれ対応する第１、第２および第３の固有ベクトルを有し、
前記近似平面作成部は、
前記共分散行列の前記第１および前記第２の固有値が第１の固有値閾値以上であり、かつ前記第３の固有値が第２の固有値閾値以下であると、前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交する平面を表す式を立てる、
請求項２記載の車両用画像処理装置。
【請求項４】
前記近似平面作成部は、
前記近似平面を表す式と、前記車両直下の路面からみた前記カメラが取り付けられた高さと、前記カメラの中心から下ろした鉛直線と前記車両直下の路面との交点と、を用いて前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項５】
前記記憶部に記憶された前記路面データから前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を取得し、この光軸方向座標値を前記スケールファクタ付き相対並進成分に乗ずることにより、前記画像にもとづいて前記自車の並進成分を算出して前記路面検出部に与える自車並進成分算出部、
をさらに備えた請求項４に記載の車両用画像処理装置。
【請求項６】
前記自車の並進成分を検出して前記路面検出部に与える自車速度検出部と、
前記スケールファクタつき相対並進成分と前記自車速度検出部により検出された前記自車の並進成分とを用いて算出された前記カメラ座標系における前記対象物の光軸方向座標値を前記路面検出部から取得するとともに、前記第３の固有ベクトルに直交する平面を表す式に対して前記カメラの中心から下ろした鉛直線と前記車両直下の路面との交点であって前記カメラ座標系における三次元座標値を前記車両直下の路面からみた前記カメラが取り付けられた高さを未知数として表された交点の前記三次元座標値を代入した式を前記近似平面作成部から取得し、この式に対して前記複数の対象物の前記光軸方向座標値を代入することにより複数の前記未知数の値を求め、この求めた複数の値の平均を前記カメラが取り付けられた高さとする高さ校正部と、
をさらに備え、
前記近似平面作成部は、
前記近似平面を表す式と、前記高さ校正部により算出された前記カメラが取り付けられた高さと、前記カメラの中心から下ろした鉛直線と前記車両直下の平面との交点と、を用いて前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項７】
前記自車の並進成分を検出して前記路面検出部に与える自車速度検出部と、
前記路面と判定された複数の前記対象物間のベクトルと前記第３の固有ベクトルとの内積が所定の信頼性閾値以下である前記対象物を抽出する路面上点信頼性評価部と、
をさらに備え、
前記近似平面作成部は、
前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交するとともに１つの未知定数を有する平面を表す式を立て、この式に対して前記路面上点信頼性評価部により抽出された複数の前記対象物の前記三次元座標値を代入して前記未知定数の値を求めることにより前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項８】
前記車両の前記回転成分で補正した前記対象物に対応する前記動きベクトルが前記画像上で消失点に向かう場合、前記対象物を静止物と判定する移動体検出部、
をさらに備え、
前記スケールファクタ付き並進成分算出部は、
前記移動体検出部により前記静止物と判定された前記対象物について前記スケールファクタ付き相対並進成分を算出し、
前記路面検出部は、
前記移動体検出部により前記静止物と判定された前記対象物について前記判定を行う、
請求項１ないし７のいずれか１項に記載の車両用画像処理装置。
【請求項９】
前記カメラにより撮像された画像内に投影した前記第３の固有ベクトルの方向に応じて、前記カメラにより撮像された画像を回転補正するスウィング角補正部、
をさらに備えた請求項３ないし８のいずれか１項に記載の車両用画像処理装置。
【請求項１０】
車両に設けられたカメラが前記車両の周辺を撮像するステップと、
前記カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するステップと、
所定の設定路面上の点についてカメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶部に記憶させるステップと、
前記スケールファクタつき相対並進成分と自車の並進成分とを用いて前記カメラ座標系における前記対象物の光軸方向座標値を算出するとともに、前記路面データにおいて前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を前記記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると前記対象物を路面と判定するステップと、
前記路面と判定された複数の前記対象物の前記カメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて前記複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点について前記カメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求めるステップと、
前記所定の設定路面を前記近似平面とするよう、前記記憶部の前記路面データを前記近似平面データで更新するステップと、
を有する車両用画像処理方法。
【請求項１１】
前記共分散行列は、
値が大きい順に第１、第２および第３の固有値を有するとともに、各固有値にそれぞれ対応する第１、第２および第３の固有ベクトルを有し、
前記近似平面データを求めるステップは、
前記共分散行列の前記第１および前記第２の固有値が第１の固有値閾値以上であり、かつ前記第３の固有値が第２の固有値閾値以下であると、前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交する平面を表す式を立てるステップである、
請求項１０記載の車両用画像処理方法。
【請求項１】
車両に設けられ前記車両の周辺を撮像するカメラと、
前記カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するスケールファクタ付き並進成分算出部と、
所定の設定路面上の点についてカメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶する記憶部と、
前記スケールファクタつき相対並進成分と自車の並進成分とを用いて前記カメラ座標系における前記対象物の光軸方向座標値を算出するとともに、前記路面データにおいて前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を前記記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると前記対象物を路面と判定する路面検出部と、
を備えた車両用画像処理装置。
【請求項２】
前記路面と判定された複数の前記対象物の前記カメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて前記複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点について前記カメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求める近似平面作成部と、
前記所定の設定路面を前記近似平面とするよう、前記記憶部の前記路面データを前記近似平面データで更新する路面データ更新部と、
をさらに備えた請求項１記載の車両用画像処理装置。
【請求項３】
前記共分散行列は、
値が大きい順に第１、第２および第３の固有値を有するとともに、各固有値にそれぞれ対応する第１、第２および第３の固有ベクトルを有し、
前記近似平面作成部は、
前記共分散行列の前記第１および前記第２の固有値が第１の固有値閾値以上であり、かつ前記第３の固有値が第２の固有値閾値以下であると、前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交する平面を表す式を立てる、
請求項２記載の車両用画像処理装置。
【請求項４】
前記近似平面作成部は、
前記近似平面を表す式と、前記車両直下の路面からみた前記カメラが取り付けられた高さと、前記カメラの中心から下ろした鉛直線と前記車両直下の路面との交点と、を用いて前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項５】
前記記憶部に記憶された前記路面データから前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を取得し、この光軸方向座標値を前記スケールファクタ付き相対並進成分に乗ずることにより、前記画像にもとづいて前記自車の並進成分を算出して前記路面検出部に与える自車並進成分算出部、
をさらに備えた請求項４に記載の車両用画像処理装置。
【請求項６】
前記自車の並進成分を検出して前記路面検出部に与える自車速度検出部と、
前記スケールファクタつき相対並進成分と前記自車速度検出部により検出された前記自車の並進成分とを用いて算出された前記カメラ座標系における前記対象物の光軸方向座標値を前記路面検出部から取得するとともに、前記第３の固有ベクトルに直交する平面を表す式に対して前記カメラの中心から下ろした鉛直線と前記車両直下の路面との交点であって前記カメラ座標系における三次元座標値を前記車両直下の路面からみた前記カメラが取り付けられた高さを未知数として表された交点の前記三次元座標値を代入した式を前記近似平面作成部から取得し、この式に対して前記複数の対象物の前記光軸方向座標値を代入することにより複数の前記未知数の値を求め、この求めた複数の値の平均を前記カメラが取り付けられた高さとする高さ校正部と、
をさらに備え、
前記近似平面作成部は、
前記近似平面を表す式と、前記高さ校正部により算出された前記カメラが取り付けられた高さと、前記カメラの中心から下ろした鉛直線と前記車両直下の平面との交点と、を用いて前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項７】
前記自車の並進成分を検出して前記路面検出部に与える自車速度検出部と、
前記路面と判定された複数の前記対象物間のベクトルと前記第３の固有ベクトルとの内積が所定の信頼性閾値以下である前記対象物を抽出する路面上点信頼性評価部と、
をさらに備え、
前記近似平面作成部は、
前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交するとともに１つの未知定数を有する平面を表す式を立て、この式に対して前記路面上点信頼性評価部により抽出された複数の前記対象物の前記三次元座標値を代入して前記未知定数の値を求めることにより前記近似平面データを求める、
請求項３記載の車両用画像処理装置。
【請求項８】
前記車両の前記回転成分で補正した前記対象物に対応する前記動きベクトルが前記画像上で消失点に向かう場合、前記対象物を静止物と判定する移動体検出部、
をさらに備え、
前記スケールファクタ付き並進成分算出部は、
前記移動体検出部により前記静止物と判定された前記対象物について前記スケールファクタ付き相対並進成分を算出し、
前記路面検出部は、
前記移動体検出部により前記静止物と判定された前記対象物について前記判定を行う、
請求項１ないし７のいずれか１項に記載の車両用画像処理装置。
【請求項９】
前記カメラにより撮像された画像内に投影した前記第３の固有ベクトルの方向に応じて、前記カメラにより撮像された画像を回転補正するスウィング角補正部、
をさらに備えた請求項３ないし８のいずれか１項に記載の車両用画像処理装置。
【請求項１０】
車両に設けられたカメラが前記車両の周辺を撮像するステップと、
前記カメラにより撮像された画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するステップと、
所定の設定路面上の点についてカメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けたデータである路面データを記憶部に記憶させるステップと、
前記スケールファクタつき相対並進成分と自車の並進成分とを用いて前記カメラ座標系における前記対象物の光軸方向座標値を算出するとともに、前記路面データにおいて前記対象物の前記画像上の座標値と関連付けられた光軸方向座標値を前記記憶部から取得し、これらの光軸方向座標値の差が所定の路面閾値以下であると前記対象物を路面と判定するステップと、
前記路面と判定された複数の前記対象物の前記カメラ座標系における三次元座標値の共分散行列の固有ベクトルを用いて前記複数の対象物のなす近似平面を表す式を立てることにより、この近似平面上の点について前記カメラ座標系における前記画像上の座標値と光軸方向座標値とを関連付けた近似平面データを求めるステップと、
前記所定の設定路面を前記近似平面とするよう、前記記憶部の前記路面データを前記近似平面データで更新するステップと、
を有する車両用画像処理方法。
【請求項１１】
前記共分散行列は、
値が大きい順に第１、第２および第３の固有値を有するとともに、各固有値にそれぞれ対応する第１、第２および第３の固有ベクトルを有し、
前記近似平面データを求めるステップは、
前記共分散行列の前記第１および前記第２の固有値が第１の固有値閾値以上であり、かつ前記第３の固有値が第２の固有値閾値以下であると、前記近似平面を表す式として前記第３の固有値に対応する前記第３の固有ベクトルに直交する平面を表す式を立てるステップである、
請求項１０記載の車両用画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２３７５０（Ｐ２０１２−１２３７５０Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７６２７０（Ｐ２０１０−２７６２７０）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]