車両用画像処理装置および車両用画像処理方法
【課題】自車の曲進および振動による影響を考慮して対象物との衝突可能性を判定する車両用画像処理装置および車両用画像処理方法を提供する。
【解決手段】車両用画像処理装置において、カメラ１１は、車両の周辺を撮像する。動きベクトル算出部２１は、カメラ１１により撮像された複数の画像間の動きベクトルを求める。スケールファクタ付き並進成分算出部２３は、画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、スケールファクタ付き並進成分を算出する。ｚ位置取得部２６は、カメラ座標系における対象物の光軸方向座標値を取得する。衝突判定部２５は、カメラ１１の中心から対象物までの距離を時間の関数としてあらわした式にもとづいて、カメラ１１の中心から対象物までの最近接距離が所定の距離以下であるか否かを判定する。衝突危険度判定部２８は、最近接距離が所定の距離以下であると、車両と対象物が衝突すると判定する。
【解決手段】車両用画像処理装置において、カメラ１１は、車両の周辺を撮像する。動きベクトル算出部２１は、カメラ１１により撮像された複数の画像間の動きベクトルを求める。スケールファクタ付き並進成分算出部２３は、画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、スケールファクタ付き並進成分を算出する。ｚ位置取得部２６は、カメラ座標系における対象物の光軸方向座標値を取得する。衝突判定部２５は、カメラ１１の中心から対象物までの距離を時間の関数としてあらわした式にもとづいて、カメラ１１の中心から対象物までの最近接距離が所定の距離以下であるか否かを判定する。衝突危険度判定部２８は、最近接距離が所定の距離以下であると、車両と対象物が衝突すると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両用画像処理装置および車両用画像処理方法に関する。
【背景技術】
【０００２】
最近、自動車などの車両の運転を支援するための技術として、車両と対象物との衝突可能性を判定する技術の開発が望まれている。この種の技術には、たとえば、車両に搭載されたカメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する技術などがある。車両に搭載されたカメラにより撮像された画像を用いる場合、レーダを用いる場合に比べてデジタル化された画像データを利用することができることから、対象物の接近角度などの複雑な判断が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３５３５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術は、車両が振動することなく静かに直進している場合を想定したものであり、車両の３種の回転成分（ヨーイング、ローリング、ピッチング）を考慮していない。このため、従来の技術は、車両が曲進する場合や車両が振動する場合などに適用することが難しい。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る車両用画像処理装置は、上述した課題を解決するために、カメラと、動きベクトル算出部と、スケールファクタ付き並進成分算出部と、ｚ位置取得部と、衝突判定部と、衝突危険度判定部と、を備える。カメラは、車両に設けられ車両の周辺を撮像する。動きベクトル算出部は、カメラにより撮像された複数の画像間の動きベクトルを求める。スケールファクタ付き並進成分算出部は、画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、対象物の相対並進成分をカメラ座標系における対象物の光軸方向座標値で除したスケールファクタ付き並進成分を算出する。ｚ位置取得部は、カメラ座標系における対象物の光軸方向座標値を取得する。衝突判定部は、カメラ座標系における対象物の光軸方向座標値を含む三次元座標値とスケールファクタ付き並進成分とを用いてカメラの中心から対象物までの距離を時間の関数としてあらわした式にもとづいて、カメラの中心から対象物までの最近接距離が所定の距離以下であるか否かを判定する。衝突危険度判定部は、最近接距離が所定の距離以下であると、車両と対象物が衝突すると判定する。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図２】カメラ座標系におけるカメラ投影面と対象物との関係を示す説明図。
【図３】（ａ）は、ｒ２−ｒ０２の極小値が負の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図、（ｂ）はｒ２−ｒ０２の極小値が正の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図。
【図４】衝突予測ＥＣＵのＣＰＵが、カメラにより取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する際の手順を示すフローチャート。
【発明を実施するための形態】
【０００７】
本発明に係る車両用画像処理装置および車両用画像処理方法の実施の形態について、添付図面を参照して説明する。
【０００８】
図１は、本発明の一実施形態に係る車両用画像処理装置１０の一例を示す全体構成図である。
【０００９】
車両用画像処理装置１０は、カメラ１１、衝突予測ＥＣＵ（Electronic Control Unit）１２、記憶部１３、表示部１４およびスピーカ１５を有する。
【００１０】
カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して衝突予測ＥＣＵ１２に与える。
【００１１】
たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１２】
衝突予測ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。衝突予測ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された衝突予測プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像にもとづいて、車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する。
【００１３】
衝突予測ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。衝突予測ＥＣＵ１２のＲＯＭなどの記憶媒体は、衝突予測プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１４】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。
【００１５】
なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って衝突予測ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１６】
記憶部１３は、衝突予測ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、消失点（ＦＯＥ：Focus of Expansion）の情報ＦＯＥ（ｘ０、ｙ０）、距離マージンｒ０、第１の時間閾値ｓ１、第２の時間閾値ｓ２および接近閾値ｄ０を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。
【００１７】
消失点情報ＦＯＥ（ｘ０、ｙ０）は、衝突予測ＥＣＵ１２により車両の回転成分を算出する際に用いられる。
【００１８】
距離マージンｒ０、第１の時間閾値ｓ１、第２の時間閾値ｓ２および接近閾値ｄ０は、衝突予測ＥＣＵ１２により車両と対象物との衝突危険度を判定するために用いられる。
【００１９】
表示部１４は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（ヘッドアップディスプレイ）などの表示出力装置を用いることができ、衝突予測ＥＣＵ１２の制御に従って衝突警告情報などの各種情報を表示する。
【００２０】
スピーカ１５は、衝突予測ＥＣＵ１２の制御に従って衝突警告情報などの各種情報に対応した音声を出力する。
【００２１】
図１に示すように、衝突予測ＥＣＵ１２のＣＰＵは、衝突プログラムによって、少なくとも動きベクトル算出部２１、回転成分算出部２２、スケールファクタ付き並進成分算出部２３、ユークリッド距離推定部２４、衝突判定部２５、ｚ位置取得部２６、衝突時間推定部２７、衝突危険度判定部２８および警告提示部２９として機能する。この各部２１〜２９は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２２】
ここで、本実施形態で用いるカメラ座標系について簡単に説明する。
【００２３】
図２は、カメラ座標系におけるカメラ投影面３１と対象物３２との関係を示す説明図である。
【００２４】
本実施形態に係る車両用画像処理装置は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。
【００２５】
カメラ座標系（ｘ、ｙ、ｚ）は、カメラ１１の中心を原点とする左手座標系である。カメラ座標系のｚ軸は、カメラ１１の光軸に一致するよう設定される。
【００２６】
カメラ投影面３１は、カメラ座標系においてｚ＝ｆの面である。ｆはカメラ１１の焦点距離である。カメラ１１は、このカメラ投影面３１に投影される車両周囲を撮像する。
【００２７】
対象物３２のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘ、Ｙ、Ｚ）とすると、点Ｐのカメラ投影面３１に投影された点ｐの座標はｐ（ｘ、ｙ、ｆ）となる。点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。このとき、距離ｒはｒ２＝（ｚ２／ｆ２）（ｘ２＋ｙ２＋ｆ２）と書ける。ここで、ｘ、ｙは投影面３１上のｘｙ座標値であり、ｚは対象物３２のｚ座標値であることに注意する。投影面３１上のｘｙ座標値は、カメラ１１の画素と対応するものであるため、画像から容易に取得することができる。
【００２８】
動きベクトル算出部２１は、ブロックマッチング法や勾配法などを用いて、カメラ１１１により撮像された複数の画像から画素ごとに動きベクトル（ｕ、ｖ）を算出する。
【００２９】
回転成分算出部２２は、動きベクトル（ｕ、ｖ）および消失点情報ＦＯＥ（ｘ０、ｙ０）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。以下、より具体的に説明する。
【００３０】
カメラ投影面３１上の動きベクトル（ｕ、ｖ）は、次のように書けることが知られている。
U = xy(1/f)Rx−(x2+f2)(1/f)Ry+yRz−f(Tx/z)+x(Tz/z) （１）
V = (y2+f2)(1/f) Rx−xy(1/f)Ry−xRz−f(Ty/z)+y(Tz/z) （２）
【００３１】
ここで、ｘ、ｙは投影面３１上のｘｙ座標値、ｚは対象物３２のｚ座標値をあらわす。また、Ｒｘ、Ｒｙ、Ｒｚ、Ｔｘ、Ｔｙ、Ｔｚは運動パラメータであり、Ｒｘ、Ｒｙ、Ｒｚは車両の回転成分をあらわし、Ｔｘ、Ｔｙ、Ｔｚは自車と対象物３２との相対並進成分をあらわす。
【００３２】
車両の回転成分Ｒｘはｘ軸中心の回転成分であり、自車のピッチング成分をあらわす。また、Ｒｙはｙ軸中心の回転成分であり、自車のヨーイング成分をあらわす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒｚはｚ軸中心の回転成分であり自車のローリング成分をあらわす。
【００３３】
式（１）および式（２）は、それぞれ次のように変形できる。
u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz = −f(Tx/z)+x(Tz/z) （３）
v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz = −f(Ty/z)+y(Tz/z) （４）
【００３４】
式（３）および式（４）において、左辺は動きベクトル（ｕ、ｖ）を回転成分で補正したものである。
【００３５】
対象物３２が静止物である場合には、式（３）の式（４）に対する比は、画素（ｘ、ｙ）からＦＯＥ（ｘ０、ｙ０）に向かう傾きと等しくなることが知られている（崎本隆志ら、火の国情報シンポジウム２００３講演論文集、「拡張焦点を用いた移動車両検出及び追跡に関する研究」（２００３））。
このため、次の式（５）が導かれる。
[u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz]/[ v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz]
= [x-x0]/[y-y0] （５）
【００３６】
したがって、Ｒｘ、Ｒｙ、Ｒｚを３つの未知数と考えれば、静止物に対応する少なくとも３つの画素の動きベクトルを得ることができればＲｘ、Ｒｙ、Ｒｚを算出できる。
【００３７】
そこで、回転成分算出部２２は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（５）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。すなわち、回転成分算出部２２は、カメラ１１が取得した画像から回転成分を算出することができる。
【００３８】
なお、回転成分は、車速データや舵角データなどの車両情報やジャイロセンサなどから求めることもできる。
【００３９】
スケールファクタ付き並進成分算出部２３は、画像に含まれる対象物３２に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物３２のスケールファクタ付きの相対並進成分（以下、スケールファクタ付き並進成分という）Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００４０】
スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚは、対象物３２の相対並進成分Ｔｘ、Ｔｙ、Ｔｚを対象物３２のｚ座標値で除したものである。このため、相対並進成分Ｔｘ、Ｔｙ、Ｔｚが同一であれば、遠くにある（ｚ座標値が大きい）ものほどスケールファクタ付き並進成分が小さくなる。対象物３２の点Ｐが静止しているか移動しているかによらず、点Ｐはスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚで運動していると画像上において観測される。以下、より具体的に説明する。
【００４１】
回転成分Ｒｘ、Ｒｙ、Ｒｚは、画面内の任意の位置で共通なパラメータである。このため、式（３）および式（４）にもとづき、任意の画素に対して次式が成り立つ。
−f(Tx/z)+x(Tz/z) = a （６）
−f(Ty/z)+y(Tz/z) = b （７）
【００４２】
ここで、ａは式（３）の左辺をあらわす観測値であり、ｂは式（４）の左辺をあらわす観測値である。対象物３２の複数の画素（ｘ、ｙ）についての観測値ａ、ｂが得られれば、式（６）および式（７）から未知数Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを得ることができる。
【００４３】
そこで、スケールファクタ付き並進成分算出部２３は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、画像に含まれる対象物３２に対応する複数の画素についての動きベクトル（ｕ、ｖ）と、にもとづいて式（６）および式（７）のａおよびｂを算出することにより、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００４４】
換言すれば、スケールファクタ付き並進成分算出部２３は、対象物３２のｚ座標値を用いることなく対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを得ることができる。
【００４５】
ユークリッド距離推定部２４は、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いてカメラ１１の中心から対象物３２までの距離ｒを時間ｔの関数としてあらわす式を立てる。以下、より具体的に説明する。
【００４６】
現時刻から時刻ｔまで自車および対象物３２は同じ運動をすると仮定すると、時刻ｔ秒後における原点と点Ｐとの距離ｒの２乗はユークリッド距離として、時刻ｔの２次関数であらわすことができる。
r2 = (X−Txt)2+(Y−Tyt)2+(Z−Tzt)2 （８）
【００４７】
上述の通り、点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。これを式（８）に代入すると、次式を得る。
r2 = (xz/f−Txt)2+(yz/f−Tyt)2+(z−Tzt)2 （９）
【００４８】
式（９）は、次のように変形できる。
r2 / z2 = At2−2Bt＋C （１０）
ただし、A = (Tx/z)2+(Ty/z)2+(Tz/z)2、
B = (1/ f)(x Tx/z+yTy/z +fTz/z)、
C = (1/ f2)( x2+y2+f2) をそれぞれあらわす。
【００４９】
式（１０）のＡは正であるから、ｒ２は下に凸のｔの２次関数である。式（１０）から、ｒ２の極小値ｒ２ｍｉｎおよび極小値ｒ２ｍｉｎをとる時間ｔはそれぞれ次のようにあらわせる。
r2min=(z/f)2{(x2+y2+f2)−(xTx/z+yTy/z+fTz/z)2/ (Tx2/z2+Ty2/z2+Tz2/z2)} （１１）
t = (1/f)(xTx/z +yTy/z +fTz/z)/ (Tx2/z2 +Ty2/z2 +Tz2/z2) （１２）
【００５０】
式（１１）から明らかなように、ｒ２の極小値は、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚおよび対象物３２のｚ座標値が得られれば算出することができる。また、式（１２）から明らかなように、ｒ２が極小値となる時刻ｔは、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚが得られれば算出することができる。
【００５１】
ｒ２がゼロになるということは、点Ｐが原点（カメラ中心）に到達することを意味する。したがって、ｒ２の極小値は、車両と対象物３２との衝突危険性を判定するための指標として用いることができる。
【００５２】
また、車両と対象物が所定の距離（以下、距離マージンｒ０という）以内に近づくか否かを判定することも、衝突危険性の判定に有効であると考えられる。車両と対象物が所定の距離（以下、距離マージンｒ０という）以内に近づくか否かを判定するためには、まず式（９）の両辺から距離マージンｒ０を減じた次式を立てる。
r2 −r0 = (xz/f−Txt)2+(yz/f−Tyt)2+(z−Tzt)2 −r0 （１３）
【００５３】
式（１３）から、ｒ２−ｒ０２の極小値ｒ２−ｒ０２ｍｉｎは次のようにあらわせる。
r2 −r02min =(z/f)2{(x2+y2+f2)−(xTx/z+yTy/z+fTz/z)2/ (Tx2/z2+Ty2/z2+Tz2/z2)} （１４）
【００５４】
なお、ｒ２−ｒ０２が極小値をとる時間ｔは式（１０）であらわせる。
【００５５】
以下の説明では、ユークリッド距離推定部２４が、記憶部１３から距離マージンｒ０を取得し、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いた式（８）にもとづく式（１４）を立て、この式を衝突判定部２５に与える場合の例について示す。
【００５６】
衝突判定部２５は、式（８）にもとづく式（１４）を用いて、カメラ１１の中心から対象物３２までの最近接距離（ｒの極小値）が距離マージンｒ０以下であるか否か、すなわち式（１４）においてｒ２−ｒ０２の極小値がゼロ以下となるか否かを判定する。なお、衝突判定部２５は、カメラ１１の中心から対象物３２までの最近接距離が距離マージンｒ０以下となる場合にはさらに、車両と対象物３２とが衝突すると判定してもよい。また、衝突判定部２５は、ｒ２−ｒ０２の極小値が正である場合、この極小値が記憶部１３に記憶された接近閾値ｄ１より小さいか（ただし、ｄ１＞０とする）否かを判定する。
【００５７】
式（１４）を解くためには、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚのほか、対象物３２のｚ座標値が必要である。対象物３２のｚ座標値は、ｚ位置取得部２６から衝突判定部２５に与えられる。
【００５８】
ｚ位置取得部２６は、対象物３２のｚ座標値を取得して衝突判定部２５に与える。たとえば、対象物３２が静止物である場合は、相対並進成分Ｔｘ、Ｔｙ、Ｔｚを別途求めておき、相対並進成分Ｔｘ、Ｔｙ、Ｔｚとスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとから求めることができる。相対並進成分Ｔｘ、Ｔｙ、Ｔｚは、画像から求めることもできるし、車両の車速データや舵角データなどの車両情報や加速度センサなどから求めることもできる。なお、対象物３２のｚ座標値は、１台のカメラ１１以外の部材を用いる場合、レーダ、レーダレーザ、光切断法、ステレオカメラなどによる距離測定法により求めることもできる。
【００５９】
図３（ａ）は、ｒ２−ｒ０２の極小値が負の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図であり、（ｂ）はｒ２−ｒ０２の極小値が正の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図である。
【００６０】
衝突時間推定部２７は、式（８）にもとづく式（１４）を用いて、カメラ１１の中心から対象物３２までの距離ｒが距離マージンｒ０となる時間を算出する。なお、カメラ１１の中心から対象物３２までの距離ｒが距離マージンｒ０となるのは、ｒ２−ｒ０２の極小値がゼロ以下の場合のみである（図３（ａ）参照）。
【００６１】
具体的には、衝突時間推定部２７は、式（１４）の左辺をゼロとした式の実根ｔ１およびｔ２を求め、小さいほうの根ｔ１を衝突までの時間ＴＴＣ（Time To Collision）とする。
【００６２】
衝突危険度判定部２８は、カメラ１１の中心から対象物３２までの最近接距離と、カメラ１１の中心から対象物３２までの距離ｒがｒ０となる時間ＴＴＣとに応じて車両と対象物３２との衝突危険性を複数の段階に分類する。以下の説明では、衝突危険性が３段階に分類される場合の例について示す。
【００６３】
より具体的には、衝突危険度判定部２８は、最近接距離がｒ０以下であり、かつＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１より小さいと、危険度を「高」と判定する。また、最近接距離がｒ０以下であり、かつＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１以上第２の時間閾値ｓ２未満であると、危険度を「中」と判定し、ｓ２以上であると危険度を「低」と判定する。
【００６４】
また、衝突危険度判定部２８は、最近接距離がｒ０より大きくかつ、ｒ２−ｒ０２の極小値が記憶部１３に記憶された接近閾値ｄ１より小さい場合は危険度を「中」と判定し、ｄ１以上である場合は危険度を「低」と判定する。
【００６５】
警告提示部２９は、衝突危険度判定部２８により分類された衝突危険性に応じて、表示部１４やスピーカ１５を介して運転者に対して警告を行う。たとえば、危険度「高」の場合、運転者に緊急であることが認識されるよう、表示部１４を介した映像およびスピーカ１５を介した音声で衝突する危険があることを通知するとよい。また、危険度「中」の場合は、運転者に注意を促す程度に、表示部１４を介した映像およびスピーカ１５を介した音声で衝突する危険があることを通知するとよい。危険度「低」の場合は、運転者への警告を行わなくてもよい。
【００６６】
次に、本実施形態に係る車両用画像処理装置および車両用画像処理方法の動作の一例について説明する。
【００６７】
図４は、衝突予測ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００６８】
まず、ステップＳＴ１において、動きベクトル算出部２１は、カメラ１１から撮像画像の画像データを取得する。
【００６９】
次に、ステップＳＴ２において、動きベクトル算出部は、取得した画像データにもとづき、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに求める。
【００７０】
次に、ステップＳＴ３において、回転成分算出部２２は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の動きベクトル（ｕ、ｖ）についての式（５）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７１】
次に、ステップＳＴ４において、スケールファクタ付き並進成分算出部２３は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、画像に含まれる対象物３２に対応する複数の画素についての動きベクトル（ｕ、ｖ）と、にもとづいて式（６）および式（７）のａおよびｂを算出することにより、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００７２】
次に、ステップＳＴ５において、ユークリッド距離推定部２４は、記憶部１３から距離マージンｒ０を取得し、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いた式（８）にもとづく式（９）および式（１０）を立てる。
【００７３】
次に、ステップＳＴ６において、ユークリッド距離推定部２４は、式（９）の両辺から距離マージンｒ０を減じた式（１３）を立てる。また、ユークリッド距離推定部２４は、式（１３）にもとづきｒ２−ｒ０２の極小値を求めるための式（１４）を立て、この式（１４）を衝突判定部２５に与える。
【００７４】
次に、ステップＳＴ７において、衝突判定部２５は、ｚ位置取得部２６から対象物３２のｚ座標値を取得し、このｚ座標値およびスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを代入して式（１４）を解くことにより、ｒ２−ｒ０２の極小値がゼロ以下となるか否かを判定する。ｒ２−ｒ０２の極小値がゼロ以下となる場合はステップＳＴ８に進む。一方、ｒ２−ｒ０２の極小値が正である場合は、ステップＳＴ１３に進む。
【００７５】
次に、ステップＳＴ８において、衝突時間推定部２７は、式（１４）の左辺をゼロとした式の実根ｔ１およびｔ２を求め、小さいほうの根ｔ１を衝突までの時間ＴＴＣ（Time To Collision）と推定する。
【００７６】
次に、ステップＳＴ９において、衝突危険度判定部２８は、ＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１より小さいか否かを判定する。ＴＴＣが第１の時間閾値ｓ１より小さい場合はステップＳＴ１０に進む。一方、ＴＴＣが第１の時間閾値ｓ１以上である場合はステップＳＴ１１に進む。
【００７７】
次に、ステップＳ１０において、衝突危険度判定部２８は、衝突危険度を「高」と判定し、ステップＳＴ１５に進む。
【００７８】
他方、ステップＳＴ９でＴＴＣが第１の時間閾値ｓ１以上であると判定されると、ステップＳＴ１１において、衝突危険度判定部２８は、ＴＴＣが記憶部１３に記憶された第２の時間閾値ｓ２より小さいか否かを判定する。ＴＴＣが第２の時間閾値ｓ２より小さい場合はステップＳＴ１２に進む。一方、ＴＴＣが第２の時間閾値ｓ２以上である場合はステップＳＴ１４に進む。
【００７９】
次に、ステップＳＴ１２において、衝突危険度判定部２８は、衝突危険度を「中」と判定し、ステップＳＴ１５に進む。
【００８０】
また、ステップＳＴ１３において、衝突危険度判定部２８は、衝突危険度を「低」と判定し、ステップＳＴ１５に進む。
【００８１】
他方、ステップＳＴ７でｒ２−ｒ０２の極小値が正であると判定されると、ステップＳＴ１４において、衝突判定部２５はｒ２−ｒ０２の極小値が記憶部１３に記憶された接近閾値ｄ１より小さいか否かを判定する。ｒ２−ｒ０２の極小値が接近閾値ｄ１より小さい場合は、ステップＳ１２に進んで衝突危険度判定部２８により衝突危険度が「中」であると判定される。一方、ｒ２−ｒ０２の極小値が接近閾値ｄ１以上である場合は、ステップＳ１４に進んで衝突危険度判定部２８により衝突危険度が「低」であると判定される。
【００８２】
そして、ステップＳ１５において、警告提示部２９は、衝突危険度判定部２８により分類された衝突危険性に応じて、表示部１４やスピーカ１５を介して運転者に対して警告を行う。
【００８３】
以上の手順により、カメラ１１により取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定することができる。
【００８４】
本実施形態に係る車両用画像処理装置１０は、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する際に、動きベクトル（ｕ、ｖ）を回転成分Ｒｘ、Ｒｙ、Ｒｚで補正した式（３）および式（４）を用いる。このため、車両の曲進や振動の影響は排除される。したがって、車両用画像処理装置１０によれば、自車の曲進および自車の振動による影響を考慮して対象物３２との衝突可能性を的確に判定することができる。
【００８５】
また、車両用画像処理装置１０は、車両と対象物３２との距離ｒにもとづいて衝突危険性を判定する。したがって、対象物３２が静止物であるか移動物であるかによらず、正確に衝突危険性を判定することができる。また、対象物３２が静止物であれば、１台のカメラ１１のみからｚ座標値を得ることができるため、車両用画像処理装置１０を簡素に構成することができる。
【００８６】
また、車両用画像処理装置１０は、単一の座標系（カメラ座標系）のみを用いる。このため、カメラ座標系と世界座標系とを併用する場合に比べ、座標系のの相互変換等の処理が不要となり、衝突危険予測に必要な演算量を少なくすることができる。
【００８７】
また、車両用画像処理装置１０は、カメラ１１の中心から対象物３２までの最近接距離と、カメラ１１の中心から対象物３２までの距離ｒがｒ０となる時間ＴＴＣとに応じて車両と対象物３２との衝突危険性を複数の段階に分類し、この分類に応じた適切な警告を運転者に与えることができる。
【００８８】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８９】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【００９０】
１０ 車両用画像処理装置
１１ カメラ
１２ 衝突予測ＥＣＵ
１３ 記憶部
２１ 動きベクトル算出部
２２ 回転成分算出部
２３ スケールファクタ付き並進成分算出部
２５ 衝突判定部
２６ ｚ位置取得部
２７ 衝突時間推定部
２８ 衝突危険度判定部
３１ カメラ投影面
３２ 対象物
【技術分野】
【０００１】
本発明の実施形態は、車両用画像処理装置および車両用画像処理方法に関する。
【背景技術】
【０００２】
最近、自動車などの車両の運転を支援するための技術として、車両と対象物との衝突可能性を判定する技術の開発が望まれている。この種の技術には、たとえば、車両に搭載されたカメラにより撮像された画像にもとづいて車両と対象物との衝突可能性を判定する技術などがある。車両に搭載されたカメラにより撮像された画像を用いる場合、レーダを用いる場合に比べてデジタル化された画像データを利用することができることから、対象物の接近角度などの複雑な判断が可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３５３５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術は、車両が振動することなく静かに直進している場合を想定したものであり、車両の３種の回転成分（ヨーイング、ローリング、ピッチング）を考慮していない。このため、従来の技術は、車両が曲進する場合や車両が振動する場合などに適用することが難しい。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る車両用画像処理装置は、上述した課題を解決するために、カメラと、動きベクトル算出部と、スケールファクタ付き並進成分算出部と、ｚ位置取得部と、衝突判定部と、衝突危険度判定部と、を備える。カメラは、車両に設けられ車両の周辺を撮像する。動きベクトル算出部は、カメラにより撮像された複数の画像間の動きベクトルを求める。スケールファクタ付き並進成分算出部は、画像に含まれる対象物に対応する動きベクトルと車両の回転成分とにもとづいて、対象物の相対並進成分をカメラ座標系における対象物の光軸方向座標値で除したスケールファクタ付き並進成分を算出する。ｚ位置取得部は、カメラ座標系における対象物の光軸方向座標値を取得する。衝突判定部は、カメラ座標系における対象物の光軸方向座標値を含む三次元座標値とスケールファクタ付き並進成分とを用いてカメラの中心から対象物までの距離を時間の関数としてあらわした式にもとづいて、カメラの中心から対象物までの最近接距離が所定の距離以下であるか否かを判定する。衝突危険度判定部は、最近接距離が所定の距離以下であると、車両と対象物が衝突すると判定する。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態に係る車両用画像処理装置の一例を示す全体構成図。
【図２】カメラ座標系におけるカメラ投影面と対象物との関係を示す説明図。
【図３】（ａ）は、ｒ２−ｒ０２の極小値が負の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図、（ｂ）はｒ２−ｒ０２の極小値が正の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図。
【図４】衝突予測ＥＣＵのＣＰＵが、カメラにより取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する際の手順を示すフローチャート。
【発明を実施するための形態】
【０００７】
本発明に係る車両用画像処理装置および車両用画像処理方法の実施の形態について、添付図面を参照して説明する。
【０００８】
図１は、本発明の一実施形態に係る車両用画像処理装置１０の一例を示す全体構成図である。
【０００９】
車両用画像処理装置１０は、カメラ１１、衝突予測ＥＣＵ（Electronic Control Unit）１２、記憶部１３、表示部１４およびスピーカ１５を有する。
【００１０】
カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、自家用自動車等の車両周囲の画像を取り込んで画像信号を生成して衝突予測ＥＣＵ１２に与える。
【００１１】
たとえば後方を監視する場合、カメラ１１は車両後部のナンバープレート付近に路面と平行な線からやや下向きに配設される。カメラ１１には、より広範な車両外画像が取得可能なように広角レンズや魚眼レンズが取り付けられてもよい。また、車両の側方を監視する場合、カメラ１１はサイドミラー付近に配設される。もちろん、複数のカメラ１１を用いることにより広範な車外周囲画像を取り込むようにしてもよい。
【００１２】
衝突予測ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。衝突予測ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された衝突予測プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、カメラ１１により取得された画像にもとづいて、車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する。
【００１３】
衝突予測ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。衝突予測ＥＣＵ１２のＲＯＭなどの記憶媒体は、衝突予測プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
【００１４】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。
【００１５】
なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って衝突予測ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００１６】
記憶部１３は、衝突予測ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、消失点（ＦＯＥ：Focus of Expansion）の情報ＦＯＥ（ｘ０、ｙ０）、距離マージンｒ０、第１の時間閾値ｓ１、第２の時間閾値ｓ２および接近閾値ｄ０を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。
【００１７】
消失点情報ＦＯＥ（ｘ０、ｙ０）は、衝突予測ＥＣＵ１２により車両の回転成分を算出する際に用いられる。
【００１８】
距離マージンｒ０、第１の時間閾値ｓ１、第２の時間閾値ｓ２および接近閾値ｄ０は、衝突予測ＥＣＵ１２により車両と対象物との衝突危険度を判定するために用いられる。
【００１９】
表示部１４は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（ヘッドアップディスプレイ）などの表示出力装置を用いることができ、衝突予測ＥＣＵ１２の制御に従って衝突警告情報などの各種情報を表示する。
【００２０】
スピーカ１５は、衝突予測ＥＣＵ１２の制御に従って衝突警告情報などの各種情報に対応した音声を出力する。
【００２１】
図１に示すように、衝突予測ＥＣＵ１２のＣＰＵは、衝突プログラムによって、少なくとも動きベクトル算出部２１、回転成分算出部２２、スケールファクタ付き並進成分算出部２３、ユークリッド距離推定部２４、衝突判定部２５、ｚ位置取得部２６、衝突時間推定部２７、衝突危険度判定部２８および警告提示部２９として機能する。この各部２１〜２９は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２２】
ここで、本実施形態で用いるカメラ座標系について簡単に説明する。
【００２３】
図２は、カメラ座標系におけるカメラ投影面３１と対象物３２との関係を示す説明図である。
【００２４】
本実施形態に係る車両用画像処理装置は、カメラ座標系のみを用い、世界座標系を併用しないため、座標系の相互変換等の処理が不要である。
【００２５】
カメラ座標系（ｘ、ｙ、ｚ）は、カメラ１１の中心を原点とする左手座標系である。カメラ座標系のｚ軸は、カメラ１１の光軸に一致するよう設定される。
【００２６】
カメラ投影面３１は、カメラ座標系においてｚ＝ｆの面である。ｆはカメラ１１の焦点距離である。カメラ１１は、このカメラ投影面３１に投影される車両周囲を撮像する。
【００２７】
対象物３２のある点Ｐのカメラ座標系の三次元座標をＰ（Ｘ、Ｙ、Ｚ）とすると、点Ｐのカメラ投影面３１に投影された点ｐの座標はｐ（ｘ、ｙ、ｆ）となる。点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。このとき、距離ｒはｒ２＝（ｚ２／ｆ２）（ｘ２＋ｙ２＋ｆ２）と書ける。ここで、ｘ、ｙは投影面３１上のｘｙ座標値であり、ｚは対象物３２のｚ座標値であることに注意する。投影面３１上のｘｙ座標値は、カメラ１１の画素と対応するものであるため、画像から容易に取得することができる。
【００２８】
動きベクトル算出部２１は、ブロックマッチング法や勾配法などを用いて、カメラ１１１により撮像された複数の画像から画素ごとに動きベクトル（ｕ、ｖ）を算出する。
【００２９】
回転成分算出部２２は、動きベクトル（ｕ、ｖ）および消失点情報ＦＯＥ（ｘ０、ｙ０）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。以下、より具体的に説明する。
【００３０】
カメラ投影面３１上の動きベクトル（ｕ、ｖ）は、次のように書けることが知られている。
U = xy(1/f)Rx−(x2+f2)(1/f)Ry+yRz−f(Tx/z)+x(Tz/z) （１）
V = (y2+f2)(1/f) Rx−xy(1/f)Ry−xRz−f(Ty/z)+y(Tz/z) （２）
【００３１】
ここで、ｘ、ｙは投影面３１上のｘｙ座標値、ｚは対象物３２のｚ座標値をあらわす。また、Ｒｘ、Ｒｙ、Ｒｚ、Ｔｘ、Ｔｙ、Ｔｚは運動パラメータであり、Ｒｘ、Ｒｙ、Ｒｚは車両の回転成分をあらわし、Ｔｘ、Ｔｙ、Ｔｚは自車と対象物３２との相対並進成分をあらわす。
【００３２】
車両の回転成分Ｒｘはｘ軸中心の回転成分であり、自車のピッチング成分をあらわす。また、Ｒｙはｙ軸中心の回転成分であり、自車のヨーイング成分をあらわす。ヨーイングは、主に舵角時（自車の曲進時）に発生する。Ｒｚはｚ軸中心の回転成分であり自車のローリング成分をあらわす。
【００３３】
式（１）および式（２）は、それぞれ次のように変形できる。
u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz = −f(Tx/z)+x(Tz/z) （３）
v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz = −f(Ty/z)+y(Tz/z) （４）
【００３４】
式（３）および式（４）において、左辺は動きベクトル（ｕ、ｖ）を回転成分で補正したものである。
【００３５】
対象物３２が静止物である場合には、式（３）の式（４）に対する比は、画素（ｘ、ｙ）からＦＯＥ（ｘ０、ｙ０）に向かう傾きと等しくなることが知られている（崎本隆志ら、火の国情報シンポジウム２００３講演論文集、「拡張焦点を用いた移動車両検出及び追跡に関する研究」（２００３））。
このため、次の式（５）が導かれる。
[u−xy(1/f)Rx+(x2+f2)(1/f)Ry−yRz]/[ v−(y2+f2)(1/f) Rx+xy(1/f)Ry+xRz]
= [x-x0]/[y-y0] （５）
【００３６】
したがって、Ｒｘ、Ｒｙ、Ｒｚを３つの未知数と考えれば、静止物に対応する少なくとも３つの画素の動きベクトルを得ることができればＲｘ、Ｒｙ、Ｒｚを算出できる。
【００３７】
そこで、回転成分算出部２２は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の画素の動きベクトル（ｕ、ｖ）についての式（５）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。すなわち、回転成分算出部２２は、カメラ１１が取得した画像から回転成分を算出することができる。
【００３８】
なお、回転成分は、車速データや舵角データなどの車両情報やジャイロセンサなどから求めることもできる。
【００３９】
スケールファクタ付き並進成分算出部２３は、画像に含まれる対象物３２に対応する動きベクトル（ｕ、ｖ）と車両の回転成分Ｒｘ、Ｒｙ、Ｒｚとにもとづいて、対象物３２のスケールファクタ付きの相対並進成分（以下、スケールファクタ付き並進成分という）Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００４０】
スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚは、対象物３２の相対並進成分Ｔｘ、Ｔｙ、Ｔｚを対象物３２のｚ座標値で除したものである。このため、相対並進成分Ｔｘ、Ｔｙ、Ｔｚが同一であれば、遠くにある（ｚ座標値が大きい）ものほどスケールファクタ付き並進成分が小さくなる。対象物３２の点Ｐが静止しているか移動しているかによらず、点Ｐはスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚで運動していると画像上において観測される。以下、より具体的に説明する。
【００４１】
回転成分Ｒｘ、Ｒｙ、Ｒｚは、画面内の任意の位置で共通なパラメータである。このため、式（３）および式（４）にもとづき、任意の画素に対して次式が成り立つ。
−f(Tx/z)+x(Tz/z) = a （６）
−f(Ty/z)+y(Tz/z) = b （７）
【００４２】
ここで、ａは式（３）の左辺をあらわす観測値であり、ｂは式（４）の左辺をあらわす観測値である。対象物３２の複数の画素（ｘ、ｙ）についての観測値ａ、ｂが得られれば、式（６）および式（７）から未知数Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを得ることができる。
【００４３】
そこで、スケールファクタ付き並進成分算出部２３は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、画像に含まれる対象物３２に対応する複数の画素についての動きベクトル（ｕ、ｖ）と、にもとづいて式（６）および式（７）のａおよびｂを算出することにより、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００４４】
換言すれば、スケールファクタ付き並進成分算出部２３は、対象物３２のｚ座標値を用いることなく対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを得ることができる。
【００４５】
ユークリッド距離推定部２４は、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いてカメラ１１の中心から対象物３２までの距離ｒを時間ｔの関数としてあらわす式を立てる。以下、より具体的に説明する。
【００４６】
現時刻から時刻ｔまで自車および対象物３２は同じ運動をすると仮定すると、時刻ｔ秒後における原点と点Ｐとの距離ｒの２乗はユークリッド距離として、時刻ｔの２次関数であらわすことができる。
r2 = (X−Txt)2+(Y−Tyt)2+(Z−Tzt)2 （８）
【００４７】
上述の通り、点Ｐのｚ座標（光軸方向座標）をｚと定義すると（Ｚ＝ｚ）、Ｘ＝（ｚ／ｆ）・ｘ、Ｙ＝（ｚ／ｆ）・ｙ、Ｚ＝ｚと書ける。これを式（８）に代入すると、次式を得る。
r2 = (xz/f−Txt)2+(yz/f−Tyt)2+(z−Tzt)2 （９）
【００４８】
式（９）は、次のように変形できる。
r2 / z2 = At2−2Bt＋C （１０）
ただし、A = (Tx/z)2+(Ty/z)2+(Tz/z)2、
B = (1/ f)(x Tx/z+yTy/z +fTz/z)、
C = (1/ f2)( x2+y2+f2) をそれぞれあらわす。
【００４９】
式（１０）のＡは正であるから、ｒ２は下に凸のｔの２次関数である。式（１０）から、ｒ２の極小値ｒ２ｍｉｎおよび極小値ｒ２ｍｉｎをとる時間ｔはそれぞれ次のようにあらわせる。
r2min=(z/f)2{(x2+y2+f2)−(xTx/z+yTy/z+fTz/z)2/ (Tx2/z2+Ty2/z2+Tz2/z2)} （１１）
t = (1/f)(xTx/z +yTy/z +fTz/z)/ (Tx2/z2 +Ty2/z2 +Tz2/z2) （１２）
【００５０】
式（１１）から明らかなように、ｒ２の極小値は、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚおよび対象物３２のｚ座標値が得られれば算出することができる。また、式（１２）から明らかなように、ｒ２が極小値となる時刻ｔは、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚが得られれば算出することができる。
【００５１】
ｒ２がゼロになるということは、点Ｐが原点（カメラ中心）に到達することを意味する。したがって、ｒ２の極小値は、車両と対象物３２との衝突危険性を判定するための指標として用いることができる。
【００５２】
また、車両と対象物が所定の距離（以下、距離マージンｒ０という）以内に近づくか否かを判定することも、衝突危険性の判定に有効であると考えられる。車両と対象物が所定の距離（以下、距離マージンｒ０という）以内に近づくか否かを判定するためには、まず式（９）の両辺から距離マージンｒ０を減じた次式を立てる。
r2 −r0 = (xz/f−Txt)2+(yz/f−Tyt)2+(z−Tzt)2 −r0 （１３）
【００５３】
式（１３）から、ｒ２−ｒ０２の極小値ｒ２−ｒ０２ｍｉｎは次のようにあらわせる。
r2 −r02min =(z/f)2{(x2+y2+f2)−(xTx/z+yTy/z+fTz/z)2/ (Tx2/z2+Ty2/z2+Tz2/z2)} （１４）
【００５４】
なお、ｒ２−ｒ０２が極小値をとる時間ｔは式（１０）であらわせる。
【００５５】
以下の説明では、ユークリッド距離推定部２４が、記憶部１３から距離マージンｒ０を取得し、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いた式（８）にもとづく式（１４）を立て、この式を衝突判定部２５に与える場合の例について示す。
【００５６】
衝突判定部２５は、式（８）にもとづく式（１４）を用いて、カメラ１１の中心から対象物３２までの最近接距離（ｒの極小値）が距離マージンｒ０以下であるか否か、すなわち式（１４）においてｒ２−ｒ０２の極小値がゼロ以下となるか否かを判定する。なお、衝突判定部２５は、カメラ１１の中心から対象物３２までの最近接距離が距離マージンｒ０以下となる場合にはさらに、車両と対象物３２とが衝突すると判定してもよい。また、衝突判定部２５は、ｒ２−ｒ０２の極小値が正である場合、この極小値が記憶部１３に記憶された接近閾値ｄ１より小さいか（ただし、ｄ１＞０とする）否かを判定する。
【００５７】
式（１４）を解くためには、スケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚのほか、対象物３２のｚ座標値が必要である。対象物３２のｚ座標値は、ｚ位置取得部２６から衝突判定部２５に与えられる。
【００５８】
ｚ位置取得部２６は、対象物３２のｚ座標値を取得して衝突判定部２５に与える。たとえば、対象物３２が静止物である場合は、相対並進成分Ｔｘ、Ｔｙ、Ｔｚを別途求めておき、相対並進成分Ｔｘ、Ｔｙ、Ｔｚとスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとから求めることができる。相対並進成分Ｔｘ、Ｔｙ、Ｔｚは、画像から求めることもできるし、車両の車速データや舵角データなどの車両情報や加速度センサなどから求めることもできる。なお、対象物３２のｚ座標値は、１台のカメラ１１以外の部材を用いる場合、レーダ、レーダレーザ、光切断法、ステレオカメラなどによる距離測定法により求めることもできる。
【００５９】
図３（ａ）は、ｒ２−ｒ０２の極小値が負の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図であり、（ｂ）はｒ２−ｒ０２の極小値が正の場合におけるｒ２−ｒ０２と時間ｔの関係の一例を示す説明図である。
【００６０】
衝突時間推定部２７は、式（８）にもとづく式（１４）を用いて、カメラ１１の中心から対象物３２までの距離ｒが距離マージンｒ０となる時間を算出する。なお、カメラ１１の中心から対象物３２までの距離ｒが距離マージンｒ０となるのは、ｒ２−ｒ０２の極小値がゼロ以下の場合のみである（図３（ａ）参照）。
【００６１】
具体的には、衝突時間推定部２７は、式（１４）の左辺をゼロとした式の実根ｔ１およびｔ２を求め、小さいほうの根ｔ１を衝突までの時間ＴＴＣ（Time To Collision）とする。
【００６２】
衝突危険度判定部２８は、カメラ１１の中心から対象物３２までの最近接距離と、カメラ１１の中心から対象物３２までの距離ｒがｒ０となる時間ＴＴＣとに応じて車両と対象物３２との衝突危険性を複数の段階に分類する。以下の説明では、衝突危険性が３段階に分類される場合の例について示す。
【００６３】
より具体的には、衝突危険度判定部２８は、最近接距離がｒ０以下であり、かつＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１より小さいと、危険度を「高」と判定する。また、最近接距離がｒ０以下であり、かつＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１以上第２の時間閾値ｓ２未満であると、危険度を「中」と判定し、ｓ２以上であると危険度を「低」と判定する。
【００６４】
また、衝突危険度判定部２８は、最近接距離がｒ０より大きくかつ、ｒ２−ｒ０２の極小値が記憶部１３に記憶された接近閾値ｄ１より小さい場合は危険度を「中」と判定し、ｄ１以上である場合は危険度を「低」と判定する。
【００６５】
警告提示部２９は、衝突危険度判定部２８により分類された衝突危険性に応じて、表示部１４やスピーカ１５を介して運転者に対して警告を行う。たとえば、危険度「高」の場合、運転者に緊急であることが認識されるよう、表示部１４を介した映像およびスピーカ１５を介した音声で衝突する危険があることを通知するとよい。また、危険度「中」の場合は、運転者に注意を促す程度に、表示部１４を介した映像およびスピーカ１５を介した音声で衝突する危険があることを通知するとよい。危険度「低」の場合は、運転者への警告を行わなくてもよい。
【００６６】
次に、本実施形態に係る車両用画像処理装置および車両用画像処理方法の動作の一例について説明する。
【００６７】
図４は、衝突予測ＥＣＵ１２のＣＰＵが、カメラ１１により取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定する際の手順を示すフローチャートである。図４において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。
【００６８】
まず、ステップＳＴ１において、動きベクトル算出部２１は、カメラ１１から撮像画像の画像データを取得する。
【００６９】
次に、ステップＳＴ２において、動きベクトル算出部は、取得した画像データにもとづき、カメラ１１により撮像された複数の画像間の動きベクトル（ｕ、ｖ）を画素ごとに求める。
【００７０】
次に、ステップＳＴ３において、回転成分算出部２２は、消失点情報ＦＯＥ（ｘ０、ｙ０）を記憶部１３から取得し、静止物に対応する３つ以上の動きベクトル（ｕ、ｖ）についての式（５）にもとづいて回転成分Ｒｘ、Ｒｙ、Ｒｚを算出する。
【００７１】
次に、ステップＳＴ４において、スケールファクタ付き並進成分算出部２３は、車両の回転成分Ｒｘ、Ｒｙ、Ｒｚと、画像に含まれる対象物３２に対応する複数の画素についての動きベクトル（ｕ、ｖ）と、にもとづいて式（６）および式（７）のａおよびｂを算出することにより、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する。
【００７２】
次に、ステップＳＴ５において、ユークリッド距離推定部２４は、記憶部１３から距離マージンｒ０を取得し、カメラ座標系における対象物３２の三次元座標値（Ｘ、Ｙ、Ｚ）とスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚとを用いた式（８）にもとづく式（９）および式（１０）を立てる。
【００７３】
次に、ステップＳＴ６において、ユークリッド距離推定部２４は、式（９）の両辺から距離マージンｒ０を減じた式（１３）を立てる。また、ユークリッド距離推定部２４は、式（１３）にもとづきｒ２−ｒ０２の極小値を求めるための式（１４）を立て、この式（１４）を衝突判定部２５に与える。
【００７４】
次に、ステップＳＴ７において、衝突判定部２５は、ｚ位置取得部２６から対象物３２のｚ座標値を取得し、このｚ座標値およびスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを代入して式（１４）を解くことにより、ｒ２−ｒ０２の極小値がゼロ以下となるか否かを判定する。ｒ２−ｒ０２の極小値がゼロ以下となる場合はステップＳＴ８に進む。一方、ｒ２−ｒ０２の極小値が正である場合は、ステップＳＴ１３に進む。
【００７５】
次に、ステップＳＴ８において、衝突時間推定部２７は、式（１４）の左辺をゼロとした式の実根ｔ１およびｔ２を求め、小さいほうの根ｔ１を衝突までの時間ＴＴＣ（Time To Collision）と推定する。
【００７６】
次に、ステップＳＴ９において、衝突危険度判定部２８は、ＴＴＣが記憶部１３に記憶された第１の時間閾値ｓ１より小さいか否かを判定する。ＴＴＣが第１の時間閾値ｓ１より小さい場合はステップＳＴ１０に進む。一方、ＴＴＣが第１の時間閾値ｓ１以上である場合はステップＳＴ１１に進む。
【００７７】
次に、ステップＳ１０において、衝突危険度判定部２８は、衝突危険度を「高」と判定し、ステップＳＴ１５に進む。
【００７８】
他方、ステップＳＴ９でＴＴＣが第１の時間閾値ｓ１以上であると判定されると、ステップＳＴ１１において、衝突危険度判定部２８は、ＴＴＣが記憶部１３に記憶された第２の時間閾値ｓ２より小さいか否かを判定する。ＴＴＣが第２の時間閾値ｓ２より小さい場合はステップＳＴ１２に進む。一方、ＴＴＣが第２の時間閾値ｓ２以上である場合はステップＳＴ１４に進む。
【００７９】
次に、ステップＳＴ１２において、衝突危険度判定部２８は、衝突危険度を「中」と判定し、ステップＳＴ１５に進む。
【００８０】
また、ステップＳＴ１３において、衝突危険度判定部２８は、衝突危険度を「低」と判定し、ステップＳＴ１５に進む。
【００８１】
他方、ステップＳＴ７でｒ２−ｒ０２の極小値が正であると判定されると、ステップＳＴ１４において、衝突判定部２５はｒ２−ｒ０２の極小値が記憶部１３に記憶された接近閾値ｄ１より小さいか否かを判定する。ｒ２−ｒ０２の極小値が接近閾値ｄ１より小さい場合は、ステップＳ１２に進んで衝突危険度判定部２８により衝突危険度が「中」であると判定される。一方、ｒ２−ｒ０２の極小値が接近閾値ｄ１以上である場合は、ステップＳ１４に進んで衝突危険度判定部２８により衝突危険度が「低」であると判定される。
【００８２】
そして、ステップＳ１５において、警告提示部２９は、衝突危険度判定部２８により分類された衝突危険性に応じて、表示部１４やスピーカ１５を介して運転者に対して警告を行う。
【００８３】
以上の手順により、カメラ１１により取得された画像にもとづいて車両の曲進および車両の振動による影響を考慮して対象物との衝突可能性を判定することができる。
【００８４】
本実施形態に係る車両用画像処理装置１０は、対象物３２のスケールファクタ付き並進成分Ｔｘ／ｚ、Ｔｙ／ｚ、Ｔｚ／ｚを算出する際に、動きベクトル（ｕ、ｖ）を回転成分Ｒｘ、Ｒｙ、Ｒｚで補正した式（３）および式（４）を用いる。このため、車両の曲進や振動の影響は排除される。したがって、車両用画像処理装置１０によれば、自車の曲進および自車の振動による影響を考慮して対象物３２との衝突可能性を的確に判定することができる。
【００８５】
また、車両用画像処理装置１０は、車両と対象物３２との距離ｒにもとづいて衝突危険性を判定する。したがって、対象物３２が静止物であるか移動物であるかによらず、正確に衝突危険性を判定することができる。また、対象物３２が静止物であれば、１台のカメラ１１のみからｚ座標値を得ることができるため、車両用画像処理装置１０を簡素に構成することができる。
【００８６】
また、車両用画像処理装置１０は、単一の座標系（カメラ座標系）のみを用いる。このため、カメラ座標系と世界座標系とを併用する場合に比べ、座標系のの相互変換等の処理が不要となり、衝突危険予測に必要な演算量を少なくすることができる。
【００８７】
また、車両用画像処理装置１０は、カメラ１１の中心から対象物３２までの最近接距離と、カメラ１１の中心から対象物３２までの距離ｒがｒ０となる時間ＴＴＣとに応じて車両と対象物３２との衝突危険性を複数の段階に分類し、この分類に応じた適切な警告を運転者に与えることができる。
【００８８】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８９】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【００９０】
１０ 車両用画像処理装置
１１ カメラ
１２ 衝突予測ＥＣＵ
１３ 記憶部
２１ 動きベクトル算出部
２２ 回転成分算出部
２３ スケールファクタ付き並進成分算出部
２５ 衝突判定部
２６ ｚ位置取得部
２７ 衝突時間推定部
２８ 衝突危険度判定部
３１ カメラ投影面
３２ 対象物
【特許請求の範囲】
【請求項１】
車両に設けられ前記車両の周辺を撮像するカメラと、
前記カメラにより撮像された複数の画像間の動きベクトルを求める動きベクトル算出部と、
前記画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するスケールファクタ付き並進成分算出部と、
前記カメラ座標系における前記対象物の光軸方向座標値を取得するｚ位置取得部と、
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの最近接距離が所定の距離以下であるか否かを判定する衝突判定部と、
前記最近接距離が前記所定の距離以下であると、前記車両と前記対象物が衝突すると判定する衝突危険度判定部と、
を備えたことを特徴とする車両用画像処理装置。
【請求項２】
前記対象物は静止物であり、
消失点の情報および少なくとも３つの前記画素の動きベクトルにもとづいて前記回転成分を算出する回転成分算出部、
をさらに備えた請求項１記載の車両用画像処理装置。
【請求項３】
前記ｚ位置取得部は、
前記カメラにより撮像された画像から前記車両の並進成分を求め、前記車両の並進成分を前記スケールファクタ付き相対並進成分で除すことにより前記カメラ座標系における前記対象物の光軸方向座標値を取得する、
請求項２記載の車両用画像処理装置。
【請求項４】
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの距離が前記所定の距離となる時間を算出する衝突時間推定部、
をさらに備えた請求項１ないし３のいずれか１項に記載の車両用画像処理装置。
【請求項５】
前記衝突危険度判定部は、
前記最近接距離と前記カメラの中心から前記対象物までの距離が前記所定の距離となる時間とに応じて前記車両と前記対象物との衝突危険性を複数の段階に分類する、
請求項４記載の車両用画像処理装置。
【請求項６】
車両に設けられたカメラが前記車両の周辺を撮像するステップと、
前記カメラにより撮像された複数の画像間の動きベクトルを画素ごとに求めるステップと、
前記車両の回転成分と前記画像に含まれる対象物に対応する動きベクトルとにもとづいて、スケールファクタ付き相対並進成分を算出するステップと、
前記カメラ座標系における前記対象物の光軸方向座標値を取得するステップと、
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの最近接距離が所定の距離以下であるか否かを判定するステップと、
前記最近接距離が前記所定の距離以下であると、前記車両と前記対象物が衝突すると判定するステップと、
を有することを特徴とする車両用画像処理方法。
【請求項１】
車両に設けられ前記車両の周辺を撮像するカメラと、
前記カメラにより撮像された複数の画像間の動きベクトルを求める動きベクトル算出部と、
前記画像に含まれる対象物に対応する動きベクトルと前記車両の回転成分とにもとづいて、スケールファクタ付き相対並進成分を算出するスケールファクタ付き並進成分算出部と、
前記カメラ座標系における前記対象物の光軸方向座標値を取得するｚ位置取得部と、
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの最近接距離が所定の距離以下であるか否かを判定する衝突判定部と、
前記最近接距離が前記所定の距離以下であると、前記車両と前記対象物が衝突すると判定する衝突危険度判定部と、
を備えたことを特徴とする車両用画像処理装置。
【請求項２】
前記対象物は静止物であり、
消失点の情報および少なくとも３つの前記画素の動きベクトルにもとづいて前記回転成分を算出する回転成分算出部、
をさらに備えた請求項１記載の車両用画像処理装置。
【請求項３】
前記ｚ位置取得部は、
前記カメラにより撮像された画像から前記車両の並進成分を求め、前記車両の並進成分を前記スケールファクタ付き相対並進成分で除すことにより前記カメラ座標系における前記対象物の光軸方向座標値を取得する、
請求項２記載の車両用画像処理装置。
【請求項４】
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの距離が前記所定の距離となる時間を算出する衝突時間推定部、
をさらに備えた請求項１ないし３のいずれか１項に記載の車両用画像処理装置。
【請求項５】
前記衝突危険度判定部は、
前記最近接距離と前記カメラの中心から前記対象物までの距離が前記所定の距離となる時間とに応じて前記車両と前記対象物との衝突危険性を複数の段階に分類する、
請求項４記載の車両用画像処理装置。
【請求項６】
車両に設けられたカメラが前記車両の周辺を撮像するステップと、
前記カメラにより撮像された複数の画像間の動きベクトルを画素ごとに求めるステップと、
前記車両の回転成分と前記画像に含まれる対象物に対応する動きベクトルとにもとづいて、スケールファクタ付き相対並進成分を算出するステップと、
前記カメラ座標系における前記対象物の光軸方向座標値を取得するステップと、
前記カメラ座標系における前記対象物の前記光軸方向座標値を含む三次元座標値と前記スケールファクタ付き相対並進成分とを用いて前記カメラの中心から前記対象物までの距離を時間の関数としてあらわした式にもとづいて、前記カメラの中心から前記対象物までの最近接距離が所定の距離以下であるか否かを判定するステップと、
前記最近接距離が前記所定の距離以下であると、前記車両と前記対象物が衝突すると判定するステップと、
を有することを特徴とする車両用画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１１３３５８（Ｐ２０１２−１１３３５８Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２５９４１６（Ｐ２０１０−２５９４１６）
【出願日】平成２２年１１月１９日（２０１０．１１．１９）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月１９日（２０１０．１１．１９）
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]