接近物体検知装置及び接近物体検知方法
【課題】低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる接近物体検知装置を提供する。
【解決手段】接近物体検知装置は、異なる時刻に撮像部（２）により取得された車両（１０）の周囲を撮影した二つの画像から特徴点を抽出する特徴点抽出部（４３２）と、その二つの画像間で同一の物体に関する特徴点からその物体の画像上の観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、撮像部（２）の移動に起因する各特徴点に対応する物体の見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、特徴点ごとに観測移動ベクトルから見かけの移動ベクトルの最小値を減じて補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、その補正移動ベクトルに対応する物体が車両（１０）に接近する移動物体か否か判定する判定部（４３７）とを有する。
【解決手段】接近物体検知装置は、異なる時刻に撮像部（２）により取得された車両（１０）の周囲を撮影した二つの画像から特徴点を抽出する特徴点抽出部（４３２）と、その二つの画像間で同一の物体に関する特徴点からその物体の画像上の観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、撮像部（２）の移動に起因する各特徴点に対応する物体の見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、特徴点ごとに観測移動ベクトルから見かけの移動ベクトルの最小値を減じて補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、その補正移動ベクトルに対応する物体が車両（１０）に接近する移動物体か否か判定する判定部（４３７）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接近物体検知装置及び接近物体検知方法に関し、特に、車両に接近する物体をその車両に搭載されたカメラを用いて検知する接近物体検知装置及び接近物体検知方法に関する。
【背景技術】
【０００２】
駐車されている車両が後退発進する際に、その車両に接近してくる他の車両または歩行者といった移動物体とその車両との接触事故が発生することがある。この種の事故は、後退発進する車両のドライバから、接近してくる移動物体が見え難いことが主な原因の一つである。そこで、接近してくる移動物体を見易くするために、車両にリアカメラを搭載し、リアカメラにより撮影された画像に基づいて車両に接近する物体を検知し、その検知結果に基づいて、車両の運転者に対して警告を行う装置及び方法が提案されている（例えば、特許文献１〜３を参照）。
【０００３】
そのような方法の一つは、時間的に連続した複数の画像上に占める対象物のサイズの時間変化を求め、対象物のサイズが拡大していれば、その対象物を接近物体として検知する。例えば、特許文献１に開示された装置は、異なる時刻に得られた二つの画像間の略水平方向のオプティカルフローを算出し、オプティカルフローが類似した移動領域の中から鉛直方向の信号値の分布（プロファイル）を求め、異なる時刻に得られた二つの画像上の上記のプロファイル間で動的計画法を施すことにより移動領域内の物体の拡大率を算出する。そしてその装置は、物体の拡大率に応じてその物体が真に接近してくる物体か否か判定する。
【０００４】
他の方法として，時空間画像内に現れる傾斜した線を抽出することにより、接近してくる物体の存在を判定する方法が知られている。例えば、特許文献２に開示された装置は、画像上での道路の消失点を基準として水平方向の一次元の検査ラインを複数設定し、この検査ラインのそれぞれにおいて所定フレーム数の画像上のピクセルの値を時系列に積み上げ時空間画像を作成する。そしてこの装置は、時空間画像に対してエッジ抽出処理と２値化処理を施して、移動物体に対応する傾斜した線を抽出することにより、接近する車両を検出する。
【０００５】
さらに他の方法として、視点変換による鳥瞰図画像に基づいて、接近してくる物体の存在を判定する方法が知られている。例えば、特許文献３に開示された装置は、異なる時刻に得られた二つの画像を視点変換によって鳥瞰図画像に変換し、変換された画像の位置合わせを行う。そしてこの装置は、位置合わせ後の２つの鳥瞰図画像において特徴点の移動量を求めることにより障害物を検出し、障害物が地面に接している点の移動量から、障害物の静止／移動を判定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５２８７３号公報
【特許文献２】特開２００５−２１７４８２号公報
【特許文献３】特開２００８−２１９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、拡大率に基づいて移動物体の接近を検知する装置は、車両に接近してくる移動物体が比較的遠方に位置する場合、画像上での移動物体のサイズが小さいために拡大率を正確に求めることができず、その結果としてその移動物体が接近してくるか否かを正確に判定できないおそれがあった。例えば、なるべく広い領域を視野に収めるために、リアカメラとして広角カメラが使用されると、車両から約20m程度離れた位置にある他の車両の画像上の面積は極めて小さく、例えば、数ピクセル〜10数ピクセル程度となる。そして、拡大率を求めるために利用する二つの画像の取得時間の間隔が短いと、拡大率の真値は1.0をわずかに上回る程度の値となるので、その二つの画像間での、画像上の他の車両の面積の変化も1ピクセル未満から1ピクセル程度となる。そのため、このような場合に、拡大率に基づいて移動物体の接近を検知する装置は、画像上に写っている他の車両が接近してくるか否かを正確に判定することは困難である。
【０００８】
また、時空間画像に基づいて接近物体を検知する装置は、自車両の速度を無視できない場合に接近物体の検出が困難となるおそれがあった。例えば、自車両の直進方向に対して直交する方向に進む接近物体が存在する場合、自車両の速度と接近物体の速度によっては、自車両の直進方向と自車両から接近物体を結ぶ直線とのなす角が殆ど変化しないことがある。このような場合、時空間画像に写るエッジは時間が経過しても変化せず、したがって接近物体の検出が困難となる。これよりさらに自車両の速度が速くなれば、接近物体によるエッジの傾きは背景点によるエッジの傾きと類似するため、この装置は、接近物体を検知することができなくなる。
【０００９】
さらに、鳥瞰図画像に基づいて接近物体を検知する装置は、画像の視点変換に加え特徴点検出とオプティカルフローの算出が必要であるため、処理負荷が高い。
【００１０】
そこで、本発明は、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる接近物体検知装置及び接近物体検知方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１の記載によれば、本発明の一つの形態として、接近物体検知装置が提供される。係る接近物体検知装置は、車両（１０）に搭載され、車両（１０）の周囲を撮影した画像を順次取得する撮像部（２）と、異なる時間において撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出する特徴点抽出部（４３２）と、その二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、その対応付けられた特徴点間の画像上の位置の差を求めることにより、その物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因する、画像上での物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、観測移動ベクトルから見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、二つの画像のうちの一方から抽出された特徴点のうちの少なくとも一つの特徴点についての補正移動ベクトルに、車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、その補正移動ベクトルに対応する物体は車両に接近する移動物体であると判定する判定部（４３７）とを有する。
本発明に係る接近物体検知装置は、上記の構成を有することにより、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる。
【００１２】
また請求項２の記載によれば、最小見かけ移動ベクトル算出部（４３４）は、撮像部（２）から、二つの画像のうちの一方の画像から抽出された特徴点を通る視線上の地面の位置を求め、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因するその地面の位置についての画像上の見かけの移動ベクトルを見かけの移動ベクトルの最小値とすることが好ましい。
車両に搭載された撮像部から見た視線上に存在する物体のうち、最も遠方に位置するのは地面であると推定される。そのため、最小見かけ移動ベクトル算出部（４３４）は、視線上の地面の位置を基準とすることで、見かけの移動ベクトルの最小値を正確に決定できる。
【００１３】
あるいは請求項３の記載によれば、判定部（４３７）は、車両（１０）の進行方向に接近する方向の移動成分が含まれる補正ベクトルに対応する特徴点を接近物体候補点として検出し、一つの物体に対応する接近物体候補点が複数存在する場合に限り、その物体は車両に接近する移動物体であると判定することが好ましい。
これにより、接近物体検知装置は、特徴点を誤検出したり、あるいは複数の画像間で特徴点同士が誤って対応付けられることにより、移動物体が接近物体であると誤って判定される可能性を低減できる。
【００１４】
また請求項４の記載によれば、この接近物体検知装置は、車両（１０）に接近する移動物体であると判定された物体の存在を表す画像を表示部（３）に表示させる表示制御部（４３８）を有することがさらに好ましい。
これにより、この接近物体検知装置は、車両のドライバが、自車両に接近する移動物体が存在することを気付き易くできるので、衝突事故の発生を未然に防止できる。
【００１５】
また請求項５の記載によれば、本発明の他の形態として、接近物体検知方法が提供される。係る接近物体検知方法は、車両（１０）の周囲を撮影した画像を、その車両（１０）に搭載された撮像部（２）により順次取得するステップと、異なる時刻において撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出するステップと、その二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、対応付けられた特徴点間の画像上の位置の差を求めることにより、その物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求めるステップと、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因する、画像上での物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出するステップと、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、観測移動ベクトルから見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出するステップと、二つの画像のうちの一方から抽出された特徴点のうちの少なくとも一つの特徴点についての補正移動ベクトルに、車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、その補正移動ベクトルに対応する物体は車両（１０）に接近する移動物体であると判定するステップとを有する。
本発明に係る接近物体検知方法は、上記のステップを有することにより、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる。
【００１６】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００１７】
【図１】本発明の一つの実施形態に係る接近物体検知装置の概略構成図である。
【図２】本発明の一つの実施形態に係る接近物体検知装置の制御部の機能ブロック図である。
【図３】車載カメラの撮影範囲と、２台の仮想ピンホールカメラの撮影範囲との関係を示す図である。
【図４】車載カメラの並進移動とMDPPとの関係を表す図である。
【図５】（ａ）〜（ｄ）は、観測移動ベクトル、MDPP及び補正移動ベクトルの関係の一例を示す図である。
【図６】補正移動ベクトルと車両の進行方向との関係を示す図である。
【図７】接近物体検知処理の動作フローチャートである。
【発明を実施するための形態】
【００１８】
以下、図を参照しつつ、一つの実施形態による、接近物体検知装置について説明する。
この接近物体検知装置は、車両の周囲を撮影するカメラから取得された画像から、車両に接近する移動物体を検出する。その際、この接近物体検知装置は、取得時間の異なる複数の画像上の移動物体の位置から、画像上での移動物体の移動量及び移動方向を表す観測移動ベクトルを求める。ここで、車両自体が移動している場合、カメラによって取得された画像上での移動物体の観測移動ベクトルは、移動物体そのものの移動方向及び移動量に対応する真の移動ベクトルと、カメラの移動に起因する見かけの移動ベクトルとを足し合わせたものになる。見かけの移動ベクトルが真の移動ベクトルに対して無視できない程度に大きければ、観測移動ベクトルにおける、車両に接近する方向の成分が非常に小さくなったり、場合によっては、移動物体が車両に接近しているにもかかわらず、その成分が、移動物体が車両から遠ざかることを表す値となることもある。そのため、移動物体が車両に接近しているか否かを正確に判定するためには、接近物体検知装置は、観測移動ベクトルから見かけの移動ベクトルを減算したベクトルを用いることが好ましい。
【００１９】
しかし、カメラが単眼カメラである場合、接近物体検知装置は、車両から画像上に写っている移動物体までの正確な距離を求めることができないため、見かけの移動ベクトルを正確に算出することはできない。また、画像上に写っている静止物体に関しては、その静止物体がカメラから遠く離れているほど、その静止物体についての見かけの移動ベクトルは小さくなる。そして注目する画素に写っている静止物体が地面である場合、カメラからその静止物体までの距離は最長となる。
一方、カメラの焦点距離、光軸方向及び地面からカメラまでの高さといった、カメラの位置及び光学系に関する情報は既知である。そのため、そのカメラにより生成された画像上の各画素における、カメラから地面までの距離は算出可能である。そのため、接近物体検知装置は、各画素における見かけの移動ベクトルの最小値を求めることができる。
【００２０】
そこでこの接近物体検知装置は、観測移動ベクトルから、車両の移動に伴うカメラから移動物体を通る直線上に位置する地面の見かけの移動ベクトルを減算することにより観測移動ベクトルを補正する。そしてこの接近物体検知装置は、補正された観測移動ベクトルに基づいて移動物体が自車両に接近するか否かを判定する。これによりこの接近物体検知装置は、移動物体が自車両に接近するか否かの判定精度の向上を図る。
【００２１】
図１は、一つの実施形態による接近物体検知装置の概略構成図である。図１に示すように、接近物体検知装置１は、車両１０に搭載され、車載カメラ２と、ディスプレイ３と、コントローラ４とを有する。車載カメラ２及びディスプレイ３と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）５によって互いに接続されている。なお、図１では、説明の都合のため、接近物体検知装置１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。
【００２２】
車載カメラ２は、撮像部の一例であり、車両の後方領域を撮影し、その後方領域の画像を生成する。そのために、車載カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車両１０の後方に存在する地面または構造物などの像を結像する結像光学系を有する。そして車載カメラ２は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の後方を向くように、車両１０の後端部の略中央に配置される。また本実施形態では、車両１０の後方の広い範囲を撮影できるように、車載カメラ２は水平画角が180°以上である超広角カメラとする。そして車載カメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車載カメラ２は、車両１０の後方領域を撮影した画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、車載カメラ２は、画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。
【００２３】
本実施形態では、便宜上、実空間において、車載カメラ２の像側焦点を原点とする座標系を設定する。そして車載カメラ２の光軸に平行な方向をz軸とし、鉛直方向をy軸とする。そして車載カメラ２から車両１０の後方へ向かう方向、及び車両１０から地面へ向かう方向を、それぞれ、z軸、y軸における正の方向とする。またx軸の正方向は右手座標系により規定される。
【００２４】
なお、接近物体検知装置１は、撮像部として、車両１０の後方領域を撮影するリアカメラの代わりに、あるいはリアカメラとともに、車両の前方領域または側方領域を撮影するカメラを有していてもよい。例えば、そのようなカメラは、フロントウインドウの上端近傍に、前方を向くように配置されてもよい。
【００２５】
車載カメラ２は、生成した画像を逐次コントローラ４へ送信する。なお、車両の前方領域を撮影する車載カメラと車両の後方領域を撮影する車載カメラが取り付けられている場合、コントローラ４は、車両が進行している方向を撮影する車載カメラからの画像のみを選択的に取得してもよい。そのために、コントローラ４は、ＣＡＮ５を介して車両１０の電子制御ユニット(ECU)１１から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ４は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車載カメラから画像を取得する。一方、コントローラ４は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車載カメラから画像を取得する。
【００２６】
ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、表示画面が運転者に向くように、インストルメントパネル内に配置される。また、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の車載装置のディスプレイであってもよい。そしてディスプレイ３は、コントローラ４により制御され、またコントローラ４から受信した画像を表示する。
【００２７】
コントローラ４は、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、接近物体検知装置１を制御するための各種プログラム、及び車載カメラ２の地面からの高さ及び光軸方向といった車載カメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部４３による一時的な演算結果などを記憶する。また記憶部４１は、車載カメラ２の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量（すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向）を記憶してもよい。
また、通信部４２は、車載カメラ２、ディスプレイ３、ＥＣＵ１１及び車速センサなどの各種センサとＣＡＮ５を通じて通信する通信インターフェース及びその制御回路を有する。
【００２８】
制御部４３は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部４３は、接近物体検知装置１全体を制御する。
図２に、制御部４３の機能ブロック図を示す。図２に示すように、制御部４３は、画像補正部４３１と、特徴点抽出部４３２と、カメラ運動量算出部４３３と、最小見かけ移動ベクトル算出部４３４と、観測移動ベクトル算出部４３５と、移動ベクトル補正部４３６と、接近判定部４３７と、表示制御部４３８とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２９】
画像補正部４３１は、制御部４３が車載カメラ２から画像を受け取る度に、その受け取った画像の歪曲収差を補正し、補正された画像をピンホールカメラモデルによって表される仮想画像に変換する。この仮想画像は、例えば、ディスプレイ３に表示するために用いられる。一般に、カメラによって得られた画像は、その画像に写っている範囲に関して、撮影したカメラの焦点と同一の焦点を持つ仮想的な任意のカメラにより撮影された画像に変換することが可能である。本実施形態では、画像補正部４３１は、ピンホールカメラモデルに従って、超広角カメラである車載カメラ２により撮影された一つの画像を、光軸の向きが異なる２台の仮想的なピンホールカメラにより撮影された２枚の仮想画像を作成する。
【００３０】
図３は、車載カメラ２の撮影範囲と、２台の仮想ピンホールカメラの撮影範囲との関係を示す図である。図３に示されるように、車載カメラ２の水平画角は180°以上であるため、車載カメラ２の撮影範囲３００は、車両１０の後方全体をカバーしている。仮想ピンホールカメラ３０１、３０２の光軸ＯＡ１、ＯＡ２は、それぞれ、車載カメラ２の光軸（すなわち、z軸）に対して水平方向に+45°、-45°の角をなすように配置される。そして仮想ピンホールカメラ３０１、３０２による仮想撮影範囲３１１、３１２は、それぞれ、車両１０の右側後方、左側後方をカバーするように、光軸ＯＡ１、ＯＡ２を中心とする水平画角90°の領域に設定される。このように、接近物体検知装置１は、光軸がy軸に対して互いに異なる角度で回転した二つの仮想カメラによる仮想画像を接近物体の検知に用いることで、広い視界にわたって接近物体を検知できる。
【００３１】
画像補正部４３１は、車載カメラ２から取得した画像から、上記の仮想ピンホールカメラの撮影範囲に相当する領域を切り出し、その領域内の各画素の位置を、歪曲収差の補正パラメータを用いて車載カメラ２の歪曲収差を打ち消すように補正することで仮想画像を作成する。
画像補正部４３１は、作成した仮想画像を表示制御部４３８に渡す。
【００３２】
特徴点抽出部４３２は、車載カメラ２から制御部４３が画像を受け取る度に、その画像から、車載カメラ２の撮影領域内にある、地面、構造物あるいは移動物体などの特徴点を抽出する。特徴点抽出部４３２は、例えば、コーナー検出アルゴリズムなどを用いて画像上のエッジのコーナーを特徴点として検出する。特徴点抽出部４３２は、コーナー検出アルゴリズムとして、例えば、J.Shi他、"Good Features to Track"、 IEEE CVPR、 1994年、pp.593-600に開示されたアルゴリズムを利用できる。あるいは、特徴点抽出部４３２は、特徴点として、画像からSIFT（Scale Invariant Feature Transform）特徴点を抽出してもよい。SIFT特徴点及びその抽出手法の詳細については、例えば、David G.Lowe、 "Distinctive Image Features from Scale-Invariant Keypoints"、 Journal of Computer Vision、 2004年、vol.60、 No.2、 pp.91-110に開示されている。
特徴点抽出部４３２は、画像ごとに、その画像の取得時刻及び抽出した特徴点の座標を、最小見かけ移動ベクトル算出部４３４及び観測移動ベクトル算出部４３５へ渡す。
【００３３】
カメラ運動量算出部４３３は、制御部４３が車載カメラ２から最新の画像を受け取る度に、その最新の画像（すなわち、現画像）の取得時刻と直前の画像の取得時刻との間での仮想ピンホールカメラの並進移動量及び回転移動量を算出する。そのために、カメラ運動量算出部４３３は、例えば、ＣＡＮ５を介して、車速センサ（図示せず）から車両１０の車速に関する情報を取得し、かつ操舵角センサ（図示せず）からステアリングの回転角に関する情報を取得する。なお、カメラ運動量算出部４３３は、ＣＡＮ５を介して、y軸を回転軸とする回転速度を検知するヨーレートセンサから、車両１０の回転速度に関する情報を取得してもよい。そしてカメラ運動量算出部４３３は、直前の画像が取得された時刻から最新の画像が取得された時刻までに渡って、車速及び車両１０の回転速度若しくはステアリングの回転角を積分することにより、車両１０のその２枚の画像の取得時刻間での車両１０の並進移動量及び回転移動量を求める。そしてカメラ運動量算出部４３３は、仮想ピンホールカメラの光軸と車載カメラ２の光軸とのなす角、車載カメラ２の位置情報に基づいて車両１０の並進移動量及び回転移動量を、仮想ピンホールカメラの焦点を原点とし、仮想ピンホールカメラの光軸をz軸、鉛直方向をy軸とする座標系に応じた値に変換することにより、仮想ピンホールカメラの並進移動量及び回転移動量を求める。
カメラ運動量算出部４３３は、仮想ピンホールカメラの並進移動量を最小見かけ移動ベクトル算出部４３４へ渡し、回転移動量を観測移動ベクトル算出部４３５へ渡す。
【００３４】
最小見かけ移動ベクトル算出部４３４は、特徴点抽出部４３２から最新の画像についての特徴点の座標を受け取る度に、仮想画像上の各特徴点における、仮想ピンホールカメラの並進運動に起因する仮想画像上の見かけの移動ベクトルの最小値を算出する。なお、この見かけの移動ベクトルの最小値を、以下ではMinimum Displacement on Projected Plane(MDPP)と呼ぶ。
【００３５】
図４を参照しつつ、MDPPについて説明する。MDPPは、カメラの並進運動に起因する地面上の点の画像平面上における移動ベクトルと定義される。ここで、図４に示されるように、地面４００からの高さHの位置にカメラ４０１が設置されており、カメラ４０１が地面と平行に並進運動すると仮定する。カメラ４０１により地面４００を含む領域が撮影されることにより画像４１０が生成されたとする。この場合、画像４１０上で、地平線４１１が地面上の無限遠点の集合として表される。画像４１０上で地平線４１１より地面側の領域（以下、地面投影領域と呼ぶ）内の任意の一点４２１に着目すると、カメラ４０１の焦点とその着目点４２１とを通る直線は、地面上の一点４２２を通る。すなわち、画像４１０上の地面投影領域内の各点は、それぞれ、カメラ４０１の撮影領域内の地面の一点と１対１に対応する。また、カメラ４０１の並進移動量が既知であれば、地面上の点のカメラ４０１に対する移動量も算出できる。したがって、地面上の各点と対応している画像４１０上の点の移動ベクトルも算出できる。この移動ベクトルがMDPPである。
【００３６】
最小見かけ移動ベクトル算出部４３４は、特徴点抽出部４３２により得られた特徴点の座標を、記憶部４１に記憶されている歪曲収差の補正量のうち、その座標に対応する補正量を用いて歪曲収差を打ち消すように補正する。そして最小見かけ移動ベクトル算出部４３４は、補正後の特徴点の座標を、仮想画像上の座標に変換する。この変換は、画像補正部４３１と同様に、ピンホールカメラモデルに従って実行される。
【００３７】
さらに、最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの焦点と仮想画像上の補正後の特徴点を通る直線が通る地面の位置（以下、仮想地面点と呼ぶ）を、車載カメラ２の地面からの高さ、車載カメラ２の焦点距離及び光軸方向に基づいて決定する。そして最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの並進移動量に応じて仮想地面点が移動した先の地面の位置（すなわち、仮想地面点から仮想ピンホールカメラが移動する方向と逆方向かつその並進移動量だけ移動した位置）を仮想画像上に透視投影することによって得られる仮想画像上の座標を求める。最小見かけ移動ベクトル算出部４３４は、仮想画像上の仮想地面点の移動先の座標から補正後の特徴点の座標を減算することで、その補正後の特徴点についてのMDPPを求める。
【００３８】
最小見かけ移動ベクトル算出部４３４は、特徴点の組ごとに、MDPP及び仮想画像上の特徴点の座標を、移動ベクトル補正部４３６へ渡す。
【００３９】
観測移動ベクトル算出部４３５は、特徴点抽出部４３２から最新の画像についての特徴点の座標を受け取る度に、最新の画像及び直前の画像のそれぞれから得られた複数の特徴点のうち、同一の物体に対応する特徴点の組を求める。そして観測移動ベクトル算出部４３５は、特徴点の組ごとに、画像上でのその特徴点の移動量及び移動方向を表す観測移動ベクトルを算出する。
【００４０】
観測移動ベクトル算出部４３５は、同一の物体に対応する特徴点の組を求めるために、時系列に取得された複数の画像上で同一物体を追跡するための様々なトラッキング技術を利用することができる。
例えば、観測移動ベクトル算出部４３５は、過去に取得された時系列の複数の画像からそれぞれ検出された同一物体に対応する特徴点の位置ずれ量に基づいて、その物体の移動方向及び移動速度を推定する。そして観測移動ベクトル算出部４３５は、その移動方向及び移動速度と、過去に取得された画像上での特徴点の位置から、最新の画像における特徴点の位置を推定する。そしてその推定位置及びその近傍で特徴点が検出されている場合、観測移動ベクトル算出部４３５は、その特徴点に移っている物体は、移動方向及び移動速度の推定に用いられた、過去に取得された画像上の特徴点に写っている物体と同一であると判定する。
【００４１】
なお、観測移動ベクトル算出部４３５は、他の様々なトラッキング方法、例えば、オプティカルフローのアルゴリズムを用いて、同一物体に対応する複数の画像上の特徴点の組を求めてもよい。観測移動ベクトル算出部４３５は、そのようなオプティカルフローのアルゴリズムとして、例えば、B. Lucas and T. Kanade、"An iterative image registration technique with an Application to Stereo Vision"、1981年、 Proc. of the DARPA IU Workshop、pp. 121-130に開示されているアルゴリズムを利用できる。
【００４２】
観測移動ベクトル算出部４３５は、同一物体に対応する各特徴点の組について、記憶部４１に記憶されている歪曲収差補正量を用いて各特徴点の座標を補正する。そして観測移動ベクトル算出部４３５は、各特徴点の座標を、ピンホールカメラモデルに従って、上記の仮想画像上の座標に変換する。そして観測移動ベクトル算出部４３５は、各特徴点の組について、最新の画像についての補正後の特徴点の仮想画像上の座標から、その特徴点に対応する過去の画像上の補正後の特徴点の仮想画像上の座標を減じることにより、見かけの回転移動量及び並進移動量を含む特徴点の移動ベクトルを算出する。
【００４３】
次に、観測移動ベクトル算出部４３５は、各特徴点の組に対応する、それぞれの移動ベクトルから仮想ピンホールカメラの回転移動に伴う見かけの回転移動量を除去することにより、観測移動ベクトルを算出する。
仮想ピンホールカメラの回転移動量をΩ=(Ωx, Ωy, Ωz)（ただし、原点は仮想ピンホールカメラの主点、すなわちピンホールの位置であり、z軸は仮想ピンホールカメラの光軸と平行な方向、y軸は鉛直方向及びx軸は右手座標系によってy軸、z軸と直交する方向である）としたとき、仮想画像上の点(x, y)における見かけの回転移動量(rx, ry)は次式で表される。
【数１】
ただし、fは仮想画像の画素単位で表された焦点距離である。観測移動ベクトル算出部４３５は、移動ベクトル(vx, vy)から見かけの回転移動量(rx, ry)を減じることにより、観測移動ベクトルを求める。
【００４４】
なお、仮想ピンホールカメラの回転移動量Ωは、上記のように、車両１０の実際の回転移動量に応じて決まるので、一般的に地面に直交する鉛直方向の軸のみが回転軸となる。したがって、観測移動ベクトル算出部４３５は、Ωx=Ωz=0と仮定し、Ωyのみを車両１０のヨーレートセンサなどの測定値から求められた回転移動量として、カメラ運動量算出部４３３から取得するようにしてもよい。
【００４５】
また回転移動量Ωについて、画像上の移動量と拡張焦点(xF, yF)の関係式は次式で表されることが知られている。
【数２】
そこで、観測移動ベクトル算出部４３５は、（２）式を各特徴点の組に適用することにより得られる、その特徴点の組の数の方程式を含む連立方程式を解くことで、見かけの回転移動量(rx, ry)を直接推定してもよい。この場合には、観測移動ベクトル算出部４３５は、カメラ運動量算出部４３３で算出された仮想ピンホールカメラの回転移動量Ωを利用しなくてもよい。なお上記の（２）式は、静止点に対してのみ成立する。したがって、特徴点の組が移動物体上の点であったり、あるいは特徴点の組が同一の物体に対応していない場合には、（２）式により算出される見かけの回転移動量(rx, ry)の誤差は大きな値をとなり得る。そこで、観測移動ベクトル算出部４３５は、このような誤差を軽減するため、ロバスト推定による解法を用いることが好ましい。観測移動ベクトル算出部４３５は、ロバスト推定として、例えば、P. J. Huber and E. M. Ronchetti、"Robust Statistics, 2nd Edition"、Wiley Interscience、2009年に開示されているM推定を適用できる。
観測移動ベクトル算出部４３５は、各特徴点の組のうちの最新の画像から抽出された特徴点の仮想画像上の座標値と観測移動ベクトルとを移動ベクトル補正部４３６へ渡す。
【００４６】
移動ベクトル補正部４３６は、同一物体に対応する特徴点の組のそれぞれについて、観測移動ベクトルから、対応する最新の画像上の特徴点のMDPPを減算することにより、補正移動ベクトルを求める。そして移動ベクトル補正部４３６は、特徴点の組ごとに、最新の画像から抽出された特徴点の仮想画像上の座標値と、補正移動ベクトルを接近判定部４３７へ渡す。
【００４７】
図５（ａ）〜図５（ｄ）は、観測移動ベクトル、MDPP及び補正移動ベクトルの関係の一例を示す図である。図５（ａ）に示されるように、図４と同様に、地面からの高さHの位置にカメラ５０１が設置されており、カメラ５０１が地面と平行に並進運動すると仮定する。カメラ５０１により地面上の静止点５０２及び移動物体上の移動点５０３を含む領域が撮影されることにより画像５１０が生成されたとする。ここで、カメラ５０１は手前側から奥側へ（図５（ａ）において上方へ）移動し、移動点５０３は、左から右へ移動していたとする。この場合、カメラ５０１の移動により、矢印５２１に相当する、実空間上での見かけの移動量が生じる。実空間上でカメラ５０１が接近する点５０２、５０３は、画像５１０上では、上から下へ移動し、かつ、カメラ５０１の光軸上の点から離れるように、すなわち、画像５１０の側方へ向けて移動することになる。
【００４８】
そのため、図５（ｂ）に示されるように、画像５１０において、画像５１０の中心（すなわち、カメラ５０１の光軸上の点）よりも右側に位置する地面上の静止点５０２の観測移動ベクトル５２２は、右斜め下方へ向かうベクトルとなる。また、画像５１０の中心よりも左側に位置する移動点５０３の観測移動ベクトル５２３は、移動点５０３が右方向へ向けて移動しているにもかかわらず、左斜め下方へ向かうベクトルとなる。このように、観測移動ベクトルそのものは、移動物体が自車両に接近しているか否かを判定するための基準としては適していない。
【００４９】
一方、図５（ｃ）に静止点５０２におけるMDPP５３２及び移動点５０３におけるMDPP５３３を示す。なお、この例では、静止点５０２は地面上の点なので、静止点５０２に対する観測移動ベクトルとMDPPは同一となる。また移動点５０３におけるMDPP５３３も、観測移動ベクトル５２２と同様に、左斜め下方へ向かうベクトルとなる。
【００５０】
図５（ｄ）は、静止点５０２に対する補正移動ベクトル５４２及び移動点５０３に対する補正移動ベクトル５４３を示す。観測移動ベクトルからMDPPが減算されることにより、補正移動ベクトル５４２、５４３が示す移動方向は、静止点５０２及び移動点５０３の本来の移動方向とほぼ等しくなる。そのため、補正移動ベクトルは、移動物体が自車両に接近しているか否かを判定するための基準として適していることが分かる。
【００５１】
接近判定部４３７は、同一物体に対応する複数の画像上の特徴点の組について求められた補正移動ベクトルに基づいて、車両１０に接近する移動物体が存在するか否か判定する。
【００５２】
図６を参照しつつ、補正移動ベクトルに基づいて接近物体が存在するか否かを判定する方法について説明する。図６に示されるように、カメラ６００が車両６１０の後端に設置され、カメラ６００の光軸が車両６１０の後進方向と略平行であるとする。ここで、カメラ６００の焦点を起点とし、所定の時間間隔でのカメラ６００の並進移動量を表すベクトルをVbとする。すなわち、ベクトルVbは、車両の進行方向を表すベクトルである。また、カメラ６００の焦点を通り、ベクトルVbに平行かつ地面に垂直な平面をPとする。ベクトルVbを算出する際の時間と同じ時間において平面Pに対する距離が減少していく移動物体６２０がある場合、この移動物体６２０は、車両６１０の進行方向へ向かって進んでいるので、移動物体６２０と車両６１０の距離は時間経過とともに短くなる。したがって、このような移動物体を「接近物体」と呼ぶ。
このように、接近判定部４３７は、注目する物体が自車両に接近しているか否かを判定するために、その物体に対応する特徴点の補正移動ベクトルの平面Pに垂直な方向の成分、すなわち、車両の進行方向に接近する方向の移動成分が含まれるか否かを調べればよい。なお、平面Pに垂直な方向を、便宜上接近方向と呼ぶ。
【００５３】
そこで、接近判定部４３７は、仮想画像上での平面Pに相当する直線を設定する。車載カメラ２の地面からの高さ、地面とその光軸のなす角度、及び車載カメラ２の焦点距離は既知である。そのため、ピンホールカメラモデルによって作成された仮想画像についても、そのモデルとなった仮想ピンホールカメラの地面からの高さ、地面とその光軸のなす角度、及び仮想ピンホールカメラの焦点距離も予め設定できる。また、仮想画像上での地面投影領域内の任意の点qに対応する実空間での位置Qは、仮想ピンホールカメラの焦点と点qを結ぶ直線上に存在する。そして位置Qが仮想ピンホールカメラから最も遠方に位置するのは、位置Qが、仮想ピンホールカメラの焦点と点qとを結ぶ直線と地面との交点Gである場合となる。以下では、便宜上、この交点Gを仮想地面点と呼ぶ。上記のように、仮想ピンホールカメラの地面からの高さなど、仮想ピンホールカメラの位置を表す情報は既知であるので、接近判定部４３７は、仮想地面点Gの実空間上の座標(XG,YG,ZG)を次式に従って算出できる。
【数３】
ここで(x,y)は、点qの仮想画像上の水平座標及び垂直座標である。またHは、仮想ピンホールカメラの地面からの高さであり、fは仮想ピンホールカメラの焦点距離である。ただし、仮想ピンホールカメラの光軸は地面と平行とする。
【００５４】
次に、仮想地面点Gについての接近方向を表すベクトルAは、上記の接近方向の定義から、仮想地面点Gをとおり、かつ平面Pと直交する直線と平行となる。すなわち、ベクトルAは、この直線と平面Pとの交点をGp=(Xp,H,Zp)とすれば、仮想地面点Gを起点とし、交点Gpを終点とするベクトルとして表される。仮想ピンホールカメラの並進移動量を表すベクトルvbのx,y,z軸それぞれの成分を(vbx,vby,vbz)とすれば、直線と平面の直交の条件から次式が導出される。
【数４】
また交点Gpは、平面P上に位置するので、次式が成立する。
【数５】
そこで、（４）式及び（５）式から、Xp、Zpは以下のように算出される。
【数６】
したがって、ベクトルAは、（６）式により算出された交点Gpの座標から仮想地面点Gの座標を減算することで算出される。
【００５５】
接近判定部４３７は、仮想画像上での同一物体に対応する各特徴点の組について、最新の画像から得られた方の特徴点を上記の点qとして上記のベクトルAを算出し、そのベクトルAを仮想画像上に透視投影することで、その特徴点についての仮想画像上における接近方向を表すベクトルを算出できる。さらにこのベクトルを正規化することにより得られる単位ベクトルａを、便宜上接近方向ベクトルと呼ぶ。
【００５６】
接近判定部４３７は、仮想画像上での同一物体に対応する各特徴点の組について、接近方向ベクトルａと補正移動ベクトルとの内積を算出する。この内積値は、車両１０の進行方向に接近する方向の移動成分を表す。特徴点の組が表す物体が接近物体である場合、この内積値は正の値を持つ。一方、特徴点の組が表す物体が接近物体でなければ、この内積値は0以下の値となる。そこで接近判定部４３７は、ある特徴点の組に対する内積値が所定の閾値Th以上である場合、その特徴点の組を接近物体候補とする。一方、接近判定部４３７は、その内積値が閾値Th未満であれば、その特徴点の組は接近物体ではないと判定する。なお、閾値Thは、正の値を持ち、例えば、補正移動ベクトルに含まれる誤差分布のスケールよりも大きな値に設定される。補正移動ベクトルに含まれる誤差は、観測移動ベクトルに含まれる誤差とMDPPに含まれる誤差が重畳されたものとなる。しかし、MDPPは、車速センサといった比較的精度の高いセンサにより得られた測定値に基づいて算出されるので、MDPPの誤差は無視できる程度に小さい。したがって、補正移動ベクトルに含まれる誤差の主要因は、観測移動ベクトルを求める際のオプティカルフローの誤差である。車載カメラ２は、車両１０のエンジンなどの微振動の影響を受けて位置が変動する。そのため、例え車両１０が停止していても、複数の画像から抽出された同一の静止点に対応する特徴点間のオプティカルフローは無視できない大きさの誤差を持つことがある。そこで、例えば、補正移動ベクトルに含まれる誤差の分布は、車両１０の速度が'0'の時の静止点のオプティカルフローの分布と同一であると推定し、このオプティカルフローの分布のスケールσを実験等によって求める。なお、スケールσは、例えば、オプティカルフローの分布の分散である。そして閾値Thは、例えば、4σに相当するオプティカルフローの絶対値といった、スケールσよりも大きな値に設定される。
【００５７】
なお、接近判定部４３７は、車両１０が停止中の状態から移動を開始した時点（すなわち、車速センサによる車両１０の移動速度の測定値が最初に0より大きくなった時点）の仮想ピンホールカメラの並進移動量に基づいて定められる平面Pを平面P0とし、車両１０が後退している間中、その平面P0に基づいて上記の接近判定を行ってもよい。ただしこの場合、現在の時刻における仮想ピンホールカメラの並進移動量に基づいて定めされる平面Pと平面P0に挟まれた領域にある特徴点に関しては、接近判定部４３７は、接近判定を行わない。もし、この領域内に接近物体が存在すれば、車両１０の移動開始時から現在時刻になるまでの間にその接近物体は既に検知されていると推定されるためである。
【００５８】
接近判定部４３７は、接近物体候補点のうち、同一の移動物体上の点であると推定されるほど互いに近い候補点を同一のグループに含めるよう、各接近物体候補点をグループ化する。例えば、接近判定部４３７は、接近物体候補点のそれぞれに、その候補点を中心とする正方形あるいは円形のパッチ領域を与え，パッチ領域が一部でも重なる接近物体候補点群を同一のグループに分類する。なお、パッチ領域のサイズは、例えば、仮想画像上での、検知しようとする移動物体の想定されるサイズよりも小さい値に設定される。一方、接近判定部４３７は、他の何れの接近物体候補点のパッチ領域とも重ならないパッチ領域を持つ接近物体候補点は、誤検出された候補点と判定し、その候補点を削除してもよい。そして接近判定部４３７は、一つ以上のグループがある場合、各グループをそれぞれ一つの接近物体と判定する。なお、接近判定部４３７は、グループごとに、重なったパッチ領域全体を内包する外接矩形を求め、その外接矩形を接近物体の検出枠とする。
接近判定部４３７は、接近物体が検出された場合、検出された接近物体に対応する検出枠を特定するための仮想画像上の基準点の座標を表示制御部４３８へ通知する。基準点は、その検出枠の左上端のコーナー及び右下端のコーナーである。なお、検出枠の形状は矩形に限られず、例えば、検出枠は、一つの接近物体を重なったパッチ領域の外接楕円形であってもよい。
【００５９】
表示制御部４３８は、画像補正部４３１により作成された仮想画像をディスプレイ３に表示させる。その際、表示制御部４３８は、例えば、左後方を撮影領域とする仮想画像と右後方を撮影領域とする仮想画像とが、ディスプレイ３上に同時に表示されるように、例えば、ディスプレイ３の表示領域を水平方向に２分割してそれぞれの分割領域に一つの仮想画像を表示する。表示制御部４３８は、接近判定部４３７により接近物体の存在が検知されていると、接近物体に対応する検出枠を仮想画像に重畳し、検出枠が重畳された仮想画像をディスプレイ３に表示させる。その際、ドライバが検出枠に気付き易くするように、表示制御部４３８は、検出枠を点滅表示させたり、検出枠に相当する画素の輝度値を取り得る最大値にしてもよい。
【００６０】
また表示制御部４３８は、検知された接近物体の数、あるいは検知された接近物体に相当する検出枠のサイズに応じて、仮想画像上での検出枠の色を変えたり、検出された接近物体の数が多いほど、あるいは、検出枠が大きいほど、検出枠の点滅速度を速めてもよい。これにより、表示制御部４３８は、接近物体が近い場合（検出枠が大きいほど、その検出枠に相当する物体が自車両に近いと推定される）により危険性が高いことをドライバに報知することができる。また表示制御部４３８は、接近物体が複数存在する場合に、ドライバが一つ目の接近物体が車両１０の進行方向を横切って通過した後に直ぐに車両１０の後退を開始させることで後続する接近物体と衝突する危険性を低減できる。
【００６１】
さらに、表示制御部４３８は、接近物体が左側、あるいは右側の何れか一方にのみ存在する場合、接近物体が写る方の仮想画像のみをディスプレイ３に表示させてもよい。この場合には、表示制御部４３８は、表示中の仮想画像の撮影領域が左後方か右後方かを表すマーカをその画像上に重畳させてもよい。
【００６２】
さらに、表示制御部４３８は、車両１０に搭載されたスピーカ（図示せず）を介して、接近物体が検知されたことをドライバに報知してもよい。例えば、表示制御部４３８は、右側から近づいてくる接近物体がある場合、右のスピーカーから警報音を発し、左側から近づいてくる接近物体がある場合、左のスピーカーから警報音を発するようにしてもよい。これにより、表示制御部４３８は、ドライバが前を向いていても後ろを向いていても、どちらの方向に接近物体があるのかを直感的に理解させることができる。
【００６３】
なお，表示制御部４３８は、車両１０の速度が接近物体を検出可能な上限速度を超えた場合は、その旨が分かるように音声などによりドライバに警告してもよい。
【００６４】
図７に、制御部４３により制御される、接近物体検知処理の動作フローチャートを示す。なお、制御部４３は、車載カメラ２から新たな画像を取得する度に、このフローチャートに示す動作を繰り返す。
まず、制御部４３の画像補正部４３１は、車載カメラ２から取得した画像に対して歪曲収差の補正及び画像変換を行ってピンホールカメラモデルに従った仮想画像を作成する（ステップＳ１０１）。そして画像補正部４３１は、仮想画像を表示制御部４３８へ渡す。また、特徴点抽出部４３２は、画像上で特徴点を抽出する（ステップＳ１０２）。そして特徴点抽出部４３２は、抽出した特徴点の座標を最小見かけ移動ベクトル算出部４３４及び観測移動ベクトル算出部４３５へ渡す。
【００６５】
また、カメラ運動量算出部４３３は、車速センサ、操舵角センサなどから得た車両の挙動を表す情報に基づいて、直前の画像の取得時刻から現画像の取得時刻までの間における仮想ピンホールカメラの並進移動量及び回転移動量を算出する（ステップＳ１０３）。そしてカメラ運動量算出部４３３は、仮想ピンホールカメラの並進移動量を最小見かけ移動ベクトル算出部４３４へ渡し、回転移動量を観測移動ベクトル算出部４３５へ渡す。最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの並進移動量に基づいて、特徴点抽出部４３２により抽出された各特徴点におけるMDPPを算出する（ステップＳ１０４）。そして最小見かけ移動ベクトル算出部４３４は、各特徴点におけるMDPPを移動ベクトル補正部４３６へ渡す。
【００６６】
一方、観測移動ベクトル算出部４３５は、最新画像の各特徴点に対応する直前の画像の特徴点を求めることで、同一物体に対応する特徴点の組を決定する（ステップＳ１０５）。そして観測移動ベクトル算出部４３５は、特徴点の組ごとに観測移動ベクトルを算出する（ステップＳ１０６）。観測移動ベクトル算出部４３５は、各特徴点の組の観測移動ベクトルを移動ベクトル補正部３４６へ渡す。
【００６７】
移動ベクトル補正部４３６は、特徴点の組ごとに観測移動ベクトルからMDPPを減算して補正移動ベクトルを算出する（ステップＳ１０７）。そして移動ベクトル補正部４３６は、各特徴点の組の補正移動ベクトルを接近判定部４３７へ渡す。
接近判定部４３７は、各特徴点の組の補正移動ベクトルの接近方向成分を算出する（ステップＳ１０８）。そして接近判定部４３７は、接近方向成分が閾値Thより大きい特徴点の組のうち最新画像に対応する仮想画像上の特徴点を接近物体候補点として検出する（ステップＳ１０９）。
【００６８】
その後、接近判定部４３７は、接近物体候補点をグループ化する（ステップＳ１１０）。上記のように、接近判定部４３７は、例えば、上記のように、複数の接近物体候補点のパッチ領域が一部でも重なれば、その接近物体候補点を同一のグループにグループ化し、一方、パッチ領域が他の接近物体候補点のパッチ領域と重ならない接近物体候補点をグループ化しない。接近判定部４３７は、接近物体候補点のグループが存在するか否か判定する（ステップＳ１１１）。
【００６９】
接近判定部４３７は、接近物体候補点のグループが存在する場合、そのグループのパッチ領域全体を内包する検出枠を設定し、その検出枠を表示制御部４３８へ通知する。
表示制御部４３８は、例えば、検出枠を画像補正部４３１から受け取った仮想画像に重畳し、検出枠が重畳された仮想画像をディスプレイ３に表示することにより、接近物体の存在をドライバに報知する（ステップＳ１１２）。
ステップＳ１１２の後、あるいはステップＳ１１１にて接近物体候補点のグループが存在しない場合、制御部４３は接近物体検知処理を終了する。なお、制御部４３は、ステップＳ１０３、Ｓ１０４の処理と、ステップＳ１０５、Ｓ１０６の処理の順序を入れ替えてもよい。
【００７０】
以上説明してきたように、本発明の一実施形態である接近物体検知装置は、車両の周囲を撮影するカメラから取得された複数の画像から検出した同一物体に対応する特徴点の画像上での観測移動ベクトルから、カメラの並進移動に起因する見かけの移動ベクトルの最小値を減じた補正移動ベクトルを求める。これにより、この接近物体検知装置は、カメラの並進移動による、画像上での物体の真の移動方向からのずれを小さくできる。そのため、この接近物体検知装置は、補正移動ベクトルを用いることで、移動物体の速度と自車両の速度の関係によらず、その移動物体が自車両に接近するか否かを正確に判定できる。また移動方向自体は、カメラからの距離によらずに判別できるので、この接近物体検知装置は、自車両から遠くにいる移動物体についても自車両に接近しているか否かを正確に識別できる。さらに、補正移動ベクトルの算出及び接近方向成分の算出などの演算量は、鳥瞰図画像の作成のような視点変換処理の演算量に比べて非常に少ない。そのため、この接近物体検知装置は、接近物体検知処理による、プロセッサの演算負荷を軽減できる。
【００７１】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、仮想画像は、他のカメラモデル、例えば、透視射影モデルまたはParaperspectiveモデルに従って作成されてもよい。この場合、車載カメラで得られた画像上の特徴点の座標を仮想画像上の座標に変換する制御部の各部も、仮想画像の生成に用いられるカメラモデルを用いる。
【００７２】
また変形例によれば、特徴点抽出部は、画像補正部により作成された仮想画像上で特徴点の抽出を行い、最小見かけ移動ベクトル算出部及び観測移動ベクトル算出部は、仮想画像上で抽出された特徴点に基づいてMDPPの算出及び観測移動ベクトルの算出を行ってもよい。これにより、特徴点の座標を変換する処理の回数が少なくなるので、制御部は、演算負荷をさらに軽減できる。あるいは、車載カメラが有する結像光学系の歪曲収差が無視できるほど小さい場合、制御部は、画像に対する歪曲収差の補正を行わなくてもよい。さらに、制御部は、仮想画像の作成を行わず、車載カメラにより取得された画像そのものに対して補正移動ベクトルの算出、接近判定及び検出枠の設定などの処理を行ってもよい。この場合、画像補正部は省略されてもよい。
【００７３】
また、車載カメラが、車両の前端に取り付けられ、車両の前方を撮影するノーズビューカメラである場合にも、制御部は、上記の実施形態による接近物体検知処理と同様の処理を行って、自車両に接近する移動物体を検知できる。特に、車両が狭い路地から広い通りに出るような場合、自車両に接近する他の車両または歩行者がドライバの視界に含まれないことがある。このような場合に、この変形例による接近物体検知装置は、ドライバに接近物体の存在を報知できるので、接触事故の発生を未然に防止することができる。
【００７４】
さらに他の変形例によれば、制御部は、時間的に連続する２枚の画像でなく、例えば、撮像部により取得された最新の画像と、その最新の画像よりも2〜5枚前に取得された画像とを用いて、観測移動ベクトル、MDPP及び補正移動ベクトルを求めてもよい。また制御部は、撮像部から取得された二つの画像のうちの古い方の画像から抽出された特徴点を基準として、MDPP及び補正移動ベクトルを算出してもよい。
【００７５】
さらに他の変形例によれば、判定部は、接近物体候補点が一つでも存在する場合、その接近物体候補点に対応する物体は接近物体であると判定してもよい。あるいは、判定部は、検出枠のサイズが、検出すべき接近物体の想定されるサイズ以上となる場合に限り、その検出枠に含まれる接近物体候補点に対応する物体は接近物体であると判定してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７６】
１ 接近物体検知装置
２ 車載カメラ
３ ディスプレイ
４ コントローラ
５ コントロールエリアネットワーク（ＣＡＮ）
４１ 記憶部
４２ 通信部
４３ 制御部
４３１ 画像補正部
４３２ 特徴点抽出部
４３３ カメラ運動量算出部
４３４ 最小見かけ移動ベクトル算出部
４３５ 観測移動ベクトル算出部
４３６ 移動ベクトル補正部
４３７ 接近判定部
４３８ 表示制御部
【技術分野】
【０００１】
本発明は、接近物体検知装置及び接近物体検知方法に関し、特に、車両に接近する物体をその車両に搭載されたカメラを用いて検知する接近物体検知装置及び接近物体検知方法に関する。
【背景技術】
【０００２】
駐車されている車両が後退発進する際に、その車両に接近してくる他の車両または歩行者といった移動物体とその車両との接触事故が発生することがある。この種の事故は、後退発進する車両のドライバから、接近してくる移動物体が見え難いことが主な原因の一つである。そこで、接近してくる移動物体を見易くするために、車両にリアカメラを搭載し、リアカメラにより撮影された画像に基づいて車両に接近する物体を検知し、その検知結果に基づいて、車両の運転者に対して警告を行う装置及び方法が提案されている（例えば、特許文献１〜３を参照）。
【０００３】
そのような方法の一つは、時間的に連続した複数の画像上に占める対象物のサイズの時間変化を求め、対象物のサイズが拡大していれば、その対象物を接近物体として検知する。例えば、特許文献１に開示された装置は、異なる時刻に得られた二つの画像間の略水平方向のオプティカルフローを算出し、オプティカルフローが類似した移動領域の中から鉛直方向の信号値の分布（プロファイル）を求め、異なる時刻に得られた二つの画像上の上記のプロファイル間で動的計画法を施すことにより移動領域内の物体の拡大率を算出する。そしてその装置は、物体の拡大率に応じてその物体が真に接近してくる物体か否か判定する。
【０００４】
他の方法として，時空間画像内に現れる傾斜した線を抽出することにより、接近してくる物体の存在を判定する方法が知られている。例えば、特許文献２に開示された装置は、画像上での道路の消失点を基準として水平方向の一次元の検査ラインを複数設定し、この検査ラインのそれぞれにおいて所定フレーム数の画像上のピクセルの値を時系列に積み上げ時空間画像を作成する。そしてこの装置は、時空間画像に対してエッジ抽出処理と２値化処理を施して、移動物体に対応する傾斜した線を抽出することにより、接近する車両を検出する。
【０００５】
さらに他の方法として、視点変換による鳥瞰図画像に基づいて、接近してくる物体の存在を判定する方法が知られている。例えば、特許文献３に開示された装置は、異なる時刻に得られた二つの画像を視点変換によって鳥瞰図画像に変換し、変換された画像の位置合わせを行う。そしてこの装置は、位置合わせ後の２つの鳥瞰図画像において特徴点の移動量を求めることにより障害物を検出し、障害物が地面に接している点の移動量から、障害物の静止／移動を判定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１５２８７３号公報
【特許文献２】特開２００５−２１７４８２号公報
【特許文献３】特開２００８−２１９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、拡大率に基づいて移動物体の接近を検知する装置は、車両に接近してくる移動物体が比較的遠方に位置する場合、画像上での移動物体のサイズが小さいために拡大率を正確に求めることができず、その結果としてその移動物体が接近してくるか否かを正確に判定できないおそれがあった。例えば、なるべく広い領域を視野に収めるために、リアカメラとして広角カメラが使用されると、車両から約20m程度離れた位置にある他の車両の画像上の面積は極めて小さく、例えば、数ピクセル〜10数ピクセル程度となる。そして、拡大率を求めるために利用する二つの画像の取得時間の間隔が短いと、拡大率の真値は1.0をわずかに上回る程度の値となるので、その二つの画像間での、画像上の他の車両の面積の変化も1ピクセル未満から1ピクセル程度となる。そのため、このような場合に、拡大率に基づいて移動物体の接近を検知する装置は、画像上に写っている他の車両が接近してくるか否かを正確に判定することは困難である。
【０００８】
また、時空間画像に基づいて接近物体を検知する装置は、自車両の速度を無視できない場合に接近物体の検出が困難となるおそれがあった。例えば、自車両の直進方向に対して直交する方向に進む接近物体が存在する場合、自車両の速度と接近物体の速度によっては、自車両の直進方向と自車両から接近物体を結ぶ直線とのなす角が殆ど変化しないことがある。このような場合、時空間画像に写るエッジは時間が経過しても変化せず、したがって接近物体の検出が困難となる。これよりさらに自車両の速度が速くなれば、接近物体によるエッジの傾きは背景点によるエッジの傾きと類似するため、この装置は、接近物体を検知することができなくなる。
【０００９】
さらに、鳥瞰図画像に基づいて接近物体を検知する装置は、画像の視点変換に加え特徴点検出とオプティカルフローの算出が必要であるため、処理負荷が高い。
【００１０】
そこで、本発明は、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる接近物体検知装置及び接近物体検知方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１の記載によれば、本発明の一つの形態として、接近物体検知装置が提供される。係る接近物体検知装置は、車両（１０）に搭載され、車両（１０）の周囲を撮影した画像を順次取得する撮像部（２）と、異なる時間において撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出する特徴点抽出部（４３２）と、その二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、その対応付けられた特徴点間の画像上の位置の差を求めることにより、その物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因する、画像上での物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、観測移動ベクトルから見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、二つの画像のうちの一方から抽出された特徴点のうちの少なくとも一つの特徴点についての補正移動ベクトルに、車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、その補正移動ベクトルに対応する物体は車両に接近する移動物体であると判定する判定部（４３７）とを有する。
本発明に係る接近物体検知装置は、上記の構成を有することにより、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる。
【００１２】
また請求項２の記載によれば、最小見かけ移動ベクトル算出部（４３４）は、撮像部（２）から、二つの画像のうちの一方の画像から抽出された特徴点を通る視線上の地面の位置を求め、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因するその地面の位置についての画像上の見かけの移動ベクトルを見かけの移動ベクトルの最小値とすることが好ましい。
車両に搭載された撮像部から見た視線上に存在する物体のうち、最も遠方に位置するのは地面であると推定される。そのため、最小見かけ移動ベクトル算出部（４３４）は、視線上の地面の位置を基準とすることで、見かけの移動ベクトルの最小値を正確に決定できる。
【００１３】
あるいは請求項３の記載によれば、判定部（４３７）は、車両（１０）の進行方向に接近する方向の移動成分が含まれる補正ベクトルに対応する特徴点を接近物体候補点として検出し、一つの物体に対応する接近物体候補点が複数存在する場合に限り、その物体は車両に接近する移動物体であると判定することが好ましい。
これにより、接近物体検知装置は、特徴点を誤検出したり、あるいは複数の画像間で特徴点同士が誤って対応付けられることにより、移動物体が接近物体であると誤って判定される可能性を低減できる。
【００１４】
また請求項４の記載によれば、この接近物体検知装置は、車両（１０）に接近する移動物体であると判定された物体の存在を表す画像を表示部（３）に表示させる表示制御部（４３８）を有することがさらに好ましい。
これにより、この接近物体検知装置は、車両のドライバが、自車両に接近する移動物体が存在することを気付き易くできるので、衝突事故の発生を未然に防止できる。
【００１５】
また請求項５の記載によれば、本発明の他の形態として、接近物体検知方法が提供される。係る接近物体検知方法は、車両（１０）の周囲を撮影した画像を、その車両（１０）に搭載された撮像部（２）により順次取得するステップと、異なる時刻において撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出するステップと、その二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、対応付けられた特徴点間の画像上の位置の差を求めることにより、その物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求めるステップと、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、二つの画像のそれぞれの取得時刻の間における撮像部（２）の移動に起因する、画像上での物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出するステップと、二つの画像のうちの一方から抽出された特徴点のそれぞれについて、観測移動ベクトルから見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出するステップと、二つの画像のうちの一方から抽出された特徴点のうちの少なくとも一つの特徴点についての補正移動ベクトルに、車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、その補正移動ベクトルに対応する物体は車両（１０）に接近する移動物体であると判定するステップとを有する。
本発明に係る接近物体検知方法は、上記のステップを有することにより、低い処理負荷で、自車両と接近物体の位置関係及び自車両が移動しているか否かによらず、接近物体を検知できる。
【００１６】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００１７】
【図１】本発明の一つの実施形態に係る接近物体検知装置の概略構成図である。
【図２】本発明の一つの実施形態に係る接近物体検知装置の制御部の機能ブロック図である。
【図３】車載カメラの撮影範囲と、２台の仮想ピンホールカメラの撮影範囲との関係を示す図である。
【図４】車載カメラの並進移動とMDPPとの関係を表す図である。
【図５】（ａ）〜（ｄ）は、観測移動ベクトル、MDPP及び補正移動ベクトルの関係の一例を示す図である。
【図６】補正移動ベクトルと車両の進行方向との関係を示す図である。
【図７】接近物体検知処理の動作フローチャートである。
【発明を実施するための形態】
【００１８】
以下、図を参照しつつ、一つの実施形態による、接近物体検知装置について説明する。
この接近物体検知装置は、車両の周囲を撮影するカメラから取得された画像から、車両に接近する移動物体を検出する。その際、この接近物体検知装置は、取得時間の異なる複数の画像上の移動物体の位置から、画像上での移動物体の移動量及び移動方向を表す観測移動ベクトルを求める。ここで、車両自体が移動している場合、カメラによって取得された画像上での移動物体の観測移動ベクトルは、移動物体そのものの移動方向及び移動量に対応する真の移動ベクトルと、カメラの移動に起因する見かけの移動ベクトルとを足し合わせたものになる。見かけの移動ベクトルが真の移動ベクトルに対して無視できない程度に大きければ、観測移動ベクトルにおける、車両に接近する方向の成分が非常に小さくなったり、場合によっては、移動物体が車両に接近しているにもかかわらず、その成分が、移動物体が車両から遠ざかることを表す値となることもある。そのため、移動物体が車両に接近しているか否かを正確に判定するためには、接近物体検知装置は、観測移動ベクトルから見かけの移動ベクトルを減算したベクトルを用いることが好ましい。
【００１９】
しかし、カメラが単眼カメラである場合、接近物体検知装置は、車両から画像上に写っている移動物体までの正確な距離を求めることができないため、見かけの移動ベクトルを正確に算出することはできない。また、画像上に写っている静止物体に関しては、その静止物体がカメラから遠く離れているほど、その静止物体についての見かけの移動ベクトルは小さくなる。そして注目する画素に写っている静止物体が地面である場合、カメラからその静止物体までの距離は最長となる。
一方、カメラの焦点距離、光軸方向及び地面からカメラまでの高さといった、カメラの位置及び光学系に関する情報は既知である。そのため、そのカメラにより生成された画像上の各画素における、カメラから地面までの距離は算出可能である。そのため、接近物体検知装置は、各画素における見かけの移動ベクトルの最小値を求めることができる。
【００２０】
そこでこの接近物体検知装置は、観測移動ベクトルから、車両の移動に伴うカメラから移動物体を通る直線上に位置する地面の見かけの移動ベクトルを減算することにより観測移動ベクトルを補正する。そしてこの接近物体検知装置は、補正された観測移動ベクトルに基づいて移動物体が自車両に接近するか否かを判定する。これによりこの接近物体検知装置は、移動物体が自車両に接近するか否かの判定精度の向上を図る。
【００２１】
図１は、一つの実施形態による接近物体検知装置の概略構成図である。図１に示すように、接近物体検知装置１は、車両１０に搭載され、車載カメラ２と、ディスプレイ３と、コントローラ４とを有する。車載カメラ２及びディスプレイ３と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）５によって互いに接続されている。なお、図１では、説明の都合のため、接近物体検知装置１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。
【００２２】
車載カメラ２は、撮像部の一例であり、車両の後方領域を撮影し、その後方領域の画像を生成する。そのために、車載カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車両１０の後方に存在する地面または構造物などの像を結像する結像光学系を有する。そして車載カメラ２は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の後方を向くように、車両１０の後端部の略中央に配置される。また本実施形態では、車両１０の後方の広い範囲を撮影できるように、車載カメラ２は水平画角が180°以上である超広角カメラとする。そして車載カメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車載カメラ２は、車両１０の後方領域を撮影した画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、車載カメラ２は、画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。
【００２３】
本実施形態では、便宜上、実空間において、車載カメラ２の像側焦点を原点とする座標系を設定する。そして車載カメラ２の光軸に平行な方向をz軸とし、鉛直方向をy軸とする。そして車載カメラ２から車両１０の後方へ向かう方向、及び車両１０から地面へ向かう方向を、それぞれ、z軸、y軸における正の方向とする。またx軸の正方向は右手座標系により規定される。
【００２４】
なお、接近物体検知装置１は、撮像部として、車両１０の後方領域を撮影するリアカメラの代わりに、あるいはリアカメラとともに、車両の前方領域または側方領域を撮影するカメラを有していてもよい。例えば、そのようなカメラは、フロントウインドウの上端近傍に、前方を向くように配置されてもよい。
【００２５】
車載カメラ２は、生成した画像を逐次コントローラ４へ送信する。なお、車両の前方領域を撮影する車載カメラと車両の後方領域を撮影する車載カメラが取り付けられている場合、コントローラ４は、車両が進行している方向を撮影する車載カメラからの画像のみを選択的に取得してもよい。そのために、コントローラ４は、ＣＡＮ５を介して車両１０の電子制御ユニット(ECU)１１から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ４は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車載カメラから画像を取得する。一方、コントローラ４は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車載カメラから画像を取得する。
【００２６】
ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、表示画面が運転者に向くように、インストルメントパネル内に配置される。また、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の車載装置のディスプレイであってもよい。そしてディスプレイ３は、コントローラ４により制御され、またコントローラ４から受信した画像を表示する。
【００２７】
コントローラ４は、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、接近物体検知装置１を制御するための各種プログラム、及び車載カメラ２の地面からの高さ及び光軸方向といった車載カメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部４３による一時的な演算結果などを記憶する。また記憶部４１は、車載カメラ２の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量（すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向）を記憶してもよい。
また、通信部４２は、車載カメラ２、ディスプレイ３、ＥＣＵ１１及び車速センサなどの各種センサとＣＡＮ５を通じて通信する通信インターフェース及びその制御回路を有する。
【００２８】
制御部４３は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部４３は、接近物体検知装置１全体を制御する。
図２に、制御部４３の機能ブロック図を示す。図２に示すように、制御部４３は、画像補正部４３１と、特徴点抽出部４３２と、カメラ運動量算出部４３３と、最小見かけ移動ベクトル算出部４３４と、観測移動ベクトル算出部４３５と、移動ベクトル補正部４３６と、接近判定部４３７と、表示制御部４３８とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２９】
画像補正部４３１は、制御部４３が車載カメラ２から画像を受け取る度に、その受け取った画像の歪曲収差を補正し、補正された画像をピンホールカメラモデルによって表される仮想画像に変換する。この仮想画像は、例えば、ディスプレイ３に表示するために用いられる。一般に、カメラによって得られた画像は、その画像に写っている範囲に関して、撮影したカメラの焦点と同一の焦点を持つ仮想的な任意のカメラにより撮影された画像に変換することが可能である。本実施形態では、画像補正部４３１は、ピンホールカメラモデルに従って、超広角カメラである車載カメラ２により撮影された一つの画像を、光軸の向きが異なる２台の仮想的なピンホールカメラにより撮影された２枚の仮想画像を作成する。
【００３０】
図３は、車載カメラ２の撮影範囲と、２台の仮想ピンホールカメラの撮影範囲との関係を示す図である。図３に示されるように、車載カメラ２の水平画角は180°以上であるため、車載カメラ２の撮影範囲３００は、車両１０の後方全体をカバーしている。仮想ピンホールカメラ３０１、３０２の光軸ＯＡ１、ＯＡ２は、それぞれ、車載カメラ２の光軸（すなわち、z軸）に対して水平方向に+45°、-45°の角をなすように配置される。そして仮想ピンホールカメラ３０１、３０２による仮想撮影範囲３１１、３１２は、それぞれ、車両１０の右側後方、左側後方をカバーするように、光軸ＯＡ１、ＯＡ２を中心とする水平画角90°の領域に設定される。このように、接近物体検知装置１は、光軸がy軸に対して互いに異なる角度で回転した二つの仮想カメラによる仮想画像を接近物体の検知に用いることで、広い視界にわたって接近物体を検知できる。
【００３１】
画像補正部４３１は、車載カメラ２から取得した画像から、上記の仮想ピンホールカメラの撮影範囲に相当する領域を切り出し、その領域内の各画素の位置を、歪曲収差の補正パラメータを用いて車載カメラ２の歪曲収差を打ち消すように補正することで仮想画像を作成する。
画像補正部４３１は、作成した仮想画像を表示制御部４３８に渡す。
【００３２】
特徴点抽出部４３２は、車載カメラ２から制御部４３が画像を受け取る度に、その画像から、車載カメラ２の撮影領域内にある、地面、構造物あるいは移動物体などの特徴点を抽出する。特徴点抽出部４３２は、例えば、コーナー検出アルゴリズムなどを用いて画像上のエッジのコーナーを特徴点として検出する。特徴点抽出部４３２は、コーナー検出アルゴリズムとして、例えば、J.Shi他、"Good Features to Track"、 IEEE CVPR、 1994年、pp.593-600に開示されたアルゴリズムを利用できる。あるいは、特徴点抽出部４３２は、特徴点として、画像からSIFT（Scale Invariant Feature Transform）特徴点を抽出してもよい。SIFT特徴点及びその抽出手法の詳細については、例えば、David G.Lowe、 "Distinctive Image Features from Scale-Invariant Keypoints"、 Journal of Computer Vision、 2004年、vol.60、 No.2、 pp.91-110に開示されている。
特徴点抽出部４３２は、画像ごとに、その画像の取得時刻及び抽出した特徴点の座標を、最小見かけ移動ベクトル算出部４３４及び観測移動ベクトル算出部４３５へ渡す。
【００３３】
カメラ運動量算出部４３３は、制御部４３が車載カメラ２から最新の画像を受け取る度に、その最新の画像（すなわち、現画像）の取得時刻と直前の画像の取得時刻との間での仮想ピンホールカメラの並進移動量及び回転移動量を算出する。そのために、カメラ運動量算出部４３３は、例えば、ＣＡＮ５を介して、車速センサ（図示せず）から車両１０の車速に関する情報を取得し、かつ操舵角センサ（図示せず）からステアリングの回転角に関する情報を取得する。なお、カメラ運動量算出部４３３は、ＣＡＮ５を介して、y軸を回転軸とする回転速度を検知するヨーレートセンサから、車両１０の回転速度に関する情報を取得してもよい。そしてカメラ運動量算出部４３３は、直前の画像が取得された時刻から最新の画像が取得された時刻までに渡って、車速及び車両１０の回転速度若しくはステアリングの回転角を積分することにより、車両１０のその２枚の画像の取得時刻間での車両１０の並進移動量及び回転移動量を求める。そしてカメラ運動量算出部４３３は、仮想ピンホールカメラの光軸と車載カメラ２の光軸とのなす角、車載カメラ２の位置情報に基づいて車両１０の並進移動量及び回転移動量を、仮想ピンホールカメラの焦点を原点とし、仮想ピンホールカメラの光軸をz軸、鉛直方向をy軸とする座標系に応じた値に変換することにより、仮想ピンホールカメラの並進移動量及び回転移動量を求める。
カメラ運動量算出部４３３は、仮想ピンホールカメラの並進移動量を最小見かけ移動ベクトル算出部４３４へ渡し、回転移動量を観測移動ベクトル算出部４３５へ渡す。
【００３４】
最小見かけ移動ベクトル算出部４３４は、特徴点抽出部４３２から最新の画像についての特徴点の座標を受け取る度に、仮想画像上の各特徴点における、仮想ピンホールカメラの並進運動に起因する仮想画像上の見かけの移動ベクトルの最小値を算出する。なお、この見かけの移動ベクトルの最小値を、以下ではMinimum Displacement on Projected Plane(MDPP)と呼ぶ。
【００３５】
図４を参照しつつ、MDPPについて説明する。MDPPは、カメラの並進運動に起因する地面上の点の画像平面上における移動ベクトルと定義される。ここで、図４に示されるように、地面４００からの高さHの位置にカメラ４０１が設置されており、カメラ４０１が地面と平行に並進運動すると仮定する。カメラ４０１により地面４００を含む領域が撮影されることにより画像４１０が生成されたとする。この場合、画像４１０上で、地平線４１１が地面上の無限遠点の集合として表される。画像４１０上で地平線４１１より地面側の領域（以下、地面投影領域と呼ぶ）内の任意の一点４２１に着目すると、カメラ４０１の焦点とその着目点４２１とを通る直線は、地面上の一点４２２を通る。すなわち、画像４１０上の地面投影領域内の各点は、それぞれ、カメラ４０１の撮影領域内の地面の一点と１対１に対応する。また、カメラ４０１の並進移動量が既知であれば、地面上の点のカメラ４０１に対する移動量も算出できる。したがって、地面上の各点と対応している画像４１０上の点の移動ベクトルも算出できる。この移動ベクトルがMDPPである。
【００３６】
最小見かけ移動ベクトル算出部４３４は、特徴点抽出部４３２により得られた特徴点の座標を、記憶部４１に記憶されている歪曲収差の補正量のうち、その座標に対応する補正量を用いて歪曲収差を打ち消すように補正する。そして最小見かけ移動ベクトル算出部４３４は、補正後の特徴点の座標を、仮想画像上の座標に変換する。この変換は、画像補正部４３１と同様に、ピンホールカメラモデルに従って実行される。
【００３７】
さらに、最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの焦点と仮想画像上の補正後の特徴点を通る直線が通る地面の位置（以下、仮想地面点と呼ぶ）を、車載カメラ２の地面からの高さ、車載カメラ２の焦点距離及び光軸方向に基づいて決定する。そして最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの並進移動量に応じて仮想地面点が移動した先の地面の位置（すなわち、仮想地面点から仮想ピンホールカメラが移動する方向と逆方向かつその並進移動量だけ移動した位置）を仮想画像上に透視投影することによって得られる仮想画像上の座標を求める。最小見かけ移動ベクトル算出部４３４は、仮想画像上の仮想地面点の移動先の座標から補正後の特徴点の座標を減算することで、その補正後の特徴点についてのMDPPを求める。
【００３８】
最小見かけ移動ベクトル算出部４３４は、特徴点の組ごとに、MDPP及び仮想画像上の特徴点の座標を、移動ベクトル補正部４３６へ渡す。
【００３９】
観測移動ベクトル算出部４３５は、特徴点抽出部４３２から最新の画像についての特徴点の座標を受け取る度に、最新の画像及び直前の画像のそれぞれから得られた複数の特徴点のうち、同一の物体に対応する特徴点の組を求める。そして観測移動ベクトル算出部４３５は、特徴点の組ごとに、画像上でのその特徴点の移動量及び移動方向を表す観測移動ベクトルを算出する。
【００４０】
観測移動ベクトル算出部４３５は、同一の物体に対応する特徴点の組を求めるために、時系列に取得された複数の画像上で同一物体を追跡するための様々なトラッキング技術を利用することができる。
例えば、観測移動ベクトル算出部４３５は、過去に取得された時系列の複数の画像からそれぞれ検出された同一物体に対応する特徴点の位置ずれ量に基づいて、その物体の移動方向及び移動速度を推定する。そして観測移動ベクトル算出部４３５は、その移動方向及び移動速度と、過去に取得された画像上での特徴点の位置から、最新の画像における特徴点の位置を推定する。そしてその推定位置及びその近傍で特徴点が検出されている場合、観測移動ベクトル算出部４３５は、その特徴点に移っている物体は、移動方向及び移動速度の推定に用いられた、過去に取得された画像上の特徴点に写っている物体と同一であると判定する。
【００４１】
なお、観測移動ベクトル算出部４３５は、他の様々なトラッキング方法、例えば、オプティカルフローのアルゴリズムを用いて、同一物体に対応する複数の画像上の特徴点の組を求めてもよい。観測移動ベクトル算出部４３５は、そのようなオプティカルフローのアルゴリズムとして、例えば、B. Lucas and T. Kanade、"An iterative image registration technique with an Application to Stereo Vision"、1981年、 Proc. of the DARPA IU Workshop、pp. 121-130に開示されているアルゴリズムを利用できる。
【００４２】
観測移動ベクトル算出部４３５は、同一物体に対応する各特徴点の組について、記憶部４１に記憶されている歪曲収差補正量を用いて各特徴点の座標を補正する。そして観測移動ベクトル算出部４３５は、各特徴点の座標を、ピンホールカメラモデルに従って、上記の仮想画像上の座標に変換する。そして観測移動ベクトル算出部４３５は、各特徴点の組について、最新の画像についての補正後の特徴点の仮想画像上の座標から、その特徴点に対応する過去の画像上の補正後の特徴点の仮想画像上の座標を減じることにより、見かけの回転移動量及び並進移動量を含む特徴点の移動ベクトルを算出する。
【００４３】
次に、観測移動ベクトル算出部４３５は、各特徴点の組に対応する、それぞれの移動ベクトルから仮想ピンホールカメラの回転移動に伴う見かけの回転移動量を除去することにより、観測移動ベクトルを算出する。
仮想ピンホールカメラの回転移動量をΩ=(Ωx, Ωy, Ωz)（ただし、原点は仮想ピンホールカメラの主点、すなわちピンホールの位置であり、z軸は仮想ピンホールカメラの光軸と平行な方向、y軸は鉛直方向及びx軸は右手座標系によってy軸、z軸と直交する方向である）としたとき、仮想画像上の点(x, y)における見かけの回転移動量(rx, ry)は次式で表される。
【数１】
ただし、fは仮想画像の画素単位で表された焦点距離である。観測移動ベクトル算出部４３５は、移動ベクトル(vx, vy)から見かけの回転移動量(rx, ry)を減じることにより、観測移動ベクトルを求める。
【００４４】
なお、仮想ピンホールカメラの回転移動量Ωは、上記のように、車両１０の実際の回転移動量に応じて決まるので、一般的に地面に直交する鉛直方向の軸のみが回転軸となる。したがって、観測移動ベクトル算出部４３５は、Ωx=Ωz=0と仮定し、Ωyのみを車両１０のヨーレートセンサなどの測定値から求められた回転移動量として、カメラ運動量算出部４３３から取得するようにしてもよい。
【００４５】
また回転移動量Ωについて、画像上の移動量と拡張焦点(xF, yF)の関係式は次式で表されることが知られている。
【数２】
そこで、観測移動ベクトル算出部４３５は、（２）式を各特徴点の組に適用することにより得られる、その特徴点の組の数の方程式を含む連立方程式を解くことで、見かけの回転移動量(rx, ry)を直接推定してもよい。この場合には、観測移動ベクトル算出部４３５は、カメラ運動量算出部４３３で算出された仮想ピンホールカメラの回転移動量Ωを利用しなくてもよい。なお上記の（２）式は、静止点に対してのみ成立する。したがって、特徴点の組が移動物体上の点であったり、あるいは特徴点の組が同一の物体に対応していない場合には、（２）式により算出される見かけの回転移動量(rx, ry)の誤差は大きな値をとなり得る。そこで、観測移動ベクトル算出部４３５は、このような誤差を軽減するため、ロバスト推定による解法を用いることが好ましい。観測移動ベクトル算出部４３５は、ロバスト推定として、例えば、P. J. Huber and E. M. Ronchetti、"Robust Statistics, 2nd Edition"、Wiley Interscience、2009年に開示されているM推定を適用できる。
観測移動ベクトル算出部４３５は、各特徴点の組のうちの最新の画像から抽出された特徴点の仮想画像上の座標値と観測移動ベクトルとを移動ベクトル補正部４３６へ渡す。
【００４６】
移動ベクトル補正部４３６は、同一物体に対応する特徴点の組のそれぞれについて、観測移動ベクトルから、対応する最新の画像上の特徴点のMDPPを減算することにより、補正移動ベクトルを求める。そして移動ベクトル補正部４３６は、特徴点の組ごとに、最新の画像から抽出された特徴点の仮想画像上の座標値と、補正移動ベクトルを接近判定部４３７へ渡す。
【００４７】
図５（ａ）〜図５（ｄ）は、観測移動ベクトル、MDPP及び補正移動ベクトルの関係の一例を示す図である。図５（ａ）に示されるように、図４と同様に、地面からの高さHの位置にカメラ５０１が設置されており、カメラ５０１が地面と平行に並進運動すると仮定する。カメラ５０１により地面上の静止点５０２及び移動物体上の移動点５０３を含む領域が撮影されることにより画像５１０が生成されたとする。ここで、カメラ５０１は手前側から奥側へ（図５（ａ）において上方へ）移動し、移動点５０３は、左から右へ移動していたとする。この場合、カメラ５０１の移動により、矢印５２１に相当する、実空間上での見かけの移動量が生じる。実空間上でカメラ５０１が接近する点５０２、５０３は、画像５１０上では、上から下へ移動し、かつ、カメラ５０１の光軸上の点から離れるように、すなわち、画像５１０の側方へ向けて移動することになる。
【００４８】
そのため、図５（ｂ）に示されるように、画像５１０において、画像５１０の中心（すなわち、カメラ５０１の光軸上の点）よりも右側に位置する地面上の静止点５０２の観測移動ベクトル５２２は、右斜め下方へ向かうベクトルとなる。また、画像５１０の中心よりも左側に位置する移動点５０３の観測移動ベクトル５２３は、移動点５０３が右方向へ向けて移動しているにもかかわらず、左斜め下方へ向かうベクトルとなる。このように、観測移動ベクトルそのものは、移動物体が自車両に接近しているか否かを判定するための基準としては適していない。
【００４９】
一方、図５（ｃ）に静止点５０２におけるMDPP５３２及び移動点５０３におけるMDPP５３３を示す。なお、この例では、静止点５０２は地面上の点なので、静止点５０２に対する観測移動ベクトルとMDPPは同一となる。また移動点５０３におけるMDPP５３３も、観測移動ベクトル５２２と同様に、左斜め下方へ向かうベクトルとなる。
【００５０】
図５（ｄ）は、静止点５０２に対する補正移動ベクトル５４２及び移動点５０３に対する補正移動ベクトル５４３を示す。観測移動ベクトルからMDPPが減算されることにより、補正移動ベクトル５４２、５４３が示す移動方向は、静止点５０２及び移動点５０３の本来の移動方向とほぼ等しくなる。そのため、補正移動ベクトルは、移動物体が自車両に接近しているか否かを判定するための基準として適していることが分かる。
【００５１】
接近判定部４３７は、同一物体に対応する複数の画像上の特徴点の組について求められた補正移動ベクトルに基づいて、車両１０に接近する移動物体が存在するか否か判定する。
【００５２】
図６を参照しつつ、補正移動ベクトルに基づいて接近物体が存在するか否かを判定する方法について説明する。図６に示されるように、カメラ６００が車両６１０の後端に設置され、カメラ６００の光軸が車両６１０の後進方向と略平行であるとする。ここで、カメラ６００の焦点を起点とし、所定の時間間隔でのカメラ６００の並進移動量を表すベクトルをVbとする。すなわち、ベクトルVbは、車両の進行方向を表すベクトルである。また、カメラ６００の焦点を通り、ベクトルVbに平行かつ地面に垂直な平面をPとする。ベクトルVbを算出する際の時間と同じ時間において平面Pに対する距離が減少していく移動物体６２０がある場合、この移動物体６２０は、車両６１０の進行方向へ向かって進んでいるので、移動物体６２０と車両６１０の距離は時間経過とともに短くなる。したがって、このような移動物体を「接近物体」と呼ぶ。
このように、接近判定部４３７は、注目する物体が自車両に接近しているか否かを判定するために、その物体に対応する特徴点の補正移動ベクトルの平面Pに垂直な方向の成分、すなわち、車両の進行方向に接近する方向の移動成分が含まれるか否かを調べればよい。なお、平面Pに垂直な方向を、便宜上接近方向と呼ぶ。
【００５３】
そこで、接近判定部４３７は、仮想画像上での平面Pに相当する直線を設定する。車載カメラ２の地面からの高さ、地面とその光軸のなす角度、及び車載カメラ２の焦点距離は既知である。そのため、ピンホールカメラモデルによって作成された仮想画像についても、そのモデルとなった仮想ピンホールカメラの地面からの高さ、地面とその光軸のなす角度、及び仮想ピンホールカメラの焦点距離も予め設定できる。また、仮想画像上での地面投影領域内の任意の点qに対応する実空間での位置Qは、仮想ピンホールカメラの焦点と点qを結ぶ直線上に存在する。そして位置Qが仮想ピンホールカメラから最も遠方に位置するのは、位置Qが、仮想ピンホールカメラの焦点と点qとを結ぶ直線と地面との交点Gである場合となる。以下では、便宜上、この交点Gを仮想地面点と呼ぶ。上記のように、仮想ピンホールカメラの地面からの高さなど、仮想ピンホールカメラの位置を表す情報は既知であるので、接近判定部４３７は、仮想地面点Gの実空間上の座標(XG,YG,ZG)を次式に従って算出できる。
【数３】
ここで(x,y)は、点qの仮想画像上の水平座標及び垂直座標である。またHは、仮想ピンホールカメラの地面からの高さであり、fは仮想ピンホールカメラの焦点距離である。ただし、仮想ピンホールカメラの光軸は地面と平行とする。
【００５４】
次に、仮想地面点Gについての接近方向を表すベクトルAは、上記の接近方向の定義から、仮想地面点Gをとおり、かつ平面Pと直交する直線と平行となる。すなわち、ベクトルAは、この直線と平面Pとの交点をGp=(Xp,H,Zp)とすれば、仮想地面点Gを起点とし、交点Gpを終点とするベクトルとして表される。仮想ピンホールカメラの並進移動量を表すベクトルvbのx,y,z軸それぞれの成分を(vbx,vby,vbz)とすれば、直線と平面の直交の条件から次式が導出される。
【数４】
また交点Gpは、平面P上に位置するので、次式が成立する。
【数５】
そこで、（４）式及び（５）式から、Xp、Zpは以下のように算出される。
【数６】
したがって、ベクトルAは、（６）式により算出された交点Gpの座標から仮想地面点Gの座標を減算することで算出される。
【００５５】
接近判定部４３７は、仮想画像上での同一物体に対応する各特徴点の組について、最新の画像から得られた方の特徴点を上記の点qとして上記のベクトルAを算出し、そのベクトルAを仮想画像上に透視投影することで、その特徴点についての仮想画像上における接近方向を表すベクトルを算出できる。さらにこのベクトルを正規化することにより得られる単位ベクトルａを、便宜上接近方向ベクトルと呼ぶ。
【００５６】
接近判定部４３７は、仮想画像上での同一物体に対応する各特徴点の組について、接近方向ベクトルａと補正移動ベクトルとの内積を算出する。この内積値は、車両１０の進行方向に接近する方向の移動成分を表す。特徴点の組が表す物体が接近物体である場合、この内積値は正の値を持つ。一方、特徴点の組が表す物体が接近物体でなければ、この内積値は0以下の値となる。そこで接近判定部４３７は、ある特徴点の組に対する内積値が所定の閾値Th以上である場合、その特徴点の組を接近物体候補とする。一方、接近判定部４３７は、その内積値が閾値Th未満であれば、その特徴点の組は接近物体ではないと判定する。なお、閾値Thは、正の値を持ち、例えば、補正移動ベクトルに含まれる誤差分布のスケールよりも大きな値に設定される。補正移動ベクトルに含まれる誤差は、観測移動ベクトルに含まれる誤差とMDPPに含まれる誤差が重畳されたものとなる。しかし、MDPPは、車速センサといった比較的精度の高いセンサにより得られた測定値に基づいて算出されるので、MDPPの誤差は無視できる程度に小さい。したがって、補正移動ベクトルに含まれる誤差の主要因は、観測移動ベクトルを求める際のオプティカルフローの誤差である。車載カメラ２は、車両１０のエンジンなどの微振動の影響を受けて位置が変動する。そのため、例え車両１０が停止していても、複数の画像から抽出された同一の静止点に対応する特徴点間のオプティカルフローは無視できない大きさの誤差を持つことがある。そこで、例えば、補正移動ベクトルに含まれる誤差の分布は、車両１０の速度が'0'の時の静止点のオプティカルフローの分布と同一であると推定し、このオプティカルフローの分布のスケールσを実験等によって求める。なお、スケールσは、例えば、オプティカルフローの分布の分散である。そして閾値Thは、例えば、4σに相当するオプティカルフローの絶対値といった、スケールσよりも大きな値に設定される。
【００５７】
なお、接近判定部４３７は、車両１０が停止中の状態から移動を開始した時点（すなわち、車速センサによる車両１０の移動速度の測定値が最初に0より大きくなった時点）の仮想ピンホールカメラの並進移動量に基づいて定められる平面Pを平面P0とし、車両１０が後退している間中、その平面P0に基づいて上記の接近判定を行ってもよい。ただしこの場合、現在の時刻における仮想ピンホールカメラの並進移動量に基づいて定めされる平面Pと平面P0に挟まれた領域にある特徴点に関しては、接近判定部４３７は、接近判定を行わない。もし、この領域内に接近物体が存在すれば、車両１０の移動開始時から現在時刻になるまでの間にその接近物体は既に検知されていると推定されるためである。
【００５８】
接近判定部４３７は、接近物体候補点のうち、同一の移動物体上の点であると推定されるほど互いに近い候補点を同一のグループに含めるよう、各接近物体候補点をグループ化する。例えば、接近判定部４３７は、接近物体候補点のそれぞれに、その候補点を中心とする正方形あるいは円形のパッチ領域を与え，パッチ領域が一部でも重なる接近物体候補点群を同一のグループに分類する。なお、パッチ領域のサイズは、例えば、仮想画像上での、検知しようとする移動物体の想定されるサイズよりも小さい値に設定される。一方、接近判定部４３７は、他の何れの接近物体候補点のパッチ領域とも重ならないパッチ領域を持つ接近物体候補点は、誤検出された候補点と判定し、その候補点を削除してもよい。そして接近判定部４３７は、一つ以上のグループがある場合、各グループをそれぞれ一つの接近物体と判定する。なお、接近判定部４３７は、グループごとに、重なったパッチ領域全体を内包する外接矩形を求め、その外接矩形を接近物体の検出枠とする。
接近判定部４３７は、接近物体が検出された場合、検出された接近物体に対応する検出枠を特定するための仮想画像上の基準点の座標を表示制御部４３８へ通知する。基準点は、その検出枠の左上端のコーナー及び右下端のコーナーである。なお、検出枠の形状は矩形に限られず、例えば、検出枠は、一つの接近物体を重なったパッチ領域の外接楕円形であってもよい。
【００５９】
表示制御部４３８は、画像補正部４３１により作成された仮想画像をディスプレイ３に表示させる。その際、表示制御部４３８は、例えば、左後方を撮影領域とする仮想画像と右後方を撮影領域とする仮想画像とが、ディスプレイ３上に同時に表示されるように、例えば、ディスプレイ３の表示領域を水平方向に２分割してそれぞれの分割領域に一つの仮想画像を表示する。表示制御部４３８は、接近判定部４３７により接近物体の存在が検知されていると、接近物体に対応する検出枠を仮想画像に重畳し、検出枠が重畳された仮想画像をディスプレイ３に表示させる。その際、ドライバが検出枠に気付き易くするように、表示制御部４３８は、検出枠を点滅表示させたり、検出枠に相当する画素の輝度値を取り得る最大値にしてもよい。
【００６０】
また表示制御部４３８は、検知された接近物体の数、あるいは検知された接近物体に相当する検出枠のサイズに応じて、仮想画像上での検出枠の色を変えたり、検出された接近物体の数が多いほど、あるいは、検出枠が大きいほど、検出枠の点滅速度を速めてもよい。これにより、表示制御部４３８は、接近物体が近い場合（検出枠が大きいほど、その検出枠に相当する物体が自車両に近いと推定される）により危険性が高いことをドライバに報知することができる。また表示制御部４３８は、接近物体が複数存在する場合に、ドライバが一つ目の接近物体が車両１０の進行方向を横切って通過した後に直ぐに車両１０の後退を開始させることで後続する接近物体と衝突する危険性を低減できる。
【００６１】
さらに、表示制御部４３８は、接近物体が左側、あるいは右側の何れか一方にのみ存在する場合、接近物体が写る方の仮想画像のみをディスプレイ３に表示させてもよい。この場合には、表示制御部４３８は、表示中の仮想画像の撮影領域が左後方か右後方かを表すマーカをその画像上に重畳させてもよい。
【００６２】
さらに、表示制御部４３８は、車両１０に搭載されたスピーカ（図示せず）を介して、接近物体が検知されたことをドライバに報知してもよい。例えば、表示制御部４３８は、右側から近づいてくる接近物体がある場合、右のスピーカーから警報音を発し、左側から近づいてくる接近物体がある場合、左のスピーカーから警報音を発するようにしてもよい。これにより、表示制御部４３８は、ドライバが前を向いていても後ろを向いていても、どちらの方向に接近物体があるのかを直感的に理解させることができる。
【００６３】
なお，表示制御部４３８は、車両１０の速度が接近物体を検出可能な上限速度を超えた場合は、その旨が分かるように音声などによりドライバに警告してもよい。
【００６４】
図７に、制御部４３により制御される、接近物体検知処理の動作フローチャートを示す。なお、制御部４３は、車載カメラ２から新たな画像を取得する度に、このフローチャートに示す動作を繰り返す。
まず、制御部４３の画像補正部４３１は、車載カメラ２から取得した画像に対して歪曲収差の補正及び画像変換を行ってピンホールカメラモデルに従った仮想画像を作成する（ステップＳ１０１）。そして画像補正部４３１は、仮想画像を表示制御部４３８へ渡す。また、特徴点抽出部４３２は、画像上で特徴点を抽出する（ステップＳ１０２）。そして特徴点抽出部４３２は、抽出した特徴点の座標を最小見かけ移動ベクトル算出部４３４及び観測移動ベクトル算出部４３５へ渡す。
【００６５】
また、カメラ運動量算出部４３３は、車速センサ、操舵角センサなどから得た車両の挙動を表す情報に基づいて、直前の画像の取得時刻から現画像の取得時刻までの間における仮想ピンホールカメラの並進移動量及び回転移動量を算出する（ステップＳ１０３）。そしてカメラ運動量算出部４３３は、仮想ピンホールカメラの並進移動量を最小見かけ移動ベクトル算出部４３４へ渡し、回転移動量を観測移動ベクトル算出部４３５へ渡す。最小見かけ移動ベクトル算出部４３４は、仮想ピンホールカメラの並進移動量に基づいて、特徴点抽出部４３２により抽出された各特徴点におけるMDPPを算出する（ステップＳ１０４）。そして最小見かけ移動ベクトル算出部４３４は、各特徴点におけるMDPPを移動ベクトル補正部４３６へ渡す。
【００６６】
一方、観測移動ベクトル算出部４３５は、最新画像の各特徴点に対応する直前の画像の特徴点を求めることで、同一物体に対応する特徴点の組を決定する（ステップＳ１０５）。そして観測移動ベクトル算出部４３５は、特徴点の組ごとに観測移動ベクトルを算出する（ステップＳ１０６）。観測移動ベクトル算出部４３５は、各特徴点の組の観測移動ベクトルを移動ベクトル補正部３４６へ渡す。
【００６７】
移動ベクトル補正部４３６は、特徴点の組ごとに観測移動ベクトルからMDPPを減算して補正移動ベクトルを算出する（ステップＳ１０７）。そして移動ベクトル補正部４３６は、各特徴点の組の補正移動ベクトルを接近判定部４３７へ渡す。
接近判定部４３７は、各特徴点の組の補正移動ベクトルの接近方向成分を算出する（ステップＳ１０８）。そして接近判定部４３７は、接近方向成分が閾値Thより大きい特徴点の組のうち最新画像に対応する仮想画像上の特徴点を接近物体候補点として検出する（ステップＳ１０９）。
【００６８】
その後、接近判定部４３７は、接近物体候補点をグループ化する（ステップＳ１１０）。上記のように、接近判定部４３７は、例えば、上記のように、複数の接近物体候補点のパッチ領域が一部でも重なれば、その接近物体候補点を同一のグループにグループ化し、一方、パッチ領域が他の接近物体候補点のパッチ領域と重ならない接近物体候補点をグループ化しない。接近判定部４３７は、接近物体候補点のグループが存在するか否か判定する（ステップＳ１１１）。
【００６９】
接近判定部４３７は、接近物体候補点のグループが存在する場合、そのグループのパッチ領域全体を内包する検出枠を設定し、その検出枠を表示制御部４３８へ通知する。
表示制御部４３８は、例えば、検出枠を画像補正部４３１から受け取った仮想画像に重畳し、検出枠が重畳された仮想画像をディスプレイ３に表示することにより、接近物体の存在をドライバに報知する（ステップＳ１１２）。
ステップＳ１１２の後、あるいはステップＳ１１１にて接近物体候補点のグループが存在しない場合、制御部４３は接近物体検知処理を終了する。なお、制御部４３は、ステップＳ１０３、Ｓ１０４の処理と、ステップＳ１０５、Ｓ１０６の処理の順序を入れ替えてもよい。
【００７０】
以上説明してきたように、本発明の一実施形態である接近物体検知装置は、車両の周囲を撮影するカメラから取得された複数の画像から検出した同一物体に対応する特徴点の画像上での観測移動ベクトルから、カメラの並進移動に起因する見かけの移動ベクトルの最小値を減じた補正移動ベクトルを求める。これにより、この接近物体検知装置は、カメラの並進移動による、画像上での物体の真の移動方向からのずれを小さくできる。そのため、この接近物体検知装置は、補正移動ベクトルを用いることで、移動物体の速度と自車両の速度の関係によらず、その移動物体が自車両に接近するか否かを正確に判定できる。また移動方向自体は、カメラからの距離によらずに判別できるので、この接近物体検知装置は、自車両から遠くにいる移動物体についても自車両に接近しているか否かを正確に識別できる。さらに、補正移動ベクトルの算出及び接近方向成分の算出などの演算量は、鳥瞰図画像の作成のような視点変換処理の演算量に比べて非常に少ない。そのため、この接近物体検知装置は、接近物体検知処理による、プロセッサの演算負荷を軽減できる。
【００７１】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、仮想画像は、他のカメラモデル、例えば、透視射影モデルまたはParaperspectiveモデルに従って作成されてもよい。この場合、車載カメラで得られた画像上の特徴点の座標を仮想画像上の座標に変換する制御部の各部も、仮想画像の生成に用いられるカメラモデルを用いる。
【００７２】
また変形例によれば、特徴点抽出部は、画像補正部により作成された仮想画像上で特徴点の抽出を行い、最小見かけ移動ベクトル算出部及び観測移動ベクトル算出部は、仮想画像上で抽出された特徴点に基づいてMDPPの算出及び観測移動ベクトルの算出を行ってもよい。これにより、特徴点の座標を変換する処理の回数が少なくなるので、制御部は、演算負荷をさらに軽減できる。あるいは、車載カメラが有する結像光学系の歪曲収差が無視できるほど小さい場合、制御部は、画像に対する歪曲収差の補正を行わなくてもよい。さらに、制御部は、仮想画像の作成を行わず、車載カメラにより取得された画像そのものに対して補正移動ベクトルの算出、接近判定及び検出枠の設定などの処理を行ってもよい。この場合、画像補正部は省略されてもよい。
【００７３】
また、車載カメラが、車両の前端に取り付けられ、車両の前方を撮影するノーズビューカメラである場合にも、制御部は、上記の実施形態による接近物体検知処理と同様の処理を行って、自車両に接近する移動物体を検知できる。特に、車両が狭い路地から広い通りに出るような場合、自車両に接近する他の車両または歩行者がドライバの視界に含まれないことがある。このような場合に、この変形例による接近物体検知装置は、ドライバに接近物体の存在を報知できるので、接触事故の発生を未然に防止することができる。
【００７４】
さらに他の変形例によれば、制御部は、時間的に連続する２枚の画像でなく、例えば、撮像部により取得された最新の画像と、その最新の画像よりも2〜5枚前に取得された画像とを用いて、観測移動ベクトル、MDPP及び補正移動ベクトルを求めてもよい。また制御部は、撮像部から取得された二つの画像のうちの古い方の画像から抽出された特徴点を基準として、MDPP及び補正移動ベクトルを算出してもよい。
【００７５】
さらに他の変形例によれば、判定部は、接近物体候補点が一つでも存在する場合、その接近物体候補点に対応する物体は接近物体であると判定してもよい。あるいは、判定部は、検出枠のサイズが、検出すべき接近物体の想定されるサイズ以上となる場合に限り、その検出枠に含まれる接近物体候補点に対応する物体は接近物体であると判定してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７６】
１ 接近物体検知装置
２ 車載カメラ
３ ディスプレイ
４ コントローラ
５ コントロールエリアネットワーク（ＣＡＮ）
４１ 記憶部
４２ 通信部
４３ 制御部
４３１ 画像補正部
４３２ 特徴点抽出部
４３３ カメラ運動量算出部
４３４ 最小見かけ移動ベクトル算出部
４３５ 観測移動ベクトル算出部
４３６ 移動ベクトル補正部
４３７ 接近判定部
４３８ 表示制御部
【特許請求の範囲】
【請求項１】
車両（１０）に搭載され、当該車両（１０）の周囲を撮影した画像を順次取得する撮像部（２）と、
異なる時刻において前記撮像部（２）により取得された二つの画像から、それぞれ少なくとも一つの特徴点を抽出する特徴点抽出部（４３２）と、
前記二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、当該対応付けられた特徴点間の画像上の位置の差を求めることにより、当該物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する、画像上での前記物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記観測移動ベクトルから前記見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、
前記二つの画像のうちの一方から抽出された前記特徴点のうちの少なくとも一つの特徴点についての前記補正移動ベクトルに、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、前記物体は前記車両に接近する移動物体であると判定する判定部（４３７）と、
を有することを特徴とする接近物体検知装置。
【請求項２】
前記最小見かけ移動ベクトル算出部（４３４）は、前記撮像部（２）から、前記二つの画像のうちの一方の画像から抽出された前記特徴点を通る視線上の地面の位置を求め、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する当該地面の位置についての前記画像上の見かけの移動ベクトルを前記見かけの移動ベクトルの最小値とする、請求項１に記載の接近物体検知装置。
【請求項３】
前記判定部（４３７）は、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる前記補正ベクトルに対応する前記特徴点を接近物体候補点として検出し、前記物体に対応する前記接近物体候補点が複数存在する場合に限り、前記物体は前記車両に接近する移動物体であると判定する、請求項１または２に記載の接近物体検知装置。
【請求項４】
前記車両（１０）に接近する移動物体であると判定された前記物体の存在を表す画像を表示部（３）に表示させる表示制御部（４３８）をさらに有する、請求項１〜３の何れか一向に記載の接近物体検知装置。
【請求項５】
車両（１０）の周囲を撮影した画像を、当該車両（１０）に搭載された撮像部（２）により順次取得するステップと、
異なる時刻において前記撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出するステップと、
前記二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、当該対応付けられた特徴点間の画像上の位置の差を求めることにより、当該物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求めるステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する、画像上での前記物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出するステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記観測移動ベクトルから前記見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出するステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のうちの少なくとも一つの特徴点についての前記補正移動ベクトルに、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、前記物体は前記車両に接近する移動物体であると判定するステップと、
を含むことを特徴とする接近物体検知方法。
【請求項１】
車両（１０）に搭載され、当該車両（１０）の周囲を撮影した画像を順次取得する撮像部（２）と、
異なる時刻において前記撮像部（２）により取得された二つの画像から、それぞれ少なくとも一つの特徴点を抽出する特徴点抽出部（４３２）と、
前記二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、当該対応付けられた特徴点間の画像上の位置の差を求めることにより、当該物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求める観測移動ベクトル算出部（４３５）と、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する、画像上での前記物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出する最小見かけ移動ベクトル算出部（４３４）と、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記観測移動ベクトルから前記見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出する移動ベクトル補正部（４３６）と、
前記二つの画像のうちの一方から抽出された前記特徴点のうちの少なくとも一つの特徴点についての前記補正移動ベクトルに、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、前記物体は前記車両に接近する移動物体であると判定する判定部（４３７）と、
を有することを特徴とする接近物体検知装置。
【請求項２】
前記最小見かけ移動ベクトル算出部（４３４）は、前記撮像部（２）から、前記二つの画像のうちの一方の画像から抽出された前記特徴点を通る視線上の地面の位置を求め、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する当該地面の位置についての前記画像上の見かけの移動ベクトルを前記見かけの移動ベクトルの最小値とする、請求項１に記載の接近物体検知装置。
【請求項３】
前記判定部（４３７）は、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる前記補正ベクトルに対応する前記特徴点を接近物体候補点として検出し、前記物体に対応する前記接近物体候補点が複数存在する場合に限り、前記物体は前記車両に接近する移動物体であると判定する、請求項１または２に記載の接近物体検知装置。
【請求項４】
前記車両（１０）に接近する移動物体であると判定された前記物体の存在を表す画像を表示部（３）に表示させる表示制御部（４３８）をさらに有する、請求項１〜３の何れか一向に記載の接近物体検知装置。
【請求項５】
車両（１０）の周囲を撮影した画像を、当該車両（１０）に搭載された撮像部（２）により順次取得するステップと、
異なる時刻において前記撮像部（２）により取得された二つの画像から、それぞれ特徴点を抽出するステップと、
前記二つの画像からそれぞれ抽出された特徴点のうち、同一の物体に関する二つの特徴点を対応付け、当該対応付けられた特徴点間の画像上の位置の差を求めることにより、当該物体の画像上の移動量及び移動方向を表す観測移動ベクトルを求めるステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記二つの画像のそれぞれの取得時刻の間における前記撮像部（２）の移動に起因する、画像上での前記物体の移動量及び移動方向を表す見かけの移動ベクトルの最小値を算出するステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のそれぞれについて、前記観測移動ベクトルから前記見かけの移動ベクトルの最小値を減じることにより、補正移動ベクトルを算出するステップと、
前記二つの画像のうちの一方から抽出された前記特徴点のうちの少なくとも一つの特徴点についての前記補正移動ベクトルに、前記車両（１０）の進行方向に接近する方向の移動成分が含まれる場合に、前記物体は前記車両に接近する移動物体であると判定するステップと、
を含むことを特徴とする接近物体検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９８８５７（Ｐ２０１２−１９８８５７Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６４０４８（Ｐ２０１１−６４０４８）
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月２３日（２０１１．３．２３）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]