運転支援装置
【課題】運転支援装置において、オプティカルフロー検出等の画像処理機能を向上することにある。
【解決手段】画像処理手段（５）は、広角レンズ（３）を有する撮像手段（４）により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段（８）と、撮像手段（４）により撮像された画像上の画素位置から記録手段（８）に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段（９）とを備える。
【解決手段】画像処理手段（５）は、広角レンズ（３）を有する撮像手段（４）により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段（８）と、撮像手段（４）により撮像された画像上の画素位置から記録手段（８）に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段（９）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転支援装置に係り、特に車両に取り付けた撮像手段により撮像された画像を処理して運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
車両には、運転を支援するために、運転支援装置を搭載しているものがある。この運転支援装置は、車両後部に取り付けられた撮像手段（バックアイカメラ）の画像等を表示手段（モニタ）に表示させて、運転者の運転を支援するものである。
この運転支援装置においては、走行中、車両に取り付けられた単眼の撮像手段を使用して自車両の後方の後続車両との距離を自動的に確認する場合、撮像手段により撮影した画像からオプティカルフロー等の処理で障害物の動きを把握し、障害物の相対位置・速度、移動方向を自動計測して判定している。
撮像手段としては、撮像した画像から障害物の位置を自動計測する際、障害物の三次元空間座標と撮影された二次元の画像平面座標とをカメラキャリブレーション等の校正作業で（ピンホールカメラモデルに代表される）線形な位置関係で対応がとれるようレンズ収差の小さいものが使用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８２２６号公報
【特許文献２】特開２００９−１３０５４６号公報
【０００４】
特許文献１に係る計測マップ生成装置及び走行環境確認装置は、広角レンズを有する撮像手段（バックカメラ）の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものである。
特許文献２に係る画像の歪曲補正方法は、歪曲のあるレンズを有する撮像手段（カメラ）で撮像した画像を、撮像手段の光軸と画像の面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、上記の円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来、レンズ収差の小さい撮像手段は、二次元の画像平面座標と三次元空間座標の対応が線形であるが、原理的に撮影可能なエリアが狭かった。逆に、レンズ収差が大きい撮像手段では、撮影可能エリアは広くなるが、撮影した画像に歪みが現れ、二次元の画像平面座標と三次元空間座標との対応が非線形となり、自動計測には不向きであった。
また、レンズ収差を考慮に入れた計測マップの導入により、自車両と後続車両の距離・速度を認識し、歪み画像を直接処理して、後続車両の接近を判別して運転者に警告する方法にあっては、計測マップ上にかからない位置でのオプティカルフローを判定対象外として扱っていたため、環境（日照照明条件）により車間が迫った対象物を判定できない場合が発生するという不都合があった。
【０００６】
そこで、この発明の目的は、オプティカルフロー検出等の画像処理機能を向上する運転支援装置を提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、広角レンズを有する撮像手段を設け、この撮像手段により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段と、
前記撮像手段により撮像された画像上の画素位置から前記記録手段に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段とを備える画像処理手段を設けたことを特徴とする。
【発明の効果】
【０００８】
この発明の運転支援装置は、広角レンズを有する撮像手段により撮像した画像を、歪み補正を行うことなく、直接的に座標計測処理を行うことにより、オプティカルフロー検出等の画像処理機能を向上できる。例えば、ブロックマッチングベースオプティカルフローや勾配法に基づくオプティカルフローが存在する。
【図面の簡単な説明】
【０００９】
【図１】図１は運転支援装置のシステムブロック図である。（実施例１）
【図２】図２は車両後方の画像を撮像手段で取得する状態の側面図である。（実施例１）
【図３】図３は計測マップの有効範囲及び無効範囲を示す図である。（実施例１）
【図４】図４はイメージプレーン上の投影点を示す図である。（実施例１）
【図５】図５（Ａ）は、歪み画像を説明する図である。図５（Ｂ）は、歪み補正画像を説明する図である。（実施例１）
【図６】図６は歪み画像を説明する図である。（実施例１）
【図７】図７はイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例１）
【図８】図８はイメージプレーン上で［Ｘｃｍ、Ｙｃｍ］座標系に変換した図である。（実施例１）
【図９】図９は世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換した図である。（実施例１）
【図１０】図１０は世界座標系［Ｘｗ、Ｚｗ］を登録する図である。（実施例１）
【図１１】図１１は２枚の撮像時間の差を表した図である。（実施例１）
【図１２】図１２は車両の等速度移動状態を表した図である。（実施例１）
【図１３】図１３はイメージプレーンマップの作成において歪み画像を説明する図である。（実施例１）
【図１４】図１４はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｄ、Ｙｄ、１］座標系に変換した図である。（実施例１）
【図１５】図１５はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例１）
【図１６】図１６はイメージプレーンマップの作成においてイメージプレーン上で座標［Ｘｃｍ、Ｚｃｍ］を登録した図である。（実施例１）
【図１７】図１７は拘束条件に沿って接近車両の配置を示す図である。（実施例１）
【図１８】図１８は各座標の関係を示す図である。（実施例１）
【図１９】図１９は各仮想円盤の動きを示す図である。（実施例１）
【図２０】図２０は仮想球体中心軌道を示す図である。（実施例１）
【図２１】図２１は相対接近速度１０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２２】図２２は相対接近速度２０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２３】図２３は相対接近速度３０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２４】図２４は運転支援装置のシステムブロック図である。（実施例２）
【図２５】図２５は多重テーブルにおいて歪み画像を示す図である。（実施例２）
【図２６】図２６は多重テーブルにおいてイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例２）
【図２７】図２７は多重テーブルにおいて符号Ａのフロー長さを有する歪み画像を示す図である。（実施例２）
【図２８】図２８は多重テーブルにおいて符号Ａのフロー長さを有するイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例２）
【図２９】図２９は多重テーブルにおいてデータテーブルを示す図である。（実施例２）
【図３０】図３０は連続検出テーブルを用意する歪み画像を示す図である。（実施例２）
【発明を実施するための形態】
【００１０】
この発明は、オプティカルフロー検出等の画像処理機能を向上する目的を、広角レンズを有する撮像手段により撮像した画像を、歪み補正を行うことなく、直接的に座標計測処理を行うことによって実現するものである。
【実施例１】
【００１１】
図１〜図２３は、この発明の実施例１を示すものである。
図１、図２において、１は車両、２は車両１に搭載される運転支援装置である。
この運転支援装置２は、広角レンズ３を有して車両後方を撮像する撮像手段４と、入力側で撮像手段４に連絡した画像処理制御手段５と、この画像制御処理手段５の出力側に連絡した表示手段６及び音声出力手段７とを備える。
撮像手段４は、車両１の後部に取り付けたバックカメラからなり、車両後方を撮像する。以下、この撮像手段４を、カメラ４と称して説明する。
表示手段６は、車両１の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなり、カメラ４により撮像された画像等を表示する。
音声出力手段７は、スピーカ等の音声機器からなり、カメラ４により撮像された画像状態等により運転者に警告等を知らせるものである。
【００１２】
この実施例１において、画像処理制御手段５は、カメラ４により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段（メモリ）８と、カメラ４により撮像された画像上の画素位置から記録手段８に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段９とを備える。
これにより、広角レンズ３を用いて撮像された歪み画像に対して歪み補正を行なうことなく、直接、座標計測処理を行うことができる。このため、歪み補正した画像を画像処理する場合に比べて、人為的な画像加工が加わらない分、オプティカルフロー検出等の画像処理機能に優れている。
【００１３】
また、この実施例１において、画像処理制御手段５は、カメラ４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段１０と、このオプティカルフロー検出手段１０により検出されたオプティカルフローの始点位置と終点位置とに対応するイメージプレーン上の画素位置を画素位置取得手段９により取得し、画素位置取得手段９で取得された２つの画素間の距離及び物体とカメラ４との距離に基づいて前記物体がカメラ４に接触するまでの時間を推定する接触時間推定手段１１とを備える。
これにより、イメージプレーンは、カメラ４により撮像された画像上の略全画素をカバーしているので、画像の広範囲にわたって物体がカメラ４に接触するまでの時間を推定することができる。
【００１４】
この実施例１においては、以下に述べるように、従来の計測マップに代わる歪み画像に対応するイメージプレーンマップの作成を行い、また、このイメージプレーンマップに基づく接近車両の判定を行う。
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
通常、バックアイカメラであるカメラは、より広い視界を確保するために、広角レンズを有している。但し、広角レンズを通したカメラの映像には、レンズ収差の影響によって画像に歪みが生じている。
よって、車両周囲を自動的に確認する運転支援装置では、先ず、画像の歪み補正処理を行い、歪みを除去加工した映像を利用する手法が用いられる。但し、歪み補正画像は、人為的に処理された仮想画像を使用するため、ブロックマッチング作業等の処理を行なう際に、検出したオプティカルフローの精度に疑問の余地が残っていた。
上述した特許文献１等の運転支援装置では、取得した画像の歪みを持つ入力したカメラの映像から画像の歪み補正処理を行なうことなく、直接的に処理して接近車両の距離を確認する技術手法を報告し、その有効性を示している。
また、上述した特許文献１では、取得したオプティカルフローに対して、三次元上で任意に設定した規定高さ（Ｙｃｏｎｓｔ）に基づき作成した三次元画像上のＸ・Ｚ座標の計測マップを重ね合わせ、オプティカルフロー始点位置と終点位置との各座標［Ｕ・Ｖ］と計測マップ上の記録座標値［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の対応から、接近車両の相対位置・相対速度を計算し、自車両と接近車両との接触までの時期である接近交差時間（ＴＴＣＲ）（Ｔｉｍｅ Ｔｏ ＣＲｏｓｓｉｎｇ、ＴＴＣＲ＝（Ｚｗ／ΔＺｗ））から接近車両との距離状態を判定している。ここで、ΔＺｗ（Ｚｗ：方向速度）は、オプティカルフローの始点・終点と比較画像の撮影時間との差から算出される。
【００１５】
ところで、オプティカルフローは、入力画像上でコントラスト等の特徴量の大きい位置に対して発生するため、接近車両では輪郭部等に対して感度が良い。また、後続車両の接近に伴い画像上に映る車両映像が拡大するため、オプティカルフローは、輪郭の拡大変化に合わせて離散して細分化した形で発生するようになる。
設定した計測マップと重複できないオプティカルフローとについては、ＸｗＺｗ座標値を計測マップから取得することができない。つまり、計測マップ有効範囲以外となり、接近交差時間（ＴＴＣＲ）の計測度合の判定ができない。ある程度車間距離が接近した後続車両の場合には、車両のルーフ部等を対象に発生したオプティカルフローについては、規定高さ（Ｙｃｏｎｓｔ）から大きく反れた高さ関係となるので、位置計測精度が劣化する。よって、これらの計測マップ有効範囲外の位置に発生するオプティカルフローは、従来、無効なノイズフローとして、接近車両の接近判定候補から除外してきた。あるいは、規定高さ（Ｙｃｏｎｓｔ）を複数の高さで設定し、計測マップを多重階層化して判定する必要があった。
【００１６】
しかしながら、ある程度車間距離が接近した場合、自車両・接近車両・太陽の位置関係で、規定高さ（Ｙｃｏｎｓｔ）付近の部位が接近車両自身の陰影部となることで、コントラストが低下し、オプティカルフローの検出自体が難しくなる場合が発生する。反対に、計測マップ有効範囲外に位置するルーフ部等は、日照方向境界となるため、コントラストが増加してフロー検出感度が増加する。つまり、計測マップ有効範囲外では、図３に示すように、自車両と対象の相対距離を求められず、計測マップ無効範囲では、検出したオプティカルフローを廃棄せざるを得なかった。
そこで、この実施例１では、敢えて自車両との相対距離・相対速度の計測を行なわない条件に限定することで、従来どおり歪みを持ったカメラの画像から歪み補正処理を施すことなく、接近交差時間（ＴＴＣＲ）のみを検出する手法を提案する。この提案する手法では、相対距離の計測を行なわないため、ＸＺの計測マップを使用しない。よって、従来の判定候補から除外してきた規定高さ（Ｙｃｏｎｓｔ）から外れたオプティカルフローをも利用して（図３の矢印Ｐで示す）、接近交差時間（ＴＴＣＲ）を求めることができる。つまり、略全ての画素位置で、オプティカルフローによって接近交差時間（ＴＴＣＲ）の推定を行う。
【００１７】
参考として、上述した特許文献１のピンホールカメラモデルと歪み画像の関係並びに補正方法について概略的に説明する。
ピンホールカメラモデルでは、図４に示すように、物体の存在する三次元空間座標系を世界座標系［Ｘｗ、Ｙｗ、Ｚｗ］と、カメラのレンズを基準としたカメラ座標系［Ｘｃ、Ｙｃ、Ｚｃ］との２系統でモデル化する。
カメラで撮影した物体は、下記の［数１］−（１）式で示すカメラ外部パラメータ変換により、線形変換（回転と並行）にてカメラ座標系に変換される。
【００１８】
【数１】
【００１９】
画像を投影平面で扱うので、上記の［数１］−（２）式により、カメラ座標系Ｚｃ＝１となる位置に、投影面となるイメージプレーンを定義する。
撮影された物体は、図４に示すように、物体・レンズ焦点を結ぶ直線と、イメージプレーンの交点［Ｘｃｍ、Ｙｃｍ、１］との位置に、画像として投影される。
また、上記の［数２］−（３）式で示すカメラ内部パラメータにより、イメージプレーン上の投影点は、モニタ等の表示デバイス座標［Ｕｍ、Ｖｍ］の黒丸印の位置に変換され、画像として表示される。
しかしながら、より広い視野を１枚の画像の中に収めるべく収差の大きな広角レンズを有するカメラの場合に、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］点が、少し内側に歪曲された［Ｘｃｄ、Ｙｃｄ、１］点に投影されるものと考えられる。この歪曲が画像歪みとなり、下記の［数２］−（４）式に従い、モニタ上での物体の表示位置は、［Ｕｄ、Ｖｄ］の黒逆三角印となる。この結果、広角レンズを有するカメラから通常取得される表示画像は、歪みを含んだ映像となる。
【００２０】
【数２】
【００２１】
また、上述した特許文献２等の手法により、カメラの歪み係数を導入したピンホールカメラモデルに基づく近似手法等を導入すれば、下記の［数３］−（５）〜（７）式の操作で歪みを持つ画像から歪み補正画像を作成することができる。
【００２２】
【数３】
【００２３】
この場合についても、次式で表すことができる。
Ｘｃｄ２ ＋Ｙｃｄ２ ＝Ｒｃｄ２
Ｘｃｍ２ ＋Ｙｃｍ２ ＝Ｒｃｍ２
そして、上記の［数３］〜［数６］の操作を転用し、
Ｒｃｄ２ ＝｛１＋ｅ１ ・［ａｔａｎ（Ｒｃｍ）＋ｅ２ ［ａｔａｎ（Ｒｃｍ）］２ ＋ｅ３ ［ａｔａｎ（Ｒｃｍ）］３ ｝２ Ｒｃｍ２
として、Ｒｃｄを入力値、Ｒｃｍを求める半径として計算すればよい。
その他の歪近似式（シグモイド関数等を利用する歪近似式）についても、歪みはＲｃｍの大きさに比例するので、同様に、Ｘ２ ＋Ｙ２ ＝Ｒ２ で操作すれば、対応できると考えられる。
【００２４】
上述した［Ｘｄ、Ｙｄ］と［Ｘｃ、Ｙｃ］との関係で示すように、歪みのある画像では、本来の投影位置より内側にずれて投影されている。よって、歪み補正画像（図５（Ｂ）参照）は、歪み画像（図５（Ａ）参照）よりも画像サイズが大きくなる。以後、歪み画像のサイズを［幅ｗ、高さｈ］、歪み補正画像のサイズを［幅Ｗ、高さＨ］（比率 Ｗ／ｗ＝Ｈ／ｈ＝Ｎ）として示す。
【００２５】
上述した特許文献１では、画像を歪み補正することなく、バックアイカメラ（広角カメラ・単眼視）により、後続車両と自車両との相対位置の関係を求めるために、歪み補正画像と同じ大きさ［ｗ＊ｈ］で用意した記憶手段（メモリ）に対応する世界座標［Ｘｗ、Ｙｗ、Ｚｗ］を記録した計測マップを導入する手法を取り上げた。但し、二次元で示される画像から三次元の情報を復元することは、原理上難しい。よって、高さ方向Ｙｗを定数として扱いある任意の規定高さ（Ｙｗ＝Ｙｃｏｎｓｔ）平面上に存在する物体のＸｗ、Ｚｗ位置を計測する。
イメージプレーンと画像平面の対応は、カメラ内部パラメータで示される線形変換であるため、［Ｘｃｍ、Ｙｃｍ、１］と［Ｕｍ、Ｖｍ］との順変換・逆変換及び［Ｘｃｄ、Ｙｃｄ、１］と［Ｕｄ、Ｖｄ］との順変換・逆変換は、上記の［数２］の操作に従い容易に行なうことができる。
また、イメージプレーン上で、歪みのない像［Ｘｃｍ、Ｙｃｍ、１］から歪みを持つ像［Ｘｄ、Ｘｄ、１］への変換は、上記の［数３］−（５）〜（７）式の操作で容易に実行することができる。
さらに、Ｙｗ＝Ｙｃｏｎｓｔとする条件下では、上記の［数２］により、［Ｘｃｍ、Ｙｃｍ、１］から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の位置を求めることが可能である。
歪み画像［Ｕｄ、Ｖｄ］に対応する世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］位置を求めるためには、［Ｕｄ、Ｖｄ］と［Ｘｃｄ、Ｙｃｄ、１］と［Ｘｃｍ、Ｙｃｍ、１］と［［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］との順序で、近似モデル式の逆を追って変換しなければならない。
従来では、計測マップＸｗ、Ｚｗの作成は、図６〜図１０の手順によって行われている。
即ち、従来、手順１として、図６に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｄ、Ｙｄ、１］座標系に変換する。手順２として、上記の［数２］の逆変換をすることで、図７に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系に変換する。手順３として、下記の［数５］〜［数７］の高次方程式の計算をすることで、図８に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換する。手順４として、上記の［数１］の逆変換をすることで、図９に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へ世界座標系［Ｘｗ、Ｚｗ］を求める。手順４として、図１０に示すように、この求めた世界座標系［Ｘｗ、Ｚｗ］を登録したＸｗ計測マップ、Ｚｗ計測マップを作成する。
【００２６】
【数４】
【００２７】
【数５】
【００２８】
【数６】
【００２９】
【数７】
【００３０】
しかしながら、その逆の［Ｘｄ、Ｙｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換については、上記の［数５］〜［数７］で示すように、イメージプレーン上、Ｔｓａｉ近似モデル域（Ｒｃｍ２ ≦Ｒｃｋ２ あるいはＲｃｄ２ ≦Ｒｃ１２ ）では五次元以上の高次方程式を、対数近似モデル域では非線型方程式を、反復法等の繰り返し処理を用いて強制的に解く必要がある。ここで、Ｒｃｋは、Ｔｓａｉ近似モデルと対数近似モデルとを切り替える境界条件であり、実験的に求められる。
計算精度を確保するためには、繰り返しの反復回数を増やす必要があるため、リアルタイムに解を得る操作は原理的に不可能に等しい。
よって、上述した特許文献１では、事前に［Ｘｄ、Ｙｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換を行い、歪み画像上の全ての画素位置で対応する［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］をラゲール法等の処理にて高次方程式を解き、これら座標を記録する２枚の計測マップ［Ｘｗ、Ｚｗ］の作成を行なう手法を提案していた。但し、イメージプレーン上で対数近似域（Ｒｃｍ２ ＞Ｒｃｋ２ あるいはＲｃｄ２ ＞Ｒｃｌ２ ）では、上記の［数７］の操作により非線形方程式をＴｓａｉ近似モデル域と同じ次元で、線形の高次方程式に変換して計測マップ座標値を算出した。
規定高さ（Ｙｃｏｎｓｔ）平面は、図４に示すように、地面と平行な平面で定義したので、規定高さ（Ｙｃｏｎｓｔ）平面上の［Ｘｗ、Ｙｗ］座標は、計算することができない。よって、計測マップについては、レンズ焦点高さよりも上方の位置に関する［Ｘｗ、Ｙｗ］座標値を持つことはできない。なぜならば、レンズ焦点高さよりも上方に存在する物体とレンズ焦点を結ぶカメラ視線（直線）は、カメラよりも後方位置で規定高さ（Ｙｃｏｎｓｔ）と交わるため投影面裏位置（虚空間）となり撮影できないからである。
【００３１】
次いで、相対位置計測を使用しない接近交差時間（ＴＴＣＲ）による接近判定法とイメージプレーンマップＸｃｍ、Ｙｃｍの導入について説明する。
上述の特許文献１では、従来、後方よりの接近車両を示すオプティカルフローの始点・終点と対応する計測マップの［Ｘｗ、Ｚｗ］登録値より自車両との相対位置を計測し、図１１、図１２に示すように、マッチング比較対象の２枚の撮影時間の差を利用し相対速度を求め、そして、接近交差時間（ＴＴＣＲ）を算出し、自車両への接近状態を判定している。
この実施例１に係る手法では、自車両と接近車両との相対位置の計測が行なえない計測マップ無効範囲上に発生するオプティカルフローを利用して、接近交差時間（ＴＴＣＲ）を算出することを目的とする。しかしながら、二次元の画像から三次元の全情報を算出することが不可能であるため、何らかの拘束条件が必須事項となる。
そこで、この実施例１では、物体が同じ高さのまま、ΔＸ、ΔＹ方向へ等速移動するという拘束条件を定義する。
なお、図１２において、全てのフローは、移動前後で高さの変動が発生しないと仮定し、また、以下のように、Ｘｗ・Ｚｗ方向に等速度移動を行うと仮定する。つまり、
［Ｘｗ１ −Ｘｗ０ 、Ｙｗ１ −Ｙｗ０ 、Ｚｗ１ −Ｚｗ０ ］＝［ΔＸｗ＊Δｔ、０、ΔＺｗ＊Δｔ］
となる。
【００３２】
次に、イメージプレーンマップＸｃｍ、Ｙｃｍの作成について説明する。
先ず、［Ｘｗ、Ｙｗ、Ｚｗ］と［Ｘｃ、Ｙｃ、Ｚｃ］との対応について着目する。
オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する物体の世界座標系位置を［Ｘｗ０、Ｙｗ０、Ｚｗ０］、カメラ座標系位置を［Ｘｃ０、Ｙｃ０、Ｚｃ０］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する物体の世界座標系位置を［Ｘｗ１、Ｙｗ１、Ｚｗ１］、カメラ座標系位置を［Ｘｃ１、Ｙｃ１、Ｚｃ１］で、それぞれ定義する。
また、同様に、オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する歪みを除去したイメージプレーン座標位置を［Ｘｃｍ０、Ｙｃｍ０、１］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する歪みを除去したイメージプレーン座標を［Ｘｃｍ１、Ｙｃｍ１、１］で、それぞれ定義する。
但し、歪み画像上の座標［Ｕｄ、Ｖｄ］とイメージプレーン上の座標［Ｘｃｍ、Ｙｃｍ、１］との順変換・逆変換の操作には、高次方程式の求解作業（反復操作）が必須である。上述した特許文献１と同様に、計算精度を維持したまま反復操作を回避し、変換操作を円滑に行なう操作が必要と考えられる。
そこで、新たに歪み画像と同じ［ｗ＊ｈ］サイズの２枚の記録バッファを導入し、画素単位で歪み画像とイメージプレーンの対応を取れるように図る。用意した２枚の記録バッファを、それぞれＸｃｍ、Ｙｃｍイメージプレーンマップと呼称する。
即ち、実施例１では、手順１として、図１３に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｄ、Ｙｄ、１］座標系に変換する。手順２として、上記の［数２］の逆変換をすることで、図１４に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系に変換する。手順３として、上記の［数５］〜［数７］の高次方程式の計算をすることで、図１５に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を求める。手順４として、図１６に示すように、この求めたイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を登録したＸｃｍ計測マップ、Ｙｃｍ計測マップを作成する。
【００３３】
以下に、この実施例１に係るＸｃｍ計測マップ、Ｙｃｍ計測マップを利用したＴＴＣＲ計算に関する操作を示す。こ操作の手順１〜８を、以下の［数８］〜［数１３］に沿って説明する。
即ち、手順１として、上記の［数１］の操作により、これらの関係を下記の［数８］のように表すことができる。
【００３４】
【数８】
【００３５】
この［数８］−（１２ａ）式の行列は、［数２］−（４）式のＸｃｄ、Ｙｃｄを置換したものである。この式中の１＋ｆ（Ｒｃｍ２ ）は、［数３］等に示す半径Ｒｃｍ２ に基づく歪近似式で、反復法を利用して解を計算することができる。手順２以降は、予め作成したＸｃｍ計測マップ、Ｙｃｍ計測マップにオプティカルフローの始点・終点をあてはめて、ＴＴＣＲを求める操作である。
【００３６】
手順２として、オプティカルフローは、Δｔ秒差で撮影した画像における物体の移動を表す。物体の移動が、等速直線移動であるという拘束条件を踏まえると、下記の［数９］のように表すことができる。この［数９］は、［数８］−（１２）式のフロー終点［Ｘｃ１、Ｙｃ１、Ｚｃ１］がフロー始点［Ｘｃ０、Ｙｃ０、Ｚｃ０］から移動した状態を示す。
【００３７】
【数９】
【００３８】
手順３として、カメラ座標［Ｘｃ１、Ｙｃ１、Ｚｃ１］及び［Ｘｃ０、Ｙｃ０、Ｚｃ０］を、イメージプレーンに投影すると、下記の［数１０］のように表すことができる。
【００３９】
【数１０】
【００４０】
手順４として、カメラ座標係での移動量［ΔＸｃ、ΔＹｃ、ΔＺｃ］を、イメージプレーン座標系に戻すと、下記の［数１１］のように表すことができる。
【００４１】
【数１１】
【００４２】
上記の［数１１］−（１９ｃ）式から、以下のことが伺える。
２＊２行列による二次元ベクトルの変換式の形態である。また、［ΔＸｗ、ΔＺｗ］は、等速移動であるので、定数と考えられる。更に、Δｔは、マッチング比較を行う２枚の画像の撮影時間差であるので定数と考えられる。更にまた、ΔＸｃｍ、ΔＹｃｍは、歪み画像上のオプティカルフローをイメージプレーン上に変換したものである。
よって、Ｘｃｍ、Ｙｃｍは、イメージプレーンマップ、あるいは、上記の［数５］〜［数７］の高次方程式の操作により求められる。
これにより、２＊２逆行列を使用することで、［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を求めることができる。
【００４３】
手順５として、この求めた［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を、再びカメラ座標系に変換すると、下記の［数１２］のように表すことができる。
【００４４】
【数１２】
【００４５】
この場合、上記の［数１２］−（２０）式での左辺のΔＺｃ／Ｚｃ１に着目する。
拘束条件である等速直線運動によれば、ΔＺｃは一定値である。正確にＺｃ１とΔＺｃ（位置・速度の具体値）を求めることは、原理上できないが、接近交差時間（ＴＴＣＲ）については、ΔＺｃ／Ｚｃ１の逆数であるＺｃ１／ΔＺｃ（距離／速度の比率）として求めることができる。
但し、Ｚｃ１／ΔＺｃは、カメラ座標系上でのベクトルによる評価を示すため、向き・符号を検討しなければならない。
ΔＺｃは、接近を示す変位量である。また、ピンホールカメラモデルの前提条件によりＺｃ１は必ず正の符号を持つ。故に、Ｚｃ１とΔＺｃとでは、ベクトル方向が異なる。よって、ＴＴＴＣＲは、下記の［数１３］のように表すことができる。
【００４６】
【数１３】
【００４７】
ここで、ＴＴＴＣＲが零（０）になれば、接近車両と自車両との車間距離がなくなるとすると、判別できる。
よって、実施例１では、オプティカルフローから相対距離Ｘｗ、Ｚｗ及びＸｗ、Ｚｗの各速度については計測できないが、ＴＴＴＣＲの大きさを元に接近車両の接近の度合いを判別し、運転者ヘ後続車両の接近に関する情報を判定し、必要に応じて運転者にアナウンス等の警告をすることが可能である。実際に装置に適用する場合には、入力画像から直接オプティカルフローを求め、フローの始点［Ｕｄ０、Ｖｄ０］、フローの終点［Ｕｄ１、Ｖｄ１］に対応するＸｃｍ、Ｙｃｍの値を用意したマップから読み取り、［数１４］に適用してＴＴＣＲを求める。
また、歪み画像に対応したマップに関しては、多重階層化の必要がなく、Ｘｃｍ、Ｙｃｍを記録した２枚のイメージプレーンマップのみで対応可能である。
加えて、計算精度・感度の差異はあるが、対応するイメージプレーン座標で、画像中心［Ｘｃｍ、Ｙｃｍ］＝［０、０］以外となる全ての歪み画像上［Ｕｄ、Ｖｄ］位置でＴＴＴＣＲの計算を行なうことができるため、略全画像域をＴＴＴＣＲの計算とすることができる。
ここで、上記の［Ｘｃｍ、Ｙｃｍ］＝［０、０］の場合は、［Ｕｄ１、Ｖｄ１］＝［Ｕｄ０、Ｖｄ０］となる。つまり、全てのオプティカルフロー自体が点となり、移動体の検出ができない。
【００４８】
以下に、引用式を、図解して説明する。
カメラ座標系Ｙｃ＝０投影面の現象であって、拘束条件に沿って、移動接近車両とする接近車両の配置を、図１７に示す。
そして、ある任意のオプティカルフローに着目すると、図１８に示すように、符号Ａの長さは、Ａ＝ΔＸｃ＋Ｂで表され、また、イメージプレーン上に変換されたオプティカルフローがＸｃｍ１−Ｘｃｍ０＝ΔＸｃｍで示され、更に、三角形の相似関係より、Ａ：ΔＸｃｍ＝Ｚｃ１：１であり、また、三角形の相似関係より、Ｂ：Ｘｃｍ０＝ΔＺｃ：１である。
これらを踏まえると、Ａ＝ΔＸｃの関係は、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ＋ΔＺｃ＊Ｘｃｍ０となる。ここでも、ベクトルの方向性を考慮に入れれば、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ−ΔＺｃ＊Ｘｃｍ０となる。
そして、カメラ座標系Ｘｃ＝０投影平面にて現象を検討すれば、Ｚｃ１＊ΔＹｃｍ＝ΔＹｃ−ΔＺｃ＊Ｙｃｍ０となり、これは、上記の手順４の［数１１］の先頭の形式に帰着できることが明らかである。
【００４９】
手順６としては、前述までの解法に沿って、さらに近接する複数のオプティカルフローによるグループ単位で検討することで、接近交差時間（ＴＴＣＲ）の精度を向上できる。
上記の［数１１］−（１９ｃ）式について、グループを構成する複数のオプティカルフローに関して、下記の［数１４］の形式で羅列する。
【００５０】
【数１４】
【００５１】
この場合、［Ｘ（ｃｍ０）Ａ、Ｙ（ｃｍ０）Ａ］はＡ番目のオプティカルフローの始点［Ｕｄ０、Ｖｄ０］を、同様に、［Ｘ（ｃｍ1）Ａ、Ｙ（ｃｍ1）Ａ］はＡ番目のオプティカルフローの終点［Ｕｄ１、Ｖｄ１］を、Ｘｃｍ、Ｙｃｍイメージプレーンマップにより、イメージプレーン上に変換した座標を指す。
上記の［数１４］について解を求める場合、例えば、以下の手順で行なう。
行列とベクトルによるベクトル方程式の形に、下記の［数１５］のように置き換える。
【００５２】
【数１５】
【００５３】
また、このイメージプレーンマップの代理手法（歪み補正・逆参照マップ）について説明する。
イメージプレーンマップＸｃ、Ｙｃは、基本的に少数以下のデータを扱うため、実装対象となる装置によっては、浮動少数のデータサイズや表現の都合上、導入が困難な場合が考えられる。
よって、イメージプレーンマップＸｃ、Ｙｃの代わりに、入力画像（歪み画像）ｗ＊ｈに対応した歪み補正画像の座標位置（上記の［数１５］の「※」で示す）を登録したＵｍ、Ｖｍマップを使用しても構わない。
この場合、上記の［数１５］は、下記の［数１６］−（２４ｃ）式に変形される。
【００５４】
【数１６】
【００５５】
上記の［数１３］に関する解法、上記の［数１６］−（２４ｃ）式への応用には、上記の作成した［数１１］−（１９ｃ）式に基づく方程式を使用する。
ここで、Ｕｍ、Ｖｍマップは、上述した特許文献２で示される歪み補正マップとは異なるものである。
上述した特許文献２で示される歪み補正マップは、サイズ＝ｗ＊ｈ、参照の最大値ｗ＊ｈ（入力画像の外は参照しない……画素がないから）、ｗ＊ｈサイズの画像で表示できる歪み補正を作成するとまの座標を登録、［Ｃｘ、Ｃｙ］は表示中心なので、ｎ倍で倍率調整した画像（ｎ＊Ｗ）＊（ｎ＊Ｈ）に合わせた［Ｃｘｍ、Ｃｙｍ］を使用することを特徴としている。
これに対し、Ｕｍ、Ｖｍマップで示される歪み補正マップは、サイズ＝ｗ＊ｈ、参照の最大値Ｗ＊Ｈ（入力画像の外を参照する・・・・座標系変換に画像サイズは関係ない）、ｗ＊ｈサイズの入力画像が収差の影響を受け歪む前の座標位置を取得、マップサイズがｗ＊ｈで入力画像と同じなので、キャリブレーションデータ［Ｃｘｄ、Ｃｙｄ］を使用することを特徴としている。
この発明のマップ作成法は、反復法によりＲｃｄ−Ｒｃｍ間の変換への対応を解決する。すなわち、上記の特許文献１の簡易計測マップで示すように、反復法を利用しない手段では、計算精度に問題が生じるおそれが多分にある。また、上記の特許文献２に従って歪み補正した画像を用いる場合には、計算精度の他に、オプティカルフローの誤対応、検出精度の低下が課題となる。オプティカルフロー検出は、入力画像を直接使用する方が画像の変形（引き伸ばし）等の加工による影響が加わらないので、オプティカルフロー検出精度が向上する。なお、計算精度とは［Ｕｄ、Ｖｄ］に対する［Ｘｃｍ、Ｙｃｍ］あるいは［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］対応のずれを示す。
【００５６】
次いで、シュミレーション検証について説明する。
前述した操作により、接近交差時間（ＴＴＣＲ）を回帰的に求めた場合について、実値とのシミュレーションにて検証を行なう。
参考とする接近交差時間（ＴＴＣＲｃ）の計算には、図１９、図２０に示すように、実空間上に１６頂点の仮想球体を設定し、一定速度で自車両の方向まで移動するシミュレーションモデルを適用する。
また、上記の［数１］の投影操作により、カメラ座標系Ｚｃに変換される。
レンズ焦点までの距離・時間は、カメラ座標系Ｚｃにおける接近交差時間（ＴＴＣＲ）として計算し、仮想球体１６点での接近交差時間（ＴＴＣＲ）平均値を目標値としてプロットする。
さらに、半径マップの操作により、仮想球体は、１６点の仮想円盤としてイメージプレーン上、あるいは、歪み画像［Ｕｄ、Ｖｄ］に変換可能である。回帰処理を行なうために必要な入力項としての隣接するオプティカルフロー始点・終点のＮ個については、仮想円盤の１６頂点を歪み画像上へ描画した点［Ｕｄ、Ｖｄ］１−１６点を使用する。
実施例１では、計測マップ［Ｙｃｏｎｓｔ＝３４５］とした場合が対象であるので、Ｘｗ計測マップ、Ｚｗ計測マップの有効範囲外となる高さＹ＝１４００位置を移動する球体中心軌道に持つ仮想球体を設定し、シミュレーション検証を行なった。
ここで、仮想球体及び球体投影による仮想円盤の各１６点に関する記述・計算方法は、上述した特許文献２等による半径マップの計算手法を参考とする。
図２１〜図２３に示すように、隣斜線を移動する仮想球体モデルに関しては、シミュレーションの結果、ＴＴＣＲ＜１．５秒程度の範囲で、略目標とする精度で接近球体に関する接近交差時間（ＴＴＣＲ）の検出を行なうことが可能であると分かった。
従来のＸｗ計測マップ、Ｙｗ計測マップによる処理場合、このような高さでの対象物の接近を検出・判断するためには、規定高さ（Ｙｃｏｓｎｔ）の異なる計測マップを複数の高さ分で用意しなければならなかった。また、高さで異なるＹｃｏｓｎｔ計測マップ同士の検出結果を使用する場合には、重複算出分を、例えば、平均化等の補正や優先度をつけて評価する必要があった。
そこで、この実施例１における手法を使用すれば、イメージプレーン上の対応座標を記録したＸｃｍ計測マップ、Ｙｃｍ計測マップを１枚ずつ計２枚分用意するだけで良い。
なお、ＴＴＣＲ計測精度は、使用するカメラを高解像度化することにより、さらに精度を向上し、より遠方の障害物の接近を検出することができる。
【００５７】
即ち、この実施例１では、計測マップに代わる新たな歪み画像対応マップの作成にあたり、歪み画像上の画素位置と対応した世界座標系の３軸［Ｘｗ、Ｙｗ、Ｚｗ（Ｙｗ＝Ｙｃｏｎｓｔ任意定数）］に関する座標を記録する計測マップを作成した。
そして、この実施例１に係るマップは、同様に、歪み画像上の各画素と対応した位置に、ピンホールカメラモデルに基づくイメージプレーン上のカメラ座標［Ｘｃ、Ｙｃ、Ｚｃ（Ｚｃ＝１任意定数）］をレンズ収差を考慮した形で登録する。
イメージプレーン座標を登録した新たなマップは、画像上の略全画素をカバーし、測定マップ有効範囲が従来の範囲と比べて格段に広くした。
また、イメージプレーンマップに基づく接近車両の判定手法においては、従来 計測対象外としていた接近後続車のルーフ部付近に発生するオプティカルフローを利用して、接近車両から最接近（追い越し）までの時間を推定できるため、環境変化に強く従来の計測マップに基づく判定手法（特許文献１）と組み合わせることで、死角の軽減・安定性の向上に効果を発揮できる。
【実施例２】
【００５８】
図２４〜図３０は、この発明の実施例２を示すものである。
この実施例２においては、上述の実施例１と同一機能を果たす箇所には、同一符号を付して説明する。
この実施例２の特徴とするところは、以下の点にある。即ち、図２４に示すように、画像処理制御手段５は、カメラ４により撮像された画像上の画素数と同サイズで検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブル１２と、この多重テーブル１２上の各画素位置に対応するエリアに物体がカメラ４に接触するまでの時間に関する情報を登録しておき、カメラ４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段１３と、このオプティカルフロー検出手段１３により検出されたオプティカルフローに基づいて多重テーブル１２を参照して前記物体がカメラ４に接触するまでの時間に間する情報を取得する情報取得手段１４とを備える。
これにより、検出したオプティカルフローに基づいて物体がカメラ４に接触するまでの時間に間する情報を高速に取得することができる。
即ち、この実施例２では、後続車両との接近判定処理を円滑に行なえるよう、画像と対応したイメージプレーン上の座標を多重テーブル化したイメージプレーン上の対応座標を、記録したＸｃｍ、Ｙｃｍマップの導入を新たに提案する。
また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：現場でプログラム可能なＬＳＩ）等によるハードウェア化を考慮し、接近交差時間（ＴＴＣＲ）、ＦＯＥ（消失点：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）内積評価・逆向きフロー判定の３要素を、総合判定テーブル（多重テーブル）として登録し、探索範囲に応じて検出可能なフロー［±ｕ、±ｖ］別で総合判定テーブルを多重階層化する接近車両検出手法を提案する。
【００５９】
次に、実施例２に係る多重階層式総合判定の多重テーブルについて説明する。
実施例２の多重テーブルは、オプティカルフローの始点と向きから衝突可能性の有無を直接判定するものである。よって、多重テーブルを使用する場合、［Ｘｃｍ、Ｙｃｍ］は不要となる。ただし、多重テーブル作成には、［Ｘｃｍ、Ｙｃｍ］を使用する。
プログラム可能なＬＳＩ（ＦＰＧＡ）等によるハードウェア化を考慮した場合、検出したオプティカルフロー及びオプティカルフローに対応するイメージプレーンマップを毎回計算するのは、構成上不利な点が多い。
ところで、ブロックマッチングベースのオプティカルフローについては、設定した探索範囲を超過するフローの検出が原理上不可能である。よって、操作により検出されるオプティカルフローの長さ上限は、システム開発時に既に明らかとなっている。
検出可能なオプティカルフローの最大長さを［±ｕ、±ｖ］とした場合、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１枚の歪み画像と同サイズの多重テーブルを用意し、各画素位置に予め接近交差時間（ＴＴＣＲ）を登録しておき、検出したオプティカルフローに沿って参照することで、簡単にオプティカルフローに該当した対象の衝突可能性を把握することが可能である。
また、接近交差時間（ＴＴＣＲ）を準備した多重テーブルに記録する過程で、オプティカルフローの向きと消失点（ＦＯＥ）との内積評価情報、及び逆向きフロー判定情報の２要素を追加した３要素を総合判定の多重テーブルとして登録することで、より誤検出に強い接近車両検出手段とすることができる。
【００６０】
この総合判定の多重テーブルの手順は、以下のように行われる。
即ち、手順１として、上述したイメージプレーンマップを作成する。
この場合、作業工数に問題なければ、イメージプレーンマップを作成せず、毎回計算してもかまわない。
手順２として、各画素についてオプティカルフローの発生する組み合わせは、フローの等号の±分を考慮して、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１通りである。よって、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１枚の空データテーブルを、用意する。また、各データテーブルのサイズは、歪み画像と同じ［ｗ＊ｈ］とする。そして、先ず、空データテーブルのうち、オプティカルフロー［Ｕ１、Ｖ１］に対応するデータテーブル［Ｕ１、Ｖ１］を作成する。
ここで、［Ｕ、Ｖ］＝［０、０］の場合には、静止状態なので、オプティカルフローが発生しない。
手順３として、データテーブル［Ｕ１、Ｖ１］について１画素ずつ仮想オプティカルフローを設定する。
データテーブル［Ｕ１、Ｖ１］の座標［ｉ、ｊ］についてイメージプレーンマップの［ｉ、ｊ］座標登録値よりイメージプレーン座標［ＸｃｍＡ 、ＹｃｍＡ ］を取得する。この位置は、イメージプレーン上で表示される仮想オプティカルフローの始点となる。
同様に、テーブル［Ｕ１、Ｖ１］の座標［ｉ＋Ｕ１、ｊ＋Ｖ１］について、イメージプレーン座標［ＸｃｍＢ 、ＹｃｍＢ ］を取得する。これが、イメージプレーン上で表示される仮想オプティカルフローの終点となる。
つまり、図２５に示すように、ブロックマッチング作業からオプティカルフローの検出を行い、図２６に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、オプティカルフローの始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ 、ＹｃｍＡ ］と、オプティカルフローの終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］＝［ＸｃｍＢ 、ＹｃｍＢ ］とを求める。
手順４として、イメージプレーンマップ上で、ＦＯＥ座標［Ｘｃｍｆ、Ｙｃｍｆ、１］は、下記の［数１７］と仮定し、ベクトルＡ［ＸｃｍＢ −ＸｃｍＡ 、ＹｃｍＢ −ＹｃｍＡ ］と、ベクトルＢ［ＸｃｍＢ −Ｘｃｍｆ、ＹｃｍＢ −Ｙｃｍｆ］の内積を評価する。
【００６１】
【数１７】
【００６２】
そして、この内積には、一致度閾値Ｔｈｒを設定し、内債計算結果、閾値Ｔｈｒについては、下記の［数１８］のように評価し、データテーブル［Ｕ１、Ｖ１］の［ｉ、ｊ］にデータを登録する。
【００６３】
【数１８】
【００６４】
以上の作業を、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１通りで、各全画素位置で実行し、合計で、（２＊Ｕ＋１）＊（２＊Ｖ＋１）毎のデータテーブルを作成する。
なお、接近交差時間（ＴＴＣＲ）について２値で扱う場合（例えば、最接近まで１秒以内か、１秒以上か等）、接近交差時間（ＴＴＣＲ）の判定に１ビット、逆向きオプティカルフローの判定に１ビット、消失点（ＦＯＥ）の判定は零（０）ということで、データテーブルは、合計２ビットデータで作成することができる。したがって、記憶装置（メモリ）の容量を削減可能なので、データテーブルの多重化に対して必要となるメモリ総容量の削減に効果がある。なお、メモリに余裕がある場合にはＴＴＣＲ値をデータテーブルに登録しても構わない。
この実施例２の例では、各データテーブルについてオプティカルフローの一本で接近交差時間（ＴＴＣＲ）を求めたが、上記の手順３にて、オプティカルフローの始点・終点について、周辺の座標データを加えた平均（あるいは、重みを追加した荷重平均）にて接近交差時間（ＴＴＣＲ）を計算し、データテーブル［ｉ、ｊ］位置に登録してもかまわない。
【００６５】
次いで、接近車両検出の手順について説明する。
手順１としては、図２７に示すように、ブロックマッチング作業により、オプティカルフローを検出し、そして、図２８に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、オプティカルフローの始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ 、ＹｃｍＡ ］と、オプティカルフローの終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］＝［ＸｃｍＢ 、ＹｃｍＢ ］とを求める。
手順２としては、検出したオプティカルフローの始点［ｉ、ｊ］と、オプティカルフローフロー長さ［ｕ、ｖ］を求める。この場合、データテーブルのうち、オプティカルフロー長さ［ｕ、ｖ］について求めた図２９のテーブル内の［ｉ，ｊ］登録値を取り出す。
例えば、図２７及び図２８の符号Ａにおけるオプティカルフローの長さが、例えば、［ｕ、ｖ］＝［３、３］であれば、データテーブル［３、３］の［ｉ，ｊ］登録値を取り出す。
図２９においては、ＦＯＥ内積不一致の部分では、最接近時間が長く、それ以外の部分では、最接近時間が短い。
手順３としては、データテーブル［ｕ、ｖ］の［ｉ、ｊ］登録値がＴＴＣＲ接近閾値以下（例えば１．０秒）であれば、１．０秒以内に後続車両が接近するおそれがあるので、運転者ヘ警告を促す。
【００６６】
また、上記の接近車両検出の手順１〜手順３に関して、誤検出が発生する場合は、手順３の繰り返し連続検出回数を評価すれば良い。繰り返し連続検出回数の評価時に、データテーブル［ｕ、ｖ］の［ｉ、ｊ］登録値が繰り返しパターン（＝逆向きフロー）を示す場合は、カウントを零（０）にリセットする等の対応処理を施すことが可能である。なお、上記の繰り返しパターンについては、上述した特許文献２と同様に行われる。
【００６７】
手順４としては、図３０に示す歪み画像と同じサイズの連続検出テーブルを用意する。
手順５としては、手順３で接近交差時間（ＴＴＣＲ）が閾値以下と判定された場合、連続検出テーブルのオプティカルフローの始点データを終点位置ヘコピーし、さらにカウントを１つ増加する（トラッキング作業）。
手順６としては、次の画像を取得し、新たにオプティカルフローを探索する。
手順７としては、手順３で繰り返しパターンが検出された場合は、連続検出テーブルの該当位置の履歴をクリアする。
手順８としては、連続検出テーブルの検出回数が規定値を満たした場合、接近車両検出と判定する。
また、ノイズヘの対応として各評価は、隣接するオプティカルフローの各接近判定をグループとして取り扱い判定してもかまわない。
【００６８】
即ち、この実施例２においては、ＦＰＧＡのハードウェア化を考慮に入れた総合判定テーブルの導入であって、検出される全ての組み合わせのフローに対応したデータテーブルを用意し、ＴＴＣＲ計算値、ＦＯＥ内積評価、繰り返しパターン判定を記録する。オプティカルフローの評価及び接近車両の有無の判定は、検出したフローに対応した総合判定の多重テーブル上のオプティカルフローの始点の座標位置の登録データを参照して行なう。
【産業上の利用可能性】
【００６９】
この発明の運転支援装置は、車両周辺の移動障害物の接近判定等で自動的に支援する技術にも適用できる。
【符号の説明】
【００７０】
１ 車両
２ 運転支援装置
３ 広角レンズ
４ 撮像手段（カメラ）
５ 画像処理制御手段
６ 表示手段
７ 音声出力手段
８ 記録手段
９ 画素位置取得手段
１０ オプティカルフロー検出手段（実施例１）
１１ 接触時間推定手段
１２ 多重テーブル
１３ オプティカルフロー検出手段（実施例２）
１４ 情報取得手段
【技術分野】
【０００１】
この発明は、運転支援装置に係り、特に車両に取り付けた撮像手段により撮像された画像を処理して運転を支援する運転支援装置に関する。
【背景技術】
【０００２】
車両には、運転を支援するために、運転支援装置を搭載しているものがある。この運転支援装置は、車両後部に取り付けられた撮像手段（バックアイカメラ）の画像等を表示手段（モニタ）に表示させて、運転者の運転を支援するものである。
この運転支援装置においては、走行中、車両に取り付けられた単眼の撮像手段を使用して自車両の後方の後続車両との距離を自動的に確認する場合、撮像手段により撮影した画像からオプティカルフロー等の処理で障害物の動きを把握し、障害物の相対位置・速度、移動方向を自動計測して判定している。
撮像手段としては、撮像した画像から障害物の位置を自動計測する際、障害物の三次元空間座標と撮影された二次元の画像平面座標とをカメラキャリブレーション等の校正作業で（ピンホールカメラモデルに代表される）線形な位置関係で対応がとれるようレンズ収差の小さいものが使用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８２２６号公報
【特許文献２】特開２００９−１３０５４６号公報
【０００４】
特許文献１に係る計測マップ生成装置及び走行環境確認装置は、広角レンズを有する撮像手段（バックカメラ）の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものである。
特許文献２に係る画像の歪曲補正方法は、歪曲のあるレンズを有する撮像手段（カメラ）で撮像した画像を、撮像手段の光軸と画像の面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、上記の円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正するものである。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来、レンズ収差の小さい撮像手段は、二次元の画像平面座標と三次元空間座標の対応が線形であるが、原理的に撮影可能なエリアが狭かった。逆に、レンズ収差が大きい撮像手段では、撮影可能エリアは広くなるが、撮影した画像に歪みが現れ、二次元の画像平面座標と三次元空間座標との対応が非線形となり、自動計測には不向きであった。
また、レンズ収差を考慮に入れた計測マップの導入により、自車両と後続車両の距離・速度を認識し、歪み画像を直接処理して、後続車両の接近を判別して運転者に警告する方法にあっては、計測マップ上にかからない位置でのオプティカルフローを判定対象外として扱っていたため、環境（日照照明条件）により車間が迫った対象物を判定できない場合が発生するという不都合があった。
【０００６】
そこで、この発明の目的は、オプティカルフロー検出等の画像処理機能を向上する運転支援装置を提供することにある。
【課題を解決するための手段】
【０００７】
この発明は、広角レンズを有する撮像手段を設け、この撮像手段により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段と、
前記撮像手段により撮像された画像上の画素位置から前記記録手段に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段とを備える画像処理手段を設けたことを特徴とする。
【発明の効果】
【０００８】
この発明の運転支援装置は、広角レンズを有する撮像手段により撮像した画像を、歪み補正を行うことなく、直接的に座標計測処理を行うことにより、オプティカルフロー検出等の画像処理機能を向上できる。例えば、ブロックマッチングベースオプティカルフローや勾配法に基づくオプティカルフローが存在する。
【図面の簡単な説明】
【０００９】
【図１】図１は運転支援装置のシステムブロック図である。（実施例１）
【図２】図２は車両後方の画像を撮像手段で取得する状態の側面図である。（実施例１）
【図３】図３は計測マップの有効範囲及び無効範囲を示す図である。（実施例１）
【図４】図４はイメージプレーン上の投影点を示す図である。（実施例１）
【図５】図５（Ａ）は、歪み画像を説明する図である。図５（Ｂ）は、歪み補正画像を説明する図である。（実施例１）
【図６】図６は歪み画像を説明する図である。（実施例１）
【図７】図７はイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例１）
【図８】図８はイメージプレーン上で［Ｘｃｍ、Ｙｃｍ］座標系に変換した図である。（実施例１）
【図９】図９は世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換した図である。（実施例１）
【図１０】図１０は世界座標系［Ｘｗ、Ｚｗ］を登録する図である。（実施例１）
【図１１】図１１は２枚の撮像時間の差を表した図である。（実施例１）
【図１２】図１２は車両の等速度移動状態を表した図である。（実施例１）
【図１３】図１３はイメージプレーンマップの作成において歪み画像を説明する図である。（実施例１）
【図１４】図１４はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｄ、Ｙｄ、１］座標系に変換した図である。（実施例１）
【図１５】図１５はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例１）
【図１６】図１６はイメージプレーンマップの作成においてイメージプレーン上で座標［Ｘｃｍ、Ｚｃｍ］を登録した図である。（実施例１）
【図１７】図１７は拘束条件に沿って接近車両の配置を示す図である。（実施例１）
【図１８】図１８は各座標の関係を示す図である。（実施例１）
【図１９】図１９は各仮想円盤の動きを示す図である。（実施例１）
【図２０】図２０は仮想球体中心軌道を示す図である。（実施例１）
【図２１】図２１は相対接近速度１０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２２】図２２は相対接近速度２０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２３】図２３は相対接近速度３０ｋｍ／ｈにおける車間距離を示す図である。（実施例１）
【図２４】図２４は運転支援装置のシステムブロック図である。（実施例２）
【図２５】図２５は多重テーブルにおいて歪み画像を示す図である。（実施例２）
【図２６】図２６は多重テーブルにおいてイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例２）
【図２７】図２７は多重テーブルにおいて符号Ａのフロー長さを有する歪み画像を示す図である。（実施例２）
【図２８】図２８は多重テーブルにおいて符号Ａのフロー長さを有するイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例２）
【図２９】図２９は多重テーブルにおいてデータテーブルを示す図である。（実施例２）
【図３０】図３０は連続検出テーブルを用意する歪み画像を示す図である。（実施例２）
【発明を実施するための形態】
【００１０】
この発明は、オプティカルフロー検出等の画像処理機能を向上する目的を、広角レンズを有する撮像手段により撮像した画像を、歪み補正を行うことなく、直接的に座標計測処理を行うことによって実現するものである。
【実施例１】
【００１１】
図１〜図２３は、この発明の実施例１を示すものである。
図１、図２において、１は車両、２は車両１に搭載される運転支援装置である。
この運転支援装置２は、広角レンズ３を有して車両後方を撮像する撮像手段４と、入力側で撮像手段４に連絡した画像処理制御手段５と、この画像制御処理手段５の出力側に連絡した表示手段６及び音声出力手段７とを備える。
撮像手段４は、車両１の後部に取り付けたバックカメラからなり、車両後方を撮像する。以下、この撮像手段４を、カメラ４と称して説明する。
表示手段６は、車両１の車室内に配置されたカーナビゲーションシステムのモニタ等の表示機器からなり、カメラ４により撮像された画像等を表示する。
音声出力手段７は、スピーカ等の音声機器からなり、カメラ４により撮像された画像状態等により運転者に警告等を知らせるものである。
【００１２】
この実施例１において、画像処理制御手段５は、カメラ４により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段（メモリ）８と、カメラ４により撮像された画像上の画素位置から記録手段８に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段９とを備える。
これにより、広角レンズ３を用いて撮像された歪み画像に対して歪み補正を行なうことなく、直接、座標計測処理を行うことができる。このため、歪み補正した画像を画像処理する場合に比べて、人為的な画像加工が加わらない分、オプティカルフロー検出等の画像処理機能に優れている。
【００１３】
また、この実施例１において、画像処理制御手段５は、カメラ４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段１０と、このオプティカルフロー検出手段１０により検出されたオプティカルフローの始点位置と終点位置とに対応するイメージプレーン上の画素位置を画素位置取得手段９により取得し、画素位置取得手段９で取得された２つの画素間の距離及び物体とカメラ４との距離に基づいて前記物体がカメラ４に接触するまでの時間を推定する接触時間推定手段１１とを備える。
これにより、イメージプレーンは、カメラ４により撮像された画像上の略全画素をカバーしているので、画像の広範囲にわたって物体がカメラ４に接触するまでの時間を推定することができる。
【００１４】
この実施例１においては、以下に述べるように、従来の計測マップに代わる歪み画像に対応するイメージプレーンマップの作成を行い、また、このイメージプレーンマップに基づく接近車両の判定を行う。
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
通常、バックアイカメラであるカメラは、より広い視界を確保するために、広角レンズを有している。但し、広角レンズを通したカメラの映像には、レンズ収差の影響によって画像に歪みが生じている。
よって、車両周囲を自動的に確認する運転支援装置では、先ず、画像の歪み補正処理を行い、歪みを除去加工した映像を利用する手法が用いられる。但し、歪み補正画像は、人為的に処理された仮想画像を使用するため、ブロックマッチング作業等の処理を行なう際に、検出したオプティカルフローの精度に疑問の余地が残っていた。
上述した特許文献１等の運転支援装置では、取得した画像の歪みを持つ入力したカメラの映像から画像の歪み補正処理を行なうことなく、直接的に処理して接近車両の距離を確認する技術手法を報告し、その有効性を示している。
また、上述した特許文献１では、取得したオプティカルフローに対して、三次元上で任意に設定した規定高さ（Ｙｃｏｎｓｔ）に基づき作成した三次元画像上のＸ・Ｚ座標の計測マップを重ね合わせ、オプティカルフロー始点位置と終点位置との各座標［Ｕ・Ｖ］と計測マップ上の記録座標値［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の対応から、接近車両の相対位置・相対速度を計算し、自車両と接近車両との接触までの時期である接近交差時間（ＴＴＣＲ）（Ｔｉｍｅ Ｔｏ ＣＲｏｓｓｉｎｇ、ＴＴＣＲ＝（Ｚｗ／ΔＺｗ））から接近車両との距離状態を判定している。ここで、ΔＺｗ（Ｚｗ：方向速度）は、オプティカルフローの始点・終点と比較画像の撮影時間との差から算出される。
【００１５】
ところで、オプティカルフローは、入力画像上でコントラスト等の特徴量の大きい位置に対して発生するため、接近車両では輪郭部等に対して感度が良い。また、後続車両の接近に伴い画像上に映る車両映像が拡大するため、オプティカルフローは、輪郭の拡大変化に合わせて離散して細分化した形で発生するようになる。
設定した計測マップと重複できないオプティカルフローとについては、ＸｗＺｗ座標値を計測マップから取得することができない。つまり、計測マップ有効範囲以外となり、接近交差時間（ＴＴＣＲ）の計測度合の判定ができない。ある程度車間距離が接近した後続車両の場合には、車両のルーフ部等を対象に発生したオプティカルフローについては、規定高さ（Ｙｃｏｎｓｔ）から大きく反れた高さ関係となるので、位置計測精度が劣化する。よって、これらの計測マップ有効範囲外の位置に発生するオプティカルフローは、従来、無効なノイズフローとして、接近車両の接近判定候補から除外してきた。あるいは、規定高さ（Ｙｃｏｎｓｔ）を複数の高さで設定し、計測マップを多重階層化して判定する必要があった。
【００１６】
しかしながら、ある程度車間距離が接近した場合、自車両・接近車両・太陽の位置関係で、規定高さ（Ｙｃｏｎｓｔ）付近の部位が接近車両自身の陰影部となることで、コントラストが低下し、オプティカルフローの検出自体が難しくなる場合が発生する。反対に、計測マップ有効範囲外に位置するルーフ部等は、日照方向境界となるため、コントラストが増加してフロー検出感度が増加する。つまり、計測マップ有効範囲外では、図３に示すように、自車両と対象の相対距離を求められず、計測マップ無効範囲では、検出したオプティカルフローを廃棄せざるを得なかった。
そこで、この実施例１では、敢えて自車両との相対距離・相対速度の計測を行なわない条件に限定することで、従来どおり歪みを持ったカメラの画像から歪み補正処理を施すことなく、接近交差時間（ＴＴＣＲ）のみを検出する手法を提案する。この提案する手法では、相対距離の計測を行なわないため、ＸＺの計測マップを使用しない。よって、従来の判定候補から除外してきた規定高さ（Ｙｃｏｎｓｔ）から外れたオプティカルフローをも利用して（図３の矢印Ｐで示す）、接近交差時間（ＴＴＣＲ）を求めることができる。つまり、略全ての画素位置で、オプティカルフローによって接近交差時間（ＴＴＣＲ）の推定を行う。
【００１７】
参考として、上述した特許文献１のピンホールカメラモデルと歪み画像の関係並びに補正方法について概略的に説明する。
ピンホールカメラモデルでは、図４に示すように、物体の存在する三次元空間座標系を世界座標系［Ｘｗ、Ｙｗ、Ｚｗ］と、カメラのレンズを基準としたカメラ座標系［Ｘｃ、Ｙｃ、Ｚｃ］との２系統でモデル化する。
カメラで撮影した物体は、下記の［数１］−（１）式で示すカメラ外部パラメータ変換により、線形変換（回転と並行）にてカメラ座標系に変換される。
【００１８】
【数１】
【００１９】
画像を投影平面で扱うので、上記の［数１］−（２）式により、カメラ座標系Ｚｃ＝１となる位置に、投影面となるイメージプレーンを定義する。
撮影された物体は、図４に示すように、物体・レンズ焦点を結ぶ直線と、イメージプレーンの交点［Ｘｃｍ、Ｙｃｍ、１］との位置に、画像として投影される。
また、上記の［数２］−（３）式で示すカメラ内部パラメータにより、イメージプレーン上の投影点は、モニタ等の表示デバイス座標［Ｕｍ、Ｖｍ］の黒丸印の位置に変換され、画像として表示される。
しかしながら、より広い視野を１枚の画像の中に収めるべく収差の大きな広角レンズを有するカメラの場合に、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］点が、少し内側に歪曲された［Ｘｃｄ、Ｙｃｄ、１］点に投影されるものと考えられる。この歪曲が画像歪みとなり、下記の［数２］−（４）式に従い、モニタ上での物体の表示位置は、［Ｕｄ、Ｖｄ］の黒逆三角印となる。この結果、広角レンズを有するカメラから通常取得される表示画像は、歪みを含んだ映像となる。
【００２０】
【数２】
【００２１】
また、上述した特許文献２等の手法により、カメラの歪み係数を導入したピンホールカメラモデルに基づく近似手法等を導入すれば、下記の［数３］−（５）〜（７）式の操作で歪みを持つ画像から歪み補正画像を作成することができる。
【００２２】
【数３】
【００２３】
この場合についても、次式で表すことができる。
Ｘｃｄ２ ＋Ｙｃｄ２ ＝Ｒｃｄ２
Ｘｃｍ２ ＋Ｙｃｍ２ ＝Ｒｃｍ２
そして、上記の［数３］〜［数６］の操作を転用し、
Ｒｃｄ２ ＝｛１＋ｅ１ ・［ａｔａｎ（Ｒｃｍ）＋ｅ２ ［ａｔａｎ（Ｒｃｍ）］２ ＋ｅ３ ［ａｔａｎ（Ｒｃｍ）］３ ｝２ Ｒｃｍ２
として、Ｒｃｄを入力値、Ｒｃｍを求める半径として計算すればよい。
その他の歪近似式（シグモイド関数等を利用する歪近似式）についても、歪みはＲｃｍの大きさに比例するので、同様に、Ｘ２ ＋Ｙ２ ＝Ｒ２ で操作すれば、対応できると考えられる。
【００２４】
上述した［Ｘｄ、Ｙｄ］と［Ｘｃ、Ｙｃ］との関係で示すように、歪みのある画像では、本来の投影位置より内側にずれて投影されている。よって、歪み補正画像（図５（Ｂ）参照）は、歪み画像（図５（Ａ）参照）よりも画像サイズが大きくなる。以後、歪み画像のサイズを［幅ｗ、高さｈ］、歪み補正画像のサイズを［幅Ｗ、高さＨ］（比率 Ｗ／ｗ＝Ｈ／ｈ＝Ｎ）として示す。
【００２５】
上述した特許文献１では、画像を歪み補正することなく、バックアイカメラ（広角カメラ・単眼視）により、後続車両と自車両との相対位置の関係を求めるために、歪み補正画像と同じ大きさ［ｗ＊ｈ］で用意した記憶手段（メモリ）に対応する世界座標［Ｘｗ、Ｙｗ、Ｚｗ］を記録した計測マップを導入する手法を取り上げた。但し、二次元で示される画像から三次元の情報を復元することは、原理上難しい。よって、高さ方向Ｙｗを定数として扱いある任意の規定高さ（Ｙｗ＝Ｙｃｏｎｓｔ）平面上に存在する物体のＸｗ、Ｚｗ位置を計測する。
イメージプレーンと画像平面の対応は、カメラ内部パラメータで示される線形変換であるため、［Ｘｃｍ、Ｙｃｍ、１］と［Ｕｍ、Ｖｍ］との順変換・逆変換及び［Ｘｃｄ、Ｙｃｄ、１］と［Ｕｄ、Ｖｄ］との順変換・逆変換は、上記の［数２］の操作に従い容易に行なうことができる。
また、イメージプレーン上で、歪みのない像［Ｘｃｍ、Ｙｃｍ、１］から歪みを持つ像［Ｘｄ、Ｘｄ、１］への変換は、上記の［数３］−（５）〜（７）式の操作で容易に実行することができる。
さらに、Ｙｗ＝Ｙｃｏｎｓｔとする条件下では、上記の［数２］により、［Ｘｃｍ、Ｙｃｍ、１］から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の位置を求めることが可能である。
歪み画像［Ｕｄ、Ｖｄ］に対応する世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］位置を求めるためには、［Ｕｄ、Ｖｄ］と［Ｘｃｄ、Ｙｃｄ、１］と［Ｘｃｍ、Ｙｃｍ、１］と［［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］との順序で、近似モデル式の逆を追って変換しなければならない。
従来では、計測マップＸｗ、Ｚｗの作成は、図６〜図１０の手順によって行われている。
即ち、従来、手順１として、図６に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｄ、Ｙｄ、１］座標系に変換する。手順２として、上記の［数２］の逆変換をすることで、図７に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系に変換する。手順３として、下記の［数５］〜［数７］の高次方程式の計算をすることで、図８に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換する。手順４として、上記の［数１］の逆変換をすることで、図９に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へ世界座標系［Ｘｗ、Ｚｗ］を求める。手順４として、図１０に示すように、この求めた世界座標系［Ｘｗ、Ｚｗ］を登録したＸｗ計測マップ、Ｚｗ計測マップを作成する。
【００２６】
【数４】
【００２７】
【数５】
【００２８】
【数６】
【００２９】
【数７】
【００３０】
しかしながら、その逆の［Ｘｄ、Ｙｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換については、上記の［数５］〜［数７］で示すように、イメージプレーン上、Ｔｓａｉ近似モデル域（Ｒｃｍ２ ≦Ｒｃｋ２ あるいはＲｃｄ２ ≦Ｒｃ１２ ）では五次元以上の高次方程式を、対数近似モデル域では非線型方程式を、反復法等の繰り返し処理を用いて強制的に解く必要がある。ここで、Ｒｃｋは、Ｔｓａｉ近似モデルと対数近似モデルとを切り替える境界条件であり、実験的に求められる。
計算精度を確保するためには、繰り返しの反復回数を増やす必要があるため、リアルタイムに解を得る操作は原理的に不可能に等しい。
よって、上述した特許文献１では、事前に［Ｘｄ、Ｙｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換を行い、歪み画像上の全ての画素位置で対応する［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］をラゲール法等の処理にて高次方程式を解き、これら座標を記録する２枚の計測マップ［Ｘｗ、Ｚｗ］の作成を行なう手法を提案していた。但し、イメージプレーン上で対数近似域（Ｒｃｍ２ ＞Ｒｃｋ２ あるいはＲｃｄ２ ＞Ｒｃｌ２ ）では、上記の［数７］の操作により非線形方程式をＴｓａｉ近似モデル域と同じ次元で、線形の高次方程式に変換して計測マップ座標値を算出した。
規定高さ（Ｙｃｏｎｓｔ）平面は、図４に示すように、地面と平行な平面で定義したので、規定高さ（Ｙｃｏｎｓｔ）平面上の［Ｘｗ、Ｙｗ］座標は、計算することができない。よって、計測マップについては、レンズ焦点高さよりも上方の位置に関する［Ｘｗ、Ｙｗ］座標値を持つことはできない。なぜならば、レンズ焦点高さよりも上方に存在する物体とレンズ焦点を結ぶカメラ視線（直線）は、カメラよりも後方位置で規定高さ（Ｙｃｏｎｓｔ）と交わるため投影面裏位置（虚空間）となり撮影できないからである。
【００３１】
次いで、相対位置計測を使用しない接近交差時間（ＴＴＣＲ）による接近判定法とイメージプレーンマップＸｃｍ、Ｙｃｍの導入について説明する。
上述の特許文献１では、従来、後方よりの接近車両を示すオプティカルフローの始点・終点と対応する計測マップの［Ｘｗ、Ｚｗ］登録値より自車両との相対位置を計測し、図１１、図１２に示すように、マッチング比較対象の２枚の撮影時間の差を利用し相対速度を求め、そして、接近交差時間（ＴＴＣＲ）を算出し、自車両への接近状態を判定している。
この実施例１に係る手法では、自車両と接近車両との相対位置の計測が行なえない計測マップ無効範囲上に発生するオプティカルフローを利用して、接近交差時間（ＴＴＣＲ）を算出することを目的とする。しかしながら、二次元の画像から三次元の全情報を算出することが不可能であるため、何らかの拘束条件が必須事項となる。
そこで、この実施例１では、物体が同じ高さのまま、ΔＸ、ΔＹ方向へ等速移動するという拘束条件を定義する。
なお、図１２において、全てのフローは、移動前後で高さの変動が発生しないと仮定し、また、以下のように、Ｘｗ・Ｚｗ方向に等速度移動を行うと仮定する。つまり、
［Ｘｗ１ −Ｘｗ０ 、Ｙｗ１ −Ｙｗ０ 、Ｚｗ１ −Ｚｗ０ ］＝［ΔＸｗ＊Δｔ、０、ΔＺｗ＊Δｔ］
となる。
【００３２】
次に、イメージプレーンマップＸｃｍ、Ｙｃｍの作成について説明する。
先ず、［Ｘｗ、Ｙｗ、Ｚｗ］と［Ｘｃ、Ｙｃ、Ｚｃ］との対応について着目する。
オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する物体の世界座標系位置を［Ｘｗ０、Ｙｗ０、Ｚｗ０］、カメラ座標系位置を［Ｘｃ０、Ｙｃ０、Ｚｃ０］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する物体の世界座標系位置を［Ｘｗ１、Ｙｗ１、Ｚｗ１］、カメラ座標系位置を［Ｘｃ１、Ｙｃ１、Ｚｃ１］で、それぞれ定義する。
また、同様に、オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する歪みを除去したイメージプレーン座標位置を［Ｘｃｍ０、Ｙｃｍ０、１］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する歪みを除去したイメージプレーン座標を［Ｘｃｍ１、Ｙｃｍ１、１］で、それぞれ定義する。
但し、歪み画像上の座標［Ｕｄ、Ｖｄ］とイメージプレーン上の座標［Ｘｃｍ、Ｙｃｍ、１］との順変換・逆変換の操作には、高次方程式の求解作業（反復操作）が必須である。上述した特許文献１と同様に、計算精度を維持したまま反復操作を回避し、変換操作を円滑に行なう操作が必要と考えられる。
そこで、新たに歪み画像と同じ［ｗ＊ｈ］サイズの２枚の記録バッファを導入し、画素単位で歪み画像とイメージプレーンの対応を取れるように図る。用意した２枚の記録バッファを、それぞれＸｃｍ、Ｙｃｍイメージプレーンマップと呼称する。
即ち、実施例１では、手順１として、図１３に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｄ、Ｙｄ、１］座標系に変換する。手順２として、上記の［数２］の逆変換をすることで、図１４に示すように、イメージプレーン上の［Ｘｃ、Ｙｃ、１］座標系に変換する。手順３として、上記の［数５］〜［数７］の高次方程式の計算をすることで、図１５に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を求める。手順４として、図１６に示すように、この求めたイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を登録したＸｃｍ計測マップ、Ｙｃｍ計測マップを作成する。
【００３３】
以下に、この実施例１に係るＸｃｍ計測マップ、Ｙｃｍ計測マップを利用したＴＴＣＲ計算に関する操作を示す。こ操作の手順１〜８を、以下の［数８］〜［数１３］に沿って説明する。
即ち、手順１として、上記の［数１］の操作により、これらの関係を下記の［数８］のように表すことができる。
【００３４】
【数８】
【００３５】
この［数８］−（１２ａ）式の行列は、［数２］−（４）式のＸｃｄ、Ｙｃｄを置換したものである。この式中の１＋ｆ（Ｒｃｍ２ ）は、［数３］等に示す半径Ｒｃｍ２ に基づく歪近似式で、反復法を利用して解を計算することができる。手順２以降は、予め作成したＸｃｍ計測マップ、Ｙｃｍ計測マップにオプティカルフローの始点・終点をあてはめて、ＴＴＣＲを求める操作である。
【００３６】
手順２として、オプティカルフローは、Δｔ秒差で撮影した画像における物体の移動を表す。物体の移動が、等速直線移動であるという拘束条件を踏まえると、下記の［数９］のように表すことができる。この［数９］は、［数８］−（１２）式のフロー終点［Ｘｃ１、Ｙｃ１、Ｚｃ１］がフロー始点［Ｘｃ０、Ｙｃ０、Ｚｃ０］から移動した状態を示す。
【００３７】
【数９】
【００３８】
手順３として、カメラ座標［Ｘｃ１、Ｙｃ１、Ｚｃ１］及び［Ｘｃ０、Ｙｃ０、Ｚｃ０］を、イメージプレーンに投影すると、下記の［数１０］のように表すことができる。
【００３９】
【数１０】
【００４０】
手順４として、カメラ座標係での移動量［ΔＸｃ、ΔＹｃ、ΔＺｃ］を、イメージプレーン座標系に戻すと、下記の［数１１］のように表すことができる。
【００４１】
【数１１】
【００４２】
上記の［数１１］−（１９ｃ）式から、以下のことが伺える。
２＊２行列による二次元ベクトルの変換式の形態である。また、［ΔＸｗ、ΔＺｗ］は、等速移動であるので、定数と考えられる。更に、Δｔは、マッチング比較を行う２枚の画像の撮影時間差であるので定数と考えられる。更にまた、ΔＸｃｍ、ΔＹｃｍは、歪み画像上のオプティカルフローをイメージプレーン上に変換したものである。
よって、Ｘｃｍ、Ｙｃｍは、イメージプレーンマップ、あるいは、上記の［数５］〜［数７］の高次方程式の操作により求められる。
これにより、２＊２逆行列を使用することで、［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を求めることができる。
【００４３】
手順５として、この求めた［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を、再びカメラ座標系に変換すると、下記の［数１２］のように表すことができる。
【００４４】
【数１２】
【００４５】
この場合、上記の［数１２］−（２０）式での左辺のΔＺｃ／Ｚｃ１に着目する。
拘束条件である等速直線運動によれば、ΔＺｃは一定値である。正確にＺｃ１とΔＺｃ（位置・速度の具体値）を求めることは、原理上できないが、接近交差時間（ＴＴＣＲ）については、ΔＺｃ／Ｚｃ１の逆数であるＺｃ１／ΔＺｃ（距離／速度の比率）として求めることができる。
但し、Ｚｃ１／ΔＺｃは、カメラ座標系上でのベクトルによる評価を示すため、向き・符号を検討しなければならない。
ΔＺｃは、接近を示す変位量である。また、ピンホールカメラモデルの前提条件によりＺｃ１は必ず正の符号を持つ。故に、Ｚｃ１とΔＺｃとでは、ベクトル方向が異なる。よって、ＴＴＴＣＲは、下記の［数１３］のように表すことができる。
【００４６】
【数１３】
【００４７】
ここで、ＴＴＴＣＲが零（０）になれば、接近車両と自車両との車間距離がなくなるとすると、判別できる。
よって、実施例１では、オプティカルフローから相対距離Ｘｗ、Ｚｗ及びＸｗ、Ｚｗの各速度については計測できないが、ＴＴＴＣＲの大きさを元に接近車両の接近の度合いを判別し、運転者ヘ後続車両の接近に関する情報を判定し、必要に応じて運転者にアナウンス等の警告をすることが可能である。実際に装置に適用する場合には、入力画像から直接オプティカルフローを求め、フローの始点［Ｕｄ０、Ｖｄ０］、フローの終点［Ｕｄ１、Ｖｄ１］に対応するＸｃｍ、Ｙｃｍの値を用意したマップから読み取り、［数１４］に適用してＴＴＣＲを求める。
また、歪み画像に対応したマップに関しては、多重階層化の必要がなく、Ｘｃｍ、Ｙｃｍを記録した２枚のイメージプレーンマップのみで対応可能である。
加えて、計算精度・感度の差異はあるが、対応するイメージプレーン座標で、画像中心［Ｘｃｍ、Ｙｃｍ］＝［０、０］以外となる全ての歪み画像上［Ｕｄ、Ｖｄ］位置でＴＴＴＣＲの計算を行なうことができるため、略全画像域をＴＴＴＣＲの計算とすることができる。
ここで、上記の［Ｘｃｍ、Ｙｃｍ］＝［０、０］の場合は、［Ｕｄ１、Ｖｄ１］＝［Ｕｄ０、Ｖｄ０］となる。つまり、全てのオプティカルフロー自体が点となり、移動体の検出ができない。
【００４８】
以下に、引用式を、図解して説明する。
カメラ座標系Ｙｃ＝０投影面の現象であって、拘束条件に沿って、移動接近車両とする接近車両の配置を、図１７に示す。
そして、ある任意のオプティカルフローに着目すると、図１８に示すように、符号Ａの長さは、Ａ＝ΔＸｃ＋Ｂで表され、また、イメージプレーン上に変換されたオプティカルフローがＸｃｍ１−Ｘｃｍ０＝ΔＸｃｍで示され、更に、三角形の相似関係より、Ａ：ΔＸｃｍ＝Ｚｃ１：１であり、また、三角形の相似関係より、Ｂ：Ｘｃｍ０＝ΔＺｃ：１である。
これらを踏まえると、Ａ＝ΔＸｃの関係は、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ＋ΔＺｃ＊Ｘｃｍ０となる。ここでも、ベクトルの方向性を考慮に入れれば、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ−ΔＺｃ＊Ｘｃｍ０となる。
そして、カメラ座標系Ｘｃ＝０投影平面にて現象を検討すれば、Ｚｃ１＊ΔＹｃｍ＝ΔＹｃ−ΔＺｃ＊Ｙｃｍ０となり、これは、上記の手順４の［数１１］の先頭の形式に帰着できることが明らかである。
【００４９】
手順６としては、前述までの解法に沿って、さらに近接する複数のオプティカルフローによるグループ単位で検討することで、接近交差時間（ＴＴＣＲ）の精度を向上できる。
上記の［数１１］−（１９ｃ）式について、グループを構成する複数のオプティカルフローに関して、下記の［数１４］の形式で羅列する。
【００５０】
【数１４】
【００５１】
この場合、［Ｘ（ｃｍ０）Ａ、Ｙ（ｃｍ０）Ａ］はＡ番目のオプティカルフローの始点［Ｕｄ０、Ｖｄ０］を、同様に、［Ｘ（ｃｍ1）Ａ、Ｙ（ｃｍ1）Ａ］はＡ番目のオプティカルフローの終点［Ｕｄ１、Ｖｄ１］を、Ｘｃｍ、Ｙｃｍイメージプレーンマップにより、イメージプレーン上に変換した座標を指す。
上記の［数１４］について解を求める場合、例えば、以下の手順で行なう。
行列とベクトルによるベクトル方程式の形に、下記の［数１５］のように置き換える。
【００５２】
【数１５】
【００５３】
また、このイメージプレーンマップの代理手法（歪み補正・逆参照マップ）について説明する。
イメージプレーンマップＸｃ、Ｙｃは、基本的に少数以下のデータを扱うため、実装対象となる装置によっては、浮動少数のデータサイズや表現の都合上、導入が困難な場合が考えられる。
よって、イメージプレーンマップＸｃ、Ｙｃの代わりに、入力画像（歪み画像）ｗ＊ｈに対応した歪み補正画像の座標位置（上記の［数１５］の「※」で示す）を登録したＵｍ、Ｖｍマップを使用しても構わない。
この場合、上記の［数１５］は、下記の［数１６］−（２４ｃ）式に変形される。
【００５４】
【数１６】
【００５５】
上記の［数１３］に関する解法、上記の［数１６］−（２４ｃ）式への応用には、上記の作成した［数１１］−（１９ｃ）式に基づく方程式を使用する。
ここで、Ｕｍ、Ｖｍマップは、上述した特許文献２で示される歪み補正マップとは異なるものである。
上述した特許文献２で示される歪み補正マップは、サイズ＝ｗ＊ｈ、参照の最大値ｗ＊ｈ（入力画像の外は参照しない……画素がないから）、ｗ＊ｈサイズの画像で表示できる歪み補正を作成するとまの座標を登録、［Ｃｘ、Ｃｙ］は表示中心なので、ｎ倍で倍率調整した画像（ｎ＊Ｗ）＊（ｎ＊Ｈ）に合わせた［Ｃｘｍ、Ｃｙｍ］を使用することを特徴としている。
これに対し、Ｕｍ、Ｖｍマップで示される歪み補正マップは、サイズ＝ｗ＊ｈ、参照の最大値Ｗ＊Ｈ（入力画像の外を参照する・・・・座標系変換に画像サイズは関係ない）、ｗ＊ｈサイズの入力画像が収差の影響を受け歪む前の座標位置を取得、マップサイズがｗ＊ｈで入力画像と同じなので、キャリブレーションデータ［Ｃｘｄ、Ｃｙｄ］を使用することを特徴としている。
この発明のマップ作成法は、反復法によりＲｃｄ−Ｒｃｍ間の変換への対応を解決する。すなわち、上記の特許文献１の簡易計測マップで示すように、反復法を利用しない手段では、計算精度に問題が生じるおそれが多分にある。また、上記の特許文献２に従って歪み補正した画像を用いる場合には、計算精度の他に、オプティカルフローの誤対応、検出精度の低下が課題となる。オプティカルフロー検出は、入力画像を直接使用する方が画像の変形（引き伸ばし）等の加工による影響が加わらないので、オプティカルフロー検出精度が向上する。なお、計算精度とは［Ｕｄ、Ｖｄ］に対する［Ｘｃｍ、Ｙｃｍ］あるいは［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］対応のずれを示す。
【００５６】
次いで、シュミレーション検証について説明する。
前述した操作により、接近交差時間（ＴＴＣＲ）を回帰的に求めた場合について、実値とのシミュレーションにて検証を行なう。
参考とする接近交差時間（ＴＴＣＲｃ）の計算には、図１９、図２０に示すように、実空間上に１６頂点の仮想球体を設定し、一定速度で自車両の方向まで移動するシミュレーションモデルを適用する。
また、上記の［数１］の投影操作により、カメラ座標系Ｚｃに変換される。
レンズ焦点までの距離・時間は、カメラ座標系Ｚｃにおける接近交差時間（ＴＴＣＲ）として計算し、仮想球体１６点での接近交差時間（ＴＴＣＲ）平均値を目標値としてプロットする。
さらに、半径マップの操作により、仮想球体は、１６点の仮想円盤としてイメージプレーン上、あるいは、歪み画像［Ｕｄ、Ｖｄ］に変換可能である。回帰処理を行なうために必要な入力項としての隣接するオプティカルフロー始点・終点のＮ個については、仮想円盤の１６頂点を歪み画像上へ描画した点［Ｕｄ、Ｖｄ］１−１６点を使用する。
実施例１では、計測マップ［Ｙｃｏｎｓｔ＝３４５］とした場合が対象であるので、Ｘｗ計測マップ、Ｚｗ計測マップの有効範囲外となる高さＹ＝１４００位置を移動する球体中心軌道に持つ仮想球体を設定し、シミュレーション検証を行なった。
ここで、仮想球体及び球体投影による仮想円盤の各１６点に関する記述・計算方法は、上述した特許文献２等による半径マップの計算手法を参考とする。
図２１〜図２３に示すように、隣斜線を移動する仮想球体モデルに関しては、シミュレーションの結果、ＴＴＣＲ＜１．５秒程度の範囲で、略目標とする精度で接近球体に関する接近交差時間（ＴＴＣＲ）の検出を行なうことが可能であると分かった。
従来のＸｗ計測マップ、Ｙｗ計測マップによる処理場合、このような高さでの対象物の接近を検出・判断するためには、規定高さ（Ｙｃｏｓｎｔ）の異なる計測マップを複数の高さ分で用意しなければならなかった。また、高さで異なるＹｃｏｓｎｔ計測マップ同士の検出結果を使用する場合には、重複算出分を、例えば、平均化等の補正や優先度をつけて評価する必要があった。
そこで、この実施例１における手法を使用すれば、イメージプレーン上の対応座標を記録したＸｃｍ計測マップ、Ｙｃｍ計測マップを１枚ずつ計２枚分用意するだけで良い。
なお、ＴＴＣＲ計測精度は、使用するカメラを高解像度化することにより、さらに精度を向上し、より遠方の障害物の接近を検出することができる。
【００５７】
即ち、この実施例１では、計測マップに代わる新たな歪み画像対応マップの作成にあたり、歪み画像上の画素位置と対応した世界座標系の３軸［Ｘｗ、Ｙｗ、Ｚｗ（Ｙｗ＝Ｙｃｏｎｓｔ任意定数）］に関する座標を記録する計測マップを作成した。
そして、この実施例１に係るマップは、同様に、歪み画像上の各画素と対応した位置に、ピンホールカメラモデルに基づくイメージプレーン上のカメラ座標［Ｘｃ、Ｙｃ、Ｚｃ（Ｚｃ＝１任意定数）］をレンズ収差を考慮した形で登録する。
イメージプレーン座標を登録した新たなマップは、画像上の略全画素をカバーし、測定マップ有効範囲が従来の範囲と比べて格段に広くした。
また、イメージプレーンマップに基づく接近車両の判定手法においては、従来 計測対象外としていた接近後続車のルーフ部付近に発生するオプティカルフローを利用して、接近車両から最接近（追い越し）までの時間を推定できるため、環境変化に強く従来の計測マップに基づく判定手法（特許文献１）と組み合わせることで、死角の軽減・安定性の向上に効果を発揮できる。
【実施例２】
【００５８】
図２４〜図３０は、この発明の実施例２を示すものである。
この実施例２においては、上述の実施例１と同一機能を果たす箇所には、同一符号を付して説明する。
この実施例２の特徴とするところは、以下の点にある。即ち、図２４に示すように、画像処理制御手段５は、カメラ４により撮像された画像上の画素数と同サイズで検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブル１２と、この多重テーブル１２上の各画素位置に対応するエリアに物体がカメラ４に接触するまでの時間に関する情報を登録しておき、カメラ４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段１３と、このオプティカルフロー検出手段１３により検出されたオプティカルフローに基づいて多重テーブル１２を参照して前記物体がカメラ４に接触するまでの時間に間する情報を取得する情報取得手段１４とを備える。
これにより、検出したオプティカルフローに基づいて物体がカメラ４に接触するまでの時間に間する情報を高速に取得することができる。
即ち、この実施例２では、後続車両との接近判定処理を円滑に行なえるよう、画像と対応したイメージプレーン上の座標を多重テーブル化したイメージプレーン上の対応座標を、記録したＸｃｍ、Ｙｃｍマップの導入を新たに提案する。
また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：現場でプログラム可能なＬＳＩ）等によるハードウェア化を考慮し、接近交差時間（ＴＴＣＲ）、ＦＯＥ（消失点：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）内積評価・逆向きフロー判定の３要素を、総合判定テーブル（多重テーブル）として登録し、探索範囲に応じて検出可能なフロー［±ｕ、±ｖ］別で総合判定テーブルを多重階層化する接近車両検出手法を提案する。
【００５９】
次に、実施例２に係る多重階層式総合判定の多重テーブルについて説明する。
実施例２の多重テーブルは、オプティカルフローの始点と向きから衝突可能性の有無を直接判定するものである。よって、多重テーブルを使用する場合、［Ｘｃｍ、Ｙｃｍ］は不要となる。ただし、多重テーブル作成には、［Ｘｃｍ、Ｙｃｍ］を使用する。
プログラム可能なＬＳＩ（ＦＰＧＡ）等によるハードウェア化を考慮した場合、検出したオプティカルフロー及びオプティカルフローに対応するイメージプレーンマップを毎回計算するのは、構成上不利な点が多い。
ところで、ブロックマッチングベースのオプティカルフローについては、設定した探索範囲を超過するフローの検出が原理上不可能である。よって、操作により検出されるオプティカルフローの長さ上限は、システム開発時に既に明らかとなっている。
検出可能なオプティカルフローの最大長さを［±ｕ、±ｖ］とした場合、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１枚の歪み画像と同サイズの多重テーブルを用意し、各画素位置に予め接近交差時間（ＴＴＣＲ）を登録しておき、検出したオプティカルフローに沿って参照することで、簡単にオプティカルフローに該当した対象の衝突可能性を把握することが可能である。
また、接近交差時間（ＴＴＣＲ）を準備した多重テーブルに記録する過程で、オプティカルフローの向きと消失点（ＦＯＥ）との内積評価情報、及び逆向きフロー判定情報の２要素を追加した３要素を総合判定の多重テーブルとして登録することで、より誤検出に強い接近車両検出手段とすることができる。
【００６０】
この総合判定の多重テーブルの手順は、以下のように行われる。
即ち、手順１として、上述したイメージプレーンマップを作成する。
この場合、作業工数に問題なければ、イメージプレーンマップを作成せず、毎回計算してもかまわない。
手順２として、各画素についてオプティカルフローの発生する組み合わせは、フローの等号の±分を考慮して、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１通りである。よって、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１枚の空データテーブルを、用意する。また、各データテーブルのサイズは、歪み画像と同じ［ｗ＊ｈ］とする。そして、先ず、空データテーブルのうち、オプティカルフロー［Ｕ１、Ｖ１］に対応するデータテーブル［Ｕ１、Ｖ１］を作成する。
ここで、［Ｕ、Ｖ］＝［０、０］の場合には、静止状態なので、オプティカルフローが発生しない。
手順３として、データテーブル［Ｕ１、Ｖ１］について１画素ずつ仮想オプティカルフローを設定する。
データテーブル［Ｕ１、Ｖ１］の座標［ｉ、ｊ］についてイメージプレーンマップの［ｉ、ｊ］座標登録値よりイメージプレーン座標［ＸｃｍＡ 、ＹｃｍＡ ］を取得する。この位置は、イメージプレーン上で表示される仮想オプティカルフローの始点となる。
同様に、テーブル［Ｕ１、Ｖ１］の座標［ｉ＋Ｕ１、ｊ＋Ｖ１］について、イメージプレーン座標［ＸｃｍＢ 、ＹｃｍＢ ］を取得する。これが、イメージプレーン上で表示される仮想オプティカルフローの終点となる。
つまり、図２５に示すように、ブロックマッチング作業からオプティカルフローの検出を行い、図２６に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、オプティカルフローの始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ 、ＹｃｍＡ ］と、オプティカルフローの終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］＝［ＸｃｍＢ 、ＹｃｍＢ ］とを求める。
手順４として、イメージプレーンマップ上で、ＦＯＥ座標［Ｘｃｍｆ、Ｙｃｍｆ、１］は、下記の［数１７］と仮定し、ベクトルＡ［ＸｃｍＢ −ＸｃｍＡ 、ＹｃｍＢ −ＹｃｍＡ ］と、ベクトルＢ［ＸｃｍＢ −Ｘｃｍｆ、ＹｃｍＢ −Ｙｃｍｆ］の内積を評価する。
【００６１】
【数１７】
【００６２】
そして、この内積には、一致度閾値Ｔｈｒを設定し、内債計算結果、閾値Ｔｈｒについては、下記の［数１８］のように評価し、データテーブル［Ｕ１、Ｖ１］の［ｉ、ｊ］にデータを登録する。
【００６３】
【数１８】
【００６４】
以上の作業を、（２＊Ｕ＋１）＊（２＊Ｖ＋１）−１通りで、各全画素位置で実行し、合計で、（２＊Ｕ＋１）＊（２＊Ｖ＋１）毎のデータテーブルを作成する。
なお、接近交差時間（ＴＴＣＲ）について２値で扱う場合（例えば、最接近まで１秒以内か、１秒以上か等）、接近交差時間（ＴＴＣＲ）の判定に１ビット、逆向きオプティカルフローの判定に１ビット、消失点（ＦＯＥ）の判定は零（０）ということで、データテーブルは、合計２ビットデータで作成することができる。したがって、記憶装置（メモリ）の容量を削減可能なので、データテーブルの多重化に対して必要となるメモリ総容量の削減に効果がある。なお、メモリに余裕がある場合にはＴＴＣＲ値をデータテーブルに登録しても構わない。
この実施例２の例では、各データテーブルについてオプティカルフローの一本で接近交差時間（ＴＴＣＲ）を求めたが、上記の手順３にて、オプティカルフローの始点・終点について、周辺の座標データを加えた平均（あるいは、重みを追加した荷重平均）にて接近交差時間（ＴＴＣＲ）を計算し、データテーブル［ｉ、ｊ］位置に登録してもかまわない。
【００６５】
次いで、接近車両検出の手順について説明する。
手順１としては、図２７に示すように、ブロックマッチング作業により、オプティカルフローを検出し、そして、図２８に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、オプティカルフローの始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ 、ＹｃｍＡ ］と、オプティカルフローの終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］＝［ＸｃｍＢ 、ＹｃｍＢ ］とを求める。
手順２としては、検出したオプティカルフローの始点［ｉ、ｊ］と、オプティカルフローフロー長さ［ｕ、ｖ］を求める。この場合、データテーブルのうち、オプティカルフロー長さ［ｕ、ｖ］について求めた図２９のテーブル内の［ｉ，ｊ］登録値を取り出す。
例えば、図２７及び図２８の符号Ａにおけるオプティカルフローの長さが、例えば、［ｕ、ｖ］＝［３、３］であれば、データテーブル［３、３］の［ｉ，ｊ］登録値を取り出す。
図２９においては、ＦＯＥ内積不一致の部分では、最接近時間が長く、それ以外の部分では、最接近時間が短い。
手順３としては、データテーブル［ｕ、ｖ］の［ｉ、ｊ］登録値がＴＴＣＲ接近閾値以下（例えば１．０秒）であれば、１．０秒以内に後続車両が接近するおそれがあるので、運転者ヘ警告を促す。
【００６６】
また、上記の接近車両検出の手順１〜手順３に関して、誤検出が発生する場合は、手順３の繰り返し連続検出回数を評価すれば良い。繰り返し連続検出回数の評価時に、データテーブル［ｕ、ｖ］の［ｉ、ｊ］登録値が繰り返しパターン（＝逆向きフロー）を示す場合は、カウントを零（０）にリセットする等の対応処理を施すことが可能である。なお、上記の繰り返しパターンについては、上述した特許文献２と同様に行われる。
【００６７】
手順４としては、図３０に示す歪み画像と同じサイズの連続検出テーブルを用意する。
手順５としては、手順３で接近交差時間（ＴＴＣＲ）が閾値以下と判定された場合、連続検出テーブルのオプティカルフローの始点データを終点位置ヘコピーし、さらにカウントを１つ増加する（トラッキング作業）。
手順６としては、次の画像を取得し、新たにオプティカルフローを探索する。
手順７としては、手順３で繰り返しパターンが検出された場合は、連続検出テーブルの該当位置の履歴をクリアする。
手順８としては、連続検出テーブルの検出回数が規定値を満たした場合、接近車両検出と判定する。
また、ノイズヘの対応として各評価は、隣接するオプティカルフローの各接近判定をグループとして取り扱い判定してもかまわない。
【００６８】
即ち、この実施例２においては、ＦＰＧＡのハードウェア化を考慮に入れた総合判定テーブルの導入であって、検出される全ての組み合わせのフローに対応したデータテーブルを用意し、ＴＴＣＲ計算値、ＦＯＥ内積評価、繰り返しパターン判定を記録する。オプティカルフローの評価及び接近車両の有無の判定は、検出したフローに対応した総合判定の多重テーブル上のオプティカルフローの始点の座標位置の登録データを参照して行なう。
【産業上の利用可能性】
【００６９】
この発明の運転支援装置は、車両周辺の移動障害物の接近判定等で自動的に支援する技術にも適用できる。
【符号の説明】
【００７０】
１ 車両
２ 運転支援装置
３ 広角レンズ
４ 撮像手段（カメラ）
５ 画像処理制御手段
６ 表示手段
７ 音声出力手段
８ 記録手段
９ 画素位置取得手段
１０ オプティカルフロー検出手段（実施例１）
１１ 接触時間推定手段
１２ 多重テーブル
１３ オプティカルフロー検出手段（実施例２）
１４ 情報取得手段
【特許請求の範囲】
【請求項１】
広角レンズを有する撮像手段を設け、この撮像手段により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段と、前記撮像手段により撮像された画像上の画素位置から前記記録手段に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段とを備える画像処理手段を設けたことを特徴とする運転支援装置。
【請求項２】
前記画像処理手段は、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、このオプティカルフロー検出手段により検出されたオプティカルフローの始点位置と終点位置とに対応するイメージプレーン上の画素位置を前記画素位置取得手段で取得し、前記画素位置取得手段で取得した２つの画素間の距離及び前記物体と前記撮像手段との距離に基づいて前記物体が前記撮像手段に接触するまでの時間を推定する接触時間推定手段とを備えることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
広角レンズを有する撮像手段を設け、この撮像手段により撮像された画像上の画素数と同サイズで検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルと、この多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段に接触するまでの時間に関する情報を登録しておき、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、このオプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記物体が前記撮像手段に接触するまでの時間に間する情報を取得する情報取得手段とを備える画像処理手段を設けたことを特徴とする運転支援装置。
【請求項１】
広角レンズを有する撮像手段を設け、この撮像手段により撮像される画像上の各画素の座標に対応するイメージプレーン上の各画素の座標を記録した記録手段と、前記撮像手段により撮像された画像上の画素位置から前記記録手段に記録された座標の対応関係に基づいてイメージプレーン上の画素位置を取得する画素位置取得手段とを備える画像処理手段を設けたことを特徴とする運転支援装置。
【請求項２】
前記画像処理手段は、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、このオプティカルフロー検出手段により検出されたオプティカルフローの始点位置と終点位置とに対応するイメージプレーン上の画素位置を前記画素位置取得手段で取得し、前記画素位置取得手段で取得した２つの画素間の距離及び前記物体と前記撮像手段との距離に基づいて前記物体が前記撮像手段に接触するまでの時間を推定する接触時間推定手段とを備えることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
広角レンズを有する撮像手段を設け、この撮像手段により撮像された画像上の画素数と同サイズで検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルと、この多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段に接触するまでの時間に関する情報を登録しておき、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、このオプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記物体が前記撮像手段に接触するまでの時間に間する情報を取得する情報取得手段とを備える画像処理手段を設けたことを特徴とする運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２０１２−２２１０９９（Ｐ２０１２−２２１０９９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４５３６（Ｐ２０１１−８４５３６）
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]