オプティカルフロー検出装置
【課題】この発明は、単独のフローの信頼度評価に対応でき、誤った衝突可能性判定を回避できるオプティカルフロー検出装置を実現することを目的とする。
【解決手段】この発明は、広角レンズを有する撮像手段と、撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、撮像手段により次回撮像される時の、オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、オプティカルフロー予測手段は、第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とする。
【解決手段】この発明は、広角レンズを有する撮像手段と、撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、撮像手段により次回撮像される時の、オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、オプティカルフロー予測手段は、第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はオプティカルフロー検出装置に係り、特に、撮像手段により撮像した画像から検出したオプティカルフローにより車両周囲を確認するオプティカルフロー検出装置に関するものである。
【背景技術】
【０００２】
車両には、運転を支援するために、車両後部に取り付けられた撮像手段（バックカメラ）により撮像した画像から自車両の周囲の障害物を自動的に確認する装置を搭載するものがある。
従来の自車両の周囲を確認する装置には、広角レンズを有する撮像手段の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものがある。（特開２０１０−２１８２２６号公報）
また、従来の自車両の周囲を確認する装置には、歪曲のあるレンズを有する撮像手段で撮像した画像を、撮像手段の光軸と画像の面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、上記の円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正するものがある。（特開２００９−１３０５４６号公報）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８２２６号公報
【特許文献２】特開２００９−１３０５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の後部に取り付けられた単眼のカメラなどの撮像手段を使用して、走行中に自車両後方の障害物である他車両が自車両に衝突する可能性の有無を自動的に確認する装置においては、撮影した画像からオプティカルフロー等の処理で障害物の動きを把握し、障害物の相対位置・速度、移動方向を自動計測し衝突可能性判定する手法が一般的である。
自車両の後方の障害物を撮像する撮像手段としては、撮影した画像から障害物の位置を自動計測する際、障害物の３次元空間座標と撮影された２次元の画像平面座標とを、カメラキャリブレーション等の校正作業で（ピンホールカメラモデルに代表される）線形な位置関係で対応がとれるよう、レンズ収差の小さいカメラが使用される。レンズ収差の小さいカメラは、２次元の画像平面座標と３次元空間座標の対応が線形であるが、原理的に撮影可能なエリアが狭い。逆に、レンズ収差が大きいカメラでは、撮影可能エリアは広くなるが、撮像した画像に歪みが現れ、２次元の画像平面座標と３次元空間座標の対応が非線形となり自動計測には不向きであった。
【０００５】
この発明は、非線形性を持つ画像に対応した計測補完情報をもつイメージプレーンマップと、ＴＴＣＲ（Ｔｉｍｅ Ｔｏ ＣＲｏｓｓｉｎｇ：衝突予測時間）の記録マップとによって、発生するオプティカルフローの方向から衝突可能性を判定するオプティカルフロー検出装置であって、さらに、
（１）フロー信頼度を隣接する周囲のフロー群から構成したグループ単位で評価できるだけでなく、単独のフローの信頼度評価に対応できる。
（２）フローの信頼度判定が、任意のあるタイミングで評価付けできるだけでなく、ノイズに対する誤検出フローヘの対応力が十分であり、誤った衝突可能性判定を回避できる。
オプティカルフロー検出装置を実現することを目的としている。
【課題を解決するための手段】
【０００６】
この発明は、広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とする。
【発明の効果】
【０００７】
この発明のオプティカルフロー検出装置は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができる。
【図面の簡単な説明】
【０００８】
【図１】図１はオプティカルフロー検出装置のシステムブロック図である。（実施例）
【図２】図２は撮像時間の異なる車両位置とフローを表した図である。（実施例）
【図３】図３はイメージプレーン上の投影点を示す図である。（実施例）
【図４】図４（Ａ）は、歪み画像を説明する図である。図４（Ｂ）は、歪み補正画像を説明する図である。（実施例）
【図５】図５は歪み画像を説明する図である。（実施例）
【図６】図６はイメージプレーン上で［Ｘｃｄ、Ｙｃｄ、１］座標系に変換した図である。（実施例）
【図７】図７はイメージプレーン上で［Ｘｃｍ、Ｙｃｍ］座標系に変換した図である。（実施例）
【図８】図８は世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換した図である。（実施例）
【図９】図９は世界座標系［Ｘｗ、Ｚｗ］を登録する図である。（実施例）
【図１０】図１０は２枚の撮像時間の差を表した図である。（実施例）
【図１１】図１１は車両の等速度移動状態を表した図である。（実施例）
【図１２】図１２はイメージプレーンマップの作成において歪み画像を説明する図である。（実施例）
【図１３】図１３はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｄ、Ｙｄ、１］座標系に変換した図である。（実施例）
【図１４】図１４はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例）
【図１５】図１５はイメージプレーンマップの作成においてイメージプレーン上で座標［Ｘｃｍ、Ｙｃｍ］を登録した図である。（実施例）
【図１６】図１６は拘束条件に沿って接近車両の配置を示す図である。（実施例）
【図１７】図１７は各座標の関係を示す図である。（実施例）
【図１８】図１８は多段階層マップを示す図である。（実施例）
【図１９】図１９は歪み画像上の座標系から対応するイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例）
【図２０】図２０は多重テーブルからの予測フロー登録テーブルの取り出しを示す図である。（実施例）
【図２１】図２１は予測フロー登録テーブルとＴＴＣＲマップとを組み合わせた予測フロー検出を示す図である。（実施例）
【図２２】図２２はＦＯＥ判定あるいはＴＴＣＲ判定で無効化されたフローの除外を説明する図である。（実施例）
【図２３】図２３は隣車線上の接近車両のフロー検出を説明する図である。（実施例）
【発明を実施するための形態】
【０００９】
以下図面に基づいて、この発明の実施例を説明する。
【実施例】
【００１０】
図１〜図２３は、この発明の実施例を示すものである。図１・図２において、１は車両、２は車両１に搭載されたオプティカルフロー検出装置である。オプティカルフロー検出装置２は、広角レンズ３を有する撮像手段４と、撮像手段４が撮像した画像からオプティカルフロー等の処理で障害物（他車両）の動きを把握する画像処理手段５とを備えている。撮像手段４は、車両後部に取り付けられたカメラからなり、車両後方を撮像する。画像処理手段５は、オプティカルフロー検出手段６と、オプティカルフロー予測手段７と、オプティカルフロー判定手段８と、多重テーブル９とを備え、撮像手段４が撮像した画像からオプティカルフロー等の処理で障害物の動きを把握するとともに、オプティカルフローの信頼度判定機能を強化する。
【００１１】
前記画像処理手段５は、撮像手段４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段６と、前記撮像手段４により次回撮像される時の、前記オプティカルフロー検出手段５によりオプティカルフローを検出された画像上の第１の物体（他車両）の、オプティカルフローを予測するオプティカルフロー予測手段７とを備えている。前記オプティカルフロー予測手段７は、第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出する。
これにより、オプティカルフロー検出装置２は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができる。
【００１２】
また、前記画像処理手段５は、オプティカルフロー判定手段８を備えている。前記オプティカルフロー予測手段７は、撮像手段３により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置を予測する。前記オプティカルフロー判定手段８は、撮像手段４により次回撮像された時に、オプティカルフロー予測手段７により予測されたオプティカルフロー位置にオプティカルフロー検出手段６によりオプティカルフローを検出されない場合には、無効フローと判定する。
これにより、オプティカルフロー検出装置２は、検出したオプティカルフローを動画により連続して追跡することができる。このため、異常な挙動を示すオプティカルフローをノイズとして判別可能なので、オプティカルフローの信頼度を向上させることができる。
【００１３】
さらに、前記オプティカルフロー予測手段７は、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測する。そして、オプティカルフロー予測手段７は、撮像手段４により次回撮像された時に、このオプティカルフロー予測手段７により予測されたオプティカルフロー位置に第２の物体（別の他車両）が検出され、この第２の物体が第１の物体をマスキングしていると判定される場合には、撮像手段４により次回撮像される時の第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測する。
これにより、このオプティカルフロー検出装置２は、画像上で追跡中の物体が他の物体により隠されても、継続して追跡評価をすることができる。
【００１４】
さらにまた、前記オプティカルフロー予測手段７は、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測する。そして、オプティカルフロー予測手段７は、このオプティカルフロー予測手段７により予測されたオプティカルフロー位置がいったんオプティカルフロー検出可能範囲外になっても、オプティカルフロー予測手段７によりオプティカルフロー位置予測を繰り返した結果、予測されたオプティカルフロー位置が再びオプティカルフロー検出可能範囲内に戻る場合には、オプティカルフロー検出可能範囲内になるまでオプティカルフロー予測手段７により第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測する。
これにより、オプティカルフロー検出装置２は、画像上で追跡中の物体が、いったんオプティカルフロー検出可能範囲外になっても、再びオプティカルフロー検出可能範囲内に戻る場合には、継続して追跡評価をすることができる。
【００１５】
また、前記画像処理手段５は、撮像手段４により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブル９を備えている。多重テーブル９上の各画素位置に対応するエリアには、物体が撮像手段４により次回撮像される時のオプティカルフロー長さに関する情報を登録しておく。そして、オプティカルフロー予測手段７は、オプティカルフロー検出手段６により検出されたオプティカルフローに基づいて多重テーブル９を参照して撮像手段４により次回撮像される時のオプティカルフロー長さに関する情報を取得し、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測する。
これにより、オプティカルフロー検出装置２は、オプティカルフロー予測処理の処理速度を向上することができる。
【００１６】
この発明のオプティカルフロー検出装置２は、以下に述べるように、画像からオプティカルフロー等の処理で障害物の動きを把握するとともに、オプティカルフローの信頼度判定機能を強化するものである。
【００１７】
＜背景について＞
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
通常、車両後方を撮像する撮像手段であるカメラは、より広い視界を確保するために、広角レンズを有している。但し、広角レンズを通した撮像手段の映像には、レンズ収差の影響によって画像に歪みが生じている。よって、車両周囲を自動的に確認する装置では、先ず、画像の歪み補正処理を行い、歪みを除去加工した映像を利用する手法が用いられる。但し、歪み補正画像は、人為的に処理された仮想画像を使用するため、ブロックマッチング作業等の処理を行なう際に、加工による画質の劣化から検出したオプティカルフローの精度（信頼度）に疑問の余地が残ることが問題であった。
そのため、出願人は、以下の経緯において述べるように、フローの精度・信頼度を評価する技術を提案してきた。最新の評価手法においては、計測マップと称するデータテーブルの持つ有効範囲を取り除き、画像全域を対象にフロー評価を行なう手法を提案した。
【００１８】
＜経緯について＞
・第１の技術（特許文献１）
従来、歪み補正した画像を元にオプティカルフロー検出を利用した接近障害車両検出手法の場合、画像上のフローから３次元相対位置・相対速度を推定する手法はしばしば報告されている。この手法の原理は容易なものであるが、加工による画質の劣化から精度の良いブロックマッチング探索が困難となるため、検出したオプティカルフローの精度自体に課題が生じる。また、歪み画像を直接比較すればブロックマッチング探索精度は向上するが、位置の推定は困難であった。
第１の技術は、歪み画像を元にオプティカルフローを行い、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定し衝突可能性を判定するために、レンズ収差による画像歪み状況をカメラのキャリブレーションパラメータを用いて作成した計測マップを導入し、衝突可能性を判定する手法である。
【００１９】
・第２の技術
例えば、ノイズ等の影響で瞬間的に発生した誤オプティカルフローと、後続車の接近に伴い発生するフローの識別には、次画面でのフロー発生位置の予測とフローの連続検出積算値（追跡・トラッキング監視）を利用する判定は有効な手段である。ところで、カメラ画像については、車間距離に比例して画面上での像の表示サイズと実際の対象物体の大きさが変化するように、オプティカルフローは後方車両が一定の速度で接近していた場合でも、自車両との相対距離の遠近でフローの出方が異なる。フローは、接近するほど長さが大きくなる上、フローの角度も徐々に変化する。よって、あるタイミングで検出したフローを元に、次点（次画面）でのオプティカルフローの発生位置を予測（あるいは追跡・トラッキング）する場合では、車間が近いほどズレが大きくなる。このズレは、特に広角レンズを有する撮像手段を使用する場合、画像歪みの影響が加わり拡大するため、より予測が困難になる。よって、後述する第４の技術等では、あるタイミングで検出したフロー（瞬時値）での評価のみ可能であり、トラッキング監視手段等を利用できず精度上に課題が残る。
前記第１の技術によって、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定できるようになったので、車両の次点の移動先位置をワールド座標系の３次元値で予測することが可能となった。第２の技術は、この予測した移動先を２次元画面上に置き換えることで、歪んだ画像上での次点のフロー検出位置を予測する場合のズレ量を減らし、トラッキング性能を向上する手法である。
【００２０】
・第３の技術
前記第２の技術では、次点のフローの発生予測位置を推定できるようになったので、さらにシステムの計算コスト減少・効率化のために、フローが検出される前は画面全体を粗くブロックマッチング探索を行い、フローが検出された後は、次点の発生予測付近を重点的に調査する手法として、予測箇所に対する仮想球体モデルを設定し、仮想球体が画面上に表示される状況を計算し作成した半径マップを導入した。
第３の技術は、この半径マップの作成手法を改善する手法および半径マップを応用した画質改善手法である。
【００２１】
・第４の技術
前記第１〜第３の技術の手法については、全て第１の技術で提案した計測マップをベースに開発を進め、その有効性を示すことができた。しかしながら、設定した計測マップと重複できないオプティカルフローについては、Ｘｗ、Ｚｗ座標値をマップから取得することができない。つまり、導入した計測マップには、有効範囲・無効範囲が存在する課題が存在した。計測マップの無効範囲は、３次元上で設定したマップ平面と並行となる角度以上（上空等）に映る対象領域が相当する。ところで、後方よりの車両が接近する過程の中で、接近車両が自車両と太陽などの照明を遮る様な中間点に位置した場合、接近車両自体が自分の下部（足元）を隠す陰を発生する。この陰は、計測マップ有効内と重なる位置でのオプティカルフロー発生を阻害するため、上述した技術による衝突可能性の判定が適正に機能しない課題がある。
第４の技術は、計測マップを作成する過程で計算したイメージプレーン上の座標位置をマップ（データテーブル）化し、歪み画像上のオプティカルフローの座標から即、イメージプレーン上の座標系を取得できる構成を組み込むことで、後述の式（［数１９］−（２７）式）より△Ｚｃ／Ｚｃ１を速やかに計算し、自車両後方より接近する他車両等の衝突可能性を、△Ｚｃ／Ｚｃ１の逆数による衝突予測時間（＝ＴＴＣＲ）として判定し、運転者ヘ提示する手法である。この手法を利用すれば、前記第１〜第３の技術で無効範囲としていた位置に発生するフローからも衝突可能性を判定することが可能となる。
【００２２】
＜課題について＞
ところで、前記第４の技術によれば、広角レンズを有するカメラによる歪んだ画像上の画像中心を除く全ての位置におけるオプティカルフローを利用し、接近車両の衝突可能性を判定することができるようになった。
しかしながら、前記第２の技術の中で述べたように、検出したオプティカルフローの正誤判定に関して、第４の技術では連続トラッキング評価がサポートできなかったため、精度上の課題が残っている。また、イメージプレーンマップを使用した計算手法が対象のフローを単独で評価できず、周辺の隣接するフローとあわせたグループ単位により評価するものであったので、評価対象のグループが微小、あるいは離散している配置でグループ形成が困難な場合等で対応をとることができない。
前記オプティカルフロー検出装置２は、同様に、後述の式（［数１９］−（２７）式）から取得した△Ｚｃ／Ｚｃ１に加え、△Ｘｃ／Ｚｃ１および△Ｙｃ／Ｚｃ１を含めた計算により、歪みを待つ画像上のほぼ全領域において検出したフローをトラッキングする手法である。
【００２３】
このオプティカルフロー検出装置１は、図２に示すよう、
第１の位置Ｐ１：初回の画像での車両位置、
第２の位置Ｐ２：直前の画像での車両位置、
第３の位置Ｐ３：今回の画像での車両位置、
第１のフローＦ１：前回検出したオプティカルフロー、
第２のフローＦ２：第１のフローをシフト移動して作成した予測したフロー、
第３のフローＦ３：目的とする画像歪みを考慮し推定した予測フロー、
第４のフローＦ４：今回検出したフロー、
とすると、
・単純に第１のフローＦ１を利用するだけでは第２のフローＦ２の様に、接近に伴いフロー発生予測のギャップが大きくなる。
・予測した第３のフローＦ３の周辺で第４のフローＦ４が再度検出できれば（トラッキングできれば）、正しく接近を示すフローと判別できる。
・予測した第３のフローＦ３の周辺を重点探索すれば、フロー検出確率が向上し、対象を見失う確率を減少することができる。
このオプティカルフロー検出装置２は、後方接近車両の推定精度向上効果のみだけではなく、前方の歩行者の挙動予測、監視装置などへの応用も期待できる。
【００２４】
＜歪み画像と補正について＞
ここで、参考として上述した第１の技術の撮像手段であるピンホールカメラモデルと歪み画像の関係並びに補正方法について概略的に説明する。
ピンホールカメラモデルでは、図３に示すように、物体の存在する三次元空間座標系を世界座標系［Ｘｗ、Ｙｗ、Ｚｗ］と、カメラのレンズを基準としたカメラ座標系［Ｘｃ、Ｙｃ、Ｚｃ］との２系統でモデル化する。
カメラで撮影した物体は、下記の［数１］−（１）式で示すカメラ外部パラメータ変換により、線形変換（回転と並行）にてカメラ座標系に変換される。
【００２５】
【数１】
【００２６】
画像を投影平面で扱うので、上記の［数１］−（２）式により、カメラ座標系Ｚｃ＝１となる位置に、投影面となるイメージプレーンを定義する。
撮影された物体は、図３に示すように、物体・レンズ焦点を結ぶ直線と、イメージプレーンの交点［Ｘｃｍ、Ｙｃｍ、１］との位置に、画像として投影される。
また、下記の［数２］−（３）式で示すカメラ内部パラメータにより、イメージプレーン上の投影点は、モニタ等の表示デバイス座標［Ｕｍ、Ｖｍ］の黒丸印の位置に変換され、画像として表示される。
【００２７】
しかしながら、より広い視野を１枚の画像の中に収めるべく収差の大きな広角レンズを有するカメラの場合に、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］点が、少し内側に歪曲された［Ｘｃｄ、Ｙｃｄ、１］点に投影されるものと考えられる。この歪曲が画像歪みとなり、上記の［数２］−（４）式に従い、モニタ上での物体の表示位置は、［Ｕｄ、Ｖｄ］の黒逆三角印となる。この結果、広角レンズを有するカメラから通常取得される表示画像は、歪みを含んだ映像となる。
【００２８】
【数２】
【００２９】
また、上述した特許文献２等の手法により、カメラの歪み係数を導入したピンホールカメラモデルに基づく近似手法等を導入すれば、下記の［数３］−（５）式〜（７）式の操作で歪みを持つ画像から歪み補正画像を作成することができる。
【００３０】
【数３】
【００３１】
［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係を示す近似式を、特許文献２に基づく上記の［数３］〜下記の［数８］以外の手法でモデル化する場合も考えられる。
特許文献２以外の方法で［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係を示す公知の技術として、例えば「レンズ焦点から見た視野角θに基づく３次多項式で示す近似モデル」を利用する方法が挙げられる。この手法に基づけば、［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係は次式のように示される。
【００３２】
【数４】
【００３３】
この場合についても、以下の手順で式の両辺を２乗し展開すれば、Ｒｃｄの値をＲｃｍによる関係の形態に変換することができる。
【００３４】
【数５】
【００３５】
よって、特許文献２の代わりに「θの３次多項式で示す近似モデル」を使用する場合でも、上記の式により表されるＲｃｄとＲｃｍの関係式を同様に反復法等で計算すれば、［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］について相互変換することが可能である。
【００３６】
【数６】
【００３７】
すなわち、他の異なる形態に基づいた近似モデルを使用する場合であっても、「Ｒｃｄ値をＲｃｍに基づく関数」で示すことができれば、第１の技術は等しく機能することが明らかである。
【００３８】
上述した［Ｘｃｄ、Ｙｃｄ］と［Ｘｃｍ、Ｙｃｍ］との関係で示すように、歪みのある画像では、本来の投影位置より内側にずれて投影されている。よって、歪み補正画像（図４（Ｂ）参照）は、歪み画像（図４（Ａ）参照）よりも画像サイズが大きくなる。以後、歪み画像のサイズを［幅ｗ、高さｈ］、歪み補正画像のサイズを［幅Ｗ、高さＨ］（比率 Ｗ／ｗ＝Ｈ／ｈ＝Ｎ）として示す。
【００３９】
上述した第１の技術では、画像を歪み補正することなく、バックアイカメラ（広角カメラ・単眼視）により、後続車両と自車両との相対位置の関係を求めるために、歪み補正画像と同じ大きさ［ｗ＊ｈ］で用意した記憶手段（メモリ）に対応する世界座標［Ｘｗ、Ｙｗ、Ｚｗ］を記録した計測マップを導入する手法を取り上げた。但し、二次元で示される画像から三次元の情報を復元することは、原理上難しい。よって、高さ方向Ｙｗを定数として扱いある任意の規定高さ（Ｙｗ＝Ｙｃｏｎｓｔ）平面上に存在する物体のＸｗ、Ｚｗ位置を計測する。
イメージプレーンと画像平面の対応は、カメラ内部パラメータで示される線形変換であるため、［Ｘｃｍ、Ｙｃｍ、１］と［Ｕｍ、Ｖｍ］との順変換・逆変換及び［Ｘｃｄ、Ｙｃｄ、１］と［Ｕｄ、Ｖｄ］との順変換・逆変換は、上記の［数２］の操作に従い容易に行なうことができる。
また、イメージプレーン上で、歪みのない像［Ｘｃｍ、Ｙｃｍ、１］から歪みを持つ像［Ｘｃｄ、Ｘｃｄ、１］への変換は、上記の［数３］−（５）〜（７）式の操作で容易に実行することができる。
さらに、Ｙｗ＝Ｙｃｏｎｓｔとする条件下では、上記の［数２］により、［Ｘｃｍ、Ｙｃｍ、１］から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の位置を求めることが可能である。
歪み画像［Ｕｄ、Ｖｄ］に対応する世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］位置を求めるためには、［Ｕｄ、Ｖｄ］と［Ｘｃｄ、Ｙｃｄ、１］と［Ｘｃｍ、Ｙｃｍ、１］と［［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］との順序で、近似モデル式の逆を追って変換しなければならない。
【００４０】
従来では、計測マップＸｗ、Ｚｗの作成は、図５〜図９の手順によって行われている。
即ち、従来、手順１として、図５に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｃｄ、Ｙｃｄ、１］座標系に変換する。
手順２として、上記の［数２］の逆変換をすることで、図６に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系に変換する。
手順３として、下記の［数８］〜［数１０］の高次方程式の計算をすることで、図７に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換する。
手順４として、上記の［数１］の逆変換をすることで、図８に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へ世界座標系［Ｘｗ、Ｚｗ］を求める。
手順５として、図９に示すように、この求めた世界座標系［Ｘｗ、Ｚｗ］を登録したＸｗ計測マップ、Ｚｗ計測マップを作成する。
【００４１】
【数７】
【００４２】
【数８】
【００４３】
【数９】
【００４４】
【数１０】
【００４５】
しかしながら、その逆の［Ｘｃｄ、Ｙｃｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換については、上記の［数８］〜［数１０］で示すように、イメージプレーン上、Ｔｓａｉ近似モデル域（Ｒｃｍ２≦Ｒｃｋ２あるいはＲｃｄ２≦Ｒｃ１２）では五次元以上の高次方程式を、対数近似モデル域では非線型方程式を、反復法等の繰り返し処理を用いて強制的に解く必要がある。ここで、Ｒｃｋは、Ｔｓａｉ近似モデルと対数近似モデルとを切り替える境界条件であり、実験的に求められる。
計算精度を確保するためには、繰り返しの反復回数を増やす必要があるため、リアルタイムに解を得る操作は原理的に不可能に等しい。
よって、上述した第１の技術では、事前に［Ｘｃｄ、Ｙｃｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換を行い、歪み画像上の全ての画素位置で対応する［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］をラゲール法等の処理にて高次方程式を解き、これら座標を記録する２枚の計測マップ［Ｘｗ、Ｚｗ］の作成を行なう手法を提案していた。但し、イメージプレーン上で対数近似域（Ｒｃｍ２＞Ｒｃｋ２あるいはＲｃｄ２＞Ｒｃｌ２）では、上記の［数１０］の操作により非線形方程式をＴｓａｉ近似モデル域と同じ次元で、線形の高次方程式に変換して計測マップ座標値を算出した。
規定高さ（Ｙｃｏｎｓｔ）平面は、図３に示すように、地面と平行な平面で定義したので、規定高さ（Ｙｃｏｎｓｔ）平面上の［Ｘｗ、Ｙｗ］座標は、計算することができない。よって、計測マップについては、レンズ焦点高さよりも上方の位置に関する［Ｘｗ、Ｙｗ］座標値を持つことはできない。なぜならば、レンズ焦点高さよりも上方に存在する物体とレンズ焦点を結ぶカメラ視線（直線）は、カメラよりも後方位置で規定高さ（Ｙｃｏｎｓｔ）と交わるため投影面裏位置（虚空間）となり撮影できないからである。
【００４６】
＜衝突予測時間（ＴＴＣＲ）、△Ｚｃ／△Ｚｃ１推定までの概要＞
前記第１の技術では、従来後方よりの接近車両を示すオプティカルフローの始点・終点と対応する計測マップのＸｗ、Ｚｗ登録値より自車両と接近車両の相対位置を計測し、図１０・図１１に示すように、マッチング比較対象の２枚の撮影時間の差を利用し相対速度を求め、ＴＴＣＲを算出し、自車両への衝突可能性を判定した。
このオプティカルフロー検出装置２では、自車両と接近車両の相対位置の計測は行なえない計測マップ無効領域上に発生するオプティカルフローを利用しＴＴＣＲを算出するものである。しかしながら、２次元の画像から３次元の全情報を算出することは不可能であるため、何らかの拘束条件が必須事項となる。そこで、オプティカルフロー検出対象の物体は、図１１に示すように、同じ高さのまま（△Ｙｗ＝０）、△Ｘｗ、△Ｚｗ方向へ等速移動するという拘束条件を定義する。
【００４７】
＜イメージプレーンマップＸｃｍ、Ｙｃｍの作成＞
先ず、［Ｘｗ、Ｙｗ、Ｚｗ］と［Ｘｃ、Ｙｃ、Ｚｃ］との対応について着目する。
オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する物体の世界座標系位置を［Ｘｗ０、Ｙｗ０、Ｚｗ０］、カメラ座標系位置を［Ｘｃ０、Ｙｃ０、Ｚｃ０］でそれぞれ定義し、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する物体の世界座標系位置を［Ｘｗ１、Ｙｗ１、Ｚｗ１］、カメラ座標系位置を［Ｘｃ１、Ｙｃ１、Ｚｃ１］でそれぞれ定義する。
また、同様に、オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する歪みを除去したイメージプレーン座標位置を［Ｘｃｍ０、Ｙｃｍ０、１］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する歪みを除去したイメージプレーン座標を［Ｘｃｍ１、Ｙｃｍ１、１］で、それぞれ定義する。
但し、歪み画像上の座標［Ｕｄ、Ｖｄ］とイメージプレーン上の座標［Ｘｃｍ、Ｙｃｍ、１］との順変換・逆変換の操作には、高次方程式の求解作業（反復操作）が必須である。上述した第１の技術と同様に、計算精度を維持したまま反復操作を回避し、変換操作を円滑に行なう操作が必要と考えられる。
【００４８】
そこで、新たに歪み画像と同じ［ｗ＊ｈ］サイズの２枚の記録バッファを導入し、画素単位で歪み画像とイメージプレーンの対応を取れるように図る。用意した２枚の記録バッファを、それぞれＸｃｍ、Ｙｃｍイメージプレーンマップと呼称する。
即ち、図１２に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｃｄ、Ｙｃｄ、１］座標系に変換する。次に、上記の［数２］の逆変換をすることで、図１３に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系に変換する。そして、上記の［数８］〜［数１０］の高次方程式の計算をすることで、図１４に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を求める。さらに、図１５に示すように、この求めたイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を登録したＸｃｍイメージプレーンマップ、Ｙｃｍイメージプレーンマップを作成する。
【００４９】
前記作成したＸｃｍイメージプレーンマップ、Ｙｃｍイメージプレーンマップを利用したＴＴＣＲ計算に関する操作の手順１〜５を、以下の［数１１］〜［数１９］に沿って説明する。
即ち、手順１として、上記の［数１］の操作により、これらの関係を下記の［数１１］のように表すことができる。
【００５０】
【数１１】
【００５１】
さらに、［数１１］の式を、下記の［数１２］のように変換する。
【００５２】
【数１２】
【００５３】
手順２として、オプティカルフローは、Δｔ秒差で撮影した画像における物体の移動を表す。物体の移動が、等速直線移動であるという拘束条件を踏まえると、下記の［数１３］のように表すことができる。この［数１３］は、［数１２］−（１８）式のフロー終点［Ｘｃ１、Ｙｃ１、Ｚｃ１］が、［数１２］−（１７）式のフロー始点［Ｘｃ０、Ｙｃ０、Ｚｃ０］から移動した状態を示す。
【００５４】
【数１３】
【００５５】
［数１３］に前式を代入し、［数１４］のようにカメラ座標系に変換する。
【００５６】
【数１４】
【００５７】
手順３として、カメラ座標［Ｘｃ１、Ｙｃ１、Ｚｃ１］及び［Ｘｃ０、Ｙｃ０、Ｚｃ０］を、イメージプレーンに投影すると、下記の［数１５］のように表すことができる。
【００５８】
【数１５】
【００５９】
さらに、Ｚｃ０＝Ｚｃ１−△Ｚ・ｃｔとしてＺｃ０を式から除去すると、下記の［数１６］のように表すことができる。
【００６０】
【数１６】
【００６１】
手順４として、カメラ座標係での移動量［ΔＸｃ、ΔＹｃ、ΔＺｃ］を、再びワールド座標系に戻すと、下記の［数１７］のように表すことができる。
【００６２】
【数１７】
【００６３】
拘束条件より、△Ｙｗ＝０であるので、下記の［数１８］のように表すことができる。
【００６４】
【数１８】
【００６５】
上記の［数１８］−（２５ｃ）式から、以下のことが伺える。
・２＊２行列による二次元ベクトルの変換式の形態である。
・［ΔＸｗ、ΔＺｗ］は、等速移動であるので、定数と考えられる。
・Δｔは、マッチング比較を行う２枚の画像の撮影時間差であるので定数と考えられる。
・ΔＸｃｍ、ΔＹｃｍは、歪み画像上のオプティカルフローをイメージプレーン上に変換したものである。
よって、Ｘｃｍ、Ｙｃｍは、イメージプレーンマップ、あるいは、上記の［数８］〜［数１０］の高次方程式の操作により求められる。
これにより、２＊２逆行列を使用することで、［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を求めることができる。
【００６６】
手順５として、求めた［△Ｘｗ／Ｚｃ１，△Ｚｗ／Ｚｃ１］を、再びカメラ座標系に変換すると、下記の［数１９］のように表すことができる。
【００６７】
【数１９】
【００６８】
前記［数１９］において、（２７）式の、左辺の△Ｚｃ／Ｚｃ１に着目する。
拘束条件である等速直線運動によれば、△Ｚｃは一定値である。Ｚｃ１と△Ｚｃの具体値（カメラ座標系Ｚｃ方向に関する位置・速度）を求めることは、原理上できないが、接近交差時間（ＴＴＣＲ）については、△Ｚｃ／Ｚｃ１の逆数Ｚｃ１／△Ｚｃ（距離／速度の比）として推定することができる。
但し、ピンホールカメラモデルの条件に基づき、イメージプレーンはモニタと同じくＸ増加方向を右側、Ｙ増加方向を下側とする表裏反転座標系として定義している。速度ΔＺｃが自車に接近する方向を＋符号とする場合、Ｚｃ１の示す符号は逆転し−符号となる。
よって、ＴＴＣＲの換算式は、下記の［数２３］−（３５）式のように表される。
【００６９】
ここで、ＴＴＣＲが零（０）以下になれば、接近車両と自車両との車間距離がなくなる＝衝突する、と判別できる。
よって、下記の［数２３］−（３５）式に基づくＴＴＣＲ推定値に衝突可能性を示す閾値（例えば、ＴＴＣＲ＝１．０秒）を設定することで、運転者に車両の接近を警報したり、衝突回避を目的とする自動装置の制御目標値やトリガ等へ応用したりすることができる。
【００７０】
そこで、ＴＴＣＲ推定値を得るため、前記［数１９］−（２７）式の左辺ΔＺｃ／Ｚｃ１の値を求める作業に取り掛かる。
前記［数１９］−（２７）式からΔＺｃ／Ｚｃ１項だけ抽出すると、下記の［数２２］−（３１）式のように表すことができる。
【００７１】
また、下記の［数２２］−（３１）式で示されるΔＸｗ／Ｚｃ１及びΔＺｗ／Ｚｃ１は、前記［数１８］−（２５ｃ）式から、下記の［数２０］および［数２１］の操作により、下記の［数２２］−（３２）式のΔＸｃｍ、ΔＹｃｍに基づく関数へと展開することができる。
【００７２】
【数２０】
【００７３】
【数２１】
【００７４】
【数２２】
【００７５】
【数２３】
【００７６】
ところで、ΔＸｃｍ、ΔＹｃｍは、画像上でブロックマッチングにより求めたオプティカルフローをイメージプレーンマップＸｃ、Ｙｃ上に照らし合わせれば、容易に取得することができる。
前記第１の技術で示された計測マップとは異なり、イメージプレーンマップＸｃ、Ｙｃは、無効範囲（Ｙｃｏｎｓｔ等の拘束条件に基づく計算不能領域）を持たない。
原点［Ｘｃ、Ｙｃ］＝［０、０］以外で検出された、全てのオプティカルフローからＴＴＣＲを求めることができる。つまり、離散し単独の状態で存在するフローについても、ＴＴＣＲを求めることができる。
したがって、本手法により、画像上の広範囲にわたって衝突可能性を判定可能なシステムを構築することができる。
【００７７】
ところで、オプティカルフローは、使用環境の変化（天候、逆光等）の外乱に影響を受けやすい。
また、ブロックマッチングは、整数（画素）単位で検出されるため、ＴＴＣＲ推定精度を向上するために、同一対象から検出される周辺のオプティカルフローを一つにまとめたグループ単位でＴＴＣＲ計算を行うことが望ましい。
そこで、グループに属するフロー全てについて、［数２２］−（３２）式に基づくＴＴＣＲ＝ΔＺｃ／Ｚｃ１計算処理を適用し、求めたＴＴＣＲの平均値を算出し、フローの検出元となった接近車両のＴＴＣＲ値として使用することで、推定精度の向上を図ることができる。
【００７８】
＜引用式の図解＞
カメラ座標系Ｙｃ＝０投影面の現象であって、拘束条件に沿って、移動接近する接近車両の配置を、図１６に示すようになる。
ある任意のオプティカルフローに着目すると、図１７に示すように表される。
・図１７の符号Ａの長さは、Ａ＝ΔＸｃ＋Ｂで表される。
・イメージプレーン上に変換されたオプティカルフローは、Ｘｃｍ１−Ｘｃｍ０＝ΔＸｃｍで示される。
・三角形の相似関係より、Ａ：ΔＸｃｍ＝Ｚｃ１：１である。
・三角形の相似関係より、Ｂ：Ｘｃｍ０＝ΔＺｃ：１である。
【００７９】
これらを踏まえると、Ａ＝ΔＸｃ＋Ｂの関係は、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ＋ΔＺｃ＊Ｘｃｍ０となる。ここでも、ベクトルの方向性を考慮に入れれば、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ−ΔＺｃ＊Ｘｃｍ０となる。
カメラ座標系Ｘｃ＝０投影平面にて現象を検討すれば、Ｚｃ１＊ΔＹｃｍ＝ΔＹｃ−ΔＺｃ＊Ｙｃｍ０となり、これは、上記の手順４の［数１７］の先頭の形式に帰着できることが明らかである。
【００８０】
ここで、前記イメージプレーンマップの代理手法（歪み補正・逆参照マップ）について説明する。
イメージプレーンマップＸｃ、Ｙｃは、基本的に少数以下のデータを扱うため、実装対象となる装置によっては、浮動少数のデータサイズや表現の都合上、導入が困難なケースが考えられる。
よって、イメージプレーンマップＸｃ、Ｙｃの代わりに、入力画像（歪み画像）ｗ＊ｈに対応した歪み補正画像の座標位置を登録したＵｍ、Ｖｍマップを使用しても構わない。
この場合、前記［数１８］−（２５ｃ）式は、以下の［数２４］−（３６ｃ）式に変形される。［数２３］−（３５）式に関する解放には、作成した下記［数２４］−（３６ｃ）式に基づく方程式を使用する。
【００８１】
【数２４】
【００８２】
なお、上記Ｕｍ、Ｖｍマップは、特許文献２で示される歪み補正マップではない。特許文献２で示される歪み補正マップの特徴は、以下の通りである。
・サイズ＝ｗ＊ｈ
・参照の最大値ｗ＊ｈ（入力画像の外を参照しない…画素がないから）
・ｗ＊ｈサイズの画像で表示できる歪み補正を作成するときの座標を登録する。
・［Ｃｘ、Ｃｙ］は表示中心なので、ｎ倍で倍率調整した画像（ｎＷ）＊（ｎＨ）にあわせた［Ｃｘｍ、Ｃｙｍ］を使用する。
これに対して、上記Ｕｍ、Ｖｍマップで示される歪み補正マップの特徴は、以下の通りである。
・サイズ＝ｗ＊ｈ
・参照の最大値Ｗ＊Ｈ（入力画像の外を参照する…座標系変換に画像サイズは関係ない）
・ｗ＊ｈサイズの入力画像が収差の影響を受け歪む前の座標位置を取得する。
・マップサイズはｗ＊ｈで入力画像と同じなのでキャリブレーションデータ［Ｃｘｄ、Ｃｙｄ］を使用する。
【００８３】
＜次点のオプティカルフロー発生位置を予測する手段＞
既に、オプティカルフローからＴＴＣＲを推定する手段を示した。また、ＴＴＣＲ推定精度を向上するために、検出されたオプティカルフローの集合単位で求めたＴＴＣＲ平均値を利用する手段を示した。
但し、単独、集合単位で求めたいずれのＴＴＣＲ推定値についても検出されたオプティカルフローの精度が影響するため、誤検出フローがＴＴＣＲ推定に使用されることで精度が著しく低下するおそれがある。よって、ＴＴＣＲ推定精度を確保するためには、不確かなオプティカルフローをＴＴＣＲ計算対象から外す必要がある。
そこで、イメージプレーンマップＸｃ、Ｙｃを使用する場合に、オプティカルフローを追跡する新たな手法について示す。
まず、イメージプレーン上で検出されたオプティカルフローの始点を［Ｘｃｍ０、Ｙｃｍ０］、終点を［Ｘｃｍ１、Ｙｃｍ１］と定義する。このフローを追跡対象フローに設定する。
オプティカルフロー追跡において、予測される次点（移動後画面）のオプティカルフローの始点は、今回検出されたフローの終点［Ｘｃｍ１、Ｙｃｍ１］が相当する。次に、次点フローの予測終点を［Ｘｃｍ２、Ｙｃｍ２］と仮定する。
フロー検出元である接近車両等の対象の移動は、ΔＹｗ＝０、ΔＸｗ、ΔＺｗは、定数（等速運動）と仮定したので、拘束条件に従い画像検出したオプティカルフローより、次点のオプティカルフロー発生位置を推定する。
前記手順２、手順４と同様に下式の［数２５］−（３７）式、［数２５］−（３８）式に従い、次点の実空間車両移動予測位置［Ｘｗ２，Ｙｗ２，Ｚｗ２］およびカメラ座標系イメージプレーン上の移動予測位置［Ｘｃｍ２，Ｙｃｍ２］を定義する。
【００８４】
【数２５】
【００８５】
さらに、［数２５］の各式は、次の［数２６］のように変形できる。
【００８６】
【数２６】
【００８７】
最終的に予測されるイメージプレーン上の［Ｘｃｍ２，Ｙｃｍ２］位置は、下記の［数２７］−（４２）式で表現できる。
【００８８】
【数２７】
【００８９】
移動後画像に対しオプティカルフロー処理を行い、［Ｘｃｍ１、Ｙｃｍ１］位置で検出されたオプティカルフローの方向・長さが、予測された終点［Ｘｃｍ２、Ｙｃｍ２］を示す特性から大きく逸れた場合、このフローを誤検出フローとして評価対象から外すことで、ＴＴＣＲ推定値の精度低下を回避することができる。
【００９０】
拘束条件としたモデルでは、後続車両は一定速度で接近している前提であるので、△Ｚｃ／Ｚｃ１に加え△Ｘｃ／Ｚｃ１および△Ｙｃ／Ｚｃ１は前記第４の技術で衝突予測時間ＴＴＣＲを計算する過程で明らかとなっている。
また、△ｔは、やはりカメラからの画像入力時間の間隔であるので、一定の撮影周期で動作するシステムであれば既知の定数（ビデオフレームレートの倍数）である。
前記［Ｘｃｍ２，Ｙｃｍ２］はイメージプレーン上の推定点であるので、［数２］・［数３］等の操作で歪み画面上の予測座標［Ｕｄ２，Ｖｄ２］へと容易に変換できる。
即ち、前回のオプティカルフロー終点［Ｕｄ１，Ｖｄ１］と予測点［Ｕｄ２，Ｖｄ２］を結ぶ直線が、歪み画像上で次回に発生すると予測されたオプティカルフローである。
また、この予測位置付近で実際に検出されるオプティカルフローを、後続車両の接近を示す正規フローとして判別し、この操作を次々画像へと繰り返し行なうことで、オプティカルフローのトラッキング効果を獲得することができる。
【００９１】
また、規定の画素位置に発生するフローの最大長は、ブロックマッチングの探索範囲に依存する有限な値であり、よってフローの長さおよび向きを組み合わせたパターンは一定のものである。
毎回予測フロー位置を計算する工数を簡略化するために、前記第４の技術のＴＴＣＲマップと同様に新たな多段階層マップを導入し、予測フローを予め登録することも可能である。
ここで、オプティカルフローの長さ方向を［Ｆｘ，Ｆｙ］で定義する。
多段階層マップには、フローの特性［Ｆｘ，Ｆｙ］を示すＩＤを設定する。例えば、フローの特性が［Ｆｘ，Ｆｙ］＝［−２，４］を示す場合の多段階層マップＩＤを［Ｍ０２＿Ｐ０４］と定義する。
多段階層マップは、歪画像（入力画像）と同じサイズで定義される。
まず、マップ上の全ての画素位置［Ｕｄ，Ｖｄ］をオプティカルフローの終点位置［Ｕｄ１，Ｖｄ１］と定義する。
次に、全ての［Ｕｄ１、Ｖｄ１］に対し、多段階層マップＩＤに対応するフロー［Ｆｘ，Ｆｙ］が検出されたと想定し、フローの始点［Ｕｄ０，Ｖｄ０］＝［Ｕｄ−Ｆｘ，Ｖｄ−Ｆｙ］から計算する。
始点［Ｕｄ０，Ｖｄ０］及び終点［Ｕｄ１，Ｖｄ１］を、イメージプレーンマップに基づきイメージプレーン座標系［Ｘｃｍ０，Ｙｃｍ０］、［Ｘｃｍ１，Ｙｃｍ１］に変換する。
さらに、前記［数２７］−（４２）式に基づくオプティカルフロー追跡処理により、［Ｘｃｍ１，Ｙｃｍ１］位置で予測終点［Ｘｃｍ２，Ｙｃｍ２］位置を算出する。
計算した予測終点［Ｘｃｍ２，Ｙｃｍ２］を元の歪画像［Ｕ，Ｖ］座標系に戻す。この値を［Ｕｄ２，Ｖｄ２］と定義する。
検出対象が等速で移動する場合、次点移動後の歪画像（入力画像）上でオプティカルフローを行った際に検出が予測されるフローは、［Ｕｄ１，Ｖｄ１］を始点に、［Ｕｄ２，Ｖｄ２］を終点に持つフローとなることが前記［数２７］−（４２）式により推定されるので、実際に検出したフローの中から予測から外れたフローを除外し、信頼度の高いフローのみを選定することでＴＴＣＲ推定精度を向上することができる。
予測終点［Ｕｄ２，Ｖｄ２］を［Ｕｄ，Ｖｄ］座標系として多段階層マップに登録する場合、例えばＶＧＡ（６４０＊４８０）サイズの入力画像であればＵｄの値で１０ビット、Ｖｄの値で９ビット、総計１９ビットのデータサイズがマップ１画素当たりに要求される。さらに、多段階層マップはブロックマッチングの探索範囲分の階層数が必要とされるため、マップ１画素単位のデータサイズが大きい場合、規模の小さいシステムへの実装が困難となる場合が考えられる。
そこで、予測終点のマップ上への登録については、終点［Ｕｄ２，Ｖｄ２］から始点［Ｕｃ２，Ｖｃ２］情報を差し引くことでフローの特性を長さ・方向を示す［Ｆｘ２，Ｆｙ２］＝［Ｕｄ２−Ｕｄ１，Ｖｄ２−Ｕｄ１］値で代用し、登録値のデータサイズを削減する手法がデータ削減の面から推奨される。
例えば、ブロックマッチング探索範囲が±７ピクセルの場合、登録値［Ｆｘ２，Ｆｙ２］の各有効範囲も±７以下である。結果、マップ登録値を示す情報はＸ方向４ビット、Ｙ方向４ビットの計１バイトで登録することができる（Ｆｘ、Ｆｙを上位下位各４ビットで扱う）。
図１８に多段階層マップ［Ｍ０２＿Ｐ０４］上に予測される次点のフロー［Ｆｘ２，Ｆｙ２］を登録する場合の適用例を示す。
原画像で長さ［Ｆｘ，Ｆｙ］＝［−２，４］、終点［Ｕｄ、Ｖｄ］のオプティカルフローが検出された場合を想定し、ＩＤ＝［Ｍ０２＿Ｐ０４］の多段階層マップ上、［Ｕｄ１，Ｖｄ１］位置に、次画像で検出が予測されるオプティカルフローの長さ［Ｆｘ２，Ｆｙ２］＝［−４，＋５（例）］の情報を、所定のフォーマットに沿った値（＝０ｘｃ５（例））で登録する。
この作業を多段階層マップ上の全ての画素位置、全てのＩＤ（フロー［Ｆｘ，Ｆｙ］）箇所で実行する。
但し、システムのスペックについてデータサイズ・容量を気にする必要がない場合については、この限りではない（フローの長さではなく直接Ｕｄ２，Ｖｄ２座標系を登録しても構わない）。
【００９２】
＜接近車両検出の手順について＞
手順１として、ブロックマッチング作業によりオプティカルフローを検出する。
ブロックマッチングによるオプティカルフローの検出では、図１９に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から、対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ、ＹｃｍＡ］、終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＢ、ＹｃｍＢ］を求める。
【００９３】
手順２として、検出したオプティカルフローの始点［ｉ、ｊ］と、フロー長さ［△Ｕｄ、△Ｖｄ］を求める。よって、終点は［ｉ１、ｊ１］＝［ｉ＋△Ｕｄ、ｊ＋△Ｖｄ］となる。
データテーブルのうち、フロー長さ［△Ｕｄ、△Ｖｄ］について求めた階層テーブル内の予測フロー登録テーブルを取り出す。例えば、図１９のＡのフローの長さが［△Ｕｄ、△Ｖｄ］＝［３、３］であれば、図２０に示すように、データテーブル［３、３］のアドレスに登録されたテーブルを取り出す。図２０において、［Ｕ、Ｖ］＝［０、０］は静止状態なのでフローが発生しない。
［△Ｕｄ、△Ｖｄ］位置のテーブルには、画像と同じサイズの予測フロー登録テーブルが格納されている。検出したオプティカルフローの始点［ｉ，ｊ］と、フロー長さ［△Ｕｄ、△Ｖｄ］を使用する。［△Ｕｄ、△Ｖｄ］予測フロー登録テーブルには、オプティカルフロー終点［ｉ１、ｊ１］位置に対して［△Ｕｄ、△Ｖｄ］のフローが発生した場合、次にどのようなフローが検出されるかが登録情報として記録されている。
よって［△Ｕｄ、△Ｖｄ］予測フロー登録テーブルの［ｉ１、ｊ１］位置に記録されたフローが［３、４］である場合、次点で発生する予測フロー終点は［ｉ２、ｊ２］＝［３＋ｉ１、４＋ｊ１］であると推定される。
さらに、前記第４の技術のＦＯＥ（消失点：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）無効判定方向、ＴＴＣＲ判定情報を組み合わせて、例えば、図２１のように、［３、３］予測フロー登録テーブルと［３、３］ＴＴＣＲマップとをまとめて良い。
【００９４】
手順３として、検出されたフローのうち、ＦＯＥ判定あるいは、ＴＴＣＲ判定で無効化されたフローを除外する。
例えば、図２２の残ったフローのうちの、フローＡに着目する。
手順２により予測されたフロー検出予測位置に対して、ブロックマッチングテンプレートを多重配置し、新規フローが実際に発生するかを重点的に監視する。図２２の例では、フローは実際には路面のノイズを示すものであったので、次回のブロックマッチング時に予測位置にオプティカルフローは検出できなかった。
前記第４の技術の場合では、次点の予側かできなかったので、このフローＡが誤ったフローであるという認識ができなかった。しかし、本例では、フローＡが無効な誤検出フローであったことが判定できた。
前記第１の技術、第２の技術を応用した場合では、フロー連続監視を計測マップのＸＺ実空間座標により実行することで、路面上の誤検出フローを除去することができた。しかしながら、自車両が走行する車線の隣車線上の接近車両を示すフロー（下部フロー）に関しては、図２３に示すように、次画像で接近車両自体の陰に入り込み、新たにオプティカルフローの検出を行なうことができなかった。また、接近車両を示すフロー（上部フロー）は、次画像での処理時、計測マップのＸＺ実空間座標の有効範囲外に移勤したため、検出ができなかった。
しかしながら、この発明のオプティカルフロー検出装置２の手法を使用することで、接近車両を示すフロー（上部フロー）に関しても連続トラッキングをすることができ、接近車両を見失うことなく、その衝突可能性を判定することができた。
【産業上の利用可能性】
【００９５】
この発明のオプティカルフロー検出装置は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができるものであり、車両周辺の移動障害物の衝突可能性判定等の自動運転支援技術や、汎用ロボットにおけるマシンビジョンに応用することができる。
【符号の説明】
【００９６】
１ 車両
２ オプティカルフロー検出装置
３ 広角レンズ
４ 撮像手段
５ 画像処理手段
６ オプティカルフロー検出手段
７ オプティカルフロー予測手段
８ オプティカルフロー判定手段
９ 多重テーブル
【技術分野】
【０００１】
この発明はオプティカルフロー検出装置に係り、特に、撮像手段により撮像した画像から検出したオプティカルフローにより車両周囲を確認するオプティカルフロー検出装置に関するものである。
【背景技術】
【０００２】
車両には、運転を支援するために、車両後部に取り付けられた撮像手段（バックカメラ）により撮像した画像から自車両の周囲の障害物を自動的に確認する装置を搭載するものがある。
従来の自車両の周囲を確認する装置には、広角レンズを有する撮像手段の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものがある。（特開２０１０−２１８２２６号公報）
また、従来の自車両の周囲を確認する装置には、歪曲のあるレンズを有する撮像手段で撮像した画像を、撮像手段の光軸と画像の面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、上記の円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正するものがある。（特開２００９−１３０５４６号公報）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１８２２６号公報
【特許文献２】特開２００９−１３０５４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の後部に取り付けられた単眼のカメラなどの撮像手段を使用して、走行中に自車両後方の障害物である他車両が自車両に衝突する可能性の有無を自動的に確認する装置においては、撮影した画像からオプティカルフロー等の処理で障害物の動きを把握し、障害物の相対位置・速度、移動方向を自動計測し衝突可能性判定する手法が一般的である。
自車両の後方の障害物を撮像する撮像手段としては、撮影した画像から障害物の位置を自動計測する際、障害物の３次元空間座標と撮影された２次元の画像平面座標とを、カメラキャリブレーション等の校正作業で（ピンホールカメラモデルに代表される）線形な位置関係で対応がとれるよう、レンズ収差の小さいカメラが使用される。レンズ収差の小さいカメラは、２次元の画像平面座標と３次元空間座標の対応が線形であるが、原理的に撮影可能なエリアが狭い。逆に、レンズ収差が大きいカメラでは、撮影可能エリアは広くなるが、撮像した画像に歪みが現れ、２次元の画像平面座標と３次元空間座標の対応が非線形となり自動計測には不向きであった。
【０００５】
この発明は、非線形性を持つ画像に対応した計測補完情報をもつイメージプレーンマップと、ＴＴＣＲ（Ｔｉｍｅ Ｔｏ ＣＲｏｓｓｉｎｇ：衝突予測時間）の記録マップとによって、発生するオプティカルフローの方向から衝突可能性を判定するオプティカルフロー検出装置であって、さらに、
（１）フロー信頼度を隣接する周囲のフロー群から構成したグループ単位で評価できるだけでなく、単独のフローの信頼度評価に対応できる。
（２）フローの信頼度判定が、任意のあるタイミングで評価付けできるだけでなく、ノイズに対する誤検出フローヘの対応力が十分であり、誤った衝突可能性判定を回避できる。
オプティカルフロー検出装置を実現することを目的としている。
【課題を解決するための手段】
【０００６】
この発明は、広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とする。
【発明の効果】
【０００７】
この発明のオプティカルフロー検出装置は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができる。
【図面の簡単な説明】
【０００８】
【図１】図１はオプティカルフロー検出装置のシステムブロック図である。（実施例）
【図２】図２は撮像時間の異なる車両位置とフローを表した図である。（実施例）
【図３】図３はイメージプレーン上の投影点を示す図である。（実施例）
【図４】図４（Ａ）は、歪み画像を説明する図である。図４（Ｂ）は、歪み補正画像を説明する図である。（実施例）
【図５】図５は歪み画像を説明する図である。（実施例）
【図６】図６はイメージプレーン上で［Ｘｃｄ、Ｙｃｄ、１］座標系に変換した図である。（実施例）
【図７】図７はイメージプレーン上で［Ｘｃｍ、Ｙｃｍ］座標系に変換した図である。（実施例）
【図８】図８は世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換した図である。（実施例）
【図９】図９は世界座標系［Ｘｗ、Ｚｗ］を登録する図である。（実施例）
【図１０】図１０は２枚の撮像時間の差を表した図である。（実施例）
【図１１】図１１は車両の等速度移動状態を表した図である。（実施例）
【図１２】図１２はイメージプレーンマップの作成において歪み画像を説明する図である。（実施例）
【図１３】図１３はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｄ、Ｙｄ、１］座標系に変換した図である。（実施例）
【図１４】図１４はイメージプレーンマップの作成においてイメージプレーン上で［Ｘｃ、Ｙｃ、１］座標系に変換した図である。（実施例）
【図１５】図１５はイメージプレーンマップの作成においてイメージプレーン上で座標［Ｘｃｍ、Ｙｃｍ］を登録した図である。（実施例）
【図１６】図１６は拘束条件に沿って接近車両の配置を示す図である。（実施例）
【図１７】図１７は各座標の関係を示す図である。（実施例）
【図１８】図１８は多段階層マップを示す図である。（実施例）
【図１９】図１９は歪み画像上の座標系から対応するイメージプレーンの座標位置を参照取得する状態を示す図である。（実施例）
【図２０】図２０は多重テーブルからの予測フロー登録テーブルの取り出しを示す図である。（実施例）
【図２１】図２１は予測フロー登録テーブルとＴＴＣＲマップとを組み合わせた予測フロー検出を示す図である。（実施例）
【図２２】図２２はＦＯＥ判定あるいはＴＴＣＲ判定で無効化されたフローの除外を説明する図である。（実施例）
【図２３】図２３は隣車線上の接近車両のフロー検出を説明する図である。（実施例）
【発明を実施するための形態】
【０００９】
以下図面に基づいて、この発明の実施例を説明する。
【実施例】
【００１０】
図１〜図２３は、この発明の実施例を示すものである。図１・図２において、１は車両、２は車両１に搭載されたオプティカルフロー検出装置である。オプティカルフロー検出装置２は、広角レンズ３を有する撮像手段４と、撮像手段４が撮像した画像からオプティカルフロー等の処理で障害物（他車両）の動きを把握する画像処理手段５とを備えている。撮像手段４は、車両後部に取り付けられたカメラからなり、車両後方を撮像する。画像処理手段５は、オプティカルフロー検出手段６と、オプティカルフロー予測手段７と、オプティカルフロー判定手段８と、多重テーブル９とを備え、撮像手段４が撮像した画像からオプティカルフロー等の処理で障害物の動きを把握するとともに、オプティカルフローの信頼度判定機能を強化する。
【００１１】
前記画像処理手段５は、撮像手段４により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段６と、前記撮像手段４により次回撮像される時の、前記オプティカルフロー検出手段５によりオプティカルフローを検出された画像上の第１の物体（他車両）の、オプティカルフローを予測するオプティカルフロー予測手段７とを備えている。前記オプティカルフロー予測手段７は、第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出する。
これにより、オプティカルフロー検出装置２は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができる。
【００１２】
また、前記画像処理手段５は、オプティカルフロー判定手段８を備えている。前記オプティカルフロー予測手段７は、撮像手段３により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置を予測する。前記オプティカルフロー判定手段８は、撮像手段４により次回撮像された時に、オプティカルフロー予測手段７により予測されたオプティカルフロー位置にオプティカルフロー検出手段６によりオプティカルフローを検出されない場合には、無効フローと判定する。
これにより、オプティカルフロー検出装置２は、検出したオプティカルフローを動画により連続して追跡することができる。このため、異常な挙動を示すオプティカルフローをノイズとして判別可能なので、オプティカルフローの信頼度を向上させることができる。
【００１３】
さらに、前記オプティカルフロー予測手段７は、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測する。そして、オプティカルフロー予測手段７は、撮像手段４により次回撮像された時に、このオプティカルフロー予測手段７により予測されたオプティカルフロー位置に第２の物体（別の他車両）が検出され、この第２の物体が第１の物体をマスキングしていると判定される場合には、撮像手段４により次回撮像される時の第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測する。
これにより、このオプティカルフロー検出装置２は、画像上で追跡中の物体が他の物体により隠されても、継続して追跡評価をすることができる。
【００１４】
さらにまた、前記オプティカルフロー予測手段７は、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測する。そして、オプティカルフロー予測手段７は、このオプティカルフロー予測手段７により予測されたオプティカルフロー位置がいったんオプティカルフロー検出可能範囲外になっても、オプティカルフロー予測手段７によりオプティカルフロー位置予測を繰り返した結果、予測されたオプティカルフロー位置が再びオプティカルフロー検出可能範囲内に戻る場合には、オプティカルフロー検出可能範囲内になるまでオプティカルフロー予測手段７により第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測する。
これにより、オプティカルフロー検出装置２は、画像上で追跡中の物体が、いったんオプティカルフロー検出可能範囲外になっても、再びオプティカルフロー検出可能範囲内に戻る場合には、継続して追跡評価をすることができる。
【００１５】
また、前記画像処理手段５は、撮像手段４により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブル９を備えている。多重テーブル９上の各画素位置に対応するエリアには、物体が撮像手段４により次回撮像される時のオプティカルフロー長さに関する情報を登録しておく。そして、オプティカルフロー予測手段７は、オプティカルフロー検出手段６により検出されたオプティカルフローに基づいて多重テーブル９を参照して撮像手段４により次回撮像される時のオプティカルフロー長さに関する情報を取得し、撮像手段４により次回撮像される時の、オプティカルフロー検出手段６によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測する。
これにより、オプティカルフロー検出装置２は、オプティカルフロー予測処理の処理速度を向上することができる。
【００１６】
この発明のオプティカルフロー検出装置２は、以下に述べるように、画像からオプティカルフロー等の処理で障害物の動きを把握するとともに、オプティカルフローの信頼度判定機能を強化するものである。
【００１７】
＜背景について＞
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
通常、車両後方を撮像する撮像手段であるカメラは、より広い視界を確保するために、広角レンズを有している。但し、広角レンズを通した撮像手段の映像には、レンズ収差の影響によって画像に歪みが生じている。よって、車両周囲を自動的に確認する装置では、先ず、画像の歪み補正処理を行い、歪みを除去加工した映像を利用する手法が用いられる。但し、歪み補正画像は、人為的に処理された仮想画像を使用するため、ブロックマッチング作業等の処理を行なう際に、加工による画質の劣化から検出したオプティカルフローの精度（信頼度）に疑問の余地が残ることが問題であった。
そのため、出願人は、以下の経緯において述べるように、フローの精度・信頼度を評価する技術を提案してきた。最新の評価手法においては、計測マップと称するデータテーブルの持つ有効範囲を取り除き、画像全域を対象にフロー評価を行なう手法を提案した。
【００１８】
＜経緯について＞
・第１の技術（特許文献１）
従来、歪み補正した画像を元にオプティカルフロー検出を利用した接近障害車両検出手法の場合、画像上のフローから３次元相対位置・相対速度を推定する手法はしばしば報告されている。この手法の原理は容易なものであるが、加工による画質の劣化から精度の良いブロックマッチング探索が困難となるため、検出したオプティカルフローの精度自体に課題が生じる。また、歪み画像を直接比較すればブロックマッチング探索精度は向上するが、位置の推定は困難であった。
第１の技術は、歪み画像を元にオプティカルフローを行い、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定し衝突可能性を判定するために、レンズ収差による画像歪み状況をカメラのキャリブレーションパラメータを用いて作成した計測マップを導入し、衝突可能性を判定する手法である。
【００１９】
・第２の技術
例えば、ノイズ等の影響で瞬間的に発生した誤オプティカルフローと、後続車の接近に伴い発生するフローの識別には、次画面でのフロー発生位置の予測とフローの連続検出積算値（追跡・トラッキング監視）を利用する判定は有効な手段である。ところで、カメラ画像については、車間距離に比例して画面上での像の表示サイズと実際の対象物体の大きさが変化するように、オプティカルフローは後方車両が一定の速度で接近していた場合でも、自車両との相対距離の遠近でフローの出方が異なる。フローは、接近するほど長さが大きくなる上、フローの角度も徐々に変化する。よって、あるタイミングで検出したフローを元に、次点（次画面）でのオプティカルフローの発生位置を予測（あるいは追跡・トラッキング）する場合では、車間が近いほどズレが大きくなる。このズレは、特に広角レンズを有する撮像手段を使用する場合、画像歪みの影響が加わり拡大するため、より予測が困難になる。よって、後述する第４の技術等では、あるタイミングで検出したフロー（瞬時値）での評価のみ可能であり、トラッキング監視手段等を利用できず精度上に課題が残る。
前記第１の技術によって、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定できるようになったので、車両の次点の移動先位置をワールド座標系の３次元値で予測することが可能となった。第２の技術は、この予測した移動先を２次元画面上に置き換えることで、歪んだ画像上での次点のフロー検出位置を予測する場合のズレ量を減らし、トラッキング性能を向上する手法である。
【００２０】
・第３の技術
前記第２の技術では、次点のフローの発生予測位置を推定できるようになったので、さらにシステムの計算コスト減少・効率化のために、フローが検出される前は画面全体を粗くブロックマッチング探索を行い、フローが検出された後は、次点の発生予測付近を重点的に調査する手法として、予測箇所に対する仮想球体モデルを設定し、仮想球体が画面上に表示される状況を計算し作成した半径マップを導入した。
第３の技術は、この半径マップの作成手法を改善する手法および半径マップを応用した画質改善手法である。
【００２１】
・第４の技術
前記第１〜第３の技術の手法については、全て第１の技術で提案した計測マップをベースに開発を進め、その有効性を示すことができた。しかしながら、設定した計測マップと重複できないオプティカルフローについては、Ｘｗ、Ｚｗ座標値をマップから取得することができない。つまり、導入した計測マップには、有効範囲・無効範囲が存在する課題が存在した。計測マップの無効範囲は、３次元上で設定したマップ平面と並行となる角度以上（上空等）に映る対象領域が相当する。ところで、後方よりの車両が接近する過程の中で、接近車両が自車両と太陽などの照明を遮る様な中間点に位置した場合、接近車両自体が自分の下部（足元）を隠す陰を発生する。この陰は、計測マップ有効内と重なる位置でのオプティカルフロー発生を阻害するため、上述した技術による衝突可能性の判定が適正に機能しない課題がある。
第４の技術は、計測マップを作成する過程で計算したイメージプレーン上の座標位置をマップ（データテーブル）化し、歪み画像上のオプティカルフローの座標から即、イメージプレーン上の座標系を取得できる構成を組み込むことで、後述の式（［数１９］−（２７）式）より△Ｚｃ／Ｚｃ１を速やかに計算し、自車両後方より接近する他車両等の衝突可能性を、△Ｚｃ／Ｚｃ１の逆数による衝突予測時間（＝ＴＴＣＲ）として判定し、運転者ヘ提示する手法である。この手法を利用すれば、前記第１〜第３の技術で無効範囲としていた位置に発生するフローからも衝突可能性を判定することが可能となる。
【００２２】
＜課題について＞
ところで、前記第４の技術によれば、広角レンズを有するカメラによる歪んだ画像上の画像中心を除く全ての位置におけるオプティカルフローを利用し、接近車両の衝突可能性を判定することができるようになった。
しかしながら、前記第２の技術の中で述べたように、検出したオプティカルフローの正誤判定に関して、第４の技術では連続トラッキング評価がサポートできなかったため、精度上の課題が残っている。また、イメージプレーンマップを使用した計算手法が対象のフローを単独で評価できず、周辺の隣接するフローとあわせたグループ単位により評価するものであったので、評価対象のグループが微小、あるいは離散している配置でグループ形成が困難な場合等で対応をとることができない。
前記オプティカルフロー検出装置２は、同様に、後述の式（［数１９］−（２７）式）から取得した△Ｚｃ／Ｚｃ１に加え、△Ｘｃ／Ｚｃ１および△Ｙｃ／Ｚｃ１を含めた計算により、歪みを待つ画像上のほぼ全領域において検出したフローをトラッキングする手法である。
【００２３】
このオプティカルフロー検出装置１は、図２に示すよう、
第１の位置Ｐ１：初回の画像での車両位置、
第２の位置Ｐ２：直前の画像での車両位置、
第３の位置Ｐ３：今回の画像での車両位置、
第１のフローＦ１：前回検出したオプティカルフロー、
第２のフローＦ２：第１のフローをシフト移動して作成した予測したフロー、
第３のフローＦ３：目的とする画像歪みを考慮し推定した予測フロー、
第４のフローＦ４：今回検出したフロー、
とすると、
・単純に第１のフローＦ１を利用するだけでは第２のフローＦ２の様に、接近に伴いフロー発生予測のギャップが大きくなる。
・予測した第３のフローＦ３の周辺で第４のフローＦ４が再度検出できれば（トラッキングできれば）、正しく接近を示すフローと判別できる。
・予測した第３のフローＦ３の周辺を重点探索すれば、フロー検出確率が向上し、対象を見失う確率を減少することができる。
このオプティカルフロー検出装置２は、後方接近車両の推定精度向上効果のみだけではなく、前方の歩行者の挙動予測、監視装置などへの応用も期待できる。
【００２４】
＜歪み画像と補正について＞
ここで、参考として上述した第１の技術の撮像手段であるピンホールカメラモデルと歪み画像の関係並びに補正方法について概略的に説明する。
ピンホールカメラモデルでは、図３に示すように、物体の存在する三次元空間座標系を世界座標系［Ｘｗ、Ｙｗ、Ｚｗ］と、カメラのレンズを基準としたカメラ座標系［Ｘｃ、Ｙｃ、Ｚｃ］との２系統でモデル化する。
カメラで撮影した物体は、下記の［数１］−（１）式で示すカメラ外部パラメータ変換により、線形変換（回転と並行）にてカメラ座標系に変換される。
【００２５】
【数１】
【００２６】
画像を投影平面で扱うので、上記の［数１］−（２）式により、カメラ座標系Ｚｃ＝１となる位置に、投影面となるイメージプレーンを定義する。
撮影された物体は、図３に示すように、物体・レンズ焦点を結ぶ直線と、イメージプレーンの交点［Ｘｃｍ、Ｙｃｍ、１］との位置に、画像として投影される。
また、下記の［数２］−（３）式で示すカメラ内部パラメータにより、イメージプレーン上の投影点は、モニタ等の表示デバイス座標［Ｕｍ、Ｖｍ］の黒丸印の位置に変換され、画像として表示される。
【００２７】
しかしながら、より広い視野を１枚の画像の中に収めるべく収差の大きな広角レンズを有するカメラの場合に、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］点が、少し内側に歪曲された［Ｘｃｄ、Ｙｃｄ、１］点に投影されるものと考えられる。この歪曲が画像歪みとなり、上記の［数２］−（４）式に従い、モニタ上での物体の表示位置は、［Ｕｄ、Ｖｄ］の黒逆三角印となる。この結果、広角レンズを有するカメラから通常取得される表示画像は、歪みを含んだ映像となる。
【００２８】
【数２】
【００２９】
また、上述した特許文献２等の手法により、カメラの歪み係数を導入したピンホールカメラモデルに基づく近似手法等を導入すれば、下記の［数３］−（５）式〜（７）式の操作で歪みを持つ画像から歪み補正画像を作成することができる。
【００３０】
【数３】
【００３１】
［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係を示す近似式を、特許文献２に基づく上記の［数３］〜下記の［数８］以外の手法でモデル化する場合も考えられる。
特許文献２以外の方法で［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係を示す公知の技術として、例えば「レンズ焦点から見た視野角θに基づく３次多項式で示す近似モデル」を利用する方法が挙げられる。この手法に基づけば、［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］の関係は次式のように示される。
【００３２】
【数４】
【００３３】
この場合についても、以下の手順で式の両辺を２乗し展開すれば、Ｒｃｄの値をＲｃｍによる関係の形態に変換することができる。
【００３４】
【数５】
【００３５】
よって、特許文献２の代わりに「θの３次多項式で示す近似モデル」を使用する場合でも、上記の式により表されるＲｃｄとＲｃｍの関係式を同様に反復法等で計算すれば、［Ｘｃｍ、Ｙｃｍ］と［Ｘｃｄ、Ｙｃｄ］について相互変換することが可能である。
【００３６】
【数６】
【００３７】
すなわち、他の異なる形態に基づいた近似モデルを使用する場合であっても、「Ｒｃｄ値をＲｃｍに基づく関数」で示すことができれば、第１の技術は等しく機能することが明らかである。
【００３８】
上述した［Ｘｃｄ、Ｙｃｄ］と［Ｘｃｍ、Ｙｃｍ］との関係で示すように、歪みのある画像では、本来の投影位置より内側にずれて投影されている。よって、歪み補正画像（図４（Ｂ）参照）は、歪み画像（図４（Ａ）参照）よりも画像サイズが大きくなる。以後、歪み画像のサイズを［幅ｗ、高さｈ］、歪み補正画像のサイズを［幅Ｗ、高さＨ］（比率 Ｗ／ｗ＝Ｈ／ｈ＝Ｎ）として示す。
【００３９】
上述した第１の技術では、画像を歪み補正することなく、バックアイカメラ（広角カメラ・単眼視）により、後続車両と自車両との相対位置の関係を求めるために、歪み補正画像と同じ大きさ［ｗ＊ｈ］で用意した記憶手段（メモリ）に対応する世界座標［Ｘｗ、Ｙｗ、Ｚｗ］を記録した計測マップを導入する手法を取り上げた。但し、二次元で示される画像から三次元の情報を復元することは、原理上難しい。よって、高さ方向Ｙｗを定数として扱いある任意の規定高さ（Ｙｗ＝Ｙｃｏｎｓｔ）平面上に存在する物体のＸｗ、Ｚｗ位置を計測する。
イメージプレーンと画像平面の対応は、カメラ内部パラメータで示される線形変換であるため、［Ｘｃｍ、Ｙｃｍ、１］と［Ｕｍ、Ｖｍ］との順変換・逆変換及び［Ｘｃｄ、Ｙｃｄ、１］と［Ｕｄ、Ｖｄ］との順変換・逆変換は、上記の［数２］の操作に従い容易に行なうことができる。
また、イメージプレーン上で、歪みのない像［Ｘｃｍ、Ｙｃｍ、１］から歪みを持つ像［Ｘｃｄ、Ｘｃｄ、１］への変換は、上記の［数３］−（５）〜（７）式の操作で容易に実行することができる。
さらに、Ｙｗ＝Ｙｃｏｎｓｔとする条件下では、上記の［数２］により、［Ｘｃｍ、Ｙｃｍ、１］から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］の位置を求めることが可能である。
歪み画像［Ｕｄ、Ｖｄ］に対応する世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］位置を求めるためには、［Ｕｄ、Ｖｄ］と［Ｘｃｄ、Ｙｃｄ、１］と［Ｘｃｍ、Ｙｃｍ、１］と［［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］との順序で、近似モデル式の逆を追って変換しなければならない。
【００４０】
従来では、計測マップＸｗ、Ｚｗの作成は、図５〜図９の手順によって行われている。
即ち、従来、手順１として、図５に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｃｄ、Ｙｃｄ、１］座標系に変換する。
手順２として、上記の［数２］の逆変換をすることで、図６に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系に変換する。
手順３として、下記の［数８］〜［数１０］の高次方程式の計算をすることで、図７に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系から世界座標系［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］に変換する。
手順４として、上記の［数１］の逆変換をすることで、図８に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へ世界座標系［Ｘｗ、Ｚｗ］を求める。
手順５として、図９に示すように、この求めた世界座標系［Ｘｗ、Ｚｗ］を登録したＸｗ計測マップ、Ｚｗ計測マップを作成する。
【００４１】
【数７】
【００４２】
【数８】
【００４３】
【数９】
【００４４】
【数１０】
【００４５】
しかしながら、その逆の［Ｘｃｄ、Ｙｃｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換については、上記の［数８］〜［数１０］で示すように、イメージプレーン上、Ｔｓａｉ近似モデル域（Ｒｃｍ２≦Ｒｃｋ２あるいはＲｃｄ２≦Ｒｃ１２）では五次元以上の高次方程式を、対数近似モデル域では非線型方程式を、反復法等の繰り返し処理を用いて強制的に解く必要がある。ここで、Ｒｃｋは、Ｔｓａｉ近似モデルと対数近似モデルとを切り替える境界条件であり、実験的に求められる。
計算精度を確保するためには、繰り返しの反復回数を増やす必要があるため、リアルタイムに解を得る操作は原理的に不可能に等しい。
よって、上述した第１の技術では、事前に［Ｘｃｄ、Ｙｃｄ、１］から［Ｘｃｍ、Ｙｃｍ、１］の変換を行い、歪み画像上の全ての画素位置で対応する［Ｘｗ、Ｙｃｏｎｓｔ、Ｚｗ］をラゲール法等の処理にて高次方程式を解き、これら座標を記録する２枚の計測マップ［Ｘｗ、Ｚｗ］の作成を行なう手法を提案していた。但し、イメージプレーン上で対数近似域（Ｒｃｍ２＞Ｒｃｋ２あるいはＲｃｄ２＞Ｒｃｌ２）では、上記の［数１０］の操作により非線形方程式をＴｓａｉ近似モデル域と同じ次元で、線形の高次方程式に変換して計測マップ座標値を算出した。
規定高さ（Ｙｃｏｎｓｔ）平面は、図３に示すように、地面と平行な平面で定義したので、規定高さ（Ｙｃｏｎｓｔ）平面上の［Ｘｗ、Ｙｗ］座標は、計算することができない。よって、計測マップについては、レンズ焦点高さよりも上方の位置に関する［Ｘｗ、Ｙｗ］座標値を持つことはできない。なぜならば、レンズ焦点高さよりも上方に存在する物体とレンズ焦点を結ぶカメラ視線（直線）は、カメラよりも後方位置で規定高さ（Ｙｃｏｎｓｔ）と交わるため投影面裏位置（虚空間）となり撮影できないからである。
【００４６】
＜衝突予測時間（ＴＴＣＲ）、△Ｚｃ／△Ｚｃ１推定までの概要＞
前記第１の技術では、従来後方よりの接近車両を示すオプティカルフローの始点・終点と対応する計測マップのＸｗ、Ｚｗ登録値より自車両と接近車両の相対位置を計測し、図１０・図１１に示すように、マッチング比較対象の２枚の撮影時間の差を利用し相対速度を求め、ＴＴＣＲを算出し、自車両への衝突可能性を判定した。
このオプティカルフロー検出装置２では、自車両と接近車両の相対位置の計測は行なえない計測マップ無効領域上に発生するオプティカルフローを利用しＴＴＣＲを算出するものである。しかしながら、２次元の画像から３次元の全情報を算出することは不可能であるため、何らかの拘束条件が必須事項となる。そこで、オプティカルフロー検出対象の物体は、図１１に示すように、同じ高さのまま（△Ｙｗ＝０）、△Ｘｗ、△Ｚｗ方向へ等速移動するという拘束条件を定義する。
【００４７】
＜イメージプレーンマップＸｃｍ、Ｙｃｍの作成＞
先ず、［Ｘｗ、Ｙｗ、Ｚｗ］と［Ｘｃ、Ｙｃ、Ｚｃ］との対応について着目する。
オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する物体の世界座標系位置を［Ｘｗ０、Ｙｗ０、Ｚｗ０］、カメラ座標系位置を［Ｘｃ０、Ｙｃ０、Ｚｃ０］でそれぞれ定義し、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する物体の世界座標系位置を［Ｘｗ１、Ｙｗ１、Ｚｗ１］、カメラ座標系位置を［Ｘｃ１、Ｙｃ１、Ｚｃ１］でそれぞれ定義する。
また、同様に、オプティカルフローの始点位置［Ｕｄ０、Ｖｄ０］に対応する歪みを除去したイメージプレーン座標位置を［Ｘｃｍ０、Ｙｃｍ０、１］、オプティカルフローの終点位置［Ｕｄ１、Ｖｄ１］に対応する歪みを除去したイメージプレーン座標を［Ｘｃｍ１、Ｙｃｍ１、１］で、それぞれ定義する。
但し、歪み画像上の座標［Ｕｄ、Ｖｄ］とイメージプレーン上の座標［Ｘｃｍ、Ｙｃｍ、１］との順変換・逆変換の操作には、高次方程式の求解作業（反復操作）が必須である。上述した第１の技術と同様に、計算精度を維持したまま反復操作を回避し、変換操作を円滑に行なう操作が必要と考えられる。
【００４８】
そこで、新たに歪み画像と同じ［ｗ＊ｈ］サイズの２枚の記録バッファを導入し、画素単位で歪み画像とイメージプレーンの対応を取れるように図る。用意した２枚の記録バッファを、それぞれＸｃｍ、Ｙｃｍイメージプレーンマップと呼称する。
即ち、図１２に示す歪み画像上の点［Ｕｄ、Ｖｄ］をイメージプレーン上の［Ｘｃｄ、Ｙｃｄ、１］座標系に変換する。次に、上記の［数２］の逆変換をすることで、図１３に示すように、イメージプレーン上の［Ｘｃｍ、Ｙｃｍ、１］座標系に変換する。そして、上記の［数８］〜［数１０］の高次方程式の計算をすることで、図１４に示すように、歪み画像と同じサイズ［ｗ＊ｈ］のバッファを用意し、計算元の［Ｕｄ、Ｖｄ］と同じ位置へイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を求める。さらに、図１５に示すように、この求めたイメージプレーン座標系［Ｘｃｍ、Ｙｃｍ］を登録したＸｃｍイメージプレーンマップ、Ｙｃｍイメージプレーンマップを作成する。
【００４９】
前記作成したＸｃｍイメージプレーンマップ、Ｙｃｍイメージプレーンマップを利用したＴＴＣＲ計算に関する操作の手順１〜５を、以下の［数１１］〜［数１９］に沿って説明する。
即ち、手順１として、上記の［数１］の操作により、これらの関係を下記の［数１１］のように表すことができる。
【００５０】
【数１１】
【００５１】
さらに、［数１１］の式を、下記の［数１２］のように変換する。
【００５２】
【数１２】
【００５３】
手順２として、オプティカルフローは、Δｔ秒差で撮影した画像における物体の移動を表す。物体の移動が、等速直線移動であるという拘束条件を踏まえると、下記の［数１３］のように表すことができる。この［数１３］は、［数１２］−（１８）式のフロー終点［Ｘｃ１、Ｙｃ１、Ｚｃ１］が、［数１２］−（１７）式のフロー始点［Ｘｃ０、Ｙｃ０、Ｚｃ０］から移動した状態を示す。
【００５４】
【数１３】
【００５５】
［数１３］に前式を代入し、［数１４］のようにカメラ座標系に変換する。
【００５６】
【数１４】
【００５７】
手順３として、カメラ座標［Ｘｃ１、Ｙｃ１、Ｚｃ１］及び［Ｘｃ０、Ｙｃ０、Ｚｃ０］を、イメージプレーンに投影すると、下記の［数１５］のように表すことができる。
【００５８】
【数１５】
【００５９】
さらに、Ｚｃ０＝Ｚｃ１−△Ｚ・ｃｔとしてＺｃ０を式から除去すると、下記の［数１６］のように表すことができる。
【００６０】
【数１６】
【００６１】
手順４として、カメラ座標係での移動量［ΔＸｃ、ΔＹｃ、ΔＺｃ］を、再びワールド座標系に戻すと、下記の［数１７］のように表すことができる。
【００６２】
【数１７】
【００６３】
拘束条件より、△Ｙｗ＝０であるので、下記の［数１８］のように表すことができる。
【００６４】
【数１８】
【００６５】
上記の［数１８］−（２５ｃ）式から、以下のことが伺える。
・２＊２行列による二次元ベクトルの変換式の形態である。
・［ΔＸｗ、ΔＺｗ］は、等速移動であるので、定数と考えられる。
・Δｔは、マッチング比較を行う２枚の画像の撮影時間差であるので定数と考えられる。
・ΔＸｃｍ、ΔＹｃｍは、歪み画像上のオプティカルフローをイメージプレーン上に変換したものである。
よって、Ｘｃｍ、Ｙｃｍは、イメージプレーンマップ、あるいは、上記の［数８］〜［数１０］の高次方程式の操作により求められる。
これにより、２＊２逆行列を使用することで、［ΔＸｗ／ΔＺｃ１、ΔＺｗ／ΔＺｃ１］を求めることができる。
【００６６】
手順５として、求めた［△Ｘｗ／Ｚｃ１，△Ｚｗ／Ｚｃ１］を、再びカメラ座標系に変換すると、下記の［数１９］のように表すことができる。
【００６７】
【数１９】
【００６８】
前記［数１９］において、（２７）式の、左辺の△Ｚｃ／Ｚｃ１に着目する。
拘束条件である等速直線運動によれば、△Ｚｃは一定値である。Ｚｃ１と△Ｚｃの具体値（カメラ座標系Ｚｃ方向に関する位置・速度）を求めることは、原理上できないが、接近交差時間（ＴＴＣＲ）については、△Ｚｃ／Ｚｃ１の逆数Ｚｃ１／△Ｚｃ（距離／速度の比）として推定することができる。
但し、ピンホールカメラモデルの条件に基づき、イメージプレーンはモニタと同じくＸ増加方向を右側、Ｙ増加方向を下側とする表裏反転座標系として定義している。速度ΔＺｃが自車に接近する方向を＋符号とする場合、Ｚｃ１の示す符号は逆転し−符号となる。
よって、ＴＴＣＲの換算式は、下記の［数２３］−（３５）式のように表される。
【００６９】
ここで、ＴＴＣＲが零（０）以下になれば、接近車両と自車両との車間距離がなくなる＝衝突する、と判別できる。
よって、下記の［数２３］−（３５）式に基づくＴＴＣＲ推定値に衝突可能性を示す閾値（例えば、ＴＴＣＲ＝１．０秒）を設定することで、運転者に車両の接近を警報したり、衝突回避を目的とする自動装置の制御目標値やトリガ等へ応用したりすることができる。
【００７０】
そこで、ＴＴＣＲ推定値を得るため、前記［数１９］−（２７）式の左辺ΔＺｃ／Ｚｃ１の値を求める作業に取り掛かる。
前記［数１９］−（２７）式からΔＺｃ／Ｚｃ１項だけ抽出すると、下記の［数２２］−（３１）式のように表すことができる。
【００７１】
また、下記の［数２２］−（３１）式で示されるΔＸｗ／Ｚｃ１及びΔＺｗ／Ｚｃ１は、前記［数１８］−（２５ｃ）式から、下記の［数２０］および［数２１］の操作により、下記の［数２２］−（３２）式のΔＸｃｍ、ΔＹｃｍに基づく関数へと展開することができる。
【００７２】
【数２０】
【００７３】
【数２１】
【００７４】
【数２２】
【００７５】
【数２３】
【００７６】
ところで、ΔＸｃｍ、ΔＹｃｍは、画像上でブロックマッチングにより求めたオプティカルフローをイメージプレーンマップＸｃ、Ｙｃ上に照らし合わせれば、容易に取得することができる。
前記第１の技術で示された計測マップとは異なり、イメージプレーンマップＸｃ、Ｙｃは、無効範囲（Ｙｃｏｎｓｔ等の拘束条件に基づく計算不能領域）を持たない。
原点［Ｘｃ、Ｙｃ］＝［０、０］以外で検出された、全てのオプティカルフローからＴＴＣＲを求めることができる。つまり、離散し単独の状態で存在するフローについても、ＴＴＣＲを求めることができる。
したがって、本手法により、画像上の広範囲にわたって衝突可能性を判定可能なシステムを構築することができる。
【００７７】
ところで、オプティカルフローは、使用環境の変化（天候、逆光等）の外乱に影響を受けやすい。
また、ブロックマッチングは、整数（画素）単位で検出されるため、ＴＴＣＲ推定精度を向上するために、同一対象から検出される周辺のオプティカルフローを一つにまとめたグループ単位でＴＴＣＲ計算を行うことが望ましい。
そこで、グループに属するフロー全てについて、［数２２］−（３２）式に基づくＴＴＣＲ＝ΔＺｃ／Ｚｃ１計算処理を適用し、求めたＴＴＣＲの平均値を算出し、フローの検出元となった接近車両のＴＴＣＲ値として使用することで、推定精度の向上を図ることができる。
【００７８】
＜引用式の図解＞
カメラ座標系Ｙｃ＝０投影面の現象であって、拘束条件に沿って、移動接近する接近車両の配置を、図１６に示すようになる。
ある任意のオプティカルフローに着目すると、図１７に示すように表される。
・図１７の符号Ａの長さは、Ａ＝ΔＸｃ＋Ｂで表される。
・イメージプレーン上に変換されたオプティカルフローは、Ｘｃｍ１−Ｘｃｍ０＝ΔＸｃｍで示される。
・三角形の相似関係より、Ａ：ΔＸｃｍ＝Ｚｃ１：１である。
・三角形の相似関係より、Ｂ：Ｘｃｍ０＝ΔＺｃ：１である。
【００７９】
これらを踏まえると、Ａ＝ΔＸｃ＋Ｂの関係は、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ＋ΔＺｃ＊Ｘｃｍ０となる。ここでも、ベクトルの方向性を考慮に入れれば、Ｚｃ１＊ΔＸｃｍ＝ΔＸｃ−ΔＺｃ＊Ｘｃｍ０となる。
カメラ座標系Ｘｃ＝０投影平面にて現象を検討すれば、Ｚｃ１＊ΔＹｃｍ＝ΔＹｃ−ΔＺｃ＊Ｙｃｍ０となり、これは、上記の手順４の［数１７］の先頭の形式に帰着できることが明らかである。
【００８０】
ここで、前記イメージプレーンマップの代理手法（歪み補正・逆参照マップ）について説明する。
イメージプレーンマップＸｃ、Ｙｃは、基本的に少数以下のデータを扱うため、実装対象となる装置によっては、浮動少数のデータサイズや表現の都合上、導入が困難なケースが考えられる。
よって、イメージプレーンマップＸｃ、Ｙｃの代わりに、入力画像（歪み画像）ｗ＊ｈに対応した歪み補正画像の座標位置を登録したＵｍ、Ｖｍマップを使用しても構わない。
この場合、前記［数１８］−（２５ｃ）式は、以下の［数２４］−（３６ｃ）式に変形される。［数２３］−（３５）式に関する解放には、作成した下記［数２４］−（３６ｃ）式に基づく方程式を使用する。
【００８１】
【数２４】
【００８２】
なお、上記Ｕｍ、Ｖｍマップは、特許文献２で示される歪み補正マップではない。特許文献２で示される歪み補正マップの特徴は、以下の通りである。
・サイズ＝ｗ＊ｈ
・参照の最大値ｗ＊ｈ（入力画像の外を参照しない…画素がないから）
・ｗ＊ｈサイズの画像で表示できる歪み補正を作成するときの座標を登録する。
・［Ｃｘ、Ｃｙ］は表示中心なので、ｎ倍で倍率調整した画像（ｎＷ）＊（ｎＨ）にあわせた［Ｃｘｍ、Ｃｙｍ］を使用する。
これに対して、上記Ｕｍ、Ｖｍマップで示される歪み補正マップの特徴は、以下の通りである。
・サイズ＝ｗ＊ｈ
・参照の最大値Ｗ＊Ｈ（入力画像の外を参照する…座標系変換に画像サイズは関係ない）
・ｗ＊ｈサイズの入力画像が収差の影響を受け歪む前の座標位置を取得する。
・マップサイズはｗ＊ｈで入力画像と同じなのでキャリブレーションデータ［Ｃｘｄ、Ｃｙｄ］を使用する。
【００８３】
＜次点のオプティカルフロー発生位置を予測する手段＞
既に、オプティカルフローからＴＴＣＲを推定する手段を示した。また、ＴＴＣＲ推定精度を向上するために、検出されたオプティカルフローの集合単位で求めたＴＴＣＲ平均値を利用する手段を示した。
但し、単独、集合単位で求めたいずれのＴＴＣＲ推定値についても検出されたオプティカルフローの精度が影響するため、誤検出フローがＴＴＣＲ推定に使用されることで精度が著しく低下するおそれがある。よって、ＴＴＣＲ推定精度を確保するためには、不確かなオプティカルフローをＴＴＣＲ計算対象から外す必要がある。
そこで、イメージプレーンマップＸｃ、Ｙｃを使用する場合に、オプティカルフローを追跡する新たな手法について示す。
まず、イメージプレーン上で検出されたオプティカルフローの始点を［Ｘｃｍ０、Ｙｃｍ０］、終点を［Ｘｃｍ１、Ｙｃｍ１］と定義する。このフローを追跡対象フローに設定する。
オプティカルフロー追跡において、予測される次点（移動後画面）のオプティカルフローの始点は、今回検出されたフローの終点［Ｘｃｍ１、Ｙｃｍ１］が相当する。次に、次点フローの予測終点を［Ｘｃｍ２、Ｙｃｍ２］と仮定する。
フロー検出元である接近車両等の対象の移動は、ΔＹｗ＝０、ΔＸｗ、ΔＺｗは、定数（等速運動）と仮定したので、拘束条件に従い画像検出したオプティカルフローより、次点のオプティカルフロー発生位置を推定する。
前記手順２、手順４と同様に下式の［数２５］−（３７）式、［数２５］−（３８）式に従い、次点の実空間車両移動予測位置［Ｘｗ２，Ｙｗ２，Ｚｗ２］およびカメラ座標系イメージプレーン上の移動予測位置［Ｘｃｍ２，Ｙｃｍ２］を定義する。
【００８４】
【数２５】
【００８５】
さらに、［数２５］の各式は、次の［数２６］のように変形できる。
【００８６】
【数２６】
【００８７】
最終的に予測されるイメージプレーン上の［Ｘｃｍ２，Ｙｃｍ２］位置は、下記の［数２７］−（４２）式で表現できる。
【００８８】
【数２７】
【００８９】
移動後画像に対しオプティカルフロー処理を行い、［Ｘｃｍ１、Ｙｃｍ１］位置で検出されたオプティカルフローの方向・長さが、予測された終点［Ｘｃｍ２、Ｙｃｍ２］を示す特性から大きく逸れた場合、このフローを誤検出フローとして評価対象から外すことで、ＴＴＣＲ推定値の精度低下を回避することができる。
【００９０】
拘束条件としたモデルでは、後続車両は一定速度で接近している前提であるので、△Ｚｃ／Ｚｃ１に加え△Ｘｃ／Ｚｃ１および△Ｙｃ／Ｚｃ１は前記第４の技術で衝突予測時間ＴＴＣＲを計算する過程で明らかとなっている。
また、△ｔは、やはりカメラからの画像入力時間の間隔であるので、一定の撮影周期で動作するシステムであれば既知の定数（ビデオフレームレートの倍数）である。
前記［Ｘｃｍ２，Ｙｃｍ２］はイメージプレーン上の推定点であるので、［数２］・［数３］等の操作で歪み画面上の予測座標［Ｕｄ２，Ｖｄ２］へと容易に変換できる。
即ち、前回のオプティカルフロー終点［Ｕｄ１，Ｖｄ１］と予測点［Ｕｄ２，Ｖｄ２］を結ぶ直線が、歪み画像上で次回に発生すると予測されたオプティカルフローである。
また、この予測位置付近で実際に検出されるオプティカルフローを、後続車両の接近を示す正規フローとして判別し、この操作を次々画像へと繰り返し行なうことで、オプティカルフローのトラッキング効果を獲得することができる。
【００９１】
また、規定の画素位置に発生するフローの最大長は、ブロックマッチングの探索範囲に依存する有限な値であり、よってフローの長さおよび向きを組み合わせたパターンは一定のものである。
毎回予測フロー位置を計算する工数を簡略化するために、前記第４の技術のＴＴＣＲマップと同様に新たな多段階層マップを導入し、予測フローを予め登録することも可能である。
ここで、オプティカルフローの長さ方向を［Ｆｘ，Ｆｙ］で定義する。
多段階層マップには、フローの特性［Ｆｘ，Ｆｙ］を示すＩＤを設定する。例えば、フローの特性が［Ｆｘ，Ｆｙ］＝［−２，４］を示す場合の多段階層マップＩＤを［Ｍ０２＿Ｐ０４］と定義する。
多段階層マップは、歪画像（入力画像）と同じサイズで定義される。
まず、マップ上の全ての画素位置［Ｕｄ，Ｖｄ］をオプティカルフローの終点位置［Ｕｄ１，Ｖｄ１］と定義する。
次に、全ての［Ｕｄ１、Ｖｄ１］に対し、多段階層マップＩＤに対応するフロー［Ｆｘ，Ｆｙ］が検出されたと想定し、フローの始点［Ｕｄ０，Ｖｄ０］＝［Ｕｄ−Ｆｘ，Ｖｄ−Ｆｙ］から計算する。
始点［Ｕｄ０，Ｖｄ０］及び終点［Ｕｄ１，Ｖｄ１］を、イメージプレーンマップに基づきイメージプレーン座標系［Ｘｃｍ０，Ｙｃｍ０］、［Ｘｃｍ１，Ｙｃｍ１］に変換する。
さらに、前記［数２７］−（４２）式に基づくオプティカルフロー追跡処理により、［Ｘｃｍ１，Ｙｃｍ１］位置で予測終点［Ｘｃｍ２，Ｙｃｍ２］位置を算出する。
計算した予測終点［Ｘｃｍ２，Ｙｃｍ２］を元の歪画像［Ｕ，Ｖ］座標系に戻す。この値を［Ｕｄ２，Ｖｄ２］と定義する。
検出対象が等速で移動する場合、次点移動後の歪画像（入力画像）上でオプティカルフローを行った際に検出が予測されるフローは、［Ｕｄ１，Ｖｄ１］を始点に、［Ｕｄ２，Ｖｄ２］を終点に持つフローとなることが前記［数２７］−（４２）式により推定されるので、実際に検出したフローの中から予測から外れたフローを除外し、信頼度の高いフローのみを選定することでＴＴＣＲ推定精度を向上することができる。
予測終点［Ｕｄ２，Ｖｄ２］を［Ｕｄ，Ｖｄ］座標系として多段階層マップに登録する場合、例えばＶＧＡ（６４０＊４８０）サイズの入力画像であればＵｄの値で１０ビット、Ｖｄの値で９ビット、総計１９ビットのデータサイズがマップ１画素当たりに要求される。さらに、多段階層マップはブロックマッチングの探索範囲分の階層数が必要とされるため、マップ１画素単位のデータサイズが大きい場合、規模の小さいシステムへの実装が困難となる場合が考えられる。
そこで、予測終点のマップ上への登録については、終点［Ｕｄ２，Ｖｄ２］から始点［Ｕｃ２，Ｖｃ２］情報を差し引くことでフローの特性を長さ・方向を示す［Ｆｘ２，Ｆｙ２］＝［Ｕｄ２−Ｕｄ１，Ｖｄ２−Ｕｄ１］値で代用し、登録値のデータサイズを削減する手法がデータ削減の面から推奨される。
例えば、ブロックマッチング探索範囲が±７ピクセルの場合、登録値［Ｆｘ２，Ｆｙ２］の各有効範囲も±７以下である。結果、マップ登録値を示す情報はＸ方向４ビット、Ｙ方向４ビットの計１バイトで登録することができる（Ｆｘ、Ｆｙを上位下位各４ビットで扱う）。
図１８に多段階層マップ［Ｍ０２＿Ｐ０４］上に予測される次点のフロー［Ｆｘ２，Ｆｙ２］を登録する場合の適用例を示す。
原画像で長さ［Ｆｘ，Ｆｙ］＝［−２，４］、終点［Ｕｄ、Ｖｄ］のオプティカルフローが検出された場合を想定し、ＩＤ＝［Ｍ０２＿Ｐ０４］の多段階層マップ上、［Ｕｄ１，Ｖｄ１］位置に、次画像で検出が予測されるオプティカルフローの長さ［Ｆｘ２，Ｆｙ２］＝［−４，＋５（例）］の情報を、所定のフォーマットに沿った値（＝０ｘｃ５（例））で登録する。
この作業を多段階層マップ上の全ての画素位置、全てのＩＤ（フロー［Ｆｘ，Ｆｙ］）箇所で実行する。
但し、システムのスペックについてデータサイズ・容量を気にする必要がない場合については、この限りではない（フローの長さではなく直接Ｕｄ２，Ｖｄ２座標系を登録しても構わない）。
【００９２】
＜接近車両検出の手順について＞
手順１として、ブロックマッチング作業によりオプティカルフローを検出する。
ブロックマッチングによるオプティカルフローの検出では、図１９に示すように、歪み画像上の［Ｕｄ、Ｖｄ］座標系［ｉ、ｊ］から、対応する［Ｘｃｍ、Ｙｃｍ］系イメージプレーン位置を参照取得し、始点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＡ、ＹｃｍＡ］、終点［Ｘｃｍ［ｉ、ｊ］、Ｙｃｍ［ｉ、ｊ］］＝［ＸｃｍＢ、ＹｃｍＢ］を求める。
【００９３】
手順２として、検出したオプティカルフローの始点［ｉ、ｊ］と、フロー長さ［△Ｕｄ、△Ｖｄ］を求める。よって、終点は［ｉ１、ｊ１］＝［ｉ＋△Ｕｄ、ｊ＋△Ｖｄ］となる。
データテーブルのうち、フロー長さ［△Ｕｄ、△Ｖｄ］について求めた階層テーブル内の予測フロー登録テーブルを取り出す。例えば、図１９のＡのフローの長さが［△Ｕｄ、△Ｖｄ］＝［３、３］であれば、図２０に示すように、データテーブル［３、３］のアドレスに登録されたテーブルを取り出す。図２０において、［Ｕ、Ｖ］＝［０、０］は静止状態なのでフローが発生しない。
［△Ｕｄ、△Ｖｄ］位置のテーブルには、画像と同じサイズの予測フロー登録テーブルが格納されている。検出したオプティカルフローの始点［ｉ，ｊ］と、フロー長さ［△Ｕｄ、△Ｖｄ］を使用する。［△Ｕｄ、△Ｖｄ］予測フロー登録テーブルには、オプティカルフロー終点［ｉ１、ｊ１］位置に対して［△Ｕｄ、△Ｖｄ］のフローが発生した場合、次にどのようなフローが検出されるかが登録情報として記録されている。
よって［△Ｕｄ、△Ｖｄ］予測フロー登録テーブルの［ｉ１、ｊ１］位置に記録されたフローが［３、４］である場合、次点で発生する予測フロー終点は［ｉ２、ｊ２］＝［３＋ｉ１、４＋ｊ１］であると推定される。
さらに、前記第４の技術のＦＯＥ（消失点：Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ）無効判定方向、ＴＴＣＲ判定情報を組み合わせて、例えば、図２１のように、［３、３］予測フロー登録テーブルと［３、３］ＴＴＣＲマップとをまとめて良い。
【００９４】
手順３として、検出されたフローのうち、ＦＯＥ判定あるいは、ＴＴＣＲ判定で無効化されたフローを除外する。
例えば、図２２の残ったフローのうちの、フローＡに着目する。
手順２により予測されたフロー検出予測位置に対して、ブロックマッチングテンプレートを多重配置し、新規フローが実際に発生するかを重点的に監視する。図２２の例では、フローは実際には路面のノイズを示すものであったので、次回のブロックマッチング時に予測位置にオプティカルフローは検出できなかった。
前記第４の技術の場合では、次点の予側かできなかったので、このフローＡが誤ったフローであるという認識ができなかった。しかし、本例では、フローＡが無効な誤検出フローであったことが判定できた。
前記第１の技術、第２の技術を応用した場合では、フロー連続監視を計測マップのＸＺ実空間座標により実行することで、路面上の誤検出フローを除去することができた。しかしながら、自車両が走行する車線の隣車線上の接近車両を示すフロー（下部フロー）に関しては、図２３に示すように、次画像で接近車両自体の陰に入り込み、新たにオプティカルフローの検出を行なうことができなかった。また、接近車両を示すフロー（上部フロー）は、次画像での処理時、計測マップのＸＺ実空間座標の有効範囲外に移勤したため、検出ができなかった。
しかしながら、この発明のオプティカルフロー検出装置２の手法を使用することで、接近車両を示すフロー（上部フロー）に関しても連続トラッキングをすることができ、接近車両を見失うことなく、その衝突可能性を判定することができた。
【産業上の利用可能性】
【００９５】
この発明のオプティカルフロー検出装置は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができるものであり、車両周辺の移動障害物の衝突可能性判定等の自動運転支援技術や、汎用ロボットにおけるマシンビジョンに応用することができる。
【符号の説明】
【００９６】
１ 車両
２ オプティカルフロー検出装置
３ 広角レンズ
４ 撮像手段
５ 画像処理手段
６ オプティカルフロー検出手段
７ オプティカルフロー予測手段
８ オプティカルフロー判定手段
９ 多重テーブル
【特許請求の範囲】
【請求項１】
広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とするオプティカルフロー検出装置。
【請求項２】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置を予測し、前記撮像手段により次回撮像された時に、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置に前記オプティカルフロー検出手段によりオプティカルフローを検出されない場合には、無効フローと判定するオプティカルフロー判定手段を備えることを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項３】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記撮像手段により次回撮像された時に、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置に第２の物体が検出され、この第２の物体が前記第１の物体をマスキングしていると判定される場合には、前記撮像手段により次回撮像される時の前記第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測することを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項４】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置がいったんオプティカルフロー検出可能範囲外になっても、前記オプティカルフロー予測手段によりオプティカルフロー位置予測を繰り返した結果、予測されたオプティカルフロー位置が再びオプティカルフロー検出可能範囲内に戻る場合には、オプティカルフロー検出可能範囲内になるまで前記オプティカルフロー予測手段により前記第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測することを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項５】
前記撮像手段により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルを備え、前記多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を登録しておき、前記オプティカルフロー予測手段は、前記オプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を取得し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測することを特徴とする請求項１、請求項３、請求項４のいずれか一項に記載のオプティカルフロー検出装置。
【請求項１】
広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第１の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出することを特徴とするオプティカルフロー検出装置。
【請求項２】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置を予測し、前記撮像手段により次回撮像された時に、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置に前記オプティカルフロー検出手段によりオプティカルフローを検出されない場合には、無効フローと判定するオプティカルフロー判定手段を備えることを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項３】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記撮像手段により次回撮像された時に、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置に第２の物体が検出され、この第２の物体が前記第１の物体をマスキングしていると判定される場合には、前記撮像手段により次回撮像される時の前記第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測することを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項４】
前記オプティカルフロー予測手段は、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置がいったんオプティカルフロー検出可能範囲外になっても、前記オプティカルフロー予測手段によりオプティカルフロー位置予測を繰り返した結果、予測されたオプティカルフロー位置が再びオプティカルフロー検出可能範囲内に戻る場合には、オプティカルフロー検出可能範囲内になるまで前記オプティカルフロー予測手段により前記第１の物体のオプティカルフロー位置とオプティカルフロー長さとを予測することを特徴とする請求項１に記載のオプティカルフロー検出装置。
【請求項５】
前記撮像手段により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルを備え、前記多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を登録しておき、前記オプティカルフロー予測手段は、前記オプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を取得し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第１の物体の、オプティカルフローを予測することを特徴とする請求項１、請求項３、請求項４のいずれか一項に記載のオプティカルフロー検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−３９５５（Ｐ２０１３−３９５５Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３６１５７（Ｐ２０１１−１３６１５７）
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月２０日（２０１１．６．２０）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]