画像処理システム
【課題】
従来技術では、複数の撮像装置により撮像した撮像画像の重複領域と非重複領域との間で、認識対象が移動した場合の対応方法が記載されていない。即ち、認識対象が重複領域から非重複領域へ移動した場合に正確な画像処理を行うことができない、という課題がある。
【解決手段】
車両検知システムは、第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える。
従来技術では、複数の撮像装置により撮像した撮像画像の重複領域と非重複領域との間で、認識対象が移動した場合の対応方法が記載されていない。即ち、認識対象が重複領域から非重複領域へ移動した場合に正確な画像処理を行うことができない、という課題がある。
【解決手段】
車両検知システムは、第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接近する他車の画像を処理するシステムに関する。
【背景技術】
【０００２】
自動車の安全性に対する要求はますます高まっている。また高齢化社会の進展に伴い、ドライバーの安全で快適な運転を援助する機能が求められている。
【０００３】
自車の後方を監視する技術としては、ステレオカメラを用いたものが知られている。しかしながら、後方監視のためにステレオカメラを用いると、後方監視のために単眼カメラを用いるよりも高コストとなる。ステレオカメラは撮像デバイスが１つのステレオカメラに対して少なくとも２ついること、ステレオカメラのデータ転送量は単眼カメラに対して少なくとも２倍あること、そのデータを処理するためにＣＰＵの処理性能が要求されること、２つのカメラの相対位置が経年変化でかわるために定期的なキャリブレーションが必要なこと、といったことによる。そこで、近年、単眼のリアビューカメラの搭載率が増加している。このリアビューカメラは、主として自車が後進する際の後方確認用として利用されている。また、ドアミラー部にも後側方を監視するカメラが搭載されつつある。ここで、車両に取り付けられた複数の撮像装置により撮像した撮像データを画像処理し、障害物を認識して警告するシステムがある（特許文献１参照）。
【０００４】
【特許文献１】特開２００６−５０４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、複数の撮像装置により撮像した撮像画像の重複領域と非重複領域との間で、認識対象が移動した場合の対応方法が記載されていない。即ち、認識対象が重複領域から非重複領域へ移動した場合に正確な画像処理を行うことができない、という課題がある。
【０００６】
そこで、本発明の目的は、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。
【０００８】
車両検知システムは、第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える。
【発明の効果】
【０００９】
本発明によれば、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して詳細に説明する。
【００１１】
図１は、本発明の全体システムの構成例である。
【００１２】
図１において、１０１は全体システム、１０２，１０３は車載カメラ、１０４はビデオ入力インタフェース（入力部）、１０５はマイコン、１０６はランダムアクセスメモリ、１０７はリードオンリーメモリ、１０８は歪み補正部、１０９は画像処理部、１１０は表示部、１１１は表示インタフェース、１１２は音声出力部、１１３は音声出力インタフェース、１１４はバス、である。
【００１３】
車載カメラ１０２，１０３は、車外の予め決まった場所に設置されており、車外の画像をビデオ入力インタフェース１０４に伝える。本実施例では車載カメラ１０２が側方、車載カメラ１０３が後方を撮影しており、それら２つの撮影領域には重複領域がある。ビデオ入力インタフェース１０４は、車載カメラ１０２，１０３を本実施例のシステムに接続するためのインタフェースである。マイコン１０５は、汎用的な演算処理が可能な回路であり、リードオンリーメモリ（ＲＯＭ）１０６から起動プログラムを読み込み起動し、ランダムアクセスメモリ１０６上のデータを変更しながら、本実施例のシステム全体の動作を制御する。ランダムアクセスメモリ１０６は、画像データや演算の途中結果や車両の検知結果などを保存する。リードオンリーメモリ１０７は、本実施例のシステムのプログラムや画像補正に用いる定数値などを保存する。歪み補正部１０８は、車載カメラ１０２，１０３で取得してランダムアクセスメモリ１２４上に保存されている画像を、予め車載カメラ１０２，１０３のそれぞれのパラメータに基づいてＲＯＭに保存されており、歪みのない画像に補正し、再びランダムアクセスメモリ１０７上に格納する。
【００１４】
画像処理部１０９は、画像処理のための専用回路であり、ランダムアクセスメモリ１０６上に保存されている画像データに対して処理を行い、処理結果を再びランダムアクセスメモリ１０６上に書き戻す。画像処理はマイコン１０５のソフトウェアだけで処理することも可能であるが、画像処理部１０９をアクセラレータとして用いて高速に処理することも可能である。その場合にはマイコン１０５が画像処理部１０９に対して処理に必要な設定を行い、また、必要に応じてステータス情報（演算終了やヒストグラムなど画像の性質に関する情報など）をマイコン１０５が画像処理部１０９より受け取る。
【００１５】
表示部１１１は、表示インタフェース１３０を通じてバス１１４に接続されており、本実施例の車両検知結果を表示するための装置であり、表示部１１１は自車の運転席側に取り付けられている。音声出力部１１２は、本実施例のシステムの車両検知結果をユーザに知らせる際、動作モードによって音声やアラーム音などで知らせる（例えばスピーカ）。バス１１４は、マイコン１０５やランダムアクセスメモリ１０６など図示の要に接続がなされており、接続された構成要素間で情報授受が行われる。
【００１６】
尚、本稿では、車載カメラ１０３が後方の場合について説明しているが、前方カメラにも適用できることはいうまでもない。
【００１７】
図２は、車載カメラ１０２，１０３が撮像する範囲を、自車の頭上から示した図である。
【００１８】
図２において、２０１，２０３は車道の車線、２０２は車道の中央線、２０４は車載カメラ１０３の光軸方向、２０５，２０９は車載カメラ１０２の撮影範囲を示すために表記された線、２０６と２０８は車載カメラ１０３の撮影範囲を示すために表記された線、２０７は車載カメラ１０２の光軸方向、２１０は本発明の実施例が搭載されている自車、２１１は自車が走行する方向を示す矢印、である。
【００１９】
図２において、Ａ，Ｂ，Ｃ，Ｄ，Ｅといったアルファベットが表記されている。これらはそれぞれある領域を示すものであり、領域Ａは車載カメラ１０３でのみ撮像される場所、領域Ｂは車載カメラ１０２と１０３で撮像される場所、領域Ｃは車載カメラ１０２でのみ撮像される場所を示している。領域Ｄ、Ｅは車載カメラ１０２でも１０３でも撮像されない場所を示している。
【００２０】
図３は、全体動作を説明するためのフロー図である。図３（ａ）は、通常動作時の全体動作を説明するためのフロー図、図３（ｂ）は、キャリブレーションの全体動作を説明するためのフロー図である。
【００２１】
図３（ａ）において、３０２は入力画像確認処理、３０３は検知処理、３０４は表示処理、である。
【００２２】
入力画像確認処理３０２は、入力された画像に不具合がないか確認するための処理である。検知処理３０３は、後方車両の検知やトラッキングを行う処理である。表示処理３０４は、検知した車両をユーザに分かり易く表示したり音声でアナウンスするための処理である。
【００２３】
図３（ｂ）において、３０７は入力画像確認処理、３０８はキャリブレーション処理、である。
【００２４】
入力画像確認処理３０７は、入力画像確認処理３０２と同様の処理である。キャリブレーション処理３０８は、車載カメラ１０２，１０３による重複領域について、より正確に三次元位置を把握できるよう、パラメータを調整するための処理である。キャリブレーション処理は製品出荷前の製造の工程で行われる処理である。この処理でパラメータが確定され、それがＲＯＭに書き込まれて出荷される。
【００２５】
図４は、入力画像確認処理３０２を説明するため図である。図４（ａ）は入力画像確認処理３０２のフロー図である。
【００２６】
図４（ａ）において、４０２はヒストグラム計算処理、４０３はスミア確認処理、である。
【００２７】
ヒストグラム計算処理４０２は、入力画像において図に示すように縦方向に濃淡画像の和を計算する処理である。このヒストグラム計算処理４０２によって、画面のＸ座標毎に値が１つずつ計算され、画面の横方向のサイズと同じ大きさの配列にそれぞれの和が格納される。
【００２８】
スミア確認処理４０３は、先に計算した結果が格納されている前記配列を用いて、配列の要素がある閾値を超えているか否かで、そのＸ座標においてスミアが発生しているか否か確認する。画面のすべてのＸ座標について確認を行い、スミアが発生していないことを確認する。もしスミアが発生していれば、スミア発生を後段の処理に伝える。スミアが発生している場合には、本実施例ではそのフレームについての画像処理は行わない。その他の対処方法としては、その列の画素を用いずに、隣の画素の値をそのまま用いる方法、あるいは周辺の画素の平均を用いる方法といったことが考えられる。尚、スミアはＣＣＤカメラを使用した場合に発生しうるものであり、ＣＭＯＳカメラを使用した場合には発生しない。本実施例では、ＣＣＤカメラの使用を想定している。
【００２９】
図５は、検知処理３０３のフロー図である。
【００３０】
図５において、５０１は側方入力画像、５０２は後方入力画像、５０３，５０６は歪み補正のための係数、５０４，５０５は歪み補正処理、５０７は画像準備処理、５０９，５１０は射影変換処理、５０８，５１１は射影変換のための係数、５１２は走行道路検出処理、５１３はブロックマッチング処理、５１４は優先処理候補指示処理、５１５は後方車両判定処理、５１６はトラッキング処理、５１７は検出結果、である。
【００３１】
歪み補正処理５０４は、側方入力画像５０１を入力とし、予め定められた係数値をもとに、カメラの歪みを補正した画像を得る処理である。歪み補正処理５０５も、入力画像が後方入力画像５０２である以外は、同様である。
【００３２】
画像準備処理５０７は、歪みが補正された画像により後方車両を検知するための準備の処理である。ここで入力画像に不具合がないかの確認や、２つの車載カメラの明度の違いが補正される。
【００３３】
射影変換処理５０９は、取り付け位置と撮像方向（光軸）が異なる２つのカメラ画像について、それらを擬似的にあわせていく（取り付け位置については視差を許容する）処理である。射影変換処理５１０についても同様である。本実施例では、２つの入力画像のうち、より解像度が高い方の画像に対して処理を行うことにより、画像情報が失われることによる検出精度の低下の抑止を狙っている。
【００３４】
走行道路検出処理５１２は、画像を用いた処理であり、一般にレーン認識と呼ばれる技術が基本となっている。更に、画像情報と、これまでの走行履歴（位置の履歴）と、自車の進行方向をもとに、画像上の後方道路の形状を把握している。これにより、走行路上を接近する後方車両や、追い越し車両を、ガードレールや街路樹、対抗車両と区別して認識することができる。また、本実施例では記載していないが、カーナビゲーションシステム等から道路形状のデータを入手して、それを利用することもできる。
【００３５】
ブロックマッチング処理５１３は、優先処理候補指示５１４のデータをもとに、ブロックマッチング処理を行う。この指示のデータは、トラッキング処理５１６により得られたものである。車両が検出されうる領域すべてについてブロックマッチングを行うべきであるが、領域のどの部分から処理するかということについて、優先処理候補指示５１４のデータを利用する。一般に、ブロックマッチング処理は演算量が多いため時間がかかる。そこで、画像上の処理領域で優先順位をつける。所定時間内に処理が終わらないときは、優先度の低いものは処理しない。
【００３６】
後方車両判定処理５１５は、走行路検出処理５１２とブロックマッチング処理５１３の結果を元に、後方の車両を検知する処理である。
【００３７】
トラッキング処理５１６は、検出結果５１７を出力するとともに、優先処理候補指示５１４のデータを出力する。
【００３８】
ここで図６を用いて、歪み補正処理５０４，５０５の動作を説明する。
【００３９】
図６において、６０１は歪み補正前の画像、６０２は歪み補正後の画像、６０３〜６０６と６０７〜６１０はそれぞれ４つずつの座標であり、歪み補正の仕方を指示するためのデータ群の１セットである。６１１〜６１４は４つの画素を示しており、６１５と６１６の２つの点線の交点が、歪み補正後の画素の色情報を取得したい点（サブピクセル単位の点）である。
【００４０】
歪み補正部１０８により歪みがある画像から、歪み補正後の画像を作るには、車載カメラ１０２〜１０４のそれぞれのカメラパラメータに基づいて、歪み補正のテーブル（座標の対応関係を示すテーブル）がカメラの設計データやキャリブレーションによってに予め作成されている。本実施例では車載カメラが２つあるので、テーブルも２つある。前記テーブルは、図６（ｂ）の座標データの組（セット）が複数集まってできている。例えば、歪み補正後に座標６０７から６１０で示される範囲の座標となる画素の位置は、歪み補正前の座標６０３〜６０６の座標を元に、線形補間計算を行い、求められる。このとき、歪み補正前の座標の値が、小数点以下、即ち、画素よりも細かい単位での座標となることがあるが（６１５と６１６で示される座標）、その場合には、画素６１１〜６１４の４つの画素の色情報を元に、補間計算を行って、６１５と６１６で表される座標の色情報を求め、それを歪み補正後の画素の色とする。このような処理を歪み補正後の画像６０２の全域にわたって処理を行い、歪み補正後画像６０２を求める。この歪み補正部による処理は、本実施例におけるすべての車載カメラによる撮像画像に対して行われている。
【００４１】
図７は、画像準備処理５０７のフロー図である。
【００４２】
図７において、７０２は縮小処理、７０３は明度補正処理、である。
【００４３】
縮小処理７０２は、カメラから入力された画像を縮小する処理である。これは隣り合う画素の平均をとることによって入力画像に対する縮小画像を作成する処理である。画像処理においては、一般に、入力画像が高解像度であったとしても、実際に処理される際には、縮小画像が作成され、それについて画像認識処理が施されることが多い。
【００４４】
明度補正処理７０３は、２つのカメラの入力画像において、その明度が異なる場合、その明度を補正するための処理である。本処理の狙いは、２つのカメラにおける、画像の明るさの違いの影響を軽減しようということである。ここで利用するのは、路面の画像である。路面は、一般に乱反射しており、どの方向からみても一様な明るさに見えることが多いことが知られている。本実施例では、このことを利用し、２つの車載カメラで撮影した画像について、その路面上の同じ点が２つのカメラから同じ明るさに見えるように、２つのカメラの絞りを調整する。また、ただ１つのペア（座標同士）の比較であると、誤差を含む可能性があるため、比較候補を複数予め用意しておきそれらの座標をリストとし、それら複数の候補について明るさの比較処理を行った後に、想定される明るさを誤差少なく求める。
【００４５】
以上により、複数の撮像装置の取り付け位置や方向が異なるとき、それらの撮像画像についての明度の調整や照明・反射の影響を軽減することができる。
【００４６】
図８，図９を用いて、射影変換処理５０９，５１０について説明する。射影変換とは、画像の拡大や縮小，移動，台形変換といった演算処理のことである。
【００４７】
図８は、角度θだけ擬似的にカメラを回転させることを示す図、図９は、Ｌだけカメラ画像を拡大し、カメラ位置を擬似的に変えることを示す図である。このとき、２つのカメラについて、重複領域においてより高解像度な画像を得られるカメラについて、本処理（射影変換処理）を行うこととする。これは射影変換による画像情報の損失を低減するためである。
【００４８】
２つの車載カメラは撮像する方向（光軸方向）とその取り付け位置とが異なっている。そこで、図８において８０１で示される角度分に相当する射影変換を側方カメラの画像に対して行い、擬似的に光軸が平行となった画像を生成する。更に画像の変換（拡大）を行い、これによりカメラ画像を擬似的に図９の取り付け位置９０２とした場合の画像に変換する。ここで実施する射影変換については、予めキャリブレーション処理によってどのような変換を行う必要があるかを把握しておく。以上２回の射影変換により、２つのカメラ画像の視差がｄのステレオマッチング処理を適用することができる。
【００４９】
本実施例では記載していないが、予めキャリブレーション処理によって、図２の１０２のカメラ位置での撮影画像と、図９の５０２の位置に実際にカメラを設置して撮影した画像と、の２つを比較し、その対応点を把握することにより、実施すべき画像変換の内容を把握する方法も考えられる。
【００５０】
図１０は、本実施例におけるブロックマッチング処理５１３の説明図である。
【００５１】
図１０において、１００１は比較画像から切り出した領域、１００２は基準画像、１００３は探索する方向を示す線、１００４は距離画像、である。
【００５２】
ブロックマッチング処理は画像の重複領域に対して、ＣＰＵ１０５によって行われる処理である。本処理は図１１で説明されるステレオ法の演算に必要な処理である。
【００５３】
領域１００１は、比較画像から切り出された５×５の画像であり、２つの車載カメラのうちの一方からの画像である。基準画像１００２は、領域１００１が属さない方の車載カメラ画像である。領域１００１と基準画像１００２を用いて、２つの画像の横方向（１００３）の差異が、サブピクセル単位で計算される。本実施例では正規化相関により求められる。ここで用いた際により、奥行き方向の距離がもとめられ、距離画像１００４を得る。距離画像とは濃度画像であるが、その濃度値を奥行き方向の距離値としたものである。
【００５４】
図１１を用いて、図５のブロックマッチング処理５１３により３次元の距離を把握する方式を説明する。本実施例では、ステレオ法により画像計測を行う。
【００５５】
図１１において、Ｐ０は対象となる点、Ｐｌは左眼画像上の点、Ｐｒは右眼画像上の点、Ｐｏ＿ｌは左眼座標系の原点、Ｐｏ＿ｒは右眼座標系の原点、Ｏはｘｙｚ座標系の原点、Ｏ＿ｌは左眼カメラの投影の中心、Ｏ＿ｒは右眼カメラの投影の中心、である。また、ｘ，ｙ，ｚはＯを原点とする全体空間の座標系、ｖ＿ｌ，ｖ＿ｒは左眼座標系の軸、ｕ＿ｌ，ｕ＿ｒは右眼座標系の軸、である。また、ｆは投影中心と画像面との距離、Ｌは左眼カメラと右眼カメラの距離、である。
【００５６】
ここで、Ｏ＿ｌとＰｌという直線と、Ｏ＿ｒとＰｒという直線の、２つの直線が点Ｐ０で交わることから、次の関係式が成り立つことが知られている。
【００５７】
ｘ０＝(Ｌ(ｕ＿ｌ＋ｕ＿ｒ)）／(２(ｕ＿ｌ−ｕ＿ｒ)）
ｙ０＝Ｌｖ(ｕ＿ｌ−ｕ＿ｒ)
ｚ０＝(Ｌｆ)／(ｕ＿ｌ−ｕ＿ｒ)
ここで、ｖ＿ｌとｖ＿ｒは同じ値であることから、ｖで表している。
【００５８】
ブロックマッチング処理によりＰｌの座標とＰｒの座標を求め、更に先に示した３つの関係式によりＰ０の座標を求めることができ、二次元の画像からｚ方向の距離を得ることができる。この演算処理はＣＰＵ１０５が行う。
【００５９】
図１２，図１３を用いて、図５の後方車両検出処理５１２を説明する。
【００６０】
図１２において、１２０１は左眼画像（側方カメラによる画像）、１２０２は右眼画像（後方カメラによる画像）、１２０３は重複領域における左眼画像、１２０４は重複領域における左眼画像１２０３を微小領域に区分した画像、である。
【００６１】
図１３において、図１３（ａ）は左眼画像を微小領域に区分した画像１２０４、図１３（ｂ）は、ある微小領域について距離を横軸にとった場合の投票結果、である。
【００６２】
図１３（ｂ）では、１３０１の部分で、４つの微小領域がある有意な高さを持った領域となっている。この領域の存在が、障害物の存在を示しており、４つの微小領域の幅によって障害物の幅がわかる。これと、トラッキングしている対象物体の相対速度から、後方車両が検出される。相対速度はトラッキング情報のリストに保存されている、三次元の位置と、今回検出された三次元位置との差と、検出処理間隔（時間）により計算することができる。このとき相対速度がある一定以上あるものは後方車両と検知しないとする。例えば、本実施例では、自車速度と略同じ相対速度であれば、それは後方車両ではない（少なくとも走行中ではない）として、後方車両であると検出しない。
【００６３】
図１４，図１５を用いて、トラッキング処理５１６について説明する。
【００６４】
図１４は、トラッキング処理５１６のフロー図である。
【００６５】
図１４において、１４０１は重複領域トラッキング処理、１４０２は重複領域リスト更新処理、１４０３は非重複領域トラッキング処理、１４０４は、非重複領域リスト更新処理、である。
【００６６】
重複領域トラッキング処理１４０１は、重複領域において既に検出済みの車両のリストと、今回重複領域において検出した車両と、を比較する処理である。この比較処理は、今回検出した車両と、前回検出していた車両（リストにある車両）の３次元的な位置を比較し、ある一定の距離範囲にある車両は（例えば１つの車両の大きさよりも近い距離にあると検出された車両は）同一の車両と判定する。一方、そうでない新規の検出車両については、リストに追加する。また、前回検出していたにもかかわらず、今回検出されていない車両については、非重複領域におけるトラッキングの候補の１つとして、非重複領域トラッキング処理に伝えられる。
【００６７】
重複領域リスト更新処理１４０２は、重複領域トラッキング処理１４０１の結果をもとに、リストを更新し、優先処理候補指示５１４を出力する。
【００６８】
非重複領域トラッキング処理１４０３は、非重複領域において既に検出済みの車両のリストと、重複領域において取得されている対象車両のテンプレート画像をもとに、トラッキングを行う処理である。また、重複領域トラッキング処理１４０１から伝えられた、非重複領域におけるトラッキング候補について、初回のトラッキングを試みる。即ち、テンプレートマッチングを行う。
【００６９】
非重複領域リスト更新処理１４０４は、非重複領域トラッキング処理１４０３の結果をもとに、リストを更新する処理である。
【００７０】
ここで、重複領域リストと非重複領域リストのデータ構造について説明する。両方のリストともに、車両ＩＤ，検出位置（画像上），検出位置（３次元），自車との相対速度、テンプレート画像を含んでいる。車両ＩＤとは検出対象に対してつけられる番号で、リスト上で検出対象を区別するためのものである。検出位置（画像上）、検出位置（３次元）はそれぞれ検出対象の座標位置を示す。自車との相対速度は、検出対象の速度と自車との相対速度であり、前回と今回の検出位置（３次元）をもとに計算されたものである。テンプレート画像、は車両前面のテンプレート画像である。
【００７１】
ここで図１９を用いて、トラッキングに関する非重複領域と重複領域のリストと、優先候補を示すリストの構造を説明する。
【００７２】
図１９（ａ）は、トラッキングに関する非重複領域リストと重複領域リストである。このリストは、図に示すような構造をしており、１車両分のエントリーが１行に対応している。図１９（ｂ）は、優先候補指示のためのリストである。このリストは、１車両分のエントリーが１行に対応しており、各行には画像上の座標が１つずつ収められている。このリストは、候補としての優先度が高い順に並べられている。
【００７３】
図１６を用いて、重複領域トラッキング処理で行われる、テンプレートに関する処理について説明する。
【００７４】
図１６において、１６０１はテンプレート取得処理、１６０２はテンプレート更新処理、である。
【００７５】
テンプレート取得処理１６０１は、新規に重複領域のトラッキングリストに登録された車両について行われる処理で、車両前面の部分の画像を取得する処理である。テンプレート更新処理１６０２は、既に取得してある車両のテンプレートについて、その車両が重複領域においてトラッキングしている間は、そのテンプレートを更新する（再取得する）処理である。本実施例においては、テンプレート画像は、同一車両において複数フレーム取得して保存しておくとする。一般に走行中は、走行環境（日向や日陰など）によってその取得される画像が異なってくる。そこでその環境の変化に対応するため、同一車両についてテンプレートを複数取得しておき、テンプレートマッチングの際には複数のテンプレートを必要に応じて順次用いることができるシステムとしている。
【００７６】
本システムでは、重複領域に対象物（車両）があるときに、その画像をテンプレートとして保持しており、その物体が非重複領域に移動した場合、それ以後の挙動をテンプレートマッチングによりトラッキングし続ける。また、テンプレートの取得は、対象物体が重複領域にあるときに行われる。テンプレートマッチングは、幾何学的な特徴に富んでいる方が適用しやすい。車の場合、車両前方（ヘッドライト，ナンバープレート等）は特徴に富んでいるが、車両側方は特徴に乏しい。
【００７７】
本実施例では、非重複領域が２つ存在しているが、後方入力画像における非重複領域の場合と、側方入力画像における非重複領域の場合と、によって、検出対象車両の見え方が異なってくる。前者の場合（図１５の１５０３）には、車両の前面だけでなく側方が見えるのに対し、後者の場合（図１５の１５０２）には車両の前面のみで側方は見えない。そのため、テンプレート更新処理１６０２においては、図１５の１５０３の位置に近づきつつある車両に対しては、車両の画像のうち、右端のある一定画素を取得しない、つまり（車両前面を取得するため）左寄りの部分をテンプレートとして取得し保持する。一方、図１５の１５０２の領域に近づきつつある車両については、前面として検出したそのままのテンプレートを保持する処理を行う。これはカメラの取り付け位置と検出車両の相対的な位置関係を考慮した処理となっている。本実施例では記載していないが、テンプレートマッチングにおいて、そのテンプレートの１画素１画素に重み付けをし、その重みについて相対的な位置関係を考慮した重みとする方法も考えられる。
【００７８】
図１７は、表示処理３０４により表示される画面を示している。
【００７９】
図１７において、１８０１は表示画面、１８０２は自車を示すマーク、１８０３，１８０４，１８０５，１８０６は領域の境界を示す線、１８０７は検出車両を示すマーク、である。
【００８０】
後方車両が図２における領域Ｃにあることが検出されている場合、境界線１８０３と１８０４で囲まれた領域が黄色に点灯する。後方車両が図２における領域Ａにある場合も同様に黄色に点灯する。一方、後方車両が図２における領域Ｂにある場合は、境界線１８０４と１８０５で囲まれた領域が水色に点灯し、自車との相対的な位置が水色の領域内に長方形（１８０７）で表示される。黄色に点灯する場合と、水色に点灯しかつ長方形表示がある場合とに動作が異なっているのは、後方車両の検出精度の違いを反映させたものである。検出精度は、非重複領域はステレオではなく単眼画像によるによる検出のため、検出対象の距離精度が落ちる。これらの表示はマイコンによって行われ、重複領域と非重複領域の検出結果のリストを元に処理される。また、検出時や検出中には必要に応じて音声出力させることも可能である。また、図３の入力画像確認処理３０２で処理に適さないと入力画像が判定された場合には、本表示システムに入力エラー状態であることを示す表示を行う。
【００８１】
次に、図１８を用いて、画像の特徴点を利用してマッチング処理を行う場合について説明する。１８０１，１８０２は特徴点計算処理、１８０３は特徴点マッチング処理、である。
【００８２】
特徴点計算処理１８０１は、一般に画像処理で用いられる、エッジやカドなどの特徴点を抽出する計算処理を行う。走行路検出特徴点計算処理１８０２も同様である。特徴点マッチング処理１８０３は、特徴点のマッチングを行う処理である。特徴点によって処理を行うことにより、より一層、２つのカメラ画像における、明るさの変化に対する耐性の向上が期待できる。
【図面の簡単な説明】
【００８３】
【図１】全体システムの構成図。
【図２】全体システムの動作を示すフロー図。
【図３】全体動作を説明するための図。
【図４】入力画像確認処理を説明するためのフロー図。
【図５】検知処理を説明するための図。
【図６】歪み補正を説明するための図。
【図７】画像準備処理を説明するための図。
【図８】射影変換を説明するための図。
【図９】射影変換を説明するための図。
【図１０】テンプレートマッチング処理を説明するための図。
【図１１】ステレオ処理を説明するための図。
【図１２】後方車両検出処理を説明するための図。
【図１３】後方車両検出処理を説明するための図。
【図１４】トラッキング処理を説明するための図。
【図１５】トラッキング処理を説明するための図。
【図１６】テンプレート処理を説明するための図。
【図１７】表示画面を説明するための図。
【図１８】画像の特徴点を利用してマッチング処理を行う場合のフロー図。
【図１９】トラッキングに関する非重複領域と重複領域のリストと優先候補を示す図。
【符号の説明】
【００８４】
１０２，１０３ 車載カメラ
１０５ ＣＰＵ
１０６ ＲＡＭ
１０７ ＲＯＭ
１０８ 歪み補正部
１０９ 画像処理部
１１０ 表示部
１１１ 表示インタフェース
１１２ 音声出力部
１１３ 音声出力インタフェース
１１４ バス
【技術分野】
【０００１】
本発明は、接近する他車の画像を処理するシステムに関する。
【背景技術】
【０００２】
自動車の安全性に対する要求はますます高まっている。また高齢化社会の進展に伴い、ドライバーの安全で快適な運転を援助する機能が求められている。
【０００３】
自車の後方を監視する技術としては、ステレオカメラを用いたものが知られている。しかしながら、後方監視のためにステレオカメラを用いると、後方監視のために単眼カメラを用いるよりも高コストとなる。ステレオカメラは撮像デバイスが１つのステレオカメラに対して少なくとも２ついること、ステレオカメラのデータ転送量は単眼カメラに対して少なくとも２倍あること、そのデータを処理するためにＣＰＵの処理性能が要求されること、２つのカメラの相対位置が経年変化でかわるために定期的なキャリブレーションが必要なこと、といったことによる。そこで、近年、単眼のリアビューカメラの搭載率が増加している。このリアビューカメラは、主として自車が後進する際の後方確認用として利用されている。また、ドアミラー部にも後側方を監視するカメラが搭載されつつある。ここで、車両に取り付けられた複数の撮像装置により撮像した撮像データを画像処理し、障害物を認識して警告するシステムがある（特許文献１参照）。
【０００４】
【特許文献１】特開２００６−５０４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、複数の撮像装置により撮像した撮像画像の重複領域と非重複領域との間で、認識対象が移動した場合の対応方法が記載されていない。即ち、認識対象が重複領域から非重複領域へ移動した場合に正確な画像処理を行うことができない、という課題がある。
【０００６】
そこで、本発明の目的は、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の望ましい態様の一つは次の通りである。
【０００８】
車両検知システムは、第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える。
【発明の効果】
【０００９】
本発明によれば、認識対象が重複領域から非重複領域へ移動した場合であっても、正確な画像処理を行うシステムを提供することにある。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して詳細に説明する。
【００１１】
図１は、本発明の全体システムの構成例である。
【００１２】
図１において、１０１は全体システム、１０２，１０３は車載カメラ、１０４はビデオ入力インタフェース（入力部）、１０５はマイコン、１０６はランダムアクセスメモリ、１０７はリードオンリーメモリ、１０８は歪み補正部、１０９は画像処理部、１１０は表示部、１１１は表示インタフェース、１１２は音声出力部、１１３は音声出力インタフェース、１１４はバス、である。
【００１３】
車載カメラ１０２，１０３は、車外の予め決まった場所に設置されており、車外の画像をビデオ入力インタフェース１０４に伝える。本実施例では車載カメラ１０２が側方、車載カメラ１０３が後方を撮影しており、それら２つの撮影領域には重複領域がある。ビデオ入力インタフェース１０４は、車載カメラ１０２，１０３を本実施例のシステムに接続するためのインタフェースである。マイコン１０５は、汎用的な演算処理が可能な回路であり、リードオンリーメモリ（ＲＯＭ）１０６から起動プログラムを読み込み起動し、ランダムアクセスメモリ１０６上のデータを変更しながら、本実施例のシステム全体の動作を制御する。ランダムアクセスメモリ１０６は、画像データや演算の途中結果や車両の検知結果などを保存する。リードオンリーメモリ１０７は、本実施例のシステムのプログラムや画像補正に用いる定数値などを保存する。歪み補正部１０８は、車載カメラ１０２，１０３で取得してランダムアクセスメモリ１２４上に保存されている画像を、予め車載カメラ１０２，１０３のそれぞれのパラメータに基づいてＲＯＭに保存されており、歪みのない画像に補正し、再びランダムアクセスメモリ１０７上に格納する。
【００１４】
画像処理部１０９は、画像処理のための専用回路であり、ランダムアクセスメモリ１０６上に保存されている画像データに対して処理を行い、処理結果を再びランダムアクセスメモリ１０６上に書き戻す。画像処理はマイコン１０５のソフトウェアだけで処理することも可能であるが、画像処理部１０９をアクセラレータとして用いて高速に処理することも可能である。その場合にはマイコン１０５が画像処理部１０９に対して処理に必要な設定を行い、また、必要に応じてステータス情報（演算終了やヒストグラムなど画像の性質に関する情報など）をマイコン１０５が画像処理部１０９より受け取る。
【００１５】
表示部１１１は、表示インタフェース１３０を通じてバス１１４に接続されており、本実施例の車両検知結果を表示するための装置であり、表示部１１１は自車の運転席側に取り付けられている。音声出力部１１２は、本実施例のシステムの車両検知結果をユーザに知らせる際、動作モードによって音声やアラーム音などで知らせる（例えばスピーカ）。バス１１４は、マイコン１０５やランダムアクセスメモリ１０６など図示の要に接続がなされており、接続された構成要素間で情報授受が行われる。
【００１６】
尚、本稿では、車載カメラ１０３が後方の場合について説明しているが、前方カメラにも適用できることはいうまでもない。
【００１７】
図２は、車載カメラ１０２，１０３が撮像する範囲を、自車の頭上から示した図である。
【００１８】
図２において、２０１，２０３は車道の車線、２０２は車道の中央線、２０４は車載カメラ１０３の光軸方向、２０５，２０９は車載カメラ１０２の撮影範囲を示すために表記された線、２０６と２０８は車載カメラ１０３の撮影範囲を示すために表記された線、２０７は車載カメラ１０２の光軸方向、２１０は本発明の実施例が搭載されている自車、２１１は自車が走行する方向を示す矢印、である。
【００１９】
図２において、Ａ，Ｂ，Ｃ，Ｄ，Ｅといったアルファベットが表記されている。これらはそれぞれある領域を示すものであり、領域Ａは車載カメラ１０３でのみ撮像される場所、領域Ｂは車載カメラ１０２と１０３で撮像される場所、領域Ｃは車載カメラ１０２でのみ撮像される場所を示している。領域Ｄ、Ｅは車載カメラ１０２でも１０３でも撮像されない場所を示している。
【００２０】
図３は、全体動作を説明するためのフロー図である。図３（ａ）は、通常動作時の全体動作を説明するためのフロー図、図３（ｂ）は、キャリブレーションの全体動作を説明するためのフロー図である。
【００２１】
図３（ａ）において、３０２は入力画像確認処理、３０３は検知処理、３０４は表示処理、である。
【００２２】
入力画像確認処理３０２は、入力された画像に不具合がないか確認するための処理である。検知処理３０３は、後方車両の検知やトラッキングを行う処理である。表示処理３０４は、検知した車両をユーザに分かり易く表示したり音声でアナウンスするための処理である。
【００２３】
図３（ｂ）において、３０７は入力画像確認処理、３０８はキャリブレーション処理、である。
【００２４】
入力画像確認処理３０７は、入力画像確認処理３０２と同様の処理である。キャリブレーション処理３０８は、車載カメラ１０２，１０３による重複領域について、より正確に三次元位置を把握できるよう、パラメータを調整するための処理である。キャリブレーション処理は製品出荷前の製造の工程で行われる処理である。この処理でパラメータが確定され、それがＲＯＭに書き込まれて出荷される。
【００２５】
図４は、入力画像確認処理３０２を説明するため図である。図４（ａ）は入力画像確認処理３０２のフロー図である。
【００２６】
図４（ａ）において、４０２はヒストグラム計算処理、４０３はスミア確認処理、である。
【００２７】
ヒストグラム計算処理４０２は、入力画像において図に示すように縦方向に濃淡画像の和を計算する処理である。このヒストグラム計算処理４０２によって、画面のＸ座標毎に値が１つずつ計算され、画面の横方向のサイズと同じ大きさの配列にそれぞれの和が格納される。
【００２８】
スミア確認処理４０３は、先に計算した結果が格納されている前記配列を用いて、配列の要素がある閾値を超えているか否かで、そのＸ座標においてスミアが発生しているか否か確認する。画面のすべてのＸ座標について確認を行い、スミアが発生していないことを確認する。もしスミアが発生していれば、スミア発生を後段の処理に伝える。スミアが発生している場合には、本実施例ではそのフレームについての画像処理は行わない。その他の対処方法としては、その列の画素を用いずに、隣の画素の値をそのまま用いる方法、あるいは周辺の画素の平均を用いる方法といったことが考えられる。尚、スミアはＣＣＤカメラを使用した場合に発生しうるものであり、ＣＭＯＳカメラを使用した場合には発生しない。本実施例では、ＣＣＤカメラの使用を想定している。
【００２９】
図５は、検知処理３０３のフロー図である。
【００３０】
図５において、５０１は側方入力画像、５０２は後方入力画像、５０３，５０６は歪み補正のための係数、５０４，５０５は歪み補正処理、５０７は画像準備処理、５０９，５１０は射影変換処理、５０８，５１１は射影変換のための係数、５１２は走行道路検出処理、５１３はブロックマッチング処理、５１４は優先処理候補指示処理、５１５は後方車両判定処理、５１６はトラッキング処理、５１７は検出結果、である。
【００３１】
歪み補正処理５０４は、側方入力画像５０１を入力とし、予め定められた係数値をもとに、カメラの歪みを補正した画像を得る処理である。歪み補正処理５０５も、入力画像が後方入力画像５０２である以外は、同様である。
【００３２】
画像準備処理５０７は、歪みが補正された画像により後方車両を検知するための準備の処理である。ここで入力画像に不具合がないかの確認や、２つの車載カメラの明度の違いが補正される。
【００３３】
射影変換処理５０９は、取り付け位置と撮像方向（光軸）が異なる２つのカメラ画像について、それらを擬似的にあわせていく（取り付け位置については視差を許容する）処理である。射影変換処理５１０についても同様である。本実施例では、２つの入力画像のうち、より解像度が高い方の画像に対して処理を行うことにより、画像情報が失われることによる検出精度の低下の抑止を狙っている。
【００３４】
走行道路検出処理５１２は、画像を用いた処理であり、一般にレーン認識と呼ばれる技術が基本となっている。更に、画像情報と、これまでの走行履歴（位置の履歴）と、自車の進行方向をもとに、画像上の後方道路の形状を把握している。これにより、走行路上を接近する後方車両や、追い越し車両を、ガードレールや街路樹、対抗車両と区別して認識することができる。また、本実施例では記載していないが、カーナビゲーションシステム等から道路形状のデータを入手して、それを利用することもできる。
【００３５】
ブロックマッチング処理５１３は、優先処理候補指示５１４のデータをもとに、ブロックマッチング処理を行う。この指示のデータは、トラッキング処理５１６により得られたものである。車両が検出されうる領域すべてについてブロックマッチングを行うべきであるが、領域のどの部分から処理するかということについて、優先処理候補指示５１４のデータを利用する。一般に、ブロックマッチング処理は演算量が多いため時間がかかる。そこで、画像上の処理領域で優先順位をつける。所定時間内に処理が終わらないときは、優先度の低いものは処理しない。
【００３６】
後方車両判定処理５１５は、走行路検出処理５１２とブロックマッチング処理５１３の結果を元に、後方の車両を検知する処理である。
【００３７】
トラッキング処理５１６は、検出結果５１７を出力するとともに、優先処理候補指示５１４のデータを出力する。
【００３８】
ここで図６を用いて、歪み補正処理５０４，５０５の動作を説明する。
【００３９】
図６において、６０１は歪み補正前の画像、６０２は歪み補正後の画像、６０３〜６０６と６０７〜６１０はそれぞれ４つずつの座標であり、歪み補正の仕方を指示するためのデータ群の１セットである。６１１〜６１４は４つの画素を示しており、６１５と６１６の２つの点線の交点が、歪み補正後の画素の色情報を取得したい点（サブピクセル単位の点）である。
【００４０】
歪み補正部１０８により歪みがある画像から、歪み補正後の画像を作るには、車載カメラ１０２〜１０４のそれぞれのカメラパラメータに基づいて、歪み補正のテーブル（座標の対応関係を示すテーブル）がカメラの設計データやキャリブレーションによってに予め作成されている。本実施例では車載カメラが２つあるので、テーブルも２つある。前記テーブルは、図６（ｂ）の座標データの組（セット）が複数集まってできている。例えば、歪み補正後に座標６０７から６１０で示される範囲の座標となる画素の位置は、歪み補正前の座標６０３〜６０６の座標を元に、線形補間計算を行い、求められる。このとき、歪み補正前の座標の値が、小数点以下、即ち、画素よりも細かい単位での座標となることがあるが（６１５と６１６で示される座標）、その場合には、画素６１１〜６１４の４つの画素の色情報を元に、補間計算を行って、６１５と６１６で表される座標の色情報を求め、それを歪み補正後の画素の色とする。このような処理を歪み補正後の画像６０２の全域にわたって処理を行い、歪み補正後画像６０２を求める。この歪み補正部による処理は、本実施例におけるすべての車載カメラによる撮像画像に対して行われている。
【００４１】
図７は、画像準備処理５０７のフロー図である。
【００４２】
図７において、７０２は縮小処理、７０３は明度補正処理、である。
【００４３】
縮小処理７０２は、カメラから入力された画像を縮小する処理である。これは隣り合う画素の平均をとることによって入力画像に対する縮小画像を作成する処理である。画像処理においては、一般に、入力画像が高解像度であったとしても、実際に処理される際には、縮小画像が作成され、それについて画像認識処理が施されることが多い。
【００４４】
明度補正処理７０３は、２つのカメラの入力画像において、その明度が異なる場合、その明度を補正するための処理である。本処理の狙いは、２つのカメラにおける、画像の明るさの違いの影響を軽減しようということである。ここで利用するのは、路面の画像である。路面は、一般に乱反射しており、どの方向からみても一様な明るさに見えることが多いことが知られている。本実施例では、このことを利用し、２つの車載カメラで撮影した画像について、その路面上の同じ点が２つのカメラから同じ明るさに見えるように、２つのカメラの絞りを調整する。また、ただ１つのペア（座標同士）の比較であると、誤差を含む可能性があるため、比較候補を複数予め用意しておきそれらの座標をリストとし、それら複数の候補について明るさの比較処理を行った後に、想定される明るさを誤差少なく求める。
【００４５】
以上により、複数の撮像装置の取り付け位置や方向が異なるとき、それらの撮像画像についての明度の調整や照明・反射の影響を軽減することができる。
【００４６】
図８，図９を用いて、射影変換処理５０９，５１０について説明する。射影変換とは、画像の拡大や縮小，移動，台形変換といった演算処理のことである。
【００４７】
図８は、角度θだけ擬似的にカメラを回転させることを示す図、図９は、Ｌだけカメラ画像を拡大し、カメラ位置を擬似的に変えることを示す図である。このとき、２つのカメラについて、重複領域においてより高解像度な画像を得られるカメラについて、本処理（射影変換処理）を行うこととする。これは射影変換による画像情報の損失を低減するためである。
【００４８】
２つの車載カメラは撮像する方向（光軸方向）とその取り付け位置とが異なっている。そこで、図８において８０１で示される角度分に相当する射影変換を側方カメラの画像に対して行い、擬似的に光軸が平行となった画像を生成する。更に画像の変換（拡大）を行い、これによりカメラ画像を擬似的に図９の取り付け位置９０２とした場合の画像に変換する。ここで実施する射影変換については、予めキャリブレーション処理によってどのような変換を行う必要があるかを把握しておく。以上２回の射影変換により、２つのカメラ画像の視差がｄのステレオマッチング処理を適用することができる。
【００４９】
本実施例では記載していないが、予めキャリブレーション処理によって、図２の１０２のカメラ位置での撮影画像と、図９の５０２の位置に実際にカメラを設置して撮影した画像と、の２つを比較し、その対応点を把握することにより、実施すべき画像変換の内容を把握する方法も考えられる。
【００５０】
図１０は、本実施例におけるブロックマッチング処理５１３の説明図である。
【００５１】
図１０において、１００１は比較画像から切り出した領域、１００２は基準画像、１００３は探索する方向を示す線、１００４は距離画像、である。
【００５２】
ブロックマッチング処理は画像の重複領域に対して、ＣＰＵ１０５によって行われる処理である。本処理は図１１で説明されるステレオ法の演算に必要な処理である。
【００５３】
領域１００１は、比較画像から切り出された５×５の画像であり、２つの車載カメラのうちの一方からの画像である。基準画像１００２は、領域１００１が属さない方の車載カメラ画像である。領域１００１と基準画像１００２を用いて、２つの画像の横方向（１００３）の差異が、サブピクセル単位で計算される。本実施例では正規化相関により求められる。ここで用いた際により、奥行き方向の距離がもとめられ、距離画像１００４を得る。距離画像とは濃度画像であるが、その濃度値を奥行き方向の距離値としたものである。
【００５４】
図１１を用いて、図５のブロックマッチング処理５１３により３次元の距離を把握する方式を説明する。本実施例では、ステレオ法により画像計測を行う。
【００５５】
図１１において、Ｐ０は対象となる点、Ｐｌは左眼画像上の点、Ｐｒは右眼画像上の点、Ｐｏ＿ｌは左眼座標系の原点、Ｐｏ＿ｒは右眼座標系の原点、Ｏはｘｙｚ座標系の原点、Ｏ＿ｌは左眼カメラの投影の中心、Ｏ＿ｒは右眼カメラの投影の中心、である。また、ｘ，ｙ，ｚはＯを原点とする全体空間の座標系、ｖ＿ｌ，ｖ＿ｒは左眼座標系の軸、ｕ＿ｌ，ｕ＿ｒは右眼座標系の軸、である。また、ｆは投影中心と画像面との距離、Ｌは左眼カメラと右眼カメラの距離、である。
【００５６】
ここで、Ｏ＿ｌとＰｌという直線と、Ｏ＿ｒとＰｒという直線の、２つの直線が点Ｐ０で交わることから、次の関係式が成り立つことが知られている。
【００５７】
ｘ０＝(Ｌ(ｕ＿ｌ＋ｕ＿ｒ)）／(２(ｕ＿ｌ−ｕ＿ｒ)）
ｙ０＝Ｌｖ(ｕ＿ｌ−ｕ＿ｒ)
ｚ０＝(Ｌｆ)／(ｕ＿ｌ−ｕ＿ｒ)
ここで、ｖ＿ｌとｖ＿ｒは同じ値であることから、ｖで表している。
【００５８】
ブロックマッチング処理によりＰｌの座標とＰｒの座標を求め、更に先に示した３つの関係式によりＰ０の座標を求めることができ、二次元の画像からｚ方向の距離を得ることができる。この演算処理はＣＰＵ１０５が行う。
【００５９】
図１２，図１３を用いて、図５の後方車両検出処理５１２を説明する。
【００６０】
図１２において、１２０１は左眼画像（側方カメラによる画像）、１２０２は右眼画像（後方カメラによる画像）、１２０３は重複領域における左眼画像、１２０４は重複領域における左眼画像１２０３を微小領域に区分した画像、である。
【００６１】
図１３において、図１３（ａ）は左眼画像を微小領域に区分した画像１２０４、図１３（ｂ）は、ある微小領域について距離を横軸にとった場合の投票結果、である。
【００６２】
図１３（ｂ）では、１３０１の部分で、４つの微小領域がある有意な高さを持った領域となっている。この領域の存在が、障害物の存在を示しており、４つの微小領域の幅によって障害物の幅がわかる。これと、トラッキングしている対象物体の相対速度から、後方車両が検出される。相対速度はトラッキング情報のリストに保存されている、三次元の位置と、今回検出された三次元位置との差と、検出処理間隔（時間）により計算することができる。このとき相対速度がある一定以上あるものは後方車両と検知しないとする。例えば、本実施例では、自車速度と略同じ相対速度であれば、それは後方車両ではない（少なくとも走行中ではない）として、後方車両であると検出しない。
【００６３】
図１４，図１５を用いて、トラッキング処理５１６について説明する。
【００６４】
図１４は、トラッキング処理５１６のフロー図である。
【００６５】
図１４において、１４０１は重複領域トラッキング処理、１４０２は重複領域リスト更新処理、１４０３は非重複領域トラッキング処理、１４０４は、非重複領域リスト更新処理、である。
【００６６】
重複領域トラッキング処理１４０１は、重複領域において既に検出済みの車両のリストと、今回重複領域において検出した車両と、を比較する処理である。この比較処理は、今回検出した車両と、前回検出していた車両（リストにある車両）の３次元的な位置を比較し、ある一定の距離範囲にある車両は（例えば１つの車両の大きさよりも近い距離にあると検出された車両は）同一の車両と判定する。一方、そうでない新規の検出車両については、リストに追加する。また、前回検出していたにもかかわらず、今回検出されていない車両については、非重複領域におけるトラッキングの候補の１つとして、非重複領域トラッキング処理に伝えられる。
【００６７】
重複領域リスト更新処理１４０２は、重複領域トラッキング処理１４０１の結果をもとに、リストを更新し、優先処理候補指示５１４を出力する。
【００６８】
非重複領域トラッキング処理１４０３は、非重複領域において既に検出済みの車両のリストと、重複領域において取得されている対象車両のテンプレート画像をもとに、トラッキングを行う処理である。また、重複領域トラッキング処理１４０１から伝えられた、非重複領域におけるトラッキング候補について、初回のトラッキングを試みる。即ち、テンプレートマッチングを行う。
【００６９】
非重複領域リスト更新処理１４０４は、非重複領域トラッキング処理１４０３の結果をもとに、リストを更新する処理である。
【００７０】
ここで、重複領域リストと非重複領域リストのデータ構造について説明する。両方のリストともに、車両ＩＤ，検出位置（画像上），検出位置（３次元），自車との相対速度、テンプレート画像を含んでいる。車両ＩＤとは検出対象に対してつけられる番号で、リスト上で検出対象を区別するためのものである。検出位置（画像上）、検出位置（３次元）はそれぞれ検出対象の座標位置を示す。自車との相対速度は、検出対象の速度と自車との相対速度であり、前回と今回の検出位置（３次元）をもとに計算されたものである。テンプレート画像、は車両前面のテンプレート画像である。
【００７１】
ここで図１９を用いて、トラッキングに関する非重複領域と重複領域のリストと、優先候補を示すリストの構造を説明する。
【００７２】
図１９（ａ）は、トラッキングに関する非重複領域リストと重複領域リストである。このリストは、図に示すような構造をしており、１車両分のエントリーが１行に対応している。図１９（ｂ）は、優先候補指示のためのリストである。このリストは、１車両分のエントリーが１行に対応しており、各行には画像上の座標が１つずつ収められている。このリストは、候補としての優先度が高い順に並べられている。
【００７３】
図１６を用いて、重複領域トラッキング処理で行われる、テンプレートに関する処理について説明する。
【００７４】
図１６において、１６０１はテンプレート取得処理、１６０２はテンプレート更新処理、である。
【００７５】
テンプレート取得処理１６０１は、新規に重複領域のトラッキングリストに登録された車両について行われる処理で、車両前面の部分の画像を取得する処理である。テンプレート更新処理１６０２は、既に取得してある車両のテンプレートについて、その車両が重複領域においてトラッキングしている間は、そのテンプレートを更新する（再取得する）処理である。本実施例においては、テンプレート画像は、同一車両において複数フレーム取得して保存しておくとする。一般に走行中は、走行環境（日向や日陰など）によってその取得される画像が異なってくる。そこでその環境の変化に対応するため、同一車両についてテンプレートを複数取得しておき、テンプレートマッチングの際には複数のテンプレートを必要に応じて順次用いることができるシステムとしている。
【００７６】
本システムでは、重複領域に対象物（車両）があるときに、その画像をテンプレートとして保持しており、その物体が非重複領域に移動した場合、それ以後の挙動をテンプレートマッチングによりトラッキングし続ける。また、テンプレートの取得は、対象物体が重複領域にあるときに行われる。テンプレートマッチングは、幾何学的な特徴に富んでいる方が適用しやすい。車の場合、車両前方（ヘッドライト，ナンバープレート等）は特徴に富んでいるが、車両側方は特徴に乏しい。
【００７７】
本実施例では、非重複領域が２つ存在しているが、後方入力画像における非重複領域の場合と、側方入力画像における非重複領域の場合と、によって、検出対象車両の見え方が異なってくる。前者の場合（図１５の１５０３）には、車両の前面だけでなく側方が見えるのに対し、後者の場合（図１５の１５０２）には車両の前面のみで側方は見えない。そのため、テンプレート更新処理１６０２においては、図１５の１５０３の位置に近づきつつある車両に対しては、車両の画像のうち、右端のある一定画素を取得しない、つまり（車両前面を取得するため）左寄りの部分をテンプレートとして取得し保持する。一方、図１５の１５０２の領域に近づきつつある車両については、前面として検出したそのままのテンプレートを保持する処理を行う。これはカメラの取り付け位置と検出車両の相対的な位置関係を考慮した処理となっている。本実施例では記載していないが、テンプレートマッチングにおいて、そのテンプレートの１画素１画素に重み付けをし、その重みについて相対的な位置関係を考慮した重みとする方法も考えられる。
【００７８】
図１７は、表示処理３０４により表示される画面を示している。
【００７９】
図１７において、１８０１は表示画面、１８０２は自車を示すマーク、１８０３，１８０４，１８０５，１８０６は領域の境界を示す線、１８０７は検出車両を示すマーク、である。
【００８０】
後方車両が図２における領域Ｃにあることが検出されている場合、境界線１８０３と１８０４で囲まれた領域が黄色に点灯する。後方車両が図２における領域Ａにある場合も同様に黄色に点灯する。一方、後方車両が図２における領域Ｂにある場合は、境界線１８０４と１８０５で囲まれた領域が水色に点灯し、自車との相対的な位置が水色の領域内に長方形（１８０７）で表示される。黄色に点灯する場合と、水色に点灯しかつ長方形表示がある場合とに動作が異なっているのは、後方車両の検出精度の違いを反映させたものである。検出精度は、非重複領域はステレオではなく単眼画像によるによる検出のため、検出対象の距離精度が落ちる。これらの表示はマイコンによって行われ、重複領域と非重複領域の検出結果のリストを元に処理される。また、検出時や検出中には必要に応じて音声出力させることも可能である。また、図３の入力画像確認処理３０２で処理に適さないと入力画像が判定された場合には、本表示システムに入力エラー状態であることを示す表示を行う。
【００８１】
次に、図１８を用いて、画像の特徴点を利用してマッチング処理を行う場合について説明する。１８０１，１８０２は特徴点計算処理、１８０３は特徴点マッチング処理、である。
【００８２】
特徴点計算処理１８０１は、一般に画像処理で用いられる、エッジやカドなどの特徴点を抽出する計算処理を行う。走行路検出特徴点計算処理１８０２も同様である。特徴点マッチング処理１８０３は、特徴点のマッチングを行う処理である。特徴点によって処理を行うことにより、より一層、２つのカメラ画像における、明るさの変化に対する耐性の向上が期待できる。
【図面の簡単な説明】
【００８３】
【図１】全体システムの構成図。
【図２】全体システムの動作を示すフロー図。
【図３】全体動作を説明するための図。
【図４】入力画像確認処理を説明するためのフロー図。
【図５】検知処理を説明するための図。
【図６】歪み補正を説明するための図。
【図７】画像準備処理を説明するための図。
【図８】射影変換を説明するための図。
【図９】射影変換を説明するための図。
【図１０】テンプレートマッチング処理を説明するための図。
【図１１】ステレオ処理を説明するための図。
【図１２】後方車両検出処理を説明するための図。
【図１３】後方車両検出処理を説明するための図。
【図１４】トラッキング処理を説明するための図。
【図１５】トラッキング処理を説明するための図。
【図１６】テンプレート処理を説明するための図。
【図１７】表示画面を説明するための図。
【図１８】画像の特徴点を利用してマッチング処理を行う場合のフロー図。
【図１９】トラッキングに関する非重複領域と重複領域のリストと優先候補を示す図。
【符号の説明】
【００８４】
１０２，１０３ 車載カメラ
１０５ ＣＰＵ
１０６ ＲＡＭ
１０７ ＲＯＭ
１０８ 歪み補正部
１０９ 画像処理部
１１０ 表示部
１１１ 表示インタフェース
１１２ 音声出力部
１１３ 音声出力インタフェース
１１４ バス
【特許請求の範囲】
【請求項１】
第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、
前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、
前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える、画像処理システム。
【請求項２】
前記重複領域内の特徴量を抽出する抽出部を更に備え、
前記距離算出部は、前記抽出部が抽出した特徴量に基づいて、前記距離を算出する、請求項１記載の画像処理システム。
【請求項３】
前記特徴量とは、エッジ又はカドを示す、請求項２記載の画像処理システム。
【請求項４】
前記第１及び第２の領域のうち少なくとも一方について、歪み補正及び視点変換を行う補正部を更に備える、請求項１記載の画像処理システム。
【請求項５】
前記補正部は、前記第１及び第２の単眼カメラが同じ明るさで撮像できるように、当該第１及び第２の単眼カメラの絞りを調整する、請求項４記載の画像処理システム。
【請求項６】
前記補正部は、路面の画像に基づいて、前記絞りを調整する、請求項５記載の画像処理システム。
【請求項７】
前記トラッキング部は、前記第１の単眼カメラが撮像した画像と、前記第２の単眼カメラが撮像した画像のそれぞれに対して、異なる処理を行う、請求項５記載の画像処理システム。
【請求項８】
前記第１の単眼カメラは、前記自車の後方に取り付けられ、前記第２の単眼カメラは、
前記自車の側方に取り付けられる、請求項１記載の画像処理システム。
【請求項１】
第１の単眼カメラで撮像した第１の領域と第２の単眼カメラで撮像した第２の領域の重複領域及び非重複領域を入力する入力部と、
前記重複領域内の画像から他車を認識し、自車と当該他車との距離を算出する距離算出部と、
前記他車が前記重複領域から前記非重複領域に移動した場合、前記距離算出部が算出した距離に基づいて、前記他車の前記自車に対する相対位置を推定するトラッキング部を備える、画像処理システム。
【請求項２】
前記重複領域内の特徴量を抽出する抽出部を更に備え、
前記距離算出部は、前記抽出部が抽出した特徴量に基づいて、前記距離を算出する、請求項１記載の画像処理システム。
【請求項３】
前記特徴量とは、エッジ又はカドを示す、請求項２記載の画像処理システム。
【請求項４】
前記第１及び第２の領域のうち少なくとも一方について、歪み補正及び視点変換を行う補正部を更に備える、請求項１記載の画像処理システム。
【請求項５】
前記補正部は、前記第１及び第２の単眼カメラが同じ明るさで撮像できるように、当該第１及び第２の単眼カメラの絞りを調整する、請求項４記載の画像処理システム。
【請求項６】
前記補正部は、路面の画像に基づいて、前記絞りを調整する、請求項５記載の画像処理システム。
【請求項７】
前記トラッキング部は、前記第１の単眼カメラが撮像した画像と、前記第２の単眼カメラが撮像した画像のそれぞれに対して、異なる処理を行う、請求項５記載の画像処理システム。
【請求項８】
前記第１の単眼カメラは、前記自車の後方に取り付けられ、前記第２の単眼カメラは、
前記自車の側方に取り付けられる、請求項１記載の画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−８５６５１（Ｐ２００９−８５６５１Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００７−２５２９５５（Ｐ２００７−２５２９５５）
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成１９年９月２８日（２００７．９．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]