車載用画像処理装置
【課題】所定のスキャンタイミングで取得した画像と、レーダで検出した物体の位置とが正しく対応するように画像処理を行うための画像エリアを設定する。
【解決手段】
車載用画像処理装置は、自車両前方の物体をビームスキャンにより検出するレーダ３と、これに同期して駆動され自車両前方を撮像するカメラ１と、自車両の車速を検出する車速センサとを備えている。これらのレーダ３、カメラ１及び車速センサから得られた情報は画像処理エリア設定部５に入力され、検出された物体毎に画像処理するための画像エリアが設定される。画像処理エリア設定部５は、検出した物体が画像中のその対応位置に存在しない場合、自車両が移動した移動距離に基づいて、該物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する。
【解決手段】
車載用画像処理装置は、自車両前方の物体をビームスキャンにより検出するレーダ３と、これに同期して駆動され自車両前方を撮像するカメラ１と、自車両の車速を検出する車速センサとを備えている。これらのレーダ３、カメラ１及び車速センサから得られた情報は画像処理エリア設定部５に入力され、検出された物体毎に画像処理するための画像エリアが設定される。画像処理エリア設定部５は、検出した物体が画像中のその対応位置に存在しない場合、自車両が移動した移動距離に基づいて、該物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の速度制御や停止制御等を行う車載装置に設けられ、撮像装置で取得された自車両の前方の画像を処理する車載用画像処理装置に関する。
【背景技術】
【０００２】
走行中の自車両の前方を監視し車間距離制御等に資するための車載装置として、自車両の前方を電磁波ビーム（レーザビーム等）で走査して先行車両等の物体を検出するレーダが実用化されている、また、自車両の前方を撮像しレーダで検出された物体を含む画像を取得して画像処理を行うことにより、先行車両やその他の物体の認識精度を高める撮像装置が実用化されている。
【０００３】
前記撮像装置は、レーダの走査と同期して駆動され、レーダで取得した物体の位置と撮像した画像との対比を行い、該位置の画像への対応づけを行って画像エリアを設定する。そして、この画像エリアに対して画像処理を行う。このように、画像エリアを設定することにより、全画像を処理することによる処理速度の低下を防ぎ、ビームの走査周期毎に高速で画像処理ができるようにしている。
【０００４】
このような構成を備える従来の画像処理装置としては、例えば特許文献１に開示されている。
【特許文献１】特許第３２６４０６０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の構成を備える装置において、レーダで取得した物体の位置を画像に対応づけるには、レーダで測定するときのシーンと撮像装置で撮像するときシーンとが同じタイミングである必要がある。両者のタイミングが大きくずれると、レーダで測定したときのシーンと撮像装置で測定したときのシーンとが異なってしまい、両方のシーンで物体の位置が異なってくるからである。このことを図１、図２を参照して説明する。
【０００６】
図１は、レーダの最初のスキャン（走査）時の第１のシーンを示している。同図（Ａ）は、第１のシーンの画像を示し、同図（Ｂ）は、第１のシーンでビームのスキャン位置をレーダ座標で示している。図２は、レーダの最後のスキャン（走査）時の第２のシーンを示している。同図（Ａ）は、レーダの最初のスキャン（走査）時に取得される画像を示し、同図（Ｂ）は、第２のシーンでビームのスキャン位置をレーダ座標で示している。
【０００７】
ビームは、図１（Ｂ）、図２（Ｂ）に示すように、図１（Ｂ）のときから図２（Ｂ）にかけて扇形にスキャンされ、１スキャンには約５０ｍｓｅｃ程度の時間を要する。また、撮像装置は図１の最初のスキャンタイミングで駆動され、そのときの取得画像がメモリに記憶され、その画像は画像処理に使用される。
【０００８】
図１、図２において、領域Ｐは予め設定されている視野であり、この範囲内で画像処理が行われる。レーダから出力されるビームＢＭ１は、最初のスキャンタイミングで発射されるビームの位置と形状を示している。また、ビームＢＭ２は、最後のスキャンタイミングで発射されるビームの位置と形状を示している。図２（Ａ）において、画像エリアＱ１〜Ｑ３は、画像処理を行うために設定されたエリアであり、ビームが反射した位置を示す黒丸の反射ポイントにおいて、距離や方位が略等しいものは同一の物体から反射されたものとみなしてグルーピングされ、各エリアはこのグルーピングした反射ポイントを画像内に対応づけて設定される。同図において、画像エリアＱ１は、ビームにより検出された車線横の固定物を囲むエリアを示し、画像エリアＱ２は、車線上を走行する先行車両を囲むエリアを示している。また、画像エリアＱ３は、歩行者を囲むエリアを示している。
【０００９】
図１（Ｂ）において、グルーピングされているグレー色の反射ポイントは、前回のビームスキャンで得られた物体の位置を示し、図２において、グルーピングされている黒丸の反射ポイントは、今回のビームスキャンで得られた物体の位置を示している。
【００１０】
以上の図から明らかなように、図１に示す第１のシーンでは、最初のスキャンタイミングと撮像装置の撮像タイミングとが同一であるが、図２に示す第２のシーンでは、第１のシーンから５０ｍｓｅｃ経過しているために、最後のスキャンタイミングでビームの反射により検出される反射ポイントの位置と画像との対応関係がとれない場合が生じてくる。すなわち、図２に示すように、自車両が５０ｍｓｅｃ移動している間に歩行者の位置は自車両側に移動しているにもかかわらず、撮像装置で取得されている画像は５０ｍｓｅｃ前のものであるために、第１のシーンのときに撮像された歩行者の位置は、５０ｍｓｅｃ後の第２のシーンでレーダで検出される歩行者の位置（現実の位置）と、ずれてしまっている。一方、先行車両については、５０ｍｓｅｃ後も自車両と同じ車間距離を保っているために、レーダで検出される反射ポイントの位置は変わらない。また、固定物については、最初のスキャンタイミングで検出しているため、その位置は前回の最後のスキャンタイミングで検出した位置と変わらない。なお、図２（Ｂ）では、歩行者についてのみ、前回のスキャンで検出された反射ポイントが今回のスキャンで手前側（自車両側）に移動することを示している。
【００１１】
以上の理由から、スキャン時間に対して殆ど移動しない歩行者等の物体については、最初のスキャンタイミングから一定時間が経過したタイミングにおいて、レーダで取得した実際の位置と、画像上の位置との対応関係が正しくなくなるという問題があった。
【００１２】
また、撮像装置を最後のスキャンタイミングで駆動する場合は、最初のスキャンタイミングで検出した物体の反射ポイントの位置と画像との対応関係がとれなくなる。図３はこの状態を示し、道路脇に存在している固定物についての対応関係がとれなくなっていることを示している。撮像装置を途中のスキャンタイミングで駆動する場合でも、同じような問題が生じてくる。
【００１３】
本発明の目的は、所定のスキャンタイミングで取得した画像と、レーダで検出した物体の位置とが正しく対応するように画像処理を行うための画像エリアを修正する車載用画像処理装置を提供することある。
【課題を解決するための手段】
【００１４】
本発明は、自車両の前方を電磁波ビームで走査して先行車両等の物体を検出するレーダと、前記レーダの走査毎に所定の走査タイミングで自車両の前方を撮像し前記物体を含む画像を取得する撮像装置と、自車両の車速等の自車両走行情報を取得する自車両走行情報取得部とを備え、
前記レーダにより検出した物体と、前記撮像装置により前記所定の走査タイミングで取得した画像とに基づいて該画像中の処理すべき画像エリアを求める車載用画像処理装置を備えたものである。
【００１５】
電磁波ビームとしては、例えばレーザビームがあり、レーダは、このビームを車両前方に扇形状となるように左から右にスキャンする。ビームは２次元にスキャンすることもでき、この場合は、左から右へのスキャンを繰り返しながら上下方向のスキャン位置を下方に移動していく。
【００１６】
撮像装置は、例えばグローバルシャッタ付きのＣＣＤカメラ等で構成され、シャッタが開いた瞬間のタイミングで前方を撮像して画像を取得しこれをメモリに記憶する。シャッタは、ビームの所定のスキャンタイミングで開き、この動作をスキャン毎に行う。所定のスキャンタイミングは、例えば、最初のスキャンタイミングである。
【００１７】
車両走行情報取得部は、自車両の速度（車速）や、ヨーレートなどを測定する。
【００１８】
本発明の車載用画像処理装置は、上記レーダで検出した先行車両等の物体と、画像と、に基づいて該画像中の処理すべき画像エリアを求める。画像処理では、画像エリア内にある物体の特徴量を抽出して該物体を認識したりする。
【００１９】
上記の構成で、本発明は、前記画像エリアを再設定する画像エリア再設定手段を備えている。
【００２０】
画像エリア再設定手段は、前記レーダにより１つのスキャンが終了するまでに検出した物体が前記画像中のその対応位置に存在しない場合、前記自車両走行情報及び前記所定のスキャンタイミングにより得られる自車両が移動した移動距離に基づいて、該レーダにより検出された物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する。
【００２１】
このような操作により、画像エリアが拡がり、同エリア内に物体を検出することができるようになる。なお、この再設定を行うときには、自車両の速度等の動きを考慮することが必要である。何故なら、自車両が高速であれば、仮想空間内に再設定される画像エリアの面積はより広くしなければならなく、また、車線に沿って回動する場合は、その曲率に沿って画像エリアを設定することが必要になるからである。
【００２２】
前記画像エリア再設定手段は、レーダで検出された物体の位置において一定の大きさの第１の画像エリアを設定し、この第１の画像エリアの角と前記無限遠点とを結ぶことにより前記仮想空間を形成する。
【００２３】
無限遠点は、この発明では画像の消失点（以下、単に消失点）と称する。一般には、この消失点は画面の中心位置に固定位置として設定される。第１の画像エリアは、レーダで検出した物体の位置を基準にして任意の方法により求めた矩形状、又は同位置を基準にして予め定めた大きさの矩形状の大きさに設定される。この第１の画像エリアの角と消失点とを結ぶことにより、四角柱の仮想空間が形成される。この仮想空間内に、前記自車両走行情報と前記所定のスキャンタイミングとにより得られる自車両が移動した移動距離の位置で第２の画像エリアを設定し、前記第１の画像エリアと前記第２の画像エリアを仮想空間の稜線に沿って結合したエリアを前記画像エリアとして再設定する
これにより、再設定された画像エリアは、再設定前の画像エリアに比べて画像座標上の面積が大きくなり、しかも、そのエリアは自車両の速度など情報に基づいて形成されるため、該エリア内に物体の画像が存在する確立が非常に高くなる。
【発明の効果】
【００２４】
本発明によれば、レーダにより検出された物体の位置と、それよりも前に撮像した画像内の当該物体の位置とがずれている場合に、画像処理を行うための画像エリア内に該物体が含まれるよう該画像エリアが再設定されるため、レーダで検出した物体に対する画像処理が常に正しく行われる。このため、画像処理の精度が良くなる利点がある。
【発明を実施するための最良の形態】
【００２５】
図４は、本発明の実施形態である車載用画像処理装置の概略ブロック図である。
【００２６】
カメラ１は、グローバルシャッタ付きのＣＣＤカメラ等で構成され、撮像面を前方に向けて自車両のルームミラー近辺に設けられる。このカメラ１は、自車両の前方を撮像する。
【００２７】
全体画像記憶部２は、カメラ１で撮像された画像を記憶する。
【００２８】
レーダ３は、レーザレーダで構成され、レーザビーム（以下、単にビームと称する）を自車両前方に発射し、その反射ビームを受光する。この実施形態では、照射面が長円状で幅が細いビームを前方に左右１往復することで１スキャンを終え、これにより前方の２次元範囲を探索する。
【００２９】
信号処理部４は、レーダ３からの信号に基づいてビーム光の往復時間を測定して物体までの距離を測定する。スキャンタイミング毎に測距することにより、１スキャン内に前方の物体を全て検出し、それらの物体に対しての測距が可能である。また、図示しない車速センサ、ヨーレートセンサからの信号を受信し、これを後述の画像処理エリア設定部５に送る。なお、ヨーレートセンサに代えて操舵角センサを用いることも可能である。
【００３０】
トリガ信号発生部６は、レーダ３のスキャン開始信号を受けてトリガ信号を生成する。このトリガ信号は、撮像指令部７に出力され、ここでカメラ１のシャッタオン信号が生成されてカメラ１に出力される。したがって、カメラ１は、レーダ３にて最初のスキャンを開始するタイミングにおいてシャッタがオンして前方の画像を取得する。
【００３１】
全体画像記憶部２に記憶された画像は画像処理エリア設定部５に入力する。さらに、この画像処理エリア設定部５には信号処理部４を介して車速センサからの車速とヨーレートセンサからのヨーレートが入力する。
【００３２】
後述のように、この画像処理エリア設定部５において、画像エリアの設定とその再設定が行われる。全体画像に対して１つ以上設定された各画像エリア内の部分画像が抽出され、これが部分画像記憶部１〜Ｎに記憶され、画像処理部１〜Ｎにおいて画像処理が行われる。画像処理部においては、画像の形状や移動方向などが認識されそれぞれ物体１〜Ｎとして属性情報付き（形状や移動方向等の属性情報）の位置情報として上位処理装置（例えば、車間距離制御装置）に出力される。
【００３３】
図５は、信号処理部４の構成図である。
【００３４】
この信号処理部４は、レーダ３からの信号に基づいて物体までの距離と方位を算出し、その距離と方位データをインターフェイス４１を介して画像処理エリア設定部５に送る。また、車速センサとヨーレートセンサからの信号は車両走行情報取得部４２に入力され、車速センサで得た走行速度とヨーレートで得たデータにより道路の曲率半径の算出等を行う。ここで取得された各センサからの信号や算出結果をインターフェイス４１を介して画像処理エリア設定部５に送る。
【００３５】
図６は、画像処理エリア設定部５の構成図である。
【００３６】
この画像処理エリア設定部５は、道路上の白線を認識する白線認識部５０、消失点算出部５１、エリア設定部５２を備えている。消失点とは、前述したように、画像中の無限遠点を意味している。白線認識部５０は、後述の実施例２において消失点を求めるときに用いられる。エリア設定部５２は、画像エリアの設定と再設定とを行う。エリア設定部５２は、消失点を予め固定点とする場合は、消失点算出部５１の出力を使用せずに、画像エリアの設定と再設定とをする。エリア設定部５２は、白線認識部５０で認識された白線に基づいて消失点を求める場合は、その消失点に基づいて画像エリアの設定と再設定とをする。
【００３７】
次に動作を説明する。
【００３８】
図７、図８は、車載用画像処理装置の概略の動作を示すフローチャートである。
【００３９】
図７は、レーダ３の動作を示している。
【００４０】
ステップ（ＳＴ）１では、レーダスキャンを開始する。図１の状態がこのタイミングに対応している。次に、ＳＴ２でスキャンによる物体までの測距を行う。続いて、そのタイミングがカメラ１のトリガ位置のタイミングであるかどうかを判定する。本実施形態では、最初のスキャンタイミングをトリガ位置のタイミングに設定しているため、ＳＴ１→ＳＴ２→ＳＴ３と進んだときは、最初のスキャンタイミングである。ＳＴ３においてトリガ位置に対応する最初のスキャンタイミングであると判断すると、ＳＴ４においてトリガ信号発生部６においてトリガ信号を発生し、カメラ１のシャッタをオンする。ＳＴ５において、次のスキャンに移行し、以下、全スキャンを終了するまでＳＴ２において連続的に測距を行う。トリガ信号は、最初のスキャンタイミングにおいてのみ生成されるため、カメラ１は１スキャン毎に最初のスキャンタイミングで１回だけ画像を取得する。
【００４１】
ＳＴ６では、車速とヨーレートを取得し、このデータを画像処理エリア設定部５に出力する。ＳＴ７では、全てのスキャンで得られたデータに基づいて各スキャン毎に物体（物体）までの測距を行う。そして、ＳＴ８において、測距データを画像処理エリア設定部５に出力する。
【００４２】
図８はカメラ１及び画像処理エリア設定部５の動作を示している。
【００４３】
ＳＴ１０では、カメラ１が撮像指令部７からシャッタオン信号を受信するとシャッタをオンし、ＳＴ１１に進んで撮像を開始し、撮像画像を取得して全体画像記憶部２（メインメモリ）に記憶する（ＳＴ１２）。続いて信号処理部４から測距データを受信すると（ＳＴ１３）、ＳＴ１４において画像エリアの計算を行う。
【００４４】
画像エリアは、次のようにして設定される。
【００４５】
図１に示すように、最初のスキャンタイミングで画像を取得した後、レーダから１スキャン分の測距データを受けると、各スキャン毎に検出した物体が画像中のその対応位置に存在しているかどうか判定し、存在している場合には、そのビーム反射ポイントをグルーピングした領域の周囲に画像エリアを設定する。図２において、画像エリアＱ１、Ｑ２は、レーダ３で検出した固定物、先行車両が画像中のその対応位置に存在しているため、それらのビーム反射ポイントをグルーピングした領域の周囲に設定された画像エリアである。
【００４６】
一方、レーダ３で検出した物体が画像中のその対応位置に存在していない場合には、図７に示す方法で画像エリアを設定する。図７は、画像エリアの設定を行う実施例１を説明する図である。実施例１では道路が直線道路であって、画像の無限遠点を固定の消失点Ｓとして設定している。今、道路の右端にいる歩行者について考える。
【００４７】
同図に示すように、レーダで検出したポイントをグルーピングした領域を基準にして、第１の画像エリアＱ３０を設定する。この第１の画像エリアＱ３０は、高さと幅が予め定めた大きさにあり（又はグルーピングした領域に基づいて自動で設定することも可能である）、且つ矩形状に設定される。この第１の画像エリアＱ３０の角と画像の無限遠点である消失点Ｓとを結び、四角柱の形状を有する仮想空間Ｘを形成する。無限遠点である消失点Ｓは先に延べたように固定点として設定される。そして、Ｑ３０から固定点である消失点Ｓに向けて、自車両の車速に５０ｍｓｅｃ（最初のスキャンタイミングから最後のスキャンタイミングに至るまでの時間）を乗じた値に対応する距離だけ移動させ、その移動した位置で仮想空間内に矩形状の第２の画像エリアＱ３１を形成する。次に、この第１の画像エリアと第２の画像エリアを結合する。結合した画像エリアを新たな画像エリアとして再設定する。図４（Ｂ）は、この再設定した画像エリアＱ３２を示している。図示するように、再設定された画像エリアＱ３２は、再設定前の画像エリアＱ３０よりも大きい。これにより、Ｑ３０からＱ３２へと再設定された画像エリアには、最初のタイミングでカメラ１により撮像した画像（この例では歩行者）が含まれるようになる。
【００４８】
図８のフローチャートにおいて、ＳＴ１４で画像エリアが設定されると（再設定される画像エリアも含む）、ＳＴ１５において画像エリア内に含まれる画像が部分画像記憶部１〜Ｎ（サブメモリ）に転送される。このＳＴ１４〜ＳＴ１６をレーダで検出した全ての物体（物体）に対して繰り返すことにより（ＳＴ１６）、各画像エリアの画像はそれぞれ部分画像記憶部１〜Ｎに転送されていく。
【００４９】
ＳＴ１７〜ＳＴ１９においては、各部分画像記憶部１〜Ｎの画像に対して所定の画像処理を行う。
【００５０】
上記画像エリアを設定するときの計算では、レーダ３の座標、カメラ１の座標を合わせ、それらを画像座標に射影することが必要になる。具体的には次のようにして計算を行う。
【００５１】
図１０に示すように、カメラ１、レーダ３の座標系を、それぞれ（ＸＣ，ＹＣ，ＺＣ）、（ＸＬ，ＹＬ，ＺＬ）とする。すると、両者の座標の関係は式１のようになる。
【００５２】
【数１】
【００５３】
この式１は、レーザ座標をカメラ座標に変換する式である。式２は、カメラ座標を画像座標に射影する式である。
【００５４】
【数２】
【００５５】
したがって、式１、式２により、レーダ座標をカメラ座標を通して画像座標に射影することができる。これらの式については、コンピュータビジョン技術において一般的である。例えば、「３次元ビジョン」（２００４年、共立出版、徐剛・辻三郎著）がある。
【００５６】
図１１は、レーダ座標を２次元的に示している。今、レーダ３により検出された歩行者（物体）の位置が図示のように相対的に移動したとする（実際には自車両の移動による）。最後のスキャンタイミングで検出される移動後の検出ポイントをグルーピングした領域の重心と、幅ｗと、高さＨ（予め定めた固定値）とに基づいて矩形を設定し、この頂点をＢ１〜Ｂ４とする（図１１では、２次元で示しているためにＢ１とＢ２しか示していないが、実際は紙面に垂直な方向の位置にＢ３とＢ４が存在している。他の矩形についても同様である。）。上記レーダ座標上のＢ１〜Ｂ４を、式１、式２より座標変換してｂ１〜ｂ４を得る。画像座標上では図１２に示すようにｂ１〜ｂ４としてプロットされる。このｂ１〜ｂ４と消失点Ｓとを結び四角柱の仮想空間を形成する。
【００５７】
次に、トリガ発生位置（最初のスキャンタイミング）からＢ１〜Ｂ４の矩形（最後のスキャンタイミング）に至るまでのスキャン時間Ｔと、自車両の車速ｖと、を乗じて移動距離ｖＴを求め、このｖＴだけ自車両の移動方向に移動した位置に頂点をＡ１〜Ａ４とする矩形を設定する。矩形の大きさは頂点をＢ１〜Ｂ４とする矩形と同じである。そして、このレーダ座標上のＡ１〜Ａ４を、式１、式２より座標変換してａ１〜ａ４を得る。このａ１〜ａ４を画像座標上にプロットすると、図１２に示すようになる。結果として、ａ１〜ａ４を角とする矩形は、ｂ１〜ｂ４と消失点とを結んだ四角柱の仮想空間内に設定されることになる。図１２は、Ｂ１〜Ｂ４の矩形を式１、式２で座標変換したｂ１〜ｂ４の矩形と、Ａ１〜Ａ４の矩形を式１、式２で座標変換したａ１〜ａ４の矩形とを示している。いずれも画像座標上の位置を示している。また、図１３は、図１２上のａ１〜ａ４の矩形で設定される画像エリアとｂ１〜ｂ４の矩形で設定される画像エリアとを結んで再設定した画像エリアを示している。ａ１〜ａ４とｂ１〜ｂ４とが仮想空間の稜線に沿って結合される。
【００５８】
画像アリアの再設定の具体的な計算は以上のようにして行われる。
【００５９】
図１４は、画像エリアの設定を行う実施例２の説明図である。
【００６０】
この実施例２では、道路を直線状としているが消失点Ｓを固定点として設定するのではなく、該消失点Ｓを車線の形状に応じてフレーム毎（１スキャン毎）に動的に設定する。すなわち、カメラ１で取得した画像から車線の手前の白線（車線側部に形成される白線や中央線等）を認識し、この白線の交点を消失点として設定する。手前の白線を使うのは、車線がカーブしている状況、先行車両が存在する状況、道路の遠方位置が登っている又は下り坂である状況などでも消失点が簡単に求まるようにするためである。白線の認識については、カメラ１で取得した画像から容易に可能であって一般的な画像認識処理で可能であるが、具体的な認識方法の一つとしては、例えば、「レーンキープアシストシステムにおける白線認識システムの開発」（Vol.12,No.1 HONDA R&D Technical Review 2000 。峯田、鵜浦、池田著) に開示されている。なお、消失点Ｓを設定する以外の動作手順については、実施例１と全く同じである。
【００６１】
図１５は、画像エリアの設定を行う実施例３の説明図である。
この実施例３では、道路がカーブしていて、消失点Ｓを固定点として設定している。
【００６２】
高速道路や自動車用道路の曲線部は、ほとんどがクロソイド曲線として設計されている。クロソイド曲線とは、曲率半径と曲線長の積を一定とする曲線であり、２つの異なる曲率半径どうしの道路を滑らかに接続するための緩和曲線として用いられる。クロソイド曲線の描く座標値は、曲率半径Ｒと曲線Ｌとを用いて、式３と式４のように表せる（ただし、高次の項は省略した近似式）。
【００６３】
【数３】
【００６４】
この式３、式４は、物体（物体）が、図１６のＡ５〜Ａ８（図ではＡ５、Ａ６のみ表示）の位置からＢ５〜Ｂ８（図ではＢ５、Ｂ６のみ表示）の位置へ移動する際に変化する座標値変化分を表している。
【００６５】
曲率半径Ｒは、ヨーレートセンサの検出信号から測定した角速度ωを式５に代入して求める。図１６のＡ５、Ａ６の位置からＢ５、Ｂ６の位置までの曲線長Ｌは、この間の走行車速ｖが一定として式６から求める。
【００６６】
したがって、式５、式６から式３、式４が求まる。式３、式４が求まることにより、実施例１と同様に、物体の位置はＢ５、Ｂ６からＡ５、Ａ６に移動する。Ａ５、Ａ６とＢ５、Ｂ６とは、式１、式２により座標変換をしてａ５〜ａ８とｂ５〜ｂ８となり、図１７のような画像エリアとなり、図１８のように画像エリアが再設定される。
図１９は、画像エリアの設定を行う実施例４の説明図である。
【００６７】
この実施例４では、道路がカーブしていて、消失点Ｓを道路形状により動的に設定している。この実施例４ではヨーレートセンサを使用しない。
【００６８】
また、複数の消失点を使用する。ここでは２つの消失点Ｓ１、Ｓ２を使用する場合の説明をする。
【００６９】
まず、自車両手前の白線の直線部で消失点Ｓ１を求める。自車両進行方向のさらに前方の曲線部の接線で消失点Ｓ２を求める。実施例１と同様に、図１９のレーダ座標上で、Ｂ９〜Ｂ１２と消失点Ｓ１との間で第１の仮想空間を形成し、この空間内に、移動距離ｖＴだけ自車両の移動方向に移動した位置に頂点をＡ９〜Ａ１２とする矩形の画像エリアを設定する。同様に、Ｂ９〜Ｂ１２と消失点Ｓ２との間に第２の仮想空間を形成し、この空間内に、移動距離ｖＴだけ自車両の移動方向に移動した位置に頂点をＣ９〜Ｃ１２とする矩形の画像エリアを設定する。頂点をＡ９〜Ａ１２とする矩形の画像エリアと頂点をＣ９〜Ｃ１２とする矩形の画像エリアとのうち、レーダ座標上で自車両を基準により遠方に位置する画像エリアを選択し、この画像エリアとＢ９〜Ｂ１２の画像エリアとを結合することで画像エリアの再設定を行う。図２０は再設定前の画像エリアを示し、図２１は再設定された画像エリアを示している。
【００７０】
以上の制御動作により、直線道路、カーブ道路については、消失点を固定値とすることで（実施例１、３）、又は消失点を白線認識により求めることで（実施例２、４）画像エリアを再設定することができる。
【００７１】
なお、以上の実施形態では、所定のスキャンタイミングを最初のスキャンタイミングとして、カメラ１のトリガタイミングを最初のスキャンタイミングに一致させたが、カメラ１のトリガタイミングを最後のスキャンタイミングに一致させても良いし、途中のスキャンタイミングに一致させても良い。カメラ１のトリガタイミングを最後のスキャンタイミングに一致させる場合は、図９において、画像エリアＱ３１はＱ３０よりも自車両側に設定されることになる。すなわち、消失点Ｓと画像エリアＱ３０の角とを結ぶ線を自車両側に延長した仮想空間を形成し、この空間内に画像エリアＱ３１が設定される。
【００７２】
さらに、画像エリアは矩形状としたが、多角形形状や楕円形状など、任意の形状であって良い。
【図面の簡単な説明】
【００７３】
【図１】レーダの最初のスキャン（走査）時の第１のシーンを示している。
【図２】レーダの最後のスキャン（走査）時の第２のシーンを示している。
【図３】レーダの最後のスキャン時に撮像した場合のシーンを示している。
【図４】本発明の実施形態である車載用画像処理装置のブロック図である。
【図５】信号処理部の構成図である。
【図６】画像処理エリア設定部の構成図である。
【図７】本発明の実施形態である車載用画像処理装置のレーダの動作を示すフローチャートである。
【図８】本発明の実施形態である車載用画像処理装置のカメラ及び画像処理エリア設定部の動作を示すフローチャートである。
【図９】画像エリアの設定を行う実施例１の説明図である。
【図１０】カメラとレーダの取付位置及びそれぞれの座標系を示す図である。
【図１１】実施例１のレーダの座標を２次元で示す図である。
【図１２】実施例１の具体的な画像エリア設定方法を説明する図である。
【図１３】実施例１の画像エリアの再設定について説明する図である。
【図１４】画像エリアの設定を行う実施例２の説明図である。
【図１５】画像エリアの設定を行う実施例３の説明図である。
【図１６】実施例３のレーダの座標を２次元で示す図である。
【図１７】実施例３の具体的な画像エリア設定方法を説明する図である。
【図１８】実施例３の画像エリアの再設定について説明する図である。
【図１９】画像エリアの設定を行う実施例４のレーダの座標を２次元で示す図である。
【図２０】実施例４の具体的な画像エリア設定方法を説明する図である。
【図２１】実施例３の画像エリアの再設定について説明する図である。
【技術分野】
【０００１】
本発明は、自車両の速度制御や停止制御等を行う車載装置に設けられ、撮像装置で取得された自車両の前方の画像を処理する車載用画像処理装置に関する。
【背景技術】
【０００２】
走行中の自車両の前方を監視し車間距離制御等に資するための車載装置として、自車両の前方を電磁波ビーム（レーザビーム等）で走査して先行車両等の物体を検出するレーダが実用化されている、また、自車両の前方を撮像しレーダで検出された物体を含む画像を取得して画像処理を行うことにより、先行車両やその他の物体の認識精度を高める撮像装置が実用化されている。
【０００３】
前記撮像装置は、レーダの走査と同期して駆動され、レーダで取得した物体の位置と撮像した画像との対比を行い、該位置の画像への対応づけを行って画像エリアを設定する。そして、この画像エリアに対して画像処理を行う。このように、画像エリアを設定することにより、全画像を処理することによる処理速度の低下を防ぎ、ビームの走査周期毎に高速で画像処理ができるようにしている。
【０００４】
このような構成を備える従来の画像処理装置としては、例えば特許文献１に開示されている。
【特許文献１】特許第３２６４０６０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の構成を備える装置において、レーダで取得した物体の位置を画像に対応づけるには、レーダで測定するときのシーンと撮像装置で撮像するときシーンとが同じタイミングである必要がある。両者のタイミングが大きくずれると、レーダで測定したときのシーンと撮像装置で測定したときのシーンとが異なってしまい、両方のシーンで物体の位置が異なってくるからである。このことを図１、図２を参照して説明する。
【０００６】
図１は、レーダの最初のスキャン（走査）時の第１のシーンを示している。同図（Ａ）は、第１のシーンの画像を示し、同図（Ｂ）は、第１のシーンでビームのスキャン位置をレーダ座標で示している。図２は、レーダの最後のスキャン（走査）時の第２のシーンを示している。同図（Ａ）は、レーダの最初のスキャン（走査）時に取得される画像を示し、同図（Ｂ）は、第２のシーンでビームのスキャン位置をレーダ座標で示している。
【０００７】
ビームは、図１（Ｂ）、図２（Ｂ）に示すように、図１（Ｂ）のときから図２（Ｂ）にかけて扇形にスキャンされ、１スキャンには約５０ｍｓｅｃ程度の時間を要する。また、撮像装置は図１の最初のスキャンタイミングで駆動され、そのときの取得画像がメモリに記憶され、その画像は画像処理に使用される。
【０００８】
図１、図２において、領域Ｐは予め設定されている視野であり、この範囲内で画像処理が行われる。レーダから出力されるビームＢＭ１は、最初のスキャンタイミングで発射されるビームの位置と形状を示している。また、ビームＢＭ２は、最後のスキャンタイミングで発射されるビームの位置と形状を示している。図２（Ａ）において、画像エリアＱ１〜Ｑ３は、画像処理を行うために設定されたエリアであり、ビームが反射した位置を示す黒丸の反射ポイントにおいて、距離や方位が略等しいものは同一の物体から反射されたものとみなしてグルーピングされ、各エリアはこのグルーピングした反射ポイントを画像内に対応づけて設定される。同図において、画像エリアＱ１は、ビームにより検出された車線横の固定物を囲むエリアを示し、画像エリアＱ２は、車線上を走行する先行車両を囲むエリアを示している。また、画像エリアＱ３は、歩行者を囲むエリアを示している。
【０００９】
図１（Ｂ）において、グルーピングされているグレー色の反射ポイントは、前回のビームスキャンで得られた物体の位置を示し、図２において、グルーピングされている黒丸の反射ポイントは、今回のビームスキャンで得られた物体の位置を示している。
【００１０】
以上の図から明らかなように、図１に示す第１のシーンでは、最初のスキャンタイミングと撮像装置の撮像タイミングとが同一であるが、図２に示す第２のシーンでは、第１のシーンから５０ｍｓｅｃ経過しているために、最後のスキャンタイミングでビームの反射により検出される反射ポイントの位置と画像との対応関係がとれない場合が生じてくる。すなわち、図２に示すように、自車両が５０ｍｓｅｃ移動している間に歩行者の位置は自車両側に移動しているにもかかわらず、撮像装置で取得されている画像は５０ｍｓｅｃ前のものであるために、第１のシーンのときに撮像された歩行者の位置は、５０ｍｓｅｃ後の第２のシーンでレーダで検出される歩行者の位置（現実の位置）と、ずれてしまっている。一方、先行車両については、５０ｍｓｅｃ後も自車両と同じ車間距離を保っているために、レーダで検出される反射ポイントの位置は変わらない。また、固定物については、最初のスキャンタイミングで検出しているため、その位置は前回の最後のスキャンタイミングで検出した位置と変わらない。なお、図２（Ｂ）では、歩行者についてのみ、前回のスキャンで検出された反射ポイントが今回のスキャンで手前側（自車両側）に移動することを示している。
【００１１】
以上の理由から、スキャン時間に対して殆ど移動しない歩行者等の物体については、最初のスキャンタイミングから一定時間が経過したタイミングにおいて、レーダで取得した実際の位置と、画像上の位置との対応関係が正しくなくなるという問題があった。
【００１２】
また、撮像装置を最後のスキャンタイミングで駆動する場合は、最初のスキャンタイミングで検出した物体の反射ポイントの位置と画像との対応関係がとれなくなる。図３はこの状態を示し、道路脇に存在している固定物についての対応関係がとれなくなっていることを示している。撮像装置を途中のスキャンタイミングで駆動する場合でも、同じような問題が生じてくる。
【００１３】
本発明の目的は、所定のスキャンタイミングで取得した画像と、レーダで検出した物体の位置とが正しく対応するように画像処理を行うための画像エリアを修正する車載用画像処理装置を提供することある。
【課題を解決するための手段】
【００１４】
本発明は、自車両の前方を電磁波ビームで走査して先行車両等の物体を検出するレーダと、前記レーダの走査毎に所定の走査タイミングで自車両の前方を撮像し前記物体を含む画像を取得する撮像装置と、自車両の車速等の自車両走行情報を取得する自車両走行情報取得部とを備え、
前記レーダにより検出した物体と、前記撮像装置により前記所定の走査タイミングで取得した画像とに基づいて該画像中の処理すべき画像エリアを求める車載用画像処理装置を備えたものである。
【００１５】
電磁波ビームとしては、例えばレーザビームがあり、レーダは、このビームを車両前方に扇形状となるように左から右にスキャンする。ビームは２次元にスキャンすることもでき、この場合は、左から右へのスキャンを繰り返しながら上下方向のスキャン位置を下方に移動していく。
【００１６】
撮像装置は、例えばグローバルシャッタ付きのＣＣＤカメラ等で構成され、シャッタが開いた瞬間のタイミングで前方を撮像して画像を取得しこれをメモリに記憶する。シャッタは、ビームの所定のスキャンタイミングで開き、この動作をスキャン毎に行う。所定のスキャンタイミングは、例えば、最初のスキャンタイミングである。
【００１７】
車両走行情報取得部は、自車両の速度（車速）や、ヨーレートなどを測定する。
【００１８】
本発明の車載用画像処理装置は、上記レーダで検出した先行車両等の物体と、画像と、に基づいて該画像中の処理すべき画像エリアを求める。画像処理では、画像エリア内にある物体の特徴量を抽出して該物体を認識したりする。
【００１９】
上記の構成で、本発明は、前記画像エリアを再設定する画像エリア再設定手段を備えている。
【００２０】
画像エリア再設定手段は、前記レーダにより１つのスキャンが終了するまでに検出した物体が前記画像中のその対応位置に存在しない場合、前記自車両走行情報及び前記所定のスキャンタイミングにより得られる自車両が移動した移動距離に基づいて、該レーダにより検出された物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する。
【００２１】
このような操作により、画像エリアが拡がり、同エリア内に物体を検出することができるようになる。なお、この再設定を行うときには、自車両の速度等の動きを考慮することが必要である。何故なら、自車両が高速であれば、仮想空間内に再設定される画像エリアの面積はより広くしなければならなく、また、車線に沿って回動する場合は、その曲率に沿って画像エリアを設定することが必要になるからである。
【００２２】
前記画像エリア再設定手段は、レーダで検出された物体の位置において一定の大きさの第１の画像エリアを設定し、この第１の画像エリアの角と前記無限遠点とを結ぶことにより前記仮想空間を形成する。
【００２３】
無限遠点は、この発明では画像の消失点（以下、単に消失点）と称する。一般には、この消失点は画面の中心位置に固定位置として設定される。第１の画像エリアは、レーダで検出した物体の位置を基準にして任意の方法により求めた矩形状、又は同位置を基準にして予め定めた大きさの矩形状の大きさに設定される。この第１の画像エリアの角と消失点とを結ぶことにより、四角柱の仮想空間が形成される。この仮想空間内に、前記自車両走行情報と前記所定のスキャンタイミングとにより得られる自車両が移動した移動距離の位置で第２の画像エリアを設定し、前記第１の画像エリアと前記第２の画像エリアを仮想空間の稜線に沿って結合したエリアを前記画像エリアとして再設定する
これにより、再設定された画像エリアは、再設定前の画像エリアに比べて画像座標上の面積が大きくなり、しかも、そのエリアは自車両の速度など情報に基づいて形成されるため、該エリア内に物体の画像が存在する確立が非常に高くなる。
【発明の効果】
【００２４】
本発明によれば、レーダにより検出された物体の位置と、それよりも前に撮像した画像内の当該物体の位置とがずれている場合に、画像処理を行うための画像エリア内に該物体が含まれるよう該画像エリアが再設定されるため、レーダで検出した物体に対する画像処理が常に正しく行われる。このため、画像処理の精度が良くなる利点がある。
【発明を実施するための最良の形態】
【００２５】
図４は、本発明の実施形態である車載用画像処理装置の概略ブロック図である。
【００２６】
カメラ１は、グローバルシャッタ付きのＣＣＤカメラ等で構成され、撮像面を前方に向けて自車両のルームミラー近辺に設けられる。このカメラ１は、自車両の前方を撮像する。
【００２７】
全体画像記憶部２は、カメラ１で撮像された画像を記憶する。
【００２８】
レーダ３は、レーザレーダで構成され、レーザビーム（以下、単にビームと称する）を自車両前方に発射し、その反射ビームを受光する。この実施形態では、照射面が長円状で幅が細いビームを前方に左右１往復することで１スキャンを終え、これにより前方の２次元範囲を探索する。
【００２９】
信号処理部４は、レーダ３からの信号に基づいてビーム光の往復時間を測定して物体までの距離を測定する。スキャンタイミング毎に測距することにより、１スキャン内に前方の物体を全て検出し、それらの物体に対しての測距が可能である。また、図示しない車速センサ、ヨーレートセンサからの信号を受信し、これを後述の画像処理エリア設定部５に送る。なお、ヨーレートセンサに代えて操舵角センサを用いることも可能である。
【００３０】
トリガ信号発生部６は、レーダ３のスキャン開始信号を受けてトリガ信号を生成する。このトリガ信号は、撮像指令部７に出力され、ここでカメラ１のシャッタオン信号が生成されてカメラ１に出力される。したがって、カメラ１は、レーダ３にて最初のスキャンを開始するタイミングにおいてシャッタがオンして前方の画像を取得する。
【００３１】
全体画像記憶部２に記憶された画像は画像処理エリア設定部５に入力する。さらに、この画像処理エリア設定部５には信号処理部４を介して車速センサからの車速とヨーレートセンサからのヨーレートが入力する。
【００３２】
後述のように、この画像処理エリア設定部５において、画像エリアの設定とその再設定が行われる。全体画像に対して１つ以上設定された各画像エリア内の部分画像が抽出され、これが部分画像記憶部１〜Ｎに記憶され、画像処理部１〜Ｎにおいて画像処理が行われる。画像処理部においては、画像の形状や移動方向などが認識されそれぞれ物体１〜Ｎとして属性情報付き（形状や移動方向等の属性情報）の位置情報として上位処理装置（例えば、車間距離制御装置）に出力される。
【００３３】
図５は、信号処理部４の構成図である。
【００３４】
この信号処理部４は、レーダ３からの信号に基づいて物体までの距離と方位を算出し、その距離と方位データをインターフェイス４１を介して画像処理エリア設定部５に送る。また、車速センサとヨーレートセンサからの信号は車両走行情報取得部４２に入力され、車速センサで得た走行速度とヨーレートで得たデータにより道路の曲率半径の算出等を行う。ここで取得された各センサからの信号や算出結果をインターフェイス４１を介して画像処理エリア設定部５に送る。
【００３５】
図６は、画像処理エリア設定部５の構成図である。
【００３６】
この画像処理エリア設定部５は、道路上の白線を認識する白線認識部５０、消失点算出部５１、エリア設定部５２を備えている。消失点とは、前述したように、画像中の無限遠点を意味している。白線認識部５０は、後述の実施例２において消失点を求めるときに用いられる。エリア設定部５２は、画像エリアの設定と再設定とを行う。エリア設定部５２は、消失点を予め固定点とする場合は、消失点算出部５１の出力を使用せずに、画像エリアの設定と再設定とをする。エリア設定部５２は、白線認識部５０で認識された白線に基づいて消失点を求める場合は、その消失点に基づいて画像エリアの設定と再設定とをする。
【００３７】
次に動作を説明する。
【００３８】
図７、図８は、車載用画像処理装置の概略の動作を示すフローチャートである。
【００３９】
図７は、レーダ３の動作を示している。
【００４０】
ステップ（ＳＴ）１では、レーダスキャンを開始する。図１の状態がこのタイミングに対応している。次に、ＳＴ２でスキャンによる物体までの測距を行う。続いて、そのタイミングがカメラ１のトリガ位置のタイミングであるかどうかを判定する。本実施形態では、最初のスキャンタイミングをトリガ位置のタイミングに設定しているため、ＳＴ１→ＳＴ２→ＳＴ３と進んだときは、最初のスキャンタイミングである。ＳＴ３においてトリガ位置に対応する最初のスキャンタイミングであると判断すると、ＳＴ４においてトリガ信号発生部６においてトリガ信号を発生し、カメラ１のシャッタをオンする。ＳＴ５において、次のスキャンに移行し、以下、全スキャンを終了するまでＳＴ２において連続的に測距を行う。トリガ信号は、最初のスキャンタイミングにおいてのみ生成されるため、カメラ１は１スキャン毎に最初のスキャンタイミングで１回だけ画像を取得する。
【００４１】
ＳＴ６では、車速とヨーレートを取得し、このデータを画像処理エリア設定部５に出力する。ＳＴ７では、全てのスキャンで得られたデータに基づいて各スキャン毎に物体（物体）までの測距を行う。そして、ＳＴ８において、測距データを画像処理エリア設定部５に出力する。
【００４２】
図８はカメラ１及び画像処理エリア設定部５の動作を示している。
【００４３】
ＳＴ１０では、カメラ１が撮像指令部７からシャッタオン信号を受信するとシャッタをオンし、ＳＴ１１に進んで撮像を開始し、撮像画像を取得して全体画像記憶部２（メインメモリ）に記憶する（ＳＴ１２）。続いて信号処理部４から測距データを受信すると（ＳＴ１３）、ＳＴ１４において画像エリアの計算を行う。
【００４４】
画像エリアは、次のようにして設定される。
【００４５】
図１に示すように、最初のスキャンタイミングで画像を取得した後、レーダから１スキャン分の測距データを受けると、各スキャン毎に検出した物体が画像中のその対応位置に存在しているかどうか判定し、存在している場合には、そのビーム反射ポイントをグルーピングした領域の周囲に画像エリアを設定する。図２において、画像エリアＱ１、Ｑ２は、レーダ３で検出した固定物、先行車両が画像中のその対応位置に存在しているため、それらのビーム反射ポイントをグルーピングした領域の周囲に設定された画像エリアである。
【００４６】
一方、レーダ３で検出した物体が画像中のその対応位置に存在していない場合には、図７に示す方法で画像エリアを設定する。図７は、画像エリアの設定を行う実施例１を説明する図である。実施例１では道路が直線道路であって、画像の無限遠点を固定の消失点Ｓとして設定している。今、道路の右端にいる歩行者について考える。
【００４７】
同図に示すように、レーダで検出したポイントをグルーピングした領域を基準にして、第１の画像エリアＱ３０を設定する。この第１の画像エリアＱ３０は、高さと幅が予め定めた大きさにあり（又はグルーピングした領域に基づいて自動で設定することも可能である）、且つ矩形状に設定される。この第１の画像エリアＱ３０の角と画像の無限遠点である消失点Ｓとを結び、四角柱の形状を有する仮想空間Ｘを形成する。無限遠点である消失点Ｓは先に延べたように固定点として設定される。そして、Ｑ３０から固定点である消失点Ｓに向けて、自車両の車速に５０ｍｓｅｃ（最初のスキャンタイミングから最後のスキャンタイミングに至るまでの時間）を乗じた値に対応する距離だけ移動させ、その移動した位置で仮想空間内に矩形状の第２の画像エリアＱ３１を形成する。次に、この第１の画像エリアと第２の画像エリアを結合する。結合した画像エリアを新たな画像エリアとして再設定する。図４（Ｂ）は、この再設定した画像エリアＱ３２を示している。図示するように、再設定された画像エリアＱ３２は、再設定前の画像エリアＱ３０よりも大きい。これにより、Ｑ３０からＱ３２へと再設定された画像エリアには、最初のタイミングでカメラ１により撮像した画像（この例では歩行者）が含まれるようになる。
【００４８】
図８のフローチャートにおいて、ＳＴ１４で画像エリアが設定されると（再設定される画像エリアも含む）、ＳＴ１５において画像エリア内に含まれる画像が部分画像記憶部１〜Ｎ（サブメモリ）に転送される。このＳＴ１４〜ＳＴ１６をレーダで検出した全ての物体（物体）に対して繰り返すことにより（ＳＴ１６）、各画像エリアの画像はそれぞれ部分画像記憶部１〜Ｎに転送されていく。
【００４９】
ＳＴ１７〜ＳＴ１９においては、各部分画像記憶部１〜Ｎの画像に対して所定の画像処理を行う。
【００５０】
上記画像エリアを設定するときの計算では、レーダ３の座標、カメラ１の座標を合わせ、それらを画像座標に射影することが必要になる。具体的には次のようにして計算を行う。
【００５１】
図１０に示すように、カメラ１、レーダ３の座標系を、それぞれ（ＸＣ，ＹＣ，ＺＣ）、（ＸＬ，ＹＬ，ＺＬ）とする。すると、両者の座標の関係は式１のようになる。
【００５２】
【数１】
【００５３】
この式１は、レーザ座標をカメラ座標に変換する式である。式２は、カメラ座標を画像座標に射影する式である。
【００５４】
【数２】
【００５５】
したがって、式１、式２により、レーダ座標をカメラ座標を通して画像座標に射影することができる。これらの式については、コンピュータビジョン技術において一般的である。例えば、「３次元ビジョン」（２００４年、共立出版、徐剛・辻三郎著）がある。
【００５６】
図１１は、レーダ座標を２次元的に示している。今、レーダ３により検出された歩行者（物体）の位置が図示のように相対的に移動したとする（実際には自車両の移動による）。最後のスキャンタイミングで検出される移動後の検出ポイントをグルーピングした領域の重心と、幅ｗと、高さＨ（予め定めた固定値）とに基づいて矩形を設定し、この頂点をＢ１〜Ｂ４とする（図１１では、２次元で示しているためにＢ１とＢ２しか示していないが、実際は紙面に垂直な方向の位置にＢ３とＢ４が存在している。他の矩形についても同様である。）。上記レーダ座標上のＢ１〜Ｂ４を、式１、式２より座標変換してｂ１〜ｂ４を得る。画像座標上では図１２に示すようにｂ１〜ｂ４としてプロットされる。このｂ１〜ｂ４と消失点Ｓとを結び四角柱の仮想空間を形成する。
【００５７】
次に、トリガ発生位置（最初のスキャンタイミング）からＢ１〜Ｂ４の矩形（最後のスキャンタイミング）に至るまでのスキャン時間Ｔと、自車両の車速ｖと、を乗じて移動距離ｖＴを求め、このｖＴだけ自車両の移動方向に移動した位置に頂点をＡ１〜Ａ４とする矩形を設定する。矩形の大きさは頂点をＢ１〜Ｂ４とする矩形と同じである。そして、このレーダ座標上のＡ１〜Ａ４を、式１、式２より座標変換してａ１〜ａ４を得る。このａ１〜ａ４を画像座標上にプロットすると、図１２に示すようになる。結果として、ａ１〜ａ４を角とする矩形は、ｂ１〜ｂ４と消失点とを結んだ四角柱の仮想空間内に設定されることになる。図１２は、Ｂ１〜Ｂ４の矩形を式１、式２で座標変換したｂ１〜ｂ４の矩形と、Ａ１〜Ａ４の矩形を式１、式２で座標変換したａ１〜ａ４の矩形とを示している。いずれも画像座標上の位置を示している。また、図１３は、図１２上のａ１〜ａ４の矩形で設定される画像エリアとｂ１〜ｂ４の矩形で設定される画像エリアとを結んで再設定した画像エリアを示している。ａ１〜ａ４とｂ１〜ｂ４とが仮想空間の稜線に沿って結合される。
【００５８】
画像アリアの再設定の具体的な計算は以上のようにして行われる。
【００５９】
図１４は、画像エリアの設定を行う実施例２の説明図である。
【００６０】
この実施例２では、道路を直線状としているが消失点Ｓを固定点として設定するのではなく、該消失点Ｓを車線の形状に応じてフレーム毎（１スキャン毎）に動的に設定する。すなわち、カメラ１で取得した画像から車線の手前の白線（車線側部に形成される白線や中央線等）を認識し、この白線の交点を消失点として設定する。手前の白線を使うのは、車線がカーブしている状況、先行車両が存在する状況、道路の遠方位置が登っている又は下り坂である状況などでも消失点が簡単に求まるようにするためである。白線の認識については、カメラ１で取得した画像から容易に可能であって一般的な画像認識処理で可能であるが、具体的な認識方法の一つとしては、例えば、「レーンキープアシストシステムにおける白線認識システムの開発」（Vol.12,No.1 HONDA R&D Technical Review 2000 。峯田、鵜浦、池田著) に開示されている。なお、消失点Ｓを設定する以外の動作手順については、実施例１と全く同じである。
【００６１】
図１５は、画像エリアの設定を行う実施例３の説明図である。
この実施例３では、道路がカーブしていて、消失点Ｓを固定点として設定している。
【００６２】
高速道路や自動車用道路の曲線部は、ほとんどがクロソイド曲線として設計されている。クロソイド曲線とは、曲率半径と曲線長の積を一定とする曲線であり、２つの異なる曲率半径どうしの道路を滑らかに接続するための緩和曲線として用いられる。クロソイド曲線の描く座標値は、曲率半径Ｒと曲線Ｌとを用いて、式３と式４のように表せる（ただし、高次の項は省略した近似式）。
【００６３】
【数３】
【００６４】
この式３、式４は、物体（物体）が、図１６のＡ５〜Ａ８（図ではＡ５、Ａ６のみ表示）の位置からＢ５〜Ｂ８（図ではＢ５、Ｂ６のみ表示）の位置へ移動する際に変化する座標値変化分を表している。
【００６５】
曲率半径Ｒは、ヨーレートセンサの検出信号から測定した角速度ωを式５に代入して求める。図１６のＡ５、Ａ６の位置からＢ５、Ｂ６の位置までの曲線長Ｌは、この間の走行車速ｖが一定として式６から求める。
【００６６】
したがって、式５、式６から式３、式４が求まる。式３、式４が求まることにより、実施例１と同様に、物体の位置はＢ５、Ｂ６からＡ５、Ａ６に移動する。Ａ５、Ａ６とＢ５、Ｂ６とは、式１、式２により座標変換をしてａ５〜ａ８とｂ５〜ｂ８となり、図１７のような画像エリアとなり、図１８のように画像エリアが再設定される。
図１９は、画像エリアの設定を行う実施例４の説明図である。
【００６７】
この実施例４では、道路がカーブしていて、消失点Ｓを道路形状により動的に設定している。この実施例４ではヨーレートセンサを使用しない。
【００６８】
また、複数の消失点を使用する。ここでは２つの消失点Ｓ１、Ｓ２を使用する場合の説明をする。
【００６９】
まず、自車両手前の白線の直線部で消失点Ｓ１を求める。自車両進行方向のさらに前方の曲線部の接線で消失点Ｓ２を求める。実施例１と同様に、図１９のレーダ座標上で、Ｂ９〜Ｂ１２と消失点Ｓ１との間で第１の仮想空間を形成し、この空間内に、移動距離ｖＴだけ自車両の移動方向に移動した位置に頂点をＡ９〜Ａ１２とする矩形の画像エリアを設定する。同様に、Ｂ９〜Ｂ１２と消失点Ｓ２との間に第２の仮想空間を形成し、この空間内に、移動距離ｖＴだけ自車両の移動方向に移動した位置に頂点をＣ９〜Ｃ１２とする矩形の画像エリアを設定する。頂点をＡ９〜Ａ１２とする矩形の画像エリアと頂点をＣ９〜Ｃ１２とする矩形の画像エリアとのうち、レーダ座標上で自車両を基準により遠方に位置する画像エリアを選択し、この画像エリアとＢ９〜Ｂ１２の画像エリアとを結合することで画像エリアの再設定を行う。図２０は再設定前の画像エリアを示し、図２１は再設定された画像エリアを示している。
【００７０】
以上の制御動作により、直線道路、カーブ道路については、消失点を固定値とすることで（実施例１、３）、又は消失点を白線認識により求めることで（実施例２、４）画像エリアを再設定することができる。
【００７１】
なお、以上の実施形態では、所定のスキャンタイミングを最初のスキャンタイミングとして、カメラ１のトリガタイミングを最初のスキャンタイミングに一致させたが、カメラ１のトリガタイミングを最後のスキャンタイミングに一致させても良いし、途中のスキャンタイミングに一致させても良い。カメラ１のトリガタイミングを最後のスキャンタイミングに一致させる場合は、図９において、画像エリアＱ３１はＱ３０よりも自車両側に設定されることになる。すなわち、消失点Ｓと画像エリアＱ３０の角とを結ぶ線を自車両側に延長した仮想空間を形成し、この空間内に画像エリアＱ３１が設定される。
【００７２】
さらに、画像エリアは矩形状としたが、多角形形状や楕円形状など、任意の形状であって良い。
【図面の簡単な説明】
【００７３】
【図１】レーダの最初のスキャン（走査）時の第１のシーンを示している。
【図２】レーダの最後のスキャン（走査）時の第２のシーンを示している。
【図３】レーダの最後のスキャン時に撮像した場合のシーンを示している。
【図４】本発明の実施形態である車載用画像処理装置のブロック図である。
【図５】信号処理部の構成図である。
【図６】画像処理エリア設定部の構成図である。
【図７】本発明の実施形態である車載用画像処理装置のレーダの動作を示すフローチャートである。
【図８】本発明の実施形態である車載用画像処理装置のカメラ及び画像処理エリア設定部の動作を示すフローチャートである。
【図９】画像エリアの設定を行う実施例１の説明図である。
【図１０】カメラとレーダの取付位置及びそれぞれの座標系を示す図である。
【図１１】実施例１のレーダの座標を２次元で示す図である。
【図１２】実施例１の具体的な画像エリア設定方法を説明する図である。
【図１３】実施例１の画像エリアの再設定について説明する図である。
【図１４】画像エリアの設定を行う実施例２の説明図である。
【図１５】画像エリアの設定を行う実施例３の説明図である。
【図１６】実施例３のレーダの座標を２次元で示す図である。
【図１７】実施例３の具体的な画像エリア設定方法を説明する図である。
【図１８】実施例３の画像エリアの再設定について説明する図である。
【図１９】画像エリアの設定を行う実施例４のレーダの座標を２次元で示す図である。
【図２０】実施例４の具体的な画像エリア設定方法を説明する図である。
【図２１】実施例３の画像エリアの再設定について説明する図である。
【特許請求の範囲】
【請求項１】
自車両の前方を電磁波ビームで走査して先行車両等の物体を検出するレーダと、前記レーダの走査毎に所定の走査タイミングで自車両の前方を撮像し前記物体を含む画像を取得する撮像装置と、自車両の車速等の自車両走行情報を取得する自車両走行情報取得部とを備え、
前記レーダにより検出した物体と、前記撮像装置により前記所定の走査タイミングで取得した画像とに基づいて該画像中の処理すべき画像エリアを求める車載用画像処理装置において、
前記レーダにより１つの走査が終了するまでに検出した物体が前記画像中のその対応位置に存在しない場合、前記自車両走行情報と前記所定の走査タイミングとにより得られる自車両が移動した移動距離に基づいて、該レーダにより検出された物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する画像エリア再設定手段を備えたことを特徴とする車載用画像処理装置。
【請求項２】
前記画像エリア再設定手段は、前記レーダにより検出された物体の位置において一定の大きさの第１の画像エリアを設定し、この第１の画像エリアの角と前記無限遠点とを結ぶことにより前記仮想空間を形成し、この仮想空間内に、前記移動距離の位置で第２の画像エリアを設定し、前記第１の画像エリアと前記第２の画像エリアを仮想空間の稜線に沿って結合したエリアを前記画像エリアとして再設定することを特徴とする請求項１記載の車載用画像処理装置。
【請求項３】
前記画像エリア再設定手段は、前記無限遠点は予め固定点として設定する請求項２記載の車載用画像処理装置。
【請求項４】
前記画像エリア再設定手段は、前記画像中の車線の白線を認識するとともに該白線の延長点を前記無限遠点として設定する請求項２記載の車載用画像処理装置。
【請求項５】
前記自車両走行情報取得部は、自車両走行情報として、自車両の車速と角速度と車線の曲率半径とを取得するものであり、
前記画像エリア再設定手段は、これらの情報に基づいて前記曲率半径に沿って自車両の移動距離分だけ移動した位置で第２の画像エリアを設定する請求項３記載の車載用画像処理装置。
【請求項６】
前記画像エリア再設定手段は、前記画像中の車線の白線を認識するとともに該白線の直線部の延長点を第１の無限遠点として設定し、該白線の曲線部の接線の延長点を第２の無限遠点として設定し、各無限遠点毎に第２の画像エリアの候補を設定し、第１の画像エリアから最遠位置にある画像エリア候補を第２の画像エリアとして設定する請求項２記載の車載用画像処理装置。
【請求項１】
自車両の前方を電磁波ビームで走査して先行車両等の物体を検出するレーダと、前記レーダの走査毎に所定の走査タイミングで自車両の前方を撮像し前記物体を含む画像を取得する撮像装置と、自車両の車速等の自車両走行情報を取得する自車両走行情報取得部とを備え、
前記レーダにより検出した物体と、前記撮像装置により前記所定の走査タイミングで取得した画像とに基づいて該画像中の処理すべき画像エリアを求める車載用画像処理装置において、
前記レーダにより１つの走査が終了するまでに検出した物体が前記画像中のその対応位置に存在しない場合、前記自車両走行情報と前記所定の走査タイミングとにより得られる自車両が移動した移動距離に基づいて、該レーダにより検出された物体の位置と画像中に設定された無限遠点とを結んで形成される仮想空間内に画像エリアを再設定する画像エリア再設定手段を備えたことを特徴とする車載用画像処理装置。
【請求項２】
前記画像エリア再設定手段は、前記レーダにより検出された物体の位置において一定の大きさの第１の画像エリアを設定し、この第１の画像エリアの角と前記無限遠点とを結ぶことにより前記仮想空間を形成し、この仮想空間内に、前記移動距離の位置で第２の画像エリアを設定し、前記第１の画像エリアと前記第２の画像エリアを仮想空間の稜線に沿って結合したエリアを前記画像エリアとして再設定することを特徴とする請求項１記載の車載用画像処理装置。
【請求項３】
前記画像エリア再設定手段は、前記無限遠点は予め固定点として設定する請求項２記載の車載用画像処理装置。
【請求項４】
前記画像エリア再設定手段は、前記画像中の車線の白線を認識するとともに該白線の延長点を前記無限遠点として設定する請求項２記載の車載用画像処理装置。
【請求項５】
前記自車両走行情報取得部は、自車両走行情報として、自車両の車速と角速度と車線の曲率半径とを取得するものであり、
前記画像エリア再設定手段は、これらの情報に基づいて前記曲率半径に沿って自車両の移動距離分だけ移動した位置で第２の画像エリアを設定する請求項３記載の車載用画像処理装置。
【請求項６】
前記画像エリア再設定手段は、前記画像中の車線の白線を認識するとともに該白線の直線部の延長点を第１の無限遠点として設定し、該白線の曲線部の接線の延長点を第２の無限遠点として設定し、各無限遠点毎に第２の画像エリアの候補を設定し、第１の画像エリアから最遠位置にある画像エリア候補を第２の画像エリアとして設定する請求項２記載の車載用画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００７−２３３４４０（Ｐ２００７−２３３４４０Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５０６６５（Ｐ２００６−５０６６５）
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]