車載用移動体検出装置
【課題】車載カメラの画像から移動体の重要な情報を高速に効率よく検出する。
【解決手段】カメラ５によって撮像された画像はアナログ信号として画像信号入力部６に入力され、デジタル信号に変換されて第一画像記憶部７と第二画像記憶部８に記憶される。記憶された画像信号は変化領域抽出部９に入力され、差分検出により変化領域が抽出される。距離情報変換部１３は、路面距離マップを参照して、各変化領域の距離情報を得る。移動体検出部１４は、各変化領域中の最も自車両に近い座標点を移動体として検出する。
【解決手段】カメラ５によって撮像された画像はアナログ信号として画像信号入力部６に入力され、デジタル信号に変換されて第一画像記憶部７と第二画像記憶部８に記憶される。記憶された画像信号は変化領域抽出部９に入力され、差分検出により変化領域が抽出される。距離情報変換部１３は、路面距離マップを参照して、各変化領域の距離情報を得る。移動体検出部１４は、各変化領域中の最も自車両に近い座標点を移動体として検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用移動体検出装置に係り、特に、自車両周辺を撮像するように車両に設置された車載カメラ等の撮像手段によって撮像された画像から移動体を検出する装置に関する。
【背景技術】
【０００２】
交差点の進入時や車両の後退時に運転者の視界を補う装置として、車載カメラとディスプレイを用いた運転支援システムが多数提案されている。例えば、見通しの悪い交差点では、交差点に完全に進入する前に、車両の前方に取り付けられた側方を撮像するカメラにより交差点の状況をあらかじめディスプレイに表示し、側方道路からの接近車両などを把握できるようにしたものが知られている。
【０００３】
また、車両の側方を監視する側方監視装置として、車両の側方を撮像する車載カメラから得た所定時間前後の２画像に基づいて、自車両へ接近する物体（移動体）を検出し、その接近度合から危険度を判定するものがある（例えば、特許文献１）。
【０００４】
【特許文献１】特開２００１−２１３２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記に示されるような従来の側方監視装置においては、第１の課題として、２画像中の同一物の移動量を算出するには画像間の詳細なマッチングが必要となり、計算量が膨大となることが挙げられる。このため、処理中に接近物体がさらに移動してしまい、危険度の判定が間に合わなくなるという欠点がある。
【０００６】
第２の課題としては、２画像を記録する所定時間の間に自車両が移動した場合には、画像全体が変化するため、画像全体を接近する物体と誤検出してしまうという欠点がある。
【０００７】
第３の課題としては、夜間に接近物体が発光するヘッドライト等をカメラで撮像した場合、カメラの受光素子の許容限度を超えてしまい、その周辺の素子まで明るく変化する現象が発生する。このため、接近物体を実際よりも大きい物体であると誤検出するという欠点がある。
【０００８】
第４の課題としては、カメラの撮像画面に地平線より上方が含まれていると、例えば飛行機なども接近物体と検出してしまう。また、そのために計算処理の時間も増大するという欠点がある。
【０００９】
第５の課題としては、接近物体の接近度合を危険度として通報する際に、カメラで撮像した画面との関連がわからないと、運転者が状況を把握しづらいという欠点がある。
【００１０】
第６の課題としては、自車両の周辺地形が水平でなく傾きを持っているときは、周辺地形を水平とみなしてカメラで撮像した画像を単純に座標変換すると、接近物体までの距離や方向の接近度合に誤差を生じるという欠点がある。
【００１１】
本発明は前記課題に鑑みてなされたものであって、その目的とするところは、撮像画像を記録する条件を適切に設定して誤検出を防ぎ、接近物体の検出を最も重要な部分に着目して行うことによって計算量を削減し、移動体の重要な情報を高速に効率よく検出する移動体検出装置を提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明による車載用移動体検出装置は、自車両周辺を撮像するように車両に設置された撮像手段によって撮像された画像から移動体を検出する車載用移動体検出装置であって、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する変化領域抽出手段と、前記変化領域抽出手段によって抽出された変化領域中の最も自車両に近い座標点を移動体として検出する移動体検出手段とを有する。
【００１３】
本発明による車載用移動体検出装置は、更に、自車両がおおよそ停止状態かどうかであるか否かを判定する停止状態判定手段を有し、前記変化領域抽出手段は、前記停止状態判定手段によって自車両がおおよそ停止状態と判定された場合にのみ、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する。
【００１４】
本発明による車載用移動体検出装置は、更に、前記撮像手段によって撮像された画像中の輝度を検出する画像輝度検出手段と、前記画像輝度検出手段によって所定値以上の輝度が検出された場合に前記撮像手段の受光量を低減する受光量低減手段を有する。
【００１５】
本発明による車載用移動体検出装置は、更に、前記変化領域抽出手段に用いる前記画像の地平線上方の領域を除外する領域除外手段を有する。
【００１６】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体を前記画像中にマーキングして表示する移動体表示手段を有する。
【００１７】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体と自車両との距離を通知する距離通知手段を有する。
【００１８】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出する相対位置算出手段と、前記相対位置算出手段によって算出された相対位置を表示する相対位置表示手段とを有する。
【００１９】
本発明による車載用移動体検出装置は、更に、自車両周辺の地形情報を用いて前記相対位置算出手段によって算出された相対位置の補正を行う地形対応位置補正手段を有する。
【００２０】
本発明による車載用移動体検出装置は、更に、自車両の傾斜状態を測定する傾斜状態測定手段と、前記傾斜状態測定手段によって測定された傾斜状態に基づいて前記相対位置算出手段によって算出された相対位置の補正を行う傾斜対応位置補正手段とを有する。
【発明の効果】
【００２１】
本発明による車載用移動体検出装置によれば、画像の差分から得た各変化領域中の最も自車両に近い座標点のものを移動体として検出することにより、計算量を削減することができる。これは従来、変化領域内のすべての点について画像間のマッチングを行い、さらに移動距離や接近速度を計算する必要があったために計算量が膨大となっていたが、それを最も自車両に近い座標点のみに限定することにより画像間のマッチングが不要となり、移動距離や接近速度の計算量を大幅に削減することができる。
【発明を実施するための最良の形態】
【００２２】
（実施形態１）
本発明による車載用移動体検出装置の実施形態１を、図１〜図７を参照して説明する。
【００２３】
本実施形態の車載用移動体検出装置は、図１に示されているように、カメラ５と、画像信号入力部６と、第一画像記憶部７と、第二画像記憶部８と、変化領域抽出部９と、車速センサ１０と、車速信号入力部１１と、車両停止判定部１２と、距離情報変換部１３と、移動体検出部１４とを有する。
【００２４】
カメラ５は、本実施形態では、図２に示されているように、車両側方を撮像するように車両前方側面に設置されており、符号１５により示されている撮像方向の撮影を行う。なお、カメラ５は車両周辺を撮像するように設置されていればよく、設置場所は、前方、後方などどこであってもよい。また、撮像方向も車両側方に限らず、車両前方、車両後方などであってもよい。
【００２５】
カメラ５によって撮像された画像は、アナログ信号となって画像信号入力部６に入力される。ここでデジタル信号に変換された画像信号は、第一画像記憶部７と第二画像記憶部８に記憶される。第一画像記憶部７と第二画像記憶部８への入力は、画像信号入力部６により所定の時間差をもって振り分けられる。第一画像記憶部７と第二画像記憶部８に記憶された画像信号は、変化領域抽出部９に入力される。
【００２６】
車速センサ１０によって取得された車速情報は、パルス信号となって車速信号入力部１１に入力される。車速情報は車速信号入力部１１においてデジタル信号に変換され、停止判定部１２に入力される。
【００２７】
車両停止判定部１２は、車速信号入力部１１よりの車速情報に基づいて、おおよそ停止状態であるか否かを判定する。車両停止判定部１２がおおよそ停止状態と判定した場合には、変化領域抽出部９に処理許可信号が入力される。
【００２８】
変化領域抽出部９に処理許可信号が入力された場合には、第一画像記憶部７と第二画像記憶部８に格納された画像信号が変化領域抽出部９に入力される。
【００２９】
これにより、変化領域抽出部９は、自車両がおおよそ停止状態にある時のみ、第一画像記憶部７に格納された画像信号と第二画像記憶部８に格納された画像信号とを参照し、２次元画像として両画像（第一画像記憶部７に格納された画像信号による２次元画像と第二画像記憶部８に格納された画像信号による２次元画像）の差分成分を抽出する。
【００３０】
この差分成分が画像中の変化領域を表しており、例えば、移動している他の車両、歩行者などの移動体である。
【００３１】
次に、距離情報変換部１３は、カメラ５が設置されている方向や画角によってあらかじめ算出された路面距離マップを備えており、撮像された２次元画像の各座標点を自車両からの距離情報に変換する機能を有している。
【００３２】
これにより、距離情報変換部１３は、路面距離マップを参照して、変化領域抽出部９によって抽出された変化領域の各座標点を、自車両からの距離情報に変換する。
【００３３】
移動体検出部１４は、距離情報変換部１３によって変換された距離情報のうち、最も距離値の小さいもの、すなわち自車両に最も近い座標点を抽出する。これが、距離情報変換部１３によって抽出された変化領域のうち、自車両に最も近い座標点にある移動体であり、これを移動体として検出する。
【００３４】
次に、画像信号（画像データ）を用いた変化領域抽出の原理について、図３、図４を参照して説明する。
【００３５】
図３（ａ）、（ｂ）は、撮像された画像の例を示している。図３（ａ）は、第一画像記憶部７に記憶された画像データによる画像を、図３（ｂ）は第二画像記憶部８に記憶された画像データによる画像を各々示している。
【００３６】
図４（ａ）、（ｂ）は、変化領域抽出部９の動作を模式的に示している。図４（ａ）は、説明のために、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）とを合成した画像を示している。図４（ｂ）は、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）の差分成分を抽出した画像を示している。
【００３７】
変化領域抽出部９は、第一画像記憶部７と第二画像記憶部８に記憶された画像データ中の各画素について、一般的にＲＧＢで表される色情報の差分を計算する。これを、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）に適用した結果を示したのが、図４（ｂ）に示されている画像である。図４（ｂ）において、抽出された差分成分は、符号２０により示されている。図３（ａ）の画像と図３（ｂ）の画像中における移動物体の画素のみが差分（差分成分２０）として抽出され、静止している背景、路面を表す画素は抽出されない。
【００３８】
次に、距離情報への変換の原理について、図５〜図７を参照して説明する。
【００３９】
図５は、自車両周辺の位置情報を平面格子によって模式的に表している。ここで、符号２１は自車両を表し、図５の平面格子は自車両２１を上方から俯瞰して得られる。符号Ａ〜Ｇは、平面格子の格子点を表している。
【００４０】
図６は、距離情報変換部１３が備えている路面距離マップを示している。路面距離マップは、カメラ５を通して図５に示されている平面格子を見た形となっており、図５の格子点Ａ〜Ｇが、図６の格子点Ａ〜Ｇに対応しており、各々、同一位置を表している。
【００４１】
図５に示されている平面格子において、各格子点Ａ〜Ｇの自車両２１からの距離を算出できる。符号Ｃｄは、格子点Ｃと自車両２１との距離を表しており、この図では３ｍである。同様に、図６の格子点Ｃと自車両２１との距離も３ｍである。この距離情報を、各格子点だけでなく、画素の各点において、あらかじめ算出しておき、路面距離マップとする。例えば、図６の格子点Ｃに対応する画素は、３ｍという距離情報を保持する。
【００４２】
図７は、この路面距離マップを、変化領域抽出部９によって得た差分成分２０に適用する様子を示している。差分成分２０の領域中において、格子点Ｃに対応する画素は、路面距離マップによって３ｍという距離情報を得ることができる。これを差分成分２０の領域の各画素について適用し、各画素の距離情報が得られる。ここで、差分成分２０の領域の各画素についての適用は、必ずしも画面上方や下方からに限らず、例えば、路面距離マップにおいて、距離の近い画素の順に行ってもよい。
【００４３】
このようにして得られた距離情報のうち最も値の小さい点、すなわち、自車両に近い距離にある点を移動体検出部１４によって抽出し、移動体として検出する。図７における符号２０ｐが、差分成分２０の各画素に属する距離情報のうち、最も値の小さい座標点を示し、この例では、自車両２１からの距離は２．８ｍである。
【００４４】
移動体検出部１４は、距離情報変換部１３によって変換された距離情報のうち、座標点２０ｐを自車両に最も近い座標点にある移動体として検出する。
【００４５】
このように移動体の検出を、最も自車両に近い座標点のみに限定することにより、画像間のマッチングが不要となり、その後の移動距離や接近速度の計算量を大幅に削減することができる。
【００４６】
また、変化領域抽出部９は、自車両がおおよそ停止状態にある時のみ変化領域抽出を行うから、２画像を記録する所定時間の間に自車両が移動し、画像全体が変化したことにより、画像全体を接近する物体と誤検出してしまうことを未然に排除できる。
【００４７】
（実施形態２）
本発明による車載用移動体検出装置の実施形態２を、図８を参照して説明する。なお、図８において、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００４８】
本実施形態では、実施形態１の車載用移動体検出装置に、画像輝度検出部２２と、受光量低減部２３とが追加されている。
【００４９】
画像輝度検出部２２は、画像信号入力部６によってデジタル信号に変換された画像信号のＲＧＢの色情報から、その輝度成分を検出する。この輝度成分が所定値以上であると判定された場合には、受光量低減部２３に、その輝度成分の値に応じて算出された受光量低減信号が送られる。
【００５０】
受光量低減部２３は、画像輝度検出部２２よりの受光量低減信号に応じて、カメラ５のシャッタスピード、絞りなどを操作し、露出補正制御を行う。
従って、カメラ５が強い光源からの光を受光した場合でも、適切な画像が得られ、接近物体を誤検出することが避けられる。
【００５１】
（実施形態３）
本発明による車載用移動体検出装置の実施形態３を、図９、図１０を参照して説明する。なお、図９においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００５２】
第３の実施例を図面を用いて説明する。図９はこの発明の実施の形態３を示した構成図であり、図において２４は領域除外部である。５から１４については図２と同様である。本発明の第１の実施例と異なる点を以下説明する。
【００５３】
本実施形態では、実施形態１の車載用移動体検出装置に、領域除外部２４が追加されている。
領域除外部２４は、画像信号入力部６によってデジタル信号に変換された画像信号のうち、地平線上方部分の情報を除外する。領域除外部２４によって地平線上方部分を除外された画像信号が第一画像記憶部７と第二画像記憶部８に記憶される。
【００５４】
図１０は、地平線上方部分が除外された画像の例を示している。符号２５は、除外領域（除外地平線上方部分）であり、除外された領域を分かり易くするために、ハッチングで示している。
【００５５】
このように、有効領域を地平線以下に限定することにより、地平線上方の飛行物体などを除外することができ、併せて画像を記憶する第一画像記憶部７と第二画像記憶部８の記憶容量も少なくて済む。さらにその後の変化領域抽出部９において、地平線下方のみの処理で済むため、計算量を削減することができる。
【００５６】
（実施形態４）
本発明による車載用移動体検出装置の実施形態４を、図１１、図１２を参照して説明する。なお、図１１においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００５７】
本実施形態では、実施形態１の車載用移動体検出装置に、移動体表示部２６が追加されている。
移動体表示部２６は、液晶ディスプレイ等により構成されて運転席前方に設置されており、画像信号入力部６によってデジタル信号に変換された画像信号を入力し、それを画像として表示する。
【００５８】
移動体表示部２６は、移動体検出部１４より座標点２０ｐに関する情報を入力することにより、移動体検出部１４によって検出された移動体を表す点も、画像中にマーキングして表示する。
【００５９】
図１３は、移動体表示部２６によって表示される画像例を示したものである。符号２７は移動体として検出された最も自車両に近い座標点２０ｐの表示画像であり、この例では、星印としてマーキングしている。
【００６０】
従って、運転者は、運転席前方に設置された移動体表示部２６を目視することにより、画像中の移動体がどれであるかを、即座に、的確に把握することができる。
【００６１】
（実施形態５）
本発明による車載用移動体検出装置の実施形態５を、図１３、図１４を参照して説明する。なお、図１３においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００６２】
本実施形態では、実施形態１の車載用移動体検出装置に、距離通知部２８が追加されている。
移動体検出部１４によって検出された移動体を表す座標点２０ｐのデータは、距離情報変換部１３によって得られた距離情報を保持している。
距離通知部２８は、運転席の前方に設置される表示器等により構成され、移動体検出部１４より座標点２０ｐに関する情報を入力し、座標点２０ｐの距離情報を通知する。
【００６３】
図１４は、距離通知部２８によって通知される座標点２０ｐの距離情報の表示例を示している。この例では、距離情報が、「接近物体との距離」として、デジタル数値情報として表示されている。
従って、カメラの撮像した画像では分かり難いような移動体までの距離を、運転者は、容易に、的確に把握することができる。
【００６４】
（実施形態６）
本発明による車載用移動体検出装置の実施形態６を、図１５〜図１８を参照して説明する。なお、図１５においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００６５】
本実施形態では、実施形態１の車載用移動体検出装置に、相対位置算出部２９と、相対位置表示部３０とが追加されている。
相対位置算出部２９は、距離情報変換部１３が備える路面距離マップと同様の相対位置マップを備えている。
【００６６】
図１６は、自車両周辺の位置情報を平面格子によって模式的に表している。図１６においても、符号２１は自車両を表し、図１６の平面格子は、図５と同様に、自車両２１を上方から俯瞰して得られる。符号Ａ〜Ｇは、図５と同様に、平面格子の格子点を表している。
【００６７】
図１７は、相対位置算出部２９が備える相対位置マップを示している。相対位置マップは、距離情報変換部１３が備える路面距離マップと同様に、カメラ５を通して図１７の格子を見た形となっている。
路面距離マップでは各格子点は距離情報を保持していたが、相対位置マップでは相対位置情報を保持する。
【００６８】
図１６の格子点Ｃは、この例では任意の位置を基準点とした（ｘ，ｙ）＝（３，２）という相対位置である。これに対応する図１７の格子点Ｃは（ｘ，ｙ）＝（３，２）という相対位置情報を保持する。この相対位置情報を、各格子点だけでなく画素の各点においてあらかじめ算出しておき、相対位置マップとする。これを変化領域抽出部９によって得た差分成分２０の領域の各画素について適用し、各画素の相対位置が得られる。
【００６９】
相対位置算出部２９は、移動体検出部１４によって検出された移動体の画素情報を照合し、移動体を表す座標点２０ｐの自車両に対する相対位置情報を相対位置表示部３０に出力する。
【００７０】
相対位置表示部３０は、液晶ディスプレイ等により構成されて運転席前方に設置されており、相対位置表示部３０より自車両に対する移動体を表す座標点２０ｐの相対位置情報を入力し、図１８に示されているように、自車両２１を上方から俯瞰した表示と共に、移動体を、自車両２１の表示に対して相対位置算出部２９によって算出された相対位置をもって、表示する。この表示例では、移動体は星印３２によって表示されている。
【００７１】
従って、運転者は、運転席前方に設置された相対位置表示部３０を目視することにより、カメラ５が撮像した画像では分かり難いような移動体までの距離や自車両との相対位置を、容易に、的確に把握することができる。
【００７２】
（実施形態７）
本発明による車載用移動体検出装置の実施形態７を、図１９〜図２１を参照して説明する。なお、図１９において、図１、図１５に対応する部分は、図１、図１５に付した符号と同一の符号を付けて、その説明を省略する。
【００７３】
本実施形態では、実施形態６の車載用移動体検出装置に、地形対応相対位置補正部３３が追加されている。
地形対応相対位置補正部３３は、ナビゲーションシステムからの地図情報やＧＰＳなどによる車両現在位置情報により、車両周辺の地形情報に基づいた相対位置補正を行う。
【００７４】
図２０は、図５と同様に、自車両周辺の位置情報を平面格子によって模式的に表している。図２１は地形対応相対位置補正部３３が行う相対位置補正を説明する図である。図２１はカメラ５を通して図２０の格子を見た形となっている。
【００７５】
ここでは、格子点Ｃ周辺が丘陵地として盛り上がっている地形の例を示している。図２０の格子点Ｃに対応する点は図２１の格子点Ｃであるが、地形が平坦な場合には、図２１の格子点Ｃ’である。
【００７６】
このように地形の違いにより、俯瞰図では同一の位置であっても、カメラ５を通して撮像される画像が変化する。この例では、格子点Ｃの相対位置は（ｘ，ｙ）＝（３，２）であり、格子点Ｃ’の相対位置は（ｘ，ｙ）＝（２．５，１．９）である。これは、車両周辺の地形の標高情報とカメラの方向および画角から算出される。
【００７７】
地形対応相対位置補正部３３は、相対位置算出部２９によって算出された相対位置情報を、この原理によって補正する。
従って、自車両周辺の地形が、一様な水平でなく、傾きを含んでいる場合も、その地形情報を用いて自車両２１と移動体の相対位置の補正を行うことで、正確な相対位置の算出を行うことができる。
【００７８】
（実施形態８）
本発明による車載用移動体検出装置の実施形態８を、図２２〜図２４を参照して説明する。なお、図２２においても、図１、図１５に対応する部分は、図１、図１５に付した符号と同一の符号を付けて、その説明を省略する。
【００７９】
本実施形態では、実施形態６の車載用移動体検出装置に、傾斜対応相対位置補正部３５が追加されている。
本実施形態では、実施形態６の車載用移動体検出装置に、傾斜状態測定部３４と、傾斜対応相対位置補正部３５とが追加されている。
【００８０】
傾斜状態測定部３４は、車両に搭載されたジャイロセンサあるいはハイトセンサ、サスペンションアクチュエータなどにより、自車両２１の傾斜状態を測定し、傾斜情報を傾斜対応相対位置補正部３５に出力する。
【００８１】
図２３は、図５と同様に、自車両周辺の位置情報を平面格子によって模式的に表している。図２４は傾斜対応相対位置補正部３５が行う相対位置補正を説明する図である。図２４はカメラ５を通して図２３の格子を見た形となっている。
【００８２】
ここでは、自車両２１が傾斜して地平線３５が傾いて撮像されている例を示している。図２３の格子点Ｃに対応する点は図２４の格子点Ｃであるが、自車両２１が水平の場合には、図２４の格子点Ｃ’である。
【００８３】
このように、自車両２１の傾斜状態の違いにより、俯瞰図では同一の位置であっても、カメラ５を通して撮像される画像が変化する。この例では、格子点Ｃの相対位置は（ｘ，ｙ）＝（３，２）であり、格子点Ｃ’の相対位置は（ｘ，ｙ）＝（２．９，１．８）である。これは自車両２１の傾斜情報とカメラ５の方向および画角から算出される。
【００８４】
傾斜対応相対位置補正部３５は、相対位置算出部２９によって算出された相対位置情報を、この原理によって補正する。
従って、自車両周辺の地形が、一様な水平でなく、傾きを含んでいる場合も、自車両２１の傾斜状態を測定してこの傾斜状態に基づいて自車両２１と移動体の相対位置の補正を行うことで、正確な相対位置の算出を行うことができる。
【００８５】
以下に、本発明による車載用移動体検出装置の効果を要約して説明する。
【００８６】
（１）従来は、変化領域内のすべての点について画像間のマッチングを行い、さらに移動距離や接近速度を計算する必要があったため、計算量が膨大となっていた検出プロセスを、移動体検出手段は、画像の差分から得た各変化領域中の最も自車両に近い座標点を座標点のみに限定して移動体として検出するので、画像間のマッチングが不要となり、移動距離や接近速度の計算量を大幅に削減できる。
【００８７】
（２）車両停止判定部が、自車両がおおよそ停止状態と判定した場合にのみ、撮像された複数の画像の差分を用いるため、移動体以外の背景の部分が一致し、適切に消去することができる。これにより移動体の誤検出を防ぐことができる。
【００８８】
（３）画像輝度検出手段が、撮像手段によって撮像された画像中の輝度を検出し、受光量低減手段が、画像輝度検出手段によって所定値以上の輝度が検出された場合に撮像手段の受光量を低減するので、強い光源からの光を受光した場合でも適切な画像が得られ、接近物体を誤検出を防ぐことができる。
【００８９】
（４）領域除外手段が、変化領域抽出手段に用いる画像の地平線上方の領域を除外するので、地平線上方の飛行物体などの誤検出を防ぐという効果を持つ。また地平線下方の処理のみで済むため計算量を削減でき、さらに、画像を一時的に記憶するメモリ容量なども少なくて済む。
【００９０】
（５）移動体表示手段が、移動体検出手段によって検出した移動体を画像中にマーキングして表示するため、運転者は画像中の移動体がどれであるかを即座に把握することができる。
【００９１】
（６）距離通知手段が、移動体検出手段によって検出した移動体と自車両との距離を通知するので、カメラの撮像した画像では分かり難いような移動体までの距離を運転者が容易に把握できる。
【００９２】
（７）相対位置算出手段が、移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出し、相対位置表示手段がこの相対位置を表示するので、カメラの撮像した画像では分かり難いような移動体までの距離や自車両との相対位置を運転者が容易に把握できる。
【００９３】
（８）地形対応相対位置補正手段が、自車両周辺の地形情報を用いて相対位置の補正を行うので、自車両周辺の地形が一様な水平でなく傾きを含んでいる場合も、正確な相対位置の算出を行うことができる。
【００９４】
（９）傾斜状態測定手段が自車両の傾斜状態を測定し、傾斜対応相対位置補正手段が、この傾斜状態に基づいて相対位置の補正を行うので、自車両周辺の地形が一様な水平でなく傾きを含んでいる場合も、正確な相対位置の算出を行うことができる。
【図面の簡単な説明】
【００９５】
【図１】本発明による車載用移動体検出装置の実施形態１を示す構成図。
【図２】図１のカメラの設置例および撮像方向例を示す図。
【図３】（ａ）、（ｂ）は、図１の第一画像記憶部、第二画像記憶部に記憶する画像例を示す図。
【図４】（ａ）、（ｂ）は、変化領域抽出部の動作例を示す図。
【図５】自車両周辺の位置情報例を示す図。
【図６】距離情報変換部が備える路面距離マップ例を示す図。
【図７】路面距離マップの適用例を示す図。
【図８】本発明による車載用移動体検出装置の実施形態２を示す構成図。
【図９】本発明による車載用移動体検出装置の実施形態３を示す構成図。
【図１０】実施形態３による車載用移動体検出装置において地平線上方部分が除外された画像例を示す図。
【図１１】本発明による車載用移動体検出装置の実施形態４を示す構成図。
【図１２】実施形態４による車載用移動体検出装置における移動体表示部によって表示された画像例を示す図。
【図１３】本発明による車載用移動体検出装置の実施形態５を示す構成図。
【図１４】実施形態５による車載用移動体検出装置における距離通知部によって通知された表示例を示す図。
【図１５】本発明による車載用移動体検出装置の実施形態６を示す構成図。
【図１６】実施形態６による自車両周辺の位置情報例を示す図。
【図１７】実施形態６による相対位置算出部が備える相対位置マップ例を示す図。
【図１８】実施形態６による車載用移動体検出装置における相対位置表示部による表示例を示す図。
【図１９】本発明による車載用移動体検出装置の実施形態７を示す構成図。
【図２０】実施形態７による自車両周辺の位置情報例を示す図。
【図２１】実施形態７による相対位置補正部による相対位置補正例を示す図。
【図２２】本発明による車載用移動体検出装置の実施形態８を示す構成図。
【図２３】実施形態８による自車両周辺の位置情報例を示す図。
【図２４】実施形態８による相対位置補正部による相対位置補正例を示す図。
【符号の説明】
【００９６】
５ カメラ
６ 画像信号入力部
７ 第一画像記憶部
８ 第二画像記憶部
９ 変化領域抽出部
１０ 車速センサ
１１ 車速信号入力部
１２ 車両停止判定部
１３ 距離情報変換部
１４ 移動体検出部
１５ 撮像方向
２０ 抽出された差分成分
２０ｐ 移動体として検出された最も自車両に近い座標点
２１ 自車両
２２ 画像輝度検出部
２３ 受光量低減部
２４ 領域除外部
２５ 除外された領域
２６ 移動体表示部
２７ 検出された移動体
２８ 距離通知部
２９ 相対位置算出部
３０ 相対位置表示部
３２ 星印によってマーキングされた移動体
３３ 地形対応相対位置補正部
３４ 傾斜状態測定部
３５ 傾斜対応相対位置補正部
【技術分野】
【０００１】
本発明は、車載用移動体検出装置に係り、特に、自車両周辺を撮像するように車両に設置された車載カメラ等の撮像手段によって撮像された画像から移動体を検出する装置に関する。
【背景技術】
【０００２】
交差点の進入時や車両の後退時に運転者の視界を補う装置として、車載カメラとディスプレイを用いた運転支援システムが多数提案されている。例えば、見通しの悪い交差点では、交差点に完全に進入する前に、車両の前方に取り付けられた側方を撮像するカメラにより交差点の状況をあらかじめディスプレイに表示し、側方道路からの接近車両などを把握できるようにしたものが知られている。
【０００３】
また、車両の側方を監視する側方監視装置として、車両の側方を撮像する車載カメラから得た所定時間前後の２画像に基づいて、自車両へ接近する物体（移動体）を検出し、その接近度合から危険度を判定するものがある（例えば、特許文献１）。
【０００４】
【特許文献１】特開２００１−２１３２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記に示されるような従来の側方監視装置においては、第１の課題として、２画像中の同一物の移動量を算出するには画像間の詳細なマッチングが必要となり、計算量が膨大となることが挙げられる。このため、処理中に接近物体がさらに移動してしまい、危険度の判定が間に合わなくなるという欠点がある。
【０００６】
第２の課題としては、２画像を記録する所定時間の間に自車両が移動した場合には、画像全体が変化するため、画像全体を接近する物体と誤検出してしまうという欠点がある。
【０００７】
第３の課題としては、夜間に接近物体が発光するヘッドライト等をカメラで撮像した場合、カメラの受光素子の許容限度を超えてしまい、その周辺の素子まで明るく変化する現象が発生する。このため、接近物体を実際よりも大きい物体であると誤検出するという欠点がある。
【０００８】
第４の課題としては、カメラの撮像画面に地平線より上方が含まれていると、例えば飛行機なども接近物体と検出してしまう。また、そのために計算処理の時間も増大するという欠点がある。
【０００９】
第５の課題としては、接近物体の接近度合を危険度として通報する際に、カメラで撮像した画面との関連がわからないと、運転者が状況を把握しづらいという欠点がある。
【００１０】
第６の課題としては、自車両の周辺地形が水平でなく傾きを持っているときは、周辺地形を水平とみなしてカメラで撮像した画像を単純に座標変換すると、接近物体までの距離や方向の接近度合に誤差を生じるという欠点がある。
【００１１】
本発明は前記課題に鑑みてなされたものであって、その目的とするところは、撮像画像を記録する条件を適切に設定して誤検出を防ぎ、接近物体の検出を最も重要な部分に着目して行うことによって計算量を削減し、移動体の重要な情報を高速に効率よく検出する移動体検出装置を提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明による車載用移動体検出装置は、自車両周辺を撮像するように車両に設置された撮像手段によって撮像された画像から移動体を検出する車載用移動体検出装置であって、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する変化領域抽出手段と、前記変化領域抽出手段によって抽出された変化領域中の最も自車両に近い座標点を移動体として検出する移動体検出手段とを有する。
【００１３】
本発明による車載用移動体検出装置は、更に、自車両がおおよそ停止状態かどうかであるか否かを判定する停止状態判定手段を有し、前記変化領域抽出手段は、前記停止状態判定手段によって自車両がおおよそ停止状態と判定された場合にのみ、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する。
【００１４】
本発明による車載用移動体検出装置は、更に、前記撮像手段によって撮像された画像中の輝度を検出する画像輝度検出手段と、前記画像輝度検出手段によって所定値以上の輝度が検出された場合に前記撮像手段の受光量を低減する受光量低減手段を有する。
【００１５】
本発明による車載用移動体検出装置は、更に、前記変化領域抽出手段に用いる前記画像の地平線上方の領域を除外する領域除外手段を有する。
【００１６】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体を前記画像中にマーキングして表示する移動体表示手段を有する。
【００１７】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体と自車両との距離を通知する距離通知手段を有する。
【００１８】
本発明による車載用移動体検出装置は、更に、前記移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出する相対位置算出手段と、前記相対位置算出手段によって算出された相対位置を表示する相対位置表示手段とを有する。
【００１９】
本発明による車載用移動体検出装置は、更に、自車両周辺の地形情報を用いて前記相対位置算出手段によって算出された相対位置の補正を行う地形対応位置補正手段を有する。
【００２０】
本発明による車載用移動体検出装置は、更に、自車両の傾斜状態を測定する傾斜状態測定手段と、前記傾斜状態測定手段によって測定された傾斜状態に基づいて前記相対位置算出手段によって算出された相対位置の補正を行う傾斜対応位置補正手段とを有する。
【発明の効果】
【００２１】
本発明による車載用移動体検出装置によれば、画像の差分から得た各変化領域中の最も自車両に近い座標点のものを移動体として検出することにより、計算量を削減することができる。これは従来、変化領域内のすべての点について画像間のマッチングを行い、さらに移動距離や接近速度を計算する必要があったために計算量が膨大となっていたが、それを最も自車両に近い座標点のみに限定することにより画像間のマッチングが不要となり、移動距離や接近速度の計算量を大幅に削減することができる。
【発明を実施するための最良の形態】
【００２２】
（実施形態１）
本発明による車載用移動体検出装置の実施形態１を、図１〜図７を参照して説明する。
【００２３】
本実施形態の車載用移動体検出装置は、図１に示されているように、カメラ５と、画像信号入力部６と、第一画像記憶部７と、第二画像記憶部８と、変化領域抽出部９と、車速センサ１０と、車速信号入力部１１と、車両停止判定部１２と、距離情報変換部１３と、移動体検出部１４とを有する。
【００２４】
カメラ５は、本実施形態では、図２に示されているように、車両側方を撮像するように車両前方側面に設置されており、符号１５により示されている撮像方向の撮影を行う。なお、カメラ５は車両周辺を撮像するように設置されていればよく、設置場所は、前方、後方などどこであってもよい。また、撮像方向も車両側方に限らず、車両前方、車両後方などであってもよい。
【００２５】
カメラ５によって撮像された画像は、アナログ信号となって画像信号入力部６に入力される。ここでデジタル信号に変換された画像信号は、第一画像記憶部７と第二画像記憶部８に記憶される。第一画像記憶部７と第二画像記憶部８への入力は、画像信号入力部６により所定の時間差をもって振り分けられる。第一画像記憶部７と第二画像記憶部８に記憶された画像信号は、変化領域抽出部９に入力される。
【００２６】
車速センサ１０によって取得された車速情報は、パルス信号となって車速信号入力部１１に入力される。車速情報は車速信号入力部１１においてデジタル信号に変換され、停止判定部１２に入力される。
【００２７】
車両停止判定部１２は、車速信号入力部１１よりの車速情報に基づいて、おおよそ停止状態であるか否かを判定する。車両停止判定部１２がおおよそ停止状態と判定した場合には、変化領域抽出部９に処理許可信号が入力される。
【００２８】
変化領域抽出部９に処理許可信号が入力された場合には、第一画像記憶部７と第二画像記憶部８に格納された画像信号が変化領域抽出部９に入力される。
【００２９】
これにより、変化領域抽出部９は、自車両がおおよそ停止状態にある時のみ、第一画像記憶部７に格納された画像信号と第二画像記憶部８に格納された画像信号とを参照し、２次元画像として両画像（第一画像記憶部７に格納された画像信号による２次元画像と第二画像記憶部８に格納された画像信号による２次元画像）の差分成分を抽出する。
【００３０】
この差分成分が画像中の変化領域を表しており、例えば、移動している他の車両、歩行者などの移動体である。
【００３１】
次に、距離情報変換部１３は、カメラ５が設置されている方向や画角によってあらかじめ算出された路面距離マップを備えており、撮像された２次元画像の各座標点を自車両からの距離情報に変換する機能を有している。
【００３２】
これにより、距離情報変換部１３は、路面距離マップを参照して、変化領域抽出部９によって抽出された変化領域の各座標点を、自車両からの距離情報に変換する。
【００３３】
移動体検出部１４は、距離情報変換部１３によって変換された距離情報のうち、最も距離値の小さいもの、すなわち自車両に最も近い座標点を抽出する。これが、距離情報変換部１３によって抽出された変化領域のうち、自車両に最も近い座標点にある移動体であり、これを移動体として検出する。
【００３４】
次に、画像信号（画像データ）を用いた変化領域抽出の原理について、図３、図４を参照して説明する。
【００３５】
図３（ａ）、（ｂ）は、撮像された画像の例を示している。図３（ａ）は、第一画像記憶部７に記憶された画像データによる画像を、図３（ｂ）は第二画像記憶部８に記憶された画像データによる画像を各々示している。
【００３６】
図４（ａ）、（ｂ）は、変化領域抽出部９の動作を模式的に示している。図４（ａ）は、説明のために、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）とを合成した画像を示している。図４（ｂ）は、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）の差分成分を抽出した画像を示している。
【００３７】
変化領域抽出部９は、第一画像記憶部７と第二画像記憶部８に記憶された画像データ中の各画素について、一般的にＲＧＢで表される色情報の差分を計算する。これを、第一画像記憶部７に記憶された画像データによる画像（図３（ａ）の画像）と第二画像記憶部８に記憶された画像データによる画像（図３（ｂ）の画像）に適用した結果を示したのが、図４（ｂ）に示されている画像である。図４（ｂ）において、抽出された差分成分は、符号２０により示されている。図３（ａ）の画像と図３（ｂ）の画像中における移動物体の画素のみが差分（差分成分２０）として抽出され、静止している背景、路面を表す画素は抽出されない。
【００３８】
次に、距離情報への変換の原理について、図５〜図７を参照して説明する。
【００３９】
図５は、自車両周辺の位置情報を平面格子によって模式的に表している。ここで、符号２１は自車両を表し、図５の平面格子は自車両２１を上方から俯瞰して得られる。符号Ａ〜Ｇは、平面格子の格子点を表している。
【００４０】
図６は、距離情報変換部１３が備えている路面距離マップを示している。路面距離マップは、カメラ５を通して図５に示されている平面格子を見た形となっており、図５の格子点Ａ〜Ｇが、図６の格子点Ａ〜Ｇに対応しており、各々、同一位置を表している。
【００４１】
図５に示されている平面格子において、各格子点Ａ〜Ｇの自車両２１からの距離を算出できる。符号Ｃｄは、格子点Ｃと自車両２１との距離を表しており、この図では３ｍである。同様に、図６の格子点Ｃと自車両２１との距離も３ｍである。この距離情報を、各格子点だけでなく、画素の各点において、あらかじめ算出しておき、路面距離マップとする。例えば、図６の格子点Ｃに対応する画素は、３ｍという距離情報を保持する。
【００４２】
図７は、この路面距離マップを、変化領域抽出部９によって得た差分成分２０に適用する様子を示している。差分成分２０の領域中において、格子点Ｃに対応する画素は、路面距離マップによって３ｍという距離情報を得ることができる。これを差分成分２０の領域の各画素について適用し、各画素の距離情報が得られる。ここで、差分成分２０の領域の各画素についての適用は、必ずしも画面上方や下方からに限らず、例えば、路面距離マップにおいて、距離の近い画素の順に行ってもよい。
【００４３】
このようにして得られた距離情報のうち最も値の小さい点、すなわち、自車両に近い距離にある点を移動体検出部１４によって抽出し、移動体として検出する。図７における符号２０ｐが、差分成分２０の各画素に属する距離情報のうち、最も値の小さい座標点を示し、この例では、自車両２１からの距離は２．８ｍである。
【００４４】
移動体検出部１４は、距離情報変換部１３によって変換された距離情報のうち、座標点２０ｐを自車両に最も近い座標点にある移動体として検出する。
【００４５】
このように移動体の検出を、最も自車両に近い座標点のみに限定することにより、画像間のマッチングが不要となり、その後の移動距離や接近速度の計算量を大幅に削減することができる。
【００４６】
また、変化領域抽出部９は、自車両がおおよそ停止状態にある時のみ変化領域抽出を行うから、２画像を記録する所定時間の間に自車両が移動し、画像全体が変化したことにより、画像全体を接近する物体と誤検出してしまうことを未然に排除できる。
【００４７】
（実施形態２）
本発明による車載用移動体検出装置の実施形態２を、図８を参照して説明する。なお、図８において、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００４８】
本実施形態では、実施形態１の車載用移動体検出装置に、画像輝度検出部２２と、受光量低減部２３とが追加されている。
【００４９】
画像輝度検出部２２は、画像信号入力部６によってデジタル信号に変換された画像信号のＲＧＢの色情報から、その輝度成分を検出する。この輝度成分が所定値以上であると判定された場合には、受光量低減部２３に、その輝度成分の値に応じて算出された受光量低減信号が送られる。
【００５０】
受光量低減部２３は、画像輝度検出部２２よりの受光量低減信号に応じて、カメラ５のシャッタスピード、絞りなどを操作し、露出補正制御を行う。
従って、カメラ５が強い光源からの光を受光した場合でも、適切な画像が得られ、接近物体を誤検出することが避けられる。
【００５１】
（実施形態３）
本発明による車載用移動体検出装置の実施形態３を、図９、図１０を参照して説明する。なお、図９においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００５２】
第３の実施例を図面を用いて説明する。図９はこの発明の実施の形態３を示した構成図であり、図において２４は領域除外部である。５から１４については図２と同様である。本発明の第１の実施例と異なる点を以下説明する。
【００５３】
本実施形態では、実施形態１の車載用移動体検出装置に、領域除外部２４が追加されている。
領域除外部２４は、画像信号入力部６によってデジタル信号に変換された画像信号のうち、地平線上方部分の情報を除外する。領域除外部２４によって地平線上方部分を除外された画像信号が第一画像記憶部７と第二画像記憶部８に記憶される。
【００５４】
図１０は、地平線上方部分が除外された画像の例を示している。符号２５は、除外領域（除外地平線上方部分）であり、除外された領域を分かり易くするために、ハッチングで示している。
【００５５】
このように、有効領域を地平線以下に限定することにより、地平線上方の飛行物体などを除外することができ、併せて画像を記憶する第一画像記憶部７と第二画像記憶部８の記憶容量も少なくて済む。さらにその後の変化領域抽出部９において、地平線下方のみの処理で済むため、計算量を削減することができる。
【００５６】
（実施形態４）
本発明による車載用移動体検出装置の実施形態４を、図１１、図１２を参照して説明する。なお、図１１においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００５７】
本実施形態では、実施形態１の車載用移動体検出装置に、移動体表示部２６が追加されている。
移動体表示部２６は、液晶ディスプレイ等により構成されて運転席前方に設置されており、画像信号入力部６によってデジタル信号に変換された画像信号を入力し、それを画像として表示する。
【００５８】
移動体表示部２６は、移動体検出部１４より座標点２０ｐに関する情報を入力することにより、移動体検出部１４によって検出された移動体を表す点も、画像中にマーキングして表示する。
【００５９】
図１３は、移動体表示部２６によって表示される画像例を示したものである。符号２７は移動体として検出された最も自車両に近い座標点２０ｐの表示画像であり、この例では、星印としてマーキングしている。
【００６０】
従って、運転者は、運転席前方に設置された移動体表示部２６を目視することにより、画像中の移動体がどれであるかを、即座に、的確に把握することができる。
【００６１】
（実施形態５）
本発明による車載用移動体検出装置の実施形態５を、図１３、図１４を参照して説明する。なお、図１３においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００６２】
本実施形態では、実施形態１の車載用移動体検出装置に、距離通知部２８が追加されている。
移動体検出部１４によって検出された移動体を表す座標点２０ｐのデータは、距離情報変換部１３によって得られた距離情報を保持している。
距離通知部２８は、運転席の前方に設置される表示器等により構成され、移動体検出部１４より座標点２０ｐに関する情報を入力し、座標点２０ｐの距離情報を通知する。
【００６３】
図１４は、距離通知部２８によって通知される座標点２０ｐの距離情報の表示例を示している。この例では、距離情報が、「接近物体との距離」として、デジタル数値情報として表示されている。
従って、カメラの撮像した画像では分かり難いような移動体までの距離を、運転者は、容易に、的確に把握することができる。
【００６４】
（実施形態６）
本発明による車載用移動体検出装置の実施形態６を、図１５〜図１８を参照して説明する。なお、図１５においても、図１に対応する部分は、図１に付した符号と同一の符号を付けて、その説明を省略する。
【００６５】
本実施形態では、実施形態１の車載用移動体検出装置に、相対位置算出部２９と、相対位置表示部３０とが追加されている。
相対位置算出部２９は、距離情報変換部１３が備える路面距離マップと同様の相対位置マップを備えている。
【００６６】
図１６は、自車両周辺の位置情報を平面格子によって模式的に表している。図１６においても、符号２１は自車両を表し、図１６の平面格子は、図５と同様に、自車両２１を上方から俯瞰して得られる。符号Ａ〜Ｇは、図５と同様に、平面格子の格子点を表している。
【００６７】
図１７は、相対位置算出部２９が備える相対位置マップを示している。相対位置マップは、距離情報変換部１３が備える路面距離マップと同様に、カメラ５を通して図１７の格子を見た形となっている。
路面距離マップでは各格子点は距離情報を保持していたが、相対位置マップでは相対位置情報を保持する。
【００６８】
図１６の格子点Ｃは、この例では任意の位置を基準点とした（ｘ，ｙ）＝（３，２）という相対位置である。これに対応する図１７の格子点Ｃは（ｘ，ｙ）＝（３，２）という相対位置情報を保持する。この相対位置情報を、各格子点だけでなく画素の各点においてあらかじめ算出しておき、相対位置マップとする。これを変化領域抽出部９によって得た差分成分２０の領域の各画素について適用し、各画素の相対位置が得られる。
【００６９】
相対位置算出部２９は、移動体検出部１４によって検出された移動体の画素情報を照合し、移動体を表す座標点２０ｐの自車両に対する相対位置情報を相対位置表示部３０に出力する。
【００７０】
相対位置表示部３０は、液晶ディスプレイ等により構成されて運転席前方に設置されており、相対位置表示部３０より自車両に対する移動体を表す座標点２０ｐの相対位置情報を入力し、図１８に示されているように、自車両２１を上方から俯瞰した表示と共に、移動体を、自車両２１の表示に対して相対位置算出部２９によって算出された相対位置をもって、表示する。この表示例では、移動体は星印３２によって表示されている。
【００７１】
従って、運転者は、運転席前方に設置された相対位置表示部３０を目視することにより、カメラ５が撮像した画像では分かり難いような移動体までの距離や自車両との相対位置を、容易に、的確に把握することができる。
【００７２】
（実施形態７）
本発明による車載用移動体検出装置の実施形態７を、図１９〜図２１を参照して説明する。なお、図１９において、図１、図１５に対応する部分は、図１、図１５に付した符号と同一の符号を付けて、その説明を省略する。
【００７３】
本実施形態では、実施形態６の車載用移動体検出装置に、地形対応相対位置補正部３３が追加されている。
地形対応相対位置補正部３３は、ナビゲーションシステムからの地図情報やＧＰＳなどによる車両現在位置情報により、車両周辺の地形情報に基づいた相対位置補正を行う。
【００７４】
図２０は、図５と同様に、自車両周辺の位置情報を平面格子によって模式的に表している。図２１は地形対応相対位置補正部３３が行う相対位置補正を説明する図である。図２１はカメラ５を通して図２０の格子を見た形となっている。
【００７５】
ここでは、格子点Ｃ周辺が丘陵地として盛り上がっている地形の例を示している。図２０の格子点Ｃに対応する点は図２１の格子点Ｃであるが、地形が平坦な場合には、図２１の格子点Ｃ’である。
【００７６】
このように地形の違いにより、俯瞰図では同一の位置であっても、カメラ５を通して撮像される画像が変化する。この例では、格子点Ｃの相対位置は（ｘ，ｙ）＝（３，２）であり、格子点Ｃ’の相対位置は（ｘ，ｙ）＝（２．５，１．９）である。これは、車両周辺の地形の標高情報とカメラの方向および画角から算出される。
【００７７】
地形対応相対位置補正部３３は、相対位置算出部２９によって算出された相対位置情報を、この原理によって補正する。
従って、自車両周辺の地形が、一様な水平でなく、傾きを含んでいる場合も、その地形情報を用いて自車両２１と移動体の相対位置の補正を行うことで、正確な相対位置の算出を行うことができる。
【００７８】
（実施形態８）
本発明による車載用移動体検出装置の実施形態８を、図２２〜図２４を参照して説明する。なお、図２２においても、図１、図１５に対応する部分は、図１、図１５に付した符号と同一の符号を付けて、その説明を省略する。
【００７９】
本実施形態では、実施形態６の車載用移動体検出装置に、傾斜対応相対位置補正部３５が追加されている。
本実施形態では、実施形態６の車載用移動体検出装置に、傾斜状態測定部３４と、傾斜対応相対位置補正部３５とが追加されている。
【００８０】
傾斜状態測定部３４は、車両に搭載されたジャイロセンサあるいはハイトセンサ、サスペンションアクチュエータなどにより、自車両２１の傾斜状態を測定し、傾斜情報を傾斜対応相対位置補正部３５に出力する。
【００８１】
図２３は、図５と同様に、自車両周辺の位置情報を平面格子によって模式的に表している。図２４は傾斜対応相対位置補正部３５が行う相対位置補正を説明する図である。図２４はカメラ５を通して図２３の格子を見た形となっている。
【００８２】
ここでは、自車両２１が傾斜して地平線３５が傾いて撮像されている例を示している。図２３の格子点Ｃに対応する点は図２４の格子点Ｃであるが、自車両２１が水平の場合には、図２４の格子点Ｃ’である。
【００８３】
このように、自車両２１の傾斜状態の違いにより、俯瞰図では同一の位置であっても、カメラ５を通して撮像される画像が変化する。この例では、格子点Ｃの相対位置は（ｘ，ｙ）＝（３，２）であり、格子点Ｃ’の相対位置は（ｘ，ｙ）＝（２．９，１．８）である。これは自車両２１の傾斜情報とカメラ５の方向および画角から算出される。
【００８４】
傾斜対応相対位置補正部３５は、相対位置算出部２９によって算出された相対位置情報を、この原理によって補正する。
従って、自車両周辺の地形が、一様な水平でなく、傾きを含んでいる場合も、自車両２１の傾斜状態を測定してこの傾斜状態に基づいて自車両２１と移動体の相対位置の補正を行うことで、正確な相対位置の算出を行うことができる。
【００８５】
以下に、本発明による車載用移動体検出装置の効果を要約して説明する。
【００８６】
（１）従来は、変化領域内のすべての点について画像間のマッチングを行い、さらに移動距離や接近速度を計算する必要があったため、計算量が膨大となっていた検出プロセスを、移動体検出手段は、画像の差分から得た各変化領域中の最も自車両に近い座標点を座標点のみに限定して移動体として検出するので、画像間のマッチングが不要となり、移動距離や接近速度の計算量を大幅に削減できる。
【００８７】
（２）車両停止判定部が、自車両がおおよそ停止状態と判定した場合にのみ、撮像された複数の画像の差分を用いるため、移動体以外の背景の部分が一致し、適切に消去することができる。これにより移動体の誤検出を防ぐことができる。
【００８８】
（３）画像輝度検出手段が、撮像手段によって撮像された画像中の輝度を検出し、受光量低減手段が、画像輝度検出手段によって所定値以上の輝度が検出された場合に撮像手段の受光量を低減するので、強い光源からの光を受光した場合でも適切な画像が得られ、接近物体を誤検出を防ぐことができる。
【００８９】
（４）領域除外手段が、変化領域抽出手段に用いる画像の地平線上方の領域を除外するので、地平線上方の飛行物体などの誤検出を防ぐという効果を持つ。また地平線下方の処理のみで済むため計算量を削減でき、さらに、画像を一時的に記憶するメモリ容量なども少なくて済む。
【００９０】
（５）移動体表示手段が、移動体検出手段によって検出した移動体を画像中にマーキングして表示するため、運転者は画像中の移動体がどれであるかを即座に把握することができる。
【００９１】
（６）距離通知手段が、移動体検出手段によって検出した移動体と自車両との距離を通知するので、カメラの撮像した画像では分かり難いような移動体までの距離を運転者が容易に把握できる。
【００９２】
（７）相対位置算出手段が、移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出し、相対位置表示手段がこの相対位置を表示するので、カメラの撮像した画像では分かり難いような移動体までの距離や自車両との相対位置を運転者が容易に把握できる。
【００９３】
（８）地形対応相対位置補正手段が、自車両周辺の地形情報を用いて相対位置の補正を行うので、自車両周辺の地形が一様な水平でなく傾きを含んでいる場合も、正確な相対位置の算出を行うことができる。
【００９４】
（９）傾斜状態測定手段が自車両の傾斜状態を測定し、傾斜対応相対位置補正手段が、この傾斜状態に基づいて相対位置の補正を行うので、自車両周辺の地形が一様な水平でなく傾きを含んでいる場合も、正確な相対位置の算出を行うことができる。
【図面の簡単な説明】
【００９５】
【図１】本発明による車載用移動体検出装置の実施形態１を示す構成図。
【図２】図１のカメラの設置例および撮像方向例を示す図。
【図３】（ａ）、（ｂ）は、図１の第一画像記憶部、第二画像記憶部に記憶する画像例を示す図。
【図４】（ａ）、（ｂ）は、変化領域抽出部の動作例を示す図。
【図５】自車両周辺の位置情報例を示す図。
【図６】距離情報変換部が備える路面距離マップ例を示す図。
【図７】路面距離マップの適用例を示す図。
【図８】本発明による車載用移動体検出装置の実施形態２を示す構成図。
【図９】本発明による車載用移動体検出装置の実施形態３を示す構成図。
【図１０】実施形態３による車載用移動体検出装置において地平線上方部分が除外された画像例を示す図。
【図１１】本発明による車載用移動体検出装置の実施形態４を示す構成図。
【図１２】実施形態４による車載用移動体検出装置における移動体表示部によって表示された画像例を示す図。
【図１３】本発明による車載用移動体検出装置の実施形態５を示す構成図。
【図１４】実施形態５による車載用移動体検出装置における距離通知部によって通知された表示例を示す図。
【図１５】本発明による車載用移動体検出装置の実施形態６を示す構成図。
【図１６】実施形態６による自車両周辺の位置情報例を示す図。
【図１７】実施形態６による相対位置算出部が備える相対位置マップ例を示す図。
【図１８】実施形態６による車載用移動体検出装置における相対位置表示部による表示例を示す図。
【図１９】本発明による車載用移動体検出装置の実施形態７を示す構成図。
【図２０】実施形態７による自車両周辺の位置情報例を示す図。
【図２１】実施形態７による相対位置補正部による相対位置補正例を示す図。
【図２２】本発明による車載用移動体検出装置の実施形態８を示す構成図。
【図２３】実施形態８による自車両周辺の位置情報例を示す図。
【図２４】実施形態８による相対位置補正部による相対位置補正例を示す図。
【符号の説明】
【００９６】
５ カメラ
６ 画像信号入力部
７ 第一画像記憶部
８ 第二画像記憶部
９ 変化領域抽出部
１０ 車速センサ
１１ 車速信号入力部
１２ 車両停止判定部
１３ 距離情報変換部
１４ 移動体検出部
１５ 撮像方向
２０ 抽出された差分成分
２０ｐ 移動体として検出された最も自車両に近い座標点
２１ 自車両
２２ 画像輝度検出部
２３ 受光量低減部
２４ 領域除外部
２５ 除外された領域
２６ 移動体表示部
２７ 検出された移動体
２８ 距離通知部
２９ 相対位置算出部
３０ 相対位置表示部
３２ 星印によってマーキングされた移動体
３３ 地形対応相対位置補正部
３４ 傾斜状態測定部
３５ 傾斜対応相対位置補正部
【特許請求の範囲】
【請求項１】
自車両周辺を撮像するように車両に設置された撮像手段によって撮像された画像から移動体を検出する車載用移動体検出装置であって、
前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段によって抽出された変化領域中の最も自車両に近い座標点を移動体として検出する移動体検出手段と、
を有することを特徴とする車載用移動体検出装置。
【請求項２】
自車両がおおよそ停止状態かどうかであるか否かを判定する停止状態判定手段を有し、
前記変化領域抽出手段は、前記停止状態判定手段によって自車両がおおよそ停止状態と判定された場合にのみ、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出することを特徴とする請求項１に記載の車載用移動体検出装置。
【請求項３】
前記撮像手段によって撮像された画像中の輝度を検出する画像輝度検出手段と、
前記画像輝度検出手段によって所定値以上の輝度が検出された場合に前記撮像手段の受光量を低減する受光量低減手段を有することを特徴とする請求項１又は２に記載の車載用移動体検出装置。
【請求項４】
前記変化領域抽出手段に用いる前記画像の地平線上方の領域を除外する領域除外手段を有することを特徴とする請求項１から３のいずれか一項に記載の車載用移動体検出装置。
【請求項５】
前記移動体検出手段によって検出した移動体を前記画像中にマーキングして表示する移動体表示手段を有することを特徴とする請求項１から４のいずれか一項に記載の車載用移動体検出装置。
【請求項６】
前記移動体検出手段によって検出した移動体と自車両との距離を通知する距離通知手段を有することを特徴とする請求項１から５のいずれか一項に記載の車載用移動体検出装置。
【請求項７】
前記移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出する相対位置算出手段と、
前記相対位置算出手段によって算出された相対位置を表示する相対位置表示手段と、
を有することを特徴とする請求項１から６のいずれか一項に記載の車載用移動体検出装置。
【請求項８】
自車両周辺の地形情報を用いて前記相対位置算出手段によって算出された相対位置の補正を行う地形対応位置補正手段を有することを特徴とする請求項７に記載の車載用移動体検出装置。
【請求項９】
自車両の傾斜状態を測定する傾斜状態測定手段と、
前記傾斜状態測定手段によって測定された傾斜状態に基づいて前記相対位置算出手段によって算出された相対位置の補正を行う傾斜対応位置補正手段と、
を有することを特徴とする請求項７又は８に記載の車載用移動体検出装置。
【請求項１】
自車両周辺を撮像するように車両に設置された撮像手段によって撮像された画像から移動体を検出する車載用移動体検出装置であって、
前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出する変化領域抽出手段と、
前記変化領域抽出手段によって抽出された変化領域中の最も自車両に近い座標点を移動体として検出する移動体検出手段と、
を有することを特徴とする車載用移動体検出装置。
【請求項２】
自車両がおおよそ停止状態かどうかであるか否かを判定する停止状態判定手段を有し、
前記変化領域抽出手段は、前記停止状態判定手段によって自車両がおおよそ停止状態と判定された場合にのみ、前記撮像手段によって撮像された複数の画像の差分を用いて１つ以上の変化領域を抽出することを特徴とする請求項１に記載の車載用移動体検出装置。
【請求項３】
前記撮像手段によって撮像された画像中の輝度を検出する画像輝度検出手段と、
前記画像輝度検出手段によって所定値以上の輝度が検出された場合に前記撮像手段の受光量を低減する受光量低減手段を有することを特徴とする請求項１又は２に記載の車載用移動体検出装置。
【請求項４】
前記変化領域抽出手段に用いる前記画像の地平線上方の領域を除外する領域除外手段を有することを特徴とする請求項１から３のいずれか一項に記載の車載用移動体検出装置。
【請求項５】
前記移動体検出手段によって検出した移動体を前記画像中にマーキングして表示する移動体表示手段を有することを特徴とする請求項１から４のいずれか一項に記載の車載用移動体検出装置。
【請求項６】
前記移動体検出手段によって検出した移動体と自車両との距離を通知する距離通知手段を有することを特徴とする請求項１から５のいずれか一項に記載の車載用移動体検出装置。
【請求項７】
前記移動体検出手段によって検出した移動体の座標点を座標変換し、自車両との相対位置を算出する相対位置算出手段と、
前記相対位置算出手段によって算出された相対位置を表示する相対位置表示手段と、
を有することを特徴とする請求項１から６のいずれか一項に記載の車載用移動体検出装置。
【請求項８】
自車両周辺の地形情報を用いて前記相対位置算出手段によって算出された相対位置の補正を行う地形対応位置補正手段を有することを特徴とする請求項７に記載の車載用移動体検出装置。
【請求項９】
自車両の傾斜状態を測定する傾斜状態測定手段と、
前記傾斜状態測定手段によって測定された傾斜状態に基づいて前記相対位置算出手段によって算出された相対位置の補正を行う傾斜対応位置補正手段と、
を有することを特徴とする請求項７又は８に記載の車載用移動体検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−１８１１２９（Ｐ２００７−１８１１２９Ａ）
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願番号】特願２００５−３７９９９５（Ｐ２００５−３７９９９５）
【出願日】平成１７年１２月２８日（２００５．１２．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年７月１２日（２００７．７．１２）
【国際特許分類】
【出願日】平成１７年１２月２８日（２００５．１２．２８）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]