車両周辺監視装置
【課題】オプティカルフローによる画像処理を用いることなく、撮影画像から移動物体を検出し、その移動物体の存在を運転者が容易に気づくことができる車両周辺監視装置を提供する。
【解決手段】自車両に搭載され、自車両外部の周辺を撮影する撮影装置と、撮影装置にて撮影された撮影画像における検出ラインを設定し、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出する検出手段と、検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、撮影画像及び情報表示を表示する表示装置とを備える車両周辺監視装置。
【解決手段】自車両に搭載され、自車両外部の周辺を撮影する撮影装置と、撮影装置にて撮影された撮影画像における検出ラインを設定し、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出する検出手段と、検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、撮影画像及び情報表示を表示する表示装置とを備える車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両周辺の移動体を監視する車両周辺監視装置に関する。
【背景技術】
【0002】
カメラにより撮影した画像を表示し、運転者の視界を支援する車両周辺監視装置として、例えば、特許文献1に記載されるように、画角が180度(もしくはそれ以上)となる広角レンズを備えたカメラ装置が提案されている。このようなカメラ装置によれば、広い視野範囲を撮影することができる反面、図3に示すように、撮影画像における周囲の物体が小さくなってしまう。特に、後退発進の場合には、左右に駐車された車両とのクリアランスにも注意する必要があり、画面上に小さく表示される物体に運転者は気づきにくい。
【0003】
そのため、例えば、特許文献2に記載されるように、撮影画像から移動物体を切り出し、移動物体を強調表示するモニタ装置が提案されている。特許文献2では、撮影画像の特徴点のオプティカルフローを計算し、各特徴点の動きベクトルを求めることにより、移動物体の切り出しが可能となる。そして、切り出した移動物体を強調して表示することにより、車両前方の死角に移動物体が存在することを容易に認識することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−110202号
【特許文献2】特開2005−123968号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献2のようにオプティカルフローにより動きベクトルを抽出する画像処理は、計算量が膨大となる。そのため、移動物体の動きに追従して精度良く切り出しを行うためには、別途専用のプロセッサを設け、処理時間を短くする必要が生じる。
【0006】
本発明は、このようなオプティカルフローによる画像処理を用いることなく、撮影画像から移動物体を検出し、その移動物体の存在を運転者が容易に気づくことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために成された請求項1に記載の発明は、自車両に搭載され、自車両外部の周辺を撮影する撮影装置と、撮影装置にて撮影された撮影画像における検出ラインを設定し、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出する検出手段と、検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、撮影画像及び情報表示を表示する表示装置とを備えることを特徴とする。このように、請求項1に記載の発明においては、移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出することで、オプティカルフローによる画像処理を用いることなく、少ない計算量で移動物体を検出することができる。そして、その検出結果に応じて情報表示を生成し、表示装置にて撮影画像とともに表示するため、運転者は移動物体を容易に認識することができる。ここで、検出ラインとは、必ずしもライン状である必要はなく、所定幅の領域であればよい。検出に要する処理負荷を削減したい場合は、請求項11に記載された発明のように、2つの点を結ぶ検出ラインを設定すればよい。
【0008】
かかる検出手段は、請求項2に記載された発明のように、検出ライン上における画素の明るさの変化量が所定閾値以上となる場合、その画素の位置に移動物体が存在すると判断する。すなわち、明るさの増加量もしくは減少量が所定閾値以上となる場合、移動物体が存在すると判断する。この所定閾値は、常に固定である必要はなく、明るさが増加する場合と減少する場合とで変えてもよいし、昼間と夜間とで変えてもよい。実験等により、好適な所定閾値を定めておけば、移動物体の検出精度を向上することができる。
【0009】
また、請求項3に記載の発明では、その画素の位置の時間的変化を監視することにより、移動物体の移動方向を検出する。これにより、移動物体が、検出ライン上においていずれの方向へ移動しているかを検出することができる。
【0010】
また、請求項4に記載の発明では、検出ラインの実空間上の距離を算出し、自車両から移動物体の位置までの距離を検出する。すなわち、検出ラインを実空間の路面上に投影した場合の距離を、撮影装置のレンズ画角やレンズ歪み係数に応じて算出する。これにより、移動物体が自車両からどの程度離れた位置に存在するかを検出することができる。
【0011】
かかる生成手段は、請求項5に記載された発明のように、撮影画像の端点近傍から移動物体の位置に対応する点の近傍まで、第1端部に沿うよう情報表示を生成する。これにより、運転者は、どの位置に移動物体が存在するかを容易に把握することができる。
【0012】
また、請求項6に記載の発明では、移動物体の移動方向が撮影画像における第2端部から他の端部へ向かう方向である場合、第2端部に沿うよう情報表示を生成する。これにより、運転者は、いずれの方向から移動物体が移動してくるかを瞬時に認識することができる。ゆえに、例えば、広角レンズにより、画像周囲の移動物体が小さく撮影された場合であっても、移動物体に対する注意喚起を運転者へ促すことができ、安全性を向上させることができる。
【0013】
また、請求項7に記載の発明では、移動物体が自車両に近づくと判断した場合、情報表示の生成を行い、移動物体が自車両から遠ざかると判断した場合、情報表示の生成を行わないよう構成する。移動物体が自車両に近づく場合は運転者への注意喚起の必要性が高いが、自車両から遠ざかる場合には注意喚起の必要性は低い。ゆえに、移動物体が自車両に近づくか遠ざかるかを判断し、遠ざかる場合には情報表示の生成を行わないこととする。これにより、運転者にとって必要性の低い情報表示を抑制することができる。
【0014】
また、情報表示の態様は、請求項8に記載された発明のように、移動物体の位置もしくは自車両から移動物体までの距離に応じて変化させてもよい。または、請求項9に記載された発明のように、移動物体の移動速度に応じて変化させてもよい。具体的には、請求項10に記載された発明のように、情報表示の色、太さ、点滅間隔の少なくともいずれか1つを変化させるよう構成する。このように、警告度合いに関係のある検出結果に応じて情報表示の態様を変化させることにより、運転者に対して好適な注意喚起を与えることができる。
【0015】
かかる検出手段は、請求項12に記載された発明のように、広角レンズの歪みに応じた検出ラインを設定してもよい。例えば、自車両の周囲180度を撮影できる広角レンズで撮影した場合、図3に示すように歪んだ画像となる。そのため、広角レンズの歪みに応じた検出ラインを設定し、実空間の路面上に投影した場合に直線に近づくような検出ラインとする。これにより、移動物体の検出率を向上することができる。
【0016】
また、請求項13に記載された発明のように、撮影画像に対応する2つの無限遠点を結ぶ検出ラインを設定してもよい。広角レンズで撮影された画像には、2つの無限遠点(消失点とも言う)が存在する。広角レンズの画角によって、撮影画像中に無限遠点が存在する場合と、撮影画像外に仮想的な無限遠点が存在する場合とがあり得るが、本発明はいずれの場合をも含む概念である。そして、これら無限遠点を結ぶ線を検出ラインとして設定する。これにより、無限遠点付近の移動物体を精度良く検出することができる。
【0017】
また、請求項14に記載の発明では、自車両の速度が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中断することを特徴とする。自車両の速度が速くなると、撮影画像における背景の変化量も大きくなり、背景画素の明るさの変化量を移動物体が存在すると誤検出してしまうことがある。そのため、自車両の速度が所定値以上である場合には、移動物体の検出もしくは情報表示の生成を中断することで、運転者に対する誤った注意喚起を防止することができる。
【0018】
また、請求項15に記載の発明では、自車両の移動距離が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中止することを特徴とする。例えば、自車両周辺の見通しが悪い状況であっても、自車両の全長分の距離を移動すれば、運転者が目視にて移動物体を確認できる場面も多い。そのため、移動物体の検出もしくは情報表示の生成を中止することにより、運転者に対する必要性の低い注意喚起を抑制することができる。
【0019】
また、請求項16に記載の発明では、自車両のギア位置が後退位置となる場合、検出手段による明るさの変化の検出及び生成手段による情報表示の生成を行うことを特徴とする。これにより、特に後退時のように、運転者が移動物体を目視により確認しづらい状況において、安全性を向上させることができる。
【図面の簡単な説明】
【0020】
【図1】第1の実施形態における車両周辺監視装置の全体構成を示す概略図である。
【図2】駐車場において後退発進する様子を示した俯瞰図である。
【図3】表示装置における後方画像の表示例を示す図である。
【図4】撮影画像において移動物体を検出する領域を示す図である。
【図5】昼間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである。
【図6】夜間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである
【図7】右方向から移動物体が接近してくる場合の合成画像を示す図である。
【図8】左方向から移動物体が接近してくる場合の合成画像を示す図である。
【図9】第1の実施形態における車両周辺監視装置の処理を示すフローチャートである。
【図10】第1の実施形態の変形例1における車両周辺監視装置の処理を示すフローチャートである。
【図11】第1の実施形態の変形例3における車両周辺監視装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について図面を参照しながら説明する。なお、ここで示す実施の形態はあくまでも一実施例であって、本発明は必ずしもこの実施の形態に限定されるものではない。
(第1の実施形態)
第1の実施形態における車両周辺監視装置の構成について、図1乃至図3を用いて説明する。図1は、本実施形態による車両周辺監視装置100の全体構成を示す概略図である。カメラ装置110は、例えば、レンズ面が曲面状に形成されている広角レンズによって構成される。そして、図2に示すように車両後方の端部に配置され、車両の後方180度を撮影する。図2は、本実施形態による車両周辺監視装置100を備えた自車両1が、駐車場において後退発進する様子を示した図である。図2は、車両3と車両4との間に前進駐車された自車両1が後退で発進する状況を示しており、車両1の後方かつ運転者にとって右側(右手側)より、走行車両2が自車両1に接近してくる様子が分かる。自車両1に配置されたカメラ装置110は、破線Lで示される自車両1の後方180度の範囲を撮影する。
【0022】
制御装置120は、図示しないCPU、後述する各機能を実現するプログラム等を記憶した記憶媒体としてのROM、ワークエリアとしてデータを一時格納するRAM、及びこれらを接続するバスを含んで構成される。CPUが、ROMに記憶されるプログラムを実行することにより、各機能が実現される。
【0023】
制御装置120は、その機能により、車両状態取得部121(本発明の速度取得手段、ギア位置取得手段に相当)、移動物体検出部122(本発明の検出手段に相当)、及び合成画像生成部123(本発明の生成手段に相当)のブロックに分けることができる。車両状態取得部121は、自車両内の各種センサからギアの位置、車速といった車両の情報を取得し、その情報を移動物体検出部122に出力する。移動物体検出部122は、カメラ装置110から出力される撮影画像から、移動物体を検出し、その検出結果及び撮影画像を合成画像生成部123に出力する。また、車両状態取得部121から出力されるギアの位置や車速によって、移動物体の検出を中止したり開始したりする。合成画像生成部123は、移動物体の検出結果に基づき、撮影画像に対して、運転者が移動物体を認識できるような情報表示を合成し、表示装置130に出力する。また、音声出力装置140に対し、警告音の出力を指示してもよい。
【0024】
表示装置130は、例えば、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。そして、車室内における運転者が視認可能な位置に設けられ、制御装置120から出力される画像を逐次表示する。図3は、表示装置130における後方画像の表示例である。広角レンズの特性上、走行車両2のように、画像周囲の物体は小さく撮影されることとなる。なお、運転者が視認する都合上、カメラ装置110が撮影した後方画像が左右反転され、表示装置130に表示される。
【0025】
音声出力装置140は、例えば、スピーカー等を用いて構成することができ、制御装置120からの指示に基づき、アラーム音や音声メッセージを出力する。
【0026】
次に、移動物体検出部122における移動物体の検出処理について図4乃至図6を用いて説明する。
【0027】
移動物体検出部122は、まず、撮影画像のうち移動物体を検出する領域を決定する。図4は、移動物体を検出する領域を示す図である。2つの点Pl、Prを結ぶ検出ラインL1(破線)が、移動物体を検出する領域である。ここで、2つの点Pl、Prは、検出したい領域に応じて任意の位置に定めればよく、本実施形態では、左側の無限遠点Plと右側の無限遠点Prとに定めることとする。これら無限遠点Pl、Prは、カメラ装置101を車両に配置した際の高さ、角度、カメラ装置101のレンズ画角及びレンズ歪み係数から任意に設計的に計算すればよい。オプティカルフロー等により無限遠点を検出することもできるが、本実施形態では、予め定めた無限遠点を用いる。なお、無限遠点Pl、Prをそれぞれ同じ分だけ縦方向にずらした2つの点をPl、Prと定めてもよい。また、レンズ画角が180度より小さい場合は、撮影画像の領域外に仮想的な無限遠点Pl、Prを定めておけばよい。
【0028】
そして、2つの無限遠点Pl、Prとを、レンズ歪み係数に基づいた線で結ぶことにより、検出ラインL1を設定する。すなわち、検出ラインL1を、図4に示すように、実空間の路面上に投影すると直線となるようなレンズの歪みに合わせた線として設定する。この検出ラインL1は、必ずしも1ラインとする必要はなく、所定幅の領域としてもよい。そして、このように検出ラインL1を決定した後、撮影画像の歪みが緩和されるように、画像に対して歪み補正を行ってもよい。
【0029】
次に、移動物体検出部122は、撮影画像における検出ラインL1上の画素の明るさを監視する。図5は、走行車両2が自車両1に接近してきた場合の後方画像と、検出ラインL1上における画素の明るさの変化を示すグラフの一例である。後方画像は、表示装置130に表示するよう左右反転されている。また、撮影画像の歪みが緩和されるよう、検出ラインL1を含めた画像に対し、歪み補正が行われた状態である。ここで、自車両1の画像は、後方画像と自車両1との位置関係を示すべく、後方画像に対して貼付した画像である。
【0030】
グラフ横軸は検出ラインL1上における自車両1からの距離[m]を表しており、画像中心、すなわち自車両1の位置を0として、右方向への距離を正数、左方向への距離を負数で表す。横軸の目盛は5[m]刻みであり、右方向への距離として50[m]まで、左方向への距離として−50[m]までを表す。この距離は、実空間における検出ラインL1上の距離であり、カメラ装置101のレンズ画角及びレンズ歪み係数から計算する。歪み補正が行われた場合には、補正による変化も考慮して計算する。これにより、検出ラインL1上の画素の位置と、検出ラインL1を実空間の路面上に投影した場合の直線距離との対応づけを図る。なお、予めこのような対応付けを図らず、検出ラインL1上における特定の点に対し、それぞれ、実空間における直線距離への変換を行ってもよい。
【0031】
一方、グラフ縦軸は画素の明るさを表しており、8ビット階調として0〜255の輝度レベルを示す。
【0032】
図5(a)は、走行車両2が存在しない場合の明るさを示している。図5(b)及び(c)は、走行車両2が自車両1に接近してきた場合の明るさを示しており、図5(c)は図(b)の1秒後の状況を示している。これらの図から分かるように、走行車両2が存在する位置において、明るさが大きく減少している。具体的には、図5(b)において、楕円D1で示すように、距離が−7[m]付近で明るさが大きく(輝度レベル100程度)減少している。また、図(c)においては、楕円D2で示すように、距離が−2[m]付近で明るさが大きく(輝度レベル100程度)減少している。図5に示す昼間の例では、検出ラインL1と走行車両2のタイヤ部分が交わったことにより、明るさが大きく減少する結果となっている。しかしながら、検出ラインL1上にどのような背景が撮影されているか、走行車両2のどの部分が検出ラインL1と交わるかによって、明るさが増加する場合もあり得る。従って、昼間の撮影画像であっても、明るさの減少だけでなく、明るさの増加も監視する。
【0033】
一方、図6は、夜間における後方画像と、検出ラインL1上における画素の明るさの変化を示すグラフの一例である。図6(a)は、走行車両2が存在しない場合の明るさを示している。図6(b)及び(c)は、走行車両2が自車両1に接近してきた場合の明るさを示しており、図6(c)は図(b)の1秒後の状況を示している。夜間の場合、走行車両2のヘッドライトにより、走行車両2が存在する位置において、明るさが大きく増加する。具体的には、図6(b)において、楕円D3で示すように、距離が−10[m]付近で明るさが大きく(輝度レベル200程度)増加している。また、図(c)においては、楕円D4で示すように、距離が−5[m]付近で明るさが大きく(輝度レベル200程度)増加している。
【0034】
そして、移動物体検出部122は、この明るさの変化量(増加量もしくは減少量)が、所定の閾値以上となる場合、その位置に移動物体が存在すると判断する。ここで、所定の閾値は、実験等により予め適切な値を定めておいてもよいが、移動物体が存在しない検出ラインL1上の画素の明るさに応じて変更するのが好ましい。例えば、図5のように、移動物体が存在しない検出ラインL1上の画素の明るさが256階調における中程度(輝度レベル100〜150程度)であれば、閾値を100とする。また、例えば、図6のように暗かったり(輝度レベル0〜50程度)、逆に明るかったり(輝度レベル200〜255程度)すれば、閾値を150とする。
【0035】
さらに、移動物体検出部122は、移動物体の位置の時間的変化を監視することにより、移動物体の移動方向及び移動速度を算出する。図5の例では、−7[m]付近に存在していた走行車両2が、1秒後には、−2[m]付近に移動していることから、走行車両2は左側から右側へ時速18[km]で移動してくることを算出できる。同様に、図6の例では、−10[m]付近に存在していた走行車両2が、1秒後には、−5[m]付近に移動していることから、走行車両2は左側から右側へ時速18[km]で移動してくることを算出できる。なお、明るさの変化量が所定の閾値以上となる位置が複数存在する場合、自車両1に接近する移動方向であり、かつ自車両1との距離が最も近い物体のみ、移動物体として検出してもよい。
【0036】
そして、移動物体検出部122は、撮影画像とともに、移動物体の検出結果として、移動物体の位置、移動方向及び移動速度を合成画像生成部123に出力する。
【0037】
続いて、合成画像生成部123における情報表示の合成処理について図7乃至図8を用いて説明する。合成画像生成部123は、撮影画像に対し、移動物体検出部122から出力される検出結果に基づき、情報表示の合成画像を生成する。図7乃至図8は、本実施形態における合成画像の生成例である。
【0038】
合成画像生成部123は、移動物体の移動方向に応じて、撮影画像の左端もしくは右端に沿ってマーカM1を合成する。図7は、右方向から左方向へ走行車両2が移動する場合の合成画像である。運転者に対して右方向への注意喚起を促すため、右枠に沿って、赤色のマーカM1を合成する。ここで、マーカM1の色は、運転者への注意喚起を促す色であればよく、例えば、黄色や橙色にしてもよい。
【0039】
また、合成画像生成部123は、移動物体の位置に応じて、撮影画像の上端及び下端に沿ってマーカM2を合成する。図8は、左方向から右方向へ走行車両2が移動する場合の合成画像である。撮影画像の端(もしくはその近傍)から走行車両2の位置(もしくはその近傍)まで、撮影画像の上端及び下端に沿って赤色のマーカM2を合成する。このマーカM2は、図8(a)及び(b)に示すように、自車両1と移動物体との距離が近いほど、上端及び下端のマーカM2が長くなる。このマーカM2と前述したマーカM1とを同時に表示させると、図8のように左方向から右方向へ移動する場合は逆コの字、反対に、右方向から左方向へ移動する場合はコの字状のマーカMが形成されることとなる。なお、このマーカM2は、上端もしくは下端のいずれか一方のみとしてもよい。
【0040】
そして、左方向から右方向へ移動する走行車両2の位置が0(自車両1の位置)を超えるまでは、自車両に接近してくる移動物体、すなわち警告が必要な移動物体と判断し、マーカMの合成を継続する。一方、走行車両2の位置が0を越えた場合は、自車両から遠ざかる移動物体、すなわち警告が不要な移動物体と判断し、マーカMの合成を中止する。
【0041】
ここで、マーカMの態様は、走行車両2の位置、すなわち自車両1と走行車両2との距離に応じて変化させてもよい。例えば、自車両1に対して走行車両2が遠くに位置する場合はマーカMの色を黄色とし、走行車両2が接近するにつれ、橙色、赤色といった警告度合いの強い色に変化させる。また、移動物体が遠くに位置する場合はマーカMの線を細く、移動物体が接近するにつれて線を太くしたり、移動物体が遠くに位置する場合は点滅なしもしくは点滅間隔を長くし、移動物体が接近するにつれて点滅間隔を短くしたりする。
【0042】
同様に、走行車両2の移動速度に応じてマーカMの態様を変化させてもよい。例えば、走行車両2の移動速度が速いほど、マーカMの色を黄色、橙色、赤色といった警告度合いの強い色にしたり、マーカMの線を太くしたり、マーカMの点滅間隔を短くしたりする。なお、マーカM1、M2は同一の表示態様としてもよいし、それぞれ別の表示態様としてもよい。また、マーカMに代えて、アラーム音や音声メッセージを生成してもよいし、移動物体への注意喚起を高めるべく、マーカMに加え、アラーム音や音声メッセージを生成してもよい。
【0043】
このように、合成画像生成部123において生成された合成画像は、表示装置130にて画面に表示され、生成されたアラーム音や音声メッセージは、音声出力装置140にて出力される。なお、移動物体が存在しない場合、撮影画像に対する情報表示の合成は行われず、表示装置130は、撮影画像そのものを表示することとなる。
【0044】
続いて、本実施形態による車両周辺監視装置100全体の処理フローについて図9用いて説明する。図9は、車両周辺監視装置100の処理を示すフローチャートである。
【0045】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、制御装置120における車両状態取得部121は、ギアの位置を監視する。
【0046】
次に、ステップS102では、ギアの位置が後退位置(Rレンジ)に変化したことを検出すると(ステップS102:Y)、ステップS103へ進む。ステップS103では、カメラ装置110から出力される撮影画像の入力を受ける。
【0047】
そして、ステップS104で、上述した移動物体の検出処理を行う。移動物体が検出された場合(ステップS104:Y)、ステップS105へ進む。ステップS105では、上述した情報表示の合成処理や、アラーム音や音声メッセージの生成処理を行う。一方、移動物体が検出されなかった場合(ステップS104:N)、情報表示の合成処理は行わず、撮影画像そのものを表示装置130に出力する。
【0048】
ステップS106では、合成画像生成部123から出力される画像を表示し、また、音声出力装置140は、アラーム音や音声メッセージを出力する。これらステップS103〜S106の処理は、ギアの位置がRレンジの間継続される。ギアの位置がRレンジ以外に変化すると(ステップS102:N)、これらステップS103〜S106の処理は中断される(ステップS107)。
【0049】
なお、駐車状態からの後退発進時にのみ移動物体の検出処理を行いたい場合は、イグニッションがオンされた後のギア位置が、Pレンジ(駐車位置)からRレンジへ変化したことを検出すればよい。または、イグニッションがオンされた後の車速が0の間に、Rレンジへ変化したことを検出してもよい。
【0050】
このように、2つの端点Pl、Prを結ぶ検出ラインL1を設定し、検出ラインL1における画素の明るさの変化量を監視することにより、オプティカルフローを用いず、少ない計算量で移動物体を検出することができる。さらに、情報表示としてマーカM1、M2を画面に表示させることで、広角レンズの特性上、小さく撮影される画像周囲の移動物体に対しても、注意喚起を促すことができる。特に、後退発進する場面のように、左右の駐車車両とのクリアランス等に注意しつつ運転する状況では、画面に表示される後方画像を運転者が常に注視することは困難であり、小さく表示される画像周囲の移動物体には気づきにくい。しかしながら、マーカM1、M2が画面に表示されれば、後方画像を常に注視しなくとも、運転者は移動物体の存在を容易に認識することができる。このように、運転者に対して注意喚起することで、運転の安全性を向上させることができる。
【0051】
また、マーカM1の表示により、いずれの方向に移動物体が存在するかが分かるため、運転者は瞬時にその方向に対して注意を払うことができる。加えて、マーカM2の表示により、どの位置に移動物体が存在するかを把握することができる。このマーカM2は、移動物体が接近するほど長く表示されるため、運転者に対して移動物体の接近度合いを警告することができる。そして、移動物体が自車両に接近してくる場合はマーカMを合成し、遠ざかる場合は合成しないことにより、運転者にとって必要性の低い情報表示が行われることを抑制することができる。
【0052】
さらに、移動物体の位置や移動速度に応じてマーカM1、M2の表示態様を変化させることにより、移動物体に対する警告度合いを表し、運転者に対して好適な注意喚起を与えることができる。また、アラーム音や音声メッセージを出力により、運転者に対して聴覚による注意喚起を与えることもできる。
【0053】
なお、本実施形態では、情報表示としてマーカの合成処理について説明したが、合成を用いない表示方法でもよい。例えば、撮影画像における画素の色を変更したり、液晶ディスプレイに生成される画素の色を変更したりして、情報表示を行ってもよい。
(第1の実施形態の変形例1)
第1の実施形態では、図9のフローチャートに示すように、ギアの位置を監視することにより、移動物体の検出を開始または中断する車両周辺監視装置100について説明した。本変形例では、ギアの位置に加え、自車両1の速度を監視することにより、移動物体の検出を中断する車両周辺監視装置100について図10を用いて説明する。
【0054】
図10は、本変形例における車両周辺監視装置100の処理を示すフローチャートである。第1の実施形態と同一の処理については同一の番号を付し、記載を省略する。
【0055】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、自車両のギア位置及び速度を監視する。そして、ステップS108で、自車両の速度が所定値α未満である場合(ステップS108:Y)、上述した移動物体の検出処理を行う。一方、自車両の速度が所定値α以上である場合(ステップS108:N)、移動物体の検出処理を中断し、ステップS109へ進む。
【0056】
ステップS109では、移動物体検出処理を中断する旨の合成メッセージを生成する。例えば、「車速が速すぎるため検出を中断します」というメッセージを撮影画像に対して合成し、表示装置130にて画面に所定時間表示する(ステップS106)。
【0057】
移動物体検出処理は、上述した通り、検出ラインL1における画素の明るさの変化量が所定の閾値以上となる場合、移動物体が存在すると判断する。しかし、自車両の速度が速くなると、撮影画像における背景の変化量も大きくなる。そして、検出ラインL1上における背景画素の明るさの変化量を、移動物体が存在すると誤検出してしまうことがある。背景のパターンにもよるが、自車両の速度が速くなるにつれて、誤検出の割合も高くなる。そのため、本変形例のように、自車両の速度が所定値α以上である場合には、移動物体の検出処理を中断する。この所定値αは、実験等により好適な値を予め定めておけばよい。
【0058】
これにより、運転者に対して誤った注意喚起を促すことを抑制することができる。なお、本変形例では、自車両の速度が所定値α以上である場合、移動物体の検出処理を中断したが、合成画像生成部123における情報表示の合成処理を中断してもよい。
(第1の実施形態の変形例2)
本変形例では、自車両1の速度から自車両の移動距離を算出することにより、移動物体の検出を中止する車両周辺監視装置100について説明する。
【0059】
移動物体検出部122は、自車両1の移動距離が所定値β以上となった場合、移動物体の検出処理を中止する。中止にともなう合成メッセージの生成は行わない。ここで、所定値βは、自車両1の全長に相当する距離を設定するとよい。すなわち、図2に示す駐車場のような状況では、自車両1の全長分の距離を後退すれば、運転者が目視にて移動物体を確認できることとなる。ゆえに、移動物体の検出処理を中止し、運転者により必要性の低い注意喚起を促すことを抑制することができる。なお、本変形例では、自車両1の移動距離が所定値β以上となった場合、移動物体の検出処理を中止したが、合成画像生成部123における情報表示の合成処理を中止してもよい。
(第1の実施形態の変形例3)
第1の実施形態では、前進駐車された自車両1が後退発進する状況において、後方画像を表示する場合について説明した。本変形例では、前進する自車両1が見通しの悪い交差点等へ進入するときに、前方画像を表示する例について図11を用いて説明する。
【0060】
図11は、本実施形態における車両周辺監視装置100の処理を示すフローチャートである。上述の実施形態と同一の処理については同一の番号を付し、記載を省略する。
【0061】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、自車両のギア位置及び速度を監視する。
【0062】
次に、ステップS110及びS111で、ギアの位置が前進位置(Dレンジ等)かつ自車両1が交差点に進入することを検出すると(ステップS110:Y、ステップS111:Y)、ステップS103〜S106の処理を行う。交差点に進入しているか否かは、自車両1が減速し、停止したことにより判断してもよいし、ナビゲーション装置(図示せず)からの情報を取得して見通しの悪い交差点に進入しているか否かを判断してもよい。また、無線通信装置(図示せず)を備え、路車間通信によって、自車両1が交差点に進入することを検出するようにしてもよい。なお、カメラ装置110が自車両1の前方端部に配置され、自車両1の前方180度を撮影する点以外は、ステップS103〜S106の処理は上述した実施形態と同一である。
【0063】
一方、ギアの位置が前進位置以外に変化した場合(ステップS110:N)や、自車両1が交差点に位置しない場合(ステップS111:N)は、ステップS103〜S106の処理を中断する(ステップS107)。
【0064】
このように、自車両1が前進し、見通しの悪い交差点等へ進入する場合においても、本発明を適用することができる。そして、オプティカルフローを用いず、少ない計算量で移動物体を検出するとともに、情報表示としてマーカM1、M2を画面に表示させることで運転者に注意喚起を促し、安全性を向上することができる。
【0065】
なお、上述した各実施形態では、左側と右側に無限遠点を有する撮影画像における移動物体検出処理について説明した。しかしながら、本発明は、上側と下側に無限遠点を有する撮影画像においても適用可能である。さらに、移動物体としては、車両だけでなく、バイク、自転車、及び通行者の検出も可能である。
【0066】
また、本発明は、上述した実施形態の構成要素を適宜組み合わせることが可能であり、その組み合わせにより多くのバリエーションが可能となる。
【符号の説明】
【0067】
100 車両周辺監視装置
110 カメラ装置
120 制御装置
121 車両状態取得部
122 移動物体検出部
123 合成画像生成部
130 表示装置
140 音声出力装置
【技術分野】
【0001】
本発明は、車両周辺の移動体を監視する車両周辺監視装置に関する。
【背景技術】
【0002】
カメラにより撮影した画像を表示し、運転者の視界を支援する車両周辺監視装置として、例えば、特許文献1に記載されるように、画角が180度(もしくはそれ以上)となる広角レンズを備えたカメラ装置が提案されている。このようなカメラ装置によれば、広い視野範囲を撮影することができる反面、図3に示すように、撮影画像における周囲の物体が小さくなってしまう。特に、後退発進の場合には、左右に駐車された車両とのクリアランスにも注意する必要があり、画面上に小さく表示される物体に運転者は気づきにくい。
【0003】
そのため、例えば、特許文献2に記載されるように、撮影画像から移動物体を切り出し、移動物体を強調表示するモニタ装置が提案されている。特許文献2では、撮影画像の特徴点のオプティカルフローを計算し、各特徴点の動きベクトルを求めることにより、移動物体の切り出しが可能となる。そして、切り出した移動物体を強調して表示することにより、車両前方の死角に移動物体が存在することを容易に認識することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−110202号
【特許文献2】特開2005−123968号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献2のようにオプティカルフローにより動きベクトルを抽出する画像処理は、計算量が膨大となる。そのため、移動物体の動きに追従して精度良く切り出しを行うためには、別途専用のプロセッサを設け、処理時間を短くする必要が生じる。
【0006】
本発明は、このようなオプティカルフローによる画像処理を用いることなく、撮影画像から移動物体を検出し、その移動物体の存在を運転者が容易に気づくことができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために成された請求項1に記載の発明は、自車両に搭載され、自車両外部の周辺を撮影する撮影装置と、撮影装置にて撮影された撮影画像における検出ラインを設定し、検出ラインに沿って移動する移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出する検出手段と、検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、撮影画像及び情報表示を表示する表示装置とを備えることを特徴とする。このように、請求項1に記載の発明においては、移動物体の移動に伴って生じる検出ライン上の画素の明るさの変化を検出することで、オプティカルフローによる画像処理を用いることなく、少ない計算量で移動物体を検出することができる。そして、その検出結果に応じて情報表示を生成し、表示装置にて撮影画像とともに表示するため、運転者は移動物体を容易に認識することができる。ここで、検出ラインとは、必ずしもライン状である必要はなく、所定幅の領域であればよい。検出に要する処理負荷を削減したい場合は、請求項11に記載された発明のように、2つの点を結ぶ検出ラインを設定すればよい。
【0008】
かかる検出手段は、請求項2に記載された発明のように、検出ライン上における画素の明るさの変化量が所定閾値以上となる場合、その画素の位置に移動物体が存在すると判断する。すなわち、明るさの増加量もしくは減少量が所定閾値以上となる場合、移動物体が存在すると判断する。この所定閾値は、常に固定である必要はなく、明るさが増加する場合と減少する場合とで変えてもよいし、昼間と夜間とで変えてもよい。実験等により、好適な所定閾値を定めておけば、移動物体の検出精度を向上することができる。
【0009】
また、請求項3に記載の発明では、その画素の位置の時間的変化を監視することにより、移動物体の移動方向を検出する。これにより、移動物体が、検出ライン上においていずれの方向へ移動しているかを検出することができる。
【0010】
また、請求項4に記載の発明では、検出ラインの実空間上の距離を算出し、自車両から移動物体の位置までの距離を検出する。すなわち、検出ラインを実空間の路面上に投影した場合の距離を、撮影装置のレンズ画角やレンズ歪み係数に応じて算出する。これにより、移動物体が自車両からどの程度離れた位置に存在するかを検出することができる。
【0011】
かかる生成手段は、請求項5に記載された発明のように、撮影画像の端点近傍から移動物体の位置に対応する点の近傍まで、第1端部に沿うよう情報表示を生成する。これにより、運転者は、どの位置に移動物体が存在するかを容易に把握することができる。
【0012】
また、請求項6に記載の発明では、移動物体の移動方向が撮影画像における第2端部から他の端部へ向かう方向である場合、第2端部に沿うよう情報表示を生成する。これにより、運転者は、いずれの方向から移動物体が移動してくるかを瞬時に認識することができる。ゆえに、例えば、広角レンズにより、画像周囲の移動物体が小さく撮影された場合であっても、移動物体に対する注意喚起を運転者へ促すことができ、安全性を向上させることができる。
【0013】
また、請求項7に記載の発明では、移動物体が自車両に近づくと判断した場合、情報表示の生成を行い、移動物体が自車両から遠ざかると判断した場合、情報表示の生成を行わないよう構成する。移動物体が自車両に近づく場合は運転者への注意喚起の必要性が高いが、自車両から遠ざかる場合には注意喚起の必要性は低い。ゆえに、移動物体が自車両に近づくか遠ざかるかを判断し、遠ざかる場合には情報表示の生成を行わないこととする。これにより、運転者にとって必要性の低い情報表示を抑制することができる。
【0014】
また、情報表示の態様は、請求項8に記載された発明のように、移動物体の位置もしくは自車両から移動物体までの距離に応じて変化させてもよい。または、請求項9に記載された発明のように、移動物体の移動速度に応じて変化させてもよい。具体的には、請求項10に記載された発明のように、情報表示の色、太さ、点滅間隔の少なくともいずれか1つを変化させるよう構成する。このように、警告度合いに関係のある検出結果に応じて情報表示の態様を変化させることにより、運転者に対して好適な注意喚起を与えることができる。
【0015】
かかる検出手段は、請求項12に記載された発明のように、広角レンズの歪みに応じた検出ラインを設定してもよい。例えば、自車両の周囲180度を撮影できる広角レンズで撮影した場合、図3に示すように歪んだ画像となる。そのため、広角レンズの歪みに応じた検出ラインを設定し、実空間の路面上に投影した場合に直線に近づくような検出ラインとする。これにより、移動物体の検出率を向上することができる。
【0016】
また、請求項13に記載された発明のように、撮影画像に対応する2つの無限遠点を結ぶ検出ラインを設定してもよい。広角レンズで撮影された画像には、2つの無限遠点(消失点とも言う)が存在する。広角レンズの画角によって、撮影画像中に無限遠点が存在する場合と、撮影画像外に仮想的な無限遠点が存在する場合とがあり得るが、本発明はいずれの場合をも含む概念である。そして、これら無限遠点を結ぶ線を検出ラインとして設定する。これにより、無限遠点付近の移動物体を精度良く検出することができる。
【0017】
また、請求項14に記載の発明では、自車両の速度が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中断することを特徴とする。自車両の速度が速くなると、撮影画像における背景の変化量も大きくなり、背景画素の明るさの変化量を移動物体が存在すると誤検出してしまうことがある。そのため、自車両の速度が所定値以上である場合には、移動物体の検出もしくは情報表示の生成を中断することで、運転者に対する誤った注意喚起を防止することができる。
【0018】
また、請求項15に記載の発明では、自車両の移動距離が所定値以上となる場合、検出手段による明るさの変化の検出もしくは生成手段による情報表示の生成を中止することを特徴とする。例えば、自車両周辺の見通しが悪い状況であっても、自車両の全長分の距離を移動すれば、運転者が目視にて移動物体を確認できる場面も多い。そのため、移動物体の検出もしくは情報表示の生成を中止することにより、運転者に対する必要性の低い注意喚起を抑制することができる。
【0019】
また、請求項16に記載の発明では、自車両のギア位置が後退位置となる場合、検出手段による明るさの変化の検出及び生成手段による情報表示の生成を行うことを特徴とする。これにより、特に後退時のように、運転者が移動物体を目視により確認しづらい状況において、安全性を向上させることができる。
【図面の簡単な説明】
【0020】
【図1】第1の実施形態における車両周辺監視装置の全体構成を示す概略図である。
【図2】駐車場において後退発進する様子を示した俯瞰図である。
【図3】表示装置における後方画像の表示例を示す図である。
【図4】撮影画像において移動物体を検出する領域を示す図である。
【図5】昼間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである。
【図6】夜間における移動物体を撮影した後方画像、及び検出ライン上における画素の明るさの変化を示すグラフである
【図7】右方向から移動物体が接近してくる場合の合成画像を示す図である。
【図8】左方向から移動物体が接近してくる場合の合成画像を示す図である。
【図9】第1の実施形態における車両周辺監視装置の処理を示すフローチャートである。
【図10】第1の実施形態の変形例1における車両周辺監視装置の処理を示すフローチャートである。
【図11】第1の実施形態の変形例3における車両周辺監視装置の処理を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について図面を参照しながら説明する。なお、ここで示す実施の形態はあくまでも一実施例であって、本発明は必ずしもこの実施の形態に限定されるものではない。
(第1の実施形態)
第1の実施形態における車両周辺監視装置の構成について、図1乃至図3を用いて説明する。図1は、本実施形態による車両周辺監視装置100の全体構成を示す概略図である。カメラ装置110は、例えば、レンズ面が曲面状に形成されている広角レンズによって構成される。そして、図2に示すように車両後方の端部に配置され、車両の後方180度を撮影する。図2は、本実施形態による車両周辺監視装置100を備えた自車両1が、駐車場において後退発進する様子を示した図である。図2は、車両3と車両4との間に前進駐車された自車両1が後退で発進する状況を示しており、車両1の後方かつ運転者にとって右側(右手側)より、走行車両2が自車両1に接近してくる様子が分かる。自車両1に配置されたカメラ装置110は、破線Lで示される自車両1の後方180度の範囲を撮影する。
【0022】
制御装置120は、図示しないCPU、後述する各機能を実現するプログラム等を記憶した記憶媒体としてのROM、ワークエリアとしてデータを一時格納するRAM、及びこれらを接続するバスを含んで構成される。CPUが、ROMに記憶されるプログラムを実行することにより、各機能が実現される。
【0023】
制御装置120は、その機能により、車両状態取得部121(本発明の速度取得手段、ギア位置取得手段に相当)、移動物体検出部122(本発明の検出手段に相当)、及び合成画像生成部123(本発明の生成手段に相当)のブロックに分けることができる。車両状態取得部121は、自車両内の各種センサからギアの位置、車速といった車両の情報を取得し、その情報を移動物体検出部122に出力する。移動物体検出部122は、カメラ装置110から出力される撮影画像から、移動物体を検出し、その検出結果及び撮影画像を合成画像生成部123に出力する。また、車両状態取得部121から出力されるギアの位置や車速によって、移動物体の検出を中止したり開始したりする。合成画像生成部123は、移動物体の検出結果に基づき、撮影画像に対して、運転者が移動物体を認識できるような情報表示を合成し、表示装置130に出力する。また、音声出力装置140に対し、警告音の出力を指示してもよい。
【0024】
表示装置130は、例えば、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。そして、車室内における運転者が視認可能な位置に設けられ、制御装置120から出力される画像を逐次表示する。図3は、表示装置130における後方画像の表示例である。広角レンズの特性上、走行車両2のように、画像周囲の物体は小さく撮影されることとなる。なお、運転者が視認する都合上、カメラ装置110が撮影した後方画像が左右反転され、表示装置130に表示される。
【0025】
音声出力装置140は、例えば、スピーカー等を用いて構成することができ、制御装置120からの指示に基づき、アラーム音や音声メッセージを出力する。
【0026】
次に、移動物体検出部122における移動物体の検出処理について図4乃至図6を用いて説明する。
【0027】
移動物体検出部122は、まず、撮影画像のうち移動物体を検出する領域を決定する。図4は、移動物体を検出する領域を示す図である。2つの点Pl、Prを結ぶ検出ラインL1(破線)が、移動物体を検出する領域である。ここで、2つの点Pl、Prは、検出したい領域に応じて任意の位置に定めればよく、本実施形態では、左側の無限遠点Plと右側の無限遠点Prとに定めることとする。これら無限遠点Pl、Prは、カメラ装置101を車両に配置した際の高さ、角度、カメラ装置101のレンズ画角及びレンズ歪み係数から任意に設計的に計算すればよい。オプティカルフロー等により無限遠点を検出することもできるが、本実施形態では、予め定めた無限遠点を用いる。なお、無限遠点Pl、Prをそれぞれ同じ分だけ縦方向にずらした2つの点をPl、Prと定めてもよい。また、レンズ画角が180度より小さい場合は、撮影画像の領域外に仮想的な無限遠点Pl、Prを定めておけばよい。
【0028】
そして、2つの無限遠点Pl、Prとを、レンズ歪み係数に基づいた線で結ぶことにより、検出ラインL1を設定する。すなわち、検出ラインL1を、図4に示すように、実空間の路面上に投影すると直線となるようなレンズの歪みに合わせた線として設定する。この検出ラインL1は、必ずしも1ラインとする必要はなく、所定幅の領域としてもよい。そして、このように検出ラインL1を決定した後、撮影画像の歪みが緩和されるように、画像に対して歪み補正を行ってもよい。
【0029】
次に、移動物体検出部122は、撮影画像における検出ラインL1上の画素の明るさを監視する。図5は、走行車両2が自車両1に接近してきた場合の後方画像と、検出ラインL1上における画素の明るさの変化を示すグラフの一例である。後方画像は、表示装置130に表示するよう左右反転されている。また、撮影画像の歪みが緩和されるよう、検出ラインL1を含めた画像に対し、歪み補正が行われた状態である。ここで、自車両1の画像は、後方画像と自車両1との位置関係を示すべく、後方画像に対して貼付した画像である。
【0030】
グラフ横軸は検出ラインL1上における自車両1からの距離[m]を表しており、画像中心、すなわち自車両1の位置を0として、右方向への距離を正数、左方向への距離を負数で表す。横軸の目盛は5[m]刻みであり、右方向への距離として50[m]まで、左方向への距離として−50[m]までを表す。この距離は、実空間における検出ラインL1上の距離であり、カメラ装置101のレンズ画角及びレンズ歪み係数から計算する。歪み補正が行われた場合には、補正による変化も考慮して計算する。これにより、検出ラインL1上の画素の位置と、検出ラインL1を実空間の路面上に投影した場合の直線距離との対応づけを図る。なお、予めこのような対応付けを図らず、検出ラインL1上における特定の点に対し、それぞれ、実空間における直線距離への変換を行ってもよい。
【0031】
一方、グラフ縦軸は画素の明るさを表しており、8ビット階調として0〜255の輝度レベルを示す。
【0032】
図5(a)は、走行車両2が存在しない場合の明るさを示している。図5(b)及び(c)は、走行車両2が自車両1に接近してきた場合の明るさを示しており、図5(c)は図(b)の1秒後の状況を示している。これらの図から分かるように、走行車両2が存在する位置において、明るさが大きく減少している。具体的には、図5(b)において、楕円D1で示すように、距離が−7[m]付近で明るさが大きく(輝度レベル100程度)減少している。また、図(c)においては、楕円D2で示すように、距離が−2[m]付近で明るさが大きく(輝度レベル100程度)減少している。図5に示す昼間の例では、検出ラインL1と走行車両2のタイヤ部分が交わったことにより、明るさが大きく減少する結果となっている。しかしながら、検出ラインL1上にどのような背景が撮影されているか、走行車両2のどの部分が検出ラインL1と交わるかによって、明るさが増加する場合もあり得る。従って、昼間の撮影画像であっても、明るさの減少だけでなく、明るさの増加も監視する。
【0033】
一方、図6は、夜間における後方画像と、検出ラインL1上における画素の明るさの変化を示すグラフの一例である。図6(a)は、走行車両2が存在しない場合の明るさを示している。図6(b)及び(c)は、走行車両2が自車両1に接近してきた場合の明るさを示しており、図6(c)は図(b)の1秒後の状況を示している。夜間の場合、走行車両2のヘッドライトにより、走行車両2が存在する位置において、明るさが大きく増加する。具体的には、図6(b)において、楕円D3で示すように、距離が−10[m]付近で明るさが大きく(輝度レベル200程度)増加している。また、図(c)においては、楕円D4で示すように、距離が−5[m]付近で明るさが大きく(輝度レベル200程度)増加している。
【0034】
そして、移動物体検出部122は、この明るさの変化量(増加量もしくは減少量)が、所定の閾値以上となる場合、その位置に移動物体が存在すると判断する。ここで、所定の閾値は、実験等により予め適切な値を定めておいてもよいが、移動物体が存在しない検出ラインL1上の画素の明るさに応じて変更するのが好ましい。例えば、図5のように、移動物体が存在しない検出ラインL1上の画素の明るさが256階調における中程度(輝度レベル100〜150程度)であれば、閾値を100とする。また、例えば、図6のように暗かったり(輝度レベル0〜50程度)、逆に明るかったり(輝度レベル200〜255程度)すれば、閾値を150とする。
【0035】
さらに、移動物体検出部122は、移動物体の位置の時間的変化を監視することにより、移動物体の移動方向及び移動速度を算出する。図5の例では、−7[m]付近に存在していた走行車両2が、1秒後には、−2[m]付近に移動していることから、走行車両2は左側から右側へ時速18[km]で移動してくることを算出できる。同様に、図6の例では、−10[m]付近に存在していた走行車両2が、1秒後には、−5[m]付近に移動していることから、走行車両2は左側から右側へ時速18[km]で移動してくることを算出できる。なお、明るさの変化量が所定の閾値以上となる位置が複数存在する場合、自車両1に接近する移動方向であり、かつ自車両1との距離が最も近い物体のみ、移動物体として検出してもよい。
【0036】
そして、移動物体検出部122は、撮影画像とともに、移動物体の検出結果として、移動物体の位置、移動方向及び移動速度を合成画像生成部123に出力する。
【0037】
続いて、合成画像生成部123における情報表示の合成処理について図7乃至図8を用いて説明する。合成画像生成部123は、撮影画像に対し、移動物体検出部122から出力される検出結果に基づき、情報表示の合成画像を生成する。図7乃至図8は、本実施形態における合成画像の生成例である。
【0038】
合成画像生成部123は、移動物体の移動方向に応じて、撮影画像の左端もしくは右端に沿ってマーカM1を合成する。図7は、右方向から左方向へ走行車両2が移動する場合の合成画像である。運転者に対して右方向への注意喚起を促すため、右枠に沿って、赤色のマーカM1を合成する。ここで、マーカM1の色は、運転者への注意喚起を促す色であればよく、例えば、黄色や橙色にしてもよい。
【0039】
また、合成画像生成部123は、移動物体の位置に応じて、撮影画像の上端及び下端に沿ってマーカM2を合成する。図8は、左方向から右方向へ走行車両2が移動する場合の合成画像である。撮影画像の端(もしくはその近傍)から走行車両2の位置(もしくはその近傍)まで、撮影画像の上端及び下端に沿って赤色のマーカM2を合成する。このマーカM2は、図8(a)及び(b)に示すように、自車両1と移動物体との距離が近いほど、上端及び下端のマーカM2が長くなる。このマーカM2と前述したマーカM1とを同時に表示させると、図8のように左方向から右方向へ移動する場合は逆コの字、反対に、右方向から左方向へ移動する場合はコの字状のマーカMが形成されることとなる。なお、このマーカM2は、上端もしくは下端のいずれか一方のみとしてもよい。
【0040】
そして、左方向から右方向へ移動する走行車両2の位置が0(自車両1の位置)を超えるまでは、自車両に接近してくる移動物体、すなわち警告が必要な移動物体と判断し、マーカMの合成を継続する。一方、走行車両2の位置が0を越えた場合は、自車両から遠ざかる移動物体、すなわち警告が不要な移動物体と判断し、マーカMの合成を中止する。
【0041】
ここで、マーカMの態様は、走行車両2の位置、すなわち自車両1と走行車両2との距離に応じて変化させてもよい。例えば、自車両1に対して走行車両2が遠くに位置する場合はマーカMの色を黄色とし、走行車両2が接近するにつれ、橙色、赤色といった警告度合いの強い色に変化させる。また、移動物体が遠くに位置する場合はマーカMの線を細く、移動物体が接近するにつれて線を太くしたり、移動物体が遠くに位置する場合は点滅なしもしくは点滅間隔を長くし、移動物体が接近するにつれて点滅間隔を短くしたりする。
【0042】
同様に、走行車両2の移動速度に応じてマーカMの態様を変化させてもよい。例えば、走行車両2の移動速度が速いほど、マーカMの色を黄色、橙色、赤色といった警告度合いの強い色にしたり、マーカMの線を太くしたり、マーカMの点滅間隔を短くしたりする。なお、マーカM1、M2は同一の表示態様としてもよいし、それぞれ別の表示態様としてもよい。また、マーカMに代えて、アラーム音や音声メッセージを生成してもよいし、移動物体への注意喚起を高めるべく、マーカMに加え、アラーム音や音声メッセージを生成してもよい。
【0043】
このように、合成画像生成部123において生成された合成画像は、表示装置130にて画面に表示され、生成されたアラーム音や音声メッセージは、音声出力装置140にて出力される。なお、移動物体が存在しない場合、撮影画像に対する情報表示の合成は行われず、表示装置130は、撮影画像そのものを表示することとなる。
【0044】
続いて、本実施形態による車両周辺監視装置100全体の処理フローについて図9用いて説明する。図9は、車両周辺監視装置100の処理を示すフローチャートである。
【0045】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、制御装置120における車両状態取得部121は、ギアの位置を監視する。
【0046】
次に、ステップS102では、ギアの位置が後退位置(Rレンジ)に変化したことを検出すると(ステップS102:Y)、ステップS103へ進む。ステップS103では、カメラ装置110から出力される撮影画像の入力を受ける。
【0047】
そして、ステップS104で、上述した移動物体の検出処理を行う。移動物体が検出された場合(ステップS104:Y)、ステップS105へ進む。ステップS105では、上述した情報表示の合成処理や、アラーム音や音声メッセージの生成処理を行う。一方、移動物体が検出されなかった場合(ステップS104:N)、情報表示の合成処理は行わず、撮影画像そのものを表示装置130に出力する。
【0048】
ステップS106では、合成画像生成部123から出力される画像を表示し、また、音声出力装置140は、アラーム音や音声メッセージを出力する。これらステップS103〜S106の処理は、ギアの位置がRレンジの間継続される。ギアの位置がRレンジ以外に変化すると(ステップS102:N)、これらステップS103〜S106の処理は中断される(ステップS107)。
【0049】
なお、駐車状態からの後退発進時にのみ移動物体の検出処理を行いたい場合は、イグニッションがオンされた後のギア位置が、Pレンジ(駐車位置)からRレンジへ変化したことを検出すればよい。または、イグニッションがオンされた後の車速が0の間に、Rレンジへ変化したことを検出してもよい。
【0050】
このように、2つの端点Pl、Prを結ぶ検出ラインL1を設定し、検出ラインL1における画素の明るさの変化量を監視することにより、オプティカルフローを用いず、少ない計算量で移動物体を検出することができる。さらに、情報表示としてマーカM1、M2を画面に表示させることで、広角レンズの特性上、小さく撮影される画像周囲の移動物体に対しても、注意喚起を促すことができる。特に、後退発進する場面のように、左右の駐車車両とのクリアランス等に注意しつつ運転する状況では、画面に表示される後方画像を運転者が常に注視することは困難であり、小さく表示される画像周囲の移動物体には気づきにくい。しかしながら、マーカM1、M2が画面に表示されれば、後方画像を常に注視しなくとも、運転者は移動物体の存在を容易に認識することができる。このように、運転者に対して注意喚起することで、運転の安全性を向上させることができる。
【0051】
また、マーカM1の表示により、いずれの方向に移動物体が存在するかが分かるため、運転者は瞬時にその方向に対して注意を払うことができる。加えて、マーカM2の表示により、どの位置に移動物体が存在するかを把握することができる。このマーカM2は、移動物体が接近するほど長く表示されるため、運転者に対して移動物体の接近度合いを警告することができる。そして、移動物体が自車両に接近してくる場合はマーカMを合成し、遠ざかる場合は合成しないことにより、運転者にとって必要性の低い情報表示が行われることを抑制することができる。
【0052】
さらに、移動物体の位置や移動速度に応じてマーカM1、M2の表示態様を変化させることにより、移動物体に対する警告度合いを表し、運転者に対して好適な注意喚起を与えることができる。また、アラーム音や音声メッセージを出力により、運転者に対して聴覚による注意喚起を与えることもできる。
【0053】
なお、本実施形態では、情報表示としてマーカの合成処理について説明したが、合成を用いない表示方法でもよい。例えば、撮影画像における画素の色を変更したり、液晶ディスプレイに生成される画素の色を変更したりして、情報表示を行ってもよい。
(第1の実施形態の変形例1)
第1の実施形態では、図9のフローチャートに示すように、ギアの位置を監視することにより、移動物体の検出を開始または中断する車両周辺監視装置100について説明した。本変形例では、ギアの位置に加え、自車両1の速度を監視することにより、移動物体の検出を中断する車両周辺監視装置100について図10を用いて説明する。
【0054】
図10は、本変形例における車両周辺監視装置100の処理を示すフローチャートである。第1の実施形態と同一の処理については同一の番号を付し、記載を省略する。
【0055】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、自車両のギア位置及び速度を監視する。そして、ステップS108で、自車両の速度が所定値α未満である場合(ステップS108:Y)、上述した移動物体の検出処理を行う。一方、自車両の速度が所定値α以上である場合(ステップS108:N)、移動物体の検出処理を中断し、ステップS109へ進む。
【0056】
ステップS109では、移動物体検出処理を中断する旨の合成メッセージを生成する。例えば、「車速が速すぎるため検出を中断します」というメッセージを撮影画像に対して合成し、表示装置130にて画面に所定時間表示する(ステップS106)。
【0057】
移動物体検出処理は、上述した通り、検出ラインL1における画素の明るさの変化量が所定の閾値以上となる場合、移動物体が存在すると判断する。しかし、自車両の速度が速くなると、撮影画像における背景の変化量も大きくなる。そして、検出ラインL1上における背景画素の明るさの変化量を、移動物体が存在すると誤検出してしまうことがある。背景のパターンにもよるが、自車両の速度が速くなるにつれて、誤検出の割合も高くなる。そのため、本変形例のように、自車両の速度が所定値α以上である場合には、移動物体の検出処理を中断する。この所定値αは、実験等により好適な値を予め定めておけばよい。
【0058】
これにより、運転者に対して誤った注意喚起を促すことを抑制することができる。なお、本変形例では、自車両の速度が所定値α以上である場合、移動物体の検出処理を中断したが、合成画像生成部123における情報表示の合成処理を中断してもよい。
(第1の実施形態の変形例2)
本変形例では、自車両1の速度から自車両の移動距離を算出することにより、移動物体の検出を中止する車両周辺監視装置100について説明する。
【0059】
移動物体検出部122は、自車両1の移動距離が所定値β以上となった場合、移動物体の検出処理を中止する。中止にともなう合成メッセージの生成は行わない。ここで、所定値βは、自車両1の全長に相当する距離を設定するとよい。すなわち、図2に示す駐車場のような状況では、自車両1の全長分の距離を後退すれば、運転者が目視にて移動物体を確認できることとなる。ゆえに、移動物体の検出処理を中止し、運転者により必要性の低い注意喚起を促すことを抑制することができる。なお、本変形例では、自車両1の移動距離が所定値β以上となった場合、移動物体の検出処理を中止したが、合成画像生成部123における情報表示の合成処理を中止してもよい。
(第1の実施形態の変形例3)
第1の実施形態では、前進駐車された自車両1が後退発進する状況において、後方画像を表示する場合について説明した。本変形例では、前進する自車両1が見通しの悪い交差点等へ進入するときに、前方画像を表示する例について図11を用いて説明する。
【0060】
図11は、本実施形態における車両周辺監視装置100の処理を示すフローチャートである。上述の実施形態と同一の処理については同一の番号を付し、記載を省略する。
【0061】
まず、ステップS101で、イグニッション(IG)がオン(ON)になると、車両周辺監視装置100が起動され、自車両のギア位置及び速度を監視する。
【0062】
次に、ステップS110及びS111で、ギアの位置が前進位置(Dレンジ等)かつ自車両1が交差点に進入することを検出すると(ステップS110:Y、ステップS111:Y)、ステップS103〜S106の処理を行う。交差点に進入しているか否かは、自車両1が減速し、停止したことにより判断してもよいし、ナビゲーション装置(図示せず)からの情報を取得して見通しの悪い交差点に進入しているか否かを判断してもよい。また、無線通信装置(図示せず)を備え、路車間通信によって、自車両1が交差点に進入することを検出するようにしてもよい。なお、カメラ装置110が自車両1の前方端部に配置され、自車両1の前方180度を撮影する点以外は、ステップS103〜S106の処理は上述した実施形態と同一である。
【0063】
一方、ギアの位置が前進位置以外に変化した場合(ステップS110:N)や、自車両1が交差点に位置しない場合(ステップS111:N)は、ステップS103〜S106の処理を中断する(ステップS107)。
【0064】
このように、自車両1が前進し、見通しの悪い交差点等へ進入する場合においても、本発明を適用することができる。そして、オプティカルフローを用いず、少ない計算量で移動物体を検出するとともに、情報表示としてマーカM1、M2を画面に表示させることで運転者に注意喚起を促し、安全性を向上することができる。
【0065】
なお、上述した各実施形態では、左側と右側に無限遠点を有する撮影画像における移動物体検出処理について説明した。しかしながら、本発明は、上側と下側に無限遠点を有する撮影画像においても適用可能である。さらに、移動物体としては、車両だけでなく、バイク、自転車、及び通行者の検出も可能である。
【0066】
また、本発明は、上述した実施形態の構成要素を適宜組み合わせることが可能であり、その組み合わせにより多くのバリエーションが可能となる。
【符号の説明】
【0067】
100 車両周辺監視装置
110 カメラ装置
120 制御装置
121 車両状態取得部
122 移動物体検出部
123 合成画像生成部
130 表示装置
140 音声出力装置
【特許請求の範囲】
【請求項1】
自車両に搭載され、前記自車両外部の周辺を撮影する撮影装置と、
前記撮影装置にて撮影された撮影画像における検出ラインを設定し、前記検出ラインに沿って移動する移動物体の移動に伴って生じる前記検出ライン上の画素の明るさの変化を検出する検出手段と、前記検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、
前記撮影画像及び前記情報表示を表示する表示装置とを備えることを特徴とする車両周辺監視装置。
【請求項2】
前記検出手段は、前記検出ライン上における画素の明るさの変化量が所定閾値以上となる場合、当該画素の位置に前記移動物体が存在すると検出することを特徴とする請求項1に記載の車両周辺監視装置。
【請求項3】
前記検出手段は、前記画素の明るさの変化量が前記所定閾値以上となる前記位置の時間的変化を監視することにより、前記移動物体の移動方向を検出することを特徴とする請求項2に記載の車両周辺監視装置。
【請求項4】
前記検出手段は、前記検出ラインの実空間上の距離を算出し、前記自車両から前記移動物体の位置までの距離を検出することを特徴とする請求項2又は3に記載の車両周辺監視装置。
【請求項5】
前記生成手段は、前記撮影画像の端点近傍から前記移動物体の位置に対応する点の近傍まで、前記第1端部に沿うよう前記情報表示を生成することを特徴とする請求項2乃至4いずれかに記載の車両周辺監視装置。
【請求項6】
前記生成手段は、前記移動物体の移動方向が前記撮影画像における第2端部から他の端部へ向かう方向である場合、当該第2端部に沿うよう前記情報表示を生成することを特徴とする請求項3乃至5いずれかに記載の車両周辺監視装置。
【請求項7】
前記生成手段は、前記検出手段により検出された結果に基づき、前記移動物体が前記自車両に近づくと判断した場合、前記情報表示の生成を行い、前記移動物体が前記自車両から遠ざかると判断した場合、前記情報表示の生成を行わないことを特徴とする請求項3乃至6いずれかに記載の車両周辺監視装置。
【請求項8】
前記生成手段は、前記移動物体の位置もしくは前記自車両から前記移動物体までの距離に応じて、前記情報表示の態様を変化させることを特徴とする請求項2乃至7いずれかに記載の車両周辺監視装置。
【請求項9】
前記検出手段は、前記移動物体の位置の時間的変化を監視することにより、前記移動物体の移動速度を検出し、
前記生成手段は、前記移動物体の移動速度に応じて、前記情報表示の態様を変化させることを特徴とする請求項2乃至8いずれかに記載の車両周辺監視装置。
【請求項10】
前記生成手段は、前記情報表示の態様として、当該情報表示の色、太さ、点滅間隔の少なくともいずれか1つを変化させることを特徴とする請求項8又は9に記載の車両周辺監視装置。
【請求項11】
前記検出手段は、前記撮影画像における2つの点を結ぶ検出ラインを設定することを特徴とする請求項1乃至10いずれかに記載の車両周辺監視装置。
【請求項12】
前記撮影装置は、広角レンズを備え、
前記検出手段は、前記広角レンズの歪みに応じた前記検出ラインを設定することを特徴とする請求項1乃至11いずれかに記載の車両周辺監視装置。
【請求項13】
前記検出手段は、前記撮影画像に対応する2つの無限遠点を結ぶ検出ラインを設定することを特徴とする請求項12に記載の車両周辺監視装置。
【請求項14】
前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
前記速度取得手段にて取得した前記自車両の速度が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中断することを特徴とする請求項1乃至13いずれかに記載の車両周辺監視装置。
【請求項15】
前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
前記速度取得手段にて取得した前記自車両の速度から移動距離を算出し、当該移動距離が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中止することを特徴とする請求項1乃至14いずれかに記載の車両周辺監視装置。
【請求項16】
前記撮影装置は、前記自車両の後方を撮影し、
前記制御装置は、前記自車両のギア位置を取得するギア位置取得手段を有し、
前記ギア位置取得手段にて取得した前記自車両のギア位置が後退位置となる場合、前記検出手段による前記明るさの変化の検出及び前記生成手段による前記情報表示の生成を行うことを特徴とする請求項1乃至15いずれかに記載の車両周辺監視装置。
【請求項1】
自車両に搭載され、前記自車両外部の周辺を撮影する撮影装置と、
前記撮影装置にて撮影された撮影画像における検出ラインを設定し、前記検出ラインに沿って移動する移動物体の移動に伴って生じる前記検出ライン上の画素の明るさの変化を検出する検出手段と、前記検出手段により検出された結果に応じて、情報表示を生成する生成手段とを有する制御装置と、
前記撮影画像及び前記情報表示を表示する表示装置とを備えることを特徴とする車両周辺監視装置。
【請求項2】
前記検出手段は、前記検出ライン上における画素の明るさの変化量が所定閾値以上となる場合、当該画素の位置に前記移動物体が存在すると検出することを特徴とする請求項1に記載の車両周辺監視装置。
【請求項3】
前記検出手段は、前記画素の明るさの変化量が前記所定閾値以上となる前記位置の時間的変化を監視することにより、前記移動物体の移動方向を検出することを特徴とする請求項2に記載の車両周辺監視装置。
【請求項4】
前記検出手段は、前記検出ラインの実空間上の距離を算出し、前記自車両から前記移動物体の位置までの距離を検出することを特徴とする請求項2又は3に記載の車両周辺監視装置。
【請求項5】
前記生成手段は、前記撮影画像の端点近傍から前記移動物体の位置に対応する点の近傍まで、前記第1端部に沿うよう前記情報表示を生成することを特徴とする請求項2乃至4いずれかに記載の車両周辺監視装置。
【請求項6】
前記生成手段は、前記移動物体の移動方向が前記撮影画像における第2端部から他の端部へ向かう方向である場合、当該第2端部に沿うよう前記情報表示を生成することを特徴とする請求項3乃至5いずれかに記載の車両周辺監視装置。
【請求項7】
前記生成手段は、前記検出手段により検出された結果に基づき、前記移動物体が前記自車両に近づくと判断した場合、前記情報表示の生成を行い、前記移動物体が前記自車両から遠ざかると判断した場合、前記情報表示の生成を行わないことを特徴とする請求項3乃至6いずれかに記載の車両周辺監視装置。
【請求項8】
前記生成手段は、前記移動物体の位置もしくは前記自車両から前記移動物体までの距離に応じて、前記情報表示の態様を変化させることを特徴とする請求項2乃至7いずれかに記載の車両周辺監視装置。
【請求項9】
前記検出手段は、前記移動物体の位置の時間的変化を監視することにより、前記移動物体の移動速度を検出し、
前記生成手段は、前記移動物体の移動速度に応じて、前記情報表示の態様を変化させることを特徴とする請求項2乃至8いずれかに記載の車両周辺監視装置。
【請求項10】
前記生成手段は、前記情報表示の態様として、当該情報表示の色、太さ、点滅間隔の少なくともいずれか1つを変化させることを特徴とする請求項8又は9に記載の車両周辺監視装置。
【請求項11】
前記検出手段は、前記撮影画像における2つの点を結ぶ検出ラインを設定することを特徴とする請求項1乃至10いずれかに記載の車両周辺監視装置。
【請求項12】
前記撮影装置は、広角レンズを備え、
前記検出手段は、前記広角レンズの歪みに応じた前記検出ラインを設定することを特徴とする請求項1乃至11いずれかに記載の車両周辺監視装置。
【請求項13】
前記検出手段は、前記撮影画像に対応する2つの無限遠点を結ぶ検出ラインを設定することを特徴とする請求項12に記載の車両周辺監視装置。
【請求項14】
前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
前記速度取得手段にて取得した前記自車両の速度が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中断することを特徴とする請求項1乃至13いずれかに記載の車両周辺監視装置。
【請求項15】
前記制御装置は、前記自車両の速度を取得する速度取得手段を有し、
前記速度取得手段にて取得した前記自車両の速度から移動距離を算出し、当該移動距離が所定値以上となる場合、前記検出手段による前記明るさの変化の検出もしくは前記生成手段による前記情報表示の生成を中止することを特徴とする請求項1乃至14いずれかに記載の車両周辺監視装置。
【請求項16】
前記撮影装置は、前記自車両の後方を撮影し、
前記制御装置は、前記自車両のギア位置を取得するギア位置取得手段を有し、
前記ギア位置取得手段にて取得した前記自車両のギア位置が後退位置となる場合、前記検出手段による前記明るさの変化の検出及び前記生成手段による前記情報表示の生成を行うことを特徴とする請求項1乃至15いずれかに記載の車両周辺監視装置。
【図1】
【図2】
【図9】
【図10】
【図11】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図2】
【図9】
【図10】
【図11】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【公開番号】特開2011−253448(P2011−253448A)
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願番号】特願2010−128181(P2010−128181)
【出願日】平成22年6月3日(2010.6.3)
【出願人】(000004260)株式会社デンソー (27,639)
【出願人】(000004695)株式会社日本自動車部品総合研究所 (1,981)
【Fターム(参考)】
【公開日】平成23年12月15日(2011.12.15)
【国際特許分類】
【出願日】平成22年6月3日(2010.6.3)
【出願人】(000004260)株式会社デンソー (27,639)
【出願人】(000004695)株式会社日本自動車部品総合研究所 (1,981)
【Fターム(参考)】
[ Back to top ]