車両周辺監視装置および車両周辺監視方法
【課題】 障害物の大きさや位置を誤って認識されないように工夫された「車両周辺監視装置および車両周辺監視方法」を提供する。
【解決手段】 本発明の車両周辺監視装置は、車両周辺の少なくとも一部を撮像し撮像データを出力する撮像カメラと、撮像カメラからの撮像データに基づき画像を表示する表示手段と、撮像データを処理し撮像データに含まれる障害物２１０のエッジ（輪郭）を抽出する画像処理部と、エッジが抽出されたとき、表示手段に表示される画像上に障害物の存在を示す警報マークＭ、Ｍ１、Ｍ２、Ｍ３を合成して表示させる画像合成部と、抽出されたエッジから障害物の全体が検出されたか否かを判定する障害物判定部とを有する。画像合成部は、障害物判定部により障害物の全体が検出されていないと判定されたとき、障害物の全体が検出された場合と異なり、警報マークＭ１、Ｍ２、Ｍ３が徐々に拡大されるように表示させる。
【解決手段】 本発明の車両周辺監視装置は、車両周辺の少なくとも一部を撮像し撮像データを出力する撮像カメラと、撮像カメラからの撮像データに基づき画像を表示する表示手段と、撮像データを処理し撮像データに含まれる障害物２１０のエッジ（輪郭）を抽出する画像処理部と、エッジが抽出されたとき、表示手段に表示される画像上に障害物の存在を示す警報マークＭ、Ｍ１、Ｍ２、Ｍ３を合成して表示させる画像合成部と、抽出されたエッジから障害物の全体が検出されたか否かを判定する障害物判定部とを有する。画像合成部は、障害物判定部により障害物の全体が検出されていないと判定されたとき、障害物の全体が検出された場合と異なり、警報マークＭ１、Ｍ２、Ｍ３が徐々に拡大されるように表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮像しその画像を表示する車両周辺監視装置に関し、特に、車両周辺に障害物が検出されたときその警報を行う技術に関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載が普及し、撮像カメラを用いたアプリケーションが急拡大している。アプリケーションの多くは、運転者を支援し、車両の走行時や駐車時の安全性を向上させるものである。例えば、障害物を監視するシステムには、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)や、車両近傍の死角の障害物を撮影するカメラシステム（サイドビュウカメラシステム）などが開発されている。
【０００３】
障害物の検出には、赤外線センサやミリ波レーダーなどを用いた方法と、撮像カメラからの撮像データを画像処理しそこに映し出された障害物を検出する方法などがある。後者の障害物の検出方法には、撮像データの俯瞰画像の差分を求めそこから静止立体物および移動体を検出する方法や、移動体のオプティカルフロー（動きベクトル）の差分から移動体を検出する方法がある。
【０００４】
例えば特許文献１は、ＣＣＤカメラで得られた道路上の物体が平面物か立体物かを識別する車両用画像処理装置を開示している。これによれば、ＣＣＤカメラで時刻Ｔ0、Ｔ1の前方画像を取得し、画像認識装置は、時刻Ｔ0で得られた画像と車両の走行状態から、画像内の物体が道路上の平面物（道路のプリント等）であると仮定した場合に、時刻Ｔ1で得られるであろう位置を算出し、実際の時刻Ｔ1の画像と比較し、両者が一致すれば、物体を平面物と判定し、一致しない場合には物体を立体物と判定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２２２６７９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の車両周辺監視装置では、撮像カメラによって撮像された車両周辺の画像をディスプレイに表示するとき、そこに障害物が検出されていれば、画面上に障害物の存在を知らせる警報マーク（警報枠）を合成して表示し、ユーザーに警報を与えている。図１は、リアビューカメラで自車後方を撮像したときの表示例である。ディスプレイに表示された後方画像１０には、白線で囲まれた駐車スペース２０と、その奥行きに地面から鉛直方向に突出した静止立体物である障害物３０が映されている。障害物３０は、エッジ検出等の画像処理によってその輪郭が抽出されるが、障害物３０と地面との間のコントラスト比または輝度差が小さかったり、画像処理の精度が良くないと、障害物３０のエッジ（輪郭）の全体を抽出することができない場合がある。
【０００７】
本来であれば、障害物３０の全体を取り囲むような警報マークが合成して表示されるが、障害物３０の一部の輪郭しか検出されなかった場合には、図１に示すように、障害物の一部を取り囲むような警報マーク４０が表示される。そうすると、ユーザーは、警報マーク４０の大きさから障害物の大きさを誤って認識したり、障害物の一部を見逃してしまうおそれがある。さらに、警報マーク４０の表示位置から障害物３０までの位置または距離を誤って認識してしまうおそれがある。
【０００８】
本発明は、上記のような従来の課題を解決するものであり、障害物の大きさや位置を誤って認識されないように工夫された車両周辺監視装置および監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る車両周辺監視装置は、車両に搭載された撮像手段を用いて車両周辺を監視するものであって、車両周辺の少なくとも一部を撮像し、撮像データを出力する撮像手段と、前記撮像手段からの撮像データに基づき画像を表示する表示手段と、前記撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出する画像処理手段と、前記輪郭情報が抽出されたとき、前記表示手段に表示される画像上に、障害物の存在を示す警報マークを合成して表示させる画像合成手段と、前記輪郭情報から障害物の全体が検出されたか否かを判定する判定手段とを有し、前記画像合成手段は、前記判定手段により障害物の全体が検出されていないと判定されたとき、前記画像合成手段により合成される警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる。
【００１０】
好ましくは前記判定手段は、前記輪郭情報が連続しているとき、障害物の全体が検出されたと判定し、前記輪郭情報が不連続であるとき、障害物の一部の検出されたと判定する。好ましくは前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの大きさが徐々に拡大されるように表示させる。好ましくは前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの色彩が徐々に薄くなるように表示させる。好ましくは前記画像合成手段は、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる。好ましくは前記画像合成手段は、警報マークを表示すべき中心位置を算出し、警報マークの重複面積が小さくなるように前記中心位置を移動させる。好ましくは前記輪郭情報は、撮像データの輝度またはコントラストの差から抽出されるエッジ情報である。
【００１１】
本発明に係る車両周辺監視方法は、車両に搭載された撮像カメラを用いて車両周辺の監視を行うものであって、撮像カメラによって車両周辺の少なくとも一部を撮像するステップと、撮像カメラから提供された撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出するステップと、前記輪郭情報から障害物の全体が検出されたか否かを判定するステップと、前記輪郭情報が抽出されたとき、撮像データに基づき表示される画像上に、障害物の存在を示す警報マークを合成して表示するステップとを含み、前記合成して表示するステップは、前記判定するステップにより障害物の全体が検出されていないと判定されたとき、合成される警報マークの表示態様を障害物の全体が検出されたときの表示態様と異ならせる。
【００１２】
好ましくは前記合成して表示するステップは、警報マークを徐々に拡大させる。好ましくは前記合成して表示するステップは、警報マークの色を徐々に薄くさせる。好ましくは前記合成して表示するステップは、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる。
【発明の効果】
【００１３】
本発明によれば、障害物の全体が検出されていない場合には、合成して表示される警報マークの表示態様を全体が検出された場合のときと異ならせることで、ユーザーは、障害物の全体が検出されていない状態であることを認識することができるので、障害物の大きさおよび位置を誤って認識するのを防止することができる。
【図面の簡単な説明】
【００１４】
【図１】従来の車両周辺監視装置における警報マークの表示例を示す図である。
【図２】本発明の第1の実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図３】撮像カメラの搭載例を示す平面図である。
【図４】図２に示す画像処理部の構成を示すブロック図である。
【図５】図２に示す出力制御部の構成を示すブロック図である。
【図６】第１の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。
【図７】図７Ａは、障害物の全体のエッジが抽出された例を示し、図７Ｂは、障害物の一部のエッジが抽出された例を示す。
【図８】警報マーク記憶部の一例を示す図である。
【図９】本実施例による警報マークの表示例を示し、図９Ａは、障害物の全体のエッジが抽出されたときの警報マークの表示例、図９Ｂは、障害物の一部のエッジが検出されたときの警報マークの表示例である。
【図１０】本発明の第２の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。
【図１１】図１１Ａは、複数の障害物が検出されたときの警報マークの表示例を示し、図１１Ｂは、警報マークが最大に拡大されたときの重なり面積を示す図である。
【図１２】図１２Ａは、中心位置を移動する例を示し、図１２Ｂは、警報マークが最大に拡大されたときの重なり面積が減少された例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。本実施の形態に係る車両周辺監視装置は、自車の後部に撮像カメラを搭載し、自車が後方に移動するときに撮像カメラによって撮像された後方画像をディスプレイに表示する態様を例示する。但し、このような態様は例示であって、本発明の車両周辺監視装置は、車両の前方や側方に撮像カメラを搭載して周辺を監視する場合にも適用される。
【実施例】
【００１６】
図２は、本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。本実施例に係る車両周辺監視装置１００は、撮像カメラ１１０と、撮像カメラ１１０により撮像された撮像データを受け取り、後方画像を表示するための必要な画像処理を行う画像処理部１２０と、画像処理部１２０で処理された信号を受け取り、障害物の存在を示す警報マーク（警報枠）等の合成を行う出力制御部１３０と、出力制御部１３０により合成された画像を表示するディスプレイ１４０と、スピーカ１５０とを含んでいる。
【００１７】
撮像カメラ１１０は、例えばＣＣＤやＣＭＯＳイメージセンサを用いて構成される。撮像カメラ１１０は、図３に示すように、自車後部の車幅方向の中央部に取り付けられ、視野角θで自車後方を撮像する。撮像カメラ１１０で撮像された撮像データは、画像処理部１２０に提供される。
【００１８】
画像処理部１２０は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ＲＯＭやＲＡＭに格納されたプログラムを実行して画像処理を行うことができる。但し、画像処理部１２０は、ソフトウエア、ハードウエハ、あるいはソフトウエアとハードウエアの組合せによって実現されるようにしてもよい。画像処理部１２０は、撮像カメラ１１０から撮像データを受け取り、撮像データを画像処理しそこに映し出された障害物を検出する。ここでいう障害物とは、地面から一定の高さを有する静止立体物または移動体をいう。さらに画像処理部１２０は、ディスプレイ１４０に画像を表示すべく撮像データをトリミングしたり、静止立体物や移動体を検出するために必要であれば、撮像データの視点変換処理などを行うようにしてもよい。
【００１９】
出力制御部１３０は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ＲＯＭやＲＡＭに格納されたプログラムを実行して画像や音声を出力させる。但し、その実現方法は、ソフトウエア、ハードウエアまたは両者の組合せのいずれであってもよい。出力制御部１３０は、自車が後方に進行されるとき、例えば、ギアがバックに入ったとき、撮像カメラ１１０で撮像された後方画像をディスプレイ１４０に表示させる。このとき、撮像データに障害物が移っていれば、障害物の存在を示す警報マークを後方画像上に合成して表示させる。さらに障害物の存在を音声にて知らせる場合には、スピーカ１５０から音声を出力させる。
【００２０】
図４は、画像処理部１２０の構成例を示すブロック図である。画像処理部１２０は、撮像カメラ１１０からの撮像データを保持するフレームバッファ１２２と、フレームバッファ１２２から出力された撮像データの歪曲収差を補正する歪曲収差補正部１２４と、補正された撮像データのエッジを検出するエッジ検出部１２６とを有する。エッジ検出は、公知の手段を用いて構成され、例えば画素のコントラスト比は明度の差から物体の輪郭または外形を抽出する。歪曲収差補正部１２４およびエッジ検出部１２４で処理されたデータは、出力制御部１３０へ提供される。
【００２１】
図５は、出力制御部１３０の構成例を示すブロック図である。出力制御部１３０は、画像処理部１２０からの撮像データを受け取り、これをディスプレイ１４０に表示させる画像合成部１３２と、エッジ検出部１２６により検出された障害物のエッジ情報を受け取り、障害物の全体が検出されたか否かを判定する障害物判定部１３４と、画像合成部１３２によって合成される警報マークに関する情報を記憶する警報マーク記憶部１３６とを有する。画像合成部１３２は、後述するように、撮像データ内に障害物が検出されたとき、すなわち障害物のエッジが抽出されたとき、障害部の存在を示す警報マークを後方画像に合成して表示させる。
【００２２】
次に、本実施例の車両周辺監視装置の動作を図６のフローチャートを参照して説明する。
先ず、出力制御部１３０は、自車のギアが後進になったか否かを監視する（ステップＳ１０１）。出力制御部１３０によって、ギアが後進に設定されたことが検出されると、自車の後方画像をディスプレイ１４０に表示するための準備がなされる。撮像カメラ１１０は、自車の後方を撮像し（ステップＳ１０２）、その撮像データは、画像処理部１２０によって画像処理され、障害物のエッジ検出がなされる（ステップＳ１０３）。
【００２３】
図７は、障害物のエッジ検出の例を説明する図であり、図７Ａは、障害物の全体のエッジが抽出された例、図７Ｂは、障害物の一部のエッジが抽出された例を示している。自車の後方画像には、白線で示された駐車スペース２００が映し出され、その奥部には、地面から鉛直方向に突出した三角形状の障害物２１０が映し出されている。エッジ検出部１２６の精度は、撮像される障害物の大きさや色、背景の色、撮像された環境（天候によって明るさが異なる）、撮像データの解像度などによって変動する。エッジの検出精度が良好であれば、図７Ａに示すように、障害物２１０の全体の輪郭を示すエッジ２２２Ａ（図中、太線で示す）が抽出される。他方、エッジの検出精度が良好でないと、障害物２１０の一部の輪郭を示すエッジ２２２Ｂしか抽出されない。
【００２４】
エッジ検出部１２６によって障害物のエッジが検出されたことに応答して、画像合成部１３２は、障害物が検出されたことを知り、警報マーク記憶部１３６から警報マークの表示態様に関する情報を読み出し（ステップＳ１０４）、後方画像に警報マークを合成する準備をする。図８は、警報マーク記憶部の記憶例を示している。例えば、警報マーク記憶部１３６は、警報マークの形状、表示色、警報マークの変化パターン、周期、表示時間などの情報を記憶する。警報マークの形状は、典型的には障害物を取り囲むような枠体であり、その形状は、矩形、円形、あるいは障害物の外形に対応する形状であることができる。警報マークの表示色は、背景の色とコントラストがある色が選択されることが好ましい。変化パターンは、警報マークのサイズや色の変化を規定し、例えば、警報マークのサイズが徐々に大きくなるように拡大されたり、あるいは表示色が徐々に薄くなるように変化する。周期は、警報マークの変化する周期を規定し、時間は、警報マークが表示される時間を規定する。
【００２５】
警報マーク記憶部１３６には、警報マークの表示態様に関する種々の情報が記憶されており、画像合成部１３２は、予め設定された条件に従い、警報マークの形状、表示色、変化パターン等の情報を読み出したり、あるいは、後方画像を表示するときの条件に従い、警報マークの形状、表示色、変化パターン等の情報を読み出して警報マークの表示が動的に変化されるようにしてもよい。さらに、ユーザー設定によって警報マークの形状、表示色、変化パターン等を変更するようにしてもよい。
【００２６】
次に、障害物のエッジが検出されたとき、障害物判定部１３４は、障害物の全体のエッジが検出されているか否かを判定する（ステップＳ１０５）。１つの判定基準に、エッジに連続性があるか否かを用いることができ、エッジの連続性の有無は、エッジの輝度差を用いることができる。画素の輝度が一定以下であれば、エッジが抽出されていないと判定し、エッジが抽出されていない画素の連続が一定以上あれば、エッジに不連続があると判定する。他方、そのような不連続が見られないとき、エッジに連続性があると判定される。
【００２７】
次に、画像合成部１３２は、障害物判定部１３４により障害物の全体が検出されていると判定された場合には、従来の手法と同様に、障害物のエッジを取り囲む警報マークを合成して表示させる（ステップＳ１０６）。画像合成部１３２は、障害物の全体のエッジの大きさから警報マークのサイズを調整することができる。また、画像合成部１３２は、エッジによって囲まれた領域の面積を計算し、その中心位置に一致するように警報マークを表示させることができる。あるいは、エッジ内の所定の位置を基準位置に設定し、その基準位置に一致するように警報マークを表示させることができる。例えば、図７Ａに示すように障害物２１０の全体のエッジ２２２Ａが検出されたとき、画像合成部１３２は、図９Ａに示すように障害物２１０を取り囲むような矩形状の警報マークＭを一定期間表示させる。
【００２８】
他方、画像合成部１３２は、障害物判定部１３４により障害物の全体のエッジが検出されておらずその一部を捉えたエッジが検出されたと判定された場合には、サイズが徐々に拡大するような警報マークを表示させる（ステップＳ１０７）。例えば、図７Ｂに示すような障害物２１０の一部のエッジ２２２Ｂが検出されたとき、画像合成部１３２は、図９Ｂに示すように、時間Ｔ１において、障害物２１０のエッジ２２２Ｂを取り囲むサイズの矩形状の警報マークＭ１を表示させ、次の時間Ｔ２において、警報マークＭ１のサイズを幾分だけ拡大させた警報マークＭ２を表示させ、次の時間Ｔ３においてさらにサイズを拡大させた警報マークＭ３を表示させる。警報マークＭ１、Ｍ２、Ｍ３は、エッジ２２２Ｂの中心と一致するように表示され、サイズは、段階的に拡大するほかにも、連続的に拡大させるものであってもよい。また、出力制御部１３０は、警報マークを後方画像上に表示されることと同期して、スピーカ１５０から警報の音声を出力させることができる。
【００２９】
このように、本実施例では、障害物の全体のエッジが抽出されたときと、その一部が抽出されたときで、警報マークの表示態様を異なるようにしたので、ユーザーが、警報マークの大きさおよび位置を障害物の大きさおよび位置と誤解することのないように、障害物の存在を知らせることができる。また、警報マークを拡大させた場合、時間経過により障害物の位置が移動しても、障害物を警報マーク内に収めることができる。さらに、警報マークが表示される表示時間を長くすることで、ユーザーの視認率を向上させることができる。
【００３０】
次に、本実施例における警報マークの他の表示態様について説明する。上記の図９Ｂに示す例では、警報マークが徐々に大きくなるように表示されるが、警報マークが徐々に大きく変化することで、障害物が移動しているような誤解を与える。こうした事態を避けるため、警報マークのサイズが大きくなるにつれ、警報マークの色を段階的に薄くしたり、あるいは徐々に背景を透過するように変化させることができる。
【００３１】
さらに警報マークの色は、自車から障害物までの距離に応じて可変するようにしてもよい。警報マークを表示する位置によって、自車から障害物までの距離を算出することが可能であり、自車から障害物までの距離が一定以上であるとき、障害物への衝突の危険度が小さいことを知らせるために警報マークを青色で表示し、障害物までの距離が接近するにつれ警報マークを黄色で表示し、さらに距離が一定以下に到達したとき、危険度が高いことを知らせるために警報マークを赤色で表示させるようにしてもよい。
【００３２】
さらに警報マークの色は、障害物が静止立体物か移動体かに応じて異ならせることができる。静止立体物に比べて移動体は、危険度が高い。このため、静止立体物は青または黄色で表示し、移動体を赤で表示するようにしてもよい。
【００３３】
次に、本発明の第２の実施例について説明する。第２の実施例は、エッジ検出部１２６によって複数の障害物のエッジ（輪郭）が検出されたときの警報マークの表示に関する。第２の実施例の動作を図１０のフローチャート参照して説明し、併せて図１１Ａに示すような自車の後方画像が撮像されたときの例を用いる。
【００３４】
先ず、画像合成部１３２は、エッジ検出部１２６によって複数の障害物が検出されたか否かを判定する（ステップＳ２０１）。図１１Ａに示すように、後方画像には、駐車スペース２００と、その両側に障害物である２つの車両２２０、２３０が映し出されている。このような映像が撮像されたとき、２つの障害物２２０、２３０のエッジが検出される。画像合成部１３２は、検出されたエッジが大きく離間していることからエッジを２つのグループに分け、２つの障害物２２０、２３０が存在すると判定する。
【００３５】
画像合成部１３２は、複数の障害物が存在すると判定すると、検出された障害物のエッジに基づき警報マークを表示すべき中心位置を求める（ステップＳ２０２）。図１１Ａの例では、障害物２２０、２３０のエッジから、警報マークを表示すべき２つの中心位置Ｃａ、Ｃｂを求める。ここでの例は、障害物２２０、２３０の全体のエッジが抽出されておらず、一部のエッジしか抽出されていないものとする。エッジが抽出されていない領域は、補助線で補い、エッジに囲まれた領域から中心位置を求める。
【００３６】
次に、画像合成部１３２は、それぞれの障害物についての警報マークが最大となったときの両者の重なり面積Ｓを計算する（ステップＳ２０３）。図１１Ａに示すように、障害物２２０の警報マークＭａは、中心位置Ｃａを基準に表示され、警報マークＭａは徐々に拡大され、その最大は、図１１Ｂに示すようにディスプレイの表示エリアによって制限される。障害物２３０についても同様に、警報マークＭｂは、中心位置Ｃｂを基準に表示され、その最大は、図１１Ｂに示すようにディスプレイの表示エリアによって制限される。画像合成部１３２は、この最大時の警報マークＭａとＭｂの重なり面積Ｓを計算する。
【００３７】
次に、画像合成部１３２は、重なり面積Ｓが閾値を超えるか否かを判定する（ステップＳ２０４）。両者の重なり面積Ｓが大きくなりすぎると、ユーザーの視認性が低下し、あるいは、警報マークの重なり部分に障害物が存在するかの如く誤解を与えかねない。画像合成部１３２は、重なり面積Ｓが閾値を越える場合には、中心位置を移動させ（ステップＳ２０５）、重なり面積Ｓ１を求め（ステップＳ２０６）、重なり面積Ｓ１が閾値を越えないようにする。中心位置の移動は、いずれかの障害物について行われ、中心位置は、中心位置間の距離が大きくなる方向に移動されればよく、すなわち中心位置が離れる方向に移動されればよく、好ましくは、重なり面積Ｓ１が最小になるように中心位置が移動される。
図１２Ａは、障害物２３０の中心位置ＣｂをＣｂ１へ移動させた例を示している。
【００３８】
次に、画像合成部１３２は、障害物についての警報マークの表示を開始する（ステップＳ２０７）。この結果、図１１Ｂに示す警報マークＭａ、Ｍｂの表示は、図１２Ｂに示すように変更され、警報マークＭａ、Ｍｂが最大に拡大されたとき、両者の重なり面積Ｓ１（Ｓ１＜Ｓ）を小さくすることができる。このような警報マークの表示により、ユーザーは、２つの障害物が存在することを理解し、警報マークの重なり部分に障害物が存在するといった誤認識を抑制することができる。
【００３９】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４０】
上記実施例では、障害物が静止立体物であるときの警報マークの表示例を示したが、障害物は、移動体であってもよく、その場合でも同様に警報マークが表示される。また、上記実施例では、警報マークの形状を矩形状にしたが、これ以外の円形状であってもよいし、あるいは障害物のエッジと相似形の警報マークであってもよい。また、警報マークを拡大する周期、表示する期間などは、設計事項に応じて適宜選択される。
【００４１】
さらに上記実施例では、撮像カメラからの撮像データを画像処理することによって、撮像データに含まれる障害物を抽出したが、障害物の検出には、ミリ波レーダー、赤外線などのセンサを併用するものであってもよい。また、本発明の車両周辺監視装置は、車両に搭載される他の電子装置（例えばナビゲーション装置やテレビ受信装置）と機能的に複合化されて使用されることができる。
【符号の説明】
【００４２】
１００：車両周辺監視装置 １１０：撮像カメラ
１２０：画像処理部 １２２：フレームバッファ
１２４；歪曲収差補正部 １２６：エッジ検出部
１３０：出力制御部 １３２：画像合成部
１３４：障害物判定部 １３６：警報マーク記憶部
１４０：ディスプレイ １５０：スピーカ
２００：駐車スペース ２１０：障害物
Ｍ、Ｍ１、Ｍ２、Ｍａ、Ｍｂ：警報マーク
【技術分野】
【０００１】
本発明は、車両周辺を撮像しその画像を表示する車両周辺監視装置に関し、特に、車両周辺に障害物が検出されたときその警報を行う技術に関する。
【背景技術】
【０００２】
自動車への撮像カメラの搭載が普及し、撮像カメラを用いたアプリケーションが急拡大している。アプリケーションの多くは、運転者を支援し、車両の走行時や駐車時の安全性を向上させるものである。例えば、障害物を監視するシステムには、遠方の障害物を撮影するカメラシステム(コーナーモニターシステム、リアビュウカメラシステムなど)や、車両近傍の死角の障害物を撮影するカメラシステム（サイドビュウカメラシステム）などが開発されている。
【０００３】
障害物の検出には、赤外線センサやミリ波レーダーなどを用いた方法と、撮像カメラからの撮像データを画像処理しそこに映し出された障害物を検出する方法などがある。後者の障害物の検出方法には、撮像データの俯瞰画像の差分を求めそこから静止立体物および移動体を検出する方法や、移動体のオプティカルフロー（動きベクトル）の差分から移動体を検出する方法がある。
【０００４】
例えば特許文献１は、ＣＣＤカメラで得られた道路上の物体が平面物か立体物かを識別する車両用画像処理装置を開示している。これによれば、ＣＣＤカメラで時刻Ｔ0、Ｔ1の前方画像を取得し、画像認識装置は、時刻Ｔ0で得られた画像と車両の走行状態から、画像内の物体が道路上の平面物（道路のプリント等）であると仮定した場合に、時刻Ｔ1で得られるであろう位置を算出し、実際の時刻Ｔ1の画像と比較し、両者が一致すれば、物体を平面物と判定し、一致しない場合には物体を立体物と判定している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２２２６７９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の車両周辺監視装置では、撮像カメラによって撮像された車両周辺の画像をディスプレイに表示するとき、そこに障害物が検出されていれば、画面上に障害物の存在を知らせる警報マーク（警報枠）を合成して表示し、ユーザーに警報を与えている。図１は、リアビューカメラで自車後方を撮像したときの表示例である。ディスプレイに表示された後方画像１０には、白線で囲まれた駐車スペース２０と、その奥行きに地面から鉛直方向に突出した静止立体物である障害物３０が映されている。障害物３０は、エッジ検出等の画像処理によってその輪郭が抽出されるが、障害物３０と地面との間のコントラスト比または輝度差が小さかったり、画像処理の精度が良くないと、障害物３０のエッジ（輪郭）の全体を抽出することができない場合がある。
【０００７】
本来であれば、障害物３０の全体を取り囲むような警報マークが合成して表示されるが、障害物３０の一部の輪郭しか検出されなかった場合には、図１に示すように、障害物の一部を取り囲むような警報マーク４０が表示される。そうすると、ユーザーは、警報マーク４０の大きさから障害物の大きさを誤って認識したり、障害物の一部を見逃してしまうおそれがある。さらに、警報マーク４０の表示位置から障害物３０までの位置または距離を誤って認識してしまうおそれがある。
【０００８】
本発明は、上記のような従来の課題を解決するものであり、障害物の大きさや位置を誤って認識されないように工夫された車両周辺監視装置および監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る車両周辺監視装置は、車両に搭載された撮像手段を用いて車両周辺を監視するものであって、車両周辺の少なくとも一部を撮像し、撮像データを出力する撮像手段と、前記撮像手段からの撮像データに基づき画像を表示する表示手段と、前記撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出する画像処理手段と、前記輪郭情報が抽出されたとき、前記表示手段に表示される画像上に、障害物の存在を示す警報マークを合成して表示させる画像合成手段と、前記輪郭情報から障害物の全体が検出されたか否かを判定する判定手段とを有し、前記画像合成手段は、前記判定手段により障害物の全体が検出されていないと判定されたとき、前記画像合成手段により合成される警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる。
【００１０】
好ましくは前記判定手段は、前記輪郭情報が連続しているとき、障害物の全体が検出されたと判定し、前記輪郭情報が不連続であるとき、障害物の一部の検出されたと判定する。好ましくは前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの大きさが徐々に拡大されるように表示させる。好ましくは前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの色彩が徐々に薄くなるように表示させる。好ましくは前記画像合成手段は、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる。好ましくは前記画像合成手段は、警報マークを表示すべき中心位置を算出し、警報マークの重複面積が小さくなるように前記中心位置を移動させる。好ましくは前記輪郭情報は、撮像データの輝度またはコントラストの差から抽出されるエッジ情報である。
【００１１】
本発明に係る車両周辺監視方法は、車両に搭載された撮像カメラを用いて車両周辺の監視を行うものであって、撮像カメラによって車両周辺の少なくとも一部を撮像するステップと、撮像カメラから提供された撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出するステップと、前記輪郭情報から障害物の全体が検出されたか否かを判定するステップと、前記輪郭情報が抽出されたとき、撮像データに基づき表示される画像上に、障害物の存在を示す警報マークを合成して表示するステップとを含み、前記合成して表示するステップは、前記判定するステップにより障害物の全体が検出されていないと判定されたとき、合成される警報マークの表示態様を障害物の全体が検出されたときの表示態様と異ならせる。
【００１２】
好ましくは前記合成して表示するステップは、警報マークを徐々に拡大させる。好ましくは前記合成して表示するステップは、警報マークの色を徐々に薄くさせる。好ましくは前記合成して表示するステップは、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる。
【発明の効果】
【００１３】
本発明によれば、障害物の全体が検出されていない場合には、合成して表示される警報マークの表示態様を全体が検出された場合のときと異ならせることで、ユーザーは、障害物の全体が検出されていない状態であることを認識することができるので、障害物の大きさおよび位置を誤って認識するのを防止することができる。
【図面の簡単な説明】
【００１４】
【図１】従来の車両周辺監視装置における警報マークの表示例を示す図である。
【図２】本発明の第1の実施例に係る車両周辺監視装置の構成を示すブロック図である。
【図３】撮像カメラの搭載例を示す平面図である。
【図４】図２に示す画像処理部の構成を示すブロック図である。
【図５】図２に示す出力制御部の構成を示すブロック図である。
【図６】第１の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。
【図７】図７Ａは、障害物の全体のエッジが抽出された例を示し、図７Ｂは、障害物の一部のエッジが抽出された例を示す。
【図８】警報マーク記憶部の一例を示す図である。
【図９】本実施例による警報マークの表示例を示し、図９Ａは、障害物の全体のエッジが抽出されたときの警報マークの表示例、図９Ｂは、障害物の一部のエッジが検出されたときの警報マークの表示例である。
【図１０】本発明の第２の実施例に係る車両周辺監視装置の動作を説明するフローチャートである。
【図１１】図１１Ａは、複数の障害物が検出されたときの警報マークの表示例を示し、図１１Ｂは、警報マークが最大に拡大されたときの重なり面積を示す図である。
【図１２】図１２Ａは、中心位置を移動する例を示し、図１２Ｂは、警報マークが最大に拡大されたときの重なり面積が減少された例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。本実施の形態に係る車両周辺監視装置は、自車の後部に撮像カメラを搭載し、自車が後方に移動するときに撮像カメラによって撮像された後方画像をディスプレイに表示する態様を例示する。但し、このような態様は例示であって、本発明の車両周辺監視装置は、車両の前方や側方に撮像カメラを搭載して周辺を監視する場合にも適用される。
【実施例】
【００１６】
図２は、本発明の実施例に係る車両周辺監視装置の構成を示すブロック図である。本実施例に係る車両周辺監視装置１００は、撮像カメラ１１０と、撮像カメラ１１０により撮像された撮像データを受け取り、後方画像を表示するための必要な画像処理を行う画像処理部１２０と、画像処理部１２０で処理された信号を受け取り、障害物の存在を示す警報マーク（警報枠）等の合成を行う出力制御部１３０と、出力制御部１３０により合成された画像を表示するディスプレイ１４０と、スピーカ１５０とを含んでいる。
【００１７】
撮像カメラ１１０は、例えばＣＣＤやＣＭＯＳイメージセンサを用いて構成される。撮像カメラ１１０は、図３に示すように、自車後部の車幅方向の中央部に取り付けられ、視野角θで自車後方を撮像する。撮像カメラ１１０で撮像された撮像データは、画像処理部１２０に提供される。
【００１８】
画像処理部１２０は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ＲＯＭやＲＡＭに格納されたプログラムを実行して画像処理を行うことができる。但し、画像処理部１２０は、ソフトウエア、ハードウエハ、あるいはソフトウエアとハードウエアの組合せによって実現されるようにしてもよい。画像処理部１２０は、撮像カメラ１１０から撮像データを受け取り、撮像データを画像処理しそこに映し出された障害物を検出する。ここでいう障害物とは、地面から一定の高さを有する静止立体物または移動体をいう。さらに画像処理部１２０は、ディスプレイ１４０に画像を表示すべく撮像データをトリミングしたり、静止立体物や移動体を検出するために必要であれば、撮像データの視点変換処理などを行うようにしてもよい。
【００１９】
出力制御部１３０は、例えば、マイクロプロセッサ、マイクロコンピュータ、画像処理プロセッサなどを用いて構成され、ＲＯＭやＲＡＭに格納されたプログラムを実行して画像や音声を出力させる。但し、その実現方法は、ソフトウエア、ハードウエアまたは両者の組合せのいずれであってもよい。出力制御部１３０は、自車が後方に進行されるとき、例えば、ギアがバックに入ったとき、撮像カメラ１１０で撮像された後方画像をディスプレイ１４０に表示させる。このとき、撮像データに障害物が移っていれば、障害物の存在を示す警報マークを後方画像上に合成して表示させる。さらに障害物の存在を音声にて知らせる場合には、スピーカ１５０から音声を出力させる。
【００２０】
図４は、画像処理部１２０の構成例を示すブロック図である。画像処理部１２０は、撮像カメラ１１０からの撮像データを保持するフレームバッファ１２２と、フレームバッファ１２２から出力された撮像データの歪曲収差を補正する歪曲収差補正部１２４と、補正された撮像データのエッジを検出するエッジ検出部１２６とを有する。エッジ検出は、公知の手段を用いて構成され、例えば画素のコントラスト比は明度の差から物体の輪郭または外形を抽出する。歪曲収差補正部１２４およびエッジ検出部１２４で処理されたデータは、出力制御部１３０へ提供される。
【００２１】
図５は、出力制御部１３０の構成例を示すブロック図である。出力制御部１３０は、画像処理部１２０からの撮像データを受け取り、これをディスプレイ１４０に表示させる画像合成部１３２と、エッジ検出部１２６により検出された障害物のエッジ情報を受け取り、障害物の全体が検出されたか否かを判定する障害物判定部１３４と、画像合成部１３２によって合成される警報マークに関する情報を記憶する警報マーク記憶部１３６とを有する。画像合成部１３２は、後述するように、撮像データ内に障害物が検出されたとき、すなわち障害物のエッジが抽出されたとき、障害部の存在を示す警報マークを後方画像に合成して表示させる。
【００２２】
次に、本実施例の車両周辺監視装置の動作を図６のフローチャートを参照して説明する。
先ず、出力制御部１３０は、自車のギアが後進になったか否かを監視する（ステップＳ１０１）。出力制御部１３０によって、ギアが後進に設定されたことが検出されると、自車の後方画像をディスプレイ１４０に表示するための準備がなされる。撮像カメラ１１０は、自車の後方を撮像し（ステップＳ１０２）、その撮像データは、画像処理部１２０によって画像処理され、障害物のエッジ検出がなされる（ステップＳ１０３）。
【００２３】
図７は、障害物のエッジ検出の例を説明する図であり、図７Ａは、障害物の全体のエッジが抽出された例、図７Ｂは、障害物の一部のエッジが抽出された例を示している。自車の後方画像には、白線で示された駐車スペース２００が映し出され、その奥部には、地面から鉛直方向に突出した三角形状の障害物２１０が映し出されている。エッジ検出部１２６の精度は、撮像される障害物の大きさや色、背景の色、撮像された環境（天候によって明るさが異なる）、撮像データの解像度などによって変動する。エッジの検出精度が良好であれば、図７Ａに示すように、障害物２１０の全体の輪郭を示すエッジ２２２Ａ（図中、太線で示す）が抽出される。他方、エッジの検出精度が良好でないと、障害物２１０の一部の輪郭を示すエッジ２２２Ｂしか抽出されない。
【００２４】
エッジ検出部１２６によって障害物のエッジが検出されたことに応答して、画像合成部１３２は、障害物が検出されたことを知り、警報マーク記憶部１３６から警報マークの表示態様に関する情報を読み出し（ステップＳ１０４）、後方画像に警報マークを合成する準備をする。図８は、警報マーク記憶部の記憶例を示している。例えば、警報マーク記憶部１３６は、警報マークの形状、表示色、警報マークの変化パターン、周期、表示時間などの情報を記憶する。警報マークの形状は、典型的には障害物を取り囲むような枠体であり、その形状は、矩形、円形、あるいは障害物の外形に対応する形状であることができる。警報マークの表示色は、背景の色とコントラストがある色が選択されることが好ましい。変化パターンは、警報マークのサイズや色の変化を規定し、例えば、警報マークのサイズが徐々に大きくなるように拡大されたり、あるいは表示色が徐々に薄くなるように変化する。周期は、警報マークの変化する周期を規定し、時間は、警報マークが表示される時間を規定する。
【００２５】
警報マーク記憶部１３６には、警報マークの表示態様に関する種々の情報が記憶されており、画像合成部１３２は、予め設定された条件に従い、警報マークの形状、表示色、変化パターン等の情報を読み出したり、あるいは、後方画像を表示するときの条件に従い、警報マークの形状、表示色、変化パターン等の情報を読み出して警報マークの表示が動的に変化されるようにしてもよい。さらに、ユーザー設定によって警報マークの形状、表示色、変化パターン等を変更するようにしてもよい。
【００２６】
次に、障害物のエッジが検出されたとき、障害物判定部１３４は、障害物の全体のエッジが検出されているか否かを判定する（ステップＳ１０５）。１つの判定基準に、エッジに連続性があるか否かを用いることができ、エッジの連続性の有無は、エッジの輝度差を用いることができる。画素の輝度が一定以下であれば、エッジが抽出されていないと判定し、エッジが抽出されていない画素の連続が一定以上あれば、エッジに不連続があると判定する。他方、そのような不連続が見られないとき、エッジに連続性があると判定される。
【００２７】
次に、画像合成部１３２は、障害物判定部１３４により障害物の全体が検出されていると判定された場合には、従来の手法と同様に、障害物のエッジを取り囲む警報マークを合成して表示させる（ステップＳ１０６）。画像合成部１３２は、障害物の全体のエッジの大きさから警報マークのサイズを調整することができる。また、画像合成部１３２は、エッジによって囲まれた領域の面積を計算し、その中心位置に一致するように警報マークを表示させることができる。あるいは、エッジ内の所定の位置を基準位置に設定し、その基準位置に一致するように警報マークを表示させることができる。例えば、図７Ａに示すように障害物２１０の全体のエッジ２２２Ａが検出されたとき、画像合成部１３２は、図９Ａに示すように障害物２１０を取り囲むような矩形状の警報マークＭを一定期間表示させる。
【００２８】
他方、画像合成部１３２は、障害物判定部１３４により障害物の全体のエッジが検出されておらずその一部を捉えたエッジが検出されたと判定された場合には、サイズが徐々に拡大するような警報マークを表示させる（ステップＳ１０７）。例えば、図７Ｂに示すような障害物２１０の一部のエッジ２２２Ｂが検出されたとき、画像合成部１３２は、図９Ｂに示すように、時間Ｔ１において、障害物２１０のエッジ２２２Ｂを取り囲むサイズの矩形状の警報マークＭ１を表示させ、次の時間Ｔ２において、警報マークＭ１のサイズを幾分だけ拡大させた警報マークＭ２を表示させ、次の時間Ｔ３においてさらにサイズを拡大させた警報マークＭ３を表示させる。警報マークＭ１、Ｍ２、Ｍ３は、エッジ２２２Ｂの中心と一致するように表示され、サイズは、段階的に拡大するほかにも、連続的に拡大させるものであってもよい。また、出力制御部１３０は、警報マークを後方画像上に表示されることと同期して、スピーカ１５０から警報の音声を出力させることができる。
【００２９】
このように、本実施例では、障害物の全体のエッジが抽出されたときと、その一部が抽出されたときで、警報マークの表示態様を異なるようにしたので、ユーザーが、警報マークの大きさおよび位置を障害物の大きさおよび位置と誤解することのないように、障害物の存在を知らせることができる。また、警報マークを拡大させた場合、時間経過により障害物の位置が移動しても、障害物を警報マーク内に収めることができる。さらに、警報マークが表示される表示時間を長くすることで、ユーザーの視認率を向上させることができる。
【００３０】
次に、本実施例における警報マークの他の表示態様について説明する。上記の図９Ｂに示す例では、警報マークが徐々に大きくなるように表示されるが、警報マークが徐々に大きく変化することで、障害物が移動しているような誤解を与える。こうした事態を避けるため、警報マークのサイズが大きくなるにつれ、警報マークの色を段階的に薄くしたり、あるいは徐々に背景を透過するように変化させることができる。
【００３１】
さらに警報マークの色は、自車から障害物までの距離に応じて可変するようにしてもよい。警報マークを表示する位置によって、自車から障害物までの距離を算出することが可能であり、自車から障害物までの距離が一定以上であるとき、障害物への衝突の危険度が小さいことを知らせるために警報マークを青色で表示し、障害物までの距離が接近するにつれ警報マークを黄色で表示し、さらに距離が一定以下に到達したとき、危険度が高いことを知らせるために警報マークを赤色で表示させるようにしてもよい。
【００３２】
さらに警報マークの色は、障害物が静止立体物か移動体かに応じて異ならせることができる。静止立体物に比べて移動体は、危険度が高い。このため、静止立体物は青または黄色で表示し、移動体を赤で表示するようにしてもよい。
【００３３】
次に、本発明の第２の実施例について説明する。第２の実施例は、エッジ検出部１２６によって複数の障害物のエッジ（輪郭）が検出されたときの警報マークの表示に関する。第２の実施例の動作を図１０のフローチャート参照して説明し、併せて図１１Ａに示すような自車の後方画像が撮像されたときの例を用いる。
【００３４】
先ず、画像合成部１３２は、エッジ検出部１２６によって複数の障害物が検出されたか否かを判定する（ステップＳ２０１）。図１１Ａに示すように、後方画像には、駐車スペース２００と、その両側に障害物である２つの車両２２０、２３０が映し出されている。このような映像が撮像されたとき、２つの障害物２２０、２３０のエッジが検出される。画像合成部１３２は、検出されたエッジが大きく離間していることからエッジを２つのグループに分け、２つの障害物２２０、２３０が存在すると判定する。
【００３５】
画像合成部１３２は、複数の障害物が存在すると判定すると、検出された障害物のエッジに基づき警報マークを表示すべき中心位置を求める（ステップＳ２０２）。図１１Ａの例では、障害物２２０、２３０のエッジから、警報マークを表示すべき２つの中心位置Ｃａ、Ｃｂを求める。ここでの例は、障害物２２０、２３０の全体のエッジが抽出されておらず、一部のエッジしか抽出されていないものとする。エッジが抽出されていない領域は、補助線で補い、エッジに囲まれた領域から中心位置を求める。
【００３６】
次に、画像合成部１３２は、それぞれの障害物についての警報マークが最大となったときの両者の重なり面積Ｓを計算する（ステップＳ２０３）。図１１Ａに示すように、障害物２２０の警報マークＭａは、中心位置Ｃａを基準に表示され、警報マークＭａは徐々に拡大され、その最大は、図１１Ｂに示すようにディスプレイの表示エリアによって制限される。障害物２３０についても同様に、警報マークＭｂは、中心位置Ｃｂを基準に表示され、その最大は、図１１Ｂに示すようにディスプレイの表示エリアによって制限される。画像合成部１３２は、この最大時の警報マークＭａとＭｂの重なり面積Ｓを計算する。
【００３７】
次に、画像合成部１３２は、重なり面積Ｓが閾値を超えるか否かを判定する（ステップＳ２０４）。両者の重なり面積Ｓが大きくなりすぎると、ユーザーの視認性が低下し、あるいは、警報マークの重なり部分に障害物が存在するかの如く誤解を与えかねない。画像合成部１３２は、重なり面積Ｓが閾値を越える場合には、中心位置を移動させ（ステップＳ２０５）、重なり面積Ｓ１を求め（ステップＳ２０６）、重なり面積Ｓ１が閾値を越えないようにする。中心位置の移動は、いずれかの障害物について行われ、中心位置は、中心位置間の距離が大きくなる方向に移動されればよく、すなわち中心位置が離れる方向に移動されればよく、好ましくは、重なり面積Ｓ１が最小になるように中心位置が移動される。
図１２Ａは、障害物２３０の中心位置ＣｂをＣｂ１へ移動させた例を示している。
【００３８】
次に、画像合成部１３２は、障害物についての警報マークの表示を開始する（ステップＳ２０７）。この結果、図１１Ｂに示す警報マークＭａ、Ｍｂの表示は、図１２Ｂに示すように変更され、警報マークＭａ、Ｍｂが最大に拡大されたとき、両者の重なり面積Ｓ１（Ｓ１＜Ｓ）を小さくすることができる。このような警報マークの表示により、ユーザーは、２つの障害物が存在することを理解し、警報マークの重なり部分に障害物が存在するといった誤認識を抑制することができる。
【００３９】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００４０】
上記実施例では、障害物が静止立体物であるときの警報マークの表示例を示したが、障害物は、移動体であってもよく、その場合でも同様に警報マークが表示される。また、上記実施例では、警報マークの形状を矩形状にしたが、これ以外の円形状であってもよいし、あるいは障害物のエッジと相似形の警報マークであってもよい。また、警報マークを拡大する周期、表示する期間などは、設計事項に応じて適宜選択される。
【００４１】
さらに上記実施例では、撮像カメラからの撮像データを画像処理することによって、撮像データに含まれる障害物を抽出したが、障害物の検出には、ミリ波レーダー、赤外線などのセンサを併用するものであってもよい。また、本発明の車両周辺監視装置は、車両に搭載される他の電子装置（例えばナビゲーション装置やテレビ受信装置）と機能的に複合化されて使用されることができる。
【符号の説明】
【００４２】
１００：車両周辺監視装置 １１０：撮像カメラ
１２０：画像処理部 １２２：フレームバッファ
１２４；歪曲収差補正部 １２６：エッジ検出部
１３０：出力制御部 １３２：画像合成部
１３４：障害物判定部 １３６：警報マーク記憶部
１４０：ディスプレイ １５０：スピーカ
２００：駐車スペース ２１０：障害物
Ｍ、Ｍ１、Ｍ２、Ｍａ、Ｍｂ：警報マーク
【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段を用いて車両周辺を監視する車両周辺監視装置であって、
車両周辺の少なくとも一部を撮像し、撮像データを出力する撮像手段と、
前記撮像手段からの撮像データに基づき画像を表示する表示手段と、
前記撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出する画像処理手段と、
前記輪郭情報が抽出されたとき、前記表示手段に表示される画像上に、障害物の存在を示す警報マークを合成して表示させる画像合成手段と、
前記輪郭情報から障害物の全体が検出されたか否かを判定する判定手段とを有し、
前記画像合成手段は、前記判定手段により障害物の全体が検出されていないと判定されたとき、前記画像合成手段により合成される警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる、車両周辺監視装置。
【請求項２】
前記判定手段は、前記輪郭情報が連続しているとき、障害物の全体が検出されたと判定し、前記輪郭情報が不連続であるとき、障害物の一部の検出されたと判定する、請求項１に記載の車両周辺監視装置。
【請求項３】
前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの大きさが徐々に拡大されるように表示させる、請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの色彩が徐々に薄くなるように表示させる、請求項１ないし３いずれか１つに記載の車両周辺監視装置。
【請求項５】
前記画像合成手段は、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる、請求項１ないし４いずれか１つに記載の車両周辺監視装置。
【請求項６】
前記画像合成手段は、警報マークを表示すべき中心位置を算出し、警報マークの重複面積が小さくなるように前記中心位置を移動させる、請求項５に記載の車両周辺監視装置。
【請求項７】
前記輪郭情報は、撮像データの輝度またはコントラストの差から抽出されるエッジ情報である、請求項１ないし６いずれか１つに記載の車両周辺監視装置。
【請求項８】
車両に搭載された撮像カメラを用いて車両周辺の監視を行う監視方法であって、
撮像カメラによって車両周辺の少なくとも一部を撮像するステップと、
撮像カメラから提供された撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出するステップと、
前記輪郭情報から障害物の全体が検出されたか否かを判定するステップと、
前記輪郭情報が抽出されたとき、撮像データに基づき表示される画像上に、障害物の存在を示す警報マークを合成して表示するステップとを含み、
前記合成して表示するステップは、前記判定するステップにより障害物の全体が検出されていないと判定されたとき、警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる、車両周辺監視装方法。
【請求項９】
前記合成して表示するステップは、警報マークを徐々に拡大させる、請求項８に記載の車両周辺監視装方法。
【請求項１０】
前記合成して表示するステップは、警報マークの色を徐々に薄くさせる、請求項８に記載の車両周辺監視装方法。
【請求項１１】
前記合成して表示するステップは、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる、請求項８ないし１０いずれか１つに記載の車両周辺監視方法。
【請求項１】
車両に搭載された撮像手段を用いて車両周辺を監視する車両周辺監視装置であって、
車両周辺の少なくとも一部を撮像し、撮像データを出力する撮像手段と、
前記撮像手段からの撮像データに基づき画像を表示する表示手段と、
前記撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出する画像処理手段と、
前記輪郭情報が抽出されたとき、前記表示手段に表示される画像上に、障害物の存在を示す警報マークを合成して表示させる画像合成手段と、
前記輪郭情報から障害物の全体が検出されたか否かを判定する判定手段とを有し、
前記画像合成手段は、前記判定手段により障害物の全体が検出されていないと判定されたとき、前記画像合成手段により合成される警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる、車両周辺監視装置。
【請求項２】
前記判定手段は、前記輪郭情報が連続しているとき、障害物の全体が検出されたと判定し、前記輪郭情報が不連続であるとき、障害物の一部の検出されたと判定する、請求項１に記載の車両周辺監視装置。
【請求項３】
前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの大きさが徐々に拡大されるように表示させる、請求項１または２に記載の車両周辺監視装置。
【請求項４】
前記画像合成手段は、障害物の全体が検出されていないと判定されたとき、前記警報マークの色彩が徐々に薄くなるように表示させる、請求項１ないし３いずれか１つに記載の車両周辺監視装置。
【請求項５】
前記画像合成手段は、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる、請求項１ないし４いずれか１つに記載の車両周辺監視装置。
【請求項６】
前記画像合成手段は、警報マークを表示すべき中心位置を算出し、警報マークの重複面積が小さくなるように前記中心位置を移動させる、請求項５に記載の車両周辺監視装置。
【請求項７】
前記輪郭情報は、撮像データの輝度またはコントラストの差から抽出されるエッジ情報である、請求項１ないし６いずれか１つに記載の車両周辺監視装置。
【請求項８】
車両に搭載された撮像カメラを用いて車両周辺の監視を行う監視方法であって、
撮像カメラによって車両周辺の少なくとも一部を撮像するステップと、
撮像カメラから提供された撮像データを処理し、撮像データに含まれる障害物の輪郭情報を抽出するステップと、
前記輪郭情報から障害物の全体が検出されたか否かを判定するステップと、
前記輪郭情報が抽出されたとき、撮像データに基づき表示される画像上に、障害物の存在を示す警報マークを合成して表示するステップとを含み、
前記合成して表示するステップは、前記判定するステップにより障害物の全体が検出されていないと判定されたとき、警報マークの表示態様を、障害物の全体が検出されたときの表示態様と異ならせる、車両周辺監視装方法。
【請求項９】
前記合成して表示するステップは、警報マークを徐々に拡大させる、請求項８に記載の車両周辺監視装方法。
【請求項１０】
前記合成して表示するステップは、警報マークの色を徐々に薄くさせる、請求項８に記載の車両周辺監視装方法。
【請求項１１】
前記合成して表示するステップは、複数の障害物についての輪郭情報が抽出されたとき、各障害物の警報マークが最大化されたときの両者の重複面積を算出し、算出された重複面積が閾値を越えるか否か判定し、閾値を超える場合には、重複面積が小さくなるように警報マークの表示開始位置を移動させる、請求項８ないし１０いずれか１つに記載の車両周辺監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１０９２８６（Ｐ２０１１−１０９２８６Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６０５７８（Ｐ２００９−２６０５７８）
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【出願人】（５０４１１３００８）東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Ｆターム（参考）】
[ Back to top ]