車両周辺監視装置
【課題】障害物が検出された検出領域について走査を省略することで処理負荷を削減することを目的とする。
【解決手段】車両周辺監視装置は、カメラの映像信号を入力する映像入力手段１１と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段１２と、障害物検出手段１２の走査方法を制御する走査制御手段１３とを備え、走査制御手段１３は、障害物検出手段１２が障害物を検出した場合にその検出領域について走査を省略することを特徴とする。
【解決手段】車両周辺監視装置は、カメラの映像信号を入力する映像入力手段１１と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段１２と、障害物検出手段１２の走査方法を制御する走査制御手段１３とを備え、走査制御手段１３は、障害物検出手段１２が障害物を検出した場合にその検出領域について走査を省略することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって車両周囲を監視し、自車と衝突の可能性がある障害物を検出したときにドライバに報知する車両周囲監視装置、またその障害物検出の演算方法に関するものである。
【背景技術】
【０００２】
従来、車載カメラが撮像した自車周辺の撮像映像について車両の近方から遠方に向かって走査を行い、パターンマッチング処理で検知した障害物をドライバに提示することによって衝突を防止する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術における障害物検出では、障害物の検出の有無に関わらず定められた順序で走査が行われる。このため、処理負荷の削減を行うことができないという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたもので、障害物が検出された検出領域について走査を省略することで処理負荷を削減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両周辺監視装置は、カメラの映像信号を入力する映像入力手段と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段と、前記障害物検出手段の走査方法を制御する走査制御手段とを備え、前記走査制御手段は、前記障害物検出手段が障害物を検出した場合にその検出領域について走査を省略することを特徴とする。
【発明の効果】
【０００７】
本発明の車両周辺監視装置によれば、車載カメラによって撮影された自車周辺の撮影画像から、データベースに登録された歩行者やその他ドライバが注意すべき障害物を漏れなく検出することができ、不要な走査を省略して処理負荷を削減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の車両周辺監視装置の構成を示すブロック図
【図２】障害物検出手段と走査制御手段による障害物検出処理を示すフローチャート図
【図３】図２における走査範囲の設定処理をイメージで説明する図
【図４】図２における走査枠の設定処理をイメージで説明する図
【図５】図２における走査枠の設定処理をイメージで説明する図
【図６】図２における走査条件の変更処理をイメージで説明する図
【図７】図２における走査条件の設定処理の変形例をイメージで説明する図
【発明を実施するための形態】
【０００９】
以下、本発明の車両周辺監視装置について、図面を用いて説明する。
【００１０】
図１は、本発明の車両周辺監視装置の構成を示すブロック図である。
【００１１】
図１の車両周辺監視装置において、映像入力手段１１は、車載カメラの映像信号を入力する。障害物検出手段１２は、映像入力手段１１から入力された自車両周囲の映像について走査を行ってドライバが注意すべき障害物を検出する。走査制御手段１３は、障害物検出手段１２の走査方法を制御する。報知手段１４は、障害物検出手段１２の結果に基づいてドライバに警告すべき情報を発生させる。
【００１２】
以上のように構成された車両周辺監視装置について、以下でその動作を説明する。
【００１３】
まず、映像入力手段１１は外部に接続されるカメラの映像信号を受信し、内部で処理できる形式にしてデータを保持する。障害物検出手段１２は、入力された自車両周囲の映像について所定の大きさの走査枠を走査してドライバが注意すべき障害物を検出する。入力映像から障害物を検出する方法としては、画像処理技術の分野で一般的なパターンマッチング処理が用いられる。この手法では、図示しないデータベースに予め登録された人物等の物体パターンと、入力画像の走査枠内の映像とが比較・照合され、所定以上の一致度となった場合に走査枠内に障害物が検出される。
【００１４】
次に、障害物検出手段１２と走査制御手段１３による障害物検出処理について説明する。図２は、障害物検出手段と走査制御手段による障害物検出処理を示すフローチャート図である。
【００１５】
ステップＳ２１に示すように、まず障害物検出手段１２は走査範囲の設定処理を行う。この走査範囲の設定処理は、入力画像の中で障害物検出の対象となる領域を設定する処理である。ただし、本実施形態では、入力画像全体が走査範囲として設定される。
【００１６】
例えば、車両後方の撮像画像を入力画像として、駐車時の運転支援が行われる場合について説明する。図３は、図２の走査範囲の設定処理をイメージで説明する図である。障害物検出手段１２は、車両後方の入力画像３１に対して車両の後退進路となる領域３２のみを障害物検出の対象領域に設定する。また、障害物検出手段１２は、領域３３に示すように車両の蛇角に応じて領域の形状を変化させてもよい。
【００１７】
ステップＳ２２に示すように、障害物検出手段１２は走査条件の設定処理を行う。走査条件の設定処理は、ステップＳ２１で設定された範囲から障害物を検出するための走査方法に関するパラメータを設定する処理である。例えば、障害物検出手段１２は走査枠のステップ幅をパラメータとして設定する。図４は、図２の走査枠の設定処理をイメージで説明する図である。通常、障害物検出手段１２は、図４の入力画像４１における走査枠４２内の映像とデータベースの画像とを比較してパターンマッチングによる障害物の走査処理を行う。ここで、ステップ幅とは、走査範囲内で走査枠を走査させるときの縦方向、横方向のそれぞれのずらし幅のことである。図４（ａ）、（ｂ）ではそれぞれ横方向、縦方向の走査が示されている。横方向のずらし幅は、図４（ａ）の走査枠４２、４３の差分で示される。縦方向のずらし幅は、図４（ｂ）の走査枠４４、４５の差分で示される。縦方向と横方向に走査することによって走査範囲全体が走査される。その他のパラメータとして、走査範囲毎の走査枠のサイズや走査枠の縮小率、縮小回数が挙げられる。走査枠のサイズは、検出対象物の既知の大きさと入力画像中の位置から決定される。また、走査枠の縮小率、縮小回数は、任意に設定可能である。
【００１８】
ステップＳ２３に示すように、障害物検出手段１２は走査枠の設定処理を行う。走査枠の設定処理は、入力画像内の所定の位置に走査枠を設定する処理である。図５は、走査枠の設定処理をイメージで説明する図である。図５の走査枠５２〜５５に示すように、車載
カメラの場合、自車に近い物体ほど画像内の手前の領域で大きく表示され、遠くの物体ほど画像上部に小さく表示される。したがって、障害物検出手段１２は、所定の走査枠で走査した後に、画面手前から奥に走査枠を移動するとともにより小さな走査枠に設定変更して走査を行う。
【００１９】
ステップＳ２４に示すように、障害物検出手段１２はマッチング処理を行う。ステップＳ２３で設定された走査枠内の画像とデータベース内のテンプレートとを比較して類似するデータが検索される。なお、類似度の評価には、輝度値の差の２乗和を用いるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や正規化相互相関などの方法が一般的に用いられる。本装置においてはいずれの方法で評価されてもよいし、その他の方法で評価されてもよい。
【００２０】
ステップＳ２５に示すように、障害物検出手段１２は、ステップＳ２４のマッチング処理において走査枠内の画像とデータベース内のテンプレートとが一致するか否かを判定する。類似度の評価が所定値以上の場合、走査枠内の画像とデータベース内のテンプレートとは一致すると判定される。ステップＳ２５でＹＥＳの場合、ステップＳ２６に示すように、そのときの走査枠の位置や大きさ、種類などを記憶する。
【００２１】
ステップＳ２７に示すように、走査制御手段１３は、走査条件の変更処理を行う。走査制御手段１３は、ある走査枠でのマッチング結果に応じて以降の走査枠による走査条件を変更する。図６は、走査条件の変更処理をイメージで説明する図である。図６（ａ）に示すように、障害物検出手段１２は自車により近い領域から走査枠６２、６３、６４、６５の順に走査を行う。そして、図６（ｂ）に示すように、障害物検出手段１２が走査枠６４内に障害物を検出した場合、走査制御手段１３は、障害物検出手段１２が検出した領域６４と重なる領域に関しては以降の走査において走査範囲から省略する。この走査制御手段１３の処理によって、障害物検出手段１２は走査枠６６、６７、６８の順に走査を行った後に走査枠６４の領域を走査範囲から除外して走査枠６９、７０の順に走査を行う。具体的には、障害物検出手段１２は、走査枠６４の領域において走査枠の走査ステップ幅を変更してこの走査枠６４の領域内の走査をスキップするようにする。
【００２２】
ステップＳ２８に示すように、走査制御手段１３は走査枠の更新処理を行う。走査枠の更新処理は、ステップ幅だけ走査枠を移動させる処理である。
【００２３】
走査枠を更新した後、ステップＳ２９に示すように、障害物検出手段１２は、所定の走査枠について入力画像の全範囲で走査が終了したか判定する。なお、ステップＳ２７で走査制御手段１３が走査範囲から除外した範囲についてはこのステップＳ２９における入力画像の全範囲から除外される。
【００２４】
ステップＳ３０に示すように、障害物検出手段１２での障害物の存在有無とその位置や種類などの付随情報が報知手段に出力される。
【００２５】
このような本発明の車両周辺監視装置によれば、障害物検出手段１２が、車載カメラによって撮影された自車周辺の撮影画像から、パターンマッチング処理によってデータベースに登録された歩行者やその他ドライバが注意すべき障害物を検出し、障害物が検出された検出領域については以後の走査を省略することで処理負荷を削減することができる。
【００２６】
なお、本発明の車両周辺監視装置の変形例として、障害物検出手段１２による走査条件の設定処理を入力画像上の位置に応じて異ならせてもよい。図７は、走査条件の設定処理の変形例をイメージで説明する図である。図７に示すように、入力映像７１において走査枠の走査範囲内をいくつかのブロックに分け、ブロック毎に走査枠のステップ幅を異なる
ように設定してもよい。例えば、図７に示すように、自車両の進行方向になりにくい入力画像７１の両側端におけるブロックではステップ幅を広く取り、自車両の進行方向になりやすい入力画像７１の中央におけるブロックではステップ幅を狭く取ってもよい。すなわち、走査枠７２、７３や走査枠７７、７８の差分で示されるステップ幅は、走査枠７４〜７６の隣り合う走査枠の差分で示されるステップ幅より大きく設定されてもよい。走査範囲のブロック分けについては、例えば、車両からの距離、自車の走行路からの距離などを基に分割される。
【００２７】
このような本発明の変形例による車両周辺監視装置によれば、障害物検出処理におけるマッチング処理において、自車両の進行方向になりやすく危険度が高い領域については時間をかけて高精度に処理を実行し、自車両の進行方向になりにくく危険度が比較的低い領域については走査間隔を間引くことで処理負荷をより軽減することができる。
【産業上の利用可能性】
【００２８】
以上のように、本発明による車両周辺監視装置は、車載カメラによって撮影された自車周辺の撮影画像から、データベースに登録された歩行者やその他ドライバが注意すべき障害物を検出する際の処理負荷を削減できる点で有用である。
【符号の説明】
【００２９】
１１ 映像入力手段
１２ 障害物検出手段
１３ 走査制御手段
【技術分野】
【０００１】
本発明は、車載カメラによって車両周囲を監視し、自車と衝突の可能性がある障害物を検出したときにドライバに報知する車両周囲監視装置、またその障害物検出の演算方法に関するものである。
【背景技術】
【０００２】
従来、車載カメラが撮像した自車周辺の撮像映像について車両の近方から遠方に向かって走査を行い、パターンマッチング処理で検知した障害物をドライバに提示することによって衝突を防止する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術における障害物検出では、障害物の検出の有無に関わらず定められた順序で走査が行われる。このため、処理負荷の削減を行うことができないという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたもので、障害物が検出された検出領域について走査を省略することで処理負荷を削減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車両周辺監視装置は、カメラの映像信号を入力する映像入力手段と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段と、前記障害物検出手段の走査方法を制御する走査制御手段とを備え、前記走査制御手段は、前記障害物検出手段が障害物を検出した場合にその検出領域について走査を省略することを特徴とする。
【発明の効果】
【０００７】
本発明の車両周辺監視装置によれば、車載カメラによって撮影された自車周辺の撮影画像から、データベースに登録された歩行者やその他ドライバが注意すべき障害物を漏れなく検出することができ、不要な走査を省略して処理負荷を削減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の車両周辺監視装置の構成を示すブロック図
【図２】障害物検出手段と走査制御手段による障害物検出処理を示すフローチャート図
【図３】図２における走査範囲の設定処理をイメージで説明する図
【図４】図２における走査枠の設定処理をイメージで説明する図
【図５】図２における走査枠の設定処理をイメージで説明する図
【図６】図２における走査条件の変更処理をイメージで説明する図
【図７】図２における走査条件の設定処理の変形例をイメージで説明する図
【発明を実施するための形態】
【０００９】
以下、本発明の車両周辺監視装置について、図面を用いて説明する。
【００１０】
図１は、本発明の車両周辺監視装置の構成を示すブロック図である。
【００１１】
図１の車両周辺監視装置において、映像入力手段１１は、車載カメラの映像信号を入力する。障害物検出手段１２は、映像入力手段１１から入力された自車両周囲の映像について走査を行ってドライバが注意すべき障害物を検出する。走査制御手段１３は、障害物検出手段１２の走査方法を制御する。報知手段１４は、障害物検出手段１２の結果に基づいてドライバに警告すべき情報を発生させる。
【００１２】
以上のように構成された車両周辺監視装置について、以下でその動作を説明する。
【００１３】
まず、映像入力手段１１は外部に接続されるカメラの映像信号を受信し、内部で処理できる形式にしてデータを保持する。障害物検出手段１２は、入力された自車両周囲の映像について所定の大きさの走査枠を走査してドライバが注意すべき障害物を検出する。入力映像から障害物を検出する方法としては、画像処理技術の分野で一般的なパターンマッチング処理が用いられる。この手法では、図示しないデータベースに予め登録された人物等の物体パターンと、入力画像の走査枠内の映像とが比較・照合され、所定以上の一致度となった場合に走査枠内に障害物が検出される。
【００１４】
次に、障害物検出手段１２と走査制御手段１３による障害物検出処理について説明する。図２は、障害物検出手段と走査制御手段による障害物検出処理を示すフローチャート図である。
【００１５】
ステップＳ２１に示すように、まず障害物検出手段１２は走査範囲の設定処理を行う。この走査範囲の設定処理は、入力画像の中で障害物検出の対象となる領域を設定する処理である。ただし、本実施形態では、入力画像全体が走査範囲として設定される。
【００１６】
例えば、車両後方の撮像画像を入力画像として、駐車時の運転支援が行われる場合について説明する。図３は、図２の走査範囲の設定処理をイメージで説明する図である。障害物検出手段１２は、車両後方の入力画像３１に対して車両の後退進路となる領域３２のみを障害物検出の対象領域に設定する。また、障害物検出手段１２は、領域３３に示すように車両の蛇角に応じて領域の形状を変化させてもよい。
【００１７】
ステップＳ２２に示すように、障害物検出手段１２は走査条件の設定処理を行う。走査条件の設定処理は、ステップＳ２１で設定された範囲から障害物を検出するための走査方法に関するパラメータを設定する処理である。例えば、障害物検出手段１２は走査枠のステップ幅をパラメータとして設定する。図４は、図２の走査枠の設定処理をイメージで説明する図である。通常、障害物検出手段１２は、図４の入力画像４１における走査枠４２内の映像とデータベースの画像とを比較してパターンマッチングによる障害物の走査処理を行う。ここで、ステップ幅とは、走査範囲内で走査枠を走査させるときの縦方向、横方向のそれぞれのずらし幅のことである。図４（ａ）、（ｂ）ではそれぞれ横方向、縦方向の走査が示されている。横方向のずらし幅は、図４（ａ）の走査枠４２、４３の差分で示される。縦方向のずらし幅は、図４（ｂ）の走査枠４４、４５の差分で示される。縦方向と横方向に走査することによって走査範囲全体が走査される。その他のパラメータとして、走査範囲毎の走査枠のサイズや走査枠の縮小率、縮小回数が挙げられる。走査枠のサイズは、検出対象物の既知の大きさと入力画像中の位置から決定される。また、走査枠の縮小率、縮小回数は、任意に設定可能である。
【００１８】
ステップＳ２３に示すように、障害物検出手段１２は走査枠の設定処理を行う。走査枠の設定処理は、入力画像内の所定の位置に走査枠を設定する処理である。図５は、走査枠の設定処理をイメージで説明する図である。図５の走査枠５２〜５５に示すように、車載
カメラの場合、自車に近い物体ほど画像内の手前の領域で大きく表示され、遠くの物体ほど画像上部に小さく表示される。したがって、障害物検出手段１２は、所定の走査枠で走査した後に、画面手前から奥に走査枠を移動するとともにより小さな走査枠に設定変更して走査を行う。
【００１９】
ステップＳ２４に示すように、障害物検出手段１２はマッチング処理を行う。ステップＳ２３で設定された走査枠内の画像とデータベース内のテンプレートとを比較して類似するデータが検索される。なお、類似度の評価には、輝度値の差の２乗和を用いるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や正規化相互相関などの方法が一般的に用いられる。本装置においてはいずれの方法で評価されてもよいし、その他の方法で評価されてもよい。
【００２０】
ステップＳ２５に示すように、障害物検出手段１２は、ステップＳ２４のマッチング処理において走査枠内の画像とデータベース内のテンプレートとが一致するか否かを判定する。類似度の評価が所定値以上の場合、走査枠内の画像とデータベース内のテンプレートとは一致すると判定される。ステップＳ２５でＹＥＳの場合、ステップＳ２６に示すように、そのときの走査枠の位置や大きさ、種類などを記憶する。
【００２１】
ステップＳ２７に示すように、走査制御手段１３は、走査条件の変更処理を行う。走査制御手段１３は、ある走査枠でのマッチング結果に応じて以降の走査枠による走査条件を変更する。図６は、走査条件の変更処理をイメージで説明する図である。図６（ａ）に示すように、障害物検出手段１２は自車により近い領域から走査枠６２、６３、６４、６５の順に走査を行う。そして、図６（ｂ）に示すように、障害物検出手段１２が走査枠６４内に障害物を検出した場合、走査制御手段１３は、障害物検出手段１２が検出した領域６４と重なる領域に関しては以降の走査において走査範囲から省略する。この走査制御手段１３の処理によって、障害物検出手段１２は走査枠６６、６７、６８の順に走査を行った後に走査枠６４の領域を走査範囲から除外して走査枠６９、７０の順に走査を行う。具体的には、障害物検出手段１２は、走査枠６４の領域において走査枠の走査ステップ幅を変更してこの走査枠６４の領域内の走査をスキップするようにする。
【００２２】
ステップＳ２８に示すように、走査制御手段１３は走査枠の更新処理を行う。走査枠の更新処理は、ステップ幅だけ走査枠を移動させる処理である。
【００２３】
走査枠を更新した後、ステップＳ２９に示すように、障害物検出手段１２は、所定の走査枠について入力画像の全範囲で走査が終了したか判定する。なお、ステップＳ２７で走査制御手段１３が走査範囲から除外した範囲についてはこのステップＳ２９における入力画像の全範囲から除外される。
【００２４】
ステップＳ３０に示すように、障害物検出手段１２での障害物の存在有無とその位置や種類などの付随情報が報知手段に出力される。
【００２５】
このような本発明の車両周辺監視装置によれば、障害物検出手段１２が、車載カメラによって撮影された自車周辺の撮影画像から、パターンマッチング処理によってデータベースに登録された歩行者やその他ドライバが注意すべき障害物を検出し、障害物が検出された検出領域については以後の走査を省略することで処理負荷を削減することができる。
【００２６】
なお、本発明の車両周辺監視装置の変形例として、障害物検出手段１２による走査条件の設定処理を入力画像上の位置に応じて異ならせてもよい。図７は、走査条件の設定処理の変形例をイメージで説明する図である。図７に示すように、入力映像７１において走査枠の走査範囲内をいくつかのブロックに分け、ブロック毎に走査枠のステップ幅を異なる
ように設定してもよい。例えば、図７に示すように、自車両の進行方向になりにくい入力画像７１の両側端におけるブロックではステップ幅を広く取り、自車両の進行方向になりやすい入力画像７１の中央におけるブロックではステップ幅を狭く取ってもよい。すなわち、走査枠７２、７３や走査枠７７、７８の差分で示されるステップ幅は、走査枠７４〜７６の隣り合う走査枠の差分で示されるステップ幅より大きく設定されてもよい。走査範囲のブロック分けについては、例えば、車両からの距離、自車の走行路からの距離などを基に分割される。
【００２７】
このような本発明の変形例による車両周辺監視装置によれば、障害物検出処理におけるマッチング処理において、自車両の進行方向になりやすく危険度が高い領域については時間をかけて高精度に処理を実行し、自車両の進行方向になりにくく危険度が比較的低い領域については走査間隔を間引くことで処理負荷をより軽減することができる。
【産業上の利用可能性】
【００２８】
以上のように、本発明による車両周辺監視装置は、車載カメラによって撮影された自車周辺の撮影画像から、データベースに登録された歩行者やその他ドライバが注意すべき障害物を検出する際の処理負荷を削減できる点で有用である。
【符号の説明】
【００２９】
１１ 映像入力手段
１２ 障害物検出手段
１３ 走査制御手段
【特許請求の範囲】
【請求項１】
カメラの映像信号を入力する映像入力手段と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段と、前記障害物検出手段の走査方法を制御する走査制御手段とを備え、
前記走査制御手段は、前記障害物検出手段が障害物を検出した場合にその検出領域について走査を省略することを特徴とする車両周辺監視装置。
【請求項２】
前記障害物検出手段が検出した障害物を報知する報知手段をさらに備えたことを特徴とする請求項１に記載の車両周辺監視装置。
【請求項１】
カメラの映像信号を入力する映像入力手段と、入力画像についてパターンマッチング処理によって障害物を検出する走査を行う障害物検出手段と、前記障害物検出手段の走査方法を制御する走査制御手段とを備え、
前記走査制御手段は、前記障害物検出手段が障害物を検出した場合にその検出領域について走査を省略することを特徴とする車両周辺監視装置。
【請求項２】
前記障害物検出手段が検出した障害物を報知する報知手段をさらに備えたことを特徴とする請求項１に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−８１１９（Ｐ２０１３−８１１９Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９０９３（Ｐ２０１１−１３９０９３）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]