車両周辺監視装置
【課題】撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる車両周辺監視装置を提供することを目的とする。
【解決手段】車両周辺の撮影画像から監視対象の標識を検索して、標識を含む所定の大きさの領域を抽出する。この時、夜間等により照度が不足して撮影画像から監視対象の標識を抽出できないような場合には、近赤外投光器によって近赤外光を投光して近赤外光カメラの撮影画像から監視対象の標識を抽出し、西日やハイビーム等により近赤外光カメラの撮影画像から標識を抽出できないような場合には、近赤外投光器を点滅させて近赤外光投光時と消灯時の差分画像から監視対象の標識を抽出する（１００〜１１４）。そして、抽出した領域に対応する位置へ前照灯の光が照射されるように前照灯の配光を制御する（１１６）と共に、抽出した領域の撮影画像から標識の内容を認識して（１１８、１２０）認識結果を乗員に報知する（１２２）。
【解決手段】車両周辺の撮影画像から監視対象の標識を検索して、標識を含む所定の大きさの領域を抽出する。この時、夜間等により照度が不足して撮影画像から監視対象の標識を抽出できないような場合には、近赤外投光器によって近赤外光を投光して近赤外光カメラの撮影画像から監視対象の標識を抽出し、西日やハイビーム等により近赤外光カメラの撮影画像から標識を抽出できないような場合には、近赤外投光器を点滅させて近赤外光投光時と消灯時の差分画像から監視対象の標識を抽出する（１００〜１１４）。そして、抽出した領域に対応する位置へ前照灯の光が照射されるように前照灯の配光を制御する（１１６）と共に、抽出した領域の撮影画像から標識の内容を認識して（１１８、１２０）認識結果を乗員に報知する（１２２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺監視装置にかかり、特に、車両前方等の車両周辺を撮影して撮影画像から標識等を認識して運転者の視覚を支援する等の装置に適用可能な車両周辺監視装置に関する。
【背景技術】
【０００２】
カメラの撮影画像から車両周辺の障害物等を監視する車両周辺装置が従来より提案されている。
【０００３】
例えば、特許文献１に記載の技術のように、カメラを用いて前方を撮影して、撮影画像から障害物を認識する技術が提案されている。詳細には、特許文献１に記載の技術では、撮影画像から障害物を認識して、認識した障害物に対して前照灯の配光を制御するようにしている。
【特許文献１】特開２００５−１４６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を適用して、撮影画像から標識等の内容を認識しようとする場合、標識を認識するために複雑なテクスチャーをパターンマッチング等の技術を利用して撮影画像全域をサーチして、標識等の内容を認識するため、処理負荷が高くなってしまう。
【０００５】
本発明は、上記問題を解決すべく成されたもので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に記載の発明は、自車両周辺を撮影する撮影手段と、監視対象の予め定めた特徴に基づいて、前記撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域の撮影画像を解析することによって監視対象を認識する認識手段と、を備えることを特徴としている。
【０００７】
請求項１に記載の発明によれば、自車両前方等の自車両周辺が撮影手段によって撮影され、監視対象の予め定めた特徴に基づいて、撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域が抽出手段によって抽出される。例えば、請求項２に記載の発明のように、予め定めた監視対象の形状を特徴として記憶する記憶手段を更に備えて、抽出手段が、撮影画像の中から記憶手段に記憶された予め記憶された監視対象の形状を検索し、検索した監視対象の形状を含む所定の大きさの領域を監視対象が含まれる領域として抽出することで、監視対象を含む領域を抽出するようにしてもよい。すなわち、監視対象の形状を予め登録しておくことによってパターンマッチング等により監視対象を含む領域を抽出することができる。
【０００８】
そして、認識手段が、抽出手段によって抽出された領域の撮影画像を解析することによって監視対象を認識する。すなわち、撮影画像の全領域について監視対象を認識するための画像解析を行うことなく、抽出した領域のみについて監視対象を認識するための画像解析を行うので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる。
【０００９】
なお、請求項３に記載の発明のように、配光を変更可能な照明手段と、抽出手段によって抽出された領域へ光を照射するように照明手段を制御する制御手段と、を更に備えるようにしてもよい。これによって抽出した監視対象に照明手段から光を照射することが可能となり、夜間等でも認識手段によって画像解析して監視対象を認識することが可能となる。
【００１０】
この時、請求項４に記載の発明のように、車両状態を検出する状態検出手段及び自車位置を検出する自車位置検出手段の少なくとも一方の検出手段を更に備えて、制御手段が、検出手段の検出結果に基づいて、抽出手段によって抽出された領域の位置を補正して、照明手段を制御するようにしてもよい。これによって自車両の移動に追従して抽出した領域の補正を行うことが可能となり、監視対象に対して正確に照明手段から光を照射することが可能となる。
【００１１】
また、請求項５に記載の発明のように、近赤外光を自車両周辺に投光する近赤外投光手段を更に備え、撮影手段が近赤外光を撮影する近赤外光撮影手段を含むようにしてもよい。これによって夜間でも監視対象の形状等の特徴を認識することが可能となる。
【発明の効果】
【００１２】
以上説明したように本発明によれば、監視対象の予め定めた特徴に基づいて、撮影画像の中から監視対象を含む領域を抽出し、抽出した領域の撮影画像を解析することによって監視対象を認識することで、撮影画像の全領域について監視対象を認識するための画像解析を行うことなく、監視対象を認識することができるので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる、という効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【００１４】
本発明の第１実施形態に係わる車両周辺監視装置１０は、図１に示すように、車両に設けられた前照灯１２の配光を制御する配光制御装置１６が車両周辺監視ＥＣＵ（Electronic Control Unit）１４に接続されており、車両周辺監視ＥＣＵ１４の監視結果を配光制御装置１６に出力することによって、配光制御装置１６が車両周辺の監視結果を用いて前照灯１２の配光を制御する。
【００１５】
車両周辺監視ＥＣＵ１４は、ＣＰＵ１４Ａ、ＲＡＭ１４Ｂ、ＲＯＭ１４Ｃ、及びインプットアウトプットインタフェース（Ｉ／Ｏ）１４Ｄを含むマイクロコンピュータで構成されている。
【００１６】
車両周辺監視ＥＣＵ１４のＲＯＭ１４Ｃには、車両周辺を監視して配光制御するためのプログラムや前照灯１２の配光制御を行うためのテーブル等が記憶されると共に、監視対象の特徴形状（詳細は後述）が記憶され、ＲＡＭ１４Ｂは、ＣＰＵ１４Ａによって行われる各種演算等を行うメモリ等として使用される。
【００１７】
Ｉ／Ｏ１４Ｄには、可視光カメラ１８、近赤外投光器２０、近赤外光カメラ２２、及び配光制御装置１６が接続されている。
【００１８】
可視光カメラ１８は可視光の光を撮影して撮影結果を車両周辺監視ＥＣＵ１４へ出力し、近赤外投光器２０は車両周辺監視ＥＣＵ１４の指示に応じて近赤外光を投光して、近赤外光カメラ２２は近赤外投光器２０から投光された近赤外光を撮影して撮影結果を車両周辺監視ＥＣＵ１４へ出力する。
【００１９】
車両周辺監視ＥＣＵ１４は、可視光カメラ１８や近赤外光カメラ２２によって撮影された撮影画像から監視対象（本実施形態では、標識）を監視して、監視結果を配光制御装置１６へ出力する。
【００２０】
そして、配光制御装置１６は、車両周辺監視ＥＣＵ１４の監視結果に基づいて、監視対象に照射する前照灯１２の配光を制御する。すなわち、標識等の監視対象へ光が照射されるように前照灯１２の配光を制御する。
【００２１】
前照灯１２は、車両の前端部に２つ設けられており、図２に示すように、前照灯１２の配光領域を複数に分割してそれぞれの分割領域２１に対して光の照射や非照射等が可能とされることによって各分割領域毎に配光が変更とされ、配光制御装置１６によって各分割領域への光の照射や非照射等が制御される。
【００２２】
図３（Ａ）、（Ｃ）は、本実施形態に適用可能な前照灯の一例を示す図である。
【００２３】
前照灯１２は、例えば、図３（Ａ）に示すように、光源２８からの光をＤＭＤ（Digital Micromirror Device）３０によって反射して、レンズ３１を介して車両前方を照射するものを適用可能である。
【００２４】
ＤＭＤ３０は、図３（Ｂ）に示すように、複数のマイクロミラー３２を備えており、各マイクロミラー３２の回転が制御可能なデバイスである。すなわち、配光制御装置１６に光源２８を点灯する光源ドライバ３４と、ＤＭＤ３０の各マイクロミラー３２の回転を制御するＤＭＤドライバ３６と、を設け、光源ドライバ３４によって光源２８を点灯して、ＤＭＤドライバ３６によってＤＭＤ３０の各マイクロミラー３２の回転を制御することによって、図２に示す各分割領域への光の照射や非照射等を制御することが可能である。
【００２５】
また、前照灯１２は、図３（Ｃ）に示すように、複数のＬＥＤ光源２４を備えたものを適用するようにしてもよい。この場合には、配光制御装置１６が複数のＬＥＤ光源２４の点灯や消灯を制御することによって、図２に示す各分割領域２１への光の照射や非照射等を行うことが可能である。図３（Ｃ）では、複数のＬＥＤ光源２４を備えたＬＥＤランプ２６を２灯備えた前照灯の一例を示し、例えば、一方のＬＥＤランプ２６をロービーム用、他方のＬＥＤランプ２６をハイビーム用として使い分けるようにしてもよい。
【００２６】
なお、本実施の形態では、図３（Ａ）に示した光源２８とＤＭＤ３０を備えた前照灯を適用して以下の説明を行う。また、前照灯１２の構成は上記に限るものではなく、例えば、単一の光源から車両前方を照らす光を遮断する複数のシャッタ等を設けて、各シャッタの大きさを分割領域に対応させて、図２に示す各分割領域への光の照射や非照射等を可能としてもよいし、ＤＭＤ３０の代りにＤＭＤ３０以外の液晶素子等の空間光変調素子等を用いるようにしてもよい。
【００２７】
また、前照灯１２から照射される光の各分割領域２１の配光制御は、各分割領域２１に対応するＤＭＤ６０のマイクロミラー３２が予め定められており、ＤＭＤ３０のマイクロミラー３２を選択的に回転して、光源からの光を前照灯１２のハウジング内や他の分割領域２１へ照射するように制御することによって、各分割領域２１へ照射される光を制御するようになっており、各分割領域とＤＭＤ３０のマイクロミラー３２との対応関係を表すテーブルがＲＯＭ１４Ｃに記憶されている。
【００２８】
ここで、本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理について説明する。
【００２９】
本発明の第１実施形態に係わる車両周辺監視装置１０は、車両周辺（本実施形態では車両前方）の撮影画像から監視対象として標識を検索して、標識を含む所定の大きさの領域を抽出する。監視対象の抽出は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状を用いて、撮影画像からパターンマッチング等により検索し、特徴形状を含む予め定めた大きさの領域を抽出する。なお、ＲＯＭ１４Ｃに記憶する監視対象の特徴形状は、本実施形態では、標識の形状を記憶する。例えば、円形状や逆三角形状等の標識の形状を記憶する。
【００３０】
この時、夜間等により照度が不足して、撮影画像から監視対象の標識を抽出できないような場合には、近赤外投光器２０によって近赤外光を投光して、近赤外光カメラ２２の撮影画像から監視対象の標識を抽出する。近赤外光カメラ２２の撮影画像から監視対象の標識を抽出する場合には、所定輝度以上を抽出することで監視対象の標識の形状が現れるので、パターンマッチング等により標識を含む領域を抽出することができる。
【００３１】
また、西日やハイビーム等により、近赤外光カメラ２２の撮影画像から標識を抽出できないような場合には、近赤外投光器２０を点滅させて、近赤外光投光時と消灯時の差分画像から監視対象の標識を含む領域を抽出する。
【００３２】
そして、撮影画像の抽出した領域に対して前照灯１２の光が照射されるように前照灯１２の配光を制御すると共に、抽出した領域の撮影画像を画像解析（標識を含む領域抽出よりも詳細なパターンマッチング等）することによって、標識の内容を認識して認識結果を乗員に報知する。なお、報知方法としては、例えば、表示装置等に表示するようにしてもよいし、音声等により報知するようにしてもよい。
【００３３】
続いて、上述のように構成された本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理の流れについて詳細に説明する。図４は、本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理の流れの一例を示すフローチャートである。なお、当該処理は、図示しないイグニッションスイッチがオンされた場合等に開始するようにしてもよいし、監視モード等の指示を行うスイッチ等を備える場合には、当該スイッチによって開始が指示された場合に開始するようにしてもよい。
【００３４】
まずステップ１００では、車両周辺（前方）が可視光カメラ１８によって撮影されてステップ１０２へ移行する。
【００３５】
ステップ１０２では、可視光カメラ１８の撮影画像から近赤外光を投光する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が夜間等の照度か否かを判定することによって行われ、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１１２へ移行する。
【００３６】
ステップ１０４では、可視光カメラ１８の撮影画像から近赤外光を点滅する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が西日等により所定の輝度以上か否かを判定したり、前照灯１２がハイビームか否かを判定したりすることによって行われ、該判定が肯定さて場合にはステップ１０６へ移行し、否定された場合にはステップ１１０へ移行する。
【００３７】
ステップ１０６では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が点滅して投光されて近赤外光カメラ２２によって撮影が行われる。
【００３８】
続いて、ステップ１０８では、近赤外投光時と消灯時の差分画像が車両周辺監視ＥＣＵ１４によって算出されてステップ１１２へ移行する。
【００３９】
一方、ステップ１１０では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が投光されて近赤外光カメラ２２によって撮影が行われ、ステップ１１２へ移行する。
【００４０】
ステップ１１２では、撮影画像中に監視対象の標識があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状（標識の形状）を用いて、撮影画像からパターンマッチング等により検索し、対応する特徴形状があるか否かを判定する。該判定が肯定された場合にはステップ１１４へ移行し、否定された場合にはステップ１２６へ移行する。なお、近赤外光の撮影画像の場合には、所定の輝度以上をマスクすることによって、図５に示すように標識形状４４が現れ、パターンマッチングが容易となり、監視対象の領域４６を容易に抽出することが可能となる。
【００４１】
ステップ１１４では、監視対象の標識形状の領域が撮影画像から車両周辺監視ＥＣＵ１４によって抽出されてステップ１１６へ移行する。
【００４２】
ステップ１１６では、抽出領域へ可視光を照射するように配光制御装置１６によって配光が制御されてステップ１１８へ移行する。すなわち、抽出領域に対応する分割領域２１へ光が照射されるようにＤＭＤ３０のマイクロミラー３２の回転が制御される。なお、既に抽出領域に対応する分割領域２１に光が照射されている場合には、他の領域よりも明るくなるように、例えば、他の領域へ照射する光の一部を抽出領域に対応する分割領域２１へ照射するようにＤＭＤ３０のマイクロミラー３２の回転を制御する。
【００４３】
ステップ１１８では、可視光カメラ１８によって撮影が行われてステップ１２０へ移行し、撮影画像中の抽出領域の画像が車両周辺監視ＥＣＵ１４によって解析されて標識の種類や内容等が認識されてステップ１２２へ移行する。すなわち、前照灯１２によって監視対象の標識に光が照射されているので、可視光カメラ１８の撮影画像から標識の種類や内容等を認識することが可能となる。
【００４４】
ステップ１２２では、車両周辺監視ＥＣＵ１４によって認識結果が報知されてステップ１２４へ移行する。例えば、認識した標識の種類や内容等を音声で報知したり、画像表示装置等に表示する。これによって乗員が標識を見落としている場合に気付かせることができる。
【００４５】
そして、ステップ１２４では、イグニッションスイッチがオフされたか否か車両周辺監視ＥＣＵ１４によって判定され、該判定が否定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が肯定されたところで一連の処理を終了する。
【００４６】
このように本発明の第１実施形態に係わる車両周辺監視装置１０では、撮影画像から監視対象を含む領域を抽出してから、抽出領域について画像解析して監視対象の内容を認識するので、撮影画像全てについて画像解析することがないので、処理負荷を軽減することができる。
【００４７】
また、夜間等の場合に、近赤外光の撮影画像を用いて監視対象を抽出することによって、所定値以上の輝度を抽出することで、監視対象の標識を簡単に抽出することができ、当該領域を容易に抽出することが可能となる。
【００４８】
さらに、ハイビームや西日等の場合に、近赤外光を点滅させて、近赤外投光時と消灯時の撮影画像の差分画像を用いることによって、可視光カメラ１８の撮影画像からハイビームや西日等によって監視対象の標識が抽出し難い場合でも確実に監視対象の標識を抽出することができる。
（第２実施形態）
続いて、本発明の第２実施形態に係わる車両周辺監視装置について説明する。図６は、本発明の第２実施形態に係わる車両周辺監視装置の構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して説明を省略する。
【００４９】
第２実施形態に係わる車両周辺監視装置は、図６に示すように、第１実施形態に係わる車両周辺監視装置１０に対して、車両状態検出センサ４０及びナビゲーション装置４２がＩ／Ｏ１４Ｄに接続されており、車両周辺監視ＥＣＵ１４が、車両状態検出センサ４０及びナビゲーション装置４２からの情報に基づいて、自車両の移動を推定して、監視対象の標識が含まれる抽出領域の位置を補正する。
【００５０】
すなわち、本実施形態の車両周辺監視ＥＣＵ１４は、監視対象の標識が含まれる領域を抽出して、抽出した領域に前照灯１２の配光を制御する際に、車両の移動を考慮して抽出領域を補正して、前照灯１２の配光を制御する。これによって、監視対象の標識等に前照灯１２の光を正確に照射することが可能となる。
【００５１】
車両状態検出センサ４０は、車両状態として、例えば、車速、ヨーレート、舵角等の車両状態を検出する。なお、抽出領域の位置を補正するためには、少なくとも車速及び舵角の検出が必要である。
【００５２】
また、ナビゲーション装置４２は、自車位置を測位すると共に、測位した自車位置と地図情報をナビゲーション情報として車両周辺監視ＥＣＵ１４へ出力する。
【００５３】
そして、車両周辺監視ＥＣＵ１４は、車両状態検出センサ４０の検出結果やナビゲーション装置４２からのナビゲーション情報に基づいて、監視対象の標識を含む抽出領域の補正を行う。なお、本実施形態では、車両状態検出センサ４０及びナビゲーション装置４２が共に車両周辺監視ＥＣＵ１４に接続されている場合を説明するが、これに限るものではなく、どちらか一方のみを車両周辺監視ＥＣＵ１４に接続するようにしても抽出領域の補正が可能である。
【００５４】
続いて、上述のように構成された本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れについて説明する。図７は、本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。なお、第１実施形態と同一処理については同一符号を付して説明する。なお、当該処理は、図示しないイグニッションスイッチがオンされた場合等に開始するようにしてもよいし、監視モード等の指示を行うスイッチ等を備える場合には、当該スイッチによって開始が指示された場合に開始するようにしてもよい。
【００５５】
まずステップ１００では、車両周辺（前方）が可視光カメラ１８によって撮影されてステップ１０２へ移行する。
【００５６】
ステップ１０２では、可視光カメラ１８の撮影画像から近赤外光を投光する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が夜間等の照度か否かを判定することによって行われ、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１１２へ移行する。
【００５７】
ステップ１０４では、可視光カメラ１８の撮影画像から近赤外光を点滅する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が西日等により所定の輝度以上か否かを判定したり、前照灯１２がハイビームか否かを判定したりすることによって行われ、該判定が肯定さて場合にはステップ１０６へ移行し、否定された場合にはステップ１１０へ移行する。
【００５８】
ステップ１０６では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が点滅して投光されて近赤外光カメラ２２によって撮影が行われる。
【００５９】
続いて、ステップ１０８では、近赤外投光時と消灯時の差分画像が車両周辺監視ＥＣＵ１４によって算出されてステップ１１２へ移行する。
【００６０】
一方、ステップ１１０では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が投光されて近赤外光カメラ２２によって撮影が行われ、ステップ１１２へ移行する。
【００６１】
ステップ１１２では、撮影画像中に監視対象の標識があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状（標識の形状）を用いて、撮影画像からパターンマッチング等により検索し、対応する特徴形状があるか否かを判定する。該判定が肯定された場合にはステップ１１４へ移行し、否定された場合にはステップ１２６へ移行する。なお、近赤外光の撮影画像の場合には、所定の輝度以上をマスクすることによって、図５に示すように標識形状４６等が現れ、パターンマッチングが容易となり、監視対象の領域を容易に抽出することが可能となる。
【００６２】
ステップ１１４では、監視対象の標識形状の領域が撮影画像から車両周辺監視ＥＣＵ１４によって抽出されてステップ１１５へ移行する。
【００６３】
ステップ１１５では、抽出領域の補正処理が行われてステップ１１６へ移行する。ここで、図８を参照して抽出領域の補正処理について説明する。
【００６４】
抽出領域補正処理へ移行するとステップ２００で、車両周辺監視ＥＣＵ１４によって、車両状態検出センサ４０から車両状態の検出結果が取得されると共に、ナビゲーション装置４２からナビゲーション情報が取得されてステップ２０２へ移行する。
【００６５】
ステップ２０２では、監視対象の標識を含む領域を抽出してからの車両の変位が車両周辺監視ＥＣＵ１４によって算出されてステップ２０４へ移行して、車両変位に対応する抽出領域の移動位置が車両周辺監視ＥＣＵ１４によって算出されて図７のステップ１１６へ移行する。
【００６６】
すなわち、抽出領域補正処理では、図９（Ａ）の位置で監視対象の標識を含む領域４６を抽出して、続く処理までに車両が移動して抽出した領域４６が図９（Ｂ）の位置に移動した場合には、図９（Ｃ）に示すように、抽出した領域が４６から領域４７へ移動するので、この移動位置を推定することによって、抽出領域の画像中の位置補正を行う。これによって車両の移動に合わせて抽出領域を追従させることができる。
【００６７】
一方、抽出領域補正処理が行われてステップ１１６へ移行すると、抽出領域へ可視光を照射するように配光制御装置１６によって配光が制御されてステップ１１８へ移行する。すなわち、抽出領域に対応する分割領域２１へ光が照射されるようにＤＭＤ３０のマイクロミラー３２の回転が制御される。なお、既に抽出領域に対応する分割領域２１に光が照射されている場合には、他の領域よりも明るくなるように、例えば、他の領域へ照射する光の一部を抽出領域に対応する分割領域２１へ照射するようにＤＭＤ３０のマイクロミラー３２の回転を制御する。
【００６８】
ステップ１１８では、可視光カメラ１８によって撮影が行われてステップ１２０へ移行し、撮影画像中の抽出領域の画像が車両周辺監視ＥＣＵ１４によって解析されて標識の種類や内容等が認識されてステップ１２２へ移行する。すなわち、前照灯１２によって監視対象の標識に光が照射されているので、可視光カメラ１８の撮影画像から標識の種類や内容等を認識することが可能となる。
【００６９】
ステップ１２２では、車両周辺監視ＥＣＵ１４によって認識結果が報知されてステップ１２４へ移行する。例えば、認識した標識の種類や内容等を音声で報知したり、画像表示装置等に表示する。これによって乗員が標識を見落としている場合に気付かせることができる。
【００７０】
そして、ステップ１２４では、イグニッションスイッチがオフされたか否か車両周辺監視ＥＣＵ１４によって判定され、該判定が否定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が肯定されたところで一連の処理を終了する。
【００７１】
このように本実施形態においても第１実施形態と同様に、撮影画像から監視対象を含む領域を抽出してから、抽出領域について画像解析して監視対象の内容を認識するので、撮影画像全てについて画像解析することがないので、処理負荷を軽減することができる。
【００７２】
また、夜間等の場合に、近赤外光の撮影画像を用いて監視対象を抽出することによって、所定値以上の輝度を抽出することで、監視対象の標識を簡単に抽出することができ、当該領域を容易に抽出することが可能となる。
【００７３】
また、ハイビームや西日等の場合に、近赤外光を点滅させて、近赤外投光時と消灯時の撮影画像の差分画像を用いることによって、可視光カメラ１８の撮影画像からハイビームや西日等によって監視対象の標識が抽出し難い場合でも確実に監視対象の標識を抽出することができる。
【００７４】
さらに、本実施形態では、車両の移動に合わせて抽出した監視対象を含む領域の移動を推定して補正するので、配光制御装置１６によって配光を制御する際に、自車両の移動に追従して監視対象に対して正確に光を照射することが可能となる。
【００７５】
なお、上記の各実施形態では、監視対象として標識を一例として挙げて説明したが、監視対象は標識に限るものではなく、例えば、車両（特に停車車両等）、歩行者、ポール、橋の欄干等を監視対象とするようにしてもよい。
【００７６】
また、上記の各実施形態では、可視光カメラ１８や赤外光カメラ２２の撮影画像から監視対象を含む領域を抽出するようにしたが、これに限るものではなく、監視対象を抽出する際には、例えば、電磁波等を利用したレーダ等により、監視対象の特徴形状を検索して抽出するようにしてもよい。
【００７７】
さらに、上記の各実施形態では、配光制御装置１６は、分割領域２１毎に光の照射や非照射等を制御可能なものを適用したが、これに限るものではなく、例えば、ステアリング舵角に合わせてスイングする配光制御装置１６を適用して、監視対象の方向へスイングするように制御するようにしてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【図２】前照灯の配光範囲の分割領域を説明するための図である。
【図３】（Ａ）は本発明の実施形態に適用可能な前照灯の構成を示す図であり、（Ｂ）はＤＭＤのマクロミラーを説明するための図であり、（Ｃ）は本発明の実施形態に適用可能な他の前照灯の一例を示す図である。
【図４】本発明の第１実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。
【図５】監視対象の標識を含む領域の抽出を説明するための図である。
【図６】本発明の第２実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【図７】本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。
【図８】抽出領域補正処理の流れの一例を示すフローチャートである。
【図９】抽出領域補正処理を説明するための図である。
【符号の説明】
【００７９】
１０ 車両周辺監視装置
１２ 前照灯
１４ 車両周辺監視ＥＣＵ
１６ 配光制御装置
１８ 可視光カメラ
２０ 近赤外投光器
２２ 近赤外光カメラ
４０ 車両状態検出センサ
４２ ナビゲーション装置
４４ 標識形状
４６、４７ 領域
【技術分野】
【０００１】
本発明は、車両周辺監視装置にかかり、特に、車両前方等の車両周辺を撮影して撮影画像から標識等を認識して運転者の視覚を支援する等の装置に適用可能な車両周辺監視装置に関する。
【背景技術】
【０００２】
カメラの撮影画像から車両周辺の障害物等を監視する車両周辺装置が従来より提案されている。
【０００３】
例えば、特許文献１に記載の技術のように、カメラを用いて前方を撮影して、撮影画像から障害物を認識する技術が提案されている。詳細には、特許文献１に記載の技術では、撮影画像から障害物を認識して、認識した障害物に対して前照灯の配光を制御するようにしている。
【特許文献１】特開２００５−１４６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を適用して、撮影画像から標識等の内容を認識しようとする場合、標識を認識するために複雑なテクスチャーをパターンマッチング等の技術を利用して撮影画像全域をサーチして、標識等の内容を認識するため、処理負荷が高くなってしまう。
【０００５】
本発明は、上記問題を解決すべく成されたもので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために請求項１に記載の発明は、自車両周辺を撮影する撮影手段と、監視対象の予め定めた特徴に基づいて、前記撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域を抽出する抽出手段と、前記抽出手段によって抽出された前記領域の撮影画像を解析することによって監視対象を認識する認識手段と、を備えることを特徴としている。
【０００７】
請求項１に記載の発明によれば、自車両前方等の自車両周辺が撮影手段によって撮影され、監視対象の予め定めた特徴に基づいて、撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域が抽出手段によって抽出される。例えば、請求項２に記載の発明のように、予め定めた監視対象の形状を特徴として記憶する記憶手段を更に備えて、抽出手段が、撮影画像の中から記憶手段に記憶された予め記憶された監視対象の形状を検索し、検索した監視対象の形状を含む所定の大きさの領域を監視対象が含まれる領域として抽出することで、監視対象を含む領域を抽出するようにしてもよい。すなわち、監視対象の形状を予め登録しておくことによってパターンマッチング等により監視対象を含む領域を抽出することができる。
【０００８】
そして、認識手段が、抽出手段によって抽出された領域の撮影画像を解析することによって監視対象を認識する。すなわち、撮影画像の全領域について監視対象を認識するための画像解析を行うことなく、抽出した領域のみについて監視対象を認識するための画像解析を行うので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる。
【０００９】
なお、請求項３に記載の発明のように、配光を変更可能な照明手段と、抽出手段によって抽出された領域へ光を照射するように照明手段を制御する制御手段と、を更に備えるようにしてもよい。これによって抽出した監視対象に照明手段から光を照射することが可能となり、夜間等でも認識手段によって画像解析して監視対象を認識することが可能となる。
【００１０】
この時、請求項４に記載の発明のように、車両状態を検出する状態検出手段及び自車位置を検出する自車位置検出手段の少なくとも一方の検出手段を更に備えて、制御手段が、検出手段の検出結果に基づいて、抽出手段によって抽出された領域の位置を補正して、照明手段を制御するようにしてもよい。これによって自車両の移動に追従して抽出した領域の補正を行うことが可能となり、監視対象に対して正確に照明手段から光を照射することが可能となる。
【００１１】
また、請求項５に記載の発明のように、近赤外光を自車両周辺に投光する近赤外投光手段を更に備え、撮影手段が近赤外光を撮影する近赤外光撮影手段を含むようにしてもよい。これによって夜間でも監視対象の形状等の特徴を認識することが可能となる。
【発明の効果】
【００１２】
以上説明したように本発明によれば、監視対象の予め定めた特徴に基づいて、撮影画像の中から監視対象を含む領域を抽出し、抽出した領域の撮影画像を解析することによって監視対象を認識することで、撮影画像の全領域について監視対象を認識するための画像解析を行うことなく、監視対象を認識することができるので、撮影画像から監視対象を検索して認識する際の処理負荷を軽減することができる、という効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【００１４】
本発明の第１実施形態に係わる車両周辺監視装置１０は、図１に示すように、車両に設けられた前照灯１２の配光を制御する配光制御装置１６が車両周辺監視ＥＣＵ（Electronic Control Unit）１４に接続されており、車両周辺監視ＥＣＵ１４の監視結果を配光制御装置１６に出力することによって、配光制御装置１６が車両周辺の監視結果を用いて前照灯１２の配光を制御する。
【００１５】
車両周辺監視ＥＣＵ１４は、ＣＰＵ１４Ａ、ＲＡＭ１４Ｂ、ＲＯＭ１４Ｃ、及びインプットアウトプットインタフェース（Ｉ／Ｏ）１４Ｄを含むマイクロコンピュータで構成されている。
【００１６】
車両周辺監視ＥＣＵ１４のＲＯＭ１４Ｃには、車両周辺を監視して配光制御するためのプログラムや前照灯１２の配光制御を行うためのテーブル等が記憶されると共に、監視対象の特徴形状（詳細は後述）が記憶され、ＲＡＭ１４Ｂは、ＣＰＵ１４Ａによって行われる各種演算等を行うメモリ等として使用される。
【００１７】
Ｉ／Ｏ１４Ｄには、可視光カメラ１８、近赤外投光器２０、近赤外光カメラ２２、及び配光制御装置１６が接続されている。
【００１８】
可視光カメラ１８は可視光の光を撮影して撮影結果を車両周辺監視ＥＣＵ１４へ出力し、近赤外投光器２０は車両周辺監視ＥＣＵ１４の指示に応じて近赤外光を投光して、近赤外光カメラ２２は近赤外投光器２０から投光された近赤外光を撮影して撮影結果を車両周辺監視ＥＣＵ１４へ出力する。
【００１９】
車両周辺監視ＥＣＵ１４は、可視光カメラ１８や近赤外光カメラ２２によって撮影された撮影画像から監視対象（本実施形態では、標識）を監視して、監視結果を配光制御装置１６へ出力する。
【００２０】
そして、配光制御装置１６は、車両周辺監視ＥＣＵ１４の監視結果に基づいて、監視対象に照射する前照灯１２の配光を制御する。すなわち、標識等の監視対象へ光が照射されるように前照灯１２の配光を制御する。
【００２１】
前照灯１２は、車両の前端部に２つ設けられており、図２に示すように、前照灯１２の配光領域を複数に分割してそれぞれの分割領域２１に対して光の照射や非照射等が可能とされることによって各分割領域毎に配光が変更とされ、配光制御装置１６によって各分割領域への光の照射や非照射等が制御される。
【００２２】
図３（Ａ）、（Ｃ）は、本実施形態に適用可能な前照灯の一例を示す図である。
【００２３】
前照灯１２は、例えば、図３（Ａ）に示すように、光源２８からの光をＤＭＤ（Digital Micromirror Device）３０によって反射して、レンズ３１を介して車両前方を照射するものを適用可能である。
【００２４】
ＤＭＤ３０は、図３（Ｂ）に示すように、複数のマイクロミラー３２を備えており、各マイクロミラー３２の回転が制御可能なデバイスである。すなわち、配光制御装置１６に光源２８を点灯する光源ドライバ３４と、ＤＭＤ３０の各マイクロミラー３２の回転を制御するＤＭＤドライバ３６と、を設け、光源ドライバ３４によって光源２８を点灯して、ＤＭＤドライバ３６によってＤＭＤ３０の各マイクロミラー３２の回転を制御することによって、図２に示す各分割領域への光の照射や非照射等を制御することが可能である。
【００２５】
また、前照灯１２は、図３（Ｃ）に示すように、複数のＬＥＤ光源２４を備えたものを適用するようにしてもよい。この場合には、配光制御装置１６が複数のＬＥＤ光源２４の点灯や消灯を制御することによって、図２に示す各分割領域２１への光の照射や非照射等を行うことが可能である。図３（Ｃ）では、複数のＬＥＤ光源２４を備えたＬＥＤランプ２６を２灯備えた前照灯の一例を示し、例えば、一方のＬＥＤランプ２６をロービーム用、他方のＬＥＤランプ２６をハイビーム用として使い分けるようにしてもよい。
【００２６】
なお、本実施の形態では、図３（Ａ）に示した光源２８とＤＭＤ３０を備えた前照灯を適用して以下の説明を行う。また、前照灯１２の構成は上記に限るものではなく、例えば、単一の光源から車両前方を照らす光を遮断する複数のシャッタ等を設けて、各シャッタの大きさを分割領域に対応させて、図２に示す各分割領域への光の照射や非照射等を可能としてもよいし、ＤＭＤ３０の代りにＤＭＤ３０以外の液晶素子等の空間光変調素子等を用いるようにしてもよい。
【００２７】
また、前照灯１２から照射される光の各分割領域２１の配光制御は、各分割領域２１に対応するＤＭＤ６０のマイクロミラー３２が予め定められており、ＤＭＤ３０のマイクロミラー３２を選択的に回転して、光源からの光を前照灯１２のハウジング内や他の分割領域２１へ照射するように制御することによって、各分割領域２１へ照射される光を制御するようになっており、各分割領域とＤＭＤ３０のマイクロミラー３２との対応関係を表すテーブルがＲＯＭ１４Ｃに記憶されている。
【００２８】
ここで、本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理について説明する。
【００２９】
本発明の第１実施形態に係わる車両周辺監視装置１０は、車両周辺（本実施形態では車両前方）の撮影画像から監視対象として標識を検索して、標識を含む所定の大きさの領域を抽出する。監視対象の抽出は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状を用いて、撮影画像からパターンマッチング等により検索し、特徴形状を含む予め定めた大きさの領域を抽出する。なお、ＲＯＭ１４Ｃに記憶する監視対象の特徴形状は、本実施形態では、標識の形状を記憶する。例えば、円形状や逆三角形状等の標識の形状を記憶する。
【００３０】
この時、夜間等により照度が不足して、撮影画像から監視対象の標識を抽出できないような場合には、近赤外投光器２０によって近赤外光を投光して、近赤外光カメラ２２の撮影画像から監視対象の標識を抽出する。近赤外光カメラ２２の撮影画像から監視対象の標識を抽出する場合には、所定輝度以上を抽出することで監視対象の標識の形状が現れるので、パターンマッチング等により標識を含む領域を抽出することができる。
【００３１】
また、西日やハイビーム等により、近赤外光カメラ２２の撮影画像から標識を抽出できないような場合には、近赤外投光器２０を点滅させて、近赤外光投光時と消灯時の差分画像から監視対象の標識を含む領域を抽出する。
【００３２】
そして、撮影画像の抽出した領域に対して前照灯１２の光が照射されるように前照灯１２の配光を制御すると共に、抽出した領域の撮影画像を画像解析（標識を含む領域抽出よりも詳細なパターンマッチング等）することによって、標識の内容を認識して認識結果を乗員に報知する。なお、報知方法としては、例えば、表示装置等に表示するようにしてもよいし、音声等により報知するようにしてもよい。
【００３３】
続いて、上述のように構成された本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理の流れについて詳細に説明する。図４は、本発明の第１実施形態に係わる車両周辺監視装置１０で行われる処理の流れの一例を示すフローチャートである。なお、当該処理は、図示しないイグニッションスイッチがオンされた場合等に開始するようにしてもよいし、監視モード等の指示を行うスイッチ等を備える場合には、当該スイッチによって開始が指示された場合に開始するようにしてもよい。
【００３４】
まずステップ１００では、車両周辺（前方）が可視光カメラ１８によって撮影されてステップ１０２へ移行する。
【００３５】
ステップ１０２では、可視光カメラ１８の撮影画像から近赤外光を投光する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が夜間等の照度か否かを判定することによって行われ、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１１２へ移行する。
【００３６】
ステップ１０４では、可視光カメラ１８の撮影画像から近赤外光を点滅する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が西日等により所定の輝度以上か否かを判定したり、前照灯１２がハイビームか否かを判定したりすることによって行われ、該判定が肯定さて場合にはステップ１０６へ移行し、否定された場合にはステップ１１０へ移行する。
【００３７】
ステップ１０６では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が点滅して投光されて近赤外光カメラ２２によって撮影が行われる。
【００３８】
続いて、ステップ１０８では、近赤外投光時と消灯時の差分画像が車両周辺監視ＥＣＵ１４によって算出されてステップ１１２へ移行する。
【００３９】
一方、ステップ１１０では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が投光されて近赤外光カメラ２２によって撮影が行われ、ステップ１１２へ移行する。
【００４０】
ステップ１１２では、撮影画像中に監視対象の標識があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状（標識の形状）を用いて、撮影画像からパターンマッチング等により検索し、対応する特徴形状があるか否かを判定する。該判定が肯定された場合にはステップ１１４へ移行し、否定された場合にはステップ１２６へ移行する。なお、近赤外光の撮影画像の場合には、所定の輝度以上をマスクすることによって、図５に示すように標識形状４４が現れ、パターンマッチングが容易となり、監視対象の領域４６を容易に抽出することが可能となる。
【００４１】
ステップ１１４では、監視対象の標識形状の領域が撮影画像から車両周辺監視ＥＣＵ１４によって抽出されてステップ１１６へ移行する。
【００４２】
ステップ１１６では、抽出領域へ可視光を照射するように配光制御装置１６によって配光が制御されてステップ１１８へ移行する。すなわち、抽出領域に対応する分割領域２１へ光が照射されるようにＤＭＤ３０のマイクロミラー３２の回転が制御される。なお、既に抽出領域に対応する分割領域２１に光が照射されている場合には、他の領域よりも明るくなるように、例えば、他の領域へ照射する光の一部を抽出領域に対応する分割領域２１へ照射するようにＤＭＤ３０のマイクロミラー３２の回転を制御する。
【００４３】
ステップ１１８では、可視光カメラ１８によって撮影が行われてステップ１２０へ移行し、撮影画像中の抽出領域の画像が車両周辺監視ＥＣＵ１４によって解析されて標識の種類や内容等が認識されてステップ１２２へ移行する。すなわち、前照灯１２によって監視対象の標識に光が照射されているので、可視光カメラ１８の撮影画像から標識の種類や内容等を認識することが可能となる。
【００４４】
ステップ１２２では、車両周辺監視ＥＣＵ１４によって認識結果が報知されてステップ１２４へ移行する。例えば、認識した標識の種類や内容等を音声で報知したり、画像表示装置等に表示する。これによって乗員が標識を見落としている場合に気付かせることができる。
【００４５】
そして、ステップ１２４では、イグニッションスイッチがオフされたか否か車両周辺監視ＥＣＵ１４によって判定され、該判定が否定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が肯定されたところで一連の処理を終了する。
【００４６】
このように本発明の第１実施形態に係わる車両周辺監視装置１０では、撮影画像から監視対象を含む領域を抽出してから、抽出領域について画像解析して監視対象の内容を認識するので、撮影画像全てについて画像解析することがないので、処理負荷を軽減することができる。
【００４７】
また、夜間等の場合に、近赤外光の撮影画像を用いて監視対象を抽出することによって、所定値以上の輝度を抽出することで、監視対象の標識を簡単に抽出することができ、当該領域を容易に抽出することが可能となる。
【００４８】
さらに、ハイビームや西日等の場合に、近赤外光を点滅させて、近赤外投光時と消灯時の撮影画像の差分画像を用いることによって、可視光カメラ１８の撮影画像からハイビームや西日等によって監視対象の標識が抽出し難い場合でも確実に監視対象の標識を抽出することができる。
（第２実施形態）
続いて、本発明の第２実施形態に係わる車両周辺監視装置について説明する。図６は、本発明の第２実施形態に係わる車両周辺監視装置の構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して説明を省略する。
【００４９】
第２実施形態に係わる車両周辺監視装置は、図６に示すように、第１実施形態に係わる車両周辺監視装置１０に対して、車両状態検出センサ４０及びナビゲーション装置４２がＩ／Ｏ１４Ｄに接続されており、車両周辺監視ＥＣＵ１４が、車両状態検出センサ４０及びナビゲーション装置４２からの情報に基づいて、自車両の移動を推定して、監視対象の標識が含まれる抽出領域の位置を補正する。
【００５０】
すなわち、本実施形態の車両周辺監視ＥＣＵ１４は、監視対象の標識が含まれる領域を抽出して、抽出した領域に前照灯１２の配光を制御する際に、車両の移動を考慮して抽出領域を補正して、前照灯１２の配光を制御する。これによって、監視対象の標識等に前照灯１２の光を正確に照射することが可能となる。
【００５１】
車両状態検出センサ４０は、車両状態として、例えば、車速、ヨーレート、舵角等の車両状態を検出する。なお、抽出領域の位置を補正するためには、少なくとも車速及び舵角の検出が必要である。
【００５２】
また、ナビゲーション装置４２は、自車位置を測位すると共に、測位した自車位置と地図情報をナビゲーション情報として車両周辺監視ＥＣＵ１４へ出力する。
【００５３】
そして、車両周辺監視ＥＣＵ１４は、車両状態検出センサ４０の検出結果やナビゲーション装置４２からのナビゲーション情報に基づいて、監視対象の標識を含む抽出領域の補正を行う。なお、本実施形態では、車両状態検出センサ４０及びナビゲーション装置４２が共に車両周辺監視ＥＣＵ１４に接続されている場合を説明するが、これに限るものではなく、どちらか一方のみを車両周辺監視ＥＣＵ１４に接続するようにしても抽出領域の補正が可能である。
【００５４】
続いて、上述のように構成された本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れについて説明する。図７は、本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。なお、第１実施形態と同一処理については同一符号を付して説明する。なお、当該処理は、図示しないイグニッションスイッチがオンされた場合等に開始するようにしてもよいし、監視モード等の指示を行うスイッチ等を備える場合には、当該スイッチによって開始が指示された場合に開始するようにしてもよい。
【００５５】
まずステップ１００では、車両周辺（前方）が可視光カメラ１８によって撮影されてステップ１０２へ移行する。
【００５６】
ステップ１０２では、可視光カメラ１８の撮影画像から近赤外光を投光する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が夜間等の照度か否かを判定することによって行われ、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合にはステップ１１２へ移行する。
【００５７】
ステップ１０４では、可視光カメラ１８の撮影画像から近赤外光を点滅する必要があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、例えば、撮影画像が西日等により所定の輝度以上か否かを判定したり、前照灯１２がハイビームか否かを判定したりすることによって行われ、該判定が肯定さて場合にはステップ１０６へ移行し、否定された場合にはステップ１１０へ移行する。
【００５８】
ステップ１０６では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が点滅して投光されて近赤外光カメラ２２によって撮影が行われる。
【００５９】
続いて、ステップ１０８では、近赤外投光時と消灯時の差分画像が車両周辺監視ＥＣＵ１４によって算出されてステップ１１２へ移行する。
【００６０】
一方、ステップ１１０では、近赤外投光器２０及び近赤外光カメラ２２が車両周辺監視ＥＣＵ１４によって制御されて、近赤外光が投光されて近赤外光カメラ２２によって撮影が行われ、ステップ１１２へ移行する。
【００６１】
ステップ１１２では、撮影画像中に監視対象の標識があるか否か車両周辺監視ＥＣＵ１４によって判定される。該判定は、ＲＯＭ１４Ｃに予め記憶された監視対象の特徴形状（標識の形状）を用いて、撮影画像からパターンマッチング等により検索し、対応する特徴形状があるか否かを判定する。該判定が肯定された場合にはステップ１１４へ移行し、否定された場合にはステップ１２６へ移行する。なお、近赤外光の撮影画像の場合には、所定の輝度以上をマスクすることによって、図５に示すように標識形状４６等が現れ、パターンマッチングが容易となり、監視対象の領域を容易に抽出することが可能となる。
【００６２】
ステップ１１４では、監視対象の標識形状の領域が撮影画像から車両周辺監視ＥＣＵ１４によって抽出されてステップ１１５へ移行する。
【００６３】
ステップ１１５では、抽出領域の補正処理が行われてステップ１１６へ移行する。ここで、図８を参照して抽出領域の補正処理について説明する。
【００６４】
抽出領域補正処理へ移行するとステップ２００で、車両周辺監視ＥＣＵ１４によって、車両状態検出センサ４０から車両状態の検出結果が取得されると共に、ナビゲーション装置４２からナビゲーション情報が取得されてステップ２０２へ移行する。
【００６５】
ステップ２０２では、監視対象の標識を含む領域を抽出してからの車両の変位が車両周辺監視ＥＣＵ１４によって算出されてステップ２０４へ移行して、車両変位に対応する抽出領域の移動位置が車両周辺監視ＥＣＵ１４によって算出されて図７のステップ１１６へ移行する。
【００６６】
すなわち、抽出領域補正処理では、図９（Ａ）の位置で監視対象の標識を含む領域４６を抽出して、続く処理までに車両が移動して抽出した領域４６が図９（Ｂ）の位置に移動した場合には、図９（Ｃ）に示すように、抽出した領域が４６から領域４７へ移動するので、この移動位置を推定することによって、抽出領域の画像中の位置補正を行う。これによって車両の移動に合わせて抽出領域を追従させることができる。
【００６７】
一方、抽出領域補正処理が行われてステップ１１６へ移行すると、抽出領域へ可視光を照射するように配光制御装置１６によって配光が制御されてステップ１１８へ移行する。すなわち、抽出領域に対応する分割領域２１へ光が照射されるようにＤＭＤ３０のマイクロミラー３２の回転が制御される。なお、既に抽出領域に対応する分割領域２１に光が照射されている場合には、他の領域よりも明るくなるように、例えば、他の領域へ照射する光の一部を抽出領域に対応する分割領域２１へ照射するようにＤＭＤ３０のマイクロミラー３２の回転を制御する。
【００６８】
ステップ１１８では、可視光カメラ１８によって撮影が行われてステップ１２０へ移行し、撮影画像中の抽出領域の画像が車両周辺監視ＥＣＵ１４によって解析されて標識の種類や内容等が認識されてステップ１２２へ移行する。すなわち、前照灯１２によって監視対象の標識に光が照射されているので、可視光カメラ１８の撮影画像から標識の種類や内容等を認識することが可能となる。
【００６９】
ステップ１２２では、車両周辺監視ＥＣＵ１４によって認識結果が報知されてステップ１２４へ移行する。例えば、認識した標識の種類や内容等を音声で報知したり、画像表示装置等に表示する。これによって乗員が標識を見落としている場合に気付かせることができる。
【００７０】
そして、ステップ１２４では、イグニッションスイッチがオフされたか否か車両周辺監視ＥＣＵ１４によって判定され、該判定が否定された場合にはステップ１００に戻って上述の処理が繰り返され、判定が肯定されたところで一連の処理を終了する。
【００７１】
このように本実施形態においても第１実施形態と同様に、撮影画像から監視対象を含む領域を抽出してから、抽出領域について画像解析して監視対象の内容を認識するので、撮影画像全てについて画像解析することがないので、処理負荷を軽減することができる。
【００７２】
また、夜間等の場合に、近赤外光の撮影画像を用いて監視対象を抽出することによって、所定値以上の輝度を抽出することで、監視対象の標識を簡単に抽出することができ、当該領域を容易に抽出することが可能となる。
【００７３】
また、ハイビームや西日等の場合に、近赤外光を点滅させて、近赤外投光時と消灯時の撮影画像の差分画像を用いることによって、可視光カメラ１８の撮影画像からハイビームや西日等によって監視対象の標識が抽出し難い場合でも確実に監視対象の標識を抽出することができる。
【００７４】
さらに、本実施形態では、車両の移動に合わせて抽出した監視対象を含む領域の移動を推定して補正するので、配光制御装置１６によって配光を制御する際に、自車両の移動に追従して監視対象に対して正確に光を照射することが可能となる。
【００７５】
なお、上記の各実施形態では、監視対象として標識を一例として挙げて説明したが、監視対象は標識に限るものではなく、例えば、車両（特に停車車両等）、歩行者、ポール、橋の欄干等を監視対象とするようにしてもよい。
【００７６】
また、上記の各実施形態では、可視光カメラ１８や赤外光カメラ２２の撮影画像から監視対象を含む領域を抽出するようにしたが、これに限るものではなく、監視対象を抽出する際には、例えば、電磁波等を利用したレーダ等により、監視対象の特徴形状を検索して抽出するようにしてもよい。
【００７７】
さらに、上記の各実施形態では、配光制御装置１６は、分割領域２１毎に光の照射や非照射等を制御可能なものを適用したが、これに限るものではなく、例えば、ステアリング舵角に合わせてスイングする配光制御装置１６を適用して、監視対象の方向へスイングするように制御するようにしてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【図２】前照灯の配光範囲の分割領域を説明するための図である。
【図３】（Ａ）は本発明の実施形態に適用可能な前照灯の構成を示す図であり、（Ｂ）はＤＭＤのマクロミラーを説明するための図であり、（Ｃ）は本発明の実施形態に適用可能な他の前照灯の一例を示す図である。
【図４】本発明の第１実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。
【図５】監視対象の標識を含む領域の抽出を説明するための図である。
【図６】本発明の第２実施形態に係わる車両周辺監視装置の構成を示すブロック図である。
【図７】本発明の第２実施形態に係わる車両周辺監視装置で行われる処理の流れの一例を示すフローチャートである。
【図８】抽出領域補正処理の流れの一例を示すフローチャートである。
【図９】抽出領域補正処理を説明するための図である。
【符号の説明】
【００７９】
１０ 車両周辺監視装置
１２ 前照灯
１４ 車両周辺監視ＥＣＵ
１６ 配光制御装置
１８ 可視光カメラ
２０ 近赤外投光器
２２ 近赤外光カメラ
４０ 車両状態検出センサ
４２ ナビゲーション装置
４４ 標識形状
４６、４７ 領域
【特許請求の範囲】
【請求項１】
自車両周辺を撮影する撮影手段と、
監視対象の予め定めた特徴に基づいて、前記撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記領域の撮影画像を解析することによって監視対象を認識する認識手段と、
を備えた車両周辺監視装置。
【請求項２】
予め定めた監視対象の形状を前記特徴として記憶する記憶手段を更に備え、前記抽出手段が、前記撮影画像の中から前記記憶手段に記憶された予め定めた監視対象の形状を検索し、検索した監視対象の形状を含む所定の大きさの領域を前記監視対象が含まれる領域として抽出することを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
配光を変更可能な照明手段と、前記抽出手段によって抽出された前記領域へ光を照射するように前記照明手段を制御する制御手段と、を更に備えることを特徴とする請求項１又は請求項２に記載の車両周辺監視装置。
【請求項４】
車両状態を検出する状態検出手段及び自車位置を検出する自車位置検出手段の少なくとも一方の検出手段を更に備え、前記制御手段が、前記検出手段の検出結果に基づいて、前記抽出手段によって抽出された前記領域の位置を補正して、前記照明手段を制御することを特徴とする請求項３に記載の車両周辺監視装置。
【請求項５】
近赤外光を自車両周辺に投光する近赤外投光手段を更に備え、前記撮影手段が近赤外光を撮影する近赤外光撮影手段を含むことを特徴とする請求項１〜４の何れか１項に記載の車両周辺監視装置。
【請求項１】
自車両周辺を撮影する撮影手段と、
監視対象の予め定めた特徴に基づいて、前記撮影手段によって撮影された撮影画像の中から監視対象が含まれる領域を抽出する抽出手段と、
前記抽出手段によって抽出された前記領域の撮影画像を解析することによって監視対象を認識する認識手段と、
を備えた車両周辺監視装置。
【請求項２】
予め定めた監視対象の形状を前記特徴として記憶する記憶手段を更に備え、前記抽出手段が、前記撮影画像の中から前記記憶手段に記憶された予め定めた監視対象の形状を検索し、検索した監視対象の形状を含む所定の大きさの領域を前記監視対象が含まれる領域として抽出することを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
配光を変更可能な照明手段と、前記抽出手段によって抽出された前記領域へ光を照射するように前記照明手段を制御する制御手段と、を更に備えることを特徴とする請求項１又は請求項２に記載の車両周辺監視装置。
【請求項４】
車両状態を検出する状態検出手段及び自車位置を検出する自車位置検出手段の少なくとも一方の検出手段を更に備え、前記制御手段が、前記検出手段の検出結果に基づいて、前記抽出手段によって抽出された前記領域の位置を補正して、前記照明手段を制御することを特徴とする請求項３に記載の車両周辺監視装置。
【請求項５】
近赤外光を自車両周辺に投光する近赤外投光手段を更に備え、前記撮影手段が近赤外光を撮影する近赤外光撮影手段を含むことを特徴とする請求項１〜４の何れか１項に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２５２３２７（Ｐ２００８−２５２３２７Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−８９０６７（Ｐ２００７−８９０６７）
【出願日】平成１９年３月２９日（２００７．３．２９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月２９日（２００７．３．２９）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]