車両の周辺監視装置
【課題】車両に搭載された撮像手段により得られる画像から、歩行者を含む車両の周辺の対象物を検出して運転者に知らせる。
【解決手段】車両に搭載され、該車両の周辺の画像を取得する撮像手段と、撮像手段により取得された画像から該車両の周辺の物体を特定する物体特定手段と、物体の移動ベクトルを算出する移動ベクトル算出手段と、物体の種別を判定する種別判定手段と、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える車両の周辺監視装置を提供する。その種別判定手段は、（ｉ）物体が、車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）物体が、到達時間が所定時間よりも大きい第２領域に存在する場合、第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう。
【解決手段】車両に搭載され、該車両の周辺の画像を取得する撮像手段と、撮像手段により取得された画像から該車両の周辺の物体を特定する物体特定手段と、物体の移動ベクトルを算出する移動ベクトル算出手段と、物体の種別を判定する種別判定手段と、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える車両の周辺監視装置を提供する。その種別判定手段は、（ｉ）物体が、車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）物体が、到達時間が所定時間よりも大きい第２領域に存在する場合、第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両に搭載された撮像手段により得られる画像から、歩行者を含む車両の周辺の対象物を検出して運転者に知らせるための車両の周辺監視装置に関する。
【背景技術】
【０００２】
特許文献１は、車両に搭載された撮像手段により得られる画像から、当該車両に衝突するおそれのある対象物を検出するために、当該車両の周辺を監視する周辺監視装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５１５９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の周辺監視装置では、歩行者等の対象物を検出した場合に、表示画面上の検出対象物に対して、それを運転者等に分かりやすく認知させるために、枠を付与したり、その枠の色を可変したり、あるいは警告音発生等によりその存在を強調している。
【０００５】
しかし、特許文献１等の従来の周辺監視装置では、検出した対象物の位置に応じて枠色を可変させる、あるいは警告音を発生させる場合、対象物の検出状況、すなわち所定のタイミングでの過去の検出において既に枠が付与されている状態なのか、あるいは警告音が発生されている状態なのか等に関わらず同一の画像処理を実施している。そのため、特に複数の処理を並行して行わなければならいような状況下では、その処理に必要な演算量が圧迫されるおそれがあった。
【０００６】
そこで、本発明は、この従来技術の問題を軽減あるいは解消すること、すなわち、車両の周辺監視装置における対象物の検出状態に応じて、適時画像処理を最適に制御し、その検出精度を維持しながら画像処理の演算負荷を軽減させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、車両の周辺の画像を取得する撮像手段と、撮像手段により取得された画像から車両の周辺の物体を特定する物体特定手段と、物体の移動ベクトルを算出する移動ベクトル算出手段と、物体の種別を判定する種別判定手段と、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える。その種別判定手段は、（ｉ）物体が、車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）物体が、その到達時間が所定時間よりも大きい第２領域に存在する場合、第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう。
【０００８】
本発明によれば、車両から比較的近傍の物体の種別判定精度を上げると同時に、比較的遠い物体の種別判定の演算負荷を下げることにより、車両周辺の所定の物体の検出精度を高く維持しながら画像処理全体の演算負荷を軽減することが可能となる。
【０００９】
本発明の一形態によると、種別判定手段は、第１および第２領域に物体が存在し、かつ第１領域に所定数以上の物体が存在する場合、第２領域に存在する物体に対する第２種別判定をおこなわない、あるいは第２種別判定よりも低演算負荷で判定精度が低い第３種別判定をおこなう。
【００１０】
本発明の一形態によれば、比較的近傍の複数の物体の種別判定に演算負荷を集中させてその検出精度を上げると同時に、画像処理全体の演算負荷を軽減することが可能となる。
【００１１】
本発明の一形態によると、物体に対する到達時間および移動ベクトルから当該物体が車両に到達する可能性が所定値以上であると判定される場合、種別判定手段は当該物体に対する種別の判定をおこなわない。
【００１２】
本発明の一形態によれば、車両への接近可能性の大きい物体が検出された場合、その種別判定をおこなうことなく迅速に運転者に警告等による報知をおこなうことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、赤外線カメラの取り付け位置を説明するための図である。
【図３】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図４】本発明の一実施例に従う、車両前方の検出領域を説明するための図である。
【図５】本発明の一実施例に従う、種別判定の処理フローを示す図である。
【図６】本発明の一実施例に従う、別の種別判定の処理フローを示す図である。
【図７】本発明の一実施例に従う、検出領域と報知レベルとの関係を示す図（表）である。
【図８】本発明の一実施例に従う、別の画像処理ユニットにおける処理フローを示す図である。
【図９】本発明の一実施例に従う、別の画像処理ユニットにおける処理フローを示す図である。
【発明を実施するための形態】
【００１４】
図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、赤外線カメラ１Ｒ、１Ｌと、赤外線カメラ１Ｒ、１Ｌによって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１２と、その検出結果に基づいて音または音声で警報を発生するスピーカ１４と、赤外線カメラの撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１６とを備える。なお、ナビゲーション装置を備える車両においては、スピーカ１４および表示装置１６として、ナビゲーション装置が備える該当機能を利用してもよい。また、赤外線カメラの代わりに他の波長帯（可視光等）を利用するカメラ（ＣＣＤカメラ等）を用いてもよい。
【００１５】
図１の画像処理ユニット１２は、その構成（機能）としてブロック１２１〜１２４で示される機能を有する。すなわち、画像処理ユニット１２は、赤外線カメラ１Ｒ、１Ｌにより取得された画像から車両の周辺の物体を特定する物体特定手段１２１と、物体の移動ベクトルを算出する移動ベクトル算出手段１２２と、物体の種別を判定する種別判定手段１２３と、スピーカ１４および表示装置１６による報知レベルを判定する手段１２４として機能する。報知レベル判定手段１２４は、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなうようにスピーカ１４および表示装置１６を制御する。
【００１６】
各ブロックの機能は、画像処理ユニット１２が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１２の構成は、ナビゲーション装置の中に組み込んでもよい。
【００１７】
画像処理ユニット１２は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１４に対する駆動信号および表示装置１６に対する表示信号などを出力する出力回路を備えている。赤外線カメラ１Ｒ、１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００１８】
図２は、本発明の一実施例に従う、図１に示した赤外線カメラの取り付け位置を説明するための図である。赤外線カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対称な位置に配置され、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。図２の符号２は、表示装置１６としてヘッドアップディスプレイ（以下「ＨＵＤ」という）を用いた場合の表示画面を示している。ＨＵＤは、図に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面２が表示されるように設けられる。
【００１９】
図３は、本発明の一実施例に従う、画像処理ユニット１２によって実行される処理フローである。この処理フローは、画像処理ユニット１２のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を２値化して白黒画像を得る場合を例にとり説明しているが、３値以上の多値化をしてもよい。その場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。
【００２０】
ステップＳ１０において、赤外線カメラ２Ｒ、２Ｌから出力される赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像をメモリに格納する。なお、ステップＳ１０においては、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という）とが取得される。
【００２１】
ステップＳ１１において、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。ステップＳ１２において、最初に２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。次に、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ラベリングした画像部分を物体の画像候補として抽出する。
【００２２】
次のステップＳ１３において、車両と物体候補との距離を算出する。具体的には、例えば以下のように算出する。
【００２３】
最初に、各物体の画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。次に、所定のサンプリング周期毎に赤外線カメラ２Ｒ、２Ｌにより撮像された画像に基づく２値画像から抽出された物体の画像について同一性判定を行い、同一の物体の画像であると判定された画像の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。同時に、車速センサにより検出される車速及びヨーレートセンサにより検出されるヨーレートを読み込み、ヨーレートを時間積分することにより、車両１０の回頭角を算出する。
【００２４】
さらに、基準画像（右画像）の２値画像によって追跡される物体の画像候補の中の一つを選択して、右画像のグレースケール画像から探索画像Ｒ１（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。そして、左画像のグレースケール画像から探索画像Ｒ１に対応する画像（以下、対応画像Ｒ１´という）を探索する探索領域を設定し、探索画像Ｒ１との相間演算を実行して対応画像Ｒ１´を抽出する。そして、探索画像Ｒ１の重心位置と対応画像Ｒ１´の重心位置との差を視差量（画素数）として算出し、得られた視差量に基づいて車両１０と物体候補との距離ｚを算出する。同時に、探索画像の座標（ｘ、ｙ）と距離ｚを、実空間座標（Ｘ、Ｙ、Ｚ）に変換して、探索画像に対応する実空間位置の座標を算出する。なお、実空間座標（Ｘ、Ｙ、Ｚ）は、図２の赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方方向に設定される。
【００２５】
次のステップＳ１４において、物体候補の位置判定をおこなう。図４は、本発明の一実施例に従う、車両前方の検出領域を説明するための図である。図４の三角形の領域２０は、車両１０の赤外線カメラ２Ｒ、２Ｌで監視可能な領域を示す。領域２０は、４つの領域Ａ〜Ｄに区分けされている。
【００２６】
領域ＡとＢは、路上領域であり、車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、言い換えれば車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域である。この領域Ａ、Ｂは、物体候補がそのまま存在し続ければ衝突の可能性が高い領域である。
【００２７】
領域ＡとＢは、物体候補が車両１０に到達するまでの時間ＴＴＣ（秒）が所定時間Ｔ１（秒）以上か以下かを基準に区分けしてある。領域ＣとＤは、いずれも路側領域である。この領域Ｃ、Ｄは、領域Ａ、ＢよりＸ座標の絶対値が大きい（領域Ａ、Ｂの横方向外側の）領域であり、この領域内にある物体候補については、後述する車両１０へ向けての侵入衝突の可能性のある領域である。
【００２８】
ステップＳ１３において得られた物体候補の距離および実空間座標（Ｘ、Ｙ、Ｚ）を図４の監視可能な領域に適用して、物体候補が領域２０のＡ〜Ｄのいずれの領域に位置するかを判定する。その際、例えば最初に路上領域である領域（Ａ＋Ｂ）または路側領域である領域（Ｃ＋Ｄ）のいずれにあるか否かを判定する。次に路上領域（Ａ＋Ｂ）にある場合、領域ＡまたはＢのいずれにあるかを判定する。判定結果に応じてフラグを設定する。例えば、図４に例示されるように、領域Ａ、ＢＣ、Ｄのいずれかに位置するかによって、Ａｒｅａ＿Ｆｌａｇとしてそれぞれ１、２、４、４を設定する。
【００２９】
次のステップＳ１５において、物体候補の移動ベクトルを算出する。具体的には、最初に車両１０が回頭することによる画像上の位置ずれを補正する回頭角補正を行う。次に、所定のモニタ期間内に撮像された複数の画像から得られた回頭角補正後の同一の物体候補の実空間位置の時系列データから、物体候補と車両１０との相対的な移動ベクトルを算出する。なお、実空間座標（Ｘ、Ｙ、Ｚ）及び移動ベクトルの具体的な算出方法については、例えば特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。
【００３０】
算出された移動ベクトルが図４の領域Ｃ、Ｄ内を起点とし車両１０の方向に向かっている場合、車両１０へ向けての侵入衝突の可能性があるので、フラグを設定する。例えば、図４の符号２１で指示されるベクトルのように、対象となる物体候補の移動ベクトルについてＡｒｅａ＿Ｆｌａｇとして３を設定する。
【００３１】
次のステップＳ１６において、物体候補の種別判定をおこなう。図５と図６を参照しながら種別判定について説明する。図５及び図６は、本発明の一実施例に従う、種別判定の処理フローを示す図である。
【００３２】
図５のステップＳ２０において、物体候補の車両１０への到達可能性が所定値より大きいか否かを判定する。具体的には、例えば図３のステップＳ１４、Ｓ１５で得られた物体候補の位置、移動ベクトルから、各物体候補が車両１０に到達するまでの時間ＴＴＣを算出し、その逆数（１／ＴＴＣ）を到達可能性を示す値ＡＲとする。そのＡＲが所定値よりも大きいか否かを判定する。この判定は、言い換えればＴＴＣが所定時間よりも短いか否かを判定することに相当する。図４の監視可能な領域２０を例にとると、ＴＴＣが５秒以下の領域Ｂの中のさらにＴＴＣが小さい（車両１０に近い）領域に位置する物体候補の到達可能性が所定値を超えるように設定される。あるいは、図４の移動ベクトル２１の大きさが所定の大きさより大きい場合にその物体候補の到達可能性が所定値を超えていると判定される。
【００３３】
ステップＳ２０の判定がＹｅｓの場合、種別判定の処理を終了して戻る。物体候補と車両１０との衝突可能性が大きいので、種別判定の処理を省略して直ちに先のステップに進み速やかに報知等を行うことが望ましいからである。この判定がＮｏの場合は次のステップＳ２１に進む。
【００３４】
ステップＳ２１において、物体候補が第１領域内に存在するか否かを判定する。ここで第１領域は、車両１０との衝突可能性が比較的大きい領域を意味する。具体的には、例えば物体候補が図４の領域Ｂに存在するか否か、言い換えれば物体候補のＡｒｅａ＿Ｆｌａｇとして２が設定されているか否かを判定する。この判定がＹｅｓの場合は次のステップＳ２２に進み、判定がＮｏの場合はステップＳ２３に進む。
【００３５】
ステップＳ２２において、第１領域内の物体候補に対して第１種別判定をおこなう。第１種別判定は、高演算負荷で判定精度が高い種別判定であり、例えば物体候補が歩行者等の特定の物体に該当するか否かを判定する。その具体的な判定方法は、従来から行われているように、例えば歩行者を対象とする場合は、物体の輝度分散、輝度プロファイル、周期性、または高輝度部分の形状が歩行者の特徴（頭部、肩部、脚部等）に該当するか否か等に応じて歩行者であるか否かを判定する。
【００３６】
ステップＳ２３において、物体候補が第２領域内に存在するか否かを判定する。ここで第２領域は、第１領域に比べて車両１０との衝突可能性が低い領域を意味する。具体的には、例えば物体候補が図４の領域Ａに存在するか否か、言い換えれば物体候補のＡｒｅａ＿Ｆｌａｇとして１が設定されているか否かを判定する。この判定がＹｅｓの場合は次のステップＳ２４に進み、判定がＮｏの場合は処理を終了して戻る。
【００３７】
ステップＳ２４において、第２領域内の物体候補に対して第２種別判定をおこなう。第２種別判定は、第１種別判定よりも低演算負荷で判定精度が低い種別判定であり、言い換えれば第２種別判定は、第１種別判定よりも簡易な判定である。具体的には、例えば演算量を減らすために小さい所定数の登録パターンとのパターンマッチングにより物体候補の種別を判定する。
【００３８】
次に図６の種別判定の処理フローについて説明する。図６の処理フローは図５の処理フローの変形バージョンに当たり、両フローで共通するステップには同じステップ番号を付けている。図６では図５に比べて２つのステップＳ２５、２６が追加されている。ステップＳ２０〜Ｓ２４は図５の場合と同様であるのでここではその内容説明を省略する。
【００３９】
図６のステップＳ２５において、第１領域内に所定数以上の物体候補が存在するか否かを判定する。第１領域の意味は図５のステップＳ２１等の場合と同様であり、具体的には、例えば物体候補が図４の領域Ｂに所定数以上存在するか否か、言い換えればＡｒｅａ＿Ｆｌａｇとして２が設定されている物体候補が所定数以上存在するか否かを判定する。所定数は画像処理ユニット１２のＣＰＵの演算処理能力等に基づき設定する。この判定がＮｏの場合は、ステップＳ２４に進み、図５のステップＳ２４で説明した第２領域内の物体候補に対して第２種別判定をおこなう。
【００４０】
ステップＳ２５の判定がＹｅｓの場合、次のステップＳ２６において、第２領域内の物体候補に対して第３種別判定をおこなうか、あるいは当該判定を省略して終了する。ここで第３種別判定は、第２種別判定よりも低演算負荷で判定精度が低い種別判定であり、より小さい所定数（例えば１、２）の登録パターン（例えば歩行者のみ）とのパターンマッチングにより物体候補の種別を判定する。この判定を採用することにより、衝突の危険性の大きな第１領域内に複数の物体が存在する場合、その種別処理に演算負荷を集中させて早くその画像処理を進めることができる。その結果、運転者への迅速な報知が可能となり、車両と物体との衝突の危険性をより低くすることが可能となる。
【００４１】
図３に戻って、ステップＳ１７において、検知された、言い換えれば種別判定された物体の信頼性を判定する。具体的には、過去の種別判定が正しかった、言い換えれば検知すべき物体（例えば歩行者）であると判断された回数や人工構造物あるいは車両と判定された回数から種別判定された物体の信頼性を判定する。
【００４２】
次のステップＳ１８において、運転者への報知レベルを判定し報知手段であるスピーカ１４または表示装置１６に制御信号を送る。図７は、本発明の一実施例に従う、検出領域と報知レベルとの関係を示す図（表）である。図７のＩｎｆｏ＿Ｆｌａｇが報知の内容を示すフラグであり、Ａｒｅａ＿Ｆｌａｇは図４で設定された位置を示すフラグである。
【００４３】
Ａｒｅａ＿Ｆｌａｇが２または３である場合、衝突の危険性が大きいので、Ｉｎｆｏ＿Ｆｌａｇとして２を設定し、スピーカ１４によって、運転者に注意を喚起するための音（警報）を発する内容の報知判定をおこなう。Ａｒｅａ＿Ｆｌａｇが１である場合、Ｉｎｆｏ＿Ｆｌａｇとして１を設定し、表示装置１６に表示された所定の物体画像に枠を付ける内容の報知判定をおこなう。Ａｒｅａ＿Ｆｌａｇが４ある場合は、物体が車両に向かってくる場合についてのみその物体画像に枠を付ける内容の報知判定をおこなう。このように、物体の位置が図４のＺ方向としては同じ位置にあってもＸ方向での位置の違いにより報知（警告）の内容を切り替える。なお、枠を付ける代わりに、あるいは枠に加えて他の強調表示（高輝度化、点滅、色表示等）を行う内容の判定をおこなってもよい。
【００４４】
次に図８と図９を参照して、本発明の一実施例に従う、画像処理ユニットによる処理フローの他の例について説明する。
【００４５】
図８の処理フローでは、図３の処理フローと較べて、ステップＳ１５とＳ１６の間に判定ステップＳ１５０を追加したことが相違しており、他のステップは図３と同様である。図８のステップＳ１５０において、位置が判定され、あるいは移動ベクトルが得られた物体候補の検知が過去の、すなわち所定回数前の検知サイクル（処理サイクル）において既に確定しているか、言い換えれば既に当該物体についての種別判定が確定しているか否かを判定する。この判定がＹｅｓの場合、ステップＳ１６〜Ｓ１８をスキップして処理を終了する（符号２２）。このスキップ処理により、既に種別判定がされている所定の物体について、再度その判定処理をおこなうことを回避して、ＣＰＵの演算負荷を軽減することが可能となる。
【００４６】
図９の処理フローでは、図３の処理フローと較べて、ステップＳ１４を２つのステップＳ１４０、１４４に分けて、両ステップの間に判定ステップＳ１４２を追加し、さらに図８の場合と同様にステップＳ１５とＳ１６の間に判定ステップＳ１５０を追加したことが相違しており、他のステップは図３と同様である。
【００４７】
図９のステップＳ１４０において、物体候補の位置判定１をおこなう。ここで、位置判定1は物体候補が図４の領域Ａ、ＣまたはＤに存在するか、言い換えればＡｒｅａ＿Ｆｌａｇが１または４の設定がされるかの判定をおこなう。すなわち、最初に物体候補が車両１０との衝突の危険性が低い領域に存在するか否かを判定する。
【００４８】
次のステップＳ１４２において、位置判定がされた物体候補に関して、過去の所定時間（所定検知サイクル）内に音による報知（警告）がされているか否かを判定する。この判定がＹｅｓの場合、以降のステップを全てスキップして処理を終了する（符号２３）。これは、既に所定時間内に音による報知がされているので、運転者が対象物に対する注意を行っている状態であると考えられ、また、警報が連続することによる煩わしさを低減するためである。これにより、運転者への警報を最適化するとともにＣＰＵの演算負荷を軽減することが可能となる。
【００４９】
ステップＳ１４２の判定がＮｏの場合、次のステップＳ１４４において、物体候補の位置判定２をおこなう。ここで、位置判定２は物体候補が図４の領域Ａに存在する場合に、すなわちＡｒｅａ＿Ｆｌａｇの１が設定されている場合に、領域Ｂに物体候補が存在するか、言い換えればＡｒｅａ＿Ｆｌａｇが２の設定がされるかの判定をおこなう。すなわち、物体候補が車両１０との衝突の危険性が大きい領域に存在するか否かを判定する。
【００５０】
次のステップＳ１５以降は図８の場合と同様であり、ステップＳ１５０において物体候補の検知の確定の有無を判定し、その判定がＹｅｓの場合、ステップＳ１６〜Ｓ１８をスキップして処理を終了する（符号２３）。
【００５１】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【００５２】
例えば、上述した実施例では、図４の監視可能領域をＡ〜Ｄの４つの領域に分けているが、その分け方はこれに限られず、Ｚ方向において３分割する等の分け方を採用してもよい。また、Ｘ方向での距離が遠い（図４のＣとＤの領域）程、演算負荷が小さく（精度が低く）なるようにしてもよい。
【符号の説明】
【００５３】
１Ｒ、１Ｌ 赤外線カメラ
２ 表示画面（ＨＵＤ）
１０ 車両
１２ 画像処理ユニット
１４ スピーカ
１６ 表示装置
２０ 赤外線カメラによる監視可能な領域
【技術分野】
【０００１】
本発明は、車両の周辺監視装置に関し、より具体的には、車両に搭載された撮像手段により得られる画像から、歩行者を含む車両の周辺の対象物を検出して運転者に知らせるための車両の周辺監視装置に関する。
【背景技術】
【０００２】
特許文献１は、車両に搭載された撮像手段により得られる画像から、当該車両に衝突するおそれのある対象物を検出するために、当該車両の周辺を監視する周辺監視装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５１５９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の周辺監視装置では、歩行者等の対象物を検出した場合に、表示画面上の検出対象物に対して、それを運転者等に分かりやすく認知させるために、枠を付与したり、その枠の色を可変したり、あるいは警告音発生等によりその存在を強調している。
【０００５】
しかし、特許文献１等の従来の周辺監視装置では、検出した対象物の位置に応じて枠色を可変させる、あるいは警告音を発生させる場合、対象物の検出状況、すなわち所定のタイミングでの過去の検出において既に枠が付与されている状態なのか、あるいは警告音が発生されている状態なのか等に関わらず同一の画像処理を実施している。そのため、特に複数の処理を並行して行わなければならいような状況下では、その処理に必要な演算量が圧迫されるおそれがあった。
【０００６】
そこで、本発明は、この従来技術の問題を軽減あるいは解消すること、すなわち、車両の周辺監視装置における対象物の検出状態に応じて、適時画像処理を最適に制御し、その検出精度を維持しながら画像処理の演算負荷を軽減させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、車両の周辺の画像を取得する撮像手段と、撮像手段により取得された画像から車両の周辺の物体を特定する物体特定手段と、物体の移動ベクトルを算出する移動ベクトル算出手段と、物体の種別を判定する種別判定手段と、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える。その種別判定手段は、（ｉ）物体が、車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）物体が、その到達時間が所定時間よりも大きい第２領域に存在する場合、第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう。
【０００８】
本発明によれば、車両から比較的近傍の物体の種別判定精度を上げると同時に、比較的遠い物体の種別判定の演算負荷を下げることにより、車両周辺の所定の物体の検出精度を高く維持しながら画像処理全体の演算負荷を軽減することが可能となる。
【０００９】
本発明の一形態によると、種別判定手段は、第１および第２領域に物体が存在し、かつ第１領域に所定数以上の物体が存在する場合、第２領域に存在する物体に対する第２種別判定をおこなわない、あるいは第２種別判定よりも低演算負荷で判定精度が低い第３種別判定をおこなう。
【００１０】
本発明の一形態によれば、比較的近傍の複数の物体の種別判定に演算負荷を集中させてその検出精度を上げると同時に、画像処理全体の演算負荷を軽減することが可能となる。
【００１１】
本発明の一形態によると、物体に対する到達時間および移動ベクトルから当該物体が車両に到達する可能性が所定値以上であると判定される場合、種別判定手段は当該物体に対する種別の判定をおこなわない。
【００１２】
本発明の一形態によれば、車両への接近可能性の大きい物体が検出された場合、その種別判定をおこなうことなく迅速に運転者に警告等による報知をおこなうことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。
【図２】本発明の一実施例に従う、赤外線カメラの取り付け位置を説明するための図である。
【図３】本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。
【図４】本発明の一実施例に従う、車両前方の検出領域を説明するための図である。
【図５】本発明の一実施例に従う、種別判定の処理フローを示す図である。
【図６】本発明の一実施例に従う、別の種別判定の処理フローを示す図である。
【図７】本発明の一実施例に従う、検出領域と報知レベルとの関係を示す図（表）である。
【図８】本発明の一実施例に従う、別の画像処理ユニットにおける処理フローを示す図である。
【図９】本発明の一実施例に従う、別の画像処理ユニットにおける処理フローを示す図である。
【発明を実施するための形態】
【００１４】
図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、赤外線カメラ１Ｒ、１Ｌと、赤外線カメラ１Ｒ、１Ｌによって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１２と、その検出結果に基づいて音または音声で警報を発生するスピーカ１４と、赤外線カメラの撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１６とを備える。なお、ナビゲーション装置を備える車両においては、スピーカ１４および表示装置１６として、ナビゲーション装置が備える該当機能を利用してもよい。また、赤外線カメラの代わりに他の波長帯（可視光等）を利用するカメラ（ＣＣＤカメラ等）を用いてもよい。
【００１５】
図１の画像処理ユニット１２は、その構成（機能）としてブロック１２１〜１２４で示される機能を有する。すなわち、画像処理ユニット１２は、赤外線カメラ１Ｒ、１Ｌにより取得された画像から車両の周辺の物体を特定する物体特定手段１２１と、物体の移動ベクトルを算出する移動ベクトル算出手段１２２と、物体の種別を判定する種別判定手段１２３と、スピーカ１４および表示装置１６による報知レベルを判定する手段１２４として機能する。報知レベル判定手段１２４は、物体が所定対象物でありかつ車両と物体とが所定の位置関係にある場合に運転者に報知をおこなうようにスピーカ１４および表示装置１６を制御する。
【００１６】
各ブロックの機能は、画像処理ユニット１２が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１２の構成は、ナビゲーション装置の中に組み込んでもよい。
【００１７】
画像処理ユニット１２は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１４に対する駆動信号および表示装置１６に対する表示信号などを出力する出力回路を備えている。赤外線カメラ１Ｒ、１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。
【００１８】
図２は、本発明の一実施例に従う、図１に示した赤外線カメラの取り付け位置を説明するための図である。赤外線カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対称な位置に配置され、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。図２の符号２は、表示装置１６としてヘッドアップディスプレイ（以下「ＨＵＤ」という）を用いた場合の表示画面を示している。ＨＵＤは、図に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面２が表示されるように設けられる。
【００１９】
図３は、本発明の一実施例に従う、画像処理ユニット１２によって実行される処理フローである。この処理フローは、画像処理ユニット１２のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を２値化して白黒画像を得る場合を例にとり説明しているが、３値以上の多値化をしてもよい。その場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。
【００２０】
ステップＳ１０において、赤外線カメラ２Ｒ、２Ｌから出力される赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像をメモリに格納する。なお、ステップＳ１０においては、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という）とが取得される。
【００２１】
ステップＳ１１において、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。ステップＳ１２において、最初に２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。次に、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ラベリングした画像部分を物体の画像候補として抽出する。
【００２２】
次のステップＳ１３において、車両と物体候補との距離を算出する。具体的には、例えば以下のように算出する。
【００２３】
最初に、各物体の画像候補の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。次に、所定のサンプリング周期毎に赤外線カメラ２Ｒ、２Ｌにより撮像された画像に基づく２値画像から抽出された物体の画像について同一性判定を行い、同一の物体の画像であると判定された画像の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。同時に、車速センサにより検出される車速及びヨーレートセンサにより検出されるヨーレートを読み込み、ヨーレートを時間積分することにより、車両１０の回頭角を算出する。
【００２４】
さらに、基準画像（右画像）の２値画像によって追跡される物体の画像候補の中の一つを選択して、右画像のグレースケール画像から探索画像Ｒ１（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。そして、左画像のグレースケール画像から探索画像Ｒ１に対応する画像（以下、対応画像Ｒ１´という）を探索する探索領域を設定し、探索画像Ｒ１との相間演算を実行して対応画像Ｒ１´を抽出する。そして、探索画像Ｒ１の重心位置と対応画像Ｒ１´の重心位置との差を視差量（画素数）として算出し、得られた視差量に基づいて車両１０と物体候補との距離ｚを算出する。同時に、探索画像の座標（ｘ、ｙ）と距離ｚを、実空間座標（Ｘ、Ｙ、Ｚ）に変換して、探索画像に対応する実空間位置の座標を算出する。なお、実空間座標（Ｘ、Ｙ、Ｚ）は、図２の赤外線カメラ２Ｒ、２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方方向に設定される。
【００２５】
次のステップＳ１４において、物体候補の位置判定をおこなう。図４は、本発明の一実施例に従う、車両前方の検出領域を説明するための図である。図４の三角形の領域２０は、車両１０の赤外線カメラ２Ｒ、２Ｌで監視可能な領域を示す。領域２０は、４つの領域Ａ〜Ｄに区分けされている。
【００２６】
領域ＡとＢは、路上領域であり、車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、言い換えれば車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域である。この領域Ａ、Ｂは、物体候補がそのまま存在し続ければ衝突の可能性が高い領域である。
【００２７】
領域ＡとＢは、物体候補が車両１０に到達するまでの時間ＴＴＣ（秒）が所定時間Ｔ１（秒）以上か以下かを基準に区分けしてある。領域ＣとＤは、いずれも路側領域である。この領域Ｃ、Ｄは、領域Ａ、ＢよりＸ座標の絶対値が大きい（領域Ａ、Ｂの横方向外側の）領域であり、この領域内にある物体候補については、後述する車両１０へ向けての侵入衝突の可能性のある領域である。
【００２８】
ステップＳ１３において得られた物体候補の距離および実空間座標（Ｘ、Ｙ、Ｚ）を図４の監視可能な領域に適用して、物体候補が領域２０のＡ〜Ｄのいずれの領域に位置するかを判定する。その際、例えば最初に路上領域である領域（Ａ＋Ｂ）または路側領域である領域（Ｃ＋Ｄ）のいずれにあるか否かを判定する。次に路上領域（Ａ＋Ｂ）にある場合、領域ＡまたはＢのいずれにあるかを判定する。判定結果に応じてフラグを設定する。例えば、図４に例示されるように、領域Ａ、ＢＣ、Ｄのいずれかに位置するかによって、Ａｒｅａ＿Ｆｌａｇとしてそれぞれ１、２、４、４を設定する。
【００２９】
次のステップＳ１５において、物体候補の移動ベクトルを算出する。具体的には、最初に車両１０が回頭することによる画像上の位置ずれを補正する回頭角補正を行う。次に、所定のモニタ期間内に撮像された複数の画像から得られた回頭角補正後の同一の物体候補の実空間位置の時系列データから、物体候補と車両１０との相対的な移動ベクトルを算出する。なお、実空間座標（Ｘ、Ｙ、Ｚ）及び移動ベクトルの具体的な算出方法については、例えば特開２００４−３０３２１９号公報に詳説されているので、ここでは説明を省略する。
【００３０】
算出された移動ベクトルが図４の領域Ｃ、Ｄ内を起点とし車両１０の方向に向かっている場合、車両１０へ向けての侵入衝突の可能性があるので、フラグを設定する。例えば、図４の符号２１で指示されるベクトルのように、対象となる物体候補の移動ベクトルについてＡｒｅａ＿Ｆｌａｇとして３を設定する。
【００３１】
次のステップＳ１６において、物体候補の種別判定をおこなう。図５と図６を参照しながら種別判定について説明する。図５及び図６は、本発明の一実施例に従う、種別判定の処理フローを示す図である。
【００３２】
図５のステップＳ２０において、物体候補の車両１０への到達可能性が所定値より大きいか否かを判定する。具体的には、例えば図３のステップＳ１４、Ｓ１５で得られた物体候補の位置、移動ベクトルから、各物体候補が車両１０に到達するまでの時間ＴＴＣを算出し、その逆数（１／ＴＴＣ）を到達可能性を示す値ＡＲとする。そのＡＲが所定値よりも大きいか否かを判定する。この判定は、言い換えればＴＴＣが所定時間よりも短いか否かを判定することに相当する。図４の監視可能な領域２０を例にとると、ＴＴＣが５秒以下の領域Ｂの中のさらにＴＴＣが小さい（車両１０に近い）領域に位置する物体候補の到達可能性が所定値を超えるように設定される。あるいは、図４の移動ベクトル２１の大きさが所定の大きさより大きい場合にその物体候補の到達可能性が所定値を超えていると判定される。
【００３３】
ステップＳ２０の判定がＹｅｓの場合、種別判定の処理を終了して戻る。物体候補と車両１０との衝突可能性が大きいので、種別判定の処理を省略して直ちに先のステップに進み速やかに報知等を行うことが望ましいからである。この判定がＮｏの場合は次のステップＳ２１に進む。
【００３４】
ステップＳ２１において、物体候補が第１領域内に存在するか否かを判定する。ここで第１領域は、車両１０との衝突可能性が比較的大きい領域を意味する。具体的には、例えば物体候補が図４の領域Ｂに存在するか否か、言い換えれば物体候補のＡｒｅａ＿Ｆｌａｇとして２が設定されているか否かを判定する。この判定がＹｅｓの場合は次のステップＳ２２に進み、判定がＮｏの場合はステップＳ２３に進む。
【００３５】
ステップＳ２２において、第１領域内の物体候補に対して第１種別判定をおこなう。第１種別判定は、高演算負荷で判定精度が高い種別判定であり、例えば物体候補が歩行者等の特定の物体に該当するか否かを判定する。その具体的な判定方法は、従来から行われているように、例えば歩行者を対象とする場合は、物体の輝度分散、輝度プロファイル、周期性、または高輝度部分の形状が歩行者の特徴（頭部、肩部、脚部等）に該当するか否か等に応じて歩行者であるか否かを判定する。
【００３６】
ステップＳ２３において、物体候補が第２領域内に存在するか否かを判定する。ここで第２領域は、第１領域に比べて車両１０との衝突可能性が低い領域を意味する。具体的には、例えば物体候補が図４の領域Ａに存在するか否か、言い換えれば物体候補のＡｒｅａ＿Ｆｌａｇとして１が設定されているか否かを判定する。この判定がＹｅｓの場合は次のステップＳ２４に進み、判定がＮｏの場合は処理を終了して戻る。
【００３７】
ステップＳ２４において、第２領域内の物体候補に対して第２種別判定をおこなう。第２種別判定は、第１種別判定よりも低演算負荷で判定精度が低い種別判定であり、言い換えれば第２種別判定は、第１種別判定よりも簡易な判定である。具体的には、例えば演算量を減らすために小さい所定数の登録パターンとのパターンマッチングにより物体候補の種別を判定する。
【００３８】
次に図６の種別判定の処理フローについて説明する。図６の処理フローは図５の処理フローの変形バージョンに当たり、両フローで共通するステップには同じステップ番号を付けている。図６では図５に比べて２つのステップＳ２５、２６が追加されている。ステップＳ２０〜Ｓ２４は図５の場合と同様であるのでここではその内容説明を省略する。
【００３９】
図６のステップＳ２５において、第１領域内に所定数以上の物体候補が存在するか否かを判定する。第１領域の意味は図５のステップＳ２１等の場合と同様であり、具体的には、例えば物体候補が図４の領域Ｂに所定数以上存在するか否か、言い換えればＡｒｅａ＿Ｆｌａｇとして２が設定されている物体候補が所定数以上存在するか否かを判定する。所定数は画像処理ユニット１２のＣＰＵの演算処理能力等に基づき設定する。この判定がＮｏの場合は、ステップＳ２４に進み、図５のステップＳ２４で説明した第２領域内の物体候補に対して第２種別判定をおこなう。
【００４０】
ステップＳ２５の判定がＹｅｓの場合、次のステップＳ２６において、第２領域内の物体候補に対して第３種別判定をおこなうか、あるいは当該判定を省略して終了する。ここで第３種別判定は、第２種別判定よりも低演算負荷で判定精度が低い種別判定であり、より小さい所定数（例えば１、２）の登録パターン（例えば歩行者のみ）とのパターンマッチングにより物体候補の種別を判定する。この判定を採用することにより、衝突の危険性の大きな第１領域内に複数の物体が存在する場合、その種別処理に演算負荷を集中させて早くその画像処理を進めることができる。その結果、運転者への迅速な報知が可能となり、車両と物体との衝突の危険性をより低くすることが可能となる。
【００４１】
図３に戻って、ステップＳ１７において、検知された、言い換えれば種別判定された物体の信頼性を判定する。具体的には、過去の種別判定が正しかった、言い換えれば検知すべき物体（例えば歩行者）であると判断された回数や人工構造物あるいは車両と判定された回数から種別判定された物体の信頼性を判定する。
【００４２】
次のステップＳ１８において、運転者への報知レベルを判定し報知手段であるスピーカ１４または表示装置１６に制御信号を送る。図７は、本発明の一実施例に従う、検出領域と報知レベルとの関係を示す図（表）である。図７のＩｎｆｏ＿Ｆｌａｇが報知の内容を示すフラグであり、Ａｒｅａ＿Ｆｌａｇは図４で設定された位置を示すフラグである。
【００４３】
Ａｒｅａ＿Ｆｌａｇが２または３である場合、衝突の危険性が大きいので、Ｉｎｆｏ＿Ｆｌａｇとして２を設定し、スピーカ１４によって、運転者に注意を喚起するための音（警報）を発する内容の報知判定をおこなう。Ａｒｅａ＿Ｆｌａｇが１である場合、Ｉｎｆｏ＿Ｆｌａｇとして１を設定し、表示装置１６に表示された所定の物体画像に枠を付ける内容の報知判定をおこなう。Ａｒｅａ＿Ｆｌａｇが４ある場合は、物体が車両に向かってくる場合についてのみその物体画像に枠を付ける内容の報知判定をおこなう。このように、物体の位置が図４のＺ方向としては同じ位置にあってもＸ方向での位置の違いにより報知（警告）の内容を切り替える。なお、枠を付ける代わりに、あるいは枠に加えて他の強調表示（高輝度化、点滅、色表示等）を行う内容の判定をおこなってもよい。
【００４４】
次に図８と図９を参照して、本発明の一実施例に従う、画像処理ユニットによる処理フローの他の例について説明する。
【００４５】
図８の処理フローでは、図３の処理フローと較べて、ステップＳ１５とＳ１６の間に判定ステップＳ１５０を追加したことが相違しており、他のステップは図３と同様である。図８のステップＳ１５０において、位置が判定され、あるいは移動ベクトルが得られた物体候補の検知が過去の、すなわち所定回数前の検知サイクル（処理サイクル）において既に確定しているか、言い換えれば既に当該物体についての種別判定が確定しているか否かを判定する。この判定がＹｅｓの場合、ステップＳ１６〜Ｓ１８をスキップして処理を終了する（符号２２）。このスキップ処理により、既に種別判定がされている所定の物体について、再度その判定処理をおこなうことを回避して、ＣＰＵの演算負荷を軽減することが可能となる。
【００４６】
図９の処理フローでは、図３の処理フローと較べて、ステップＳ１４を２つのステップＳ１４０、１４４に分けて、両ステップの間に判定ステップＳ１４２を追加し、さらに図８の場合と同様にステップＳ１５とＳ１６の間に判定ステップＳ１５０を追加したことが相違しており、他のステップは図３と同様である。
【００４７】
図９のステップＳ１４０において、物体候補の位置判定１をおこなう。ここで、位置判定1は物体候補が図４の領域Ａ、ＣまたはＤに存在するか、言い換えればＡｒｅａ＿Ｆｌａｇが１または４の設定がされるかの判定をおこなう。すなわち、最初に物体候補が車両１０との衝突の危険性が低い領域に存在するか否かを判定する。
【００４８】
次のステップＳ１４２において、位置判定がされた物体候補に関して、過去の所定時間（所定検知サイクル）内に音による報知（警告）がされているか否かを判定する。この判定がＹｅｓの場合、以降のステップを全てスキップして処理を終了する（符号２３）。これは、既に所定時間内に音による報知がされているので、運転者が対象物に対する注意を行っている状態であると考えられ、また、警報が連続することによる煩わしさを低減するためである。これにより、運転者への警報を最適化するとともにＣＰＵの演算負荷を軽減することが可能となる。
【００４９】
ステップＳ１４２の判定がＮｏの場合、次のステップＳ１４４において、物体候補の位置判定２をおこなう。ここで、位置判定２は物体候補が図４の領域Ａに存在する場合に、すなわちＡｒｅａ＿Ｆｌａｇの１が設定されている場合に、領域Ｂに物体候補が存在するか、言い換えればＡｒｅａ＿Ｆｌａｇが２の設定がされるかの判定をおこなう。すなわち、物体候補が車両１０との衝突の危険性が大きい領域に存在するか否かを判定する。
【００５０】
次のステップＳ１５以降は図８の場合と同様であり、ステップＳ１５０において物体候補の検知の確定の有無を判定し、その判定がＹｅｓの場合、ステップＳ１６〜Ｓ１８をスキップして処理を終了する（符号２３）。
【００５１】
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。
【００５２】
例えば、上述した実施例では、図４の監視可能領域をＡ〜Ｄの４つの領域に分けているが、その分け方はこれに限られず、Ｚ方向において３分割する等の分け方を採用してもよい。また、Ｘ方向での距離が遠い（図４のＣとＤの領域）程、演算負荷が小さく（精度が低く）なるようにしてもよい。
【符号の説明】
【００５３】
１Ｒ、１Ｌ 赤外線カメラ
２ 表示画面（ＨＵＤ）
１０ 車両
１２ 画像処理ユニット
１４ スピーカ
１６ 表示装置
２０ 赤外線カメラによる監視可能な領域
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得された画像から該車両の周辺の物体を特定する物体特定手段と、
前記物体の移動ベクトルを算出する移動ベクトル算出手段と、
前記物体の種別を判定する種別判定手段と、
前記物体が所定対象物でありかつ前記車両と前記物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える車両の周辺監視装置であって、
前記種別判定手段は、（ｉ）前記物体が、前記車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）前記物体が、前記到達時間が所定時間よりも大きい第２領域に存在する場合、前記第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう、車両の周辺監視装置。
【請求項２】
前記種別判定手段は、前記第１および第２領域に物体が存在し、かつ前記第１領域に所定数以上の物体が存在する場合、前記第２領域に存在する物体に対する前記第２種別判定をおこなわない、あるいは前記第２種別判定よりも低演算負荷で判定精度が低い第３種別判定をおこなう、請求項１に記載の周辺監視装置。
【請求項３】
前記物体に対する前記到達時間および前記移動ベクトルから当該物体が前記車両に到達する可能性が所定値以上であると判定される場合、前記種別判定手段は当該物体に対する種別の判定をおこなわない、請求項１または２に記載の周辺監視装置。
【請求項１】
車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
前記撮像手段により取得された画像から該車両の周辺の物体を特定する物体特定手段と、
前記物体の移動ベクトルを算出する移動ベクトル算出手段と、
前記物体の種別を判定する種別判定手段と、
前記物体が所定対象物でありかつ前記車両と前記物体とが所定の位置関係にある場合に運転者に報知をおこなう報知手段と、を備える車両の周辺監視装置であって、
前記種別判定手段は、（ｉ）前記物体が、前記車両に到達するまでの到達時間が所定時間以下である第１領域に存在する場合、高演算負荷で判定精度が高い第１種別判定をおこない、（ｉｉ）前記物体が、前記到達時間が所定時間よりも大きい第２領域に存在する場合、前記第１種別判定よりも低演算負荷で判定精度が低い第２種別判定をおこなう、車両の周辺監視装置。
【請求項２】
前記種別判定手段は、前記第１および第２領域に物体が存在し、かつ前記第１領域に所定数以上の物体が存在する場合、前記第２領域に存在する物体に対する前記第２種別判定をおこなわない、あるいは前記第２種別判定よりも低演算負荷で判定精度が低い第３種別判定をおこなう、請求項１に記載の周辺監視装置。
【請求項３】
前記物体に対する前記到達時間および前記移動ベクトルから当該物体が前記車両に到達する可能性が所定値以上であると判定される場合、前記種別判定手段は当該物体に対する種別の判定をおこなわない、請求項１または２に記載の周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２４８６４０（Ｐ２０１１−２４８６４０Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２１３５９（Ｐ２０１０−１２１３５９）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]