説明

車両の周辺監視装置

【課題】効率的に検出すべき対象物を判定する。
【解決手段】車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置は、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、車両が走行している位置を検出する手段と、該検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、取得された特徴に基づいて、起動すべき判定処理を選択する選択手段と、撮像画像から抽出された対象物に対し、該選択した判定処理を実行して、該対象物を判定する手段と、を備える。上記特徴は、一実施例では、該位置の存在する道路の種別を表し、他の実施例では、該位置の存在する地域が、所定の条件を満たす街であるか否かを表す。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の対象物を判定する処理を必要に応じて実行する装置に関する。
【背景技術】
【0002】
車両の周辺には、歩行者、電柱や壁等の人工構造物などが存在しており、このような対象物は、車両の走行に影響を与えるおそれがあるため、従来、赤外線カメラを車両に搭載し、該カメラにより撮像された車両周辺の撮像画像から対象物を検出し、その検出結果を車両の運転者に提供する装置が提案されている。また、車両の周辺には、鹿などの動物が存在することもあり、最近では、このような動物を他の対象物と区別して検出する手法も提案されている。たとえば、下記の特許文献1には、動物を検出する手法が開示されており、この手法によると、動物を表す所定形状の対象物を撮像画像から抽出することにより、動物を検出している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−310705号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
歩行者および動物などの生体は、人工構造物に比べて通常高温であるため、赤外線カメラを用いれば、これらの生体を人工構造物から、ある程度区別して検出することができる。しかしながら、より高い精度でこれらの対象物を区別して判定するには、別個の対象物判定アルゴリズムが必要とされる。すなわち、歩行者用の判定アルゴリズム、動物用の判定アルゴリズムおよび人工構造物用の判定アルゴリズムが用意され、撮像された画像から抽出された対象物に対して、これらの判定アルゴリズムが適用される。より高い判定精度を実現しようとするほど、これらの判定アルゴリズムは複雑になると共に、その規模は増大する。その結果、処理負荷が大きくなり、処理効率が低下するおそれがある。
【0005】
したがって、上記のような処理負荷の増大を抑制し、より効率的に、検出すべき対象物を判定することができる装置が所望されている。
【課題を解決するための手段】
【0006】
この発明の一つの側面によると、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置には、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、該装置は、前記車両が走行している位置を検出する手段と、前記検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、取得された前記特徴に基づいて、起動すべき前記判定処理を選択する選択手段と、前記撮像画像から抽出された対象物に対し、前記選択した判定処理を実行して、該対象物を判定する手段と、を備える。
【0007】
場所によっては、存在する対象物の種類が限られており、それをある程度予測することができる。この発明は、この知見に鑑みてなされたものであり、車両の現在の位置が存在する道路および地域の少なくとも一方に関する特徴に基づいて、起動すべき判定処理を選択する。したがって、予め用意されたすべての判定処理を実行する必要がなく、車両の現在位置の特徴に適合した判定処理のみを実行すればよいので、処理負荷の低減を図ることができる。また、その位置に存在する可能性のある対象物についての判定処理のみが行われるので、対象物の誤検出を抑制することができ、対象物の判定精度をより向上させることができる。
【0008】
この発明の一実施形態によると、前記特徴は、前記検出された位置の存在する道路の種別を表しており、前記選択手段は、該道路の種別が、高速道路を表しているか否かに従って、前記起動すべき判定処理を選択する。
【0009】
高速道路に存在しうる対象物は、通常限られる。たとえば歩行者は、通常、高速道路上には存在しない。したがって、高速道路を走行している間は、歩行者を判定する処理をスキップすることができ、これにより、処理負荷を低減することができる。また、高速道路に存在しうる対象物についての判定処理のみを行うので、対象物の誤検出を抑制することができ、対象物の判定精度を向上させることができる。
【0010】
この発明の一実施形態によると、前記特徴は、前記検出された位置の存在する地域が、所定の条件を満たす街であるか否かを表しており、前記検出された位置の存在する地域が前記街でないことを前記特徴が表しているならば、前記選択手段は、動物を判定するための前記判定処理を選択する。
【0011】
対象物によっては、存在しうる場所が通常限られる。たとえば、鹿等の大型の動物は、通常、人口がある程度存在する街には出没せず、たとえば山道のような道路に出没する。したがって、本願発明によれば、このような街以外の場所を走行している間のみ、動物を判定する処理を実行する。こうすることにより、処理負荷を低減することができる。また、動物が存在する可能性の高い場所で動物の判定処理を行うので、動物の誤検出を抑制することができ、動物の判定精度を上げることができる。
【0012】
この発明の一実施形態によると、取得された前記特徴に基づいて、人工構造物を判定するための前記判定処理を変更する手段をさらに備える。
【0013】
人工構造物の種類は多岐にわたり、すべての人工構造物を、より良好な精度で判定しようとすると、該人工構造物の種類毎にアルゴリズムを用意して実行する必要がある。他方、存在しうる人工構造物の種類や形状は、道路や地域によって限られることがある。たとえば、高速道路では、郵便ポストのような人工構造物は存在しない。本願発明によれば、車両の現在位置の存在する道路および地域の少なくとも一方に関する特徴に応じて人工構造物の判定処理を変更するので、存在する可能性の低い種類の人工構造物の判定処理を実行する必要がなく、よって処理負荷を低減することができる。また、存在する可能性の高い種類の人工構造物のみについて判定処理を行うことができるので、人工構造物の誤検出を抑制することができ、人工構造物の判定精度を向上させることができる。
【0014】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【0015】
【図1】この発明の一実施例に従う、周辺監視装置の構成を示すブロック図。
【図2】この発明の一実施例に従う、カメラの取り付け位置を説明するための図。
【図3】この発明の一実施例に従う、道路の種別および(または)「街」かどうかの情報に基づいて、起動すべき対象物の判定処理の切り替えを説明するための図。
【図4】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図5】この発明の第1の実施例に従う、対象物判定プロセスを示すフローチャート。
【図6】この発明の第2の実施例に従う、対象物判定プロセスを示すフローチャート。
【図7】この発明の第3の実施例に従う、対象物判定プロセスを示すフローチャート。
【図8】この発明の第4の実施例に従う、「街」かどうかをリアルタイムに判定する処理を説明するための図。
【発明を実施するための形態】
【0016】
次に図面を参照してこの発明の実施の形態を説明する。
【0017】
図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。
【0018】
この実施例では、図2に示すように、カメラ1Rおよび1Lは、車両10の前方を撮像するよう、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、対象物の温度が高いほど、その出力信号のレベルが高くなる(すなわち、撮像画像における輝度が大きくなる)特性を有している。
【0019】
画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。
【0020】
さらに、ナビゲーションユニット5が、画像処理ユニット2に接続されている。ナビゲーションユニット5は、たとえば人工衛星を利用して車両10の位置を測定するためのGPS信号を受信し、該GPS信号に基づいて、車両10の現在位置を検出する。ナビゲーションユニット5は、地図情報を記憶する地図情報記憶部7を備える。地図情報記憶部7は、任意の記憶装置(記録媒体やハードディスクドライブなど)に実現されることができる。ナビゲーションユニット5は、地図情報記憶部7に記憶された地図情報を読み出して、所定の表示装置(HUD4でもよい)の表示画面上に表示することができる。
【0021】
ここで、具体的な実施例を述べる前に、図3を参照して本願発明の原理を説明する。なお、以下の説明において、「判定処理」は、赤外線カメラ1R、1Lによって撮像された画像から抽出された対象物が何であるかを判定するための処理である。したがって、動物判定処理は、該対象物が動物かどうかを判定するための処理を示し、歩行者判定処理は、該対象物が歩行者(自転車を運転している人間を含み、以下同様)かどうかを判定するための処理を示す。
【0022】
図3の(a)は、車両が走行している道路の種別に応じて起動する判定処理の種類を示す。高速道路では、歩行者の侵入が禁止されているので、歩行者は通常存在しない。他方、動物は、高速道路が走っている地域によっては出没するおそれがある。また、高速道路以外の道路では、その地域によっては、歩行者も動物も存在しうる。したがって、高速道路を走行しているときには、動物判定処理を実行するが、歩行者判定処理を実行しないようにし、高速道路以外を走行しているときには、動物および歩行者の両方の判定処理を実行する。
【0023】
道路の種別は、ナビゲーションユニット5の地図情報内に、各道路の属性情報として予め設定されている。たとえば、地図情報の道路種別情報は、高速道路、都市高速道路、有料道路、一般道路(国道、県道、その他)等を示す。したがって、車両が現在走行している位置の道路の道路種別情報を地図情報から取得することにより、該道路が高速道路かどうかを判断することができる。この判断に基づいて、起動する判定処理の種類を切り替えればよい。
【0024】
代替的に、地図情報に道路種別情報が設定されていない場合には、地図情報とは別個のテーブルに、各道路について高速道路かどうかを示す情報を設定し(たとえば、高速道路か否かを示すフラグを、各道路の名称に対応づけて設定することができる)、該テーブルをメモリ等の記憶装置に記憶することができる。車両が現在走行している位置の道路の名称を地図情報から取得し、該取得した名称に基づいて該テーブルを参照することにより、道路が高速道路かどうかを判断することができる。
【0025】
図3の(b)は、車両が走行している地域が「街」かどうかに応じて起動する判定処理の種類を示す。「街」は、或る程度の数の人口が存在する場所である。たとえば、東京などの都市部では、歩行者は存在するが、鹿などの大型の動物は、通常存在しない。また、比較的規模の小さい町や村でも、人間が頻繁に存在する場合には、このような大型動物はほとんど出没しない。他方、山道のような人間がほとんど存在しない場所では、このような動物が出没する可能性があり、歩行者等が存在することは少ない。したがって、「街」を走行しているときには、歩行者判定処理を実行し、動物判定処理を実行しないようにし、「街」以外を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。こうして、車両が走行している場所が「街」かどうかに応じて、判定処理の種類を切り替える。
【0026】
「街」は、任意の情報源に基づいて、任意の適切な条件を満たす地域として定義されることができる。たとえば、日本の場合、市区町村の単位で「街」かどうかを決定し、人口密度が所定値以上であれば「街」に分類し、人口密度が該所定値より小さければ、「街」以外に分類することができる。また、人口密度に加え、その地域への就業や通学のための流入人口を考慮してもよい。たとえば、人工密度が該所定値より小さくても、流入人口が所定値以上ならば、その地域には企業等の人間が比較的多く存在しており、よって「街」に分類されることができる。また、通常、ビルや家屋等の建物の数が多いほど、人間が多く存在するため、建物の数が所定値以上であれば「街」に分類し、そうでなければ「街」以外に分類するようにしてもよい。
【0027】
代替的に、所定の動物(たとえば、鹿などの所定の大型動物)について、過去に出没したとの情報、生息地域の情報、およびこれらの動物の出没の可能性を示す標識が設置されている場所の情報等に基づいて、動物が出没する可能性のある地域を特定し、これらの地域については「街」以外に分類し、そうでない地域については「街」に分類するようにしてもよい。
【0028】
こうして、各市区町村に、「街」か否かを示す情報が関連づけられて、地図情報に予め記憶されることができる(たとえば、「街」か否かを示すフラグを、その地名に対して設定する)。代替的に、地図情報とは別個のテーブルに、各市区町村について、街か否かを示す情報(上記のようなフラグでよい)を設定してメモリ等に記憶してもよい。地図情報または該テーブルを参照することにより、車両の走行している場所が「街」に分類されているか否かを判断することができる。
【0029】
上で述べたような、道路の種別を表す情報および「街」かどうかを示す情報を、ユーザが登録することができるようにしてもよい。たとえば、表示装置上に表示された地図情報上で、ユーザが、「街」に分類されるべき市区町村を、たとえばタッチパネルを介して指定し、画像処理ユニット2は、該指定された地域に対し、「街」であることを示すフラグを設定して地図情報に記憶することができる。
【0030】
また、ナビゲーションユニット5の通信機能を利用して、これらの情報をリアルタイムに取得するようにしてもよい。たとえば、車両は、所定のコンピュータ(サーバ等)と通信し、該サーバには、各道路および各市区町村について、道路種別情報および「街」かどうかを示す情報が記憶されている。車両は、車両の現在位置をサーバに送信し、サーバは、該現在位置について設定されているこれらの情報を、車両に知らせることができる。また、既存のVICSシステム等の交通情報を車両に提供するシステムを利用し、該交通情報の一貫として、これらの情報を車両に送信するようにしてもよい。
【0031】
図3の(c)は、図3の(a)および(b)を組み合わせた形態である。すなわち、高速道路であり、かつ「街」を走行しているときには、動物および歩行者のいずれの判定処理も実行しない。高速道路であり、かつ「街」以外の場所を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。高速道路以外の道路であり、かつ「街」を走行しているときには、歩行者判定処理を実行し、動物判定処理を実行しない。高速道路以外の道路であり、かつ「街」以外の場所を走行しているときには、動物判定処理を実行し、歩行者判定処理を実行しない。
【0032】
図3に示すように、車両が走行している現在位置に応じて、起動すべき判定処理の種類を切り替えるので、すべての判定処理(この実施例では、動物と歩行者の両方)を常時実行する必要がない。したがって、画像処理ユニット2の処理負荷を軽減することができる。また、出現する可能性の高い対象物についての判定処理のみを実行し、他の判定処理を実行することによる誤判定を回避することができるので、該対象物を判定する精度を向上させることができる。
【0033】
図4は、この発明の一実施例に従う、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【0034】
ステップS11〜S13において、カメラ1Rおよび1Lの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【0035】
ステップS14において、右画像を基準画像とし(代替的に、左画像を基準画像としてもよい)、その画像信号の2値化を行う。具体的には、予めシミュレーション等によって決定される輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う。この2値化処理により、所定の温度より高い対象物が、白領域として抽出される。
【0036】
ステップS15において、2値化した画像データを、ランレングスデータに変換する。具体的には、2値化により白となった領域について、各画素行の該白領域(ラインと呼ぶ)の開始点(各ラインの左端の画素)の座標と、開始点から終了点(各ラインの右端の画素)までの長さ(画素数で表される)とで、ランレングスデータを表す。たとえば、y座標がy1である画素行における白領域が、(x1,y1)から(x3,y1)までのラインであるとすると、このラインは3画素からなるので、(x1,y1,3)というランレングスデータで表される。
【0037】
ステップS16およびS17において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを合わせて1つの対象物とみなし、これにラベルを付与する。こうして、1または複数の対象物が抽出される。
【0038】
ステップS18において、抽出された対象物が何であるかを判定する対象物判定プロセスを実行する。このプロセスについては、後述される。
【0039】
なお、以上の処理に加え、過去の複数の撮像画像について、同一対象物を追跡(トラッキング)すると共に、対象物への距離を、カメラ1Rおよび1Lの2枚の撮像画像に基づいて算出し、対象物が、車両の周辺の所定範囲に存在するかどうか、および該所定範囲に侵入するおそれがあるかどうかを判定するようにしてもよい。これらの処理の詳細は、たとえば特開2001−006096号公報に記載されている。
【0040】
図5は、この発明の第1の実施例に従う、図4のステップS18で実行される対象物判定プロセスのより詳細なフローを示す。この実施例では、図3(c)を参照して説明した、道路種別の情報と、「街」か否かを示す情報とを用いる。
【0041】
ステップS21において、図4のステップS17で抽出された対象物が人工構造物かどうかを判定する人工構造物判定処理を実行する。この処理において、対象物が人工構造物であると判定されたならば(ステップS21がYes)、ステップS36において、対象物は警報の対象ではないと判定する。
【0042】
人工構造物ではないと判定されたならば(ステップS21がNo)、ステップS22において、ナビゲーションユニット5を介して、車両の現在位置を取得する。ステップS23において、ナビゲーションユニット5の地図情報から、該現在位置の道路の種別を取得する。前述したように、ナビゲーションユニット5の地図情報には、各道路について、その属性情報として道路の種別を表す情報が設定されている。
【0043】
ステップS24において、取得した道路種別情報に基づいて、現在位置の道路が高速道路かどうかを判断する。高速道路ならば(ステップS24がYes)、ステップS25においてフラグRoad_flagに値1を設定し、高速道路でなければ(ステップS24がNo)、ステップS26においてフラグRoad_flagに値2を設定する。
【0044】
ステップS27において、ナビゲーションユニット5の地図情報から、該現在位置が属する地域について設定されている「街」か否かを示す情報を取得する。前述したように、地図情報には、市区町村等の単位で、「街」かどうかを示す情報が設定されている。
【0045】
ステップS28において、取得した「街」か否かを示す情報に基づいて、現在位置の地域が「街」に分類されているかどうかを判断する。
【0046】
「街」であると判断されたならば(ステップS28がYes)、ステップS29においてフラグTown_flagに値1を設定し、「街」ではないと判断されたならば(ステップS28がNo)、ステップS30においてフラグTown_flagに値2を設定する。
【0047】
ステップS31において、Road_flagが値2であり、かつTown_flagが値1であるかどうかを判断する。この判断結果がYesであれば、車両は、高速道路以外の道路であり、かつ「街」である地域を走行中であることを示すので、図3(c)に示されるように、ステップS32において歩行者判定処理を起動し、図4のステップS17で抽出された対象物が歩行者かどうかを判定する。
【0048】
他方、この判断結果がNoであれば、ステップS33において、Road_flagが値1または2であり、かつTown_flagが値2であるかどうかを判断する。この判断結果がYesであれば、車両は、「街」以外の地域を走行中であることを示すので、図3(c)に示されるように、ステップS34において動物判定処理を起動し、図4のステップS17で抽出された対象物が動物かどうかを判定する。
【0049】
ステップS33の判断結果がNoならば、車両は、高速道路であり、かつ「街」である地域を走行中であることを示すので、図3(c)に示されるように、歩行者および動物のいずれの判定処理も実行することなく、ステップS36において、対象物は警報対象物ではないと判定する。
【0050】
ステップS32において歩行者判定処理を実行した結果、抽出された対象物が歩行者ではないと判定された場合、および、ステップS34において動物判定処理を実行した結果、抽出された対象物が動物ではないと判定された場合、ステップS36において、対象物は警報対象物ではないと判定する。
【0051】
他方、ステップS32において歩行者判定処理を実行した結果、抽出された対象物が歩行者であると判定された場合、および、ステップS34において動物判定処理を実行した結果、抽出された対象物が動物であると判定された場合、ステップS35において、対象物は警報対象物であると判定する。
【0052】
対象物が警報対象物であると判定されたならば、運転者に対して警報を出力する。警報は、任意の形態で出力されることができ、たとえば、HUD4の表示画面4a上に撮像画像を表示し、該撮像画像上に撮像されている対象物を強調表示(たとえば、対象物を枠で囲んで表示)することができる。また、このような強調表示に加え、または強調表示に代えて、スピーカ3を介して対象物が存在することを運転者に知らせてもよい。
【0053】
ここで、対象物が人工構造物かどうかを判定する人工構造物判定処理、歩行者かどうかを判定する歩行者判定処理、および動物かどうかを判定する動物判定処理は、任意の適切な手法で実現されることができる。たとえば、人工構造物判定処理については、特開2007−310705号公報、特開2008−276787号公報等に記載されている。たとえば、歩行者判定処理は、特開2007−241740号公報、特開2007−334751号公報等に記載されている。たとえば、動物判定処理は、特開2007−310705号公報、特開2007−310706号公報等に記載されている。
【0054】
こうして、道路の種別に応じて、かつ「街」か否かに応じて、起動すべき判定処理の種類が限られるので、処理負荷を軽減することができる。また、存在する可能性の高い種類の対象物についての判定処理のみを実行するので、判定精度を向上させることができる。また、存在する可能性の低い種類の対象物の判定処理を実行すると、対象物を誤って検出するおそれがあるが、このような誤検出を抑制することができる。
【0055】
なお、図3(c)の代わりに図3(a)を用いる場合には、ステップS27〜S30は必要とされない。ステップS31でRoad_flagの値のみを調べ、これが値1ならば、動物判定処理を実行し(S34)、これが値2ならば、歩行者判定処理を実行すると共に(S32)、動物判定処理を実行する(S34)。なお、値2の場合、歩行者判定処理を先に実行し、対象物が歩行者ではないと判定された場合にのみ動物判定処理を実行するようにしてもよいし、または、動物判定処理を先に実行し、対象物が動物ではないと判定された場合にのみ歩行者判定処理を実行するようにしてもよい。
【0056】
さらに、図3(c)の代わりに図3(b)を用いる場合には、ステップS23〜S26は必要とされない。ステップS31でTown_flagの値のみを調べ、これが値1ならば、歩行者判定処理のみを実行し(S32)、これが値2ならば、動物判定処理のみを実行すればよい(S34)。
【0057】
なお、上で述べた対象物の判定は、典型的には、画像処理ユニット2(図1)のCPUがメモリに予め記憶された対象物判定のプログラムを実行することにより実現される。したがって、「判定処理」は、より具体的には、プログラム中に記述された判定のアルゴリズムを示すが、このアルゴリズムのプログラムへの実装形態は、任意である。すなわち、動物判定のアルゴリズムを、他の歩行者判定等のアルゴリズムとは別のプログラムに実装してもよいし、他の歩行者判定等のプログラムの一部として実装してもよい。いずれの場合にも、「動物判定処理を実行する」とは、動物判定のアルゴリズム部分を実行するということであり、「動物判定処理を実行しない」とは、動物判定のアルゴリズム部分を実行しないということであり、これは、歩行者や人工構造物の判定についても当てはまる。そして、このことは、以下の実施例についても同様である。
【0058】
図6は、この発明の第2の実施例に従う、図4のステップS18で実行される対象物判定プロセスのより詳細なフローである。図5に示す第1の実施例と同じ点は説明を省略し、異なる点のみを説明する。
【0059】
第1の実施例と異なる点は、ステップS41およびS43が設けられている点である。ステップS32の歩行者判定処理において、対象物が歩行者ではないと判定された場合(ステップS32がNo)、第1の実施例では、対象物は警報対象物ではないと判定していたが(S36)、この第2の実施例では、ステップS41において動物判定処理を実行する。また、ステップS34の動物判定処理において、対象物が動物ではないと判定された場合(ステップS34がNo)、第1の実施例では、対象物は警報対象物ではないと判定していたが(S36)、この第2の実施例では、ステップS43において歩行者判定処理を実行する。
【0060】
ここで、ステップS41の動物判定処理は、S34の動物判定処理とは異なっており、S34の方を第1の動物判定処理と呼び、S41の方を第2の動物判定処理と呼ぶ。ステップS41において、第2の動物判定処理を実行した結果、抽出された対象物が動物であると判定したならば(ステップS41がYes)、ステップS35において、対象物は警報対象物であると判定し、抽出された対象物が動物ではないと判定したならば(ステップS41がNo)、ステップS36において、対象物は警報対象物ではないと判定する。
【0061】
また、ステップS43の歩行者判定処理は、S32の歩行者判定処理とは異なっており、S32の方を第1の歩行者判定処理と呼び、S43の方を第2の歩行者判定処理と呼ぶ。ステップS43において、第2の歩行者判定処理を実行した結果、抽出された対象物が歩行者であると判定したならば(ステップS43がYes)、ステップS35において、対象物は警報対象物であると判定し、抽出された対象物が歩行者ではないと判定したならば(ステップS43がNo)、ステップS36において、対象物は警報対象物ではないと判定する。
【0062】
第2の動物判定処理は、そのアルゴリズムの規模が、第1の動物判定処理よりも小さく、よって処理負荷が、第1の動物判定処理に比べて軽減された形態となっている。
【0063】
具体的には、S34の第1の動物判定処理のアルゴリズムが、フルバージョンのアルゴリズムとすると、S41の第2の動物判定処理のアルゴリズムは、該フルバージョンの処理ロジックの一部のみを含んでおり、縮小バージョンとなっている。したがって、第2の動物判定処理のアルゴリズムの規模(プログラムステップ数で計量的に図られることができる)は、第1の動物判定処理のアルゴリズムの規模より小さい。好ましくは、縮小バージョンは、フルバージョンに比べ、動物を判定するための基準がより緩やかになるよう作成される。
【0064】
一例では、第1の動物判定処理(フルバージョンのアルゴリズム)では、形状および大きさの両方の観点から、対象物が動物かどうかを判定する。たとえば、形状判定では、所定の動物をモデル化して予め用意されたテンプレートを、撮像画像から抽出された対象物にマッチングする周知の形状マッチングを行う。大きさ判定では、抽出された対象物の車両からの距離値を算出し(この実施例では、図1に示すように一対のカメラを備えているので、周知の三角測量法等によって距離値を算出することができる)、該距離値に応じて該抽出された対象物の実空間での大きさを算出し、該大きさが、判定すべき所定の動物の大きさを表しているかどうかを判断する。形状マッチングを行った結果の類似度(相関の程度)が所定値より高く、かつ算出された大きさが、判定すべき動物の大きさを表す所定範囲内であれば、抽出された対象物を動物と判定する。
【0065】
他方、第2の動物判定処理(縮小バージョンのアルゴリズム)では、上記のフルバージョンのアルゴリズムのうち、形状判定のみを行い、大きさ判定は行わない。形状マッチングを行った結果の類似度が所定値より高ければ、抽出された対象物は動物であると判定する。
【0066】
フルバージョンと縮小バージョンの上記違いは一例であり、他の形態の違いであってもよい。たとえば、フルバージョンでは、形状判定、大きさ判定に加え、動き判定を取り入れてもよい。動き判定では、たとえば、対象物の移動速度が、判定すべき対象物の移動速度を表す所定範囲内であるかどうかを調べたり、また、対象物の下部を追跡して、足の動きが観測されるかどうかを調べたりすることができる。そして、縮小バージョンでは、形状判定、大きさ判定および動き判定のうちの1つまたは2つの判定を行うようにしてもよい。
【0067】
また、フルバージョンの大きさ判定では、対象物の高さ方向の大きさおよび幅方向の大きさのそれぞれが所定範囲内かどうかを調べるのに対し、縮小バージョンの大きさ判定では、高さ方向および幅方向のいずれか一方の大きさのみを調べるようにしてもよい。さらに、大きさ判定等で用いる閾値を設定するための余裕範囲を、フルバージョンより縮小バージョンの方を広くすることにより、縮小バージョンにおける判定基準を緩めるようにしてもよい。たとえば、フルバージョンでは、対象物の高さが、上限値と下限値との間の所定範囲内にあるかどうかを調べるのに対し、縮小バージョンでは、該所定範囲の大きさをフルバージョンよりも大きく設定したり、また、下限値のみを用いて対象物の高さを調べるようにすることができる。
【0068】
また、第2の歩行者判定処理と第1の歩行者判定処理との関係は、上記動物の場合と同様であり、第2の歩行者判定処理のアルゴリズムの規模は、第1の歩行者判定処理よりも小さく、よって処理負荷が、第1の歩行者判定処理に比べて軽減された形態となっている。具体的には、S32の第1の歩行者判定処理のアルゴリズムが、フルバージョンのアルゴリズムとすると、S43の第2の歩行者判定処理のアルゴリズムは、該フルバージョンの処理ロジックの一部のみを含んでおり、縮小バージョンとなっている。したがって、第2の歩行者判定処理のアルゴリズムの規模は、第1の歩行者判定処理のアルゴリズムの規模より小さい。好ましくは、縮小バージョンは、フルバージョンに比べ、歩行者を判定するための基準がより緩やかになるよう作成される。
【0069】
上記動物で述べた、フルバーションのアルゴリズムと縮小バージョンのアルゴリズムのいくつかの例は、歩行者についても同様に適用されることができ、一例では、第1の歩行者判定処理(フルバージョン)では、形状および大きさの両方の観点から、対象物が歩行者かどうかを判定し、第2の歩行者判定処理(縮小バージョン)では、形状の観点からのみ、対象物が歩行者かどうかを判定する。他の例では、フルバージョンでは、形状、大きさおよび移動速度(歩行速度)の観点から判定し、縮小バージョンでは、そのうちの1または2つの観点から判定する。さらなる他の例では、大きさ判定等において、たとえば閾値の設定を介して、フルバージョンよりも縮小バージョンの判定基準を緩和してもよい。
【0070】
また、歩行者の頭部は、楕円または円形形状で撮像され、検出しやすいという特徴を持つ。したがって、縮小バージョンでは、少なくとも頭部検出を行うことで歩行者を判定し、フルバージョンでは、該頭部検出に加え、他の形状判定、大きさ判定、動き判定のうちの任意のものを行うようにしてもよい。
【0071】
第2の実施例による効果等について説明する。第1の実施例では、歩行者ではないと判定された場合、動物判定を行うことなく、警報対象物ではないと判定している。しかしながら、その地域において動物が全く出没しないとは言い切れないおそれがある。他方、動物が出没する可能性は低く、動物判定処理を常時行うと、処理負荷が増大する。したがって、この第2の実施例では、縮小バージョンの動物判定処理を行い、フルバージョンの動物判定処理を常時行うことに比べて処理負荷を軽減させる。このことは、歩行者判定についても同様にあてはまる。第1の実施例では、動物ではないと判定された場合、歩行者判定を行うことなく、警報対象物ではないと判定しているが、その地域において、歩行者が全く存在しないとは言い切れないおそれがある。他方、歩行者が存在する可能性は低く、歩行者判定を常時行うと、処理負荷が増大する。したがって、第2の実施例では、縮小バージョンの歩行者判定を行い、フルバージョンの歩行者判定を常時行うことに比べて処理負荷を軽減させる。
【0072】
また、縮小バージョンを、フルバージョンよりも緩やかな判定基準とすることにより、縮小バージョンでも、動物または歩行者の可能性のある対象物については運転者に報知されることができ、しかも、縮小バージョンは、処理時間が比較的短いので、該報知を速やかに行うことができる。特に、形状マッチングによって比較的近距離の動物および歩行者は良好な精度で判定されることができるので、該形状マッチングを縮小バージョンに含めることにより、近距離に存在する動物および歩行者の判定精度については、フルバージョンを実行することと同様に維持することができる。
【0073】
なお、第1の動物判定処理のアルゴリズムと第2の動物判定処理のアルゴリズムを、別個に用意してもよいし、代替的に、第1の動物判定処理のアルゴリズムのみを用意し、第2の動物判定処理を実行するときには、該アルゴリズムの一部のみを実行するようにしてもよい。これは、歩行者についても同様である。
【0074】
また、図3(c)の代わりに、図3(a)または(b)の情報を用いてもよい点は、第1の実施例と同様である。ここで、図3(a)の情報を用いる場合においてRoad_flagの値が1であるとき(高速道路であるとき)、第1の実施例では動物判定処理のみを実行するが、この第2の実施例では、該動物判定処理(ステップS34)において動物ではないと判定された場合には、ステップS43で第2の歩行者判定処理を実行する。Road_flagの値が2であるとき(高速道路でないとき)、第1の実施例と同様に、第1の歩行者判定処理(S32)および第1の動物判定処理(S34)を実行し、第2の歩行者判定処理(S43)および第2の動物判定処理(S41)は実行されない。
【0075】
また、図3(b)の情報を用いる場合においてTown_flagの値が1であるとき(「街」であるとき)、第1の実施例では歩行者判定処理のみを実行するが、第2の実施例では、該歩行者判定処理(ステップS32)において歩行者ではないと判定された場合には、ステップS41で第2の動物判定処理を実行することとなる。さらに、Town_flagの値が2であるとき(「街」でないとき)、第1の実施例では動物判定処理のみを実行するが、この第2の実施例では、該動物判定処理(ステップS34)において動物ではないと判定された場合には、ステップS43で第2の歩行者判定処理を実行する。
【0076】
上の説明では、動物および歩行者の両方について、フルバージョンの第1の判定処理と縮小バージョンの第2の判定処理を設けることにより、判定精度を向上させているが、代替的に、このような第1および第2の判定処理を、動物および歩行者のいずれか一方についてのみ設けるようにしてもよい。
【0077】
図7は、この発明の第3の実施例に従う、図4のステップS18で実行される対象物判定プロセスのより詳細なフローである。第1の実施例と同じ点は説明を省略し、異なる点のみを説明する。
【0078】
第1の実施例と異なる点は、ステップS21の代わりに、ステップS51およびS53が設けられている点である。ステップS51では、第1の人工構造物判定処理を行い、ステップS53では、第2の人工構造物判定処理を行う。いずれのステップでも、対象物が人工構造物であると判定された場合には(ステップS51,S53がYes)、ステップS36において、対象物は警報対象物ではないと判定し、対象物が人工構造物ではないと判定された場合には(ステップS51、S53がNo)、歩行者を判定するステップS32または動物を判定するステップS34にそれぞれ進む。
【0079】
第1および第2の人工構造物判定処理は、人工構造物を判定している点では共通しているが、そのアルゴリズムは異なっており、この実施例では、判定対象となる人工構造物の種類が異なっている。
【0080】
このような2種類の人工構造物判定処理を設ける理由について述べると、場所によって、存在する人工構造物の種類に特徴がある。たとえば、高速道路では、自動販売機や郵便ポストなどの人工構造物は存在せず、これらは、高速道路以外の場所に存在する。また、自動販売機は、日本では頻繁に存在するが、国によっては、存在しない場所もある。また、郵便ポストは、地域によって、また国によって、その形状が異なる。
【0081】
対象物が人工構造物かどうかをより良好な精度で判定するためには、その対象物が、何の人工構造物かどうかを特定するのが好ましい。たとえば、対象物が郵便ポストと特定することができれば、その対象物が人工構造物であると確かに判定することができる。そのため、好ましくは、人工構造物判定処理には、それぞれの種類の人工構造物の特徴に基づいて、その種類の人工構造物を特定するためのアルゴリズムが含まれる。
【0082】
典型的には、郵便ポスト、電柱、自動販売機等の形状はそれぞれ異なるので、形状判定を行う際には、異なるアルゴリズムが必要とされる。たとえば周知の形状マッチングを行って形状判定を行う場合、該形状マッチングで用いるテンプレートが異なるものとなる。また、これらの人工構造物の大きさは、それぞれ異なっているので、大きさ判定を行う際の閾値も異なることとなる。たとえば、郵便ポストを判定するためのアルゴリズムは、郵便ポストの形状をモデル化したテンプレートを用いて形状マッチングを行うと共に、抽出された対象物の高さおよび幅が、郵便ポストに相当する所定範囲内であるかどうかを判断する、という処理ロジックを含むことができる。動物の所で述べたように、他の車両のような移動体を判定する際には、対象物の移動速度を調べることも行われうる。
【0083】
しかしながら、存在しうるすべての人工構造物の種類毎に作成された判定アルゴリズムを常時実行すると、処理負荷が増大する。人工構造物の種類が増えるほど、また人工構造物の種類を特定する精度を上げようとするほど、処理負荷は増大する。
【0084】
したがって、上で述べたように、場所によって存在しうる人工構造物には特徴があるので、第3の実施例ではこの特徴を利用し、その場所に適した種類の人工構造物についてのみ判定処理を行う。こうすることにより、常時、人工構造物について用意されたすべての種類の判定アルゴリズムを実行する必要はなく、限られた種類の判定アルゴリズムを実行すればよいので、処理負荷を軽減することができる。また、存在する可能性の高い種類の人工構造物の判定処理のみを行うので、判定精度を上げることができる。また、存在する可能性の低い種類の人工構造物の判定処理を実行すると、対象物を誤って検出するおそれがあるが、このような誤検出を抑制することができる。
【0085】
この第3の実施例では、ステップS31がYesである場合、すなわち、車両が、高速道路ではない道路であって、かつ「街」を走行している場合に実行される第1の人工構造物判定処理は、このような街に存在しうる人工構造物を判定するための処理ロジックを含んでいる。他方、ステップS33がYesである場合、すなわち、車両が、「街」ではない地域を走行している場合に実行される第2の人工構造物判定処理は、このような「街」ではない地域に存在しうる人工構造物を判定するための処理ロジックを含んでいる。「街」である地域の方が、「街」でない地域よりも人工構造物の種類は多いので、前者の方が、後者よりも、判定アルゴリズムの規模は大きくなっている。動物の所で述べたように、前者をフルバージョンとした場合、後者を、その一部の処理ロジックを含む縮小バージョンとしてもよい。
【0086】
たとえば、第1の人工構造物判定処理では、電柱、ポスト、看板、他の車両、建物、自動販売機、信号機等の所定の種類の人工構造物を判定するようにし、第2の人工構造物判定処理では、そのうちの一部の種類のみの人工構造物を判定するようにすることができる。
【0087】
なお、第2の実施例の所でも述べたように、第1の人工構造物判定処理のアルゴリズムと第2の人工構造物判定処理のアルゴリズムを別個に用意してもよいし、代替的に、第1の人工構造物判定処理のアルゴリズムのみを用意し、第2の人工構造物判定処理を実行するときには、該アルゴリズムの一部のみを実行するようにしてもよい。
【0088】
第1の実施例と同様に、図3(c)の代わりに、図3(a)の情報を用いてもよい。この場合、高速道路でなければ(Road_flgaが値2のとき)、第1の人工構造物判定処理を実行し、高速道路であれば(Road_flagが値1のとき)、第2の人工構造物判定処理を実行する。ポストや自動販売機等の人工構造物は高速道路に存在しないので、第1の人工構造物判定処理ではこれらの人工構造物を判定するが、第2の人工構造物処理では、これらの人工構造物を判定する処理を除外し、たとえば他の車両のみを判定するようにすることができる。
【0089】
また、図3(c)の代わりに、図3(b)の情報のみを用いてもよい。この場合、車両が「街」を走行している場合は(Town_flagが値1のとき)、第1の人工構造物判定処理を実行し、車両が「街」でない地域を走行している場合には(Town_flagが値2のとき)、第2の人工構造物判定処理を実行する。前者は、後者に比べて、存在しうる人工構造物の種類は多いので、前述したように、たとえば、第1の人工構造物判定処理では、所定種類の人工構造物を判定するのに対し、第2の人工構造物判定処理では、その一部の種類の人工構造物を判定するようにすることができる。
【0090】
この発明の第4の実施例では、図3(a)から(c)に示すような道路種別および「街」か否かを示す情報を、車両の走行中に検出可能な情報に基づいて取得する。
【0091】
高速道路には所定の制限速度が存在することが多いので、高速道路であるか否かは、車速センサからの車速に基づいて判断することができる。車速センサは、車両に予め取り付けられている。たとえば、該制限速度以上の車速で走行したとき、高速道路と判定し、そうでない場合には、高速道路ではないと判定することができる。代替的に、該制限速度以上の車速による走行が所定時間以上継続した場合に高速道路と判定してもよい。この高速道路判定の処理を、図5〜図7のステップS23の処理の代わりに実行することができる。該判定の結果に応じて、ステップS25またはS26でフラグRoad_flagに値1または値2を設定することにより、判定処理の切り替えを行う。
【0092】
また、図8を参照すると、(a)は、「街」に分類された地域の幹線道路を走行している場合に撮像される画像の一例を示し、(b)は、「街」以外に分類された地域の一般道路を走行している場合に撮像される画像の一例を示す。前者では、後者に比べ、符号101に示すように人工構造物が多く、これらの人工構造物のうちには、街灯やライト等の熱源を有するものも多い。この特性を利用し、図14のステップS17で撮像画像から抽出される対象物の個数を調べ、これが所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば(たとえば、抽出される対象物の個数が所定値以上の状態が、時間的に連続した所定数以上の撮像画像について得られたならば)、「街」と判定することができる。なお、ステップS17で抽出された対象物の個数に代えて、該抽出された対象物のうち、車両から所定距離内に存在する対象物の個数を用いてもよい。
また、(a)と(b)を比較して明らかなように、「街」を走行している場合に撮像される画像の輝度値は、「街」でない地域を走行している場合に比べて多岐にわたる。すなわち、「街」を走行しているときの撮像画像の方が、「街」でない地域を走行しているときの撮像画像に比べて輝度値の分散が大きい。したがって、撮像画像(グレースケール画像)について、輝度値の分散(または標準偏差でもよい)を算出し、これが所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば、「街」と判定することができる。なお、輝度値の分散は、撮像画像全体について求めたものでもよいし、撮像画像の所定部分、たとえば抽出された対象物が存在する画像領域部分について求めたものでもよい。
【0093】
また、「街」では、符号103に示すように、往来する車両の数が、「街」でない地域に比べて比較的多い。したがって、自車両の周辺に存在する他の車両の台数を表すものとして、自車両に対する相対速度が所定値以上の対象物の個数を求める。該求めた個数が所定値以上ならば、または該所定値以上の状態が所定時間以上継続したならば、「街」を走行していると判定することができる。
【0094】
ここで、対象物の相対速度は、任意の適切な手法で算出されることができる。 たとえば、撮像画像は、所定時間間隔毎に取得されるので、撮像画像から抽出された対象物を追跡(トラッキング)することができる。或る時点で取得された撮像画像から抽出された対象物Aと、次の時点で取得された撮像画像から抽出された対象物Bとが、たとえば周知の形状マッチングを用いて同一かどうかを判断し、同一ならば、対象物Aまでの距離値と対象物Bまでの距離値との間の変化に基づいて、該対象物の相対速度を算出することができる。
【0095】
「街」かどうかの判定については、上記述べた複数の条件のうちの任意のものを組み合わせて判定してもよい。たとえば、これら複数の条件のうちの1つのみを用いて「街」かどうかを判定してもよいし、該複数の条件のうちの2つ以上の条件が満たされた場合に、「街」と判定してもよい。
【0096】
この「街」か否かの判定の処理を、図5〜図7のステップS27の処理の代わりに実行することができる。該判定の結果に応じて、ステップS29またはS30でフラグTown_flagに値1または値2を設定することにより、判定処理の切り替えを行う。
【0097】
なお、本願発明は、上記の実施形態に限られるものではなく、様々な変形形態が可能である。たとえば、上記実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なテレビカメラを使用してもよい。しかしながら、赤外線カメラを用いることにより、対象物の抽出処理をより簡略化することができ、演算負荷を低減することができる。
【0098】
また、上記の実施形態では、図1に示すように、2つの赤外線カメラを用いた構成となっているが、この発明は、1つの赤外線カメラまたは1つの可視カメラを用いて撮像された画像にも適用可能である。1つのカメラの場合、対象物までの距離値は、たとえばレーダなどを用いて検出するようにしてもよいし、該カメラの撮像画像において対象物が撮像された位置から、対象物までの距離を推定するようにしてもよい。
【0099】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【0100】
1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
3 スピーカ
4 ヘッドアップディスプレイ

【特許請求の範囲】
【請求項1】
車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、検出すべき対象物の所定の種類毎に、該対象物を判定する判定処理が設けられており、
前記車両が走行している位置を検出する手段と、
前記検出された位置の存在する道路および地域の少なくとも一方に関する特徴を取得する手段と、
取得された前記特徴に基づいて、起動すべき前記判定処理を選択する選択手段と、
前記撮像画像から抽出された対象物に対し、前記選択した判定処理を実行して、該対象物を判定する手段と、
を備える、車両周辺監視装置。
【請求項2】
前記特徴は、前記検出された位置の存在する道路の種別を表しており、
前記選択手段は、該道路の種別が、高速道路を表しているか否かに従って、前記起動すべき判定処理を選択する、
請求項1に記載の車両周辺監視装置。
【請求項3】
前記特徴は、前記検出された位置の存在する地域が、所定の条件を満たす街であるか否かを表しており、
前記検出された位置の存在する地域が前記街でないことを前記特徴が表しているならば、前記選択手段は、動物を判定するための前記判定処理を選択する、
請求項1または2に記載の車両周辺監視装置。
【請求項4】
取得された前記特徴に基づいて、人工構造物を判定するための前記判定処理を変更する手段をさらに備える、
請求項1から3のいずれかに記載の車両周辺監視装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2010−224670(P2010−224670A)
【公開日】平成22年10月7日(2010.10.7)
【国際特許分類】
【出願番号】特願2009−68775(P2009−68775)
【出願日】平成21年3月19日(2009.3.19)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】