説明

車両周辺監視装置、車両、車両周辺監視プログラム

【課題】対象物の種類を高精度で判定することができる装置等を提供する。
【解決するための手段】本発明の車両周辺監視装置10によれば、異なる2つの時刻(=第1時点および第2時点)のそれぞれにおける車両1の周辺状況を表わす画像において設定された、同一の対象物が存在する対象物領域(=第1対象物領域)のサイズが、当該異なる2つの時刻のそれぞれにおける車両1からこの対象物までの距離に基づいて揃えられる。また、第2対象物領域(=拡大または縮小された第2時点における第1対象物領域)において、第1時点における第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を包含する領域(=第3対象物領域)の形状に基づいて対象物が分類される。このような同一性を有する局所領域群には、その形状に応じた形状を有する対象物が存在している蓋然性が高いので、対象物の種類が高精度で判定されうる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載の撮像装置を通じて得られた画像を用いてこの車両の周辺を監視する装置等に関する。
【背景技術】
【0002】
車両に搭載されているカメラにより撮像された画像に基づき、歩行者等の対象物の実空間位置を測定し、当該測定結果に基づいて車両と対象物との接触可能性の高低を判定する技術が提案されている(特許文献1参照)。
【特許文献1】特開2007−213561号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、車両と対象物との接触回避等の観点から、この対象物の種類が判定されることが好ましい場合がある。
【0004】
そこで、本発明は、対象物の種類を高精度で判定することができる装置等を提供することを解決課題とする。
【課題を解決するための手段】
【0005】
第1発明の車両周辺監視装置は、車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、前記画像に基づいて対象物の存在を認識する対象物検出要素と、第1時点および第2時点のそれぞれにおける前記画像に基づいて前記対象物検出要素により検出された前記対象物が同一であるという同一性要件を満たしているか否かを判定する対象物追跡要素と、前記車両から前記対象物までの距離を測定する距離測定要素と、前記画像において前記対象物が存在する領域を第1対象物領域として設定する第1対象物領域設定要素と、前記対象物追跡要素により前記同一性要件が満たされていると判定された前記対象物について、前記距離測定要素により測定された前記第1時点における前記距離に対する前記第2時点における前記距離の比率で拡大または縮小された、前記第2時点における前記第1対象物領域を第2対象物領域として設定する第2対象物領域設定要素と、前記第2対象物領域設定要素により設定された前記第2対象物領域において、前記第1対象物領域設定要素により設定された前記第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を探索し、前記第2局所領域を包含する領域を第3対象物領域として設定する第3対象物領域設定要素と、前記第3対象物領域設定要素により設定された前記第3対象物領域の形状に基づき、前記対象物の種類を判定する対象物分類要素とを備えていることを特徴とする。
【0006】
第1発明の車両周辺監視装置によれば、異なる2つの時刻(=第1時点および第2時点)のそれぞれにおける車両の周辺状況を表わす画像において設定された、同一の対象物が存在する対象物領域(=第1対象物領域)のサイズが、当該異なる2つの時刻のそれぞれにおける車両からこの対象物までの距離に基づいて揃えられる。また、第2対象物領域(=拡大または縮小された第2時点における第1対象物領域)において、第1時点における第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を包含する領域(=第3対象物領域)の形状に基づいて対象物が分類される。このような同一性を有する局所領域群には、その形状に応じた形状を有する対象物が存在している蓋然性が高いので、対象物の種類が高精度で判定されうる。
【0007】
第2発明の車両は、一の撮像装置と、前記撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する第1発明の車両周辺監視装置とを備えていることを特徴とする。
【0008】
第2発明の車両によれば、車両周辺監視装置により対象物の種類が高精度で判定されるので、当該判定結果に応じて車両の搭載機器の動作が車両とこの対象物との接触回避等の観点から適当に制御されうる。
【0009】
第3発明の車両周辺監視プログラムは、車両に搭載されているコンピュータを、前記車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する第1発明の車両周辺監視装置として機能させることを特徴とする。
【0010】
第3発明の車両周辺監視プログラムによれば、車両に搭載されているコンピュータを、対象物の種類を高精度で判定する車両周辺監視装置として機能させることができる。
【発明を実施するための最良の形態】
【0011】
本発明の車両周辺監視装置等の実施形態について図面を用いて説明する。
【0012】
図1に示されている車両(四輪自動車)1には、車両周辺監視装置10と、単一の赤外線カメラ(撮像装置)11が搭載されている。図1に示されているように原点Oが車両1の前側に位置し、X軸、Y軸およびZ軸のそれぞれが車両1の左右方向、上下方向および前後方向のそれぞれに延びるように実空間座標系が定義されている。赤外線カメラ11は車両1の前方を撮像するために、車両1の前側に取り付けられている。また、図2に示されているように車両1には、車両1のヨーレート、速度およびブレーキの状態のそれぞれに応じた信号を出力するヨーレートセンサ13、速度センサ14およびブレーキセンサ15等の種々のセンサが搭載されている。さらに、図2に示されているように車両1には音声出力装置16および画像出力装置17が搭載されている。画像出力装置17としては、車両1のフロントウィンドウに画像を表示するHUD(ヘッドアップディスプレイ)のほか、車両1の走行状況を示す表示計またはナビゲーション装置を構成するディスプレイ装置等が採用されてもよい。
【0013】
車両周辺監視装置10は赤外線カメラ11を通じて得られた画像を用いて車両1の周辺を監視する装置である。車両周辺監視装置10はコンピュータ(CPU,ROM,RAMならびにI/O回路およびA/D変換回路等の電子回路等により構成されている。)により構成されている。車両周辺監視装置10には、赤外線カメラ11、ヨーレートセンサ13、車速センサ14およびブレーキセンサ15等から出力されたアナログ信号がA/D変換回路を介してデジタル化されて入力される。当該入力データに基づき、メモリに格納されている「車両周辺監視プログラム」にしたがって、人間や他車両などの対象物の存在を認識する処理、車両1と認識した対象物との接触可能性の高低を判定する処理、および、この判定結果に応じて音声を音声出力装置16に出力させたり、画像を画像出力装置17に出力させたりする処理が当該コンピュータにより実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車載コンピュータに配信または放送され、そのRAM等の記憶装置に格納されてもよい。車両周辺監視装置10は位置のECUにより構成されていてもよいが、分散制御システムを構成する複数のECUにより構成されていてもよい。
【0014】
車両周辺監視装置10は図2に示されているように対象物検出要素102と、対象物追跡要素104と、距離測定要素106と、第1対象物領域設定要素110と、第2対象物領域設定要素120と、第3対象物領域設定要素130と、対象物分類要素140とを備えている。
【0015】
対象物検出要素102は赤外線カメラ11を通じて得られた車両1の周辺状況を表わす画像に基づいて対象物の存在を認識する。対象物追跡要素104は第1時点および第2時点のそれぞれにおける画像に基づいて対象物検出要素102により検出された対象物が同一であるという「同一性要件」を満たしているか否かを判定する。ある時刻における画像または領域とは、この時刻における車両1の周辺状況を表わす画像またはこの画像において設定された領域を意味する。距離測定要素106は車両1から対象物までの距離を測定する。第1対象物領域設定要素110は画像において対象物が存在する領域を「第1対象物領域」として設定する。第2対象物領域設定要素120は対象物追跡要素104により同一性要件が満たされていると判定された対象物について「第2対象物領域」を設定する。第2対象物設定領域は、距離測定要素106により測定された第1時点における対象物距離に対する第2時点における対象物距離の比率で拡大または縮小された、第2時点における第1対象物領域である。第3対象物領域設定要素130は第2対象物領域設定要素120により設定された第2対象物領域において、第1対象物領域設定要素110により設定された第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を包含する領域を「第3対象物領域」として設定する。対象物分類要素140は第3対象物領域設定要素130により設定された第3対象物領域の形状に基づき、対象物の種類を判定する。
【0016】
前記構成の車両1および車両周辺監視装置10の機能について説明する。
【0017】
まず、対象物検出要素102が赤外線カメラ11を通じて得られた画像に基づき、対象物を検出する。具体的には、赤外線カメラ11の出力信号である赤外線画像がA/D変換されることによりグレースケール画像が取得される(図3/S002)。また、グレースケール画像が2値化処理されることにより2値化画像が取得される(図3/S004)。2値化処理は、グレースケール画像を構成する各画素をその輝度が閾値以上であるか否かに応じて「1」(白)および「0」(黒)に区分する処理である。グレースケール画像および2値化画像はそれぞれ別の画像メモリに記憶される。さらに、2値化画像の高輝度領域を構成する「1」に区分されたまとまった画素群が、画像の縦方向(y方向)に1画素分の幅を有して横方向(x方向)延在するラインに分類され、各ラインがその位置(画像における2次元位置)の座標と長さ(画素数)とからなるランレングスデータに変換される(図3/S006)。そして、このランレングスデータにより表されるラインのうち、画像縦方向に重なりを有するライン群のそれぞれにラベル(識別子)が付され(図3/S008)、当該ライン群が対象物として検出される(図3/S010)。これにより、図4(a)に示されているように2値化画像において斜線で示されているような対象物(2値化対象物)が検出される。対象物には人間(歩行者)などの生物のほか、他車両などの人口構造物も含まれる。なお、同一物体の複数の局所部分が対象物として認識される場合もある。
【0018】
また、対象物追跡要素104により、対象物の追跡処理、すなわち、対象物検出要素101の演算処理周期ごとに検出された対象物が同一であるか否かを判定する処理が実行される(図3/S012)。たとえば、特開2001−6096号公報に記載されている手法にしたがって時刻k−1およびkのそれぞれの2値化画像において検出された対象物の形状やサイズ、グレースケール画像における輝度分布の相関性などに基づいて実行されうる。そして、これら対象物が同一であると判定された場合、時刻kにおける対象物のラベルが時刻k−1における対象物のラベルと同じラベルに変更される。
【0019】
さらに、距離測定要素106が画像に基づき、車両1から対象物検出要素102により検出された対象物までの距離を測定する。具体的には、2値化画像における対象物の重心位置が算定され、かつ、対象物の外接四角形が設定される(図3/S014)。対象物の重心位置は、この対象物に対応するランレングスデータの各ラインの中心位置の座標に当該各ラインの長さを乗じた結果をすべてのラインについて加算し、その加算結果を画像における対象物の面積により除算することにより求められる。なお、対象物の重心に代えて、対象物の外接四角形の重心(中心)の位置が算定されてもよい。また、異なる時刻において同一のラベルが付された対象物を表わす対象物領域のサイズの変化率Rateが評価される(図3/S016)。具体的には、時刻kにおける対象物領域の大きさ(外接四角形の縦幅、横幅または面積により表わされる。)Size(k)に対する、時刻k−1における対象物領域の大きさSize(k−1)の比率が変化率Rate(k)=Size(k−1)/Size(k)(<1)として決定される。さらに、ヨーレートセンサ13および速度センサ14のそれぞれの出力に基づき、車両1の速度およびヨーレートが測定され、ヨーレートの測定値が積分されることにより、車両1の回頭角(方位角)が算出される(図3/S018)。
【0020】
また、今回の変化率Rate(k)に加え、今回の速度v(k)および赤外線カメラ11の撮像時間間隔δTに基づき、式(1)にしたがって車両1から対象物までの距離Z(k)が測定される(図3/S020)。
【0021】
【数1】

【0022】
また、車両周辺監視装置10により、車両1から対象物までの距離に基づき、この対象物の実空間位置P(k)=(X(k),Y(k),Z(k))として算定される(図3/S022)。具体的には、車両1から各対象物までの補正後の距離Z(k)と、赤外線カメラ11の焦点距離fと、撮像画像における対象物に対応した領域の画像座標x(k)およびy(k)とに基づき、式(2)にしたがって実空間座標系におけるX座標X(k)およびY座標Y(k)が算定される。撮像画像の中心、右方向および下方向のそれぞれが、画像座標系における原点o、+x方向および+y方向として定義されている。また、ヨーレートセンサ15の出力に基づいて測定される回頭角に基づき、各対象物の実空間位置(X(k),Y(k),Z(k))が回頭角補正される。
【0023】
【数2】

【0024】
また、第1対象物領域設定要素110により、2値化画像における対象物の重心位置および外接四角形の配置態様に基づき、グレースケール画像において対象物を表わす領域が「第1対象物領域」として設定される(図3/S024)。具体的には、まず、第1時点における車両1の周辺状況を表わすグレースケール画像において、対象物を基準として配置された複数のマスクが設定される。これにより、たとえば図4(a)に斜線で示されているように対象物の上下方向に並んで配置された複数の矩形状のマスクai+(i=1,2,‥)およびaj-(j=1,2,‥)が設定される。当該複数のマスクは、対象物の重心または中心を通り、画像において上下方向に延びる基準ライン(一点鎖線)の上に中心位置を有するように配置されている。また、第1時点より前の第2時点における車両1の周辺状況を表わすグレースケール画像において当該複数のマスクとの相関度が閾値以上となるマスクが探索される。これにより、たとえば図4(b)に示されているように第2時点における画像において、第1時点における複数のマスクai+およびaj-との相関度が閾値以上のマスクai+およびaj-が探索される。そして、対象物と、当該複数のマスクのうち、第1時点および第2時点における対象物との位置関係が同一またはほぼ同一の連続するマスクとを含む領域が第1対象物領域として設定される。これにより、たとえば図4(b)に示されているように対象物およびその下方に連続して配置されたマスクa1-〜a4-とを包含する矩形状の領域が第1対象物領域として設定される。
【0025】
さらに、第2対象物領域設定要素120により、第2時点における第1対象物領域が拡大されることによって得られた領域が「第2対象物領域」として設定される(図3/S026)。これにより、たとえば図5(a)に示されている第2時点における第1対象物領域が拡大され、図5(b)に示されている第2対象物領域が設定される。第1対象物領域の拡大率は、距離測定要素106により測定され、第1時点における車両1から対象物までの距離に対する、第2時点における車両1から対象物までの距離の比率と同じである。なお、第2時点が第1時点より後である場合には第2時点における第1対象物領域が縮小されることによって得られる領域が第2対象物領域として設定されてもよい。
【0026】
また、第3対象物領域設定要素130により、第2対象物領域において、第1対象物領域に配置された「第1局所領域」と同一性を有する「第2局所領域」を包含する領域が「第3対象物領域」として設定される(図3/S028)。具体的には、まず、第1時点における第1対象物領域に配置された複数の第1局所領域が設定される。これにより、たとえば図6(a)および(b)のそれぞれの上側に示されているように、第1時点における第1対象物領域を縦横に分割して形成された複数の矩形状の第1局所領域が設定される。なお、第1対象物領域のうち全部ではなく一部のみを覆う第1局所領域が設定されてもよく、複数の第1局所領域は相互に離反していても重なっていてもよい。また、第1局所領域の形状およびサイズは適宜変更されてもよい。そして、第2対象物領域において、第1対象物領域に設定された第1局所領域と同一性を有する第2局所領域が探索され、探索された第2局所領域を包含する領域が第3対象物領域として設定される。ここで、第1局所領域と第2局所領域とが「同一性を有する」とは、第1局所領域および第2局所領域の相関度が閾値以上であり、かつ、第1対象物領域(たとえばその左上隅角)を基準とした第1局所領域の位置と、第2対象物領域(たとえばその左上隅角)を基準とした第2局所領域の位置との偏差が許容値以下であることを意味する。これにより、たとえば図6(a)および(b)のそれぞれの下側に示されているように第2対象物領域において配置された複数のひとまとまりの第2局所領域を包含する領域が「第3対象物領域」として設定される。
【0027】
そして、対象物分類要素140により、第3対象物領域の形状に基づき、対象物が分類される(図3/S030)。具体的には、記憶装置に記憶されている、物体の区分のそれぞれに対応する複数の形状のうち、第3対象物領域の形状に最も近似する形状に対応する区分に対象物が分類される。これにより、たとえば図6(a)に示されている第3対象物領域の形状に基づき、対象物が「人間」という区分に分類される。また、図6(b)に示されている第3対象物領域の形状に基づき、対象物が「鹿、犬等の動物」という区分に分類される。なお、対象物は、人間およびその他の動物という区分に加えてまたは代えて、自動車、樹木等の植物や建造物等の固定物等の区分に分類されてもよい。
【0028】
また、異なる時刻における各対象物の実空間位置P(k)に基づき、たとえば特開2001−6096号公報に記載された衝突可能性の判定手法にしたがって、車両1と各対象物との接触可能性の高低または有無が判定される(図3/S032)。そして、車両1と対象物との接触可能性が高いと判定された場合(図3/S032‥YES)、対象物分類要素140により判定された対象物の種類に応じた態様で注意喚起処理が実行される(図3/S034)。具体的には、当該接触可能性の判定結果および対象物の分類結果に応じた音声および画像(当該対象物を強調表示するためのフレームなど)のそれぞれが音声出力装置16および画像出力装置17のそれぞれを通じて出力される。たとえば対象物が人間に分類された場合、対象物が車両に分類された場合よりも、この対象物の存在を車両1の運転者に強く認識させるように音声および画像の出力態様が調節される。なお、当該音声および画像のうち一方のみが出力されてもよい。また、ブレーキセンサ15の出力に基づいて運転者による車両1のブレーキが操作されていないことが確認されたこと、または、速度センサ14または加速度センサ(図示略)の出力に基づいて車両1の減速度が閾値以下であることが確認されたことを要件として注意喚起処理が実行されてもよい。一方、車両1と対象物との接触可能性が低いと判定された場合(図3/S032‥NO)、注意喚起処理は実行されない。
【0029】
また、車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部がアクチュエータにより操作され、車両1の走行挙動が操作される場合、注意喚起処理に代えてまたは並行して車両挙動が制御されてもよい。具体的には、車両1との接触可能性が高いと判定された対象物との接触を回避するように、または、回避が容易になるように車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部の動作が車両制御ユニット(図示略)により制御されてもよい。たとえば、運転者によるアクセルペダルの必要踏力が、対象物との接触を回避する必要がない通常の場合よりも大きくなるようにアクセル装置を制御して加速しにくくする。また、車両1と対象物との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行いうるようにする。さらに、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両1の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、対象物との接触を避けるための車両1の運転が容易になる。
【0030】
前記機能を発揮する車両周辺監視装置10によれば、異なる2つの時刻(=第1時点および第2時点)のそれぞれにおける車両1の周辺状況を表わす画像において設定された、同一の対象物が存在する対象物領域(=第1対象物領域)のサイズが、当該異なる2つの時刻のそれぞれにおける車両からこの対象物までの距離に基づいて揃えられる(図3/S020,S024,S026,図5(a)(b)参照)。また、第2対象物領域(=拡大または縮小された第2時点における第1対象物領域)において、第1時点における第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を包含する領域(=第3対象物領域)の形状に基づいて対象物が分類される(図3/S028,図6(a)(b)参照)。このような同一性を有する局所領域群には、その形状に応じた形状を有する対象物が存在している蓋然性が高いので、対象物の種類が高精度で判定されうる。
【0031】
そして、当該対象物の分類結果に応じて車両1の搭載機器(音声出力装置16、画像出力装置17、ステアリング装置、ブレーキ装置およびアクセル装置)の動作が車両1とこの対象物との接触回避等の観点から適当に制御されうる。
【0032】
なお、前記実施形態では一の赤外線カメラ(単眼カメラ)を用いて、車両1から対象物までの距離が測定されたが、他の実施形態としてミリ波レーダ、レーザレーダまたは超音波レーダ等が用いられて車両1から対象物までの距離が測定されてもよい。さらに他の実施形態として車両の前側中央部を基準として左右対称に配置された一対の赤外線カメラの視差を用いて当該距離が算出されてもよい。また、撮像装置として赤外線カメラ11に代えて可視光等、他の波長領域に感度が調節されたカメラが採用されてもよい。
【図面の簡単な説明】
【0033】
【図1】本発明の車両の構成説明図
【図2】本発明の車両周辺監視装置の構成説明図
【図3】本発明の車両周辺監視装置の機能を示すフローチャート
【図4】第1対象物領域の設定方法に関する説明図
【図5】第2対象物領域の設定方法に関する説明図
【図6】第3対象物領域の設定方法に関する説明図
【符号の説明】
【0034】
1‥車両、10‥車両周辺監視装置、11‥赤外線カメラ(撮像装置)

【特許請求の範囲】
【請求項1】
車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、
前記画像に基づいて対象物の存在を認識する対象物検出要素と、
第1時点および第2時点のそれぞれにおける前記画像に基づいて前記対象物検出要素により検出された前記対象物が同一であるという同一性要件を満たしているか否かを判定する対象物追跡要素と、
前記車両から前記対象物までの距離を測定する距離測定要素と、
前記画像において前記対象物が存在する領域を第1対象物領域として設定する第1対象物領域設定要素と、
前記対象物追跡要素により前記同一性要件が満たされていると判定された前記対象物について、前記距離測定要素により測定された前記第1時点における前記距離に対する前記第2時点における前記距離の比率で拡大または縮小された、前記第2時点における前記第1対象物領域を第2対象物領域として設定する第2対象物領域設定要素と、
前記第2対象物領域設定要素により設定された前記第2対象物領域において、前記第1対象物領域設定要素により設定された前記第1対象物領域に配置された第1局所領域と同一性を有する第2局所領域を探索し、前記第2局所領域を包含する領域を第3対象物領域として設定する第3対象物領域設定要素と、
前記第3対象物領域設定要素により設定された前記第3対象物領域の形状に基づき、前記対象物の種類を判定する対象物分類要素とを備えていることを特徴とする車両周辺監視装置。
【請求項2】
一の撮像装置と、前記撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する請求項1記載の車両周辺監視装置とを備えていることを特徴とする車両。
【請求項3】
車両に搭載されているコンピュータを、前記車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する請求項1記載の車両周辺監視装置として機能させることを特徴とする車両周辺監視プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−193241(P2009−193241A)
【公開日】平成21年8月27日(2009.8.27)
【国際特許分類】
【出願番号】特願2008−32027(P2008−32027)
【出願日】平成20年2月13日(2008.2.13)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【Fターム(参考)】