説明

撮像システム

【課題】車両の走行状態に応じた検出対象物の検出処理を行うことにより適切に対象物の検出が行える撮像システムを提供すること。
【解決手段】カメラ2により車両の周囲を撮像し、その撮像画像内をパターンマッチングによって検出対象物を検出する撮像システム1であって、車速が所定値を超える場合には車速がその所定値以下の場合と比べて画像内の遠方側からパターンマッチングを行う。これにより、車速が上がったときに遠方の対象物検出が迅速に行え、車速に応じて車両運転において必要性の高い検出対象物を適切に検出することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の周囲を撮像する撮像システムに関するものである。
【背景技術】
【0002】
従来、車両の周囲を撮像する撮像システムとして、例えば特開2002−99997号公報に記載されるように、車両に搭載したカメラにより車両前方を撮像し、その撮像画像内の歩行者を検出する装置が知られている。この装置は、予め設定されたテンプレートを用いて撮像画像の領域をパターンマッチングすることにより、歩行者の検出を行おうとするものである。
【特許文献1】特開2002−99997号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、このような装置にあっては、車両の走行状態に応じた適切な歩行者検出が行えないという問題点がある。例えば、画像サイズの大きい近傍側のテンプレートから画像サイズの小さい遠方側のテンプレートを複数用いてパターンマッチングを行う際、車速に関係なく一律に近傍側のテンプレートから順次用いてパターンマッチングを行うとすると、車両が高速走行している場合に車両運転において必要性の低い近傍の歩行者が重点的に検出されることとなる。この場合、ごく近傍の歩行者は肉眼で視認できるため、遠方の歩行者を重点的に検出することが望ましい。
【0004】
そこで本発明は、このような問題点を解決するためになされたものであって、車両の走行状態に応じた検出対象物の検出処理を行うことにより適切に対象物の検出が行える撮像システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
すなわち、本発明に係る撮像システムは、車両の周囲を撮像する撮像手段と、パターンマッチングによって前記撮像手段により撮像された画像内の検出対象物を検出するものであって、車速が前記所定値を超える場合には車速が前記所定値以下の場合と比べて画像内の遠方側からパターンマッチングを行う検出手段とを備えて構成されている。
【0006】
この発明によれば、車速が所定値を超える場合には車速が所定値以下の場合と比べて画像内の遠方側からパターンマッチングを行うことにより、車速が上がったときに遠方の対象物検出が迅速に行え、車速に応じて車両運転において必要性の高い検出対象物を適切に検出することができる。
【0007】
また本発明に係る撮像システムにおいて、前記検出手段は、複数のテンプレートを用いてパターンマッチングを行うものであって、車速が前記所定値を超える場合には車速が前記所定値以下の場合と比べて遠方側を検出するための遠方側テンプレートを先に用いてパターンマッチングを行うことが好ましい。
【0008】
また本発明に係る撮像システムにおいて、前記検出手段は、車両がカーブを走行している場合には、カーブを走行していない場合と比べて近傍側をパターンマッチングして検出対象物の検出を行うことが好ましい。
【0009】
この発明よれば、カーブ走行時に近傍側をパターンマッチングして検出対象物の検出を行うことにより、車両の近傍領域を迅速に検出することができる。
【0010】
また本発明に係る撮像システムは、車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いることが好ましい。
【発明の効果】
【0011】
本発明によれば、車両の走行状態に応じた検出対象物の検出処理を行うことにより、適切な対象物検出が行える。
【発明を実施するための最良の形態】
【0012】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0013】
図1は本発明の実施形態に係る撮像システムの構成概要図である。
【0014】
図1に示すように、本実施形態に係る撮像システム1は、車両の周囲を撮像するシステムであって、車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用したものである。撮像システム1は、カメラ2及び制御処理部3を備えている。カメラ2は、車両の周囲を撮像する撮像手段として機能するものであり、例えばCCD(Charge-Coupled Device)カメラが用いられる。また、カメラ2としては、近赤外光に感度を持つものが用いられ、例えば撮影光学系に可視光カットフィルタを配置することにより、近赤外成分を中心とした撮像が可能とされる。このカメラ2は、例えば、車両のフロントガラス11越しに車両の前方を撮像できるように設置される。
【0015】
制御処理部3は、カメラ2と接続されている。この制御処理部3は、システム全体の制御処理を行うものであり、例えばCPU、ROM、RAM、入力信号回路、出力信号回路、電源回路などにより構成されている。また、制御処理部3は、カメラ2の撮像画像を入力し、複数のテンプレートを用いたパターンマッチングによって撮像画像内の歩行者を検出する検出手段とて機能する。制御処理部3には、歩行者検出用の複数のテンプレートが記録されている。この複数のテンプレートは、車両の近傍側のテンプレートから遠方側のテンプレートまで画像サイズを異ならせたものが記録されている。
【0016】
また、撮像システム1には、表示部4が設けられている。表示部4は、制御処理部3と接続され、カメラ2で撮像した画像を表示する表示手段として機能するものであり、例えば、液晶パネルやフロントガラス11に画像を投影する機器などが用いられる。また、撮像システム1には、車速センサ5が設けられている。車速センサ5は、車速を検出する車速検出手段として機能するものであり、例えば車輪速センサが用いられる。車速センサ5の検出信号は、制御処理部3に入力される。
【0017】
また、撮像システム1には、ワイパ作動センサ6が設けられている。ワイパ作動センサ6は、雨天か否かを検出する雨天検出手段として機能するものである。このワイパ作動センサ6の検出信号は、制御処理部3に入力される。雨天か否かを検出できるものであれば、ワイパ作動センサ6に代えて雨滴センサなど他のものを用いてもよいし、雨天情報を取得できるものを用いてもよい。
【0018】
また、撮像システム1には、近赤外投光器7が設けられている。近赤外投光器7は、車両の前方へ近赤外線を投光する投光手段であり、制御処理部3から信号を受けて投光制御されている。この近赤外投光器7は、例えばヘッドライトのハイビーム相当の照射範囲で近赤外光を投射することができるように構成される。
【0019】
また、撮像システム1には、報知部8が設けられている。報知部8は、カメラ2の撮像画像内に歩行者が検出された場合や検出された歩行者について注意を喚起する必要がある場合に、車両の運転者に注意を喚起させるために報知する報知手段である。この報知部8としては、歩行者の存在を運転者に報知できるものであればいずれのものを用いてもよく、例えば、音声や警告音など聴覚を通じて報知を行うもの、液晶表示、ランプ表示、LED表示など視覚を通じて報知を行うもの、振動など触覚を通じて報知を行うものが用いられる。
【0020】
次に本実施形態に係る撮像システムの動作について説明する。
【0021】
図2は、本実施形態に係る撮像システムの動作を示すフローチャートである。図2における一連の制御処理は、例えば、制御処理部3により所定の周期で繰り返し実行される。
【0022】
まず、図2のS10に示すように、車両走行状況把握処理が行われる。この車両走行状況把握処理は、車速状況、走行環境状況、走行路の直進状態などを把握する処理である。例えば、車速センサ5の検出信号を読み込んで車速状況が把握され、ワイパ作動センサ6の検出信号を読み込んで天候状況が把握され、ハンドル操舵情報やナビゲーションシステムの情報を読み込んで走行路の直進状況が把握される。
【0023】
そして、S12に移行し、天候が雨天であるか否か判断される。S12にて天候が雨天でないと判断された場合には、車両が直進走行しているか否かが判断される(S14)。S14にて車両が直進走行であると判断された場合には、車速に応じた探索処理が行われる(S16)。この処理は、撮像画像内の歩行者を検出する際に、車速に応じてテンプレートを用いる順番を異ならせて検出を行う処理である。
【0024】
図3に示すように撮像した画像31上にテンプレートTを配置し、その配置位置を画像31内で順次移動させて歩行者の検出を行う場合、車速に応じて先に用いるテンプレートを変えてパターンマッチングが行われる。
【0025】
例えば、図4に示すようにサイズの異なる複数のテンプレートT1〜Tnがある場合、通常時の検出として、まずサイズの大きい近傍側のテンプレートT1を用いてテンプレートマッチングを行い、順次サイズの小さい遠方側のテンプレートT2、T3、…Tnを用いてパターンマッチングを行うように設定される(図4の矢印A参照)。この場合、車両の近傍にいる歩行者を迅速に検出することができ、車両運転の安全性が高められる。
【0026】
これに対し、車速が所定値以上であってその走行状態が所定時間以上継続している場合、すなわち安定直進走行時の場合には、通常時とテンプレートを用いる順番を逆にし、まず遠方側のテンプレートTnを用いてテンプレートマッチングを行い、順次サイズの大きい遠方側のテンプレートT5、T4、T3、T2、T1を用いてテンプレートマッチングを行う(図4の矢印B参照)。この場合、車速が大きいときに、遠方の歩行者を重点的に検出することができる。その際、車両の近傍の歩行者は遠方にいる際に検出が行われており肉眼でも視認できるため、その検出を重点的に行わなくても問題はない。
【0027】
この探索処理においてパターンマッチングとしては、例えばテンプレートが配置された画像31上の画像領域とテンプレートとの類似度(相関度)を算出し、その類似度が所定値以上である場合に歩行者ありとして検出される。なお、パターンマッチングの手法としては他の手法を用いて行ってもよい。
【0028】
また、S16の車速に応じた探索処理としては、車速が大きいほど遠方側のテンプレートを用いてパターンマッチングを行うものであってもよい。
【0029】
例えば、車速が所定値v1以下の低速時には、図5に示すように近傍側及び中間位置のテンプレートT1〜T4を用いてパターンマッチングを行い、遠方側のテンプレートT5などを用いたパターンマッチングは行わない。
【0030】
車速が所定値v1を超えているが所定値v2以下の中速時には、図6に示すように中間位置のテンプレートT2〜T4を用いてパターンマッチングを行い、近傍側のテンプレートT1及び遠方側のテンプレートT5などを用いたパターンマッチングは行わない。
【0031】
車速が所定値v2を超える高速時には、図7に示すように中間位置及び遠方側のテンプレートT3〜Tnを用いてパターンマッチングを行い、近傍側のテンプレートT1、T2を用いたパターンマッチングは行わない。
【0032】
このようは探索処理を行えば、探索処理に用いるテンプレート数を少なくできるため、車両運転に必要な探索処理が迅速に行える。
【0033】
図2のS16の車速に応じた探索処理を終えたら、S22に移行する。ところで、S12にて天候が雨天であると判断された場合には、雨天時の探索処理が行われる。雨天時の探索処理は、雨天でない時の探索処理と比べて遠方側のパターンマッチングを行い、画像内の歩行者の検出を行う処理である。例えば、図4に示す複数のテンプレートT1〜Tnのうち、近傍側のテンプレートT1を用いず、テンプレートT2〜Tnを用いてパターンマッチングが行われる。これにより、雨天時に遠方を重点的に歩行者検出することができる。
【0034】
また、図1のS14にて車両が直進走行していないと判断された場合には、カーブ走行時の探索処理が行われる。カーブ走行時の探索処理は、カーブ走行していない時の探索処理と比べて近傍側のパターンマッチングを行い、画像内の歩行者の検出を行う処理である。例えば、図4に示す複数のテンプレートT1〜Tnのうち、遠方側のテンプレート5〜Tnを用いず、テンプレートT1〜T4のみを用いてパターンマッチングが行われる。これにより、カーブ走行時に車両の近傍領域を重点的に歩行者検出することができる。
【0035】
そして、S22に移行し、報知処理が行われる。この報知処理は、S16、S18又はS20において歩行者が検出された場合又は歩行者が検出され危険な状況にある場合に、車両の運転者にその旨の報知を行う処理である。この報知処理は、報知部8を通じて行われ、例えば前方に歩行者がいることを音声や警告音など聴覚を通じて報知し、また液晶表示、ランプ表示、LED表示など視覚を通じて報知して行われる。S22の報知処理を終えたら、一連の制御処理を終了する。
【0036】
以上のように、本実施形態に係る撮像システムによれば、車速が所定値を超える場合には車速が所定値以下の場合と比べて画像内の遠方側からパターンマッチングを行うことにより、車速が上がったときに遠方の対象物検出が迅速に行え、車速に応じて車両運転において必要性の高い検出対象物を適切に検出することができる。
【0037】
また、本実施形態に係る撮像システムによれば、車速が大きいほど遠方側のテンプレートを用いてパターンマッチングを行うことにより、車速に応じて車両運転において必要性の高い検出対象物を適切に検出しつつ、検出に用いるテンプレート数を少なくすることができる。このため、検出に必要な処理量を削減でき、歩行者検出を迅速に行える。従って、歩行者の存在を早いタイミングで報知することができる。また、不要な検出を行わないため、不要な報知による煩わしさを生じない。例えば低速走行時に遠方を通り過ぎる歩行者について煩わしい報知を減らせる。さらに、検出処理量を減らせるため、検出精度を向上させることもできる。
【0038】
また、本実施形態に係る撮像システムによれば、カーブ走行時には近傍側を優先してパターンマッチングして検出対象物の検出を行うことにより、車両の近傍領域を迅速に検出することができる。
【0039】
さらに、本実施形態に係る撮像システムによれば、雨天走行時には遠方側を優先してパターンマッチングして検出対象物の検出を行うことにより、雨天時における遠方領域を重点的に検出することができ、車両運転の安全性が高められる。
【0040】
なお、上述した本実施形態は、本発明に係る撮像システムの一例を示したものである。このため、本発明に係る撮像システムは、このようなものに限られるものではなく、各請求項に記載した要旨を変更しないように実施形態に係る撮像システムを変形し、又は他のものに適用したものであってもよい。
【0041】
例えば、本実施形態では、車両の夜間走行における運転者の視認を支援する視認支援システムに適用する場合について説明したが、他のシステムに適用したものであってもよい。
【図面の簡単な説明】
【0042】
【図1】本発明の実施形態に係る撮像システムの構成概要図である。
【図2】図1の撮像システムの動作を示すフローチャートである。
【図3】図1の撮像システムにおけるパターンマッチングの説明図である。
【図4】図1の撮像システムにおけるテンプレートを用いたパターンマッチングの説明図である。
【図5】図1の撮像システムにおけるテンプレートを用いたパターンマッチングの説明図である。
【図6】図1の撮像システムにおけるテンプレートを用いたパターンマッチングの説明図である。
【図7】図1の撮像システムにおけるテンプレートを用いたパターンマッチングの説明図である。
【符号の説明】
【0043】
1…撮像システム、2…カメラ、3…制御処理部、4…表示部、5…車速センサ、6…ワイパ作動センサ、8…報知部。

【特許請求の範囲】
【請求項1】
車両の周囲を撮像する撮像手段と、
パターンマッチングによって前記撮像手段により撮像された画像内の検出対象物を検出するものであって、車速が前記所定値を超える場合には車速が前記所定値以下の場合と比べて画像内の遠方側からパターンマッチングを行う検出手段と、
を備えた撮像システム。
【請求項2】
前記検出手段は、複数のテンプレートを用いてパターンマッチングを行うものであって、車速が前記所定値を超える場合には車速が前記所定値以下の場合と比べて遠方側を検出するための遠方側テンプレートを先に用いてパターンマッチングを行うこと、
を特徴とする請求項1に記載の撮像システム。
【請求項3】
前記検出手段は、車両がカーブを走行している場合には、カーブを走行していない場合と比べて近傍側をパターンマッチングして検出対象物の検出を行うことを特徴とする請求項1又は2に記載の撮像システム。
【請求項4】
車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることを特徴とする請求項1〜3のいずれか一項に記載の撮像システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2008−243013(P2008−243013A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−85221(P2007−85221)
【出願日】平成19年3月28日(2007.3.28)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【Fターム(参考)】