車両用右左折支援装置
【課題】 交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先または左折先横断歩道上の歩行者との接触を防止する。
【解決手段】 撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【解決手段】 撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者の右左折動作を支援する装置に関する。
【背景技術】
【0002】
交差点における横断歩道上の歩行者を検知し、歩行者の存在を交差点付近に設置したパネルに表示したり、ナビゲーション装置の画面に表示するようにした歩行者検知装置が知られている(例えば、特許文献1〜5参照)。
【0003】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献1】特開平05−067293号公報、
【特許文献2】特開平07−105477号公報、
【特許文献3】特開平11−053693号公報、
【特許文献4】特開2000−346657号公報、
【特許文献5】特開2001−195698号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の歩行者検知装置では、交差点ごとに歩行者検知装置を設置しなければならず、インフラ整備のために多額の設備投資が必要となる。
【課題を解決するための手段】
【0005】
撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の効果】
【0006】
本発明によれば、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止する。
【発明を実施するための最良の形態】
【0007】
交差点を右折する場合に、運転者は複数の箇所を確認して右折開始の判断を下しているが、すれ違う対向車が多い場合は右折可能な間合いを見いだすのに注意を注ぎ、右折先の横断歩道上の歩行者への注意がおろそかになる傾向がある。特に、高齢の運転者は同時に複数の箇所に注意を注ぐことが困難であり、右折先横断歩道上の歩行者への注意がおろそかになる。そこで、本発明を、右折先の横断歩道の歩行者や自転車、特に車両の後方から接近してくる歩行者や自転車を検知し、警告して運転者の右折動作を支援する装置に適用した一実施の形態を説明する。
【0008】
《第1の実施の形態》
図1は第1の実施の形態の構成を示す。カメラ201は車両の右側方を撮像してその画像を出力する。この第1の実施の形態では、一般的な交差点において、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るような画角のカメラ201を用い、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るようにカメラ201の光軸方向を設定する。このカメラ201は車両の右側方を撮像するので、右折先の横断歩道周辺の歩行者や自転車を撮像するとともに、右折待ち時にすれ違う対向車両も撮像し、歩行者とすれ違い車両の画像を出力する。
【0009】
画像処理装置202は、カメラ201の撮像画像を処理して右折待ち時にすれ違う対向車両と右折先の横断歩道周辺の歩行者や自転車を検知する。制御装置203はCPUとメモリやA/Dコンバーターなどの周辺部品から構成され、後述する制御プログラムを実行して右折先の歩行者(自転車を含む)を検知する。警告装置204は右折先の歩行者の存在を音声により警告する装置であり、ブザーやスピーカーなどを用いることができる。制御装置203には画像処理装置202、警告装置204の他に、車速を検出する車速センサー205、ターンシグナルランプを点消灯するためのターンシグナルスイッチ206、ブレーキペダルの踏み込み状態を検出するブレーキスイッチ207などが接続されている。
【0010】
図2は第1の実施の形態の歩行者検知プログラムを示すフローチャートである。制御装置203は、車両のイグニッションスイッチ(不図示)がオンしている間、この歩行者検知プログラムを繰り返し実行する。ステップ301において車速センサー205により検出した車速が0km/hか否かを確認する。通常、車速を低減するだけで右折が可能な場合は、対向車との間合いに比較的余裕がある場合が多く、右折開始時の初速が0km/hでないため右折に要する時間が短く、また、交差点に近づいていくときに右折先の横断歩道を渡ろうとしている歩行者や自転車を確認しやすいことから、車速が0km/hでない場合は歩行者検知による右折支援の必要はないとする。車速が0km/hになるまでステップ301で待機し、車速が0km/hになったらステップ302へ進む。なお、この場合の車速の“0km/h”は車両が停車しているか否かを判定する基準値であるから、厳密に0km/hでなくても停車状態にあると見なせる低い車速値としてもよい。
【0011】
続くステップ302では右側のターンシグナルスイッチ206がオンしているか否かを確認する。右側のターンシグナルスイッチ206がオンしていないときは右折支援の必要はないからステップ301へ戻り、右側のターンシグナルスイッチ206がオンしているときはステップ303へ進む。ステップ303で後述するサブルーチンを実行し、カメラ201の撮像画像を処理して右折時にすれ違う対向車両を検知する。この右折時にすれ違う対向車の検知処理については後述する。
【0012】
続くステップ304ではすれ違う対向車の検知状態が所定の条件を満足しているか、つまり運転者が右折の間合いを見ているかどうかを判定する。対向車のすれ違い状態が過密、すなわち対向車のすれ違い頻度が高い場合には、運転者が右折の間合いを見ていると判定する。なお、所定の条件には、運転者が右折の間合いを見ていると判断できる対向車のすれ違い頻度を設定すればよい。この判定の詳細については後述する。すれ違う対向車の検知状態が所定条件を満たしている場合はステップ305へ進み、そうでなければステップ301へ戻って上述した処理を繰り返す。
【0013】
ステップ305において後述するサブルーチンを実行し、カメラ201の撮像画像を処理して右折先横断歩道への接近者の検知を行う。この右折先横断歩道への接近者の検知については後述する。次にステップ306で右折先横断歩道への接近者が検知されたか否かを確認し、接近者が検知された場合はステップ307へ進み、接近者が検知されない場合はステップ301へ戻って上述した処理を繰り返す。
【0014】
運転者がすれ違う対向車の間合いを見ながら右折待ちをしているときに、右折先の横断歩道へ接近する歩行者(自転車を含む)が検知された場合は、ステップ307でブレーキスイッチ207がオンからオフに切り替わったか、つまり踏み込まれていたブレーキペダルが解放されたか否かを確認する。ブレーキペダルの解放が検出された場合はステップ308へ進み、そうでなければステップ301へ戻って上述した処理を繰り返す。踏み込まれていたブレーキペダルが解放された場合は運転者に右折開始の意志があると判断し、ステップ308で警告装置204により右折先の横断歩道で歩行者と接触するおそれがあることを警告する。
【0015】
なお、ブレーキスイッチ207により運転者の右折開始の意志を確認するのは、ブレーキペダルから足を離した直後はオートマチックトランスミッション車でもクリーピング現象により極低速で車両が動き始める状態にあるので、適切なタイミングで歩行者の存在を運転者に警告することができる。
【0016】
図3は右折時にすれ違う対向車を検知するためのサブルーチンを示す。このサブルーチンは上述した図2のステップ303において実行される。ステップ401において車両の右側方を撮像するカメラ201から画像を入力する。
【0017】
通常、交差点を右折するときには、運転者はすれ違う対向車に注意力を集中する。カメラ201は、交差点右折時に運転者がすれ違う対向車を見ている場合の運転者の視野角を補うように設置される。一般の運転者の左右の視野角は、図4に示すように、両眼で見える範囲が正面を基準にして左右に100度づつ、合計200度程度とされている。しかし、運転者が注視できる範囲はごく小さな領域に過ぎず、両眼で色彩まで確認できる範囲は70度程度である。よって、右折先の横断歩道に接近する歩行者や自転車を確認することは、すれ違う対向車を注視している状態では困難である。
【0018】
図5は、運転者の視野角を補うカメラの設置位置と向き(撮影レンズの光軸の方向)を示す。図中の“A”は、図6に示すように運転者が対向車を注視しているときに、両眼で色彩まで確認できる視野角に加えて、右折先の横断歩道周辺の歩行者をカメラ201で確認できるように撮像範囲を設定したものである。この例では、カメラ201の水平角(画角)を一般的な広角レンズの90度としている。
【0019】
また、図5の“B”は、見通しの悪い交差点を通過する際に、交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラを、右折時のすれ違い車両と歩行者を検知するカメラと兼用した例である。図7に示すように、フロントサイドビューモニターのカメラを兼用しても右折時のすれ違い車両と歩行者検知用カメラの撮像範囲として十分に使用できる。
【0020】
図5の“C”は、車両の前端部にカメラ201を取り付け、その向き(撮影レンズの光軸方向)を右後側方に向けた例である。このようにすると、図8に示すように比較的速度の速い自転車などにも対応でき、カメラ201の撮像範囲内に右折先の横断歩道を渡ろうとしている歩行者と自転車を捕捉することができる。
【0021】
図9は、夜間においても右側方の歩行者や自転車を検知できるように、カメラ201の近くに近赤外ランプを設置した例を示す。
【0022】
図3のステップ401でカメラ201の画像を入力後、ステップ402で車両検知初期条件フラグがONになっているか否かを判定する。初期状態では同フラグはOFFになっているのでステップ403へ進み、カメラ画像の左端領域に“所定の条件を満たす差分”が発生したか否かを判定する。
【0023】
ここで、“所定の条件を満たす差分”とは、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。また、以下では所定値以上の濃度差が発生した“差分”画素の領域を“差分発生領域”という。
【0024】
カメラ201の撮像範囲内にすれ違う車両が進入した場合には、図10に示すように時系列画像の最初のものから順に差分領域が発生する。このすれ違い車両による差分発生領域は画面の左端から発生し、画像全体に拡大した後、右端へ移動して消えていく。ステップ403における判定は、すれ違い車両により発生する差分の初期現象を捕らえるもので、画像の左端領域で差分が発生しない場合はステップ401へ戻る。一方、画像の左端領域に所定条件を満たす差分が発生した場合はステップ404へ進み、車両検知初期条件フラグをONにするとともに、該当する画像をnフレームとして制御装置203のメモリ(不図示)に記憶する。その後、ステップ401へ戻って次の画像入力を行う。
【0025】
カメラ画像の左端領域に差分が発生した場合は、車両検知初期条件フラグがONされているのでステップ402から405へ進み、車両検知画像フレームカウンターをカウントアップする。この車両検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、差分が発生した画像フレームの枚数をカウントする。
【0026】
ステップ406において、カメラ画像の左端領域に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【0027】
ここで、差分発生領域の所定の条件は、例えば、差分発生領域の面積(画素数)が、画面上においてすれ違う対向車両が存在するか否かを判定するための基準の面積(画素数)よりも広く、かつ差分発生領域が画像フレームnよりもカウントアップ数αに応じた距離だけ右側に移動していることを条件とする。
【0028】
ステップ406で所定条件を満たす差分発生領域が存在していないと判定された場合はステップ407へ進み、ステップ403で発生した画像の左端領域の差分はすれ違い車両に対応するものではないとし、車両検知初期条件フラグをOFFにするとともに、車両検知画像フレームカウンターをクリヤーしてステップ401へ戻る。
【0029】
一方、ステップ406で所定条件を満たす差分発生領域が存在していると判定された場合はステップ408へ進み、画像の右端領域に所定条件を満たす差分が発生したか否かを判定する。この“所定条件を満たす差分”とは、上述したように、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。カメラ201の撮像範囲をすれ違い車両が走り抜けていくときの最後の段階では、画像の右端領域にのみ差分が発生する。
【0030】
画像全体に差分が発生している間はステップ401へ戻って上述した処理を繰り返すが、画像の右端領域にのみ差分が発生した場合はステップ409へ進み、車両検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。なお、この所定値はすれ違う対向車両が存在しているか否かを判定する判定基準値であり、すれ違い車両の車種、特に大きさと長さ、すれ違い速度などによる影響を考慮して適当な値を設定する。
【0031】
車両検知画像フレームカウンターのカウント値が所定値以上の場合はステップ410へ進み、すれ違い車両を検知したとし、ステップ401へ戻って上述したすれ違い車両の検知処理を繰り返す。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ407へ進み、車両検知初期条件フラグをOFFにするとともに、画像フレームカウンターをクリヤーしてステップ401へ戻り、上述したすれ違い車両の検知処理を繰り返す。
【0032】
図11は、種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す。交差点内で右折待ちをしているか否かを判定する図3のステップ304では、上述したすれ違い車両の検知処理によって、すれ違い車両が存在するとされた各画像フレームの差分発生画素の総数の変化に基づいて判定することができる。画像の取り込み時間間隔1/30秒ごとの差分発生画素の総数は、乗用車の場合は車両AまたはDのように計測され、ワンボックスタイプの車両の場合は車両Bのように計測され、トラックの場合は車両Cのように計測される。この計測値によって、差分の発生する時間間隔が分かるので、すれ違い車両の通過頻度と車間距離を検出でき、交差点内における右折待ち状態の判定に用いることができる。
【0033】
図12は右折先横断歩道への接近者を検知するためのサブルーチンを示す。このサブルーチンは図2のステップ305で実行される。ステップ1301においてカメラ201から撮像画像を入力し、続くステップ1302で接近者検知初期条件フラグがONになっているか否かを確認する。初期状態では同フラグはOFFになっているのでステップ1303へ進み、所定条件を満たす差分領域が発生したか否かを判定する。
【0034】
図13は、カメラ201で撮像した右折先の横断歩道に車両後方から接近する歩行者の時系列画像である。右折先の横断歩道に接近する歩行者(自転車を含む)がある場合には、図13に示す時系列画像の最初のものから順に上述した差分領域が発生する。この場合は歩行者が車両後方から接近する場合を想定しているので、画像の右端領域に発生し、順次画像の左端へ移動する。画像に発生した差分領域の面積(画素数)を、歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積(画素数)が判定基準値以上の場合は右折先の横断歩道に接近する歩行者が存在すると判定する。
【0035】
ステップ1303で所定条件を満たす差分が発生していない場合はステップ1301へ戻り、ふたたびカメラ画像の入力を行う。所定条件を満たす差分が発生しており、右折先の横断歩道へ接近する歩行者の存在が確認される場合はステップ1304へ進み、接近者検知初期条件フラグをONする。続くステップ1305で右折先横断歩道へ接近する歩行者を最初に捕捉した画像をnフレームとして制御装置203のメモリに記憶するとともに、差分が発生した位置をメモリに記憶する。その後、ステップ1301へ戻り、次の画像入力を行う。
【0036】
カメラ画像に歩行者の差分領域が発生した場合は、接近者検知初期条件フラグがONされているのでステップ1302から1306へ進み、接近者検知画像フレームカウンターをカウントアップする。この接近者検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、歩行者の差分領域が発生している画像フレームの枚数をカウントする。
【0037】
ステップ1307において、カメラ画像に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【0038】
この所定の条件とは、差分発生領域の面積(画素数)を歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分発生領域の面積(画素数)が判定基準値以上であって、かつまた、カメラ画像に最初に差分が発生した画像フレームn上での差分発生領域の位置から画像フレーム(n+α)上での差分発生領域の位置が所定範囲内で画像の左方向に移動していることを条件とする。つまり、歩行者や自転車の移動特性を考慮した条件とする。
【0039】
ステップ1307において所定条件を満たす差分発生領域が存在していないと判定された場合は、カメラ画像に最初に差分が発生した画像フレームnは歩行者や自転車を捕捉した画像ではない、つまり検知対象物は横断歩道上で接触するような危険物ではないとしてステップ1310へ進み、接近者検知初期条件フラグをOFFにするとともに、接近者検知画像フレームカウンターをクリヤーしてステップ1301へ戻る。
【0040】
一方、ステップ1307において所定条件を満たす差分発生領域が存在すると判定された場合はステップ1308へ進み、接近者検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。画像フレームカウンターのカウント値が所定値以上の場合はステップ1309へ進み、歩行者や自転車を検知したとしてステップ1301へ戻る。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ1301へ戻る。
【0041】
なお、ステップ1303と1307において、歩行者(自転車を含む)の存在の有無を判定するため基準値に範囲を設け、横断歩道周辺で所定量以上の歩行者や自転車が存在すると判定された場合には、右折先横断歩道の歩行者や自転車の往来が多くて右折時にそれらを見落とす危険性は少ないから、あえて歩行者を検知したとせずに警告の出力を制限するようにしてもよい。
【0042】
次に、右折待ち時にすれ違う対向車を検知したり、右折先横断歩道上への接近者を検知するための画像処理に時系列画像間のオプティカルフローを用いた例を説明する。この方法は、画像領域を任意に切り分け、その重み付けを自由に設定できることと、その領域での検出対象物の移動方向と移動速度が判定できるので、さらに検知性能を向上できるという利点がある。
【0043】
オプティカルフローは、大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手法である。画像処理装置では、画像データと領域データとを入力とし、オプティカルフローを出力する。領域データとは、図14に示すように参照領域の位置(tx,ty)と大きさ(tw,th)および探索領域の位置(sx,sy)と大きさ(sw,wh)により表されるデータである。オプティカルフローを算出するため、ある時刻tのフィルターをかけた顔画像に対して少なくとも1つ以上の参照領域(X座標tx、Y座標ty、幅tw画素、高さth画素)を設定し、時刻(t+1)のフィルターをかけた顔画像に対して設定した参照領域と同じ数の探索領域(X座標sx、Y座標sy、幅sw画素、高さsh画素)を設定する。これら2つの領域は、図14に示すとおり参照領域が探索領域の内側に設定されている。
【0044】
この実施の形態のオプティカルフローの計算には一般にブロックマッチング法と呼ばれる手法を使用しており、現フレームの探索領域から前フレームの参照領域に最も類似度が高い領域を算出する。類似度の計算は、図14と図15に示すように参照領域内の濃淡データをT、探索領域内の任意の位置(xd,yd)、
-(sw-tw)/2〈xd〈(sw-tw)/2、
-(sh-th)/2〈yd〈(sh-th)/2 ・・・(1)
から切り出した参照領域と同じサイズの濃淡データを候補領域S(xd,yd)とすると、類似度θは、参照領域Tと候補領域Sのなす角θとして次の式で定義する。
cosθ(xd,yd)=T・S(xd,yd)/(|T|・|S(xd,yd)|) ・・・(2)
【0045】
探索領域内のすべての位置で参照領域と候補領域の類似度θを求める。類似度θが最大となる座標(xd,yd)を参照領域の動きベクトル(xd,yd)とする。オプティカルフロー(動きの検出)の計算方法はこの一実施の形態で説明した方法以外にも、八木信行監修“ディジタル映像処理”(映像情報メディア学会編、pp129-139、2000年、オーム社発行)などの文献で、動画像から動きを検出する手法が複数紹介されており、それらを用いることもできる。
【0046】
図16は、すれ違い車両と歩行者の動きの左右方向のオプティカルフローを時系列的に出力状態をグラフ表示したものである。図16の算出結果は、図14に示すように画像全体に配置したすべての参照領域で発生した左右方向の移動量を積算させたものであるが、画像処理装置としてオプティカルフローを用いる手法は、図17に示すように、すれ違い車両の移動ベクトルを求めるためにA領域とB領域に限定することも可能で、移動ベクトルの算出によって、同時すれ違い車両の速度や大きさを判定することもできる。また、歩行者検知用の参照領域としては、C領域やD領域に限定することができ、C領域に発生する移動量とD領域に発生する移動量でその危険度を判定することもできる。
【0047】
《発明の第2の実施の形態》
レーザーレーダーにより先行車を検出することによって、交差点を右折する際に右折先の横断歩道上の歩行者と接触する危険性をさらに正確に判断できるようにした第2の実施の形態を説明する。
【0048】
図18は第2の実施の形態の構成を示す。この第2の実施の形態では、図1に示す第1の実施の形態の構成にレーザーレーダー1908を加える。レーザーレーダー1908は先行車の検出と先行車までの距離を検出する。なお、図18において、レーダーレーザー1908以外の機器1901〜1907は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0049】
図19は、第2の実施の形態の歩行者検知プログラムを示すフローチャートである。図20に示すように、右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ2003において右折待ち時に先行車が検出された場合はすれ違い車両の検知と歩行者検知を行わずにステップ2001へ戻る。この場合は警告は発せられない。図19において、ステップ2003の上記処理以外は図2の対応する各ステップの処理と同様であり、説明を省略する。
【0050】
《発明の第3の実施の形態》
自車の操舵角に基づいて右折待ち時に先行車がいるか否かを判定し、先行車がいる場合には歩行者検知の警告を行わないようにした第3の実施の形態を説明する。
【0051】
図21は第3の実施の形態の構成を示す。この第3の実施の形態では、図1に示す第1の実施の形態の構成に蛇角センサー2208を加える。蛇角センサー2208は車両の操舵角を検出する。なお、図21において、操舵角センサー2208以外の機器2201〜2207は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0052】
図22は第3の実施の形態の歩行者検知プログラムを示すフローチャートである。右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ2303においてハンドルが所定角以上右に切られていない場合は右折待ちをしている先行車がいると判断し、すれ違い車両の検知と歩行者検知を行わずにステップ2001へ戻る。この場合は警告は発せられない。図22において、ステップ2303の上記処理以外は図2の対応する各ステップの処理と同様であり、説明を省略する。
【0053】
《発明の第4の実施の形態》
右折先横断歩道へ接近する歩行者が検知されたときに警告を行う以外に、運転者がブレーキペダルからアクセルペダルへ踏み変えてもスロットルバルブが開くのを禁止し、運転者が右後方を注視して右折先横断歩道へ接近する歩行者や自転車がいないことを確認するまでの適当な時間だけ右折動作の開始を遅らせるようにした第4の実施の形態を説明する。
【0054】
図23は第4の実施の形態の構成を示す。この第4の実施の形態では、図1に示す第1の実施の形態の構成にアクセル制御装置2508を加える。アクセル制御装置2508は、通常はアクセルペダルの踏み込みに応じてスロットルバルブを開閉するが、制御装置2503から右折時の歩行者検知信号が出力されると、運転者がブレーキペダルからアクセルペダルへ踏み換えても直ちにスロットルバルブを開けず、所定時間の間、スロットルバルブの開きを禁止する。アクセル制御装置2508によりアクセルペダルの踏み込みが行えないようにしてもよい。なお、図23において、アクセル制御装置2508以外の機器2501〜2507は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0055】
このように、一実施の形態によれば、カメラによる撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行うようにしたので、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止することができる。
【0056】
また、一実施の形態によれば、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定するようにしたので、車両が右折待ち状態にあることを正確に検出することができる。
【0057】
一実施の形態によれば、車両が右折待ち状態にあると判定されたときに先行車が検出された場合には、運転者の車両を発進させる意志が検出されても警告を行わないようにしたので、不必要な警告を避けることができる。
【0058】
一実施の形態によれば、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは、警告を行うとともに車両の加速を禁止するようにしたので、右折先横断歩道上の歩行者との接触を確実に防止することができる。
【0059】
一実施の形態によれば、所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないようにしたので、不必要な警告と加速禁止を防止することができる。
【0060】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ201,1901,2201,2501が撮像手段を、画像処理装置202,1902,2202,2502が歩行者検出手段および対面車両検出手段を、制御装置203,1903,2203,2503が右折待ち状態判定手段および制御手段を、ブレーキスイッチ207,1907,2207,2507が発進意志検出手段を、警告装置204,1904,2204,2504が警告手段を、車速センサー205,1905,2205,2505が停車検出手段を、レーザーレーダー1908および蛇角センサー2208が先行車検出手段を、アクセル制御装置2508が車両加速手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【0061】
なお、上述した一実施の形態では、本発明を左側通行の交通システムにおける運転者の右折動作を支援する装置に適用した例を示したが、右側通行の交通システムにおける運転者の左折動作を支援する装置に適用することもでき、同様な効果を得ることができる。
【0062】
上述した一実施の形態では、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、カメラ画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定する例を示したが、右折待ち状態の判定条件の中からカメラ画像処理によるすれ違い車両の検出条件を除き、車両の停車状態が検出され、かつターンシグナルスイッチが右折側に操作されている場合に、車両が右折待ち状態にあると判定するようにしてもよい。
【図面の簡単な説明】
【0063】
【図1】第1の実施の形態の構成を示す図である。
【図2】第1の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図3】右折時にすれ違う対向車を検知するためのサブルーチンを示すフローチャートである。
【図4】運転者の左右の視野角を示す図である。
【図5】運転者の視野角を補うカメラの設置位置と向きを示す図である。
【図6】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図7】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図8】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図9】すれ違い車両と歩行者を検知するカメラの近くに近赤外ランプを設置した例を示す図である。
【図10】カメラで撮像したすれ違い車両の時系列画像を示す図である。
【図11】右折時に種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す図である。
【図12】右折先横断歩道への接近者を検知するためのサブルーチンを示すフローチャートである。
【図13】カメラで撮像した右折先横断歩道に車両後方から接近する歩行者の時系列画像を示す図である。
【図14】オプティカルフローの適用方法に関する説明図である。
【図15】オプティカルフローの適用方法に関する説明図である。
【図16】オプティカルフローの適用方法に関する説明図である。
【図17】オプティカルフローの適用方法に関する説明図である。
【図18】第2の実施の形態の構成を示す図である。
【図19】第2の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図20】右折時に先行車がいる場合の状況を説明する図である。
【図21】第3の実施の形態の構成を示す図である。
【図22】第3の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図23】第4の実施の形態の構成を示す図である。
【符号の説明】
【0064】
201、1901、2201、2501 カメラ
202、1902、2202、2502 画像処理装置
203、1903、2203、2503 制御装置
204、1904、2204、2504 警告装置
205、1905、2205、2505 車速センサー
206、1906、2206、2506 ターンシグナルスイッチ
207、1907、2207、2507 ブレーキスイッチ
1908 レーザーレーダー
2208 蛇角センサー
2508 アクセル制御装置
【技術分野】
【0001】
本発明は、運転者の右左折動作を支援する装置に関する。
【背景技術】
【0002】
交差点における横断歩道上の歩行者を検知し、歩行者の存在を交差点付近に設置したパネルに表示したり、ナビゲーション装置の画面に表示するようにした歩行者検知装置が知られている(例えば、特許文献1〜5参照)。
【0003】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献1】特開平05−067293号公報、
【特許文献2】特開平07−105477号公報、
【特許文献3】特開平11−053693号公報、
【特許文献4】特開2000−346657号公報、
【特許文献5】特開2001−195698号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来の歩行者検知装置では、交差点ごとに歩行者検知装置を設置しなければならず、インフラ整備のために多額の設備投資が必要となる。
【課題を解決するための手段】
【0005】
撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の効果】
【0006】
本発明によれば、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止する。
【発明を実施するための最良の形態】
【0007】
交差点を右折する場合に、運転者は複数の箇所を確認して右折開始の判断を下しているが、すれ違う対向車が多い場合は右折可能な間合いを見いだすのに注意を注ぎ、右折先の横断歩道上の歩行者への注意がおろそかになる傾向がある。特に、高齢の運転者は同時に複数の箇所に注意を注ぐことが困難であり、右折先横断歩道上の歩行者への注意がおろそかになる。そこで、本発明を、右折先の横断歩道の歩行者や自転車、特に車両の後方から接近してくる歩行者や自転車を検知し、警告して運転者の右折動作を支援する装置に適用した一実施の形態を説明する。
【0008】
《第1の実施の形態》
図1は第1の実施の形態の構成を示す。カメラ201は車両の右側方を撮像してその画像を出力する。この第1の実施の形態では、一般的な交差点において、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るような画角のカメラ201を用い、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るようにカメラ201の光軸方向を設定する。このカメラ201は車両の右側方を撮像するので、右折先の横断歩道周辺の歩行者や自転車を撮像するとともに、右折待ち時にすれ違う対向車両も撮像し、歩行者とすれ違い車両の画像を出力する。
【0009】
画像処理装置202は、カメラ201の撮像画像を処理して右折待ち時にすれ違う対向車両と右折先の横断歩道周辺の歩行者や自転車を検知する。制御装置203はCPUとメモリやA/Dコンバーターなどの周辺部品から構成され、後述する制御プログラムを実行して右折先の歩行者(自転車を含む)を検知する。警告装置204は右折先の歩行者の存在を音声により警告する装置であり、ブザーやスピーカーなどを用いることができる。制御装置203には画像処理装置202、警告装置204の他に、車速を検出する車速センサー205、ターンシグナルランプを点消灯するためのターンシグナルスイッチ206、ブレーキペダルの踏み込み状態を検出するブレーキスイッチ207などが接続されている。
【0010】
図2は第1の実施の形態の歩行者検知プログラムを示すフローチャートである。制御装置203は、車両のイグニッションスイッチ(不図示)がオンしている間、この歩行者検知プログラムを繰り返し実行する。ステップ301において車速センサー205により検出した車速が0km/hか否かを確認する。通常、車速を低減するだけで右折が可能な場合は、対向車との間合いに比較的余裕がある場合が多く、右折開始時の初速が0km/hでないため右折に要する時間が短く、また、交差点に近づいていくときに右折先の横断歩道を渡ろうとしている歩行者や自転車を確認しやすいことから、車速が0km/hでない場合は歩行者検知による右折支援の必要はないとする。車速が0km/hになるまでステップ301で待機し、車速が0km/hになったらステップ302へ進む。なお、この場合の車速の“0km/h”は車両が停車しているか否かを判定する基準値であるから、厳密に0km/hでなくても停車状態にあると見なせる低い車速値としてもよい。
【0011】
続くステップ302では右側のターンシグナルスイッチ206がオンしているか否かを確認する。右側のターンシグナルスイッチ206がオンしていないときは右折支援の必要はないからステップ301へ戻り、右側のターンシグナルスイッチ206がオンしているときはステップ303へ進む。ステップ303で後述するサブルーチンを実行し、カメラ201の撮像画像を処理して右折時にすれ違う対向車両を検知する。この右折時にすれ違う対向車の検知処理については後述する。
【0012】
続くステップ304ではすれ違う対向車の検知状態が所定の条件を満足しているか、つまり運転者が右折の間合いを見ているかどうかを判定する。対向車のすれ違い状態が過密、すなわち対向車のすれ違い頻度が高い場合には、運転者が右折の間合いを見ていると判定する。なお、所定の条件には、運転者が右折の間合いを見ていると判断できる対向車のすれ違い頻度を設定すればよい。この判定の詳細については後述する。すれ違う対向車の検知状態が所定条件を満たしている場合はステップ305へ進み、そうでなければステップ301へ戻って上述した処理を繰り返す。
【0013】
ステップ305において後述するサブルーチンを実行し、カメラ201の撮像画像を処理して右折先横断歩道への接近者の検知を行う。この右折先横断歩道への接近者の検知については後述する。次にステップ306で右折先横断歩道への接近者が検知されたか否かを確認し、接近者が検知された場合はステップ307へ進み、接近者が検知されない場合はステップ301へ戻って上述した処理を繰り返す。
【0014】
運転者がすれ違う対向車の間合いを見ながら右折待ちをしているときに、右折先の横断歩道へ接近する歩行者(自転車を含む)が検知された場合は、ステップ307でブレーキスイッチ207がオンからオフに切り替わったか、つまり踏み込まれていたブレーキペダルが解放されたか否かを確認する。ブレーキペダルの解放が検出された場合はステップ308へ進み、そうでなければステップ301へ戻って上述した処理を繰り返す。踏み込まれていたブレーキペダルが解放された場合は運転者に右折開始の意志があると判断し、ステップ308で警告装置204により右折先の横断歩道で歩行者と接触するおそれがあることを警告する。
【0015】
なお、ブレーキスイッチ207により運転者の右折開始の意志を確認するのは、ブレーキペダルから足を離した直後はオートマチックトランスミッション車でもクリーピング現象により極低速で車両が動き始める状態にあるので、適切なタイミングで歩行者の存在を運転者に警告することができる。
【0016】
図3は右折時にすれ違う対向車を検知するためのサブルーチンを示す。このサブルーチンは上述した図2のステップ303において実行される。ステップ401において車両の右側方を撮像するカメラ201から画像を入力する。
【0017】
通常、交差点を右折するときには、運転者はすれ違う対向車に注意力を集中する。カメラ201は、交差点右折時に運転者がすれ違う対向車を見ている場合の運転者の視野角を補うように設置される。一般の運転者の左右の視野角は、図4に示すように、両眼で見える範囲が正面を基準にして左右に100度づつ、合計200度程度とされている。しかし、運転者が注視できる範囲はごく小さな領域に過ぎず、両眼で色彩まで確認できる範囲は70度程度である。よって、右折先の横断歩道に接近する歩行者や自転車を確認することは、すれ違う対向車を注視している状態では困難である。
【0018】
図5は、運転者の視野角を補うカメラの設置位置と向き(撮影レンズの光軸の方向)を示す。図中の“A”は、図6に示すように運転者が対向車を注視しているときに、両眼で色彩まで確認できる視野角に加えて、右折先の横断歩道周辺の歩行者をカメラ201で確認できるように撮像範囲を設定したものである。この例では、カメラ201の水平角(画角)を一般的な広角レンズの90度としている。
【0019】
また、図5の“B”は、見通しの悪い交差点を通過する際に、交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラを、右折時のすれ違い車両と歩行者を検知するカメラと兼用した例である。図7に示すように、フロントサイドビューモニターのカメラを兼用しても右折時のすれ違い車両と歩行者検知用カメラの撮像範囲として十分に使用できる。
【0020】
図5の“C”は、車両の前端部にカメラ201を取り付け、その向き(撮影レンズの光軸方向)を右後側方に向けた例である。このようにすると、図8に示すように比較的速度の速い自転車などにも対応でき、カメラ201の撮像範囲内に右折先の横断歩道を渡ろうとしている歩行者と自転車を捕捉することができる。
【0021】
図9は、夜間においても右側方の歩行者や自転車を検知できるように、カメラ201の近くに近赤外ランプを設置した例を示す。
【0022】
図3のステップ401でカメラ201の画像を入力後、ステップ402で車両検知初期条件フラグがONになっているか否かを判定する。初期状態では同フラグはOFFになっているのでステップ403へ進み、カメラ画像の左端領域に“所定の条件を満たす差分”が発生したか否かを判定する。
【0023】
ここで、“所定の条件を満たす差分”とは、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。また、以下では所定値以上の濃度差が発生した“差分”画素の領域を“差分発生領域”という。
【0024】
カメラ201の撮像範囲内にすれ違う車両が進入した場合には、図10に示すように時系列画像の最初のものから順に差分領域が発生する。このすれ違い車両による差分発生領域は画面の左端から発生し、画像全体に拡大した後、右端へ移動して消えていく。ステップ403における判定は、すれ違い車両により発生する差分の初期現象を捕らえるもので、画像の左端領域で差分が発生しない場合はステップ401へ戻る。一方、画像の左端領域に所定条件を満たす差分が発生した場合はステップ404へ進み、車両検知初期条件フラグをONにするとともに、該当する画像をnフレームとして制御装置203のメモリ(不図示)に記憶する。その後、ステップ401へ戻って次の画像入力を行う。
【0025】
カメラ画像の左端領域に差分が発生した場合は、車両検知初期条件フラグがONされているのでステップ402から405へ進み、車両検知画像フレームカウンターをカウントアップする。この車両検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、差分が発生した画像フレームの枚数をカウントする。
【0026】
ステップ406において、カメラ画像の左端領域に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【0027】
ここで、差分発生領域の所定の条件は、例えば、差分発生領域の面積(画素数)が、画面上においてすれ違う対向車両が存在するか否かを判定するための基準の面積(画素数)よりも広く、かつ差分発生領域が画像フレームnよりもカウントアップ数αに応じた距離だけ右側に移動していることを条件とする。
【0028】
ステップ406で所定条件を満たす差分発生領域が存在していないと判定された場合はステップ407へ進み、ステップ403で発生した画像の左端領域の差分はすれ違い車両に対応するものではないとし、車両検知初期条件フラグをOFFにするとともに、車両検知画像フレームカウンターをクリヤーしてステップ401へ戻る。
【0029】
一方、ステップ406で所定条件を満たす差分発生領域が存在していると判定された場合はステップ408へ進み、画像の右端領域に所定条件を満たす差分が発生したか否かを判定する。この“所定条件を満たす差分”とは、上述したように、カメラ201の撮像範囲内にすれ違う車両が進入して図10に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。カメラ201の撮像範囲をすれ違い車両が走り抜けていくときの最後の段階では、画像の右端領域にのみ差分が発生する。
【0030】
画像全体に差分が発生している間はステップ401へ戻って上述した処理を繰り返すが、画像の右端領域にのみ差分が発生した場合はステップ409へ進み、車両検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。なお、この所定値はすれ違う対向車両が存在しているか否かを判定する判定基準値であり、すれ違い車両の車種、特に大きさと長さ、すれ違い速度などによる影響を考慮して適当な値を設定する。
【0031】
車両検知画像フレームカウンターのカウント値が所定値以上の場合はステップ410へ進み、すれ違い車両を検知したとし、ステップ401へ戻って上述したすれ違い車両の検知処理を繰り返す。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ407へ進み、車両検知初期条件フラグをOFFにするとともに、画像フレームカウンターをクリヤーしてステップ401へ戻り、上述したすれ違い車両の検知処理を繰り返す。
【0032】
図11は、種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す。交差点内で右折待ちをしているか否かを判定する図3のステップ304では、上述したすれ違い車両の検知処理によって、すれ違い車両が存在するとされた各画像フレームの差分発生画素の総数の変化に基づいて判定することができる。画像の取り込み時間間隔1/30秒ごとの差分発生画素の総数は、乗用車の場合は車両AまたはDのように計測され、ワンボックスタイプの車両の場合は車両Bのように計測され、トラックの場合は車両Cのように計測される。この計測値によって、差分の発生する時間間隔が分かるので、すれ違い車両の通過頻度と車間距離を検出でき、交差点内における右折待ち状態の判定に用いることができる。
【0033】
図12は右折先横断歩道への接近者を検知するためのサブルーチンを示す。このサブルーチンは図2のステップ305で実行される。ステップ1301においてカメラ201から撮像画像を入力し、続くステップ1302で接近者検知初期条件フラグがONになっているか否かを確認する。初期状態では同フラグはOFFになっているのでステップ1303へ進み、所定条件を満たす差分領域が発生したか否かを判定する。
【0034】
図13は、カメラ201で撮像した右折先の横断歩道に車両後方から接近する歩行者の時系列画像である。右折先の横断歩道に接近する歩行者(自転車を含む)がある場合には、図13に示す時系列画像の最初のものから順に上述した差分領域が発生する。この場合は歩行者が車両後方から接近する場合を想定しているので、画像の右端領域に発生し、順次画像の左端へ移動する。画像に発生した差分領域の面積(画素数)を、歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積(画素数)が判定基準値以上の場合は右折先の横断歩道に接近する歩行者が存在すると判定する。
【0035】
ステップ1303で所定条件を満たす差分が発生していない場合はステップ1301へ戻り、ふたたびカメラ画像の入力を行う。所定条件を満たす差分が発生しており、右折先の横断歩道へ接近する歩行者の存在が確認される場合はステップ1304へ進み、接近者検知初期条件フラグをONする。続くステップ1305で右折先横断歩道へ接近する歩行者を最初に捕捉した画像をnフレームとして制御装置203のメモリに記憶するとともに、差分が発生した位置をメモリに記憶する。その後、ステップ1301へ戻り、次の画像入力を行う。
【0036】
カメラ画像に歩行者の差分領域が発生した場合は、接近者検知初期条件フラグがONされているのでステップ1302から1306へ進み、接近者検知画像フレームカウンターをカウントアップする。この接近者検知画像フレームカウンターは、制御装置203のCPUのソフトウエア形態で構成されるカウンターであり、歩行者の差分領域が発生している画像フレームの枚数をカウントする。
【0037】
ステップ1307において、カメラ画像に最初に差分が発生した画像フレームnからαカウントアップした画像フレーム(n+α)に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【0038】
この所定の条件とは、差分発生領域の面積(画素数)を歩行者(自転車を含む)の存在の有無を判定するために予め設定した判定基準値と比較し、差分発生領域の面積(画素数)が判定基準値以上であって、かつまた、カメラ画像に最初に差分が発生した画像フレームn上での差分発生領域の位置から画像フレーム(n+α)上での差分発生領域の位置が所定範囲内で画像の左方向に移動していることを条件とする。つまり、歩行者や自転車の移動特性を考慮した条件とする。
【0039】
ステップ1307において所定条件を満たす差分発生領域が存在していないと判定された場合は、カメラ画像に最初に差分が発生した画像フレームnは歩行者や自転車を捕捉した画像ではない、つまり検知対象物は横断歩道上で接触するような危険物ではないとしてステップ1310へ進み、接近者検知初期条件フラグをOFFにするとともに、接近者検知画像フレームカウンターをクリヤーしてステップ1301へ戻る。
【0040】
一方、ステップ1307において所定条件を満たす差分発生領域が存在すると判定された場合はステップ1308へ進み、接近者検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。画像フレームカウンターのカウント値が所定値以上の場合はステップ1309へ進み、歩行者や自転車を検知したとしてステップ1301へ戻る。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ1301へ戻る。
【0041】
なお、ステップ1303と1307において、歩行者(自転車を含む)の存在の有無を判定するため基準値に範囲を設け、横断歩道周辺で所定量以上の歩行者や自転車が存在すると判定された場合には、右折先横断歩道の歩行者や自転車の往来が多くて右折時にそれらを見落とす危険性は少ないから、あえて歩行者を検知したとせずに警告の出力を制限するようにしてもよい。
【0042】
次に、右折待ち時にすれ違う対向車を検知したり、右折先横断歩道上への接近者を検知するための画像処理に時系列画像間のオプティカルフローを用いた例を説明する。この方法は、画像領域を任意に切り分け、その重み付けを自由に設定できることと、その領域での検出対象物の移動方向と移動速度が判定できるので、さらに検知性能を向上できるという利点がある。
【0043】
オプティカルフローは、大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手法である。画像処理装置では、画像データと領域データとを入力とし、オプティカルフローを出力する。領域データとは、図14に示すように参照領域の位置(tx,ty)と大きさ(tw,th)および探索領域の位置(sx,sy)と大きさ(sw,wh)により表されるデータである。オプティカルフローを算出するため、ある時刻tのフィルターをかけた顔画像に対して少なくとも1つ以上の参照領域(X座標tx、Y座標ty、幅tw画素、高さth画素)を設定し、時刻(t+1)のフィルターをかけた顔画像に対して設定した参照領域と同じ数の探索領域(X座標sx、Y座標sy、幅sw画素、高さsh画素)を設定する。これら2つの領域は、図14に示すとおり参照領域が探索領域の内側に設定されている。
【0044】
この実施の形態のオプティカルフローの計算には一般にブロックマッチング法と呼ばれる手法を使用しており、現フレームの探索領域から前フレームの参照領域に最も類似度が高い領域を算出する。類似度の計算は、図14と図15に示すように参照領域内の濃淡データをT、探索領域内の任意の位置(xd,yd)、
-(sw-tw)/2〈xd〈(sw-tw)/2、
-(sh-th)/2〈yd〈(sh-th)/2 ・・・(1)
から切り出した参照領域と同じサイズの濃淡データを候補領域S(xd,yd)とすると、類似度θは、参照領域Tと候補領域Sのなす角θとして次の式で定義する。
cosθ(xd,yd)=T・S(xd,yd)/(|T|・|S(xd,yd)|) ・・・(2)
【0045】
探索領域内のすべての位置で参照領域と候補領域の類似度θを求める。類似度θが最大となる座標(xd,yd)を参照領域の動きベクトル(xd,yd)とする。オプティカルフロー(動きの検出)の計算方法はこの一実施の形態で説明した方法以外にも、八木信行監修“ディジタル映像処理”(映像情報メディア学会編、pp129-139、2000年、オーム社発行)などの文献で、動画像から動きを検出する手法が複数紹介されており、それらを用いることもできる。
【0046】
図16は、すれ違い車両と歩行者の動きの左右方向のオプティカルフローを時系列的に出力状態をグラフ表示したものである。図16の算出結果は、図14に示すように画像全体に配置したすべての参照領域で発生した左右方向の移動量を積算させたものであるが、画像処理装置としてオプティカルフローを用いる手法は、図17に示すように、すれ違い車両の移動ベクトルを求めるためにA領域とB領域に限定することも可能で、移動ベクトルの算出によって、同時すれ違い車両の速度や大きさを判定することもできる。また、歩行者検知用の参照領域としては、C領域やD領域に限定することができ、C領域に発生する移動量とD領域に発生する移動量でその危険度を判定することもできる。
【0047】
《発明の第2の実施の形態》
レーザーレーダーにより先行車を検出することによって、交差点を右折する際に右折先の横断歩道上の歩行者と接触する危険性をさらに正確に判断できるようにした第2の実施の形態を説明する。
【0048】
図18は第2の実施の形態の構成を示す。この第2の実施の形態では、図1に示す第1の実施の形態の構成にレーザーレーダー1908を加える。レーザーレーダー1908は先行車の検出と先行車までの距離を検出する。なお、図18において、レーダーレーザー1908以外の機器1901〜1907は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0049】
図19は、第2の実施の形態の歩行者検知プログラムを示すフローチャートである。図20に示すように、右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ2003において右折待ち時に先行車が検出された場合はすれ違い車両の検知と歩行者検知を行わずにステップ2001へ戻る。この場合は警告は発せられない。図19において、ステップ2003の上記処理以外は図2の対応する各ステップの処理と同様であり、説明を省略する。
【0050】
《発明の第3の実施の形態》
自車の操舵角に基づいて右折待ち時に先行車がいるか否かを判定し、先行車がいる場合には歩行者検知の警告を行わないようにした第3の実施の形態を説明する。
【0051】
図21は第3の実施の形態の構成を示す。この第3の実施の形態では、図1に示す第1の実施の形態の構成に蛇角センサー2208を加える。蛇角センサー2208は車両の操舵角を検出する。なお、図21において、操舵角センサー2208以外の機器2201〜2207は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0052】
図22は第3の実施の形態の歩行者検知プログラムを示すフローチャートである。右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ2303においてハンドルが所定角以上右に切られていない場合は右折待ちをしている先行車がいると判断し、すれ違い車両の検知と歩行者検知を行わずにステップ2001へ戻る。この場合は警告は発せられない。図22において、ステップ2303の上記処理以外は図2の対応する各ステップの処理と同様であり、説明を省略する。
【0053】
《発明の第4の実施の形態》
右折先横断歩道へ接近する歩行者が検知されたときに警告を行う以外に、運転者がブレーキペダルからアクセルペダルへ踏み変えてもスロットルバルブが開くのを禁止し、運転者が右後方を注視して右折先横断歩道へ接近する歩行者や自転車がいないことを確認するまでの適当な時間だけ右折動作の開始を遅らせるようにした第4の実施の形態を説明する。
【0054】
図23は第4の実施の形態の構成を示す。この第4の実施の形態では、図1に示す第1の実施の形態の構成にアクセル制御装置2508を加える。アクセル制御装置2508は、通常はアクセルペダルの踏み込みに応じてスロットルバルブを開閉するが、制御装置2503から右折時の歩行者検知信号が出力されると、運転者がブレーキペダルからアクセルペダルへ踏み換えても直ちにスロットルバルブを開けず、所定時間の間、スロットルバルブの開きを禁止する。アクセル制御装置2508によりアクセルペダルの踏み込みが行えないようにしてもよい。なお、図23において、アクセル制御装置2508以外の機器2501〜2507は図1に示す機器201〜207と同様であり、それらの説明を省略する。
【0055】
このように、一実施の形態によれば、カメラによる撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行うようにしたので、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止することができる。
【0056】
また、一実施の形態によれば、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定するようにしたので、車両が右折待ち状態にあることを正確に検出することができる。
【0057】
一実施の形態によれば、車両が右折待ち状態にあると判定されたときに先行車が検出された場合には、運転者の車両を発進させる意志が検出されても警告を行わないようにしたので、不必要な警告を避けることができる。
【0058】
一実施の形態によれば、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは、警告を行うとともに車両の加速を禁止するようにしたので、右折先横断歩道上の歩行者との接触を確実に防止することができる。
【0059】
一実施の形態によれば、所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないようにしたので、不必要な警告と加速禁止を防止することができる。
【0060】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ201,1901,2201,2501が撮像手段を、画像処理装置202,1902,2202,2502が歩行者検出手段および対面車両検出手段を、制御装置203,1903,2203,2503が右折待ち状態判定手段および制御手段を、ブレーキスイッチ207,1907,2207,2507が発進意志検出手段を、警告装置204,1904,2204,2504が警告手段を、車速センサー205,1905,2205,2505が停車検出手段を、レーザーレーダー1908および蛇角センサー2208が先行車検出手段を、アクセル制御装置2508が車両加速手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【0061】
なお、上述した一実施の形態では、本発明を左側通行の交通システムにおける運転者の右折動作を支援する装置に適用した例を示したが、右側通行の交通システムにおける運転者の左折動作を支援する装置に適用することもでき、同様な効果を得ることができる。
【0062】
上述した一実施の形態では、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、カメラ画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定する例を示したが、右折待ち状態の判定条件の中からカメラ画像処理によるすれ違い車両の検出条件を除き、車両の停車状態が検出され、かつターンシグナルスイッチが右折側に操作されている場合に、車両が右折待ち状態にあると判定するようにしてもよい。
【図面の簡単な説明】
【0063】
【図1】第1の実施の形態の構成を示す図である。
【図2】第1の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図3】右折時にすれ違う対向車を検知するためのサブルーチンを示すフローチャートである。
【図4】運転者の左右の視野角を示す図である。
【図5】運転者の視野角を補うカメラの設置位置と向きを示す図である。
【図6】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図7】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図8】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図9】すれ違い車両と歩行者を検知するカメラの近くに近赤外ランプを設置した例を示す図である。
【図10】カメラで撮像したすれ違い車両の時系列画像を示す図である。
【図11】右折時に種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す図である。
【図12】右折先横断歩道への接近者を検知するためのサブルーチンを示すフローチャートである。
【図13】カメラで撮像した右折先横断歩道に車両後方から接近する歩行者の時系列画像を示す図である。
【図14】オプティカルフローの適用方法に関する説明図である。
【図15】オプティカルフローの適用方法に関する説明図である。
【図16】オプティカルフローの適用方法に関する説明図である。
【図17】オプティカルフローの適用方法に関する説明図である。
【図18】第2の実施の形態の構成を示す図である。
【図19】第2の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図20】右折時に先行車がいる場合の状況を説明する図である。
【図21】第3の実施の形態の構成を示す図である。
【図22】第3の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図23】第4の実施の形態の構成を示す図である。
【符号の説明】
【0064】
201、1901、2201、2501 カメラ
202、1902、2202、2502 画像処理装置
203、1903、2203、2503 制御装置
204、1904、2204、2504 警告装置
205、1905、2205、2505 車速センサー
206、1906、2206、2506 ターンシグナルスイッチ
207、1907、2207、2507 ブレーキスイッチ
1908 レーザーレーダー
2208 蛇角センサー
2508 アクセル制御装置
【特許請求の範囲】
【請求項1】
車両の周囲を撮像する撮像手段と、
前記撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出する歩行者検出手段と、
すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定する右折待ち状態判定手段と、
運転者の車両を発進させる意志を検出する発進意志検出手段と、
前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは警告手段により警告を行う制御手段とを備えることを特徴とする車両用右左折支援装置。
【請求項2】
請求項1に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、停車状態を検出する停車検出手段を有し、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項3】
請求項1に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、前記撮像手段による撮像画像を処理してすれ違う対面車両を検出する対面車両検出手段と、停車状態を検出する停車検出手段とを備え、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作され、かつ、前記対面車両検出手段によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項4】
請求項1〜3のいずれかの項に記載の車両用右左折支援装置において、
前記発進意志検出手段は、ブレーキスイッチによりブレーキペダルの解放または駐車ブレーキの解放が検出されたときに運転者に発進意志があるとすることを特徴とする車両用右左折支援装置。
【請求項5】
請求項1〜4のいずれかの項に記載の車両用右左折支援装置において、
先行車の有無を検出する先行車検出手段を備え、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定されたときに、前記先行車検出手段で先行車が検出された場合には、前記発進意志検出手段で運転者の発進意志が検出されても前記警告手段による警告を行わないことを特徴とする車両用右左折支援装置。
【請求項6】
請求項1〜5のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは、前記警告手段により警告を行うとともに、車両加速手段による車両の加速を禁止することを特徴とする車両用右左折支援装置。
【請求項7】
請求項1〜6のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記歩行者検出手段により所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないことを特徴とする車両用右左折支援装置。
【請求項8】
請求項1〜7のいずれかの項に記載の車両用右左折支援装置において、
前記撮像手段を、見通しの悪い交差点を通過する際に交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラとすることを特徴とする車両用右左折支援装置。
【請求項9】
請求項1〜8のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像を差分演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項10】
請求項1〜8のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像をオプティカルフロー演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項1】
車両の周囲を撮像する撮像手段と、
前記撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出する歩行者検出手段と、
すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定する右折待ち状態判定手段と、
運転者の車両を発進させる意志を検出する発進意志検出手段と、
前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは警告手段により警告を行う制御手段とを備えることを特徴とする車両用右左折支援装置。
【請求項2】
請求項1に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、停車状態を検出する停車検出手段を有し、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項3】
請求項1に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、前記撮像手段による撮像画像を処理してすれ違う対面車両を検出する対面車両検出手段と、停車状態を検出する停車検出手段とを備え、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作され、かつ、前記対面車両検出手段によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項4】
請求項1〜3のいずれかの項に記載の車両用右左折支援装置において、
前記発進意志検出手段は、ブレーキスイッチによりブレーキペダルの解放または駐車ブレーキの解放が検出されたときに運転者に発進意志があるとすることを特徴とする車両用右左折支援装置。
【請求項5】
請求項1〜4のいずれかの項に記載の車両用右左折支援装置において、
先行車の有無を検出する先行車検出手段を備え、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定されたときに、前記先行車検出手段で先行車が検出された場合には、前記発進意志検出手段で運転者の発進意志が検出されても前記警告手段による警告を行わないことを特徴とする車両用右左折支援装置。
【請求項6】
請求項1〜5のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは、前記警告手段により警告を行うとともに、車両加速手段による車両の加速を禁止することを特徴とする車両用右左折支援装置。
【請求項7】
請求項1〜6のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記歩行者検出手段により所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないことを特徴とする車両用右左折支援装置。
【請求項8】
請求項1〜7のいずれかの項に記載の車両用右左折支援装置において、
前記撮像手段を、見通しの悪い交差点を通過する際に交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラとすることを特徴とする車両用右左折支援装置。
【請求項9】
請求項1〜8のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像を差分演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項10】
請求項1〜8のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像をオプティカルフロー演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2005−309660(P2005−309660A)
【公開日】平成17年11月4日(2005.11.4)
【国際特許分類】
【出願番号】特願2004−124021(P2004−124021)
【出願日】平成16年4月20日(2004.4.20)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成17年11月4日(2005.11.4)
【国際特許分類】
【出願日】平成16年4月20日(2004.4.20)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]