車両用右左折支援装置
【課題】 交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先または左折先横断歩道上の歩行者との接触を防止する。
【解決手段】 撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【解決手段】 撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の右左折動作を支援する装置に関する。
【背景技術】
【０００２】
交差点における横断歩道上の歩行者を検知し、歩行者の存在を交差点付近に設置したパネルに表示したり、ナビゲーション装置の画面に表示するようにした歩行者検知装置が知られている（例えば、特許文献１〜５参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０５−０６７２９３号公報、
【特許文献２】特開平０７−１０５４７７号公報、
【特許文献３】特開平１１−０５３６９３号公報、
【特許文献４】特開２０００−３４６６５７号公報、
【特許文献５】特開２００１−１９５６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の歩行者検知装置では、交差点ごとに歩行者検知装置を設置しなければならず、インフラ整備のために多額の設備投資が必要となる。
【課題を解決するための手段】
【０００５】
撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の効果】
【０００６】
本発明によれば、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止する。
【発明を実施するための最良の形態】
【０００７】
交差点を右折する場合に、運転者は複数の箇所を確認して右折開始の判断を下しているが、すれ違う対向車が多い場合は右折可能な間合いを見いだすのに注意を注ぎ、右折先の横断歩道上の歩行者への注意がおろそかになる傾向がある。特に、高齢の運転者は同時に複数の箇所に注意を注ぐことが困難であり、右折先横断歩道上の歩行者への注意がおろそかになる。そこで、本発明を、右折先の横断歩道の歩行者や自転車、特に車両の後方から接近してくる歩行者や自転車を検知し、警告して運転者の右折動作を支援する装置に適用した一実施の形態を説明する。
【０００８】
《第１の実施の形態》
図１は第１の実施の形態の構成を示す。カメラ２０１は車両の右側方を撮像してその画像を出力する。この第１の実施の形態では、一般的な交差点において、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るような画角のカメラ２０１を用い、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るようにカメラ２０１の光軸方向を設定する。このカメラ２０１は車両の右側方を撮像するので、右折先の横断歩道周辺の歩行者や自転車を撮像するとともに、右折待ち時にすれ違う対向車両も撮像し、歩行者とすれ違い車両の画像を出力する。
【０００９】
画像処理装置２０２は、カメラ２０１の撮像画像を処理して右折待ち時にすれ違う対向車両と右折先の横断歩道周辺の歩行者や自転車を検知する。制御装置２０３はＣＰＵとメモリやＡ／Ｄコンバーターなどの周辺部品から構成され、後述する制御プログラムを実行して右折先の歩行者（自転車を含む）を検知する。警告装置２０４は右折先の歩行者の存在を音声により警告する装置であり、ブザーやスピーカーなどを用いることができる。制御装置２０３には画像処理装置２０２、警告装置２０４の他に、車速を検出する車速センサー２０５、ターンシグナルランプを点消灯するためのターンシグナルスイッチ２０６、ブレーキペダルの踏み込み状態を検出するブレーキスイッチ２０７などが接続されている。
【００１０】
図２は第１の実施の形態の歩行者検知プログラムを示すフローチャートである。制御装置２０３は、車両のイグニッションスイッチ（不図示）がオンしている間、この歩行者検知プログラムを繰り返し実行する。ステップ３０１において車速センサー２０５により検出した車速が０km/hか否かを確認する。通常、車速を低減するだけで右折が可能な場合は、対向車との間合いに比較的余裕がある場合が多く、右折開始時の初速が０km/hでないため右折に要する時間が短く、また、交差点に近づいていくときに右折先の横断歩道を渡ろうとしている歩行者や自転車を確認しやすいことから、車速が０km/hでない場合は歩行者検知による右折支援の必要はないとする。車速が０km/hになるまでステップ３０１で待機し、車速が０km/hになったらステップ３０２へ進む。なお、この場合の車速の“０km/h”は車両が停車しているか否かを判定する基準値であるから、厳密に０km/hでなくても停車状態にあると見なせる低い車速値としてもよい。
【００１１】
続くステップ３０２では右側のターンシグナルスイッチ２０６がオンしているか否かを確認する。右側のターンシグナルスイッチ２０６がオンしていないときは右折支援の必要はないからステップ３０１へ戻り、右側のターンシグナルスイッチ２０６がオンしているときはステップ３０３へ進む。ステップ３０３で後述するサブルーチンを実行し、カメラ２０１の撮像画像を処理して右折時にすれ違う対向車両を検知する。この右折時にすれ違う対向車の検知処理については後述する。
【００１２】
続くステップ３０４ではすれ違う対向車の検知状態が所定の条件を満足しているか、つまり運転者が右折の間合いを見ているかどうかを判定する。対向車のすれ違い状態が過密、すなわち対向車のすれ違い頻度が高い場合には、運転者が右折の間合いを見ていると判定する。なお、所定の条件には、運転者が右折の間合いを見ていると判断できる対向車のすれ違い頻度を設定すればよい。この判定の詳細については後述する。すれ違う対向車の検知状態が所定条件を満たしている場合はステップ３０５へ進み、そうでなければステップ３０１へ戻って上述した処理を繰り返す。
【００１３】
ステップ３０５において後述するサブルーチンを実行し、カメラ２０１の撮像画像を処理して右折先横断歩道への接近者の検知を行う。この右折先横断歩道への接近者の検知については後述する。次にステップ３０６で右折先横断歩道への接近者が検知されたか否かを確認し、接近者が検知された場合はステップ３０７へ進み、接近者が検知されない場合はステップ３０１へ戻って上述した処理を繰り返す。
【００１４】
運転者がすれ違う対向車の間合いを見ながら右折待ちをしているときに、右折先の横断歩道へ接近する歩行者（自転車を含む）が検知された場合は、ステップ３０７でブレーキスイッチ２０７がオンからオフに切り替わったか、つまり踏み込まれていたブレーキペダルが解放されたか否かを確認する。ブレーキペダルの解放が検出された場合はステップ３０８へ進み、そうでなければステップ３０１へ戻って上述した処理を繰り返す。踏み込まれていたブレーキペダルが解放された場合は運転者に右折開始の意志があると判断し、ステップ３０８で警告装置２０４により右折先の横断歩道で歩行者と接触するおそれがあることを警告する。
【００１５】
なお、ブレーキスイッチ２０７により運転者の右折開始の意志を確認するのは、ブレーキペダルから足を離した直後はオートマチックトランスミッション車でもクリーピング現象により極低速で車両が動き始める状態にあるので、適切なタイミングで歩行者の存在を運転者に警告することができる。
【００１６】
図３は右折時にすれ違う対向車を検知するためのサブルーチンを示す。このサブルーチンは上述した図２のステップ３０３において実行される。ステップ４０１において車両の右側方を撮像するカメラ２０１から画像を入力する。
【００１７】
通常、交差点を右折するときには、運転者はすれ違う対向車に注意力を集中する。カメラ２０１は、交差点右折時に運転者がすれ違う対向車を見ている場合の運転者の視野角を補うように設置される。一般の運転者の左右の視野角は、図４に示すように、両眼で見える範囲が正面を基準にして左右に１００度づつ、合計２００度程度とされている。しかし、運転者が注視できる範囲はごく小さな領域に過ぎず、両眼で色彩まで確認できる範囲は７０度程度である。よって、右折先の横断歩道に接近する歩行者や自転車を確認することは、すれ違う対向車を注視している状態では困難である。
【００１８】
図５は、運転者の視野角を補うカメラの設置位置と向き（撮影レンズの光軸の方向）を示す。図中の“Ａ”は、図６に示すように運転者が対向車を注視しているときに、両眼で色彩まで確認できる視野角に加えて、右折先の横断歩道周辺の歩行者をカメラ２０１で確認できるように撮像範囲を設定したものである。この例では、カメラ２０１の水平角（画角）を一般的な広角レンズの９０度としている。
【００１９】
また、図５の“Ｂ”は、見通しの悪い交差点を通過する際に、交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラを、右折時のすれ違い車両と歩行者を検知するカメラと兼用した例である。図７に示すように、フロントサイドビューモニターのカメラを兼用しても右折時のすれ違い車両と歩行者検知用カメラの撮像範囲として十分に使用できる。
【００２０】
図５の“Ｃ”は、車両の前端部にカメラ２０１を取り付け、その向き（撮影レンズの光軸方向）を右後側方に向けた例である。このようにすると、図８に示すように比較的速度の速い自転車などにも対応でき、カメラ２０１の撮像範囲内に右折先の横断歩道を渡ろうとしている歩行者と自転車を捕捉することができる。
【００２１】
図９は、夜間においても右側方の歩行者や自転車を検知できるように、カメラ２０１の近くに近赤外ランプを設置した例を示す。
【００２２】
図３のステップ４０１でカメラ２０１の画像を入力後、ステップ４０２で車両検知初期条件フラグがＯＮになっているか否かを判定する。初期状態では同フラグはＯＦＦになっているのでステップ４０３へ進み、カメラ画像の左端領域に“所定の条件を満たす差分”が発生したか否かを判定する。
【００２３】
ここで、“所定の条件を満たす差分”とは、カメラ２０１の撮像範囲内にすれ違う車両が進入して図１０に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。また、以下では所定値以上の濃度差が発生した“差分”画素の領域を“差分発生領域”という。
【００２４】
カメラ２０１の撮像範囲内にすれ違う車両が進入した場合には、図１０に示すように時系列画像の最初のものから順に差分領域が発生する。このすれ違い車両による差分発生領域は画面の左端から発生し、画像全体に拡大した後、右端へ移動して消えていく。ステップ４０３における判定は、すれ違い車両により発生する差分の初期現象を捕らえるもので、画像の左端領域で差分が発生しない場合はステップ４０１へ戻る。一方、画像の左端領域に所定条件を満たす差分が発生した場合はステップ４０４へ進み、車両検知初期条件フラグをＯＮにするとともに、該当する画像をｎフレームとして制御装置２０３のメモリ（不図示）に記憶する。その後、ステップ４０１へ戻って次の画像入力を行う。
【００２５】
カメラ画像の左端領域に差分が発生した場合は、車両検知初期条件フラグがＯＮされているのでステップ４０２から４０５へ進み、車両検知画像フレームカウンターをカウントアップする。この車両検知画像フレームカウンターは、制御装置２０３のＣＰＵのソフトウエア形態で構成されるカウンターであり、差分が発生した画像フレームの枚数をカウントする。
【００２６】
ステップ４０６において、カメラ画像の左端領域に最初に差分が発生した画像フレームｎからαカウントアップした画像フレーム（ｎ＋α）に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【００２７】
ここで、差分発生領域の所定の条件は、例えば、差分発生領域の面積（画素数）が、画面上においてすれ違う対向車両が存在するか否かを判定するための基準の面積（画素数）よりも広く、かつ差分発生領域が画像フレームｎよりもカウントアップ数αに応じた距離だけ右側に移動していることを条件とする。
【００２８】
ステップ４０６で所定条件を満たす差分発生領域が存在していないと判定された場合はステップ４０７へ進み、ステップ４０３で発生した画像の左端領域の差分はすれ違い車両に対応するものではないとし、車両検知初期条件フラグをＯＦＦにするとともに、車両検知画像フレームカウンターをクリヤーしてステップ４０１へ戻る。
【００２９】
一方、ステップ４０６で所定条件を満たす差分発生領域が存在していると判定された場合はステップ４０８へ進み、画像の右端領域に所定条件を満たす差分が発生したか否かを判定する。この“所定条件を満たす差分”とは、上述したように、カメラ２０１の撮像範囲内にすれ違う車両が進入して図１０に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。カメラ２０１の撮像範囲をすれ違い車両が走り抜けていくときの最後の段階では、画像の右端領域にのみ差分が発生する。
【００３０】
画像全体に差分が発生している間はステップ４０１へ戻って上述した処理を繰り返すが、画像の右端領域にのみ差分が発生した場合はステップ４０９へ進み、車両検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。なお、この所定値はすれ違う対向車両が存在しているか否かを判定する判定基準値であり、すれ違い車両の車種、特に大きさと長さ、すれ違い速度などによる影響を考慮して適当な値を設定する。
【００３１】
車両検知画像フレームカウンターのカウント値が所定値以上の場合はステップ４１０へ進み、すれ違い車両を検知したとし、ステップ４０１へ戻って上述したすれ違い車両の検知処理を繰り返す。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ４０７へ進み、車両検知初期条件フラグをＯＦＦにするとともに、画像フレームカウンターをクリヤーしてステップ４０１へ戻り、上述したすれ違い車両の検知処理を繰り返す。
【００３２】
図１１は、種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す。交差点内で右折待ちをしているか否かを判定する図３のステップ３０４では、上述したすれ違い車両の検知処理によって、すれ違い車両が存在するとされた各画像フレームの差分発生画素の総数の変化に基づいて判定することができる。画像の取り込み時間間隔１／３０秒ごとの差分発生画素の総数は、乗用車の場合は車両ＡまたはＤのように計測され、ワンボックスタイプの車両の場合は車両Ｂのように計測され、トラックの場合は車両Ｃのように計測される。この計測値によって、差分の発生する時間間隔が分かるので、すれ違い車両の通過頻度と車間距離を検出でき、交差点内における右折待ち状態の判定に用いることができる。
【００３３】
図１２は右折先横断歩道への接近者を検知するためのサブルーチンを示す。このサブルーチンは図２のステップ３０５で実行される。ステップ１３０１においてカメラ２０１から撮像画像を入力し、続くステップ１３０２で接近者検知初期条件フラグがＯＮになっているか否かを確認する。初期状態では同フラグはＯＦＦになっているのでステップ１３０３へ進み、所定条件を満たす差分領域が発生したか否かを判定する。
【００３４】
図１３は、カメラ２０１で撮像した右折先の横断歩道に車両後方から接近する歩行者の時系列画像である。右折先の横断歩道に接近する歩行者（自転車を含む）がある場合には、図１３に示す時系列画像の最初のものから順に上述した差分領域が発生する。この場合は歩行者が車両後方から接近する場合を想定しているので、画像の右端領域に発生し、順次画像の左端へ移動する。画像に発生した差分領域の面積（画素数）を、歩行者（自転車を含む）の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積（画素数）が判定基準値以上の場合は右折先の横断歩道に接近する歩行者が存在すると判定する。
【００３５】
ステップ１３０３で所定条件を満たす差分が発生していない場合はステップ１３０１へ戻り、ふたたびカメラ画像の入力を行う。所定条件を満たす差分が発生しており、右折先の横断歩道へ接近する歩行者の存在が確認される場合はステップ１３０４へ進み、接近者検知初期条件フラグをＯＮする。続くステップ１３０５で右折先横断歩道へ接近する歩行者を最初に捕捉した画像をｎフレームとして制御装置２０３のメモリに記憶するとともに、差分が発生した位置をメモリに記憶する。その後、ステップ１３０１へ戻り、次の画像入力を行う。
【００３６】
カメラ画像に歩行者の差分領域が発生した場合は、接近者検知初期条件フラグがＯＮされているのでステップ１３０２から１３０６へ進み、接近者検知画像フレームカウンターをカウントアップする。この接近者検知画像フレームカウンターは、制御装置２０３のＣＰＵのソフトウエア形態で構成されるカウンターであり、歩行者の差分領域が発生している画像フレームの枚数をカウントする。
【００３７】
ステップ１３０７において、カメラ画像に最初に差分が発生した画像フレームｎからαカウントアップした画像フレーム（ｎ＋α）に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【００３８】
この所定の条件とは、差分発生領域の面積（画素数）を歩行者（自転車を含む）の存在の有無を判定するために予め設定した判定基準値と比較し、差分発生領域の面積（画素数）が判定基準値以上であって、かつまた、カメラ画像に最初に差分が発生した画像フレームｎ上での差分発生領域の位置から画像フレーム（ｎ＋α）上での差分発生領域の位置が所定範囲内で画像の左方向に移動していることを条件とする。つまり、歩行者や自転車の移動特性を考慮した条件とする。
【００３９】
ステップ１３０７において所定条件を満たす差分発生領域が存在していないと判定された場合は、カメラ画像に最初に差分が発生した画像フレームｎは歩行者や自転車を捕捉した画像ではない、つまり検知対象物は横断歩道上で接触するような危険物ではないとしてステップ１３１０へ進み、接近者検知初期条件フラグをＯＦＦにするとともに、接近者検知画像フレームカウンターをクリヤーしてステップ１３０１へ戻る。
【００４０】
一方、ステップ１３０７において所定条件を満たす差分発生領域が存在すると判定された場合はステップ１３０８へ進み、接近者検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。画像フレームカウンターのカウント値が所定値以上の場合はステップ１３０９へ進み、歩行者や自転車を検知したとしてステップ１３０１へ戻る。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ１３０１へ戻る。
【００４１】
なお、ステップ１３０３と１３０７において、歩行者（自転車を含む）の存在の有無を判定するため基準値に範囲を設け、横断歩道周辺で所定量以上の歩行者や自転車が存在すると判定された場合には、右折先横断歩道の歩行者や自転車の往来が多くて右折時にそれらを見落とす危険性は少ないから、あえて歩行者を検知したとせずに警告の出力を制限するようにしてもよい。
【００４２】
次に、右折待ち時にすれ違う対向車を検知したり、右折先横断歩道上への接近者を検知するための画像処理に時系列画像間のオプティカルフローを用いた例を説明する。この方法は、画像領域を任意に切り分け、その重み付けを自由に設定できることと、その領域での検出対象物の移動方向と移動速度が判定できるので、さらに検知性能を向上できるという利点がある。
【００４３】
オプティカルフローは、大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手法である。画像処理装置では、画像データと領域データとを入力とし、オプティカルフローを出力する。領域データとは、図１４に示すように参照領域の位置（tx,ty）と大きさ（tw,th）および探索領域の位置（sx,sy）と大きさ（sw,wh）により表されるデータである。オプティカルフローを算出するため、ある時刻ｔのフィルターをかけた顔画像に対して少なくとも１つ以上の参照領域（Ｘ座標tx、Ｙ座標ty、幅tw画素、高さth画素）を設定し、時刻（ｔ＋１）のフィルターをかけた顔画像に対して設定した参照領域と同じ数の探索領域（Ｘ座標sx、Ｙ座標sy、幅sw画素、高さsh画素）を設定する。これら２つの領域は、図１４に示すとおり参照領域が探索領域の内側に設定されている。
【００４４】
この実施の形態のオプティカルフローの計算には一般にブロックマッチング法と呼ばれる手法を使用しており、現フレームの探索領域から前フレームの参照領域に最も類似度が高い領域を算出する。類似度の計算は、図１４と図１５に示すように参照領域内の濃淡データをＴ、探索領域内の任意の位置（xd,yd）、
-(sw-tw)/2〈xd〈(sw-tw)/2、
-(sh-th)/2〈yd〈(sh-th)/2 ・・・（１）
から切り出した参照領域と同じサイズの濃淡データを候補領域Ｓ(xd,yd)とすると、類似度θは、参照領域Ｔと候補領域Ｓのなす角θとして次の式で定義する。
cosθ(xd,yd)＝Ｔ・Ｓ(xd,yd)／（｜Ｔ｜・｜Ｓ(xd,yd)｜） ・・・（２）
【００４５】
探索領域内のすべての位置で参照領域と候補領域の類似度θを求める。類似度θが最大となる座標(xd,yd)を参照領域の動きベクトル(xd,yd)とする。オプティカルフロー（動きの検出）の計算方法はこの一実施の形態で説明した方法以外にも、八木信行監修“ディジタル映像処理”（映像情報メディア学会編、pp129-139、２０００年、オーム社発行）などの文献で、動画像から動きを検出する手法が複数紹介されており、それらを用いることもできる。
【００４６】
図１６は、すれ違い車両と歩行者の動きの左右方向のオプティカルフローを時系列的に出力状態をグラフ表示したものである。図１６の算出結果は、図１４に示すように画像全体に配置したすべての参照領域で発生した左右方向の移動量を積算させたものであるが、画像処理装置としてオプティカルフローを用いる手法は、図１７に示すように、すれ違い車両の移動ベクトルを求めるためにＡ領域とＢ領域に限定することも可能で、移動ベクトルの算出によって、同時すれ違い車両の速度や大きさを判定することもできる。また、歩行者検知用の参照領域としては、Ｃ領域やＤ領域に限定することができ、Ｃ領域に発生する移動量とＤ領域に発生する移動量でその危険度を判定することもできる。
【００４７】
《発明の第２の実施の形態》
レーザーレーダーにより先行車を検出することによって、交差点を右折する際に右折先の横断歩道上の歩行者と接触する危険性をさらに正確に判断できるようにした第２の実施の形態を説明する。
【００４８】
図１８は第２の実施の形態の構成を示す。この第２の実施の形態では、図１に示す第１の実施の形態の構成にレーザーレーダー１９０８を加える。レーザーレーダー１９０８は先行車の検出と先行車までの距離を検出する。なお、図１８において、レーダーレーザー１９０８以外の機器１９０１〜１９０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００４９】
図１９は、第２の実施の形態の歩行者検知プログラムを示すフローチャートである。図２０に示すように、右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ２００３において右折待ち時に先行車が検出された場合はすれ違い車両の検知と歩行者検知を行わずにステップ２００１へ戻る。この場合は警告は発せられない。図１９において、ステップ２００３の上記処理以外は図２の対応する各ステップの処理と同様であり、説明を省略する。
【００５０】
《発明の第３の実施の形態》
自車の操舵角に基づいて右折待ち時に先行車がいるか否かを判定し、先行車がいる場合には歩行者検知の警告を行わないようにした第３の実施の形態を説明する。
【００５１】
図２１は第３の実施の形態の構成を示す。この第３の実施の形態では、図１に示す第１の実施の形態の構成に蛇角センサー２２０８を加える。蛇角センサー２２０８は車両の操舵角を検出する。なお、図２１において、操舵角センサー２２０８以外の機器２２０１〜２２０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００５２】
図２２は第３の実施の形態の歩行者検知プログラムを示すフローチャートである。右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ２３０３においてハンドルが所定角以上右に切られていない場合は右折待ちをしている先行車がいると判断し、すれ違い車両の検知と歩行者検知を行わずにステップ２００１へ戻る。この場合は警告は発せられない。図２２において、ステップ２３０３の上記処理以外は図２の対応する各ステップの処理と同様であり、説明を省略する。
【００５３】
《発明の第４の実施の形態》
右折先横断歩道へ接近する歩行者が検知されたときに警告を行う以外に、運転者がブレーキペダルからアクセルペダルへ踏み変えてもスロットルバルブが開くのを禁止し、運転者が右後方を注視して右折先横断歩道へ接近する歩行者や自転車がいないことを確認するまでの適当な時間だけ右折動作の開始を遅らせるようにした第４の実施の形態を説明する。
【００５４】
図２３は第４の実施の形態の構成を示す。この第４の実施の形態では、図１に示す第１の実施の形態の構成にアクセル制御装置２５０８を加える。アクセル制御装置２５０８は、通常はアクセルペダルの踏み込みに応じてスロットルバルブを開閉するが、制御装置２５０３から右折時の歩行者検知信号が出力されると、運転者がブレーキペダルからアクセルペダルへ踏み換えても直ちにスロットルバルブを開けず、所定時間の間、スロットルバルブの開きを禁止する。アクセル制御装置２５０８によりアクセルペダルの踏み込みが行えないようにしてもよい。なお、図２３において、アクセル制御装置２５０８以外の機器２５０１〜２５０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００５５】
このように、一実施の形態によれば、カメラによる撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行うようにしたので、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止することができる。
【００５６】
また、一実施の形態によれば、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定するようにしたので、車両が右折待ち状態にあることを正確に検出することができる。
【００５７】
一実施の形態によれば、車両が右折待ち状態にあると判定されたときに先行車が検出された場合には、運転者の車両を発進させる意志が検出されても警告を行わないようにしたので、不必要な警告を避けることができる。
【００５８】
一実施の形態によれば、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは、警告を行うとともに車両の加速を禁止するようにしたので、右折先横断歩道上の歩行者との接触を確実に防止することができる。
【００５９】
一実施の形態によれば、所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないようにしたので、不必要な警告と加速禁止を防止することができる。
【００６０】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ２０１，１９０１，２２０１，２５０１が撮像手段を、画像処理装置２０２，１９０２，２２０２，２５０２が歩行者検出手段および対面車両検出手段を、制御装置２０３，１９０３，２２０３，２５０３が右折待ち状態判定手段および制御手段を、ブレーキスイッチ２０７，１９０７，２２０７，２５０７が発進意志検出手段を、警告装置２０４，１９０４，２２０４，２５０４が警告手段を、車速センサー２０５，１９０５，２２０５，２５０５が停車検出手段を、レーザーレーダー１９０８および蛇角センサー２２０８が先行車検出手段を、アクセル制御装置２５０８が車両加速手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【００６１】
なお、上述した一実施の形態では、本発明を左側通行の交通システムにおける運転者の右折動作を支援する装置に適用した例を示したが、右側通行の交通システムにおける運転者の左折動作を支援する装置に適用することもでき、同様な効果を得ることができる。
【００６２】
上述した一実施の形態では、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、カメラ画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定する例を示したが、右折待ち状態の判定条件の中からカメラ画像処理によるすれ違い車両の検出条件を除き、車両の停車状態が検出され、かつターンシグナルスイッチが右折側に操作されている場合に、車両が右折待ち状態にあると判定するようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】第１の実施の形態の構成を示す図である。
【図２】第１の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図３】右折時にすれ違う対向車を検知するためのサブルーチンを示すフローチャートである。
【図４】運転者の左右の視野角を示す図である。
【図５】運転者の視野角を補うカメラの設置位置と向きを示す図である。
【図６】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図７】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図８】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図９】すれ違い車両と歩行者を検知するカメラの近くに近赤外ランプを設置した例を示す図である。
【図１０】カメラで撮像したすれ違い車両の時系列画像を示す図である。
【図１１】右折時に種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す図である。
【図１２】右折先横断歩道への接近者を検知するためのサブルーチンを示すフローチャートである。
【図１３】カメラで撮像した右折先横断歩道に車両後方から接近する歩行者の時系列画像を示す図である。
【図１４】オプティカルフローの適用方法に関する説明図である。
【図１５】オプティカルフローの適用方法に関する説明図である。
【図１６】オプティカルフローの適用方法に関する説明図である。
【図１７】オプティカルフローの適用方法に関する説明図である。
【図１８】第２の実施の形態の構成を示す図である。
【図１９】第２の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図２０】右折時に先行車がいる場合の状況を説明する図である。
【図２１】第３の実施の形態の構成を示す図である。
【図２２】第３の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図２３】第４の実施の形態の構成を示す図である。
【符号の説明】
【００６４】
２０１、１９０１、２２０１、２５０１ カメラ
２０２、１９０２、２２０２、２５０２ 画像処理装置
２０３、１９０３、２２０３、２５０３ 制御装置
２０４、１９０４、２２０４、２５０４ 警告装置
２０５、１９０５、２２０５、２５０５ 車速センサー
２０６、１９０６、２２０６、２５０６ ターンシグナルスイッチ
２０７、１９０７、２２０７、２５０７ ブレーキスイッチ
１９０８ レーザーレーダー
２２０８ 蛇角センサー
２５０８ アクセル制御装置
【技術分野】
【０００１】
本発明は、運転者の右左折動作を支援する装置に関する。
【背景技術】
【０００２】
交差点における横断歩道上の歩行者を検知し、歩行者の存在を交差点付近に設置したパネルに表示したり、ナビゲーション装置の画面に表示するようにした歩行者検知装置が知られている（例えば、特許文献１〜５参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開平０５−０６７２９３号公報、
【特許文献２】特開平０７−１０５４７７号公報、
【特許文献３】特開平１１−０５３６９３号公報、
【特許文献４】特開２０００−３４６６５７号公報、
【特許文献５】特開２００１−１９５６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の歩行者検知装置では、交差点ごとに歩行者検知装置を設置しなければならず、インフラ整備のために多額の設備投資が必要となる。
【課題を解決するための手段】
【０００５】
撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行う。
【発明の効果】
【０００６】
本発明によれば、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止する。
【発明を実施するための最良の形態】
【０００７】
交差点を右折する場合に、運転者は複数の箇所を確認して右折開始の判断を下しているが、すれ違う対向車が多い場合は右折可能な間合いを見いだすのに注意を注ぎ、右折先の横断歩道上の歩行者への注意がおろそかになる傾向がある。特に、高齢の運転者は同時に複数の箇所に注意を注ぐことが困難であり、右折先横断歩道上の歩行者への注意がおろそかになる。そこで、本発明を、右折先の横断歩道の歩行者や自転車、特に車両の後方から接近してくる歩行者や自転車を検知し、警告して運転者の右折動作を支援する装置に適用した一実施の形態を説明する。
【０００８】
《第１の実施の形態》
図１は第１の実施の形態の構成を示す。カメラ２０１は車両の右側方を撮像してその画像を出力する。この第１の実施の形態では、一般的な交差点において、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るような画角のカメラ２０１を用い、右折先の横断歩道上およびその周辺の歩行者や自転車が撮像範囲に入るようにカメラ２０１の光軸方向を設定する。このカメラ２０１は車両の右側方を撮像するので、右折先の横断歩道周辺の歩行者や自転車を撮像するとともに、右折待ち時にすれ違う対向車両も撮像し、歩行者とすれ違い車両の画像を出力する。
【０００９】
画像処理装置２０２は、カメラ２０１の撮像画像を処理して右折待ち時にすれ違う対向車両と右折先の横断歩道周辺の歩行者や自転車を検知する。制御装置２０３はＣＰＵとメモリやＡ／Ｄコンバーターなどの周辺部品から構成され、後述する制御プログラムを実行して右折先の歩行者（自転車を含む）を検知する。警告装置２０４は右折先の歩行者の存在を音声により警告する装置であり、ブザーやスピーカーなどを用いることができる。制御装置２０３には画像処理装置２０２、警告装置２０４の他に、車速を検出する車速センサー２０５、ターンシグナルランプを点消灯するためのターンシグナルスイッチ２０６、ブレーキペダルの踏み込み状態を検出するブレーキスイッチ２０７などが接続されている。
【００１０】
図２は第１の実施の形態の歩行者検知プログラムを示すフローチャートである。制御装置２０３は、車両のイグニッションスイッチ（不図示）がオンしている間、この歩行者検知プログラムを繰り返し実行する。ステップ３０１において車速センサー２０５により検出した車速が０km/hか否かを確認する。通常、車速を低減するだけで右折が可能な場合は、対向車との間合いに比較的余裕がある場合が多く、右折開始時の初速が０km/hでないため右折に要する時間が短く、また、交差点に近づいていくときに右折先の横断歩道を渡ろうとしている歩行者や自転車を確認しやすいことから、車速が０km/hでない場合は歩行者検知による右折支援の必要はないとする。車速が０km/hになるまでステップ３０１で待機し、車速が０km/hになったらステップ３０２へ進む。なお、この場合の車速の“０km/h”は車両が停車しているか否かを判定する基準値であるから、厳密に０km/hでなくても停車状態にあると見なせる低い車速値としてもよい。
【００１１】
続くステップ３０２では右側のターンシグナルスイッチ２０６がオンしているか否かを確認する。右側のターンシグナルスイッチ２０６がオンしていないときは右折支援の必要はないからステップ３０１へ戻り、右側のターンシグナルスイッチ２０６がオンしているときはステップ３０３へ進む。ステップ３０３で後述するサブルーチンを実行し、カメラ２０１の撮像画像を処理して右折時にすれ違う対向車両を検知する。この右折時にすれ違う対向車の検知処理については後述する。
【００１２】
続くステップ３０４ではすれ違う対向車の検知状態が所定の条件を満足しているか、つまり運転者が右折の間合いを見ているかどうかを判定する。対向車のすれ違い状態が過密、すなわち対向車のすれ違い頻度が高い場合には、運転者が右折の間合いを見ていると判定する。なお、所定の条件には、運転者が右折の間合いを見ていると判断できる対向車のすれ違い頻度を設定すればよい。この判定の詳細については後述する。すれ違う対向車の検知状態が所定条件を満たしている場合はステップ３０５へ進み、そうでなければステップ３０１へ戻って上述した処理を繰り返す。
【００１３】
ステップ３０５において後述するサブルーチンを実行し、カメラ２０１の撮像画像を処理して右折先横断歩道への接近者の検知を行う。この右折先横断歩道への接近者の検知については後述する。次にステップ３０６で右折先横断歩道への接近者が検知されたか否かを確認し、接近者が検知された場合はステップ３０７へ進み、接近者が検知されない場合はステップ３０１へ戻って上述した処理を繰り返す。
【００１４】
運転者がすれ違う対向車の間合いを見ながら右折待ちをしているときに、右折先の横断歩道へ接近する歩行者（自転車を含む）が検知された場合は、ステップ３０７でブレーキスイッチ２０７がオンからオフに切り替わったか、つまり踏み込まれていたブレーキペダルが解放されたか否かを確認する。ブレーキペダルの解放が検出された場合はステップ３０８へ進み、そうでなければステップ３０１へ戻って上述した処理を繰り返す。踏み込まれていたブレーキペダルが解放された場合は運転者に右折開始の意志があると判断し、ステップ３０８で警告装置２０４により右折先の横断歩道で歩行者と接触するおそれがあることを警告する。
【００１５】
なお、ブレーキスイッチ２０７により運転者の右折開始の意志を確認するのは、ブレーキペダルから足を離した直後はオートマチックトランスミッション車でもクリーピング現象により極低速で車両が動き始める状態にあるので、適切なタイミングで歩行者の存在を運転者に警告することができる。
【００１６】
図３は右折時にすれ違う対向車を検知するためのサブルーチンを示す。このサブルーチンは上述した図２のステップ３０３において実行される。ステップ４０１において車両の右側方を撮像するカメラ２０１から画像を入力する。
【００１７】
通常、交差点を右折するときには、運転者はすれ違う対向車に注意力を集中する。カメラ２０１は、交差点右折時に運転者がすれ違う対向車を見ている場合の運転者の視野角を補うように設置される。一般の運転者の左右の視野角は、図４に示すように、両眼で見える範囲が正面を基準にして左右に１００度づつ、合計２００度程度とされている。しかし、運転者が注視できる範囲はごく小さな領域に過ぎず、両眼で色彩まで確認できる範囲は７０度程度である。よって、右折先の横断歩道に接近する歩行者や自転車を確認することは、すれ違う対向車を注視している状態では困難である。
【００１８】
図５は、運転者の視野角を補うカメラの設置位置と向き（撮影レンズの光軸の方向）を示す。図中の“Ａ”は、図６に示すように運転者が対向車を注視しているときに、両眼で色彩まで確認できる視野角に加えて、右折先の横断歩道周辺の歩行者をカメラ２０１で確認できるように撮像範囲を設定したものである。この例では、カメラ２０１の水平角（画角）を一般的な広角レンズの９０度としている。
【００１９】
また、図５の“Ｂ”は、見通しの悪い交差点を通過する際に、交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラを、右折時のすれ違い車両と歩行者を検知するカメラと兼用した例である。図７に示すように、フロントサイドビューモニターのカメラを兼用しても右折時のすれ違い車両と歩行者検知用カメラの撮像範囲として十分に使用できる。
【００２０】
図５の“Ｃ”は、車両の前端部にカメラ２０１を取り付け、その向き（撮影レンズの光軸方向）を右後側方に向けた例である。このようにすると、図８に示すように比較的速度の速い自転車などにも対応でき、カメラ２０１の撮像範囲内に右折先の横断歩道を渡ろうとしている歩行者と自転車を捕捉することができる。
【００２１】
図９は、夜間においても右側方の歩行者や自転車を検知できるように、カメラ２０１の近くに近赤外ランプを設置した例を示す。
【００２２】
図３のステップ４０１でカメラ２０１の画像を入力後、ステップ４０２で車両検知初期条件フラグがＯＮになっているか否かを判定する。初期状態では同フラグはＯＦＦになっているのでステップ４０３へ進み、カメラ画像の左端領域に“所定の条件を満たす差分”が発生したか否かを判定する。
【００２３】
ここで、“所定の条件を満たす差分”とは、カメラ２０１の撮像範囲内にすれ違う車両が進入して図１０に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。また、以下では所定値以上の濃度差が発生した“差分”画素の領域を“差分発生領域”という。
【００２４】
カメラ２０１の撮像範囲内にすれ違う車両が進入した場合には、図１０に示すように時系列画像の最初のものから順に差分領域が発生する。このすれ違い車両による差分発生領域は画面の左端から発生し、画像全体に拡大した後、右端へ移動して消えていく。ステップ４０３における判定は、すれ違い車両により発生する差分の初期現象を捕らえるもので、画像の左端領域で差分が発生しない場合はステップ４０１へ戻る。一方、画像の左端領域に所定条件を満たす差分が発生した場合はステップ４０４へ進み、車両検知初期条件フラグをＯＮにするとともに、該当する画像をｎフレームとして制御装置２０３のメモリ（不図示）に記憶する。その後、ステップ４０１へ戻って次の画像入力を行う。
【００２５】
カメラ画像の左端領域に差分が発生した場合は、車両検知初期条件フラグがＯＮされているのでステップ４０２から４０５へ進み、車両検知画像フレームカウンターをカウントアップする。この車両検知画像フレームカウンターは、制御装置２０３のＣＰＵのソフトウエア形態で構成されるカウンターであり、差分が発生した画像フレームの枚数をカウントする。
【００２６】
ステップ４０６において、カメラ画像の左端領域に最初に差分が発生した画像フレームｎからαカウントアップした画像フレーム（ｎ＋α）に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【００２７】
ここで、差分発生領域の所定の条件は、例えば、差分発生領域の面積（画素数）が、画面上においてすれ違う対向車両が存在するか否かを判定するための基準の面積（画素数）よりも広く、かつ差分発生領域が画像フレームｎよりもカウントアップ数αに応じた距離だけ右側に移動していることを条件とする。
【００２８】
ステップ４０６で所定条件を満たす差分発生領域が存在していないと判定された場合はステップ４０７へ進み、ステップ４０３で発生した画像の左端領域の差分はすれ違い車両に対応するものではないとし、車両検知初期条件フラグをＯＦＦにするとともに、車両検知画像フレームカウンターをクリヤーしてステップ４０１へ戻る。
【００２９】
一方、ステップ４０６で所定条件を満たす差分発生領域が存在していると判定された場合はステップ４０８へ進み、画像の右端領域に所定条件を満たす差分が発生したか否かを判定する。この“所定条件を満たす差分”とは、上述したように、カメラ２０１の撮像範囲内にすれ違う車両が進入して図１０に示すような時系列のカメラ画像が撮像された場合に、各画像間の各画素に発生した所定値以上の濃度差をいう。カメラ２０１の撮像範囲をすれ違い車両が走り抜けていくときの最後の段階では、画像の右端領域にのみ差分が発生する。
【００３０】
画像全体に差分が発生している間はステップ４０１へ戻って上述した処理を繰り返すが、画像の右端領域にのみ差分が発生した場合はステップ４０９へ進み、車両検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。なお、この所定値はすれ違う対向車両が存在しているか否かを判定する判定基準値であり、すれ違い車両の車種、特に大きさと長さ、すれ違い速度などによる影響を考慮して適当な値を設定する。
【００３１】
車両検知画像フレームカウンターのカウント値が所定値以上の場合はステップ４１０へ進み、すれ違い車両を検知したとし、ステップ４０１へ戻って上述したすれ違い車両の検知処理を繰り返す。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ４０７へ進み、車両検知初期条件フラグをＯＦＦにするとともに、画像フレームカウンターをクリヤーしてステップ４０１へ戻り、上述したすれ違い車両の検知処理を繰り返す。
【００３２】
図１１は、種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す。交差点内で右折待ちをしているか否かを判定する図３のステップ３０４では、上述したすれ違い車両の検知処理によって、すれ違い車両が存在するとされた各画像フレームの差分発生画素の総数の変化に基づいて判定することができる。画像の取り込み時間間隔１／３０秒ごとの差分発生画素の総数は、乗用車の場合は車両ＡまたはＤのように計測され、ワンボックスタイプの車両の場合は車両Ｂのように計測され、トラックの場合は車両Ｃのように計測される。この計測値によって、差分の発生する時間間隔が分かるので、すれ違い車両の通過頻度と車間距離を検出でき、交差点内における右折待ち状態の判定に用いることができる。
【００３３】
図１２は右折先横断歩道への接近者を検知するためのサブルーチンを示す。このサブルーチンは図２のステップ３０５で実行される。ステップ１３０１においてカメラ２０１から撮像画像を入力し、続くステップ１３０２で接近者検知初期条件フラグがＯＮになっているか否かを確認する。初期状態では同フラグはＯＦＦになっているのでステップ１３０３へ進み、所定条件を満たす差分領域が発生したか否かを判定する。
【００３４】
図１３は、カメラ２０１で撮像した右折先の横断歩道に車両後方から接近する歩行者の時系列画像である。右折先の横断歩道に接近する歩行者（自転車を含む）がある場合には、図１３に示す時系列画像の最初のものから順に上述した差分領域が発生する。この場合は歩行者が車両後方から接近する場合を想定しているので、画像の右端領域に発生し、順次画像の左端へ移動する。画像に発生した差分領域の面積（画素数）を、歩行者（自転車を含む）の存在の有無を判定するために予め設定した判定基準値と比較し、差分領域の面積（画素数）が判定基準値以上の場合は右折先の横断歩道に接近する歩行者が存在すると判定する。
【００３５】
ステップ１３０３で所定条件を満たす差分が発生していない場合はステップ１３０１へ戻り、ふたたびカメラ画像の入力を行う。所定条件を満たす差分が発生しており、右折先の横断歩道へ接近する歩行者の存在が確認される場合はステップ１３０４へ進み、接近者検知初期条件フラグをＯＮする。続くステップ１３０５で右折先横断歩道へ接近する歩行者を最初に捕捉した画像をｎフレームとして制御装置２０３のメモリに記憶するとともに、差分が発生した位置をメモリに記憶する。その後、ステップ１３０１へ戻り、次の画像入力を行う。
【００３６】
カメラ画像に歩行者の差分領域が発生した場合は、接近者検知初期条件フラグがＯＮされているのでステップ１３０２から１３０６へ進み、接近者検知画像フレームカウンターをカウントアップする。この接近者検知画像フレームカウンターは、制御装置２０３のＣＰＵのソフトウエア形態で構成されるカウンターであり、歩行者の差分領域が発生している画像フレームの枚数をカウントする。
【００３７】
ステップ１３０７において、カメラ画像に最初に差分が発生した画像フレームｎからαカウントアップした画像フレーム（ｎ＋α）に、所定の条件を満たす差分発生領域が存在しているか否かを判定する。
【００３８】
この所定の条件とは、差分発生領域の面積（画素数）を歩行者（自転車を含む）の存在の有無を判定するために予め設定した判定基準値と比較し、差分発生領域の面積（画素数）が判定基準値以上であって、かつまた、カメラ画像に最初に差分が発生した画像フレームｎ上での差分発生領域の位置から画像フレーム（ｎ＋α）上での差分発生領域の位置が所定範囲内で画像の左方向に移動していることを条件とする。つまり、歩行者や自転車の移動特性を考慮した条件とする。
【００３９】
ステップ１３０７において所定条件を満たす差分発生領域が存在していないと判定された場合は、カメラ画像に最初に差分が発生した画像フレームｎは歩行者や自転車を捕捉した画像ではない、つまり検知対象物は横断歩道上で接触するような危険物ではないとしてステップ１３１０へ進み、接近者検知初期条件フラグをＯＦＦにするとともに、接近者検知画像フレームカウンターをクリヤーしてステップ１３０１へ戻る。
【００４０】
一方、ステップ１３０７において所定条件を満たす差分発生領域が存在すると判定された場合はステップ１３０８へ進み、接近者検知画像フレームカウンターのカウント値が所定値以上か否かを判定する。画像フレームカウンターのカウント値が所定値以上の場合はステップ１３０９へ進み、歩行者や自転車を検知したとしてステップ１３０１へ戻る。一方、画像フレームカウンターのカウント値が所定値未満の場合はステップ１３０１へ戻る。
【００４１】
なお、ステップ１３０３と１３０７において、歩行者（自転車を含む）の存在の有無を判定するため基準値に範囲を設け、横断歩道周辺で所定量以上の歩行者や自転車が存在すると判定された場合には、右折先横断歩道の歩行者や自転車の往来が多くて右折時にそれらを見落とす危険性は少ないから、あえて歩行者を検知したとせずに警告の出力を制限するようにしてもよい。
【００４２】
次に、右折待ち時にすれ違う対向車を検知したり、右折先横断歩道上への接近者を検知するための画像処理に時系列画像間のオプティカルフローを用いた例を説明する。この方法は、画像領域を任意に切り分け、その重み付けを自由に設定できることと、その領域での検出対象物の移動方向と移動速度が判定できるので、さらに検知性能を向上できるという利点がある。
【００４３】
オプティカルフローは、大きさと向きを持ったベクトル量の集合によって画像内の動きを検出する手法である。画像処理装置では、画像データと領域データとを入力とし、オプティカルフローを出力する。領域データとは、図１４に示すように参照領域の位置（tx,ty）と大きさ（tw,th）および探索領域の位置（sx,sy）と大きさ（sw,wh）により表されるデータである。オプティカルフローを算出するため、ある時刻ｔのフィルターをかけた顔画像に対して少なくとも１つ以上の参照領域（Ｘ座標tx、Ｙ座標ty、幅tw画素、高さth画素）を設定し、時刻（ｔ＋１）のフィルターをかけた顔画像に対して設定した参照領域と同じ数の探索領域（Ｘ座標sx、Ｙ座標sy、幅sw画素、高さsh画素）を設定する。これら２つの領域は、図１４に示すとおり参照領域が探索領域の内側に設定されている。
【００４４】
この実施の形態のオプティカルフローの計算には一般にブロックマッチング法と呼ばれる手法を使用しており、現フレームの探索領域から前フレームの参照領域に最も類似度が高い領域を算出する。類似度の計算は、図１４と図１５に示すように参照領域内の濃淡データをＴ、探索領域内の任意の位置（xd,yd）、
-(sw-tw)/2〈xd〈(sw-tw)/2、
-(sh-th)/2〈yd〈(sh-th)/2 ・・・（１）
から切り出した参照領域と同じサイズの濃淡データを候補領域Ｓ(xd,yd)とすると、類似度θは、参照領域Ｔと候補領域Ｓのなす角θとして次の式で定義する。
cosθ(xd,yd)＝Ｔ・Ｓ(xd,yd)／（｜Ｔ｜・｜Ｓ(xd,yd)｜） ・・・（２）
【００４５】
探索領域内のすべての位置で参照領域と候補領域の類似度θを求める。類似度θが最大となる座標(xd,yd)を参照領域の動きベクトル(xd,yd)とする。オプティカルフロー（動きの検出）の計算方法はこの一実施の形態で説明した方法以外にも、八木信行監修“ディジタル映像処理”（映像情報メディア学会編、pp129-139、２０００年、オーム社発行）などの文献で、動画像から動きを検出する手法が複数紹介されており、それらを用いることもできる。
【００４６】
図１６は、すれ違い車両と歩行者の動きの左右方向のオプティカルフローを時系列的に出力状態をグラフ表示したものである。図１６の算出結果は、図１４に示すように画像全体に配置したすべての参照領域で発生した左右方向の移動量を積算させたものであるが、画像処理装置としてオプティカルフローを用いる手法は、図１７に示すように、すれ違い車両の移動ベクトルを求めるためにＡ領域とＢ領域に限定することも可能で、移動ベクトルの算出によって、同時すれ違い車両の速度や大きさを判定することもできる。また、歩行者検知用の参照領域としては、Ｃ領域やＤ領域に限定することができ、Ｃ領域に発生する移動量とＤ領域に発生する移動量でその危険度を判定することもできる。
【００４７】
《発明の第２の実施の形態》
レーザーレーダーにより先行車を検出することによって、交差点を右折する際に右折先の横断歩道上の歩行者と接触する危険性をさらに正確に判断できるようにした第２の実施の形態を説明する。
【００４８】
図１８は第２の実施の形態の構成を示す。この第２の実施の形態では、図１に示す第１の実施の形態の構成にレーザーレーダー１９０８を加える。レーザーレーダー１９０８は先行車の検出と先行車までの距離を検出する。なお、図１８において、レーダーレーザー１９０８以外の機器１９０１〜１９０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００４９】
図１９は、第２の実施の形態の歩行者検知プログラムを示すフローチャートである。図２０に示すように、右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ２００３において右折待ち時に先行車が検出された場合はすれ違い車両の検知と歩行者検知を行わずにステップ２００１へ戻る。この場合は警告は発せられない。図１９において、ステップ２００３の上記処理以外は図２の対応する各ステップの処理と同様であり、説明を省略する。
【００５０】
《発明の第３の実施の形態》
自車の操舵角に基づいて右折待ち時に先行車がいるか否かを判定し、先行車がいる場合には歩行者検知の警告を行わないようにした第３の実施の形態を説明する。
【００５１】
図２１は第３の実施の形態の構成を示す。この第３の実施の形態では、図１に示す第１の実施の形態の構成に蛇角センサー２２０８を加える。蛇角センサー２２０８は車両の操舵角を検出する。なお、図２１において、操舵角センサー２２０８以外の機器２２０１〜２２０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００５２】
図２２は第３の実施の形態の歩行者検知プログラムを示すフローチャートである。右折時にすれ違う対向車の間合いを見ながら停車しているときに先行車の存在が検出された場合は、右折先の横断歩道を渡ろうとしている歩行者の位置は運転者の視野角でも見やすい位置にあり、対向する車両への注意力もある程度分散されるため、ステップ２３０３においてハンドルが所定角以上右に切られていない場合は右折待ちをしている先行車がいると判断し、すれ違い車両の検知と歩行者検知を行わずにステップ２００１へ戻る。この場合は警告は発せられない。図２２において、ステップ２３０３の上記処理以外は図２の対応する各ステップの処理と同様であり、説明を省略する。
【００５３】
《発明の第４の実施の形態》
右折先横断歩道へ接近する歩行者が検知されたときに警告を行う以外に、運転者がブレーキペダルからアクセルペダルへ踏み変えてもスロットルバルブが開くのを禁止し、運転者が右後方を注視して右折先横断歩道へ接近する歩行者や自転車がいないことを確認するまでの適当な時間だけ右折動作の開始を遅らせるようにした第４の実施の形態を説明する。
【００５４】
図２３は第４の実施の形態の構成を示す。この第４の実施の形態では、図１に示す第１の実施の形態の構成にアクセル制御装置２５０８を加える。アクセル制御装置２５０８は、通常はアクセルペダルの踏み込みに応じてスロットルバルブを開閉するが、制御装置２５０３から右折時の歩行者検知信号が出力されると、運転者がブレーキペダルからアクセルペダルへ踏み換えても直ちにスロットルバルブを開けず、所定時間の間、スロットルバルブの開きを禁止する。アクセル制御装置２５０８によりアクセルペダルの踏み込みが行えないようにしてもよい。なお、図２３において、アクセル制御装置２５０８以外の機器２５０１〜２５０７は図１に示す機器２０１〜２０７と同様であり、それらの説明を省略する。
【００５５】
このように、一実施の形態によれば、カメラによる撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出するとともに、すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定し、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは警告を行うようにしたので、交差点ごとにインフラ整備を行うことなく、車両に搭載したシステムのみにより右折先横断歩道上の歩行者との接触を防止することができる。
【００５６】
また、一実施の形態によれば、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定するようにしたので、車両が右折待ち状態にあることを正確に検出することができる。
【００５７】
一実施の形態によれば、車両が右折待ち状態にあると判定されたときに先行車が検出された場合には、運転者の車両を発進させる意志が検出されても警告を行わないようにしたので、不必要な警告を避けることができる。
【００５８】
一実施の形態によれば、車両が右折待ち状態にあると判定され、かつ歩行者が検出されている場合に、運転者の車両を発進させる意志が検出されたときは、警告を行うとともに車両の加速を禁止するようにしたので、右折先横断歩道上の歩行者との接触を確実に防止することができる。
【００５９】
一実施の形態によれば、所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないようにしたので、不必要な警告と加速禁止を防止することができる。
【００６０】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ２０１，１９０１，２２０１，２５０１が撮像手段を、画像処理装置２０２，１９０２，２２０２，２５０２が歩行者検出手段および対面車両検出手段を、制御装置２０３，１９０３，２２０３，２５０３が右折待ち状態判定手段および制御手段を、ブレーキスイッチ２０７，１９０７，２２０７，２５０７が発進意志検出手段を、警告装置２０４，１９０４，２２０４，２５０４が警告手段を、車速センサー２０５，１９０５，２２０５，２５０５が停車検出手段を、レーザーレーダー１９０８および蛇角センサー２２０８が先行車検出手段を、アクセル制御装置２５０８が車両加速手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【００６１】
なお、上述した一実施の形態では、本発明を左側通行の交通システムにおける運転者の右折動作を支援する装置に適用した例を示したが、右側通行の交通システムにおける運転者の左折動作を支援する装置に適用することもでき、同様な効果を得ることができる。
【００６２】
上述した一実施の形態では、カメラによる撮像画像を処理してすれ違う対面車両を検出し、車両の停車状態が検出され、かつ ターンシグナルスイッチが右折側に操作され、かつ、カメラ画像処理によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定する例を示したが、右折待ち状態の判定条件の中からカメラ画像処理によるすれ違い車両の検出条件を除き、車両の停車状態が検出され、かつターンシグナルスイッチが右折側に操作されている場合に、車両が右折待ち状態にあると判定するようにしてもよい。
【図面の簡単な説明】
【００６３】
【図１】第１の実施の形態の構成を示す図である。
【図２】第１の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図３】右折時にすれ違う対向車を検知するためのサブルーチンを示すフローチャートである。
【図４】運転者の左右の視野角を示す図である。
【図５】運転者の視野角を補うカメラの設置位置と向きを示す図である。
【図６】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図７】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図８】右折時の運転者の視野とカメラの撮像範囲の関係を示す図である。
【図９】すれ違い車両と歩行者を検知するカメラの近くに近赤外ランプを設置した例を示す図である。
【図１０】カメラで撮像したすれ違い車両の時系列画像を示す図である。
【図１１】右折時に種類の異なる車両がすれ違った場合のカメラ画像における差分発生状況を示す図である。
【図１２】右折先横断歩道への接近者を検知するためのサブルーチンを示すフローチャートである。
【図１３】カメラで撮像した右折先横断歩道に車両後方から接近する歩行者の時系列画像を示す図である。
【図１４】オプティカルフローの適用方法に関する説明図である。
【図１５】オプティカルフローの適用方法に関する説明図である。
【図１６】オプティカルフローの適用方法に関する説明図である。
【図１７】オプティカルフローの適用方法に関する説明図である。
【図１８】第２の実施の形態の構成を示す図である。
【図１９】第２の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図２０】右折時に先行車がいる場合の状況を説明する図である。
【図２１】第３の実施の形態の構成を示す図である。
【図２２】第３の実施の形態の歩行者検知プログラムを示すフローチャートである。
【図２３】第４の実施の形態の構成を示す図である。
【符号の説明】
【００６４】
２０１、１９０１、２２０１、２５０１ カメラ
２０２、１９０２、２２０２、２５０２ 画像処理装置
２０３、１９０３、２２０３、２５０３ 制御装置
２０４、１９０４、２２０４、２５０４ 警告装置
２０５、１９０５、２２０５、２５０５ 車速センサー
２０６、１９０６、２２０６、２５０６ ターンシグナルスイッチ
２０７、１９０７、２２０７、２５０７ ブレーキスイッチ
１９０８ レーザーレーダー
２２０８ 蛇角センサー
２５０８ アクセル制御装置
【特許請求の範囲】
【請求項１】
車両の周囲を撮像する撮像手段と、
前記撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出する歩行者検出手段と、
すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定する右折待ち状態判定手段と、
運転者の車両を発進させる意志を検出する発進意志検出手段と、
前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは警告手段により警告を行う制御手段とを備えることを特徴とする車両用右左折支援装置。
【請求項２】
請求項１に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、停車状態を検出する停車検出手段を有し、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項３】
請求項１に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、前記撮像手段による撮像画像を処理してすれ違う対面車両を検出する対面車両検出手段と、停車状態を検出する停車検出手段とを備え、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作され、かつ、前記対面車両検出手段によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項４】
請求項１〜３のいずれかの項に記載の車両用右左折支援装置において、
前記発進意志検出手段は、ブレーキスイッチによりブレーキペダルの解放または駐車ブレーキの解放が検出されたときに運転者に発進意志があるとすることを特徴とする車両用右左折支援装置。
【請求項５】
請求項１〜４のいずれかの項に記載の車両用右左折支援装置において、
先行車の有無を検出する先行車検出手段を備え、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定されたときに、前記先行車検出手段で先行車が検出された場合には、前記発進意志検出手段で運転者の発進意志が検出されても前記警告手段による警告を行わないことを特徴とする車両用右左折支援装置。
【請求項６】
請求項１〜５のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは、前記警告手段により警告を行うとともに、車両加速手段による車両の加速を禁止することを特徴とする車両用右左折支援装置。
【請求項７】
請求項１〜６のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記歩行者検出手段により所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないことを特徴とする車両用右左折支援装置。
【請求項８】
請求項１〜７のいずれかの項に記載の車両用右左折支援装置において、
前記撮像手段を、見通しの悪い交差点を通過する際に交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラとすることを特徴とする車両用右左折支援装置。
【請求項９】
請求項１〜８のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像を差分演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項１０】
請求項１〜８のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像をオプティカルフロー演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項１】
車両の周囲を撮像する撮像手段と、
前記撮像手段による撮像画像を処理して右折先の横断歩道を横断する歩行者の存在を検出する歩行者検出手段と、
すれ違う対面車両の通過を待っている右折待ちの状態にあるか否かを判定する右折待ち状態判定手段と、
運転者の車両を発進させる意志を検出する発進意志検出手段と、
前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは警告手段により警告を行う制御手段とを備えることを特徴とする車両用右左折支援装置。
【請求項２】
請求項１に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、停車状態を検出する停車検出手段を有し、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項３】
請求項１に記載の車両用右左折支援装置において、
前記右折待ち状態判定手段は、前記撮像手段による撮像画像を処理してすれ違う対面車両を検出する対面車両検出手段と、停車状態を検出する停車検出手段とを備え、前記停車検出手段により停車状態が検出され、かつ、ターンシグナルスイッチが右折側に操作され、かつ、前記対面車両検出手段によりすれ違う対面車両が検出された場合に、車両が右折待ち状態にあると判定することを特徴とする車両用右左折支援装置。
【請求項４】
請求項１〜３のいずれかの項に記載の車両用右左折支援装置において、
前記発進意志検出手段は、ブレーキスイッチによりブレーキペダルの解放または駐車ブレーキの解放が検出されたときに運転者に発進意志があるとすることを特徴とする車両用右左折支援装置。
【請求項５】
請求項１〜４のいずれかの項に記載の車両用右左折支援装置において、
先行車の有無を検出する先行車検出手段を備え、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定されたときに、前記先行車検出手段で先行車が検出された場合には、前記発進意志検出手段で運転者の発進意志が検出されても前記警告手段による警告を行わないことを特徴とする車両用右左折支援装置。
【請求項６】
請求項１〜５のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記右折待ち状態判定手段により車両が右折待ち状態にあると判定され、かつ前記歩行者検出手段により歩行者が検出されている場合に、前記発進意志検出手段により運転者の発進意志が検出されたときは、前記警告手段により警告を行うとともに、車両加速手段による車両の加速を禁止することを特徴とする車両用右左折支援装置。
【請求項７】
請求項１〜６のいずれかの項に記載の車両用右左折支援装置において、
前記制御手段は、前記歩行者検出手段により所定量以上の歩行者の存在が検出された場合には、警告と車両の加速禁止を行わないことを特徴とする車両用右左折支援装置。
【請求項８】
請求項１〜７のいずれかの項に記載の車両用右左折支援装置において、
前記撮像手段を、見通しの悪い交差点を通過する際に交差する道路状況を確認するために用いるフロントサイドビューモニターのカメラとすることを特徴とする車両用右左折支援装置。
【請求項９】
請求項１〜８のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像を差分演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【請求項１０】
請求項１〜８のいずれかの項に記載の車両用右左折支援装置において、
前記歩行者検出手段および前記対面車両検出手段は、前記撮像手段で撮像された時系列画像をオプティカルフロー演算により処理し、歩行者および対面車両を検出することを特徴とする車両用右左折支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２００５−３０９６６０（Ｐ２００５−３０９６６０Ａ）
【公開日】平成１７年１１月４日（２００５．１１．４）
【国際特許分類】
【出願番号】特願２００４−１２４０２１（Ｐ２００４−１２４０２１）
【出願日】平成１６年４月２０日（２００４．４．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１７年１１月４日（２００５．１１．４）
【国際特許分類】
【出願日】平成１６年４月２０日（２００４．４．２０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]