ナイトビューシステム、夜間歩行者表示方法
【課題】時間的なずれなく歩行者を含む画像を表示し、かつ、的確に歩行者の位置を通知しながら枠と歩行者のずれを防止するナイトビューシステム及び夜間歩行者表示方法を提供すること。
【解決手段】撮影された画像データから歩行者を検出して、歩行者が矩形枠２０で囲繞された画像データを表示装置１３に表示するナイトビューシステム１００において、サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段２１と、歩行者が矩形枠２０の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段２２と、移動方向Ａに移動している場合、矩形枠２０の横幅を、移動方向Ａに移動しない場合の矩形枠２０よりも長くする歩行者枠設定手段２３と、を有することを特徴とする。
【解決手段】撮影された画像データから歩行者を検出して、歩行者が矩形枠２０で囲繞された画像データを表示装置１３に表示するナイトビューシステム１００において、サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段２１と、歩行者が矩形枠２０の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段２２と、移動方向Ａに移動している場合、矩形枠２０の横幅を、移動方向Ａに移動しない場合の矩形枠２０よりも長くする歩行者枠設定手段２３と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像から歩行者を検出して、表示装置などで歩行者の存在を強調して表示するナイトビューシステム及び夜間歩行者表示方法に関する。
【背景技術】
【０００２】
車両前方を歩行する歩行者の存在を運転者に注意喚起するナイトビューシステムでは、運転者に歩行者の位置を把握させるため、ディスプレイに表示する歩行者を強調する種々の方法が考えられている（例えば、特許文献１、２参照。）。特許文献１には、ディスプレイに歩行者を囲む歩行者枠を表示すると共に、歩行者枠を徐々に太くする表示方法が開示されている。また、特許文献２には、歩行者が検出されると歩行者を歩行者枠で囲むと共にナイトビュー全体の表示面積を拡大し、これに伴い歩行者も拡大して表示する表示方法が開示されている。
【特許文献１】特開２００８−１０９３１０号公報
【特許文献２】特開２００７−１５９０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように、歩行者を強調する上では歩行者を歩行者枠で囲むことが有効であると考えられており、ナイトビューシステムは、カメラで撮影した画像内の歩行者を検出して、ディスプレイ内の歩行者を歩行者枠で囲むという画像処理を繰り返す。しかしながら、移動する車両から移動する歩行者を撮影するため、車両と歩行者の相対速度は変動しやすく、歩行者と歩行者枠の位置を合わせるには工夫が必要となっている。
【０００４】
例えば、時刻ｔ１で撮影した画像で歩行者を検出すると、時刻ｔ１の歩行者の位置を囲む歩行者枠を時刻ｔ２（＞ｔ１）で撮影した画像に表示するため、相対速度が大きい場合には、歩行者と歩行者枠の位置がずれてしまうという問題がある。
【０００５】
歩行者を検出するために使用した時刻ｔ１の画像をメモリに記憶しておき、歩行者の位置を検出したら、時刻ｔ１で撮影した画像に歩行者枠を表示してディスプレイに表示すれば、歩行者の位置と歩行者枠を一致させることができる。しかし、歩行者を検出する画像処理の間、画像を記憶しておくメモリを確保する必要が生じたり、画像処理時間が長いと肉眼の光景とディスプレイの表示内容が時間的にずれてしまうため、適切な手法とは言えない。
【０００６】
また、大きめの歩行者枠で歩行者を囲めば、画像処理の間に歩行者と歩行者枠がずれることを防止できるが、相対速度が大きくない場合でも大きくすると、歩行者の位置があいまいになり運転者に通知する形態としては適切と言えない。
【０００７】
本発明は、上記課題に鑑み、歩行者が撮影された画像を時間的なずれを最小にして表示し、かつ、的確に歩行者の位置を通知しながら歩行者枠と歩行者のずれを防止するナイトビューシステム及び夜間歩行者表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、撮影された画像データから歩行者を検出して、歩行者が矩形枠で囲繞された前記画像データを表示装置に表示するナイトビューシステムにおいて、サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段と、歩行者が矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段と、移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くする歩行者枠設定手段と、を有することを特徴とする。
【発明の効果】
【０００９】
歩行者が撮影された画像を時間的なずれを最小にして表示し、かつ、的確に歩行者の位置を通知しながら枠と歩行者のずれを防止するナイトビューシステム及び夜間歩行者表示方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図1は、本実施形態のナイトビューシステム１００により表示される歩行者枠２０を模式的に説明する図の一例を示す。
【００１１】
本実施形態のナイトビューシステム（以下、ＮＶシステム１００という）は、検出した歩行者の移動態様に応じて歩行者枠２０を変更する。すなわち、歩行者が歩道を自車両と同じ方向又は逆方向に移動している場合（以下、平行移動時という）には、歩行者の高さ及び横幅より若干大きい、縦・横に過不足のない歩行者枠２０を表示する。この歩行者枠２０は従来の歩行者枠とほぼ同じ形状である。一方、歩行者が自車両の前方の車道を横断するように移動する場合（以下、横断時という）、歩行者枠２０の横幅を、平行移動時よりも長くする。
【００１２】
横断時と平行移動時で歩行者の歩速が同じであっても、視点（車載カメラ１１の光軸）の関係で、赤外線画像内を横切る場合は平行移動する場合よりも移動速度が大きく見える。後述するように、平行移動時における赤外線画像内の歩行者は、歩行者が歩行したり自車両が走行しても横方向の移動成分が小さい。これに対し、横断時は、歩行者の歩行量がそのまま画像内の横方向の移動成分に反映される。そこで、本実施形態のＮＶシステム１００は、横断時の歩行者枠２０の横幅を大きくすることで、安定的に歩行者を歩行者枠２０で囲むと同時に、歩行者の移動方向を運転者が容易に判別することを可能にする。
【００１３】
図２は、本実施形態のＮＶシステム１００のブロック図の一例を示す。ＮＶシステム１００は、歩行者検知装置１２により制御される。歩行者検知装置１２は、車載カメラ１１が撮影した画像から歩行者を検出し、また、表示装置１３に車載カメラ１１が撮影した映像（連続した赤外線画像）を表示すると共に、歩行者が検出されれば歩行者を囲む歩行者枠２０を表示する。なお、歩行者検知装置１２と、車載カメラ１１及び表示装置１３は、ＣＡＮ（Controller Area Network）やＡＶ用ＬＡＮ等、又は、専用線を介して接続されている。
【００１４】
車載カメラ１１は、例えばルームミラーの裏側に、光軸を車両前方のやや下向きに向けて固定されている。フロンバンパ内やフロントグリル内などに配置してもよい。車載カメラ１１はＣＣＤやＣＭＯＳなどの光電変換素子を有し、夜間の撮影を可能にするため近赤外光（例えば８００〜２０００〔μｍ〕）に感度を有し、シャッタスピードや制御ゲイン等のカメラパラメータが夜間撮影用に最適化されている。このため、肉眼では目視が困難な近赤外光を発する歩行者を撮影することができる。
【００１５】
より好ましくは、例えばヘッドライトに近赤外投光器が配置されており、ＮＶシステム１００がオンになるとハイビームと近赤外線投光器が切り替えられ可視光線カットフィルタが有効になることで、前照灯の光と近赤外光のうち近赤外光が優先的に自車両の前方に照射されるように歩行者を投光する。これにより、夜間の歩行者の検出が容易になる。
【００１６】
車載カメラ１１は、前方から入射した近赤外光を光電変換素子により光電変換して、蓄積した電荷を電圧として読み出し増幅しＡ／Ｄ変換を施すことで、所定の輝度階調（例えば、２５６階調）のデジタル画像（赤外線画像）を出力する。車載カメラ１１はこの作業を繰り返し、サイクル時間（例えば、３０フレーム／秒）毎に赤外線画像を出力し、歩行者検知装置１２はこの赤外線画像に歩行者検出のための画像処理を施した後、表示装置１３のビデオメモリに記憶する。
【００１７】
近赤外投光器により歩行者など赤外線を発する撮影物は明るく撮影され、歩行者のように近赤外光を反射する対象物を好適に撮影することができる。歩行者の検知範囲は３０〜１００〔ｍ〕程度であり、自車両の車速が大きいほどより遠方の歩行者を検出するようになっている。歩行者までのおよその距離は、歩行者が占める光電変換素子の画素数により判別できるようになっている。
【００１８】
表示装置１３は、例えば、液晶ディスプレイやＨＵＤ（Head Up Display）である。視線移動の少ない場所に赤外線画像を表示することが好ましく、例えば、液晶ディスプレイで構成されたメータパネルを用い、ＮＶシステム１００が作動していない状態では、スピードメータや回転数メータを表示し、ＮＶシステム１００が作動すると画面が変化してスピードメータ等を縮小すると共にメータ類の中央に赤外線画像を表示する。また、ナビゲーションシステムやテレビ等のＡＶシステムの液晶ディスプレイと兼用してもよい。また、ＨＵＤの場合、運転者前方のウィンドシールド下方に設けられた液晶表示装置の表示像を反射ミラーで反射して光路を変更し、ウィンドシールドに設けられた反射板（コンバイナ）に投影する。反射板の表示像は、ウィンドシールドより前方の虚像として運転者に目視される。
【００１９】
なお、歩行者検知装置１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイス及びＡＳＩＣ（Application Specific Integrated Circuit）等を備えたコンピュータを実体とする。ＣＰＵがＲＯＭに記憶されたプログラムを実行するか、又は、ＡＳＩＣ等のハードウェアにより歩行者検出部２１、移動態様判別部２２、歩行者枠形状決定部２３及び歩行者強調部２４が実現される。
【００２０】
＜歩行者の検出＞
ＮＶシステム１００は、スイッチがＯＮ、照度センサーにより夜間であることが検出されていること、ヘッドライトがオン、及び、車速が所定値以下の状態で作動し、歩行者を検出すると歩行者枠２０を表示する。以下、歩行者検出装置１２の機能について詳細に説明する。
【００２１】
歩行者の検出について説明する。赤外線画像のうち歩行者が占める画素は高い輝度を示すことを利用して、歩行者検出部２１は歩行者を検出する。歩行者検出部２１は、エッジ処理して所定値以上の輝度が連続的に密集した歩行者候補画素を検出する。近赤外線を高効率に反射するのは歩行者だけでなく、金属や車線区切り線（以下、白線という）などのも含まれる。また、対向車線の車両の前照灯や先行車両のテールランプなども歩行者候補画素となりうる。このため歩行者検出部２１は、歩行者候補画素から歩行者でないものを排除していく。
【００２２】
前照灯やテールランプのような発光体は、歩行者よりも高い輝度を示すので、歩行者に最適なカメラパラメータで撮影すると、車載カメラ１１の輝度値の解像度を超え、歩行者候補画素は飽和した状態となる。飽和すると、歩行者候補画素は輝度値が最高値（例えば２５５）又はそれに近い値になる。この現象を利用して、歩行者検出部２１は、歩行者候補画素のうち輝度値が最高値の画素の比率が所定以上のものを歩行者候補画素から除外する。これにより、前照灯やテールランプを歩行者候補から排除できる。
【００２３】
また、歩行者検出部２１は、ガードレール、白線、縁石などの連続した人工物を歩行者候補から排除する。このような連続物の歩行者候補画素は、赤外線画像においても連続しているので、所定の長さ以上に連続している歩行者候補画素を歩行者候補から除外する。
【００２４】
また、電柱にかけられた看板や標識などは、近赤外線を高効率に反射するので歩行者候補画素になるが、歩行者検出部２１は、例えば明らかな矩形物、円形物、三角形物は人工物であるとして歩行者候補画素を歩行者候補から除外する。このような人工物か否かは、これらの形状の標準パターンと歩行者候補画素をパターンマッチングして一致度を検証することで判定できる。
【００２５】
また、歩行者検出部２１は、残った歩行者候補画素の外接矩形を求め、その縦横比が予め定めた比率の上下範囲に含まれるか否かにより、更に歩行者候補を取捨する。そして、歩行者検出部２１は、残った歩行者候補画素から例えばパターンマッチングにより歩行者を検出する。
【００２６】
図３は、歩行者検出に用いる標準パターン３１の一例を示す図である。まず、図３（ａ）に示す歩行者の標準パターン３１は、平行移動時の歩行者候補画素との一致度が高く、図３（ｂ）に示す歩行者の標準パターン３１は、横断時の歩行者候補画素との一致度が高くなるものとして予めＲＯＭ等に記憶されている。この他、立ち止まっている標準パターン３１、走っている標準パターン３１、携帯電話を使用している標準パターン３１などを用意しておいてもよいし、手荷物、ショルダーバック、ナップザックを携行している標準パターン３１を用意しておいてもよい。
【００２７】
歩行者検出部２１は、歩行者候補画素を２値化処理して、同程度の解像度に展開された標準パターン３１と、一画素ずつずらしながら一致度を算出する。これを各標準パターン３１で繰り返し、閾値を超えた標準パターン３１が１つでもあれば、その歩行者検出部２１は歩行者候補画素を歩行者であると判定する。以下、歩行者であると判定された歩行者候補画素を歩行者画素という。
【００２８】
＜移動態様の判定＞
続いて、移動態様の判別について説明する。移動態様判別部２２は、歩行者が平行移動しているのか横断しているのか等の移動態様を判別する。本実施形態の移動態様は主に移動方向である。移動態様の判別には、例えば標準パターン３１を用いたり、複数の赤外線画像における歩行者画素の動きベクトルＶを用いる方法がある。
【００２９】
歩行者検出部２１が各種の移動態様の標準パターン３１と歩行者候補画素とパターンマッチングしたので、各標準パターン３１との一致度が算出されている。これを利用すれば、最も一致度が高い標準パターン３１の移動態様で歩行者が移動していると考えることができる。なお、単に最も一致度が高い移動態様に決定すると、全体的に標準パターン３１との一致度が低い場合に移動態様を誤判別するおそれがあるので、最も高い一致度が閾値を超えた場合に制限することが好適である。すなわち、最も高い一致度が閾値を超えなければ、移動態様は不明となり、動きベクトルＶから判別する。
【００３０】
歩行者画素の移動方向は、歩行者画素の重心や外接矩形の頂点を結ぶ交点の動きベクトルＶ、又は、歩行者画素を構成する各画素の動きベクトルＶの平均、などを利用して判別する。サイクル時間毎に撮影される赤外線画像には、歩行者画素が一部重複しながら撮影されるので、同じ歩行者は容易に監視でき、時系列に取得される歩行者画素の重心の差分から、同じ歩行者画素の重心の動きベクトルＶを算出できる。
【００３１】
図４（ａ）（ｂ）は、平行移動時の動きベクトルＶの一例を示す図である。図示するように、平行移動時の動きベクトルＶは、いくつかの特徴を備える。
Ａ１）まず、動きベクトルＶは赤外線画像の中央よりも左側では左下方向（図示する方向を原点ゼロ度とすると１８０度〜２７０度の間）を向き、中央より右側では右下方向（２７０度から０度の間）を向く。換言すれば、動きベクトルＶは、赤外線画像の下向きの成分を有する。
Ａ２）また、動きベクトルＶを赤外線画像の上下方向の成分Ｖｈと左右方向の成分Ｖｖに分解すると、上下方向の成分Ｖｈの方が大きい（Ｖｖ＞Ｖｈ）場合が多いと考えられる。
Ａ３）また、平行移動時は、動きベクトルＶの左右方向の成分Ｖｈが、中央より左側の歩行者では２７０度であり、中央より右側の歩行者では０度である。
【００３２】
移動態様判別部２２は、Ａ１〜Ａ３の判定項目を重み付けして数値化し、閾値を超えれば、その歩行者は平行移動していると判別する。例えば、Ａ１を満たす場合をａ１点、Ａ２を満たす場合をａ２点、Ａ３を満たす場合をａ３点とし、ｎ１×ａ１＋ｎ２×ａ２＋ｎ３×ａ３が閾値を超えるか否かを判定する（ｎ１〜ｎ３は重み付け係数）。
【００３３】
閾値を超えなければ、次述する横断時が否かを判別する。なお、平行移動か否かを判別するための閾値を超えた場合でもあっても、移動態様が横断時が否かを判別することで、より正確に移動態様を判別できる。
【００３４】
図４（ｃ）は、横断時の動きベクトルＶの一例を示す図である。
Ｂ）横断時の動きベクトルＶは、左右方向の成分Ｖｈの方が上下方向の成分Ｖｖより大きい場合が多いと考えられる。歩行者が、相対的に車両に接近するため、上下方向の成分Ｖｖも有するが、移動しながら撮影した画像の特徴として、赤外線画像の中心に近いほど、相対的な接近が動きベクトルＶに与える影響は少ない。したがって、図４（ｄ）に示すように、横断時はＶｈ＞＞Ｖｖと考えられる。
【００３５】
移動態様判別部２２は、Ｂを満たすか否かに応じて横断時か否かを判別する。この結果、Ａ１〜Ａ３により平行移動していると判別できなかった場合であって、Ｂにより横断していると判別できた場合、移動態様判別部２２は、歩行者は横断していると判別できる。同様に、Ａ１〜Ａ３により平行移動していると判別された場合であって、Ｂにより横断していると判別されない場合、移動態様判別部２２は、歩行者は平行移動していると判別できる。
【００３６】
Ａ１〜Ａ３とＢの判別結果に齟齬がある場合、不明としてもよいし、歩行者検出に用いて標準パターン３１との一致結果を用いてもよい。横断している歩行者を平行移動していると誤判別すると、運転者が歩行者を軽視する可能性があるため好ましくない。一方、平行移動している歩行者を一時的に横断していると判断しておき、その後、平行移動していると判別し直してもよいが、ＮＶシステム１００の信頼性が低下するおそれもある。このため、好ましくは、Ａ１〜Ａ３とＢの判別結果がいずれも一致した場合に横断又は平行移動していると判別し、更に好ましくは歩行者であると判別した標準パターン３１の移動態様が一致していることが好ましい。
【００３７】
＜歩行者枠２０の設定＞
移動態様に応じた歩行者枠２０について説明する。歩行者枠形状決定部２３は、移動態様に応じた形状の歩行者枠２０を決定する。既に図１に示したように、平行移動時の歩行者には、例えば、歩行者画素の高さ方向及び横方向にそれぞれ若干のマージン（例えば、歩行者画素の上下にそれぞれ１０〜２０％、歩行者画素の左右にそれぞれ１０〜２０％）を設けた矩形の歩行者枠２０、又は、外接矩形をやや大きめにした歩行者枠２０等を設定する。
【００３８】
一方、横断時の歩行者には、図１に示したように、歩行者が横方向に移動しても、画像処理の間に歩行者と歩行者枠２０の位置がずれない歩行者枠２０を設定する。すなわち、歩行者枠２０の横幅を平行移動時よりも長くする。図５（ａ）は、横断時の歩行者枠２０の一例を示す図である。例えば、平行移動時の横方向のマージンを左右にそれぞれ１０〜２０％とした場合、横断時には左右のマージンをそれぞれ５０〜１００％とする。１００％とした場合、歩行者の位置を検出している間に、歩行者が左右のいずれかに一人分移動しても、歩行者を歩行者枠２０の中に収めることができる。このような歩行者枠２０の縦横比（高さ／横幅）は１以下となる。
【００３９】
また、マージンを固定にするのでなく、横断時の横方向のマージンを、画像処理の時間と歩行者の移動速度に応じて決定してもよい。画像処理の時間はほぼ一定としてよく、また、歩行者の動きベクトルＶが検出されている場合、画像処理の間に歩行者が移動する画素数を示す動きベクトルの長さも既知である。例えば、横断時の動きベクトルＶの長さに係数をかけることで、歩行者枠２０の横方向のマージンを決定することができる。
【００４０】
歩行者枠形状決定部２３は、上記マージン等に従い歩行者画素を基準に、歩行者枠２０の各辺の位置を決定する。歩行者枠２０の各辺の位置を決定すれば、横幅と高さも自動的に決定されるので歩行者枠２０の形状（縦横比）も同時に決定される。なお、歩行者枠２０の位置と形状は４つの頂点の画素位置で特定できる。
【００４１】
また、動きベクトルＶが検出されているので、歩行者の移動方向のみのマージンを大きくしてもよい。図５（ｂ）は、横断時の歩行者枠２０の一例を示す図である。図５（ｂ）では、移動方向にのみ歩行者枠２０の横幅が長くなっている。
【００４２】
また、図５（ｃ）に示すように、歩行者枠２０の形状をより直接的に移動方向を示すものとしてもよい。図５（ｃ）では移動方向の歩行者枠２０が矢印を模した形状となっている。矢印により運転者は歩行者の移動方向を把握しやすくなる。なお、この場合も横方向にマージンを設けることで、画像処理の間に、歩行者が移動しても歩行者を歩行者枠２０の中に収めることができる。また、図５（ａ）と同様に、左右にそれぞれマージンを設けてもよい。
【００４３】
また、図５（ｄ）に示すように、歩行者枠２０を、完全な矩形でない形状、半楕円、卵形、又は、涙型にしてもよい。図５（ｄ）の歩行者枠２０は、矩形の角を落とした形状の歩行者枠２０の一例を示す。また、移動方向に長軸を有し移動方向と反対側に行くほど先細りする、楕円を変形した形状にしてもよい。これから進む方向をより広くすることで、歩行者の移動方向を把握しやすくできる。
【００４４】
以上のような歩行者枠２０を表示することで、画像処理の間に歩行者が移動しても歩行者と歩行者枠２０の位置がずれることを防止でき、さらに、歩行者が横断していることを運転者が把握しやすくなる。また、移動方向側のみのマージンを広くした場合や矢印を含む歩行者枠２０を表示することで、歩行者の移動方向を把握しやすくなる。
【００４５】
＜歩行者の強調＞
歩行者強調部２４は、表示装置１３に矩形枠を表示する。ここでは図５（ａ）の歩行者枠２０を例に説明するが、その他の歩行者枠２０も同様に表示できる。車載カメラ１１により撮影された赤外線画像はそのまま又はコントラストや明るさ、ガンマ補正等を施された後、ビデオメモリに記憶される。
【００４６】
ビデオメモリは１画面分の赤外線画像データを記憶できる。したがって、表示装置１３の１画素とビデオメモリの１画素分の例えば８ビット（２５６階調の場合）が１対１に対応する。歩行者枠形状決定部２３がすでに歩行者画素における歩行者枠２０の位置と形状を決定している。また、歩行者枠２０には所定の太さが設けられているので、歩行者枠２０に太さを与えることで、歩行者枠２０の上辺、下辺、右辺及び左辺のそれぞれの長方形が占める画素が確定する。この太さは、歩行者との相対距離や歩行者枠２０の大きさにより可変としてもよいし、平行移動時と横断時とで変えてもよい。なお、表示装置１３のＡＰＩ（Application Programming Interface）等を利用して、歩行者枠２０の４つの頂点の画素位置、太さを指定して歩行者枠２０を描画してもよい。
【００４７】
歩行者枠２０の画素値（輝度値）は予め定められているので、歩行者強調部２４は、ビデオメモリの赤外線画像データのうち、歩行者枠２０に対応する画素の画素値を歩行者枠２０用の画素値で置き換える。これにより、ビデオメモリには歩行者及び歩行者枠２０を含む赤外線画像の画素値が格納されたことになる。表示装置１３は、所定のリフレッシュレートでビデオメモリを走査して表示する。これにより、運転者は歩行者が強調された赤外線画像を目視することができる。
【００４８】
歩行者枠２０の位置は、歩行者検出部２１が歩行者を検出する度に、最新の歩行者位置に対応して決定される。歩行者強調部２４は、サイクル時間毎に格納される赤外線画像データの最新の歩行者位置に対応する画素に、歩行者枠２０の画素値を格納することを繰り返すので、歩行者の移動に応じて歩行者とずれることなく歩行者枠２０を表示することができる。
【００４９】
〔ＮＶシステム１００の動作手順〕
ＮＶシステム１００の動作手順について図６のフローチャート図に基づき説明する。図６のフローチャート図に基づく手順は、ＮＶシステム１００の動作条件を満たすと所定のサイクル時間毎に繰り返し実行される。
【００５０】
まず、歩行者検出部２１は、車載カメラ１１が撮影した赤外線画像から歩行者を検出する（Ｓ１０）。そして、移動態様判別部２２は、歩行者検出時の標準パターン３１及び動きベクトルＶから歩行者の移動態様が平行移動か横断かを判別する。
【００５１】
ついで、歩行者検出部２１は、歩行者が赤外線画像に撮影されているか否かを判定する（Ｓ２０）。判定の結果、歩行者が撮影されていない場合（Ｓ２０のＮｏ）、歩行者強調部２４は歩行者を強調する必要がないので、表示装置１３は赤外線画像をそのまま表示する（Ｓ７０）。なお、車速に応じて歩行者の検出範囲は異なるので、ステップＳ２０の判定は、車速が低ければ遠方の歩行者は検出されないと判定する。
【００５２】
歩行者が赤外線画像に撮影されている場合（Ｓ２０のＹｅｓ）、歩行者枠形状決定部２３は、平行移動時か横断時かに応じて、歩行者枠２０を設定する（Ｓ３０）。歩行者が平行移動している場合（Ｓ３０のＮｏ）、歩行者枠形状決定部２３は歩行者画素に対し上下左右に１０〜２０％程度のマージンを設けた歩行者枠２０を設定する。そして、歩行者強調部２４が、設定された歩行者枠２０の形状及び位置に従いビデオメモリに歩行者枠２０の画素値を格納する（Ｓ４０）。
【００５３】
歩行者が横断している場合（Ｓ３０のＹｅｓ）、歩行者枠形状決定部２３は歩行者画素に対し上下にそれぞれ１０〜２０％程度のマージンを、左右にそれぞれ５０〜１００％程度のマージンを設けた歩行者枠２０を設定する。そして、歩行者強調部２４は、設定された歩行者枠２０の形状及び位置に従いビデオメモリに歩行者枠２０の画素値を格納する（Ｓ５０）。
【００５４】
表示装置１３は、所定のリフレッシュレート毎にビデオメモリから赤外線画像データを読み出し表示する（Ｓ６０）。ＮＶシステム１００は以上の処理を繰り返す。なお、横断後の歩行者が平行移動に移行した場合、平行移動と判別されることで歩行者枠２０は平行移動時のものに切り替わる。
【００５５】
以上説明したように、本実施形態のＮＶシステム１００は、横断している歩行者を検出して歩行者枠２０を横長にすることで、歩行者と歩行者枠２０の位置ずれを防止でき、かつ、歩行者の移動方向を運転者に通知しやすくできる。
【図面の簡単な説明】
【００５６】
【図１】ナイトビューシステムにより表示される歩行者枠を模式的に説明する図の一例である。
【図２】ＮＶシステムのブロック図の一例である。
【図３】歩行者検出に用いる標準パターンの一例を示す図である。
【図４】平行移動時、横断時の動きベクトルＶの一例を示す図である。
【図５】横断時の歩行者枠の一例を示す図である。
【図６】ＮＶシステムの動作手順を示すフローチャート図の一例である。
【符号の説明】
【００５７】
１１ 車載カメラ
１２ 歩行者検知装置
１３ 表示装置
２０ 歩行者枠
２１ 歩行車検出部
２２ 移動態様判定部
２３ 歩行者枠形状決定部
２４ 歩行者強調部
１００ ナイトビューシステム（ＮＶシステム）
【技術分野】
【０００１】
本発明は、撮像された画像から歩行者を検出して、表示装置などで歩行者の存在を強調して表示するナイトビューシステム及び夜間歩行者表示方法に関する。
【背景技術】
【０００２】
車両前方を歩行する歩行者の存在を運転者に注意喚起するナイトビューシステムでは、運転者に歩行者の位置を把握させるため、ディスプレイに表示する歩行者を強調する種々の方法が考えられている（例えば、特許文献１、２参照。）。特許文献１には、ディスプレイに歩行者を囲む歩行者枠を表示すると共に、歩行者枠を徐々に太くする表示方法が開示されている。また、特許文献２には、歩行者が検出されると歩行者を歩行者枠で囲むと共にナイトビュー全体の表示面積を拡大し、これに伴い歩行者も拡大して表示する表示方法が開示されている。
【特許文献１】特開２００８−１０９３１０号公報
【特許文献２】特開２００７−１５９０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように、歩行者を強調する上では歩行者を歩行者枠で囲むことが有効であると考えられており、ナイトビューシステムは、カメラで撮影した画像内の歩行者を検出して、ディスプレイ内の歩行者を歩行者枠で囲むという画像処理を繰り返す。しかしながら、移動する車両から移動する歩行者を撮影するため、車両と歩行者の相対速度は変動しやすく、歩行者と歩行者枠の位置を合わせるには工夫が必要となっている。
【０００４】
例えば、時刻ｔ１で撮影した画像で歩行者を検出すると、時刻ｔ１の歩行者の位置を囲む歩行者枠を時刻ｔ２（＞ｔ１）で撮影した画像に表示するため、相対速度が大きい場合には、歩行者と歩行者枠の位置がずれてしまうという問題がある。
【０００５】
歩行者を検出するために使用した時刻ｔ１の画像をメモリに記憶しておき、歩行者の位置を検出したら、時刻ｔ１で撮影した画像に歩行者枠を表示してディスプレイに表示すれば、歩行者の位置と歩行者枠を一致させることができる。しかし、歩行者を検出する画像処理の間、画像を記憶しておくメモリを確保する必要が生じたり、画像処理時間が長いと肉眼の光景とディスプレイの表示内容が時間的にずれてしまうため、適切な手法とは言えない。
【０００６】
また、大きめの歩行者枠で歩行者を囲めば、画像処理の間に歩行者と歩行者枠がずれることを防止できるが、相対速度が大きくない場合でも大きくすると、歩行者の位置があいまいになり運転者に通知する形態としては適切と言えない。
【０００７】
本発明は、上記課題に鑑み、歩行者が撮影された画像を時間的なずれを最小にして表示し、かつ、的確に歩行者の位置を通知しながら歩行者枠と歩行者のずれを防止するナイトビューシステム及び夜間歩行者表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、撮影された画像データから歩行者を検出して、歩行者が矩形枠で囲繞された前記画像データを表示装置に表示するナイトビューシステムにおいて、サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段と、歩行者が矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段と、移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くする歩行者枠設定手段と、を有することを特徴とする。
【発明の効果】
【０００９】
歩行者が撮影された画像を時間的なずれを最小にして表示し、かつ、的確に歩行者の位置を通知しながら枠と歩行者のずれを防止するナイトビューシステム及び夜間歩行者表示方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
図1は、本実施形態のナイトビューシステム１００により表示される歩行者枠２０を模式的に説明する図の一例を示す。
【００１１】
本実施形態のナイトビューシステム（以下、ＮＶシステム１００という）は、検出した歩行者の移動態様に応じて歩行者枠２０を変更する。すなわち、歩行者が歩道を自車両と同じ方向又は逆方向に移動している場合（以下、平行移動時という）には、歩行者の高さ及び横幅より若干大きい、縦・横に過不足のない歩行者枠２０を表示する。この歩行者枠２０は従来の歩行者枠とほぼ同じ形状である。一方、歩行者が自車両の前方の車道を横断するように移動する場合（以下、横断時という）、歩行者枠２０の横幅を、平行移動時よりも長くする。
【００１２】
横断時と平行移動時で歩行者の歩速が同じであっても、視点（車載カメラ１１の光軸）の関係で、赤外線画像内を横切る場合は平行移動する場合よりも移動速度が大きく見える。後述するように、平行移動時における赤外線画像内の歩行者は、歩行者が歩行したり自車両が走行しても横方向の移動成分が小さい。これに対し、横断時は、歩行者の歩行量がそのまま画像内の横方向の移動成分に反映される。そこで、本実施形態のＮＶシステム１００は、横断時の歩行者枠２０の横幅を大きくすることで、安定的に歩行者を歩行者枠２０で囲むと同時に、歩行者の移動方向を運転者が容易に判別することを可能にする。
【００１３】
図２は、本実施形態のＮＶシステム１００のブロック図の一例を示す。ＮＶシステム１００は、歩行者検知装置１２により制御される。歩行者検知装置１２は、車載カメラ１１が撮影した画像から歩行者を検出し、また、表示装置１３に車載カメラ１１が撮影した映像（連続した赤外線画像）を表示すると共に、歩行者が検出されれば歩行者を囲む歩行者枠２０を表示する。なお、歩行者検知装置１２と、車載カメラ１１及び表示装置１３は、ＣＡＮ（Controller Area Network）やＡＶ用ＬＡＮ等、又は、専用線を介して接続されている。
【００１４】
車載カメラ１１は、例えばルームミラーの裏側に、光軸を車両前方のやや下向きに向けて固定されている。フロンバンパ内やフロントグリル内などに配置してもよい。車載カメラ１１はＣＣＤやＣＭＯＳなどの光電変換素子を有し、夜間の撮影を可能にするため近赤外光（例えば８００〜２０００〔μｍ〕）に感度を有し、シャッタスピードや制御ゲイン等のカメラパラメータが夜間撮影用に最適化されている。このため、肉眼では目視が困難な近赤外光を発する歩行者を撮影することができる。
【００１５】
より好ましくは、例えばヘッドライトに近赤外投光器が配置されており、ＮＶシステム１００がオンになるとハイビームと近赤外線投光器が切り替えられ可視光線カットフィルタが有効になることで、前照灯の光と近赤外光のうち近赤外光が優先的に自車両の前方に照射されるように歩行者を投光する。これにより、夜間の歩行者の検出が容易になる。
【００１６】
車載カメラ１１は、前方から入射した近赤外光を光電変換素子により光電変換して、蓄積した電荷を電圧として読み出し増幅しＡ／Ｄ変換を施すことで、所定の輝度階調（例えば、２５６階調）のデジタル画像（赤外線画像）を出力する。車載カメラ１１はこの作業を繰り返し、サイクル時間（例えば、３０フレーム／秒）毎に赤外線画像を出力し、歩行者検知装置１２はこの赤外線画像に歩行者検出のための画像処理を施した後、表示装置１３のビデオメモリに記憶する。
【００１７】
近赤外投光器により歩行者など赤外線を発する撮影物は明るく撮影され、歩行者のように近赤外光を反射する対象物を好適に撮影することができる。歩行者の検知範囲は３０〜１００〔ｍ〕程度であり、自車両の車速が大きいほどより遠方の歩行者を検出するようになっている。歩行者までのおよその距離は、歩行者が占める光電変換素子の画素数により判別できるようになっている。
【００１８】
表示装置１３は、例えば、液晶ディスプレイやＨＵＤ（Head Up Display）である。視線移動の少ない場所に赤外線画像を表示することが好ましく、例えば、液晶ディスプレイで構成されたメータパネルを用い、ＮＶシステム１００が作動していない状態では、スピードメータや回転数メータを表示し、ＮＶシステム１００が作動すると画面が変化してスピードメータ等を縮小すると共にメータ類の中央に赤外線画像を表示する。また、ナビゲーションシステムやテレビ等のＡＶシステムの液晶ディスプレイと兼用してもよい。また、ＨＵＤの場合、運転者前方のウィンドシールド下方に設けられた液晶表示装置の表示像を反射ミラーで反射して光路を変更し、ウィンドシールドに設けられた反射板（コンバイナ）に投影する。反射板の表示像は、ウィンドシールドより前方の虚像として運転者に目視される。
【００１９】
なお、歩行者検知装置１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイス及びＡＳＩＣ（Application Specific Integrated Circuit）等を備えたコンピュータを実体とする。ＣＰＵがＲＯＭに記憶されたプログラムを実行するか、又は、ＡＳＩＣ等のハードウェアにより歩行者検出部２１、移動態様判別部２２、歩行者枠形状決定部２３及び歩行者強調部２４が実現される。
【００２０】
＜歩行者の検出＞
ＮＶシステム１００は、スイッチがＯＮ、照度センサーにより夜間であることが検出されていること、ヘッドライトがオン、及び、車速が所定値以下の状態で作動し、歩行者を検出すると歩行者枠２０を表示する。以下、歩行者検出装置１２の機能について詳細に説明する。
【００２１】
歩行者の検出について説明する。赤外線画像のうち歩行者が占める画素は高い輝度を示すことを利用して、歩行者検出部２１は歩行者を検出する。歩行者検出部２１は、エッジ処理して所定値以上の輝度が連続的に密集した歩行者候補画素を検出する。近赤外線を高効率に反射するのは歩行者だけでなく、金属や車線区切り線（以下、白線という）などのも含まれる。また、対向車線の車両の前照灯や先行車両のテールランプなども歩行者候補画素となりうる。このため歩行者検出部２１は、歩行者候補画素から歩行者でないものを排除していく。
【００２２】
前照灯やテールランプのような発光体は、歩行者よりも高い輝度を示すので、歩行者に最適なカメラパラメータで撮影すると、車載カメラ１１の輝度値の解像度を超え、歩行者候補画素は飽和した状態となる。飽和すると、歩行者候補画素は輝度値が最高値（例えば２５５）又はそれに近い値になる。この現象を利用して、歩行者検出部２１は、歩行者候補画素のうち輝度値が最高値の画素の比率が所定以上のものを歩行者候補画素から除外する。これにより、前照灯やテールランプを歩行者候補から排除できる。
【００２３】
また、歩行者検出部２１は、ガードレール、白線、縁石などの連続した人工物を歩行者候補から排除する。このような連続物の歩行者候補画素は、赤外線画像においても連続しているので、所定の長さ以上に連続している歩行者候補画素を歩行者候補から除外する。
【００２４】
また、電柱にかけられた看板や標識などは、近赤外線を高効率に反射するので歩行者候補画素になるが、歩行者検出部２１は、例えば明らかな矩形物、円形物、三角形物は人工物であるとして歩行者候補画素を歩行者候補から除外する。このような人工物か否かは、これらの形状の標準パターンと歩行者候補画素をパターンマッチングして一致度を検証することで判定できる。
【００２５】
また、歩行者検出部２１は、残った歩行者候補画素の外接矩形を求め、その縦横比が予め定めた比率の上下範囲に含まれるか否かにより、更に歩行者候補を取捨する。そして、歩行者検出部２１は、残った歩行者候補画素から例えばパターンマッチングにより歩行者を検出する。
【００２６】
図３は、歩行者検出に用いる標準パターン３１の一例を示す図である。まず、図３（ａ）に示す歩行者の標準パターン３１は、平行移動時の歩行者候補画素との一致度が高く、図３（ｂ）に示す歩行者の標準パターン３１は、横断時の歩行者候補画素との一致度が高くなるものとして予めＲＯＭ等に記憶されている。この他、立ち止まっている標準パターン３１、走っている標準パターン３１、携帯電話を使用している標準パターン３１などを用意しておいてもよいし、手荷物、ショルダーバック、ナップザックを携行している標準パターン３１を用意しておいてもよい。
【００２７】
歩行者検出部２１は、歩行者候補画素を２値化処理して、同程度の解像度に展開された標準パターン３１と、一画素ずつずらしながら一致度を算出する。これを各標準パターン３１で繰り返し、閾値を超えた標準パターン３１が１つでもあれば、その歩行者検出部２１は歩行者候補画素を歩行者であると判定する。以下、歩行者であると判定された歩行者候補画素を歩行者画素という。
【００２８】
＜移動態様の判定＞
続いて、移動態様の判別について説明する。移動態様判別部２２は、歩行者が平行移動しているのか横断しているのか等の移動態様を判別する。本実施形態の移動態様は主に移動方向である。移動態様の判別には、例えば標準パターン３１を用いたり、複数の赤外線画像における歩行者画素の動きベクトルＶを用いる方法がある。
【００２９】
歩行者検出部２１が各種の移動態様の標準パターン３１と歩行者候補画素とパターンマッチングしたので、各標準パターン３１との一致度が算出されている。これを利用すれば、最も一致度が高い標準パターン３１の移動態様で歩行者が移動していると考えることができる。なお、単に最も一致度が高い移動態様に決定すると、全体的に標準パターン３１との一致度が低い場合に移動態様を誤判別するおそれがあるので、最も高い一致度が閾値を超えた場合に制限することが好適である。すなわち、最も高い一致度が閾値を超えなければ、移動態様は不明となり、動きベクトルＶから判別する。
【００３０】
歩行者画素の移動方向は、歩行者画素の重心や外接矩形の頂点を結ぶ交点の動きベクトルＶ、又は、歩行者画素を構成する各画素の動きベクトルＶの平均、などを利用して判別する。サイクル時間毎に撮影される赤外線画像には、歩行者画素が一部重複しながら撮影されるので、同じ歩行者は容易に監視でき、時系列に取得される歩行者画素の重心の差分から、同じ歩行者画素の重心の動きベクトルＶを算出できる。
【００３１】
図４（ａ）（ｂ）は、平行移動時の動きベクトルＶの一例を示す図である。図示するように、平行移動時の動きベクトルＶは、いくつかの特徴を備える。
Ａ１）まず、動きベクトルＶは赤外線画像の中央よりも左側では左下方向（図示する方向を原点ゼロ度とすると１８０度〜２７０度の間）を向き、中央より右側では右下方向（２７０度から０度の間）を向く。換言すれば、動きベクトルＶは、赤外線画像の下向きの成分を有する。
Ａ２）また、動きベクトルＶを赤外線画像の上下方向の成分Ｖｈと左右方向の成分Ｖｖに分解すると、上下方向の成分Ｖｈの方が大きい（Ｖｖ＞Ｖｈ）場合が多いと考えられる。
Ａ３）また、平行移動時は、動きベクトルＶの左右方向の成分Ｖｈが、中央より左側の歩行者では２７０度であり、中央より右側の歩行者では０度である。
【００３２】
移動態様判別部２２は、Ａ１〜Ａ３の判定項目を重み付けして数値化し、閾値を超えれば、その歩行者は平行移動していると判別する。例えば、Ａ１を満たす場合をａ１点、Ａ２を満たす場合をａ２点、Ａ３を満たす場合をａ３点とし、ｎ１×ａ１＋ｎ２×ａ２＋ｎ３×ａ３が閾値を超えるか否かを判定する（ｎ１〜ｎ３は重み付け係数）。
【００３３】
閾値を超えなければ、次述する横断時が否かを判別する。なお、平行移動か否かを判別するための閾値を超えた場合でもあっても、移動態様が横断時が否かを判別することで、より正確に移動態様を判別できる。
【００３４】
図４（ｃ）は、横断時の動きベクトルＶの一例を示す図である。
Ｂ）横断時の動きベクトルＶは、左右方向の成分Ｖｈの方が上下方向の成分Ｖｖより大きい場合が多いと考えられる。歩行者が、相対的に車両に接近するため、上下方向の成分Ｖｖも有するが、移動しながら撮影した画像の特徴として、赤外線画像の中心に近いほど、相対的な接近が動きベクトルＶに与える影響は少ない。したがって、図４（ｄ）に示すように、横断時はＶｈ＞＞Ｖｖと考えられる。
【００３５】
移動態様判別部２２は、Ｂを満たすか否かに応じて横断時か否かを判別する。この結果、Ａ１〜Ａ３により平行移動していると判別できなかった場合であって、Ｂにより横断していると判別できた場合、移動態様判別部２２は、歩行者は横断していると判別できる。同様に、Ａ１〜Ａ３により平行移動していると判別された場合であって、Ｂにより横断していると判別されない場合、移動態様判別部２２は、歩行者は平行移動していると判別できる。
【００３６】
Ａ１〜Ａ３とＢの判別結果に齟齬がある場合、不明としてもよいし、歩行者検出に用いて標準パターン３１との一致結果を用いてもよい。横断している歩行者を平行移動していると誤判別すると、運転者が歩行者を軽視する可能性があるため好ましくない。一方、平行移動している歩行者を一時的に横断していると判断しておき、その後、平行移動していると判別し直してもよいが、ＮＶシステム１００の信頼性が低下するおそれもある。このため、好ましくは、Ａ１〜Ａ３とＢの判別結果がいずれも一致した場合に横断又は平行移動していると判別し、更に好ましくは歩行者であると判別した標準パターン３１の移動態様が一致していることが好ましい。
【００３７】
＜歩行者枠２０の設定＞
移動態様に応じた歩行者枠２０について説明する。歩行者枠形状決定部２３は、移動態様に応じた形状の歩行者枠２０を決定する。既に図１に示したように、平行移動時の歩行者には、例えば、歩行者画素の高さ方向及び横方向にそれぞれ若干のマージン（例えば、歩行者画素の上下にそれぞれ１０〜２０％、歩行者画素の左右にそれぞれ１０〜２０％）を設けた矩形の歩行者枠２０、又は、外接矩形をやや大きめにした歩行者枠２０等を設定する。
【００３８】
一方、横断時の歩行者には、図１に示したように、歩行者が横方向に移動しても、画像処理の間に歩行者と歩行者枠２０の位置がずれない歩行者枠２０を設定する。すなわち、歩行者枠２０の横幅を平行移動時よりも長くする。図５（ａ）は、横断時の歩行者枠２０の一例を示す図である。例えば、平行移動時の横方向のマージンを左右にそれぞれ１０〜２０％とした場合、横断時には左右のマージンをそれぞれ５０〜１００％とする。１００％とした場合、歩行者の位置を検出している間に、歩行者が左右のいずれかに一人分移動しても、歩行者を歩行者枠２０の中に収めることができる。このような歩行者枠２０の縦横比（高さ／横幅）は１以下となる。
【００３９】
また、マージンを固定にするのでなく、横断時の横方向のマージンを、画像処理の時間と歩行者の移動速度に応じて決定してもよい。画像処理の時間はほぼ一定としてよく、また、歩行者の動きベクトルＶが検出されている場合、画像処理の間に歩行者が移動する画素数を示す動きベクトルの長さも既知である。例えば、横断時の動きベクトルＶの長さに係数をかけることで、歩行者枠２０の横方向のマージンを決定することができる。
【００４０】
歩行者枠形状決定部２３は、上記マージン等に従い歩行者画素を基準に、歩行者枠２０の各辺の位置を決定する。歩行者枠２０の各辺の位置を決定すれば、横幅と高さも自動的に決定されるので歩行者枠２０の形状（縦横比）も同時に決定される。なお、歩行者枠２０の位置と形状は４つの頂点の画素位置で特定できる。
【００４１】
また、動きベクトルＶが検出されているので、歩行者の移動方向のみのマージンを大きくしてもよい。図５（ｂ）は、横断時の歩行者枠２０の一例を示す図である。図５（ｂ）では、移動方向にのみ歩行者枠２０の横幅が長くなっている。
【００４２】
また、図５（ｃ）に示すように、歩行者枠２０の形状をより直接的に移動方向を示すものとしてもよい。図５（ｃ）では移動方向の歩行者枠２０が矢印を模した形状となっている。矢印により運転者は歩行者の移動方向を把握しやすくなる。なお、この場合も横方向にマージンを設けることで、画像処理の間に、歩行者が移動しても歩行者を歩行者枠２０の中に収めることができる。また、図５（ａ）と同様に、左右にそれぞれマージンを設けてもよい。
【００４３】
また、図５（ｄ）に示すように、歩行者枠２０を、完全な矩形でない形状、半楕円、卵形、又は、涙型にしてもよい。図５（ｄ）の歩行者枠２０は、矩形の角を落とした形状の歩行者枠２０の一例を示す。また、移動方向に長軸を有し移動方向と反対側に行くほど先細りする、楕円を変形した形状にしてもよい。これから進む方向をより広くすることで、歩行者の移動方向を把握しやすくできる。
【００４４】
以上のような歩行者枠２０を表示することで、画像処理の間に歩行者が移動しても歩行者と歩行者枠２０の位置がずれることを防止でき、さらに、歩行者が横断していることを運転者が把握しやすくなる。また、移動方向側のみのマージンを広くした場合や矢印を含む歩行者枠２０を表示することで、歩行者の移動方向を把握しやすくなる。
【００４５】
＜歩行者の強調＞
歩行者強調部２４は、表示装置１３に矩形枠を表示する。ここでは図５（ａ）の歩行者枠２０を例に説明するが、その他の歩行者枠２０も同様に表示できる。車載カメラ１１により撮影された赤外線画像はそのまま又はコントラストや明るさ、ガンマ補正等を施された後、ビデオメモリに記憶される。
【００４６】
ビデオメモリは１画面分の赤外線画像データを記憶できる。したがって、表示装置１３の１画素とビデオメモリの１画素分の例えば８ビット（２５６階調の場合）が１対１に対応する。歩行者枠形状決定部２３がすでに歩行者画素における歩行者枠２０の位置と形状を決定している。また、歩行者枠２０には所定の太さが設けられているので、歩行者枠２０に太さを与えることで、歩行者枠２０の上辺、下辺、右辺及び左辺のそれぞれの長方形が占める画素が確定する。この太さは、歩行者との相対距離や歩行者枠２０の大きさにより可変としてもよいし、平行移動時と横断時とで変えてもよい。なお、表示装置１３のＡＰＩ（Application Programming Interface）等を利用して、歩行者枠２０の４つの頂点の画素位置、太さを指定して歩行者枠２０を描画してもよい。
【００４７】
歩行者枠２０の画素値（輝度値）は予め定められているので、歩行者強調部２４は、ビデオメモリの赤外線画像データのうち、歩行者枠２０に対応する画素の画素値を歩行者枠２０用の画素値で置き換える。これにより、ビデオメモリには歩行者及び歩行者枠２０を含む赤外線画像の画素値が格納されたことになる。表示装置１３は、所定のリフレッシュレートでビデオメモリを走査して表示する。これにより、運転者は歩行者が強調された赤外線画像を目視することができる。
【００４８】
歩行者枠２０の位置は、歩行者検出部２１が歩行者を検出する度に、最新の歩行者位置に対応して決定される。歩行者強調部２４は、サイクル時間毎に格納される赤外線画像データの最新の歩行者位置に対応する画素に、歩行者枠２０の画素値を格納することを繰り返すので、歩行者の移動に応じて歩行者とずれることなく歩行者枠２０を表示することができる。
【００４９】
〔ＮＶシステム１００の動作手順〕
ＮＶシステム１００の動作手順について図６のフローチャート図に基づき説明する。図６のフローチャート図に基づく手順は、ＮＶシステム１００の動作条件を満たすと所定のサイクル時間毎に繰り返し実行される。
【００５０】
まず、歩行者検出部２１は、車載カメラ１１が撮影した赤外線画像から歩行者を検出する（Ｓ１０）。そして、移動態様判別部２２は、歩行者検出時の標準パターン３１及び動きベクトルＶから歩行者の移動態様が平行移動か横断かを判別する。
【００５１】
ついで、歩行者検出部２１は、歩行者が赤外線画像に撮影されているか否かを判定する（Ｓ２０）。判定の結果、歩行者が撮影されていない場合（Ｓ２０のＮｏ）、歩行者強調部２４は歩行者を強調する必要がないので、表示装置１３は赤外線画像をそのまま表示する（Ｓ７０）。なお、車速に応じて歩行者の検出範囲は異なるので、ステップＳ２０の判定は、車速が低ければ遠方の歩行者は検出されないと判定する。
【００５２】
歩行者が赤外線画像に撮影されている場合（Ｓ２０のＹｅｓ）、歩行者枠形状決定部２３は、平行移動時か横断時かに応じて、歩行者枠２０を設定する（Ｓ３０）。歩行者が平行移動している場合（Ｓ３０のＮｏ）、歩行者枠形状決定部２３は歩行者画素に対し上下左右に１０〜２０％程度のマージンを設けた歩行者枠２０を設定する。そして、歩行者強調部２４が、設定された歩行者枠２０の形状及び位置に従いビデオメモリに歩行者枠２０の画素値を格納する（Ｓ４０）。
【００５３】
歩行者が横断している場合（Ｓ３０のＹｅｓ）、歩行者枠形状決定部２３は歩行者画素に対し上下にそれぞれ１０〜２０％程度のマージンを、左右にそれぞれ５０〜１００％程度のマージンを設けた歩行者枠２０を設定する。そして、歩行者強調部２４は、設定された歩行者枠２０の形状及び位置に従いビデオメモリに歩行者枠２０の画素値を格納する（Ｓ５０）。
【００５４】
表示装置１３は、所定のリフレッシュレート毎にビデオメモリから赤外線画像データを読み出し表示する（Ｓ６０）。ＮＶシステム１００は以上の処理を繰り返す。なお、横断後の歩行者が平行移動に移行した場合、平行移動と判別されることで歩行者枠２０は平行移動時のものに切り替わる。
【００５５】
以上説明したように、本実施形態のＮＶシステム１００は、横断している歩行者を検出して歩行者枠２０を横長にすることで、歩行者と歩行者枠２０の位置ずれを防止でき、かつ、歩行者の移動方向を運転者に通知しやすくできる。
【図面の簡単な説明】
【００５６】
【図１】ナイトビューシステムにより表示される歩行者枠を模式的に説明する図の一例である。
【図２】ＮＶシステムのブロック図の一例である。
【図３】歩行者検出に用いる標準パターンの一例を示す図である。
【図４】平行移動時、横断時の動きベクトルＶの一例を示す図である。
【図５】横断時の歩行者枠の一例を示す図である。
【図６】ＮＶシステムの動作手順を示すフローチャート図の一例である。
【符号の説明】
【００５７】
１１ 車載カメラ
１２ 歩行者検知装置
１３ 表示装置
２０ 歩行者枠
２１ 歩行車検出部
２２ 移動態様判定部
２３ 歩行者枠形状決定部
２４ 歩行者強調部
１００ ナイトビューシステム（ＮＶシステム）
【特許請求の範囲】
【請求項１】
撮影された画像データから歩行者を検出して、歩行者が矩形枠で囲繞された前記画像データを表示装置に表示するナイトビューシステムにおいて、
サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段と、
歩行者が前記矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段と、
移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くする歩行者枠設定手段と、
を有することを特徴とするナイトビューシステム。
【請求項２】
移動方向Ａは道路を横断する方向である、ことを特徴とする請求項１記載のナイトビューシステム。
【請求項３】
移動方向Ａに移動している場合の前記矩形枠の縦横比（高さ／横幅）は１以下である、ことを特徴とする請求項１又は２記載のナイトビューシステム。
【請求項４】
前記移動態様判別手段は、時系列の前記画像データから歩行者の動きベクトルを算出し、
前記歩行者枠設定手段は、前記動きベクトルの水平成分の大きさに応じて、前記矩形枠の横幅の長さを決定する、
ことを特徴とする請求項１〜３いずれか１記載のナイトビューシステム。
【請求項５】
撮影された画像データの歩行者を矩形枠で囲繞して表示する夜間歩行者表示方法において、
サイクル時間毎に撮影される画像データから歩行者を検出するステップと、
歩行者が前記矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別するステップと、
移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くするステップと、
前記矩形枠で歩行者が囲繞された前記画像データを表示するステップと、
を有することを特徴とする夜間歩行者表示方法。
【請求項１】
撮影された画像データから歩行者を検出して、歩行者が矩形枠で囲繞された前記画像データを表示装置に表示するナイトビューシステムにおいて、
サイクル時間毎に撮影される画像データから歩行者を検出する歩行者検出手段と、
歩行者が前記矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別する移動態様判別手段と、
移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くする歩行者枠設定手段と、
を有することを特徴とするナイトビューシステム。
【請求項２】
移動方向Ａは道路を横断する方向である、ことを特徴とする請求項１記載のナイトビューシステム。
【請求項３】
移動方向Ａに移動している場合の前記矩形枠の縦横比（高さ／横幅）は１以下である、ことを特徴とする請求項１又は２記載のナイトビューシステム。
【請求項４】
前記移動態様判別手段は、時系列の前記画像データから歩行者の動きベクトルを算出し、
前記歩行者枠設定手段は、前記動きベクトルの水平成分の大きさに応じて、前記矩形枠の横幅の長さを決定する、
ことを特徴とする請求項１〜３いずれか１記載のナイトビューシステム。
【請求項５】
撮影された画像データの歩行者を矩形枠で囲繞して表示する夜間歩行者表示方法において、
サイクル時間毎に撮影される画像データから歩行者を検出するステップと、
歩行者が前記矩形枠の横方向と略平行な移動方向Ａに移動しているか否かを判別するステップと、
移動方向Ａに移動している場合、前記矩形枠の横幅を、移動方向Ａでない方向に移動している場合の前記矩形枠の横幅よりも長くするステップと、
前記矩形枠で歩行者が囲繞された前記画像データを表示するステップと、
を有することを特徴とする夜間歩行者表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−８８０４５（Ｐ２０１０−８８０４５Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５７６５２（Ｐ２００８−２５７６５２）
【出願日】平成２０年１０月２日（２００８．１０．２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月２日（２００８．１０．２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]