車両周辺監視装置
【課題】赤外線画像から自転車運転者を検出する車両周辺監視装置を提供する。
【解決手段】赤外線画像を２値化画像に変換し、基準テンプレート（１０４ａ）から領域（Ｐｔ１−Ｐｔ４）のそれぞれの相関誤差（Ｅｄ）を算出する。相関誤差（Ｅｄ）の振幅が周期的に変動しているとき、対象物が自転車運転者であると判定する。
【解決手段】赤外線画像を２値化画像に変換し、基準テンプレート（１０４ａ）から領域（Ｐｔ１−Ｐｔ４）のそれぞれの相関誤差（Ｅｄ）を算出する。相関誤差（Ｅｄ）の振幅が周期的に変動しているとき、対象物が自転車運転者であると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影した赤外線画像（グレースケール画像）と、前記グレースケールを変換した２値化画像から、対象物の抽出を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。
【０００３】
この装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（ＵＳ２００５／０６３５６５Ａ１、ＵＳ２００５／０２７６４４７Ａ１参照。）。
【０００４】
そして、ＵＳ２００５／０６３５６５Ａ１に係る装置では、２値化画像上の対象物の特徴量と、グレースケール画像上の対象物の特徴量との比較結果に基づいて、対象物画像の輝度分散の採否等を判定し、歩行者の認識処理方法を変更するようにして、歩行者認識の信頼性を向上させている（ＵＳ２００５／０６３５６５Ａ１の段落［０２４４］−［０２４６］）。
【０００５】
また、ＵＳ２００５／０２７６４４７Ａ１に係る装置では、グレースケール画像から２値化対象物を抽出し、抽出された２値化対象物の特徴値を歩行者脚部特徴値記憶手段に記憶された歩行者の脚部の特徴値と比較することで、２値化対象物が歩行者の脚部であるか否かを判定する。そして、歩行者の脚部であると判定した場合に、該２値化対象物を含む対象物を歩行者として認識することで、車両周囲の歩行者を認識することができる（ＵＳ２００５／０２７６４４７Ａ１の段落［００１２］、［０１１７］）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＵＳ２００５／０６３５６５Ａ１公報
【特許文献２】ＵＳ２００５／０２７６４４７Ａ１公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した従来技術に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示し、例えば、音と強調枠表示で運転者に気づかせることのできる優れたシステムである。
【０００８】
しかしながら、上記従来技術に係る車両周辺監視装置においては、夜間に自転車を漕いでいる自転車運転者を検出するという点では改善の余地がある。
【０００９】
この発明はこのような課題を考慮してなされたものであり、自転車運転者を検出することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、を備えることを特徴とする。
【００１１】
この発明によれば、自転車運転者と推定される上半身・下半身を含む領域における上半身形状及び下半身形状の差分の時間変化の振幅が閾値を上回る値であるとき、前記上半身・下半身を含む領域が前記対象物である自転車運転者と判定するので、自転車運転者を検出することができる。
【００１２】
ここで、前記上半身・下半身領域特定デバイスが、前記赤外線カメラにより取得される画像から上半身・下半身を含む領域を特定するとき、取得される前記画像として、前記赤外線カメラにより取得されるグレースケール画像、又はこのグレースケール画像から２値化処理して取得される２値化画像のどちらを利用してもよい。
【００１３】
なお、上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
【００１４】
さらに、前記形状変化検出デバイスは、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。当該車両周辺監視装置に備えられる基準テンプレートとしては、前記上半身・下半身を含む領域がグレースケール画像であれば、グレースケール画像の基準テンプレートが備えられ、前記上半身・下半身を含む領域が２値化画像であれば、２値化画像の基準テンプレートが備えられる。
【００１５】
この場合、前記基準テンプレートは、正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレートと、前記第１基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレートと、からなり、前記形状変化検出デバイスは、前記第１及び第２基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００１６】
また、前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出手段を、さらに備えることが好ましい。
【００１７】
さらにまた、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含むことが好ましい。
【発明の効果】
【００１８】
この発明によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置が搭載された車両の模式図である。
【図３】基準テンプレートの説明図である。
【図４】方向が異なる他の基準テンプレートの説明図である。
【図５】画像処理ユニットによる自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
【図６】上側から順番にかつ経時的にフレーム毎に得られるグレースケール画像の説明図である。
【図７】図７Ａは、グレースケール画像のそれぞれから特定された上半身・下半身を含む領域の説明図、図７Ｂは、図７Ａの各グレースケール画像に対応する各２値化画像を示す説明図である。
【図８】図８Ａは、グレースケール画像から対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスの原理説明図、図８Ｂは、２値化画像から対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスの原理説明図である。
【図９】時点毎の形状変化に対応する相関誤差算出の説明図である。
【図１０】上半身相関誤差、下半身相関誤差、及び、これらの差分相関誤差の説明図である。
【図１１】図１１Ａは、自転車運転者の路面に対する頭部移動の説明図、図１１Ｂは、ジョギング等をしている歩行者の頭部移動の説明図である。
【図１２】自転車運転者の向きが変化したときの相関誤差の説明図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態について図面を参照して説明する。
【００２１】
（全体構成）
図１は、この発明の一実施例に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両１２の模式図である。
【００２２】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌと、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Head Up Display）２６ａ等を含む画像表示装置２６と、を備える。
【００２３】
画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【００２４】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者や自転車運転者等の動く物体を検出し、接触の可能性が高いと判断したときに警報を発する。
【００２５】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）等の記憶部１４ｍ、及びスピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２６】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできることから、以下の説明において、機能手段は、機能デバイスという。
【００２７】
いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、図２に示すように、自車両１２の前部バンパー部に、自車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００２８】
また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００２９】
図３に模式的に示すように、画像処理ユニット１４のＲＯＭ（記憶部１４ｍ）には、上半身形状１００と下半身形状１０２ａからなる基準自転車運転者形状（第１基準自転車運転者形状）１０３ａを含む第１基準テンプレート１０４ａと、同様に、上半身形状１００と下半身形状１０２ｂからなる基準自転車運転者形状（第２基準自転車運転者形状）１０３ｂを含む第２基準テンプレート１０４ｂと、からなる基準テンプレート１０４が記憶されている。第１及び第２基準テンプレート１０４ａ、１０４ｂは、いずれも２値画像（白い部分が人体等の高輝度対応部、見易いようにハッチングで描いている実際には黒い部分が背景等の低輝度対応部）である。
【００３０】
後述するように、第１又は第２基準テンプレート１０４ａ、１０４ｂのいずれか一方の基準テンプレートのみを記憶部１４ｍに記憶しておいてもよい。
【００３１】
ここで、第１基準テンプレート１０４ａと、第２基準テンプレート１０４ｂとは、自転車運転者が車両１２に向かってくる方向の正面視の上半身形状（頭部と手を含む胴体部）１００は、ハンドルを握る右手Ｒｈ及び左手Ｌｈを含め同一であるが、第１基準テンプレート１０４ａは、正面視の下半身形状１０２ａにおいて、右足（右脚）Ｒｆが左足（左脚）Ｌｆに対して上方に位置する第１基準自転車運転者形状１０３ａに構成され、第２基準テンプレート１０４ｂは、第１基準テンプレート１０４ａの左右が反転され、前記正面視の下半身形状１０２ｂが、右足Ｒｆが左足Ｌｆに対して下方に位置する第２基準自転車運転者形状１０３ｂに構成されている。
【００３２】
なお、基準テンプレートとしては、車両に向かってくる方向の正面視以外に、車両から離れていく方向の正面視に係る第１及び第２基準テンプレートに対応するテンプレート（不図示）、さらに、図４に示すように、車両１２の前方を横切る方向の正面視の上半身形状１０６と下半身形状１０８からなる基準自転車運転者形状１１０を含む基準テンプレート１１２も記憶部１４ｍに記憶され、基準テンプレート１１２の左右反転基準テンプレート（この場合には、図４の進行方向と逆方向のテンプレート）も記憶されている。
【００３３】
次に、本実施形態の動作について図面を参照して説明する。
【００３４】
（対象物検出、判定動作）
図５は、画像処理ユニット１４による自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
【００３５】
図５のステップＳ１において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮影された車両前方の所定画角範囲の前記フレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリに格納する。なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）により対象物までの距離を算出することができる。
【００３６】
また、そのステップＳ１において、グレースケール画像が得られたら、次に、赤外線カメラ１６Ｒにより得られたグレースケール右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行い、撮影したフレーム毎に２値化画像を得る。
【００３７】
図６は、上側から順番に経時的にフレーム毎に得られるグレースケール画像３０ａ〜３０ｆを示している。
【００３８】
次いで、ステップＳ２において、対象物である、自転車を漕いでいる自転車運転者を検出するための対象物の候補を抽出する。対象物の候補は、グレースケール画像３０ａ〜３０ｆ又はこれらから得られる２値化画像（不図示）のそれぞれから明るい領域（２値化画像では、白）の密度が高い領域が抽出される。
【００３９】
次いで、ステップＳ３（上半身・下半身領域特定デバイス）において、グレースケール画像３０ａ〜３０ｆ又はこれらから得られる２値化画像から抽出した対象物の候補から、対象物と推定される上半身・下半身を含む領域を特定する。
【００４０】
図７Ａは、グレースケール画像３０ａ〜３０ｆのそれぞれから特定された上半身・下半身を含む領域Ｐ１〜Ｐ６を示している。図７Ｂは、領域Ｐ１〜Ｐ６のグレースケール画像３１ａ〜３１ｆ（図７Ａ）に対応する領域Ｐ１ｂ〜Ｐ６ｂの２値化画像３１ａｂｎ〜３１ｆｂｎを示している。２値化画像３１ａｂｎ〜３１ｆｂｎは、グレースケール画像３１ａ〜３１ｆの強調画像と捉えることもできる。
【００４１】
この場合、グレースケール画像３０ａ〜３０ｆ（図６）から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、図８Ａの時点ｔと時点ｔ＋Δｔのそれぞれの領域Ｐｔ、Ｐｔ＋Δｔの、例としての各グレースケール画像７０、７２に示すように、頭部５０、ハンドルを握る右手５１Ｒ及び左手５１Ｌと推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域Ｐｕと特定する上半身領域特定デバイスを含む。
【００４２】
なお、図８Ｂに示すように、グレースケール画像７０、７２の２値化画像７０ｂｎ、７２ｂｎからも同様に、上半身領域特定デバイスにより輝度の高い部分である頭部５０、ハンドルを握る右手５１Ｒ及び左手５１Ｌに対応する頭部、右手、及び左手の高輝度部を特定することができる。
【００４３】
上半身・下半身領域特定デバイスのうち、下半身領域特定デバイスは、グレースケール画像７０、７２から、移動に形状変化を伴わない（形状変化の少ない）３点の高輝度部を含む上半身領域Ｐｕの下側に、移動に伴う形状変化（ペダルを漕ぐ上下の移動）及び周期的な動き（ペダルの上下運動）を呈する両足（両脚）と推定される右足（右脚）５２Ｒと左足（左脚）５２Ｌの２点の高輝度部を含む領域を下半身領域Ｐｄと特定する。
【００４４】
この場合においても、グレースケール画像７０、７２の２値化画像７０ｂｎ、７２ｂｎからも同様に、下半身領域特定デバイスにより、移動に形状変化を伴わない（形状変化の少ない）３点の高輝度部を含む上半身領域Ｐｕに対応する２値化画像の上半身領域Ｐｕの下側に、移動に伴う形状変化（ペダルの漕ぐ上下の移動）及び周期的な動き（ペダルの上下運動）を呈する両足（両脚）と推定される右足（右脚）５２Ｒと左足（左脚）５２Ｌの２点の高輝度部に対応する右足、左足を含む領域を、下半身領域Ｐｄ（グレースケール画像７０、７２）に対応する下半身領域Ｐｄ（２値化画像７０ｂｎ、７２ｂｎ）と特定することができる。
【００４５】
次いで、ステップＳ４（形状変化検出デバイス）において、上半身領域Ｐｕと下半身領域Ｐｄの各形状変化を検出する。
【００４６】
この実施形態において、形状変化は、第１基準テンプレート１０４ａと、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｂｎ〜３１ｆｂｎとの各相関誤差、ここではフレーム間相関誤差として算出される。相関誤差としては、以下に詳しく説明するように、上半身相関誤差Ｅｕと、下半身相関誤差Ｅｄとが算出される。なお、上半身相関誤差Ｅｕと下半身誤差Ｅｄとにより全身相関誤差Ｅａｌｌは、Ｅａｌｌ＝Ｅｕ＋Ｅｄとして算出することができる。
【００４７】
具体的に上半身相関誤差Ｅｕは、第１基準テンプレート１０４ａの上半身形状１００と、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｂｎ〜３１ｆｂｎの各上半身領域Ｐｕの相関誤差（例えば、対応する画素値の差の自乗の総和）として算出され、下半身相関誤差Ｅｄは、第１基準テンプレート１０４ａの下半身形状１０２ａと、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｎｂ〜３１ｆｂｎの各下半身領域Ｐｄの相関誤差として算出される。
【００４８】
図９は、時点毎の形状変化に対応する相関誤差の算出を模式的に示している。時点ｔ１及び時点ｔ３において、領域Ｐｔ１、Ｐｔ３の２値化画像では、第１基準テンプレート１０４ａの下半身形状（下半身基準形状）１０２ａに対して下半身領域Ｐｄの形状が大きく相違して（逆相となって）いるので、下半身相関誤差Ｅｄの値が最大になることがわかる。その一方、時点ｔ２及び時点ｔ４において、領域Ｐｔ２、Ｐｔ４の２値化画像では、第１基準テンプレート１０４ａの下半身形状（下半身基準形状）１０２ａに対して下半身領域Ｐｄの形状が略同一（同相）となっているので、下半身相関誤差Ｅｄの値が最小になることがわかる。
【００４９】
なお、図９において、下半身相関誤差Ｅｄｉは、第１基準テンプレート１０４ａの左右形状を反転した第２基準テンプレート１０４ｂと領域Ｐｔ１〜Ｐｔ４の２値化画像と比較した場合の相関誤差を示している。このように、第１及び第２基準テンプレート１０４ａ、１０４ｂに対する相関誤差が逆相となることを利用して検出精度、換言すれば検出信頼性を上げることができる。
【００５０】
図９の模式的な例において、図示してはいないが、上半身相関誤差Ｅｕは、移動がないので同一形状であり常に略ゼロ値になる。
【００５１】
次に、ステップＳ５（差分取得デバイス）において、検出した時間変化毎に、上半身形状と下半身形状の相関誤差の差分を算出する（取る）。すなわち、フレーム毎（検出時点毎）に、差分ΔＥを、差分（ΔＥ）＝下半身相関誤差（Ｅｄ）−上半身相関誤差（Ｅｕ）≒下半身相関誤差（Ｅｄ）として算出する。
【００５２】
図１０は、理解の便宜のためのシミュレーション結果を示している。図１０において、車両１２に対して正面又は背面向きで、フレーム番号０〜フレーム番号１８０まで、対象物である自転車を漕いでいる自転車運転者が車両１２に相対的に近づいてくるとき、上半身相関誤差Ｅｕと下半身相関誤差Ｅｄは、ともに上昇傾向にある。
【００５３】
この誤差の上昇傾向は、第１に基準テンプレートの拡大に伴いエリアシング（ぼけ）が大きくなることを原因として差分誤差が増大すること。第２に距離による対象物の輝度値変化に関連する誤差の増大があること、第３に背景の変化（ノイズ）による誤差の増大があることを原因とする。
【００５４】
また、下半身相関誤差Ｅｄは、各フレームにおいて、動きのある分、上半身相関誤差Ｅｕより相関誤差の値が大きい。そして、下半身相関誤差Ｅｄには、自転車を漕ぐ動作に対応して振幅が周期的に増減するという特徴を有する。
【００５５】
そこで、ステップＳ５では、このような特徴を有する下半身相関誤差Ｅｄから上半身相関誤差Ｅｕを差し引くことで、差分（相関誤差差分）ΔＥを算出する。
【００５６】
この差分ΔＥでは、上半身・下半身相関誤差Ｅｕ、Ｅｄに共通に含まれている上記した基準テンプレート１０４ａの拡大に伴う誤差、距離による対象物の輝度変化による誤差、及び背景の変化による誤差成分が除去されるので、周期的な振幅の増減の特徴を有する差分ΔＥを好適に検出することができる。
【００５７】
次いで、ステップＳ６（自転車運転者判定デバイス）において、検出した時間変化である差分ΔＥの振幅（ΔＥｍａｘ−ΔＥｍｉｎ）が閾値ＴＨ（この実施形態では、ＴＨ＝０．０５）を上回る値｛差分（ΔＥ）＞閾値（ＴＨ）｝であるかどうかを判定し、上回る値であるときには、基本的に、対象物を自転車運転者と判定する。
【００５８】
そして、ステップＳ７において、差分ΔＥの振幅周期が、自転車の速度に相当する周期（概ね０．８８［Ｈｚ］）の範囲内であるかどうかを判定する。
【００５９】
自転車の速度に相当する周期の範囲内である場合には、ステップＳ８において、上半身形状の上下動がないかどうかを確認する。
【００６０】
この場合、図１１Ａに示すように、自転車運転者の頭部６０の路面６２からの高さ（路面高さ）Ｈは、一定高さＨｃｏｎｓｔとなるが（Ｈ＝Ｈｃｏｎｓｔ）、図１１Ｂに示すように、ジョギング等をしている歩行者の頭部６４は、移動に伴って上下にぶれるので、路面高さＨは、周期的に変化する高さＨｖａｒとなる。
【００６１】
そして、ステップＳ９において、対象物を自転車運転者と最終的に判定する。
【００６２】
対象物を自転車運転者と判定したとき、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、対象物である自転車運転者までの距離に基づき、接触の可能性がある場合には、当該自転車運転者のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す、一方、適切なブレーキ操作が行われていて接触の可能性がない場合には、警報を発生しないようにして、運転者に不必要な煩わしさを与えないようにすることができる。
【００６３】
なお、ステップＳ６〜Ｓ８のいずれか一つが否定的であった場合には、対象物が自転車運転者以外のものであると判定する。また、ステップＳ１０以降の処理において、従来技術に係る歩行者の判定を行ってもよい。
【００６４】
以上説明したように上述した実施形態によれば、車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像を２値化画像に変換し、前記２値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス（ステップＳ３）が、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する。そして、形状変化検出デバイス（ステップＳ４）が、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する。さらに、差分取得デバイス（ステップＳ５）が、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス（ステップＳ６）が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する。このようにして、夜間走行中の自転車運転者を検出することができる。
【００６５】
なお、上半身・下半身領域特定デバイス（ステップＳ３）により推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
【００６６】
さらに、形状変化検出デバイス（ステップＳ４）は、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレート１０４を備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００６７】
この場合、基準テンプレート１０４は、正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレート１０４ａと、第１基準テンプレート１０４ａの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレート１０４ｂと、からなり、形状変化検出デバイス（ステップＳ４）は、第１及び第２基準テンプレート１０４ａ、１０４ｂを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００６８】
また、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイス（ステップＳ３）は、頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定手段を含むことが好ましい。
【００６９】
この実施形態によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
【００７０】
なお、上記実施形態においては、車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像を２値化画像に変換し、前記２値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス（ステップＳ３）が、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしているが、赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしてもよい。
【００７１】
この場合、形状変化検出デバイス（ステップＳ４）は、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状のグレースケール画像の各時間変化を検出する。さらに、差分取得デバイス（ステップＳ５）が、検出した時間変化毎に、グレースケール画像の前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス（ステップＳ６）が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定するようにすることができる。
【００７２】
また、上述した実施形態においては、基準テンプレートとして、図３に模式的に示した２値化画像の基準テンプレート（第１及び第２基準テンプレート１０４ａ、１０４ｂ）に基づき、グレースケール画像を２値化処理した２値化画像との経時的な形状変化を検出するようにしているが、これに限らず、基準テンプレートとして、グレースケール画像の基準テンプレートを用いることもできる。例えば、赤外線カメラ１６Ｒ、１６Ｌにより取得したグレースケール画像３０ａ〜３０ｆ（図６参照）から特定された上半身・下半身を含む領域Ｐ１〜Ｐ６（図７Ａ参照）のうち、領域Ｐ１部分のグレースケール画像３１ａを基準テンプレートとして、領域Ｐ２〜Ｐ６部分のグレースケール画像３１ｂ〜３１ｆの上半身形状及び下半身形状の各時間変化を検出するようにしてもよい。
【００７３】
また、基準テンプレートとして、前記領域Ｐ１のグレースケール画像３１ａ〜３１ｆに対応する２値化処理後の前記領域Ｐ１ｂ（図７Ｂ参照）の２値化画像３１ａｂｎを基準テンプレートとして用いることもできる。
【００７４】
（他の実施例）
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化に係る相関誤差Ｅｄが、図１２の時点ｔ１２と時点ｔ１３の間の相関誤差Ｅｄｘとして示すように、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスをさらに備えることが好ましい。
【００７５】
この場合、時点ｔ１２を僅かに過ぎた時点まで、第１基準テンプレート１０４ａにより領域Ｐｔ１１、Ｐｔ１２に対する信頼度の高い相関誤差Ｅｄが検出されるが、時点ｔ１２以降の相関誤差の増加から、自転車運転者の向きが、時点ｔ１２以降で、前後方向から左右方向に変化したと推定し、基準テンプレートを第１基準テンプレート１０４ａから図４に示した基準テンプレート１１２に更新して上述したステップＳ１〜Ｓ９の処理を行うことで、時点ｔ１３以降の相関誤差Ｅｄの特性に示すように、動きの周期が再度抽出されることになる。
【００７６】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００７７】
１０…車両周辺監視装置 １２…車両
１６Ｒ、１６Ｌ…赤外線カメラ
１０４、１０４ａ、１０４ｂ…基準テンプレート
Ｐｔ１−Ｐｔ４…領域
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影した赤外線画像（グレースケール画像）と、前記グレースケールを変換した２値化画像から、対象物の抽出を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。
【０００３】
この装置では、左右一組の赤外線カメラ（ステレオカメラ）が撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する（ＵＳ２００５／０６３５６５Ａ１、ＵＳ２００５／０２７６４４７Ａ１参照。）。
【０００４】
そして、ＵＳ２００５／０６３５６５Ａ１に係る装置では、２値化画像上の対象物の特徴量と、グレースケール画像上の対象物の特徴量との比較結果に基づいて、対象物画像の輝度分散の採否等を判定し、歩行者の認識処理方法を変更するようにして、歩行者認識の信頼性を向上させている（ＵＳ２００５／０６３５６５Ａ１の段落［０２４４］−［０２４６］）。
【０００５】
また、ＵＳ２００５／０２７６４４７Ａ１に係る装置では、グレースケール画像から２値化対象物を抽出し、抽出された２値化対象物の特徴値を歩行者脚部特徴値記憶手段に記憶された歩行者の脚部の特徴値と比較することで、２値化対象物が歩行者の脚部であるか否かを判定する。そして、歩行者の脚部であると判定した場合に、該２値化対象物を含む対象物を歩行者として認識することで、車両周囲の歩行者を認識することができる（ＵＳ２００５／０２７６４４７Ａ１の段落［００１２］、［０１１７］）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＵＳ２００５／０６３５６５Ａ１公報
【特許文献２】ＵＳ２００５／０２７６４４７Ａ１公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した従来技術に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示し、例えば、音と強調枠表示で運転者に気づかせることのできる優れたシステムである。
【０００８】
しかしながら、上記従来技術に係る車両周辺監視装置においては、夜間に自転車を漕いでいる自転車運転者を検出するという点では改善の余地がある。
【０００９】
この発明はこのような課題を考慮してなされたものであり、自転車運転者を検出することを可能とする車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、を備えることを特徴とする。
【００１１】
この発明によれば、自転車運転者と推定される上半身・下半身を含む領域における上半身形状及び下半身形状の差分の時間変化の振幅が閾値を上回る値であるとき、前記上半身・下半身を含む領域が前記対象物である自転車運転者と判定するので、自転車運転者を検出することができる。
【００１２】
ここで、前記上半身・下半身領域特定デバイスが、前記赤外線カメラにより取得される画像から上半身・下半身を含む領域を特定するとき、取得される前記画像として、前記赤外線カメラにより取得されるグレースケール画像、又はこのグレースケール画像から２値化処理して取得される２値化画像のどちらを利用してもよい。
【００１３】
なお、上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
【００１４】
さらに、前記形状変化検出デバイスは、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。当該車両周辺監視装置に備えられる基準テンプレートとしては、前記上半身・下半身を含む領域がグレースケール画像であれば、グレースケール画像の基準テンプレートが備えられ、前記上半身・下半身を含む領域が２値化画像であれば、２値化画像の基準テンプレートが備えられる。
【００１５】
この場合、前記基準テンプレートは、正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレートと、前記第１基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレートと、からなり、前記形状変化検出デバイスは、前記第１及び第２基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００１６】
また、前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出手段を、さらに備えることが好ましい。
【００１７】
さらにまた、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含むことが好ましい。
【発明の効果】
【００１８】
この発明によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置が搭載された車両の模式図である。
【図３】基準テンプレートの説明図である。
【図４】方向が異なる他の基準テンプレートの説明図である。
【図５】画像処理ユニットによる自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
【図６】上側から順番にかつ経時的にフレーム毎に得られるグレースケール画像の説明図である。
【図７】図７Ａは、グレースケール画像のそれぞれから特定された上半身・下半身を含む領域の説明図、図７Ｂは、図７Ａの各グレースケール画像に対応する各２値化画像を示す説明図である。
【図８】図８Ａは、グレースケール画像から対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスの原理説明図、図８Ｂは、２値化画像から対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスの原理説明図である。
【図９】時点毎の形状変化に対応する相関誤差算出の説明図である。
【図１０】上半身相関誤差、下半身相関誤差、及び、これらの差分相関誤差の説明図である。
【図１１】図１１Ａは、自転車運転者の路面に対する頭部移動の説明図、図１１Ｂは、ジョギング等をしている歩行者の頭部移動の説明図である。
【図１２】自転車運転者の向きが変化したときの相関誤差の説明図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態について図面を参照して説明する。
【００２１】
（全体構成）
図１は、この発明の一実施例に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両１２の模式図である。
【００２２】
図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される左右の赤外線カメラ１６Ｒ、１６Ｌと、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６Ｒ、１６Ｌにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物）を車両の運転者に認識させるためのＨＵＤ（Head Up Display）２６ａ等を含む画像表示装置２６と、を備える。
【００２３】
画像表示装置２６としては、ＨＵＤ２６ａに限らず、ナビゲーションシステムのディスプレイを利用することができる。
【００２４】
画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者や自転車運転者等の動く物体を検出し、接触の可能性が高いと判断したときに警報を発する。
【００２５】
ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃ、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）等の記憶部１４ｍ、及びスピーカ２４の駆動信号と画像表示装置２６の表示信号などを出力する出力回路を備えており、赤外線カメラ１６Ｒ、１６Ｌ、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。
【００２６】
画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込んでプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできることから、以下の説明において、機能手段は、機能デバイスという。
【００２７】
いわゆるステレオカメラとして機能する赤外線カメラ１６Ｒ、１６Ｌは、図２に示すように、自車両１２の前部バンパー部に、自車両１２の車幅方向中心部に対してほぼ対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ１６Ｒ、１６Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００２８】
また、ＨＵＤ２６ａは、自車両１２のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００２９】
図３に模式的に示すように、画像処理ユニット１４のＲＯＭ（記憶部１４ｍ）には、上半身形状１００と下半身形状１０２ａからなる基準自転車運転者形状（第１基準自転車運転者形状）１０３ａを含む第１基準テンプレート１０４ａと、同様に、上半身形状１００と下半身形状１０２ｂからなる基準自転車運転者形状（第２基準自転車運転者形状）１０３ｂを含む第２基準テンプレート１０４ｂと、からなる基準テンプレート１０４が記憶されている。第１及び第２基準テンプレート１０４ａ、１０４ｂは、いずれも２値画像（白い部分が人体等の高輝度対応部、見易いようにハッチングで描いている実際には黒い部分が背景等の低輝度対応部）である。
【００３０】
後述するように、第１又は第２基準テンプレート１０４ａ、１０４ｂのいずれか一方の基準テンプレートのみを記憶部１４ｍに記憶しておいてもよい。
【００３１】
ここで、第１基準テンプレート１０４ａと、第２基準テンプレート１０４ｂとは、自転車運転者が車両１２に向かってくる方向の正面視の上半身形状（頭部と手を含む胴体部）１００は、ハンドルを握る右手Ｒｈ及び左手Ｌｈを含め同一であるが、第１基準テンプレート１０４ａは、正面視の下半身形状１０２ａにおいて、右足（右脚）Ｒｆが左足（左脚）Ｌｆに対して上方に位置する第１基準自転車運転者形状１０３ａに構成され、第２基準テンプレート１０４ｂは、第１基準テンプレート１０４ａの左右が反転され、前記正面視の下半身形状１０２ｂが、右足Ｒｆが左足Ｌｆに対して下方に位置する第２基準自転車運転者形状１０３ｂに構成されている。
【００３２】
なお、基準テンプレートとしては、車両に向かってくる方向の正面視以外に、車両から離れていく方向の正面視に係る第１及び第２基準テンプレートに対応するテンプレート（不図示）、さらに、図４に示すように、車両１２の前方を横切る方向の正面視の上半身形状１０６と下半身形状１０８からなる基準自転車運転者形状１１０を含む基準テンプレート１１２も記憶部１４ｍに記憶され、基準テンプレート１１２の左右反転基準テンプレート（この場合には、図４の進行方向と逆方向のテンプレート）も記憶されている。
【００３３】
次に、本実施形態の動作について図面を参照して説明する。
【００３４】
（対象物検出、判定動作）
図５は、画像処理ユニット１４による自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
【００３５】
図５のステップＳ１において、画像処理ユニット１４は、赤外線カメラ１６Ｒ、１６Ｌによりフレーム毎に撮影された車両前方の所定画角範囲の前記フレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換し、グレースケール画像を画像メモリに格納する。なお、赤外線カメラ１６Ｒによりグレースケール右画像が得られ、赤外線カメラ１６Ｌによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（視差）により対象物までの距離を算出することができる。
【００３６】
また、そのステップＳ１において、グレースケール画像が得られたら、次に、赤外線カメラ１６Ｒにより得られたグレースケール右画像を基準画像とし、その画像信号の２値化処理、すなわち、輝度閾値より明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行い、撮影したフレーム毎に２値化画像を得る。
【００３７】
図６は、上側から順番に経時的にフレーム毎に得られるグレースケール画像３０ａ〜３０ｆを示している。
【００３８】
次いで、ステップＳ２において、対象物である、自転車を漕いでいる自転車運転者を検出するための対象物の候補を抽出する。対象物の候補は、グレースケール画像３０ａ〜３０ｆ又はこれらから得られる２値化画像（不図示）のそれぞれから明るい領域（２値化画像では、白）の密度が高い領域が抽出される。
【００３９】
次いで、ステップＳ３（上半身・下半身領域特定デバイス）において、グレースケール画像３０ａ〜３０ｆ又はこれらから得られる２値化画像から抽出した対象物の候補から、対象物と推定される上半身・下半身を含む領域を特定する。
【００４０】
図７Ａは、グレースケール画像３０ａ〜３０ｆのそれぞれから特定された上半身・下半身を含む領域Ｐ１〜Ｐ６を示している。図７Ｂは、領域Ｐ１〜Ｐ６のグレースケール画像３１ａ〜３１ｆ（図７Ａ）に対応する領域Ｐ１ｂ〜Ｐ６ｂの２値化画像３１ａｂｎ〜３１ｆｂｎを示している。２値化画像３１ａｂｎ〜３１ｆｂｎは、グレースケール画像３１ａ〜３１ｆの強調画像と捉えることもできる。
【００４１】
この場合、グレースケール画像３０ａ〜３０ｆ（図６）から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、図８Ａの時点ｔと時点ｔ＋Δｔのそれぞれの領域Ｐｔ、Ｐｔ＋Δｔの、例としての各グレースケール画像７０、７２に示すように、頭部５０、ハンドルを握る右手５１Ｒ及び左手５１Ｌと推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域Ｐｕと特定する上半身領域特定デバイスを含む。
【００４２】
なお、図８Ｂに示すように、グレースケール画像７０、７２の２値化画像７０ｂｎ、７２ｂｎからも同様に、上半身領域特定デバイスにより輝度の高い部分である頭部５０、ハンドルを握る右手５１Ｒ及び左手５１Ｌに対応する頭部、右手、及び左手の高輝度部を特定することができる。
【００４３】
上半身・下半身領域特定デバイスのうち、下半身領域特定デバイスは、グレースケール画像７０、７２から、移動に形状変化を伴わない（形状変化の少ない）３点の高輝度部を含む上半身領域Ｐｕの下側に、移動に伴う形状変化（ペダルを漕ぐ上下の移動）及び周期的な動き（ペダルの上下運動）を呈する両足（両脚）と推定される右足（右脚）５２Ｒと左足（左脚）５２Ｌの２点の高輝度部を含む領域を下半身領域Ｐｄと特定する。
【００４４】
この場合においても、グレースケール画像７０、７２の２値化画像７０ｂｎ、７２ｂｎからも同様に、下半身領域特定デバイスにより、移動に形状変化を伴わない（形状変化の少ない）３点の高輝度部を含む上半身領域Ｐｕに対応する２値化画像の上半身領域Ｐｕの下側に、移動に伴う形状変化（ペダルの漕ぐ上下の移動）及び周期的な動き（ペダルの上下運動）を呈する両足（両脚）と推定される右足（右脚）５２Ｒと左足（左脚）５２Ｌの２点の高輝度部に対応する右足、左足を含む領域を、下半身領域Ｐｄ（グレースケール画像７０、７２）に対応する下半身領域Ｐｄ（２値化画像７０ｂｎ、７２ｂｎ）と特定することができる。
【００４５】
次いで、ステップＳ４（形状変化検出デバイス）において、上半身領域Ｐｕと下半身領域Ｐｄの各形状変化を検出する。
【００４６】
この実施形態において、形状変化は、第１基準テンプレート１０４ａと、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｂｎ〜３１ｆｂｎとの各相関誤差、ここではフレーム間相関誤差として算出される。相関誤差としては、以下に詳しく説明するように、上半身相関誤差Ｅｕと、下半身相関誤差Ｅｄとが算出される。なお、上半身相関誤差Ｅｕと下半身誤差Ｅｄとにより全身相関誤差Ｅａｌｌは、Ｅａｌｌ＝Ｅｕ＋Ｅｄとして算出することができる。
【００４７】
具体的に上半身相関誤差Ｅｕは、第１基準テンプレート１０４ａの上半身形状１００と、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｂｎ〜３１ｆｂｎの各上半身領域Ｐｕの相関誤差（例えば、対応する画素値の差の自乗の総和）として算出され、下半身相関誤差Ｅｄは、第１基準テンプレート１０４ａの下半身形状１０２ａと、領域Ｐ１ｂ〜Ｐ６ｂの各２値化画像３１ａｎｂ〜３１ｆｂｎの各下半身領域Ｐｄの相関誤差として算出される。
【００４８】
図９は、時点毎の形状変化に対応する相関誤差の算出を模式的に示している。時点ｔ１及び時点ｔ３において、領域Ｐｔ１、Ｐｔ３の２値化画像では、第１基準テンプレート１０４ａの下半身形状（下半身基準形状）１０２ａに対して下半身領域Ｐｄの形状が大きく相違して（逆相となって）いるので、下半身相関誤差Ｅｄの値が最大になることがわかる。その一方、時点ｔ２及び時点ｔ４において、領域Ｐｔ２、Ｐｔ４の２値化画像では、第１基準テンプレート１０４ａの下半身形状（下半身基準形状）１０２ａに対して下半身領域Ｐｄの形状が略同一（同相）となっているので、下半身相関誤差Ｅｄの値が最小になることがわかる。
【００４９】
なお、図９において、下半身相関誤差Ｅｄｉは、第１基準テンプレート１０４ａの左右形状を反転した第２基準テンプレート１０４ｂと領域Ｐｔ１〜Ｐｔ４の２値化画像と比較した場合の相関誤差を示している。このように、第１及び第２基準テンプレート１０４ａ、１０４ｂに対する相関誤差が逆相となることを利用して検出精度、換言すれば検出信頼性を上げることができる。
【００５０】
図９の模式的な例において、図示してはいないが、上半身相関誤差Ｅｕは、移動がないので同一形状であり常に略ゼロ値になる。
【００５１】
次に、ステップＳ５（差分取得デバイス）において、検出した時間変化毎に、上半身形状と下半身形状の相関誤差の差分を算出する（取る）。すなわち、フレーム毎（検出時点毎）に、差分ΔＥを、差分（ΔＥ）＝下半身相関誤差（Ｅｄ）−上半身相関誤差（Ｅｕ）≒下半身相関誤差（Ｅｄ）として算出する。
【００５２】
図１０は、理解の便宜のためのシミュレーション結果を示している。図１０において、車両１２に対して正面又は背面向きで、フレーム番号０〜フレーム番号１８０まで、対象物である自転車を漕いでいる自転車運転者が車両１２に相対的に近づいてくるとき、上半身相関誤差Ｅｕと下半身相関誤差Ｅｄは、ともに上昇傾向にある。
【００５３】
この誤差の上昇傾向は、第１に基準テンプレートの拡大に伴いエリアシング（ぼけ）が大きくなることを原因として差分誤差が増大すること。第２に距離による対象物の輝度値変化に関連する誤差の増大があること、第３に背景の変化（ノイズ）による誤差の増大があることを原因とする。
【００５４】
また、下半身相関誤差Ｅｄは、各フレームにおいて、動きのある分、上半身相関誤差Ｅｕより相関誤差の値が大きい。そして、下半身相関誤差Ｅｄには、自転車を漕ぐ動作に対応して振幅が周期的に増減するという特徴を有する。
【００５５】
そこで、ステップＳ５では、このような特徴を有する下半身相関誤差Ｅｄから上半身相関誤差Ｅｕを差し引くことで、差分（相関誤差差分）ΔＥを算出する。
【００５６】
この差分ΔＥでは、上半身・下半身相関誤差Ｅｕ、Ｅｄに共通に含まれている上記した基準テンプレート１０４ａの拡大に伴う誤差、距離による対象物の輝度変化による誤差、及び背景の変化による誤差成分が除去されるので、周期的な振幅の増減の特徴を有する差分ΔＥを好適に検出することができる。
【００５７】
次いで、ステップＳ６（自転車運転者判定デバイス）において、検出した時間変化である差分ΔＥの振幅（ΔＥｍａｘ−ΔＥｍｉｎ）が閾値ＴＨ（この実施形態では、ＴＨ＝０．０５）を上回る値｛差分（ΔＥ）＞閾値（ＴＨ）｝であるかどうかを判定し、上回る値であるときには、基本的に、対象物を自転車運転者と判定する。
【００５８】
そして、ステップＳ７において、差分ΔＥの振幅周期が、自転車の速度に相当する周期（概ね０．８８［Ｈｚ］）の範囲内であるかどうかを判定する。
【００５９】
自転車の速度に相当する周期の範囲内である場合には、ステップＳ８において、上半身形状の上下動がないかどうかを確認する。
【００６０】
この場合、図１１Ａに示すように、自転車運転者の頭部６０の路面６２からの高さ（路面高さ）Ｈは、一定高さＨｃｏｎｓｔとなるが（Ｈ＝Ｈｃｏｎｓｔ）、図１１Ｂに示すように、ジョギング等をしている歩行者の頭部６４は、移動に伴って上下にぶれるので、路面高さＨは、周期的に変化する高さＨｖａｒとなる。
【００６１】
そして、ステップＳ９において、対象物を自転車運転者と最終的に判定する。
【００６２】
対象物を自転車運転者と判定したとき、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、対象物である自転車運転者までの距離に基づき、接触の可能性がある場合には、当該自転車運転者のグレースケール画像をＨＵＤ２６ａに表示するとともに、スピーカ２４を通じて警報を発生し、車両１２の運転者に接触の回避操作を促す、一方、適切なブレーキ操作が行われていて接触の可能性がない場合には、警報を発生しないようにして、運転者に不必要な煩わしさを与えないようにすることができる。
【００６３】
なお、ステップＳ６〜Ｓ８のいずれか一つが否定的であった場合には、対象物が自転車運転者以外のものであると判定する。また、ステップＳ１０以降の処理において、従来技術に係る歩行者の判定を行ってもよい。
【００６４】
以上説明したように上述した実施形態によれば、車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像を２値化画像に変換し、前記２値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス（ステップＳ３）が、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する。そして、形状変化検出デバイス（ステップＳ４）が、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する。さらに、差分取得デバイス（ステップＳ５）が、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス（ステップＳ６）が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する。このようにして、夜間走行中の自転車運転者を検出することができる。
【００６５】
なお、上半身・下半身領域特定デバイス（ステップＳ３）により推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
【００６６】
さらに、形状変化検出デバイス（ステップＳ４）は、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレート１０４を備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００６７】
この場合、基準テンプレート１０４は、正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレート１０４ａと、第１基準テンプレート１０４ａの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレート１０４ｂと、からなり、形状変化検出デバイス（ステップＳ４）は、第１及び第２基準テンプレート１０４ａ、１０４ｂを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
【００６８】
また、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイス（ステップＳ３）は、頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定手段を含むことが好ましい。
【００６９】
この実施形態によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
【００７０】
なお、上記実施形態においては、車両周辺監視装置１０は、車両１２に搭載された赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像を２値化画像に変換し、前記２値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス（ステップＳ３）が、前記２値化画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしているが、赤外線カメラ１６Ｒ、１６Ｌにより取得されるグレースケール画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしてもよい。
【００７１】
この場合、形状変化検出デバイス（ステップＳ４）は、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状のグレースケール画像の各時間変化を検出する。さらに、差分取得デバイス（ステップＳ５）が、検出した時間変化毎に、グレースケール画像の前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス（ステップＳ６）が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定するようにすることができる。
【００７２】
また、上述した実施形態においては、基準テンプレートとして、図３に模式的に示した２値化画像の基準テンプレート（第１及び第２基準テンプレート１０４ａ、１０４ｂ）に基づき、グレースケール画像を２値化処理した２値化画像との経時的な形状変化を検出するようにしているが、これに限らず、基準テンプレートとして、グレースケール画像の基準テンプレートを用いることもできる。例えば、赤外線カメラ１６Ｒ、１６Ｌにより取得したグレースケール画像３０ａ〜３０ｆ（図６参照）から特定された上半身・下半身を含む領域Ｐ１〜Ｐ６（図７Ａ参照）のうち、領域Ｐ１部分のグレースケール画像３１ａを基準テンプレートとして、領域Ｐ２〜Ｐ６部分のグレースケール画像３１ｂ〜３１ｆの上半身形状及び下半身形状の各時間変化を検出するようにしてもよい。
【００７３】
また、基準テンプレートとして、前記領域Ｐ１のグレースケール画像３１ａ〜３１ｆに対応する２値化処理後の前記領域Ｐ１ｂ（図７Ｂ参照）の２値化画像３１ａｂｎを基準テンプレートとして用いることもできる。
【００７４】
（他の実施例）
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化に係る相関誤差Ｅｄが、図１２の時点ｔ１２と時点ｔ１３の間の相関誤差Ｅｄｘとして示すように、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスをさらに備えることが好ましい。
【００７５】
この場合、時点ｔ１２を僅かに過ぎた時点まで、第１基準テンプレート１０４ａにより領域Ｐｔ１１、Ｐｔ１２に対する信頼度の高い相関誤差Ｅｄが検出されるが、時点ｔ１２以降の相関誤差の増加から、自転車運転者の向きが、時点ｔ１２以降で、前後方向から左右方向に変化したと推定し、基準テンプレートを第１基準テンプレート１０４ａから図４に示した基準テンプレート１１２に更新して上述したステップＳ１〜Ｓ９の処理を行うことで、時点ｔ１３以降の相関誤差Ｅｄの特性に示すように、動きの周期が再度抽出されることになる。
【００７６】
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
【符号の説明】
【００７７】
１０…車両周辺監視装置 １２…車両
１６Ｒ、１６Ｌ…赤外線カメラ
１０４、１０４ａ、１０４ｂ…基準テンプレート
Ｐｔ１−Ｐｔ４…領域
【特許請求の範囲】
【請求項１】
車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、
特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、
検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、
前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
前記形状変化検出デバイスは、
上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記基準テンプレートは、
正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレートと、
前記第１基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレートと、からなり、
前記形状変化検出デバイスは、
前記第１及び第２基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。
【請求項５】
請求項１又は２記載の車両周辺監視装置において、
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスを、さらに備える
ことを特徴とする車両周辺監視装置。
【請求項６】
請求項１又は２記載の車両周辺監視装置において、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、
頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含む
ことを特徴とする車両周辺監視装置。
【請求項１】
車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、
特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、
検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、
前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、
を備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する
ことを特徴とする車両周辺監視装置。
【請求項３】
請求項１又は２記載の車両周辺監視装置において、
前記形状変化検出デバイスは、
上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記基準テンプレートは、
正面視の下半身形状が、右足が左足に対して上方に位置する第１基準自転車運転者形状になっている第１基準テンプレートと、
前記第１基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第２基準自転車運転者形状になっている第２基準テンプレートと、からなり、
前記形状変化検出デバイスは、
前記第１及び第２基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。
【請求項５】
請求項１又は２記載の車両周辺監視装置において、
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスを、さらに備える
ことを特徴とする車両周辺監視装置。
【請求項６】
請求項１又は２記載の車両周辺監視装置において、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、
頭部、ハンドルを握る右手及び左手と推定される３点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含む
ことを特徴とする車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公表番号】特表２０１３−５０４０９８（Ｐ２０１３−５０４０９８Ａ）
【公表日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１２−５０５９１６（Ｐ２０１２−５０５９１６）
【出願日】平成２２年９月２日（２０１０．９．２）
【国際出願番号】ＰＣＴ／ＪＰ２０１０／０６５４５２
【国際公開番号】ＷＯ２０１１／０２７９０７
【国際公開日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
【公表日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２２年９月２日（２０１０．９．２）
【国際出願番号】ＰＣＴ／ＪＰ２０１０／０６５４５２
【国際公開番号】ＷＯ２０１１／０２７９０７
【国際公開日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【Ｆターム（参考）】
[ Back to top ]