運転支援装置
【課題】 夜間に車両を走行させている状況下で歩行者の検出をより安定して行うことができる運転支援装置の提供。
【解決手段】 道路を含む車両の周囲を撮像する撮像手段によって得られた撮像画像に対して、車両の振動量に応じた補正処理を施し(S103)、その補正後の撮像画像から、道路に相当する道路領域を検出し(S104)、その撮像画像から検出された歩行者候補と、検出された道路領域との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する(S107及びS108)。
【解決手段】 道路を含む車両の周囲を撮像する撮像手段によって得られた撮像画像に対して、車両の振動量に応じた補正処理を施し(S103)、その補正後の撮像画像から、道路に相当する道路領域を検出し(S104)、その撮像画像から検出された歩行者候補と、検出された道路領域との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する(S107及びS108)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の運転を支援する運転支援装置に関し、特に車両周辺の歩行者を検出することができる運転支援装置に関する。
【背景技術】
【0002】
近年、情報処理技術の発展に伴って、二輪車及び四輪車などの車両の走行に関する情報を取得し、その情報を用いてその車両の運転を支援する運転支援装置が研究されている。このような運転支援装置として、例えば、車両の走行中に周辺領域における歩行者の検出を行い、その結果を運転者に報知するものが注目されている。特に夜間の走行においては、運転者が歩行者を目視で捉えることが困難な場合がもあるため、そのような運転支援装置の必要性が高い。
【0003】
歩行者を検出する運転支援装置としては、例えば、2台の赤外線カメラで撮影された赤外線画像において、歩行者の頭部に相当する領域と、歩行者の肩上方空間に相当する領域とを設定し、それらの設定した領域に基づいて歩行者を認識するものが提案されている(例えば、特許文献1を参照。)。
【0004】
この運転支援装置によれば、赤外線画像に捉えられた歩行者の頭から肩に相当する領域を認識することができるため、単に領域の縦横比のみに注目する場合などと比べて、歩行者の検出をより安定して行うことができる。
【特許文献1】特開2004−303219号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来の運転支援装置においては、ステレオ視を用いるために2台のカメラを必要としているが、その場合、四輪車に搭載する場合は問題ないものの、二輪車の場合は横幅が狭いため搭載することは困難であるという問題が生じる。
【0006】
また、走行中の車両には振動が発生するため安定した画像を得ることができない場合があり、従来の運転支援装置では、歩行者でないものを誤って歩行者と認識したり、歩行者であるものを歩行者と認識できなかったりすることもある。特に、運転支援装置を二輪車に搭載する場合、二輪車は四輪車と比べて振動が大きくなるため、安定した画像を得ることが難しくなる傾向にある。
【0007】
本発明は斯かる事情に鑑みてなされたものであり、その目的は、歩行者の検出をより安定して行うことができる運転支援装置を提供することにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、道路を含む前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段と、前記撮像画像から、歩行者候補を検出する歩行者候補検出手段と、前記道路領域検出手段によって検出された道路領域と、当該歩行者候補検出手段によって検出された歩行者候補との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する歩行者判定手段とを備える。
【0009】
このように歩行者候補と道路領域との位置関係に基づいて歩行者候補が歩行者であるか否かを判定することによって、車両の運転手が注意すべき歩行者をより安定して検出することが可能となる。
【0010】
上記発明に係る運転支援装置において、前記歩行者判定手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されていてもよい。
【0011】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。
【0012】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の面積が他の領域と比べて大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。
【0013】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。
【0014】
撮像手段として遠赤外線カメラを用いる場合、その撮像手段として得られた撮像画像において輝度変化が小さいということは、温度変化が小さいということを意味している。夜間の場合、道路上の温度は略一定であるのが通常であるため、このように輝度変化に着目することによって、道路をより安定して検出することが可能となる。
【0015】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。
【0016】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域を歩行者候補と判定するように構成されていてもよい。
【0017】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されていてもよい。
【0018】
また、上記発明に係る運転支援装置において、前記歩行者候補検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されていてもよい。
【0019】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。
【0020】
また、上記発明に係る運転支援装置において、前記歩行者候補検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。
【0021】
また、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えていてもよい。
【0022】
このように構成することによって、車両の振動により撮像画像に乱れが生じた場合であっても、歩行者の検出をより安定して行うことができる。
【0023】
さらに、上記発明に係る運転支援装置において、前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されていてもよい。
【0024】
また、本発明に係る運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、前記撮像手段は、遠赤外線カメラであり、前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者と判定するように構成されている。
【0025】
撮像手段として遠赤外線カメラを用いる場合、通常着衣の影響のない人の頭部は、高い輝度で表されていることが多いため、その検出は容易且つより安定して行うことができる。したがって、上記のように構成することによって、歩行者の検出をより安定して行うことが可能となる。
【0026】
上記発明に係る運転支援装置において、前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者と判定するように構成されていてもよい。
【0027】
また、上記発明に係る運転支援装置において、前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記輝度の高い領域及び前記下方に位置する領域を含む領域が歩行者であるか否かを判定するように構成されていてもよい。
【0028】
さらに、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えるようにしてもよい。
【0029】
また、本発明に係る運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、前記撮像手段は、遠赤外線カメラであり、前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比、及び前記輝度の高い領域と人の全身の形状パターンとを比較した結果に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている。
【0030】
また、上記発明に係る運転支援装置において、前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記輝度の高いとの位置関係に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されていてもよい。
【0031】
さらに、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えるようにしてもよい。
【発明の効果】
【0032】
本発明の運転支援装置によれば、車両の走行中において道路上にいる歩行者をより安定して検出することができる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【0034】
図1は、本発明の運転支援装置の構成を示すブロック図である。この運転支援装置は、二輪車に搭載されており、図1に示すように、画像処理を実行するECU(電子制御ユニット)10を備えている。ECU10は、CPU11、ROM12、RAM13、およびインタフェース(I/F)14などからなるマイクロコンピュータを主要構成部品とし、ROM12に記憶されたコンピュータプログラムがCPU10によって実行されることにより、後述する動作を行う。また、その動作によって発生あるいは取得され一時的に保持すべきデータなどは、RAM13に記憶される。
【0035】
なお、ROM12には、後述する頭部特徴量データ、体特徴量データ、全身特徴量データ、及び歩行者特徴量データなどの所定のデータが予め記憶されている。
【0036】
ECU10は、I/F14を介して、遠赤外線カメラ21、表示措置22、および警報音出力装置23と接続されている。
【0037】
遠赤外線カメラ21は、物体表面の温度を計測し、その温度分布を二次元の白黒画像として表示する撮像装置である。遠赤外線カメラ21は、I/F14を介してECU10から出力された命令にしたがって所定の時間間隔で撮像処理を繰り返し実行し、その結果得られた撮像画像を、I/F14を介してECU10へ出力する。
【0038】
表示装置22は、歩行者の検出に関する情報を二輪車の運転手に報知するために用いられるディスプレイである。この表示装置22は、カラー表示を行うものでもよいし、モノクロ表示を行うものでもよい。
【0039】
警報音出力装置23は、歩行者が検出された場合に、運転者に対して注意を促すために発せられる音声警報を出力するための装置である。警報音出力装置23は、I/F14を介してECU10から出力された命令にしたがって警報音の出力処理を実行する。
【0040】
なお、上述したとおり、本実施の形態では、ECU10が後述する動作を実行することとしているが、本発明はこの態様に限定されるわけではなく、例えば画像処理を実行するための専用のプロセッサなどで本発明の運転支援装置が構成されていてもよい。
【0041】
また、本実施の形態では、運転支援装置1は二輪車に搭載されているが、これに限定されるわけではなく、四輪車などに搭載されていてもよいことは勿論である。
【0042】
次に、以上のように構成された運転支援装置1の動作について説明する。
【0043】
図2は、本発明の実施の形態1における運転支援装置1の動作の流れを示すフローチャートである。ここで示される運転支援装置1の動作は、ECU10によって制御される。また、以下の動作は、二輪車の運転中において、適宜のタイミングで実行される。
【0044】
まず、運転支援装置1は、所定の記憶領域を確保したり、所定の変数に初期値を設定したりするなどの初期化処理を実行し(S101)、その後、遠赤外線カメラ21で取得された撮像画像の入力を受け付ける(S102)。
【0045】
次に、運転支援装置1は、振動キャンセル処理を実行する(S103)。ここで、振動キャンセル処理とは、走行中、車両が振動することに起因して撮像画像が乱れることによって、歩行者の検出が安定して行われない事態が発生することを回避するために、撮像画像に補正を施す処理をいう。
【0046】
[振動キャンセル処理]
図3は、振動キャンセル処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。また、図4は、後述する有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。以下、これらの図3及び図4を参照しながら、振動キャンセル処理について説明する。
【0047】
まず、運転支援装置1は、遠赤外線カメラ21によって既に得られた撮像画像(以下、前回撮像画像という)を読み出し(S201)、その読み出した前回撮像画像に対して、有効画素領域を設定する(S202)。
【0048】
ここで、有効画素領域とは、遠赤外線カメラ21により撮像することができる画素領域(以下、撮像可能画素領域という)内に設けられる領域であって、歩行者検出に利用されるものをいう。
【0049】
図4(a)は、前回撮像画像を示している。この図4(a)において、R2は、ステップS202にて設定された有効画素領域を示している。また、R1は、撮像可能画素領域を示している。
【0050】
図4(a)に示すように、有効画素領域R2は、撮像可能画素領域R1内に設けられた所定の大きさの画素領域である。この有効画素領域R2内の画像を用いて、後述する歩行者検出に関する処理が実行される。
【0051】
運転支援装置1は、ステップS202を実行した後、前回撮像画像の次に遠赤外線カメラ21によって得られた撮像画像(以下、今回撮像画像という)を読み出す(S203)。
【0052】
そして、運転支援装置1は、時間的に先行する前回撮像画像と後行する今回撮像画像とを用いてグレイサーチを実行する(S204)。具体的には、前回撮像画像と今回撮像画像との間における一致度を算出し、今回撮像画像において前回撮像画像と一致する点を検出する。
【0053】
運転支援装置1は、ステップS204におけるグレイサーチによって、前回撮像画像と今回撮像画像との間でどの程度のずれが生じたのかを判断し、そのずれをシフト量として算出する(S205)。
【0054】
次に、運転支援装置1は、ステップS205にて算出したシフト量に基づいて、今回撮像画像における有効画素領域を移動させる(S206)。以下、この処理について図4(b)及び(c)を参照して説明する。
【0055】
図4(b)は、今回撮像画像を示している。図4(a)と(b)とを比較すると分かるように、運転支援装置1を搭載した二輪車の走行中における振動によって、前回撮像画像と今回撮像画像とではずれが生じたものとする。そのため、前回撮像画像における有効画素領域R2内の画像と今回撮像画像における有効画素領域R2内の画像とでは、画像中に表れているオブジェクト(歩行者、建物、及び道路など)の表示範囲が異なっている(例えば、前回撮像画像における有効画素領域R2には歩行者の全身が含まれるが、今回撮像画像における有効画素領域R2には歩行者の頭部の一部が含まれないなどの差異が生じている。)。
【0056】
図4(b)と同様に、図4(c)も今回撮像画像を示している。この図4(c)に示すように、運転支援装置1は、ステップS206において、ステップS205にて算出したシフト量分だけ、有効画素領域R2を移動させる。図4(c)においては、移動後の有効画素領域がR3で示されている。その結果、今回撮像画像における有効画素領域R3内の画像は、前回撮像画像における有効画素領域R2内の画像と同様となる。
【0057】
このようにして補正された有効画素領域内の今回撮像画像は、運転支援装置1によって、撮像画像データとしてRAM13に記憶される(S207)。
【0058】
以上のように有効画素領域を移動させることによって、振動により生じたずれを補正することができる。
【0059】
なお、車両の振動は、四輪車と比べて二輪車の場合の方が大きい。そのため、上記のような振動キャンセル処理は、二輪車の場合の方がより効果的であるといえる。
【0060】
上記の振動キャンセル処理を終えた運転支援装置1は、図2に示すように、道路検出処理を実行する(S104)。ここで、道路検出処理とは、撮像画像データにおいて道路を示している道路領域を検出するための処理をいう。
【0061】
[道路検出処理]
図5は、道路検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0062】
運転支援装置1は、画像の明るさの変化値を算出するために、RAM13に記憶されている撮像画像データに対して画像微分処理を実行する(S301)。その結果、画像のエッジ部分が検出される。
【0063】
次に、運転支援装置1は、エッジ部分が検出された撮像画像データに対して2値化処理を実行して輝度変化の小さい領域を検出する(S302)。そして、運転支援装置1は、2値化された撮像画像データ中の連結領域に対してラベルを順に付けるラベリング処理を実行する(S303)。
【0064】
次に、運転支援装置1は、ラベル付けされた領域のうちの特定の1つの領域を道路検出処理の処理対象に設定し(S304)、その処理対象の面積が全体の面積から設定した値より大きく、しかもその位置が下方にあるか否かを判定する(S305)。ここで、全体の面積から設定した値とは、例えば、遠赤外線カメラ21を略水平に取り付けて、道路が画面の下半分に写り込むように設定した場合(この場合、道路は最大で画面全体の1/2)では、周囲の建物なども写り込むことになるので、画面全体の1/5乃至1/10程度の面積となる。このように、この値は、遠赤外線カメラ21の取り付け位置により、適宜設定されることになる。
【0065】
上記のステップS305における判定処理は、上記のようにして設定された値よりも処理対象の面積が大きいか否か、有効画素領域のうちの下半分に位置しているか否かなどによってなされる。
【0066】
ステップS305において処理対象の面積が全体の面積から設定した値より大きくない、またはその位置が下方にはないと判定された場合(S305でNO)、運転支援装置1は、後述するステップS309へ進む。
【0067】
他方、ステップS305において、処理対象の面積が全体の面積から設定した値より大きく、且つその位置が下方にあると判定された場合(S305でYES)、運転支援装置1は、その処理対象が道路に相当する領域(道路領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、道路領域に関する道路領域データを生成する(S306)。そして、運転支援装置1は、その道路領域データをRAM13に記憶する(S307)。
【0068】
次に、運転支援装置1は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し(S308)、まだ処理対象となっていない領域があると判定した場合(S308でNO)、ステップS304へ戻り、上記のステップS304乃至S307を実行する。他方、すべての領域が処理対象となったと判定した場合(S308でYES)、運転支援装置1は、道路検出処理を終了する。
【0069】
以上のように、本発明においては、画像の輝度変化の程度に基づいて道路領域の検出が行われている。ここで、遠赤外線カメラで得られた撮像画像において輝度変化が小さいということは、温度変化が小さいということを意味する。夜間の場合、道路上の温度は略一定であるのが通常であるため、このように輝度変化に着目することによって、道路をより安定して検出することが可能となる。
【0070】
上記の道路検出処理を終えた運転支援装置1は、図2に示すように、建物検出処理を実行する(S105)。ここで、建物検出処理とは、撮像画像データにおいて建物を示している建物領域を検出するための処理をいう。
【0071】
[建物検出処理]
図6は、建物検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0072】
まず、運転支援装置1は、既にラベル付けされた領域のうちの特定の1つの領域を建物検出処理の処理対象に設定し(S401)、その処理対象の面積が所定値以上であるか否かを判定する(S402)。ここで、所定値以上ではないと判定された場合(S402でNO)、運転支援装置1は、後述するステップS408へ進む。
【0073】
他方、ステップS402において、処理対象の面積が所定値以上であると判定された場合(S402でYES)、運転支援装置1は、その処理対象の横及び縦の大きさを認識した後、横/縦が2以上であるか否かを判定する(S403)。ここで、横/縦が2以上ではないと判定された場合(S403でNO)、運転支援装置1は、縦/横が5以上であるか否かを判定する(S404)。また、ここで縦/横が5以上ではないと判定された場合(S404でNO)、運転支援装置1は、その面積が所定値(ステップS402における所定値よりも大きい値)以上であるか否かを判定する(S405)。ここで所定値以上ではないと判定された場合(S405でNO)、運転支援装置1は、後述するステップS408へ進む。
【0074】
ステップS403において横/縦が2以上であると判定された場合(S403でYES)、ステップS404において縦/横が5以上であると判定された場合(S404でYES)、またはステップS405において面積が所定値以上であると判定された場合(S405でYES)、運転支援装置1は、その処理対象が建物に相当する領域(建物領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、建物領域に関する建物領域データを生成する(S406)。そして、運転支援装置1は、その建物領域データをRAM13に記憶する(S407)。
【0075】
次に、運転支援装置1は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し(S408)、まだ処理対象となっていない領域があると判定した場合(S408でNO)、ステップS401へ戻り、上記のステップS401乃至S407を実行する。他方、すべての領域が処理対象となったと判定した場合(S408でYES)、運転支援装置1は、建物検出処理を終了する。
【0076】
以上のように、処理対象となっている領域が所定の面積を有し且つ所定の形状であると判定した場合、運転支援装置1は、その処理対象が建物を示していると判断する。本実施の形態では、横/縦が2以上となる横長な形状である場合、縦/横が5以上の縦長な形状である場合、または面積が所定値以上である場合に、その領域が建物を示していると判断している。なお、これらは例示であり、それ以外の形状の領域を建物としてもよいことは言うまでもない。
【0077】
上記の建物検出処理を終えた運転支援装置1は、図2に示すように、建物であると判断した領域を消去する外乱消去処理を実行する(S106)。次に、運転支援装置1は、第1歩行者検出処理を実行する(S107)。ここで、第1歩行者検出処理とは、歩行者の頭部(顔を含む)とそれ以外とを別々に検出することによって歩行者の検出を行う処理をいう。
【0078】
[第1歩行者検出処理]
図7は、第1歩行者検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0079】
まず、運転支援装置1は、歩行者の頭部の特徴を数値で表した頭部特徴量を示す頭部特徴量データをROM12から取得し(S501)、また、歩行者の体の特徴を数値で表した体特徴量を示す体特徴量データを同様にして取得する(S502)。
【0080】
ここで、頭部特徴量とは、人の頭部の形状パターンを数値化したデータを意味しており、縦長の楕円状の領域を数値化したデータなどが具体例として挙げられる。また、体特徴量とは、人の頭部以外の形状パターンを数値化したデータを意味しており、縦長の矩形状の領域を数値化したデータなどが具体例として挙げられる。
【0081】
次に、運転支援装置1は、既にラベル付けされた領域の中から歩行者の頭部に相当すると予測される領域(頭部候補)を抽出する(S503)。具体的には、他の領域と比べて輝度が高く(すなわち温度が高く)、しかも面積が所定値以下の領域などを頭部候補として抽出する。
【0082】
次に、運転支援装置1は、特定の頭部候補を処理対象として設定し(S504)、その処理対象がステップS501にて取得された頭部特徴量データが示す頭部特徴量を有しているか否かを判定する(S505)。
【0083】
ステップS505において、処理対象が頭部特徴量を有していないと判定された場合(S505でNO)、運転支援装置1は、後述するステップS508へ進む。これに対し、処理対象が頭部特徴量を有していると判定された場合(S505でYES)、運転支援装置1は、その処理対象が歩行者の頭部を示す領域(頭部領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の頭部に関する頭部領域データを生成する(S506)。そして、運転支援装置1は、その頭部領域データをRAM13に記憶する(S507)。
【0084】
次に、運転支援装置1は、すべての頭部候補を処理対象として設定したか否かを判定し(S508)、まだ処理対象となっていない頭部候補があると判定した場合(S508でNO)、ステップS504へ戻り、上記のステップS504乃至S507を実行する。他方、すべての頭部候補が処理対象となったと判定した場合(S508でYES)、運転支援装置1は、RAM13に記憶されている頭部領域データに示されている頭部領域のうち特定の1つを選択し、その頭部領域の下方に接しているラベル付けされた領域を処理対象に設定する(S509)。
【0085】
次に、運転支援装置1は、処理対象がステップS502にて取得された体特徴量データが示す体特徴量を有しているか否かを判定する(S510)。ここで、処理対象が体特徴量を有していないと判定された場合(S510でNO)、運転支援装置1は、後述するステップS514へ進む。
【0086】
これに対し、ステップS510において処理対象が体特徴量を有していると判定された場合(S510でYES)、運転支援装置1は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者候補であると判断し、その処理対象の下部が、RAM13に記憶されている道路領域データが示す道路領域と接しているか否かを判定する(S511)。
【0087】
ステップS511において、処理対象の下部が道路領域と接していないと判定された場合(S511でNO)、運転支援装置1は、後述するステップS514へ進む。他方、処理対象の下部が道路領域と接していると判定された場合(S511でYES)、運転支援装置1は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者に相当する領域(歩行者領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者領域に関する歩行者領域データを生成する(S512)。そして、運転支援装置1は、その歩行者領域データをRAM13に記憶する(S513)。
【0088】
次に、運転支援装置1は、すべての頭部領域の下方に位置するラベル付けされた領域を処理対象として設定したか否かを判定し(S514)、まだ処理対象となっていない領域があると判定した場合(S514でNO)、ステップS509へ戻り、上記のステップS509乃至S513を実行する。他方、すべての領域が処理対象となったと判定した場合(S514でYES)、運転支援装置1は、第1歩行者検出処理を終了する。
【0089】
本実施の形態のように、遠赤外線カメラを撮像手段として用いた場合、温度が高い領域が高い輝度で表示される撮像画像が得られる。通常、着衣によって歩行者の頭部以外の部分の表面の温度は低くなり、他方、頭部の表面の温度は高くなるため、頭部以外の部分と比べて頭部の方がより安定して検出できる場合が多い。そのため、上述した第1歩行者検出処理のように、歩行者の頭部に相当する領域を検出し、その後、その領域の下方に接している歩行者の体に相当する領域を検出することによって、歩行者の検出をより安定して行うことが可能となる。
【0090】
図8は、本発明の運転支援装置1において利用される撮像画像の一例を示す概念図である。図8において、Wは、運転支援装置1によって検出された歩行者領域を示している。
【0091】
図8に示すように、歩行者の胴体部は着衣によってその表面の温度が低く、そのため、周辺領域と比べて低い輝度で表されることが多い。他方、頭部の表面の温度は高いため、周辺領域と比べて高い輝度で表される。このような場合、運転支援装置1は、より安定して検出可能な頭部を先に検出した上で、その頭部の下方に接している歩行者の体の検出を行い、歩行者領域Wを検出する。これにより、歩行者をより安定して検出することができる。
【0092】
また、上述したステップS511のとおり、処理対象の下部が道路と接しているか否かを判定することによって、二輪車の運転者が注意すべき歩行者をより安定して検出することが可能となる。さらに、実際には人ではないものの、人に似ている形状が撮像画像に表れている場合、その形状と道路との位置関係を確認することによって、その形状が歩行者であると誤って検出することを防止することが可能となる。
【0093】
なお、本実施の形態では、ステップS511において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が頭部特徴量及び体特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置1は、上述した道路検出処理を実行しなくてもよい。
【0094】
上記の第1歩行者検出処理を終えた運転支援装置1は、図2に示すように、第2歩行者検出処理を実行する(S108)。ここで、第2歩行者検出処理とは、歩行者の全身を一体として検出することによって歩行者の検出を行う処理をいう。
【0095】
[第2歩行者検出処理]
図9は、第2歩行者検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0096】
まず、運転支援装置1は、歩行者の全身の特徴を数値で表した全身特徴量を示す全身特徴量データをROM12から取得し(S601)、また、歩行者の形状パターンの特徴を数値で表した歩行者特徴量を示す歩行者特徴量データを同様にして取得する(S602)。
【0097】
ここで、全身特徴量とは、人の全身の形状パターンを数値化したデータを意味しており、縦横比が2:1乃至3:1程度の縦長の領域などを数値化したものが具体例として挙げられる。また、歩行者特徴量とは、人の形状パターンを数値化したデータを意味しており、その有無の判定は後述するようにしてなされる。
【0098】
運転支援装置1は、ラベル付けされた領域のうち、他の領域と比べて輝度が高く、しかも所定値の面積を有するものを歩行者の全身に相当する全身候補として抽出する(S603)。そして、運転支援装置1は、その全身候補のうち特定の1つを処理対象に設定する(S604)。
【0099】
次に、運転支援装置1は、その処理対象が、ステップS601にて取得された全身特徴量データが示す全身特徴量を有しているか否かを判定する(S605)。
【0100】
ステップS605において、処理対象が全身特徴量を有していないと判定された場合(S605でNO)、運転支援装置1は、後述するステップS608へ進む。これに対し、処理対象が全身特徴量を有していると判定された場合(S605でYES)、運転支援装置1は、その処理対象が歩行者の全身に相当する領域(全身領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の全身に関する全身領域データを生成する(S606)。そして、運転支援装置1は、その全身領域データをRAM13に記憶する(S607)。
【0101】
次に、運転支援装置1は、すべての全身候補を処理対象として設定したか否かを判定し(S608)、まだ処理対象となっていない全身候補があると判定した場合(S608でNO)、ステップS604へ戻り、上記のステップS604乃至S607を実行する。他方、すべての全身候補が処理対象となったと判定した場合(S608でYES)、運転支援装置1は、RAM13に記憶されている全身領域データに示されている全身領域のうち特定の1つを処理対象に設定する(S609)。
【0102】
次に、運転支援装置1は、処理対象がステップS602にて取得された歩行者特徴量データが示す歩行者特徴量を有しているか否かを判定する(S610)。具体的には、処理対象を複数の領域に分割し、その分割された領域の濃淡に基づいて当該処理対象が人の形状パターンに相当するか否かを判定することによって、処理対象が歩行者特徴量を有しているか否かを判定する。ここで、処理対象が歩行者特徴量を有していないと判定された場合(S610でNO)、運転支援装置1は、後述するステップS614へ進む。
これに対し、ステップS608において処理対象が歩行者特徴量を有していると判定された場合(S608でYES)、運転支援装置1は、その処理対象が歩行者候補であると判断し、その処理対象の下部が、RAM13に記憶されている道路領域データが示す道路領域と接しているか否かを判定する(S611)。
ステップS611において、処理対象の下部が道路領域と接していないと判定された場合(S611でNO)、運転支援装置1は、後述するステップS614へ進む。他方、処理対象の下部が道路領域と接していると判定された場合(S611でYES)、運転支援装置1は、その処理対象が歩行者に相当する領域(歩行者領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者に関する歩行者領域データを生成する(S612)。そして、運転支援装置1は、その歩行者領域データをRAM13に記憶する(S613)。
【0103】
次に、運転支援装置1は、すべての全身領域を処理対象として設定したか否かを判定し(S614)、まだ処理対象となっていない全身領域があると判定した場合(S614でNO)、ステップS609へ戻り、上記のステップS609乃至S613を実行する。他方、すべての全身領域が処理対象となったと判定した場合(S614でYES)、運転支援装置1は、第2歩行者検出処理を終了する。
【0104】
図10は、第2歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。図10に示されている特定の領域Wは、縦横比が2:1乃至3:1程度の縦長の領域である。そのため、運転支援装置1は、ステップS605において、この領域Wが全身特徴量を有していると判定する。
【0105】
また、図10に示すように、領域Wを横5×縦8の領域に分割した場合に、その分割された領域の濃淡が人の形状パターンに相当するものとする。この場合、運転支援装置1は、ステップS610において、この領域Wが歩行者特徴量を有していると判定する。
【0106】
以上より、運転支援装置1は、領域Wは全身特徴量及び歩行者特徴量を有していると判定し、その領域Wの下部が道路領域に接している場合には、この領域Wを歩行者領域として歩行者領域データを生成し、記憶することになる。
【0107】
図11は、本発明の運転支援装置1において利用される撮像画像の一例を示す概念図である。図11において、Wは、運転支援装置1によって検出された歩行者領域を示している。
【0108】
図11に示すように、撮像画像において歩行者の全身を示す領域が表れている場合、運転支援装置1は、上述したようにして、その領域が全身特徴量及び歩行者特徴量を有していると判定する。そして、その領域の下部が道路領域と接していると判定した場合、当該領域を歩行者領域Wとして検出することになる。
【0109】
なお、本実施の形態では、ステップS611において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が全身特徴量及び歩行者特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置1は、上述した道路検出処理を実行しなくてもよい。
【0110】
上記の第2歩行者検出処理を終えた運転支援装置1は、図2に示すように、処理結果出力処理を実行する(S109)。ここで、処理結果出力処理とは、第1歩行者検出処理及び第2歩行者検出処理の処理結果を二輪車の運転者に報知するための処理をいう。
【0111】
[検出結果出力処理]
図12は、検出結果出力処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0112】
運転支援装置1は、RAM13に歩行者領域データが記憶されているか否かを判定する(S701)。ここで、歩行者領域データが記憶されていないと判定された場合(S701でNO)、運転支援装置1は、後述するステップS707へ進む。他方、歩行者領域データが記憶されていると判定された場合(S701でYES)、運転支援装置1は、その記憶されている歩行者領域データのうちの特定の1つを処理対象に設定する(S702)。
【0113】
次に、運転支援装置1は、処理対象の歩行者領域データに基づいて、歩行者の領域を示す歩行者枠の描画処理を実行する(S703)。そして、運転支援装置1は、すべての歩行者領域データが処理対象となったか否かを判定し(S704)、まだ所定対象となっていない歩行者領域データが存在すると判定した場合(S704でNO)、ステップS702へ戻り、ステップS702及びS703を実行する。
【0114】
ステップS704において、すべての歩行者領域データが処理対象となったと判定された場合(S704でYES)、運転支援装置1は、前回歩行者枠の表示を行ってから5秒が経過したか否かを判定する(S705)。ここで、5秒が経過していないと判定された場合(S705でNO)、運転支援装置1は、後述するステップS707へ進む。他方、5秒が経過していると判定された場合(S705でYES)、運転支援装置1は、音声警報を警報音出力装置23に出力させる(S706)。
【0115】
そして、運転支援装置1は、ステップS707において、描画された歩行者枠の表示を表示装置22に行わせることによって画像表示の更新を行う。
【0116】
このようにして、運転支援装置1は、歩行者が検出されたことを二輪車の運転手に報知する。これにより、運転手は、歩行者の存在を認識することができる。
【0117】
以上のように、本発明の運転支援装置1においては、従来の運転支援装置の場合と異なり、ステレオ視を用いる必要がないため、撮像手段としてのカメラは1台で足りる。したがって、運転支援装置を二輪車に搭載する場合であっても特段の支障は生じない。
【産業上の利用可能性】
【0118】
本発明に運転支援装置は、車両の運転者に歩行者の検出の有無を報知する運転支援装置などに有用である。
【図面の簡単な説明】
【0119】
【図1】本発明の運転支援装置の構成を示すブロック図である。
【図2】本発明の実施の形態1における運転支援装置の動作の流れを示すフローチャートである。
【図3】振動キャンセル処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図4】有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。
【図5】道路検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図6】建物検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図7】第1歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図8】本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。
【図9】第2歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図10】第2歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。
【図11】本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。
【図12】検出結果出力処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【符号の説明】
【0120】
1 運転支援装置
10 ECU
11 CPU
12 ROM
13 RAM
14 インタフェース
21 遠赤外線カメラ
22 表示装置
23 警報音出力装置
W 歩行者領域
【技術分野】
【0001】
本発明は、車両の運転を支援する運転支援装置に関し、特に車両周辺の歩行者を検出することができる運転支援装置に関する。
【背景技術】
【0002】
近年、情報処理技術の発展に伴って、二輪車及び四輪車などの車両の走行に関する情報を取得し、その情報を用いてその車両の運転を支援する運転支援装置が研究されている。このような運転支援装置として、例えば、車両の走行中に周辺領域における歩行者の検出を行い、その結果を運転者に報知するものが注目されている。特に夜間の走行においては、運転者が歩行者を目視で捉えることが困難な場合がもあるため、そのような運転支援装置の必要性が高い。
【0003】
歩行者を検出する運転支援装置としては、例えば、2台の赤外線カメラで撮影された赤外線画像において、歩行者の頭部に相当する領域と、歩行者の肩上方空間に相当する領域とを設定し、それらの設定した領域に基づいて歩行者を認識するものが提案されている(例えば、特許文献1を参照。)。
【0004】
この運転支援装置によれば、赤外線画像に捉えられた歩行者の頭から肩に相当する領域を認識することができるため、単に領域の縦横比のみに注目する場合などと比べて、歩行者の検出をより安定して行うことができる。
【特許文献1】特開2004−303219号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来の運転支援装置においては、ステレオ視を用いるために2台のカメラを必要としているが、その場合、四輪車に搭載する場合は問題ないものの、二輪車の場合は横幅が狭いため搭載することは困難であるという問題が生じる。
【0006】
また、走行中の車両には振動が発生するため安定した画像を得ることができない場合があり、従来の運転支援装置では、歩行者でないものを誤って歩行者と認識したり、歩行者であるものを歩行者と認識できなかったりすることもある。特に、運転支援装置を二輪車に搭載する場合、二輪車は四輪車と比べて振動が大きくなるため、安定した画像を得ることが難しくなる傾向にある。
【0007】
本発明は斯かる事情に鑑みてなされたものであり、その目的は、歩行者の検出をより安定して行うことができる運転支援装置を提供することにある。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、道路を含む前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段と、前記撮像画像から、歩行者候補を検出する歩行者候補検出手段と、前記道路領域検出手段によって検出された道路領域と、当該歩行者候補検出手段によって検出された歩行者候補との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する歩行者判定手段とを備える。
【0009】
このように歩行者候補と道路領域との位置関係に基づいて歩行者候補が歩行者であるか否かを判定することによって、車両の運転手が注意すべき歩行者をより安定して検出することが可能となる。
【0010】
上記発明に係る運転支援装置において、前記歩行者判定手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されていてもよい。
【0011】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。
【0012】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の面積が他の領域と比べて大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。
【0013】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されていてもよい。
【0014】
撮像手段として遠赤外線カメラを用いる場合、その撮像手段として得られた撮像画像において輝度変化が小さいということは、温度変化が小さいということを意味している。夜間の場合、道路上の温度は略一定であるのが通常であるため、このように輝度変化に着目することによって、道路をより安定して検出することが可能となる。
【0015】
また、上記発明に係る運転支援装置において、前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されていてもよい。
【0016】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域を歩行者候補と判定するように構成されていてもよい。
【0017】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されていてもよい。
【0018】
また、上記発明に係る運転支援装置において、前記歩行者候補検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されていてもよい。
【0019】
また、上記発明に係る運転支援装置において、前記撮像手段は、遠赤外線カメラであり、 前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。
【0020】
また、上記発明に係る運転支援装置において、前記歩行者候補検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されていてもよい。
【0021】
また、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えていてもよい。
【0022】
このように構成することによって、車両の振動により撮像画像に乱れが生じた場合であっても、歩行者の検出をより安定して行うことができる。
【0023】
さらに、上記発明に係る運転支援装置において、前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されていてもよい。
【0024】
また、本発明に係る運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、前記撮像手段は、遠赤外線カメラであり、前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者と判定するように構成されている。
【0025】
撮像手段として遠赤外線カメラを用いる場合、通常着衣の影響のない人の頭部は、高い輝度で表されていることが多いため、その検出は容易且つより安定して行うことができる。したがって、上記のように構成することによって、歩行者の検出をより安定して行うことが可能となる。
【0026】
上記発明に係る運転支援装置において、前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者と判定するように構成されていてもよい。
【0027】
また、上記発明に係る運転支援装置において、前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記輝度の高い領域及び前記下方に位置する領域を含む領域が歩行者であるか否かを判定するように構成されていてもよい。
【0028】
さらに、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えるようにしてもよい。
【0029】
また、本発明に係る運転支援装置は、車両に搭載され、当該車両の運転を支援する運転支援装置において、前記車両の周囲を撮像する撮像手段と、当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、前記撮像手段は、遠赤外線カメラであり、前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比、及び前記輝度の高い領域と人の全身の形状パターンとを比較した結果に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている。
【0030】
また、上記発明に係る運転支援装置において、前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記輝度の高いとの位置関係に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されていてもよい。
【0031】
さらに、上記発明に係る運転支援装置において、前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備えるようにしてもよい。
【発明の効果】
【0032】
本発明の運転支援装置によれば、車両の走行中において道路上にいる歩行者をより安定して検出することができる。
【発明を実施するための最良の形態】
【0033】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【0034】
図1は、本発明の運転支援装置の構成を示すブロック図である。この運転支援装置は、二輪車に搭載されており、図1に示すように、画像処理を実行するECU(電子制御ユニット)10を備えている。ECU10は、CPU11、ROM12、RAM13、およびインタフェース(I/F)14などからなるマイクロコンピュータを主要構成部品とし、ROM12に記憶されたコンピュータプログラムがCPU10によって実行されることにより、後述する動作を行う。また、その動作によって発生あるいは取得され一時的に保持すべきデータなどは、RAM13に記憶される。
【0035】
なお、ROM12には、後述する頭部特徴量データ、体特徴量データ、全身特徴量データ、及び歩行者特徴量データなどの所定のデータが予め記憶されている。
【0036】
ECU10は、I/F14を介して、遠赤外線カメラ21、表示措置22、および警報音出力装置23と接続されている。
【0037】
遠赤外線カメラ21は、物体表面の温度を計測し、その温度分布を二次元の白黒画像として表示する撮像装置である。遠赤外線カメラ21は、I/F14を介してECU10から出力された命令にしたがって所定の時間間隔で撮像処理を繰り返し実行し、その結果得られた撮像画像を、I/F14を介してECU10へ出力する。
【0038】
表示装置22は、歩行者の検出に関する情報を二輪車の運転手に報知するために用いられるディスプレイである。この表示装置22は、カラー表示を行うものでもよいし、モノクロ表示を行うものでもよい。
【0039】
警報音出力装置23は、歩行者が検出された場合に、運転者に対して注意を促すために発せられる音声警報を出力するための装置である。警報音出力装置23は、I/F14を介してECU10から出力された命令にしたがって警報音の出力処理を実行する。
【0040】
なお、上述したとおり、本実施の形態では、ECU10が後述する動作を実行することとしているが、本発明はこの態様に限定されるわけではなく、例えば画像処理を実行するための専用のプロセッサなどで本発明の運転支援装置が構成されていてもよい。
【0041】
また、本実施の形態では、運転支援装置1は二輪車に搭載されているが、これに限定されるわけではなく、四輪車などに搭載されていてもよいことは勿論である。
【0042】
次に、以上のように構成された運転支援装置1の動作について説明する。
【0043】
図2は、本発明の実施の形態1における運転支援装置1の動作の流れを示すフローチャートである。ここで示される運転支援装置1の動作は、ECU10によって制御される。また、以下の動作は、二輪車の運転中において、適宜のタイミングで実行される。
【0044】
まず、運転支援装置1は、所定の記憶領域を確保したり、所定の変数に初期値を設定したりするなどの初期化処理を実行し(S101)、その後、遠赤外線カメラ21で取得された撮像画像の入力を受け付ける(S102)。
【0045】
次に、運転支援装置1は、振動キャンセル処理を実行する(S103)。ここで、振動キャンセル処理とは、走行中、車両が振動することに起因して撮像画像が乱れることによって、歩行者の検出が安定して行われない事態が発生することを回避するために、撮像画像に補正を施す処理をいう。
【0046】
[振動キャンセル処理]
図3は、振動キャンセル処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。また、図4は、後述する有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。以下、これらの図3及び図4を参照しながら、振動キャンセル処理について説明する。
【0047】
まず、運転支援装置1は、遠赤外線カメラ21によって既に得られた撮像画像(以下、前回撮像画像という)を読み出し(S201)、その読み出した前回撮像画像に対して、有効画素領域を設定する(S202)。
【0048】
ここで、有効画素領域とは、遠赤外線カメラ21により撮像することができる画素領域(以下、撮像可能画素領域という)内に設けられる領域であって、歩行者検出に利用されるものをいう。
【0049】
図4(a)は、前回撮像画像を示している。この図4(a)において、R2は、ステップS202にて設定された有効画素領域を示している。また、R1は、撮像可能画素領域を示している。
【0050】
図4(a)に示すように、有効画素領域R2は、撮像可能画素領域R1内に設けられた所定の大きさの画素領域である。この有効画素領域R2内の画像を用いて、後述する歩行者検出に関する処理が実行される。
【0051】
運転支援装置1は、ステップS202を実行した後、前回撮像画像の次に遠赤外線カメラ21によって得られた撮像画像(以下、今回撮像画像という)を読み出す(S203)。
【0052】
そして、運転支援装置1は、時間的に先行する前回撮像画像と後行する今回撮像画像とを用いてグレイサーチを実行する(S204)。具体的には、前回撮像画像と今回撮像画像との間における一致度を算出し、今回撮像画像において前回撮像画像と一致する点を検出する。
【0053】
運転支援装置1は、ステップS204におけるグレイサーチによって、前回撮像画像と今回撮像画像との間でどの程度のずれが生じたのかを判断し、そのずれをシフト量として算出する(S205)。
【0054】
次に、運転支援装置1は、ステップS205にて算出したシフト量に基づいて、今回撮像画像における有効画素領域を移動させる(S206)。以下、この処理について図4(b)及び(c)を参照して説明する。
【0055】
図4(b)は、今回撮像画像を示している。図4(a)と(b)とを比較すると分かるように、運転支援装置1を搭載した二輪車の走行中における振動によって、前回撮像画像と今回撮像画像とではずれが生じたものとする。そのため、前回撮像画像における有効画素領域R2内の画像と今回撮像画像における有効画素領域R2内の画像とでは、画像中に表れているオブジェクト(歩行者、建物、及び道路など)の表示範囲が異なっている(例えば、前回撮像画像における有効画素領域R2には歩行者の全身が含まれるが、今回撮像画像における有効画素領域R2には歩行者の頭部の一部が含まれないなどの差異が生じている。)。
【0056】
図4(b)と同様に、図4(c)も今回撮像画像を示している。この図4(c)に示すように、運転支援装置1は、ステップS206において、ステップS205にて算出したシフト量分だけ、有効画素領域R2を移動させる。図4(c)においては、移動後の有効画素領域がR3で示されている。その結果、今回撮像画像における有効画素領域R3内の画像は、前回撮像画像における有効画素領域R2内の画像と同様となる。
【0057】
このようにして補正された有効画素領域内の今回撮像画像は、運転支援装置1によって、撮像画像データとしてRAM13に記憶される(S207)。
【0058】
以上のように有効画素領域を移動させることによって、振動により生じたずれを補正することができる。
【0059】
なお、車両の振動は、四輪車と比べて二輪車の場合の方が大きい。そのため、上記のような振動キャンセル処理は、二輪車の場合の方がより効果的であるといえる。
【0060】
上記の振動キャンセル処理を終えた運転支援装置1は、図2に示すように、道路検出処理を実行する(S104)。ここで、道路検出処理とは、撮像画像データにおいて道路を示している道路領域を検出するための処理をいう。
【0061】
[道路検出処理]
図5は、道路検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0062】
運転支援装置1は、画像の明るさの変化値を算出するために、RAM13に記憶されている撮像画像データに対して画像微分処理を実行する(S301)。その結果、画像のエッジ部分が検出される。
【0063】
次に、運転支援装置1は、エッジ部分が検出された撮像画像データに対して2値化処理を実行して輝度変化の小さい領域を検出する(S302)。そして、運転支援装置1は、2値化された撮像画像データ中の連結領域に対してラベルを順に付けるラベリング処理を実行する(S303)。
【0064】
次に、運転支援装置1は、ラベル付けされた領域のうちの特定の1つの領域を道路検出処理の処理対象に設定し(S304)、その処理対象の面積が全体の面積から設定した値より大きく、しかもその位置が下方にあるか否かを判定する(S305)。ここで、全体の面積から設定した値とは、例えば、遠赤外線カメラ21を略水平に取り付けて、道路が画面の下半分に写り込むように設定した場合(この場合、道路は最大で画面全体の1/2)では、周囲の建物なども写り込むことになるので、画面全体の1/5乃至1/10程度の面積となる。このように、この値は、遠赤外線カメラ21の取り付け位置により、適宜設定されることになる。
【0065】
上記のステップS305における判定処理は、上記のようにして設定された値よりも処理対象の面積が大きいか否か、有効画素領域のうちの下半分に位置しているか否かなどによってなされる。
【0066】
ステップS305において処理対象の面積が全体の面積から設定した値より大きくない、またはその位置が下方にはないと判定された場合(S305でNO)、運転支援装置1は、後述するステップS309へ進む。
【0067】
他方、ステップS305において、処理対象の面積が全体の面積から設定した値より大きく、且つその位置が下方にあると判定された場合(S305でYES)、運転支援装置1は、その処理対象が道路に相当する領域(道路領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、道路領域に関する道路領域データを生成する(S306)。そして、運転支援装置1は、その道路領域データをRAM13に記憶する(S307)。
【0068】
次に、運転支援装置1は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し(S308)、まだ処理対象となっていない領域があると判定した場合(S308でNO)、ステップS304へ戻り、上記のステップS304乃至S307を実行する。他方、すべての領域が処理対象となったと判定した場合(S308でYES)、運転支援装置1は、道路検出処理を終了する。
【0069】
以上のように、本発明においては、画像の輝度変化の程度に基づいて道路領域の検出が行われている。ここで、遠赤外線カメラで得られた撮像画像において輝度変化が小さいということは、温度変化が小さいということを意味する。夜間の場合、道路上の温度は略一定であるのが通常であるため、このように輝度変化に着目することによって、道路をより安定して検出することが可能となる。
【0070】
上記の道路検出処理を終えた運転支援装置1は、図2に示すように、建物検出処理を実行する(S105)。ここで、建物検出処理とは、撮像画像データにおいて建物を示している建物領域を検出するための処理をいう。
【0071】
[建物検出処理]
図6は、建物検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0072】
まず、運転支援装置1は、既にラベル付けされた領域のうちの特定の1つの領域を建物検出処理の処理対象に設定し(S401)、その処理対象の面積が所定値以上であるか否かを判定する(S402)。ここで、所定値以上ではないと判定された場合(S402でNO)、運転支援装置1は、後述するステップS408へ進む。
【0073】
他方、ステップS402において、処理対象の面積が所定値以上であると判定された場合(S402でYES)、運転支援装置1は、その処理対象の横及び縦の大きさを認識した後、横/縦が2以上であるか否かを判定する(S403)。ここで、横/縦が2以上ではないと判定された場合(S403でNO)、運転支援装置1は、縦/横が5以上であるか否かを判定する(S404)。また、ここで縦/横が5以上ではないと判定された場合(S404でNO)、運転支援装置1は、その面積が所定値(ステップS402における所定値よりも大きい値)以上であるか否かを判定する(S405)。ここで所定値以上ではないと判定された場合(S405でNO)、運転支援装置1は、後述するステップS408へ進む。
【0074】
ステップS403において横/縦が2以上であると判定された場合(S403でYES)、ステップS404において縦/横が5以上であると判定された場合(S404でYES)、またはステップS405において面積が所定値以上であると判定された場合(S405でYES)、運転支援装置1は、その処理対象が建物に相当する領域(建物領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、建物領域に関する建物領域データを生成する(S406)。そして、運転支援装置1は、その建物領域データをRAM13に記憶する(S407)。
【0075】
次に、運転支援装置1は、すべてのラベル付けされた領域を処理対象として設定したか否かを判定し(S408)、まだ処理対象となっていない領域があると判定した場合(S408でNO)、ステップS401へ戻り、上記のステップS401乃至S407を実行する。他方、すべての領域が処理対象となったと判定した場合(S408でYES)、運転支援装置1は、建物検出処理を終了する。
【0076】
以上のように、処理対象となっている領域が所定の面積を有し且つ所定の形状であると判定した場合、運転支援装置1は、その処理対象が建物を示していると判断する。本実施の形態では、横/縦が2以上となる横長な形状である場合、縦/横が5以上の縦長な形状である場合、または面積が所定値以上である場合に、その領域が建物を示していると判断している。なお、これらは例示であり、それ以外の形状の領域を建物としてもよいことは言うまでもない。
【0077】
上記の建物検出処理を終えた運転支援装置1は、図2に示すように、建物であると判断した領域を消去する外乱消去処理を実行する(S106)。次に、運転支援装置1は、第1歩行者検出処理を実行する(S107)。ここで、第1歩行者検出処理とは、歩行者の頭部(顔を含む)とそれ以外とを別々に検出することによって歩行者の検出を行う処理をいう。
【0078】
[第1歩行者検出処理]
図7は、第1歩行者検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0079】
まず、運転支援装置1は、歩行者の頭部の特徴を数値で表した頭部特徴量を示す頭部特徴量データをROM12から取得し(S501)、また、歩行者の体の特徴を数値で表した体特徴量を示す体特徴量データを同様にして取得する(S502)。
【0080】
ここで、頭部特徴量とは、人の頭部の形状パターンを数値化したデータを意味しており、縦長の楕円状の領域を数値化したデータなどが具体例として挙げられる。また、体特徴量とは、人の頭部以外の形状パターンを数値化したデータを意味しており、縦長の矩形状の領域を数値化したデータなどが具体例として挙げられる。
【0081】
次に、運転支援装置1は、既にラベル付けされた領域の中から歩行者の頭部に相当すると予測される領域(頭部候補)を抽出する(S503)。具体的には、他の領域と比べて輝度が高く(すなわち温度が高く)、しかも面積が所定値以下の領域などを頭部候補として抽出する。
【0082】
次に、運転支援装置1は、特定の頭部候補を処理対象として設定し(S504)、その処理対象がステップS501にて取得された頭部特徴量データが示す頭部特徴量を有しているか否かを判定する(S505)。
【0083】
ステップS505において、処理対象が頭部特徴量を有していないと判定された場合(S505でNO)、運転支援装置1は、後述するステップS508へ進む。これに対し、処理対象が頭部特徴量を有していると判定された場合(S505でYES)、運転支援装置1は、その処理対象が歩行者の頭部を示す領域(頭部領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の頭部に関する頭部領域データを生成する(S506)。そして、運転支援装置1は、その頭部領域データをRAM13に記憶する(S507)。
【0084】
次に、運転支援装置1は、すべての頭部候補を処理対象として設定したか否かを判定し(S508)、まだ処理対象となっていない頭部候補があると判定した場合(S508でNO)、ステップS504へ戻り、上記のステップS504乃至S507を実行する。他方、すべての頭部候補が処理対象となったと判定した場合(S508でYES)、運転支援装置1は、RAM13に記憶されている頭部領域データに示されている頭部領域のうち特定の1つを選択し、その頭部領域の下方に接しているラベル付けされた領域を処理対象に設定する(S509)。
【0085】
次に、運転支援装置1は、処理対象がステップS502にて取得された体特徴量データが示す体特徴量を有しているか否かを判定する(S510)。ここで、処理対象が体特徴量を有していないと判定された場合(S510でNO)、運転支援装置1は、後述するステップS514へ進む。
【0086】
これに対し、ステップS510において処理対象が体特徴量を有していると判定された場合(S510でYES)、運転支援装置1は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者候補であると判断し、その処理対象の下部が、RAM13に記憶されている道路領域データが示す道路領域と接しているか否かを判定する(S511)。
【0087】
ステップS511において、処理対象の下部が道路領域と接していないと判定された場合(S511でNO)、運転支援装置1は、後述するステップS514へ進む。他方、処理対象の下部が道路領域と接していると判定された場合(S511でYES)、運転支援装置1は、その処理対象及びその処理対象の上方に接している頭部領域が歩行者に相当する領域(歩行者領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者領域に関する歩行者領域データを生成する(S512)。そして、運転支援装置1は、その歩行者領域データをRAM13に記憶する(S513)。
【0088】
次に、運転支援装置1は、すべての頭部領域の下方に位置するラベル付けされた領域を処理対象として設定したか否かを判定し(S514)、まだ処理対象となっていない領域があると判定した場合(S514でNO)、ステップS509へ戻り、上記のステップS509乃至S513を実行する。他方、すべての領域が処理対象となったと判定した場合(S514でYES)、運転支援装置1は、第1歩行者検出処理を終了する。
【0089】
本実施の形態のように、遠赤外線カメラを撮像手段として用いた場合、温度が高い領域が高い輝度で表示される撮像画像が得られる。通常、着衣によって歩行者の頭部以外の部分の表面の温度は低くなり、他方、頭部の表面の温度は高くなるため、頭部以外の部分と比べて頭部の方がより安定して検出できる場合が多い。そのため、上述した第1歩行者検出処理のように、歩行者の頭部に相当する領域を検出し、その後、その領域の下方に接している歩行者の体に相当する領域を検出することによって、歩行者の検出をより安定して行うことが可能となる。
【0090】
図8は、本発明の運転支援装置1において利用される撮像画像の一例を示す概念図である。図8において、Wは、運転支援装置1によって検出された歩行者領域を示している。
【0091】
図8に示すように、歩行者の胴体部は着衣によってその表面の温度が低く、そのため、周辺領域と比べて低い輝度で表されることが多い。他方、頭部の表面の温度は高いため、周辺領域と比べて高い輝度で表される。このような場合、運転支援装置1は、より安定して検出可能な頭部を先に検出した上で、その頭部の下方に接している歩行者の体の検出を行い、歩行者領域Wを検出する。これにより、歩行者をより安定して検出することができる。
【0092】
また、上述したステップS511のとおり、処理対象の下部が道路と接しているか否かを判定することによって、二輪車の運転者が注意すべき歩行者をより安定して検出することが可能となる。さらに、実際には人ではないものの、人に似ている形状が撮像画像に表れている場合、その形状と道路との位置関係を確認することによって、その形状が歩行者であると誤って検出することを防止することが可能となる。
【0093】
なお、本実施の形態では、ステップS511において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が頭部特徴量及び体特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置1は、上述した道路検出処理を実行しなくてもよい。
【0094】
上記の第1歩行者検出処理を終えた運転支援装置1は、図2に示すように、第2歩行者検出処理を実行する(S108)。ここで、第2歩行者検出処理とは、歩行者の全身を一体として検出することによって歩行者の検出を行う処理をいう。
【0095】
[第2歩行者検出処理]
図9は、第2歩行者検出処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0096】
まず、運転支援装置1は、歩行者の全身の特徴を数値で表した全身特徴量を示す全身特徴量データをROM12から取得し(S601)、また、歩行者の形状パターンの特徴を数値で表した歩行者特徴量を示す歩行者特徴量データを同様にして取得する(S602)。
【0097】
ここで、全身特徴量とは、人の全身の形状パターンを数値化したデータを意味しており、縦横比が2:1乃至3:1程度の縦長の領域などを数値化したものが具体例として挙げられる。また、歩行者特徴量とは、人の形状パターンを数値化したデータを意味しており、その有無の判定は後述するようにしてなされる。
【0098】
運転支援装置1は、ラベル付けされた領域のうち、他の領域と比べて輝度が高く、しかも所定値の面積を有するものを歩行者の全身に相当する全身候補として抽出する(S603)。そして、運転支援装置1は、その全身候補のうち特定の1つを処理対象に設定する(S604)。
【0099】
次に、運転支援装置1は、その処理対象が、ステップS601にて取得された全身特徴量データが示す全身特徴量を有しているか否かを判定する(S605)。
【0100】
ステップS605において、処理対象が全身特徴量を有していないと判定された場合(S605でNO)、運転支援装置1は、後述するステップS608へ進む。これに対し、処理対象が全身特徴量を有していると判定された場合(S605でYES)、運転支援装置1は、その処理対象が歩行者の全身に相当する領域(全身領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者の全身に関する全身領域データを生成する(S606)。そして、運転支援装置1は、その全身領域データをRAM13に記憶する(S607)。
【0101】
次に、運転支援装置1は、すべての全身候補を処理対象として設定したか否かを判定し(S608)、まだ処理対象となっていない全身候補があると判定した場合(S608でNO)、ステップS604へ戻り、上記のステップS604乃至S607を実行する。他方、すべての全身候補が処理対象となったと判定した場合(S608でYES)、運転支援装置1は、RAM13に記憶されている全身領域データに示されている全身領域のうち特定の1つを処理対象に設定する(S609)。
【0102】
次に、運転支援装置1は、処理対象がステップS602にて取得された歩行者特徴量データが示す歩行者特徴量を有しているか否かを判定する(S610)。具体的には、処理対象を複数の領域に分割し、その分割された領域の濃淡に基づいて当該処理対象が人の形状パターンに相当するか否かを判定することによって、処理対象が歩行者特徴量を有しているか否かを判定する。ここで、処理対象が歩行者特徴量を有していないと判定された場合(S610でNO)、運転支援装置1は、後述するステップS614へ進む。
これに対し、ステップS608において処理対象が歩行者特徴量を有していると判定された場合(S608でYES)、運転支援装置1は、その処理対象が歩行者候補であると判断し、その処理対象の下部が、RAM13に記憶されている道路領域データが示す道路領域と接しているか否かを判定する(S611)。
ステップS611において、処理対象の下部が道路領域と接していないと判定された場合(S611でNO)、運転支援装置1は、後述するステップS614へ進む。他方、処理対象の下部が道路領域と接していると判定された場合(S611でYES)、運転支援装置1は、その処理対象が歩行者に相当する領域(歩行者領域)であると判断し、その処理対象の位置、面積などに関するデータを用いて、歩行者に関する歩行者領域データを生成する(S612)。そして、運転支援装置1は、その歩行者領域データをRAM13に記憶する(S613)。
【0103】
次に、運転支援装置1は、すべての全身領域を処理対象として設定したか否かを判定し(S614)、まだ処理対象となっていない全身領域があると判定した場合(S614でNO)、ステップS609へ戻り、上記のステップS609乃至S613を実行する。他方、すべての全身領域が処理対象となったと判定した場合(S614でYES)、運転支援装置1は、第2歩行者検出処理を終了する。
【0104】
図10は、第2歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。図10に示されている特定の領域Wは、縦横比が2:1乃至3:1程度の縦長の領域である。そのため、運転支援装置1は、ステップS605において、この領域Wが全身特徴量を有していると判定する。
【0105】
また、図10に示すように、領域Wを横5×縦8の領域に分割した場合に、その分割された領域の濃淡が人の形状パターンに相当するものとする。この場合、運転支援装置1は、ステップS610において、この領域Wが歩行者特徴量を有していると判定する。
【0106】
以上より、運転支援装置1は、領域Wは全身特徴量及び歩行者特徴量を有していると判定し、その領域Wの下部が道路領域に接している場合には、この領域Wを歩行者領域として歩行者領域データを生成し、記憶することになる。
【0107】
図11は、本発明の運転支援装置1において利用される撮像画像の一例を示す概念図である。図11において、Wは、運転支援装置1によって検出された歩行者領域を示している。
【0108】
図11に示すように、撮像画像において歩行者の全身を示す領域が表れている場合、運転支援装置1は、上述したようにして、その領域が全身特徴量及び歩行者特徴量を有していると判定する。そして、その領域の下部が道路領域と接していると判定した場合、当該領域を歩行者領域Wとして検出することになる。
【0109】
なお、本実施の形態では、ステップS611において処理対象と道路とが接しているか否かの判定を行っているが、この処理を省略し、処理対象が全身特徴量及び歩行者特徴量を有している場合に、その処理対象を歩行者領域と判定するようにしてもよい。その場合、運転支援装置1は、上述した道路検出処理を実行しなくてもよい。
【0110】
上記の第2歩行者検出処理を終えた運転支援装置1は、図2に示すように、処理結果出力処理を実行する(S109)。ここで、処理結果出力処理とは、第1歩行者検出処理及び第2歩行者検出処理の処理結果を二輪車の運転者に報知するための処理をいう。
【0111】
[検出結果出力処理]
図12は、検出結果出力処理に伴う、本発明の運転支援装置1の動作の流れを示すフローチャートである。
【0112】
運転支援装置1は、RAM13に歩行者領域データが記憶されているか否かを判定する(S701)。ここで、歩行者領域データが記憶されていないと判定された場合(S701でNO)、運転支援装置1は、後述するステップS707へ進む。他方、歩行者領域データが記憶されていると判定された場合(S701でYES)、運転支援装置1は、その記憶されている歩行者領域データのうちの特定の1つを処理対象に設定する(S702)。
【0113】
次に、運転支援装置1は、処理対象の歩行者領域データに基づいて、歩行者の領域を示す歩行者枠の描画処理を実行する(S703)。そして、運転支援装置1は、すべての歩行者領域データが処理対象となったか否かを判定し(S704)、まだ所定対象となっていない歩行者領域データが存在すると判定した場合(S704でNO)、ステップS702へ戻り、ステップS702及びS703を実行する。
【0114】
ステップS704において、すべての歩行者領域データが処理対象となったと判定された場合(S704でYES)、運転支援装置1は、前回歩行者枠の表示を行ってから5秒が経過したか否かを判定する(S705)。ここで、5秒が経過していないと判定された場合(S705でNO)、運転支援装置1は、後述するステップS707へ進む。他方、5秒が経過していると判定された場合(S705でYES)、運転支援装置1は、音声警報を警報音出力装置23に出力させる(S706)。
【0115】
そして、運転支援装置1は、ステップS707において、描画された歩行者枠の表示を表示装置22に行わせることによって画像表示の更新を行う。
【0116】
このようにして、運転支援装置1は、歩行者が検出されたことを二輪車の運転手に報知する。これにより、運転手は、歩行者の存在を認識することができる。
【0117】
以上のように、本発明の運転支援装置1においては、従来の運転支援装置の場合と異なり、ステレオ視を用いる必要がないため、撮像手段としてのカメラは1台で足りる。したがって、運転支援装置を二輪車に搭載する場合であっても特段の支障は生じない。
【産業上の利用可能性】
【0118】
本発明に運転支援装置は、車両の運転者に歩行者の検出の有無を報知する運転支援装置などに有用である。
【図面の簡単な説明】
【0119】
【図1】本発明の運転支援装置の構成を示すブロック図である。
【図2】本発明の実施の形態1における運転支援装置の動作の流れを示すフローチャートである。
【図3】振動キャンセル処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図4】有効画素領域の概念及び振動キャンセル処理の処理過程を示す説明図である。
【図5】道路検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図6】建物検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図7】第1歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図8】本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。
【図9】第2歩行者検出処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【図10】第2歩行者検出処理によって検出された歩行者領域の概念を示す説明図である。
【図11】本発明の運転支援装置において利用される撮像画像の一例を示す概念図である。
【図12】検出結果出力処理に伴う、本発明の運転支援装置の動作の流れを示すフローチャートである。
【符号の説明】
【0120】
1 運転支援装置
10 ECU
11 CPU
12 ROM
13 RAM
14 インタフェース
21 遠赤外線カメラ
22 表示装置
23 警報音出力装置
W 歩行者領域
【特許請求の範囲】
【請求項1】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
道路を含む前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段と、
前記撮像画像から、歩行者候補を検出する歩行者候補検出手段と、
前記道路領域検出手段によって検出された道路領域と、当該歩行者候補検出手段によって検出された歩行者候補との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する歩行者判定手段と
を備えることを特徴とする、運転支援装置。
【請求項2】
前記歩行者判定手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されている、請求項1に記載の運転支援装置。
【請求項3】
前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項1又は請求項2に記載の運転支援装置。
【請求項4】
前記道路領域検出手段は、前記特定の領域の面積が全体の面積に基づいて設定された値より大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されている、請求項3に記載の運転支援装置。
【請求項5】
前記撮像手段は、遠赤外線カメラであり、
前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項1又は請求項2に記載の運転支援装置。
【請求項6】
前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されている、請求項5に記載の運転支援装置。
【請求項7】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域を歩行者候補と判定するように構成されている、請求項1に記載の運転支援装置。
【請求項8】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されている、請求項1に記載の運転支援装置。
【請求項9】
前記歩行者候補検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されている、請求項8に記載の運転支援装置。
【請求項10】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項1に記載の運転支援装置。
【請求項11】
前記歩行者候補検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項10に記載の運転支援装置。
【請求項12】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項1に記載の運転支援装置。
【請求項13】
前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、
前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されている、請求項12に記載の運転支援装置。
【請求項14】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、
前記撮像手段は、遠赤外線カメラであり、
前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者と判定するように構成されている、運転支援装置。
【請求項15】
前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者と判定するように構成されている、請求項14に記載の運転支援装置。
【請求項16】
前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、
前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、
前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記輝度の高い領域及び前記下方に位置する領域を含む領域が歩行者であるか否かを判定するように構成されている、請求項15に記載の運転支援装置。
【請求項17】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項14に記載の運転支援装置。
【請求項18】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、
前記撮像手段は、遠赤外線カメラであり、
前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比、及び前記輝度の高い領域と人の全身の形状パターンとを比較した結果に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている、運転支援装置。
【請求項19】
前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、
前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、
前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記輝度の高いとの位置関係に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている、請求項18に記載の運転支援装置。
【請求項20】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項18に記載の運転支援装置。
【請求項1】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
道路を含む前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段と、
前記撮像画像から、歩行者候補を検出する歩行者候補検出手段と、
前記道路領域検出手段によって検出された道路領域と、当該歩行者候補検出手段によって検出された歩行者候補との位置関係に基づいて、前記検出された歩行者候補が歩行者であるか否かを判定する歩行者判定手段と
を備えることを特徴とする、運転支援装置。
【請求項2】
前記歩行者判定手段は、前記検出された歩行者候補の下部が、前記検出された道路領域に接している場合に、当該検出された歩行者候補を歩行者であると判定するように構成されている、請求項1に記載の運転支援装置。
【請求項3】
前記道路領域検出手段は、前記撮像画像における特定の領域の面積の大きさ及びその位置に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項1又は請求項2に記載の運転支援装置。
【請求項4】
前記道路領域検出手段は、前記特定の領域の面積が全体の面積に基づいて設定された値より大きく、しかも当該特定の領域が下方に位置する場合に、当該特定の領域を道路領域と判定するように構成されている、請求項3に記載の運転支援装置。
【請求項5】
前記撮像手段は、遠赤外線カメラであり、
前記道路領域検出手段は、前記撮像画像における特定の領域の輝度変化に基づいて、当該特定の領域が道路領域であるか否かを判定するように構成されている、請求項1又は請求項2に記載の運転支援装置。
【請求項6】
前記道路領域検出手段は、前記特定の領域の輝度変化が他の領域と比べて小さい場合に、当該特定の領域を道路領域と判定するように構成されている、請求項5に記載の運転支援装置。
【請求項7】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域を歩行者候補と判定するように構成されている、請求項1に記載の運転支援装置。
【請求項8】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者候補と判定するように構成されている、請求項1に記載の運転支援装置。
【請求項9】
前記歩行者候補検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者候補の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者候補と判定するように構成されている、請求項8に記載の運転支援装置。
【請求項10】
前記撮像手段は、遠赤外線カメラであり、
前記歩行者候補検出手段は、他の領域と比べて輝度の高い領域の縦横比に基づいて、当該輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項1に記載の運転支援装置。
【請求項11】
前記歩行者候補検出手段は、前記輝度の高い領域と人の全身の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者候補であるか否かを判定するように構成されている、請求項10に記載の運転支援装置。
【請求項12】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項1に記載の運転支援装置。
【請求項13】
前記撮像手段は、所定の時間間隔で複数の撮像画像を取得するように構成されており、
前記画像補正手段は、前記撮像手段によって得られた先行する撮像画像と後行する撮像画像とを比較し、その比較した結果に基づいて、前記後行する撮像画像を補正するように構成されている、請求項12に記載の運転支援装置。
【請求項14】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、
前記撮像手段は、遠赤外線カメラであり、
前記歩行者検出手段は、他の領域と比べて輝度の高い領域と人の頭部の形状パターンとを比較し、その比較した結果に基づいて、前記輝度の高い領域が歩行者の頭部に相当する頭部領域であるか否かを判定し、前記輝度の高い領域が頭部領域であると判定された場合に、前記輝度の高い領域を含む領域を歩行者と判定するように構成されている、運転支援装置。
【請求項15】
前記歩行者検出手段は、前記輝度の高い領域の下方に位置する領域と人の頭部以外の形状パターンとを比較し、その比較した結果に基づいて、前記下方に位置する領域が歩行者の頭部以外に相当する領域であるか否かを判定し、前記下方に位置する領域が歩行者の頭部以外に相当する領域であると判定された場合に、前記輝度の高い領域及び前記下方に位置する領域を含む領域を歩行者と判定するように構成されている、請求項14に記載の運転支援装置。
【請求項16】
前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、
前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、
前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記下方に位置する領域との位置関係に基づいて、前記輝度の高い領域及び前記下方に位置する領域を含む領域が歩行者であるか否かを判定するように構成されている、請求項15に記載の運転支援装置。
【請求項17】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項14に記載の運転支援装置。
【請求項18】
車両に搭載され、当該車両の運転を支援する運転支援装置において、
前記車両の周囲を撮像する撮像手段と、
当該撮像手段によって得られた撮像画像から、歩行者を検出する歩行者検出手段とを備え、
前記撮像手段は、遠赤外線カメラであり、
前記歩行者検出手段は、他の領域と比べて輝度の高い領域の縦横比、及び前記輝度の高い領域と人の全身の形状パターンとを比較した結果に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている、運転支援装置。
【請求項19】
前記撮像手段は、道路を含む前記車両の周囲を撮像するように構成され、
前記撮像手段によって得られた撮像画像から、道路に相当する道路領域を検出する道路領域検出手段を更に備え、
前記歩行者検出手段は、前記道路領域検出手段によって検出された道路領域と前記輝度の高いとの位置関係に基づいて、前記輝度の高い領域が歩行者であるか否かを判定するように構成されている、請求項18に記載の運転支援装置。
【請求項20】
前記車両の振動量に応じて前記撮像画像を補正する画像補正手段を更に備える、請求項18に記載の運転支援装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図12】
【図8】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図12】
【図8】
【図10】
【図11】
【公開番号】特開2008−65756(P2008−65756A)
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願番号】特願2006−245571(P2006−245571)
【出願日】平成18年9月11日(2006.9.11)
【出願人】(000000974)川崎重工業株式会社 (1,710)
【Fターム(参考)】
【公開日】平成20年3月21日(2008.3.21)
【国際特許分類】
【出願日】平成18年9月11日(2006.9.11)
【出願人】(000000974)川崎重工業株式会社 (1,710)
【Fターム(参考)】
[ Back to top ]