説明

安全支援装置、及び、安全支援方法

【課題】車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができるようにすること。
【解決手段】車両から所定範囲の画像を撮像する撮像装置と、撮像した前記画像から対象者を検出する対象者検出装置と、前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、を備える安全支援装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、安全支援装置、及び、安全支援方法に関する。
【背景技術】
【0002】
車両を運転する際、運転者は目視と経験に基づいて、自車両の走行エリアの予測を行っている。しかしながら、予測が外れた場合には車両と歩行者との接触が発生することがある。よって、このような事故を防止するための装置が考えられている。
【0003】
特許文献1には、車両に人検出手段を搭載し、歩行者が検出された場合に歩行者の周囲に可視光を照射することが示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−252264号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の手法では、歩行者にとって車両の運転者が自分の存在を認識しているか否かが分からない。運転者が自分の存在を認識しているときには、歩行者は比較的安心して歩行動作を継続することができるが、運転者が自分の存在を認識していないときには、歩行者は接触回避行動をとる必要がある。よって、運転者が自分の存在を認識しているか否かを歩行者などの対象者が知ることができるようにすることが望ましい。
【0006】
本発明は、このような事情に鑑みてなされたものであり、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するための主たる発明は、
車両から所定範囲の画像を撮像する撮像装置と、
撮像した前記画像から対象者を検出する対象者検出装置と、
前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
を備える安全支援装置である。
【0008】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【0009】
【図1】本実施形態における安全支援装置1のブロック図である。
【図2】車両5における各装置の取り付け位置の説明図である。
【図3】本実施形態における安全支援方法のフローチャートである。
【図4】図4Aは、投影パターンの投影の第1の説明図であり、図4Bは、投影パターンの投影の第2の説明図である。
【図5】投影パターンPの一例を示す図である。
【発明を実施するための形態】
【0010】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
車両から所定範囲の画像を撮像する撮像装置と、
撮像した前記画像から対象者を検出する対象者検出装置と、
前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
を備える安全支援装置である。
このようにすることで、運転者が対象者を認識しているか否かで投影パターンが異ならされるので、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。そして、運転者が対象者の存在を認識していない場合には、より注意深く歩行するなどして安全対策をとることができる。
【0011】
かかる安全支援装置であって、前記制御装置は、前記運転者の視線の方向を検出し、当該視線の方向が前記対象者の方向と一致するときに、前記対象者が前記車両の運転者に認識されたと判定することが望ましい。
このようにすることで、運転者の視線の方向に基づいて、運転者が対象者を認識したか否かを検出することができる。
【0012】
また、前記投影装置は、レーザープロジェクターを含むことが望ましい。
レーザープロジェクターは、レンズを通さず、常にピントが合っている状態であるので、車両のフロントグリルに取り付けた場合であっても、路面のどの領域でもピントが合い、常に明瞭に投影パターンを投影することができる。
【0013】
また、前記撮像装置は、赤外線カメラを含むことが望ましい。
このようにすることで、対象者の温度に応じた画像を出力できるので、夜間の暗闇などであっても対象者を含む画像を撮像することができる。
【0014】
また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの色を異ならせて前記対象者から所定距離の位置に投影を行うことが望ましい。
このようにすることで、投影パターンの色に基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。
【0015】
また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの輝度を異ならせて前記対象者から所定距離の位置に投影を行うこととしてもよい。
このようにすることで、投影パターンの輝度に基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。
【0016】
また、前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときにおいて前記対象者から所定距離の位置に前記投影パターンの投影を行い、前記対象者が前記車両の運転者に認識されたと判定されなかったときにおいて前記投影を行わないこととしてもよい。
このようにすることで、投影パターンが投影されているか否かに基づいて、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。
【0017】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
車両から所定範囲の画像を撮像することと、
撮像した前記画像から対象者を検出することと、
前記対象者が前記車両の運転者に認識されたか否かを判定することと、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行うことと、
を含む安全支援方法である。
このようにすることで、運転者が対象者を認識しているか否かで投影パターンが異ならされるので、車両の運転者が対象者の存在を認識しているか否かを対象者自身が知ることができる。そして、運転者が対象者の存在を認識していない場合には、より注意深く歩行するなどして安全対策をとることができる。
【0018】
===実施形態===
図1は、本実施形態における安全支援装置1のブロック図である。図には、レーザープロジェクター10と、対象者検出装置20と、赤外線カメラ30と、制御装置40と、視線検出装置50が示されている。
【0019】
レーザープロジェクター10(投影装置)は、ヘッドライトとは別に用意され、後述する投影パターンPを検出された歩行者Mの足下(対象者から所定の距離の位置)に投影する。ここでレーザープロジェクター10を採用するのは、レーザープロジェクター10は、レンズを通さず投影されるため、いずれの位置でもピントが合っている状態になるからである。そのため、いずれの位置に投影パターンPを投影する場合であっても、投影パターンPをぼかすことなく投影することが可能である。
【0020】
例えば、車両5のフロントグリル部から投影を行った場合、フロントグリル部に近い位置と離れた位置とでは距離が異なる。よって、レンズを通すとピントの合う位置とピントが合わない位置が生ずるおそれがあるが、レーザープロジェクター10は、レンズを通さないためいずれの位置でもピントが合い、投影パターンPをぼかすことなく投影することができる。
【0021】
なお、投影装置は、レーザープロジェクター10には限られず、投影パターンPを投影することができれば他の装置を用いることとしてもよい。
【0022】
対象者検出装置20は、後述する赤外線カメラ30によって撮像された画像に歩行者Mが含まれるか否かの検出を行う。また、検出された歩行者Mの方向、及び、車両5からの距離を推定する。歩行者Mの検出手法は種々存在するが、ここでは後述するようにHistograms of Oriented Gradients(HOG)特徴量を用いた識別器を用いて検出が行われる。
【0023】
赤外線カメラ30は、中赤外線及び遠赤外線の波長をとらえデジタル値の映像信号を対象者検出装置20に送信する。ここで、中赤外線は2.5μm〜4μmの波長、遠赤外線は、4μm〜1000μmの波長を有する光である。本実施形態では、8〜14μmの波長を用いて体温を検出し、これに対応する映像を出力するが、この波長に限られず、温度を検出できる波長であればよい。
【0024】
制御装置40は、後述する投影パターンPの生成を行う。また、制御装置40は、対象者検出装置20による検出結果と後述する視線検出装置50からの情報に基づいて、運転者が歩行者Mを認識したか否かの判定を行う。そして、この判定結果に基づいて、投影パターンPを様々に異ならせる。
【0025】
視線検出装置50は、車両5の運転者の視線の方向を検出し、視線の方向に関する情報を制御装置40に送る。具体的には、視線検出装置50は、運転者の視線ベクトルと眼の位置を検出するために、運転者の顔周辺の画像を取得するためのステレオカメラであり、二台のカメラからなる。運転者用カメラは、運転席前方に運転者の顔周辺の方向に向けて取り付けられ、二台のカメラが水平方向に所定間隔離間されて配置されている。
【0026】
このように、視線検出装置50から送られた視線の方向に関する情報に基づき、制御装置40は、運転者の眼の位置を検出し、視線ベクトルを求める。制御装置40では、運転者画像から、眼のテンプレートによるパターンマッチング等を行い、眼の部分を抽出する。そして、制御装置40は、その眼の部分の画像から視線ベクトルを検出する。この視線ベクトルの検出方法は、一般的な視線検出技術を利用することができる。
【0027】
制御装置40は、後述する手法により検出された歩行者Mの位置と、視線ベクトルに基づいて、運転者が歩行者Mを認識したか否かの判定を行う。具体的には、視線ベクトルの直線上に、検出された歩行者Mが存在した場合には、運転者が歩行者Mを認識したものと判定する。
【0028】
なお、このようにして運転者が歩行者Mを認識したもののうち、車両5から所定距離以上離れているものについては、運転者が歩行者Mを認識していないものと判定することもできる。所定距離以上離れた場合、視線ベクトル上にあっても歩行者Mであると認識することが困難な場合があるためである。
【0029】
図2は、車両5における各装置の取り付け位置の説明図である。図2には、車両5のフロントグリル部にレーザープロジェクター10と赤外線カメラ30が取り付けられている様子が示されている。このようにすることによって、赤外線カメラ30は前方の歩行者M等の対象者を撮像し、また、レーザープロジェクター10は前方の歩行者M等の足下に後述する投影パターンPを投影する。なお、これらレーザープロジェクター10と赤外線カメラ30の取り付け位置は、これに限られず、車両後方部に取り付けられることとしてもよい。
【0030】
また、制御装置40は、車両5の内部に設置される。また、視線検出装置50は、前述のように、車両5内部において、運転席前方に設置される。
【0031】
図3は、本実施形態における安全支援方法のフローチャートである。以下、本フローチャートを参照しつつ、本実施形態における安全支援方法について説明を行う。
【0032】
まず、車両5が走行中であるか否かの判定が行われる(S102)。走行中であるか否かは、車両5の速度情報を取得することによって行うことができる。そして、走行中である場合には、ステップS104に進む。一方、走行中ではない場合には、本プロセスを終了する。
【0033】
ステップS104では、赤外線カメラ30によって、車両5の周囲(車両5から所定範囲)の撮像が行われる(S104)。そして、撮像された画像に基づいて車両5の前方を含む周囲に歩行者M(対象者)が存在するか否かの検出が行われる(S106)。
【0034】
歩行者Mの検出方法は、既存の様々な手法を適用することができるが、ここでは一例としてHistograms of Oriented Gradients(HOG)特徴量を用いた検出手法を用いる。歩行者Mの検出は、その前段階である学習過程と、実際に検出を行う検出過程とに分けられる。ステップS106では検出過程が用いられ、学習過程は事前に行われているものとする。
【0035】
まず、学習過程について概略を説明する。学習過程では、歩行者Mを含む多量の画像(赤外線画像)、及び、歩行者Mを含まない多量の画像(赤外線画像)のそれぞれから輝度勾配が算出される。次に、勾配強度と勾配方向から輝度の勾配方向ヒストグラムが作成される。また、勾配方向ヒストグラムは、正規化が行われる。なお、勾配方向ヒスグラムは、複数ピクセル(例えば5×5ピクセル)を1つのセルとして取り扱うこととしてもよい。
【0036】
このような勾配方向ヒストグラムを特徴量として、Adaboostを適用する。学習後のAdaboostの弱識別器により特徴量が自動的に選択され、最終的に、多数ある弱識別器の重み付き多数決により歩行者Mと歩行者M以外に判別することができる識別器が生成される。
【0037】
識別器は、歩行者Mが向かっている方向毎(例えば、右方向に歩行している識別器、左方向に歩行している識別器、車両5に近づく方向に歩行している識別器、及び、車両5から遠ざかる方向に歩行している識別器)に生成されていることが望ましい。これらそれぞれの識別器を適用することにより、歩行者Mを検出することだけでなく、検出された歩行者Mが向かう方向をも検出できるからである。
【0038】
これらの識別器は、対象者検出装置20に設定される。そして、対象者検出装置20は、赤外線カメラ30から送られた画像に歩行者Mが含まれるか否かの検出を行う。
【0039】
次に、検出過程(S106)について説明する。検出過程では、学習過程で生成された識別器を用いて、赤外線カメラ30が撮像した画像(撮像画像)から歩行者Mを検出する。具体的には、識別器を撮像画像の左上から検出ウィンドウをスケール変化させ、複数回のラスタスキャンを行う。そして、各検出ウィンドウに対して歩行者Mを含むか否かの検出を行う。
【0040】
歩行者Mが検出された場合、その検出ウィンドウの位置及びスケールのサイズが記憶される。また、検出に用いられた識別器の種類(右方向に歩行している識別器、左方向に歩行している識別器、車両5に近づく方向に歩行している識別器、及び、車両5から遠ざかる方向に歩行している識別器のいずれか)も記憶される。
【0041】
また、対象者検出装置20は、その検出ウィンドウの位置に基づいて、車両5からの歩行者Mの方向を求める。また、そのスケールのサイズから車両5からの歩行者Mの距離を求める(そのスケールのサイズが大きければ車両5からの距離は近く、サイズが小さければ車両5からの距離は遠い)。さらに、検出に用いられた識別器の種類に基づいて、歩行者Mの進行方向を求める。これらの情報は、投影パターンPの生成及び投影に用いられる。
【0042】
次に、車両5の運転者の視線検出が行われる(S108)。視線検出は、前述のように、視線検出装置50から送られた情報に基づいて、制御部40が運転手の視線ベクトルを求める。
【0043】
次に、運転者の視線ベクトルの方向と、対象者検出装置20によって検出された歩行者Mの方向に基づいて、運転者が歩行者Mを認識しているか(気づいているか)否かの判定が行われる(S110)。判定は、前述のように、対象者検出装置20によって検出された歩行者Mが運転者の視線ベクトル上にいるか否かに基づいて行われる。そして、検出された歩行者Mが運転者の視線ベクトル上にいる場合には、運転者が歩行者Mを認識していると判定される。一方、検出された歩行者Mが運転者の視線ベクトル上に一度も入らなかった場合には、運転者が歩行者Mを認識していないと判定される。
【0044】
なお、検出された歩行者Mが運転者の視線ベクトル上に所定時間以上(例えば、1秒以上)存在した場合においてのみ、運転者が歩行者Mを認識していると判定することとしてもよい。また、前述のように、視線ベクトル上に検出された歩行者Mがある場合であっても、その検出された歩行者Mが車両5から所定距離以上離れていた場合には、運転者は歩行者Mを認識していないと判定することもできる。
【0045】
運転者が歩行者Mを認識している場合には、黄色の可視光で検出した歩行者Mの足下に投影パターンPの投影を行う(S112)。ここでの投影パターンPは、黄色の円形パターンである。一方、運転者が歩行者Mを認識していない場合には、赤色の可視光で検出した歩行者Mの足下に投影パターンPの投影を行う(S114)。ここでの投影パターンPは、赤色の円形パターンである。
【0046】
図4Aは、投影パターンPの投影の第1の説明図であり、図4Bは、投影パターンPの投影の第2の説明図である。図4A及び図4Bには、走行中の車両5と歩行者Mと投影パターンPが示されている。図4Aにおいて、投影パターンPは黄色で投影されており、図4Bにおいて投影パターンPは赤色で投影されているものとする。
【0047】
図に示されるように、車両5のレーザープロジェクター10から歩行者Mの足下に投影パターンPが投影される。歩行者Mは投影された投影パターンPを視認し、その色に基づいて、車両5の運転者が自分に気づいているのか否かを知ることができる。具体的には、黄色い投影パターンPが投影されている場合には、運転者が歩行者Mを認識していることを知ることができる。また、赤色の投影パターンPが投影されている場合には、運転者が歩行者Mを認識していないことを知ることができる。そして、車両5との接触を避ける安全対策を考えることができる。
【0048】
なお、図4A及び図4Bでは、投影パターンPは、歩行者Mと車両5とを結ぶ線分上に投影されているが、投影される位置はこれに限られない。例えば、検出された歩行者Mの進行方向先に投影することもできる。また、投影は路面に限られず、壁面に行うこととしてもよい。
【0049】
ところで、上述の投影パターンPは、運転者が歩行者Mを認識しているか否かによって、単に投影される色が異ならされるだけであったが、実施形態はこれに限られない。例えば、運転者が歩行者Mを認識しているか否かによって、投影パターンPの形状を異ならせることもできる。また、運転者が歩行者Mを認識しているか否かによって、投影パターンPの輝度を異ならせることもできる。また、運転者が歩行者Mを認識している場合には、投影パターンPの投影を行わないこととし、運転者が歩行者Mを認識していない場合にのみ、投影パターンPの投影を行うこともできる。さらに後述するように、投影パターンPには、接近する車両5の情報を含ませることもできる。
【0050】
図5は、投影パターンPの一例を示す図である。図には、円形のパターン内に方向を示す矢印と距離が示されている。円形のパターンは、前述のように運転者が歩行者Mを認識したか否かに応じて異なる色とすることができる。そして、この中に、投影する車両5が向かう方向を示す矢印を含ませることができる。また、円形のパターンの中に、接近する車両5と歩行者Mとの距離を示す文字情報を含ませることができる。また、投影するパターン内に、投影する車両5の速度を含めることもできる。また、投影パターンPの色も、その危険度によって輝度を異ならせることもできる。
【0051】
また、ここでは、対象者を歩行者Mとして歩行者Mから所定距離の位置に投影パターンPを投影することとしたが、対象者検出装置20が他車両を検出することとして、これら他車両から所定距離の位置に投影パターンPを投影することとしてもよい。このようにすることによって、他車両を運転する運転者に接近しつつある車両5の運転者が他車両を認識しているか否かを知らせることができる。
【0052】
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。
【符号の説明】
【0053】
1 安全支援装置、
5 車両、
10 レーザープロジェクター(投影装置)、
20 対象者検出装置、
30 赤外線カメラ(撮像装置)、
40 制御装置、
50 視線検出装置

【特許請求の範囲】
【請求項1】
車両から所定範囲の画像を撮像する撮像装置と、
撮像した前記画像から対象者を検出する対象者検出装置と、
前記対象者が前記車両の運転者に認識されたか否かを判定する制御装置と、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行う投影装置と、
を備える安全支援装置。
【請求項2】
前記制御装置は、前記運転者の視線の方向を検出し、当該視線の方向が前記対象者の方向と一致するときに、前記対象者が前記車両の運転者に認識されたと判定する、請求項1に記載の安全支援装置。
【請求項3】
前記投影装置は、レーザープロジェクターを含む、請求項1又は2に記載の安全支援装置。
【請求項4】
前記撮像装置は、赤外線カメラを含む、請求項1〜3のいずれかに記載の安全支援装置。
【請求項5】
前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの色を異ならせて前記対象者から所定距離の位置に投影を行う、請求項1〜4のいずれかに記載の安全支援装置。
【請求項6】
前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、前記投影パターンの輝度を異ならせて前記対象者から所定距離の位置に投影を行う、請求項1〜4のいずれかに記載の安全支援装置。
【請求項7】
前記投影装置は、前記対象者が前記車両の運転者に認識されたと判定されたときにおいて前記対象者から所定距離の位置に前記投影パターンの投影を行い、前記対象者が前記車両の運転者に認識されたと判定されなかったときにおいて前記投影を行わない、請求項1〜4のいずれかに記載の安全支援装置。
【請求項8】
車両から所定範囲の画像を撮像することと、
撮像した前記画像から対象者を検出することと、
前記対象者が前記車両の運転者に認識されたか否かを判定することと、
前記対象者が前記車両の運転者に認識されたと判定されたときと、前記対象者が前記車両の運転者に認識されたと判定されなかったときとで、投影パターンを異ならせて前記対象者から所定距離の位置に投影を行うことと、
を含む安全支援方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2013−114290(P2013−114290A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−257165(P2011−257165)
【出願日】平成23年11月25日(2011.11.25)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】