警告表示装置及び警告表示方法
【課題】運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、運転者がその物体を認識したことを確認した上で警告を解除できる警告表示装置及び警告表示方法を提供する。
【解決手段】警告表示装置は、車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、周辺画像上で危険物体検出部（５３１）により検出された危険物体を強調表示した警告画像を生成する警告画像生成部（５３２）と、警告画像を表示する表示部（３）と、表示部（３）に警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定する確認判定部（５３３）とを有する。そして表示部（３）は、確認判定部（５３３）により運転者が危険物体を確認したと判定された後、警告画像の表示を停止する。
【解決手段】警告表示装置は、車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、周辺画像上で危険物体検出部（５３１）により検出された危険物体を強調表示した警告画像を生成する警告画像生成部（５３２）と、警告画像を表示する表示部（３）と、表示部（３）に警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定する確認判定部（５３３）とを有する。そして表示部（３）は、確認判定部（５３３）により運転者が危険物体を確認したと判定された後、警告画像の表示を停止する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、警告表示装置及び警告表示方法に関し、特に、車両の運転者に対して、車両に衝突する可能性のある物体の存在を警告する警告表示装置及び警告表示方法に関する。
【背景技術】
【０００２】
近年、衝突事故の発生を予防するために、車両と衝突する危険性のある物体を検知し、その検知結果に基づいて、車両の運転者に対して警告を行う警告表示装置が研究されている（例えば、特許文献１を参照）。このような警告表示装置は、車両と衝突する危険性のある物体を検知したとき、その物体の存在を運転者に対して確実に知らせることが重要である。そこで、警告表示装置の一つである、特許文献１に開示された情報表示装置は、車両と接触する可能性のある物体を識別し、その危険度に応じて２種類の警告表示を行う。その情報表示装置は、危険度が所定の閾値よりも低い場合は、二次元の矢印を運転者に認識させることによって警告を行う。一方、危険度が所定の閾値よりも高い場合は、その情報表示装置は、運転者に向く三次元の矢印を運転者に認識させることによって警告を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５０９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、警告表示装置が、運転者が一度認識した物体に関して警告を発し続けると、その警告は運転者にとって煩わしいものとなり、かえって運転者の運転への集中力を低下させる要因となり得る。そこで、警告表示装置に関して、衝突する危険性のある物体の存在を運転者に対して確実に知らせるような警告を行いつつ、適切なタイミングでその警告を解除する技術が求められていた。
【０００５】
そこで、本発明は、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる警告表示装置及び警告表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の記載によれば、本発明の一つの形態として、警告表示装置が提供される。係る警告表示装置は、車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、周辺画像上で危険物体検出部（５３１）により検出された危険物体を強調表示した第１の警告画像を生成する警告画像生成部（５３２）と、第１の警告画像を表示する表示部（３）と、表示部（３）に第１の警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定する確認判定部（５３３）とを有する。そして表示部（３）は、確認判定部（５３３）により運転者が危険物体を確認したと判定された後、警告画像の表示を停止する。
本発明に係る警告表示装置は、上記の構成を有することにより、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる。そのため、この警告表示装置は、衝突事故の発生を防止できるとともに、運転者の運転への集中力の低下を防止できる。
【０００７】
また請求項２の記載によれば、この警告表示装置は、運転者の顔を撮影するように設置された第２の撮像部（４）をさらに有し、確認判定部（５３３）は、表示部（３）に第１の警告画像が表示されている間、第２の撮像部（４）から取得した、運転者の顔を撮影した運転者画像から運転者の顔の向きを判定し、その顔の向きが表示部（３）を向いていると判定した場合、運転者が危険物体を確認したと判定することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が認識した危険物体に対する警告を自動的に解除できる。そのため、この警告表示装置は、運転者自身が警告を解除する操作をしなくてよいので、運転者の操作負担を軽減できる。
【０００８】
あるいは請求項３の記載によれば、この警告表示装置は、車室内に設置された集音部をさらに有し、確認判定部（５３３）は、表示部（３）に第１の警告画像が表示されている間、集音部により集音された音声を解析し、予め設定された所定の言葉を検出した場合、運転者が危険物体を確認したと判定することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が危険物体を認識したことを示す発言をするだけで、その危険物体に対する警告を自動的に解除できる。そのため、この警告表示装置は、運転者自身が警告を解除する操作をしなくてよいので、運転者の操作負担を軽減できる。
【０００９】
また請求項４の記載によれば、警告画像生成部（５３２）は、確認判定部（５３３）が車両（１０）の運転者が危険物体を確認したと判定してから所定期間が経過するまでの間、第１の警告画像よりも危険物体の強調表示度合いが少ない第２の警告画像を生成し、表示部（３）は、確認判定部（５３３）が車両（１０）の運転者が危険物体を確認したと判定してからその所定期間が経過するまでの間、第２の警告画像を表示することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が危険物体を確認した後、表示部に表示された画面が急激に変動することによる視覚的な負荷を軽減することができる。
【００１０】
また請求項５の記載によれば、本発明の他の形態として、警告表示方法が提供される。係る警告表示方法は、第１の撮像部（２）により撮影された、車両（１０）の周囲を撮影した周辺画像を取得するステップと、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出するステップと、周辺画像上で危険物体を強調表示した警告画像を生成するステップと、警告画像を表示部（３）に表示するステップと、表示部（３）に警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定するステップと、運転者が危険物体を確認したと判定された後、表示部（３）上での警告画像の表示を停止するステップとを含む。
本発明に係る警告表示方法は、上記のステップを有することにより、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる。そのため、この警告表示方法は、衝突事故の発生を防止できるとともに、運転者の運転への集中力の低下を防止できる。
【００１１】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一つの実施形態に係る警告表示装置の概略構成図である。
【図２】本発明の一つの実施形態に係る警告表示装置の制御部の機能ブロック図である。
【図３】運転者の顔向きを表す法線ベクトルとディスプレイとの関係を示す概略図である。
【図４】本発明の一つの実施形態に係る警告表示装置の制御部により制御される、警告表示及び警告解除処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、一つの実施形態による、警告表示装置について説明する。
この警告表示装置は、車両の周囲を撮影するカメラから取得された画像から、車両と衝突する可能性があると推定される危険物体を検出する。そしてこの警告表示装置は、その危険物体が検出された場合、車内に設置されたディスプレイ上においてその危険物体を強調表示することで、運転者に対して衝突の危険性があることを警告する。さらにこの警告表示装置は、その警告に対する運転者の反応から、運転者がその物体の存在を確認したことを検知すると、警告を解除する。
【００１４】
図１は、一つの実施形態による警告表示装置の概略構成図である。図１に示すように、警告表示装置１は、車外カメラ２と、ディスプレイ３と、車内カメラ４と、コントローラ５とを有する。車外カメラ２、ディスプレイ３及び車内カメラ４と、コントローラ５とは、コントロールエリアネットワーク（以下、ＣＡＮという）６によって互いに接続されている。なお、図１では、説明の都合のため、警告表示装置１の各構成要素及び車両１０の形状及びサイズは、実際のものとは異なっている。
【００１５】
車外カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の構造物などの像を結像する結像光学系を有する。そして車外カメラ２は、車両の前方領域を撮影するように設置される。また車外カメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車外カメラ２は、車両１０の前方領域を撮影した周辺画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、車外カメラ２は、周辺画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。なお、警告表示装置１は、複数台の車外カメラを有していてもよい。例えば、後述するように、制御部５３がステレオマッチングを利用して車両１０と衝突する可能性のある危険物体を検出する場合、フロントウインドウ及び車室内の天井の左右端近傍に、それぞれ１台ずつ、車両１０の前方を撮影する車外カメラが設置されてもよい。また、車両１０の後方を撮影するために、リアウインドウ及び車室内の天井近傍に車両１０の後方領域を撮影するように車外カメラを設置してもよい。
車外カメラ２は、撮影により得られた周辺画像を逐次コントローラ５へ送信する。なお、車両の前方領域を撮影する車外カメラと車両の後方領域を撮影する車外カメラが取り付けられている場合、コントローラ５は、車両が進行している方向を撮影する車外カメラからの画像のみを選択的に取得する。そのために、コントローラ５は、ＣＡＮ６を介して車両１０の電子制御ユニット（図示せず）から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ５は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車外カメラから周辺画像を取得する。一方、コントローラ５は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車外カメラから周辺画像を取得する。
【００１６】
ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、表示画面が運転者に向くように、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。そしてディスプレイ３は、コントローラ５により制御され、またコントローラ５から受信した画像を表示する。
【００１７】
車内カメラ４は、運転者の顔を撮影する。そのために、車内カメラ４は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に運転者の顔の像を結像する結像光学系を有する。そして車内カメラ４は、運転者がディスプレイ３を見たときに、運転者の顔を正面から撮影するように、ディスプレイ３の上部に取り付けられる。また車内カメラ４は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車内カメラ４は、運転者の顔を撮影した運転者画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。
車内カメラ４は、撮影により得られた運転者画像を逐次コントローラ５へ送信する。
【００１８】
コントローラ５は、記憶部５１と、通信部５２と、制御部５３とを有する。記憶部５１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部５１は、警告表示装置１を制御するための各種プログラム及びパラメータ、制御部５３による一時的な演算結果などを記憶する。
さらに記憶部５１は、制御部５３により検出された、車両１０と衝突する可能性のある危険物体が既に運転者により認知されていることを示す認知済みフラグを、各危険物体に関する情報に関連付けて記憶する。
また、通信部５２は、車外カメラ２、ディスプレイ３、車内カメラ４とＣＡＮ６を通じて通信する通信インターフェース及びその制御回路を有する。
【００１９】
制御部５３は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部５３は、警告表示装置１全体を制御する。
図２に、制御部５３の機能ブロック図を示す。図２に示すように、制御部５３は、危険物体検出部５３１と、警告画像生成部５３２と、確認判定部５３３とを有する。制御部５３が有するこれらの各部は、例えば、制御部５３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２０】
危険物体検出部５３１は、車外カメラ２より得た周辺画像から、車両１０と衝突する可能性のある危険物体を検知する。そのために、危険物体検出部５３１は、例えば、検出しようとする物体に対応するテンプレートと、最新の周辺画像との相対的な位置関係を変えながらパターンマッチングを行うことにより、テンプレートとその最新の周辺画像との相関値を算出する。そして危険物体検出部５３１は、そのテンプレートとその周辺画像との相関値が所定の条件を満たしたとき、周辺画像上のそのテンプレートに対応する領域を、危険物体が存在する可能性のある候補領域として検出する。なお、テンプレートは、例えば、歩行者、車両、自転車など、検出しようとする物体ごとに複数用意されてもよい。そしてそれらテンプレートは、予め記憶部５１に記憶され、危険物体検出部５３１は、パターンマッチング実行時あるいは警告表示装置１の起動時にそれらテンプレートを記憶部５１から読み込んで使用する。相関値は、例えば、テンプレートと周辺画像の対応する画素間の輝度値差の絶対値の合計を、テンプレートと周辺画像が重なった画素の総数で割ることにより算出される。さらに所定の条件は、危険物体を高精度で検出でき、かつ危険物体でない物体を候補領域として誤検出する確率が低くなるような相関値の範囲として設定されることが好ましい。例えば、所定の条件は、上記のように算出された相関値が、相関値の取りうる値の最大値に対して0.1あるいは0.2を乗じた値以下であることとすることができる。なお、危険物体検出部５３１は、テンプレートと周辺画像の相関値を算出する際、公知の様々な相関値を算出する方法の何れかを用いてもよい。例えば、危険物体検出部５３１は、テンプレートと周辺画像との正規化相関値を算出する場合、所定の条件は、算出された正規化相関値が、正規化相関値の取りうる最大値に対して0.9あるいは0.8を乗じた値以上であることとすることができる。
【００２１】
また、危険物体検出部５３１は、他の方法を用いて候補領域を検出してもよい。例えば、危険物体検出部５３１は、最新の周辺画像に対してステレオマッチングを行うことにより、車両１０から周辺画像内の各点までの距離を求める。そして危険物体検出部５３１は、その距離に基づいて、歩行者、車両、自転車などに対応する所定の形状を有する物体を候補領域として検出する識別器を用いて、候補領域を検出してもよい。そのような識別器は、例えば、曽我外３名、「Pedestrian Detection with Stereo Vision」、Proc. of the ICDE '05に開示されている。また警告表示装置１は、車外カメラ２に関して説明したように、異なる位置に設置された２台の車外カメラを有し、危険物体検出部５３１は、それら車外カメラでほぼ同時に撮影された２枚の周辺画像に基づいてステレオマッチングを実行することができる。あるいは、危険物体検出部５３１は、１台の車外カメラ２から時系列に取得された複数の周辺画像から、モーションステレオ技術を用いて車両１０から周辺画像内の各点までの距離を求めてもよい。そのようなモーションステレオ技術は、例えば、特開２００７−２５６０２９号公報、あるいは、K.Fintzel他, "3D Parking Assistant System", 2004 IEEE Intelligent Vehicles Symposium, 2004などに開示されている。
さらにまた、車外カメラ２を、光波測距画像センサのように、各画素ごとに撮影対象物までの距離を測定する機能を有するカメラとすることができる。この場合、危険物体検出部５３１は、周辺画像中の各画素に対応する測距信号をＣＡＮ６を通じて車外カメラ２から取得し、その測距信号に基づいて周辺画像内の各点までの距離を決定してもよい。
【００２２】
さらに、危険物体検出部５３１は、最新の周辺画像を複数の小領域に分割し、その小領域からHOG(Histograms of Oriented Gradients)特徴量あるいはHaar-like特徴を検出して、それら特徴量をAdaboost識別器に入力することにより、その小領域が候補領域となるか否か判定してもよい。なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００２３】
次に、危険物体検出部５３１は、最新の周辺画像から検出された候補領域に写っている物体が過去の周辺画像から検出された何れかの候補領域に写っている物体と同一であるか否か判定する。そのために、危険物体検出部５３１は、時系列に取得された複数の画像上で同一物体を追跡するための様々なトラッキング技術を利用することができる。
例えば、危険物体検出部５３１は、過去に取得された時系列の複数の周辺画像からそれぞれ検出された同一物体に対応する候補領域の位置ずれ量に基づいて、その物体の移動方向及び移動速度を推定する。そして危険物体検出部５３１は、その移動方向及び移動速度と、所定フレーム数前の候補領域の位置から、最新の周辺画像における候補領域の位置を推定する。そしてその推定位置及びその近傍で候補領域が検出された場合、危険物体検出部５３１は、その候補領域に移っている物体は、その所定フレーム数前の候補領域に写っている物体と同一であると判定する。
【００２４】
例えば、危険物体検出部５３１は、危険物体検出部５３１は、ｍフレーム前（ただし、ｍは自然数）に取得された周辺画像から検出された候補領域の位置と、（ｍ＋１）フレーム前に取得された周辺画像から検出された候補領域の位置の差から、その候補領域に写っている物体のｍフレーム前の時点における推定移動方向及び推定移動速度を算出する。そして危険物体検出部５３１は、ｍフレーム前の時点における推定移動方向及び推定移動速度に従ってその候補領域に写っている物体が進むものとして、最新の周辺画像におけるその物体の推定位置を算出する。そこで危険物体検出部５３１は、ｍフレーム前の候補領域の位置に、その時点での推定移動方向に沿って、その時点での推定移動速度に最新の周辺画像取得時とｍフレーム前の周辺画像取得時の時間差を乗じて得られる距離を加えることにより、最新の周辺画像におけるその物体の推定位置を算出する。同様に、危険物体検出部５３１は、過去に取得された複数のフレームから、それぞれ候補領域に写っている物体の最新の周辺画像におけるその物体の推定位置を算出する。そして危険物体検出部５３１は、得られた各推定位置に、新しい周辺画像から求められた推定位置ほど大きくなるような重み係数を乗じて加重平均することにより、最新の周辺画像における物体の最終的な推定位置を決定できる。これにより、危険物体検出部５３１は、一時的に同一の候補物体に対応する候補領域が検出できなくなるオクルージョンが発生しても、正確にその候補物体の最新の位置を推定できる。
【００２５】
ただし、１フレーム前に取得された周辺画像から検出された候補領域のうち、それよりも前に取得された周辺画像から検出された候補領域の何れとも対応しない候補領域（以下、初検出候補領域と呼ぶ）について、危険物体検出部５３１は、その初検出候補領域を中心とする所定範囲を探索範囲として設定する。そして危険物体検出部５３１は、最新の周辺画像において、その探索範囲内で候補領域が検出された場合、その候補領域に写っている物体と１フレーム前の周辺画像から検出された初検出候補領域に写っている物体は同一であると判定する。なお、探索範囲は、検出対象とする物体について想定される移動速度に応じて決定され、例えば、検出対象とする物体が人であれば、その探索範囲は時速10km/hで移動可能な範囲として設定され、検出対象とする物体が車であれば、その探索範囲は時速60km/hで移動可能な範囲として設定される。
【００２６】
なお、危険物体検出部５３１は、所定数のフレーム（例えば、1秒間に含まれるフレーム数）の間、候補領域の位置を推定し、その推定位置の近傍で連続して候補領域を検出できた場合に、それら複数の周辺画像に渡って検出された候補領域に同一の物体が写っていると判定してもよい。このようなトラッキング方法は、例えば、B. Lucas and T. Kanade、"An iterative image registration technique with an Application to Stereo Vision"、1981年、 Proc. of the DARPA IU Workshop、pp. 121-130に開示されている。
また危険物体検出部５３１は、推定位置を決定するために、カルマンフィルタあるいはαβフィルタを用いてもよい。なお、αβフィルタについては、例えば、インターネットのURL:http://en.wikipedia.org/wiki/Alpha_beta_filter（2009年2月3日検索）に開示されている。
【００２７】
危険物体検出部５３１は、最新の周辺画像から候補領域が検出できると、上記のように、その候補領域に写っている物体が、過去の周辺画像から検出された候補領域の何れかに写っている物体と同一か否か判定する。そして同一であると判定した場合、危険物体検出部５３１は、その最新の周辺画像から検出された候補領域に、対応する過去の周辺画像から検出された候補領域と同一の識別番号を付す。一方、最新の周辺画像から検出された候補領域が初検出候補領域である場合、危険物体検出部５３１は、その候補領域に対して他の候補領域の何れとも異なる識別番号を付す。そして危険物体検出部５３１は、その識別番号に、その候補領域の周辺画像上の位置及び大きさと検出時刻を関連付けて記憶部５１に記憶する。
【００２８】
一方、危険物体検出部５３１は、複数フレームの周辺画像に渡って、過去の周辺画像から検出された候補領域から求められた推定位置及びその近傍で候補領域を検出できなかった場合、その過去の周辺画像から検出された候補領域に対応する物体についての追跡を停止する。そして危険物体検出部５３１は、その物体に対応する各候補領域の識別番号、その候補領域の周辺画像上の位置、大きさ及び検出時刻を、記憶部５１から消去する。
【００２９】
危険物体検出部５３１は、追跡中の候補領域に表された物体の移動方向及び移動速度から、その物体が車両１０に衝突する可能性があるか否か判定する。例えば、その物体の移動方向が周辺画像の中心部へ向かっている場合、その物体は車両１０の正面に近づいていると考えられる。そこで、危険物体検出部５３１は、その物体を危険物体として検出する。あるいは、危険物体検出部５３１は、候補領域のサイズあるいはステレオマッチングによる車両１０との距離の測定結果から、その物体までの距離を推定し、その推定距離を物体が車両１０に衝突するか否かの判定に利用してもよい。この場合、危険物体検出部５３１は、最新の周辺画像取得時の車両１０の速度及び操舵角から、所定時間後の車両１０の位置を推定する。また危険物体検出部５３１は、候補領域に表された物体の移動速度及び移動方向から、所定時間後のその物体の位置を推定する。そして車両１０の推定位置と、物体の推定位置との距離が衝突する危険性があると考えられる所定範囲内に含まれる場合、危険物体検出部５３１は、その物体を危険物体として検出する。なお、所定範囲は、例えば、１ｍとすることができる。またその所定範囲を、車両１０の速度が速くなるにつれて広くなるように設定してもよい。
なお、車両１０の速度及び操舵角については、制御部５３が、車両１０に搭載された車速センサ（図示せず）及び操舵角センサ（図示せず）からＣＡＮ６を通じて取得できる。
【００３０】
危険物体検出部５３１は、危険物体を検出すると、その危険物体に対応する領域の位置及びサイズを表す情報（例えば、候補領域の左上端点の座標と、候補領域の水平方向及び垂直方向の長さ）を警告画像生成部５３２に渡す。
【００３１】
警告画像生成部５３２は、危険物体が検出されており、かつその危険物体を運転者が確認していない場合において、周辺画像上でその検出された危険物体を強調表示した警告画像を生成する。一方、警告画像生成部５３２は、運転者が既に確認した危険物体に関しては、強調表示を行わない。これにより、警告表示装置１は、運転者が危険物体を既に認識しているにもかかわらず、その危険物体に関して警告され続けることによって、運転者が煩わしく感じることを避け、かつ、運転者の運転への集中力の低下を防止することができる。なお、認知済みフラグが、その危険物体に対応する候補領域の識別番号と関連付けて記憶部５１に記憶されている場合、警告画像生成部５３２はその危険物体は運転者に既に確認されていると判定する。
【００３２】
例えば、警告画像生成部５３２は、車外カメラ２より取得した最新の周辺画像において、危険物体検出部５３１により検出された危険物体に対応する領域の輪郭上に位置する画素の輝度値を、その輪郭の近傍画素の平均輝度値を反転させた値とする。あるいは、警告画像生成部５３２は、危険物体に対応する領域の輪郭上に位置する画素の色を、運転者にとって目立つ色、例えば、赤色にしてもよい。さらに警告画像生成部５３２は、その輪郭上の画素の色または輝度値を、フレームごとに交互に上記のように変更したり、変更しないようにして、運転者にとってその輪郭が点滅するように見せてもよい。あるいは、警告画像生成部５３２は、その輪郭を、フレームごとに拡大または縮小させてもよい。
【００３３】
さらに、警告画像生成部５３２は、危険物体が検出されており、かつその危険物体を運転者が確認した最終確認時刻から所定期間が経過するまでの間、危険物体の強調表示度合いを、運転者がその危険物体を確認していない場合よりも弱くした警告画像を生成する。所定期間中、このような警告画像をディスプレイ３に表示することにより、警告表示装置１は、ディスプレイ３上に表示された画像が急激に変化することを防止して、運転者の視覚的な負担を軽減することができる。なお、所定時間は、例えば、３秒間とすることができる。
強調表示度合いを弱めるために、例えば、警告画像生成部５３２は、危険物体に対応する領域の輪郭の輝度値及び色を、時間が経過するにつれてオリジナルの周辺画像の対応画素の輝度値及び色に近づけるようにしてもよい。このようにその強調表示された輪郭の画素の輝度値及び色を時間的に変化させることで、警告画像生成部５３２は、運転者に対して、危険物体の輪郭に付された枠がフェードアウトしていくように見せることができる。
【００３４】
警告画像生成部５３２は、生成した警告画像を制御部５３に渡す。
制御部５３は、運転者に確認されていない危険物体が存在する間、及び最終確認時刻から所定期間が経過するまで、警告画像生成部５３２により生成された警告画像をディスプレイ３に表示させる。一方、制御部５３は、危険物体が検出されていない場合、あるいは、危険物体が検出されていても、運転者によってその危険物体の存在が確認されている場合、その危険物体を強調表示しない周辺画像をディスプレイ３に表示させる。
【００３５】
確認判定部５３３は、運転者が確認していない危険物体が存在し、ディスプレイ３上に警告画像が表示されている場合に、車内カメラ４より得た運転者画像から運転者がディスプレイ３を見たか否か判定する。そして確認判定部５３４は、運転者がディスプレイ３を見たと判定した場合、警告画像において強調表示されている危険物体を運転者は確認したと判定する。
具体的に、確認判定部５３３は、運転者画像から、運転者の顔の向きを調べる。そのために、確認判定部５３３は、運転者の顔が写っていると推定される領域を抽出するために、運転者画像中の肌色を持つ肌色画素を抽出する。肌色画素を抽出するために、確認判定部５３３は、運転者画像の表色系を、色情報と輝度に分離可能な表色系、例えば、YCrCb表色系、あるいはHSV表色系に変換する。そして、確認判定部５３３は、変換後の表色系において、色情報を表す軸に関する値が、肌色に相当する所定の範囲内に含まれる画素を肌色画素とする。なお、その所定の範囲は、例えば、HSV表色系の場合、H軸に関して6から38の範囲とすることができ、YCrCb表色系の場合、Cr軸について80から130、かつCb軸について130から170の範囲とすることができる。
確認判定部５３３は、肌色画素を抽出すると、モルフォロジーのクロージング演算などを行って、肌色画素及び肌色画素に囲まれる画素が連結された領域を求める。そして確認判定部５３３は、その領域を運転者の顔領域として検出する。
【００３６】
次に、確認判定部５３３は、顔領域の中から、特徴的な点である目の角膜と鼻孔を検出する。ここで、角膜及び鼻孔は、運転者画像上で比較的円形に近い形状を有している。そこで本実施形態では、確認判定部５３３は、円形を検出する方法を用いて、顔領域から角膜及び鼻孔を検出する。円形を検出するために、確認判定部５３３は、例えば、ハフ変換、あるいは分離度フィルタを用いることができる。
ハフ変換を用いる場合、確認判定部５３３は、先ず顔領域内で近傍画素間の差分演算を行い、その差分絶対値が所定値（例えば、顔領域内の差分絶対値の平均値）以上となるエッジ画素を抽出する。そして確認判定部５３３は、円の中心座標及び半径を変数とするハフ変換を実行し、エッジ画素の個数が円形と認められる所定個数以上集中した点があれば、その点により表される円形領域を鼻孔または角膜の候補領域として抽出する。
また分離度フィルタは、運転者画像上での角膜あるいは鼻孔のサイズに相当する円形領域内の平均輝度値を、その円形領域の周囲に設定された環状領域内の平均輝度値から引いた差分値を分離度として算出するフィルタである。そして確認判定部５３３は、顔領域内で分離度フィルタの位置を様々に変えて分離度を算出し、その分離度が所定の閾値以上となるときの、分離度フィルタの円形領域に対応する領域を鼻孔または角膜の候補領域として抽出する。
【００３７】
確認判定部５３３は、鼻孔または角膜の候補領域のうち、両目の角膜及び鼻孔の位置関係に対応する位置関係を満たす候補領域、すなわち、上側の２点間の距離が下側の２点間の距離よりも大きい略逆台形の各頂点に位置する候補領域を、それぞれ鼻孔または角膜とする。なお、当然ながら、確認判定部５３３は、略逆台形の上側の頂点に位置する二つの候補領域をそれぞれ角膜とし、一方、略逆台形の下側の頂点に位置する二つの候補領域をそれぞれ鼻孔とする。
【００３８】
次に、確認判定部５３３は、運転者画像上の二つの鼻孔の中点と、左右の角膜の中心点の３点から、顔の正面に対応する平面を求め、その平面の法線ベクトルを顔の向きとする。
図３に、運転者の顔向きを表す法線ベクトルとディスプレイ３との関係を示す。図３において、Ａ、Ｂは、それぞれ左右の角膜の中心点であり、Ｃは、二つの鼻孔の中点である。またｎは法線ベクトルを表す。ここで、３次元実座標系における、左右の角膜の中心点Ａ、Ｂと、二つの鼻孔の中点Ｃとの位置関係は、個人ごとにばらつきはあるものの、凡そ以下のように表すことができる。
d(A,C) = d(B,C)
d(A,B) = 1.0833d(A,C) （１）
d(A,B) = 6.5cm
ここでd(X,Y)は、点Xと点Y間のユークリッド距離である。また、各点Ａ、Ｂ、Ｃは、以下の式に従って、運転者画像上の点ａ、ｂ、ｃに写像されると仮定する。
a = (1/α)KA
b = (1/β)KB （２）
c = (1/γ)KC
なお、α、β、γは未知のスケーリングファクタであり、Kは、カメラ内部パラメータ行列であり、Kの各要素の値は、車内カメラ４の撮像光学系の焦点距離、画角などによって予め求められる。
【００３９】
確認判定部５３３は、上記の（１）式及び（２）式からＡ、Ｂ、Ｃの座標を求める。そして確認判定部５３３は、顔の向きを表す法線ベクトルｎを、以下の式に従って算出する。
n = AC×AB/|AC×AB| （３）
なお、（３）式における'×'は、ベクトルの外積を表し、AB、ACは、それぞれ、Ａ点とＢ点間のベクトル及びＡ点とＣ点間のベクトルである。
なお、上述した顔向きを推定する技術については、例えば、Kaminski 外２名、"Head orientation and gaze detection from a single image"、2006年、International Conference of Computer Vision Theory and Applicationsに開示されている。
【００４０】
確認判定部５３３は、（３）式により求めた法線ベクトルｎと、運転者の両角膜の中心点Ａ、Ｂの中点とディスプレイ３の中心を結ぶ直線Ｌとのなす角θを求める。なお、本実施形態では、車内カメラ４は、運転者がディスプレイ３を見たときに、運転者の顔を正面から撮影するように、ディスプレイ３の上部に取り付けられているので、法線ベクトルｎと車内カメラ４の撮影光学系の光軸とのなす角をθとしてもよい。なお、３次元実座標系におけるディスプレイ３の中心位置及び撮影光学系の光軸の方向は、ディスプレイ３及び車内カメラ４を設置した時点で分かるので、ディスプレイ３の中心位置の座標、あるいは撮影光学系の光軸の方向を表す方向ベクトルは予め記憶部５１に記憶され、確認判定部５３３は、θを算出する際にそれらを記憶部５１から読み込んで使用する。
そして確認判定部５３３は、その角度θが、人がディスプレイ３を注視していると考えられる所定の角度θth未満の場合、運転者はディスプレイ３を見たと判定する。なお、所定の角度θthは、実験的に最適化することができ、例えば、５°に設定される。
【００４１】
また、確認判定部５３３は、他の方法で運転者がディスプレイ３を見ているか否か判定してもよい。例えば、確認判定部５３３は、両目の角膜の中心点Ａ、Ｂ及び鼻孔の中点Ｃを頂点とする三角形が辺ＡＢを底辺とし、辺ＡＢの長さと辺ＡＣの長さが略等しい二等辺三角形となっていれば、運転者がディスプレイ３を見たと判定してもよい。
【００４２】
なお、確認判定部５３３は、一定期間の間に取得された複数枚の運転者画像のそれぞれにおいて、運転者がディスプレイ３を見たと判定したときに、警告画像において強調表示されている危険物体を運転者は確認したと判定してもよい。この場合、その一定期間は、例えば、人が移動している物体を認識するのに必要な最小限の期間あるいはその期間よりも少し長い期間、例えば１秒間に設定することができる。
【００４３】
確認判定部５３３は、運転者が危険物体を確認したと判定した場合、そのときの最新の周辺画像において検出されている全ての危険物体に対して、運転者がその危険物体を確認したことを示す認知済みフラグを設定する。そして確認判定部５３３は、その危険物体に対応する候補領域の識別番号と関連付けて、その認知済みフラグを記憶部５１に記憶する。これ以降、制御部５３は、記憶部５１に記憶されている危険物体に対応する候補領域の識別番号と関連付けられた認知済みフラグが記憶されているか否かを調べることにより、その危険物体が運転者により既に確認されているか否かを判定することができる。
さらに確認判定部５３３は、制御部５３を構成するプロセッサから現在時刻を取得し、その現在時刻を最終確認時刻として記憶部５１に記憶する。
【００４４】
図４に、制御部５３により制御される、警告表示装置１の警告表示及び警告解除動作のフローチャートを示す。なお、制御部５３は、車外カメラ２から新たな周辺画像を取得する度に、このフローチャートに示す動作を繰り返す。
まず、制御部５３の危険物体検出部５３１は、車外カメラ２より取得した最新の周辺画像から、車両１０と衝突する危険性のある危険物体の可能性がある候補領域を検出する（ステップＳ１０１）。次に、危険物体検出部５３１は、候補領域が一つ以上検出された場合、過去に取得された周辺画像において検出された候補領域と、最新の周辺画像において検出された各候補領域とのトラッキング処理を実行する（ステップＳ１０２）。危険物体検出部５３１は、過去に取得された周辺画像において検出された候補領域と、最新の周辺画像において検出された候補領域のうち、同一の物体に対応すると推定される候補領域を関連付ける。危険物体検出部５３１は、同一の物体に対応する、時系列に並んだ複数の周辺画像における各候補領域の位置のずれに基づいて、その物体の移動方向及び移動速度を求める。そして危険物体検出部５３１は、その物体の移動方向または移動速度に基づいて、その物体が車両１０と衝突する可能性のある危険物体が検出されているか否か判定する（ステップＳ１０３）。
【００４５】
最新の周辺画像において危険物体が検出されなかった場合、制御部５３は、車外カメラ２から取得した周辺画像を表示部３に表示させる（ステップＳ１０４）。そして制御部５３は処理を終了する。
一方、最新の周辺画像において危険物体が検出された場合、制御部５３は、検出された全ての危険物体について、運転者が確認済みか否か判定する（ステップＳ１０５）。なお、危険物体に対応する候補領域の識別番号と関連付けて認知済みフラグが記憶部５１に記憶されていれば、制御部５３は、その危険物体は運転者により確認されていると判定できる。一方、記憶部５１に、危険物体に対応する候補領域の識別番号に関連付けられた認知済みフラグがなければ、制御部５３は、その危険物体は運転者により確認されていないと判定できる。
【００４６】
運転者に確認されていない危険物体が存在する場合、制御部５３の警告画像生成部５３２は、運転者が確認していない危険物体を強調表示する警告画像を生成し、制御部５３に渡す。そして制御部５３は、その警告画像を表示部３に表示させる（ステップＳ１０６）。その後、制御部５３の確認判定部５３３は、運転者が未確認の危険物体を確認したか否か判定する（ステップＳ１０７）。なお、確認判定部５３３は、上記のように、車内カメラ４から取得した運転者画像に基づいて、運転者の顔の向きを調べ、その顔の向きから運転者がディスプレイ３を見たと判定した場合、運転者は未確認の危険物体を確認したと判定する。
確認判定部５３３は、運転者が未確認の危険物体を確認したと判定した場合、最新の周辺画像において検出されている全ての危険物体に対して認知フラグを設定する（ステップＳ１０８）。そして確認判定部５３３は、その認知フラグを、対応する危険物体に対応する候補領域の識別番号と関連付けて記憶部５１に記憶する。さらに確認判定部５３３は、制御部５３を構成するプロセッサから現在時刻を取得し、その現在時刻を最終確認時刻として記憶部５１に記憶する。
ステップＳ１０８の後、あるいはステップＳ１０７において確認判定部５３３が運転者は未確認の危険物体を確認していないと判定した場合、制御部５３は処理を終了する。
【００４７】
一方、ステップＳ１０５において、全ての危険物体が運転者により確認されていると判定された場合、制御部５３は、現在時刻が記憶部５１に記憶された最終確認時刻から所定期間内か否か判定する（ステップＳ１０９）。現在時刻が最終確認時刻からの所定期間を過ぎていれば、制御部５３は、制御をステップＳ１０４に移行する。
一方、現在時刻が最終確認時刻からの所定期間内であれば、警告画像生成部５３２は、危険物体の強調度合いを運転者がその危険物体を確認していない場合よりも弱くした警告画像を生成して、制御部５３に渡す。そして制御部５３は、その警告画像を表示部３に表示させる（ステップＳ１１０）。その後、制御部５３は処理を終了する。
【００４８】
以上説明してきたように、本発明の一実施形態である警告表示装置は、車両の周囲を撮影するカメラから取得された画像から、車両と衝突する可能性があると推定される危険物体を検出する。そしてこの警告表示装置は、危険物体が検出された場合、車内に設置されたディスプレイ上において危険物体を強調表示した警告画像を表示することで、運転者に対して衝突の危険性があることを警告することができる。さらにこの警告表示装置は、警告画像を見たことを、運転者の顔を撮影した画像から確認することで、運転者がその警告に対して特別な操作を行うことなく警告を解除できる。したがって、この警告表示装置は、車両が何かと衝突する危険性があることを確実に運転者に対して警告できるとともに、一旦運転者が確認した警告を自動的に解除できるので、運転者の運転への集中力の低下を防止できる。
【００４９】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、制御部の確認判定部は、運転者の声を解析することにより、危険物体を確認したか否かを判定してもよい。この場合、本発明の一実施形態に係る警告表示装置は、上記の実施形態において、車内カメラの代わりに、車室内、例えば、ステアリングに設置されたマイクロホンを有する。そしてマイクロホンにより集音された運転者の音声は、コントローラへ送られる。また確認判定部は、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間、例えば、隠れマルコフモデルを用いてマイクロホンにより集音された音声を解析し、危険物体を確認したことを示す、予め設定された所定の言葉（例えば、「確認」、「見た」など）を検出できるか否か判定する。そして確認判定部は、その所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定する。なお、その所定の言葉を、運転者が事前にマイクロホンを通じてコントローラに入力し、コントローラの記憶部に記憶させることにより、運転者が自由に設定できるようにしてもよい。
【００５０】
また、本発明の一実施形態に係る警告表示装置は、上記の実施形態において、車内カメラとともに車室内に設置されたマイクロホンを有していてもよい。そして制御部の確認判定部は、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間に、運転者画像に基づいて運転者がディスプレイを見たことを確認し、かつ、マイクロホンにより集音された音声から危険物体を確認したことを示す所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定してもよい。あるいは、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間に、確認判定部は、運転者画像に基づいて運転者がディスプレイを見たことを確認するか、またはマイクロホンにより集音された音声から危険物体を確認したことを示す所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定してもよい。
さらに、警告表示装置は、危険物体が検出されていない場合、あるいは運転者が確認していない危険物体が存在せず、かつ危険物体の最終確認時刻から所定期間が経過している場合、ディスプレイの画面を消してもよい。この場合、最終確認時刻から所定期間が経過するまでの間、警告表示装置は、ディスプレイの画面を徐々に暗くしてもよい。さらにまた、警告表示装置は、確認判定部により、運転者が危険物体を確認したと判定した後、直ちに警告画像の表示を停止してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００５１】
１ 警告表示装置
２ 車外カメラ
３ ディスプレイ
４ 車内カメラ
５ コントローラ
６ コントロールエリアネットワーク
５１ 記憶部
５２ 通信部
５３ 制御部
５３１ 危険物体検出部
５３２ 警告画像生成部
５３３ 確認判定部
【技術分野】
【０００１】
本発明は、警告表示装置及び警告表示方法に関し、特に、車両の運転者に対して、車両に衝突する可能性のある物体の存在を警告する警告表示装置及び警告表示方法に関する。
【背景技術】
【０００２】
近年、衝突事故の発生を予防するために、車両と衝突する危険性のある物体を検知し、その検知結果に基づいて、車両の運転者に対して警告を行う警告表示装置が研究されている（例えば、特許文献１を参照）。このような警告表示装置は、車両と衝突する危険性のある物体を検知したとき、その物体の存在を運転者に対して確実に知らせることが重要である。そこで、警告表示装置の一つである、特許文献１に開示された情報表示装置は、車両と接触する可能性のある物体を識別し、その危険度に応じて２種類の警告表示を行う。その情報表示装置は、危険度が所定の閾値よりも低い場合は、二次元の矢印を運転者に認識させることによって警告を行う。一方、危険度が所定の閾値よりも高い場合は、その情報表示装置は、運転者に向く三次元の矢印を運転者に認識させることによって警告を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２５０９３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、警告表示装置が、運転者が一度認識した物体に関して警告を発し続けると、その警告は運転者にとって煩わしいものとなり、かえって運転者の運転への集中力を低下させる要因となり得る。そこで、警告表示装置に関して、衝突する危険性のある物体の存在を運転者に対して確実に知らせるような警告を行いつつ、適切なタイミングでその警告を解除する技術が求められていた。
【０００５】
そこで、本発明は、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる警告表示装置及び警告表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の記載によれば、本発明の一つの形態として、警告表示装置が提供される。係る警告表示装置は、車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、周辺画像上で危険物体検出部（５３１）により検出された危険物体を強調表示した第１の警告画像を生成する警告画像生成部（５３２）と、第１の警告画像を表示する表示部（３）と、表示部（３）に第１の警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定する確認判定部（５３３）とを有する。そして表示部（３）は、確認判定部（５３３）により運転者が危険物体を確認したと判定された後、警告画像の表示を停止する。
本発明に係る警告表示装置は、上記の構成を有することにより、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる。そのため、この警告表示装置は、衝突事故の発生を防止できるとともに、運転者の運転への集中力の低下を防止できる。
【０００７】
また請求項２の記載によれば、この警告表示装置は、運転者の顔を撮影するように設置された第２の撮像部（４）をさらに有し、確認判定部（５３３）は、表示部（３）に第１の警告画像が表示されている間、第２の撮像部（４）から取得した、運転者の顔を撮影した運転者画像から運転者の顔の向きを判定し、その顔の向きが表示部（３）を向いていると判定した場合、運転者が危険物体を確認したと判定することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が認識した危険物体に対する警告を自動的に解除できる。そのため、この警告表示装置は、運転者自身が警告を解除する操作をしなくてよいので、運転者の操作負担を軽減できる。
【０００８】
あるいは請求項３の記載によれば、この警告表示装置は、車室内に設置された集音部をさらに有し、確認判定部（５３３）は、表示部（３）に第１の警告画像が表示されている間、集音部により集音された音声を解析し、予め設定された所定の言葉を検出した場合、運転者が危険物体を確認したと判定することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が危険物体を認識したことを示す発言をするだけで、その危険物体に対する警告を自動的に解除できる。そのため、この警告表示装置は、運転者自身が警告を解除する操作をしなくてよいので、運転者の操作負担を軽減できる。
【０００９】
また請求項４の記載によれば、警告画像生成部（５３２）は、確認判定部（５３３）が車両（１０）の運転者が危険物体を確認したと判定してから所定期間が経過するまでの間、第１の警告画像よりも危険物体の強調表示度合いが少ない第２の警告画像を生成し、表示部（３）は、確認判定部（５３３）が車両（１０）の運転者が危険物体を確認したと判定してからその所定期間が経過するまでの間、第２の警告画像を表示することが好ましい。
このような構成を有することにより、この警告表示装置は、運転者が危険物体を確認した後、表示部に表示された画面が急激に変動することによる視覚的な負荷を軽減することができる。
【００１０】
また請求項５の記載によれば、本発明の他の形態として、警告表示方法が提供される。係る警告表示方法は、第１の撮像部（２）により撮影された、車両（１０）の周囲を撮影した周辺画像を取得するステップと、周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出するステップと、周辺画像上で危険物体を強調表示した警告画像を生成するステップと、警告画像を表示部（３）に表示するステップと、表示部（３）に警告画像が表示されている間、車両（１０）の運転者が危険物体を確認したか否か判定するステップと、運転者が危険物体を確認したと判定された後、表示部（３）上での警告画像の表示を停止するステップとを含む。
本発明に係る警告表示方法は、上記のステップを有することにより、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告し、適切なタイミングでその警告を解除できる。そのため、この警告表示方法は、衝突事故の発生を防止できるとともに、運転者の運転への集中力の低下を防止できる。
【００１１】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一つの実施形態に係る警告表示装置の概略構成図である。
【図２】本発明の一つの実施形態に係る警告表示装置の制御部の機能ブロック図である。
【図３】運転者の顔向きを表す法線ベクトルとディスプレイとの関係を示す概略図である。
【図４】本発明の一つの実施形態に係る警告表示装置の制御部により制御される、警告表示及び警告解除処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、一つの実施形態による、警告表示装置について説明する。
この警告表示装置は、車両の周囲を撮影するカメラから取得された画像から、車両と衝突する可能性があると推定される危険物体を検出する。そしてこの警告表示装置は、その危険物体が検出された場合、車内に設置されたディスプレイ上においてその危険物体を強調表示することで、運転者に対して衝突の危険性があることを警告する。さらにこの警告表示装置は、その警告に対する運転者の反応から、運転者がその物体の存在を確認したことを検知すると、警告を解除する。
【００１４】
図１は、一つの実施形態による警告表示装置の概略構成図である。図１に示すように、警告表示装置１は、車外カメラ２と、ディスプレイ３と、車内カメラ４と、コントローラ５とを有する。車外カメラ２、ディスプレイ３及び車内カメラ４と、コントローラ５とは、コントロールエリアネットワーク（以下、ＣＡＮという）６によって互いに接続されている。なお、図１では、説明の都合のため、警告表示装置１の各構成要素及び車両１０の形状及びサイズは、実際のものとは異なっている。
【００１５】
車外カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の構造物などの像を結像する結像光学系を有する。そして車外カメラ２は、車両の前方領域を撮影するように設置される。また車外カメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車外カメラ２は、車両１０の前方領域を撮影した周辺画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、車外カメラ２は、周辺画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。なお、警告表示装置１は、複数台の車外カメラを有していてもよい。例えば、後述するように、制御部５３がステレオマッチングを利用して車両１０と衝突する可能性のある危険物体を検出する場合、フロントウインドウ及び車室内の天井の左右端近傍に、それぞれ１台ずつ、車両１０の前方を撮影する車外カメラが設置されてもよい。また、車両１０の後方を撮影するために、リアウインドウ及び車室内の天井近傍に車両１０の後方領域を撮影するように車外カメラを設置してもよい。
車外カメラ２は、撮影により得られた周辺画像を逐次コントローラ５へ送信する。なお、車両の前方領域を撮影する車外カメラと車両の後方領域を撮影する車外カメラが取り付けられている場合、コントローラ５は、車両が進行している方向を撮影する車外カメラからの画像のみを選択的に取得する。そのために、コントローラ５は、ＣＡＮ６を介して車両１０の電子制御ユニット（図示せず）から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ５は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両の前方領域を撮影する車外カメラから周辺画像を取得する。一方、コントローラ５は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両の後方領域を撮影する車外カメラから周辺画像を取得する。
【００１６】
ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、表示画面が運転者に向くように、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置されてもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。そしてディスプレイ３は、コントローラ５により制御され、またコントローラ５から受信した画像を表示する。
【００１７】
車内カメラ４は、運転者の顔を撮影する。そのために、車内カメラ４は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に運転者の顔の像を結像する結像光学系を有する。そして車内カメラ４は、運転者がディスプレイ３を見たときに、運転者の顔を正面から撮影するように、ディスプレイ３の上部に取り付けられる。また車内カメラ４は、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そして車内カメラ４は、運転者の顔を撮影した運転者画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。
車内カメラ４は、撮影により得られた運転者画像を逐次コントローラ５へ送信する。
【００１８】
コントローラ５は、記憶部５１と、通信部５２と、制御部５３とを有する。記憶部５１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部５１は、警告表示装置１を制御するための各種プログラム及びパラメータ、制御部５３による一時的な演算結果などを記憶する。
さらに記憶部５１は、制御部５３により検出された、車両１０と衝突する可能性のある危険物体が既に運転者により認知されていることを示す認知済みフラグを、各危険物体に関する情報に関連付けて記憶する。
また、通信部５２は、車外カメラ２、ディスプレイ３、車内カメラ４とＣＡＮ６を通じて通信する通信インターフェース及びその制御回路を有する。
【００１９】
制御部５３は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部５３は、警告表示装置１全体を制御する。
図２に、制御部５３の機能ブロック図を示す。図２に示すように、制御部５３は、危険物体検出部５３１と、警告画像生成部５３２と、確認判定部５３３とを有する。制御部５３が有するこれらの各部は、例えば、制御部５３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２０】
危険物体検出部５３１は、車外カメラ２より得た周辺画像から、車両１０と衝突する可能性のある危険物体を検知する。そのために、危険物体検出部５３１は、例えば、検出しようとする物体に対応するテンプレートと、最新の周辺画像との相対的な位置関係を変えながらパターンマッチングを行うことにより、テンプレートとその最新の周辺画像との相関値を算出する。そして危険物体検出部５３１は、そのテンプレートとその周辺画像との相関値が所定の条件を満たしたとき、周辺画像上のそのテンプレートに対応する領域を、危険物体が存在する可能性のある候補領域として検出する。なお、テンプレートは、例えば、歩行者、車両、自転車など、検出しようとする物体ごとに複数用意されてもよい。そしてそれらテンプレートは、予め記憶部５１に記憶され、危険物体検出部５３１は、パターンマッチング実行時あるいは警告表示装置１の起動時にそれらテンプレートを記憶部５１から読み込んで使用する。相関値は、例えば、テンプレートと周辺画像の対応する画素間の輝度値差の絶対値の合計を、テンプレートと周辺画像が重なった画素の総数で割ることにより算出される。さらに所定の条件は、危険物体を高精度で検出でき、かつ危険物体でない物体を候補領域として誤検出する確率が低くなるような相関値の範囲として設定されることが好ましい。例えば、所定の条件は、上記のように算出された相関値が、相関値の取りうる値の最大値に対して0.1あるいは0.2を乗じた値以下であることとすることができる。なお、危険物体検出部５３１は、テンプレートと周辺画像の相関値を算出する際、公知の様々な相関値を算出する方法の何れかを用いてもよい。例えば、危険物体検出部５３１は、テンプレートと周辺画像との正規化相関値を算出する場合、所定の条件は、算出された正規化相関値が、正規化相関値の取りうる最大値に対して0.9あるいは0.8を乗じた値以上であることとすることができる。
【００２１】
また、危険物体検出部５３１は、他の方法を用いて候補領域を検出してもよい。例えば、危険物体検出部５３１は、最新の周辺画像に対してステレオマッチングを行うことにより、車両１０から周辺画像内の各点までの距離を求める。そして危険物体検出部５３１は、その距離に基づいて、歩行者、車両、自転車などに対応する所定の形状を有する物体を候補領域として検出する識別器を用いて、候補領域を検出してもよい。そのような識別器は、例えば、曽我外３名、「Pedestrian Detection with Stereo Vision」、Proc. of the ICDE '05に開示されている。また警告表示装置１は、車外カメラ２に関して説明したように、異なる位置に設置された２台の車外カメラを有し、危険物体検出部５３１は、それら車外カメラでほぼ同時に撮影された２枚の周辺画像に基づいてステレオマッチングを実行することができる。あるいは、危険物体検出部５３１は、１台の車外カメラ２から時系列に取得された複数の周辺画像から、モーションステレオ技術を用いて車両１０から周辺画像内の各点までの距離を求めてもよい。そのようなモーションステレオ技術は、例えば、特開２００７−２５６０２９号公報、あるいは、K.Fintzel他, "3D Parking Assistant System", 2004 IEEE Intelligent Vehicles Symposium, 2004などに開示されている。
さらにまた、車外カメラ２を、光波測距画像センサのように、各画素ごとに撮影対象物までの距離を測定する機能を有するカメラとすることができる。この場合、危険物体検出部５３１は、周辺画像中の各画素に対応する測距信号をＣＡＮ６を通じて車外カメラ２から取得し、その測距信号に基づいて周辺画像内の各点までの距離を決定してもよい。
【００２２】
さらに、危険物体検出部５３１は、最新の周辺画像を複数の小領域に分割し、その小領域からHOG(Histograms of Oriented Gradients)特徴量あるいはHaar-like特徴を検出して、それら特徴量をAdaboost識別器に入力することにより、その小領域が候補領域となるか否か判定してもよい。なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００２３】
次に、危険物体検出部５３１は、最新の周辺画像から検出された候補領域に写っている物体が過去の周辺画像から検出された何れかの候補領域に写っている物体と同一であるか否か判定する。そのために、危険物体検出部５３１は、時系列に取得された複数の画像上で同一物体を追跡するための様々なトラッキング技術を利用することができる。
例えば、危険物体検出部５３１は、過去に取得された時系列の複数の周辺画像からそれぞれ検出された同一物体に対応する候補領域の位置ずれ量に基づいて、その物体の移動方向及び移動速度を推定する。そして危険物体検出部５３１は、その移動方向及び移動速度と、所定フレーム数前の候補領域の位置から、最新の周辺画像における候補領域の位置を推定する。そしてその推定位置及びその近傍で候補領域が検出された場合、危険物体検出部５３１は、その候補領域に移っている物体は、その所定フレーム数前の候補領域に写っている物体と同一であると判定する。
【００２４】
例えば、危険物体検出部５３１は、危険物体検出部５３１は、ｍフレーム前（ただし、ｍは自然数）に取得された周辺画像から検出された候補領域の位置と、（ｍ＋１）フレーム前に取得された周辺画像から検出された候補領域の位置の差から、その候補領域に写っている物体のｍフレーム前の時点における推定移動方向及び推定移動速度を算出する。そして危険物体検出部５３１は、ｍフレーム前の時点における推定移動方向及び推定移動速度に従ってその候補領域に写っている物体が進むものとして、最新の周辺画像におけるその物体の推定位置を算出する。そこで危険物体検出部５３１は、ｍフレーム前の候補領域の位置に、その時点での推定移動方向に沿って、その時点での推定移動速度に最新の周辺画像取得時とｍフレーム前の周辺画像取得時の時間差を乗じて得られる距離を加えることにより、最新の周辺画像におけるその物体の推定位置を算出する。同様に、危険物体検出部５３１は、過去に取得された複数のフレームから、それぞれ候補領域に写っている物体の最新の周辺画像におけるその物体の推定位置を算出する。そして危険物体検出部５３１は、得られた各推定位置に、新しい周辺画像から求められた推定位置ほど大きくなるような重み係数を乗じて加重平均することにより、最新の周辺画像における物体の最終的な推定位置を決定できる。これにより、危険物体検出部５３１は、一時的に同一の候補物体に対応する候補領域が検出できなくなるオクルージョンが発生しても、正確にその候補物体の最新の位置を推定できる。
【００２５】
ただし、１フレーム前に取得された周辺画像から検出された候補領域のうち、それよりも前に取得された周辺画像から検出された候補領域の何れとも対応しない候補領域（以下、初検出候補領域と呼ぶ）について、危険物体検出部５３１は、その初検出候補領域を中心とする所定範囲を探索範囲として設定する。そして危険物体検出部５３１は、最新の周辺画像において、その探索範囲内で候補領域が検出された場合、その候補領域に写っている物体と１フレーム前の周辺画像から検出された初検出候補領域に写っている物体は同一であると判定する。なお、探索範囲は、検出対象とする物体について想定される移動速度に応じて決定され、例えば、検出対象とする物体が人であれば、その探索範囲は時速10km/hで移動可能な範囲として設定され、検出対象とする物体が車であれば、その探索範囲は時速60km/hで移動可能な範囲として設定される。
【００２６】
なお、危険物体検出部５３１は、所定数のフレーム（例えば、1秒間に含まれるフレーム数）の間、候補領域の位置を推定し、その推定位置の近傍で連続して候補領域を検出できた場合に、それら複数の周辺画像に渡って検出された候補領域に同一の物体が写っていると判定してもよい。このようなトラッキング方法は、例えば、B. Lucas and T. Kanade、"An iterative image registration technique with an Application to Stereo Vision"、1981年、 Proc. of the DARPA IU Workshop、pp. 121-130に開示されている。
また危険物体検出部５３１は、推定位置を決定するために、カルマンフィルタあるいはαβフィルタを用いてもよい。なお、αβフィルタについては、例えば、インターネットのURL:http://en.wikipedia.org/wiki/Alpha_beta_filter（2009年2月3日検索）に開示されている。
【００２７】
危険物体検出部５３１は、最新の周辺画像から候補領域が検出できると、上記のように、その候補領域に写っている物体が、過去の周辺画像から検出された候補領域の何れかに写っている物体と同一か否か判定する。そして同一であると判定した場合、危険物体検出部５３１は、その最新の周辺画像から検出された候補領域に、対応する過去の周辺画像から検出された候補領域と同一の識別番号を付す。一方、最新の周辺画像から検出された候補領域が初検出候補領域である場合、危険物体検出部５３１は、その候補領域に対して他の候補領域の何れとも異なる識別番号を付す。そして危険物体検出部５３１は、その識別番号に、その候補領域の周辺画像上の位置及び大きさと検出時刻を関連付けて記憶部５１に記憶する。
【００２８】
一方、危険物体検出部５３１は、複数フレームの周辺画像に渡って、過去の周辺画像から検出された候補領域から求められた推定位置及びその近傍で候補領域を検出できなかった場合、その過去の周辺画像から検出された候補領域に対応する物体についての追跡を停止する。そして危険物体検出部５３１は、その物体に対応する各候補領域の識別番号、その候補領域の周辺画像上の位置、大きさ及び検出時刻を、記憶部５１から消去する。
【００２９】
危険物体検出部５３１は、追跡中の候補領域に表された物体の移動方向及び移動速度から、その物体が車両１０に衝突する可能性があるか否か判定する。例えば、その物体の移動方向が周辺画像の中心部へ向かっている場合、その物体は車両１０の正面に近づいていると考えられる。そこで、危険物体検出部５３１は、その物体を危険物体として検出する。あるいは、危険物体検出部５３１は、候補領域のサイズあるいはステレオマッチングによる車両１０との距離の測定結果から、その物体までの距離を推定し、その推定距離を物体が車両１０に衝突するか否かの判定に利用してもよい。この場合、危険物体検出部５３１は、最新の周辺画像取得時の車両１０の速度及び操舵角から、所定時間後の車両１０の位置を推定する。また危険物体検出部５３１は、候補領域に表された物体の移動速度及び移動方向から、所定時間後のその物体の位置を推定する。そして車両１０の推定位置と、物体の推定位置との距離が衝突する危険性があると考えられる所定範囲内に含まれる場合、危険物体検出部５３１は、その物体を危険物体として検出する。なお、所定範囲は、例えば、１ｍとすることができる。またその所定範囲を、車両１０の速度が速くなるにつれて広くなるように設定してもよい。
なお、車両１０の速度及び操舵角については、制御部５３が、車両１０に搭載された車速センサ（図示せず）及び操舵角センサ（図示せず）からＣＡＮ６を通じて取得できる。
【００３０】
危険物体検出部５３１は、危険物体を検出すると、その危険物体に対応する領域の位置及びサイズを表す情報（例えば、候補領域の左上端点の座標と、候補領域の水平方向及び垂直方向の長さ）を警告画像生成部５３２に渡す。
【００３１】
警告画像生成部５３２は、危険物体が検出されており、かつその危険物体を運転者が確認していない場合において、周辺画像上でその検出された危険物体を強調表示した警告画像を生成する。一方、警告画像生成部５３２は、運転者が既に確認した危険物体に関しては、強調表示を行わない。これにより、警告表示装置１は、運転者が危険物体を既に認識しているにもかかわらず、その危険物体に関して警告され続けることによって、運転者が煩わしく感じることを避け、かつ、運転者の運転への集中力の低下を防止することができる。なお、認知済みフラグが、その危険物体に対応する候補領域の識別番号と関連付けて記憶部５１に記憶されている場合、警告画像生成部５３２はその危険物体は運転者に既に確認されていると判定する。
【００３２】
例えば、警告画像生成部５３２は、車外カメラ２より取得した最新の周辺画像において、危険物体検出部５３１により検出された危険物体に対応する領域の輪郭上に位置する画素の輝度値を、その輪郭の近傍画素の平均輝度値を反転させた値とする。あるいは、警告画像生成部５３２は、危険物体に対応する領域の輪郭上に位置する画素の色を、運転者にとって目立つ色、例えば、赤色にしてもよい。さらに警告画像生成部５３２は、その輪郭上の画素の色または輝度値を、フレームごとに交互に上記のように変更したり、変更しないようにして、運転者にとってその輪郭が点滅するように見せてもよい。あるいは、警告画像生成部５３２は、その輪郭を、フレームごとに拡大または縮小させてもよい。
【００３３】
さらに、警告画像生成部５３２は、危険物体が検出されており、かつその危険物体を運転者が確認した最終確認時刻から所定期間が経過するまでの間、危険物体の強調表示度合いを、運転者がその危険物体を確認していない場合よりも弱くした警告画像を生成する。所定期間中、このような警告画像をディスプレイ３に表示することにより、警告表示装置１は、ディスプレイ３上に表示された画像が急激に変化することを防止して、運転者の視覚的な負担を軽減することができる。なお、所定時間は、例えば、３秒間とすることができる。
強調表示度合いを弱めるために、例えば、警告画像生成部５３２は、危険物体に対応する領域の輪郭の輝度値及び色を、時間が経過するにつれてオリジナルの周辺画像の対応画素の輝度値及び色に近づけるようにしてもよい。このようにその強調表示された輪郭の画素の輝度値及び色を時間的に変化させることで、警告画像生成部５３２は、運転者に対して、危険物体の輪郭に付された枠がフェードアウトしていくように見せることができる。
【００３４】
警告画像生成部５３２は、生成した警告画像を制御部５３に渡す。
制御部５３は、運転者に確認されていない危険物体が存在する間、及び最終確認時刻から所定期間が経過するまで、警告画像生成部５３２により生成された警告画像をディスプレイ３に表示させる。一方、制御部５３は、危険物体が検出されていない場合、あるいは、危険物体が検出されていても、運転者によってその危険物体の存在が確認されている場合、その危険物体を強調表示しない周辺画像をディスプレイ３に表示させる。
【００３５】
確認判定部５３３は、運転者が確認していない危険物体が存在し、ディスプレイ３上に警告画像が表示されている場合に、車内カメラ４より得た運転者画像から運転者がディスプレイ３を見たか否か判定する。そして確認判定部５３４は、運転者がディスプレイ３を見たと判定した場合、警告画像において強調表示されている危険物体を運転者は確認したと判定する。
具体的に、確認判定部５３３は、運転者画像から、運転者の顔の向きを調べる。そのために、確認判定部５３３は、運転者の顔が写っていると推定される領域を抽出するために、運転者画像中の肌色を持つ肌色画素を抽出する。肌色画素を抽出するために、確認判定部５３３は、運転者画像の表色系を、色情報と輝度に分離可能な表色系、例えば、YCrCb表色系、あるいはHSV表色系に変換する。そして、確認判定部５３３は、変換後の表色系において、色情報を表す軸に関する値が、肌色に相当する所定の範囲内に含まれる画素を肌色画素とする。なお、その所定の範囲は、例えば、HSV表色系の場合、H軸に関して6から38の範囲とすることができ、YCrCb表色系の場合、Cr軸について80から130、かつCb軸について130から170の範囲とすることができる。
確認判定部５３３は、肌色画素を抽出すると、モルフォロジーのクロージング演算などを行って、肌色画素及び肌色画素に囲まれる画素が連結された領域を求める。そして確認判定部５３３は、その領域を運転者の顔領域として検出する。
【００３６】
次に、確認判定部５３３は、顔領域の中から、特徴的な点である目の角膜と鼻孔を検出する。ここで、角膜及び鼻孔は、運転者画像上で比較的円形に近い形状を有している。そこで本実施形態では、確認判定部５３３は、円形を検出する方法を用いて、顔領域から角膜及び鼻孔を検出する。円形を検出するために、確認判定部５３３は、例えば、ハフ変換、あるいは分離度フィルタを用いることができる。
ハフ変換を用いる場合、確認判定部５３３は、先ず顔領域内で近傍画素間の差分演算を行い、その差分絶対値が所定値（例えば、顔領域内の差分絶対値の平均値）以上となるエッジ画素を抽出する。そして確認判定部５３３は、円の中心座標及び半径を変数とするハフ変換を実行し、エッジ画素の個数が円形と認められる所定個数以上集中した点があれば、その点により表される円形領域を鼻孔または角膜の候補領域として抽出する。
また分離度フィルタは、運転者画像上での角膜あるいは鼻孔のサイズに相当する円形領域内の平均輝度値を、その円形領域の周囲に設定された環状領域内の平均輝度値から引いた差分値を分離度として算出するフィルタである。そして確認判定部５３３は、顔領域内で分離度フィルタの位置を様々に変えて分離度を算出し、その分離度が所定の閾値以上となるときの、分離度フィルタの円形領域に対応する領域を鼻孔または角膜の候補領域として抽出する。
【００３７】
確認判定部５３３は、鼻孔または角膜の候補領域のうち、両目の角膜及び鼻孔の位置関係に対応する位置関係を満たす候補領域、すなわち、上側の２点間の距離が下側の２点間の距離よりも大きい略逆台形の各頂点に位置する候補領域を、それぞれ鼻孔または角膜とする。なお、当然ながら、確認判定部５３３は、略逆台形の上側の頂点に位置する二つの候補領域をそれぞれ角膜とし、一方、略逆台形の下側の頂点に位置する二つの候補領域をそれぞれ鼻孔とする。
【００３８】
次に、確認判定部５３３は、運転者画像上の二つの鼻孔の中点と、左右の角膜の中心点の３点から、顔の正面に対応する平面を求め、その平面の法線ベクトルを顔の向きとする。
図３に、運転者の顔向きを表す法線ベクトルとディスプレイ３との関係を示す。図３において、Ａ、Ｂは、それぞれ左右の角膜の中心点であり、Ｃは、二つの鼻孔の中点である。またｎは法線ベクトルを表す。ここで、３次元実座標系における、左右の角膜の中心点Ａ、Ｂと、二つの鼻孔の中点Ｃとの位置関係は、個人ごとにばらつきはあるものの、凡そ以下のように表すことができる。
d(A,C) = d(B,C)
d(A,B) = 1.0833d(A,C) （１）
d(A,B) = 6.5cm
ここでd(X,Y)は、点Xと点Y間のユークリッド距離である。また、各点Ａ、Ｂ、Ｃは、以下の式に従って、運転者画像上の点ａ、ｂ、ｃに写像されると仮定する。
a = (1/α)KA
b = (1/β)KB （２）
c = (1/γ)KC
なお、α、β、γは未知のスケーリングファクタであり、Kは、カメラ内部パラメータ行列であり、Kの各要素の値は、車内カメラ４の撮像光学系の焦点距離、画角などによって予め求められる。
【００３９】
確認判定部５３３は、上記の（１）式及び（２）式からＡ、Ｂ、Ｃの座標を求める。そして確認判定部５３３は、顔の向きを表す法線ベクトルｎを、以下の式に従って算出する。
n = AC×AB/|AC×AB| （３）
なお、（３）式における'×'は、ベクトルの外積を表し、AB、ACは、それぞれ、Ａ点とＢ点間のベクトル及びＡ点とＣ点間のベクトルである。
なお、上述した顔向きを推定する技術については、例えば、Kaminski 外２名、"Head orientation and gaze detection from a single image"、2006年、International Conference of Computer Vision Theory and Applicationsに開示されている。
【００４０】
確認判定部５３３は、（３）式により求めた法線ベクトルｎと、運転者の両角膜の中心点Ａ、Ｂの中点とディスプレイ３の中心を結ぶ直線Ｌとのなす角θを求める。なお、本実施形態では、車内カメラ４は、運転者がディスプレイ３を見たときに、運転者の顔を正面から撮影するように、ディスプレイ３の上部に取り付けられているので、法線ベクトルｎと車内カメラ４の撮影光学系の光軸とのなす角をθとしてもよい。なお、３次元実座標系におけるディスプレイ３の中心位置及び撮影光学系の光軸の方向は、ディスプレイ３及び車内カメラ４を設置した時点で分かるので、ディスプレイ３の中心位置の座標、あるいは撮影光学系の光軸の方向を表す方向ベクトルは予め記憶部５１に記憶され、確認判定部５３３は、θを算出する際にそれらを記憶部５１から読み込んで使用する。
そして確認判定部５３３は、その角度θが、人がディスプレイ３を注視していると考えられる所定の角度θth未満の場合、運転者はディスプレイ３を見たと判定する。なお、所定の角度θthは、実験的に最適化することができ、例えば、５°に設定される。
【００４１】
また、確認判定部５３３は、他の方法で運転者がディスプレイ３を見ているか否か判定してもよい。例えば、確認判定部５３３は、両目の角膜の中心点Ａ、Ｂ及び鼻孔の中点Ｃを頂点とする三角形が辺ＡＢを底辺とし、辺ＡＢの長さと辺ＡＣの長さが略等しい二等辺三角形となっていれば、運転者がディスプレイ３を見たと判定してもよい。
【００４２】
なお、確認判定部５３３は、一定期間の間に取得された複数枚の運転者画像のそれぞれにおいて、運転者がディスプレイ３を見たと判定したときに、警告画像において強調表示されている危険物体を運転者は確認したと判定してもよい。この場合、その一定期間は、例えば、人が移動している物体を認識するのに必要な最小限の期間あるいはその期間よりも少し長い期間、例えば１秒間に設定することができる。
【００４３】
確認判定部５３３は、運転者が危険物体を確認したと判定した場合、そのときの最新の周辺画像において検出されている全ての危険物体に対して、運転者がその危険物体を確認したことを示す認知済みフラグを設定する。そして確認判定部５３３は、その危険物体に対応する候補領域の識別番号と関連付けて、その認知済みフラグを記憶部５１に記憶する。これ以降、制御部５３は、記憶部５１に記憶されている危険物体に対応する候補領域の識別番号と関連付けられた認知済みフラグが記憶されているか否かを調べることにより、その危険物体が運転者により既に確認されているか否かを判定することができる。
さらに確認判定部５３３は、制御部５３を構成するプロセッサから現在時刻を取得し、その現在時刻を最終確認時刻として記憶部５１に記憶する。
【００４４】
図４に、制御部５３により制御される、警告表示装置１の警告表示及び警告解除動作のフローチャートを示す。なお、制御部５３は、車外カメラ２から新たな周辺画像を取得する度に、このフローチャートに示す動作を繰り返す。
まず、制御部５３の危険物体検出部５３１は、車外カメラ２より取得した最新の周辺画像から、車両１０と衝突する危険性のある危険物体の可能性がある候補領域を検出する（ステップＳ１０１）。次に、危険物体検出部５３１は、候補領域が一つ以上検出された場合、過去に取得された周辺画像において検出された候補領域と、最新の周辺画像において検出された各候補領域とのトラッキング処理を実行する（ステップＳ１０２）。危険物体検出部５３１は、過去に取得された周辺画像において検出された候補領域と、最新の周辺画像において検出された候補領域のうち、同一の物体に対応すると推定される候補領域を関連付ける。危険物体検出部５３１は、同一の物体に対応する、時系列に並んだ複数の周辺画像における各候補領域の位置のずれに基づいて、その物体の移動方向及び移動速度を求める。そして危険物体検出部５３１は、その物体の移動方向または移動速度に基づいて、その物体が車両１０と衝突する可能性のある危険物体が検出されているか否か判定する（ステップＳ１０３）。
【００４５】
最新の周辺画像において危険物体が検出されなかった場合、制御部５３は、車外カメラ２から取得した周辺画像を表示部３に表示させる（ステップＳ１０４）。そして制御部５３は処理を終了する。
一方、最新の周辺画像において危険物体が検出された場合、制御部５３は、検出された全ての危険物体について、運転者が確認済みか否か判定する（ステップＳ１０５）。なお、危険物体に対応する候補領域の識別番号と関連付けて認知済みフラグが記憶部５１に記憶されていれば、制御部５３は、その危険物体は運転者により確認されていると判定できる。一方、記憶部５１に、危険物体に対応する候補領域の識別番号に関連付けられた認知済みフラグがなければ、制御部５３は、その危険物体は運転者により確認されていないと判定できる。
【００４６】
運転者に確認されていない危険物体が存在する場合、制御部５３の警告画像生成部５３２は、運転者が確認していない危険物体を強調表示する警告画像を生成し、制御部５３に渡す。そして制御部５３は、その警告画像を表示部３に表示させる（ステップＳ１０６）。その後、制御部５３の確認判定部５３３は、運転者が未確認の危険物体を確認したか否か判定する（ステップＳ１０７）。なお、確認判定部５３３は、上記のように、車内カメラ４から取得した運転者画像に基づいて、運転者の顔の向きを調べ、その顔の向きから運転者がディスプレイ３を見たと判定した場合、運転者は未確認の危険物体を確認したと判定する。
確認判定部５３３は、運転者が未確認の危険物体を確認したと判定した場合、最新の周辺画像において検出されている全ての危険物体に対して認知フラグを設定する（ステップＳ１０８）。そして確認判定部５３３は、その認知フラグを、対応する危険物体に対応する候補領域の識別番号と関連付けて記憶部５１に記憶する。さらに確認判定部５３３は、制御部５３を構成するプロセッサから現在時刻を取得し、その現在時刻を最終確認時刻として記憶部５１に記憶する。
ステップＳ１０８の後、あるいはステップＳ１０７において確認判定部５３３が運転者は未確認の危険物体を確認していないと判定した場合、制御部５３は処理を終了する。
【００４７】
一方、ステップＳ１０５において、全ての危険物体が運転者により確認されていると判定された場合、制御部５３は、現在時刻が記憶部５１に記憶された最終確認時刻から所定期間内か否か判定する（ステップＳ１０９）。現在時刻が最終確認時刻からの所定期間を過ぎていれば、制御部５３は、制御をステップＳ１０４に移行する。
一方、現在時刻が最終確認時刻からの所定期間内であれば、警告画像生成部５３２は、危険物体の強調度合いを運転者がその危険物体を確認していない場合よりも弱くした警告画像を生成して、制御部５３に渡す。そして制御部５３は、その警告画像を表示部３に表示させる（ステップＳ１１０）。その後、制御部５３は処理を終了する。
【００４８】
以上説明してきたように、本発明の一実施形態である警告表示装置は、車両の周囲を撮影するカメラから取得された画像から、車両と衝突する可能性があると推定される危険物体を検出する。そしてこの警告表示装置は、危険物体が検出された場合、車内に設置されたディスプレイ上において危険物体を強調表示した警告画像を表示することで、運転者に対して衝突の危険性があることを警告することができる。さらにこの警告表示装置は、警告画像を見たことを、運転者の顔を撮影した画像から確認することで、運転者がその警告に対して特別な操作を行うことなく警告を解除できる。したがって、この警告表示装置は、車両が何かと衝突する危険性があることを確実に運転者に対して警告できるとともに、一旦運転者が確認した警告を自動的に解除できるので、運転者の運転への集中力の低下を防止できる。
【００４９】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、制御部の確認判定部は、運転者の声を解析することにより、危険物体を確認したか否かを判定してもよい。この場合、本発明の一実施形態に係る警告表示装置は、上記の実施形態において、車内カメラの代わりに、車室内、例えば、ステアリングに設置されたマイクロホンを有する。そしてマイクロホンにより集音された運転者の音声は、コントローラへ送られる。また確認判定部は、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間、例えば、隠れマルコフモデルを用いてマイクロホンにより集音された音声を解析し、危険物体を確認したことを示す、予め設定された所定の言葉（例えば、「確認」、「見た」など）を検出できるか否か判定する。そして確認判定部は、その所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定する。なお、その所定の言葉を、運転者が事前にマイクロホンを通じてコントローラに入力し、コントローラの記憶部に記憶させることにより、運転者が自由に設定できるようにしてもよい。
【００５０】
また、本発明の一実施形態に係る警告表示装置は、上記の実施形態において、車内カメラとともに車室内に設置されたマイクロホンを有していてもよい。そして制御部の確認判定部は、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間に、運転者画像に基づいて運転者がディスプレイを見たことを確認し、かつ、マイクロホンにより集音された音声から危険物体を確認したことを示す所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定してもよい。あるいは、運転者が確認していない危険物体が存在し、ディスプレイ上に警告画像が表示されている間に、確認判定部は、運転者画像に基づいて運転者がディスプレイを見たことを確認するか、またはマイクロホンにより集音された音声から危険物体を確認したことを示す所定の言葉を検出できた場合、運転者は危険物体の存在を確認したと判定してもよい。
さらに、警告表示装置は、危険物体が検出されていない場合、あるいは運転者が確認していない危険物体が存在せず、かつ危険物体の最終確認時刻から所定期間が経過している場合、ディスプレイの画面を消してもよい。この場合、最終確認時刻から所定期間が経過するまでの間、警告表示装置は、ディスプレイの画面を徐々に暗くしてもよい。さらにまた、警告表示装置は、確認判定部により、運転者が危険物体を確認したと判定した後、直ちに警告画像の表示を停止してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００５１】
１ 警告表示装置
２ 車外カメラ
３ ディスプレイ
４ 車内カメラ
５ コントローラ
６ コントロールエリアネットワーク
５１ 記憶部
５２ 通信部
５３ 制御部
５３１ 危険物体検出部
５３２ 警告画像生成部
５３３ 確認判定部
【特許請求の範囲】
【請求項１】
車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、
前記周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、
前記周辺画像上で前記危険物体検出部（５３１）により検出された危険物体を強調表示した第１の警告画像を生成する警告画像生成部（５３２）と、
前記第１の警告画像を表示する表示部（３）と、
前記表示部（３）に前記第１の警告画像が表示されている間、車両（１０）の運転者が前記危険物体を確認したか否か判定する確認判定部（５３３）と、
を有し、
前記表示部（３）は、前記確認判定部（５３３）により運転者が前記危険物体を確認したと判定された後に警告画像の表示を停止する、
ことを特徴とする警告表示装置。
【請求項２】
運転者の顔を撮影するように設置された第２の撮像部（４）をさらに有し、
前記確認判定部（５３３）は、前記表示部（３）に前記第１の警告画像が表示されている間、前記第２の撮像部（４）から取得した、運転者の顔を撮影した運転者画像から運転者の顔の向きを判定し、該顔の向きが前記表示部（３）を向いていると判定した場合、運転者が前記危険物体を確認したと判定する、請求項１に記載の警告表示装置。
【請求項３】
車室内に設置された集音部をさらに有し、
前記確認判定部（５３３）は、前記表示部（３）に前記第１の警告画像が表示されている間、前記集音部により集音された音声を解析し、予め設定された所定の言葉を検出した場合、運転者が前記危険物体を確認したと判定する、請求項１に記載の警告表示装置。
【請求項４】
前記警告画像生成部（５３２）は、前記確認判定部（５３３）が車両（１０）の運転者が前記危険物体を確認したと判定してから所定期間が経過するまでの間、前記第１の警告画像よりも前記危険物体の強調表示度合いが少ない第２の警告画像を生成し、
前記表示部（３）は、前記確認判定部（５３３）が車両（１０）の運転者が前記危険物体を確認したと判定してから前記所定期間が経過するまでの間、前記第２の警告画像を表示する、請求項１〜３の何れか一向に記載の警告表示装置。
【請求項５】
第１の撮像部（２）により撮影された、車両（１０）の周囲を撮影した周辺画像を取得するステップと、
前記周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出するステップと、
前記周辺画像上で前記危険物体を強調表示した警告画像を生成するステップと、
前記警告画像を表示部（３）に表示するステップと、
前記表示部（３）に前記警告画像が表示されている間、車両（１０）の運転者が前記危険物体を確認したか否か判定するステップと、
運転者が前記危険物体を確認したと判定された後に前記表示部（３）上での前記警告画像の表示を停止するステップと、
を含むことを特徴とする警告表示方法。
【請求項１】
車両（１０）の周囲を撮影した周辺画像を取得する第１の撮像部（２）と、
前記周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出する危険物体検出部（５３１）と、
前記周辺画像上で前記危険物体検出部（５３１）により検出された危険物体を強調表示した第１の警告画像を生成する警告画像生成部（５３２）と、
前記第１の警告画像を表示する表示部（３）と、
前記表示部（３）に前記第１の警告画像が表示されている間、車両（１０）の運転者が前記危険物体を確認したか否か判定する確認判定部（５３３）と、
を有し、
前記表示部（３）は、前記確認判定部（５３３）により運転者が前記危険物体を確認したと判定された後に警告画像の表示を停止する、
ことを特徴とする警告表示装置。
【請求項２】
運転者の顔を撮影するように設置された第２の撮像部（４）をさらに有し、
前記確認判定部（５３３）は、前記表示部（３）に前記第１の警告画像が表示されている間、前記第２の撮像部（４）から取得した、運転者の顔を撮影した運転者画像から運転者の顔の向きを判定し、該顔の向きが前記表示部（３）を向いていると判定した場合、運転者が前記危険物体を確認したと判定する、請求項１に記載の警告表示装置。
【請求項３】
車室内に設置された集音部をさらに有し、
前記確認判定部（５３３）は、前記表示部（３）に前記第１の警告画像が表示されている間、前記集音部により集音された音声を解析し、予め設定された所定の言葉を検出した場合、運転者が前記危険物体を確認したと判定する、請求項１に記載の警告表示装置。
【請求項４】
前記警告画像生成部（５３２）は、前記確認判定部（５３３）が車両（１０）の運転者が前記危険物体を確認したと判定してから所定期間が経過するまでの間、前記第１の警告画像よりも前記危険物体の強調表示度合いが少ない第２の警告画像を生成し、
前記表示部（３）は、前記確認判定部（５３３）が車両（１０）の運転者が前記危険物体を確認したと判定してから前記所定期間が経過するまでの間、前記第２の警告画像を表示する、請求項１〜３の何れか一向に記載の警告表示装置。
【請求項５】
第１の撮像部（２）により撮影された、車両（１０）の周囲を撮影した周辺画像を取得するステップと、
前記周辺画像から、車両（１０）と衝突する危険性がある危険物体を検出するステップと、
前記周辺画像上で前記危険物体を強調表示した警告画像を生成するステップと、
前記警告画像を表示部（３）に表示するステップと、
前記表示部（３）に前記警告画像が表示されている間、車両（１０）の運転者が前記危険物体を確認したか否か判定するステップと、
運転者が前記危険物体を確認したと判定された後に前記表示部（３）上での前記警告画像の表示を停止するステップと、
を含むことを特徴とする警告表示方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−１９１７９３（Ｐ２０１０−１９１７９３Ａ）
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−３６７６４（Ｐ２００９−３６７６４）
【出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成２１年２月１９日（２００９．２．１９）
【出願人】（５０２３２４０６６）株式会社デンソーアイティーラボラトリ (332)
【Ｆターム（参考）】
[ Back to top ]