車両周辺監視装置、その表示方法
【課題】ユーザに車両周辺に接近する物体の存在をより確実に認識させるため技術を提供する。
【課題手段】車両周辺監視装置は、車両に搭載されたカメラから車両の周辺の撮像画像を取得する撮像画像取得手段と、撮像画像の経時変化に基づいて、撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、表示装置に表示する表示手段を備えている。表示手段は、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、第１の表示エリアには、撮像画像を表示し、第２の表示エリアには、進入物判定手段で進入物が有ると判定された場合に、進入物の存在を表示する。
【課題手段】車両周辺監視装置は、車両に搭載されたカメラから車両の周辺の撮像画像を取得する撮像画像取得手段と、撮像画像の経時変化に基づいて、撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、表示装置に表示する表示手段を備えている。表示手段は、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、第１の表示エリアには、撮像画像を表示し、第２の表示エリアには、進入物判定手段で進入物が有ると判定された場合に、進入物の存在を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を監視するための技術に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより車両周辺の画像を取得し、取得した画像を表示装置に表示することで、車両周辺の監視を可能とする装置がある（特許文献１等参照）。
【０００３】
【特許文献１】特開２００６−２９８２１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、単に撮像画像を表示するのみでは、車両に近づく障害物があっても、それが鮮明に表示されるとは限らず、ユーザはその存在に気がつかない場合がある。
【０００５】
本発明は、上記課題を解決すべくなされたものであり、ユーザに車両周辺の物体の存在をより確実に認識させるため技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明は、撮像画像に基づいて進入物を検知して、その旨を知らせる表示を行う。
【０００７】
例えば、本発明の第１の態様は、車両周辺監視装置であって、車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、前記第１の表示エリアには、前記撮像画像を表示し、前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示手段とを備える。
【０００８】
また、本発明の第２の態様は、車両周辺監視装置であって、車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得手段と、前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定手段と、表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に対応する前記第２の表示エリア中の位置に、進入物の存在を表示する表示手段とを備える。
【発明を実施するための最良の形態】
【０００９】
以下に、本発明の一実施形態について、図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態が適用された車両周辺監視装置１の概略構成図である。図示するように、車両に搭載される車両周辺監視装置１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０、現在位置算出装置６０とを備えて構成される。
【００１１】
カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。図２（ａ）、（ｂ）、（ｃ）、（ｄ）、及び(ｅ)は、車両を、前面、右側面、上面、左側面、背面からみた様子を示す。図示すように、カメラ２０は、車両５００の前後左右に搭載された４台の小型カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒからなる。それぞれのカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒは、やや下を向いており、車両の前方、後方、左側方向、右側方向の地上面を撮像する。カメラ２０は、台座の回転により撮像範囲の変更が可能である。台座の回転は、モータにより行われ、後述するカメラ制御部１２で制御される。
【００１２】
図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。
【００１３】
表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。
【００１４】
音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。
【００１５】
現在位置算出装置６０は、現在位置を算出するための装置であり、車速センサ、ジャイロセンサ、ＧＰＳ(Global Positioning System)受信装置などからなる。
【００１６】
制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、現在位置算出装置６０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、現在位置算出装置６０など）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。
【００１７】
制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６と、車両状態取得部１７と、を備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。
【００１８】
主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。
【００１９】
カメラ制御部１２は、各カメラ２０の動作を制御する。例えは、各カメラ２０の撮像の開始・終了タイミングや、撮像範囲を設定する。また、撮像した画像のカメラ画像処理部１３への送信を制御する。また、各カメラ２０の撮像範囲を特定するための情報として、各カメラ２０の視点位置及び撮像方向を、カメラ画像処理部１３に送る。なお、カメラ制御部１２は、車両を基準とした各カメラ２０の設置位置を予め記憶している。カメラ２０の向きを変更した場合は、変更した角度に基づいて、視点位置及び撮像方向を算出し直す。
【００２０】
カメラ画像処理部１３は、各カメラ２０で撮像した画像を、画像データとして取得する。また、各カメラ２０の撮像範囲を特定する情報（視点位置、撮像方向）に基づいて、取得した画像を、公知の方法により、地上投影画像に変換する。
【００２１】
図３は、地上投影画像の生成の方法を説明するための図である。カメラ画像処理部１３は、カメラ制御部１２から、各カメラ２０の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と視線方向Ｋを取得している。撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラの視点Ｐから撮像画像５１０までの距離は、予め定められている。カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。
【００２２】
図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。
【００２３】
表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。また、後述するように、表示処理部１５は、撮像画像に基づいて、車両に接近した物体があるか否か判定する。そして接近した物体がある場合、車両周辺の地上投影画像の外枠に、進入物があることを示す表示を行う。
【００２４】
音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。
【００２５】
車両状態取得部１７は、車速センサを介して、車両の車速を取得し、車両が走行中か停車中かなどの、車両の走行状態を判断する。なお、ジャイロセンサ、ＧＰＳ受信装置などの出力から、車両の停車を判断しても良い。また、サイドブレーキの状態、シフトレバーのパーキング状態をセンサで検知して、車両の停車を判断しても良い。
【００２６】
［動作の説明］次に、本実施形態の車両周辺監視装置１の特徴的な動作について説明する。
【００２７】
図４は、カメラ２０で撮像した画像を用いて表示装置４０に車両周辺の画像を表示する処理のフロー図である。
【００２８】
このフローは、ユーザから入力装置３０を介して、車両周辺の画像を表示するように要求された場合に行われる。
【００２９】
まず、カメラ画像処理部１３は、各カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒから、撮像して得られた画像（「カメラ画像」という）を取得する（Ｓ１１）。
【００３０】
次に、カメラ画像処理部１３は、取得した各カメラ画像に基づいて、上述したように、地上投影画像を生成する（Ｓ１２）。
【００３１】
次に、主制御部１１は、表示処理部１５に、車両周辺の画像を表示するように指示する。
【００３２】
これを受けて、表示処理部１５は、表示装置４０の表示画面に車両周辺を示す画像を表示する（図４のＳ１３）。
【００３３】
図５は、表示画面の一例を示す図である。
【００３４】
図示するように、表示処理部１５は、表示画面４００のほぼ中央に、車両を示すアイコン（「車両アイコン」という）４０１を表示する。また、車両アイコン４０１を中心にして外側に向かって順番に、地上投影画像を表示するためのエリア（「画像表示エリア」という）４１０と、警告を示す警告アイコン４２１、４２２を表示するためのエリア（「警告表示エリア」という）４２０とを設ける。
【００３５】
地上投影画像２１０は、４台のカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒの画像から生成される。したがって、車両周辺の地上投影画像２１０は、車両５０１の周辺を４つに分割したエリアに対応した４つの画像（前方エリア画像２１０Ｆ、後方エリア画像２１０Ｂ、左側エリア画像２１０Ｌ、右側エリア画像２１０Ｒ）からなる。
【００３６】
そこで、表示処理部１５は、画像表示エリア４１０に、地上投影画像２１１Ｆ、２１１Ｂ、２１１Ｌ、２１１Ｒを、車両４０１に対する位置に対応させて、それぞれ表示する。
【００３７】
次に、表示処理部１５は、車両状態取得部１７を介して、車両が停止したか否か判定する（図４のＳ１４）。車両状態取得部１７は、車速センサから移動速度を取得し、移動速度が所定速度（例えば、１ｍ／時間）以下の場合、車両は停車していると判定する。なお、車両状態取得部１７は、サイドブレーキの状態や、シフトレバーのパーキング状態をセンサにより検知して、車両の停止を判定してもよい。
【００３８】
走行中と判定された場合（Ｓ１４でＮ）、表示処理部１５は、Ｓ１１に戻って処理が続行されるようにする。
【００３９】
一方、停車中と判定された場合（Ｓ１４でＹ）、表示処理部１５は、停車初期の画像として、そのときに表示していた地上投影画像２１０（投影変換前の撮像画像であってもよい）を、メモリ上の予め定めた記憶領域に記憶しておく（Ｓ１５）。
【００４０】
そして、Ｓ１１〜Ｓ１２の処理と同様に、カメラ画像処理部１３は、カメラ画像を取得し（Ｓ１６）、地上投影画像の生成を行う（Ｓ１７）。またＳ１３と同様に、表示処理部１５は、地上投影画像に基づいて車両周辺の画像の表示（Ｓ１８）を行う。
【００４１】
次に、表示処理部１５は、地上投影画像２１０（投影変換前の撮像画像であってもよい）に基づいて、車両周辺に進入した物（進入物）があったか否か判定する（Ｓ１９）。具体的には、表示処理部１５は、Ｓ１５において記憶しておいた車両の停車初期の地上投影画像２１０と、今回Ｓ１７にて生成された地上投影画像２１０とを比較して、対応するドットごとに、色諧調値の差分を求める。そして、地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒごとに、差分が所定以上のドットの位置を抽出する。さらに、抽出したドットが所定以上の範囲の塊となって存在するか否か調べる。存在する場合は、進入物があったと判定する。なお、表示処理部１５は、２以上の進入物を検出する場合もある。
【００４２】
表示処理部１５は、進入物を検知しなかった場合（Ｓ１９でＮ）、Ｓ１６に戻って処理を続けるように、カメラ画像処理部１３に指示する。
【００４３】
一方、地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒのいずれか（ただし、２以上の場合もある）に進入物があった場合（Ｓ１９でＹ）、表示処理部１５は、進入物があった地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒに対応する警告エリア４３０（４３０Ｆ、４３０Ｂ、４３０Ｌ、４３０Ｒ）に、所定の警告表示を行う（Ｓ２０）。
【００４４】
具体的には、表示処理部１５は、進入物があったとされる地上投影画像２１０Ｆ、２１０Ｂ、２１０Ｒ，２１０Ｌの方向の警告エリア４３０Ｆ、２３０Ｂ、２３０Ｒ、２３０Ｌに、警告を表示する。
【００４５】
このとき、撮像画像中の進入物の位置に応じた警告エリア４１０中の位置に、進入物の存在を示す警告アイコンを表示するようにする。具体的には、地上投影画像２１０Ｆ、２１０Ｂ，２１０Ｒ，２１０Ｌ上の進入物の位置（進入物がある程度の領域を占める場合は、その領域の画像中心位置）を、車両に対するその地上投影画像２１０、２１０Ｂ，２１０Ｒ，２１０Ｌの方向にそのまま移動した位置に、警告アイコンを表示する。
【００４６】
例えば、図５に示すように、左側エリア画像２１０Ｌに進入物Ｑ１があった場合、表示処理部１５は、車両に対して左側の警告エリア４３０Ｌに、警告アイコン４２１を点滅表示する。このとき、左側エリア画像２１０Ｌ上の進入物Ｑ１の位置（中心位置）を、車両に対して左側（図５では下方）にそのまま移動した位置に、警告アイコン４２１を表示する。また、後方エリア画像２１０Ｂに進入物Ｑ２があった場合、表示処理部１５は、車両に対して後側の警告エリア４３０Ｂに、警告アイコン４２２を点滅表示する。このとき、後方エリア画像２１０Ｂ上の進入物Ｑ２の位置（中心位置）を、車両に対して後側（図５では右方向）にそのまま移動した位置に、警告アイコンを表示する。
【００４７】
なお、警告アイコンを表示するとき、主制御部１１は、音声処理部１６を介して、音声出力装置５０に、警告を示す効果音やメッセージを出力してもよい。
【００４８】
次に、表示処理部１５は、車両状態取得部１７を介して、車両が停止中か否か判定する（図４のＳ２１）。そして、停止中の場合（Ｓ２１でＹ）、Ｓ１６に戻って処理が続行されるようにする。
【００４９】
一方、停止中でなくなった場合（Ｓ２１でＮ）、表示処理部１５は、Ｓ１１に戻って、処理が続行されるように、カメラ画像処理部に指示をする。
【００５０】
以上、図４のフローについて説明した。
【００５１】
なお、図４に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。
【００５２】
本実施形態によれば、車両周辺の領域に進入した物体がある場合に、単に撮像画像を表示するのではなく、撮像画像の枠外に、進入物の存在を強調して表示することができる。したがって、車両周辺に存在する障害物について、ユーザにより確実に気が付かせることができる。
【００５３】
また、進入物の存在を、存在する方向に対応して表示するので、ユーザに注意を喚起すべき方向を容易に知らせることができる。
【００５４】
本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。
【００５５】
例えば、図６に示すように、警告エリア４２０に、進入物の移動方向を示してもよい。かかる場合、表示処理部１５は、所定期間内に連続して撮像された撮像画像（地上投影画像）に基づいて、進入物の移動方向を求める。例えば、表示処理部１５は、カメラ画像の中でその進入物を示すドットの塊が占める領域のサイズを求め、そのサイズが時間経過とともに大きくなった場合、その進入物は接近していると判定する。逆に、小さくなっている場合、その進入物は遠ざかっていると判定する。そして、図６に示すように、警告エリア４２０に、進入物Ｑ１，Ｑ２の移動方向４２３、３２４を表示する。
【００５６】
こうすれば、ユーザは、進入物が車両に近づくものなのか、遠ざかるものなのか容易に理解することができる。
【００５７】
また、表示処理部１５は、一旦進入物を検知して警告アイコンを表示した場合、その進入物が地上投影画像上に存在しなくなっても、所定期間（例えば、１０秒）、警告の表示を継続するようにすることができる。こうすれば、また進入する可能性がある障害物（例えば、猫）がある場合に、ユーザに対してその方向に対する注意を喚起することができる。かかる場合、表示処理部１５は、現在撮像されている進入物の警告アイコンの表示態様と、一旦消えた進入物の警告アイコンの表示態様とを、色を変えるなど、異ならせることができる。
【００５８】
なお、本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。
【００５９】
また、通信ネットワークにより撮像画像を外部の機器に送信して、外部の機器において、上記した方法で撮像画像を表示するようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】図１は、本発明の一実施形態が適用された車両周辺監視装置の概略構成図である。
【図２】図２は、カメラの搭載位置を示す図である。
【図３】図３は、撮像画像を地上面に投影する様子を示す図である。
【図４】図４は、表示処理のフロー図である。
【図５】図５は、画面表示例を示す図である。
【図６】図６は、画面表示例を示す図である。
【符号の説明】
【００６１】
１…車両周辺監視装置、
１０…制御装置、１１…主制御部、１２…カメラ制御部、１３…カメラ画像処理部、１４…入力内容解析部、１５…表示処理部、１６…音声処理部、１７…車両状態取得部
２０…カメラ、
３０…入力装置、
４０…表示装置、
５０…音声出力装置
６０…現在位置算出装置
【技術分野】
【０００１】
本発明は、車両周辺を監視するための技術に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより車両周辺の画像を取得し、取得した画像を表示装置に表示することで、車両周辺の監視を可能とする装置がある（特許文献１等参照）。
【０００３】
【特許文献１】特開２００６−２９８２１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、単に撮像画像を表示するのみでは、車両に近づく障害物があっても、それが鮮明に表示されるとは限らず、ユーザはその存在に気がつかない場合がある。
【０００５】
本発明は、上記課題を解決すべくなされたものであり、ユーザに車両周辺の物体の存在をより確実に認識させるため技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明は、撮像画像に基づいて進入物を検知して、その旨を知らせる表示を行う。
【０００７】
例えば、本発明の第１の態様は、車両周辺監視装置であって、車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、前記第１の表示エリアには、前記撮像画像を表示し、前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示手段とを備える。
【０００８】
また、本発明の第２の態様は、車両周辺監視装置であって、車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得手段と、前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定手段と、表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に対応する前記第２の表示エリア中の位置に、進入物の存在を表示する表示手段とを備える。
【発明を実施するための最良の形態】
【０００９】
以下に、本発明の一実施形態について、図面を参照して説明する。
【００１０】
図１は、本発明の一実施形態が適用された車両周辺監視装置１の概略構成図である。図示するように、車両に搭載される車両周辺監視装置１は、制御装置１０と、カメラ２０と、入力装置３０と、表示装置４０と、音声出力装置５０、現在位置算出装置６０とを備えて構成される。
【００１１】
カメラ２０は、車両周辺（近傍）の画像を取得するための撮像装置である。図２（ａ）、（ｂ）、（ｃ）、（ｄ）、及び(ｅ)は、車両を、前面、右側面、上面、左側面、背面からみた様子を示す。図示すように、カメラ２０は、車両５００の前後左右に搭載された４台の小型カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒからなる。それぞれのカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒは、やや下を向いており、車両の前方、後方、左側方向、右側方向の地上面を撮像する。カメラ２０は、台座の回転により撮像範囲の変更が可能である。台座の回転は、モータにより行われ、後述するカメラ制御部１２で制御される。
【００１２】
図１に戻って説明する。入力装置３０は、ユーザからの指示を受け付けるための装置であり、タッチパネルやハードスイッチなどで構成される。
【００１３】
表示装置４０は、液晶表示装置などからなり、制御装置１０で生成されたグラフィックス情報を表示するユニットである。
【００１４】
音声出力装置５０は、スピーカなどからなり、制御装置１０で生成された音声情報を出力するユニットである。
【００１５】
現在位置算出装置６０は、現在位置を算出するための装置であり、車速センサ、ジャイロセンサ、ＧＰＳ(Global Positioning System)受信装置などからなる。
【００１６】
制御装置１０は、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、現在位置算出装置６０など）を制御するための装置である。制御装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、他の装置（カメラ２０、入力装置３０、表示装置４０、音声出力装置５０、現在位置算出装置６０など）とのインターフェース、これらを接続するバス、などからなる汎用的なコンピュータシステムにより構成される。
【００１７】
制御装置１０は、その機能部として、主制御部１１と、カメラ制御部１２と、カメラ画像処理部１３と、入力内容解析部１４と、表示処理部１５と、音声処理部１６と、車両状態取得部１７と、を備える。これらの機能部は、ＣＰＵがメモリにロードした所定のプログラムを実行することにより達成される。そのため、ＲＯＭには、各処理を行うためのプログラムが記憶されている。
【００１８】
主制御部１１は、様々な処理を行う中心的ユニットである。例えば、カメラ制御部１２に、カメラ２０の制御を指示する。また、カメラ画像処理部１３に、カメラ２０で撮像した画像を取得するように指示したり、取得した画像を、地上面に投影した画像（「地上投影画像」という）に変換するように指示したりする。また、入力内容解析部１４を介してユーザからの要求を受け付け、受け付けた要求に対応する処理が実行されるように、各機能部を制御する。また、表示処理部１５を介して、表示装置４０に、画像の表示を行う。また、音声処理部１６を介して、音声出力装置５０から、音声の出力を行う。
【００１９】
カメラ制御部１２は、各カメラ２０の動作を制御する。例えは、各カメラ２０の撮像の開始・終了タイミングや、撮像範囲を設定する。また、撮像した画像のカメラ画像処理部１３への送信を制御する。また、各カメラ２０の撮像範囲を特定するための情報として、各カメラ２０の視点位置及び撮像方向を、カメラ画像処理部１３に送る。なお、カメラ制御部１２は、車両を基準とした各カメラ２０の設置位置を予め記憶している。カメラ２０の向きを変更した場合は、変更した角度に基づいて、視点位置及び撮像方向を算出し直す。
【００２０】
カメラ画像処理部１３は、各カメラ２０で撮像した画像を、画像データとして取得する。また、各カメラ２０の撮像範囲を特定する情報（視点位置、撮像方向）に基づいて、取得した画像を、公知の方法により、地上投影画像に変換する。
【００２１】
図３は、地上投影画像の生成の方法を説明するための図である。カメラ画像処理部１３は、カメラ制御部１２から、各カメラ２０の視点Ｐの位置（車両内の所定位置を原点とする三次元空間における座標位置）と視線方向Ｋを取得している。撮像方向Ｋは、撮像画像５１０の中心と垂直に交わる。また、カメラの視点Ｐから撮像画像５１０までの距離は、予め定められている。カメラ画像処理部１３は、撮像画像５１０を、カメラ２０の視点Ｐの位置から撮像方向Ｋに向けて、地上面５２０に投影し、地上投影画像５３０を生成する。こうして生成される地上投影画像５３０は、車両の上空から車両周辺を鳥瞰したような画像となる。
【００２２】
図１に戻って説明する。入力内容解析部１４は、入力装置３０を介して入力されたユーザからの要求を解析し、その結果を主制御部１１に送る。
【００２３】
表示処理部１５は、表示装置４０に、ユーザからの指示を受け付けるためのメニューや、カメラ画像処理部１３で生成された車両周辺の地上投影画像を表示する。また、後述するように、表示処理部１５は、撮像画像に基づいて、車両に接近した物体があるか否か判定する。そして接近した物体がある場合、車両周辺の地上投影画像の外枠に、進入物があることを示す表示を行う。
【００２４】
音声処理部１６は、主制御部１１からの指示に従って、音声出力装置５０を介して、警告音や、ユーザに対するメッセージを音声出力する。
【００２５】
車両状態取得部１７は、車速センサを介して、車両の車速を取得し、車両が走行中か停車中かなどの、車両の走行状態を判断する。なお、ジャイロセンサ、ＧＰＳ受信装置などの出力から、車両の停車を判断しても良い。また、サイドブレーキの状態、シフトレバーのパーキング状態をセンサで検知して、車両の停車を判断しても良い。
【００２６】
［動作の説明］次に、本実施形態の車両周辺監視装置１の特徴的な動作について説明する。
【００２７】
図４は、カメラ２０で撮像した画像を用いて表示装置４０に車両周辺の画像を表示する処理のフロー図である。
【００２８】
このフローは、ユーザから入力装置３０を介して、車両周辺の画像を表示するように要求された場合に行われる。
【００２９】
まず、カメラ画像処理部１３は、各カメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒから、撮像して得られた画像（「カメラ画像」という）を取得する（Ｓ１１）。
【００３０】
次に、カメラ画像処理部１３は、取得した各カメラ画像に基づいて、上述したように、地上投影画像を生成する（Ｓ１２）。
【００３１】
次に、主制御部１１は、表示処理部１５に、車両周辺の画像を表示するように指示する。
【００３２】
これを受けて、表示処理部１５は、表示装置４０の表示画面に車両周辺を示す画像を表示する（図４のＳ１３）。
【００３３】
図５は、表示画面の一例を示す図である。
【００３４】
図示するように、表示処理部１５は、表示画面４００のほぼ中央に、車両を示すアイコン（「車両アイコン」という）４０１を表示する。また、車両アイコン４０１を中心にして外側に向かって順番に、地上投影画像を表示するためのエリア（「画像表示エリア」という）４１０と、警告を示す警告アイコン４２１、４２２を表示するためのエリア（「警告表示エリア」という）４２０とを設ける。
【００３５】
地上投影画像２１０は、４台のカメラ２０Ｆ、２０Ｂ、２０Ｌ、２０Ｒの画像から生成される。したがって、車両周辺の地上投影画像２１０は、車両５０１の周辺を４つに分割したエリアに対応した４つの画像（前方エリア画像２１０Ｆ、後方エリア画像２１０Ｂ、左側エリア画像２１０Ｌ、右側エリア画像２１０Ｒ）からなる。
【００３６】
そこで、表示処理部１５は、画像表示エリア４１０に、地上投影画像２１１Ｆ、２１１Ｂ、２１１Ｌ、２１１Ｒを、車両４０１に対する位置に対応させて、それぞれ表示する。
【００３７】
次に、表示処理部１５は、車両状態取得部１７を介して、車両が停止したか否か判定する（図４のＳ１４）。車両状態取得部１７は、車速センサから移動速度を取得し、移動速度が所定速度（例えば、１ｍ／時間）以下の場合、車両は停車していると判定する。なお、車両状態取得部１７は、サイドブレーキの状態や、シフトレバーのパーキング状態をセンサにより検知して、車両の停止を判定してもよい。
【００３８】
走行中と判定された場合（Ｓ１４でＮ）、表示処理部１５は、Ｓ１１に戻って処理が続行されるようにする。
【００３９】
一方、停車中と判定された場合（Ｓ１４でＹ）、表示処理部１５は、停車初期の画像として、そのときに表示していた地上投影画像２１０（投影変換前の撮像画像であってもよい）を、メモリ上の予め定めた記憶領域に記憶しておく（Ｓ１５）。
【００４０】
そして、Ｓ１１〜Ｓ１２の処理と同様に、カメラ画像処理部１３は、カメラ画像を取得し（Ｓ１６）、地上投影画像の生成を行う（Ｓ１７）。またＳ１３と同様に、表示処理部１５は、地上投影画像に基づいて車両周辺の画像の表示（Ｓ１８）を行う。
【００４１】
次に、表示処理部１５は、地上投影画像２１０（投影変換前の撮像画像であってもよい）に基づいて、車両周辺に進入した物（進入物）があったか否か判定する（Ｓ１９）。具体的には、表示処理部１５は、Ｓ１５において記憶しておいた車両の停車初期の地上投影画像２１０と、今回Ｓ１７にて生成された地上投影画像２１０とを比較して、対応するドットごとに、色諧調値の差分を求める。そして、地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒごとに、差分が所定以上のドットの位置を抽出する。さらに、抽出したドットが所定以上の範囲の塊となって存在するか否か調べる。存在する場合は、進入物があったと判定する。なお、表示処理部１５は、２以上の進入物を検出する場合もある。
【００４２】
表示処理部１５は、進入物を検知しなかった場合（Ｓ１９でＮ）、Ｓ１６に戻って処理を続けるように、カメラ画像処理部１３に指示する。
【００４３】
一方、地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒのいずれか（ただし、２以上の場合もある）に進入物があった場合（Ｓ１９でＹ）、表示処理部１５は、進入物があった地上投影画像２１２Ｆ、２１２Ｂ、２１２Ｌ、２１２Ｒに対応する警告エリア４３０（４３０Ｆ、４３０Ｂ、４３０Ｌ、４３０Ｒ）に、所定の警告表示を行う（Ｓ２０）。
【００４４】
具体的には、表示処理部１５は、進入物があったとされる地上投影画像２１０Ｆ、２１０Ｂ、２１０Ｒ，２１０Ｌの方向の警告エリア４３０Ｆ、２３０Ｂ、２３０Ｒ、２３０Ｌに、警告を表示する。
【００４５】
このとき、撮像画像中の進入物の位置に応じた警告エリア４１０中の位置に、進入物の存在を示す警告アイコンを表示するようにする。具体的には、地上投影画像２１０Ｆ、２１０Ｂ，２１０Ｒ，２１０Ｌ上の進入物の位置（進入物がある程度の領域を占める場合は、その領域の画像中心位置）を、車両に対するその地上投影画像２１０、２１０Ｂ，２１０Ｒ，２１０Ｌの方向にそのまま移動した位置に、警告アイコンを表示する。
【００４６】
例えば、図５に示すように、左側エリア画像２１０Ｌに進入物Ｑ１があった場合、表示処理部１５は、車両に対して左側の警告エリア４３０Ｌに、警告アイコン４２１を点滅表示する。このとき、左側エリア画像２１０Ｌ上の進入物Ｑ１の位置（中心位置）を、車両に対して左側（図５では下方）にそのまま移動した位置に、警告アイコン４２１を表示する。また、後方エリア画像２１０Ｂに進入物Ｑ２があった場合、表示処理部１５は、車両に対して後側の警告エリア４３０Ｂに、警告アイコン４２２を点滅表示する。このとき、後方エリア画像２１０Ｂ上の進入物Ｑ２の位置（中心位置）を、車両に対して後側（図５では右方向）にそのまま移動した位置に、警告アイコンを表示する。
【００４７】
なお、警告アイコンを表示するとき、主制御部１１は、音声処理部１６を介して、音声出力装置５０に、警告を示す効果音やメッセージを出力してもよい。
【００４８】
次に、表示処理部１５は、車両状態取得部１７を介して、車両が停止中か否か判定する（図４のＳ２１）。そして、停止中の場合（Ｓ２１でＹ）、Ｓ１６に戻って処理が続行されるようにする。
【００４９】
一方、停止中でなくなった場合（Ｓ２１でＮ）、表示処理部１５は、Ｓ１１に戻って、処理が続行されるように、カメラ画像処理部に指示をする。
【００５０】
以上、図４のフローについて説明した。
【００５１】
なお、図４に示した処理の順番は、本発明の目的が達成できる範囲において適宜変更が可能である。
【００５２】
本実施形態によれば、車両周辺の領域に進入した物体がある場合に、単に撮像画像を表示するのではなく、撮像画像の枠外に、進入物の存在を強調して表示することができる。したがって、車両周辺に存在する障害物について、ユーザにより確実に気が付かせることができる。
【００５３】
また、進入物の存在を、存在する方向に対応して表示するので、ユーザに注意を喚起すべき方向を容易に知らせることができる。
【００５４】
本発明は、上記実施形態に制限されない。上記実施形態は、様々な変形が可能である。
【００５５】
例えば、図６に示すように、警告エリア４２０に、進入物の移動方向を示してもよい。かかる場合、表示処理部１５は、所定期間内に連続して撮像された撮像画像（地上投影画像）に基づいて、進入物の移動方向を求める。例えば、表示処理部１５は、カメラ画像の中でその進入物を示すドットの塊が占める領域のサイズを求め、そのサイズが時間経過とともに大きくなった場合、その進入物は接近していると判定する。逆に、小さくなっている場合、その進入物は遠ざかっていると判定する。そして、図６に示すように、警告エリア４２０に、進入物Ｑ１，Ｑ２の移動方向４２３、３２４を表示する。
【００５６】
こうすれば、ユーザは、進入物が車両に近づくものなのか、遠ざかるものなのか容易に理解することができる。
【００５７】
また、表示処理部１５は、一旦進入物を検知して警告アイコンを表示した場合、その進入物が地上投影画像上に存在しなくなっても、所定期間（例えば、１０秒）、警告の表示を継続するようにすることができる。こうすれば、また進入する可能性がある障害物（例えば、猫）がある場合に、ユーザに対してその方向に対する注意を喚起することができる。かかる場合、表示処理部１５は、現在撮像されている進入物の警告アイコンの表示態様と、一旦消えた進入物の警告アイコンの表示態様とを、色を変えるなど、異ならせることができる。
【００５８】
なお、本発明は、経路探索や経路誘導を行う車載用ナビゲーション装置に適用することができる。
【００５９】
また、通信ネットワークにより撮像画像を外部の機器に送信して、外部の機器において、上記した方法で撮像画像を表示するようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】図１は、本発明の一実施形態が適用された車両周辺監視装置の概略構成図である。
【図２】図２は、カメラの搭載位置を示す図である。
【図３】図３は、撮像画像を地上面に投影する様子を示す図である。
【図４】図４は、表示処理のフロー図である。
【図５】図５は、画面表示例を示す図である。
【図６】図６は、画面表示例を示す図である。
【符号の説明】
【００６１】
１…車両周辺監視装置、
１０…制御装置、１１…主制御部、１２…カメラ制御部、１３…カメラ画像処理部、１４…入力内容解析部、１５…表示処理部、１６…音声処理部、１７…車両状態取得部
２０…カメラ、
３０…入力装置、
４０…表示装置、
５０…音声出力装置
６０…現在位置算出装置
【特許請求の範囲】
【請求項１】
車両周辺監視装置であって、
車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、
前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、
表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
前記第１の表示エリアには、前記撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
車両周辺監視装置であって、
車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得手段と、
前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定手段と、
表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、
前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に応じた前記第２の表示エリア中の位置に、進入物の存在を表示する表示手段と
を備えることを特徴とする車両周辺監視装置。
【請求項３】
請求項１に記載の車両周辺装置であって、
車両の停止又は移動速度を検知する車両状態判定手段を備え、
前記表示手段は、
前記車両状態判定手段により車両の停止又は所定速度以下の移動を検知した場合で、かつ
前記進入物判定手段で進入物が存在すると判定された場合に、前記進入物の存在を表示する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１に記載の車両周辺装置であって、
前記第１の表示エリアは、
前記車両位置を中心とした長方形のエリアであり、
前記第２の表示エリアは、当該第１の表示エリアの外枠のエリアである
ことを特徴とする車両周辺監視装置。
【請求項５】
請求項１に記載の車両周辺監視装置であって、
前記表示手段が前記進入物の存在を表示する場合、進入物の存在を知らせる音声を出力する音声出力手段を備える
ことを特徴とする車両周辺監視装置。
【請求項６】
請求項１に記載の車両周辺監視装置であって、
前記進入物の移動方向を判定する移動方向判定手段を備え、
前記表示手段は、
前記進入物の存在を表示する場合、
前記移動方向判定手段で判定された移動方向とともに表示する
ことを特徴とする車両周辺監視装置。
【請求項７】
請求項１に記載の車両周辺監視装置であって、
前記カメラの視点位置と撮像方向に基づいて、前記カメラの撮像画像を地上面に投影した地上投影画像に変換する画像変換手段を備え、
前記表示手段は、
前記画像変換手段で変換した画像を前記第１の表示エリアに表示する
ことを特徴とする車両周辺監視装置。
【請求項８】
車両周辺監視装置の表示方法であって、
車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得ステップと、
前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定ステップと、
表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
前記第１の表示エリアには、前記撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示ステップと
を行うことを特徴とする車両周辺監視装置の表示方法。
【請求項９】
車両周辺監視装置の表示方法であって、
車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得ステップと、
前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定ステップと、
表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、
前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に応じた前記第２の表示エリア中の位置に、進入物の存在を表示する表示ステップと
を行うことを特徴とする車両周辺監視装置の表示方法。
【請求項１】
車両周辺監視装置であって、
車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得手段と、
前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定手段と、
表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
前記第１の表示エリアには、前記撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
車両周辺監視装置であって、
車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得手段と、
前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定手段と、
表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、
前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に応じた前記第２の表示エリア中の位置に、進入物の存在を表示する表示手段と
を備えることを特徴とする車両周辺監視装置。
【請求項３】
請求項１に記載の車両周辺装置であって、
車両の停止又は移動速度を検知する車両状態判定手段を備え、
前記表示手段は、
前記車両状態判定手段により車両の停止又は所定速度以下の移動を検知した場合で、かつ
前記進入物判定手段で進入物が存在すると判定された場合に、前記進入物の存在を表示する
ことを特徴とする車両周辺監視装置。
【請求項４】
請求項１に記載の車両周辺装置であって、
前記第１の表示エリアは、
前記車両位置を中心とした長方形のエリアであり、
前記第２の表示エリアは、当該第１の表示エリアの外枠のエリアである
ことを特徴とする車両周辺監視装置。
【請求項５】
請求項１に記載の車両周辺監視装置であって、
前記表示手段が前記進入物の存在を表示する場合、進入物の存在を知らせる音声を出力する音声出力手段を備える
ことを特徴とする車両周辺監視装置。
【請求項６】
請求項１に記載の車両周辺監視装置であって、
前記進入物の移動方向を判定する移動方向判定手段を備え、
前記表示手段は、
前記進入物の存在を表示する場合、
前記移動方向判定手段で判定された移動方向とともに表示する
ことを特徴とする車両周辺監視装置。
【請求項７】
請求項１に記載の車両周辺監視装置であって、
前記カメラの視点位置と撮像方向に基づいて、前記カメラの撮像画像を地上面に投影した地上投影画像に変換する画像変換手段を備え、
前記表示手段は、
前記画像変換手段で変換した画像を前記第１の表示エリアに表示する
ことを特徴とする車両周辺監視装置。
【請求項８】
車両周辺監視装置の表示方法であって、
車両に搭載されたカメラから前記車両の周辺の撮像画像を取得する撮像画像取得ステップと、
前記撮像画像の経時変化に基づいて、当該撮像画像の撮像範囲への進入物の有無を判定する進入物判定ステップと、
表示装置の画面上に、第１の表示エリアと第２の表示エリアとを設け、
前記第１の表示エリアには、前記撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が有ると判定された場合に、当該進入物の存在を表示する表示ステップと
を行うことを特徴とする車両周辺監視装置の表示方法。
【請求項９】
車両周辺監視装置の表示方法であって、
車両に搭載された複数のカメラから前記車両の周辺の複数の撮像範囲における撮像画像を取得する撮像画像取得ステップと、
前記撮像画像ごとの経時変化に基づいて、当該撮像画像の撮像範囲への進入物の存在を判定する進入物判定ステップと、
表示装置の画面上に、第１の表示エリアと、当該第１の表示エリアの周囲に配された第２の表示エリアとを設け、
前記第１の表示エリアには、車両位置に相当する位置を中心にして、対応する位置に、前記複数の撮像範囲における撮像画像を表示し、
前記第２の表示エリアには、前記進入物判定手段で進入物が存在すると判定された場合に、当該進入物の存在が判定された撮像画像を表示する前記第１の表示エリア中の位置に応じた前記第２の表示エリア中の位置に、進入物の存在を表示する表示ステップと
を行うことを特徴とする車両周辺監視装置の表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−１７４０７６（Ｐ２００８−１７４０７６Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−８９４１（Ｐ２００７−８９４１）
【出願日】平成１９年１月１８日（２００７．１．１８）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月１８日（２００７．１．１８）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
[ Back to top ]