移動体監視装置及び移動体の監視方法
【課題】監視に用いられる車両の撮像画像の露光不足を防止する。
【解決手段】車両の周囲に光を照射するヘッドライト2a,バックライト2b,ストップライト2c,ハザードライト2d,室内灯2eと、車両の周囲を撮像するカメラ1a〜1eとを備え、ヘッドライト2a,バックライト2b,ストップライト2c,ハザードライト2d,室内灯2eのうち何れか一つ以上を点灯させた後に、カメラ1に車両Vの周囲を撮像させる制御装置10を備える監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを備えた車両監視システム1000を提供する。
【解決手段】車両の周囲に光を照射するヘッドライト2a,バックライト2b,ストップライト2c,ハザードライト2d,室内灯2eと、車両の周囲を撮像するカメラ1a〜1eとを備え、ヘッドライト2a,バックライト2b,ストップライト2c,ハザードライト2d,室内灯2eのうち何れか一つ以上を点灯させた後に、カメラ1に車両Vの周囲を撮像させる制御装置10を備える監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを備えた車両監視システム1000を提供する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両などの移動体に設置されたカメラを利用して、移動体の周囲を監視する移動体監視装置及び移動体の監視方法に関する。
【背景技術】
【0002】
この種の装置に関し、外部からの刺激の検知結果に基づいて、対象物に対して不法行為が行われる可能性が高い場合には、監視対象物をカメラで撮像し、撮像した画像を外部の携帯電話等に送出する防犯装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−107279号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、監視対象物を夜間に撮像すると、露光不足のために撮像画像が不明瞭になり、携帯電話に送られてきた撮像画像では監視対象物の周囲の状況が分かりにくいという問題がある。
【0005】
本発明が解決しようとする課題は、移動体を監視する際に、夜間などの周囲が暗いときに移動体を撮像する場合であっても、露光不足によって撮像画像が不明瞭となることを防止することである。
【課題を解決するための手段】
【0006】
本発明は、移動体の周囲が暗い場合には、移動体に設けられたライトを点灯し、その後にカメラにこの移動体の周囲を撮像させることにより、上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、カメラで移動体の周囲を撮像する前に、ライトを点灯して移動体周囲に光を照射するので、夜間など周囲が暗い状況で撮像を行う場合であっても、露光不足によって撮像画像が不明瞭となることを防止することができる。この結果、移動体の周囲の状況が分かり易い撮像画像を得ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る本実施形態の監視装置を含む車両監視システムの構成図である。
【図2】超音波センサ及びカメラの設置例を示す図である。
【図3A】ライトのオン/オフ制御の一例を示す図である。
【図3B】ライトのオン/オフ制御の他の例を示す図である。
【図4】ライトのオン/オフのタイミングと、カメラの撮像タイミングの一例を示す図である。
【図5A】物体未検出時におけるライトのオン/オフのタイミングと、カメラの撮像タイミングを示す図である。
【図5B】物体検出時におけるライトのオン/オフのタイミングと、カメラの撮像タイミングを示す図である。
【図6】物体が検出され画像を撮像したカメラと、ライトの制御手法を対応づけた対応情報の一例を示す図である。
【図7】ライトのオン/オフのタイミングと、カメラの撮像タイミングの他の例を示す図である。
【図8】本発明の実施形態に係る車両監視システムの制御手順を示すフローチャート図である。
【図9】外部端末装置を介して提示される撮像画像の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る移動体監視装置を、車両を監視するための車両監視システム1000に適用した場合を例にして説明する。なお、監視の対象となる移動体は車両に限定されず、本発明に係る移動体監視装置は二輪車、船、重機、フォークリフト等を監視することもできる。
【0010】
図1は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図1に示すように、本実施形態の車両監視システム1000は、車両に設置された5つのカメラ1a〜1eと(以下、カメラ1と総称することもある)、同じく車両に設置された光源として機能する5つのライト2a〜2e(以下、ライト2と総称することもある)と、監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ500と、ポジショニングスイッチ600と、出力装置300とを、さらに備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
【0011】
また、本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部端末装置800(コンピュータ)と相互に通信が可能である。また、外部端末装置800は、監視装置100から通信装置810を介して取得した車両その他の移動体の監視に関する監視情報をディスプレイ821やスピーカ822を含む出力装置820を用いて出力することができる。外部端末装置800を所持するユーザは、監視装置100から送出された移動体の監視情報を、外部端末装置800を用いて視聴することができる。
【0012】
図2は、カメラ1a〜1eを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1eはCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル近傍などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(以下、フロントビュー画像という)を撮影する。左サイドミラーなどの車両Vの左側方の所定位置に設置されたカメラ1dは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(以下、左サイドビュー画像という)を撮影する。ルーフスポイラーなどの車両Vの後方の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(以下、リアビュー画像という)を撮影する。右サイドミラーなどの車両Vの右側方の所定位置に設置されたカメラ1bは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(以下、右サイドビュー画像という)を撮影する。車室内のバックミラー近傍などの車両Vの運転席の前方の所定位置に設置されたカメラ1eは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(以下、フロントビュー画像という)を撮影する。カメラ1eはカメラ1aと同じ方向を撮像するが、カメラ1eの方が配置される位置が高いので、より遠くの領域までを広く撮像することができる。なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。
【0013】
カメラ1a〜1eは、撮像した画像にタイムスタンプを付して制御装置10へ送出する。制御装置10は、カメラ1a〜1eによって撮像された撮像画像をそれぞれ取得する。撮像された画像は、後述する画像処理に供され、経時的な順序に従いRAM13に記憶される。制御装置10は、外部端末装置800の要求又は予め規定された監視結果報告手順に従って、通信装置400を介して撮像された画像を外部端末装置800へ送出する。
【0014】
本実施形態の監視装置100は、カメラ1により撮像された画像をタイムスタンプに従い経時的に接続した連続監視画像を生成することができる。本実施形態の監視装置100によれば、時間の経過を追って車両Vの周囲の様子を動画で示すことができる。ユーザは、車両Vの周囲の様子の変化を連続的に確認することができる。また、露光が十分な状態で撮像された画像を繋ぐので、分かり易い動画を作成することができる。
【0015】
また、図2は、本発明の実施形態におけるライト2a〜2eを車両Vに取り付けた場合の配置例を示す図である。本実施形態におけるライト2は、車両の周囲に光を照射する光源(ランプ)である。本実施形態のライト2は、車両Vの前方に光を照射する二つのヘッドライト2a、車両Vの後方に光を照射するバックライト2b、ストップライト2c、車両Vの側方乃至前方に光を照射する二つのハザードライト2d、車両Vの室内に光を照射することにより、車両Vのフロントウィンドウ越しに前方を照らし、車両Vのサイドウィンドウ越しに側方を照らし、車両Vのバックウィンドウ越しに後方を照らす室内灯2eと、を含む。なお、本実施形態では、新たなコストを発生させない観点から、車両Vに搭載されているヘッドライト等を利用するが、別途ライト2を監視対象となる車両Vなどの移動体に設置することができる。この場合において、ライト2の配置数及び配置位置は、車両Vの大きさ、形状、光の照射領域に応じて適宜に決定することができる。
【0016】
また、本実施形態では、本実施形態のライト2の光の照射方向を調節する照射方向調節装置4をさらに備えている。照射方向調節装置4は、ライト2の向きを変動させる駆動装置を備え、ライト2が照射する光の光軸方向を可変とする装置である。本実施形態では、車両Vに搭載され、車両Vの操舵方向に光軸を向けて車両Vの進行方向に光を照射するAFS(Adaptive Front-Lighting System)を、照射方向調節装置4として利用することができる。
【0017】
なお、上述した複数のカメラ1及びライト2は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1及び各ライト2のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1及び特定のライト2に起動命令(撮像命令、照射命令)、撮像方向、照射方向その他の命令を送出することができる。
【0018】
また、同図に示すように、本実施形態に係る監視装置100の制御装置10は、カメラ1とライト2の動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
【0019】
本実施形態に係る監視装置100の制御装置10は、明るさ判断機能と、起動命令取得機能と、物体検出機能と、制御機能と、画像調整機能と、を備えている。本実施形態の制御装置10は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により上記機能を実行することができる。なお、本実施形態では、制御装置10がカメラ1a〜1e、ライト2a〜2e、出力装置300、通信装置400の制御命令を送る態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1a〜1e、ライト2a〜2e、出力装置300、通信装置400を制御することも可能である。
【0020】
以下に、監視装置100の制御装置10が実現する各機能について説明する。
【0021】
まず、本実施形態の制御装置10の周囲の明るさ判断機能について説明する。本発明の本実施形態に係る監視装置100は、車両Vなどの移動体の周囲の明るさを判断する。この明るさの判断の手法は限定されず、たとえば、各地点の日没時間を含む暦情報Cを参照し、タイマーWが計時する現在時刻に基づいて、現在時刻が日没後又は日没時刻から所定時間以降である場合に移動体の周囲の明るさが所定値未満であると判断することができる。また、監視装置100は、常に暗い屋内の駐車空間などの監視地点が予め定義された監視地点情報Mを参照し、車両コントローラ200が取得可能なGPS情報(現在位置情報)に基づいて、現在位置が監視地点と所定距離未満である場合に、移動体の周囲の明るさが所定値未満であると判断することができる。
【0022】
本発明の本実施形態に係る監視装置100は、明るさ判断機能の一態様として、明るさを検知する明るさ検知機能を備えることができ、明るさ検知機能により検知された明るさの値に基づいて、車両Vの周囲の明るさを判断する。明るさを検知する具体的な手法は特に限定されないが、撮像時におけるカメラ1の撮像素子の光量に基づいて撮像領域の明るさを検出することができる。明るさは、最初の撮像における撮像素子の光量の平均値、中央値などの代表値を用いることができる。また、明るさを検出するために別途照度センサ3を車両に設け、制御装置10はこの照度センサ3から明るさの情報を取得することができる。
【0023】
そして、本実施形態の制御装置10は、検出した車両Vの周囲の明るさが所定値未満である、つまり、車両Vの周囲が所定の暗さである場合に、後述する制御機能を実行することができる。これにより、車両周囲が暗くなった場合には、本実施形態の車両監視システム1000を自動的に起動させることができる。なお、車両Vの周囲の明るさが所定値以上である場合には、通常のカメラ1の撮影による監視を実行すればよい。
【0024】
また、本実施形態の制御装置10は、車両周囲の明るさに応じて、照射方向調節装置4によりライト2の光の照射方向を調節することができる。具体的に制御装置10は、明るさ検知機能が検出した明るさが所定値未満である場合、すなわち、車両Vの周囲が暗い場合には、ライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、照射方向調節装置4に送出する。
【0025】
各ライト2a〜2eの光の照射方向は、予め車両コントローラ200に読み出し可能に記憶されている。鉛直方向とは、車両Vの載置面(路面)に対して垂直な方向である。ライト2の照射方向と鉛直方向とのなす角度が大きい場合には、ライト2の光軸は路面方向を向き、光の照射範囲が小さくなるので、周囲の明るさが相対的に低くなる。他方、ライト2の照射方向と鉛直方向とのなす角度が小さい場合には、ライト2の光軸は路面から上の方向(路面から離隔する方向)を向き、光の照射範囲が大きくなるので、周囲の明るさが相対的に高くなる。このため、本実施形態では、車両Vの周囲が所定値よりも暗い場合には、ライト2の照射方向を上向き(路面から離隔する方向)に変更させることにより車両Vの周囲の明るさを向上させる。これにより、ライト2を照射しても周囲が暗くて露光不足になるような場合であっても、ライト2の照射方向を上向きにすることにより、車両Vの周囲の明るさを向上させることができる。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0026】
次に、本実施形態の制御装置10の起動命令取得機能について説明する。本実施形態の制御装置10は、外部端末装置800から通信装置400を介して起動命令を取得し、この起動命令を取得した場合に、後述する制御機能を実行することができる。これにより、ユーザは、車両Vを降車した後に、遠隔操作によって車両監視システム1000を起動させて、車両Vを監視することができる。
【0027】
続いて、本実施形態の制御装置10の物体検出機能について説明する。本実施形態の制御装置10は、カメラ1により撮像された撮像画像から移動物体を検出することができる。具体的に、本実施形態の制御装置10は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備え、この画像処理コントロールユニットを用いて、撮像画像を解析し、撮像データから物体に対応する画像を抽出することができる。
【0028】
また、制御装置10は、物体が抽出された画像を撮像したカメラ1を特定し、特定されたカメラ1の撮像領域に基づいて画像から抽出された物体の存在位置を判断することができる。例えば、カメラ1aの撮像した画像から物体が検出された場合には、カメラ1aの撮像領域であるSP1及びその前方領域に物体が存在すると判断することができる。そして、物体に対応する画像の座標(撮像画像全体を基準とする位置)に基づいて、物体の存在する方向をより正確に判断することができる。
【0029】
さらに、制御装置10は、抽出した画像に基づいて物体の動きを追跡し、経時的な物体の位置の変化を記憶することができる。さらに、制御装置10は、経時的な物体も対応する画像の位置の変化に基づいて、物体の移動速度を求めることができる。物体検出機能を実行することにより得られた結果は、制御装置10の制御機能の実行において利用される。これにより、制御装置10は、物体が存在するか否か、物体が移動物体であるか否か、及び/又は移動物体が速い速度(所定値以上の速度)で移動しているか否かを含む物体検出結果を得ることができる。
【0030】
加えて、制御装置10は、この経時的な物体の位置の変化に基づいて、車両Vの状態が異常であるか否かを判断することができる。例えば、制御装置10は、検出した物体に対応する画像が所定時間以上に渡って抽出される場合には、物体が車両Vの近傍に所定時間以上滞在していると判断し、車両Vの状態が異常であると判断することができる。また、物体を捉えた画像は、経時的に制御装置10内の画像メモリに記憶することができる。なお、これらの画像処理には、出願時に用いられる手法を用いることができる。
【0031】
続いて、制御機能について説明する。本実施形態の制御装置10は、ライト2を点灯させた後に、カメラ1に車両Vの周囲を撮像させる。このように、カメラ1で車両Vの周囲を撮像する前にライト2を点灯するので、夜間に車両Vを撮像する場合であっても露光不足になることがない。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0032】
本実施形態の制御装置10は、ライト2の点灯と消灯を制御する。ライト2の点灯は、車両Vに設けられているすべてのライト2を同時に点灯してもよいし、選択された1又は複数のライト2のみを点灯することもできる。また、ユーザにより外部端末装置800を介して特定されたライト2のみを点灯させることもできる。なお、これらの制御は車両コントローラ200を介して行うことができる。
【0033】
また、各ライト2の点灯の態様も限定されない。本実施形態の制御装置10は、図3Aに示すように、点灯Sから消灯Eまでの間、所定時間に渡ってライト2に光の照射を継続させることができる。また、本実施形態の制御装置10は、図3Bに示すように、点灯及び消灯を繰り返すことにより、ライト2を間欠的に点灯させることができる。このように、ライト2を間欠的に点灯させる場合には、監視処理に要する電力の消費量を低減させることができる。本実施形態の監視処理は車両が停車しているときにも行われるため、エンジン停止中のバッテリの電力を消費する。これを考慮し、本実施形態のようにライト2を間欠的に点灯させることにより、バッテリの電力消費量を抑制することができる。なお、間欠点灯が可能なハザードライト2dのみに間欠点灯をさせることも可能である。ハザードライト2dはそもそも間欠点灯が可能であるので、監視処理時の間欠点灯のために新たな部材や回路を設ける必要がなく、新たなコストの発生を防止することができる。
【0034】
また、本実施形態の制御装置10は、カメラ1の撮像動作を制御する。本実施形態の制御装置10は、ライト2を間欠的に点灯させる場合において、ライト2が車両Vの周囲に光を照射しているときに、カメラ1に車両Vの周囲を撮像させる。特に限定されないが、本実施形態の制御装置10は、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定することができる。ライト2の点灯のタイミングにとカメラ1の撮像のタイミングとの関係は、ライト2の照射光の強さ、ライト2の照射方向、車両Vの大きさなどに基づいて予め定義することができる。
【0035】
図4にライト2の点灯のタイミングとカメラ1の撮像のタイミングとの関係の一例を示す。図4の上側の図は、ライト2を間欠的に点灯する場合にオン/オフ制御を示す図であり、図4の下側の図は、撮像タイミングST500,ST501,ST510,ST511,ST520,ST521を示す図である。
【0036】
図4に示すように、ライト2の点灯タイミングSから所定時間経過後であって消灯タイミングEの前のタイミングST500でカメラ1に車両Vの周囲を撮像させる。このタイミングST500においては、画像の明るさが所定値B以上であることが好ましい。また、本実施形態の制御装置10は、消灯タイミングEから所定時間経過後であって次の点灯タイミングSの前のタイミングST501でカメラ1に車両Vの周囲を撮像させる。このタイミングST501においても、画像の明るさが所定値B以上であることが好ましい。
【0037】
このように、車両Vの周囲が適切な明るさであるタイミングを選んで、カメラ1で車両Vの周囲を撮像することにより、ライト2の点灯及び消灯により撮像画像が明るくなったり暗くなったりすることを防ぐことができる。つまり、露光が適切であり、かつ一定の明るさの監視画像を得ることができる。
【0038】
また、本実施形態の制御装置10は、先述した物体検出機能による物体の検出結果に応じて、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。本実施形態の制御装置10は、物体検出機能により物体又は移動物体が検出された場合には、ライト2の点灯から次の点灯までの時間を短くすることができる。具体的に、物体又は移動物体が未検出である場合には、図5Aに示すタイミングでライト2を間欠的に点灯し、カメラ1で撮像するが、物体又は移動物体が検出された場合には、図5Bに示すタイミングでライト2を間欠的に点灯しつつ、カメラ1で撮像する。図5Bに示すように、物体又は移動物体が検出された場合の点灯タイミングS11から次の点灯タイミングS21までの時間K2は、図5Aに示す、物体又は移動物体が未検出である場合の点灯タイミングS1から次の点灯タイミングS2までの時間K1よりも短い。このように、物体又は移動物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させることにより、これに伴う撮像周期を短くできるので、単位時間あたりにより多くの画像を撮像することができる。この結果、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0039】
さらに、本実施形態の制御装置10は、カメラ1により撮像された撮像画像に基づいて移動物体の移動速度を求める移動物体検出機能を実行し、移動物体の移動速度に応じて、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。具体的に、本実施形態の制御装置10は、移動物体の移動速度が速いほど、ライト2の点灯から次の点灯までの時間を短縮することができる。具体的に、移動物体の速度がV1(V1<V2)である場合には、図5Aに示すタイミングでライト2を間欠的に点灯しつつカメラ1で撮像し、移動物体の速度がV2(V1<V2)である場合には、図5Bに示すタイミングでライト2を間欠的に点灯しつつカメラ1で撮像する。図5Bに示すように、移動物体の速度がV2(V1<V2)である場合の点灯タイミングS11から次の点灯タイミングS21までの時間K2は、図5Aに示す、移動物体の速度がV1(V1<V2)である場合の点灯タイミングS1から次の点灯タイミングS2までの時間K1よりも短い。このように、物体の移動速度が所定値以上であるなど、相対的に速く移動する物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させることにより、これに伴う撮像周期を短くできるので、単位時間あたりにより多くの画像を撮像することができる。この結果、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0040】
加えて、本実施形態の制御装置10は、カメラ1により撮像された撮像画像に基づいて移動物体の位置を求める移動物体検出機能を実行し、本機能の実行により求められた移動物体の存在位置に応じて、点灯するライト2の選択、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。
【0041】
本実施形態の制御装置10は、検出された移動物体の存在位置を判断し、その移動物体の存在位置の方向に光を照射するライト2を選択し、選択されたライト2のみを点灯させることができる。また、選択されたライト2を継続的又は間欠的に点灯させることができ、併せて、選択されたライト2を間欠的に点灯する場合には、点灯から次の点灯までの時間を制御することができる。点灯から次の点灯までの時間を短くすることで、点灯周期及び撮像周期を短くすることができる。
【0042】
本実施形態の制御装置10は、移動物体の存在位置に応じたライト2の制御内容が予め定義された対応情報Tを有している。本実施形態の対応情報Tは、移動物体が検出された画像を撮像したカメラ1と、点灯するライト2及び消灯するライト2、及びライト2の点灯周期とが予め対応づけられている。ちなみに、カメラ1の配置及び撮像領域とライト2の配置及び照射領域とに基づいて、カメラ1と、このカメラ1が撮像した物体に光を照射できるライト2とは予め対応づけておくことができるため、移動物体が検出された画像を撮像したカメラ1を識別することにより、その移動物体の存在位置に応じたライト2の点灯制御を行うことができる。
【0043】
図6は、対応情報Tの一例を示す図である。図6に示す対応情報Tにおいては、カメラ1aが撮像した画像から物体が検出された場合には、ヘッドライト2aのみを点灯し、物体に光を照射し、ヘッドライト2a以外のライト2はすべて消灯する制御が定義されている。また、対応情報Tにおいては、ヘッドライト2aの点灯周期を短くする制御が定義されている。
【0044】
制御装置10は、物体検出機能の実行において物体が検出された画像を撮像したカメラ1の識別子に基づいて、対応情報Tを参照し、点灯するライト2を特定するとともに消灯するライト2を特定する。さらに、点灯するライト2の点灯周期を決定する。そして、制御装置10は、特定されたライト2の識別子とともに、点灯命令及び点灯周期の変更命令を送出する。同時に、制御装置10は、特定されたライト2以外の各ライト2の識別子とともに、消灯命令を送出する。これにより、制御装置10は、物体を撮像したカメラ1の識別子に基づいて、検出された移動物体に光を照射するライト2のみを点灯することができる。このように、物体が存在する領域に光を照射するライト2のみを点灯するので、監視処理のために消費される電力を低減させることができる。しかも、監視処理において注目すべき物体に光を照射するので、高い監視水準を維持することができる。
【0045】
この場合において、本実施形態の制御装置10は、移動物体の存在位置に基づいてライト2による光の照射方向を算出する。そして、制御装置10は、このライト2の光の照射方向に基づいて照射方向補正指令を生成する。先述したように、物体検出機能は、検出された物体に対応する画像の座標(撮像画像全体を基準とする位置座標)に基づいて、物体の存在する方向をより正確に判断することができる。このため、制御装置10は、車両Vを基準とする物体の存在する方向と、車両Vを基準とするライト2の光の照射方向とを比較し、その差に基づいて照射方向補正指令を生成する。この照射方向補正指令は、AFS(Adaptive Front-Lighting System)を備える照射方向調節装置4に送出される。照射方向補正指令が実行されると、ライト2の光の照射方向が変更され、ライト2の光が物体に照射される。このように、物体の位置に応じて光の照射方向を補正することにより、移動物体の動きに合わせて光を照射することができるので、最も注意すべき移動物体を撮像した画像が露光不足となることを防ぐことができる。
【0046】
最後に、本実施形態の制御装置10の画像調整機能について説明する。本実施形態の制御装置10は、カメラ1により撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整することができる。
【0047】
予め定義される明るさの基準は、制御装置10のRAM13に記憶しておいてもよいし、最初に撮像された画像について明るさを求めて、これを明るさの基準として予め定義しておくこともできる。本実施形態の制御装置10は、最初に撮像された画像の明るさ又は予め定義した画像の明るさを「明るさの基準」として記憶しておき、複数の撮像画像の明るさをこの「明るさの基準」に基づいて調整する。
【0048】
図7は、ライト2のオンオフの制御パターンと、カメラ1に撮像した場合の画像の明るさとを示す図である。図7の下側のグラフに示すように、ライト2のオンオフが所定周期で行われても、画像の明るさが同じパターンで変化するとは限らない。具体的には図7の下側のグラフの左から2番目(真中)の明るさの変化パターンのように他のタイミングにおける明るさの変化パターンとは異なる場合がある。
【0049】
本実施形態では、異なるタイミングで撮像された画像が同じ明るさとなるように、撮像された画像の明るさを、予め定義した明るさの基準(の明るさ)に一致又は明るさの差分が所定値以下とする補正を行う。たとえば、明るさの基準をB0と設定した場合において、図7に示すタイミングST510で撮像した画像の明るさがB1であるときには、画像の明るさの基準をB0に増加させ、タイミングST511で撮像した画像の明るさがB2であるときには、画像の明るさの基準をB0に低下させる。これにより、経時的に撮像された複数の画像の明るさが統一されるので、ユーザが複数の画像を見比べるなどの操作を行う場合においても見易い画像を提示することができる。特に、撮像された画像を経時的に接続して連続監視画像を生成する場合には、明るさが統一されるので動画として違和感のない連続監視画像を提示することができる。
【0050】
なお、明るさの調整手法は特に限定されず、制御装置10は、出願時において知られている、濃度値の変換、コントラスト補正、ガンマ補正、濃度値のヒストグラム変換その他の明るさを調整するための画像処理手法を用いことができる。
【0051】
続いて、図8のフローチャート図に基づいて、本実施形態の監視システム1000の制御手順を説明する。
【0052】
まず、ステップ10において、監視装置100は、監視画像の要求を待機する。監視装置100は、監視装置100のスイッチに入力された起動命令を取得した場合、又は外部端末装置800から取得した起動命令を取得した場合に監視画像の要求を取得したと判断し、ステップ20へ進む。なお、監視画像の要求を待つことなく、時間や場所に基づいて周囲が暗いと判断した場合に、ステップ20以降を実行することもできる。
【0053】
ステップ20において、監視装置100は、カメラ1に車両の周囲を撮像させる。
【0054】
次に、ステップ30において、監視装置100は、ステップ20における撮像処理おける撮像画素の光量に基づいて周囲の明るさを検出し、周囲の明るさが所定の閾値以下であるか否かを判断する。周囲の明るさが所定の閾値以下である場合は本実施形態の監視処理(点灯及び撮像)を実行するためにライト2を点灯する処理へ進む。他方、周囲の明るさが所定の閾値よりも大きい場合は、ライト2を点灯しなくても明瞭な画像を得ることができるので、ステップ120へ進み、撮像画像をそのまま外部端末装置800へ送出する。
【0055】
なお、図示をしていないが、ステップ30において、周囲の明るさが、設定された所定の閾値よりもさらに低い所定の閾値以下である場合には、ライト2の点灯の効果をより大きくするために、監視装置100はライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、照射方向調節装置4に送出することができる。この照射方向補正指令が実行されると、ライト2の光軸は上向き(路面とは反対方向)に向くので、光の照射可能領域が広がるため、ライト2の点灯時における周囲の明るさを向上させることができる。これにより、街灯などが無く、ライト2の点灯だけでは十分な明るさが得られない場合に、十分な明るさを確保することができる。
【0056】
ステップ40において、監視装置100は、点灯モードを判断する。間欠点灯を行う点灯モード1の場合はステップ50へ進み、常時点灯を行う点灯モード2の場合はステップ41へ進む。このモードの選択は、監視装置100が受け付けた選択入力に従ってもよいし、周囲が比較的明るい場合(明るさが第2の閾値よりも高い場合)にモード1を選択し、周囲が比較的暗い場合(明るさが第2の閾値未満である場合)にモード2を選択することもできる。本実施形態では、電力消費量の少ないモード1をデフォルトの設定とし、周囲の明るさが設定値よりも低い場合にモード2を選択する。これにより、通常は、間欠点灯のモード1で動作させて電力消費量を低減しつつ、街灯などのない暗い場所では常時点灯のモード2で動作させることができる。
【0057】
ステップ50において、監視装置100は、ライト2の点灯及び消灯を繰り返す間欠的に点灯を開始する。そして、ステップ60において、監視装置100は、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させる。この場合において、監視装置100は、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定する。例えば、図4に示すように、ライト2の点灯タイミングSから所定時間経過後に撮像を行うことができる。
【0058】
他方、ステップ41において、点灯モード2が選択された場合には、ステップ42に進み、ライト2を点灯し撮像処理が終わるまで所定時間の間、ライト2の点灯状態を継続する(常時点灯)(図3A参照)。そして、ステップ43において、監視装置100は、ライト2が点灯しているときに、カメラ1に車両Vの周囲を撮像させる。
【0059】
続くステップ70において、監視装置100は、ステップ60又はステップ43において撮像された画像から移動物体の検出を試みる。撮像画像から移動物体が検出された場合には、ステップ80へ進む。
【0060】
ステップ80において、監視装置100は、移動物体の位置を特定する。本実施形態の監視装置100は、移動物体が検出された撮像画像を取得したカメラ1の撮像領域を、移動物体の存在位置として判断する。次のステップ80において、監視装置100は、移動物体が検出された撮像画像を取得したカメラ1の撮像領域に光を照射するライト2を、点灯させるライト2として選択し、選択したライト2を点灯する。選択されたライト2以外のライト2を消灯することができる。つまり、移動物体の存在位置の方向に向けて光を照射するライト2のみを点灯させる。
【0061】
また、ステップ100において、監視装置100は、光の照射方向を調整することができる。監視装置100は、移動物体に光を照射するため、移動物体の存在位置に基づいてライト2の光の照射方向を算出し、算出した照射方向に光を照射できるように、照射方向調整装置4に照射方向補正指令を送出することができる。
【0062】
さらに、ステップ110において、監視装置100は、物体の移動速度を算出し、ステップ120において、移動物体の移動速度が速いほど、ライトの点灯から次の点灯までの時間を短縮することができる。移動物体が検出された撮像画像を取得したカメラ1と、点灯するライト2、消灯するライト2、及び点灯の周期とは、図6に示す対応情報Tのように、予め対応づけておくことができる。なお、監視装置100は、ステップ70で移動物体を検出し、点灯ライトを特定後に点灯周期を変更する制御を行うこともできる。
【0063】
ステップ130において、監視装置100は、ライト2を変更後の周期で点灯・消灯させるとともに、ライト2を点灯させた後に、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させる。
【0064】
続いて、ステップ140において、監視装置100は、ステップ20、60、130において撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整する。具体的に、監視装置100は、ステップ20において、周囲の明るさが閾値以上であるときに撮像された撮像画像の明るさを「明るさの基準」として、他の撮像画像の明るさを調整する。これにより、ステップ20、60、130において撮像された複数の撮像画像の明るさを統一させることができる。
【0065】
ステップ150において、監視装置は、撮像画像を経時的に順序づけてRAM13に記憶する。このとき、カメラ1により撮像された画像を経時的に接続した連続監視画像を生成してRAM13に記憶させることもできる。
【0066】
続いて、ステップ160において、監視装置100は、画像処理コントロールユニットを用いて撮像画像を解析し、撮像データから物体を抽出し、物体の動きを追跡するといった画像処理を実行する。さらに、ステップ170において、監視装置100は、経時的な物体の位置の変化に基づいて、車両Vの状態が異常であるか否かを判断する。本実施形態では、車両周囲で検出された物体が所定時間以上、車両周囲にとどまっている場合には、車両Vの状態が異常であると判断する。車両Vの周囲に異常が発生した場合には、ステップ180へ進む。
【0067】
ステップ180において、監視装置100は、車両Vの周囲に異常が検出された旨を車両外部に報知する。具体的に、監視装置100は、車両Vのディスプレイ301に異常を検知した旨を文字や図形で表示する、スピーカ302で異常を検知した旨を音声で出力する、車両コントローラ200を介して車両Vのライト2を点滅させ又は車両Vのホーンを鳴らすなどの報知処理を実行させることができる。この報知処理と並行して、監視装置100は、車両Vの異常が検知された旨を含む監視情報を、通信装置400を介して外部端末装置800に送出することもできる。
【0068】
最後に、ステップ190において、監視装置100は、ステップ100で記憶した撮像画像を含む監視情報を、通信装置400を介して車両Vの所有者・管理者の外部端末装置800に送出する。外部端末装置800は通信装置810を介して撮像画像を含む監視情報を取得する。外部端末装置800は、これが備えるディスプレイ821に受信した監視情報の撮像画像を表示し、又はスピーカ822を用いて異常が検知された旨をユーザに報知する。図9は、外部端末装置800のディスプレイに表示された監視情報Qの一例を示す図である。図9に示す画像は、車両Vの後方に設置されたカメラ1cの撮像画像である。このように、ユーザは、車両Vから離隔した場所で、外部端末装置800を利用して車両Vを画像により監視することができる。
【0069】
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vその他の移動体の監視方法を、カメラ1、ライト2、出力装置300、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【0070】
サーバは、車両V側に配置されたクライアントに以下の指令を送出して、本発明に係る本実施形態の監視方法を実行することができる。指令の内容は、車両Vの周囲の明るさが所定値未満である場合には、車両Vに設けられたライト2を点灯し、車両Vの周囲に光を照射させる(ステップ)、車両Vの周囲を撮像するカメラ1を起動して、当該カメラ1に車両Vの周囲を撮像する(ステップ)と、カメラ1に撮像させた移動体の周囲の監視画像に基づく監視情報を外部に送出する(ステップ)と、を含む。処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
【0071】
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
【0072】
本実施形態の監視装置100、車両監視システム1000によれば、夜間などで車両Vの周囲が暗い場合には、カメラ1で車両Vの周囲を撮像する前にライト2を点灯するので、車両Vの周囲を撮像する場合であっても露光不足になることがない。このため、露光不足によって撮像画像が不明瞭となることを防止することができる。この結果、車両V(移動体)の周囲の状況が分かり易い撮像画像を得て、これを外部へ送出することができる。
【0073】
また、監視装置100と外部端末装置800を備える車両監視システム1000によれば、車両Vから離れた位置から車両Vを映像により監視することができる。
【0074】
本実施形態における車両V(移動体)の監視方法を使用した場合においても、監視装置100、車両監視システム1000と同様の作用を奏し、同様の効果を得ることができる。
【0075】
本実施形態の監視装置100、車両監視システム1000によれば、ライト2の点灯及び消灯を繰り返し、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させるので、ライト2を間欠的に点灯させても明るさが適切な画像を得ることができる。しかも、ライト2を間欠的に点灯させることにより、監視処理に要する電力の消費量を低減させることができる。特に、本実施形態の監視処理は車両が停車しているときにも行われるため、エンジン停止中のバッテリの電力を消費するが、ライト2を間欠的に点灯させることにより、バッテリの電力消費量を抑制することができる。
【0076】
本実施形態の監視装置100、車両監視システム1000によれば、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定するので、車両Vの周囲が適切な明るさであるタイミングを選んで、カメラ1で車両Vの周囲を撮像することができる。これにより、ライト2の点灯及び消灯により撮像画像が明るくなったり暗くなったりすることを防ぐことができる。つまり、露光が適切であり、かつ一定の明るさの監視画像を得ることができる。
【0077】
本実施形態の監視装置100、車両監視システム1000によれば、カメラ1により撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整するので、経時的に撮像された複数の画像の明るさが統一される。このため、ユーザが複数の画像を見比べるなどの操作を行う場合においても見易い画像を提示することができる。特に、撮像された画像を経時的に接続して連続監視画像を生成する場合には、明るさが統一されるので動画とし見ても違和感のない連続監視画像を提示することができる。
【0078】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体が検出された場合には、ライト2の点灯から次の点灯までの時間を短くするので、単位時間あたりの点灯回数を増加させるとともに、単位時間あたりにより多くの画像を撮像することができる。このため、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0079】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の移動速度が速いほど、ライト2の点灯から次の点灯までの時間を短縮するので、移動速度の大きい物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させるとともに、これに伴い単位時間あたりにより多くの画像を撮像することができる。このため、動きの速い物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0080】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の存在位置を判断し、この移動物体の存在位置の方向に光を照射するライト2のみを点灯させるので、監視処理のために消費される電力を低減させることができる。しかも、監視処理において注目すべき物体に光を照射するので、高い監視水準を維持することができる。
【0081】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の存在位置に基づいて算出されたライト2の光の照射方向に基づいて生成された照射方向補正指令を、照射方向調節装置4に送出するので、この照射方向補正指令が実行されると、移動物体の動きに合わせて光を照射することができる。このため、最も注意すべき移動物体を撮像した画像が露光不足となることを防ぐことができる。
【0082】
本実施形態の監視装置100、車両監視システム1000によれば、カメラ1により撮像された画像を経時的に接続した連続監視画像を生成するので、時間の経過を追って車両Vの周囲の様子を動画で示すことができる。ユーザは、車両Vの周囲の様子の変化を連続的に確認することができる。
【0083】
本実施形態の監視装置100、車両監視システム1000によれば、車両Vの周囲の明るさが所定値未満である場合に、ライト2を点灯させてカメラ1に車両V(移動体)の周囲を撮像させるので、車両周囲が暗くなった場合には、本実施形態の車両監視システム1000を自動的に起動させることができる。
【0084】
本実施形態の監視装置100、車両監視システム1000によれば、車両Vの周囲の明るさが所定値未満である場合に、ライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を照射方向調節装置4に送出するので、照射方向補正指令の実行によりライト2の照射方向を上向きにすることができる。これにより、周囲が暗くて、ライト2を照射しても露光不足になるような場合であっても、ライト2の照射方向がより上向きになるので車両Vの周囲の明るさを向上させることができる。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0085】
本実施形態の監視装置100、車両監視システム1000によれば、外部端末装置800から起動命令を取得した場合に、ライト2を点灯させた後にカメラ1に車両Vの周囲を撮像させるので、ユーザは車両Vを降車した後であっても、遠隔操作によって車両監視システム1000を起動させて、車両Vを監視することができる。
【0086】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【0087】
本明細書では、本発明に係る移動体監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
【0088】
本明細書では、本発明に係る移動体監視装置の一態様として、カメラ1及びライト2を制御可能な、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。また、本明細書では、起動命令取得手段と、明るさ判断手段(明るさ検知手段を備えることができる)と、照射方向調節手段と、物体検出手段と、画像調整手段とを有する本発明に係る移動体監視装置の一態様として、監視装置100を説明するが、これに限定されるものではない。
【0089】
本明細書では、本発明に係る移動体監視システムの一態様として、ライト2a〜2e、カメラ1a〜1e、及び監視装置100、車両コントローラ200、通信装置400、及び外部端末装置800を備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【0090】
1000…車両監視システム(移動体監視システム)
1,1a〜1e…カメラ
2…ライト,2a…ヘッドライト,2b…バックライト,2c…ストップライト,2d…ハザードライト,2e…室内灯
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
200…車両コントローラ
300…出力装置
301…ディスプレイ
302…スピーカ
400…通信装置
500…イグニッションスイッチ
600…ポジショニングスイッチ
800…外部端末装置
T…対応情報
【技術分野】
【0001】
本発明は、車両などの移動体に設置されたカメラを利用して、移動体の周囲を監視する移動体監視装置及び移動体の監視方法に関する。
【背景技術】
【0002】
この種の装置に関し、外部からの刺激の検知結果に基づいて、対象物に対して不法行為が行われる可能性が高い場合には、監視対象物をカメラで撮像し、撮像した画像を外部の携帯電話等に送出する防犯装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−107279号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、監視対象物を夜間に撮像すると、露光不足のために撮像画像が不明瞭になり、携帯電話に送られてきた撮像画像では監視対象物の周囲の状況が分かりにくいという問題がある。
【0005】
本発明が解決しようとする課題は、移動体を監視する際に、夜間などの周囲が暗いときに移動体を撮像する場合であっても、露光不足によって撮像画像が不明瞭となることを防止することである。
【課題を解決するための手段】
【0006】
本発明は、移動体の周囲が暗い場合には、移動体に設けられたライトを点灯し、その後にカメラにこの移動体の周囲を撮像させることにより、上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、カメラで移動体の周囲を撮像する前に、ライトを点灯して移動体周囲に光を照射するので、夜間など周囲が暗い状況で撮像を行う場合であっても、露光不足によって撮像画像が不明瞭となることを防止することができる。この結果、移動体の周囲の状況が分かり易い撮像画像を得ることができる。
【図面の簡単な説明】
【0008】
【図1】本発明に係る本実施形態の監視装置を含む車両監視システムの構成図である。
【図2】超音波センサ及びカメラの設置例を示す図である。
【図3A】ライトのオン/オフ制御の一例を示す図である。
【図3B】ライトのオン/オフ制御の他の例を示す図である。
【図4】ライトのオン/オフのタイミングと、カメラの撮像タイミングの一例を示す図である。
【図5A】物体未検出時におけるライトのオン/オフのタイミングと、カメラの撮像タイミングを示す図である。
【図5B】物体検出時におけるライトのオン/オフのタイミングと、カメラの撮像タイミングを示す図である。
【図6】物体が検出され画像を撮像したカメラと、ライトの制御手法を対応づけた対応情報の一例を示す図である。
【図7】ライトのオン/オフのタイミングと、カメラの撮像タイミングの他の例を示す図である。
【図8】本発明の実施形態に係る車両監視システムの制御手順を示すフローチャート図である。
【図9】外部端末装置を介して提示される撮像画像の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る移動体監視装置を、車両を監視するための車両監視システム1000に適用した場合を例にして説明する。なお、監視の対象となる移動体は車両に限定されず、本発明に係る移動体監視装置は二輪車、船、重機、フォークリフト等を監視することもできる。
【0010】
図1は、本実施形態に係る監視装置100を含む車両監視システム1000のブロック構成図である。図1に示すように、本実施形態の車両監視システム1000は、車両に設置された5つのカメラ1a〜1eと(以下、カメラ1と総称することもある)、同じく車両に設置された光源として機能する5つのライト2a〜2e(以下、ライト2と総称することもある)と、監視装置100と、車両コントローラ200と、通信装置400と、外部端末装置800とを有する。この車両監視システム1000は、車両コントローラ200と情報の授受が可能なイグニッションスイッチ500と、ポジショニングスイッチ600と、出力装置300とを、さらに備えることができる。これらの各装置はCAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行うことができる。
【0011】
また、本実施形態の車両監視システム1000において、監視装置100は、通信装置400を介して携帯電話、スマートフォンその他の通信装置810を備える外部端末装置800(コンピュータ)と相互に通信が可能である。また、外部端末装置800は、監視装置100から通信装置810を介して取得した車両その他の移動体の監視に関する監視情報をディスプレイ821やスピーカ822を含む出力装置820を用いて出力することができる。外部端末装置800を所持するユーザは、監視装置100から送出された移動体の監視情報を、外部端末装置800を用いて視聴することができる。
【0012】
図2は、カメラ1a〜1eを車両Vに取り付ける場合の配置例を示す図である。カメラ1a〜1eはCCD(Charge Coupled Devices)等の撮像素子を用いて構成され、車両Vの外部の異なる位置に各々設置され、車両周囲の4方向の画像をそれぞれ撮影する。例えば、図2に示すように、フロントグリル近傍などの車両Vの前方の所定位置に設置されたカメラ1aは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(以下、フロントビュー画像という)を撮影する。左サイドミラーなどの車両Vの左側方の所定位置に設置されたカメラ1dは、車両Vの左側方のエリアSP2内及びその周囲の空間に存在する物体又は路面の画像(以下、左サイドビュー画像という)を撮影する。ルーフスポイラーなどの車両Vの後方の所定位置に設置されたカメラ1cは、車両Vの後方のエリアSP3内及びその後方の空間に存在する物体又は路面の画像(以下、リアビュー画像という)を撮影する。右サイドミラーなどの車両Vの右側方の所定位置に設置されたカメラ1bは、車両Vの右側方のエリアSP4内及びその周囲の空間に存在する物体又は路面の画像(以下、右サイドビュー画像という)を撮影する。車室内のバックミラー近傍などの車両Vの運転席の前方の所定位置に設置されたカメラ1eは、車両Vの前方のエリアSP1内及びその前方の空間に存在する物体又は路面の画像(以下、フロントビュー画像という)を撮影する。カメラ1eはカメラ1aと同じ方向を撮像するが、カメラ1eの方が配置される位置が高いので、より遠くの領域までを広く撮像することができる。なお、カメラ1の配置数及び配置位置は、車両Vの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。
【0013】
カメラ1a〜1eは、撮像した画像にタイムスタンプを付して制御装置10へ送出する。制御装置10は、カメラ1a〜1eによって撮像された撮像画像をそれぞれ取得する。撮像された画像は、後述する画像処理に供され、経時的な順序に従いRAM13に記憶される。制御装置10は、外部端末装置800の要求又は予め規定された監視結果報告手順に従って、通信装置400を介して撮像された画像を外部端末装置800へ送出する。
【0014】
本実施形態の監視装置100は、カメラ1により撮像された画像をタイムスタンプに従い経時的に接続した連続監視画像を生成することができる。本実施形態の監視装置100によれば、時間の経過を追って車両Vの周囲の様子を動画で示すことができる。ユーザは、車両Vの周囲の様子の変化を連続的に確認することができる。また、露光が十分な状態で撮像された画像を繋ぐので、分かり易い動画を作成することができる。
【0015】
また、図2は、本発明の実施形態におけるライト2a〜2eを車両Vに取り付けた場合の配置例を示す図である。本実施形態におけるライト2は、車両の周囲に光を照射する光源(ランプ)である。本実施形態のライト2は、車両Vの前方に光を照射する二つのヘッドライト2a、車両Vの後方に光を照射するバックライト2b、ストップライト2c、車両Vの側方乃至前方に光を照射する二つのハザードライト2d、車両Vの室内に光を照射することにより、車両Vのフロントウィンドウ越しに前方を照らし、車両Vのサイドウィンドウ越しに側方を照らし、車両Vのバックウィンドウ越しに後方を照らす室内灯2eと、を含む。なお、本実施形態では、新たなコストを発生させない観点から、車両Vに搭載されているヘッドライト等を利用するが、別途ライト2を監視対象となる車両Vなどの移動体に設置することができる。この場合において、ライト2の配置数及び配置位置は、車両Vの大きさ、形状、光の照射領域に応じて適宜に決定することができる。
【0016】
また、本実施形態では、本実施形態のライト2の光の照射方向を調節する照射方向調節装置4をさらに備えている。照射方向調節装置4は、ライト2の向きを変動させる駆動装置を備え、ライト2が照射する光の光軸方向を可変とする装置である。本実施形態では、車両Vに搭載され、車両Vの操舵方向に光軸を向けて車両Vの進行方向に光を照射するAFS(Adaptive Front-Lighting System)を、照射方向調節装置4として利用することができる。
【0017】
なお、上述した複数のカメラ1及びライト2は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置10は、各識別子に基づいて各カメラ1及び各ライト2のそれぞれを識別することができる。また、制御装置10は、識別子を付することにより、特定のカメラ1及び特定のライト2に起動命令(撮像命令、照射命令)、撮像方向、照射方向その他の命令を送出することができる。
【0018】
また、同図に示すように、本実施形態に係る監視装置100の制御装置10は、カメラ1とライト2の動作を制御するプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、監視装置100として機能する動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。
【0019】
本実施形態に係る監視装置100の制御装置10は、明るさ判断機能と、起動命令取得機能と、物体検出機能と、制御機能と、画像調整機能と、を備えている。本実施形態の制御装置10は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により上記機能を実行することができる。なお、本実施形態では、制御装置10がカメラ1a〜1e、ライト2a〜2e、出力装置300、通信装置400の制御命令を送る態様を例にして説明するが、本実施形態の制御装置10は、車両コントローラ200を介してカメラ1a〜1e、ライト2a〜2e、出力装置300、通信装置400を制御することも可能である。
【0020】
以下に、監視装置100の制御装置10が実現する各機能について説明する。
【0021】
まず、本実施形態の制御装置10の周囲の明るさ判断機能について説明する。本発明の本実施形態に係る監視装置100は、車両Vなどの移動体の周囲の明るさを判断する。この明るさの判断の手法は限定されず、たとえば、各地点の日没時間を含む暦情報Cを参照し、タイマーWが計時する現在時刻に基づいて、現在時刻が日没後又は日没時刻から所定時間以降である場合に移動体の周囲の明るさが所定値未満であると判断することができる。また、監視装置100は、常に暗い屋内の駐車空間などの監視地点が予め定義された監視地点情報Mを参照し、車両コントローラ200が取得可能なGPS情報(現在位置情報)に基づいて、現在位置が監視地点と所定距離未満である場合に、移動体の周囲の明るさが所定値未満であると判断することができる。
【0022】
本発明の本実施形態に係る監視装置100は、明るさ判断機能の一態様として、明るさを検知する明るさ検知機能を備えることができ、明るさ検知機能により検知された明るさの値に基づいて、車両Vの周囲の明るさを判断する。明るさを検知する具体的な手法は特に限定されないが、撮像時におけるカメラ1の撮像素子の光量に基づいて撮像領域の明るさを検出することができる。明るさは、最初の撮像における撮像素子の光量の平均値、中央値などの代表値を用いることができる。また、明るさを検出するために別途照度センサ3を車両に設け、制御装置10はこの照度センサ3から明るさの情報を取得することができる。
【0023】
そして、本実施形態の制御装置10は、検出した車両Vの周囲の明るさが所定値未満である、つまり、車両Vの周囲が所定の暗さである場合に、後述する制御機能を実行することができる。これにより、車両周囲が暗くなった場合には、本実施形態の車両監視システム1000を自動的に起動させることができる。なお、車両Vの周囲の明るさが所定値以上である場合には、通常のカメラ1の撮影による監視を実行すればよい。
【0024】
また、本実施形態の制御装置10は、車両周囲の明るさに応じて、照射方向調節装置4によりライト2の光の照射方向を調節することができる。具体的に制御装置10は、明るさ検知機能が検出した明るさが所定値未満である場合、すなわち、車両Vの周囲が暗い場合には、ライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、照射方向調節装置4に送出する。
【0025】
各ライト2a〜2eの光の照射方向は、予め車両コントローラ200に読み出し可能に記憶されている。鉛直方向とは、車両Vの載置面(路面)に対して垂直な方向である。ライト2の照射方向と鉛直方向とのなす角度が大きい場合には、ライト2の光軸は路面方向を向き、光の照射範囲が小さくなるので、周囲の明るさが相対的に低くなる。他方、ライト2の照射方向と鉛直方向とのなす角度が小さい場合には、ライト2の光軸は路面から上の方向(路面から離隔する方向)を向き、光の照射範囲が大きくなるので、周囲の明るさが相対的に高くなる。このため、本実施形態では、車両Vの周囲が所定値よりも暗い場合には、ライト2の照射方向を上向き(路面から離隔する方向)に変更させることにより車両Vの周囲の明るさを向上させる。これにより、ライト2を照射しても周囲が暗くて露光不足になるような場合であっても、ライト2の照射方向を上向きにすることにより、車両Vの周囲の明るさを向上させることができる。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0026】
次に、本実施形態の制御装置10の起動命令取得機能について説明する。本実施形態の制御装置10は、外部端末装置800から通信装置400を介して起動命令を取得し、この起動命令を取得した場合に、後述する制御機能を実行することができる。これにより、ユーザは、車両Vを降車した後に、遠隔操作によって車両監視システム1000を起動させて、車両Vを監視することができる。
【0027】
続いて、本実施形態の制御装置10の物体検出機能について説明する。本実施形態の制御装置10は、カメラ1により撮像された撮像画像から移動物体を検出することができる。具体的に、本実施形態の制御装置10は、画像処理コントロールユニット(Image Processing Control Unit: IPCU)を備え、この画像処理コントロールユニットを用いて、撮像画像を解析し、撮像データから物体に対応する画像を抽出することができる。
【0028】
また、制御装置10は、物体が抽出された画像を撮像したカメラ1を特定し、特定されたカメラ1の撮像領域に基づいて画像から抽出された物体の存在位置を判断することができる。例えば、カメラ1aの撮像した画像から物体が検出された場合には、カメラ1aの撮像領域であるSP1及びその前方領域に物体が存在すると判断することができる。そして、物体に対応する画像の座標(撮像画像全体を基準とする位置)に基づいて、物体の存在する方向をより正確に判断することができる。
【0029】
さらに、制御装置10は、抽出した画像に基づいて物体の動きを追跡し、経時的な物体の位置の変化を記憶することができる。さらに、制御装置10は、経時的な物体も対応する画像の位置の変化に基づいて、物体の移動速度を求めることができる。物体検出機能を実行することにより得られた結果は、制御装置10の制御機能の実行において利用される。これにより、制御装置10は、物体が存在するか否か、物体が移動物体であるか否か、及び/又は移動物体が速い速度(所定値以上の速度)で移動しているか否かを含む物体検出結果を得ることができる。
【0030】
加えて、制御装置10は、この経時的な物体の位置の変化に基づいて、車両Vの状態が異常であるか否かを判断することができる。例えば、制御装置10は、検出した物体に対応する画像が所定時間以上に渡って抽出される場合には、物体が車両Vの近傍に所定時間以上滞在していると判断し、車両Vの状態が異常であると判断することができる。また、物体を捉えた画像は、経時的に制御装置10内の画像メモリに記憶することができる。なお、これらの画像処理には、出願時に用いられる手法を用いることができる。
【0031】
続いて、制御機能について説明する。本実施形態の制御装置10は、ライト2を点灯させた後に、カメラ1に車両Vの周囲を撮像させる。このように、カメラ1で車両Vの周囲を撮像する前にライト2を点灯するので、夜間に車両Vを撮像する場合であっても露光不足になることがない。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0032】
本実施形態の制御装置10は、ライト2の点灯と消灯を制御する。ライト2の点灯は、車両Vに設けられているすべてのライト2を同時に点灯してもよいし、選択された1又は複数のライト2のみを点灯することもできる。また、ユーザにより外部端末装置800を介して特定されたライト2のみを点灯させることもできる。なお、これらの制御は車両コントローラ200を介して行うことができる。
【0033】
また、各ライト2の点灯の態様も限定されない。本実施形態の制御装置10は、図3Aに示すように、点灯Sから消灯Eまでの間、所定時間に渡ってライト2に光の照射を継続させることができる。また、本実施形態の制御装置10は、図3Bに示すように、点灯及び消灯を繰り返すことにより、ライト2を間欠的に点灯させることができる。このように、ライト2を間欠的に点灯させる場合には、監視処理に要する電力の消費量を低減させることができる。本実施形態の監視処理は車両が停車しているときにも行われるため、エンジン停止中のバッテリの電力を消費する。これを考慮し、本実施形態のようにライト2を間欠的に点灯させることにより、バッテリの電力消費量を抑制することができる。なお、間欠点灯が可能なハザードライト2dのみに間欠点灯をさせることも可能である。ハザードライト2dはそもそも間欠点灯が可能であるので、監視処理時の間欠点灯のために新たな部材や回路を設ける必要がなく、新たなコストの発生を防止することができる。
【0034】
また、本実施形態の制御装置10は、カメラ1の撮像動作を制御する。本実施形態の制御装置10は、ライト2を間欠的に点灯させる場合において、ライト2が車両Vの周囲に光を照射しているときに、カメラ1に車両Vの周囲を撮像させる。特に限定されないが、本実施形態の制御装置10は、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定することができる。ライト2の点灯のタイミングにとカメラ1の撮像のタイミングとの関係は、ライト2の照射光の強さ、ライト2の照射方向、車両Vの大きさなどに基づいて予め定義することができる。
【0035】
図4にライト2の点灯のタイミングとカメラ1の撮像のタイミングとの関係の一例を示す。図4の上側の図は、ライト2を間欠的に点灯する場合にオン/オフ制御を示す図であり、図4の下側の図は、撮像タイミングST500,ST501,ST510,ST511,ST520,ST521を示す図である。
【0036】
図4に示すように、ライト2の点灯タイミングSから所定時間経過後であって消灯タイミングEの前のタイミングST500でカメラ1に車両Vの周囲を撮像させる。このタイミングST500においては、画像の明るさが所定値B以上であることが好ましい。また、本実施形態の制御装置10は、消灯タイミングEから所定時間経過後であって次の点灯タイミングSの前のタイミングST501でカメラ1に車両Vの周囲を撮像させる。このタイミングST501においても、画像の明るさが所定値B以上であることが好ましい。
【0037】
このように、車両Vの周囲が適切な明るさであるタイミングを選んで、カメラ1で車両Vの周囲を撮像することにより、ライト2の点灯及び消灯により撮像画像が明るくなったり暗くなったりすることを防ぐことができる。つまり、露光が適切であり、かつ一定の明るさの監視画像を得ることができる。
【0038】
また、本実施形態の制御装置10は、先述した物体検出機能による物体の検出結果に応じて、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。本実施形態の制御装置10は、物体検出機能により物体又は移動物体が検出された場合には、ライト2の点灯から次の点灯までの時間を短くすることができる。具体的に、物体又は移動物体が未検出である場合には、図5Aに示すタイミングでライト2を間欠的に点灯し、カメラ1で撮像するが、物体又は移動物体が検出された場合には、図5Bに示すタイミングでライト2を間欠的に点灯しつつ、カメラ1で撮像する。図5Bに示すように、物体又は移動物体が検出された場合の点灯タイミングS11から次の点灯タイミングS21までの時間K2は、図5Aに示す、物体又は移動物体が未検出である場合の点灯タイミングS1から次の点灯タイミングS2までの時間K1よりも短い。このように、物体又は移動物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させることにより、これに伴う撮像周期を短くできるので、単位時間あたりにより多くの画像を撮像することができる。この結果、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0039】
さらに、本実施形態の制御装置10は、カメラ1により撮像された撮像画像に基づいて移動物体の移動速度を求める移動物体検出機能を実行し、移動物体の移動速度に応じて、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。具体的に、本実施形態の制御装置10は、移動物体の移動速度が速いほど、ライト2の点灯から次の点灯までの時間を短縮することができる。具体的に、移動物体の速度がV1(V1<V2)である場合には、図5Aに示すタイミングでライト2を間欠的に点灯しつつカメラ1で撮像し、移動物体の速度がV2(V1<V2)である場合には、図5Bに示すタイミングでライト2を間欠的に点灯しつつカメラ1で撮像する。図5Bに示すように、移動物体の速度がV2(V1<V2)である場合の点灯タイミングS11から次の点灯タイミングS21までの時間K2は、図5Aに示す、移動物体の速度がV1(V1<V2)である場合の点灯タイミングS1から次の点灯タイミングS2までの時間K1よりも短い。このように、物体の移動速度が所定値以上であるなど、相対的に速く移動する物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させることにより、これに伴う撮像周期を短くできるので、単位時間あたりにより多くの画像を撮像することができる。この結果、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0040】
加えて、本実施形態の制御装置10は、カメラ1により撮像された撮像画像に基づいて移動物体の位置を求める移動物体検出機能を実行し、本機能の実行により求められた移動物体の存在位置に応じて、点灯するライト2の選択、ライト2の点灯タイミング及びカメラ1の撮像タイミングを制御することができる。
【0041】
本実施形態の制御装置10は、検出された移動物体の存在位置を判断し、その移動物体の存在位置の方向に光を照射するライト2を選択し、選択されたライト2のみを点灯させることができる。また、選択されたライト2を継続的又は間欠的に点灯させることができ、併せて、選択されたライト2を間欠的に点灯する場合には、点灯から次の点灯までの時間を制御することができる。点灯から次の点灯までの時間を短くすることで、点灯周期及び撮像周期を短くすることができる。
【0042】
本実施形態の制御装置10は、移動物体の存在位置に応じたライト2の制御内容が予め定義された対応情報Tを有している。本実施形態の対応情報Tは、移動物体が検出された画像を撮像したカメラ1と、点灯するライト2及び消灯するライト2、及びライト2の点灯周期とが予め対応づけられている。ちなみに、カメラ1の配置及び撮像領域とライト2の配置及び照射領域とに基づいて、カメラ1と、このカメラ1が撮像した物体に光を照射できるライト2とは予め対応づけておくことができるため、移動物体が検出された画像を撮像したカメラ1を識別することにより、その移動物体の存在位置に応じたライト2の点灯制御を行うことができる。
【0043】
図6は、対応情報Tの一例を示す図である。図6に示す対応情報Tにおいては、カメラ1aが撮像した画像から物体が検出された場合には、ヘッドライト2aのみを点灯し、物体に光を照射し、ヘッドライト2a以外のライト2はすべて消灯する制御が定義されている。また、対応情報Tにおいては、ヘッドライト2aの点灯周期を短くする制御が定義されている。
【0044】
制御装置10は、物体検出機能の実行において物体が検出された画像を撮像したカメラ1の識別子に基づいて、対応情報Tを参照し、点灯するライト2を特定するとともに消灯するライト2を特定する。さらに、点灯するライト2の点灯周期を決定する。そして、制御装置10は、特定されたライト2の識別子とともに、点灯命令及び点灯周期の変更命令を送出する。同時に、制御装置10は、特定されたライト2以外の各ライト2の識別子とともに、消灯命令を送出する。これにより、制御装置10は、物体を撮像したカメラ1の識別子に基づいて、検出された移動物体に光を照射するライト2のみを点灯することができる。このように、物体が存在する領域に光を照射するライト2のみを点灯するので、監視処理のために消費される電力を低減させることができる。しかも、監視処理において注目すべき物体に光を照射するので、高い監視水準を維持することができる。
【0045】
この場合において、本実施形態の制御装置10は、移動物体の存在位置に基づいてライト2による光の照射方向を算出する。そして、制御装置10は、このライト2の光の照射方向に基づいて照射方向補正指令を生成する。先述したように、物体検出機能は、検出された物体に対応する画像の座標(撮像画像全体を基準とする位置座標)に基づいて、物体の存在する方向をより正確に判断することができる。このため、制御装置10は、車両Vを基準とする物体の存在する方向と、車両Vを基準とするライト2の光の照射方向とを比較し、その差に基づいて照射方向補正指令を生成する。この照射方向補正指令は、AFS(Adaptive Front-Lighting System)を備える照射方向調節装置4に送出される。照射方向補正指令が実行されると、ライト2の光の照射方向が変更され、ライト2の光が物体に照射される。このように、物体の位置に応じて光の照射方向を補正することにより、移動物体の動きに合わせて光を照射することができるので、最も注意すべき移動物体を撮像した画像が露光不足となることを防ぐことができる。
【0046】
最後に、本実施形態の制御装置10の画像調整機能について説明する。本実施形態の制御装置10は、カメラ1により撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整することができる。
【0047】
予め定義される明るさの基準は、制御装置10のRAM13に記憶しておいてもよいし、最初に撮像された画像について明るさを求めて、これを明るさの基準として予め定義しておくこともできる。本実施形態の制御装置10は、最初に撮像された画像の明るさ又は予め定義した画像の明るさを「明るさの基準」として記憶しておき、複数の撮像画像の明るさをこの「明るさの基準」に基づいて調整する。
【0048】
図7は、ライト2のオンオフの制御パターンと、カメラ1に撮像した場合の画像の明るさとを示す図である。図7の下側のグラフに示すように、ライト2のオンオフが所定周期で行われても、画像の明るさが同じパターンで変化するとは限らない。具体的には図7の下側のグラフの左から2番目(真中)の明るさの変化パターンのように他のタイミングにおける明るさの変化パターンとは異なる場合がある。
【0049】
本実施形態では、異なるタイミングで撮像された画像が同じ明るさとなるように、撮像された画像の明るさを、予め定義した明るさの基準(の明るさ)に一致又は明るさの差分が所定値以下とする補正を行う。たとえば、明るさの基準をB0と設定した場合において、図7に示すタイミングST510で撮像した画像の明るさがB1であるときには、画像の明るさの基準をB0に増加させ、タイミングST511で撮像した画像の明るさがB2であるときには、画像の明るさの基準をB0に低下させる。これにより、経時的に撮像された複数の画像の明るさが統一されるので、ユーザが複数の画像を見比べるなどの操作を行う場合においても見易い画像を提示することができる。特に、撮像された画像を経時的に接続して連続監視画像を生成する場合には、明るさが統一されるので動画として違和感のない連続監視画像を提示することができる。
【0050】
なお、明るさの調整手法は特に限定されず、制御装置10は、出願時において知られている、濃度値の変換、コントラスト補正、ガンマ補正、濃度値のヒストグラム変換その他の明るさを調整するための画像処理手法を用いことができる。
【0051】
続いて、図8のフローチャート図に基づいて、本実施形態の監視システム1000の制御手順を説明する。
【0052】
まず、ステップ10において、監視装置100は、監視画像の要求を待機する。監視装置100は、監視装置100のスイッチに入力された起動命令を取得した場合、又は外部端末装置800から取得した起動命令を取得した場合に監視画像の要求を取得したと判断し、ステップ20へ進む。なお、監視画像の要求を待つことなく、時間や場所に基づいて周囲が暗いと判断した場合に、ステップ20以降を実行することもできる。
【0053】
ステップ20において、監視装置100は、カメラ1に車両の周囲を撮像させる。
【0054】
次に、ステップ30において、監視装置100は、ステップ20における撮像処理おける撮像画素の光量に基づいて周囲の明るさを検出し、周囲の明るさが所定の閾値以下であるか否かを判断する。周囲の明るさが所定の閾値以下である場合は本実施形態の監視処理(点灯及び撮像)を実行するためにライト2を点灯する処理へ進む。他方、周囲の明るさが所定の閾値よりも大きい場合は、ライト2を点灯しなくても明瞭な画像を得ることができるので、ステップ120へ進み、撮像画像をそのまま外部端末装置800へ送出する。
【0055】
なお、図示をしていないが、ステップ30において、周囲の明るさが、設定された所定の閾値よりもさらに低い所定の閾値以下である場合には、ライト2の点灯の効果をより大きくするために、監視装置100はライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、照射方向調節装置4に送出することができる。この照射方向補正指令が実行されると、ライト2の光軸は上向き(路面とは反対方向)に向くので、光の照射可能領域が広がるため、ライト2の点灯時における周囲の明るさを向上させることができる。これにより、街灯などが無く、ライト2の点灯だけでは十分な明るさが得られない場合に、十分な明るさを確保することができる。
【0056】
ステップ40において、監視装置100は、点灯モードを判断する。間欠点灯を行う点灯モード1の場合はステップ50へ進み、常時点灯を行う点灯モード2の場合はステップ41へ進む。このモードの選択は、監視装置100が受け付けた選択入力に従ってもよいし、周囲が比較的明るい場合(明るさが第2の閾値よりも高い場合)にモード1を選択し、周囲が比較的暗い場合(明るさが第2の閾値未満である場合)にモード2を選択することもできる。本実施形態では、電力消費量の少ないモード1をデフォルトの設定とし、周囲の明るさが設定値よりも低い場合にモード2を選択する。これにより、通常は、間欠点灯のモード1で動作させて電力消費量を低減しつつ、街灯などのない暗い場所では常時点灯のモード2で動作させることができる。
【0057】
ステップ50において、監視装置100は、ライト2の点灯及び消灯を繰り返す間欠的に点灯を開始する。そして、ステップ60において、監視装置100は、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させる。この場合において、監視装置100は、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定する。例えば、図4に示すように、ライト2の点灯タイミングSから所定時間経過後に撮像を行うことができる。
【0058】
他方、ステップ41において、点灯モード2が選択された場合には、ステップ42に進み、ライト2を点灯し撮像処理が終わるまで所定時間の間、ライト2の点灯状態を継続する(常時点灯)(図3A参照)。そして、ステップ43において、監視装置100は、ライト2が点灯しているときに、カメラ1に車両Vの周囲を撮像させる。
【0059】
続くステップ70において、監視装置100は、ステップ60又はステップ43において撮像された画像から移動物体の検出を試みる。撮像画像から移動物体が検出された場合には、ステップ80へ進む。
【0060】
ステップ80において、監視装置100は、移動物体の位置を特定する。本実施形態の監視装置100は、移動物体が検出された撮像画像を取得したカメラ1の撮像領域を、移動物体の存在位置として判断する。次のステップ80において、監視装置100は、移動物体が検出された撮像画像を取得したカメラ1の撮像領域に光を照射するライト2を、点灯させるライト2として選択し、選択したライト2を点灯する。選択されたライト2以外のライト2を消灯することができる。つまり、移動物体の存在位置の方向に向けて光を照射するライト2のみを点灯させる。
【0061】
また、ステップ100において、監視装置100は、光の照射方向を調整することができる。監視装置100は、移動物体に光を照射するため、移動物体の存在位置に基づいてライト2の光の照射方向を算出し、算出した照射方向に光を照射できるように、照射方向調整装置4に照射方向補正指令を送出することができる。
【0062】
さらに、ステップ110において、監視装置100は、物体の移動速度を算出し、ステップ120において、移動物体の移動速度が速いほど、ライトの点灯から次の点灯までの時間を短縮することができる。移動物体が検出された撮像画像を取得したカメラ1と、点灯するライト2、消灯するライト2、及び点灯の周期とは、図6に示す対応情報Tのように、予め対応づけておくことができる。なお、監視装置100は、ステップ70で移動物体を検出し、点灯ライトを特定後に点灯周期を変更する制御を行うこともできる。
【0063】
ステップ130において、監視装置100は、ライト2を変更後の周期で点灯・消灯させるとともに、ライト2を点灯させた後に、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させる。
【0064】
続いて、ステップ140において、監視装置100は、ステップ20、60、130において撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整する。具体的に、監視装置100は、ステップ20において、周囲の明るさが閾値以上であるときに撮像された撮像画像の明るさを「明るさの基準」として、他の撮像画像の明るさを調整する。これにより、ステップ20、60、130において撮像された複数の撮像画像の明るさを統一させることができる。
【0065】
ステップ150において、監視装置は、撮像画像を経時的に順序づけてRAM13に記憶する。このとき、カメラ1により撮像された画像を経時的に接続した連続監視画像を生成してRAM13に記憶させることもできる。
【0066】
続いて、ステップ160において、監視装置100は、画像処理コントロールユニットを用いて撮像画像を解析し、撮像データから物体を抽出し、物体の動きを追跡するといった画像処理を実行する。さらに、ステップ170において、監視装置100は、経時的な物体の位置の変化に基づいて、車両Vの状態が異常であるか否かを判断する。本実施形態では、車両周囲で検出された物体が所定時間以上、車両周囲にとどまっている場合には、車両Vの状態が異常であると判断する。車両Vの周囲に異常が発生した場合には、ステップ180へ進む。
【0067】
ステップ180において、監視装置100は、車両Vの周囲に異常が検出された旨を車両外部に報知する。具体的に、監視装置100は、車両Vのディスプレイ301に異常を検知した旨を文字や図形で表示する、スピーカ302で異常を検知した旨を音声で出力する、車両コントローラ200を介して車両Vのライト2を点滅させ又は車両Vのホーンを鳴らすなどの報知処理を実行させることができる。この報知処理と並行して、監視装置100は、車両Vの異常が検知された旨を含む監視情報を、通信装置400を介して外部端末装置800に送出することもできる。
【0068】
最後に、ステップ190において、監視装置100は、ステップ100で記憶した撮像画像を含む監視情報を、通信装置400を介して車両Vの所有者・管理者の外部端末装置800に送出する。外部端末装置800は通信装置810を介して撮像画像を含む監視情報を取得する。外部端末装置800は、これが備えるディスプレイ821に受信した監視情報の撮像画像を表示し、又はスピーカ822を用いて異常が検知された旨をユーザに報知する。図9は、外部端末装置800のディスプレイに表示された監視情報Qの一例を示す図である。図9に示す画像は、車両Vの後方に設置されたカメラ1cの撮像画像である。このように、ユーザは、車両Vから離隔した場所で、外部端末装置800を利用して車両Vを画像により監視することができる。
【0069】
なお、本実施形態では、監視装置100が車両Vに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Vその他の移動体の監視方法を、カメラ1、ライト2、出力装置300、通信装置400を制御可能なクライアント(コンピュータ・制御装置)と情報の授受が可能なサーバ(コンピュータ・制御装置)において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【0070】
サーバは、車両V側に配置されたクライアントに以下の指令を送出して、本発明に係る本実施形態の監視方法を実行することができる。指令の内容は、車両Vの周囲の明るさが所定値未満である場合には、車両Vに設けられたライト2を点灯し、車両Vの周囲に光を照射させる(ステップ)、車両Vの周囲を撮像するカメラ1を起動して、当該カメラ1に車両Vの周囲を撮像する(ステップ)と、カメラ1に撮像させた移動体の周囲の監視画像に基づく監視情報を外部に送出する(ステップ)と、を含む。処理の具体的な内容は、本実施形態の監視装置100、車両監視システム1000と共通するのでこれらの説明を援用する。
【0071】
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
【0072】
本実施形態の監視装置100、車両監視システム1000によれば、夜間などで車両Vの周囲が暗い場合には、カメラ1で車両Vの周囲を撮像する前にライト2を点灯するので、車両Vの周囲を撮像する場合であっても露光不足になることがない。このため、露光不足によって撮像画像が不明瞭となることを防止することができる。この結果、車両V(移動体)の周囲の状況が分かり易い撮像画像を得て、これを外部へ送出することができる。
【0073】
また、監視装置100と外部端末装置800を備える車両監視システム1000によれば、車両Vから離れた位置から車両Vを映像により監視することができる。
【0074】
本実施形態における車両V(移動体)の監視方法を使用した場合においても、監視装置100、車両監視システム1000と同様の作用を奏し、同様の効果を得ることができる。
【0075】
本実施形態の監視装置100、車両監視システム1000によれば、ライト2の点灯及び消灯を繰り返し、ライト2が車両Vの周囲に光を照射しているときにカメラ1に車両Vの周囲を撮像させるので、ライト2を間欠的に点灯させても明るさが適切な画像を得ることができる。しかも、ライト2を間欠的に点灯させることにより、監視処理に要する電力の消費量を低減させることができる。特に、本実施形態の監視処理は車両が停車しているときにも行われるため、エンジン停止中のバッテリの電力を消費するが、ライト2を間欠的に点灯させることにより、バッテリの電力消費量を抑制することができる。
【0076】
本実施形態の監視装置100、車両監視システム1000によれば、ライト2の点灯のタイミングに基づいて、カメラ1の撮像のタイミングを決定するので、車両Vの周囲が適切な明るさであるタイミングを選んで、カメラ1で車両Vの周囲を撮像することができる。これにより、ライト2の点灯及び消灯により撮像画像が明るくなったり暗くなったりすることを防ぐことができる。つまり、露光が適切であり、かつ一定の明るさの監視画像を得ることができる。
【0077】
本実施形態の監視装置100、車両監視システム1000によれば、カメラ1により撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整するので、経時的に撮像された複数の画像の明るさが統一される。このため、ユーザが複数の画像を見比べるなどの操作を行う場合においても見易い画像を提示することができる。特に、撮像された画像を経時的に接続して連続監視画像を生成する場合には、明るさが統一されるので動画とし見ても違和感のない連続監視画像を提示することができる。
【0078】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体が検出された場合には、ライト2の点灯から次の点灯までの時間を短くするので、単位時間あたりの点灯回数を増加させるとともに、単位時間あたりにより多くの画像を撮像することができる。このため、物体又は移動物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0079】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の移動速度が速いほど、ライト2の点灯から次の点灯までの時間を短縮するので、移動速度の大きい物体が検出された場合には、光を照射する周期を短くし、単位時間あたりの点灯回数を増加させるとともに、これに伴い単位時間あたりにより多くの画像を撮像することができる。このため、動きの速い物体が検出された異常事態の発生に応じて監視レベルを強化することができる。
【0080】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の存在位置を判断し、この移動物体の存在位置の方向に光を照射するライト2のみを点灯させるので、監視処理のために消費される電力を低減させることができる。しかも、監視処理において注目すべき物体に光を照射するので、高い監視水準を維持することができる。
【0081】
本実施形態の監視装置100、車両監視システム1000によれば、移動物体の存在位置に基づいて算出されたライト2の光の照射方向に基づいて生成された照射方向補正指令を、照射方向調節装置4に送出するので、この照射方向補正指令が実行されると、移動物体の動きに合わせて光を照射することができる。このため、最も注意すべき移動物体を撮像した画像が露光不足となることを防ぐことができる。
【0082】
本実施形態の監視装置100、車両監視システム1000によれば、カメラ1により撮像された画像を経時的に接続した連続監視画像を生成するので、時間の経過を追って車両Vの周囲の様子を動画で示すことができる。ユーザは、車両Vの周囲の様子の変化を連続的に確認することができる。
【0083】
本実施形態の監視装置100、車両監視システム1000によれば、車両Vの周囲の明るさが所定値未満である場合に、ライト2を点灯させてカメラ1に車両V(移動体)の周囲を撮像させるので、車両周囲が暗くなった場合には、本実施形態の車両監視システム1000を自動的に起動させることができる。
【0084】
本実施形態の監視装置100、車両監視システム1000によれば、車両Vの周囲の明るさが所定値未満である場合に、ライト2の光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を照射方向調節装置4に送出するので、照射方向補正指令の実行によりライト2の照射方向を上向きにすることができる。これにより、周囲が暗くて、ライト2を照射しても露光不足になるような場合であっても、ライト2の照射方向がより上向きになるので車両Vの周囲の明るさを向上させることができる。この結果、露光不足によって撮像画像が不明瞭となることを防止することができる。
【0085】
本実施形態の監視装置100、車両監視システム1000によれば、外部端末装置800から起動命令を取得した場合に、ライト2を点灯させた後にカメラ1に車両Vの周囲を撮像させるので、ユーザは車両Vを降車した後であっても、遠隔操作によって車両監視システム1000を起動させて、車両Vを監視することができる。
【0086】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【0087】
本明細書では、本発明に係る移動体監視装置の一態様として監視装置100及び車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
【0088】
本明細書では、本発明に係る移動体監視装置の一態様として、カメラ1及びライト2を制御可能な、CPU11、ROM12、RAM13を含む制御装置10を備える監視装置100を一例として説明するが、これに限定されるものではない。また、本明細書では、起動命令取得手段と、明るさ判断手段(明るさ検知手段を備えることができる)と、照射方向調節手段と、物体検出手段と、画像調整手段とを有する本発明に係る移動体監視装置の一態様として、監視装置100を説明するが、これに限定されるものではない。
【0089】
本明細書では、本発明に係る移動体監視システムの一態様として、ライト2a〜2e、カメラ1a〜1e、及び監視装置100、車両コントローラ200、通信装置400、及び外部端末装置800を備えた車両監視システム1000を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【0090】
1000…車両監視システム(移動体監視システム)
1,1a〜1e…カメラ
2…ライト,2a…ヘッドライト,2b…バックライト,2c…ストップライト,2d…ハザードライト,2e…室内灯
100…監視装置
V…車両
10…制御装置
11…CPU
12…ROM
13…RAM
200…車両コントローラ
300…出力装置
301…ディスプレイ
302…スピーカ
400…通信装置
500…イグニッションスイッチ
600…ポジショニングスイッチ
800…外部端末装置
T…対応情報
【特許請求の範囲】
【請求項1】
移動体に設けられ、前記移動体の周囲に光を照射するライトと、
前記移動体に設けられ、前記移動体の周囲を撮像するカメラと、
前記移動体の周囲の明るさを判断する明るさ判断手段と、
前記移動体の周囲の明るさが所定値未満であると判断された場合には、前記ライトを点灯し、前記カメラに前記移動体の周囲を撮像させる制御手段と、
前記カメラにより撮像された前記移動体の周囲の監視画像に基づく監視情報を外部に送出する通信手段と、を備えることを特徴とする移動体監視装置。
【請求項2】
前記制御手段は、前記ライトの点灯及び消灯を繰り返し、前記ライトを間欠的に点灯させる場合において、前記ライトが前記移動体の周囲に光を照射しているときに前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1に記載の移動体監視装置。
【請求項3】
前記制御手段は、前記ライトの点灯のタイミングに基づいて、前記カメラの撮像のタイミングを決定することを特徴とする請求項2に記載の移動体監視装置。
【請求項4】
前記カメラにより撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整する画像調整手段をさらに有することを特徴とする請求項2又は3に記載の移動体監視装置。
【請求項5】
前記カメラにより撮像された撮像画像から移動物体を検出する物体検出手段をさらに備え、
前記制御手段は、前記物体検出手段により移動物体が検出された場合に、前記ライトの点灯から次の点灯までの時間を短くすることを特徴とする請求項2〜4の何れか一項に記載の移動体監視装置。
【請求項6】
前記物体検出手段は、前記撮像された撮像画像に基づいて前記移動物体の移動速度を求め、前記移動物体の移動速度が速いほど、前記ライトの点灯から次の点灯までの時間を短縮することを特徴とする請求項5に記載の移動体監視装置。
【請求項7】
前記カメラにより撮像された撮像画像から移動物体を検出する物体検出手段をさらに備え、
前記制御手段は、前記物体検出手段により検出された移動物体の存在位置を判断し、前記判断した移動物体の存在位置の方向に光を照射するライトのみを点灯させることを特徴とする請求項1〜4の何れか一項に記載の移動体監視装置。
【請求項8】
前記ライトの光の照射方向を調節する照射方向調節手段をさらに備え、
前記制御手段は、前記移動物体の存在位置に基づいて算出された前記ライトの光の照射方向に基づいて生成された照射方向補正指令を、前記照射方向調節手段に送出することを特徴とする請求項7に記載の移動体監視装置。
【請求項9】
前記制御手段は、前記カメラにより撮像された画像を経時的に接続した連続監視画像を生成することを特徴とする請求項1〜8の何れか一項に記載の移動体監視装置。
【請求項10】
前記明るさ判断手段は、移動体の周囲の明るさを検知する明るさ検知手段をさらに備え、
前記制御手段は、前記明るさ検知手段が検出した明るさが所定値未満である場合に、前記ライトを点灯させてから、前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1〜9の何れか一項に記載の移動体監視装置。
【請求項11】
前記ライトの光の照射方向を調節する照射方向調節手段を備え、
前記制御手段は、前記明るさ検知手段が検出した明るさが所定値未満である場合に、前記ライトの光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、前記照射方向調節手段に送出することを特徴とする請求項10に記載の移動体監視装置。
【請求項12】
外部端末装置からの起動命令を取得する起動命令取得手段をさらに備え、
前記制御手段は、前記起動命令取得手段が前記外部端末装置から起動命令を取得した場合に、前記ライトを点灯させてから、前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1〜9の何れか一項に記載の移動体監視装置。
【請求項13】
請求項1〜12の何れか一項に記載された移動体監視装置と、前記移動体監視装置と相互に情報の授受が可能な外部端末装置とを備え、
前記外部端末装置は、前記移動体監視装置と通信を行う通信手段と、前記通信手段を介して前記移動体監視装置から取得した監視情報を出力する出力手段と、を有することを特徴とする移動体監視システム。
【請求項14】
移動体の周囲の明るさを検出し、
前記移動体の周囲の明るさが所定値未満であると判断された場合には、
前記移動体に設けられたライトを点灯し、当該ライトに前記移動体の周囲に光を照射させた後に、カメラに前記移動体の周囲を撮像させ、前記カメラに撮像させた前記移動体の周囲の監視画像に基づく監視情報を外部に送出することを特徴とする移動体の監視方法。
【請求項1】
移動体に設けられ、前記移動体の周囲に光を照射するライトと、
前記移動体に設けられ、前記移動体の周囲を撮像するカメラと、
前記移動体の周囲の明るさを判断する明るさ判断手段と、
前記移動体の周囲の明るさが所定値未満であると判断された場合には、前記ライトを点灯し、前記カメラに前記移動体の周囲を撮像させる制御手段と、
前記カメラにより撮像された前記移動体の周囲の監視画像に基づく監視情報を外部に送出する通信手段と、を備えることを特徴とする移動体監視装置。
【請求項2】
前記制御手段は、前記ライトの点灯及び消灯を繰り返し、前記ライトを間欠的に点灯させる場合において、前記ライトが前記移動体の周囲に光を照射しているときに前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1に記載の移動体監視装置。
【請求項3】
前記制御手段は、前記ライトの点灯のタイミングに基づいて、前記カメラの撮像のタイミングを決定することを特徴とする請求項2に記載の移動体監視装置。
【請求項4】
前記カメラにより撮像された複数の撮像画像の明るさを、予め定義した明るさの基準に基づいて調整する画像調整手段をさらに有することを特徴とする請求項2又は3に記載の移動体監視装置。
【請求項5】
前記カメラにより撮像された撮像画像から移動物体を検出する物体検出手段をさらに備え、
前記制御手段は、前記物体検出手段により移動物体が検出された場合に、前記ライトの点灯から次の点灯までの時間を短くすることを特徴とする請求項2〜4の何れか一項に記載の移動体監視装置。
【請求項6】
前記物体検出手段は、前記撮像された撮像画像に基づいて前記移動物体の移動速度を求め、前記移動物体の移動速度が速いほど、前記ライトの点灯から次の点灯までの時間を短縮することを特徴とする請求項5に記載の移動体監視装置。
【請求項7】
前記カメラにより撮像された撮像画像から移動物体を検出する物体検出手段をさらに備え、
前記制御手段は、前記物体検出手段により検出された移動物体の存在位置を判断し、前記判断した移動物体の存在位置の方向に光を照射するライトのみを点灯させることを特徴とする請求項1〜4の何れか一項に記載の移動体監視装置。
【請求項8】
前記ライトの光の照射方向を調節する照射方向調節手段をさらに備え、
前記制御手段は、前記移動物体の存在位置に基づいて算出された前記ライトの光の照射方向に基づいて生成された照射方向補正指令を、前記照射方向調節手段に送出することを特徴とする請求項7に記載の移動体監視装置。
【請求項9】
前記制御手段は、前記カメラにより撮像された画像を経時的に接続した連続監視画像を生成することを特徴とする請求項1〜8の何れか一項に記載の移動体監視装置。
【請求項10】
前記明るさ判断手段は、移動体の周囲の明るさを検知する明るさ検知手段をさらに備え、
前記制御手段は、前記明るさ検知手段が検出した明るさが所定値未満である場合に、前記ライトを点灯させてから、前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1〜9の何れか一項に記載の移動体監視装置。
【請求項11】
前記ライトの光の照射方向を調節する照射方向調節手段を備え、
前記制御手段は、前記明るさ検知手段が検出した明るさが所定値未満である場合に、前記ライトの光の照射方向と鉛直方向とのなす角度を縮小させる照射方向補正指令を、前記照射方向調節手段に送出することを特徴とする請求項10に記載の移動体監視装置。
【請求項12】
外部端末装置からの起動命令を取得する起動命令取得手段をさらに備え、
前記制御手段は、前記起動命令取得手段が前記外部端末装置から起動命令を取得した場合に、前記ライトを点灯させてから、前記カメラに前記移動体の周囲を撮像させることを特徴とする請求項1〜9の何れか一項に記載の移動体監視装置。
【請求項13】
請求項1〜12の何れか一項に記載された移動体監視装置と、前記移動体監視装置と相互に情報の授受が可能な外部端末装置とを備え、
前記外部端末装置は、前記移動体監視装置と通信を行う通信手段と、前記通信手段を介して前記移動体監視装置から取得した監視情報を出力する出力手段と、を有することを特徴とする移動体監視システム。
【請求項14】
移動体の周囲の明るさを検出し、
前記移動体の周囲の明るさが所定値未満であると判断された場合には、
前記移動体に設けられたライトを点灯し、当該ライトに前記移動体の周囲に光を照射させた後に、カメラに前記移動体の周囲を撮像させ、前記カメラに撮像させた前記移動体の周囲の監視画像に基づく監視情報を外部に送出することを特徴とする移動体の監視方法。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2012−242992(P2012−242992A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−111130(P2011−111130)
【出願日】平成23年5月18日(2011.5.18)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願日】平成23年5月18日(2011.5.18)
【出願人】(000003997)日産自動車株式会社 (16,386)
【Fターム(参考)】
[ Back to top ]