車両用監視装置及び車両の監視方法
【課題】監視のために車両Ｖの監視装置１００から外部端末装置８００へ送出される連続画像のデータ量を低減させる。
【解決手段】
車両Ｖの周囲をそれぞれ撮像する複数のカメラ１ａ〜１ｄと、カメラ１ａ〜１ｄの撮像画像に含まれる撮像対象が重複する重複画像を抽出する重複画像抽出機能と、抽出された重複画像を含む撮像画像のいずれか一方から重複画像の少なくとも一部を削除し、この重複画像の少なくとも一部が削除された撮像画像と、他の撮像画像とを含む監視画像を生成する監視画像生成機能と、この重複画像が削除された撮像画像と、他の撮像画像とを含む監視画像を含む情報を外部端末装置８００へ送信する送信機能と、を実現する制御装置１０を備える監視装置１００を提供する。また、この監視装置１００と、通信装置４００と、外部端末装置８００とを備えた車両監視システム１０００を提供する。
【解決手段】
車両Ｖの周囲をそれぞれ撮像する複数のカメラ１ａ〜１ｄと、カメラ１ａ〜１ｄの撮像画像に含まれる撮像対象が重複する重複画像を抽出する重複画像抽出機能と、抽出された重複画像を含む撮像画像のいずれか一方から重複画像の少なくとも一部を削除し、この重複画像の少なくとも一部が削除された撮像画像と、他の撮像画像とを含む監視画像を生成する監視画像生成機能と、この重複画像が削除された撮像画像と、他の撮像画像とを含む監視画像を含む情報を外部端末装置８００へ送信する送信機能と、を実現する制御装置１０を備える監視装置１００を提供する。また、この監視装置１００と、通信装置４００と、外部端末装置８００とを備えた車両監視システム１０００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置及び車両の監視方法に関する。
【背景技術】
【０００２】
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。
【０００５】
本発明が解決しようとする課題は、カメラの撮像画像を外部端末装置へ送信する際に、通信データ量を低減させることである。
【課題を解決するための手段】
【０００６】
本発明は、複数のカメラで撮像された撮像画像において撮像対象が重複する重複画像を抽出し、撮像画像のいずれか一方から重複画像を削除して生成した監視画像を外部端末装置へ送信することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、撮像対象が重複する画像を削除した監視画像を外部端末装置へ送出するので、カメラの撮像画像をそのまま送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る本実施形態の監視装置を含む車両監視システムの構成図である。
【図２】カメラの設置例を示す図である。
【図３】カメラの撮像領域の重複領域を示す図である。
【図４】フロントカメラの撮像画像の一例を示す図である。
【図５】左サイドカメラの撮像画像の一例を示す図である。
【図６Ａ】フロントカメラの撮像画像の検査領域と重複画像との一例を示す図である。
【図６Ｂ】左サイドカメラの撮像画像の検査領域と重複画像との一例を示す図である。
【図７】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第一の例を示す図である。
【図８】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第二の例を示す図である。
【図９】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第三の例を示す図である。
【図１０】各カメラの撮像画像に基づいて生成された監視画像の第三の例を示す図である。
【図１１】車両用監視装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置１００、この監視装置を備える車両監視システム１０００に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
【００１０】
図１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）を備えている。
【００１１】
図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。制御装置１０は、カメラ１ａ〜１ｄによって撮像された撮像画像をそれぞれ取得する。
【００１２】
図３は、各カメラ１ａ〜１ｄの撮像エリアを車両Ｖの上空から見た図である。図３に示すように、カメラ１ａが撮像するエリアＳＰ１とカメラ１ｄが撮像するエリアＳＰ２とには、重複領域Ａ１が存在する。つまり、この重複領域Ａ１に不審者などの監視対象物体が存在する場合には、この監視対象物体の画像はカメラ１ａの撮像画像に含まれるとともに、カメラ１ｄの撮像画像にも含まれる可能性が高い。
【００１３】
図４は、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１の一例を示し、図５は、左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２の一例を示す図である。図４の左側に写る人間と図５の右側に写る人間とは同じ撮像対象（被写体）である。
【００１４】
同様に、カメラ１ａが撮像するエリアＳＰ１とカメラ１ｂが撮像するエリアＳＰ４とには、重複領域Ａ２が存在する。つまり、この重複領域Ａ２に不審者などの監視対象物体が存在する場合には、この監視対象物体の画像はカメラ１ａ及びカメラ１ｂの撮像画像ＧＳＰ１，ＧＳＰ２の両方に含まれる可能性が高い。
【００１５】
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
【００１６】
なお、図２に示すように、カメラ１ａ〜１ｄの近傍に、近接センサ２ａ〜２ｄを配置することができる。近接センサ２ａ〜２ｄは、超音波センサ、赤外線センサ、静電センサなどである。近接センサ２ａ〜２ｄは、車両Ｖ周囲の所定領域に物体が存在するか否か、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているか、及び近接センサ２ａ〜２ｄの設置位置に基づいて検出した物体の存在方向を検出することができる。これらの近接センサ２ａ〜２ｄは、物体に関する検出結果を監視装置１００へ送出する。
【００１７】
また、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
【００１８】
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部端末装置８００を用いて確認することができる。
【００１９】
また、図１に示すように、本実施形態に係る監視装置１００の制御装置１０は、共通する撮像対象に対応する重複画像、非監視画像を削除した撮像画像に基づいて生成した監視画像を外部端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００２０】
また、本実施形態に係る監視装置１００の制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、物体が立体物であるか否か、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否かを判断することができる。なお、移動立体物である監視対象物体を検出するための画像処理の手法は、出願時において知られた手法を適宜に用いることができる。
【００２１】
本実施形態に係る監視装置１００の制御装置１０は、重複画像抽出機能と、非監視画像抽出機能と、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
【００２２】
以下、本発明の本実施形態に係る監視装置１００が実現する重複画像抽出機能、非監視画像抽出機能、監視画像生成機能、送信機能の各機能について説明する。
【００２３】
まず、重複画像抽出機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１ａ〜１ｄの撮像画像を比較し、これら各撮像画像に含まれる共通の撮像対象に対応する重複画像を抽出する。
【００２４】
制御装置１０は、重複画像を抽出するための検査領域を、カメラ１ａ〜１ｄの各撮像画像領域に設定しておくことができる。図３に示す重複画像Ａ１，Ａ２のように、重複画像は互いに隣接するカメラ１の撮像画像に含まれる可能性が高いことから、制御装置１０は、カメラ１ａ〜１ｄのうち隣接するカメラ１が重複して撮像する領域に検査領域を設定しておき、この検査領域に含まれる各画素情報の同一性を比較して、画像のマッチング度（画像の一致度）を算出し、重複領域を抽出することができる。
【００２５】
図６Ａは、図４に示すエリアＳＰ１の撮像画像ＧＳＰ１に設定された検査領域Ａ１１を示し、図６Ｂは、図５に示すエリアＳＰ２の撮像画像ＧＳＰ２に設定された検査領域Ａ１２を示す。検査領域Ａ１１及び検査領域Ａ１２は、図３に示す重複領域Ａ１の撮像画像に対応する画像の領域である。本実施形態では、カメラ１ａの撮像画像ＧＳＰ１とカメラ１ｄの撮像画像ＧＳＰ２との検査領域の処理について説明するが、カメラ１ａの撮像画像ＧＳＰ１とカメラ１ｂの撮像画像ＧＳＰ４との重複領域Ａ２の検査領域についても同様の手法を適用することができる。
【００２６】
特に限定されないが、本実施形態において、制御装置１０は、検査領域Ａ１１，Ａ１２を例えば１０ピクセル×１０ピクセルの検査単位領域に分割し、検査単位領域ごとの画素情報を算出する。そして、検査領域Ａ１１の画素情報と、検査領域Ａ１２の画像情報とを対比し、各検査単位領域のマッチング度（一致度、類似度）をそれぞれ算出する。そして、制御装置１０は、マッチング度が予め設定した閾値以上の検査単位領域の画像の集合体を重複画像として抽出する。図６Ａに実線で示す領域ＯＢ１の画像と図６Ｂに実線で示す領域ＯＢ２の画像とは、所定の閾値以上のマッチング度が算出された重複画像である。つまり、重複画像ＯＢ１と重複画像ＯＢ２とは、共通の移動体（監視対象物体）に対応する画像を含む。
【００２７】
次に、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、抽出された重複画像を含む撮像画像のいずれか一方から重複画像の少なくとも一部が削除された撮像画像と、他の撮像画像とを含む監視画像を生成する。
【００２８】
本実施形態の監視装置１００の制御装置１０は、まず、各撮像画像に基づいて重複画像を除去した監視画像Ｋをそれぞれ生成する。例えば、図７は、フロントグリル部分に設置されたカメラ１ａが撮像したエリアＳＰ１の撮像画像ＧＳＰ１に基づいて生成されたフロント領域ＳＰ１の監視画像Ｋ１の一例を示す図である。図７に示すように、制御装置１０は、撮像画像ＧＳＰ１から、マッチング処理により抽出された重複画像ＯＢ１の少なくとも一部を削除した監視領域（実線で囲まれた領域）を設定し、設定した監視領域の画像を切り出して、この切り出した画像を含む監視画像Ｋ１を生成する。このように、制御装置１０は、撮像画像ＧＳＰ１から重複領域ＯＢ１の少なくとも一部を削除した監視画像Ｋ１を生成することにより、撮像画像ＧＳＰ１よりもデータ量を小さくすることができる。
【００２９】
これにより、監視対象物体に対応する重複画像を、一方の撮像画像に残しつつ、他方の撮像画像から削除することができるので、監視画像の内容に変化を与えることなく、データ量を低減することができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００３０】
なお、図７に示す監視画像Ｋ１の例では、撮像画像ＧＳＰ１から重複画像ＯＢ１を削除するとともに、撮像画像ＧＳＰ１の右側からも重複画像ＯＢ１と同等の面積及びの領域を削除しているが、これは、監視画像Ｋ１の領域を画像の中央に対して左右対象にすることでユーザにとって見易くするためであり、撮像画像ＧＳＰ１から重複画像ＯＢ１のみを削除して監視画像Ｋ１を得ることもできる。
【００３１】
また、本実施形態の制御装置１０は、右サイドミラー部分に設置されたカメラ１ｂの撮像画像ＧＳＰ４及び／又は左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、車両Ｖのフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１又はリア部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３とに重複画像ＯＢ１が抽出された場合には、左右のサイドミラーのカメラ１ｂ，１ｄの撮像画像をそのままにすること（重複画像を削除しないこと）を優先し、カメラ１ａ又はカメラ１ｃの撮像画像から抽出された重複画像ＯＢ１を削除することができる。
【００３２】
例えば、図６Ａに示すカメラ１ａの撮像画像ＧＳＰ１と、図６Ｂに示すカメラ１ｄの撮像画像ＧＳＰ２とに、共通の撮像対象（監視対象物体）に対応する重複画像ＯＢ１が含まれている場合には、左サイドミラーに設置されたカメラ１ｄの撮像画像ＧＳＰ２を優先し、このカメラ１ｄの撮像画像ＧＳＰ２から重複画像を削除する処理を行わず、重複画像を有する他方のフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１から重複画像を削除する。
【００３３】
ちなみに、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）は、車両Ｖの側方、つまりエリアＳＰ２又はエリアＳＰ４側から車両Ｖに接近する。本実施形態のように、左右サイドミラーに設置されたカメラ１ｂ，１ｄの撮像画像ＧＳＰ２，ＧＳＰ４から重複画像を削除することなく、そのままの撮像画像をユーザに提示することにより、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００３４】
また、本実施形態の制御装置１０は、検出された監視対象物体の存在方向を撮像するカメラ１の撮像画像と、監視対象物体の存在が検出されなかった方向を撮像するカメラ１の撮像画像とにおいて重複する撮像対象に対応する重複画像を抽出した場合には、監視対象物体の存在が検出されなかった方向を撮像するカメラ１の撮像画像から重複画像を削除することができる。
【００３５】
例えば、カメラ１ａの撮像画像ＧＳＰ１に動きのある立体物である監視対象物体の画像が含まれている場合、又はカメラ１ａの撮像領域であるエリアＳＰ１側に監視対象物体の存在が近接センサ２ａにより検出された場合には、監視対象物体を捉えるフロントグリルに設置されたカメラ１ａの撮像画像ＧＳＰ１を優先し、制御装置１０は、カメラ１ａの撮像画像ＧＳＰ１から重複画像を削除する処理を行わず、左サイドミラーに設置されたカメラ１ｄの撮像画像ＧＳＰ２から重複画像を削除することができる。
【００３６】
本実施形態における監視対象物体とは、特に限定されないが、例えば人間のように、高さのある物体であり、かつ移動可能な物体である。本実施形態の制御装置１０は、近接センサ２ａ〜２ｄ又は画像処理コントロールユニットから取得した検出結果に基づいて車両Ｖの周囲に監視対象物体が存在するか否かを検出することができる。
【００３７】
たとえば、制御装置１０は、先述した画像処理コントロールユニットを用い、カメラ１の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、移動立体物である監視対象物体が検出されたと判断することができる。さらに、制御装置１０は、近接センサ２ａ〜２ｄの検出結果を利用して移動する監視対象物体の存在を検出することができる。
【００３８】
これにより、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）が存在する方向の撮像画像をユーザにそのまま提示することができる。この結果、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００３９】
続いて、本実施形態の監視装置１００の非監視画像抽出機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像から、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラ１のレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する画像を含む非監視画像を抽出することができる。
【００４０】
図８は、車両Ｖのフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１に含まれる車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１とを示す。図８の破線で囲む領域は、車両Ｖのバンパー部分が映り込んだ車体領域Ｂ１及び／又はカメラ１ａのレンズフードが映り込んだケラレ領域Ｆ１である。また、図８の一点鎖線で囲む領域は、車両Ｖが走行する路面が映り込んだ路面領域Ｒ１である。ちなみに、車体領域Ｂ１と、ケラレ領域Ｆ１及び路面領域Ｒ１は、各カメラ１ａ〜１ｄが車両Ｖに設置された位置情報、各カメラ１ａ〜１ｄの光軸方向（撮像方向）、各カメラ１ａ〜１ｄの撮像領域の座標情報に基づいて、予め設定しておくことができる。
【００４１】
非監視画像を抽出した場合において、本実施形態の制御装置１０は、撮像画像から非監視画像の少なくとも一部を削除して監視画像を生成することができる。図８の実線で囲む領域は、カメラ１ａの撮像画像ＧＳＰ１から、車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１とが除かれた監視画像Ｋ１である。
【００４２】
ちなみに、撮像画像に含まれる車体、路面、レンズフードなどの画像は、高さのある立体物である監視対象物体の画像には影響を与えないので、監視対象物体を監視する目的から見れば不要である。本実施形態のように、監視対象物体の監視において不要な非監視画像を撮像画像から削除しても、監視画像の内容に変化を与えることがない。このため、本実施形態の監視装置１００によれば、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００４３】
また、図９に示すように、本実施形態の監視装置１００の制御装置１０は、各カメラ１ａ〜１ｄの撮像画像から車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１などの非監視画像を削除した後に、上述した重複画像を削除した監視画像Ｋ３を生成することができる。非監視画像を削除してから、重複画像の抽出処理及び削除処理を行う場合には、重複画像の抽出処理が行われる検査領域を減らすことができるので、処理負担を低減させることができる。
【００４４】
もちろん、上述した重複画像を削除する処理とは独立して、各カメラ１ａ〜１ｄの撮像画像から車体領域Ｂ１、ケラレ領域Ｆ１、路面領域Ｒ１などの非監視領域を削除する処理のみを行って監視画像Ｋ１を生成することができる。
【００４５】
また、本実施形態の監視装置１００の制御装置１０は、監視対象物体が検出された場合において、検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を抽出することができる。
【００４６】
具体的に、図１０に示すように、左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、フロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１と、右サイドミラー部に設置されたカメラ１ｂの撮像画像ＧＳＰ４と、リア（後方）部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３が得られた場合に、本実施形態の制御装置１０は、監視対象物体に対応する画像上の位置Ｐの存在位置を基準点Ｐ０とし、この基準点Ｐ０を中心として、左右に９０度（全体で１８０度）の視野に対応する監視領域の画像を監視画像Ｋ４とし、この監視領域以外の領域の画像を非監視画像として抽出する。
【００４７】
そして、同図に示すように、制御装置１０は、撮像画像ＧＳＰ１〜ＧＳＰ４から監視対象物体から離れた領域に対応する非監視画像を削除し、二点鎖線で示す監視画像Ｋ４を生成することができる。
【００４８】
このように、監視対象物体を中心に配置して、端部の非監視画像を削除してデータ量を低減させることにより、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。この結果、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させつつ、監視システム稼働時の通信コストを低減させることができる。
【００４９】
本実施形態の制御装置１０は、上述した監視画像Ｋ１〜Ｋ４を生成するとともに、重複画像、非監視画像を削除しない撮像画像ＧＳＰ１〜ＧＳＰ４を含む監視画像Ｋを生成し、生成した監視画像Ｋを少なくとも一時的に記憶する。
【００５０】
最後に、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部端末装置８００へ送信することができる。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。
【００５１】
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図１１は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャート図である。
【００５２】
ステップ１０において、本実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）や、ユーザの外部端末装置８００から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。
【００５３】
ステップ２０において、本実施形態の監視装置１００は、車両Ｖに設置された複数のカメラ１が撮像した撮像画像をそれぞれ取得する。
【００５４】
ステップ３０において、本実施形態の監視装置１００は、各撮像画像の歪みを補正する。本実施形態のカメラ１が広角カメラである場合には、撮像画像の中心から離れるにつれて画像の歪みが大きくなるため、監視装置１００は、所定の画像変換処理を行うことにより、各撮像画像の歪みを補正することができる。歪み補正の手法は出願時に知られている手法を適宜に利用することができる。
【００５５】
ステップ４０において、本実施形態の監視装置１００は、歪みが補正された各撮像画像について、マッチング度の算出を行い共通の撮像対象が含まれている重複画像の有無を検査するための検査領域をそれぞれ設定する。具体的には、図３に示すＡ１で示す重複領域に対応する、図６Ａに示す検査領域Ａ１１及び図６Ｂに示す検査領域Ａ１２を各撮像画像に設定することができる。
【００５６】
ステップ５０において、本実施形態の監視装置１００は、設定された検査領域について、１０ピクセル×１０ピクセルに分割された検査単位領域ごとにマッチング度を算出し、続くステップ６０において、監視装置１００はマッチング度(一致度)が所定の閾値以上である検査単位領域の集合体を重複領域（図６ＡのＯＢ１，図６ＢのＯＢ２）として判定する。
【００５７】
次のステップ７０において、本実施形態の監視装置１００は、重複領域を含むと判断された撮像画像のうち、いずれが優先される撮像画像であるかを判断する。優先する撮像画像は予め定義しておくことができ、本実施形態では、フロント領域を撮像するカメラ１ａの撮像画像、リア領域を撮像するカメラ１ｃの撮像画像よりも、車体の左右側方を撮像するカメラ１ｂ，１ｄの撮像画像を優先すべきことを定義しておくことができる。また、本実施形態では、カメラ１の位置によらず、監視対象物体が検出されていない方向を撮像するカメラ１ａ〜１ｄの撮像画像よりも、監視対象物体が検出された方向を撮像するカメラ１ａ〜１ｄ（又は、監視対象物体の像が含まれる監視画像を撮像するカメラ１ａ〜１ｄ）のいずれかの撮像画像を優先すべきことを定義しておくことができる。監視対象物体の存在位置、存在方向の情報は近接センサ２ａ〜２ｄから取得することもできる。
【００５８】
ステップ７０において、優先する撮像画像であると判断された場合には、ステップ８０へ進み、その撮像画像からは重複画像を削除せず、そのままの状態を維持してステップ１００へ進む。他方、ステップ７０において、優先する撮像画像ではないと判断された場合には、ステップ９０へ進み、その撮像画像から重複画像の少なくとも一部を削除して、ステップ１００へ進む。
【００５９】
ステップ１００において、監視装置１００は、監視対象物体が検出されたか否かを確認し、監視対象物体が検出されていなければ、ステップ１２０へ進む。他方、監視対象物体が検出されている場合には、ステップ１１０へ進む。
【００６０】
ステップ１１０において、監視装置１００は、監視対象物体の存在方向を中心とした監視領域と、監視領域以外の非監視領域を設定し、非監視領域に対応する非監視画像を設定し、この非監視画像を撮像画像から削除し、ステップ１２０へ進む。
【００６１】
また、本実施形態の監視装置１００は、ステップ３０の歪み補正処理の後に、非監視画像を削除するステップ２１０及び２２０の処理を行うことができる。
【００６２】
まず、ステップ２１０において、本実施形態の監視装置１００は、各カメラ１の撮像画像から、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラ１のレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を、撮像画像から抽出する。車体領域、路面領域、ケラレ領域の撮像画像上の位置（領域）は、カメラ１の設置位置、カメラ１の光軸方向、カメラ１の撮像領域に基づいて、撮像画像上の座標値により予め定義しておくことができる。
【００６３】
そして、ステップ２２０において、監視装置１００は、設定された非監視画像を撮像画像から削除してステップ１２０へ進む。なお、本実施形態において、ステップ２１０及びステップ２２０の処理は、独立して行うことができるので、ステップ２２０の後にステップ４０、ステップ１００へ進むこともできる。
【００６４】
続くステップ１２０において、監視装置１００は、上述した処理により得られた、重複画像及び／又は非監視画像が削除された撮像画像と、それ以外の撮像画像とに基づいて、監視画像Ｋを生成する。生成した監視画像は、少なくとも一時的に記憶する。
【００６５】
ステップ１３０において、制御装置１０は、生成した監視画像を含む情報を外部端末装置８００へ送信し、ステップ１４０において監視処理の終了が判断されるまで、処理が繰り返される。
【００６６】
外部端末装置８００は、ステップ３１において、監視装置１００から送出された監視画像を通信装置８１０が受信し、ステップ３２において画像処理装置８２０が必要な画像処理を実行し、ステップ３３においてディスプレイ８３０が監視画像を含む情報を表示する。
【００６７】
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【００６８】
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００及び車両監視システム１０００は、以下の効果を奏する。
【００６９】
本実施形態に係る監視装置１００によれば、共通の監視対象物体に対応する重複画像を有する二つの撮像画像のうち一方の撮像画像には重複画像を残しつつ、他方の撮像画像から重複画像を削除するので、監視画像の内容に変化を与えることなく、データ量を低減することができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７０】
また、本実施形態に係る監視装置１００によれば、左右のサイドミラー部分に設置されたカメラ１ｂ、１ｄの撮像画像を、フロントグリル部分に設置されたカメラ１ａやリア部分に設置されたカメラ１ｃの撮像画像よりも優先し、重複画像を削除する処理を行わず、当初の撮像画像をそのまま監視画像に含めるので、車両側方から接近する不審者の動きを捉えた監視画像を生成することができる。一般に、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）は、車両Ｖの側方、つまりエリアＳＰ２又はエリアＳＰ４側から車両Ｖに接近する。本実施形態の監視装置１００によれば、左右サイドミラーに設置されたカメラ１ｂ，１ｄの撮像画像ＧＳＰ２，ＧＳＰ４をユーザにそのまま提示することにより、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００７１】
本実施形態に係る監視装置１００によれば、監視対象物体が検出された方向を撮像する監視画像を、監視対象物体が検出されなかった方向を撮像する監視画像よりも優先し、重複画像を削除する処理を行わず、当初の撮像画像をそのまま監視画像に含めるので、不審者などの監視対象物体の動きを捉えた監視画像を生成することができる。つまり、本実施形態の監視装置１００によれば、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）が存在する方向の撮像画像をユーザにそのまま提示することができる。この結果、監視画像のデータ量を低減しつつも、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００７２】
本実施形態に係る監視装置１００によれば、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を撮像画像から削除するので、監視画像の内容に影響を与えることなく、送信の対象となる監視画像のデータ量を低減させることができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７３】
本実施形態に係る監視装置１００によれば、検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を監視画像から削除するので、非監視画像を削除してデータ量を低減させつつ、監視対象物体を中心に配置して、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。この結果、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７４】
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００と同様の作用を奏し、同様の効果を得ることができる。
【００７５】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７６】
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００７７】
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
【００７８】
また、本明細書では、カメラと、重複画像抽出手段と、監視画像生成手段と、送信手段とを有する本発明に係る車両用監視装置の一態様、これらの各手段に加えて、非監視画像抽出手段と、監視物体検出手段と、をさらに有する本発明に係る車両用監視装置の一態様として、カメラ１と、重複画像抽出機能、非監視画像抽出機能、監視物体検出機能、監視画像生成機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
【００７９】
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【００８０】
１０００…車両監視システム
１ａ〜１ｄ…カメラ
２ａ〜２ｄ…近接センサ
１００…監視装置
Ｖ…車両
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…車両コントローラ
４００…通信装置
３００…イグニッションスイッチ
８００…外部端末装置
９００…通信回線
【技術分野】
【０００１】
本発明は、車両に設置されたカメラを利用して、車両の周囲を監視する車両用監視装置及び車両の監視方法に関する。
【背景技術】
【０００２】
この種の装置に関し、ドアの接触センサなどが検知した外部からの刺激を検知した場合には、カメラに周囲を撮像させ、その画像情報を外部の携帯電話等に転送する防犯装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、カメラの撮像画像をそのまま送信すると通信データの量が多く、通信時間及び通信コストの負担が大きいという問題がある。
【０００５】
本発明が解決しようとする課題は、カメラの撮像画像を外部端末装置へ送信する際に、通信データ量を低減させることである。
【課題を解決するための手段】
【０００６】
本発明は、複数のカメラで撮像された撮像画像において撮像対象が重複する重複画像を抽出し、撮像画像のいずれか一方から重複画像を削除して生成した監視画像を外部端末装置へ送信することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、撮像対象が重複する画像を削除した監視画像を外部端末装置へ送出するので、カメラの撮像画像をそのまま送信する場合よりも、車両の周囲を監視するために送信される監視画像のデータ総量を低減させることができる。この結果、車両の監視のために必要な通信コストを低減させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る本実施形態の監視装置を含む車両監視システムの構成図である。
【図２】カメラの設置例を示す図である。
【図３】カメラの撮像領域の重複領域を示す図である。
【図４】フロントカメラの撮像画像の一例を示す図である。
【図５】左サイドカメラの撮像画像の一例を示す図である。
【図６Ａ】フロントカメラの撮像画像の検査領域と重複画像との一例を示す図である。
【図６Ｂ】左サイドカメラの撮像画像の検査領域と重複画像との一例を示す図である。
【図７】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第一の例を示す図である。
【図８】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第二の例を示す図である。
【図９】フロントカメラの撮像画像に基づいて生成されたフロント領域の監視画像の第三の例を示す図である。
【図１０】各カメラの撮像画像に基づいて生成された監視画像の第三の例を示す図である。
【図１１】車両用監視装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用監視装置を、車両を監視するための監視装置１００、この監視装置を備える車両監視システム１０００に適用した場合を例にして説明する。なお、本発明に係る車両用監視装置の監視対象は車両に限定されず、二輪車、船、重機、フォークリフト等の移動体を監視することもできる。
【００１０】
図１は、本実施形態に係る監視装置１００を含む車両監視システム１０００のブロック構成図である。図１に示すように、本実施形態の車両監視システム１０００は、車両に設置された４つのカメラ１ａ〜１ｄ（以下、カメラ１と総称することもある）を備えている。
【００１１】
図２は、カメラ１ａ〜１ｄを車両Ｖに取り付ける場合の配置例を示す図である。カメラ１ａ〜１ｄはＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、車両Ｖの外部の異なる位置に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。例えば、図２に示すように、フロントグリル部分などの車両Ｖの前方の所定位置に設置されたカメラ１ａは、車両Ｖの前方のエリアＳＰ１内及びその前方の空間に存在する物体又は路面の画像（フロントビュー画像）を撮影する。左サイドミラー部分などの車両Ｖの左側方の所定位置に設置されたカメラ１ｄは、車両Ｖの左側方のエリアＳＰ２内及びその周囲の空間に存在する物体又は路面の画像（左サイドビュー画像）を撮影する。リアフィニッシャー部分やルーフスポイラー部分などの車両Ｖのリア（後方）部分の所定位置に設置されたカメラ１ｃは、車両Ｖの後方のエリアＳＰ３内及びその後方の空間に存在する物体又は路面の画像（リアビュー画像）を撮影する。右サイドミラー部分などの車両Ｖの右側方の所定位置に設置されたカメラ１ｂは、車両Ｖの右側方のエリアＳＰ４内及びその周囲の空間に存在する物体又は路面の画像（右サイドビュー画像）を撮影する。制御装置１０は、カメラ１ａ〜１ｄによって撮像された撮像画像をそれぞれ取得する。
【００１２】
図３は、各カメラ１ａ〜１ｄの撮像エリアを車両Ｖの上空から見た図である。図３に示すように、カメラ１ａが撮像するエリアＳＰ１とカメラ１ｄが撮像するエリアＳＰ２とには、重複領域Ａ１が存在する。つまり、この重複領域Ａ１に不審者などの監視対象物体が存在する場合には、この監視対象物体の画像はカメラ１ａの撮像画像に含まれるとともに、カメラ１ｄの撮像画像にも含まれる可能性が高い。
【００１３】
図４は、フロントカメラ１ａがエリアＳＰ１を撮像した撮像画像ＧＳＰ１の一例を示し、図５は、左サイドカメラ１ｄがエリアＳＰ２を撮像した撮像画像ＧＳＰ２の一例を示す図である。図４の左側に写る人間と図５の右側に写る人間とは同じ撮像対象（被写体）である。
【００１４】
同様に、カメラ１ａが撮像するエリアＳＰ１とカメラ１ｂが撮像するエリアＳＰ４とには、重複領域Ａ２が存在する。つまり、この重複領域Ａ２に不審者などの監視対象物体が存在する場合には、この監視対象物体の画像はカメラ１ａ及びカメラ１ｂの撮像画像ＧＳＰ１，ＧＳＰ２の両方に含まれる可能性が高い。
【００１５】
なお、カメラ１の配置数及び配置位置は、車両Ｖの大きさ、形状、検出領域の設定手法等に応じて適宜に決定することができる。上述した複数のカメラ１は、それぞれのアドレス(配置)に応じた識別子が付されており、制御装置１０は、各識別子に基づいて各カメラ１のそれぞれを識別することができる。また、制御装置１０は、識別子を付することにより、特定のカメラ１に起動命令その他の命令を送出することができる。
【００１６】
なお、図２に示すように、カメラ１ａ〜１ｄの近傍に、近接センサ２ａ〜２ｄを配置することができる。近接センサ２ａ〜２ｄは、超音波センサ、赤外線センサ、静電センサなどである。近接センサ２ａ〜２ｄは、車両Ｖ周囲の所定領域に物体が存在するか否か、又は車両周囲の物体が車両Ｖに接近しているか又は離隔しているか、及び近接センサ２ａ〜２ｄの設置位置に基づいて検出した物体の存在方向を検出することができる。これらの近接センサ２ａ〜２ｄは、物体に関する検出結果を監視装置１００へ送出する。
【００１７】
また、本実施形態の車両監視システム１０００は、さらに、監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００と、を有する。この車両監視システム１０００は、車両コントローラ２００と情報の授受が可能なイグニッションスイッチ３００を備えることができる。これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、相互に情報の授受を行うことができる。
【００１８】
本実施形態の車両監視システム１０００において、監視装置１００は、通信装置４００を介して携帯電話、スマートフォンその他の通信装置８１０を備える外部端末装置８００（コンピュータ）と相互に通信が可能である。本実施形態の外部端末装置８００は、通信装置８１０と、画像処理装置８２０と、ディスプレイ８３０とを備え、通信装置８１０が車載の監視装置１００側から監視画像を取得し、画像処理装置８２０が表示に必要な画像処理を実行し、ディスプレイ８３０が監視画像を表示する。外部端末装置８００を所持するユーザは、監視装置１００から送出された車両の監視画像を、外部端末装置８００を用いて確認することができる。
【００１９】
また、図１に示すように、本実施形態に係る監視装置１００の制御装置１０は、共通する撮像対象に対応する重複画像、非監視画像を削除した撮像画像に基づいて生成した監視画像を外部端末装置８００に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、監視装置１００として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。
【００２０】
また、本実施形態に係る監視装置１００の制御装置１０は、画像処理コントロールユニット（Image Processing Control Unit: IPCU）を備える。制御装置１０は、画像処理コントロールユニットを用いて、各カメラ１の撮像画像を解析し、撮像画像のデータから物体に対応する画像を抽出し、物体が立体物であるか否か、さらに抽出した画像の移動量に基づいて検出した物体が移動物体であるか否かを判断することができる。なお、移動立体物である監視対象物体を検出するための画像処理の手法は、出願時において知られた手法を適宜に用いることができる。
【００２１】
本実施形態に係る監視装置１００の制御装置１０は、重複画像抽出機能と、非監視画像抽出機能と、監視画像生成機能と、送信機能とを実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行することができる。本実施形態では、制御装置１０が各制御命令を送出する態様を例にして説明するが、本実施形態の制御装置１０は、車両コントローラ２００を介してカメラ１、通信装置４００を制御することも可能である。
【００２２】
以下、本発明の本実施形態に係る監視装置１００が実現する重複画像抽出機能、非監視画像抽出機能、監視画像生成機能、送信機能の各機能について説明する。
【００２３】
まず、重複画像抽出機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１ａ〜１ｄの撮像画像を比較し、これら各撮像画像に含まれる共通の撮像対象に対応する重複画像を抽出する。
【００２４】
制御装置１０は、重複画像を抽出するための検査領域を、カメラ１ａ〜１ｄの各撮像画像領域に設定しておくことができる。図３に示す重複画像Ａ１，Ａ２のように、重複画像は互いに隣接するカメラ１の撮像画像に含まれる可能性が高いことから、制御装置１０は、カメラ１ａ〜１ｄのうち隣接するカメラ１が重複して撮像する領域に検査領域を設定しておき、この検査領域に含まれる各画素情報の同一性を比較して、画像のマッチング度（画像の一致度）を算出し、重複領域を抽出することができる。
【００２５】
図６Ａは、図４に示すエリアＳＰ１の撮像画像ＧＳＰ１に設定された検査領域Ａ１１を示し、図６Ｂは、図５に示すエリアＳＰ２の撮像画像ＧＳＰ２に設定された検査領域Ａ１２を示す。検査領域Ａ１１及び検査領域Ａ１２は、図３に示す重複領域Ａ１の撮像画像に対応する画像の領域である。本実施形態では、カメラ１ａの撮像画像ＧＳＰ１とカメラ１ｄの撮像画像ＧＳＰ２との検査領域の処理について説明するが、カメラ１ａの撮像画像ＧＳＰ１とカメラ１ｂの撮像画像ＧＳＰ４との重複領域Ａ２の検査領域についても同様の手法を適用することができる。
【００２６】
特に限定されないが、本実施形態において、制御装置１０は、検査領域Ａ１１，Ａ１２を例えば１０ピクセル×１０ピクセルの検査単位領域に分割し、検査単位領域ごとの画素情報を算出する。そして、検査領域Ａ１１の画素情報と、検査領域Ａ１２の画像情報とを対比し、各検査単位領域のマッチング度（一致度、類似度）をそれぞれ算出する。そして、制御装置１０は、マッチング度が予め設定した閾値以上の検査単位領域の画像の集合体を重複画像として抽出する。図６Ａに実線で示す領域ＯＢ１の画像と図６Ｂに実線で示す領域ＯＢ２の画像とは、所定の閾値以上のマッチング度が算出された重複画像である。つまり、重複画像ＯＢ１と重複画像ＯＢ２とは、共通の移動体（監視対象物体）に対応する画像を含む。
【００２７】
次に、監視画像生成機能について説明する。本実施形態の監視装置１００の制御装置１０は、抽出された重複画像を含む撮像画像のいずれか一方から重複画像の少なくとも一部が削除された撮像画像と、他の撮像画像とを含む監視画像を生成する。
【００２８】
本実施形態の監視装置１００の制御装置１０は、まず、各撮像画像に基づいて重複画像を除去した監視画像Ｋをそれぞれ生成する。例えば、図７は、フロントグリル部分に設置されたカメラ１ａが撮像したエリアＳＰ１の撮像画像ＧＳＰ１に基づいて生成されたフロント領域ＳＰ１の監視画像Ｋ１の一例を示す図である。図７に示すように、制御装置１０は、撮像画像ＧＳＰ１から、マッチング処理により抽出された重複画像ＯＢ１の少なくとも一部を削除した監視領域（実線で囲まれた領域）を設定し、設定した監視領域の画像を切り出して、この切り出した画像を含む監視画像Ｋ１を生成する。このように、制御装置１０は、撮像画像ＧＳＰ１から重複領域ＯＢ１の少なくとも一部を削除した監視画像Ｋ１を生成することにより、撮像画像ＧＳＰ１よりもデータ量を小さくすることができる。
【００２９】
これにより、監視対象物体に対応する重複画像を、一方の撮像画像に残しつつ、他方の撮像画像から削除することができるので、監視画像の内容に変化を与えることなく、データ量を低減することができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００３０】
なお、図７に示す監視画像Ｋ１の例では、撮像画像ＧＳＰ１から重複画像ＯＢ１を削除するとともに、撮像画像ＧＳＰ１の右側からも重複画像ＯＢ１と同等の面積及びの領域を削除しているが、これは、監視画像Ｋ１の領域を画像の中央に対して左右対象にすることでユーザにとって見易くするためであり、撮像画像ＧＳＰ１から重複画像ＯＢ１のみを削除して監視画像Ｋ１を得ることもできる。
【００３１】
また、本実施形態の制御装置１０は、右サイドミラー部分に設置されたカメラ１ｂの撮像画像ＧＳＰ４及び／又は左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、車両Ｖのフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１又はリア部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３とに重複画像ＯＢ１が抽出された場合には、左右のサイドミラーのカメラ１ｂ，１ｄの撮像画像をそのままにすること（重複画像を削除しないこと）を優先し、カメラ１ａ又はカメラ１ｃの撮像画像から抽出された重複画像ＯＢ１を削除することができる。
【００３２】
例えば、図６Ａに示すカメラ１ａの撮像画像ＧＳＰ１と、図６Ｂに示すカメラ１ｄの撮像画像ＧＳＰ２とに、共通の撮像対象（監視対象物体）に対応する重複画像ＯＢ１が含まれている場合には、左サイドミラーに設置されたカメラ１ｄの撮像画像ＧＳＰ２を優先し、このカメラ１ｄの撮像画像ＧＳＰ２から重複画像を削除する処理を行わず、重複画像を有する他方のフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１から重複画像を削除する。
【００３３】
ちなみに、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）は、車両Ｖの側方、つまりエリアＳＰ２又はエリアＳＰ４側から車両Ｖに接近する。本実施形態のように、左右サイドミラーに設置されたカメラ１ｂ，１ｄの撮像画像ＧＳＰ２，ＧＳＰ４から重複画像を削除することなく、そのままの撮像画像をユーザに提示することにより、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００３４】
また、本実施形態の制御装置１０は、検出された監視対象物体の存在方向を撮像するカメラ１の撮像画像と、監視対象物体の存在が検出されなかった方向を撮像するカメラ１の撮像画像とにおいて重複する撮像対象に対応する重複画像を抽出した場合には、監視対象物体の存在が検出されなかった方向を撮像するカメラ１の撮像画像から重複画像を削除することができる。
【００３５】
例えば、カメラ１ａの撮像画像ＧＳＰ１に動きのある立体物である監視対象物体の画像が含まれている場合、又はカメラ１ａの撮像領域であるエリアＳＰ１側に監視対象物体の存在が近接センサ２ａにより検出された場合には、監視対象物体を捉えるフロントグリルに設置されたカメラ１ａの撮像画像ＧＳＰ１を優先し、制御装置１０は、カメラ１ａの撮像画像ＧＳＰ１から重複画像を削除する処理を行わず、左サイドミラーに設置されたカメラ１ｄの撮像画像ＧＳＰ２から重複画像を削除することができる。
【００３６】
本実施形態における監視対象物体とは、特に限定されないが、例えば人間のように、高さのある物体であり、かつ移動可能な物体である。本実施形態の制御装置１０は、近接センサ２ａ〜２ｄ又は画像処理コントロールユニットから取得した検出結果に基づいて車両Ｖの周囲に監視対象物体が存在するか否かを検出することができる。
【００３７】
たとえば、制御装置１０は、先述した画像処理コントロールユニットを用い、カメラ１の撮像画像から所定の高さ以上の物体に対応する画像が検出され、その画像の位置が経時的に変化する場合には、移動立体物である監視対象物体が検出されたと判断することができる。さらに、制御装置１０は、近接センサ２ａ〜２ｄの検出結果を利用して移動する監視対象物体の存在を検出することができる。
【００３８】
これにより、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）が存在する方向の撮像画像をユーザにそのまま提示することができる。この結果、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００３９】
続いて、本実施形態の監視装置１００の非監視画像抽出機能について説明する。本実施形態の監視装置１００の制御装置１０は、各カメラ１の撮像画像から、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラ１のレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する画像を含む非監視画像を抽出することができる。
【００４０】
図８は、車両Ｖのフロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１に含まれる車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１とを示す。図８の破線で囲む領域は、車両Ｖのバンパー部分が映り込んだ車体領域Ｂ１及び／又はカメラ１ａのレンズフードが映り込んだケラレ領域Ｆ１である。また、図８の一点鎖線で囲む領域は、車両Ｖが走行する路面が映り込んだ路面領域Ｒ１である。ちなみに、車体領域Ｂ１と、ケラレ領域Ｆ１及び路面領域Ｒ１は、各カメラ１ａ〜１ｄが車両Ｖに設置された位置情報、各カメラ１ａ〜１ｄの光軸方向（撮像方向）、各カメラ１ａ〜１ｄの撮像領域の座標情報に基づいて、予め設定しておくことができる。
【００４１】
非監視画像を抽出した場合において、本実施形態の制御装置１０は、撮像画像から非監視画像の少なくとも一部を削除して監視画像を生成することができる。図８の実線で囲む領域は、カメラ１ａの撮像画像ＧＳＰ１から、車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１とが除かれた監視画像Ｋ１である。
【００４２】
ちなみに、撮像画像に含まれる車体、路面、レンズフードなどの画像は、高さのある立体物である監視対象物体の画像には影響を与えないので、監視対象物体を監視する目的から見れば不要である。本実施形態のように、監視対象物体の監視において不要な非監視画像を撮像画像から削除しても、監視画像の内容に変化を与えることがない。このため、本実施形態の監視装置１００によれば、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００４３】
また、図９に示すように、本実施形態の監視装置１００の制御装置１０は、各カメラ１ａ〜１ｄの撮像画像から車体領域Ｂ１と、ケラレ領域Ｆ１と、路面領域Ｒ１などの非監視画像を削除した後に、上述した重複画像を削除した監視画像Ｋ３を生成することができる。非監視画像を削除してから、重複画像の抽出処理及び削除処理を行う場合には、重複画像の抽出処理が行われる検査領域を減らすことができるので、処理負担を低減させることができる。
【００４４】
もちろん、上述した重複画像を削除する処理とは独立して、各カメラ１ａ〜１ｄの撮像画像から車体領域Ｂ１、ケラレ領域Ｆ１、路面領域Ｒ１などの非監視領域を削除する処理のみを行って監視画像Ｋ１を生成することができる。
【００４５】
また、本実施形態の監視装置１００の制御装置１０は、監視対象物体が検出された場合において、検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を抽出することができる。
【００４６】
具体的に、図１０に示すように、左サイドミラー部分に設置されたカメラ１ｄの撮像画像ＧＳＰ２と、フロントグリル部分に設置されたカメラ１ａの撮像画像ＧＳＰ１と、右サイドミラー部に設置されたカメラ１ｂの撮像画像ＧＳＰ４と、リア（後方）部分に設置されたカメラ１ｃの撮像画像ＧＳＰ３が得られた場合に、本実施形態の制御装置１０は、監視対象物体に対応する画像上の位置Ｐの存在位置を基準点Ｐ０とし、この基準点Ｐ０を中心として、左右に９０度（全体で１８０度）の視野に対応する監視領域の画像を監視画像Ｋ４とし、この監視領域以外の領域の画像を非監視画像として抽出する。
【００４７】
そして、同図に示すように、制御装置１０は、撮像画像ＧＳＰ１〜ＧＳＰ４から監視対象物体から離れた領域に対応する非監視画像を削除し、二点鎖線で示す監視画像Ｋ４を生成することができる。
【００４８】
このように、監視対象物体を中心に配置して、端部の非監視画像を削除してデータ量を低減させることにより、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。この結果、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させつつ、監視システム稼働時の通信コストを低減させることができる。
【００４９】
本実施形態の制御装置１０は、上述した監視画像Ｋ１〜Ｋ４を生成するとともに、重複画像、非監視画像を削除しない撮像画像ＧＳＰ１〜ＧＳＰ４を含む監視画像Ｋを生成し、生成した監視画像Ｋを少なくとも一時的に記憶する。
【００５０】
最後に、本実施形態の制御装置１０の通信機能について説明する。制御装置１０は、生成された監視画像を含む情報を、公衆通信網として利用可能な通信回線９００を用いて外部端末装置８００へ送信することができる。監視画像は、一つの動画ファイルとして記憶してもよいし、ストリーミング方式で転送・再生が可能形態で記憶してもよい。
【００５１】
以下、本発明の本実施形態の車両監視システム１０００の処理手順を説明する。図１１は、本実施形態に係る車両監視システム１０００の制御手順を示すフローチャート図である。
【００５２】
ステップ１０において、本実施形態の監視装置１００の制御装置１０は、監視開始タイミングであるか否かを判断する。特に限定されないが、本実施形態の監視装置１００は、イグニッションスイッチ３００に入力されたエンジンのオフ信号が入力され、通信機能を有する車両Ｖの電子キーが車両Ｖの近傍に存在しない場合（電子キーを携帯するユーザが車両Ｖから離れている場合）や、ユーザの外部端末装置８００から監視画像の要求指令を受け付けた場合に監視処理を開始することができる。
【００５３】
ステップ２０において、本実施形態の監視装置１００は、車両Ｖに設置された複数のカメラ１が撮像した撮像画像をそれぞれ取得する。
【００５４】
ステップ３０において、本実施形態の監視装置１００は、各撮像画像の歪みを補正する。本実施形態のカメラ１が広角カメラである場合には、撮像画像の中心から離れるにつれて画像の歪みが大きくなるため、監視装置１００は、所定の画像変換処理を行うことにより、各撮像画像の歪みを補正することができる。歪み補正の手法は出願時に知られている手法を適宜に利用することができる。
【００５５】
ステップ４０において、本実施形態の監視装置１００は、歪みが補正された各撮像画像について、マッチング度の算出を行い共通の撮像対象が含まれている重複画像の有無を検査するための検査領域をそれぞれ設定する。具体的には、図３に示すＡ１で示す重複領域に対応する、図６Ａに示す検査領域Ａ１１及び図６Ｂに示す検査領域Ａ１２を各撮像画像に設定することができる。
【００５６】
ステップ５０において、本実施形態の監視装置１００は、設定された検査領域について、１０ピクセル×１０ピクセルに分割された検査単位領域ごとにマッチング度を算出し、続くステップ６０において、監視装置１００はマッチング度(一致度)が所定の閾値以上である検査単位領域の集合体を重複領域（図６ＡのＯＢ１，図６ＢのＯＢ２）として判定する。
【００５７】
次のステップ７０において、本実施形態の監視装置１００は、重複領域を含むと判断された撮像画像のうち、いずれが優先される撮像画像であるかを判断する。優先する撮像画像は予め定義しておくことができ、本実施形態では、フロント領域を撮像するカメラ１ａの撮像画像、リア領域を撮像するカメラ１ｃの撮像画像よりも、車体の左右側方を撮像するカメラ１ｂ，１ｄの撮像画像を優先すべきことを定義しておくことができる。また、本実施形態では、カメラ１の位置によらず、監視対象物体が検出されていない方向を撮像するカメラ１ａ〜１ｄの撮像画像よりも、監視対象物体が検出された方向を撮像するカメラ１ａ〜１ｄ（又は、監視対象物体の像が含まれる監視画像を撮像するカメラ１ａ〜１ｄ）のいずれかの撮像画像を優先すべきことを定義しておくことができる。監視対象物体の存在位置、存在方向の情報は近接センサ２ａ〜２ｄから取得することもできる。
【００５８】
ステップ７０において、優先する撮像画像であると判断された場合には、ステップ８０へ進み、その撮像画像からは重複画像を削除せず、そのままの状態を維持してステップ１００へ進む。他方、ステップ７０において、優先する撮像画像ではないと判断された場合には、ステップ９０へ進み、その撮像画像から重複画像の少なくとも一部を削除して、ステップ１００へ進む。
【００５９】
ステップ１００において、監視装置１００は、監視対象物体が検出されたか否かを確認し、監視対象物体が検出されていなければ、ステップ１２０へ進む。他方、監視対象物体が検出されている場合には、ステップ１１０へ進む。
【００６０】
ステップ１１０において、監視装置１００は、監視対象物体の存在方向を中心とした監視領域と、監視領域以外の非監視領域を設定し、非監視領域に対応する非監視画像を設定し、この非監視画像を撮像画像から削除し、ステップ１２０へ進む。
【００６１】
また、本実施形態の監視装置１００は、ステップ３０の歪み補正処理の後に、非監視画像を削除するステップ２１０及び２２０の処理を行うことができる。
【００６２】
まず、ステップ２１０において、本実施形態の監視装置１００は、各カメラ１の撮像画像から、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラ１のレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を、撮像画像から抽出する。車体領域、路面領域、ケラレ領域の撮像画像上の位置（領域）は、カメラ１の設置位置、カメラ１の光軸方向、カメラ１の撮像領域に基づいて、撮像画像上の座標値により予め定義しておくことができる。
【００６３】
そして、ステップ２２０において、監視装置１００は、設定された非監視画像を撮像画像から削除してステップ１２０へ進む。なお、本実施形態において、ステップ２１０及びステップ２２０の処理は、独立して行うことができるので、ステップ２２０の後にステップ４０、ステップ１００へ進むこともできる。
【００６４】
続くステップ１２０において、監視装置１００は、上述した処理により得られた、重複画像及び／又は非監視画像が削除された撮像画像と、それ以外の撮像画像とに基づいて、監視画像Ｋを生成する。生成した監視画像は、少なくとも一時的に記憶する。
【００６５】
ステップ１３０において、制御装置１０は、生成した監視画像を含む情報を外部端末装置８００へ送信し、ステップ１４０において監視処理の終了が判断されるまで、処理が繰り返される。
【００６６】
外部端末装置８００は、ステップ３１において、監視装置１００から送出された監視画像を通信装置８１０が受信し、ステップ３２において画像処理装置８２０が必要な画像処理を実行し、ステップ３３においてディスプレイ８３０が監視画像を含む情報を表示する。
【００６７】
なお、本実施形態では、監視装置１００が車両Ｖに配置された場合を例にして説明したが、本発明の本実施形態に係る車両Ｖの監視方法を、カメラ１、通信装置４００を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において処理の一部又は全部実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【００６８】
以上のとおり構成され、動作する本発明の実施形態に係る監視装置１００及び車両監視システム１０００は、以下の効果を奏する。
【００６９】
本実施形態に係る監視装置１００によれば、共通の監視対象物体に対応する重複画像を有する二つの撮像画像のうち一方の撮像画像には重複画像を残しつつ、他方の撮像画像から重複画像を削除するので、監視画像の内容に変化を与えることなく、データ量を低減することができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７０】
また、本実施形態に係る監視装置１００によれば、左右のサイドミラー部分に設置されたカメラ１ｂ、１ｄの撮像画像を、フロントグリル部分に設置されたカメラ１ａやリア部分に設置されたカメラ１ｃの撮像画像よりも優先し、重複画像を削除する処理を行わず、当初の撮像画像をそのまま監視画像に含めるので、車両側方から接近する不審者の動きを捉えた監視画像を生成することができる。一般に、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）は、車両Ｖの側方、つまりエリアＳＰ２又はエリアＳＰ４側から車両Ｖに接近する。本実施形態の監視装置１００によれば、左右サイドミラーに設置されたカメラ１ｂ，１ｄの撮像画像ＧＳＰ２，ＧＳＰ４をユーザにそのまま提示することにより、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００７１】
本実施形態に係る監視装置１００によれば、監視対象物体が検出された方向を撮像する監視画像を、監視対象物体が検出されなかった方向を撮像する監視画像よりも優先し、重複画像を削除する処理を行わず、当初の撮像画像をそのまま監視画像に含めるので、不審者などの監視対象物体の動きを捉えた監視画像を生成することができる。つまり、本実施形態の監視装置１００によれば、車両Ｖに不法行為を行う目的で接近する監視対象物体（不審者）が存在する方向の撮像画像をユーザにそのまま提示することができる。この結果、監視画像のデータ量を低減しつつも、車両Ｖに接近する監視対象物体の動きを正確に伝達することができる。
【００７２】
本実施形態に係る監視装置１００によれば、車両Ｖの車体が映り込んだ車体領域、車両Ｖが走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を撮像画像から削除するので、監視画像の内容に影響を与えることなく、送信の対象となる監視画像のデータ量を低減させることができる。この結果、監視レベルの高さを維持しつつ、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７３】
本実施形態に係る監視装置１００によれば、検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を監視画像から削除するので、非監視画像を削除してデータ量を低減させつつ、監視対象物体を中心に配置して、監視対象物体の動きが把握しやすい監視画像Ｋ４を生成することができる。この結果、監視画像Ｋ１を外部端末装置８００へ送出する際の通信データ量の総量を低減させ、監視システム稼働時の通信コストを低減させることができる。
【００７４】
本実施形態における車両Ｖの監視方法を使用した場合においても、監視装置１００と同様の作用を奏し、同様の効果を得ることができる。
【００７５】
なお、以上説明したすべての実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【００７６】
本明細書では、本発明に係る車両用監視装置の一態様として監視装置１００及び車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【００７７】
また、本明細書では、本発明に係る車両用監視装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える監視装置１００を一例として説明するが、これに限定されるものではない。
【００７８】
また、本明細書では、カメラと、重複画像抽出手段と、監視画像生成手段と、送信手段とを有する本発明に係る車両用監視装置の一態様、これらの各手段に加えて、非監視画像抽出手段と、監視物体検出手段と、をさらに有する本発明に係る車両用監視装置の一態様として、カメラ１と、重複画像抽出機能、非監視画像抽出機能、監視物体検出機能、監視画像生成機能、送信機能を実現する制御装置１０を備える監視装置１００を説明するが、これに限定されるものではない。
【００７９】
本明細書では、本発明に係る車両監視システムの一態様として、本願発明に係る監視装置１００と、車両コントローラ２００と、通信装置４００と、外部端末装置８００とを備えた車両監視システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【符号の説明】
【００８０】
１０００…車両監視システム
１ａ〜１ｄ…カメラ
２ａ〜２ｄ…近接センサ
１００…監視装置
Ｖ…車両
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…車両コントローラ
４００…通信装置
３００…イグニッションスイッチ
８００…外部端末装置
９００…通信回線
【特許請求の範囲】
【請求項１】
車両の異なる位置に設置され、当該車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像を比較し、当該各撮像画像に含まれる共通の撮像対象に対応する重複画像を抽出する重複画像抽出手段と、
前記抽出された重複画像を含む撮像画像のいずれか一方から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
【請求項２】
請求項１に記載の車両用監視装置であって、
前記カメラは、前記車両のフロントグリル部分と、右サイドミラー部分と、左サイドミラー部分、及びリア部分に設置され、
前記監視画像生成手段は、前記重複画像抽出手段が、前記右サイドミラー部分に設置されたカメラ及び／又は前記左サイドミラー部分に設置されたカメラの撮像画像と、前記車両のフロントグリル部分に設置されたカメラ又は前記リア部分に設置されたカメラの撮像画像とに重複する撮像対象に対応する重複画像を抽出した場合には、前記車両のフロントグリル部分に設置されたカメラ又は前記リア部分に設置されたカメラの撮像画像から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像と、を含む監視画像を生成することを特徴とする車両用監視装置。
【請求項３】
請求項１に記載の車両用監視装置であって、
前記車両の周囲に監視対象物体の存在及びその存在方向を検出する監視物体検出手段をさらに備え、
前記監視画像生成手段は、前記監視物体検出手段により検出された監視対象物体の存在方向を撮像する前記カメラの撮像画像と、前記監視物体検出手段により監視対象物体の存在が検出されなかった方向を撮像する前記カメラの撮像画像とに重複する撮像対象に対応する重複画像を抽出した場合には、前記監視対象物体の存在が検出されなかった方向を撮像するカメラの撮像画像から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成することを特徴とする車両用監視装置。
【請求項４】
請求項１〜３の何れか一項に記載の車両用監視装置であって、
前記車両の周囲に監視対象物体の存在及びその存在方向を検出する監視物体検出手段と、
前記監視物体検出手段により検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を抽出する非監視画像抽出手段と、をさらに備え、
前記監視画像生成手段は、前記非監視画像の少なくとも一部を前記撮像画像から削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成することを特徴とする車両用監視装置。
【請求項５】
車両の異なる位置に設置され、当該車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像から、前記車両の車体が映り込んだ車体領域、前記車両が走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を抽出する非監視画像抽出手段と、
前記抽出された非監視画像を含む撮像画像から前記非監視画像の少なくとも一部を削除し、当該非監視画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
【請求項６】
車両の周囲をそれぞれ撮像する複数のカメラから撮像画像を取得し、
前記各カメラの撮像画像に含まれる撮像対象が重複する重複画像を抽出し、
前記抽出された重複画像を含む撮像画像のいずれか一方から前記重複画像の少なくとも一部を削除し、
前記重複画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を外部端末装置へ送信する、ことを特徴とする車両の監視方法。
【請求項７】
車両の周囲をそれぞれ撮像する複数のカメラから撮像画像を取得し、
前記各カメラの撮像画像から、前記車両の車体が映り込んだ車体領域、前記車両が走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を抽出し、
前記撮像画像から前記抽出された非監視画像の少なくとも一部を削除し、
前記非監視画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を外部端末装置へ送信する、ことを特徴とする車両の監視方法。
【請求項１】
車両の異なる位置に設置され、当該車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像を比較し、当該各撮像画像に含まれる共通の撮像対象に対応する重複画像を抽出する重複画像抽出手段と、
前記抽出された重複画像を含む撮像画像のいずれか一方から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
【請求項２】
請求項１に記載の車両用監視装置であって、
前記カメラは、前記車両のフロントグリル部分と、右サイドミラー部分と、左サイドミラー部分、及びリア部分に設置され、
前記監視画像生成手段は、前記重複画像抽出手段が、前記右サイドミラー部分に設置されたカメラ及び／又は前記左サイドミラー部分に設置されたカメラの撮像画像と、前記車両のフロントグリル部分に設置されたカメラ又は前記リア部分に設置されたカメラの撮像画像とに重複する撮像対象に対応する重複画像を抽出した場合には、前記車両のフロントグリル部分に設置されたカメラ又は前記リア部分に設置されたカメラの撮像画像から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像と、を含む監視画像を生成することを特徴とする車両用監視装置。
【請求項３】
請求項１に記載の車両用監視装置であって、
前記車両の周囲に監視対象物体の存在及びその存在方向を検出する監視物体検出手段をさらに備え、
前記監視画像生成手段は、前記監視物体検出手段により検出された監視対象物体の存在方向を撮像する前記カメラの撮像画像と、前記監視物体検出手段により監視対象物体の存在が検出されなかった方向を撮像する前記カメラの撮像画像とに重複する撮像対象に対応する重複画像を抽出した場合には、前記監視対象物体の存在が検出されなかった方向を撮像するカメラの撮像画像から前記重複画像の少なくとも一部を削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成することを特徴とする車両用監視装置。
【請求項４】
請求項１〜３の何れか一項に記載の車両用監視装置であって、
前記車両の周囲に監視対象物体の存在及びその存在方向を検出する監視物体検出手段と、
前記監視物体検出手段により検出された監視対象物体の存在位置を中心とした所定範囲の監視領域以外の領域に対応する非監視画像を抽出する非監視画像抽出手段と、をさらに備え、
前記監視画像生成手段は、前記非監視画像の少なくとも一部を前記撮像画像から削除し、当該重複画像の少なくとも一部が削除された撮像画像と、他の前記撮像画像とを含む監視画像を生成することを特徴とする車両用監視装置。
【請求項５】
車両の異なる位置に設置され、当該車両の周囲を撮像する複数のカメラと、
前記各カメラの撮像画像から、前記車両の車体が映り込んだ車体領域、前記車両が走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を抽出する非監視画像抽出手段と、
前記抽出された非監視画像を含む撮像画像から前記非監視画像の少なくとも一部を削除し、当該非監視画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を生成する監視画像生成手段と、
前記生成された監視画像を含む情報を外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置。
【請求項６】
車両の周囲をそれぞれ撮像する複数のカメラから撮像画像を取得し、
前記各カメラの撮像画像に含まれる撮像対象が重複する重複画像を抽出し、
前記抽出された重複画像を含む撮像画像のいずれか一方から前記重複画像の少なくとも一部を削除し、
前記重複画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を外部端末装置へ送信する、ことを特徴とする車両の監視方法。
【請求項７】
車両の周囲をそれぞれ撮像する複数のカメラから撮像画像を取得し、
前記各カメラの撮像画像から、前記車両の車体が映り込んだ車体領域、前記車両が走行する路面が映り込んだ路面領域、及びカメラのレンズフードが映り込んだケラレ領域のうち何れか一つ以上に対応する非監視画像を抽出し、
前記撮像画像から前記抽出された非監視画像の少なくとも一部を削除し、
前記非監視画像の少なくとも一部が削除された撮像画像と、前記他の撮像画像とを含む監視画像を外部端末装置へ送信する、ことを特徴とする車両の監視方法。
【図１】
【図２】
【図３】
【図１１】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図１１】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９０６５（Ｐ２０１３−９０６５Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３９１３３（Ｐ２０１１−１３９１３３）
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２３日（２０１１．６．２３）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]