画像処理装置及び画像処理方法
【課題】複数の領域を一つのカメラの画像で撮像し、各領域の画像の明るさをそれぞれ調整して、複数の車両管理機能を正確に実行する。
【解決手段】
広角カメラ２０により撮像された車両の内外画像Ｐに含まれる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定し、内外領域又は各領域の明るさの情報をそれぞれ取得し、この明るさの情報に応じて、設定された第１領域画像、第２領域画像、及び第３領域画像を含む各領域画像の明るさをそれぞれ調整し、第１領域画像、第２領域画像、及び第３領域画像と、各領域画像が利用される車両の管理機能とを予め対応づけた対応関係を参照し、明るさが調整された第１領域画像、第２領域画像、及び第３領域画像を、管理機能を実行する各装置にそれぞれ出力させる制御装置１０を備える画像処理装置１００を有する車両管理システム１０００を提供する。
【解決手段】
広角カメラ２０により撮像された車両の内外画像Ｐに含まれる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定し、内外領域又は各領域の明るさの情報をそれぞれ取得し、この明るさの情報に応じて、設定された第１領域画像、第２領域画像、及び第３領域画像を含む各領域画像の明るさをそれぞれ調整し、第１領域画像、第２領域画像、及び第３領域画像と、各領域画像が利用される車両の管理機能とを予め対応づけた対応関係を参照し、明るさが調整された第１領域画像、第２領域画像、及び第３領域画像を、管理機能を実行する各装置にそれぞれ出力させる制御装置１０を備える画像処理装置１００を有する車両管理システム１０００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置された一つのカメラを用いて、車両の管理に関する複数の機能を実現する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
車両の管理を行う装置に関し、ドライブレコーダによって記録された走行中の運転情報を提示する運転支援システム（特許文献１）や、車両に取り付けられたカメラの映像から検出した動体に警告を発する車両用監視装置（特許文献２）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５７４８４号公報
【特許文献２】特開２００６−３２１３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両の管理に関する複数の機能を実現する場合に、一つのカメラで車両の内外を含む領域を撮像すると、撮像エリアによって明るさが異なり、画像が部分的に不明瞭となるため、管理に関する機能が正確に実現できない場合があるという問題があった。
【０００５】
本発明が解決しようとする課題は、単一の広角カメラを用いて、車両の管理に関する複数の機能を正確に実現することである。
【課題を解決するための手段】
【０００６】
本発明は、車両に設置された単一の広角カメラにより撮像された車両の内外画像を取得し、この内外画像に設定された、車両の車外領域に対応する車外領域画像及び車両の車室内領域に対応する車室内領域画像を含む各領域画像の明るさを、内外領域又は各領域の明るさに基づいて調整し、各領域画像とこれらが利用される車両の各管理機能とを予め対応づけた対応関係を参照して、明るさが調整された各領域画像を、管理機能が実行される各管理装置にそれぞれ出力することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、車両の前方領域、車両の側方領域及び車両の車室内領域を単一の広角カメラで撮像し、撮像された車両の内外画像に設定された各領域画像を切り出して、これら各領域画像の明るさを各領域の明るさに基づいて調整するので、撮像エリアによって明るさが異なる場合でも、画像が部分的に不明瞭となることを防止し、車両の管理に関する複数の機能を正確に実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態の画像処理装置を備えた車両管理システムの構成図である。
【図２】本実施形態のカメラの設置位置及びカメラによって撮像される車両の内外領域の一例を示す図である。
【図３】車両の内外画像に設定された各領域画像の一例を示す図である。
【図４】車両の内外画像に設定された各領域画像の他の例を示す図である。
【図５】各領域画像と管理装置との対応関係を示す図である。
【図６】本発明の実施形態に係る車両管理システムの制御手順を示すフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る画像処理装置を車両管理システム１０００に適用した場合を例にして説明する。
【００１０】
図１は、本実施形態に係る画像処理装置１００を含む車両管理システム１０００のブロック構成図である。図１に示すように、本実施形態の車両管理システム１０００は、画像処理装置１００と、車載装置２００と、車両コントローラ３００と、を備えている。
【００１１】
車両管理システム１０００は、エンジンの始動・停止指令を受け付けるイグニッションスイッチ４００、車両のシフト位置のポジションに応じた信号を出力するポジショニングスイッチ５００、車両の駆動に係る駆動系６００などの車載装置を備えることもできる。
【００１２】
これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、車両コントローラ３００を介して間接的に又は直接的に、情報の授受を相互に行うことができる。
【００１３】
また、図１に示すように、画像処理装置１００は、制御装置１０と、カメラ２０と、照度センサ３０とを備えている。
【００１４】
本実施形態に係る画像処理装置１００のカメラ２０は、一台の車両につき一つずつ車両の車室内に設置され、焦点距離が比較的短い（例えば、３５mmフィルム換算で焦点距離が４０mm未満）広角（広画角）のカメラである。この広角カメラ２０は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、所定周期で車両の車室内及び車室外を含む車両の内外領域を撮像する。
【００１５】
車両の内外領域には、車両の外側の車外領域及び車両の室内側の車室内領域が含まれる。さらに、車外領域には、車両の主にフロントウィンドウを介して車室内から見える車両外側の前方領域、車両の主にサイドドアウィンドウを介して車室内から見える車両外側の側方領域が含まれる。また、車室内領域には、車両の運転席、助手席、後部座席の一部又は全部の車室内領域が含まれる。つまり、本実施形態に係る車両の内外領域には、車外の前方領域、車外の側方領域及び車室内領域が含まれる。
【００１６】
図２は、カメラ１０の設置例と、車両Ｖの内外領域Ｅの一例を車両Ｖの側面から見た図である。図２に示すように、カメラ２０は車室内の運転席上部の天井、マップランプ周囲又は、バックミラーに設けられ、車両Ｖの前方領域、車両Ｖの側方領域（車外領域）及び車両Ｖの車室内領域を含む内外領域Ｅを撮像する。カメラ２０の設置位置、焦点距離及び内外領域Ｅの範囲は、車両Ｖの大きさ、運転席の高さ、後部座席の大きさ、窓の大きさ、管理機能の内容などに応じて適宜に設定される。
【００１７】
カメラ２０は内外領域Ｅを撮像した後に、車両Ｖの内外領域Ｅの映像である内外画像を制御装置１０へ送出する。なお、撮像開始のトリガは限定されず、いずれか一つの管理装置２１０〜２６０に入力されたオン信号、イグニッションスイッチ４００に入力されたオン信号、又はカメラ２０のスイッチ２１に入力されたオン信号を取得した場合に撮像を開始させることができる。また、車両Ｖを常に管理する観点からは、常時、撮像を継続させることもできる。
【００１８】
本実施形態に係る画像処理装置１００の制御装置１０は、単一のカメラが撮像した車両Ｖの内外画像に、車両Ｖの複数の管理機能を実現させるために必要な領域画像を設定し、設定された各領域画像の明るさを調整してから、これらが用いられる各装置に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本発明に係る実施形態の画像処理装置１００として機能させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。本実施形態の制御装置１０は、車載装置２００のいずれか一つの装置に入力されたオン信号、画像処理装置１００のスイッチに入力されたオン信号に呼応して起動するが、車両Ｖを常に管理する観点からは、常時、動作を継続させることもできる。
【００１９】
本実施形態に係る画像処理装置１００の制御装置１０は、領域設定機能と、明るさ取得機能と、画像調整機能と、出力機能とを備えている。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により上記機能を実行することができる。
【００２０】
以下に、画像処理装置１００の制御装置１０が実現する各機能についてそれぞれ説明する。
【００２１】
まず、制御装置１０の領域設定機能について説明する。本実施形態の制御装置１０は、カメラ２０により撮像された車両Ｖの内外画像Ｐから、前方領域に対応する第１領域画像、側方領域に対応する第２領域画像及び車室内領域に対応する第３領域画像の境界を抽出する。本実施形態では、内外画像Ｐを三つの領域に分けて処理する例を説明するが、内外画像Ｐを車両の前方領域及び車両の側方領域を含む領域に対応する車外領域画像と、車室内領域に対応する車室内領域との二つの領域に分けて処理することもできる。ここでは重複した説明を避けて、内外画像Ｐ三つの領域に分けて処理を例にして説明する。
【００２２】
図３は、車両Ｖの内外領域Ｅ（図２参照）をカメラ２０で撮像した内外画像Ｐの一例を示す図である。図３に示すように、本例の内外画像Ｐは、第１辺Ｒ１，第２辺Ｒ２、第３辺Ｒ３、第４辺Ｒ４に囲まれる矩形の画像データである。本例の内外画像Ｐは、車両Ｖのフロントウィンドウを介して車室内から見える前方領域に対応する第１領域画像Ｐ１と、車両Ｖのサイドドアウィンドウを介して車室内から見える側方領域に対応する第２領域画像Ｐ２及び車両Ｖの車室内領域に対応する第３領域画像Ｐ３（以下、各領域画像をＰｎと総称することもある）を含んでいる。
【００２３】
制御装置１０は、上述の第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の境界を車両Ｖの内外画像Ｐから抽出する。境界の抽出手法は特に限定されないが、本実施形態の制御装置１０は、内外画像Ｐについて画素の明るさに基づいてエッジ検出処理を行い、車両Ｖ内及び車両Ｖ外に存在する被写体（物体）の特徴に対応するエッジＱに基づいて、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の境界を抽出する。本例では第１〜第３の領域画像Ｐ１〜Ｐ３（以下、総称してＰｎとも称する）を設定する例を説明するが、領域画像は管理機能の内容に応じて適宜定義することができる。
【００２４】
本実施形態では、制御装置１０は、車両Ｖのダッシュボード、サイドドア、サイドドアウィンドウのエッジを抽出する。具体的に、制御装置１０は、図３に示すように、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２とを検出する。これと並行して、同図に示すように、制御装置１０は、車両Ｖのサイドドアとサイドドアウィンドウとの境目となる第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５を検出する。
【００２５】
制御装置１０は、検出された第１エッジＱ１〜第５エッジＱ５に基づいて第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の各境界をそれぞれ抽出する。
【００２６】
なお、本実施形態では、各領域画像Ｐｎの境界を取得する手法として、内外画像Ｐの画像データに基づいてエッジＱを検出し、このエッジＱに基づいて各領域画像Ｐｎの境界を抽出する手法を説明したが、各領域画像Ｐｎの境界を内外画像Ｐの座標上に予め定義し、読み出し可能な状態に記憶しておくことも可能である。
【００２７】
そして、本実施形態の制御装置１０は、抽出された境界に基づいて、車両Ｖの内外画像Ｐに含まれる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定する。
【００２８】
図３に示すように、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、及び第１エッジＱ１に囲まれた領域を第１領域画像Ｐ１として設定する。また、制御装置１０は、内外画像Ｐの第２辺Ｒ２、第３辺Ｒ３、第２エッジＱ２、第４エッジＱ４、及び第５エッジＱ５に囲まれた領域、並びに内外画像Ｐの第１辺Ｒ１、第２エッジＱ２、及び第３エッジＱ３に囲まれた領域を第２領域画像Ｐ２として設定する。さらに、制御装置１０は、第２エッジＱ２、第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５、内外画像Ｐの第１辺Ｒ１、第２辺Ｒ２、に囲まれた領域を第３領域画像Ｐ３として設定する。
【００２９】
なお、制御装置１０は、内外画像Ｐに、車外領域に対応する車外領域画像と車室内領域に対応する車室内領域画像とを設定することができる。この場合において、制御装置１０は、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２とを検出する。そして、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、及び第１エッジＱ１に囲まれた領域と、内外画像Ｐの第２辺Ｒ２、第３辺Ｒ３、第２エッジＱ２、第４エッジＱ４、及び第５エッジＱ５に囲まれた領域、並びに内外画像Ｐの第１辺Ｒ１、第２エッジＱ２、及び第３エッジＱ３に囲まれた領域を車外領域として設定する。また、制御装置１０は、第２エッジＱ２、第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５、内外画像Ｐの第１辺Ｒ１、第２辺Ｒ２、に囲まれた領域を車室内領域として設定する。
【００３０】
また、カメラ２０の配置によっては車両Ｖに取り付けられた物体が内外画像Ｐに映り込むことがある。例えば、カメラ２０がバックミラーの上部に設けられている場合や、カメラ２０が車室の天井に設けられ、その下方にバックミラーが設けられている場合には、図４に示すように、バックミラーの画像Ｐ３が内外画像Ｐに常に映り込む。
【００３１】
車両Ｖの内外画像Ｐに車両Ｖに取り付けられた物体（バックミラー）の画像が含まれる場合には、本実施形態の制御装置１０は、バックミラーの画像Ｐ３に対応する領域の第１外縁Ｂ１，第２外縁Ｂ２、第３外縁Ｂ３，第４外縁Ｂ４を予め内外画像Ｐ内に設定しておき、設定された外縁Ｂ１〜Ｂ４を用いて領域画像Ｐ１〜Ｐ４の境界を抽出する。つまり、予め内外画像Ｐ内に設定されたバックミラーの画像Ｐ３に対応する領域の第１外縁Ｂ１，第２外縁Ｂ２、第３外縁Ｂ３，第４外縁Ｂ４を含む境界に基づいて領域画像Ｐ１〜Ｐ４を設定する。
【００３２】
具体的に、図４に示す例においては、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、第１エッジＱ１及びバックミラーの画像Ｐ３に対応する領域の第４外縁Ｂ４（画像Ｐ３の形状によっては第３外縁Ｂ３）に囲まれた領域を第１領域画像Ｐ１として設定することができる。また、制御装置１０は、バックミラーの画像Ｐ３に対応する領域の第２外縁Ｂ２、内外画像Ｐの第３辺Ｒ３、内外画像Ｐの第２辺Ｒ２、第５エッジＱ５、及び第４エッジＱ４に囲まれた領域を第２領域画像Ｐ２として設定することができる。さらに、制御装置１０は、第２エッジＱ２、バックミラーの画像Ｐ３に対応する領域の第２外縁Ｂ１、同第２外縁Ｂ２、第４エッジＱ４、第５エッジＱ５、内外画像Ｐの第２辺Ｒ２、同第１辺Ｒ１、第３エッジＱ３に囲まれた領域を第３領域画像Ｐ３として設定することができる。なお、内外画像Ｐを車外領域画像と車室内領域画像との二つに分ける場合には、前述の第１領域画像Ｐ１と第２領域画像Ｐ２とを合わせた物を車外領域画像とし、第３領域画像Ｐ３を車室内領域画像とする。
【００３３】
バックミラーその他の物体の形状は、エッジ検出処理によって正確に検出することが難しいが、バックミラーの画像Ｐ３に対応する領域の外縁を予め設定しておくことにより、物体の影響を排除しつつ、画像処理を迅速に行うことができる。
【００３４】
このように、車両Ｖに取り付けられたバックミラーなどの物体の画像に対応する外縁Ｂを予め内外画像Ｐに設定しておき、これを用いて領域画像Ｐ１〜Ｐ３の境界を設定することにより、カメラ２０に撮像される内外領域に設けられた物体の影響を受けることなく、領域画像Ｐ１〜Ｐ４を正確に設定することができる。
【００３５】
また、本実施形態の制御装置１０は、所定の周期で撮像された車両Ｖの内外画像Ｐについて、所定の周期で各領域画像Ｐｎの境界を抽出し、抽出した境界に基づいて各内外画像Ｐに含まれる各領域画像Ｐｎをそれぞれ設定することができる。
【００３６】
カメラ２０の位置が固定されていれば、カメラ２０により撮像される内外領域Ｅの外延は常に一定であるが、カメラ２０がバックミラーなどのように位置が可変の部Ｅに取り付けられている場合にバックミラーが動かされると、撮像される内外領域Ｅの外延が変化する。本実施形態では、所定の周期で各領域画像Ｐｎの境界を抽出するので、カメラ２０の位置が変わるなど内外領域Ｅの外延が変化し、内外画像Ｐの対象範囲が変化した場合であっても、各領域画像Ｐｎの正確な境界を求め、各領域画像Ｐｎを正確に設定することができる。
【００３７】
さらに、本実施形態の制御装置１０は、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された複数の内外画像Ｐに基づいて各領域画像Ｐｎの各境界を抽出することができる。つまり、車両Ｖが走行を開始してから所定距離を走行するまでの所定のタイミングで撮像された内外画像Ｐから各領域画像Ｐｎの境界Ｑを抽出し、この境界Ｑに基づいて各内外画像Ｐに含まれる各領域画像Ｐｎをそれぞれ設定することができる。車両Ｖの走行開始は、車両コントローラ３００を介してイグニッションスイッチ４００からオン信号を取得したタイミングに基づいて判断することができる。具体的に、制御装置１０は、イグニッションオンから所定距離を走行するまでの間に所定周期で撮像された各内外画像Ｐから検出された各エッジＱについて、位置のずれ量を算出し、位置のずれ量が最も小さいエッジＱ群を求めて、このエッジ群Ｑを各領域画像Ｐｎの境界として抽出することができる。また、制御装置１０は、イグニッションオンから所定距離を走行するまでの間に所定周期で撮像された各内外画像Ｐから検出された各エッジＱの座標分布を求め、最も分布確率の高い座標値を有するエッジＱ群を求め、分布確率の高いエッジＱを各領域画像Ｐｎの境界として抽出することもできる。
【００３８】
走行地点の環境によっては、日光や街灯光がダッシュボードに一時的に映り込む場合がある。このような場合には、内外画像Ｐに架空の画像が含まれ、エッジＱの検出が正確に行われず、各領域画像Ｐｎの境界を正確に抽出することができない。このような場面において、本実施形態の画像処理装置１００は、イグニッションオンから所定距離を走行するまでの間に撮像された複数の内外画像Ｐを用いて各領域画像Ｐｎの境界を抽出するので、走行地点の環境による一時的な映り込みなどの影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。この結果、各領域画像Ｐｎを正確に設定することができる。
【００３９】
次に、制御装置１０の明るさ取得機能について説明する。本実施形態に係る画像処理装置１００の制御装置１０は、車両Ｖの内外領域(全体)の明るさ又は前方領域、側方領域及び車室内領域を含む各領域の明るさを取得する。具体的に、制御装置１０は、明るさの検出タイミングにおける、カメラ２０の撮像素子の光量の平均値等の代表値を内外領域の明るさの情報として取得することができる。また、領域ごとの明るさの情報を取得する場合には、制御装置１０は、車両Ｖの前方領域に対応する第１領域画像を撮像する各素子の光量の代表値を前方領域の明るさの情報として取得することができ、車両Ｖの側方領域に対応する第２領域画像を撮像する各素子の光量の平均値等の代表値を側方領域の明るさの情報として取得することができ、車両Ｖの室内領域に対応する第３領域画像を撮像する各素子の光量の平均値等の代表値を車室内領域の明るさの情報として取得することができる。
【００４０】
また、図１に示すように、車両Ｖの内外領域又は車両Ｖの前方領域、側方領域及び車室内領域などの各領域の明るさを検出する一又は複数の照度センサ３０を車両Ｖに設置することができる。一つの照度センサ３０は車両Ｖの内外領域の一部又は全部の平均的な明るさを検出し、制御装置１０へ送出する。複数の照度センサ３０は、車両Ｖの前方領域、車両Ｖの側方領域及び車両Ｖの車室内領域を含む各領域の照度を検知し、各領域の照度を明るさの情報として各領域の識別子を付して、制御装置１０へ送出する。このため、制御装置１０は、各照度センサ３０により検出された各領域の明るさの情報を取得することができる。
【００４１】
もちろん、カメラ２０の撮像素子の各素子における光量に基づく各領域の明るさの情報を取得しつつ、併せて、照度センサ３０により検知された各領域の明るさの情報を取得することもできる。制御装置１０は、カメラ２０の撮像素子の各素子により検出された明るさと、照度センサ３０により検出された明るさとを比較して、差が所定値以上である場合には照度センサ３０の検出値を用いるようにしてもよいし、カメラ２０の撮像素子の各素子により検出された明るさと、照度センサ３０により検出された明るさの平均値を用いてもよい。このように、カメラ２０の撮像素子により検出される明るさと、照度センサ３０により検出される明るさとの両方を用いることにより、高い精度で各領域画像の明るさを制御することができる。
【００４２】
続いて、制御装置１０の画像調整機能について説明する。
【００４３】
本実施形態に係る画像処理装置１００の制御装置１０は、明るさ取得機能により取得された内外領域全体の明るさの情報又は各領域の明るさの情報に応じて、領域設定機能により設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を含む各領域画像Ｐｎの明るさをそれぞれ調整する。
【００４４】
一般的な構造の車両Ｖにおいては、フロントウィンドウは天井から傾斜する状態で設けられ、その面積が大きいため、カメラ２０が撮像する車両Ｖの前方領域は、車両Ｖの側方領域や車両Ｖの車室内領域よりも明るく、車両Ｖの側方領域は、車両Ｖの車室内領域よりも明るい。このため、本実施形態の制御装置１０は、内外領域の明るさに適した画像の明るさを基準とした場合に、最も明るい前方領域に対応する第１領域画像Ｐ１の明るさが暗くなるように、明るさを向上させる調整量を低減して（例えば、露光時間を短くして）白とびしないように調整し、最も暗い車室内領域に対応する第３領域画像Ｐ３の明るさが明るくなるように、明るさを向上させる調整量を増加させて（例えば、露光時間を長くして）黒つぶれがないように調整する。また、中間の明るさである側方領域に対応する第２領域画像Ｐ２は、基準どおりの明るさに従い、調整をしない（例えば、露光時間を変えない）。
【００４５】
例えば、車両Ｖの構造及びカメラ２０の性能を考慮して、予め、車両Ｖの内外画像Ｐ全体の平均的なの明るさＸに対して各領域画像Ｐｎの明るさＹが定義されている場合において、前方領域の明るさがＸであるとき、制御装置１０は、第１領域画像Ｐ１の明るさをＹ１（Ｙ１＜Ｙ）となるように調整するとともに、第３領域画像Ｐ３の明るさをＹ２（Ｙ２＞Ｙ）となるように調整することができる。つまり、前方領域の第１領域画像Ｐ１は光量過剰の可能性があるため、平均的な明るさに基づいて求められた適正な画像の明るさに比べてより暗く調整し、車室内領域の第３領域画像Ｐ３は光量不足の可能性があるため、平均的な明るさに基づいて求められた適正な画像の明るさに比べてより明るく調整することができる。
【００４６】
各領域画像の調整手法は特に限定されないが、本実施形態において、制御装置１０は、カメラ２０の露光を制御することにより、各領域画像Ｐｎの明るさを調整することができる。
【００４７】
具体的に、制御装置１０は、車両Ｖの内外領域の明るさ又は車両Ｖの前方領域、側方領域及び車室内領域を含む各領域の明るさと、カメラ２０の露光時間とを予め対応づけた露光データを参照し、明るさ取得機能によって取得された各領域の明るさに応じて、各領域の領域画像Ｐｎを撮像する撮像素子の露光時間を制御する露光制御命令を作成し、カメラ２０へ送出することができる。
【００４８】
ちなみに、露光制御命令には、設定された各領域画像Ｐｎに対応する撮像素子のグループを特定する情報を付加することができるので、カメラ２０は、取得した露光制御命令に基づいて、特定された撮像素子のグループごとに露光時間を制御することができる。これにより、各領域の明るさに応じて画像の明るさが調整された、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を得ることができる。
【００４９】
なお、制御装置１０は、カメラ２０が備える適正露出制御機能、ＩＳＯ感度調整その他の画像調整機能を利用して、各機能に応じた各領域の明るさに応じた制御命令をカメラ２０へ送出し、各領域画像Ｐｎの明るさを調整することもできる。
【００５０】
また内外画像Ｐの全体について統一された露光時間を設定する必要がある場合には、前方領域の明るさに応じた露光時間で内外領域全体を撮像し、その内外画像Ｐから第１領域画像Ｐ１のみを設定し、側方領域の明るさに応じた露光時間で内外領域全体を撮像し、その内外画像Ｐから第２領域画像Ｐ２のみを設定し、車室内領域の明るさに応じた露光時間で内外領域の全体を撮像し、その内外画像Ｐから第３領域画像Ｐ３のみを設定することもできる。この処理によると、撮像回数が増えてしまうものの一つの広角カメラ２０で画像処理を行うことができる。
【００５１】
さらにまた、本実施形態の制御装置１０は、カメラ２０によって撮像された内外画像Ｐの各領域画像Ｐｎに加工処理を施すことにより各領域画像Ｐｎの明るさを調整することができる。具体的に、制御装置１０は、車両Ｖの内外領域又は車両Ｖの前方領域、側方領域及び車室内領域を含む各領域の明るさと、各領域画像Ｐｎの適切な明るさとを予め対応づけた画像調整データを参照し、明るさ取得機能によって取得された各領域の明るさに応じて、領域画像Ｐｎの明るさを調整する。画像調整データは、車両Ｖの構造（ウィンドウの位置・大きさ、車室内の広さ）と、カメラ２０の性能に応じて実験により定義することができる。特に限定されないが、制御装置１０は、出願時において知られている、濃度値の変換、コントラスト補正、ガンマ補正、濃度値のヒストグラム変換その他の明るさを調整するための画像処理手法を用いて、各領域画像Ｐｎの明るさを調整することもできる。
なお、明るさの調整は、カメラ２０の露光制御又は画像処理のいずれか一方の手法によって実行してもよいし、両方の手法により実行してもよい。例えば、カメラ２０の露光制御をしつつ、撮像された各領域画像Ｐｎの明るさを画像処理によって調整することができる。
【００５２】
加えて、一般的に、走行中である場合の車両Ｖの内外領域は、駐車中の場合よりも車両Ｖの内外領域よりも明るい場合が多いと推測されるため、本実施形態の制御装置１０は、走行中であるか駐車中であるかといった車両Ｖの状態に応じて各領域画像Ｐｎの明るさの調整の度合いを変化させることができる。
【００５３】
本実施形態の制御装置１０は、車両Ｖから当該車両Ｖが走行中であるか又は駐車中であるかの情報をポジショニングスイッチ５００から取得し、車両Ｖが駐車中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を増加させることができる。また、本実施形態の制御装置１０は、車両Ｖから当該車両Ｖが走行中であるか又は駐車中であるかの情報をポジショニングスイッチ５００から取得し、車両Ｖが走行中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を減少させることができる。
【００５４】
具体的には、車両Ｖが駐車中である旨の情報を取得した場合には、その後に各領域画像Ｐｎを撮像する撮像素子の露光時間を延長し、車両Ｖが走行中である旨の情報を取得した後には、その後に各領域画像Ｐｎを撮像する撮像素子の露光時間を短縮することができる。
【００５５】
たとえば、車両Ｖの構造及びカメラ２０の性能を考慮して、走行中及び駐車中の内外領域又は車両Ｖの前方領域の明るさＺに対して第１領域画像Ｐ１の明るさＷが定義されている場合において、内外領域又は前方領域の明るさがＺであるとき、制御装置１０は、駐車中に撮像された第１領域画像Ｐ１の明るさをＷ１（Ｗ１＞Ｗ）となるように調整することができる。この調整と独立して又はこの調整とともに、走行中に撮像された第１領域画像Ｐ１の明るさをＷ２（Ｗ２＜Ｗ）となるように調整することができる。つまり、駐車中に撮像された第１領域画像Ｐ１は光量不足の可能性があるため、車両Ｖの状態を考慮しない場合に比べて第１領域画像Ｐ１をより明るく調整することができる。また、走行中に撮像された第１領域画像Ｐ１は光量過剰の可能性があるため、車両Ｖの状態を考慮しない場合に比べて第１領域画像Ｐ１をより暗く調整することができる。側方領域、車室内領域についても同様の調整を行うことができる。
【００５６】
このように、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させることにより、駐車中の撮像において各領域画像Ｐｎの光量が十分でない場合であっても適切な明るさの領域画像Ｐｎを得ることができる。また、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させることにより、走行中の撮像において各領域画像Ｐｎの光量が過剰となる場合であっても適切な明るさの領域画像Ｐｎを得ることができる。
【００５７】
次に、制御装置１０の出力制御機能について説明する。
【００５８】
本実施形態に係る画像処理装置１００の制御装置１０は、後述する対応関係を参照し、前述した領域設定機能により設定され、画像調整機能により各領域画像Ｐｎの明るさが調整された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３（又は車外領域画像、車室内領域画像）を切り出して、管理機能を実行する各管理装置にそれぞれ出力する。
【００５９】
本実施形態の車載装置２００は、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０及びセキュリティ装置２６０その他の管理装置の管理結果を利用者に提示する出力装置２７０を備えている。
【００６０】
以下に、管理機能を実行する装置の一例として管理装置２１０〜２６０を説明するが、本発明の実施形態に係る車両管理システム１０００に適用される管理装置は、カメラ２０により撮像された画像に基づいて車両Ｖの状態を管理する機能を備えるものであれば特に限定されない。
【００６１】
本実施形態のレーン識別装置２１０は、車両Ｖの前方領域の画像に基づいて、自車両が走行している道路の車線を認識し、自車両と車線との位置関係を判断するレーン認識機能を有する。本実施形態のレーン識別装置２１０は、自車両が車線から外れる可能性が所定の閾値を超えると判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して乗員の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動系６００の制御に関する信号を送出する。
【００６２】
本実施形態の障害物検知装置２２０は、車両Ｖの前方領域の画像に基づいて、車両前方の車両や歩行者などの障害物を検知し、自車両と障害物との位置関係を判断する障害物検知機能を有する。本実施形態の障害物検知装置２２０は、自車両と障害物とが接近する可能性が所定の閾値を超えると判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して乗員の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動制御に関する信号を送出する。
【００６３】
本実施形態のドライブレコーダ装置２３０は、走行中の車両Ｖの前方領域、車両Ｖの側方領域を撮像し、走行中に車両Ｖ又は他車両に事故が生じた場合に、事故発生時の状況を確認するための画像を記録するドライブレコーダ機能を有する。本実施形態のドライブレコーダ装置２３０は、撮像した画像をディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して提示することができ、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６４】
本実施形態のスナップショット装置２４０は、走行中の車両Ｖの前方領域、車両Ｖの側方領域を撮像し、走行後に走行ルートの風景を楽しむなどの目的でドライブ時の画像を記録するスナップショット機能を有する。本実施形態のスナップショット装置２４０は、撮像した画像をディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して提示することができ、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６５】
本実施形態のドライバーモニター装置２５０は、運転者の身体の画像に基づいて、運転者の状態を検知し、運転者が運転に適した状態であるか否かを判断するドライバーモニター機能を有する。本実施形態の障害物検知装置２２０は、走行中の運転者の肩や腕などの身体や、顔や目などの表情より、運転者が運転に適していないと判断された場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して運転者に休憩を薦める情報や、運転者の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動制御に関する信号を送出する。
【００６６】
本実施形態のセキュリティ装置２６０は、駐車中の車両Ｖの前方領域、車両Ｖの側方領域、車両Ｖの車室内領域を撮像し、乗員が車両Ｖを降車した後に車両Ｖの安全を守る目的で駐車時の画像を取得するセキュリティ機能を有する。本実施形態のセキュリティ装置２６０は、撮像した車両周囲の画像に基づいて車両の安全が脅かされる状態である（例えば、車両部品の盗難、搭載貨物の盗難などが発生する可能性が高い）と判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して外部に警告を提示する、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６７】
続いて、本実施形態に係る画像処理装置１００の制御装置１０が出力処理を行う際に参照する対応関係Ｓについて説明する。
【００６８】
制御装置１０は、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐｎが利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０とを予め対応づけた対応関係Ｓを参照して、領域設定機能により設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を、前述した管理機能を実行する各管理装置２１０〜２６０にそれぞれ出力する。
【００６９】
本実施形態の対応関係Ｓの一例を図５に示す。
【００７０】
図５に示すように、明るさが調整された第１領域画像Ｐ１は、第１領域画像Ｐ１を用いてレーン認識機能を実行するレーン識別装置２１０、第１領域画像Ｐ１を用いて障害物検知機能を実行する障害物検知装置２２０、第１領域画像Ｐ１を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第１領域画像Ｐ１を用いてスナップショット機能を実行するスナップショット装置２４０及び第１領域画像Ｐ１を用いてセキュリティ機能を実行するセキュリティ装置２６０のいずれか一つ以上の装置に出力される。
【００７１】
また、同図に示すように、明るさが調整された第２領域画像Ｐ２は、第２領域画像Ｐ２を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第２領域画像Ｐ２を用いてスナップショット機能を実行するスナップショット装置２４０及び第２領域画像Ｐ２を用いてセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７２】
さらにまた、同図に示すように、明るさが調整された第３領域画像Ｐ３は、第３領域画像Ｐ３を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第３領域画像Ｐ３を用いてドライバーモニター機能を実行するドライバーモニター装置２５０及び第３領域画像Ｐ３を用いてセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７３】
また、内外画像Ｐを車外領域画像と車室内領域画像とに分けて、各画像を各装置２１０〜２６０に出力する場合には、図５に示すように、明るさが調整された車外領域画像は、レーン識別装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、セキュリティ装置２６０のいずれか一つ以上の装置に出力され、明るさが調整された車室内領域画像は、ドライブレコーダ装置２３０、ドライバーモニター装置２５０及びセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７４】
なお、図５に示す対応関係Ｓでは、一つの機能に一つの装置を対応づけているが、セキュリティ装置がセキュリティ機能とドライブレコーダ機能とを併せ持つ場合には、対応関係Ｓ中のドライブレコーダ装置はセキュリティ装置に書き換えることができる。
【００７５】
このように、単一の広角カメラ２０により撮像された車両Ｖの内外画像Ｐに設定され、明るさが調整された各領域画像Ｐｎを内外画像Ｐから切り出し、これを用いて車両管理を行う管理装置２１０〜２６０にそれぞれ出力するので、単一の内外画像Ｐによって複数の車両管理を並行して実行することができる。また、管理機能を実行する際に、各管理装置２１０〜２６０は、設定された各領域画像Ｐ１〜Ｐ３についてのみ所定の画像処理を行えばよいので、処理負荷を低減することができる。
【００７６】
加えて、本実施形態の対応関係Ｓは、図５に示すように車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義されている。
【００７７】
本実施形態に係る画像処理装置１００の制御装置１０は、ポジショニングスイッチ５００からＤ、Ｒ、Ｎレンジなどの車両Ｖが走行中である旨の信号を受信した場合と、ポジショニングスイッチ５００からＰレンジなどの車両Ｖが駐車中である旨の信号を受信した場合とに応じて、明るさが調整された各領域画像Ｐを各管理装置２１０〜２６０に送出する。
【００７８】
制御装置１０は、車両Ｖが走行中であるか否かを示すポジショニングスイッチ５００の信号を、車両コントローラ３００を介して取得することができる。
【００７９】
具体的に、制御装置１０が、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、対応関係Ｓを参照し、明るさが調整された第１領域画像Ｐ１をドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つに出力し、明るさが調整された第２領域画像Ｐ２を、ドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第３領域画像Ｐ３を、セキュリティ装置２６０に出力する。
【００８０】
他方、制御装置１０が、車両Ｖから当該車両Ｖが走行中である旨の情報を取得した場合には、対応関係Ｓを参照し、明るさが調整された第１領域画像Ｐ１をレーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、及びスナップショット装置２４０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第２領域画像Ｐ２を、ドライブレコーダ装置２３０及びスナップショット装置２４０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第３領域画像Ｐ３を、ドライブレコーダ装置２３０及びドライバーモニター装置２５０のうちのいずれか一つ以上の装置に出力する。
【００８１】
このように、車両Ｖが走行中か駐車中か否かに応じて、明るさが調整された領域画像Ｐ３を所定の管理装置２１０〜２６０に送出することにより、必要な場面で、車両Ｖの各管理機能を実行する装置２１０〜２６０に、各管理機能の実行に必要な画像を、適切な明るさに調整してから出力することができる。
【００８２】
また、内外画像Ｐを車外領域画像と車室内領域画像とに分けて、各画像を各装置２１０〜２６０に出力する場合において、図５に示すように、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得したときには、対応関係Ｓを参照し、設定された車外領域画像をドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つに出力し、設定された車室内領域画像Ｐ３を、セキュリティ装置２６０に出力する。他方、車両Ｖから当該車両Ｖが走行中である旨の情報を取得したときには、車外領域画像は、レーン識別装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０のいずれか一つ以上の装置に出力され、設定された車室内領域画像を、ドライブレコーダ装置２３０及びドライバーモニター装置２５０のうちのいずれか一つ以上の装置に出力する。このようにしても、上述の処理と同様の作用効果を得ることができる。
【００８３】
続いて、図６に基づいて、本実施形態の画像処理装置１００の制御手順を具体的に説明する。
【００８４】
まず、ステップ１０において、制御装置１０は、画像処理開始のトリガとなる起動信号の取得に応じて、カメラ２０の撮像処理を開始させる。起動信号は、イグニッションスイッチ４００から取得したイグニッションオン信号、画像処理装置１００のスイッチ２１から取得したオン信号、管理装置２１０〜２６０のいずれか一つ以上の装置から取得したオン信号などを適宜に定義することができる。
【００８５】
広角カメラ２０は、所定の内外領域Ｅ（図２参照）を所定周期で撮像し、制御装置１０へ送出する。内外領域Ｅを撮像した内外画像Ｐは、前方領域に対応する第１領域画像Ｐ１、側方領域に対応する第２領域画像Ｐ２及び車室内領域に対応する第３領域画像Ｐ３を含む。
【００８６】
ステップ２０において、制御装置１０は、広角カメラ２０により撮像された車両Ｖの内外画像Ｐから、第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３の境界を抽出するため、内外画像Ｐの画素の明るさに基づいてエッジを検出する。エッジの検出処理は、所定周期で撮像された内外画像Ｐのそれぞれについて行う。本実施形態において検出するエッジは、図３に示すように、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２と、サイドドアとサイドドアウィンドウとの境目となる第３エッジＱ３と、第４エッジＱ４及び第５エッジＱ５とを検出する。
【００８７】
エッジ検出後、ステップ５０へ進む。ステップ５０において、制御装置１０は、検出された各エッジに基づいて、前方領域に対応する第１領域画像Ｐ１、側方領域に対応する第２領域画像Ｐ２及び車室内領域に対応する第３領域画像Ｐ３の境界を抽出する。そして、制御装置１０は、ステップ２０において抽出された各境界によって区切られる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定する。また、制御装置１０は、第１領域画像Ｐ１及び第２領域画像Ｐ２を含む車外領域画像と、第３領域画像Ｐ３を含む車室内領域画像との境界を抽出し、各境界により区切られる車外領域画像と車室内領域画像を設定する。なお、この各領域画像Ｐ１〜Ｐ３の設定に伴い、各領域画像Ｐ１〜Ｐ３に応じた画素の識別子、アドレス、位置（座標）などを特定することができる。
【００８８】
なお、制御装置１０は、車両Ｖの内外画像Ｐに車両Ｖに取り付けられたバックミラーなどの物体の画像が含まれる場合には、この物体の画像に対応する領域の外縁を予め設定しておき、設定された外縁を用いて領域画像Ｐ１〜Ｐ３の境界を抽出することができる。
【００８９】
また、本実施形態の制御装置１０は、エッジ検出処理後に、ステップ３０の処理を行うことができる。具体的に、制御装置１０は、所定時間経過後又は車両Ｖが所定距離走行後に、ステップ２０へ戻ってエッジの検出処理を再度行うことができる。
【００９０】
カメラ２０がバックミラーなどの可動部材に取り付けられている場合には、バックミラーの位置が動くと、カメラ２０の撮像範囲（内外領域）が変更されるため、取得される内外画像Ｐも変化し、各領域画像Ｐ１〜Ｐ３を正確に設定できない。これに対し、本処理を行うことにより、所定周期で各領域画像Ｐ１〜Ｐ３の境界を抽出することができるので、カメラ２０の撮像範囲（内外領域）が変更されても、各領域画像Ｐ１〜Ｐ３を正確に設定することができる。
【００９１】
なお、車両Ｖが所定距離を走行したか否かを判断するための起点(走行開始のタイミング)は、イグニッションスイッチ４００からオン信号を取得したタイミング、つまり走行開始時としてもよいし、各領域画像の境界の検出処理が開始されたタイミングとしてもよい。
【００９２】
さらに、本実施形態の制御装置１０は、エッジ検出処理後に、ステップ３０及び４０の処理を行うことができる。具体的に、制御装置１０は、所定時間経過後又は車両Ｖが所定距離走行後に（Ｓｔｅｐ３０でＹｅｓ）ステップ４０に進み、ステップ４０において、前回の処理で撮像された内外画像Ｐから検出されたエッジの位置と今回の処理で撮像された内外画像Ｐから検出されたエッジの位置を比較し、両エッジの位置に所定値以上の変更があるか否かを判断し（Ｓｔｅｐ４０）、エッジの位置に変化がある場合はステップ２０へ戻って、今回の処理で撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を再抽出することができる。
【００９３】
車両Ｖが走行し、車両Ｖの位置が変わると日光や街灯の光の当たり方が変化するが、日光や街灯の光の当たり方によってはインストルメント・パネルに光が映り込み、エッジの検出（各領域画像の境界の抽出）が正確にできない場合がある。これに対し、本実施形態では、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を抽出することにより、ある位置において日光や街灯の光がダッシュボードに映り込んでしまっても、このような日光や街灯の光の影響を排除して各領域画像Ｐ１〜Ｐ３を正確に設定することができる。
【００９４】
他方、ステップ４０の判断において、各内外画像Ｐのエッジに所定値以上の変更（ずれ）が無い場合には、前回の処理における境界の抽出結果に基づく画像処理に従えばよいので、処理を終了する。
【００９５】
ステップ３０、ステップ３０及び４０の処理を経て検出されたエッジにより各領域画像Ｐ１〜Ｐ３の境界を抽出し、先述したステップ５０における各領域画像Ｐ１〜Ｐ３の設定処理を実行することができる。
【００９６】
先述したステップ５０に続くステップ６０において、制御装置１０は、内外領域の明るさ又は各領域の明るさの情報を、カメラ２０の撮像素子及び／又は照度センサ３０から取得する。
【００９７】
そして、ステップ７０において、制御装置１０は、ポジショニングスイッチ５００からシフトポジション情報を取得する。制御装置１０は、シフトポジション情報に基づいて、車両Ｖが走行中であるか駐車中であるかを判断する。具体的に、制御装置１０は、Ｄレンジ、Ｒレンジ、Ｎレンジのシフトポジション信号を取得した場合は、車両Ｖが走行中であると判断する。他方、御装置１０は、Ｐレンジのシフトポジション信号を取得した場合は、車両Ｖが駐車中であると判断する。
【００９８】
次のステップ８０において、制御装置１０は、取得された内外領域又は各領域の明るさの情報に基づいて、内外領域若しくは各領域の明るさとカメラ２０の露光時間とを予め対応づけた「露光データ」、又は内外領域若しくは各領域の明るさと、各領域画像Ｐｎの適切な明るさとを予め対応づけた「画像調整データ」を参照し、ステップＳ５０において設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を含む各領域画像Ｐｎの明るさをそれぞれ調整する。なお、各領域画像Ｐｎの明るさの調整は、上述したように、カメラ２０の露光制御やＩＳＯ制御によって行うことができ、制御装置１０の画像処理によっても行うこともできる。
【００９９】
図６に示すように、ステップ８０の処理は、ステップ６０の処理の後、シフトポジション情報を得ることなく実行することができるが、本実施形態では、車両Ｖが走行中であるか駐車中であるかに応じて、車両Ｖが駐車中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を増加させ、車両Ｖが走行中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を低減させる。
【０１００】
ステップ６０からステップ８０に移行する場合には、画像調整処理において参照する上述の露光データ又は画像調整データを、車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義しておくことができる。この場合において、車両Ｖが駐車中である場合においては、領域の明るさに対する各領域画像Ｐｎの適切な明るさが、車両Ｖの状態を考慮しない場合の明るさよりも高く設定することができる。また、車両Ｖが走行中である場合においては、領域の明るさに対する各領域画像Ｐｎの適切な明るさが、車両Ｖの状態を考慮しない場合の明るさよりも低く設定することができる。
【０１０１】
次のステップ９０において、制御装置１０は、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐ１〜Ｐ３が利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０とを予め対応づけた対応関係Ｓ（例えば図５）を参照する。この対応関係Ｓは、車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義することができる。
【０１０２】
そして、ステップ１００において、制御装置１０は、車両Ｖが走行中であるか駐車中であるかの判断に基づき、対応関係Ｓに従い、ステップ５０において設定され、ステップ８０において明るさが調整された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を内外画像Ｐから切り出し、各種の管理機能を実行するレーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０その他の管理装置２１０〜２６０にそれぞれ出力する。
【０１０３】
この場合において、制御装置１０は、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、第１領域画像Ｐ１を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はセキュリティ機能を実行するセキュリティ装置２６０に出力し、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はセキュリティ機能を実行するセキュリティ装置２６０に出力し、第３領域画像Ｐ３を、セキュリティ機能を実行するセキュリティ装置２６０に出力することができる。これにより、駐車中に機能が実現される管理装置にのみ、領域画像Ｐｎを出力することができる。
【０１０４】
また、制御装置１０は、ステップ７０において車両Ｖから当該車両Ｖが走行中である旨の情報を取得した場合には、明るさが調整された第１領域画像Ｐ１を、レーン認識機能を実行するレーン認識装置２１０、障害物検知機能を実行する障害物検知装置２２０、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、及びスナップショット機能を実行するスナップショット装置２４０のうちのいずれか一つ以上に出力し、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はスナップショット機能を実行するスナップショット装置２４０に出力し、第３領域画像Ｐ３を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はドライバーモニター機能を実行するドライバーモニター装置２５０に出力する。これにより、走行中に機能が実現される管理装置にのみ、領域画像Ｐｎを出力することができる。
【０１０５】
なお、制御装置１０は、車両Ｖが走行中であるか駐車中であるかの判断をすることなく、対応関係Ｓに基づいて各領域画像を各管理装置２１０〜２６０に出力することができる。この場合において、制御装置１０は、第１領域画像Ｐ１を、レーン認識機能を実行するレーン識別装置２１０、障害物検知機能を実行する障害物検知装置２２０、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、スナップショット機能を実行するスナップショット装置２４０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。また、制御装置１０は、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、スナップショット機能を実行するスナップショット装置２４０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。さらに、制御装置１０は、第３領域画像Ｐ３を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、ドライバーモニター機能を実行するドライバーモニター装置２５０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。
【０１０６】
本処理は、内外画像Ｐに３つの領域画像を設定した例により説明するが、内外画像Ｐを車外領域画像と車室内領域画像とに分ける場合は、図５に示す対応関係Ｓに従って明るさが調整された各領域画像を各装置２１０〜２６０に出力する。
【０１０７】
最後に、ステップ１１０において、各管理装置２１０〜２６０の制御装置は、制御装置１０の指令により取得した各領域画像Ｐ１〜Ｐ３を利用して各管理機能を実行する。各管理機能の内容、各管理機能の実行手法については、特に限定されず、出願時において知られた内容及び手法を用いることができる。また、本実施形態においては、管理装置２１０〜２６０の例として、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０を例示したが、カメラによる撮像画像を用いて所定の機能を実行する管理装置であれば特に限定されない。
【０１０８】
なお、本実施形態では、画像処理装置１００が車両Ｖに設置された場合を例にして説明したが、本発明の本実施形態に係る画像処理方法を、管理装置２１０〜２６０を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【０１０９】
管理装置２１０〜２６０と情報の授受が可能なサーバは、車両側のクライアントに以下の指令を送出して、画像処理方法を実行することができる。指令の内容は、車両Ｖに設置された一つの広角カメラ２０を用いて、車両Ｖの車外領域及び車両Ｖの車室内領域（前方領域、側方領域、車室内領域）の映像を含む車両Ｖの内外画像Ｐを取得する処理（ステップ）と、内外画像Ｐに基づいて、車外領域に対応する車外領域画像及び車室内領域に対応する車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を設定する処理（ステップ）と、車両Ｖの内外領域又は車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を含む各領域の明るさに応じて、設定された車両Ｖの内外領域又は車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を含む各領域画像のそれぞれの明るさを調整する処理（ステップ）と、車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐ１〜Ｐ３）が利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０と、を予め対応づけた対応関係Ｓを参照し、設定された車外領域画像及び車室内領域画像（第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を、管理機能を実行させる各管理装置２１０〜２６０にそれぞれ出力する処理（ステップ）と、を含む。処理の具体的な内容は、本実施形態の車両側の画像処理装置１００、車両管理システム１０００と共通するのでこれらの説明を援用する。
【０１１０】
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
【０１１１】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖの車外領域及び車両Ｖの車室内領域（又は車両Ｖの前方領域、車両Ｖの側方領域及び車両Ｖの車室内領域）を単一の広角カメラ２０で撮像し、撮像された車両Ｖの内外画像に設定された各領域画像を切り出して、これら各領域画像の明るさを内外領域又は各領域の明るさに基づいて調整するので、撮像エリアによって明るさが異なる場合でも、画像が部分的に不明瞭となることを防止し、車両Ｖの管理に関する複数の機能を並行して正確に実現することができる。しかも、撮像手段としては、広角カメラ２０を一つ設置すればよいので、車両Ｖの管理に要するコストを低減させることができる。
【０１１２】
また、管理機能を実行する際に、各管理装置２１０〜２６０は、設定された各領域画像Ｐ１〜Ｐ３についてのみ所定の画像処理を行えばよいので、処理負荷を低減することができる。
【０１１３】
本発明に係る実施形態の画像処理方法によっても、同様の作用を奏し、同様の効果を得ることができる。
【０１１４】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させるので、駐車中に撮像する際には各領域画像Ｐｎの光量が不十分となる傾向があるが、このような場合であっても適切な明るさの領域画像Ｐｎを得ることができる。この結果、車両Ｖの管理機能を正確に実行することができる。
【０１１５】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させるので、走行中に撮像する際には角領域画像Ｐｎの光量が過剰となる傾向があるが、このような場合であっても適切な明るさの領域画像Ｐｎを得ることができる。この結果、車両Ｖの管理機能を正確に実行することができる。
【０１１６】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、各領域の明るさを検出する一又は複数の照度センサ３０を有するので、カメラ２０の撮像素子を用いることなく、各領域の明るさを正確に検出することができるため、高い精度で各領域画像の明るさを制御することができる。さらに、カメラ２０の撮像素子により検出される明るさと、照度センサ３０により検出される明るさとの両方を用いることにより、より正確な各領域の明るさを検出することができる。
【０１１７】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車外領域画像と車室内領域画像（又は第１領域画像〜第３領域が画像）を予め定義された装置に出力するので、管理機能の実現において必要とされる各領域を撮像した各領域画像を、その管理機能を実現する装置２１０〜２６０に適切に出力することができる。この結果、広角カメラ２０によって撮像された一つの内外画像Ｐによって複数の管理機能を実現することができる。しかも、管理機能を実行するために必要とされる各領域画像のみが各管理装置２１０〜２６０に出力されるので、管理機能を実行する各管理装置２１０〜２６０の画像処理の負荷を低減することができる。
【０１１８】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、車外領域画像と車室内領域画像（又は第１領域画像〜第３領域が画像）を予め定義された装置に出力するので、各領域画像Ｐ１〜Ｐ３を、車両Ｖの状態に応じて各管理機能を実現する装置２１０〜２６０に適切に出力することができる。
【０１１９】
つまり、車両Ｖが走行中である又は車両Ｖが駐車中であるといった車両Ｖの状態に応じて、各車両Ｖの状態における管理機能の実現において必要とされる各領域を撮像した各領域画像Ｐ１〜Ｐ３を適切な明るさに調整して、その管理機能を実現する装置２１０〜２６０に適切に出力することができる。この結果、広角カメラ２０によって撮像された一つの内外画像Ｐによって、車両Ｖの状態に応じた複数の管理機能を実現することができる。
【０１２０】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、所定の周期で各領域画像Ｐ１〜Ｐ３の境界を抽出し、各領域画像Ｐ１〜Ｐ３を設定するので、カメラ２０の位置が変わるなどの原因により内外領域Ｅの外延が変化し、内外画像Ｐの対象範囲が変化した場合であっても、各領域画像Ｐｎの正確な境界を求めることにより、正確な境界に基づいて各領域画像Ｐｎを正確に設定することができる。たとえば、カメラ２０がバックミラーなどのように位置が可変の部材に取り付けられている場合には、撮像される内外領域の外延が変化するが、本実施形態では所定の周期で各領域画像Ｐｎの境界を抽出するので、変化後の内外画像Ｐにより各領域画像Ｐｎの正確な境界を求め、この正確な境界に基づいて各領域画像Ｐｎを正確に設定することができる。
【０１２１】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を抽出するので、走行場所の環境による影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。走行地点の環境によっては、日光や街灯光がダッシュボードに一時的に映り込んで、エッジＱの検出が正確に行われない場合があるが、本実施形態によれば、所定距離を走行するまでの間に撮像された複数の内外画像Ｐを用いて各領域画像Ｐｎの境界を抽出するので、走行地点の環境による一時的な映り込みなどの影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。この結果、各領域画像Ｐｎを正確に設定することができる。
【０１２２】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖの内外画像Ｐに車両Ｖに取り付けられたバックミラーなどの物体の画像が含まれる場合には、物体の画像に対応する領域の外縁を予め設定し、設定された外縁を用いて領域画像Ｐ１〜Ｐ３の境界を抽出するので、カメラ２０に撮像される内外領域に設けられた物体の影響を受けることなく、領域画像Ｐ１〜Ｐ４を正確に設定することができる。
【０１２３】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１２４】
すなわち、本明細書では、本発明に係る画像処理装置の一態様として画像処理装置１００及びこの画像処理装置１００を備える車両管理システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【０１２５】
本明細書では、本発明に係る画像処理装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える画像処理装置１００を一例として説明するが、これに限定されるものではない。
【０１２６】
また、本明細書では、本願発明に係る広角カメラと、領域設定手段と、画像調整手段と、出力制御手段とを有する画像処理装置の一態様として、カメラ２０と、領域設定機能、画像調整機能及び出力制御機能とを実行させる制御装置１０と、照度センサ３０とを備えた画像処理装置１００を例にして説明するが、本発明はこれに限定されるものではない。
【０１２７】
本明細書では、本発明に係る管理機能を実行する各装置の一例として、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０を少なくとも含む管理装置２１０〜２６０を例示するが、本発明はこれに限定されるものではない。
【符号の説明】
【０１２８】
１０００…車両管理システム
１００…画像処理装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…広角カメラ
２００…車載装置
２１０〜２６０…管理装置
２２０…レーン認識装置
２３０…障害物検知装置
２４０…スナップショット装置
２５０…ドライバーモニター装置
２６０…セキュリティ装置
２７０…出力装置
２７１…ディスプレイ
２７２…スピーカ
２７３…通信装置
３００…車両コントローラ
４００…イグニッションスイッチ
５００…ポジショニングスイッチ
６００…駆動系
８００…携帯端末
Ｖ…車両
Ｅ…撮像領域
Ｍ…乗員
Ｐ…内外画像
Ｐ１，Ｐｎ…第１領域画像（車両の前方領域に対応する画像）
Ｐ２，Ｐｎ…第２領域画像（車両の側方領域に対応する画像）
Ｐ３，Ｐｎ…第３領域画像（車両の車室内領域に対応する画像）
Ｑ…エッジ（境界）
Ｑ１…第１エッジ，Ｑ２…第２エッジ，Ｑ３…第３エッジ，Ｑ４…第４エッジ，Ｑ５…第５エッジ
Ｒ１…第１辺，Ｒ２…第２辺，Ｒ３…第３辺，Ｒ４…第４辺
Ｂ１…第１外縁，Ｂ２…第２外縁，Ｂ３…第３外縁，Ｂ４…第４外縁
Ｓ…対応関係
【技術分野】
【０００１】
本発明は、車両に設置された一つのカメラを用いて、車両の管理に関する複数の機能を実現する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
車両の管理を行う装置に関し、ドライブレコーダによって記録された走行中の運転情報を提示する運転支援システム（特許文献１）や、車両に取り付けられたカメラの映像から検出した動体に警告を発する車両用監視装置（特許文献２）が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５７４８４号公報
【特許文献２】特開２００６−３２１３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両の管理に関する複数の機能を実現する場合に、一つのカメラで車両の内外を含む領域を撮像すると、撮像エリアによって明るさが異なり、画像が部分的に不明瞭となるため、管理に関する機能が正確に実現できない場合があるという問題があった。
【０００５】
本発明が解決しようとする課題は、単一の広角カメラを用いて、車両の管理に関する複数の機能を正確に実現することである。
【課題を解決するための手段】
【０００６】
本発明は、車両に設置された単一の広角カメラにより撮像された車両の内外画像を取得し、この内外画像に設定された、車両の車外領域に対応する車外領域画像及び車両の車室内領域に対応する車室内領域画像を含む各領域画像の明るさを、内外領域又は各領域の明るさに基づいて調整し、各領域画像とこれらが利用される車両の各管理機能とを予め対応づけた対応関係を参照して、明るさが調整された各領域画像を、管理機能が実行される各管理装置にそれぞれ出力することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、車両の前方領域、車両の側方領域及び車両の車室内領域を単一の広角カメラで撮像し、撮像された車両の内外画像に設定された各領域画像を切り出して、これら各領域画像の明るさを各領域の明るさに基づいて調整するので、撮像エリアによって明るさが異なる場合でも、画像が部分的に不明瞭となることを防止し、車両の管理に関する複数の機能を正確に実現することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る実施形態の画像処理装置を備えた車両管理システムの構成図である。
【図２】本実施形態のカメラの設置位置及びカメラによって撮像される車両の内外領域の一例を示す図である。
【図３】車両の内外画像に設定された各領域画像の一例を示す図である。
【図４】車両の内外画像に設定された各領域画像の他の例を示す図である。
【図５】各領域画像と管理装置との対応関係を示す図である。
【図６】本発明の実施形態に係る車両管理システムの制御手順を示すフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る画像処理装置を車両管理システム１０００に適用した場合を例にして説明する。
【００１０】
図１は、本実施形態に係る画像処理装置１００を含む車両管理システム１０００のブロック構成図である。図１に示すように、本実施形態の車両管理システム１０００は、画像処理装置１００と、車載装置２００と、車両コントローラ３００と、を備えている。
【００１１】
車両管理システム１０００は、エンジンの始動・停止指令を受け付けるイグニッションスイッチ４００、車両のシフト位置のポジションに応じた信号を出力するポジショニングスイッチ５００、車両の駆動に係る駆動系６００などの車載装置を備えることもできる。
【００１２】
これらの各装置はＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続され、車両コントローラ３００を介して間接的に又は直接的に、情報の授受を相互に行うことができる。
【００１３】
また、図１に示すように、画像処理装置１００は、制御装置１０と、カメラ２０と、照度センサ３０とを備えている。
【００１４】
本実施形態に係る画像処理装置１００のカメラ２０は、一台の車両につき一つずつ車両の車室内に設置され、焦点距離が比較的短い（例えば、３５mmフィルム換算で焦点距離が４０mm未満）広角（広画角）のカメラである。この広角カメラ２０は、ＣＣＤ（Charge Coupled Devices）等の撮像素子を用いて構成され、所定周期で車両の車室内及び車室外を含む車両の内外領域を撮像する。
【００１５】
車両の内外領域には、車両の外側の車外領域及び車両の室内側の車室内領域が含まれる。さらに、車外領域には、車両の主にフロントウィンドウを介して車室内から見える車両外側の前方領域、車両の主にサイドドアウィンドウを介して車室内から見える車両外側の側方領域が含まれる。また、車室内領域には、車両の運転席、助手席、後部座席の一部又は全部の車室内領域が含まれる。つまり、本実施形態に係る車両の内外領域には、車外の前方領域、車外の側方領域及び車室内領域が含まれる。
【００１６】
図２は、カメラ１０の設置例と、車両Ｖの内外領域Ｅの一例を車両Ｖの側面から見た図である。図２に示すように、カメラ２０は車室内の運転席上部の天井、マップランプ周囲又は、バックミラーに設けられ、車両Ｖの前方領域、車両Ｖの側方領域（車外領域）及び車両Ｖの車室内領域を含む内外領域Ｅを撮像する。カメラ２０の設置位置、焦点距離及び内外領域Ｅの範囲は、車両Ｖの大きさ、運転席の高さ、後部座席の大きさ、窓の大きさ、管理機能の内容などに応じて適宜に設定される。
【００１７】
カメラ２０は内外領域Ｅを撮像した後に、車両Ｖの内外領域Ｅの映像である内外画像を制御装置１０へ送出する。なお、撮像開始のトリガは限定されず、いずれか一つの管理装置２１０〜２６０に入力されたオン信号、イグニッションスイッチ４００に入力されたオン信号、又はカメラ２０のスイッチ２１に入力されたオン信号を取得した場合に撮像を開始させることができる。また、車両Ｖを常に管理する観点からは、常時、撮像を継続させることもできる。
【００１８】
本実施形態に係る画像処理装置１００の制御装置１０は、単一のカメラが撮像した車両Ｖの内外画像に、車両Ｖの複数の管理機能を実現させるために必要な領域画像を設定し、設定された各領域画像の明るさを調整してから、これらが用いられる各装置に送出するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、本発明に係る実施形態の画像処理装置１００として機能させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えている。本実施形態の制御装置１０は、車載装置２００のいずれか一つの装置に入力されたオン信号、画像処理装置１００のスイッチに入力されたオン信号に呼応して起動するが、車両Ｖを常に管理する観点からは、常時、動作を継続させることもできる。
【００１９】
本実施形態に係る画像処理装置１００の制御装置１０は、領域設定機能と、明るさ取得機能と、画像調整機能と、出力機能とを備えている。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により上記機能を実行することができる。
【００２０】
以下に、画像処理装置１００の制御装置１０が実現する各機能についてそれぞれ説明する。
【００２１】
まず、制御装置１０の領域設定機能について説明する。本実施形態の制御装置１０は、カメラ２０により撮像された車両Ｖの内外画像Ｐから、前方領域に対応する第１領域画像、側方領域に対応する第２領域画像及び車室内領域に対応する第３領域画像の境界を抽出する。本実施形態では、内外画像Ｐを三つの領域に分けて処理する例を説明するが、内外画像Ｐを車両の前方領域及び車両の側方領域を含む領域に対応する車外領域画像と、車室内領域に対応する車室内領域との二つの領域に分けて処理することもできる。ここでは重複した説明を避けて、内外画像Ｐ三つの領域に分けて処理を例にして説明する。
【００２２】
図３は、車両Ｖの内外領域Ｅ（図２参照）をカメラ２０で撮像した内外画像Ｐの一例を示す図である。図３に示すように、本例の内外画像Ｐは、第１辺Ｒ１，第２辺Ｒ２、第３辺Ｒ３、第４辺Ｒ４に囲まれる矩形の画像データである。本例の内外画像Ｐは、車両Ｖのフロントウィンドウを介して車室内から見える前方領域に対応する第１領域画像Ｐ１と、車両Ｖのサイドドアウィンドウを介して車室内から見える側方領域に対応する第２領域画像Ｐ２及び車両Ｖの車室内領域に対応する第３領域画像Ｐ３（以下、各領域画像をＰｎと総称することもある）を含んでいる。
【００２３】
制御装置１０は、上述の第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の境界を車両Ｖの内外画像Ｐから抽出する。境界の抽出手法は特に限定されないが、本実施形態の制御装置１０は、内外画像Ｐについて画素の明るさに基づいてエッジ検出処理を行い、車両Ｖ内及び車両Ｖ外に存在する被写体（物体）の特徴に対応するエッジＱに基づいて、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の境界を抽出する。本例では第１〜第３の領域画像Ｐ１〜Ｐ３（以下、総称してＰｎとも称する）を設定する例を説明するが、領域画像は管理機能の内容に応じて適宜定義することができる。
【００２４】
本実施形態では、制御装置１０は、車両Ｖのダッシュボード、サイドドア、サイドドアウィンドウのエッジを抽出する。具体的に、制御装置１０は、図３に示すように、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２とを検出する。これと並行して、同図に示すように、制御装置１０は、車両Ｖのサイドドアとサイドドアウィンドウとの境目となる第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５を検出する。
【００２５】
制御装置１０は、検出された第１エッジＱ１〜第５エッジＱ５に基づいて第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３の各境界をそれぞれ抽出する。
【００２６】
なお、本実施形態では、各領域画像Ｐｎの境界を取得する手法として、内外画像Ｐの画像データに基づいてエッジＱを検出し、このエッジＱに基づいて各領域画像Ｐｎの境界を抽出する手法を説明したが、各領域画像Ｐｎの境界を内外画像Ｐの座標上に予め定義し、読み出し可能な状態に記憶しておくことも可能である。
【００２７】
そして、本実施形態の制御装置１０は、抽出された境界に基づいて、車両Ｖの内外画像Ｐに含まれる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定する。
【００２８】
図３に示すように、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、及び第１エッジＱ１に囲まれた領域を第１領域画像Ｐ１として設定する。また、制御装置１０は、内外画像Ｐの第２辺Ｒ２、第３辺Ｒ３、第２エッジＱ２、第４エッジＱ４、及び第５エッジＱ５に囲まれた領域、並びに内外画像Ｐの第１辺Ｒ１、第２エッジＱ２、及び第３エッジＱ３に囲まれた領域を第２領域画像Ｐ２として設定する。さらに、制御装置１０は、第２エッジＱ２、第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５、内外画像Ｐの第１辺Ｒ１、第２辺Ｒ２、に囲まれた領域を第３領域画像Ｐ３として設定する。
【００２９】
なお、制御装置１０は、内外画像Ｐに、車外領域に対応する車外領域画像と車室内領域に対応する車室内領域画像とを設定することができる。この場合において、制御装置１０は、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２とを検出する。そして、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、及び第１エッジＱ１に囲まれた領域と、内外画像Ｐの第２辺Ｒ２、第３辺Ｒ３、第２エッジＱ２、第４エッジＱ４、及び第５エッジＱ５に囲まれた領域、並びに内外画像Ｐの第１辺Ｒ１、第２エッジＱ２、及び第３エッジＱ３に囲まれた領域を車外領域として設定する。また、制御装置１０は、第２エッジＱ２、第３エッジＱ３、第４エッジＱ４及び第５エッジＱ５、内外画像Ｐの第１辺Ｒ１、第２辺Ｒ２、に囲まれた領域を車室内領域として設定する。
【００３０】
また、カメラ２０の配置によっては車両Ｖに取り付けられた物体が内外画像Ｐに映り込むことがある。例えば、カメラ２０がバックミラーの上部に設けられている場合や、カメラ２０が車室の天井に設けられ、その下方にバックミラーが設けられている場合には、図４に示すように、バックミラーの画像Ｐ３が内外画像Ｐに常に映り込む。
【００３１】
車両Ｖの内外画像Ｐに車両Ｖに取り付けられた物体（バックミラー）の画像が含まれる場合には、本実施形態の制御装置１０は、バックミラーの画像Ｐ３に対応する領域の第１外縁Ｂ１，第２外縁Ｂ２、第３外縁Ｂ３，第４外縁Ｂ４を予め内外画像Ｐ内に設定しておき、設定された外縁Ｂ１〜Ｂ４を用いて領域画像Ｐ１〜Ｐ４の境界を抽出する。つまり、予め内外画像Ｐ内に設定されたバックミラーの画像Ｐ３に対応する領域の第１外縁Ｂ１，第２外縁Ｂ２、第３外縁Ｂ３，第４外縁Ｂ４を含む境界に基づいて領域画像Ｐ１〜Ｐ４を設定する。
【００３２】
具体的に、図４に示す例においては、制御装置１０は、内外画像Ｐの第１辺Ｒ１、第３辺Ｒ３、第４辺Ｒ４、第１エッジＱ１及びバックミラーの画像Ｐ３に対応する領域の第４外縁Ｂ４（画像Ｐ３の形状によっては第３外縁Ｂ３）に囲まれた領域を第１領域画像Ｐ１として設定することができる。また、制御装置１０は、バックミラーの画像Ｐ３に対応する領域の第２外縁Ｂ２、内外画像Ｐの第３辺Ｒ３、内外画像Ｐの第２辺Ｒ２、第５エッジＱ５、及び第４エッジＱ４に囲まれた領域を第２領域画像Ｐ２として設定することができる。さらに、制御装置１０は、第２エッジＱ２、バックミラーの画像Ｐ３に対応する領域の第２外縁Ｂ１、同第２外縁Ｂ２、第４エッジＱ４、第５エッジＱ５、内外画像Ｐの第２辺Ｒ２、同第１辺Ｒ１、第３エッジＱ３に囲まれた領域を第３領域画像Ｐ３として設定することができる。なお、内外画像Ｐを車外領域画像と車室内領域画像との二つに分ける場合には、前述の第１領域画像Ｐ１と第２領域画像Ｐ２とを合わせた物を車外領域画像とし、第３領域画像Ｐ３を車室内領域画像とする。
【００３３】
バックミラーその他の物体の形状は、エッジ検出処理によって正確に検出することが難しいが、バックミラーの画像Ｐ３に対応する領域の外縁を予め設定しておくことにより、物体の影響を排除しつつ、画像処理を迅速に行うことができる。
【００３４】
このように、車両Ｖに取り付けられたバックミラーなどの物体の画像に対応する外縁Ｂを予め内外画像Ｐに設定しておき、これを用いて領域画像Ｐ１〜Ｐ３の境界を設定することにより、カメラ２０に撮像される内外領域に設けられた物体の影響を受けることなく、領域画像Ｐ１〜Ｐ４を正確に設定することができる。
【００３５】
また、本実施形態の制御装置１０は、所定の周期で撮像された車両Ｖの内外画像Ｐについて、所定の周期で各領域画像Ｐｎの境界を抽出し、抽出した境界に基づいて各内外画像Ｐに含まれる各領域画像Ｐｎをそれぞれ設定することができる。
【００３６】
カメラ２０の位置が固定されていれば、カメラ２０により撮像される内外領域Ｅの外延は常に一定であるが、カメラ２０がバックミラーなどのように位置が可変の部Ｅに取り付けられている場合にバックミラーが動かされると、撮像される内外領域Ｅの外延が変化する。本実施形態では、所定の周期で各領域画像Ｐｎの境界を抽出するので、カメラ２０の位置が変わるなど内外領域Ｅの外延が変化し、内外画像Ｐの対象範囲が変化した場合であっても、各領域画像Ｐｎの正確な境界を求め、各領域画像Ｐｎを正確に設定することができる。
【００３７】
さらに、本実施形態の制御装置１０は、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された複数の内外画像Ｐに基づいて各領域画像Ｐｎの各境界を抽出することができる。つまり、車両Ｖが走行を開始してから所定距離を走行するまでの所定のタイミングで撮像された内外画像Ｐから各領域画像Ｐｎの境界Ｑを抽出し、この境界Ｑに基づいて各内外画像Ｐに含まれる各領域画像Ｐｎをそれぞれ設定することができる。車両Ｖの走行開始は、車両コントローラ３００を介してイグニッションスイッチ４００からオン信号を取得したタイミングに基づいて判断することができる。具体的に、制御装置１０は、イグニッションオンから所定距離を走行するまでの間に所定周期で撮像された各内外画像Ｐから検出された各エッジＱについて、位置のずれ量を算出し、位置のずれ量が最も小さいエッジＱ群を求めて、このエッジ群Ｑを各領域画像Ｐｎの境界として抽出することができる。また、制御装置１０は、イグニッションオンから所定距離を走行するまでの間に所定周期で撮像された各内外画像Ｐから検出された各エッジＱの座標分布を求め、最も分布確率の高い座標値を有するエッジＱ群を求め、分布確率の高いエッジＱを各領域画像Ｐｎの境界として抽出することもできる。
【００３８】
走行地点の環境によっては、日光や街灯光がダッシュボードに一時的に映り込む場合がある。このような場合には、内外画像Ｐに架空の画像が含まれ、エッジＱの検出が正確に行われず、各領域画像Ｐｎの境界を正確に抽出することができない。このような場面において、本実施形態の画像処理装置１００は、イグニッションオンから所定距離を走行するまでの間に撮像された複数の内外画像Ｐを用いて各領域画像Ｐｎの境界を抽出するので、走行地点の環境による一時的な映り込みなどの影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。この結果、各領域画像Ｐｎを正確に設定することができる。
【００３９】
次に、制御装置１０の明るさ取得機能について説明する。本実施形態に係る画像処理装置１００の制御装置１０は、車両Ｖの内外領域(全体)の明るさ又は前方領域、側方領域及び車室内領域を含む各領域の明るさを取得する。具体的に、制御装置１０は、明るさの検出タイミングにおける、カメラ２０の撮像素子の光量の平均値等の代表値を内外領域の明るさの情報として取得することができる。また、領域ごとの明るさの情報を取得する場合には、制御装置１０は、車両Ｖの前方領域に対応する第１領域画像を撮像する各素子の光量の代表値を前方領域の明るさの情報として取得することができ、車両Ｖの側方領域に対応する第２領域画像を撮像する各素子の光量の平均値等の代表値を側方領域の明るさの情報として取得することができ、車両Ｖの室内領域に対応する第３領域画像を撮像する各素子の光量の平均値等の代表値を車室内領域の明るさの情報として取得することができる。
【００４０】
また、図１に示すように、車両Ｖの内外領域又は車両Ｖの前方領域、側方領域及び車室内領域などの各領域の明るさを検出する一又は複数の照度センサ３０を車両Ｖに設置することができる。一つの照度センサ３０は車両Ｖの内外領域の一部又は全部の平均的な明るさを検出し、制御装置１０へ送出する。複数の照度センサ３０は、車両Ｖの前方領域、車両Ｖの側方領域及び車両Ｖの車室内領域を含む各領域の照度を検知し、各領域の照度を明るさの情報として各領域の識別子を付して、制御装置１０へ送出する。このため、制御装置１０は、各照度センサ３０により検出された各領域の明るさの情報を取得することができる。
【００４１】
もちろん、カメラ２０の撮像素子の各素子における光量に基づく各領域の明るさの情報を取得しつつ、併せて、照度センサ３０により検知された各領域の明るさの情報を取得することもできる。制御装置１０は、カメラ２０の撮像素子の各素子により検出された明るさと、照度センサ３０により検出された明るさとを比較して、差が所定値以上である場合には照度センサ３０の検出値を用いるようにしてもよいし、カメラ２０の撮像素子の各素子により検出された明るさと、照度センサ３０により検出された明るさの平均値を用いてもよい。このように、カメラ２０の撮像素子により検出される明るさと、照度センサ３０により検出される明るさとの両方を用いることにより、高い精度で各領域画像の明るさを制御することができる。
【００４２】
続いて、制御装置１０の画像調整機能について説明する。
【００４３】
本実施形態に係る画像処理装置１００の制御装置１０は、明るさ取得機能により取得された内外領域全体の明るさの情報又は各領域の明るさの情報に応じて、領域設定機能により設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を含む各領域画像Ｐｎの明るさをそれぞれ調整する。
【００４４】
一般的な構造の車両Ｖにおいては、フロントウィンドウは天井から傾斜する状態で設けられ、その面積が大きいため、カメラ２０が撮像する車両Ｖの前方領域は、車両Ｖの側方領域や車両Ｖの車室内領域よりも明るく、車両Ｖの側方領域は、車両Ｖの車室内領域よりも明るい。このため、本実施形態の制御装置１０は、内外領域の明るさに適した画像の明るさを基準とした場合に、最も明るい前方領域に対応する第１領域画像Ｐ１の明るさが暗くなるように、明るさを向上させる調整量を低減して（例えば、露光時間を短くして）白とびしないように調整し、最も暗い車室内領域に対応する第３領域画像Ｐ３の明るさが明るくなるように、明るさを向上させる調整量を増加させて（例えば、露光時間を長くして）黒つぶれがないように調整する。また、中間の明るさである側方領域に対応する第２領域画像Ｐ２は、基準どおりの明るさに従い、調整をしない（例えば、露光時間を変えない）。
【００４５】
例えば、車両Ｖの構造及びカメラ２０の性能を考慮して、予め、車両Ｖの内外画像Ｐ全体の平均的なの明るさＸに対して各領域画像Ｐｎの明るさＹが定義されている場合において、前方領域の明るさがＸであるとき、制御装置１０は、第１領域画像Ｐ１の明るさをＹ１（Ｙ１＜Ｙ）となるように調整するとともに、第３領域画像Ｐ３の明るさをＹ２（Ｙ２＞Ｙ）となるように調整することができる。つまり、前方領域の第１領域画像Ｐ１は光量過剰の可能性があるため、平均的な明るさに基づいて求められた適正な画像の明るさに比べてより暗く調整し、車室内領域の第３領域画像Ｐ３は光量不足の可能性があるため、平均的な明るさに基づいて求められた適正な画像の明るさに比べてより明るく調整することができる。
【００４６】
各領域画像の調整手法は特に限定されないが、本実施形態において、制御装置１０は、カメラ２０の露光を制御することにより、各領域画像Ｐｎの明るさを調整することができる。
【００４７】
具体的に、制御装置１０は、車両Ｖの内外領域の明るさ又は車両Ｖの前方領域、側方領域及び車室内領域を含む各領域の明るさと、カメラ２０の露光時間とを予め対応づけた露光データを参照し、明るさ取得機能によって取得された各領域の明るさに応じて、各領域の領域画像Ｐｎを撮像する撮像素子の露光時間を制御する露光制御命令を作成し、カメラ２０へ送出することができる。
【００４８】
ちなみに、露光制御命令には、設定された各領域画像Ｐｎに対応する撮像素子のグループを特定する情報を付加することができるので、カメラ２０は、取得した露光制御命令に基づいて、特定された撮像素子のグループごとに露光時間を制御することができる。これにより、各領域の明るさに応じて画像の明るさが調整された、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を得ることができる。
【００４９】
なお、制御装置１０は、カメラ２０が備える適正露出制御機能、ＩＳＯ感度調整その他の画像調整機能を利用して、各機能に応じた各領域の明るさに応じた制御命令をカメラ２０へ送出し、各領域画像Ｐｎの明るさを調整することもできる。
【００５０】
また内外画像Ｐの全体について統一された露光時間を設定する必要がある場合には、前方領域の明るさに応じた露光時間で内外領域全体を撮像し、その内外画像Ｐから第１領域画像Ｐ１のみを設定し、側方領域の明るさに応じた露光時間で内外領域全体を撮像し、その内外画像Ｐから第２領域画像Ｐ２のみを設定し、車室内領域の明るさに応じた露光時間で内外領域の全体を撮像し、その内外画像Ｐから第３領域画像Ｐ３のみを設定することもできる。この処理によると、撮像回数が増えてしまうものの一つの広角カメラ２０で画像処理を行うことができる。
【００５１】
さらにまた、本実施形態の制御装置１０は、カメラ２０によって撮像された内外画像Ｐの各領域画像Ｐｎに加工処理を施すことにより各領域画像Ｐｎの明るさを調整することができる。具体的に、制御装置１０は、車両Ｖの内外領域又は車両Ｖの前方領域、側方領域及び車室内領域を含む各領域の明るさと、各領域画像Ｐｎの適切な明るさとを予め対応づけた画像調整データを参照し、明るさ取得機能によって取得された各領域の明るさに応じて、領域画像Ｐｎの明るさを調整する。画像調整データは、車両Ｖの構造（ウィンドウの位置・大きさ、車室内の広さ）と、カメラ２０の性能に応じて実験により定義することができる。特に限定されないが、制御装置１０は、出願時において知られている、濃度値の変換、コントラスト補正、ガンマ補正、濃度値のヒストグラム変換その他の明るさを調整するための画像処理手法を用いて、各領域画像Ｐｎの明るさを調整することもできる。
なお、明るさの調整は、カメラ２０の露光制御又は画像処理のいずれか一方の手法によって実行してもよいし、両方の手法により実行してもよい。例えば、カメラ２０の露光制御をしつつ、撮像された各領域画像Ｐｎの明るさを画像処理によって調整することができる。
【００５２】
加えて、一般的に、走行中である場合の車両Ｖの内外領域は、駐車中の場合よりも車両Ｖの内外領域よりも明るい場合が多いと推測されるため、本実施形態の制御装置１０は、走行中であるか駐車中であるかといった車両Ｖの状態に応じて各領域画像Ｐｎの明るさの調整の度合いを変化させることができる。
【００５３】
本実施形態の制御装置１０は、車両Ｖから当該車両Ｖが走行中であるか又は駐車中であるかの情報をポジショニングスイッチ５００から取得し、車両Ｖが駐車中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を増加させることができる。また、本実施形態の制御装置１０は、車両Ｖから当該車両Ｖが走行中であるか又は駐車中であるかの情報をポジショニングスイッチ５００から取得し、車両Ｖが走行中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を減少させることができる。
【００５４】
具体的には、車両Ｖが駐車中である旨の情報を取得した場合には、その後に各領域画像Ｐｎを撮像する撮像素子の露光時間を延長し、車両Ｖが走行中である旨の情報を取得した後には、その後に各領域画像Ｐｎを撮像する撮像素子の露光時間を短縮することができる。
【００５５】
たとえば、車両Ｖの構造及びカメラ２０の性能を考慮して、走行中及び駐車中の内外領域又は車両Ｖの前方領域の明るさＺに対して第１領域画像Ｐ１の明るさＷが定義されている場合において、内外領域又は前方領域の明るさがＺであるとき、制御装置１０は、駐車中に撮像された第１領域画像Ｐ１の明るさをＷ１（Ｗ１＞Ｗ）となるように調整することができる。この調整と独立して又はこの調整とともに、走行中に撮像された第１領域画像Ｐ１の明るさをＷ２（Ｗ２＜Ｗ）となるように調整することができる。つまり、駐車中に撮像された第１領域画像Ｐ１は光量不足の可能性があるため、車両Ｖの状態を考慮しない場合に比べて第１領域画像Ｐ１をより明るく調整することができる。また、走行中に撮像された第１領域画像Ｐ１は光量過剰の可能性があるため、車両Ｖの状態を考慮しない場合に比べて第１領域画像Ｐ１をより暗く調整することができる。側方領域、車室内領域についても同様の調整を行うことができる。
【００５６】
このように、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させることにより、駐車中の撮像において各領域画像Ｐｎの光量が十分でない場合であっても適切な明るさの領域画像Ｐｎを得ることができる。また、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させることにより、走行中の撮像において各領域画像Ｐｎの光量が過剰となる場合であっても適切な明るさの領域画像Ｐｎを得ることができる。
【００５７】
次に、制御装置１０の出力制御機能について説明する。
【００５８】
本実施形態に係る画像処理装置１００の制御装置１０は、後述する対応関係を参照し、前述した領域設定機能により設定され、画像調整機能により各領域画像Ｐｎの明るさが調整された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３（又は車外領域画像、車室内領域画像）を切り出して、管理機能を実行する各管理装置にそれぞれ出力する。
【００５９】
本実施形態の車載装置２００は、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０及びセキュリティ装置２６０その他の管理装置の管理結果を利用者に提示する出力装置２７０を備えている。
【００６０】
以下に、管理機能を実行する装置の一例として管理装置２１０〜２６０を説明するが、本発明の実施形態に係る車両管理システム１０００に適用される管理装置は、カメラ２０により撮像された画像に基づいて車両Ｖの状態を管理する機能を備えるものであれば特に限定されない。
【００６１】
本実施形態のレーン識別装置２１０は、車両Ｖの前方領域の画像に基づいて、自車両が走行している道路の車線を認識し、自車両と車線との位置関係を判断するレーン認識機能を有する。本実施形態のレーン識別装置２１０は、自車両が車線から外れる可能性が所定の閾値を超えると判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して乗員の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動系６００の制御に関する信号を送出する。
【００６２】
本実施形態の障害物検知装置２２０は、車両Ｖの前方領域の画像に基づいて、車両前方の車両や歩行者などの障害物を検知し、自車両と障害物との位置関係を判断する障害物検知機能を有する。本実施形態の障害物検知装置２２０は、自車両と障害物とが接近する可能性が所定の閾値を超えると判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して乗員の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動制御に関する信号を送出する。
【００６３】
本実施形態のドライブレコーダ装置２３０は、走行中の車両Ｖの前方領域、車両Ｖの側方領域を撮像し、走行中に車両Ｖ又は他車両に事故が生じた場合に、事故発生時の状況を確認するための画像を記録するドライブレコーダ機能を有する。本実施形態のドライブレコーダ装置２３０は、撮像した画像をディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して提示することができ、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６４】
本実施形態のスナップショット装置２４０は、走行中の車両Ｖの前方領域、車両Ｖの側方領域を撮像し、走行後に走行ルートの風景を楽しむなどの目的でドライブ時の画像を記録するスナップショット機能を有する。本実施形態のスナップショット装置２４０は、撮像した画像をディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して提示することができ、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６５】
本実施形態のドライバーモニター装置２５０は、運転者の身体の画像に基づいて、運転者の状態を検知し、運転者が運転に適した状態であるか否かを判断するドライバーモニター機能を有する。本実施形態の障害物検知装置２２０は、走行中の運転者の肩や腕などの身体や、顔や目などの表情より、運転者が運転に適していないと判断された場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して運転者に休憩を薦める情報や、運転者の注意を喚起する情報を出力し、又は車両コントローラ３００に車両Ｖの駆動制御に関する信号を送出する。
【００６６】
本実施形態のセキュリティ装置２６０は、駐車中の車両Ｖの前方領域、車両Ｖの側方領域、車両Ｖの車室内領域を撮像し、乗員が車両Ｖを降車した後に車両Ｖの安全を守る目的で駐車時の画像を取得するセキュリティ機能を有する。本実施形態のセキュリティ装置２６０は、撮像した車両周囲の画像に基づいて車両の安全が脅かされる状態である（例えば、車両部品の盗難、搭載貨物の盗難などが発生する可能性が高い）と判断した場合には、ディスプレイ２７１、スピーカ２７２などの出力装置２７０を介して外部に警告を提示する、又は通信装置２７３を介して撮像した画像をコンピュータや携帯電話などの外部端末８００に送出することができる。
【００６７】
続いて、本実施形態に係る画像処理装置１００の制御装置１０が出力処理を行う際に参照する対応関係Ｓについて説明する。
【００６８】
制御装置１０は、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐｎが利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０とを予め対応づけた対応関係Ｓを参照して、領域設定機能により設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を、前述した管理機能を実行する各管理装置２１０〜２６０にそれぞれ出力する。
【００６９】
本実施形態の対応関係Ｓの一例を図５に示す。
【００７０】
図５に示すように、明るさが調整された第１領域画像Ｐ１は、第１領域画像Ｐ１を用いてレーン認識機能を実行するレーン識別装置２１０、第１領域画像Ｐ１を用いて障害物検知機能を実行する障害物検知装置２２０、第１領域画像Ｐ１を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第１領域画像Ｐ１を用いてスナップショット機能を実行するスナップショット装置２４０及び第１領域画像Ｐ１を用いてセキュリティ機能を実行するセキュリティ装置２６０のいずれか一つ以上の装置に出力される。
【００７１】
また、同図に示すように、明るさが調整された第２領域画像Ｐ２は、第２領域画像Ｐ２を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第２領域画像Ｐ２を用いてスナップショット機能を実行するスナップショット装置２４０及び第２領域画像Ｐ２を用いてセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７２】
さらにまた、同図に示すように、明るさが調整された第３領域画像Ｐ３は、第３領域画像Ｐ３を用いてドライブレコーダ機能を実行するドライブレコーダ装置２３０、第３領域画像Ｐ３を用いてドライバーモニター機能を実行するドライバーモニター装置２５０及び第３領域画像Ｐ３を用いてセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７３】
また、内外画像Ｐを車外領域画像と車室内領域画像とに分けて、各画像を各装置２１０〜２６０に出力する場合には、図５に示すように、明るさが調整された車外領域画像は、レーン識別装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、セキュリティ装置２６０のいずれか一つ以上の装置に出力され、明るさが調整された車室内領域画像は、ドライブレコーダ装置２３０、ドライバーモニター装置２５０及びセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力される。
【００７４】
なお、図５に示す対応関係Ｓでは、一つの機能に一つの装置を対応づけているが、セキュリティ装置がセキュリティ機能とドライブレコーダ機能とを併せ持つ場合には、対応関係Ｓ中のドライブレコーダ装置はセキュリティ装置に書き換えることができる。
【００７５】
このように、単一の広角カメラ２０により撮像された車両Ｖの内外画像Ｐに設定され、明るさが調整された各領域画像Ｐｎを内外画像Ｐから切り出し、これを用いて車両管理を行う管理装置２１０〜２６０にそれぞれ出力するので、単一の内外画像Ｐによって複数の車両管理を並行して実行することができる。また、管理機能を実行する際に、各管理装置２１０〜２６０は、設定された各領域画像Ｐ１〜Ｐ３についてのみ所定の画像処理を行えばよいので、処理負荷を低減することができる。
【００７６】
加えて、本実施形態の対応関係Ｓは、図５に示すように車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義されている。
【００７７】
本実施形態に係る画像処理装置１００の制御装置１０は、ポジショニングスイッチ５００からＤ、Ｒ、Ｎレンジなどの車両Ｖが走行中である旨の信号を受信した場合と、ポジショニングスイッチ５００からＰレンジなどの車両Ｖが駐車中である旨の信号を受信した場合とに応じて、明るさが調整された各領域画像Ｐを各管理装置２１０〜２６０に送出する。
【００７８】
制御装置１０は、車両Ｖが走行中であるか否かを示すポジショニングスイッチ５００の信号を、車両コントローラ３００を介して取得することができる。
【００７９】
具体的に、制御装置１０が、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、対応関係Ｓを参照し、明るさが調整された第１領域画像Ｐ１をドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つに出力し、明るさが調整された第２領域画像Ｐ２を、ドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第３領域画像Ｐ３を、セキュリティ装置２６０に出力する。
【００８０】
他方、制御装置１０が、車両Ｖから当該車両Ｖが走行中である旨の情報を取得した場合には、対応関係Ｓを参照し、明るさが調整された第１領域画像Ｐ１をレーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、及びスナップショット装置２４０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第２領域画像Ｐ２を、ドライブレコーダ装置２３０及びスナップショット装置２４０のうちのいずれか一つ以上の装置に出力し、明るさが調整された第３領域画像Ｐ３を、ドライブレコーダ装置２３０及びドライバーモニター装置２５０のうちのいずれか一つ以上の装置に出力する。
【００８１】
このように、車両Ｖが走行中か駐車中か否かに応じて、明るさが調整された領域画像Ｐ３を所定の管理装置２１０〜２６０に送出することにより、必要な場面で、車両Ｖの各管理機能を実行する装置２１０〜２６０に、各管理機能の実行に必要な画像を、適切な明るさに調整してから出力することができる。
【００８２】
また、内外画像Ｐを車外領域画像と車室内領域画像とに分けて、各画像を各装置２１０〜２６０に出力する場合において、図５に示すように、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得したときには、対応関係Ｓを参照し、設定された車外領域画像をドライブレコーダ装置２３０及びセキュリティ装置２６０のうちのいずれか一つに出力し、設定された車室内領域画像Ｐ３を、セキュリティ装置２６０に出力する。他方、車両Ｖから当該車両Ｖが走行中である旨の情報を取得したときには、車外領域画像は、レーン識別装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０のいずれか一つ以上の装置に出力され、設定された車室内領域画像を、ドライブレコーダ装置２３０及びドライバーモニター装置２５０のうちのいずれか一つ以上の装置に出力する。このようにしても、上述の処理と同様の作用効果を得ることができる。
【００８３】
続いて、図６に基づいて、本実施形態の画像処理装置１００の制御手順を具体的に説明する。
【００８４】
まず、ステップ１０において、制御装置１０は、画像処理開始のトリガとなる起動信号の取得に応じて、カメラ２０の撮像処理を開始させる。起動信号は、イグニッションスイッチ４００から取得したイグニッションオン信号、画像処理装置１００のスイッチ２１から取得したオン信号、管理装置２１０〜２６０のいずれか一つ以上の装置から取得したオン信号などを適宜に定義することができる。
【００８５】
広角カメラ２０は、所定の内外領域Ｅ（図２参照）を所定周期で撮像し、制御装置１０へ送出する。内外領域Ｅを撮像した内外画像Ｐは、前方領域に対応する第１領域画像Ｐ１、側方領域に対応する第２領域画像Ｐ２及び車室内領域に対応する第３領域画像Ｐ３を含む。
【００８６】
ステップ２０において、制御装置１０は、広角カメラ２０により撮像された車両Ｖの内外画像Ｐから、第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３の境界を抽出するため、内外画像Ｐの画素の明るさに基づいてエッジを検出する。エッジの検出処理は、所定周期で撮像された内外画像Ｐのそれぞれについて行う。本実施形態において検出するエッジは、図３に示すように、ダッシュボードとフロントウィンドウとの境界となる第１エッジＱ１と、ダッシュボードと座席空間との境目となる第２エッジＱ２と、サイドドアとサイドドアウィンドウとの境目となる第３エッジＱ３と、第４エッジＱ４及び第５エッジＱ５とを検出する。
【００８７】
エッジ検出後、ステップ５０へ進む。ステップ５０において、制御装置１０は、検出された各エッジに基づいて、前方領域に対応する第１領域画像Ｐ１、側方領域に対応する第２領域画像Ｐ２及び車室内領域に対応する第３領域画像Ｐ３の境界を抽出する。そして、制御装置１０は、ステップ２０において抽出された各境界によって区切られる第１領域画像Ｐ１、第２領域画像Ｐ２及び第３領域画像Ｐ３をそれぞれ設定する。また、制御装置１０は、第１領域画像Ｐ１及び第２領域画像Ｐ２を含む車外領域画像と、第３領域画像Ｐ３を含む車室内領域画像との境界を抽出し、各境界により区切られる車外領域画像と車室内領域画像を設定する。なお、この各領域画像Ｐ１〜Ｐ３の設定に伴い、各領域画像Ｐ１〜Ｐ３に応じた画素の識別子、アドレス、位置（座標）などを特定することができる。
【００８８】
なお、制御装置１０は、車両Ｖの内外画像Ｐに車両Ｖに取り付けられたバックミラーなどの物体の画像が含まれる場合には、この物体の画像に対応する領域の外縁を予め設定しておき、設定された外縁を用いて領域画像Ｐ１〜Ｐ３の境界を抽出することができる。
【００８９】
また、本実施形態の制御装置１０は、エッジ検出処理後に、ステップ３０の処理を行うことができる。具体的に、制御装置１０は、所定時間経過後又は車両Ｖが所定距離走行後に、ステップ２０へ戻ってエッジの検出処理を再度行うことができる。
【００９０】
カメラ２０がバックミラーなどの可動部材に取り付けられている場合には、バックミラーの位置が動くと、カメラ２０の撮像範囲（内外領域）が変更されるため、取得される内外画像Ｐも変化し、各領域画像Ｐ１〜Ｐ３を正確に設定できない。これに対し、本処理を行うことにより、所定周期で各領域画像Ｐ１〜Ｐ３の境界を抽出することができるので、カメラ２０の撮像範囲（内外領域）が変更されても、各領域画像Ｐ１〜Ｐ３を正確に設定することができる。
【００９１】
なお、車両Ｖが所定距離を走行したか否かを判断するための起点(走行開始のタイミング)は、イグニッションスイッチ４００からオン信号を取得したタイミング、つまり走行開始時としてもよいし、各領域画像の境界の検出処理が開始されたタイミングとしてもよい。
【００９２】
さらに、本実施形態の制御装置１０は、エッジ検出処理後に、ステップ３０及び４０の処理を行うことができる。具体的に、制御装置１０は、所定時間経過後又は車両Ｖが所定距離走行後に（Ｓｔｅｐ３０でＹｅｓ）ステップ４０に進み、ステップ４０において、前回の処理で撮像された内外画像Ｐから検出されたエッジの位置と今回の処理で撮像された内外画像Ｐから検出されたエッジの位置を比較し、両エッジの位置に所定値以上の変更があるか否かを判断し（Ｓｔｅｐ４０）、エッジの位置に変化がある場合はステップ２０へ戻って、今回の処理で撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を再抽出することができる。
【００９３】
車両Ｖが走行し、車両Ｖの位置が変わると日光や街灯の光の当たり方が変化するが、日光や街灯の光の当たり方によってはインストルメント・パネルに光が映り込み、エッジの検出（各領域画像の境界の抽出）が正確にできない場合がある。これに対し、本実施形態では、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を抽出することにより、ある位置において日光や街灯の光がダッシュボードに映り込んでしまっても、このような日光や街灯の光の影響を排除して各領域画像Ｐ１〜Ｐ３を正確に設定することができる。
【００９４】
他方、ステップ４０の判断において、各内外画像Ｐのエッジに所定値以上の変更（ずれ）が無い場合には、前回の処理における境界の抽出結果に基づく画像処理に従えばよいので、処理を終了する。
【００９５】
ステップ３０、ステップ３０及び４０の処理を経て検出されたエッジにより各領域画像Ｐ１〜Ｐ３の境界を抽出し、先述したステップ５０における各領域画像Ｐ１〜Ｐ３の設定処理を実行することができる。
【００９６】
先述したステップ５０に続くステップ６０において、制御装置１０は、内外領域の明るさ又は各領域の明るさの情報を、カメラ２０の撮像素子及び／又は照度センサ３０から取得する。
【００９７】
そして、ステップ７０において、制御装置１０は、ポジショニングスイッチ５００からシフトポジション情報を取得する。制御装置１０は、シフトポジション情報に基づいて、車両Ｖが走行中であるか駐車中であるかを判断する。具体的に、制御装置１０は、Ｄレンジ、Ｒレンジ、Ｎレンジのシフトポジション信号を取得した場合は、車両Ｖが走行中であると判断する。他方、御装置１０は、Ｐレンジのシフトポジション信号を取得した場合は、車両Ｖが駐車中であると判断する。
【００９８】
次のステップ８０において、制御装置１０は、取得された内外領域又は各領域の明るさの情報に基づいて、内外領域若しくは各領域の明るさとカメラ２０の露光時間とを予め対応づけた「露光データ」、又は内外領域若しくは各領域の明るさと、各領域画像Ｐｎの適切な明るさとを予め対応づけた「画像調整データ」を参照し、ステップＳ５０において設定された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を含む各領域画像Ｐｎの明るさをそれぞれ調整する。なお、各領域画像Ｐｎの明るさの調整は、上述したように、カメラ２０の露光制御やＩＳＯ制御によって行うことができ、制御装置１０の画像処理によっても行うこともできる。
【００９９】
図６に示すように、ステップ８０の処理は、ステップ６０の処理の後、シフトポジション情報を得ることなく実行することができるが、本実施形態では、車両Ｖが走行中であるか駐車中であるかに応じて、車両Ｖが駐車中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を増加させ、車両Ｖが走行中である旨の情報を取得した後に撮像される各領域画像Ｐｎの明るさを向上させる調整量を低減させる。
【０１００】
ステップ６０からステップ８０に移行する場合には、画像調整処理において参照する上述の露光データ又は画像調整データを、車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義しておくことができる。この場合において、車両Ｖが駐車中である場合においては、領域の明るさに対する各領域画像Ｐｎの適切な明るさが、車両Ｖの状態を考慮しない場合の明るさよりも高く設定することができる。また、車両Ｖが走行中である場合においては、領域の明るさに対する各領域画像Ｐｎの適切な明るさが、車両Ｖの状態を考慮しない場合の明るさよりも低く設定することができる。
【０１０１】
次のステップ９０において、制御装置１０は、第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐ１〜Ｐ３が利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０とを予め対応づけた対応関係Ｓ（例えば図５）を参照する。この対応関係Ｓは、車両Ｖが駐車中である場合と車両Ｖが走行中である場合とに分けて定義することができる。
【０１０２】
そして、ステップ１００において、制御装置１０は、車両Ｖが走行中であるか駐車中であるかの判断に基づき、対応関係Ｓに従い、ステップ５０において設定され、ステップ８０において明るさが調整された第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３を内外画像Ｐから切り出し、各種の管理機能を実行するレーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０その他の管理装置２１０〜２６０にそれぞれ出力する。
【０１０３】
この場合において、制御装置１０は、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、第１領域画像Ｐ１を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はセキュリティ機能を実行するセキュリティ装置２６０に出力し、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はセキュリティ機能を実行するセキュリティ装置２６０に出力し、第３領域画像Ｐ３を、セキュリティ機能を実行するセキュリティ装置２６０に出力することができる。これにより、駐車中に機能が実現される管理装置にのみ、領域画像Ｐｎを出力することができる。
【０１０４】
また、制御装置１０は、ステップ７０において車両Ｖから当該車両Ｖが走行中である旨の情報を取得した場合には、明るさが調整された第１領域画像Ｐ１を、レーン認識機能を実行するレーン認識装置２１０、障害物検知機能を実行する障害物検知装置２２０、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、及びスナップショット機能を実行するスナップショット装置２４０のうちのいずれか一つ以上に出力し、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はスナップショット機能を実行するスナップショット装置２４０に出力し、第３領域画像Ｐ３を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０及び／又はドライバーモニター機能を実行するドライバーモニター装置２５０に出力する。これにより、走行中に機能が実現される管理装置にのみ、領域画像Ｐｎを出力することができる。
【０１０５】
なお、制御装置１０は、車両Ｖが走行中であるか駐車中であるかの判断をすることなく、対応関係Ｓに基づいて各領域画像を各管理装置２１０〜２６０に出力することができる。この場合において、制御装置１０は、第１領域画像Ｐ１を、レーン認識機能を実行するレーン識別装置２１０、障害物検知機能を実行する障害物検知装置２２０、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、スナップショット機能を実行するスナップショット装置２４０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。また、制御装置１０は、第２領域画像Ｐ２を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、スナップショット機能を実行するスナップショット装置２４０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。さらに、制御装置１０は、第３領域画像Ｐ３を、ドライブレコーダ機能を実行するドライブレコーダ装置２３０、ドライバーモニター機能を実行するドライバーモニター装置２５０及びセキュリティ機能を実行するセキュリティ装置２６０のうちのいずれか一つ以上に出力することができる。
【０１０６】
本処理は、内外画像Ｐに３つの領域画像を設定した例により説明するが、内外画像Ｐを車外領域画像と車室内領域画像とに分ける場合は、図５に示す対応関係Ｓに従って明るさが調整された各領域画像を各装置２１０〜２６０に出力する。
【０１０７】
最後に、ステップ１１０において、各管理装置２１０〜２６０の制御装置は、制御装置１０の指令により取得した各領域画像Ｐ１〜Ｐ３を利用して各管理機能を実行する。各管理機能の内容、各管理機能の実行手法については、特に限定されず、出願時において知られた内容及び手法を用いることができる。また、本実施形態においては、管理装置２１０〜２６０の例として、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０を例示したが、カメラによる撮像画像を用いて所定の機能を実行する管理装置であれば特に限定されない。
【０１０８】
なお、本実施形態では、画像処理装置１００が車両Ｖに設置された場合を例にして説明したが、本発明の本実施形態に係る画像処理方法を、管理装置２１０〜２６０を制御可能なクライアント（コンピュータ・制御装置）と情報の授受が可能なサーバ（コンピュータ・制御装置）において実行することもできる。サーバは、クライアントと離隔した場所に配置することができる。
【０１０９】
管理装置２１０〜２６０と情報の授受が可能なサーバは、車両側のクライアントに以下の指令を送出して、画像処理方法を実行することができる。指令の内容は、車両Ｖに設置された一つの広角カメラ２０を用いて、車両Ｖの車外領域及び車両Ｖの車室内領域（前方領域、側方領域、車室内領域）の映像を含む車両Ｖの内外画像Ｐを取得する処理（ステップ）と、内外画像Ｐに基づいて、車外領域に対応する車外領域画像及び車室内領域に対応する車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を設定する処理（ステップ）と、車両Ｖの内外領域又は車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を含む各領域の明るさに応じて、設定された車両Ｖの内外領域又は車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を含む各領域画像のそれぞれの明るさを調整する処理（ステップ）と、車外領域画像及び車室内領域画像（又は第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３と、各領域画像Ｐ１〜Ｐ３）が利用される車両Ｖの管理機能を実行する管理装置２１０〜２６０と、を予め対応づけた対応関係Ｓを参照し、設定された車外領域画像及び車室内領域画像（第１領域画像Ｐ１、第２領域画像Ｐ２、及び第３領域画像Ｐ３）を、管理機能を実行させる各管理装置２１０〜２６０にそれぞれ出力する処理（ステップ）と、を含む。処理の具体的な内容は、本実施形態の車両側の画像処理装置１００、車両管理システム１０００と共通するのでこれらの説明を援用する。
【０１１０】
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。
【０１１１】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖの車外領域及び車両Ｖの車室内領域（又は車両Ｖの前方領域、車両Ｖの側方領域及び車両Ｖの車室内領域）を単一の広角カメラ２０で撮像し、撮像された車両Ｖの内外画像に設定された各領域画像を切り出して、これら各領域画像の明るさを内外領域又は各領域の明るさに基づいて調整するので、撮像エリアによって明るさが異なる場合でも、画像が部分的に不明瞭となることを防止し、車両Ｖの管理に関する複数の機能を並行して正確に実現することができる。しかも、撮像手段としては、広角カメラ２０を一つ設置すればよいので、車両Ｖの管理に要するコストを低減させることができる。
【０１１２】
また、管理機能を実行する際に、各管理装置２１０〜２６０は、設定された各領域画像Ｐ１〜Ｐ３についてのみ所定の画像処理を行えばよいので、処理負荷を低減することができる。
【０１１３】
本発明に係る実施形態の画像処理方法によっても、同様の作用を奏し、同様の効果を得ることができる。
【０１１４】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させるので、駐車中に撮像する際には各領域画像Ｐｎの光量が不十分となる傾向があるが、このような場合であっても適切な明るさの領域画像Ｐｎを得ることができる。この結果、車両Ｖの管理機能を正確に実行することができる。
【０１１５】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車両Ｖが走行中であるか駐車中であるかに応じて、各領域画像Ｐｎの明るさを向上させる調整量を変化させるので、走行中に撮像する際には角領域画像Ｐｎの光量が過剰となる傾向があるが、このような場合であっても適切な明るさの領域画像Ｐｎを得ることができる。この結果、車両Ｖの管理機能を正確に実行することができる。
【０１１６】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、各領域の明るさを検出する一又は複数の照度センサ３０を有するので、カメラ２０の撮像素子を用いることなく、各領域の明るさを正確に検出することができるため、高い精度で各領域画像の明るさを制御することができる。さらに、カメラ２０の撮像素子により検出される明るさと、照度センサ３０により検出される明るさとの両方を用いることにより、より正確な各領域の明るさを検出することができる。
【０１１７】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００によれば、車外領域画像と車室内領域画像（又は第１領域画像〜第３領域が画像）を予め定義された装置に出力するので、管理機能の実現において必要とされる各領域を撮像した各領域画像を、その管理機能を実現する装置２１０〜２６０に適切に出力することができる。この結果、広角カメラ２０によって撮像された一つの内外画像Ｐによって複数の管理機能を実現することができる。しかも、管理機能を実行するために必要とされる各領域画像のみが各管理装置２１０〜２６０に出力されるので、管理機能を実行する各管理装置２１０〜２６０の画像処理の負荷を低減することができる。
【０１１８】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖから当該車両Ｖが駐車中である旨の情報を取得した場合には、車外領域画像と車室内領域画像（又は第１領域画像〜第３領域が画像）を予め定義された装置に出力するので、各領域画像Ｐ１〜Ｐ３を、車両Ｖの状態に応じて各管理機能を実現する装置２１０〜２６０に適切に出力することができる。
【０１１９】
つまり、車両Ｖが走行中である又は車両Ｖが駐車中であるといった車両Ｖの状態に応じて、各車両Ｖの状態における管理機能の実現において必要とされる各領域を撮像した各領域画像Ｐ１〜Ｐ３を適切な明るさに調整して、その管理機能を実現する装置２１０〜２６０に適切に出力することができる。この結果、広角カメラ２０によって撮像された一つの内外画像Ｐによって、車両Ｖの状態に応じた複数の管理機能を実現することができる。
【０１２０】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、所定の周期で各領域画像Ｐ１〜Ｐ３の境界を抽出し、各領域画像Ｐ１〜Ｐ３を設定するので、カメラ２０の位置が変わるなどの原因により内外領域Ｅの外延が変化し、内外画像Ｐの対象範囲が変化した場合であっても、各領域画像Ｐｎの正確な境界を求めることにより、正確な境界に基づいて各領域画像Ｐｎを正確に設定することができる。たとえば、カメラ２０がバックミラーなどのように位置が可変の部材に取り付けられている場合には、撮像される内外領域の外延が変化するが、本実施形態では所定の周期で各領域画像Ｐｎの境界を抽出するので、変化後の内外画像Ｐにより各領域画像Ｐｎの正確な境界を求め、この正確な境界に基づいて各領域画像Ｐｎを正確に設定することができる。
【０１２１】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖが所定距離を走行するまでの間の異なるタイミングで撮像された内外画像Ｐに基づいて各領域画像Ｐ１〜Ｐ３の境界を抽出するので、走行場所の環境による影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。走行地点の環境によっては、日光や街灯光がダッシュボードに一時的に映り込んで、エッジＱの検出が正確に行われない場合があるが、本実施形態によれば、所定距離を走行するまでの間に撮像された複数の内外画像Ｐを用いて各領域画像Ｐｎの境界を抽出するので、走行地点の環境による一時的な映り込みなどの影響を排除して、各領域画像Ｐｎの境界を正確に抽出することができる。この結果、各領域画像Ｐｎを正確に設定することができる。
【０１２２】
本発明に係る実施形態の画像処理装置１００、又はこれを備える車両管理システム１０００は、車両Ｖの内外画像Ｐに車両Ｖに取り付けられたバックミラーなどの物体の画像が含まれる場合には、物体の画像に対応する領域の外縁を予め設定し、設定された外縁を用いて領域画像Ｐ１〜Ｐ３の境界を抽出するので、カメラ２０に撮像される内外領域に設けられた物体の影響を受けることなく、領域画像Ｐ１〜Ｐ４を正確に設定することができる。
【０１２３】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１２４】
すなわち、本明細書では、本発明に係る画像処理装置の一態様として画像処理装置１００及びこの画像処理装置１００を備える車両管理システム１０００を例にして説明するが、本発明はこれに限定されるものではない。
【０１２５】
本明細書では、本発明に係る画像処理装置の一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０を備える画像処理装置１００を一例として説明するが、これに限定されるものではない。
【０１２６】
また、本明細書では、本願発明に係る広角カメラと、領域設定手段と、画像調整手段と、出力制御手段とを有する画像処理装置の一態様として、カメラ２０と、領域設定機能、画像調整機能及び出力制御機能とを実行させる制御装置１０と、照度センサ３０とを備えた画像処理装置１００を例にして説明するが、本発明はこれに限定されるものではない。
【０１２７】
本明細書では、本発明に係る管理機能を実行する各装置の一例として、レーン認識装置２１０、障害物検知装置２２０、ドライブレコーダ装置２３０、スナップショット装置２４０、ドライバーモニター装置２５０、セキュリティ装置２６０を少なくとも含む管理装置２１０〜２６０を例示するが、本発明はこれに限定されるものではない。
【符号の説明】
【０１２８】
１０００…車両管理システム
１００…画像処理装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…広角カメラ
２００…車載装置
２１０〜２６０…管理装置
２２０…レーン認識装置
２３０…障害物検知装置
２４０…スナップショット装置
２５０…ドライバーモニター装置
２６０…セキュリティ装置
２７０…出力装置
２７１…ディスプレイ
２７２…スピーカ
２７３…通信装置
３００…車両コントローラ
４００…イグニッションスイッチ
５００…ポジショニングスイッチ
６００…駆動系
８００…携帯端末
Ｖ…車両
Ｅ…撮像領域
Ｍ…乗員
Ｐ…内外画像
Ｐ１，Ｐｎ…第１領域画像（車両の前方領域に対応する画像）
Ｐ２，Ｐｎ…第２領域画像（車両の側方領域に対応する画像）
Ｐ３，Ｐｎ…第３領域画像（車両の車室内領域に対応する画像）
Ｑ…エッジ（境界）
Ｑ１…第１エッジ，Ｑ２…第２エッジ，Ｑ３…第３エッジ，Ｑ４…第４エッジ，Ｑ５…第５エッジ
Ｒ１…第１辺，Ｒ２…第２辺，Ｒ３…第３辺，Ｒ４…第４辺
Ｂ１…第１外縁，Ｂ２…第２外縁，Ｂ３…第３外縁，Ｂ４…第４外縁
Ｓ…対応関係
【特許請求の範囲】
【請求項１】
車両に設置され、前記車両の車外領域及び前記車両の車室内領域を含む前記車両の内外領域を撮像可能な一つの広角カメラと、
前記広角カメラにより撮像された前記車両の内外画像から、前記車外領域に対応する車外領域画像、前記車室内領域に対応する車室内領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記車外領域画像、前記車室内領域画像を含む各領域画像をそれぞれ設定する領域設定手段と、
前記内外領域、又は前記車外領域及び前記車室内領域を含む各領域の明るさの情報をそれぞれ取得する明るさ取得手段と、
前記明るさ取得手段により取得された前記明るさの情報に基づいて、前記領域設定手段により前記設定された前記車外領域画像、前記車室内領域画像を含む各領域画像のそれぞれの明るさを調整する画像調整手段と、
前記車外領域画像及び前記車室内領域画像を含む各領域画像と、これらの各領域画像が利用される前記車両の管理機能とを予め対応づけた対応関係を参照し、前記画像調整手段により明るさが調整された前記各領域画像を、これらの各領域画像に基づいて前記管理機能を実行する各装置にそれぞれ出力する出力制御手段と、を備える画像処理装置。
【請求項２】
前記画像調整手段は、前記車両から当該車両が走行中であるか又は駐車中であるかの情報を取得し、前記車両が駐車中である旨の情報を取得した場合は、前記撮像される各領域画像の明るさを向上させる調整量を増加させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像調整手段は、前記車両から当該車両が走行中であるか又は駐車中であるかの情報を取得し、前記車両が走行中である旨の情報を取得した後に撮像される各領域画像の明るさを向上させる調整量を低減させることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記車両に設置され、前記車両の車外領域及び前記車両の車室内領域を含む各領域の明るさを検出する一又は複数の照度センサを有し、
前記明るさ取得手段は、前記照度センサにより検出された前記各領域の明るさの情報を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記出力制御手段は、前記対応関係を参照し、
前記領域設定手段により設定された前記車外領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記領域設定手段により設定された前記車室内領域画像を、ドライブレコーダ機能を実行する装置、ドライバーモニター機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記対応関係は、前記車両が駐車中である場合と前記車両が走行中である場合とに分けて定義され、
前記出力制御手段は、前記車両から当該車両が駐車中である旨の情報を取得した場合には、前記対応関係を参照し、前記領域設定手段により設定された前記車外領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記領域設定手段により設定された前記車室内領域画像を、セキュリティ機能を実行する装置に出力し、
前記出力制御手段は、前記車両から当該車両が走行中である旨の情報を取得した場合には、前記対応関係を参照し、前記領域設定手段により設定された前記車外領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記領域設定手段により設定された前記車室内領域画像を、ドライブレコーダ機能を実行する装置及びドライバーモニター機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項７】
前記車外領域は、前記車両の前方領域、前記車両の側方領域を含み、
前記領域設定手段は、前記広角カメラにより撮像された前記車両の内外画像から、前記前方領域に対応する第１領域画像、前記側方領域に対応する第２領域画像及び前記車室内領域に対応する第３領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記第１領域画像、前記第２領域画像及び前記第３領域画像を含む各領域画像をそれぞれ設定し、
前記出力制御手段は、前記対応関係を参照し、
前記画像調整手段により明るさが調整された前記第１領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記画像調整手段により明るさが調整された前記第３領域画像を、ドライブレコーダ機能を実行する装置、ドライバーモニター機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載に記載の画像処理装置。
【請求項８】
前記車外領域は、前記車両の前方領域、前記車両の側方領域を含み、
前記領域設定手段は、前記広角カメラにより撮像された前記車両の内外画像から、前記前方領域に対応する第１領域画像、前記側方領域に対応する第２領域画像及び前記車室内領域に対応する第３領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記第１領域画像、前記第２領域画像及び前記第３領域画像を含む各領域画像をそれぞれ設定し、
前記対応関係は、前記車両が駐車中である場合と前記車両が走行中である場合とに分けて定義され、
前記出力制御手段は、前記車両から当該車両が駐車中である旨の情報を取得した場合には、前記対応関係を参照し、前記画像調整手段により明るさが調整された前記第１領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第３領域画像を、セキュリティ機能を実行する装置に出力し、
前記出力制御手段は、前記車両から当該車両が走行中である旨の情報を取得した場合には、前記対応関係を参照し、前記画像調整手段により明るさが調整された前記第１領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第３領域画像を、ドライブレコーダ機能を実行する装置及びドライバーモニター機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載に記載の画像処理装置。
【請求項９】
前記領域設定手段は、所定の周期で撮像された前記車両の内外画像から前記各領域画像の境界を抽出し、当該境界に基づいて前記各内外画像に含まれる前記各領域画像をそれぞれ設定することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記領域設定手段は、前記車両が所定距離を走行するまでの間の異なるタイミングで撮像された前記内外画像から前記各領域画像の境界を抽出し、当該境界に基づいて前記各内外画像に含まれる前記各領域画像をそれぞれ設定することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記領域設定手段は、前記車両の内外画像に車両に取り付けられた物体の画像が含まれる場合には、前記物体の画像に対応する領域の外縁を予め設定し、前記設定された外縁を用いて前記領域画像の境界を抽出することを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
【請求項１２】
車両に設置された一つの広角カメラを用いて、前記車両の車外領域及び前記車両の車室内領域を含む内外領域を撮像した車両の内外画像を取得し、
前記内外画像に基づいて、前記車外領域に対応する車外領域画像及び前記車室内領域に対応する車室内領域画像を含む各領域画像を設定し、
前記車両の内外領域、又は前記車両の車外領域及び前記車両の車室内領域を含む各領域の明るさに応じて、前記領域設定手段により前記設定された前記車外領域画像及び前記車室内領域画像を含む各領域画像のそれぞれの明るさを調整し、
前記車外領域画像及び前記車室内領域画像を含む各領域画像と、これらの各領域画像が利用される前記車両の管理機能とを予め対応づけた対応関係を参照し、前記明るさが調整された前記各領域画像を、これらの各領域画像に基づいて前記管理機能を実行する各装置にそれぞれ出力する画像処理方法。
【請求項１】
車両に設置され、前記車両の車外領域及び前記車両の車室内領域を含む前記車両の内外領域を撮像可能な一つの広角カメラと、
前記広角カメラにより撮像された前記車両の内外画像から、前記車外領域に対応する車外領域画像、前記車室内領域に対応する車室内領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記車外領域画像、前記車室内領域画像を含む各領域画像をそれぞれ設定する領域設定手段と、
前記内外領域、又は前記車外領域及び前記車室内領域を含む各領域の明るさの情報をそれぞれ取得する明るさ取得手段と、
前記明るさ取得手段により取得された前記明るさの情報に基づいて、前記領域設定手段により前記設定された前記車外領域画像、前記車室内領域画像を含む各領域画像のそれぞれの明るさを調整する画像調整手段と、
前記車外領域画像及び前記車室内領域画像を含む各領域画像と、これらの各領域画像が利用される前記車両の管理機能とを予め対応づけた対応関係を参照し、前記画像調整手段により明るさが調整された前記各領域画像を、これらの各領域画像に基づいて前記管理機能を実行する各装置にそれぞれ出力する出力制御手段と、を備える画像処理装置。
【請求項２】
前記画像調整手段は、前記車両から当該車両が走行中であるか又は駐車中であるかの情報を取得し、前記車両が駐車中である旨の情報を取得した場合は、前記撮像される各領域画像の明るさを向上させる調整量を増加させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像調整手段は、前記車両から当該車両が走行中であるか又は駐車中であるかの情報を取得し、前記車両が走行中である旨の情報を取得した後に撮像される各領域画像の明るさを向上させる調整量を低減させることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記車両に設置され、前記車両の車外領域及び前記車両の車室内領域を含む各領域の明るさを検出する一又は複数の照度センサを有し、
前記明るさ取得手段は、前記照度センサにより検出された前記各領域の明るさの情報を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記出力制御手段は、前記対応関係を参照し、
前記領域設定手段により設定された前記車外領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記領域設定手段により設定された前記車室内領域画像を、ドライブレコーダ機能を実行する装置、ドライバーモニター機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記対応関係は、前記車両が駐車中である場合と前記車両が走行中である場合とに分けて定義され、
前記出力制御手段は、前記車両から当該車両が駐車中である旨の情報を取得した場合には、前記対応関係を参照し、前記領域設定手段により設定された前記車外領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記領域設定手段により設定された前記車室内領域画像を、セキュリティ機能を実行する装置に出力し、
前記出力制御手段は、前記車両から当該車両が走行中である旨の情報を取得した場合には、前記対応関係を参照し、前記領域設定手段により設定された前記車外領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記領域設定手段により設定された前記車室内領域画像を、ドライブレコーダ機能を実行する装置及びドライバーモニター機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項７】
前記車外領域は、前記車両の前方領域、前記車両の側方領域を含み、
前記領域設定手段は、前記広角カメラにより撮像された前記車両の内外画像から、前記前方領域に対応する第１領域画像、前記側方領域に対応する第２領域画像及び前記車室内領域に対応する第３領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記第１領域画像、前記第２領域画像及び前記第３領域画像を含む各領域画像をそれぞれ設定し、
前記出力制御手段は、前記対応関係を参照し、
前記画像調整手段により明るさが調整された前記第１領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置、スナップショット機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、
前記画像調整手段により明るさが調整された前記第３領域画像を、ドライブレコーダ機能を実行する装置、ドライバーモニター機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載に記載の画像処理装置。
【請求項８】
前記車外領域は、前記車両の前方領域、前記車両の側方領域を含み、
前記領域設定手段は、前記広角カメラにより撮像された前記車両の内外画像から、前記前方領域に対応する第１領域画像、前記側方領域に対応する第２領域画像及び前記車室内領域に対応する第３領域画像を含む各領域画像の境界を抽出し、当該抽出された境界に基づいて前記車両の内外画像に含まれる前記第１領域画像、前記第２領域画像及び前記第３領域画像を含む各領域画像をそれぞれ設定し、
前記対応関係は、前記車両が駐車中である場合と前記車両が走行中である場合とに分けて定義され、
前記出力制御手段は、前記車両から当該車両が駐車中である旨の情報を取得した場合には、前記対応関係を参照し、前記画像調整手段により明るさが調整された前記第１領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置及びセキュリティ機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第３領域画像を、セキュリティ機能を実行する装置に出力し、
前記出力制御手段は、前記車両から当該車両が走行中である旨の情報を取得した場合には、前記対応関係を参照し、前記画像調整手段により明るさが調整された前記第１領域画像を、レーン認識機能を実行する装置、障害物検知機能を実行する装置、ドライブレコーダ機能を実行する装置、及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第２領域画像を、ドライブレコーダ機能を実行する装置及びスナップショット機能を実行する装置のうちのいずれか一つ以上の装置に出力し、前記画像調整手段により明るさが調整された前記第３領域画像を、ドライブレコーダ機能を実行する装置及びドライバーモニター機能を実行する装置のうちのいずれか一つ以上の装置に出力することを特徴とする請求項１〜４の何れか一項に記載に記載の画像処理装置。
【請求項９】
前記領域設定手段は、所定の周期で撮像された前記車両の内外画像から前記各領域画像の境界を抽出し、当該境界に基づいて前記各内外画像に含まれる前記各領域画像をそれぞれ設定することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記領域設定手段は、前記車両が所定距離を走行するまでの間の異なるタイミングで撮像された前記内外画像から前記各領域画像の境界を抽出し、当該境界に基づいて前記各内外画像に含まれる前記各領域画像をそれぞれ設定することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記領域設定手段は、前記車両の内外画像に車両に取り付けられた物体の画像が含まれる場合には、前記物体の画像に対応する領域の外縁を予め設定し、前記設定された外縁を用いて前記領域画像の境界を抽出することを特徴とする請求項１〜１０の何れか一項に記載の画像処理装置。
【請求項１２】
車両に設置された一つの広角カメラを用いて、前記車両の車外領域及び前記車両の車室内領域を含む内外領域を撮像した車両の内外画像を取得し、
前記内外画像に基づいて、前記車外領域に対応する車外領域画像及び前記車室内領域に対応する車室内領域画像を含む各領域画像を設定し、
前記車両の内外領域、又は前記車両の車外領域及び前記車両の車室内領域を含む各領域の明るさに応じて、前記領域設定手段により前記設定された前記車外領域画像及び前記車室内領域画像を含む各領域画像のそれぞれの明るさを調整し、
前記車外領域画像及び前記車室内領域画像を含む各領域画像と、これらの各領域画像が利用される前記車両の管理機能とを予め対応づけた対応関係を参照し、前記明るさが調整された前記各領域画像を、これらの各領域画像に基づいて前記管理機能を実行する各装置にそれぞれ出力する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２２８９３１（Ｐ２０１２−２２８９３１Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９７９６７（Ｐ２０１１−９７９６７）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]