車両周辺監視装置
【課題】不適切な周辺画像に対するユーザの不要なる注視を抑制可能な、車両周辺監視装置を提供する。
【解決手段】車載カメラ１により撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置（ＥＣＵ５）は、撮影画像を処理して画像の撮影状態を判定する撮影状態判定部５３と、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域Ａを注視しないことをユーザに促すユーザ案内部（画像制御部５４、音声制御部５５）とを備える。これにより、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域Ａを注視しないことを促される。
【解決手段】車載カメラ１により撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置（ＥＣＵ５）は、撮影画像を処理して画像の撮影状態を判定する撮影状態判定部５３と、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域Ａを注視しないことをユーザに促すユーザ案内部（画像制御部５４、音声制御部５５）とを備える。これにより、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域Ａを注視しないことを促される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置に関する。
【背景技術】
【０００２】
車両周辺監視システムでは、露出オーバー、露出アンダー、輪郭ボケなど画像の撮影状態に応じて、車両周辺の安全確認に適さない周辺画像が表示される場合がある。例えば特開２０１１−２９９７４号公報には、撮影画像に白飛びが生じた場合に、複数の画像フレームを用いて修正された周辺画像を表示するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２９９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このようなシステムでは、周辺画像の修正が不十分であっても、その周辺画像を表示するので、ユーザ（運転者）が車両周辺の安全確認に適さない周辺画像を注視してしまい、車両周辺の安全を適切に確認できなくなるおそれがある。
【０００５】
そこで、本発明は、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制可能な車両周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る車両周辺監視装置は、車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置であって、撮影画像を処理して画像の撮影状態を判定する撮影状態判定部と、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域を注視しないことをユーザに促すユーザ案内部とを備えて構成されている。
【０００７】
この発明によれば、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域を注視しないことを促される。よって、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。ここで、例えば、撮影画像に発生した白飛びの強度、露出アンダーの強度、および輪郭ボケの強度のうち少なくとも１つが所定閾値を超える場合に、撮影状態が周辺画像の生成に適さないと判定してもよい。なお、撮影状態が周辺画像の生成に適さない撮影画像とは、撮影画像に生じた露出オーバー、露出アンダー、輪郭ボケなどの撮影状態に起因して、その撮影画像に基づき車両周辺の安全確認に適した周辺画像を生成しえない撮影画像をいう。また、白飛び（露出オーバー）とは、撮影画像において、一定以上の明るさの被写体が真っ白に塗り潰されてしまう現象をいう。
【０００８】
ユーザ案内部は、表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促してもよい。これにより、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に一寸視線を移動させ、周辺画像の表示領域の注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。ここで、周辺画像の表示領域の注視を妨げる画像は、表示領域を黒くする画像でもよく、表示領域を注視しないことを促す画像情報を含でもよい。
【０００９】
ユーザ案内部は、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促してもよい。これにより、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００１０】
車両周辺監視装置は、複数の車載カメラにより撮影された複数の撮影画像を合成して周辺画像を生成する画像生成部をさらに備え、撮影状態判定部は、複数の撮影画像を処理して複数の画像の撮影状態を判定し、ユーザ案内部は、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域を注視しないことを促してもよい。これにより、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、表示領域を注視しないことを促される。よって、不適切な周辺画像に対するユーザの不要なる注視を抑制することができる。
【発明の効果】
【００１１】
本発明によれば、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制可能な車両周辺監視装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】車両周辺監視システムを含む車両の概略を示す平面図である。
【図２】本発明の実施形態に係る車両周辺監視システムの構成を示すブロック図である。
【図３】第１の実施形態に係る車両周辺監視システムの処理を示すフロー図である。
【図４】第１の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【図５】第２の実施形態に係る車両周辺監視システムの処理を示すフロー図である。
【図６】第２の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
まず、図１を参照して、本発明の実施形態に係る車両周辺監視システムを含む車両１０の概略について説明する。図１は、車両周辺監視システムを含む車両１０の概略を示す平面図である。図１に示すように、車両１０には、車載カメラ１（各種カメラ１１、１２、１３ａ、１３ｂの総称；図２参照）、車載照明２（各種ライト２１、２２、２３ａ、２３ｂの総称；図２参照）、車載モニタ３、車載スピーカ４、およびＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５が設けられる。
【００１５】
車載カメラ１は、ＣＣＤカメラ、魚眼カメラ、または広角カメラなどからなる、フロントカメラ１１、リアカメラ１２、サイドカメラ１３（左サイドカメラ１３ａ、右サイドカメラ１３ｂ）を含む。フロントカメラ１１は、車両１０の前面（フロントグリルなど）に設けられており、車両前方の状況を撮影する。リアカメラ１２は、車両１０の後面（リア部など）に設けられており、車両後方の状況を撮影する。サイドカメラ１３は、車両１０の側面（サイドミラーなど）に設けられており、車両側方の状況を撮影する。
【００１６】
車載照明２は、フロントライト２１、リアライト２２、サイドライト２３（左サイドライト２３ａ、右サイドライト２３ｂ）を含む。フロントライト２１は、車両１０の前面（フロントグリルなど）に設けられており、車両１０の走行時・停止時などに車両前方を照らす。リアライト２２は、車両１０の後面（リア部など）に設けられており、車両周辺監視に際して車両後方の照度が不足しているときに車両後方を照らす。サイドライト２３は、車両１０の側面（サイドミラーなど）に設けられており、車両周辺監視に際して車両側方の照度が不足しているときに車両側方を照らす。車載照明２の点灯・消灯は、ユーザ（運転者）操作に応じて行われてもよく、光センサ（不図示）などを用いて制御されてもよい。
【００１７】
車載モニタ３は、運転席付近のコンソールパネルなどに設けられたＬＣＤパネルなどであり、車両周辺監視用の画面、ナビゲーション用の画面などを表示する。車載スピーカ４は、運転席付近など、車両１０の室内に設けられたスピーカであり、車両周辺監視用の音声情報、ナビゲーション用の音声情報などを出力する。ＥＣＵ５は、ハードウェアおよびソフトウェアのうち少なくとも一つにより実装され、車両周辺監視機能、ナビゲーション機能を含む車両全体を制御する。
【００１８】
つぎに、図２を参照して、本発明の実施形態に係る車両周辺監視システムの構成について説明する。車両周辺監視システムは、車載カメラ１により撮影された車両周辺の撮影画像から周辺画像を生成して表示するシステムである。車両周辺監視システムは、上位システム（不図示）により制御される。図２は、本発明の実施形態に係る車両周辺監視システムの構成を示すブロック図である。図２に示すように、車両周辺監視システムは、車載カメラ１、車載モニタ３、車載スピーカ４、およびＥＣＵ５を含む。なお、車載カメラ１、車載モニタ３、および車載スピーカ４については、図１の説明と重複するので省略する。
【００１９】
ＥＣＵ５は、画像記憶部５１、画像生成部５２、撮影状態判定部５３、画像制御部５４、音声制御部５５、および照明制御部５６を含む。画像制御部５４および音声制御部５５は、撮影状態が周辺画像の生成に適さないと判定された場合に、車載モニタ３における周辺画像の表示領域Ａ（図４、図６参照）を注視しないことをユーザに促すユーザ案内部として機能する。
【００２０】
画像記憶部５１は、車載カメラ１により撮影された車両周辺の撮影画像を記憶する。撮影画像は、車両１０の前方、後方、または側方の画像など画像の種別、および画像の撮影時点を示す情報と共に画像データとして記憶される。
【００２１】
画像生成部５２は、車載モニタ３の表示領域Ａに表示する表示画像を車両周辺の撮影画像から生成する。画像生成部５２は、車両１０の走行状況またはユーザ操作に応じて、画像生成に用いる撮影画像などを画像記憶部５１から読み出し、周辺画像などを生成する。例えば、降車時には、車両側方の安全確認を促すために、サイド画像が生成され、駐車時には、車両周囲の安全確認を促すために、全周囲画像が生成される。ここで、全周囲画像は、車両１０の前方、後方、および側方の画像を合成して生成され、フロント画像、リア画像、およびサイド画像は、それぞれ車両１０の前方、後方、および側方の画像から生成される。また、画像生成部５２は、詳細を後述するように、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を生成する。
【００２２】
撮影状態判定部５３は、撮影画像を処理して画像の撮影状態を判定する。撮影状態判定部５３は、車両１０の走行状況またはユーザ操作に応じて、撮影状態の判定に用いる撮影画像を画像記憶部５１から読み出し、色成分処理、輝度成分処理などの画像処理を施す。ここでは、一例として、撮影画像に生じた白飛びの強度に基づき撮影状態を判定する場合について説明するが、露出アンダー、輪郭ボケなどの強度に基づき判定してもよい。
【００２３】
白飛びの強度は、撮影画像の全画素に占める白色（Ｒ成分、Ｇ成分、Ｂ成分の各値が２５５）に近い画素の割合から求められる。同様に、撮影画像の全画素に占める高輝度成分（成分値が２５５に近いＹ成分）の画素の割合、または輝度成分を反転させた上で、撮影画像の全画素に占める低輝度成分（成分値の反転値が０に近いＹ成分）の画素の割合から求められる。なお、白飛びの強度は、白色に近い領域などの画素数の割合のみから求められてもよく、画素数を白色の程度に応じて重み付けして求められてもよい。
【００２４】
そして、撮影状態判定部５３は、白飛びの強度を所定閾値と比較し、所定閾値を超えた場合に、撮影状態が周辺画像の生成に適さないと判定する。あるいは、車両１０の前方、後方、および側方の画像について、色成分または輝度成分を比較し、画像間における成分特性の相違が所定閾値を超えるかに基づき撮影状態が判定されてもよい。
【００２５】
画像制御部５４は、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を用いて、表示領域Ａを注視しないことを促す。画像制御部５４は、撮影状態の判定結果を取得し、周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を表示するように画像生成部５２を制御する。
【００２６】
画像制御部５４は、例えば、車載モニタ３の表示領域Ａを黒くする画像を生成し、画像信号として車載モニタ３に供給するように画像生成部５２を制御する。これに代えてまたはこれに加えて、画像制御部５４は、例えば、表示領域Ａを注視しないことを促す所定の画像情報を含む画像（安全確認に適さない周辺画像を伴ってもよい。）を生成し、画像信号として車載モニタ３に供給するように画像生成部５２を制御する。所定の画像情報は、安全確認に適した周辺画像を生成中であることを示すメッセージなどであり、記憶部（不図示）などから読み出され、画像信号として車載モニタ３に供給される。
【００２７】
音声制御部５５は、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる音声情報を用いて、表示領域Ａを注視しないことを促す。音声制御部５５は、撮影状態の判定結果を取得し、周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。所定の音声情報は、適切な周辺画像を生成中であることを示すメッセージおよび効果音のうち少なくとも一方などであり、記憶部（不図示）などから読み出され、音声信号として車載スピーカ４に供給される。
【００２８】
照明制御部５６は、車両周辺の照明状況またはユーザ操作に応じて、図１に示した車載照明２、つまりフロントライト２１、リアライト２２、左・右サイドライト２３ａ、２３ｂそれぞれの点灯・消灯を制御する。例えば、車両周辺の照度が不足している状況において、降車時には、車両側方、特に降車位置周辺の状況を示すサイド画像を撮影するために、左・右サイドライト２３ａ、２３ｂが点灯され、駐車時には、撮影画像から車両周囲の状況を示す全周囲画像を撮影するために、フロントライト２１、リアライト２２、左・右サイドライト２３ａ、２３ｂが点灯される。
【００２９】
つぎに、図３および図４を参照して、第１の実施形態に係る車両周辺監視システムの処理について説明する。図３は、第１の実施形態に係る車両周辺監視システムの処理を示すフロー図である。図４は、第１の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【００３０】
以下では、車両周辺の照度が不足している状況で搭乗者が降車するに際してサイド画像を表示する場合について説明する。ここで、サイドカメラ１３がサイドライト２３に近接していると、カメラ１３に取り込まれる光源の光が強くなり、ゲイン調整などの処理を通じて適切な撮影状態が得られるまでに時間を要する。なお、以下では、サイドカメラ１３の画像の撮影状態がサイドライト２３により不適切となる場合について説明するが、自車両１０の他の光源、または自車両１０以外の他の光源（人工光源または自然光源）により車載カメラ１の画像の撮影状態が不適切となる場合についても、同様に説明される。
【００３１】
図３に示す処理は、車両１０の停車時にドアロックが解除操作されるなど、車両側方の安全確認を要する状況の発生が上位システムにより判定されると開始し、ドアが大きく開放されるなど、車両側方の安全確認を要する状況の解消が上位システムにより判定されると終了する。
【００３２】
処理の開始に際して（ステップＳ１１で「Ｙｅｓ」の場合）、照明制御部５６は、左・右サイドライト２３ａ、２３ｂを点灯させる（ステップＳ１２）。車載カメラ１は、少なくとも車両１０の左右側方の画像の撮影を開始し（ステップＳ１３）、画像記憶部５１に供給する。
【００３３】
撮影状態判定部５３は、車両側方の撮影画像を読み出し、撮影画像を処理して画像の撮影状態を判定し（ステップＳ１４）、判定結果を画像制御部５４および音声制御部５５のうち少なくとも一方に通知する。例えば、白飛びの強度を判定する場合、車両側方の画像の白飛びの強度が所定閾値を超えるかが判定される。なお、撮影状態は、左右側方の撮影画像のそれぞれについて判定されてもよく、例えば左右側方の撮影画像の平均的な特性として判定されてもよい。ここで、判定結果は、画像制御部５４および音声制御部５５の少なくとも一方に通知される。
【００３４】
撮影状態が周辺画像の生成に適することを示す判定結果を通知された場合（ステップＳ１５で「Ｙｅｓ」の場合）に、画像制御部５４は、車両側方の撮影画像からサイド画像を生成し（ステップＳ１６）、画像信号として車載モニタ３に供給する。車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された撮影画像から生成されたサイド画像が表示される（ステップＳ１７）。例えば図４（ａ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの画像の撮影状態が周辺車両の生成に適すると判定される。この場合、車載モニタ３の表示領域Ａには、周辺車両の生成に適すると判定された車両の左右側方の画像Ｐ３ａ、Ｐ３ｂから生成された左・右サイド画像Ｐ３ａ´、Ｐ３ｂ´が表示される。サイド画像が表示された後に、処理の終了が判定されない場合（ステップＳ１８で「Ｎｏ」の場合）、処理は、撮影状態の判定処理（ステップＳ１４）に復帰する。
【００３５】
一方、撮影状態が周辺画像の生成に適さないことを示す判定結果を通知された場合（ステップＳ１５で「Ｎｏ」の場合）に、画像制御部５４および音声制御部５５のうち少なくとも一方は、表示領域Ａを注視しないことをユーザに促す（ステップＳ２１）。
【００３６】
つまり、画像制御部５４は、例えば、表示領域Ａの全体を黒くする画像、および表示領域Ａを注視しないことを促す所定の画像情報を含む画像のうち少なくとも一方を生成するように、画像生成部５２を制御する。よって、ユーザは、表示領域Ａに一寸視線を移動させ、表示領域Ａの注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。音声制御部５５は、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。例えば図４（ｂ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの撮影状態が周辺画像の生成に適さないと判定される。この場合、車載モニタ３の表示領域Ａに、表示領域Ａの全体を黒くする画像Ｐ４が表示され、車載スピーカ４からは、表示領域Ａの注視を妨げる音声情報が出力される。よって、ユーザは、表示領域Ａに視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００３７】
表示領域Ａを注視しないことが促される（ステップＳ２１）と、処理は、撮影状態の判定処理（ステップＳ１４）に復帰する。つまり、ユーザは、周辺画像の生成に適した撮影状態が達成されるまで、表示領域Ａを注視しないことを促され続ける。これにより、安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。
【００３８】
処理の終了に際して（ステップＳ１８で「Ｙｅｓ」の場合）、車載カメラ１は、車両１０の左右側方の画像の撮影を終了し（ステップＳ１９）、照明制御部５６は、左・右サイドライト２３ａ、２３ｂを消灯させる（ステップＳ２０）。
【００３９】
つぎに、図５および図６を参照して、第２の実施形態に係る車両周辺監視システムの処理について説明する。なお、第２の実施形態に係る車両周辺監視システムは、図１および図２を参照して説明した第１の実施形態に係る車両周辺監視システムと同様に構成されている。図５は、第２の実施形態に係る車両周辺監視システムの処理を示すフロー図である。図６は、第２の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【００４０】
以下では、車両周辺の照度が不足している状況で駐車するに際して、全周囲画像を表示する場合について説明する。ここで、全周囲画像を構成する一部の画像の撮影状態が周辺画像の生成に適さないと、車両周辺の安全確認に適した全周囲画像を表示することができなくなる。
【００４１】
図５に示す処理は、車両１０が低速で後退するなど、車両周囲の安全確認を要する状況の発生が上位システムにより判定されると開始し、駐車ブレーキの操作により車両１０が完全に停止されるなど、車両周囲の安全確認を要する状況の解消が上位システムにより判定されると終了する。
【００４２】
処理の開始に際して（ステップＳ３１で「Ｙｅｓ」の場合）、照明制御部５６は、フロントライト２１、リアライト２２、および左・右サイドライト２３ａ、２３ｂを点灯させる（ステップＳ３２）。車載カメラ１は、車両１０の前方、後方、および左右側方の画像の撮影を開始し（ステップＳ３３）、画像記憶部５１に供給する。
【００４３】
撮影状態判定部５３は、車両１０の前方、後方、および左右側方の撮影画像を読み出し、撮影画像を処理して画像の撮影状態を判定し（ステップＳ３４）、判定結果を画像制御部５４および音声制御部５５のうち少なくとも一方に通知する。例えば、白飛びの強度を判定する場合、車両前方の画像の輝度と車両後方の画像の輝度との平均値、および車両左側方の画像の輝度と車両右側方の画像の輝度との平均値が求められる。そして、車両左右側方の画像の平均輝度値が所定閾値を超えるかが判定される。ここで、判定結果は、画像制御部５４および音声制御部５５の少なくとも一方に通知される。
【００４４】
撮影状態が周辺画像の生成に適することを示す判定結果を通知された場合（ステップＳ３５で「Ｙｅｓ」の場合）に、画像制御部５４は、まず、車両前後方の画像の平均輝度値と車両左右側方の画像の平均輝度値の平均値をもって、車両１０の前方、後方、および左右側方の画像の輝度を調整する（ステップＳ３６）。そして、調整された４つの画像を合成して全周囲画像を生成し（ステップＳ３７）、画像信号として車載モニタ３に供給する。車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された撮影画像から生成された全周囲画像が表示される（ステップＳ３８）。
【００４５】
例えば図６（ａ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの画像の撮影状態が周辺画像の生成に適すると判定される。この場合、車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された車両の前方、後方、および左右側方の画像Ｐ１、Ｐ２、Ｐ３ａ、Ｐ３ｂを合成して生成された全周囲画像Ｐ５が表示される。全周囲画像が表示された後に、処理の終了が判定されない場合（ステップＳ３９で「Ｎｏ」の場合）、処理は、撮影状態の判定処理（ステップＳ３４）に復帰する。
【００４６】
一方、撮影状態が周辺画像の生成に適さないことを示す判定結果を通知された場合（ステップＳ３５で「Ｎｏ」の場合）に、画像制御部５４および音声制御部５５のうち少なくとも一方は、表示領域Ａを注視しないことをユーザに促す（ステップＳ４２）。つまり、画像制御部５４は、例えば、表示領域Ａの全体を黒くする画像、および表示領域Ａを注視しないことを促す所定の画像情報を含む画像のうち少なくとも一方を生成するように、画像生成部５２を制御する。音声制御部５５は、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。例えば図６（ｂ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの撮影状態が周辺画像の生成に適さないと判定される。この場合、車載モニタ３の表示領域Ａには、表示領域Ａの全体を黒くする画像Ｐ４が表示され、車載スピーカ４からは、表示領域Ａの注視を妨げる音声情報が出力される。
【００４７】
表示領域Ａを注視しないことが促される（ステップＳ４２）と、処理は、撮影状態の判定処理（ステップＳ３４）に復帰する。つまり、ユーザは、周辺画像の生成に適した撮影状態が達成されるまで、表示領域Ａを注視しないことを促され続ける。これにより、安全確認に適さない周辺画像（全周囲画像）に対するユーザの不要なる注視を抑制することができる。
【００４８】
処理の終了に際して（ステップＳ３９で「Ｙｅｓ」の場合）、車載カメラ１は、車両１０の前方、後方、および左右側方の画像の撮影を終了し（ステップＳ４０）、照明制御部５６は、フロントライト２１、リアライト２２、および左・右サイドライト２３ａ、２３ｂを消灯させる（ステップＳ４１）。
【００４９】
以上説明したように、本発明の実施形態に係る車両周辺監視装置によれば、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域Ａを注視しないことを促される。これにより、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。
【００５０】
また、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促される。これにより、ユーザは、表示領域に一寸視線を移動させ、周辺画像の表示領域の注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。
【００５１】
また、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００５２】
また、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、表示領域を注視しないことを促される。よって、不適切な周辺画像に対するユーザの不要なる注視を抑制することができる。
【００５３】
なお、前述した実施形態は、本発明に係る車両周辺監視装置の最良な実施形態を説明したものであり、本発明に係る車両周辺監視装置は、本実施形態に記載したものに限定されるものではない。本発明に係る車両周辺監視装置は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る車両周辺監視装置を変形し、または他のものに適用したものであってもよい。
【符号の説明】
【００５４】
１…車載カメラ、２…車載照明、３…車載モニタ、４…車載スピーカ、５…ＥＣＵ、５１…画像記憶部、５２…画像生成部、５３…撮影状態判定部、５４…画像制御部（ユーザ案内部）、５５…音声制御部（ユーザ案内部）、５６…照明制御部、Ａ…表示領域
【技術分野】
【０００１】
本発明は、車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置に関する。
【背景技術】
【０００２】
車両周辺監視システムでは、露出オーバー、露出アンダー、輪郭ボケなど画像の撮影状態に応じて、車両周辺の安全確認に適さない周辺画像が表示される場合がある。例えば特開２０１１−２９９７４号公報には、撮影画像に白飛びが生じた場合に、複数の画像フレームを用いて修正された周辺画像を表示するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２９９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このようなシステムでは、周辺画像の修正が不十分であっても、その周辺画像を表示するので、ユーザ（運転者）が車両周辺の安全確認に適さない周辺画像を注視してしまい、車両周辺の安全を適切に確認できなくなるおそれがある。
【０００５】
そこで、本発明は、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制可能な車両周辺監視装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る車両周辺監視装置は、車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置であって、撮影画像を処理して画像の撮影状態を判定する撮影状態判定部と、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域を注視しないことをユーザに促すユーザ案内部とを備えて構成されている。
【０００７】
この発明によれば、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域を注視しないことを促される。よって、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。ここで、例えば、撮影画像に発生した白飛びの強度、露出アンダーの強度、および輪郭ボケの強度のうち少なくとも１つが所定閾値を超える場合に、撮影状態が周辺画像の生成に適さないと判定してもよい。なお、撮影状態が周辺画像の生成に適さない撮影画像とは、撮影画像に生じた露出オーバー、露出アンダー、輪郭ボケなどの撮影状態に起因して、その撮影画像に基づき車両周辺の安全確認に適した周辺画像を生成しえない撮影画像をいう。また、白飛び（露出オーバー）とは、撮影画像において、一定以上の明るさの被写体が真っ白に塗り潰されてしまう現象をいう。
【０００８】
ユーザ案内部は、表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促してもよい。これにより、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に一寸視線を移動させ、周辺画像の表示領域の注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。ここで、周辺画像の表示領域の注視を妨げる画像は、表示領域を黒くする画像でもよく、表示領域を注視しないことを促す画像情報を含でもよい。
【０００９】
ユーザ案内部は、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促してもよい。これにより、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００１０】
車両周辺監視装置は、複数の車載カメラにより撮影された複数の撮影画像を合成して周辺画像を生成する画像生成部をさらに備え、撮影状態判定部は、複数の撮影画像を処理して複数の画像の撮影状態を判定し、ユーザ案内部は、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域を注視しないことを促してもよい。これにより、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、表示領域を注視しないことを促される。よって、不適切な周辺画像に対するユーザの不要なる注視を抑制することができる。
【発明の効果】
【００１１】
本発明によれば、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制可能な車両周辺監視装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】車両周辺監視システムを含む車両の概略を示す平面図である。
【図２】本発明の実施形態に係る車両周辺監視システムの構成を示すブロック図である。
【図３】第１の実施形態に係る車両周辺監視システムの処理を示すフロー図である。
【図４】第１の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【図５】第２の実施形態に係る車両周辺監視システムの処理を示すフロー図である。
【図６】第２の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１４】
まず、図１を参照して、本発明の実施形態に係る車両周辺監視システムを含む車両１０の概略について説明する。図１は、車両周辺監視システムを含む車両１０の概略を示す平面図である。図１に示すように、車両１０には、車載カメラ１（各種カメラ１１、１２、１３ａ、１３ｂの総称；図２参照）、車載照明２（各種ライト２１、２２、２３ａ、２３ｂの総称；図２参照）、車載モニタ３、車載スピーカ４、およびＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５が設けられる。
【００１５】
車載カメラ１は、ＣＣＤカメラ、魚眼カメラ、または広角カメラなどからなる、フロントカメラ１１、リアカメラ１２、サイドカメラ１３（左サイドカメラ１３ａ、右サイドカメラ１３ｂ）を含む。フロントカメラ１１は、車両１０の前面（フロントグリルなど）に設けられており、車両前方の状況を撮影する。リアカメラ１２は、車両１０の後面（リア部など）に設けられており、車両後方の状況を撮影する。サイドカメラ１３は、車両１０の側面（サイドミラーなど）に設けられており、車両側方の状況を撮影する。
【００１６】
車載照明２は、フロントライト２１、リアライト２２、サイドライト２３（左サイドライト２３ａ、右サイドライト２３ｂ）を含む。フロントライト２１は、車両１０の前面（フロントグリルなど）に設けられており、車両１０の走行時・停止時などに車両前方を照らす。リアライト２２は、車両１０の後面（リア部など）に設けられており、車両周辺監視に際して車両後方の照度が不足しているときに車両後方を照らす。サイドライト２３は、車両１０の側面（サイドミラーなど）に設けられており、車両周辺監視に際して車両側方の照度が不足しているときに車両側方を照らす。車載照明２の点灯・消灯は、ユーザ（運転者）操作に応じて行われてもよく、光センサ（不図示）などを用いて制御されてもよい。
【００１７】
車載モニタ３は、運転席付近のコンソールパネルなどに設けられたＬＣＤパネルなどであり、車両周辺監視用の画面、ナビゲーション用の画面などを表示する。車載スピーカ４は、運転席付近など、車両１０の室内に設けられたスピーカであり、車両周辺監視用の音声情報、ナビゲーション用の音声情報などを出力する。ＥＣＵ５は、ハードウェアおよびソフトウェアのうち少なくとも一つにより実装され、車両周辺監視機能、ナビゲーション機能を含む車両全体を制御する。
【００１８】
つぎに、図２を参照して、本発明の実施形態に係る車両周辺監視システムの構成について説明する。車両周辺監視システムは、車載カメラ１により撮影された車両周辺の撮影画像から周辺画像を生成して表示するシステムである。車両周辺監視システムは、上位システム（不図示）により制御される。図２は、本発明の実施形態に係る車両周辺監視システムの構成を示すブロック図である。図２に示すように、車両周辺監視システムは、車載カメラ１、車載モニタ３、車載スピーカ４、およびＥＣＵ５を含む。なお、車載カメラ１、車載モニタ３、および車載スピーカ４については、図１の説明と重複するので省略する。
【００１９】
ＥＣＵ５は、画像記憶部５１、画像生成部５２、撮影状態判定部５３、画像制御部５４、音声制御部５５、および照明制御部５６を含む。画像制御部５４および音声制御部５５は、撮影状態が周辺画像の生成に適さないと判定された場合に、車載モニタ３における周辺画像の表示領域Ａ（図４、図６参照）を注視しないことをユーザに促すユーザ案内部として機能する。
【００２０】
画像記憶部５１は、車載カメラ１により撮影された車両周辺の撮影画像を記憶する。撮影画像は、車両１０の前方、後方、または側方の画像など画像の種別、および画像の撮影時点を示す情報と共に画像データとして記憶される。
【００２１】
画像生成部５２は、車載モニタ３の表示領域Ａに表示する表示画像を車両周辺の撮影画像から生成する。画像生成部５２は、車両１０の走行状況またはユーザ操作に応じて、画像生成に用いる撮影画像などを画像記憶部５１から読み出し、周辺画像などを生成する。例えば、降車時には、車両側方の安全確認を促すために、サイド画像が生成され、駐車時には、車両周囲の安全確認を促すために、全周囲画像が生成される。ここで、全周囲画像は、車両１０の前方、後方、および側方の画像を合成して生成され、フロント画像、リア画像、およびサイド画像は、それぞれ車両１０の前方、後方、および側方の画像から生成される。また、画像生成部５２は、詳細を後述するように、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を生成する。
【００２２】
撮影状態判定部５３は、撮影画像を処理して画像の撮影状態を判定する。撮影状態判定部５３は、車両１０の走行状況またはユーザ操作に応じて、撮影状態の判定に用いる撮影画像を画像記憶部５１から読み出し、色成分処理、輝度成分処理などの画像処理を施す。ここでは、一例として、撮影画像に生じた白飛びの強度に基づき撮影状態を判定する場合について説明するが、露出アンダー、輪郭ボケなどの強度に基づき判定してもよい。
【００２３】
白飛びの強度は、撮影画像の全画素に占める白色（Ｒ成分、Ｇ成分、Ｂ成分の各値が２５５）に近い画素の割合から求められる。同様に、撮影画像の全画素に占める高輝度成分（成分値が２５５に近いＹ成分）の画素の割合、または輝度成分を反転させた上で、撮影画像の全画素に占める低輝度成分（成分値の反転値が０に近いＹ成分）の画素の割合から求められる。なお、白飛びの強度は、白色に近い領域などの画素数の割合のみから求められてもよく、画素数を白色の程度に応じて重み付けして求められてもよい。
【００２４】
そして、撮影状態判定部５３は、白飛びの強度を所定閾値と比較し、所定閾値を超えた場合に、撮影状態が周辺画像の生成に適さないと判定する。あるいは、車両１０の前方、後方、および側方の画像について、色成分または輝度成分を比較し、画像間における成分特性の相違が所定閾値を超えるかに基づき撮影状態が判定されてもよい。
【００２５】
画像制御部５４は、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を用いて、表示領域Ａを注視しないことを促す。画像制御部５４は、撮影状態の判定結果を取得し、周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる画像を表示するように画像生成部５２を制御する。
【００２６】
画像制御部５４は、例えば、車載モニタ３の表示領域Ａを黒くする画像を生成し、画像信号として車載モニタ３に供給するように画像生成部５２を制御する。これに代えてまたはこれに加えて、画像制御部５４は、例えば、表示領域Ａを注視しないことを促す所定の画像情報を含む画像（安全確認に適さない周辺画像を伴ってもよい。）を生成し、画像信号として車載モニタ３に供給するように画像生成部５２を制御する。所定の画像情報は、安全確認に適した周辺画像を生成中であることを示すメッセージなどであり、記憶部（不図示）などから読み出され、画像信号として車載モニタ３に供給される。
【００２７】
音声制御部５５は、撮影状態が周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる音声情報を用いて、表示領域Ａを注視しないことを促す。音声制御部５５は、撮影状態の判定結果を取得し、周辺画像の生成に適さないと判定された場合に、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。所定の音声情報は、適切な周辺画像を生成中であることを示すメッセージおよび効果音のうち少なくとも一方などであり、記憶部（不図示）などから読み出され、音声信号として車載スピーカ４に供給される。
【００２８】
照明制御部５６は、車両周辺の照明状況またはユーザ操作に応じて、図１に示した車載照明２、つまりフロントライト２１、リアライト２２、左・右サイドライト２３ａ、２３ｂそれぞれの点灯・消灯を制御する。例えば、車両周辺の照度が不足している状況において、降車時には、車両側方、特に降車位置周辺の状況を示すサイド画像を撮影するために、左・右サイドライト２３ａ、２３ｂが点灯され、駐車時には、撮影画像から車両周囲の状況を示す全周囲画像を撮影するために、フロントライト２１、リアライト２２、左・右サイドライト２３ａ、２３ｂが点灯される。
【００２９】
つぎに、図３および図４を参照して、第１の実施形態に係る車両周辺監視システムの処理について説明する。図３は、第１の実施形態に係る車両周辺監視システムの処理を示すフロー図である。図４は、第１の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【００３０】
以下では、車両周辺の照度が不足している状況で搭乗者が降車するに際してサイド画像を表示する場合について説明する。ここで、サイドカメラ１３がサイドライト２３に近接していると、カメラ１３に取り込まれる光源の光が強くなり、ゲイン調整などの処理を通じて適切な撮影状態が得られるまでに時間を要する。なお、以下では、サイドカメラ１３の画像の撮影状態がサイドライト２３により不適切となる場合について説明するが、自車両１０の他の光源、または自車両１０以外の他の光源（人工光源または自然光源）により車載カメラ１の画像の撮影状態が不適切となる場合についても、同様に説明される。
【００３１】
図３に示す処理は、車両１０の停車時にドアロックが解除操作されるなど、車両側方の安全確認を要する状況の発生が上位システムにより判定されると開始し、ドアが大きく開放されるなど、車両側方の安全確認を要する状況の解消が上位システムにより判定されると終了する。
【００３２】
処理の開始に際して（ステップＳ１１で「Ｙｅｓ」の場合）、照明制御部５６は、左・右サイドライト２３ａ、２３ｂを点灯させる（ステップＳ１２）。車載カメラ１は、少なくとも車両１０の左右側方の画像の撮影を開始し（ステップＳ１３）、画像記憶部５１に供給する。
【００３３】
撮影状態判定部５３は、車両側方の撮影画像を読み出し、撮影画像を処理して画像の撮影状態を判定し（ステップＳ１４）、判定結果を画像制御部５４および音声制御部５５のうち少なくとも一方に通知する。例えば、白飛びの強度を判定する場合、車両側方の画像の白飛びの強度が所定閾値を超えるかが判定される。なお、撮影状態は、左右側方の撮影画像のそれぞれについて判定されてもよく、例えば左右側方の撮影画像の平均的な特性として判定されてもよい。ここで、判定結果は、画像制御部５４および音声制御部５５の少なくとも一方に通知される。
【００３４】
撮影状態が周辺画像の生成に適することを示す判定結果を通知された場合（ステップＳ１５で「Ｙｅｓ」の場合）に、画像制御部５４は、車両側方の撮影画像からサイド画像を生成し（ステップＳ１６）、画像信号として車載モニタ３に供給する。車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された撮影画像から生成されたサイド画像が表示される（ステップＳ１７）。例えば図４（ａ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの画像の撮影状態が周辺車両の生成に適すると判定される。この場合、車載モニタ３の表示領域Ａには、周辺車両の生成に適すると判定された車両の左右側方の画像Ｐ３ａ、Ｐ３ｂから生成された左・右サイド画像Ｐ３ａ´、Ｐ３ｂ´が表示される。サイド画像が表示された後に、処理の終了が判定されない場合（ステップＳ１８で「Ｎｏ」の場合）、処理は、撮影状態の判定処理（ステップＳ１４）に復帰する。
【００３５】
一方、撮影状態が周辺画像の生成に適さないことを示す判定結果を通知された場合（ステップＳ１５で「Ｎｏ」の場合）に、画像制御部５４および音声制御部５５のうち少なくとも一方は、表示領域Ａを注視しないことをユーザに促す（ステップＳ２１）。
【００３６】
つまり、画像制御部５４は、例えば、表示領域Ａの全体を黒くする画像、および表示領域Ａを注視しないことを促す所定の画像情報を含む画像のうち少なくとも一方を生成するように、画像生成部５２を制御する。よって、ユーザは、表示領域Ａに一寸視線を移動させ、表示領域Ａの注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。音声制御部５５は、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。例えば図４（ｂ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの撮影状態が周辺画像の生成に適さないと判定される。この場合、車載モニタ３の表示領域Ａに、表示領域Ａの全体を黒くする画像Ｐ４が表示され、車載スピーカ４からは、表示領域Ａの注視を妨げる音声情報が出力される。よって、ユーザは、表示領域Ａに視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００３７】
表示領域Ａを注視しないことが促される（ステップＳ２１）と、処理は、撮影状態の判定処理（ステップＳ１４）に復帰する。つまり、ユーザは、周辺画像の生成に適した撮影状態が達成されるまで、表示領域Ａを注視しないことを促され続ける。これにより、安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。
【００３８】
処理の終了に際して（ステップＳ１８で「Ｙｅｓ」の場合）、車載カメラ１は、車両１０の左右側方の画像の撮影を終了し（ステップＳ１９）、照明制御部５６は、左・右サイドライト２３ａ、２３ｂを消灯させる（ステップＳ２０）。
【００３９】
つぎに、図５および図６を参照して、第２の実施形態に係る車両周辺監視システムの処理について説明する。なお、第２の実施形態に係る車両周辺監視システムは、図１および図２を参照して説明した第１の実施形態に係る車両周辺監視システムと同様に構成されている。図５は、第２の実施形態に係る車両周辺監視システムの処理を示すフロー図である。図６は、第２の実施形態に係る車両周辺監視システムの処理の一例を示す図である。
【００４０】
以下では、車両周辺の照度が不足している状況で駐車するに際して、全周囲画像を表示する場合について説明する。ここで、全周囲画像を構成する一部の画像の撮影状態が周辺画像の生成に適さないと、車両周辺の安全確認に適した全周囲画像を表示することができなくなる。
【００４１】
図５に示す処理は、車両１０が低速で後退するなど、車両周囲の安全確認を要する状況の発生が上位システムにより判定されると開始し、駐車ブレーキの操作により車両１０が完全に停止されるなど、車両周囲の安全確認を要する状況の解消が上位システムにより判定されると終了する。
【００４２】
処理の開始に際して（ステップＳ３１で「Ｙｅｓ」の場合）、照明制御部５６は、フロントライト２１、リアライト２２、および左・右サイドライト２３ａ、２３ｂを点灯させる（ステップＳ３２）。車載カメラ１は、車両１０の前方、後方、および左右側方の画像の撮影を開始し（ステップＳ３３）、画像記憶部５１に供給する。
【００４３】
撮影状態判定部５３は、車両１０の前方、後方、および左右側方の撮影画像を読み出し、撮影画像を処理して画像の撮影状態を判定し（ステップＳ３４）、判定結果を画像制御部５４および音声制御部５５のうち少なくとも一方に通知する。例えば、白飛びの強度を判定する場合、車両前方の画像の輝度と車両後方の画像の輝度との平均値、および車両左側方の画像の輝度と車両右側方の画像の輝度との平均値が求められる。そして、車両左右側方の画像の平均輝度値が所定閾値を超えるかが判定される。ここで、判定結果は、画像制御部５４および音声制御部５５の少なくとも一方に通知される。
【００４４】
撮影状態が周辺画像の生成に適することを示す判定結果を通知された場合（ステップＳ３５で「Ｙｅｓ」の場合）に、画像制御部５４は、まず、車両前後方の画像の平均輝度値と車両左右側方の画像の平均輝度値の平均値をもって、車両１０の前方、後方、および左右側方の画像の輝度を調整する（ステップＳ３６）。そして、調整された４つの画像を合成して全周囲画像を生成し（ステップＳ３７）、画像信号として車載モニタ３に供給する。車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された撮影画像から生成された全周囲画像が表示される（ステップＳ３８）。
【００４５】
例えば図６（ａ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの画像の撮影状態が周辺画像の生成に適すると判定される。この場合、車載モニタ３の表示領域Ａには、周辺画像の生成に適すると判定された車両の前方、後方、および左右側方の画像Ｐ１、Ｐ２、Ｐ３ａ、Ｐ３ｂを合成して生成された全周囲画像Ｐ５が表示される。全周囲画像が表示された後に、処理の終了が判定されない場合（ステップＳ３９で「Ｎｏ」の場合）、処理は、撮影状態の判定処理（ステップＳ３４）に復帰する。
【００４６】
一方、撮影状態が周辺画像の生成に適さないことを示す判定結果を通知された場合（ステップＳ３５で「Ｎｏ」の場合）に、画像制御部５４および音声制御部５５のうち少なくとも一方は、表示領域Ａを注視しないことをユーザに促す（ステップＳ４２）。つまり、画像制御部５４は、例えば、表示領域Ａの全体を黒くする画像、および表示領域Ａを注視しないことを促す所定の画像情報を含む画像のうち少なくとも一方を生成するように、画像生成部５２を制御する。音声制御部５５は、表示領域Ａの注視を妨げる音声情報を出力するように車載スピーカ４を制御する。例えば図６（ｂ）に示すように、車両の左右側方の画像Ｐ３ａ、Ｐ３ｂの撮影状態が周辺画像の生成に適さないと判定される。この場合、車載モニタ３の表示領域Ａには、表示領域Ａの全体を黒くする画像Ｐ４が表示され、車載スピーカ４からは、表示領域Ａの注視を妨げる音声情報が出力される。
【００４７】
表示領域Ａを注視しないことが促される（ステップＳ４２）と、処理は、撮影状態の判定処理（ステップＳ３４）に復帰する。つまり、ユーザは、周辺画像の生成に適した撮影状態が達成されるまで、表示領域Ａを注視しないことを促され続ける。これにより、安全確認に適さない周辺画像（全周囲画像）に対するユーザの不要なる注視を抑制することができる。
【００４８】
処理の終了に際して（ステップＳ３９で「Ｙｅｓ」の場合）、車載カメラ１は、車両１０の前方、後方、および左右側方の画像の撮影を終了し（ステップＳ４０）、照明制御部５６は、フロントライト２１、リアライト２２、および左・右サイドライト２３ａ、２３ｂを消灯させる（ステップＳ４１）。
【００４９】
以上説明したように、本発明の実施形態に係る車両周辺監視装置によれば、撮影画像を処理して画像の撮影状態が判定され、撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、周辺画像の表示領域Ａを注視しないことを促される。これにより、車両周辺の安全確認に適さない周辺画像に対するユーザの不要なる注視を抑制することができる。
【００５０】
また、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる画像を用いて、表示領域を注視しないことを促される。これにより、ユーザは、表示領域に一寸視線を移動させ、周辺画像の表示領域の注視を妨げる画像を眺めるだけで、周辺画像を注視する必要がないことを認識できる。
【００５１】
また、ユーザは、撮影状態が周辺画像の生成に適さないと判定された場合に、周辺画像の表示領域の注視を妨げる音声情報を用いて、表示領域を注視しないことを促される。よって、ユーザは、表示領域に視線を移動させなくても、音声情報を聴き取るだけで、周辺画像を注視する必要がないことを認識できる。
【００５２】
また、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、ユーザは、表示領域を注視しないことを促される。よって、不適切な周辺画像に対するユーザの不要なる注視を抑制することができる。
【００５３】
なお、前述した実施形態は、本発明に係る車両周辺監視装置の最良な実施形態を説明したものであり、本発明に係る車両周辺監視装置は、本実施形態に記載したものに限定されるものではない。本発明に係る車両周辺監視装置は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る車両周辺監視装置を変形し、または他のものに適用したものであってもよい。
【符号の説明】
【００５４】
１…車載カメラ、２…車載照明、３…車載モニタ、４…車載スピーカ、５…ＥＣＵ、５１…画像記憶部、５２…画像生成部、５３…撮影状態判定部、５４…画像制御部（ユーザ案内部）、５５…音声制御部（ユーザ案内部）、５６…照明制御部、Ａ…表示領域
【特許請求の範囲】
【請求項１】
車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置であって、
前記撮影画像を処理して該画像の撮影状態を判定する撮影状態判定部と、
前記撮影状態が前記周辺画像の生成に適さないと判定された場合に、前記周辺画像の表示領域を注視しないことをユーザに促すユーザ案内部と、
を備える車両周辺監視装置。
【請求項２】
前記ユーザ案内部が、前記周辺画像の表示領域の注視を妨げる画像を用いて、前記表示領域を注視しないことを促す、請求項１に記載の車両周辺監視装置。
【請求項３】
前記周辺画像の表示領域の注視を妨げる画像が、前記表示領域を黒くする画像である、請求項２に記載の車両周辺監視装置。
【請求項４】
前記周辺画像の表示領域の注視を妨げる画像が、前記表示領域を注視しないことを促す画像情報を含む、請求項２または３に記載の車両周辺監視装置。
【請求項５】
前記ユーザ案内部が、前記周辺画像の表示領域の注視を妨げる音声情報を用いて、前記表示領域を注視しないことを促す、請求項１〜４のいずれか一項に記載の車両周辺監視装置。
【請求項６】
複数の車載カメラにより撮影された複数の撮影画像を合成して周辺画像を生成する画像生成部をさらに備え、
前記撮影状態判定部が、前記複数の撮影画像を処理して該複数の画像の撮影状態を判定し、
前記ユーザ案内部が、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、前記表示領域を注視しないことを促す、請求項１〜５のいずれか一項に記載の車両周辺監視装置。
【請求項７】
前記撮影状態判定部が、前記撮影画像に生じた白飛びの強度が所定閾値を超える場合に、前記撮影状態が前記周辺画像の生成に適さないと判定する、請求項１〜６のいずれか一項に記載の車両周辺監視装置。
【請求項１】
車載カメラにより撮影された車両周辺の撮影画像から周辺画像を生成して表示するための車両周辺監視装置であって、
前記撮影画像を処理して該画像の撮影状態を判定する撮影状態判定部と、
前記撮影状態が前記周辺画像の生成に適さないと判定された場合に、前記周辺画像の表示領域を注視しないことをユーザに促すユーザ案内部と、
を備える車両周辺監視装置。
【請求項２】
前記ユーザ案内部が、前記周辺画像の表示領域の注視を妨げる画像を用いて、前記表示領域を注視しないことを促す、請求項１に記載の車両周辺監視装置。
【請求項３】
前記周辺画像の表示領域の注視を妨げる画像が、前記表示領域を黒くする画像である、請求項２に記載の車両周辺監視装置。
【請求項４】
前記周辺画像の表示領域の注視を妨げる画像が、前記表示領域を注視しないことを促す画像情報を含む、請求項２または３に記載の車両周辺監視装置。
【請求項５】
前記ユーザ案内部が、前記周辺画像の表示領域の注視を妨げる音声情報を用いて、前記表示領域を注視しないことを促す、請求項１〜４のいずれか一項に記載の車両周辺監視装置。
【請求項６】
複数の車載カメラにより撮影された複数の撮影画像を合成して周辺画像を生成する画像生成部をさらに備え、
前記撮影状態判定部が、前記複数の撮影画像を処理して該複数の画像の撮影状態を判定し、
前記ユーザ案内部が、１以上の画像の撮影状態が周辺画像の生成に適さないと判定された場合に、前記表示領域を注視しないことを促す、請求項１〜５のいずれか一項に記載の車両周辺監視装置。
【請求項７】
前記撮影状態判定部が、前記撮影画像に生じた白飛びの強度が所定閾値を超える場合に、前記撮影状態が前記周辺画像の生成に適さないと判定する、請求項１〜６のいずれか一項に記載の車両周辺監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−９０２９４（Ｐ２０１３−９０２９４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３２１４２（Ｐ２０１１−２３２１４２）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]