車両周辺映像表示装置
【課題】一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる車両周辺映像表示装置を提供する。
【解決手段】車両周辺を撮像する各カメラ１ａ〜１ｄによる複数の撮像画像に基づいて生成された単一の合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定する影判定部１５と、影判定部１５が影が含まれている画像を特定した場合、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整する調整部５ａ〜５ｄと、輝度の調整が行われた後の撮像画像に基づいて生成された合成画像を表示する表示手段３と、を有する。
【解決手段】車両周辺を撮像する各カメラ１ａ〜１ｄによる複数の撮像画像に基づいて生成された単一の合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定する影判定部１５と、影判定部１５が影が含まれている画像を特定した場合、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整する調整部５ａ〜５ｄと、輝度の調整が行われた後の撮像画像に基づいて生成された合成画像を表示する表示手段３と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成し表示画面に表示する車両周辺映像表示装置に関する発明である。
【背景技術】
【０００２】
従来、互いに異なる方向の車両周辺を撮像する複数の車載カメラを有し、これら複数の車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成し、この合成画像を表示画面に表示する車両周辺映像表示装置が知られている。
【０００３】
また、このような車両周辺映像表示装置としては、車載カメラ毎の個体差によって生じる撮像画像間の輝度の差異を解消するため、各車載カメラによる撮像画像毎の平均輝度を検出し、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の補正（調整）を行うものが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３２４２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に提案されている車両周辺映像表示装置によれば、複数の撮像画像のうち一部の撮像画像に影が含まれている場合には、この一部の撮像画像の平均輝度は他の撮像画像の平均輝度と比較して著しく低くなるが、このような場合であっても、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の調整が行われるため、撮像画像に影が含まれていることによる著しい輝度の低下が、結果として合成画像全体の輝度低下を招くことになるという問題があった。
【０００６】
本発明は上記事情に鑑みなされたものであり、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる車両周辺映像表示装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明に係る車両周辺映像表示装置は、合成画像に影が含まれているか否かを判定し、影が含まれている場合には、合成画像を構成する複数の撮像画像のうち影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて、合成画像として合成される撮像画像毎の平均輝度を調整し、調整が行われた後の撮像画像に基づいて生成された合成画像を表示するものである。
【０００８】
すなわち、本発明に係る車両周辺映像表示装置は、互いに異なる方向の車両周辺を撮像する複数の車載カメラと、前記車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成する画像合成手段と、前記撮像画像毎の輝度を調整する輝度調整手段と、前記輝度の調整が行われた後の前記撮像画像に基づいて前記画像合成手段により生成された前記合成画像を表示する表示手段と、を備え、前記輝度調整手段は、前記撮像画像毎の平均輝度を検出する輝度検出部と、前記合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には前記合成画像を構成する複数の前記撮像画像の中から前記影が含まれている画像を特定する影判定部と、前記影判定部が前記影が含まれている画像を特定した場合、前記影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて前記撮像画像毎の輝度を調整する調整部と、を有していることを特徴とする。
【０００９】
ここで、「平均輝度」とは、撮像画像全体の輝度の平均値でもよいし、あるいは、撮像画像の一部分である特定の小領域を撮像画像を代表する領域として、この特定の小領域の輝度の平均値であってもよい。
【００１０】
このように構成された本発明に係る車両周辺映像表示装置によれば、影判定部が、合成画像を構成する撮像画像の中から影が含まれている画像を特定した場合には、調整部が、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整し、画像合成手段が、輝度が調整された撮像画像に基づいて合成画像を生成し、表示手段がこの生成された合成画像を表示するため、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【発明の効果】
【００１１】
本発明に係る車両周辺映像表示装置によれば、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の車両周辺映像表示装置の構成を示すブロック図である。
【図２】図１の車載カメラの設置位置を説明する説明図である。
【図３】図２の車載カメラによる撮像画像に基づいて生成された合成画像を例示する図である。
【図４】図１の輝度調整手段の構成を示すブロック図である。
【図５】（ａ）は、一部の撮像画像に影が含まれている状況を示す合成画像の一例であり、（ｂ）は、図５（ａ）に示す状況であって、従来の車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【図６】図１の車両周辺映像表示装置による輝度調整処理の流れを説明するフローチャートである。
【図７】図４の輝度検出部が撮像画像毎の平均輝度を検出するために、予め特定された小領域を例示する図である。
【図８】（ａ）は、一部の撮像画像に影が含まれている状況を示すための合成画像の一例であり、（ｂ）は、図８（ａ）に示す状況であって、図１に示す車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の車両周辺映像表示装置を実現する実施の形態を、図面に基づいて説明する。
［全体の構成］
図１は、本実施形態の車両周辺映像表示装置１００の構成を示すブロック図であり、図２は、図１の車載カメラ１の設置位置を説明する説明図であり、図３は、図２の車載カメラ１による撮像画像に基づいて生成された合成画像を例示する図である。
【００１４】
図１に示すように、本実施形態の車両周辺映像表示装置１００は、車載カメラ１と、車載カメラ１により撮像された複数の撮像画像に対して信号処理を行う画像信号処理手段２と、画像信号処理手段２により信号処理が行われた後の画像を表示するモニタ３（表示手段）と、を有する。
【００１５】
車載カメラ１は、図２に示すように、車両周辺映像表示装置１００が設けられた車両Ａの前面のバンパー位置等に設けられたフロントカメラ１ａ、車両Ａの左側面のドアミラー位置等に設けられた左サイドカメラ１ｂ、車両Ａの後面のバンパー位置等に設けらたリアカメラ１ｃ、および車両Ａの右側面のドアミラー位置等に設けられた右サイドカメラ１ｄの４台により構成され、これらは互いに異なる方向の車両Ａの周辺を撮像する。以下、フロントカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃおよび右サイドカメラ１ｄの４台のカメラを、各カメラ１ａ〜１ｄという。
【００１６】
画像信号処理手段２は、図１に示すように、Ａ／Ｄ変換器４ａ〜４ｄ、デコーダ５ａ〜５ｄ（調整部）、座標変換器６ａ〜６ｄ、画像合成手段７、エンコーダ８、Ｄ／Ａ変換器９および目標輝度算出手段１０、を備えている。また、デコーダ５ａ〜５ｄおよび目標輝度算出手段１０を輝度調整手段２０とする。
【００１７】
Ａ／Ｄ変換器４ａ〜４ｄは、それぞれ対応する各カメラ１ａ〜１ｄに接続され、各カメラ１ａ〜１ｄによる撮像画像のアナログ信号をアナログデジタル変換する。
【００１８】
デコーダ５ａ〜５ｄは、それぞれ対応するＡ／Ｄ変換器４ａ〜４ｄに接続され、Ａ／Ｄ変換器４ａ〜４ｄからの入力信号に対して、画像合成手段７およびデコーダ５ａ〜５ｄに接続された目標輝度算出手段１０から出力される目標輝度値の信号（デコーダパラメータ）に基づいてデコードすることにより、撮像画像毎に輝度の調整を行なう。
【００１９】
なお、この目標輝度算出手段１０およびデコーダ５ａ〜５ｄを合わせた輝度調整手段２０の詳細な構成についての説明は後述する。
【００２０】
また、座標変換器６ａ〜６ｄは、それぞれ対応するデコーダ５ａ〜５ｄに接続され、デコーダ５ａ〜５ｄからの輝度の調整が行われた後の入力信号に対して、図示しないＲＯＭ等に格納された視点変換テーブルに従い座標変換処理により俯瞰画像（車両の上方の仮想点から下方を見下ろしたときに観察される画像）を生成する。
【００２１】
画像合成手段７は、座標変換器６ａ〜６ｄからの入力信号（輝度の調整および座標変換処理が行われた後の複数の撮像画像の信号）に基づいて、例えば図３に示すような単一の合成画像として俯瞰画像を生成する。
【００２２】
エンコーダ８は、画像合成手段７から入力された合成画像の信号をエンコードしてＤ／Ａ変換器９に出力し、Ｄ／Ａ変換器９は、エンコーダ８から入力された信号をデジタルアナログ変換し、モニタ３に出力する。
【００２３】
モニタ３は、車両Ａの車室内に設けられ、Ｄ／Ａ変換器９から入力された合成画像の信号に基づいて、合成画像を表示する。
［輝度調整手段の詳細な構成］
図４は、図１の輝度調整手段２０の構成を示すブロック図である。
【００２４】
輝度調整手段２０のうち目標輝度算出手段１０は、図４に示すように、輝度検出部１１ａ〜１１ｄ、比較判定部１２、時計１３（日時情報取得部）、ナビゲーション装置１４（位置方位検出部）、影判定部１５、平均輝度算出部１６およびデコーダパラメータ算出部１７、を有する。
【００２５】
輝度検出部１１ａ〜１１ｄは、合成画像を構成する各カメラ１ａ〜１ｄによる撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを検出する。
【００２６】
すなわち、輝度検出部１１ａはフロントカメラ１ａによる撮像画像の平均輝度Ｅaを検出し、輝度検出部１１ｂは左サイドカメラ１ｂによる撮像画像の平均輝度Ｅbを検出し、輝度検出部１１ｃはリアカメラ１ｃによる撮像画像の平均輝度Ｅcを検出し、輝度検出部１１ｄは右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdを検出する。
【００２７】
比較判定部１２は、輝度検出部１１ａ〜１１ｄにより検出された各撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち、著しく低い平均輝度（例えば、全ての平均輝度の平均値の所定割合より低い平均輝度）が有るか否かを比較判定する。
【００２８】
また、影判定部１５は、比較判定部１２による比較結果に基づいて合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には、時計１３による時刻情報、ナビゲーション装置１４による車両Ａの位置情報および方位情報に基づいて、合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定する。
【００２９】
平均輝度算出部１６は、輝度検出部１１ａ〜１１ｄにより検出された各撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdおよび影判定部１５による判定結果に基づいて、撮像画像の輝度を調整するための目標輝度値としての平均輝度Ｅ2を算出する。
【００３０】
デコーダパラメータ算出部１７は、平均輝度算出部１６により算出された平均輝度Ｅ2に基づいて目標輝度値の信号（デコーダパラメータ）を算出し、デコーダ５ａ〜５ｄに出力する。
【００３１】
次に、車両周辺映像表示装置１００の作用について、［全体の流れ］および［輝度調整処理］に分けて説明する。
［全体の流れ］
各カメラ１ａ〜１ｄにより車両Ａの周辺が撮像されると、各々の撮像画像はＡ／Ｄ変換器４ａ〜４ｄによりデジタル信号に変換されて、デコーダ５ａ〜５ｄに出力される。
【００３２】
そして、デコーダ５ａ〜５ｄが、目標輝度算出手段１０のうちデコーダパラメータ算出部１７により出力されたデコーダパラメータに基づいて輝度の調整を行い、輝度の調整が行われた後の撮像画像を座標変換器６ａ〜６ｄに出力する。
【００３３】
さらに、座標変換器６ａ〜６ｄが、輝度の調整が行われた後の撮像画像が俯瞰画像となるように座標変換して画像合成手段７に出力する。そして、画像合成手段７が、入力された複数の撮像画像の信号に基づいて単一の合成画像を生成する。
【００３４】
このように生成された合成画像は、エンコーダ８およびＤ／Ａ変換器９を経由して、車室内のモニタ３に表示される。
［輝度調整処理］
図５（ａ）は、一部の撮像画像に影が含まれている状況を示す合成画像の一例であり、図５（ｂ）は、図５（ａ）に示す状況であって、従来の車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【００３５】
例えば、従来の車両周辺映像表示装置によれば、図５（ａ）に示すように、一部の撮像画像に影が含まれている場合には、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の調整が行われるため、輝度の調整が行われた後の撮像画像に基づいて生成された合成画像は、図５（ｂ）に示すように、合成画像全体の輝度低下を招く。
【００３６】
これに対し、本実施形態の車両周辺映像表示装置１００では、以下のような輝度調整処理を行うことにより、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【００３７】
図６は、車両周辺映像表示装置１００による輝度調整処理の流れを説明するフローチャートであり、図７は、輝度検出部１１ａ〜１１ｄが撮像画像毎の平均輝度を検出するために、予め特定された小領域を例示する図であり、図８（ａ）は、一部の撮像画像に影が含まれている状況を示すための合成画像の一例であり、図８（ｂ）は、図８（ａ）に示す状況であって、車両周辺映像表示装置１００による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【００３８】
画像合成手段７により合成画像が生成されると、輝度調整手段２０が、この合成画像の信号が目標輝度算出手段１０に出力されて輝度調整処理を開始する。
【００３９】
まず、図６に示すように、輝度検出部１１ａ〜１１ｄは、それぞれ対応する各カメラ１ａ〜１ｄによる撮像画像（各カメラ表示領域）の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを検出する（ステップＳ１）。
【００４０】
このとき、輝度検出部１１ａ〜１１ｄは、撮像画像毎の全体の輝度の平均値を算出することも可能であるが、演算処理量を減らして処理を迅速にするため、例えば、図７に示す８つの小領域（ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｄ１、ｄ２）のように、合成画像が生成された場合の隣接する撮像画像同士の境界付近である複数の小領域を予め特定し、この複数の特定された小領域毎の輝度の平均値を、その撮像画像の平均輝度とすることも可能である。
【００４１】
すなわち、小領域ａ１、ａ２の輝度の平均値を、フロントカメラ１ａによる撮像画像の平均輝度Ｅaとし、小領域ｂ１、ｂ２の輝度の平均値を、左サイドカメラ１ｂによる撮像画像の平均輝度Ｅbとし、小領域ｃ１、ｃ２の輝度の平均値を、リアカメラ１ｃによる撮像画像の平均輝度Ｅcとし、小領域ｄ１、ｄ２の輝度の平均値を、右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdとすることができる。
【００４２】
このようにして検出された平均輝度Ｅa、Ｅb、Ｅc、Ｅdが比較判定部１２に出力されると、比較判定部１２がこれらの平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定し、その結果を影判定部１５に出力する（ステップＳ２）。
【００４３】
そして、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定した場合には、ステップＳ３に移行し、影判定部１５が、平均輝度が所定割合より低い撮像画像に影が含まれているか否かを判定する（ステップＳ３）。
【００４４】
具体的には、まず、影判定部１５は、ナビゲーション装置１４により検出された車両Ａの位置および時計１３により取得された日時情報に基づいて、車両Ａの位置を基準とした太陽の方位を特定する。そして、影判定部１５は、特定された太陽の方位およびナビゲーション装置１４により検出された車両Ａが向いている方位に基づいて、車両Ａの影が現れる方位を特定する。さらに、影判定部１５は、比較判定部１２が平均輝度が所定割合（Ｅ1／４）より低いと判定した撮像画像が、車両Ａの影が現れる方位に対応した撮像画像であるか否かを判定する。
【００４５】
例えば、午後３時に日本では太陽は西の方位に位置するため、車両Ａが北を向いているとすると、東の方位（すなわち右サイドカメラ１ｄが撮像する方位）が、車両Ａの影が現れる方位であると特定される。
【００４６】
すなわち、ステップＳ２において、比較判定部１２が、この右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdが所定割合よりも低い（Ｅd＜（Ｅ1／４））と比較判定した場合であって、ステップＳ３において、影判定部１５が、右サイドカメラ１ｄが撮像する方位が車両Ａの影が現れる方位であると特定した場合には、影判定部１５は、右サイドカメラ１ｄによる撮像画像に影が含まれていると判定し、ステップＳ４に移行する。
【００４７】
さらに、平均輝度算出部１６が、目標輝度値として、影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値を算出する（ステップＳ４）。
【００４８】
上記の例であれば、右サイドカメラ１ｄによる撮像画像に影が含まれていると影判定部１５が判定したため、フロントカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃによる撮像画像の平均輝度Ｅa、Ｅb、Ｅcの平均値（（Ｅa＋Ｅb＋Ｅc）／３）を目標輝度値である平均輝度Ｅ2として、平均輝度算出部１６が算出するＥ2（＝（Ｅa＋Ｅb＋Ｅc）／３）。
【００４９】
一方、ステップＳ２において、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が無いと判定し、合成画像に影が含まれていないと判定した場合、または、ステップＳ２において、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定したが、ステップＳ３において、影判定部１５が、この平均輝度が所定割合より低い撮像画像が車両Ａの影が現れる方位に対応した撮像画像ではないと判定した場合は、ステップＳ５に移行する。
【００５０】
そして、ステップＳ５では、平均輝度算出部１６が、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）を目標輝度値である平均輝度Ｅ2とするＥ2（＝Ｅ1）（ステップＳ５）。
【００５１】
その後、デコーダパラメータ算出部１７が、平均輝度算出部１６により算出された目標輝度値としての平均輝度Ｅ2に基づいてデコーダパラメータを算出してデコーダ５ａ〜５ｄに出力し、デコーダ５ａ〜５ｄがこのデコーダパラメータに基づいて、撮像画像毎の輝度の調整を行う（ステップＳ６）。
【００５２】
すなわち、図８（ａ）に示すように、一部の撮像画像に影が含まれている場合（ステップＳ３、Ｓ４を経由してステップＳ６に移行してきた場合）、デコーダ５ａ〜５ｄは、影が含まれている画像を除いた撮像画像の平均輝度Ｅa、Ｅb、Ｅcが目標輝度値としての平均輝度Ｅ2（＝（Ｅa＋Ｅb＋Ｅc）／３）となるように輝度の調整を行なう。そして、この輝度の調整が行われた後の撮像画像に基づいて生成された合成画像は、図８（ｂ）に示すような合成画像となる。
【００５３】
一方、合成画像に影が含まれていない場合（ステップＳ５を経由してステップＳ６に移行してきた場合）は、デコーダ５ａ〜５ｄは、全ての撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdが目標輝度値としての平均輝度Ｅ2（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）となるように輝度の調整を行う。
【００５４】
その後、画像合成手段７により生成された合成画像が再び目標輝度算出手段１０に出力される場合には、最初から輝度調整処理が開始され、ステップＳ１〜ステップＳ６が繰り返される。
【００５５】
一方、車両周辺映像表示装置１００のスイッチがＯＦＦに切り替えられる等して、画像合成手段７により生成された合成画像が目標輝度算出手段１０に出力されない場合には、輝度調整処理が終了する（ステップＳ７）。
【００５６】
なお、上述した本実施形態では、比較判定部１２は、各撮像画像の平均輝度のうち、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定することを説明した。
【００５７】
しかし、本発明に係る車両周辺映像表示装置は必ずしもこのような構成に限定されず、各撮像画像の平均輝度のうち著しく低い平均輝度が有るか否かを比較判定することができれば、他の基準値を採用することも可能である。
【００５８】
また、本実施形態では、ステップＳ２において、比較判定部１２が撮像画像毎の平均輝度の比較判定を行った後に、ステップＳ３において、影判定部１５が太陽の方位等に基づいて車両Ａの影が現れる方位を特定し、輝度の低い撮像画像に影が含まれているか否かを判定することを説明した。
【００５９】
しかし、本発明の車両周辺映像表示装置はこのような形態に限定されるものではなく、例えば、影判定部１５が車両Ａの影が現れる方位を特定した後に、比較判定部１２が、この影が現れる方位に対応した撮像画像の平均輝度を他の撮像画像の平均輝度と比較判定することにより、撮像画像に影が含まれているか否かを判定する構成としてもよい。
【００６０】
さらに、上述した本実施形態では、車載カメラが４台の場合について説明したが、４台に限定されるものではなく、複数の車載カメラが設けられていればよい。
【００６１】
このように構成された本実施形態に係る車両周辺映像表示装置１００によれば、影判定部１５が、合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定した場合には、デコーダ５ａ〜５ｄが、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整し、画像合成手段７が、輝度が調整された撮像画像に基づいて合成画像を生成し、モニタ３が生成された合成画像を表示するため、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【００６２】
また、デコーダ５ａ〜５ｄは、影判定部１５が合成画像に影が含まれていないと判定した場合には、撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを、全ての平均輝度の平均値Ｅ2（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）と等しくなるように調整するため、各カメラ１ａ〜１ｄ毎の個体差によって生じる撮像画像間の輝度の差異が解消され見やすい合成画像を生成することができる。
【００６３】
一方、影判定部１５が合成画像に影が含まれていると判定し、影が含まれている画像を特定した場合には、影が含まれている画像を除いた残りの撮像画像の平均輝度（例えば、Ｅa、Ｅb、Ｅc）を、影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値Ｅ2（＝（Ｅa＋Ｅb＋Ｅc）／３）と等しくなるように調整するため、影が含まれている画像を除いた残りの撮像画像間の輝度の差異が解消され見やすい合成画像を生成することができ、かつ、影が含まれている撮像画像については輝度の調整が行われないため影の部分の輝度が高くなることを防ぎ、運転者に対して影を正確に認識させることができる。
【００６４】
さらに、輝度調整手段２０は、撮像画像毎の平均輝度のうちＥa、Ｅb、Ｅc、Ｅd、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定する比較判定部１２を有し、影判定部１５は、比較判定部１２が所定割合（Ｅ1／４）より低い平均輝度が無いと判定した場合には合成画像に影が含まれていないと判定するため、合成画像に影が映っていないことを迅速に判定することができる。
【００６５】
そして、影判定部１５は、比較判定部１２が平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定した場合には、位置方位検出部１４により検出された車両Ａの位置および日時情報取得部１３により取得された日時情報に基づいて車両Ａの位置を基準とした太陽の方位を特定し、太陽の方位および位置方位検出部１４により検出された車両Ａが向いている方位に基づいて車両Ａの影が現れる方位を特定し、所定割合（Ｅ1／４）より低い平均輝度である撮像画像が車両Ａの影が現れる方位に対応した撮像画像である場合には、所定割合（Ｅ1／４）より低い平均輝度である撮像画像が車両Ａの影が含まれている画像であると特定するため、影が含まれている撮像画像の特定を正確に行うことができる。
【００６６】
また、撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdは、撮像画像の一部分である特定の小領域（例えば、小領域ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｄ１、ｄ２）の平均輝度とすることにより、平均輝度を算出するための領域の面積が小さくなるため、演算処理を軽減し、処理を迅速にすることができる。
【００６７】
さらに、合成画像が生成された場合に隣接する撮像画像同士の境界付近に（すなわち、撮像画像毎の輝度の差異が目立ちやすい部分）、この特定の小領域を設定することにより、一層見やすい合成画像を生成することができる。
（変形例１）
本発明の車両周辺映像表示装置は本実施形態の形態に限定されるものではなく、例えば、輝度調整手段２０は、所定時間以上継続して同一の撮像画像が、影が含まれている画像であると影判定部１５により特定された場合に、撮像画像毎の平均輝度を調整する構成としてもよい。
【００６８】
このように構成された車両周辺映像表示装置によれば、同一の撮像画像に所定時間以上継続して影が含まれていない場合には平均輝度の調整が行われないため、モニタ３に表示される合成画像の輝度が頻繁に変化することによるちらつき感を運転者に与えるのを防ぐことができる。
【符号の説明】
【００６９】
１ 車載カメラ
５ａ，５ｂ，５ｃ，５ｄ デコーダ（調整部）
１０ 目標輝度算出手段
１１ａ，１１ｂ，１１ｃ，１１ｄ 輝度検出部
１２ 比較判定部
１３ 時計（日時情報取得部）
１４ ナビゲーション装置（位置方位検出部）
１５ 影判定部
１６ 平均輝度算出部
１７ デコーダパラメータ算出部
２０ 輝度調整手段
【技術分野】
【０００１】
本発明は、複数の車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成し表示画面に表示する車両周辺映像表示装置に関する発明である。
【背景技術】
【０００２】
従来、互いに異なる方向の車両周辺を撮像する複数の車載カメラを有し、これら複数の車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成し、この合成画像を表示画面に表示する車両周辺映像表示装置が知られている。
【０００３】
また、このような車両周辺映像表示装置としては、車載カメラ毎の個体差によって生じる撮像画像間の輝度の差異を解消するため、各車載カメラによる撮像画像毎の平均輝度を検出し、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の補正（調整）を行うものが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３２４２３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に提案されている車両周辺映像表示装置によれば、複数の撮像画像のうち一部の撮像画像に影が含まれている場合には、この一部の撮像画像の平均輝度は他の撮像画像の平均輝度と比較して著しく低くなるが、このような場合であっても、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の調整が行われるため、撮像画像に影が含まれていることによる著しい輝度の低下が、結果として合成画像全体の輝度低下を招くことになるという問題があった。
【０００６】
本発明は上記事情に鑑みなされたものであり、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる車両周辺映像表示装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明に係る車両周辺映像表示装置は、合成画像に影が含まれているか否かを判定し、影が含まれている場合には、合成画像を構成する複数の撮像画像のうち影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて、合成画像として合成される撮像画像毎の平均輝度を調整し、調整が行われた後の撮像画像に基づいて生成された合成画像を表示するものである。
【０００８】
すなわち、本発明に係る車両周辺映像表示装置は、互いに異なる方向の車両周辺を撮像する複数の車載カメラと、前記車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成する画像合成手段と、前記撮像画像毎の輝度を調整する輝度調整手段と、前記輝度の調整が行われた後の前記撮像画像に基づいて前記画像合成手段により生成された前記合成画像を表示する表示手段と、を備え、前記輝度調整手段は、前記撮像画像毎の平均輝度を検出する輝度検出部と、前記合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には前記合成画像を構成する複数の前記撮像画像の中から前記影が含まれている画像を特定する影判定部と、前記影判定部が前記影が含まれている画像を特定した場合、前記影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて前記撮像画像毎の輝度を調整する調整部と、を有していることを特徴とする。
【０００９】
ここで、「平均輝度」とは、撮像画像全体の輝度の平均値でもよいし、あるいは、撮像画像の一部分である特定の小領域を撮像画像を代表する領域として、この特定の小領域の輝度の平均値であってもよい。
【００１０】
このように構成された本発明に係る車両周辺映像表示装置によれば、影判定部が、合成画像を構成する撮像画像の中から影が含まれている画像を特定した場合には、調整部が、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整し、画像合成手段が、輝度が調整された撮像画像に基づいて合成画像を生成し、表示手段がこの生成された合成画像を表示するため、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【発明の効果】
【００１１】
本発明に係る車両周辺映像表示装置によれば、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の車両周辺映像表示装置の構成を示すブロック図である。
【図２】図１の車載カメラの設置位置を説明する説明図である。
【図３】図２の車載カメラによる撮像画像に基づいて生成された合成画像を例示する図である。
【図４】図１の輝度調整手段の構成を示すブロック図である。
【図５】（ａ）は、一部の撮像画像に影が含まれている状況を示す合成画像の一例であり、（ｂ）は、図５（ａ）に示す状況であって、従来の車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【図６】図１の車両周辺映像表示装置による輝度調整処理の流れを説明するフローチャートである。
【図７】図４の輝度検出部が撮像画像毎の平均輝度を検出するために、予め特定された小領域を例示する図である。
【図８】（ａ）は、一部の撮像画像に影が含まれている状況を示すための合成画像の一例であり、（ｂ）は、図８（ａ）に示す状況であって、図１に示す車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の車両周辺映像表示装置を実現する実施の形態を、図面に基づいて説明する。
［全体の構成］
図１は、本実施形態の車両周辺映像表示装置１００の構成を示すブロック図であり、図２は、図１の車載カメラ１の設置位置を説明する説明図であり、図３は、図２の車載カメラ１による撮像画像に基づいて生成された合成画像を例示する図である。
【００１４】
図１に示すように、本実施形態の車両周辺映像表示装置１００は、車載カメラ１と、車載カメラ１により撮像された複数の撮像画像に対して信号処理を行う画像信号処理手段２と、画像信号処理手段２により信号処理が行われた後の画像を表示するモニタ３（表示手段）と、を有する。
【００１５】
車載カメラ１は、図２に示すように、車両周辺映像表示装置１００が設けられた車両Ａの前面のバンパー位置等に設けられたフロントカメラ１ａ、車両Ａの左側面のドアミラー位置等に設けられた左サイドカメラ１ｂ、車両Ａの後面のバンパー位置等に設けらたリアカメラ１ｃ、および車両Ａの右側面のドアミラー位置等に設けられた右サイドカメラ１ｄの４台により構成され、これらは互いに異なる方向の車両Ａの周辺を撮像する。以下、フロントカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃおよび右サイドカメラ１ｄの４台のカメラを、各カメラ１ａ〜１ｄという。
【００１６】
画像信号処理手段２は、図１に示すように、Ａ／Ｄ変換器４ａ〜４ｄ、デコーダ５ａ〜５ｄ（調整部）、座標変換器６ａ〜６ｄ、画像合成手段７、エンコーダ８、Ｄ／Ａ変換器９および目標輝度算出手段１０、を備えている。また、デコーダ５ａ〜５ｄおよび目標輝度算出手段１０を輝度調整手段２０とする。
【００１７】
Ａ／Ｄ変換器４ａ〜４ｄは、それぞれ対応する各カメラ１ａ〜１ｄに接続され、各カメラ１ａ〜１ｄによる撮像画像のアナログ信号をアナログデジタル変換する。
【００１８】
デコーダ５ａ〜５ｄは、それぞれ対応するＡ／Ｄ変換器４ａ〜４ｄに接続され、Ａ／Ｄ変換器４ａ〜４ｄからの入力信号に対して、画像合成手段７およびデコーダ５ａ〜５ｄに接続された目標輝度算出手段１０から出力される目標輝度値の信号（デコーダパラメータ）に基づいてデコードすることにより、撮像画像毎に輝度の調整を行なう。
【００１９】
なお、この目標輝度算出手段１０およびデコーダ５ａ〜５ｄを合わせた輝度調整手段２０の詳細な構成についての説明は後述する。
【００２０】
また、座標変換器６ａ〜６ｄは、それぞれ対応するデコーダ５ａ〜５ｄに接続され、デコーダ５ａ〜５ｄからの輝度の調整が行われた後の入力信号に対して、図示しないＲＯＭ等に格納された視点変換テーブルに従い座標変換処理により俯瞰画像（車両の上方の仮想点から下方を見下ろしたときに観察される画像）を生成する。
【００２１】
画像合成手段７は、座標変換器６ａ〜６ｄからの入力信号（輝度の調整および座標変換処理が行われた後の複数の撮像画像の信号）に基づいて、例えば図３に示すような単一の合成画像として俯瞰画像を生成する。
【００２２】
エンコーダ８は、画像合成手段７から入力された合成画像の信号をエンコードしてＤ／Ａ変換器９に出力し、Ｄ／Ａ変換器９は、エンコーダ８から入力された信号をデジタルアナログ変換し、モニタ３に出力する。
【００２３】
モニタ３は、車両Ａの車室内に設けられ、Ｄ／Ａ変換器９から入力された合成画像の信号に基づいて、合成画像を表示する。
［輝度調整手段の詳細な構成］
図４は、図１の輝度調整手段２０の構成を示すブロック図である。
【００２４】
輝度調整手段２０のうち目標輝度算出手段１０は、図４に示すように、輝度検出部１１ａ〜１１ｄ、比較判定部１２、時計１３（日時情報取得部）、ナビゲーション装置１４（位置方位検出部）、影判定部１５、平均輝度算出部１６およびデコーダパラメータ算出部１７、を有する。
【００２５】
輝度検出部１１ａ〜１１ｄは、合成画像を構成する各カメラ１ａ〜１ｄによる撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを検出する。
【００２６】
すなわち、輝度検出部１１ａはフロントカメラ１ａによる撮像画像の平均輝度Ｅaを検出し、輝度検出部１１ｂは左サイドカメラ１ｂによる撮像画像の平均輝度Ｅbを検出し、輝度検出部１１ｃはリアカメラ１ｃによる撮像画像の平均輝度Ｅcを検出し、輝度検出部１１ｄは右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdを検出する。
【００２７】
比較判定部１２は、輝度検出部１１ａ〜１１ｄにより検出された各撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち、著しく低い平均輝度（例えば、全ての平均輝度の平均値の所定割合より低い平均輝度）が有るか否かを比較判定する。
【００２８】
また、影判定部１５は、比較判定部１２による比較結果に基づいて合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には、時計１３による時刻情報、ナビゲーション装置１４による車両Ａの位置情報および方位情報に基づいて、合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定する。
【００２９】
平均輝度算出部１６は、輝度検出部１１ａ〜１１ｄにより検出された各撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdおよび影判定部１５による判定結果に基づいて、撮像画像の輝度を調整するための目標輝度値としての平均輝度Ｅ2を算出する。
【００３０】
デコーダパラメータ算出部１７は、平均輝度算出部１６により算出された平均輝度Ｅ2に基づいて目標輝度値の信号（デコーダパラメータ）を算出し、デコーダ５ａ〜５ｄに出力する。
【００３１】
次に、車両周辺映像表示装置１００の作用について、［全体の流れ］および［輝度調整処理］に分けて説明する。
［全体の流れ］
各カメラ１ａ〜１ｄにより車両Ａの周辺が撮像されると、各々の撮像画像はＡ／Ｄ変換器４ａ〜４ｄによりデジタル信号に変換されて、デコーダ５ａ〜５ｄに出力される。
【００３２】
そして、デコーダ５ａ〜５ｄが、目標輝度算出手段１０のうちデコーダパラメータ算出部１７により出力されたデコーダパラメータに基づいて輝度の調整を行い、輝度の調整が行われた後の撮像画像を座標変換器６ａ〜６ｄに出力する。
【００３３】
さらに、座標変換器６ａ〜６ｄが、輝度の調整が行われた後の撮像画像が俯瞰画像となるように座標変換して画像合成手段７に出力する。そして、画像合成手段７が、入力された複数の撮像画像の信号に基づいて単一の合成画像を生成する。
【００３４】
このように生成された合成画像は、エンコーダ８およびＤ／Ａ変換器９を経由して、車室内のモニタ３に表示される。
［輝度調整処理］
図５（ａ）は、一部の撮像画像に影が含まれている状況を示す合成画像の一例であり、図５（ｂ）は、図５（ａ）に示す状況であって、従来の車両周辺映像表示装置による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【００３５】
例えば、従来の車両周辺映像表示装置によれば、図５（ａ）に示すように、一部の撮像画像に影が含まれている場合には、隣接する車載カメラによる撮像画像間で平均輝度が等しくなるように平均輝度の調整が行われるため、輝度の調整が行われた後の撮像画像に基づいて生成された合成画像は、図５（ｂ）に示すように、合成画像全体の輝度低下を招く。
【００３６】
これに対し、本実施形態の車両周辺映像表示装置１００では、以下のような輝度調整処理を行うことにより、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【００３７】
図６は、車両周辺映像表示装置１００による輝度調整処理の流れを説明するフローチャートであり、図７は、輝度検出部１１ａ〜１１ｄが撮像画像毎の平均輝度を検出するために、予め特定された小領域を例示する図であり、図８（ａ）は、一部の撮像画像に影が含まれている状況を示すための合成画像の一例であり、図８（ｂ）は、図８（ａ）に示す状況であって、車両周辺映像表示装置１００による輝度の調整が行われた後の撮像画像に基づいて生成され、表示された合成画像の一例を示す図である。
【００３８】
画像合成手段７により合成画像が生成されると、輝度調整手段２０が、この合成画像の信号が目標輝度算出手段１０に出力されて輝度調整処理を開始する。
【００３９】
まず、図６に示すように、輝度検出部１１ａ〜１１ｄは、それぞれ対応する各カメラ１ａ〜１ｄによる撮像画像（各カメラ表示領域）の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを検出する（ステップＳ１）。
【００４０】
このとき、輝度検出部１１ａ〜１１ｄは、撮像画像毎の全体の輝度の平均値を算出することも可能であるが、演算処理量を減らして処理を迅速にするため、例えば、図７に示す８つの小領域（ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｄ１、ｄ２）のように、合成画像が生成された場合の隣接する撮像画像同士の境界付近である複数の小領域を予め特定し、この複数の特定された小領域毎の輝度の平均値を、その撮像画像の平均輝度とすることも可能である。
【００４１】
すなわち、小領域ａ１、ａ２の輝度の平均値を、フロントカメラ１ａによる撮像画像の平均輝度Ｅaとし、小領域ｂ１、ｂ２の輝度の平均値を、左サイドカメラ１ｂによる撮像画像の平均輝度Ｅbとし、小領域ｃ１、ｃ２の輝度の平均値を、リアカメラ１ｃによる撮像画像の平均輝度Ｅcとし、小領域ｄ１、ｄ２の輝度の平均値を、右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdとすることができる。
【００４２】
このようにして検出された平均輝度Ｅa、Ｅb、Ｅc、Ｅdが比較判定部１２に出力されると、比較判定部１２がこれらの平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定し、その結果を影判定部１５に出力する（ステップＳ２）。
【００４３】
そして、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定した場合には、ステップＳ３に移行し、影判定部１５が、平均輝度が所定割合より低い撮像画像に影が含まれているか否かを判定する（ステップＳ３）。
【００４４】
具体的には、まず、影判定部１５は、ナビゲーション装置１４により検出された車両Ａの位置および時計１３により取得された日時情報に基づいて、車両Ａの位置を基準とした太陽の方位を特定する。そして、影判定部１５は、特定された太陽の方位およびナビゲーション装置１４により検出された車両Ａが向いている方位に基づいて、車両Ａの影が現れる方位を特定する。さらに、影判定部１５は、比較判定部１２が平均輝度が所定割合（Ｅ1／４）より低いと判定した撮像画像が、車両Ａの影が現れる方位に対応した撮像画像であるか否かを判定する。
【００４５】
例えば、午後３時に日本では太陽は西の方位に位置するため、車両Ａが北を向いているとすると、東の方位（すなわち右サイドカメラ１ｄが撮像する方位）が、車両Ａの影が現れる方位であると特定される。
【００４６】
すなわち、ステップＳ２において、比較判定部１２が、この右サイドカメラ１ｄによる撮像画像の平均輝度Ｅdが所定割合よりも低い（Ｅd＜（Ｅ1／４））と比較判定した場合であって、ステップＳ３において、影判定部１５が、右サイドカメラ１ｄが撮像する方位が車両Ａの影が現れる方位であると特定した場合には、影判定部１５は、右サイドカメラ１ｄによる撮像画像に影が含まれていると判定し、ステップＳ４に移行する。
【００４７】
さらに、平均輝度算出部１６が、目標輝度値として、影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値を算出する（ステップＳ４）。
【００４８】
上記の例であれば、右サイドカメラ１ｄによる撮像画像に影が含まれていると影判定部１５が判定したため、フロントカメラ１ａ、左サイドカメラ１ｂ、リアカメラ１ｃによる撮像画像の平均輝度Ｅa、Ｅb、Ｅcの平均値（（Ｅa＋Ｅb＋Ｅc）／３）を目標輝度値である平均輝度Ｅ2として、平均輝度算出部１６が算出するＥ2（＝（Ｅa＋Ｅb＋Ｅc）／３）。
【００４９】
一方、ステップＳ２において、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が無いと判定し、合成画像に影が含まれていないと判定した場合、または、ステップＳ２において、比較判定部１２が、平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定したが、ステップＳ３において、影判定部１５が、この平均輝度が所定割合より低い撮像画像が車両Ａの影が現れる方位に対応した撮像画像ではないと判定した場合は、ステップＳ５に移行する。
【００５０】
そして、ステップＳ５では、平均輝度算出部１６が、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）を目標輝度値である平均輝度Ｅ2とするＥ2（＝Ｅ1）（ステップＳ５）。
【００５１】
その後、デコーダパラメータ算出部１７が、平均輝度算出部１６により算出された目標輝度値としての平均輝度Ｅ2に基づいてデコーダパラメータを算出してデコーダ５ａ〜５ｄに出力し、デコーダ５ａ〜５ｄがこのデコーダパラメータに基づいて、撮像画像毎の輝度の調整を行う（ステップＳ６）。
【００５２】
すなわち、図８（ａ）に示すように、一部の撮像画像に影が含まれている場合（ステップＳ３、Ｓ４を経由してステップＳ６に移行してきた場合）、デコーダ５ａ〜５ｄは、影が含まれている画像を除いた撮像画像の平均輝度Ｅa、Ｅb、Ｅcが目標輝度値としての平均輝度Ｅ2（＝（Ｅa＋Ｅb＋Ｅc）／３）となるように輝度の調整を行なう。そして、この輝度の調整が行われた後の撮像画像に基づいて生成された合成画像は、図８（ｂ）に示すような合成画像となる。
【００５３】
一方、合成画像に影が含まれていない場合（ステップＳ５を経由してステップＳ６に移行してきた場合）は、デコーダ５ａ〜５ｄは、全ての撮像画像の平均輝度Ｅa、Ｅb、Ｅc、Ｅdが目標輝度値としての平均輝度Ｅ2（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）となるように輝度の調整を行う。
【００５４】
その後、画像合成手段７により生成された合成画像が再び目標輝度算出手段１０に出力される場合には、最初から輝度調整処理が開始され、ステップＳ１〜ステップＳ６が繰り返される。
【００５５】
一方、車両周辺映像表示装置１００のスイッチがＯＦＦに切り替えられる等して、画像合成手段７により生成された合成画像が目標輝度算出手段１０に出力されない場合には、輝度調整処理が終了する（ステップＳ７）。
【００５６】
なお、上述した本実施形態では、比較判定部１２は、各撮像画像の平均輝度のうち、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定することを説明した。
【００５７】
しかし、本発明に係る車両周辺映像表示装置は必ずしもこのような構成に限定されず、各撮像画像の平均輝度のうち著しく低い平均輝度が有るか否かを比較判定することができれば、他の基準値を採用することも可能である。
【００５８】
また、本実施形態では、ステップＳ２において、比較判定部１２が撮像画像毎の平均輝度の比較判定を行った後に、ステップＳ３において、影判定部１５が太陽の方位等に基づいて車両Ａの影が現れる方位を特定し、輝度の低い撮像画像に影が含まれているか否かを判定することを説明した。
【００５９】
しかし、本発明の車両周辺映像表示装置はこのような形態に限定されるものではなく、例えば、影判定部１５が車両Ａの影が現れる方位を特定した後に、比較判定部１２が、この影が現れる方位に対応した撮像画像の平均輝度を他の撮像画像の平均輝度と比較判定することにより、撮像画像に影が含まれているか否かを判定する構成としてもよい。
【００６０】
さらに、上述した本実施形態では、車載カメラが４台の場合について説明したが、４台に限定されるものではなく、複数の車載カメラが設けられていればよい。
【００６１】
このように構成された本実施形態に係る車両周辺映像表示装置１００によれば、影判定部１５が、合成画像を構成する複数の撮像画像の中から影が含まれている画像を特定した場合には、デコーダ５ａ〜５ｄが、影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて撮像画像毎の輝度を調整し、画像合成手段７が、輝度が調整された撮像画像に基づいて合成画像を生成し、モニタ３が生成された合成画像を表示するため、一部の撮像画像に影が含まれていることによる合成画像全体の輝度低下を防ぐことができる。
【００６２】
また、デコーダ５ａ〜５ｄは、影判定部１５が合成画像に影が含まれていないと判定した場合には、撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdを、全ての平均輝度の平均値Ｅ2（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）と等しくなるように調整するため、各カメラ１ａ〜１ｄ毎の個体差によって生じる撮像画像間の輝度の差異が解消され見やすい合成画像を生成することができる。
【００６３】
一方、影判定部１５が合成画像に影が含まれていると判定し、影が含まれている画像を特定した場合には、影が含まれている画像を除いた残りの撮像画像の平均輝度（例えば、Ｅa、Ｅb、Ｅc）を、影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値Ｅ2（＝（Ｅa＋Ｅb＋Ｅc）／３）と等しくなるように調整するため、影が含まれている画像を除いた残りの撮像画像間の輝度の差異が解消され見やすい合成画像を生成することができ、かつ、影が含まれている撮像画像については輝度の調整が行われないため影の部分の輝度が高くなることを防ぎ、運転者に対して影を正確に認識させることができる。
【００６４】
さらに、輝度調整手段２０は、撮像画像毎の平均輝度のうちＥa、Ｅb、Ｅc、Ｅd、全ての平均輝度の平均値Ｅ1（＝（Ｅa＋Ｅb＋Ｅc＋Ｅd）／４）の所定割合（例えば、Ｅ1／４）より低い平均輝度が有るか否かを比較判定する比較判定部１２を有し、影判定部１５は、比較判定部１２が所定割合（Ｅ1／４）より低い平均輝度が無いと判定した場合には合成画像に影が含まれていないと判定するため、合成画像に影が映っていないことを迅速に判定することができる。
【００６５】
そして、影判定部１５は、比較判定部１２が平均輝度Ｅa、Ｅb、Ｅc、Ｅdのうち所定割合（Ｅ1／４）より低い平均輝度が有ると判定した場合には、位置方位検出部１４により検出された車両Ａの位置および日時情報取得部１３により取得された日時情報に基づいて車両Ａの位置を基準とした太陽の方位を特定し、太陽の方位および位置方位検出部１４により検出された車両Ａが向いている方位に基づいて車両Ａの影が現れる方位を特定し、所定割合（Ｅ1／４）より低い平均輝度である撮像画像が車両Ａの影が現れる方位に対応した撮像画像である場合には、所定割合（Ｅ1／４）より低い平均輝度である撮像画像が車両Ａの影が含まれている画像であると特定するため、影が含まれている撮像画像の特定を正確に行うことができる。
【００６６】
また、撮像画像毎の平均輝度Ｅa、Ｅb、Ｅc、Ｅdは、撮像画像の一部分である特定の小領域（例えば、小領域ａ１、ａ２、ｂ１、ｂ２、ｃ１、ｃ２、ｄ１、ｄ２）の平均輝度とすることにより、平均輝度を算出するための領域の面積が小さくなるため、演算処理を軽減し、処理を迅速にすることができる。
【００６７】
さらに、合成画像が生成された場合に隣接する撮像画像同士の境界付近に（すなわち、撮像画像毎の輝度の差異が目立ちやすい部分）、この特定の小領域を設定することにより、一層見やすい合成画像を生成することができる。
（変形例１）
本発明の車両周辺映像表示装置は本実施形態の形態に限定されるものではなく、例えば、輝度調整手段２０は、所定時間以上継続して同一の撮像画像が、影が含まれている画像であると影判定部１５により特定された場合に、撮像画像毎の平均輝度を調整する構成としてもよい。
【００６８】
このように構成された車両周辺映像表示装置によれば、同一の撮像画像に所定時間以上継続して影が含まれていない場合には平均輝度の調整が行われないため、モニタ３に表示される合成画像の輝度が頻繁に変化することによるちらつき感を運転者に与えるのを防ぐことができる。
【符号の説明】
【００６９】
１ 車載カメラ
５ａ，５ｂ，５ｃ，５ｄ デコーダ（調整部）
１０ 目標輝度算出手段
１１ａ，１１ｂ，１１ｃ，１１ｄ 輝度検出部
１２ 比較判定部
１３ 時計（日時情報取得部）
１４ ナビゲーション装置（位置方位検出部）
１５ 影判定部
１６ 平均輝度算出部
１７ デコーダパラメータ算出部
２０ 輝度調整手段
【特許請求の範囲】
【請求項１】
互いに異なる方向の車両周辺を撮像する複数の車載カメラと、前記車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成する画像合成手段と、前記撮像画像毎の輝度を調整する輝度調整手段と、前記輝度の調整が行われた後の前記撮像画像に基づいて前記画像合成手段により生成された前記合成画像を表示する表示手段と、を備え、
前記輝度調整手段は、前記撮像画像毎の平均輝度を検出する輝度検出部と、前記合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には前記合成画像を構成する複数の前記撮像画像の中から前記影が含まれている画像を特定する影判定部と、前記影判定部が前記影が含まれている画像を特定した場合、前記影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて前記撮像画像毎の輝度を調整する調整部と、を有していることを特徴とする車両周辺映像表示装置。
【請求項２】
前記調整部は、前記影判定部が前記合成画像に影が含まれていないと判定した場合には、前記撮像画像毎の前記平均輝度を、全ての前記平均輝度の平均値と等しくなるように調整し、前記影判定部が前記合成画像に影が含まれていると判定し、前記影が含まれている画像を特定した場合には、前記影が含まれている画像を除いた残りの撮像画像の平均輝度を、前記影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値と等しくなるように調整することを特徴とする請求項１に記載の車両周辺映像表示装置。
【請求項３】
前記輝度調整手段は、前記撮像画像毎の前記平均輝度のうち、全ての前記平均輝度の平均値の所定割合より低い平均輝度が有るか否かを比較判定する比較判定部を有し、
前記影判定部は、前記比較判定部が前記所定割合より低い平均輝度が無いと判定した場合には前記合成画像に影が含まれていないと判定することを特徴とする請求項１または請求項２に記載の車両周辺映像表示装置。
【請求項４】
前記輝度調整手段は、前記車両の位置および前記車両が向いている方位を検出する位置方位検出部と、日時情報を取得する日時情報取得部と、を有し、
前記影判定部は、前記比較判定部が前記平均輝度のうち前記所定割合より低い平均輝度が有ると判定した場合には、前記位置方位検出部により検出された前記車両の位置および前記日時情報取得部により取得された前記日時情報に基づいて前記車両の位置を基準とした太陽の方位を特定し、前記太陽の方位および前記位置方位検出部により検出された前記車両が向いている方位に基づいて前記車両の影が現れる方位を特定し、前記所定割合より低い平均輝度である撮像画像が前記車両の影が現れる方位に対応した撮像画像である場合には、前記所定割合より低い平均輝度である撮像画像が前記車両の影が含まれている画像であると特定することを特徴とする請求項３に記載の車両周辺映像表示装置。
【請求項５】
前記輝度調整手段は、所定時間以上継続して同一の撮像画像が前記影が含まれている画像であると前記影判定部により特定された場合に、前記撮像画像毎の前記平均輝度を調整することを特徴とする請求項１から請求項４のいずれか１項に記載の車両周辺映像表示装置。
【請求項６】
前記撮像画像毎の前記平均輝度は、前記撮像画像の一部分である特定の小領域の平均輝度であることを特徴とする請求項１から請求項５のいずれか１項に記載の車両周辺映像表示装置。
【請求項１】
互いに異なる方向の車両周辺を撮像する複数の車載カメラと、前記車載カメラにより撮像された複数の撮像画像に基づいて単一の合成画像を生成する画像合成手段と、前記撮像画像毎の輝度を調整する輝度調整手段と、前記輝度の調整が行われた後の前記撮像画像に基づいて前記画像合成手段により生成された前記合成画像を表示する表示手段と、を備え、
前記輝度調整手段は、前記撮像画像毎の平均輝度を検出する輝度検出部と、前記合成画像に影が含まれているか否かを判定し、影が含まれていると判定した場合には前記合成画像を構成する複数の前記撮像画像の中から前記影が含まれている画像を特定する影判定部と、前記影判定部が前記影が含まれている画像を特定した場合、前記影が含まれている画像を除いた残りの撮像画像の平均輝度に基づいて前記撮像画像毎の輝度を調整する調整部と、を有していることを特徴とする車両周辺映像表示装置。
【請求項２】
前記調整部は、前記影判定部が前記合成画像に影が含まれていないと判定した場合には、前記撮像画像毎の前記平均輝度を、全ての前記平均輝度の平均値と等しくなるように調整し、前記影判定部が前記合成画像に影が含まれていると判定し、前記影が含まれている画像を特定した場合には、前記影が含まれている画像を除いた残りの撮像画像の平均輝度を、前記影が含まれている画像を除いた残りの撮像画像の平均輝度の平均値と等しくなるように調整することを特徴とする請求項１に記載の車両周辺映像表示装置。
【請求項３】
前記輝度調整手段は、前記撮像画像毎の前記平均輝度のうち、全ての前記平均輝度の平均値の所定割合より低い平均輝度が有るか否かを比較判定する比較判定部を有し、
前記影判定部は、前記比較判定部が前記所定割合より低い平均輝度が無いと判定した場合には前記合成画像に影が含まれていないと判定することを特徴とする請求項１または請求項２に記載の車両周辺映像表示装置。
【請求項４】
前記輝度調整手段は、前記車両の位置および前記車両が向いている方位を検出する位置方位検出部と、日時情報を取得する日時情報取得部と、を有し、
前記影判定部は、前記比較判定部が前記平均輝度のうち前記所定割合より低い平均輝度が有ると判定した場合には、前記位置方位検出部により検出された前記車両の位置および前記日時情報取得部により取得された前記日時情報に基づいて前記車両の位置を基準とした太陽の方位を特定し、前記太陽の方位および前記位置方位検出部により検出された前記車両が向いている方位に基づいて前記車両の影が現れる方位を特定し、前記所定割合より低い平均輝度である撮像画像が前記車両の影が現れる方位に対応した撮像画像である場合には、前記所定割合より低い平均輝度である撮像画像が前記車両の影が含まれている画像であると特定することを特徴とする請求項３に記載の車両周辺映像表示装置。
【請求項５】
前記輝度調整手段は、所定時間以上継続して同一の撮像画像が前記影が含まれている画像であると前記影判定部により特定された場合に、前記撮像画像毎の前記平均輝度を調整することを特徴とする請求項１から請求項４のいずれか１項に記載の車両周辺映像表示装置。
【請求項６】
前記撮像画像毎の前記平均輝度は、前記撮像画像の一部分である特定の小領域の平均輝度であることを特徴とする請求項１から請求項５のいずれか１項に記載の車両周辺映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図８】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図８】
【公開番号】特開２０１１−２５０３７６（Ｐ２０１１−２５０３７６Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２４３９７（Ｐ２０１０−１２４３９７）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]