車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法
【課題】周囲の光環境に応じた色調整が可能な車載モニタシステムの色調整技術およびその色調整技術を用いた駐車支援技術を提供する。
【解決手段】キャリブレーション時には、テスト画像データがディスプレイＤにテストパターンとして表示され、カメラＣにより光環境測定部材とテストパターンとがキャリブレーション画像として撮影される。キャリブレーション環境判定部１３は、キャリブレーション画像中の光環境測定部材を示す画素に基づき光環境を判定する。キャリブレーション値生成部１４は、光環境とテスト画像データとキャリブレーション画像とに基づきキャリブレーション値を生成する。実使用時には、キャリブレーション値に基づき、表示する画像の色を補正する。
【解決手段】キャリブレーション時には、テスト画像データがディスプレイＤにテストパターンとして表示され、カメラＣにより光環境測定部材とテストパターンとがキャリブレーション画像として撮影される。キャリブレーション環境判定部１３は、キャリブレーション画像中の光環境測定部材を示す画素に基づき光環境を判定する。キャリブレーション値生成部１４は、光環境とテスト画像データとキャリブレーション画像とに基づきキャリブレーション値を生成する。実使用時には、キャリブレーション値に基づき、表示する画像の色を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、その車両の周辺情景を撮影するカメラとカメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整技術、およびその車載モニタシステムを用いた駐車支援技術に関する。
【背景技術】
【０００２】
一般的に、画像等を表示するディスプレイには個々の表示特性があるため、ディスプレイに入力された色とディスプレイに表示された色とは異なっている。また、ディスプレイに表示される色はディスプレイが設置されている周囲の環境光の影響を受けるため、ディスプレイに入力される色とディスプレイに表示される色はさらに異なっている。
【０００３】
このような問題を解決するために、外部の表示装置に表示させた基準色画像と、基準色画像を撮影して得られた撮像画像とを一致させるよう変換する変換係数を取得し、複数の原色信号で構成された被処理画像を変換係数に基づいて色変換する画像処理方法において、１つの原色信号で構成された異なる階調値からなる複数の基準色画像を表示して、夫々の撮像画像の輝度値を測定することにより、原色信号に対するガンマ特性を複数の原色信号の夫々に対して取得し、被処理画像を構成する複数の原色信号をそれぞれ線形信号に逆ガンマ変換し、変換係数に基づいてマトリクス変換し、対応する原色信号に対するガンマ特性に基づいて夫々ガンマ変換し、色変換する画像処理方法がある（特許文献１）。
【０００４】
この特許文献１の技術では、表示装置に表示された基準色画像を撮影し、基準色画像と撮影された画像とが一致するように色補正が行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０１７２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、特許文献１の技術では、表示装置に表示された基準色画像を撮影した画像に基づいて色補正が行われるため、表示装置の表示特性とカメラの入力特性を補正することができる。しかしながら、画像が表示装置に表示される際には、表示装置周辺の光環境の影響を受け、色味が変わるおそれがある。特許文献１の技術では、この点に関して検討が行われていない。
【０００７】
本発明の目的は、このような課題に鑑み、周囲の光環境に応じて色調整を行う機能を備えた車載モニタシステムおよび、そのような車載モニタシステムを用いた駐車支援技術を提供することである。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の車載モニタシステムは、車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムであって、所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示部と、前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定部と、判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成部と、前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正部と、を備えている。
【０００９】
この構成では、テスト画像データがテストパターンとして表示された車載ディスプレイと光環境測定部材とが、カメラによりキャリブレーション画像として撮影される。このキャリブレーション画像から光環境測定部材を表す画素が特定され、この画素の画素値に基づき撮影時、すなわちキャリブレーション時のディスプレイ周囲の光環境が判定される。この判定された光環境、テスト画像データの画素値、およびキャリブレーション画像中のテストパターンを表す画素の画素値に基づき、キャリブレーション値が生成される。このキャリブレーション値は、実使用時にカメラにより撮影された画像をディスプレイに表示する際の色補正に用いられる。これにより、キャリブレーション時の光環境の影響を除去したキャリブレーションを行うことができる。
【００１０】
光環境測定部材としては様々な物を用いることができる。しかしながら、キャリブレーションの簡易化等の観点からは、特別な部材を用いることは望ましくない。そのため、本発明の車載モニタシステムの好適な実施形態の一つでは、前記光環境測定部材は、前記ディスプレイを構成する部材のうち前記表示面以外の部材である。キャリブレーション時にはディスプレイの表示面を撮影する必要があるため、光環境測定部材としてディスプレイのベゼル等の表示面以外の部材を用いると、カメラの撮影範囲を調整するだけでよく、特別な部材を準備する必要がなくなり、キャリブレーションの簡易化に寄与することができる。
【００１１】
ディスプレイ周囲の光環境は、キャリブレーション時だけでなく実使用時にも異なる場合がある。例えば、日中と夜間とでは、ディスプレイ周囲の光環境は全く異なっている。そのため、ディスプレイに同じ画像を表示しても、日中と夜間とでは色の見え方が異なってしまう。そのため、本発明の車載モニタシステムの好適な実施形態の一つでは、前記車両の周囲の光環境が複数の光環境のうちのいずれであるかを判定する光環境判定部を備え、前記補正部は、前記光環境判定部により判定された前記光環境に対応する前記キャリブレーション値に基づき補正パラメータを決定し、当該補正パラメータにより前記撮影画像を補正する。
【００１２】
この構成では、実使用時の光環境を判定し、判定された光環境に対応するキャリブレーション値に基づいた補正パラメータを用いて、ディスプレイに表示する画像の色を補正する。これにより、実使用時の光環境に応じて、最適な色補正を行うことができる。
【００１３】
上述した車載モニタシステムは、駐車支援装置に適用することができる。このような駐車支援装置では、カメラにより撮影された車両周囲の画像に対して駐車支援の指標（ガイド指標等）が重畳表示される。このとき、指標の色により指標の意味を表す場合がある。そのような場合には、ディスプレイに表示される色の見え方が、駐車支援装置が意図する色と異なると、駐車支援の意味が異なるため、好ましくない。また、様々な環境下において、全ての色を正確に表示させることは、一般的には困難である。そのため、本発明の車載モニタシステムを用いた駐車支援装置の好適な実施形態の一つでは、前記撮影画像に駐車支援のためのガイド指標を重畳して前記ディスプレイに表示するガイド指標重畳部を備え、前記テスト画像データの色は、前記ガイド指標の色を含むように決定される。
【００１４】
この構成では、駐車支援に用いるガイド指標の色に応じて、テスト画像データの色が決定される。これにより、少なくともガイド指標に用いられる色は、駐車支援装置が意図する色に近づけることができる。
【００１５】
本発明の車載モニタシステムの技術的特徴は、同様の車載モニタシステムの色調整方法にも利用することができる。例えば、車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整方法であって、所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示ステップと、前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定ステップと、判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成ステップと、前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正ステップと、を備えた車載モニタシステムの色調整方法に用いることができる。当然ながら、このような車載モニタシステムの制御方法にも、上述した車載モニタシステムの付加的特徴を適用することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の駐車支援装置が搭載された車両の図である。
【図２】本発明の駐車支援装置に用いるディスプレイの正面図である。
【図３】本発明の駐車支援装置のキャリブレーションに関する機能部を表す機能ブロック図である。
【図４】本発明の駐車支援装置のキャリブレーションに用いられるテストパターンの例である。
【図５】本発明の駐車支援装置のキャリブレーションの流れを表すフローチャートである。
【図６】本発明の駐車支援装置の駐車支援に関する機能部を表す機能ブロック図である。
【図７】駐車支援のためのガイド指標が重畳された周辺画像の例である。
【図８】本発明の駐車支援装置の駐車支援の流れを表すフローチャートである。
【発明を実施するための形態】
【実施例１】
【００１７】
以下、図面を用いて本発明の車載モニタシステムを用いた駐車支援装置の実施形態を説明する。本実施形態では、図１に示すように、駐車支援装置Ａは車両Ｖに搭載されるカメラＣおよびディスプレイＤにより構成されている。図１に示すように、本実施形態の駐車支援装置Ａは車両Ｖを後進して駐車する際の支援を行うため、実際の使用時（駐車支援時）にはカメラＣは車両Ｖの後方を撮影可能な位置に設置されている。また、図２に示すように、ディスプレイＤは画像等を表示するための表示面Ｄｆと、表示面Ｄｆの周囲を囲うフレーム状のベゼルＤｂ（本発明の光環境測定部材の例）とを有している。ディスプレイＤは、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の様々なデバイスを用いることができるが、車両Ｖにナビゲーションシステムが搭載される場合には、ディスプレイＤはナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
【００１８】
〔キャリブレーション〕
本発明におけるキャリブレーションとは、ディスプレイＤに表示される色がシステムの意図する色となるように調整するための値（本発明におけるキャリブレーション値）を求めるための処理である。なお、キャリブレーションは車両Ｖの生産等の時に行われるものである。
【００１９】
図３は、本実施形態における駐車支援装置Ａのキャリブレーション時に機能する機能部の機能ブロック図である。本実施形態における駐車支援装置Ａは、駐車支援装置Ａ全体の動作を制御する制御部１０、所定のテスト画像データをテストパターンＴＰとしてディスプレイＤに表示させるテストパターン表示部１１、キャリブレーション画像（詳細は後述）を撮影する撮像部１２、キャリブレーション時の光環境を判定するキャリブレーション環境判定部１３、テスト画像データとキャリブレーション画像と判定された光環境とに基づいて色補正パラメータを生成するキャリブレーション値生成部１４、キャリブレーション値生成部１４により生成された色補正パラメータを記憶するパラメータ記憶部２０、および撮像部１２により撮影された画像等を記憶するメモリ２１を備えている。
【００２０】
制御部１０、テストパターン表示部１１、キャリブレーション環境判定部１３、およびキャリブレーション値生成部１４はソフトウェアおよびＥＵＣにより構成されているが、ソフトウェアの一部または全部をハードウェアにより構成しても構わない。また、パラメータ記憶部２０は、フラッシュメモリ等の不揮発性記憶媒体を用いることが好ましい。
【００２１】
テストパターン表示部１１は、制御部１０からの命令に基づき、所定のテスト画像データをディスプレイＤ上にテストパターンＴＰとして表示させる。図４は本実施形態におけるテストパターンＴＰの例である。図に示すように、テストパターンＴＰは複数の領域Ｒから構成されており、各領域Ｒは互いに異なる単一色を有している。なお、本実施形態ではテスト画像データは予め作成されてメモリ２１に記憶されているものとするが、必要に応じて作成したものを用いても構わない。
【００２２】
撮像部１２は、カメラＣのＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサおよびイメージセンサドライバやＡ／Ｄコンバータを中核として構成されている。カメラＣのレンズから入射した光はイメージセンサにより光電変換された後、Ａ／Ｄコンバータ等によりＡ／Ｄ変換され撮影画像が生成される。撮影画像の生成は、制御部１０からの制御により所定フレームレート（例えば、３０ｆｐｓ）で行われる。生成された撮影画像はメモリ２１に一時記憶され、撮影画像が生成された旨は、制御部１０からキャリブレーション環境判定部１３に送られる。なお、キャリブレーション時に撮像部１２により生成された撮影画像を特にキャリブレーション画像と称する。
【００２３】
本発明におけるキャリブレーション画像は、ディスプレイＤの表示面Ｄｆに表示されたテストパターンＴＰと光環境測定部材Ｘとが撮影された撮影画像である。そのため、キャリブレーション時には、カメラＣはディスプレイＤの表示面Ｄｆが撮影可能な位置に一時的に設置される。
【００２４】
キャリブレーション環境判定部１３は、撮像部１２からキャリブレーション画像が生成された旨の通知を受けるとメモリ２１に記憶されたキャリブレーション画像を取得し、このキャリブレーション画像に基づきキャリブレーション時の光環境（以下、キャリブレーション環境と称する）を判定する。判定されたキャリブレーション環境はキャリブレーション値生成部１４に送られる。
【００２５】
キャリブレーション値生成部１４は、キャリブレーション環境判定部１３により判定されたキャリブレーション環境とテスト画像データとキャリブレーション画像中のテストパターンの画素値とに基づいて補正パラメータを生成する。生成された補正パラメータは、補正パラメータ記憶部２０に登録される。
【００２６】
図５は、キャリブレーション時の処理の流れを表すフローチャートである。上述したように、本発明でのキャリブレーションはディスプレイＤの表示面Ｄｆを撮影する必要があるため、車両Ｖの車室内においてディスプレイＤと正対する適当な位置にカメラＣが設置される（＃０１）。
【００２７】
また、キャリブレーション画像の撮影時には、表示面Ｄｆ上のテストパターンＴＰとともに、光環境測定部材Ｘを撮影する必要がある。本発明では、キャリブレーション画像中の光環境測定部材Ｘを示す画素の画素値に基づき、キャリブレーション環境を判定している。そのため、光環境測定部材Ｘの鏡面反射が強い場合には、周囲の情景の写り込み等の影響により、キャリブレーション環境の判定に悪影響を及ぼす可能性がある。したがって、光環境測定部材Ｘの素材は、鏡面反射よりも拡散反射の割合が強い素材が好ましい。このような条件を充足する部材であれば様々な素材の部材を用いることができるが、本実施形態では、光環境測定部材ＸはディスプレイＤのベゼルＤｂを用いる。光環境測定部材Ｘとしては、表示面ＤｆおよびベゼルＤｂ以外のディスプレイＤの部材を用いることや、ディスプレイＤと別体の部材を用いることも可能であるが、ベゼルＤｂを光環境測定部材Ｘとして用いれば、カメラＣの撮影範囲を調整するだけでディスプレイＤの表示面Ｄｆ上のテストパターンＴＰと光環境測定部材Ｘとを同時に撮影でき、他の部材を準備する必要がなく好適である。また、一般的なベゼルは鏡面反射の弱い素材が用いられているため、素材面からも好ましい。したがって、本実施形態では、カメラＣはディスプレイＤのベゼルＤｂが撮影範囲に含まれるように設置される。なお、ベゼルＤｂの大きさが撮像部１２の撮影範囲と略一致するようにカメラＣの位置を設定すると、キャリブレーション画像からベゼルＤｂを検出する際の演算量を低減できるため、好ましい。
【００２８】
また、本実施形態におけるキャリブレーションは２つの異なる光環境下において実施される。一方は日中の光環境に対応する明環境であり、他方は夜間の光環境に対応する暗環境である。そのため、まずキャリブレーション環境を暗環境に設定する（＃０２）。暗環境に設定するためには、例えば車両Ｖの周囲を暗幕等で囲う。
【００２９】
カメラＣの設置が完了すると、オペレータ等により駐車支援装置はキャリブレーションモードに設定される（＃０３）。
【００３０】
制御部１０は、キャリブレーションモードに設定されると、テストパターン表示部１１に対してディスプレイＤにテストパターンＴＰを表示するよう指示を出す。指示を受けたテストパターン表示部１１は、メモリ２１からテスト画像データを取得し、ディスプレイＤに対してテストパターンＴＰを表示する（＃０４）。
【００３１】
また、制御部１０は、撮像部１２に対してキャリブレーション画像を生成するよう指示を出し、これを受けた撮像部１２は、キャリブレーション画像を生成し、メモリ２１に記憶させる（＃０５）。キャリブレーション画像が生成された旨は制御部１０を介してキャリブレーション環境判定部１３に通知される。
【００３２】
キャリブレーション画像が生成された旨の通知を受けたキャリブレーション環境判定部１３は、メモリ２１からキャリブレーション画像を取得し、キャリブレーション環境を判定する。具体的には、キャリブレーション環境判定部１３は以下の処理を行う。まず、キャリブレーション画像からベゼルＤｂを示す画素（以下、ベゼル画素と称する）を特定する（＃０６）。なお、ベゼル画素の特定は、画像認識技術を用いることができるが、カメラＣ（レンズ等も含む）の撮影特性、ベゼルＤｂの大きさ、カメラＣとディスプレイＤとの位置関係等が既知であればベゼル画素の位置が定まるため、画像認識処理を行うことなく特定することができる。
【００３３】
キャリブレーション環境判定部１３は、特定したベゼル画素の画素値に基づいてキャリブレーション環境を判定する。上述したように、本実施形態ではキャリブレーション環境は暗環境と明環境の２つであるため、キャリブレーション環境判定部１３は、各々のベゼル画素の輝度値およびそれらの輝度値の平均値を算出し（＃０７）、輝度値の平均値が所定の閾値ＴＨよりも大きければ明環境（＃０８のYes分岐）、閾値ＴＨ以下であれば暗環境であると判定する（＃０８のNo分岐）。上述したように、現在の状態は暗環境であるため、キャリブレーション環境判定部１３は暗環境であると判定する（＃０９）。判定されたキャリブレーション環境はキャリブレーション値生成部１４に送られる。
【００３４】
キャリブレーション環境判定部１３からキャリブレーション環境を取得したキャリブレーション値生成部１４は、さらにメモリからテスト画像データおよびキャリブレーション画像データを取得する。その後、キャリブレーション値生成部１４は、キャリブレーション画像からテストパターンＴＰを示す画素（以下、テストパターン画素と称する）を特定する（＃１０）。本実施形態のキャリブレーション画像では、ベゼル画素の内側がテストパターン画素となるため、上述したようにベゼル画素が特定できれば、テストパターン画素も特定することができる。
【００３５】
キャリブレーション環境判定部１４は、テストパターン画素を特定すると、テストパターン画素とテストパターン画素が対応するテスト画像データの画素（テスト画像画素と称する）とを比較することによりキャリブレーション値を生成する（＃１１）。テストパターン画素をｑi（ｉ＝１〜ｎ：ｎは全テストパターン画素数）、テストパターン画素ｑiに対応するテスト画像画素をｐi、ディスプレイＤの表示特性およびキャリブレーション環境の影響による色ずれを表す合成関数をｆ（）とすると、ｑi＝ｆ（ｐi）の関係が成り立つ。したがって、関数ｆ（）の逆関数ｆ-1（）がキャリブレーション値となる。厳密には、関数ｆ（）はディスプレイＤの表示特性と表示面Ｄｆの表面の分光反射率に依存する関数となるため、関数ｆ（）を求めることは容易ではない。また、本発明における色調整は運転者の視認性向上が目的であるため、その目的を達成できる程度の色調整が実現できれば十分であり、高精度な色再現は求められない。そのため、本実施形態では、演算を簡単化するために関数ｆ（）を行列Σ∈Ｒ3×3で表される線形演算子と仮定する。すなわち、各画素値は赤要素、緑要素、および青要素の３要素から構成され、ｐi＝[ｒi，ｇi，ｂi]T、ｑi＝[ｒi'，ｇi'，ｂi']Tとすると、
【数１】
と表すことができる。式（１）の両辺からΣ-1をかけると
【数２】
が得られる。上述したようにテストパターン画素はｎ個得られているため、ｎ組の式（２）の関係式が得られる。このｎ組の関係式をまとめると、
【数３】
が得られる。なお、以下の説明では左辺右側の行列（Σ-1に右側からかかっている行列）を表示画素行列、右辺の行列を入力画素行列と称する。
【００３６】
この式（３）を解けば、キャリブレーション値としてのΣ-1が得られる。しかしながら、一般的にはｎは３よりも大きいため、表示画素行列は正方行列ではなく、逆行列を求めることができない。このような場合には、逆行列に代えて疑似逆行列を用いることにより、近似的に解くことができる。行列Ａの疑似逆行列をＡ+と表記し、式（３）をΣ-1について解くと、
【数４】
となる。当然ながら、キャリブレーション値の求め方はこれに限定されるものではなく、様々な公知の手法を用いることができる。
【００３７】
このようにして求められたキャリブレーション値は、特定されたキャリブレーション環境と関連付けられて、パラメータ記憶部２０に記憶される（＃１２）。このとき、制御部１０はパラメータ記憶部２０に記憶されたキャリブレーション値が所定の数に達したか否かを判定し（＃１３）、所定数に達していればキャリブレーションを終了する（＃１３のYes分岐）。
【００３８】
一方、所定数のキャリブレーション値が得られていない場合には（＃１３のNo分岐）、次のキャリブレーション環境におけるキャリブレーション値の生成を行う。上述の例では、所定キャリブレーション値の数は２であるため、所定数が得られていない。したがって、次のキャリブレーション環境、すなわち明環境におけるキャリブレーション値の生成が行われる。このとき、暗幕を取り外す等してキャリブレーション環境を明環境とする（＃１４）。
【００３９】
その後、処理は＃０５に移行し、上述の処理により、明環境下におけるキャリブレーション値が生成される（＃０６〜＃１２）。この時点で所定数のキャリブレーション値が得られたこととなるので（＃１３のYes分岐）、キャリブレーションは終了する。このとき、パラメータ記憶部２０には、暗環境および明環境に対応するキャリブレーション値が記憶されている。
【００４０】
なお、上述の説明では、キャリブレーション画像に基づいてキャリブレーション環境を自動的に認識する場合の例を用いたが、キャリブレーション環境はオペレータ等が明示的に示す構成としても構わない。また、本実施形態では、２つのキャリブレーション環境下でキャリブレーションを行ったが、キャリブレーション環境の数は適宜変更可能である。
【００４１】
〔駐車支援〕
本発明における駐車支援とは、カメラＣにより撮影した車両Ｖの周辺情景に対して駐車操作を行う際の指標を重畳表示することをいう。以下に、図を用いて実際の使用時（駐車支援時）における処理の流れを説明する。なお、上述したように、実際の使用時にはカメラＣは車両Ｖの後方を撮影可能な位置に設置される。
【００４２】
図６は、本発明の駐車支援装置の駐車支援に係る機能部を表す機能ブロック図である。なお、キャリブレーションに係る機能部と同様の機能部には同一の符号を付して、詳細な説明は省略する。図に示すように、本実施形態における駐車支援装置は、ディスプレイＤ周辺の光環境を判定する光環境判定部１５、撮像部１２により撮影された画像（以下、周辺画像と称する）にガイド指標を重畳するガイド指標重畳部１６、光環境判定部１５により判定された光環境に対応するキャリブレーション値に基づく補正パラメータを用いて周辺画像の色補正を行う補正部１７を備えている。光環境判定部１５、ガイド指標重畳部１６、および補正部１７はソフトウェアおよびＥＵＣにより構成されているが、ソフトウェアの一部または全部をハードウェアにより構成しても構わない。
【００４３】
光環境判定部１５は、周辺画像に基づきディスプレイＤが設置されている周辺の光環境（以下、周辺光環境と称する）を判定する。本実施形態では、光環境判定部１５は、周辺光環境がいずれのキャリブレーション環境（本実施形態では、暗環境と明環境）のいずれかであるかを判定する。上述したようにカメラＣは車両Ｖの後方を撮影するよう設置しているため、厳密には周辺画像はディスプレイＤの周辺の光環境を反映していない。しかしながら、上述したように本発明では高精度な色再現は求められておらず、また、ディスプレイＤの周辺の光環境は車両Ｖの周辺の光環境の影響を大きく受けていると考えられるため、周辺画像に基づいて判定される光環境を周辺光環境とみなしている。
【００４４】
ガイド指標重畳部１６は、車両Ｖが後進駐車する際に、周辺画像に駐車支援のためのガイド指標を重畳する。図７はガイド指標が重畳された周辺画像の例である。この例では、ガイド指標として車両後方線ｅ及び後方予測線ｇが重畳されている。車両後方線ｅは、ステアリングＳの操舵角に拘わらず、車両Ｖの後方の所定位置を示す指標である。したがって、カメラＣの設置状態および光学特性等により周辺画像上での位置が定められる。また、この例の車両後方線ｅは、車幅延長線ｅ１、距離目安線としての１ｍ目安線ｅ２とから構成され、緑色で表示される。
【００４５】
一方、後方予測線ｇは、後進する車両ＶのステアリングＳの操舵角に応じた車両Ｖの後端の予測軌跡などを示す指標である。したがって、後方予測線ｇを重畳するために、ガイド指標重畳部１５にはステアリングＳの操舵角を検知するステアリングセンサ（図示せず）からの信号が入力されている。なお、この例の後方予測線ｇは、車両Ｖの後端の予測軌跡を示す後端予測軌跡線ｇ１、および車両Ｖの後方の距離目安線ｇ２（５ｍ位置を表示），ｇ３（３ｍ位置を表示），ｇ４（１ｍを表示）から構成されている。後方予測線ｇは、基本的に黄色で描画されるが、距離目安線ｇ４は、運転者に注意を喚起するために、赤色で描画される。
【００４６】
ガイド指標重畳部１６は、メモリ２１上の周辺画像に対してこのようなガイド指標を重畳し、その旨は補正部１７に通知される。
【００４７】
補正部１７は、光環境判定部１５により判定された周辺光環境に対応するキャリブレーション値をパラメータ記憶部２０から取得し、そのキャリブレーション値に基づいてメモリ２１上の周辺画像の色補正を行う。補正された撮影画像は、ディスプレイＤに送られ、表示面Ｄｆに表示される。
【００４８】
次に図８のフローチャートを用いて駐車支援の処理の流れを説明する。上述したように、本実施形態では車両Ｖを後進させて駐車する際の駐車支援を行うものである。そのため、制御部１０にはシフトレバーＳＬの位置を検知するシフトレバーセンサ（図示せず）からの信号が入力されており、その信号に基づき後進操作を検知すると駐車支援処理が開始される（＃２１のYes分岐）。
【００４９】
制御部１０は、撮像部１１を所定のフレームレートで駆動し、周辺画像を生成させる（＃２２）。生成された周辺画像はメモリ２１を介して光環境判定部１５およびガイド指標重畳部１６に取得される。
【００５０】
周辺画像を取得した光環境判定部１５は、周辺画像の画素値を用いて周辺光環境を判定する（＃２３）。本実施形態では、上述のキャリブレーション環境に対応して、周辺光環境が暗環境であるか明環境であるかを判定する。そのため、周辺画像が明るいか否かを判定することにより、周辺光環境を判定することができる。具体的には、周辺画像の各画素の輝度値を算出し、その輝度値の平均値と所定の閾値とを比較することにより周辺光環境を判定する。なお、輝度値の算出方法は公知の方法を用いることで実現することができる。このようにして判定された周辺光環境は補正部１７に送られる。
【００５１】
一方、周辺画像を取得したガイド指標重畳部１６は、周辺画像に対してガイド指標を重畳する（＃２４）。これにより、図７に示すような周辺画像が生成され、メモリ２１を介して補正部１７に取得される。
【００５２】
周辺光環境とガイド指標が重畳された周辺画像とを取得した補正部１７は、まず周辺光環境に対応するキャリブレーション値に基づき補正パラメータを取得する（＃２５）。本実施形態では、キャリブレーション環境と判定される周辺光環境とは１対１の対応関係にあるため、判定された光環境に対応するキャリブレーション値そのものを補正パラメータとして取得する。すなわち、周辺光環境が明環境であれば、明環境に対応するキャリブレーション値を補正パラメータとし、周辺光環境が暗環境であれば、暗環境に対応するキャリブレーション値を補正パラメータとする。
【００５３】
次に補正部１７は、ガイド指標が重畳された周辺画像に対して、取得した補正パラメータを適用し、色補正を行う（＃２６）。具体的には、周辺画像の画素値[ｒ，ｇ，ｂ] に対して、補正パラメータすなわちキャリブレーション値Σ-1を作用させることにより、補正後の画素値[ｒ'，ｇ'，ｂ']を求める。すなわち、
【数５】
の演算を行う。この演算により、周辺画像の各画素の画素値は周辺環境に適した値に補正される。
【００５４】
このように補正された周辺画像はディスプレイＤに送信され、表示面Ｄｆに表示される（＃２７）。これら一連の処理（＃２２〜＃２７）が駐車完了まで繰り返される（＃２８のYes分岐）。
【００５５】
本実施形態では、上述したように、ガイド指標は色により意味合いが異なっている。そのため、周辺光環境の影響により運転者に知覚される色が本来の色と異なると、運転者が誤った情報を受け取る可能性がある。そのため、少なくともガイド指標に用いられている色は、本来の色として運転者に知覚させる必要がある。そのため、ガイド指標に用いられる色を含むテスト画像データを用いてキャリブレーションを行うことが望ましい。上述の例では、緑、黄、赤が含まれたテスト画像データを用いる。より望ましくは、緑、黄、赤のみから構成されるテスト画像データを用いてキャリブレーションを行う。これにより、運転者はディスプレイＤに表示されるガイド指標の色を正しく知覚することができる。
【００５６】
なお、上述の実施形態では、駐車支援装置を例として説明したが、本発明の車載モニタシステムは他の用途にも適用することができる。
【００５７】
〔別実施形態〕
（１）上述の実施形態では、実際の使用時における光環境判定部１５は撮影画像に基づき車両Ｖの周囲の光環境を判定したが、光環境の判定方法はこれに限定されるものではない。例えば、光環境が明環境または暗環境であることを判定する場合には、車両Ｖの灯火Ｌの点灯状態に基づいて判定することができる。この場合には、光環境判定部１３には灯火Ｌの点灯状態を示す信号が入力される必要がある。
【００５８】
（２）上述の実施形態では、２つのキャリブレーション環境下でキャリブレーション値を求めたが、１つのキャリブレーション環境下でのみキャリブレーション値を求めても構わない。このキャリブレーション値を用いれば、少なくともキャリブレーション時の光環境の影響を排除することができる。
【００５９】
（３）上述の実施形態では、キャリブレーション環境の数と判定する周辺光環境の数とは同数としたが、周辺光環境の数をより多くしても構わない。例えば、キャリブレーション環境数を１とし周辺光環境数を２とすることや、キャリブレーション環境数を２とし周辺光環境数を４とすること等である。この場合には、判定された周辺光環境とその周辺光環境に近いキャリブレーション環境との差異に基づいて、そのキャリブレーション環境に対応するキャリブレーション値から、補正パラメータの推定が行われる。
【００６０】
（４）上述の実施形態では、キャリブレーション環境と同数の周辺光環境を判定したが、判定する周辺光環境の数をより多くしても構わない。この場合には、判定した周辺光環境に対応するキャリブレーション値が得られるとは限らないが、補間等の手法を用いることにより、補正パラメータまたは補正後の画素値を取得することができる。例えば、上述の実施形態のように２つのキャリブレーション環境下でキャリブレーション値が求められており、判定する周辺光環境が暗環境，中間環境、明環境の３つであるとする。このとき、判定された光環境が中間環境であれば、暗環境と明環境に対応する２つのキャリブレーション値を補正パラメータとして取得し、これらの補正パラメータにより各画素に対して２つの補正画素値を算出し、２つの補正画素値から補間（簡単には平均）することで、中間環境に対する補正画像を生成することができる。
【産業上の利用可能性】
【００６１】
本発明は、車載カメラからの映像を車載モニタに表示する際の色調整に利用することができる。
【符号の説明】
【００６２】
Ａ：駐車支援装置（車載モニタシステム）
Ｃ：カメラ
Ｄ：ディスプレイ
Ｄｂ：ベゼル（光環境測定部材）
Ｄｆ：表示面
ＴＰ：テストパターン
Ｖ：車両
Ｘ：光環境測定部材
１１：テストパターン表示部
１３：キャリブレーション環境判定部
１４：キャリブレーション値生成部
１５：光環境判定部
１６：ガイド指標重畳部
１７：補正部
ｅ：車両後方線（ガイド指標）
ｅ１：車幅延長線（ガイド指標）
ｅ２：１ｍ目安線（ガイド指標）
ｇ：後方予測線（ガイド指標）
ｇ１：後端予測軌跡線（ガイド指標）
ｇ２：距離目安線（ガイド指標）
ｇ３：距離目安線（ガイド指標）
ｇ４：距離目安線（ガイド指標）
【技術分野】
【０００１】
本発明は、車両に搭載され、その車両の周辺情景を撮影するカメラとカメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整技術、およびその車載モニタシステムを用いた駐車支援技術に関する。
【背景技術】
【０００２】
一般的に、画像等を表示するディスプレイには個々の表示特性があるため、ディスプレイに入力された色とディスプレイに表示された色とは異なっている。また、ディスプレイに表示される色はディスプレイが設置されている周囲の環境光の影響を受けるため、ディスプレイに入力される色とディスプレイに表示される色はさらに異なっている。
【０００３】
このような問題を解決するために、外部の表示装置に表示させた基準色画像と、基準色画像を撮影して得られた撮像画像とを一致させるよう変換する変換係数を取得し、複数の原色信号で構成された被処理画像を変換係数に基づいて色変換する画像処理方法において、１つの原色信号で構成された異なる階調値からなる複数の基準色画像を表示して、夫々の撮像画像の輝度値を測定することにより、原色信号に対するガンマ特性を複数の原色信号の夫々に対して取得し、被処理画像を構成する複数の原色信号をそれぞれ線形信号に逆ガンマ変換し、変換係数に基づいてマトリクス変換し、対応する原色信号に対するガンマ特性に基づいて夫々ガンマ変換し、色変換する画像処理方法がある（特許文献１）。
【０００４】
この特許文献１の技術では、表示装置に表示された基準色画像を撮影し、基準色画像と撮影された画像とが一致するように色補正が行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０１７２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、特許文献１の技術では、表示装置に表示された基準色画像を撮影した画像に基づいて色補正が行われるため、表示装置の表示特性とカメラの入力特性を補正することができる。しかしながら、画像が表示装置に表示される際には、表示装置周辺の光環境の影響を受け、色味が変わるおそれがある。特許文献１の技術では、この点に関して検討が行われていない。
【０００７】
本発明の目的は、このような課題に鑑み、周囲の光環境に応じて色調整を行う機能を備えた車載モニタシステムおよび、そのような車載モニタシステムを用いた駐車支援技術を提供することである。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の車載モニタシステムは、車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムであって、所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示部と、前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定部と、判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成部と、前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正部と、を備えている。
【０００９】
この構成では、テスト画像データがテストパターンとして表示された車載ディスプレイと光環境測定部材とが、カメラによりキャリブレーション画像として撮影される。このキャリブレーション画像から光環境測定部材を表す画素が特定され、この画素の画素値に基づき撮影時、すなわちキャリブレーション時のディスプレイ周囲の光環境が判定される。この判定された光環境、テスト画像データの画素値、およびキャリブレーション画像中のテストパターンを表す画素の画素値に基づき、キャリブレーション値が生成される。このキャリブレーション値は、実使用時にカメラにより撮影された画像をディスプレイに表示する際の色補正に用いられる。これにより、キャリブレーション時の光環境の影響を除去したキャリブレーションを行うことができる。
【００１０】
光環境測定部材としては様々な物を用いることができる。しかしながら、キャリブレーションの簡易化等の観点からは、特別な部材を用いることは望ましくない。そのため、本発明の車載モニタシステムの好適な実施形態の一つでは、前記光環境測定部材は、前記ディスプレイを構成する部材のうち前記表示面以外の部材である。キャリブレーション時にはディスプレイの表示面を撮影する必要があるため、光環境測定部材としてディスプレイのベゼル等の表示面以外の部材を用いると、カメラの撮影範囲を調整するだけでよく、特別な部材を準備する必要がなくなり、キャリブレーションの簡易化に寄与することができる。
【００１１】
ディスプレイ周囲の光環境は、キャリブレーション時だけでなく実使用時にも異なる場合がある。例えば、日中と夜間とでは、ディスプレイ周囲の光環境は全く異なっている。そのため、ディスプレイに同じ画像を表示しても、日中と夜間とでは色の見え方が異なってしまう。そのため、本発明の車載モニタシステムの好適な実施形態の一つでは、前記車両の周囲の光環境が複数の光環境のうちのいずれであるかを判定する光環境判定部を備え、前記補正部は、前記光環境判定部により判定された前記光環境に対応する前記キャリブレーション値に基づき補正パラメータを決定し、当該補正パラメータにより前記撮影画像を補正する。
【００１２】
この構成では、実使用時の光環境を判定し、判定された光環境に対応するキャリブレーション値に基づいた補正パラメータを用いて、ディスプレイに表示する画像の色を補正する。これにより、実使用時の光環境に応じて、最適な色補正を行うことができる。
【００１３】
上述した車載モニタシステムは、駐車支援装置に適用することができる。このような駐車支援装置では、カメラにより撮影された車両周囲の画像に対して駐車支援の指標（ガイド指標等）が重畳表示される。このとき、指標の色により指標の意味を表す場合がある。そのような場合には、ディスプレイに表示される色の見え方が、駐車支援装置が意図する色と異なると、駐車支援の意味が異なるため、好ましくない。また、様々な環境下において、全ての色を正確に表示させることは、一般的には困難である。そのため、本発明の車載モニタシステムを用いた駐車支援装置の好適な実施形態の一つでは、前記撮影画像に駐車支援のためのガイド指標を重畳して前記ディスプレイに表示するガイド指標重畳部を備え、前記テスト画像データの色は、前記ガイド指標の色を含むように決定される。
【００１４】
この構成では、駐車支援に用いるガイド指標の色に応じて、テスト画像データの色が決定される。これにより、少なくともガイド指標に用いられる色は、駐車支援装置が意図する色に近づけることができる。
【００１５】
本発明の車載モニタシステムの技術的特徴は、同様の車載モニタシステムの色調整方法にも利用することができる。例えば、車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整方法であって、所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示ステップと、前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定ステップと、判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成ステップと、前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正ステップと、を備えた車載モニタシステムの色調整方法に用いることができる。当然ながら、このような車載モニタシステムの制御方法にも、上述した車載モニタシステムの付加的特徴を適用することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の駐車支援装置が搭載された車両の図である。
【図２】本発明の駐車支援装置に用いるディスプレイの正面図である。
【図３】本発明の駐車支援装置のキャリブレーションに関する機能部を表す機能ブロック図である。
【図４】本発明の駐車支援装置のキャリブレーションに用いられるテストパターンの例である。
【図５】本発明の駐車支援装置のキャリブレーションの流れを表すフローチャートである。
【図６】本発明の駐車支援装置の駐車支援に関する機能部を表す機能ブロック図である。
【図７】駐車支援のためのガイド指標が重畳された周辺画像の例である。
【図８】本発明の駐車支援装置の駐車支援の流れを表すフローチャートである。
【発明を実施するための形態】
【実施例１】
【００１７】
以下、図面を用いて本発明の車載モニタシステムを用いた駐車支援装置の実施形態を説明する。本実施形態では、図１に示すように、駐車支援装置Ａは車両Ｖに搭載されるカメラＣおよびディスプレイＤにより構成されている。図１に示すように、本実施形態の駐車支援装置Ａは車両Ｖを後進して駐車する際の支援を行うため、実際の使用時（駐車支援時）にはカメラＣは車両Ｖの後方を撮影可能な位置に設置されている。また、図２に示すように、ディスプレイＤは画像等を表示するための表示面Ｄｆと、表示面Ｄｆの周囲を囲うフレーム状のベゼルＤｂ（本発明の光環境測定部材の例）とを有している。ディスプレイＤは、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の様々なデバイスを用いることができるが、車両Ｖにナビゲーションシステムが搭載される場合には、ディスプレイＤはナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
【００１８】
〔キャリブレーション〕
本発明におけるキャリブレーションとは、ディスプレイＤに表示される色がシステムの意図する色となるように調整するための値（本発明におけるキャリブレーション値）を求めるための処理である。なお、キャリブレーションは車両Ｖの生産等の時に行われるものである。
【００１９】
図３は、本実施形態における駐車支援装置Ａのキャリブレーション時に機能する機能部の機能ブロック図である。本実施形態における駐車支援装置Ａは、駐車支援装置Ａ全体の動作を制御する制御部１０、所定のテスト画像データをテストパターンＴＰとしてディスプレイＤに表示させるテストパターン表示部１１、キャリブレーション画像（詳細は後述）を撮影する撮像部１２、キャリブレーション時の光環境を判定するキャリブレーション環境判定部１３、テスト画像データとキャリブレーション画像と判定された光環境とに基づいて色補正パラメータを生成するキャリブレーション値生成部１４、キャリブレーション値生成部１４により生成された色補正パラメータを記憶するパラメータ記憶部２０、および撮像部１２により撮影された画像等を記憶するメモリ２１を備えている。
【００２０】
制御部１０、テストパターン表示部１１、キャリブレーション環境判定部１３、およびキャリブレーション値生成部１４はソフトウェアおよびＥＵＣにより構成されているが、ソフトウェアの一部または全部をハードウェアにより構成しても構わない。また、パラメータ記憶部２０は、フラッシュメモリ等の不揮発性記憶媒体を用いることが好ましい。
【００２１】
テストパターン表示部１１は、制御部１０からの命令に基づき、所定のテスト画像データをディスプレイＤ上にテストパターンＴＰとして表示させる。図４は本実施形態におけるテストパターンＴＰの例である。図に示すように、テストパターンＴＰは複数の領域Ｒから構成されており、各領域Ｒは互いに異なる単一色を有している。なお、本実施形態ではテスト画像データは予め作成されてメモリ２１に記憶されているものとするが、必要に応じて作成したものを用いても構わない。
【００２２】
撮像部１２は、カメラＣのＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサおよびイメージセンサドライバやＡ／Ｄコンバータを中核として構成されている。カメラＣのレンズから入射した光はイメージセンサにより光電変換された後、Ａ／Ｄコンバータ等によりＡ／Ｄ変換され撮影画像が生成される。撮影画像の生成は、制御部１０からの制御により所定フレームレート（例えば、３０ｆｐｓ）で行われる。生成された撮影画像はメモリ２１に一時記憶され、撮影画像が生成された旨は、制御部１０からキャリブレーション環境判定部１３に送られる。なお、キャリブレーション時に撮像部１２により生成された撮影画像を特にキャリブレーション画像と称する。
【００２３】
本発明におけるキャリブレーション画像は、ディスプレイＤの表示面Ｄｆに表示されたテストパターンＴＰと光環境測定部材Ｘとが撮影された撮影画像である。そのため、キャリブレーション時には、カメラＣはディスプレイＤの表示面Ｄｆが撮影可能な位置に一時的に設置される。
【００２４】
キャリブレーション環境判定部１３は、撮像部１２からキャリブレーション画像が生成された旨の通知を受けるとメモリ２１に記憶されたキャリブレーション画像を取得し、このキャリブレーション画像に基づきキャリブレーション時の光環境（以下、キャリブレーション環境と称する）を判定する。判定されたキャリブレーション環境はキャリブレーション値生成部１４に送られる。
【００２５】
キャリブレーション値生成部１４は、キャリブレーション環境判定部１３により判定されたキャリブレーション環境とテスト画像データとキャリブレーション画像中のテストパターンの画素値とに基づいて補正パラメータを生成する。生成された補正パラメータは、補正パラメータ記憶部２０に登録される。
【００２６】
図５は、キャリブレーション時の処理の流れを表すフローチャートである。上述したように、本発明でのキャリブレーションはディスプレイＤの表示面Ｄｆを撮影する必要があるため、車両Ｖの車室内においてディスプレイＤと正対する適当な位置にカメラＣが設置される（＃０１）。
【００２７】
また、キャリブレーション画像の撮影時には、表示面Ｄｆ上のテストパターンＴＰとともに、光環境測定部材Ｘを撮影する必要がある。本発明では、キャリブレーション画像中の光環境測定部材Ｘを示す画素の画素値に基づき、キャリブレーション環境を判定している。そのため、光環境測定部材Ｘの鏡面反射が強い場合には、周囲の情景の写り込み等の影響により、キャリブレーション環境の判定に悪影響を及ぼす可能性がある。したがって、光環境測定部材Ｘの素材は、鏡面反射よりも拡散反射の割合が強い素材が好ましい。このような条件を充足する部材であれば様々な素材の部材を用いることができるが、本実施形態では、光環境測定部材ＸはディスプレイＤのベゼルＤｂを用いる。光環境測定部材Ｘとしては、表示面ＤｆおよびベゼルＤｂ以外のディスプレイＤの部材を用いることや、ディスプレイＤと別体の部材を用いることも可能であるが、ベゼルＤｂを光環境測定部材Ｘとして用いれば、カメラＣの撮影範囲を調整するだけでディスプレイＤの表示面Ｄｆ上のテストパターンＴＰと光環境測定部材Ｘとを同時に撮影でき、他の部材を準備する必要がなく好適である。また、一般的なベゼルは鏡面反射の弱い素材が用いられているため、素材面からも好ましい。したがって、本実施形態では、カメラＣはディスプレイＤのベゼルＤｂが撮影範囲に含まれるように設置される。なお、ベゼルＤｂの大きさが撮像部１２の撮影範囲と略一致するようにカメラＣの位置を設定すると、キャリブレーション画像からベゼルＤｂを検出する際の演算量を低減できるため、好ましい。
【００２８】
また、本実施形態におけるキャリブレーションは２つの異なる光環境下において実施される。一方は日中の光環境に対応する明環境であり、他方は夜間の光環境に対応する暗環境である。そのため、まずキャリブレーション環境を暗環境に設定する（＃０２）。暗環境に設定するためには、例えば車両Ｖの周囲を暗幕等で囲う。
【００２９】
カメラＣの設置が完了すると、オペレータ等により駐車支援装置はキャリブレーションモードに設定される（＃０３）。
【００３０】
制御部１０は、キャリブレーションモードに設定されると、テストパターン表示部１１に対してディスプレイＤにテストパターンＴＰを表示するよう指示を出す。指示を受けたテストパターン表示部１１は、メモリ２１からテスト画像データを取得し、ディスプレイＤに対してテストパターンＴＰを表示する（＃０４）。
【００３１】
また、制御部１０は、撮像部１２に対してキャリブレーション画像を生成するよう指示を出し、これを受けた撮像部１２は、キャリブレーション画像を生成し、メモリ２１に記憶させる（＃０５）。キャリブレーション画像が生成された旨は制御部１０を介してキャリブレーション環境判定部１３に通知される。
【００３２】
キャリブレーション画像が生成された旨の通知を受けたキャリブレーション環境判定部１３は、メモリ２１からキャリブレーション画像を取得し、キャリブレーション環境を判定する。具体的には、キャリブレーション環境判定部１３は以下の処理を行う。まず、キャリブレーション画像からベゼルＤｂを示す画素（以下、ベゼル画素と称する）を特定する（＃０６）。なお、ベゼル画素の特定は、画像認識技術を用いることができるが、カメラＣ（レンズ等も含む）の撮影特性、ベゼルＤｂの大きさ、カメラＣとディスプレイＤとの位置関係等が既知であればベゼル画素の位置が定まるため、画像認識処理を行うことなく特定することができる。
【００３３】
キャリブレーション環境判定部１３は、特定したベゼル画素の画素値に基づいてキャリブレーション環境を判定する。上述したように、本実施形態ではキャリブレーション環境は暗環境と明環境の２つであるため、キャリブレーション環境判定部１３は、各々のベゼル画素の輝度値およびそれらの輝度値の平均値を算出し（＃０７）、輝度値の平均値が所定の閾値ＴＨよりも大きければ明環境（＃０８のYes分岐）、閾値ＴＨ以下であれば暗環境であると判定する（＃０８のNo分岐）。上述したように、現在の状態は暗環境であるため、キャリブレーション環境判定部１３は暗環境であると判定する（＃０９）。判定されたキャリブレーション環境はキャリブレーション値生成部１４に送られる。
【００３４】
キャリブレーション環境判定部１３からキャリブレーション環境を取得したキャリブレーション値生成部１４は、さらにメモリからテスト画像データおよびキャリブレーション画像データを取得する。その後、キャリブレーション値生成部１４は、キャリブレーション画像からテストパターンＴＰを示す画素（以下、テストパターン画素と称する）を特定する（＃１０）。本実施形態のキャリブレーション画像では、ベゼル画素の内側がテストパターン画素となるため、上述したようにベゼル画素が特定できれば、テストパターン画素も特定することができる。
【００３５】
キャリブレーション環境判定部１４は、テストパターン画素を特定すると、テストパターン画素とテストパターン画素が対応するテスト画像データの画素（テスト画像画素と称する）とを比較することによりキャリブレーション値を生成する（＃１１）。テストパターン画素をｑi（ｉ＝１〜ｎ：ｎは全テストパターン画素数）、テストパターン画素ｑiに対応するテスト画像画素をｐi、ディスプレイＤの表示特性およびキャリブレーション環境の影響による色ずれを表す合成関数をｆ（）とすると、ｑi＝ｆ（ｐi）の関係が成り立つ。したがって、関数ｆ（）の逆関数ｆ-1（）がキャリブレーション値となる。厳密には、関数ｆ（）はディスプレイＤの表示特性と表示面Ｄｆの表面の分光反射率に依存する関数となるため、関数ｆ（）を求めることは容易ではない。また、本発明における色調整は運転者の視認性向上が目的であるため、その目的を達成できる程度の色調整が実現できれば十分であり、高精度な色再現は求められない。そのため、本実施形態では、演算を簡単化するために関数ｆ（）を行列Σ∈Ｒ3×3で表される線形演算子と仮定する。すなわち、各画素値は赤要素、緑要素、および青要素の３要素から構成され、ｐi＝[ｒi，ｇi，ｂi]T、ｑi＝[ｒi'，ｇi'，ｂi']Tとすると、
【数１】
と表すことができる。式（１）の両辺からΣ-1をかけると
【数２】
が得られる。上述したようにテストパターン画素はｎ個得られているため、ｎ組の式（２）の関係式が得られる。このｎ組の関係式をまとめると、
【数３】
が得られる。なお、以下の説明では左辺右側の行列（Σ-1に右側からかかっている行列）を表示画素行列、右辺の行列を入力画素行列と称する。
【００３６】
この式（３）を解けば、キャリブレーション値としてのΣ-1が得られる。しかしながら、一般的にはｎは３よりも大きいため、表示画素行列は正方行列ではなく、逆行列を求めることができない。このような場合には、逆行列に代えて疑似逆行列を用いることにより、近似的に解くことができる。行列Ａの疑似逆行列をＡ+と表記し、式（３）をΣ-1について解くと、
【数４】
となる。当然ながら、キャリブレーション値の求め方はこれに限定されるものではなく、様々な公知の手法を用いることができる。
【００３７】
このようにして求められたキャリブレーション値は、特定されたキャリブレーション環境と関連付けられて、パラメータ記憶部２０に記憶される（＃１２）。このとき、制御部１０はパラメータ記憶部２０に記憶されたキャリブレーション値が所定の数に達したか否かを判定し（＃１３）、所定数に達していればキャリブレーションを終了する（＃１３のYes分岐）。
【００３８】
一方、所定数のキャリブレーション値が得られていない場合には（＃１３のNo分岐）、次のキャリブレーション環境におけるキャリブレーション値の生成を行う。上述の例では、所定キャリブレーション値の数は２であるため、所定数が得られていない。したがって、次のキャリブレーション環境、すなわち明環境におけるキャリブレーション値の生成が行われる。このとき、暗幕を取り外す等してキャリブレーション環境を明環境とする（＃１４）。
【００３９】
その後、処理は＃０５に移行し、上述の処理により、明環境下におけるキャリブレーション値が生成される（＃０６〜＃１２）。この時点で所定数のキャリブレーション値が得られたこととなるので（＃１３のYes分岐）、キャリブレーションは終了する。このとき、パラメータ記憶部２０には、暗環境および明環境に対応するキャリブレーション値が記憶されている。
【００４０】
なお、上述の説明では、キャリブレーション画像に基づいてキャリブレーション環境を自動的に認識する場合の例を用いたが、キャリブレーション環境はオペレータ等が明示的に示す構成としても構わない。また、本実施形態では、２つのキャリブレーション環境下でキャリブレーションを行ったが、キャリブレーション環境の数は適宜変更可能である。
【００４１】
〔駐車支援〕
本発明における駐車支援とは、カメラＣにより撮影した車両Ｖの周辺情景に対して駐車操作を行う際の指標を重畳表示することをいう。以下に、図を用いて実際の使用時（駐車支援時）における処理の流れを説明する。なお、上述したように、実際の使用時にはカメラＣは車両Ｖの後方を撮影可能な位置に設置される。
【００４２】
図６は、本発明の駐車支援装置の駐車支援に係る機能部を表す機能ブロック図である。なお、キャリブレーションに係る機能部と同様の機能部には同一の符号を付して、詳細な説明は省略する。図に示すように、本実施形態における駐車支援装置は、ディスプレイＤ周辺の光環境を判定する光環境判定部１５、撮像部１２により撮影された画像（以下、周辺画像と称する）にガイド指標を重畳するガイド指標重畳部１６、光環境判定部１５により判定された光環境に対応するキャリブレーション値に基づく補正パラメータを用いて周辺画像の色補正を行う補正部１７を備えている。光環境判定部１５、ガイド指標重畳部１６、および補正部１７はソフトウェアおよびＥＵＣにより構成されているが、ソフトウェアの一部または全部をハードウェアにより構成しても構わない。
【００４３】
光環境判定部１５は、周辺画像に基づきディスプレイＤが設置されている周辺の光環境（以下、周辺光環境と称する）を判定する。本実施形態では、光環境判定部１５は、周辺光環境がいずれのキャリブレーション環境（本実施形態では、暗環境と明環境）のいずれかであるかを判定する。上述したようにカメラＣは車両Ｖの後方を撮影するよう設置しているため、厳密には周辺画像はディスプレイＤの周辺の光環境を反映していない。しかしながら、上述したように本発明では高精度な色再現は求められておらず、また、ディスプレイＤの周辺の光環境は車両Ｖの周辺の光環境の影響を大きく受けていると考えられるため、周辺画像に基づいて判定される光環境を周辺光環境とみなしている。
【００４４】
ガイド指標重畳部１６は、車両Ｖが後進駐車する際に、周辺画像に駐車支援のためのガイド指標を重畳する。図７はガイド指標が重畳された周辺画像の例である。この例では、ガイド指標として車両後方線ｅ及び後方予測線ｇが重畳されている。車両後方線ｅは、ステアリングＳの操舵角に拘わらず、車両Ｖの後方の所定位置を示す指標である。したがって、カメラＣの設置状態および光学特性等により周辺画像上での位置が定められる。また、この例の車両後方線ｅは、車幅延長線ｅ１、距離目安線としての１ｍ目安線ｅ２とから構成され、緑色で表示される。
【００４５】
一方、後方予測線ｇは、後進する車両ＶのステアリングＳの操舵角に応じた車両Ｖの後端の予測軌跡などを示す指標である。したがって、後方予測線ｇを重畳するために、ガイド指標重畳部１５にはステアリングＳの操舵角を検知するステアリングセンサ（図示せず）からの信号が入力されている。なお、この例の後方予測線ｇは、車両Ｖの後端の予測軌跡を示す後端予測軌跡線ｇ１、および車両Ｖの後方の距離目安線ｇ２（５ｍ位置を表示），ｇ３（３ｍ位置を表示），ｇ４（１ｍを表示）から構成されている。後方予測線ｇは、基本的に黄色で描画されるが、距離目安線ｇ４は、運転者に注意を喚起するために、赤色で描画される。
【００４６】
ガイド指標重畳部１６は、メモリ２１上の周辺画像に対してこのようなガイド指標を重畳し、その旨は補正部１７に通知される。
【００４７】
補正部１７は、光環境判定部１５により判定された周辺光環境に対応するキャリブレーション値をパラメータ記憶部２０から取得し、そのキャリブレーション値に基づいてメモリ２１上の周辺画像の色補正を行う。補正された撮影画像は、ディスプレイＤに送られ、表示面Ｄｆに表示される。
【００４８】
次に図８のフローチャートを用いて駐車支援の処理の流れを説明する。上述したように、本実施形態では車両Ｖを後進させて駐車する際の駐車支援を行うものである。そのため、制御部１０にはシフトレバーＳＬの位置を検知するシフトレバーセンサ（図示せず）からの信号が入力されており、その信号に基づき後進操作を検知すると駐車支援処理が開始される（＃２１のYes分岐）。
【００４９】
制御部１０は、撮像部１１を所定のフレームレートで駆動し、周辺画像を生成させる（＃２２）。生成された周辺画像はメモリ２１を介して光環境判定部１５およびガイド指標重畳部１６に取得される。
【００５０】
周辺画像を取得した光環境判定部１５は、周辺画像の画素値を用いて周辺光環境を判定する（＃２３）。本実施形態では、上述のキャリブレーション環境に対応して、周辺光環境が暗環境であるか明環境であるかを判定する。そのため、周辺画像が明るいか否かを判定することにより、周辺光環境を判定することができる。具体的には、周辺画像の各画素の輝度値を算出し、その輝度値の平均値と所定の閾値とを比較することにより周辺光環境を判定する。なお、輝度値の算出方法は公知の方法を用いることで実現することができる。このようにして判定された周辺光環境は補正部１７に送られる。
【００５１】
一方、周辺画像を取得したガイド指標重畳部１６は、周辺画像に対してガイド指標を重畳する（＃２４）。これにより、図７に示すような周辺画像が生成され、メモリ２１を介して補正部１７に取得される。
【００５２】
周辺光環境とガイド指標が重畳された周辺画像とを取得した補正部１７は、まず周辺光環境に対応するキャリブレーション値に基づき補正パラメータを取得する（＃２５）。本実施形態では、キャリブレーション環境と判定される周辺光環境とは１対１の対応関係にあるため、判定された光環境に対応するキャリブレーション値そのものを補正パラメータとして取得する。すなわち、周辺光環境が明環境であれば、明環境に対応するキャリブレーション値を補正パラメータとし、周辺光環境が暗環境であれば、暗環境に対応するキャリブレーション値を補正パラメータとする。
【００５３】
次に補正部１７は、ガイド指標が重畳された周辺画像に対して、取得した補正パラメータを適用し、色補正を行う（＃２６）。具体的には、周辺画像の画素値[ｒ，ｇ，ｂ] に対して、補正パラメータすなわちキャリブレーション値Σ-1を作用させることにより、補正後の画素値[ｒ'，ｇ'，ｂ']を求める。すなわち、
【数５】
の演算を行う。この演算により、周辺画像の各画素の画素値は周辺環境に適した値に補正される。
【００５４】
このように補正された周辺画像はディスプレイＤに送信され、表示面Ｄｆに表示される（＃２７）。これら一連の処理（＃２２〜＃２７）が駐車完了まで繰り返される（＃２８のYes分岐）。
【００５５】
本実施形態では、上述したように、ガイド指標は色により意味合いが異なっている。そのため、周辺光環境の影響により運転者に知覚される色が本来の色と異なると、運転者が誤った情報を受け取る可能性がある。そのため、少なくともガイド指標に用いられている色は、本来の色として運転者に知覚させる必要がある。そのため、ガイド指標に用いられる色を含むテスト画像データを用いてキャリブレーションを行うことが望ましい。上述の例では、緑、黄、赤が含まれたテスト画像データを用いる。より望ましくは、緑、黄、赤のみから構成されるテスト画像データを用いてキャリブレーションを行う。これにより、運転者はディスプレイＤに表示されるガイド指標の色を正しく知覚することができる。
【００５６】
なお、上述の実施形態では、駐車支援装置を例として説明したが、本発明の車載モニタシステムは他の用途にも適用することができる。
【００５７】
〔別実施形態〕
（１）上述の実施形態では、実際の使用時における光環境判定部１５は撮影画像に基づき車両Ｖの周囲の光環境を判定したが、光環境の判定方法はこれに限定されるものではない。例えば、光環境が明環境または暗環境であることを判定する場合には、車両Ｖの灯火Ｌの点灯状態に基づいて判定することができる。この場合には、光環境判定部１３には灯火Ｌの点灯状態を示す信号が入力される必要がある。
【００５８】
（２）上述の実施形態では、２つのキャリブレーション環境下でキャリブレーション値を求めたが、１つのキャリブレーション環境下でのみキャリブレーション値を求めても構わない。このキャリブレーション値を用いれば、少なくともキャリブレーション時の光環境の影響を排除することができる。
【００５９】
（３）上述の実施形態では、キャリブレーション環境の数と判定する周辺光環境の数とは同数としたが、周辺光環境の数をより多くしても構わない。例えば、キャリブレーション環境数を１とし周辺光環境数を２とすることや、キャリブレーション環境数を２とし周辺光環境数を４とすること等である。この場合には、判定された周辺光環境とその周辺光環境に近いキャリブレーション環境との差異に基づいて、そのキャリブレーション環境に対応するキャリブレーション値から、補正パラメータの推定が行われる。
【００６０】
（４）上述の実施形態では、キャリブレーション環境と同数の周辺光環境を判定したが、判定する周辺光環境の数をより多くしても構わない。この場合には、判定した周辺光環境に対応するキャリブレーション値が得られるとは限らないが、補間等の手法を用いることにより、補正パラメータまたは補正後の画素値を取得することができる。例えば、上述の実施形態のように２つのキャリブレーション環境下でキャリブレーション値が求められており、判定する周辺光環境が暗環境，中間環境、明環境の３つであるとする。このとき、判定された光環境が中間環境であれば、暗環境と明環境に対応する２つのキャリブレーション値を補正パラメータとして取得し、これらの補正パラメータにより各画素に対して２つの補正画素値を算出し、２つの補正画素値から補間（簡単には平均）することで、中間環境に対する補正画像を生成することができる。
【産業上の利用可能性】
【００６１】
本発明は、車載カメラからの映像を車載モニタに表示する際の色調整に利用することができる。
【符号の説明】
【００６２】
Ａ：駐車支援装置（車載モニタシステム）
Ｃ：カメラ
Ｄ：ディスプレイ
Ｄｂ：ベゼル（光環境測定部材）
Ｄｆ：表示面
ＴＰ：テストパターン
Ｖ：車両
Ｘ：光環境測定部材
１１：テストパターン表示部
１３：キャリブレーション環境判定部
１４：キャリブレーション値生成部
１５：光環境判定部
１６：ガイド指標重畳部
１７：補正部
ｅ：車両後方線（ガイド指標）
ｅ１：車幅延長線（ガイド指標）
ｅ２：１ｍ目安線（ガイド指標）
ｇ：後方予測線（ガイド指標）
ｇ１：後端予測軌跡線（ガイド指標）
ｇ２：距離目安線（ガイド指標）
ｇ３：距離目安線（ガイド指標）
ｇ４：距離目安線（ガイド指標）
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムであって、
所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示部と、
前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定部と、
判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成部と、
前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正部と、を備えた車載モニタシステム。
【請求項２】
前記光環境測定部材は、前記ディスプレイを構成する部材のうち前記表示面以外の部材である請求項１記載の車載モニタシステム。
【請求項３】
前記車両の周囲の光環境が複数の光環境のうちのいずれであるかを判定する光環境判定部を備え、
前記補正部は、前記光環境判定部により判定された前記光環境に対応する前記キャリブレーション値に基づき補正パラメータを決定し、当該補正パラメータにより前記撮影画像を補正する請求項１または２記載の車載モニタシステム。
【請求項４】
請求項１から３のいずれか一項に記載の車載モニタシステムを用いた駐車支援装置であって、
前記撮影画像に駐車支援のためのガイド指標を重畳して前記ディスプレイに表示するガイド指標重畳部を備え、
前記テスト画像データの色は、前記ガイド指標の色を含むように決定される駐車支援装置。
【請求項５】
車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整方法であって、
所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示ステップと、
前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定ステップと、
判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成ステップと、
前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正ステップと、を備えた車載モニタシステムの色調整方法。
【請求項１】
車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムであって、
所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示部と、
前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定部と、
判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成部と、
前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正部と、を備えた車載モニタシステム。
【請求項２】
前記光環境測定部材は、前記ディスプレイを構成する部材のうち前記表示面以外の部材である請求項１記載の車載モニタシステム。
【請求項３】
前記車両の周囲の光環境が複数の光環境のうちのいずれであるかを判定する光環境判定部を備え、
前記補正部は、前記光環境判定部により判定された前記光環境に対応する前記キャリブレーション値に基づき補正パラメータを決定し、当該補正パラメータにより前記撮影画像を補正する請求項１または２記載の車載モニタシステム。
【請求項４】
請求項１から３のいずれか一項に記載の車載モニタシステムを用いた駐車支援装置であって、
前記撮影画像に駐車支援のためのガイド指標を重畳して前記ディスプレイに表示するガイド指標重畳部を備え、
前記テスト画像データの色は、前記ガイド指標の色を含むように決定される駐車支援装置。
【請求項５】
車両に搭載され、当該車両の周辺情景を撮影するカメラと前記カメラにより撮影された撮影画像を表示する表示面を有するディスプレイとを備えた車載モニタシステムの色調整方法であって、
所定のテスト画像データを前記表示面にテストパターンとして出力するテストパターン表示ステップと、
前記カメラによって撮影された、前記テストパターンが表示された前記表示面と前記ディスプレイが設置される周囲の光環境を判定するための光環境測定部材とを含むキャリブレーション画像の中の前記光環境測定部材を示す画素値に基づいて前記光環境を判定するキャリブレーション環境判定ステップと、
判定された前記光環境と前記テスト画像データの画素値と前記キャリブレーション画像の中の前記テストパターンを示す画素値とに基づき、キャリブレーション値を生成するキャリブレーション値生成ステップと、
前記キャリブレーション値に基づき、前記ディスプレイに表示する撮影画像の色を補正する補正ステップと、を備えた車載モニタシステムの色調整方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２８８１９９（Ｐ２０１０−２８８１９９Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１４２３１０（Ｐ２００９−１４２３１０）
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１５日（２００９．６．１５）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]