パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
【課題】生成される合成画像の良否という観点において適切な設置パラメータを取得できる技術を提供する。
【解決手段】画像表示装置１においては、キャリブレーション処理において、ユーザの操作に基づいて、複数の車載カメラのそれぞれに関する設置パラメータが導出される。この設置パラメータと、複数の車載カメラで得られる複数の画像とを利用して、所定の仮想視点からみた車両９の周辺の様子を示す合成画像が生成される。そして、生成された合成画像と、車外カメラ２１で得られた基準画像とを比較し、その比較結果に基づいて設置パラメータの合否が判定される。このように、生成された合成画像を基準画像と比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【解決手段】画像表示装置１においては、キャリブレーション処理において、ユーザの操作に基づいて、複数の車載カメラのそれぞれに関する設置パラメータが導出される。この設置パラメータと、複数の車載カメラで得られる複数の画像とを利用して、所定の仮想視点からみた車両９の周辺の様子を示す合成画像が生成される。そして、生成された合成画像と、車外カメラ２１で得られた基準画像とを比較し、その比較結果に基づいて設置パラメータの合否が判定される。このように、生成された合成画像を基準画像と比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示装置が知られている。この画像表示装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
画像表示装置の車載カメラを車両に設置する場合においては、車両に対する車載カメラの設置上のわずかな誤差に起因して、表示される画像に含まれる被写体像の位置については設計上の位置に対しずれが生じる。このため、キャリブレーション処理を実行することで、車載カメラの実際の設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得し、当該設置パラメータを用いて表示する画像に処理を施すことがなされている（例えば、特許文献１参照。）。
【０００４】
一般に、キャリブレーション処理は、所定形状のマーカを車両の外部に配置した状態で車載カメラが撮影して得られた画像を表示させ、その画像中に含まれるマーカの像の位置をユーザ（画像表示装置を設置する作業員等）が指定することで実行される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６１４６３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示装置が提案されている（例えば、特許文献２参照。）。この画像表示装置では、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【０００７】
このように合成画像の生成のために複数の車載カメラを用いる場合においても、キャリブレーション処理は、複数の車載カメラのそれぞれに関して実行され、車載カメラごとに設置パラメータが取得される。そして、この車載カメラごとの設置パラメータを用いて複数の画像が合成されて合成画像が生成される。したがって、生成される合成画像の良否は、複数の車載カメラのそれぞれの設置パラメータの取得の精度に影響を受ける。
【０００８】
しかしながら、従来、キャリブレーション処理が正確になされたか否かの判定基準（すなわち、設置パラメータの合否の判定基準）が存在せず、生成される合成画像の良否という観点から適切な設置パラメータが取得されていなかった。その結果、車両の周辺の様子を示すのに適さない合成画像が生成される可能性があった。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、生成される合成画像の良否という観点において適切な設置パラメータを取得できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する判定手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載のパラメータ取得装置において、前記基準画像は、前記車両の外部に配置される一つの車外カメラにより実際の前記車両の周辺を撮影して取得される。
【００１２】
また、請求項３の発明は、請求項１または２に記載のパラメータ取得装置において、前記生成手段は、前記仮想視点を前記車両の直上に設定し、前記判定手段は、前記合成画像と、前記車両の直上からみた基準画像とを比較する。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載のパラメータ取得装置において、前記判定手段による比較前に、前記合成画像と前記基準画像との平均的な明るさが略一致するように調整する調整手段、をさらに備えている。
【００１４】
また、請求項５の発明は、請求項１ないし４のいずれかに記載のパラメータ取得装置において、前記複数の画像を前記複数の車載カメラで取得する際に前記車両は、該車両の周辺に所定の模様が示された状態で配置され、前記基準画像には、前記所定の模様が含まれている。
【００１５】
また、請求項６の発明は、請求項５に記載のパラメータ取得装置において、前記所定の模様は、前記車両の周囲全体を囲む。
【００１６】
また、請求項７の発明は、請求項１ないし６のいずれかに記載のパラメータ取得装置において、前記判定手段は、前記導出手段による前記設置パラメータの導出に応答して、当該設置パラメータの合否を判定する。
【００１７】
また、請求項８の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して生成される所定の仮想視点からみた前記車両の周辺の様子を示す合成画像と比較するための、所定の位置からみた前記車両の周辺の様子を示す基準画像を記憶する記憶手段と、を備えている。
【００１８】
また、請求項９の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得システムであって、請求項１ないし８のいずれかに記載のパラメータ取得装置と、前記車両の外部に配置され、実際の前記車両の周辺を撮影して前記基準画像を取得する車外カメラと、を備えている。
【００１９】
また、請求項１０の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、を備えている。
【００２０】
また、請求項１１の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、を実行させる。
【発明の効果】
【００２１】
請求項１ないし１１の発明によれば、生成された合成画像を基準画像と比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【００２２】
また、特に請求項２の発明によれば、一つの車外カメラで実際の車両の周辺を撮影することで基準画像が取得されるため、車両やマーカ等を厳密に配置しなくても、適切な設置パラメータを取得できる。
【００２３】
また、特に請求項３の発明によれば、仮想視点を車両の直上とすることで、車両の周囲全体を示す合成画像を適切に生成可能な設置パラメータを取得できる。
【００２４】
また、特に請求項４の発明によれば、合成画像と基準画像との平均的な明るさが略一致するように調整するため、合成画像と基準画像との比較を正確に行うことができる。
【００２５】
また、特に請求項５の発明によれば、所定の模様が含まれた基準画像と合成画像とを比較するため、合成画像と基準画像との比較を正確に行うことができる。
【００２６】
また、特に請求項６の発明によれば、車両の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを取得できる。
【００２７】
また、特に請求項７の発明によれば、設置パラメータを取得するとそれに応答して判定が行われるため、ユーザがわずらわしい操作を必要としない。
【図面の簡単な説明】
【００２８】
【図１】図１は、パラメータ取得システムの概要を示す図である。
【図２】図２は、画像表示装置の構成を示すブロック図である。
【図３】図３は、車載カメラが車両に設置される位置を示す図である。
【図４】図４は、合成画像を生成する手法を説明するための図である。
【図５】図５は、画像表示装置の動作モードの遷移を示す図である。
【図６】図６は、キャリブレーション処理に関連する処理の流れを示す図である。
【図７】図７は、車両が配置される様子を示す図である。
【図８】図８は、基準画像の一例を示す図である。
【図９】図９は、キャリブレーション処理でのディスプレイの表示例を示す図である。
【図１０】図１０は、合成画像の一例を示す図である。
【図１１】図１１は、合成画像の一例を示す図である。
【図１２】図１２は、合成画像と基準画像との比較を示す図である。
【図１３】図１３は、車両が配置される様子を示す図である。
【図１４】図１４は、基準画像の一例を示す図である。
【図１５】図１５は、合成画像の一例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３０】
＜１．構成＞
図１は、本実施の形態に係るパラメータ取得システム１００の概要を示す図である。パラメータ取得システム１００は、キャリブレーション処理を実行して、車両（本実施の形態では自動車）９に搭載される車載カメラの設置に関する設置パラメータを取得するものである。パラメータ取得システム１００は、車両９の外部に配置される基準画像取得装置２と、車両９に搭載される画像表示装置１とを備えている。
【００３１】
基準画像取得装置２は、車両工場や車両整備場などにおける、車両９に画像表示装置１を設置する作業場に固定的に配置される。基準画像取得装置２は、車両９の外部から撮影を行う一つの車外カメラ２１と、車外カメラ２１で得られた画像を記録する記録部２２とを備えている。車外カメラ２１は車両９の直上に配置される一方で、記録部２２は画像表示装置１を設置する作業員が作業しやすい位置に配置される。車外カメラ２１と記録部２２とは、ケーブルなどで通信可能に接続されている。
【００３２】
車外カメラ２１は、車両９の直上から鉛直方向に光軸２１ａを向けた状態で、車両９及び車両９の周辺を撮影する。これにより、車両９及び車両９の周辺の様子を示す画像が取得される。取得された画像は記録部２２に送信され、記録部２２において可搬性の記録媒体であるメモリカードＭＣに記録される。このようにして記録された画像は、画像表示装置１でのキャリブレーション処理が正確になされたか否かの判定に用いる基準画像となり、メモリカードＭＣを介して画像表示装置１に受け渡される。
【００３３】
画像表示装置１は、車両９の周辺を撮影して画像を生成してディスプレイに表示する機能を有している。画像表示装置１は、ディスプレイの画面がドライバから視認可能なように、車両９のインストルメントパネルなどの車室内の適位置に設置される。この画像表示装置１のディスプレイの画面を閲覧することにより、車両９のドライバは当該車両９の周辺の様子をほぼリアルタイムに把握できる。また、画像表示装置１は、ナビゲーション装置としても機能し、車両９のドライバに対しナビゲーション案内を行うことが可能である。
【００３４】
さらに、画像表示装置１は、車両９に搭載された車載カメラの設置に関する設置パラメータを取得するキャリブレーション処理を実行するパラメータ取得装置としても機能する。画像表示装置１は、このキャリブレーション処理が正確になされたか否かの判定（以下、「キャリブレーション判定」ともいう。）に、基準画像取得装置２から受け渡された基準画像を利用する。
【００３５】
図２は、画像表示装置１の構成を主に示すブロック図である。図に示すように、画像表示装置１は、車両９の周辺を撮影する撮影部５と、撮影部５で取得された画像を処理する合成画像生成部３２と、ナビゲーション機能を実現するナビゲーション部３１と、各種情報を表示するディスプレイ３３と、ユーザ操作を受け付ける操作部３４とを備えている。
【００３６】
撮影部５は、車載カメラ５０であるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５０はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００３７】
図３は、車載カメラ５０が車両９に設置される位置を示す図である。図３に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向に沿って外部に向けられている。
【００３８】
これらの車載カメラ５０のレンズとしては魚眼レンズなどが採用されており、各車載カメラ５０は１８０度以上の画角αを有している。このため、４つの車載カメラ５０を利用することで、車両９の全周囲の撮影が可能となっている。また、車両９の左前方、右前方、左後方、及び、右後方の各領域は、４つの車載カメラ５０のうちの２つの車載カメラ５０によって重複して撮影することが可能となっている。
【００３９】
図２に戻り、合成画像生成部３２は、各種の画像処理が可能なハードウェア回路として構成されている。合成画像生成部３２は、撮影部５の複数の車載カメラ５０で取得された複数の画像に基づいて、任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が、仮想視点からみた合成画像を生成する手法については後述する。
【００４０】
ナビゲーション部３１は、ナビゲーション案内のための各種情報を出力する専用の基板として構成される。具体的には、ナビゲーション部３１は、車両９の現在位置に応じた地図画像を出力するとともに、目的地が設定された場合は目的地までのルートを設定して当該ルートに応じた案内情報を出力する。
【００４１】
ディスプレイ３３は、液晶パネルなどを備えて構成され、合成画像生成部３２で生成された合成画像や、ナビゲーション部３１から提供される地図画像などを表示する。ディスプレイ３３は、タッチパネル機能を有しており、ユーザから各種操作を受け付けることが可能となっている。また、操作部３４は、物理的な複数のボタンで構成され、ユーザから各種操作を受け付ける。
【００４２】
また、画像表示装置１は、信号入力部３５、カード読取部３６、及び、不揮発性メモリ４０を備えている。
【００４３】
信号入力部３５は、車両９に設けられた画像表示装置１の外部の各種装置からの信号を入力する。具体的には、信号入力部３５は、シフトセンサ９１及び車速度センサ９２などから、各種情報を示す信号を入力する。シフトセンサ９１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ９２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４４】
カード読取部３６は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部３６は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像表示装置１はメモリカードＭＣに記憶された種々のデータを利用できる。
【００４５】
また、不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、設置パラメータ４１、基準画像４２、及び、プログラム４９が記憶されている。
【００４６】
設置パラメータ４１は、４つの車載カメラ５０それぞれの車両９への設置に関する情報を示すものである。具体的には、設置パラメータ４１には、車載カメラ５０ごとのロール角、チルト角、パン角などが含まれている。この設置パラメータ４１は、キャリブレーション処理において取得され、合成画像生成部３２が合成画像を生成する際に利用される。
【００４７】
基準画像４２は、キャリブレーション判定において利用される。基準画像４２は、基準画像取得装置２で記録されたメモリカードＭＣをカード読取部３６で読み取ることで取得される。
【００４８】
プログラム４９は、画像表示装置１のファームウェアである。このプログラム４９は、新たなプログラムが記憶されたメモリカードＭＣをカード読取部３６で読み出すことで更新可能となっている。
【００４９】
また、画像表示装置１は、上述した各部を制御するための制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成される。制御部１０の各種の制御機能は、不揮発性メモリ４０に記憶されたプログラム４９に従ってＣＰＵが演算処理を行うことで実現される。図中に示す、モード切替部１１、画像制御部１２、キャリブレーション部１３、及び、処理判定部１４は、このようにして実現される制御部１０の機能のうちの一部を示している。
【００５０】
モード切替部１１は、画像表示装置１の動作モードを切り替えるものである。画像表示装置１は、ナビゲーション案内を行うためのナビゲーションモードと、車両９の周辺の様子を示す画像表示モードとを有しており、通常は所定の条件によりこれら２つのモードがモード切替部１１により切り替えられる。
【００５１】
画像制御部１２は、合成画像生成部３２によって実行される合成画像の生成処理を制御するものである。画像制御部１２は、例えば、合成画像を生成する際に、設置パラメータ４１を不揮発性メモリ４０から読み出して合成画像生成部３２に送信する。
【００５２】
キャリブレーション部１３は、４つの車載カメラ５０の設置に関する設置パラメータを取得するキャリブレーション処理を行うものである。また、処理判定部１４は、キャリブレーション判定を行うものである。すなわち、処理判定部１４は、キャリブレーション処理で取得された設置パラメータ４１の合否の判定を行う。これらの制御部１００の機能の詳細については後述する。
【００５３】
＜２．合成画像の生成＞
次に、合成画像生成部３２が、撮影部５で得られた複数の画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された設置パラメータ４１が利用される。図４は、合成画像を生成する手法を説明するための図である。
【００５４】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５５】
次に、４つの画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは対応関係がある。このため、立体曲面ＳＰの各画素の値は、この対応関係と画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定される。
【００５６】
画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、４つの車載カメラ５０の設置パラメータ４１（ロール角、チルト角、パン角等）によって変化する。このため、不揮発性メモリ４０に記憶された設置パラメータ４１が用いられて基準となるデフォルトの対応関係が修正され、この修正された対応関係が立体曲面ＳＰへの投影に利用される。
【００５７】
また、不揮発性メモリ４０などに予め記憶された車体の形状やサイズを示すポリゴンデータが用いられ、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５８】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１０の画像制御部１２により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５９】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
【００６０】
例えば、視点位置が車両９の略中央の直上で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６１】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６２】
＜３．モード切替＞
前述のように、画像表示装置１は、ナビゲーションモードと画像表示モードとを動作モードとして有している。図５は、画像表示装置１の動作モードの遷移を示す図である。
【００６３】
ナビゲーションモードＭ１においては、ナビゲーション案内に用いる地図画像ＮＰを含む画面がディスプレイ３３に表示される。一方、画像表示モードＭ２では、車両９の周辺の様子を示す合成画像ＣＰが含まれる画面がディスプレイ３３に表示される。
【００６４】
ナビゲーションモードＭ１と画像表示モードＭ２とは、シフトセンサ９１及び車速度センサ９２などの信号に基づき、所定の条件に従ってモード切替部１１により切り替えられる。例えば、ナビゲーションモードＭ１において、シフトレバーが”Ｒ（後退）”となった場合は、画像表示モードＭ２に切り替えられ、車両９の後方の様子を示す合成画像が含まれる画面が表示される。また、ナビゲーションモードＭ１において、前進時に走行速度（ｋｍ／ｈ）が所定速度（例えば１０ｋｍ／ｈ）以下となった場合は、画像表示モードＭ２に切り替えられ、車両９の前方及び側方の様子を示す合成画像が含まれる画面が表示される。
【００６５】
さらに、画像表示モードＭ２において所定の操作部３４に所定の操作がなされると、モード切替部１１は、キャリブレーション処理を行うためのキャリブレーションモードＭ３に動作モードを移行する。
【００６６】
＜４．キャリブレーション処理＞
図６は、パラメータ取得システム１００におけるキャリブレーション処理に関連する処理の流れを示す図である。この処理においては、まず、基準画像取得装置２において基準画像が取得される（ステップＳ１，Ｓ２）。その後、画像表示装置１においてキャリブレーション処理（ステップＳ１１〜Ｓ１６）と、キャリブレーション判定（ステップＳ１６〜Ｓ２２）とが実行されるようになっている。キャリブレーション処理（ステップＳ１１〜Ｓ１６）はキャリブレーション部１３の制御により実行され、キャリブレーション判定（ステップＳ１６〜Ｓ２２）は処理判定部１４の制御により実行される。
【００６７】
この処理の開始時点においては、画像表示装置１の動作モードはキャリブレーションモードＭ３とされている。また、図７に示すように、キャリブレーション処理の対象となる車両９は所定の作業場に配置され、車両９の周囲には４つのマーカ８が配置される。４つのマーカ８はそれぞれ、２つの車載カメラ５０によって重複して撮影される４つの領域（すなわち、車両９の左前方、右前方、左後方、及び、右後方の各領域）に配置される。各マーカ８は、平面状のプレートで構成され、表面形状は正三角形となっている。また、車両９における左右及び前後の双方に関して中央となる位置の直上に、基準画像取得装置２の車外カメラ２１がその光軸を直下に向けた状態で配置される。
【００６８】
まず、図７に示す状態で、実際の車両９及びその周辺のマーカ８を含む領域を被写体として、基準画像取得装置２の一つの車外カメラ２１において撮影がなされる（ステップＳ１）。これにより、図８に示すような画像ＲＰが取得される。この画像ＲＰには、車両９の像（車両像）９０及びマーカ８の像（マーカ像）８０が含まれている。この画像ＲＰは、記録部２２に送信され、基準画像として記録部２２においてメモリカードＭＣに記録される（ステップＳ２）。
【００６９】
次に、メモリカードＭＣが基準画像取得装置２から取り出され、画像表示装置１のカードスロットに装着される。そして、画像表示装置１において、メモリカードＭＣに記録された基準画像ＲＰが読み出され、不揮発性メモリ４０に記録される（図６のステップＳ１１）。
【００７０】
次に、車両９の４つの車載カメラ５０においてほぼ同時に撮影がなされ、それぞれの車載カメラ５０において画像が取得される（ステップＳ１２）。
【００７１】
次に、取得された４つの画像のうちの一つがキャリブレーション処理の対象となる注目画像として選択され、キャリブレーション処理を行うためにディスプレイ３３に表示される（ステップＳ１３）。図９は、この場合のディスプレイ３３の表示例を示す図である。図に示すように、ディスプレイ３３には、車載カメラ５０で取得された注目画像Ｐが表示されている。この注目画像Ｐにおいては、左右の両端付近に２つのマーカ像８０が含まれている。
【００７２】
また、画面上には、ユーザが操作可能な複数のコマンドボタンＣと、マーカ像８０の位置を指定するための複数のポイント指標Ｍとが表示される。ポイント指標Ｍは、２つの三角形のマーカ像８０の頂点の位置をそれぞれ指定するものであるため、６（＝２×３）個のポイント指標Ｍが表示される。
【００７３】
表示された６つのポイント指標Ｍのうち一つはカーソルで選択され、選択中のポイント指標Ｍは上下左右の方向を示すコマンドボタンＣに触れることによって画面上を移動できる。また、「ポイント切替」と表記されたコマンドボタンＣに触れることで、選択するポイント指標Ｍを切り替えることが可能である。ユーザ（キャリブレーション処理に係る作業を行う作業員等）は、これらのコマンドボタンＣに触れることで、すべてのポイント指標Ｍをマーカ像８０の頂点の位置に移動させる。そして、ユーザが「ポイント切替」と表記されたコマンドボタンＣに触れると、マーカ像８０の位置を示す６つのポイント指標Ｍの位置が、キャリブレーション部１３に受け付けられる（ステップＳ１４）。
【００７４】
次に、キャリブレーション部１３は、取得された６つのポイント指標Ｍの位置に基づいて、所定の演算を行って、当該注目画像Ｐを取得した車載カメラの設置パラメータを導出する。例えば、画面左側のポイント指標Ｍと画面右側のポイント指標Ｍとの高さの差に基づいてロール角を導出し、ポイント指標Ｍの画面の上下位置に基づいてチルト角を導出し、ポイント指標Ｍの画面の左右位置に基づいてパン角を導出する（ステップＳ１５）。導出した設置パラメータは、不揮発性メモリ４０に記録される。
【００７５】
次に、全ての車載カメラ５０についてキャリブレーション処理を行ったか（すなわち、設置パラメータを導出したか）が判定される（ステップＳ１６）。未処理の車載カメラ５０がある場合は、再度、処理はステップＳ１３に戻り、別の画像が注目画像として選択される。そして、上記同様にして、注目画像を取得した車載カメラの設置パラメータが導出される。このような処理が繰り返され、最終的に、４つの車載カメラ５０全ての設置パラメータが導出される。
【００７６】
全ての車載カメラ５０の設置パラメータが導出されると、それに応答して、４つの車載カメラ５０で得られた４つの画像と、導出された設置パラメータとが利用されて、合成画像生成部３２により仮想視点からみた車両９の周辺の様子を示す合成画像が生成される（ステップＳ１７）。この際、仮想視点の視点位置は、車両９における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。すなわち、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とは、同一となるように設定される。
【００７７】
図１０は、キャリブレーション処理が理想的になされた場合に生成される合成画像ＣＰを示す図である。一方、図１１は、キャリブレーション処理が正確になされなかった場合に生成される合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいては、車両像９０とともに、マーカ像８０も含まれている。
【００７８】
合成画像ＣＰは、車両像９０の前方領域Ａ１はフロントカメラ５１、車両像９０の後方領域Ａ２はバックカメラ５２、車両像９０の側方領域Ａ３はサイドカメラ５３のそれぞれで取得された画像によって構成される。したがって、車両９の左前方、右前方、左後方、及び、右後方の各領域においては、画像同士の接続部分が存在している。そして、この画像同士の接続部分において、マーカ像８０が存在することになる。
【００７９】
キャリブレーション処理が理想的になされた場合は、図１０に示すように、合成画像ＣＰに表現されるマーカ像８０は正三角形となる。一方で、キャリブレーション処理が正確になされなかった場合は、図１１に示すように、合成画像ＣＰに表現されるマーカ像８０は画像同士の接続部分で分断され、いびつな形状となる。
【００８０】
図１０の合成画像ＣＰは図８に示す基準画像ＲＰとほぼ同様の内容となるが、図１１の合成画像ＣＰは図８に示す基準画像ＲＰとは大きく異なっている。このため、図１２に示すように、処理判定部１４は、生成された合成画像ＣＰと基準画像ＲＰとを比較し、大きく異なっていれば、キャリブレーション処理が正確になされていないと判定する。すなわち、設置パラメータの取得は不合格と判定することになる。
【００８１】
この判定にあたっては、まず、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整がなされる（ステップＳ１８）。具体的には、合成画像ＣＰの平均輝度、及び、基準画像ＲＰの平均輝度がそれぞれ導出される。そして、基準画像ＲＰの平均輝度を合成画像ＣＰの平均輝度で除算した値が係数として導出され、この係数が合成画像ＣＰの各画素に乗算される。これにより、合成画像ＣＰと基準画像ＲＰとの平均的な明るさがおよそ一致することになる。このような、明るさの調整を行うことで、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことができる。
【００８２】
次に、合成画像ＣＰと基準画像ＲＰとの比較がなされる（ステップＳ１９）。この比較には周知の各種の画像比較手法を採用可能である。本実施の形態では、次の数１により、平均二乗誤差（ＭＳＥ／Mean Square Error）を導出する。
【００８３】
【数１】
ここで、Ｍは横方向の画素数、Ｍ’は縦方向の画素数、ｙ（ｉ，ｊ）は合成画像ＣＰの座標（ｉ，ｊ）の画素値、ｓ（ｉ，ｊ）は基準画像ＲＰの座標（ｉ，ｊ）の画素値をそれぞれ示している。すなわち、平均二乗誤差（ＭＳＥ）は、合成画像ＣＰと基準画像ＲＰとにおいて、同一座標の画素間での差分をとり、その差分の二乗を平均することで導出される。
【００８４】
したがって、差分二乗誤差は、合成画像ＣＰと基準画像ＲＰとの相違の程度を示す数値となる。差分二乗誤差が、小さいほど合成画像ＣＰと基準画像ＲＰとが近似し、合成画像ＣＰは車両９の周辺の様子を良好に示すものとなる。逆に、差分二乗誤差大きいほど合成画像ＣＰと基準画像ＲＰとは相違し、合成画像ＣＰは車両の周辺の様子を示すのに適さないものとなる。
【００８５】
このため、本実施の形態では、この合成画像ＣＰと基準画像ＲＰとの比較結果となる差分二乗誤差が所定の閾値よりも小さい場合は、キャリブレーション処理が正確になされたと判断し、取得された設置パラメータを合格と判定する。逆に、差分二乗誤差が所定の閾値以上となる場合は、キャリブレーション処理が正確になされなかったと判断し、取得された設置パラメータを不合格と判定する。
【００８６】
設置パラメータを合格と判定した場合は（ステップＳ２０にてＹｅｓ）、この設置パラメータが以降の合成画像の生成に用いるためのものとして確定され、不揮発性メモリ４０に記録される（ステップＳ２１）。
【００８７】
一方、設置パラメータを不合格と判定した場合は（ステップＳ２０にてＹｅｓ）、キャリブレーション処理を再実行することを示すメッセージがディスプレイ３３に表示される（ステップＳ２２）。そして、処理は、ステップＳ１２に戻り、キャリブレーション処理が再実行され、ユーザの操作に基づいて設置パラメータが再び導出される。このような処理は、設置パラメータが合格となるまで繰り返される。このため、合成画像の良否という観点において適切な設置パラメータを確実に取得することができることになる。
【００８８】
以上のように、本実施の形態の画像表示装置１においては、キャリブレーション処理において、ユーザの操作に基づいて、複数の車載カメラ５０のそれぞれに関する設置パラメータが導出される。この設置パラメータと、複数の車載カメラ５０で得られる複数の画像とを利用して、所定の仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰが生成される。そして、生成された合成画像ＣＰと、所定の位置からみた車両９の周辺の様子を示す基準画像ＲＰとを比較し、その比較結果に基づいて設置パラメータの合否が判定される。このように、生成された合成画像ＣＰを基準画像ＲＰと比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【００８９】
また、キャリブレーション処理がなされて設定パラメータが導出されると、それに応答して自動的に、設置パラメータの合否が判定される。このため、ユーザの操作を伴わずに設置パラメータの合否が判定されることから、設置パラメータの合否判定のために、ユーザのわずらわしい操作を必要としない。また、合否判定がなされないままの設置パラメータがその後の処理に用いられることも防止される。
【００９０】
＜５．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９１】
＜５−１．模様＞
上記実施の形態では、キャリブレーション処理において複数の画像を複数の車載カメラ５０で取得する際には、車両９の周囲に４つのマーカ８のみを配置していた。これに対して、図１３に示すように、マーカ８以外に、床面に所定の模様７が示された作業場に車両９を配置するようにしてもよい。
【００９２】
この場合において、車両９は作業場の予め定められた位置に配置される。その状態において、車両９の周辺には模様７が示され、この模様７は車両９の周囲全体を囲むことになる。そして、この状態で、上記実施の形態で説明した処理と同様の処理が実行される。
【００９３】
図１４は、この場合に取得される基準画像ＲＰの一例を示す図である。基準画像ＲＰにおいては、車両像９０及びマーカ像８０とともに、模様７の像（模様像７０）も含まれている。また、図１５は、キャリブレーション処理が正確になされなかった場合に生成された合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいても、車両像９０及びマーカ像８０とともに模様像７０が含まれている。
【００９４】
図１４と図１５とを比較してわかるように、キャリブレーション処理が正確になされなかった場合は、マーカ像８０のみならず模様像７０においても、合成画像ＣＰと基準画像ＲＰとで差が生じる。つまり、合成画像ＣＰと基準画像ＲＰとにおけるマーカ像８０の相違は画像同士の接続部分のみとなるが、模様像７０の相違は車両像９０の周囲全体で生じる。このため、合成画像ＣＰと基準画像ＲＰとを比較した場合に、それらの相違の程度をより大きく示すことができる。このため、マーカ８のみを配置する場合よりも、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことが可能となる。また、模様７が車両９の周囲全体を囲むようになっていることから、車両９の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを取得できる。
【００９５】
＜５−２．基準画像＞
上記実施の形態では、車外カメラ２１で実際に車両９を撮影することで基準画像ＲＰを取得するようにしていた。これに対して、不揮発性メモリ４０などに車両像とマーカ像を含む基準画像を予め記憶しておき、実際の撮影を行わないようにしてもよい。この場合は、基準画像としては、実写像ではなくＣＧ等で作成したピクチャーなどを用いることも可能である。これによれば、基準画像取得装置２が不要になり、より簡易な構成で適切な設置パラメータを取得できる。
【００９６】
ただし、この場合は、キャリブレーション処理を行う際の車両９とマーカ８との位置関係を正確に配置する必要がある。車両９とマーカ８との位置関係が多少正確でなくとも適切な設置パラメータを取得できるといった点では、上記実施の形態のように実際に車両９を撮影することで基準画像ＲＰを取得することが望ましい。
【００９７】
＜５−３．その他変形例＞
上記実施の形態では、車外カメラ２１は車両９の直上に配置され、仮想視点の視点位置も車両９の直上に設定されていた。これに対して、車外カメラ２１や仮想視点の車両９に対する位置は、車両９の前方や後方などの位置であってもよい。つまりは、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とが同一となるようにすればよい。ただし、車両９の周囲全体を示す合成画像を適切に生成可能な設置パラメータを取得するという観点からは、車外カメラ２１や仮想視点の位置は車両９の直上とすることが望ましい。
【００９８】
また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとの比較前に合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整していた。これに対して、さらに、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとにおける被写体像の大きさや位置が略一致するように調整するようにしてもよい。これは、合成画像ＣＰと基準画像ＲＰとの双方に含まれる車両像９０の位置やサイズを基準として、調整すればよい。このようにすれば、合成画像ＣＰと基準画像ＲＰとの比較をより正確に行うことができる。
【００９９】
また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとを比較する際に、画像中の領域全体に関して比較を行っていたが、車両像９０を除いた周辺領域のみや、マーカ像８０が存在する車両像９０の左前方、右前方、左後方及び右後方の領域のみを用いて比較を行うようにしてもよい。
【０１００】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０１】
１ 画像表示装置
２ 基準画像取得装置
５ 撮影部
７ 模様
８ マーカ
９ 車両
１３ キャリブレーション部
１４ 処理判定部
２１ 車外カメラ
５０ 車載カメラ
【技術分野】
【０００１】
本発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に関する。
【背景技術】
【０００２】
従来より、自動車などの車両に搭載され、車載カメラで車両の周辺を撮影して得られた画像を車室内のディスプレイに表示する画像表示装置が知られている。この画像表示装置を利用することにより、ドライバは車両の周辺の様子をほぼリアルタイムに把握することができる。
【０００３】
画像表示装置の車載カメラを車両に設置する場合においては、車両に対する車載カメラの設置上のわずかな誤差に起因して、表示される画像に含まれる被写体像の位置については設計上の位置に対しずれが生じる。このため、キャリブレーション処理を実行することで、車載カメラの実際の設置に関する設置パラメータ（例えば、ロール角、チルト角、パン角など）を取得し、当該設置パラメータを用いて表示する画像に処理を施すことがなされている（例えば、特許文献１参照。）。
【０００４】
一般に、キャリブレーション処理は、所定形状のマーカを車両の外部に配置した状態で車載カメラが撮影して得られた画像を表示させ、その画像中に含まれるマーカの像の位置をユーザ（画像表示装置を設置する作業員等）が指定することで実行される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６１４６３号公報
【特許文献２】特許第３２８６３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年では、複数の車載カメラで車両の周辺を撮影して得られる複数の画像を利用して、車両の直上や後方などの任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成してディスプレイに表示する画像表示装置が提案されている（例えば、特許文献２参照。）。この画像表示装置では、車両の周囲の全体を示す画像をディスプレイに表示させることも可能である。
【０００７】
このように合成画像の生成のために複数の車載カメラを用いる場合においても、キャリブレーション処理は、複数の車載カメラのそれぞれに関して実行され、車載カメラごとに設置パラメータが取得される。そして、この車載カメラごとの設置パラメータを用いて複数の画像が合成されて合成画像が生成される。したがって、生成される合成画像の良否は、複数の車載カメラのそれぞれの設置パラメータの取得の精度に影響を受ける。
【０００８】
しかしながら、従来、キャリブレーション処理が正確になされたか否かの判定基準（すなわち、設置パラメータの合否の判定基準）が存在せず、生成される合成画像の良否という観点から適切な設置パラメータが取得されていなかった。その結果、車両の周辺の様子を示すのに適さない合成画像が生成される可能性があった。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、生成される合成画像の良否という観点において適切な設置パラメータを取得できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する判定手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載のパラメータ取得装置において、前記基準画像は、前記車両の外部に配置される一つの車外カメラにより実際の前記車両の周辺を撮影して取得される。
【００１２】
また、請求項３の発明は、請求項１または２に記載のパラメータ取得装置において、前記生成手段は、前記仮想視点を前記車両の直上に設定し、前記判定手段は、前記合成画像と、前記車両の直上からみた基準画像とを比較する。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載のパラメータ取得装置において、前記判定手段による比較前に、前記合成画像と前記基準画像との平均的な明るさが略一致するように調整する調整手段、をさらに備えている。
【００１４】
また、請求項５の発明は、請求項１ないし４のいずれかに記載のパラメータ取得装置において、前記複数の画像を前記複数の車載カメラで取得する際に前記車両は、該車両の周辺に所定の模様が示された状態で配置され、前記基準画像には、前記所定の模様が含まれている。
【００１５】
また、請求項６の発明は、請求項５に記載のパラメータ取得装置において、前記所定の模様は、前記車両の周囲全体を囲む。
【００１６】
また、請求項７の発明は、請求項１ないし６のいずれかに記載のパラメータ取得装置において、前記判定手段は、前記導出手段による前記設置パラメータの導出に応答して、当該設置パラメータの合否を判定する。
【００１７】
また、請求項８の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して生成される所定の仮想視点からみた前記車両の周辺の様子を示す合成画像と比較するための、所定の位置からみた前記車両の周辺の様子を示す基準画像を記憶する記憶手段と、を備えている。
【００１８】
また、請求項９の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得システムであって、請求項１ないし８のいずれかに記載のパラメータ取得装置と、前記車両の外部に配置され、実際の前記車両の周辺を撮影して前記基準画像を取得する車外カメラと、を備えている。
【００１９】
また、請求項１０の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、を備えている。
【００２０】
また、請求項１１の発明は、車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、を実行させる。
【発明の効果】
【００２１】
請求項１ないし１１の発明によれば、生成された合成画像を基準画像と比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【００２２】
また、特に請求項２の発明によれば、一つの車外カメラで実際の車両の周辺を撮影することで基準画像が取得されるため、車両やマーカ等を厳密に配置しなくても、適切な設置パラメータを取得できる。
【００２３】
また、特に請求項３の発明によれば、仮想視点を車両の直上とすることで、車両の周囲全体を示す合成画像を適切に生成可能な設置パラメータを取得できる。
【００２４】
また、特に請求項４の発明によれば、合成画像と基準画像との平均的な明るさが略一致するように調整するため、合成画像と基準画像との比較を正確に行うことができる。
【００２５】
また、特に請求項５の発明によれば、所定の模様が含まれた基準画像と合成画像とを比較するため、合成画像と基準画像との比較を正確に行うことができる。
【００２６】
また、特に請求項６の発明によれば、車両の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを取得できる。
【００２７】
また、特に請求項７の発明によれば、設置パラメータを取得するとそれに応答して判定が行われるため、ユーザがわずらわしい操作を必要としない。
【図面の簡単な説明】
【００２８】
【図１】図１は、パラメータ取得システムの概要を示す図である。
【図２】図２は、画像表示装置の構成を示すブロック図である。
【図３】図３は、車載カメラが車両に設置される位置を示す図である。
【図４】図４は、合成画像を生成する手法を説明するための図である。
【図５】図５は、画像表示装置の動作モードの遷移を示す図である。
【図６】図６は、キャリブレーション処理に関連する処理の流れを示す図である。
【図７】図７は、車両が配置される様子を示す図である。
【図８】図８は、基準画像の一例を示す図である。
【図９】図９は、キャリブレーション処理でのディスプレイの表示例を示す図である。
【図１０】図１０は、合成画像の一例を示す図である。
【図１１】図１１は、合成画像の一例を示す図である。
【図１２】図１２は、合成画像と基準画像との比較を示す図である。
【図１３】図１３は、車両が配置される様子を示す図である。
【図１４】図１４は、基準画像の一例を示す図である。
【図１５】図１５は、合成画像の一例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００３０】
＜１．構成＞
図１は、本実施の形態に係るパラメータ取得システム１００の概要を示す図である。パラメータ取得システム１００は、キャリブレーション処理を実行して、車両（本実施の形態では自動車）９に搭載される車載カメラの設置に関する設置パラメータを取得するものである。パラメータ取得システム１００は、車両９の外部に配置される基準画像取得装置２と、車両９に搭載される画像表示装置１とを備えている。
【００３１】
基準画像取得装置２は、車両工場や車両整備場などにおける、車両９に画像表示装置１を設置する作業場に固定的に配置される。基準画像取得装置２は、車両９の外部から撮影を行う一つの車外カメラ２１と、車外カメラ２１で得られた画像を記録する記録部２２とを備えている。車外カメラ２１は車両９の直上に配置される一方で、記録部２２は画像表示装置１を設置する作業員が作業しやすい位置に配置される。車外カメラ２１と記録部２２とは、ケーブルなどで通信可能に接続されている。
【００３２】
車外カメラ２１は、車両９の直上から鉛直方向に光軸２１ａを向けた状態で、車両９及び車両９の周辺を撮影する。これにより、車両９及び車両９の周辺の様子を示す画像が取得される。取得された画像は記録部２２に送信され、記録部２２において可搬性の記録媒体であるメモリカードＭＣに記録される。このようにして記録された画像は、画像表示装置１でのキャリブレーション処理が正確になされたか否かの判定に用いる基準画像となり、メモリカードＭＣを介して画像表示装置１に受け渡される。
【００３３】
画像表示装置１は、車両９の周辺を撮影して画像を生成してディスプレイに表示する機能を有している。画像表示装置１は、ディスプレイの画面がドライバから視認可能なように、車両９のインストルメントパネルなどの車室内の適位置に設置される。この画像表示装置１のディスプレイの画面を閲覧することにより、車両９のドライバは当該車両９の周辺の様子をほぼリアルタイムに把握できる。また、画像表示装置１は、ナビゲーション装置としても機能し、車両９のドライバに対しナビゲーション案内を行うことが可能である。
【００３４】
さらに、画像表示装置１は、車両９に搭載された車載カメラの設置に関する設置パラメータを取得するキャリブレーション処理を実行するパラメータ取得装置としても機能する。画像表示装置１は、このキャリブレーション処理が正確になされたか否かの判定（以下、「キャリブレーション判定」ともいう。）に、基準画像取得装置２から受け渡された基準画像を利用する。
【００３５】
図２は、画像表示装置１の構成を主に示すブロック図である。図に示すように、画像表示装置１は、車両９の周辺を撮影する撮影部５と、撮影部５で取得された画像を処理する合成画像生成部３２と、ナビゲーション機能を実現するナビゲーション部３１と、各種情報を表示するディスプレイ３３と、ユーザ操作を受け付ける操作部３４とを備えている。
【００３６】
撮影部５は、車載カメラ５０であるフロントカメラ５１、バックカメラ５２及びサイドカメラ５３を備えている。これらの車載カメラ５０はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。
【００３７】
図３は、車載カメラ５０が車両９に設置される位置を示す図である。図３に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向に向けられている。また、サイドカメラ５３は、左右のドアミラー９３にそれぞれ設けられており、その光軸５３ａは車両９の左右方向に沿って外部に向けられている。
【００３８】
これらの車載カメラ５０のレンズとしては魚眼レンズなどが採用されており、各車載カメラ５０は１８０度以上の画角αを有している。このため、４つの車載カメラ５０を利用することで、車両９の全周囲の撮影が可能となっている。また、車両９の左前方、右前方、左後方、及び、右後方の各領域は、４つの車載カメラ５０のうちの２つの車載カメラ５０によって重複して撮影することが可能となっている。
【００３９】
図２に戻り、合成画像生成部３２は、各種の画像処理が可能なハードウェア回路として構成されている。合成画像生成部３２は、撮影部５の複数の車載カメラ５０で取得された複数の画像に基づいて、任意の仮想視点からみた車両の周辺の様子を示す合成画像を生成する。合成画像生成部３２が、仮想視点からみた合成画像を生成する手法については後述する。
【００４０】
ナビゲーション部３１は、ナビゲーション案内のための各種情報を出力する専用の基板として構成される。具体的には、ナビゲーション部３１は、車両９の現在位置に応じた地図画像を出力するとともに、目的地が設定された場合は目的地までのルートを設定して当該ルートに応じた案内情報を出力する。
【００４１】
ディスプレイ３３は、液晶パネルなどを備えて構成され、合成画像生成部３２で生成された合成画像や、ナビゲーション部３１から提供される地図画像などを表示する。ディスプレイ３３は、タッチパネル機能を有しており、ユーザから各種操作を受け付けることが可能となっている。また、操作部３４は、物理的な複数のボタンで構成され、ユーザから各種操作を受け付ける。
【００４２】
また、画像表示装置１は、信号入力部３５、カード読取部３６、及び、不揮発性メモリ４０を備えている。
【００４３】
信号入力部３５は、車両９に設けられた画像表示装置１の外部の各種装置からの信号を入力する。具体的には、信号入力部３５は、シフトセンサ９１及び車速度センサ９２などから、各種情報を示す信号を入力する。シフトセンサ９１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ９２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。
【００４４】
カード読取部３６は、可搬性の記録媒体であるメモリカードＭＣの読み取りを行う。カード読取部３６は、メモリカードＭＣの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードＭＣに記録されたデータを読み取る。メモリカードＭＣは、種々のデータを記憶可能なフラッシュメモリなどで構成されており、画像表示装置１はメモリカードＭＣに記憶された種々のデータを利用できる。
【００４５】
また、不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４０には、設置パラメータ４１、基準画像４２、及び、プログラム４９が記憶されている。
【００４６】
設置パラメータ４１は、４つの車載カメラ５０それぞれの車両９への設置に関する情報を示すものである。具体的には、設置パラメータ４１には、車載カメラ５０ごとのロール角、チルト角、パン角などが含まれている。この設置パラメータ４１は、キャリブレーション処理において取得され、合成画像生成部３２が合成画像を生成する際に利用される。
【００４７】
基準画像４２は、キャリブレーション判定において利用される。基準画像４２は、基準画像取得装置２で記録されたメモリカードＭＣをカード読取部３６で読み取ることで取得される。
【００４８】
プログラム４９は、画像表示装置１のファームウェアである。このプログラム４９は、新たなプログラムが記憶されたメモリカードＭＣをカード読取部３６で読み出すことで更新可能となっている。
【００４９】
また、画像表示装置１は、上述した各部を制御するための制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成される。制御部１０の各種の制御機能は、不揮発性メモリ４０に記憶されたプログラム４９に従ってＣＰＵが演算処理を行うことで実現される。図中に示す、モード切替部１１、画像制御部１２、キャリブレーション部１３、及び、処理判定部１４は、このようにして実現される制御部１０の機能のうちの一部を示している。
【００５０】
モード切替部１１は、画像表示装置１の動作モードを切り替えるものである。画像表示装置１は、ナビゲーション案内を行うためのナビゲーションモードと、車両９の周辺の様子を示す画像表示モードとを有しており、通常は所定の条件によりこれら２つのモードがモード切替部１１により切り替えられる。
【００５１】
画像制御部１２は、合成画像生成部３２によって実行される合成画像の生成処理を制御するものである。画像制御部１２は、例えば、合成画像を生成する際に、設置パラメータ４１を不揮発性メモリ４０から読み出して合成画像生成部３２に送信する。
【００５２】
キャリブレーション部１３は、４つの車載カメラ５０の設置に関する設置パラメータを取得するキャリブレーション処理を行うものである。また、処理判定部１４は、キャリブレーション判定を行うものである。すなわち、処理判定部１４は、キャリブレーション処理で取得された設置パラメータ４１の合否の判定を行う。これらの制御部１００の機能の詳細については後述する。
【００５３】
＜２．合成画像の生成＞
次に、合成画像生成部３２が、撮影部５で得られた複数の画像に基づいて任意の仮想視点からみた車両９の周辺の様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４０に予め記憶された設置パラメータ４１が利用される。図４は、合成画像を生成する手法を説明するための図である。
【００５４】
撮影部５のフロントカメラ５１、バックカメラ５２及びサイドカメラ５３で同時に撮影が行われると、車両９の前方、後方、左側方、及び、右側方をそれぞれ示す４つの画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。
【００５５】
次に、４つの画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは対応関係がある。このため、立体曲面ＳＰの各画素の値は、この対応関係と画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定される。
【００５６】
画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、４つの車載カメラ５０の設置パラメータ４１（ロール角、チルト角、パン角等）によって変化する。このため、不揮発性メモリ４０に記憶された設置パラメータ４１が用いられて基準となるデフォルトの対応関係が修正され、この修正された対応関係が立体曲面ＳＰへの投影に利用される。
【００５７】
また、不揮発性メモリ４０などに予め記憶された車体の形状やサイズを示すポリゴンデータが用いられ、車両９の三次元形状を示すポリゴンモデルである車両像９０が仮想的に構成される。構成された車両像９０は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００５８】
さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１０の画像制御部１２により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００５９】
そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンで構成された車両像９０に関してレンダリングがなされ、その結果となる二次元の車両像９０が、切り出された画像に対して重畳される。これにより、任意の仮想視点からみた車両９及びその車両９の周辺の様子を示す合成画像が生成されることになる。
【００６０】
例えば、視点位置が車両９の略中央の直上で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略直上から車両９を見下ろすように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方で、視野方向が車両９における略前方とした仮想視点ＶＰ２を設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９及び車両９の周辺の様子を示す合成画像ＣＰ２が生成される。
【００６１】
なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
【００６２】
＜３．モード切替＞
前述のように、画像表示装置１は、ナビゲーションモードと画像表示モードとを動作モードとして有している。図５は、画像表示装置１の動作モードの遷移を示す図である。
【００６３】
ナビゲーションモードＭ１においては、ナビゲーション案内に用いる地図画像ＮＰを含む画面がディスプレイ３３に表示される。一方、画像表示モードＭ２では、車両９の周辺の様子を示す合成画像ＣＰが含まれる画面がディスプレイ３３に表示される。
【００６４】
ナビゲーションモードＭ１と画像表示モードＭ２とは、シフトセンサ９１及び車速度センサ９２などの信号に基づき、所定の条件に従ってモード切替部１１により切り替えられる。例えば、ナビゲーションモードＭ１において、シフトレバーが”Ｒ（後退）”となった場合は、画像表示モードＭ２に切り替えられ、車両９の後方の様子を示す合成画像が含まれる画面が表示される。また、ナビゲーションモードＭ１において、前進時に走行速度（ｋｍ／ｈ）が所定速度（例えば１０ｋｍ／ｈ）以下となった場合は、画像表示モードＭ２に切り替えられ、車両９の前方及び側方の様子を示す合成画像が含まれる画面が表示される。
【００６５】
さらに、画像表示モードＭ２において所定の操作部３４に所定の操作がなされると、モード切替部１１は、キャリブレーション処理を行うためのキャリブレーションモードＭ３に動作モードを移行する。
【００６６】
＜４．キャリブレーション処理＞
図６は、パラメータ取得システム１００におけるキャリブレーション処理に関連する処理の流れを示す図である。この処理においては、まず、基準画像取得装置２において基準画像が取得される（ステップＳ１，Ｓ２）。その後、画像表示装置１においてキャリブレーション処理（ステップＳ１１〜Ｓ１６）と、キャリブレーション判定（ステップＳ１６〜Ｓ２２）とが実行されるようになっている。キャリブレーション処理（ステップＳ１１〜Ｓ１６）はキャリブレーション部１３の制御により実行され、キャリブレーション判定（ステップＳ１６〜Ｓ２２）は処理判定部１４の制御により実行される。
【００６７】
この処理の開始時点においては、画像表示装置１の動作モードはキャリブレーションモードＭ３とされている。また、図７に示すように、キャリブレーション処理の対象となる車両９は所定の作業場に配置され、車両９の周囲には４つのマーカ８が配置される。４つのマーカ８はそれぞれ、２つの車載カメラ５０によって重複して撮影される４つの領域（すなわち、車両９の左前方、右前方、左後方、及び、右後方の各領域）に配置される。各マーカ８は、平面状のプレートで構成され、表面形状は正三角形となっている。また、車両９における左右及び前後の双方に関して中央となる位置の直上に、基準画像取得装置２の車外カメラ２１がその光軸を直下に向けた状態で配置される。
【００６８】
まず、図７に示す状態で、実際の車両９及びその周辺のマーカ８を含む領域を被写体として、基準画像取得装置２の一つの車外カメラ２１において撮影がなされる（ステップＳ１）。これにより、図８に示すような画像ＲＰが取得される。この画像ＲＰには、車両９の像（車両像）９０及びマーカ８の像（マーカ像）８０が含まれている。この画像ＲＰは、記録部２２に送信され、基準画像として記録部２２においてメモリカードＭＣに記録される（ステップＳ２）。
【００６９】
次に、メモリカードＭＣが基準画像取得装置２から取り出され、画像表示装置１のカードスロットに装着される。そして、画像表示装置１において、メモリカードＭＣに記録された基準画像ＲＰが読み出され、不揮発性メモリ４０に記録される（図６のステップＳ１１）。
【００７０】
次に、車両９の４つの車載カメラ５０においてほぼ同時に撮影がなされ、それぞれの車載カメラ５０において画像が取得される（ステップＳ１２）。
【００７１】
次に、取得された４つの画像のうちの一つがキャリブレーション処理の対象となる注目画像として選択され、キャリブレーション処理を行うためにディスプレイ３３に表示される（ステップＳ１３）。図９は、この場合のディスプレイ３３の表示例を示す図である。図に示すように、ディスプレイ３３には、車載カメラ５０で取得された注目画像Ｐが表示されている。この注目画像Ｐにおいては、左右の両端付近に２つのマーカ像８０が含まれている。
【００７２】
また、画面上には、ユーザが操作可能な複数のコマンドボタンＣと、マーカ像８０の位置を指定するための複数のポイント指標Ｍとが表示される。ポイント指標Ｍは、２つの三角形のマーカ像８０の頂点の位置をそれぞれ指定するものであるため、６（＝２×３）個のポイント指標Ｍが表示される。
【００７３】
表示された６つのポイント指標Ｍのうち一つはカーソルで選択され、選択中のポイント指標Ｍは上下左右の方向を示すコマンドボタンＣに触れることによって画面上を移動できる。また、「ポイント切替」と表記されたコマンドボタンＣに触れることで、選択するポイント指標Ｍを切り替えることが可能である。ユーザ（キャリブレーション処理に係る作業を行う作業員等）は、これらのコマンドボタンＣに触れることで、すべてのポイント指標Ｍをマーカ像８０の頂点の位置に移動させる。そして、ユーザが「ポイント切替」と表記されたコマンドボタンＣに触れると、マーカ像８０の位置を示す６つのポイント指標Ｍの位置が、キャリブレーション部１３に受け付けられる（ステップＳ１４）。
【００７４】
次に、キャリブレーション部１３は、取得された６つのポイント指標Ｍの位置に基づいて、所定の演算を行って、当該注目画像Ｐを取得した車載カメラの設置パラメータを導出する。例えば、画面左側のポイント指標Ｍと画面右側のポイント指標Ｍとの高さの差に基づいてロール角を導出し、ポイント指標Ｍの画面の上下位置に基づいてチルト角を導出し、ポイント指標Ｍの画面の左右位置に基づいてパン角を導出する（ステップＳ１５）。導出した設置パラメータは、不揮発性メモリ４０に記録される。
【００７５】
次に、全ての車載カメラ５０についてキャリブレーション処理を行ったか（すなわち、設置パラメータを導出したか）が判定される（ステップＳ１６）。未処理の車載カメラ５０がある場合は、再度、処理はステップＳ１３に戻り、別の画像が注目画像として選択される。そして、上記同様にして、注目画像を取得した車載カメラの設置パラメータが導出される。このような処理が繰り返され、最終的に、４つの車載カメラ５０全ての設置パラメータが導出される。
【００７６】
全ての車載カメラ５０の設置パラメータが導出されると、それに応答して、４つの車載カメラ５０で得られた４つの画像と、導出された設置パラメータとが利用されて、合成画像生成部３２により仮想視点からみた車両９の周辺の様子を示す合成画像が生成される（ステップＳ１７）。この際、仮想視点の視点位置は、車両９における左右及び前後の双方に関して中央となる位置の直上に設定され、視点方向は直下に向けられる。すなわち、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とは、同一となるように設定される。
【００７７】
図１０は、キャリブレーション処理が理想的になされた場合に生成される合成画像ＣＰを示す図である。一方、図１１は、キャリブレーション処理が正確になされなかった場合に生成される合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいては、車両像９０とともに、マーカ像８０も含まれている。
【００７８】
合成画像ＣＰは、車両像９０の前方領域Ａ１はフロントカメラ５１、車両像９０の後方領域Ａ２はバックカメラ５２、車両像９０の側方領域Ａ３はサイドカメラ５３のそれぞれで取得された画像によって構成される。したがって、車両９の左前方、右前方、左後方、及び、右後方の各領域においては、画像同士の接続部分が存在している。そして、この画像同士の接続部分において、マーカ像８０が存在することになる。
【００７９】
キャリブレーション処理が理想的になされた場合は、図１０に示すように、合成画像ＣＰに表現されるマーカ像８０は正三角形となる。一方で、キャリブレーション処理が正確になされなかった場合は、図１１に示すように、合成画像ＣＰに表現されるマーカ像８０は画像同士の接続部分で分断され、いびつな形状となる。
【００８０】
図１０の合成画像ＣＰは図８に示す基準画像ＲＰとほぼ同様の内容となるが、図１１の合成画像ＣＰは図８に示す基準画像ＲＰとは大きく異なっている。このため、図１２に示すように、処理判定部１４は、生成された合成画像ＣＰと基準画像ＲＰとを比較し、大きく異なっていれば、キャリブレーション処理が正確になされていないと判定する。すなわち、設置パラメータの取得は不合格と判定することになる。
【００８１】
この判定にあたっては、まず、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整がなされる（ステップＳ１８）。具体的には、合成画像ＣＰの平均輝度、及び、基準画像ＲＰの平均輝度がそれぞれ導出される。そして、基準画像ＲＰの平均輝度を合成画像ＣＰの平均輝度で除算した値が係数として導出され、この係数が合成画像ＣＰの各画素に乗算される。これにより、合成画像ＣＰと基準画像ＲＰとの平均的な明るさがおよそ一致することになる。このような、明るさの調整を行うことで、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことができる。
【００８２】
次に、合成画像ＣＰと基準画像ＲＰとの比較がなされる（ステップＳ１９）。この比較には周知の各種の画像比較手法を採用可能である。本実施の形態では、次の数１により、平均二乗誤差（ＭＳＥ／Mean Square Error）を導出する。
【００８３】
【数１】
ここで、Ｍは横方向の画素数、Ｍ’は縦方向の画素数、ｙ（ｉ，ｊ）は合成画像ＣＰの座標（ｉ，ｊ）の画素値、ｓ（ｉ，ｊ）は基準画像ＲＰの座標（ｉ，ｊ）の画素値をそれぞれ示している。すなわち、平均二乗誤差（ＭＳＥ）は、合成画像ＣＰと基準画像ＲＰとにおいて、同一座標の画素間での差分をとり、その差分の二乗を平均することで導出される。
【００８４】
したがって、差分二乗誤差は、合成画像ＣＰと基準画像ＲＰとの相違の程度を示す数値となる。差分二乗誤差が、小さいほど合成画像ＣＰと基準画像ＲＰとが近似し、合成画像ＣＰは車両９の周辺の様子を良好に示すものとなる。逆に、差分二乗誤差大きいほど合成画像ＣＰと基準画像ＲＰとは相違し、合成画像ＣＰは車両の周辺の様子を示すのに適さないものとなる。
【００８５】
このため、本実施の形態では、この合成画像ＣＰと基準画像ＲＰとの比較結果となる差分二乗誤差が所定の閾値よりも小さい場合は、キャリブレーション処理が正確になされたと判断し、取得された設置パラメータを合格と判定する。逆に、差分二乗誤差が所定の閾値以上となる場合は、キャリブレーション処理が正確になされなかったと判断し、取得された設置パラメータを不合格と判定する。
【００８６】
設置パラメータを合格と判定した場合は（ステップＳ２０にてＹｅｓ）、この設置パラメータが以降の合成画像の生成に用いるためのものとして確定され、不揮発性メモリ４０に記録される（ステップＳ２１）。
【００８７】
一方、設置パラメータを不合格と判定した場合は（ステップＳ２０にてＹｅｓ）、キャリブレーション処理を再実行することを示すメッセージがディスプレイ３３に表示される（ステップＳ２２）。そして、処理は、ステップＳ１２に戻り、キャリブレーション処理が再実行され、ユーザの操作に基づいて設置パラメータが再び導出される。このような処理は、設置パラメータが合格となるまで繰り返される。このため、合成画像の良否という観点において適切な設置パラメータを確実に取得することができることになる。
【００８８】
以上のように、本実施の形態の画像表示装置１においては、キャリブレーション処理において、ユーザの操作に基づいて、複数の車載カメラ５０のそれぞれに関する設置パラメータが導出される。この設置パラメータと、複数の車載カメラ５０で得られる複数の画像とを利用して、所定の仮想視点からみた車両９の周辺の様子を示す合成画像ＣＰが生成される。そして、生成された合成画像ＣＰと、所定の位置からみた車両９の周辺の様子を示す基準画像ＲＰとを比較し、その比較結果に基づいて設置パラメータの合否が判定される。このように、生成された合成画像ＣＰを基準画像ＲＰと比較することにより設置パラメータの合否を判定することから、生成される合成画像の良否という観点において適切な設置パラメータを取得できる。
【００８９】
また、キャリブレーション処理がなされて設定パラメータが導出されると、それに応答して自動的に、設置パラメータの合否が判定される。このため、ユーザの操作を伴わずに設置パラメータの合否が判定されることから、設置パラメータの合否判定のために、ユーザのわずらわしい操作を必要としない。また、合否判定がなされないままの設置パラメータがその後の処理に用いられることも防止される。
【００９０】
＜５．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９１】
＜５−１．模様＞
上記実施の形態では、キャリブレーション処理において複数の画像を複数の車載カメラ５０で取得する際には、車両９の周囲に４つのマーカ８のみを配置していた。これに対して、図１３に示すように、マーカ８以外に、床面に所定の模様７が示された作業場に車両９を配置するようにしてもよい。
【００９２】
この場合において、車両９は作業場の予め定められた位置に配置される。その状態において、車両９の周辺には模様７が示され、この模様７は車両９の周囲全体を囲むことになる。そして、この状態で、上記実施の形態で説明した処理と同様の処理が実行される。
【００９３】
図１４は、この場合に取得される基準画像ＲＰの一例を示す図である。基準画像ＲＰにおいては、車両像９０及びマーカ像８０とともに、模様７の像（模様像７０）も含まれている。また、図１５は、キャリブレーション処理が正確になされなかった場合に生成された合成画像ＣＰの一例を示す図である。この合成画像ＣＰにおいても、車両像９０及びマーカ像８０とともに模様像７０が含まれている。
【００９４】
図１４と図１５とを比較してわかるように、キャリブレーション処理が正確になされなかった場合は、マーカ像８０のみならず模様像７０においても、合成画像ＣＰと基準画像ＲＰとで差が生じる。つまり、合成画像ＣＰと基準画像ＲＰとにおけるマーカ像８０の相違は画像同士の接続部分のみとなるが、模様像７０の相違は車両像９０の周囲全体で生じる。このため、合成画像ＣＰと基準画像ＲＰとを比較した場合に、それらの相違の程度をより大きく示すことができる。このため、マーカ８のみを配置する場合よりも、合成画像ＣＰと基準画像ＲＰとの比較を正確に行うことが可能となる。また、模様７が車両９の周囲全体を囲むようになっていることから、車両９の周囲全体を示す合成画像の良否という観点において適切な設置パラメータを取得できる。
【００９５】
＜５−２．基準画像＞
上記実施の形態では、車外カメラ２１で実際に車両９を撮影することで基準画像ＲＰを取得するようにしていた。これに対して、不揮発性メモリ４０などに車両像とマーカ像を含む基準画像を予め記憶しておき、実際の撮影を行わないようにしてもよい。この場合は、基準画像としては、実写像ではなくＣＧ等で作成したピクチャーなどを用いることも可能である。これによれば、基準画像取得装置２が不要になり、より簡易な構成で適切な設置パラメータを取得できる。
【００９６】
ただし、この場合は、キャリブレーション処理を行う際の車両９とマーカ８との位置関係を正確に配置する必要がある。車両９とマーカ８との位置関係が多少正確でなくとも適切な設置パラメータを取得できるといった点では、上記実施の形態のように実際に車両９を撮影することで基準画像ＲＰを取得することが望ましい。
【００９７】
＜５−３．その他変形例＞
上記実施の形態では、車外カメラ２１は車両９の直上に配置され、仮想視点の視点位置も車両９の直上に設定されていた。これに対して、車外カメラ２１や仮想視点の車両９に対する位置は、車両９の前方や後方などの位置であってもよい。つまりは、実際の車両９に対する車外カメラ２１の位置関係と、車両９（立体曲面ＳＰの車両像９０）に対する仮想視点の位置関係とが同一となるようにすればよい。ただし、車両９の周囲全体を示す合成画像を適切に生成可能な設置パラメータを取得するという観点からは、車外カメラ２１や仮想視点の位置は車両９の直上とすることが望ましい。
【００９８】
また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとの比較前に合成画像ＣＰと基準画像ＲＰとの平均的な明るさが略一致するように調整していた。これに対して、さらに、合成画像ＣＰと基準画像ＲＰとの比較前に、合成画像ＣＰと基準画像ＲＰとにおける被写体像の大きさや位置が略一致するように調整するようにしてもよい。これは、合成画像ＣＰと基準画像ＲＰとの双方に含まれる車両像９０の位置やサイズを基準として、調整すればよい。このようにすれば、合成画像ＣＰと基準画像ＲＰとの比較をより正確に行うことができる。
【００９９】
また、上記実施の形態では、合成画像ＣＰと基準画像ＲＰとを比較する際に、画像中の領域全体に関して比較を行っていたが、車両像９０を除いた周辺領域のみや、マーカ像８０が存在する車両像９０の左前方、右前方、左後方及び右後方の領域のみを用いて比較を行うようにしてもよい。
【０１００】
また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１０１】
１ 画像表示装置
２ 基準画像取得装置
５ 撮影部
７ 模様
８ マーカ
９ 車両
１３ キャリブレーション部
１４ 処理判定部
２１ 車外カメラ
５０ 車載カメラ
【特許請求の範囲】
【請求項１】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する判定手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項２】
請求項１に記載のパラメータ取得装置において、
前記基準画像は、前記車両の外部に配置される一つの車外カメラにより実際の前記車両の周辺を撮影して取得されることを特徴とするパラメータ取得装置。
【請求項３】
請求項１または２に記載のパラメータ取得装置において、
前記生成手段は、前記仮想視点を前記車両の直上に設定し、
前記判定手段は、前記合成画像と、前記車両の直上からみた基準画像とを比較することを特徴とするパラメータ取得装置。
【請求項４】
請求項１ないし３のいずれかに記載のパラメータ取得装置において、
前記判定手段による比較前に、前記合成画像と前記基準画像との平均的な明るさが略一致するように調整する調整手段、
をさらに備えることを特徴とするパラメータ取得装置。
【請求項５】
請求項１ないし４のいずれかに記載のパラメータ取得装置において、
前記複数の画像を前記複数の車載カメラで取得する際に前記車両は、該車両の周辺に所定の模様が示された状態で配置され、
前記基準画像には、前記所定の模様が含まれていることを特徴とするパラメータ取得装置。
【請求項６】
請求項５に記載のパラメータ取得装置において、
前記所定の模様は、前記車両の周囲全体を囲むことを特徴とするパラメータ取得装置。
【請求項７】
請求項１ないし６のいずれかに記載のパラメータ取得装置において、
前記判定手段は、前記導出手段による前記設置パラメータの導出に応答して、当該設置パラメータの合否を判定することを特徴とするパラメータ取得装置。
【請求項８】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して生成される所定の仮想視点からみた前記車両の周辺の様子を示す合成画像と比較するための、所定の位置からみた前記車両の周辺の様子を示す基準画像を記憶する記憶手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項９】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得システムであって、
請求項１ないし８のいずれかに記載のパラメータ取得装置と、
前記車両の外部に配置され、実際の前記車両の周辺を撮影して前記基準画像を取得する車外カメラと、
を備えることを特徴とするパラメータ取得システム。
【請求項１０】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、
を備えることを特徴とするパラメータ取得方法。
【請求項１１】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、
前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、
を実行させることを特徴とするプログラム。
【請求項１】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する生成手段と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する判定手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項２】
請求項１に記載のパラメータ取得装置において、
前記基準画像は、前記車両の外部に配置される一つの車外カメラにより実際の前記車両の周辺を撮影して取得されることを特徴とするパラメータ取得装置。
【請求項３】
請求項１または２に記載のパラメータ取得装置において、
前記生成手段は、前記仮想視点を前記車両の直上に設定し、
前記判定手段は、前記合成画像と、前記車両の直上からみた基準画像とを比較することを特徴とするパラメータ取得装置。
【請求項４】
請求項１ないし３のいずれかに記載のパラメータ取得装置において、
前記判定手段による比較前に、前記合成画像と前記基準画像との平均的な明るさが略一致するように調整する調整手段、
をさらに備えることを特徴とするパラメータ取得装置。
【請求項５】
請求項１ないし４のいずれかに記載のパラメータ取得装置において、
前記複数の画像を前記複数の車載カメラで取得する際に前記車両は、該車両の周辺に所定の模様が示された状態で配置され、
前記基準画像には、前記所定の模様が含まれていることを特徴とするパラメータ取得装置。
【請求項６】
請求項５に記載のパラメータ取得装置において、
前記所定の模様は、前記車両の周囲全体を囲むことを特徴とするパラメータ取得装置。
【請求項７】
請求項１ないし６のいずれかに記載のパラメータ取得装置において、
前記判定手段は、前記導出手段による前記設置パラメータの導出に応答して、当該設置パラメータの合否を判定することを特徴とするパラメータ取得装置。
【請求項８】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する導出手段と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して生成される所定の仮想視点からみた前記車両の周辺の様子を示す合成画像と比較するための、所定の位置からみた前記車両の周辺の様子を示す基準画像を記憶する記憶手段と、
を備えることを特徴とするパラメータ取得装置。
【請求項９】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得システムであって、
請求項１ないし８のいずれかに記載のパラメータ取得装置と、
前記車両の外部に配置され、実際の前記車両の周辺を撮影して前記基準画像を取得する車外カメラと、
を備えることを特徴とするパラメータ取得システム。
【請求項１０】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得方法であって、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、
を備えることを特徴とするパラメータ取得方法。
【請求項１１】
車両に搭載された複数の車載カメラの設置に関する設置パラメータを取得するパラメータ取得装置に含まれるコンピュータによって実行可能なプログラムであって、
前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
ユーザの操作に基づいて、前記複数の車載カメラのそれぞれに関する前記設置パラメータを導出する工程と、
前記複数の車載カメラで得られる複数の画像と前記設置パラメータとを利用して、所定の仮想視点からみた前記車両の周辺の様子を示す合成画像を生成する工程と、
生成された前記合成画像と、所定の位置からみた前記車両の周辺の様子を示す基準画像とを比較し、その比較結果に基づいて前記設置パラメータの合否を判定する工程と、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１５１６６６（Ｐ２０１１−１５１６６６Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１２２１３（Ｐ２０１０−１２２１３）
【出願日】平成２２年１月２２日（２０１０．１．２２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２２日（２０１０．１．２２）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]