マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法
【課題】車両周辺画像において各撮像画像の繋ぎ目にズレを余り生じさせないような高精度のマッピングテーブルを、目標物を正確な位置に配置するという手間をかけずに生成することができる「マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法」を提供する。
【解決手段】撮像範囲が重なるように配置した複数のカメラによって、複数の目標物が各撮像画像に撮像された複数の撮像画像の歪みを補正した複数の歪補正画像を視点変換し各画像内で目標物に係る画素領域の形状等を実際の目標物の形状等に基づき調整した第１画像と、各画像間で同一の目標物の形状等を一致させた第２画像と、車両の画素領域を除去した第３画像とを順次生成し、歪補正画像と第１画像、第１画像と第２画像、および、第２画像と第３画像とを関係付ける複数のパラメータからマッピングテーブルを生成するようにしている。
【解決手段】撮像範囲が重なるように配置した複数のカメラによって、複数の目標物が各撮像画像に撮像された複数の撮像画像の歪みを補正した複数の歪補正画像を視点変換し各画像内で目標物に係る画素領域の形状等を実際の目標物の形状等に基づき調整した第１画像と、各画像間で同一の目標物の形状等を一致させた第２画像と、車両の画素領域を除去した第３画像とを順次生成し、歪補正画像と第１画像、第１画像と第２画像、および、第２画像と第３画像とを関係付ける複数のパラメータからマッピングテーブルを生成するようにしている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法に関し、特に、車両に設置した複数のカメラによって撮像される複数の撮像画像から車両周辺画像を生成するときに参照されるマッピングテーブルを生成する場合に好適なマッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法に関するものである。
【背景技術】
【０００２】
車両の前後左右に複数のカメラを設置し、複数のカメラにより車両の前後左右の周辺を撮影した複数の撮像画像から当該車両の上方正面を視点とする車両周辺画像を生成する技術が知られている。この技術では、複数の撮像画像の各画素（画素位置）と、生成されるべき車両周辺画像の各画素とを対応付けたテーブル（以下、マッピングテーブルという）を予め格納し、複数の撮像画像を取得した際にマッピングテーブルを参照して、複数の撮像画像から車両周辺画像を生成する。マッピングテーブルは、車両とその周辺に置くターゲットボード（サイズ、パターンなどは既知）との相対的な位置関係を既知の情報として、撮像画像上のターゲットボードの位置などから各カメラの設置位置を推定し、推定した各カメラの設置位置に基づいて車両の出荷前に生成される。
【０００３】
しかしながら、高精度のマッピングテーブルを生成するためには、車両とターゲットボードとの相対的な既知の位置関係に従ってターゲットボードを正確に配置しなければならないが、ターゲットボードを正確な位置に配置するのは困難であり、手間もかかるという問題があった。なお、ターゲットボードを正確に配置するために、例えば、別途の器具などを用意する方法が開示されている（例えば、特許文献１を参照）。
【特許文献１】特開２００１−２８５６８１号公報
【０００４】
また、カメラ毎の設置位置を推定してマッピングテーブルを生成した場合、そのマッピングテーブルを参照して生成される車両周辺画像には、各カメラの各撮像画像の継ぎ目部分にズレが生じるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような問題を解決するために成されたものである。すなわち、ターゲットボードを正確な位置に配置するという手間をかけずに高精度のマッピングテーブルを生成すること、および、生成される車両周辺画像において各カメラの各撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決するために、本発明では、車両周辺画像において隣接して結合される２つの画像の元となる撮像画像の重複領域内に同一の被写体が撮像された複数の撮像画像の歪みを補正した複数の歪補正画像であって、それぞれが既知の形状およびサイズの被写体である複数の目標物に係る複数の画素領域を有する複数の歪補正画像から、車両の上方正面を視点とした複数の画像であって、各画像において各目標物に係る画素領域の形状を当該目標物の形状に一致させるともに、各画像において複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成し、歪補正画像と第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、複数の第１画像から、複数の画像であって、複数の画像間において同一の目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成し、第１画像と第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、複数の第２画像から、複数の第２画像を処理した複数の画像であって、処理後の複数の画像を結合した結合画像において車両に係る画素領域が除去されるように複数の第２画像を処理した複数の第３画像を生成し、第２画像と第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得し、取得した第１パラメータ、第２パラメータおよび第３パラメータを用いてマッピングテーブルを生成するようにしている。
【発明の効果】
【０００７】
上記のように構成した本発明によれば、車両に設置された複数のカメラの設置位置を推定し、マッピングテーブルを生成するのではなく、実際に、車両周辺画像を生成すべく複数のカメラによって撮像された撮像画像に基づいて画像の位置合わせが行われ、位置合わせの過程で得られる種々のパラメータを用いてマッピングテーブルが生成される。これにより、複数のカメラの設置位置を推定するために前提となるターゲットボードを正確な位置に配置するという困難かつ手間のかかる作業が不要となり、複数のカメラによって撮像される位置にターゲットボードを配置するだけで、高精度のマッピングテーブルを生成することができる。
【０００８】
また、上記のように構成した本発明によれば、隣接する画像との継ぎ目部分のズレが生じないように上述の位置合わせが行われ、位置合わせの過程で得られる種々のパラメータを用いてマッピングテーブルが生成される。これにより、生成される車両周辺画像において各カメラの各撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態の車両周辺画像生成装置１０の構成例を示す図である。図２は、複数のカメラ、ターゲットボード５００などの配置例を示す図である。車両周辺画像生成装置１０は、車両に搭載される。
【００１０】
図１に示すように、車両周辺画像生成装置１０は、車両の前方を撮像する前方カメラ１１０ａ、車両の右側方を撮像する右側方カメラ１１０ｂ、車両の後方を撮像する後方カメラ１１０ｃおよび車両の左側方を撮像する左側方カメラ１１０ｄ、マッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０、表示部１６０を備えるとともに、マッピングテーブル生成装置２０（本発明のマッピングテーブル生成装置に相当）を備えて構成される。以下、前方カメラ１１０ａ、右側方カメラ１１０ｂ、後方カメラ１１０ｃおよび左側方カメラ１１０ｄを総称して「４つのカメラ」という。４つのカメラはそれぞれ、焦点距離が短いレンズ（例えば、魚眼レンズ）を有する。
【００１１】
車両周辺画像生成装置１０は、前方カメラ１１０ａによって撮像された撮像画像（以下、「前方撮像画像」という）の歪みを補正した画像（以下、「前方歪補正画像」という）、右側方カメラ１１０ｂによって撮像された撮像画像（以下、「右側方撮像画像」という）の歪みを補正した画像（以下、「右側方歪補正画像」という）、後方カメラ１１０ｃによって撮像された撮像画像（以下、「後方撮像画像」という）の歪みを補正した画像（以下、「後方歪補正画像」という）および左側方カメラ１１０ｄによって撮像された撮像画像（以下、「左側方撮像画像」という）の歪みを補正した画像（以下、「左側方歪補正画像」という）から、入力画像の画素位置と出力画像の画素位置とを対応付けたテーブル（以下、「マッピングテーブル」という）を参照して、当該車両の上方正面を視点とする画像（以下、「車両周辺画像」という）を生成する。以下、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を総称して「撮像画像」という。また、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を総称して「歪補正画像」という。
【００１２】
換言すれば、車両周辺画像生成装置１０によって生成される車両周辺画像は、前方歪補正画像をマッピングテーブルによって再標本化（または再配列）した画像（以下、「前方再配列画像」という）と、右側方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「右側方再配列画像」という）と、後方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「後方再配列画像」という）と、左側方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「左側方再配列画像」という）とを結合した画像である。なお、前方再配列画像は、右側方再配列画像および左側方撮像画像と車両周辺画像において隣接して結合される。また、後方再配列画像は、右側方再配列画像および左側方撮像画像と車両周辺画像において隣接して結合される。以下、前方再配列画像、右側方再配列画像、後方再配列画像および左側方再配列画像を総称して「再配列画像」という。
【００１３】
４つのカメラはそれぞれ、車両の異なる位置であって、車両周辺画像において隣接して結合される再配列画像の元となる２つの撮像画像の重複撮像領域において同一の被写体が撮像されるような位置にそれぞれ設置される。すなわち、４つのカメラは、車両周辺画像において隣接して結合される２つの再配列画像の元となる撮像画像を撮像するカメラどうしが同一の被写体を撮像し得る共通の撮像範囲（以下、「共通撮像範囲」という）を有するように、車両上に設置される。
【００１４】
具体的には、４つのカメラは、図２（ａ）に示す位置に設置される。すなわち、前方再配列画像と右側方再配列画像とは車両周辺画像において隣接して結合されるので、図２（ａ）に示すように、前方カメラ１１０ａおよび右側方カメラ１１０ｂは、共通撮像範囲３００ａ（ハッチングを付した範囲、以下、同様）を有するような位置に設置される。同様に、右側方再配列画像と後方再配列画像とは車両周辺画像において隣接して結合されるので、右側方カメラ１１０ｂおよび後方カメラ１１０ｃは、共通撮像範囲３００ｂを有するような位置に設置される。後方再配列画像と左側方再配列画像とは車両周辺画像において隣接して結合されるので、後方カメラ１１０ｃおよび左側方カメラ１１０ｄは、共通撮像範囲３００ｃを有するような位置に設置される。左側方再配列画像と前方再配列画像とは車両周辺画像において隣接して結合されるので、左側方カメラ１１０ｄおよび前方カメラ１１０ａは、共通撮像範囲３００ｄを有するような位置に設置される。
【００１５】
４つのカメラは、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を歪補正画像生成部１４０に供給する。
【００１６】
歪補正画像生成部１４０は、４つのカメラから前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を取得する。歪補正画像生成部１４０は、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を取得した場合に、予め用意している所定の内部パラメータを用いて、それぞれの歪みを補正した前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を生成する。
【００１７】
歪補正画像生成部１４０は、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を車両周辺画像生成部１５０およびマッピングテーブル生成装置２０に供給する。なお、歪補正画像生成部１４０は、ユーザからの指示を受け付ける操作部（非図示）がマッピングテーブルを生成すべき旨のユーザからの指示を受け付けた場合に、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像をマッピングテーブル生成装置２０に供給することが好ましい。
【００１８】
マッピングテーブル格納部１２０は、マッピングテーブルを格納する。具体的には、マッピングテーブル格納部１２０は、マッピングテーブル生成装置２０によって生成されたマッピングテーブルを格納する。車両画像記憶部１３０は、車両周辺画像に合成される車両の画像（以下、「車両画像」という）を格納する。
【００１９】
車両周辺画像生成部１５０は、歪補正画像生成部１４０から前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を取得する。車両周辺画像生成部１５０は、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を取得した場合に、マッピングテーブル格納部１２０に格納されたマッピングテーブルを参照して、上述の如く車両周辺画像を生成し、生成した車両周辺画像に車両画像記憶部１３０に記憶された車両画像を合成して表示部１６０に供給する。表示部１６０は、車両周辺画像生成部１５０から車両画像が合成された車両周辺画像を取得し、表示する。
【００２０】
マッピングテーブル生成装置２０は、図１に示すように、第１画像生成部２１０、第２画像生成部２２０、第３画像生成部２３０、パラメータ取得部２６０、パラメータ格納部２７０およびマッピングテーブル生成部２８０を備えて構成される。
【００２１】
第１画像生成部２１０は、歪補正画像生成部１４０から歪補正画像を取得する。具体的には、第１画像生成部２１０は、既知の形状およびサイズであるターゲットボード（本発明の目標物に相当）が、各カメラの各共通撮像範囲に１個以上配置された状態で、４つのカメラによって撮像された４つの撮像画像の歪みを補正した４つの歪補正画像を歪補正画像生成部１４０から取得する。すなわち、第１画像生成部２１０は、各共通撮像範囲に配置された１個以上のターゲットボードが撮像されている前方撮像画像に係る前方歪補正画像、右側方撮像画像に係る右側方歪補正画像、後方撮像画像に係る後方歪補正画像、および、左側方撮像画像に係る左側方歪補正画像を歪補正画像生成部１４０から取得する。
【００２２】
第１画像生成部２１０は、歪補正画像生成部１４０から取得した前方歪補正画像から、車両の上方正面を視点とした画像であって、前方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、前方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「前方第１画像」という）を生成する。
【００２３】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した右側方歪補正画像から、車両の上方正面を視点とした画像であって、右側方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、右側方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「右側方第１画像」という）を生成する。
【００２４】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した後方歪補正画像から、車両の上方正面を視点とした画像であって、後方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、後方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「後方第１画像」という）を生成する。
【００２５】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した左側方歪補正画像から、車両の上方正面を視点とした画像であって、左側方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、左側方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「左側方第１画像」という）を生成する。以下、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を総称する場合に「第１画像」という。第１画像生成部２１０は、生成した第１画像を第２画像生成部２２０に供給する。
【００２６】
第２画像生成部２２０は、第１画像生成部２１０から第１画像を取得する。第２画像生成部２２０は、第１画像生成部２１０から取得した同一のターゲットボード（共通撮像範囲に配置されたターゲットボード）に係る画素領域を有する４つの第１画像から、同一のターゲットボードに係る画素領域の形状およびサイズを一致させた４つの第２画像（以下、前方第１画像から生成される画像を「前方第２画像」、右側方第１画像から生成される画像を「右側方第２画像」、後方第１画像から生成される画像を「後方第２画像」、左側方第１画像から生成される画像を「左側方第２画像」、総称する場合に「第２画像」という）を生成する。第２画像生成部２２０は、生成した第２画像を第３画像生成部２３０に供給する。
【００２７】
第３画像生成部２３０は、第２画像生成部２２０から第２画像を取得する。第３画像生成部２３０は、第２画像生成部２２０から取得した第２画像から、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像をそれぞれ処理した画像であって、処理後の各画像を結合した結合画像において車両に係る画素領域が除去されるように第２画像を処理した４つの画像（以下、前方第２画像から生成される画像を「前方第３画像」、右側方第２画像から生成される画像を「右側方第３画像」、後方第２画像から生成される画像を「後方第３画像」、左側方第２画像から生成される画像を「左側方第３画像」、総称する場合に「第３画像」という）を生成する。
【００２８】
パラメータ取得部２６０は、第１画像生成部２１０が第１画像を生成した後に、歪補正画像と第１画像とを関係付ける関係式（以下、「第１関係式」という）において前方歪補正画像と前方第１画像とを関係付けるパラメータ（以下、「前方第１パラメータ」という）を第１画像生成部２１０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第１関係式において右側方歪補正画像と右側方第１画像とを関係付けるパラメータ（以下、「右側方第１パラメータ」という）、第１関係式において後方歪補正画像と後方第１画像とを関係付けるパラメータ（以下、「後方第１パラメータ」という）、および、第１関係式において左側方歪補正画像と左側方第１画像とを関係付けるパラメータ（以下、「左側方第１パラメータ」という）を第１画像生成部２１０から取得し、パラメータ格納部２７０に格納する。以下、前方第１パラメータ、右側方第１パラメータ、後方第１パラメータおよび左側方第１パラメータを総称して第１パラメータという。
【００２９】
また、パラメータ取得部２６０は、第２画像生成部２２０が第２画像を生成した後に、第１画像と第２画像とを関係付ける関係式（以下、「第２関係式」という）において前方第１画像と前方第２画像とを関係付けるパラメータ（以下、「前方第２パラメータ」という）を第２画像生成部２２０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第２関係式において右側方第１画像と右側方第２画像とを関係付けるパラメータ（以下、「右側方第２パラメータ」という）、第２関係式において後方第１画像と後方第２画像とを関係付けるパラメータ（以下、「後方第２パラメータ」という）、および、第２関係式において左側方第１画像と左側方第２画像とを関係付けるパラメータ（以下、「左側方第２パラメータ」という）を第２画像生成部２２０から取得し、パラメータ格納部２７０に格納する。以下、前方第２パラメータ、右側方第２パラメータ、後方第２パラメータおよび左側方第２パラメータを総称して第２パラメータという。
【００３０】
また、パラメータ取得部２６０は、第３画像生成部２３０が第３画像を生成した後に、第２画像と第３画像とを関係付ける関係式（以下、「第３関係式」という）において前方第２画像と前方第３画像とを関係付けるパラメータ（以下、「前方第３パラメータ」という）を第３画像生成部２３０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第３関係式において右側方第２画像と右側方第３画像とを関係付けるパラメータ（以下、「右側方第３パラメータ」という）、第３関係式において後方第２画像と後方第３画像とを関係付けるパラメータ（以下、「後方第３パラメータ」という）、および、第３関係式において左側方第２画像と左側方第３画像とを関係付けるパラメータ（以下、「左側方第３パラメータ」という）を第３画像生成部２３０から取得し、パラメータ格納部２７０に格納する。以下、前方第３パラメータ、右側方第３パラメータ、後方第３パラメータおよび左側方第３パラメータを総称して第３パラメータという。第１関係式、第２関係式、第３関係式、第１パラメータ、第２パラメータおよび第３パラメータについては後述する。
【００３１】
パラメータ格納部２７０は、パラメータ取得部２６０により取得された第１パラメータ、第２パラメータおよび第３パラメータを格納する。
【００３２】
マッピングテーブル生成部２８０は、パラメータ格納部２７０から、パラメータ取得部２６０によって取得された第１パラメータ、第２パラメータおよび第３パラメータを取得する。マッピングテーブル生成部２８０は、取得した第１パラメータ、第２パラメータおよび第３パラメータから、マッピングテーブルを生成し、マッピングテーブル格納部１２０に格納する。なお、マッピングテーブル生成部２８０の動作の詳細は後述する。
【００３３】
以下、上記のように構成したマッピングテーブル生成装置２０の動作について具体例を用いて詳細に説明する。図３は、図１に示すマッピングテーブル生成装置２０の動作の一例を示すフローチャートである。図４は、前方撮像画像、前方歪補正画像、前方第１画像および右側方第１画像の一例を模式的に示した図である。図５は、前方第２画像および右側方第２画像の一例を模式的に示した図である。図６は、第３画像の一例を模式的に示した図である。図７は、歪補正画像と第１画像とを関係付ける第１関係式、第１画像と第２画像とを関係付ける第２関係式の一例を示した図である。図８は、第２画像と第３画像とを関係付ける第３関係式、歪補正画像と第３画像とを関係付ける関係式の一例を示す図である。
【００３４】
図３に示すフローチャートは、図２（ａ）に示す状態（既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ａが共通撮像範囲３００ａに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｂが共通撮像範囲３００ｂに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｃが共通撮像範囲３００ｃに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｄが共通撮像範囲３００ｄに配置されている状態）で撮像された前方撮像画像、右側方撮像画像、後方撮像画像、および、左側方撮像画像を歪補正画像生成部１４０が４つのカメラから取得することにより開始する。
【００３５】
また、各ターゲットボード５００上のスプライト柄は同一（スプライト柄を構成する黒丸の数、大きさ、位置は同一）であるものとする。また、各黒丸の数は、図２（ｂ）に示す例において２５個であるが、２５個以外であってもよい。なお、図４、図５、図６においてターゲットボード５００上のスプライト柄は省略している。
【００３６】
図３において、歪補正画像生成部１４０は、前方撮像画像から、前方撮像画像の歪みを補正させた前方歪補正画像を生成する（ステップＳ１００）。具体的には、歪補正画像生成部１４０は、図４（ａ）に示す前方撮像画像（ターゲットボード５００ｄに係る画素領域５１０ｄ、ターゲットボード５００ａに係る画素領域５１０ａ、および、当該車両の一部に係る画素領域４１０を有する）から、内部パラメータ（画像主点、焦点距離などのパラメータ）を用いて、図４（ｂ）に示す前方歪補正画像（ターゲットボード５００ｄに係る画素領域５２０ｄ、ターゲットボード５００ａに係る画素領域５２０ａ、および、当該車両の一部に係る画素領域４２０を有する）を生成する。同様に、歪補正画像生成部１４０は、右側方撮像画像、後方撮像画像および左側方撮像画像から、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を生成する（ステップＳ１００）。歪補正画像生成部１４０は、生成した歪補正画像を第１画像生成部２１０に供給する。
【００３７】
第１画像生成部２１０は、歪補正画像生成部１４０から歪補正画像を取得する。そして、第１画像生成部２１０は、取得した前方歪補正画像から前方第１画像を生成する（ステップＳ１１０）。
【００３８】
具体的には、第１画像生成部２１０は、図４（ｂ）に示す前方歪補正画像から、車両の上方正面を視点とした画像であって、ターゲットボード５００ｄに係る画素領域５２０ｄの形状およびターゲットボード５００ａに係る画素領域５２０ａの形状をターゲットボード５００ｄおよびターゲットボード５００ａのそれぞれの形状に一致させるとともに、画素領域５２０ｄと画素領域５２０ａとのサイズの比率をターゲットボード５００ｄとターゲットボード５００ａとのサイズの比率に一致させた図４（ｃ）に示す前方第１画像（ターゲットボード５００ｄに係る画素領域５３０ｄ、ターゲットボード５００ａに係る画素領域５３０ａ、および、当該車両の一部に係る画素領域４３０を有する）を生成する。
【００３９】
より詳しくは、第１画像生成部２１０は、まず、図４（ｂ）に示す前方歪補正画像上のターゲットボード５００ｄに係る画素領域５２０ｄ、および、ターゲットボード５００ａに係る画素領域５２０ａに存在する２５個の黒丸の領域（以下、「黒丸領域」という）をエッジ抽出により求める。
【００４０】
次に、第１画像生成部２１０は、画素領域５２０ｄに存在する所定の２つの黒丸領域の中心間を結ぶ複数の距離（例えば、画素領域５２０ｄにおいて、中央に存在する黒丸領域の中心と右上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ａ」という）、中央に存在する黒丸領域の中心と右下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｂ」という）、中央に存在する黒丸領域の中心と左下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｃ」という）、および、中央に存在する黒丸領域の中心と左上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｄ」という））を算出する。
【００４１】
同様に、１画像生成部２１０は、画素領域５２０ａに存在する所定の２つの黒丸領域の中心間を結ぶ複数の距離（例えば、画素領域５２０ａにおいて、中央に存在する黒丸領域の中心と右上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｅ」という）、中央に存在する黒丸領域の中心と右下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｆ」という）、中央に存在する黒丸領域の中心と左下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｇ」という）、および、中央に存在する黒丸領域の中心と左上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｈ」という））を算出する。
【００４２】
そして、第１画像生成部２１０は、画素領域５２０ｄ上において算出した複数の距離の比率（例えば、距離ａ：距離ｂ：距離ｃ：距離ｄ）がターゲットボード５００ｄ上の実際の当該複数の距離の比率（例えば、図２（ｃ）の距離Ａ：距離Ｂ：距離Ｃ：距離Ｄ。なお、図２（ｃ）では、説明上、黒丸を白丸にて示す）と一致し、画素領域５２０ａ上において算出した複数の距離の比率（例えば、距離ｅ：距離ｆ：距離ｇ：距離ｈ）がターゲットボード５００ａ上の実際の当該複数の距離の比率（距離Ａ：距離Ｂ：距離Ｃ：距離Ｄ）と一致し、かつ、画素領域５２０ｄ上において算出した距離（例えば、距離ａ）と当該距離に対応する画素領域５２０a上の距離（例えば、距離ａに対応する距離ｅ）との比率（例えば、距離ａ：距離ｅ）がターゲットボード５００ｄ上の当該距離とターゲットボード５００ａ上の当該距離との比率（距離Ａ：距離Ａ＝１：１）と一致するように、図４（ｂ）に示す前方歪補正画像を視点変換した画像を回転、シフトさせることにより、図４（ｃ）に示す前方第１画像を生成する。
【００４３】
同様に、第１画像生成部２１０は、右側方歪補正画像、後方歪補正画像および左側方歪補正画像から、右側方第１画像、後方第１画像および左側方第１画像を生成する（ステップＳ１１０）。なお、図４（ｄ）は、第１画像生成部２１０により生成された右側方第１画像（ターゲットボード５００ａに係る画素領域５３２ａ、ターゲットボード５００ｂに係る画素領域５３２ｂ、および、当該車両の一部に係る画素領域４３２を有する）を示す。
【００４４】
なお、ターゲットボード５００ｄとターゲットボード５００ａとが同一の形状およびサイズであるときは、第１画像生成部２１０は、図４（ｂ）に示す前方歪補正画像から、前方歪補正画像上のターゲットボード５００ｄに係る画素領域５２０ｄの形状およびサイズとターゲットボード５００ａに係る画素領域５２０ａの形状およびサイズとを一致させることにより前方第１画像を生成してもよい。
【００４５】
第１画像生成部２１０は、生成した第１画像を第２画像生成部２２０に供給する。また、第１画像生成部２１０は、歪補正画像から第１画像を生成したときの回転量およびシフト量をパラメータ取得部２６０に供給する。
【００４６】
パラメータ取得部２６０は、第１パラメータとして、歪補正画像から第１画像を生成したときの回転量およびシフト量を第１画像生成部２１０から取得する（ステップＳ１２０）。具体的には、パラメータ取得部２６０は、前方歪補正画像と前方第１画像との関係に係る前方第１パラメータ（Δｒｘ１ａ，Δｒｙ１ａ，Δｒｚ１ａ，Δｔｘ１ａ，Δｔｙ１ａ，Δｔｚ１ａ）、右側方歪補正画像と右側方第１画像との関係に係る右側方第１パラメータ（Δｒｘ１ｂ，Δｒｙ１ｂ，Δｒｚ１ｂ，Δｔｘ１ｂ，Δｔｙ１ｂ，Δｔｚ１ｂ）、後方歪補正画像と後方第１画像との関係に係る後方第１パラメータ（Δｒｘ１ｃ，Δｒｙ１ｃ，Δｒｚ１ｃ，Δｔｘ１ｃ，Δｔｙ１ｃ，Δｔｚ１ｃ）、および、左側方歪補正画像と左側方第１画像との関係に係る左側方第１パラメータ（Δｒｘ１ｄ，Δｒｙ１ｄ，Δｒｚ１ｄ，Δｔｘ１ｄ，Δｔｙ１ｄ，Δｔｚ１ｄ）を第１画像生成部２１０から取得する。パラメータ取得部２６０は、取得した第１パラメータをパラメータ格納部２７０に格納する。
【００４７】
なお、歪補正画像と第１画像との関係は、図７（ａ）に示す第１関係式によって示される。座標（ｘ０ｎ，ｙ０ｎ，ｚ０ｎ）は各カメラのカメラ座標系における歪補正画像の座標である。具体的には、座標（ｘ０ａ，ｙ０ａ，ｚ０ａ）は前方カメラ１１０ａのカメラ座標系における前方歪補正画像の座標、座標（ｘ０ｂ，ｙ０ｂ，ｚ０ｂ）は右側方カメラ１１０ｂのカメラ座標系における右側方歪補正画像の座標、座標（ｘ０ｃ，ｙ０ｃ，ｚ０ｃ）は後方カメラ１１０ｃのカメラ座標系における後方歪補正画像の座標、座標（ｘ０ｄ，ｙ０ｄ，ｚ０ｄ）は左側方カメラ１１０ｄのカメラ座標系における左側方歪補正画像の座標を示す（図８（ｂ）において同じ）。
【００４８】
座標（ｘ１ｎ，ｙ１ｎ，ｚ１ｎ）は車両の上方正面を視点とする座標系における第１画像の座標である。具体的には、座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）は上記座標系における前方第１画像の座標、座標（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）は上記座標系における右側方第１画像の座標、座標（ｘ１ｃ，ｙ１ｃ，ｚ１ｃ）は上記座標系における後方第１画像の座標、座標（ｘ１ｄ，ｙ１ｄ，ｚ１ｄ）は上記座標系における左側方第１画像の座標を示す（図７（ｂ）において同じ）。
【００４９】
Ａは回転を行う行列、Ｂはシフトを行う行列を示す。第１パラメータを構成するΔｒｘ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、歪補正画像から第１画像への回転成分の変化量を示し、第１パラメータを構成するΔｔｘ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は歪補正画像から第１画像へのシフト成分の変化量を示す。
【００５０】
第２画像生成部２２０は、第１画像生成部２１０から第１画像を取得する。そして、第２画像生成部２２０は、第１画像から第２画像を生成する（ステップＳ１３０）。
【００５１】
具体的には、第２画像生成部２２０は、前方第１画像上のターゲット５００ａに係る画素領域（図５（ａ）に示す画素領域５３０ａ）の形状およびサイズが右側方第１画像上のターゲット５００ａに係る画素領域（図５（ａ）に示す画素領域５３２ａ）の形状およびサイズと一致し、右側方第１画像上のターゲット５００ｂに係る画素領域（図５（ａ）に示す画素領域５３２ｂ）の形状およびサイズが後方第１画像上のターゲット５００ｂに係る画素領域（非図示）の形状およびサイズと一致し、後方第１画像上のターゲット５００ｃに係る画素領域（非図示）の形状およびサイズが左側方第１画像上のターゲット５００ｃに係る画素領域（非図示）の形状およびサイズと一致し、かつ、左側方第１画像上のターゲット５００ｄに係る画素領域（非図示）の形状およびサイズが前方第１画像上のターゲット５００ｄに係る画素領域（図５（ａ）に示す画素領域５３０ｄ）の形状およびサイズと一致するように、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を回転、シフトさせることにより、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を生成する。
【００５２】
なお、図５（ａ）は、画素領域５３０ａと画素領域５３２ａとを一致させる回転、シフトの様子を模式的に示したものである。また、図５（ｂ）は、第２画像生成部２２０により生成された前方第２画像（ターゲットボード５００ｄに係る画素領域５４０ｄ、ターゲットボード５００ａに係る画素領域５４０ａ、および、当該車両の一部に係る画素領域４４０を有する）の一例である。また、図５（ｃ）は、第２画像生成部２２０により生成された右側方第２画像（ターゲットボード５００ａに係る画素領域５４２ａ、ターゲットボード５００ｂに係る画素領域５４２ｂ、および、当該車両の一部に係る画素領域４４２を有する）の一例である。
【００５３】
なお、ターゲットボード５００ａ、ターゲットボード５００ｂ、ターゲットボード５００ｃおよびターゲットボード５００ｄが同一の形状およびサイズであるときは、第２画像生成部２２０は、各ターゲットボード５００に係る画素領域の形状およびサイズが一致するように、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を回転、シフトさせることにより、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を生成してもよい。
【００５４】
第２画像生成部２２０は、生成した第２画像を第３画像生成部２３０に供給する。また、第２画像生成部２２０は、第１画像から第２画像を生成したときの回転量およびシフト量をパラメータ取得部２６０に供給する。
【００５５】
パラメータ取得部２６０は、第２パラメータとして、第１画像から第２画像を生成したときの回転量およびシフト量を第２画像生成部２２０から取得する（ステップＳ１４０）。具体的には、パラメータ取得部２６０は、前方第１画像と前方第２画像との関係に係る前方第２パラメータ（Δｒｘ２ａ，Δｒｙ２ａ，Δｒｚ２ａ，Δｔｘ２ａ，Δｔｙ２ａ，Δｔｚ２ａ）、右側方第１画像と右側方第２画像との関係に係る右側方第２パラメータ（Δｒｘ２ｂ，Δｒｙ２ｂ，Δｒｚ２ｂ，Δｔｘ２ｂ，Δｔｙ２ｂ，Δｔｚ２ｂ）、後方第１画像と後方第２画像との関係に係る後方第２パラメータ（Δｒｘ２ｃ，Δｒｙ２ｃ，Δｒｚ２ｃ，Δｔｘ２ｃ，Δｔｙ２ｃ，Δｔｚ２ｃ）、および、左側方第１画像と左側方第２画像との関係に係る左側方第２パラメータ（Δｒｘ２ｄ，Δｒｙ２ｄ，Δｒｚ２ｄ，Δｔｘ２ｄ，Δｔｙ２ｄ，Δｔｚ２ｄ）を第２画像生成部２２０から取得する。パラメータ取得部２６０は、取得した第２パラメータをパラメータ格納部２７０に格納する。
【００５６】
なお、第１画像と第２画像との関係は、図７（ｂ）に示す第２関係式によって示される。座標（ｘ２ｎ，ｙ２ｎ，ｚ２ｎ）は車両の上方正面を視点とする座標系における第２画像の座標である。具体的には、座標（ｘ２ａ，ｙ２ａ，ｚ２ａ）は上記座標系における前方第２画像の座標、座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）は上記座標系における右側方第２画像、座標（ｘ２ｃ，ｙ２ｃ，ｚ２ｃ）は上記座標系における後方第２画像の座標、座標（ｘ２ｄ，ｙ２ｄ，ｚ２ｄ）は上記座標系における左側方第２画像の座標を示す（図８（ａ）において同じ）。Ｃは回転を行う行列、Ｄはシフトを行う行列を示す。第２パラメータを構成するΔｒｘ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、第１画像から第２画像への回転成分の変化量を示し、第２パラメータを構成するΔｔｘ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は第１画像から第２画像へのシフト成分の変化量を示す。
【００５７】
第３画像生成部２３０は、第２画像を第２画像生成部２２０から取得する。具体的には、第３画像生成部２３０は、図６（ａ）に示す前方第２画像、図６（ｂ）に示す右側方第２画像、図６（ｃ）に示す後方第２画像、および、図６（ｄ）に示す左側方第２画像を取得する。ここで、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を単純に結合させた場合、車両の上方正面を視点とする車両の周辺の画像が生成されるものの、生成される画像において、前方第２画像上の車両の一部に係る画素領域４４０、右側方第２画像上の車両の一部に係る画素領域４４２、後方第２画像上の車両の一部に係る画素領域４４４、および、左側方第２画像上の車両の一部に係る画素領域４４６が存在してしまうことになる。そこで、第３画像生成部２３０は、第２画像から車両の一部に係る画素領域を除去した第３画像を生成する（ステップＳ１５０）。
【００５８】
具体的には、第３画像生成部２３０は、図６（ａ）に示す前方第２画像が図６（ｉ）に示す結合画像の一部となるように、前方第２画像上の車両の一部に係る画素領域４４０が除去されるように前方第２画像をシフトさせることにより図６（ｅ）に示す前方第３画像（ターゲットボード５００ｄに係る画素領域５５０ｄ、および、ターゲットボード５００ａに係る画素領域５５０ａを有する）を生成する。
【００５９】
同様に、第３画像生成部２３０は、図６（ｂ）に示す右側方第２画像が図６（ｉ）に示す結合画像の一部となるように、右側方第２画像上の車両の一部に係る画素領域４４２が除去されるように前方第２画像をシフトさせることにより図６（ｆ）に示す前方第３画像（ターゲットボード５００ａに係る画素領域５５２ａ、および、ターゲットボード５００ｂに係る画素領域５５２ｂを有する）を生成する。
【００６０】
同様に、第３画像生成部２３０は、図６（ｃ）に示す後方第２画像が図６（ｉ）に示す結合画像の一部となるように、後方第２画像上の車両の一部に係る画素領域４４４が除去されるように後方第２画像をシフトさせることにより図６（ｇ）に示す後方第３画像（ターゲットボード５００ｂに係る画素領域５５４ｂ、および、ターゲットボード５００ｃに係る画素領域５５４ｃを有する）を生成する。
【００６１】
同様に、第３画像生成部２３０は、図６（ｄ）に示す左側方第２画像が図６（ｉ）に示す結合画像の一部となるように、左側方第２画像上の車両の一部に係る画素領域４４６が除去されるように左側方第２画像をシフトさせることにより図６（ｈ）に示す後方第３画像（ターゲットボード５００ｃに係る画素領域５５６ｃ、および、ターゲットボード５００ａに係る画素領域５５６ａを有する）を生成する。なお、図６（ｉ）に示す結合画像は、車両の一部に係る画素領域が除去されることによって生成される車両周辺画像である（中央部分は車両画像が合成される）。第３画像生成部２３０は、第２画像から第３画像を生成したときのシフト量をパラメータ取得部２６０に供給する。
【００６２】
パラメータ取得部２６０は、第３パラメータとして、第２画像から第３画像を生成したときのシフト量を第３画像生成部２３０から取得する（ステップＳ１６０）。具体的には、パラメータ取得部２６０は、前方第２画像と前方第３画像との関係に係る前方第３パラメータ（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａ，Δｔｘ３ａ，Δｔｙ３ａ，Δｔｚ３ａ）、右側方第２画像と右側方第３画像との関係に係る右側方第３パラメータ（Δｒｘ３ｂ，Δｒｙ３ｂ，Δｒｚ３ｂ，Δｔｘ３ｂ，Δｔｙ３ｂ，Δｔｚ３ｂ）、後方第２画像と後方第３画像との関係に係る後方第３パラメータ（Δｒｘ３ｃ，Δｒｙ３ｃ，Δｒｚ３ｃ，Δｔｘ３ｃ，Δｔｙ３ｃ，Δｔｚ３ｃ）、および、左側方第２画像と左側方第３画像との関係に係る左側方第３パラメータ（Δｒｘ３ｄ，Δｒｙ３ｄ，Δｒｚ３ｄ，Δｔｘ３ｄ，Δｔｙ３ｄ，Δｔｚ３ｄ）を第３画像生成部２３０から取得する。パラメータ取得部２６０は、取得した第３パラメータをパラメータ格納部２７０に格納する。
【００６３】
なお、第２画像と第３画像との関係は、図８（ａ）に示す第３関係式によって示される。座標（ｘ３ｎ，ｙ３ｎ，ｚ３ｎ）は車両の上方正面を視点とする座標系における第３画像の座標である。具体的には、座標（ｘ３ａ，ｙ３ａ，ｚ３ａ）は上記座標系における前方第３画像の座標、座標（ｘ３ｂ，ｙ３ｂ，ｚ３ｂ）は上記座標系における右側方第３画像、座標（ｘ３ｃ，ｙ３ｃ，ｚ３ｃ）は上記座標系における後方第３画像の座標、座標（ｘ３ｄ，ｙ３ｄ，ｚ３ｄ）は上記座標系における左側方第３画像の座標を示す（図８（ｂ）において同じ）。Ｅは回転を行う行列、Ｆはシフトを行う行列を示す。第３パラメータを構成するΔｒｘ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、第２画像から第３画像への回転成分の変化量を示し、第３パラメータを構成するΔｔｘ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ３３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は第２画像から第３画像へのシフト成分の変化量を示す。ただし、第３画像は、第２画像を回転させていないので、Δｒｘ３ｎ，Δｒｙ３ｎ，Δｒｚ３ｎはゼロとなる。
【００６４】
マッピングテーブル生成部２８０は、第１パラメータ、第２パラメータおよび第３パラメータをパラメータ格納部２７０から取得する。マッピングテーブル生成部２８０は、歪補正画像と第３画像とを関係付ける図８（ｂ）に示す関係式におけるパラメータ（Δｒｘｎ，Δｒｙｎ，Δｒｚｎ，Δｔｘｎ，Δｔｙｎ、Δｔｚｎ）であって前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘａ，Δｒｙａ，Δｒｚａ，Δｔｘａ，Δｔｙａ，Δｔｚａ）を算出する。
【００６５】
具体的には、マッピングテーブル生成部２８０は、前方第１パラメータ（Δｒｘ１ａ，Δｒｙ１ａ，Δｒｚ１ａ，Δｔｘ１ａ，Δｔｙ１ａ，Δｔｚ１ａ）、前方第２パラメータ（Δｒｘ２ａ，Δｒｙ２ａ，Δｒｚ２ａ，Δｔｘ２ａ，Δｔｙ２ａ，Δｔｚ２ａ）および前方第３パラメータ（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａ，Δｔｘ３ａ，Δｔｙ３ａ，Δｔｚ３ａ）の各要素を加算して、前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘ１ａ＋Δｒｘ２ａ，Δｒｙ１ａ＋Δｒｙ２ａ，Δｒｚ１ａ＋Δｒｚ２ａ，Δｔｘ１ａ＋Δｔｘ２ａ＋Δｔｘ３ａ，Δｔｙ１ａ＋Δｔｙ２ａ＋Δｔｙ３ａ，Δｔｚ１ａ＋Δｔｚ２ａ＋Δｔｚ３ａ）を算出する（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａはゼロ）。
【００６６】
マッピングテーブル生成部２８０は、算出した前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータを図８（ｂ）に示す関係式に適用し、前方歪補正画像の各画素位置の変換後の画素位置（再標本化したときの画素位置）を算出する。例えば、マッピングテーブル生成部２８０は、ニアレストネイバー（nearest neighbor）、バイリニア補間（bilinear interpolation）、バイキュービック補間（bicubic interpolation）などの補間法を使用して、変換後の画素位置を算出する。マッピングテーブル生成部２８０は、前方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「前方テーブル」という）を生成する。
【００６７】
同様に、マッピングテーブル生成部２８０は、右側方歪補正画像と右側方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｂ，Δｒｙｂ，Δｒｚｂ，Δｔｘｂ，Δｔｙｂ，Δｔｚｂ）を算出し、右側方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「右側方テーブル」という）を生成する。また、マッピングテーブル生成部２８０は、後方歪補正画像と後方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｃ，Δｒｙｃ，Δｒｚｃ，Δｔｘｃ，Δｔｙｃ，Δｔｚｃ）を算出し、後方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「後方テーブル」という）を生成する。さらに、マッピングテーブル生成部２８０は、左側方歪補正画像と左側方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｄ，Δｒｙｄ，Δｒｚｄ，Δｔｘｄ，Δｔｙｄ，Δｔｚｄ）を算出し、左側方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「左側方テーブル」という）を生成する。
【００６８】
そして、マッピングテーブル生成部２８０は、生成した前方テーブル、右側方テーブル、後方テーブルおよび左側方テーブルを合わせてマッピングテーブルとして生成する（ステップＳ１７０）。そして本フローチャートは終了する。なお、マッピングテーブル生成部２８０は、生成したマッピングテーブルをマッピングテーブル格納部１２０に供給する。
【００６９】
以上、本実施形態によれば、実際に、車両周辺画像を生成すべく複数のカメラによって撮像された撮像画像に基づいて画像の位置合わせが行われ、位置合わせの過程で得られる第１パラメータ、第２パラメータおよび第３パラメータを用いてマッピングテーブルが生成される。これにより、ターゲットボード５００を共通撮像範囲に配置するだけで、高精度のマッピングテーブルを生成することができる。
【００７０】
なお、本実施形態によれば、第２画像生成部２２０によって、隣接して結合される画像どうしにおいて、ターゲットボード５００の位置合わせが行われ、つまり、隣接して結合される画像どうしにズレが生じないように位置合わせが行われ、位置合わせの過程で得られる第２パラメータを用いてマッピングテーブルが生成される。これにより、生成される車両周辺画像において４つのカメラの４つの撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することができる。
【００７１】
また、本実施形態において、マッピングテーブル生成装置２０は４つのカメラによって撮像される４つの撮像画像に基づいてマッピングテーブルを生成するが、車両周辺画像において隣接して結合される再配列画像の元となる撮像画像を撮像するカメラどうしが共通撮像範囲を有するように車両上に設置される、という条件を満たす限りにおいて３つまたは５つ以上のカメラによって撮像される３つまたは５つ以上の撮像画像に基づいてマッピングテーブルを生成してもよい。
【００７２】
また、本実施形態は、マッピングテーブル生成装置２０は、マッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０などとともに両周辺画像生成装置１０に内蔵される形態であるが、マッピングテーブル生成装置２０が両周辺画像生成装置１０に内蔵されない形態、つまり、マッピングテーブル生成装置２０がマッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０などと別体である形態であってもよい。
【００７３】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７４】
【図１】本実施形態の車両周辺画像生成装置の構成例を示す図である。
【図２】複数のカメラ、ターゲットボードなどの配置例を示す図である。
【図３】図１に示すマッピングテーブル生成装置の動作の一例を示すフローチャートである。
【図４】前方撮像画像、前方歪補正画像、前方第１画像および右側方第１画像の一例を模式的に示した図である。
【図５】前方第２画像および右側方第２画像の一例を模式的に示した図である。
【図６】第３画像の一例を模式的に示した図である。
【図７】歪補正画像と第１画像とを関係付ける第１関係式、第１画像と第２画像とを関係付ける第２関係式の一例を示した図である。
【図８】第２画像と第３画像とを関係付ける第３関係式、歪補正画像と第３画像とを関係付ける関係式の一例を示す図である。
【符号の説明】
【００７５】
１０ 車両周辺画像生成装置
２０ マッピングテーブル生成装置
１２０ マッピングテーブル格納部
１３０ 車両画像格納部
１４０ 歪補正画像生成部
１５０ 車両周辺画像生成部
１６０ 表示部
２１０ 第１画像生成部
２２０ 第２画像生成部
２３０ 第３画像生成部
２６０ パラメータ取得部
２７０ パラメータ格納部
２８０ マッピングテーブル生成部
【技術分野】
【０００１】
本発明は、マッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法に関し、特に、車両に設置した複数のカメラによって撮像される複数の撮像画像から車両周辺画像を生成するときに参照されるマッピングテーブルを生成する場合に好適なマッピングテーブル生成装置、車両周辺画像生成装置およびマッピングテーブル生成方法に関するものである。
【背景技術】
【０００２】
車両の前後左右に複数のカメラを設置し、複数のカメラにより車両の前後左右の周辺を撮影した複数の撮像画像から当該車両の上方正面を視点とする車両周辺画像を生成する技術が知られている。この技術では、複数の撮像画像の各画素（画素位置）と、生成されるべき車両周辺画像の各画素とを対応付けたテーブル（以下、マッピングテーブルという）を予め格納し、複数の撮像画像を取得した際にマッピングテーブルを参照して、複数の撮像画像から車両周辺画像を生成する。マッピングテーブルは、車両とその周辺に置くターゲットボード（サイズ、パターンなどは既知）との相対的な位置関係を既知の情報として、撮像画像上のターゲットボードの位置などから各カメラの設置位置を推定し、推定した各カメラの設置位置に基づいて車両の出荷前に生成される。
【０００３】
しかしながら、高精度のマッピングテーブルを生成するためには、車両とターゲットボードとの相対的な既知の位置関係に従ってターゲットボードを正確に配置しなければならないが、ターゲットボードを正確な位置に配置するのは困難であり、手間もかかるという問題があった。なお、ターゲットボードを正確に配置するために、例えば、別途の器具などを用意する方法が開示されている（例えば、特許文献１を参照）。
【特許文献１】特開２００１−２８５６８１号公報
【０００４】
また、カメラ毎の設置位置を推定してマッピングテーブルを生成した場合、そのマッピングテーブルを参照して生成される車両周辺画像には、各カメラの各撮像画像の継ぎ目部分にズレが生じるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような問題を解決するために成されたものである。すなわち、ターゲットボードを正確な位置に配置するという手間をかけずに高精度のマッピングテーブルを生成すること、および、生成される車両周辺画像において各カメラの各撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決するために、本発明では、車両周辺画像において隣接して結合される２つの画像の元となる撮像画像の重複領域内に同一の被写体が撮像された複数の撮像画像の歪みを補正した複数の歪補正画像であって、それぞれが既知の形状およびサイズの被写体である複数の目標物に係る複数の画素領域を有する複数の歪補正画像から、車両の上方正面を視点とした複数の画像であって、各画像において各目標物に係る画素領域の形状を当該目標物の形状に一致させるともに、各画像において複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成し、歪補正画像と第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、複数の第１画像から、複数の画像であって、複数の画像間において同一の目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成し、第１画像と第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、複数の第２画像から、複数の第２画像を処理した複数の画像であって、処理後の複数の画像を結合した結合画像において車両に係る画素領域が除去されるように複数の第２画像を処理した複数の第３画像を生成し、第２画像と第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得し、取得した第１パラメータ、第２パラメータおよび第３パラメータを用いてマッピングテーブルを生成するようにしている。
【発明の効果】
【０００７】
上記のように構成した本発明によれば、車両に設置された複数のカメラの設置位置を推定し、マッピングテーブルを生成するのではなく、実際に、車両周辺画像を生成すべく複数のカメラによって撮像された撮像画像に基づいて画像の位置合わせが行われ、位置合わせの過程で得られる種々のパラメータを用いてマッピングテーブルが生成される。これにより、複数のカメラの設置位置を推定するために前提となるターゲットボードを正確な位置に配置するという困難かつ手間のかかる作業が不要となり、複数のカメラによって撮像される位置にターゲットボードを配置するだけで、高精度のマッピングテーブルを生成することができる。
【０００８】
また、上記のように構成した本発明によれば、隣接する画像との継ぎ目部分のズレが生じないように上述の位置合わせが行われ、位置合わせの過程で得られる種々のパラメータを用いてマッピングテーブルが生成される。これにより、生成される車両周辺画像において各カメラの各撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態の車両周辺画像生成装置１０の構成例を示す図である。図２は、複数のカメラ、ターゲットボード５００などの配置例を示す図である。車両周辺画像生成装置１０は、車両に搭載される。
【００１０】
図１に示すように、車両周辺画像生成装置１０は、車両の前方を撮像する前方カメラ１１０ａ、車両の右側方を撮像する右側方カメラ１１０ｂ、車両の後方を撮像する後方カメラ１１０ｃおよび車両の左側方を撮像する左側方カメラ１１０ｄ、マッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０、表示部１６０を備えるとともに、マッピングテーブル生成装置２０（本発明のマッピングテーブル生成装置に相当）を備えて構成される。以下、前方カメラ１１０ａ、右側方カメラ１１０ｂ、後方カメラ１１０ｃおよび左側方カメラ１１０ｄを総称して「４つのカメラ」という。４つのカメラはそれぞれ、焦点距離が短いレンズ（例えば、魚眼レンズ）を有する。
【００１１】
車両周辺画像生成装置１０は、前方カメラ１１０ａによって撮像された撮像画像（以下、「前方撮像画像」という）の歪みを補正した画像（以下、「前方歪補正画像」という）、右側方カメラ１１０ｂによって撮像された撮像画像（以下、「右側方撮像画像」という）の歪みを補正した画像（以下、「右側方歪補正画像」という）、後方カメラ１１０ｃによって撮像された撮像画像（以下、「後方撮像画像」という）の歪みを補正した画像（以下、「後方歪補正画像」という）および左側方カメラ１１０ｄによって撮像された撮像画像（以下、「左側方撮像画像」という）の歪みを補正した画像（以下、「左側方歪補正画像」という）から、入力画像の画素位置と出力画像の画素位置とを対応付けたテーブル（以下、「マッピングテーブル」という）を参照して、当該車両の上方正面を視点とする画像（以下、「車両周辺画像」という）を生成する。以下、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を総称して「撮像画像」という。また、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を総称して「歪補正画像」という。
【００１２】
換言すれば、車両周辺画像生成装置１０によって生成される車両周辺画像は、前方歪補正画像をマッピングテーブルによって再標本化（または再配列）した画像（以下、「前方再配列画像」という）と、右側方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「右側方再配列画像」という）と、後方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「後方再配列画像」という）と、左側方歪補正画像をマッピングテーブルによって再標本化した画像（以下、「左側方再配列画像」という）とを結合した画像である。なお、前方再配列画像は、右側方再配列画像および左側方撮像画像と車両周辺画像において隣接して結合される。また、後方再配列画像は、右側方再配列画像および左側方撮像画像と車両周辺画像において隣接して結合される。以下、前方再配列画像、右側方再配列画像、後方再配列画像および左側方再配列画像を総称して「再配列画像」という。
【００１３】
４つのカメラはそれぞれ、車両の異なる位置であって、車両周辺画像において隣接して結合される再配列画像の元となる２つの撮像画像の重複撮像領域において同一の被写体が撮像されるような位置にそれぞれ設置される。すなわち、４つのカメラは、車両周辺画像において隣接して結合される２つの再配列画像の元となる撮像画像を撮像するカメラどうしが同一の被写体を撮像し得る共通の撮像範囲（以下、「共通撮像範囲」という）を有するように、車両上に設置される。
【００１４】
具体的には、４つのカメラは、図２（ａ）に示す位置に設置される。すなわち、前方再配列画像と右側方再配列画像とは車両周辺画像において隣接して結合されるので、図２（ａ）に示すように、前方カメラ１１０ａおよび右側方カメラ１１０ｂは、共通撮像範囲３００ａ（ハッチングを付した範囲、以下、同様）を有するような位置に設置される。同様に、右側方再配列画像と後方再配列画像とは車両周辺画像において隣接して結合されるので、右側方カメラ１１０ｂおよび後方カメラ１１０ｃは、共通撮像範囲３００ｂを有するような位置に設置される。後方再配列画像と左側方再配列画像とは車両周辺画像において隣接して結合されるので、後方カメラ１１０ｃおよび左側方カメラ１１０ｄは、共通撮像範囲３００ｃを有するような位置に設置される。左側方再配列画像と前方再配列画像とは車両周辺画像において隣接して結合されるので、左側方カメラ１１０ｄおよび前方カメラ１１０ａは、共通撮像範囲３００ｄを有するような位置に設置される。
【００１５】
４つのカメラは、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を歪補正画像生成部１４０に供給する。
【００１６】
歪補正画像生成部１４０は、４つのカメラから前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を取得する。歪補正画像生成部１４０は、前方撮像画像、右側方撮像画像、後方撮像画像および左側方撮像画像を取得した場合に、予め用意している所定の内部パラメータを用いて、それぞれの歪みを補正した前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を生成する。
【００１７】
歪補正画像生成部１４０は、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を車両周辺画像生成部１５０およびマッピングテーブル生成装置２０に供給する。なお、歪補正画像生成部１４０は、ユーザからの指示を受け付ける操作部（非図示）がマッピングテーブルを生成すべき旨のユーザからの指示を受け付けた場合に、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像をマッピングテーブル生成装置２０に供給することが好ましい。
【００１８】
マッピングテーブル格納部１２０は、マッピングテーブルを格納する。具体的には、マッピングテーブル格納部１２０は、マッピングテーブル生成装置２０によって生成されたマッピングテーブルを格納する。車両画像記憶部１３０は、車両周辺画像に合成される車両の画像（以下、「車両画像」という）を格納する。
【００１９】
車両周辺画像生成部１５０は、歪補正画像生成部１４０から前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を取得する。車両周辺画像生成部１５０は、前方歪補正画像、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を取得した場合に、マッピングテーブル格納部１２０に格納されたマッピングテーブルを参照して、上述の如く車両周辺画像を生成し、生成した車両周辺画像に車両画像記憶部１３０に記憶された車両画像を合成して表示部１６０に供給する。表示部１６０は、車両周辺画像生成部１５０から車両画像が合成された車両周辺画像を取得し、表示する。
【００２０】
マッピングテーブル生成装置２０は、図１に示すように、第１画像生成部２１０、第２画像生成部２２０、第３画像生成部２３０、パラメータ取得部２６０、パラメータ格納部２７０およびマッピングテーブル生成部２８０を備えて構成される。
【００２１】
第１画像生成部２１０は、歪補正画像生成部１４０から歪補正画像を取得する。具体的には、第１画像生成部２１０は、既知の形状およびサイズであるターゲットボード（本発明の目標物に相当）が、各カメラの各共通撮像範囲に１個以上配置された状態で、４つのカメラによって撮像された４つの撮像画像の歪みを補正した４つの歪補正画像を歪補正画像生成部１４０から取得する。すなわち、第１画像生成部２１０は、各共通撮像範囲に配置された１個以上のターゲットボードが撮像されている前方撮像画像に係る前方歪補正画像、右側方撮像画像に係る右側方歪補正画像、後方撮像画像に係る後方歪補正画像、および、左側方撮像画像に係る左側方歪補正画像を歪補正画像生成部１４０から取得する。
【００２２】
第１画像生成部２１０は、歪補正画像生成部１４０から取得した前方歪補正画像から、車両の上方正面を視点とした画像であって、前方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、前方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「前方第１画像」という）を生成する。
【００２３】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した右側方歪補正画像から、車両の上方正面を視点とした画像であって、右側方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、右側方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「右側方第１画像」という）を生成する。
【００２４】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した後方歪補正画像から、車両の上方正面を視点とした画像であって、後方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、後方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「後方第１画像」という）を生成する。
【００２５】
同様に、第１画像生成部２１０は、歪補正画像生成部１４０から取得した左側方歪補正画像から、車両の上方正面を視点とした画像であって、左側方歪補正画像上の複数のターゲットボードに係る複数の画素領域の形状をそれぞれのターゲットボードの形状に一致させるともに、左側方歪補正画像上の複数のターゲットボードに係る複数の画素領域のサイズの比率を複数のターゲットボードのサイズの比率に一致させた画像（以下、「左側方第１画像」という）を生成する。以下、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を総称する場合に「第１画像」という。第１画像生成部２１０は、生成した第１画像を第２画像生成部２２０に供給する。
【００２６】
第２画像生成部２２０は、第１画像生成部２１０から第１画像を取得する。第２画像生成部２２０は、第１画像生成部２１０から取得した同一のターゲットボード（共通撮像範囲に配置されたターゲットボード）に係る画素領域を有する４つの第１画像から、同一のターゲットボードに係る画素領域の形状およびサイズを一致させた４つの第２画像（以下、前方第１画像から生成される画像を「前方第２画像」、右側方第１画像から生成される画像を「右側方第２画像」、後方第１画像から生成される画像を「後方第２画像」、左側方第１画像から生成される画像を「左側方第２画像」、総称する場合に「第２画像」という）を生成する。第２画像生成部２２０は、生成した第２画像を第３画像生成部２３０に供給する。
【００２７】
第３画像生成部２３０は、第２画像生成部２２０から第２画像を取得する。第３画像生成部２３０は、第２画像生成部２２０から取得した第２画像から、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像をそれぞれ処理した画像であって、処理後の各画像を結合した結合画像において車両に係る画素領域が除去されるように第２画像を処理した４つの画像（以下、前方第２画像から生成される画像を「前方第３画像」、右側方第２画像から生成される画像を「右側方第３画像」、後方第２画像から生成される画像を「後方第３画像」、左側方第２画像から生成される画像を「左側方第３画像」、総称する場合に「第３画像」という）を生成する。
【００２８】
パラメータ取得部２６０は、第１画像生成部２１０が第１画像を生成した後に、歪補正画像と第１画像とを関係付ける関係式（以下、「第１関係式」という）において前方歪補正画像と前方第１画像とを関係付けるパラメータ（以下、「前方第１パラメータ」という）を第１画像生成部２１０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第１関係式において右側方歪補正画像と右側方第１画像とを関係付けるパラメータ（以下、「右側方第１パラメータ」という）、第１関係式において後方歪補正画像と後方第１画像とを関係付けるパラメータ（以下、「後方第１パラメータ」という）、および、第１関係式において左側方歪補正画像と左側方第１画像とを関係付けるパラメータ（以下、「左側方第１パラメータ」という）を第１画像生成部２１０から取得し、パラメータ格納部２７０に格納する。以下、前方第１パラメータ、右側方第１パラメータ、後方第１パラメータおよび左側方第１パラメータを総称して第１パラメータという。
【００２９】
また、パラメータ取得部２６０は、第２画像生成部２２０が第２画像を生成した後に、第１画像と第２画像とを関係付ける関係式（以下、「第２関係式」という）において前方第１画像と前方第２画像とを関係付けるパラメータ（以下、「前方第２パラメータ」という）を第２画像生成部２２０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第２関係式において右側方第１画像と右側方第２画像とを関係付けるパラメータ（以下、「右側方第２パラメータ」という）、第２関係式において後方第１画像と後方第２画像とを関係付けるパラメータ（以下、「後方第２パラメータ」という）、および、第２関係式において左側方第１画像と左側方第２画像とを関係付けるパラメータ（以下、「左側方第２パラメータ」という）を第２画像生成部２２０から取得し、パラメータ格納部２７０に格納する。以下、前方第２パラメータ、右側方第２パラメータ、後方第２パラメータおよび左側方第２パラメータを総称して第２パラメータという。
【００３０】
また、パラメータ取得部２６０は、第３画像生成部２３０が第３画像を生成した後に、第２画像と第３画像とを関係付ける関係式（以下、「第３関係式」という）において前方第２画像と前方第３画像とを関係付けるパラメータ（以下、「前方第３パラメータ」という）を第３画像生成部２３０から取得し、パラメータ格納部２７０に格納する。同様に、パラメータ取得部２６０は、第３関係式において右側方第２画像と右側方第３画像とを関係付けるパラメータ（以下、「右側方第３パラメータ」という）、第３関係式において後方第２画像と後方第３画像とを関係付けるパラメータ（以下、「後方第３パラメータ」という）、および、第３関係式において左側方第２画像と左側方第３画像とを関係付けるパラメータ（以下、「左側方第３パラメータ」という）を第３画像生成部２３０から取得し、パラメータ格納部２７０に格納する。以下、前方第３パラメータ、右側方第３パラメータ、後方第３パラメータおよび左側方第３パラメータを総称して第３パラメータという。第１関係式、第２関係式、第３関係式、第１パラメータ、第２パラメータおよび第３パラメータについては後述する。
【００３１】
パラメータ格納部２７０は、パラメータ取得部２６０により取得された第１パラメータ、第２パラメータおよび第３パラメータを格納する。
【００３２】
マッピングテーブル生成部２８０は、パラメータ格納部２７０から、パラメータ取得部２６０によって取得された第１パラメータ、第２パラメータおよび第３パラメータを取得する。マッピングテーブル生成部２８０は、取得した第１パラメータ、第２パラメータおよび第３パラメータから、マッピングテーブルを生成し、マッピングテーブル格納部１２０に格納する。なお、マッピングテーブル生成部２８０の動作の詳細は後述する。
【００３３】
以下、上記のように構成したマッピングテーブル生成装置２０の動作について具体例を用いて詳細に説明する。図３は、図１に示すマッピングテーブル生成装置２０の動作の一例を示すフローチャートである。図４は、前方撮像画像、前方歪補正画像、前方第１画像および右側方第１画像の一例を模式的に示した図である。図５は、前方第２画像および右側方第２画像の一例を模式的に示した図である。図６は、第３画像の一例を模式的に示した図である。図７は、歪補正画像と第１画像とを関係付ける第１関係式、第１画像と第２画像とを関係付ける第２関係式の一例を示した図である。図８は、第２画像と第３画像とを関係付ける第３関係式、歪補正画像と第３画像とを関係付ける関係式の一例を示す図である。
【００３４】
図３に示すフローチャートは、図２（ａ）に示す状態（既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ａが共通撮像範囲３００ａに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｂが共通撮像範囲３００ｂに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｃが共通撮像範囲３００ｃに配置され、既知の形状およびサイズであって既知のスプライト柄を表面に有するターゲットボード５００ｄが共通撮像範囲３００ｄに配置されている状態）で撮像された前方撮像画像、右側方撮像画像、後方撮像画像、および、左側方撮像画像を歪補正画像生成部１４０が４つのカメラから取得することにより開始する。
【００３５】
また、各ターゲットボード５００上のスプライト柄は同一（スプライト柄を構成する黒丸の数、大きさ、位置は同一）であるものとする。また、各黒丸の数は、図２（ｂ）に示す例において２５個であるが、２５個以外であってもよい。なお、図４、図５、図６においてターゲットボード５００上のスプライト柄は省略している。
【００３６】
図３において、歪補正画像生成部１４０は、前方撮像画像から、前方撮像画像の歪みを補正させた前方歪補正画像を生成する（ステップＳ１００）。具体的には、歪補正画像生成部１４０は、図４（ａ）に示す前方撮像画像（ターゲットボード５００ｄに係る画素領域５１０ｄ、ターゲットボード５００ａに係る画素領域５１０ａ、および、当該車両の一部に係る画素領域４１０を有する）から、内部パラメータ（画像主点、焦点距離などのパラメータ）を用いて、図４（ｂ）に示す前方歪補正画像（ターゲットボード５００ｄに係る画素領域５２０ｄ、ターゲットボード５００ａに係る画素領域５２０ａ、および、当該車両の一部に係る画素領域４２０を有する）を生成する。同様に、歪補正画像生成部１４０は、右側方撮像画像、後方撮像画像および左側方撮像画像から、右側方歪補正画像、後方歪補正画像および左側方歪補正画像を生成する（ステップＳ１００）。歪補正画像生成部１４０は、生成した歪補正画像を第１画像生成部２１０に供給する。
【００３７】
第１画像生成部２１０は、歪補正画像生成部１４０から歪補正画像を取得する。そして、第１画像生成部２１０は、取得した前方歪補正画像から前方第１画像を生成する（ステップＳ１１０）。
【００３８】
具体的には、第１画像生成部２１０は、図４（ｂ）に示す前方歪補正画像から、車両の上方正面を視点とした画像であって、ターゲットボード５００ｄに係る画素領域５２０ｄの形状およびターゲットボード５００ａに係る画素領域５２０ａの形状をターゲットボード５００ｄおよびターゲットボード５００ａのそれぞれの形状に一致させるとともに、画素領域５２０ｄと画素領域５２０ａとのサイズの比率をターゲットボード５００ｄとターゲットボード５００ａとのサイズの比率に一致させた図４（ｃ）に示す前方第１画像（ターゲットボード５００ｄに係る画素領域５３０ｄ、ターゲットボード５００ａに係る画素領域５３０ａ、および、当該車両の一部に係る画素領域４３０を有する）を生成する。
【００３９】
より詳しくは、第１画像生成部２１０は、まず、図４（ｂ）に示す前方歪補正画像上のターゲットボード５００ｄに係る画素領域５２０ｄ、および、ターゲットボード５００ａに係る画素領域５２０ａに存在する２５個の黒丸の領域（以下、「黒丸領域」という）をエッジ抽出により求める。
【００４０】
次に、第１画像生成部２１０は、画素領域５２０ｄに存在する所定の２つの黒丸領域の中心間を結ぶ複数の距離（例えば、画素領域５２０ｄにおいて、中央に存在する黒丸領域の中心と右上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ａ」という）、中央に存在する黒丸領域の中心と右下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｂ」という）、中央に存在する黒丸領域の中心と左下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｃ」という）、および、中央に存在する黒丸領域の中心と左上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｄ」という））を算出する。
【００４１】
同様に、１画像生成部２１０は、画素領域５２０ａに存在する所定の２つの黒丸領域の中心間を結ぶ複数の距離（例えば、画素領域５２０ａにおいて、中央に存在する黒丸領域の中心と右上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｅ」という）、中央に存在する黒丸領域の中心と右下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｆ」という）、中央に存在する黒丸領域の中心と左下角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｇ」という）、および、中央に存在する黒丸領域の中心と左上角に存在する黒丸領域の中心とを結ぶ距離（以下、「距離ｈ」という））を算出する。
【００４２】
そして、第１画像生成部２１０は、画素領域５２０ｄ上において算出した複数の距離の比率（例えば、距離ａ：距離ｂ：距離ｃ：距離ｄ）がターゲットボード５００ｄ上の実際の当該複数の距離の比率（例えば、図２（ｃ）の距離Ａ：距離Ｂ：距離Ｃ：距離Ｄ。なお、図２（ｃ）では、説明上、黒丸を白丸にて示す）と一致し、画素領域５２０ａ上において算出した複数の距離の比率（例えば、距離ｅ：距離ｆ：距離ｇ：距離ｈ）がターゲットボード５００ａ上の実際の当該複数の距離の比率（距離Ａ：距離Ｂ：距離Ｃ：距離Ｄ）と一致し、かつ、画素領域５２０ｄ上において算出した距離（例えば、距離ａ）と当該距離に対応する画素領域５２０a上の距離（例えば、距離ａに対応する距離ｅ）との比率（例えば、距離ａ：距離ｅ）がターゲットボード５００ｄ上の当該距離とターゲットボード５００ａ上の当該距離との比率（距離Ａ：距離Ａ＝１：１）と一致するように、図４（ｂ）に示す前方歪補正画像を視点変換した画像を回転、シフトさせることにより、図４（ｃ）に示す前方第１画像を生成する。
【００４３】
同様に、第１画像生成部２１０は、右側方歪補正画像、後方歪補正画像および左側方歪補正画像から、右側方第１画像、後方第１画像および左側方第１画像を生成する（ステップＳ１１０）。なお、図４（ｄ）は、第１画像生成部２１０により生成された右側方第１画像（ターゲットボード５００ａに係る画素領域５３２ａ、ターゲットボード５００ｂに係る画素領域５３２ｂ、および、当該車両の一部に係る画素領域４３２を有する）を示す。
【００４４】
なお、ターゲットボード５００ｄとターゲットボード５００ａとが同一の形状およびサイズであるときは、第１画像生成部２１０は、図４（ｂ）に示す前方歪補正画像から、前方歪補正画像上のターゲットボード５００ｄに係る画素領域５２０ｄの形状およびサイズとターゲットボード５００ａに係る画素領域５２０ａの形状およびサイズとを一致させることにより前方第１画像を生成してもよい。
【００４５】
第１画像生成部２１０は、生成した第１画像を第２画像生成部２２０に供給する。また、第１画像生成部２１０は、歪補正画像から第１画像を生成したときの回転量およびシフト量をパラメータ取得部２６０に供給する。
【００４６】
パラメータ取得部２６０は、第１パラメータとして、歪補正画像から第１画像を生成したときの回転量およびシフト量を第１画像生成部２１０から取得する（ステップＳ１２０）。具体的には、パラメータ取得部２６０は、前方歪補正画像と前方第１画像との関係に係る前方第１パラメータ（Δｒｘ１ａ，Δｒｙ１ａ，Δｒｚ１ａ，Δｔｘ１ａ，Δｔｙ１ａ，Δｔｚ１ａ）、右側方歪補正画像と右側方第１画像との関係に係る右側方第１パラメータ（Δｒｘ１ｂ，Δｒｙ１ｂ，Δｒｚ１ｂ，Δｔｘ１ｂ，Δｔｙ１ｂ，Δｔｚ１ｂ）、後方歪補正画像と後方第１画像との関係に係る後方第１パラメータ（Δｒｘ１ｃ，Δｒｙ１ｃ，Δｒｚ１ｃ，Δｔｘ１ｃ，Δｔｙ１ｃ，Δｔｚ１ｃ）、および、左側方歪補正画像と左側方第１画像との関係に係る左側方第１パラメータ（Δｒｘ１ｄ，Δｒｙ１ｄ，Δｒｚ１ｄ，Δｔｘ１ｄ，Δｔｙ１ｄ，Δｔｚ１ｄ）を第１画像生成部２１０から取得する。パラメータ取得部２６０は、取得した第１パラメータをパラメータ格納部２７０に格納する。
【００４７】
なお、歪補正画像と第１画像との関係は、図７（ａ）に示す第１関係式によって示される。座標（ｘ０ｎ，ｙ０ｎ，ｚ０ｎ）は各カメラのカメラ座標系における歪補正画像の座標である。具体的には、座標（ｘ０ａ，ｙ０ａ，ｚ０ａ）は前方カメラ１１０ａのカメラ座標系における前方歪補正画像の座標、座標（ｘ０ｂ，ｙ０ｂ，ｚ０ｂ）は右側方カメラ１１０ｂのカメラ座標系における右側方歪補正画像の座標、座標（ｘ０ｃ，ｙ０ｃ，ｚ０ｃ）は後方カメラ１１０ｃのカメラ座標系における後方歪補正画像の座標、座標（ｘ０ｄ，ｙ０ｄ，ｚ０ｄ）は左側方カメラ１１０ｄのカメラ座標系における左側方歪補正画像の座標を示す（図８（ｂ）において同じ）。
【００４８】
座標（ｘ１ｎ，ｙ１ｎ，ｚ１ｎ）は車両の上方正面を視点とする座標系における第１画像の座標である。具体的には、座標（ｘ１ａ，ｙ１ａ，ｚ１ａ）は上記座標系における前方第１画像の座標、座標（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）は上記座標系における右側方第１画像の座標、座標（ｘ１ｃ，ｙ１ｃ，ｚ１ｃ）は上記座標系における後方第１画像の座標、座標（ｘ１ｄ，ｙ１ｄ，ｚ１ｄ）は上記座標系における左側方第１画像の座標を示す（図７（ｂ）において同じ）。
【００４９】
Ａは回転を行う行列、Ｂはシフトを行う行列を示す。第１パラメータを構成するΔｒｘ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、歪補正画像から第１画像への回転成分の変化量を示し、第１パラメータを構成するΔｔｘ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ１ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は歪補正画像から第１画像へのシフト成分の変化量を示す。
【００５０】
第２画像生成部２２０は、第１画像生成部２１０から第１画像を取得する。そして、第２画像生成部２２０は、第１画像から第２画像を生成する（ステップＳ１３０）。
【００５１】
具体的には、第２画像生成部２２０は、前方第１画像上のターゲット５００ａに係る画素領域（図５（ａ）に示す画素領域５３０ａ）の形状およびサイズが右側方第１画像上のターゲット５００ａに係る画素領域（図５（ａ）に示す画素領域５３２ａ）の形状およびサイズと一致し、右側方第１画像上のターゲット５００ｂに係る画素領域（図５（ａ）に示す画素領域５３２ｂ）の形状およびサイズが後方第１画像上のターゲット５００ｂに係る画素領域（非図示）の形状およびサイズと一致し、後方第１画像上のターゲット５００ｃに係る画素領域（非図示）の形状およびサイズが左側方第１画像上のターゲット５００ｃに係る画素領域（非図示）の形状およびサイズと一致し、かつ、左側方第１画像上のターゲット５００ｄに係る画素領域（非図示）の形状およびサイズが前方第１画像上のターゲット５００ｄに係る画素領域（図５（ａ）に示す画素領域５３０ｄ）の形状およびサイズと一致するように、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を回転、シフトさせることにより、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を生成する。
【００５２】
なお、図５（ａ）は、画素領域５３０ａと画素領域５３２ａとを一致させる回転、シフトの様子を模式的に示したものである。また、図５（ｂ）は、第２画像生成部２２０により生成された前方第２画像（ターゲットボード５００ｄに係る画素領域５４０ｄ、ターゲットボード５００ａに係る画素領域５４０ａ、および、当該車両の一部に係る画素領域４４０を有する）の一例である。また、図５（ｃ）は、第２画像生成部２２０により生成された右側方第２画像（ターゲットボード５００ａに係る画素領域５４２ａ、ターゲットボード５００ｂに係る画素領域５４２ｂ、および、当該車両の一部に係る画素領域４４２を有する）の一例である。
【００５３】
なお、ターゲットボード５００ａ、ターゲットボード５００ｂ、ターゲットボード５００ｃおよびターゲットボード５００ｄが同一の形状およびサイズであるときは、第２画像生成部２２０は、各ターゲットボード５００に係る画素領域の形状およびサイズが一致するように、前方第１画像、右側方第１画像、後方第１画像および左側方第１画像を回転、シフトさせることにより、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を生成してもよい。
【００５４】
第２画像生成部２２０は、生成した第２画像を第３画像生成部２３０に供給する。また、第２画像生成部２２０は、第１画像から第２画像を生成したときの回転量およびシフト量をパラメータ取得部２６０に供給する。
【００５５】
パラメータ取得部２６０は、第２パラメータとして、第１画像から第２画像を生成したときの回転量およびシフト量を第２画像生成部２２０から取得する（ステップＳ１４０）。具体的には、パラメータ取得部２６０は、前方第１画像と前方第２画像との関係に係る前方第２パラメータ（Δｒｘ２ａ，Δｒｙ２ａ，Δｒｚ２ａ，Δｔｘ２ａ，Δｔｙ２ａ，Δｔｚ２ａ）、右側方第１画像と右側方第２画像との関係に係る右側方第２パラメータ（Δｒｘ２ｂ，Δｒｙ２ｂ，Δｒｚ２ｂ，Δｔｘ２ｂ，Δｔｙ２ｂ，Δｔｚ２ｂ）、後方第１画像と後方第２画像との関係に係る後方第２パラメータ（Δｒｘ２ｃ，Δｒｙ２ｃ，Δｒｚ２ｃ，Δｔｘ２ｃ，Δｔｙ２ｃ，Δｔｚ２ｃ）、および、左側方第１画像と左側方第２画像との関係に係る左側方第２パラメータ（Δｒｘ２ｄ，Δｒｙ２ｄ，Δｒｚ２ｄ，Δｔｘ２ｄ，Δｔｙ２ｄ，Δｔｚ２ｄ）を第２画像生成部２２０から取得する。パラメータ取得部２６０は、取得した第２パラメータをパラメータ格納部２７０に格納する。
【００５６】
なお、第１画像と第２画像との関係は、図７（ｂ）に示す第２関係式によって示される。座標（ｘ２ｎ，ｙ２ｎ，ｚ２ｎ）は車両の上方正面を視点とする座標系における第２画像の座標である。具体的には、座標（ｘ２ａ，ｙ２ａ，ｚ２ａ）は上記座標系における前方第２画像の座標、座標（ｘ２ｂ，ｙ２ｂ，ｚ２ｂ）は上記座標系における右側方第２画像、座標（ｘ２ｃ，ｙ２ｃ，ｚ２ｃ）は上記座標系における後方第２画像の座標、座標（ｘ２ｄ，ｙ２ｄ，ｚ２ｄ）は上記座標系における左側方第２画像の座標を示す（図８（ａ）において同じ）。Ｃは回転を行う行列、Ｄはシフトを行う行列を示す。第２パラメータを構成するΔｒｘ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、第１画像から第２画像への回転成分の変化量を示し、第２パラメータを構成するΔｔｘ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ２ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は第１画像から第２画像へのシフト成分の変化量を示す。
【００５７】
第３画像生成部２３０は、第２画像を第２画像生成部２２０から取得する。具体的には、第３画像生成部２３０は、図６（ａ）に示す前方第２画像、図６（ｂ）に示す右側方第２画像、図６（ｃ）に示す後方第２画像、および、図６（ｄ）に示す左側方第２画像を取得する。ここで、前方第２画像、右側方第２画像、後方第２画像および左側方第２画像を単純に結合させた場合、車両の上方正面を視点とする車両の周辺の画像が生成されるものの、生成される画像において、前方第２画像上の車両の一部に係る画素領域４４０、右側方第２画像上の車両の一部に係る画素領域４４２、後方第２画像上の車両の一部に係る画素領域４４４、および、左側方第２画像上の車両の一部に係る画素領域４４６が存在してしまうことになる。そこで、第３画像生成部２３０は、第２画像から車両の一部に係る画素領域を除去した第３画像を生成する（ステップＳ１５０）。
【００５８】
具体的には、第３画像生成部２３０は、図６（ａ）に示す前方第２画像が図６（ｉ）に示す結合画像の一部となるように、前方第２画像上の車両の一部に係る画素領域４４０が除去されるように前方第２画像をシフトさせることにより図６（ｅ）に示す前方第３画像（ターゲットボード５００ｄに係る画素領域５５０ｄ、および、ターゲットボード５００ａに係る画素領域５５０ａを有する）を生成する。
【００５９】
同様に、第３画像生成部２３０は、図６（ｂ）に示す右側方第２画像が図６（ｉ）に示す結合画像の一部となるように、右側方第２画像上の車両の一部に係る画素領域４４２が除去されるように前方第２画像をシフトさせることにより図６（ｆ）に示す前方第３画像（ターゲットボード５００ａに係る画素領域５５２ａ、および、ターゲットボード５００ｂに係る画素領域５５２ｂを有する）を生成する。
【００６０】
同様に、第３画像生成部２３０は、図６（ｃ）に示す後方第２画像が図６（ｉ）に示す結合画像の一部となるように、後方第２画像上の車両の一部に係る画素領域４４４が除去されるように後方第２画像をシフトさせることにより図６（ｇ）に示す後方第３画像（ターゲットボード５００ｂに係る画素領域５５４ｂ、および、ターゲットボード５００ｃに係る画素領域５５４ｃを有する）を生成する。
【００６１】
同様に、第３画像生成部２３０は、図６（ｄ）に示す左側方第２画像が図６（ｉ）に示す結合画像の一部となるように、左側方第２画像上の車両の一部に係る画素領域４４６が除去されるように左側方第２画像をシフトさせることにより図６（ｈ）に示す後方第３画像（ターゲットボード５００ｃに係る画素領域５５６ｃ、および、ターゲットボード５００ａに係る画素領域５５６ａを有する）を生成する。なお、図６（ｉ）に示す結合画像は、車両の一部に係る画素領域が除去されることによって生成される車両周辺画像である（中央部分は車両画像が合成される）。第３画像生成部２３０は、第２画像から第３画像を生成したときのシフト量をパラメータ取得部２６０に供給する。
【００６２】
パラメータ取得部２６０は、第３パラメータとして、第２画像から第３画像を生成したときのシフト量を第３画像生成部２３０から取得する（ステップＳ１６０）。具体的には、パラメータ取得部２６０は、前方第２画像と前方第３画像との関係に係る前方第３パラメータ（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａ，Δｔｘ３ａ，Δｔｙ３ａ，Δｔｚ３ａ）、右側方第２画像と右側方第３画像との関係に係る右側方第３パラメータ（Δｒｘ３ｂ，Δｒｙ３ｂ，Δｒｚ３ｂ，Δｔｘ３ｂ，Δｔｙ３ｂ，Δｔｚ３ｂ）、後方第２画像と後方第３画像との関係に係る後方第３パラメータ（Δｒｘ３ｃ，Δｒｙ３ｃ，Δｒｚ３ｃ，Δｔｘ３ｃ，Δｔｙ３ｃ，Δｔｚ３ｃ）、および、左側方第２画像と左側方第３画像との関係に係る左側方第３パラメータ（Δｒｘ３ｄ，Δｒｙ３ｄ，Δｒｚ３ｄ，Δｔｘ３ｄ，Δｔｙ３ｄ，Δｔｚ３ｄ）を第３画像生成部２３０から取得する。パラメータ取得部２６０は、取得した第３パラメータをパラメータ格納部２７０に格納する。
【００６３】
なお、第２画像と第３画像との関係は、図８（ａ）に示す第３関係式によって示される。座標（ｘ３ｎ，ｙ３ｎ，ｚ３ｎ）は車両の上方正面を視点とする座標系における第３画像の座標である。具体的には、座標（ｘ３ａ，ｙ３ａ，ｚ３ａ）は上記座標系における前方第３画像の座標、座標（ｘ３ｂ，ｙ３ｂ，ｚ３ｂ）は上記座標系における右側方第３画像、座標（ｘ３ｃ，ｙ３ｃ，ｚ３ｃ）は上記座標系における後方第３画像の座標、座標（ｘ３ｄ，ｙ３ｄ，ｚ３ｄ）は上記座標系における左側方第３画像の座標を示す（図８（ｂ）において同じ）。Ｅは回転を行う行列、Ｆはシフトを行う行列を示す。第３パラメータを構成するΔｒｘ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）、Δｒｙ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｒｚ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は、第２画像から第３画像への回転成分の変化量を示し、第３パラメータを構成するΔｔｘ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ），Δｔｙ３３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）およびΔｔｚ３ｎ（ｎ＝ａ，ｂ，ｃ，ｄ）は第２画像から第３画像へのシフト成分の変化量を示す。ただし、第３画像は、第２画像を回転させていないので、Δｒｘ３ｎ，Δｒｙ３ｎ，Δｒｚ３ｎはゼロとなる。
【００６４】
マッピングテーブル生成部２８０は、第１パラメータ、第２パラメータおよび第３パラメータをパラメータ格納部２７０から取得する。マッピングテーブル生成部２８０は、歪補正画像と第３画像とを関係付ける図８（ｂ）に示す関係式におけるパラメータ（Δｒｘｎ，Δｒｙｎ，Δｒｚｎ，Δｔｘｎ，Δｔｙｎ、Δｔｚｎ）であって前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘａ，Δｒｙａ，Δｒｚａ，Δｔｘａ，Δｔｙａ，Δｔｚａ）を算出する。
【００６５】
具体的には、マッピングテーブル生成部２８０は、前方第１パラメータ（Δｒｘ１ａ，Δｒｙ１ａ，Δｒｚ１ａ，Δｔｘ１ａ，Δｔｙ１ａ，Δｔｚ１ａ）、前方第２パラメータ（Δｒｘ２ａ，Δｒｙ２ａ，Δｒｚ２ａ，Δｔｘ２ａ，Δｔｙ２ａ，Δｔｚ２ａ）および前方第３パラメータ（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａ，Δｔｘ３ａ，Δｔｙ３ａ，Δｔｚ３ａ）の各要素を加算して、前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘ１ａ＋Δｒｘ２ａ，Δｒｙ１ａ＋Δｒｙ２ａ，Δｒｚ１ａ＋Δｒｚ２ａ，Δｔｘ１ａ＋Δｔｘ２ａ＋Δｔｘ３ａ，Δｔｙ１ａ＋Δｔｙ２ａ＋Δｔｙ３ａ，Δｔｚ１ａ＋Δｔｚ２ａ＋Δｔｚ３ａ）を算出する（Δｒｘ３ａ，Δｒｙ３ａ，Δｒｚ３ａはゼロ）。
【００６６】
マッピングテーブル生成部２８０は、算出した前方歪補正画像と前方第３画像とを関係付ける関係式におけるパラメータを図８（ｂ）に示す関係式に適用し、前方歪補正画像の各画素位置の変換後の画素位置（再標本化したときの画素位置）を算出する。例えば、マッピングテーブル生成部２８０は、ニアレストネイバー（nearest neighbor）、バイリニア補間（bilinear interpolation）、バイキュービック補間（bicubic interpolation）などの補間法を使用して、変換後の画素位置を算出する。マッピングテーブル生成部２８０は、前方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「前方テーブル」という）を生成する。
【００６７】
同様に、マッピングテーブル生成部２８０は、右側方歪補正画像と右側方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｂ，Δｒｙｂ，Δｒｚｂ，Δｔｘｂ，Δｔｙｂ，Δｔｚｂ）を算出し、右側方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「右側方テーブル」という）を生成する。また、マッピングテーブル生成部２８０は、後方歪補正画像と後方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｃ，Δｒｙｃ，Δｒｚｃ，Δｔｘｃ，Δｔｙｃ，Δｔｚｃ）を算出し、後方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「後方テーブル」という）を生成する。さらに、マッピングテーブル生成部２８０は、左側方歪補正画像と左側方第３画像とを関係付ける関係式におけるパラメータ（Δｒｘｄ，Δｒｙｄ，Δｒｚｄ，Δｔｘｄ，Δｔｙｄ，Δｔｚｄ）を算出し、左側方歪補正画像の画素位置とその変換後の画素位置とを対応付けたテーブル（以下、「左側方テーブル」という）を生成する。
【００６８】
そして、マッピングテーブル生成部２８０は、生成した前方テーブル、右側方テーブル、後方テーブルおよび左側方テーブルを合わせてマッピングテーブルとして生成する（ステップＳ１７０）。そして本フローチャートは終了する。なお、マッピングテーブル生成部２８０は、生成したマッピングテーブルをマッピングテーブル格納部１２０に供給する。
【００６９】
以上、本実施形態によれば、実際に、車両周辺画像を生成すべく複数のカメラによって撮像された撮像画像に基づいて画像の位置合わせが行われ、位置合わせの過程で得られる第１パラメータ、第２パラメータおよび第３パラメータを用いてマッピングテーブルが生成される。これにより、ターゲットボード５００を共通撮像範囲に配置するだけで、高精度のマッピングテーブルを生成することができる。
【００７０】
なお、本実施形態によれば、第２画像生成部２２０によって、隣接して結合される画像どうしにおいて、ターゲットボード５００の位置合わせが行われ、つまり、隣接して結合される画像どうしにズレが生じないように位置合わせが行われ、位置合わせの過程で得られる第２パラメータを用いてマッピングテーブルが生成される。これにより、生成される車両周辺画像において４つのカメラの４つの撮像画像の繋ぎ目部分にズレを余り生じさせないようなマッピングテーブルを生成することができる。
【００７１】
また、本実施形態において、マッピングテーブル生成装置２０は４つのカメラによって撮像される４つの撮像画像に基づいてマッピングテーブルを生成するが、車両周辺画像において隣接して結合される再配列画像の元となる撮像画像を撮像するカメラどうしが共通撮像範囲を有するように車両上に設置される、という条件を満たす限りにおいて３つまたは５つ以上のカメラによって撮像される３つまたは５つ以上の撮像画像に基づいてマッピングテーブルを生成してもよい。
【００７２】
また、本実施形態は、マッピングテーブル生成装置２０は、マッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０などとともに両周辺画像生成装置１０に内蔵される形態であるが、マッピングテーブル生成装置２０が両周辺画像生成装置１０に内蔵されない形態、つまり、マッピングテーブル生成装置２０がマッピングテーブル格納部１２０、車両画像格納部１３０、歪補正画像生成部１４０、車両周辺画像生成部１５０などと別体である形態であってもよい。
【００７３】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００７４】
【図１】本実施形態の車両周辺画像生成装置の構成例を示す図である。
【図２】複数のカメラ、ターゲットボードなどの配置例を示す図である。
【図３】図１に示すマッピングテーブル生成装置の動作の一例を示すフローチャートである。
【図４】前方撮像画像、前方歪補正画像、前方第１画像および右側方第１画像の一例を模式的に示した図である。
【図５】前方第２画像および右側方第２画像の一例を模式的に示した図である。
【図６】第３画像の一例を模式的に示した図である。
【図７】歪補正画像と第１画像とを関係付ける第１関係式、第１画像と第２画像とを関係付ける第２関係式の一例を示した図である。
【図８】第２画像と第３画像とを関係付ける第３関係式、歪補正画像と第３画像とを関係付ける関係式の一例を示す図である。
【符号の説明】
【００７５】
１０ 車両周辺画像生成装置
２０ マッピングテーブル生成装置
１２０ マッピングテーブル格納部
１３０ 車両画像格納部
１４０ 歪補正画像生成部
１５０ 車両周辺画像生成部
１６０ 表示部
２１０ 第１画像生成部
２２０ 第２画像生成部
２３０ 第３画像生成部
２６０ パラメータ取得部
２７０ パラメータ格納部
２８０ マッピングテーブル生成部
【特許請求の範囲】
【請求項１】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラによって撮像された上記複数の撮像画像の歪みを補正した複数の歪補正画像から、上記車両周辺画像を生成するときに参照するマッピングテーブルを生成するマッピングテーブル生成装置であって、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成部と、
上記第１画像生成部によって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成部と、
上記第２画像生成部によって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成部と、
上記第１画像生成部が上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成部が上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成部が上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得部と、
上記パラメータ取得部によって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成部とを備えたことを特徴としたマッピングテーブル生成装置。
【請求項２】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラと、
上記複数のカメラによって撮像される上記複数の撮像画像から、上記複数の撮像画像の歪みを補正した複数の歪補正画像を生成する歪補正画像生成部と、
上記歪補正画像生成部によって生成された上記複数の歪補正画像から上記車両周辺画像を生成するときに参照するマッピングテーブルを格納するマッピングテーブル格納部と、
上記歪補正画像生成部によって生成された上記複数を用いて、上記マッピングテーブル格納部に格納された上記マッピングテーブルを参照することにより上記車両周辺画像を生成する車両周辺画像生成部と、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成部と、
上記第１画像生成部によって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成部と、
上記第２画像生成部によって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成部と、
上記第１画像生成部が上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成部が上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成部が上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得部と、
上記パラメータ取得部によって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成部とを備えたことを特徴とした車両周辺画像生成装置。
【請求項３】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラによって撮像された上記複数の撮像画像の歪みを補正した複数の歪補正画像から、上記車両周辺画像を生成するときに参照するマッピングテーブルを生成するマッピングテーブル生成方法であって、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成ステップと、
上記第１画像生成ステップによって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成ステップと、
上記第２画像生成ステップによって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成ステップと、
上記第１画像生成ステップにより上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成ステップにより上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成ステップにより上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得ステップと、
上記パラメータ取得ステップによって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成ステップとを備えたことを特徴としたマッピングテーブル生成方法。
【請求項１】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラによって撮像された上記複数の撮像画像の歪みを補正した複数の歪補正画像から、上記車両周辺画像を生成するときに参照するマッピングテーブルを生成するマッピングテーブル生成装置であって、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成部と、
上記第１画像生成部によって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成部と、
上記第２画像生成部によって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成部と、
上記第１画像生成部が上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成部が上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成部が上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得部と、
上記パラメータ取得部によって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成部とを備えたことを特徴としたマッピングテーブル生成装置。
【請求項２】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラと、
上記複数のカメラによって撮像される上記複数の撮像画像から、上記複数の撮像画像の歪みを補正した複数の歪補正画像を生成する歪補正画像生成部と、
上記歪補正画像生成部によって生成された上記複数の歪補正画像から上記車両周辺画像を生成するときに参照するマッピングテーブルを格納するマッピングテーブル格納部と、
上記歪補正画像生成部によって生成された上記複数を用いて、上記マッピングテーブル格納部に格納された上記マッピングテーブルを参照することにより上記車両周辺画像を生成する車両周辺画像生成部と、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成部と、
上記第１画像生成部によって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成部と、
上記第２画像生成部によって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成部と、
上記第１画像生成部が上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成部が上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成部が上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得部と、
上記パラメータ取得部によって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成部とを備えたことを特徴とした車両周辺画像生成装置。
【請求項３】
車両の上方正面を視点とする車両周辺画像の生成に用いられる複数の撮像画像を撮像するためにそれぞれが上記車両の異なる位置に設置された複数のカメラであって上記複数の撮像画像のうち上記車両周辺画像において隣接して結合される２つの画像の元となる上記撮像画像の重複撮像領域内に同一の被写体が撮像されるようにそれぞれが上記車両の異なる位置に設置された複数のカメラによって撮像された上記複数の撮像画像の歪みを補正した複数の歪補正画像から、上記車両周辺画像を生成するときに参照するマッピングテーブルを生成するマッピングテーブル生成方法であって、
各撮像画像が複数の上記重複撮像領域を有する複数の上記撮像画像であって、上記各撮像画像上の各重複撮像領域内に既知の形状およびサイズの被写体である目標物が撮像されている上記複数の上記撮像画像に係る複数の上記歪補正画像から、上記車両の上方正面を視点とした複数の画像であって、各画像内において上記各撮像画像上の上記各重複撮像領域内に撮像されている各目標物に係る画素領域の形状を当該各目標物の形状に一致させるともに、上記各画像内において上記各撮像画像上の上記複数の重複撮像領域内に撮像されている複数の目標物に係る画素領域のサイズの比率を当該複数の目標物のサイズの比率に一致させた複数の第１画像を生成する第１画像生成ステップと、
上記第１画像生成ステップによって生成された複数の上記第１画像から、複数の画像であって、上記複数の画像間において上記複数の第１画像上の同一の上記目標物に係る画素領域の形状およびサイズを一致させた複数の第２画像を生成する第２画像生成ステップと、
上記第２画像生成ステップによって生成された上記複数の第２画像から、上記複数の第２画像を処理した複数の画像であって、処理後の上記複数の画像を結合した結合画像において上記車両に係る画素領域が除去されるように上記複数の第２画像を処理した複数の第３画像を生成する第３画像生成ステップと、
上記第１画像生成ステップにより上記歪補正画像から上記第１画像を生成した後に、上記歪補正画像と上記第１画像とを関係付ける関係式におけるパラメータである第１パラメータを取得し、上記第２画像生成ステップにより上記第１画像から上記第２画像を生成した後に、上記第１画像と上記第２画像とを関係付ける関係式におけるパラメータである第２パラメータを取得し、上記第３画像生成ステップにより上記第２画像から上記第３画像を生成した後に、上記第２画像と上記第３画像とを関係付ける関係式におけるパラメータである第３パラメータを取得するパラメータ取得ステップと、
上記パラメータ取得ステップによって取得された上記第１パラメータ、上記第２パラメータおよび上記第３パラメータを用いて上記マッピングテーブルを生成するマッピングテーブル生成ステップとを備えたことを特徴としたマッピングテーブル生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１０４３２３（Ｐ２００９−１０４３２３Ａ）
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願番号】特願２００７−２７４１８２（Ｐ２００７−２７４１８２）
【出願日】平成１９年１０月２２日（２００７．１０．２２）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２１年５月１４日（２００９．５．１４）
【国際特許分類】
【出願日】平成１９年１０月２２日（２００７．１０．２２）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]