カメラ校正装置及び方法並びに車両
【課題】カメラ設置誤差の影響を抑制しつつ、校正環境整備の簡便化に寄与する。
【解決手段】車両に前カメラ、右カメラ、左カメラ及び後カメラを設置し、前−右カメラ間、前−左カメラ間、後−右カメラ間、後−左カメラ間の夫々の共通撮影領域（３FR、３FL、３BR及び３BL）内に、２つずつ特徴点（２１１〜２１８）を配置する。カメラ校正装置は、各カメラの撮影画像を地面上に投影して合成するための変換パラメータを導出する。左右カメラに対する変換パラメータを透視投影変換によって求める。その後、各カメラの撮影による各特徴点の座標値対応関係に基づき、左右カメラに対する変換パラメータに合わせこむように前後カメラに対する変換パラメータを平面射影変換によって求める。
【解決手段】車両に前カメラ、右カメラ、左カメラ及び後カメラを設置し、前−右カメラ間、前−左カメラ間、後−右カメラ間、後−左カメラ間の夫々の共通撮影領域（３FR、３FL、３BR及び３BL）内に、２つずつ特徴点（２１１〜２１８）を配置する。カメラ校正装置は、各カメラの撮影画像を地面上に投影して合成するための変換パラメータを導出する。左右カメラに対する変換パラメータを透視投影変換によって求める。その後、各カメラの撮影による各特徴点の座標値対応関係に基づき、左右カメラに対する変換パラメータに合わせこむように前後カメラに対する変換パラメータを平面射影変換によって求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮影画像を所定面上に投影及び合成するために必要となる校正処理を実現するカメラ校正装置及びカメラ校正方法に関し、また、それらを利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両周辺の状況を把握し易くなる。
【０００３】
更に、複数のカメラから得た撮影画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示装置に表示させる視界支援システムが開発されている。この視界支援システムでは、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００４】
図２２に、この種の視界支援システムが適用された車両の平面図を示す。車両の前後左右に、前カメラとしてのカメラ１Ｆ、後カメラとしてのカメラ１Ｂ、左カメラとしてのカメラ１Ｌ及び右カメラとしてのカメラ１Ｒが設置される。この視界支援システムでは、座標変換を用いて各カメラの撮影画像を地面に投影して合成することにより、合成画像としての全周鳥瞰図画像を生成及び表示する。図２３に、表示される全周鳥瞰図画像９００の模式図を示す。全周鳥瞰図画像９００において、車両の前側、右側、左側及び後側には、夫々、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像に基づく鳥瞰図画像が描画される。
【０００５】
カメラの撮影画像を鳥瞰図画像に変換する手法として、透視投影変換に基づく手法（例えば、下記特許文献１参照）と平面射影変換に基づく手法（例えば、下記特許文献２参照）が知られている。何れの手法を用いた場合においても、画像の接合部分を違和感なく合成するためには、座標変換用の変換パラメータを適切に調整する必要がある。
【０００６】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が生じるため、正確な変換パラメータを計測または推定することは困難であることが多い。
【０００７】
平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と変換画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。また、下記特許文献３では、複数の位置で撮影した画像を用いて、平面射影変換に基づく変換パラメータを調整する手法も開示されている（特に段落６９など参照）。
【０００８】
各カメラの撮影画像を地面に射影するためのホモグラフィ行列は、座標値が既知の４以上の特徴点に基づき算出可能であるが、複数のカメラの撮影画像を共通の合成画像に射影するためには、各カメラで用いる特徴点を共通の２次元座標上に設けておく必要がある。即ち、図２４に示すような、全てのカメラに対して共通の２次元座標系を定義し、この２次元座標系上において４個以上の特徴点の座標値をカメラ毎に指定してやる必要がある。
【０００９】
従って、トラックなどの車両に複数のカメラを設置して、全周鳥瞰図画像を得るべく各カメラの校正を行う場合、各カメラの撮影領域の全てを覆うような非常に大きな校正パターンを用意する必要がある。図２４に示す例では、各カメラの撮影領域の全てを覆う碁盤目状の校正パターンを車両周辺に設置し、碁盤目の交点を特徴点として利用する。このような校正パターンのサイズは、例えば、車両の縦横サイズの２倍の大きさを有するため、校正作業時に大きな場所を占有してしまうと共に校正環境の整備に手間がかかって、校正作業全体の負担が大きくなる。校正作業の効率を向上させるために、より簡便な校正方法が求められている。
【００１０】
【特許文献１】特開２００６−２８７８９２号公報
【特許文献２】特開２００６−１４８７４５号公報
【特許文献３】特開２００４−３４２０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、
透視投影変換を用いる場合は、カメラの設置誤差等の、既知の設定情報に対する誤差の影響が大きい。
平面射影変換を用いる場合は、校正環境の整備に手間がかかる。
【００１２】
そこで本発明は、既知の設定情報に対する誤差の影響を抑制しつつ、校正環境整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明に係るカメラ校正装置は、Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、前記パラメータ導出手段は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求めることを特徴とする。
【００１４】
校正指標を基準カメラと非基準カメラとの共通撮影領域内に配置すれば足るため、校正環境の整備が簡便化可能である。また、第１パラメータは設定情報に関する誤差（例えば、カメラの設置誤差）の影響を受けることになるが、校正指標の撮影結果と第１パラメータとに基づいて第２パラメータを求めるようにしているため、第２パラメータ側にて上記誤差の影響を吸収することが可能となる。画像合成は、設定情報に関する誤差の影響を受ける第１パラメータとそれを吸収可能な第２パラメータとに基づいて行われるため、合成される画像間の接合部分において、違和感の少ない画像を得ることが可能となる。
【００１５】
具体的には例えば、前記第１パラメータは、前記設定情報を用いた透視投影変換に基づいて求められる。
【００１６】
また具体的には例えば、前記校正指標の配置によって、前記共通撮影領域内に少なくとも４つの特徴点が含まれ、前記パラメータ導出手段は、前記基準カメラによる各特徴点の撮影結果と、前記非基準カメラによる各特徴点の撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める。
【００１７】
また具体的には例えば、前記パラメータ導出手段は、前記共通撮影領域内における前記校正指標の配置位置に拘束条件を与えることなく、前記第２パラメータを導出可能である。
【００１８】
このため、校正環境の整備が非常に簡便となる。
【００１９】
また例えば、前記パラメータ導出手段は、前記基準カメラの撮影領域内に配置された形状が既知の校正パターンの、前記基準カメラによる撮影結果に基づいて、前記第１パラメータを補正する第１パラメータ補正手段を備え、補正後の前記第１パラメータを用いて前記第２パラメータを求める。
【００２０】
これにより、前記設定情報に関する誤差の影響をより抑制することが可能となる。
【００２１】
上記目的を達成するために本発明に係る車両は、Ｎ台のカメラ及び画像処理装置が設置された車両において、前記画像処理装置は、上記の何れかに記載のカメラ校正装置を含む。
【００２２】
上記目的を達成するために本発明に係るカメラ校正方法は、Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、当該カメラ校正方法は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求めることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、既知の設定情報に対する誤差の影響を抑制しつつ、校正環境整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２６】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る視界支援システムが適用される車両１００を上方から見た平面図であり、その車両１００へのカメラの設置状態を表している。図２は、車両１００を左斜め前方から見た図である。図１及び図２には、車両１００としてトラックが示されているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されている。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２７】
図１に示す如く、車両１００の前部、右側部、左側部及び後部に、夫々、カメラ（撮像装置）１Ｆ、１Ｒ、１Ｌ及び１Ｂが取り付けられている。また、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを区別せずに、それらを、単にカメラ或いは各カメラと呼ぶ場合もある。
【００２８】
また、図２に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図２には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００２９】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂは車両１００に設置される。
【００３０】
図２には、各カメラの視野、即ち、各カメラの撮影領域が示されている。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影領域を、夫々、２Ｆ、２Ｒ、２Ｌ及び２Ｂにて表す。尚、撮影領域２Ｒ及び２Ｂに関しては、図２において一部しか示されていない。図３（ａ）〜（ｄ）に、上方から見た撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒ、即ち、地面上の撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒを表す。また、図４に、図３（ａ）〜（ｄ）に示される各撮影領域を１つにまとめた図を示す（斜線領域については後述）。
【００３１】
カメラ１Ｆは、車両１００前方の所定領域内に位置する被写体（路面を含む）を撮影する。カメラ１Ｒは、車両１００右側の所定領域内に位置する被写体を撮影する。カメラ１Ｌは、車両１００左側の所定領域内に位置する被写体を撮影する。カメラ１Ｂは、車両１００後方の所定領域内に位置する被写体を撮影する。
【００３２】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮影する。つまり、車両１００の左斜め前方の所定領域にて撮影領域２Ｆ及び２Ｌは重なり合う。２つのカメラの撮影領域が重なり合う部分を共通撮影領域（共通撮影空間）と呼び、カメラ１Ｆと１Ｌの撮影領域が重なり合う部分（即ち、カメラ１Ｆと１Ｌとの間の共通撮影領域）を３FLにて表す。図４では、共通撮影領域が斜線領域として表されている。
【００３３】
同様に、図４に示す如く、車両１００の右斜め前方の所定領域にて撮影領域２Ｆと２Ｒは重なり合ってそれらの共通撮影領域３FRが形成され、車両１００の左斜め後方の所定領域にて撮影領域２Ｂと２Ｌは重なり合ってそれらの共通撮影領域３BLが形成され、車両１００の右斜め後方の所定領域にて撮影領域２Ｂと２Ｒは重なり合ってそれらの共通撮影領域３BRが形成される。
【００３４】
図５に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。各カメラ（１Ｆ、１Ｒ、１Ｌ及び１Ｂ）は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置１０に送る。画像処理装置１０は、各撮影画像を視点変換によって鳥瞰図画像に変換し、各鳥瞰図画像を合成することにより１枚の全周鳥瞰図画像を生成する。表示装置１１は、この全周鳥瞰図画像を映像として表示する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰図画像に変換するものとする。
【００３５】
鳥瞰図画像は、実際のカメラ（例えばカメラ１Ｆ）の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。このような鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を表示することによって、運転者の視界が支援され、車両周辺の安全確認が容易となる。
【００３６】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置１０は、例えば集積回路から形成される。表示装置１１は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置１１として流用しても良い。また、画像処理装置１０は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置１０及び表示装置１１は、例えば、車両１００の運転席付近に設置される。
【００３７】
広視野の安全確認を支援するべく、各カメラの画角は広角となっている。このため、各カメラの撮影領域は、地面上において、例えば５ｍ×１０ｍ（メートル）程度の大きさを有する。
【００３８】
本実施形態では、各カメラの撮影画像を透視投影変換又は平面射影変換によって鳥瞰図画像に変換する。透視投影変換及び平面射影変換自体は公知であるが、それらについては後に説明する。図６に、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像から生成される鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂを示す。鳥瞰図画像への変換の後、カメラ１Ｌに対応する鳥瞰図画像５０Ｌを基準として、他の３つの鳥瞰図画像５０Ｆ、５０Ｒ及び５０Ｂを回転及び／又は平行移動することにより、それら（５０Ｆ、５０Ｒ及び５０Ｂ）を鳥瞰図画像５０Ｌにおける座標に変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「グローバル座標」とよぶ。グローバル座標は、全てのカメラに対して共通に定義される２次元座標である。
【００３９】
図７に、グローバル座標上に表された鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂを示す。グローバル座標で考えた場合、図７に示す如く、２つの鳥瞰図画像が重なり合う部分が存在する。
【００４０】
図７において、ＣFLの符号が付された斜線領域が、グローバル座標上において鳥瞰図画像５０Ｆと５０Ｌが重なり合う部分であり、これを共通画像領域ＣFLと呼ぶ。鳥瞰図画像５０Ｆにおいて、共通画像領域ＣFLにはカメラ１Ｆから見た共通撮影領域３FL（図４参照）内の被写体の画像が現れ、鳥瞰図画像５０Ｌおいて、共通画像領域ＣFLにはカメラ１Ｌから見た共通撮影領域３FL内の被写体の画像が現れる。同様に、鳥瞰図画像５０Ｆと５０Ｒが重なり合う共通画像領域ＣFRと、鳥瞰図画像５０Ｂと５０Ｌが重なり合う共通画像領域ＣBLと、鳥瞰図画像５０Ｂと５０Ｒが重なり合う共通画像領域ＣBRとがある。
【００４１】
全周鳥瞰図画像を画像合成によって生成する際、共通画像領域内の画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００４２】
尚、図６及び図７において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像５０Ｆの座標系の座標軸である。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像５０Ｒの座標系の座標軸であり、ＸＬ軸及びＹＬ軸は、鳥瞰図画像５０Ｌの座標系の座標軸であり、ＸＢ軸及びＹＢ軸は、鳥瞰図画像５０Ｂの座標系の座標軸である。また、図示の便宜上、図６及び図７においては、各鳥瞰図画像及び各共通画像領域が長方形形状を有しているが、それらの形状は、長方形であるとは限らない。
【００４３】
全周鳥瞰図画像（又は各鳥瞰図画像）を生成するためには、各撮影画像から全周鳥瞰図画像（又は各鳥瞰図画像）を生成するための変換パラメータが必要となる。この変換パラメータによって、各撮影画像上の各点の座標と全周鳥瞰図画像上の各点の座標との対応関係が特定される。画像処理装置１０は、実稼動に先立って行われる校正処理において、変換パラメータを校正する。実稼動時には、校正後の変換パラメータを用いて上述の如く各撮影画像から全周鳥瞰図画像を生成する。本実施形態は、この校正処理に特徴を有している。
【００４４】
この校正処理を説明する前に、平面射影変換について簡単に説明する。平面射影変換によって原画像を変換画像に変換する場合を考える。原画像上における各点の座標を（ｘ，ｙ）にて表し、変換画像上における各点の座標を（Ｘ，Ｙ）にて表す。原画像上における座標（ｘ，ｙ）と変換画像上における座標（Ｘ，Ｙ）との関係は、ホモグラフィ行列Ｈを用いて下記式（１）のように表される。ホモグラフィ行列Ｈは、３行３列の行列であり、その行列の各要素をｈ1〜ｈ9で表す。更に、ｈ9＝１であるとする（ｈ9＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘ，ｙ）と座標（Ｘ，Ｙ）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００４５】
【数１】
【数２】
【００４６】
原画像と変換画像との間で４点の座標値の対応関係が分かれば、ホモグラフィ行列Ｈは一意に定まる。一旦、ホモグラフィ行列Ｈが求まれば、上記式（２ａ）及び（２ｂ）に従って原画像上の任意の点を変換画像上の点に変換することが可能である。
【００４７】
次に、図８を参照して、本実施形態に係る校正処理の手順について説明する。図８は、この手順を表すフローチャートである。この校正処理は、ステップＳ１１及びＳ１２の各処理から成り、それらは、各カメラと画像処理装置１０によって実現される。この手順では、求められるべき変換パラメータを、カメラ１Ｒと１Ｌに対する第１パラメータと、カメラ１Ｆと１Ｂに対する第２パラメータとに分けて考える。
【００４８】
まず、ステップＳ１１において、カメラ１Ｒと１Ｌに対する変換パラメータ（即ち、第１パラメータ）を透視投影変換に基づいて算出する。
【００４９】
１台のカメラの撮影画像を透視投影変換によって鳥瞰図画像に変換する手法を簡単に説明する。撮影画像上における各点の座標を（ｘbu、ｙbu）で表し、この撮影画像を透視投影変換にて変換した鳥瞰図画像上における各点の座標を（ｘau、ｙau）で表すと、座標（ｘbu、ｙbu）を座標（ｘau、ｙau）に変換するための式は、下記式（３）によって表される。
【００５０】
【数３】
【００５１】
ここで、θaは、図９に示す如く、地面とカメラの光軸との成す角度である（但し、９０°＜θa＜１８０°）。尚、図９では、θaの取り付け角度を有するカメラの例として、カメラ１Ｌを示している。ｈは、カメラの高さに基づく量（カメラ座標系と世界座標系の、高さ方向の平行移動量）である。ｆは、カメラの焦点距離である。上述したように、鳥瞰図画像は、実際のカメラの撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものであり、Ｈaは、この仮想カメラの高さを表す。
【００５２】
θa、ｈ及びＨaは、カメラ外部情報（カメラの外部パラメータ）と捉えることができ、ｆは、カメラ内部情報（カメラの内部パラメータ）と捉えることができる。これらの情報に基づく式（３）を用いて、カメラの撮影画像における各点を座標変換すれば、鳥瞰図画像を生成することができる。
【００５３】
尚、図９において、ｗは、車両１００の幅を表す。カメラ１Ｌとカメラ１Ｒの距離（例えば、カメラ１Ｌの撮像面とカメラ１Ｒの撮像面の距離）は、車両１００の幅ｗに依存するため、ｗを、カメラ１Ｌとカメラ１Ｒの距離と捉えても良い。
【００５４】
画像処理装置１０は、透視投影変換に必要な、カメラ１Ｒ及び１Ｌの夫々ついてのθa、ｈ、ｆ及びＨaを予め認識しており、カメラ１Ｒ及び１Ｌの各撮影画像における各点を式（３）に基づき座標変換することにより、カメラ１Ｒ及び１Ｌの各鳥瞰図画像を生成可能である。
【００５５】
更に、画像処理装置１０は、車両１００の幅ｗをも予め認識している。ｗと、カメラ１Ｒ及び１Ｌの夫々ついてのθa、ｈ、ｆ及びＨaと、を併せたものをカメラ設定情報と呼ぶ。カメラ設定情報に基づけば、カメラ１Ｒの撮影画像に基づく鳥瞰図画像５０Ｒをグローバル座標上に座標変換するための回転量及び／又は平行移動量が求まる。そこで、ステップＳ１１では、上記式（３）とカメラ設定情報に基づいて、カメラ１Ｒ及び１Ｌの各撮影画像上の各点をグローバル座標上に座標変換するための変換パラメータ、即ち、カメラ１Ｒ及び１Ｌに対する変換パラメータ（上記第１パラメータ）を求める。
【００５６】
ステップＳ１１の後、ステップＳ１２に移行する（図８参照）。ステップＳ１２では、カメラ１Ｆとカメラ１Ｒ及び１Ｌとの共通撮影領域３FR及び３FL並びにカメラ１Ｂとカメラ１Ｒ及び１Ｌとの共通撮影領域３BR及び３BLに、特徴点を有するマーカが配置される。そして、各カメラによる各マーカ（特徴点）の撮影結果を用い、平面射影変換によって、カメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）を算出する。この際、ステップＳ１１にて既に校正されたカメラ１Ｒ及び１Ｌを基準とする。
【００５７】
図１０に、マーカの例として、マーカ２００を示す。図１０は、マーカ２００を上方から見た平面図である。マーカ２００は、白地に、１頂点にて互いに連結された黒塗りの正方形が２つ描かれており、２つの黒塗りの正方形の連結部分２０１が特徴点である。マーカの色などを適切に選ぶことによって、各カメラ（及び画像処理装置１０）が、特徴点を路面等と明確に区別して認識できるようになっている。校正処理にとって重要なのは、マーカそのものでなく特徴点であるため、以下、特徴点に着目して説明を行う。
【００５８】
図１１は、各マーカ（特徴点）が配置される様子を示した車両１００周辺の上面視平面図である。図１１において、符号２１１〜２１８が付された点が、マーカに表れる特徴点を表している。図１１に示す例では、各共通撮影領域に２つずつマーカが配置されている。これにより、共通撮影領域３FR内に２つの特徴点２１１及び２１２が表れ、共通撮影領域３FL内に２つの特徴点２１３及び２１４が表れ、共通撮影領域３BR内に２つの特徴点２１５及び２１６が表れ、共通撮影領域３BL内に２つの特徴点２１７及び２１８が表れる。この状態で、各カメラは撮影を行って撮影画像を得る。この状態で得られた各撮影画像を、校正用撮影画像と呼ぶ。
【００５９】
画像処理装置１０は、各カメラによる校正用撮影画像に含まれる各特徴点の、校正用撮影画像上の座標値を検出する。この座標値の検出の仕方については任意である。例えば、エッジ検出処理などの画像処理を介して自動的に各特徴点の座標値を検出するようにしてもよいし、図示されない操作部に対する操作に基づいて各特徴点の座標値を検出するようにしてもよい。
【００６０】
図１２（ａ）に示される表の如く、
カメラ１Ｆの校正用撮影画像上における特徴点２１１、２１２、２１３及び２１４の座標値が、夫々、（ｘF1、ｙF1）、（ｘF2、ｙF2）、（ｘF3、ｙF3）及び（ｘF4、ｙF4）であり、
カメラ１Ｒの校正用撮影画像上における特徴点２１１、２１２、２１５及び２１６の座標値が、夫々、（ｘR1、ｙR1）、（ｘR2、ｙR2）、（ｘR5、ｙR5）及び（ｘR6、ｙR6）であり、
カメラ１Ｌの校正用撮影画像上における特徴点２１３、２１４、２１７及び２１８の座標値が、夫々、（ｘL3、ｙL3）、（ｘL4、ｙL4）、（ｘL7、ｙL7）及び（ｘL8、ｙL8）であり、
カメラ１Ｂの校正用撮影画像上における特徴点２１５、２１６、２１７及び２１８の座標値が、夫々、（ｘB5、ｙB5）、（ｘB6、ｙB6）、（ｘB7、ｙB7）及び（ｘB8、ｙB8）であったとする。
【００６１】
また更に、カメラ１Ｒの校正用撮影画像上における特徴点２１１、２１２、２１５及び２１６の座標値を、ステップＳ１１で求めた第１パラメータを用いてグローバル座標上の座標値に変換する。この変換によって得られる、グローバル座標上における特徴点２１１、２１２、２１５及び２１６の座標値を、図１２（ｂ）に示す如く、夫々、（ＸR1、ＹR1）、（ＸR2、ＹR2）、（ＸR5、ＹR5）及び（ＸR6、ＹR6）で表す。
同様に、カメラ１Ｌの校正用撮影画像上における特徴点２１３、２１４、２１７及び２１８の座標値を、ステップＳ１１で求めた第１パラメータを用いてグローバル座標上の座標値に変換する。この変換によって得られる、グローバル座標上における特徴点２１３、２１４、２１７及び２１８の座標値を、図１２（ｂ）に示す如く、夫々、（ＸL3、ＹL3）、（ＸL4、ＹL4）、（ＸL7、ＹL7）及び（ＸL8、ＹL8）で表す。
【００６２】
上述したように、変換前の画像（原画像）と変換後の画像（変換画像）との間で４点の座標値の対応関係が分かれば、平面射影変換を行うためのホモグラフィ行列は一意に定まる。本実施形態では、最終的に各鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を生成するわけであるから、カメラ１Ｆ及び１Ｂの各校正用撮影画像を全周鳥瞰図画像の座標であるグローバル座標上に座標変換するためのホモグラフィ行列を求める。この際、最初に校正を行ったカメラ１Ｒ及び１Ｌ上の特徴点の位置を基準とする。
【００６３】
変換前の画像（原画像）と変換後の画像（変換画像）との間における４点の座標値の対応関係に基づきホモグラフィ行列（射影変換行列）を求める手法として、公知の手法を用いればよい。例えば、上記特許文献３に記載の手法（特に、特許文献３の段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。
【００６４】
カメラ１Ｆに対して校正を行う場合は、変換前の画像と変換後の画像との間における、４つの特徴点２１１〜２１４の座標値対応関係を用いる。つまり、変換前の画像における座標値（ｘF1、ｙF1）、（ｘF2、ｙF2）、（ｘF3、ｙF3）及び（ｘF4、ｙF4）が、夫々、変換後の画像上における座標値（ＸR1、ＹR1）、（ＸR2、ＹR2）、（ＸL3、ＹL3）及び（ＸL4、ＹL4）に変換されるように、カメラ１Ｆに対するホモグラフィ行列Ｈの要素ｈ1〜ｈ8を求める。実際には、この変換の誤差（特許文献３における評価関数）が最小化されるように要素ｈ1〜ｈ8を求める。カメラ１Ｆに対して求められたホモグラフィ行列をＨFで表す。ホモグラフィ行列ＨFを用いれば、カメラ１Ｆの撮影画像上の任意の点をグローバル座標上の点に変換することが可能である。
【００６５】
同様に、カメラ１Ｂに対して校正を行う場合は、変換前の画像と変換後の画像との間における、４つの特徴点２１５〜２１８の座標値対応関係を用いる。つまり、変換前の画像における座標値（ｘB5、ｙB5）、（ｘB6、ｙB6）、（ｘB7、ｙB7）及び（ｘB8、ｙB8）が、夫々、変換後の画像上における座標値（ＸR5、ＹR5）、（ＸR6、ＹR6）、（ＸL7、ＹL7）及び（ＸL8、ＹL8）に変換されるように、カメラ１Ｂに対するホモグラフィ行列Ｈの要素ｈ1〜ｈ8を求める。実際には、この変換の誤差（特許文献３における評価関数）が最小化されるように要素ｈ1〜ｈ8を求める。カメラ１Ｂに対して求められたホモグラフィ行列をＨBで表す。ホモグラフィ行列ＨBを用いれば、カメラ１Ｂの撮影画像上の任意の点をグローバル座標上の点に変換することが可能である。
【００６６】
ステップＳ１２では、ホモグラフィ行列ＨF及びＨBを、カメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）として求めるようにする。ステップＳ１２の処理を終えると、図８の校正処理は終了する。
【００６７】
実際には、上記式（３）及びカメラ設定情報に従って、カメラ１Ｒ及び１Ｌの撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示す第１テーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。同様に、ホモグラフィ行列ＨF及びＨBに従って、カメラ１Ｆ及び１Ｂの撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示す第２テーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。これらのテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。この場合、第１テーブルデータをカメラ１Ｒと１Ｌに対する変換パラメータ（即ち、第１パラメータ）と捉えることもでき、第２テーブルデータをカメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）と捉えることもできる。
【００６８】
画像処理装置１０がこのようなテーブルデータを利用する場合、校正処理後の実稼動時において、各撮影画像上の各点が全周鳥瞰図画像上の各点へと一気に変換されるため、個々の鳥瞰図画像は生成されないことになる。
【００６９】
図８の校正処理後、画像処理装置１０は、各カメラにて次々と得られる各撮影画像を求めた変換パラメータを用いて次々と全周鳥瞰図画像に変換する。画像処理装置１０は、各全周鳥瞰図画像を表す映像信号を表示装置１１に供給する。表示装置１１は、各全周鳥瞰図画像を動画像として表示する。
【００７０】
尚、上述の例では、各共通撮影領域に２つずつ特徴点（マーカ）を配置するようにしているが、共通撮影領域３FR及び３FL内に合計４以上の特徴点を配置し、且つ、共通撮影領域３BR及び３BL内に合計４以上の特徴点を配置すれば、カメラ１Ｆと１Ｂに対する変換パラメータを導出可能である。この際、共通撮影領域３FRと３FLの内、一方の共通撮影領域にのみ特徴点を配置することも可能である。但し、共通撮影領域３FRと３FLの双方に対応する画像部分において違和感のない良好な合成画像を得るためには、共通撮影領域３FRと３FLの双方に特徴点を分散配置することが望ましい。共通撮影領域３BR及び３BLについても同様である。
【００７１】
また、共通撮影領域３FRと３FLに配置される４以上の特徴点間の相対位置は問わない。つまり図１１の例で考えれば、各特徴点２１１〜２１４の配置位置は全くの自由であり、各特徴点の配置位置は互いに独立に定められる。このように、特徴点２１１〜２１４が共通撮影領域３FR及び３FL内に位置している限り、各特徴点の配置位置に何ら拘束条件は存在しない。共通撮影領域３BRと３BLに配置される各特徴点についても同様である。
【００７２】
本実施形態に係る校正処理手法によれば、図２４に示すような大きな校正プレートを準備する必要もなく、特徴点を共通撮影領域内に自由に配置するだけで校正環境が整備される。このため、校正環境の整備が簡便であり、校正作業の負担が軽減される。
【００７３】
また、透視投影変換のみによって全カメラを校正する場合、校正は簡便とはなるが、カメラの設置誤差が影響して合成される画像間の接合部分に違和感が生じる。例えば、カメラ１Ｆと１Ｒに着目した場合、カメラ１Ｆによって撮影された共通撮影領域３FR内の画像とカメラ１Ｒによって撮影された共通撮影領域３FR内の画像は、各カメラに対する設置誤差に由来して、グローバル座標上で異なる画像を形成することになり、結果、全周鳥瞰図画像の上記接合部分において画像が不連続となったり二重像が表れたりする。
【００７４】
これを考慮し、本実施形態では、透視投影変換にて一部のカメラの校正処理を行った後、その一部のカメラの校正結果に合わせこむように残りのカメラに対して平面射影変換に基づく校正を行う。これにより、上記一部のカメラ（例えばカメラ１Ｒ）に対する変換パラメータはカメラ設置誤差の影響を受けるが、この影響が上記残りのカメラ（例えばカメラ１Ｆ）に対する変換パラメータにて吸収されることになる。例えば、全カメラに対する校正処理後、カメラ１Ｆと１Ｒによって撮影された図１１の特徴点２１１の、グローバル座標上への投影点は、完全に一致する（即ち、二重像などが生じない）ことになる。このように本実施形態によれば、カメラ設置誤差の影響が抑制され、接合部分に違和感のない合成画像（全周鳥瞰図画像）を得ることができる。
【００７５】
＜＜第２実施形態＞＞
また、図１３に示すような特徴点の配置を行うようにすれば、図１４に示すような校正処理も可能である。この校正処理を説明する実施形態を第２実施形態として説明する。第２実施形態は、第１実施形態における校正処理手法の一部を変形した第１実施形態の変形例に相当し、第１実施形態に記載した内容は、矛盾なき限り、第２実施形態にも適用される。以下、第１実施形態の相違点である、校正処理の手順について説明する。
【００７６】
図１４は、第２実施形態に係る校正処理の手順を表すフローチャートである。まず、ステップＳ２１において、カメラ１Ｌに対する変換パラメータを透視投影変換に基づいて算出する。この算出手法は、図８におけるステップＳ１１のそれと同様である。
【００７７】
次に、ステップＳ２２において、図１３に示す如く共通撮影領域３FL及び３BLの夫々に４つの特徴点（或るいは４以上の特徴点）を配置する。そして、カメラ１Ｆ、１Ｌ及び１Ｂによる各特徴点の撮影結果を用い、平面射影変換によって、カメラ１Ｆ及び１Ｂに対する変換パラメータを算出する。この際、ステップＳ２１にて既に校正されたカメラ１Ｌを基準とする。
【００７８】
カメラ１Ｌに対する変換パラメータが分かっている状態で、カメラ１Ｌと１Ｆに共通の４以上の特徴点を撮影させ、第１実施形態で説明したのと同様に各特徴点の座標値を特定すれば、カメラ１Ｆの撮影画像上の各点をグローバル座標上の各点に座標変換するためのホモグラフィ行列（即ち、カメラ１Ｆに対する変換パラメータ）を算出可能である。また、カメラ１Ｂについても同様である。
【００７９】
次に、ステップＳ２３において、共通撮影領域３FR及び３BRの夫々に２つの特徴点（或るいは合計４以上の特徴点）を配置する。そして、カメラ１Ｆ、１Ｒ及び１Ｂによる各特徴点の撮影結果を用い、平面射影変換によって、カメラ１Ｒに対する変換パラメータを算出する。
【００８０】
カメラ１Ｆ及び１Ｂに対する変換パラメータが分かっている状態で、カメラ１Ｆ及び１Ｂに合計４以上の特徴点を撮影させると共に、その合計４以上の特徴点をカメラ１Ｒにも共通して撮影させ、第１実施形態で説明したのと同様に各特徴点の座標値を特定すれば、カメラ１Ｒの撮影画像上の各点をグローバル座標上の各点に座標変換するためのホモグラフィ行列（即ち、カメラ１Ｒに対する変換パラメータ）を算出可能である。尚、共通撮影領域３FR及び３BRの何れか一方にのみ４以上の特徴点を配置することによっても、同様の処理は可能である。
【００８１】
ステップＳ２１〜Ｓ２３で求められた各変換パラメータは、第１実施形態と同様、撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示すテーブルデータとして表現可能である。このテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。
【００８２】
第１実施形態を第２実施形態に変形可能なことからも理解されるように、より一般化して考えれば、以下のような校正手順を踏めばよいことが分かる。図１５に、この校正手順を示す。複数のカメラを、１以上の基準カメラと１以上の非基準カメラに分類して考える。図１６に、この分類の例を示す。
【００８３】
まずステップＳ３１において、基準カメラに対する変換パラメータをカメラ設定情報に基づく透視投影変換によって求める（即ち、基準カメラを校正する）。
【００８４】
次にステップＳ３２において、校正済みの基準カメラと次に校正対象となる非基準カメラとの共通撮影領域に４以上の特徴点を配置する。そして、校正済みの基準カメラと校正対象の非基準カメラによって撮影された各特徴点の座標対応関係と、校正済みの基準カメラに対する変換パラメータとに基づいて、校正対象の非基準カメラに対する変換パラメータを平面射影変換により求める（即ち、校正対象の非基準カメラを校正する）。
【００８５】
まだ校正されていない非基準カメラがある場合は（ステップＳ３３のＮ）、基準カメラを基準として、或いは、校正済みの非基準カメラを新たに基準カメラとして捉えた上で、上述のステップＳ３２の処理を繰り返す（図１６は後者に対応する）。これによって、全てのカメラを校正可能である。
【００８６】
＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。第３実施形態は、第１実施形態における校正処理手法の一部を変形した第１実施形態の変形例に相当し、第１実施形態に記載した内容は、矛盾なき限り、第３実施形態にも適用される。以下、第１実施形態の相違点である、校正処理の手順について説明する。
【００８７】
第３実施形態では、校正処理時に校正パターンを用いる。図１７は、各校正パターンが配置される様子を示した車両１００周辺の上面視平面図である。図１７に示す如く、共通撮影領域３FR、３FL、３BR及び３BL内に、夫々、平面状の（２次元の）校正パターンＡ１、Ａ２、Ａ３及びＡ４が配置される。校正パターンＡ１〜Ａ４は、地面上に配置される。
【００８８】
校正パターンＡ１〜Ａ４の夫々は、正方形形状を有し、その正方形の一辺の長さは、例えば１ｍ〜１．５ｍ程度とされる。校正パターンＡ１〜Ａ４を全て同じ形状とする必要は必ずしもないが、説明の便宜上、それらの形状が全て同じであるものとする。ここにおける形状は、大きさをも含む概念である。従って、校正パターンＡ１〜Ａ４は、全く同じものである。鳥瞰図画像上において、各校正パターンの形状は、理想的には正方形となるべきである（図２１参照）。
【００８９】
各校正パターンは、正方形形状であるため、４つの特徴点を有する。今の例の場合、４つの特徴点は、正方形を形成する４つの頂点に相当する。画像処理装置１０は、各校正パターンの形状を既知情報として予め認識している。この既知情報によって、全周鳥瞰図画像上及び鳥瞰図画像上における、理想的な校正パターン（Ａ１、Ａ２、Ａ３又はＡ４）の４つの特徴点間の相対的な位置関係は特定される。
【００９０】
校正パターンの形状とは、その校正パターンに含まれる特徴点を結ぶことによって形成される図形の形状を意味する。例えば、正方形形状を有する４つの校正プレートそのものを４つの校正パターンＡ１〜Ａ４とし、各校正プレートの４つの角を、各校正パターンの４つの特徴点として取り扱う。或いは例えば、校正パターンＡ１が描かれた校正プレート、校正パターンＡ２が描かれた校正プレート、校正パターンＡ３が描かれた校正プレート及び校正パターンＡ４が描かれた校正プレートを用意する。この場合、校正プレート自体の外形は、校正パターンの外形と一致しない。例として、図１８に、校正パターンＡ１が描かれた正方形状の校正プレート２３０の平面図を示す。校正パターン２３０は白地となっており、校正プレート２３０の４隅の夫々には、１頂点にて互いに連結された黒塗りの正方形が２つずつ描かれている。そして、校正プレート２３０の４隅における、２つの黒塗りの正方形の連結部分２３１〜２３４が校正パターンＡ１の特徴点に相当する。
【００９１】
校正プレート自体の色や校正プレートに描かれる模様の色を適切に選ぶことによって、各カメラ（及び画像処理装置１０）が、校正パターンの各特徴点を路面等と明確に区別して認識できるようになっている。校正処理にとって重要なのは、校正プレートそのものではなく校正パターンの形状（即ち、特徴点間の位置関係）であるため、以下、校正プレートの存在を無視し、校正パターンに着目して説明を行う。
【００９２】
図１９を参照して、第３実施形態に係る校正処理の手順を説明する。図１９は、この手順を表すフローチャートである。
【００９３】
まず、ステップＳ４１において、カメラ１Ｒと１Ｌに対する変換パラメータを透視投影変換に基づいて算出する。このステップＳ４１の処理は、第１実施形態に係るステップＳ１１（図８）のそれと同じものである。
【００９４】
次に、ステップＳ４２において、図１７に示す如く、各共通撮影領域内に校正パターンＡ１〜Ａ４を配置した状態で、カメラ１Ｒ及び１Ｌに撮影を行わせる。これによって、得られた撮影画像を補正用撮像画像と呼ぶ。そして、カメラ１Ｒ及び１Ｌの各補正用撮影画像を、ステップＳ４１で求めた変換パラメータを用いて鳥瞰図画像（以下、これを補正用鳥瞰図画像と呼ぶ）に変換する。
【００９５】
校正パターンは、既知の正方形形状を有するため、理想的には、各補正用鳥瞰図画像上において各校正パターンは既知の正方形形状を有する。しかしながら、カメラ１Ｒと１Ｌの設置には誤差が含まれうる。例えば、カメラ１Ｌの実際の取り付け角度と、カメラ設定情報に定められたθaの設計値と、の間には誤差が存在する。このような設置誤差に起因して、通常、各補正用鳥瞰図画像上では、各校正パターンは既知の正方形形状を有さない。
【００９６】
そこで、画像処理装置１０は、補正用鳥瞰図画像上の各校正パターンの形状が既知情報に基づく既知の正方形形状により近づくようなθaの値を探索し、これによって取り付け角度に関する誤差を推定する。そして、探索されたθaの値を用いて、新たにカメラ１Ｒ及び１Ｌに対する変換パラメータを再計算する。
【００９７】
具体的には例えば、カメラ１Ｒと１Ｌの夫々に対し、補正用鳥瞰図画像上における実際の校正パターンの形状と理想的な校正パターンの形状との間の誤差を表す誤差評価値Ｄを算出し、誤差評価値Ｄに最小値を与えるθaの値を探索すればよい。
【００９８】
図２０を参照して、カメラ１Ｌに対する誤差評価値Ｄの算出手法について説明する。図２０において、符号２４０が付された正方形は、補正用鳥瞰図画像上における理想的な校正パターン（Ａ２又はＡ４）の形状を表す。一方、符合２５０が付された四角形は、補正用鳥瞰図画像上における実際の校正パターン（Ａ２又はＡ４）の形状を表す。上述したように、正方形２４０の形状は、画像処理装置１０にとって既知である。
【００９９】
図２０において、符号２４１〜２４４は、正方形２４０の４つの頂点を表し、符号２５１〜２５４は、四角形２５０の４つの頂点を表す。補正用鳥瞰図画像上において、頂点２４１と頂点２５１の座標を一致させると共に、頂点２４１と頂点２４２を結ぶ線分と頂点２５１と頂点２５２を結ぶ線分とを重ねる。但し、図２０では、図示の便宜上、正方形２４０と四角形２５０を若干ずらして示している。
【０１００】
この場合において、補正用鳥瞰図画像上における、頂点２４２と頂点２５２との間の位置誤差をｄ１、頂点２４３と頂点２５３との間の位置誤差をｄ２、頂点２４４と頂点２５４との間の位置誤差をｄ３とする。位置誤差ｄ１は、補正用鳥瞰図画像上における頂点２４２と頂点２５２との間の距離とされる。位置誤差ｄ２及びｄ３も同様である。
【０１０１】
このような位置誤差ｄ１〜ｄ３は、カメラ１Ｌが捉える校正パターンＡ２とＡ４の夫々に対して算出される。従って、カメラ１Ｌの補正用鳥瞰図画像に対して、６つの位置誤差が算出される。誤差評価値Ｄは、この６つの位置誤差の総和とされる。位置誤差は、対比する頂点間の距離であるので、常に０又は正の値をとる。誤差評価値Ｄの算出式を式（４）に示す。式（４）の右辺において、（ｄ１＋ｄ２＋ｄ３）に対するΣは、校正パターン
の個数分の総和をとることを意味する。
【０１０２】
【数４】
【０１０３】
上記式（３）におけるθaの値を変更して、逐次、誤差評価値Ｄを算出していくことにより、誤差評価値Ｄに最小値を与えるθaの値を求める。そして、カメラ設定情報にて当初定められていたカメラ１Ｌに対するθaの値を求めた値へと補正し、補正後のθaの値（即ち、誤差評価値Ｄに最小値を与えるθaの値）を用いて新たにカメラ１Ｌに対する変換パラメータを再計算する。カメラ１Ｒに対しても同様の処理を行い、カメラ１Ｒに対する変換パラメータを再計算する。
【０１０４】
ステップＳ４２にて、カメラ１Ｒと１Ｌに対する変換パラメータを再計算した後、ステップＳ４３に移行する。ステップＳ４３では、図１７に示す如く、各共通撮影領域内に校正パターンＡ１〜Ａ４を配置した状態で各カメラに撮影を行わせ、そして、各カメラによる各校正パターン（特徴点）の撮影結果を用い、平面射影変換によってカメラ１Ｆと１Ｂに対する変換パラメータ（ホモグラフィ行列）を算出する。この際、ステップＳ４２にて校正されたカメラ１Ｒ及び１Ｌを基準とする。
【０１０５】
ステップＳ４３の処理内容は、第１実施形態に係るステップＳ１２（図８）のそれと同様である。但し、この際、カメラ１Ｒ及び１Ｌに対する変換パラメータとして、ステップＳ４２にて再計算されたそれを用いるものとする。カメラ１Ｆに対する変換パラメータを求めるに当たり、校正パターンＡ１に含まれるｐ個の特徴点及び校正パターンＡ２に含まれるｑ個の特徴点を用いるようにしてもよいし、校正パターンＡ１及びＡ２の何れか一方に含まれる４つの特徴点のみを用いるようにしてもよい。ここで、ｐ及びｑは整数であって、１≦ｐ≦４、１≦ｑ≦４、ｐ＋ｑ≧４、が成立する。カメラ１Ｂに対する変換パラメータを求める際も同様である。
【０１０６】
ステップＳ４２及びＳ４３で求められた各変換パラメータは、第１実施形態と同様、撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示すテーブルデータとして表現可能である。このテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。
【０１０７】
尚、ステップＳ４３の処理を行う際、各校正パターンを共通撮影領域内に配置する必要があるため、ステップＳ４２においても各校正パターンを共通撮影領域内に配置する場合を例示した。しかしながら、ステップＳ４２の段階で、各校正パターンを共通撮影領域内に配置する必要は必ずしもない。即ち、カメラ１Ｒの撮影領域全体（２Ｒ）の中に１つ以上の校正パターンを配置し、且つ、カメラ１Ｌの撮影領域全体（２Ｌ）の中に１つ以上の校正パターンを配置すれば、ステップＳ４２の処理は実行可能である。
【０１０８】
また、ステップＳ４３の処理を行う際における、共通撮影領域内の校正パターンの配置は自由であり、異なる校正パターン間の相対位置も問わない。各校正パターンの配置位置は互いに独立に定められる。このように、既に校正された基準カメラ（本実施形態におけるカメラ１Ｒ及び１Ｌ）と校正対象となる非基準カメラ（本実施形態におけるカメラ１Ｆ及び１Ｂ）との共通撮影領域内に校正パターンが位置している限り、校正パターンの配置位置に何ら拘束条件は存在しない。
【０１０９】
また、校正パターンの形状は正方形である必要はない。各校正パターンに４以上の特徴点が含まれる限り、各校正パターンの形状は様々に変形可能である。但し、その形状を、予め画像処理装置１０に知らせておく必要はある。
【０１１０】
第３実施形態によれば、第１実施形態と同様の効果が得られると共に、カメラの設置誤差を修正することができるため、校正精度の向上も見込める。
【０１１１】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１２】
［注釈１］
上述の鳥瞰図画像は、各カメラの撮影画像を地面上に投影した画像に相当する。つまり、上述の実施形態では、各カメラの撮影画像を地面上に投影して合成することにより全周鳥瞰図画像を生成するようにしているが、撮影画像が投影されるべき面を、地面以外の任意の所定面（例えば所定平面）とすることも可能である。
【０１１３】
［注釈２］
車載カメラとしてのカメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置１０に接続されるべき各カメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラからの各撮影画像が所定面上に投影されて合成され、合成画像が表示装置に表示される。
【０１１４】
［注釈３］
図５の画像処理装置１０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置１０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１１５】
［注釈４］
校正処理時において変換パラメータを導出するパラメータ導出手段は、画像処理装置１０に内在しており、このパラメータ導出手段を備えてカメラの校正処理を行うカメラ校正装置も、画像処理装置１０に内在している。また、パラメータ導出手段は、カメラ１Ｒ及び１Ｌに対する変換パラメータを補正するパラメータ補正手段を含みうる。このパラメータ補正手段は、第３実施形態の例では、図１９のステップＳ４２の処理を実行する。上述のマーカまたは校正パターン（若しくは校正プレート）は、校正指標として機能する。また、特徴点そのものを校正指標と捉えることもできる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の実施形態に係る視界支援システムが適用される車両を上方から見た平面図であり、その車両への各カメラの設置状態を表す図である。
【図２】図１の車両を左斜め前方から見た図である。
【図３】図１の車両に設置された各カメラの撮影領域を表す図である。
【図４】図１の車両に設置された各カメラの撮影領域をまとめて示した図である。
【図５】本発明の実施形態に係る視界支援システムの構成ブロック図である。
【図６】図１の各カメラの撮影画像に基づく鳥瞰図画像を示す図である。
【図７】図６の各鳥瞰図画像を合成した全周鳥瞰図画像を示す図である。
【図８】本発明の第１実施形態に係る校正処理の手順を表すフローチャートである。
【図９】図１のカメラの車両に対する取り付け状態を示す図である。
【図１０】図４の各共通撮影領域内に配置されるマーカの平面図である。
【図１１】本発明の第１実施形態に係り、各マーカ（特徴点）が配置される様子を示した車両周辺の上面視平面図である。
【図１２】本発明の第１実施形態に係り、平面射影変換に用いられる特徴点の座標値対応関係を示す図である。
【図１３】本発明の第２実施形態に係り、各マーカ（特徴点）が配置される様子を示した車両周辺の上面視平面図である。
【図１４】本発明の第２実施形態に係る校正処理の手順を表すフローチャートである。
【図１５】本発明の第２実施形態に係り、一般化された校正処理の手順を表すフローチャートである。
【図１６】本発明の第２実施形態に係り、一般化された校正処理の手順を説明するための図である。
【図１７】本発明の第３実施形態に係り、各校正パターンが配置される様子を示した車両周辺の上面視平面図である。
【図１８】本発明の第３実施形態に係る校正パターンが描かれた校正プレートの平面図である。
【図１９】本発明の第３実施形態に係る校正処理の手順を表すフローチャートである。
【図２０】本発明の第３実施形態に係り、カメラ設定情報の誤差に由来する投影誤差を示す図である。
【図２１】撮影画像と鳥瞰図画像の関係を示す図である。
【図２２】従来技術に係り、視界支援システムが適用された車両へのカメラ取り付け状態を示す平面図である。
【図２３】従来技術に係り、視界支援システムによって表示される全周鳥瞰図画像の様子を示す図である。
【図２４】従来の平面射影変換に対応する校正処理を説明するための図であり、複数のカメラ間で共通に定義される座標系（或いは校正パターン）を示す図である。
【符号の説明】
【０１１７】
１０ 画像処理装置
１１ 表示装置
１００ 車両
１Ｆ、１Ｒ、１Ｌ、１Ｂ カメラ
２Ｆ、２Ｒ、２Ｌ、２Ｂ 撮影領域
３FR、３FL、３BR、３BL 共通撮影領域
５０Ｆ、５０Ｒ、５０Ｌ、５０Ｂ 鳥瞰図画像
ＣFR、ＣFL、ＣBR、ＣBL 共通画像領域
Ａ１〜Ａ４ 校正パターン
【技術分野】
【０００１】
本発明は、カメラの撮影画像を所定面上に投影及び合成するために必要となる校正処理を実現するカメラ校正装置及びカメラ校正方法に関し、また、それらを利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両周辺の状況を把握し易くなる。
【０００３】
更に、複数のカメラから得た撮影画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示装置に表示させる視界支援システムが開発されている。この視界支援システムでは、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００４】
図２２に、この種の視界支援システムが適用された車両の平面図を示す。車両の前後左右に、前カメラとしてのカメラ１Ｆ、後カメラとしてのカメラ１Ｂ、左カメラとしてのカメラ１Ｌ及び右カメラとしてのカメラ１Ｒが設置される。この視界支援システムでは、座標変換を用いて各カメラの撮影画像を地面に投影して合成することにより、合成画像としての全周鳥瞰図画像を生成及び表示する。図２３に、表示される全周鳥瞰図画像９００の模式図を示す。全周鳥瞰図画像９００において、車両の前側、右側、左側及び後側には、夫々、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像に基づく鳥瞰図画像が描画される。
【０００５】
カメラの撮影画像を鳥瞰図画像に変換する手法として、透視投影変換に基づく手法（例えば、下記特許文献１参照）と平面射影変換に基づく手法（例えば、下記特許文献２参照）が知られている。何れの手法を用いた場合においても、画像の接合部分を違和感なく合成するためには、座標変換用の変換パラメータを適切に調整する必要がある。
【０００６】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が生じるため、正確な変換パラメータを計測または推定することは困難であることが多い。
【０００７】
平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と変換画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。また、下記特許文献３では、複数の位置で撮影した画像を用いて、平面射影変換に基づく変換パラメータを調整する手法も開示されている（特に段落６９など参照）。
【０００８】
各カメラの撮影画像を地面に射影するためのホモグラフィ行列は、座標値が既知の４以上の特徴点に基づき算出可能であるが、複数のカメラの撮影画像を共通の合成画像に射影するためには、各カメラで用いる特徴点を共通の２次元座標上に設けておく必要がある。即ち、図２４に示すような、全てのカメラに対して共通の２次元座標系を定義し、この２次元座標系上において４個以上の特徴点の座標値をカメラ毎に指定してやる必要がある。
【０００９】
従って、トラックなどの車両に複数のカメラを設置して、全周鳥瞰図画像を得るべく各カメラの校正を行う場合、各カメラの撮影領域の全てを覆うような非常に大きな校正パターンを用意する必要がある。図２４に示す例では、各カメラの撮影領域の全てを覆う碁盤目状の校正パターンを車両周辺に設置し、碁盤目の交点を特徴点として利用する。このような校正パターンのサイズは、例えば、車両の縦横サイズの２倍の大きさを有するため、校正作業時に大きな場所を占有してしまうと共に校正環境の整備に手間がかかって、校正作業全体の負担が大きくなる。校正作業の効率を向上させるために、より簡便な校正方法が求められている。
【００１０】
【特許文献１】特開２００６−２８７８９２号公報
【特許文献２】特開２００６−１４８７４５号公報
【特許文献３】特開２００４−３４２０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上述したように、
透視投影変換を用いる場合は、カメラの設置誤差等の、既知の設定情報に対する誤差の影響が大きい。
平面射影変換を用いる場合は、校正環境の整備に手間がかかる。
【００１２】
そこで本発明は、既知の設定情報に対する誤差の影響を抑制しつつ、校正環境整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために本発明に係るカメラ校正装置は、Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、前記パラメータ導出手段は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求めることを特徴とする。
【００１４】
校正指標を基準カメラと非基準カメラとの共通撮影領域内に配置すれば足るため、校正環境の整備が簡便化可能である。また、第１パラメータは設定情報に関する誤差（例えば、カメラの設置誤差）の影響を受けることになるが、校正指標の撮影結果と第１パラメータとに基づいて第２パラメータを求めるようにしているため、第２パラメータ側にて上記誤差の影響を吸収することが可能となる。画像合成は、設定情報に関する誤差の影響を受ける第１パラメータとそれを吸収可能な第２パラメータとに基づいて行われるため、合成される画像間の接合部分において、違和感の少ない画像を得ることが可能となる。
【００１５】
具体的には例えば、前記第１パラメータは、前記設定情報を用いた透視投影変換に基づいて求められる。
【００１６】
また具体的には例えば、前記校正指標の配置によって、前記共通撮影領域内に少なくとも４つの特徴点が含まれ、前記パラメータ導出手段は、前記基準カメラによる各特徴点の撮影結果と、前記非基準カメラによる各特徴点の撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める。
【００１７】
また具体的には例えば、前記パラメータ導出手段は、前記共通撮影領域内における前記校正指標の配置位置に拘束条件を与えることなく、前記第２パラメータを導出可能である。
【００１８】
このため、校正環境の整備が非常に簡便となる。
【００１９】
また例えば、前記パラメータ導出手段は、前記基準カメラの撮影領域内に配置された形状が既知の校正パターンの、前記基準カメラによる撮影結果に基づいて、前記第１パラメータを補正する第１パラメータ補正手段を備え、補正後の前記第１パラメータを用いて前記第２パラメータを求める。
【００２０】
これにより、前記設定情報に関する誤差の影響をより抑制することが可能となる。
【００２１】
上記目的を達成するために本発明に係る車両は、Ｎ台のカメラ及び画像処理装置が設置された車両において、前記画像処理装置は、上記の何れかに記載のカメラ校正装置を含む。
【００２２】
上記目的を達成するために本発明に係るカメラ校正方法は、Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、当該カメラ校正方法は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求めることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、既知の設定情報に対する誤差の影響を抑制しつつ、校正環境整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２６】
＜＜第１実施形態＞＞
まず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る視界支援システムが適用される車両１００を上方から見た平面図であり、その車両１００へのカメラの設置状態を表している。図２は、車両１００を左斜め前方から見た図である。図１及び図２には、車両１００としてトラックが示されているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されている。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２７】
図１に示す如く、車両１００の前部、右側部、左側部及び後部に、夫々、カメラ（撮像装置）１Ｆ、１Ｒ、１Ｌ及び１Ｂが取り付けられている。また、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを区別せずに、それらを、単にカメラ或いは各カメラと呼ぶ場合もある。
【００２８】
また、図２に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図２には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００２９】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂは車両１００に設置される。
【００３０】
図２には、各カメラの視野、即ち、各カメラの撮影領域が示されている。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影領域を、夫々、２Ｆ、２Ｒ、２Ｌ及び２Ｂにて表す。尚、撮影領域２Ｒ及び２Ｂに関しては、図２において一部しか示されていない。図３（ａ）〜（ｄ）に、上方から見た撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒ、即ち、地面上の撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒを表す。また、図４に、図３（ａ）〜（ｄ）に示される各撮影領域を１つにまとめた図を示す（斜線領域については後述）。
【００３１】
カメラ１Ｆは、車両１００前方の所定領域内に位置する被写体（路面を含む）を撮影する。カメラ１Ｒは、車両１００右側の所定領域内に位置する被写体を撮影する。カメラ１Ｌは、車両１００左側の所定領域内に位置する被写体を撮影する。カメラ１Ｂは、車両１００後方の所定領域内に位置する被写体を撮影する。
【００３２】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮影する。つまり、車両１００の左斜め前方の所定領域にて撮影領域２Ｆ及び２Ｌは重なり合う。２つのカメラの撮影領域が重なり合う部分を共通撮影領域（共通撮影空間）と呼び、カメラ１Ｆと１Ｌの撮影領域が重なり合う部分（即ち、カメラ１Ｆと１Ｌとの間の共通撮影領域）を３FLにて表す。図４では、共通撮影領域が斜線領域として表されている。
【００３３】
同様に、図４に示す如く、車両１００の右斜め前方の所定領域にて撮影領域２Ｆと２Ｒは重なり合ってそれらの共通撮影領域３FRが形成され、車両１００の左斜め後方の所定領域にて撮影領域２Ｂと２Ｌは重なり合ってそれらの共通撮影領域３BLが形成され、車両１００の右斜め後方の所定領域にて撮影領域２Ｂと２Ｒは重なり合ってそれらの共通撮影領域３BRが形成される。
【００３４】
図５に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。各カメラ（１Ｆ、１Ｒ、１Ｌ及び１Ｂ）は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置１０に送る。画像処理装置１０は、各撮影画像を視点変換によって鳥瞰図画像に変換し、各鳥瞰図画像を合成することにより１枚の全周鳥瞰図画像を生成する。表示装置１１は、この全周鳥瞰図画像を映像として表示する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰図画像に変換するものとする。
【００３５】
鳥瞰図画像は、実際のカメラ（例えばカメラ１Ｆ）の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。このような鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を表示することによって、運転者の視界が支援され、車両周辺の安全確認が容易となる。
【００３６】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置１０は、例えば集積回路から形成される。表示装置１１は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置１１として流用しても良い。また、画像処理装置１０は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置１０及び表示装置１１は、例えば、車両１００の運転席付近に設置される。
【００３７】
広視野の安全確認を支援するべく、各カメラの画角は広角となっている。このため、各カメラの撮影領域は、地面上において、例えば５ｍ×１０ｍ（メートル）程度の大きさを有する。
【００３８】
本実施形態では、各カメラの撮影画像を透視投影変換又は平面射影変換によって鳥瞰図画像に変換する。透視投影変換及び平面射影変換自体は公知であるが、それらについては後に説明する。図６に、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像から生成される鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂを示す。鳥瞰図画像への変換の後、カメラ１Ｌに対応する鳥瞰図画像５０Ｌを基準として、他の３つの鳥瞰図画像５０Ｆ、５０Ｒ及び５０Ｂを回転及び／又は平行移動することにより、それら（５０Ｆ、５０Ｒ及び５０Ｂ）を鳥瞰図画像５０Ｌにおける座標に変換する。これにより、各鳥瞰図画像の座標が、全周鳥瞰図画像における座標に変換される。以下、全周鳥瞰図画像における座標を、「グローバル座標」とよぶ。グローバル座標は、全てのカメラに対して共通に定義される２次元座標である。
【００３９】
図７に、グローバル座標上に表された鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂを示す。グローバル座標で考えた場合、図７に示す如く、２つの鳥瞰図画像が重なり合う部分が存在する。
【００４０】
図７において、ＣFLの符号が付された斜線領域が、グローバル座標上において鳥瞰図画像５０Ｆと５０Ｌが重なり合う部分であり、これを共通画像領域ＣFLと呼ぶ。鳥瞰図画像５０Ｆにおいて、共通画像領域ＣFLにはカメラ１Ｆから見た共通撮影領域３FL（図４参照）内の被写体の画像が現れ、鳥瞰図画像５０Ｌおいて、共通画像領域ＣFLにはカメラ１Ｌから見た共通撮影領域３FL内の被写体の画像が現れる。同様に、鳥瞰図画像５０Ｆと５０Ｒが重なり合う共通画像領域ＣFRと、鳥瞰図画像５０Ｂと５０Ｌが重なり合う共通画像領域ＣBLと、鳥瞰図画像５０Ｂと５０Ｒが重なり合う共通画像領域ＣBRとがある。
【００４１】
全周鳥瞰図画像を画像合成によって生成する際、共通画像領域内の画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００４２】
尚、図６及び図７において、ＸＦ軸及びＹＦ軸は、鳥瞰図画像５０Ｆの座標系の座標軸である。同様に、ＸＲ軸及びＹＲ軸は、鳥瞰図画像５０Ｒの座標系の座標軸であり、ＸＬ軸及びＹＬ軸は、鳥瞰図画像５０Ｌの座標系の座標軸であり、ＸＢ軸及びＹＢ軸は、鳥瞰図画像５０Ｂの座標系の座標軸である。また、図示の便宜上、図６及び図７においては、各鳥瞰図画像及び各共通画像領域が長方形形状を有しているが、それらの形状は、長方形であるとは限らない。
【００４３】
全周鳥瞰図画像（又は各鳥瞰図画像）を生成するためには、各撮影画像から全周鳥瞰図画像（又は各鳥瞰図画像）を生成するための変換パラメータが必要となる。この変換パラメータによって、各撮影画像上の各点の座標と全周鳥瞰図画像上の各点の座標との対応関係が特定される。画像処理装置１０は、実稼動に先立って行われる校正処理において、変換パラメータを校正する。実稼動時には、校正後の変換パラメータを用いて上述の如く各撮影画像から全周鳥瞰図画像を生成する。本実施形態は、この校正処理に特徴を有している。
【００４４】
この校正処理を説明する前に、平面射影変換について簡単に説明する。平面射影変換によって原画像を変換画像に変換する場合を考える。原画像上における各点の座標を（ｘ，ｙ）にて表し、変換画像上における各点の座標を（Ｘ，Ｙ）にて表す。原画像上における座標（ｘ，ｙ）と変換画像上における座標（Ｘ，Ｙ）との関係は、ホモグラフィ行列Ｈを用いて下記式（１）のように表される。ホモグラフィ行列Ｈは、３行３列の行列であり、その行列の各要素をｈ1〜ｈ9で表す。更に、ｈ9＝１であるとする（ｈ9＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘ，ｙ）と座標（Ｘ，Ｙ）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００４５】
【数１】
【数２】
【００４６】
原画像と変換画像との間で４点の座標値の対応関係が分かれば、ホモグラフィ行列Ｈは一意に定まる。一旦、ホモグラフィ行列Ｈが求まれば、上記式（２ａ）及び（２ｂ）に従って原画像上の任意の点を変換画像上の点に変換することが可能である。
【００４７】
次に、図８を参照して、本実施形態に係る校正処理の手順について説明する。図８は、この手順を表すフローチャートである。この校正処理は、ステップＳ１１及びＳ１２の各処理から成り、それらは、各カメラと画像処理装置１０によって実現される。この手順では、求められるべき変換パラメータを、カメラ１Ｒと１Ｌに対する第１パラメータと、カメラ１Ｆと１Ｂに対する第２パラメータとに分けて考える。
【００４８】
まず、ステップＳ１１において、カメラ１Ｒと１Ｌに対する変換パラメータ（即ち、第１パラメータ）を透視投影変換に基づいて算出する。
【００４９】
１台のカメラの撮影画像を透視投影変換によって鳥瞰図画像に変換する手法を簡単に説明する。撮影画像上における各点の座標を（ｘbu、ｙbu）で表し、この撮影画像を透視投影変換にて変換した鳥瞰図画像上における各点の座標を（ｘau、ｙau）で表すと、座標（ｘbu、ｙbu）を座標（ｘau、ｙau）に変換するための式は、下記式（３）によって表される。
【００５０】
【数３】
【００５１】
ここで、θaは、図９に示す如く、地面とカメラの光軸との成す角度である（但し、９０°＜θa＜１８０°）。尚、図９では、θaの取り付け角度を有するカメラの例として、カメラ１Ｌを示している。ｈは、カメラの高さに基づく量（カメラ座標系と世界座標系の、高さ方向の平行移動量）である。ｆは、カメラの焦点距離である。上述したように、鳥瞰図画像は、実際のカメラの撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものであり、Ｈaは、この仮想カメラの高さを表す。
【００５２】
θa、ｈ及びＨaは、カメラ外部情報（カメラの外部パラメータ）と捉えることができ、ｆは、カメラ内部情報（カメラの内部パラメータ）と捉えることができる。これらの情報に基づく式（３）を用いて、カメラの撮影画像における各点を座標変換すれば、鳥瞰図画像を生成することができる。
【００５３】
尚、図９において、ｗは、車両１００の幅を表す。カメラ１Ｌとカメラ１Ｒの距離（例えば、カメラ１Ｌの撮像面とカメラ１Ｒの撮像面の距離）は、車両１００の幅ｗに依存するため、ｗを、カメラ１Ｌとカメラ１Ｒの距離と捉えても良い。
【００５４】
画像処理装置１０は、透視投影変換に必要な、カメラ１Ｒ及び１Ｌの夫々ついてのθa、ｈ、ｆ及びＨaを予め認識しており、カメラ１Ｒ及び１Ｌの各撮影画像における各点を式（３）に基づき座標変換することにより、カメラ１Ｒ及び１Ｌの各鳥瞰図画像を生成可能である。
【００５５】
更に、画像処理装置１０は、車両１００の幅ｗをも予め認識している。ｗと、カメラ１Ｒ及び１Ｌの夫々ついてのθa、ｈ、ｆ及びＨaと、を併せたものをカメラ設定情報と呼ぶ。カメラ設定情報に基づけば、カメラ１Ｒの撮影画像に基づく鳥瞰図画像５０Ｒをグローバル座標上に座標変換するための回転量及び／又は平行移動量が求まる。そこで、ステップＳ１１では、上記式（３）とカメラ設定情報に基づいて、カメラ１Ｒ及び１Ｌの各撮影画像上の各点をグローバル座標上に座標変換するための変換パラメータ、即ち、カメラ１Ｒ及び１Ｌに対する変換パラメータ（上記第１パラメータ）を求める。
【００５６】
ステップＳ１１の後、ステップＳ１２に移行する（図８参照）。ステップＳ１２では、カメラ１Ｆとカメラ１Ｒ及び１Ｌとの共通撮影領域３FR及び３FL並びにカメラ１Ｂとカメラ１Ｒ及び１Ｌとの共通撮影領域３BR及び３BLに、特徴点を有するマーカが配置される。そして、各カメラによる各マーカ（特徴点）の撮影結果を用い、平面射影変換によって、カメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）を算出する。この際、ステップＳ１１にて既に校正されたカメラ１Ｒ及び１Ｌを基準とする。
【００５７】
図１０に、マーカの例として、マーカ２００を示す。図１０は、マーカ２００を上方から見た平面図である。マーカ２００は、白地に、１頂点にて互いに連結された黒塗りの正方形が２つ描かれており、２つの黒塗りの正方形の連結部分２０１が特徴点である。マーカの色などを適切に選ぶことによって、各カメラ（及び画像処理装置１０）が、特徴点を路面等と明確に区別して認識できるようになっている。校正処理にとって重要なのは、マーカそのものでなく特徴点であるため、以下、特徴点に着目して説明を行う。
【００５８】
図１１は、各マーカ（特徴点）が配置される様子を示した車両１００周辺の上面視平面図である。図１１において、符号２１１〜２１８が付された点が、マーカに表れる特徴点を表している。図１１に示す例では、各共通撮影領域に２つずつマーカが配置されている。これにより、共通撮影領域３FR内に２つの特徴点２１１及び２１２が表れ、共通撮影領域３FL内に２つの特徴点２１３及び２１４が表れ、共通撮影領域３BR内に２つの特徴点２１５及び２１６が表れ、共通撮影領域３BL内に２つの特徴点２１７及び２１８が表れる。この状態で、各カメラは撮影を行って撮影画像を得る。この状態で得られた各撮影画像を、校正用撮影画像と呼ぶ。
【００５９】
画像処理装置１０は、各カメラによる校正用撮影画像に含まれる各特徴点の、校正用撮影画像上の座標値を検出する。この座標値の検出の仕方については任意である。例えば、エッジ検出処理などの画像処理を介して自動的に各特徴点の座標値を検出するようにしてもよいし、図示されない操作部に対する操作に基づいて各特徴点の座標値を検出するようにしてもよい。
【００６０】
図１２（ａ）に示される表の如く、
カメラ１Ｆの校正用撮影画像上における特徴点２１１、２１２、２１３及び２１４の座標値が、夫々、（ｘF1、ｙF1）、（ｘF2、ｙF2）、（ｘF3、ｙF3）及び（ｘF4、ｙF4）であり、
カメラ１Ｒの校正用撮影画像上における特徴点２１１、２１２、２１５及び２１６の座標値が、夫々、（ｘR1、ｙR1）、（ｘR2、ｙR2）、（ｘR5、ｙR5）及び（ｘR6、ｙR6）であり、
カメラ１Ｌの校正用撮影画像上における特徴点２１３、２１４、２１７及び２１８の座標値が、夫々、（ｘL3、ｙL3）、（ｘL4、ｙL4）、（ｘL7、ｙL7）及び（ｘL8、ｙL8）であり、
カメラ１Ｂの校正用撮影画像上における特徴点２１５、２１６、２１７及び２１８の座標値が、夫々、（ｘB5、ｙB5）、（ｘB6、ｙB6）、（ｘB7、ｙB7）及び（ｘB8、ｙB8）であったとする。
【００６１】
また更に、カメラ１Ｒの校正用撮影画像上における特徴点２１１、２１２、２１５及び２１６の座標値を、ステップＳ１１で求めた第１パラメータを用いてグローバル座標上の座標値に変換する。この変換によって得られる、グローバル座標上における特徴点２１１、２１２、２１５及び２１６の座標値を、図１２（ｂ）に示す如く、夫々、（ＸR1、ＹR1）、（ＸR2、ＹR2）、（ＸR5、ＹR5）及び（ＸR6、ＹR6）で表す。
同様に、カメラ１Ｌの校正用撮影画像上における特徴点２１３、２１４、２１７及び２１８の座標値を、ステップＳ１１で求めた第１パラメータを用いてグローバル座標上の座標値に変換する。この変換によって得られる、グローバル座標上における特徴点２１３、２１４、２１７及び２１８の座標値を、図１２（ｂ）に示す如く、夫々、（ＸL3、ＹL3）、（ＸL4、ＹL4）、（ＸL7、ＹL7）及び（ＸL8、ＹL8）で表す。
【００６２】
上述したように、変換前の画像（原画像）と変換後の画像（変換画像）との間で４点の座標値の対応関係が分かれば、平面射影変換を行うためのホモグラフィ行列は一意に定まる。本実施形態では、最終的に各鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を生成するわけであるから、カメラ１Ｆ及び１Ｂの各校正用撮影画像を全周鳥瞰図画像の座標であるグローバル座標上に座標変換するためのホモグラフィ行列を求める。この際、最初に校正を行ったカメラ１Ｒ及び１Ｌ上の特徴点の位置を基準とする。
【００６３】
変換前の画像（原画像）と変換後の画像（変換画像）との間における４点の座標値の対応関係に基づきホモグラフィ行列（射影変換行列）を求める手法として、公知の手法を用いればよい。例えば、上記特許文献３に記載の手法（特に、特許文献３の段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。
【００６４】
カメラ１Ｆに対して校正を行う場合は、変換前の画像と変換後の画像との間における、４つの特徴点２１１〜２１４の座標値対応関係を用いる。つまり、変換前の画像における座標値（ｘF1、ｙF1）、（ｘF2、ｙF2）、（ｘF3、ｙF3）及び（ｘF4、ｙF4）が、夫々、変換後の画像上における座標値（ＸR1、ＹR1）、（ＸR2、ＹR2）、（ＸL3、ＹL3）及び（ＸL4、ＹL4）に変換されるように、カメラ１Ｆに対するホモグラフィ行列Ｈの要素ｈ1〜ｈ8を求める。実際には、この変換の誤差（特許文献３における評価関数）が最小化されるように要素ｈ1〜ｈ8を求める。カメラ１Ｆに対して求められたホモグラフィ行列をＨFで表す。ホモグラフィ行列ＨFを用いれば、カメラ１Ｆの撮影画像上の任意の点をグローバル座標上の点に変換することが可能である。
【００６５】
同様に、カメラ１Ｂに対して校正を行う場合は、変換前の画像と変換後の画像との間における、４つの特徴点２１５〜２１８の座標値対応関係を用いる。つまり、変換前の画像における座標値（ｘB5、ｙB5）、（ｘB6、ｙB6）、（ｘB7、ｙB7）及び（ｘB8、ｙB8）が、夫々、変換後の画像上における座標値（ＸR5、ＹR5）、（ＸR6、ＹR6）、（ＸL7、ＹL7）及び（ＸL8、ＹL8）に変換されるように、カメラ１Ｂに対するホモグラフィ行列Ｈの要素ｈ1〜ｈ8を求める。実際には、この変換の誤差（特許文献３における評価関数）が最小化されるように要素ｈ1〜ｈ8を求める。カメラ１Ｂに対して求められたホモグラフィ行列をＨBで表す。ホモグラフィ行列ＨBを用いれば、カメラ１Ｂの撮影画像上の任意の点をグローバル座標上の点に変換することが可能である。
【００６６】
ステップＳ１２では、ホモグラフィ行列ＨF及びＨBを、カメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）として求めるようにする。ステップＳ１２の処理を終えると、図８の校正処理は終了する。
【００６７】
実際には、上記式（３）及びカメラ設定情報に従って、カメラ１Ｒ及び１Ｌの撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示す第１テーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。同様に、ホモグラフィ行列ＨF及びＨBに従って、カメラ１Ｆ及び１Ｂの撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示す第２テーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。これらのテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。この場合、第１テーブルデータをカメラ１Ｒと１Ｌに対する変換パラメータ（即ち、第１パラメータ）と捉えることもでき、第２テーブルデータをカメラ１Ｆと１Ｂに対する変換パラメータ（即ち、第２パラメータ）と捉えることもできる。
【００６８】
画像処理装置１０がこのようなテーブルデータを利用する場合、校正処理後の実稼動時において、各撮影画像上の各点が全周鳥瞰図画像上の各点へと一気に変換されるため、個々の鳥瞰図画像は生成されないことになる。
【００６９】
図８の校正処理後、画像処理装置１０は、各カメラにて次々と得られる各撮影画像を求めた変換パラメータを用いて次々と全周鳥瞰図画像に変換する。画像処理装置１０は、各全周鳥瞰図画像を表す映像信号を表示装置１１に供給する。表示装置１１は、各全周鳥瞰図画像を動画像として表示する。
【００７０】
尚、上述の例では、各共通撮影領域に２つずつ特徴点（マーカ）を配置するようにしているが、共通撮影領域３FR及び３FL内に合計４以上の特徴点を配置し、且つ、共通撮影領域３BR及び３BL内に合計４以上の特徴点を配置すれば、カメラ１Ｆと１Ｂに対する変換パラメータを導出可能である。この際、共通撮影領域３FRと３FLの内、一方の共通撮影領域にのみ特徴点を配置することも可能である。但し、共通撮影領域３FRと３FLの双方に対応する画像部分において違和感のない良好な合成画像を得るためには、共通撮影領域３FRと３FLの双方に特徴点を分散配置することが望ましい。共通撮影領域３BR及び３BLについても同様である。
【００７１】
また、共通撮影領域３FRと３FLに配置される４以上の特徴点間の相対位置は問わない。つまり図１１の例で考えれば、各特徴点２１１〜２１４の配置位置は全くの自由であり、各特徴点の配置位置は互いに独立に定められる。このように、特徴点２１１〜２１４が共通撮影領域３FR及び３FL内に位置している限り、各特徴点の配置位置に何ら拘束条件は存在しない。共通撮影領域３BRと３BLに配置される各特徴点についても同様である。
【００７２】
本実施形態に係る校正処理手法によれば、図２４に示すような大きな校正プレートを準備する必要もなく、特徴点を共通撮影領域内に自由に配置するだけで校正環境が整備される。このため、校正環境の整備が簡便であり、校正作業の負担が軽減される。
【００７３】
また、透視投影変換のみによって全カメラを校正する場合、校正は簡便とはなるが、カメラの設置誤差が影響して合成される画像間の接合部分に違和感が生じる。例えば、カメラ１Ｆと１Ｒに着目した場合、カメラ１Ｆによって撮影された共通撮影領域３FR内の画像とカメラ１Ｒによって撮影された共通撮影領域３FR内の画像は、各カメラに対する設置誤差に由来して、グローバル座標上で異なる画像を形成することになり、結果、全周鳥瞰図画像の上記接合部分において画像が不連続となったり二重像が表れたりする。
【００７４】
これを考慮し、本実施形態では、透視投影変換にて一部のカメラの校正処理を行った後、その一部のカメラの校正結果に合わせこむように残りのカメラに対して平面射影変換に基づく校正を行う。これにより、上記一部のカメラ（例えばカメラ１Ｒ）に対する変換パラメータはカメラ設置誤差の影響を受けるが、この影響が上記残りのカメラ（例えばカメラ１Ｆ）に対する変換パラメータにて吸収されることになる。例えば、全カメラに対する校正処理後、カメラ１Ｆと１Ｒによって撮影された図１１の特徴点２１１の、グローバル座標上への投影点は、完全に一致する（即ち、二重像などが生じない）ことになる。このように本実施形態によれば、カメラ設置誤差の影響が抑制され、接合部分に違和感のない合成画像（全周鳥瞰図画像）を得ることができる。
【００７５】
＜＜第２実施形態＞＞
また、図１３に示すような特徴点の配置を行うようにすれば、図１４に示すような校正処理も可能である。この校正処理を説明する実施形態を第２実施形態として説明する。第２実施形態は、第１実施形態における校正処理手法の一部を変形した第１実施形態の変形例に相当し、第１実施形態に記載した内容は、矛盾なき限り、第２実施形態にも適用される。以下、第１実施形態の相違点である、校正処理の手順について説明する。
【００７６】
図１４は、第２実施形態に係る校正処理の手順を表すフローチャートである。まず、ステップＳ２１において、カメラ１Ｌに対する変換パラメータを透視投影変換に基づいて算出する。この算出手法は、図８におけるステップＳ１１のそれと同様である。
【００７７】
次に、ステップＳ２２において、図１３に示す如く共通撮影領域３FL及び３BLの夫々に４つの特徴点（或るいは４以上の特徴点）を配置する。そして、カメラ１Ｆ、１Ｌ及び１Ｂによる各特徴点の撮影結果を用い、平面射影変換によって、カメラ１Ｆ及び１Ｂに対する変換パラメータを算出する。この際、ステップＳ２１にて既に校正されたカメラ１Ｌを基準とする。
【００７８】
カメラ１Ｌに対する変換パラメータが分かっている状態で、カメラ１Ｌと１Ｆに共通の４以上の特徴点を撮影させ、第１実施形態で説明したのと同様に各特徴点の座標値を特定すれば、カメラ１Ｆの撮影画像上の各点をグローバル座標上の各点に座標変換するためのホモグラフィ行列（即ち、カメラ１Ｆに対する変換パラメータ）を算出可能である。また、カメラ１Ｂについても同様である。
【００７９】
次に、ステップＳ２３において、共通撮影領域３FR及び３BRの夫々に２つの特徴点（或るいは合計４以上の特徴点）を配置する。そして、カメラ１Ｆ、１Ｒ及び１Ｂによる各特徴点の撮影結果を用い、平面射影変換によって、カメラ１Ｒに対する変換パラメータを算出する。
【００８０】
カメラ１Ｆ及び１Ｂに対する変換パラメータが分かっている状態で、カメラ１Ｆ及び１Ｂに合計４以上の特徴点を撮影させると共に、その合計４以上の特徴点をカメラ１Ｒにも共通して撮影させ、第１実施形態で説明したのと同様に各特徴点の座標値を特定すれば、カメラ１Ｒの撮影画像上の各点をグローバル座標上の各点に座標変換するためのホモグラフィ行列（即ち、カメラ１Ｒに対する変換パラメータ）を算出可能である。尚、共通撮影領域３FR及び３BRの何れか一方にのみ４以上の特徴点を配置することによっても、同様の処理は可能である。
【００８１】
ステップＳ２１〜Ｓ２３で求められた各変換パラメータは、第１実施形態と同様、撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示すテーブルデータとして表現可能である。このテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。
【００８２】
第１実施形態を第２実施形態に変形可能なことからも理解されるように、より一般化して考えれば、以下のような校正手順を踏めばよいことが分かる。図１５に、この校正手順を示す。複数のカメラを、１以上の基準カメラと１以上の非基準カメラに分類して考える。図１６に、この分類の例を示す。
【００８３】
まずステップＳ３１において、基準カメラに対する変換パラメータをカメラ設定情報に基づく透視投影変換によって求める（即ち、基準カメラを校正する）。
【００８４】
次にステップＳ３２において、校正済みの基準カメラと次に校正対象となる非基準カメラとの共通撮影領域に４以上の特徴点を配置する。そして、校正済みの基準カメラと校正対象の非基準カメラによって撮影された各特徴点の座標対応関係と、校正済みの基準カメラに対する変換パラメータとに基づいて、校正対象の非基準カメラに対する変換パラメータを平面射影変換により求める（即ち、校正対象の非基準カメラを校正する）。
【００８５】
まだ校正されていない非基準カメラがある場合は（ステップＳ３３のＮ）、基準カメラを基準として、或いは、校正済みの非基準カメラを新たに基準カメラとして捉えた上で、上述のステップＳ３２の処理を繰り返す（図１６は後者に対応する）。これによって、全てのカメラを校正可能である。
【００８６】
＜＜第３実施形態＞＞
次に、本発明の第３実施形態について説明する。第３実施形態は、第１実施形態における校正処理手法の一部を変形した第１実施形態の変形例に相当し、第１実施形態に記載した内容は、矛盾なき限り、第３実施形態にも適用される。以下、第１実施形態の相違点である、校正処理の手順について説明する。
【００８７】
第３実施形態では、校正処理時に校正パターンを用いる。図１７は、各校正パターンが配置される様子を示した車両１００周辺の上面視平面図である。図１７に示す如く、共通撮影領域３FR、３FL、３BR及び３BL内に、夫々、平面状の（２次元の）校正パターンＡ１、Ａ２、Ａ３及びＡ４が配置される。校正パターンＡ１〜Ａ４は、地面上に配置される。
【００８８】
校正パターンＡ１〜Ａ４の夫々は、正方形形状を有し、その正方形の一辺の長さは、例えば１ｍ〜１．５ｍ程度とされる。校正パターンＡ１〜Ａ４を全て同じ形状とする必要は必ずしもないが、説明の便宜上、それらの形状が全て同じであるものとする。ここにおける形状は、大きさをも含む概念である。従って、校正パターンＡ１〜Ａ４は、全く同じものである。鳥瞰図画像上において、各校正パターンの形状は、理想的には正方形となるべきである（図２１参照）。
【００８９】
各校正パターンは、正方形形状であるため、４つの特徴点を有する。今の例の場合、４つの特徴点は、正方形を形成する４つの頂点に相当する。画像処理装置１０は、各校正パターンの形状を既知情報として予め認識している。この既知情報によって、全周鳥瞰図画像上及び鳥瞰図画像上における、理想的な校正パターン（Ａ１、Ａ２、Ａ３又はＡ４）の４つの特徴点間の相対的な位置関係は特定される。
【００９０】
校正パターンの形状とは、その校正パターンに含まれる特徴点を結ぶことによって形成される図形の形状を意味する。例えば、正方形形状を有する４つの校正プレートそのものを４つの校正パターンＡ１〜Ａ４とし、各校正プレートの４つの角を、各校正パターンの４つの特徴点として取り扱う。或いは例えば、校正パターンＡ１が描かれた校正プレート、校正パターンＡ２が描かれた校正プレート、校正パターンＡ３が描かれた校正プレート及び校正パターンＡ４が描かれた校正プレートを用意する。この場合、校正プレート自体の外形は、校正パターンの外形と一致しない。例として、図１８に、校正パターンＡ１が描かれた正方形状の校正プレート２３０の平面図を示す。校正パターン２３０は白地となっており、校正プレート２３０の４隅の夫々には、１頂点にて互いに連結された黒塗りの正方形が２つずつ描かれている。そして、校正プレート２３０の４隅における、２つの黒塗りの正方形の連結部分２３１〜２３４が校正パターンＡ１の特徴点に相当する。
【００９１】
校正プレート自体の色や校正プレートに描かれる模様の色を適切に選ぶことによって、各カメラ（及び画像処理装置１０）が、校正パターンの各特徴点を路面等と明確に区別して認識できるようになっている。校正処理にとって重要なのは、校正プレートそのものではなく校正パターンの形状（即ち、特徴点間の位置関係）であるため、以下、校正プレートの存在を無視し、校正パターンに着目して説明を行う。
【００９２】
図１９を参照して、第３実施形態に係る校正処理の手順を説明する。図１９は、この手順を表すフローチャートである。
【００９３】
まず、ステップＳ４１において、カメラ１Ｒと１Ｌに対する変換パラメータを透視投影変換に基づいて算出する。このステップＳ４１の処理は、第１実施形態に係るステップＳ１１（図８）のそれと同じものである。
【００９４】
次に、ステップＳ４２において、図１７に示す如く、各共通撮影領域内に校正パターンＡ１〜Ａ４を配置した状態で、カメラ１Ｒ及び１Ｌに撮影を行わせる。これによって、得られた撮影画像を補正用撮像画像と呼ぶ。そして、カメラ１Ｒ及び１Ｌの各補正用撮影画像を、ステップＳ４１で求めた変換パラメータを用いて鳥瞰図画像（以下、これを補正用鳥瞰図画像と呼ぶ）に変換する。
【００９５】
校正パターンは、既知の正方形形状を有するため、理想的には、各補正用鳥瞰図画像上において各校正パターンは既知の正方形形状を有する。しかしながら、カメラ１Ｒと１Ｌの設置には誤差が含まれうる。例えば、カメラ１Ｌの実際の取り付け角度と、カメラ設定情報に定められたθaの設計値と、の間には誤差が存在する。このような設置誤差に起因して、通常、各補正用鳥瞰図画像上では、各校正パターンは既知の正方形形状を有さない。
【００９６】
そこで、画像処理装置１０は、補正用鳥瞰図画像上の各校正パターンの形状が既知情報に基づく既知の正方形形状により近づくようなθaの値を探索し、これによって取り付け角度に関する誤差を推定する。そして、探索されたθaの値を用いて、新たにカメラ１Ｒ及び１Ｌに対する変換パラメータを再計算する。
【００９７】
具体的には例えば、カメラ１Ｒと１Ｌの夫々に対し、補正用鳥瞰図画像上における実際の校正パターンの形状と理想的な校正パターンの形状との間の誤差を表す誤差評価値Ｄを算出し、誤差評価値Ｄに最小値を与えるθaの値を探索すればよい。
【００９８】
図２０を参照して、カメラ１Ｌに対する誤差評価値Ｄの算出手法について説明する。図２０において、符号２４０が付された正方形は、補正用鳥瞰図画像上における理想的な校正パターン（Ａ２又はＡ４）の形状を表す。一方、符合２５０が付された四角形は、補正用鳥瞰図画像上における実際の校正パターン（Ａ２又はＡ４）の形状を表す。上述したように、正方形２４０の形状は、画像処理装置１０にとって既知である。
【００９９】
図２０において、符号２４１〜２４４は、正方形２４０の４つの頂点を表し、符号２５１〜２５４は、四角形２５０の４つの頂点を表す。補正用鳥瞰図画像上において、頂点２４１と頂点２５１の座標を一致させると共に、頂点２４１と頂点２４２を結ぶ線分と頂点２５１と頂点２５２を結ぶ線分とを重ねる。但し、図２０では、図示の便宜上、正方形２４０と四角形２５０を若干ずらして示している。
【０１００】
この場合において、補正用鳥瞰図画像上における、頂点２４２と頂点２５２との間の位置誤差をｄ１、頂点２４３と頂点２５３との間の位置誤差をｄ２、頂点２４４と頂点２５４との間の位置誤差をｄ３とする。位置誤差ｄ１は、補正用鳥瞰図画像上における頂点２４２と頂点２５２との間の距離とされる。位置誤差ｄ２及びｄ３も同様である。
【０１０１】
このような位置誤差ｄ１〜ｄ３は、カメラ１Ｌが捉える校正パターンＡ２とＡ４の夫々に対して算出される。従って、カメラ１Ｌの補正用鳥瞰図画像に対して、６つの位置誤差が算出される。誤差評価値Ｄは、この６つの位置誤差の総和とされる。位置誤差は、対比する頂点間の距離であるので、常に０又は正の値をとる。誤差評価値Ｄの算出式を式（４）に示す。式（４）の右辺において、（ｄ１＋ｄ２＋ｄ３）に対するΣは、校正パターン
の個数分の総和をとることを意味する。
【０１０２】
【数４】
【０１０３】
上記式（３）におけるθaの値を変更して、逐次、誤差評価値Ｄを算出していくことにより、誤差評価値Ｄに最小値を与えるθaの値を求める。そして、カメラ設定情報にて当初定められていたカメラ１Ｌに対するθaの値を求めた値へと補正し、補正後のθaの値（即ち、誤差評価値Ｄに最小値を与えるθaの値）を用いて新たにカメラ１Ｌに対する変換パラメータを再計算する。カメラ１Ｒに対しても同様の処理を行い、カメラ１Ｒに対する変換パラメータを再計算する。
【０１０４】
ステップＳ４２にて、カメラ１Ｒと１Ｌに対する変換パラメータを再計算した後、ステップＳ４３に移行する。ステップＳ４３では、図１７に示す如く、各共通撮影領域内に校正パターンＡ１〜Ａ４を配置した状態で各カメラに撮影を行わせ、そして、各カメラによる各校正パターン（特徴点）の撮影結果を用い、平面射影変換によってカメラ１Ｆと１Ｂに対する変換パラメータ（ホモグラフィ行列）を算出する。この際、ステップＳ４２にて校正されたカメラ１Ｒ及び１Ｌを基準とする。
【０１０５】
ステップＳ４３の処理内容は、第１実施形態に係るステップＳ１２（図８）のそれと同様である。但し、この際、カメラ１Ｒ及び１Ｌに対する変換パラメータとして、ステップＳ４２にて再計算されたそれを用いるものとする。カメラ１Ｆに対する変換パラメータを求めるに当たり、校正パターンＡ１に含まれるｐ個の特徴点及び校正パターンＡ２に含まれるｑ個の特徴点を用いるようにしてもよいし、校正パターンＡ１及びＡ２の何れか一方に含まれる４つの特徴点のみを用いるようにしてもよい。ここで、ｐ及びｑは整数であって、１≦ｐ≦４、１≦ｑ≦４、ｐ＋ｑ≧４、が成立する。カメラ１Ｂに対する変換パラメータを求める際も同様である。
【０１０６】
ステップＳ４２及びＳ４３で求められた各変換パラメータは、第１実施形態と同様、撮影画像上の各座標と全周鳥瞰図画像（グローバル座標）上の各座標との対応関係を示すテーブルデータとして表現可能である。このテーブルデータを用いれば、各撮影画像上の任意の点をグローバル座標上の点に変換することができるため、各撮影画像から全周鳥瞰図画像を生成することが可能となる。
【０１０７】
尚、ステップＳ４３の処理を行う際、各校正パターンを共通撮影領域内に配置する必要があるため、ステップＳ４２においても各校正パターンを共通撮影領域内に配置する場合を例示した。しかしながら、ステップＳ４２の段階で、各校正パターンを共通撮影領域内に配置する必要は必ずしもない。即ち、カメラ１Ｒの撮影領域全体（２Ｒ）の中に１つ以上の校正パターンを配置し、且つ、カメラ１Ｌの撮影領域全体（２Ｌ）の中に１つ以上の校正パターンを配置すれば、ステップＳ４２の処理は実行可能である。
【０１０８】
また、ステップＳ４３の処理を行う際における、共通撮影領域内の校正パターンの配置は自由であり、異なる校正パターン間の相対位置も問わない。各校正パターンの配置位置は互いに独立に定められる。このように、既に校正された基準カメラ（本実施形態におけるカメラ１Ｒ及び１Ｌ）と校正対象となる非基準カメラ（本実施形態におけるカメラ１Ｆ及び１Ｂ）との共通撮影領域内に校正パターンが位置している限り、校正パターンの配置位置に何ら拘束条件は存在しない。
【０１０９】
また、校正パターンの形状は正方形である必要はない。各校正パターンに４以上の特徴点が含まれる限り、各校正パターンの形状は様々に変形可能である。但し、その形状を、予め画像処理装置１０に知らせておく必要はある。
【０１１０】
第３実施形態によれば、第１実施形態と同様の効果が得られると共に、カメラの設置誤差を修正することができるため、校正精度の向上も見込める。
【０１１１】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１２】
［注釈１］
上述の鳥瞰図画像は、各カメラの撮影画像を地面上に投影した画像に相当する。つまり、上述の実施形態では、各カメラの撮影画像を地面上に投影して合成することにより全周鳥瞰図画像を生成するようにしているが、撮影画像が投影されるべき面を、地面以外の任意の所定面（例えば所定平面）とすることも可能である。
【０１１３】
［注釈２］
車載カメラとしてのカメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置１０に接続されるべき各カメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラからの各撮影画像が所定面上に投影されて合成され、合成画像が表示装置に表示される。
【０１１４】
［注釈３］
図５の画像処理装置１０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置１０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１１５】
［注釈４］
校正処理時において変換パラメータを導出するパラメータ導出手段は、画像処理装置１０に内在しており、このパラメータ導出手段を備えてカメラの校正処理を行うカメラ校正装置も、画像処理装置１０に内在している。また、パラメータ導出手段は、カメラ１Ｒ及び１Ｌに対する変換パラメータを補正するパラメータ補正手段を含みうる。このパラメータ補正手段は、第３実施形態の例では、図１９のステップＳ４２の処理を実行する。上述のマーカまたは校正パターン（若しくは校正プレート）は、校正指標として機能する。また、特徴点そのものを校正指標と捉えることもできる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の実施形態に係る視界支援システムが適用される車両を上方から見た平面図であり、その車両への各カメラの設置状態を表す図である。
【図２】図１の車両を左斜め前方から見た図である。
【図３】図１の車両に設置された各カメラの撮影領域を表す図である。
【図４】図１の車両に設置された各カメラの撮影領域をまとめて示した図である。
【図５】本発明の実施形態に係る視界支援システムの構成ブロック図である。
【図６】図１の各カメラの撮影画像に基づく鳥瞰図画像を示す図である。
【図７】図６の各鳥瞰図画像を合成した全周鳥瞰図画像を示す図である。
【図８】本発明の第１実施形態に係る校正処理の手順を表すフローチャートである。
【図９】図１のカメラの車両に対する取り付け状態を示す図である。
【図１０】図４の各共通撮影領域内に配置されるマーカの平面図である。
【図１１】本発明の第１実施形態に係り、各マーカ（特徴点）が配置される様子を示した車両周辺の上面視平面図である。
【図１２】本発明の第１実施形態に係り、平面射影変換に用いられる特徴点の座標値対応関係を示す図である。
【図１３】本発明の第２実施形態に係り、各マーカ（特徴点）が配置される様子を示した車両周辺の上面視平面図である。
【図１４】本発明の第２実施形態に係る校正処理の手順を表すフローチャートである。
【図１５】本発明の第２実施形態に係り、一般化された校正処理の手順を表すフローチャートである。
【図１６】本発明の第２実施形態に係り、一般化された校正処理の手順を説明するための図である。
【図１７】本発明の第３実施形態に係り、各校正パターンが配置される様子を示した車両周辺の上面視平面図である。
【図１８】本発明の第３実施形態に係る校正パターンが描かれた校正プレートの平面図である。
【図１９】本発明の第３実施形態に係る校正処理の手順を表すフローチャートである。
【図２０】本発明の第３実施形態に係り、カメラ設定情報の誤差に由来する投影誤差を示す図である。
【図２１】撮影画像と鳥瞰図画像の関係を示す図である。
【図２２】従来技術に係り、視界支援システムが適用された車両へのカメラ取り付け状態を示す平面図である。
【図２３】従来技術に係り、視界支援システムによって表示される全周鳥瞰図画像の様子を示す図である。
【図２４】従来の平面射影変換に対応する校正処理を説明するための図であり、複数のカメラ間で共通に定義される座標系（或いは校正パターン）を示す図である。
【符号の説明】
【０１１７】
１０ 画像処理装置
１１ 表示装置
１００ 車両
１Ｆ、１Ｒ、１Ｌ、１Ｂ カメラ
２Ｆ、２Ｒ、２Ｌ、２Ｂ 撮影領域
３FR、３FL、３BR、３BL 共通撮影領域
５０Ｆ、５０Ｒ、５０Ｌ、５０Ｂ 鳥瞰図画像
ＣFR、ＣFL、ＣBR、ＣBL 共通画像領域
Ａ１〜Ａ４ 校正パターン
【特許請求の範囲】
【請求項１】
Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、
前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、
前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、
前記パラメータ導出手段は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とするカメラ校正装置。
【請求項２】
前記第１パラメータは、前記設定情報を用いた透視投影変換に基づいて求められる
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記校正指標の配置によって、前記共通撮影領域内に少なくとも４つの特徴点が含まれ、
前記パラメータ導出手段は、前記基準カメラによる各特徴点の撮影結果と、前記非基準カメラによる各特徴点の撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とする請求項１または請求項２に記載のカメラ校正装置。
【請求項４】
前記パラメータ導出手段は、前記共通撮影領域内における前記校正指標の配置位置に拘束条件を与えることなく、前記第２パラメータを導出可能である
ことを特徴とする請求項１〜請求項３の何れかに記載のカメラ校正装置。
【請求項５】
前記パラメータ導出手段は、前記基準カメラの撮影領域内に配置された形状が既知の校正パターンの、前記基準カメラによる撮影結果に基づいて、前記第１パラメータを補正する第１パラメータ補正手段を備え、補正後の前記第１パラメータを用いて前記第２パラメータを求める
ことを特徴とする請求項１〜請求項４の何れかに記載のカメラ校正装置。
【請求項６】
Ｎ台のカメラ及び画像処理装置が設置された車両において、
前記画像処理装置は、請求項１〜請求項５の何れかに記載のカメラ校正装置を含む
ことを特徴とする車両。
【請求項７】
Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、
前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、
前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、
当該カメラ校正方法は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とするカメラ校正方法。
【請求項１】
Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、
前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、
前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、
前記パラメータ導出手段は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とするカメラ校正装置。
【請求項２】
前記第１パラメータは、前記設定情報を用いた透視投影変換に基づいて求められる
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記校正指標の配置によって、前記共通撮影領域内に少なくとも４つの特徴点が含まれ、
前記パラメータ導出手段は、前記基準カメラによる各特徴点の撮影結果と、前記非基準カメラによる各特徴点の撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とする請求項１または請求項２に記載のカメラ校正装置。
【請求項４】
前記パラメータ導出手段は、前記共通撮影領域内における前記校正指標の配置位置に拘束条件を与えることなく、前記第２パラメータを導出可能である
ことを特徴とする請求項１〜請求項３の何れかに記載のカメラ校正装置。
【請求項５】
前記パラメータ導出手段は、前記基準カメラの撮影領域内に配置された形状が既知の校正パターンの、前記基準カメラによる撮影結果に基づいて、前記第１パラメータを補正する第１パラメータ補正手段を備え、補正後の前記第１パラメータを用いて前記第２パラメータを求める
ことを特徴とする請求項１〜請求項４の何れかに記載のカメラ校正装置。
【請求項６】
Ｎ台のカメラ及び画像処理装置が設置された車両において、
前記画像処理装置は、請求項１〜請求項５の何れかに記載のカメラ校正装置を含む
ことを特徴とする車両。
【請求項７】
Ｎ台のカメラ（Ｎは２以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、
前記Ｎ台のカメラは、１台以上の基準カメラと１台以上の非基準カメラとから成り、
前記パラメータは、既知の設定情報に基づき求められる前記基準カメラに対する第１パラメータと、前記非基準カメラに対する第２パラメータと、から成り、
当該カメラ校正方法は、前記基準カメラと前記非基準カメラの共通撮影領域内に配置された校正指標の、前記基準カメラ及び前記非基準カメラによる撮影結果と、前記第１パラメータと、に基づいて前記第２パラメータを求める
ことを特徴とするカメラ校正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００８−１８７５６４（Ｐ２００８−１８７５６４Ａ）
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００７−２０４９５（Ｐ２００７−２０４９５）
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]