カメラ校正装置
【課題】ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供する。
【解決手段】第１平面Πにおける近傍領域Πsに配置された４つの近傍校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び遠方領域Πwに配置された少なくとも１つの遠方校正指標Ｍ５、Ｍ６と含む撮影画像を取得し、撮影画像における近傍校正指標の座標位置を算定座標位置として算定し、近傍校正指標の実座標位置と算定座標位置とから算定された予備ホモグラフィＨ１を用いて撮影画像における遠方校正指標の存在位置を推定する。推定された存在位置を用いて算定された遠方校正指標の算定座標位置と近傍指標の算定座標位置及びこれらに対応する実座標位置とから撮影画像面と第１平面との間の精密ホモグラフィＨ２を算定する。
【解決手段】第１平面Πにおける近傍領域Πsに配置された４つの近傍校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び遠方領域Πwに配置された少なくとも１つの遠方校正指標Ｍ５、Ｍ６と含む撮影画像を取得し、撮影画像における近傍校正指標の座標位置を算定座標位置として算定し、近傍校正指標の実座標位置と算定座標位置とから算定された予備ホモグラフィＨ１を用いて撮影画像における遠方校正指標の存在位置を推定する。推定された存在位置を用いて算定された遠方校正指標の算定座標位置と近傍指標の算定座標位置及びこれらに対応する実座標位置とから撮影画像面と第１平面との間の精密ホモグラフィＨ２を算定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、平面射影変換の原理を用いてカメラ校正を行うカメラ校正装置に関する。
【背景技術】
【０００２】
平面射影変換に基づいてカメラを校正する装置として、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、校正指標を含むカメラの撮影画像面を第２の平面として入力し、前記第２の平面上に存在するとともに校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算する、カメラ校正装置が知られている（例えば、特許文献１参照）。この装置では、撮影領域内に校正指標を配置し、撮影した校正指標に基づいて、撮影画像の座標（撮影画像系座標位置）と変換画像の座標（平面座標系座標位置）との対応関係を示す変換行列であるホモグラフィを求めるという校正作業を行う。このカメラ校正は、平面射影変換の原理により、カメラ外部パラメータやカメラ内部パラメータを必要とせず、また、実際に撮影された校正指標に基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けないという利点をもつ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６‐１４８７４５号公報（段落番号〔００１１〕−、図※）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１によるカメラ校正装置で用いられる、各カメラの撮影画像を路面に射影するためのホモグラフィは、座標位置が既知の少なくとも４以上の校正指標に基づいて算定可能であるが、これらの校正指標の撮影画像系での座標位置を算出するためには撮影画像から画像処理技術を用いて校正指標を検出する必要がある。しかしながら、撮影画像の中から少なくとも４つの校正指標を短時間で検出するためには、画像処理の演算負荷が高く、高性能の演算装置が必要となるためコストが高くなるという問題があった。
【０００５】
本発明の目的は、ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によるカメラ校正装置は、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、前記精密ホモグラフィを用いて前記カメラの校正を行う校正部とを備えている。
【０００７】
この構成によると、まず、カメラ近傍の特定領域に配置された少なくとも４点の座標を表す校正指標の撮影画像系の座標位置を算定する。この算定処理では、極めて限定された領域にかたまって配置された校正指標を検出するため、撮影画像全体から４点の座標を表す校正指標を検出することに比べて処理時間が短縮される。またカメラに近い位置であることから校正指標の画像精度が高く、その検出精度も高くなる。このようにして算定された４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とからホモグラフィを算定できるので、このホモグラフィに基づいてカメラ校正を行うことが可能である。しかしながら、このホモグラフィの元になったのはカメラ近傍の限定された領域にかたまって配置された４つの校正指標であるので、このホモグラフィで撮影画像系座標全体を正確に第１平面に変換することは難しく、特にカメラから遠い領域の位置ずれが生じてくる。従って、本発明では、このホモグラフィを予備ホモグラフィとみなし、この予備ホモグラフィを用いて、予めカメラから遠い位置に設定されている遠方校正指標の撮影画像上の位置を推定する。そして、その推定された狭い領域の中で遠方校正指標を検出し、その遠方校正指標を含む４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とから精度の高い精密ホモグラフィを算定する。この精密ホモグラフィを用いてカメラ校正を行うことで、撮影画像全体が位置ずれなく校正されることになる。
【０００８】
精密ホモグラフィの精度をできるだけ高くするためには、前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が撮影画像面の中で広い範囲に分布するように選択するように、予め近傍校正指標と遠方校正指標との配置を決めておくと好都合である。
【０００９】
本発明によるカメラ校正装置の、カメラパラメータが未知でよいという利点を考慮すると、カメラの取り付けスペースが限定されており、そのことから精度よく取り付けることが困難な、車両等の移動体に取り付けられるカメラに適用すると好適である。この場合、第１平面を路面とし、前記校正指標は前記路面に描画されたエッジを有するマーカとすれば、工場等の床面を路面とし、工場内の空きスペースにカメラ校正システムを構築することができる。
【００１０】
最近の自動車などの移動体には、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、運転者等の操作者が移動体周辺の状況を把握しやすくなるような試みが行われている。このため、複数のカメラの校正を行い、各カメラの撮影画像を変換して合成された合成画像に継ぎ目や断層が生じないようにすることが要求されている。この要求を満たすため、本発明の好適な実施形態の１つでは、前記画像取得部は、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得する。前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行うように構成されている。この構成では、カメラ視界を共有した領域で撮影される校正用指標の路面画像上の座標値は、ホモグラフィの特性から実際値に一致しているので、基準として定めた座標系上で各カメラの画像を上空から見た画像に変換して得られた変換画像を合成した画像には継ぎ目や断層が生じるようなことは起こらない。
【００１１】
このような複数のカメラに対する校正においても、各カメラのための精密ホモグラフィをより高精度なものとするために、前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置され、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されることが重要である。
また、移動体の全周囲を４台のカメラでカバーして、鳥瞰図や全周囲パノラマ画像を表示させるカメラシステムのためのカメラ校正装置の具体的な構成として、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラを移動体に搭載し、前記第１平面を路面とし、前記近傍校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとし、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとすることが提案される。このカメラ校正を工場内で行う場合には、路面は工場の床面となる。なお、ここで、路面に描画されたマーカとは、路面に直接ペンキ等で塗られたマーカだけでなく、実質的に路面と同じ高さレベルとみなされるプレート上にペンキ等で塗られたマーカを路面に載置するような形態のものも含んでいる。
【００１２】
なお、本発明は、上述したカメラ校正装置だけでなく、そのような装置におけるカメラ校正機能をコンピュータによって実現するカメラ校正プログラムやそのようなプログラムによる制御の流れを規定しているカメラ校正方法も発明対象としている。例えば、上記課題を解決するためのカメラ校正方法は、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得ステップと、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定ステップと、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定ステップと、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定ステップと、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定ステップと、前記近傍指標位置算定ステップで算定された近傍指標及び前記遠方指標位置算定ステップにで算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定ステップと、前記精密ホモグラフィを用いて前記カメラの校正を行う校正ステップからなる。このようなステップからなるカメラ校正方法も、前述したカメラ校正装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴を適用することも可能である。これは、実質的に同一なカメラ校正プログラムにおいても同様である。
【図面の簡単な説明】
【００１３】
【図１】本発明で利用されている平面射影変換の基本原理を説明する説明図である。
【図２】本発明によるカメラ校正装置の基本原理を説明する説明図である。
【図３】路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。
【図４】平面状校正指標を示す平面図である。
【図５】カメラ校正装置のコントローラユニットに構築される機能を示す機能ブロック図である。
【図６】複数カメラ１の校正処理の流れを例示するフローチャートである。
【図７】別実施形態の平面状校正指標を示す平面図である。
【図８】さらに別な実施形態の平面状校正指標を示す平面図である。
【図９】さらに別な実施形態の平面状校正指標を示す平面図である。
【図１０】図９による平面状校正指標の撮影画像を示す平面図である。
【発明を実施するための形態】
【００１４】
まず、図１を用いて本発明で利用されている平面射影変換の基本原理を説明する。撮影中心（ここでは光学中心でもある）Ｃを有するカメラの撮影視界に第１平面Πが存在しており、この平面上にカメラ校正のための４つの校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されている。カメラの撮影画像面πには４つの校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４の像が写される。それらの像の撮影画像座標系（ここではｘ−ｙ座標系としておく）の点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標位置は画像処理によって算定することができる。また、校正指標は予め設定したとおりに配置されているので、第１平面Πに配置された校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４の第１平面Πで設定されている平面座標系（ここではＸ−Ｙ座標系としておく）における座標位置は、既知である。
【００１５】
三次元空間における平面上の配置が既知である４点を校正指標として使用すれば、それぞれの校正指標に対応する撮影画像の４点との関係付け、いわゆるホモグラフィ（平面射影変換）：Ｈを算定することができ、カメラの外部パラメータが未知であっても、撮影画像面の４点を、元の三次元空間における平面上の４点として復元することができることは、投影幾何学から知られている。詳しい説明はここでは省略するが、これについては、例えば、特開２００６−１４８７４５号公報や、佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、が参照される。ここでは特筆すべきことは、カメラの高さやチルト角等の三次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいということである。図１に示すように、４つの校正指標の第１平面座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２) 、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)と、その撮影画像における４つの校正指標の算定された撮影画像座標位置：Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)との対応付けを行い、ホモグラフィ：Ｈが算定される。一旦ホモグラフィＨ が算定されると、撮影画像面：πにおける任意の撮影画像座標位置の点Ｐn(ｘn,ｙn)の第１平面における座標位置Ｍn(Ｘn,Ｙn)への変換が可能となる。
【００１６】
上述した基本原理を用いた、本発明に係るカメラ校正装置の原理を図２に基づいて説明する。
カメラ１の撮影視界における第１平面Πにおいて、カメラ１からの撮影距離が短い近傍領域Πsと、カメラ１からの撮影距離が長い遠方領域Πwが規定されている。近傍領域Πsには４つの平面状近傍校正指標（以下単に近傍指標と称する）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されており、遠方領域Πwにはそれぞれカメラ光軸の横断方向に大きく間隔をあけた２つの平面状遠方校正指標（以下単に遠方指標と称する）Ｍ５、Ｍ６が配置されている。なお、近傍指標と遠方指標を特に区別する必要のない場合では、単に指標という語句を用い、校正指標を総称する図番を９とした。また、第１平面Πの平面座標系における各指標の座標位置は指標の実座標位置として既知である。
【００１７】
この第１平面Πをカメラ１で撮影するとその撮影画像は撮影画像面πで得られる。この撮影画像における４つの近傍指標の撮影画像座標系での座標位置が算定画像位置として画像処理技術を通じて算定される。その際、４つの近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４は、撮影距離が短く横断方向で中央の領域である極めて狭い領域である近傍領域Πsに配置されているので、その撮影像も撮影画像内の極めて限定された領域に位置することになり、その検索処理の演算負担が小さいものとなる。
【００１８】
４つの近傍指標の上記実座標位置と上記算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ１を求めることができる。このホモグラフィ：Ｈ１は、撮影画像において小さくかたまっている４つの算定画像位置を用いて算定されているので、ここではこのホモグラフィを予備ホモグラフィと称する。この予備ホモグラフィ：Ｈ１を用いることで、任意の第１平面Π上の点と撮影画像面πの点の位置関係が得ることができるので、この予備ホモグラフィ：Ｈ１を用いて、遠方指標Ｍ５、Ｍ６の撮影画像座標系での存在位置をほぼ推定することができる。この推定された座標位置を参照することで、遠方指標Ｍ５、Ｍ６の撮影像も検索が容易となり、高速で遠方指標Ｍ５、Ｍ６の算定画像位置を得ることができる。このようにして得られた、指標Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６から、できるだけ第１平面Πの大きな領域を規定することができる４つの指標を選択する。図２の例であれば、近傍指標Ｍ１、Ｍ２及び遠方指標Ｍ５、Ｍ６を選択すると第１平面Πにおいて最も大きな領域を規定することができる。
【００１９】
このように、選択された近傍指標Ｍ１、Ｍ２及び遠方指標Ｍ５、Ｍ６の実座標位置と算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ２を求めることができる。このホモグラフィ：Ｈ２は、撮影画像において大きく分散した４つの算定画像位置を用いて算定されているので、予備ホモグラフィ：Ｈ１より全領域での精度が高いものとなる。従って、このホモグラフィ：Ｈ２を精密ホモグラフィと称する。
【００２０】
このようにして構築された精密ホモグラフィ：Ｈ２を用いてカメラ１の校正を行うことで、カメラ１の内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、道路面等の第１平面Πと撮影画像に基づくモニタ等の表示画像との対応が適正となるカメラ校正が実現する。
【００２１】
移動体としての車両に搭載された複数の車載カメラ１を校正するために本発明に係るカメラ校正装置が適用された例を実施の形態の１つとして以下に説明する。
図３は、第１平面Πとしての路面の所定の位置に停止した車両と、その路面に描画された校正指標とカメラ視界との関係を示す説明図である。ここでは車載カメラ１として、車両前方をカメラ視界とする第１カメラ１１と、車両右側方をカメラ視界とする第２カメラ１２と、車両後方をカメラ視界とする第３カメラ１３と、車両左側方をカメラ視界とする第４カメラ１４とが備えられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
【００２２】
各カメラ１の視界内に入っている路面は、それぞれ、車両に近い中央に位置する近傍領域Πｓと、車両から遠い両側の遠方領域Πｗとを含んでいる。遠方領域Πｗは隣合うカメラ１の視界内に入っている路面の遠方領域Πｗとの共通領域となっている。それぞれの近傍領域Πｓには、図４に例示するような、マーカとも呼ばれている白黒の市松模様のパターンからなる図番９で総称される近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４が描画されている。この指標９は白の矩形２個、黒の矩形２個の計４個の矩形により校正された市松模様パターンであり、そのパターン中央の点Ｑの座標位置が実際に用いられる指標９の座標位置である。従って、点Ｑの位置を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点を点Ｑとみなす。
【００２３】
また、それぞれの遠方領域（共通領域）Πｗには１つの同様な模様をもつ遠方指標Ｍ５、Ｍ６、Ｍ７、Ｍ８が描画されている。なお、指標それ自体は、路面に直接描画してもよいし、プレート体の表面に指標を描画して、このプレート体を任意に移動設置するようにしてもよい。いずれにせよ、第１カメラ１１による撮影画像には第１カメラ１１が専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び隣り合う第２カメラ１２または第４カメラ１４とで共有している遠方指標Ｍ５とＭ６の画像が含まれる。同様に第２カメラ１２による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ６とＭ７の画像が含まれ、第３カメラ１３による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ７とＭ８の画像が含まれ、第４カメラ１４による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ８とＭ５の画像が含まれる。従って、遠方指標Ｍ５、Ｍ６、Ｍ７、Ｍ８は隣り合うカメラに共通的に撮影される共通校正指標としての機能をもつ。
【００２４】
このような車両と校正指標とカメラ視界との関係において、図２を用いて説明したカメラ校正を実施するため、この車両に搭載されたカメラ校正装置は、図５で模式的に示すような機能部を構築しているコントロールユニット５と、このコントロールユニット５に接続されたモニタ６を備えている。上記４台の車載カメラ１はこのコントロールユニット５にデータ伝送可能に接続されており、各撮影視界の撮影画像をコントロールユニット５に送り込む。
【００２５】
コントロールユニット５に構築された、本発明に特に関係する機能部は、画像取得部５１と、指標情報管理部５２と、指標位置算定部５３と、ホモグラフィ算定部５４と、指標位置推定部５５と、校正部５６と、表示画像生成部５７である。画像取得部５１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。指標情報管理部５２は、各カメラ１の視界毎に路面Πに配置された、近傍校正指標と遠方校正指標を含む校正指標９の実座標位置である路面座標位置を管理しており、要求に応じて処理対象となっている校正指標９の路面座標位置を機能部に与える。車両の停止位置が決められ、各校正指標９も所定の位置に描画またはセットされている場合には、この路面座標位置は不揮発性メモリ等に記憶しておくとよい。また、校正指標９と車両との路面におけう相対位置が変動する場合には、その都度入力された校正指標９の路面座標位置を指標情報管理部５２が管理することになる。
【００２６】
指標位置算定部５３は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を算定座標位置として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を算定座標位置とする。指標位置算定部５３は、後で詳しく説明するが、近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部５３ａと、遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部５３ｂとの２つの機能を有する。
【００２７】
ホモグラフィ算定部５４は、少なくとも４つの校正指標９の路面座標位置と算定座標位置とから撮影画像の撮影画像面πと路面Πとの間のホモグラフィを算定する。このホモグラフィ算定部５４は２つのホモグラフィを算定する機能を有している。つまり、少なくとも４つの近傍指標の路面座標位置と算定座標位置とから撮影画像面πと路面Πとの間の予備ホモグラフィ：Ｈ１を算定する予備ホモグラフィ算定部５４ａと、近傍指標位置算定部５３ａによって算定された近傍指標と遠方指標位置算定部５３ｂによって算定された遠方指標とから選択された少なくとも４つの選択指標の算定座標位置及びこれらに対応する路面座標位置とから撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ２を算定する精密ホモグラフィ算定部５４ａとである。
【００２８】
指標位置推定部５５は、予備ホモグラフィ：Ｈ１に指標情報管理部５２から読み出した遠方指標の路面座標位置を適用して遠方指標の撮影画像座標系での位置を推定する。遠方指標位置算定部５３ｂは、指標位置推定部５５によって推定された推定領域を検出対象領域として遠方校正指標の座標位置を算定する。
【００２９】
校正部５６は、カメラ１毎に精密ホモグラフィ算定部５４ａで算定された各撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ２１、Ｈ２２、Ｈ２３、Ｈ２４から、各カメラ１の校正データを設定する。表示画像生成部５７は、校正部５６によって設定された校正データを参照して、各カメラ１からの撮影画像をモニタ６に表示するための表示画像に変換し、各カメラ１の撮影画像間でずれのない表示画像をユーザに提供する。
【００３０】
上述したように構成されたカメラ校正装置による複数カメラ１の校正処理の流れを図６のフローチャートを用いて説明する。
まず、最初に校正処理するカメラ１を指定して（＃０１）、指定されたカメラ１の撮影画像をワーキングメモリに取り込む（＃０２）。指定されたカメラ１の視界に属する近傍領域の位置情報を参照して、その近傍領域に配置されている近傍指標のための注目検索領域を撮影画像に対して設定する（＃０３）。設定された注目検索領域から４つの近傍指標を検出し、その画像座標位置を算定する（＃０４）。算定された４つの近傍指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃０５）。４つの近傍指標の算定座標位置と路面座標位置とを利用して、予備ホモグラフィ：Ｈ１を算定する（＃０６）。指定されたカメラ１の視界に属する遠方領域に配置された遠方指標の路面座標位置を指標情報管理部５２から読み取って、予備ホモグラフィ：Ｈ１に与えることで、当該遠方指標の撮影画像座標系での存在位置を推定する（＃０７）。この推定された存在位置に基づいて、撮影画像上で遠方指標を検出するための注目検索領域を設定する（＃０８）。設定された注目検索領域から２つの近傍指標を検出し、その画像座標位置を算定する（＃０９）。算定された２つの遠方指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃１０）。遠方指標と、４つの近傍指標から選んだより遠方指標から遠い２つの近傍指標との算定座標位置と路面座標位置とを利用して、精密ホモグラフィ：Ｈ２を算定する（＃１１）。算定された精密ホモグラフィ：Ｈ２は、指定されたカメラ１のホモグラフィとして登録される（＃１２）。次に、４台の全てのカメラ１の精密ホモグラフィ：Ｈ２の登録が完了したかどうかチェックされ（＃１３）、まだ未了のカメラが残っていると（＃１３No分岐）、再びステップ＃０１に戻って、上述した処理を繰り返す。全てのカメラ１の精密ホモグラフィ：Ｈ２の登録が完了した場合（＃１３Yes分岐）、全てのカメラ１の精密ホモグラフィ：Ｈ２１、Ｈ２２、Ｈ２３、Ｈ２４から、各カメラ１の校正データをカメラ校正テーブルに登録して、このカメラ校正ルーチンを終了する（＃１４）。
【００３１】
〔平面状校正指標の別形態〕
以下に、図４で示された平面状校正指標９以外の模様を有する平面状校正指標を例示する。
（１）図７で示す校正指標９では、近傍指標は黒く（周囲と画像処理的に区別できるならその色は黒に限定されない）塗りつぶされた台形であり、遠方指標は黒く塗りつぶされた三角形である。近傍指標を規定する台形は、カメラの光学中心位置から同一の放射角度で放射状に伸びる２本の直線と、カメラの光軸（図７においてカメラ位置から上下方向に延びる線）に直交する２本の平行な直線とによって規定される台形である。この台形の４つのコーナ点が４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４となる。この台形の境界辺をエッジ検出により検出し、検出された４つの境界線の交点を算定することで４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４が得られる。遠方指標を規定する三角形は、カメラの光学中心位置から遠方領域の方に延びた１本の放射直線とカメラの光軸に直交する１本の直線と任意に設定可能な直線によって規定される三角形である。三角形の２つの境界辺を横方向エッジ検出により検出し、検出された２本の境界線の交点を算定することで校正指標点ｑ５またはｑ６が得られる。
【００３２】
（２）
使用するカメラが高品質でない場合、被写体の輝度によっては像の位置がずれる可能性がある。このような場合は、そのままエッジ検出した後に直線を当てはめても実際とは異なる位置に直線が設定されてしまう恐れがある。この問題を解決するために、図８で示す校正指標は、その濃淡パターンが相補的となっていることで、上記ずれをキャンセルさせるようになっている。つまり、図７による校正指標と比較して、その近傍指標のパターン模様は、実質的には２本の放射直線と、２本の平行直線とによって規定される１つの台形と、その台形の各頂点の１８０°回転位置に規定されるほぼ相似するダミーの４つの台形が黒く塗りつぶされた模様となっている。近傍指標のパターン模様は、図７での遠方指標である三角形の対頂角側にもうひとつダミーの三角形が配置された模様となっている。つまり、校正指標としての中央の台形及び三角形の基準線を共有するダミーの台形と三角形が存在することにより、相補的な濃淡パターンが実現されている。
（２）
図９に示されたこの校正指標は、図８に示された校正指標と類似しているが、ダミーを含む台形及び三角形のサイズを、カメラ１より遠方側に位置するものほど大きくすることにより撮影画像上でのそれぞれのサイズがほぼ同一のサイズとなるように設定されている。この校正指標の撮影画像が図１０に示されている。この図１０から理解できるように、実際の路面上では放射状直線であったものが撮影画像上では垂直線として現れ、水平線であったものはそのまま水平線としてあらわれるので、画像処理におけるエッジ検出が大変処理がシンプルになる。これにより、各パターンのエッジ検出精度が向上、結果的に校正指標点の算定を導く直線検出の精度の向上が期待できる。
【００３３】
〔別実施の形態〕
（１）上述した実施の形態では、モノグラフィを算定するため、４つの校正指標を用いていたが、もちろん４つ以上の校正指標を用いてもよい。また、配置される近傍指標（詳しくは近傍指標点）も４つとしていたが、それ以上の近傍指標を配置し、最も検出しやすいものだけを選択して利用するようにしてもよい。遠方指標も２つに限定されるわけではなく、１つ以上であればよい。また、よりたくさんの遠方指標を配置して、最も検出しやすいものだけを選択して利用するようにしてもよい。
【００３４】
校正指標の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
【００３５】
本発明によるカメラ校正（カメラの校正）の具体的な目的の１つは、カメラ１により取得された撮像画像をモニタ６に表示するとともに、当該撮像画像に所定の画像情報（例えば、車両駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両の進路を予想した予想進路線等）を重畳する際に、撮影画像と重畳画像との関係を正確にするためである。本発明によるカメラ校正（カメラの校正）により実際の路面位置と撮影画像上での路面位置が正確に対応付けられているので、モニタ６におけるカメラ１により取得された撮像画像と付加的な重畳画像との位置関係が正確となる。すなわち、撮影画像はそのままで、重畳画像を補正して撮影画像と付加的な重畳画像との位置関係が正確になるようにもできるし、重畳画像は固定で撮影画像の方を補正して、撮影画像と付加的な重畳画像との位置関係が正確となるようにもできる。
また、本発明によるカメラ校正（カメラの校正）を通じて実際の路面位置と撮影画像上での路面位置が正確に対応付けられていると、車載カメラで取得された撮像画像に含まれる表示物（例えば、車線や物体等）の実際の位置が撮像画像の画像処理を通じて正確に特定することができる。
【産業上の利用可能性】
【００３６】
本発明は、そのカメラパラメータが未知である単一のカメラあるは複数のカメラために、撮影画像面とカメラ視界における特定平面との関係を整合させるカメラ校正を行う必要がある全ての分野で適用することができる。
【符号の説明】
【００３７】
Π：第１平面（路面）
π：撮像画像面
Ｈ：ホモグラフィ
Ｈ１：予備ホモグラフィ
Ｈ２：精密ホモグラフィ
５：コントロールユニット
９：校正指標
Ｍ１〜Ｍ４：近傍校正指標
Ｍ５〜Ｍ６：遠方校正指標
５１：画像取得部
５２：指標情報管理部
５３：指標位置算定部
５３ａ：近傍指標位置算定部
５３ｂ：遠方指標位置算定部
５４：ホモグラフィ算定部
５４ａ：予備ホモグラフィ算定部
５４ｂ：精密ホモグラフィ算定部
５５：指標位置推定部
５６：校正部
５７：表示画像生成部
【技術分野】
【０００１】
本発明は、平面射影変換の原理を用いてカメラ校正を行うカメラ校正装置に関する。
【背景技術】
【０００２】
平面射影変換に基づいてカメラを校正する装置として、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、校正指標を含むカメラの撮影画像面を第２の平面として入力し、前記第２の平面上に存在するとともに校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算する、カメラ校正装置が知られている（例えば、特許文献１参照）。この装置では、撮影領域内に校正指標を配置し、撮影した校正指標に基づいて、撮影画像の座標（撮影画像系座標位置）と変換画像の座標（平面座標系座標位置）との対応関係を示す変換行列であるホモグラフィを求めるという校正作業を行う。このカメラ校正は、平面射影変換の原理により、カメラ外部パラメータやカメラ内部パラメータを必要とせず、また、実際に撮影された校正指標に基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けないという利点をもつ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６‐１４８７４５号公報（段落番号〔００１１〕−、図※）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１によるカメラ校正装置で用いられる、各カメラの撮影画像を路面に射影するためのホモグラフィは、座標位置が既知の少なくとも４以上の校正指標に基づいて算定可能であるが、これらの校正指標の撮影画像系での座標位置を算出するためには撮影画像から画像処理技術を用いて校正指標を検出する必要がある。しかしながら、撮影画像の中から少なくとも４つの校正指標を短時間で検出するためには、画像処理の演算負荷が高く、高性能の演算装置が必要となるためコストが高くなるという問題があった。
【０００５】
本発明の目的は、ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明によるカメラ校正装置は、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、前記精密ホモグラフィを用いて前記カメラの校正を行う校正部とを備えている。
【０００７】
この構成によると、まず、カメラ近傍の特定領域に配置された少なくとも４点の座標を表す校正指標の撮影画像系の座標位置を算定する。この算定処理では、極めて限定された領域にかたまって配置された校正指標を検出するため、撮影画像全体から４点の座標を表す校正指標を検出することに比べて処理時間が短縮される。またカメラに近い位置であることから校正指標の画像精度が高く、その検出精度も高くなる。このようにして算定された４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とからホモグラフィを算定できるので、このホモグラフィに基づいてカメラ校正を行うことが可能である。しかしながら、このホモグラフィの元になったのはカメラ近傍の限定された領域にかたまって配置された４つの校正指標であるので、このホモグラフィで撮影画像系座標全体を正確に第１平面に変換することは難しく、特にカメラから遠い領域の位置ずれが生じてくる。従って、本発明では、このホモグラフィを予備ホモグラフィとみなし、この予備ホモグラフィを用いて、予めカメラから遠い位置に設定されている遠方校正指標の撮影画像上の位置を推定する。そして、その推定された狭い領域の中で遠方校正指標を検出し、その遠方校正指標を含む４つの校正指標の撮影画像座標系での座標位置と第１平面での実座標位置とから精度の高い精密ホモグラフィを算定する。この精密ホモグラフィを用いてカメラ校正を行うことで、撮影画像全体が位置ずれなく校正されることになる。
【０００８】
精密ホモグラフィの精度をできるだけ高くするためには、前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が撮影画像面の中で広い範囲に分布するように選択するように、予め近傍校正指標と遠方校正指標との配置を決めておくと好都合である。
【０００９】
本発明によるカメラ校正装置の、カメラパラメータが未知でよいという利点を考慮すると、カメラの取り付けスペースが限定されており、そのことから精度よく取り付けることが困難な、車両等の移動体に取り付けられるカメラに適用すると好適である。この場合、第１平面を路面とし、前記校正指標は前記路面に描画されたエッジを有するマーカとすれば、工場等の床面を路面とし、工場内の空きスペースにカメラ校正システムを構築することができる。
【００１０】
最近の自動車などの移動体には、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、運転者等の操作者が移動体周辺の状況を把握しやすくなるような試みが行われている。このため、複数のカメラの校正を行い、各カメラの撮影画像を変換して合成された合成画像に継ぎ目や断層が生じないようにすることが要求されている。この要求を満たすため、本発明の好適な実施形態の１つでは、前記画像取得部は、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得する。前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行うように構成されている。この構成では、カメラ視界を共有した領域で撮影される校正用指標の路面画像上の座標値は、ホモグラフィの特性から実際値に一致しているので、基準として定めた座標系上で各カメラの画像を上空から見た画像に変換して得られた変換画像を合成した画像には継ぎ目や断層が生じるようなことは起こらない。
【００１１】
このような複数のカメラに対する校正においても、各カメラのための精密ホモグラフィをより高精度なものとするために、前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置され、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されることが重要である。
また、移動体の全周囲を４台のカメラでカバーして、鳥瞰図や全周囲パノラマ画像を表示させるカメラシステムのためのカメラ校正装置の具体的な構成として、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラを移動体に搭載し、前記第１平面を路面とし、前記近傍校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとし、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカとすることが提案される。このカメラ校正を工場内で行う場合には、路面は工場の床面となる。なお、ここで、路面に描画されたマーカとは、路面に直接ペンキ等で塗られたマーカだけでなく、実質的に路面と同じ高さレベルとみなされるプレート上にペンキ等で塗られたマーカを路面に載置するような形態のものも含んでいる。
【００１２】
なお、本発明は、上述したカメラ校正装置だけでなく、そのような装置におけるカメラ校正機能をコンピュータによって実現するカメラ校正プログラムやそのようなプログラムによる制御の流れを規定しているカメラ校正方法も発明対象としている。例えば、上記課題を解決するためのカメラ校正方法は、カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得ステップと、前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定ステップと、前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定ステップと、前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定ステップと、前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定ステップと、前記近傍指標位置算定ステップで算定された近傍指標及び前記遠方指標位置算定ステップにで算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定ステップと、前記精密ホモグラフィを用いて前記カメラの校正を行う校正ステップからなる。このようなステップからなるカメラ校正方法も、前述したカメラ校正装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴を適用することも可能である。これは、実質的に同一なカメラ校正プログラムにおいても同様である。
【図面の簡単な説明】
【００１３】
【図１】本発明で利用されている平面射影変換の基本原理を説明する説明図である。
【図２】本発明によるカメラ校正装置の基本原理を説明する説明図である。
【図３】路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。
【図４】平面状校正指標を示す平面図である。
【図５】カメラ校正装置のコントローラユニットに構築される機能を示す機能ブロック図である。
【図６】複数カメラ１の校正処理の流れを例示するフローチャートである。
【図７】別実施形態の平面状校正指標を示す平面図である。
【図８】さらに別な実施形態の平面状校正指標を示す平面図である。
【図９】さらに別な実施形態の平面状校正指標を示す平面図である。
【図１０】図９による平面状校正指標の撮影画像を示す平面図である。
【発明を実施するための形態】
【００１４】
まず、図１を用いて本発明で利用されている平面射影変換の基本原理を説明する。撮影中心（ここでは光学中心でもある）Ｃを有するカメラの撮影視界に第１平面Πが存在しており、この平面上にカメラ校正のための４つの校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されている。カメラの撮影画像面πには４つの校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４の像が写される。それらの像の撮影画像座標系（ここではｘ−ｙ座標系としておく）の点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標位置は画像処理によって算定することができる。また、校正指標は予め設定したとおりに配置されているので、第１平面Πに配置された校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４の第１平面Πで設定されている平面座標系（ここではＸ−Ｙ座標系としておく）における座標位置は、既知である。
【００１５】
三次元空間における平面上の配置が既知である４点を校正指標として使用すれば、それぞれの校正指標に対応する撮影画像の４点との関係付け、いわゆるホモグラフィ（平面射影変換）：Ｈを算定することができ、カメラの外部パラメータが未知であっても、撮影画像面の４点を、元の三次元空間における平面上の４点として復元することができることは、投影幾何学から知られている。詳しい説明はここでは省略するが、これについては、例えば、特開２００６−１４８７４５号公報や、佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、が参照される。ここでは特筆すべきことは、カメラの高さやチルト角等の三次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいということである。図１に示すように、４つの校正指標の第１平面座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２) 、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)と、その撮影画像における４つの校正指標の算定された撮影画像座標位置：Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)との対応付けを行い、ホモグラフィ：Ｈが算定される。一旦ホモグラフィＨ が算定されると、撮影画像面：πにおける任意の撮影画像座標位置の点Ｐn(ｘn,ｙn)の第１平面における座標位置Ｍn(Ｘn,Ｙn)への変換が可能となる。
【００１６】
上述した基本原理を用いた、本発明に係るカメラ校正装置の原理を図２に基づいて説明する。
カメラ１の撮影視界における第１平面Πにおいて、カメラ１からの撮影距離が短い近傍領域Πsと、カメラ１からの撮影距離が長い遠方領域Πwが規定されている。近傍領域Πsには４つの平面状近傍校正指標（以下単に近傍指標と称する）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されており、遠方領域Πwにはそれぞれカメラ光軸の横断方向に大きく間隔をあけた２つの平面状遠方校正指標（以下単に遠方指標と称する）Ｍ５、Ｍ６が配置されている。なお、近傍指標と遠方指標を特に区別する必要のない場合では、単に指標という語句を用い、校正指標を総称する図番を９とした。また、第１平面Πの平面座標系における各指標の座標位置は指標の実座標位置として既知である。
【００１７】
この第１平面Πをカメラ１で撮影するとその撮影画像は撮影画像面πで得られる。この撮影画像における４つの近傍指標の撮影画像座標系での座標位置が算定画像位置として画像処理技術を通じて算定される。その際、４つの近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４は、撮影距離が短く横断方向で中央の領域である極めて狭い領域である近傍領域Πsに配置されているので、その撮影像も撮影画像内の極めて限定された領域に位置することになり、その検索処理の演算負担が小さいものとなる。
【００１８】
４つの近傍指標の上記実座標位置と上記算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ１を求めることができる。このホモグラフィ：Ｈ１は、撮影画像において小さくかたまっている４つの算定画像位置を用いて算定されているので、ここではこのホモグラフィを予備ホモグラフィと称する。この予備ホモグラフィ：Ｈ１を用いることで、任意の第１平面Π上の点と撮影画像面πの点の位置関係が得ることができるので、この予備ホモグラフィ：Ｈ１を用いて、遠方指標Ｍ５、Ｍ６の撮影画像座標系での存在位置をほぼ推定することができる。この推定された座標位置を参照することで、遠方指標Ｍ５、Ｍ６の撮影像も検索が容易となり、高速で遠方指標Ｍ５、Ｍ６の算定画像位置を得ることができる。このようにして得られた、指標Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６から、できるだけ第１平面Πの大きな領域を規定することができる４つの指標を選択する。図２の例であれば、近傍指標Ｍ１、Ｍ２及び遠方指標Ｍ５、Ｍ６を選択すると第１平面Πにおいて最も大きな領域を規定することができる。
【００１９】
このように、選択された近傍指標Ｍ１、Ｍ２及び遠方指標Ｍ５、Ｍ６の実座標位置と算定画像位置とから、撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ２を求めることができる。このホモグラフィ：Ｈ２は、撮影画像において大きく分散した４つの算定画像位置を用いて算定されているので、予備ホモグラフィ：Ｈ１より全領域での精度が高いものとなる。従って、このホモグラフィ：Ｈ２を精密ホモグラフィと称する。
【００２０】
このようにして構築された精密ホモグラフィ：Ｈ２を用いてカメラ１の校正を行うことで、カメラ１の内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、道路面等の第１平面Πと撮影画像に基づくモニタ等の表示画像との対応が適正となるカメラ校正が実現する。
【００２１】
移動体としての車両に搭載された複数の車載カメラ１を校正するために本発明に係るカメラ校正装置が適用された例を実施の形態の１つとして以下に説明する。
図３は、第１平面Πとしての路面の所定の位置に停止した車両と、その路面に描画された校正指標とカメラ視界との関係を示す説明図である。ここでは車載カメラ１として、車両前方をカメラ視界とする第１カメラ１１と、車両右側方をカメラ視界とする第２カメラ１２と、車両後方をカメラ視界とする第３カメラ１３と、車両左側方をカメラ視界とする第４カメラ１４とが備えられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。
【００２２】
各カメラ１の視界内に入っている路面は、それぞれ、車両に近い中央に位置する近傍領域Πｓと、車両から遠い両側の遠方領域Πｗとを含んでいる。遠方領域Πｗは隣合うカメラ１の視界内に入っている路面の遠方領域Πｗとの共通領域となっている。それぞれの近傍領域Πｓには、図４に例示するような、マーカとも呼ばれている白黒の市松模様のパターンからなる図番９で総称される近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４が描画されている。この指標９は白の矩形２個、黒の矩形２個の計４個の矩形により校正された市松模様パターンであり、そのパターン中央の点Ｑの座標位置が実際に用いられる指標９の座標位置である。従って、点Ｑの位置を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点を点Ｑとみなす。
【００２３】
また、それぞれの遠方領域（共通領域）Πｗには１つの同様な模様をもつ遠方指標Ｍ５、Ｍ６、Ｍ７、Ｍ８が描画されている。なお、指標それ自体は、路面に直接描画してもよいし、プレート体の表面に指標を描画して、このプレート体を任意に移動設置するようにしてもよい。いずれにせよ、第１カメラ１１による撮影画像には第１カメラ１１が専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び隣り合う第２カメラ１２または第４カメラ１４とで共有している遠方指標Ｍ５とＭ６の画像が含まれる。同様に第２カメラ１２による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ６とＭ７の画像が含まれ、第３カメラ１３による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ７とＭ８の画像が含まれ、第４カメラ１４による撮影画像には専有している近傍指標Ｍ１、Ｍ２、Ｍ３、Ｍ４及び共有している遠方指標Ｍ８とＭ５の画像が含まれる。従って、遠方指標Ｍ５、Ｍ６、Ｍ７、Ｍ８は隣り合うカメラに共通的に撮影される共通校正指標としての機能をもつ。
【００２４】
このような車両と校正指標とカメラ視界との関係において、図２を用いて説明したカメラ校正を実施するため、この車両に搭載されたカメラ校正装置は、図５で模式的に示すような機能部を構築しているコントロールユニット５と、このコントロールユニット５に接続されたモニタ６を備えている。上記４台の車載カメラ１はこのコントロールユニット５にデータ伝送可能に接続されており、各撮影視界の撮影画像をコントロールユニット５に送り込む。
【００２５】
コントロールユニット５に構築された、本発明に特に関係する機能部は、画像取得部５１と、指標情報管理部５２と、指標位置算定部５３と、ホモグラフィ算定部５４と、指標位置推定部５５と、校正部５６と、表示画像生成部５７である。画像取得部５１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。指標情報管理部５２は、各カメラ１の視界毎に路面Πに配置された、近傍校正指標と遠方校正指標を含む校正指標９の実座標位置である路面座標位置を管理しており、要求に応じて処理対象となっている校正指標９の路面座標位置を機能部に与える。車両の停止位置が決められ、各校正指標９も所定の位置に描画またはセットされている場合には、この路面座標位置は不揮発性メモリ等に記憶しておくとよい。また、校正指標９と車両との路面におけう相対位置が変動する場合には、その都度入力された校正指標９の路面座標位置を指標情報管理部５２が管理することになる。
【００２６】
指標位置算定部５３は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を算定座標位置として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を算定座標位置とする。指標位置算定部５３は、後で詳しく説明するが、近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部５３ａと、遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部５３ｂとの２つの機能を有する。
【００２７】
ホモグラフィ算定部５４は、少なくとも４つの校正指標９の路面座標位置と算定座標位置とから撮影画像の撮影画像面πと路面Πとの間のホモグラフィを算定する。このホモグラフィ算定部５４は２つのホモグラフィを算定する機能を有している。つまり、少なくとも４つの近傍指標の路面座標位置と算定座標位置とから撮影画像面πと路面Πとの間の予備ホモグラフィ：Ｈ１を算定する予備ホモグラフィ算定部５４ａと、近傍指標位置算定部５３ａによって算定された近傍指標と遠方指標位置算定部５３ｂによって算定された遠方指標とから選択された少なくとも４つの選択指標の算定座標位置及びこれらに対応する路面座標位置とから撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ２を算定する精密ホモグラフィ算定部５４ａとである。
【００２８】
指標位置推定部５５は、予備ホモグラフィ：Ｈ１に指標情報管理部５２から読み出した遠方指標の路面座標位置を適用して遠方指標の撮影画像座標系での位置を推定する。遠方指標位置算定部５３ｂは、指標位置推定部５５によって推定された推定領域を検出対象領域として遠方校正指標の座標位置を算定する。
【００２９】
校正部５６は、カメラ１毎に精密ホモグラフィ算定部５４ａで算定された各撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ２１、Ｈ２２、Ｈ２３、Ｈ２４から、各カメラ１の校正データを設定する。表示画像生成部５７は、校正部５６によって設定された校正データを参照して、各カメラ１からの撮影画像をモニタ６に表示するための表示画像に変換し、各カメラ１の撮影画像間でずれのない表示画像をユーザに提供する。
【００３０】
上述したように構成されたカメラ校正装置による複数カメラ１の校正処理の流れを図６のフローチャートを用いて説明する。
まず、最初に校正処理するカメラ１を指定して（＃０１）、指定されたカメラ１の撮影画像をワーキングメモリに取り込む（＃０２）。指定されたカメラ１の視界に属する近傍領域の位置情報を参照して、その近傍領域に配置されている近傍指標のための注目検索領域を撮影画像に対して設定する（＃０３）。設定された注目検索領域から４つの近傍指標を検出し、その画像座標位置を算定する（＃０４）。算定された４つの近傍指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃０５）。４つの近傍指標の算定座標位置と路面座標位置とを利用して、予備ホモグラフィ：Ｈ１を算定する（＃０６）。指定されたカメラ１の視界に属する遠方領域に配置された遠方指標の路面座標位置を指標情報管理部５２から読み取って、予備ホモグラフィ：Ｈ１に与えることで、当該遠方指標の撮影画像座標系での存在位置を推定する（＃０７）。この推定された存在位置に基づいて、撮影画像上で遠方指標を検出するための注目検索領域を設定する（＃０８）。設定された注目検索領域から２つの近傍指標を検出し、その画像座標位置を算定する（＃０９）。算定された２つの遠方指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃１０）。遠方指標と、４つの近傍指標から選んだより遠方指標から遠い２つの近傍指標との算定座標位置と路面座標位置とを利用して、精密ホモグラフィ：Ｈ２を算定する（＃１１）。算定された精密ホモグラフィ：Ｈ２は、指定されたカメラ１のホモグラフィとして登録される（＃１２）。次に、４台の全てのカメラ１の精密ホモグラフィ：Ｈ２の登録が完了したかどうかチェックされ（＃１３）、まだ未了のカメラが残っていると（＃１３No分岐）、再びステップ＃０１に戻って、上述した処理を繰り返す。全てのカメラ１の精密ホモグラフィ：Ｈ２の登録が完了した場合（＃１３Yes分岐）、全てのカメラ１の精密ホモグラフィ：Ｈ２１、Ｈ２２、Ｈ２３、Ｈ２４から、各カメラ１の校正データをカメラ校正テーブルに登録して、このカメラ校正ルーチンを終了する（＃１４）。
【００３１】
〔平面状校正指標の別形態〕
以下に、図４で示された平面状校正指標９以外の模様を有する平面状校正指標を例示する。
（１）図７で示す校正指標９では、近傍指標は黒く（周囲と画像処理的に区別できるならその色は黒に限定されない）塗りつぶされた台形であり、遠方指標は黒く塗りつぶされた三角形である。近傍指標を規定する台形は、カメラの光学中心位置から同一の放射角度で放射状に伸びる２本の直線と、カメラの光軸（図７においてカメラ位置から上下方向に延びる線）に直交する２本の平行な直線とによって規定される台形である。この台形の４つのコーナ点が４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４となる。この台形の境界辺をエッジ検出により検出し、検出された４つの境界線の交点を算定することで４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４が得られる。遠方指標を規定する三角形は、カメラの光学中心位置から遠方領域の方に延びた１本の放射直線とカメラの光軸に直交する１本の直線と任意に設定可能な直線によって規定される三角形である。三角形の２つの境界辺を横方向エッジ検出により検出し、検出された２本の境界線の交点を算定することで校正指標点ｑ５またはｑ６が得られる。
【００３２】
（２）
使用するカメラが高品質でない場合、被写体の輝度によっては像の位置がずれる可能性がある。このような場合は、そのままエッジ検出した後に直線を当てはめても実際とは異なる位置に直線が設定されてしまう恐れがある。この問題を解決するために、図８で示す校正指標は、その濃淡パターンが相補的となっていることで、上記ずれをキャンセルさせるようになっている。つまり、図７による校正指標と比較して、その近傍指標のパターン模様は、実質的には２本の放射直線と、２本の平行直線とによって規定される１つの台形と、その台形の各頂点の１８０°回転位置に規定されるほぼ相似するダミーの４つの台形が黒く塗りつぶされた模様となっている。近傍指標のパターン模様は、図７での遠方指標である三角形の対頂角側にもうひとつダミーの三角形が配置された模様となっている。つまり、校正指標としての中央の台形及び三角形の基準線を共有するダミーの台形と三角形が存在することにより、相補的な濃淡パターンが実現されている。
（２）
図９に示されたこの校正指標は、図８に示された校正指標と類似しているが、ダミーを含む台形及び三角形のサイズを、カメラ１より遠方側に位置するものほど大きくすることにより撮影画像上でのそれぞれのサイズがほぼ同一のサイズとなるように設定されている。この校正指標の撮影画像が図１０に示されている。この図１０から理解できるように、実際の路面上では放射状直線であったものが撮影画像上では垂直線として現れ、水平線であったものはそのまま水平線としてあらわれるので、画像処理におけるエッジ検出が大変処理がシンプルになる。これにより、各パターンのエッジ検出精度が向上、結果的に校正指標点の算定を導く直線検出の精度の向上が期待できる。
【００３３】
〔別実施の形態〕
（１）上述した実施の形態では、モノグラフィを算定するため、４つの校正指標を用いていたが、もちろん４つ以上の校正指標を用いてもよい。また、配置される近傍指標（詳しくは近傍指標点）も４つとしていたが、それ以上の近傍指標を配置し、最も検出しやすいものだけを選択して利用するようにしてもよい。遠方指標も２つに限定されるわけではなく、１つ以上であればよい。また、よりたくさんの遠方指標を配置して、最も検出しやすいものだけを選択して利用するようにしてもよい。
【００３４】
校正指標の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
【００３５】
本発明によるカメラ校正（カメラの校正）の具体的な目的の１つは、カメラ１により取得された撮像画像をモニタ６に表示するとともに、当該撮像画像に所定の画像情報（例えば、車両駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両の進路を予想した予想進路線等）を重畳する際に、撮影画像と重畳画像との関係を正確にするためである。本発明によるカメラ校正（カメラの校正）により実際の路面位置と撮影画像上での路面位置が正確に対応付けられているので、モニタ６におけるカメラ１により取得された撮像画像と付加的な重畳画像との位置関係が正確となる。すなわち、撮影画像はそのままで、重畳画像を補正して撮影画像と付加的な重畳画像との位置関係が正確になるようにもできるし、重畳画像は固定で撮影画像の方を補正して、撮影画像と付加的な重畳画像との位置関係が正確となるようにもできる。
また、本発明によるカメラ校正（カメラの校正）を通じて実際の路面位置と撮影画像上での路面位置が正確に対応付けられていると、車載カメラで取得された撮像画像に含まれる表示物（例えば、車線や物体等）の実際の位置が撮像画像の画像処理を通じて正確に特定することができる。
【産業上の利用可能性】
【００３６】
本発明は、そのカメラパラメータが未知である単一のカメラあるは複数のカメラために、撮影画像面とカメラ視界における特定平面との関係を整合させるカメラ校正を行う必要がある全ての分野で適用することができる。
【符号の説明】
【００３７】
Π：第１平面（路面）
π：撮像画像面
Ｈ：ホモグラフィ
Ｈ１：予備ホモグラフィ
Ｈ２：精密ホモグラフィ
５：コントロールユニット
９：校正指標
Ｍ１〜Ｍ４：近傍校正指標
Ｍ５〜Ｍ６：遠方校正指標
５１：画像取得部
５２：指標情報管理部
５３：指標位置算定部
５３ａ：近傍指標位置算定部
５３ｂ：遠方指標位置算定部
５４：ホモグラフィ算定部
５４ａ：予備ホモグラフィ算定部
５４ｂ：精密ホモグラフィ算定部
５５：指標位置推定部
５６：校正部
５７：表示画像生成部
【特許請求の範囲】
【請求項１】
カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、
前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、
前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、
前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、
前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、
前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、
前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、
前記精密ホモグラフィを用いて前記カメラの校正を行う校正部と、
を備えたカメラ校正装置。
【請求項２】
前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が前記撮影画像面の中で広い範囲に分布するように選択される請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面に描画されたエッジを有するマーカである請求項１または２に記載のカメラ校正装置。
【請求項４】
前記画像取得部は、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得し、前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行う請求項１から３のいずれか一項に記載のカメラ校正装置。
【請求項５】
前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置されており、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されている請求項４に記載のカメラ校正装置。
【請求項６】
前記カメラが移動体に取り付けられたカメラであり、前記カメラには、車両前方を撮影視界とする前方カメラと、車両右側方を撮影視界とする右側方カメラと、車両左側方を撮影視界とする左側方カメラと、車両後方を撮影視界とする後方カメラが含まれており、
前記第１平面は路面であり、前記近傍校正指標が前記路面に描画された４つのマーカであり、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカである請求項４または５に記載のカメラ校正装置。
【請求項１】
カメラの撮影視界における第１平面内で規定された、前記カメラからの撮影距離が短い近傍領域に配置された少なくとも４点の座標を表す平面状近傍校正指標及び前記カメラからの撮影距離が長い遠方領域に配置された少なくとも１つの平面状遠方校正指標と含む撮影画像を取得する画像取得部と、
前記第１平面における前記近傍校正指標と前記遠方校正指標との座標位置を実座標位置とし管理している指標情報管理部と、
前記撮影画像における前記近傍校正指標の座標位置を算定座標位置として算定する近傍指標位置算定部と、
前記少なくとも４点の座標を表す近傍校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の予備ホモグラフィを算定する予備ホモグラフィ算定部と、
前記予備ホモグラフィを用いて前記撮影画像における前記遠方校正指標の存在位置を推定する遠方指標位置推定部と、
前記推定された存在位置を用いて前記撮影画像における前記遠方校正指標の座標位置を算定座標位置として算定する遠方校正指標位置算定部と、
前記近傍指標位置算定部によって算定された近傍指標及び前記遠方指標位置算定部によって算定された遠方指標のうちから選択された少なくとも４点の座標を表す選択指標の算定座標位置及びこれらに対応する実座標位置とから前記撮影画像の撮影画像面と前記第１平面との間の精密ホモグラフィを算定する精密ホモグラフィ算定部と、
前記精密ホモグラフィを用いて前記カメラの校正を行う校正部と、
を備えたカメラ校正装置。
【請求項２】
前記精密ホモグラフィを算定するために用いられる選択校正指標は、当該選択校正指標によって区画される領域が前記撮影画像面の中で広い範囲に分布するように選択される請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面に描画されたエッジを有するマーカである請求項１または２に記載のカメラ校正装置。
【請求項４】
前記画像取得部は、異なる撮影視界を有するとともに隣り合うカメラの撮影画像における前記第１平面で共通する共通領域を有する複数のカメラからの撮影画像を取得し、前記共通領域には少なくとも１つの共通校正指標が位置しており、前記校正部は前記精密ホモグラフィを用いて得られた隣り合うカメラの撮影画像における前記共通校正指標の位置関係から前記隣り合うカメラの校正を行う請求項１から３のいずれか一項に記載のカメラ校正装置。
【請求項５】
前記近傍校正指標が各カメラの撮影画像における撮影中心線近傍で撮影距離の短い領域に位置するように配置されており、前記共通校正指標が各カメラの撮影画像における周辺部で撮影距離の長い領域に位置するように配置されている請求項４に記載のカメラ校正装置。
【請求項６】
前記カメラが移動体に取り付けられたカメラであり、前記カメラには、車両前方を撮影視界とする前方カメラと、車両右側方を撮影視界とする右側方カメラと、車両左側方を撮影視界とする左側方カメラと、車両後方を撮影視界とする後方カメラが含まれており、
前記第１平面は路面であり、前記近傍校正指標が前記路面に描画された４つのマーカであり、前記遠方校正指標が前記路面に描画された互いにかつ前記近傍校正指標から遠く離れた２つのマーカである請求項４または５に記載のカメラ校正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２３１３９５（Ｐ２０１０−２３１３９５Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６８５７（Ｐ２００９−７６８５７）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【Ｆターム（参考）】
[ Back to top ]