車載カメラのキャリブレーション装置およびキャリブレーション方法
【課題】カメラのキャリブレーション装置および方法において、車両の周囲に広いスペースを確保する必要がなく、しかも走行中であっても実行することができるものとする。
【解決手段】車両２００に設置されて、後部バンパ２１０の輪郭２１１を調整パターンとして含む映像を撮影するカメラ１と、カメラ１の設置姿勢を特定するパラメータを記憶するパラメータ保存メモリ３と、後部バンパ２１０の輪郭２１１を模した調整マーカＭを、パラメータに応じた姿勢で生成するマーカ生成部２１と、調整パターン２１１を含む映像に調整マーカＭを重畳的に表示させるモニタ５と、調整マーカＭの表示姿勢を調整する指示が入力される外部入力インタフェース６と、入力された調整の指示に対応する新たなパラメータを算出して、パラメータ保存メモリ３に記憶させるパラメータ演算部２２とを備える。
【解決手段】車両２００に設置されて、後部バンパ２１０の輪郭２１１を調整パターンとして含む映像を撮影するカメラ１と、カメラ１の設置姿勢を特定するパラメータを記憶するパラメータ保存メモリ３と、後部バンパ２１０の輪郭２１１を模した調整マーカＭを、パラメータに応じた姿勢で生成するマーカ生成部２１と、調整パターン２１１を含む映像に調整マーカＭを重畳的に表示させるモニタ５と、調整マーカＭの表示姿勢を調整する指示が入力される外部入力インタフェース６と、入力された調整の指示に対応する新たなパラメータを算出して、パラメータ保存メモリ３に記憶させるパラメータ演算部２２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラのキャリブレーション装置およびキャリブレーション方法に関する。
【背景技術】
【０００２】
自動車にカメラおよびモニタが設置され、カメラで撮影された車両周囲の映像に基づいた映像情報などを車室内のモニタに表示して、運転操作時の利便性を向上させる技術が各種提案されている。
【０００３】
このような車載カメラシステムは、当初は、運転者に対して、死角となる領域の映像を視認可能とさせることのみを目的としていたため、カメラで撮影された映像（実カメラ映像）をそのままモニタに表示するに過ぎなかった。
【０００４】
その後、歪みの少ないカメラの生映像上に、遠近の目安となる距離マーカを重畳表示することにより、ある程度の距離感を与えて、利便性をより向上させることも行われている。
【０００５】
この場合、モニタ上での、実カメラ映像と距離マーカとの表示位置をある程度調整する必要があるが、距離マーカは距離の目安に過ぎなかったため、モニタ上における距離マーカの概略表示位置をある程度調整するだけで十分であった。
【０００６】
しかし、カメラで撮影された映像に対して、例えば車両の真上から視た擬似的な映像に変換する、いわゆる視点変換処理を施したり、車両に設置された複数のカメラで得られた複数の映像を繋げる変換処理などを行う場合、車両に対するカメラの設置姿勢（車両の前後方向、幅方向、鉛直方向の各軸回りのカメラの光軸の角度）を精度よく調整する必要がある。
【０００７】
しかし、そのような厳密な調整に要する時間や労力と、経済的なコストとのバランスを考慮すると、全く誤差の無い完全な設置姿勢を得るのは困難である。
【０００８】
そこで、実際の設置姿勢についてはある程度の誤差を許容しつつも、モニタに表示される映像上では、見かけ上、誤差が存在しないように、予め誤差を見込ん補正演算処理（キャリブレーション）が行われる（特許文献１）。
【０００９】
このキャリブレーションは、カメラの設置姿勢を特定するカメラパラメータを対象とした演算処理によって行われる（特許文献２）。
【特許文献１】特開２００５−７７１０７号公報
【特許文献２】特願２００５−２８５５３１号公報（未公開）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１，２による技術は、キャリブレーションに用いる調整用のパターンやマーカを車両周囲の地面上に用意する必要があり、車両周囲に、その調整用パターン等を設けるための広いスペースを確保しなければならず、車両の組立てラインや、修理工場の施設において、そのような広いスペースを確保するのは、困難である。
【００１１】
また、上述した技術におけるキャリブレーションは、車両を停止させている場合にのみ行うことができ、例えば車両の走行中にキャリブレーションが必要になった場合は、車両を一旦停車させ、車両の周囲に所定の広いスペースを確保した上で、キャリブレーションを行う必要がある。
【００１２】
従来のキャリブレーション装置およびキャリブレーション方法は、このように制限が多く、十分な実用性を発揮するには至っていない。
【００１３】
本発明は上記事情に鑑みなされたものであって、車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することができる車載カメラのキャリブレーション装置およびキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法は、車載カメラで撮影された車両の表面の一部を、キャリブレーションの調整パターンとし、この調整パターンに、この車両の表面の一部に対応して生成された調整マーカ（基準パターン）を一致させるように、調整マーカの姿勢を規定するパラメータを調整することにより、車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することを可能としたものである。
【００１５】
すなわち、本発明に係る車載カメラのキャリブレーション装置は、車両に設置されて、該車両の表面の一部を調整パターンとして含む映像を撮影するカメラと、前記カメラの設置姿勢を特定するパラメータを記憶するパラメータ記憶手段と、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成するマーカ生成手段と、前記調整パターンを含む映像に前記調整マーカを重畳的に表示させる表示手段と、前記表示手段において、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示が入力される入力手段と、前記入力手段に入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段に記憶されたパラメータを前記新たなパラメータに置き換えるパラメータ演算手段とを備えたことを特徴とする。
【００１６】
ここで、調整パターンとしての車両の表面の一部としては、例えばカメラとして車両後方用カメラを適用したものでは、車両の後部バンパの外形輪郭などが代表的なものであるが、その他、カメラで映すことができる範囲の部分であってもよい。
【００１７】
車両の側方用カメラの場合や前方用カメラの場合も、車体の側部パネルの外形輪郭や前部バンパの外形輪郭などや、その他、カメラで映すことができる範囲の部分を適用することができる。
【００１８】
カメラの設置姿勢を特定するパラメータは、具体的には、所定の基準軸回りの回転角度などであり、例えば、車両の前後方向、幅方向、鉛直方向にそれぞれ延びる各軸に対してカメラの光軸が為す角度を適用することができる。
【００１９】
本発明に係る車載カメラのキャリブレーション方法は、車両に対するカメラの設置姿勢を特定するパラメータを記憶し、前記カメラによって撮影された、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成し、前記カメラによって撮影された、該車両の表面の一部を調整パターンとして含む映像に、前記調整マーカを重畳的に表示させ、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示を入力し、前記入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段記憶されたパラメータを前記新たなパラメータに置き換えて、前記カメラをキャリブレーションすることを特徴とする。
【発明の効果】
【００２０】
本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法によれば、カメラで映された車体の一部をキャリブレーションの対象とするため、従来のように車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法の最良の実施形態について、図面を参照して説明する。なお、本実施形態は、マイクロコンピュータ、各種メモリ、入出力装置等をプログラムによって制御することで実現することができるが、この場合のハードウェアやプログラムの実施態様は各種変更可能である。したがって、以下の説明では、本発明及び本実施形態の各機能を実現する仮想的回路ブロックを用いる。
（実施形態の概要）
車両に設置されて、車両の表面の一部を含む映像を撮影するカメラにおいては、設置位置および設置姿勢（角度）という設置状態を特定するカメラパラメータがある。
【００２２】
ここで、車体に対するカメラの設置位置の誤差は、当該カメラによって撮影された映像（この映像を構成する各フレームを画像という。）における各対象画像部分の位置精度に大きな影響を及ぼさないが、設置姿勢の誤差は、撮影された画像における各対象画像部分の位置精度に大きな影響を及ぼす。特に、この画像に基づいて、視点変換処理等の位置に関係する画像処理を施した場合には、その影響は顕著なものとなる。
【００２３】
本実施形態のキャリブレーション装置は、以下、設置姿勢を特定するパラメータをキャリブレーションするものである。
【００２４】
そして、この実施形態のキャリブレーション装置は、車載カメラで撮影された映像のうち車両の表面の一部である調整パターンに、メモリに記憶されたパラメータに基づいて描かれたシミュレーション画像（調整マーカ）を重畳的に表示し、調整マーカが調整パターンに一致するようにパラメータを微調整し、調整マーカが調整パターンに一致したときのパラメータを、当該カメラの最新のパラメータとするものである。
（実施形態の構成）
図１は、本発明の一実施形態に係る車載カメラのキャリブレーション装置１００を示すブロック図である。
【００２５】
図示のキャリブレーション装置１００は、図２に示すように車両２００の後部に設置されて、この車両２００の後部バンパ２１０の輪郭２１１（車両の表面の一部）を調整パターンとして含む映像Ｐ０を撮影するカメラ１と、カメラ１の設置姿勢を特定するパラメータを記憶するパラメータ保存メモリ３（パラメータ記憶手段）と、調整パターンである後部バンパ２１０の輪郭２１１を模した調整マーカＭを、パラメータに応じた姿勢で生成するマーカ生成部２１（マーカ生成手段）と、調整パターン２１１を含む映像Ｐ０に調整マーカＭを重畳的に表示させる描画部４およびモニタ５（表示手段）と、モニタ５において、調整マーカＭの表示を調整パターン２１１の表示に一致させるように、調整マーカＭの表示姿勢を調整する指示（調整量）が入力される外部入力インタフェース６（入力手段）と、この外部入力インターフェース６に入力された調整量に対応した新たなパラメータを算出するパラメータ演算部２２（パラメータ演算手段）とを備えた構成である。
【００２６】
ここで、マーカ生成部２１とパラメータ演算部２２とは、マイクロコンピュータによるプログラムによって実現される機能であり、マイクロコンピュータの制御部２に含まれている。
【００２７】
また、パラメータ保存メモリ３は、予め設計的に定められたデフォルトパラメータを記憶した読出し専用のＲＯＭ部と、キャリブレーション処理の都度、最新のパラメータに順次置き換えられるフラッシュメモリ部とを有している。
【００２８】
外部入力インタフェース６は、ユーザが調整操作を行うためのインタフェースである。
【００２９】
図２は、車両２００に対するカメラ１の位置関係の一例を示す模式図である。ここで、任意の一点（例えば、リアシャフト中心から鉛直下方に下ろした地面上の点）を空間座標の原点とし、例えばカメラ１の光軸方向が鉛直方向の下向きの設置姿勢を、カメラ１の基準姿勢として決めておくことで、この車両２００に取付けられるカメラ１の設置位置および設置姿勢を特定することができる。
【００３０】
したがって、車載後部カメラや車載側部カメラ等、車両２００におけるカメラ１の設置部位による、設置位置および設置姿勢の特定方法に差異はない。つまり、カメラ１は車両２００の後部に設置されたものには限定されない。
【００３１】
そして、カメラ１の設置姿勢は、簡単のため車両の挙動に対応させた、ピッチ角、ロール角およびヨー角（３次元空間の互いに独立した３軸周りの回転角度θ，φ，ψ）で一義的に特定することができるため、カメラ１のどのような設置姿勢も、この３つの回転角度で表現すればよく、これらの回転角度は設置姿勢を特定するパラメータとして最適である。
【００３２】
これを利用すると、既に任意のパラメータθ0，φ0，ψ0により設置姿勢が特定されているカメラ１に対して、さらにいずれかの軸回りの回転を加えても、変化後に対応した新たなパラメータθ，φ，ψにより、新たな設置姿勢を特定することができる。
【００３３】
マーカ生成部２１は、パラメータ保存メモリ３から入力されたパラメータにより特定される設計上の設置姿勢で設置されたカメラ１によって、空間上における設置位置が既知の後部バンパ２１０の輪郭２１１を撮影した場合に、モニタ５上に得られるべき調整パターン（当該輪郭２１１）を模した調整マーカＭの描画データを生成する。
【００３４】
なお、本実施形態のキャリブレーション装置１００の実際の処理においては、後述するパラメータ演算部２２が、パラメータを３×３の回転行列に変換してマーカ生成部２１に出力し、マーカ生成部２１は、このパラメータ演算部２２から入力された３×３の回転行列に基づいて、調整マーカＭを生成している。
【００３５】
パラメータ演算部２２は、外部入力インタフェース６に入力された指示（調整量）に応じた、調整マーカＭの姿勢変位に対応する３×３の調整用回転行列を求めるとともに、得られた調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部（最初のキャリブレーション処理のときはＲＯＭ部）に記憶されたパラメータ（最初のキャリブレーション処理のときはデフォルトパラメータ）に基づく３×３の回転行列との演算により、３×３の合成回転行列を求めて、この合成回転行列をマーカ生成部２１に出力する。
【００３６】
また、パラメータ演算部２２は、得られた合成回転行列を、この合成回転行列に対応する回転角度というパラメータに変換して、パラメータ保存メモリ３のフラッシュメモリ部に保存させる。
【００３７】
描画部４は、制御部２において生成された描画データを保存する描画データメモリ４１と、描画データメモリ４１に保存されたデジタルの描画データを、カメラ１から入力されたアナログの実カメラ映像Ｐ０に重畳させるように合成（スーパーインポーズ）する描画ブロック４２とを有している。
【００３８】
モニタ５は、ＬＣＤ等の車載用の表示装置であり、描画ブロック４２で合成された映像を表示する。
【００３９】
外部入力インタフェース６からパラメータ演算部２２に入力された調整マーカＭの姿勢変位の指示（調整量）は、パラメータ演算部２２によって略リアルタイムに調整用回転行列に変換され、さらに、この調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部（最初のキャリブレーション処理のときはＲＯＭ部）に記憶された最新のパラメータ（最初のキャリブレーション処理のときはデフォルトパラメータ）に基づく３×３の回転行列との演算により、合成回転行列に変換され、マーカ生成部２１がこの合成回転行列に基づいて新たな姿勢の調整マーカＭを生成して、モニタ５には、実カメラ映像Ｐ０と新たな姿勢の調整マーカＭとが重畳的に表示されるため、ユーザは、モニタ５に映った実カメラ映像Ｐ０と姿勢が逐次変化する調整マーカＭとの重畳的表示を見ながら、調整マーカＭを実カメラ映像Ｐ０の調整パターン２１１に一致させるように、試行錯誤的に調整マーカＭの姿勢変化の指示を入力することができる。
【００４０】
なお、外部入力インタフェース６としては、十字キーなどのスイッチやカーソル等を備えたリモコンであってもよいが、タッチパネルの機能を備えたモニタ５に兼用させることもできる。この場合、制御部２は、操作用の描画データを生成する機能を備える。例えば、表示されたボタンや矢印等に触れることにより、調整対象に所定量の変化が生じるように設定することもできる。
（実施形態の作用）
以上のような本実施形態の車載カメラのキャリブレーション装置１００による処理手順を、図３のフローチャートにしたがって説明する。
【００４１】
まず、従来技術であれば、車両２００の後方にキャリブレーションを実行するに相応しい大きな領域を占有する調整パターンを用意する必要があった。例えば図４における市松模様状のシートＰ１などである。このシートＰ１は、車両２００の大きさと同程度の広さを有しており、車両２００の後方に、このシートＰ１を水平に配置するための広いスペースが必要であった。
【００４２】
しかし、本実施形態のキャリブレーション装置１００は、車両２００の一部である後部バンパ２１０の輪郭２１１を調整パターンとしているため、車両２００の後方に広いスペースを確保する必要がない。なお、この調整パターンである後部バンパ２１０の輪郭２１１の空間座標は前述したように既知である。
【００４３】
制御部２は、パラメータ保存メモリ３のフラッシュメモリ部に記憶された最新のパラメータを読み出す（Ｓ３０１（ステップ３０１））。
【００４４】
なお、初めてのキャリブレーション処理の場合、または工場出荷状態に戻した初期化後に初めてキャリブレーション処理を行う場合に限って、フラッシュメモリ部に記憶された最新のパラメータを読み出す処理に代えて、パラメータ保存メモリ３のＲＯＭ部に記憶されたデフォルトパラメータを読み出すものとする。
【００４５】
読み出されたパラメータ（またはデフォルトパラメータ）は、制御部２のパラメータ演算部２２により、このパラメータ（またはデフォルトパラメータ）に対応する３×３の回転行列に変換され、得られた回転行列はマーカ生成部２１に入力される。
【００４６】
マーカ生成部２１は、入力された回転行列の演算を行って、調整パターン２１１を模した調整マーカＭを生成する（Ｓ３０２）。生成された調整マーカＭは、描画データメモリ４１に描画され、この調整マーカＭは、描画ブロック４２により、カメラ１が撮影した調整パターン２１１を含む実カメラ映像と重畳的に合成され、モニタ５に表示される（Ｓ３０３）。
【００４７】
カメラ１の実際の設置姿勢が、パラメータで特定される設置姿勢からずれていると、図４（ａ）に示すように、実カメラ映像Ｐ０内の調整パターン２１１に対して調整マーカＭがずれた映像が、モニタ５に表示される。
【００４８】
このモニタ５の表示を見たユーザは、外部入力インタフェース６を用いて、モニタ５に映った調整マーカＭの姿勢を変化させる指示（調整量）を入力する（ステップ３０４）。
【００４９】
外部入力インタフェース６に入力された指示は、パラメータ演算部２２に入力され、パラメータ演算部２２は、略リアルタイムに、入力された調整マーカＭの姿勢変位の指示（調整量）に対応した調整用回転行列に変換し（Ｓ３０５）、さらに、この調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部に記憶された最新のパラメータ（最初のキャリブレーション処理の最初のルーチンの場合は、ＲＯＭ部に記憶されたデフォルトパラメータ）に基づく３×３の回転行列との演算により、合成回転行列を算出し（Ｓ３０６）、マーカ生成部２１がこの合成回転行列に基づいて新たな姿勢の調整マーカＭを生成し（Ｓ３０７）、前述した描画データメモリ４１および描画ブロック４２の作用により、新たな姿勢の調整マーカＭと実カメラ映像Ｐ０とがモニタ５に重畳的に表示される（Ｓ３０８）。
【００５０】
モニタ５に表示された新たな姿勢の調整マーカＭと実カメラ映像Ｐ０内の調整パターン２１１とが、図４（ｂ）に示すように一致しているときは、ユーザは、外部入力インタフェース６を用いて、設置姿勢の調整の終了を指示入力する（Ｓ３０９）。
【００５１】
調整終了の指示が入力されると、パラメータ演算部２２は、ステップ３０６（Ｓ３０６）で算出した合成回転行列に対応した新たなパラメータ（回転後の角度）を算出し（Ｓ３１０）、この新たなパラメータを、パラメータ保存メモリ３のフラッシュメモリ部に保存する（Ｓ３１１）。
【００５２】
このとき、フラッシュメモリ部に既に保存されていた元のパラメータは、新たなパラメータに置き換えられ（上書きされ）、以後のキャリブレーション処理の際は、フラッシュメモリ部の記憶状態が初期化されない限り（工場出荷状態に戻されない限り）、ステップ３０１（Ｓ３０１）の読出し処理を含めて、ＲＯＭ部に記憶されているデフォルトパラメータを読み出すのではなく、フラッシュメモリ部に記憶されている最新のパラメータを読み出すものとする。
【００５３】
新たな姿勢の調整マーカＭと実カメラ映像Ｐ０の調整パターン２１１とが、図４（ａ）と同様に一致していないときは、これらが一致するまで、ステップ３０４（Ｓ３０４）からステップ３０９（Ｓ３０９）までの処理を繰り返す。
【００５４】
このように、カメラ１のパラメータを試行錯誤的に順次変化させることにより、本実施形態のキャリブレーション装置１００によるキャリブレーション処理が行われる。
【００５５】
上述したキャリブレーション処理は、回転行列の演算により行われるが、その具体的な方法を以下に説明する。
【００５６】
まず、カメラ１のパラメータに応じた回転角度θ，φ，ψが与えられ、任意の点は、数学的には次式（１），（２）に示す回転行列Ｒの演算により設置姿勢変換後の座標を得る。なお、Ｘinは回転前の設置姿勢による座標点であり、Ｘoutはパラメータにより回転後の設置姿勢の座標点である。
【００５７】
【数１】
【００５８】
【数２】
このように、変換対象に対して、回転行列を左からφ，θ，ψの順に演算している。回転行列ＲDを計算すると次式（３）に示すものとなる。
【００５９】
【数３】
この回転行列に回転角度のパラメータを代入した後、座標に対して演算させることで回転が実行される。
【００６０】
キャリブレーション処理の際には、この状態からさらに回転を加えて調整をすることになるが、例えばカメラ１を、ψ軸回りに△ψだけ回転させる場合には、回転行列Ｒ（Δψ）を左から追加して、次式（４）の計算となる。
【００６１】
【数４】
ここで、φ0，θ0，ψ0，Δψは、それぞれ具体的な数値が与えられるため、変数を用いることなく３×３行列によって表すことができる。
【００６２】
また、どのような設置姿勢の変換であっても、任意のφ，θ，ψによって表現することが可能であるから、ＲDa＝ＲDとすると調整後のカメラ１の姿勢も、φ，θ，ψによって表現することが可能である。実際には、次式（５）となる。
【００６３】
【数５】
ここで、ＲDa＝ＲDから必要部分だけ切り出すと、次式（６）の恒等式が与えられる。
【００６４】
【数６】
なお、sinθ＝０の場合は、sinθ≠０の場合と比べて、下記式（７）に示すように、変数の値を簡単化することができる。
【００６５】
【数７】
ここで、カメラ１の設置姿勢の基本的な条件が、０°≦θ＜９０°、−９０°＜φ＜９０°、−９０°＜ψ＜９０°であることを利用して計算を進めると、次式（８）となる。
【００６６】
なお、この例は、カメラ１が後方用カメラの場合であり、側方用カメラの場合は、ψの範囲は変化するが、角度の調整幅そのものが大きくなるものではない。
【００６７】
【数８】
上式（８）により得られたカメラ１の設置姿勢の角度を、パラメータと置き換える。これにより、１つの角度の調整が終了するか、または、いずれかの外部入力インタフェース６を１回操作した際の調整として反映される。
【００６８】
この操作を繰り返すことにより、モニタ５を見ながら常に最新状態からの位置合わせを実現することができる。最終的に、モニタ５において、調整パターンである後部バンパ２１０の輪郭２１１に、調整パターンＭが重なったときのパラメータが、車両２００に設置されたカメラ１の実際の設置姿勢の角度となる。
【００６９】
この最終的なカメラ１の設置姿勢の角度を、デフォルトパラメータ保存メモリ３に記憶し、カメラ１の設置姿勢のパラメータ（回転角度）とすることにより、キャリブレーションが完了する。
（実施形態の効果）
本実施形態に係る車載カメラのキャリブレーション装置１００およびこのキャリブレーション装置１００の作用としても把握することができる本発明の実施形態に係る車載カメラのキャリブレーション方法によれば、カメラ１で映された車両２００の表面の一部である後部バンパ２１０の輪郭２１１をキャリブレーションの対象とするため、従来のように車両２００の周囲に広いスペース（図４におけるシートＰ１の広さに対応したスペース）を確保する必要がなく、当該車両２００自体を配置することができる最低限のスペースだけで、キャリブレーション処理を行うことができる。
【００７０】
したがって、例えば車両２００の組立てライン上や修理工場内などの、広いスペースを確保することが困難な場所においても、簡単にキャリブレーション処理を行うことができる。
【００７１】
しかも、本実施形態に係る車載カメラのキャリブレーション装置１００およびキャリブレーション方法によれば、車両２００の走行中であってもキャリブレーションを実行することができ、実用面での使い勝手を大幅に向上させることができる。
【００７２】
また、本実施形態に係る車載カメラのキャリブレーション装置１００およびキャリブレーション方法によれば、モニタ５の表示において、カメラ１で撮像した調整パターン２１１と、パラメータに基づいて生成された調整マーカＭとが一致するように、外部入力インタフェース６によって調整することにより、パラメータを精度よく求めることができるため、カメラ１によって得られた映像に対して画像処理を施して得られる映像の精度を向上させることができる。
【００７３】
したがって、例えば、本実施形態のキャリブレーション装置１００を使用し、カメラ１で得られた映像に、安全車間距離ラインのマーカを、ヘッドアップディスプレイ(モニタ５)に重畳的に表示する等の場合、安全車間距離ラインのマーカを精度よく表示することができるとともに、運転者に対して、認識しやすく、かつ視界内で邪魔にならないシンプルな注意喚起を行うことが可能になる。これにより、良好な運転支援を行うことができる。
【００７４】
また、初期状態ではパラメータを用いて調整し、調整結果を保存し、これを次回のパラメータとして使用することにより、常に最新のパラメータを用いたキャリブレーションを行うことができる。
【００７５】
また、パラメータ保存メモリ３には、予め設計的に定められたデフォルトパラメータが記憶されており、これは書換え不能のＲＯＭ部に保存されているため、キャリブレーション装置１００を必要に応じて初期化することで、デフォルトパラメータを起点とした最初のキャリブレーション処理に、簡単に戻すこともできる。
【００７６】
さらに、ロール角、ヨー角、ピッチ角を用いることにより、カメラ１の設置姿勢を一義的に特定することが可能なパラメータを、効率よく演算することができる。
【００７７】
なお、本発明に係る車載カメラのキャリブレーション装置は、上述した実施形態に限定されるものではない。
【００７８】
すなわち、使用するカメラやモニタの数、種類、仕様、規格等は任意であり、カメラやモニタの設置位置、設置角度等も任意である。
【００７９】
調整パターン２１１の態様も、上記の実施形態で例示した後部バンパ２１０の輪郭２１１に限定されるものではなく、車両２００と一体化された車両２００の表面の一部であればよく、調整マーカＭも調整パターン２１１に応じたものとすればよい。
【００８０】
入力手段についても、ユーザが入力操作可能なものであればよい。したがって、表示された調整マークＭ自体に触れて調整するものであってもよい。
【００８１】
本発明に係る車載カメラのキャリブレーション装置は、車載用のコンピュータ（ナビゲーションシステムや音響機器としての機能を備えたもの等）の一部として構成してもよい。
【００８２】
また、本発明に係る車載カメラのキャリブレーション装置は、あらゆる車両に適用可能である。
【００８３】
さらに、本発明に係る車載カメラのキャリブレーション装置は、上述したキャリブレーション処理をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体として構成するものであってもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態に係る車載カメラのキャリブレーション装置の構成を示すブロック図である。
【図２】図１に示したキャリブレーション装置のカメラの設置例を示す模式図である。
【図３】図１に示したキャリブレーション装置によるキャリブレーション処理手順を示すフローチャートである。
【図４】モニタの表示において、（ａ）調整パターンに対して調整マーカがずれている様子、（ｂ）調整パターンに対して調整マーカが一致している様子、をそれぞれ示す図である。
【符号の説明】
【００８５】
１ カメラ
２ 制御部
３ パラメータ保存メモリ（パラメータ記憶手段）
４ 描画部（表示手段）
５ モニタ（表示手段）
６ 外部入力インタフェース（入力手段）
２１ マーカ生成部（マーカ生成手段）
２２ パラメータ演算部（パラメータ演算手段）
４１ 描画データメモリ
４２ 描画ブロック
Ｍ 調整マーカ
【技術分野】
【０００１】
本発明は、車載カメラのキャリブレーション装置およびキャリブレーション方法に関する。
【背景技術】
【０００２】
自動車にカメラおよびモニタが設置され、カメラで撮影された車両周囲の映像に基づいた映像情報などを車室内のモニタに表示して、運転操作時の利便性を向上させる技術が各種提案されている。
【０００３】
このような車載カメラシステムは、当初は、運転者に対して、死角となる領域の映像を視認可能とさせることのみを目的としていたため、カメラで撮影された映像（実カメラ映像）をそのままモニタに表示するに過ぎなかった。
【０００４】
その後、歪みの少ないカメラの生映像上に、遠近の目安となる距離マーカを重畳表示することにより、ある程度の距離感を与えて、利便性をより向上させることも行われている。
【０００５】
この場合、モニタ上での、実カメラ映像と距離マーカとの表示位置をある程度調整する必要があるが、距離マーカは距離の目安に過ぎなかったため、モニタ上における距離マーカの概略表示位置をある程度調整するだけで十分であった。
【０００６】
しかし、カメラで撮影された映像に対して、例えば車両の真上から視た擬似的な映像に変換する、いわゆる視点変換処理を施したり、車両に設置された複数のカメラで得られた複数の映像を繋げる変換処理などを行う場合、車両に対するカメラの設置姿勢（車両の前後方向、幅方向、鉛直方向の各軸回りのカメラの光軸の角度）を精度よく調整する必要がある。
【０００７】
しかし、そのような厳密な調整に要する時間や労力と、経済的なコストとのバランスを考慮すると、全く誤差の無い完全な設置姿勢を得るのは困難である。
【０００８】
そこで、実際の設置姿勢についてはある程度の誤差を許容しつつも、モニタに表示される映像上では、見かけ上、誤差が存在しないように、予め誤差を見込ん補正演算処理（キャリブレーション）が行われる（特許文献１）。
【０００９】
このキャリブレーションは、カメラの設置姿勢を特定するカメラパラメータを対象とした演算処理によって行われる（特許文献２）。
【特許文献１】特開２００５−７７１０７号公報
【特許文献２】特願２００５−２８５５３１号公報（未公開）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１，２による技術は、キャリブレーションに用いる調整用のパターンやマーカを車両周囲の地面上に用意する必要があり、車両周囲に、その調整用パターン等を設けるための広いスペースを確保しなければならず、車両の組立てラインや、修理工場の施設において、そのような広いスペースを確保するのは、困難である。
【００１１】
また、上述した技術におけるキャリブレーションは、車両を停止させている場合にのみ行うことができ、例えば車両の走行中にキャリブレーションが必要になった場合は、車両を一旦停車させ、車両の周囲に所定の広いスペースを確保した上で、キャリブレーションを行う必要がある。
【００１２】
従来のキャリブレーション装置およびキャリブレーション方法は、このように制限が多く、十分な実用性を発揮するには至っていない。
【００１３】
本発明は上記事情に鑑みなされたものであって、車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することができる車載カメラのキャリブレーション装置およびキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法は、車載カメラで撮影された車両の表面の一部を、キャリブレーションの調整パターンとし、この調整パターンに、この車両の表面の一部に対応して生成された調整マーカ（基準パターン）を一致させるように、調整マーカの姿勢を規定するパラメータを調整することにより、車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することを可能としたものである。
【００１５】
すなわち、本発明に係る車載カメラのキャリブレーション装置は、車両に設置されて、該車両の表面の一部を調整パターンとして含む映像を撮影するカメラと、前記カメラの設置姿勢を特定するパラメータを記憶するパラメータ記憶手段と、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成するマーカ生成手段と、前記調整パターンを含む映像に前記調整マーカを重畳的に表示させる表示手段と、前記表示手段において、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示が入力される入力手段と、前記入力手段に入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段に記憶されたパラメータを前記新たなパラメータに置き換えるパラメータ演算手段とを備えたことを特徴とする。
【００１６】
ここで、調整パターンとしての車両の表面の一部としては、例えばカメラとして車両後方用カメラを適用したものでは、車両の後部バンパの外形輪郭などが代表的なものであるが、その他、カメラで映すことができる範囲の部分であってもよい。
【００１７】
車両の側方用カメラの場合や前方用カメラの場合も、車体の側部パネルの外形輪郭や前部バンパの外形輪郭などや、その他、カメラで映すことができる範囲の部分を適用することができる。
【００１８】
カメラの設置姿勢を特定するパラメータは、具体的には、所定の基準軸回りの回転角度などであり、例えば、車両の前後方向、幅方向、鉛直方向にそれぞれ延びる各軸に対してカメラの光軸が為す角度を適用することができる。
【００１９】
本発明に係る車載カメラのキャリブレーション方法は、車両に対するカメラの設置姿勢を特定するパラメータを記憶し、前記カメラによって撮影された、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成し、前記カメラによって撮影された、該車両の表面の一部を調整パターンとして含む映像に、前記調整マーカを重畳的に表示させ、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示を入力し、前記入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段記憶されたパラメータを前記新たなパラメータに置き換えて、前記カメラをキャリブレーションすることを特徴とする。
【発明の効果】
【００２０】
本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法によれば、カメラで映された車体の一部をキャリブレーションの対象とするため、従来のように車両の周囲に広いスペースを確保する必要がなく、しかも、走行中であってもキャリブレーションを実行することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る車載カメラのキャリブレーション装置およびキャリブレーション方法の最良の実施形態について、図面を参照して説明する。なお、本実施形態は、マイクロコンピュータ、各種メモリ、入出力装置等をプログラムによって制御することで実現することができるが、この場合のハードウェアやプログラムの実施態様は各種変更可能である。したがって、以下の説明では、本発明及び本実施形態の各機能を実現する仮想的回路ブロックを用いる。
（実施形態の概要）
車両に設置されて、車両の表面の一部を含む映像を撮影するカメラにおいては、設置位置および設置姿勢（角度）という設置状態を特定するカメラパラメータがある。
【００２２】
ここで、車体に対するカメラの設置位置の誤差は、当該カメラによって撮影された映像（この映像を構成する各フレームを画像という。）における各対象画像部分の位置精度に大きな影響を及ぼさないが、設置姿勢の誤差は、撮影された画像における各対象画像部分の位置精度に大きな影響を及ぼす。特に、この画像に基づいて、視点変換処理等の位置に関係する画像処理を施した場合には、その影響は顕著なものとなる。
【００２３】
本実施形態のキャリブレーション装置は、以下、設置姿勢を特定するパラメータをキャリブレーションするものである。
【００２４】
そして、この実施形態のキャリブレーション装置は、車載カメラで撮影された映像のうち車両の表面の一部である調整パターンに、メモリに記憶されたパラメータに基づいて描かれたシミュレーション画像（調整マーカ）を重畳的に表示し、調整マーカが調整パターンに一致するようにパラメータを微調整し、調整マーカが調整パターンに一致したときのパラメータを、当該カメラの最新のパラメータとするものである。
（実施形態の構成）
図１は、本発明の一実施形態に係る車載カメラのキャリブレーション装置１００を示すブロック図である。
【００２５】
図示のキャリブレーション装置１００は、図２に示すように車両２００の後部に設置されて、この車両２００の後部バンパ２１０の輪郭２１１（車両の表面の一部）を調整パターンとして含む映像Ｐ０を撮影するカメラ１と、カメラ１の設置姿勢を特定するパラメータを記憶するパラメータ保存メモリ３（パラメータ記憶手段）と、調整パターンである後部バンパ２１０の輪郭２１１を模した調整マーカＭを、パラメータに応じた姿勢で生成するマーカ生成部２１（マーカ生成手段）と、調整パターン２１１を含む映像Ｐ０に調整マーカＭを重畳的に表示させる描画部４およびモニタ５（表示手段）と、モニタ５において、調整マーカＭの表示を調整パターン２１１の表示に一致させるように、調整マーカＭの表示姿勢を調整する指示（調整量）が入力される外部入力インタフェース６（入力手段）と、この外部入力インターフェース６に入力された調整量に対応した新たなパラメータを算出するパラメータ演算部２２（パラメータ演算手段）とを備えた構成である。
【００２６】
ここで、マーカ生成部２１とパラメータ演算部２２とは、マイクロコンピュータによるプログラムによって実現される機能であり、マイクロコンピュータの制御部２に含まれている。
【００２７】
また、パラメータ保存メモリ３は、予め設計的に定められたデフォルトパラメータを記憶した読出し専用のＲＯＭ部と、キャリブレーション処理の都度、最新のパラメータに順次置き換えられるフラッシュメモリ部とを有している。
【００２８】
外部入力インタフェース６は、ユーザが調整操作を行うためのインタフェースである。
【００２９】
図２は、車両２００に対するカメラ１の位置関係の一例を示す模式図である。ここで、任意の一点（例えば、リアシャフト中心から鉛直下方に下ろした地面上の点）を空間座標の原点とし、例えばカメラ１の光軸方向が鉛直方向の下向きの設置姿勢を、カメラ１の基準姿勢として決めておくことで、この車両２００に取付けられるカメラ１の設置位置および設置姿勢を特定することができる。
【００３０】
したがって、車載後部カメラや車載側部カメラ等、車両２００におけるカメラ１の設置部位による、設置位置および設置姿勢の特定方法に差異はない。つまり、カメラ１は車両２００の後部に設置されたものには限定されない。
【００３１】
そして、カメラ１の設置姿勢は、簡単のため車両の挙動に対応させた、ピッチ角、ロール角およびヨー角（３次元空間の互いに独立した３軸周りの回転角度θ，φ，ψ）で一義的に特定することができるため、カメラ１のどのような設置姿勢も、この３つの回転角度で表現すればよく、これらの回転角度は設置姿勢を特定するパラメータとして最適である。
【００３２】
これを利用すると、既に任意のパラメータθ0，φ0，ψ0により設置姿勢が特定されているカメラ１に対して、さらにいずれかの軸回りの回転を加えても、変化後に対応した新たなパラメータθ，φ，ψにより、新たな設置姿勢を特定することができる。
【００３３】
マーカ生成部２１は、パラメータ保存メモリ３から入力されたパラメータにより特定される設計上の設置姿勢で設置されたカメラ１によって、空間上における設置位置が既知の後部バンパ２１０の輪郭２１１を撮影した場合に、モニタ５上に得られるべき調整パターン（当該輪郭２１１）を模した調整マーカＭの描画データを生成する。
【００３４】
なお、本実施形態のキャリブレーション装置１００の実際の処理においては、後述するパラメータ演算部２２が、パラメータを３×３の回転行列に変換してマーカ生成部２１に出力し、マーカ生成部２１は、このパラメータ演算部２２から入力された３×３の回転行列に基づいて、調整マーカＭを生成している。
【００３５】
パラメータ演算部２２は、外部入力インタフェース６に入力された指示（調整量）に応じた、調整マーカＭの姿勢変位に対応する３×３の調整用回転行列を求めるとともに、得られた調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部（最初のキャリブレーション処理のときはＲＯＭ部）に記憶されたパラメータ（最初のキャリブレーション処理のときはデフォルトパラメータ）に基づく３×３の回転行列との演算により、３×３の合成回転行列を求めて、この合成回転行列をマーカ生成部２１に出力する。
【００３６】
また、パラメータ演算部２２は、得られた合成回転行列を、この合成回転行列に対応する回転角度というパラメータに変換して、パラメータ保存メモリ３のフラッシュメモリ部に保存させる。
【００３７】
描画部４は、制御部２において生成された描画データを保存する描画データメモリ４１と、描画データメモリ４１に保存されたデジタルの描画データを、カメラ１から入力されたアナログの実カメラ映像Ｐ０に重畳させるように合成（スーパーインポーズ）する描画ブロック４２とを有している。
【００３８】
モニタ５は、ＬＣＤ等の車載用の表示装置であり、描画ブロック４２で合成された映像を表示する。
【００３９】
外部入力インタフェース６からパラメータ演算部２２に入力された調整マーカＭの姿勢変位の指示（調整量）は、パラメータ演算部２２によって略リアルタイムに調整用回転行列に変換され、さらに、この調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部（最初のキャリブレーション処理のときはＲＯＭ部）に記憶された最新のパラメータ（最初のキャリブレーション処理のときはデフォルトパラメータ）に基づく３×３の回転行列との演算により、合成回転行列に変換され、マーカ生成部２１がこの合成回転行列に基づいて新たな姿勢の調整マーカＭを生成して、モニタ５には、実カメラ映像Ｐ０と新たな姿勢の調整マーカＭとが重畳的に表示されるため、ユーザは、モニタ５に映った実カメラ映像Ｐ０と姿勢が逐次変化する調整マーカＭとの重畳的表示を見ながら、調整マーカＭを実カメラ映像Ｐ０の調整パターン２１１に一致させるように、試行錯誤的に調整マーカＭの姿勢変化の指示を入力することができる。
【００４０】
なお、外部入力インタフェース６としては、十字キーなどのスイッチやカーソル等を備えたリモコンであってもよいが、タッチパネルの機能を備えたモニタ５に兼用させることもできる。この場合、制御部２は、操作用の描画データを生成する機能を備える。例えば、表示されたボタンや矢印等に触れることにより、調整対象に所定量の変化が生じるように設定することもできる。
（実施形態の作用）
以上のような本実施形態の車載カメラのキャリブレーション装置１００による処理手順を、図３のフローチャートにしたがって説明する。
【００４１】
まず、従来技術であれば、車両２００の後方にキャリブレーションを実行するに相応しい大きな領域を占有する調整パターンを用意する必要があった。例えば図４における市松模様状のシートＰ１などである。このシートＰ１は、車両２００の大きさと同程度の広さを有しており、車両２００の後方に、このシートＰ１を水平に配置するための広いスペースが必要であった。
【００４２】
しかし、本実施形態のキャリブレーション装置１００は、車両２００の一部である後部バンパ２１０の輪郭２１１を調整パターンとしているため、車両２００の後方に広いスペースを確保する必要がない。なお、この調整パターンである後部バンパ２１０の輪郭２１１の空間座標は前述したように既知である。
【００４３】
制御部２は、パラメータ保存メモリ３のフラッシュメモリ部に記憶された最新のパラメータを読み出す（Ｓ３０１（ステップ３０１））。
【００４４】
なお、初めてのキャリブレーション処理の場合、または工場出荷状態に戻した初期化後に初めてキャリブレーション処理を行う場合に限って、フラッシュメモリ部に記憶された最新のパラメータを読み出す処理に代えて、パラメータ保存メモリ３のＲＯＭ部に記憶されたデフォルトパラメータを読み出すものとする。
【００４５】
読み出されたパラメータ（またはデフォルトパラメータ）は、制御部２のパラメータ演算部２２により、このパラメータ（またはデフォルトパラメータ）に対応する３×３の回転行列に変換され、得られた回転行列はマーカ生成部２１に入力される。
【００４６】
マーカ生成部２１は、入力された回転行列の演算を行って、調整パターン２１１を模した調整マーカＭを生成する（Ｓ３０２）。生成された調整マーカＭは、描画データメモリ４１に描画され、この調整マーカＭは、描画ブロック４２により、カメラ１が撮影した調整パターン２１１を含む実カメラ映像と重畳的に合成され、モニタ５に表示される（Ｓ３０３）。
【００４７】
カメラ１の実際の設置姿勢が、パラメータで特定される設置姿勢からずれていると、図４（ａ）に示すように、実カメラ映像Ｐ０内の調整パターン２１１に対して調整マーカＭがずれた映像が、モニタ５に表示される。
【００４８】
このモニタ５の表示を見たユーザは、外部入力インタフェース６を用いて、モニタ５に映った調整マーカＭの姿勢を変化させる指示（調整量）を入力する（ステップ３０４）。
【００４９】
外部入力インタフェース６に入力された指示は、パラメータ演算部２２に入力され、パラメータ演算部２２は、略リアルタイムに、入力された調整マーカＭの姿勢変位の指示（調整量）に対応した調整用回転行列に変換し（Ｓ３０５）、さらに、この調整用回転行列と、パラメータ保存メモリ３のフラッシュメモリ部に記憶された最新のパラメータ（最初のキャリブレーション処理の最初のルーチンの場合は、ＲＯＭ部に記憶されたデフォルトパラメータ）に基づく３×３の回転行列との演算により、合成回転行列を算出し（Ｓ３０６）、マーカ生成部２１がこの合成回転行列に基づいて新たな姿勢の調整マーカＭを生成し（Ｓ３０７）、前述した描画データメモリ４１および描画ブロック４２の作用により、新たな姿勢の調整マーカＭと実カメラ映像Ｐ０とがモニタ５に重畳的に表示される（Ｓ３０８）。
【００５０】
モニタ５に表示された新たな姿勢の調整マーカＭと実カメラ映像Ｐ０内の調整パターン２１１とが、図４（ｂ）に示すように一致しているときは、ユーザは、外部入力インタフェース６を用いて、設置姿勢の調整の終了を指示入力する（Ｓ３０９）。
【００５１】
調整終了の指示が入力されると、パラメータ演算部２２は、ステップ３０６（Ｓ３０６）で算出した合成回転行列に対応した新たなパラメータ（回転後の角度）を算出し（Ｓ３１０）、この新たなパラメータを、パラメータ保存メモリ３のフラッシュメモリ部に保存する（Ｓ３１１）。
【００５２】
このとき、フラッシュメモリ部に既に保存されていた元のパラメータは、新たなパラメータに置き換えられ（上書きされ）、以後のキャリブレーション処理の際は、フラッシュメモリ部の記憶状態が初期化されない限り（工場出荷状態に戻されない限り）、ステップ３０１（Ｓ３０１）の読出し処理を含めて、ＲＯＭ部に記憶されているデフォルトパラメータを読み出すのではなく、フラッシュメモリ部に記憶されている最新のパラメータを読み出すものとする。
【００５３】
新たな姿勢の調整マーカＭと実カメラ映像Ｐ０の調整パターン２１１とが、図４（ａ）と同様に一致していないときは、これらが一致するまで、ステップ３０４（Ｓ３０４）からステップ３０９（Ｓ３０９）までの処理を繰り返す。
【００５４】
このように、カメラ１のパラメータを試行錯誤的に順次変化させることにより、本実施形態のキャリブレーション装置１００によるキャリブレーション処理が行われる。
【００５５】
上述したキャリブレーション処理は、回転行列の演算により行われるが、その具体的な方法を以下に説明する。
【００５６】
まず、カメラ１のパラメータに応じた回転角度θ，φ，ψが与えられ、任意の点は、数学的には次式（１），（２）に示す回転行列Ｒの演算により設置姿勢変換後の座標を得る。なお、Ｘinは回転前の設置姿勢による座標点であり、Ｘoutはパラメータにより回転後の設置姿勢の座標点である。
【００５７】
【数１】
【００５８】
【数２】
このように、変換対象に対して、回転行列を左からφ，θ，ψの順に演算している。回転行列ＲDを計算すると次式（３）に示すものとなる。
【００５９】
【数３】
この回転行列に回転角度のパラメータを代入した後、座標に対して演算させることで回転が実行される。
【００６０】
キャリブレーション処理の際には、この状態からさらに回転を加えて調整をすることになるが、例えばカメラ１を、ψ軸回りに△ψだけ回転させる場合には、回転行列Ｒ（Δψ）を左から追加して、次式（４）の計算となる。
【００６１】
【数４】
ここで、φ0，θ0，ψ0，Δψは、それぞれ具体的な数値が与えられるため、変数を用いることなく３×３行列によって表すことができる。
【００６２】
また、どのような設置姿勢の変換であっても、任意のφ，θ，ψによって表現することが可能であるから、ＲDa＝ＲDとすると調整後のカメラ１の姿勢も、φ，θ，ψによって表現することが可能である。実際には、次式（５）となる。
【００６３】
【数５】
ここで、ＲDa＝ＲDから必要部分だけ切り出すと、次式（６）の恒等式が与えられる。
【００６４】
【数６】
なお、sinθ＝０の場合は、sinθ≠０の場合と比べて、下記式（７）に示すように、変数の値を簡単化することができる。
【００６５】
【数７】
ここで、カメラ１の設置姿勢の基本的な条件が、０°≦θ＜９０°、−９０°＜φ＜９０°、−９０°＜ψ＜９０°であることを利用して計算を進めると、次式（８）となる。
【００６６】
なお、この例は、カメラ１が後方用カメラの場合であり、側方用カメラの場合は、ψの範囲は変化するが、角度の調整幅そのものが大きくなるものではない。
【００６７】
【数８】
上式（８）により得られたカメラ１の設置姿勢の角度を、パラメータと置き換える。これにより、１つの角度の調整が終了するか、または、いずれかの外部入力インタフェース６を１回操作した際の調整として反映される。
【００６８】
この操作を繰り返すことにより、モニタ５を見ながら常に最新状態からの位置合わせを実現することができる。最終的に、モニタ５において、調整パターンである後部バンパ２１０の輪郭２１１に、調整パターンＭが重なったときのパラメータが、車両２００に設置されたカメラ１の実際の設置姿勢の角度となる。
【００６９】
この最終的なカメラ１の設置姿勢の角度を、デフォルトパラメータ保存メモリ３に記憶し、カメラ１の設置姿勢のパラメータ（回転角度）とすることにより、キャリブレーションが完了する。
（実施形態の効果）
本実施形態に係る車載カメラのキャリブレーション装置１００およびこのキャリブレーション装置１００の作用としても把握することができる本発明の実施形態に係る車載カメラのキャリブレーション方法によれば、カメラ１で映された車両２００の表面の一部である後部バンパ２１０の輪郭２１１をキャリブレーションの対象とするため、従来のように車両２００の周囲に広いスペース（図４におけるシートＰ１の広さに対応したスペース）を確保する必要がなく、当該車両２００自体を配置することができる最低限のスペースだけで、キャリブレーション処理を行うことができる。
【００７０】
したがって、例えば車両２００の組立てライン上や修理工場内などの、広いスペースを確保することが困難な場所においても、簡単にキャリブレーション処理を行うことができる。
【００７１】
しかも、本実施形態に係る車載カメラのキャリブレーション装置１００およびキャリブレーション方法によれば、車両２００の走行中であってもキャリブレーションを実行することができ、実用面での使い勝手を大幅に向上させることができる。
【００７２】
また、本実施形態に係る車載カメラのキャリブレーション装置１００およびキャリブレーション方法によれば、モニタ５の表示において、カメラ１で撮像した調整パターン２１１と、パラメータに基づいて生成された調整マーカＭとが一致するように、外部入力インタフェース６によって調整することにより、パラメータを精度よく求めることができるため、カメラ１によって得られた映像に対して画像処理を施して得られる映像の精度を向上させることができる。
【００７３】
したがって、例えば、本実施形態のキャリブレーション装置１００を使用し、カメラ１で得られた映像に、安全車間距離ラインのマーカを、ヘッドアップディスプレイ(モニタ５)に重畳的に表示する等の場合、安全車間距離ラインのマーカを精度よく表示することができるとともに、運転者に対して、認識しやすく、かつ視界内で邪魔にならないシンプルな注意喚起を行うことが可能になる。これにより、良好な運転支援を行うことができる。
【００７４】
また、初期状態ではパラメータを用いて調整し、調整結果を保存し、これを次回のパラメータとして使用することにより、常に最新のパラメータを用いたキャリブレーションを行うことができる。
【００７５】
また、パラメータ保存メモリ３には、予め設計的に定められたデフォルトパラメータが記憶されており、これは書換え不能のＲＯＭ部に保存されているため、キャリブレーション装置１００を必要に応じて初期化することで、デフォルトパラメータを起点とした最初のキャリブレーション処理に、簡単に戻すこともできる。
【００７６】
さらに、ロール角、ヨー角、ピッチ角を用いることにより、カメラ１の設置姿勢を一義的に特定することが可能なパラメータを、効率よく演算することができる。
【００７７】
なお、本発明に係る車載カメラのキャリブレーション装置は、上述した実施形態に限定されるものではない。
【００７８】
すなわち、使用するカメラやモニタの数、種類、仕様、規格等は任意であり、カメラやモニタの設置位置、設置角度等も任意である。
【００７９】
調整パターン２１１の態様も、上記の実施形態で例示した後部バンパ２１０の輪郭２１１に限定されるものではなく、車両２００と一体化された車両２００の表面の一部であればよく、調整マーカＭも調整パターン２１１に応じたものとすればよい。
【００８０】
入力手段についても、ユーザが入力操作可能なものであればよい。したがって、表示された調整マークＭ自体に触れて調整するものであってもよい。
【００８１】
本発明に係る車載カメラのキャリブレーション装置は、車載用のコンピュータ（ナビゲーションシステムや音響機器としての機能を備えたもの等）の一部として構成してもよい。
【００８２】
また、本発明に係る車載カメラのキャリブレーション装置は、あらゆる車両に適用可能である。
【００８３】
さらに、本発明に係る車載カメラのキャリブレーション装置は、上述したキャリブレーション処理をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読取可能な記憶媒体として構成するものであってもよい。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態に係る車載カメラのキャリブレーション装置の構成を示すブロック図である。
【図２】図１に示したキャリブレーション装置のカメラの設置例を示す模式図である。
【図３】図１に示したキャリブレーション装置によるキャリブレーション処理手順を示すフローチャートである。
【図４】モニタの表示において、（ａ）調整パターンに対して調整マーカがずれている様子、（ｂ）調整パターンに対して調整マーカが一致している様子、をそれぞれ示す図である。
【符号の説明】
【００８５】
１ カメラ
２ 制御部
３ パラメータ保存メモリ（パラメータ記憶手段）
４ 描画部（表示手段）
５ モニタ（表示手段）
６ 外部入力インタフェース（入力手段）
２１ マーカ生成部（マーカ生成手段）
２２ パラメータ演算部（パラメータ演算手段）
４１ 描画データメモリ
４２ 描画ブロック
Ｍ 調整マーカ
【特許請求の範囲】
【請求項１】
車両に設置されて、該車両の表面の一部を調整パターンとして含む映像を撮影するカメラと、
前記カメラの設置姿勢を特定するパラメータを記憶するパラメータ記憶手段と、
前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成するマーカ生成手段と、
前記調整パターンを含む映像に前記調整マーカを重畳的に表示させる表示手段と、
前記表示手段において、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示が入力される入力手段と、
前記入力手段に入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段に記憶されたパラメータを前記新たなパラメータに置き換えるパラメータ演算手段とを備えたことを特徴とする車載カメラのキャリブレーション装置。
【請求項２】
前記パラメータ演算手段は、前記パラメータを、３次元空間の互いに独立した３軸回りの各回転角度によって特定することを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
【請求項３】
車両に対するカメラの設置姿勢を特定するパラメータを記憶し、
前記カメラによって撮影された、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成し、
前記カメラによって撮影された、該車両の表面の一部を調整パターンとして含む映像に、前記調整マーカを重畳的に表示させ、
前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示を入力し、
前記入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段記憶されたパラメータを前記新たなパラメータに置き換えて、前記カメラをキャリブレーションすることを特徴とする車載カメラのキャリブレーション方法。
【請求項４】
前記パラメータを、３次元空間の互いに独立した３軸回りの各回転角度によって特定することを特徴とする請求項３に記載の車載カメラのキャリブレーション方法。
【請求項１】
車両に設置されて、該車両の表面の一部を調整パターンとして含む映像を撮影するカメラと、
前記カメラの設置姿勢を特定するパラメータを記憶するパラメータ記憶手段と、
前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成するマーカ生成手段と、
前記調整パターンを含む映像に前記調整マーカを重畳的に表示させる表示手段と、
前記表示手段において、前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示が入力される入力手段と、
前記入力手段に入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段に記憶されたパラメータを前記新たなパラメータに置き換えるパラメータ演算手段とを備えたことを特徴とする車載カメラのキャリブレーション装置。
【請求項２】
前記パラメータ演算手段は、前記パラメータを、３次元空間の互いに独立した３軸回りの各回転角度によって特定することを特徴とする請求項１に記載の車載カメラのキャリブレーション装置。
【請求項３】
車両に対するカメラの設置姿勢を特定するパラメータを記憶し、
前記カメラによって撮影された、前記車両の表面の一部を模した調整マーカを、前記パラメータに応じた姿勢で生成し、
前記カメラによって撮影された、該車両の表面の一部を調整パターンとして含む映像に、前記調整マーカを重畳的に表示させ、
前記調整マーカの表示を前記調整パターンの表示に一致させるように、前記調整マーカの表示姿勢を調整する指示を入力し、
前記入力された調整の指示に対応する新たなパラメータを算出し、前記パラメータ記憶手段記憶されたパラメータを前記新たなパラメータに置き換えて、前記カメラをキャリブレーションすることを特徴とする車載カメラのキャリブレーション方法。
【請求項４】
前記パラメータを、３次元空間の互いに独立した３軸回りの各回転角度によって特定することを特徴とする請求項３に記載の車載カメラのキャリブレーション方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−２５６０３０（Ｐ２００７−２５６０３０Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−７９８７０（Ｐ２００６−７９８７０）
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]