車載カメラの校正装置
【課題】自動調整の結果、不合格となった場合であっても簡単に追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供する。
【解決手段】自動調整部３０による調整の完了時のカメラパラメータを用いて演算された、射影面における校正点の理論上の座標の位置を撮影画像上において明示する確認マーカを撮影画像に重畳させて表示部に表示させる表示制御部２０１と、表示部に表示された画像上において確認マーカを移動させることが可能な調整指示入力を受けて移動する確認マーカの移動量に対応する校正点の理論上の座標の変化量に基づいて、カメラパラメータを調整する手動調整部６０と、自動調整部３０及び手動調整部６０による最新の調整完了時の未確定カメラパラメータを確定指示入力を受けてカメラパラメータとして確定させるカメラパラメータ設定部１９とを備える。
【解決手段】自動調整部３０による調整の完了時のカメラパラメータを用いて演算された、射影面における校正点の理論上の座標の位置を撮影画像上において明示する確認マーカを撮影画像に重畳させて表示部に表示させる表示制御部２０１と、表示部に表示された画像上において確認マーカを移動させることが可能な調整指示入力を受けて移動する確認マーカの移動量に対応する校正点の理論上の座標の変化量に基づいて、カメラパラメータを調整する手動調整部６０と、自動調整部３０及び手動調整部６０による最新の調整完了時の未確定カメラパラメータを確定指示入力を受けてカメラパラメータとして確定させるカメラパラメータ設定部１９とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラを車両に取り付けた際の取り付け誤差を調整して車載カメラを校正する車載カメラの校正装置に関する。
【背景技術】
【０００２】
近年、ドライバーの視野を補ったり、運転支援のための画像処理の入力情報としたりするために、車両周辺の情景を撮影するカメラが車両に搭載されることが増えている。カメラにより撮影された画像が駐車支援装置などに利用される場合には、カメラによる撮影画像の座標系と、画像処理に用いる画像の座標系との相関関係が精度良く整合している必要がある。しかし、実際には、カメラ自体の生産上の精度や、車両にカメラを取り付ける際の取り付け精度などにより、両座標系の相関関係は、設計上の理想的な相関関係とはならないことが多い。従って、車両の生産工程においてカメラの校正を行い、両座標系の整合が図られている。
【０００３】
特開２００１−２４５３２６号公報（特許文献１）や、特開２００５−７７１０７号公報（特許文献２）には、上述したような、車両の生産工程においてカメラの校正を行う技術が開示されている。これらには、作業者による調整ボタンの操作により、ディスプレイ画面上において、カメラにより撮影された校正指標と、撮影画像に重畳表示された調整枠とを所定の基準のもとに一致させてカメラの校正を行う技術が記載されている。調整枠は、３次元直交座標系におけるロール・チルト・パンに対応して３種設けられる。順次、これらの調整枠に校正指標が収まるように調整ボタンを操作することによって、カメラパラメータが変更される。３つの軸に対する調整が全て完了すると、変更されたカメラパラメータがメモリに記録される。
【０００４】
特許文献１や特許文献２に記載された技術は、簡単な構成でカメラを校正することができる優れたものである。しかし、カメラの回転に対応する３軸に対する調整を、作業者がディスプレイ画面を見ながら手動で調整ボタンを操作して行うため、校正に時間を要する。また、作業者によって校正精度が安定せず、校正が不充分な製品が後工程に送られる可能性もある。そこで、特開２００８―１３１２５０号公報（特許文献３）に示すように、カメラの回転行列を演算して、カメラパラメータ（投影パラメータ）を求める技術が提案されている。これによれば、基準座標において所定の位置に配置された校正点の基準座標系における座標に基づいて第１行列が演算される。また、カメラの撮影画像から特定された校正点の画像座標系の座標に基づいて第２行列が演算される。そして、第１行列と第２行列とからカメラの回転行列（第３行列）が演算される。また、特許文献３では、自動計算によって校正を実施するため、校正結果の合否を判定する合否判定部が備えられている。そして、合否判定部が校正結果を不合格と判定した場合には、校正が不十分な製品が後工程に送られることがないように、次の工程への移行が制限される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２４５３２６号公報（第２２〜２３段落、第３４〜４４段落、図６等）
【特許文献２】特開２００５−７７１０７号公報（第４３〜６３段落等）
【特許文献３】特開２００８−１３１２５０号公報（第５４〜９６、１００〜１０２段落、図２０、図２１等）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献３に記載された技術は、特許文献１や２のように「視覚的に合わせ込む」のではなく、カメラの回転行列を求めることによって理想的にカメラを校正する優れたものである。しかし、自動調整の結果に対して、合否判定部が不合格と判定した場合には、次の工程への移行が制限される。わずかに合格基準に達しなかった場合でも、一律に不合格とされると、生産ラインから排除される仕掛かり品が増加して生産性を低下させる可能性がある。
【０００７】
本発明は、上記課題に鑑みて創案されたもので、自動調整の結果、不合格となった場合であっても簡単に追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明に係る車載カメラの校正装置の特徴構成は、
車両に取り付けられた車載カメラにより、異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記車載カメラのカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時の前記カメラパラメータを用いて演算された前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、を備える点にある。
【０００９】
この構成によれば、自動調整部による調整が完了した時点では、演算されたカメラパラメータが未確定カメラパラメータとして設定され、この未確定カメラパラメータを用いて校正点の理論上の座標の位置が演算される。そして、この理論上の座標の位置を明示する確認マーカがグラフィック画像として撮影画像に重畳表示されるので、作業者は容易に自動調整の結果を確認することができる。そして、自動調整が不充分な場合には、作業者は、表示部に表示された画像上において確認マーカを移動させることが可能な調整指示入力を与えて正しい位置へ確認マーカを移動させることができる。さらに、手動調整部が、確認マーカの移動量に対応する校正点の前記理論上の座標の変化量に基づいて、カメラパラメータを調整する。自動調整部及び手動調整部による最新の調整完了時のカメラパラメータである未確定カメラパラメータは、作業者が、確定指示入力を与えるとカメラパラメータとして設定され、良好に校正が完了する。このように、本特徴構成によれば、自動調整の結果に対する合否判定により不合格となった場合であっても、簡単に手動調整などの追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することが可能となる。つまり、本構成によれば、完全な自動調整ではなく、自動調整結果の作業者による目視確認や目視確認後の手動調整を含んだ「半自動調整」を合理的に実現できる。自動校正を含むことによって、校正作業に要する時間を短縮しつつ、目視確認によって、出荷される製品に不良品が混入することを防止できる。また、自動調整による校正が充分ではない場合には、手動調整によりさらに校正を続けることができ、生産ラインから不良として製品が排除される確率を減らして生産性を向上させることができる。
【００１０】
また、本発明に係る車載カメラの校正装置の前記確認マーカは、前記撮影画像上における前記校正指標を所定のマージンを有して内包する大きさの確認枠であると好適である。
【００１１】
人間工学的には、十字の交差点で示されたような確認マーカと校正点との一致を確認するよりも、枠などの中央に目標物が入っていることの確認の方が容易と言われている。また、人間工学的には、点に対して点を合わせるよりも、囲いの中央に目標物を納める方が容易と言われている。従って、確認マーカを枠形状とした方が確認の際の視認性も向上し、手動調整の際の作業性も向上する。本発明の校正装置では、確認マーカの外形枠を手動調整の目安としても良好に使用することができる。校正指標の外形形状は既知であるから、所定のマージンを有して撮影画像上の校正指標を内包する適切な確認マーカを表示させることで、高い作業性を確保することができる。車載カメラの搭載姿勢などによって、撮影画像上における校正指標の外形形状は、歪みを有するので、これを考慮して、撮影画像上において歪む外形形状の相似形状の確認マーカを表示させるとよい。例えば、校正指標の外形形状が方形の場合は、撮影画像上で平行四辺形に近い形となる校正指標の外形形状に相似形状の確認マーカとすると好適である。また、校正指標の外形形状が円形の場合には、撮影画像上で楕円となる校正指標の外形形状に相似形状の確認マーカとすると好適である。
【００１２】
また、本発明に係る車載カメラの校正装置は、好適な一形態として、
車両に取り付けられた車載カメラにより、３次元の基準座標系の異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記車載カメラの３次元のカメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記基準座標系に対して前記カメラ座標系を規定するカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時のカメラパラメータを用いて演算された、前記射影面における前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、を備えて構成される。上述した本発明の概要、並びに本発明のさらなる特徴及び特性は、下記に示す添付図面を参照して以下に述べる詳細な説明より明らかになるであろう。
【図面の簡単な説明】
【００１３】
【図１】校正用マーカと車両との配置関係の一例を示す説明図
【図２】校正用マーカの一例を示す説明図
【図３】本発明の車載カメラの校正装置を含む車両内のシステム構成の一例を模式的に示すブロック図
【図４】ワールド座標系とカメラ座標系との関係を示す説明図
【図５】カメラ座標系と画像座標系との関係を示す説明図
【図６】本発明の車載カメラの校正装置の構成の一例を模式的に示すブロック図
【図７】モニタ装置の一例を示す正面図
【図８】関心領域を示す枠をモニタ装置へ表示する例を示す図
【図９】関心領域の設定原理を示す説明図
【図１０】エッジ検出後の画像の一例を示す説明図
【図１１】直線検出の一例を示す説明図
【図１２】校正点検出の一例を示す説明図
【図１３】Ｎベクトルを示す説明図
【図１４】カメラ回転に関する基本定理を説明する説明図
【図１５】第１行列の元となるＮベクトルを示す説明図
【図１６】第２行列の元となるＮベクトルを示す説明図
【図１７】カメラの校正が成功した時のモニタ装置への表示例を示す図
【図１８】カメラの校正が成功しなかった時のモニタ装置への表示例を示す図
【図１９】確認マーカの他の例を示す図
【図２０】校正装置起動時の表示部への表示例を示す図
【発明を実施するための形態】
【００１４】
以下、車両９０の後方の情景を撮影するカメラ１（車載カメラ）を校正する場合を例として、本発明の校正装置の実施形態を図面に基づいて説明する。カメラ１（車載カメラ）は、車両９０の後方のナンバープレートの上方に車軸から側方へオフセットした位置に、光軸を下方（例えば水平から３０°下方）に向けて設置される。カメラ１は、例えば視野角１１０〜１２０°の広角レンズを備えて構成され、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両９０に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。
【００１５】
図１に示すように、マーカ８０（校正指標）は、カメラ１の視野範囲内において２箇所に配置される。また、マーカ８０は、ワールド座標系（基準座標系）においてその座標が既知となるように所定位置に配置される。本例において、マーカ８０は、図２に示すように白黒の市松模様のパターンを有している。パターン中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、マーカ８０は、ワールド座標系においてこの校正点Ｑの座標が既知となるように配置される。尚、ここでは白の矩形２個、黒の矩形２個の計４個の矩形により校正指標８が校正される例を示したが、合計４個以上の矩形によってマーカ８０が構成されても良く、その数を限定するものではない。また、マーカ８０は複数箇所であれば、３箇所以上に配置されてもよく、校正点Ｑも３つ以上の異なる座標に配置されてもよい。
【００１６】
図１に示す例では、２つのマーカ８０はワールド座標系におけるＹWＺW平面に相当する床上に、ワールド座標系のＺW軸に相当する車両の主軸に対して左右対称に配置されている（Ｄ1＝Ｄ2、Ｗ1＝Ｗ2）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。マーカ８０は、異なる工場等であっても、共通に配置されると校正装置を共通化することができて好ましい。但し、マーカ８０の配置の差異は、プログラムやパラメータの変更によって容易に対応できることも多い。従って、工場において確保できる広さや他の設備との関係によってマーカ８０は任意に配置されることが可能である。
【００１７】
マーカ８０の寸法は、カメラ１の分解能や校正装置が備える画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄ1やＤ2が１〜２ｍ、Ｗ1やＷ2が１．５ｍ程度である場合には、図２に示すように、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ８０が利用される。
【００１８】
尚、マーカ８０は、壁面や衝立などの垂直面上に設置されてもよい。この場合も、校正点Ｑのワールド座標（ＸW，ＹW，ＺW）を正確に把握することが可能である。つまり、マーカ８０は、カメラ１の視野内であれば、床面及び壁面を含む任意の面に配置可能である。本実施形態では、カメラ１を下方に向けて車両に搭載しているため、天井面にマーカ８０を配置することは適切ではない。しかし、天井面がカメラ１の視野に入る場合には勿論天井面に配置されてもよい。また、マーカ８０は、ワールド座標（ＸW，ＹW，ＺW）の軸に対して、垂直に配置される必要はない。当然、２つのマーカ８０の一方が床面上、他方が衝立上に配置されるなど、異なる面上に配置されてもよい。重要であるのは校正点Ｑであり、マーカ８０はどのような面に配置されても構わない。つまり、ワールド座標系において校正点Ｑが正確に配置され、カメラ１の撮影画像から校正点Ｑが良好に検出可能であればマーカ８０の設置方向は任意である。
【００１９】
本実施形態において、車両９０は駐車支援装置を搭載しており、カメラ１により撮影された車両９０の周辺の情景はこの駐車支援装置に利用される。この駐車支援装置は、車庫入れ駐車や縦列駐車における後退時に、ドライバーが設定したり、駐車支援装置により自動設定されてドライバーによって確認されたりした駐車位置に車両９０を誘導する。この誘導は、例えば、ドライバーにより操作されるステアリングの操舵角を検出して、車両９０の予想進路を撮影画像に重畳表示させるものである。また、別の誘導は、たとえば、駐車位置に対して車両９０を移動させるべく、自動的に操舵制御を行うものである。
【００２０】
図３は、このような駐車支援装置４０を搭載する車両９０のシステム構成の一例を模式的に示すブロック図である。駐車支援装置４０には、後述するように画像認識などの高度な画像処理を行い、駐車支援装置４０の中核を担うＣＰＵ（central processing unit）５が備えられている。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムや、パラメータメモリ７に格納されたパラメータを利用して各種処理を実行する。ここでは、プログラムメモリ６やパラメータメモリ７は、ＣＰＵ５とは別の不揮発性メモリであるが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。駐車支援装置４０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、駐車支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、駐車支援装置４０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００２１】
図３に示すように、カメラ１により撮影された画像は、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示される。カメラ１は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラである。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、ＣＰＵ５から発せられる。
【００２２】
モニタ装置４は、ナビゲーションシステムのモニタ装置が兼用されている。図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。
【００２３】
ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図３に示すように、駐車支援装置４０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される他、外部接続用端子などを介して外部システム３３と接続される。これら各システムは、駐車支援装置４０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共にＥＣＵを有して構成される。
【００２４】
パワーステアリングシステム３１は、アクチュエータ４１によりステアリングホイールにアシストトルクを付加したり、ステアリングホイールや操舵輪を駆動したりする電動パワーステアリング（EPS : electric power steering）システムである。ブレーキシステム３７は、アクチュエータ４７を用いてブレーキ力を増強させるブレーキアシスト、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）などを有した電動ブレーキシステムである。外部システム３３は、車両９０の生産時や点検、整備の際に使用される検査システムや調整システム、ディーラーやユーザーが接続コネクタなどを介して取り付けるオプションシステムである。
【００２５】
駐車支援装置４０は、各種センサと連携し、これら各種センサの検出結果に基づいて駐車支援制御を実行する。図３において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。また、ステアリングのトルクセンサ２２、ブレーキセンサ２７などは、パワーステアリングシステム３１やブレーキシステム３７を介してＣＡＮ５０に接続されている。
【００２６】
ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。トルクセンサ２２は、ドライバーのステアリングホイールに対する操作トルクを検出する。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサである。シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。
【００２７】
図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００２８】
上述したように、駐車支援装置４０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。上述したような駐車支援を実施する際には、カメラ１による撮影画像の座標系と、画像処理に用いる画像の座標系との相関関係が精度良く整合されている必要がある。しかし、実際には、カメラ１自体の光学系の精度や、カメラ１を車両９０に取り付ける際の取り付け精度などにより、両座標系の相関関係は、設計上の理想的な関係とはならないことが多い。このため、駐車支援装置４０は、両座標系の相関関係を整合するためにカメラパラメータが格納されたパラメータメモリ７を有している。つまり、駐車支援装置４０は、ＣＰＵ５のハードウェアと、プログラムメモリ６に格納されたプログラム（ソフトウェア）と、パラメータメモリ７に格納されたカメラパラメータとの協働によって機能する。
【００２９】
カメラパラメータは、カメラ１の車両９０への取り付け状態によって変動する値である。従って、車両９０の生産工程においてカメラ１の校正を行い、両座標系の整合を図ってカメラパラメータを決定する必要がある。つまり、基準座標系とカメラ１のカメラ座標系との関係をカメラパラメータにより特定することによってカメラ１を校正する必要がある。また、車両９０の整備工場において、定期的にカメラ１の校正が可能であったり、車両９０に過度の衝撃が加わった後の点検や整備において、カメラ１の校正が可能であったりすることが好ましい。このため、車両９０には、カメラ１を校正する校正装置１０が搭載される。あるいは、車両９０に校正装置１０が接続可能に構成される。また、パラメータメモリ７は、書き換え可能な記憶媒体により構成され、校正により決定されたカメラパラメータに更新される。
【００３０】
１つの形態として、駐車支援装置４０を構成するＣＰＵ５及びプログラムメモリ６を校正装置１０として利用することが可能である。あるいは、駐車支援装置４０を構成するプリグラムメモリ６とは別のプログラムメモリとＣＰＵ５とによって、校正装置１０が構成されてもよい。また、外部システム３３として、校正装置１０が構成されてもよい。本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する場合を例として説明する。
【００３１】
まず、カメラパラメータや座標系について説明する。カメラ１により撮影される画像は２次元であるが、実際の空間は３次元である。従って、駐車支援装置４０においては、２次元空間と３次元空間との間の相互変換が必要であり、その変換のためには、全てのカメラパラメータが精度良く設定されていることが好ましい。
【００３２】
カメラパラメータには、大きく分けて内部パラメータと外部パラメータとがある。カメラの内部パラメータとは、カメラの内部の光学系に関するパラメータである。デジタルカメラの場合には、撮像素子とレンズの中心との間の距離（焦点距離）、撮像素子の大きさや画素数、画素の縦配列と横配列との角度などを元にして設定されるパラメータである。厳密には、内部パラメータも一定ではなくカメラごとに異なるが、車両９０へのカメラ１の取り付け精度の差に比べれば非常に小さい差と考えてもよく、ここでは内部パラメータは精度良く設定されているものとする。
【００３３】
外部パラメータは、基準座標系（ワールド座標系）に対するカメラの位置や姿勢に関するパラメータである。本実施形態では、カメラ１の車両９０への取り付け精度に依存するパラメータに相当する。外部パラメータには、カメラの位置に関する並進パラメータと、カメラの姿勢に関する回転パラメータとがある。図１及び図４に示すように、３次元空間の座標系であるワールド座標系（ＸW，ＹW，ＺW）の１点を座標中心ＯCとしてカメラ座標系（ＸC，ＹC，ＺC）が存在する。つまり、カメラ１は、基準座標系であるワールド座標系における所定座標を座標中心ＯCとするカメラ座標系を形成するような位置及び姿勢で車両９０に設置される。カメラ１が設置される規定位置とは、カメラ座標系の座標中心ＯCのワールド座標系における座標によって定義される。
【００３４】
カメラ１が設置される位置、つまり、カメラ座標系の位置は、３次元直交座標系であるワールド座標系の各軸に対してそれぞれ平行な並進成分Ｔ（ＴX，ＴY，ＴZ）により定義される。一般的には、並進成分Ｔは３行１列の行列により定義される。定義される位置と実際にカメラ１が設置される位置との間にずれが生じることは、外部パラメータにおける並進成分Ｔの誤差となる。但し、並進成分Ｔの誤差が、撮影画像を見るドライバーに与える違和感は比較的少ない。また、この設置位置の誤差は、カメラ１から被写体までの距離にほとんど依存することがないので、画像処理に与える影響も少ない。つまり、カメラ１の設置位置に関して、生産工程において適正な公差が設定され、適正に公差管理されていれば、並進パラメータは精度良く設定されているものと考えてもほとんど問題はない。
【００３５】
カメラ１の設置時の姿勢、つまり、カメラ座標系の回転は、３次元直交座標系であるカメラ座標系の各直交軸を中心とする回転成分Ｒにより定義される。一般的には、回転成分は、３行３列の行列により定義される。例えば、図４に示すように、ＺC軸を中心としてカメラ１が回転するロール（Roll）が生じた場合には、撮影画像が傾くことから、撮影画像を見るドライバーに与える違和感は大きくなる。また、ＸC軸を中心としてカメラ１が回転するパン（Pan）や、ＹC軸を中心としてカメラ１が回転するチルト（Tilt）が生じた場合には、カメラ１から被写体までの距離が変動する。このため、撮影画像における被写体の位置が大きく変動し、画像処理に与える影響も大きくなる。従って、カメラ１が車両９０に取り付けられた姿勢に応じて回転パラメータを精度良く調整し、カメラ１を校正することが重要である。
【００３６】
上述したように、カメラパラメータには、内部パラメータと並進パラメータＴと回転パラメータＲとがあるが、この内、外部パラメータの１つである回転パラメータＲを精度良く調整することが重要である。図１や図４からも理解できるように、カメラ１が誤差無く車両９０に設置されたとしても、カメラ座標系はワールド座標系に対して回転している。従って、カメラ１が理想的な位置に理想的な姿勢で取り付けられた場合の回転パラメータＲは、設計値として一義的に設定される。本発明の校正装置１０は、この回転パラメータＲを、カメラ１の実際の取り付け姿勢に応じて調整することによってカメラ１を校正する。
【００３７】
ここで、３次元のカメラ座標系（ＸC，ＹC，ＺC）と、２次元の画像座標系（ｘ，ｙ）との関係について説明する。画像座標系（ｘ，ｙ）は、図５に示すようにカメラ１の光軸に一致するカメラ座標系のＺC軸に垂直な２次元射影空間（射影面Π）に存在する２次元直交座標系である。射影面Πは、カメラ座標系のＺC軸方向にカメラ座標の原点ＯCからカメラ１の焦点距離ｆだけ離れて存在する。図５において、ｕ軸はカメラ１の撮像素子の画素の縦配列の方向を示し、ｖ軸はカメラ１の撮像素子の画素の横配列の方向を示す。理想的には、ｕ軸及びｖ軸は、それぞれ画像座標系のｘ軸及びｙ軸に一致する。また、ｕ軸とｖ軸とのなす角は、理想的には画像座標系のｘ軸とｙ軸とのなす角と同様に９０度である。角は、上述した内部パラメータの１つであるが、上述したように、ここでは理想的な９０度であるとする。
【００３８】
カメラ座標系とワールド座標系との整合が取れていれば、図５に示すように、ワールド座標系において座標Ｍに存在する点は、画像座標系において座標ｍに存在するものとしてカメラ座標系から画像座標系へ座標変換される。逆に、撮影画像、つまり画像座標系の座標ｍにおいて検出された点は、床上に存在するなどの一定条件の下で、カメラ座標系を経てワールド座標系の座標Ｍにある点として座標変換されることが可能である。
【００３９】
一方、カメラ座標系とワールド座標系との整合が取れていない場合には、図５に示すように、実際のカメラ１のカメラ座標系の射影面Π’と、理想通りのカメラ座標系の射影面Πとは異なる平面となる。このため、実際に車両９０に取り付けられたカメラ１のカメラ座標系とワールド座標系との整合が取れなくなる。例えば、ワールド座標系において座標Ｍに存在する点は、実際のカメラ１のカメラ座標系の射影面Π’において、座標ｍ’に存在するものとして検出される。そして、この座標ｍ’が理想通りのカメラ座標系の射影面Πの座標として扱われ、カメラ座標系を経てワールド座標系に座標変換される。つまり、ワールド座標系において座標Ｍに存在する点は、図５に示すように、ワールド座標系において座標Ｍ’に存在する点として座標変換されることになる。
【００４０】
このような誤差が生じると、駐車支援装置４０は精度良く駐車支援を行うことができない。校正装置１０は、このような誤差を抑制するべく、回転パラメータＲを調整し、ワールド座標系や理想的なカメラ座標系と、実際に車両９０に取り付けられたカメラ１のカメラ座標系との関係を定義する。これをカメラ１の校正という。回転パラメータＲの調整には、理想的な回転パラメータＲをカメラ１の取り付け姿勢に応じて補正する調整パラメータを求める方法や、回転パラメータＲ自体をカメラ１の取り付け姿勢に応じて算出する方法などがある。本実施形態では、回転パラメータＲ自体、いわゆる回転行列をカメラ１の取り付け姿勢に応じて算出することによって、カメラ１を校正する。
【００４１】
上述したように、本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する。校正装置１０は、主にＣＰＵ５などのハードウェア及びプログラムメモリ６などに格納されたソフトウェア（プログラム）が協働することによって、図６に示すような複数の機能部を有して構成される。図６に示すように、校正装置１０は、画像取得部１１と、校正点特定部１２と、第１行列演算部１３と、第２行列演算部１４と、第３行列演算部１５と、回転角演算部１６と、カメラパラメータ演算部１７と、座標変換部１８と、カメラパラメータ設定部１９と、ＨＭＩ制御部２０とを有して構成される。ＨＭＩ制御部２０は、表示制御部２０１及び指示入力受付部２０２を有して構成される。また、第１行列演算部１３と、第２行列演算部１４と、第３行列演算部１５と、回転角演算部１６と、カメラパラメータ演算部１７と、座標変換部１８とは、自動調整部３０を構成する。自動調整部３０は、校正点特定部１２において検出された校正点に基づいて、ワールド座標系に対してカメラ座標系を規定するカメラパラメータを自動調整する機能部である。また、校正装置１０は、自動調整部３０の他、手動調整部６０を有して構成される。
【００４２】
画像取得部１１は、３次元のワールド座標系の異なる複数箇所の所定位置に配置された校正指標８０を視界内に含んで、車両９０に取り付けられたカメラ１により撮影された撮影画像を取得する機能部である。校正点特定部１２は、この撮影画像において校正指標８０の中のそれぞれの校正点Ｑを検出し、撮影画像の２次元の画像座標系におけるそれぞれの校正点Ｑの座標を実座標として特定する機能部である。校正点特定部１２は、後述するように、校正点分布範囲設定部１２１と、校正指標分布範囲設定部（画像処理対象領域設定部）１２２と、校正点検出部１２３とを有して校正される。これら各機能部の詳細については、後述する。
【００４３】
第１行列演算部１３は、ワールド座標系における校正指標８０の校正点Ｑの座標に基づいて、カメラ１の光学中心ＯC（カメラ座標系の原点ＯC）から見た校正点Ｑ及び校正点Ｑを通る直線に関するベクトルを示す第１行列を演算する機能部である。第２行列演算部１４は、校正点特定部１２により特定された撮影画像上の校正点Ｑの座標に基づいて、カメラ１の光学中心ＯCから見た校正点Ｑ及び校正点Ｑを通る直線に関するベクトルを示す第２行列を演算する機能部である。第３行列演算部１５は、第１行列及び第２行列に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列を演算する機能部である。これら各機能部の詳細については後述する。
【００４４】
回転角演算部１６は、回転行列を、３次元空間上で互いに直交する３軸に対する３つの回転角度成分に分解する機能部である。カメラパラメータ演算部１７は、回転行列に基づいて、カメラ１のカメラパラメータを演算する機能部である。座標変換部１８は、カメラパラメータに基づいて、校正点Ｑのワールド座標系の３次元座標値を２次元の射影面Π上の座標値に変換する。つまり、座標変換部１８は、カメラパラメータに基づいて、理論上の校正点Ｑの座標値を演算する機能部である。これら各機能部の詳細については後述する。
【００４５】
カメラパラメータ設定部１９は、自動調整部３０及び手動調整部６０による最新の調整完了時のカメラパラメータである仮のカメラパラメータ（未確定カメラパラメータ）をカメラパラメータとして設定する機能部である。カメラパラメータ設定部１９は、指示入力受付部２０２により受け付けられる確定指示入力に基づいてカメラパラメータを設定する。詳細については後述する。
【００４６】
ＨＭＩ制御部２０は、視覚的効果や聴覚的効果により、ユーザー（校正の作業者）に対する報知を行ったり、ユーザーから与えられる操作指示を受け取って各機能部へ伝達したりするインターフェースを行う機能部である。例えば、ＨＭＩ制御部２０は、画像処理モジュール２に対して撮影画像に重畳させるグラフィックの指定や重畳の指示を行ったり、音声処理モジュール３に対してスピーカ４ｃから出力させたりする。また、タッチパネル４ｂを介してユーザーより与えられた指示を受け取って、指示に対応する機能部を働かせる。図６に示すように、ＨＭＩ制御部２０は、表示制御部２０１と指示入力受付部２０２とを有して構成される。表示制御部２０１及び指示入力受付部２０２の具体的な機能については後述する。
【００４７】
本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する。また、駐車支援装置４０のモニタ装置４は、ナビゲーションシステムのモニタ装置が兼用されている。従って、モニタ装置４は、校正装置１０のモニタ装置としても兼用される。モニタ装置４の前面パネルには、図７に示すような様々なスイッチが設けられている。符号４ｄは、地図の縮尺を変更するボタンである。符号４ｅは、目的地を設定するための画面を表示させるボタンである。符号４ｆは、車両９０の現在位置を表示させるボタンである。符号４ｇは、音量の調節ボタンである。符号４ｈは、システムの各種設定を行うための画面を表示させるシステム設定ボタンである。図７においては、車両９０の現在位置と共に地図が表示されている場合を例示している。
【００４８】
生産工場や修理工場において、作業者は、システム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させ、タッチパネル４ｂの所定のタッチボタンを操作する。ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、カメラ校正プログラムを起動して校正装置１０として機能する。尚、生産工程においては、初期画面をカメラ校正モードとしておき、カメラ１の校正が完了した後に所定の操作を行うことで、初期画面がナビゲーションシステムの画面となるように構成されていてもよい。
【００４９】
〔画像取得工程〕
カメラ校正プログラムが起動されると、つまり、校正装置１０によりカメラ校正が開始されると、まず、画像取得部１１により、カメラ１により撮影された動画像がキャプチャされる。キャプチャされた画像は、画像処理モジュール２を介して、図８に示すようにモニタ装置４に表示される。
【００５０】
〔校正点特定工程／関心領域設定工程（画像処理領域設定工程）〕
校正点特定部１２は、キャプチャされた画像から、校正点Ｑを検出し、画像座標系における校正点Ｑの座標を実座標として設定する。校正点Ｑの検出に先立って、画像処理の対象となる領域が関心領域（ROI ： region of interest）として射影面Πに設定される。つまり、校正点を検出するための画像処理が実施される画像処理対象領域が、関心領域ＲＯＩとして設定される。校正点特定部１２は、画像処理領域設定部としても機能する。この関心領域ＲＯＩは、公差の平均値による画像上（射影面Π上）の位置を基準として、カメラ１の取り付け公差と画像処理のためのマージンを考慮して定められた位置とサイズに基づいて設定される。関心領域ＲＯＩは、例えば、経験上の一般的な公差やマージンに基づいて、大まかに設定することができる。撮影画像に対して関心領域ＲＯＩは狭いので、画像処理の演算負荷は軽減される。また、以下のように精度良く関心領域ＲＯＩを設定してもよい。
【００５１】
〔校正点特定工程／関心領域設定工程／校正点分布範囲設定工程〕
１つの好適な例としては、カメラ１が規定位置に規定の姿勢で取り付けられた際の回転パラメータに基づいて、校正点Ｑが存在する理論上の座標値が演算される。そして、カメラ１がカメラ座標系の各軸を中心としてそれぞれ所定角度回転した際に理論上の座標値が分布する範囲が校正点分布範囲となる。校正点分布範囲設定部１２１が、このようにして求められた校正点分布範囲を画像座標系に設定すると好適である。
【００５２】
〔校正点特定工程／関心領域設定工程／校正指標分布範囲設定工程〕
次に、校正点分布範囲に基づいて、画像座標系においてマーカ８０が分布する範囲が校正指標分布範囲として、校正指標分布範囲設定部１２２によって画像座標系に設定される。本実施形態においては、この校正指標分布範囲が、関心領域ＲＯＩに相当する。具体的には、図９に示すように、カメラ１の光軸が設計値通りの方向を向いている場合に対して、それぞれ±３度〜５度のずれが発生しても、マーカ８０が必ず含まれるように、つまり、回転パラメータＲの誤差を加味して関心領域ＲＯＩが設定される。また、この際、カメラの光学中心（カメラ座標系の原点）のずれ、つまり、並進パラメータＴのずれも加味して関心領域ＲＯＩが設定されると好適である。校正指標分布範囲は、実質的に校正点を検出するための画像処理を実施する画像処理対象領域に対応する。従って、校正指標分布範囲設定部１２２は、画像処理対象領域設定部としても機能する。
【００５３】
表示制御部２０１は、画像処理モジュール２を介して、画像処理対象領域や校正指標分布範囲をグラフィック画像によるＲＯＩ枠（領域枠）Ｆとして撮影画像に重畳させて撮影画像と共に表示部４ａに表示させる（領域枠表示工程）。ＲＯＩ枠Ｆは、例えば緑色で表示部４ａにおいて撮影画像に重畳表示される。ＲＯＩ枠Ｆは、カメラ１が理想的に取り付けられた場合、即ち、規定位置に規定の姿勢で取り付けられたと仮定した場合に、所定位置に配置された校正指標８０が中央にくるように、射影面Πに設定される。図２に示すように、校正点Ｑは、校正指標８０の中央に設定されているので、図９に示すように、理想的な校正点ＱはＲＯＩ枠Ｆの中央となる。
【００５４】
撮影画像上にＲＯＩ枠Ｆが表示されることにより、作業者は下記に示す自動調整工程が実行されている最中であっても、カメラ１の調整作業（校正作業）に参加することができる。自動調整と作業者による目視確認とを併用した半自動調整（半自動校正）ということもできる。作業者は、マーカ８０がＲＯＩ枠Ｆから外れているなど、非常に大きな誤差を有してカメラ１が車両９０に取り付けられていることを容易に確認することができる。作業者は、図８に示すように表示制御部１２１によりタッチパネル４ｂに表示されたキャンセルボタンを介して指示入力を与えることによって、校正を中断してカメラ１の設置状態を確認したり、校正を中止して不良として生産ラインから車両９０を排除したりすることができる。タッチパネル４ｂを操作することによって、自動調整工程の中断や中止を指示することができるので、指示入力受付部２０２や、これを含むＨＭＩ制御部２０は、調整中断部（調整中断手段）として機能するといえる。カメラ１が大きな誤差を有して設置されていた場合に、調整作業の初期において、調整を中断したり中止したりすることができるので、生産性が向上する。ＣＰＵ５は、切れ目なく校正点特定工程から自動調整工程へと処理を続けていくので、作業者による確認のためのＲＯＩ枠Ｆは、自動調整工程の間も継続して表示されると好適である。また、同様に調整の中止や中断の指示入力を与えるためのタッチボタンも、自動調整工程の間も継続して表示されると好適である。
【００５５】
尚、画像処理の対象となる関心領域ＲＯＩと、校正指標分布範囲とは、必ずしも一致している必要はない。余裕をみて、校正指標分布範囲よりも広域な関心領域ＲＯＩが設定されてもよい。また、上記においては、撮影画像上に表示されるＲＯＩ枠Ｆが、画像処理の対象となる関心領域ＲＯＩに一致する場合を例として説明した。しかし、校正指標分布範囲よりも広域な関心領域ＲＯＩが設定されるような場合において、ＲＯＩ枠Ｆが、校正指標分布範囲に一致して重畳表示されてもよい。また、関心領域ＲＯＩが設定されず、撮影画像の全域に亘って画像処理が実施される場合も同様である。このような場合、作業者は、マーカ８０がＲＯＩ枠Ｆから外れていることによって、設計値に対して非常に大きな誤差を有してカメラ１が車両９０に取り付けられていることを容易に確認することができる。画像処理の対象領域である関心領域ＲＯＩとＲＯＩ枠Ｆとは一致していることが好ましいが、このように一致していない場合であっても、同様の効果が得られる。従って、校正指標分布範囲がグラフィック画像によるＲＯＩ枠（領域枠）Ｆとして撮影画像に重畳され、表示部４ａに表示されることも非常に有用である。
【００５６】
〔校正点特定工程／校正点検出工程〕
次に、校正点特定部１２は、関心領域ＲＯＩの範囲内を画像処理対象として、校正点Ｑの特定を行う。校正点Ｑを特定するために、校正点検出部１２３は、マーカ８０の中心点である校正点Ｑの撮影画像上における座標を検出する。つまり、画像座標系における座標を検出する。この座標は、現実に車両９０に設置されたカメラ１により撮影された画像に基づいて検出されるので、校正点Ｑの「実座標」に相当する。本実施形態のように、マーカ８０として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Ｑを検出することが可能である。
【００５７】
本実施形態では、ガウシアンフィルタ（Gaussian filter）が組み込まれたCannyエッジ検出器を利用する。Cannyエッジ検出器は、エッジ特徴を保存すると共に、画像に含まれるノイズを除去する働きがあり、安定したエッジ検出が可能である。Cannyエッジ検出器に関しては、J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA, 1983などに詳しいので、ここでは詳細な説明を省略する。尚、当然ながら、Cannyエッジ検出器に限らず、Tomasi-Kanade検出器や、ハリス検出器など、他の方法を用いてエッジ検出を行ってもよい。
【００５８】
上述したように、カメラ１は広角レンズを有して構成されており、撮影画像は歪みを有している。校正点Ｑを検出するためには、後述するように直線認識が必要となる。そこで、エッジ検出後の画像データに対して歪み補正処理が施される。尚、当然ながら、エッジ検出を行う前、つまり、関心領域ＲＯＩの範囲内の元画像に対して歪み補正を実施してもよいし、撮影画像全体に対して歪み補正を実施してもよい。しかし、撮影画像や撮影画像中の関心領域ＲＯＩの範囲内の画像は、カラーグレイ画像データであるので、データ量が多く演算負荷も大きくなる。本実施形態では、エッジ検出後のデータは、図１０に示すようにエッジ点群Ｅにより構成されたモノクロ２値データとなっているので、データ量が圧倒的に少なく演算負荷が軽くなる。図１０（ａ）は、歪み補正処理を施された後のマーカ８０ａのエッジ点群Ｅ、図１０（ｂ）は、歪み補正処理を施された後のマーカ８０ｂのエッジ点群Ｅを示している。
【００５９】
続いて、これらエッジ点群Ｅに対して、直線検出処理（直線当てはめ処理）が実施される。直線検出処理には、最小自乗法やハフ変換などを利用することも可能であるが、これらは演算負荷が大きい処理である。本実施形態では、これらの手法よりも遙かに演算量の少ないRANSAC（RANdom SAmple Consensus）手法を用いて直線の当てはめを行うことによって直線検出を行う。RANSAC手法では、直線や曲線の当てはめに必要な最小点数の点がエッジ点群Ｅから選択され、フィッティングモデルが設定される。直線の場合の最小点数は２点であり、ランダムに選択された２点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Ｅの他の点がこの直線モデルに対してどの程度当てはまるかについて評価される。順次、２点を選んで所定回数、評価を繰り返し、最も適合度の高い直線モデルが直線として決定される。図１１は、図１０に示すエッジ点群Ｅに対して直線Ｇを当てはめた例を示している。
【００６０】
直線Ｇが当てはめられると、次に、当てはめられた直線Ｇの交点の座標が算出される。直線Ｇは一次関数であるから簡単な計算により、図１２に示すように、画像座標系における交点座標（校正点Ｑ）を特定することができる。尚、この座標は、車両９０に取り付けられたカメラ１のカメラ座標系の射影面における座標（実座標）であるから、カメラ１が完全に誤差無く取り付けられていない限り、理想的なカメラ座標系の射影面における座標とは異なる。
【００６１】
〔自動調整工程〕
カメラ１が規定位置に規定の姿勢で完全に誤差なく取り付けられたと仮定した場合、つまり、理想的なカメラ座標系の射影面において、それぞれの校正点が特定される理論上の座標を「初期座標」とする。つまり、カメラ座標系とワールド座標系とが理想的な関係を満たす際に、ワールド座標系に対してカメラ座標系を規定するカメラパラメータの初期値により射影面において校正点が特定される座標が「初期座標」である。この「初期座標」と上記「実座標」とはカメラ１が完全に誤差無く取り付けられていない限り異なるものである。以下、カメラパラメータの外部パラメータの内の回転パラメータを、実際のカメラ１の取り付け姿勢に応じて求め、カメラパラメータを更新してカメラ１を構成する手順を詳述する。
【００６２】
本実施形態では、自動調整工程においてＮベクトルを用いたベクトル演算を実施して回転パラメータを求める。始めにＮベクトルについて説明する。図１３に示すように、直交座標系を持つ画像面を２次元射影空間（射影面Π）とみなすと、点や直線は、全てがゼロではない３個の実数からなる同次座標で表される。同次座標は、画像処理における計算上の問題を解決する上で好適なものである。解決のための最も簡単な手段は、同次座標の３要素が常に単位ベクトルとなるようにしておくことである。正規化した同次座標の組を単位ベクトルとして表したものをＮベクトルと称する。
【００６３】
図１３において、点Ｐは、射影面Π上の点であり、ｆは焦点距離であり、視点ＯC（カメラ座標系の原点ＯCに相当）から射影面までの距離を示す。３次元直交座標のＺC軸は射影面Πに直交し、ＸCＹC平面は射影面Πと平行である。Ｎベクトルｍは、視点ＯCを始点として点Ｐを指し示す単位ベクトルである。Ｎベクトルｎは、点Ｐを通る直線Ｌと、視点ＯCとによって定まる平面ＦＰに垂直な単位法線ベクトルである。つまり、Ｎベクトルｎは、直線Ｌを表すベクトルである。尚、ベクトルｌは、Ｎベクトルではなく、直線Ｌの向きを表す単位ベクトルである。
【００６４】
ここで、図１３に示すカメラの光学中心である視点（カメラ座標系の原点）ＯCを固定してカメラが回転したと仮定する。カメラの回転により、射影面Π上の点Ｐ及び直線Ｌの座標は変化し、Ｎベクトルも変化する。つまり、回転前の射影面上の点Ｐ及び点Ｐを通る直線Ｌと、回転後の射影面上の点Ｐ’及び点Ｐ’を通る直線Ｌ’とが与えられる。この時、点Ｐ’を点Ｐに一致させ、直線Ｌ’を直線Ｌに向きを含めて一致させるようなカメラ回転行列Ｒは、下記の式(1)のように一意的に定められる。ここで、ｌ’は直線Ｌ’の向きを表す単位ベクトル、ｍ’は点Ｐ’を表すＮベクトル、ｎ’は直線Ｌ’を表すＮベクトルである。
【００６５】
【数１】
【００６６】
つまり、図１４に示すように、ワールド座標系を基準とした回転前後の２つの画像から車両に搭載されたカメラ１の回転ベクトルＲを求めることができる。ただし、本発明の校正装置では、車両９０及びカメラ１は固定されるので、カメラ１から入力される画像は１つである。複数の画像を得るために車両９０やカメラ１を動かすことは、校正時間を増やし、また校正精度の上からも好ましくない。
【００６７】
しかし、上記原理の本質は、｛ｌ，ｍ，ｎ｝による定まる座標系から、｛ｌ’，ｍ’，ｎ’｝により定まる座標系の回転行列を求めれば、それがカメラ１の回転行列Ｒと一致することにある。つまり、｛ｌ，ｍ，ｎ｝を回転前の座標系から求め、｛ｌ’，ｍ’，ｎ’｝を回転後の座標系から求めれば足りる。そこで、回転前の座標系は、ワールド座標系において、カメラ１の光学中心ＯCまで純粋に並進したのみのカメラ座標系（第１のカメラ座標系）と考える。また、回転後の座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転したカメラ座標系（第２のカメラ座標系）と考える。
【００６８】
〔第１行列演算工程〕
第１のカメラ座標系は、ワールド座標系の原点ＯWを基準として純粋に並進した回転成分のない座標系である。図１５に示すように光学中心ＯCからマーカ８０の校正点Ｑを示す点Ｐ1、Ｐ2へのＮベクトルを求める。尚、当然ながら第１行列演算工程では、カメラ１による撮影画像及び撮影画像から得られる各種情報は不要である。本工程は、図６に示す第１行列演算部１３において実行されるが、カメラ１による撮影画像は用いない。
【００６９】
本実施形態では、マーカ８０が床面上に配置されているので、ＸW軸方向の座標は実質ゼロであるが、点Ｐ1の座標をＰ1（Ｘ1，Ｙ1，Ｚ1）、点Ｐ2の座標をＰ2（Ｘ2，Ｙ2，Ｚ2）とする。直線Ｌは、点Ｐ1から点Ｐ2へ向かう直線とする。光学中心ＯCから点Ｐ1の方向にはＮベクトルｍ1がある。光学中心ＯCから点Ｐ2の方向にはＮベクトルｍ2がある。説明を容易にするために図１８にはＮベクトルｍ1で代表させている。Ｎベクトルｍは、下記の式(2)のようになる。また、Ｎベクトルｎは面ＯCＰ1Ｐ2の単位法線ベクトルとして、次の式(3)のようになる。
【００７０】
【数２】
【００７１】
直線Ｌの向きｌは、下記の式(4)のようにｍとｎとの外積として得られ、回転行列Ｒ1は下記の式(5)のようになる。
【００７２】
【数３】
【００７３】
このようにして、第１行列演算部１３は、ワールド座標系（基準座標系）におけるマーカ８０の校正点Ｑ（Ｐ1、Ｐ2）の座標に基づいて、カメラ１の光学中心ＯCから見た校正点Ｐ1、Ｐ2及び校正点Ｐ1、Ｐ2を通る直線Ｌに関するベクトルを示す第１行列Ｒ1を演算する。
【００７４】
〔第２行列演算工程〕
第２のカメラ座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転した回転成分のある座標系である。第１行列演算工程とは異なり、カメラ１による撮影画像が用いられる。図１６に示すように、床面上に配置された校正点Ｑ（Ｐ1、Ｐ2）は、射影面Π上の点ｐ1、ｐ2に相当する。点ｐ1、ｐ2の射影面Π上での座標値は、既に説明したように、校正点特定部１２において特定されている。従って、図６に示すように、本工程は校正点特定部１２の結果を受けて第２行列演算部１４において実行される。
【００７５】
ここで、光学中心ＯCから射影面Π上の点ｐ1（ｘ1，ｙ1）、ｐ2（ｘ２，ｙ2）へのＮベクトルを考える。尚、（ｘi，ｙi）は射影面Π上（撮影画像上）の座標である。直線Ｌに相当する直線ｌは、点ｐ1から点ｐ2へ向かう直線とする。光学中心ＯCから点ｐ1の方向にはＮベクトルｍ1’がある。光学中心ＯCから点ｐ2の方向にはＮベクトルｍ2’がある。説明を容易にするために図１９にはＮベクトルｍ1’で代表させている。この結果、Ｎベクトルｍ’は、下記の式(6)のようになる。また、Ｎベクトルｎ’は面ＯCｐ1ｐ2の単位法線ベクトルとして、次の式(7)のようになる。
【００７６】
【数４】
【００７７】
直線Ｌの向きｌ’は、下記の式(8)のようにｍ’とｎ’との外積として得られ、回転行列Ｒ2は下記の式(9)のようになる。
【００７８】
【数５】
【００７９】
このようにして、第２行列演算部１４は、校正点特定部１２により特定された射影面Π（撮影画像）上の校正点校正点Ｑ（ｐ1、ｐ2）の座標に基づいて、カメラ１の光学中心ＯCから見た校正点ｐ1、ｐ2及び校正点ｐ1、ｐ2を通る直線Ｌに関するベクトルを示す第２行列Ｒ2を演算する
【００８０】
〔第３行列演算工程〕
第３行列演算部１５は、上記のようにして得られた第１行列Ｒ1及び第２行列Ｒ2に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列Ｒを演算する。つまり、上述した式(1)と同様に下記に示す式(10)に従って回転行列Ｒを演算する。
【００８１】
【数６】
【００８２】
〔回転角演算工程〕
カメラ１は、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、上述したように、焦点距離ｆなどのカメラ内部のパラメータ行列である。外部パラメータ行列は、並進行列Ｔ及び上記で求めた回転行列Ｒである。射影カメラモデル（projective camera model）は、透視カメラモデルのカメラ行列を一般化して表したものである。射影カメラモデルでは、上記で求めた回転行列Ｒが得られれば、３次元空間からの投影が可能である。しかし、透視カメラモデルでは、回転行列Ｒをさらに３次元直交座標の各軸の回転角パン・チルト・ロールに分解する必要がある。回転角演算部１６は、以下に示す手順で各軸の回転角を演算する。
【００８３】
式(10)で求めた回転行列Ｒは、次式(11)のように書くことができる。ここで、θはチルト角、φはロール角、ψはパン角である。
【００８４】
【数７】
【００８５】
下記に示す式(12)により、φを消去することができ、下記式(13)を得る。
【００８６】
【数８】
【００８７】
式(13)には解が２つ存在し、「-r31」が「-sinθ」であるので、θは下記に示す式(14)のようになる。
【００８８】
【数９】
【００８９】
ここで、cosθ≠０とおける場合には、ロール角φとパン角ψとは、それぞれ、下記に示す式(15)及び式(16)のようになる。
【００９０】
【数１０】
【００９１】
ここで、カメラ１の車両９０への搭載方法（下向き約30[deg]＝-30[deg]）に基づいて、下記式(17)の拘束条件を適用する。
-90[deg] ＜ チルト角θ ＜ +90[deg] ・・・(17)
この拘束条件により、チルト角θのcosの値がゼロとなる場合を無視することができ、一意の回転角θ、φ、ψを求めることができる。まず、拘束条件より、「cosθ＞0」なので、負の値を考慮することなく、式(14)は次式(18)となり、チルト角θが定まる。
【００９２】
【数１１】
【００９３】
同様に、「cosθ＞０」であるので、ロール角φとパン角ψは式(11)より、式(19)、式(20)に示すように容易に得られる。
【００９４】
【数１２】
【００９５】
〔カメラパラメータ演算工程〕
以上、説明したようにカメラ１の外部パラメータとしての３次元直交座標の各軸に対する回転成分が求められた。外部パラメータの内の並進成分Ｔ（ＴX，ＴY，ＴZ）は、光軸中心ＯCの座標としてワールド座標系において既知である。また、内部パラメータはカメラ１の特性として既知である。従って、カメラパラメータ演算部１７は、カメラ１のカメラパラメータ（投影パラメータ）の全てを整えることができる。この時点において、外部パラメータの１つである回転パラメータＲは、まだ確定されたものではなく、仮の回転パラメータ（未確定回転パラメータ）である。従って、この仮の回転パラメータを含むカメラパラメータも、仮のカメラパラメータ（未確定カメラパラメータ）である。
【００９６】
〔座標変換工程〕
カメラ１の仮のカメラパラメータが整うと、座標変換部１８は、校正点Ｑ（Ｐ1、Ｐ2）のワールド座標系の３次元座標値を２次元の射影面Π上の座標値に変換する。つまり、自動調整の完了時の仮のカメラパラメータ（未確定カメラパラメータ）を用いて求められた理論上の校正点の座標値が確認座標として演算される。
【００９７】
〔調整完了確認工程〕
ＨＭＩ制御部２０の表示制御部２０１は、図１７に示すように、画像処理モジュール２を介してモニタ装置４の表示部４ａに、グラフィック画像としてマーカ枠Ｈ（確認マーカ）やタッチボタンを撮影画像に重畳表示させる。マーカ枠Ｈは、自動調整部３０による調整、即ち回転パラメータの値が正しく計算されていた場合に、その枠内にマーカ８０が表示される位置に設定されている。
【００９８】
このとき、座標変換部１８により仮のカメラパラメータに基づいて求められた理論上の校正点（確認座標）がマーカ枠Ｈの中央の座標となると好適である。マーカ枠Ｈの各辺は、マーカ８０がマーカ枠Ｈの中央にある場合に、画像座標系においてマーカ８０の各辺と２〜５画素の余裕を持つように設定されることができる。つまり、マーカ枠Ｈは、回転パラメータＲに与えられた許容差に相当する分の余裕を持った大きさに設定される。マーカ枠Ｈは、例えば緑色で表示されるＲＯＩ枠Ｆとの混同を避けるために、ＲＯＩ枠Ｆとは異なる色、例えば赤色で表示されると好適である。
【００９９】
尚、ここでは、確認マーカとして方形のマーカ枠Ｈを例示しているが、図１９に示すような十字型マーカＪを用いることも可能である。確認マーカが十字型マーカＪの場合には、図１９に示すように確認座標において交差するような十字が描画される。人間工学的には、マーカ８０の中央の点と、十字型マーカＪの十字の交差点との一致を確認するよりも、枠内にマーカ８０が入っていることを確認する方が容易と言われている。従って、本実施形態では、確認マーカとしてマーカ枠Ｈを用いている。作業者は、画面を目視により確認し、マーカ枠Ｈの中にマーカ８０が入っている場合には、カメラ１の校正が良好に完了したと判断して、タッチパネル４ｂの完了ボタンを操作する。タッチパネル４ｂへの操作は、ＨＭＩ制御部２０の指示入力受付部２０２を介して自動調整部３０やカメラパラメータ設定部１９へ伝達される。
【０１００】
〔カメラパラメータ設定工程〕
上記、調整完了確認工程におけるタッチパネル４ｂへの操作は、仮カメラ調整値をカメラ調整値として確定させる確定指示入力である。指示入力受付部２０２を介して、この確定指示入力を受け取ったカメラパラメータ設定部１９は、自動調整部３０において演算された回転パラメータＲを含む仮のカメラパラメータ（未確定カメラパラメータ）をカメラパラメータとして設定する。具体的には、図３に示すように、ＣＰＵ５に接続されたパラメータメモリ７に記憶されるカメラパラメータが、ＣＰＵ５によって書き換えられる。上述したように、パラメータメモリ７は、書き換え可能な不揮発性メモリや、バックアップ電源を有したその他のメモリによって構成されている。好適には、フラッシュメモリやＥ2ＰＲＯＭを用いるとよい。
【０１０１】
仮のカメラパラメータは、ＣＰＵ５のレジスタやＲＡＭ（random access memory）など、ワークエリアに一時記憶されている。カメラパラメータ設定工程において、レジスタなどのワークエリアに一時記憶された調整済みのカメラパラメータが、パラメータメモリ７に書き込まれ、更新されることによってカメラ１の校正が完了する。例えば、生産工場におけるカメラ１の校正作業が完了する。校正装置１０の全ての処理が完了し、モニタ装置４の表示部４ａには、図７と同様に、例えば、ナビゲーションシステムの地図画面が表示される。
【０１０２】
〔再調整工程（手動調整工程）〕
調整完了確認工程において、図１８に示すように、マーカ枠Ｈの中にマーカ８０が入っていない場合には、作業者は、カメラ１の校正が完了していないと判断する。このとき、表示制御部２０１は、マーカ枠Ｈや十字型マーカＪを上記とは異なる表示形態で表示させる。例えば、マーカ枠Ｈや十字型マーカＪを点滅させたり、異なる表示色で表示させたりする。また、表示制御部２０１は、ＲＯＩ枠Ｆを校正点検出部１２により校正点が検出される際とは異なる表示形態で表示させる。上述したように、ＣＰＵ５は、切れ目なく校正点特定工程から自動調整工程へと処理を続けていくので、作業者による確認のためのＲＯＩ枠Ｆは、自動調整工程の間も継続して表示されると好適である。従って、ＲＯＩ枠Ｆが継続して表示されていた場合には、表示制御部２０１は、ＲＯＩ枠Ｆの表示形態を変化させる。例えば、ＲＯＩ枠Ｆの表示色を緑色から赤色に変化させたり、点滅させたりすることによって、作業者に注意喚起する。連続して表示されていたＲＯＩ枠Ｆの表示形態を変化させるので作業者に対する視認性が向上する。
【０１０３】
ＣＰＵ５は、座標変換部１８により求められた理論上の校正点（確認座標）の座標値からマーカ枠Ｈの中にマーカ８０が入っていないことを認識可能である。具体的には、ＣＰＵ５は、実座標と確認座標との差が所定の確定しきい値以上であるとき、自動調整の結果が不充分であると判定することができる。従って、表示制御部２０１は、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を良好に制御することが可能である。
【０１０４】
このような場合には、表示制御部２０１は、図１８に示すように、手動調整のための矢印ボタンをタッチパネル４ｂに表示させる。作業者は、タッチパネル４ｂの矢印ボタンを操作して、引き続き、手動でカメラ１の再調整を行う。上述したように、マーカ枠Ｈの中央の座標は、理論上の校正点の座標に相当する。作業者は、必要に応じてタッチパネル４ｂの矢印ボタンを操作し、特許文献１や特許文献２のように、画面上における回転角度や上下左右の位置を調整することによって、マーカ枠Ｈにマーカ８０が収まるように手動で校正を行う。尚、手動調整に際しては、２つの確認マーカＨ（Ｊ）を結ぶ線（確認座標を結ぶ線）を表示部４ａに表示させると、作業性の向上が期待できる。ＣＰＵ５は、特許文献１や特許文献２と同様に、タッチパネル４ｂに表示されたタッチボタンの操作量に応じて、自動調整部３０において算出されたカメラパラメータを補正する。補正されたカメラパラメータは、仮のカメラパラメータ（未確定カメラパラメータ）である。
【０１０５】
本実施形態では、確認マーカとしてマーカ枠Ｈを用いている。上述したように、人間工学的には、マーカ８０の中央の点と、十字型マーカＪの交差点との一致を確認するよりも、枠内にマーカ８０が入っていることの確認の方が容易と言われている。従って、このような手動調整を実施する場合にも、マーカ枠Ｈを用いる方が高い作業性を得られる。本実施形態においては、マーカ枠Ｈ（確認マーカ）は、校正点の理論上の座標の位置を中心として、撮影画像上におけるマーカ８０（校正指標）を所定のマージンを有して内包する大きさの枠である。上述したように、マーカ８０は、方形状に構成されており、マーカ枠Ｈも方形状である。従って、調整完了確認工程においても再調整工程（手動調整工程）においても、マーカ８０の外形形状とマーカ枠Ｈとして表示される外枠とを良好に比較することができる。
【０１０６】
〔カメラパラメータ設定工程〕
マーカ枠Ｈにマーカ８０が収まると、作業者は、タッチパネル４ｂの完了ボタンを操作する。タッチパネル４ｂへの操作は、ＨＭＩ制御部２０の指示入力受付部２０２を介して自動調整部３０や手動調整部６０、カメラ調整値設定部１９へ伝達される。そして、手動調整完了後の仮のカメラパラメータがパラメータメモリ７に書き込まれる。校正装置１０の全ての処理が完了し、モニタ装置４の表示部４ａには、図７と同様に、例えば、ナビゲーションシステムの地図画面が表示される。
【０１０７】
〔調整完了確認工程及びカメラパラメータ設定工程の特殊例〕
尚、表示制御部２０１は、上述した調整完了確認工程において、確認座標と実座標との差が所定の確定しきい値未満であっても、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を変化させることがある。表示制御部２０１は、自動調整完了時のカメラパラメータと、カメラパラメータの初期値とが同一の値であるとき、確定しきい値による判定結果に拘わらず、校正点検出部１２により校正点が検出される際の関心領域ＲＯＩを示す領域枠Ｆとは異なる表示形態で領域枠Ｆを表示させる。また、表示制御部２０１は、確認マーカＨ（Ｊ）を異なる表示形態で表示させてもよい。
【０１０８】
例えば、表示制御部２０１は、カメラ１が規定位置に規定の姿勢で取り付けられた際の回転パラメータＲと、自動調整部３０による演算の完了時の仮の回転パラメータＲとが同一の値であるとき、確認マーカＨ（Ｊ）や領域枠Ｆの表示形態を変化させると好適である。この際、回転パラメータＲが有するパン、チルト、ロールの内の何れか１つ又は２つが同一の値である場合に、確定しきい値による判定結果に拘わらず、確認マーカや領域枠の表示形態を変化させてもよい。
【０１０９】
回転パラメータＲの誤差は、一般的な自然現象と同様に正規分布する。しかし、その中央値は回転パラメータＲが理想的な場合とはならない。回転パラメータの誤差につながる全ての部品が理想的な設計値になる確率は非常に低いため、正規分布の中央値が理想的な回転パラメータとなることは稀である。また、カメラ１を車両９０に設置する際の生産上の最頻姿勢も、理想的な回転パラメータＲとなる姿勢ではないと考えられる。従って、理想的な回転パラメータＲと、仮のカメラパラメータＲとが同一の値となるのは稀なことともいえる。
【０１１０】
このようなケースでは、校正演算が正しく実行されずに回転パラメータＲが初期値のままであったことも考えられる。従って、画面上で作業者に目視確認を促すために、再調整工程と同様に、表示制御部２０１は、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を変化させる。つまり、作業者に注意を喚起する。
【０１１１】
また、カメラ調整値設定部１９は、このような状態でパラメータメモリ７にカメラパラメータを書き込んだことを作業ログに記録しておく。例えば、ＣＡＮ５０を介して生産管理用コンピュータ等に記録を伝送する。又は、駐車支援ＥＣＵ９内部のダイアグノーシスメモリ等に記録しておく。つまり、パラメータメモリ７が未校正で初期状態のままであるのではなく、校正されて初期値と同一の値が再書込されたものであることを記録として残しておく。これにより、後にカメラ１の光軸にずれが発見された際に、後天的なものであるか、生産不良であるのかなどを追跡することが可能となる。
【０１１２】
〔他の実施形態〕
（１）上述した本実施形態では、作業者がモニタ装置４のシステム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させ、タッチパネル４ｂの所定のタッチボタンを操作することで、校正装置１０を起動させた。また、校正装置１０は、基本的に自動調整を行い、確認工程において手動調整が必要な場合に作業者が手動で調整を実施した。しかし、生産工場や修理工場ごとに設備が異なる場合もあり、全ての生産工場や修理工場において自動調整が可能であるとは限らない。そこで、校正装置１０の起動時においては、図２０に示すように、自動調整と手動調整とが選択可能に構成されていると好適である。
【０１１３】
上述したように、生産工場や修理工場において、作業者は、図７に示すシステム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させる。表示部４ａには、図２０の上段に示すように、車両９０の現在位置と共に地図が表示されているが、図２０の中断に示すような設定画面（第１設定画面）が表示される。ここで、タッチパネル４ｂの「カメラ調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、カメラ校正プログラムを起動する。ここまでは、上記実施形態と同様であり、上記実施形態においては上述したような自動調整演算が実行される。
【０１１４】
本実施形態においては、図２０の下段に示すように、さらに選択画面が表示される。ここで、タッチパネル４ｂの「自動調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、自動調整プログラムを起動する。この自動調整プログラムは、上述した実施形態のカメラ校正プログラムと同様である。選択画面において、タッチパネル４ｂの「手動調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、手動調整プログラムを起動する。手動調整が選択された場合には、特許文献１や特許文献２と同様の手動調整演算を実行するカメラ校正プログラムが起動される。
【０１１５】
（２）関心領域ＲＯＩの設定や、このＲＯＩ枠Ｆを表示部４ａに重畳させることは、カメラ校正方法に依らず可能である。手動調整の場合を含め、上記実施形態とは異なる演算手法によってカメラの校正を行う場合においても可能である。また、確認マーカとして方形のマーカ枠Ｈを用いる点についても、カメラ校正方法に依らず可能である。つまり、手動調整の場合を含め、上記実施形態とは異なる演算手法によってカメラの校正を行う場合においても可能である。
【０１１６】
（３）また、上記実施形態では、マーカ８０が２つの場合を例示したが、３つ以上のマーカ８０を用いることによって精度の向上を図ってもよい。また、上記実施形態においては、車両９０の後方を撮影するカメラ１の校正を行う場合を例示したが、前方や側方を撮影するカメラの校正にも本発明の校正装置を適用することが可能である。
【０１１７】
（４）上記実施形態では、カメラの内部パラメータ及び外部パラメータの内の並進パラメータは調整せず、外部パラメータの内の回転パラメータのみを調整する場合を例示した。しかし、本発明は、内部パラメータや並進パラメータを含めてカメラパラメータを調整して、カメラを校正する場合においても適用することができる。また、カメラの校正は、内部パラメータや外部パラメータ自体を求めるものに限定されない。本発明は、理論上のパラメータと実際のパラメータとの差を調整する調整パラメータや、理論上のパラメータを実際のパラメータに補正する補正パラメータを求めてカメラを校正する場合においても適用することができる。
【０１１８】
以上説明したように、本発明によって、自動調整の結果、不合格となった場合であっても簡単に追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することが可能となる。また、校正環境に依存されることなく、簡単な構成で、校正の可否の判定を早期に確実に行うことのできる車載カメラの校正装置を提供することが可能となる。つまり、本発明によれば、完全な自動調整ではなく、自動調整結果の作業者による目視確認や目視確認後の手動調整を含んだ半自動調整を合理的に実現できる。自動校正を含むことによって、校正作業に要する時間を短縮しつつ、確認によって、出荷される製品に不良品が混入することを防止できる。また、自動調整による校正が充分ではない場合には、手動調整によりさらに校正を続けることができ、生産ラインから不良として製品が排除される確率を減らして生産性を向上させることができる。
【符号の説明】
【０１１９】
１：カメラ（車載カメラ）
４ａ：表示部
１０：校正装置
１１：画像取得部
１２：校正点特定部
１９：カメラパラメータ設定部
３０：自動調整部
６０：手動調整部
８０：マーカ８０（校正指標）
９０：車両
２０１：表示制御部
２０２：指示入力受付部
Ｈ：マーカ枠（確認マーカ、確認枠）
Ｊ：十字型マーク（確認マーカ）
Ｑ、Ｑ１、Ｑ２：校正点
Π：射影面
【技術分野】
【０００１】
本発明は、車載カメラを車両に取り付けた際の取り付け誤差を調整して車載カメラを校正する車載カメラの校正装置に関する。
【背景技術】
【０００２】
近年、ドライバーの視野を補ったり、運転支援のための画像処理の入力情報としたりするために、車両周辺の情景を撮影するカメラが車両に搭載されることが増えている。カメラにより撮影された画像が駐車支援装置などに利用される場合には、カメラによる撮影画像の座標系と、画像処理に用いる画像の座標系との相関関係が精度良く整合している必要がある。しかし、実際には、カメラ自体の生産上の精度や、車両にカメラを取り付ける際の取り付け精度などにより、両座標系の相関関係は、設計上の理想的な相関関係とはならないことが多い。従って、車両の生産工程においてカメラの校正を行い、両座標系の整合が図られている。
【０００３】
特開２００１−２４５３２６号公報（特許文献１）や、特開２００５−７７１０７号公報（特許文献２）には、上述したような、車両の生産工程においてカメラの校正を行う技術が開示されている。これらには、作業者による調整ボタンの操作により、ディスプレイ画面上において、カメラにより撮影された校正指標と、撮影画像に重畳表示された調整枠とを所定の基準のもとに一致させてカメラの校正を行う技術が記載されている。調整枠は、３次元直交座標系におけるロール・チルト・パンに対応して３種設けられる。順次、これらの調整枠に校正指標が収まるように調整ボタンを操作することによって、カメラパラメータが変更される。３つの軸に対する調整が全て完了すると、変更されたカメラパラメータがメモリに記録される。
【０００４】
特許文献１や特許文献２に記載された技術は、簡単な構成でカメラを校正することができる優れたものである。しかし、カメラの回転に対応する３軸に対する調整を、作業者がディスプレイ画面を見ながら手動で調整ボタンを操作して行うため、校正に時間を要する。また、作業者によって校正精度が安定せず、校正が不充分な製品が後工程に送られる可能性もある。そこで、特開２００８―１３１２５０号公報（特許文献３）に示すように、カメラの回転行列を演算して、カメラパラメータ（投影パラメータ）を求める技術が提案されている。これによれば、基準座標において所定の位置に配置された校正点の基準座標系における座標に基づいて第１行列が演算される。また、カメラの撮影画像から特定された校正点の画像座標系の座標に基づいて第２行列が演算される。そして、第１行列と第２行列とからカメラの回転行列（第３行列）が演算される。また、特許文献３では、自動計算によって校正を実施するため、校正結果の合否を判定する合否判定部が備えられている。そして、合否判定部が校正結果を不合格と判定した場合には、校正が不十分な製品が後工程に送られることがないように、次の工程への移行が制限される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２４５３２６号公報（第２２〜２３段落、第３４〜４４段落、図６等）
【特許文献２】特開２００５−７７１０７号公報（第４３〜６３段落等）
【特許文献３】特開２００８−１３１２５０号公報（第５４〜９６、１００〜１０２段落、図２０、図２１等）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献３に記載された技術は、特許文献１や２のように「視覚的に合わせ込む」のではなく、カメラの回転行列を求めることによって理想的にカメラを校正する優れたものである。しかし、自動調整の結果に対して、合否判定部が不合格と判定した場合には、次の工程への移行が制限される。わずかに合格基準に達しなかった場合でも、一律に不合格とされると、生産ラインから排除される仕掛かり品が増加して生産性を低下させる可能性がある。
【０００７】
本発明は、上記課題に鑑みて創案されたもので、自動調整の結果、不合格となった場合であっても簡単に追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明に係る車載カメラの校正装置の特徴構成は、
車両に取り付けられた車載カメラにより、異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記車載カメラのカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時の前記カメラパラメータを用いて演算された前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、を備える点にある。
【０００９】
この構成によれば、自動調整部による調整が完了した時点では、演算されたカメラパラメータが未確定カメラパラメータとして設定され、この未確定カメラパラメータを用いて校正点の理論上の座標の位置が演算される。そして、この理論上の座標の位置を明示する確認マーカがグラフィック画像として撮影画像に重畳表示されるので、作業者は容易に自動調整の結果を確認することができる。そして、自動調整が不充分な場合には、作業者は、表示部に表示された画像上において確認マーカを移動させることが可能な調整指示入力を与えて正しい位置へ確認マーカを移動させることができる。さらに、手動調整部が、確認マーカの移動量に対応する校正点の前記理論上の座標の変化量に基づいて、カメラパラメータを調整する。自動調整部及び手動調整部による最新の調整完了時のカメラパラメータである未確定カメラパラメータは、作業者が、確定指示入力を与えるとカメラパラメータとして設定され、良好に校正が完了する。このように、本特徴構成によれば、自動調整の結果に対する合否判定により不合格となった場合であっても、簡単に手動調整などの追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することが可能となる。つまり、本構成によれば、完全な自動調整ではなく、自動調整結果の作業者による目視確認や目視確認後の手動調整を含んだ「半自動調整」を合理的に実現できる。自動校正を含むことによって、校正作業に要する時間を短縮しつつ、目視確認によって、出荷される製品に不良品が混入することを防止できる。また、自動調整による校正が充分ではない場合には、手動調整によりさらに校正を続けることができ、生産ラインから不良として製品が排除される確率を減らして生産性を向上させることができる。
【００１０】
また、本発明に係る車載カメラの校正装置の前記確認マーカは、前記撮影画像上における前記校正指標を所定のマージンを有して内包する大きさの確認枠であると好適である。
【００１１】
人間工学的には、十字の交差点で示されたような確認マーカと校正点との一致を確認するよりも、枠などの中央に目標物が入っていることの確認の方が容易と言われている。また、人間工学的には、点に対して点を合わせるよりも、囲いの中央に目標物を納める方が容易と言われている。従って、確認マーカを枠形状とした方が確認の際の視認性も向上し、手動調整の際の作業性も向上する。本発明の校正装置では、確認マーカの外形枠を手動調整の目安としても良好に使用することができる。校正指標の外形形状は既知であるから、所定のマージンを有して撮影画像上の校正指標を内包する適切な確認マーカを表示させることで、高い作業性を確保することができる。車載カメラの搭載姿勢などによって、撮影画像上における校正指標の外形形状は、歪みを有するので、これを考慮して、撮影画像上において歪む外形形状の相似形状の確認マーカを表示させるとよい。例えば、校正指標の外形形状が方形の場合は、撮影画像上で平行四辺形に近い形となる校正指標の外形形状に相似形状の確認マーカとすると好適である。また、校正指標の外形形状が円形の場合には、撮影画像上で楕円となる校正指標の外形形状に相似形状の確認マーカとすると好適である。
【００１２】
また、本発明に係る車載カメラの校正装置は、好適な一形態として、
車両に取り付けられた車載カメラにより、３次元の基準座標系の異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記車載カメラの３次元のカメラ座標系の射影面である前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記基準座標系に対して前記カメラ座標系を規定するカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時のカメラパラメータを用いて演算された、前記射影面における前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、を備えて構成される。上述した本発明の概要、並びに本発明のさらなる特徴及び特性は、下記に示す添付図面を参照して以下に述べる詳細な説明より明らかになるであろう。
【図面の簡単な説明】
【００１３】
【図１】校正用マーカと車両との配置関係の一例を示す説明図
【図２】校正用マーカの一例を示す説明図
【図３】本発明の車載カメラの校正装置を含む車両内のシステム構成の一例を模式的に示すブロック図
【図４】ワールド座標系とカメラ座標系との関係を示す説明図
【図５】カメラ座標系と画像座標系との関係を示す説明図
【図６】本発明の車載カメラの校正装置の構成の一例を模式的に示すブロック図
【図７】モニタ装置の一例を示す正面図
【図８】関心領域を示す枠をモニタ装置へ表示する例を示す図
【図９】関心領域の設定原理を示す説明図
【図１０】エッジ検出後の画像の一例を示す説明図
【図１１】直線検出の一例を示す説明図
【図１２】校正点検出の一例を示す説明図
【図１３】Ｎベクトルを示す説明図
【図１４】カメラ回転に関する基本定理を説明する説明図
【図１５】第１行列の元となるＮベクトルを示す説明図
【図１６】第２行列の元となるＮベクトルを示す説明図
【図１７】カメラの校正が成功した時のモニタ装置への表示例を示す図
【図１８】カメラの校正が成功しなかった時のモニタ装置への表示例を示す図
【図１９】確認マーカの他の例を示す図
【図２０】校正装置起動時の表示部への表示例を示す図
【発明を実施するための形態】
【００１４】
以下、車両９０の後方の情景を撮影するカメラ１（車載カメラ）を校正する場合を例として、本発明の校正装置の実施形態を図面に基づいて説明する。カメラ１（車載カメラ）は、車両９０の後方のナンバープレートの上方に車軸から側方へオフセットした位置に、光軸を下方（例えば水平から３０°下方）に向けて設置される。カメラ１は、例えば視野角１１０〜１２０°の広角レンズを備えて構成され、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両９０に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。
【００１５】
図１に示すように、マーカ８０（校正指標）は、カメラ１の視野範囲内において２箇所に配置される。また、マーカ８０は、ワールド座標系（基準座標系）においてその座標が既知となるように所定位置に配置される。本例において、マーカ８０は、図２に示すように白黒の市松模様のパターンを有している。パターン中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、マーカ８０は、ワールド座標系においてこの校正点Ｑの座標が既知となるように配置される。尚、ここでは白の矩形２個、黒の矩形２個の計４個の矩形により校正指標８が校正される例を示したが、合計４個以上の矩形によってマーカ８０が構成されても良く、その数を限定するものではない。また、マーカ８０は複数箇所であれば、３箇所以上に配置されてもよく、校正点Ｑも３つ以上の異なる座標に配置されてもよい。
【００１６】
図１に示す例では、２つのマーカ８０はワールド座標系におけるＹWＺW平面に相当する床上に、ワールド座標系のＺW軸に相当する車両の主軸に対して左右対称に配置されている（Ｄ1＝Ｄ2、Ｗ1＝Ｗ2）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。マーカ８０は、異なる工場等であっても、共通に配置されると校正装置を共通化することができて好ましい。但し、マーカ８０の配置の差異は、プログラムやパラメータの変更によって容易に対応できることも多い。従って、工場において確保できる広さや他の設備との関係によってマーカ８０は任意に配置されることが可能である。
【００１７】
マーカ８０の寸法は、カメラ１の分解能や校正装置が備える画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄ1やＤ2が１〜２ｍ、Ｗ1やＷ2が１．５ｍ程度である場合には、図２に示すように、各白黒が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ８０が利用される。
【００１８】
尚、マーカ８０は、壁面や衝立などの垂直面上に設置されてもよい。この場合も、校正点Ｑのワールド座標（ＸW，ＹW，ＺW）を正確に把握することが可能である。つまり、マーカ８０は、カメラ１の視野内であれば、床面及び壁面を含む任意の面に配置可能である。本実施形態では、カメラ１を下方に向けて車両に搭載しているため、天井面にマーカ８０を配置することは適切ではない。しかし、天井面がカメラ１の視野に入る場合には勿論天井面に配置されてもよい。また、マーカ８０は、ワールド座標（ＸW，ＹW，ＺW）の軸に対して、垂直に配置される必要はない。当然、２つのマーカ８０の一方が床面上、他方が衝立上に配置されるなど、異なる面上に配置されてもよい。重要であるのは校正点Ｑであり、マーカ８０はどのような面に配置されても構わない。つまり、ワールド座標系において校正点Ｑが正確に配置され、カメラ１の撮影画像から校正点Ｑが良好に検出可能であればマーカ８０の設置方向は任意である。
【００１９】
本実施形態において、車両９０は駐車支援装置を搭載しており、カメラ１により撮影された車両９０の周辺の情景はこの駐車支援装置に利用される。この駐車支援装置は、車庫入れ駐車や縦列駐車における後退時に、ドライバーが設定したり、駐車支援装置により自動設定されてドライバーによって確認されたりした駐車位置に車両９０を誘導する。この誘導は、例えば、ドライバーにより操作されるステアリングの操舵角を検出して、車両９０の予想進路を撮影画像に重畳表示させるものである。また、別の誘導は、たとえば、駐車位置に対して車両９０を移動させるべく、自動的に操舵制御を行うものである。
【００２０】
図３は、このような駐車支援装置４０を搭載する車両９０のシステム構成の一例を模式的に示すブロック図である。駐車支援装置４０には、後述するように画像認識などの高度な画像処理を行い、駐車支援装置４０の中核を担うＣＰＵ（central processing unit）５が備えられている。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムや、パラメータメモリ７に格納されたパラメータを利用して各種処理を実行する。ここでは、プログラムメモリ６やパラメータメモリ７は、ＣＰＵ５とは別の不揮発性メモリであるが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。駐車支援装置４０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、駐車支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、駐車支援装置４０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
【００２１】
図３に示すように、カメラ１により撮影された画像は、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示される。カメラ１は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラである。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、ＣＰＵ５から発せられる。
【００２２】
モニタ装置４は、ナビゲーションシステムのモニタ装置が兼用されている。図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。
【００２３】
ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図３に示すように、駐車支援装置４０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される他、外部接続用端子などを介して外部システム３３と接続される。これら各システムは、駐車支援装置４０と同様にＣＰＵなどの電子回路を中核として構成され、駐車支援ＥＣＵ９と同様に周辺回路と共にＥＣＵを有して構成される。
【００２４】
パワーステアリングシステム３１は、アクチュエータ４１によりステアリングホイールにアシストトルクを付加したり、ステアリングホイールや操舵輪を駆動したりする電動パワーステアリング（EPS : electric power steering）システムである。ブレーキシステム３７は、アクチュエータ４７を用いてブレーキ力を増強させるブレーキアシスト、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）などを有した電動ブレーキシステムである。外部システム３３は、車両９０の生産時や点検、整備の際に使用される検査システムや調整システム、ディーラーやユーザーが接続コネクタなどを介して取り付けるオプションシステムである。
【００２５】
駐車支援装置４０は、各種センサと連携し、これら各種センサの検出結果に基づいて駐車支援制御を実行する。図３において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。また、ステアリングのトルクセンサ２２、ブレーキセンサ２７などは、パワーステアリングシステム３１やブレーキシステム３７を介してＣＡＮ５０に接続されている。
【００２６】
ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。トルクセンサ２２は、ドライバーのステアリングホイールに対する操作トルクを検出する。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサである。シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。
【００２７】
図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。
【００２８】
上述したように、駐車支援装置４０は、ＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。上述したような駐車支援を実施する際には、カメラ１による撮影画像の座標系と、画像処理に用いる画像の座標系との相関関係が精度良く整合されている必要がある。しかし、実際には、カメラ１自体の光学系の精度や、カメラ１を車両９０に取り付ける際の取り付け精度などにより、両座標系の相関関係は、設計上の理想的な関係とはならないことが多い。このため、駐車支援装置４０は、両座標系の相関関係を整合するためにカメラパラメータが格納されたパラメータメモリ７を有している。つまり、駐車支援装置４０は、ＣＰＵ５のハードウェアと、プログラムメモリ６に格納されたプログラム（ソフトウェア）と、パラメータメモリ７に格納されたカメラパラメータとの協働によって機能する。
【００２９】
カメラパラメータは、カメラ１の車両９０への取り付け状態によって変動する値である。従って、車両９０の生産工程においてカメラ１の校正を行い、両座標系の整合を図ってカメラパラメータを決定する必要がある。つまり、基準座標系とカメラ１のカメラ座標系との関係をカメラパラメータにより特定することによってカメラ１を校正する必要がある。また、車両９０の整備工場において、定期的にカメラ１の校正が可能であったり、車両９０に過度の衝撃が加わった後の点検や整備において、カメラ１の校正が可能であったりすることが好ましい。このため、車両９０には、カメラ１を校正する校正装置１０が搭載される。あるいは、車両９０に校正装置１０が接続可能に構成される。また、パラメータメモリ７は、書き換え可能な記憶媒体により構成され、校正により決定されたカメラパラメータに更新される。
【００３０】
１つの形態として、駐車支援装置４０を構成するＣＰＵ５及びプログラムメモリ６を校正装置１０として利用することが可能である。あるいは、駐車支援装置４０を構成するプリグラムメモリ６とは別のプログラムメモリとＣＰＵ５とによって、校正装置１０が構成されてもよい。また、外部システム３３として、校正装置１０が構成されてもよい。本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する場合を例として説明する。
【００３１】
まず、カメラパラメータや座標系について説明する。カメラ１により撮影される画像は２次元であるが、実際の空間は３次元である。従って、駐車支援装置４０においては、２次元空間と３次元空間との間の相互変換が必要であり、その変換のためには、全てのカメラパラメータが精度良く設定されていることが好ましい。
【００３２】
カメラパラメータには、大きく分けて内部パラメータと外部パラメータとがある。カメラの内部パラメータとは、カメラの内部の光学系に関するパラメータである。デジタルカメラの場合には、撮像素子とレンズの中心との間の距離（焦点距離）、撮像素子の大きさや画素数、画素の縦配列と横配列との角度などを元にして設定されるパラメータである。厳密には、内部パラメータも一定ではなくカメラごとに異なるが、車両９０へのカメラ１の取り付け精度の差に比べれば非常に小さい差と考えてもよく、ここでは内部パラメータは精度良く設定されているものとする。
【００３３】
外部パラメータは、基準座標系（ワールド座標系）に対するカメラの位置や姿勢に関するパラメータである。本実施形態では、カメラ１の車両９０への取り付け精度に依存するパラメータに相当する。外部パラメータには、カメラの位置に関する並進パラメータと、カメラの姿勢に関する回転パラメータとがある。図１及び図４に示すように、３次元空間の座標系であるワールド座標系（ＸW，ＹW，ＺW）の１点を座標中心ＯCとしてカメラ座標系（ＸC，ＹC，ＺC）が存在する。つまり、カメラ１は、基準座標系であるワールド座標系における所定座標を座標中心ＯCとするカメラ座標系を形成するような位置及び姿勢で車両９０に設置される。カメラ１が設置される規定位置とは、カメラ座標系の座標中心ＯCのワールド座標系における座標によって定義される。
【００３４】
カメラ１が設置される位置、つまり、カメラ座標系の位置は、３次元直交座標系であるワールド座標系の各軸に対してそれぞれ平行な並進成分Ｔ（ＴX，ＴY，ＴZ）により定義される。一般的には、並進成分Ｔは３行１列の行列により定義される。定義される位置と実際にカメラ１が設置される位置との間にずれが生じることは、外部パラメータにおける並進成分Ｔの誤差となる。但し、並進成分Ｔの誤差が、撮影画像を見るドライバーに与える違和感は比較的少ない。また、この設置位置の誤差は、カメラ１から被写体までの距離にほとんど依存することがないので、画像処理に与える影響も少ない。つまり、カメラ１の設置位置に関して、生産工程において適正な公差が設定され、適正に公差管理されていれば、並進パラメータは精度良く設定されているものと考えてもほとんど問題はない。
【００３５】
カメラ１の設置時の姿勢、つまり、カメラ座標系の回転は、３次元直交座標系であるカメラ座標系の各直交軸を中心とする回転成分Ｒにより定義される。一般的には、回転成分は、３行３列の行列により定義される。例えば、図４に示すように、ＺC軸を中心としてカメラ１が回転するロール（Roll）が生じた場合には、撮影画像が傾くことから、撮影画像を見るドライバーに与える違和感は大きくなる。また、ＸC軸を中心としてカメラ１が回転するパン（Pan）や、ＹC軸を中心としてカメラ１が回転するチルト（Tilt）が生じた場合には、カメラ１から被写体までの距離が変動する。このため、撮影画像における被写体の位置が大きく変動し、画像処理に与える影響も大きくなる。従って、カメラ１が車両９０に取り付けられた姿勢に応じて回転パラメータを精度良く調整し、カメラ１を校正することが重要である。
【００３６】
上述したように、カメラパラメータには、内部パラメータと並進パラメータＴと回転パラメータＲとがあるが、この内、外部パラメータの１つである回転パラメータＲを精度良く調整することが重要である。図１や図４からも理解できるように、カメラ１が誤差無く車両９０に設置されたとしても、カメラ座標系はワールド座標系に対して回転している。従って、カメラ１が理想的な位置に理想的な姿勢で取り付けられた場合の回転パラメータＲは、設計値として一義的に設定される。本発明の校正装置１０は、この回転パラメータＲを、カメラ１の実際の取り付け姿勢に応じて調整することによってカメラ１を校正する。
【００３７】
ここで、３次元のカメラ座標系（ＸC，ＹC，ＺC）と、２次元の画像座標系（ｘ，ｙ）との関係について説明する。画像座標系（ｘ，ｙ）は、図５に示すようにカメラ１の光軸に一致するカメラ座標系のＺC軸に垂直な２次元射影空間（射影面Π）に存在する２次元直交座標系である。射影面Πは、カメラ座標系のＺC軸方向にカメラ座標の原点ＯCからカメラ１の焦点距離ｆだけ離れて存在する。図５において、ｕ軸はカメラ１の撮像素子の画素の縦配列の方向を示し、ｖ軸はカメラ１の撮像素子の画素の横配列の方向を示す。理想的には、ｕ軸及びｖ軸は、それぞれ画像座標系のｘ軸及びｙ軸に一致する。また、ｕ軸とｖ軸とのなす角は、理想的には画像座標系のｘ軸とｙ軸とのなす角と同様に９０度である。角は、上述した内部パラメータの１つであるが、上述したように、ここでは理想的な９０度であるとする。
【００３８】
カメラ座標系とワールド座標系との整合が取れていれば、図５に示すように、ワールド座標系において座標Ｍに存在する点は、画像座標系において座標ｍに存在するものとしてカメラ座標系から画像座標系へ座標変換される。逆に、撮影画像、つまり画像座標系の座標ｍにおいて検出された点は、床上に存在するなどの一定条件の下で、カメラ座標系を経てワールド座標系の座標Ｍにある点として座標変換されることが可能である。
【００３９】
一方、カメラ座標系とワールド座標系との整合が取れていない場合には、図５に示すように、実際のカメラ１のカメラ座標系の射影面Π’と、理想通りのカメラ座標系の射影面Πとは異なる平面となる。このため、実際に車両９０に取り付けられたカメラ１のカメラ座標系とワールド座標系との整合が取れなくなる。例えば、ワールド座標系において座標Ｍに存在する点は、実際のカメラ１のカメラ座標系の射影面Π’において、座標ｍ’に存在するものとして検出される。そして、この座標ｍ’が理想通りのカメラ座標系の射影面Πの座標として扱われ、カメラ座標系を経てワールド座標系に座標変換される。つまり、ワールド座標系において座標Ｍに存在する点は、図５に示すように、ワールド座標系において座標Ｍ’に存在する点として座標変換されることになる。
【００４０】
このような誤差が生じると、駐車支援装置４０は精度良く駐車支援を行うことができない。校正装置１０は、このような誤差を抑制するべく、回転パラメータＲを調整し、ワールド座標系や理想的なカメラ座標系と、実際に車両９０に取り付けられたカメラ１のカメラ座標系との関係を定義する。これをカメラ１の校正という。回転パラメータＲの調整には、理想的な回転パラメータＲをカメラ１の取り付け姿勢に応じて補正する調整パラメータを求める方法や、回転パラメータＲ自体をカメラ１の取り付け姿勢に応じて算出する方法などがある。本実施形態では、回転パラメータＲ自体、いわゆる回転行列をカメラ１の取り付け姿勢に応じて算出することによって、カメラ１を校正する。
【００４１】
上述したように、本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する。校正装置１０は、主にＣＰＵ５などのハードウェア及びプログラムメモリ６などに格納されたソフトウェア（プログラム）が協働することによって、図６に示すような複数の機能部を有して構成される。図６に示すように、校正装置１０は、画像取得部１１と、校正点特定部１２と、第１行列演算部１３と、第２行列演算部１４と、第３行列演算部１５と、回転角演算部１６と、カメラパラメータ演算部１７と、座標変換部１８と、カメラパラメータ設定部１９と、ＨＭＩ制御部２０とを有して構成される。ＨＭＩ制御部２０は、表示制御部２０１及び指示入力受付部２０２を有して構成される。また、第１行列演算部１３と、第２行列演算部１４と、第３行列演算部１５と、回転角演算部１６と、カメラパラメータ演算部１７と、座標変換部１８とは、自動調整部３０を構成する。自動調整部３０は、校正点特定部１２において検出された校正点に基づいて、ワールド座標系に対してカメラ座標系を規定するカメラパラメータを自動調整する機能部である。また、校正装置１０は、自動調整部３０の他、手動調整部６０を有して構成される。
【００４２】
画像取得部１１は、３次元のワールド座標系の異なる複数箇所の所定位置に配置された校正指標８０を視界内に含んで、車両９０に取り付けられたカメラ１により撮影された撮影画像を取得する機能部である。校正点特定部１２は、この撮影画像において校正指標８０の中のそれぞれの校正点Ｑを検出し、撮影画像の２次元の画像座標系におけるそれぞれの校正点Ｑの座標を実座標として特定する機能部である。校正点特定部１２は、後述するように、校正点分布範囲設定部１２１と、校正指標分布範囲設定部（画像処理対象領域設定部）１２２と、校正点検出部１２３とを有して校正される。これら各機能部の詳細については、後述する。
【００４３】
第１行列演算部１３は、ワールド座標系における校正指標８０の校正点Ｑの座標に基づいて、カメラ１の光学中心ＯC（カメラ座標系の原点ＯC）から見た校正点Ｑ及び校正点Ｑを通る直線に関するベクトルを示す第１行列を演算する機能部である。第２行列演算部１４は、校正点特定部１２により特定された撮影画像上の校正点Ｑの座標に基づいて、カメラ１の光学中心ＯCから見た校正点Ｑ及び校正点Ｑを通る直線に関するベクトルを示す第２行列を演算する機能部である。第３行列演算部１５は、第１行列及び第２行列に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列を演算する機能部である。これら各機能部の詳細については後述する。
【００４４】
回転角演算部１６は、回転行列を、３次元空間上で互いに直交する３軸に対する３つの回転角度成分に分解する機能部である。カメラパラメータ演算部１７は、回転行列に基づいて、カメラ１のカメラパラメータを演算する機能部である。座標変換部１８は、カメラパラメータに基づいて、校正点Ｑのワールド座標系の３次元座標値を２次元の射影面Π上の座標値に変換する。つまり、座標変換部１８は、カメラパラメータに基づいて、理論上の校正点Ｑの座標値を演算する機能部である。これら各機能部の詳細については後述する。
【００４５】
カメラパラメータ設定部１９は、自動調整部３０及び手動調整部６０による最新の調整完了時のカメラパラメータである仮のカメラパラメータ（未確定カメラパラメータ）をカメラパラメータとして設定する機能部である。カメラパラメータ設定部１９は、指示入力受付部２０２により受け付けられる確定指示入力に基づいてカメラパラメータを設定する。詳細については後述する。
【００４６】
ＨＭＩ制御部２０は、視覚的効果や聴覚的効果により、ユーザー（校正の作業者）に対する報知を行ったり、ユーザーから与えられる操作指示を受け取って各機能部へ伝達したりするインターフェースを行う機能部である。例えば、ＨＭＩ制御部２０は、画像処理モジュール２に対して撮影画像に重畳させるグラフィックの指定や重畳の指示を行ったり、音声処理モジュール３に対してスピーカ４ｃから出力させたりする。また、タッチパネル４ｂを介してユーザーより与えられた指示を受け取って、指示に対応する機能部を働かせる。図６に示すように、ＨＭＩ制御部２０は、表示制御部２０１と指示入力受付部２０２とを有して構成される。表示制御部２０１及び指示入力受付部２０２の具体的な機能については後述する。
【００４７】
本実施形態においては、駐車支援装置４０を構成するＣＰＵ５、プログラムメモリ６、パラメータメモリ７を校正装置１０として利用する。また、駐車支援装置４０のモニタ装置４は、ナビゲーションシステムのモニタ装置が兼用されている。従って、モニタ装置４は、校正装置１０のモニタ装置としても兼用される。モニタ装置４の前面パネルには、図７に示すような様々なスイッチが設けられている。符号４ｄは、地図の縮尺を変更するボタンである。符号４ｅは、目的地を設定するための画面を表示させるボタンである。符号４ｆは、車両９０の現在位置を表示させるボタンである。符号４ｇは、音量の調節ボタンである。符号４ｈは、システムの各種設定を行うための画面を表示させるシステム設定ボタンである。図７においては、車両９０の現在位置と共に地図が表示されている場合を例示している。
【００４８】
生産工場や修理工場において、作業者は、システム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させ、タッチパネル４ｂの所定のタッチボタンを操作する。ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、カメラ校正プログラムを起動して校正装置１０として機能する。尚、生産工程においては、初期画面をカメラ校正モードとしておき、カメラ１の校正が完了した後に所定の操作を行うことで、初期画面がナビゲーションシステムの画面となるように構成されていてもよい。
【００４９】
〔画像取得工程〕
カメラ校正プログラムが起動されると、つまり、校正装置１０によりカメラ校正が開始されると、まず、画像取得部１１により、カメラ１により撮影された動画像がキャプチャされる。キャプチャされた画像は、画像処理モジュール２を介して、図８に示すようにモニタ装置４に表示される。
【００５０】
〔校正点特定工程／関心領域設定工程（画像処理領域設定工程）〕
校正点特定部１２は、キャプチャされた画像から、校正点Ｑを検出し、画像座標系における校正点Ｑの座標を実座標として設定する。校正点Ｑの検出に先立って、画像処理の対象となる領域が関心領域（ROI ： region of interest）として射影面Πに設定される。つまり、校正点を検出するための画像処理が実施される画像処理対象領域が、関心領域ＲＯＩとして設定される。校正点特定部１２は、画像処理領域設定部としても機能する。この関心領域ＲＯＩは、公差の平均値による画像上（射影面Π上）の位置を基準として、カメラ１の取り付け公差と画像処理のためのマージンを考慮して定められた位置とサイズに基づいて設定される。関心領域ＲＯＩは、例えば、経験上の一般的な公差やマージンに基づいて、大まかに設定することができる。撮影画像に対して関心領域ＲＯＩは狭いので、画像処理の演算負荷は軽減される。また、以下のように精度良く関心領域ＲＯＩを設定してもよい。
【００５１】
〔校正点特定工程／関心領域設定工程／校正点分布範囲設定工程〕
１つの好適な例としては、カメラ１が規定位置に規定の姿勢で取り付けられた際の回転パラメータに基づいて、校正点Ｑが存在する理論上の座標値が演算される。そして、カメラ１がカメラ座標系の各軸を中心としてそれぞれ所定角度回転した際に理論上の座標値が分布する範囲が校正点分布範囲となる。校正点分布範囲設定部１２１が、このようにして求められた校正点分布範囲を画像座標系に設定すると好適である。
【００５２】
〔校正点特定工程／関心領域設定工程／校正指標分布範囲設定工程〕
次に、校正点分布範囲に基づいて、画像座標系においてマーカ８０が分布する範囲が校正指標分布範囲として、校正指標分布範囲設定部１２２によって画像座標系に設定される。本実施形態においては、この校正指標分布範囲が、関心領域ＲＯＩに相当する。具体的には、図９に示すように、カメラ１の光軸が設計値通りの方向を向いている場合に対して、それぞれ±３度〜５度のずれが発生しても、マーカ８０が必ず含まれるように、つまり、回転パラメータＲの誤差を加味して関心領域ＲＯＩが設定される。また、この際、カメラの光学中心（カメラ座標系の原点）のずれ、つまり、並進パラメータＴのずれも加味して関心領域ＲＯＩが設定されると好適である。校正指標分布範囲は、実質的に校正点を検出するための画像処理を実施する画像処理対象領域に対応する。従って、校正指標分布範囲設定部１２２は、画像処理対象領域設定部としても機能する。
【００５３】
表示制御部２０１は、画像処理モジュール２を介して、画像処理対象領域や校正指標分布範囲をグラフィック画像によるＲＯＩ枠（領域枠）Ｆとして撮影画像に重畳させて撮影画像と共に表示部４ａに表示させる（領域枠表示工程）。ＲＯＩ枠Ｆは、例えば緑色で表示部４ａにおいて撮影画像に重畳表示される。ＲＯＩ枠Ｆは、カメラ１が理想的に取り付けられた場合、即ち、規定位置に規定の姿勢で取り付けられたと仮定した場合に、所定位置に配置された校正指標８０が中央にくるように、射影面Πに設定される。図２に示すように、校正点Ｑは、校正指標８０の中央に設定されているので、図９に示すように、理想的な校正点ＱはＲＯＩ枠Ｆの中央となる。
【００５４】
撮影画像上にＲＯＩ枠Ｆが表示されることにより、作業者は下記に示す自動調整工程が実行されている最中であっても、カメラ１の調整作業（校正作業）に参加することができる。自動調整と作業者による目視確認とを併用した半自動調整（半自動校正）ということもできる。作業者は、マーカ８０がＲＯＩ枠Ｆから外れているなど、非常に大きな誤差を有してカメラ１が車両９０に取り付けられていることを容易に確認することができる。作業者は、図８に示すように表示制御部１２１によりタッチパネル４ｂに表示されたキャンセルボタンを介して指示入力を与えることによって、校正を中断してカメラ１の設置状態を確認したり、校正を中止して不良として生産ラインから車両９０を排除したりすることができる。タッチパネル４ｂを操作することによって、自動調整工程の中断や中止を指示することができるので、指示入力受付部２０２や、これを含むＨＭＩ制御部２０は、調整中断部（調整中断手段）として機能するといえる。カメラ１が大きな誤差を有して設置されていた場合に、調整作業の初期において、調整を中断したり中止したりすることができるので、生産性が向上する。ＣＰＵ５は、切れ目なく校正点特定工程から自動調整工程へと処理を続けていくので、作業者による確認のためのＲＯＩ枠Ｆは、自動調整工程の間も継続して表示されると好適である。また、同様に調整の中止や中断の指示入力を与えるためのタッチボタンも、自動調整工程の間も継続して表示されると好適である。
【００５５】
尚、画像処理の対象となる関心領域ＲＯＩと、校正指標分布範囲とは、必ずしも一致している必要はない。余裕をみて、校正指標分布範囲よりも広域な関心領域ＲＯＩが設定されてもよい。また、上記においては、撮影画像上に表示されるＲＯＩ枠Ｆが、画像処理の対象となる関心領域ＲＯＩに一致する場合を例として説明した。しかし、校正指標分布範囲よりも広域な関心領域ＲＯＩが設定されるような場合において、ＲＯＩ枠Ｆが、校正指標分布範囲に一致して重畳表示されてもよい。また、関心領域ＲＯＩが設定されず、撮影画像の全域に亘って画像処理が実施される場合も同様である。このような場合、作業者は、マーカ８０がＲＯＩ枠Ｆから外れていることによって、設計値に対して非常に大きな誤差を有してカメラ１が車両９０に取り付けられていることを容易に確認することができる。画像処理の対象領域である関心領域ＲＯＩとＲＯＩ枠Ｆとは一致していることが好ましいが、このように一致していない場合であっても、同様の効果が得られる。従って、校正指標分布範囲がグラフィック画像によるＲＯＩ枠（領域枠）Ｆとして撮影画像に重畳され、表示部４ａに表示されることも非常に有用である。
【００５６】
〔校正点特定工程／校正点検出工程〕
次に、校正点特定部１２は、関心領域ＲＯＩの範囲内を画像処理対象として、校正点Ｑの特定を行う。校正点Ｑを特定するために、校正点検出部１２３は、マーカ８０の中心点である校正点Ｑの撮影画像上における座標を検出する。つまり、画像座標系における座標を検出する。この座標は、現実に車両９０に設置されたカメラ１により撮影された画像に基づいて検出されるので、校正点Ｑの「実座標」に相当する。本実施形態のように、マーカ８０として市松模様が使用される場合、公知のコーナ検出器を用いて校正点Ｑを検出することが可能である。
【００５７】
本実施形態では、ガウシアンフィルタ（Gaussian filter）が組み込まれたCannyエッジ検出器を利用する。Cannyエッジ検出器は、エッジ特徴を保存すると共に、画像に含まれるノイズを除去する働きがあり、安定したエッジ検出が可能である。Cannyエッジ検出器に関しては、J.F.Canny "Finding edge and lines in images". Master's thesis, AITR-720. MIT, Cambridge, USA, 1983などに詳しいので、ここでは詳細な説明を省略する。尚、当然ながら、Cannyエッジ検出器に限らず、Tomasi-Kanade検出器や、ハリス検出器など、他の方法を用いてエッジ検出を行ってもよい。
【００５８】
上述したように、カメラ１は広角レンズを有して構成されており、撮影画像は歪みを有している。校正点Ｑを検出するためには、後述するように直線認識が必要となる。そこで、エッジ検出後の画像データに対して歪み補正処理が施される。尚、当然ながら、エッジ検出を行う前、つまり、関心領域ＲＯＩの範囲内の元画像に対して歪み補正を実施してもよいし、撮影画像全体に対して歪み補正を実施してもよい。しかし、撮影画像や撮影画像中の関心領域ＲＯＩの範囲内の画像は、カラーグレイ画像データであるので、データ量が多く演算負荷も大きくなる。本実施形態では、エッジ検出後のデータは、図１０に示すようにエッジ点群Ｅにより構成されたモノクロ２値データとなっているので、データ量が圧倒的に少なく演算負荷が軽くなる。図１０（ａ）は、歪み補正処理を施された後のマーカ８０ａのエッジ点群Ｅ、図１０（ｂ）は、歪み補正処理を施された後のマーカ８０ｂのエッジ点群Ｅを示している。
【００５９】
続いて、これらエッジ点群Ｅに対して、直線検出処理（直線当てはめ処理）が実施される。直線検出処理には、最小自乗法やハフ変換などを利用することも可能であるが、これらは演算負荷が大きい処理である。本実施形態では、これらの手法よりも遙かに演算量の少ないRANSAC（RANdom SAmple Consensus）手法を用いて直線の当てはめを行うことによって直線検出を行う。RANSAC手法では、直線や曲線の当てはめに必要な最小点数の点がエッジ点群Ｅから選択され、フィッティングモデルが設定される。直線の場合の最小点数は２点であり、ランダムに選択された２点を結ぶ直線が直線モデルとして設定される。そして、エッジ点群Ｅの他の点がこの直線モデルに対してどの程度当てはまるかについて評価される。順次、２点を選んで所定回数、評価を繰り返し、最も適合度の高い直線モデルが直線として決定される。図１１は、図１０に示すエッジ点群Ｅに対して直線Ｇを当てはめた例を示している。
【００６０】
直線Ｇが当てはめられると、次に、当てはめられた直線Ｇの交点の座標が算出される。直線Ｇは一次関数であるから簡単な計算により、図１２に示すように、画像座標系における交点座標（校正点Ｑ）を特定することができる。尚、この座標は、車両９０に取り付けられたカメラ１のカメラ座標系の射影面における座標（実座標）であるから、カメラ１が完全に誤差無く取り付けられていない限り、理想的なカメラ座標系の射影面における座標とは異なる。
【００６１】
〔自動調整工程〕
カメラ１が規定位置に規定の姿勢で完全に誤差なく取り付けられたと仮定した場合、つまり、理想的なカメラ座標系の射影面において、それぞれの校正点が特定される理論上の座標を「初期座標」とする。つまり、カメラ座標系とワールド座標系とが理想的な関係を満たす際に、ワールド座標系に対してカメラ座標系を規定するカメラパラメータの初期値により射影面において校正点が特定される座標が「初期座標」である。この「初期座標」と上記「実座標」とはカメラ１が完全に誤差無く取り付けられていない限り異なるものである。以下、カメラパラメータの外部パラメータの内の回転パラメータを、実際のカメラ１の取り付け姿勢に応じて求め、カメラパラメータを更新してカメラ１を構成する手順を詳述する。
【００６２】
本実施形態では、自動調整工程においてＮベクトルを用いたベクトル演算を実施して回転パラメータを求める。始めにＮベクトルについて説明する。図１３に示すように、直交座標系を持つ画像面を２次元射影空間（射影面Π）とみなすと、点や直線は、全てがゼロではない３個の実数からなる同次座標で表される。同次座標は、画像処理における計算上の問題を解決する上で好適なものである。解決のための最も簡単な手段は、同次座標の３要素が常に単位ベクトルとなるようにしておくことである。正規化した同次座標の組を単位ベクトルとして表したものをＮベクトルと称する。
【００６３】
図１３において、点Ｐは、射影面Π上の点であり、ｆは焦点距離であり、視点ＯC（カメラ座標系の原点ＯCに相当）から射影面までの距離を示す。３次元直交座標のＺC軸は射影面Πに直交し、ＸCＹC平面は射影面Πと平行である。Ｎベクトルｍは、視点ＯCを始点として点Ｐを指し示す単位ベクトルである。Ｎベクトルｎは、点Ｐを通る直線Ｌと、視点ＯCとによって定まる平面ＦＰに垂直な単位法線ベクトルである。つまり、Ｎベクトルｎは、直線Ｌを表すベクトルである。尚、ベクトルｌは、Ｎベクトルではなく、直線Ｌの向きを表す単位ベクトルである。
【００６４】
ここで、図１３に示すカメラの光学中心である視点（カメラ座標系の原点）ＯCを固定してカメラが回転したと仮定する。カメラの回転により、射影面Π上の点Ｐ及び直線Ｌの座標は変化し、Ｎベクトルも変化する。つまり、回転前の射影面上の点Ｐ及び点Ｐを通る直線Ｌと、回転後の射影面上の点Ｐ’及び点Ｐ’を通る直線Ｌ’とが与えられる。この時、点Ｐ’を点Ｐに一致させ、直線Ｌ’を直線Ｌに向きを含めて一致させるようなカメラ回転行列Ｒは、下記の式(1)のように一意的に定められる。ここで、ｌ’は直線Ｌ’の向きを表す単位ベクトル、ｍ’は点Ｐ’を表すＮベクトル、ｎ’は直線Ｌ’を表すＮベクトルである。
【００６５】
【数１】
【００６６】
つまり、図１４に示すように、ワールド座標系を基準とした回転前後の２つの画像から車両に搭載されたカメラ１の回転ベクトルＲを求めることができる。ただし、本発明の校正装置では、車両９０及びカメラ１は固定されるので、カメラ１から入力される画像は１つである。複数の画像を得るために車両９０やカメラ１を動かすことは、校正時間を増やし、また校正精度の上からも好ましくない。
【００６７】
しかし、上記原理の本質は、｛ｌ，ｍ，ｎ｝による定まる座標系から、｛ｌ’，ｍ’，ｎ’｝により定まる座標系の回転行列を求めれば、それがカメラ１の回転行列Ｒと一致することにある。つまり、｛ｌ，ｍ，ｎ｝を回転前の座標系から求め、｛ｌ’，ｍ’，ｎ’｝を回転後の座標系から求めれば足りる。そこで、回転前の座標系は、ワールド座標系において、カメラ１の光学中心ＯCまで純粋に並進したのみのカメラ座標系（第１のカメラ座標系）と考える。また、回転後の座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転したカメラ座標系（第２のカメラ座標系）と考える。
【００６８】
〔第１行列演算工程〕
第１のカメラ座標系は、ワールド座標系の原点ＯWを基準として純粋に並進した回転成分のない座標系である。図１５に示すように光学中心ＯCからマーカ８０の校正点Ｑを示す点Ｐ1、Ｐ2へのＮベクトルを求める。尚、当然ながら第１行列演算工程では、カメラ１による撮影画像及び撮影画像から得られる各種情報は不要である。本工程は、図６に示す第１行列演算部１３において実行されるが、カメラ１による撮影画像は用いない。
【００６９】
本実施形態では、マーカ８０が床面上に配置されているので、ＸW軸方向の座標は実質ゼロであるが、点Ｐ1の座標をＰ1（Ｘ1，Ｙ1，Ｚ1）、点Ｐ2の座標をＰ2（Ｘ2，Ｙ2，Ｚ2）とする。直線Ｌは、点Ｐ1から点Ｐ2へ向かう直線とする。光学中心ＯCから点Ｐ1の方向にはＮベクトルｍ1がある。光学中心ＯCから点Ｐ2の方向にはＮベクトルｍ2がある。説明を容易にするために図１８にはＮベクトルｍ1で代表させている。Ｎベクトルｍは、下記の式(2)のようになる。また、Ｎベクトルｎは面ＯCＰ1Ｐ2の単位法線ベクトルとして、次の式(3)のようになる。
【００７０】
【数２】
【００７１】
直線Ｌの向きｌは、下記の式(4)のようにｍとｎとの外積として得られ、回転行列Ｒ1は下記の式(5)のようになる。
【００７２】
【数３】
【００７３】
このようにして、第１行列演算部１３は、ワールド座標系（基準座標系）におけるマーカ８０の校正点Ｑ（Ｐ1、Ｐ2）の座標に基づいて、カメラ１の光学中心ＯCから見た校正点Ｐ1、Ｐ2及び校正点Ｐ1、Ｐ2を通る直線Ｌに関するベクトルを示す第１行列Ｒ1を演算する。
【００７４】
〔第２行列演算工程〕
第２のカメラ座標系は、第１のカメラ座標系が光学中心ＯCを中心として回転した回転成分のある座標系である。第１行列演算工程とは異なり、カメラ１による撮影画像が用いられる。図１６に示すように、床面上に配置された校正点Ｑ（Ｐ1、Ｐ2）は、射影面Π上の点ｐ1、ｐ2に相当する。点ｐ1、ｐ2の射影面Π上での座標値は、既に説明したように、校正点特定部１２において特定されている。従って、図６に示すように、本工程は校正点特定部１２の結果を受けて第２行列演算部１４において実行される。
【００７５】
ここで、光学中心ＯCから射影面Π上の点ｐ1（ｘ1，ｙ1）、ｐ2（ｘ２，ｙ2）へのＮベクトルを考える。尚、（ｘi，ｙi）は射影面Π上（撮影画像上）の座標である。直線Ｌに相当する直線ｌは、点ｐ1から点ｐ2へ向かう直線とする。光学中心ＯCから点ｐ1の方向にはＮベクトルｍ1’がある。光学中心ＯCから点ｐ2の方向にはＮベクトルｍ2’がある。説明を容易にするために図１９にはＮベクトルｍ1’で代表させている。この結果、Ｎベクトルｍ’は、下記の式(6)のようになる。また、Ｎベクトルｎ’は面ＯCｐ1ｐ2の単位法線ベクトルとして、次の式(7)のようになる。
【００７６】
【数４】
【００７７】
直線Ｌの向きｌ’は、下記の式(8)のようにｍ’とｎ’との外積として得られ、回転行列Ｒ2は下記の式(9)のようになる。
【００７８】
【数５】
【００７９】
このようにして、第２行列演算部１４は、校正点特定部１２により特定された射影面Π（撮影画像）上の校正点校正点Ｑ（ｐ1、ｐ2）の座標に基づいて、カメラ１の光学中心ＯCから見た校正点ｐ1、ｐ2及び校正点ｐ1、ｐ2を通る直線Ｌに関するベクトルを示す第２行列Ｒ2を演算する
【００８０】
〔第３行列演算工程〕
第３行列演算部１５は、上記のようにして得られた第１行列Ｒ1及び第２行列Ｒ2に基づいて、ワールド座標系におけるカメラ１の回転状態を示す回転行列Ｒを演算する。つまり、上述した式(1)と同様に下記に示す式(10)に従って回転行列Ｒを演算する。
【００８１】
【数６】
【００８２】
〔回転角演算工程〕
カメラ１は、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、上述したように、焦点距離ｆなどのカメラ内部のパラメータ行列である。外部パラメータ行列は、並進行列Ｔ及び上記で求めた回転行列Ｒである。射影カメラモデル（projective camera model）は、透視カメラモデルのカメラ行列を一般化して表したものである。射影カメラモデルでは、上記で求めた回転行列Ｒが得られれば、３次元空間からの投影が可能である。しかし、透視カメラモデルでは、回転行列Ｒをさらに３次元直交座標の各軸の回転角パン・チルト・ロールに分解する必要がある。回転角演算部１６は、以下に示す手順で各軸の回転角を演算する。
【００８３】
式(10)で求めた回転行列Ｒは、次式(11)のように書くことができる。ここで、θはチルト角、φはロール角、ψはパン角である。
【００８４】
【数７】
【００８５】
下記に示す式(12)により、φを消去することができ、下記式(13)を得る。
【００８６】
【数８】
【００８７】
式(13)には解が２つ存在し、「-r31」が「-sinθ」であるので、θは下記に示す式(14)のようになる。
【００８８】
【数９】
【００８９】
ここで、cosθ≠０とおける場合には、ロール角φとパン角ψとは、それぞれ、下記に示す式(15)及び式(16)のようになる。
【００９０】
【数１０】
【００９１】
ここで、カメラ１の車両９０への搭載方法（下向き約30[deg]＝-30[deg]）に基づいて、下記式(17)の拘束条件を適用する。
-90[deg] ＜ チルト角θ ＜ +90[deg] ・・・(17)
この拘束条件により、チルト角θのcosの値がゼロとなる場合を無視することができ、一意の回転角θ、φ、ψを求めることができる。まず、拘束条件より、「cosθ＞0」なので、負の値を考慮することなく、式(14)は次式(18)となり、チルト角θが定まる。
【００９２】
【数１１】
【００９３】
同様に、「cosθ＞０」であるので、ロール角φとパン角ψは式(11)より、式(19)、式(20)に示すように容易に得られる。
【００９４】
【数１２】
【００９５】
〔カメラパラメータ演算工程〕
以上、説明したようにカメラ１の外部パラメータとしての３次元直交座標の各軸に対する回転成分が求められた。外部パラメータの内の並進成分Ｔ（ＴX，ＴY，ＴZ）は、光軸中心ＯCの座標としてワールド座標系において既知である。また、内部パラメータはカメラ１の特性として既知である。従って、カメラパラメータ演算部１７は、カメラ１のカメラパラメータ（投影パラメータ）の全てを整えることができる。この時点において、外部パラメータの１つである回転パラメータＲは、まだ確定されたものではなく、仮の回転パラメータ（未確定回転パラメータ）である。従って、この仮の回転パラメータを含むカメラパラメータも、仮のカメラパラメータ（未確定カメラパラメータ）である。
【００９６】
〔座標変換工程〕
カメラ１の仮のカメラパラメータが整うと、座標変換部１８は、校正点Ｑ（Ｐ1、Ｐ2）のワールド座標系の３次元座標値を２次元の射影面Π上の座標値に変換する。つまり、自動調整の完了時の仮のカメラパラメータ（未確定カメラパラメータ）を用いて求められた理論上の校正点の座標値が確認座標として演算される。
【００９７】
〔調整完了確認工程〕
ＨＭＩ制御部２０の表示制御部２０１は、図１７に示すように、画像処理モジュール２を介してモニタ装置４の表示部４ａに、グラフィック画像としてマーカ枠Ｈ（確認マーカ）やタッチボタンを撮影画像に重畳表示させる。マーカ枠Ｈは、自動調整部３０による調整、即ち回転パラメータの値が正しく計算されていた場合に、その枠内にマーカ８０が表示される位置に設定されている。
【００９８】
このとき、座標変換部１８により仮のカメラパラメータに基づいて求められた理論上の校正点（確認座標）がマーカ枠Ｈの中央の座標となると好適である。マーカ枠Ｈの各辺は、マーカ８０がマーカ枠Ｈの中央にある場合に、画像座標系においてマーカ８０の各辺と２〜５画素の余裕を持つように設定されることができる。つまり、マーカ枠Ｈは、回転パラメータＲに与えられた許容差に相当する分の余裕を持った大きさに設定される。マーカ枠Ｈは、例えば緑色で表示されるＲＯＩ枠Ｆとの混同を避けるために、ＲＯＩ枠Ｆとは異なる色、例えば赤色で表示されると好適である。
【００９９】
尚、ここでは、確認マーカとして方形のマーカ枠Ｈを例示しているが、図１９に示すような十字型マーカＪを用いることも可能である。確認マーカが十字型マーカＪの場合には、図１９に示すように確認座標において交差するような十字が描画される。人間工学的には、マーカ８０の中央の点と、十字型マーカＪの十字の交差点との一致を確認するよりも、枠内にマーカ８０が入っていることを確認する方が容易と言われている。従って、本実施形態では、確認マーカとしてマーカ枠Ｈを用いている。作業者は、画面を目視により確認し、マーカ枠Ｈの中にマーカ８０が入っている場合には、カメラ１の校正が良好に完了したと判断して、タッチパネル４ｂの完了ボタンを操作する。タッチパネル４ｂへの操作は、ＨＭＩ制御部２０の指示入力受付部２０２を介して自動調整部３０やカメラパラメータ設定部１９へ伝達される。
【０１００】
〔カメラパラメータ設定工程〕
上記、調整完了確認工程におけるタッチパネル４ｂへの操作は、仮カメラ調整値をカメラ調整値として確定させる確定指示入力である。指示入力受付部２０２を介して、この確定指示入力を受け取ったカメラパラメータ設定部１９は、自動調整部３０において演算された回転パラメータＲを含む仮のカメラパラメータ（未確定カメラパラメータ）をカメラパラメータとして設定する。具体的には、図３に示すように、ＣＰＵ５に接続されたパラメータメモリ７に記憶されるカメラパラメータが、ＣＰＵ５によって書き換えられる。上述したように、パラメータメモリ７は、書き換え可能な不揮発性メモリや、バックアップ電源を有したその他のメモリによって構成されている。好適には、フラッシュメモリやＥ2ＰＲＯＭを用いるとよい。
【０１０１】
仮のカメラパラメータは、ＣＰＵ５のレジスタやＲＡＭ（random access memory）など、ワークエリアに一時記憶されている。カメラパラメータ設定工程において、レジスタなどのワークエリアに一時記憶された調整済みのカメラパラメータが、パラメータメモリ７に書き込まれ、更新されることによってカメラ１の校正が完了する。例えば、生産工場におけるカメラ１の校正作業が完了する。校正装置１０の全ての処理が完了し、モニタ装置４の表示部４ａには、図７と同様に、例えば、ナビゲーションシステムの地図画面が表示される。
【０１０２】
〔再調整工程（手動調整工程）〕
調整完了確認工程において、図１８に示すように、マーカ枠Ｈの中にマーカ８０が入っていない場合には、作業者は、カメラ１の校正が完了していないと判断する。このとき、表示制御部２０１は、マーカ枠Ｈや十字型マーカＪを上記とは異なる表示形態で表示させる。例えば、マーカ枠Ｈや十字型マーカＪを点滅させたり、異なる表示色で表示させたりする。また、表示制御部２０１は、ＲＯＩ枠Ｆを校正点検出部１２により校正点が検出される際とは異なる表示形態で表示させる。上述したように、ＣＰＵ５は、切れ目なく校正点特定工程から自動調整工程へと処理を続けていくので、作業者による確認のためのＲＯＩ枠Ｆは、自動調整工程の間も継続して表示されると好適である。従って、ＲＯＩ枠Ｆが継続して表示されていた場合には、表示制御部２０１は、ＲＯＩ枠Ｆの表示形態を変化させる。例えば、ＲＯＩ枠Ｆの表示色を緑色から赤色に変化させたり、点滅させたりすることによって、作業者に注意喚起する。連続して表示されていたＲＯＩ枠Ｆの表示形態を変化させるので作業者に対する視認性が向上する。
【０１０３】
ＣＰＵ５は、座標変換部１８により求められた理論上の校正点（確認座標）の座標値からマーカ枠Ｈの中にマーカ８０が入っていないことを認識可能である。具体的には、ＣＰＵ５は、実座標と確認座標との差が所定の確定しきい値以上であるとき、自動調整の結果が不充分であると判定することができる。従って、表示制御部２０１は、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を良好に制御することが可能である。
【０１０４】
このような場合には、表示制御部２０１は、図１８に示すように、手動調整のための矢印ボタンをタッチパネル４ｂに表示させる。作業者は、タッチパネル４ｂの矢印ボタンを操作して、引き続き、手動でカメラ１の再調整を行う。上述したように、マーカ枠Ｈの中央の座標は、理論上の校正点の座標に相当する。作業者は、必要に応じてタッチパネル４ｂの矢印ボタンを操作し、特許文献１や特許文献２のように、画面上における回転角度や上下左右の位置を調整することによって、マーカ枠Ｈにマーカ８０が収まるように手動で校正を行う。尚、手動調整に際しては、２つの確認マーカＨ（Ｊ）を結ぶ線（確認座標を結ぶ線）を表示部４ａに表示させると、作業性の向上が期待できる。ＣＰＵ５は、特許文献１や特許文献２と同様に、タッチパネル４ｂに表示されたタッチボタンの操作量に応じて、自動調整部３０において算出されたカメラパラメータを補正する。補正されたカメラパラメータは、仮のカメラパラメータ（未確定カメラパラメータ）である。
【０１０５】
本実施形態では、確認マーカとしてマーカ枠Ｈを用いている。上述したように、人間工学的には、マーカ８０の中央の点と、十字型マーカＪの交差点との一致を確認するよりも、枠内にマーカ８０が入っていることの確認の方が容易と言われている。従って、このような手動調整を実施する場合にも、マーカ枠Ｈを用いる方が高い作業性を得られる。本実施形態においては、マーカ枠Ｈ（確認マーカ）は、校正点の理論上の座標の位置を中心として、撮影画像上におけるマーカ８０（校正指標）を所定のマージンを有して内包する大きさの枠である。上述したように、マーカ８０は、方形状に構成されており、マーカ枠Ｈも方形状である。従って、調整完了確認工程においても再調整工程（手動調整工程）においても、マーカ８０の外形形状とマーカ枠Ｈとして表示される外枠とを良好に比較することができる。
【０１０６】
〔カメラパラメータ設定工程〕
マーカ枠Ｈにマーカ８０が収まると、作業者は、タッチパネル４ｂの完了ボタンを操作する。タッチパネル４ｂへの操作は、ＨＭＩ制御部２０の指示入力受付部２０２を介して自動調整部３０や手動調整部６０、カメラ調整値設定部１９へ伝達される。そして、手動調整完了後の仮のカメラパラメータがパラメータメモリ７に書き込まれる。校正装置１０の全ての処理が完了し、モニタ装置４の表示部４ａには、図７と同様に、例えば、ナビゲーションシステムの地図画面が表示される。
【０１０７】
〔調整完了確認工程及びカメラパラメータ設定工程の特殊例〕
尚、表示制御部２０１は、上述した調整完了確認工程において、確認座標と実座標との差が所定の確定しきい値未満であっても、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を変化させることがある。表示制御部２０１は、自動調整完了時のカメラパラメータと、カメラパラメータの初期値とが同一の値であるとき、確定しきい値による判定結果に拘わらず、校正点検出部１２により校正点が検出される際の関心領域ＲＯＩを示す領域枠Ｆとは異なる表示形態で領域枠Ｆを表示させる。また、表示制御部２０１は、確認マーカＨ（Ｊ）を異なる表示形態で表示させてもよい。
【０１０８】
例えば、表示制御部２０１は、カメラ１が規定位置に規定の姿勢で取り付けられた際の回転パラメータＲと、自動調整部３０による演算の完了時の仮の回転パラメータＲとが同一の値であるとき、確認マーカＨ（Ｊ）や領域枠Ｆの表示形態を変化させると好適である。この際、回転パラメータＲが有するパン、チルト、ロールの内の何れか１つ又は２つが同一の値である場合に、確定しきい値による判定結果に拘わらず、確認マーカや領域枠の表示形態を変化させてもよい。
【０１０９】
回転パラメータＲの誤差は、一般的な自然現象と同様に正規分布する。しかし、その中央値は回転パラメータＲが理想的な場合とはならない。回転パラメータの誤差につながる全ての部品が理想的な設計値になる確率は非常に低いため、正規分布の中央値が理想的な回転パラメータとなることは稀である。また、カメラ１を車両９０に設置する際の生産上の最頻姿勢も、理想的な回転パラメータＲとなる姿勢ではないと考えられる。従って、理想的な回転パラメータＲと、仮のカメラパラメータＲとが同一の値となるのは稀なことともいえる。
【０１１０】
このようなケースでは、校正演算が正しく実行されずに回転パラメータＲが初期値のままであったことも考えられる。従って、画面上で作業者に目視確認を促すために、再調整工程と同様に、表示制御部２０１は、確認マーカ（マーカ枠Ｈや十字型マーカＪ）や領域枠（ＲＯＩ枠Ｆ）の表示形態を変化させる。つまり、作業者に注意を喚起する。
【０１１１】
また、カメラ調整値設定部１９は、このような状態でパラメータメモリ７にカメラパラメータを書き込んだことを作業ログに記録しておく。例えば、ＣＡＮ５０を介して生産管理用コンピュータ等に記録を伝送する。又は、駐車支援ＥＣＵ９内部のダイアグノーシスメモリ等に記録しておく。つまり、パラメータメモリ７が未校正で初期状態のままであるのではなく、校正されて初期値と同一の値が再書込されたものであることを記録として残しておく。これにより、後にカメラ１の光軸にずれが発見された際に、後天的なものであるか、生産不良であるのかなどを追跡することが可能となる。
【０１１２】
〔他の実施形態〕
（１）上述した本実施形態では、作業者がモニタ装置４のシステム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させ、タッチパネル４ｂの所定のタッチボタンを操作することで、校正装置１０を起動させた。また、校正装置１０は、基本的に自動調整を行い、確認工程において手動調整が必要な場合に作業者が手動で調整を実施した。しかし、生産工場や修理工場ごとに設備が異なる場合もあり、全ての生産工場や修理工場において自動調整が可能であるとは限らない。そこで、校正装置１０の起動時においては、図２０に示すように、自動調整と手動調整とが選択可能に構成されていると好適である。
【０１１３】
上述したように、生産工場や修理工場において、作業者は、図７に示すシステム設定ボタン４ｈを操作して、表示部４ａに設定画面を表示させる。表示部４ａには、図２０の上段に示すように、車両９０の現在位置と共に地図が表示されているが、図２０の中断に示すような設定画面（第１設定画面）が表示される。ここで、タッチパネル４ｂの「カメラ調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、カメラ校正プログラムを起動する。ここまでは、上記実施形態と同様であり、上記実施形態においては上述したような自動調整演算が実行される。
【０１１４】
本実施形態においては、図２０の下段に示すように、さらに選択画面が表示される。ここで、タッチパネル４ｂの「自動調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、自動調整プログラムを起動する。この自動調整プログラムは、上述した実施形態のカメラ校正プログラムと同様である。選択画面において、タッチパネル４ｂの「手動調整」ボタンを作業者が選択すると、ＨＭＩ制御部２０の指示入力受付部２０２は、タッチボタンの指示を受け付け、ＣＰＵ５は、手動調整プログラムを起動する。手動調整が選択された場合には、特許文献１や特許文献２と同様の手動調整演算を実行するカメラ校正プログラムが起動される。
【０１１５】
（２）関心領域ＲＯＩの設定や、このＲＯＩ枠Ｆを表示部４ａに重畳させることは、カメラ校正方法に依らず可能である。手動調整の場合を含め、上記実施形態とは異なる演算手法によってカメラの校正を行う場合においても可能である。また、確認マーカとして方形のマーカ枠Ｈを用いる点についても、カメラ校正方法に依らず可能である。つまり、手動調整の場合を含め、上記実施形態とは異なる演算手法によってカメラの校正を行う場合においても可能である。
【０１１６】
（３）また、上記実施形態では、マーカ８０が２つの場合を例示したが、３つ以上のマーカ８０を用いることによって精度の向上を図ってもよい。また、上記実施形態においては、車両９０の後方を撮影するカメラ１の校正を行う場合を例示したが、前方や側方を撮影するカメラの校正にも本発明の校正装置を適用することが可能である。
【０１１７】
（４）上記実施形態では、カメラの内部パラメータ及び外部パラメータの内の並進パラメータは調整せず、外部パラメータの内の回転パラメータのみを調整する場合を例示した。しかし、本発明は、内部パラメータや並進パラメータを含めてカメラパラメータを調整して、カメラを校正する場合においても適用することができる。また、カメラの校正は、内部パラメータや外部パラメータ自体を求めるものに限定されない。本発明は、理論上のパラメータと実際のパラメータとの差を調整する調整パラメータや、理論上のパラメータを実際のパラメータに補正する補正パラメータを求めてカメラを校正する場合においても適用することができる。
【０１１８】
以上説明したように、本発明によって、自動調整の結果、不合格となった場合であっても簡単に追加の調整を実施して校正を完了させることが可能な車載カメラの校正装置を提供することが可能となる。また、校正環境に依存されることなく、簡単な構成で、校正の可否の判定を早期に確実に行うことのできる車載カメラの校正装置を提供することが可能となる。つまり、本発明によれば、完全な自動調整ではなく、自動調整結果の作業者による目視確認や目視確認後の手動調整を含んだ半自動調整を合理的に実現できる。自動校正を含むことによって、校正作業に要する時間を短縮しつつ、確認によって、出荷される製品に不良品が混入することを防止できる。また、自動調整による校正が充分ではない場合には、手動調整によりさらに校正を続けることができ、生産ラインから不良として製品が排除される確率を減らして生産性を向上させることができる。
【符号の説明】
【０１１９】
１：カメラ（車載カメラ）
４ａ：表示部
１０：校正装置
１１：画像取得部
１２：校正点特定部
１９：カメラパラメータ設定部
３０：自動調整部
６０：手動調整部
８０：マーカ８０（校正指標）
９０：車両
２０１：表示制御部
２０２：指示入力受付部
Ｈ：マーカ枠（確認マーカ、確認枠）
Ｊ：十字型マーク（確認マーカ）
Ｑ、Ｑ１、Ｑ２：校正点
Π：射影面
【特許請求の範囲】
【請求項１】
車両に取り付けられた車載カメラにより、異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記車載カメラのカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時の前記カメラパラメータを用いて演算された前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、
を備える車載カメラの校正装置。
【請求項２】
前記確認マーカは、前記撮影画像上における前記校正指標を所定のマージンを有して内包する大きさの確認枠である請求項１に記載の車載カメラの校正装置。
【請求項１】
車両に取り付けられた車載カメラにより、異なる複数箇所の所定位置に配置された校正指標を視界内に含んで撮影された撮影画像を取得する画像取得部と、
前記撮影画像において前記校正指標の中のそれぞれの校正点を特定する校正点特定部と、
特定された前記校正点を用いて、前記車載カメラのカメラパラメータを自動調整する自動調整部と、
前記自動調整の完了時の前記カメラパラメータを用いて演算された前記校正点の理論上の座標の位置を前記撮影画像上において明示する確認マーカをグラフィック画像として前記撮影画像に重畳させて表示部に表示させる表示制御部と、
前記表示部に表示された画像上において前記確認マーカを移動させることが可能な調整指示入力を受け付ける指示入力受付部と、
前記確認マーカの移動量に対応する前記校正点の前記理論上の座標の変化量に基づいて、前記自動調整した前記カメラパラメータを手動調整する手動調整部と、
前記自動調整部及び前記手動調整部による最新の調整完了時の前記カメラパラメータである未確定カメラパラメータを、前記指示入力受付部により受け付けられる確定指示入力に基づいて前記カメラパラメータとして設定するカメラパラメータ設定部と、
を備える車載カメラの校正装置。
【請求項２】
前記確認マーカは、前記撮影画像上における前記校正指標を所定のマージンを有して内包する大きさの確認枠である請求項１に記載の車載カメラの校正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−２３９４０８（Ｐ２０１０−２３９４０８Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８５４７８（Ｐ２００９−８５４７８）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００００１１）アイシン精機株式会社 (5,421)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]