カメラパラメータ取得装置
【課題】取得するカメラパラメータの精度を向上させることができる「カメラパラメータ取得装置」を提供すること。
【解決手段】校正対象のカメラの内部パラメータの設計値／基準値を指示する第１のデータと、当該カメラの校正パターンに対する相対姿勢の設計値／基準値を指示する第２のデータをあらかじめ用意し、制御手段により、校正パターンを生成して表示装置に表示させると共に、第１及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点と、表示装置上の校正パターンを上記のカメラで撮像した結果から抽出した校正制御点との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して表示装置にする。
【解決手段】校正対象のカメラの内部パラメータの設計値／基準値を指示する第１のデータと、当該カメラの校正パターンに対する相対姿勢の設計値／基準値を指示する第２のデータをあらかじめ用意し、制御手段により、校正パターンを生成して表示装置に表示させると共に、第１及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点と、表示装置上の校正パターンを上記のカメラで撮像した結果から抽出した校正制御点との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して表示装置にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画角の広いレンズを使用したカメラで撮像した画像の歪補正や射影変換等に使用されるカメラパラメータを取得する技術に関し、特に、駐車支援に供されるトップビュー画像を生成する際にその基となる（デジタル）カメラの撮像画像のレンズ収差を補正するのに有用なカメラパラメータ取得装置に関する。
【０００２】
カメラパラメータは、カメラレンズの焦点距離、レンズの歪特性、イメージセンサ上のレンズの光軸座標など、カメラの特性を示すパラメータであり、カメラ内部の要因に関連していることから、「カメラの内部パラメータ」とも呼ばれている。なお、トップビューと同じ称呼の「ＴＯＰＶＩＥＷ」は、アルパイン株式会社の登録商標である。
【背景技術】
【０００３】
デジタルカメラは、撮影した画像を即時に再生することができ、パーソナルコンピュータ（ＰＣ）等の画像入力装置として簡便に利用できる等の利点から、様々な分野で利用されている。例えば、車載用として利用する場合、車両周囲を撮影してその撮像画像をＬＣＤモニタ等の表示装置の画面に表示すれば、パーキングエリアでの駐車や車庫入れ等の際に運転者の便宜（駐車支援）を図ることができる。この場合、車両周囲に配置された車載カメラで取得された画像のデータは車載ＥＣＵ（電子制御ユニット）等のコンピュータに転送され、コンピュータにおいて適宜歪補正や射影変換等の画像処理が行われた後、表示装置に供給されてその画面に車両周囲画像が表示される。つまり、コンピュータでは、各車載カメラで車両周囲の各方向（前方、後方、左方、右方）を撮影した画像を取得し、その取得した各画像の視点をそれぞれ車両上方からの視点に変換した画像（俯瞰画像）を生成して合成し、さらに自車両の画像を合成してトップビュー画像を生成し、表示装置に供給している。
【０００４】
このようにトップビュー画像を生成する際には、車載カメラで取得した車両周囲の画像に対し高精度の歪補正や射影変換等の画像処理を行う必要があるが、その際に使用されるカメラの内部パラメータ（カメラパラメータ）を正確に取得しておく必要がある。
【０００５】
従来のカメラパラメータを取得する方法では、例えば、シート等の平面や３つの平面を互いに直交する方向に組み合わせた立体面等の面構造体の上に所定の配列で描画されたチェッカーパターン（市松模様）等の図形パターン（以下、「校正パターン」ともいう。）をカメラで撮像し、その撮像画像を処理して基準となる特徴点（以下、「校正制御点」ともいう。）を抽出し、その抽出した校正制御点から当該カメラの内部パラメータ（カメラパラメータ）を算出している。
【０００６】
この場合、高精度にカメラパラメータを取得するためには、撮像した校正パターンからできるだけ多くの校正制御点を正確に検出する必要がある。例えば、図１に示す魚眼レンズによる撮像画像の例では、校正パターンとしてチェッカーパターンを撮像しているが、この場合、個々の矩形パターン（白黒の図形パターン）の中心点もしくはコーナー点をそれぞれ当該パターンの特徴点として正確に検出する必要がある。
【０００７】
かかる従来技術に関連する技術としては、例えば、特許文献１に記載されるように、キャリブレーション装置においてデジタルカメラ等のレンズ収差を補正するのに必要な内部パラメータを簡便に測定できるようにしたものがある。このキャリブレーション装置は、第１マークと第２マークを有するキャリブレーション用チャートを、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する抽出部と、この抽出された第１マークを用いた射影変換により第２マークの概略位置を求める概略マーク位置測定部と、第２マークの概略位置近傍で第２マーク位置の撮影されている位置を求める精密マーク位置測定部と、キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応するキャリブレーション用画像における第２マークの位置から、レンズのキャリブレーション要素を算出する演算処理部とを備えている。
【特許文献１】特開２００３−３０７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように従来の技術では、シート等の面構造体の上に所定の配列で描画された校正パターン（図１に例示するチェッカーパターン等）をカメラで撮像し、その撮像画像から当該パターンの特徴点（校正制御点）を抽出して当該カメラの内部パラメータ（カメラパラメータ）を算出している。この場合、カメラで撮像した校正パターンの画像を歪みなく取得できれば問題ないが、上述したようなトップビュー画像を生成する際に使用するカメラ等においては画角の広い魚眼レンズもしくは広角レンズが使用されているため、以下の問題があった。
【０００９】
すなわち、魚眼レンズ等を使用したカメラで上記のような校正パターンを撮像すると、その撮像画像上では縮小や変形など画像の歪が大きくなり、その歪み量に応じて、検出すべき特徴点（校正制御点）の座標の誤差も拡大するといった不都合があった。例えば、図１に示したようなチェッカーパターンの撮像画像の場合、そのレンズ周辺部分では個々の矩形パターンが相対的に小さく変形し、当該部分の撮像に割り当てられる（イメージセンサの）画素の数も相対的に少なくなるため、当該部分においては校正制御点の座標を正確に取得するのが困難である。
【００１０】
つまり、撮像した校正パターンの画像から本来検出されるべき多くの校正制御点を正確に検出することができず、その結果、カメラパラメータの取得精度が低下するといった課題があった。
【００１１】
本発明は、かかる従来技術における課題に鑑み創作されたもので、取得するカメラパラメータの精度を向上させることができるカメラパラメータ取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明では、校正対象のカメラの内部パラメータ（カメラパラメータ）の設計値もしくは基準値（あらかじめ設定した１つ以上の値）と、カメラの撮像対象である校正パターンに対する「相対姿勢」を表した設計値もしくは基準値（あらかじめ設定した１つ以上の値）が既知情報であることを前提とし、これらの情報を用いて、撮像画像上で校正制御点がほぼ期待の通りに分布するような校正パターンを取得するようにしている。このように画像上でほぼ期待の通りに分布（例えば、均一に分布）する校正制御点を、以下の記述では、「期待校正制御点」ともいう。
【００１３】
また、カメラの「相対姿勢」とは、図２に例示するように、当該カメラと校正パターンの基準座標（例えば、校正パターンの中心の座標）との相対的な位置及び傾きの関係を表したものであり、並進（Ｔｘ，Ｔｙ，Ｔｚ）と回転（Ｒｘ，Ｒｙ，Ｒｚ）の６軸の座標情報で表される。このような相対姿勢を表した情報は、カメラ外部の要因に関連していることから、「カメラの外部パラメータ」とも呼ばれている。
【００１４】
本発明に係るカメラパラメータ取得装置は、校正対象のカメラと、少なくとも、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、前記校正パターンを可変に表示可能な表示装置と、校正パターンを生成して前記表示装置に表示させると共に、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点の位置と、前記表示装置に表示された校正パターンを前記カメラで撮像した結果から抽出した校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して前記表示装置に表示させる制御手段とを備えたことを特徴とする。
【００１５】
本発明に係るカメラパラメータ取得装置によれば、制御手段において可変に生成された校正パターンを表示装置に表示させ、この表示された校正パターンをカメラで撮像した結果から抽出した校正制御点の位置と、生成した期待校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、その補正の結果に応じた校正パターンを再生成して表示装置に表示させるようにしているので、最終的に取得される当該カメラの内部パラメータ（カメラパラメータ）の精度を向上させることができる。
【００１６】
また、本発明の他の形態によれば、校正対象のカメラと、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、前記校正パターンが描画された面構造体と、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するような期待校正制御点を生成し、該生成した画像上の期待校正制御点を前記カメラで撮像した前記校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出する制御手段とを備えたことを特徴とするカメラパラメータ取得装置が提供される。
【００１７】
本発明に係るカメラパラメータ取得装置の他の構成上の特徴及びそれに基づく具体的な処理態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施の形態について、添付の図面を参照しながら説明する。
【００１９】
図３は本発明の一実施形態に係るカメラパラメータ取得装置の構成を一部模式的に示したものである。本実施形態では、本発明に係るカメラパラメータ取得装置をパーソナルコンピュータ（ＰＣ）で実現する場合を想定している。
【００２０】
本実施形態に係るカメラパラメータ取得装置２０は、図示のようにカメラパラメータの取得対象（校正対象）であるカメラ１と、このカメラ１の撮像対象である校正パターンを可変に表示するよう適応された表示装置２と、記憶媒体としてのハードディスクドライブ（ＨＤＤ）３と、ユーザインタフェースとしての操作部４と、スピーカ５と、マイクロコンピュータ等により構成された制御ユニット１０とを備えている。制御ユニット１０とスピーカ５はＰＣ本体に内蔵されており、カメラ１、表示装置２、ＨＤＤ３、操作部４及びスピーカ５は、それぞれ制御ユニット１０内の各機能ブロックに動作可能に接続されている。
【００２１】
表示装置２は、図示のように３つの平面表示ユニット（例えば、ＬＣＤモニタ）を備えており、各表示ユニットはＸＹＺ座標系の立体画面を構成している。各表示ユニットの画面２ａ，２ｂ，２ｃには、後述するように制御ユニット１０において動的に（可変に）生成された校正パターンが表示されるようになっている。さらに表示装置２は、本発明に関連する機能として、後述する「校正失敗」を指示する旨のメッセージを表示する際に利用される。
【００２２】
カメラ１は、所定の高さのステイ（支柱) などの構造体（図示せず）の頂上部に取り付けられており、そのカメラレンズ（本実施形態では、魚眼レンズ）の向きは、表示装置２の各表示画面２ａ，２ｂ，２ｃに表示される校正パターンをそれぞれ均等に（ほぼ１／３ずつの撮像範囲で）取得できるように調整されている。
【００２３】
ＨＤＤ３には、あらかじめ校正対象のカメラ１の内部パラメータ（カメラパラメータ）の設計値もしくは基準値のデータと、当該カメラ１の撮像対象である校正パターンに対する相対姿勢（外部パラメータ）の設計値もしくは基準値のデータとが格納されている。さらにＨＤＤ３には、後述する「期待校正制御点パターン」のデータが格納されると共に、校正パターンから算出される校正制御点と期待校正制御点との位置関係（近接の度合い）を判断する際にその参照値（基準値）として用いられる「許容範囲」を指示する情報と、カメラ校正処理（後述するフィードバック処理）を行った「校正回数」を指示する情報が格納されている。この校正回数は、後述するカメラパラメータ取得に係る処理を行う際の初期状態では「０」にリセットされている。また、「許容範囲」は、例えば、校正制御点を均一に配置する場合、校正制御点間の距離の２０％以内に設定されている。なお、校正パターン上の制御点は、例えば、円の中心や格子線の交点座標として表現される。
【００２４】
操作部４はユーザの指示を入力するための各種操作キーを備えたユニットであり、本実施形態では、ＰＣ本体に接続されるキーボードもしくはマウスである。この操作部４は、本発明に関連する機能として、制御ユニット１０に対し後述するカメラパラメータ取得に係るカメラ校正処理を実行させるための起動信号を与える。スピーカ５は、本実施形態では、後述する「校正失敗」を指示する旨のメッセージを音声出力する際に利用することができるが、かかるメッセージは表示装置２にも表示されるため、必ずしも利用する必要はない。
【００２５】
制御ユニット１０は、本発明に関連する機能ブロックとして、後述するカメラパラメータ取得に係るカメラ校正処理を総括的に制御する主制御部としてのＣＰＵ１１と、カメラ画像取得部１２と、校正制御点検出部１３と、校正制御点比較部１４と、逆投影校正パターン生成部１５と、表示制御部１６と、カメラパラメータ算出部１７と、メッセージ出力部１８とを備えている。１２〜１８の各機能ブロックは、後述するようにＣＰＵ１１と協働してそれぞれ所定の処理を実行する。具体的な処理内容については、後で詳述する。
【００２６】
以上のように構成された本実施形態のカメラパラメータ取得装置２０において、ＨＤＤ３は「記憶手段」に、制御ユニット１０（１１〜１８）は「制御手段」に、それぞれ対応している。
【００２７】
以下、本実施形態のカメラパラメータ取得装置２０において行うカメラパラメータ取得に係るカメラ校正処理について、その一例を示す図４を参照しながら説明する。併せて、図５も参照しながら補足説明する。
【００２８】
先ず最初のステップＳ１では、ＣＰＵ１１により、操作部４を介してユーザ指示に基づき入力された起動信号に応答して、ＨＤＤ３内から、本処理の対象となるカメラ１のカメラパラメータの設計値／基準値と相対姿勢の設計値／基準値の各データ（情報）を取得する。取得した情報は、ＣＰＵ１１内のメモリ（図示せず）にいったん格納される。
【００２９】
次のステップＳ２では、ＣＰＵ１１からの制御に基づき逆投影校正パターン生成部１５及び表示制御部１６により、先ず、任意の校正パターンを撮像した場合にその撮像画像上で当該校正パターンの校正制御点が均一に分布するような仮想の画像（期待校正制御点パターン）を生成し、次に、ＣＰＵ１１内のメモリ（図示せず）にいったん格納した当該カメラ１のカメラパラメータ（設計値／基準値）の情報と相対姿勢（設計値／基準値）の情報を用いて、その生成された画像上の期待校正制御点を校正パターン上に逆投影してその制御点の座標（つまり、期待校正制御点の校正パターン上における位置）を算出し、その算出結果を表示装置２の各表示画面２ａ，２ｂ，２ｃに表示する。
【００３０】
図５（ａ）は、このステップで生成された期待校正制御点パターン（仮想の画像）の一例を示したものであり、図中、ＥＰで示す個々の点が「期待校正制御点」を表している。また、図５（ｂ）は、このステップで生成された逆投影校正パターンの表示例を示したものである。なお、生成された「期待校正制御点パターン」のデータは、ＣＰＵ１１を介してＨＤＤ３内にいったん格納される。
【００３１】
次のステップＳ３では、ＣＰＵ１１からの制御に基づきカメラ画像取得部１２を介してカメラ１により、表示装置２の各表示画面２ａ，２ｂ，２ｃに表示された校正パターンを撮像する。
【００３２】
次のステップＳ４では、ＣＰＵ１１からの制御に基づき校正制御点検出部１３により、カメラ画像取得部１２を介してカメラ１から取得した撮像画像から、校正パターン上の校正制御点を検出してその座標（校正制御点の位置）を算出する。
【００３３】
次のステップＳ５では、ＣＰＵ１１からの制御に基づき校正制御点比較部１４により、校正制御点検出部１３で検出（算出）された校正制御点の位置を期待校正制御点の位置と比較し、両者の差が許容範囲内にある（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ６に進み、判定結果がＮＯの場合にはステップＳ７に進む。例えば、図５（ｃ）に一例として示すように、算出された校正制御点ＣＰの位置と期待校正制御点ＥＰの位置を比較し、両者の差（図中、Ｒ１で示す誤差）が許容範囲内にあるかどうかを判断する。図示の例では、誤差Ｒ１が許容範囲から外れていて「校正処理」を必要とする場合を示している。
【００３４】
次のステップＳ６では（算出された校正制御点と期待校正制御点との差が許容範囲内にある場合）、ＣＰＵ１１からの制御に基づきカメラパラメータ算出部１７により、校正制御点検出部１３で算出された当該校正制御点の情報を用いて、当該カメラ１の内部パラメータ（カメラパラメータ）を算出する。そして、本処理（カメラ校正処理）は「終了」となる。
【００３５】
一方、ステップＳ７では（算出した校正制御点と期待校正制御点との差が許容範囲から外れている場合）、ＣＰＵ１１からの制御に基づき、ＨＤＤ３内に設定されている校正回数（初期値「０」）をカウントアップ（＋１）する。
【００３６】
次のステップＳ８では、ＣＰＵ１１において、ＨＤＤ３内に設定されている校正回数が所定値に達した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ９に進み、判定結果がＮＯの場合にはステップＳ１０に進む。本実施形態では、この「所定値」を、例えば、「３回」に設定している。
【００３７】
ステップＳ９では、ＣＰＵ１１からの制御に基づきメッセージ出力部１８を介して表示制御部１６により、表示装置２の画面（各表示画面２ａ，２ｂ，２ｃのうち少なくとも１面）に、校正失敗を指示する旨のメッセージを表示する。すなわち、後述するフィードバック処理に基づいたカメラ校正（期待校正制御点を校正パターン上の各校正制御点の配置に近づけるための逆投影パターンの補正）を所定回数（３回）行ったが、期待校正制御点を許容範囲内に収束させることができなかった旨を報知する情報（メッセージ）を出力する。このメッセージ出力は、上述したようにメッセージ出力部１８を介してスピーカ５から音声出力させるようにしてもよい。この場合、画面を介しての表示と併せて、あるいは画面表示に代えて、音声出力を行う。
【００３８】
さらに、校正失敗のメッセージを出力した後、ＣＰＵ１１からの制御に基づきＨＤＤ３内に設定された校正回数のカウント値（この時点では「３回」）を「０」にリセットする。そして、本処理（カメラ校正処理）は「終了」となる。
【００３９】
一方、ステップＳ１０では（当該校正制御点と期待校正制御点との差が未だ許容範囲内に収束しておらず、校正回数が３回未満の場合）、ＣＰＵ１１により、当該校正制御点の座標（位置）情報を用いて、当該カメラ１の内部パラメータ（カメラパラメータ）と相対姿勢を算出し、その算出結果に基づいて期待校正制御点の位置を再計算する。そして、ステップＳ２に戻って上記の処理を繰り返す。
【００４０】
本実施形態では、ステップＳ２の処理（期待校正制御点の校正パターン上への逆投影）から始まってステップＳ３の処理（表示された校正パターンの撮像）、ステップＳ４の処理（撮像画像から校正パターン上の校正制御点の位置の算出）を経て、さらに校正制御点と期待校正制御点との差が許容範囲から外れている場合に、ステップＳ１０の処理（期待校正制御点の位置の再計算）を行ってステップＳ２に戻るまでの一連の処理を、「フィードバック処理（に基づいたカメラ校正）」と呼んでいる。
【００４１】
図５（ｄ）は、かかるフィードバック処理に基づいたカメラ校正を何回か（この場合、３回未満）行った後の期待校正制御点ＥＰ１の位置と校正制御点ＣＰの位置との差（図中、Ｒ２で示す誤差）が、校正を行う前の状態（同図（ｃ）の誤差Ｒ１）よりも改善されている（つまり、期待校正制御点を許容範囲内に収束させる方向に改善されている）様子を模式的に示している。
【００４２】
以上説明したように、本実施形態に係るカメラパラメータ取得装置２０によれば、制御ユニット１０において動的に（可変に）生成された校正パターン（逆投影校正パターン）を表示装置２の立体画面２ａ，２ｂ，２ｃに表示し、この表示された校正パターンをカメラ１で撮像した結果から上記のフィードバック処理を行うようにしているので、最終的にカメラパラメータ算出部１７において取得される当該カメラ１の内部パラメータ（カメラパラメータ）の精度を高めることができる。つまり、校正パターンの撮像結果に基づいたパラメータ取得誤差が最小となるように（図５参照）フィードバック処理を行い、表示装置２に表示させる逆投影校正パターンを補正している。
【００４３】
このように、制御ユニット１０において校正パターン（逆投影校正パターン）を動的に生成し、その生成したパターンを表示装置２に表示し、その表示されたパターンをカメラ１で撮像した結果を表示装置２側にフィードバックしてパターンを再生成することで、取得するカメラパラメータの精度を向上させることが可能となる。
【００４４】
また、本実施形態では、校正パターンを動的に生成することができるため、様々なパラメータ特性を有するカメラに好適に対応することができる。
【００４５】
上述した実施形態では、表示装置２を用いて校正パターンを可変に表示させる場合を例にとって説明したが、本発明の要旨（既知の情報である「カメラパラメータの設計値／基準値」と「カメラの相対姿勢（外部パラメータ）の設計値／基準値」とを用いて、撮像画像上で校正制御点がほぼ期待の通りに分布するような校正パターンを取得すること）からも明らかなように、カメラの撮像対象である校正パターンは必ずしも表示装置の画面に表示させる必要はない。要は、校正対象のカメラで撮像できる所定の位置（範囲内）に校正パターンが配置されていれば十分であり、例えば、シート等の平面やこの平面を３つ組み合わせた立体面等の面構造体の上に、印刷等により、所定形状のパターン（図１に例示するチェッカーパターン等）が所定の配列で描画されていれば十分である。
【００４６】
この場合の実施形態、すなわち、表示装置を用いずに、シート等の面構造体の上に描画された校正パターンをカメラで撮像してカメラパラメータを取得する場合の実施形態については、基本的には上述した実施形態の場合と同様であるので、その詳細な説明は省略する。本発明に関連する部分の処理態様を説明すると、以下の通りである。すなわち、この実施形態では、制御ユニット１０により、カメラパラメータの設計値／基準値のデータとカメラの相対姿勢（外部パラメータ）の設計値／基準値のデータを参照して、画像上でほぼ期待の通りに分布（例えば、均一に分布）するような期待校正制御点を生成し、この期待校正制御点を、当該カメラ１で撮像した校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出するようにしている。
【００４７】
また、上述した実施形態では、３つの表示ユニット（ＸＹＺ座標系の立体画面２ａ，２ｂ，２ｃ）を備えた表示装置２に校正パターンを表示する場合を例にとって説明したが、本発明の要旨からも明らかなように、校正パターンの表示対象は立体画面に限定されないことはもちろんである。特に図示はしないが、１つの平面表示ユニット（ＸＹ座標系の平面画面）に校正パターンを動的に表示させることも可能である。
【００４８】
また、校正パターンを画面に表示（もしくは面構造体に描画する）立体的な構造としては、上記の立体画面もしくは立体面以外に、多面体や球面などを適宜使用することも可能である。さらに、図５（ａ）に示す例では、画像上で校正制御点（期待校正制御点ＥＰ）が均一に分布する場合を例にとって説明したが、本発明の要旨からも明らかなように、校正制御点は必ずしも均一の分布態様である必要はなく、校正対象のカメラの使用目的等に応じて、適宜、非均一な分布態様とすることも可能である。
【００４９】
また、上述した実施形態では、カメラパラメータの設計値／基準値のデータ、カメラの相対姿勢（外部パラメータ）の設計値／基準値のデータ等を格納する記憶媒体としてハードディスクドライブ（ＨＤＤ）を使用しているが、他の記憶媒体として、ＤＲＡＭやフラッシュメモリ等を適宜使用することも可能である。
【図面の簡単な説明】
【００５０】
【図１】カメラパラメータ取得に係る従来の問題点を説明するための図である。
【図２】カメラの相対姿勢（外部パラメータ）の説明図である。
【図３】本発明の一実施形態に係るカメラパラメータ取得装置の構成を一部模式的に示すブロック図である。
【図４】図３の装置において行うカメラパラメータ取得に係るカメラ校正処理の一例を示すフロー図である。
【図５】図４の処理フローを補足説明するための図である。
【符号の説明】
【００５１】
１…（校正対象の）カメラ、
２…表示装置、
２ａ，２ｂ，２ｃ…各表示ユニットの画面、
３…ＨＤＤ（記憶手段）、
４…操作部、
５…スピーカ、
１０（１１〜１８）…制御ユニット（制御手段）、
２０…カメラパラメータ取得装置、
ＣＰ…検出（算出）された校正制御点、
ＥＰ，ＥＰ１…期待校正制御点。
【技術分野】
【０００１】
本発明は、画角の広いレンズを使用したカメラで撮像した画像の歪補正や射影変換等に使用されるカメラパラメータを取得する技術に関し、特に、駐車支援に供されるトップビュー画像を生成する際にその基となる（デジタル）カメラの撮像画像のレンズ収差を補正するのに有用なカメラパラメータ取得装置に関する。
【０００２】
カメラパラメータは、カメラレンズの焦点距離、レンズの歪特性、イメージセンサ上のレンズの光軸座標など、カメラの特性を示すパラメータであり、カメラ内部の要因に関連していることから、「カメラの内部パラメータ」とも呼ばれている。なお、トップビューと同じ称呼の「ＴＯＰＶＩＥＷ」は、アルパイン株式会社の登録商標である。
【背景技術】
【０００３】
デジタルカメラは、撮影した画像を即時に再生することができ、パーソナルコンピュータ（ＰＣ）等の画像入力装置として簡便に利用できる等の利点から、様々な分野で利用されている。例えば、車載用として利用する場合、車両周囲を撮影してその撮像画像をＬＣＤモニタ等の表示装置の画面に表示すれば、パーキングエリアでの駐車や車庫入れ等の際に運転者の便宜（駐車支援）を図ることができる。この場合、車両周囲に配置された車載カメラで取得された画像のデータは車載ＥＣＵ（電子制御ユニット）等のコンピュータに転送され、コンピュータにおいて適宜歪補正や射影変換等の画像処理が行われた後、表示装置に供給されてその画面に車両周囲画像が表示される。つまり、コンピュータでは、各車載カメラで車両周囲の各方向（前方、後方、左方、右方）を撮影した画像を取得し、その取得した各画像の視点をそれぞれ車両上方からの視点に変換した画像（俯瞰画像）を生成して合成し、さらに自車両の画像を合成してトップビュー画像を生成し、表示装置に供給している。
【０００４】
このようにトップビュー画像を生成する際には、車載カメラで取得した車両周囲の画像に対し高精度の歪補正や射影変換等の画像処理を行う必要があるが、その際に使用されるカメラの内部パラメータ（カメラパラメータ）を正確に取得しておく必要がある。
【０００５】
従来のカメラパラメータを取得する方法では、例えば、シート等の平面や３つの平面を互いに直交する方向に組み合わせた立体面等の面構造体の上に所定の配列で描画されたチェッカーパターン（市松模様）等の図形パターン（以下、「校正パターン」ともいう。）をカメラで撮像し、その撮像画像を処理して基準となる特徴点（以下、「校正制御点」ともいう。）を抽出し、その抽出した校正制御点から当該カメラの内部パラメータ（カメラパラメータ）を算出している。
【０００６】
この場合、高精度にカメラパラメータを取得するためには、撮像した校正パターンからできるだけ多くの校正制御点を正確に検出する必要がある。例えば、図１に示す魚眼レンズによる撮像画像の例では、校正パターンとしてチェッカーパターンを撮像しているが、この場合、個々の矩形パターン（白黒の図形パターン）の中心点もしくはコーナー点をそれぞれ当該パターンの特徴点として正確に検出する必要がある。
【０００７】
かかる従来技術に関連する技術としては、例えば、特許文献１に記載されるように、キャリブレーション装置においてデジタルカメラ等のレンズ収差を補正するのに必要な内部パラメータを簡便に測定できるようにしたものがある。このキャリブレーション装置は、第１マークと第２マークを有するキャリブレーション用チャートを、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する抽出部と、この抽出された第１マークを用いた射影変換により第２マークの概略位置を求める概略マーク位置測定部と、第２マークの概略位置近傍で第２マーク位置の撮影されている位置を求める精密マーク位置測定部と、キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応するキャリブレーション用画像における第２マークの位置から、レンズのキャリブレーション要素を算出する演算処理部とを備えている。
【特許文献１】特開２００３−３０７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように従来の技術では、シート等の面構造体の上に所定の配列で描画された校正パターン（図１に例示するチェッカーパターン等）をカメラで撮像し、その撮像画像から当該パターンの特徴点（校正制御点）を抽出して当該カメラの内部パラメータ（カメラパラメータ）を算出している。この場合、カメラで撮像した校正パターンの画像を歪みなく取得できれば問題ないが、上述したようなトップビュー画像を生成する際に使用するカメラ等においては画角の広い魚眼レンズもしくは広角レンズが使用されているため、以下の問題があった。
【０００９】
すなわち、魚眼レンズ等を使用したカメラで上記のような校正パターンを撮像すると、その撮像画像上では縮小や変形など画像の歪が大きくなり、その歪み量に応じて、検出すべき特徴点（校正制御点）の座標の誤差も拡大するといった不都合があった。例えば、図１に示したようなチェッカーパターンの撮像画像の場合、そのレンズ周辺部分では個々の矩形パターンが相対的に小さく変形し、当該部分の撮像に割り当てられる（イメージセンサの）画素の数も相対的に少なくなるため、当該部分においては校正制御点の座標を正確に取得するのが困難である。
【００１０】
つまり、撮像した校正パターンの画像から本来検出されるべき多くの校正制御点を正確に検出することができず、その結果、カメラパラメータの取得精度が低下するといった課題があった。
【００１１】
本発明は、かかる従来技術における課題に鑑み創作されたもので、取得するカメラパラメータの精度を向上させることができるカメラパラメータ取得装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した従来技術の課題を解決するため、本発明では、校正対象のカメラの内部パラメータ（カメラパラメータ）の設計値もしくは基準値（あらかじめ設定した１つ以上の値）と、カメラの撮像対象である校正パターンに対する「相対姿勢」を表した設計値もしくは基準値（あらかじめ設定した１つ以上の値）が既知情報であることを前提とし、これらの情報を用いて、撮像画像上で校正制御点がほぼ期待の通りに分布するような校正パターンを取得するようにしている。このように画像上でほぼ期待の通りに分布（例えば、均一に分布）する校正制御点を、以下の記述では、「期待校正制御点」ともいう。
【００１３】
また、カメラの「相対姿勢」とは、図２に例示するように、当該カメラと校正パターンの基準座標（例えば、校正パターンの中心の座標）との相対的な位置及び傾きの関係を表したものであり、並進（Ｔｘ，Ｔｙ，Ｔｚ）と回転（Ｒｘ，Ｒｙ，Ｒｚ）の６軸の座標情報で表される。このような相対姿勢を表した情報は、カメラ外部の要因に関連していることから、「カメラの外部パラメータ」とも呼ばれている。
【００１４】
本発明に係るカメラパラメータ取得装置は、校正対象のカメラと、少なくとも、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、前記校正パターンを可変に表示可能な表示装置と、校正パターンを生成して前記表示装置に表示させると共に、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点の位置と、前記表示装置に表示された校正パターンを前記カメラで撮像した結果から抽出した校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して前記表示装置に表示させる制御手段とを備えたことを特徴とする。
【００１５】
本発明に係るカメラパラメータ取得装置によれば、制御手段において可変に生成された校正パターンを表示装置に表示させ、この表示された校正パターンをカメラで撮像した結果から抽出した校正制御点の位置と、生成した期待校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、その補正の結果に応じた校正パターンを再生成して表示装置に表示させるようにしているので、最終的に取得される当該カメラの内部パラメータ（カメラパラメータ）の精度を向上させることができる。
【００１６】
また、本発明の他の形態によれば、校正対象のカメラと、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、前記校正パターンが描画された面構造体と、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するような期待校正制御点を生成し、該生成した画像上の期待校正制御点を前記カメラで撮像した前記校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出する制御手段とを備えたことを特徴とするカメラパラメータ取得装置が提供される。
【００１７】
本発明に係るカメラパラメータ取得装置の他の構成上の特徴及びそれに基づく具体的な処理態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施の形態について、添付の図面を参照しながら説明する。
【００１９】
図３は本発明の一実施形態に係るカメラパラメータ取得装置の構成を一部模式的に示したものである。本実施形態では、本発明に係るカメラパラメータ取得装置をパーソナルコンピュータ（ＰＣ）で実現する場合を想定している。
【００２０】
本実施形態に係るカメラパラメータ取得装置２０は、図示のようにカメラパラメータの取得対象（校正対象）であるカメラ１と、このカメラ１の撮像対象である校正パターンを可変に表示するよう適応された表示装置２と、記憶媒体としてのハードディスクドライブ（ＨＤＤ）３と、ユーザインタフェースとしての操作部４と、スピーカ５と、マイクロコンピュータ等により構成された制御ユニット１０とを備えている。制御ユニット１０とスピーカ５はＰＣ本体に内蔵されており、カメラ１、表示装置２、ＨＤＤ３、操作部４及びスピーカ５は、それぞれ制御ユニット１０内の各機能ブロックに動作可能に接続されている。
【００２１】
表示装置２は、図示のように３つの平面表示ユニット（例えば、ＬＣＤモニタ）を備えており、各表示ユニットはＸＹＺ座標系の立体画面を構成している。各表示ユニットの画面２ａ，２ｂ，２ｃには、後述するように制御ユニット１０において動的に（可変に）生成された校正パターンが表示されるようになっている。さらに表示装置２は、本発明に関連する機能として、後述する「校正失敗」を指示する旨のメッセージを表示する際に利用される。
【００２２】
カメラ１は、所定の高さのステイ（支柱) などの構造体（図示せず）の頂上部に取り付けられており、そのカメラレンズ（本実施形態では、魚眼レンズ）の向きは、表示装置２の各表示画面２ａ，２ｂ，２ｃに表示される校正パターンをそれぞれ均等に（ほぼ１／３ずつの撮像範囲で）取得できるように調整されている。
【００２３】
ＨＤＤ３には、あらかじめ校正対象のカメラ１の内部パラメータ（カメラパラメータ）の設計値もしくは基準値のデータと、当該カメラ１の撮像対象である校正パターンに対する相対姿勢（外部パラメータ）の設計値もしくは基準値のデータとが格納されている。さらにＨＤＤ３には、後述する「期待校正制御点パターン」のデータが格納されると共に、校正パターンから算出される校正制御点と期待校正制御点との位置関係（近接の度合い）を判断する際にその参照値（基準値）として用いられる「許容範囲」を指示する情報と、カメラ校正処理（後述するフィードバック処理）を行った「校正回数」を指示する情報が格納されている。この校正回数は、後述するカメラパラメータ取得に係る処理を行う際の初期状態では「０」にリセットされている。また、「許容範囲」は、例えば、校正制御点を均一に配置する場合、校正制御点間の距離の２０％以内に設定されている。なお、校正パターン上の制御点は、例えば、円の中心や格子線の交点座標として表現される。
【００２４】
操作部４はユーザの指示を入力するための各種操作キーを備えたユニットであり、本実施形態では、ＰＣ本体に接続されるキーボードもしくはマウスである。この操作部４は、本発明に関連する機能として、制御ユニット１０に対し後述するカメラパラメータ取得に係るカメラ校正処理を実行させるための起動信号を与える。スピーカ５は、本実施形態では、後述する「校正失敗」を指示する旨のメッセージを音声出力する際に利用することができるが、かかるメッセージは表示装置２にも表示されるため、必ずしも利用する必要はない。
【００２５】
制御ユニット１０は、本発明に関連する機能ブロックとして、後述するカメラパラメータ取得に係るカメラ校正処理を総括的に制御する主制御部としてのＣＰＵ１１と、カメラ画像取得部１２と、校正制御点検出部１３と、校正制御点比較部１４と、逆投影校正パターン生成部１５と、表示制御部１６と、カメラパラメータ算出部１７と、メッセージ出力部１８とを備えている。１２〜１８の各機能ブロックは、後述するようにＣＰＵ１１と協働してそれぞれ所定の処理を実行する。具体的な処理内容については、後で詳述する。
【００２６】
以上のように構成された本実施形態のカメラパラメータ取得装置２０において、ＨＤＤ３は「記憶手段」に、制御ユニット１０（１１〜１８）は「制御手段」に、それぞれ対応している。
【００２７】
以下、本実施形態のカメラパラメータ取得装置２０において行うカメラパラメータ取得に係るカメラ校正処理について、その一例を示す図４を参照しながら説明する。併せて、図５も参照しながら補足説明する。
【００２８】
先ず最初のステップＳ１では、ＣＰＵ１１により、操作部４を介してユーザ指示に基づき入力された起動信号に応答して、ＨＤＤ３内から、本処理の対象となるカメラ１のカメラパラメータの設計値／基準値と相対姿勢の設計値／基準値の各データ（情報）を取得する。取得した情報は、ＣＰＵ１１内のメモリ（図示せず）にいったん格納される。
【００２９】
次のステップＳ２では、ＣＰＵ１１からの制御に基づき逆投影校正パターン生成部１５及び表示制御部１６により、先ず、任意の校正パターンを撮像した場合にその撮像画像上で当該校正パターンの校正制御点が均一に分布するような仮想の画像（期待校正制御点パターン）を生成し、次に、ＣＰＵ１１内のメモリ（図示せず）にいったん格納した当該カメラ１のカメラパラメータ（設計値／基準値）の情報と相対姿勢（設計値／基準値）の情報を用いて、その生成された画像上の期待校正制御点を校正パターン上に逆投影してその制御点の座標（つまり、期待校正制御点の校正パターン上における位置）を算出し、その算出結果を表示装置２の各表示画面２ａ，２ｂ，２ｃに表示する。
【００３０】
図５（ａ）は、このステップで生成された期待校正制御点パターン（仮想の画像）の一例を示したものであり、図中、ＥＰで示す個々の点が「期待校正制御点」を表している。また、図５（ｂ）は、このステップで生成された逆投影校正パターンの表示例を示したものである。なお、生成された「期待校正制御点パターン」のデータは、ＣＰＵ１１を介してＨＤＤ３内にいったん格納される。
【００３１】
次のステップＳ３では、ＣＰＵ１１からの制御に基づきカメラ画像取得部１２を介してカメラ１により、表示装置２の各表示画面２ａ，２ｂ，２ｃに表示された校正パターンを撮像する。
【００３２】
次のステップＳ４では、ＣＰＵ１１からの制御に基づき校正制御点検出部１３により、カメラ画像取得部１２を介してカメラ１から取得した撮像画像から、校正パターン上の校正制御点を検出してその座標（校正制御点の位置）を算出する。
【００３３】
次のステップＳ５では、ＣＰＵ１１からの制御に基づき校正制御点比較部１４により、校正制御点検出部１３で検出（算出）された校正制御点の位置を期待校正制御点の位置と比較し、両者の差が許容範囲内にある（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ６に進み、判定結果がＮＯの場合にはステップＳ７に進む。例えば、図５（ｃ）に一例として示すように、算出された校正制御点ＣＰの位置と期待校正制御点ＥＰの位置を比較し、両者の差（図中、Ｒ１で示す誤差）が許容範囲内にあるかどうかを判断する。図示の例では、誤差Ｒ１が許容範囲から外れていて「校正処理」を必要とする場合を示している。
【００３４】
次のステップＳ６では（算出された校正制御点と期待校正制御点との差が許容範囲内にある場合）、ＣＰＵ１１からの制御に基づきカメラパラメータ算出部１７により、校正制御点検出部１３で算出された当該校正制御点の情報を用いて、当該カメラ１の内部パラメータ（カメラパラメータ）を算出する。そして、本処理（カメラ校正処理）は「終了」となる。
【００３５】
一方、ステップＳ７では（算出した校正制御点と期待校正制御点との差が許容範囲から外れている場合）、ＣＰＵ１１からの制御に基づき、ＨＤＤ３内に設定されている校正回数（初期値「０」）をカウントアップ（＋１）する。
【００３６】
次のステップＳ８では、ＣＰＵ１１において、ＨＤＤ３内に設定されている校正回数が所定値に達した（ＹＥＳ）か否（ＮＯ）かを判定する。判定結果がＹＥＳの場合にはステップＳ９に進み、判定結果がＮＯの場合にはステップＳ１０に進む。本実施形態では、この「所定値」を、例えば、「３回」に設定している。
【００３７】
ステップＳ９では、ＣＰＵ１１からの制御に基づきメッセージ出力部１８を介して表示制御部１６により、表示装置２の画面（各表示画面２ａ，２ｂ，２ｃのうち少なくとも１面）に、校正失敗を指示する旨のメッセージを表示する。すなわち、後述するフィードバック処理に基づいたカメラ校正（期待校正制御点を校正パターン上の各校正制御点の配置に近づけるための逆投影パターンの補正）を所定回数（３回）行ったが、期待校正制御点を許容範囲内に収束させることができなかった旨を報知する情報（メッセージ）を出力する。このメッセージ出力は、上述したようにメッセージ出力部１８を介してスピーカ５から音声出力させるようにしてもよい。この場合、画面を介しての表示と併せて、あるいは画面表示に代えて、音声出力を行う。
【００３８】
さらに、校正失敗のメッセージを出力した後、ＣＰＵ１１からの制御に基づきＨＤＤ３内に設定された校正回数のカウント値（この時点では「３回」）を「０」にリセットする。そして、本処理（カメラ校正処理）は「終了」となる。
【００３９】
一方、ステップＳ１０では（当該校正制御点と期待校正制御点との差が未だ許容範囲内に収束しておらず、校正回数が３回未満の場合）、ＣＰＵ１１により、当該校正制御点の座標（位置）情報を用いて、当該カメラ１の内部パラメータ（カメラパラメータ）と相対姿勢を算出し、その算出結果に基づいて期待校正制御点の位置を再計算する。そして、ステップＳ２に戻って上記の処理を繰り返す。
【００４０】
本実施形態では、ステップＳ２の処理（期待校正制御点の校正パターン上への逆投影）から始まってステップＳ３の処理（表示された校正パターンの撮像）、ステップＳ４の処理（撮像画像から校正パターン上の校正制御点の位置の算出）を経て、さらに校正制御点と期待校正制御点との差が許容範囲から外れている場合に、ステップＳ１０の処理（期待校正制御点の位置の再計算）を行ってステップＳ２に戻るまでの一連の処理を、「フィードバック処理（に基づいたカメラ校正）」と呼んでいる。
【００４１】
図５（ｄ）は、かかるフィードバック処理に基づいたカメラ校正を何回か（この場合、３回未満）行った後の期待校正制御点ＥＰ１の位置と校正制御点ＣＰの位置との差（図中、Ｒ２で示す誤差）が、校正を行う前の状態（同図（ｃ）の誤差Ｒ１）よりも改善されている（つまり、期待校正制御点を許容範囲内に収束させる方向に改善されている）様子を模式的に示している。
【００４２】
以上説明したように、本実施形態に係るカメラパラメータ取得装置２０によれば、制御ユニット１０において動的に（可変に）生成された校正パターン（逆投影校正パターン）を表示装置２の立体画面２ａ，２ｂ，２ｃに表示し、この表示された校正パターンをカメラ１で撮像した結果から上記のフィードバック処理を行うようにしているので、最終的にカメラパラメータ算出部１７において取得される当該カメラ１の内部パラメータ（カメラパラメータ）の精度を高めることができる。つまり、校正パターンの撮像結果に基づいたパラメータ取得誤差が最小となるように（図５参照）フィードバック処理を行い、表示装置２に表示させる逆投影校正パターンを補正している。
【００４３】
このように、制御ユニット１０において校正パターン（逆投影校正パターン）を動的に生成し、その生成したパターンを表示装置２に表示し、その表示されたパターンをカメラ１で撮像した結果を表示装置２側にフィードバックしてパターンを再生成することで、取得するカメラパラメータの精度を向上させることが可能となる。
【００４４】
また、本実施形態では、校正パターンを動的に生成することができるため、様々なパラメータ特性を有するカメラに好適に対応することができる。
【００４５】
上述した実施形態では、表示装置２を用いて校正パターンを可変に表示させる場合を例にとって説明したが、本発明の要旨（既知の情報である「カメラパラメータの設計値／基準値」と「カメラの相対姿勢（外部パラメータ）の設計値／基準値」とを用いて、撮像画像上で校正制御点がほぼ期待の通りに分布するような校正パターンを取得すること）からも明らかなように、カメラの撮像対象である校正パターンは必ずしも表示装置の画面に表示させる必要はない。要は、校正対象のカメラで撮像できる所定の位置（範囲内）に校正パターンが配置されていれば十分であり、例えば、シート等の平面やこの平面を３つ組み合わせた立体面等の面構造体の上に、印刷等により、所定形状のパターン（図１に例示するチェッカーパターン等）が所定の配列で描画されていれば十分である。
【００４６】
この場合の実施形態、すなわち、表示装置を用いずに、シート等の面構造体の上に描画された校正パターンをカメラで撮像してカメラパラメータを取得する場合の実施形態については、基本的には上述した実施形態の場合と同様であるので、その詳細な説明は省略する。本発明に関連する部分の処理態様を説明すると、以下の通りである。すなわち、この実施形態では、制御ユニット１０により、カメラパラメータの設計値／基準値のデータとカメラの相対姿勢（外部パラメータ）の設計値／基準値のデータを参照して、画像上でほぼ期待の通りに分布（例えば、均一に分布）するような期待校正制御点を生成し、この期待校正制御点を、当該カメラ１で撮像した校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出するようにしている。
【００４７】
また、上述した実施形態では、３つの表示ユニット（ＸＹＺ座標系の立体画面２ａ，２ｂ，２ｃ）を備えた表示装置２に校正パターンを表示する場合を例にとって説明したが、本発明の要旨からも明らかなように、校正パターンの表示対象は立体画面に限定されないことはもちろんである。特に図示はしないが、１つの平面表示ユニット（ＸＹ座標系の平面画面）に校正パターンを動的に表示させることも可能である。
【００４８】
また、校正パターンを画面に表示（もしくは面構造体に描画する）立体的な構造としては、上記の立体画面もしくは立体面以外に、多面体や球面などを適宜使用することも可能である。さらに、図５（ａ）に示す例では、画像上で校正制御点（期待校正制御点ＥＰ）が均一に分布する場合を例にとって説明したが、本発明の要旨からも明らかなように、校正制御点は必ずしも均一の分布態様である必要はなく、校正対象のカメラの使用目的等に応じて、適宜、非均一な分布態様とすることも可能である。
【００４９】
また、上述した実施形態では、カメラパラメータの設計値／基準値のデータ、カメラの相対姿勢（外部パラメータ）の設計値／基準値のデータ等を格納する記憶媒体としてハードディスクドライブ（ＨＤＤ）を使用しているが、他の記憶媒体として、ＤＲＡＭやフラッシュメモリ等を適宜使用することも可能である。
【図面の簡単な説明】
【００５０】
【図１】カメラパラメータ取得に係る従来の問題点を説明するための図である。
【図２】カメラの相対姿勢（外部パラメータ）の説明図である。
【図３】本発明の一実施形態に係るカメラパラメータ取得装置の構成を一部模式的に示すブロック図である。
【図４】図３の装置において行うカメラパラメータ取得に係るカメラ校正処理の一例を示すフロー図である。
【図５】図４の処理フローを補足説明するための図である。
【符号の説明】
【００５１】
１…（校正対象の）カメラ、
２…表示装置、
２ａ，２ｂ，２ｃ…各表示ユニットの画面、
３…ＨＤＤ（記憶手段）、
４…操作部、
５…スピーカ、
１０（１１〜１８）…制御ユニット（制御手段）、
２０…カメラパラメータ取得装置、
ＣＰ…検出（算出）された校正制御点、
ＥＰ，ＥＰ１…期待校正制御点。
【特許請求の範囲】
【請求項１】
校正対象のカメラと、
少なくとも、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、
前記校正パターンを可変に表示可能な表示装置と、
校正パターンを生成して前記表示装置に表示させると共に、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点の位置と、前記表示装置に表示された校正パターンを前記カメラで撮像した結果から抽出した校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して前記表示装置に表示させる制御手段とを備えたことを特徴とするカメラパラメータ取得装置。
【請求項２】
前記制御手段は、
前記第１のデータ及び第２のデータを用いて、前記生成した期待校正制御点の当該校正パターン上への逆投影校正パターンを生成する手段と、
生成された逆投影校正パターンの前記表示装置に対する表示制御を行う手段と、
前記カメラで撮像された校正パターンの画像を取得する手段と、
取得された校正パターンの画像から校正制御点の位置情報を検出する手段と、
検出された校正制御点の位置と前記期待校正制御点の位置を比較する手段と、
該比較の結果に基づき当該校正制御点と期待校正制御点との差が前記許容範囲内に収まっているときに、当該校正制御点の位置情報を用いて前記カメラのカメラパラメータを算出する手段とを有することを特徴とする請求項１に記載のカメラパラメータ取得装置。
【請求項３】
前記制御手段は、さらに、前記期待校正制御点を前記許容範囲内に収束させることができなかった場合にその旨を報知する手段を有することを特徴とする請求項２に記載のカメラパラメータ取得装置。
【請求項４】
前記表示装置は、互いに直交する方向に組み合わされた３つの平面表示ユニット、もしくは１つの平面表示ユニットにより構成されていることを特徴とする請求項１に記載のカメラパラメータ取得装置。
【請求項５】
校正対象のカメラと、
前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、
前記校正パターンが描画された面構造体と、
前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するような期待校正制御点を生成し、該生成した画像上の期待校正制御点を前記カメラで撮像した前記校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出する制御手段とを備えたことを特徴とするカメラパラメータ取得装置。
【請求項６】
前記面構造体は、所定形状のパターンが所定の配列で描画された平面構造体、もしくは３つの平面構造体を互いに直交する方向に組み合わせた立体面構造体であることを特徴とする請求項５に記載のカメラパラメータ取得装置。
【請求項１】
校正対象のカメラと、
少なくとも、前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、
前記校正パターンを可変に表示可能な表示装置と、
校正パターンを生成して前記表示装置に表示させると共に、前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するように生成した期待校正制御点の位置と、前記表示装置に表示された校正パターンを前記カメラで撮像した結果から抽出した校正制御点の位置との差が許容範囲内に収まるように当該期待校正制御点の位置を補正し、該補正の結果に応じた校正パターンを再生成して前記表示装置に表示させる制御手段とを備えたことを特徴とするカメラパラメータ取得装置。
【請求項２】
前記制御手段は、
前記第１のデータ及び第２のデータを用いて、前記生成した期待校正制御点の当該校正パターン上への逆投影校正パターンを生成する手段と、
生成された逆投影校正パターンの前記表示装置に対する表示制御を行う手段と、
前記カメラで撮像された校正パターンの画像を取得する手段と、
取得された校正パターンの画像から校正制御点の位置情報を検出する手段と、
検出された校正制御点の位置と前記期待校正制御点の位置を比較する手段と、
該比較の結果に基づき当該校正制御点と期待校正制御点との差が前記許容範囲内に収まっているときに、当該校正制御点の位置情報を用いて前記カメラのカメラパラメータを算出する手段とを有することを特徴とする請求項１に記載のカメラパラメータ取得装置。
【請求項３】
前記制御手段は、さらに、前記期待校正制御点を前記許容範囲内に収束させることができなかった場合にその旨を報知する手段を有することを特徴とする請求項２に記載のカメラパラメータ取得装置。
【請求項４】
前記表示装置は、互いに直交する方向に組み合わされた３つの平面表示ユニット、もしくは１つの平面表示ユニットにより構成されていることを特徴とする請求項１に記載のカメラパラメータ取得装置。
【請求項５】
校正対象のカメラと、
前記カメラの内部パラメータの設計値もしくは基準値を指示する第１のデータと前記カメラの撮像対象である校正パターンに対する相対姿勢の設計値もしくは基準値を指示する第２のデータとを格納した記憶手段と、
前記校正パターンが描画された面構造体と、
前記第１のデータ及び第２のデータを用いて、画像上でほぼ期待の通りに分布するような期待校正制御点を生成し、該生成した画像上の期待校正制御点を前記カメラで撮像した前記校正パターン上へ逆投影して当該制御点の校正パターン上における位置を算出する制御手段とを備えたことを特徴とするカメラパラメータ取得装置。
【請求項６】
前記面構造体は、所定形状のパターンが所定の配列で描画された平面構造体、もしくは３つの平面構造体を互いに直交する方向に組み合わせた立体面構造体であることを特徴とする請求項５に記載のカメラパラメータ取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−１７７７４２（Ｐ２００８−１７７７４２Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−７９００（Ｐ２００７−７９００）
【出願日】平成１９年１月１７日（２００７．１．１７）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【出願人】（５０７０１７８９７）球眼有限会社 (1)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１月１７日（２００７．１．１７）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【出願人】（５０７０１７８９７）球眼有限会社 (1)
【Ｆターム（参考）】
[ Back to top ]