カメラキャリブレーション装置およびそのプログラム
【課題】外部センサを利用すると共に画像処理を利用することで、両者を単独で用いた場合の欠点を改善できるカメラキャリブレーション装置を提供する。
【解決手段】カメラキャリブレーション装置６は、実写映像を入力する実写映像入力手段１１と、実写映像として入力された既知パターンを解析するキャリブレーションパターン解析手段１３と、センサで検出されたパン・チルトデータを既知として、解析された画像座標を用いて、雲台位置および姿勢と雲台座標系におけるカメラ位置および姿勢とからなる未知の外部パラメータおよびレンズ歪みを含む光学的な未知の内部パラメータを、評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段１５と、算出されたカメラ位置および姿勢と、算出された内部パラメータと、入力されたレンズデータとを対応付けて格納し、算出された雲台位置および姿勢を格納するテーブル作成手段１６とを備える。
【解決手段】カメラキャリブレーション装置６は、実写映像を入力する実写映像入力手段１１と、実写映像として入力された既知パターンを解析するキャリブレーションパターン解析手段１３と、センサで検出されたパン・チルトデータを既知として、解析された画像座標を用いて、雲台位置および姿勢と雲台座標系におけるカメラ位置および姿勢とからなる未知の外部パラメータおよびレンズ歪みを含む光学的な未知の内部パラメータを、評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段１５と、算出されたカメラ位置および姿勢と、算出された内部パラメータと、入力されたレンズデータとを対応付けて格納し、算出された雲台位置および姿勢を格納するテーブル作成手段１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラキャリブレーション装置およびそのプログラムに係り、特に、放送用バーチャルスタジオにおいて、カメラ位置・姿勢・画角・レンズ歪等のパラメータを、センサ情報と撮影映像の双方を利用して求めるカメラキャリブレーション装置およびそのプログラムに関する。
【背景技術】
【０００２】
バーチャルスタジオは、カメラの動きにつじつまの合ったコンピューターグラフィックス（ＣＧ：Computer Graphics）を生成することで、ＣＧと実写映像との合成時に違和感のない複合現実世界をつくり、放送コンテンツに利用するためのスタジオである。この複合現実世界をつくるためには、現実のカメラの位置・姿勢などの各種データと、ＣＧの仮想カメラの位置・姿勢などの各種データとを合わせる必要がある。このように、カメラの位置などの未知のパラメータを同定・推定することをカメラキャリブレーションという。カメラキャリブレーションは、コンピュータビジョンの分野でいうキャリブレーションと同様な意味である。なお、放送現場では、カメラを調整して所望のカメラの状態に設定する行為そのものをカメラキャリブレーションと呼ぶ場合もある。この場合を前者と区別して狭義のカメラキャリブレーションということとする。
【０００３】
未知のパラメータを同定・推定するカメラキャリブレーションとして、現状では、以下の２種類の方法が主流となっている。第１の手法は、メカニカルなセンサまたは光学的なセンサなど外部センサを利用して、カメラの移動量および姿勢変化（パン・チルトの回転量など）の相対値を物理量として計測し、これらの計測値を元に仮想的な世界（ＣＧの世界）でのカメラ位置に適用させるものである。
【０００４】
第２の手法は、画像処理によるもの、すなわち、撮影画像自体から特徴点を抽出し、抽出した特徴点からカメラの撮影位置を逆算で求めるものである。ここで、特徴点の求め方は、２通りある。第１の求め方は、既知の位置情報をもった二次元または三次元の既知のパターンを用いるものである。図６は、二次元の市松模様に形成された既知のパターン１００の例を示す。一方、第２の求め方は、既知のパターンを利用せずに、カメラの移動について時系列の情報を蓄積し、その結果として、例えば、視差のある複数のカメラから撮影した場合と同じ手法で、特徴点の位置関係とカメラの位置情報とを割り出すものである。
【０００５】
特撮用のスタジオなどで多く利用されているバーチャルスタジオ用の撮影装置は、雲台（platform）部分に回転量検知用センサが取り付けられており、これによりカメラレンズの向いている方向（カメラ姿勢）の変化を検知している。そして、雲台下のペデスタル（台座）部分にも同様に回転量検知用センサが取り付けられており、回転量検知用センサによって水平方向の移動量および垂直方向の移動量を測定することで、カメラの現在位置を求めている。さらに、ズームレンズを使用する場合には、そのズーム量（画角に相当）を測定するセンサを利用して画角および理論的レンズ位置を割り出す手がかりにしている。前記した第１のカメラキャリブレーション手法は、これらのセンサを利用する。また、従来、カメラモデルとしてピンホールカメラモデルを採用しているため、リアルタイムに生成されるＣＧと実写映像との合成時に、幾何的なずれの原因としてレンズ歪の影響も大きい。特に、実写撮影に広角レンズを使用した場合は、レンズ歪の影響も大きく、実写とＣＧの合成時のずれは原理的に解決できない。ピンホールカメラモデルにおける座標軸間の関係を図７に示す。図７に示すピンホールカメラモデルでは、任意の世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）を、ピンホールを視点として撮影する。世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）は、ピンホールを原点とする座標（カメラ座標）でみると、カメラ座標上の点Ｐ（ｘc，ｙc，ｚc）として撮影される。このカメラ座標上の点Ｐ（ｘc，ｙc，ｚc）を画像座標平面に投影すると、点Ｐ（ｘc，ｙc，ｚc）とピンホール（原点）とを結ぶ直線と画像座標平面との交点の位置（ｘn）に映るはずであるが、実際には、カメラ歪みの影響で、画像座標平面において、点Ｐ（ｘc，ｙc，ｚc）と原点とを結ぶ直線との交点からずれた位置（ｘd）に映ってしまう。なお、位置ｘn，ｘdについて図７ではベクトル表記した。
【０００６】
従来、バーチャルスタジオで利用される様々な技術が知られている（例えば、特許文献１および特許文献２参照）。特許文献１に記載された背景画像生成装置は、放送局内のバーチャルスタジオ用の装置を利用してカメラのパン、チルト、ズーム等の動きパラメータを測定し、撮影によって得られた映像信号を、レンズ歪みを考慮して幾何変換することで、大型カメラに対応した大画面背景画像を生成するものである。特許文献２に記載されたカメラパラメータ取得システムは、撮影画像のマーカ座標を基にして、カメラパラメータを計算するために、カメラ画像からマーカの画像座標を求め、これらのマーカの座標と、元のキャリブレーションパターン平面図におけるマーカの座標との対応付けを、人手を掛けずに効率的に行うものである。
【０００７】
また、雲台に搭載したカメラについてのカメラキャリブレーションをするものではないが、撮影した既知のパターンを用いてカメラパラメータを最適化する技術（例えば、特許文献３参照）や、レンズ歪みパラメータを復元する技術（例えば、特許文献４参照）が知られている。これら特許文献１〜特許文献４に記載された技術は、前記した第２のカメラキャリブレーション手法、すなわち、撮影画像からカメラパラメータを取得する方法を用いている。
【特許文献１】特開２００３−１４３４７３号公報（段落００２０〜００３６、図１）
【特許文献２】特開２００３−７８８１１号公報（段落００１５〜００２１、図３）
【特許文献３】特開２００６−２４２９４３号公報（段落００１８〜００２８、図１）
【特許文献４】特開２００７−３４９６４号公報（段落００６８〜０１１６、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の第１および第２のカメラキャリブレーション方法は、それぞれ一長一短がある。外部センサを利用する第１のカメラキャリブレーション手法では、キャリブレーションのために画像処理を必要とはしないので、自由な映像を撮影できるという利点もあるが、特殊なセンサを必要とするという欠点がある。また、カメラが雲台上に固定されるので、カメラの動作にも制限が加わってしまう。さらに、取得したデータが間接的あるいは相対的なものであるため、画像処理を用いた方法と比較して、データの精度が低くなるという大きな欠点がある。例えば、実用されている回転量検知用センサ自体の精度は十分なものであるが、初期値を正確に与えることができないと、取得した位置データの精度に反映されない。また、ペデスタルに取り付けられた回転量検知用センサ（エンコーダ）は、ペデスタル移動の際にカウンターがすべる（空回りする）ことがあり、誤差が生じる。この誤差が長時間の移動で蓄積すると、エンコーダの出力値に信頼性がなくなってしまう。そこで、現状では、この蓄積誤差をリセット（初期化）するための仕組み（例えば、原点を規定する模様など）を、スタジオの特定の位置に用意しておき、ペデスタルをその特定の位置に移動させることで蓄積誤差をリセットしている。また、リセットを行ったとしても、その後、カメラを搭載したペデスタルを所望の位置に移動させた際には、その移動先で出力した位置データの精度が高いという保証はない。なお、運用上、このリセットは、オンエア中（放送中）に行うことはできないので、当然、オンエア前に行う。
【０００９】
また、画像処理による第２のカメラキャリブレーション手法では、一般的なカメラを使用でき、カメラの動作に拘束はなくなり、取得したデータの精度が比較的高いという利点もあるが、常に画像処理を伴わなければならず、システムとしては複雑になるという欠点がある。また、処理できる特徴点を常に映像にとらえつづける必要があり、さらに、特徴点を抽出できるように背景を準備しなければならないなど撮影画像の内容に制限がかかる。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、外部センサを利用すると共に画像処理を利用することで、両者を単独で用いた場合の欠点を改善できるカメラキャリブレーション装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラキャリブレーション装置は、雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、パラメータ入力手段と、実写映像入力手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、テーブル作成手段とを備えることとした。
【００１２】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ入力手段によって、前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力する。ここで、レンズデータは、画角（焦点距離・ズーム値）を示す光学的な情報である。そして、カメラキャリブレーション装置は、実写映像入力手段によって、前記カメラから出力される実写映像を入力する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。ここで、パターンの特徴点は、例えば、既知パターンが二次元の市松模様から形成されている場合には市松模様の格子点とすることができる。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。また、コンピュータビジョンの分野でいう通常のカメラキャリブレーションにおいては、カメラの内部パラメータおよび外部パラメータ共にすべてが未知の状態で、かつ、雲台に載せるなどの拘束条件のない状態で計算を行う。しかし、パラメータ算出手段は、外部パラメータにあたる雲台の姿勢を示すパラメータの正確な変化量を既知データとして利用すると共に、カメラを雲台に載せることで拘束条件のある状態で計算を行う。これにより、最適化の正確性および収束性が向上し、求めたいパラメータに合致した最適化を行うことができる。また、雲台の姿勢を示すパラメータを既知として、従来公知の方法で用いる評価関数を使用することができる。また、反復によるパラメータ最適化プロセスには、従来公知の非線形最小二乗法で利用される方法を用いることができる。
【００１３】
そして、カメラキャリブレーション装置は、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。これにより、前記雲台姿勢検出センサおよびレンズデータ検出センサの初期状態において正確なカメラ位置を画像処理で求めた内部パラメータおよび外部パラメータによって与えることができる。その結果、これを用いれば、実写映像とＣＧとの位置合わせ精度が従来よりも格段に向上する。このように内部パラメータおよび外部パラメータを画像処理で求めることは、極めて短時間に行うことができる。そのため、例えば、放送用の映像を出力するカメラからタリーが外れてオンエアされていない瞬間などに、カメラキャリブレーションを行うことができ、これにより、雲台姿勢検出センサやレンズデータ検出センサに蓄積されたメカニカルな誤差を再リセット（再初期化）することができる。なお、ペデスタルを用いる場合には、ペデスタルに設けられた回転検出用センサについても、オンエアされていない瞬間などに、蓄積誤差を再リセットすることができる。
【００１４】
また、前記目的を達成するために、請求項２に記載のカメラキャリブレーション装置は、雲台と、前記雲台に取り付けられて撮影した被写体の実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、パラメータ入力手段と、実写映像入力手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、テーブル作成手段とを備えることとした。
【００１５】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ入力手段によって、前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力し、実写映像入力手段によって、前記カメラから出力される実写映像を入力し、キャリブレーションパターン解析手段によって、前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、予め求められたレンズ歪みを含む光学的な内部パラメータと、前記入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。これによれば、レンズ歪みを含む内部パラメータが既知である場合には、カメラキャリブレーション装置は、その既知パラメータとして手動で入力された内部パラメータ、あるいは、予め作成されたテーブルから読み込んだその既知の内部パラメータと、雲台の姿勢を示すパラメータとを既知として、外部パラメータのみを算出する。したがって、算出すべき未知パラメータが少なくなるので計算コストを低減できる。そして、カメラキャリブレーション装置は、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【００１６】
また、請求項３に記載のカメラキャリブレーション装置は、請求項１または請求項２に記載のカメラキャリブレーション装置において、パラメータ補正手段をさらに備えることとした。
【００１７】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ補正手段によって、前記入力された雲台の姿勢を示すパラメータの変化と、前記入力されたレンズデータの変化とに合わせて、前記テーブルに格納された前記カメラの位置および姿勢を示すパラメータを補正する。これによれば、例えば、放送用バーチャルスタジオにおいて、カメラが出力する実写映像がオンエアされていないときにカメラパラメータとして正確な初期値が同定・推定された後に、オンエア中のカメラ位置・姿勢情報あるいはレンズデータについて、正確な初期値に、外部センサからの情報で正確な変化量を加算することで、実用上に十分正確なデータを求めることができる。
【００１８】
また、請求項４に記載のカメラキャリブレーション装置は、請求項３に記載のカメラキャリブレーション装置において、ＣＧ生成処理手段と、ＣＧ補正処理手段と、合成処理手段とをさらに備えることとした。
【００１９】
かかる構成によれば、カメラキャリブレーション装置は、ＣＧ生成処理手段によって、予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、前記テーブルに格納されたパラメータまたは前記補正されたパラメータを用いてＣＧ画像を生成する。そして、カメラキャリブレーション装置は、ＣＧ補正処理手段によって、前記ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータとして、前記テーブルに格納された内部パラメータを用いて、前記生成されたＣＧ画像を補正し、合成処理手段によって、前記カメラから出力される実写映像と、前記補正されたＣＧ画像とを合成する。これによれば、例えば、放送用バーチャルスタジオにおいて、カメラが出力する実写映像の画面上での幾何的な位置と、最適なカメラパラメータを元にして生成したＣＧ画像の画面上での幾何的な位置とが一致した合成映像を生成する。ここで、外部パラメータによる正確な位置・姿勢だけではなく、レンズ歪を含んだ内部パラメータを用いることで、合成映像において実写とＣＧとの境界が、従来よりも自然に見えるような精度のよい合成映像を得ることができる。
【００２０】
また、請求項５に記載のカメラキャリブレーションプログラムは、雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、および、テーブル作成手段として機能させることとした。
【００２１】
かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。そして、カメラキャリブレーションプログラムは、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【００２２】
また、請求項６に記載のカメラキャリブレーションプログラムは、雲台と、前記雲台に取り付けられて撮影した被写体の実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、および、テーブル作成手段として機能させることとした。
【００２３】
かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、予め求められたレンズ歪みを含む光学的な内部パラメータと、入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。そして、カメラキャリブレーションプログラムは、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【発明の効果】
【００２４】
請求項１または請求項５に記載の発明によれば、カメラキャリブレーション装置は、外部センサとして雲台姿勢検出センサの出力を利用すると共に画像処理を利用することで、最適化の正確性および収束性が向上するので、両者を単独で用いた場合の欠点を改善できる。
【００２５】
請求項２または請求項６に記載の発明によれば、カメラキャリブレーション装置は、外部センサとして雲台姿勢検出センサの出力を利用すると共に画像処理を利用することで、両者を単独で用いた場合の欠点を改善できると共に、内部パラメータを既知として外部パラメータの最適化計算を行うので計算コストを低減できる。
【００２６】
請求項３に記載の発明によれば、カメラキャリブレーション装置は、正確な初期値が同定・推定された後に、外部センサとして雲台姿勢検出センサやレンズデータ検出センサの出力が変化したとしても、正確な初期値に、外部センサからの情報で正確な変化量を加算することで、実用上に十分正確なデータを求めることができる。
【００２７】
請求項４に記載の発明によれば、カメラキャリブレーション装置は、カメラが出力する実写映像の画面上での幾何的な位置と、最適なカメラパラメータを元にして生成したＣＧ画像の画面上での幾何的な位置とが一致した合成映像を生成することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明のカメラキャリブレーション装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
【００２９】
カメラキャリブレーション装置は、撮影装置のカメラパラメータを最適化するものである。本実施形態では、カメラキャリブレーション装置は、放送局のバーチャルスタジオで利用され、コンピューターグラフィックス（ＣＧ）画像（ＣＧ映像）を生成し、最適化したカメラパラメータを用いて、撮影装置で撮影された実写映像（映像信号）とＣＧ画像とを合成した合成映像を放送番組として出力する（オンエアする）ものとして説明する。カメラキャリブレーション装置は、動作モードとして、オンエア前にキャリブレーションを行うパラメータ同定・推定モードと、オンエア中にキャリブレーションを行うパラメータ設定モードとを有している。
【００３０】
［撮影装置の構成］
まず、図１を参照（適宜図２参照）して撮影装置の構成を説明する。図１に示すように、撮影装置１は、雲台２と、雲台姿勢検出センサ２ａと、ペデスタル３と、ペデスタルデータ検出センサ３ａと、カメラ４と、ズームレンズ５と、レンズデータ検出センサ５ａとを備えている。この撮影装置１の外観の一例を図２に示す。
【００３１】
雲台２は、搭載固定されたカメラ４を、操作者の操作によって、横方向（パン）および上下方向（チルト）に回転できるように構成されている。雲台姿勢検出センサ２ａは、カメラ４の横方向（パン）の回転角および上下方向（チルト）の回転角（以下、合わせて、パン・チルトデータと呼称する）を検出し、検出したパン・チルトデータをカメラキャリブレーション装置６に出力する。この雲台姿勢検出センサ２ａは、例えば、ロータリーエンコーダ等から構成される。
【００３２】
ペデスタル３は、雲台２を搭載固定するものであり、雲台２上のカメラ４を上下方向（ハイト）に移動できるように構成されている。また、ペデスタル３は、三脚の脚端にキャスターが取り付けられて床面上を移動できるように構成されている。ペデスタルデータ検出センサ３ａは、ペデスタル３の初期状態における雲台の位置（雲台中心の３次元位置）と、ペデスタル３の上下方向および床面上の移動によって変化した雲台の位置とのオフセット値（以下、ペデスタルデータと呼称する）を検出し、検出したペデスタルデータをカメラキャリブレーション装置６に出力する。このペデスタルデータ検出センサ３ａは、例えば、ロータリーエンコーダ等から構成される。なお、カメラキャリブレーション装置６は、オンエア前のパラメータ同定・推定モードで動作する場合には、ペデスタルデータを使用せずに、オンエア中にのみ相対的な移動量として利用する。その理由は、ペデスタル３は、移動の際にカウンターがすべることがあり、長時間の移動の結果、それが蓄積することにより出力値に信頼性がないためである。
【００３３】
カメラ４は、被写体を撮影するものであり、撮影した被写体の実写映像（映像信号）をカメラキャリブレーション装置６に出力している。ズームレンズ５は、焦点距離が連続的に変化できるように構成されている。レンズデータ検出センサ５ａは、ズームレンズ５の画角（言い換えると、焦点距離ｆ）を決定するレンズデータ（ズーム量とフォーカス位置の２変数）を検出するものであり、検出したレンズデータをカメラキャリブレーション装置６に出力している。このレンズデータ検出センサ５ａは、例えば、距離エンコーダ等から構成される。レンズデータ検出センサ５ａの検出するレンズデータは、距離エンコーダパルス値等のメカニカルな数値である。カメラキャリブレーション装置６においては、このレンズデータを記憶手段に格納し必要に応じて参照するか、あるいは、この検出したレンズデータに何らかの正規化を行った変換値等をあらためてレンズデータとして利用する。ズームレンズ５のレンズデータは、通常、ズーム量とフォーカス位置という２変数から構成されている。どちらをいじっても画角が変化するので、この２個のデータから画角が一意に決まることになる。なお、単焦点レンズの場合には、基本的に画角は変化しないので、単焦点レンズのレンズデータとはフォーカス位置のデータのみを意味する。
【００３４】
［カメラキャリブレーション装置の構成］
カメラキャリブレーション装置６は、オンエア以前のパラメータ同定・推定モードの動作によって、各種パラメータを同定・推定してテーブル化する。また、カメラキャリブレーション装置６は、オンエア中のパラメータ設定モードの動作によって、作成したテーブルから読み出したパラメータを適用して合成映像を生成する。
このために、カメラキャリブレーション装置６は、図３に示すように、大別して、キャリブレーション処理手段１０と、映像生成手段２０と、記憶手段３０とを備えている。
【００３５】
＜オンエア以前のパラメータ同定・推定モード＞
まず、オンエア以前のパラメータ同定・推定モードの機能を説明する。
キャリブレーション処理手段１０は、撮影装置１のカメラ４から出力される実写映像（映像信号）を入力とすると共に、各センサ（雲台姿勢検出センサ２ａ、レンズデータ検出センサ５ａ）で検出されるデータを入力として、カメラパラメータを映像生成手段２０へ出力している。
【００３６】
キャリブレーション処理手段１０は、実写映像入力手段１１と、パラメータ入力手段１２と、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補正手段１７とを備えている。
【００３７】
実写映像入力手段１１は、カメラ４から出力される実写映像を入力するものである。本実施形態では、実写映像入力手段１１は、実写映像（映像信号）を、キャリブレーションパターン解析手段１３へ入力すると共に、映像生成手段２０の合成処理手段２３へ入力する。この実写映像入力手段１１は、所定の入力インタフェース等から構成される。
【００３８】
パラメータ入力手段１２は、雲台姿勢検出センサ２ａで検出された雲台２の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ５ａで検出されたレンズデータ（２変数）とを最適化キャリブレーション処理手段１４へ入力するものである。このパラメータ入力手段１２は、所定の入力インタフェース等から構成される。
【００３９】
キャリブレーションパターン解析手段１３は、実写映像入力手段１１から入力された既知のパターンを解析するものであり、パターンの特徴点の画像座標を算出し、インデックス化している。本実施形態では、キャリブレーションパターン解析手段１３は、一例として、図６に示した２次元の市松模様の既知のパターン１００を解析し、パターン１００の特徴点として、市松模様格子の交点の画像座標を算出し、インデックス化するものとして説明する。
【００４０】
最適化キャリブレーション処理手段１４は、パラメータ算出手段１５およびテーブル作成手段１６を備えている。
パラメータ算出手段１５は、入力された雲台２の姿勢を示すパラメータ（パン・チルトデータ）を既知として、インデックス化された画像座標を用いて、所定の基準座標系における雲台２の位置および姿勢を示すパラメータと、雲台２を基準とした座標系におけるカメラ４の位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するものである。
【００４１】
ここで、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルについて図４と以下の変換関係式とを参照して説明する。図４に示すカメラモデルは、世界座標（以下、wで表す）と、カメラ座標（以下、cで表す）と、画像座標（ｕ軸およびｖ軸で示す）との他に、雲台座標（以下、pで表す）と、パン・チルトデータ座標（以下、dataで表す）とを有している。このうち、世界座標（w）とカメラ座標（c）と画像座標とは、図７に示したピンホールカメラモデルと同様なものである。
【００４２】
【数１】
【００４３】
なお、式（２）において、ｆは画角（焦点距離に対応）、ｓはアスペクト比、ｕ0およびｖ0は光軸中心位置（図４に示すＯiの座標）を示す。
また、式（３）において、Ｒw→cは３×３の回転行列、ｔw→cは３×１の平行移動を示す列ベクトル、０は１×３の行ベクトルを示す。
また、式（４）において、Ｍw→pは世界座標から雲台座標への変換行列、Ｍp→dataは雲台座標からパン・チルトデータ座標への変換行列、Ｍdata→cはパン・チルトデータ座標からカメラ座標への変換行列をそれぞれ示している。
【００４４】
また、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルでは、式（５）〜式（１０）によりレンズ歪みを考慮している。
【００４５】
【数２】
【００４６】
ここで、式（５）は、図４に示す画像座標上に図示した２点のうち、歪みを含んだ座標を示し、式（６）は、無歪の座標を示す。なお、Ｔは転置を表す。
また、式（７）〜式（９）は、式（５）に示した歪みを含んだ座標と光軸中心位置（図４に示すＯiの座標）との距離の関係を示す。
また、式（１０）は、式（５）〜式（９）で定まるものであって、歪を含んだ座標系から無歪座標系への変換を示す。ここで、ｋc1、ｋc2は、放射方向のレンズ歪み、ｋc3、ｋc4は接線方向のレンズ歪みを示す。
【００４７】
したがって、パラメータ算出手段１５は、内部パラメータ（光学的パラメータ）として、式（２）に示す「画角（焦点距離に対応）ｆ」と「アスペクト比ｓ」、「光軸中心位置ｕ0，ｖ0」と、式（１０）に示す「レンズ歪パラメータｋc1、ｋc2、ｋc3、ｋc4」とからなる未知の８変数のパラメータを算出する。なお、本アルゴリズムは、接線方向のレンズ歪パラメータｋc3，ｋc4を考慮しないカメラモデルにも適用できる（ｋc3＝ｋc4＝０でもよい）。
【００４８】
また、パラメータ算出手段１５は、外部パラメータとして、式（４）に示す変換行列Ｍｗ→pで示される雲台位置ｘ，ｙ，ｚと雲台姿勢ｗ，ｐ，ｒと、変換行列Ｍdata→cで示される雲台を基準としたカメラ位置ｘ，ｙ，ｚおよびカメラ姿勢ｗ，ｐ，ｒとからなる未知の１２変数のパラメータを算出する。
このとき、パラメータ算出手段１５は、パラメータ入力手段１２から入力されるパン・チルトデータ、すなわち、（４）に示す変換行列Ｍp→dataで示される雲台２の姿勢を示すパラメータｗ，ｐを既知として、外部パラメータ（１２変数）および内部パラメータ（８変数）の合計２０変数を一度に算出する。
【００４９】
ここで、前記した８変数の内部パラメータを式（１１）によりベクトル化する。
また、前記した１２変数の外部パラメータのうち、変換行列Ｍｗ→pで示される雲台に関するパラメータを式（１２）によりベクトル化し、変換行列Ｍdata→cで示される雲台を基準にしたカメラに関するパラメータを式（１３）によりベクトル化する。
【００５０】
【数３】
【００５１】
Ｋ枚の撮影画像を準備した場合、パラメータ算出手段１５で評価されるべきパラメータベクトルは、Ｋによらずに、式（１４）で示されることとなる。
【００５２】
【数４】
【００５３】
ここで、パターン１００の市松模様の交点がＮ個あってそのインデックスをｎ（１≦ｎ≦Ｎ）とし、パターン１００を撮影した画像がＫ枚あってそのインデックスをｋ（１≦ｋ≦Ｋ）とする。また、画像ｋの観測された交点ｎの座標を画像座標系で、ｅ0（ｎ，ｋ）とベクトル表記する。また、カメラキャリブレーション装置６で扱うカメラモデルを介して計算で得られる交点ｎの座標を画像座標系で、ｅd（ｎ，ｋ）とベクトル表記する。このように仮定した場合、評価関数、すなわち、目的関数J（θ）は、式（１５）で示される。
【００５４】
【数５】
【００５５】
ゆえに、パラメータ算出手段１５は、式（１７）に示す計算を実行する。すなわち、式（１５）に示すＪ（θ）を最小にするθを求める。なお、ズームレンズ５などを利用した場合には、内部パラメータが連続的に変化するが、算出結果を内挿・外挿補完することでパラメータ推定を行うことができる。また、前記した式（１５）に示す観測誤差の共分散行列Ｒは、式（１８）で表される。
【００５６】
【数６】
【００５７】
式（１７）からＪが最小のときのθを求める計算には、例えば、公知のLevenberg-Marquardt法が最適化問題として利用できる。なお、観測誤差の共分散行列Ｒは、個々の観測誤差が統計的に独立したものであり（statistically independent）、同一に分散している場合は単位行列として取り去ることができる。その場合は、評価関数として式（２０）を評価することと同じになる。したがって、このような場合には、評価関数として式（２０）を用いてもよい。
【００５８】
【数７】
【００５９】
図３に戻って、キャリブレーション処理手段１０の構成の説明を続ける。
テーブル作成手段１６は、パラメータ算出手段１５で算出されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、同じく算出された内部パラメータ（８変数）と、入力されたレンズデータ（２変数）とを対応付けて格納し、かつ、算出された雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を格納したテーブル３１を作成するものである。なお、レンズデータ（２変数）と対応付ける理由は、ズームレンズ５の場合には、構造上、ズーム・フォーカス操作により光学系の変化だけでなく雲台２を基準としたカメラ位置（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）が変化するためである。
【００６０】
パラメータ補正手段１７は、オンエア以前のパラメータ同定・推定モードでは、パラメータ算出手段１５で算出された２０変数のうち、テーブル３１に格納された内部パラメータ（８変数）と、カメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）とからなる１４変数のパラメータを補正することなくそのまま映像生成手段２０に出力する。
【００６１】
なお、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補正手段１７とは、例えば、ＣＰＵ（Central Processing Unit）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。
【００６２】
映像生成手段２０は、ＣＧ生成処理手段２１と、ＣＧ補正処理手段２２と、合成処理手段２３とを備えている。
ＣＧ生成処理手段２１は、予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、パラメータ補正手段１７から出力されるパラメータを用いてＣＧ画像を生成するものである。
ＣＧ補正処理手段２２は、ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータ（８変数）として、テーブル３１に格納された内部パラメータ（８変数）を用いて、生成されたＣＧ画像を補正するものである。本実施形態では、ＣＧ補正処理手段２２は、パラメータ補正手段１７から取得した内部パラメータ（ｋc1、ｋc2、ｋc3、ｋc4）を用いて、画像座標上に投影されたＣＧ画像のレンズ歪みを補正する。
合成処理手段２３は、カメラ４から出力される実写映像と、レンズ歪みが適用されたＣＧ映像とを合成するものである。レンズ歪みが適用されたＣＧ映像は、実写映像に対して、点だけではなく、線や面で精度よく合うこととなる。
【００６３】
なお、ＣＧ生成処理手段２１と、ＣＧ補正処理手段２２と、合成処理手段２３とは、例えば、ＧＰＵ（Graphics Processing Unit）、または、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。
【００６４】
記憶手段３０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、所定のプログラム等を記憶し、また、キャリブレーション処理手段１０や映像生成手段２０による演算処理等に利用されると共に、テーブル３１を記憶する。このテーブル３１は、後記するオンエア中のパラメータ設定モードで利用される。
【００６５】
なお、図示は省略するが、カメラキャリブレーション装置６は、各種情報を入力可能な操作手段（例えば、キーボードやマウス等）や各種情報の入力状態を表示する表示手段（例えば、液晶ディスプレイ等）を備えている。
【００６６】
＜オンエア中のパラメータ設定モード＞
次に、カメラキャリブレーション装置６に関して、オンエア中のパラメータ設定モードの機能について図５を参照して説明する。なお、オンエア以前のパラメータ同定・推定モードと同一の機能については説明を省略する。
カメラキャリブレーション装置６のキャリブレーション処理手段１０は、オンエア以前のパラメータ同定・推定モードの機能に加えて、ペデスタルデータ検出センサ３ａで検出されるデータも利用する。
【００６７】
パラメータ入力手段１２は、雲台姿勢検出センサ２ａで検出された雲台２の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ５ａで検出されたレンズデータ（２変数）と、ペデスタルデータ検出センサ３ａで検出されたペデスタルデータ（ペデスタル３の移動によって変化した雲台の位置とのオフセット値）とをパラメータ補正手段１７へ入力する。
【００６８】
なお、オンエア中のパラメータ設定モードにおいては、キャリブレーション処理手段１０のキャリブレーションパターン解析手段１３および最適化キャリブレーション処理手段１４を用いない。
【００６９】
パラメータ補正手段１７は、オンエア中に、入力された雲台２の姿勢を示すパラメータ（Ｍp→dataのｗ，ｐ）の変化と、入力されたレンズデータ（２変数）の変化とに合わせて、テーブル３１に格納されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を補正することで、ＣＧ用仮想カメラの位置および姿勢を示す外部パラメータを生成する。本実施形態では、撮影装置１にペデスタル３を備えているので、雲台２の姿勢を示すパラメータの変化（Ｍp→dataのｗ，ｐ）と、入力されたレンズデータ（２変数）の変化とに合わせるだけではなく、さらに、ペデスタルデータ（Ｍｗ→Ｐのｘ，ｙ，ｚに加えるオフセット値）にも合わせて、テーブル３１に格納されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を補正する。また、パラメータ補正手段１７は、オンエア中に、補正した外部パラメータ（６変数）を映像生成手段２０に出力すると共に、テーブル３１に格納された内部パラメータ（８変数）を補正することなくそのまま映像生成手段２０に出力する。
【００７０】
本実施形態によれば、カメラキャリブレーション装置６は、雲台姿勢検出センサ２ａで検出された雲台の姿勢を示すパラメータの正確な変化量を既知データとして利用すると共に、カメラ４を雲台２に載せることで拘束条件のある状態で画像処理を用いた計算を行って最適な内外パラメータを同定・推定することができる。これにより、最適化の正確性および収束性が向上し、求めたいパラメータに合致した最適化を行うことができる。
【００７１】
また、カメラキャリブレーション装置６によれば、マーカレス（markerless）キャリブレーション（既知オブジェクトを用いない画像解析のみによるキャリブレーション）に比べて、アルゴリズムとして堅牢であり、しかも、外部センサのみの位置割り出しでキャリブレーションを行う場合に比べて、精度面では大きく向上する。
【００７２】
さらに、正確なカメラ位置・姿勢だけではなく、描画されたＣＧを、レンズ歪を含んだ内部パラメータを用いて補正、再現することにより、合成時に従来の精度を大きく上回る実写とＣＧの合成映像を得ることができる。そのため、今まで不可能であった実写とＣＧが同じ位置にあるような精度を要求されるような合成映像を実現可能とする。
【００７３】
なお、現在の一般的なコンピュータの能力では、リアルタイムにハイビジョン画像をフル（full）フレームレートで画像処理し、カメラ位置の割り出しを行うことは現実的ではないが、それができるようになれば、常に画像処理を利用したカメラキャリブレーションと外部センサを利用したメカニカルなキャリブレーションとを常時組み合わせることができる。
【００７４】
以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、カメラの内部パラメータが、他の測定などにより求められて既知の場合には、パラメータ推定・同定処理を簡易化することができる。この場合には、オンエア以前のパラメータ同定・推定モードにおいて、カメラキャリブレーション装置６は、キャリブレーション処理手段１０のパラメータ算出手段１５によって、予め求められたレンズ歪みを含む光学的な内部パラメータ（８変数）と、入力された雲台２の姿勢を示すパラメータ（Ｍp→dataのｗ，ｐ）を既知として、インデックス化された画像座標を用いて、所定の基準座標系における雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、雲台２を基準とした座標系におけるカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）とからなる未知の外部パラメータ（１２変数）を、所定の評価関数Ｊ（θ）を最小化する最適化プロセスにより算出する。そして、キャリブレーション処理手段１０のテーブル作成手段１６は、パラメータ算出手段１５で算出されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、予め求められた内部パラメータ（８変数）と、入力されたレンズデータ（２変数）とを対応付けて格納し、かつ、算出された雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を格納したテーブル３１を作成することとなる。
【００７５】
また、カメラキャリブレーション装置６は、一般的なコンピュータを、前記したキャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、映像生成手段２０として機能させるプログラム（カメラキャリブレーションプログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、カメラキャリブレーション装置６と同等の効果を奏することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態に係るカメラキャリブレーション装置を模式的に示す構成図である。
【図２】図１に示した撮影装置の外観の一例を模式的に示す図である。
【図３】カメラキャリブレーション装置の構成を示すブロック図である。
【図４】カメラキャリブレーション装置で用いるカメラモデルの説明図である。
【図５】カメラキャリブレーション装置のオンエア中の情報の流れを示す図である。
【図６】二次元の既知のパターンの一例を示す図である。
【図７】従来のピンホールカメラモデルにおける座標軸間の関係を示す説明図である。
【符号の説明】
【００７７】
１ 撮影装置
２ 雲台
２ａ 雲台姿勢検出センサ
３ ペデスタル
３ａ ペデスタルデータ検出センサ
４ カメラ
５ ズームレンズ
５ａ レンズデータ検出センサ
６ カメラキャリブレーション装置
１０ キャリブレーション処理手段
１１ 実写映像入力手段
１２ パラメータ入力手段
１３ キャリブレーションパターン解析手段
１４ 最適化キャリブレーション処理手段
１５ パラメータ算出手段
１６ テーブル作成手段
１７ パラメータ補正手段
２０ 映像生成手段
２１ ＣＧ生成処理手段
２２ ＣＧ補正処理手段
２３ 合成処理手段
３０ 記憶手段
３１ テーブル
１００ 既知パターン
【技術分野】
【０００１】
本発明は、カメラキャリブレーション装置およびそのプログラムに係り、特に、放送用バーチャルスタジオにおいて、カメラ位置・姿勢・画角・レンズ歪等のパラメータを、センサ情報と撮影映像の双方を利用して求めるカメラキャリブレーション装置およびそのプログラムに関する。
【背景技術】
【０００２】
バーチャルスタジオは、カメラの動きにつじつまの合ったコンピューターグラフィックス（ＣＧ：Computer Graphics）を生成することで、ＣＧと実写映像との合成時に違和感のない複合現実世界をつくり、放送コンテンツに利用するためのスタジオである。この複合現実世界をつくるためには、現実のカメラの位置・姿勢などの各種データと、ＣＧの仮想カメラの位置・姿勢などの各種データとを合わせる必要がある。このように、カメラの位置などの未知のパラメータを同定・推定することをカメラキャリブレーションという。カメラキャリブレーションは、コンピュータビジョンの分野でいうキャリブレーションと同様な意味である。なお、放送現場では、カメラを調整して所望のカメラの状態に設定する行為そのものをカメラキャリブレーションと呼ぶ場合もある。この場合を前者と区別して狭義のカメラキャリブレーションということとする。
【０００３】
未知のパラメータを同定・推定するカメラキャリブレーションとして、現状では、以下の２種類の方法が主流となっている。第１の手法は、メカニカルなセンサまたは光学的なセンサなど外部センサを利用して、カメラの移動量および姿勢変化（パン・チルトの回転量など）の相対値を物理量として計測し、これらの計測値を元に仮想的な世界（ＣＧの世界）でのカメラ位置に適用させるものである。
【０００４】
第２の手法は、画像処理によるもの、すなわち、撮影画像自体から特徴点を抽出し、抽出した特徴点からカメラの撮影位置を逆算で求めるものである。ここで、特徴点の求め方は、２通りある。第１の求め方は、既知の位置情報をもった二次元または三次元の既知のパターンを用いるものである。図６は、二次元の市松模様に形成された既知のパターン１００の例を示す。一方、第２の求め方は、既知のパターンを利用せずに、カメラの移動について時系列の情報を蓄積し、その結果として、例えば、視差のある複数のカメラから撮影した場合と同じ手法で、特徴点の位置関係とカメラの位置情報とを割り出すものである。
【０００５】
特撮用のスタジオなどで多く利用されているバーチャルスタジオ用の撮影装置は、雲台（platform）部分に回転量検知用センサが取り付けられており、これによりカメラレンズの向いている方向（カメラ姿勢）の変化を検知している。そして、雲台下のペデスタル（台座）部分にも同様に回転量検知用センサが取り付けられており、回転量検知用センサによって水平方向の移動量および垂直方向の移動量を測定することで、カメラの現在位置を求めている。さらに、ズームレンズを使用する場合には、そのズーム量（画角に相当）を測定するセンサを利用して画角および理論的レンズ位置を割り出す手がかりにしている。前記した第１のカメラキャリブレーション手法は、これらのセンサを利用する。また、従来、カメラモデルとしてピンホールカメラモデルを採用しているため、リアルタイムに生成されるＣＧと実写映像との合成時に、幾何的なずれの原因としてレンズ歪の影響も大きい。特に、実写撮影に広角レンズを使用した場合は、レンズ歪の影響も大きく、実写とＣＧの合成時のずれは原理的に解決できない。ピンホールカメラモデルにおける座標軸間の関係を図７に示す。図７に示すピンホールカメラモデルでは、任意の世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）を、ピンホールを視点として撮影する。世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）は、ピンホールを原点とする座標（カメラ座標）でみると、カメラ座標上の点Ｐ（ｘc，ｙc，ｚc）として撮影される。このカメラ座標上の点Ｐ（ｘc，ｙc，ｚc）を画像座標平面に投影すると、点Ｐ（ｘc，ｙc，ｚc）とピンホール（原点）とを結ぶ直線と画像座標平面との交点の位置（ｘn）に映るはずであるが、実際には、カメラ歪みの影響で、画像座標平面において、点Ｐ（ｘc，ｙc，ｚc）と原点とを結ぶ直線との交点からずれた位置（ｘd）に映ってしまう。なお、位置ｘn，ｘdについて図７ではベクトル表記した。
【０００６】
従来、バーチャルスタジオで利用される様々な技術が知られている（例えば、特許文献１および特許文献２参照）。特許文献１に記載された背景画像生成装置は、放送局内のバーチャルスタジオ用の装置を利用してカメラのパン、チルト、ズーム等の動きパラメータを測定し、撮影によって得られた映像信号を、レンズ歪みを考慮して幾何変換することで、大型カメラに対応した大画面背景画像を生成するものである。特許文献２に記載されたカメラパラメータ取得システムは、撮影画像のマーカ座標を基にして、カメラパラメータを計算するために、カメラ画像からマーカの画像座標を求め、これらのマーカの座標と、元のキャリブレーションパターン平面図におけるマーカの座標との対応付けを、人手を掛けずに効率的に行うものである。
【０００７】
また、雲台に搭載したカメラについてのカメラキャリブレーションをするものではないが、撮影した既知のパターンを用いてカメラパラメータを最適化する技術（例えば、特許文献３参照）や、レンズ歪みパラメータを復元する技術（例えば、特許文献４参照）が知られている。これら特許文献１〜特許文献４に記載された技術は、前記した第２のカメラキャリブレーション手法、すなわち、撮影画像からカメラパラメータを取得する方法を用いている。
【特許文献１】特開２００３−１４３４７３号公報（段落００２０〜００３６、図１）
【特許文献２】特開２００３−７８８１１号公報（段落００１５〜００２１、図３）
【特許文献３】特開２００６−２４２９４３号公報（段落００１８〜００２８、図１）
【特許文献４】特開２００７−３４９６４号公報（段落００６８〜０１１６、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の第１および第２のカメラキャリブレーション方法は、それぞれ一長一短がある。外部センサを利用する第１のカメラキャリブレーション手法では、キャリブレーションのために画像処理を必要とはしないので、自由な映像を撮影できるという利点もあるが、特殊なセンサを必要とするという欠点がある。また、カメラが雲台上に固定されるので、カメラの動作にも制限が加わってしまう。さらに、取得したデータが間接的あるいは相対的なものであるため、画像処理を用いた方法と比較して、データの精度が低くなるという大きな欠点がある。例えば、実用されている回転量検知用センサ自体の精度は十分なものであるが、初期値を正確に与えることができないと、取得した位置データの精度に反映されない。また、ペデスタルに取り付けられた回転量検知用センサ（エンコーダ）は、ペデスタル移動の際にカウンターがすべる（空回りする）ことがあり、誤差が生じる。この誤差が長時間の移動で蓄積すると、エンコーダの出力値に信頼性がなくなってしまう。そこで、現状では、この蓄積誤差をリセット（初期化）するための仕組み（例えば、原点を規定する模様など）を、スタジオの特定の位置に用意しておき、ペデスタルをその特定の位置に移動させることで蓄積誤差をリセットしている。また、リセットを行ったとしても、その後、カメラを搭載したペデスタルを所望の位置に移動させた際には、その移動先で出力した位置データの精度が高いという保証はない。なお、運用上、このリセットは、オンエア中（放送中）に行うことはできないので、当然、オンエア前に行う。
【０００９】
また、画像処理による第２のカメラキャリブレーション手法では、一般的なカメラを使用でき、カメラの動作に拘束はなくなり、取得したデータの精度が比較的高いという利点もあるが、常に画像処理を伴わなければならず、システムとしては複雑になるという欠点がある。また、処理できる特徴点を常に映像にとらえつづける必要があり、さらに、特徴点を抽出できるように背景を準備しなければならないなど撮影画像の内容に制限がかかる。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、外部センサを利用すると共に画像処理を利用することで、両者を単独で用いた場合の欠点を改善できるカメラキャリブレーション装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラキャリブレーション装置は、雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、パラメータ入力手段と、実写映像入力手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、テーブル作成手段とを備えることとした。
【００１２】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ入力手段によって、前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力する。ここで、レンズデータは、画角（焦点距離・ズーム値）を示す光学的な情報である。そして、カメラキャリブレーション装置は、実写映像入力手段によって、前記カメラから出力される実写映像を入力する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。ここで、パターンの特徴点は、例えば、既知パターンが二次元の市松模様から形成されている場合には市松模様の格子点とすることができる。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。また、コンピュータビジョンの分野でいう通常のカメラキャリブレーションにおいては、カメラの内部パラメータおよび外部パラメータ共にすべてが未知の状態で、かつ、雲台に載せるなどの拘束条件のない状態で計算を行う。しかし、パラメータ算出手段は、外部パラメータにあたる雲台の姿勢を示すパラメータの正確な変化量を既知データとして利用すると共に、カメラを雲台に載せることで拘束条件のある状態で計算を行う。これにより、最適化の正確性および収束性が向上し、求めたいパラメータに合致した最適化を行うことができる。また、雲台の姿勢を示すパラメータを既知として、従来公知の方法で用いる評価関数を使用することができる。また、反復によるパラメータ最適化プロセスには、従来公知の非線形最小二乗法で利用される方法を用いることができる。
【００１３】
そして、カメラキャリブレーション装置は、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。これにより、前記雲台姿勢検出センサおよびレンズデータ検出センサの初期状態において正確なカメラ位置を画像処理で求めた内部パラメータおよび外部パラメータによって与えることができる。その結果、これを用いれば、実写映像とＣＧとの位置合わせ精度が従来よりも格段に向上する。このように内部パラメータおよび外部パラメータを画像処理で求めることは、極めて短時間に行うことができる。そのため、例えば、放送用の映像を出力するカメラからタリーが外れてオンエアされていない瞬間などに、カメラキャリブレーションを行うことができ、これにより、雲台姿勢検出センサやレンズデータ検出センサに蓄積されたメカニカルな誤差を再リセット（再初期化）することができる。なお、ペデスタルを用いる場合には、ペデスタルに設けられた回転検出用センサについても、オンエアされていない瞬間などに、蓄積誤差を再リセットすることができる。
【００１４】
また、前記目的を達成するために、請求項２に記載のカメラキャリブレーション装置は、雲台と、前記雲台に取り付けられて撮影した被写体の実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、パラメータ入力手段と、実写映像入力手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、テーブル作成手段とを備えることとした。
【００１５】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ入力手段によって、前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力し、実写映像入力手段によって、前記カメラから出力される実写映像を入力し、キャリブレーションパターン解析手段によって、前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、予め求められたレンズ歪みを含む光学的な内部パラメータと、前記入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。これによれば、レンズ歪みを含む内部パラメータが既知である場合には、カメラキャリブレーション装置は、その既知パラメータとして手動で入力された内部パラメータ、あるいは、予め作成されたテーブルから読み込んだその既知の内部パラメータと、雲台の姿勢を示すパラメータとを既知として、外部パラメータのみを算出する。したがって、算出すべき未知パラメータが少なくなるので計算コストを低減できる。そして、カメラキャリブレーション装置は、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【００１６】
また、請求項３に記載のカメラキャリブレーション装置は、請求項１または請求項２に記載のカメラキャリブレーション装置において、パラメータ補正手段をさらに備えることとした。
【００１７】
かかる構成によれば、カメラキャリブレーション装置は、パラメータ補正手段によって、前記入力された雲台の姿勢を示すパラメータの変化と、前記入力されたレンズデータの変化とに合わせて、前記テーブルに格納された前記カメラの位置および姿勢を示すパラメータを補正する。これによれば、例えば、放送用バーチャルスタジオにおいて、カメラが出力する実写映像がオンエアされていないときにカメラパラメータとして正確な初期値が同定・推定された後に、オンエア中のカメラ位置・姿勢情報あるいはレンズデータについて、正確な初期値に、外部センサからの情報で正確な変化量を加算することで、実用上に十分正確なデータを求めることができる。
【００１８】
また、請求項４に記載のカメラキャリブレーション装置は、請求項３に記載のカメラキャリブレーション装置において、ＣＧ生成処理手段と、ＣＧ補正処理手段と、合成処理手段とをさらに備えることとした。
【００１９】
かかる構成によれば、カメラキャリブレーション装置は、ＣＧ生成処理手段によって、予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、前記テーブルに格納されたパラメータまたは前記補正されたパラメータを用いてＣＧ画像を生成する。そして、カメラキャリブレーション装置は、ＣＧ補正処理手段によって、前記ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータとして、前記テーブルに格納された内部パラメータを用いて、前記生成されたＣＧ画像を補正し、合成処理手段によって、前記カメラから出力される実写映像と、前記補正されたＣＧ画像とを合成する。これによれば、例えば、放送用バーチャルスタジオにおいて、カメラが出力する実写映像の画面上での幾何的な位置と、最適なカメラパラメータを元にして生成したＣＧ画像の画面上での幾何的な位置とが一致した合成映像を生成する。ここで、外部パラメータによる正確な位置・姿勢だけではなく、レンズ歪を含んだ内部パラメータを用いることで、合成映像において実写とＣＧとの境界が、従来よりも自然に見えるような精度のよい合成映像を得ることができる。
【００２０】
また、請求項５に記載のカメラキャリブレーションプログラムは、雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、および、テーブル作成手段として機能させることとした。
【００２１】
かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。そして、カメラキャリブレーションプログラムは、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【００２２】
また、請求項６に記載のカメラキャリブレーションプログラムは、雲台と、前記雲台に取り付けられて撮影した被写体の実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、および、テーブル作成手段として機能させることとした。
【００２３】
かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、予め求められたレンズ歪みを含む光学的な内部パラメータと、入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出する。そして、カメラキャリブレーションプログラムは、テーブル作成手段によって、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成する。
【発明の効果】
【００２４】
請求項１または請求項５に記載の発明によれば、カメラキャリブレーション装置は、外部センサとして雲台姿勢検出センサの出力を利用すると共に画像処理を利用することで、最適化の正確性および収束性が向上するので、両者を単独で用いた場合の欠点を改善できる。
【００２５】
請求項２または請求項６に記載の発明によれば、カメラキャリブレーション装置は、外部センサとして雲台姿勢検出センサの出力を利用すると共に画像処理を利用することで、両者を単独で用いた場合の欠点を改善できると共に、内部パラメータを既知として外部パラメータの最適化計算を行うので計算コストを低減できる。
【００２６】
請求項３に記載の発明によれば、カメラキャリブレーション装置は、正確な初期値が同定・推定された後に、外部センサとして雲台姿勢検出センサやレンズデータ検出センサの出力が変化したとしても、正確な初期値に、外部センサからの情報で正確な変化量を加算することで、実用上に十分正確なデータを求めることができる。
【００２７】
請求項４に記載の発明によれば、カメラキャリブレーション装置は、カメラが出力する実写映像の画面上での幾何的な位置と、最適なカメラパラメータを元にして生成したＣＧ画像の画面上での幾何的な位置とが一致した合成映像を生成することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明のカメラキャリブレーション装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。
【００２９】
カメラキャリブレーション装置は、撮影装置のカメラパラメータを最適化するものである。本実施形態では、カメラキャリブレーション装置は、放送局のバーチャルスタジオで利用され、コンピューターグラフィックス（ＣＧ）画像（ＣＧ映像）を生成し、最適化したカメラパラメータを用いて、撮影装置で撮影された実写映像（映像信号）とＣＧ画像とを合成した合成映像を放送番組として出力する（オンエアする）ものとして説明する。カメラキャリブレーション装置は、動作モードとして、オンエア前にキャリブレーションを行うパラメータ同定・推定モードと、オンエア中にキャリブレーションを行うパラメータ設定モードとを有している。
【００３０】
［撮影装置の構成］
まず、図１を参照（適宜図２参照）して撮影装置の構成を説明する。図１に示すように、撮影装置１は、雲台２と、雲台姿勢検出センサ２ａと、ペデスタル３と、ペデスタルデータ検出センサ３ａと、カメラ４と、ズームレンズ５と、レンズデータ検出センサ５ａとを備えている。この撮影装置１の外観の一例を図２に示す。
【００３１】
雲台２は、搭載固定されたカメラ４を、操作者の操作によって、横方向（パン）および上下方向（チルト）に回転できるように構成されている。雲台姿勢検出センサ２ａは、カメラ４の横方向（パン）の回転角および上下方向（チルト）の回転角（以下、合わせて、パン・チルトデータと呼称する）を検出し、検出したパン・チルトデータをカメラキャリブレーション装置６に出力する。この雲台姿勢検出センサ２ａは、例えば、ロータリーエンコーダ等から構成される。
【００３２】
ペデスタル３は、雲台２を搭載固定するものであり、雲台２上のカメラ４を上下方向（ハイト）に移動できるように構成されている。また、ペデスタル３は、三脚の脚端にキャスターが取り付けられて床面上を移動できるように構成されている。ペデスタルデータ検出センサ３ａは、ペデスタル３の初期状態における雲台の位置（雲台中心の３次元位置）と、ペデスタル３の上下方向および床面上の移動によって変化した雲台の位置とのオフセット値（以下、ペデスタルデータと呼称する）を検出し、検出したペデスタルデータをカメラキャリブレーション装置６に出力する。このペデスタルデータ検出センサ３ａは、例えば、ロータリーエンコーダ等から構成される。なお、カメラキャリブレーション装置６は、オンエア前のパラメータ同定・推定モードで動作する場合には、ペデスタルデータを使用せずに、オンエア中にのみ相対的な移動量として利用する。その理由は、ペデスタル３は、移動の際にカウンターがすべることがあり、長時間の移動の結果、それが蓄積することにより出力値に信頼性がないためである。
【００３３】
カメラ４は、被写体を撮影するものであり、撮影した被写体の実写映像（映像信号）をカメラキャリブレーション装置６に出力している。ズームレンズ５は、焦点距離が連続的に変化できるように構成されている。レンズデータ検出センサ５ａは、ズームレンズ５の画角（言い換えると、焦点距離ｆ）を決定するレンズデータ（ズーム量とフォーカス位置の２変数）を検出するものであり、検出したレンズデータをカメラキャリブレーション装置６に出力している。このレンズデータ検出センサ５ａは、例えば、距離エンコーダ等から構成される。レンズデータ検出センサ５ａの検出するレンズデータは、距離エンコーダパルス値等のメカニカルな数値である。カメラキャリブレーション装置６においては、このレンズデータを記憶手段に格納し必要に応じて参照するか、あるいは、この検出したレンズデータに何らかの正規化を行った変換値等をあらためてレンズデータとして利用する。ズームレンズ５のレンズデータは、通常、ズーム量とフォーカス位置という２変数から構成されている。どちらをいじっても画角が変化するので、この２個のデータから画角が一意に決まることになる。なお、単焦点レンズの場合には、基本的に画角は変化しないので、単焦点レンズのレンズデータとはフォーカス位置のデータのみを意味する。
【００３４】
［カメラキャリブレーション装置の構成］
カメラキャリブレーション装置６は、オンエア以前のパラメータ同定・推定モードの動作によって、各種パラメータを同定・推定してテーブル化する。また、カメラキャリブレーション装置６は、オンエア中のパラメータ設定モードの動作によって、作成したテーブルから読み出したパラメータを適用して合成映像を生成する。
このために、カメラキャリブレーション装置６は、図３に示すように、大別して、キャリブレーション処理手段１０と、映像生成手段２０と、記憶手段３０とを備えている。
【００３５】
＜オンエア以前のパラメータ同定・推定モード＞
まず、オンエア以前のパラメータ同定・推定モードの機能を説明する。
キャリブレーション処理手段１０は、撮影装置１のカメラ４から出力される実写映像（映像信号）を入力とすると共に、各センサ（雲台姿勢検出センサ２ａ、レンズデータ検出センサ５ａ）で検出されるデータを入力として、カメラパラメータを映像生成手段２０へ出力している。
【００３６】
キャリブレーション処理手段１０は、実写映像入力手段１１と、パラメータ入力手段１２と、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補正手段１７とを備えている。
【００３７】
実写映像入力手段１１は、カメラ４から出力される実写映像を入力するものである。本実施形態では、実写映像入力手段１１は、実写映像（映像信号）を、キャリブレーションパターン解析手段１３へ入力すると共に、映像生成手段２０の合成処理手段２３へ入力する。この実写映像入力手段１１は、所定の入力インタフェース等から構成される。
【００３８】
パラメータ入力手段１２は、雲台姿勢検出センサ２ａで検出された雲台２の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ５ａで検出されたレンズデータ（２変数）とを最適化キャリブレーション処理手段１４へ入力するものである。このパラメータ入力手段１２は、所定の入力インタフェース等から構成される。
【００３９】
キャリブレーションパターン解析手段１３は、実写映像入力手段１１から入力された既知のパターンを解析するものであり、パターンの特徴点の画像座標を算出し、インデックス化している。本実施形態では、キャリブレーションパターン解析手段１３は、一例として、図６に示した２次元の市松模様の既知のパターン１００を解析し、パターン１００の特徴点として、市松模様格子の交点の画像座標を算出し、インデックス化するものとして説明する。
【００４０】
最適化キャリブレーション処理手段１４は、パラメータ算出手段１５およびテーブル作成手段１６を備えている。
パラメータ算出手段１５は、入力された雲台２の姿勢を示すパラメータ（パン・チルトデータ）を既知として、インデックス化された画像座標を用いて、所定の基準座標系における雲台２の位置および姿勢を示すパラメータと、雲台２を基準とした座標系におけるカメラ４の位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するものである。
【００４１】
ここで、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルについて図４と以下の変換関係式とを参照して説明する。図４に示すカメラモデルは、世界座標（以下、wで表す）と、カメラ座標（以下、cで表す）と、画像座標（ｕ軸およびｖ軸で示す）との他に、雲台座標（以下、pで表す）と、パン・チルトデータ座標（以下、dataで表す）とを有している。このうち、世界座標（w）とカメラ座標（c）と画像座標とは、図７に示したピンホールカメラモデルと同様なものである。
【００４２】
【数１】
【００４３】
なお、式（２）において、ｆは画角（焦点距離に対応）、ｓはアスペクト比、ｕ0およびｖ0は光軸中心位置（図４に示すＯiの座標）を示す。
また、式（３）において、Ｒw→cは３×３の回転行列、ｔw→cは３×１の平行移動を示す列ベクトル、０は１×３の行ベクトルを示す。
また、式（４）において、Ｍw→pは世界座標から雲台座標への変換行列、Ｍp→dataは雲台座標からパン・チルトデータ座標への変換行列、Ｍdata→cはパン・チルトデータ座標からカメラ座標への変換行列をそれぞれ示している。
【００４４】
また、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルでは、式（５）〜式（１０）によりレンズ歪みを考慮している。
【００４５】
【数２】
【００４６】
ここで、式（５）は、図４に示す画像座標上に図示した２点のうち、歪みを含んだ座標を示し、式（６）は、無歪の座標を示す。なお、Ｔは転置を表す。
また、式（７）〜式（９）は、式（５）に示した歪みを含んだ座標と光軸中心位置（図４に示すＯiの座標）との距離の関係を示す。
また、式（１０）は、式（５）〜式（９）で定まるものであって、歪を含んだ座標系から無歪座標系への変換を示す。ここで、ｋc1、ｋc2は、放射方向のレンズ歪み、ｋc3、ｋc4は接線方向のレンズ歪みを示す。
【００４７】
したがって、パラメータ算出手段１５は、内部パラメータ（光学的パラメータ）として、式（２）に示す「画角（焦点距離に対応）ｆ」と「アスペクト比ｓ」、「光軸中心位置ｕ0，ｖ0」と、式（１０）に示す「レンズ歪パラメータｋc1、ｋc2、ｋc3、ｋc4」とからなる未知の８変数のパラメータを算出する。なお、本アルゴリズムは、接線方向のレンズ歪パラメータｋc3，ｋc4を考慮しないカメラモデルにも適用できる（ｋc3＝ｋc4＝０でもよい）。
【００４８】
また、パラメータ算出手段１５は、外部パラメータとして、式（４）に示す変換行列Ｍｗ→pで示される雲台位置ｘ，ｙ，ｚと雲台姿勢ｗ，ｐ，ｒと、変換行列Ｍdata→cで示される雲台を基準としたカメラ位置ｘ，ｙ，ｚおよびカメラ姿勢ｗ，ｐ，ｒとからなる未知の１２変数のパラメータを算出する。
このとき、パラメータ算出手段１５は、パラメータ入力手段１２から入力されるパン・チルトデータ、すなわち、（４）に示す変換行列Ｍp→dataで示される雲台２の姿勢を示すパラメータｗ，ｐを既知として、外部パラメータ（１２変数）および内部パラメータ（８変数）の合計２０変数を一度に算出する。
【００４９】
ここで、前記した８変数の内部パラメータを式（１１）によりベクトル化する。
また、前記した１２変数の外部パラメータのうち、変換行列Ｍｗ→pで示される雲台に関するパラメータを式（１２）によりベクトル化し、変換行列Ｍdata→cで示される雲台を基準にしたカメラに関するパラメータを式（１３）によりベクトル化する。
【００５０】
【数３】
【００５１】
Ｋ枚の撮影画像を準備した場合、パラメータ算出手段１５で評価されるべきパラメータベクトルは、Ｋによらずに、式（１４）で示されることとなる。
【００５２】
【数４】
【００５３】
ここで、パターン１００の市松模様の交点がＮ個あってそのインデックスをｎ（１≦ｎ≦Ｎ）とし、パターン１００を撮影した画像がＫ枚あってそのインデックスをｋ（１≦ｋ≦Ｋ）とする。また、画像ｋの観測された交点ｎの座標を画像座標系で、ｅ0（ｎ，ｋ）とベクトル表記する。また、カメラキャリブレーション装置６で扱うカメラモデルを介して計算で得られる交点ｎの座標を画像座標系で、ｅd（ｎ，ｋ）とベクトル表記する。このように仮定した場合、評価関数、すなわち、目的関数J（θ）は、式（１５）で示される。
【００５４】
【数５】
【００５５】
ゆえに、パラメータ算出手段１５は、式（１７）に示す計算を実行する。すなわち、式（１５）に示すＪ（θ）を最小にするθを求める。なお、ズームレンズ５などを利用した場合には、内部パラメータが連続的に変化するが、算出結果を内挿・外挿補完することでパラメータ推定を行うことができる。また、前記した式（１５）に示す観測誤差の共分散行列Ｒは、式（１８）で表される。
【００５６】
【数６】
【００５７】
式（１７）からＪが最小のときのθを求める計算には、例えば、公知のLevenberg-Marquardt法が最適化問題として利用できる。なお、観測誤差の共分散行列Ｒは、個々の観測誤差が統計的に独立したものであり（statistically independent）、同一に分散している場合は単位行列として取り去ることができる。その場合は、評価関数として式（２０）を評価することと同じになる。したがって、このような場合には、評価関数として式（２０）を用いてもよい。
【００５８】
【数７】
【００５９】
図３に戻って、キャリブレーション処理手段１０の構成の説明を続ける。
テーブル作成手段１６は、パラメータ算出手段１５で算出されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、同じく算出された内部パラメータ（８変数）と、入力されたレンズデータ（２変数）とを対応付けて格納し、かつ、算出された雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を格納したテーブル３１を作成するものである。なお、レンズデータ（２変数）と対応付ける理由は、ズームレンズ５の場合には、構造上、ズーム・フォーカス操作により光学系の変化だけでなく雲台２を基準としたカメラ位置（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）が変化するためである。
【００６０】
パラメータ補正手段１７は、オンエア以前のパラメータ同定・推定モードでは、パラメータ算出手段１５で算出された２０変数のうち、テーブル３１に格納された内部パラメータ（８変数）と、カメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）とからなる１４変数のパラメータを補正することなくそのまま映像生成手段２０に出力する。
【００６１】
なお、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補正手段１７とは、例えば、ＣＰＵ（Central Processing Unit）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。
【００６２】
映像生成手段２０は、ＣＧ生成処理手段２１と、ＣＧ補正処理手段２２と、合成処理手段２３とを備えている。
ＣＧ生成処理手段２１は、予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、パラメータ補正手段１７から出力されるパラメータを用いてＣＧ画像を生成するものである。
ＣＧ補正処理手段２２は、ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータ（８変数）として、テーブル３１に格納された内部パラメータ（８変数）を用いて、生成されたＣＧ画像を補正するものである。本実施形態では、ＣＧ補正処理手段２２は、パラメータ補正手段１７から取得した内部パラメータ（ｋc1、ｋc2、ｋc3、ｋc4）を用いて、画像座標上に投影されたＣＧ画像のレンズ歪みを補正する。
合成処理手段２３は、カメラ４から出力される実写映像と、レンズ歪みが適用されたＣＧ映像とを合成するものである。レンズ歪みが適用されたＣＧ映像は、実写映像に対して、点だけではなく、線や面で精度よく合うこととなる。
【００６３】
なお、ＣＧ生成処理手段２１と、ＣＧ補正処理手段２２と、合成処理手段２３とは、例えば、ＧＰＵ（Graphics Processing Unit）、または、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。
【００６４】
記憶手段３０は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、所定のプログラム等を記憶し、また、キャリブレーション処理手段１０や映像生成手段２０による演算処理等に利用されると共に、テーブル３１を記憶する。このテーブル３１は、後記するオンエア中のパラメータ設定モードで利用される。
【００６５】
なお、図示は省略するが、カメラキャリブレーション装置６は、各種情報を入力可能な操作手段（例えば、キーボードやマウス等）や各種情報の入力状態を表示する表示手段（例えば、液晶ディスプレイ等）を備えている。
【００６６】
＜オンエア中のパラメータ設定モード＞
次に、カメラキャリブレーション装置６に関して、オンエア中のパラメータ設定モードの機能について図５を参照して説明する。なお、オンエア以前のパラメータ同定・推定モードと同一の機能については説明を省略する。
カメラキャリブレーション装置６のキャリブレーション処理手段１０は、オンエア以前のパラメータ同定・推定モードの機能に加えて、ペデスタルデータ検出センサ３ａで検出されるデータも利用する。
【００６７】
パラメータ入力手段１２は、雲台姿勢検出センサ２ａで検出された雲台２の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ５ａで検出されたレンズデータ（２変数）と、ペデスタルデータ検出センサ３ａで検出されたペデスタルデータ（ペデスタル３の移動によって変化した雲台の位置とのオフセット値）とをパラメータ補正手段１７へ入力する。
【００６８】
なお、オンエア中のパラメータ設定モードにおいては、キャリブレーション処理手段１０のキャリブレーションパターン解析手段１３および最適化キャリブレーション処理手段１４を用いない。
【００６９】
パラメータ補正手段１７は、オンエア中に、入力された雲台２の姿勢を示すパラメータ（Ｍp→dataのｗ，ｐ）の変化と、入力されたレンズデータ（２変数）の変化とに合わせて、テーブル３１に格納されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を補正することで、ＣＧ用仮想カメラの位置および姿勢を示す外部パラメータを生成する。本実施形態では、撮影装置１にペデスタル３を備えているので、雲台２の姿勢を示すパラメータの変化（Ｍp→dataのｗ，ｐ）と、入力されたレンズデータ（２変数）の変化とに合わせるだけではなく、さらに、ペデスタルデータ（Ｍｗ→Ｐのｘ，ｙ，ｚに加えるオフセット値）にも合わせて、テーブル３１に格納されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を補正する。また、パラメータ補正手段１７は、オンエア中に、補正した外部パラメータ（６変数）を映像生成手段２０に出力すると共に、テーブル３１に格納された内部パラメータ（８変数）を補正することなくそのまま映像生成手段２０に出力する。
【００７０】
本実施形態によれば、カメラキャリブレーション装置６は、雲台姿勢検出センサ２ａで検出された雲台の姿勢を示すパラメータの正確な変化量を既知データとして利用すると共に、カメラ４を雲台２に載せることで拘束条件のある状態で画像処理を用いた計算を行って最適な内外パラメータを同定・推定することができる。これにより、最適化の正確性および収束性が向上し、求めたいパラメータに合致した最適化を行うことができる。
【００７１】
また、カメラキャリブレーション装置６によれば、マーカレス（markerless）キャリブレーション（既知オブジェクトを用いない画像解析のみによるキャリブレーション）に比べて、アルゴリズムとして堅牢であり、しかも、外部センサのみの位置割り出しでキャリブレーションを行う場合に比べて、精度面では大きく向上する。
【００７２】
さらに、正確なカメラ位置・姿勢だけではなく、描画されたＣＧを、レンズ歪を含んだ内部パラメータを用いて補正、再現することにより、合成時に従来の精度を大きく上回る実写とＣＧの合成映像を得ることができる。そのため、今まで不可能であった実写とＣＧが同じ位置にあるような精度を要求されるような合成映像を実現可能とする。
【００７３】
なお、現在の一般的なコンピュータの能力では、リアルタイムにハイビジョン画像をフル（full）フレームレートで画像処理し、カメラ位置の割り出しを行うことは現実的ではないが、それができるようになれば、常に画像処理を利用したカメラキャリブレーションと外部センサを利用したメカニカルなキャリブレーションとを常時組み合わせることができる。
【００７４】
以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、カメラの内部パラメータが、他の測定などにより求められて既知の場合には、パラメータ推定・同定処理を簡易化することができる。この場合には、オンエア以前のパラメータ同定・推定モードにおいて、カメラキャリブレーション装置６は、キャリブレーション処理手段１０のパラメータ算出手段１５によって、予め求められたレンズ歪みを含む光学的な内部パラメータ（８変数）と、入力された雲台２の姿勢を示すパラメータ（Ｍp→dataのｗ，ｐ）を既知として、インデックス化された画像座標を用いて、所定の基準座標系における雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、雲台２を基準とした座標系におけるカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）とからなる未知の外部パラメータ（１２変数）を、所定の評価関数Ｊ（θ）を最小化する最適化プロセスにより算出する。そして、キャリブレーション処理手段１０のテーブル作成手段１６は、パラメータ算出手段１５で算出されたカメラ４の位置および姿勢を示すパラメータ（Ｍdata→cのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）と、予め求められた内部パラメータ（８変数）と、入力されたレンズデータ（２変数）とを対応付けて格納し、かつ、算出された雲台２の位置および姿勢を示すパラメータ（Ｍｗ→pのｘ，ｙ，ｚ；ｗ，ｐ，ｒ）を格納したテーブル３１を作成することとなる。
【００７５】
また、カメラキャリブレーション装置６は、一般的なコンピュータを、前記したキャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、映像生成手段２０として機能させるプログラム（カメラキャリブレーションプログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、カメラキャリブレーション装置６と同等の効果を奏することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施形態に係るカメラキャリブレーション装置を模式的に示す構成図である。
【図２】図１に示した撮影装置の外観の一例を模式的に示す図である。
【図３】カメラキャリブレーション装置の構成を示すブロック図である。
【図４】カメラキャリブレーション装置で用いるカメラモデルの説明図である。
【図５】カメラキャリブレーション装置のオンエア中の情報の流れを示す図である。
【図６】二次元の既知のパターンの一例を示す図である。
【図７】従来のピンホールカメラモデルにおける座標軸間の関係を示す説明図である。
【符号の説明】
【００７７】
１ 撮影装置
２ 雲台
２ａ 雲台姿勢検出センサ
３ ペデスタル
３ａ ペデスタルデータ検出センサ
４ カメラ
５ ズームレンズ
５ａ レンズデータ検出センサ
６ カメラキャリブレーション装置
１０ キャリブレーション処理手段
１１ 実写映像入力手段
１２ パラメータ入力手段
１３ キャリブレーションパターン解析手段
１４ 最適化キャリブレーション処理手段
１５ パラメータ算出手段
１６ テーブル作成手段
１７ パラメータ補正手段
２０ 映像生成手段
２１ ＣＧ生成処理手段
２２ ＣＧ補正処理手段
２３ 合成処理手段
３０ 記憶手段
３１ テーブル
１００ 既知パターン
【特許請求の範囲】
【請求項１】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、
前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力するパラメータ入力手段と、
前記カメラから出力される実写映像を入力する実写映像入力手段と、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段と、
前記入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段と、
前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段とを備えることを特徴とするカメラキャリブレーション装置。
【請求項２】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、
前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力するパラメータ入力手段と、
前記カメラから出力される実写映像を入力する実写映像入力手段と、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段と、
予め求められたレンズ歪みを含む光学的な内部パラメータと、前記入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段と、
前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段とを備えることを特徴とするカメラキャリブレーション装置。
【請求項３】
前記入力された雲台の姿勢を示すパラメータの変化と、前記入力されたレンズデータの変化とに合わせて、前記テーブルに格納された前記カメラの位置および姿勢を示すパラメータを補正するパラメータ補正手段をさらに備えることを特徴とする請求項１または請求項２に記載のカメラキャリブレーション装置。
【請求項４】
予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、前記テーブルに格納されたパラメータまたは前記補正されたパラメータを用いてＣＧ画像を生成するＣＧ生成処理手段と、
前記ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータとして、前記テーブルに格納された内部パラメータを用いて、前記生成されたＣＧ画像を補正するＣＧ補正処理手段と、
前記カメラから出力される実写映像と、前記補正されたＣＧ画像とを合成する合成処理手段とをさらに備えることを特徴とする請求項３に記載のカメラキャリブレーション装置。
【請求項５】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、
入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段、
入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段、
および、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段、
として機能させることを特徴とするカメラキャリブレーションプログラム。
【請求項６】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段、
予め求められたレンズ歪みを含む光学的な内部パラメータと、入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段、
および、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段、
として機能させることを特徴とするカメラキャリブレーションプログラム。
【請求項１】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、
前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力するパラメータ入力手段と、
前記カメラから出力される実写映像を入力する実写映像入力手段と、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段と、
前記入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段と、
前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段とを備えることを特徴とするカメラキャリブレーション装置。
【請求項２】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するカメラキャリブレーション装置であって、
前記雲台姿勢検出センサで検出された雲台の姿勢を示すパラメータと、前記レンズデータ検出センサで検出されたレンズデータとを入力するパラメータ入力手段と、
前記カメラから出力される実写映像を入力する実写映像入力手段と、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段と、
予め求められたレンズ歪みを含む光学的な内部パラメータと、前記入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段と、
前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段とを備えることを特徴とするカメラキャリブレーション装置。
【請求項３】
前記入力された雲台の姿勢を示すパラメータの変化と、前記入力されたレンズデータの変化とに合わせて、前記テーブルに格納された前記カメラの位置および姿勢を示すパラメータを補正するパラメータ補正手段をさらに備えることを特徴とする請求項１または請求項２に記載のカメラキャリブレーション装置。
【請求項４】
予め定められた描画用情報に基づいて仮想空間データを生成し、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータとして、前記テーブルに格納されたパラメータまたは前記補正されたパラメータを用いてＣＧ画像を生成するＣＧ生成処理手段と、
前記ＣＧ用仮想カメラの光学的なパラメータを示すＣＧ用内部パラメータとして、前記テーブルに格納された内部パラメータを用いて、前記生成されたＣＧ画像を補正するＣＧ補正処理手段と、
前記カメラから出力される実写映像と、前記補正されたＣＧ画像とを合成する合成処理手段とをさらに備えることを特徴とする請求項３に記載のカメラキャリブレーション装置。
【請求項５】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、
入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段、
入力された雲台の姿勢を示すパラメータを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータ、および、レンズ歪みを含む光学的な未知の内部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段、
および、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記算出された内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段、
として機能させることを特徴とするカメラキャリブレーションプログラム。
【請求項６】
雲台と、前記雲台に取り付けられて被写体を撮影した実写映像を出力するカメラと、前記カメラ用のズームレンズと、前記雲台の姿勢を検出する雲台姿勢検出センサと、前記ズームレンズの画角を決定するレンズデータを検出するレンズデータ検出センサとを有する撮影装置のカメラパラメータを最適化するために、コンピュータを、
前記実写映像入力手段から入力された既知のパターンを解析し、前記パターンの特徴点の画像座標を算出し、インデックス化するキャリブレーションパターン解析手段、
予め求められたレンズ歪みを含む光学的な内部パラメータと、入力された雲台の姿勢を示すパラメータとを既知として、前記インデックス化された画像座標を用いて、所定の基準座標系における雲台の位置および姿勢を示すパラメータと、前記雲台を基準とした座標系におけるカメラの位置および姿勢を示すパラメータとからなる未知の外部パラメータを、所定の評価関数を最小化する最適化プロセスにより算出するパラメータ算出手段、
および、前記算出された前記カメラの位置および姿勢を示すパラメータと、前記予め求められた内部パラメータと、前記入力されたレンズデータとを対応付けて格納し、かつ、前記算出された前記雲台の位置および姿勢を示すパラメータを格納したテーブルを作成するテーブル作成手段、
として機能させることを特徴とするカメラキャリブレーションプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−１７４８０（Ｐ２００９−１７４８０Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７９９２０（Ｐ２００７−１７９９２０）
【出願日】平成１９年７月９日（２００７．７．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月９日（２００７．７．９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]