多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム
【課題】マスターカメラから被写体までの距離値を正確に求め、多視点映像を撮影する。
【解決手段】複数台のロボットカメラ10と、多視点ロボットカメラ制御装置20とを備え、多視点ロボットカメラ制御装置20は、初期パラメータを格納するパラメータ格納部22と、方向操作されたマスターカメラ10Mの回転行列を生成する回転行列生成部23と、指定された距離値に基づいてマスターカメラ10Mの注視点を光軸上に設定する注視点制御部25と、スレーブカメラ10Sを方向制御して、スレーブカメラ10Sの注視点をマスターカメラ10Mの注視点に一致させる方向制御部26とを備え、注視点制御部25は、マスターカメラ10Mとスレーブカメラ10Sの撮影映像について所定の類似度が得られるまで、注視点を移動させる。
【解決手段】複数台のロボットカメラ10と、多視点ロボットカメラ制御装置20とを備え、多視点ロボットカメラ制御装置20は、初期パラメータを格納するパラメータ格納部22と、方向操作されたマスターカメラ10Mの回転行列を生成する回転行列生成部23と、指定された距離値に基づいてマスターカメラ10Mの注視点を光軸上に設定する注視点制御部25と、スレーブカメラ10Sを方向制御して、スレーブカメラ10Sの注視点をマスターカメラ10Mの注視点に一致させる方向制御部26とを備え、注視点制御部25は、マスターカメラ10Mとスレーブカメラ10Sの撮影映像について所定の類似度が得られるまで、注視点を移動させる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のロボットカメラ(遠隔制御カメラ)を用いて、3次元空間中の被写体の多視点映像を撮影する、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムに関するものである。
【背景技術】
【0002】
カーネギーメロン大学は、複数のテレビカメラをそれぞれ電動雲台に乗せて設置し、パン、チルトの制御を可能にすることにより、スポーツ試合のように被写体が動き回るような場合においても、多視点映像表現を準リアルタイムで実現することができる“EyeVision(登録商標)”と呼ばれるシステムを開発し、米国の放送会社であるCBSが「スーパーボール」のテレビ中継に利用した。
【0003】
“EyeVision”では、フィールドを俯瞰でとれる位置に複数台の電動雲台カメラを配置し、そのうちの1台をマスターカメラとしてカメラマンが操作する。マスターカメラでフィールド上の被写体を追随することで被写体を注視点と設定し、その他のカメラが注視点に向かって自動的に方向制御することで多視点映像を撮影し、多視点映像表現を行う。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】伊佐憲一、他4名、「最新スポーツ中継技術 世界初! プロ野球中継におけるEyeVisionTM(アイビジョン)の活用」、放送技術、兼六館出版、2001年11月、p.96−p.105
【発明の概要】
【発明が解決しようとする課題】
【0005】
”EyeVision”は多視点映像を撮影することができるが、被写体を注視点と設定するために必要な、マスターカメラから被写体までの距離値を正確に求めることができなかった。”EyeVision”では、被写体を地上の人間に限定し、被写体が地面にいるという拘束条件から距離値を求めている。そのため、フィールドを俯瞰でとれる位置にカメラを配置しなければならず、被写体とカメラの位置関係に制限が生じるという問題があった。例えば、カメラより高い位置にある被写体を撮影することはできなかった。また、被写体の位置を地面から0mの位置に設定していると、スレーブカメラが被写体を捉えきれない場合があり、その場合には被写体の位置を地面から1m〜1.5mぐらいの高さに設定しなおさなければならないという問題があった。
【0006】
本発明の目的は、上記問題を解決するため、被写体及びカメラの位置を制限することなく様々な用途で多視点映像を撮影することが可能な、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明では、上記課題を解決するために、マスターカメラの光軸上に注視点を設定し、全てのカメラを注視点へ方向制御後、注視点を光軸上で連続的に変化させ、マスターカメラによる撮影映像及びスレーブカメラによる撮影映像の画角中央に被写体が映るポイントを探索することで、マスターカメラから被写体までの正確な距離値を求める。
【0008】
すなわち、本発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラを用いて3次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、1台のマスターカメラ及び1台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、前記多視点ロボットカメラ制御装置は、前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0009】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする。
【0010】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0011】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする。
【0012】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする。
【0013】
また、上記課題を解決するために、多視点ロボットカメラ制御装置は、3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0014】
また、上記課題を解決するために、本発明は、3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、を実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【0015】
本発明によれば、被写体を注視点と設定するために必要となる、マスターカメラから被写体までの距離値を正確に求めることができるため、カメラ及び被写体の位置関係に拘束条件がなくなり、様々な用途で多視点映像を撮影することができるようになる。
【図面の簡単な説明】
【0016】
【図1】本発明による実施例1の多視点ロボットカメラシステムの構成を示すブロック図である。
【図2】世界座標系とカメラ座標系との関係を示す図である。
【図3】本発明による実施例1の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図4A】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図4B】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図4C】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図5】本発明による実施例2の多視点ロボットカメラシステムの構成を示すブロック図である。
【図6】本発明による実施例2の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図7】本発明による実施例3の多視点ロボットカメラシステムの構成を示すブロック図である。
【図8A】本発明による実施例3の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。
【図8B】本発明による実施例3の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。
【図9】本発明による実施例3の多視点ロボットカメラシステムの動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【実施例1】
【0018】
[多視点ロボットカメラシステムの構成]
図1は、実施例1の多視点ロボットカメラシステムの構成を示すブロック図である。多視点ロボットカメラシステム1は、n台のロボットカメラ10(10−1〜10−n)と、多視点ロボットカメラ制御装置20とを備える。多視点ロボットカメラ制御装置20は、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28とを備える。
【0019】
ロボットカメラ10は、3次元空間中の被写体の多視点映像を撮影する。また、ロボットカメラ10は、雲台に設置されたロータリエンコーダからカメラ姿勢(雲台のパン角度及びチルト角度)を取得する。ロボットカメラ10は、キャリブレーション時には、外部パラメータ(回転行列及び並進ベクトル)を算出する。
【0020】
マスターカメラセレクト部21は、ユーザーからの指示により、n台のロボットカメラ10から1台のロボットカメラをマスターカメラ(10Mと表記する)として選択する。以下、マスターカメラ10Mを除く他のロボットカメラをスレーブカメラ(10Sと表記する)と称する。
【0021】
パラメータ格納部22は、ロボットカメラ10のキャリブレーション時に、ロボットカメラ10から初期パラメータを取得し、格納する。ここで、初期パラメータとは、初期の外部パラメータである回転行列R0m及び並進ベクトルTmと、初期のエンコーダ値として得られるロボットカメラ10の雲台のパン角度p0m及びチルト角度t0mを含み、さらに、初期の内部パラメータAmや、初期のエンコーダ値として得られるズーム値z0m、フォーカス値f0m、及びアイリス値i0mを含めてもよい。ここで、添え字のmは、カメラ番号1〜nを表す。また、マスターカメラ10Mのパラメータについて言及する場合には添え字をMと表記し、スレーブカメラ10Sのパラメータについて言及する場合には添え字をSと表記する。
【0022】
図2は、世界座標系(X,Y,Z)とカメラ座標系(x,y,z)との関係を示す図である。回転行列R0mは、世界座標系に対するカメラの姿勢を示すパラメータであり、並進ベクトルTmは、世界座標系に対するカメラの位置を示すパラメータである。世界座標系(X,Y,Z)とカメラ座標系(x,y,z)との関係は、回転行列R0m及び並進ベクトルTmを用いて、次式(1)で示される。
【0023】
【数1】
【0024】
回転行列生成部23は、キャリブレーション後に、ユーザーによりマスターカメラ10Mが被写体を捉えるように方向操作されると、マスターカメラ10Mの方向操作後の回転行列を生成する。以下に、回転行列の生成について具体的に説明する。まず、回転行列生成部23は、パラメータ格納部22から取得した、マスターカメラ10Mのキャリブレーション時のエンコーダ値(雲台のパン角度p0M及びチルト角度t0M)と、マスターカメラ10Mの方向操作後のエンコーダ値(雲台のパン角度pM及びチルト角度tM)とを用いて、次式(2)及び(3)に示すように、カメラキャリブレーション時と方向操作後のパン角度差θpM及びチルト角度差θtMを算出する。なお、回転行列生成部23は、マスターカメラ10Mの方向操作後の雲台のパン角度pM及びチルト角度tMを、マスターカメラ10Mから直接取得してもよいし、パラメータ格納部22に格納した後に取得してもよい。
【0025】
【数2】
【0026】
方向操作後のマスターカメラ10Mは、カメラ座標系においてx軸回りにチルト角度差θtM、y軸回りにパン角度差θpMだけ回転したことになるので、回転行列生成部23は、次式(4)により、カメラ座標系における回転行列R’CMを算出する。
【0027】
【数3】
【0028】
次に、回転行列生成部23は、式(4)で求めたマスターカメラ10Mの方向操作後の回転行列R’CMと、パラメータ格納部22から取得したマスターカメラ10Mのキャリブレーション時の回転行列R0Mとを用いて、次式(5)により、マスターカメラ10Mの方向操作後の世界座標系における回転行列R’Mを算出する。
【0029】
【数4】
【0030】
ここで、算出した回転行列R’Mの3列目のベクトルezMは、世界座標系におけるカメラ姿勢のz軸のベクトルを表す。
【0031】
回転行列生成部23は、次式(6)により、ベクトルezMと世界座標系のY軸eZの外積を求めて正規化し、マスターカメラ10Mのカメラ姿勢のx軸のベクトルexMを算出する。
【0032】
【数5】
【0033】
そして、回転行列生成部23は、次式(7)により、ベクトルezMとベクトルexMの外積を求めて正規化し、マスターカメラ10Mのカメラ姿勢のy軸のベクトルeyMを算出する。
【0034】
【数6】
【0035】
最後に、回転行列生成部23は、次式(8)により、算出したベクトルexM,eyM及びezMで規定される、マスターカメラ10Mの方向操作後の回転行列RMを生成する。
【0036】
【数7】
【0037】
距離値設定部24は、ユーザーにより指定された、方向操作後のマスターカメラ10Mから被写体近傍までの距離値kを設定する。なお、距離値kは、後述する映像比較部28で生成する判定信号に基づいて適切な距離に調整されるため、高い精度は要求されない。
【0038】
注視点制御部25は、パラメータ格納部22から取得したマスターカメラ10Mの並進行列TMと、回転行列生成部23から取得したマスターカメラ10Mの方向操作後の回転行列RMと、距離値設定部24から取得した距離値kとを用いて、次式(9)により、方向操作後のマスターカメラ10Mの注視点Pの世界座標を算出する。また、注視点制御部25は、映像比較部28で求める判定信号に基づいて距離値kを連続的に変化させ、注視点Pを光軸に沿って被写体方向に移動させる。
【0039】
【数8】
【0040】
方向制御部26は、スレーブカメラ10Sの注視点が、注視点制御部25により設定された注視点(方向操作後のマスターカメラ10Mの注視点)Pに一致するように、スレーブカメラ10Sを方向制御する。そのために、まず、パラメータ格納部22から取得したスレーブカメラ10Sの並進行列TSと、注視点制御部25から取得した注視点Pとを用いて、次式(10)により、スレーブカメラ10Sから注視点Pへ向かう単位ベクトルezSを算出する。
【0041】
【数9】
【0042】
次に、方向制御部26は、算出した単位ベクトルezSから、スレーブカメラ10Sが注視点Pを向くためのパン角度θPS及びチルト角度θTSを求める。まず、パラメータ格納部22から取得したスレーブカメラ10Sのキャリブレーション時の回転行列RSを用いて、次式(11)により、単位ベクトルezSを、カメラ座標系におけるスレーブカメラ10Sから注視点Pへ向かう単位ベクトルeCzSに変換する。
【0043】
【数10】
【0044】
そして、方向制御部26は、次式(12)〜(14)により、単位ベクトルeCzmから、注視点Pを向くためのパン角度θPS、及びチルト角度θTSを求め、スレーブカメラ10Sへ送る。なお、方向制御部26は、複数台のスレーブカメラ10Sに同時に信号を送り、複数台のスレーブカメラ10Sを一斉に方向制御することもできる。
【0045】
【数11】
【0046】
映像処理部27は、ロボットカメラ10が撮影した撮影映像を取得し、映像処理を施して出力する。
【0047】
映像比較部28は、マスターカメラ10Mの映像とスレーブカメラ10Sの映像とを比較し、撮影映像の画角中央における類似度を算出する。類似度は、例えば、ブロックマッチングや特徴点の特徴量比較、パターン認識などの画像処理技術を用いて求めてもよいし、両者の相関値又は両者の差分値(差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など)の逆数値を算出することにより求めてもよい。そして、映像比較部28は、類似度を判定し、類似度が高いか否かを示す判定信号を注視点制御部25に出力する。
【0048】
注視点制御部25は、映像比較部28によりマスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像の類似度が高いと判定されるまで、距離値kを連続的に変化させ、注視点Pを光軸に沿って被写体方向に移動させる。
【0049】
[多視点ロボットカメラシステムの動作]
次に、このように構成される多視点ロボットカメラシステム1の動作について説明する。図3は、多視点ロボットカメラシステム1の動作を示すフローチャートである。図4は、多視点ロボットカメラシステム1の動作を説明する図である。
【0050】
まず、被写体の撮影を開始する前に、ステップS101では、各ロボットカメラ10によりキャリブレーション用のパターン(例えば、ドットパターンや市松模様)を撮影し、キャリブレーションを行う。すなわち、ロボットカメラ10は、回転行列R0m及び並進ベクトルTmを算出し、パラメータ格納部22により格納する。また、ロボットカメラ10は、雲台に設置されたロータリエンコーダからエンコーダ値(雲台のパン角度及びチルト角度)を取得し、パラメータ格納部22により格納する。
【0051】
ステップS102では、マスターカメラセレクト部21により、複数台のロボットカメラ10から1台のマスターカメラ10Mを選択する。
【0052】
ステップS103では、ユーザーにより、図4Aに示すように、マスターカメラ10Mが被写体Oを捉えるようにマスターカメラ10Mの方向が操作される。方向操作により、マスターカメラ10Mの撮影映像aでは中央に被写体Oが映る。一方、スレーブカメラ10Sは方向制御がなされていないので、スレーブカメラ10S−1の撮影映像b及びスレーブカメラ10S−2の撮影映像cには、被写体Oが映っていない。
【0053】
ステップS104では、マスターカメラ10Mの雲台に設置されたロータリエンコーダにより、マスターカメラ10Mの方向操作後のパン角度及びチルト角度を取得する。
【0054】
ステップS105では、パラメータ格納部22により、マスターカメラ10Mの方向操作後のパン角度及びチルト角度から、マスターカメラ10Mの回転行列RMを算出する。
【0055】
ステップS106では、距離値設定部24により、マスターカメラ10Mから被写体O近傍までの距離値を設定する。
【0056】
ステップS107では、注視点制御部25により、図4Aに示すように、マスターカメラ10Mの光軸上に初期の注視点Pを設定し、この初期の注視点Pの世界座標を算出する。
【0057】
ステップS108では、方向制御部26により、図4Bに示すように、全てのスレーブカメラ10Sを初期の注視点Pに向かうように方向制御する。
【0058】
ステップS109では、映像比較部28により、マスターカメラ10Mによる撮影映像aとスレーブカメラ10S−2による撮影映像cとを比較し、画角中央の映像の類似度を判定する。類似度を判定する際には、いずれのスレーブカメラ10Sによる撮影映像を用いることも可能であるが、マスターカメラ10Mと画角(撮像領域)の重なる部分が少ないスレーブカメラ10Sによる撮影映像を用いるのが好適である。類似度が高いと判定した場合には、処理をステップS111に進め、類似度が高くない又は所定の閾値を超えないと判定した場合には、処理をステップS110に進める。ここで、類似度が高いか低いかの判定を、類似度が所定の閾値を超えるか超えないかの判定とすることができるのは勿論である。
【0059】
ステップS110では、注視点制御部25により、注視点Pを、マスターカメラ10Mの光軸に沿って、被写体Oに近づく方向に移動させる。その後、処理を再びステップS108に戻す。すなわち、マスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像について所定の類似度が得られるまで、図4Cに示すように、注視点Pを被写体Oに徐々に近づくように制御する。注視点Pの位置が被写体Oの位置と一致する時に、マスターカメラ10Mによる撮像映像とスレーブカメラ10Sによる撮影映像との類似度が最も高くなり、スレーブカメラ10S−1の撮影映像b及びスレーブカメラ10S−2の撮影映像cの中央に被写体Oが映る。
【0060】
ステップS111では、方向制御部26によるスレーブカメラ10Sの方向制御を終了し、必要に応じて映像処理部27により映像を処理して出力する。
【0061】
被写体が移動する場合には、被写体を捉えるようにマスターカメラ10Mを方向操作し、距離値kを再指定して同様にスレーブカメラ10Sを方向制御することにより、被写体に追従した多視点映像を撮影することができる。
【0062】
以上、図1を参照して多視点ロボットカメラシステム1について説明したが、多視点ロボットカメラ制御装置の構成は図1の構成に限られるものではなく、マスターカメラセレクト部21、パラメータ格納部22、回転行列生成部23、距離値設定部24、注視点制御部25、方向制御部26、映像処理部27、及び映像比較部28を複数の装置に分散させてもよい。例えば、各ロボットカメラ10が方向制御部26を備える構成とすることもできる。この場合、各スレーブカメラ10Sに備えられた方向制御部26は、注視点制御部25からマスターカメラ10Mの注視点Pを取得し、各スレーブカメラ10Sの方向制御を行う。
【0063】
このように、実施例1の多視点ロボットカメラシステム1によれば、方向操作されたマスターカメラ10Mの回転行列を算出して距離値kに基づく注視点Pを設定し、スレーブカメラ10Sを注視点Pに向くように方向制御することにより、ロボットカメラ10と被写体との位置関係における拘束条件がなくなり、様々な用途で多視点映像を撮影することができる。
【0064】
また、距離値kを連続的に変化させていくインターフェースでは、距離値からフォーカス値を算出することが可能であるため、テレビカメラのフォーカス制御インターフェースを利用できる。そのため、既存のテレビカメラと同様のインターフェースで距離値を制御でき、カメラマンが操作に慣れるための負担が少ない。
【実施例2】
【0065】
次に、実施例2の多視点ロボットカメラシステムについて説明する。図5は、実施例2の多視点ロボットカメラシステム2の構成を示すブロック図である。なお、実施例1と同じ構成要素には同一の参照番号を付して説明を省略する。実施例2の多視点ロボットカメラシステム2は、実施例1の多視点ロボットカメラシステム1と同じ構成であるが、回転行列生成部23の機能が相違する。
【0066】
本実施例の回転行列生成部23は、方向操作後のマスターカメラ10Mの回転行列RMだけでなく、方向制御後のスレーブカメラ10Sの回転行列RSも生成する。算出方法は、マスターカメラ10Mの回転行列RMと同様であり、スレーブカメラ10Sの方向制御後の回転行列RSは、次式(15)により表される。生成した回転行列は、後処理用として、例えば、3次元モデルを生成する場合などに用いることができる。
【0067】
【数12】
【0068】
図6は、実施例2の多視点ロボットカメラシステム2の動作を示すフローチャートである。本実施例では、方向制御部26により、全てのスレーブカメラ10Sを注視点に向かうように方向制御し(ステップS108)、次に、回転行列生成部23により、スレーブカメラ10Sの回転行列RSを算出する(ステップS109)。映像比較部28により、マスターカメラによる撮影映像とスレーブカメラによる撮影映像の類似度が高いと判定した場合には(ステップS110−YES)、回転行列生成部23により、生成したロボットカメラ10の回転行列Rm(RM及びRS)を出力する(ステップS112)。
【0069】
このように、実施例2の多視点ロボットカメラシステム2によれば、回転行列生成部23により生成した方向制御後の回転行列を応用することができるため、撮影した多視点映像からの3次元モデルの生成等、多視点映像にさまざまな画像処理を行うことができるようになり応用範囲を広げることができる。
【実施例3】
【0070】
次に、実施例3の多視点ロボットカメラシステム3について説明する。図7は、実施例3の多視点ロボットカメラシステム3の構成を示すブロック図である。なお、実施例1と同じ構成要素には同一の参照番号を付して説明を省略する。実施例3の多視点ロボットカメラシステム3は、実施例1の多視点ロボットカメラシステム1と比較して、多視点ロボットカメラ制御装置20がユーザーインターフェース部29を更に備える点で相違する。
【0071】
ユーザーインターフェース部29は、ユーザーによりキーボード等から入力された、ロボットカメラ10を制御するために必要となる、パン角度、チルト角度、フォーカス値、ズーム値、アイリス値、及びマスターカメラ10Mから被写体までの距離値k等を示す制御信号をロボットカメラ10へ送出する。ロボットカメラ10は、カメラ制御部40から入力される制御信号に基づいて、パン、チルト、ズーム、フォーカス、ズーム、アイリス等の制御を行う。
【0072】
また、ユーザーインターフェース部29は、映像処理部27から出力されるマスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像が類似しているか否かをユーザーに視覚的に表示するディスプレイを有する。
【0073】
図8は、実施例3のユーザーインターフェース部29による類似度判定を説明する図である。例えば、図8Aに示すように、マスターカメラ10Mの撮影映像aとスレーブカメラ10S−2の撮影映像cとを、2眼立体用ディスプレイ等で交互の走査線に表示させ、ディスプレイ映像dを表示する。注視点Pと被写体Oの位置とが一致すると、図8Bに示すようにディスプレイ映像dには被写体Oが重なって表示される。これにより、ユーザーは、表示されたディスプレイ映像dを見て、視覚的に類似度を判定することができる。したがって、映像比較部28に代えてユーザーインターフェース部29により類似度を判定することができる。また、映像比較部28により類似度を判定した後に、ユーザーインターフェース部29により距離値k(注視点P)を微調整するようにしてもよい。
【0074】
なお、ユーザーインターフェース部29は、類似度の高さを音に変換し、聴覚的に類似度を判定することができるようにしてもよい。また、このとき、類似度の高さを示す音量を、音量ゲージで表示してもよい。
【0075】
図9は、実施例3の多視点ロボットカメラシステム3の動作を示すフローチャートである。ここでは、映像比較部28により類似度を判定し、スレーブカメラ10Sの方向制御をした後に、更にユーザーにより距離値k(注視点P)を微調整する例を示している。すなわち、映像比較部28により、マスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像との類似度が高いと判定した場合には(ステップS109−YES)、ユーザーインターフェース部29により、類似度を視覚的及び/又は聴覚的に確認し、必要に応じて距離値kを微調整することで、注視点Pを微調整する(ステップS111)。
【0076】
このように、実施例3の多視点ロボットカメラシステム3によれば、ユーザーインターフェース部29を備えることにより、映像比較部28により自動で距離値kを調整した後に、更に距離値k微調整することができ、より正確な距離値kを用いて多視点を撮影することができる。
【0077】
ここで、コンピュータを好適に用いて、多視点ロボットカメラ制御装置20として機能させることができ、そのようなコンピュータは、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28とを機能させるための制御部を、CPU(中央演算処理装置)と、記憶部とで実現できる。
【0078】
また、そのようなコンピュータに、CPUによって所定のプログラムを実行させることにより、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28の有する機能を実現させることができる。
【0079】
上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例2の多視点ロボットカメラ制御装置20において、更にユーザーインターフェース部29を備える構成とすることができる。
【産業上の利用可能性】
【0080】
このように、本発明によれば、マスターカメラから被写体までの距離値を正確に求めることができるので、多視点映像を撮影する任意の用途に有用である。
【符号の説明】
【0081】
1,2,3 多視点ロボットカメラシステム
10 ロボットカメラ
20 多視点ロボットカメラ制御装置
21 マスターカメラセレクト部
22 パラメータ格納部
23 回転行列生成部
24 距離値設定部
25 注視点制御部
26 方向制御部
27 映像処理部
28 映像比較部
29 ユーザーインターフェース部
【技術分野】
【0001】
本発明は、複数のロボットカメラ(遠隔制御カメラ)を用いて、3次元空間中の被写体の多視点映像を撮影する、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムに関するものである。
【背景技術】
【0002】
カーネギーメロン大学は、複数のテレビカメラをそれぞれ電動雲台に乗せて設置し、パン、チルトの制御を可能にすることにより、スポーツ試合のように被写体が動き回るような場合においても、多視点映像表現を準リアルタイムで実現することができる“EyeVision(登録商標)”と呼ばれるシステムを開発し、米国の放送会社であるCBSが「スーパーボール」のテレビ中継に利用した。
【0003】
“EyeVision”では、フィールドを俯瞰でとれる位置に複数台の電動雲台カメラを配置し、そのうちの1台をマスターカメラとしてカメラマンが操作する。マスターカメラでフィールド上の被写体を追随することで被写体を注視点と設定し、その他のカメラが注視点に向かって自動的に方向制御することで多視点映像を撮影し、多視点映像表現を行う。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】伊佐憲一、他4名、「最新スポーツ中継技術 世界初! プロ野球中継におけるEyeVisionTM(アイビジョン)の活用」、放送技術、兼六館出版、2001年11月、p.96−p.105
【発明の概要】
【発明が解決しようとする課題】
【0005】
”EyeVision”は多視点映像を撮影することができるが、被写体を注視点と設定するために必要な、マスターカメラから被写体までの距離値を正確に求めることができなかった。”EyeVision”では、被写体を地上の人間に限定し、被写体が地面にいるという拘束条件から距離値を求めている。そのため、フィールドを俯瞰でとれる位置にカメラを配置しなければならず、被写体とカメラの位置関係に制限が生じるという問題があった。例えば、カメラより高い位置にある被写体を撮影することはできなかった。また、被写体の位置を地面から0mの位置に設定していると、スレーブカメラが被写体を捉えきれない場合があり、その場合には被写体の位置を地面から1m〜1.5mぐらいの高さに設定しなおさなければならないという問題があった。
【0006】
本発明の目的は、上記問題を解決するため、被写体及びカメラの位置を制限することなく様々な用途で多視点映像を撮影することが可能な、多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明では、上記課題を解決するために、マスターカメラの光軸上に注視点を設定し、全てのカメラを注視点へ方向制御後、注視点を光軸上で連続的に変化させ、マスターカメラによる撮影映像及びスレーブカメラによる撮影映像の画角中央に被写体が映るポイントを探索することで、マスターカメラから被写体までの正確な距離値を求める。
【0008】
すなわち、本発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラを用いて3次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、1台のマスターカメラ及び1台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、前記多視点ロボットカメラ制御装置は、前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0009】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする。
【0010】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0011】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする。
【0012】
さらに、本発明に係る多視点ロボットカメラシステムにおいて、前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする。
【0013】
また、上記課題を解決するために、多視点ロボットカメラ制御装置は、3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする。
【0014】
また、上記課題を解決するために、本発明は、3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、を実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【0015】
本発明によれば、被写体を注視点と設定するために必要となる、マスターカメラから被写体までの距離値を正確に求めることができるため、カメラ及び被写体の位置関係に拘束条件がなくなり、様々な用途で多視点映像を撮影することができるようになる。
【図面の簡単な説明】
【0016】
【図1】本発明による実施例1の多視点ロボットカメラシステムの構成を示すブロック図である。
【図2】世界座標系とカメラ座標系との関係を示す図である。
【図3】本発明による実施例1の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図4A】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図4B】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図4C】本発明による実施例1の多視点ロボットカメラシステムの動作を説明する図である。
【図5】本発明による実施例2の多視点ロボットカメラシステムの構成を示すブロック図である。
【図6】本発明による実施例2の多視点ロボットカメラシステムの動作を示すフローチャートである。
【図7】本発明による実施例3の多視点ロボットカメラシステムの構成を示すブロック図である。
【図8A】本発明による実施例3の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。
【図8B】本発明による実施例3の多視点ロボットカメラシステムのインターフェース部による類似度判定を説明する図である。
【図9】本発明による実施例3の多視点ロボットカメラシステムの動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【実施例1】
【0018】
[多視点ロボットカメラシステムの構成]
図1は、実施例1の多視点ロボットカメラシステムの構成を示すブロック図である。多視点ロボットカメラシステム1は、n台のロボットカメラ10(10−1〜10−n)と、多視点ロボットカメラ制御装置20とを備える。多視点ロボットカメラ制御装置20は、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28とを備える。
【0019】
ロボットカメラ10は、3次元空間中の被写体の多視点映像を撮影する。また、ロボットカメラ10は、雲台に設置されたロータリエンコーダからカメラ姿勢(雲台のパン角度及びチルト角度)を取得する。ロボットカメラ10は、キャリブレーション時には、外部パラメータ(回転行列及び並進ベクトル)を算出する。
【0020】
マスターカメラセレクト部21は、ユーザーからの指示により、n台のロボットカメラ10から1台のロボットカメラをマスターカメラ(10Mと表記する)として選択する。以下、マスターカメラ10Mを除く他のロボットカメラをスレーブカメラ(10Sと表記する)と称する。
【0021】
パラメータ格納部22は、ロボットカメラ10のキャリブレーション時に、ロボットカメラ10から初期パラメータを取得し、格納する。ここで、初期パラメータとは、初期の外部パラメータである回転行列R0m及び並進ベクトルTmと、初期のエンコーダ値として得られるロボットカメラ10の雲台のパン角度p0m及びチルト角度t0mを含み、さらに、初期の内部パラメータAmや、初期のエンコーダ値として得られるズーム値z0m、フォーカス値f0m、及びアイリス値i0mを含めてもよい。ここで、添え字のmは、カメラ番号1〜nを表す。また、マスターカメラ10Mのパラメータについて言及する場合には添え字をMと表記し、スレーブカメラ10Sのパラメータについて言及する場合には添え字をSと表記する。
【0022】
図2は、世界座標系(X,Y,Z)とカメラ座標系(x,y,z)との関係を示す図である。回転行列R0mは、世界座標系に対するカメラの姿勢を示すパラメータであり、並進ベクトルTmは、世界座標系に対するカメラの位置を示すパラメータである。世界座標系(X,Y,Z)とカメラ座標系(x,y,z)との関係は、回転行列R0m及び並進ベクトルTmを用いて、次式(1)で示される。
【0023】
【数1】
【0024】
回転行列生成部23は、キャリブレーション後に、ユーザーによりマスターカメラ10Mが被写体を捉えるように方向操作されると、マスターカメラ10Mの方向操作後の回転行列を生成する。以下に、回転行列の生成について具体的に説明する。まず、回転行列生成部23は、パラメータ格納部22から取得した、マスターカメラ10Mのキャリブレーション時のエンコーダ値(雲台のパン角度p0M及びチルト角度t0M)と、マスターカメラ10Mの方向操作後のエンコーダ値(雲台のパン角度pM及びチルト角度tM)とを用いて、次式(2)及び(3)に示すように、カメラキャリブレーション時と方向操作後のパン角度差θpM及びチルト角度差θtMを算出する。なお、回転行列生成部23は、マスターカメラ10Mの方向操作後の雲台のパン角度pM及びチルト角度tMを、マスターカメラ10Mから直接取得してもよいし、パラメータ格納部22に格納した後に取得してもよい。
【0025】
【数2】
【0026】
方向操作後のマスターカメラ10Mは、カメラ座標系においてx軸回りにチルト角度差θtM、y軸回りにパン角度差θpMだけ回転したことになるので、回転行列生成部23は、次式(4)により、カメラ座標系における回転行列R’CMを算出する。
【0027】
【数3】
【0028】
次に、回転行列生成部23は、式(4)で求めたマスターカメラ10Mの方向操作後の回転行列R’CMと、パラメータ格納部22から取得したマスターカメラ10Mのキャリブレーション時の回転行列R0Mとを用いて、次式(5)により、マスターカメラ10Mの方向操作後の世界座標系における回転行列R’Mを算出する。
【0029】
【数4】
【0030】
ここで、算出した回転行列R’Mの3列目のベクトルezMは、世界座標系におけるカメラ姿勢のz軸のベクトルを表す。
【0031】
回転行列生成部23は、次式(6)により、ベクトルezMと世界座標系のY軸eZの外積を求めて正規化し、マスターカメラ10Mのカメラ姿勢のx軸のベクトルexMを算出する。
【0032】
【数5】
【0033】
そして、回転行列生成部23は、次式(7)により、ベクトルezMとベクトルexMの外積を求めて正規化し、マスターカメラ10Mのカメラ姿勢のy軸のベクトルeyMを算出する。
【0034】
【数6】
【0035】
最後に、回転行列生成部23は、次式(8)により、算出したベクトルexM,eyM及びezMで規定される、マスターカメラ10Mの方向操作後の回転行列RMを生成する。
【0036】
【数7】
【0037】
距離値設定部24は、ユーザーにより指定された、方向操作後のマスターカメラ10Mから被写体近傍までの距離値kを設定する。なお、距離値kは、後述する映像比較部28で生成する判定信号に基づいて適切な距離に調整されるため、高い精度は要求されない。
【0038】
注視点制御部25は、パラメータ格納部22から取得したマスターカメラ10Mの並進行列TMと、回転行列生成部23から取得したマスターカメラ10Mの方向操作後の回転行列RMと、距離値設定部24から取得した距離値kとを用いて、次式(9)により、方向操作後のマスターカメラ10Mの注視点Pの世界座標を算出する。また、注視点制御部25は、映像比較部28で求める判定信号に基づいて距離値kを連続的に変化させ、注視点Pを光軸に沿って被写体方向に移動させる。
【0039】
【数8】
【0040】
方向制御部26は、スレーブカメラ10Sの注視点が、注視点制御部25により設定された注視点(方向操作後のマスターカメラ10Mの注視点)Pに一致するように、スレーブカメラ10Sを方向制御する。そのために、まず、パラメータ格納部22から取得したスレーブカメラ10Sの並進行列TSと、注視点制御部25から取得した注視点Pとを用いて、次式(10)により、スレーブカメラ10Sから注視点Pへ向かう単位ベクトルezSを算出する。
【0041】
【数9】
【0042】
次に、方向制御部26は、算出した単位ベクトルezSから、スレーブカメラ10Sが注視点Pを向くためのパン角度θPS及びチルト角度θTSを求める。まず、パラメータ格納部22から取得したスレーブカメラ10Sのキャリブレーション時の回転行列RSを用いて、次式(11)により、単位ベクトルezSを、カメラ座標系におけるスレーブカメラ10Sから注視点Pへ向かう単位ベクトルeCzSに変換する。
【0043】
【数10】
【0044】
そして、方向制御部26は、次式(12)〜(14)により、単位ベクトルeCzmから、注視点Pを向くためのパン角度θPS、及びチルト角度θTSを求め、スレーブカメラ10Sへ送る。なお、方向制御部26は、複数台のスレーブカメラ10Sに同時に信号を送り、複数台のスレーブカメラ10Sを一斉に方向制御することもできる。
【0045】
【数11】
【0046】
映像処理部27は、ロボットカメラ10が撮影した撮影映像を取得し、映像処理を施して出力する。
【0047】
映像比較部28は、マスターカメラ10Mの映像とスレーブカメラ10Sの映像とを比較し、撮影映像の画角中央における類似度を算出する。類似度は、例えば、ブロックマッチングや特徴点の特徴量比較、パターン認識などの画像処理技術を用いて求めてもよいし、両者の相関値又は両者の差分値(差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など)の逆数値を算出することにより求めてもよい。そして、映像比較部28は、類似度を判定し、類似度が高いか否かを示す判定信号を注視点制御部25に出力する。
【0048】
注視点制御部25は、映像比較部28によりマスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像の類似度が高いと判定されるまで、距離値kを連続的に変化させ、注視点Pを光軸に沿って被写体方向に移動させる。
【0049】
[多視点ロボットカメラシステムの動作]
次に、このように構成される多視点ロボットカメラシステム1の動作について説明する。図3は、多視点ロボットカメラシステム1の動作を示すフローチャートである。図4は、多視点ロボットカメラシステム1の動作を説明する図である。
【0050】
まず、被写体の撮影を開始する前に、ステップS101では、各ロボットカメラ10によりキャリブレーション用のパターン(例えば、ドットパターンや市松模様)を撮影し、キャリブレーションを行う。すなわち、ロボットカメラ10は、回転行列R0m及び並進ベクトルTmを算出し、パラメータ格納部22により格納する。また、ロボットカメラ10は、雲台に設置されたロータリエンコーダからエンコーダ値(雲台のパン角度及びチルト角度)を取得し、パラメータ格納部22により格納する。
【0051】
ステップS102では、マスターカメラセレクト部21により、複数台のロボットカメラ10から1台のマスターカメラ10Mを選択する。
【0052】
ステップS103では、ユーザーにより、図4Aに示すように、マスターカメラ10Mが被写体Oを捉えるようにマスターカメラ10Mの方向が操作される。方向操作により、マスターカメラ10Mの撮影映像aでは中央に被写体Oが映る。一方、スレーブカメラ10Sは方向制御がなされていないので、スレーブカメラ10S−1の撮影映像b及びスレーブカメラ10S−2の撮影映像cには、被写体Oが映っていない。
【0053】
ステップS104では、マスターカメラ10Mの雲台に設置されたロータリエンコーダにより、マスターカメラ10Mの方向操作後のパン角度及びチルト角度を取得する。
【0054】
ステップS105では、パラメータ格納部22により、マスターカメラ10Mの方向操作後のパン角度及びチルト角度から、マスターカメラ10Mの回転行列RMを算出する。
【0055】
ステップS106では、距離値設定部24により、マスターカメラ10Mから被写体O近傍までの距離値を設定する。
【0056】
ステップS107では、注視点制御部25により、図4Aに示すように、マスターカメラ10Mの光軸上に初期の注視点Pを設定し、この初期の注視点Pの世界座標を算出する。
【0057】
ステップS108では、方向制御部26により、図4Bに示すように、全てのスレーブカメラ10Sを初期の注視点Pに向かうように方向制御する。
【0058】
ステップS109では、映像比較部28により、マスターカメラ10Mによる撮影映像aとスレーブカメラ10S−2による撮影映像cとを比較し、画角中央の映像の類似度を判定する。類似度を判定する際には、いずれのスレーブカメラ10Sによる撮影映像を用いることも可能であるが、マスターカメラ10Mと画角(撮像領域)の重なる部分が少ないスレーブカメラ10Sによる撮影映像を用いるのが好適である。類似度が高いと判定した場合には、処理をステップS111に進め、類似度が高くない又は所定の閾値を超えないと判定した場合には、処理をステップS110に進める。ここで、類似度が高いか低いかの判定を、類似度が所定の閾値を超えるか超えないかの判定とすることができるのは勿論である。
【0059】
ステップS110では、注視点制御部25により、注視点Pを、マスターカメラ10Mの光軸に沿って、被写体Oに近づく方向に移動させる。その後、処理を再びステップS108に戻す。すなわち、マスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像について所定の類似度が得られるまで、図4Cに示すように、注視点Pを被写体Oに徐々に近づくように制御する。注視点Pの位置が被写体Oの位置と一致する時に、マスターカメラ10Mによる撮像映像とスレーブカメラ10Sによる撮影映像との類似度が最も高くなり、スレーブカメラ10S−1の撮影映像b及びスレーブカメラ10S−2の撮影映像cの中央に被写体Oが映る。
【0060】
ステップS111では、方向制御部26によるスレーブカメラ10Sの方向制御を終了し、必要に応じて映像処理部27により映像を処理して出力する。
【0061】
被写体が移動する場合には、被写体を捉えるようにマスターカメラ10Mを方向操作し、距離値kを再指定して同様にスレーブカメラ10Sを方向制御することにより、被写体に追従した多視点映像を撮影することができる。
【0062】
以上、図1を参照して多視点ロボットカメラシステム1について説明したが、多視点ロボットカメラ制御装置の構成は図1の構成に限られるものではなく、マスターカメラセレクト部21、パラメータ格納部22、回転行列生成部23、距離値設定部24、注視点制御部25、方向制御部26、映像処理部27、及び映像比較部28を複数の装置に分散させてもよい。例えば、各ロボットカメラ10が方向制御部26を備える構成とすることもできる。この場合、各スレーブカメラ10Sに備えられた方向制御部26は、注視点制御部25からマスターカメラ10Mの注視点Pを取得し、各スレーブカメラ10Sの方向制御を行う。
【0063】
このように、実施例1の多視点ロボットカメラシステム1によれば、方向操作されたマスターカメラ10Mの回転行列を算出して距離値kに基づく注視点Pを設定し、スレーブカメラ10Sを注視点Pに向くように方向制御することにより、ロボットカメラ10と被写体との位置関係における拘束条件がなくなり、様々な用途で多視点映像を撮影することができる。
【0064】
また、距離値kを連続的に変化させていくインターフェースでは、距離値からフォーカス値を算出することが可能であるため、テレビカメラのフォーカス制御インターフェースを利用できる。そのため、既存のテレビカメラと同様のインターフェースで距離値を制御でき、カメラマンが操作に慣れるための負担が少ない。
【実施例2】
【0065】
次に、実施例2の多視点ロボットカメラシステムについて説明する。図5は、実施例2の多視点ロボットカメラシステム2の構成を示すブロック図である。なお、実施例1と同じ構成要素には同一の参照番号を付して説明を省略する。実施例2の多視点ロボットカメラシステム2は、実施例1の多視点ロボットカメラシステム1と同じ構成であるが、回転行列生成部23の機能が相違する。
【0066】
本実施例の回転行列生成部23は、方向操作後のマスターカメラ10Mの回転行列RMだけでなく、方向制御後のスレーブカメラ10Sの回転行列RSも生成する。算出方法は、マスターカメラ10Mの回転行列RMと同様であり、スレーブカメラ10Sの方向制御後の回転行列RSは、次式(15)により表される。生成した回転行列は、後処理用として、例えば、3次元モデルを生成する場合などに用いることができる。
【0067】
【数12】
【0068】
図6は、実施例2の多視点ロボットカメラシステム2の動作を示すフローチャートである。本実施例では、方向制御部26により、全てのスレーブカメラ10Sを注視点に向かうように方向制御し(ステップS108)、次に、回転行列生成部23により、スレーブカメラ10Sの回転行列RSを算出する(ステップS109)。映像比較部28により、マスターカメラによる撮影映像とスレーブカメラによる撮影映像の類似度が高いと判定した場合には(ステップS110−YES)、回転行列生成部23により、生成したロボットカメラ10の回転行列Rm(RM及びRS)を出力する(ステップS112)。
【0069】
このように、実施例2の多視点ロボットカメラシステム2によれば、回転行列生成部23により生成した方向制御後の回転行列を応用することができるため、撮影した多視点映像からの3次元モデルの生成等、多視点映像にさまざまな画像処理を行うことができるようになり応用範囲を広げることができる。
【実施例3】
【0070】
次に、実施例3の多視点ロボットカメラシステム3について説明する。図7は、実施例3の多視点ロボットカメラシステム3の構成を示すブロック図である。なお、実施例1と同じ構成要素には同一の参照番号を付して説明を省略する。実施例3の多視点ロボットカメラシステム3は、実施例1の多視点ロボットカメラシステム1と比較して、多視点ロボットカメラ制御装置20がユーザーインターフェース部29を更に備える点で相違する。
【0071】
ユーザーインターフェース部29は、ユーザーによりキーボード等から入力された、ロボットカメラ10を制御するために必要となる、パン角度、チルト角度、フォーカス値、ズーム値、アイリス値、及びマスターカメラ10Mから被写体までの距離値k等を示す制御信号をロボットカメラ10へ送出する。ロボットカメラ10は、カメラ制御部40から入力される制御信号に基づいて、パン、チルト、ズーム、フォーカス、ズーム、アイリス等の制御を行う。
【0072】
また、ユーザーインターフェース部29は、映像処理部27から出力されるマスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像が類似しているか否かをユーザーに視覚的に表示するディスプレイを有する。
【0073】
図8は、実施例3のユーザーインターフェース部29による類似度判定を説明する図である。例えば、図8Aに示すように、マスターカメラ10Mの撮影映像aとスレーブカメラ10S−2の撮影映像cとを、2眼立体用ディスプレイ等で交互の走査線に表示させ、ディスプレイ映像dを表示する。注視点Pと被写体Oの位置とが一致すると、図8Bに示すようにディスプレイ映像dには被写体Oが重なって表示される。これにより、ユーザーは、表示されたディスプレイ映像dを見て、視覚的に類似度を判定することができる。したがって、映像比較部28に代えてユーザーインターフェース部29により類似度を判定することができる。また、映像比較部28により類似度を判定した後に、ユーザーインターフェース部29により距離値k(注視点P)を微調整するようにしてもよい。
【0074】
なお、ユーザーインターフェース部29は、類似度の高さを音に変換し、聴覚的に類似度を判定することができるようにしてもよい。また、このとき、類似度の高さを示す音量を、音量ゲージで表示してもよい。
【0075】
図9は、実施例3の多視点ロボットカメラシステム3の動作を示すフローチャートである。ここでは、映像比較部28により類似度を判定し、スレーブカメラ10Sの方向制御をした後に、更にユーザーにより距離値k(注視点P)を微調整する例を示している。すなわち、映像比較部28により、マスターカメラ10Mによる撮影映像とスレーブカメラ10Sによる撮影映像との類似度が高いと判定した場合には(ステップS109−YES)、ユーザーインターフェース部29により、類似度を視覚的及び/又は聴覚的に確認し、必要に応じて距離値kを微調整することで、注視点Pを微調整する(ステップS111)。
【0076】
このように、実施例3の多視点ロボットカメラシステム3によれば、ユーザーインターフェース部29を備えることにより、映像比較部28により自動で距離値kを調整した後に、更に距離値k微調整することができ、より正確な距離値kを用いて多視点を撮影することができる。
【0077】
ここで、コンピュータを好適に用いて、多視点ロボットカメラ制御装置20として機能させることができ、そのようなコンピュータは、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28とを機能させるための制御部を、CPU(中央演算処理装置)と、記憶部とで実現できる。
【0078】
また、そのようなコンピュータに、CPUによって所定のプログラムを実行させることにより、マスターカメラセレクト部21と、パラメータ格納部22と、回転行列生成部23と、距離値設定部24と、注視点制御部25と、方向制御部26と、映像処理部27と、映像比較部28の有する機能を実現させることができる。
【0079】
上述の各実施例は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができ、更に、各実施例を組み合わせて別の実施例を実現することができることは当業者に明らかである。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例2の多視点ロボットカメラ制御装置20において、更にユーザーインターフェース部29を備える構成とすることができる。
【産業上の利用可能性】
【0080】
このように、本発明によれば、マスターカメラから被写体までの距離値を正確に求めることができるので、多視点映像を撮影する任意の用途に有用である。
【符号の説明】
【0081】
1,2,3 多視点ロボットカメラシステム
10 ロボットカメラ
20 多視点ロボットカメラ制御装置
21 マスターカメラセレクト部
22 パラメータ格納部
23 回転行列生成部
24 距離値設定部
25 注視点制御部
26 方向制御部
27 映像処理部
28 映像比較部
29 ユーザーインターフェース部
【特許請求の範囲】
【請求項1】
複数台のロボットカメラを用いて3次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、
1台のマスターカメラ及び1台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、
前記多視点ロボットカメラ制御装置は、
前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラシステム。
【請求項2】
前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする、請求項1に記載の多視点ロボットカメラシステム。
【請求項3】
前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、
前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする、請求項1又は2に記載の多視点ロボットカメラシステム。
【請求項4】
前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする、請求項1〜3のいずれか一項に記載の多視点ロボットカメラシステム。
【請求項5】
前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする、請求項1〜4のいずれか一項に記載の多視点ロボットカメラシステム。
【請求項6】
3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、
1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラ制御装置。
【請求項7】
3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、
1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、
記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、
前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、
を実行させるためのプログラム。
【請求項1】
複数台のロボットカメラを用いて3次元空間中の被写体の多視点映像を撮影する多視点ロボットカメラシステムであって、
1台のマスターカメラ及び1台以上のスレーブカメラからなる複数台のロボットカメラと、該複数台のロボットカメラを制御する多視点ロボットカメラ制御装置とを備え、
前記多視点ロボットカメラ制御装置は、
前記マスターカメラ及び前記スレーブカメラの初期パラメータを格納するパラメータ格納部と、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラシステム。
【請求項2】
前記方向制御部は、前記スレーブカメラから前記方向操作されたマスターカメラの注視点へ向かう単位ベクトルを、前記スレーブカメラの初期パラメータを用いて算出し、該単位ベクトルから、前記スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるパン角度及びチルト角度を算出することを特徴とする、請求項1に記載の多視点ロボットカメラシステム。
【請求項3】
前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像の類似度を算出し、該類似度が高いか否かを判定する判定信号を生成する映像比較部を更に備え、
前記注視点制御部は、前記判定信号に基づいて、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする、請求項1又は2に記載の多視点ロボットカメラシステム。
【請求項4】
前記回転行列生成部は、前記方向操作されたマスターカメラの回転行列、及び前記方向制御部により方向制御されたスレーブカメラの回転行列を生成することを特徴とする、請求項1〜3のいずれか一項に記載の多視点ロボットカメラシステム。
【請求項5】
前記注視点制御部により決定された注視点の位置を微調整するユーザーインターフェース部を更に備えることを特徴とする、請求項1〜4のいずれか一項に記載の多視点ロボットカメラシステム。
【請求項6】
3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置であって、
1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するパラメータ格納部と、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成する回転行列生成部と、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定する注視点制御部と、
前記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させる方向制御部とを備え、
前記注視点制御部は、前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させることを特徴とする多視点ロボットカメラ制御装置。
【請求項7】
3次元空間中の被写体の多視点映像を撮影する複数台のロボットカメラを制御する多視点ロボットカメラ制御装置として機能するコンピュータに、
1台のマスターカメラ及び1台以上のスレーブカメラからなる前記複数台のロボットカメラの初期パラメータを格納するステップと、
前記マスターカメラのエンコーダ値を取得し、前記初期パラメータを用いて、方向操作されたマスターカメラの回転行列を生成するステップと、
指定された距離値に基づいて前記方向操作されたマスターカメラの注視点を光軸上に設定するステップと、
記スレーブカメラを方向制御して、該スレーブカメラの注視点を前記方向操作されたマスターカメラの注視点に一致させるステップと、
前記方向操作されたマスターカメラによる撮影映像と前記スレーブカメラによる撮影映像について所定の類似度が得られるまで、前記設定された注視点を前記光軸に沿って被写体方向に移動させるステップと、
を実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【公開番号】特開2012−114593(P2012−114593A)
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願番号】特願2010−260482(P2010−260482)
【出願日】平成22年11月22日(2010.11.22)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成24年6月14日(2012.6.14)
【国際特許分類】
【出願日】平成22年11月22日(2010.11.22)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]