カメラ姿勢の補正
【課題】可動カメラの推定姿勢における誤差を補正する。
【解決手段】当該カメラは、カメラ姿勢に基づいて出力画像を生成するカメラシステムの少なくとも一部である。経時的にカメラの漸進的姿勢測定値を取得し、漸進的姿勢測定値を用いてカメラ姿勢を推定する。但し推定されたカメラ姿勢は誤差を有する。カメラの絶対姿勢測定値と推定カメラ姿勢の差異に基づいて姿勢の補正量を決定する。カメラにおける変化により生じたカメラ画像の変化率をモニタリングする。漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整する。この調整は更に、推定カメラ姿勢の誤差を補正するように姿勢補正を実行するために設定され、カメラ画像のモニタリングされた変化率に基づく割合で姿勢補正が実行される。
【解決手段】当該カメラは、カメラ姿勢に基づいて出力画像を生成するカメラシステムの少なくとも一部である。経時的にカメラの漸進的姿勢測定値を取得し、漸進的姿勢測定値を用いてカメラ姿勢を推定する。但し推定されたカメラ姿勢は誤差を有する。カメラの絶対姿勢測定値と推定カメラ姿勢の差異に基づいて姿勢の補正量を決定する。カメラにおける変化により生じたカメラ画像の変化率をモニタリングする。漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整する。この調整は更に、推定カメラ姿勢の誤差を補正するように姿勢補正を実行するために設定され、カメラ画像のモニタリングされた変化率に基づく割合で姿勢補正が実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可動カメラの推定姿勢における誤差の補正方法および関連するカメラ制御システムに関する。
【背景技術】
【０００２】
既存のカメラシステムは、カメラ姿勢を追跡する機能を含んでいる。姿勢には、カメラの位置、カメラの方位、またはその両者が含まれていてよい。
【０００３】
カメラの位置をモニタリングまたは追跡する公知の技術は推測航法技術を用いる。これらは、初期状態での絶対姿勢基準に基づいて、姿勢の漸進的測定値を提供する。しかし、これらの技術では時間の経過に伴い誤差が累積され、この誤差が重大な影響を及ぼす恐れがある。
【０００４】
仮想現実システムにおいて、カメラが撮影した画像は仮想画像を組み合わせて出力画像を生成する。累積誤差は、カメラが生成した画像とレンダリングされた仮想画像を組み合わせる際に両者の間の不整合として現れる。
【０００５】
ロボットカメラ動作制御システムにおいて、この誤差はフレーミング誤差として現れる。換言すれば、カメラコントローラが出す指示がカメラの誤った推定位置に基づいている結果、不正確な動作が生じる。
【０００６】
カメラ用の絶対姿勢測定技術に利点がある。絶対姿勢測定により漸進的推測航法を代替することが望ましい。しかし、既存の絶対姿勢測定システムにはこれを困難にするいくつかの短所がある。絶対姿勢測定システムのいくつかは、カメラの動作追跡および制御システムに求められる十分に高い更新速度を出すことができない。また、基準目標を用いる絶対姿勢測定システムには、目標が他の部材により遮蔽されている場合に問題がある。このような場合、絶対姿勢測定システムは、カメラ姿勢を決定することが全くできない。更に、任意のオドメトリック（走行距離に基づく）推測航法システムとは独立に機能する絶対姿勢測定システムにおいてもジッターが顕著に現れる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この背景事情に対して、可動カメラの推定姿勢における誤差の補正方法を提供する。
【課題を解決するための手段】
【０００８】
カメラは、カメラ姿勢に基づいて出力画像を生成するカメラシステムの一部または全体である。本方法は、カメラの漸進的姿勢測定値を経時的に取得して、当該漸進的姿勢測定値を用いてカメラ姿勢を推定する（但し推定されたカメラ姿勢は誤差を有する）ステップと、カメラの絶対姿勢測定値と推定カメラ姿勢の差異に基づいて姿勢の補正量を決定するステップと、カメラにおける変化により生じたカメラ画像の変化率をモニタリングするステップと、漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整するステップとを含んでいる。この調整は更に、推定カメラ姿勢の誤差を補正するように姿勢補正を実行するために設定される。次いでカメラ画像のモニタリングされた変化率に基づく割合で姿勢補正が実行される。
【０００９】
換言すれば、推測航法等の漸進的姿勢測定技術を絶対姿勢測定システムと組み合わせる。しかし、絶対姿勢測定システムは、漸進的姿勢測定よりも比較的低周波数の測定値を提供する。そのため漸進的姿勢測定では依然として誤差が累積され、その結果出力画像に誤差が累積してしまう。カメラ姿勢は、カメラの位置、カメラの方位、またはその両方を含んでいてよい。
【００１０】
本発明は、漸進的姿勢測定における誤差の値を決定し、この誤差を補償すべくカメラシステムを調整する。この補正は、カメラ画像の変化率に基づく割合で実行される。これらは通常、カメラにより生成された画像である。こうすることにより、補正が行われていることを撮影者に感知されにくいような仕方で補正が行われる。位置の補正が行われていることに撮影者が気付かないことが望ましい。
【００１１】
要約すれば、本システムは、位置の推測航法の漸進的測定値を、カメラパラメータの変化により生じた画像の変化率の関数である割合で、絶対システムの値へずらすものとみなすことができる。この関数は、撮影者には見えないと思われる程度に画像速度を効果的に変更（増減）して漸進的姿勢データを絶対位置により測定された真の位置に合わせる。
【００１２】
いくつかの実施形態において、漸進的姿勢測定値は位置の測定値を含み、推定カメラ姿勢はカメラの推定位置を含んでいて、絶対姿勢測定値はカメラの絶対位置を含んでいる。追加的または代替的に、漸進的姿勢測定値は、方位の測定値を含み、推定カメラ姿勢はカメラの推定方位を含んでいて、絶対姿勢測定値はカメラの絶対方位を含んでいる。
【００１３】
好適な実施形態において、カメラ画像の変化率をモニタリングするステップは、カメラシステムにおける変化により生じたカメラ画像の移動速度をモニタリングするステップと、カメラシステムにおける変化により生じたカメラ画像の回転速度をモニタリングするステップのうち少なくとも１個を含んでいる。これはオプションとして、カメラにより生成された画像を解析して実行することができる。これは好適にはデジタル画像解析である。
【００１４】
一実施形態において、カメラシステムのパラメータを周期的に調整するステップは、カメラシステムの位置および、カメラシステムの方位のうち少なくとも１個を所望の設定に制御するステップを含んでいる。この場合、カメラ動作制御システムは、漸進的姿勢測定システムがもたらしたフレーミング誤差を補正する。
【００１５】
別の実施形態において、本方法はカメラにより生成された画像を用いて、推定カメラ姿勢に基づいてカメラシステム用の出力画像を生成するステップを更に含んでいる。次いで、本カメラシステムのパラメータを周期的に調整するステップは、出力画像の生成を調整するステップを含んでいる。このアプローチでは、カメラにより生成された画像と組み合わせた仮想画像を調整することにより補正を実行することができる。
【００１６】
好都合なことに、姿勢補正を実行すべく調整を設定するステップは、漸進的姿勢測定値および姿勢補正の比率に基づいて調整を設定するステップを含んでいる。次いで、姿勢補正の比率は、カメラ画像のモニタリングされた変化率に基づいている。これを行う一方法は、姿勢補正の比率をカメラ画像のモニタリングされた変化率に正比例させることである。これは線形関係である。あるいは、姿勢補正の比率とカメラ画像のモニタリングされた変化率との関係は、非線形であるかまたは閾値、ヒステリシスその他の制御関係を含む他の変換規則に基づいていてよい。
【００１７】
好適な実施形態において、カメラ画像の変化率をモニタリングするステップは、推定カメラ姿勢の変化率を決定するステップを含んでいる。この技術は、上述のデジタル処理アプローチの代替または追加的な方式として用いることができる。
【００１８】
好都合なことに、カメラシステムが架台に連結されたカメラを含んでいる場合、推定カメラ姿勢の変化率を決定するステップは、架台姿勢の変化率を決定するステップを含んでいてよい。架台姿勢の変化は、カメラ姿勢の変化を生じさせ、従ってカメラ画像の変化を生じさせることができる。オプションとして、架台は、パンおよびチルトヘッド、台座、ケーブルカメラの懸架装置、およびポータブルカメラの架台のうち少なくとも１個を含んでいてよい。
【００１９】
いくつかの実施形態において、カメラシステムにおける変化により生じたカメラ画像の変化率をモニタリングするステップは、カメラの位置、カメラの方位、カメラのズームパラメータ、およびカメラの焦点パラメータのうち少なくとも１個の変化率を決定するステップを含んでいる。これらの変化率のうち１個以上を決定することにより、カメラにおける変化により生じたカメラ画像の変化率を推定することができる。
【００２０】
本発明は更なる態様において、カメラを含むカメラシステムであってカメラ姿勢に基づいて出力画像を生成すべく配置されたカメラシステムと、カメラの漸進的姿勢測定値を経時的に取得して、当該漸進的姿勢測定値を用いてカメラ姿勢を推定すべく構成された（但し推定されたカメラ姿勢は誤差を有する）第１の姿勢測定装置と、カメラの絶対姿勢測定を取得すべく構成された絶対姿勢測定装置と、カメラにおける変化により生じたカメラ画像の変化率をモニタリングすべく構成されたモニタリング装置と、絶対姿勢の測定値と推定カメラ姿勢の差異に基づいて姿勢補正量を決定すると共に、漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整すべく構成されたコントローラとを含むカメラ制御システムに見出される。調整は、推定カメラ姿勢誤差を補正すべく姿勢補正を実行するように更に設定されている。姿勢補正は、カメラ画像のモニタリングされた変化率に基づく割合で実行される。本発明はまたオプションとして、本明細書に記述した対応する方法ステップを実装するシステム機能を含んでいる。
【図面の簡単な説明】
【００２１】
本発明の実施形態について、添付の図面を参照しつつ専ら例示的に記述する。
【図１】本発明によるカメラ制御システムのブロック線図である。
【図２】本発明による図１のカメラ制御システムの動作方式を示すフロー図である。
【発明を実施するための形態】
【００２２】
まず図１を参照するに、本発明のカメラ制御システムのブロック線図を示す。本カメラ制御システムは、カメラ１０、架台２０、漸進的姿勢測定装置３０、絶対姿勢測定装置４０、モニタリング装置５０、およびコントローラ６０を含んでいる。
【００２３】
カメラ１０は、架台２０に連結または固定されている。架台はパンおよびチルトヘッドまたは台座の一方または両方を含んでいても、ケーブルカメラ懸架装置であってもよく、あるいは、携帯または本体に支持された架台等のポータブルカメラ架台を用いることもできる。カメラ１０および架台２０は、カメラシステムの一部をなしている。カメラ１０は中央システム（図示せず）に画像を提供する。カメラ１０はまた、自身のズームおよび焦点パラメータを検出するエンコーダを含んでいる。
【００２４】
カメラ制御システムはまた、カメラ１０の漸進的姿勢測定装置３０を有している。漸進的姿勢測定装置３０は、これらの２次元内で漸進的にカメラ１０の２次元位置およびカメラの方位角を決定する推測航法オドメトリック装置を含んでいる。これらの２次元測定値には高さは含まれない。別々のエンコーダを用いて高さおよび他の姿勢関連測定値を測定することができる。
【００２５】
本カメラ制御システムは、カメラ１０用の絶対姿勢測定装置４０を更に含んでいる。これは、漸進的姿勢測定装置３０よりも測定周波数が大幅に低い。絶対姿勢測定装置４０の一部としてレーザー追尾システムを用いているが、これは既知の基準位置にある標識を認識および追跡し、そこからの距離を計算することにより位置を測定すべく設計されている。一般に、このような装置は、少なくとも１４０ｍｓ、またはこれよりもかなり大きい間隔で絶対位置の測定値を提供することができる。
【００２６】
漸進的姿勢測定装置３０および絶対姿勢測定装置４０は、各々自身の測定値をコントローラ６０に提供する。漸進的姿勢測定値を用いて、推定カメラ姿勢を決定することができる。
【００２７】
モニタリング装置５０は、カメラ１０における変化により生じた、カメラ１０により生成された画像の変化率を決定する。特に、カメラ１０における変化はカメラ姿勢の変化を含んでいるが、カメラにおける他の変化、例えばズームまたは焦点の変化を含んでいてよい。
【００２８】
コントローラ６０は次いで、漸進的姿勢測定値および絶対姿勢測定値に基づいて、カメラ１０および架台２０を含むカメラシステムのパラメータ、または当該カメラシステムにより生成される出力画像を調整する。特に、コントローラ６０は主としてカメラ１０の瞬間的な位置、方位またはその両方を決定する漸進的姿勢測定を用いるが、瞬間的な測定値における誤差を補正する絶対姿勢測定値も用いる。
【００２９】
絶対姿勢測定値が決定されたならば、推定カメラ姿勢における誤差を確定でき、コントローラ６０は姿勢の補正量を決定することができる。コントローラによりなされる調整はまた、推定カメラ姿勢誤差を補正するように姿勢補正を実行すべく設定される。この調整は、モニタリング装置５０により決定されたカメラ画像の変化率に基づく割合で姿勢補正が実行されるように行われる。このように、出力画像に誤差があっても、撮影者に補正を気付かれないように補正される。
【００３０】
ここで、本カメラ制御システムの動作方式について図２を参照しつつ記述し、当該方式に沿ったアルゴリズムのフロー図を示す。本アルゴリズムはコントローラ６０内においてソフトウェアで実現することが望ましい。
【００３１】
プログラムは初期化され、第１のステップにおいて、原点における起源絶対カメラ姿勢の測定がなされる。これにより、推測航法システム３０の基準点が得られる。
【００３２】
本アルゴリズムは反復的であって、周期的に補正を行う。そのタイミングは同期化信号により設定される。この同期化のためにＧｅｎｌｏｃｋ信号を用いる。ＰＡＬビデオソースから誘導されたＧｅｎｌｏｃｋ信号は５０Ｈｚタイミング性能を提供するが、ＮＴＳＣビデオソースから誘導された場合は６０Ｈｚになる。Ｇｅｎｌｏｃｋ信号を受信する都度、漸進的姿勢測定値が取得される。従って、漸進的姿勢測定値は、絶対姿勢測定値よりも極めて頻繁に得られる。漸進的姿勢測定値はタイムスタンプが付与されて配列に保存される。
【００３３】
Ｇｅｎｌｏｃｋ信号を受信したならば、コントローラ６０は、最後の補正サイクル以降に絶対姿勢測定値が生成されているか否かを調べる。絶対姿勢測定装置４０は必ずしも一定の間隔で測定値を生成する訳ではない。更に、絶対姿勢測定値は必ずしも漸進的姿勢測定値と同期して生成される訳ではない。実際、このような同期は起こり難い。また、絶対姿勢測定と漸進的姿勢測定の間に何らかの待ち時間（恐らく１００ｍｓ）があり得る。従って絶対位置の測定値もまた、タイムスタンプが付与されて保存される。
【００３４】
最後の補正サイクル以降に絶対姿勢測定値が生成されている場合、現在の誤差を決定する。漸進的姿勢測定値の配列を用いてこの誤差を確定して、推定姿勢を決定する。推定姿勢は、絶対姿勢測定値のタイムスタンプに合致する時刻について確定される。このタイムスタンプは通常、どの漸進的姿勢測定値のタイムスタンプとも合致しない。従って、推定姿勢は通常、漸進的姿勢測定からの線形補間を用いて決定される。次いで推定姿勢と絶対姿勢測定値の誤差を決定する。
【００３５】
アルゴリズムの最後の補正サイクル以降、新規の絶対姿勢測定値が決定されなかった場合、残余誤差が誤差として計算される。これは、アルゴリズムの先の補正サイクルにおいて決定された誤差を用いて、先の補正サイクル内で姿勢の補正が実行されたならばこれを考慮に入れることにより決定される。
【００３６】
次いでカメラ画像の変化率を計算する。これは、視野およびカメラレンズの焦点距離の変化と合わせて、漸進的姿勢測定値を用いてカメラ姿勢の変化率（カメラ速度）をモニタリングすることにより決定される。これらにより、カメラ姿勢の変化率およびカメラの焦点およびズームの変化率を確定する。カメラにおける変化により生じたカメラ画像の変化率がこれにより決定される。短期間に記録された漸進的姿勢測定値の曲線適合の勾配を用いることができる。
【００３７】
続いてカメラ画像の変化率を用いてカメラ姿勢の誤差を補正すべき割合を決定する。カメラ姿勢における誤差を補正すべき割合は、撮影者の知覚を考慮にいれてこれをカメラ画像の変化率に関連付けるモデルを用いて確定される。通常、このモデルは非線形である。これにより画像の撮影者が気付くことなく誤差を補正することができる。
【００３８】
カメラサイクルで適用される補正は次いで、決定された誤差および誘導された補正割合から確定された姿勢補正量を用いて計算される。サイクルの最終ステップとして、推定カメラ姿勢は次いで、適用された補正により更新される。この更新された推定カメラ姿勢は次いで、制御目的のため、または仮想現実システム内で生成された合成画像のために用いられる。
【００３９】
本発明の一実施形態について上で述べたが、当業者は各種の変更を考え付くであろう。
【００４０】
同期化のためにＧｅｎｌｏｃｋ信号を用いてきたが、他の同期化方式を追加的または代替的に用いることができる。また、推定姿勢を決定するために線形補間を用いているが、他の補間技術が用いることができる。
【００４１】
上述の実施形態において、カメラにおける変化により生じたカメラ画像の変化率は、姿勢、ズーム、および焦点等のカメラパラメータの変化率をモニタリングすることにより決定される。あるいは、画像処理を用いてこの変化率を決定することができる。
【００４２】
カメラ画像の変化率をカメラ姿勢における誤差を補正すべき割合に関連付けるモデルは線形であるか、または線形、非線形、閾値、および他の変換規則の組合せを用いてもよい。
【技術分野】
【０００１】
本発明は、可動カメラの推定姿勢における誤差の補正方法および関連するカメラ制御システムに関する。
【背景技術】
【０００２】
既存のカメラシステムは、カメラ姿勢を追跡する機能を含んでいる。姿勢には、カメラの位置、カメラの方位、またはその両者が含まれていてよい。
【０００３】
カメラの位置をモニタリングまたは追跡する公知の技術は推測航法技術を用いる。これらは、初期状態での絶対姿勢基準に基づいて、姿勢の漸進的測定値を提供する。しかし、これらの技術では時間の経過に伴い誤差が累積され、この誤差が重大な影響を及ぼす恐れがある。
【０００４】
仮想現実システムにおいて、カメラが撮影した画像は仮想画像を組み合わせて出力画像を生成する。累積誤差は、カメラが生成した画像とレンダリングされた仮想画像を組み合わせる際に両者の間の不整合として現れる。
【０００５】
ロボットカメラ動作制御システムにおいて、この誤差はフレーミング誤差として現れる。換言すれば、カメラコントローラが出す指示がカメラの誤った推定位置に基づいている結果、不正確な動作が生じる。
【０００６】
カメラ用の絶対姿勢測定技術に利点がある。絶対姿勢測定により漸進的推測航法を代替することが望ましい。しかし、既存の絶対姿勢測定システムにはこれを困難にするいくつかの短所がある。絶対姿勢測定システムのいくつかは、カメラの動作追跡および制御システムに求められる十分に高い更新速度を出すことができない。また、基準目標を用いる絶対姿勢測定システムには、目標が他の部材により遮蔽されている場合に問題がある。このような場合、絶対姿勢測定システムは、カメラ姿勢を決定することが全くできない。更に、任意のオドメトリック（走行距離に基づく）推測航法システムとは独立に機能する絶対姿勢測定システムにおいてもジッターが顕著に現れる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この背景事情に対して、可動カメラの推定姿勢における誤差の補正方法を提供する。
【課題を解決するための手段】
【０００８】
カメラは、カメラ姿勢に基づいて出力画像を生成するカメラシステムの一部または全体である。本方法は、カメラの漸進的姿勢測定値を経時的に取得して、当該漸進的姿勢測定値を用いてカメラ姿勢を推定する（但し推定されたカメラ姿勢は誤差を有する）ステップと、カメラの絶対姿勢測定値と推定カメラ姿勢の差異に基づいて姿勢の補正量を決定するステップと、カメラにおける変化により生じたカメラ画像の変化率をモニタリングするステップと、漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整するステップとを含んでいる。この調整は更に、推定カメラ姿勢の誤差を補正するように姿勢補正を実行するために設定される。次いでカメラ画像のモニタリングされた変化率に基づく割合で姿勢補正が実行される。
【０００９】
換言すれば、推測航法等の漸進的姿勢測定技術を絶対姿勢測定システムと組み合わせる。しかし、絶対姿勢測定システムは、漸進的姿勢測定よりも比較的低周波数の測定値を提供する。そのため漸進的姿勢測定では依然として誤差が累積され、その結果出力画像に誤差が累積してしまう。カメラ姿勢は、カメラの位置、カメラの方位、またはその両方を含んでいてよい。
【００１０】
本発明は、漸進的姿勢測定における誤差の値を決定し、この誤差を補償すべくカメラシステムを調整する。この補正は、カメラ画像の変化率に基づく割合で実行される。これらは通常、カメラにより生成された画像である。こうすることにより、補正が行われていることを撮影者に感知されにくいような仕方で補正が行われる。位置の補正が行われていることに撮影者が気付かないことが望ましい。
【００１１】
要約すれば、本システムは、位置の推測航法の漸進的測定値を、カメラパラメータの変化により生じた画像の変化率の関数である割合で、絶対システムの値へずらすものとみなすことができる。この関数は、撮影者には見えないと思われる程度に画像速度を効果的に変更（増減）して漸進的姿勢データを絶対位置により測定された真の位置に合わせる。
【００１２】
いくつかの実施形態において、漸進的姿勢測定値は位置の測定値を含み、推定カメラ姿勢はカメラの推定位置を含んでいて、絶対姿勢測定値はカメラの絶対位置を含んでいる。追加的または代替的に、漸進的姿勢測定値は、方位の測定値を含み、推定カメラ姿勢はカメラの推定方位を含んでいて、絶対姿勢測定値はカメラの絶対方位を含んでいる。
【００１３】
好適な実施形態において、カメラ画像の変化率をモニタリングするステップは、カメラシステムにおける変化により生じたカメラ画像の移動速度をモニタリングするステップと、カメラシステムにおける変化により生じたカメラ画像の回転速度をモニタリングするステップのうち少なくとも１個を含んでいる。これはオプションとして、カメラにより生成された画像を解析して実行することができる。これは好適にはデジタル画像解析である。
【００１４】
一実施形態において、カメラシステムのパラメータを周期的に調整するステップは、カメラシステムの位置および、カメラシステムの方位のうち少なくとも１個を所望の設定に制御するステップを含んでいる。この場合、カメラ動作制御システムは、漸進的姿勢測定システムがもたらしたフレーミング誤差を補正する。
【００１５】
別の実施形態において、本方法はカメラにより生成された画像を用いて、推定カメラ姿勢に基づいてカメラシステム用の出力画像を生成するステップを更に含んでいる。次いで、本カメラシステムのパラメータを周期的に調整するステップは、出力画像の生成を調整するステップを含んでいる。このアプローチでは、カメラにより生成された画像と組み合わせた仮想画像を調整することにより補正を実行することができる。
【００１６】
好都合なことに、姿勢補正を実行すべく調整を設定するステップは、漸進的姿勢測定値および姿勢補正の比率に基づいて調整を設定するステップを含んでいる。次いで、姿勢補正の比率は、カメラ画像のモニタリングされた変化率に基づいている。これを行う一方法は、姿勢補正の比率をカメラ画像のモニタリングされた変化率に正比例させることである。これは線形関係である。あるいは、姿勢補正の比率とカメラ画像のモニタリングされた変化率との関係は、非線形であるかまたは閾値、ヒステリシスその他の制御関係を含む他の変換規則に基づいていてよい。
【００１７】
好適な実施形態において、カメラ画像の変化率をモニタリングするステップは、推定カメラ姿勢の変化率を決定するステップを含んでいる。この技術は、上述のデジタル処理アプローチの代替または追加的な方式として用いることができる。
【００１８】
好都合なことに、カメラシステムが架台に連結されたカメラを含んでいる場合、推定カメラ姿勢の変化率を決定するステップは、架台姿勢の変化率を決定するステップを含んでいてよい。架台姿勢の変化は、カメラ姿勢の変化を生じさせ、従ってカメラ画像の変化を生じさせることができる。オプションとして、架台は、パンおよびチルトヘッド、台座、ケーブルカメラの懸架装置、およびポータブルカメラの架台のうち少なくとも１個を含んでいてよい。
【００１９】
いくつかの実施形態において、カメラシステムにおける変化により生じたカメラ画像の変化率をモニタリングするステップは、カメラの位置、カメラの方位、カメラのズームパラメータ、およびカメラの焦点パラメータのうち少なくとも１個の変化率を決定するステップを含んでいる。これらの変化率のうち１個以上を決定することにより、カメラにおける変化により生じたカメラ画像の変化率を推定することができる。
【００２０】
本発明は更なる態様において、カメラを含むカメラシステムであってカメラ姿勢に基づいて出力画像を生成すべく配置されたカメラシステムと、カメラの漸進的姿勢測定値を経時的に取得して、当該漸進的姿勢測定値を用いてカメラ姿勢を推定すべく構成された（但し推定されたカメラ姿勢は誤差を有する）第１の姿勢測定装置と、カメラの絶対姿勢測定を取得すべく構成された絶対姿勢測定装置と、カメラにおける変化により生じたカメラ画像の変化率をモニタリングすべく構成されたモニタリング装置と、絶対姿勢の測定値と推定カメラ姿勢の差異に基づいて姿勢補正量を決定すると共に、漸進的姿勢測定値に基づいてカメラシステムのパラメータを周期的に調整すべく構成されたコントローラとを含むカメラ制御システムに見出される。調整は、推定カメラ姿勢誤差を補正すべく姿勢補正を実行するように更に設定されている。姿勢補正は、カメラ画像のモニタリングされた変化率に基づく割合で実行される。本発明はまたオプションとして、本明細書に記述した対応する方法ステップを実装するシステム機能を含んでいる。
【図面の簡単な説明】
【００２１】
本発明の実施形態について、添付の図面を参照しつつ専ら例示的に記述する。
【図１】本発明によるカメラ制御システムのブロック線図である。
【図２】本発明による図１のカメラ制御システムの動作方式を示すフロー図である。
【発明を実施するための形態】
【００２２】
まず図１を参照するに、本発明のカメラ制御システムのブロック線図を示す。本カメラ制御システムは、カメラ１０、架台２０、漸進的姿勢測定装置３０、絶対姿勢測定装置４０、モニタリング装置５０、およびコントローラ６０を含んでいる。
【００２３】
カメラ１０は、架台２０に連結または固定されている。架台はパンおよびチルトヘッドまたは台座の一方または両方を含んでいても、ケーブルカメラ懸架装置であってもよく、あるいは、携帯または本体に支持された架台等のポータブルカメラ架台を用いることもできる。カメラ１０および架台２０は、カメラシステムの一部をなしている。カメラ１０は中央システム（図示せず）に画像を提供する。カメラ１０はまた、自身のズームおよび焦点パラメータを検出するエンコーダを含んでいる。
【００２４】
カメラ制御システムはまた、カメラ１０の漸進的姿勢測定装置３０を有している。漸進的姿勢測定装置３０は、これらの２次元内で漸進的にカメラ１０の２次元位置およびカメラの方位角を決定する推測航法オドメトリック装置を含んでいる。これらの２次元測定値には高さは含まれない。別々のエンコーダを用いて高さおよび他の姿勢関連測定値を測定することができる。
【００２５】
本カメラ制御システムは、カメラ１０用の絶対姿勢測定装置４０を更に含んでいる。これは、漸進的姿勢測定装置３０よりも測定周波数が大幅に低い。絶対姿勢測定装置４０の一部としてレーザー追尾システムを用いているが、これは既知の基準位置にある標識を認識および追跡し、そこからの距離を計算することにより位置を測定すべく設計されている。一般に、このような装置は、少なくとも１４０ｍｓ、またはこれよりもかなり大きい間隔で絶対位置の測定値を提供することができる。
【００２６】
漸進的姿勢測定装置３０および絶対姿勢測定装置４０は、各々自身の測定値をコントローラ６０に提供する。漸進的姿勢測定値を用いて、推定カメラ姿勢を決定することができる。
【００２７】
モニタリング装置５０は、カメラ１０における変化により生じた、カメラ１０により生成された画像の変化率を決定する。特に、カメラ１０における変化はカメラ姿勢の変化を含んでいるが、カメラにおける他の変化、例えばズームまたは焦点の変化を含んでいてよい。
【００２８】
コントローラ６０は次いで、漸進的姿勢測定値および絶対姿勢測定値に基づいて、カメラ１０および架台２０を含むカメラシステムのパラメータ、または当該カメラシステムにより生成される出力画像を調整する。特に、コントローラ６０は主としてカメラ１０の瞬間的な位置、方位またはその両方を決定する漸進的姿勢測定を用いるが、瞬間的な測定値における誤差を補正する絶対姿勢測定値も用いる。
【００２９】
絶対姿勢測定値が決定されたならば、推定カメラ姿勢における誤差を確定でき、コントローラ６０は姿勢の補正量を決定することができる。コントローラによりなされる調整はまた、推定カメラ姿勢誤差を補正するように姿勢補正を実行すべく設定される。この調整は、モニタリング装置５０により決定されたカメラ画像の変化率に基づく割合で姿勢補正が実行されるように行われる。このように、出力画像に誤差があっても、撮影者に補正を気付かれないように補正される。
【００３０】
ここで、本カメラ制御システムの動作方式について図２を参照しつつ記述し、当該方式に沿ったアルゴリズムのフロー図を示す。本アルゴリズムはコントローラ６０内においてソフトウェアで実現することが望ましい。
【００３１】
プログラムは初期化され、第１のステップにおいて、原点における起源絶対カメラ姿勢の測定がなされる。これにより、推測航法システム３０の基準点が得られる。
【００３２】
本アルゴリズムは反復的であって、周期的に補正を行う。そのタイミングは同期化信号により設定される。この同期化のためにＧｅｎｌｏｃｋ信号を用いる。ＰＡＬビデオソースから誘導されたＧｅｎｌｏｃｋ信号は５０Ｈｚタイミング性能を提供するが、ＮＴＳＣビデオソースから誘導された場合は６０Ｈｚになる。Ｇｅｎｌｏｃｋ信号を受信する都度、漸進的姿勢測定値が取得される。従って、漸進的姿勢測定値は、絶対姿勢測定値よりも極めて頻繁に得られる。漸進的姿勢測定値はタイムスタンプが付与されて配列に保存される。
【００３３】
Ｇｅｎｌｏｃｋ信号を受信したならば、コントローラ６０は、最後の補正サイクル以降に絶対姿勢測定値が生成されているか否かを調べる。絶対姿勢測定装置４０は必ずしも一定の間隔で測定値を生成する訳ではない。更に、絶対姿勢測定値は必ずしも漸進的姿勢測定値と同期して生成される訳ではない。実際、このような同期は起こり難い。また、絶対姿勢測定と漸進的姿勢測定の間に何らかの待ち時間（恐らく１００ｍｓ）があり得る。従って絶対位置の測定値もまた、タイムスタンプが付与されて保存される。
【００３４】
最後の補正サイクル以降に絶対姿勢測定値が生成されている場合、現在の誤差を決定する。漸進的姿勢測定値の配列を用いてこの誤差を確定して、推定姿勢を決定する。推定姿勢は、絶対姿勢測定値のタイムスタンプに合致する時刻について確定される。このタイムスタンプは通常、どの漸進的姿勢測定値のタイムスタンプとも合致しない。従って、推定姿勢は通常、漸進的姿勢測定からの線形補間を用いて決定される。次いで推定姿勢と絶対姿勢測定値の誤差を決定する。
【００３５】
アルゴリズムの最後の補正サイクル以降、新規の絶対姿勢測定値が決定されなかった場合、残余誤差が誤差として計算される。これは、アルゴリズムの先の補正サイクルにおいて決定された誤差を用いて、先の補正サイクル内で姿勢の補正が実行されたならばこれを考慮に入れることにより決定される。
【００３６】
次いでカメラ画像の変化率を計算する。これは、視野およびカメラレンズの焦点距離の変化と合わせて、漸進的姿勢測定値を用いてカメラ姿勢の変化率（カメラ速度）をモニタリングすることにより決定される。これらにより、カメラ姿勢の変化率およびカメラの焦点およびズームの変化率を確定する。カメラにおける変化により生じたカメラ画像の変化率がこれにより決定される。短期間に記録された漸進的姿勢測定値の曲線適合の勾配を用いることができる。
【００３７】
続いてカメラ画像の変化率を用いてカメラ姿勢の誤差を補正すべき割合を決定する。カメラ姿勢における誤差を補正すべき割合は、撮影者の知覚を考慮にいれてこれをカメラ画像の変化率に関連付けるモデルを用いて確定される。通常、このモデルは非線形である。これにより画像の撮影者が気付くことなく誤差を補正することができる。
【００３８】
カメラサイクルで適用される補正は次いで、決定された誤差および誘導された補正割合から確定された姿勢補正量を用いて計算される。サイクルの最終ステップとして、推定カメラ姿勢は次いで、適用された補正により更新される。この更新された推定カメラ姿勢は次いで、制御目的のため、または仮想現実システム内で生成された合成画像のために用いられる。
【００３９】
本発明の一実施形態について上で述べたが、当業者は各種の変更を考え付くであろう。
【００４０】
同期化のためにＧｅｎｌｏｃｋ信号を用いてきたが、他の同期化方式を追加的または代替的に用いることができる。また、推定姿勢を決定するために線形補間を用いているが、他の補間技術が用いることができる。
【００４１】
上述の実施形態において、カメラにおける変化により生じたカメラ画像の変化率は、姿勢、ズーム、および焦点等のカメラパラメータの変化率をモニタリングすることにより決定される。あるいは、画像処理を用いてこの変化率を決定することができる。
【００４２】
カメラ画像の変化率をカメラ姿勢における誤差を補正すべき割合に関連付けるモデルは線形であるか、または線形、非線形、閾値、および他の変換規則の組合せを用いてもよい。
【特許請求の範囲】
【請求項１】
可動カメラの推定姿勢における誤差の補正方法であって、前記カメラは、前記カメラの姿勢に基づいて出力画像を生成するカメラシステムの一部または全体であり、
前記カメラの漸進的姿勢測定値を経時的に取得して、前記漸進的姿勢測定値を用いて前記カメラ姿勢を推定する（但し前記推定されたカメラ姿勢は誤差を有する）ステップと、
前記カメラの絶対姿勢測定値と前記推定カメラ姿勢の差異に基づいて姿勢の補正量を決定するステップと、
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップと、
前記漸進的姿勢測定値に基づいて前記カメラシステムのパラメータを周期的に調整するステップとを含んでいて、前記調整が更に、前記推定カメラ姿勢の誤差を補正するように前記姿勢補正を実行するために設定され、前記カメラ画像の前記モニタリングされた変化率に基づく割合で前記姿勢補正が実行される方法。
【請求項２】
前記漸進的姿勢測定値が、位置の測定値および方位測定値のうち少なくとも１個を含み、前記推定カメラ姿勢が、前記カメラの推定位置および前記カメラの推定方位のうち少なくとも１個を含んでいて、前記絶対姿勢測定値が絶対カメラ位置およびカメラの絶対方位のうち少なくとも１個を含む、請求項１に記載の方法。
【請求項３】
前記カメラ画像の変化率をモニタリングするステップが、前記カメラシステムにおける変化により生じた前記カメラ画像の移動速度をモニタリングするステップと、前記カメラシステムにおける変化により生じた前記カメラ画像の回転速度をモニタリングするステップのうち少なくとも１個を含む、請求項１または２に記載の方法。
【請求項４】
前記カメラシステムのパラメータを周期的に調整するステップが、前記カメラシステムの位置および、前記カメラシステムの方位のうち少なくとも１個所望の設定に制御するステップを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記カメラにより生成された画像を用いて、前記推定カメラ姿勢に基づいて前記カメラシステム用の出力画像を生成するステップを更に含み、
前記カメラシステムのパラメータを周期的に調整するステップが、出力画像の生成を調整するステップを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記姿勢補正を実行すべく前記調整を設定するステップが、前記漸進的姿勢測定値および前記姿勢補正の比率に基づいて前記調整を設定するステップを含んでいて、前記姿勢補正の比率が、カメラ画像の前記モニタリングされた変化率に基づいている、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記姿勢補正の比率が、カメラ画像の前記モニタリングされた変化率に正比例している、請求項６に記載の方法。
【請求項８】
前記カメラ画像の変化率をモニタリングするステップが、前記推定カメラ姿勢の変化率を決定するステップを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記カメラシステムが架台に連結されたカメラを含んでいて、前記推定カメラ姿勢の変化率を決定するステップが、前記架台姿勢の変化率を決定するステップを含む、請求項８に記載の方法。
【請求項１０】
前記架台が、パンおよびチルトヘッド、台座、ケーブルカメラの懸架装置、およびポータブルカメラの架台のうち少なくとも１個を含む、請求項９に記載の方法。
【請求項１１】
前記カメラシステムにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップが、前記カメラの位置、前記カメラの方位、前記カメラのズームパラメータ、および前記カメラの焦点パラメータのうち少なくとも１個の変化率を決定するステップを含む、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップが、前記カメラにより生成された画像の解析を含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
カメラを含んでいて、カメラ姿勢に基づいて出力画像を生成すべく配置されたカメラシステムと、
前記カメラの漸進的姿勢測定値を経時的に取得して、前記漸進的姿勢測定値を用いてカメラ姿勢を推定すべく構成された（但し前記推定されたカメラ姿勢は誤差を有する）第１の姿勢測定装置と、
前記カメラの絶対姿勢測定を取得すべく構成された絶対姿勢測定装置と、
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングすべく構成されたモニタリング装置と、
前記絶対姿勢の測定値と前記推定カメラ姿勢の差異に基づいて姿勢補正量を決定すると共に、前記漸進的姿勢測定値に基づいて前記カメラシステムのパラメータを周期的に調整すべく構成されたコントローラとを含むカメラ制御システムであって、前記調整が、前記推定カメラ姿勢誤差を補正すべく前記姿勢補正を実行するように更に設定されていて、前記姿勢補正が、カメラ画像の前記モニタリングされた変化率に基づく割合で実行されるカメラ制御システム。
【請求項１】
可動カメラの推定姿勢における誤差の補正方法であって、前記カメラは、前記カメラの姿勢に基づいて出力画像を生成するカメラシステムの一部または全体であり、
前記カメラの漸進的姿勢測定値を経時的に取得して、前記漸進的姿勢測定値を用いて前記カメラ姿勢を推定する（但し前記推定されたカメラ姿勢は誤差を有する）ステップと、
前記カメラの絶対姿勢測定値と前記推定カメラ姿勢の差異に基づいて姿勢の補正量を決定するステップと、
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップと、
前記漸進的姿勢測定値に基づいて前記カメラシステムのパラメータを周期的に調整するステップとを含んでいて、前記調整が更に、前記推定カメラ姿勢の誤差を補正するように前記姿勢補正を実行するために設定され、前記カメラ画像の前記モニタリングされた変化率に基づく割合で前記姿勢補正が実行される方法。
【請求項２】
前記漸進的姿勢測定値が、位置の測定値および方位測定値のうち少なくとも１個を含み、前記推定カメラ姿勢が、前記カメラの推定位置および前記カメラの推定方位のうち少なくとも１個を含んでいて、前記絶対姿勢測定値が絶対カメラ位置およびカメラの絶対方位のうち少なくとも１個を含む、請求項１に記載の方法。
【請求項３】
前記カメラ画像の変化率をモニタリングするステップが、前記カメラシステムにおける変化により生じた前記カメラ画像の移動速度をモニタリングするステップと、前記カメラシステムにおける変化により生じた前記カメラ画像の回転速度をモニタリングするステップのうち少なくとも１個を含む、請求項１または２に記載の方法。
【請求項４】
前記カメラシステムのパラメータを周期的に調整するステップが、前記カメラシステムの位置および、前記カメラシステムの方位のうち少なくとも１個所望の設定に制御するステップを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記カメラにより生成された画像を用いて、前記推定カメラ姿勢に基づいて前記カメラシステム用の出力画像を生成するステップを更に含み、
前記カメラシステムのパラメータを周期的に調整するステップが、出力画像の生成を調整するステップを含む、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記姿勢補正を実行すべく前記調整を設定するステップが、前記漸進的姿勢測定値および前記姿勢補正の比率に基づいて前記調整を設定するステップを含んでいて、前記姿勢補正の比率が、カメラ画像の前記モニタリングされた変化率に基づいている、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記姿勢補正の比率が、カメラ画像の前記モニタリングされた変化率に正比例している、請求項６に記載の方法。
【請求項８】
前記カメラ画像の変化率をモニタリングするステップが、前記推定カメラ姿勢の変化率を決定するステップを含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記カメラシステムが架台に連結されたカメラを含んでいて、前記推定カメラ姿勢の変化率を決定するステップが、前記架台姿勢の変化率を決定するステップを含む、請求項８に記載の方法。
【請求項１０】
前記架台が、パンおよびチルトヘッド、台座、ケーブルカメラの懸架装置、およびポータブルカメラの架台のうち少なくとも１個を含む、請求項９に記載の方法。
【請求項１１】
前記カメラシステムにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップが、前記カメラの位置、前記カメラの方位、前記カメラのズームパラメータ、および前記カメラの焦点パラメータのうち少なくとも１個の変化率を決定するステップを含む、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングするステップが、前記カメラにより生成された画像の解析を含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
カメラを含んでいて、カメラ姿勢に基づいて出力画像を生成すべく配置されたカメラシステムと、
前記カメラの漸進的姿勢測定値を経時的に取得して、前記漸進的姿勢測定値を用いてカメラ姿勢を推定すべく構成された（但し前記推定されたカメラ姿勢は誤差を有する）第１の姿勢測定装置と、
前記カメラの絶対姿勢測定を取得すべく構成された絶対姿勢測定装置と、
前記カメラにおける変化により生じた前記カメラ画像の変化率をモニタリングすべく構成されたモニタリング装置と、
前記絶対姿勢の測定値と前記推定カメラ姿勢の差異に基づいて姿勢補正量を決定すると共に、前記漸進的姿勢測定値に基づいて前記カメラシステムのパラメータを周期的に調整すべく構成されたコントローラとを含むカメラ制御システムであって、前記調整が、前記推定カメラ姿勢誤差を補正すべく前記姿勢補正を実行するように更に設定されていて、前記姿勢補正が、カメラ画像の前記モニタリングされた変化率に基づく割合で実行されるカメラ制御システム。
【図１】
【図２】
【図２】
【公開番号】特開２０１１−２２３５８０（Ｐ２０１１−２２３５８０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−８６４３５（Ｐ２０１１−８６４３５）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（５００４５２６１７）ザ ヴィテック グループ ピーエルシー (10)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１１−８６４３５（Ｐ２０１１−８６４３５）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（５００４５２６１７）ザ ヴィテック グループ ピーエルシー (10)
【Ｆターム（参考）】
[ Back to top ]