動的校正機能付きカメラおよびその方法
【課題】カメラの位置の変化及び環境設定の変化に対して制限のないリアルタイム校正を行う。
【解決手段】カメラは、まず初期校正される。次に、カメラの動作量が計算され、動作量に従い、カメラの複数の動作量推定サンプルが生成される。次に、複数の動作量推定サンプルのそれぞれの重みが計算される。その後、重みに基づき、複数の動作量推定サンプルがリサンプリングされ、カメラは、リサンプリングされた推定動作サンプルによって校正される。
【解決手段】カメラは、まず初期校正される。次に、カメラの動作量が計算され、動作量に従い、カメラの複数の動作量推定サンプルが生成される。次に、複数の動作量推定サンプルのそれぞれの重みが計算される。その後、重みに基づき、複数の動作量推定サンプルがリサンプリングされ、カメラは、リサンプリングされた推定動作サンプルによって校正される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの校正方法に関する。
【背景技術】
【０００２】
環境のセキュリティでの利用ということに関し、カメラは、一般的に、環境状態を監視するために用いられる。環境画像センサによって異常を正確に監視するということがこの種の製品の主要な開発トレンドになってきている。最近では、サービスロボットのローカライゼーションおよびナビゲーション技術の発達により、この種のセンサを一体化することは、サービスロボットの実際のパフォーマンスに影響を与えるキー技術の一つであるとみなされている。
【０００３】
従来のカメラでは、カメラの内部および外部パラメータの校正を完全なものとするには、校正動作は、標準的な校正ボード、または、予め決められた環境的ランドマークを介して実行されなければならない。
【０００４】
図１は、一般のカメラの画像座標および環境座標を示す概念図である。図１に示すように、［ｕ，ｖ］は、画像平面における位置を表し、［Ｘｃ，Ｙｃ，Ｚｃ］は、カメラ空間座標を表し、［Ｘｗ，Ｙｗ，Ｚｗ］は、世界空間座標を示す。内部パラメータの校正により、カメラの焦点位置、画像歪み、画像の中心位置などが決定され、［ｕ，ｖ］と［Ｘｃ，Ｙｃ，Ｚｃ］との間の関係を決定するのに用いられる。外部パラメータは、世界座標に対するカメラの位置、すなわち、［Ｘｃ，Ｙｃ，Ｚｃ］と［Ｘｗ，Ｙｗ，Ｚｗ］との間の変換を表す。
【０００５】
このような校正方法は、ワンステップ校正手順、すなわち、一般的に、単一のカメラの校正を完了するのに比較的長い時間がかかるオフラインの校正方法である。一方、カメラの校正を完了するための設定は、固定でなければならない。つまり、カメラの焦点または位置は固定でなければならない。例えば、ズームイン、ズームアウトなどカメラの焦点を調整する場合、または、カメラの位置を変更することにより、カメラの監視環境（例えば、一般的なパンチルトズーム（ＰＴＺ）カメラにより通常実行されるパンまたはチルト動作）を変える場合、カメラは、再校正されなければならない。したがって、このような技術の適用の柔軟性は限られ、多くのカメラは、比較的広い範囲を監視するよう設定される必要があるので、環境監視、異常の追跡、および、ロボットの位置決めにかかる費用が嵩む。
【０００６】
現在、カメラの位置決めの関連特許または技術は、主に、標準校正ボード（米国特許６９８５１７５Ｂ２および米国特許６４３７８２３Ｂ１）、または、環境における特別なランドマークの設計を利用し、校正ボード、または、その世界座標に対応する環境におけるランドマークから関連情報を抽出することにより、カメラパラメータの校正を行っている。校正ボードを利用する場合、校正ボード内の標準パターンのサイズ（世界座標のサイズに対応する）は、前もって測定されている必要があり、校正ボードは、校正に用いる画像を撮影するよう、カメラが捕らえた範囲内の任意の高さ、角度、または、位置に配置される。その後、画像処理に基づき、画像の各グリッドに対応する画素位置が得られ、カメラの内部および外部パラメータが計算されることにより、カメラの校正手順は完了する。環境のランドマークを設計する場合は、異なる校正画像を取得する必要はない。このような方法では、グラウンドにおける異なる世界座標の位置は、前もって測定されてマークされ、画像におけるランドマークの画素位置は、画像処理によって得られるので、世界座標に対応するカメラ校正を行うことができる。
【０００７】
さらに、米国特許第６１０１４５５では、ロボットアーム、および、ポイント−パターン投影により実行されるカメラ校正が開示されている。このような特許の概念は、空間内を移動するロボットアームの位置情報と、ロボットアームのフロントエンドに投影されるポイント−パターン投影の形状と、カメラによって撮影される校正ボード上のパターンとに従い、異なる位置におけるカメラを校正することである。
【０００８】
したがって、現在のカメラ動的校正では、校正は、外部環境設定に従い実行されなければならず、カメラの位置が変化すると、次の校正を行うために環境設定もリセットしなければならない。したがって、カメラ位置の変化、および、環境設定の変化に対して制限のないリアルタイム校正方法が要求される。
【発明の概要】
【０００９】
したがって、本発明は、カメラの動的校正方法、および、このような動的校正機能付きカメラを目的とする。カメラが動作プロセス中にパン／チルトすると、カメラの校正パラメータが動的に推定され、広範囲の正確な監視、および、移動式キャリアの位置決めなどのより効果的なシステ適合要件が提供される。
【００１０】
本発明は、カメラの動的校正方法を提供し、当該方法におけるカメラは、点光源を利用する。まず、カメラを初期校正する。次に、点光源が外部環境に光を投影することにより、光点が生成され、当該光点の位置は、世界座標として記録される。次に、カメラは、光点の第１の光点画像を取り込み、当該第１の光点画像の位置を第１の画像座標として記録する。カメラが動くと、カメラの動作量が計算され、複数の動作量推定サンプルが生成される。複数の動作量推定サンプルは、カメラパラメータの推定サンプルを表す。点光源は動かない状態で、動いたカメラが光点を撮像し、第２の光点画像の第２の画像座標を得る。次に、動作量推定サンプル、および、第２の画像座標に従い、動的校正手順が実行され、最適な校正パラメータ推定結果が出る。
【００１１】
上記動的校正手順は、予測手順、アップデート手順、および、リサンプリング手順をさらに備える。予測手順では、第１の光点画像、および、カメラの動作量に従い、動作量推定サンプルが生成される。アップデート手順では、各動作量推定サンプルに重みが割り当てられることにより、動作量推定サンプルがアップデートされる。リサンプリング手順では、動作量推定サンプルに割り当てられた重みに従い、複数の動作量推定サンプルがリサンプリングされることにより、推定サンプルの収束が保証される。
【００１２】
本発明は、カメラの動的校正方法をさらに提供する。まず、カメラを初期校正する。次に、カメラの動作量が計算される。次に、動作量に従い、カメラの複数の動作量推定サンプルが生成される。次に、各動作量推定サンプルの重みが計算される。次に、重みに基づき、複数の動作量推定サンプルがリサンプリングされる。最後に、リサンプリングされた動作量推定サンプルに従い、カメラを校正するための最適な推定サンプルが得られる。
【００１３】
本発明は、動的校正機能付きカメラをさらに提供する。カメラは、視覚感知ユニット、カメラ校正パラメータ推定ユニット、および、空間座標変換ユニットを有する。視覚感知ユニットは、点光源により形成される光点を感知して画像光点を形成し、カメラの動きを制御する。カメラ校正パラメータ推定ユニットは、点光源、画像光点、および、カメラの動作量に従い、複数の動作量推定サンプルを生成して動的校正手順を実行する。空間座標変換ユニットは、光点の世界座標、および、画像光点の画像座標を変換する。その場合、光点の位置は記録され、カメラは、光点の第１の光点画像を取り込み、第１の光点画像の位置を第１の画像座標として記録する。カメラが動くと、カメラの動作量が計算され、動作量推定サンプルが生成される。点光源は動かない状態で、動いたカメラが光点を撮像し、第２の光点画像の第２の画像座標を得る。次に、動作量推定サンプル、および、第２の画像座標に従い、動的校正手順が実行され、最適な校正パラメータ推定結果を得る。
【００１４】
本発明では、ＰＴＺカメラと点光源投影装置とが一体化し、動的カメラ校正パラメータの推定は、ＰＩＺカメラ内のモータ信号、および、点光源によって投影されるグラウンドにおける投影位置により行われる。校正済みカメラの場合、カメラが動いたことによる再校正用に、関連する校正画像を準備する時間がかからなくなるので、カメラの監視角度はすぐに調整されることができ、動いている被写体の検出範囲および追跡範囲を拡大することができる。一方で、組込み式高性能カメラ（組込みシステムを有するカメラ）にデバイスハードウェアが一体化されることにより、携帯適用性を向上させ、コストを削減することができる。
【００１５】
本発明の上記および他の目的、特徴、および、利点を理解すべく、図面と共にいくつかの実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【００１６】
添付の図面は、本発明の理解を深めるのに役立つと共に、本願明細書の一部をなす。図面は、記載と共に本発明の複数の実施形態を示し、本発明の原理を説明する役割を果たす。
【００１７】
【図１】一般的なカメラの画像座標および環境座標の概念を示す概略図である。
【００１８】
【図２】本発明の一実施形態におけるシステム１００の動作概念を示す概略図である。
【００１９】
【図３】本発明の一実施形態における、システム構造を示す概略図である。
【００２０】
【図４】本発明の実施形態における動作シーケンスを示す概略図である。
【００２１】
【図５】本発明の動作フローチャートである。
【００２２】
【図６】動的校正中に発生したバックプロジェクションエラーの概念を示す概略図である。
【発明を実施するため形態】
【００２３】
本発明を実現するために用いられるセンサ一体化、および、ポーズの推定技術は、カメラのモータ回転信号と、カメラの点光源投影モジュールによりグラウンドに投影された光点とを合わせて利用することにより、オンラインカメラ校正を実行しうる。説明のためのいくつかの実施形態が以下に提供される。
【００２４】
図２は、本発明の一実施形態におけるシステムの動作概念を示す概略図である。図２に示されるように、カメラ１０は、点光源２０を備え、当該点光源２０は、カメラ校正のための光点を提供する。点光源２０から発せられた光ビームは、環境内に光点４０を形成し、光点４０の画像光点４２がカメラ１０の画像平面に形成される。当該環境で形成される光点４０は、世界座標［Ｘｗ，Ｙｗ，Ｚｗ］により定義され、画像光点４２は、画像座標［ｕ，ｖ］により定義される。カメラ１０は、空間においてパンまたはチルトなどの動きをするよう、モータ３０によりさらに制御されることができる。
【００２５】
図３は、本発明の一実施形態におけるシステム構造を示す概略図である。図３に示すように、システム１００は、視覚感知ユニット１１０、空間座標変換ユニット１２０、および、カメラ校正パラメータ推定ユニット１３０などを有する。上記ユニット１１０、１２０、および、１３０は、システム１００のマイクロプロセッサ１４０により制御されることができ、その結合関係は、実際の実装に従い決定される。図３は、一例を示すに過ぎない。
【００２６】
図３に示されるように、視覚感知ユニット１１０は、画像処理モジュール１１２と、モータ制御モジュール１１４と、点光源制御モジュール１１６とを有する。視覚感知ユニット１１０は、ハードウェア制御層であって、画像処理、モータ信号処理、および、点光源制御に用いられる。画像処理モジュール１１２は、カメラで撮影された画像の前処理のために用いられる。モータ制御モジュール１１４は、カメラの動きを制御するのに用いられ、点光源制御モジュール１１６は、光点の投影を制御するのに用いられる。
【００２７】
カメラ校正パラメータ推定ユニット１３０は、定位置校正パラメータの推定、または、動的位置校正パラメータの推定が実際の必要条件に従い実行される、オンライン動的校正パラメータの推定に主に用いられる。カメラ校正パラメータ推定ユニット１３０は、基本的には、初期校正手順の設定、校正パラメータ推定サンプルの予測、および、校正パラメータ推定サンプルのアップデートなどに用いられる。換言すると、カメラ校正パラメータ推定ユニット１３０は、校正パラメータ推定サンプルを予測し、アップデートするのに用いられる。
【００２８】
空間座標変換ユニット１２０は、画像座標［ｕ，ｖ］と世界座標［Ｘｗ，Ｙｗ，Ｚｗ］との間の変換を実行する。空間座標変換ユニット１２０は、システムソフトウェアにより実装されうる、画像座標を世界座標に変換するか、または、世界座標を画像座標に変換する機能またはモジュールを有する。空間座標変換ユニット１２０は、校正パラメータ推定サンプルをアップデートすべくカメラ校正パラメータ推定ユニット１３０を支援するのに用いられる。空間座標変換ユニット１２０は、画像平面［ｕ，ｖ］におけるデータを世界座標［Ｘｗ，Ｙｗ，Ｚｗ］に変換し、それをグラウンドに投影された光点と比較することによって、推定サンプルをアップデートする。
【００２９】
上記ユニット１１０、１２０、および、１３０は、例えば、ＡＲＭ（Ａｄｖａｎｃｅｄ ＲＩＳＣ ｍａｃｈｉｎｅ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）などの、カメラの組込みシステムによって実装される。
【００３０】
本実施形態の動作を以下に説明する。図４は、本実施形態の動作シーケンスを示す概略図であり、図５は、本実施形態の動作フローチャートである。
【００３１】
図４に示すように、カメラ１０の初期位置は、Ｃ＿ＰＯＳ１であり、現在、点光源２０の初期位置は、Ｌ＿ＰＯＳ１（１）である。この段階では、点光源２０から発せられる光は、環境において光点Ａを形成し、光点Ａの対応する世界座標は、［Ｘ１，Ｙ１］である。さらに、カメラ１０が動くと、その位置は、Ｃ＿ＰＯＳ２に変化する。このようなプロセスの間に、カメラ１０の動的校正手順が実行される。まず、点光源２０は、光点Ａ［Ｘ１，Ｙ１］に光を投影する、すなわち、点光源２０の位置は、Ｌ＿ＰＯＳ２（０）である。そして、点光源２０の位置は、Ｌ＿ＰＯＳ２（１）に移動する。点光源２０を用いたカメラ１０の動的校正を以下に詳細に説明する。
【００３２】
図４に示すように、まずカメラ１０は初期位置Ｃ＿ＰＯＳ１に位置しており、点光源２０の初期位置は、Ｌ＿ＰＯＳ１（１）である。ここでカメラ１０の校正は完了する。上述のごとく、点光源２０により投影される光点の世界座標は、［Ｘ１，Ｙ１］であり、センサの画像平面における、カメラ１０により形成される光点の画像座標は、［Ｕ１，Ｖ１］である。
【００３３】
次に、カメラ１０が位置Ｃ＿ＰＯＳ１から位置Ｃ＿ＰＯＳ２へと動くと、カメラ１０の動的校正手順が実行される。動的校正手順が実行されているとき、点光源２０は動かず、すなわち、位置Ｌ＿ＰＯＳ２（０）および位置Ｌ＿ＰＯＳ１（１）は同じであり、環境における点光源２０の投影位置は、位置［Ｘ１，Ｙ１］のままである。しかしながら、カメラ１０は動いているので、画像平面における画像座標は、［Ｕ１，Ｖ１］から［Ｕ２，Ｖ２］へと移動する。つまり、撮像位置が［Ｕ１，Ｖ１］から［Ｕ２，Ｖ２］へと変化しても、環境における光点の位置は変化せず、位置［Ｘ１，Ｙ１］に維持される。
【００３４】
上記カメラ動的校正手順によれば、Ｎ個のカメラ動作量推定サンプル、すなわち、Ｎ個のカメラ校正パラメータソリューションは、カメラ１０により制御されるモータ３０の実際の回転量と、実際の回転の間に生じる可能性のあるばらつきとに従い、生成される。
【００３５】
上記動的校正手順によれば、位置Ｌ＿ＰＯＳ２において光源２０により形成される光点の画像座標［Ｕ２，Ｖ２］は、Ｎ個のカメラ校正パラメータソリューションにより、世界座標位置（ｘｉ、ｙｉ）に投影される。ここでは、ｉ＝１−Ｎである。次に、Ｎ個の可能性のある位置（ｘｉ，ｙｉ）は、実際の光点位置［Ｘ１，Ｙ１］と比較される。その後、実際の光点位置［Ｘ１，Ｙ１］とＮ個の可能性のある位置（ｘｉ、ｙｉ）との間の異なる距離に従い、Ｎ個の可能性のある位置（ｘｉ、ｙｉ）の重みが計算される。重みが算出された後、利用される校正パラメータソリューションを表す最も近い距離は、最高の重みを有し、最高の重みを有するものが校正パラメータの結果としてみなされる。
【００３６】
その後、Ｎ個の校正パラメータソリューションの重みに従い、新たなＮ個のカメラ動作量推定サンプルが生成されて、前のＮ個の校正パラメータソリューションと置き換えられることによって、システムの収束を保証する。換言すると、Ｎ個の校正パラメータソリューション、および、その重みを数回丸めることにより、Ｎ個の校正パラメータソリューションのセットは、ますます収束し、カメラの精度が著しく向上することによって、カメラの動的校正は実現する。
【００３７】
校正が完了した後、点光源２０は、位置Ｌ＿ＰＯＳ２（１）へと移動する。ここで、カメラ１０が回転コマンドを受け取ると、上記動的校正手順が繰り返されて同じ校正手順を実行する。反対に、カメラ１０は、校正パラメータの最新の結果を維持する。
【００３８】
図５は、本実施形態の動作フローチャートである。図４および図５を参照すると、ステップＳ１００において、カメラ１０に初期校正を実行する、つまり、カメラ１０のパラメータは、カメラ１０が静止している状態で校正される。このようなステップは、図４のカメラ１０が位置Ｃ＿ＰＯＳ１にあり、点光源２０が位置Ｌ＿ＰＯＳ１（１）にある場合に実行される校正手順と同じである。
【００３９】
次に、ステップＳ１０２において、環境内で点光源２０が光ビームを投影し、グラウンドに光点Ａを形成し、光点の世界座標［Ｘ１，Ｙ１］が記録される。
【００４０】
次に、ステップＳ１０４において、カメラ１０は、光点を撮像し、画像平面に形成されるグラウンド光点Ａの撮像位置［Ｕ１，Ｖ１］（すなわち、画像平面における画像座標）を記録する。
【００４１】
次に、ステップＳ１０６において、カメラが動くかどうかが決定され、カメラが動かない場合、ステップＳ１０２が繰り返され、動的校正手順は実行されない。反対に、カメラが動く場合、ステップＳ１０８が実行されてカメラの動作量が計算されることにより、Ｎ個の動作量推定サンプルが生成される。
【００４２】
次に、ステップＳ１１０において、光点Ｂが撮像され、カメラが動いた後に画像平面に形成されるグラウンド光点Ｂの画像座標［Ｕ２，Ｖ２］が記録される。
【００４３】
その後、ステップＳ１１２において、カメラ動的校正手順が実行される。このような動的校正手順は、予測、アップデート、および、リサンプリングからなる３つの主な手順を含む。
【００４４】
図４を参照すると、予測手順に従い、位置Ｌ＿ＰＯＳ２において光源２０により形成された光点の画像座標［Ｕ２，Ｖ２］は、Ｎ個のカメラ校正パラメータソリューションによって、世界座標位置（ｘｉ，ｙｉ）（すなわち、Ｎ個の動作量推定サンプル）に投影される。換言すると、世界座標に対応する画像座標［Ｕ２，Ｖ２］の可能性のある位置が推定されることにより、Ｎ個の可能性のあるソリューション（ｘｉ，ｙｉ）が生成される。ｉ＝１−Ｎであり、つまり、世界座標におけるＮ個の可能性のあるソリューションが推定される。図６は、上記概念の概略図である。図６によれば、投影された世界座標位置５４は、画像平面における光点５２に従い推定され、点光源の投影位置は、５０である。
【００４５】
アップデート手順に従い、Ｎ個の可能性のあるソリューションと、実際の世界座標との間の距離差がそれぞれ計算され、計算された距離差に従い、Ｎ個の可能性のあるソリューションに重みが割り当てられることにより、Ｎ個の可能性のあるソリューションと、実際の世界座標との間の相関性が識別される。利用される校正パラメータソリューションを表す最も近い距離は、最高の重みであり、当該最高の重みを有するものが校正パラメータの結果としてみなされる。図６を参照すると、システムは、点光源の投影位置５０と推定位置５４との間の距離エラーｒｅｐｒｏｊ＿ｅｒｒｉを計算する。ｉ＝１−Ｎである。
【００４６】
リサンプリング手順は、前のＮ個の校正パラメータソリューションを置き換えるための上記重みに従うＮ個のカメラ動作量推定サンプルを表す。換言すると、リサンプリングが重みに従い実行されることにより、システムの収束が著しく向上し、カメラ動作量推定サンプルが実際の世界座標とより近くなることが保証される。
【００４７】
最後に、ステップＳ１１４において、校正パラメータ推定の最適な結果が決定され、点光源２０は、初期位置へと戻る。図４では、カメラ１０の位置Ｃ＿ＰＯＳ１と、点光源２０の位置Ｌ＿ＰＯＳ１（１）とが初期位置として定義される。カメラ１０が位置Ｃ＿ＰＯＳ２に移動しても、点光源２０により投影される光点の位置は変化しない。つまり、位置Ｌ＿ＰＯＳ２（０）とＬ＿ＰＯＳ１（１）とは同じである。ここで動的校正が実行され、校正が完了した後、点光源２０は、初期位置、すなわち、位置Ｌ＿ＰＯＳ２（１）へと戻る。
【００４８】
本実施形態においては、カメラが環境の画像を撮影するそれぞれの時点では、動的カメラ校正パラメータの推定は、カメラのモータ信号と、点光源により投影されるグラウンドにおける光点の相対位置とに従い実行される。図５のフローチャートは、３つの主要部分を含む。第１の部分では、カメラの初期校正パラメータを確定する。このような部分によれば、定位置に配置されたカメラの内部パラメータと外部パラメータとを得ることができる。内部パラメータは、カメラの焦点、撮像中心、歪み補正係数などを含み、外部パラメータは、世界座標に対するカメラの位置を表し、これは、動的校正パラメータの推定部分でもあって、以下の方程式（１）により示されうる。
XI=KXC，XC=RXW+T （１）
XI=KXCは、画像平面XIと、カメラ空間座標XCとの関係を表し、Ｋは、内部パラメータマトリックスを表す。XC=RXW+Tは、カメラ空間座標と世界座標との関係を表す。RおよびTは、初期外部パラメータの回転マトリックスおよび並進マトリックスをそれぞれ表す。
【００４９】
カメラがその初期位置からパン／チルト動作を実行すると、カメラの状態は、以下の方程式（２）から（４）により示されうる。
【数１】
Rpanは、カメラのパン動作に対応する回転マトリックスであり、Rtiltは、チルト動作に対応する回転マトリックスであり、TpanおよびTtiltは、パン動作およびチルト動作にそれぞれ対応する並進マトリックスである。
【００５０】
第２の部分では、動作モデルおよび測定モデルを含むカメラ校正パラメータモデルを確定する。動作モデルは、カメラのモータの動作の差異に従い、相対的な回転および並進量を計算し、カメラの動作量が計算されて推定サンプルが生成された図５のステップＳ１０８と同じ推定サンプルの概念に従い、校正パラメータを予測するのに用いられる。このようなステップは、以下の方程式（５）から（９）により表され、方程式（９）では、ＳｔＣは、時点ｔにおける状態、すなわち、時点ｔにおけるカメラ校正パラメータの予測を表す。
【数２】
【００５１】
本実施形態では、時点ｔにおいて生成される回転または並進量は、ｔ−１の時点で生成された結果、変数δ、および、ランダムノイズＮ（０，σ）に従い予測される。測定モデルは、グラウンドに投影される光点により形成される画像平面上の撮像位置により、動作モデルに基づき計算される動作位置をアップデートするのに用いられ、以下の方程式（１０）および（１１）で示されるような推定サンプルのそれぞれの重みが計算される。
【数３】
reproj_errは、光点により画像平面上で撮像される画像座標が図６で示される計算された校正パラメータによる推定サンプル予測のそれぞれによって世界座標に投影される場合に生成されるエラー量を表し、各サンプルの重みは、方程式（１１）に従い計算される。
【００５２】
第３の部分では、第２の部分の重み計算結果に従い、推定サンプルをリサンプリングする。その場合、重みが高いサンプルほど選ばれやすいので、校正パラメータの推定結果の収束効果が高まり、それによって、校正パラメータの推定結果が得られる。
【００５３】
要約すると、上記実施形態によれば、ＰＴＺカメラと点光源投影装置とが一体化され、動的カメラ校正パラメータの推定は、ＰＴＺカメラ内のモータ信号と、グラウンドにおける点光源の投影位置とによってなし得る。
【００５４】
さらに、校正済みのカメラだと、カメラが動いたことによる再校正用に、関連する校正画像を準備する時間がかからなくなるので、カメラの監視角度はすぐに調整されることができ、動いている被写体の検出範囲および追跡範囲を拡大することができる。一方で、組込み式高性能カメラ（組込みシステムを有するカメラ）にデバイスハードウェアが一体化されることにより、携帯適用性を向上させ、コストを削減することができる。
【００５５】
また、本発明では、一般的なＰＴＺカメラが動作する際に生成されるモータ情報と、点光源エミッタのシステム状態推定テクニックとが組み合わされて動的環境のためのカメラの自動校正システムを確立する。カメラに対して初めてのオンライン校正が前もって実行された後、本発明により提供される関連デバイスおよび方法は、カメラの動作プロセス中、または、カメラがパン／チルト動作を実行する場合にカメラの校正パラメータを動的に推定することにより、従来のカメラであれば、再校正のために校正ボードまたは環境ランドマークの画像をさらに撮影しなければならないという関連技術の課題を解消する。したがって、広範囲で正確な監視、および、移動式キャリアの位置決めの必要条件を満たす、より効果的なシステムが提供される。
【００５６】
本発明の範囲または趣旨に逸脱せずに、本発明の構造にさまざまな修正および変更がなされうることが当業者には明らかであろう。上記に鑑み、以下の請求項およびそれらの均等物の範囲に納まる限りにおいて、本発明は、本発明の修正および変更を含むことが意図される。
【技術分野】
【０００１】
本発明は、カメラの校正方法に関する。
【背景技術】
【０００２】
環境のセキュリティでの利用ということに関し、カメラは、一般的に、環境状態を監視するために用いられる。環境画像センサによって異常を正確に監視するということがこの種の製品の主要な開発トレンドになってきている。最近では、サービスロボットのローカライゼーションおよびナビゲーション技術の発達により、この種のセンサを一体化することは、サービスロボットの実際のパフォーマンスに影響を与えるキー技術の一つであるとみなされている。
【０００３】
従来のカメラでは、カメラの内部および外部パラメータの校正を完全なものとするには、校正動作は、標準的な校正ボード、または、予め決められた環境的ランドマークを介して実行されなければならない。
【０００４】
図１は、一般のカメラの画像座標および環境座標を示す概念図である。図１に示すように、［ｕ，ｖ］は、画像平面における位置を表し、［Ｘｃ，Ｙｃ，Ｚｃ］は、カメラ空間座標を表し、［Ｘｗ，Ｙｗ，Ｚｗ］は、世界空間座標を示す。内部パラメータの校正により、カメラの焦点位置、画像歪み、画像の中心位置などが決定され、［ｕ，ｖ］と［Ｘｃ，Ｙｃ，Ｚｃ］との間の関係を決定するのに用いられる。外部パラメータは、世界座標に対するカメラの位置、すなわち、［Ｘｃ，Ｙｃ，Ｚｃ］と［Ｘｗ，Ｙｗ，Ｚｗ］との間の変換を表す。
【０００５】
このような校正方法は、ワンステップ校正手順、すなわち、一般的に、単一のカメラの校正を完了するのに比較的長い時間がかかるオフラインの校正方法である。一方、カメラの校正を完了するための設定は、固定でなければならない。つまり、カメラの焦点または位置は固定でなければならない。例えば、ズームイン、ズームアウトなどカメラの焦点を調整する場合、または、カメラの位置を変更することにより、カメラの監視環境（例えば、一般的なパンチルトズーム（ＰＴＺ）カメラにより通常実行されるパンまたはチルト動作）を変える場合、カメラは、再校正されなければならない。したがって、このような技術の適用の柔軟性は限られ、多くのカメラは、比較的広い範囲を監視するよう設定される必要があるので、環境監視、異常の追跡、および、ロボットの位置決めにかかる費用が嵩む。
【０００６】
現在、カメラの位置決めの関連特許または技術は、主に、標準校正ボード（米国特許６９８５１７５Ｂ２および米国特許６４３７８２３Ｂ１）、または、環境における特別なランドマークの設計を利用し、校正ボード、または、その世界座標に対応する環境におけるランドマークから関連情報を抽出することにより、カメラパラメータの校正を行っている。校正ボードを利用する場合、校正ボード内の標準パターンのサイズ（世界座標のサイズに対応する）は、前もって測定されている必要があり、校正ボードは、校正に用いる画像を撮影するよう、カメラが捕らえた範囲内の任意の高さ、角度、または、位置に配置される。その後、画像処理に基づき、画像の各グリッドに対応する画素位置が得られ、カメラの内部および外部パラメータが計算されることにより、カメラの校正手順は完了する。環境のランドマークを設計する場合は、異なる校正画像を取得する必要はない。このような方法では、グラウンドにおける異なる世界座標の位置は、前もって測定されてマークされ、画像におけるランドマークの画素位置は、画像処理によって得られるので、世界座標に対応するカメラ校正を行うことができる。
【０００７】
さらに、米国特許第６１０１４５５では、ロボットアーム、および、ポイント−パターン投影により実行されるカメラ校正が開示されている。このような特許の概念は、空間内を移動するロボットアームの位置情報と、ロボットアームのフロントエンドに投影されるポイント−パターン投影の形状と、カメラによって撮影される校正ボード上のパターンとに従い、異なる位置におけるカメラを校正することである。
【０００８】
したがって、現在のカメラ動的校正では、校正は、外部環境設定に従い実行されなければならず、カメラの位置が変化すると、次の校正を行うために環境設定もリセットしなければならない。したがって、カメラ位置の変化、および、環境設定の変化に対して制限のないリアルタイム校正方法が要求される。
【発明の概要】
【０００９】
したがって、本発明は、カメラの動的校正方法、および、このような動的校正機能付きカメラを目的とする。カメラが動作プロセス中にパン／チルトすると、カメラの校正パラメータが動的に推定され、広範囲の正確な監視、および、移動式キャリアの位置決めなどのより効果的なシステ適合要件が提供される。
【００１０】
本発明は、カメラの動的校正方法を提供し、当該方法におけるカメラは、点光源を利用する。まず、カメラを初期校正する。次に、点光源が外部環境に光を投影することにより、光点が生成され、当該光点の位置は、世界座標として記録される。次に、カメラは、光点の第１の光点画像を取り込み、当該第１の光点画像の位置を第１の画像座標として記録する。カメラが動くと、カメラの動作量が計算され、複数の動作量推定サンプルが生成される。複数の動作量推定サンプルは、カメラパラメータの推定サンプルを表す。点光源は動かない状態で、動いたカメラが光点を撮像し、第２の光点画像の第２の画像座標を得る。次に、動作量推定サンプル、および、第２の画像座標に従い、動的校正手順が実行され、最適な校正パラメータ推定結果が出る。
【００１１】
上記動的校正手順は、予測手順、アップデート手順、および、リサンプリング手順をさらに備える。予測手順では、第１の光点画像、および、カメラの動作量に従い、動作量推定サンプルが生成される。アップデート手順では、各動作量推定サンプルに重みが割り当てられることにより、動作量推定サンプルがアップデートされる。リサンプリング手順では、動作量推定サンプルに割り当てられた重みに従い、複数の動作量推定サンプルがリサンプリングされることにより、推定サンプルの収束が保証される。
【００１２】
本発明は、カメラの動的校正方法をさらに提供する。まず、カメラを初期校正する。次に、カメラの動作量が計算される。次に、動作量に従い、カメラの複数の動作量推定サンプルが生成される。次に、各動作量推定サンプルの重みが計算される。次に、重みに基づき、複数の動作量推定サンプルがリサンプリングされる。最後に、リサンプリングされた動作量推定サンプルに従い、カメラを校正するための最適な推定サンプルが得られる。
【００１３】
本発明は、動的校正機能付きカメラをさらに提供する。カメラは、視覚感知ユニット、カメラ校正パラメータ推定ユニット、および、空間座標変換ユニットを有する。視覚感知ユニットは、点光源により形成される光点を感知して画像光点を形成し、カメラの動きを制御する。カメラ校正パラメータ推定ユニットは、点光源、画像光点、および、カメラの動作量に従い、複数の動作量推定サンプルを生成して動的校正手順を実行する。空間座標変換ユニットは、光点の世界座標、および、画像光点の画像座標を変換する。その場合、光点の位置は記録され、カメラは、光点の第１の光点画像を取り込み、第１の光点画像の位置を第１の画像座標として記録する。カメラが動くと、カメラの動作量が計算され、動作量推定サンプルが生成される。点光源は動かない状態で、動いたカメラが光点を撮像し、第２の光点画像の第２の画像座標を得る。次に、動作量推定サンプル、および、第２の画像座標に従い、動的校正手順が実行され、最適な校正パラメータ推定結果を得る。
【００１４】
本発明では、ＰＴＺカメラと点光源投影装置とが一体化し、動的カメラ校正パラメータの推定は、ＰＩＺカメラ内のモータ信号、および、点光源によって投影されるグラウンドにおける投影位置により行われる。校正済みカメラの場合、カメラが動いたことによる再校正用に、関連する校正画像を準備する時間がかからなくなるので、カメラの監視角度はすぐに調整されることができ、動いている被写体の検出範囲および追跡範囲を拡大することができる。一方で、組込み式高性能カメラ（組込みシステムを有するカメラ）にデバイスハードウェアが一体化されることにより、携帯適用性を向上させ、コストを削減することができる。
【００１５】
本発明の上記および他の目的、特徴、および、利点を理解すべく、図面と共にいくつかの実施形態を以下に詳細に説明する。
【図面の簡単な説明】
【００１６】
添付の図面は、本発明の理解を深めるのに役立つと共に、本願明細書の一部をなす。図面は、記載と共に本発明の複数の実施形態を示し、本発明の原理を説明する役割を果たす。
【００１７】
【図１】一般的なカメラの画像座標および環境座標の概念を示す概略図である。
【００１８】
【図２】本発明の一実施形態におけるシステム１００の動作概念を示す概略図である。
【００１９】
【図３】本発明の一実施形態における、システム構造を示す概略図である。
【００２０】
【図４】本発明の実施形態における動作シーケンスを示す概略図である。
【００２１】
【図５】本発明の動作フローチャートである。
【００２２】
【図６】動的校正中に発生したバックプロジェクションエラーの概念を示す概略図である。
【発明を実施するため形態】
【００２３】
本発明を実現するために用いられるセンサ一体化、および、ポーズの推定技術は、カメラのモータ回転信号と、カメラの点光源投影モジュールによりグラウンドに投影された光点とを合わせて利用することにより、オンラインカメラ校正を実行しうる。説明のためのいくつかの実施形態が以下に提供される。
【００２４】
図２は、本発明の一実施形態におけるシステムの動作概念を示す概略図である。図２に示されるように、カメラ１０は、点光源２０を備え、当該点光源２０は、カメラ校正のための光点を提供する。点光源２０から発せられた光ビームは、環境内に光点４０を形成し、光点４０の画像光点４２がカメラ１０の画像平面に形成される。当該環境で形成される光点４０は、世界座標［Ｘｗ，Ｙｗ，Ｚｗ］により定義され、画像光点４２は、画像座標［ｕ，ｖ］により定義される。カメラ１０は、空間においてパンまたはチルトなどの動きをするよう、モータ３０によりさらに制御されることができる。
【００２５】
図３は、本発明の一実施形態におけるシステム構造を示す概略図である。図３に示すように、システム１００は、視覚感知ユニット１１０、空間座標変換ユニット１２０、および、カメラ校正パラメータ推定ユニット１３０などを有する。上記ユニット１１０、１２０、および、１３０は、システム１００のマイクロプロセッサ１４０により制御されることができ、その結合関係は、実際の実装に従い決定される。図３は、一例を示すに過ぎない。
【００２６】
図３に示されるように、視覚感知ユニット１１０は、画像処理モジュール１１２と、モータ制御モジュール１１４と、点光源制御モジュール１１６とを有する。視覚感知ユニット１１０は、ハードウェア制御層であって、画像処理、モータ信号処理、および、点光源制御に用いられる。画像処理モジュール１１２は、カメラで撮影された画像の前処理のために用いられる。モータ制御モジュール１１４は、カメラの動きを制御するのに用いられ、点光源制御モジュール１１６は、光点の投影を制御するのに用いられる。
【００２７】
カメラ校正パラメータ推定ユニット１３０は、定位置校正パラメータの推定、または、動的位置校正パラメータの推定が実際の必要条件に従い実行される、オンライン動的校正パラメータの推定に主に用いられる。カメラ校正パラメータ推定ユニット１３０は、基本的には、初期校正手順の設定、校正パラメータ推定サンプルの予測、および、校正パラメータ推定サンプルのアップデートなどに用いられる。換言すると、カメラ校正パラメータ推定ユニット１３０は、校正パラメータ推定サンプルを予測し、アップデートするのに用いられる。
【００２８】
空間座標変換ユニット１２０は、画像座標［ｕ，ｖ］と世界座標［Ｘｗ，Ｙｗ，Ｚｗ］との間の変換を実行する。空間座標変換ユニット１２０は、システムソフトウェアにより実装されうる、画像座標を世界座標に変換するか、または、世界座標を画像座標に変換する機能またはモジュールを有する。空間座標変換ユニット１２０は、校正パラメータ推定サンプルをアップデートすべくカメラ校正パラメータ推定ユニット１３０を支援するのに用いられる。空間座標変換ユニット１２０は、画像平面［ｕ，ｖ］におけるデータを世界座標［Ｘｗ，Ｙｗ，Ｚｗ］に変換し、それをグラウンドに投影された光点と比較することによって、推定サンプルをアップデートする。
【００２９】
上記ユニット１１０、１２０、および、１３０は、例えば、ＡＲＭ（Ａｄｖａｎｃｅｄ ＲＩＳＣ ｍａｃｈｉｎｅ）、または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）などの、カメラの組込みシステムによって実装される。
【００３０】
本実施形態の動作を以下に説明する。図４は、本実施形態の動作シーケンスを示す概略図であり、図５は、本実施形態の動作フローチャートである。
【００３１】
図４に示すように、カメラ１０の初期位置は、Ｃ＿ＰＯＳ１であり、現在、点光源２０の初期位置は、Ｌ＿ＰＯＳ１（１）である。この段階では、点光源２０から発せられる光は、環境において光点Ａを形成し、光点Ａの対応する世界座標は、［Ｘ１，Ｙ１］である。さらに、カメラ１０が動くと、その位置は、Ｃ＿ＰＯＳ２に変化する。このようなプロセスの間に、カメラ１０の動的校正手順が実行される。まず、点光源２０は、光点Ａ［Ｘ１，Ｙ１］に光を投影する、すなわち、点光源２０の位置は、Ｌ＿ＰＯＳ２（０）である。そして、点光源２０の位置は、Ｌ＿ＰＯＳ２（１）に移動する。点光源２０を用いたカメラ１０の動的校正を以下に詳細に説明する。
【００３２】
図４に示すように、まずカメラ１０は初期位置Ｃ＿ＰＯＳ１に位置しており、点光源２０の初期位置は、Ｌ＿ＰＯＳ１（１）である。ここでカメラ１０の校正は完了する。上述のごとく、点光源２０により投影される光点の世界座標は、［Ｘ１，Ｙ１］であり、センサの画像平面における、カメラ１０により形成される光点の画像座標は、［Ｕ１，Ｖ１］である。
【００３３】
次に、カメラ１０が位置Ｃ＿ＰＯＳ１から位置Ｃ＿ＰＯＳ２へと動くと、カメラ１０の動的校正手順が実行される。動的校正手順が実行されているとき、点光源２０は動かず、すなわち、位置Ｌ＿ＰＯＳ２（０）および位置Ｌ＿ＰＯＳ１（１）は同じであり、環境における点光源２０の投影位置は、位置［Ｘ１，Ｙ１］のままである。しかしながら、カメラ１０は動いているので、画像平面における画像座標は、［Ｕ１，Ｖ１］から［Ｕ２，Ｖ２］へと移動する。つまり、撮像位置が［Ｕ１，Ｖ１］から［Ｕ２，Ｖ２］へと変化しても、環境における光点の位置は変化せず、位置［Ｘ１，Ｙ１］に維持される。
【００３４】
上記カメラ動的校正手順によれば、Ｎ個のカメラ動作量推定サンプル、すなわち、Ｎ個のカメラ校正パラメータソリューションは、カメラ１０により制御されるモータ３０の実際の回転量と、実際の回転の間に生じる可能性のあるばらつきとに従い、生成される。
【００３５】
上記動的校正手順によれば、位置Ｌ＿ＰＯＳ２において光源２０により形成される光点の画像座標［Ｕ２，Ｖ２］は、Ｎ個のカメラ校正パラメータソリューションにより、世界座標位置（ｘｉ、ｙｉ）に投影される。ここでは、ｉ＝１−Ｎである。次に、Ｎ個の可能性のある位置（ｘｉ，ｙｉ）は、実際の光点位置［Ｘ１，Ｙ１］と比較される。その後、実際の光点位置［Ｘ１，Ｙ１］とＮ個の可能性のある位置（ｘｉ、ｙｉ）との間の異なる距離に従い、Ｎ個の可能性のある位置（ｘｉ、ｙｉ）の重みが計算される。重みが算出された後、利用される校正パラメータソリューションを表す最も近い距離は、最高の重みを有し、最高の重みを有するものが校正パラメータの結果としてみなされる。
【００３６】
その後、Ｎ個の校正パラメータソリューションの重みに従い、新たなＮ個のカメラ動作量推定サンプルが生成されて、前のＮ個の校正パラメータソリューションと置き換えられることによって、システムの収束を保証する。換言すると、Ｎ個の校正パラメータソリューション、および、その重みを数回丸めることにより、Ｎ個の校正パラメータソリューションのセットは、ますます収束し、カメラの精度が著しく向上することによって、カメラの動的校正は実現する。
【００３７】
校正が完了した後、点光源２０は、位置Ｌ＿ＰＯＳ２（１）へと移動する。ここで、カメラ１０が回転コマンドを受け取ると、上記動的校正手順が繰り返されて同じ校正手順を実行する。反対に、カメラ１０は、校正パラメータの最新の結果を維持する。
【００３８】
図５は、本実施形態の動作フローチャートである。図４および図５を参照すると、ステップＳ１００において、カメラ１０に初期校正を実行する、つまり、カメラ１０のパラメータは、カメラ１０が静止している状態で校正される。このようなステップは、図４のカメラ１０が位置Ｃ＿ＰＯＳ１にあり、点光源２０が位置Ｌ＿ＰＯＳ１（１）にある場合に実行される校正手順と同じである。
【００３９】
次に、ステップＳ１０２において、環境内で点光源２０が光ビームを投影し、グラウンドに光点Ａを形成し、光点の世界座標［Ｘ１，Ｙ１］が記録される。
【００４０】
次に、ステップＳ１０４において、カメラ１０は、光点を撮像し、画像平面に形成されるグラウンド光点Ａの撮像位置［Ｕ１，Ｖ１］（すなわち、画像平面における画像座標）を記録する。
【００４１】
次に、ステップＳ１０６において、カメラが動くかどうかが決定され、カメラが動かない場合、ステップＳ１０２が繰り返され、動的校正手順は実行されない。反対に、カメラが動く場合、ステップＳ１０８が実行されてカメラの動作量が計算されることにより、Ｎ個の動作量推定サンプルが生成される。
【００４２】
次に、ステップＳ１１０において、光点Ｂが撮像され、カメラが動いた後に画像平面に形成されるグラウンド光点Ｂの画像座標［Ｕ２，Ｖ２］が記録される。
【００４３】
その後、ステップＳ１１２において、カメラ動的校正手順が実行される。このような動的校正手順は、予測、アップデート、および、リサンプリングからなる３つの主な手順を含む。
【００４４】
図４を参照すると、予測手順に従い、位置Ｌ＿ＰＯＳ２において光源２０により形成された光点の画像座標［Ｕ２，Ｖ２］は、Ｎ個のカメラ校正パラメータソリューションによって、世界座標位置（ｘｉ，ｙｉ）（すなわち、Ｎ個の動作量推定サンプル）に投影される。換言すると、世界座標に対応する画像座標［Ｕ２，Ｖ２］の可能性のある位置が推定されることにより、Ｎ個の可能性のあるソリューション（ｘｉ，ｙｉ）が生成される。ｉ＝１−Ｎであり、つまり、世界座標におけるＮ個の可能性のあるソリューションが推定される。図６は、上記概念の概略図である。図６によれば、投影された世界座標位置５４は、画像平面における光点５２に従い推定され、点光源の投影位置は、５０である。
【００４５】
アップデート手順に従い、Ｎ個の可能性のあるソリューションと、実際の世界座標との間の距離差がそれぞれ計算され、計算された距離差に従い、Ｎ個の可能性のあるソリューションに重みが割り当てられることにより、Ｎ個の可能性のあるソリューションと、実際の世界座標との間の相関性が識別される。利用される校正パラメータソリューションを表す最も近い距離は、最高の重みであり、当該最高の重みを有するものが校正パラメータの結果としてみなされる。図６を参照すると、システムは、点光源の投影位置５０と推定位置５４との間の距離エラーｒｅｐｒｏｊ＿ｅｒｒｉを計算する。ｉ＝１−Ｎである。
【００４６】
リサンプリング手順は、前のＮ個の校正パラメータソリューションを置き換えるための上記重みに従うＮ個のカメラ動作量推定サンプルを表す。換言すると、リサンプリングが重みに従い実行されることにより、システムの収束が著しく向上し、カメラ動作量推定サンプルが実際の世界座標とより近くなることが保証される。
【００４７】
最後に、ステップＳ１１４において、校正パラメータ推定の最適な結果が決定され、点光源２０は、初期位置へと戻る。図４では、カメラ１０の位置Ｃ＿ＰＯＳ１と、点光源２０の位置Ｌ＿ＰＯＳ１（１）とが初期位置として定義される。カメラ１０が位置Ｃ＿ＰＯＳ２に移動しても、点光源２０により投影される光点の位置は変化しない。つまり、位置Ｌ＿ＰＯＳ２（０）とＬ＿ＰＯＳ１（１）とは同じである。ここで動的校正が実行され、校正が完了した後、点光源２０は、初期位置、すなわち、位置Ｌ＿ＰＯＳ２（１）へと戻る。
【００４８】
本実施形態においては、カメラが環境の画像を撮影するそれぞれの時点では、動的カメラ校正パラメータの推定は、カメラのモータ信号と、点光源により投影されるグラウンドにおける光点の相対位置とに従い実行される。図５のフローチャートは、３つの主要部分を含む。第１の部分では、カメラの初期校正パラメータを確定する。このような部分によれば、定位置に配置されたカメラの内部パラメータと外部パラメータとを得ることができる。内部パラメータは、カメラの焦点、撮像中心、歪み補正係数などを含み、外部パラメータは、世界座標に対するカメラの位置を表し、これは、動的校正パラメータの推定部分でもあって、以下の方程式（１）により示されうる。
XI=KXC，XC=RXW+T （１）
XI=KXCは、画像平面XIと、カメラ空間座標XCとの関係を表し、Ｋは、内部パラメータマトリックスを表す。XC=RXW+Tは、カメラ空間座標と世界座標との関係を表す。RおよびTは、初期外部パラメータの回転マトリックスおよび並進マトリックスをそれぞれ表す。
【００４９】
カメラがその初期位置からパン／チルト動作を実行すると、カメラの状態は、以下の方程式（２）から（４）により示されうる。
【数１】
Rpanは、カメラのパン動作に対応する回転マトリックスであり、Rtiltは、チルト動作に対応する回転マトリックスであり、TpanおよびTtiltは、パン動作およびチルト動作にそれぞれ対応する並進マトリックスである。
【００５０】
第２の部分では、動作モデルおよび測定モデルを含むカメラ校正パラメータモデルを確定する。動作モデルは、カメラのモータの動作の差異に従い、相対的な回転および並進量を計算し、カメラの動作量が計算されて推定サンプルが生成された図５のステップＳ１０８と同じ推定サンプルの概念に従い、校正パラメータを予測するのに用いられる。このようなステップは、以下の方程式（５）から（９）により表され、方程式（９）では、ＳｔＣは、時点ｔにおける状態、すなわち、時点ｔにおけるカメラ校正パラメータの予測を表す。
【数２】
【００５１】
本実施形態では、時点ｔにおいて生成される回転または並進量は、ｔ−１の時点で生成された結果、変数δ、および、ランダムノイズＮ（０，σ）に従い予測される。測定モデルは、グラウンドに投影される光点により形成される画像平面上の撮像位置により、動作モデルに基づき計算される動作位置をアップデートするのに用いられ、以下の方程式（１０）および（１１）で示されるような推定サンプルのそれぞれの重みが計算される。
【数３】
reproj_errは、光点により画像平面上で撮像される画像座標が図６で示される計算された校正パラメータによる推定サンプル予測のそれぞれによって世界座標に投影される場合に生成されるエラー量を表し、各サンプルの重みは、方程式（１１）に従い計算される。
【００５２】
第３の部分では、第２の部分の重み計算結果に従い、推定サンプルをリサンプリングする。その場合、重みが高いサンプルほど選ばれやすいので、校正パラメータの推定結果の収束効果が高まり、それによって、校正パラメータの推定結果が得られる。
【００５３】
要約すると、上記実施形態によれば、ＰＴＺカメラと点光源投影装置とが一体化され、動的カメラ校正パラメータの推定は、ＰＴＺカメラ内のモータ信号と、グラウンドにおける点光源の投影位置とによってなし得る。
【００５４】
さらに、校正済みのカメラだと、カメラが動いたことによる再校正用に、関連する校正画像を準備する時間がかからなくなるので、カメラの監視角度はすぐに調整されることができ、動いている被写体の検出範囲および追跡範囲を拡大することができる。一方で、組込み式高性能カメラ（組込みシステムを有するカメラ）にデバイスハードウェアが一体化されることにより、携帯適用性を向上させ、コストを削減することができる。
【００５５】
また、本発明では、一般的なＰＴＺカメラが動作する際に生成されるモータ情報と、点光源エミッタのシステム状態推定テクニックとが組み合わされて動的環境のためのカメラの自動校正システムを確立する。カメラに対して初めてのオンライン校正が前もって実行された後、本発明により提供される関連デバイスおよび方法は、カメラの動作プロセス中、または、カメラがパン／チルト動作を実行する場合にカメラの校正パラメータを動的に推定することにより、従来のカメラであれば、再校正のために校正ボードまたは環境ランドマークの画像をさらに撮影しなければならないという関連技術の課題を解消する。したがって、広範囲で正確な監視、および、移動式キャリアの位置決めの必要条件を満たす、より効果的なシステムが提供される。
【００５６】
本発明の範囲または趣旨に逸脱せずに、本発明の構造にさまざまな修正および変更がなされうることが当業者には明らかであろう。上記に鑑み、以下の請求項およびそれらの均等物の範囲に納まる限りにおいて、本発明は、本発明の修正および変更を含むことが意図される。
【特許請求の範囲】
【請求項１】
点光源を使用するカメラの動的校正方法であって、
前記カメラに対し初期校正を実行する段階と、
前記点光源によって、外部環境に光を投影して光点を生成し、前記光点の位置を世界座標として記録し、前記光点の第１の光点画像を前記カメラにより取得し、前記第１の光点画像の位置を第１の画像座標として記録する段階と、
前記カメラの動作量を計算し、前記カメラが動いた場合の複数の動作量推定サンプルを生成する段階と、
前記点光源が動かない状態で、前記動いたカメラにより前記光点を撮像し、前記光点の第２の光点画像の第２の画像座標を得る段階と、
前記複数の動作量推定サンプル、および、前記第２の画像座標に従い、動的校正手順を実行する段階と、
前記動的校正手順に従い、最適校正パラメータ推定結果を生成する段階と、
を備え、
前記動的校正手順は、
前記第１の光点画像、および、前記カメラの前記動作量に従い、前記複数の動作量推定サンプルを生成する予測手順と、
前記複数の動作量推定サンプルの各々に重みをそれぞれ割り当てることにより、前記複数の動作量推定サンプルをアップデートするアップデート手順と、
前記アップデートした前記複数の動作量推定サンプルに従い、前記複数の動作量推定サンプルをリサンプリングするリサンプリング手順と、
を含む、
動的校正方法。
【請求項２】
前記重みは、前記複数の動作量推定サンプルのそれぞれと、前記点光源により投影される前記光点の実際の位置との間の距離差に従い決定される、請求項１記載のカメラの動的校正方法。
【請求項３】
前記重みは、前記距離差が減少するにつれ増す、請求項２に記載のカメラの動的校正方法。
【請求項４】
前記初期校正は、前記カメラの内部パラメータおよび外部パラメータの校正を含む、請求項１に記載のカメラの動的校正方法。
【請求項５】
前記カメラの前記動作量は、パン動作およびチルト動作を含む、請求項１に記載のカメラの動的校正方法。
【請求項６】
前記動作量は、ランダムノイズをさらに含む、請求項５に記載のカメラの動的校正方法。
【請求項７】
カメラの動的校正方法であって、
前記カメラに初期校正を実行する段階と、
前記カメラの動作量を計算する段階と、
前記動作量に従い、前記カメラの複数の動作量推定サンプルを生成する段階と、
前記複数の動作量推定サンプルのそれぞれの重みを計算する段階と、
前記重みに従い、前記複数の動作量推定サンプルをアップデートし、前記複数の動作量推定サンプルをリサンプリングする段階と、
前記リサンプリングされた前記複数の動作量推定サンプルに従い、前記カメラを校正する段階と、
を備える、カメラの動的校正方法。
【請求項８】
前記カメラの前記動作量は、パン動作およびチルト動作を含む、請求項７に記載のカメラの動的校正方法。
【請求項９】
前記動作量は、ランダムノイズをさらに含む、請求項７に記載のカメラの動的校正方法。
【請求項１０】
前記初期校正は、前記カメラの内部パラメータおよび外部パラメータの校正を含む、請求項７に記載のカメラの動的校正方法。
【請求項１１】
動的校正機能付きカメラであって、
点光源により形成される光点を感知して画像光点を形成し、前記カメラの動作を制御する視覚感知ユニットと、
動的校正手順を実行すべく、前記点光源、前記画像光点、および、前記カメラの動作量に従い、複数の動作量推定サンプルを生成するカメラ校正パラメータ推定ユニットと、
前記光点の世界座標、および、前記画像光点の画像座標を変換する空間座標変換ユニットと、
を備え、
前記光点の位置は記録され、前記カメラは、前記光点の第１の光点画像を取得し、前記第１の光点画像の位置を第１の画像座標として記録し、
前記カメラが動くと、前記カメラの前記動作量が計算されることにより、前記複数の動作量推定サンプルが生成され、
前記点光源が動かない状態で、前記動いたカメラが前記光点を撮像し、前記光点の第２の光点画像の第２の画像座標を取得し、
前記動的校正手順は、前記複数の動作量推定サンプル、および、前記第２の画像座標に従い実行され、
前記動的校正手順に従い、最適校正パラメータ推定結果が生成される、
動的校正機能付きカメラ。
【請求項１】
点光源を使用するカメラの動的校正方法であって、
前記カメラに対し初期校正を実行する段階と、
前記点光源によって、外部環境に光を投影して光点を生成し、前記光点の位置を世界座標として記録し、前記光点の第１の光点画像を前記カメラにより取得し、前記第１の光点画像の位置を第１の画像座標として記録する段階と、
前記カメラの動作量を計算し、前記カメラが動いた場合の複数の動作量推定サンプルを生成する段階と、
前記点光源が動かない状態で、前記動いたカメラにより前記光点を撮像し、前記光点の第２の光点画像の第２の画像座標を得る段階と、
前記複数の動作量推定サンプル、および、前記第２の画像座標に従い、動的校正手順を実行する段階と、
前記動的校正手順に従い、最適校正パラメータ推定結果を生成する段階と、
を備え、
前記動的校正手順は、
前記第１の光点画像、および、前記カメラの前記動作量に従い、前記複数の動作量推定サンプルを生成する予測手順と、
前記複数の動作量推定サンプルの各々に重みをそれぞれ割り当てることにより、前記複数の動作量推定サンプルをアップデートするアップデート手順と、
前記アップデートした前記複数の動作量推定サンプルに従い、前記複数の動作量推定サンプルをリサンプリングするリサンプリング手順と、
を含む、
動的校正方法。
【請求項２】
前記重みは、前記複数の動作量推定サンプルのそれぞれと、前記点光源により投影される前記光点の実際の位置との間の距離差に従い決定される、請求項１記載のカメラの動的校正方法。
【請求項３】
前記重みは、前記距離差が減少するにつれ増す、請求項２に記載のカメラの動的校正方法。
【請求項４】
前記初期校正は、前記カメラの内部パラメータおよび外部パラメータの校正を含む、請求項１に記載のカメラの動的校正方法。
【請求項５】
前記カメラの前記動作量は、パン動作およびチルト動作を含む、請求項１に記載のカメラの動的校正方法。
【請求項６】
前記動作量は、ランダムノイズをさらに含む、請求項５に記載のカメラの動的校正方法。
【請求項７】
カメラの動的校正方法であって、
前記カメラに初期校正を実行する段階と、
前記カメラの動作量を計算する段階と、
前記動作量に従い、前記カメラの複数の動作量推定サンプルを生成する段階と、
前記複数の動作量推定サンプルのそれぞれの重みを計算する段階と、
前記重みに従い、前記複数の動作量推定サンプルをアップデートし、前記複数の動作量推定サンプルをリサンプリングする段階と、
前記リサンプリングされた前記複数の動作量推定サンプルに従い、前記カメラを校正する段階と、
を備える、カメラの動的校正方法。
【請求項８】
前記カメラの前記動作量は、パン動作およびチルト動作を含む、請求項７に記載のカメラの動的校正方法。
【請求項９】
前記動作量は、ランダムノイズをさらに含む、請求項７に記載のカメラの動的校正方法。
【請求項１０】
前記初期校正は、前記カメラの内部パラメータおよび外部パラメータの校正を含む、請求項７に記載のカメラの動的校正方法。
【請求項１１】
動的校正機能付きカメラであって、
点光源により形成される光点を感知して画像光点を形成し、前記カメラの動作を制御する視覚感知ユニットと、
動的校正手順を実行すべく、前記点光源、前記画像光点、および、前記カメラの動作量に従い、複数の動作量推定サンプルを生成するカメラ校正パラメータ推定ユニットと、
前記光点の世界座標、および、前記画像光点の画像座標を変換する空間座標変換ユニットと、
を備え、
前記光点の位置は記録され、前記カメラは、前記光点の第１の光点画像を取得し、前記第１の光点画像の位置を第１の画像座標として記録し、
前記カメラが動くと、前記カメラの前記動作量が計算されることにより、前記複数の動作量推定サンプルが生成され、
前記点光源が動かない状態で、前記動いたカメラが前記光点を撮像し、前記光点の第２の光点画像の第２の画像座標を取得し、
前記動的校正手順は、前記複数の動作量推定サンプル、および、前記第２の画像座標に従い実行され、
前記動的校正手順に従い、最適校正パラメータ推定結果が生成される、
動的校正機能付きカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−１５６６６９（Ｐ２０１０−１５６６６９Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【外国語出願】
【出願番号】特願２００９−１０５３３１（Ｐ２００９−１０５３３１）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（３９００２３５８２）財団法人工業技術研究院 (524)
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【住所又は居所原語表記】１９５ Ｃｈｕｎｇ Ｈｓｉｎｇ Ｒｄ．，Ｓｅｃ．４，Ｃｈｕｔｕｎｇ，Ｈｓｉｎ−Ｃｈｕ，Ｔａｉｗａｎ Ｒ．Ｏ．Ｃ
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−１０５３３１（Ｐ２００９−１０５３３１）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（３９００２３５８２）財団法人工業技術研究院 (524)
【氏名又は名称原語表記】ＩＮＤＵＳＴＲＩＡＬ ＴＥＣＨＮＯＬＯＧＹ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ
【住所又は居所原語表記】１９５ Ｃｈｕｎｇ Ｈｓｉｎｇ Ｒｄ．，Ｓｅｃ．４，Ｃｈｕｔｕｎｇ，Ｈｓｉｎ−Ｃｈｕ，Ｔａｉｗａｎ Ｒ．Ｏ．Ｃ
【Ｆターム（参考）】
[ Back to top ]