広角センサーアレイモジュール、並びにそのイメージキャリブレーション方法、動作方法、及びアプリケーション
【課題】複数のイメージを組み合わせて１つの広角イメージを作成する方法、広角センサーアレイモジュールのイメージキャリブレーション方法、動作方法、及びアプリケーション提供する。
【解決手段】第１のイメージセンサーＳ１と、第２のイメージセンサーＳ２と、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニット２２と、プロセッサ２１とを有し、プロセッサ２１は、第１のイメージ及び第２のイメージを変換マトリクスを用いて組み合わせ、合成イメージを作製する。
【解決手段】第１のイメージセンサーＳ１と、第２のイメージセンサーＳ２と、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニット２２と、プロセッサ２１とを有し、プロセッサ２１は、第１のイメージ及び第２のイメージを変換マトリクスを用いて組み合わせ、合成イメージを作製する。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００８年７月２３日に出願された台湾特許出願第０９７１２７８８６号の優先権の利益を主張するものであり、その全開示事項は、参照により本明細書に組み込まれる。
【０００２】
（１．発明の分野）
本発明は、一般に、イメージセンサーに関し、より詳細には、広角センサーアレイモジュール、並びにそのイメージキャリブレーション方法、動作方法、及びアプリケーションに関する。
【背景技術】
【０００３】
（２．関連技術の説明）
従来技術では、イメージセンサーの視野は、広角レンズ又は魚眼レンズを用いて広げることができるが、通常、これらのレンズは、コストが高い。従って、複数の一般的なイメージセンサーを組み合わせることで広い視野を作製することにより、コストを下げるという方法が提案されてきた。例えば、米国特許出願公開第２００５／００２５３１３号明細書は、「複数の狭角イメージから広角イメージを作製するためのデジタルイメージングシステム（Digital
imaging system for creating a wide‐angle image from multiple narrow angle images）」という名称の複数のイメージングデバイスを含むイメージングシステムを開示している。該イメージングデバイスは、各イメージングデバイスの視野が隣接する各イメージングデバイスの視野と重なり合うように配置される。該デジタルイメージングシステムは、さらに、各イメージングデバイスを同時に作動させ、すべてのデバイスの視野のイメージを同時に取り込むためのコントロールモジュールを含み、各イメージングデバイスから得られたイメージを合わせて、一つの広角イメージが作製される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００５／００２５３１３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この方法では、複数のイメージを組み合わせて一つの広角イメージを作製する方法が重要な課題となってきた。本発明は、少なくとも１つの変換マトリクスを用いて複数のイメージを組み合わせる広角センサーアレイモジュールを提供し、ここで、変換マトリクスは、個々のイメージングデバイス間の相対的な空間関係であり、センサーアレイモジュールに予め記憶されている。さらに、イメージングデバイス間の相対的な空間関係を前もって知ることができる場合は、各イメージングデバイスの視野が、隣接する各イメージングデバイスの視野と重なり合わなくてもよく、その結果、センサーアレイモジュールの合成視野をさらに広げることができる。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも２つの一般的なイメージセンサーを用いてセンサーアレイモジュールの視野を広げ、モジュールのコストを効果的に下げるために高価な特別のカメラレンズを使用しなくてもよい、広角センサーアレイモジュールを提供する。
【０００７】
本発明は、さらに、広角センサーアレイモジュールのイメージキャリブレーション方法を提供し、該キャリブレーション方法は、少なくとも２つのイメージセンサー間の相対的な空間関係に従って少なくとも１つの変換マトリクスを前もって算出する。さらに、イメージセンサー間の相対的な空間関係がすでに分かっている場合、各イメージセンサーの視野は、全視野を広げるために、隣接する各イメージセンサーの視野と重なり合わなくてもよい。
【０００８】
本発明は、さらに、広角センサーアレイモジュールの動作方法を提供し、該動作方法は、一つの広角イメージを作製するために、センサーアレイモジュールに予め記憶された変換マトリクスを用いて複数のイメージを正しく組み合わせる。
【０００９】
本発明は、さらに、広角センサーアレイモジュールのアプリケーションを提供し、ここで、センサーアレイモジュールは、ポインターポジショニングシステムの視野を広げ、システムコストを削減するために、ポインターポジショニングシステムに適用される。
【００１０】
本発明は、合成イメージを作製するための広角センサーアレイモジュールを提供する。この広角センサーアレイモジュールは、第１のイメージセンサー、第２のイメージセンサー、記憶ユニット、及びプロセッサを含む。第１のイメージセンサーは、第１のイメージを取りこむためのものである。第２のイメージセンサーは、第２のイメージを取りこむためのものであり、第１のイメージセンサーに対して相対的な空間関係を有する。記憶ユニットは、少なくとも１つの変換マトリクスを記憶し、ここで、該変換マトリクスは、第１のイメージセンサーと第２のイメージセンサーとの間の相対的な空間関係に従って得られる。プロセッサは、変換マトリクスを用いて第１のイメージと第２のイメージを組み合わせ、合成イメージを作製する。
【００１１】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法をさらに提供する。該イメージキャリブレーション方法は、以下のステップを含む：少なくとも３個の基準点を提供するステップであって、該基準点は基準座標系を定義し、各基準点は基準座標を有するステップ、該第１のイメージセンサーによって少なくとも３個の基準点を含む第１のイメージを取り込むステップであって、該第１のイメージは第１のイメージ座標系を定義し、該第１のイメージに含まれる各基準点は第１のイメージ座標を有するステップ、該基準座標系及び該第１のイメージ座標系に従って第１の変換マトリクスを得るステップ、該第２のイメージセンサーによって少なくとも３個の基準点を含む第２のイメージを取り込むステップであって、該第２のイメージは第２のイメージ座標系を定義し、該第２のイメージに含まれる各基準点は第２のイメージ座標を有するステップ、該基準座標系及び該第２のイメージ座標系に従って第２の変換マトリクスを得るステップ、及び該第１のイメージ及び／又は該第２のイメージを該第１の変換マトリクス及び／又は該第２の変換マトリクスを用いて仮想面へ変換するステップ。
【００１２】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法をさらに提供する。該イメージキャリブレーション方法は、以下のステップを含む：該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係を決定するステップ、該相対的な空間関係に従って少なくとも１つの変換マトリクスを得るステップ、及び該第１のイメージセンサーによって取り込まれたイメージ及び／又は該第２のイメージセンサーによって取り込まれたイメージを該変換マトリクスを用いて仮想面へ変換するステップ。
【００１３】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法をさらに提供する。該動作方法は、以下のステップを含む：該第１のイメージセンサーによって第３のイメージを取り込むステップ、該第２のイメージセンサーによって第４のイメージを取り込むステップ、該第３のイメージ及び／又は該第４のイメージを該変換マトリクスを用いて仮想面へ変換するステップ、該仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップ、及び該特性パラメータをイメージディスプレイ又は記憶ユニットに伝送するステップ。
【００１４】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法をさらに提供する。該動作方法は、以下のステップを含む：該第１のイメージセンサーによって第３のイメージを取り込むステップ、該第３のイメージによっての第１の特性パラメータを生成するステップと、該第２のイメージセンサーによって第４のイメージを取り込むステップ、該第４のイメージによって第２の特性パラメータを生成するステップと、該第１の特性パラメータ及び該第２の特性パラメータを該変換マトリクスを用いて仮想面へ変換して、該第１の特性パラメータ及び該第２の特性パラメータを組み合わせるステップと、及び該特性パラメータをイメージディスプレイ又は記憶ユニットに伝送するステップ。
【００１５】
本発明のもう１つの側面によると、本発明は、少なくとも１つの光源と、広角センサーアレイモジュールと、イメージディスプレイとを含むポインターポジショニングシステムをさらに提供する。該センサーアレイモジュールは、合成視野を有する合成イメージを作製するために用いられる。該センサーアレイモジュールは、第１のイメージを取り込むための第１のイメージセンサーと、第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、変換マトリクスを記憶する、該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ該合成イメージを作製する、該第一のイメージ及び／又は該第２のイメージは該光源のイメージを含み、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られ、該合成イメージ及び該光源のイメージに基づいて特性パラメータを生成するイメージプロセッシングユニットとを含む。該イメージディスプレイは、該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００１６】
本発明のもう１つの側面によると、本発明は、少なくとも１つの光源と、広角センサーアレイモジュールと、イメージディスプレイとを含むポインターポジショニングシステムをさらに提供する。該センサーアレイモジュールは、合成視野を有する合成イメージを作製するために用いられる。該センサーアレイモジュールは、第３のイメージを取り込むための第１のイメージセンサーと、第４のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、該第３のイメージによって第１の特性パラメータを生成し、かつ該第４のイメージによって第２の特性パラメータを生成し、該第１の特性パラメータと該第２の特性パラメータを該変換マトリクスを用いて合成特性パラメータを作製する、該第一の特性パラメータ及び該第２の特性パラメータの少なく１つは該第３のイメージ或いは該第４のイメージでの該光源のイメージによって決められ、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られるイメージプロセッシングユニットと、を含む広角センサーアレイモジュールとを含む。該イメージディスプレイは、センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００１７】
本発明の広角センサーアレイモジュール、並びにその動作方法及びアプリケーションは、キャリブレーションモードで前もって算出される少なくとも１つの変換マトリクスを用いて、実行性を高めるために、複数のイメージを組み合わせ、センサーアレイモジュールの全視野を広げる。さらに、本発明の広角センサーアレイモジュールには、特別のカメラレンズが使用されないため、トータルコストを削減することができる。
【図面の簡単な説明】
【００１８】
【図１ａ】本発明の一実施形態に係る広角センサーアレイモジュールの概略図を示す。
【図１ｂ】本発明の一実施形態に係る広角センサーアレイモジュールの別の概略図を示す。
【図２】本発明の一実施形態に係る広角センサーアレイモジュールの動作方法のフローチャートを示す
【図３】本発明の一つの実施形態に係る広角センサーアレイモジュールのキャリブレーションモードを示すフローチャートを示す。
【図４ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの動作概略図を示す。
【図４ｂ】図４ａに示す広角センサーアレイモジュールのキャリブレーションモードの動作概略図の上面図を示す。
【図５ａ】基準点によって定義される基準座標系に基づく基準点イメージの概略図を示す。
【図５ｂ】第１のイメージセンサーによって定義される第１のイメージ座標系に基づく基準点イメージの概略図を示す。
【図５ｃ】第２のイメージセンサーによって定義される第２のイメージ座標系に基づく基準点イメージの概略図を示す。
【図５ｄ】異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図６ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。キャリブレーションは、６つの基準点を用いて実施される。
【図６ｂ】図６ａに示す異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図７ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。キャリブレーションは、８つの基準点を用いて実施される。
【図７ｂ】図７ａに示す異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図８ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。
【図８ｂ】図８ａに示す広角センサーアレイモジュールのキャリブレーションモードの動作概略図の上面図を示す。
【図９ａ】図８ａに示す基準点によって定義される基準座標系に基づく基準点イメージの概略図を示す。
【図９ｂ】図８ａに示す第１のイメージセンサーによって定義される第１のイメージ座標系に基づく基準点イメージの概略図を示す。
【図９ｃ】図８ａに示す第２のイメージセンサーによって定義される第２のイメージ座標系に基づく基準点イメージの概略図を示す。
【図１０ａ】本発明の一実施形態に係る広角センサーアレイモジュールの動作モードのフローチャートを示す。
【図１０ｂ】本発明の別の実施形態に係る広角センサーアレイモジュールの動作モードのフローチャートを示す。
【図１１ａ】本発明の一実施形態に係る広角センサーアレイモジュールの動作モードのアプリケーションの概略図を示す。
【図１１ｂ】図１１ａに示す広角センサーアレイモジュールの第１のイメージセンサーによって取り込まれたイメージを示す。
【図１１ｃ】図１１ａに示す広角センサーアレイモジュールの第２のイメージセンサーによって取り込まれたイメージを示す。
【図１１ｄ】図１１ａに示す広角センサーアレイモジュールによって取り込まれた合成イメージを示す。
【図１２】本発明の別の実施形態に係る広角センサーアレイモジュールの概略図を示す。
【発明を実施するための形態】
【００１９】
本発明のその他の目的、効果、及び新規な特徴は、以下の詳細な説明を添付図面と照らし合わせることでより明らかとなるであろう。
【００２０】
可能な限り、図面全体を通して、同一又は類似の部材を参照するために同一の参照番号が用いられることに留意されたい。
【００２１】
図１ａ及び１ｂを参照すると、これらは、それぞれ、本発明の一実施形態に係る広角センサーアレイモジュール１及び１’の概略図を示す。広角センサーアレイモジュール１及び１’は、第１のイメージセンサーＳ１、第２のイメージセンサーＳ２、並びに、プロセッサ２１、記憶ユニット２２、及び伝送インターフェースユニット２３を含むイメージプロセッシングユニット２を有する。さらに、広角センサーアレイモジュール１及び１’は、検出効率を向上させるために第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の前面にそれぞれ配置された複数のレンズ又は一式のレンズ（図示せず）をさらに有してよい。イメージプロセッシングユニット２は、広角センサーアレイモジュール１及び１’が動作中に必要な電力を供給する電源供給ユニット（図示せず）をさらに有してよい。
【００２２】
第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の実施形態には、これらに限定されないが、ＣＣＤイメージセンサー及びＣＭＯＳイメージセンサーが含まれる。第１のイメージセンサーＳ１は、イメージを取り込むためのものであり、第１の視野ＶＡ１を有する。第２のイメージセンサーＳ２は、イメージを取り込むためのものであり、第２の視野ＶＡ２を有する。広角センサーアレイモジュール１及び１’は、合成イメージを取り込むためのものであり、合成視野ＶＡ及びＶＡ’を有する。合成視野ＶＡ及びＶＡ’は、第１の視野ＶＡ１と第２の視野ＶＡ２を組み合わせることによって形成される。従って、ＶＡ（ＶＡ’）≧ＶＡ１かつＶＡ（ＶＡ’）≧ＶＡ２となる。さらに、本実施形態では、２つのイメージセンサーしか用いていないが、広角センサーアレイモジュール１及び１’は、種々のアプリケーションに応じて、２つ以上のイメージセンサーを有してもよい。
【００２３】
図１ａを再度参照すると、広角センサーアレイモジュール１において、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、互いに平行に配置されており、すなわち、第１のイメージセンサーＳ１の第１の視野ＶＡ１の中心法線ｎ１と、第２のイメージセンサーＳ２の第２の視野ＶＡ２の中心法線ｎ２と、合成視野ＶＡの中心法線との間に角度差はない。第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、イメージプロセッシングユニット２と連結されている。イメージプロセッシングユニット２のプロセッサ２１は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理するためのものであり、例えば、イメージキャリブレーション、イメージコンビネーション、特性の取り込み、歪み補償、等を実施する。記憶ユニット２２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージ、及び／又は、プロセッサ２１によって処理されたイメージ、を記憶するためのものである。記憶ユニット２２は、例えば、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の空間距離、及び中心法線ｎ１、ｎ２、ｎの間の角度θ（図１ａではθ＝０°）等の複数のパラメータを記憶し、それにより、プロセッサ２１は、それらのパラメータを用いて、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理することができる。伝送インターフェースユニット２３は、広角センサーアレイモジュール１及び１’によって取り込まれたイメージを、イメージディスプレイデバイス（図示せず）に伝送して表示させるか、又は記憶ユニットに伝送して記憶させる。本発明は、イメージプロセッシングユニット２を用いて第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理して組み合わせ、それによって、広角センサーアレイモジュール１の合成視野ＶＡを広げることができる。
【００２４】
図１ｂを再度参照すると、広角センサーアレイモジュール１’は、広角センサーアレイモジュール１の別の実施形態であり、ここで、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間には角度差θ＝θ１＋θ２が存在し、すなわち、第１の視野ＶＡ１の中心法線ｎ１と合成視野ＶＡの中心法線との間の第１の角度差θ１、及び第２の視野ＶＡ２の中心法線ｎ２と合成視野ＶＡの中心法線との間の第２の角度差θ２が存在し、ここで、第１の角度差θ１は、第２の角度差θ２と等しい場合もあれば異なる場合もある。本実施形態では、例えば、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の空間距離、第１の角度差θ１、第２の角度差θ２、等の第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に関する種々のパラメータ、並びに該パラメータに従って得られた変換マトリクスが、記憶ユニット２２に記憶されている。プロセッサ２１は、変換マトリクスを用いて仮想面を作製する。この別の実施形態でも、イメージプロセッシングユニット２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理して組み合わせ、それによって、広角センサーアレイモジュール１’の合成視野ＶＡ’を広げることができ、ＶＡ’＞ＶＡとなる。さらに、本発明の広角センサーアレイモジュール１及び１’は、シューティングゲームでのライトガンの照準の位置決め、又はポインティングデバイスの位置決め等、ポインターポジショニングシステムに適用することができ、それによって、ポインターポジショニングシステムの視野の制限を低減することができる。
【００２５】
図２を参照すると、これは、本発明の一実施形態の広角センサーアレイモジュール１及び１’の動作方法のフローチャートを示しており、該動作方法には、キャリブレーションモード３１及び動作モード３２が含まれる。キャリブレーションモード３１は、センサーアレイモジュール１及び１’が工場から出荷される前、又は最初の使用時に実施され、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に関する種々のパラメータを取得し、該パラメータに従って２つのイメージ間の変換マトリクスを得、また仮想面を得る。動作モード３２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを仮想面へ変換する工程と、取り込まれたイメージのオブジェクト特性を取り込む工程とを含む。キャリブレーションモード３１及び動作モード３２の詳細な説明を以下の段落で示す。
【００２６】
図３を参照すると、これは、本発明の一実施形態に係るキャリブレーションモード３１のフローチャートを示しており、キャリブレーションモード３１は、以下に示すステップを含む。
−第１のイメージセンサー及び第２のイメージセンサーの視野内に少なくとも３つの基準点を提供するステップ（ステップ３１０）。該基準点は、基準座標系を定義する。
−第１のイメージセンサーで第１のイメージを取り込み、それによって第１のイメージ座標系を定義するステップ（ステップ３１１１）。
−第１のイメージ内の基準点のイメージ座標を得るステップ（ステップ３１１２）。
−基準座標系と第１のイメージ座標系との間の相対的な空間関係に従って第１の変換マトリクスを得るステップ（ステップ３１１３）。
−第２のイメージセンサーで第２のイメージを取り込み、それによって第２のイメージ座標系を定義するステップ（ステップ３１２１）。
−第２のイメージ内の基準点のイメージ座標を得るステップ（ステップ３１２２）。
−基準座標系と第２のイメージ座標系との間の相対的な空間関係に従って第２の変換マトリクスを得るステップ（ステップ３１２３）。
−第１の変換マトリクスを用いて第１のイメージを仮想面へ変換するステップ、及び／又は、第２の変換マトリクスを用いて第２のイメージを仮想面へ変換するステップ（ステップ３１３）。
【００２７】
図４ａ及び４ｂを参照すると、図４ａは、本発明のキャリブレーションモード３１の典型的な一実施形態を示し、図４ｂは、図４ａの上面図を示す。この典型的な実施形態では、広角センサーアレイモジュール１及び１’は、キャリブレーションパラメータとなる間隔をおいた４つの基準点Ｐ１〜Ｐ４のイメージを取り込み、ここで、基準点Ｐ１〜Ｐ４の実施形態には、赤外ＬＥＤ及び赤外レーザーダイオードが含まれ、基準点Ｐ１〜Ｐ４は、第１の視野ＶＡ１と第２の視野ＶＡ２とが重なり合う領域内に位置する（ステップ３１０）。基準点Ｐ１〜Ｐ４は、ｘ軸、ｙ軸、ｚ軸を含む基準座標系を定義する。広角センサーアレイモジュール１’は、Ｘ軸、Ｙ軸、Ｚ軸を含む座標系に従ってイメージを取り込み、第１のイメージセンサー及び第２のイメージセンサーは、それぞれ、自身のイメージ座標系を定義する。例えば、第１のイメージセンサーは、Ｘ１軸、Ｙ軸、Ｚ１軸を含む第１のイメージ座標系を定義し、また、第２のイメージセンサーは、Ｘ２軸、Ｙ軸、Ｚ２軸を含む第２のイメージ座標系を定義する。この典型的な実施形態では、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間に横方向の角度差はあるが、両者間に縦方向の角度差はない。例えば、第１のイメージセンサーＳ１の中心法線ｎ１（Ｘ１，０，Ｚ１）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には第１の角度差θ１＝−Φが存在し、第２のイメージセンサーＳ２の中心法線ｎ２（Ｘ２，０，Ｚ２）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には第２の角度差θ２＝Φが存在する（図４ｂ）。
【００２８】
図５ａは、基準点Ｐ１〜Ｐ４によって定められる基準座標系に基づく基準点イメージを示す。図５ｂは、第１のイメージセンサーＳ１によって取り込まれた第１のイメージ座標系に基づく基準点イメージＰ１’〜Ｐ４’（第１のイメージ）を示し（ステップ３１１１）、第１のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１１２）。座標変換を用いて、基準座標系と第１のイメージ座標系との間の変換マトリクスＨ１を、式（１）として得ることができる（ステップ３１１３）。
【００２９】
【数１】
【００３０】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（２）のような変換マトリクスＨ１を用いて第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づく座標へ変換することができる。
【００３１】
【数２】
【００３２】
同様に、図５ｃは、第２のイメージセンサーＳ２によって取り込まれた第２のイメージ座標系に基づく基準点イメージＰ１’’〜Ｐ４’’（第２のイメージ）を示し（ステップ３１２１）、第２のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１２２）。座標変換を用いて、基準座標系と第２のイメージ座標系との間の変換マトリクスＨ２を、式（３）として得ることができる（ステップ３１２３）。
【００３３】
【数３】
【００３４】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（４）のような変換マトリクスＨ２を用いて第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づく座標へ変換することができる。
【００３５】
【数４】
【００３６】
上記得られた変換マトリクスＨ１及びＨ２は、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係を表している。最後に、第１のイメージは、第１の変換マトリクスＨ１を用いることによって仮想面へ変換され、及び／又は、第２のイメージは、第２の変換マトリクスＨ２を用いることによって仮想面へ変換されるが（ステップ３１３）、ここで、仮想面は、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく（すなわち、第１のイメージ及び第２のイメージが、それぞれ、変換マトリクスを通して基準座標系へ変換される）、第１のイメージＳ１によって定義される第１のイメージ座標系に基づく（すなわち、第２のイメージが、変換マトリクスを通して、第１のイメージ座標系へ変換される）、あるいは、第２のイメージＳ２によって定義される第２のイメージ座標系に基づく（すなわち、第１のイメージが、変換マトリクスを通して、第２のイメージ座標系へ変換される）ことができる。
【００３７】
さらに、イメージセンサー間の相対的な空間関係が未知である場合でも、第１のイメージセンサーＳ１によって取り込まれた基準点イメージＰ１’〜Ｐ４’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標、例えば、（ｘ，ｙ，ｚ）、を用いることにより、式（２）に従って、第１の変換マトリクスＨ１を得ることができる。同様に、第２のイメージセンサーＳ２によって取り込まれた基準点イメージＰ１’’〜Ｐ４’’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標を用いることにより、式（４）に従って、第２の変換マトリクスＨ２を得ることもできる。
【００３８】
図５ｄを参照すると、これは、第１のイメージ及び第２のイメージが、変換マトリクスを通して仮想面へ変換される実施形態を示す。例えば、取り込まれたイメージが、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく場合、基準点イメージの座標は、Ｐ１＝（−１，１）、Ｐ２＝（１，１）、Ｐ３＝（−１，−１）、Ｐ４＝（１，−１）である。イメージセンサー間の相対的な空間関係が既知の場合（変換マトリクスが既知）、これらの座標は、変換マトリクスＨ１を通して第１のイメージ座標系に基づく座標系へ変換することができ（図５ｄの左下図）、あるいは、変換マトリクスＨ２を通して第２のイメージ座標系に基づく座標系へ変換することができる（図５ｄの右下図）。さらに、取り込まれたイメージが第１のイメージ座標系に基づく場合、基準点イメージＰ１’’〜Ｐ４’’は、第１のイメージ座標系に基づく仮想面へ変換マトリクスを２回使用して変換することができ、これらは、変換後の基準点イメージＰ１’〜Ｐ４’に相当することになる。同様に、取り込まれたイメージが第２のイメージ座標系に基づく場合、基準点イメージＰ１’〜Ｐ４’は、第２のイメージ座標系に基づく仮想面へ変換マトリクスを２回使用して変換することができ、これらは、基準点イメージＰ１’’〜Ｐ４’’に相当することになる。
【００３９】
基準点は、４つに限定されないことは理解されよう。基準座標系を形成するには少なくとも３つの基準点が必要であるため、本発明では、第１の視野ＶＡ１及び第２の視野ＶＡ２に、それぞれ、少なくとも３つの基準点を設ける必要がある。図６ａ及び６ｂは、キャリブレーションモード３１において６つの基準点を用いる本発明の典型的な一実施形態を示す。図７ａ及び７ｂは、キャリブレーションモード３１において８つの基準点を用いる本発明の別の典型的な実施形態を示す。これらの実施形態の変換マトリクスの算出は、４つの基準点を用いる場合と同様であるため、本明細書では詳細な説明を行わない。
【００４０】
図８ａ及び８ｂを参照すると、図８ａは、本発明のキャリブレーションモード３１の別の選択肢としての実施形態を示す。図８ｂは、図８ａの上面図を示す。この別の実施形態においても、広角センサーアレイモジュール１’は、キャリブレーションパラメータとなる間隔をおいた４つの基準点Ｐ１〜Ｐ４のイメージを取り込み、ここで、基準点Ｐ１〜Ｐ４は、第１の視野ＶＡ１と第２の視野ＶＡ２とが重なり合う領域内に位置する（ステップ３１０）。基準点Ｐ１〜Ｐ４は、ｘ軸、ｙ軸、ｚ軸を含む基準座標系を定義する。広角センサーアレイモジュール１’は、Ｘ軸、Ｙ軸、Ｚ軸を含む座標系に基づくイメージを取り込み、第１のイメージセンサー及び第２のイメージセンサーは、それぞれ、自身のイメージ座標系を定義する。例えば、第１のイメージセンサーは、Ｘ１軸、Ｙ軸、Ｚ１軸を含む第１のイメージ座標系を定義し、第２のイメージセンサーは、Ｘ２軸、Ｙ軸、Ｚ２軸を含む第２のイメージ座標系を定義する。この別の実施形態では、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間には、横方向の角度差、及び縦方向の角度差が存在する。例えば、第１のイメージセンサーＳ１の中心法線ｎ１（Ｘ１，０，Ｚ１）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には、第１の横方向の角度差θ１＝−Φ及び縦方向の角度差θが存在し、第２のイメージセンサーＳ２の中心法線ｎ２（Ｘ２，０，Ｚ２）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には、第２の横方向の角度差θ２＝Φ及び縦方向の角度差θが存在し、ここで、第１のイメージセンサーＳ１の中心法線ｎ１と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間の縦方向の角度差は、第２のイメージセンサーＳ２の中心法線ｎ２と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間の縦方向の角度差と等しくない場合がある。
【００４１】
図９ａ〜９ｃを参照すると、図９ａは、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージを示す。図９ｂは、第１のイメージセンサーＳ１によって取り込まれた第１のイメージ座標系に基づく基準点イメージＰ１’〜Ｐ４’を示し（ステップ３１１１）、第１のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１１２）。座標変換を用いて、基準座標系と第１のイメージ座標系との間のｘ方向の変換マトリクスＨ１ｘ及びｙ方向の変換マトリクスＨ１ｙを、それぞれ、式（５）及び式（６）として得ることができる（ステップ３１１３）。
【００４２】
【数５】
【００４３】
【数６】
【００４４】
次に、基準座標系と第１のイメージ座標系との間の変換マトリクスＨ１を式（７）として得ることができる。
【００４５】
【数７】
【００４６】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、数式（８）のような変換マトリクスＨ１を用いて第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づく座標へ変換することができる。
【００４７】
【数８】
【００４８】
同様に、図９ｃは、第２のイメージセンサーＳ２によって取り込まれた第２のイメージ座標系に基づく基準点イメージＰ１’’〜Ｐ４’’を示し（ステップ３１２１）、第２のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１２２）。座標変換を用いて、基準座標系と第２のイメージ座標系との間のｘ方向の変換マトリクスＨ２ｘ及びｙ方向の変換マトリクスＨ２ｙを、それぞれ、式（９）及び式（１０）として得ることができる（ステップ３１２３）。
【００４９】
【数９】
【００５０】
【数１０】
【００５１】
次に、基準座標系と第２のイメージ座標系との間の変換マトリクスＨ２を、式（１１）として得ることができる。
【００５２】
【数１１】
【００５３】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（１２）のような変換マトリクスＨ２を用いて第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づく座標へ変換することができる。
【００５４】
【数１２】
【００５５】
さらに、イメージセンサー間の相対的な空間関係が未知である場合でも、第１のイメージセンサーＳ１によって取り込まれた基準点イメージＰ１’〜Ｐ４’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標、例えば、（ｘ，ｙ，ｚ）、を用いることにより、式（８）に従って第１の変換マトリクスＨ１を得ることができる。同様に、第２のイメージセンサーＳ２によって取り込まれた基準点イメージＰ１’’〜Ｐ４’’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標を用いることにより、式（１２）に従って第２の変換マトリクスＨ２を得ることもできる。
【００５６】
次に、動作モード３１の実行後に得られた変換マトリクスＨ１、Ｈ２、及び仮想面は、動作モード３２においてプロセッサ２１が使用するために、イメージプロセッシングユニット２の記憶ユニット２２に前もって記憶される。
【００５７】
別の実施形態では、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、予め成形されたフレーム（図示せず）に取り付けることができ、従って、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２をフレーム上で組み合わせた場合、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係は既知である。例えば、第１のイメージセンサーＳ１の中心法線と第２のイメージセンサーＳ２の中心法線との間の横方向の角度差、及び／又は、縦方向の角度差は、前もって知ることができる。従って、この別の実施形態のキャリブレーションモード３１では、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の視野内に少なくとも３つの基準点をそれぞれ配置する必要がない。イメージセンサー間の相対的な空間関係から、変換マトリクスを直接算出することができ、また、その変換マトリクスを用いて仮想面を得ることができる。最後に、変換マトリクス及び仮想面は、記憶ユニット２２に記憶される。ここで、仮想面は、第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づくことができ（すなわち、第２のイメージセンサーＳ２によって取り込まれたイメージを、変換マトリクスを通して第１のイメージ座標系に変換することができる）、あるいは、第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づくことができる（すなわち、第１のイメージセンサーＳ１によって取り込まれたイメージを、変換マトリクスを通して第２のイメージ座標系に変換することができる）。
【００５８】
図２を再度参照すると、既に上述したように、キャリブレーションモード３１は、広角センサーアレイモジュール１及び１’が工場から出荷される前、又は最初の使用時に実施される較正プロセスである。実際の動作段階（動作モード３２）では、キャリブレーションモード３１を繰り返す必要はない。以下、動作モード３２について詳細に説明する。
【００５９】
図１０ａを参照すると、これは、本発明の一つの実施形態に係る広角センサーアレイモジュール１及び１’の動作モード３２のフローチャートを示す。動作モード３２は、以下のステップを含む。
−第１のイメージセンサーで第３のイメージを取り込むステップ（ステップ３２１１）。
−第２のイメージセンサーで第４のイメージを取り込むステップ（ステップ３２１２）。
−第３のイメージ及び／又は第４のイメージを変換マトリクスを用いて仮想面へ変換するステップ（ステップ３２１３）。
−仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップ（ステップ３２１４）。
−前記特性パラメータを伝送するステップ（ステップ３２１５）。
【００６０】
図１０ａ及び図１１ａ〜１１ｄを参照して、広角センサーアレイモジュール１及び１’の動作モード３２を、アプリケーションの実施形態を用いて説明する。ここで、広角センサーアレイモジュール１’は、ポインターポジショニングシステムに適用され、ライトガンの照準やポインティングデバイス等の光源Ｔ３及びＴ４は、それぞれ、第１のイメージセンサーＳ１の第１の視野ＶＡ１内、及び第２のイメージセンサーＳ２の第２の視野ＶＡ２内に位置する。まず、第１のイメージセンサーＳ１を用いて第２のイメージＩ３を取り込み（ステップ３２１１）、第２のイメージセンサーＳ２を用いて第４のイメージＩ４を取り込む（ステップ３２１２）。次に、プロセッサ２１は、記憶ユニット２２に予め記憶された変換マトリクス、例えば、キャリブレーションモード３１で得られた変換マトリクスＨ１及びＨ２、を用いて、第３のイメージＩ３及び第４のイメージＩ４を仮想面へ変換し、合成視野ＶＡを有する合成イメージＣＩを作製する。上述のように、仮想面は、第３のイメージＩ３又は第４のイメージＩ４によって定義される座標系のいずれかに基づくこともできる。次に、プロセッサ２１は、オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数、アスペクト比のパラメータ等の合成イメージＣＩ内、光源Ｔ３及びＴ４のイメージ等のオブジェクトイメージの特性パラメータを取り込む（ステップ３２１４）。最後に、特性パラメータは、伝送インターフェースユニット２３を通して、イメージディスプレイデバイス又は記憶デバイス（図示せず）へ伝送されるが、ここで、イメージディスプレイデバイスは、ＴＶ画面、投影スクリーン、ゲーム機画面、又はコンピュータ画面であってよい。イメージディスプレイデバイスは、アプリケーションで生成された画像を表示し、光源Ｔ３及びＴ４のイメージの座標及びパラメータ等のオブジェクトイメージの特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００６１】
図１０ｂ及び図１１ａ〜１１ｄを参照して、広角センサーアレイモジュール１及び１’の動作モード３２の別の実施形態を以下で説明する。動作モード３２は、以下のステップを含む。
−第１のイメージセンサーで第３のイメージを取り込むステップ（ステップ３２２１）
−第３のイメージ内のオブジェクトイメージの第１の特性パラメータを取り込むステップ（ステップ３２２２）
−第２のイメージセンサーで第４のイメージを取り込むステップ（ステップ３２２３）
−第４のイメージ内のオブジェクトイメージの第２の特性パラメータを取り込むステップ（ステップ３２２４）
−第１の特性パラメータ及び第２の特性パラメータを変換マトリクスを用いて仮想面へ変換するステップ（ステップ３２２６）
−特性パラメータを伝送するステップ（ステップ３２１５）。
本実施形態と図１０ａとの違いは、第３及び第４のイメージを取り込んだ後、プロセッサ１１が、まず、それぞれのイメージ内のオブジェクトの特性パラメータを取り込み、次に、記憶ユニット２２に記憶された変換マトリクスを用いて該特性パラメータを仮想面へ変換して合成特性パラメータを生成することにある。最後に、上述のように、該特性パラメータは、伝送インターフェースユニット２３を通してイメージディスプレイデバイス又は記憶デバイスへ伝送される。従って、イメージディスプレイデバイスは、光源Ｔ３及びＴ４のイメージの座標及びパラメータ等の合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。このようにして、広角センサーアレイモジュール１及び１’内に少なくとも２つのイメージセンサーを配置することによって、ポインターポジショニングシステムの視野を著しく広げることができる（図１１ｄに示すように）。
【００６２】
さらに、本発明は、上述の方法を用い、２つ以上のイメージセンサーによって取り込まれたイメージを組み合わせて合成イメージを作製することもできる。例えば、図１２を参照すると、これは、４つのイメージセンサーＳ１〜Ｓ４がマトリクス状に配置された実施形態を示し、ここで、θ２１は、イメージセンサーＳ２とイメージセンサーＳ１の間の角度差であり、θ３１は、イメージセンサーＳ３とイメージセンサーＳ１の間の角度差であり、θ４１は、イメージセンサーＳ４とイメージセンサーＳ１の間の角度差である。このようにして、上記段落で述べた方法を用いることにより、イメージセンサーＳ２〜Ｓ４とイメージセンサーＳ１との間の変換マトリクスをこれらの空間関係に従って算出し、イメージセンサーＳ１〜Ｓ４によって取り込まれたイメージを組み合わせて合成イメージを作製することができる。本発明において、イメージセンサーの数は４つに限定されず、適切な数のイメージセンサー及びそれらの相対的な空間関係を、種々の要件に従って設計可能であることも理解できるであろう。
【００６３】
以上述べたように、複数のイメージセンサーを用いることによってイメージセンサーモジュールの視野を広げることができることから、複数のイメージを正しく組み合わせる方法が重要な課題となってきている。従って、本発明は、広角センサーアレイモジュール、並びにそのキャリブレーション方法及び動作方法を提供する。広角センサーアレイモジュールに少なくとも１つの変換マトリクスを前もって記憶しておくことにより、動作中に該変換マトリクスを用いてイメージを正しく組み合わせることができる。さらに、本発明の広角センサーアレイモジュールは、例えばシューティングゲーム等のポインターポジショニングシステムに適用することができ、それにより、動作中のポインターポジショニングシステムの視野を著しく広げることができ、システムコストを削減することもできる。
【００６４】
本発明をその好適な実施形態との関連で説明してきたが、これは、本発明を限定するために用いられるものではない。以下の特許請求の範囲に記載される本発明の精神及び範囲から逸脱することなく、他の多くの変更及び変形が当業者によって可能であることを理解すべきである。
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２００８年７月２３日に出願された台湾特許出願第０９７１２７８８６号の優先権の利益を主張するものであり、その全開示事項は、参照により本明細書に組み込まれる。
【０００２】
（１．発明の分野）
本発明は、一般に、イメージセンサーに関し、より詳細には、広角センサーアレイモジュール、並びにそのイメージキャリブレーション方法、動作方法、及びアプリケーションに関する。
【背景技術】
【０００３】
（２．関連技術の説明）
従来技術では、イメージセンサーの視野は、広角レンズ又は魚眼レンズを用いて広げることができるが、通常、これらのレンズは、コストが高い。従って、複数の一般的なイメージセンサーを組み合わせることで広い視野を作製することにより、コストを下げるという方法が提案されてきた。例えば、米国特許出願公開第２００５／００２５３１３号明細書は、「複数の狭角イメージから広角イメージを作製するためのデジタルイメージングシステム（Digital
imaging system for creating a wide‐angle image from multiple narrow angle images）」という名称の複数のイメージングデバイスを含むイメージングシステムを開示している。該イメージングデバイスは、各イメージングデバイスの視野が隣接する各イメージングデバイスの視野と重なり合うように配置される。該デジタルイメージングシステムは、さらに、各イメージングデバイスを同時に作動させ、すべてのデバイスの視野のイメージを同時に取り込むためのコントロールモジュールを含み、各イメージングデバイスから得られたイメージを合わせて、一つの広角イメージが作製される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００５／００２５３１３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この方法では、複数のイメージを組み合わせて一つの広角イメージを作製する方法が重要な課題となってきた。本発明は、少なくとも１つの変換マトリクスを用いて複数のイメージを組み合わせる広角センサーアレイモジュールを提供し、ここで、変換マトリクスは、個々のイメージングデバイス間の相対的な空間関係であり、センサーアレイモジュールに予め記憶されている。さらに、イメージングデバイス間の相対的な空間関係を前もって知ることができる場合は、各イメージングデバイスの視野が、隣接する各イメージングデバイスの視野と重なり合わなくてもよく、その結果、センサーアレイモジュールの合成視野をさらに広げることができる。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも２つの一般的なイメージセンサーを用いてセンサーアレイモジュールの視野を広げ、モジュールのコストを効果的に下げるために高価な特別のカメラレンズを使用しなくてもよい、広角センサーアレイモジュールを提供する。
【０００７】
本発明は、さらに、広角センサーアレイモジュールのイメージキャリブレーション方法を提供し、該キャリブレーション方法は、少なくとも２つのイメージセンサー間の相対的な空間関係に従って少なくとも１つの変換マトリクスを前もって算出する。さらに、イメージセンサー間の相対的な空間関係がすでに分かっている場合、各イメージセンサーの視野は、全視野を広げるために、隣接する各イメージセンサーの視野と重なり合わなくてもよい。
【０００８】
本発明は、さらに、広角センサーアレイモジュールの動作方法を提供し、該動作方法は、一つの広角イメージを作製するために、センサーアレイモジュールに予め記憶された変換マトリクスを用いて複数のイメージを正しく組み合わせる。
【０００９】
本発明は、さらに、広角センサーアレイモジュールのアプリケーションを提供し、ここで、センサーアレイモジュールは、ポインターポジショニングシステムの視野を広げ、システムコストを削減するために、ポインターポジショニングシステムに適用される。
【００１０】
本発明は、合成イメージを作製するための広角センサーアレイモジュールを提供する。この広角センサーアレイモジュールは、第１のイメージセンサー、第２のイメージセンサー、記憶ユニット、及びプロセッサを含む。第１のイメージセンサーは、第１のイメージを取りこむためのものである。第２のイメージセンサーは、第２のイメージを取りこむためのものであり、第１のイメージセンサーに対して相対的な空間関係を有する。記憶ユニットは、少なくとも１つの変換マトリクスを記憶し、ここで、該変換マトリクスは、第１のイメージセンサーと第２のイメージセンサーとの間の相対的な空間関係に従って得られる。プロセッサは、変換マトリクスを用いて第１のイメージと第２のイメージを組み合わせ、合成イメージを作製する。
【００１１】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法をさらに提供する。該イメージキャリブレーション方法は、以下のステップを含む：少なくとも３個の基準点を提供するステップであって、該基準点は基準座標系を定義し、各基準点は基準座標を有するステップ、該第１のイメージセンサーによって少なくとも３個の基準点を含む第１のイメージを取り込むステップであって、該第１のイメージは第１のイメージ座標系を定義し、該第１のイメージに含まれる各基準点は第１のイメージ座標を有するステップ、該基準座標系及び該第１のイメージ座標系に従って第１の変換マトリクスを得るステップ、該第２のイメージセンサーによって少なくとも３個の基準点を含む第２のイメージを取り込むステップであって、該第２のイメージは第２のイメージ座標系を定義し、該第２のイメージに含まれる各基準点は第２のイメージ座標を有するステップ、該基準座標系及び該第２のイメージ座標系に従って第２の変換マトリクスを得るステップ、及び該第１のイメージ及び／又は該第２のイメージを該第１の変換マトリクス及び／又は該第２の変換マトリクスを用いて仮想面へ変換するステップ。
【００１２】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法をさらに提供する。該イメージキャリブレーション方法は、以下のステップを含む：該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係を決定するステップ、該相対的な空間関係に従って少なくとも１つの変換マトリクスを得るステップ、及び該第１のイメージセンサーによって取り込まれたイメージ及び／又は該第２のイメージセンサーによって取り込まれたイメージを該変換マトリクスを用いて仮想面へ変換するステップ。
【００１３】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法をさらに提供する。該動作方法は、以下のステップを含む：該第１のイメージセンサーによって第３のイメージを取り込むステップ、該第２のイメージセンサーによって第４のイメージを取り込むステップ、該第３のイメージ及び／又は該第４のイメージを該変換マトリクスを用いて仮想面へ変換するステップ、該仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップ、及び該特性パラメータをイメージディスプレイ又は記憶ユニットに伝送するステップ。
【００１４】
本発明のもう１つの側面によると、本発明は、第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法をさらに提供する。該動作方法は、以下のステップを含む：該第１のイメージセンサーによって第３のイメージを取り込むステップ、該第３のイメージによっての第１の特性パラメータを生成するステップと、該第２のイメージセンサーによって第４のイメージを取り込むステップ、該第４のイメージによって第２の特性パラメータを生成するステップと、該第１の特性パラメータ及び該第２の特性パラメータを該変換マトリクスを用いて仮想面へ変換して、該第１の特性パラメータ及び該第２の特性パラメータを組み合わせるステップと、及び該特性パラメータをイメージディスプレイ又は記憶ユニットに伝送するステップ。
【００１５】
本発明のもう１つの側面によると、本発明は、少なくとも１つの光源と、広角センサーアレイモジュールと、イメージディスプレイとを含むポインターポジショニングシステムをさらに提供する。該センサーアレイモジュールは、合成視野を有する合成イメージを作製するために用いられる。該センサーアレイモジュールは、第１のイメージを取り込むための第１のイメージセンサーと、第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、変換マトリクスを記憶する、該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ該合成イメージを作製する、該第一のイメージ及び／又は該第２のイメージは該光源のイメージを含み、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られ、該合成イメージ及び該光源のイメージに基づいて特性パラメータを生成するイメージプロセッシングユニットとを含む。該イメージディスプレイは、該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００１６】
本発明のもう１つの側面によると、本発明は、少なくとも１つの光源と、広角センサーアレイモジュールと、イメージディスプレイとを含むポインターポジショニングシステムをさらに提供する。該センサーアレイモジュールは、合成視野を有する合成イメージを作製するために用いられる。該センサーアレイモジュールは、第３のイメージを取り込むための第１のイメージセンサーと、第４のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、該第３のイメージによって第１の特性パラメータを生成し、かつ該第４のイメージによって第２の特性パラメータを生成し、該第１の特性パラメータと該第２の特性パラメータを該変換マトリクスを用いて合成特性パラメータを作製する、該第一の特性パラメータ及び該第２の特性パラメータの少なく１つは該第３のイメージ或いは該第４のイメージでの該光源のイメージによって決められ、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られるイメージプロセッシングユニットと、を含む広角センサーアレイモジュールとを含む。該イメージディスプレイは、センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００１７】
本発明の広角センサーアレイモジュール、並びにその動作方法及びアプリケーションは、キャリブレーションモードで前もって算出される少なくとも１つの変換マトリクスを用いて、実行性を高めるために、複数のイメージを組み合わせ、センサーアレイモジュールの全視野を広げる。さらに、本発明の広角センサーアレイモジュールには、特別のカメラレンズが使用されないため、トータルコストを削減することができる。
【図面の簡単な説明】
【００１８】
【図１ａ】本発明の一実施形態に係る広角センサーアレイモジュールの概略図を示す。
【図１ｂ】本発明の一実施形態に係る広角センサーアレイモジュールの別の概略図を示す。
【図２】本発明の一実施形態に係る広角センサーアレイモジュールの動作方法のフローチャートを示す
【図３】本発明の一つの実施形態に係る広角センサーアレイモジュールのキャリブレーションモードを示すフローチャートを示す。
【図４ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの動作概略図を示す。
【図４ｂ】図４ａに示す広角センサーアレイモジュールのキャリブレーションモードの動作概略図の上面図を示す。
【図５ａ】基準点によって定義される基準座標系に基づく基準点イメージの概略図を示す。
【図５ｂ】第１のイメージセンサーによって定義される第１のイメージ座標系に基づく基準点イメージの概略図を示す。
【図５ｃ】第２のイメージセンサーによって定義される第２のイメージ座標系に基づく基準点イメージの概略図を示す。
【図５ｄ】異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図６ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。キャリブレーションは、６つの基準点を用いて実施される。
【図６ｂ】図６ａに示す異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図７ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。キャリブレーションは、８つの基準点を用いて実施される。
【図７ｂ】図７ａに示す異なる座標系間での基準点イメージの座標変換の概略図を示す。
【図８ａ】本発明の一実施形態に係る広角センサーアレイモジュールのキャリブレーションモードの別の動作概略図を示す。
【図８ｂ】図８ａに示す広角センサーアレイモジュールのキャリブレーションモードの動作概略図の上面図を示す。
【図９ａ】図８ａに示す基準点によって定義される基準座標系に基づく基準点イメージの概略図を示す。
【図９ｂ】図８ａに示す第１のイメージセンサーによって定義される第１のイメージ座標系に基づく基準点イメージの概略図を示す。
【図９ｃ】図８ａに示す第２のイメージセンサーによって定義される第２のイメージ座標系に基づく基準点イメージの概略図を示す。
【図１０ａ】本発明の一実施形態に係る広角センサーアレイモジュールの動作モードのフローチャートを示す。
【図１０ｂ】本発明の別の実施形態に係る広角センサーアレイモジュールの動作モードのフローチャートを示す。
【図１１ａ】本発明の一実施形態に係る広角センサーアレイモジュールの動作モードのアプリケーションの概略図を示す。
【図１１ｂ】図１１ａに示す広角センサーアレイモジュールの第１のイメージセンサーによって取り込まれたイメージを示す。
【図１１ｃ】図１１ａに示す広角センサーアレイモジュールの第２のイメージセンサーによって取り込まれたイメージを示す。
【図１１ｄ】図１１ａに示す広角センサーアレイモジュールによって取り込まれた合成イメージを示す。
【図１２】本発明の別の実施形態に係る広角センサーアレイモジュールの概略図を示す。
【発明を実施するための形態】
【００１９】
本発明のその他の目的、効果、及び新規な特徴は、以下の詳細な説明を添付図面と照らし合わせることでより明らかとなるであろう。
【００２０】
可能な限り、図面全体を通して、同一又は類似の部材を参照するために同一の参照番号が用いられることに留意されたい。
【００２１】
図１ａ及び１ｂを参照すると、これらは、それぞれ、本発明の一実施形態に係る広角センサーアレイモジュール１及び１’の概略図を示す。広角センサーアレイモジュール１及び１’は、第１のイメージセンサーＳ１、第２のイメージセンサーＳ２、並びに、プロセッサ２１、記憶ユニット２２、及び伝送インターフェースユニット２３を含むイメージプロセッシングユニット２を有する。さらに、広角センサーアレイモジュール１及び１’は、検出効率を向上させるために第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の前面にそれぞれ配置された複数のレンズ又は一式のレンズ（図示せず）をさらに有してよい。イメージプロセッシングユニット２は、広角センサーアレイモジュール１及び１’が動作中に必要な電力を供給する電源供給ユニット（図示せず）をさらに有してよい。
【００２２】
第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の実施形態には、これらに限定されないが、ＣＣＤイメージセンサー及びＣＭＯＳイメージセンサーが含まれる。第１のイメージセンサーＳ１は、イメージを取り込むためのものであり、第１の視野ＶＡ１を有する。第２のイメージセンサーＳ２は、イメージを取り込むためのものであり、第２の視野ＶＡ２を有する。広角センサーアレイモジュール１及び１’は、合成イメージを取り込むためのものであり、合成視野ＶＡ及びＶＡ’を有する。合成視野ＶＡ及びＶＡ’は、第１の視野ＶＡ１と第２の視野ＶＡ２を組み合わせることによって形成される。従って、ＶＡ（ＶＡ’）≧ＶＡ１かつＶＡ（ＶＡ’）≧ＶＡ２となる。さらに、本実施形態では、２つのイメージセンサーしか用いていないが、広角センサーアレイモジュール１及び１’は、種々のアプリケーションに応じて、２つ以上のイメージセンサーを有してもよい。
【００２３】
図１ａを再度参照すると、広角センサーアレイモジュール１において、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、互いに平行に配置されており、すなわち、第１のイメージセンサーＳ１の第１の視野ＶＡ１の中心法線ｎ１と、第２のイメージセンサーＳ２の第２の視野ＶＡ２の中心法線ｎ２と、合成視野ＶＡの中心法線との間に角度差はない。第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、イメージプロセッシングユニット２と連結されている。イメージプロセッシングユニット２のプロセッサ２１は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理するためのものであり、例えば、イメージキャリブレーション、イメージコンビネーション、特性の取り込み、歪み補償、等を実施する。記憶ユニット２２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージ、及び／又は、プロセッサ２１によって処理されたイメージ、を記憶するためのものである。記憶ユニット２２は、例えば、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の空間距離、及び中心法線ｎ１、ｎ２、ｎの間の角度θ（図１ａではθ＝０°）等の複数のパラメータを記憶し、それにより、プロセッサ２１は、それらのパラメータを用いて、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理することができる。伝送インターフェースユニット２３は、広角センサーアレイモジュール１及び１’によって取り込まれたイメージを、イメージディスプレイデバイス（図示せず）に伝送して表示させるか、又は記憶ユニットに伝送して記憶させる。本発明は、イメージプロセッシングユニット２を用いて第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理して組み合わせ、それによって、広角センサーアレイモジュール１の合成視野ＶＡを広げることができる。
【００２４】
図１ｂを再度参照すると、広角センサーアレイモジュール１’は、広角センサーアレイモジュール１の別の実施形態であり、ここで、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間には角度差θ＝θ１＋θ２が存在し、すなわち、第１の視野ＶＡ１の中心法線ｎ１と合成視野ＶＡの中心法線との間の第１の角度差θ１、及び第２の視野ＶＡ２の中心法線ｎ２と合成視野ＶＡの中心法線との間の第２の角度差θ２が存在し、ここで、第１の角度差θ１は、第２の角度差θ２と等しい場合もあれば異なる場合もある。本実施形態では、例えば、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の空間距離、第１の角度差θ１、第２の角度差θ２、等の第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に関する種々のパラメータ、並びに該パラメータに従って得られた変換マトリクスが、記憶ユニット２２に記憶されている。プロセッサ２１は、変換マトリクスを用いて仮想面を作製する。この別の実施形態でも、イメージプロセッシングユニット２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを処理して組み合わせ、それによって、広角センサーアレイモジュール１’の合成視野ＶＡ’を広げることができ、ＶＡ’＞ＶＡとなる。さらに、本発明の広角センサーアレイモジュール１及び１’は、シューティングゲームでのライトガンの照準の位置決め、又はポインティングデバイスの位置決め等、ポインターポジショニングシステムに適用することができ、それによって、ポインターポジショニングシステムの視野の制限を低減することができる。
【００２５】
図２を参照すると、これは、本発明の一実施形態の広角センサーアレイモジュール１及び１’の動作方法のフローチャートを示しており、該動作方法には、キャリブレーションモード３１及び動作モード３２が含まれる。キャリブレーションモード３１は、センサーアレイモジュール１及び１’が工場から出荷される前、又は最初の使用時に実施され、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係に関する種々のパラメータを取得し、該パラメータに従って２つのイメージ間の変換マトリクスを得、また仮想面を得る。動作モード３２は、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２によって取り込まれたイメージを仮想面へ変換する工程と、取り込まれたイメージのオブジェクト特性を取り込む工程とを含む。キャリブレーションモード３１及び動作モード３２の詳細な説明を以下の段落で示す。
【００２６】
図３を参照すると、これは、本発明の一実施形態に係るキャリブレーションモード３１のフローチャートを示しており、キャリブレーションモード３１は、以下に示すステップを含む。
−第１のイメージセンサー及び第２のイメージセンサーの視野内に少なくとも３つの基準点を提供するステップ（ステップ３１０）。該基準点は、基準座標系を定義する。
−第１のイメージセンサーで第１のイメージを取り込み、それによって第１のイメージ座標系を定義するステップ（ステップ３１１１）。
−第１のイメージ内の基準点のイメージ座標を得るステップ（ステップ３１１２）。
−基準座標系と第１のイメージ座標系との間の相対的な空間関係に従って第１の変換マトリクスを得るステップ（ステップ３１１３）。
−第２のイメージセンサーで第２のイメージを取り込み、それによって第２のイメージ座標系を定義するステップ（ステップ３１２１）。
−第２のイメージ内の基準点のイメージ座標を得るステップ（ステップ３１２２）。
−基準座標系と第２のイメージ座標系との間の相対的な空間関係に従って第２の変換マトリクスを得るステップ（ステップ３１２３）。
−第１の変換マトリクスを用いて第１のイメージを仮想面へ変換するステップ、及び／又は、第２の変換マトリクスを用いて第２のイメージを仮想面へ変換するステップ（ステップ３１３）。
【００２７】
図４ａ及び４ｂを参照すると、図４ａは、本発明のキャリブレーションモード３１の典型的な一実施形態を示し、図４ｂは、図４ａの上面図を示す。この典型的な実施形態では、広角センサーアレイモジュール１及び１’は、キャリブレーションパラメータとなる間隔をおいた４つの基準点Ｐ１〜Ｐ４のイメージを取り込み、ここで、基準点Ｐ１〜Ｐ４の実施形態には、赤外ＬＥＤ及び赤外レーザーダイオードが含まれ、基準点Ｐ１〜Ｐ４は、第１の視野ＶＡ１と第２の視野ＶＡ２とが重なり合う領域内に位置する（ステップ３１０）。基準点Ｐ１〜Ｐ４は、ｘ軸、ｙ軸、ｚ軸を含む基準座標系を定義する。広角センサーアレイモジュール１’は、Ｘ軸、Ｙ軸、Ｚ軸を含む座標系に従ってイメージを取り込み、第１のイメージセンサー及び第２のイメージセンサーは、それぞれ、自身のイメージ座標系を定義する。例えば、第１のイメージセンサーは、Ｘ１軸、Ｙ軸、Ｚ１軸を含む第１のイメージ座標系を定義し、また、第２のイメージセンサーは、Ｘ２軸、Ｙ軸、Ｚ２軸を含む第２のイメージ座標系を定義する。この典型的な実施形態では、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間に横方向の角度差はあるが、両者間に縦方向の角度差はない。例えば、第１のイメージセンサーＳ１の中心法線ｎ１（Ｘ１，０，Ｚ１）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には第１の角度差θ１＝−Φが存在し、第２のイメージセンサーＳ２の中心法線ｎ２（Ｘ２，０，Ｚ２）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には第２の角度差θ２＝Φが存在する（図４ｂ）。
【００２８】
図５ａは、基準点Ｐ１〜Ｐ４によって定められる基準座標系に基づく基準点イメージを示す。図５ｂは、第１のイメージセンサーＳ１によって取り込まれた第１のイメージ座標系に基づく基準点イメージＰ１’〜Ｐ４’（第１のイメージ）を示し（ステップ３１１１）、第１のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１１２）。座標変換を用いて、基準座標系と第１のイメージ座標系との間の変換マトリクスＨ１を、式（１）として得ることができる（ステップ３１１３）。
【００２９】
【数１】
【００３０】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（２）のような変換マトリクスＨ１を用いて第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づく座標へ変換することができる。
【００３１】
【数２】
【００３２】
同様に、図５ｃは、第２のイメージセンサーＳ２によって取り込まれた第２のイメージ座標系に基づく基準点イメージＰ１’’〜Ｐ４’’（第２のイメージ）を示し（ステップ３１２１）、第２のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１２２）。座標変換を用いて、基準座標系と第２のイメージ座標系との間の変換マトリクスＨ２を、式（３）として得ることができる（ステップ３１２３）。
【００３３】
【数３】
【００３４】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（４）のような変換マトリクスＨ２を用いて第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づく座標へ変換することができる。
【００３５】
【数４】
【００３６】
上記得られた変換マトリクスＨ１及びＨ２は、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係を表している。最後に、第１のイメージは、第１の変換マトリクスＨ１を用いることによって仮想面へ変換され、及び／又は、第２のイメージは、第２の変換マトリクスＨ２を用いることによって仮想面へ変換されるが（ステップ３１３）、ここで、仮想面は、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく（すなわち、第１のイメージ及び第２のイメージが、それぞれ、変換マトリクスを通して基準座標系へ変換される）、第１のイメージＳ１によって定義される第１のイメージ座標系に基づく（すなわち、第２のイメージが、変換マトリクスを通して、第１のイメージ座標系へ変換される）、あるいは、第２のイメージＳ２によって定義される第２のイメージ座標系に基づく（すなわち、第１のイメージが、変換マトリクスを通して、第２のイメージ座標系へ変換される）ことができる。
【００３７】
さらに、イメージセンサー間の相対的な空間関係が未知である場合でも、第１のイメージセンサーＳ１によって取り込まれた基準点イメージＰ１’〜Ｐ４’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標、例えば、（ｘ，ｙ，ｚ）、を用いることにより、式（２）に従って、第１の変換マトリクスＨ１を得ることができる。同様に、第２のイメージセンサーＳ２によって取り込まれた基準点イメージＰ１’’〜Ｐ４’’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標を用いることにより、式（４）に従って、第２の変換マトリクスＨ２を得ることもできる。
【００３８】
図５ｄを参照すると、これは、第１のイメージ及び第２のイメージが、変換マトリクスを通して仮想面へ変換される実施形態を示す。例えば、取り込まれたイメージが、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく場合、基準点イメージの座標は、Ｐ１＝（−１，１）、Ｐ２＝（１，１）、Ｐ３＝（−１，−１）、Ｐ４＝（１，−１）である。イメージセンサー間の相対的な空間関係が既知の場合（変換マトリクスが既知）、これらの座標は、変換マトリクスＨ１を通して第１のイメージ座標系に基づく座標系へ変換することができ（図５ｄの左下図）、あるいは、変換マトリクスＨ２を通して第２のイメージ座標系に基づく座標系へ変換することができる（図５ｄの右下図）。さらに、取り込まれたイメージが第１のイメージ座標系に基づく場合、基準点イメージＰ１’’〜Ｐ４’’は、第１のイメージ座標系に基づく仮想面へ変換マトリクスを２回使用して変換することができ、これらは、変換後の基準点イメージＰ１’〜Ｐ４’に相当することになる。同様に、取り込まれたイメージが第２のイメージ座標系に基づく場合、基準点イメージＰ１’〜Ｐ４’は、第２のイメージ座標系に基づく仮想面へ変換マトリクスを２回使用して変換することができ、これらは、基準点イメージＰ１’’〜Ｐ４’’に相当することになる。
【００３９】
基準点は、４つに限定されないことは理解されよう。基準座標系を形成するには少なくとも３つの基準点が必要であるため、本発明では、第１の視野ＶＡ１及び第２の視野ＶＡ２に、それぞれ、少なくとも３つの基準点を設ける必要がある。図６ａ及び６ｂは、キャリブレーションモード３１において６つの基準点を用いる本発明の典型的な一実施形態を示す。図７ａ及び７ｂは、キャリブレーションモード３１において８つの基準点を用いる本発明の別の典型的な実施形態を示す。これらの実施形態の変換マトリクスの算出は、４つの基準点を用いる場合と同様であるため、本明細書では詳細な説明を行わない。
【００４０】
図８ａ及び８ｂを参照すると、図８ａは、本発明のキャリブレーションモード３１の別の選択肢としての実施形態を示す。図８ｂは、図８ａの上面図を示す。この別の実施形態においても、広角センサーアレイモジュール１’は、キャリブレーションパラメータとなる間隔をおいた４つの基準点Ｐ１〜Ｐ４のイメージを取り込み、ここで、基準点Ｐ１〜Ｐ４は、第１の視野ＶＡ１と第２の視野ＶＡ２とが重なり合う領域内に位置する（ステップ３１０）。基準点Ｐ１〜Ｐ４は、ｘ軸、ｙ軸、ｚ軸を含む基準座標系を定義する。広角センサーアレイモジュール１’は、Ｘ軸、Ｙ軸、Ｚ軸を含む座標系に基づくイメージを取り込み、第１のイメージセンサー及び第２のイメージセンサーは、それぞれ、自身のイメージ座標系を定義する。例えば、第１のイメージセンサーは、Ｘ１軸、Ｙ軸、Ｚ１軸を含む第１のイメージ座標系を定義し、第２のイメージセンサーは、Ｘ２軸、Ｙ軸、Ｚ２軸を含む第２のイメージ座標系を定義する。この別の実施形態では、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間には、横方向の角度差、及び縦方向の角度差が存在する。例えば、第１のイメージセンサーＳ１の中心法線ｎ１（Ｘ１，０，Ｚ１）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には、第１の横方向の角度差θ１＝−Φ及び縦方向の角度差θが存在し、第２のイメージセンサーＳ２の中心法線ｎ２（Ｘ２，０，Ｚ２）と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間には、第２の横方向の角度差θ２＝Φ及び縦方向の角度差θが存在し、ここで、第１のイメージセンサーＳ１の中心法線ｎ１と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間の縦方向の角度差は、第２のイメージセンサーＳ２の中心法線ｎ２と基準点Ｐ１〜Ｐ４によって定義される基準座標系のｚ軸との間の縦方向の角度差と等しくない場合がある。
【００４１】
図９ａ〜９ｃを参照すると、図９ａは、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージを示す。図９ｂは、第１のイメージセンサーＳ１によって取り込まれた第１のイメージ座標系に基づく基準点イメージＰ１’〜Ｐ４’を示し（ステップ３１１１）、第１のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１１２）。座標変換を用いて、基準座標系と第１のイメージ座標系との間のｘ方向の変換マトリクスＨ１ｘ及びｙ方向の変換マトリクスＨ１ｙを、それぞれ、式（５）及び式（６）として得ることができる（ステップ３１１３）。
【００４２】
【数５】
【００４３】
【数６】
【００４４】
次に、基準座標系と第１のイメージ座標系との間の変換マトリクスＨ１を式（７）として得ることができる。
【００４５】
【数７】
【００４６】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、数式（８）のような変換マトリクスＨ１を用いて第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づく座標へ変換することができる。
【００４７】
【数８】
【００４８】
同様に、図９ｃは、第２のイメージセンサーＳ２によって取り込まれた第２のイメージ座標系に基づく基準点イメージＰ１’’〜Ｐ４’’を示し（ステップ３１２１）、第２のイメージ内の各基準点イメージの座標を得ることができる（ステップ３１２２）。座標変換を用いて、基準座標系と第２のイメージ座標系との間のｘ方向の変換マトリクスＨ２ｘ及びｙ方向の変換マトリクスＨ２ｙを、それぞれ、式（９）及び式（１０）として得ることができる（ステップ３１２３）。
【００４９】
【数９】
【００５０】
【数１０】
【００５１】
次に、基準座標系と第２のイメージ座標系との間の変換マトリクスＨ２を、式（１１）として得ることができる。
【００５２】
【数１１】
【００５３】
すなわち、基準点Ｐ１〜Ｐ４によって定義される基準座標系に基づく基準点イメージの座標が（ｘ，ｙ，ｚ）であることが既知の場合、座標（ｘ，ｙ，ｚ）は、式（１２）のような変換マトリクスＨ２を用いて第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づく座標へ変換することができる。
【００５４】
【数１２】
【００５５】
さらに、イメージセンサー間の相対的な空間関係が未知である場合でも、第１のイメージセンサーＳ１によって取り込まれた基準点イメージＰ１’〜Ｐ４’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標、例えば、（ｘ，ｙ，ｚ）、を用いることにより、式（８）に従って第１の変換マトリクスＨ１を得ることができる。同様に、第２のイメージセンサーＳ２によって取り込まれた基準点イメージＰ１’’〜Ｐ４’’の座標、及び基準点イメージＰ１〜Ｐ４の予め定義された座標を用いることにより、式（１２）に従って第２の変換マトリクスＨ２を得ることもできる。
【００５６】
次に、動作モード３１の実行後に得られた変換マトリクスＨ１、Ｈ２、及び仮想面は、動作モード３２においてプロセッサ２１が使用するために、イメージプロセッシングユニット２の記憶ユニット２２に前もって記憶される。
【００５７】
別の実施形態では、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２は、予め成形されたフレーム（図示せず）に取り付けることができ、従って、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２をフレーム上で組み合わせた場合、第１のイメージセンサーＳ１と第２のイメージセンサーＳ２との間の相対的な空間関係は既知である。例えば、第１のイメージセンサーＳ１の中心法線と第２のイメージセンサーＳ２の中心法線との間の横方向の角度差、及び／又は、縦方向の角度差は、前もって知ることができる。従って、この別の実施形態のキャリブレーションモード３１では、第１のイメージセンサーＳ１及び第２のイメージセンサーＳ２の視野内に少なくとも３つの基準点をそれぞれ配置する必要がない。イメージセンサー間の相対的な空間関係から、変換マトリクスを直接算出することができ、また、その変換マトリクスを用いて仮想面を得ることができる。最後に、変換マトリクス及び仮想面は、記憶ユニット２２に記憶される。ここで、仮想面は、第１のイメージセンサーＳ１によって定義される第１のイメージ座標系に基づくことができ（すなわち、第２のイメージセンサーＳ２によって取り込まれたイメージを、変換マトリクスを通して第１のイメージ座標系に変換することができる）、あるいは、第２のイメージセンサーＳ２によって定義される第２のイメージ座標系に基づくことができる（すなわち、第１のイメージセンサーＳ１によって取り込まれたイメージを、変換マトリクスを通して第２のイメージ座標系に変換することができる）。
【００５８】
図２を再度参照すると、既に上述したように、キャリブレーションモード３１は、広角センサーアレイモジュール１及び１’が工場から出荷される前、又は最初の使用時に実施される較正プロセスである。実際の動作段階（動作モード３２）では、キャリブレーションモード３１を繰り返す必要はない。以下、動作モード３２について詳細に説明する。
【００５９】
図１０ａを参照すると、これは、本発明の一つの実施形態に係る広角センサーアレイモジュール１及び１’の動作モード３２のフローチャートを示す。動作モード３２は、以下のステップを含む。
−第１のイメージセンサーで第３のイメージを取り込むステップ（ステップ３２１１）。
−第２のイメージセンサーで第４のイメージを取り込むステップ（ステップ３２１２）。
−第３のイメージ及び／又は第４のイメージを変換マトリクスを用いて仮想面へ変換するステップ（ステップ３２１３）。
−仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップ（ステップ３２１４）。
−前記特性パラメータを伝送するステップ（ステップ３２１５）。
【００６０】
図１０ａ及び図１１ａ〜１１ｄを参照して、広角センサーアレイモジュール１及び１’の動作モード３２を、アプリケーションの実施形態を用いて説明する。ここで、広角センサーアレイモジュール１’は、ポインターポジショニングシステムに適用され、ライトガンの照準やポインティングデバイス等の光源Ｔ３及びＴ４は、それぞれ、第１のイメージセンサーＳ１の第１の視野ＶＡ１内、及び第２のイメージセンサーＳ２の第２の視野ＶＡ２内に位置する。まず、第１のイメージセンサーＳ１を用いて第２のイメージＩ３を取り込み（ステップ３２１１）、第２のイメージセンサーＳ２を用いて第４のイメージＩ４を取り込む（ステップ３２１２）。次に、プロセッサ２１は、記憶ユニット２２に予め記憶された変換マトリクス、例えば、キャリブレーションモード３１で得られた変換マトリクスＨ１及びＨ２、を用いて、第３のイメージＩ３及び第４のイメージＩ４を仮想面へ変換し、合成視野ＶＡを有する合成イメージＣＩを作製する。上述のように、仮想面は、第３のイメージＩ３又は第４のイメージＩ４によって定義される座標系のいずれかに基づくこともできる。次に、プロセッサ２１は、オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数、アスペクト比のパラメータ等の合成イメージＣＩ内、光源Ｔ３及びＴ４のイメージ等のオブジェクトイメージの特性パラメータを取り込む（ステップ３２１４）。最後に、特性パラメータは、伝送インターフェースユニット２３を通して、イメージディスプレイデバイス又は記憶デバイス（図示せず）へ伝送されるが、ここで、イメージディスプレイデバイスは、ＴＶ画面、投影スクリーン、ゲーム機画面、又はコンピュータ画面であってよい。イメージディスプレイデバイスは、アプリケーションで生成された画像を表示し、光源Ｔ３及びＴ４のイメージの座標及びパラメータ等のオブジェクトイメージの特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。
【００６１】
図１０ｂ及び図１１ａ〜１１ｄを参照して、広角センサーアレイモジュール１及び１’の動作モード３２の別の実施形態を以下で説明する。動作モード３２は、以下のステップを含む。
−第１のイメージセンサーで第３のイメージを取り込むステップ（ステップ３２２１）
−第３のイメージ内のオブジェクトイメージの第１の特性パラメータを取り込むステップ（ステップ３２２２）
−第２のイメージセンサーで第４のイメージを取り込むステップ（ステップ３２２３）
−第４のイメージ内のオブジェクトイメージの第２の特性パラメータを取り込むステップ（ステップ３２２４）
−第１の特性パラメータ及び第２の特性パラメータを変換マトリクスを用いて仮想面へ変換するステップ（ステップ３２２６）
−特性パラメータを伝送するステップ（ステップ３２１５）。
本実施形態と図１０ａとの違いは、第３及び第４のイメージを取り込んだ後、プロセッサ１１が、まず、それぞれのイメージ内のオブジェクトの特性パラメータを取り込み、次に、記憶ユニット２２に記憶された変換マトリクスを用いて該特性パラメータを仮想面へ変換して合成特性パラメータを生成することにある。最後に、上述のように、該特性パラメータは、伝送インターフェースユニット２３を通してイメージディスプレイデバイス又は記憶デバイスへ伝送される。従って、イメージディスプレイデバイスは、光源Ｔ３及びＴ４のイメージの座標及びパラメータ等の合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するために用いられる。このようにして、広角センサーアレイモジュール１及び１’内に少なくとも２つのイメージセンサーを配置することによって、ポインターポジショニングシステムの視野を著しく広げることができる（図１１ｄに示すように）。
【００６２】
さらに、本発明は、上述の方法を用い、２つ以上のイメージセンサーによって取り込まれたイメージを組み合わせて合成イメージを作製することもできる。例えば、図１２を参照すると、これは、４つのイメージセンサーＳ１〜Ｓ４がマトリクス状に配置された実施形態を示し、ここで、θ２１は、イメージセンサーＳ２とイメージセンサーＳ１の間の角度差であり、θ３１は、イメージセンサーＳ３とイメージセンサーＳ１の間の角度差であり、θ４１は、イメージセンサーＳ４とイメージセンサーＳ１の間の角度差である。このようにして、上記段落で述べた方法を用いることにより、イメージセンサーＳ２〜Ｓ４とイメージセンサーＳ１との間の変換マトリクスをこれらの空間関係に従って算出し、イメージセンサーＳ１〜Ｓ４によって取り込まれたイメージを組み合わせて合成イメージを作製することができる。本発明において、イメージセンサーの数は４つに限定されず、適切な数のイメージセンサー及びそれらの相対的な空間関係を、種々の要件に従って設計可能であることも理解できるであろう。
【００６３】
以上述べたように、複数のイメージセンサーを用いることによってイメージセンサーモジュールの視野を広げることができることから、複数のイメージを正しく組み合わせる方法が重要な課題となってきている。従って、本発明は、広角センサーアレイモジュール、並びにそのキャリブレーション方法及び動作方法を提供する。広角センサーアレイモジュールに少なくとも１つの変換マトリクスを前もって記憶しておくことにより、動作中に該変換マトリクスを用いてイメージを正しく組み合わせることができる。さらに、本発明の広角センサーアレイモジュールは、例えばシューティングゲーム等のポインターポジショニングシステムに適用することができ、それにより、動作中のポインターポジショニングシステムの視野を著しく広げることができ、システムコストを削減することもできる。
【００６４】
本発明をその好適な実施形態との関連で説明してきたが、これは、本発明を限定するために用いられるものではない。以下の特許請求の範囲に記載される本発明の精神及び範囲から逸脱することなく、他の多くの変更及び変形が当業者によって可能であることを理解すべきである。
【特許請求の範囲】
【請求項１】
合成イメージを作製するための広角センサーアレイモジュールであって、該センサーアレイモジュールは、
第１のイメージを取り込むための第１のイメージセンサーと、
第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
少なくとも１つの変換マトリクスを記憶する記憶ユニットであって、該変換マトリクスは、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる、記憶ユニットと、
該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ、該合成イメージを作製するプロセッサと、
を含む広角センサーアレイモジュール。
【請求項２】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度である、請求項１に記載のセンサーアレイモジュール。
【請求項３】
前記横方向の角度が２Φであり、前記変換マトリクスが、
【数１３】
及び／又は
【数１４】
である、請求項２に記載のセンサーアレイモジュール。
【請求項４】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度及び縦方向の角度である、請求項１に記載のセンサーアレイモジュール。
【請求項５】
前記横方向の角度が２Φであり、前記縦方向の角度がθであり、前記変換マトリクスが、
【数１５】
及び／又は
【数１６】
である、請求項４に記載のセンサーアレイモジュール。
【請求項６】
前記第１及び第２のイメージセンサーを装着するためのフレームをさらに含み、それにより、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係が該フレームによって定義される、請求項１に記載のセンサーアレイモジュール。
【請求項７】
前記第１のイメージセンサーに対して第１の相対的な空間関係を有する第３のイメージセンサー、及び前記第１のイメージセンサーに対して第２の相対的な空間関係を有する第４のイメージセンサーをさらに含み、該第１の相対的な空間関係に従って得られる第１の変換マトリクス、及び該第２の相対的な空間関係に従って得られる第２の変換マトリクスが、前記記憶ユニットに記憶され、前記プロセッサが、前記第１、第２、第３、及び第４のイメージセンサーによって取り込まれたイメージを、前記変換マトリクス、該第１の変換マトリクス、及び該第２の変換マトリクスを用いて組み合わせて前記合成イメージを作製する、請求項１に記載のセンサーアレイモジュール。
【請求項８】
第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法であって、該イメージキャリブレーション方法は、
少なくとも３個の基準点を提供するステップであって、該基準点は基準座標系を定義し、各基準点は基準座標を有するステップと、
該第１のイメージセンサーによって少なくとも３個の基準点を含む第１のイメージを取り込むステップであって、該第１のイメージは第１のイメージ座標系を定義し、該第１のイメージに含まれる各基準点は第１のイメージ座標を有するステップと、
該基準座標系及び該第１のイメージ座標系に従って第１の変換マトリクスを得るステップと、
該第２のイメージセンサーによって少なくとも３個の基準点を含む第２のイメージを取り込むステップであって、該第２のイメージは第２のイメージ座標系を定義し、該第２のイメージに含まれる各基準点は第２のイメージ座標を有するステップと、
該基準座標系及び該第２のイメージ座標系に従って第２の変換マトリクスを得るステップと、
該第１のイメージ及び／又は該第２のイメージを該第１の変換マトリクス及び／又は該第２の変換マトリクスを用いて仮想面へ変換するステップと、
を含むイメージキャリブレーション方法。
【請求項９】
前記基準座標系、前記第１のイメージ座標系及び前記第２のイメージ座標系が３次元デカルト座標系である、請求項８に記載のイメージキャリブレーション方法。
【請求項１０】
前記仮想面が、前記基準座標系、前記第１のイメージ座標系及び前記第２のイメージ座標系のいずれか１つに基づく、請求項８に記載のイメージキャリブレーション方法。
【請求項１１】
前記仮想面が前記基準座標系に基づく場合、前記第１のイメージを前記第１の変換マトリクスを用いて該仮想面へ変換し、前記第２のイメージを前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１２】
前記仮想面が前記第１のイメージ座標系に基づく場合、前記第２のイメージを前記第１の変換マトリクス及び前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１３】
前記仮想面が前記第２のイメージ座標系に基づく場合、前記第１のイメージを前記第１の変換マトリクス及び前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１４】
第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法であって、該イメージキャリブレーション方法は、
該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係を決定するステップと、
該相対的な空間関係に従って少なくとも１つの変換マトリクスを得るステップと、
該第１のイメージセンサーによって取り込まれたイメージ及び／又は該第２のイメージセンサーによって取り込まれたイメージを該変換マトリクスを用いて仮想面へ変換するステップと、
を含むイメージキャリブレーション方法。
【請求項１５】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項１４に記載のイメージキャリブレーション方法。
【請求項１６】
前記仮想面が、前記第１のイメージセンサーによって定義される座標系又は前記第２のイメージセンサーによって定義される座標系に基づく、請求項１４に記載のイメージキャリブレーション方法。
【請求項１７】
前記第１のイメージセンサーの視野が、前記第２のイメージセンサーの視野と重なり合う又は重なり合わなく、請求項１４に記載のイメージキャリブレーション方法。
【請求項１８】
第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法であって、該動作方法は、
該第１のイメージセンサーによって第３のイメージを取り込むステップと、
該第２のイメージセンサーによって第４のイメージを取り込むステップと、
該第３のイメージ及び／又は該第４のイメージを該変換マトリクスを用いて仮想面へ変換するステップと、
該仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップと、
を含む動作方法。
【請求項１９】
前記特性パラメータが、前記オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数及びアスペクト比から成る群から選択される、請求項１８に記載の動作方法。
【請求項２０】
前記第１のイメージセンサーと前記第２のイメージセンサーとの間の相対的な空間関係が、該第１のイメージセンサーと該第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項１８に記載の動作方法。
【請求項２１】
第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法であって、該動作方法は、
該第１のイメージセンサーによって第３のイメージを取り込むステップと、
該第３のイメージによっての第１の特性パラメータを生成するステップと、
該第２のイメージセンサーによって第４のイメージを取り込むステップと、
該第４のイメージによって第２の特性パラメータを生成するステップと、
該第１の特性パラメータ及び該第２の特性パラメータを該変換マトリクスを用いて仮想面へ変換して、該第１の特性パラメータ及び該第２の特性パラメータを組み合わせるステップと、
を含む動作方法。
【請求項２２】
前記第１及び前記第２の特性パラメータが、前記オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数及びアスペクト比から成る群から選択される、請求項２１に記載の動作方法。
【請求項２３】
前記第１のイメージセンサーと前記第２のイメージセンサーとの間の相対的な空間関係が、該第１のイメージセンサーと該第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項２１に記載の動作方法。
【請求項２４】
少なくとも１つの光源と、
合成視野を有する合成イメージを作製するための広角センサーアレイモジュールであって、
第１のイメージを取り込むための第１のイメージセンサーと、
第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
変換マトリクスを記憶する、該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ該合成イメージを作製する、該第一のイメージ及び／又は該第２のイメージは該光源のイメージを含み、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られ、該合成イメージ及び該光源のイメージに基づいて特性パラメータを生成するイメージプロセッシングユニットと、を含む広角センサーアレイモジュールと、
該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するためのイメージディスプレイと、を含むポインターポジショニングシステム。
【請求項２５】
前記光源が、ライトガンの照準又はポインティングデバイスである、請求項２４に記載のポインターポジショニングシステム。
【請求項２６】
少なくとも１つの光源と、
合成視野を有する合成イメージを作製するための広角センサーアレイモジュールであって、
第３のイメージを取り込むための第１のイメージセンサーと、
第４のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
該第３のイメージによって第１の特性パラメータを生成し、かつ該第４のイメージによって第２の特性パラメータを生成し、該第１の特性パラメータと該第２の特性パラメータを該変換マトリクスを用いて合成特性パラメータを作製する、該第一の特性パラメータ及び該第２の特性パラメータの少なく１つは該第３のイメージ或いは該第４のイメージでの該光源のイメージによって決められ、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られるイメージプロセッシングユニットと、を含む広角センサーアレイモジュールと、
該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するためのイメージディスプレイと、を含むポインターポジショニングシステム。
【請求項２７】
前記光源が、ライトガンの照準又はポインティングデバイスである、請求項２６に記載のポインターポジショニングシステム。
【請求項１】
合成イメージを作製するための広角センサーアレイモジュールであって、該センサーアレイモジュールは、
第１のイメージを取り込むための第１のイメージセンサーと、
第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
少なくとも１つの変換マトリクスを記憶する記憶ユニットであって、該変換マトリクスは、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる、記憶ユニットと、
該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ、該合成イメージを作製するプロセッサと、
を含む広角センサーアレイモジュール。
【請求項２】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度である、請求項１に記載のセンサーアレイモジュール。
【請求項３】
前記横方向の角度が２Φであり、前記変換マトリクスが、
【数１３】
及び／又は
【数１４】
である、請求項２に記載のセンサーアレイモジュール。
【請求項４】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度及び縦方向の角度である、請求項１に記載のセンサーアレイモジュール。
【請求項５】
前記横方向の角度が２Φであり、前記縦方向の角度がθであり、前記変換マトリクスが、
【数１５】
及び／又は
【数１６】
である、請求項４に記載のセンサーアレイモジュール。
【請求項６】
前記第１及び第２のイメージセンサーを装着するためのフレームをさらに含み、それにより、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係が該フレームによって定義される、請求項１に記載のセンサーアレイモジュール。
【請求項７】
前記第１のイメージセンサーに対して第１の相対的な空間関係を有する第３のイメージセンサー、及び前記第１のイメージセンサーに対して第２の相対的な空間関係を有する第４のイメージセンサーをさらに含み、該第１の相対的な空間関係に従って得られる第１の変換マトリクス、及び該第２の相対的な空間関係に従って得られる第２の変換マトリクスが、前記記憶ユニットに記憶され、前記プロセッサが、前記第１、第２、第３、及び第４のイメージセンサーによって取り込まれたイメージを、前記変換マトリクス、該第１の変換マトリクス、及び該第２の変換マトリクスを用いて組み合わせて前記合成イメージを作製する、請求項１に記載のセンサーアレイモジュール。
【請求項８】
第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法であって、該イメージキャリブレーション方法は、
少なくとも３個の基準点を提供するステップであって、該基準点は基準座標系を定義し、各基準点は基準座標を有するステップと、
該第１のイメージセンサーによって少なくとも３個の基準点を含む第１のイメージを取り込むステップであって、該第１のイメージは第１のイメージ座標系を定義し、該第１のイメージに含まれる各基準点は第１のイメージ座標を有するステップと、
該基準座標系及び該第１のイメージ座標系に従って第１の変換マトリクスを得るステップと、
該第２のイメージセンサーによって少なくとも３個の基準点を含む第２のイメージを取り込むステップであって、該第２のイメージは第２のイメージ座標系を定義し、該第２のイメージに含まれる各基準点は第２のイメージ座標を有するステップと、
該基準座標系及び該第２のイメージ座標系に従って第２の変換マトリクスを得るステップと、
該第１のイメージ及び／又は該第２のイメージを該第１の変換マトリクス及び／又は該第２の変換マトリクスを用いて仮想面へ変換するステップと、
を含むイメージキャリブレーション方法。
【請求項９】
前記基準座標系、前記第１のイメージ座標系及び前記第２のイメージ座標系が３次元デカルト座標系である、請求項８に記載のイメージキャリブレーション方法。
【請求項１０】
前記仮想面が、前記基準座標系、前記第１のイメージ座標系及び前記第２のイメージ座標系のいずれか１つに基づく、請求項８に記載のイメージキャリブレーション方法。
【請求項１１】
前記仮想面が前記基準座標系に基づく場合、前記第１のイメージを前記第１の変換マトリクスを用いて該仮想面へ変換し、前記第２のイメージを前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１２】
前記仮想面が前記第１のイメージ座標系に基づく場合、前記第２のイメージを前記第１の変換マトリクス及び前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１３】
前記仮想面が前記第２のイメージ座標系に基づく場合、前記第１のイメージを前記第１の変換マトリクス及び前記第２の変換マトリクスを用いて該仮想面へ変換する、請求項１０に記載のイメージキャリブレーション方法。
【請求項１４】
第１のイメージセンサー及び第２のイメージセンサーを含む広角センサーアレイモジュールのイメージキャリブレーション方法であって、該イメージキャリブレーション方法は、
該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係を決定するステップと、
該相対的な空間関係に従って少なくとも１つの変換マトリクスを得るステップと、
該第１のイメージセンサーによって取り込まれたイメージ及び／又は該第２のイメージセンサーによって取り込まれたイメージを該変換マトリクスを用いて仮想面へ変換するステップと、
を含むイメージキャリブレーション方法。
【請求項１５】
前記相対的な空間関係が、前記第１のイメージセンサーと前記第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項１４に記載のイメージキャリブレーション方法。
【請求項１６】
前記仮想面が、前記第１のイメージセンサーによって定義される座標系又は前記第２のイメージセンサーによって定義される座標系に基づく、請求項１４に記載のイメージキャリブレーション方法。
【請求項１７】
前記第１のイメージセンサーの視野が、前記第２のイメージセンサーの視野と重なり合う又は重なり合わなく、請求項１４に記載のイメージキャリブレーション方法。
【請求項１８】
第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法であって、該動作方法は、
該第１のイメージセンサーによって第３のイメージを取り込むステップと、
該第２のイメージセンサーによって第４のイメージを取り込むステップと、
該第３のイメージ及び／又は該第４のイメージを該変換マトリクスを用いて仮想面へ変換するステップと、
該仮想面でのオブジェクトイメージの少なくとも１つの特性パラメータを取り込むステップと、
を含む動作方法。
【請求項１９】
前記特性パラメータが、前記オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数及びアスペクト比から成る群から選択される、請求項１８に記載の動作方法。
【請求項２０】
前記第１のイメージセンサーと前記第２のイメージセンサーとの間の相対的な空間関係が、該第１のイメージセンサーと該第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項１８に記載の動作方法。
【請求項２１】
第１のイメージセンサーと、第２のイメージセンサーと、該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られる少なくとも１つの変換マトリクスを記憶する記憶ユニットとを含む広角センサーアレイモジュールの動作方法であって、該動作方法は、
該第１のイメージセンサーによって第３のイメージを取り込むステップと、
該第３のイメージによっての第１の特性パラメータを生成するステップと、
該第２のイメージセンサーによって第４のイメージを取り込むステップと、
該第４のイメージによって第２の特性パラメータを生成するステップと、
該第１の特性パラメータ及び該第２の特性パラメータを該変換マトリクスを用いて仮想面へ変換して、該第１の特性パラメータ及び該第２の特性パラメータを組み合わせるステップと、
を含む動作方法。
【請求項２２】
前記第１及び前記第２の特性パラメータが、前記オブジェクトイメージの座標、面積、色、指向性、境界、頂点の数及びアスペクト比から成る群から選択される、請求項２１に記載の動作方法。
【請求項２３】
前記第１のイメージセンサーと前記第２のイメージセンサーとの間の相対的な空間関係が、該第１のイメージセンサーと該第２のイメージセンサーとの間の横方向の角度及び／又は縦方向の角度である、請求項２１に記載の動作方法。
【請求項２４】
少なくとも１つの光源と、
合成視野を有する合成イメージを作製するための広角センサーアレイモジュールであって、
第１のイメージを取り込むための第１のイメージセンサーと、
第２のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
変換マトリクスを記憶する、該第１のイメージと該第２のイメージを該変換マトリクスを用いて組み合わせ該合成イメージを作製する、該第一のイメージ及び／又は該第２のイメージは該光源のイメージを含み、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られ、該合成イメージ及び該光源のイメージに基づいて特性パラメータを生成するイメージプロセッシングユニットと、を含む広角センサーアレイモジュールと、
該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するためのイメージディスプレイと、を含むポインターポジショニングシステム。
【請求項２５】
前記光源が、ライトガンの照準又はポインティングデバイスである、請求項２４に記載のポインターポジショニングシステム。
【請求項２６】
少なくとも１つの光源と、
合成視野を有する合成イメージを作製するための広角センサーアレイモジュールであって、
第３のイメージを取り込むための第１のイメージセンサーと、
第４のイメージを取り込むための、該第１のイメージセンサーに対して相対的な空間関係を有する第２のイメージセンサーと、
該第３のイメージによって第１の特性パラメータを生成し、かつ該第４のイメージによって第２の特性パラメータを生成し、該第１の特性パラメータと該第２の特性パラメータを該変換マトリクスを用いて合成特性パラメータを作製する、該第一の特性パラメータ及び該第２の特性パラメータの少なく１つは該第３のイメージ或いは該第４のイメージでの該光源のイメージによって決められ、該変換マトリクスは該第１のイメージセンサーと該第２のイメージセンサーとの間の相対的な空間関係に従って得られるイメージプロセッシングユニットと、を含む広角センサーアレイモジュールと、
該センサーアレイモジュールに連結され、アプリケーションで生成された画像を表示し、該合成特性パラメータに基づいて該アプリケーションを制御し、かつ該画像を更新するためのイメージディスプレイと、を含むポインターポジショニングシステム。
【請求項２７】
前記光源が、ライトガンの照準又はポインティングデバイスである、請求項２６に記載のポインターポジショニングシステム。
【図１ａ】
【図１ｂ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１１ｄ】
【図１２】
【図１ｂ】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図８ａ】
【図８ｂ】
【図９ａ】
【図９ｂ】
【図９ｃ】
【図１０ａ】
【図１０ｂ】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１１ｄ】
【図１２】
【公開番号】特開２０１０−２８８２０（Ｐ２０１０−２８８２０Ａ）
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願番号】特願２００９−１７１８０６（Ｐ２００９−１７１８０６）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０８００１５３４）ピックスアート イメージング インコーポレイテッド (10)
【Ｆターム（参考）】
【公開日】平成２２年２月４日（２０１０．２．４）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０８００１５３４）ピックスアート イメージング インコーポレイテッド (10)
【Ｆターム（参考）】
[ Back to top ]