撮像デバイスの位置特定を行うシステムおよび方法
撮像デバイスによって撮影された画像を使用して、ネットワーク内の撮像デバイスの位置特定を行うシステムおよび方法。カメラ装備通信デバイスのネットワーク内での相対位置および向きは、各デバイスが、デバイスのカメラによって撮影した画像を検討することによって可能である。デバイスは、所定の方法でその出力を変動させる制御可能な光源も装備する。この変動は、画像において見出され、所定の視野においてデバイスを識別し、所定の視野において他の撮像デバイスに関連するエピポーラ点を規定するのに使用される。画像内の共通基準点もまた識別される。撮像デバイスは、その後、エピポーラ点および共通基準点の詳細を相互に交換し、それらを使用して、デバイスの相対位置および向きを得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク内のノードの位置特定を行うシステムおよび方法に関し、より詳細には、撮像デバイスによって撮影された画像を使用して撮像デバイスのネットワーク内のノードを識別し、位置特定を行うことに関する。
【背景技術】
【０００２】
多くの通信デバイスが、低コストの撮像能力を装備するようになっている。たとえば、多くの携帯電話は、今や、デジタルカメラを組み込み、多くのポケットパーソナルコンピュータ（ＰＰＣ）および携帯情報端末（ＰＤＡ）は、撮像および通信オプションを有する。こうしたデバイスが急増するにつれて、こうしたデバイスがネットワークに接続されて、撮像能力を分配配置する多くの用途が可能になっている。
【０００３】
たとえば、無線通信能力を装備する一群のカメラが、建物内または建物の周りの壁に設置され、次に、ネットワーク接続されて、建物の外部および内部をカバーする監視システムを形成することができる。こうした迅速に展開可能な監視システムは、たとえば、目標物の安全を確保する軍人、または、火事または事故などの出来事に対応する緊急応答チームが使用してもよい。
【０００４】
別の用途では、スポーツイベントの周りに分配された、通信可能なカメラのネットワークは、プレーヤの動きおよび位置を３次元で取り込むことが可能な撮像ネットワークを提供し得る。この情報は、インターネットを通じたゲームの伝送、または、プレーヤ性能のゲーム後の解析のために有用である場合がある。
通信可能なカメラのこうしたネットワークは、温度センサ、加速度計、または音響センサなどの、シーン内の他のセンサノードのロケーションを調査するのに使用することもできる。これらのロケーション推定を使用して、これらのセンサから生成された測定値をよりよく解析し解釈することができる。こうした能力は、建物監視用途で使用されることができ、センサ情報は、エネルギー管理、空気流管理、または侵入検出のために使用することができる。
【０００５】
こうした全ての分散撮像ネットワーク用途の一般的な特徴は、各画像取得ノードが位置特定される必要性、すなわち、各画像取得ノードの、他のノードに対する位置および向きを知る必要性があることである。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
多くの従来技術の方法は、無線または音響信号を使用して、ネットワーク内のノードの相対位置を取り出すのに使用することができるレンジ情報を獲得する方法として、信号の飛翔時間または相対強度を監視してきた。しかし、こうした技法では、ネットワーク内の撮像デバイスの相対的な方向を容易に計算することはできない。
【課題を解決するための手段】
【０００７】
本発明のシステムおよび方法は、ネットワーク内の撮像デバイスによって撮影された画像を使用して撮像デバイスの位置特定を行う。さらに、撮像デバイスに画像解析能力を付加することによって、本発明は、処理のために、画像全体を中央ロケーションに送出することによる、伝送および記憶の負担もかなり軽減する。
【０００８】
好ましい実施形態では、ネットワーク内の撮像デバイスは、それぞれ、それ自身のカメ
ラで撮影した画像を検討し、適切な情報を抽出する。この情報は、その後、他の撮像デバイスと交換され、ネットワーク内のノードの相対位置および向きを計算するのに使用される。
【０００９】
撮像デバイスはまた、制御可能な光源を装備してもよく、光源の出力は、所定のシーケンスまたはパターンで変動する。その後、対応する画像間の強度変動を有する画素が、他の撮像デバイスによって見出され、どの撮像デバイスが、他の撮像デバイスに見られることができるかを識別するのに使用されてもよい。その後、これらの画素を使用して、撮像デバイスに関連するエピポーラ点を規定してもよい。画像内の共通基準点も識別される。エピポーラ点および任意の共通基準点のロケーションは、その後、撮像デバイスの間で交換され、撮像デバイスおよび基準点を互いに関して位置特定するのに使用される。
【００１０】
本発明の、これらのまた他の特徴は、添付図面を参照することによって、より完全に理解されるであろう。
【発明を実施するための最良の形態】
【００１１】
本発明の方法によれば、撮像デバイスは、ネットワーク内の全てのノードの位置特定を行うために、データ交換が比較的少量で、十分な画像処理能力を備える。特に、撮像デバイスは、それ自身の画像を検討することによって、その視野内で他のネットワークノードに対する角度を効率的に測定することが可能である。このデータを他のノードと交換することによって、互いに見ることができるノードは、その相対位置および向きを計算することができる。この位置特定結果は、その後、全ネットワークを通して伝達されることができる。
【００１２】
この方法は、多数のカメラ装備通信デバイスの位置特定を行う、簡単でかつ直接的な方法を提供する。方法は、迅速であり、撮像能力を持たないブラインドノードのロケーションを含む、センサノードの直接測定を可能にする。さらなる実施形態では、アクティブ光がカメラ装備通信デバイスに搭載されていることによって、画像を使用して、ネットワークノードを識別することもできる。
【００１３】
本発明の、これらのまた他の利点は、添付図面に関連して、ここで、より詳細に述べる。
図１は、本発明の位置特定システム１０の一実施形態の基本要素を示す略図である。システム１０は、それぞれが、発光デバイス１６および１８を取り付けられた２つの撮像デバイス１２および１４を備える。撮像デバイス１２は、撮像デバイス１４の表示２７および共通基準物体２０の表示３１を含む画像２２を取得する。同様に、撮像デバイス１４は、撮像デバイス１２の表示２９および共通基準物体２０の表示３３を含む画像２４を取得する。
【００１４】
取得された画像２２および２４の解析は、こうして、２つの撮像デバイス１２および１４の相対向きおよび位置を提供することができる。好ましい実施形態では、この解析は、エピポーラ画素２６および２８ならびに基準画素３０および３２の、画像２２および２４内での位置を取り出すことによる。
【００１５】
基準画素３０は、限定はしないが、基準物体２０の中心などの、共通基準物体２２０の何らかの特性に最も密接に対応し、したがって、表示３１の中心画素であってもよい、画像２２内の画素である。同様に、基準画素３２は、画像２４内の表示３３の中心画素であってよい。
【００１６】
エピポーラ画素２６は、撮像デバイス１２によって撮影された画像２２内に現れるよう
な、カメラ１４の焦点に最も密接に対応する画素である。本発明の好ましい実施形態では、エピポーラ画素２６は、撮像デバイス１４の発光デバイス１８に対応する画素のうちの１つの画素であると仮定され、画像２２内のカメラ１４の表示２７の一部である。同様に、エピポーラ画素２８は、撮像デバイス１４によって撮影された画像２４内に現れるような、撮像デバイス１２の焦点に最も密接に対応する画素であり、画像２４内の撮像デバイス１２の表示２９の一部である。
【００１７】
たとえば、撮像デバイス１２または１４の画像平面に対し、かつ、撮像デバイス１２または１４の焦点を通る法線からの角度偏倚として表現される、エピポーラ画素２６および２８ならびに基準画素３０および３２のロケーションを使用して、情報処理ユニット３４は、以下で詳細に説明するように、２つの撮像デバイス１２および１４ならびに基準物体２０のロケーションを計算する。
【００１８】
分散撮像ネットワークを形成する撮像デバイス１２および１４は、たとえば、無線通信能力とデジタルカメラを装備したＰＤＡ、デジタルカメラを装備した無線電話、または、それらの何らかの組合せであってよい。
【００１９】
画像処理ユニット３４は、独立したコンピュータであってよく、または、撮像デバイス１２および１４の一方または他方に関連した適切にプログラムされたマイクロプロセッサであってよい。
【００２０】
発光デバイス１６および１８は、たとえば、発光ダイオード（ＬＥＤ）か、白熱電球か、半導体レーザか、または、それらの何らかの組合せであってよい。発光デバイス１６および１８は、その関連する撮像デバイスを識別する所定のシーケンスで出力を変動させてもよい。たとえば、発光デバイス１６および１８は、一定周波数で指定２値ビットシーケンスを繰り返すように連続して明滅してもよい。画像２２および２４のシーケンスを検討することによって、同じ指定２値ビットシーケンスおよび周波数で変動する画素が、見出され、エピポーラ点２６および２８の位置特定を行い、関連する撮像デバイス１２および１４を識別するのに使用されてもよい。
撮像デバイス１２および１４ならびに発光デバイス１６および１８は、電磁スペクトルの任意の適した周波数で動作してもよく、好ましくは、電磁スペクトルの紫外部分から赤外部分を通ってマイクロ波部分内で動作してもよい。
図２は、識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフである。グラフ４０は、その出力を変動させている発光デバイス１６または１８の明滅パターン出力を示す。画像サンプル４２は、明滅パターン出力に対する画像取得のタイミングを示す。
好ましい実施形態では、プログラムされたマイクロコントローラは、発光ダイオードを制御して、適した周期を有する２値パターン４０を生成する。２値パターン４０は、任意の数のビットを有してもよく、実際の数は、同じ画像内で見ることが予想される撮像デバイスの数と、２値パターンを識別するのに必要とされるビデオシーケンスの増加した長さとの兼ね合いである。たとえば、２ビット２値パターンを使用して、最大２つの撮像デバイスを一意に識別することができるだけであるが、２つの画像シーケンスを必要とするだけであろう。他方、２４ビットパターンなどの長いビットパターンを使用して、何千もの撮像デバイスを一意に識別できるが、２４の連続画像の画像シーケンスが、取得され、解析されることを要求されるであろう。同様に、長い周期のパターンは、画像シーケンスを取得する総時間を増加させるであろう。デジタルカメラのシャッタ速度は、通常、約１〜１０ミリ秒の範囲であるため、２値パターン４０についての通常の周波数は、約１０〜１００ミリ秒の範囲にあってよい。
【００２１】
１つの例示的な実施形態では、６７ミリ秒の周期を有する８ビット２値パターンが選択
された。この例示的な実施形態では、撮像デバイス１２および１４は、それぞれ、６７ミリ秒間隔で８つの画像のシーケンスを取得する。好ましい実施形態では、発光デバイスの変動する出力を画像取得に同期させる試みは何も行われない。画像シーケンスの各画素を検討して、画像シーケンスの過程にわたって最大輝度と最小輝度を獲得してもよい。これは、赤−緑−青（ＲＧＢ）カラー画像の全てのチャネルについて行われてもよい。あるいは、緑チャネルなどの、チャネルのうちの１つのチャネルからの画素だけを検討して、白物体の輝度変動の良好な推定を獲得してもよい。各画素について、最大および最小輝度値が獲得されると、画像シーケンスにわたって有意の変動を有する画素が、さらに解析される。特に、画素値は、２値化され、２値化された輝度変動を検討して、輝度変動が、指定シーケンスに整合するかどうかを調べる。
【００２２】
好ましい実施形態では、画像取得と発光デバイスの変動は同期しないため、２値化されたシーケンスは、画像取得がシーケンス内の任意の点で始まるように、指定シーケンスの周期的置換え全てについて検討されるべきである。
【００２３】
好ましい実施形態では、最適サンプリング理論によって要求される、最小である、信号周波数の２倍ではなく、信号周波数で画像が取得されるという意味で、システムは、識別される信号をアンダーサンプリングする。このアンダーサンプリングは、たとえば、取得が明滅パターンの遷移にオーバラップするときに、シーケンスの検出の失敗をもたらす可能性がある。好ましい実施形態では、アンダーサンプリングに関連する問題は、測定を頻繁に繰り返し、また、カメラと発光デバイスが共に、ジッタとしても知られる十分なタイミング変動を有することによることによって克服される。方法が仮定するところによれば、このジッタのために、後続の測定に関して、画像取得と明滅パターン遷移が、もはやオーバラップせず、パターンが検出されることになる。
【００２４】
図３は、本発明の方法によって、３つのノードの位置特定を行うときに使用されるベクトルと長さを示す３次元グラフである。図３のグラフは、撮像デバイス１２および１４の焦点が、ＡおよびＢに位置すると仮定し、それらのカメラは、焦点距離がわかっているか、または、決定されたという意味で較正された。図３では、ノードＣは、共通基準物体２０に相当する。こうして、エピポーラ画素２６および２８ならびに基準画素３０および３２のロケーションは、各カメラの焦点で始まる単位ベクトルによって表現することができる。これらのベクトルは、たとえば、Ｘ軸およびＹ軸が、カメラ画像平面に平行で、かつ、Ｚ軸が、カメラ画像平面に垂直であるように向いたデカルト座標フレーム内で参照されることができる。実際には、エピポーラ画素２６および２８ならびに基準画素３０および３２は、撮像デバイスの画像平面に対し、かつ、撮像デバイスの焦点を通る法線に関する角度偏倚として規定される。
【００２５】
こうしたベクトル表示では、ｖａｂは、撮像デバイス１２の基準フレーム内でエピポーラ画素２６を規定する単位ベクトルであり、ｖｂａは、撮像デバイス１４の基準フレーム内でエピポーラ画素２８を規定する単位ベクトルであり、ｖａｃは、撮像デバイス１２の基準フレーム内で基準点２０を規定する単位ベクトルであり、ｖｂｃは、撮像デバイス１４の基準フレーム内で基準点２０を規定する単位ベクトルである。
【００２６】
点Ａ、Ｂ、およびＣは全て、平面（エピポーラ平面）上にあるため、ベクトルの外積ｎａ＝ｖａｂ∧ｖａｃおよびｎｂ＝ｖｂａ∧ｖｂｃは、共に、その平面に対する法線を規定する。さらに、法線とエピポーラベクトルは、撮像デバイスの基準フレームの相対的な向きを取り込む、同じ回転行列Ｒａｂによって関係付けられる。特に、
ｖａｂ＝−Ｒａｂｖａｂ （１）
ｎａ＝−Ｒａｂｎｂ （２）
である。
正規直交行列、すなわち、
Ｒａ＝［ｖａｂｎａ(ｖａｂ×ｎａ)］
および、
Ｒｂ＝［−ｖｂａｎｂ(ｖｂa×ｎｂ)］
を構築することも可能である。
【００２７】
式（１）および（２）ならびに正規直交行列の定義から、結果として、
Ｒａ＝ＲａｂＲｂ （３）
になり、次に、Ｒａｂについての以下の表現、
Ｒａｂ＝Ｒａ（Ｒｂ）Ｔ （４）
が得られる。
【００２８】
Ｒａｂについて解くことは、ノードＡおよびＢに焦点を有する２つの撮像デバイス１２および１４の相対的な向きを提供する。２つの撮像デバイスの相対的な向きを見出して、ベクトルが、三角形、すなわち、
Ｉａｂｖａｂ＋Ｉｂｃｖｂｃ−Ｉｃａｖｃａ＝０
を形成することを考えることによって、３つのノードＡ、Ｂ、およびＣの相対的な位置が取り出されてもよい。ここで、Ｉａｂ、Ｉｂｃ、およびＩｃａは、線分ＡＢ、ＢＣ、およびＣＡの長さである。システムは、均質であるため、ノードの構成は、正のスケールファクタまで解くことができるだけである。すなわち、三角形ＡＢＣの角度を全て決定することができるが、絶対サイズは決定されない。これは、動き再構成による全ての構造に共通の同じスケールの曖昧さである。この曖昧さを解決するために、さらなる距離測定が必要とされる。この曖昧さを解決する一方法は、画像内で、わかっているサイズの共通物体を識別し、この物体を使用して、絶対距離を提供することである。さらに、画像のうちの１つの中で、人の平均サイズなどのおよそわかっている寸法があることは、スケールの近似解を計算することを可能にする。
【００２９】
上述した位置特定方法では、ノードは、撮像デバイスの焦点にあると仮定する。好ましい実施形態では、発光デバイス１６および１８は、撮像デバイスに並置され、撮像デバイスのレンズの焦点に一致しない場合がある。しかし、ノード間の距離が、発光デバイスと焦点との間の分離と比較して大きい限り、位置特定方法は、非常に良好な近似である。実用的な用途では、ノード間の距離は数メートルであり、一方、発光デバイスと焦点との間の分離は数ミリメートルに過ぎない場合があり、この方法を非常に良好な近似にする。
【００３０】
方法は、２つのアクティブノードと１つのパッシブノードを参照して上述されたが、方法が、任意の数のアクティブノードとパッシブノードに拡張されてもよいことを当業者は理解するであろう。たとえば、上述した方法を、３つ以上のアクティブカメラを含むように拡張することができることを当業者は容易に理解するであろう。さらに、撮像デバイスが全て、互いに見られることができる必要はない。撮像デバイスのオーバラップが存在する限り、ネットワーク内の全ての撮像デバイスが、ネットワーク内の少なくとも１つの他の撮像デバイスに見られることができるという意味で、上述した方法は、撮像デバイスの任意の大きなネットワークを含むように拡張することができる。
【００３１】
図４は、本発明の方法の代表的なステップを示すフロー図である。
ステップ４４にて、画像シーケンスが、アクティブノード、すなわち、ネットワーク内の撮像デバイスによって取得される。
【００３２】
ステップ４６にて、各アクティブノードによって取得された画像シーケンスが解析される。好ましい実施形態では、この解析は、撮像デバイスの一部であるプロセッサ上で実行されるソフトウェアによって行われる。代替の実施形態では、画像の一部または全ては、
限定はしないが、より高い処理能力を装備した別のデバイスなどの処理用の別のデバイスまたは中央ロケーションに送出されてもよい。
【００３３】
ステップ４８では、画像シーケンスのそれぞれにおけるアクティブノードが、発光デバイスが変動する所定のシーケンスを見出すことによって識別される。
ステップ５０にて、画像シーケンス内のパッシブノードが、たとえば、限定はしないが、テンプレートマッチングなどの標準的なパターン認識技法を使用することによって識別される。
【００３４】
ステップ５２にて、識別されたアクティブノードに関連する画素を使用して、エピポーラ点の位置特定が行われ、パッシブノードに関連する画素を使用して、基準点の位置特定が行われる。
【００３５】
ステップ５４にて、エピポーラ点および基準点が通信される。この通信は、たとえば、互いに識別される撮像デバイスの全てがデータを交換することを含む、または、データが全て、デバイスの部分集合に、または、単一処理点に送出されることを含む。通信は、無線形態で、または、限定はしないが、導電性ワイヤまたは光ファイバなどの適したコネクタを通じて、電磁スペクトルの使用を含む任意の適した手段によって実施されてもよく、あるいは、通信は、限定はしないが、超音波信号または音声音響信号またはこれらの方法の組合せなどの、音響チャネルであってよい。好ましい実施形態では、通信は、メガヘルツからギガヘルツ周波数範囲の無線伝送電磁放射による。
【００３６】
ステップ５６にて、ネットワーク内のノードは、先に詳述した技法を使用して位置特定されてもよい。この位置特定は、たとえば、撮像デバイス上または撮像デバイスに関連して位置するプロセッサによって達成されてもよく、または、遠隔または中央ロケーションで行われてもよい。
【００３７】
ステップ５８にて、ネットワークのスケールが、たとえば、画像のうちの１つの中の、わかっているサイズの物体を識別することによって決定される。このスケールは、その後、ネットワークを通して伝達されてもよい。
【００３８】
システムのさらなる実施形態では、先に詳述した協調的位置特定が可能で、ネットワークのノードが全て、スマートカメラモジュール、すなわち、通信モジュールおよび点滅発光デバイスに関連した撮像デバイスであるネットワークが確立されてもよい。あるいは、ノードのうちの少なくとも２つが、協調的位置特定が可能なスマートカメラモジュールであり、一方、ネットワーク内の１つまたは複数の他のノードが、限定はしないが、中継デバイス、画像プロセッサ、ビーコン、センサデバイス、またはメモリデバイスなどの、他のアクティブまたはパッシブデバイスであるネットワークが確立されてもよい。
【００３９】
本発明のさらなる実施形態では、少なくとも２つの協調的に位置特定される撮像デバイスによって撮影された画像は、遠隔または中央ロケーションに送出されてもよい。こうしたロケーションにおいて、複数の位置特定される撮像デバイスから受け取られる画像は、統合されて、個々の画像と比較して、より広い視野を提示する少なくとも１つの複合画像を形成する。複合画像は、２次元画像または３次元画像であってよく、たとえば、監視、状況評価、２次元または３次元再構成、および環境監視を含む種々の目的で使用されてもよい。
【００４０】
本発明のさらなる実施形態では、撮像デバイスの少なくとも１つは、限定はしないが、複数の電荷結合素子（ＣＣＤ）などの複数の画像取り込み表面を有してもよい。
さらなる実施形態では、撮像デバイスの少なくとも１つは、限定はしないが、１８０°
の視野を可能にするフィッシュアイレンズなどの視野の増大を可能にする光学系を有してもよい。２つのこうしたデバイスは、たとえば、３６０°の視野を効率的に提供するために、背中合わせで設置されてもよい。
【００４１】
上述したステップの一部または全ては、標準的で、かつ、よく知られているコンピュータプログラミング技法を使用して実施されてもよい。上述した実施形態の新規性は、特定のプログラミング技法またはプログラミング言語にあるのではなく、述べた結果を達成するのに述べたステップの使用にある。本発明の全てまたは一部を具現化するソフトウェアプログラミングコードは、通常、撮像デバイス上の永久記憶部などの、あるタイプの永久記憶部内、または、中央ワークステーションに関連する記憶デバイス上に記憶される。クライアント／サーバ環境では、こうしたソフトウェアプログラミングコードは、サーバに関連する記憶部を用いて記憶されてもよい。ソフトウェアプログラミングコードは、ＣＭＯＳメモリ、フラッシュメモリ、ディスケット、ハードドライブ、またはＣＤ−ＲＯＭなどの、データ処理システムと共に使用するための種々の知られている媒体のうちの任意の媒体上で具現化されてもよい。コードは、こうした媒体上で配布されてもよく、または、１つのコンピュータシステムのメモリまたは記憶部から、あるタイプのネットワークを通じて他のコンピュータシステムへ、他のシステムのユーザが使用するために、ユーザに配信されてもよい。物理的媒体上でソフトウェアプログラミングコード具現化する、かつ／または、ネットワークを介してソフトウェアコードを配信する技法および方法は、よく知られており、本明細書では、さらには説明されないであろう。
【００４２】
本発明は、構造特性および／または方法行為の固有の言語で述べられたが、添付特許請求の範囲に規定される発明は、述べた特定の特性または行為に必ずしも限定されないことが理解される。むしろ、特定の特性または行為は、特許請求される発明を実施する例示的な形態として開示される。
【図面の簡単な説明】
【００４３】
【図１】本発明の位置特定システムの一実施形態の基本要素を示す略図。
【図２】識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフ。
【図３】本発明の３ノード位置特定方法で使用されるベクトルと長さを示す３次元グラフ。
【図４】本発明の方法の一実施形態の代表的なステップを示すフロー図。
【技術分野】
【０００１】
本発明は、ネットワーク内のノードの位置特定を行うシステムおよび方法に関し、より詳細には、撮像デバイスによって撮影された画像を使用して撮像デバイスのネットワーク内のノードを識別し、位置特定を行うことに関する。
【背景技術】
【０００２】
多くの通信デバイスが、低コストの撮像能力を装備するようになっている。たとえば、多くの携帯電話は、今や、デジタルカメラを組み込み、多くのポケットパーソナルコンピュータ（ＰＰＣ）および携帯情報端末（ＰＤＡ）は、撮像および通信オプションを有する。こうしたデバイスが急増するにつれて、こうしたデバイスがネットワークに接続されて、撮像能力を分配配置する多くの用途が可能になっている。
【０００３】
たとえば、無線通信能力を装備する一群のカメラが、建物内または建物の周りの壁に設置され、次に、ネットワーク接続されて、建物の外部および内部をカバーする監視システムを形成することができる。こうした迅速に展開可能な監視システムは、たとえば、目標物の安全を確保する軍人、または、火事または事故などの出来事に対応する緊急応答チームが使用してもよい。
【０００４】
別の用途では、スポーツイベントの周りに分配された、通信可能なカメラのネットワークは、プレーヤの動きおよび位置を３次元で取り込むことが可能な撮像ネットワークを提供し得る。この情報は、インターネットを通じたゲームの伝送、または、プレーヤ性能のゲーム後の解析のために有用である場合がある。
通信可能なカメラのこうしたネットワークは、温度センサ、加速度計、または音響センサなどの、シーン内の他のセンサノードのロケーションを調査するのに使用することもできる。これらのロケーション推定を使用して、これらのセンサから生成された測定値をよりよく解析し解釈することができる。こうした能力は、建物監視用途で使用されることができ、センサ情報は、エネルギー管理、空気流管理、または侵入検出のために使用することができる。
【０００５】
こうした全ての分散撮像ネットワーク用途の一般的な特徴は、各画像取得ノードが位置特定される必要性、すなわち、各画像取得ノードの、他のノードに対する位置および向きを知る必要性があることである。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
多くの従来技術の方法は、無線または音響信号を使用して、ネットワーク内のノードの相対位置を取り出すのに使用することができるレンジ情報を獲得する方法として、信号の飛翔時間または相対強度を監視してきた。しかし、こうした技法では、ネットワーク内の撮像デバイスの相対的な方向を容易に計算することはできない。
【課題を解決するための手段】
【０００７】
本発明のシステムおよび方法は、ネットワーク内の撮像デバイスによって撮影された画像を使用して撮像デバイスの位置特定を行う。さらに、撮像デバイスに画像解析能力を付加することによって、本発明は、処理のために、画像全体を中央ロケーションに送出することによる、伝送および記憶の負担もかなり軽減する。
【０００８】
好ましい実施形態では、ネットワーク内の撮像デバイスは、それぞれ、それ自身のカメ
ラで撮影した画像を検討し、適切な情報を抽出する。この情報は、その後、他の撮像デバイスと交換され、ネットワーク内のノードの相対位置および向きを計算するのに使用される。
【０００９】
撮像デバイスはまた、制御可能な光源を装備してもよく、光源の出力は、所定のシーケンスまたはパターンで変動する。その後、対応する画像間の強度変動を有する画素が、他の撮像デバイスによって見出され、どの撮像デバイスが、他の撮像デバイスに見られることができるかを識別するのに使用されてもよい。その後、これらの画素を使用して、撮像デバイスに関連するエピポーラ点を規定してもよい。画像内の共通基準点も識別される。エピポーラ点および任意の共通基準点のロケーションは、その後、撮像デバイスの間で交換され、撮像デバイスおよび基準点を互いに関して位置特定するのに使用される。
【００１０】
本発明の、これらのまた他の特徴は、添付図面を参照することによって、より完全に理解されるであろう。
【発明を実施するための最良の形態】
【００１１】
本発明の方法によれば、撮像デバイスは、ネットワーク内の全てのノードの位置特定を行うために、データ交換が比較的少量で、十分な画像処理能力を備える。特に、撮像デバイスは、それ自身の画像を検討することによって、その視野内で他のネットワークノードに対する角度を効率的に測定することが可能である。このデータを他のノードと交換することによって、互いに見ることができるノードは、その相対位置および向きを計算することができる。この位置特定結果は、その後、全ネットワークを通して伝達されることができる。
【００１２】
この方法は、多数のカメラ装備通信デバイスの位置特定を行う、簡単でかつ直接的な方法を提供する。方法は、迅速であり、撮像能力を持たないブラインドノードのロケーションを含む、センサノードの直接測定を可能にする。さらなる実施形態では、アクティブ光がカメラ装備通信デバイスに搭載されていることによって、画像を使用して、ネットワークノードを識別することもできる。
【００１３】
本発明の、これらのまた他の利点は、添付図面に関連して、ここで、より詳細に述べる。
図１は、本発明の位置特定システム１０の一実施形態の基本要素を示す略図である。システム１０は、それぞれが、発光デバイス１６および１８を取り付けられた２つの撮像デバイス１２および１４を備える。撮像デバイス１２は、撮像デバイス１４の表示２７および共通基準物体２０の表示３１を含む画像２２を取得する。同様に、撮像デバイス１４は、撮像デバイス１２の表示２９および共通基準物体２０の表示３３を含む画像２４を取得する。
【００１４】
取得された画像２２および２４の解析は、こうして、２つの撮像デバイス１２および１４の相対向きおよび位置を提供することができる。好ましい実施形態では、この解析は、エピポーラ画素２６および２８ならびに基準画素３０および３２の、画像２２および２４内での位置を取り出すことによる。
【００１５】
基準画素３０は、限定はしないが、基準物体２０の中心などの、共通基準物体２２０の何らかの特性に最も密接に対応し、したがって、表示３１の中心画素であってもよい、画像２２内の画素である。同様に、基準画素３２は、画像２４内の表示３３の中心画素であってよい。
【００１６】
エピポーラ画素２６は、撮像デバイス１２によって撮影された画像２２内に現れるよう
な、カメラ１４の焦点に最も密接に対応する画素である。本発明の好ましい実施形態では、エピポーラ画素２６は、撮像デバイス１４の発光デバイス１８に対応する画素のうちの１つの画素であると仮定され、画像２２内のカメラ１４の表示２７の一部である。同様に、エピポーラ画素２８は、撮像デバイス１４によって撮影された画像２４内に現れるような、撮像デバイス１２の焦点に最も密接に対応する画素であり、画像２４内の撮像デバイス１２の表示２９の一部である。
【００１７】
たとえば、撮像デバイス１２または１４の画像平面に対し、かつ、撮像デバイス１２または１４の焦点を通る法線からの角度偏倚として表現される、エピポーラ画素２６および２８ならびに基準画素３０および３２のロケーションを使用して、情報処理ユニット３４は、以下で詳細に説明するように、２つの撮像デバイス１２および１４ならびに基準物体２０のロケーションを計算する。
【００１８】
分散撮像ネットワークを形成する撮像デバイス１２および１４は、たとえば、無線通信能力とデジタルカメラを装備したＰＤＡ、デジタルカメラを装備した無線電話、または、それらの何らかの組合せであってよい。
【００１９】
画像処理ユニット３４は、独立したコンピュータであってよく、または、撮像デバイス１２および１４の一方または他方に関連した適切にプログラムされたマイクロプロセッサであってよい。
【００２０】
発光デバイス１６および１８は、たとえば、発光ダイオード（ＬＥＤ）か、白熱電球か、半導体レーザか、または、それらの何らかの組合せであってよい。発光デバイス１６および１８は、その関連する撮像デバイスを識別する所定のシーケンスで出力を変動させてもよい。たとえば、発光デバイス１６および１８は、一定周波数で指定２値ビットシーケンスを繰り返すように連続して明滅してもよい。画像２２および２４のシーケンスを検討することによって、同じ指定２値ビットシーケンスおよび周波数で変動する画素が、見出され、エピポーラ点２６および２８の位置特定を行い、関連する撮像デバイス１２および１４を識別するのに使用されてもよい。
撮像デバイス１２および１４ならびに発光デバイス１６および１８は、電磁スペクトルの任意の適した周波数で動作してもよく、好ましくは、電磁スペクトルの紫外部分から赤外部分を通ってマイクロ波部分内で動作してもよい。
図２は、識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフである。グラフ４０は、その出力を変動させている発光デバイス１６または１８の明滅パターン出力を示す。画像サンプル４２は、明滅パターン出力に対する画像取得のタイミングを示す。
好ましい実施形態では、プログラムされたマイクロコントローラは、発光ダイオードを制御して、適した周期を有する２値パターン４０を生成する。２値パターン４０は、任意の数のビットを有してもよく、実際の数は、同じ画像内で見ることが予想される撮像デバイスの数と、２値パターンを識別するのに必要とされるビデオシーケンスの増加した長さとの兼ね合いである。たとえば、２ビット２値パターンを使用して、最大２つの撮像デバイスを一意に識別することができるだけであるが、２つの画像シーケンスを必要とするだけであろう。他方、２４ビットパターンなどの長いビットパターンを使用して、何千もの撮像デバイスを一意に識別できるが、２４の連続画像の画像シーケンスが、取得され、解析されることを要求されるであろう。同様に、長い周期のパターンは、画像シーケンスを取得する総時間を増加させるであろう。デジタルカメラのシャッタ速度は、通常、約１〜１０ミリ秒の範囲であるため、２値パターン４０についての通常の周波数は、約１０〜１００ミリ秒の範囲にあってよい。
【００２１】
１つの例示的な実施形態では、６７ミリ秒の周期を有する８ビット２値パターンが選択
された。この例示的な実施形態では、撮像デバイス１２および１４は、それぞれ、６７ミリ秒間隔で８つの画像のシーケンスを取得する。好ましい実施形態では、発光デバイスの変動する出力を画像取得に同期させる試みは何も行われない。画像シーケンスの各画素を検討して、画像シーケンスの過程にわたって最大輝度と最小輝度を獲得してもよい。これは、赤−緑−青（ＲＧＢ）カラー画像の全てのチャネルについて行われてもよい。あるいは、緑チャネルなどの、チャネルのうちの１つのチャネルからの画素だけを検討して、白物体の輝度変動の良好な推定を獲得してもよい。各画素について、最大および最小輝度値が獲得されると、画像シーケンスにわたって有意の変動を有する画素が、さらに解析される。特に、画素値は、２値化され、２値化された輝度変動を検討して、輝度変動が、指定シーケンスに整合するかどうかを調べる。
【００２２】
好ましい実施形態では、画像取得と発光デバイスの変動は同期しないため、２値化されたシーケンスは、画像取得がシーケンス内の任意の点で始まるように、指定シーケンスの周期的置換え全てについて検討されるべきである。
【００２３】
好ましい実施形態では、最適サンプリング理論によって要求される、最小である、信号周波数の２倍ではなく、信号周波数で画像が取得されるという意味で、システムは、識別される信号をアンダーサンプリングする。このアンダーサンプリングは、たとえば、取得が明滅パターンの遷移にオーバラップするときに、シーケンスの検出の失敗をもたらす可能性がある。好ましい実施形態では、アンダーサンプリングに関連する問題は、測定を頻繁に繰り返し、また、カメラと発光デバイスが共に、ジッタとしても知られる十分なタイミング変動を有することによることによって克服される。方法が仮定するところによれば、このジッタのために、後続の測定に関して、画像取得と明滅パターン遷移が、もはやオーバラップせず、パターンが検出されることになる。
【００２４】
図３は、本発明の方法によって、３つのノードの位置特定を行うときに使用されるベクトルと長さを示す３次元グラフである。図３のグラフは、撮像デバイス１２および１４の焦点が、ＡおよびＢに位置すると仮定し、それらのカメラは、焦点距離がわかっているか、または、決定されたという意味で較正された。図３では、ノードＣは、共通基準物体２０に相当する。こうして、エピポーラ画素２６および２８ならびに基準画素３０および３２のロケーションは、各カメラの焦点で始まる単位ベクトルによって表現することができる。これらのベクトルは、たとえば、Ｘ軸およびＹ軸が、カメラ画像平面に平行で、かつ、Ｚ軸が、カメラ画像平面に垂直であるように向いたデカルト座標フレーム内で参照されることができる。実際には、エピポーラ画素２６および２８ならびに基準画素３０および３２は、撮像デバイスの画像平面に対し、かつ、撮像デバイスの焦点を通る法線に関する角度偏倚として規定される。
【００２５】
こうしたベクトル表示では、ｖａｂは、撮像デバイス１２の基準フレーム内でエピポーラ画素２６を規定する単位ベクトルであり、ｖｂａは、撮像デバイス１４の基準フレーム内でエピポーラ画素２８を規定する単位ベクトルであり、ｖａｃは、撮像デバイス１２の基準フレーム内で基準点２０を規定する単位ベクトルであり、ｖｂｃは、撮像デバイス１４の基準フレーム内で基準点２０を規定する単位ベクトルである。
【００２６】
点Ａ、Ｂ、およびＣは全て、平面（エピポーラ平面）上にあるため、ベクトルの外積ｎａ＝ｖａｂ∧ｖａｃおよびｎｂ＝ｖｂａ∧ｖｂｃは、共に、その平面に対する法線を規定する。さらに、法線とエピポーラベクトルは、撮像デバイスの基準フレームの相対的な向きを取り込む、同じ回転行列Ｒａｂによって関係付けられる。特に、
ｖａｂ＝−Ｒａｂｖａｂ （１）
ｎａ＝−Ｒａｂｎｂ （２）
である。
正規直交行列、すなわち、
Ｒａ＝［ｖａｂｎａ(ｖａｂ×ｎａ)］
および、
Ｒｂ＝［−ｖｂａｎｂ(ｖｂa×ｎｂ)］
を構築することも可能である。
【００２７】
式（１）および（２）ならびに正規直交行列の定義から、結果として、
Ｒａ＝ＲａｂＲｂ （３）
になり、次に、Ｒａｂについての以下の表現、
Ｒａｂ＝Ｒａ（Ｒｂ）Ｔ （４）
が得られる。
【００２８】
Ｒａｂについて解くことは、ノードＡおよびＢに焦点を有する２つの撮像デバイス１２および１４の相対的な向きを提供する。２つの撮像デバイスの相対的な向きを見出して、ベクトルが、三角形、すなわち、
Ｉａｂｖａｂ＋Ｉｂｃｖｂｃ−Ｉｃａｖｃａ＝０
を形成することを考えることによって、３つのノードＡ、Ｂ、およびＣの相対的な位置が取り出されてもよい。ここで、Ｉａｂ、Ｉｂｃ、およびＩｃａは、線分ＡＢ、ＢＣ、およびＣＡの長さである。システムは、均質であるため、ノードの構成は、正のスケールファクタまで解くことができるだけである。すなわち、三角形ＡＢＣの角度を全て決定することができるが、絶対サイズは決定されない。これは、動き再構成による全ての構造に共通の同じスケールの曖昧さである。この曖昧さを解決するために、さらなる距離測定が必要とされる。この曖昧さを解決する一方法は、画像内で、わかっているサイズの共通物体を識別し、この物体を使用して、絶対距離を提供することである。さらに、画像のうちの１つの中で、人の平均サイズなどのおよそわかっている寸法があることは、スケールの近似解を計算することを可能にする。
【００２９】
上述した位置特定方法では、ノードは、撮像デバイスの焦点にあると仮定する。好ましい実施形態では、発光デバイス１６および１８は、撮像デバイスに並置され、撮像デバイスのレンズの焦点に一致しない場合がある。しかし、ノード間の距離が、発光デバイスと焦点との間の分離と比較して大きい限り、位置特定方法は、非常に良好な近似である。実用的な用途では、ノード間の距離は数メートルであり、一方、発光デバイスと焦点との間の分離は数ミリメートルに過ぎない場合があり、この方法を非常に良好な近似にする。
【００３０】
方法は、２つのアクティブノードと１つのパッシブノードを参照して上述されたが、方法が、任意の数のアクティブノードとパッシブノードに拡張されてもよいことを当業者は理解するであろう。たとえば、上述した方法を、３つ以上のアクティブカメラを含むように拡張することができることを当業者は容易に理解するであろう。さらに、撮像デバイスが全て、互いに見られることができる必要はない。撮像デバイスのオーバラップが存在する限り、ネットワーク内の全ての撮像デバイスが、ネットワーク内の少なくとも１つの他の撮像デバイスに見られることができるという意味で、上述した方法は、撮像デバイスの任意の大きなネットワークを含むように拡張することができる。
【００３１】
図４は、本発明の方法の代表的なステップを示すフロー図である。
ステップ４４にて、画像シーケンスが、アクティブノード、すなわち、ネットワーク内の撮像デバイスによって取得される。
【００３２】
ステップ４６にて、各アクティブノードによって取得された画像シーケンスが解析される。好ましい実施形態では、この解析は、撮像デバイスの一部であるプロセッサ上で実行されるソフトウェアによって行われる。代替の実施形態では、画像の一部または全ては、
限定はしないが、より高い処理能力を装備した別のデバイスなどの処理用の別のデバイスまたは中央ロケーションに送出されてもよい。
【００３３】
ステップ４８では、画像シーケンスのそれぞれにおけるアクティブノードが、発光デバイスが変動する所定のシーケンスを見出すことによって識別される。
ステップ５０にて、画像シーケンス内のパッシブノードが、たとえば、限定はしないが、テンプレートマッチングなどの標準的なパターン認識技法を使用することによって識別される。
【００３４】
ステップ５２にて、識別されたアクティブノードに関連する画素を使用して、エピポーラ点の位置特定が行われ、パッシブノードに関連する画素を使用して、基準点の位置特定が行われる。
【００３５】
ステップ５４にて、エピポーラ点および基準点が通信される。この通信は、たとえば、互いに識別される撮像デバイスの全てがデータを交換することを含む、または、データが全て、デバイスの部分集合に、または、単一処理点に送出されることを含む。通信は、無線形態で、または、限定はしないが、導電性ワイヤまたは光ファイバなどの適したコネクタを通じて、電磁スペクトルの使用を含む任意の適した手段によって実施されてもよく、あるいは、通信は、限定はしないが、超音波信号または音声音響信号またはこれらの方法の組合せなどの、音響チャネルであってよい。好ましい実施形態では、通信は、メガヘルツからギガヘルツ周波数範囲の無線伝送電磁放射による。
【００３６】
ステップ５６にて、ネットワーク内のノードは、先に詳述した技法を使用して位置特定されてもよい。この位置特定は、たとえば、撮像デバイス上または撮像デバイスに関連して位置するプロセッサによって達成されてもよく、または、遠隔または中央ロケーションで行われてもよい。
【００３７】
ステップ５８にて、ネットワークのスケールが、たとえば、画像のうちの１つの中の、わかっているサイズの物体を識別することによって決定される。このスケールは、その後、ネットワークを通して伝達されてもよい。
【００３８】
システムのさらなる実施形態では、先に詳述した協調的位置特定が可能で、ネットワークのノードが全て、スマートカメラモジュール、すなわち、通信モジュールおよび点滅発光デバイスに関連した撮像デバイスであるネットワークが確立されてもよい。あるいは、ノードのうちの少なくとも２つが、協調的位置特定が可能なスマートカメラモジュールであり、一方、ネットワーク内の１つまたは複数の他のノードが、限定はしないが、中継デバイス、画像プロセッサ、ビーコン、センサデバイス、またはメモリデバイスなどの、他のアクティブまたはパッシブデバイスであるネットワークが確立されてもよい。
【００３９】
本発明のさらなる実施形態では、少なくとも２つの協調的に位置特定される撮像デバイスによって撮影された画像は、遠隔または中央ロケーションに送出されてもよい。こうしたロケーションにおいて、複数の位置特定される撮像デバイスから受け取られる画像は、統合されて、個々の画像と比較して、より広い視野を提示する少なくとも１つの複合画像を形成する。複合画像は、２次元画像または３次元画像であってよく、たとえば、監視、状況評価、２次元または３次元再構成、および環境監視を含む種々の目的で使用されてもよい。
【００４０】
本発明のさらなる実施形態では、撮像デバイスの少なくとも１つは、限定はしないが、複数の電荷結合素子（ＣＣＤ）などの複数の画像取り込み表面を有してもよい。
さらなる実施形態では、撮像デバイスの少なくとも１つは、限定はしないが、１８０°
の視野を可能にするフィッシュアイレンズなどの視野の増大を可能にする光学系を有してもよい。２つのこうしたデバイスは、たとえば、３６０°の視野を効率的に提供するために、背中合わせで設置されてもよい。
【００４１】
上述したステップの一部または全ては、標準的で、かつ、よく知られているコンピュータプログラミング技法を使用して実施されてもよい。上述した実施形態の新規性は、特定のプログラミング技法またはプログラミング言語にあるのではなく、述べた結果を達成するのに述べたステップの使用にある。本発明の全てまたは一部を具現化するソフトウェアプログラミングコードは、通常、撮像デバイス上の永久記憶部などの、あるタイプの永久記憶部内、または、中央ワークステーションに関連する記憶デバイス上に記憶される。クライアント／サーバ環境では、こうしたソフトウェアプログラミングコードは、サーバに関連する記憶部を用いて記憶されてもよい。ソフトウェアプログラミングコードは、ＣＭＯＳメモリ、フラッシュメモリ、ディスケット、ハードドライブ、またはＣＤ−ＲＯＭなどの、データ処理システムと共に使用するための種々の知られている媒体のうちの任意の媒体上で具現化されてもよい。コードは、こうした媒体上で配布されてもよく、または、１つのコンピュータシステムのメモリまたは記憶部から、あるタイプのネットワークを通じて他のコンピュータシステムへ、他のシステムのユーザが使用するために、ユーザに配信されてもよい。物理的媒体上でソフトウェアプログラミングコード具現化する、かつ／または、ネットワークを介してソフトウェアコードを配信する技法および方法は、よく知られており、本明細書では、さらには説明されないであろう。
【００４２】
本発明は、構造特性および／または方法行為の固有の言語で述べられたが、添付特許請求の範囲に規定される発明は、述べた特定の特性または行為に必ずしも限定されないことが理解される。むしろ、特定の特性または行為は、特許請求される発明を実施する例示的な形態として開示される。
【図面の簡単な説明】
【００４３】
【図１】本発明の位置特定システムの一実施形態の基本要素を示す略図。
【図２】識別シーケンスおよび画像取得の相対タイミングを示す略タイミンググラフ。
【図３】本発明の３ノード位置特定方法で使用されるベクトルと長さを示す３次元グラフ。
【図４】本発明の方法の一実施形態の代表的なステップを示すフロー図。
【特許請求の範囲】
【請求項１】
少なくとも２つの撮像デバイスのロケーションを決定する方法であって、
第１発光デバイスと並置され、情報処理ユニットに動作可能にリンクされた第１撮像デバイスを設けるステップと、
第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた第２撮像デバイスを設けるステップと、
基準点を設けるステップと、
前記第１撮像デバイスを使用して第１画像を取得するステップであって、同第１画像は、前記基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素、を有する前記取得するステップと、
前記第２撮像デバイスを使用して第２画像を取得するステップであって、同第２画像は、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を有する、前記取得するステップと、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信するステップと、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定するステップと、を含む方法。
【請求項２】
前記第１および第２の撮像デバイスはさらに通信ユニットを備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に対して、かつ、前記撮像デバイスの焦点を通る法線に関して角度偏倚として提供される請求項１に記載の方法。
【請求項３】
前記第２発光デバイスの出力を所定のシーケンスで変動させるステップと、
前記第１撮像デバイスによって複数の画像を撮影するステップと、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別し、それにより、前記第１エピポール画素を識別するステップと、
をさらに含む請求項１に記載の方法。
【請求項４】
前記基準点は、第３発光デバイスである請求項３に記載の方法。
【請求項５】
前記出力を変動させるステップは、前記第２発光デバイスによって放出される光の輝度を変動させることを含む請求項３に記載の方法。
【請求項６】
前記所定のシーケンスは、２元のパターンを含む請求項３に記載の方法。
【請求項７】
前記第１発光デバイスの出力を所定のシーケンスで変動させるステップをさらに含み、前記第１撮像デバイスに並置された前記発光デバイスの出力は第１の２元パターンに従って変動し、前記第２撮像デバイスに並置された前記発光デバイスの出力は第２の２元パターンに従って変動する請求項６に記載の方法。
【請求項８】
前記第１の２元パターンは、前記第２の２元パターンの非周期的置換えである請求項７に記載の方法。
【請求項９】
前記第１および第２の２元パターンは互いに同期する請求項７に記載の方法。
【請求項１０】
前記基準点は、第３の２元パターンに従って変動する出力を有する第３発光デバイスを備える請求項７に記載の方法。
【請求項１１】
前記第１および第２の撮像デバイスは、第１および第２のデジタルカメラを装備した無
線デバイスであり、前記発光デバイスは可視光発光ダイオードであり、前記第１および第２の２元パターンは、非同期型８ビット２元パターンである請求項８に記載の方法。
【請求項１２】
少なくとも２つの撮像デバイスのロケーションを決定するシステムであって、
第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされた、第１画像を撮影するための第１撮像手段と、
第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた、第２画像を撮影する第２撮像手段と、
前記第１画像を検討して、共通基準点に相当する第１基準画素および前記第２撮像手段に並置された前記発光デバイスに相当する第１エピポール画素を識別する第１画像処理手段と、
前記第２画像を検討して、前記共通基準点に相当する第２基準画素および前記第１撮像手段に並置された前記発光デバイスに相当する第２エピポール画素を識別する第２画像処理手段と、
前記基準画素および前記エピポール画素のロケーションを前記情報処理ユニットに通信する通信手段と、
前記基準画素および前記エピポール画素を使用して、前記第１および第２の撮像手段の相対位置および向きを獲得する、前記情報処理手段上の位置特定手段と、を備えるシステム。
【請求項１３】
前記第１および第２の撮像手段はさらに通信手段を備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に関する、かつ、前記撮像デバイスの焦点を通る法線に関する、角度偏倚として提供される請求項１２に記載のシステム。
【請求項１４】
前記第２発光手段の出力は、所定のシーケンスで変動し、前記第１撮像手段は、複数の画像を撮影し、前記画像処理手段は、前記所定のシーケンスに相当する変動を有する複数の画像内で少なくとも１つの画素を識別し、それにより、前記第１エピポール画素を識別する請求項１２に記載のシステム。
【請求項１５】
前記基準点は、第３発光デバイスである請求項１４に記載のシステム。
【請求項１６】
前記第２発光手段によって放出される光の輝度が所定のシーケンスで変動する請求項１４に記載のシステム。
【請求項１７】
前記第２発光手段は２元パターンで変動する請求項１４に記載のシステム。
【請求項１８】
前記第１発光手段の出力は第１の２元パターンで変動し、前記第２撮像手段に並置された前記発光手段の出力は第２の２元パターンで変動する請求項１７に記載のシステム。
【請求項１９】
前記第２の２元パターンは、前記第１の２元パターンの非周期的置換えである請求項１８に記載のシステム。
【請求項２０】
前記第１および第２の２元パターンは互いに同期する請求項１８に記載のシステム。
【請求項２１】
前記基準点は、第３の２元パターンに従って変動する出力を有する第３発光手段を備える請求項１８に記載のシステム。
【請求項２２】
前記第１および第２の撮像手段は、第１および第２のデジタルカメラ搭載無線デバイスであり、前記発光手段は、可視光発光ダイオードであり、前記第１および第２の２元パターンは、非同期型８ビット２元パターンである請求項１９に記載のシステム。
【請求項２３】
コンピュータ読み取り可能媒体であって、
第１撮像デバイスを使用して第１画像を取得する命令であって、前記第１撮像デバイスは、第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
第２撮像デバイスを使用して第２画像を撮影する命令であって、前記第２撮像デバイスは第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
前記第１画像内で、基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素を識別する命令と、
前記第２画像内で、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を識別する命令と、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
を含むコンピュータ読み取り可能媒体。
【請求項２４】
前記第２発光デバイスの出力を所定のシーケンスで変動させる命令と、
前記第１撮像デバイスによって複数の画像を撮影する命令と、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別する命令であって、それにより、前記第１エピポール画素を識別する、識別する命令と、
をさらに含む請求項２３に記載のコンピュータ読み取り可能媒体。
【請求項２５】
コンピュータ読み取り可能媒体を備えるコンピュータデバイスであって、
コンピュータ読み取り可能媒体は、
第１撮像デバイスを使用して第１画像を取得する命令であって、前記第１撮像デバイスは、第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
第２撮像デバイスを使用して第２画像を撮影する命令であって、前記第２撮像デバイスは、第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
前記第１画像内で、基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素を識別する命令と、
前記第２画像内で、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を識別する命令と、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
を含むコンピュータデバイス。
【請求項２６】
前記第２発光デバイスの出力を所定のシーケンスで変動させる命令と、
前記第１撮像デバイスによって複数の画像を撮影する命令と、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別する命令であって、それにより、前記第１エピポール画素を識別する、識別する命令と、
をさらに含む請求項２５に記載のコンピュータデバイス。
【請求項１】
少なくとも２つの撮像デバイスのロケーションを決定する方法であって、
第１発光デバイスと並置され、情報処理ユニットに動作可能にリンクされた第１撮像デバイスを設けるステップと、
第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた第２撮像デバイスを設けるステップと、
基準点を設けるステップと、
前記第１撮像デバイスを使用して第１画像を取得するステップであって、同第１画像は、前記基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素、を有する前記取得するステップと、
前記第２撮像デバイスを使用して第２画像を取得するステップであって、同第２画像は、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を有する、前記取得するステップと、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信するステップと、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定するステップと、を含む方法。
【請求項２】
前記第１および第２の撮像デバイスはさらに通信ユニットを備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に対して、かつ、前記撮像デバイスの焦点を通る法線に関して角度偏倚として提供される請求項１に記載の方法。
【請求項３】
前記第２発光デバイスの出力を所定のシーケンスで変動させるステップと、
前記第１撮像デバイスによって複数の画像を撮影するステップと、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別し、それにより、前記第１エピポール画素を識別するステップと、
をさらに含む請求項１に記載の方法。
【請求項４】
前記基準点は、第３発光デバイスである請求項３に記載の方法。
【請求項５】
前記出力を変動させるステップは、前記第２発光デバイスによって放出される光の輝度を変動させることを含む請求項３に記載の方法。
【請求項６】
前記所定のシーケンスは、２元のパターンを含む請求項３に記載の方法。
【請求項７】
前記第１発光デバイスの出力を所定のシーケンスで変動させるステップをさらに含み、前記第１撮像デバイスに並置された前記発光デバイスの出力は第１の２元パターンに従って変動し、前記第２撮像デバイスに並置された前記発光デバイスの出力は第２の２元パターンに従って変動する請求項６に記載の方法。
【請求項８】
前記第１の２元パターンは、前記第２の２元パターンの非周期的置換えである請求項７に記載の方法。
【請求項９】
前記第１および第２の２元パターンは互いに同期する請求項７に記載の方法。
【請求項１０】
前記基準点は、第３の２元パターンに従って変動する出力を有する第３発光デバイスを備える請求項７に記載の方法。
【請求項１１】
前記第１および第２の撮像デバイスは、第１および第２のデジタルカメラを装備した無
線デバイスであり、前記発光デバイスは可視光発光ダイオードであり、前記第１および第２の２元パターンは、非同期型８ビット２元パターンである請求項８に記載の方法。
【請求項１２】
少なくとも２つの撮像デバイスのロケーションを決定するシステムであって、
第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされた、第１画像を撮影するための第１撮像手段と、
第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされた、第２画像を撮影する第２撮像手段と、
前記第１画像を検討して、共通基準点に相当する第１基準画素および前記第２撮像手段に並置された前記発光デバイスに相当する第１エピポール画素を識別する第１画像処理手段と、
前記第２画像を検討して、前記共通基準点に相当する第２基準画素および前記第１撮像手段に並置された前記発光デバイスに相当する第２エピポール画素を識別する第２画像処理手段と、
前記基準画素および前記エピポール画素のロケーションを前記情報処理ユニットに通信する通信手段と、
前記基準画素および前記エピポール画素を使用して、前記第１および第２の撮像手段の相対位置および向きを獲得する、前記情報処理手段上の位置特定手段と、を備えるシステム。
【請求項１３】
前記第１および第２の撮像手段はさらに通信手段を備え、前記画素のロケーションは、前記撮像デバイスの画像平面に対する法線に関する、かつ、前記撮像デバイスの焦点を通る法線に関する、角度偏倚として提供される請求項１２に記載のシステム。
【請求項１４】
前記第２発光手段の出力は、所定のシーケンスで変動し、前記第１撮像手段は、複数の画像を撮影し、前記画像処理手段は、前記所定のシーケンスに相当する変動を有する複数の画像内で少なくとも１つの画素を識別し、それにより、前記第１エピポール画素を識別する請求項１２に記載のシステム。
【請求項１５】
前記基準点は、第３発光デバイスである請求項１４に記載のシステム。
【請求項１６】
前記第２発光手段によって放出される光の輝度が所定のシーケンスで変動する請求項１４に記載のシステム。
【請求項１７】
前記第２発光手段は２元パターンで変動する請求項１４に記載のシステム。
【請求項１８】
前記第１発光手段の出力は第１の２元パターンで変動し、前記第２撮像手段に並置された前記発光手段の出力は第２の２元パターンで変動する請求項１７に記載のシステム。
【請求項１９】
前記第２の２元パターンは、前記第１の２元パターンの非周期的置換えである請求項１８に記載のシステム。
【請求項２０】
前記第１および第２の２元パターンは互いに同期する請求項１８に記載のシステム。
【請求項２１】
前記基準点は、第３の２元パターンに従って変動する出力を有する第３発光手段を備える請求項１８に記載のシステム。
【請求項２２】
前記第１および第２の撮像手段は、第１および第２のデジタルカメラ搭載無線デバイスであり、前記発光手段は、可視光発光ダイオードであり、前記第１および第２の２元パターンは、非同期型８ビット２元パターンである請求項１９に記載のシステム。
【請求項２３】
コンピュータ読み取り可能媒体であって、
第１撮像デバイスを使用して第１画像を取得する命令であって、前記第１撮像デバイスは、第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
第２撮像デバイスを使用して第２画像を撮影する命令であって、前記第２撮像デバイスは第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
前記第１画像内で、基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素を識別する命令と、
前記第２画像内で、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を識別する命令と、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
を含むコンピュータ読み取り可能媒体。
【請求項２４】
前記第２発光デバイスの出力を所定のシーケンスで変動させる命令と、
前記第１撮像デバイスによって複数の画像を撮影する命令と、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別する命令であって、それにより、前記第１エピポール画素を識別する、識別する命令と、
をさらに含む請求項２３に記載のコンピュータ読み取り可能媒体。
【請求項２５】
コンピュータ読み取り可能媒体を備えるコンピュータデバイスであって、
コンピュータ読み取り可能媒体は、
第１撮像デバイスを使用して第１画像を取得する命令であって、前記第１撮像デバイスは、第１発光デバイスに並置され、情報処理ユニットに動作可能にリンクされる、撮影する命令と、
第２撮像デバイスを使用して第２画像を撮影する命令であって、前記第２撮像デバイスは、第２発光デバイスに並置され、前記情報処理ユニットに動作可能にリンクされる、撮影する命令と、
前記第１画像内で、基準点に相当する第１基準画素および前記第２撮像デバイスに並置された前記発光デバイスに相当する第１エピポール画素を識別する命令と、
前記第２画像内で、前記基準点に相当する第２基準画素および前記第１撮像デバイスに並置された前記発光デバイスに相当する第２エピポール画素を識別する命令と、
前記基準画素および前記エピポール画素のロケーションを、前記情報処理ユニットに通信する命令と、
前記情報処理ユニット、前記基準画素、および前記エピポール画素を使用して前記ロケーションを決定する命令と、
を含むコンピュータデバイス。
【請求項２６】
前記第２発光デバイスの出力を所定のシーケンスで変動させる命令と、
前記第１撮像デバイスによって複数の画像を撮影する命令と、
前記所定のシーケンスに相当する変動を有する前記複数の画像内で少なくとも１つの画素を識別する命令であって、それにより、前記第１エピポール画素を識別する、識別する命令と、
をさらに含む請求項２５に記載のコンピュータデバイス。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００８−５３６１１２（Ｐ２００８−５３６１１２Ａ）
【公表日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００８−５０４３１５（Ｐ２００８−５０４３１５）
【出願日】平成１８年３月２９日（２００６．３．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０１１４９０
【国際公開番号】ＷＯ２００６／１０５２１０
【国際公開日】平成１８年１０月５日（２００６．１０．５）
【出願人】（５００４２９１０３）ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア (102)
【Ｆターム（参考）】
【公表日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１８年３月２９日（２００６．３．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０１１４９０
【国際公開番号】ＷＯ２００６／１０５２１０
【国際公開日】平成１８年１０月５日（２００６．１０．５）
【出願人】（５００４２９１０３）ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア (102)
【Ｆターム（参考）】
[ Back to top ]