非均一分解能で合成イメージを用意する方法
二つの合成イメージの変化された特徴を識別するために、ビデオ・データ・ストリームのイメージから合成イメージを用意する方法。より高い明白な分解能を提供するために隣り合ったフレームは整列され、重複した領域は平均化され、ビデオ・データ・ストリームからのフレームは射影されたＺＤイメージへ変換される。合成イメージは、イメージの非重複部分とイメージの平均化された重複部分とから形成される。合成イメージはリアルタイムで保存され得る。時間が経った後同じ場所の第二合成イメージが用意されるにつれ、イメージの強度が等しくされた後で、第二イメージの部分は保存されたイメージの対応する部分と比較され得る。絶対的な差が閾値を超えるイメージ領域は、再度、強度が等しくさせられる。再び閾値を超える領域は、人間または物体認識を行う機械による、さらなる精査のために印を付けられ得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にイメージ分析と関連し、より具体的には、本発明はイメージ・データの比較に関連する。
【背景技術】
【０００２】
航空写真からイメージを用意することは、高価で時間のかかるプロセスである。航空写真からのイメージ・データは、下向きに見下ろす高分解能航空写真を撮影し、フイルムを現像し、写真をモザイク・パターンに集めて登録し、合成写真をデジタル化することによって、用意される。このプロセスは高価で時間がかかる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
モーション・ピクチャまたはビデオ・データ・ストリームから安価で素早くシーンの高分解能合成イメージを用意する方法が必要である。
【課題を解決するための手段】
【０００４】
本発明の様々な実施形態で、装置と方法は、地勢風景のようなシーンの合成イメージを、ビデオ・データ・ストリームから用意する。ビデオ・ストリームは、一連のイメージを含んでおり、そのうちのいくつかのイメージはシーンの重複範囲を含む。イメージは、変換され、整列され、そして、イメージの重複範囲は平均化される。重複するイメージの平均化は、より高い明白な分解能を有利に提供する。シーンの合成イメージの部分が生成されたので、これらの部分はすぐに、同じシーンの以前に取得したイメージからの有意な差の識別を含むリアルタイム処理に利用できる。シーンの合成イメージは、その後の処理と比較とのために保存され得る。
【０００５】
本発明の一局面にしたがって、装置と方法はシーンの二つの合成イメージの差を識別できる。例えば、二つのイメージは、ある風景のアーカイブされた合成イメージと、同じ風景のリアルタイム・イメージ・データ・ストリームから用意された合成イメージとであり得る。第二の合成イメージが用意されている間に、比較がリアルタイムで行われ得る。実施形態は、首尾一貫した差の結果を生み出すために、比較は季節の変化に対して実質的に不変であることを保証するような技術（例えば、光）を使用し得る。
【０００６】
本発明の説明的な実施形態は、コンピュータ読み込み可能なプログラム・コードを有するコンピュータ使用可能な媒体を有するコンピュータ・プログラム製品としてインプリメントされる。コンピュータ読み込み可能なコードは、コンピュータ・システムによって、従来のプロセスにしたがって読み込まれ、かつ、利用され得る。
【０００７】
本発明の前述の特徴は、添付図面を参照と共に、以下に続く詳細な記述を参照することのよって、より容易に理解できる。
【発明を実施するための最良の形態】
【０００８】
本発明の様々な実施形態で、装置と方法は、地勢風景のようなシーンの合成イメージを、ビデオ・データ・ストリームから用意する。ビデオ・ストリームは、一連のイメージを含んでおり、そのうちのいくつかのイメージはシーンの重複範囲を含む。イメージは、変換され、整列され、そして、イメージの重複範囲は平均化される。重複するイメージの平均化は、より高い明白な分解能を有利に提供する。シーンの合成イメージの部分が生成されたので、これらの部分はすぐに、同じシーンの以前に取得したイメージからの有意な差の識別を含むリアルタイム処理に利用できる。シーンの合成イメージは、その後の処理と比較のために保存され得る。
【０００９】
本発明のもう一つの局面にしたがって、装置と方法は、リアルタイムにビデオ・データ・ストリームの差を識別できる。シーンの一つのイメージは保存されたイメージであり得、もう一つの別のイメージはリアルタイムに処理されたイメージであり得る。または、両方のイメージが保存されたイメージであり得る。違うときに取得された同じシーンの合成イメージは、本発明の前に記述された実施形態にしたがって用意される。シーンの二つのイメージは、同じ場所に対応する各イメージのサブタイルを同じ平均強度へ調整することによって、比較される。そして、サブタイル間の絶対的な差は、計算され、特定の閾値と比較される。タイルのいずれかの領域の差が閾値より高い場合は、その特定の領域の平均強度は二つのイメージの間で等しくさせられ得る。差がまだ閾値より高い場合は、その領域はさらなる精査のために印を付けられる。必要に応じて、結果として差のイメージは、当該技術分野で公知であるように、前に規定されたパターンを認識する、分析パッケージに引き渡され得る。結果は、次のビデオ・データ・ストリームにおける所定の変化やイベントの自動的かつリアルタイムでの認識である。
【００１０】
本発明の説明的な実施形態は、コンピュータ読み込み可能なプログラム・コードを有するコンピュータ使用可能な媒体を有するコンピュータ・プログラム製品としてインプリメントされ得る。コンピュータ読み込み可能なコードは、コンピュータ・システムによって、従来のプロセスにしたがって読み込まれ、かつ、利用され得る。例証となる実施形態の詳細は以下で議論される。
【００１１】
（イメージ合成器）
本発明の一実施形態では、装置と方法は、一連のビデオ・イメージからシーンの合成イメージを用意する。イメージ合成器は、イメージ変換モジュール、イメージ整列モジュール、および、イメージ平均化モジュールを含む。
【００１２】
イメージがアーカイブされ、および／または、もう一つのイメージと比較得るように、フィルターは、連続してリアルタイムで動作する。イメージ合成器の目的は、シーンの細切れの時間不変イメージを生成することである。
【００１３】
（Ａ．イメージ変換）
図１に示されるように、イメージ変換モジュール１００は、１１０でＧＰＳ，ポインティング・ベクトル、範囲、および、平面マップに射影され得るようにビデオを変換するためにビデオ・ストリームが提供されるカメラ・ビュー・コーン情報を使用する。変換情報は１１０で、ユーザー定義ビュー・コーンのような他の源、または、イメージ整合のための自動的に定義されたモニュメント点から、来ることができる。単純な３Ｄ変換行列が、ビデオ・イメージを線形な形式で平らな表面上に射影するように、１２０で計算される。結果となるイメージは１３０で、カメラの遠近画法が補償されるように、多重座標軸に関してスケールおよび回転される。各ピクセルは行列操作によって掛け合わされる。変換は１４０で非正方形ピクセルに対して補償し、またスケーリング・プロセスの一部として双立法補間法を使い得る。
【００１４】
（Ｂ．イメージ整列）
図２で示されるように、イメージの一部分は２００で整列される。一度、イメージが平面上に射影されたら、補償された後、イメージは、ピクセルが正方形となるように、ほぼビデオ分解能の大きさであるタイルに分割される。各タイルは、それから、２１０で、九つのサブタイルに再分される。各サブタイルは、２２０で、重複する、前に保存されたタイルと比較される。プロセスは、現在の位置にあるタイルを他の四つの隣接する位置と比較することから成る。隣接する位置は、サブタイルの上、下、左、および、右のサブタイルの中心から５０パーセントのオフセットである。オフセット・イメージは、存在する重複イメージと、単純な相関技術を使って比較される。回転およびスケーリング行列は２３０で、タイル全体が０．１ピクセルまでの精度で隣接する重複されたイメージと正確に整合するように、タイル全体を調整するために計算される。サブタイルは、相関が最大になるまで、または、繰り返しの最大数が生じるまで、反復プロセスにおいて２４０で変換される。重複するイメージがない場合は、タイルは合成イメージとして保存される。イメージが相関しない場合は、それが有効なイメージかチェックして検証される。それが有効なイメージの場合、イメージ平均化モジュール２５０に渡される。
【００１５】
（Ｃ．イメージ平均化）
図３で説明されるように、イメージ平均化モジュールは３００でタイルがどこで存在するタイルと重複するかを、イメージ・データの値を３１０で比較することで決定する。３２０で有効なデータが新しいタイルに存在する場合、および、存在する合成イメージ・タイルがその領域で有効なデータを有する場合、重複するイメージは、改良された動作平均化技術を使って３３０で平均化される。各タイルはサブピクセル整列に調節されているので、結果となる平均化された合成イメージは、ビデオ・データ・ストリームから利用できる、より高い明白な分解能を有する。
【００１６】
新しいタイルの部分が３４０で合成タイルの中に存在するデータを有しない場合、３５０のように、新しい情報が合成イメージの中に加えられる。合成イメージの一部がデータを有するが、３６０で新しいタイルは有しない場合、合成イメージの中の存在するデータは３７０のように残存する。
【００１７】
一度イメージタイルが合成領域の範囲の外へ動いたら、それはアーカイブされ得る。本発明の特定の実施形態では、アーカイバ・モジュールは、改良されたクアド木（ｑｕａｄ−ｔｒｅｅ）ファイル保存システムにアーカイブするためにタイルの幾何学的位置を使い得る。木は、幾何学的位置によってイメージへ極めて早くアクセスすることを許すように見出し付けが成されている。木の頂上は木全体の範囲を保存している。木は幾何学的に、全領域の部分領域を表す枝に再分されている。新しいイメージが木に挿入されるにしたがって、木の全範囲は細切れに成長し得る。問い合わせが来ると、木の登録されていない枝がヌルの値を返し、それによって空の領域が素早く決定され得る。
【００１８】
（イメージ比較器）
図４で示されるように、イメージ比較器モジュールは、イメージ合成器に組み込まれたタイルまたはイメージの一部を取り込み、４００でタイルと、保存されたイメージであり得るシーンの第二イメージの対応する位置と比較する。重複する領域（すなわち、シーンにおいて同じ位置に対応する領域）は４１０で調節され、それによって、各イメージの一部は同じ平均強度となる。二つの重複するイメージの部分の間の絶対的な差が４２０で計算される。いずれかの領域の差が４３０でユーザー定義閾値を超えている場合、入力合成イメージは有意な差の存在する領域で調べられる。その領域の平均強度が４４０で補償されて、それによって第二イメージの対応する領域と等しくなる。その領域に対して、絶対的な差が再度計算される。その差が依然として４５０でユーザー定義閾値を超えている場合、４６０でコントラストと強度がユーザーに対して強調され得るように印を付けられる。必要に応じて、結果として差のイメージは、当該技術分野で公知であるように、前に規定されたパターンを認識する、分析パッケージに引き渡され得る。イメージ比較器は、４７０で、次のビデオ・データ・ストリームにおける所定の変化やイベントの自動的かつリアルタイムでの認識を有利に提供し得る。
【００１９】
本発明のこの局面の特定の実施形態では、イメージ中の対象のエッジは、二つのイメージが比較される前に、検出され消去される。対象は、見る角度のわずかな違いによって、しばしば異なる。これらのエッジが消去された場合、対象の内部だけが比較される。この手順は、わずかな誤りの明確な比較しか結果として引き起こさない。
【００２０】
次の点に注意する。ビデオ・データ・ストリームは例示的なもので、全実施形態の範囲を制限することを意図していない。むしろ、様々な実施形態が、図表を用いて表され何らかの媒体に記録され得るイメージ・データに適用される。説明的な実施形態では、イメージ・データは２Ｄで記録可能である。同様にして、環境の対象（例えば、風景）の議論は例示的である。例えば、説明的な実施形態が、興味のある特定のアイテムの変化を検出するために、室内（例えば、銀行を含むビル、または、飛行機の格納庫）で使われ得る。
【００２１】
本発明の様々な実施形態が、いかなる従来のコンピュータ・プログラミング言語で少なくとも部分的にインプリメントされ得る。例えば、いくつかの実施形態は、手続きプログラミング言語（例えば「Ｃ」）、または、オブジェクト指向プログラミング言語（例えば「Ｃ＋＋」）でインプリメントされ得る。本発明の他の実施形態は、予めプログラムされたハードウェア要素（例えば、特定用途向け集積回路、ＦＰＧＡ、および、デジタル信号プロセッサ）、または、他の関係する部品として、インプリメントされ得る。
【００２２】
いくつかの実施形態では、開示された装置と方法が、コンピュータ・システムと共に使用するコンピュータ・プログラム製品として、インプリメントされ得る。このようなインプリメンテーションは、コンピュータ読み込み可能媒体（例えば、ディスケット、ＣＤ−ＲＯＭ，ＲＯＭ、または、固定ディスク）のような実体のある媒体、または、媒体を介してネットワークに接続された通信アダプタのような、モデムまたは他のインターフェイス・デバイスを通じての、コンピュータ・システムへ送信可能なものの、どちらかに固定された、一連のコンピュータ命令を含み得る。媒体は、実体のある媒体（例えば、光学的またはアナログ通信ライン）、または、無線技術でインプリメントされた媒体（例えば、ＷＩＦＩ、マイクロ波、赤外線またはその他の送信技術）の、どちらかであり得る。一連のコンピュータ命令は、システムに関してここで前に記述された機能の全部または一部を具体化し得る。
【００２３】
当業者は、このようなコンピュータ命令が、多くのコンピュータ・アーキテクチャまたはオペレーティング・システムを共に使用することで、いくつものプログラミング言語に書き下せ得ることを理解すべきである。さらには、このような命令は、半導体、磁気的、光学的、または他のメモリ・デバイスのような、どのようなメモリ・デバイスにも保存され得、また、光学的、赤外線、マイクロ波、または他の送信技術のような、どのような通信技術を使っても送信され得る。
【００２４】
その他の方法の中で、このようなコンピュータ・プログラム製品が、印刷された文書または電子文書を添えた取り外し可能媒体（例えば、収縮包装されたソフトウェア）、コンピュータ・システムに予めロードされたもの（例えば、システムＲＯＭまたは固定されたディスク上で）として配布され得、または、ネットワーク上のサーバまたは電子公報ボード（例えば、インターネットまたはＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）から配布され得る。当然、本発明のいくつかの実施形態は、ソフトウェア（例えば、コンピュータ・プログラム製品）とハードウェアとの両方の組み合わせとしてインプリメントされ得る。本発明のさらに他の実施形態が、完全にハードウェアとしてまたは完全にソフトウェアとしてインプリメントされる。
【００２５】
上の議論は本発明の様々な例示的実施形態を開示しているが、当業者が、本発明の真の範囲から逸脱せずに本発明のいくつかの有利さに到達する様々な改良を加えることができることは、明らかである。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の一実施形態にしたがって、ビデオ・データ・ストリーム・イメージを２Ｄ図面に変換するプロセスのフロー・ダイアグラムである。
【図２】図２は、本発明の一実施形態にしたがって、ビデオ・データ・ストリーム・フレームを前に処理したフレームへ整列させるプロセスを示したフロー・ダイアグラムである。
【図３】図３は、本発明の一実施形態にしたがって、イメージ・タイル・データの平均化を示したフロー・ダイアグラムである。
【図４】図４は、本発明の一実施形態にしたがって、有意な差を決定するように二つの合成イメージを比較するプロセスを説明したフロー・ダイアグラムである。
【技術分野】
【０００１】
本発明は一般にイメージ分析と関連し、より具体的には、本発明はイメージ・データの比較に関連する。
【背景技術】
【０００２】
航空写真からイメージを用意することは、高価で時間のかかるプロセスである。航空写真からのイメージ・データは、下向きに見下ろす高分解能航空写真を撮影し、フイルムを現像し、写真をモザイク・パターンに集めて登録し、合成写真をデジタル化することによって、用意される。このプロセスは高価で時間がかかる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
モーション・ピクチャまたはビデオ・データ・ストリームから安価で素早くシーンの高分解能合成イメージを用意する方法が必要である。
【課題を解決するための手段】
【０００４】
本発明の様々な実施形態で、装置と方法は、地勢風景のようなシーンの合成イメージを、ビデオ・データ・ストリームから用意する。ビデオ・ストリームは、一連のイメージを含んでおり、そのうちのいくつかのイメージはシーンの重複範囲を含む。イメージは、変換され、整列され、そして、イメージの重複範囲は平均化される。重複するイメージの平均化は、より高い明白な分解能を有利に提供する。シーンの合成イメージの部分が生成されたので、これらの部分はすぐに、同じシーンの以前に取得したイメージからの有意な差の識別を含むリアルタイム処理に利用できる。シーンの合成イメージは、その後の処理と比較とのために保存され得る。
【０００５】
本発明の一局面にしたがって、装置と方法はシーンの二つの合成イメージの差を識別できる。例えば、二つのイメージは、ある風景のアーカイブされた合成イメージと、同じ風景のリアルタイム・イメージ・データ・ストリームから用意された合成イメージとであり得る。第二の合成イメージが用意されている間に、比較がリアルタイムで行われ得る。実施形態は、首尾一貫した差の結果を生み出すために、比較は季節の変化に対して実質的に不変であることを保証するような技術（例えば、光）を使用し得る。
【０００６】
本発明の説明的な実施形態は、コンピュータ読み込み可能なプログラム・コードを有するコンピュータ使用可能な媒体を有するコンピュータ・プログラム製品としてインプリメントされる。コンピュータ読み込み可能なコードは、コンピュータ・システムによって、従来のプロセスにしたがって読み込まれ、かつ、利用され得る。
【０００７】
本発明の前述の特徴は、添付図面を参照と共に、以下に続く詳細な記述を参照することのよって、より容易に理解できる。
【発明を実施するための最良の形態】
【０００８】
本発明の様々な実施形態で、装置と方法は、地勢風景のようなシーンの合成イメージを、ビデオ・データ・ストリームから用意する。ビデオ・ストリームは、一連のイメージを含んでおり、そのうちのいくつかのイメージはシーンの重複範囲を含む。イメージは、変換され、整列され、そして、イメージの重複範囲は平均化される。重複するイメージの平均化は、より高い明白な分解能を有利に提供する。シーンの合成イメージの部分が生成されたので、これらの部分はすぐに、同じシーンの以前に取得したイメージからの有意な差の識別を含むリアルタイム処理に利用できる。シーンの合成イメージは、その後の処理と比較のために保存され得る。
【０００９】
本発明のもう一つの局面にしたがって、装置と方法は、リアルタイムにビデオ・データ・ストリームの差を識別できる。シーンの一つのイメージは保存されたイメージであり得、もう一つの別のイメージはリアルタイムに処理されたイメージであり得る。または、両方のイメージが保存されたイメージであり得る。違うときに取得された同じシーンの合成イメージは、本発明の前に記述された実施形態にしたがって用意される。シーンの二つのイメージは、同じ場所に対応する各イメージのサブタイルを同じ平均強度へ調整することによって、比較される。そして、サブタイル間の絶対的な差は、計算され、特定の閾値と比較される。タイルのいずれかの領域の差が閾値より高い場合は、その特定の領域の平均強度は二つのイメージの間で等しくさせられ得る。差がまだ閾値より高い場合は、その領域はさらなる精査のために印を付けられる。必要に応じて、結果として差のイメージは、当該技術分野で公知であるように、前に規定されたパターンを認識する、分析パッケージに引き渡され得る。結果は、次のビデオ・データ・ストリームにおける所定の変化やイベントの自動的かつリアルタイムでの認識である。
【００１０】
本発明の説明的な実施形態は、コンピュータ読み込み可能なプログラム・コードを有するコンピュータ使用可能な媒体を有するコンピュータ・プログラム製品としてインプリメントされ得る。コンピュータ読み込み可能なコードは、コンピュータ・システムによって、従来のプロセスにしたがって読み込まれ、かつ、利用され得る。例証となる実施形態の詳細は以下で議論される。
【００１１】
（イメージ合成器）
本発明の一実施形態では、装置と方法は、一連のビデオ・イメージからシーンの合成イメージを用意する。イメージ合成器は、イメージ変換モジュール、イメージ整列モジュール、および、イメージ平均化モジュールを含む。
【００１２】
イメージがアーカイブされ、および／または、もう一つのイメージと比較得るように、フィルターは、連続してリアルタイムで動作する。イメージ合成器の目的は、シーンの細切れの時間不変イメージを生成することである。
【００１３】
（Ａ．イメージ変換）
図１に示されるように、イメージ変換モジュール１００は、１１０でＧＰＳ，ポインティング・ベクトル、範囲、および、平面マップに射影され得るようにビデオを変換するためにビデオ・ストリームが提供されるカメラ・ビュー・コーン情報を使用する。変換情報は１１０で、ユーザー定義ビュー・コーンのような他の源、または、イメージ整合のための自動的に定義されたモニュメント点から、来ることができる。単純な３Ｄ変換行列が、ビデオ・イメージを線形な形式で平らな表面上に射影するように、１２０で計算される。結果となるイメージは１３０で、カメラの遠近画法が補償されるように、多重座標軸に関してスケールおよび回転される。各ピクセルは行列操作によって掛け合わされる。変換は１４０で非正方形ピクセルに対して補償し、またスケーリング・プロセスの一部として双立法補間法を使い得る。
【００１４】
（Ｂ．イメージ整列）
図２で示されるように、イメージの一部分は２００で整列される。一度、イメージが平面上に射影されたら、補償された後、イメージは、ピクセルが正方形となるように、ほぼビデオ分解能の大きさであるタイルに分割される。各タイルは、それから、２１０で、九つのサブタイルに再分される。各サブタイルは、２２０で、重複する、前に保存されたタイルと比較される。プロセスは、現在の位置にあるタイルを他の四つの隣接する位置と比較することから成る。隣接する位置は、サブタイルの上、下、左、および、右のサブタイルの中心から５０パーセントのオフセットである。オフセット・イメージは、存在する重複イメージと、単純な相関技術を使って比較される。回転およびスケーリング行列は２３０で、タイル全体が０．１ピクセルまでの精度で隣接する重複されたイメージと正確に整合するように、タイル全体を調整するために計算される。サブタイルは、相関が最大になるまで、または、繰り返しの最大数が生じるまで、反復プロセスにおいて２４０で変換される。重複するイメージがない場合は、タイルは合成イメージとして保存される。イメージが相関しない場合は、それが有効なイメージかチェックして検証される。それが有効なイメージの場合、イメージ平均化モジュール２５０に渡される。
【００１５】
（Ｃ．イメージ平均化）
図３で説明されるように、イメージ平均化モジュールは３００でタイルがどこで存在するタイルと重複するかを、イメージ・データの値を３１０で比較することで決定する。３２０で有効なデータが新しいタイルに存在する場合、および、存在する合成イメージ・タイルがその領域で有効なデータを有する場合、重複するイメージは、改良された動作平均化技術を使って３３０で平均化される。各タイルはサブピクセル整列に調節されているので、結果となる平均化された合成イメージは、ビデオ・データ・ストリームから利用できる、より高い明白な分解能を有する。
【００１６】
新しいタイルの部分が３４０で合成タイルの中に存在するデータを有しない場合、３５０のように、新しい情報が合成イメージの中に加えられる。合成イメージの一部がデータを有するが、３６０で新しいタイルは有しない場合、合成イメージの中の存在するデータは３７０のように残存する。
【００１７】
一度イメージタイルが合成領域の範囲の外へ動いたら、それはアーカイブされ得る。本発明の特定の実施形態では、アーカイバ・モジュールは、改良されたクアド木（ｑｕａｄ−ｔｒｅｅ）ファイル保存システムにアーカイブするためにタイルの幾何学的位置を使い得る。木は、幾何学的位置によってイメージへ極めて早くアクセスすることを許すように見出し付けが成されている。木の頂上は木全体の範囲を保存している。木は幾何学的に、全領域の部分領域を表す枝に再分されている。新しいイメージが木に挿入されるにしたがって、木の全範囲は細切れに成長し得る。問い合わせが来ると、木の登録されていない枝がヌルの値を返し、それによって空の領域が素早く決定され得る。
【００１８】
（イメージ比較器）
図４で示されるように、イメージ比較器モジュールは、イメージ合成器に組み込まれたタイルまたはイメージの一部を取り込み、４００でタイルと、保存されたイメージであり得るシーンの第二イメージの対応する位置と比較する。重複する領域（すなわち、シーンにおいて同じ位置に対応する領域）は４１０で調節され、それによって、各イメージの一部は同じ平均強度となる。二つの重複するイメージの部分の間の絶対的な差が４２０で計算される。いずれかの領域の差が４３０でユーザー定義閾値を超えている場合、入力合成イメージは有意な差の存在する領域で調べられる。その領域の平均強度が４４０で補償されて、それによって第二イメージの対応する領域と等しくなる。その領域に対して、絶対的な差が再度計算される。その差が依然として４５０でユーザー定義閾値を超えている場合、４６０でコントラストと強度がユーザーに対して強調され得るように印を付けられる。必要に応じて、結果として差のイメージは、当該技術分野で公知であるように、前に規定されたパターンを認識する、分析パッケージに引き渡され得る。イメージ比較器は、４７０で、次のビデオ・データ・ストリームにおける所定の変化やイベントの自動的かつリアルタイムでの認識を有利に提供し得る。
【００１９】
本発明のこの局面の特定の実施形態では、イメージ中の対象のエッジは、二つのイメージが比較される前に、検出され消去される。対象は、見る角度のわずかな違いによって、しばしば異なる。これらのエッジが消去された場合、対象の内部だけが比較される。この手順は、わずかな誤りの明確な比較しか結果として引き起こさない。
【００２０】
次の点に注意する。ビデオ・データ・ストリームは例示的なもので、全実施形態の範囲を制限することを意図していない。むしろ、様々な実施形態が、図表を用いて表され何らかの媒体に記録され得るイメージ・データに適用される。説明的な実施形態では、イメージ・データは２Ｄで記録可能である。同様にして、環境の対象（例えば、風景）の議論は例示的である。例えば、説明的な実施形態が、興味のある特定のアイテムの変化を検出するために、室内（例えば、銀行を含むビル、または、飛行機の格納庫）で使われ得る。
【００２１】
本発明の様々な実施形態が、いかなる従来のコンピュータ・プログラミング言語で少なくとも部分的にインプリメントされ得る。例えば、いくつかの実施形態は、手続きプログラミング言語（例えば「Ｃ」）、または、オブジェクト指向プログラミング言語（例えば「Ｃ＋＋」）でインプリメントされ得る。本発明の他の実施形態は、予めプログラムされたハードウェア要素（例えば、特定用途向け集積回路、ＦＰＧＡ、および、デジタル信号プロセッサ）、または、他の関係する部品として、インプリメントされ得る。
【００２２】
いくつかの実施形態では、開示された装置と方法が、コンピュータ・システムと共に使用するコンピュータ・プログラム製品として、インプリメントされ得る。このようなインプリメンテーションは、コンピュータ読み込み可能媒体（例えば、ディスケット、ＣＤ−ＲＯＭ，ＲＯＭ、または、固定ディスク）のような実体のある媒体、または、媒体を介してネットワークに接続された通信アダプタのような、モデムまたは他のインターフェイス・デバイスを通じての、コンピュータ・システムへ送信可能なものの、どちらかに固定された、一連のコンピュータ命令を含み得る。媒体は、実体のある媒体（例えば、光学的またはアナログ通信ライン）、または、無線技術でインプリメントされた媒体（例えば、ＷＩＦＩ、マイクロ波、赤外線またはその他の送信技術）の、どちらかであり得る。一連のコンピュータ命令は、システムに関してここで前に記述された機能の全部または一部を具体化し得る。
【００２３】
当業者は、このようなコンピュータ命令が、多くのコンピュータ・アーキテクチャまたはオペレーティング・システムを共に使用することで、いくつものプログラミング言語に書き下せ得ることを理解すべきである。さらには、このような命令は、半導体、磁気的、光学的、または他のメモリ・デバイスのような、どのようなメモリ・デバイスにも保存され得、また、光学的、赤外線、マイクロ波、または他の送信技術のような、どのような通信技術を使っても送信され得る。
【００２４】
その他の方法の中で、このようなコンピュータ・プログラム製品が、印刷された文書または電子文書を添えた取り外し可能媒体（例えば、収縮包装されたソフトウェア）、コンピュータ・システムに予めロードされたもの（例えば、システムＲＯＭまたは固定されたディスク上で）として配布され得、または、ネットワーク上のサーバまたは電子公報ボード（例えば、インターネットまたはＷｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）から配布され得る。当然、本発明のいくつかの実施形態は、ソフトウェア（例えば、コンピュータ・プログラム製品）とハードウェアとの両方の組み合わせとしてインプリメントされ得る。本発明のさらに他の実施形態が、完全にハードウェアとしてまたは完全にソフトウェアとしてインプリメントされる。
【００２５】
上の議論は本発明の様々な例示的実施形態を開示しているが、当業者が、本発明の真の範囲から逸脱せずに本発明のいくつかの有利さに到達する様々な改良を加えることができることは、明らかである。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の一実施形態にしたがって、ビデオ・データ・ストリーム・イメージを２Ｄ図面に変換するプロセスのフロー・ダイアグラムである。
【図２】図２は、本発明の一実施形態にしたがって、ビデオ・データ・ストリーム・フレームを前に処理したフレームへ整列させるプロセスを示したフロー・ダイアグラムである。
【図３】図３は、本発明の一実施形態にしたがって、イメージ・タイル・データの平均化を示したフロー・ダイアグラムである。
【図４】図４は、本発明の一実施形態にしたがって、有意な差を決定するように二つの合成イメージを比較するプロセスを説明したフロー・ダイアグラムである。
【特許請求の範囲】
【請求項１】
ａ．第一の一連のイメージを提供することであって、各イメージが第一シーンの部分に対応し、少なくとも二つのイメージが該第一シーンの重複領域を含むことと、
ｂ．該第一シーンの該少なくとも二つのイメージを整列させることと、
ｃ．該第一シーンの該少なくとも二つのイメージの重複の領域を平均化することと、
ｄ．該第一シーンの該少なくとも二つのイメージの非重複部分と、該第一シーンの該少なくとも二つのイメージの該平均化された重複部分とから第一合成イメージを形成すること、
を含む、該第一シーンの該第一合成イメージを用意する方法であって、
それによって、該一連のイメージの分解能よりも該合成イメージの部分に対してより高い分解能を提供する方法。
【請求項２】
前記第一の一連のイメージを提供することが、ビデオ・カメラでビデオ・シーケンスを取り込むことを含む、請求項１に記載の方法。
【請求項３】
前記第一シーンが地勢風景である、請求項１に記載の方法。
【請求項４】
前記第一の一連のイメージを提供することが、該第一の一連のイメージを変換することを含む、請求項１に記載の方法。
【請求項５】
前記第一の一連のイメージを変換することが、該第一の一連のイメージを二次元表面に射影することを含む、請求項４に記載の方法。
【請求項６】
前記少なくとも二つのイメージを整列させることが、 該少なくとも二つのイメージの部分を相関させることを含む、請求項１に記載の方法。
【請求項７】
前記第一合成イメージと第二シーンの第二合成イメージとを比較するための請求項１に記載の方法であって、該方法が、
ｅ．該第一合成イメージを保存することと、
ｆ．該第二合成イメージを用意することであって、
ｉ．第二の一連のイメージを提供することであって、各イメージが該第二シーンの部分に対応し、少なくとも二つのイメージが該第二シーンの重複領域を含むことと、
ｉｉ．該第二シーンの該少なくとも二つのイメージを整列させることと、
ｉｉｉ．該第二シーンの該少なくとも二つのイメージの重複の領域を平均化することと、
ｉｖ．該第二シーンの該少なくとも二つのイメージの非重複部分と、該第二シーンの該少なくとも二つのイメージの該平均化された重複部分とから該第二合成イメージを形成することと
を含む、ことと、
ｇ．該第一合成イメージと該第二合成イメージとの重複部分を、ほぼ等しい平均強度まで調節することと、
ｈ．該強度が調節されたイメージの重複部分間の差を計算すること、および、該強度が調節されたイメージの重複部分の領域であって、該差が閾値を超えている、領域を識別することと、
を含む、方法。
【請求項８】
前記強度が調節されたイメージの重複部分の領域であって、差が閾値を超えている、領域を識別することが、前記第二合成イメージを用意することが完了する前に始まる、請求項７に記載の方法。
【請求項９】
前記イメージ間の差を計算することの前に、前記合成イメージからエッジが除去される、請求項７に記載の方法。
【請求項１０】
第一シーンの第一合成イメージを用意するためコンピュータ・システム上で使われるコンピュータ・プログラム製品であって、該コンピュータ・プログラム製品が、コンピュータ読み取り可能プログラム・コードを有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラム・コードは、
ａ．第一の一連のイメージを提供するためのプログラム・コードであって、各イメージが該第一シーンの部分に対応し、少なくとも二つのイメージが該第一シーンの重複領域を含む、プログラム・コードと、
ｂ．該第一シーンの該少なくとも二つのイメージを整列させるためのプログラム・コードと、
ｃ．該第一シーンの該少なくとも二つのイメージの重複の領域を平均化するためのプログラム・コードと、
ｄ．該第一シーンの該少なくとも二つのイメージの非重複部分と、該第一シーンの該少なくとも二つのイメージの該平均化された重複部分とから第一合成イメージを形成するためのプログラム・コードと
を含み、
それによって、該一連のイメージの分解能よりも該合成イメージの部分に対してより高い分解能を提供する、コンピュータ・プログラム製品。
【請求項１１】
前記第一の一連のイメージを提供することが、ビデオ・カメラでビデオ・シーケンスを取り込むことを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１２】
前記第一シーンが地勢風景である、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１３】
前記第一の一連のイメージを提供するためのプログラム・コードが、該第一の一連のイメージを変換するためのプログラム・コードを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１４】
前記第一の一連のイメージを変換するためのプログラム・コードが、該第一の一連のイメージを二次元表面に射影するためのプログラム・コードを含む、請求項１３に記載のコンピュータ・プログラム製品。
【請求項１５】
前記第一シーンの前記少なくとも二つのイメージを整列させるためのプログラム・コードが、該少なくとも二つのイメージの部分を相関させるためのプログラム・コードを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１６】
前記第一合成イメージと第二シーンの第二合成イメージとを比較するための請求項１０に記載のコンピュータ・プログラム製品であって、該コンピュータ・プログラム製品が、
ｅ．該第一合成イメージを保存するためのプログラム・コードと、
ｆ．該第二合成イメージを用意するためのプログラム・コードであって、
ｉ．第二の一連のイメージを提供するためのプログラム・コードであって、各イメージが該第二シーンの部分に対応し、少なくとも二つのイメージが該第二シーンの重複領域を含む、プログラム・コードと、
ｉｉ．該第二シーンの該少なくとも二つのイメージを整列させるためのプログラム・コードと、
ｉｉｉ．該第二シーンの該少なくとも二つのイメージの重複の領域を平均化するためのプログラム・コードと、
ｉｖ．該第二シーンの該少なくとも二つのイメージの非重複部分と、該第二シーンの該少なくとも二つのイメージの該平均化された重複部分とから該第二合成イメージを形成するためのプログラム・コードと
を含む、プログラム・コードと、
ｇ．該第一合成イメージと該第二合成イメージとの重複部分を、ほぼ等しい平均強度まで調節するためのプログラム・コードと、
ｈ．該強度が調節されたイメージの間の差を計算すること、および、差が閾値を超えたイメージの領域を識別することのためのプログラム・コードと
を備えるコンピュータ・プログラム製品。
【請求項１７】
前記差が閾値を超えたイメージの領域を特定するためのプログラム・コードが、前記第二イメージの合成イメージを用意するためのプログラム・コードが完了する前に実行されるように構成されている、請求項１６に記載のコンピュータ・プログラム製品。
【請求項１８】
前記プログラム・コードが、前記イメージ間の差を計算することの前に、前記合成イメージからエッジが検出され除去されるように構成されている、請求項１６に記載のコンピュータ・プログラム製品。
【請求項１】
ａ．第一の一連のイメージを提供することであって、各イメージが第一シーンの部分に対応し、少なくとも二つのイメージが該第一シーンの重複領域を含むことと、
ｂ．該第一シーンの該少なくとも二つのイメージを整列させることと、
ｃ．該第一シーンの該少なくとも二つのイメージの重複の領域を平均化することと、
ｄ．該第一シーンの該少なくとも二つのイメージの非重複部分と、該第一シーンの該少なくとも二つのイメージの該平均化された重複部分とから第一合成イメージを形成すること、
を含む、該第一シーンの該第一合成イメージを用意する方法であって、
それによって、該一連のイメージの分解能よりも該合成イメージの部分に対してより高い分解能を提供する方法。
【請求項２】
前記第一の一連のイメージを提供することが、ビデオ・カメラでビデオ・シーケンスを取り込むことを含む、請求項１に記載の方法。
【請求項３】
前記第一シーンが地勢風景である、請求項１に記載の方法。
【請求項４】
前記第一の一連のイメージを提供することが、該第一の一連のイメージを変換することを含む、請求項１に記載の方法。
【請求項５】
前記第一の一連のイメージを変換することが、該第一の一連のイメージを二次元表面に射影することを含む、請求項４に記載の方法。
【請求項６】
前記少なくとも二つのイメージを整列させることが、 該少なくとも二つのイメージの部分を相関させることを含む、請求項１に記載の方法。
【請求項７】
前記第一合成イメージと第二シーンの第二合成イメージとを比較するための請求項１に記載の方法であって、該方法が、
ｅ．該第一合成イメージを保存することと、
ｆ．該第二合成イメージを用意することであって、
ｉ．第二の一連のイメージを提供することであって、各イメージが該第二シーンの部分に対応し、少なくとも二つのイメージが該第二シーンの重複領域を含むことと、
ｉｉ．該第二シーンの該少なくとも二つのイメージを整列させることと、
ｉｉｉ．該第二シーンの該少なくとも二つのイメージの重複の領域を平均化することと、
ｉｖ．該第二シーンの該少なくとも二つのイメージの非重複部分と、該第二シーンの該少なくとも二つのイメージの該平均化された重複部分とから該第二合成イメージを形成することと
を含む、ことと、
ｇ．該第一合成イメージと該第二合成イメージとの重複部分を、ほぼ等しい平均強度まで調節することと、
ｈ．該強度が調節されたイメージの重複部分間の差を計算すること、および、該強度が調節されたイメージの重複部分の領域であって、該差が閾値を超えている、領域を識別することと、
を含む、方法。
【請求項８】
前記強度が調節されたイメージの重複部分の領域であって、差が閾値を超えている、領域を識別することが、前記第二合成イメージを用意することが完了する前に始まる、請求項７に記載の方法。
【請求項９】
前記イメージ間の差を計算することの前に、前記合成イメージからエッジが除去される、請求項７に記載の方法。
【請求項１０】
第一シーンの第一合成イメージを用意するためコンピュータ・システム上で使われるコンピュータ・プログラム製品であって、該コンピュータ・プログラム製品が、コンピュータ読み取り可能プログラム・コードを有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラム・コードは、
ａ．第一の一連のイメージを提供するためのプログラム・コードであって、各イメージが該第一シーンの部分に対応し、少なくとも二つのイメージが該第一シーンの重複領域を含む、プログラム・コードと、
ｂ．該第一シーンの該少なくとも二つのイメージを整列させるためのプログラム・コードと、
ｃ．該第一シーンの該少なくとも二つのイメージの重複の領域を平均化するためのプログラム・コードと、
ｄ．該第一シーンの該少なくとも二つのイメージの非重複部分と、該第一シーンの該少なくとも二つのイメージの該平均化された重複部分とから第一合成イメージを形成するためのプログラム・コードと
を含み、
それによって、該一連のイメージの分解能よりも該合成イメージの部分に対してより高い分解能を提供する、コンピュータ・プログラム製品。
【請求項１１】
前記第一の一連のイメージを提供することが、ビデオ・カメラでビデオ・シーケンスを取り込むことを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１２】
前記第一シーンが地勢風景である、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１３】
前記第一の一連のイメージを提供するためのプログラム・コードが、該第一の一連のイメージを変換するためのプログラム・コードを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１４】
前記第一の一連のイメージを変換するためのプログラム・コードが、該第一の一連のイメージを二次元表面に射影するためのプログラム・コードを含む、請求項１３に記載のコンピュータ・プログラム製品。
【請求項１５】
前記第一シーンの前記少なくとも二つのイメージを整列させるためのプログラム・コードが、該少なくとも二つのイメージの部分を相関させるためのプログラム・コードを含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項１６】
前記第一合成イメージと第二シーンの第二合成イメージとを比較するための請求項１０に記載のコンピュータ・プログラム製品であって、該コンピュータ・プログラム製品が、
ｅ．該第一合成イメージを保存するためのプログラム・コードと、
ｆ．該第二合成イメージを用意するためのプログラム・コードであって、
ｉ．第二の一連のイメージを提供するためのプログラム・コードであって、各イメージが該第二シーンの部分に対応し、少なくとも二つのイメージが該第二シーンの重複領域を含む、プログラム・コードと、
ｉｉ．該第二シーンの該少なくとも二つのイメージを整列させるためのプログラム・コードと、
ｉｉｉ．該第二シーンの該少なくとも二つのイメージの重複の領域を平均化するためのプログラム・コードと、
ｉｖ．該第二シーンの該少なくとも二つのイメージの非重複部分と、該第二シーンの該少なくとも二つのイメージの該平均化された重複部分とから該第二合成イメージを形成するためのプログラム・コードと
を含む、プログラム・コードと、
ｇ．該第一合成イメージと該第二合成イメージとの重複部分を、ほぼ等しい平均強度まで調節するためのプログラム・コードと、
ｈ．該強度が調節されたイメージの間の差を計算すること、および、差が閾値を超えたイメージの領域を識別することのためのプログラム・コードと
を備えるコンピュータ・プログラム製品。
【請求項１７】
前記差が閾値を超えたイメージの領域を特定するためのプログラム・コードが、前記第二イメージの合成イメージを用意するためのプログラム・コードが完了する前に実行されるように構成されている、請求項１６に記載のコンピュータ・プログラム製品。
【請求項１８】
前記プログラム・コードが、前記イメージ間の差を計算することの前に、前記合成イメージからエッジが検出され除去されるように構成されている、請求項１６に記載のコンピュータ・プログラム製品。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２００８−５０９４８１（Ｐ２００８−５０９４８１Ａ）
【公表日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願番号】特願２００７−５２４９９６（Ｐ２００７−５２４９９６）
【出願日】平成１７年８月３日（２００５．８．３）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２７７５８
【国際公開番号】ＷＯ２００６／０１７６７０
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０６１６８９４５）インターグラフ ソフトウェアー テクノロジーズ カンパニー (10)
【Ｆターム（参考）】
【公表日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願日】平成１７年８月３日（２００５．８．３）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２７７５８
【国際公開番号】ＷＯ２００６／０１７６７０
【国際公開日】平成１８年２月１６日（２００６．２．１６）
【出願人】（５０６１６８９４５）インターグラフ ソフトウェアー テクノロジーズ カンパニー (10)
【Ｆターム（参考）】
[ Back to top ]