画像メタデータおよび空間情報に基づく判断基準を使用した自動デジタル画像グルーピング
【課題】画像メタデータおよび空間情報を含む判断基準に基づいて関連する画像のグルーピングを自動的に生成する自動デジタル画像グルーピングシステムおよび方法を提供すること。
【解決手段】無秩序で組織化されていないデジタル画像セットを取得し、関連する画像を画像サブセットの形に組織化しグループ化する。画像内部に既に組み込まれているメタデータは画像サブセットを抽出するために使用される。このメタデータには画像の時間的近接性、焦点距離、カラーオーバラップ、地理的位置などを含めることができる。本発明による第１のコンポーネントのサブセット画像ステージではメタデータが解析され関連する画像を含む可能な画像サブセットが生成される。第２のコンポーネントのオーバラップ検出ステージでは関連する画像の画素を検査することによって可能な画像サブセットが解析され検証される。
【解決手段】無秩序で組織化されていないデジタル画像セットを取得し、関連する画像を画像サブセットの形に組織化しグループ化する。画像内部に既に組み込まれているメタデータは画像サブセットを抽出するために使用される。このメタデータには画像の時間的近接性、焦点距離、カラーオーバラップ、地理的位置などを含めることができる。本発明による第１のコンポーネントのサブセット画像ステージではメタデータが解析され関連する画像を含む可能な画像サブセットが生成される。第２のコンポーネントのオーバラップ検出ステージでは関連する画像の画素を検査することによって可能な画像サブセットが解析され検証される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にデジタル画像処理に関し、より詳細には、画像メタデータおよび空間情報を含む判断基準を用いて画像セット中の関連する画像を自動的に決定する自動デジタル画像グルーピングシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラは、消費者に人気のある画像取り込み装置である。消費者向けのデジタルカメラは非常に使い易いものなので、ユーザは一般に、時間の経過とともに大量のデジタル画像を蓄積することになる。このようなデジタル画像は、一般にハードドライブまたは取り外し可能記憶媒体に蓄積されるが、無秩序で組織化されていない大量の画像を含むフォルダに格納されることも多い。この無秩序な画像セットは、一般に扱いにくいものであり、このセットを組織化したいと望むユーザは困難な作業に直面することになる。
【０００３】
「関係がある」または関連する画像を自動的に見つけ出すソフトウェアが存在する。例えばユーザは、同一の露光量を有するため、ある被写体を追跡するため、グループショットを形成するため、パノラマを形成するためなどの理由で関連する画像を見つけたいと望む場合がある。ある種の既存のソフトウェアは、オーバラップする画像の集りを取得し、自動的にパノラマにステッチング（ｓｔｉｔｃｈ）する。さらに、同一の場面を異なる露光で取り込んだ画像の集りを取得し、ハイダイナミックレンジ画像（ｈｉｇｈ−ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅ）を作成する現在入手可能なソフトウェアも存在する。例えば、このような技術の１つは、Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ、Ｒ．Ｓｚｅｌｉｓｋｉ、およびＡ．Ｅｄｅｎによって２００５年２月１日に出願された「Method and System for Combining Multiple Exposure Images having Scene and Camera Motion」と題する同時係属出願の米国特許出願第１１／０４９５９７号明細書、ならびにＳ．Ｂ．Ｋａｎｇ、Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ、Ｓ．Ｗｉｎｄｅｒ、およびＲ．Ｓｚｅｌｉｓｋｉによって２００３年７月１８日に出願された「System and Process for Generating High Dynamic Range Images from Multiple Exposures of a Moving Scene」と題する米国特許出願第１０／６２３０３３号明細書に記載されている。さらに、類似した画像の集りを取得し単一の合成画像を生成するソフトウェアも存在する。この種の技術は、非特許文献１に記載されている。
【０００４】
理論的には、無秩序な画像セットに含まれるどの画像も上述の技術に入力することは可能である。しかし、このことに関する１つの問題は、処理が非常に遅くなり、非効率になることである。言い換えると、無秩序な画像セットの各画像をこのような画像オーバラップ検出技術の１つに投入することは、これら汎用技術を使用する非効率的な方法である。
【０００５】
無秩序な画像セットのクラスタリングを実施する他の技術も存在する。例えば、２種類のクラスタリング技術が非特許文献２および非特許文献３に記載されている。
【０００６】
しかし、Ｓｃｈａｆｆａｌｉｔｚｋｙらの技術に関する１つの問題は、それが純粋に画像ベースの技術だということである。詳細には、彼らの技術は、例えば人物、建物など画像中に取り込まれた特徴を見つけることによって画像の類似性を探すものである。十分に類似した特徴が見つかると、画像は関連していると定義される。画像のクラスタリングにおいては、画像データだけが使用される。Ｐｌａｔｔの技術は、（タイムスタンプなどの）時間的解析とカラーオーバラップに基づいて画像を分類する。しかし、Ｐｌａｔｔの技術に関する１つの問題は、それが空間的解析および画素解析をまったく実施しないことである。
【０００７】
【非特許文献１】A. Agarwala, M. Agarwala, S. Drucker, A. Colburn, B. Curless, D. Salesin, and M. Cohen, "Interactive Digital Photomontage", ACM Trans.Graph., 23 (3): 294-302, 2004
【非特許文献２】F. Schaffalitzky and A. Zisserman, "Multi-View Matching for Unordered Image Sets, or How Do I Organize My Holiday Snaps?", Proceedings of the European Conference on Computer Vision, pp. 414-431, 2002
【非特許文献３】J. Platt, "AutoAlbum: Clustering Digital Photographs using Probabilistic Model Merging", Proc. IEEE Workshop on Content-Based Access of Image and Video Libraries 2000, pp. 96-100, (2000)
【非特許文献４】M. Brown and D. G.Lowe, "Recognizing Panoramas", Proceedings of the Ninth IEEE International Conference on Computer Vision, pp. 1218-1225, IEEE Computer Society, 2003
【非特許文献５】M. Cohen, A. Colburn, and S. Drucker, "Image Stacks" in Microsoft Research Technical Report No. MSR-TR-2003-40
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、無秩序な画像セットを組織化する迅速かつ効率的な方法を提供する自動デジタル画像グルーピングシステムおよび方法が必要とされている。また、様々な判断基準を検査し解析して、無秩序な画像セット内の関連する画像についてのカスタマイズされたグルーピングおよび集りを生成するシステムおよび方法も必要とされている。
【課題を解決するための手段】
【０００９】
本明細書で開示された発明には、関連する画像および画像グループを自動的に決定するための自動デジタル画像グルーピングシステムおよび方法が含まれる。この自動画像グルーピングシステムおよび方法は、無秩序で組織化されていないデジタル画像セットを取得し、関連する画像を組織化しグルーピングする。汎用画像処理ソフトウェア（例えば、画像ステッチングアプリケーションやハイダイナミックレンジアプリケーションなど）によって処理される前に、関連する画像をグルーピングすることによって、大幅に効率が向上し処理時間が削減される。
【００１０】
自動画像グルーピングシステムおよび方法は、各画像に関連付けられたメタデータを使用して関連する画像を見つける。メタデータとは、画像ファイルをオープンすることなく迅速にアクセスすることが可能な、各画像に関連するデータである。さらに、メタデータの解析により、画像ベース技術単体よりも、より良いグルーピング機能が提供される。可能な（ｐｏｔｅｎｔｉａｌ）グループが識別された後で、画像間の関係をさらに確認し、関係の種類を分類するために詳細な画素解析が実施される。
【００１１】
この自動画像グルーピング方法は、組織化されていない無秩序な画像の集りを含む無秩序な画像セットを入力するステップと、そのセット中の各画像に関連付けられたメタデータを解析して関連する画像を決定するステップを含む。この方法はさらに、関連する画像を含む可能な（ｐｏｔｅｎｔｉａｌ）画像サブセットを生成するステップを含む。このステップは、メタデータ解析の結果に基づいて行われる。コレクションレコグナイザ（ｃｏｌｌｅｃｔｉｏｎ ｒｅｃｏｇｎｉｚｅｒ）はどのメタデータを検査すべきかを決定する判断基準であり、メタデータ解析で使用される。コレクションレコグナイザには、時間的近接性、焦点距離、地理的位置、およびサムネイル画像を使用したカラーオーバラップが含まれる。
【００１２】
次に、関連する画像の画素を検査することによって、可能な画像サブセットが解析され検証される。好ましい実施形態では、解析し検証するためにペアワイズ（ｐａｉｒｗｉｓｅ）技術が使用される。この方法はまた、可能な画像サブセットがパノラマを形成する画像を含むのか、それとも真の画像スタック（ｔｒｕｅ ｉｍａｇｅ ｓｔａｃｋ）を形成する画像を含むのかを判定するステップを含む。真の画像スタックとは、同じ場面を取り込むが、画像間で実質的にカメラ移動を伴わない画像のことである。一方、パノラマは、空間的にオーバラップしているが、その場面の異なる部分をカバーしてパノラマを提供するいくつかの画像を含む。画像処理技術は、画像がパノラマか、それとも真の画像スタックかに基づいて、検証された画像サブセットを処理するように選択される。
【００１３】
自動画像グルーピングシステムは、上述の自動画像グルーピング方法を組み込むための各モジュールを含む。詳細には、自動画像グルーピングシステムは、各画像に関連付けられたメタデータを解析するメタデータ解析モジュールと、メタデータ解析モジュール内に存在し、複数のデジタル画像のどれが関連しているかをコレクションレコグナイザに基づいて決定するメタデータリレーションモジュールと、関係する画像のグループを含む可能な画像サブセットとを含む。このシステムはまた、メタデータリレーションモジュールがどのコレクションレコグナイザを使用すべきかを決定するコレクションレコグナイザ選択モジュールを含む。さらに、このシステムは、ペアワイズ技術を使用して可能な画像サブセットを解析し検証する検証モジュールを含む。このシステムはまた、可能な画像サブセットを形成するためにどの画像グループが使用され、どの画像が使用されなかったかをユーザに示すユーザインターフェースを含む。さらに、このシステムのもう１つのユーザインターフェースは、可能な画像サブセットがパノラマを形成する画像を含むのか、それとも真の画像スタックを形成する画像を含むのかの情報をユーザに提供する。
【００１４】
本発明は、以下の説明および本発明の諸態様を示す添付の図面を参照することによってより良く理解することができる。他の特徴および利点は、本発明についての以下の詳細な説明と、本発明の原理を一例として例示する添付の図面を併せて読むことによって明らかになるであろう。
【００１５】
次に図面を参照すると、同一の参照番号は全図面を通して同一の部分を表す。
【発明を実施するための最良の形態】
【００１６】
本発明に関する以下の説明においては、添付の図面を参照する。これらの図面は本発明の一部を形成するものであり、本発明を実施することができる特定の例を例示するものである。本発明の範囲を逸脱することなく、他の実施形態を使用できることおよび構造的な変更をなし得ることを理解されたい。
【００１７】
Ｉ．序論
デジタルカメラのユーザは、一般に無秩序かつ組織化されていない形で保存された大量のデジタル画像を蓄積する。これらの画像を組織化すること、またはどの画像が関連しているかを決定することは、複雑で時間のかかる作業になり得る。ユーザは、多くの理由、例えば同一の露光量を有しているため、被写体を追跡するため、グループショットを形成するため、あるいはパノラマを形成するためなどの理由によって、どの画像が関連しているのかを決定したいと考えることがある。画像を取得し、それらを自動的にステッチングしてパノラマを形成することができるソフトウェアが存在する。あるいは、同一の場面を異なる露光で取り込んだ画像の集りを取得し、ハイダイナミックレンジ画像を作成することができるソフトウェアも存在する。しかし、無秩序で組織化されていない画像の集りを取得し、これらのソフトウェアアプリケーションの１つに入力することは、非常に時間がかかり非効率な処理になり得る。
【００１８】
本明細書で開示する自動画像グルーピングシステムおよび方法は、無秩序な画像の集りを解析し、画像サブセットを形成するためにどの画像が関連し、関係があるのかを決定する。これらの画像サブセットは、例えばパノラマ、多重露光、同一場面の繰り返しショットなどに基づくことがある。画像サブセットを定義するための判断基準は、ユーザニーズに応じて変更し、カスタマイズすることができる。
【００１９】
パノラマは、様々な写真画像を互いにステッチングすることによって作成されたビューである。パノラマを作成するために使用できる画像は、大量の写真の中に埋もれていることが多い。自動画像グルーピングシステムおよび方法は、無秩序な画像セット内の画像を検査し、自動的にパノラマを合成するパノラマ発見（ｐａｎｏｒａｍａ ｄｉｓｃｏｖｅｒｙ）を提供する。画像内部に既に組み込まれている（ＥＸＩＦタグなどの）メタデータは、画像ステッチングアルゴリズムによってさらに処理するための適当なパノラマセットを抽出するために使用される。このメタデータには、可能なパノラマグループの指標として、写真が撮影された日時や写真の焦点距離などを含めることができる。
【００２０】
自動画像グルーピングシステムおよび方法の第１のコンポーネントは無秩序な画像セットの画像を画像サブセットにアレンジするサブセット画像ステージである。次に、これらの画像サブセットは第２のコンポーネントであるオーバラップ検出ステージに入力される。このステージは、オーバラップを検出する既存の技術である。しかし、上述のように、これらの技術は非常に処理が遅いため、入力画像セット内の各画像をこの技術に単に入力することは非効率である。したがって、この新規の自動画像グルーピングシステムおよび方法は、効率を向上するために、画像セットから画像を知的に（ｉｎｔｅｌｌｉｇｅｎｔｌｙ）選択し、画像のサブセットだけをオーバラップ検出コンポーネントに入力する。
【００２１】
ＩＩ．総括
図１は、本明細書で開示される自動画像グルーピングシステムおよび方法の一実装例を示す構成図である。図１を参照すると、自動画像グルーピングシステム１００はコンピュータ装置１０５上に配置されている。一般に、自動画像グルーピングシステム１００は、無秩序な画像のセット１１０を処理して関連する画像のグループを生成する。
【００２２】
より詳細には、図１に示したように、無秩序な画像セット１１０は無秩序で多様な複数の画像を含む。例えば、無秩序な画像のセット１１０は、デジタル画像と、多くのデジタル画像を含むディレクトリツリーとを含むフォルダであってもよい。この画像セット１１０は、コンピュータ装置１０５上に存在する自動画像グルーピングシステム１００に入力される。
【００２３】
以下で詳細に説明するように、自動画像グルーピングシステム１００は、無秩序な画像セット１１０を処理して、各画像に関連するまたは組み込まれた、メタデータまたは情報を解析して適当なグループを抽出する。これらのグループは無秩序な画像セット１１０の関連づけられたサブセットであり、関連するキュー（ｃｕｅ）またはコレクションレコグナイザを有している。図１に示したように、画像サブセットには、画像サブセット（１）、画像サブセット（２）、から画像サブセット（Ｎ）までが含まれており、Ｎ個の画像サブセットが存在する。これらの画像サブセットは各々、関連する画像のグループを表す。
【００２４】
無秩序な画像セット１１０が処理され画像サブセットが抽出された後で、画像サブセットを画像処理アプリケーション１１５によって処理することができる。例えば、画像処理アプリケーション１１５は、空間的にオーバラップする画像を含む画像サブセットを取得し、自動的にパノラマにステッチングすることができる。あるいは、画像処理アプリケーション１１５は、同一の場面を異なる露光で取り込んだ画像からなる画像サブセットを入力し、ハイダイナミックレンジ画像を生成することもできる。あるいは、画像処理アプリケーション１１５は、様々な他の種類の画像処理技術を使用することもできる。
【００２５】
自動画像グルーピングシステム１００の利点の１つは、このシステムが、画像処理アプリケーション１１５の処理をより迅速でより効率的なものにするように、画像処理アプリケーション１１５への入力を削減し絞り込むことである。例えば、無秩序な画像セット１１０の全体を入力する代わりに、自動画像グルーピングシステム１００によって処理した後のより小さな、より絞り込まれた画像サブセットを入力し、それによって処理時間が削減され、効率が高められる。
【００２６】
ＩＩＩ．例示的動作環境
本明細書で開示する自動画像グルーピングシステムおよび方法は、コンピュータ環境およびコンピュータ装置、例えば図１に示されたコンピュータ装置１０５などの上で動作するように設計される。次に、本明細書で開示する自動画像グルーピングシステムおよび方法が動作するコンピュータ環境について論じる。以下の議論は、この自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータ環境についての簡潔で一般的な説明を提供することを意図したものである。
【００２７】
図２は、図１に示された自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータシステム環境の一例を示したものである。コンピュータシステム環境２００は適切なコンピュータ環境の一例に過ぎず、本発明の用途または機能の範囲に関するいかなる制限を示唆することを意図したものではない。また、コンピュータ環境２００は、例示的動作環境２００に示されたコンポーネントのいずれか１つまたはそれらの組合せに関して、何らかの依存性または要件を有するものと解釈すべきものでもない。
【００２８】
自動画像グルーピングシステムおよび方法は、他の多くの汎用または専用のコンピュータシステム環境またはコンピュータシステム構成で動作可能である。この自動画像グルーピングシステムおよび方法とともに使用するのに適した周知のコンピュータシステム、環境、および／または構成の例には、これらに限られるものではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド、ラップトップもしくはモバイルコンピュータ、または携帯電話、ＰＤＡなどの通信装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたは装置のいずれかを含む分散コンピュータ環境などが含まれる。
【００２９】
自動画像グルーピングシステムおよび方法は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能な命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造体などを含む。この自動画像グルーピングシステムおよび方法はまた、分散コンピュータ環境においても実行することができ、その場合、各タスクは通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散コンピュータ環境では、各プログラムモジュールは、ローカルおよびリモートの、メモリ記憶装置などのコンピュータ記憶媒体に配置することができる。図２を参照すると、自動画像グルーピングシステムおよび方法を実装するための例示的システムは、コンピュータ２１０の形で汎用コンピュータ装置を含む。コンピュータ２１０は、図１に示されたコンピュータ装置１０５の一例である。
【００３０】
コンピュータ２１０のコンポーネントは、これらに限られるものではないが、処理装置２２０、システムメモリ２３０、および、システムメモリなど様々なシステムコンポーネントを処理装置２２０に結合するシステムバス２２１を含むことができる。システムバス２２１は、メモリバスもしくはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスなど、いくつかの種類のバス構造のうちの任意のものを使用することができる。限定の意味ではなく例として、このようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、メザニンバスとも呼ばれるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどが含まれる。
【００３１】
コンピュータ２１０は通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ２１０によってアクセス可能な任意の使用可能媒体であってよく、揮発性および不揮発性媒体、取り外し可能および取り外し不能媒体の両方を含む。限定の意味ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータなどの情報を記憶するための任意の方法または技術で実装された、揮発性および不揮発性、取り外し可能および取り外し不能の媒体を含む。
【００３２】
コンピュータ記憶媒体には、これらに限られるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ）、または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、あるいは所望の情報を格納するために使用でき、かつコンピュータ２１０によってアクセス可能な他の任意の媒体が含まれる。通信媒体は通常に、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータを、搬送波や他の伝送機構などの変調されたデータ信号中に具現化するものであり、任意の情報伝達媒体を含む。
【００３３】
「変調されたデータ信号」という用語は、信号中に情報を符号化するような方式で、１つまたは複数の特性が設定または変更された信号を意味することに留意されたい。限定の意味ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体を含む。上記の任意の組合せもまたコンピュータ可読媒体の範囲に含まれるものとする。
【００３４】
システムメモリ２３０は、ＲＯＭ（読出し専用メモリ）２３１やＲＡＭ（ランダムアクセスメモリ）２３２など揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。基本入出力システム（ＢＩＯＳ）２３３は、例えば起動中に、コンピュータ２１０内の各要素間の情報転送を支援する基本ルーチンを含み、通常はＲＯＭ２３１に格納されている。ＲＡＭ２３２は通常、処理装置２２０によって即時にアクセス可能かつ／または現在操作中である、データおよび／またはプログラムモジュールを含む。限定の意味ではなく例として、図２にはオペレーティングシステム２３４、アプリケーションプログラム２３５、他のプログラムモジュール２３６、およびプログラムデータ２３７が示されている。
【００３５】
コンピュータ２１０はまた、他の取り外し可能／取り外し不能、揮発性／不揮発性のコンピュータ記憶媒体を含むこともできる。単に例示として、図２には取り外し不能な不揮発性磁気媒体に読み書きするハードディスクドライブ２４１、取り外し可能な不揮発性磁気ディスク２５２に読み書きする磁気ディスクドライブ２５１、およびＣＤ−ＲＯＭや他の光媒体など取り外し可能な不揮発性光ディスク２５６に読み書きする光ディスクドライブ２５５が示されている。
【００３６】
例示の動作環境で使用できる他の取り外し可能／取り外し不能、揮発性／不揮発性のコンピュータ記憶媒体には、これらに限られるものではないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭなどが含まれる。ハードディスクドライブ２４１は通常、インターフェース２４０などの取り外し不能メモリインターフェースを介してシステムバス２２１に接続され、磁気ディスクドライブ２５１および光ディスクドライブ２５５は通常、インターフェース２５０などの取り外し可能メモリインターフェースによってシステムバス２２１に接続される。
【００３７】
上で論じ図２に示した各ドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ２１０のためのコンピュータ可読命令、データ構造、プログラムモジュール、その他のデータの記憶を提供する。例えば図２では、ハードディスクドライブ２４１は、オペレーティングシステム２４４、アプリケーションプログラム２４５、他のプログラムモジュール２４６、およびプログラムデータ２４７を格納するように図示されている。これらのコンポーネントは、オペレーティングシステム２３４、アプリケーションプログラム２３５、他のプログラムモジュール２３６、およびプログラムデータ２３７と同一であっても、異なっていてもよいことに留意されたい。オペレーティングシステム２４４、アプリケーションプログラム２４５、他のプログラムモジュール２４６、およびプログラムデータ２４７は、少なくともそれらが異なるコピーであることを示すために、この図では異なる番号が付与されている。ユーザは、キーボード２６２、および一般にマウス、トラックボール、またはタッチパッドと呼ばれるポインティング装置２６１などの入力装置を介してコンピュータ２１０にコマンドまたは情報を入力することができる。
【００３８】
他の入力装置（図示せず）として、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、無線受信機、またはＴＶもしくは放送ビデオ受信機などを含むことができる。これらおよび他の入力装置は、システムバス２２１に結合されたユーザ入力インターフェース２６０を介して処理装置２２０に接続されることが多いが、例えばパラレルポート、ゲームポート、またはＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）など、他のインターフェースやバス構造によって接続することもできる。モニタ２９１または他の種類の表示装置もまた、ビデオインターフェース２９０などのインターフェースを介してシステムバス２２１に接続される。モニタ２９１に加え、コンピュータは、スピーカ２９７やプリンタ２９６など、他の周辺出力装置を含むこともできるが、これらの装置は出力周辺装置インターフェース２９５を介して接続することができる。
【００３９】
コンピュータ２１０は、リモートコンピュータ２８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作させることができる。リモートコンピュータ２８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の共通ネットワークノードなどであってもよい。また、図２にはメモリ記憶装置２８１だけが示されているが、リモートコンピュータ２８０は通常、コンピュータ２１０に関連して上で説明した諸要素の多くまたはすべてを含む。図２に示された論理接続は、ローカルエリアネットワーク（ＬＡＮ）２７１およびワイドエリアネットワーク（ＷＡＮ）２７３を含むが、他のネットワークを含むこともできる。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、インターネットなどにおいて一般的なものである。
【００４０】
ＬＡＮネットワーク環境で使用されるときには、コンピュータ２１０はネットワークインターフェースまたはアダプタ２７０を介してＬＡＮ２７１に接続される。ＷＡＮネットワーク環境で使用される場合は、コンピュータ２１０は通常、インターネットなどのＷＡＮ２７３を介して通信を確立するためのモデム２７２または他の手段を含む。モデム２７２は内蔵でも外付けでもよいが、ユーザ入力インターフェース２６０または他の適切な機構を介してシステムバス２２１に接続することができる。ネットワーク環境では、コンピュータ２１０に関連して示されたプログラムモジュールまたはその一部をリモートのメモリ記憶装置に格納することができる。限定の意味ではなく例として、図２では、リモートのアプリケーションプログラム２８５はメモリ装置２８１上に存在するように図示されている。図示のネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用できることが理解されよう。
【００４１】
ＩＶ．システムコンポーネント
図３は、図１に示された自動画像グルーピングシステム１００の各コンポーネントを示す概略構成図である。自動画像グルーピングシステム１００は無秩序な画像セット１１０を入力し、そのセット１１０の各画像を処理し、検証された画像サブセット１２０を出力する。検証された画像サブセット１２０には、無秩序な画像セット１１０からの関連づけられた画像のグループが含まれる。以下で詳細に説明するように、これらの関係は特定の判断基準またはコレクションレコグナイザに基づくものである。
【００４２】
自動画像グルーピングシステム１００は、無秩序な画像セット１１０に関する処理を行ういくつかのモジュールを含む。詳細には、自動画像グルーピングシステム１００は、無秩序な画像セット１１０内の各画像に対応するメタデータを解析するメタデータ解析モジュール３００、メタデータ解析によって生成された可能な画像サブセット３１０、および可能な画像サブセットのグルーピングを検証し検証された画像サブセット１２０を出力する検証モジュール３２０を含む。
【００４３】
メタデータ解析モジュール３００は、コレクションレコグナイザ選択モジュール３３０、およびメタデータリレーションモジュール３４０を含む。コレクションレコグナイザ選択モジュール３３０は、メタデータ解析で使用されるキューまたはコレクションレコグナイザを決定する。これらのコレクションレコグナイザは、無秩序な画像セット１１０をグルーピングするために使用される判断基準である。メタデータリレーションモジュール３４０はコレクションレコグナイザを入力し、それらを使用して各画像を解析する。この解析に基づいて、メタデータリレーションモジュール３４０は関連する画像のグループを見つけ出す。
【００４４】
メタデータ解析モジュール３００の出力は、可能な画像サブセット３１０である。これらは検証モジュール３２０への入力であり、検証モジュール３２０は全画素解析を実行して画像間のオーバラップの種類および量を決定する。検証モジュール３２０からの出力は検証された画像サブセット１２０である。
【００４５】
Ｖ．動作概要
次に、図１および図３に示された自動画像グルーピングシステム１００およびそのシステムで使用される方法の動作について論じる。図４は、図１および図３に示された自動画像グルーピングシステム１００および方法の概略の動作を示す概略流れ図である。この方法は、無秩序な画像セットを入力することによって始まる（ボックス４００）。無秩序な画像セットは、組織化されておらず特定の順序またはグルーピングを有していない複数の画像を含む。次に、この方法は、無秩序な画像セット内の各画像に関連付けられたメタデータを検査する（ボックス４１０）。通常このメタデータは各画像に組み込まれており、画像ファイルをオープンすることなしに読み出すことができる。
【００４６】
次に、この方法は、関連する画像のグループを作成し、可能な画像サブセットを出力する（ボックス４２０）。これらの可能な画像サブセットは、無秩序な画像セット内の画像の少なくとも一部を含む。可能な画像サブセットは、類似したメタデータを有するグループの画像に基づいて作成される。次に、可能な画像サブセットが解析され検証されて、さらに各グループに分類される（ボックス４３０）。最後に、関連する画像を含む検証された画像サブセットが出力される（ボックス４４０）。
【００４７】
ＶＩ．動作詳細
次に、図１、３、および４の自動画像グルーピングシステム１００および方法の動作詳細について論じる。図５は、図４に示された自動画像グルーピング方法をさらに詳細に示す流れ図である。具体的には、１つまたは複数のキューまたはコレクションレコグナイザが、画像グループまたはサブセットを決定する際に使用するために選択される（ボックス５００）。コレクションレコグナイザは、画像が関連しているかどうかを判定するために使用される判断基準である。
【００４８】
１つの可能なコレクションレコグナイザには、各画像が時間的に比較的接近して撮影されたことを意味する時間的近接性が含まれる。このレコグナイザは、大幅に異なる時間、例えば数時間または数日離れて撮影された同一場面の画像を無視する。他の可能なコレクションレコグナイザには、焦点距離が含まれる。したがって、類似した焦点距離を有する画像は関連していると見なされる。人物の広角ショットが撮影され、次いで顔をクローズアップするためにズームインされる場合もあり得るが、これはどちらかと言えばあまり一般的なケースではない。最も典型的なケースは、カメラの焦点距離（またはズーム）が変更されないケースである。他の可能なコレクションレコグナイザは、地理的位置である。したがって、類似の地理的位置で撮影された画像は関連していると見なされる。ある種のカメラは、地理的位置メタデータを備える。この地理的位置メタデータは撮影者が地球上のどの位置に居るのかを教えるＧＰＳと、どの方角に向けて写真が撮影されたかを指示する磁針方位角とを使用して位置を指示する。サムネイル画像は他の可能なキュー（ｐｏｔｅｎｔｉａｌ ｃｕｅ）である。サムネイル画像を使用して色に基づく類似性を検査することができる。サムネイル画像は画像ファイルに内蔵することもできるし、（例えば、本件特許出願人のＷｉｎｄｏｗｓ（登録商標）の）外部アプリケーションによって計算することもできる。
【００４９】
これらのコレクションレコグナイザは、画像サブセットを生成するために使用することができる。コレクションレコグナイザとは、選択的に使用できる判断基準のセットである。これらの判断基準は組み合わせること、適合させることが可能であり、それらを使用して様々なカスタマイズされたコレクションレコグナイザを作成し、関連する画像からなる様々なサブセットを生成することができる。コレクションレコグナイザは関連する画像の集りの存在を認識する。どのコレクションレコグナイザ（またはキュー）が使用されるかに応じて、関連する画像の集りは異なるものになり、それらをカスタマイズすることができる。
【００５０】
次に無秩序な画像セット内の各画像に関連付けられたメタデータがコレクションレコグナイザを使用して解析される（ボックス５１０）。画像はユーザによって指定されたディレクトリによって入力することができる。あるいは、無秩序な画像セットをダウンロードすることもできる。画像をオープンして画素を読み出す前に、自動画像グルーピング方法は各画像のメタデータを検査する。一般に、現在のデジタルカメラは、交換可能な画像ファイル（ＥＸＩＦ）として各画像とともに画像処理値を格納する。ＥＸＩＦは、時間情報、シャッタ速度、絞りサイズ、ＩＳＯなど、画像に関する情報またはメタデータを符号化するために最も広く使用されている標準規格である。これらの情報を含むＥＸＩＦタグが各画像に添付される。ある画像に関連するＥＸＩＦに含まれるメタデータは、その画像を実際にオープンすることなく読み出すことができる。
【００５１】
次に、可能な画像サブセットが作成される（ボックス５２０）。これらの可能な画像サブセットは、類似したコレクションレコグナイザを有する画像のグループを含む。この方法の次の部分はオーバラップ検出ステージである。可能な画像サブセットが生成された後で、ペアワイズ技術を使用して可能な画像サブセットを解析し検証する（ボックス５３０）。ペアワイズ技術は画像間のオーバラップ関係をロバストな方法で探す。例えば、（人物が動き回るなど）画像間の任意の動きは、ペアワイズ技術を使用することによって補正される。
【００５２】
可能な画像サブセットを解析し検証するために、いくつかの異なる種類のペアワイズ技術を使用することができる。例えば、使用可能な１つの技術がＭ．ＢｒｏｗｎおよびＤ．Ｇ．Ｌｏｗｅの論文（非特許文献４）に記載されている。ＢｒｏｗｎおよびＬｏｗｅは、可能な画像サブセット中の各画像が実際にオーバラップしているかどうかを検証するために使用することができる技術に関して記載している。この技術は画像を検査し、特徴に基づくペアワイズの比較を実施して、どのくらい画像がオーバラップしているかを判断する。このペアワイズのオーバラップからパノラマが生成される。
【００５３】
ＢｒｏｗｎおよびＬｏｗｅの技術の代替手段には、Ｒ．ＳｚｅｌｉｓｋｉおよびＭ．Ｂｒｏｗｎによる技術がある。この技術は、ＭＯＰＳ（Ｍｕｌｔｉ−Ｓｃａｌｅ Ｏｒｉｅｎｔｅｄ Ｐａｔｃｈｅｓ）技術とも呼ばれている。他の代替手段が、Ｆ．ＳｃｈａｆｆａｌｉｔｚｋｙおよびＡ．Ｚｉｓｓｅｒｍａｎによる上記の非特許文献２に記載されている。ＳｃｈａｆｆａｌｉｔｚｋｙおよびＺｉｓｓｅｒｍａｎの技術は、特徴を使用して画像間のオーバラップを判断する。ＳｃｈａｆｆａｌｉｔｚｋｙおよびＺｉｓｓｅｒｍａｎの技術を使用すると、オーバラップしているが全く同じ位置から撮影されたものではない（すなわち、異なる視点から撮影された）画像の集りを見つけることができる。
【００５４】
可能な画像サブセットはまた、「画像スタック」として知られている。この用語は、Ｍ．Ｃｏｈｅｎ、Ａ．Ｃｏｌｂｕｒｎ、およびＳ．Ｄｒｕｃｋｅｒによる非特許文献５で使用されている。画像スタックとは、画像をひとまとめにした場合にそれらが何らかの意味を持つように関連づけられた（または空間的にオーバラップする）画像の集りである。検証プロセスは１つの可能な画像サブセット（または画像スタック）をいくつかのスタックに分割することができる。あるいは、検証プロセスは画像スタックの全体を拒絶することもできる。検証プロセスは実際に画像ファイルをオープンし、画素の外観（ａｐｐｅａｒａｎｃｅ）を詳細に解析して真のオーバラップが存在するかどうかを判定する。オーバラップが存在する場合にはその種類を判別する。
【００５５】
次に、可能な画像サブセットがパノラマか、それとも「真の」画像スタックかについての判定が行われる（ボックス５４０）。「真の画像スタック」という用語は、カメラの動きがほとんどない場合の画像スタックを定義するために使用される。このことは画像スタックが多重露光を使用して取り込まれたか、または繰り返しのグループショットであったことを意味する。一方、パノラマは大きな動きが存在するときに生ずる。なぜならば、撮影者がより大きな空間領域を取り込もうとするからである。
【００５６】
ペアワイズ技術は１つまたは複数の検証された画像サブセットを出力する（ボックス５５０）。好ましい実施形態では、この方法は検証された画像サブセットのうちの最大のものを出力するとともに、どの可能な画像サブセットが使用されなかったかをユーザに通知する。代替実施形態では、様々なコレクションレコグナイザ（例えば、時間的近接性や焦点距離）によって提案された初期グループを分離することができ、次いでどのグループが使用されなかったかをユーザに通知することができる。
【００５７】
自動画像グルーピング方法はパノラマと真のスタックを区別する。なぜならば、ユーザは一般にそれらを別々に処理しようとするからである。したがって、自動画像グルーピング方法は、検証された画像サブセットがパノラマであるのか、それとも真の画像スタックであるのかに基づいて、それらに対する画像処理技術を選択するステップを含む（ボックス５６０）。検証された画像サブセットがパノラマである場合は、いくつかの使用可能な画像ステッチング技術の任意の１つを使用して画像をステッチングし、パノラマを生成することができる。検証された画像サブセットが真のスタックである場合は、スタックの種類に応じて、最適画像選択技術または画像マージ技術を使用してそのサブセットを処理することができる。検証された画像サブセットが多重露光スタックである場合は、上述の同時係属特許出願である米国特許出願第１０／６２３０３３号明細書に記載されたハイダイナミックレンジ技術を使用して処理することができる。検証された画像サブセットが類似した露光を有している場合は、上述のＡｇａｒｗａｌａらによる非特許文献１に記載された技術を使用してそれを処理することができる。
【００５８】
図６は、図３に示されたメタデータ解析モジュール３００の動作を示す詳細な流れ図である。詳細には、無秩序な画像のセット１１０がメタデータ解析モジュール３００に入力される。通常、モジュール３００が画像ファイルをオープンすることはなく、その代わりにその画像ファイルに関連付けられたメタデータを検査する。ただし、最初に、検査すべきメタデータを表すコレクションレコグナイザを選択する（ボックス６００）。このメタデータは自動画像グルーピング方法によって自動的に選択することもできるし、ユーザによって選択することもできる。次に、選択されたコレクションレコグナイザに対応するメタデータが、無秩序な画像セット内の各画像に対して検査される（ボックス６１０）。各画像は、それらが類似したコレクションレコグナイザを有しているかどうかに基づいてソートされる（ボックス６２０）。次に、これらの画像グループを含む画像サブセットが生成される。この可能な画像サブセット１４０が出力され、先に概説したようにさらに処理される。
【００５９】
本明細書で開示した自動画像グルーピングシステム１００および方法をより完全に理解するために、例示的実施例の動作詳細を提示する。この実施例が、自動画像グルーピングシステムおよび方法を実装することができる単なる一方法に過ぎないことに留意されたい。
【００６０】
この実施例における目標は、フォルダまたはフォルダツリーを指定し、自動画像グルーピングシステムおよび方法にすべての画像を検査させ、関連する写真を自動的にパノラマに合成することができるようにすることである。すべてのデジタル写真を画像ステッチングアルゴリズムに一度に投入することは、遅く非効率な解決策になるはずである。この自動画像グルーピングシステムおよび方法は、画像の内部に既に組み込まれているメタデータを検査して適当なパノラマセットを抽出し、それをより高価な画像ステッチングアルゴリズムによってさらに処理することによって速度および効率を向上する。このことにより、デジタル写真の任意のセットから迅速かつ自動的にパノラマを認識し作成することが可能になる。
【００６１】
この自動画像グルーピングシステムおよび方法は、Ｗｉｎｄｏｗｓ（登録商標）シェルまたはＤｉｇｉｔａｌ Ｉｍａｇｅ Ｓｕｉｔｅライブラリで使用してフォルダビューレベルでのパノラマ発見を容易にすることができる。このシステムおよび方法はまた、画像取り込みストーリ（ｓｔｏｒｙ）の一部とすることもでき、ユーザが装置からデスクトップにユーザのデジタル画像をダウンロードする際にパノラマを自動的に検出することもできる。
【００６２】
この実施例での処理は、ディレクトリまたはフォルダの指定により開始される。このフォルダはデジタル画像と、より多くのデジタル画像を含むディレクトリツリーの両方を含む。この自動画像グルーピングシステムおよび方法は、最初のレベルユニットとして各フォルダを取得する。ある単一のフォルダ内のデジタル画像は、（ＥＸＩＦタグとして）抽出されたそれらのメタデータ値を有しており、各画像はそれらがもともと撮影された日付および時間（ＥｘｉｆＤｔＯｒｉｇ要素）によってソートされる。隣接する写真に対するペアワイズの時間比較が実施され、互いに時間的に比較的接近して撮影された画像を含む「ファイルセット」が生成される。実際のパノラマ画像の様々な存在するセットが検査され、実際に使用されるカットオフ値が決定される。この実施例では、カットオフ値は３０秒として実装されている。
【００６３】
グルーピングのために他のキューを使用することもできる。例えば、焦点距離（ＥｘｉｆＦｏｃａｌＬｅｎｇｔｈ）比較をさらに実装して、（現在は５％変化として実装されているが）隣接画像間の焦点距離が大幅に変化した場合にはさらに、時間的に接近した写真グループを破棄する。メタデータ比較によって作成された、結果として得られたファイルセットは「可能なパノラマ（ｐｏｓｓｉｂｌｅ ｐａｎｏｒａｍａｓ）」と見なされ、続いて画像ステッチングアルゴリズムに渡される。ステッチングアルゴリズムは所与のファイルセット内で発見された最長の単一パノラマを返す。所与のファイルセット内に複数のパノラマが存在することが可能であり、したがって画像ステッチングアルゴリズムがパノラマを返した場合は、発見されたパノラマ画像の前後に存在する未使用の写真に対して画像セットが再検査される。どちらかの端部に複数の画像が実際に存在する場合は、それらの画像はそれ自体の個別のファイルセット内に置かれ、さらにパノラマを発見するために画像ステッチングアルゴリズムを再実行する。図７は、例示的実施例において、自動画像グルーピングシステムおよび方法が画像ステッチングを実行中であることをユーザに通知するために使用されるユーザインターフェースを示すものである。
【００６４】
ステッチ画像アルゴリズムは真のパノラマだけでなく、同一対象の複数の画像である画像スタックも検出する。例えば、画像は露光に関してまとめられることもある。これらの結果は、ハイダイナミックレンジ画像や他のデジタル効果、例えば連続動作の「ムービークリップ」などを作成するためにも有用である。この自動画像グルーピングシステムおよび方法は、このような写真セットならびに真のパノラマを検出する。このシステムおよび方法は、結果として得られるパノラマのどのくらいが各合成する画像でカバーされるかを調べることによって両者の違いを見分けることができる。すべての画像が結果の画像の大きな部分を占める場合は、それらは共に画像スタックを作る。各画像が全体の小さな部分しか占めない場合は、結果の画像は真のパノラマになる。
【００６５】
この実施例においては、自動画像グルーピングシステムおよび方法は、パノラマを発見するためのサムネイルを作成し、それらを一覧画面に表示して、どの画像がユーザが自分のハードドライブに取り込み保存することを望む画像かを選択できるようにする。この自動画像グルーピングシステムおよび方法はまた、パノラマ発見結果をデータベース様のファイルに維持して、そのファイルをユーザが後で照会できるようにし、自動画像グルーピングシステムおよび方法を再実行する必要なしに、最終画像にアクセスし処理することができるようにする。
【００６６】
本発明に関する前述の説明は、例示および説明のために提示されたものである。前述の説明は、網羅的であることまたは本発明を開示した形そのものに限定することを意図したものではない。上記の教示に照らして、多くの修正形態および変形形態が実施可能である。本発明の範囲は、本発明に関するこの詳細な説明によって限定されるのではなく、添付の特許請求の範囲によって限定されることが意図されている。
【図面の簡単な説明】
【００６７】
【図１】本明細書で開示される自動画像グルーピングシステムおよび方法の一実装例を示す構成図である。
【図２】図１に示された自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータシステム環境の一例を示す図である。
【図３】図１に示された自動画像グルーピングシステムの各コンポーネントを示す概略構成図である。
【図４】図１および３に示された自動画像グルーピングシステムおよび方法の概略の動作を示す概略流れ図である。
【図５】図４に示された自動画像グルーピング方法をさらに詳細に示す流れ図である。
【図６】図３に示されたメタデータ解析モジュールの動作を示す詳細な流れ図である。
【図７】自動画像グルーピングシステムおよび方法が画像ステッチングを実施していることをユーザに通知するための一実施例で使用されるユーザインターフェースを示す図である。
【符号の説明】
【００６８】
１００ 自動画像グルーピングシステム
１０５ コンピュータ装置
１１０ 無秩序な画像セット
１１５ 画像処理アプリケーション
１００ 自動画像グルーピングシステム
１１０ 無秩序な画像セット
１２０ 検証された画像サブセット
３００ メタデータ解析モジュール
３１０ 可能な画像サブセット
３２０ 検証モジュール
３３０ コレクションレコグナイザ選択モジュール
３４０ メタデータリレーションモジュール
【技術分野】
【０００１】
本発明は一般にデジタル画像処理に関し、より詳細には、画像メタデータおよび空間情報を含む判断基準を用いて画像セット中の関連する画像を自動的に決定する自動デジタル画像グルーピングシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラは、消費者に人気のある画像取り込み装置である。消費者向けのデジタルカメラは非常に使い易いものなので、ユーザは一般に、時間の経過とともに大量のデジタル画像を蓄積することになる。このようなデジタル画像は、一般にハードドライブまたは取り外し可能記憶媒体に蓄積されるが、無秩序で組織化されていない大量の画像を含むフォルダに格納されることも多い。この無秩序な画像セットは、一般に扱いにくいものであり、このセットを組織化したいと望むユーザは困難な作業に直面することになる。
【０００３】
「関係がある」または関連する画像を自動的に見つけ出すソフトウェアが存在する。例えばユーザは、同一の露光量を有するため、ある被写体を追跡するため、グループショットを形成するため、パノラマを形成するためなどの理由で関連する画像を見つけたいと望む場合がある。ある種の既存のソフトウェアは、オーバラップする画像の集りを取得し、自動的にパノラマにステッチング（ｓｔｉｔｃｈ）する。さらに、同一の場面を異なる露光で取り込んだ画像の集りを取得し、ハイダイナミックレンジ画像（ｈｉｇｈ−ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｅ）を作成する現在入手可能なソフトウェアも存在する。例えば、このような技術の１つは、Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ、Ｒ．Ｓｚｅｌｉｓｋｉ、およびＡ．Ｅｄｅｎによって２００５年２月１日に出願された「Method and System for Combining Multiple Exposure Images having Scene and Camera Motion」と題する同時係属出願の米国特許出願第１１／０４９５９７号明細書、ならびにＳ．Ｂ．Ｋａｎｇ、Ｍ．Ｕｙｔｔｅｎｄａｅｌｅ、Ｓ．Ｗｉｎｄｅｒ、およびＲ．Ｓｚｅｌｉｓｋｉによって２００３年７月１８日に出願された「System and Process for Generating High Dynamic Range Images from Multiple Exposures of a Moving Scene」と題する米国特許出願第１０／６２３０３３号明細書に記載されている。さらに、類似した画像の集りを取得し単一の合成画像を生成するソフトウェアも存在する。この種の技術は、非特許文献１に記載されている。
【０００４】
理論的には、無秩序な画像セットに含まれるどの画像も上述の技術に入力することは可能である。しかし、このことに関する１つの問題は、処理が非常に遅くなり、非効率になることである。言い換えると、無秩序な画像セットの各画像をこのような画像オーバラップ検出技術の１つに投入することは、これら汎用技術を使用する非効率的な方法である。
【０００５】
無秩序な画像セットのクラスタリングを実施する他の技術も存在する。例えば、２種類のクラスタリング技術が非特許文献２および非特許文献３に記載されている。
【０００６】
しかし、Ｓｃｈａｆｆａｌｉｔｚｋｙらの技術に関する１つの問題は、それが純粋に画像ベースの技術だということである。詳細には、彼らの技術は、例えば人物、建物など画像中に取り込まれた特徴を見つけることによって画像の類似性を探すものである。十分に類似した特徴が見つかると、画像は関連していると定義される。画像のクラスタリングにおいては、画像データだけが使用される。Ｐｌａｔｔの技術は、（タイムスタンプなどの）時間的解析とカラーオーバラップに基づいて画像を分類する。しかし、Ｐｌａｔｔの技術に関する１つの問題は、それが空間的解析および画素解析をまったく実施しないことである。
【０００７】
【非特許文献１】A. Agarwala, M. Agarwala, S. Drucker, A. Colburn, B. Curless, D. Salesin, and M. Cohen, "Interactive Digital Photomontage", ACM Trans.Graph., 23 (3): 294-302, 2004
【非特許文献２】F. Schaffalitzky and A. Zisserman, "Multi-View Matching for Unordered Image Sets, or How Do I Organize My Holiday Snaps?", Proceedings of the European Conference on Computer Vision, pp. 414-431, 2002
【非特許文献３】J. Platt, "AutoAlbum: Clustering Digital Photographs using Probabilistic Model Merging", Proc. IEEE Workshop on Content-Based Access of Image and Video Libraries 2000, pp. 96-100, (2000)
【非特許文献４】M. Brown and D. G.Lowe, "Recognizing Panoramas", Proceedings of the Ninth IEEE International Conference on Computer Vision, pp. 1218-1225, IEEE Computer Society, 2003
【非特許文献５】M. Cohen, A. Colburn, and S. Drucker, "Image Stacks" in Microsoft Research Technical Report No. MSR-TR-2003-40
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、無秩序な画像セットを組織化する迅速かつ効率的な方法を提供する自動デジタル画像グルーピングシステムおよび方法が必要とされている。また、様々な判断基準を検査し解析して、無秩序な画像セット内の関連する画像についてのカスタマイズされたグルーピングおよび集りを生成するシステムおよび方法も必要とされている。
【課題を解決するための手段】
【０００９】
本明細書で開示された発明には、関連する画像および画像グループを自動的に決定するための自動デジタル画像グルーピングシステムおよび方法が含まれる。この自動画像グルーピングシステムおよび方法は、無秩序で組織化されていないデジタル画像セットを取得し、関連する画像を組織化しグルーピングする。汎用画像処理ソフトウェア（例えば、画像ステッチングアプリケーションやハイダイナミックレンジアプリケーションなど）によって処理される前に、関連する画像をグルーピングすることによって、大幅に効率が向上し処理時間が削減される。
【００１０】
自動画像グルーピングシステムおよび方法は、各画像に関連付けられたメタデータを使用して関連する画像を見つける。メタデータとは、画像ファイルをオープンすることなく迅速にアクセスすることが可能な、各画像に関連するデータである。さらに、メタデータの解析により、画像ベース技術単体よりも、より良いグルーピング機能が提供される。可能な（ｐｏｔｅｎｔｉａｌ）グループが識別された後で、画像間の関係をさらに確認し、関係の種類を分類するために詳細な画素解析が実施される。
【００１１】
この自動画像グルーピング方法は、組織化されていない無秩序な画像の集りを含む無秩序な画像セットを入力するステップと、そのセット中の各画像に関連付けられたメタデータを解析して関連する画像を決定するステップを含む。この方法はさらに、関連する画像を含む可能な（ｐｏｔｅｎｔｉａｌ）画像サブセットを生成するステップを含む。このステップは、メタデータ解析の結果に基づいて行われる。コレクションレコグナイザ（ｃｏｌｌｅｃｔｉｏｎ ｒｅｃｏｇｎｉｚｅｒ）はどのメタデータを検査すべきかを決定する判断基準であり、メタデータ解析で使用される。コレクションレコグナイザには、時間的近接性、焦点距離、地理的位置、およびサムネイル画像を使用したカラーオーバラップが含まれる。
【００１２】
次に、関連する画像の画素を検査することによって、可能な画像サブセットが解析され検証される。好ましい実施形態では、解析し検証するためにペアワイズ（ｐａｉｒｗｉｓｅ）技術が使用される。この方法はまた、可能な画像サブセットがパノラマを形成する画像を含むのか、それとも真の画像スタック（ｔｒｕｅ ｉｍａｇｅ ｓｔａｃｋ）を形成する画像を含むのかを判定するステップを含む。真の画像スタックとは、同じ場面を取り込むが、画像間で実質的にカメラ移動を伴わない画像のことである。一方、パノラマは、空間的にオーバラップしているが、その場面の異なる部分をカバーしてパノラマを提供するいくつかの画像を含む。画像処理技術は、画像がパノラマか、それとも真の画像スタックかに基づいて、検証された画像サブセットを処理するように選択される。
【００１３】
自動画像グルーピングシステムは、上述の自動画像グルーピング方法を組み込むための各モジュールを含む。詳細には、自動画像グルーピングシステムは、各画像に関連付けられたメタデータを解析するメタデータ解析モジュールと、メタデータ解析モジュール内に存在し、複数のデジタル画像のどれが関連しているかをコレクションレコグナイザに基づいて決定するメタデータリレーションモジュールと、関係する画像のグループを含む可能な画像サブセットとを含む。このシステムはまた、メタデータリレーションモジュールがどのコレクションレコグナイザを使用すべきかを決定するコレクションレコグナイザ選択モジュールを含む。さらに、このシステムは、ペアワイズ技術を使用して可能な画像サブセットを解析し検証する検証モジュールを含む。このシステムはまた、可能な画像サブセットを形成するためにどの画像グループが使用され、どの画像が使用されなかったかをユーザに示すユーザインターフェースを含む。さらに、このシステムのもう１つのユーザインターフェースは、可能な画像サブセットがパノラマを形成する画像を含むのか、それとも真の画像スタックを形成する画像を含むのかの情報をユーザに提供する。
【００１４】
本発明は、以下の説明および本発明の諸態様を示す添付の図面を参照することによってより良く理解することができる。他の特徴および利点は、本発明についての以下の詳細な説明と、本発明の原理を一例として例示する添付の図面を併せて読むことによって明らかになるであろう。
【００１５】
次に図面を参照すると、同一の参照番号は全図面を通して同一の部分を表す。
【発明を実施するための最良の形態】
【００１６】
本発明に関する以下の説明においては、添付の図面を参照する。これらの図面は本発明の一部を形成するものであり、本発明を実施することができる特定の例を例示するものである。本発明の範囲を逸脱することなく、他の実施形態を使用できることおよび構造的な変更をなし得ることを理解されたい。
【００１７】
Ｉ．序論
デジタルカメラのユーザは、一般に無秩序かつ組織化されていない形で保存された大量のデジタル画像を蓄積する。これらの画像を組織化すること、またはどの画像が関連しているかを決定することは、複雑で時間のかかる作業になり得る。ユーザは、多くの理由、例えば同一の露光量を有しているため、被写体を追跡するため、グループショットを形成するため、あるいはパノラマを形成するためなどの理由によって、どの画像が関連しているのかを決定したいと考えることがある。画像を取得し、それらを自動的にステッチングしてパノラマを形成することができるソフトウェアが存在する。あるいは、同一の場面を異なる露光で取り込んだ画像の集りを取得し、ハイダイナミックレンジ画像を作成することができるソフトウェアも存在する。しかし、無秩序で組織化されていない画像の集りを取得し、これらのソフトウェアアプリケーションの１つに入力することは、非常に時間がかかり非効率な処理になり得る。
【００１８】
本明細書で開示する自動画像グルーピングシステムおよび方法は、無秩序な画像の集りを解析し、画像サブセットを形成するためにどの画像が関連し、関係があるのかを決定する。これらの画像サブセットは、例えばパノラマ、多重露光、同一場面の繰り返しショットなどに基づくことがある。画像サブセットを定義するための判断基準は、ユーザニーズに応じて変更し、カスタマイズすることができる。
【００１９】
パノラマは、様々な写真画像を互いにステッチングすることによって作成されたビューである。パノラマを作成するために使用できる画像は、大量の写真の中に埋もれていることが多い。自動画像グルーピングシステムおよび方法は、無秩序な画像セット内の画像を検査し、自動的にパノラマを合成するパノラマ発見（ｐａｎｏｒａｍａ ｄｉｓｃｏｖｅｒｙ）を提供する。画像内部に既に組み込まれている（ＥＸＩＦタグなどの）メタデータは、画像ステッチングアルゴリズムによってさらに処理するための適当なパノラマセットを抽出するために使用される。このメタデータには、可能なパノラマグループの指標として、写真が撮影された日時や写真の焦点距離などを含めることができる。
【００２０】
自動画像グルーピングシステムおよび方法の第１のコンポーネントは無秩序な画像セットの画像を画像サブセットにアレンジするサブセット画像ステージである。次に、これらの画像サブセットは第２のコンポーネントであるオーバラップ検出ステージに入力される。このステージは、オーバラップを検出する既存の技術である。しかし、上述のように、これらの技術は非常に処理が遅いため、入力画像セット内の各画像をこの技術に単に入力することは非効率である。したがって、この新規の自動画像グルーピングシステムおよび方法は、効率を向上するために、画像セットから画像を知的に（ｉｎｔｅｌｌｉｇｅｎｔｌｙ）選択し、画像のサブセットだけをオーバラップ検出コンポーネントに入力する。
【００２１】
ＩＩ．総括
図１は、本明細書で開示される自動画像グルーピングシステムおよび方法の一実装例を示す構成図である。図１を参照すると、自動画像グルーピングシステム１００はコンピュータ装置１０５上に配置されている。一般に、自動画像グルーピングシステム１００は、無秩序な画像のセット１１０を処理して関連する画像のグループを生成する。
【００２２】
より詳細には、図１に示したように、無秩序な画像セット１１０は無秩序で多様な複数の画像を含む。例えば、無秩序な画像のセット１１０は、デジタル画像と、多くのデジタル画像を含むディレクトリツリーとを含むフォルダであってもよい。この画像セット１１０は、コンピュータ装置１０５上に存在する自動画像グルーピングシステム１００に入力される。
【００２３】
以下で詳細に説明するように、自動画像グルーピングシステム１００は、無秩序な画像セット１１０を処理して、各画像に関連するまたは組み込まれた、メタデータまたは情報を解析して適当なグループを抽出する。これらのグループは無秩序な画像セット１１０の関連づけられたサブセットであり、関連するキュー（ｃｕｅ）またはコレクションレコグナイザを有している。図１に示したように、画像サブセットには、画像サブセット（１）、画像サブセット（２）、から画像サブセット（Ｎ）までが含まれており、Ｎ個の画像サブセットが存在する。これらの画像サブセットは各々、関連する画像のグループを表す。
【００２４】
無秩序な画像セット１１０が処理され画像サブセットが抽出された後で、画像サブセットを画像処理アプリケーション１１５によって処理することができる。例えば、画像処理アプリケーション１１５は、空間的にオーバラップする画像を含む画像サブセットを取得し、自動的にパノラマにステッチングすることができる。あるいは、画像処理アプリケーション１１５は、同一の場面を異なる露光で取り込んだ画像からなる画像サブセットを入力し、ハイダイナミックレンジ画像を生成することもできる。あるいは、画像処理アプリケーション１１５は、様々な他の種類の画像処理技術を使用することもできる。
【００２５】
自動画像グルーピングシステム１００の利点の１つは、このシステムが、画像処理アプリケーション１１５の処理をより迅速でより効率的なものにするように、画像処理アプリケーション１１５への入力を削減し絞り込むことである。例えば、無秩序な画像セット１１０の全体を入力する代わりに、自動画像グルーピングシステム１００によって処理した後のより小さな、より絞り込まれた画像サブセットを入力し、それによって処理時間が削減され、効率が高められる。
【００２６】
ＩＩＩ．例示的動作環境
本明細書で開示する自動画像グルーピングシステムおよび方法は、コンピュータ環境およびコンピュータ装置、例えば図１に示されたコンピュータ装置１０５などの上で動作するように設計される。次に、本明細書で開示する自動画像グルーピングシステムおよび方法が動作するコンピュータ環境について論じる。以下の議論は、この自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータ環境についての簡潔で一般的な説明を提供することを意図したものである。
【００２７】
図２は、図１に示された自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータシステム環境の一例を示したものである。コンピュータシステム環境２００は適切なコンピュータ環境の一例に過ぎず、本発明の用途または機能の範囲に関するいかなる制限を示唆することを意図したものではない。また、コンピュータ環境２００は、例示的動作環境２００に示されたコンポーネントのいずれか１つまたはそれらの組合せに関して、何らかの依存性または要件を有するものと解釈すべきものでもない。
【００２８】
自動画像グルーピングシステムおよび方法は、他の多くの汎用または専用のコンピュータシステム環境またはコンピュータシステム構成で動作可能である。この自動画像グルーピングシステムおよび方法とともに使用するのに適した周知のコンピュータシステム、環境、および／または構成の例には、これらに限られるものではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド、ラップトップもしくはモバイルコンピュータ、または携帯電話、ＰＤＡなどの通信装置、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記システムまたは装置のいずれかを含む分散コンピュータ環境などが含まれる。
【００２９】
自動画像グルーピングシステムおよび方法は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能な命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造体などを含む。この自動画像グルーピングシステムおよび方法はまた、分散コンピュータ環境においても実行することができ、その場合、各タスクは通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散コンピュータ環境では、各プログラムモジュールは、ローカルおよびリモートの、メモリ記憶装置などのコンピュータ記憶媒体に配置することができる。図２を参照すると、自動画像グルーピングシステムおよび方法を実装するための例示的システムは、コンピュータ２１０の形で汎用コンピュータ装置を含む。コンピュータ２１０は、図１に示されたコンピュータ装置１０５の一例である。
【００３０】
コンピュータ２１０のコンポーネントは、これらに限られるものではないが、処理装置２２０、システムメモリ２３０、および、システムメモリなど様々なシステムコンポーネントを処理装置２２０に結合するシステムバス２２１を含むことができる。システムバス２２１は、メモリバスもしくはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスなど、いくつかの種類のバス構造のうちの任意のものを使用することができる。限定の意味ではなく例として、このようなアーキテクチャには、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、メザニンバスとも呼ばれるＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどが含まれる。
【００３１】
コンピュータ２１０は通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ２１０によってアクセス可能な任意の使用可能媒体であってよく、揮発性および不揮発性媒体、取り外し可能および取り外し不能媒体の両方を含む。限定の意味ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータなどの情報を記憶するための任意の方法または技術で実装された、揮発性および不揮発性、取り外し可能および取り外し不能の媒体を含む。
【００３２】
コンピュータ記憶媒体には、これらに限られるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ）、または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置、あるいは所望の情報を格納するために使用でき、かつコンピュータ２１０によってアクセス可能な他の任意の媒体が含まれる。通信媒体は通常に、コンピュータ可読命令、データ構造、プログラムモジュール、その他のデータを、搬送波や他の伝送機構などの変調されたデータ信号中に具現化するものであり、任意の情報伝達媒体を含む。
【００３３】
「変調されたデータ信号」という用語は、信号中に情報を符号化するような方式で、１つまたは複数の特性が設定または変更された信号を意味することに留意されたい。限定の意味ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体を含む。上記の任意の組合せもまたコンピュータ可読媒体の範囲に含まれるものとする。
【００３４】
システムメモリ２３０は、ＲＯＭ（読出し専用メモリ）２３１やＲＡＭ（ランダムアクセスメモリ）２３２など揮発性および／または不揮発性メモリの形のコンピュータ記憶媒体を含む。基本入出力システム（ＢＩＯＳ）２３３は、例えば起動中に、コンピュータ２１０内の各要素間の情報転送を支援する基本ルーチンを含み、通常はＲＯＭ２３１に格納されている。ＲＡＭ２３２は通常、処理装置２２０によって即時にアクセス可能かつ／または現在操作中である、データおよび／またはプログラムモジュールを含む。限定の意味ではなく例として、図２にはオペレーティングシステム２３４、アプリケーションプログラム２３５、他のプログラムモジュール２３６、およびプログラムデータ２３７が示されている。
【００３５】
コンピュータ２１０はまた、他の取り外し可能／取り外し不能、揮発性／不揮発性のコンピュータ記憶媒体を含むこともできる。単に例示として、図２には取り外し不能な不揮発性磁気媒体に読み書きするハードディスクドライブ２４１、取り外し可能な不揮発性磁気ディスク２５２に読み書きする磁気ディスクドライブ２５１、およびＣＤ−ＲＯＭや他の光媒体など取り外し可能な不揮発性光ディスク２５６に読み書きする光ディスクドライブ２５５が示されている。
【００３６】
例示の動作環境で使用できる他の取り外し可能／取り外し不能、揮発性／不揮発性のコンピュータ記憶媒体には、これらに限られるものではないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ、デジタルビデオテープ、半導体ＲＡＭ、半導体ＲＯＭなどが含まれる。ハードディスクドライブ２４１は通常、インターフェース２４０などの取り外し不能メモリインターフェースを介してシステムバス２２１に接続され、磁気ディスクドライブ２５１および光ディスクドライブ２５５は通常、インターフェース２５０などの取り外し可能メモリインターフェースによってシステムバス２２１に接続される。
【００３７】
上で論じ図２に示した各ドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ２１０のためのコンピュータ可読命令、データ構造、プログラムモジュール、その他のデータの記憶を提供する。例えば図２では、ハードディスクドライブ２４１は、オペレーティングシステム２４４、アプリケーションプログラム２４５、他のプログラムモジュール２４６、およびプログラムデータ２４７を格納するように図示されている。これらのコンポーネントは、オペレーティングシステム２３４、アプリケーションプログラム２３５、他のプログラムモジュール２３６、およびプログラムデータ２３７と同一であっても、異なっていてもよいことに留意されたい。オペレーティングシステム２４４、アプリケーションプログラム２４５、他のプログラムモジュール２４６、およびプログラムデータ２４７は、少なくともそれらが異なるコピーであることを示すために、この図では異なる番号が付与されている。ユーザは、キーボード２６２、および一般にマウス、トラックボール、またはタッチパッドと呼ばれるポインティング装置２６１などの入力装置を介してコンピュータ２１０にコマンドまたは情報を入力することができる。
【００３８】
他の入力装置（図示せず）として、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、無線受信機、またはＴＶもしくは放送ビデオ受信機などを含むことができる。これらおよび他の入力装置は、システムバス２２１に結合されたユーザ入力インターフェース２６０を介して処理装置２２０に接続されることが多いが、例えばパラレルポート、ゲームポート、またはＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）など、他のインターフェースやバス構造によって接続することもできる。モニタ２９１または他の種類の表示装置もまた、ビデオインターフェース２９０などのインターフェースを介してシステムバス２２１に接続される。モニタ２９１に加え、コンピュータは、スピーカ２９７やプリンタ２９６など、他の周辺出力装置を含むこともできるが、これらの装置は出力周辺装置インターフェース２９５を介して接続することができる。
【００３９】
コンピュータ２１０は、リモートコンピュータ２８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作させることができる。リモートコンピュータ２８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の共通ネットワークノードなどであってもよい。また、図２にはメモリ記憶装置２８１だけが示されているが、リモートコンピュータ２８０は通常、コンピュータ２１０に関連して上で説明した諸要素の多くまたはすべてを含む。図２に示された論理接続は、ローカルエリアネットワーク（ＬＡＮ）２７１およびワイドエリアネットワーク（ＷＡＮ）２７３を含むが、他のネットワークを含むこともできる。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、インターネットなどにおいて一般的なものである。
【００４０】
ＬＡＮネットワーク環境で使用されるときには、コンピュータ２１０はネットワークインターフェースまたはアダプタ２７０を介してＬＡＮ２７１に接続される。ＷＡＮネットワーク環境で使用される場合は、コンピュータ２１０は通常、インターネットなどのＷＡＮ２７３を介して通信を確立するためのモデム２７２または他の手段を含む。モデム２７２は内蔵でも外付けでもよいが、ユーザ入力インターフェース２６０または他の適切な機構を介してシステムバス２２１に接続することができる。ネットワーク環境では、コンピュータ２１０に関連して示されたプログラムモジュールまたはその一部をリモートのメモリ記憶装置に格納することができる。限定の意味ではなく例として、図２では、リモートのアプリケーションプログラム２８５はメモリ装置２８１上に存在するように図示されている。図示のネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用できることが理解されよう。
【００４１】
ＩＶ．システムコンポーネント
図３は、図１に示された自動画像グルーピングシステム１００の各コンポーネントを示す概略構成図である。自動画像グルーピングシステム１００は無秩序な画像セット１１０を入力し、そのセット１１０の各画像を処理し、検証された画像サブセット１２０を出力する。検証された画像サブセット１２０には、無秩序な画像セット１１０からの関連づけられた画像のグループが含まれる。以下で詳細に説明するように、これらの関係は特定の判断基準またはコレクションレコグナイザに基づくものである。
【００４２】
自動画像グルーピングシステム１００は、無秩序な画像セット１１０に関する処理を行ういくつかのモジュールを含む。詳細には、自動画像グルーピングシステム１００は、無秩序な画像セット１１０内の各画像に対応するメタデータを解析するメタデータ解析モジュール３００、メタデータ解析によって生成された可能な画像サブセット３１０、および可能な画像サブセットのグルーピングを検証し検証された画像サブセット１２０を出力する検証モジュール３２０を含む。
【００４３】
メタデータ解析モジュール３００は、コレクションレコグナイザ選択モジュール３３０、およびメタデータリレーションモジュール３４０を含む。コレクションレコグナイザ選択モジュール３３０は、メタデータ解析で使用されるキューまたはコレクションレコグナイザを決定する。これらのコレクションレコグナイザは、無秩序な画像セット１１０をグルーピングするために使用される判断基準である。メタデータリレーションモジュール３４０はコレクションレコグナイザを入力し、それらを使用して各画像を解析する。この解析に基づいて、メタデータリレーションモジュール３４０は関連する画像のグループを見つけ出す。
【００４４】
メタデータ解析モジュール３００の出力は、可能な画像サブセット３１０である。これらは検証モジュール３２０への入力であり、検証モジュール３２０は全画素解析を実行して画像間のオーバラップの種類および量を決定する。検証モジュール３２０からの出力は検証された画像サブセット１２０である。
【００４５】
Ｖ．動作概要
次に、図１および図３に示された自動画像グルーピングシステム１００およびそのシステムで使用される方法の動作について論じる。図４は、図１および図３に示された自動画像グルーピングシステム１００および方法の概略の動作を示す概略流れ図である。この方法は、無秩序な画像セットを入力することによって始まる（ボックス４００）。無秩序な画像セットは、組織化されておらず特定の順序またはグルーピングを有していない複数の画像を含む。次に、この方法は、無秩序な画像セット内の各画像に関連付けられたメタデータを検査する（ボックス４１０）。通常このメタデータは各画像に組み込まれており、画像ファイルをオープンすることなしに読み出すことができる。
【００４６】
次に、この方法は、関連する画像のグループを作成し、可能な画像サブセットを出力する（ボックス４２０）。これらの可能な画像サブセットは、無秩序な画像セット内の画像の少なくとも一部を含む。可能な画像サブセットは、類似したメタデータを有するグループの画像に基づいて作成される。次に、可能な画像サブセットが解析され検証されて、さらに各グループに分類される（ボックス４３０）。最後に、関連する画像を含む検証された画像サブセットが出力される（ボックス４４０）。
【００４７】
ＶＩ．動作詳細
次に、図１、３、および４の自動画像グルーピングシステム１００および方法の動作詳細について論じる。図５は、図４に示された自動画像グルーピング方法をさらに詳細に示す流れ図である。具体的には、１つまたは複数のキューまたはコレクションレコグナイザが、画像グループまたはサブセットを決定する際に使用するために選択される（ボックス５００）。コレクションレコグナイザは、画像が関連しているかどうかを判定するために使用される判断基準である。
【００４８】
１つの可能なコレクションレコグナイザには、各画像が時間的に比較的接近して撮影されたことを意味する時間的近接性が含まれる。このレコグナイザは、大幅に異なる時間、例えば数時間または数日離れて撮影された同一場面の画像を無視する。他の可能なコレクションレコグナイザには、焦点距離が含まれる。したがって、類似した焦点距離を有する画像は関連していると見なされる。人物の広角ショットが撮影され、次いで顔をクローズアップするためにズームインされる場合もあり得るが、これはどちらかと言えばあまり一般的なケースではない。最も典型的なケースは、カメラの焦点距離（またはズーム）が変更されないケースである。他の可能なコレクションレコグナイザは、地理的位置である。したがって、類似の地理的位置で撮影された画像は関連していると見なされる。ある種のカメラは、地理的位置メタデータを備える。この地理的位置メタデータは撮影者が地球上のどの位置に居るのかを教えるＧＰＳと、どの方角に向けて写真が撮影されたかを指示する磁針方位角とを使用して位置を指示する。サムネイル画像は他の可能なキュー（ｐｏｔｅｎｔｉａｌ ｃｕｅ）である。サムネイル画像を使用して色に基づく類似性を検査することができる。サムネイル画像は画像ファイルに内蔵することもできるし、（例えば、本件特許出願人のＷｉｎｄｏｗｓ（登録商標）の）外部アプリケーションによって計算することもできる。
【００４９】
これらのコレクションレコグナイザは、画像サブセットを生成するために使用することができる。コレクションレコグナイザとは、選択的に使用できる判断基準のセットである。これらの判断基準は組み合わせること、適合させることが可能であり、それらを使用して様々なカスタマイズされたコレクションレコグナイザを作成し、関連する画像からなる様々なサブセットを生成することができる。コレクションレコグナイザは関連する画像の集りの存在を認識する。どのコレクションレコグナイザ（またはキュー）が使用されるかに応じて、関連する画像の集りは異なるものになり、それらをカスタマイズすることができる。
【００５０】
次に無秩序な画像セット内の各画像に関連付けられたメタデータがコレクションレコグナイザを使用して解析される（ボックス５１０）。画像はユーザによって指定されたディレクトリによって入力することができる。あるいは、無秩序な画像セットをダウンロードすることもできる。画像をオープンして画素を読み出す前に、自動画像グルーピング方法は各画像のメタデータを検査する。一般に、現在のデジタルカメラは、交換可能な画像ファイル（ＥＸＩＦ）として各画像とともに画像処理値を格納する。ＥＸＩＦは、時間情報、シャッタ速度、絞りサイズ、ＩＳＯなど、画像に関する情報またはメタデータを符号化するために最も広く使用されている標準規格である。これらの情報を含むＥＸＩＦタグが各画像に添付される。ある画像に関連するＥＸＩＦに含まれるメタデータは、その画像を実際にオープンすることなく読み出すことができる。
【００５１】
次に、可能な画像サブセットが作成される（ボックス５２０）。これらの可能な画像サブセットは、類似したコレクションレコグナイザを有する画像のグループを含む。この方法の次の部分はオーバラップ検出ステージである。可能な画像サブセットが生成された後で、ペアワイズ技術を使用して可能な画像サブセットを解析し検証する（ボックス５３０）。ペアワイズ技術は画像間のオーバラップ関係をロバストな方法で探す。例えば、（人物が動き回るなど）画像間の任意の動きは、ペアワイズ技術を使用することによって補正される。
【００５２】
可能な画像サブセットを解析し検証するために、いくつかの異なる種類のペアワイズ技術を使用することができる。例えば、使用可能な１つの技術がＭ．ＢｒｏｗｎおよびＤ．Ｇ．Ｌｏｗｅの論文（非特許文献４）に記載されている。ＢｒｏｗｎおよびＬｏｗｅは、可能な画像サブセット中の各画像が実際にオーバラップしているかどうかを検証するために使用することができる技術に関して記載している。この技術は画像を検査し、特徴に基づくペアワイズの比較を実施して、どのくらい画像がオーバラップしているかを判断する。このペアワイズのオーバラップからパノラマが生成される。
【００５３】
ＢｒｏｗｎおよびＬｏｗｅの技術の代替手段には、Ｒ．ＳｚｅｌｉｓｋｉおよびＭ．Ｂｒｏｗｎによる技術がある。この技術は、ＭＯＰＳ（Ｍｕｌｔｉ−Ｓｃａｌｅ Ｏｒｉｅｎｔｅｄ Ｐａｔｃｈｅｓ）技術とも呼ばれている。他の代替手段が、Ｆ．ＳｃｈａｆｆａｌｉｔｚｋｙおよびＡ．Ｚｉｓｓｅｒｍａｎによる上記の非特許文献２に記載されている。ＳｃｈａｆｆａｌｉｔｚｋｙおよびＺｉｓｓｅｒｍａｎの技術は、特徴を使用して画像間のオーバラップを判断する。ＳｃｈａｆｆａｌｉｔｚｋｙおよびＺｉｓｓｅｒｍａｎの技術を使用すると、オーバラップしているが全く同じ位置から撮影されたものではない（すなわち、異なる視点から撮影された）画像の集りを見つけることができる。
【００５４】
可能な画像サブセットはまた、「画像スタック」として知られている。この用語は、Ｍ．Ｃｏｈｅｎ、Ａ．Ｃｏｌｂｕｒｎ、およびＳ．Ｄｒｕｃｋｅｒによる非特許文献５で使用されている。画像スタックとは、画像をひとまとめにした場合にそれらが何らかの意味を持つように関連づけられた（または空間的にオーバラップする）画像の集りである。検証プロセスは１つの可能な画像サブセット（または画像スタック）をいくつかのスタックに分割することができる。あるいは、検証プロセスは画像スタックの全体を拒絶することもできる。検証プロセスは実際に画像ファイルをオープンし、画素の外観（ａｐｐｅａｒａｎｃｅ）を詳細に解析して真のオーバラップが存在するかどうかを判定する。オーバラップが存在する場合にはその種類を判別する。
【００５５】
次に、可能な画像サブセットがパノラマか、それとも「真の」画像スタックかについての判定が行われる（ボックス５４０）。「真の画像スタック」という用語は、カメラの動きがほとんどない場合の画像スタックを定義するために使用される。このことは画像スタックが多重露光を使用して取り込まれたか、または繰り返しのグループショットであったことを意味する。一方、パノラマは大きな動きが存在するときに生ずる。なぜならば、撮影者がより大きな空間領域を取り込もうとするからである。
【００５６】
ペアワイズ技術は１つまたは複数の検証された画像サブセットを出力する（ボックス５５０）。好ましい実施形態では、この方法は検証された画像サブセットのうちの最大のものを出力するとともに、どの可能な画像サブセットが使用されなかったかをユーザに通知する。代替実施形態では、様々なコレクションレコグナイザ（例えば、時間的近接性や焦点距離）によって提案された初期グループを分離することができ、次いでどのグループが使用されなかったかをユーザに通知することができる。
【００５７】
自動画像グルーピング方法はパノラマと真のスタックを区別する。なぜならば、ユーザは一般にそれらを別々に処理しようとするからである。したがって、自動画像グルーピング方法は、検証された画像サブセットがパノラマであるのか、それとも真の画像スタックであるのかに基づいて、それらに対する画像処理技術を選択するステップを含む（ボックス５６０）。検証された画像サブセットがパノラマである場合は、いくつかの使用可能な画像ステッチング技術の任意の１つを使用して画像をステッチングし、パノラマを生成することができる。検証された画像サブセットが真のスタックである場合は、スタックの種類に応じて、最適画像選択技術または画像マージ技術を使用してそのサブセットを処理することができる。検証された画像サブセットが多重露光スタックである場合は、上述の同時係属特許出願である米国特許出願第１０／６２３０３３号明細書に記載されたハイダイナミックレンジ技術を使用して処理することができる。検証された画像サブセットが類似した露光を有している場合は、上述のＡｇａｒｗａｌａらによる非特許文献１に記載された技術を使用してそれを処理することができる。
【００５８】
図６は、図３に示されたメタデータ解析モジュール３００の動作を示す詳細な流れ図である。詳細には、無秩序な画像のセット１１０がメタデータ解析モジュール３００に入力される。通常、モジュール３００が画像ファイルをオープンすることはなく、その代わりにその画像ファイルに関連付けられたメタデータを検査する。ただし、最初に、検査すべきメタデータを表すコレクションレコグナイザを選択する（ボックス６００）。このメタデータは自動画像グルーピング方法によって自動的に選択することもできるし、ユーザによって選択することもできる。次に、選択されたコレクションレコグナイザに対応するメタデータが、無秩序な画像セット内の各画像に対して検査される（ボックス６１０）。各画像は、それらが類似したコレクションレコグナイザを有しているかどうかに基づいてソートされる（ボックス６２０）。次に、これらの画像グループを含む画像サブセットが生成される。この可能な画像サブセット１４０が出力され、先に概説したようにさらに処理される。
【００５９】
本明細書で開示した自動画像グルーピングシステム１００および方法をより完全に理解するために、例示的実施例の動作詳細を提示する。この実施例が、自動画像グルーピングシステムおよび方法を実装することができる単なる一方法に過ぎないことに留意されたい。
【００６０】
この実施例における目標は、フォルダまたはフォルダツリーを指定し、自動画像グルーピングシステムおよび方法にすべての画像を検査させ、関連する写真を自動的にパノラマに合成することができるようにすることである。すべてのデジタル写真を画像ステッチングアルゴリズムに一度に投入することは、遅く非効率な解決策になるはずである。この自動画像グルーピングシステムおよび方法は、画像の内部に既に組み込まれているメタデータを検査して適当なパノラマセットを抽出し、それをより高価な画像ステッチングアルゴリズムによってさらに処理することによって速度および効率を向上する。このことにより、デジタル写真の任意のセットから迅速かつ自動的にパノラマを認識し作成することが可能になる。
【００６１】
この自動画像グルーピングシステムおよび方法は、Ｗｉｎｄｏｗｓ（登録商標）シェルまたはＤｉｇｉｔａｌ Ｉｍａｇｅ Ｓｕｉｔｅライブラリで使用してフォルダビューレベルでのパノラマ発見を容易にすることができる。このシステムおよび方法はまた、画像取り込みストーリ（ｓｔｏｒｙ）の一部とすることもでき、ユーザが装置からデスクトップにユーザのデジタル画像をダウンロードする際にパノラマを自動的に検出することもできる。
【００６２】
この実施例での処理は、ディレクトリまたはフォルダの指定により開始される。このフォルダはデジタル画像と、より多くのデジタル画像を含むディレクトリツリーの両方を含む。この自動画像グルーピングシステムおよび方法は、最初のレベルユニットとして各フォルダを取得する。ある単一のフォルダ内のデジタル画像は、（ＥＸＩＦタグとして）抽出されたそれらのメタデータ値を有しており、各画像はそれらがもともと撮影された日付および時間（ＥｘｉｆＤｔＯｒｉｇ要素）によってソートされる。隣接する写真に対するペアワイズの時間比較が実施され、互いに時間的に比較的接近して撮影された画像を含む「ファイルセット」が生成される。実際のパノラマ画像の様々な存在するセットが検査され、実際に使用されるカットオフ値が決定される。この実施例では、カットオフ値は３０秒として実装されている。
【００６３】
グルーピングのために他のキューを使用することもできる。例えば、焦点距離（ＥｘｉｆＦｏｃａｌＬｅｎｇｔｈ）比較をさらに実装して、（現在は５％変化として実装されているが）隣接画像間の焦点距離が大幅に変化した場合にはさらに、時間的に接近した写真グループを破棄する。メタデータ比較によって作成された、結果として得られたファイルセットは「可能なパノラマ（ｐｏｓｓｉｂｌｅ ｐａｎｏｒａｍａｓ）」と見なされ、続いて画像ステッチングアルゴリズムに渡される。ステッチングアルゴリズムは所与のファイルセット内で発見された最長の単一パノラマを返す。所与のファイルセット内に複数のパノラマが存在することが可能であり、したがって画像ステッチングアルゴリズムがパノラマを返した場合は、発見されたパノラマ画像の前後に存在する未使用の写真に対して画像セットが再検査される。どちらかの端部に複数の画像が実際に存在する場合は、それらの画像はそれ自体の個別のファイルセット内に置かれ、さらにパノラマを発見するために画像ステッチングアルゴリズムを再実行する。図７は、例示的実施例において、自動画像グルーピングシステムおよび方法が画像ステッチングを実行中であることをユーザに通知するために使用されるユーザインターフェースを示すものである。
【００６４】
ステッチ画像アルゴリズムは真のパノラマだけでなく、同一対象の複数の画像である画像スタックも検出する。例えば、画像は露光に関してまとめられることもある。これらの結果は、ハイダイナミックレンジ画像や他のデジタル効果、例えば連続動作の「ムービークリップ」などを作成するためにも有用である。この自動画像グルーピングシステムおよび方法は、このような写真セットならびに真のパノラマを検出する。このシステムおよび方法は、結果として得られるパノラマのどのくらいが各合成する画像でカバーされるかを調べることによって両者の違いを見分けることができる。すべての画像が結果の画像の大きな部分を占める場合は、それらは共に画像スタックを作る。各画像が全体の小さな部分しか占めない場合は、結果の画像は真のパノラマになる。
【００６５】
この実施例においては、自動画像グルーピングシステムおよび方法は、パノラマを発見するためのサムネイルを作成し、それらを一覧画面に表示して、どの画像がユーザが自分のハードドライブに取り込み保存することを望む画像かを選択できるようにする。この自動画像グルーピングシステムおよび方法はまた、パノラマ発見結果をデータベース様のファイルに維持して、そのファイルをユーザが後で照会できるようにし、自動画像グルーピングシステムおよび方法を再実行する必要なしに、最終画像にアクセスし処理することができるようにする。
【００６６】
本発明に関する前述の説明は、例示および説明のために提示されたものである。前述の説明は、網羅的であることまたは本発明を開示した形そのものに限定することを意図したものではない。上記の教示に照らして、多くの修正形態および変形形態が実施可能である。本発明の範囲は、本発明に関するこの詳細な説明によって限定されるのではなく、添付の特許請求の範囲によって限定されることが意図されている。
【図面の簡単な説明】
【００６７】
【図１】本明細書で開示される自動画像グルーピングシステムおよび方法の一実装例を示す構成図である。
【図２】図１に示された自動画像グルーピングシステムおよび方法を実装することができる適切なコンピュータシステム環境の一例を示す図である。
【図３】図１に示された自動画像グルーピングシステムの各コンポーネントを示す概略構成図である。
【図４】図１および３に示された自動画像グルーピングシステムおよび方法の概略の動作を示す概略流れ図である。
【図５】図４に示された自動画像グルーピング方法をさらに詳細に示す流れ図である。
【図６】図３に示されたメタデータ解析モジュールの動作を示す詳細な流れ図である。
【図７】自動画像グルーピングシステムおよび方法が画像ステッチングを実施していることをユーザに通知するための一実施例で使用されるユーザインターフェースを示す図である。
【符号の説明】
【００６８】
１００ 自動画像グルーピングシステム
１０５ コンピュータ装置
１１０ 無秩序な画像セット
１１５ 画像処理アプリケーション
１００ 自動画像グルーピングシステム
１１０ 無秩序な画像セット
１２０ 検証された画像サブセット
３００ メタデータ解析モジュール
３１０ 可能な画像サブセット
３２０ 検証モジュール
３３０ コレクションレコグナイザ選択モジュール
３４０ メタデータリレーションモジュール
【特許請求の範囲】
【請求項１】
関連する画像を自動的にグルーピングする方法であって、
無秩序で組織化されていない画像の集りを含む無秩序な画像セットを入力するステップと、
前記無秩序な画像セット内の各画像に関連付けられたメタデータを解析して前記関連する画像を決定するステップと、
前記メタデータ解析の結果に基づいて、前記関連する画像を含む可能な画像サブセットを生成するステップと
を備えることを特徴とする方法。
【請求項２】
前記可能な画像サブセットに含まれる諸画像の画素を検査することによって前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項３】
ペアワイズ技術を使用して前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記可能な画像サブセットがパノラマか、それとも真の画像スタックかを判定するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項５】
前記可能な画像サブセットを処理するための画像処理技術を、前記可能な画像サブセットがパノラマか、それとも真の画像スタックかに基づいて選択するステップをさらに備えることを特徴とする請求項４に記載の方法。
【請求項６】
前記可能な画像サブセットを生成するための判断基準として、少なくとも１つのコレクションレコグナイザを選択するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項７】
前記コレクションレコグナイザは、（ａ）類似の時間的近接性、（ｂ）類似の焦点距離、（ｃ）類似の地理的位置、（ｄ）サムネイル画像、の少なくとも１つであることを特徴とする請求項６に記載の方法。
【請求項８】
各画像に関連付けられたメタデータを解析するステップは、各画像に関連付けられた交換可能な画像ファイル（ＥＸＩＦ）中の前記メタデータを、前記画像をオープンすることなく取得するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項９】
請求項１に記載された前記方法を実施するためのコンピュータ実行可能な命令を有することを特徴とするコンピュータ可読媒体。
【請求項１０】
無秩序な画像セット内の各画像に関連付けられたメタデータを自動的に検査して、どの画像が関連しているのかを決定するコンピュータ実装されたプロセスであって、
どのメタデータを検査すべきかの判断基準であるコレクションレコグナイザを選択する選択ステップであって、前記コレクションレコグナイザが時間的近接性および焦点距離を含む選択ステップと、
前記コレクションレコグナイザに基づいて前記無秩序な画像セット内の各画像の前記メタデータを解析するメタデータ解析ステップと、
類似したコレクションレコグナイザに基づいて各画像をグルーピングして、関連する画像のグループを含む可能な画像サブセットを生成する画像グルーピングステップと、
画像処理技術を使用して前記可能な画像サブセットを処理する画像処理ステップと
を備えることを特徴とするコンピュータ実装されたプロセス。
【請求項１１】
前記コレクションレコグナイザは、（ａ）サムネイル画像を用いたカラーオーバラップと、（ｂ）画像が取り込まれた地球上の位置および前記画像が向く方角を含む地理的位置との内の少なくとも一方を含むことを特徴とする請求項１０に記載のコンピュータ実装されたプロセス。
【請求項１２】
各画像の前記メタデータを、前記画像をオープンしてその画素を検査することなしに解析するステップをさらに備えることを特徴とする請求項１０に記載のコンピュータ実装されたプロセス。
【請求項１３】
前記可能な画像サブセットの各画像をオープンし、各画像内の画素の画素解析を実施するペアワイズ技術を使用して前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項１２に記載のコンピュータ実装されたプロセス。
【請求項１４】
前記可能な画像サブセットの前記画像がパノラマか、それとも真の画像スタックかを判定するステップをさらに備えることを特徴とする請求項１３に記載のコンピュータ実装されたプロセス。
【請求項１５】
前記可能な画像サブセットの前記画像がパノラマか、それとも真の画像スタックかに基づいて、前記可能な画像サブセットを処理するための前記画像処理技術を選択するステップをさらに備えることを特徴とする請求項１４に記載のコンピュータ実装されたプロセス。
【請求項１６】
関連する画像のグループを発見する自動画像グルーピングシステムであって、
複数の組織化されていないデジタル画像を含む無秩序な画像セットと、
前記複数の各デジタル画像に関連付けられたメタデータを解析するメタデータ解析モジュールと、
前記複数のデジタル画像のどれが関連しているのかをコレクションレコグナイザに基づいて決定する、前記メタデータ解析モジュール上に配置されたメタデータリレーションモジュールであって、前記コレクションレコグナイザはどのメタデータを解析すべきかを指示する判断基準となっているメタデータリレーションモジュールと、
前記関連する画像のグループを含む可能な画像サブセットと
を備えることを特徴とする自動画像グルーピングシステム。
【請求項１７】
前記メタデータリレーションモジュールがどのコレクションレコグナイザを使用すべきかを決定するコレクションレコグナイザ選択モジュールをさらに備えることを特徴とする請求項１６に記載の自動画像グルーピングシステム。
【請求項１８】
ペアワイズ技術を使用して前記可能な画像サブセットを解析し検証する検証モジュールをさらに備えることを特徴とする請求項１７に記載の自動画像グルーピングシステム。
【請求項１９】
前記可能な画像サブセットを形成するためにどの画像グループが使用され、どの画像が使用されなかったかを前記システムのユーザに提示するための、表示装置上に表示されるユーザインターフェースをさらに備えることを特徴とする請求項１８に記載の自動画像グルーピングシステム。
【請求項２０】
前記可能な画像サブセットがパノラマもしくは真の画像スタックを形成する画像を含むかどうかを前記ユーザに通知するための、前記表示装置上に表示されるユーザインターフェースをさらに備えることを特徴とする請求項１９に記載の自動画像グルーピングシステム。
【請求項１】
関連する画像を自動的にグルーピングする方法であって、
無秩序で組織化されていない画像の集りを含む無秩序な画像セットを入力するステップと、
前記無秩序な画像セット内の各画像に関連付けられたメタデータを解析して前記関連する画像を決定するステップと、
前記メタデータ解析の結果に基づいて、前記関連する画像を含む可能な画像サブセットを生成するステップと
を備えることを特徴とする方法。
【請求項２】
前記可能な画像サブセットに含まれる諸画像の画素を検査することによって前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項３】
ペアワイズ技術を使用して前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項４】
前記可能な画像サブセットがパノラマか、それとも真の画像スタックかを判定するステップをさらに備えることを特徴とする請求項２に記載の方法。
【請求項５】
前記可能な画像サブセットを処理するための画像処理技術を、前記可能な画像サブセットがパノラマか、それとも真の画像スタックかに基づいて選択するステップをさらに備えることを特徴とする請求項４に記載の方法。
【請求項６】
前記可能な画像サブセットを生成するための判断基準として、少なくとも１つのコレクションレコグナイザを選択するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項７】
前記コレクションレコグナイザは、（ａ）類似の時間的近接性、（ｂ）類似の焦点距離、（ｃ）類似の地理的位置、（ｄ）サムネイル画像、の少なくとも１つであることを特徴とする請求項６に記載の方法。
【請求項８】
各画像に関連付けられたメタデータを解析するステップは、各画像に関連付けられた交換可能な画像ファイル（ＥＸＩＦ）中の前記メタデータを、前記画像をオープンすることなく取得するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項９】
請求項１に記載された前記方法を実施するためのコンピュータ実行可能な命令を有することを特徴とするコンピュータ可読媒体。
【請求項１０】
無秩序な画像セット内の各画像に関連付けられたメタデータを自動的に検査して、どの画像が関連しているのかを決定するコンピュータ実装されたプロセスであって、
どのメタデータを検査すべきかの判断基準であるコレクションレコグナイザを選択する選択ステップであって、前記コレクションレコグナイザが時間的近接性および焦点距離を含む選択ステップと、
前記コレクションレコグナイザに基づいて前記無秩序な画像セット内の各画像の前記メタデータを解析するメタデータ解析ステップと、
類似したコレクションレコグナイザに基づいて各画像をグルーピングして、関連する画像のグループを含む可能な画像サブセットを生成する画像グルーピングステップと、
画像処理技術を使用して前記可能な画像サブセットを処理する画像処理ステップと
を備えることを特徴とするコンピュータ実装されたプロセス。
【請求項１１】
前記コレクションレコグナイザは、（ａ）サムネイル画像を用いたカラーオーバラップと、（ｂ）画像が取り込まれた地球上の位置および前記画像が向く方角を含む地理的位置との内の少なくとも一方を含むことを特徴とする請求項１０に記載のコンピュータ実装されたプロセス。
【請求項１２】
各画像の前記メタデータを、前記画像をオープンしてその画素を検査することなしに解析するステップをさらに備えることを特徴とする請求項１０に記載のコンピュータ実装されたプロセス。
【請求項１３】
前記可能な画像サブセットの各画像をオープンし、各画像内の画素の画素解析を実施するペアワイズ技術を使用して前記可能な画像サブセットを解析し検証するステップをさらに備えることを特徴とする請求項１２に記載のコンピュータ実装されたプロセス。
【請求項１４】
前記可能な画像サブセットの前記画像がパノラマか、それとも真の画像スタックかを判定するステップをさらに備えることを特徴とする請求項１３に記載のコンピュータ実装されたプロセス。
【請求項１５】
前記可能な画像サブセットの前記画像がパノラマか、それとも真の画像スタックかに基づいて、前記可能な画像サブセットを処理するための前記画像処理技術を選択するステップをさらに備えることを特徴とする請求項１４に記載のコンピュータ実装されたプロセス。
【請求項１６】
関連する画像のグループを発見する自動画像グルーピングシステムであって、
複数の組織化されていないデジタル画像を含む無秩序な画像セットと、
前記複数の各デジタル画像に関連付けられたメタデータを解析するメタデータ解析モジュールと、
前記複数のデジタル画像のどれが関連しているのかをコレクションレコグナイザに基づいて決定する、前記メタデータ解析モジュール上に配置されたメタデータリレーションモジュールであって、前記コレクションレコグナイザはどのメタデータを解析すべきかを指示する判断基準となっているメタデータリレーションモジュールと、
前記関連する画像のグループを含む可能な画像サブセットと
を備えることを特徴とする自動画像グルーピングシステム。
【請求項１７】
前記メタデータリレーションモジュールがどのコレクションレコグナイザを使用すべきかを決定するコレクションレコグナイザ選択モジュールをさらに備えることを特徴とする請求項１６に記載の自動画像グルーピングシステム。
【請求項１８】
ペアワイズ技術を使用して前記可能な画像サブセットを解析し検証する検証モジュールをさらに備えることを特徴とする請求項１７に記載の自動画像グルーピングシステム。
【請求項１９】
前記可能な画像サブセットを形成するためにどの画像グループが使用され、どの画像が使用されなかったかを前記システムのユーザに提示するための、表示装置上に表示されるユーザインターフェースをさらに備えることを特徴とする請求項１８に記載の自動画像グルーピングシステム。
【請求項２０】
前記可能な画像サブセットがパノラマもしくは真の画像スタックを形成する画像を含むかどうかを前記ユーザに通知するための、前記表示装置上に表示されるユーザインターフェースをさらに備えることを特徴とする請求項１９に記載の自動画像グルーピングシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−２９３９９６（Ｐ２００６−２９３９９６Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−４７３７８（Ｐ２００６−４７３７８）
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００６−４７３７８（Ｐ２００６−４７３７８）
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（５０００４６４３８）マイクロソフト コーポレーション (3,165)
【Ｆターム（参考）】
[ Back to top ]