デジタルマルチメディアオブジェクトのセットを提示する方法
【課題】デジタルマルチメディアオブジェクトの表示およびコレクションを操作するための表示システムおよび方法を提供する。
【解決手段】事前定義された組織メタファの第１の選択セットが提示され、第１の選択セットからの第１の組織メタファの選択が受信される。選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットが提示され、第２の選択セットからの第２の組織メタファの選択が受信される。少なくとも２つのグループアイコンのうちの１つを含む結果がディスプレイ上に表示され、それぞれのグループアイコンが、選択された組織メタファに関連する規則に従ってコレクションから選択されたデータマルチメディアオブジェクトのグループ、デジタルマルチメディアオブジェクトのコンテンツ、またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを表示する。
【解決手段】事前定義された組織メタファの第１の選択セットが提示され、第１の選択セットからの第１の組織メタファの選択が受信される。選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットが提示され、第２の選択セットからの第２の組織メタファの選択が受信される。少なくとも２つのグループアイコンのうちの１つを含む結果がディスプレイ上に表示され、それぞれのグループアイコンが、選択された組織メタファに関連する規則に従ってコレクションから選択されたデータマルチメディアオブジェクトのグループ、デジタルマルチメディアオブジェクトのコンテンツ、またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルオブジェクトを編成し、所望のオブジェクトの表示または処理を容易にする有効な方法に関する。
【背景技術】
【０００２】
デジタル静止画像およびデジタルオーディオ／ビデオシーケンスを記録する周波数の増加に伴い、デジタル画像装置が使用されている。デジタル化された消費者用スナップショット、デジタル化されたホームビデオ、デジタルスキャンされたグラフィックス、デジタル化された音楽および他の録音など、他のソースからのデジタルマルチメディアコンテンツも急増している。莫大な数のこうしたマルチメディアオブジェクトが個人によって生成され格納される潜在性により、検索および編成のためにこうしたオブジェクトのコレクションをユーザに示す問題が重要になる。一般に、デジタルカメラユーザは、取外し可能メモリカード内に格納される複数のデジタル画像またはオーディオ／ビデオシーケンスを取る。たとえば、これらのマルチメディアオブジェクトは、メモリカードから転送し、たとえばハードドライブ、またはユーザのコンピュータに関連する他の不揮発性メモリ内に格納することができる。あるいは、デジタルマルチメディアオブジェクトは、格納、共有、印刷および他の目的のために、インターネットを介してウェブサイトに転送することができる。
【０００３】
ユーザは時間をかけて、様々な時点のイベントを記録する何百、または恐らく何千ものマルチメディアオブジェクトを収集することができる。特定のデータベース内のこうしたオブジェクトの数が増大するにつれて、階層ファイル構造や、画像サムネイルの単純な「コンタクトシート」などでユーザにそれを表示する従来の方法は、効果がなくなる。これらのデジタルマルチメディアオブジェクトは、デジタル静止画像、デジタルオーディオファイル、デジタルビデオセグメント、グラフィックスファイル、または関連のマルチメディアデータおよびその組合せであり得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第５，１６４，８３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、デジタルオブジェクトを編成し、所望のオブジェクトの表示または処理を容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、デジタルマルチメディアオブジェクトのセットを、携帯型表示スクリーン上に編成した状態で提示する方法であって、デジタルマルチメディアオブジェクトのコレクションに適用すべき選択条件を表す事前定義された組織メタファのセットからの第１の組織メタファの選択を、ユーザインタフェースを通じて受信するステップと、前記第１の組織メタファの選択の受信後に、最初の選択用セットでユーザに提供しなかった追加の事前定義された組織メタファのセットを決定するステップとを備え、その第２の選択用セットは、前記第１の選択された組織メタファに基づいて決定され、前記デジタルマルチメディアオブジェクトのコレクションに適用すべき追加の選択条件を表すものであり、前記方法はさらに、前記追加の事前定義された組織メタファのセットを表示するステップと、前記追加のセットからの第２の組織メタファの選択を、前記ユーザインタフェースを通じて受信するステップと、少なくとも前記第１の選択された組織メタファのインジケータを、提示した前記追加の事前定義された組織メタファのセットと共に表示するステップと、前記選択された組織メタファに関連付けられた選択条件と、デジタルマルチメディアオブジェクトのコンテンツまたはデジタルマルチメディアオブジェクトに関連付けられたメタデータとに従って、前記デジタルマルチメディアオブジェクトのコレクションからいくつかのデジタルマルチメディアオブジェクトを選択するステップと、前記選択された組織メタファのうちの少なくとも１つに少なくとも部分的に基づく結果提示規則であって、少なくとも、前記デジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトを選択するための規則と、グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む結果提示規則に従って、前記選択されたデジタルマルチメディアオブジェクトを、各々が複数のデジタルマルチメディアオブジェクトを含む少なくとも２つのグループに編成するステップと、前記各グループのアイコン表現を提供するステップと、を備え、少なくとも１つの前記選択されたデジタルマルチメディアオブジェクトが、前記グループの少なくとも２つに入っていることを特徴とする。
【０００７】
また、本発明に係る方法は、望ましくは、前記アイコン表現のうちの１つの選択を感知するステップと、前記選択されたアイコン表現に含まれるデジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた画像コンテンツに基づく少なくとも１つの画像を提示するステップと、を備える。
【０００８】
また、本発明の関連技術は、ユーザインターフェースに関連する表示、およびデジタルマルチメディアオブジェクトのコレクションを操作するための方法であって、事前定義された組織メタファの第１の選択セットを提示するステップと、事前定義された組織メタファの前記第１の選択セットからの第１の組織メタファの選択を受信するステップと、前記選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットを提示するステップと、事前定義された組織メタファの前記第２の選択セットからの第２の組織メタファの選択を受信するステップと、少なくとも２つのグループアイコンのうちの１つを含む結果を前記表示上に提示するステップであって、それぞれのグループアイコンが、前記選択された組織メタファに関連する規則に従って前記コレクションから選択されたデジタルマルチメディアオブジェクトグループ、および前記デジタルマルチメディアオブジェクトのコンテンツ、または前記デジタルマルチメディアオブジェクトに関連するいずれかのメタデータを提示するステップとを含み、各グループアイコンによって示された前記デジタルマルチメディアオブジェクトグループが、結果提示規則に従って選択される。
【０００９】
また、前記関連技術においては、望ましくは、前記事前定義された組織メタファの前記第２の選択セットが、前記選択された第１の組織メタファに基づいて決定される。
【００１０】
また、前記関連技術においては、望ましくは、前記選択された第１の組織メタファの表示、前記第２の選択された組織メタファの表示、および前記グループアイコンのうちの１つが、前記表示の別個の部分に同時に提示される。
【００１１】
また、前記関連技術においては、望ましくは、前記デジタルマルチメディアオブジェクトが静止画像、グラフィックス、テキスト、ビデオ画像、画像シーケンス、画像情報のストリーム、および関連するオーディオを含む。
【００１２】
また、前記関連技術においては、望ましくは、前記組織メタファが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファ、イベントメタファ、人メタファ、または画像コンテンツメタファのうちの少なくとも１つを含む。
【００１３】
また、前記関連技術においては、望ましくは、前記結果提示規則が、選択されたデータファイルの数の解析に少なくとも一部基づく。
【００１４】
また、前記関連技術においては、望ましくは、前記結果提示規則が、前記選択された組織メタファのうちの少なくとも１つに少なくとも一部基づく。
【００１５】
また、前記関連技術においては、望ましくは、前記グループアイコンが、前記画像グループ内の前記デジタルマルチメディアオブジェクトのうちの少なくとも１つからの画像コンテンツの提示を引き起こすようにアクティブ化可能である。
【００１６】
また、前記関連技術においては、望ましくは、画像コンテンツの前記表示が、各デジタルマルチメディアオブジェクトからの画像コンテンツのサムネイル表現の表示を含み、各サムネイルが、前記サムネイル上の前記画像コンテンツのスケールより大きいスケール上で前記サムネイルによって示された前記画像コンテンツの提示を引き起こすようにアクティブ化可能である。
【００１７】
また、前記関連技術においては、望ましくは、、組織メタファの選択シーケンスで行われた選択された各組織メタファを示すパスアイコンと共に前記表示の一部の指示経路を提示するステップをさらに含み、各パスアイコンが、選択プロセスを異なる選択レベルに戻すために選択可能である。
【００１８】
また、前記関連技術においては、望ましくは、イベントメタファを含む前記選択された分類メタファのうちの少なくとも１つを提示して、複数のイベントを表すヒストグラムタイムラインを含む結果を提示させるステップをさらに含む。
【００１９】
また、前記関連技術においては、望ましくは、前記第２のグラフィカルメタファが、その上にイベントアイコンが時系列に提示された、一連の時系列を表す１つの軸を有するタイムラインを含む。
【００２０】
また、前記関連技術においては、望ましくは、グループアイコンが、少なくとも２つのサブグループアイコンの提示を引き起こすようにアクティブ化可能であり、それぞれのサブグループアイコンが、前記グループアイコンによって示された前記デジタルマルチメディアオブジェクトの少なくとも一部を示すことを特徴とする方法。
【００２１】
また、本発明の関連技術は、携帯型表示画面上に１組のデジタルマルチメディアオブジェクトを組織的に提示するための方法であって、事前定義された組織メタファの提示されたセットからの第１の組織メタファの選択を受信するステップと、前記第１の組織メタファ以外の事前定義された組織メタファの提示されたセットからの第２の組織メタファの選択を受信するステップと、前記選択された組織メタファに関連する結果規則に従って複数の前記デジタルマルチメディアオブジェクトセットを少なくとも２つのグループに編成するステップと、前記グループのアイコン表現を提供するステップとを含み、前記結果規則が、前記デジタルマルチメディアオブジェクトセットからデジタルマルチメディアオブジェクトを選択するための規則と、前記グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む。
【００２２】
また、前記関連技術においては、望ましくは、前記アイコン表現のうちの１つの選択を感知するステップと、前記選択されたグループアイコン内の前記デジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた前記画像コンテンツに基づく少なくとも１つの画像を提示するステップとを含む。
【００２３】
また、本発明に係る関連技術は、ディスプレイと、デジタルマルチメディアオブジェクトのソースと、ユーザから入力を受信し、前記入力を前記ユーザによって行われたユーザ入力動作を示す選択信号に変換するように適応されたユーザ入力装置と、前記ディスプレイ、前記データマルチメディアオブジェクトソースおよび前記ユーザ入力装置に動作可能に接続されており、前記ディスプレイに、事前定義された組織メタファの第１の選択セットを表示させ、前記ユーザ入力装置から組織メタファの前記第１の選択セットのうちの１つのメタファの選択を受信させ、前記ディスプレイに、前記選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットを提示させ、事前定義された組織メタファの前記第２のセットのうちの１つのメタファの選択を受信させるように適応された処理装置とを含む画像表示装置であって、前記処理装置が、少なくとも２つのグループアイコンのうちの１つを含む結果を前記ディスプレイ上に表示させるようにさらに適応され、それぞれのグループアイコンが前記選択された組織メタファに関連する規則に従って前記コレクションから選択されたデジタルマルチメディアオブジェクトのグループ、および前記デジタルマルチメディアオブジェクトのコンテンツ、または前記画像メタデータファイルに関連するいずれかのメタデータを示し、各グループアイコンによって示されたデジタルマルチメディアオブジェクトの前記グループが結果提示規則に従って選択される。
【００２４】
また、前記関連技術においては、望ましくは、前記結果提示規則が、デジタルマルチメディアオブジェクトの前記セットからデジタルマルチメディアオブジェクトを選択するための規則と、前記グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のグループアイコンに関連付けるための規則とを含む。
【００２５】
また、前記関連技術においては、望ましくは、前記選択された組織メタファの少なくとも１つが、グループアイコンのヒストグラムタイムラインの前記表示を引き起こすイベントメタファを含む。
【００２６】
また、前記関連技術においては、望ましくは、デジタルマルチメディアオブジェクトの前記ソースが、メモリ、磁気ディスク、磁気テープ、光ディスク、半導体メモリ、または前記画像表示装置から分離される画像サーバとデータファイルを交換するように適応された通信回路を含む。
【００２７】
また、前記関連技術においては、望ましくは、前記グループアイコンおよび画像コンテンツのうちの少なくとも１つが、シミュレートされた深さの次元で提示される。
【００２８】
また、前記関連技術においては、望ましくは、前記ユーザインターフェースおよび処理装置が適応され、前記ユーザが２つ以上のグループアイコンの限られたセットを選択し、各グループアイコンの前記でデジタルマルチメディアオブジェクトに関連する情報を提示することを可能にする。
【００２９】
本発明の一態様における、ユーザインターフェースに関連する表示、デジタルマルチメディアオブジェクトのコレクションを操作するための方法。事前定義された組織メタファの第１の選択セットが提示され、事前定義された組織メタファの第１の選択セットからの第１の組織メタファの選択が受信される。選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットが提示され、事前定義された組織メタファの第２の選択セットからの第２の組織メタファの選択が受信される。少なくとも２つのグループアイコンのうちの１つを含む結果が表示上に提示され、それぞれのグループアイコンが、選択された組織メタファに関連する規則に従ってコレクションから選択されたデータマルチメディアオブジェクトのグループ、およびデジタルマルチメディアオブジェクトのコンテンツ、またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを含む。各グループアイコンによって示されたデジタルマルチメディアオブジェクトのグループは、結果表示規則に従って選択される。
【００３０】
本発明は、マルチメディアコレクションまたは単一のメディアオブジェクトをユーザに提示し、こうしたオブジェクトとの対話およびその選択を容易にする有効な方法を提供する。これらのオブジェクトは一般に、ユーザによって選択され、様々な媒体および記憶位置にわたって分散することができる、たとえば静止画像ファイル、音声を含むＭＰＥＧ−１モーションシーケンスなどのビジュアルデジタルオブジェクトや「ＷＡＶ」ファイルなどのデジタルオーディオオブジェクトである。
【００３１】
これらのオブジェクトのコレクション全体、また一部のサブセットでさえも大きすぎて、探索し、注釈し、処理しまたは見ることが難しくなることがある。
【００３２】
記録された音楽などの顕著な例外を除いて、これらのオブジェクトの大部分は、ユーザにとって、日付またはイベントに強く関連している。この日付は、静止画像、録音およびホームビデオシーケンスなどの個人的な記憶の場合のように、必ずしもではないが一般に、オブジェクトデータが発生した日付である。
【００３３】
これらのオブジェクトはそれぞれ、一般に日付に関連付けられているので、それを日付に従って編成することは自然である。タイムラインは、イベントを時系列に示す周知の方法であり、サムネイル画像などのオブジェクトの表現は、表示のためにタイムライン上に配列することができる。しかし、１つのオブジェクトより大きいコレクションは、特定の日付に関連付けることができ、コレクションは、長い時間範囲をカバーすることがある。こうした場合、すべてのオブジェクトのサムネイルをタイムラインに沿って配列することは非実用的である。本発明によれば、より有効な表現は、各日付または時間間隔に関連するオブジェクトの数が棒グラフなどのグラフィカルな形で表される、ヒストグラムタイムラインを構築することである。より具体的には、見て分かるように、ヒストグラムタイムラインは、所定の期間に従って編成されたビジュアルデジタルオブジェクトを表す。その後、サムネイル表現が、ヒストグラムタイムラインからの選択の後に生成される。
【発明の効果】
【００３４】
利点
本発明の１つの利点は、小さいディスプレイを使用しても迅速な探索を容易にするために、デジタルマルチメディアオブジェクトを一部自動的に編成できることである。イベントヒストグラムタイムラインの生成によってユーザへのデジタルマルチメディアオブジェクトコレクションの提示が容易になること、ならびにデジタルマルチメディアオブジェクトとの対話およびその選択を容易にすることも、本発明の特定の態様の利点である。
【図面の簡単な説明】
【００３５】
【図１】発明を実施するシステムのブロック図である。
【図２】本発明に従って作成されたヒストグラムタイムライン図である。
【図３Ａ】図２のようなヒストグラムタイムラインをどのように作成することができるか示し、選択されたこうした部分に対応するこうしたオブジェクトのこうしたサムネイル表現を見るためにヒストグラムタイムラインの一部をどのように選択するかさらに示すフローチャートである。
【図３Ｂ】ヒストグラムタイムラインの所望の範囲の決定を示し、また選択されたこうした部分に対応するこうしたオブジェクトのこうしたサムネイル表現を見るためにヒストグラムタイムラインの一部をどのように選択するか示すフローチャートである。
【図４】ヒストグラムタイムラインをどのように作成することができるかより詳細に示すフローチャートである。
【図５】表示装置の解像度およびサイズに応じてヒストグラムタイムラインをどのように作成することができるか示すフローチャートである。
【図６Ａ】初期状態にある表示画面上のヒストグラムタイムラインを示す図である。
【図６Ｂ】タイムラインの一部が選択された後の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｃ】短縮された時間スケール選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｄ】短縮された時間スケール選択中の表示画面上のサムネイル表現を伴わないヒストグラムタイムラインを示す図である。
【図６Ｅ】短縮された時間スケール選択後の表示画面上のヒストグラムタイムラインを示す図である。
【図６Ｆ】短縮された時間スケールのさらなる選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｇ】短縮された時間スケールのさらなる選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図７】本発明を実施する別のシステムのブロック図である。
【図８】図７のシステムの一実施形態の外部正面図である。
【図９】デジタルマルチメディアオブジェクトの編成された表現を提示するための方法のフローチャートである。
【図１０】ディスプレイ上に提示された第１の選択セットを示す図である。
【図１１】ディスプレイ上に提示された第１および第２の選択セットを示す図である。
【図１２】第１および第２の選択セットを含むディスプレイ上に提示された結果画面を示す図である。
【図１３】結果画面、第１の選択セットおよび第２の選択セットを含むディスプレイ上に提示されたデジタルマルチメディアオブジェクトコンテンツを示す図である。
【図１４】第１の選択セット、第２の選択セットおよび結果画面を提示するディスプレイの別の例を示す図である。
【図１５】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１６】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１７】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１８】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１９】サブ結果画面を提示するディスプレイの別の例を示す図である。
【図２０】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【発明を実施するための形態】
【００３６】
図１に示されるように、本発明を実施するシステムは、たとえばＤｅｌｌ Ｄｉｍｅｎｓｉｏｎ Ｌであり得るホームコンピュータ１０を含む。ホームコンピュータ１０は、バス１２を介して他の装置と通信するＣＰＵ１４を含む。ＣＰＵ１４は、ハードディスクドライブ２０内に格納されたソフトウェア、たとえば、ワシントン州ＲｅｄｍｏｎｄのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐ．社によって提供された周知のＷｉｎｄｏｗｓ（登録商標） ９８オペレーティングシステムソフトウェアを実行する。ビデオ表示装置５２は、表示インターフェース装置２４を介してＣＰＵ１４に結合される。マウス４４およびキーボード４６は、デスクトップインターフェース装置２８を介してＣＰＵ１４に結合される。ホームコンピュータ１０は、様々なＣＤ媒体を読み出し、ＣＤ−ＲまたはＣＤ−ＲＷ書込み可能な媒体４２に書き込むためのＣＤ−Ｒ／Ｗドライブ３０をも含む。フロッピー（登録商標）ディスク４０から読み書きするためのフロッピー（登録商標）ディスクドライブ３２も含まれる。バス１２に接続されたオーディオインターフェース装置２６は、たとえば、ハードディスクドライブ２０内に格納されたデジタル音声ファイルからのオーディオデータを、スピーカー５０に適したアナログオーディオ信号に変換することを可能にする。またオーディオインターフェース装置２６は、マイクロホン４８からのアナログオーディオ信号を、たとえばハードディスクドライブ２０内の格納に適したデジタルデータに変換する。さらに、ホームコンピュータ１０は、ネットワーク接続装置１８を介して外部ネットワーク６０に接続される。デジタルカメラ６は、静止画像、オーディオ／ビデオ、および音声ファイルをカメラからハードディスクドライブ２０にまたその逆に転送するために、たとえばＵＳＢインターフェース装置３４を介してホームコンピュータ１０に接続することができる。
【００３７】
デジタルマルチメディアのコレクションまたは単一のメディアオブジェクト（デジタル画像）は、ハードディスクドライブ２０、コンパクトディスク４２、またはネットワーク６０を介してアクセス可能なウェブサーバなどのリモート記憶装置内だけに常駐することがある。コレクションは、これらのうちのいずれかまたはすべてにわたって分散することもできる。
【００３８】
コレクションを表現するために、デジタルマルチメディアオブジェクトのすべてを、データベースとして互いに関連付けなければならない。これらのデジタルマルチメディアオブジェクトは、デジタルカメラによって生成されたものなどのデジタル静止画像、デジタル化された音楽や、「ＷＡＶ」または「ＭＰ３」オーディオファイル形式の音声注釈ファイルなどのオーディオデータ、およびＭＰＥＧ−１やＭＰＥＧ−４ビデオなどの音声付きまたは音声無しのデジタルビデオセグメントであり得ることが理解されよう。デジタルマルチメディアオブジェクトは、グラフィックソフトウェア、たとえば周知のＶｉｓｉｏグラフィックスソフトウェア製品によって作成されたファイル、および周知のＭｉｃｒｏｓｏｆｔ Ｗｏｒｄ製品によって作成されたものなど、テキストドキュメントを表すファイルをも含む。デジタルマルチメディアオブジェクトのデータベースは、１つのタイプだけのオブジェクトを含むことも、いずれかの組合せも含むこともある。
【００３９】
デジタルマルチメディアオブジェクトのコレクションがデータベースを形成するように互いに関連付けられると、それは、本発明に従ってユーザに対して表すことができる。図２は、ヒストグラムタイムラインの一例を示している。この例では、水平軸は、時間単位で列挙されており、垂直軸は、デジタルマルチメディアオブジェクトの数として列挙されている。あるいは、垂直軸は、デジタルマルチメディアオブジェクトの相対数として列挙することができる。グラフの棒８０の長さは、タイムライン８２および８４上の所定の期間の、選択されたデータベース内のオブジェクトの相対数を表す。期間は、その間隔内の日付に関連するオブジェクトが一緒にカウントされる時間間隔である。期間は、任意の継続時間を有することができるが、一般には１日以上である。ヒストグラムの表示領域が小さく、またはタイムラインの長さが非常に大きいので、短い期間を適切に表示することができない場合、より大きい期間が構築されることがある。この例では、時間スケール８２は月増分で構成されており、時間スケール８４は年増分で構成されているが、単一の時間スケールも可能である。
【００４０】
図３Ａは、ヒストグラムタイムラインの生成、および本発明を実施するためのインタラクティブなステップを示すフローチャートである。ステップ１００で、ヒストグラムタイムラインが、各日付に関連するデータベース内のオブジェクトの数をカウントすることによって形成される。その結果、内部的には、順序付けられた数の対の配列が生じる。対の中の１つの数字は、所定の日付を表し、関連する数は、日付に関連するオブジェクトの数を表す。
【００４１】
ステップ１０２で、図６Ａに示されるように、ヒストグラムタイムラインがユーザにグラフ表示され、所定の日付範囲（タイムライン）が、たとえば、選択されたデータベース内のオブジェクトのすべてに関連する最初から最後の日付に基づいている。領域６００は、タイムラインが位置する領域を指しており、６０４および６０６は、それぞれ細かいおよび粗いタイムラインスケールである。領域６０２は、デジタルマルチメディアオブジェクトのアイコンまたはサムネイル表現をユーザに表示することができる表示可能な別個の領域である。ユーザは、表現のうちの１つまたは複数を選択して、見、聞きかつ／または処理することもできる。ポインタ６１０は、マウス、ジョイスティックまたは眼球運動追跡装置などの選択装置である。
【００４２】
図３Ａを再び参照すると、ステップ１０４で、ユーザが、ヒストグラムタイムライン上で関心のある日付を選択する。これは図６Ｂに示されており、この図では、ユーザは、マウスを移動してタイムライン上で特定のヒストグラムバーにグラフィカルポインタ６１０を移動し、マウスボタンを「クリック」することによって日付を選択する。タイムラインが１日より長い場合、ヒストグラムバーを「クリックする」と、期間間隔に含まれる日付範囲が選択される。日付を選択した後、図３Ａのステップ１０６に従って、選択された日付に関連するオブジェクトに対応してサムネイルまたはアイコン表現が現れる。さらに、表示されたサムネイルおよびアイコン表現は、その開示を本願に引用して援用する、１９９８年９月３０日に出願された同一出願人による米国特許出願第０９／１６３６１８号、「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｌａｓｓｉｆｙｉｎｇ Ｉｍａｇｅｓ Ｉｎｔｏ Ｅｖｅｎｔｓ」、アレクサンダ Ｃ．ルイス他、および１９９８年１１月２０日に出願された同一出願人による米国特許出願第０９／１９７３６３号、「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｏｍｐａｒｉｎｇ Ｃｏｎｔｅｎｔ ｏｆ Ｉｍａｇｅｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｉｎｔｏ Ｅｖｅｎｔｓ」、アレクサンダ Ｃ．ルイス他に記載されたように、それが関連するイベントに従ってグループ化することができる。
【００４３】
ステップ１０８で、ユーザは、表示された表現が関心の対象かどうか決定する。そうでない場合は、ステップ１１０に示されるように、ユーザは、ヒストグラムタイムライン上の新しい日付を選択することができる。ステップ１１２で、新しい画像あるいはサムネイル表現は、新しい日付に関連するオブジェクトに対応して表示される。あるいは、ユーザに表示された範囲のちょうど外側に伸びているサムネイルまたはアイコン表現にアクセスするために、他のやり方を使用することができる。たとえば、時間的に前後にスクロールするために、表現の配置されたスクロールバーを使用することができ、それに応答して表現およびタイムラインが変化する。本発明の実施において、新しい表示位置へのサムネイルの「ドラッグ」は、それを選択し、次いでポインタを移動することによって遂行できることが理解されよう。サムネイルをドラッグするにつれて、動きの方向のサムネイル表現は「プッシュ」されて画面から外れ、新しいサムネイル表現が反対側から「プル」されて、画面内に入る。
【００４４】
図３Ａを再び参照すると、サムネイル表現の１つ以上が関心の対象である場合、ユーザは、ステップ１１４に示されるように、表現されたオブジェクトのうちの１つを表示し、または処理することに進むことができる。処理は、たとえば、画像をより高い解像度で表示するための画像ビューアを呼び出すこと、静止画像を編集するために画像エディタを呼び出すこと、オーディオデータを聞くためにオーディオプレーヤーを呼び出すこと、またはビデオシーケンスを見るためにビデオプレーヤーを呼び出すことを伴うことがある。処理は、オーディオ、グラフおよびテキスト注釈をオブジェクトに追加すること、別のデータベースまたはコレクションにオブジェクトを転送すること、あるいはデジタルマルチメディアオブジェクトタイプおよびユーザの要望に基づく他の何らかの機能を伴うこともある。
【００４５】
図３Ｂは、ヒストグラムタイムラインの生成、およびそれとの対話に関与するさらなるステップを示すフローチャートである。ステップ１３０に示されるように、各データに関連するデータベース内のオブジェクトの数をカウントすることによってヒストグラムタイムラインが形成される。その結果、内部的には、順序付けられた対の配列が生じる。対の中の１つの数字は、所定の日付を表し、関連する数は、日付に関連するオブジェクトの数を表す。
【００４６】
図６Ａに示されるように、ステップ１３２で、ヒストグラムタイムラインがユーザにグラフ表示され、日付の所定範囲（タイムライン）が、たとえば、選択されたデータベース内のオブジェクトのすべてに関連する最初から最後の日付に基づいている。このヒストグラムは、２つの時間スケール、すなわち、まる１年などの粗い間隔を有する１次時間スケール、およびまる１ヶ月などのより細かい間隔を有する２次時間スケールで表示されている。
【００４７】
ステップ１３４で、ユーザは、タイムライン範囲がそれを有効に扱うには大きすぎるかどうか判断する。そうである場合は、ステップ１３６で、ユーザは、粗い１次タイムスケール、またはより細かい２次タイムスケールで間隔を選択する。図６Ｃは、粗い時間スケールでの１９９９年の選択を示しており、その年からランダムに選択されたオブジェクトの表現が現れており、日付が、たとえばマウスボタンを押下することによって選択される。さらに、１９９９年を指す領域は、選択を示唆するために強調されている。ユーザによってマウスボタンが押下される限り、この表現は現れ続けることができる。あるいは、表現の表示が、ユーザがマウスボタンを押下したいと望む時間量に対して遅い場合には、図６Ｄに示されるように、表現を表示せずに、１９９９年を指す領域だけが強調される。
【００４８】
ユーザによってマウスボタンが放されると、ヒストグラムタイムラインは、図３Ｂのステップ１３８に従って再表示され、図６Ｅに示されるように、ヒストグラムタイムラインの最初および最後の日時が、選択された間隔の範囲に一致するように変更される。プロセスが繰り返される場合、１次および２次のタイムライン間隔が適宜変更される。たとえば、図６Ｆに示されるように、ユーザがＭａｙ １９９９の月を選択する場合、マウスボタンがユーザによって押下されている間、「Ｍａｙ １９９９」に関連するオブジェクトに対応する新しいサムネイルまたはアイコン表現が表示される。ユーザがマウスボタンを放すとき、ヒストグラムタイムラインは、ヒストグラムタイムラインの最初および最後の日付がＭａｙ １９９９の月に対応するように再表示される。次いで、図６Ｇに示されるように、粗い間隔は月であり、細かい間隔は日である。図６Ｇにやはり示されるように、月のいずれかの日が選択されると、その日に関連するデジタルマルチメディアオブジェクトに対応して、サムネイルまたはアイコン表現が表示されることになる。
【００４９】
図３Ｂのステップ１４４に示されるように、プロセスのいずれかの時点で、ユーザは、図６Ｂで上記に示されてように、ヒストグラムタイムライン表現のいずれかの上のバーを選択することによって日付を選択することができる。ステップ１４６に示されるように、日付に対応するデジタルマルチメディアオブジェクトの表現が表示される。ユーザは、ステップ１４２に従って特定のサムネイル表現に関心があった場合には、ステップ１４８に示されるように、たとえば表現の上で「ダブルクリック」することによって実際のオブジェクトまたはオブジェクトセットを見、または別のやり方で対話してもよい。
【００５０】
図４は、本発明によるヒストグラムタイムラインをどのように生成できるかより詳細に示すフローチャートである。ステップ２１０で、データベース内の各マルチメディアオブジェクトがアクセスされ、発生日付が、デジタルカメラからのキャプチャ日付などのヘッダデータから、またはオブジェクトに関連する他の何らかのデータから確立される。たとえば、信頼できるヘッダ情報がない場合、オブジェクトのファイルの発生日付が使用されてもよい。あるいは、ユーザによって入力された注釈が探索され得る。ステップ２１２で、ヒストグラムタイムラインを形成するために、各日付に関連するオブジェクトの数が決定される。最後に、ステップ２１４で、ヒストグラムタイムラインがユーザに表示される。
【００５１】
図５は、表示装置の解像度およびサイズに応じてヒストグラムタイムラインをどのように作成することができるか示すフローチャートを示している。これは、表示解像度およびサイズが制限される携帯電話や携帯情報端末などの携帯装置にヒストグラムが表示される場合、重要になることがある。さらに、それは、ヒストグラムタイムラインの時間範囲が非常に長く、個々の期間を十分に表示することができない場合のどの表示にも有用である。
【００５２】
ヒストグラムタイムラインが生成されると、ステップ２３０に示されるように、表示されるヒストグラムタイムラインの開始および終了日が決定される。ステップ２３２で、表示領域の解像度および物理サイズが決定される。たとえば、解像度は、表示領域を構成する水平および垂直ピクセルの数として表現されてもよく、表示領域のサイズは、ミリメートル単位の水平および垂直寸法で表現され得る。
【００５３】
次いで、ステップ２３４で、明確に表示することができるヒストグラムビン（ｈｉｓｔｏｇｒａｍ ｂｉｎ）の数が計算される。明確に表示することができるヒストグラムビンの数は、たとえば、人間の視覚系モデルなどの追加の要因を含むことがある。
【００５４】
ステップ２３６で、明確に表示することができるヒストグラムビンの数およびヒストグラムタイムラインの所望の開始および終了日付に基づいて、新しい期間サイズが計算される。ステップ２３８で、ビンサイズが修正された新しいヒストグラムタイムラインが生成される。最後に、ステップ２４０で、より見やすいビンサイズを有する、修正されたヒストグラムタイムラインが表示される。
【００５５】
ヒストグラムタイムラインは、パーソナルコンピュータ、またはカメラホン、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルカメラなどの携帯撮像装置、および／またはマルチメディアビデオ／オーディオ装置上の大きい画像コレクションのブラウズに適用できることを理解されたい。たとえば、日、月および年などの時間要素に対するイベント／サブイベントでクラスタ化された画像を表示するグラフィックユーザインターフェースは、ユーザが単純なコントロールを使用して、パーソナルコンピュータまたは小さいディスプレイ上で大量の画像／ビデオを迅速にブラウズするのに役立ち得る。
【００５６】
イベント／サブイベントは、キャプチャされた日時、ならびに画像のカラーヒストグラムを解析するアルゴリズムを自動的に使用して決定され得る。イベントの境界は、入力画像に関連する時差ヒストグラムに２平均クラスタリングアルゴリズムを適用することにより決定され得る。検出された各イベントについて、ブロックヒストグラム相関法を使用して、サブイベント境界が決定され得る。これらの方法は、先行技術の米国特許第６３５１５５６号に開示されている。上記の技術の代わりに、イベントおよびサブイベントクラスタを検出する他の方法も使用され得る。
【００５７】
上記のイベント、サブイベントおよび相対時間法は、大量の画像およびビデオクリップの迅速なナビゲーションを可能にするグラフィックユーザインターフェースを使用して表示され得る。
【００５８】
図７は、本発明を実施するための別のシステム７１０の一実施形態のブロック図を示している。図８は、システム７１０の一実施形態の外部ビューを示している。システム７１０は、携帯型であり、図７に示されるように、オプション画像キャプチャシステム７２２を含む本体７２０を含み、このオプション画像キャプチャシステム７２２は、デジタルマルチメディアオブジェクトのキャプチャおよび／またはレビューを可能にするために、信号プロセッサ７２６、オプション表示ドライバ７２８およびディスプレイ７３０、ならびにコントローラ７３２およびユーザシステム７３４と共に動作するように適応される。
【００５９】
図８に示された本体７２０の実施形態は、当技術分野で知られている二つ折りのタイプの携帯電話に一致する。しかし、本体７２０は、他の形状および他の形を有してもよい。この実施形態では、オプション画像キャプチャシステム７２２は、レンズシステム７２３と、画像センサ７２４と、レンズドライバ７２５とを含む。動作において、シーンからの光は、レンズシステム７２３によって、画像センサ７２４上で画像を形成するように焦点が合わせられる。レンズシステム７２３は、１つ以上の要素を有することができる。レンズシステム７２３は、固定焦点タイプであってもよく、手動でまたは自動的に調整可能であってもよい。レンズシステム７２３は任意選択で、手動でまた自動的に変更することができる可変ズームを提供するように調整可能である。レンズシステム７２３のために、他の知られている構成を使用することができる。レンズドライバ７２５は、レンズシステム７２３を自動的に調整するために提供される。レンズドライバ７２５は、コントローラ７３２によって操作することができ、あるいは、それは、適切な場合には距離計７２７によって直接操作することができる。
【００６０】
レンズシステム７２３によって画像センサ７２４上に焦点が合わせられるシーンからの光は、シーンの画像を表す画像信号に変換される。イメージセンサ７２４は、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｉｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、または当業者に知られている他の任意の電子画像センサを含むことができる。こうした画像信号は、デジタルの形であっても、アナログの形であってもよい。一般的に、こうした画像信号は、サンプリングされたアナログ信号を含む。
【００６１】
信号プロセッサ７２６は、画像センサ７２４から画像信号を受信し、画像信号をデジタルデータの形のデジタルマルチメディアオブジェクトに変換する。示された実施形態では、信号プロセッサ７２６は、アナログデジタル変換能力を有する。あるいは、アナログデジタル変換器（図示せず）は、画像信号のうちの１つ以上をデジタルマルチメディアオブジェクトに変換するために、画像センサ７２４と信号プロセッサ７２６の間に位置することができる。この代替案では、信号プロセッサ７２６は、デジタル信号プロセッサを含むことができる。
【００６２】
信号プロセッサ７２６によって提供されたデジタルマルチメディアオブジェクトは、１つ以上の静止画像、複数の静止画像、および／またはビデオセグメントなどの移動しているように見える画像のストリームを含むことができる。デジタル画像データが移動しているように見える画像のストリームを含む場合、デジタル画像データは、インタリーブされまたはインタレースされた画像の形で格納された画像データ、静止画像のシーケンス、および／またはビデオ技術の当業者に知られている他の形で格納された画像データを含むことができる。
【００６３】
信号プロセッサ７２６は、デジタルマルチメディアオブジェクトを形成するとき、画像信号に様々な画像処理アルゴリズムを適用することができる。これらには、それだけに限らないが、色および露出バランス、補間ならびに圧縮が含まれる。
【００６４】
コントローラ７３２は、画像処理の操作中に、それだけに限らないが、オプション画像キャプチャシステム７２２、ディスプレイ７３０、およびメモリ７４０などのメモリを含めて、システム７１０の動作を制御する。コントローラ７３２は、ユーザ入力システム７３４から受信された信号、信号プロセッサ７２６からのデータ、およびオプションセンサ７３６から受信されたデータに応答して、画像センサ７２４、信号プロセッサ７２６、メモリ７４０およびディスプレイ７３０に画像をキャプチャさせ、処理させ、格納させ、表示させる。コントローラ７３２は、プログラマブル汎用マイクロプロセッサ、専用マイクロプロセッサ、またはマイクロコントローラなどのマイクロプロセッサ、あるいは、システム７１０の動作を制御するために使用することができる他の任意のシステムを含むことができる。
【００６５】
コントローラ７３２は、システム７１０がユーザと対話することを可能にするために、ユーザ入力システム７３４と共に動作する。ユーザ入力システム７３４は、任意の形のトランスデューサ、あるいはユーザから入力を受信し、この入力をオペレーティングシステム７１０内のコントローラ７３２によって使用することができる形に変換することができる他の装置を含むことができる。たとえば、ユーザ入力システム７３４は、タッチ画面入力、タッチパッド入力、４ウェイスイッチ、５ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャ認識システムまたは他のこうしたシステムを含むことができる。図７および８に示された実施形態では、ユーザ入力システム７３４は、静止画像または他のデジタルマルチメディアオブジェクトをキャプチャする要望を示すことができるトリガ信号をコントローラ７３２に送信するキャプチャボタン７６０を含む。
【００６６】
図７および８に示されたシステム７１０の実施形態では、ユーザ入力システム７３４は、広角ズームボタン７６４およびテレズームボタン７６２をも含み、これらのボタンは、広角ズームボタン７６４の押下時にはレンズシステム７２３をズームアウトさせ、テレズームボタン７６２の押下時にはズームアウトさせるレンズシステム７２３のズーム設定を制御するようにコントローラ７３２と共に働く。広角ズームボタン７６４およびテレズームボタン７６２は、信号プロセッサ７２６によって形成されたデジタル静止画像または他のデジタルマルチメディアオブジェクトが、光学レンズシステムによって実際に提供されたものとは異なるズーム設定でキャプチャされたように見えるように信号プロセッサ７２６に画像信号を処理させる信号を供給するために使用することもできる。これは、デジタルマルチメディアオブジェクを形成する際に使用するための画像信号のサブセットを選択し、デジタル画像を形成するように画像信号のサブセットを任意選択で補間することによって行うことができる。ユーザ入力システム７３４は、図８に示された選択ボタン７６５、ジョイスティック７６６、図８に示されたモード選択ボタン７６７、５ウェイスイッチ７６８、およびキーパッド７６９を含めて、他のボタンおよび入力を含むこともでき、その機能については、以下でより詳細に述べる。
【００６７】
センサ７３６は、任意選択のものであり、光センサ、位置センサ、あるいは携帯型システム７１０の周囲環境の状態を検出し、システム７１０の動作を管理する際にコントローラ７３２によって使用することができる形にこの情報を変換するために使用することができる当技術で知られている他のセンサを含むことができる。物体への距離などの状態を検出するために、距離計７２７を使用することもできる。センサ７３６は、セキュリティおよび感情画像処理のためにユーザの特性を検出するように適応されたバイオメトリックセンサ（図示せず）を含むこともできる。
【００６８】
コントローラ７３２は、トリガ状態が検出される場合は、画像信号および対応するデジタルマルチメディアオブジェクトを形成させる。一般には、トリガ状態は、ユーザがキャプチャボタン７６０を押下するときに生じるが、しかし、コントローラ７３２は、特定のときに、またはキャプチャボタン７６０が押下された後の特定のときに、トリガ状態が存在すると決定することができる。あるいは、コントローラ７３２は、オプションセンサ７３６が赤外線光のパルスなどの特定の環境状態を検出するときに、トリガ状態が存在すると決定することができる。
【００６９】
コントローラ７３２は、各マルチメディアオブジェクトに関連してメタデータを生成するために使用することもできる。メタデータは、デジタルマルチメディアオブジェクト、またはデジタルマルチメディアオブジェクトの一部に関するが、ユーザに提示されたデジタルマルチメディアオブジェクトにおいて必ずしも観察できるとは限らないデータである。この点で、コントローラ７３２は、信号プロセッサ７２６、ユーザ入力システム７３４および他のセンサ７３６から信号を受信することができ、こうした信号に基づいてメタデータを任意選択で生成することができる。メタデータは、それだけに限らないが、デジタルマルチメディアオブジェクトがキャプチャされた時間、日付および位置などの情報、マルチメディアオブジェクトをキャプチャする際に使用された画像センサ７２４のタイプ、モード設定情報、積分時間情報、アーカイブ画像をキャプチャするのに使用されたプロセス、アーカイブ画像を形成するのにシステム７１０によって使用されたプロセス、方法およびアルゴリズムを特徴付ける撮影レンズユニット情報設定を含むことができる。メタデータは、それだけに限らないが、システム７１０を識別する情報など、コントローラ７３２によって決定され、システム７１０内のいずれかのメモリに格納された他の任意の情報、および／またはメタデータが関連付けられるデジタル画像データをレンダリングしまたは他のやり方で処理するための命令を含むこともできる。メタデータは、提示されたときに、特定のメッセージをデジタルマルチメディアオブジェクトに組み込むための命令を含むこともできる。こうしたメッセージは、デジタル画像が提示されまたはレンダリングされたときにレンダリングされるテキストメッセージであり得る。メタデータは、オーディオ信号をも含むこともできる。メタデータはさらに、デジタル画像データを含むことができる。メタデータは、システム７１０内に入力された他の任意の情報を含むこともできる。
【００７０】
デジタルマルチメディアオブジェクトおよびオプションメタデータは、圧縮した形で格納することができる。たとえば、デジタルマルチメディアオブジェクトが静止画像を含む場合、静止画像は、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：ジョイントフォトグラフィックエキスパートグループ）ＩＳＯ １０９１８−１（ＩＴＵ−Ｔ．８１）規格を使用することによって、圧縮した形で格納することができる。このＪＰＥＧ圧縮画像データは、日本電子情報技術産業協会ＪＥＩＴＡ ＣＰ−３４５１によって公開された交換可能画像ファイル形式バージョン２．２に定義された、いわゆる「Ｅｘｉｆ」画像形式を使用して格納される。ビデオの形である画像情報のストリームのデジタル画像シーケンスを格納するために、ＭＰＥＧ−４（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ：動画専門家グループ）など、他の圧縮システム、またはＡｐｐｌｅ Ｑｕｉｃｋｔｉｍｅ（商標）規格を使用することができる。他の画像圧縮および格納の形が使用されてもよい。
【００７１】
デジタルマルチメディアオブジェクトおよびメタデータは、メモリ７４０などのメモリにコレクションとして格納することができる。メモリ７４０は、ソリッドステート、磁気、光学または他のデータストレージ装置を含めて、従来のメモリ装置を含むことができる。メモリ７４０は、システム７１０内で固定することができ、またはそれは、取外し可能とすることができる。図７および図８の実施形態では、メモリカードスロット７４６を含むシステム７１０が示されており、このメモリカードスロット７４６は、取外し可能メモリカードなどの取外し可能メモリ７４８を保持し、取外し可能メモリ７４８と通信するための取外し可能メモリインターフェース７５０を有する。デジタルマルチメディアオブジェクトおよびメタデータは、パーソナルコンピュータ、コンピュータネットワーク、Ｋｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙなどのネットワーク化されたサーバ、通信ネットワーク、通信システム内のメモリなど、システム７１０の外部にあるリモート記憶システム７５２内にコレクションとして格納することもできる。
【００７２】
図７および８に示された実施形態では、システム７１０は、リモート記憶システムと通信するための通信モジュール７５４を含む。通信モジュール７５４は、たとえば光学、無線周波数または他のトランスデューサとすることができ、このトランスデューサは、画像および他のデータを、光信号、無線周波数信号または他の形の信号によってリモート画像処理システムに伝えることができる形に変換する。通信モジュール７５４は、ホストコンピュータまたはネットワーク（図示せず）からデジタルマルチメディアオブジェクトおよび他の情報を受信するために使用することもできる。コントローラ７３２は、それだけに限らないが、リモートトリガボタン（図示せず）など、リモート制御装置（図示せず）からの信号を含めて、通信モジュール７５４によって受信された信号から情報および命令を受信することもでき、こうした信号に従ってシステム７１０を動作させることができる。
【００７３】
また信号プロセッサ７２６は任意選択で、キャプチャされた画像データに対応する外観を有しており、ディスプレイ７３０上の提示に適応された評価画像を形成するために、画像信号またはデジタル画像を使用する。これによって、システム７１０のユーザは、デジタルキャプチャシステム７１０で得られるデジタル画像、たとえば画像キャプチャシステム７２２によってキャプチャされ、さもなければメモリ７４０、取外し可能メモリ７４８内に格納されており、または通信モジュール７５４を介して受信される画像を観察することができる。ディスプレイ７３０は、たとえばカラー液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機エレクトロルミネッセントディスプレイ（ＯＥＬＤ：ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）としても知られている有機電子発光ディスプレイ（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ）、または他のタイプのビデオディスプレイを含むことができる。図８に示されるように、ディスプレイ７３０は、外部から見えるものであってもよく、またはそれは、たとえば内部的に見ることができ、ビューファインダシステム（図示せず）内で使用することができる。あるいは、システム７１０は、２つ以上のディスプレイ、たとえば外部から見えるもの１つと、内部的に見えるもの１つとを有することができる。
【００７４】
また信号プロセッサ７２６およびコントローラ７３２は、コントローラ７３２とシステム７１０のユーザとの間のインタラクティブ通信を可能にすることができるディスプレイ７３０上に提示するためのテキスト、グラフィックス、アイコンなどの画像および他の情報を生成するために共に働き、ディスプレイ７３０がシステム７１０のユーザに情報を提供し、システム７１０のユーザがユーザ入力システム７３４を使用して、情報をシステム７１０にインタラクティブに提供する。システム７１０は、信号プロセッサ７２６および／またはコントローラ７３２がユーザに情報を提供することを可能にすることもできる、セグメント化されたＬＣＤや発光ダイオードディスプレイ（図示せず）など、他のディスプレイを含むこともできる。この能力は、操作モード、制御設定の入力、ユーザ嗜好の確立、およびシステム７１０のユーザへの警告および命令の提供など、様々な目的のために使用される。システム７１０のユーザに情報、フィードバックおよび警告を提供する際に使用するために、オーディオ信号、振動、触覚フィードバック、および他の形の信号を生成するための知られているシステムおよびアクチュエータなど、他のシステムをシステム７１０内に組み込むこともできる。
【００７５】
一般に、ディスプレイ７３０は、画像センサ７２４より小さい画像解像度を有する。したがって、信号プロセッサ７２６は、ディスプレイ７３０上の提示に適応された評価画像を形成するときに、画像信号またはデジタルマルチメディアオブジェクトからの解像度を減少させる。ダウンサンプリング、および画像処理の全体的な解像度を減少させるための他の従来技術を使用することができる。たとえば、１９９０年３月１５日にクフタ（Ｋｕｃｈｔａ）他によって出願された、同一出願人による米国特許第５１６４８３１号、「Ｅｌｅｃｔｒｏｎｉｃ Ｓｔｉｌｌ Ｃａｍｅｒａ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉ−Ｆｏｒｍａｔ Ｓｔｏｒａｇｅ Ｏｆ Ｆｕｌｌ Ａｎｄ Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ」に記載されたようなリサンプリング技術を使用することができる。評価画像は任意選択で、メモリ７４０などのメモリに格納することができる。評価画像は、ディスプレイ７３０を駆動するために使用することができるオプションディスプレイドライバ７２８に提供されるように適応させることができる。あるいは、評価画像は、直接にディスプレイ７３０に評価画像を提示させる形で信号プロセッサ７２６によって送信することができる信号に変換することができる。これが行われる場合、ディスプレイドライバ７２８は省略することができる。
【００７６】
システム７１０は、画像センサ７２４、および上述の画像キャプチャシステムの他のコンポーネントを使用して、デジタルマルチメディアオブジェクトをキャプチャする。デジタルマルチメディアオブジェクトをキャプチャするために使用することができる画像処理操作は、キャプチャプロセスを含み、構成プロセスおよび検証プロセスを任意選択で含むこともできる。
【００７７】
オプションの構成プロセスの間、コントローラ７３２は、信号プロセッサ７２６に、画像センサ７２４と協力して、デジタルマルチメディアオブジェクトをキャプチャし、対応する評価画像をディスプレイ７３０に表示させる。図７および図８に示された実施形態では、コントローラ７３２は、キャプチャボタン７６０が半分押下された位置に移動されたときに、画像構成段階に入る。しかし、構成段階に入るときを決定するための他の方法が使用されてもよい。たとえば、ユーザ入力システム７３４のうちの１つ、たとえば、図８に示されたジョイスティック７６６がシステム７１０のユーザによって押下されてもよく、これは、コントローラ７３２によって、構成段階に入るための命令と解釈することができる。構成の間に提示された評価画像は、ユーザがデジタル画像のキャプチャ用のシーンを構成する助けとなり得る。
【００７８】
キャプチャプロセスは、コントローラ７３２がトリガ状態の存在を決定することに応答して実行される。図７および８の実施形態では、キャプチャボタン７６０が完全な押下状態に移動されるときにトリガ信号が生成され、コントローラ７３２は、トリガ信号を検出するときに、トリガ状態が存在すると決定する。キャプチャプロセスの間、コントローラ７３２は、キャプチャ信号を送信して、信号プロセッサ７２６に、イメージセンサ７２４から画像信号を取得させ、デジタル像を含むデジタル画像データを形成するように画像信号を処理させる。デジタル画像に対応する評価画像は任意選択で、画像信号に基づいて、信号プロセッサ７２６によってディスプレイ７３０に提示されるように形成される。代替の一実施形態では、信号プロセッサ７２６は、それぞれの画像信号をデジタル画像に変換し、次いで、デジタル画像から評価画像を取り出す。
【００７９】
検証プロセスの間、対応する評価画像が、ディスプレイ７３０に供給され、ある期間の間提示される。これによって、ユーザは、デジタル画像が好ましい外観を有することを検証することができる。
【００８０】
システム７１０は、画像をキャプチャし、システム７１０内のメモリ７４０に画像を格納すること以外によって、デジタルマルチメディアオブジェクトのコレクションにアクセスすることもできる。たとえば、デジタルマルチメディアオブジェクトのコレクションのうちの一部またはすべてが、メモリインターフェース７５０に挿入された取外し可能メモリ内に記録されるときに、こうした画像をシステム７１０に伝えることができる。別の例では、通信モジュール７５４が、携帯電話網を介して通信するように適応される場合、通信モジュール７５４は、携帯電話番号または他の識別番号と関連付けられることができ、この番号を、たとえば、デジタルカメラを備えた電話のユーザなど、携帯電話網の別のユーザが使用して、システム７１０との通信リンクを確立し、通信モジュール７５４によって受信することができるデジタルマルチメディアオブジェクトを送信することができる。
【００８１】
あるいは、システム７１０は、リモートメモリ７５２など、本体７２０の外部に格納されたデジタルマルチメディアオブジェクトのコレクションにアクセスするために通信モジュール７５４を使用することができる。たとえば、通信モジュール７５４が携帯電話能力または他の無線能力が可能な場合、イネーブルされた携帯電話、または上記のＫｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙなどの他の画像サーバ、または他の任意のリモートメモリ７５２から画像にアクセスすることができる。
【００８２】
メモリ７４０または通信モジュール７５４、あるいはシステム７１０の他の回路およびシステムは、上記の無線通信用のＢｌｕｅｔｏｏｔｈ（登録商標）規格などの無線通信プロトコル、またはＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」規格やユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）規格などの有線プロトコルを使用してデジタルマルチメディアオブジェクトのコレクションを送受信し、または別のやり方でそれにアクセスする能力を有することができる。
【００８３】
したがって、システム７１０がデジタルマルチメディアオブジェクトのコレクションへのアクセスをユーザに提供することができる様々なやり方があり、したがって、それだけに限らないが、上述のものを含めて、システム７１０に画像をインポートするのに使用可能な他の手段がある限り、システム７１０がオプション画像キャプチャシステム７２２を有することは必須ではない。
【００８４】
図７および８に示されるように、画像キャプチャ装置７２０のユーザ入力システム７３４は、キャプチャボタン７６０、テレズーム設定入力７６２、広角ズーム設定入力７６４、選択ボタン７６５、ジョイスティック７６６、シーンモードセレクタ７６７および５ウェイスイッチ７６８を含めて、様々なユーザ入力コントロールを備える。コントローラ７３２は、上述されたテレズーム設定入力７６２および広角ズーム設定入力７６４から受信された信号に応答して、画像キャプチャシステム７２２によってキャプチャされた画像の有効ズーム比を増加および減少させるように適応される。モードセレクタ７６７は、たとえばカメラ７２０を使用してデジタルマルチメディアオブジェクトをキャプチャするための複数の異なる画像キャプチャモードを含めて、１組の可能な操作モードのうちの１つを撮影者が手動で選択すること可能にするために使用される。図７および８に示された実施形態では、それぞれ異なるこうしたキャプチャ画像モードは、デジタルマルチメディアオブジェクトをキャプチャするために使用される画像キャプチャ設定がコントローラ７３２によって自動的に決定される自動モードと、デジタルマルチメディアオブジェクトをキャプチャするために使用される設定がユーザ入力および／または嗜好に基づいて決定される手動モードと、急速に変化するシーンのキャプチャに最適化される画像キャプチャ設定を使用して画像がキャプチャされるアクションモードと、コントローラ７３２が、一般に静止したシーンの画像キャプチャに最適化された画像キャプチャ設定を使用して画像をキャプチャさせるポートレートモードとを含むことができる。
【００８５】
コントローラ７３２は、ディスプレイ７３０上に提示されたメニューおよびデジタルマルチメディアオブジェクトをナビゲートする際に使用するため、および決定を行うための入力をユーザが行うことを可能にするために、ジョイスティック７６６および／または５ウェイスイッチ７６８からの信号を使用するようにも適応される。
【００８６】
さらに、図７および８の実施形態では、キーパッドユーザ入力７６９は、たとえば電話をかけ、テキストメッセージングを使用して通信し、あるいは他の目的のためにテキストまたは英数字データを作成するために一般に行われるように、１組の英数字のうちの１つを選択するのに押下することができる複数のキーを備える。
【００８７】
図７および８の実施形態では、システム７１０は、音響エネルギーを受信し、音声処理回路７７４に供給される信号を生成するマイクロホン７７２の形の入力トランスデューサを有するオーディオキャプチャユニット７７０を含む。音声処理回路７７４は、マイクロホン７７２から受信された信号を、トランスデューサに入射する音響エネルギーのパターンを表す電子オーディオ信号に変換するように適応される。音声処理回路７７４はさらに、コントローラ７３２から信号を受信し、スピーカー７７６に可聴音を生成させるように適応される。これらは、音声通信を可能にするために、携帯電話実施形態などのシステム７１０の実施形態で使用することができる。
【００８８】
図９は、図７および図８で述べられたように、システム７１０を使用してデジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトの編成された表現を提示するための方法のフローチャートを示している。図１０は、この方法の実施中にシステム７１０のディスプレイ７３０上に何が表示されるかの１つの可能な例を示している。図９に示された方法の実施形態で、ユーザが、デジタルマルチメディアオブジェクトのコレクションへのアクセスを要求する。上記で言及されたように、こうしたコレクションは、システム７１０内のメモリ７４０、リモートメモリ７５２内、または通信モジュール７５４を介して使用可能な、何らかの形のネットワーク化されたデータソース内で見つけることができる。ユーザは一般に、ユーザ入力動作を行うことによってアクセスを要求し、このユーザ入力動作は、ユーザ入力システム７３４に、コントローラ７３２が受信する（ステップ８００）要求信号を生成させ、ユーザがコレクションからの画像にアクセスしたいと望んでいると決定させる。
【００８９】
これに応答してコントローラ７３２は、事前定義された組織メタファ７８０の第１の選択セットを提示させる（ステップ８０２）。第１の選択セットは、それだけに限らないが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファまたはイベントメタファ、人メタファまたは画像コンテンツメタファを含むことができる事前定義された１組の編成メタファを含む。図１０は、イベント、日付および人を含む、事前定義された組織メタファ７８０の第１の選択セットの一例を示している。次いで、コントローラ７３２は、ユーザが組織メタファセットの第１のメタファを選択したことを示すユーザ入力信号を感知するために、ユーザ入力システム７３４からの信号を監視する（ステップ８０４）。図１１では、まずユーザは、たとえば５ウェイ制御コントロール７６８上で適切なキーを押下することにより、またはキーパッド７６９上で適切なキーまたはキー配置を押下することにより「イベント」メタファを選択する。ユーザ入力システム７３４は、適切なキーが押下されたことを感知し、コントローラ７３２に信号を送信する。コントローラ７３２は任意選択で、選択の表示７８４を提供する。
【００９０】
次いで、コントローラ７３２は、ディスプレイ７３０に、第１の組織メタファ以外の事前定義された組織メタファ７８２の第２の選択セットを提示させる（ステップ８０６）。ここでもやはり、事前定義された組織メタファ７８２の第２の選択セットは、それだけに限らないが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファまたはイベントメタファ、人メタファまたは画像コンテンツメタファを含むことができる。図１２に示されたこの実施例では、ディスプレイ７３０は、「誕生日」、「クリスマス」、「要約」などを含む事前定義された組織メタファ７８２の第２の選択セットを提示する。
【００９１】
この実施例では、組織メタファ７８２の第２の選択セットは、イベント組織メタファを定義する組織メタファにより大きい具体性を与え、この意味で、事前定義された組織メタファ７８２の第２の選択セットの組織メタファは、選択された第１の組織メタファに基づいて決定される。しかし、これは必要ではなく、他の実施形態では、組織メタファ７８２の第２の選択セットは、選択された第１の組織メタファに基づいては決定されない事前定義された組織メタファの複数の他の組合せのいずれかを含むことができる。
【００９２】
図１２の例示的な図にやはり示されるように、コントローラ７３２は任意選択で、ディスプレイ７３０に、事前定義された組織メタファ７８２の第２の選択セットが提示されるときに選択された第１の組織メタファ７８２の表示７８４を引き続き提示させる。これは、ユーザがユーザのデジタルマルチメディアオブジェクト要求を構成したやり方についての直覚的な表示をユーザに提供する。この表示は、選択された組織メタファを強調することを含む。さらに、図１２は、組織メタファの第２のセットのうちのどれが選択されたかについての表示７８８を提供するオプションのステップをも示している。
【００９３】
次いで、ユーザは、ユーザインターフェース７３４を使用して第２の組織メタファを選択する。次いで、ユーザインターフェース７３４は、コントローラ７３２に、選択を示す信号を送信する。コントローラ７３２は、ユーザインターフェース７３４から信号を受信し（ステップ８０８）、次いで結果画面７８６を、図１２に示されるようなディスプレイ７３０上に表示させる。結果画面７８６は、グループアイコン７９０、７９２および７９４として図１２に示された少なくとも２つのグループアイコンのうちの少なくとも１つを含む。それぞれのグループアイコン７９０、７９２および７９４は、選択された組織メタファに関連する規則に従ってコレクションから選択されたデジタルマルチメディアオブジェクトのグループ、およびデジタルマルチメディアオブジェクトのコンテンツ、および／またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを示す。たとえば、「イベント」および「誕生日」を選択すると、たとえば家族や同僚の知られている誕生日に関連するコレクションからのデジタルマルチメディアオブジェクトが選択されることになる。あるいは、イベントおよび誕生日を選択すると、ケーキ、プレゼントなどの誕生日に関連するシーンおよび状況を示す画像コンテンツを有するコレクションからのデジタルマルチメディアオブジェクトが選択されることになり得る。こうした目的に使用することができる知られている様々なアルゴリズムがある。こうしたアルゴリズムは、信号プロセッサ７２６、コントローラ７３２、および／または、たとえばリモートメモリ７５２、またはＫｏｄａｋ ＥａｓｙＳｈａｒｅ（商標）Ｇａｌｌｅｒｙなどの画像サーバに関連付けられたコントローラやプロセッサなど、システム７１０の外部にある他のコントローラまたはプロセッサによって実行することができる。
【００９４】
図１２に示されるように、結果画面７８６は、結果提示規則に従って選択されたデジタルマルチメディアオブジェクトをそれぞれが含む、グループアイコン７９０、７９２および７９４を提示する。結果提示規則は、グループアイコンの数を選択し、各グループアイコンによって示されるデジタルマルチメディアオブジェクトを決定するための規則を提供する。グループアイコンの数は、様々な方法で決定することができ、デジタルマルチメディアオブジェクトのコレクションから選択されたデジタルマルチメディアオブジェクトの数、ディスプレイのサイズ、ユーザの嗜好に少なくとも一部基づくことも、選択された組織メタファの少なくとも１つに基づくこともある。
【００９５】
図１２に示されたように、グループアイコン７９０、７９２および７９４は、それぞれ「ママ」、「パパ」および「兄弟」に関するデジタルマルチメディアオブジェクトを示している。しかし、ユーザは実際には、デジタルマルチメディアオブジェクトのこうした構成を要求していないことが理解されよう。これは、ユーザに便利なように行われ、それは自動的に行われる。
【００９６】
デジタルマルチメディアオブジェクトがグループアイコンに関連付けられるやり方を管理する結果提示規則は、組織メタファのうちの少なくとも１つに少なくとも一部基づくこともできる。たとえば、結果画面７８０を提示するための提示規則は、イベントおよび誕生日の選択から、人に従って編成された結果をユーザが見ることを望んでいる可能性が最も高いと自動的に決定することができる。
【００９７】
一般には、こうしたグループアイコンのサイズは、ディスプレイ７３０の原寸より小さく、一度に提示されるグループアイコンの数に関係する。一実施形態では、コントローラ７３２は、すべてのグループアイコンを単一の結果画面７８６に提示することができるように、グループアイコンの数およびサイズを決定するように動作可能である。この決定は、グループアイコンを提示するのに使用可能ディスプレイ７３０の解像度の量および各グループアイコンを提示するのに望まれる最低解像度に基づいて行うことができる。
【００９８】
したがって、特定の実施形態では、コントローラ７３２は、コレクションには、ママ用に１つ、パパ用に１つ、および兄弟用に１つの３つの潜在的な誕生日のイベントがあるが、それぞれが１組の最小の画像解像度を有する２つのグループアイコンだけを提示する場所がディスプレイ７３０にあると判断することができる。これが生じる場合、コントローラ７３２は、たとえば選択されたデジタルマルチメディアオブジェクトを示されるように「親」および「兄弟」などのグループで関連付けることによって画像をグループ化するより広い基準をそれぞれが含む、グループアイコンの他の配置を決定することができる。こうした画像の他の論理グループ化は、それだけに限らないが、「大人の誕生日」および子供の誕生日、さらには「友達」および「家族」グループアイコンなどの例を含み得る。図１３に示された実施形態では、結果画面７８６は、２つのグループアイコン、「今年の誕生日」グループアイコン７９０、および「他の年の誕生日」グループアイコン７９２を備えている。
【００９９】
図１３の実施例では、結果アイコン７９０および７９２は、画像グループ内の選択されたデジタルマルチメディアオブジェクトのうちの少なくとも１つからのコンテンツの提示を引き起こすようにアクティブ化することができる。したがって、図１３に示されるように、「今年の誕生日」などのグループアイコン７９０が選択されるとき、「今年の誕生日」グループアイコン７９０に関連するデジタルマルチメディアオブジェクトからの画像コンテンツ７９９が、ディスプレイ７３０上に提示される。表示された画像コンテンツ７９９は、たとえば「今年の誕生日」グループアイコン７９０に関連する各画像データファイルからの画像コンテンツのたとえばサムネイル表現の形を取ることができる。一般に、こうしたサムネイル画像のサイズは、ディスプレイ７３０の原寸より小さく、一度に提示されるサムネイルの数に関連する。
【０１００】
図１４は別の実施例を示しており、この実施例では、時系列組織メタファを有する第１の選択セット７８０から第１の選択が行われ、イベントベースのメタファが組織メタファの第２のセット７８２から選択されて、上記で一般的に述べたようにイベントグループアイコン７９０がその上に時系列に提示された、一連の時系列を表す１つの軸を含むヒストグラムタイムラインを含む結果画面７８６の提示を引き起こしている。それぞれのイベントグループアイコン７９０は、グループに関連するデジタルマルチメディアオブジェクトの提示を引き起こすようにアクティブ化することができる。
【０１０１】
図９〜図１４の実施例から、選択された組織メタファについての進行する１組の表示７８４および７８８が、ユーザによって選ばれた選択順序で提示されることが理解されよう。図１４では、２００４年のユーザ選択の表示７８４を付けて提示された２００４年を含む一連の年が表示された、組織メタファの第１の選択セット７８０が提示されている。さらに、組織メタファ７８２の第２のセットが提示され、示されるようにユーザは、表示７８８によって示唆されるようにイベント組織メタファを選択して、その年に行われたイベントの結果画面７８６ヒストグラムタイムライン表示を引き起こしている。ユーザは、２００４年からのイベントをスクロールするためにユーザインターフェース７３４を使用して左右に移動することができ、ユーザインターフェース７３４を使用してイベントのうちの１つを再び選択することができる。この実施形態では、結果画面７８６は、線の高さによって示されるように、隣接するグループアイコンと比較して各イベントグループアイコンのコンテンツの相対量を示すイベントグループアイコン７９０のヒストグラムを表示している。ユーザがグループアイコン７９０を選択するとき、デジタルマルチメディアオブジェクトからの画像コンテンツ７９９が、図１５に示されるように提示された画像に基づいて形成される３つのサムネイル画像の列で提示される。ユーザは、ユーザインターフェース７３４を使用して、水平にスクロールし、イベントグループアイコン７９０に関連する７４０個のマルチメディアオブジェクトのセット全体にアクセスすることができる。事前定義された選択内のナビゲーションは、ユーザインターフェース７３４を使用して実施することができる。この対話は、ユーザが、最小の１組のグラフィック要素、および比較的に小さい表示サイズを使用して、単語探索を使用せずに大量のデジタルマルチメディアオブジェクトを有効にレビューすることを可能にし、迅速で単純なナビゲーション方法が提供され得る。
【０１０２】
代替のナビゲーション方法は、図１４および図１５に示された組織メタファの第２の選択セット７８２のイベントヒストグラムのグラフィック配置を、図１６に示されるように、イベントを示すテキストイベントラベルの形の組織メタファの第２の選択セット７８２で置き換えるステップを含み得る。図１６に示されたイベントグループアイコン７９０のサムネイル画像表現は、イベントの第１のピクチャによって決定されることも、イベント内で最も代表的な画像を決定するために画像のコンテンツを解析することによって決定されることもある。イベントが、ビデオを含むデジタルマルチメディアを含む場合、この目的のため各クリップの最も代表的なフレームを決定するために一連のフレームが解析され得る。
【０１０３】
図１７は、組織メタファ７８０の第１の選択セットが名前のリストを含んでいるディスプレイ７３０の別の図を示しており、この名前のリストは、ユーザによって入力されることも、友人リストまたは装置に格納されたアドレス帳からマップされることもある。組織メタファ７８２の第２の選択セットは、それぞれ異なるタイプのイベントのリストを提示している。この実施形態では提示された画像７９８を含む結果画面７８６は、１組の時系列グループアイコン７９０、７９２および７９４を提示している。他の実施形態では、組織メタファ７８０および７８２の第１および第２セットは、ここで示されるような直線的なやり方ではなく、重複または部分重複したやり方で組み合わせ、レンダリングすることができる。これによって、画像コンテンツを提示するためにディスプレイ７３０の領域のより大きい部分を使用することが可能となる。
【０１０４】
ＸおよびＹ軸を使用してグループアイコンに関連する画像コンテンツをナビゲートすることに加えて、図１８に示されるようにＺ軸を使用することもでき、画像コンテンツの積重ねまたは他の深さ配置の視覚シミュレーションを提供する、提示されたグラフィックが使用されている。Ｚ軸に対するナビゲーションは、上述のユーザインターフェースボタンまたはコントロールのいずれか、およびハードボタンやタッチ画面コントロールなどの他のコントロールによるものであり得る。さらに、こうしたナビゲーションは、動き制御インターフェース（図示せず）を含むユーザインターフェース７３４の実施形態によって提供することができ、この動き制御インターフェースは、サブイベントグループのセットを通る円に対してユーザが入力装置を傾けるときに表示されるデジタルマルチメディアからのコンテンツをコントローラ７３２に誘導させる信号をコントローラ７３２に供給する。パーソナルコンピュータ用のＺ軸入力装置の別の例は、Ｌｏｇｉｔｅｃｈ Ｍａｇｅｌｌａｎ Ｓｐａｃｅ ＭｏｕｓｅやＬｏｇｉｔｅｃｈ ３Ｄ Ｃｏｎｎｅｘｉｏｎ ＣＡＤ Ｔｒａｃｋｂａｌｌなどの３Ｄ入力コントロールである。これらの入力装置は、パーソナルコンピュータ内のシステム１０、または図８に示された携帯電話実施形態などのシステム７１０内でイベントおよびタイムライン情報をナビゲートするためのソフトウェアと併せて使用され得る。
【０１０５】
ディスプレイ７３０が一度に２つのグループアイコンしか提示できない場合など、ディスプレイ７３０上にグループアイコンの数を都合よく提示できない状況があり得る。これが生じる場合、図１９に示されるように、コントローラ７３２が、グループアイコンの選択時にサブグループアイコン８３２を提示するサブ結果画面８３０を提供することが有用であり得る。サブグループアイコン８３２は、それぞれのサブグループアイコン８３２が、選択されたグループアイコンを示すデジタルマルチメディアオブジェクトの一部を示すように、提示結果規則をグループアイコンに関連する画像に適用することによって決定することができる。図１９を参照すると、複数のサブイベントを含む特定のイベントをユーザが選択するとき、サブ結果画面８３０は、Ｚ軸配置で配置された複数のサブグループアイコン８３２を提示している。
【０１０６】
あるいは、便利なやり方でディスプレイ７３０上に同時に存在することができるより多くのグループアイコンが生成される場合、ディスプレイ７３０のサイズより大きい仮想サイズを有する結果画面を生成することができ、ユーザは、ユーザインターフェース７３４を使用して、スクロールし、パンし、ページズームし、または別のやり方で結果画面の周りをまたはそれを通ってナビゲートすることができる。
【０１０７】
図７〜図１９を参照して述べられた諸方法は、図１のシステム１０を含めて、他のシステムを使用して実施することもできることが理解されよう。図２０はこの一実施形態を示しており、ビデオ表示装置５２が、当技術において知られているタイプのプルダウンメニュー領域内に組織メタファの第１のセットのうちの選択された１つについての表示７８４を提示している。同様に、ビデオ表示装置５２は、組織メタファの第２のセットのうちの選択された１つについての表示７８８を提示し、結果画面７８６はグループアイコン７９０のイベントヒストグラムを提示している。図２０で、グループアイコン７９０のうちの選択された１つに関連するデジタルマルチメディアオブジェクトからの画像コンテンツ７９９を提示させるために、２つ以上のうちのコレクション内で選択されたグループアイコン７９０が示されていることが理解されよう。
【０１０８】
図２０にやはり示されるように、ユーザがたとえばマウス４４および／またはキーボード４６を使用して、図２０に示されたセットマーカ８３４によって示されるような複数のグループアイコンを選択することを可能にする、限られた１組の選択能力が提供される。この能力が使用される場合、選択されたグループからの画像コンテンツ７９９が、ディスプレイ７３０の１つの領域内に提示され、情報８３６が、ディスプレイ７３０の他の部分に同時に存在する。これによって、ユーザは、選択されたグループアイコンからの画像コンテンツを観察することと、選択された他のグループアイコンのデジタルマルチメディアオブジェクトに関する情報８３６をレビューすることの両方が可能になる。情報８３６は、示されるようなテキスト情報を含むことができ、あるいは、それは、グラフィカル情報またはグループアイコンのデジタルマルチメディアオブジェクトに関連する画像コンテンツからの画像コンテンツを含むことができる。
【０１０９】
本発明を実施するためのコンピュータプログラム製品は、１つ以上の記憶媒体、たとえば（フロッピー（登録商標）ディスクなどの）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスク、光学テープまたはマシン読取り可能バーコードなどの光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）や読取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）などのソリッドステート電子記憶装置、あるいは本発明による方法を実施するための命令を含むコンピュータプログラムを格納するために使用される他の物理装置または媒体を含むことができる。
【符号の説明】
【０１１０】
６ デジタルカメラ、１０ ホームコンピュータ、１２ データバス、１４ ＣＰＵ、１６ 読取り専用メモリ、１８ ネットワーク接続装置、２０ ハードディスクドライブ、２２ ランダムアクセスメモリ、２４ 表示インターフェース装置、２６ オーディオインターフェース装置、２８ デスクトップインターフェース装置、３０ ＣＤ−Ｒ／Ｗドライブ、３２ フロッピー（登録商標）ディスクドライブ、３４ ＵＳＢインターフェース装置、４０ フロッピー（登録商標）ディスク、４２ ＣＤ−ＲＷ書込み可能媒体、４４ マウス、４６ キーボード、４８ マイクロホン、５０ スピーカー、５２ ビデオ表示装置、６０ ネットワーク、８０ グラフィカルバー、８２ タイムラインスケール、８４ タイムラインスケール、１００ ブロック、１０２ ブロック、１０４ ブロック、１０６ ブロック、１０８ ブロック、１１０ ブロック、１１２ ブロック、１１４ ブロック、１３０ ブロック、１３２ ブロック、１３４ ブロック、１３６ ブロック、１３８ ブロック、１４２ ブロック、１４４ ブロック、１４６ ブロック、１４８ ブロック、２１０ ブロック、２１２ ブロック、２１４ ブロック、２３０ ブロック、２３２ ブロック、２３４ ブロック、２３６ ブロック、２３８ ブロック、２４０ ブロック、６００ タイムライン位置、６０２ 可視領域、６０４ タイムラインスケール、６０６ タイムラインスケール、６１０ ポインタ、７１０ システム、７２０ 本体、７２２ 画像キャプチャシステム、７２３ レンズシステム、７２４ イメージセンサ、７２５ レンズドライバ、７２６ 信号プロセッサ、７２７ 距離計、７２８ 表示ドライバ、７３０ ディスプレイ、７３２ コントローラ、７３４ ユーザ入力システム、７３６ センサ、７４０ メモリ、７４６ メモリカードスロット、７４８ 取外し可能メモリ、７５０ 取外し可能メモリインターフェース、７５２ 遠隔記憶、７５４ 通信モジュール、７６０ キャプチャボタン、７６２ テレズームボタン、７６４ 広角ズームボタン、７６５ 選択ボタン、７６６ ジョイスティック、７６７ モードセレクタ、７６８ ５ウェイ制御、７６９ キーパッド、７７０ オーディオキャプチャユニット、７７２ マイクロホン、７７４ 音声処理回路、７７６ スピーカー、７８０ 第１の選択セット、７８２ 第２の選択セット、７８４ 表示、７８６ 結果画面、７８８ 表示、７９０ グループアイコン、７９２ グループアイコン、７９４ グループアイコン、７９８ 提示された画像、７９９ 画像コンテンツ、８００ コレクションアクセス受信ステップ、８０２ 第１選択セット提示ステップ、８０４ 第１選択セット受信ステップ、８０６ 第２選択セット提示ステップ、８０８ 第２選択セット受信ステップ、８１０ グループアイコンを含む結果画面提示ステップ、８１２ 選択受信ステップ、８１４ コンテンツ提示ステップ、８３０ サブ結果画面、８３２ サブグループアイコン、８３４ セットマーカ、８３６ 情報。
【技術分野】
【０００１】
本発明は、デジタルオブジェクトを編成し、所望のオブジェクトの表示または処理を容易にする有効な方法に関する。
【背景技術】
【０００２】
デジタル静止画像およびデジタルオーディオ／ビデオシーケンスを記録する周波数の増加に伴い、デジタル画像装置が使用されている。デジタル化された消費者用スナップショット、デジタル化されたホームビデオ、デジタルスキャンされたグラフィックス、デジタル化された音楽および他の録音など、他のソースからのデジタルマルチメディアコンテンツも急増している。莫大な数のこうしたマルチメディアオブジェクトが個人によって生成され格納される潜在性により、検索および編成のためにこうしたオブジェクトのコレクションをユーザに示す問題が重要になる。一般に、デジタルカメラユーザは、取外し可能メモリカード内に格納される複数のデジタル画像またはオーディオ／ビデオシーケンスを取る。たとえば、これらのマルチメディアオブジェクトは、メモリカードから転送し、たとえばハードドライブ、またはユーザのコンピュータに関連する他の不揮発性メモリ内に格納することができる。あるいは、デジタルマルチメディアオブジェクトは、格納、共有、印刷および他の目的のために、インターネットを介してウェブサイトに転送することができる。
【０００３】
ユーザは時間をかけて、様々な時点のイベントを記録する何百、または恐らく何千ものマルチメディアオブジェクトを収集することができる。特定のデータベース内のこうしたオブジェクトの数が増大するにつれて、階層ファイル構造や、画像サムネイルの単純な「コンタクトシート」などでユーザにそれを表示する従来の方法は、効果がなくなる。これらのデジタルマルチメディアオブジェクトは、デジタル静止画像、デジタルオーディオファイル、デジタルビデオセグメント、グラフィックスファイル、または関連のマルチメディアデータおよびその組合せであり得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第５，１６４，８３１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、デジタルオブジェクトを編成し、所望のオブジェクトの表示または処理を容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、デジタルマルチメディアオブジェクトのセットを、携帯型表示スクリーン上に編成した状態で提示する方法であって、デジタルマルチメディアオブジェクトのコレクションに適用すべき選択条件を表す事前定義された組織メタファのセットからの第１の組織メタファの選択を、ユーザインタフェースを通じて受信するステップと、前記第１の組織メタファの選択の受信後に、最初の選択用セットでユーザに提供しなかった追加の事前定義された組織メタファのセットを決定するステップとを備え、その第２の選択用セットは、前記第１の選択された組織メタファに基づいて決定され、前記デジタルマルチメディアオブジェクトのコレクションに適用すべき追加の選択条件を表すものであり、前記方法はさらに、前記追加の事前定義された組織メタファのセットを表示するステップと、前記追加のセットからの第２の組織メタファの選択を、前記ユーザインタフェースを通じて受信するステップと、少なくとも前記第１の選択された組織メタファのインジケータを、提示した前記追加の事前定義された組織メタファのセットと共に表示するステップと、前記選択された組織メタファに関連付けられた選択条件と、デジタルマルチメディアオブジェクトのコンテンツまたはデジタルマルチメディアオブジェクトに関連付けられたメタデータとに従って、前記デジタルマルチメディアオブジェクトのコレクションからいくつかのデジタルマルチメディアオブジェクトを選択するステップと、前記選択された組織メタファのうちの少なくとも１つに少なくとも部分的に基づく結果提示規則であって、少なくとも、前記デジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトを選択するための規則と、グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む結果提示規則に従って、前記選択されたデジタルマルチメディアオブジェクトを、各々が複数のデジタルマルチメディアオブジェクトを含む少なくとも２つのグループに編成するステップと、前記各グループのアイコン表現を提供するステップと、を備え、少なくとも１つの前記選択されたデジタルマルチメディアオブジェクトが、前記グループの少なくとも２つに入っていることを特徴とする。
【０００７】
また、本発明に係る方法は、望ましくは、前記アイコン表現のうちの１つの選択を感知するステップと、前記選択されたアイコン表現に含まれるデジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた画像コンテンツに基づく少なくとも１つの画像を提示するステップと、を備える。
【０００８】
また、本発明の関連技術は、ユーザインターフェースに関連する表示、およびデジタルマルチメディアオブジェクトのコレクションを操作するための方法であって、事前定義された組織メタファの第１の選択セットを提示するステップと、事前定義された組織メタファの前記第１の選択セットからの第１の組織メタファの選択を受信するステップと、前記選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットを提示するステップと、事前定義された組織メタファの前記第２の選択セットからの第２の組織メタファの選択を受信するステップと、少なくとも２つのグループアイコンのうちの１つを含む結果を前記表示上に提示するステップであって、それぞれのグループアイコンが、前記選択された組織メタファに関連する規則に従って前記コレクションから選択されたデジタルマルチメディアオブジェクトグループ、および前記デジタルマルチメディアオブジェクトのコンテンツ、または前記デジタルマルチメディアオブジェクトに関連するいずれかのメタデータを提示するステップとを含み、各グループアイコンによって示された前記デジタルマルチメディアオブジェクトグループが、結果提示規則に従って選択される。
【０００９】
また、前記関連技術においては、望ましくは、前記事前定義された組織メタファの前記第２の選択セットが、前記選択された第１の組織メタファに基づいて決定される。
【００１０】
また、前記関連技術においては、望ましくは、前記選択された第１の組織メタファの表示、前記第２の選択された組織メタファの表示、および前記グループアイコンのうちの１つが、前記表示の別個の部分に同時に提示される。
【００１１】
また、前記関連技術においては、望ましくは、前記デジタルマルチメディアオブジェクトが静止画像、グラフィックス、テキスト、ビデオ画像、画像シーケンス、画像情報のストリーム、および関連するオーディオを含む。
【００１２】
また、前記関連技術においては、望ましくは、前記組織メタファが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファ、イベントメタファ、人メタファ、または画像コンテンツメタファのうちの少なくとも１つを含む。
【００１３】
また、前記関連技術においては、望ましくは、前記結果提示規則が、選択されたデータファイルの数の解析に少なくとも一部基づく。
【００１４】
また、前記関連技術においては、望ましくは、前記結果提示規則が、前記選択された組織メタファのうちの少なくとも１つに少なくとも一部基づく。
【００１５】
また、前記関連技術においては、望ましくは、前記グループアイコンが、前記画像グループ内の前記デジタルマルチメディアオブジェクトのうちの少なくとも１つからの画像コンテンツの提示を引き起こすようにアクティブ化可能である。
【００１６】
また、前記関連技術においては、望ましくは、画像コンテンツの前記表示が、各デジタルマルチメディアオブジェクトからの画像コンテンツのサムネイル表現の表示を含み、各サムネイルが、前記サムネイル上の前記画像コンテンツのスケールより大きいスケール上で前記サムネイルによって示された前記画像コンテンツの提示を引き起こすようにアクティブ化可能である。
【００１７】
また、前記関連技術においては、望ましくは、、組織メタファの選択シーケンスで行われた選択された各組織メタファを示すパスアイコンと共に前記表示の一部の指示経路を提示するステップをさらに含み、各パスアイコンが、選択プロセスを異なる選択レベルに戻すために選択可能である。
【００１８】
また、前記関連技術においては、望ましくは、イベントメタファを含む前記選択された分類メタファのうちの少なくとも１つを提示して、複数のイベントを表すヒストグラムタイムラインを含む結果を提示させるステップをさらに含む。
【００１９】
また、前記関連技術においては、望ましくは、前記第２のグラフィカルメタファが、その上にイベントアイコンが時系列に提示された、一連の時系列を表す１つの軸を有するタイムラインを含む。
【００２０】
また、前記関連技術においては、望ましくは、グループアイコンが、少なくとも２つのサブグループアイコンの提示を引き起こすようにアクティブ化可能であり、それぞれのサブグループアイコンが、前記グループアイコンによって示された前記デジタルマルチメディアオブジェクトの少なくとも一部を示すことを特徴とする方法。
【００２１】
また、本発明の関連技術は、携帯型表示画面上に１組のデジタルマルチメディアオブジェクトを組織的に提示するための方法であって、事前定義された組織メタファの提示されたセットからの第１の組織メタファの選択を受信するステップと、前記第１の組織メタファ以外の事前定義された組織メタファの提示されたセットからの第２の組織メタファの選択を受信するステップと、前記選択された組織メタファに関連する結果規則に従って複数の前記デジタルマルチメディアオブジェクトセットを少なくとも２つのグループに編成するステップと、前記グループのアイコン表現を提供するステップとを含み、前記結果規則が、前記デジタルマルチメディアオブジェクトセットからデジタルマルチメディアオブジェクトを選択するための規則と、前記グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む。
【００２２】
また、前記関連技術においては、望ましくは、前記アイコン表現のうちの１つの選択を感知するステップと、前記選択されたグループアイコン内の前記デジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた前記画像コンテンツに基づく少なくとも１つの画像を提示するステップとを含む。
【００２３】
また、本発明に係る関連技術は、ディスプレイと、デジタルマルチメディアオブジェクトのソースと、ユーザから入力を受信し、前記入力を前記ユーザによって行われたユーザ入力動作を示す選択信号に変換するように適応されたユーザ入力装置と、前記ディスプレイ、前記データマルチメディアオブジェクトソースおよび前記ユーザ入力装置に動作可能に接続されており、前記ディスプレイに、事前定義された組織メタファの第１の選択セットを表示させ、前記ユーザ入力装置から組織メタファの前記第１の選択セットのうちの１つのメタファの選択を受信させ、前記ディスプレイに、前記選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットを提示させ、事前定義された組織メタファの前記第２のセットのうちの１つのメタファの選択を受信させるように適応された処理装置とを含む画像表示装置であって、前記処理装置が、少なくとも２つのグループアイコンのうちの１つを含む結果を前記ディスプレイ上に表示させるようにさらに適応され、それぞれのグループアイコンが前記選択された組織メタファに関連する規則に従って前記コレクションから選択されたデジタルマルチメディアオブジェクトのグループ、および前記デジタルマルチメディアオブジェクトのコンテンツ、または前記画像メタデータファイルに関連するいずれかのメタデータを示し、各グループアイコンによって示されたデジタルマルチメディアオブジェクトの前記グループが結果提示規則に従って選択される。
【００２４】
また、前記関連技術においては、望ましくは、前記結果提示規則が、デジタルマルチメディアオブジェクトの前記セットからデジタルマルチメディアオブジェクトを選択するための規則と、前記グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のグループアイコンに関連付けるための規則とを含む。
【００２５】
また、前記関連技術においては、望ましくは、前記選択された組織メタファの少なくとも１つが、グループアイコンのヒストグラムタイムラインの前記表示を引き起こすイベントメタファを含む。
【００２６】
また、前記関連技術においては、望ましくは、デジタルマルチメディアオブジェクトの前記ソースが、メモリ、磁気ディスク、磁気テープ、光ディスク、半導体メモリ、または前記画像表示装置から分離される画像サーバとデータファイルを交換するように適応された通信回路を含む。
【００２７】
また、前記関連技術においては、望ましくは、前記グループアイコンおよび画像コンテンツのうちの少なくとも１つが、シミュレートされた深さの次元で提示される。
【００２８】
また、前記関連技術においては、望ましくは、前記ユーザインターフェースおよび処理装置が適応され、前記ユーザが２つ以上のグループアイコンの限られたセットを選択し、各グループアイコンの前記でデジタルマルチメディアオブジェクトに関連する情報を提示することを可能にする。
【００２９】
本発明の一態様における、ユーザインターフェースに関連する表示、デジタルマルチメディアオブジェクトのコレクションを操作するための方法。事前定義された組織メタファの第１の選択セットが提示され、事前定義された組織メタファの第１の選択セットからの第１の組織メタファの選択が受信される。選択された第１の組織メタファ以外の事前定義された組織メタファの第２の選択セットが提示され、事前定義された組織メタファの第２の選択セットからの第２の組織メタファの選択が受信される。少なくとも２つのグループアイコンのうちの１つを含む結果が表示上に提示され、それぞれのグループアイコンが、選択された組織メタファに関連する規則に従ってコレクションから選択されたデータマルチメディアオブジェクトのグループ、およびデジタルマルチメディアオブジェクトのコンテンツ、またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを含む。各グループアイコンによって示されたデジタルマルチメディアオブジェクトのグループは、結果表示規則に従って選択される。
【００３０】
本発明は、マルチメディアコレクションまたは単一のメディアオブジェクトをユーザに提示し、こうしたオブジェクトとの対話およびその選択を容易にする有効な方法を提供する。これらのオブジェクトは一般に、ユーザによって選択され、様々な媒体および記憶位置にわたって分散することができる、たとえば静止画像ファイル、音声を含むＭＰＥＧ−１モーションシーケンスなどのビジュアルデジタルオブジェクトや「ＷＡＶ」ファイルなどのデジタルオーディオオブジェクトである。
【００３１】
これらのオブジェクトのコレクション全体、また一部のサブセットでさえも大きすぎて、探索し、注釈し、処理しまたは見ることが難しくなることがある。
【００３２】
記録された音楽などの顕著な例外を除いて、これらのオブジェクトの大部分は、ユーザにとって、日付またはイベントに強く関連している。この日付は、静止画像、録音およびホームビデオシーケンスなどの個人的な記憶の場合のように、必ずしもではないが一般に、オブジェクトデータが発生した日付である。
【００３３】
これらのオブジェクトはそれぞれ、一般に日付に関連付けられているので、それを日付に従って編成することは自然である。タイムラインは、イベントを時系列に示す周知の方法であり、サムネイル画像などのオブジェクトの表現は、表示のためにタイムライン上に配列することができる。しかし、１つのオブジェクトより大きいコレクションは、特定の日付に関連付けることができ、コレクションは、長い時間範囲をカバーすることがある。こうした場合、すべてのオブジェクトのサムネイルをタイムラインに沿って配列することは非実用的である。本発明によれば、より有効な表現は、各日付または時間間隔に関連するオブジェクトの数が棒グラフなどのグラフィカルな形で表される、ヒストグラムタイムラインを構築することである。より具体的には、見て分かるように、ヒストグラムタイムラインは、所定の期間に従って編成されたビジュアルデジタルオブジェクトを表す。その後、サムネイル表現が、ヒストグラムタイムラインからの選択の後に生成される。
【発明の効果】
【００３４】
利点
本発明の１つの利点は、小さいディスプレイを使用しても迅速な探索を容易にするために、デジタルマルチメディアオブジェクトを一部自動的に編成できることである。イベントヒストグラムタイムラインの生成によってユーザへのデジタルマルチメディアオブジェクトコレクションの提示が容易になること、ならびにデジタルマルチメディアオブジェクトとの対話およびその選択を容易にすることも、本発明の特定の態様の利点である。
【図面の簡単な説明】
【００３５】
【図１】発明を実施するシステムのブロック図である。
【図２】本発明に従って作成されたヒストグラムタイムライン図である。
【図３Ａ】図２のようなヒストグラムタイムラインをどのように作成することができるか示し、選択されたこうした部分に対応するこうしたオブジェクトのこうしたサムネイル表現を見るためにヒストグラムタイムラインの一部をどのように選択するかさらに示すフローチャートである。
【図３Ｂ】ヒストグラムタイムラインの所望の範囲の決定を示し、また選択されたこうした部分に対応するこうしたオブジェクトのこうしたサムネイル表現を見るためにヒストグラムタイムラインの一部をどのように選択するか示すフローチャートである。
【図４】ヒストグラムタイムラインをどのように作成することができるかより詳細に示すフローチャートである。
【図５】表示装置の解像度およびサイズに応じてヒストグラムタイムラインをどのように作成することができるか示すフローチャートである。
【図６Ａ】初期状態にある表示画面上のヒストグラムタイムラインを示す図である。
【図６Ｂ】タイムラインの一部が選択された後の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｃ】短縮された時間スケール選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｄ】短縮された時間スケール選択中の表示画面上のサムネイル表現を伴わないヒストグラムタイムラインを示す図である。
【図６Ｅ】短縮された時間スケール選択後の表示画面上のヒストグラムタイムラインを示す図である。
【図６Ｆ】短縮された時間スケールのさらなる選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図６Ｇ】短縮された時間スケールのさらなる選択中の表示画面上のヒストグラムタイムラインおよびサムネイル表現を示す図である。
【図７】本発明を実施する別のシステムのブロック図である。
【図８】図７のシステムの一実施形態の外部正面図である。
【図９】デジタルマルチメディアオブジェクトの編成された表現を提示するための方法のフローチャートである。
【図１０】ディスプレイ上に提示された第１の選択セットを示す図である。
【図１１】ディスプレイ上に提示された第１および第２の選択セットを示す図である。
【図１２】第１および第２の選択セットを含むディスプレイ上に提示された結果画面を示す図である。
【図１３】結果画面、第１の選択セットおよび第２の選択セットを含むディスプレイ上に提示されたデジタルマルチメディアオブジェクトコンテンツを示す図である。
【図１４】第１の選択セット、第２の選択セットおよび結果画面を提示するディスプレイの別の例を示す図である。
【図１５】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１６】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１７】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１８】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【図１９】サブ結果画面を提示するディスプレイの別の例を示す図である。
【図２０】第１の選択セット、第２の選択セット、結果画面およびデジタルマルチメディアオブジェクトコンテンツを提示するディスプレイの別の例を示す図である。
【発明を実施するための形態】
【００３６】
図１に示されるように、本発明を実施するシステムは、たとえばＤｅｌｌ Ｄｉｍｅｎｓｉｏｎ Ｌであり得るホームコンピュータ１０を含む。ホームコンピュータ１０は、バス１２を介して他の装置と通信するＣＰＵ１４を含む。ＣＰＵ１４は、ハードディスクドライブ２０内に格納されたソフトウェア、たとえば、ワシントン州ＲｅｄｍｏｎｄのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐ．社によって提供された周知のＷｉｎｄｏｗｓ（登録商標） ９８オペレーティングシステムソフトウェアを実行する。ビデオ表示装置５２は、表示インターフェース装置２４を介してＣＰＵ１４に結合される。マウス４４およびキーボード４６は、デスクトップインターフェース装置２８を介してＣＰＵ１４に結合される。ホームコンピュータ１０は、様々なＣＤ媒体を読み出し、ＣＤ−ＲまたはＣＤ−ＲＷ書込み可能な媒体４２に書き込むためのＣＤ−Ｒ／Ｗドライブ３０をも含む。フロッピー（登録商標）ディスク４０から読み書きするためのフロッピー（登録商標）ディスクドライブ３２も含まれる。バス１２に接続されたオーディオインターフェース装置２６は、たとえば、ハードディスクドライブ２０内に格納されたデジタル音声ファイルからのオーディオデータを、スピーカー５０に適したアナログオーディオ信号に変換することを可能にする。またオーディオインターフェース装置２６は、マイクロホン４８からのアナログオーディオ信号を、たとえばハードディスクドライブ２０内の格納に適したデジタルデータに変換する。さらに、ホームコンピュータ１０は、ネットワーク接続装置１８を介して外部ネットワーク６０に接続される。デジタルカメラ６は、静止画像、オーディオ／ビデオ、および音声ファイルをカメラからハードディスクドライブ２０にまたその逆に転送するために、たとえばＵＳＢインターフェース装置３４を介してホームコンピュータ１０に接続することができる。
【００３７】
デジタルマルチメディアのコレクションまたは単一のメディアオブジェクト（デジタル画像）は、ハードディスクドライブ２０、コンパクトディスク４２、またはネットワーク６０を介してアクセス可能なウェブサーバなどのリモート記憶装置内だけに常駐することがある。コレクションは、これらのうちのいずれかまたはすべてにわたって分散することもできる。
【００３８】
コレクションを表現するために、デジタルマルチメディアオブジェクトのすべてを、データベースとして互いに関連付けなければならない。これらのデジタルマルチメディアオブジェクトは、デジタルカメラによって生成されたものなどのデジタル静止画像、デジタル化された音楽や、「ＷＡＶ」または「ＭＰ３」オーディオファイル形式の音声注釈ファイルなどのオーディオデータ、およびＭＰＥＧ−１やＭＰＥＧ−４ビデオなどの音声付きまたは音声無しのデジタルビデオセグメントであり得ることが理解されよう。デジタルマルチメディアオブジェクトは、グラフィックソフトウェア、たとえば周知のＶｉｓｉｏグラフィックスソフトウェア製品によって作成されたファイル、および周知のＭｉｃｒｏｓｏｆｔ Ｗｏｒｄ製品によって作成されたものなど、テキストドキュメントを表すファイルをも含む。デジタルマルチメディアオブジェクトのデータベースは、１つのタイプだけのオブジェクトを含むことも、いずれかの組合せも含むこともある。
【００３９】
デジタルマルチメディアオブジェクトのコレクションがデータベースを形成するように互いに関連付けられると、それは、本発明に従ってユーザに対して表すことができる。図２は、ヒストグラムタイムラインの一例を示している。この例では、水平軸は、時間単位で列挙されており、垂直軸は、デジタルマルチメディアオブジェクトの数として列挙されている。あるいは、垂直軸は、デジタルマルチメディアオブジェクトの相対数として列挙することができる。グラフの棒８０の長さは、タイムライン８２および８４上の所定の期間の、選択されたデータベース内のオブジェクトの相対数を表す。期間は、その間隔内の日付に関連するオブジェクトが一緒にカウントされる時間間隔である。期間は、任意の継続時間を有することができるが、一般には１日以上である。ヒストグラムの表示領域が小さく、またはタイムラインの長さが非常に大きいので、短い期間を適切に表示することができない場合、より大きい期間が構築されることがある。この例では、時間スケール８２は月増分で構成されており、時間スケール８４は年増分で構成されているが、単一の時間スケールも可能である。
【００４０】
図３Ａは、ヒストグラムタイムラインの生成、および本発明を実施するためのインタラクティブなステップを示すフローチャートである。ステップ１００で、ヒストグラムタイムラインが、各日付に関連するデータベース内のオブジェクトの数をカウントすることによって形成される。その結果、内部的には、順序付けられた数の対の配列が生じる。対の中の１つの数字は、所定の日付を表し、関連する数は、日付に関連するオブジェクトの数を表す。
【００４１】
ステップ１０２で、図６Ａに示されるように、ヒストグラムタイムラインがユーザにグラフ表示され、所定の日付範囲（タイムライン）が、たとえば、選択されたデータベース内のオブジェクトのすべてに関連する最初から最後の日付に基づいている。領域６００は、タイムラインが位置する領域を指しており、６０４および６０６は、それぞれ細かいおよび粗いタイムラインスケールである。領域６０２は、デジタルマルチメディアオブジェクトのアイコンまたはサムネイル表現をユーザに表示することができる表示可能な別個の領域である。ユーザは、表現のうちの１つまたは複数を選択して、見、聞きかつ／または処理することもできる。ポインタ６１０は、マウス、ジョイスティックまたは眼球運動追跡装置などの選択装置である。
【００４２】
図３Ａを再び参照すると、ステップ１０４で、ユーザが、ヒストグラムタイムライン上で関心のある日付を選択する。これは図６Ｂに示されており、この図では、ユーザは、マウスを移動してタイムライン上で特定のヒストグラムバーにグラフィカルポインタ６１０を移動し、マウスボタンを「クリック」することによって日付を選択する。タイムラインが１日より長い場合、ヒストグラムバーを「クリックする」と、期間間隔に含まれる日付範囲が選択される。日付を選択した後、図３Ａのステップ１０６に従って、選択された日付に関連するオブジェクトに対応してサムネイルまたはアイコン表現が現れる。さらに、表示されたサムネイルおよびアイコン表現は、その開示を本願に引用して援用する、１９９８年９月３０日に出願された同一出願人による米国特許出願第０９／１６３６１８号、「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｌａｓｓｉｆｙｉｎｇ Ｉｍａｇｅｓ Ｉｎｔｏ Ｅｖｅｎｔｓ」、アレクサンダ Ｃ．ルイス他、および１９９８年１１月２０日に出願された同一出願人による米国特許出願第０９／１９７３６３号、「Ａ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｃｏｍｐａｒｉｎｇ Ｃｏｎｔｅｎｔ ｏｆ Ｉｍａｇｅｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｉｎｔｏ Ｅｖｅｎｔｓ」、アレクサンダ Ｃ．ルイス他に記載されたように、それが関連するイベントに従ってグループ化することができる。
【００４３】
ステップ１０８で、ユーザは、表示された表現が関心の対象かどうか決定する。そうでない場合は、ステップ１１０に示されるように、ユーザは、ヒストグラムタイムライン上の新しい日付を選択することができる。ステップ１１２で、新しい画像あるいはサムネイル表現は、新しい日付に関連するオブジェクトに対応して表示される。あるいは、ユーザに表示された範囲のちょうど外側に伸びているサムネイルまたはアイコン表現にアクセスするために、他のやり方を使用することができる。たとえば、時間的に前後にスクロールするために、表現の配置されたスクロールバーを使用することができ、それに応答して表現およびタイムラインが変化する。本発明の実施において、新しい表示位置へのサムネイルの「ドラッグ」は、それを選択し、次いでポインタを移動することによって遂行できることが理解されよう。サムネイルをドラッグするにつれて、動きの方向のサムネイル表現は「プッシュ」されて画面から外れ、新しいサムネイル表現が反対側から「プル」されて、画面内に入る。
【００４４】
図３Ａを再び参照すると、サムネイル表現の１つ以上が関心の対象である場合、ユーザは、ステップ１１４に示されるように、表現されたオブジェクトのうちの１つを表示し、または処理することに進むことができる。処理は、たとえば、画像をより高い解像度で表示するための画像ビューアを呼び出すこと、静止画像を編集するために画像エディタを呼び出すこと、オーディオデータを聞くためにオーディオプレーヤーを呼び出すこと、またはビデオシーケンスを見るためにビデオプレーヤーを呼び出すことを伴うことがある。処理は、オーディオ、グラフおよびテキスト注釈をオブジェクトに追加すること、別のデータベースまたはコレクションにオブジェクトを転送すること、あるいはデジタルマルチメディアオブジェクトタイプおよびユーザの要望に基づく他の何らかの機能を伴うこともある。
【００４５】
図３Ｂは、ヒストグラムタイムラインの生成、およびそれとの対話に関与するさらなるステップを示すフローチャートである。ステップ１３０に示されるように、各データに関連するデータベース内のオブジェクトの数をカウントすることによってヒストグラムタイムラインが形成される。その結果、内部的には、順序付けられた対の配列が生じる。対の中の１つの数字は、所定の日付を表し、関連する数は、日付に関連するオブジェクトの数を表す。
【００４６】
図６Ａに示されるように、ステップ１３２で、ヒストグラムタイムラインがユーザにグラフ表示され、日付の所定範囲（タイムライン）が、たとえば、選択されたデータベース内のオブジェクトのすべてに関連する最初から最後の日付に基づいている。このヒストグラムは、２つの時間スケール、すなわち、まる１年などの粗い間隔を有する１次時間スケール、およびまる１ヶ月などのより細かい間隔を有する２次時間スケールで表示されている。
【００４７】
ステップ１３４で、ユーザは、タイムライン範囲がそれを有効に扱うには大きすぎるかどうか判断する。そうである場合は、ステップ１３６で、ユーザは、粗い１次タイムスケール、またはより細かい２次タイムスケールで間隔を選択する。図６Ｃは、粗い時間スケールでの１９９９年の選択を示しており、その年からランダムに選択されたオブジェクトの表現が現れており、日付が、たとえばマウスボタンを押下することによって選択される。さらに、１９９９年を指す領域は、選択を示唆するために強調されている。ユーザによってマウスボタンが押下される限り、この表現は現れ続けることができる。あるいは、表現の表示が、ユーザがマウスボタンを押下したいと望む時間量に対して遅い場合には、図６Ｄに示されるように、表現を表示せずに、１９９９年を指す領域だけが強調される。
【００４８】
ユーザによってマウスボタンが放されると、ヒストグラムタイムラインは、図３Ｂのステップ１３８に従って再表示され、図６Ｅに示されるように、ヒストグラムタイムラインの最初および最後の日時が、選択された間隔の範囲に一致するように変更される。プロセスが繰り返される場合、１次および２次のタイムライン間隔が適宜変更される。たとえば、図６Ｆに示されるように、ユーザがＭａｙ １９９９の月を選択する場合、マウスボタンがユーザによって押下されている間、「Ｍａｙ １９９９」に関連するオブジェクトに対応する新しいサムネイルまたはアイコン表現が表示される。ユーザがマウスボタンを放すとき、ヒストグラムタイムラインは、ヒストグラムタイムラインの最初および最後の日付がＭａｙ １９９９の月に対応するように再表示される。次いで、図６Ｇに示されるように、粗い間隔は月であり、細かい間隔は日である。図６Ｇにやはり示されるように、月のいずれかの日が選択されると、その日に関連するデジタルマルチメディアオブジェクトに対応して、サムネイルまたはアイコン表現が表示されることになる。
【００４９】
図３Ｂのステップ１４４に示されるように、プロセスのいずれかの時点で、ユーザは、図６Ｂで上記に示されてように、ヒストグラムタイムライン表現のいずれかの上のバーを選択することによって日付を選択することができる。ステップ１４６に示されるように、日付に対応するデジタルマルチメディアオブジェクトの表現が表示される。ユーザは、ステップ１４２に従って特定のサムネイル表現に関心があった場合には、ステップ１４８に示されるように、たとえば表現の上で「ダブルクリック」することによって実際のオブジェクトまたはオブジェクトセットを見、または別のやり方で対話してもよい。
【００５０】
図４は、本発明によるヒストグラムタイムラインをどのように生成できるかより詳細に示すフローチャートである。ステップ２１０で、データベース内の各マルチメディアオブジェクトがアクセスされ、発生日付が、デジタルカメラからのキャプチャ日付などのヘッダデータから、またはオブジェクトに関連する他の何らかのデータから確立される。たとえば、信頼できるヘッダ情報がない場合、オブジェクトのファイルの発生日付が使用されてもよい。あるいは、ユーザによって入力された注釈が探索され得る。ステップ２１２で、ヒストグラムタイムラインを形成するために、各日付に関連するオブジェクトの数が決定される。最後に、ステップ２１４で、ヒストグラムタイムラインがユーザに表示される。
【００５１】
図５は、表示装置の解像度およびサイズに応じてヒストグラムタイムラインをどのように作成することができるか示すフローチャートを示している。これは、表示解像度およびサイズが制限される携帯電話や携帯情報端末などの携帯装置にヒストグラムが表示される場合、重要になることがある。さらに、それは、ヒストグラムタイムラインの時間範囲が非常に長く、個々の期間を十分に表示することができない場合のどの表示にも有用である。
【００５２】
ヒストグラムタイムラインが生成されると、ステップ２３０に示されるように、表示されるヒストグラムタイムラインの開始および終了日が決定される。ステップ２３２で、表示領域の解像度および物理サイズが決定される。たとえば、解像度は、表示領域を構成する水平および垂直ピクセルの数として表現されてもよく、表示領域のサイズは、ミリメートル単位の水平および垂直寸法で表現され得る。
【００５３】
次いで、ステップ２３４で、明確に表示することができるヒストグラムビン（ｈｉｓｔｏｇｒａｍ ｂｉｎ）の数が計算される。明確に表示することができるヒストグラムビンの数は、たとえば、人間の視覚系モデルなどの追加の要因を含むことがある。
【００５４】
ステップ２３６で、明確に表示することができるヒストグラムビンの数およびヒストグラムタイムラインの所望の開始および終了日付に基づいて、新しい期間サイズが計算される。ステップ２３８で、ビンサイズが修正された新しいヒストグラムタイムラインが生成される。最後に、ステップ２４０で、より見やすいビンサイズを有する、修正されたヒストグラムタイムラインが表示される。
【００５５】
ヒストグラムタイムラインは、パーソナルコンピュータ、またはカメラホン、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルカメラなどの携帯撮像装置、および／またはマルチメディアビデオ／オーディオ装置上の大きい画像コレクションのブラウズに適用できることを理解されたい。たとえば、日、月および年などの時間要素に対するイベント／サブイベントでクラスタ化された画像を表示するグラフィックユーザインターフェースは、ユーザが単純なコントロールを使用して、パーソナルコンピュータまたは小さいディスプレイ上で大量の画像／ビデオを迅速にブラウズするのに役立ち得る。
【００５６】
イベント／サブイベントは、キャプチャされた日時、ならびに画像のカラーヒストグラムを解析するアルゴリズムを自動的に使用して決定され得る。イベントの境界は、入力画像に関連する時差ヒストグラムに２平均クラスタリングアルゴリズムを適用することにより決定され得る。検出された各イベントについて、ブロックヒストグラム相関法を使用して、サブイベント境界が決定され得る。これらの方法は、先行技術の米国特許第６３５１５５６号に開示されている。上記の技術の代わりに、イベントおよびサブイベントクラスタを検出する他の方法も使用され得る。
【００５７】
上記のイベント、サブイベントおよび相対時間法は、大量の画像およびビデオクリップの迅速なナビゲーションを可能にするグラフィックユーザインターフェースを使用して表示され得る。
【００５８】
図７は、本発明を実施するための別のシステム７１０の一実施形態のブロック図を示している。図８は、システム７１０の一実施形態の外部ビューを示している。システム７１０は、携帯型であり、図７に示されるように、オプション画像キャプチャシステム７２２を含む本体７２０を含み、このオプション画像キャプチャシステム７２２は、デジタルマルチメディアオブジェクトのキャプチャおよび／またはレビューを可能にするために、信号プロセッサ７２６、オプション表示ドライバ７２８およびディスプレイ７３０、ならびにコントローラ７３２およびユーザシステム７３４と共に動作するように適応される。
【００５９】
図８に示された本体７２０の実施形態は、当技術分野で知られている二つ折りのタイプの携帯電話に一致する。しかし、本体７２０は、他の形状および他の形を有してもよい。この実施形態では、オプション画像キャプチャシステム７２２は、レンズシステム７２３と、画像センサ７２４と、レンズドライバ７２５とを含む。動作において、シーンからの光は、レンズシステム７２３によって、画像センサ７２４上で画像を形成するように焦点が合わせられる。レンズシステム７２３は、１つ以上の要素を有することができる。レンズシステム７２３は、固定焦点タイプであってもよく、手動でまたは自動的に調整可能であってもよい。レンズシステム７２３は任意選択で、手動でまた自動的に変更することができる可変ズームを提供するように調整可能である。レンズシステム７２３のために、他の知られている構成を使用することができる。レンズドライバ７２５は、レンズシステム７２３を自動的に調整するために提供される。レンズドライバ７２５は、コントローラ７３２によって操作することができ、あるいは、それは、適切な場合には距離計７２７によって直接操作することができる。
【００６０】
レンズシステム７２３によって画像センサ７２４上に焦点が合わせられるシーンからの光は、シーンの画像を表す画像信号に変換される。イメージセンサ７２４は、電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｉｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、または当業者に知られている他の任意の電子画像センサを含むことができる。こうした画像信号は、デジタルの形であっても、アナログの形であってもよい。一般的に、こうした画像信号は、サンプリングされたアナログ信号を含む。
【００６１】
信号プロセッサ７２６は、画像センサ７２４から画像信号を受信し、画像信号をデジタルデータの形のデジタルマルチメディアオブジェクトに変換する。示された実施形態では、信号プロセッサ７２６は、アナログデジタル変換能力を有する。あるいは、アナログデジタル変換器（図示せず）は、画像信号のうちの１つ以上をデジタルマルチメディアオブジェクトに変換するために、画像センサ７２４と信号プロセッサ７２６の間に位置することができる。この代替案では、信号プロセッサ７２６は、デジタル信号プロセッサを含むことができる。
【００６２】
信号プロセッサ７２６によって提供されたデジタルマルチメディアオブジェクトは、１つ以上の静止画像、複数の静止画像、および／またはビデオセグメントなどの移動しているように見える画像のストリームを含むことができる。デジタル画像データが移動しているように見える画像のストリームを含む場合、デジタル画像データは、インタリーブされまたはインタレースされた画像の形で格納された画像データ、静止画像のシーケンス、および／またはビデオ技術の当業者に知られている他の形で格納された画像データを含むことができる。
【００６３】
信号プロセッサ７２６は、デジタルマルチメディアオブジェクトを形成するとき、画像信号に様々な画像処理アルゴリズムを適用することができる。これらには、それだけに限らないが、色および露出バランス、補間ならびに圧縮が含まれる。
【００６４】
コントローラ７３２は、画像処理の操作中に、それだけに限らないが、オプション画像キャプチャシステム７２２、ディスプレイ７３０、およびメモリ７４０などのメモリを含めて、システム７１０の動作を制御する。コントローラ７３２は、ユーザ入力システム７３４から受信された信号、信号プロセッサ７２６からのデータ、およびオプションセンサ７３６から受信されたデータに応答して、画像センサ７２４、信号プロセッサ７２６、メモリ７４０およびディスプレイ７３０に画像をキャプチャさせ、処理させ、格納させ、表示させる。コントローラ７３２は、プログラマブル汎用マイクロプロセッサ、専用マイクロプロセッサ、またはマイクロコントローラなどのマイクロプロセッサ、あるいは、システム７１０の動作を制御するために使用することができる他の任意のシステムを含むことができる。
【００６５】
コントローラ７３２は、システム７１０がユーザと対話することを可能にするために、ユーザ入力システム７３４と共に動作する。ユーザ入力システム７３４は、任意の形のトランスデューサ、あるいはユーザから入力を受信し、この入力をオペレーティングシステム７１０内のコントローラ７３２によって使用することができる形に変換することができる他の装置を含むことができる。たとえば、ユーザ入力システム７３４は、タッチ画面入力、タッチパッド入力、４ウェイスイッチ、５ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャ認識システムまたは他のこうしたシステムを含むことができる。図７および８に示された実施形態では、ユーザ入力システム７３４は、静止画像または他のデジタルマルチメディアオブジェクトをキャプチャする要望を示すことができるトリガ信号をコントローラ７３２に送信するキャプチャボタン７６０を含む。
【００６６】
図７および８に示されたシステム７１０の実施形態では、ユーザ入力システム７３４は、広角ズームボタン７６４およびテレズームボタン７６２をも含み、これらのボタンは、広角ズームボタン７６４の押下時にはレンズシステム７２３をズームアウトさせ、テレズームボタン７６２の押下時にはズームアウトさせるレンズシステム７２３のズーム設定を制御するようにコントローラ７３２と共に働く。広角ズームボタン７６４およびテレズームボタン７６２は、信号プロセッサ７２６によって形成されたデジタル静止画像または他のデジタルマルチメディアオブジェクトが、光学レンズシステムによって実際に提供されたものとは異なるズーム設定でキャプチャされたように見えるように信号プロセッサ７２６に画像信号を処理させる信号を供給するために使用することもできる。これは、デジタルマルチメディアオブジェクを形成する際に使用するための画像信号のサブセットを選択し、デジタル画像を形成するように画像信号のサブセットを任意選択で補間することによって行うことができる。ユーザ入力システム７３４は、図８に示された選択ボタン７６５、ジョイスティック７６６、図８に示されたモード選択ボタン７６７、５ウェイスイッチ７６８、およびキーパッド７６９を含めて、他のボタンおよび入力を含むこともでき、その機能については、以下でより詳細に述べる。
【００６７】
センサ７３６は、任意選択のものであり、光センサ、位置センサ、あるいは携帯型システム７１０の周囲環境の状態を検出し、システム７１０の動作を管理する際にコントローラ７３２によって使用することができる形にこの情報を変換するために使用することができる当技術で知られている他のセンサを含むことができる。物体への距離などの状態を検出するために、距離計７２７を使用することもできる。センサ７３６は、セキュリティおよび感情画像処理のためにユーザの特性を検出するように適応されたバイオメトリックセンサ（図示せず）を含むこともできる。
【００６８】
コントローラ７３２は、トリガ状態が検出される場合は、画像信号および対応するデジタルマルチメディアオブジェクトを形成させる。一般には、トリガ状態は、ユーザがキャプチャボタン７６０を押下するときに生じるが、しかし、コントローラ７３２は、特定のときに、またはキャプチャボタン７６０が押下された後の特定のときに、トリガ状態が存在すると決定することができる。あるいは、コントローラ７３２は、オプションセンサ７３６が赤外線光のパルスなどの特定の環境状態を検出するときに、トリガ状態が存在すると決定することができる。
【００６９】
コントローラ７３２は、各マルチメディアオブジェクトに関連してメタデータを生成するために使用することもできる。メタデータは、デジタルマルチメディアオブジェクト、またはデジタルマルチメディアオブジェクトの一部に関するが、ユーザに提示されたデジタルマルチメディアオブジェクトにおいて必ずしも観察できるとは限らないデータである。この点で、コントローラ７３２は、信号プロセッサ７２６、ユーザ入力システム７３４および他のセンサ７３６から信号を受信することができ、こうした信号に基づいてメタデータを任意選択で生成することができる。メタデータは、それだけに限らないが、デジタルマルチメディアオブジェクトがキャプチャされた時間、日付および位置などの情報、マルチメディアオブジェクトをキャプチャする際に使用された画像センサ７２４のタイプ、モード設定情報、積分時間情報、アーカイブ画像をキャプチャするのに使用されたプロセス、アーカイブ画像を形成するのにシステム７１０によって使用されたプロセス、方法およびアルゴリズムを特徴付ける撮影レンズユニット情報設定を含むことができる。メタデータは、それだけに限らないが、システム７１０を識別する情報など、コントローラ７３２によって決定され、システム７１０内のいずれかのメモリに格納された他の任意の情報、および／またはメタデータが関連付けられるデジタル画像データをレンダリングしまたは他のやり方で処理するための命令を含むこともできる。メタデータは、提示されたときに、特定のメッセージをデジタルマルチメディアオブジェクトに組み込むための命令を含むこともできる。こうしたメッセージは、デジタル画像が提示されまたはレンダリングされたときにレンダリングされるテキストメッセージであり得る。メタデータは、オーディオ信号をも含むこともできる。メタデータはさらに、デジタル画像データを含むことができる。メタデータは、システム７１０内に入力された他の任意の情報を含むこともできる。
【００７０】
デジタルマルチメディアオブジェクトおよびオプションメタデータは、圧縮した形で格納することができる。たとえば、デジタルマルチメディアオブジェクトが静止画像を含む場合、静止画像は、たとえばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：ジョイントフォトグラフィックエキスパートグループ）ＩＳＯ １０９１８−１（ＩＴＵ−Ｔ．８１）規格を使用することによって、圧縮した形で格納することができる。このＪＰＥＧ圧縮画像データは、日本電子情報技術産業協会ＪＥＩＴＡ ＣＰ−３４５１によって公開された交換可能画像ファイル形式バージョン２．２に定義された、いわゆる「Ｅｘｉｆ」画像形式を使用して格納される。ビデオの形である画像情報のストリームのデジタル画像シーケンスを格納するために、ＭＰＥＧ−４（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ：動画専門家グループ）など、他の圧縮システム、またはＡｐｐｌｅ Ｑｕｉｃｋｔｉｍｅ（商標）規格を使用することができる。他の画像圧縮および格納の形が使用されてもよい。
【００７１】
デジタルマルチメディアオブジェクトおよびメタデータは、メモリ７４０などのメモリにコレクションとして格納することができる。メモリ７４０は、ソリッドステート、磁気、光学または他のデータストレージ装置を含めて、従来のメモリ装置を含むことができる。メモリ７４０は、システム７１０内で固定することができ、またはそれは、取外し可能とすることができる。図７および図８の実施形態では、メモリカードスロット７４６を含むシステム７１０が示されており、このメモリカードスロット７４６は、取外し可能メモリカードなどの取外し可能メモリ７４８を保持し、取外し可能メモリ７４８と通信するための取外し可能メモリインターフェース７５０を有する。デジタルマルチメディアオブジェクトおよびメタデータは、パーソナルコンピュータ、コンピュータネットワーク、Ｋｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙなどのネットワーク化されたサーバ、通信ネットワーク、通信システム内のメモリなど、システム７１０の外部にあるリモート記憶システム７５２内にコレクションとして格納することもできる。
【００７２】
図７および８に示された実施形態では、システム７１０は、リモート記憶システムと通信するための通信モジュール７５４を含む。通信モジュール７５４は、たとえば光学、無線周波数または他のトランスデューサとすることができ、このトランスデューサは、画像および他のデータを、光信号、無線周波数信号または他の形の信号によってリモート画像処理システムに伝えることができる形に変換する。通信モジュール７５４は、ホストコンピュータまたはネットワーク（図示せず）からデジタルマルチメディアオブジェクトおよび他の情報を受信するために使用することもできる。コントローラ７３２は、それだけに限らないが、リモートトリガボタン（図示せず）など、リモート制御装置（図示せず）からの信号を含めて、通信モジュール７５４によって受信された信号から情報および命令を受信することもでき、こうした信号に従ってシステム７１０を動作させることができる。
【００７３】
また信号プロセッサ７２６は任意選択で、キャプチャされた画像データに対応する外観を有しており、ディスプレイ７３０上の提示に適応された評価画像を形成するために、画像信号またはデジタル画像を使用する。これによって、システム７１０のユーザは、デジタルキャプチャシステム７１０で得られるデジタル画像、たとえば画像キャプチャシステム７２２によってキャプチャされ、さもなければメモリ７４０、取外し可能メモリ７４８内に格納されており、または通信モジュール７５４を介して受信される画像を観察することができる。ディスプレイ７３０は、たとえばカラー液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機エレクトロルミネッセントディスプレイ（ＯＥＬＤ：ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）としても知られている有機電子発光ディスプレイ（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ）、または他のタイプのビデオディスプレイを含むことができる。図８に示されるように、ディスプレイ７３０は、外部から見えるものであってもよく、またはそれは、たとえば内部的に見ることができ、ビューファインダシステム（図示せず）内で使用することができる。あるいは、システム７１０は、２つ以上のディスプレイ、たとえば外部から見えるもの１つと、内部的に見えるもの１つとを有することができる。
【００７４】
また信号プロセッサ７２６およびコントローラ７３２は、コントローラ７３２とシステム７１０のユーザとの間のインタラクティブ通信を可能にすることができるディスプレイ７３０上に提示するためのテキスト、グラフィックス、アイコンなどの画像および他の情報を生成するために共に働き、ディスプレイ７３０がシステム７１０のユーザに情報を提供し、システム７１０のユーザがユーザ入力システム７３４を使用して、情報をシステム７１０にインタラクティブに提供する。システム７１０は、信号プロセッサ７２６および／またはコントローラ７３２がユーザに情報を提供することを可能にすることもできる、セグメント化されたＬＣＤや発光ダイオードディスプレイ（図示せず）など、他のディスプレイを含むこともできる。この能力は、操作モード、制御設定の入力、ユーザ嗜好の確立、およびシステム７１０のユーザへの警告および命令の提供など、様々な目的のために使用される。システム７１０のユーザに情報、フィードバックおよび警告を提供する際に使用するために、オーディオ信号、振動、触覚フィードバック、および他の形の信号を生成するための知られているシステムおよびアクチュエータなど、他のシステムをシステム７１０内に組み込むこともできる。
【００７５】
一般に、ディスプレイ７３０は、画像センサ７２４より小さい画像解像度を有する。したがって、信号プロセッサ７２６は、ディスプレイ７３０上の提示に適応された評価画像を形成するときに、画像信号またはデジタルマルチメディアオブジェクトからの解像度を減少させる。ダウンサンプリング、および画像処理の全体的な解像度を減少させるための他の従来技術を使用することができる。たとえば、１９９０年３月１５日にクフタ（Ｋｕｃｈｔａ）他によって出願された、同一出願人による米国特許第５１６４８３１号、「Ｅｌｅｃｔｒｏｎｉｃ Ｓｔｉｌｌ Ｃａｍｅｒａ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉ−Ｆｏｒｍａｔ Ｓｔｏｒａｇｅ Ｏｆ Ｆｕｌｌ Ａｎｄ Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅｓ」に記載されたようなリサンプリング技術を使用することができる。評価画像は任意選択で、メモリ７４０などのメモリに格納することができる。評価画像は、ディスプレイ７３０を駆動するために使用することができるオプションディスプレイドライバ７２８に提供されるように適応させることができる。あるいは、評価画像は、直接にディスプレイ７３０に評価画像を提示させる形で信号プロセッサ７２６によって送信することができる信号に変換することができる。これが行われる場合、ディスプレイドライバ７２８は省略することができる。
【００７６】
システム７１０は、画像センサ７２４、および上述の画像キャプチャシステムの他のコンポーネントを使用して、デジタルマルチメディアオブジェクトをキャプチャする。デジタルマルチメディアオブジェクトをキャプチャするために使用することができる画像処理操作は、キャプチャプロセスを含み、構成プロセスおよび検証プロセスを任意選択で含むこともできる。
【００７７】
オプションの構成プロセスの間、コントローラ７３２は、信号プロセッサ７２６に、画像センサ７２４と協力して、デジタルマルチメディアオブジェクトをキャプチャし、対応する評価画像をディスプレイ７３０に表示させる。図７および図８に示された実施形態では、コントローラ７３２は、キャプチャボタン７６０が半分押下された位置に移動されたときに、画像構成段階に入る。しかし、構成段階に入るときを決定するための他の方法が使用されてもよい。たとえば、ユーザ入力システム７３４のうちの１つ、たとえば、図８に示されたジョイスティック７６６がシステム７１０のユーザによって押下されてもよく、これは、コントローラ７３２によって、構成段階に入るための命令と解釈することができる。構成の間に提示された評価画像は、ユーザがデジタル画像のキャプチャ用のシーンを構成する助けとなり得る。
【００７８】
キャプチャプロセスは、コントローラ７３２がトリガ状態の存在を決定することに応答して実行される。図７および８の実施形態では、キャプチャボタン７６０が完全な押下状態に移動されるときにトリガ信号が生成され、コントローラ７３２は、トリガ信号を検出するときに、トリガ状態が存在すると決定する。キャプチャプロセスの間、コントローラ７３２は、キャプチャ信号を送信して、信号プロセッサ７２６に、イメージセンサ７２４から画像信号を取得させ、デジタル像を含むデジタル画像データを形成するように画像信号を処理させる。デジタル画像に対応する評価画像は任意選択で、画像信号に基づいて、信号プロセッサ７２６によってディスプレイ７３０に提示されるように形成される。代替の一実施形態では、信号プロセッサ７２６は、それぞれの画像信号をデジタル画像に変換し、次いで、デジタル画像から評価画像を取り出す。
【００７９】
検証プロセスの間、対応する評価画像が、ディスプレイ７３０に供給され、ある期間の間提示される。これによって、ユーザは、デジタル画像が好ましい外観を有することを検証することができる。
【００８０】
システム７１０は、画像をキャプチャし、システム７１０内のメモリ７４０に画像を格納すること以外によって、デジタルマルチメディアオブジェクトのコレクションにアクセスすることもできる。たとえば、デジタルマルチメディアオブジェクトのコレクションのうちの一部またはすべてが、メモリインターフェース７５０に挿入された取外し可能メモリ内に記録されるときに、こうした画像をシステム７１０に伝えることができる。別の例では、通信モジュール７５４が、携帯電話網を介して通信するように適応される場合、通信モジュール７５４は、携帯電話番号または他の識別番号と関連付けられることができ、この番号を、たとえば、デジタルカメラを備えた電話のユーザなど、携帯電話網の別のユーザが使用して、システム７１０との通信リンクを確立し、通信モジュール７５４によって受信することができるデジタルマルチメディアオブジェクトを送信することができる。
【００８１】
あるいは、システム７１０は、リモートメモリ７５２など、本体７２０の外部に格納されたデジタルマルチメディアオブジェクトのコレクションにアクセスするために通信モジュール７５４を使用することができる。たとえば、通信モジュール７５４が携帯電話能力または他の無線能力が可能な場合、イネーブルされた携帯電話、または上記のＫｏｄａｋ ＥａｓｙＳｈａｒｅ Ｇａｌｌｅｒｙなどの他の画像サーバ、または他の任意のリモートメモリ７５２から画像にアクセスすることができる。
【００８２】
メモリ７４０または通信モジュール７５４、あるいはシステム７１０の他の回路およびシステムは、上記の無線通信用のＢｌｕｅｔｏｏｔｈ（登録商標）規格などの無線通信プロトコル、またはＩＥＥＥ１３９４「Ｆｉｒｅｗｉｒｅ」規格やユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）規格などの有線プロトコルを使用してデジタルマルチメディアオブジェクトのコレクションを送受信し、または別のやり方でそれにアクセスする能力を有することができる。
【００８３】
したがって、システム７１０がデジタルマルチメディアオブジェクトのコレクションへのアクセスをユーザに提供することができる様々なやり方があり、したがって、それだけに限らないが、上述のものを含めて、システム７１０に画像をインポートするのに使用可能な他の手段がある限り、システム７１０がオプション画像キャプチャシステム７２２を有することは必須ではない。
【００８４】
図７および８に示されるように、画像キャプチャ装置７２０のユーザ入力システム７３４は、キャプチャボタン７６０、テレズーム設定入力７６２、広角ズーム設定入力７６４、選択ボタン７６５、ジョイスティック７６６、シーンモードセレクタ７６７および５ウェイスイッチ７６８を含めて、様々なユーザ入力コントロールを備える。コントローラ７３２は、上述されたテレズーム設定入力７６２および広角ズーム設定入力７６４から受信された信号に応答して、画像キャプチャシステム７２２によってキャプチャされた画像の有効ズーム比を増加および減少させるように適応される。モードセレクタ７６７は、たとえばカメラ７２０を使用してデジタルマルチメディアオブジェクトをキャプチャするための複数の異なる画像キャプチャモードを含めて、１組の可能な操作モードのうちの１つを撮影者が手動で選択すること可能にするために使用される。図７および８に示された実施形態では、それぞれ異なるこうしたキャプチャ画像モードは、デジタルマルチメディアオブジェクトをキャプチャするために使用される画像キャプチャ設定がコントローラ７３２によって自動的に決定される自動モードと、デジタルマルチメディアオブジェクトをキャプチャするために使用される設定がユーザ入力および／または嗜好に基づいて決定される手動モードと、急速に変化するシーンのキャプチャに最適化される画像キャプチャ設定を使用して画像がキャプチャされるアクションモードと、コントローラ７３２が、一般に静止したシーンの画像キャプチャに最適化された画像キャプチャ設定を使用して画像をキャプチャさせるポートレートモードとを含むことができる。
【００８５】
コントローラ７３２は、ディスプレイ７３０上に提示されたメニューおよびデジタルマルチメディアオブジェクトをナビゲートする際に使用するため、および決定を行うための入力をユーザが行うことを可能にするために、ジョイスティック７６６および／または５ウェイスイッチ７６８からの信号を使用するようにも適応される。
【００８６】
さらに、図７および８の実施形態では、キーパッドユーザ入力７６９は、たとえば電話をかけ、テキストメッセージングを使用して通信し、あるいは他の目的のためにテキストまたは英数字データを作成するために一般に行われるように、１組の英数字のうちの１つを選択するのに押下することができる複数のキーを備える。
【００８７】
図７および８の実施形態では、システム７１０は、音響エネルギーを受信し、音声処理回路７７４に供給される信号を生成するマイクロホン７７２の形の入力トランスデューサを有するオーディオキャプチャユニット７７０を含む。音声処理回路７７４は、マイクロホン７７２から受信された信号を、トランスデューサに入射する音響エネルギーのパターンを表す電子オーディオ信号に変換するように適応される。音声処理回路７７４はさらに、コントローラ７３２から信号を受信し、スピーカー７７６に可聴音を生成させるように適応される。これらは、音声通信を可能にするために、携帯電話実施形態などのシステム７１０の実施形態で使用することができる。
【００８８】
図９は、図７および図８で述べられたように、システム７１０を使用してデジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトの編成された表現を提示するための方法のフローチャートを示している。図１０は、この方法の実施中にシステム７１０のディスプレイ７３０上に何が表示されるかの１つの可能な例を示している。図９に示された方法の実施形態で、ユーザが、デジタルマルチメディアオブジェクトのコレクションへのアクセスを要求する。上記で言及されたように、こうしたコレクションは、システム７１０内のメモリ７４０、リモートメモリ７５２内、または通信モジュール７５４を介して使用可能な、何らかの形のネットワーク化されたデータソース内で見つけることができる。ユーザは一般に、ユーザ入力動作を行うことによってアクセスを要求し、このユーザ入力動作は、ユーザ入力システム７３４に、コントローラ７３２が受信する（ステップ８００）要求信号を生成させ、ユーザがコレクションからの画像にアクセスしたいと望んでいると決定させる。
【００８９】
これに応答してコントローラ７３２は、事前定義された組織メタファ７８０の第１の選択セットを提示させる（ステップ８０２）。第１の選択セットは、それだけに限らないが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファまたはイベントメタファ、人メタファまたは画像コンテンツメタファを含むことができる事前定義された１組の編成メタファを含む。図１０は、イベント、日付および人を含む、事前定義された組織メタファ７８０の第１の選択セットの一例を示している。次いで、コントローラ７３２は、ユーザが組織メタファセットの第１のメタファを選択したことを示すユーザ入力信号を感知するために、ユーザ入力システム７３４からの信号を監視する（ステップ８０４）。図１１では、まずユーザは、たとえば５ウェイ制御コントロール７６８上で適切なキーを押下することにより、またはキーパッド７６９上で適切なキーまたはキー配置を押下することにより「イベント」メタファを選択する。ユーザ入力システム７３４は、適切なキーが押下されたことを感知し、コントローラ７３２に信号を送信する。コントローラ７３２は任意選択で、選択の表示７８４を提供する。
【００９０】
次いで、コントローラ７３２は、ディスプレイ７３０に、第１の組織メタファ以外の事前定義された組織メタファ７８２の第２の選択セットを提示させる（ステップ８０６）。ここでもやはり、事前定義された組織メタファ７８２の第２の選択セットは、それだけに限らないが、時系列メタファ、地理的メタファ、画像主題メタファ、カテゴリメタファまたはイベントメタファ、人メタファまたは画像コンテンツメタファを含むことができる。図１２に示されたこの実施例では、ディスプレイ７３０は、「誕生日」、「クリスマス」、「要約」などを含む事前定義された組織メタファ７８２の第２の選択セットを提示する。
【００９１】
この実施例では、組織メタファ７８２の第２の選択セットは、イベント組織メタファを定義する組織メタファにより大きい具体性を与え、この意味で、事前定義された組織メタファ７８２の第２の選択セットの組織メタファは、選択された第１の組織メタファに基づいて決定される。しかし、これは必要ではなく、他の実施形態では、組織メタファ７８２の第２の選択セットは、選択された第１の組織メタファに基づいては決定されない事前定義された組織メタファの複数の他の組合せのいずれかを含むことができる。
【００９２】
図１２の例示的な図にやはり示されるように、コントローラ７３２は任意選択で、ディスプレイ７３０に、事前定義された組織メタファ７８２の第２の選択セットが提示されるときに選択された第１の組織メタファ７８２の表示７８４を引き続き提示させる。これは、ユーザがユーザのデジタルマルチメディアオブジェクト要求を構成したやり方についての直覚的な表示をユーザに提供する。この表示は、選択された組織メタファを強調することを含む。さらに、図１２は、組織メタファの第２のセットのうちのどれが選択されたかについての表示７８８を提供するオプションのステップをも示している。
【００９３】
次いで、ユーザは、ユーザインターフェース７３４を使用して第２の組織メタファを選択する。次いで、ユーザインターフェース７３４は、コントローラ７３２に、選択を示す信号を送信する。コントローラ７３２は、ユーザインターフェース７３４から信号を受信し（ステップ８０８）、次いで結果画面７８６を、図１２に示されるようなディスプレイ７３０上に表示させる。結果画面７８６は、グループアイコン７９０、７９２および７９４として図１２に示された少なくとも２つのグループアイコンのうちの少なくとも１つを含む。それぞれのグループアイコン７９０、７９２および７９４は、選択された組織メタファに関連する規則に従ってコレクションから選択されたデジタルマルチメディアオブジェクトのグループ、およびデジタルマルチメディアオブジェクトのコンテンツ、および／またはデジタルマルチメディアオブジェクトに関連するいずれかのメタデータを示す。たとえば、「イベント」および「誕生日」を選択すると、たとえば家族や同僚の知られている誕生日に関連するコレクションからのデジタルマルチメディアオブジェクトが選択されることになる。あるいは、イベントおよび誕生日を選択すると、ケーキ、プレゼントなどの誕生日に関連するシーンおよび状況を示す画像コンテンツを有するコレクションからのデジタルマルチメディアオブジェクトが選択されることになり得る。こうした目的に使用することができる知られている様々なアルゴリズムがある。こうしたアルゴリズムは、信号プロセッサ７２６、コントローラ７３２、および／または、たとえばリモートメモリ７５２、またはＫｏｄａｋ ＥａｓｙＳｈａｒｅ（商標）Ｇａｌｌｅｒｙなどの画像サーバに関連付けられたコントローラやプロセッサなど、システム７１０の外部にある他のコントローラまたはプロセッサによって実行することができる。
【００９４】
図１２に示されるように、結果画面７８６は、結果提示規則に従って選択されたデジタルマルチメディアオブジェクトをそれぞれが含む、グループアイコン７９０、７９２および７９４を提示する。結果提示規則は、グループアイコンの数を選択し、各グループアイコンによって示されるデジタルマルチメディアオブジェクトを決定するための規則を提供する。グループアイコンの数は、様々な方法で決定することができ、デジタルマルチメディアオブジェクトのコレクションから選択されたデジタルマルチメディアオブジェクトの数、ディスプレイのサイズ、ユーザの嗜好に少なくとも一部基づくことも、選択された組織メタファの少なくとも１つに基づくこともある。
【００９５】
図１２に示されたように、グループアイコン７９０、７９２および７９４は、それぞれ「ママ」、「パパ」および「兄弟」に関するデジタルマルチメディアオブジェクトを示している。しかし、ユーザは実際には、デジタルマルチメディアオブジェクトのこうした構成を要求していないことが理解されよう。これは、ユーザに便利なように行われ、それは自動的に行われる。
【００９６】
デジタルマルチメディアオブジェクトがグループアイコンに関連付けられるやり方を管理する結果提示規則は、組織メタファのうちの少なくとも１つに少なくとも一部基づくこともできる。たとえば、結果画面７８０を提示するための提示規則は、イベントおよび誕生日の選択から、人に従って編成された結果をユーザが見ることを望んでいる可能性が最も高いと自動的に決定することができる。
【００９７】
一般には、こうしたグループアイコンのサイズは、ディスプレイ７３０の原寸より小さく、一度に提示されるグループアイコンの数に関係する。一実施形態では、コントローラ７３２は、すべてのグループアイコンを単一の結果画面７８６に提示することができるように、グループアイコンの数およびサイズを決定するように動作可能である。この決定は、グループアイコンを提示するのに使用可能ディスプレイ７３０の解像度の量および各グループアイコンを提示するのに望まれる最低解像度に基づいて行うことができる。
【００９８】
したがって、特定の実施形態では、コントローラ７３２は、コレクションには、ママ用に１つ、パパ用に１つ、および兄弟用に１つの３つの潜在的な誕生日のイベントがあるが、それぞれが１組の最小の画像解像度を有する２つのグループアイコンだけを提示する場所がディスプレイ７３０にあると判断することができる。これが生じる場合、コントローラ７３２は、たとえば選択されたデジタルマルチメディアオブジェクトを示されるように「親」および「兄弟」などのグループで関連付けることによって画像をグループ化するより広い基準をそれぞれが含む、グループアイコンの他の配置を決定することができる。こうした画像の他の論理グループ化は、それだけに限らないが、「大人の誕生日」および子供の誕生日、さらには「友達」および「家族」グループアイコンなどの例を含み得る。図１３に示された実施形態では、結果画面７８６は、２つのグループアイコン、「今年の誕生日」グループアイコン７９０、および「他の年の誕生日」グループアイコン７９２を備えている。
【００９９】
図１３の実施例では、結果アイコン７９０および７９２は、画像グループ内の選択されたデジタルマルチメディアオブジェクトのうちの少なくとも１つからのコンテンツの提示を引き起こすようにアクティブ化することができる。したがって、図１３に示されるように、「今年の誕生日」などのグループアイコン７９０が選択されるとき、「今年の誕生日」グループアイコン７９０に関連するデジタルマルチメディアオブジェクトからの画像コンテンツ７９９が、ディスプレイ７３０上に提示される。表示された画像コンテンツ７９９は、たとえば「今年の誕生日」グループアイコン７９０に関連する各画像データファイルからの画像コンテンツのたとえばサムネイル表現の形を取ることができる。一般に、こうしたサムネイル画像のサイズは、ディスプレイ７３０の原寸より小さく、一度に提示されるサムネイルの数に関連する。
【０１００】
図１４は別の実施例を示しており、この実施例では、時系列組織メタファを有する第１の選択セット７８０から第１の選択が行われ、イベントベースのメタファが組織メタファの第２のセット７８２から選択されて、上記で一般的に述べたようにイベントグループアイコン７９０がその上に時系列に提示された、一連の時系列を表す１つの軸を含むヒストグラムタイムラインを含む結果画面７８６の提示を引き起こしている。それぞれのイベントグループアイコン７９０は、グループに関連するデジタルマルチメディアオブジェクトの提示を引き起こすようにアクティブ化することができる。
【０１０１】
図９〜図１４の実施例から、選択された組織メタファについての進行する１組の表示７８４および７８８が、ユーザによって選ばれた選択順序で提示されることが理解されよう。図１４では、２００４年のユーザ選択の表示７８４を付けて提示された２００４年を含む一連の年が表示された、組織メタファの第１の選択セット７８０が提示されている。さらに、組織メタファ７８２の第２のセットが提示され、示されるようにユーザは、表示７８８によって示唆されるようにイベント組織メタファを選択して、その年に行われたイベントの結果画面７８６ヒストグラムタイムライン表示を引き起こしている。ユーザは、２００４年からのイベントをスクロールするためにユーザインターフェース７３４を使用して左右に移動することができ、ユーザインターフェース７３４を使用してイベントのうちの１つを再び選択することができる。この実施形態では、結果画面７８６は、線の高さによって示されるように、隣接するグループアイコンと比較して各イベントグループアイコンのコンテンツの相対量を示すイベントグループアイコン７９０のヒストグラムを表示している。ユーザがグループアイコン７９０を選択するとき、デジタルマルチメディアオブジェクトからの画像コンテンツ７９９が、図１５に示されるように提示された画像に基づいて形成される３つのサムネイル画像の列で提示される。ユーザは、ユーザインターフェース７３４を使用して、水平にスクロールし、イベントグループアイコン７９０に関連する７４０個のマルチメディアオブジェクトのセット全体にアクセスすることができる。事前定義された選択内のナビゲーションは、ユーザインターフェース７３４を使用して実施することができる。この対話は、ユーザが、最小の１組のグラフィック要素、および比較的に小さい表示サイズを使用して、単語探索を使用せずに大量のデジタルマルチメディアオブジェクトを有効にレビューすることを可能にし、迅速で単純なナビゲーション方法が提供され得る。
【０１０２】
代替のナビゲーション方法は、図１４および図１５に示された組織メタファの第２の選択セット７８２のイベントヒストグラムのグラフィック配置を、図１６に示されるように、イベントを示すテキストイベントラベルの形の組織メタファの第２の選択セット７８２で置き換えるステップを含み得る。図１６に示されたイベントグループアイコン７９０のサムネイル画像表現は、イベントの第１のピクチャによって決定されることも、イベント内で最も代表的な画像を決定するために画像のコンテンツを解析することによって決定されることもある。イベントが、ビデオを含むデジタルマルチメディアを含む場合、この目的のため各クリップの最も代表的なフレームを決定するために一連のフレームが解析され得る。
【０１０３】
図１７は、組織メタファ７８０の第１の選択セットが名前のリストを含んでいるディスプレイ７３０の別の図を示しており、この名前のリストは、ユーザによって入力されることも、友人リストまたは装置に格納されたアドレス帳からマップされることもある。組織メタファ７８２の第２の選択セットは、それぞれ異なるタイプのイベントのリストを提示している。この実施形態では提示された画像７９８を含む結果画面７８６は、１組の時系列グループアイコン７９０、７９２および７９４を提示している。他の実施形態では、組織メタファ７８０および７８２の第１および第２セットは、ここで示されるような直線的なやり方ではなく、重複または部分重複したやり方で組み合わせ、レンダリングすることができる。これによって、画像コンテンツを提示するためにディスプレイ７３０の領域のより大きい部分を使用することが可能となる。
【０１０４】
ＸおよびＹ軸を使用してグループアイコンに関連する画像コンテンツをナビゲートすることに加えて、図１８に示されるようにＺ軸を使用することもでき、画像コンテンツの積重ねまたは他の深さ配置の視覚シミュレーションを提供する、提示されたグラフィックが使用されている。Ｚ軸に対するナビゲーションは、上述のユーザインターフェースボタンまたはコントロールのいずれか、およびハードボタンやタッチ画面コントロールなどの他のコントロールによるものであり得る。さらに、こうしたナビゲーションは、動き制御インターフェース（図示せず）を含むユーザインターフェース７３４の実施形態によって提供することができ、この動き制御インターフェースは、サブイベントグループのセットを通る円に対してユーザが入力装置を傾けるときに表示されるデジタルマルチメディアからのコンテンツをコントローラ７３２に誘導させる信号をコントローラ７３２に供給する。パーソナルコンピュータ用のＺ軸入力装置の別の例は、Ｌｏｇｉｔｅｃｈ Ｍａｇｅｌｌａｎ Ｓｐａｃｅ ＭｏｕｓｅやＬｏｇｉｔｅｃｈ ３Ｄ Ｃｏｎｎｅｘｉｏｎ ＣＡＤ Ｔｒａｃｋｂａｌｌなどの３Ｄ入力コントロールである。これらの入力装置は、パーソナルコンピュータ内のシステム１０、または図８に示された携帯電話実施形態などのシステム７１０内でイベントおよびタイムライン情報をナビゲートするためのソフトウェアと併せて使用され得る。
【０１０５】
ディスプレイ７３０が一度に２つのグループアイコンしか提示できない場合など、ディスプレイ７３０上にグループアイコンの数を都合よく提示できない状況があり得る。これが生じる場合、図１９に示されるように、コントローラ７３２が、グループアイコンの選択時にサブグループアイコン８３２を提示するサブ結果画面８３０を提供することが有用であり得る。サブグループアイコン８３２は、それぞれのサブグループアイコン８３２が、選択されたグループアイコンを示すデジタルマルチメディアオブジェクトの一部を示すように、提示結果規則をグループアイコンに関連する画像に適用することによって決定することができる。図１９を参照すると、複数のサブイベントを含む特定のイベントをユーザが選択するとき、サブ結果画面８３０は、Ｚ軸配置で配置された複数のサブグループアイコン８３２を提示している。
【０１０６】
あるいは、便利なやり方でディスプレイ７３０上に同時に存在することができるより多くのグループアイコンが生成される場合、ディスプレイ７３０のサイズより大きい仮想サイズを有する結果画面を生成することができ、ユーザは、ユーザインターフェース７３４を使用して、スクロールし、パンし、ページズームし、または別のやり方で結果画面の周りをまたはそれを通ってナビゲートすることができる。
【０１０７】
図７〜図１９を参照して述べられた諸方法は、図１のシステム１０を含めて、他のシステムを使用して実施することもできることが理解されよう。図２０はこの一実施形態を示しており、ビデオ表示装置５２が、当技術において知られているタイプのプルダウンメニュー領域内に組織メタファの第１のセットのうちの選択された１つについての表示７８４を提示している。同様に、ビデオ表示装置５２は、組織メタファの第２のセットのうちの選択された１つについての表示７８８を提示し、結果画面７８６はグループアイコン７９０のイベントヒストグラムを提示している。図２０で、グループアイコン７９０のうちの選択された１つに関連するデジタルマルチメディアオブジェクトからの画像コンテンツ７９９を提示させるために、２つ以上のうちのコレクション内で選択されたグループアイコン７９０が示されていることが理解されよう。
【０１０８】
図２０にやはり示されるように、ユーザがたとえばマウス４４および／またはキーボード４６を使用して、図２０に示されたセットマーカ８３４によって示されるような複数のグループアイコンを選択することを可能にする、限られた１組の選択能力が提供される。この能力が使用される場合、選択されたグループからの画像コンテンツ７９９が、ディスプレイ７３０の１つの領域内に提示され、情報８３６が、ディスプレイ７３０の他の部分に同時に存在する。これによって、ユーザは、選択されたグループアイコンからの画像コンテンツを観察することと、選択された他のグループアイコンのデジタルマルチメディアオブジェクトに関する情報８３６をレビューすることの両方が可能になる。情報８３６は、示されるようなテキスト情報を含むことができ、あるいは、それは、グラフィカル情報またはグループアイコンのデジタルマルチメディアオブジェクトに関連する画像コンテンツからの画像コンテンツを含むことができる。
【０１０９】
本発明を実施するためのコンピュータプログラム製品は、１つ以上の記憶媒体、たとえば（フロッピー（登録商標）ディスクなどの）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスク、光学テープまたはマシン読取り可能バーコードなどの光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）や読取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）などのソリッドステート電子記憶装置、あるいは本発明による方法を実施するための命令を含むコンピュータプログラムを格納するために使用される他の物理装置または媒体を含むことができる。
【符号の説明】
【０１１０】
６ デジタルカメラ、１０ ホームコンピュータ、１２ データバス、１４ ＣＰＵ、１６ 読取り専用メモリ、１８ ネットワーク接続装置、２０ ハードディスクドライブ、２２ ランダムアクセスメモリ、２４ 表示インターフェース装置、２６ オーディオインターフェース装置、２８ デスクトップインターフェース装置、３０ ＣＤ−Ｒ／Ｗドライブ、３２ フロッピー（登録商標）ディスクドライブ、３４ ＵＳＢインターフェース装置、４０ フロッピー（登録商標）ディスク、４２ ＣＤ−ＲＷ書込み可能媒体、４４ マウス、４６ キーボード、４８ マイクロホン、５０ スピーカー、５２ ビデオ表示装置、６０ ネットワーク、８０ グラフィカルバー、８２ タイムラインスケール、８４ タイムラインスケール、１００ ブロック、１０２ ブロック、１０４ ブロック、１０６ ブロック、１０８ ブロック、１１０ ブロック、１１２ ブロック、１１４ ブロック、１３０ ブロック、１３２ ブロック、１３４ ブロック、１３６ ブロック、１３８ ブロック、１４２ ブロック、１４４ ブロック、１４６ ブロック、１４８ ブロック、２１０ ブロック、２１２ ブロック、２１４ ブロック、２３０ ブロック、２３２ ブロック、２３４ ブロック、２３６ ブロック、２３８ ブロック、２４０ ブロック、６００ タイムライン位置、６０２ 可視領域、６０４ タイムラインスケール、６０６ タイムラインスケール、６１０ ポインタ、７１０ システム、７２０ 本体、７２２ 画像キャプチャシステム、７２３ レンズシステム、７２４ イメージセンサ、７２５ レンズドライバ、７２６ 信号プロセッサ、７２７ 距離計、７２８ 表示ドライバ、７３０ ディスプレイ、７３２ コントローラ、７３４ ユーザ入力システム、７３６ センサ、７４０ メモリ、７４６ メモリカードスロット、７４８ 取外し可能メモリ、７５０ 取外し可能メモリインターフェース、７５２ 遠隔記憶、７５４ 通信モジュール、７６０ キャプチャボタン、７６２ テレズームボタン、７６４ 広角ズームボタン、７６５ 選択ボタン、７６６ ジョイスティック、７６７ モードセレクタ、７６８ ５ウェイ制御、７６９ キーパッド、７７０ オーディオキャプチャユニット、７７２ マイクロホン、７７４ 音声処理回路、７７６ スピーカー、７８０ 第１の選択セット、７８２ 第２の選択セット、７８４ 表示、７８６ 結果画面、７８８ 表示、７９０ グループアイコン、７９２ グループアイコン、７９４ グループアイコン、７９８ 提示された画像、７９９ 画像コンテンツ、８００ コレクションアクセス受信ステップ、８０２ 第１選択セット提示ステップ、８０４ 第１選択セット受信ステップ、８０６ 第２選択セット提示ステップ、８０８ 第２選択セット受信ステップ、８１０ グループアイコンを含む結果画面提示ステップ、８１２ 選択受信ステップ、８１４ コンテンツ提示ステップ、８３０ サブ結果画面、８３２ サブグループアイコン、８３４ セットマーカ、８３６ 情報。
【特許請求の範囲】
【請求項１】
デジタルマルチメディアオブジェクトのセットを、携帯型表示スクリーン上に編成した状態で提示する方法であって、
デジタルマルチメディアオブジェクトのコレクションに適用すべき選択条件を表す事前定義された組織メタファのセットからの第１の組織メタファの選択を、ユーザインタフェースを通じて受信するステップと、
前記第１の組織メタファの選択の受信後に、最初の選択用セットでユーザに提供しなかった追加の事前定義された組織メタファのセットを決定するステップとを備え、その第２の選択用セットは、前記第１の選択された組織メタファに基づいて決定され、前記デジタルマルチメディアオブジェクトのコレクションに適用すべき追加の選択条件を表すものであり、前記方法はさらに、
前記追加の事前定義された組織メタファのセットを表示するステップと、
前記追加のセットからの第２の組織メタファの選択を、前記ユーザインタフェースを通じて受信するステップと、
少なくとも前記第１の選択された組織メタファのインジケータを、提示した前記追加の事前定義された組織メタファのセットと共に表示するステップと、
前記選択された組織メタファに関連付けられた選択条件と、デジタルマルチメディアオブジェクトのコンテンツまたはデジタルマルチメディアオブジェクトに関連付けられたメタデータとに従って、前記デジタルマルチメディアオブジェクトのコレクションからいくつかのデジタルマルチメディアオブジェクトを選択するステップと、
前記選択された組織メタファのうちの少なくとも１つに少なくとも部分的に基づく結果提示規則であって、少なくとも、前記デジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトを選択するための規則と、グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む結果提示規則に従って、前記選択されたデジタルマルチメディアオブジェクトを、各々が複数のデジタルマルチメディアオブジェクトを含む少なくとも２つのグループに編成するステップと、
前記各グループのアイコン表現を提供するステップと、を備え、
少なくとも１つの前記選択されたデジタルマルチメディアオブジェクトが、前記グループの少なくとも２つに入っていることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、さらに、
前記アイコン表現のうちの１つの選択を感知するステップと、
前記選択されたアイコン表現に含まれるデジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた画像コンテンツに基づく少なくとも１つの画像を提示するステップと、を備える方法。
【請求項１】
デジタルマルチメディアオブジェクトのセットを、携帯型表示スクリーン上に編成した状態で提示する方法であって、
デジタルマルチメディアオブジェクトのコレクションに適用すべき選択条件を表す事前定義された組織メタファのセットからの第１の組織メタファの選択を、ユーザインタフェースを通じて受信するステップと、
前記第１の組織メタファの選択の受信後に、最初の選択用セットでユーザに提供しなかった追加の事前定義された組織メタファのセットを決定するステップとを備え、その第２の選択用セットは、前記第１の選択された組織メタファに基づいて決定され、前記デジタルマルチメディアオブジェクトのコレクションに適用すべき追加の選択条件を表すものであり、前記方法はさらに、
前記追加の事前定義された組織メタファのセットを表示するステップと、
前記追加のセットからの第２の組織メタファの選択を、前記ユーザインタフェースを通じて受信するステップと、
少なくとも前記第１の選択された組織メタファのインジケータを、提示した前記追加の事前定義された組織メタファのセットと共に表示するステップと、
前記選択された組織メタファに関連付けられた選択条件と、デジタルマルチメディアオブジェクトのコンテンツまたはデジタルマルチメディアオブジェクトに関連付けられたメタデータとに従って、前記デジタルマルチメディアオブジェクトのコレクションからいくつかのデジタルマルチメディアオブジェクトを選択するステップと、
前記選択された組織メタファのうちの少なくとも１つに少なくとも部分的に基づく結果提示規則であって、少なくとも、前記デジタルマルチメディアオブジェクトのコレクションからデジタルマルチメディアオブジェクトを選択するための規則と、グループの数を選択するための規則と、デジタルマルチメディアオブジェクトを特定のアイコン表現に関連付けるための規則とを含む結果提示規則に従って、前記選択されたデジタルマルチメディアオブジェクトを、各々が複数のデジタルマルチメディアオブジェクトを含む少なくとも２つのグループに編成するステップと、
前記各グループのアイコン表現を提供するステップと、を備え、
少なくとも１つの前記選択されたデジタルマルチメディアオブジェクトが、前記グループの少なくとも２つに入っていることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、さらに、
前記アイコン表現のうちの１つの選択を感知するステップと、
前記選択されたアイコン表現に含まれるデジタルマルチメディアオブジェクトのうちの少なくとも１つに関連付けられた画像コンテンツに基づく少なくとも１つの画像を提示するステップと、を備える方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１３−４７９６０（Ｐ２０１３−４７９６０Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−２１５４２７（Ｐ２０１２−２１５４２７）
【出願日】平成２４年９月２８日（２０１２．９．２８）
【分割の表示】特願２００８−５３０１１９（Ｐ２００８−５３０１１９）の分割
【原出願日】平成１８年９月５日（２００６．９．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｆｉｒｅｗｉｒｅ
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２４年９月２８日（２０１２．９．２８）
【分割の表示】特願２００８−５３０１１９（Ｐ２００８−５３０１１９）の分割
【原出願日】平成１８年９月５日（２００６．９．５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｆｉｒｅｗｉｒｅ
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
[ Back to top ]