パス・エンハンスド・マルチメディアの表示、修正、及びそれとの対話を行うシステム及び方法
「パス・エンハンスド」マルチメディア(PEM)データを、その少なくとも一部が表示されることになる態様を決定するユーザ選択されたビューに従って、参照し、修正し、又はそれとの対話を行うことが可能となる。該PEMデータは、PEMデータに対応する第１のデータオブジェクトタイプと異なるビュータイプに対応する第２のオブジェクトタイプとを含むスクラップブックオブジェクトとして所定のデータ構造で記憶される。該スクラップブックオブジェクトのデータ構造は、特定の時間及び場所に対応し、又は特定の時間順の一連の場所（例えば特定の経路区分）に対応する選択されたビューに従ってPEMデータの一部を表示するのに資するものとなり、及び／又は、時間及び場所に関連付けされ又は経路区分に関連付けされた他のマルチメディアコンテンツを用いて強化することができ、これにより一層興味深く効果的な表示又は「パス・エンハンスド」記録イベントが提供される。例えば、経路上の特定のポイントの時間及び場所を使用して、その時間及び／又は場所に関連付けされた他の記録済みの音声及び画像を探し出して添付し、これにより旅行その他の経路指向型の経験の表現を向上させることが可能である。更に、かかる関連づけされた経路を規定するデータを編集して、新規の又は修正された経路を規定することも可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、本質的に連続して記録された経路情報と関連付けされた記録されたマルチメディアデータに関し、特に本開示は、該関連付けされたマルチメディア及び経路情報を表示し、修正し、及びそれと対話する技術について説明したものである。
（関連出願）
「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する本出願と同時に出願された本出願人による米国特許出願第10/427,614号は、オーディオ、静止画像、映像などのマルチメディアを個々に又は組み合わせで記録することができ、またそのようなマルチメディアを記録しているか否かに関係無く時間及び位置情報をサンプリングすることができ、これにより特定の音声や画像などの記録だけでなく、かかる音声や画像の記録の最中又はその記録間に移動した経路の記録が提供される、新規のマルチメディア記録機器を記載している。この機器が生成する記録データは、「パス・エンハンスド（path-enhanced）」マルチメディアの一例である。
【０００２】
本出願と同時に出願された本出願人による他の特許出願は、「パス・エンハンスド」マルチメディア技術の様々な熟考された他の応用例を記載している。
【０００３】
米国特許出願第10/427,582号である「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」は、マルチメディアデータの表現を動画化されたオーバービュー及び／又はそのようなイベントを接続する経路指向コンテキストと共に生成するための新規な装置及び方法に関する。
【０００４】
米国特許出願第10/427,647号である「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」は、関連付けされた時間と位置を有する記録データに適した新規なデータベース構造及びデータ探索手順に関するものである。
【背景技術】
【０００５】
既知の記録装置からのGPSデータが添付された静止ディジタル画像及びビデオディジタル画像は、かかるディジタル画像にアクセスするためのアイコンが重ねられたウェブ使用可能マップを生成するための既知のウェブベースシステムを使用して処理することができる。これらのシステムは、画像のためのGPSデータを別個にかつ無関係に提供するが、画像が捕捉されているとき以外の時間に生じるGPSデータに関する情報は提供されない。更に、捕捉ポイント間の連続した経路に沿って生じるGPSデータに関する情報は提供されない。
【０００６】
所定の２つのポイント間の算出経路に対するユーザの現在位置を表示するGPSベースのナビゲーションシステムは既知である。また、ユーザの経路を記録し表示するシステムも既知である。
【０００７】
更に、写真と関連付けされた位置タグに従って写真がマップ上に示される、マップ内に写真を表示するユーザインタフェイスが既知である。しかし、そのようなインタフェイスは、写真と関連した経路情報や写真の間の経路情報を表示しない。
【０００８】
しかし、現時点では、連続した経路とその経路に沿った各ポイントに関連付けされたマルチメディアとを含むマップを表示し及び／又は該マップと対話するユーザインタフェイスは知られていない。
[基本思想と定義]
・マルチメディア
「マルチメディア」という用語は、他の分脈では、データ、知覚体験、又はデータから体験を表現するために使用される技術を称するために様々な形で使用されてきたが、本書で使用されるときは、視覚、聴覚、嗅覚などの１つ又は２つ以上の人間の感覚が体験できる形態に互換装置によって表現できる任意のデータを広義に指す。同様に、「マルチメディア」は、他の場所では特に、多数のデータソースからの多数の知覚体験の表現に関連して使用されてきたが、本書で使用されるときは、単一の知覚体験以外を表すデータに等しく適用可能であるように意図されている。そのようなマルチメディアの一般的な例には、最初に写真フィルム又はCCDアレイによって記録された可視画像又は赤外線画像やマイクロフォンによって記録された音声などの物理センサによって取り込まれるデータ、又はマイクロフィルム化又はディジタル化された印刷出版物がある。現在意図されている他の例には、例えばシミュレートされた宇宙飛行のような完全にコンピュータによって合成されたデータ、テキストページ又はコンピュータ生成音声として表現できるディジタルテキスト（ASCII又はUNICODE形式）、又は物体又は環境の複製を合成するために使用できる現実の又は架空の物体又は環境の特定の物理特性（色、サイズ、形状、位置、空間識、速度、重量、表面質感、密度、弾性、温度、湿度、化学成分など）を表すデータがある。マルチメディアデータは一般に、１つ又は２つ以上の「マルチメディアファイル」に記憶され、そのような各ファイルは一般に所定の規定されたディジタル形式を有するものである。
・位置
位置は一般に、地球表面上のユーザの位置を表す座標によって規定することができる。天体力学では一般に多数の座標系が使用されており、異なる座標系の間の変換が知られている。実際に対象となる殆どの座標系は、ECEF（Earth-Centered, Earth-Fixed）座標系になる。ECEF座標系では、原点は地球の中心になり、座標系は地球に固定される。地球の形状を回転楕円面、詳細には偏球としてとしてモデル化するのが一般的であり、地球は極地よりも赤道の方が大きい。GPS応用分野で一般に使用されるそのような座標系の一例が、WGS84（世界測地系1984）である。WGS84系内では、緯度と経度が地球の表面上の任意の位置を規定する。緯度と経度の代わりに楕円面上に規定された他の一般化された任意の座標系を使用して地球上の位置を参照することができる。応用分野によっては、第３の座標である高度も必要とされる。GPS応用分野では、高度は、一般に、実際の地形の上ではなく、前述の地球を表す偏球面の上（又は下）の距離を示す。他の応用分野では、例えば所定の経路に沿った里程標又は側点に対応する位置（又は予定時間までも）が一次元座標系で表されることがある。
・時間
位置と同様に、時間を表すには多くの方法がある。多くのデータ処理応用分野において、時間は、何らかの時間スケールを使用して現在時刻と絶対基準時刻との時間差の数値表現として定義される。付加的な緯度及び経度情報を使用して、この数値表現から地方時間を計算することができる。
【０００９】
協定世界時（UTC）は、これらの発明で使用される時間スケールの一例となる最新の時間スケールである。UTC時間スケールは、きわめて安定した秒を画定し、また地球の自転に結びつけられたものである。秒は、セシウム133の基底状態の２つの超微細順位間の原子遷移によって生じる放射線の所定周期数の持続時間に関して規定される。更に、UTCシステムは、閏秒の追加により、地球の自転速度のずれに同期させられる。
・経路（path）
本書で使用するとき、「経路」は、（一般に、GPS、その他の無線サービス、及び／又は内部クロック又はカウンタからの）関連付けされた一連のタイムスタンプをそれぞれ有する（GPSその他からの、緯度、経度、及び／又は高度を含み得る）順序付けされた一連の隣接する位置を意味する。等価的に、「経路」は、一連の位置からの個々の位置に各々が関連付けされた一連の時間データと見なすことが可能である。
・「パス・エンハンスド」マルチメディア（PEM）
経路情報（例えば時間及び位置データ）とマルチメディアとの関連付けにより「パス・エンハンスド」マルチメディアが生成される。経路情報は、個々に記録されたマルチメディアファイルの記録間と記録中に移動した経路に関して記録される。換言すれば、経路情報は、マルチメディアが記録されたときと記録されなかったときの経路時間及び位置を含む。経路上の所与の１つのポイントに関連付けされた１つのマルチメディアファイルが、複数の瞬間に対応することができること、及び複数のマルチメディアファイルを同一ポイントに関連付けすることができることに留意されたい。
【発明の開示】
【課題を解決するための手段】
【００１０】
「パス・エンハンスド」マルチメディア（PEM）の表示、修正、及びそれとの対話を行うシステム及び方法について説明する。該システム及び方法は、PEMデータの全て又は一部分が表示される態様を決定するPEMデータの全て又は一部の様々なタイプのビューを提供することに基づくものである。該システムによれば、PEMデータは、所定のデータ構造に従って記憶され、該データ構造は、マルチメディアデータとその対応する経路情報を含む「パス・エンハンスド」マルチメディア（PEM）データに対応する第１のデータオブジェクトと、PEMデータがシステムにより表示される態様を規定するビューに対応する情報を記憶する少なくとも１つの第２のオブジェクトとを含む。ユーザ制御は、ビューを選択するためのユーザ入力を受け取り、ビュー選択をレンダリング手段に提供する。これに応じて、該レンダリング手段は、ユーザ入力によるビュー選択に応じて第１及び第２のデータオブジェクトタイプを受け取り、選択されたビューに従ってPEMデータを表示させる表示データを生成する。他の実施形態では、本システム及び方法は、PEMの修正及びPEMとの対話を可能にするユーザ制御を提供する。
【発明を実施するための最良の形態】
【００１１】
一般に、本発明は、記録された「パス・エンハンスド」マルチメディア（本書ではPEMと称す）の表示、修正、及びそれとの対話を行うシステム及び方法に関するものである。
【００１２】
図１は、第１の選択されたビューに従って表示されたPEMデータの一例を示している。本開示の目的上、「ビュー」は、PEMデータの集まりがユーザに対して表示装置上に如何に提示されるかを抽象的に示すものである。ビューはPEMデータの表現の構成を決定する。ビューは、PEMデータの表現を幾つかの態様で構成することができ、該態様には、地理によるもの（例えば「マップベースビュー」）、時間によるもの（例えば「カレンダベースビュー」）、メディアタイプによるもの（例えば「メディアリストビュー」）、及びこれらの組み合わせが含まれる。更に、各「タイプ」のビュー構成は、（本書で後述するように）特定の表現上の外観オプションを制御する「スタイル」パラメータにより限定することが可能である。例えば、マップベースビューでは、スタイルパラメータとして、背景マップの選択（例えばナビゲーションデータベースからの道路地図や航空写真）、描画される経路の滑らかさと太さ、及びマルチメディア捕捉位置を表すために使用するアイコンのスタイルが挙げられる。ビューはまた、PEMデータの集まりのサブセットを表示から除外することを可能にする。例えば、ビューは、全経路のうちの幾つかのサブセクション及び／又はマルチメディアの何らかのサブセットのみに表示を制限することがある。ビューはまた、PEMのうち１つ又は２つ以上の空間ウィンドウ内及び／又は時間ウィンドウ内にある部分だけに表示を制限することがある。任意の瞬間に、PEMデータのフルビューが表示上で見えなくなる場合があり、この場合、ユーザは、PEMデータの他の部分を見るために表示をスクロールし及び／又はズームする必要があることに注意されたい。換言すれば、抽象的な「ビュー」は、表示装置によりユーザの目に対して出力される物理的なビューとは異なる。
【００１３】
図１に示す実施形態では、ビューは、サンフランシスコの地図（マップ1）上に重ねられた、行楽客の旅行中に記録されたマルチメディアに対応するアイコン表現（3,4,5）を含む、マップベース表現を生成する。詳細には、行楽客は、経路（重ねられた経路2）をたどり、マルチメディアレコーダを使用して、関連する経路情報自体と共に、該経路2に沿って様々なマルチメディアファイル（重ねられたアイコン：ビデオ3、音声4、写真5）を捕捉している。これについては、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願で詳細に説明されている。ユーザインタフェイスにより表示されるPEMデータのこの地理ベースビューは、（本書で説明するような）様々なユーザ対話を可能にするものであり、例えば、対応する重ねられたアイコンをクリックすることにより記録されたマルチメディアを再生すること、パニングとズーミングによってマップを調べること、音声解説又は字幕を使って旅行に注釈をつけること、サードパーティ情報と追加メディアを使用して旅行表示を強化すること、及び経路及びマルチメディアデータを編集し修正すること等を可能にする。かかるユーザ対話は、例えば「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する前述の同時係属特許出願に記載されているように、過去の旅行を再体験すること、近づきつつある旅行の予定をたてること、友人の旅行のコメントを共有すること、又は映画的表現を自動生成するシステムに入力する前に旅行データを編集することを含む、多くの異なる目的に役立ち得るものとなる。
【００１４】
一実施形態では、サードパーティサービスも使用して異なるタイプの特別な地図を提供することが可能であり、該地図上には、表示された旅行経路と関連する任意のマルチメディアアイコンとが重ねられる。一実施形態では、見る者は、下側に位置する地図の選択肢を動的に選択し検討することができる。例えば、サンフランシスコを訪れた旅行者の場合、彼が自分の旅行データをレイアウトしたい可能性のある地図は、サンフランシスコの衛星地図、地域名と境界を示す旅行者用地図、地域の歴史地図、又は（おそらくは利用可能なGIS技術（http://www.usgs.gov/research/gis/title.htmlを参照）を使用した）サンフランシスコのディジタル立面地図と市街地図との組み合わせを含むことが可能である。
【００１５】
図２は、本発明による第２の特定のビューに従って表示されたPEMデータの第２の例を示す。このビューでは、PEMは時間的な関係に従って表示されており、これにより、人の経験を追体験するもう１つの方法が提供される。このビューは、旅行が同一の小さい地理的領域内に多数の経路を含む場合に有用となり得るものである。図２に示すように、旅行に関する情報は、各曜日6を別個の列としたカレンダベース形式1Aで表示されており、各メディアファイル（3,4,5）は時間7と関連付けされている。該カレンダ内の各エントリは、複数タイプのマルチメディア（例えば、静止画像、ビデオ画像、音声など）のうちの１つをリストアップすることができ、また該リストアップされた各マルチメディアの持続時間を示すことができる。カレンダエントリ内の地名は、本出願人による「System and Method for Creation of Video Annotations」と題する同時係属中の米国特許出願第10/426,775号に記載されているように、地理座標を地名と関連付けするデータベースを使用することによって経路データから自動的に抽出することができる。一実施形態では、カレンダ上に表示されるメディアタイプ、時間、キーワード、又はその他のオプションをユーザが（例えばユーザインタフェイスを介して）動的に選択できることが好ましい。このタイプのビューは、PEMの時間指向の照会／探索（例えば、「水曜日に録った全ての音声解説を聞かせてください」、「旅行後に作成した解説を見せてください」、又は「私がユニオンスクエアを訪れた全てのときの写真を見せてください」等）を実行するために使用することが可能である。経路上の所定のポイント（すなわち指定した時点）と関連付けされた１つのメディアファイルが、複数の瞬間（例えば6分間の音声解説4）に対応することが可能であること、及び複数のメディアファイル（8,9）を同じポイントに関連付けすることが可能であることに注意されたい。
【００１６】
地理的又は時間的に構成されたビュー以外のタイプのビューも意図されている。例えば、PEMデータは、マルチメディアコンテンツのタイプによって構成することが可能であり、例えば、音声記録用の列や静止写真用の列などを有する表において、その各列内のエントリをその関連付けされた時間及び／又は位置により構成することが可能である。
【００１７】
本発明によれば、ビューは、PEMデータの全て又は一部を表示することが可能である。例えば、表示されるマルチメディアアイコンを、特定の期間内にあるもの、又は特定の地理領域内にあるもの、又は「お気に入り」、「未編集」、「個人用」などの特定の関連する属性を有するマルチメディアファイルに限定することができる。
【００１８】
ビューで提示されるPEMには、後に、例えば、注釈データ、マルチメディアデータ、補助データ（例えば気温や高度）を含む追加データを補足することができる。PEMデータを補足するための様々な技術がある。
【００１９】
補足する注釈データには、例えば、旅行又は撮影した個々の写真のための文字ラベルや、特定の写真やビデオを捕捉している間に抱いた考えの記憶の音声記録がある。これらの注釈は、注釈付きのPEMデータのシームレスなブラウジング、編集、及び表示を可能にするように、オリジナルのPEMデータを記憶するデータ構造内に一体化させることができる。この実施形態によれば、PEMデータ構造内に一体化された注釈データには、後で示すように、後の注釈をオリジナルのPEMデータと明確に区別する標識がタグ付けされることが好ましい。そのような標識は、後の編集と探索にとって有用なものとなる。
【００２０】
補足するマルチメディアデータは、ユーザがマニュアルでファイルを選択する（例えばファイルシステム用のブラウザインタフェイスまたはそれと同様のユーザインタフェイスを介してデータベース内のファイルを手作業で探して該ファイルを選択する）ことによりPEMデータのビューに追加することができる。代替的には、PEM内の経路の時間及び位置情報が該PEMに関連する補足マルチメディアの探索を容易にすることができる。補足マルチメディアは、サードパーティサービスから得られるストックマルチメディア（すなわち、インターネットやエクストラネット接続により入手可能であることが多い容易に入手可能な既存のマルチメディア）とすることが可能であり、また、近くの会場で行われたコンサート又はスピーチ、又は訪れたが記録が許可されなかった場所の専門家が撮影した写真又はビデオ、又は見る人が興味を持ち得る他の「地理参照」（すなわち地理的情報によって符号化又は関連付けされた）マルチメディアデータといったマルチメディアを含むことが可能である。旅行の一部で天気又は照明がよくなかった場合には、かかる技術を使用して、当初の写真及びビデオを、もっとよい天気、異なる季節、又は異なる時刻に撮影された専門家のストック写真及びビデオに置き換えることができる。一実施形態では、補足マルチメディアは、当初のPEMデータ構造に追加されたときに補足物として識別できるようにタグ付けすることによってシームレスに一体化される。更に、補足マルチメディアは、PEMの最初に記録されたマルチメディアと同じように、時間及び場所データがタグ付けされる。具体的には、挿入されたマルチメディアファイルは、1）そのマルチメディアファイルが作成された実際の時間及び位置（又は実際の時間及び／又は位置が入手不能であるという標識）と、2）旅行に関して表示されるオリジナル経路及びマルチメディアデータに対する時間的及び地理的関係を決定する仮想的な時間及び位置とを詳しく示すデータフィールドによりタグ付けされることが好ましい。
【００２１】
PEMのビューはまた、様々な他のタイプの地理ベースのデータベース及びサービスから得ることができる非マルチメディアの補助データによって補足することができる。例えば、旅行の表示は、ビュー内に表示された旅行経路に沿った様々なポイント（すなわち経路の時間と位置）における気温、高度、又は歴史データを詳述する文字ラベル（又は合成音声）によって補足される。同様に、データ捕捉とほぼ同じ時間と場所で生じるローカルニュースのヘッドラインイベントを表すアイコンをPEMの表示中のビューに追加し、これにより、該アイコンを選択したときにそのヘッドラインに関するニュース記事が表示され又は（合成音声により）読み上げられるようにすることが可能である。
【００２２】
PEMのビューはまた、最新の情報及びコンテンツを含むよう動的に補足／更新することが可能であり、これにより、PEMの表示中のビューとの対話及びその参照により、以前の旅行（すなわち前に記録されたPEM）に関する新たな情報を公表することが可能となる。例えば、３年前の休暇の記録内容を、サードパーティデータベースから最新ストックのマルチメディア情報と非マルチメディア情報（位置により索引付けされていることが好ましいが必須ではない）によって自動的に豊かなものとすることができる。この実施形態によれば、このタイプのビューとの対話を可能にするインタフェイスは、「私が訪れた場所は現在どうなっているのか」、「どのように発展したか」、「私が滞在したホテルはまだ営業しているのか」、及び「そのホテルの現在の料金は」などの照会／探索を可能にする。一実施形態では、表示された経路の近くのロケーションから発せられるリアルタイムマルチメディアのインターネット対応ソース（ライブカメラなど）へのリンクを含めることができる。
【００２３】
別の実施形態では、（おそらくは補足的なストック音声及び画像だけを使用して）想像上の旅行又は予定している未来の休暇に対応する仮想経路をビュー内に規定することができる。補足マルチメディアは、仮想経路に沿った補足マルチメディアコンテンツの順序と地理的位置の制御を可能にする地理ベース（例えば経路指向）のユーザインタフェイスによって構成することができる。この仮想経路インタフェイスは、特に前述のように動的に更新される最新の地理ベースデータ及びマルチメディアコンテンツに仮想経路及び地図がリンクされている場合に、予定している旅行の計画を立てるのに役立つ。
【００２４】
PEMデータは、PEMの経路情報の全て又は特定の区分ならびにPEMのマルチメディアデータの一部に対するアクセスを制限するセキュリティ属性を有することが可能であり、これにより、電子メール、CD-ROM、インターネット、その他の類似の配布手段によりデータが共有される場合のデータアクセスの制御が容易となる。
【００２５】
本開示のPEM技術はまた、休暇の思い出を共有する他、消費者用途及び業務用途に利用することが可能であることを理解されたい。例えば、本PEM技術は、地質学又は生物学の偵察遠征などの科学探査任務に携わる人々にとって、探検家が発見したものの豊富なマルチメディア記録を作成すること、及びその文書を容易に閲覧し他の人と共有できる形式へと編集するプロセスを単純化させることを望む場合に有用なものである。本PEM技術はまた、記事の資料を収集する報道チーム、現場で証拠を文書化する法執行官又は個人投資家、偵察任務中の軍隊の隊員、建築場所を分析する測量士と建設作業員、及び販売する家のマルチメディアマップベース表現を作成したい不動産業者にとって有用なツールとなろう。
【００２６】
前述の機能に従ってPEMデータを表示し対話する例示的なシステムを図３に示す。詳細には、図３に示したシステムは、前述のようなビューによりディスプレイ上のPEMデータの描画を容易にする。一実施形態によれば、このシステムは、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、ディスプレイ26、及びユーザ制御手段28を含む。システムは、随意選択的に、経路プロセッサ18、PEMデータベース12、地理参照情報データベース34、計算ジオメトリエンジン36、データベースアップロード37を含む。
【００２７】
一般に、システムは、スクラップブックオブジェクト10の作成を考慮したものであり、PEM情報を表示、ブラウズ、編集、及び強化するための方法を実施するものである。この実施形態によれば、PEMデータ及びデフォルトビューデータが、デフォルトビュー生成ブロック20から受け取られ、本書で後述するようにスクラップブックオブジェクト10により所定のデータ構造で記憶される。好ましい実施形態では、ブロック20は、「マップ」、「カレンダ」、及び「メディアタイプ」のタイプを有するデフォルトビューを生成する。例えば、デフォルトのマップベースビューは以下のステップにより生成される。
1）時間及び位置の情報38が、スクラップブックオブジェクト10から、PEMデータの空間的な境界ボックスを計算する計算ジオメトリエンジン36に送られる。
2）この境界ボックスに基づくクエリ40が、計算ジオメトリエンジン36によって、位置により構成されたマップを含むデータベース34に送られる。
3）マップ情報は、クエリ応答44において計算ジオメトリエンジン36に戻される。
4）計算ジオメトリエンジン36は、このクエリ応答をフィルタリングして、PEMデータの空間的な境界ボックスをカバーするのに十分なサイズであってPEMデータがマップの小さな部分のみを占めるようなサイズのマップ情報を含むようにする。
5）フィルタリングされたマップ情報は、フィルタリングされたクエリ応答48としてスクラップブックオブジェクト10に返されてデフォルトのマップベースビューで使用される。
【００２８】
デフォルトのカレンダベースビューは、PEM内のデータと関連付けされた全ての時間を含む一定範囲の日付及び時刻を示し、位置座標を地名に関連付けするデータベース34から取り出された地名を有するエントリを有する。該地名は、マップ情報に関して上述したものと同様にしてデータベースから取り出されるが、異なる境界ボックス領域について名前を取り出すために異なるクエリが使用される場合がある点、及びクエリで地名を返すためにマップ情報ではなく地名のデータベースが使用される点でそれとは異なる。
【００２９】
また、メディアタイプによって構成されたデフォルトビューは、PEMと関連付けされた各タイプのマルチメディア毎に１つのセクションを含むよう生成される。デフォルトのカレンダベースビューの場合、地名を地理座標に関連付けするデータベースのクエリを介して、このビュー内の異なるマルチメディアエントリに地名を関連付けすることができる。かかるクエリ40を生成するために、マルチメディア及び／又はその近くの経路に関連する時間及び位置データ38が計算ジオメトリエンジン36によって使用される。
【００３０】
各タイプのデフォルトビュー毎に、該ビューのためのレイアウトと表現の嗜好を指定するために一組のデフォルトのスタイルパラメータが使用される。また、「隠し」や「個人用」として指定されたものやシステムへのPEMデータの入力に先立って同様に保護されるものを除き、全てのデフォルトビューについて、全ての経路、マルチメディア、及びPEM内の他のデータが、該ビュー内に含まれるよう指定され、これにより、全てのPEMデータの表現がレンダリング手段22により（可能であれば）生成されるようになる。
【００３１】
データ構造は、異なるビュータイプによるPEMデータの表示を容易にする。加えて、該データ構造は、PEMデータの探索及び修正を容易にする。ユーザは、ユーザ制御手段28を使用してビューのタイプを選択し、ビュー選択信号24をレンダリング手段22に提供させる。該信号24に応じて、PEM及びビューデータがレンダリング手段22に送られる。レンダリング手段22は次いで、ディスプレイ26を駆動するためのデータを生成する。該ディスプレイ26は、選択されたビューに従ってグラフィカルユーザインタフェイス（GUI）を介してPEMデータを表示する。一実施形態では、ビュー選択24は、マップベースビュー、カレンダベースビュー、又はテーブルベースビュー（ビデオの数やビデオの長さなど）を含む（但しこれらには限定されない）複数の考え得るタイプのビューの中からの選択を可能にする。ビュー選択24はまた、ビュー内にどのデータを表示するかを選択するユーザ制御を提供することができる。例えば、選択されたビューに従って、限られた時間及び／又は空間内のマルチメディアのみ、又はPEMデータのうち「お気に入り」などの特別な名前又はラベルが付けられたサブセットに対応するマルチメディアのみを表示することができる。
【００３２】
図３に示したシステムに提供される当初に記録されたPEMデータは、同時係属中の米国特許出願第10/427,614号に記載されているようなPEM記録装置から、又はストレージデバイス（例えばCDディスク）といった任意の他のソースから提供できることに留意されたい。しかし、PEMデータはまた、他の装置ソースにより、又は複数の記録装置の組み合わせにより生成することが可能であり、又は人為的な手段により（例えば、コンピュータマウスを使ってマップ上に手作業で経路を描くことにより、又は経路情報をコンピュータキーボードによりタイプ入力すると共に該経路に沿った複数のポイントに関連付けすべきマルチメディアファイルを手動選択することにより）完全に又は部分的に生成することが可能である。一般に、PEMデータは、1）本質的に連続してサンプリングされ記録された経路時間及び位置データ（すなわち経路情報）と、2）記録されたマルチメディアデータとを含む、２つのタイプのデータと考えることができる。そのような２つのタイプのデータは、本書で説明するように、データ構造全体内に組み込まれたポインタにより互いに関連付けされる。
【００３３】
一実施形態では、PEMデータの経路時間データ部分は、協定世界時（UTC）などの何らかの既知の時間基準システムにおけるカレンダ日付及び時間の両方を含むことができる。またPEMデータの経路位置データ部分は、地球の表面全体にわたる何らかの座標系（標準的な緯度と経度の座標系など）における二次元座標を含むことができるが、海抜、記録装置の方位情報、及び他のタイプの連続してサンプリングされたセンサデータを含むこともできる。写真又はビデオメディアが記録されるとき、経路位置及び方位データは、マルチメディアが捕捉された場所だけでなく、その捕捉時にレコーダから見た空間領域も示すことができる。この領域は、装置の位置及び方位と組み合わせてレコーダの焦点距離及び撮像子サイズから計算されたレコーダの視野（FOV）によって近似的に決定することができ、装置の方位は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願においてより詳細に説明されているように、記録装置に埋め込まれた磁石及び傾斜計から決定されることが好ましい。
【００３４】
一実施形態では、経路プロセッサ18は、スクラップブックオブジェクト10に提供する前に、受け取ったPEMデータ内の経路情報を処理し改善する。例えば、経路を滑らかにして空間ジッタ（例えばGPSレシーバにおけるマルチパス信号干渉によるもの）を除去し、実測位置データを利用できない領域内の経路を補間し、経路を単純化して小さい折り返しや蛇行（おそらく人が少し引き返したり又はぶらぶら歩いた場合）を除去し、及び／又はマップの重畳表現を改善するために経路を重複しない部分に分離させることができる。経路プロセッサ18はまた、「４時間で６マイル移動」や「平均速度＝時速２マイル」といった事実を記述する「旅行の概要」ウィンドウ上のメモ書きといった、ユーザに表示するために提示される旅行の統計を計算することが可能である。
【００３５】
経路プロセッサ18はまた、PEMデータ内の経路情報を分析して、該PEMデータの記録中に経路に沿って生じたイベントを識別するよう機能することも可能である。例えば、経路プロセッサ18は、例えば「信号強度」の分析を介して又は位置及び時間差から導出した速度に基づく計算を介して、移動経路に沿った「滞在ポイント」及び／又は「屋内の場所」を検出することが可能である。検出した「滞在ポイント」及び「屋内の場所」は、スクラップブックオブジェクト10のデータ構造内にタグ付けされ、PEMの表現のオプション層を自動的に生成するために使用することが可能である。例えば、PEMデータが記録装置からシステムに送られた後、経路プロセッサ18は、所定の長さの時間にわたり移動速度がほぼゼロであった場所として「滞在」を見つけることができる。後述するように、PEMデータが表示されるとき、特別なアイコンを挿入してそのような滞在が行われた場所を示すことができる。更に、旅行の表示を強化するために、後にそのような滞在の位置を使用してPEMデータ内の情報を探索する基準を構成することができる。例えば、ユーザは、所定期間にわたり滞在したと思われる位置の近くのストック写真をサードパーティデータベースから探したい場合がある。
スクラップブックオブジェクト10のデータ構造
スクラップブックオブジェクト10は、図４Ａ及び図４Ｂに示し、以下で一層詳細に説明し及び「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されているようなデータ構造として実施される。図４Ａ及び図４Ｂが該出願におけるデータ構造の一部しか示していないことに留意されたい。更に、本書での取り決めによれば、矢印は、埋め込みデータ構造へのポインタを示し、一対の山括弧は、示されたタイプのデータ構造の考え得るリストを示し、一対の丸括弧は、再帰的なデータ構造を示し、アスタリスクは、オプションフィールドを示していることに注意されたい。
【００３６】
スクラップブックオブジェクト10のデータ構造は、２つの主構成要素又はデータオブジェクト、すなわち、1）パス・エンハンスド・マルチメディア（PEM）データファイル200と、2）１つ又は２つ以上のビュー202とを含み、その各ビュー202は、ディスプレイにPEMデータを描画するStyle（スタイル）204を記述し、またPEM200内の経路及び／又はマルチメディアデータのうち該特定の描画に含めるべき部分を指定する。各PEM200は、記録されたGeoTemporalAnchor（地理時間的アンカー）208（本書ではAnchor（アンカー）と省略する場合がある）及びそれと関連するメディアファイル206の２つの基本構成要素を（該PEM200のSegment（区分）リスト232を介して間接的に）含む。各GeoTemporalAnchor208は、関連するTime（時間）210において信頼できる測定値が得られている場合には、Time210（すなわち経路時間データ）だけでなくオプションのLocation（位置）214を含むことができる。各GeoTemporalAnchor208はまた、PEMを記録する時にTime210及びLocation214と同じように実質的に連続してサンプリングされ記録されるElevation（高度）216、Orientation（方位）218、Tilt（傾斜）220、及びTemperature（温度）222などの様々なタイプの補助センサデータを記憶するフィールドを含むことが可能である。各GeoTemporalAnchor208はまた、特定のメディアファイル206へのポインタ212を含むことが可能であるが、代替的な実施形態では、MediaFile及びGeoTemporalAnchorを組み合わせて単一のオブジェクト（メディアファイル206の従来のファイル形式の使用を除くことが可能）にすることが可能であり、又は別個のリンクテーブルにより関連付けを行うことが可能である。各メディアファイル206は一般に、音声ストリーム（例えばMP3形式）、静止画像（例えばJPEG形式）、ビデオストリーム（例えばMPEG形式）を表すデータファイルである。しかし、他のタイプのマルチメディアが意図されている。
【００３７】
GeoTemporalAnchor208は、オプションのブールフラグであるModified（修正済み）224を含むことができる。「真」にセットされた場合、このフラグは、関連付けされたGeoTemporalAnchorが当初に記録されたPEMデータではなくPEM記録後に作成され又は修正されたものであることを示す。そのような修正されたGeoTemporalAnchorは、全く架空の仮想経路又は経路区分、他の当初のPEM経路データを補間又は平滑化することによって得られた復元経路区分、又は当初に記録されたものから時間及び／又は位置が移動された編集された当初の経路又は経路区分の一部とすることが可能である。Modifiedフラグはまた、「パス・エンハンスド」マルチメディアデータをユーザが編集している間に、メディアファイル206や他の補足データが関連付けされたGeoTemporalAnchor208に添付され又は削除されたとき、又はGeoTemporalAnchor208に関連付けされた補足データが修正された場合に「真」にセットされることが好ましい。このため、所定の経路ポイントについてPEMデータに追加データが補足された場合には、Modifiedフラグを「真」にセットすることにより該経路ポイントがタグ付けされる。更に、当初のデータが修正された場合に該フラグが「真」にセットされる。
【００３８】
単一の経路は、GeoTemporalAnchor208へのポインタ230のリストを含む区分226データ構造によって規定することが可能である。また、区分データ構造226内のHeader（ヘッダ）228は、描画スタイル、アクセス制限、及び他の属性（例えば、「Favorite（お気に入り）」、「Tentative（お試し）」など）を経路に関連付けすることを可能にする。しかし、ユーザが異なる属性を経路の異なる部分に関連付けすることを望み得ること、（おそらくは異なる旅行及び／又は異なる旅行者に対応する）幾つかの別個の経路を、同じ記録装置により記録すること、又は表示、共有、及び編集のために共通のPEMデータセット内に含めること、が意図されている。このため、区分データ構造226は、必要に応じて、完全な経路の一部のみ、又は組み合わされたデータセット内の幾つかの別個の経路のうちの１つのみを表すことができるものと見なされる。一連の幾つかの関連する区分226（例えば特定のユーザにより記録された単一経路の複数部分）は、区分データ構造226内の再帰的な{Segment}ポインタ234によって接続することが可能であり、これにより、完全な経路内の１つのSegmentから次のSegmentへのシーケンスが画定される。また、異なる複数のかかるSegmentシーケンス（おそらくは異なる作成者によるもの及び／又は同じ場所に対する異なる訪問について記録されたもの）をリスト232により単一のPEM200に含めることが可能である。
【００３９】
各GeoTemporalAnchor208が関連する任意のメディアファイル206へのポインタ212を含むことが可能であるため、PEM200とそのメディアファイル206との間には間接的な関連付けが存在する。しかし、PEMのSegment232内のGeoTemporalAnchorに関連付けされたMediaFileへのポインタの明示的なリスト236をPEMデータ構造200内に随意選択的に含めることにより、PEMに関連付けされた一組の完全なマルチメディアファイルは、探索及び／又は修正に一層適したものとなる。
【００４０】
一実施形態では、PEM200、区分226、及びメディアファイル206の階層的データ構造は、異なるレベルの所有権及びアクセス権を異なるデータ要素に関連付けすることを容易にする。例えば、異なるPEM200は、各PEM200毎のHeader238に反映されるように、異なる作成者により作成され、異なるユーザにより所有され、又は異なる旅行に属することが可能である。同様に、同じPEM200の各区分226は、個々のSegment Header228に反映されるように、同じ旅行の一部であると同時に異なるユーザに属することが可能である。また、特定のPEM200内の各メディアファイル206は、その関連するMediaFile Header240内に反映されるように異なる作成者を有することが可能である。
【００４１】
所与の１つのPEM200データ構造に複数のビュー202を関連付けすることが可能である。特定のビュー202は、同じPEMデータを描画する特定のスタイル（例えば、マップベースビュー、カレンダベースビュー、メディアタイプベースビュー）を規定するだけでなく、旅行の１つ又は２つ以上の異なる時間又は空間部分（例えば、指定された地理的境界内又は１つ又は２つ以上の時間間隔内のもの）に描画を制限することもでき、またメディアの表示をPEMに含まれるサブセット（例えば「お気に入り」としてマークされたもの）に制限することもできる。各ビュー202は、次の要素のうちの一部又は全てを含む。
・Type242：例えば、「マップ」、「カレンダ」、又は「メディアタイプ」。
・Map244：PEMデータの表示が重ねられるマップ252データに対する随意選択的なポインタ。
・Style204：タグを値に関連付けするタプルのリスト。PEMデータの表示方法を記述する。
・246：関連付けされた時間スタンプによる、PEMのうちこのビューに表示されることになる部分のリスト。
・248：PEMのこのビューに描画されるべきMediaFileへのポインタのリスト。
・MediaChk（メディアチェック）250：MediaFile Header238内のName（名前）及び／又はFormat（形式）フィールドに基づき、このビューで特定のメディアファイル206を描画するか否かを決定する規則。
・PermissionChk252：Segment Header228及び／又は関連したMediaFile Header240のPermissionsフィールドに基づいて特定の区分226と任意の関連したメディアファイル206を描画するか否かを決定する規則。
【００４２】
オプションの要素TimeInterval、MediaFile、MediaChk、及びPermissionChkについて、デフォルトはALL（すなわち全てのアイテムを描画する）である。
【００４３】
マップベースビューでは、経路及びマルチメディアデータがマップ画像上に重ねられる。マップデータ構造252は、描画すべきマップ画像とその描画方法とを記述する。マップデータ構造252はまた、PEMのコンテキストとは無関係に、MediaFileや他の情報に関連付けすることが可能である。マップデータ構造252は次の要素を含むことができる。
・Image254：画像、ベクトル、又は他の形式のマップデータ自体、又は適当なMediaFileへのポインタのみ。
・TransformType256：PEM経路内の位置を示す大域座標系と位置合わせするためにマップ画像データを変形させる手順。
・258：前記変形に使用されるパラメータ。
・LandAreaDelimiter（LAD）260：変形させたマップの表示部分をPEM座標系内の所定の領域に制限する。
・262：メディアファイル206や他のオプション情報（温度など）をマップ252に直接関連付けし、及び必要とされるTime210、Location214、又は他の記述上のデータを提供する。
【００４４】
時間間隔264は、StartTime266及びEndTime268を規定し、これにより、特定のビュー202についてのそれらのリスト246が、PEM経路のうちビュー内に表示されることになる部分の時間ウィンドウが規定される。LandAreaDelirniter（LAD）270は、地球のある部分の境界を２Ｄ座標系で規定する。緯度方向の線及び経度方向の線と位置合わせされた複数の部分に地球をモザイク状に分割する実施形態では、LADは次の構造を有する可能性がある。
・Center272：矩形の中心の緯度及び経度の位置。
・Width274：経度方向の範囲。
・Height276：緯度方向の範囲。
【００４５】
ビューType242が「Map」に設定される場合、例示的なStyleタグ204は次のものを含む。
・MapOrigin：何らかの２Ｄワールド座標系におけるマップの左上角の位置。
・MapScale：２Ｄワールド座標系でのマップのスケール。
・IconStyle：メディアを表すアイコンの描画方法。例えば、値「サムネイル」を有するIconStyleタグは、画像及びビデオを、メディアコンテンツを表す小さい画像で表現すべきことを示し、タグ値「数値」は、メディアファイルをボックス内に数字としてその捕捉順に描画することを示す。
・IconMapScaleParams：IconStyleと共に、個々のメディアを表す複数のアイコンを一組のメディアを表す合成アイコンへと一体化させるときを決定する一組のマップスケール規則。
・DurationStyle：ビデオや音声といった個々の非瞬時のマルチメディアの持続時間の表示方法。例えば、値「開始／停止」を有するDurationStyleタグは、ビデオ記録の始まる時点と終わる時点で経路に別々のアイコンを添付することを指示することが可能である。タグ値「経過」は、関連するアイコンが記録の長さの数値表示を含むことを指示することが可能であり、タグ値「区分」は、記録が行われている間の経路区分が区別できるようにマークされることを指示することが可能である。
【００４６】
前述のように、ビューデータ構造202は、マップベースビューの場合には、経路情報を描画するための適当なマップへのポインタと、マルチメディアが捕捉された位置を表すアイコンとを含む。生のマップデータは、随意選択的に、表示されるPEMデータ200が見やすくて正確な態様で重なるよう完全なマップのクロッピング及び位置合わせを行うのに必要なマップ境界及び／又はジオメトリ変換情報を伴う。図３を参照すると、レンダリング手段22は、PEM経路のうちビュー選択信号24によって指定された部分を、ビューデータ構造202内のStyleパラメータ204により指定することが可能な幾つかのスタイルのうちの何れかで描画することが可能である。１つの例示的なマップスタイルでは、レンダリング手段22は、単純に、表示すべき全てのGeoTemporalAnchor208に対応するマップ位置を時間順に結ぶ線を描画する。代替的に、経路プロセッサ18が、スプライン、曲線、又は他の幾何学要素に関して経路の表現を計算している場合には、レンダリング手段22は、それらの各要素をPEMデータの表示ビューに描画することになる。
【００４７】
レンダリング手段22は、マルチメディアファイルの捕捉位置に対応するマップ位置を、ビューStyleパラメータ204により指定することが可能な幾つかのスタイルのうち何れでも示すことができる。図１に示した例示的なマップスタイルでは、マルチメディアファイルのタイプ（例えば、ビデオ、音声、又は写真）を示すアイコン5は、ビュー内に表示すべき各マルチメディアファイルに関連付けされた捕捉位置においてマップ上に表示される。代替的に、マルチメディア捕捉位置は、ビューStyleパラメータ204に依存して、文字注釈、数値アイコン、サムネイル画像（視覚的なメディアの場合）によって示すことも可能であり、又は他の方法により示すことも可能である。
【００４８】
写真やビデオなどの視覚的なマルチメディアの場合、捕捉時にカメラから見た空間領域（すなわち、その「視野」）は、ビューStyleパラメータ204により指定することが可能な様々な方法の何れでも描画することが可能である。１つの例示的なスタイルでは、マップの平面におけるカメラ視野の空間的な範囲は、マルチメディアアイコンの位置から出る色付き領域又は影付き領域によって示される。代替的には、図５Ａに示すように、マルチメディアアイコンの位置から出る矢印を使用して、マップの平面内にカメラ視野の中心軸を示すことができる。図５Ａに示すように、視野データは、マップ1上ではマルチメディアアイコン5に矢印を付けることにより象徴的に示され、該矢印の方向はカメラの磁石方向を示し、矢印の長さはおよその焦点を示す。例えば、長い矢印52aは、カメラが遠くの物体に焦点を結んだ遠距離設定を示し、短い矢印52bは、カメラが近くの物体に焦点を結んだクローズアップ設定を示している。カメラの傾斜角は、随意選択的に、描かれた領域又は矢印の色又は影を選択することにより示すことが可能である。例えば、アイコンにおける視野矢印又は領域の影がアンカーポイントから遠くなるほど濃くなる場合には、カメラが上向きであることを示し、アイコンからの距離が遠くなるほど影が薄くなる場合には、カメラの傾きが下向きであることを示すことが可能である。視野が矢印で表される場合、地面に対するカメラの傾斜角を示すもう１つの方法は、矢印の太さを、カメラの位置から矢印の先端に向かって、カメラの上向きの程度に比例して太くすることである。視野が２Ｄ形状として表される場合、カメラの傾斜角を表すもう１つの方法は、傾きの方向を示すように影を描き、カメラがマップに対して傾いているかのように２Ｄ形状を描画することである。ビデオメディアの場合、視野は、ビデオの多数の個々のフレームについての視野の描画の全てを結合したもの、又はその何からの近似若しくは境界をなす外皮として表すことが可能である。更にもう１つの考え得るビューStyle204では、視野その他の関連情報は、単純な文字注釈により表すことが可能である。視野を示すための他の方法は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願において説明され図示されている。
【００４９】
スクラップブックオブジェクトを表示し、修正し、及び該オブジェクトと対話するためのユーザインタフェイスの一実施形態を図５に示す。これは４つのウィンドウからなる。第１のウィンドウ52は、マップ2'上に重ねられた経路1'とマルチメディアアイコン5'とを含む。この第１のウィンドウ内で、ユーザは、1）描画されたPEMデータをウィンドウをスクロール又はズームすることによって探し、2）該ユーザが再生したいマルチメディアのアイコンを（例えばコンピュータマウスでダブルクリックすることにより）選択し、3）経路情報を図形的に編集し、4）「地理参照データベース」からの関連するデータに関する地理的時間的なクエリを生成し、及び、5）多数の他のマップベースの対話を実行することが可能である。前述のように、表示されたアイコンがカメラの視野の表示を含む場合には、編集者は、一連の個々のマルチメディアファイルの削除又は変更によってカメラの向き又は焦点に突然の潜在的に不快な変化が生じるか否かを確認することができる。第２のウィンドウ54は、「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する上記引用の同時係属中の米国特許出願に詳細に示されているように、スクラップブックオブジェクト10から生成された映画に似た「表現」を再生するツールを提供する。第３のウィンドウ56は、現在選択されているマルチメディアのリストを示し、マルチメディア属性を編集するために使用することができる。第４のウィンドウ58は、マルチメディアプレーヤである。
【００５０】
図３を参照すると、ユーザ制御手段28は、PEMデータの表示、修正、及び対話を容易にするためのユーザ入力、並びにPEMデータの表示対象となるビューを受け取るよう機能する。ユーザ入力は、キーボード、マウス、タッチセンサ式表示画面などのユーザインタフェイスを介してユーザ制御手段28により受け取ることができる。一実施形態では、ユーザ制御手段28は、描画すべきPEM200のビュー202を選択するために、ユーザ入力から生成された信号、すなわちビュー選択24を提供する。ユーザ制御手段28は、ユーザが、時間、位置又はマルチメディアカテゴリ情報に従ってビューによって表示されたマルチメディア及び／又は経路データの一部分だけを示すように、PEMデータのビューをカスタマイズすることを可能にする。更に、PEMデータのマップベースビューの場合、制御手段28は、ユーザがマップを空間的にズームするかスクロールすることを可能にする。一般に、ユーザ制御手段28によって提供されるこのインタフェイスは、アイコンを選択してマルチメディアの再生を開始させこと、選択したマルチメディアの再生を制御（音声及びビデオメディアの早送り、停止、巻き戻しなど）すること、マルチメディア編集機能（写真のクロッピングや色調整など）を実行することを含む、表示されたビューとのユーザ対話を容易にする。
【００５１】
更に、ユーザ制御手段28は、スクラップブックオブジェクト10の様々な修正方法を可能にする。例えば、図３を参照すると、ユーザ制御手段28を介したユーザ入力に従って、編集30信号が生成されてスクラップブックオブジェクト10に提供される。編集30信号は、区分226及びメディアファイル206におけるHeader228,240のPermission属性の編集を行わせることができ、これによりユーザは、該ユーザが発行（保存）したスクラップブックオブジェクト10におけるどのマルチメディア及び経路区分が、一組又は複数組の他のユーザにより表示可能であるか、また編集可能であるか、といったことを選択することが可能となる。編集30信号はまた、メディアファイル206、そのヘッダ240、又はその関連するGeoTemporalAnchorに関連するTime210、Location214、作成者、又はその他の情報を手作業で編集するために使用することができる。ユーザ制御手段28は更に、スクラップブックオブジェクト10への新たな手作業による注釈（例えば写真に関連付けされた文字ラベル又は音声ナレーション）の追加といった補足情報の追加ならびに他の属性の編集に使用される。タグ付きマルチメディア及び／又は経路セクションの特定のグループと対話し参照することができるように、ユーザ制御手段28を使用してデータを「ブックマーク」して、マルチメディア及び／又は経路セクションを分類することができる。
【００５２】
ユーザ制御手段28を使用してスクラップブックオブジェクト10を編集し、補足情報（例えばセキュリティクラス）を追加してプライバシ保護を実現することができ、これにより、ユーザは、データオブジェクトが共有された際に、「パス・エンハンスド」マルチメディアデータオブジェクトのどの部分を様々なユーザに対して閲覧可能とするかを指定することができる。これらのプライバシー及びセキュリティ制御は、「パス・エンハンスド」マルチメディア（例えば、データベースサーバ、ピアツーピア、及び友人への単純な電子メール）を共有するために様々な方法によって利用されるセキュリティ機構と対話し又は該セキュリティ機構により使用することが可能である。
【００５３】
更に、ユーザ制御手段28は、ユーザが図１と図５に示したものと類似したグラフィカルインターフェースを介してスクラップブックオブジェクトのPEM200内の経路データを修正することを可能にする。例えば、ユーザは、経路2の一部を改訂し、経路の一部の自動的な平滑化又はループ除去を要求し、経路の全く新たな区分を描画し、又は経路の一部を除去することができる。幾つかの理由のために記録経路のそのような修正が望ましい場合がある。例えば、人が「再び戻る」ときや人が同じ地理領域内で複数のループを完結するときなどの多くの状況において、人により選択されGPSその他の手段により自動的に記録された正確な経路は、人の記憶よりも明確さに劣って構成されたデータのマップベースビューを構築する結果となり得る。人は、マルチメディアが記憶された殆ど全ての場所のそばを通過すると共にユーザの真の活動を大雑把に表すが、食品や浴室を見つけるための寄り道などの様々な気が散る詳細又は重要でない詳細を省略するように、表示経路を単純化したい可能性がある。人は、実際に領域内の個々の場所を全く異なる偶然の順序で訪れたときに、もし戻った場合に訪れた領域のツアーをどのように行うかを示す全く新たな経路を使用したい場合がある。
【００５４】
一実施形態によれば、経路を図形的に編集する際、ユーザが、経路の一部を削除するよう選択すると、経路内にギャップが空く場合がある。ギャップの端点は、直線、又は他の補間法（例えば三次スプライン）によって自動的に再接続することができ、又はユーザがギャップを橋渡しする新たな経路部分をマップ上に描画するよう選択することができる。経路の一部が削除されたとき、該削除された部分に関連付けされたメディアファイル206は、ユーザの要求で、1）表示から除去され、2）残っている最も近くのGeoTemporalAnchor208に自動的に添付され、又は、3）他のGeoTemporalAnchor208に対する手作業の再割り当てのためにユーザに提示されることが可能である。ユーザはまた、現在の経路の始めと終わりに追加する新たな経路部分を描画することが可能であり、又は経路全体を削除して新たな経路を描画するよう選択することも可能である。新たな経路部分を描画するとき、ユーザは、必要に応じた個数の新たなGeoTemporalAnchor208と関連付けすべきTime210を入力するよう要求されることが可能である。単調に増分しない経路に沿った一組の時間といった、一貫性のない時間入力は、システムにより拒絶され、ユーザはそれらを修正するよう要求される。一次補間法を使用してLocation214間のTime210を計算することが可能であり、時間は、ユーザ入力から又は当初の隣接する経路区分226の記録から入手することが可能である。また、ユーザは、経路に沿ったポイントを選択しその新たな時間を入力することにより、形状が修正されない経路区分226の時間情報を編集することが可能である。様々なマルチメディアの記録開始時間は、該マルチメディアが位置する経路区分の時間情報に対する変更と一致するように自動的に修正することが可能である。メディアファイル206は、本書に示した方法の何れかによって、修正した経路区分又は新たに作成した経路区分に追加することができる。センサ情報から直接記録される場合とは対照的に、ユーザの要求で修正又は作成されたGeoTemporalAnchor208は、Modifiedフラグ224などのフラグを立てることができる。かかる経路編集タスクを支援するために、標準的なキーボードインタフェイス、マウスインタフェイス、及びタブレットPCを含む、あらゆる全てのコンピュータ入出力装置を使用することができる。
【００５５】
ユーザ制御手段28はまた、スクラップブックオブジェクト10への新たなメディアファイルの挿入を可能にする。マップベースビューが表示されるとき、補足メディアを追加するための１つの技術は以下のように進行する。ユーザが、マウスその他の入力装置を使用してマップ上のポイントを選択し、システムは、表示された経路上の該ポイントに最も近い位置を識別し強調表示する。このとき、最も近い経路位置が（例えば２つの遠く離れたGeoTemporalAnchorを接続する線に沿っているため）それに関連付けされたGeoTemporalAnchorを有していない場合には、新たなGeoTemporalAnchorが作成される。GeoTemporalAnchorが既に存在するが、それにMediaFileが既に関連付けされている場合には、同じ時間及び位置データを用いて新たなGeoTemporalAnchorが作成されるが、MediaFileは関連付けされない。これらの何れの場合も、GeoTemporalAnchorのModifiedフラグが「真」にセットされて、この経路位置が当初のPEMデータでないことが示される。それ以外の場合には既存のGeoTemporalAnchorが修正されることになる。次いでこのGeoTemporalAnchorに関連付けすべきMediaFileをユーザが（おそらくはディジタルコンピュータ記憶装置又はそれと類似したソースから）選択することを可能にするダイアログボックスが開く。このダイアログボックスはまた、挿入する新たなMediaFileを作成するための単純な方法をユーザに提供する。例えば、該ダイアログボックスは、ユーザが新たな音声コメントを録音したり文字コメントをタイプ入力したりすることを可能にする。該ダイアログボックスはまた、新たなMediaFileを現在描画されているビューにのみ挿入すべきか、又はスクラップブックオブジェクト10の他のビューの幾つか又は全てにも挿入すべきか否かをユーザに尋ねる。選択され又は作成されたMediaFileには、導出された「仮想的な」位置と時間が割り当てられ、これは、関連付けされたGeoTemporalAnchor内のLocationフィールド及びTimeフィールドに記憶され、スクラップブックオブジェクト10の残りの部分とシームレスに一体化することが可能となる。挿入されたMediaFileのHeaderフィールドは、マルチメディアの当初の捕捉時間と位置を（例えば後のフィルタリング又は処理を考慮して）保持することが可能であるが、関連付けされたGeoTemporalAnchorにおける導出された仮想的なTime及びLocationは、スクラップブックオブジェクト10における他のPEMデータに関して必要に応じてその表示又は関連付けを行うことを可能にする。
【００５６】
ユーザ制御手段28はまた、ユーザ14が補足位置及び／又は時間構成データベースからの情報の適切なクエリを生成するのを助けるために、ディスプレイ26上に描画されているPEMデータのコンテキストを活用するインタフェイスを含むことができる。ここで図３を参照する。表示されるPEMデータのコンテキストでデータベースを探索するプロセスは以下のように要約することができる。ユーザ制御手段28は、例えばディスプレイ26により表示されているPEMに対する空間的及び／又は時間的な近さに基づいて、クエリ32を作成するインタフェイスをユーザに提供する。かかるクエリはまた、PEMに関する空間的、時間的、又はその他の属性（作成者又は所有者、マルチメディアカテゴリなど）を含む他の基準に基づくものとすることも可能である。探索は、新たなマルチメディア素材に関するものとすることが可能であり、又はオーバレイマップ、地方の音楽、気象データ、又はその他の表示されているPEMに関連する情報といった、他の情報に関するものとすることも可能である。計算ジオメトリエンジン36は、かかるクエリ32を、対象とするデータベースと互換性のある本書においてフィルタクエリ40,42と示す形式に変換する。データベースは、後で更に詳しく説明し本書でパス・エンハンスド・マルチメディアデータベース12と地理参照情報データベース34として示す２つのカテゴリの何れとすることも可能である。次に、データベースによって返されるクエリ応答44,46は、ユーザによって指定された基準と一致するよう計算ジオメトリエンジン36によりリファインすることが可能である。フィルタクエリ応答50は、ディスプレイ26上のスクラップブックオブジェクト10と共に、表示のためにレンダリング手段22に送られる。ユーザ制御手段28を使用して（該ユーザ制御手段28により提供されるユーザインタフェイスを介して）クエリ応答をブラウズし再検討し、かかる応答の幾つか又は全てを、表示されている「パス・エンハンスド」マルチメディアデータ構造に一体化させるよう随意選択的に選択することができる。
【００５７】
本書でパス・エンハンスド・マルチメディアデータベース12及び地理参照情報データベース34として示す２つのカテゴリの補足データベースが本発明によって意図されている。パス・エンハンスド・マルチメディアデータベース12は、任意の時間の長さにわたって１人又は複数のユーザにより収集されるマルチメディアを含み、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されたPEMを共有し、探索し、構成する様々な方法を支援する基礎構造を構成するものである。例えば、人は、そのようなPEMの全てをそのような１つのデータベースに格納することが可能であり、これにより、該データベースへのマップベースのインタフェイスを介して自分のマルチメディアへのアクセスを要求することができる。１人又は２人以上のユーザは、自身の「パス・エンハンスド」マルチメディアを、従来のブラウザライクなユーザインタフェイスならびにネットワーキング及びセキュリティプロトコルを含むデータベースアップロード37を介して、「パス・エンハンスド」マルチメディアデータベースに提供することができる。該データベース12には後に、時間、地理、又は他の情報に基づく述語を使用して照会することができる。所定のデータベースに対する寄与とクエリアクセスは両方とも、単一のユーザ14に限定することが可能であり、又は任意の大きさのグループの人々に許可することも可能である。これらデータベースに関連する応用例、方法、及びデータ構造は、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願においてより詳しく考察されている。
【００５８】
地理参照情報データベース34は、位置及び／又は時間によって構成された１つ又は２つ以上のタイプのデータを含むが、典型的には「パス・エンハンスド」マルチメディアデータベース12内のマルチメディアに関する明示的な経路情報は有さない。すなわち、地理参照情報データベース34内の各レコードは、時間及び／又は位置を用いて注釈が付されるが、地理的-時間的な経路と明示的に関連付けされることはない。地理参照情報データベース34は、記録された位置及び／又は時間でタグ付けされた天気（気温、降水量など）データ、ニュース記事、又はランドマークのストック写真、代表的な光景、及び様々な文化の人々を含むことができる。例えば、ユーザは、このスクラップブックオブジェクト10を既知のランドマークの専門家による写真によって強化するために、所与の旅行のために移動した記録済みのPEM経路に沿った位置タグを有するストック写真を、１つのかかるデータベースに照会することができる。
【００５９】
図６を参照すると、地理参照情報データベース34を探索するプロトコルの一実施形態は、表示された「パス・エンハンスド」マルチメディアに関し、以下のように進行する。
【００６０】
1）全ての世界領域または時間間隔について同じクエリをサポートするデータが所与のデータベース内に存在しない場合があるので、ユーザは、該ユーザの対象となる地理的および時間的領域についてデータベースから如何なるタイプの情報が利用可能であるかを最初に見つけなければばならない。したがって、ユーザは、最初に、時間及び／又は位置によって構成された情報のデータベースに接続し、又は１つ又は２つ以上のかかるデータベースを管理するサービスに接続して、該サービス又はデータベースに、現行のビューにおける全てのPEMデータを含む全体的な地理的指定及び／又は地理時間的境界ボックスを提供する（ステップ100）。この境界ボックスは、現行ビューに関連するスクラップブックオブジェクト10に記憶されている時間及び位置情報38を使用して計算ジオメトリエンジン36により部分的に生成することが可能である。
【００６１】
2）サービス又はデータベースは、対象となる地理的領域又は地理時間ウィンドウにとって利用可能となる情報のタイプを記述するキーフレーズ（クエリ応答44として示す）を返す。かかるキーフレーズ（フィルタ済クエリ応答50として示す）は、ディスプレイ26によるユーザに対する後の表示のためにレンダリング手段22に送られる（ステップ102）。情報のタイプを表すキーフレーズの例として、「レストラン」、「観光ランドマーク」、「ウェブカムビュー」、「他の人々の最近の写真」、「オーバレイマップ」、「当該地域からの民族音楽」、「ストック写真」、「ニュースヘッドライン」、及び「気温データ」が挙げられる。キーフレーズは随意選択的に、「最近20年以内」又は「2000年中」といったパラメータ範囲によって修正することが可能である。
【００６２】
3）ユーザは次に、対象とする情報タイプを選択する（ステップ104）。該ユーザはまた、パラメータ（「最近20年以内」や「今日」など）を指定することにより、又は多くのインターネットウェブページ及び文書探索ソフトウェアアプリケーションに使用される「AND」、「WITHOUT」、「ALL」などの標準的な文字ベースのクエリ修正を使用することにより、クエリを更にリファインすることが可能である。
【００６３】
4）ユーザは次に、グラフィカルインターフェースを介し、後述する１つ又は２つ以上のタイプの地理時間的な近接性基準を使用して、所望の情報を探索する対象となる地理時間ゾーンを指定する（ステップ106）。
【００６４】
5）ユーザはクエリを送出し、データベースサービスは該クエリを満たす情報を（それが発見された場合には）返す。後に詳述するように、計算ジオメトリエンジン36は、クエリの作成ならびに返された応答のフィルタリングを支援する。返された情報は、PEMの現在表示されているビューと地理的に位置合わせされるようにディスプレイ26に描画される（ステップ108）。例えば、クエリが「地理参照」ランドマークの写真を返し、及びユーザが現在PEMのマップベースビューで作業している場合には、ランドマークの写真の各々に関連付けされた位置にアイコンが描画される。更に、探索結果は、スクラップブックオブジェクト10にまだ一体化されていなかったクエリ結果として識別させる特別な外観で描画される。前述の例の場合、特別な方法でアイコンが描画されないPEM内の当初のMediaFileを表すアイコンと区別するために、濃い影、半透明、又は「疑問符」標識を用いて描画することが可能である。
【００６５】
6）ユーザは、随意選択的にグラフィカルインターフェースを使用して返された情報を調べることができる。このプロセスは、マルチメディアを再生するためにそのマルチメディアを表すアイコンをクリックすること、又は返されたマップをスクロールさせてその特徴が見えるようにすることを含むことが可能である（ステップ110）。
【００６６】
7）随意選択的なレビュープロセスの後、ユーザは、スクラップブックオブジェクト10に一体化させたい情報を選択する（ステップ112）。ユーザはまた、返された情報をPEMのビューの全てに一体化すべきか一部のみに一体化すべきかを指定する。代替的に、ユーザは、「地理参照」情報を、PEM内のGeoTemporalAnchorに直接関連付けするのではなく、何らかのビューに関連付けされたマップデータ構造内に一体化させるよう選択することが可能である。この後者の場合には、ユーザは、実際には、PEM自体ではなく、PEMのマップオーバレイを強化し又は編集する。
【００６７】
8）所望の情報の選択が完了した後、ユーザは、グラフィカルインターフェースを使用して、クエリによって返された残りの不要な情報をPEMの現行ビューの描画から除去することを要求することが可能である。
【００６８】
次に、ユーザは、上記ステップ1）、2）、3）又は4）の何れかに戻って、新たなクエリを開始させることが可能である。
【００６９】
以上の例は、クエリがインターネットサービスによって提供されるように示されているが、それと同じ機構を他のメディア記憶装置から提供されるデータベースに使用することも可能である。例えば、サードパーティーデータベースへのアクセスを提供するために、ＰＣと共にＤＶＤやＣＤなどの光記録メディアを使用することが可能である。
【００７０】
上記ステップ（4）で使用する地理時間的な近接基準は、PEMデータを使用して多くの方法で生成することが可能であり、この種の基準の多くは、他の現行システムで使用されているマルチメディアの単純な時間及び／又は位置の注釈から構築することができない。すなわち、本発明によるマルチメディアに対する経路情報の関連付けは、「地理参照」データベースクエリのための新規のタイプの興味深くかつ有用な地理時間的な近接基準の構築を可能にするものである。計算ジオメトリエンジン36は、典型的な地理参照情報データベース34により使用される経路ベースの地理時間的な近接基準と境界指向型クエリスタイルとの間の変換及びインタフェイスを提供するのに役立つ。上記ステップ（4）で使用することができる近接性の探索基準の複数の例とそれらを実施するための技術の実施形態は、以下のものを含む。
【００７１】
基準１：PEM内の経路の少なくとも１つのGeoTemporalAnchor208の距離「d」内の位置と関連付けされたマルチメディア等の情報を見つける。
【００７２】
探索技法１：多くの従来の地理参照情報データベース34は、空間的及び時間的境界によって規定された対象となる領域と時間を指定するクエリを受け入れることしかできないので、何らかのPEM経路までの近接性に基づく上記基準をデータベースに直接提出することができない場合がある。かかる場合、計算ジオメトリエンジン36は、最初に、表示された「パス・エンハンスド」マルチメディアのコンテキスト（例えばマップベースビュー）でユーザから出されたクエリ要求（クエリ32）を分析し、次いでスクラップブックオブジェクト10内のPEMデータから関連する時間及び位置データ38を収集する。次いで計算ジオメトリエンジン36は、地理参照情報データベース34に送るべき空間的及び時間的境界に関する適当なクエリ（フィルタクエリ40）を生成し、最後に、データベースによって返された結果をリファインして、ユーザにより指定された経路指向の近接性の制約を満たすフィルタクエリ応答50を（可能であれば）生成する。計算ジオメトリエンジン36が、クエリを生成し、及びPEM経路までの近接性に基づいてデータベース探索結果をフィルタリングすることを可能とする例示的な方法は、以下のように進行する（図７も参照されたい）。
【００７３】
a）経路全体について地理的境界ボックスを計算し、それを分離しきい値「d」だけ全ての辺上で大きくし、この境界ボックスに基づいてクエリを公式化する。該クエリ（フィルタクエリ40）をサービスに送り、その境界ボックスに関連する全ての情報の結果（クエリ応答44）を受け取る（ステップ120）。
【００７４】
b）PEMの現行ビューのマップのディジタル画像に埋め込まれる経路を（時間及び位置データ38を使用して）考慮し、経路から境界ボックス内の各画素まで最短距離（画素数）を計算する（ステップ122）。面取り距離（chamfer distance）変換アルゴリズムを使用して、そのような距離値を効率的な方法で近似的に計算することができ、その詳細については「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願を参照されたい。
【００７５】
c）クエリによって返された「地理参照」情報の各アイテム毎に、該情報に関連付けされた位置に対応するPEMの現行ビューに対応する画像内の画素を見つける（ステップ124）。
【００７６】
d）その画素における距離が「d」を超える場合、その情報はクエリ結果からフィルタ除去される。経路までの距離が「d」以下の画素にマッピングする情報だけが、クライアントによる再考のために提示される（ステップ126）。
【００７７】
基準２：経路の１つ又は２つ以上の指定したサブセクションの少なくとも１つのGeoTemporalAnchorの距離「d」内のマルチメディア等の情報を見つける。
【００７８】
探索技法２：基準（1）に関して説明した境界ボックス方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ（a）の境界ボックスの計算とステップ（b）の面取りプロセスを経路内のGeoTemporalAnchorのサブセットについてのみ働くよう限定する。
【００７９】
基準３：経路上の特定のポイントの距離「d」内にあるマルチメディア等の情報を見つける。
【００８０】
探索技法３：対象となるポイントを中心とした幅「2d」の境界正方形内の全ての情報についてのクエリがデータベースに送られる。該クエリの結果は、対象となるポイントを中心とした半径「d」の円の外側の位置にある情報を除外するよう更にリファインされる。
【００８１】
基準４：関連付けされた位置が距離「d」以内にあり関連付けされた時間がPEM経路上の少なくとも１つのポイントの時間間隔「i」内にあるマルチメディア等の情報を見つける。
【００８２】
探索技法４：これは、PEMとクエリにより返された情報との間の空間的な近接性と時間的な近接性の両方を強化する。前述の基準（1）の場合、我々は、クエリパラメータとして地理的境界と時間的境界しか受け入れない地理参照情報データベース34に関してそのようなクエリを実施する方法を考案しなければならない。計算ジオメトリエンジン36がPEM経路に対する地理的及び時間的近接性に基づいてクエリを生成しデータベース探索結果をフィルタリングすることができる１つの方法は以下のように進行する（図８も参照）。
【００８３】
a）経路の空間的境界ボックスならびに経路の時間的境界間隔を計算する（ステップ130）。そのような境界を有するクエリをサービスに送り、その境界ボックス及び時間間隔に関連する全ての情報の結果を受け取る。
【００８４】
b）返された各結果毎に、GeoTemporalAnchorが、該結果に関連付けされた時間間隔「i」内にある経路のサブセクションを探索する（ステップ132）。
【００８５】
c）このサブセクション内の各GeoTemporalAnchor毎に、該GeoTemporalAnchorと結果に関連付けされた位置との間の距離を計算する。サブセクション内のGeoTemporalAnchorまでの距離が「d」を超える場合、情報はクエリからフィルタ除去される（ステップ134）。
【００８６】
基準５：関連付けされた位置が距離「d」以内にあり、関連時間がPEM経路の１つ又は２つ以上のサブセクション上の少なくとも１つのポイントにおいて時間間隔「i」以内にあり、関連時間がそのような同じポイントの少なくとも１つの間隔「i」の範囲内にあるマルチメディアなどの情報を探す。
【００８７】
探索技法５：基準（4）の方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ（b）における経路サブセクションの探索をこの基準で指定された一組のサブセクションに制限する。
【００８８】
基準６：関連付けされた位置が距離「d」内にあり、及び関連付けされた時間がPEM経路の特定のGeoTemporalAnchorの時間間隔「i」内にあるマルチメディア等の情報を見つける。
【００８９】
探索技法６：それぞれのフィルタリングされたクエリ結果が有する時間が特定のGeoTemporalAnchorの時間と「i」未満だけ異なることを確認する追加のステップと共に、基準（3）の方法を使用してこれを実施することができる。
【００９０】
基準７：ユーザによってマップ上に描画された架空の経路の近くの情報を見つける。これは、計画した移動経路の近くの場所に関連する情報及びマルチメディアを探索するために使用されることが可能である。
【００９１】
探索技法７：ユーザがグラフィカルインターフェースによって経路を描画した後、基準（1）の方法によってクエリを実施することができる。必要に応じて、そのようなクエリ基準を１つ又は２つ以上の特定の時間ウィンドウに制限することもできる。
【００９２】
基準８：PEM内のマルチメディアに関連付けされた位置及び／又は時間の集合に対して空間的及び／又は時間的に近い情報を見つける。
【００９３】
探索技法８：これは、特に、例えば「私が音声を持っている場所のビデオを探す」といったメディア間クエリに使用することができる。かかる情報は、対象となる経路ポイントのサブセットとしてマルチメディアの捕捉時間及び位置を使用することによって、前述の方法（5）によって見つけることができる。
【００９４】
基準９：PEMに関連付けされた一組の滞在ポイントの近くの情報を見つける。
【００９５】
探索技法９：経路データを処理して、データを捕捉する人が、限られた地理的位置に長い時間を費やす「滞在」ポイントを検出することができる。かかる経路処理が終わった場合、対象となる経路ポイントのサブセットとして検出した「滞在」ポイントを使用して、前述の方法（5）による「滞在」ポイントの近くの位置及び時間に関連付けされたマルチメディアその他の情報を探索することができる。
【００９６】
基準10：PEM経路の近接性にかかわらず、マップ内の境界ボックス内にある情報、又はマップ内の１つ又は２つ以上のポイントの近くにある情報を見つける。
【００９７】
探索技法10：この方法は、標準的な「地理参照」データベースクエリへと退化するものであり、例えばマップオーバレイの境界ボックス内に見られ得る全てのアイテムを返す。かかるクエリの場合、経路やPEMに全く基づいていないので、返される情報は、PEM自体ではなく、PEMのビューのマップ構成要素と一体化されることが好ましい場合がある。事実上、返される情報を使用してマップの編集及び強化が行われ、これにより、PEM経路の何れの要素とも直接リンクさせることなく、PEMが描画される基本的なコンテキストに影響が与えられる。
【００９８】
上記方法では、スライダを使用して「d」や「i」等の「近接性」しきい値を制御して、クエリにより返されるマルチメディアを対話式に含め又は除外することが可能である。また、上記の近接性基準の何れかにより探索クエリを生成する前に既存の経路を編集し又は新たな経路を構成するようにすることが可能である。
【００９９】
また、スクラップブックオブジェクト10を表示し、修正し、及びそれとの対話を行うための上記機構を、スクラップブックオブジェクトを共有し及びそれにコメントをつけるために使用することもできる。例えば、特定の休暇を表すスクラップブックオブジェクト10を、他のディジタルコンピュータファイルを共有することができる方法と同じ方法で、スクラップブックオブジェクト10の作成者の友人や家族といった１人又は複数の他の人々と共有することが可能である。例えば、スクラップブックオブジェクト10は、電子メールにより送ることが可能であり、またHTTP又はFTPを使用してインターネットにより送ることが可能であり、また後に他の人々に物理的に送られるDVDやCDといったアーカイブ装置に書き込むことが可能である。そのような他の人々は、例えば、前述と同じインタフェイスを使用して、スクラップブックオブジェクト10により示された旅行をブラウズし、旅行に関する解説を形成し、スクラップブックオブジェクト10を編集して、次の休暇を充実したものにする修正された経路を含めることが可能である。次に、他の人々は、表示のため、また場合によっては自動表現の更なる編集又は出版のために、編集したスクラップブックオブジェクト10を返送することができる。かかる交換はまた、サーバアップロード機構又はピアツーピア共有機構を使用して実行することもでき、同期共有法（オンライン文書又はスライド表現と対話するために既に使用されているようなもの）もまた使用することが可能である。更に、経路及びマルチメディア注釈についての非空間的な属性の１つが「編集者」及び／又は「編集時間」であると仮定すると、時間の経過と共に修正を追跡することが可能であり、これによりスクラップブックオブジェクト10を現在見ている者は、編集後のスクラップブックオブジェクト10を見ることが可能であり、または特定の個人により作成され又は追加されたものだけを見ることを要求することが可能である。特定の個人により行われた修正だけを含むビューは、自動的な手段により容易に作成し格納することが可能である。
【０１００】
前述の機能の多くは、記録装置とは物理的に別個であると共に、表示リソース、計算リソース、及び記憶リソース、ならびに記録装置からデータをダウンロードするための転送プロトコルとのインタフェイスを有するシステム（デスクトップＰＣ等）で実現することができる。該システムはまた、PEMの共有を容易にし、また「パス・エンハンスド」マルチメディアの強化及び探査に資するために探索されることが可能な様々なデータベースへの接続を可能にする、インターネット接続を有することができる。
【０１０１】
他の実施形態では、図３に示したようなシステムの少なくとも一部又は全ては、ユーザ14に対してローカル又はリモートで実現することができる。例えば、一実施形態では、少なくとも経路プロセッサ18、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、及びユーザ制御手段28（又はこれらの要素によって実行されるプロセス）は、例えばデスクトップＰＣやマルチメディア装置などの別個の装置内でユーザに対してローカルに実施することが可能である。
【０１０２】
別の実施形態では、構成要素又は処理ステップの少なくとも一部をリモートで実施することが可能である。１つの例では、ユーザ制御手段28は、ウェブベースユーザインタフェイスによってローカルに実行することが可能である。ウェブベースインタフェイスは、ユーザがウェブサイトと対話して、ブロック18,10,20,22の機能をリモートに実行するための計算能力を有するリモートサーバへのユーザのPEMデータ記録のアップロードを容易にすることを可能にすることができる。ユーザがウェブベースインタフェイスを介して表示選択を指定したことに応じて、サーバは、ブロック18,10,20,22の機能を実行し、インタフェイスを介してダウンロード可能なPEMデータを提供して、該ユーザが選択したビューに従ってディスプレイ26上に該ユーザのPEMデータを表示することを可能にする。
【０１０３】
開示した例示的な装置に対する他の実施態様と機能強化は、今日と未来の両方で当業者に疑いなく明らかであろう。例えば、比較的小さい表示画面を備えた記録装置が、入力「パス・エンハンスド」マルチメディアデータを供給するとき、前述のものから得られた特定の基本的な編集及び表示機能は、内蔵された表示画面と単純化されたユーザインタフェイスとを使用して実際の記録装置自体で実施することが可能である。
【図面の簡単な説明】
【０１０４】
【図１】「パス・エンハンスド」マルチメディア（PEM）データが第１のマップベースのビューに従って表示される本発明の一実施形態の第１の例を示す説明図である。
【図２】PEMデータが第２のカレンダベースのビューに従って表示される本発明の一実施形態の第２の例を示す説明図である。
【図３】PEMデータの表示、修正、及びPEMデータとの対話を行うための例示的なシステムを示すブロック図である。
【図４】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図４Ａ】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図４Ｂ】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図５Ａ】象徴的に示された「視野」データを含む「パス・エンハンスド」マルチメディアデータのビューを示す図である。
【図５Ｂ】異なるタイプの「パス・エンハンスド」マルチメディアを含む例示的なスクラップブックオブジェクトを表示するユーザインタフェイスの一実施形態を示す説明図である。
【図６】距離基準を満たす「地理参照」情報を取り出し描画する例示的な手順のフローチャートである。
【図７】クエリ情報のため、及び距離基準を満たす取り出した情報を選択するための、例示的な手順のフローチャートである。
【図８】クエリ情報のため、及び時間基準及び距離基準の両方を満たす取り出された情報を選択するための、例示的な手順のフローチャートである。
【符号の説明】
【０１０５】
10 スクラップブックオブジェクト
12 パス・エンハンスド・マルチメディア（PEM）
18 経路プロセッサ
20 デフォルトビュー生成手段
22 レンダリング手段
26 ディスプレイ
28 ユーザ制御手段
34 地理参照情報データベース
36 計算ジオメトリエンジン
【技術分野】
【０００１】
本発明は一般に、本質的に連続して記録された経路情報と関連付けされた記録されたマルチメディアデータに関し、特に本開示は、該関連付けされたマルチメディア及び経路情報を表示し、修正し、及びそれと対話する技術について説明したものである。
（関連出願）
「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する本出願と同時に出願された本出願人による米国特許出願第10/427,614号は、オーディオ、静止画像、映像などのマルチメディアを個々に又は組み合わせで記録することができ、またそのようなマルチメディアを記録しているか否かに関係無く時間及び位置情報をサンプリングすることができ、これにより特定の音声や画像などの記録だけでなく、かかる音声や画像の記録の最中又はその記録間に移動した経路の記録が提供される、新規のマルチメディア記録機器を記載している。この機器が生成する記録データは、「パス・エンハンスド（path-enhanced）」マルチメディアの一例である。
【０００２】
本出願と同時に出願された本出願人による他の特許出願は、「パス・エンハンスド」マルチメディア技術の様々な熟考された他の応用例を記載している。
【０００３】
米国特許出願第10/427,582号である「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」は、マルチメディアデータの表現を動画化されたオーバービュー及び／又はそのようなイベントを接続する経路指向コンテキストと共に生成するための新規な装置及び方法に関する。
【０００４】
米国特許出願第10/427,647号である「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」は、関連付けされた時間と位置を有する記録データに適した新規なデータベース構造及びデータ探索手順に関するものである。
【背景技術】
【０００５】
既知の記録装置からのGPSデータが添付された静止ディジタル画像及びビデオディジタル画像は、かかるディジタル画像にアクセスするためのアイコンが重ねられたウェブ使用可能マップを生成するための既知のウェブベースシステムを使用して処理することができる。これらのシステムは、画像のためのGPSデータを別個にかつ無関係に提供するが、画像が捕捉されているとき以外の時間に生じるGPSデータに関する情報は提供されない。更に、捕捉ポイント間の連続した経路に沿って生じるGPSデータに関する情報は提供されない。
【０００６】
所定の２つのポイント間の算出経路に対するユーザの現在位置を表示するGPSベースのナビゲーションシステムは既知である。また、ユーザの経路を記録し表示するシステムも既知である。
【０００７】
更に、写真と関連付けされた位置タグに従って写真がマップ上に示される、マップ内に写真を表示するユーザインタフェイスが既知である。しかし、そのようなインタフェイスは、写真と関連した経路情報や写真の間の経路情報を表示しない。
【０００８】
しかし、現時点では、連続した経路とその経路に沿った各ポイントに関連付けされたマルチメディアとを含むマップを表示し及び／又は該マップと対話するユーザインタフェイスは知られていない。
[基本思想と定義]
・マルチメディア
「マルチメディア」という用語は、他の分脈では、データ、知覚体験、又はデータから体験を表現するために使用される技術を称するために様々な形で使用されてきたが、本書で使用されるときは、視覚、聴覚、嗅覚などの１つ又は２つ以上の人間の感覚が体験できる形態に互換装置によって表現できる任意のデータを広義に指す。同様に、「マルチメディア」は、他の場所では特に、多数のデータソースからの多数の知覚体験の表現に関連して使用されてきたが、本書で使用されるときは、単一の知覚体験以外を表すデータに等しく適用可能であるように意図されている。そのようなマルチメディアの一般的な例には、最初に写真フィルム又はCCDアレイによって記録された可視画像又は赤外線画像やマイクロフォンによって記録された音声などの物理センサによって取り込まれるデータ、又はマイクロフィルム化又はディジタル化された印刷出版物がある。現在意図されている他の例には、例えばシミュレートされた宇宙飛行のような完全にコンピュータによって合成されたデータ、テキストページ又はコンピュータ生成音声として表現できるディジタルテキスト（ASCII又はUNICODE形式）、又は物体又は環境の複製を合成するために使用できる現実の又は架空の物体又は環境の特定の物理特性（色、サイズ、形状、位置、空間識、速度、重量、表面質感、密度、弾性、温度、湿度、化学成分など）を表すデータがある。マルチメディアデータは一般に、１つ又は２つ以上の「マルチメディアファイル」に記憶され、そのような各ファイルは一般に所定の規定されたディジタル形式を有するものである。
・位置
位置は一般に、地球表面上のユーザの位置を表す座標によって規定することができる。天体力学では一般に多数の座標系が使用されており、異なる座標系の間の変換が知られている。実際に対象となる殆どの座標系は、ECEF（Earth-Centered, Earth-Fixed）座標系になる。ECEF座標系では、原点は地球の中心になり、座標系は地球に固定される。地球の形状を回転楕円面、詳細には偏球としてとしてモデル化するのが一般的であり、地球は極地よりも赤道の方が大きい。GPS応用分野で一般に使用されるそのような座標系の一例が、WGS84（世界測地系1984）である。WGS84系内では、緯度と経度が地球の表面上の任意の位置を規定する。緯度と経度の代わりに楕円面上に規定された他の一般化された任意の座標系を使用して地球上の位置を参照することができる。応用分野によっては、第３の座標である高度も必要とされる。GPS応用分野では、高度は、一般に、実際の地形の上ではなく、前述の地球を表す偏球面の上（又は下）の距離を示す。他の応用分野では、例えば所定の経路に沿った里程標又は側点に対応する位置（又は予定時間までも）が一次元座標系で表されることがある。
・時間
位置と同様に、時間を表すには多くの方法がある。多くのデータ処理応用分野において、時間は、何らかの時間スケールを使用して現在時刻と絶対基準時刻との時間差の数値表現として定義される。付加的な緯度及び経度情報を使用して、この数値表現から地方時間を計算することができる。
【０００９】
協定世界時（UTC）は、これらの発明で使用される時間スケールの一例となる最新の時間スケールである。UTC時間スケールは、きわめて安定した秒を画定し、また地球の自転に結びつけられたものである。秒は、セシウム133の基底状態の２つの超微細順位間の原子遷移によって生じる放射線の所定周期数の持続時間に関して規定される。更に、UTCシステムは、閏秒の追加により、地球の自転速度のずれに同期させられる。
・経路（path）
本書で使用するとき、「経路」は、（一般に、GPS、その他の無線サービス、及び／又は内部クロック又はカウンタからの）関連付けされた一連のタイムスタンプをそれぞれ有する（GPSその他からの、緯度、経度、及び／又は高度を含み得る）順序付けされた一連の隣接する位置を意味する。等価的に、「経路」は、一連の位置からの個々の位置に各々が関連付けされた一連の時間データと見なすことが可能である。
・「パス・エンハンスド」マルチメディア（PEM）
経路情報（例えば時間及び位置データ）とマルチメディアとの関連付けにより「パス・エンハンスド」マルチメディアが生成される。経路情報は、個々に記録されたマルチメディアファイルの記録間と記録中に移動した経路に関して記録される。換言すれば、経路情報は、マルチメディアが記録されたときと記録されなかったときの経路時間及び位置を含む。経路上の所与の１つのポイントに関連付けされた１つのマルチメディアファイルが、複数の瞬間に対応することができること、及び複数のマルチメディアファイルを同一ポイントに関連付けすることができることに留意されたい。
【発明の開示】
【課題を解決するための手段】
【００１０】
「パス・エンハンスド」マルチメディア（PEM）の表示、修正、及びそれとの対話を行うシステム及び方法について説明する。該システム及び方法は、PEMデータの全て又は一部分が表示される態様を決定するPEMデータの全て又は一部の様々なタイプのビューを提供することに基づくものである。該システムによれば、PEMデータは、所定のデータ構造に従って記憶され、該データ構造は、マルチメディアデータとその対応する経路情報を含む「パス・エンハンスド」マルチメディア（PEM）データに対応する第１のデータオブジェクトと、PEMデータがシステムにより表示される態様を規定するビューに対応する情報を記憶する少なくとも１つの第２のオブジェクトとを含む。ユーザ制御は、ビューを選択するためのユーザ入力を受け取り、ビュー選択をレンダリング手段に提供する。これに応じて、該レンダリング手段は、ユーザ入力によるビュー選択に応じて第１及び第２のデータオブジェクトタイプを受け取り、選択されたビューに従ってPEMデータを表示させる表示データを生成する。他の実施形態では、本システム及び方法は、PEMの修正及びPEMとの対話を可能にするユーザ制御を提供する。
【発明を実施するための最良の形態】
【００１１】
一般に、本発明は、記録された「パス・エンハンスド」マルチメディア（本書ではPEMと称す）の表示、修正、及びそれとの対話を行うシステム及び方法に関するものである。
【００１２】
図１は、第１の選択されたビューに従って表示されたPEMデータの一例を示している。本開示の目的上、「ビュー」は、PEMデータの集まりがユーザに対して表示装置上に如何に提示されるかを抽象的に示すものである。ビューはPEMデータの表現の構成を決定する。ビューは、PEMデータの表現を幾つかの態様で構成することができ、該態様には、地理によるもの（例えば「マップベースビュー」）、時間によるもの（例えば「カレンダベースビュー」）、メディアタイプによるもの（例えば「メディアリストビュー」）、及びこれらの組み合わせが含まれる。更に、各「タイプ」のビュー構成は、（本書で後述するように）特定の表現上の外観オプションを制御する「スタイル」パラメータにより限定することが可能である。例えば、マップベースビューでは、スタイルパラメータとして、背景マップの選択（例えばナビゲーションデータベースからの道路地図や航空写真）、描画される経路の滑らかさと太さ、及びマルチメディア捕捉位置を表すために使用するアイコンのスタイルが挙げられる。ビューはまた、PEMデータの集まりのサブセットを表示から除外することを可能にする。例えば、ビューは、全経路のうちの幾つかのサブセクション及び／又はマルチメディアの何らかのサブセットのみに表示を制限することがある。ビューはまた、PEMのうち１つ又は２つ以上の空間ウィンドウ内及び／又は時間ウィンドウ内にある部分だけに表示を制限することがある。任意の瞬間に、PEMデータのフルビューが表示上で見えなくなる場合があり、この場合、ユーザは、PEMデータの他の部分を見るために表示をスクロールし及び／又はズームする必要があることに注意されたい。換言すれば、抽象的な「ビュー」は、表示装置によりユーザの目に対して出力される物理的なビューとは異なる。
【００１３】
図１に示す実施形態では、ビューは、サンフランシスコの地図（マップ1）上に重ねられた、行楽客の旅行中に記録されたマルチメディアに対応するアイコン表現（3,4,5）を含む、マップベース表現を生成する。詳細には、行楽客は、経路（重ねられた経路2）をたどり、マルチメディアレコーダを使用して、関連する経路情報自体と共に、該経路2に沿って様々なマルチメディアファイル（重ねられたアイコン：ビデオ3、音声4、写真5）を捕捉している。これについては、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願で詳細に説明されている。ユーザインタフェイスにより表示されるPEMデータのこの地理ベースビューは、（本書で説明するような）様々なユーザ対話を可能にするものであり、例えば、対応する重ねられたアイコンをクリックすることにより記録されたマルチメディアを再生すること、パニングとズーミングによってマップを調べること、音声解説又は字幕を使って旅行に注釈をつけること、サードパーティ情報と追加メディアを使用して旅行表示を強化すること、及び経路及びマルチメディアデータを編集し修正すること等を可能にする。かかるユーザ対話は、例えば「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する前述の同時係属特許出願に記載されているように、過去の旅行を再体験すること、近づきつつある旅行の予定をたてること、友人の旅行のコメントを共有すること、又は映画的表現を自動生成するシステムに入力する前に旅行データを編集することを含む、多くの異なる目的に役立ち得るものとなる。
【００１４】
一実施形態では、サードパーティサービスも使用して異なるタイプの特別な地図を提供することが可能であり、該地図上には、表示された旅行経路と関連する任意のマルチメディアアイコンとが重ねられる。一実施形態では、見る者は、下側に位置する地図の選択肢を動的に選択し検討することができる。例えば、サンフランシスコを訪れた旅行者の場合、彼が自分の旅行データをレイアウトしたい可能性のある地図は、サンフランシスコの衛星地図、地域名と境界を示す旅行者用地図、地域の歴史地図、又は（おそらくは利用可能なGIS技術（http://www.usgs.gov/research/gis/title.htmlを参照）を使用した）サンフランシスコのディジタル立面地図と市街地図との組み合わせを含むことが可能である。
【００１５】
図２は、本発明による第２の特定のビューに従って表示されたPEMデータの第２の例を示す。このビューでは、PEMは時間的な関係に従って表示されており、これにより、人の経験を追体験するもう１つの方法が提供される。このビューは、旅行が同一の小さい地理的領域内に多数の経路を含む場合に有用となり得るものである。図２に示すように、旅行に関する情報は、各曜日6を別個の列としたカレンダベース形式1Aで表示されており、各メディアファイル（3,4,5）は時間7と関連付けされている。該カレンダ内の各エントリは、複数タイプのマルチメディア（例えば、静止画像、ビデオ画像、音声など）のうちの１つをリストアップすることができ、また該リストアップされた各マルチメディアの持続時間を示すことができる。カレンダエントリ内の地名は、本出願人による「System and Method for Creation of Video Annotations」と題する同時係属中の米国特許出願第10/426,775号に記載されているように、地理座標を地名と関連付けするデータベースを使用することによって経路データから自動的に抽出することができる。一実施形態では、カレンダ上に表示されるメディアタイプ、時間、キーワード、又はその他のオプションをユーザが（例えばユーザインタフェイスを介して）動的に選択できることが好ましい。このタイプのビューは、PEMの時間指向の照会／探索（例えば、「水曜日に録った全ての音声解説を聞かせてください」、「旅行後に作成した解説を見せてください」、又は「私がユニオンスクエアを訪れた全てのときの写真を見せてください」等）を実行するために使用することが可能である。経路上の所定のポイント（すなわち指定した時点）と関連付けされた１つのメディアファイルが、複数の瞬間（例えば6分間の音声解説4）に対応することが可能であること、及び複数のメディアファイル（8,9）を同じポイントに関連付けすることが可能であることに注意されたい。
【００１６】
地理的又は時間的に構成されたビュー以外のタイプのビューも意図されている。例えば、PEMデータは、マルチメディアコンテンツのタイプによって構成することが可能であり、例えば、音声記録用の列や静止写真用の列などを有する表において、その各列内のエントリをその関連付けされた時間及び／又は位置により構成することが可能である。
【００１７】
本発明によれば、ビューは、PEMデータの全て又は一部を表示することが可能である。例えば、表示されるマルチメディアアイコンを、特定の期間内にあるもの、又は特定の地理領域内にあるもの、又は「お気に入り」、「未編集」、「個人用」などの特定の関連する属性を有するマルチメディアファイルに限定することができる。
【００１８】
ビューで提示されるPEMには、後に、例えば、注釈データ、マルチメディアデータ、補助データ（例えば気温や高度）を含む追加データを補足することができる。PEMデータを補足するための様々な技術がある。
【００１９】
補足する注釈データには、例えば、旅行又は撮影した個々の写真のための文字ラベルや、特定の写真やビデオを捕捉している間に抱いた考えの記憶の音声記録がある。これらの注釈は、注釈付きのPEMデータのシームレスなブラウジング、編集、及び表示を可能にするように、オリジナルのPEMデータを記憶するデータ構造内に一体化させることができる。この実施形態によれば、PEMデータ構造内に一体化された注釈データには、後で示すように、後の注釈をオリジナルのPEMデータと明確に区別する標識がタグ付けされることが好ましい。そのような標識は、後の編集と探索にとって有用なものとなる。
【００２０】
補足するマルチメディアデータは、ユーザがマニュアルでファイルを選択する（例えばファイルシステム用のブラウザインタフェイスまたはそれと同様のユーザインタフェイスを介してデータベース内のファイルを手作業で探して該ファイルを選択する）ことによりPEMデータのビューに追加することができる。代替的には、PEM内の経路の時間及び位置情報が該PEMに関連する補足マルチメディアの探索を容易にすることができる。補足マルチメディアは、サードパーティサービスから得られるストックマルチメディア（すなわち、インターネットやエクストラネット接続により入手可能であることが多い容易に入手可能な既存のマルチメディア）とすることが可能であり、また、近くの会場で行われたコンサート又はスピーチ、又は訪れたが記録が許可されなかった場所の専門家が撮影した写真又はビデオ、又は見る人が興味を持ち得る他の「地理参照」（すなわち地理的情報によって符号化又は関連付けされた）マルチメディアデータといったマルチメディアを含むことが可能である。旅行の一部で天気又は照明がよくなかった場合には、かかる技術を使用して、当初の写真及びビデオを、もっとよい天気、異なる季節、又は異なる時刻に撮影された専門家のストック写真及びビデオに置き換えることができる。一実施形態では、補足マルチメディアは、当初のPEMデータ構造に追加されたときに補足物として識別できるようにタグ付けすることによってシームレスに一体化される。更に、補足マルチメディアは、PEMの最初に記録されたマルチメディアと同じように、時間及び場所データがタグ付けされる。具体的には、挿入されたマルチメディアファイルは、1）そのマルチメディアファイルが作成された実際の時間及び位置（又は実際の時間及び／又は位置が入手不能であるという標識）と、2）旅行に関して表示されるオリジナル経路及びマルチメディアデータに対する時間的及び地理的関係を決定する仮想的な時間及び位置とを詳しく示すデータフィールドによりタグ付けされることが好ましい。
【００２１】
PEMのビューはまた、様々な他のタイプの地理ベースのデータベース及びサービスから得ることができる非マルチメディアの補助データによって補足することができる。例えば、旅行の表示は、ビュー内に表示された旅行経路に沿った様々なポイント（すなわち経路の時間と位置）における気温、高度、又は歴史データを詳述する文字ラベル（又は合成音声）によって補足される。同様に、データ捕捉とほぼ同じ時間と場所で生じるローカルニュースのヘッドラインイベントを表すアイコンをPEMの表示中のビューに追加し、これにより、該アイコンを選択したときにそのヘッドラインに関するニュース記事が表示され又は（合成音声により）読み上げられるようにすることが可能である。
【００２２】
PEMのビューはまた、最新の情報及びコンテンツを含むよう動的に補足／更新することが可能であり、これにより、PEMの表示中のビューとの対話及びその参照により、以前の旅行（すなわち前に記録されたPEM）に関する新たな情報を公表することが可能となる。例えば、３年前の休暇の記録内容を、サードパーティデータベースから最新ストックのマルチメディア情報と非マルチメディア情報（位置により索引付けされていることが好ましいが必須ではない）によって自動的に豊かなものとすることができる。この実施形態によれば、このタイプのビューとの対話を可能にするインタフェイスは、「私が訪れた場所は現在どうなっているのか」、「どのように発展したか」、「私が滞在したホテルはまだ営業しているのか」、及び「そのホテルの現在の料金は」などの照会／探索を可能にする。一実施形態では、表示された経路の近くのロケーションから発せられるリアルタイムマルチメディアのインターネット対応ソース（ライブカメラなど）へのリンクを含めることができる。
【００２３】
別の実施形態では、（おそらくは補足的なストック音声及び画像だけを使用して）想像上の旅行又は予定している未来の休暇に対応する仮想経路をビュー内に規定することができる。補足マルチメディアは、仮想経路に沿った補足マルチメディアコンテンツの順序と地理的位置の制御を可能にする地理ベース（例えば経路指向）のユーザインタフェイスによって構成することができる。この仮想経路インタフェイスは、特に前述のように動的に更新される最新の地理ベースデータ及びマルチメディアコンテンツに仮想経路及び地図がリンクされている場合に、予定している旅行の計画を立てるのに役立つ。
【００２４】
PEMデータは、PEMの経路情報の全て又は特定の区分ならびにPEMのマルチメディアデータの一部に対するアクセスを制限するセキュリティ属性を有することが可能であり、これにより、電子メール、CD-ROM、インターネット、その他の類似の配布手段によりデータが共有される場合のデータアクセスの制御が容易となる。
【００２５】
本開示のPEM技術はまた、休暇の思い出を共有する他、消費者用途及び業務用途に利用することが可能であることを理解されたい。例えば、本PEM技術は、地質学又は生物学の偵察遠征などの科学探査任務に携わる人々にとって、探検家が発見したものの豊富なマルチメディア記録を作成すること、及びその文書を容易に閲覧し他の人と共有できる形式へと編集するプロセスを単純化させることを望む場合に有用なものである。本PEM技術はまた、記事の資料を収集する報道チーム、現場で証拠を文書化する法執行官又は個人投資家、偵察任務中の軍隊の隊員、建築場所を分析する測量士と建設作業員、及び販売する家のマルチメディアマップベース表現を作成したい不動産業者にとって有用なツールとなろう。
【００２６】
前述の機能に従ってPEMデータを表示し対話する例示的なシステムを図３に示す。詳細には、図３に示したシステムは、前述のようなビューによりディスプレイ上のPEMデータの描画を容易にする。一実施形態によれば、このシステムは、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、ディスプレイ26、及びユーザ制御手段28を含む。システムは、随意選択的に、経路プロセッサ18、PEMデータベース12、地理参照情報データベース34、計算ジオメトリエンジン36、データベースアップロード37を含む。
【００２７】
一般に、システムは、スクラップブックオブジェクト10の作成を考慮したものであり、PEM情報を表示、ブラウズ、編集、及び強化するための方法を実施するものである。この実施形態によれば、PEMデータ及びデフォルトビューデータが、デフォルトビュー生成ブロック20から受け取られ、本書で後述するようにスクラップブックオブジェクト10により所定のデータ構造で記憶される。好ましい実施形態では、ブロック20は、「マップ」、「カレンダ」、及び「メディアタイプ」のタイプを有するデフォルトビューを生成する。例えば、デフォルトのマップベースビューは以下のステップにより生成される。
1）時間及び位置の情報38が、スクラップブックオブジェクト10から、PEMデータの空間的な境界ボックスを計算する計算ジオメトリエンジン36に送られる。
2）この境界ボックスに基づくクエリ40が、計算ジオメトリエンジン36によって、位置により構成されたマップを含むデータベース34に送られる。
3）マップ情報は、クエリ応答44において計算ジオメトリエンジン36に戻される。
4）計算ジオメトリエンジン36は、このクエリ応答をフィルタリングして、PEMデータの空間的な境界ボックスをカバーするのに十分なサイズであってPEMデータがマップの小さな部分のみを占めるようなサイズのマップ情報を含むようにする。
5）フィルタリングされたマップ情報は、フィルタリングされたクエリ応答48としてスクラップブックオブジェクト10に返されてデフォルトのマップベースビューで使用される。
【００２８】
デフォルトのカレンダベースビューは、PEM内のデータと関連付けされた全ての時間を含む一定範囲の日付及び時刻を示し、位置座標を地名に関連付けするデータベース34から取り出された地名を有するエントリを有する。該地名は、マップ情報に関して上述したものと同様にしてデータベースから取り出されるが、異なる境界ボックス領域について名前を取り出すために異なるクエリが使用される場合がある点、及びクエリで地名を返すためにマップ情報ではなく地名のデータベースが使用される点でそれとは異なる。
【００２９】
また、メディアタイプによって構成されたデフォルトビューは、PEMと関連付けされた各タイプのマルチメディア毎に１つのセクションを含むよう生成される。デフォルトのカレンダベースビューの場合、地名を地理座標に関連付けするデータベースのクエリを介して、このビュー内の異なるマルチメディアエントリに地名を関連付けすることができる。かかるクエリ40を生成するために、マルチメディア及び／又はその近くの経路に関連する時間及び位置データ38が計算ジオメトリエンジン36によって使用される。
【００３０】
各タイプのデフォルトビュー毎に、該ビューのためのレイアウトと表現の嗜好を指定するために一組のデフォルトのスタイルパラメータが使用される。また、「隠し」や「個人用」として指定されたものやシステムへのPEMデータの入力に先立って同様に保護されるものを除き、全てのデフォルトビューについて、全ての経路、マルチメディア、及びPEM内の他のデータが、該ビュー内に含まれるよう指定され、これにより、全てのPEMデータの表現がレンダリング手段22により（可能であれば）生成されるようになる。
【００３１】
データ構造は、異なるビュータイプによるPEMデータの表示を容易にする。加えて、該データ構造は、PEMデータの探索及び修正を容易にする。ユーザは、ユーザ制御手段28を使用してビューのタイプを選択し、ビュー選択信号24をレンダリング手段22に提供させる。該信号24に応じて、PEM及びビューデータがレンダリング手段22に送られる。レンダリング手段22は次いで、ディスプレイ26を駆動するためのデータを生成する。該ディスプレイ26は、選択されたビューに従ってグラフィカルユーザインタフェイス（GUI）を介してPEMデータを表示する。一実施形態では、ビュー選択24は、マップベースビュー、カレンダベースビュー、又はテーブルベースビュー（ビデオの数やビデオの長さなど）を含む（但しこれらには限定されない）複数の考え得るタイプのビューの中からの選択を可能にする。ビュー選択24はまた、ビュー内にどのデータを表示するかを選択するユーザ制御を提供することができる。例えば、選択されたビューに従って、限られた時間及び／又は空間内のマルチメディアのみ、又はPEMデータのうち「お気に入り」などの特別な名前又はラベルが付けられたサブセットに対応するマルチメディアのみを表示することができる。
【００３２】
図３に示したシステムに提供される当初に記録されたPEMデータは、同時係属中の米国特許出願第10/427,614号に記載されているようなPEM記録装置から、又はストレージデバイス（例えばCDディスク）といった任意の他のソースから提供できることに留意されたい。しかし、PEMデータはまた、他の装置ソースにより、又は複数の記録装置の組み合わせにより生成することが可能であり、又は人為的な手段により（例えば、コンピュータマウスを使ってマップ上に手作業で経路を描くことにより、又は経路情報をコンピュータキーボードによりタイプ入力すると共に該経路に沿った複数のポイントに関連付けすべきマルチメディアファイルを手動選択することにより）完全に又は部分的に生成することが可能である。一般に、PEMデータは、1）本質的に連続してサンプリングされ記録された経路時間及び位置データ（すなわち経路情報）と、2）記録されたマルチメディアデータとを含む、２つのタイプのデータと考えることができる。そのような２つのタイプのデータは、本書で説明するように、データ構造全体内に組み込まれたポインタにより互いに関連付けされる。
【００３３】
一実施形態では、PEMデータの経路時間データ部分は、協定世界時（UTC）などの何らかの既知の時間基準システムにおけるカレンダ日付及び時間の両方を含むことができる。またPEMデータの経路位置データ部分は、地球の表面全体にわたる何らかの座標系（標準的な緯度と経度の座標系など）における二次元座標を含むことができるが、海抜、記録装置の方位情報、及び他のタイプの連続してサンプリングされたセンサデータを含むこともできる。写真又はビデオメディアが記録されるとき、経路位置及び方位データは、マルチメディアが捕捉された場所だけでなく、その捕捉時にレコーダから見た空間領域も示すことができる。この領域は、装置の位置及び方位と組み合わせてレコーダの焦点距離及び撮像子サイズから計算されたレコーダの視野（FOV）によって近似的に決定することができ、装置の方位は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願においてより詳細に説明されているように、記録装置に埋め込まれた磁石及び傾斜計から決定されることが好ましい。
【００３４】
一実施形態では、経路プロセッサ18は、スクラップブックオブジェクト10に提供する前に、受け取ったPEMデータ内の経路情報を処理し改善する。例えば、経路を滑らかにして空間ジッタ（例えばGPSレシーバにおけるマルチパス信号干渉によるもの）を除去し、実測位置データを利用できない領域内の経路を補間し、経路を単純化して小さい折り返しや蛇行（おそらく人が少し引き返したり又はぶらぶら歩いた場合）を除去し、及び／又はマップの重畳表現を改善するために経路を重複しない部分に分離させることができる。経路プロセッサ18はまた、「４時間で６マイル移動」や「平均速度＝時速２マイル」といった事実を記述する「旅行の概要」ウィンドウ上のメモ書きといった、ユーザに表示するために提示される旅行の統計を計算することが可能である。
【００３５】
経路プロセッサ18はまた、PEMデータ内の経路情報を分析して、該PEMデータの記録中に経路に沿って生じたイベントを識別するよう機能することも可能である。例えば、経路プロセッサ18は、例えば「信号強度」の分析を介して又は位置及び時間差から導出した速度に基づく計算を介して、移動経路に沿った「滞在ポイント」及び／又は「屋内の場所」を検出することが可能である。検出した「滞在ポイント」及び「屋内の場所」は、スクラップブックオブジェクト10のデータ構造内にタグ付けされ、PEMの表現のオプション層を自動的に生成するために使用することが可能である。例えば、PEMデータが記録装置からシステムに送られた後、経路プロセッサ18は、所定の長さの時間にわたり移動速度がほぼゼロであった場所として「滞在」を見つけることができる。後述するように、PEMデータが表示されるとき、特別なアイコンを挿入してそのような滞在が行われた場所を示すことができる。更に、旅行の表示を強化するために、後にそのような滞在の位置を使用してPEMデータ内の情報を探索する基準を構成することができる。例えば、ユーザは、所定期間にわたり滞在したと思われる位置の近くのストック写真をサードパーティデータベースから探したい場合がある。
スクラップブックオブジェクト10のデータ構造
スクラップブックオブジェクト10は、図４Ａ及び図４Ｂに示し、以下で一層詳細に説明し及び「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されているようなデータ構造として実施される。図４Ａ及び図４Ｂが該出願におけるデータ構造の一部しか示していないことに留意されたい。更に、本書での取り決めによれば、矢印は、埋め込みデータ構造へのポインタを示し、一対の山括弧は、示されたタイプのデータ構造の考え得るリストを示し、一対の丸括弧は、再帰的なデータ構造を示し、アスタリスクは、オプションフィールドを示していることに注意されたい。
【００３６】
スクラップブックオブジェクト10のデータ構造は、２つの主構成要素又はデータオブジェクト、すなわち、1）パス・エンハンスド・マルチメディア（PEM）データファイル200と、2）１つ又は２つ以上のビュー202とを含み、その各ビュー202は、ディスプレイにPEMデータを描画するStyle（スタイル）204を記述し、またPEM200内の経路及び／又はマルチメディアデータのうち該特定の描画に含めるべき部分を指定する。各PEM200は、記録されたGeoTemporalAnchor（地理時間的アンカー）208（本書ではAnchor（アンカー）と省略する場合がある）及びそれと関連するメディアファイル206の２つの基本構成要素を（該PEM200のSegment（区分）リスト232を介して間接的に）含む。各GeoTemporalAnchor208は、関連するTime（時間）210において信頼できる測定値が得られている場合には、Time210（すなわち経路時間データ）だけでなくオプションのLocation（位置）214を含むことができる。各GeoTemporalAnchor208はまた、PEMを記録する時にTime210及びLocation214と同じように実質的に連続してサンプリングされ記録されるElevation（高度）216、Orientation（方位）218、Tilt（傾斜）220、及びTemperature（温度）222などの様々なタイプの補助センサデータを記憶するフィールドを含むことが可能である。各GeoTemporalAnchor208はまた、特定のメディアファイル206へのポインタ212を含むことが可能であるが、代替的な実施形態では、MediaFile及びGeoTemporalAnchorを組み合わせて単一のオブジェクト（メディアファイル206の従来のファイル形式の使用を除くことが可能）にすることが可能であり、又は別個のリンクテーブルにより関連付けを行うことが可能である。各メディアファイル206は一般に、音声ストリーム（例えばMP3形式）、静止画像（例えばJPEG形式）、ビデオストリーム（例えばMPEG形式）を表すデータファイルである。しかし、他のタイプのマルチメディアが意図されている。
【００３７】
GeoTemporalAnchor208は、オプションのブールフラグであるModified（修正済み）224を含むことができる。「真」にセットされた場合、このフラグは、関連付けされたGeoTemporalAnchorが当初に記録されたPEMデータではなくPEM記録後に作成され又は修正されたものであることを示す。そのような修正されたGeoTemporalAnchorは、全く架空の仮想経路又は経路区分、他の当初のPEM経路データを補間又は平滑化することによって得られた復元経路区分、又は当初に記録されたものから時間及び／又は位置が移動された編集された当初の経路又は経路区分の一部とすることが可能である。Modifiedフラグはまた、「パス・エンハンスド」マルチメディアデータをユーザが編集している間に、メディアファイル206や他の補足データが関連付けされたGeoTemporalAnchor208に添付され又は削除されたとき、又はGeoTemporalAnchor208に関連付けされた補足データが修正された場合に「真」にセットされることが好ましい。このため、所定の経路ポイントについてPEMデータに追加データが補足された場合には、Modifiedフラグを「真」にセットすることにより該経路ポイントがタグ付けされる。更に、当初のデータが修正された場合に該フラグが「真」にセットされる。
【００３８】
単一の経路は、GeoTemporalAnchor208へのポインタ230のリストを含む区分226データ構造によって規定することが可能である。また、区分データ構造226内のHeader（ヘッダ）228は、描画スタイル、アクセス制限、及び他の属性（例えば、「Favorite（お気に入り）」、「Tentative（お試し）」など）を経路に関連付けすることを可能にする。しかし、ユーザが異なる属性を経路の異なる部分に関連付けすることを望み得ること、（おそらくは異なる旅行及び／又は異なる旅行者に対応する）幾つかの別個の経路を、同じ記録装置により記録すること、又は表示、共有、及び編集のために共通のPEMデータセット内に含めること、が意図されている。このため、区分データ構造226は、必要に応じて、完全な経路の一部のみ、又は組み合わされたデータセット内の幾つかの別個の経路のうちの１つのみを表すことができるものと見なされる。一連の幾つかの関連する区分226（例えば特定のユーザにより記録された単一経路の複数部分）は、区分データ構造226内の再帰的な{Segment}ポインタ234によって接続することが可能であり、これにより、完全な経路内の１つのSegmentから次のSegmentへのシーケンスが画定される。また、異なる複数のかかるSegmentシーケンス（おそらくは異なる作成者によるもの及び／又は同じ場所に対する異なる訪問について記録されたもの）をリスト232により単一のPEM200に含めることが可能である。
【００３９】
各GeoTemporalAnchor208が関連する任意のメディアファイル206へのポインタ212を含むことが可能であるため、PEM200とそのメディアファイル206との間には間接的な関連付けが存在する。しかし、PEMのSegment232内のGeoTemporalAnchorに関連付けされたMediaFileへのポインタの明示的なリスト236をPEMデータ構造200内に随意選択的に含めることにより、PEMに関連付けされた一組の完全なマルチメディアファイルは、探索及び／又は修正に一層適したものとなる。
【００４０】
一実施形態では、PEM200、区分226、及びメディアファイル206の階層的データ構造は、異なるレベルの所有権及びアクセス権を異なるデータ要素に関連付けすることを容易にする。例えば、異なるPEM200は、各PEM200毎のHeader238に反映されるように、異なる作成者により作成され、異なるユーザにより所有され、又は異なる旅行に属することが可能である。同様に、同じPEM200の各区分226は、個々のSegment Header228に反映されるように、同じ旅行の一部であると同時に異なるユーザに属することが可能である。また、特定のPEM200内の各メディアファイル206は、その関連するMediaFile Header240内に反映されるように異なる作成者を有することが可能である。
【００４１】
所与の１つのPEM200データ構造に複数のビュー202を関連付けすることが可能である。特定のビュー202は、同じPEMデータを描画する特定のスタイル（例えば、マップベースビュー、カレンダベースビュー、メディアタイプベースビュー）を規定するだけでなく、旅行の１つ又は２つ以上の異なる時間又は空間部分（例えば、指定された地理的境界内又は１つ又は２つ以上の時間間隔内のもの）に描画を制限することもでき、またメディアの表示をPEMに含まれるサブセット（例えば「お気に入り」としてマークされたもの）に制限することもできる。各ビュー202は、次の要素のうちの一部又は全てを含む。
・Type242：例えば、「マップ」、「カレンダ」、又は「メディアタイプ」。
・Map244：PEMデータの表示が重ねられるマップ252データに対する随意選択的なポインタ。
・Style204：タグを値に関連付けするタプルのリスト。PEMデータの表示方法を記述する。
・246：関連付けされた時間スタンプによる、PEMのうちこのビューに表示されることになる部分のリスト。
・248：PEMのこのビューに描画されるべきMediaFileへのポインタのリスト。
・MediaChk（メディアチェック）250：MediaFile Header238内のName（名前）及び／又はFormat（形式）フィールドに基づき、このビューで特定のメディアファイル206を描画するか否かを決定する規則。
・PermissionChk252：Segment Header228及び／又は関連したMediaFile Header240のPermissionsフィールドに基づいて特定の区分226と任意の関連したメディアファイル206を描画するか否かを決定する規則。
【００４２】
オプションの要素TimeInterval、MediaFile、MediaChk、及びPermissionChkについて、デフォルトはALL（すなわち全てのアイテムを描画する）である。
【００４３】
マップベースビューでは、経路及びマルチメディアデータがマップ画像上に重ねられる。マップデータ構造252は、描画すべきマップ画像とその描画方法とを記述する。マップデータ構造252はまた、PEMのコンテキストとは無関係に、MediaFileや他の情報に関連付けすることが可能である。マップデータ構造252は次の要素を含むことができる。
・Image254：画像、ベクトル、又は他の形式のマップデータ自体、又は適当なMediaFileへのポインタのみ。
・TransformType256：PEM経路内の位置を示す大域座標系と位置合わせするためにマップ画像データを変形させる手順。
・258：前記変形に使用されるパラメータ。
・LandAreaDelimiter（LAD）260：変形させたマップの表示部分をPEM座標系内の所定の領域に制限する。
・262：メディアファイル206や他のオプション情報（温度など）をマップ252に直接関連付けし、及び必要とされるTime210、Location214、又は他の記述上のデータを提供する。
【００４４】
時間間隔264は、StartTime266及びEndTime268を規定し、これにより、特定のビュー202についてのそれらのリスト246が、PEM経路のうちビュー内に表示されることになる部分の時間ウィンドウが規定される。LandAreaDelirniter（LAD）270は、地球のある部分の境界を２Ｄ座標系で規定する。緯度方向の線及び経度方向の線と位置合わせされた複数の部分に地球をモザイク状に分割する実施形態では、LADは次の構造を有する可能性がある。
・Center272：矩形の中心の緯度及び経度の位置。
・Width274：経度方向の範囲。
・Height276：緯度方向の範囲。
【００４５】
ビューType242が「Map」に設定される場合、例示的なStyleタグ204は次のものを含む。
・MapOrigin：何らかの２Ｄワールド座標系におけるマップの左上角の位置。
・MapScale：２Ｄワールド座標系でのマップのスケール。
・IconStyle：メディアを表すアイコンの描画方法。例えば、値「サムネイル」を有するIconStyleタグは、画像及びビデオを、メディアコンテンツを表す小さい画像で表現すべきことを示し、タグ値「数値」は、メディアファイルをボックス内に数字としてその捕捉順に描画することを示す。
・IconMapScaleParams：IconStyleと共に、個々のメディアを表す複数のアイコンを一組のメディアを表す合成アイコンへと一体化させるときを決定する一組のマップスケール規則。
・DurationStyle：ビデオや音声といった個々の非瞬時のマルチメディアの持続時間の表示方法。例えば、値「開始／停止」を有するDurationStyleタグは、ビデオ記録の始まる時点と終わる時点で経路に別々のアイコンを添付することを指示することが可能である。タグ値「経過」は、関連するアイコンが記録の長さの数値表示を含むことを指示することが可能であり、タグ値「区分」は、記録が行われている間の経路区分が区別できるようにマークされることを指示することが可能である。
【００４６】
前述のように、ビューデータ構造202は、マップベースビューの場合には、経路情報を描画するための適当なマップへのポインタと、マルチメディアが捕捉された位置を表すアイコンとを含む。生のマップデータは、随意選択的に、表示されるPEMデータ200が見やすくて正確な態様で重なるよう完全なマップのクロッピング及び位置合わせを行うのに必要なマップ境界及び／又はジオメトリ変換情報を伴う。図３を参照すると、レンダリング手段22は、PEM経路のうちビュー選択信号24によって指定された部分を、ビューデータ構造202内のStyleパラメータ204により指定することが可能な幾つかのスタイルのうちの何れかで描画することが可能である。１つの例示的なマップスタイルでは、レンダリング手段22は、単純に、表示すべき全てのGeoTemporalAnchor208に対応するマップ位置を時間順に結ぶ線を描画する。代替的に、経路プロセッサ18が、スプライン、曲線、又は他の幾何学要素に関して経路の表現を計算している場合には、レンダリング手段22は、それらの各要素をPEMデータの表示ビューに描画することになる。
【００４７】
レンダリング手段22は、マルチメディアファイルの捕捉位置に対応するマップ位置を、ビューStyleパラメータ204により指定することが可能な幾つかのスタイルのうち何れでも示すことができる。図１に示した例示的なマップスタイルでは、マルチメディアファイルのタイプ（例えば、ビデオ、音声、又は写真）を示すアイコン5は、ビュー内に表示すべき各マルチメディアファイルに関連付けされた捕捉位置においてマップ上に表示される。代替的に、マルチメディア捕捉位置は、ビューStyleパラメータ204に依存して、文字注釈、数値アイコン、サムネイル画像（視覚的なメディアの場合）によって示すことも可能であり、又は他の方法により示すことも可能である。
【００４８】
写真やビデオなどの視覚的なマルチメディアの場合、捕捉時にカメラから見た空間領域（すなわち、その「視野」）は、ビューStyleパラメータ204により指定することが可能な様々な方法の何れでも描画することが可能である。１つの例示的なスタイルでは、マップの平面におけるカメラ視野の空間的な範囲は、マルチメディアアイコンの位置から出る色付き領域又は影付き領域によって示される。代替的には、図５Ａに示すように、マルチメディアアイコンの位置から出る矢印を使用して、マップの平面内にカメラ視野の中心軸を示すことができる。図５Ａに示すように、視野データは、マップ1上ではマルチメディアアイコン5に矢印を付けることにより象徴的に示され、該矢印の方向はカメラの磁石方向を示し、矢印の長さはおよその焦点を示す。例えば、長い矢印52aは、カメラが遠くの物体に焦点を結んだ遠距離設定を示し、短い矢印52bは、カメラが近くの物体に焦点を結んだクローズアップ設定を示している。カメラの傾斜角は、随意選択的に、描かれた領域又は矢印の色又は影を選択することにより示すことが可能である。例えば、アイコンにおける視野矢印又は領域の影がアンカーポイントから遠くなるほど濃くなる場合には、カメラが上向きであることを示し、アイコンからの距離が遠くなるほど影が薄くなる場合には、カメラの傾きが下向きであることを示すことが可能である。視野が矢印で表される場合、地面に対するカメラの傾斜角を示すもう１つの方法は、矢印の太さを、カメラの位置から矢印の先端に向かって、カメラの上向きの程度に比例して太くすることである。視野が２Ｄ形状として表される場合、カメラの傾斜角を表すもう１つの方法は、傾きの方向を示すように影を描き、カメラがマップに対して傾いているかのように２Ｄ形状を描画することである。ビデオメディアの場合、視野は、ビデオの多数の個々のフレームについての視野の描画の全てを結合したもの、又はその何からの近似若しくは境界をなす外皮として表すことが可能である。更にもう１つの考え得るビューStyle204では、視野その他の関連情報は、単純な文字注釈により表すことが可能である。視野を示すための他の方法は、「Apparatus and Method for Recording "Path-Enhanced" Multimedia」と題する上記引用の同時係属出願において説明され図示されている。
【００４９】
スクラップブックオブジェクトを表示し、修正し、及び該オブジェクトと対話するためのユーザインタフェイスの一実施形態を図５に示す。これは４つのウィンドウからなる。第１のウィンドウ52は、マップ2'上に重ねられた経路1'とマルチメディアアイコン5'とを含む。この第１のウィンドウ内で、ユーザは、1）描画されたPEMデータをウィンドウをスクロール又はズームすることによって探し、2）該ユーザが再生したいマルチメディアのアイコンを（例えばコンピュータマウスでダブルクリックすることにより）選択し、3）経路情報を図形的に編集し、4）「地理参照データベース」からの関連するデータに関する地理的時間的なクエリを生成し、及び、5）多数の他のマップベースの対話を実行することが可能である。前述のように、表示されたアイコンがカメラの視野の表示を含む場合には、編集者は、一連の個々のマルチメディアファイルの削除又は変更によってカメラの向き又は焦点に突然の潜在的に不快な変化が生じるか否かを確認することができる。第２のウィンドウ54は、「Automatic Generation of Presentations from "Path-Enhanced" Multimedia」と題する上記引用の同時係属中の米国特許出願に詳細に示されているように、スクラップブックオブジェクト10から生成された映画に似た「表現」を再生するツールを提供する。第３のウィンドウ56は、現在選択されているマルチメディアのリストを示し、マルチメディア属性を編集するために使用することができる。第４のウィンドウ58は、マルチメディアプレーヤである。
【００５０】
図３を参照すると、ユーザ制御手段28は、PEMデータの表示、修正、及び対話を容易にするためのユーザ入力、並びにPEMデータの表示対象となるビューを受け取るよう機能する。ユーザ入力は、キーボード、マウス、タッチセンサ式表示画面などのユーザインタフェイスを介してユーザ制御手段28により受け取ることができる。一実施形態では、ユーザ制御手段28は、描画すべきPEM200のビュー202を選択するために、ユーザ入力から生成された信号、すなわちビュー選択24を提供する。ユーザ制御手段28は、ユーザが、時間、位置又はマルチメディアカテゴリ情報に従ってビューによって表示されたマルチメディア及び／又は経路データの一部分だけを示すように、PEMデータのビューをカスタマイズすることを可能にする。更に、PEMデータのマップベースビューの場合、制御手段28は、ユーザがマップを空間的にズームするかスクロールすることを可能にする。一般に、ユーザ制御手段28によって提供されるこのインタフェイスは、アイコンを選択してマルチメディアの再生を開始させこと、選択したマルチメディアの再生を制御（音声及びビデオメディアの早送り、停止、巻き戻しなど）すること、マルチメディア編集機能（写真のクロッピングや色調整など）を実行することを含む、表示されたビューとのユーザ対話を容易にする。
【００５１】
更に、ユーザ制御手段28は、スクラップブックオブジェクト10の様々な修正方法を可能にする。例えば、図３を参照すると、ユーザ制御手段28を介したユーザ入力に従って、編集30信号が生成されてスクラップブックオブジェクト10に提供される。編集30信号は、区分226及びメディアファイル206におけるHeader228,240のPermission属性の編集を行わせることができ、これによりユーザは、該ユーザが発行（保存）したスクラップブックオブジェクト10におけるどのマルチメディア及び経路区分が、一組又は複数組の他のユーザにより表示可能であるか、また編集可能であるか、といったことを選択することが可能となる。編集30信号はまた、メディアファイル206、そのヘッダ240、又はその関連するGeoTemporalAnchorに関連するTime210、Location214、作成者、又はその他の情報を手作業で編集するために使用することができる。ユーザ制御手段28は更に、スクラップブックオブジェクト10への新たな手作業による注釈（例えば写真に関連付けされた文字ラベル又は音声ナレーション）の追加といった補足情報の追加ならびに他の属性の編集に使用される。タグ付きマルチメディア及び／又は経路セクションの特定のグループと対話し参照することができるように、ユーザ制御手段28を使用してデータを「ブックマーク」して、マルチメディア及び／又は経路セクションを分類することができる。
【００５２】
ユーザ制御手段28を使用してスクラップブックオブジェクト10を編集し、補足情報（例えばセキュリティクラス）を追加してプライバシ保護を実現することができ、これにより、ユーザは、データオブジェクトが共有された際に、「パス・エンハンスド」マルチメディアデータオブジェクトのどの部分を様々なユーザに対して閲覧可能とするかを指定することができる。これらのプライバシー及びセキュリティ制御は、「パス・エンハンスド」マルチメディア（例えば、データベースサーバ、ピアツーピア、及び友人への単純な電子メール）を共有するために様々な方法によって利用されるセキュリティ機構と対話し又は該セキュリティ機構により使用することが可能である。
【００５３】
更に、ユーザ制御手段28は、ユーザが図１と図５に示したものと類似したグラフィカルインターフェースを介してスクラップブックオブジェクトのPEM200内の経路データを修正することを可能にする。例えば、ユーザは、経路2の一部を改訂し、経路の一部の自動的な平滑化又はループ除去を要求し、経路の全く新たな区分を描画し、又は経路の一部を除去することができる。幾つかの理由のために記録経路のそのような修正が望ましい場合がある。例えば、人が「再び戻る」ときや人が同じ地理領域内で複数のループを完結するときなどの多くの状況において、人により選択されGPSその他の手段により自動的に記録された正確な経路は、人の記憶よりも明確さに劣って構成されたデータのマップベースビューを構築する結果となり得る。人は、マルチメディアが記憶された殆ど全ての場所のそばを通過すると共にユーザの真の活動を大雑把に表すが、食品や浴室を見つけるための寄り道などの様々な気が散る詳細又は重要でない詳細を省略するように、表示経路を単純化したい可能性がある。人は、実際に領域内の個々の場所を全く異なる偶然の順序で訪れたときに、もし戻った場合に訪れた領域のツアーをどのように行うかを示す全く新たな経路を使用したい場合がある。
【００５４】
一実施形態によれば、経路を図形的に編集する際、ユーザが、経路の一部を削除するよう選択すると、経路内にギャップが空く場合がある。ギャップの端点は、直線、又は他の補間法（例えば三次スプライン）によって自動的に再接続することができ、又はユーザがギャップを橋渡しする新たな経路部分をマップ上に描画するよう選択することができる。経路の一部が削除されたとき、該削除された部分に関連付けされたメディアファイル206は、ユーザの要求で、1）表示から除去され、2）残っている最も近くのGeoTemporalAnchor208に自動的に添付され、又は、3）他のGeoTemporalAnchor208に対する手作業の再割り当てのためにユーザに提示されることが可能である。ユーザはまた、現在の経路の始めと終わりに追加する新たな経路部分を描画することが可能であり、又は経路全体を削除して新たな経路を描画するよう選択することも可能である。新たな経路部分を描画するとき、ユーザは、必要に応じた個数の新たなGeoTemporalAnchor208と関連付けすべきTime210を入力するよう要求されることが可能である。単調に増分しない経路に沿った一組の時間といった、一貫性のない時間入力は、システムにより拒絶され、ユーザはそれらを修正するよう要求される。一次補間法を使用してLocation214間のTime210を計算することが可能であり、時間は、ユーザ入力から又は当初の隣接する経路区分226の記録から入手することが可能である。また、ユーザは、経路に沿ったポイントを選択しその新たな時間を入力することにより、形状が修正されない経路区分226の時間情報を編集することが可能である。様々なマルチメディアの記録開始時間は、該マルチメディアが位置する経路区分の時間情報に対する変更と一致するように自動的に修正することが可能である。メディアファイル206は、本書に示した方法の何れかによって、修正した経路区分又は新たに作成した経路区分に追加することができる。センサ情報から直接記録される場合とは対照的に、ユーザの要求で修正又は作成されたGeoTemporalAnchor208は、Modifiedフラグ224などのフラグを立てることができる。かかる経路編集タスクを支援するために、標準的なキーボードインタフェイス、マウスインタフェイス、及びタブレットPCを含む、あらゆる全てのコンピュータ入出力装置を使用することができる。
【００５５】
ユーザ制御手段28はまた、スクラップブックオブジェクト10への新たなメディアファイルの挿入を可能にする。マップベースビューが表示されるとき、補足メディアを追加するための１つの技術は以下のように進行する。ユーザが、マウスその他の入力装置を使用してマップ上のポイントを選択し、システムは、表示された経路上の該ポイントに最も近い位置を識別し強調表示する。このとき、最も近い経路位置が（例えば２つの遠く離れたGeoTemporalAnchorを接続する線に沿っているため）それに関連付けされたGeoTemporalAnchorを有していない場合には、新たなGeoTemporalAnchorが作成される。GeoTemporalAnchorが既に存在するが、それにMediaFileが既に関連付けされている場合には、同じ時間及び位置データを用いて新たなGeoTemporalAnchorが作成されるが、MediaFileは関連付けされない。これらの何れの場合も、GeoTemporalAnchorのModifiedフラグが「真」にセットされて、この経路位置が当初のPEMデータでないことが示される。それ以外の場合には既存のGeoTemporalAnchorが修正されることになる。次いでこのGeoTemporalAnchorに関連付けすべきMediaFileをユーザが（おそらくはディジタルコンピュータ記憶装置又はそれと類似したソースから）選択することを可能にするダイアログボックスが開く。このダイアログボックスはまた、挿入する新たなMediaFileを作成するための単純な方法をユーザに提供する。例えば、該ダイアログボックスは、ユーザが新たな音声コメントを録音したり文字コメントをタイプ入力したりすることを可能にする。該ダイアログボックスはまた、新たなMediaFileを現在描画されているビューにのみ挿入すべきか、又はスクラップブックオブジェクト10の他のビューの幾つか又は全てにも挿入すべきか否かをユーザに尋ねる。選択され又は作成されたMediaFileには、導出された「仮想的な」位置と時間が割り当てられ、これは、関連付けされたGeoTemporalAnchor内のLocationフィールド及びTimeフィールドに記憶され、スクラップブックオブジェクト10の残りの部分とシームレスに一体化することが可能となる。挿入されたMediaFileのHeaderフィールドは、マルチメディアの当初の捕捉時間と位置を（例えば後のフィルタリング又は処理を考慮して）保持することが可能であるが、関連付けされたGeoTemporalAnchorにおける導出された仮想的なTime及びLocationは、スクラップブックオブジェクト10における他のPEMデータに関して必要に応じてその表示又は関連付けを行うことを可能にする。
【００５６】
ユーザ制御手段28はまた、ユーザ14が補足位置及び／又は時間構成データベースからの情報の適切なクエリを生成するのを助けるために、ディスプレイ26上に描画されているPEMデータのコンテキストを活用するインタフェイスを含むことができる。ここで図３を参照する。表示されるPEMデータのコンテキストでデータベースを探索するプロセスは以下のように要約することができる。ユーザ制御手段28は、例えばディスプレイ26により表示されているPEMに対する空間的及び／又は時間的な近さに基づいて、クエリ32を作成するインタフェイスをユーザに提供する。かかるクエリはまた、PEMに関する空間的、時間的、又はその他の属性（作成者又は所有者、マルチメディアカテゴリなど）を含む他の基準に基づくものとすることも可能である。探索は、新たなマルチメディア素材に関するものとすることが可能であり、又はオーバレイマップ、地方の音楽、気象データ、又はその他の表示されているPEMに関連する情報といった、他の情報に関するものとすることも可能である。計算ジオメトリエンジン36は、かかるクエリ32を、対象とするデータベースと互換性のある本書においてフィルタクエリ40,42と示す形式に変換する。データベースは、後で更に詳しく説明し本書でパス・エンハンスド・マルチメディアデータベース12と地理参照情報データベース34として示す２つのカテゴリの何れとすることも可能である。次に、データベースによって返されるクエリ応答44,46は、ユーザによって指定された基準と一致するよう計算ジオメトリエンジン36によりリファインすることが可能である。フィルタクエリ応答50は、ディスプレイ26上のスクラップブックオブジェクト10と共に、表示のためにレンダリング手段22に送られる。ユーザ制御手段28を使用して（該ユーザ制御手段28により提供されるユーザインタフェイスを介して）クエリ応答をブラウズし再検討し、かかる応答の幾つか又は全てを、表示されている「パス・エンハンスド」マルチメディアデータ構造に一体化させるよう随意選択的に選択することができる。
【００５７】
本書でパス・エンハンスド・マルチメディアデータベース12及び地理参照情報データベース34として示す２つのカテゴリの補足データベースが本発明によって意図されている。パス・エンハンスド・マルチメディアデータベース12は、任意の時間の長さにわたって１人又は複数のユーザにより収集されるマルチメディアを含み、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願に記載されたPEMを共有し、探索し、構成する様々な方法を支援する基礎構造を構成するものである。例えば、人は、そのようなPEMの全てをそのような１つのデータベースに格納することが可能であり、これにより、該データベースへのマップベースのインタフェイスを介して自分のマルチメディアへのアクセスを要求することができる。１人又は２人以上のユーザは、自身の「パス・エンハンスド」マルチメディアを、従来のブラウザライクなユーザインタフェイスならびにネットワーキング及びセキュリティプロトコルを含むデータベースアップロード37を介して、「パス・エンハンスド」マルチメディアデータベースに提供することができる。該データベース12には後に、時間、地理、又は他の情報に基づく述語を使用して照会することができる。所定のデータベースに対する寄与とクエリアクセスは両方とも、単一のユーザ14に限定することが可能であり、又は任意の大きさのグループの人々に許可することも可能である。これらデータベースに関連する応用例、方法、及びデータ構造は、「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願においてより詳しく考察されている。
【００５８】
地理参照情報データベース34は、位置及び／又は時間によって構成された１つ又は２つ以上のタイプのデータを含むが、典型的には「パス・エンハンスド」マルチメディアデータベース12内のマルチメディアに関する明示的な経路情報は有さない。すなわち、地理参照情報データベース34内の各レコードは、時間及び／又は位置を用いて注釈が付されるが、地理的-時間的な経路と明示的に関連付けされることはない。地理参照情報データベース34は、記録された位置及び／又は時間でタグ付けされた天気（気温、降水量など）データ、ニュース記事、又はランドマークのストック写真、代表的な光景、及び様々な文化の人々を含むことができる。例えば、ユーザは、このスクラップブックオブジェクト10を既知のランドマークの専門家による写真によって強化するために、所与の旅行のために移動した記録済みのPEM経路に沿った位置タグを有するストック写真を、１つのかかるデータベースに照会することができる。
【００５９】
図６を参照すると、地理参照情報データベース34を探索するプロトコルの一実施形態は、表示された「パス・エンハンスド」マルチメディアに関し、以下のように進行する。
【００６０】
1）全ての世界領域または時間間隔について同じクエリをサポートするデータが所与のデータベース内に存在しない場合があるので、ユーザは、該ユーザの対象となる地理的および時間的領域についてデータベースから如何なるタイプの情報が利用可能であるかを最初に見つけなければばならない。したがって、ユーザは、最初に、時間及び／又は位置によって構成された情報のデータベースに接続し、又は１つ又は２つ以上のかかるデータベースを管理するサービスに接続して、該サービス又はデータベースに、現行のビューにおける全てのPEMデータを含む全体的な地理的指定及び／又は地理時間的境界ボックスを提供する（ステップ100）。この境界ボックスは、現行ビューに関連するスクラップブックオブジェクト10に記憶されている時間及び位置情報38を使用して計算ジオメトリエンジン36により部分的に生成することが可能である。
【００６１】
2）サービス又はデータベースは、対象となる地理的領域又は地理時間ウィンドウにとって利用可能となる情報のタイプを記述するキーフレーズ（クエリ応答44として示す）を返す。かかるキーフレーズ（フィルタ済クエリ応答50として示す）は、ディスプレイ26によるユーザに対する後の表示のためにレンダリング手段22に送られる（ステップ102）。情報のタイプを表すキーフレーズの例として、「レストラン」、「観光ランドマーク」、「ウェブカムビュー」、「他の人々の最近の写真」、「オーバレイマップ」、「当該地域からの民族音楽」、「ストック写真」、「ニュースヘッドライン」、及び「気温データ」が挙げられる。キーフレーズは随意選択的に、「最近20年以内」又は「2000年中」といったパラメータ範囲によって修正することが可能である。
【００６２】
3）ユーザは次に、対象とする情報タイプを選択する（ステップ104）。該ユーザはまた、パラメータ（「最近20年以内」や「今日」など）を指定することにより、又は多くのインターネットウェブページ及び文書探索ソフトウェアアプリケーションに使用される「AND」、「WITHOUT」、「ALL」などの標準的な文字ベースのクエリ修正を使用することにより、クエリを更にリファインすることが可能である。
【００６３】
4）ユーザは次に、グラフィカルインターフェースを介し、後述する１つ又は２つ以上のタイプの地理時間的な近接性基準を使用して、所望の情報を探索する対象となる地理時間ゾーンを指定する（ステップ106）。
【００６４】
5）ユーザはクエリを送出し、データベースサービスは該クエリを満たす情報を（それが発見された場合には）返す。後に詳述するように、計算ジオメトリエンジン36は、クエリの作成ならびに返された応答のフィルタリングを支援する。返された情報は、PEMの現在表示されているビューと地理的に位置合わせされるようにディスプレイ26に描画される（ステップ108）。例えば、クエリが「地理参照」ランドマークの写真を返し、及びユーザが現在PEMのマップベースビューで作業している場合には、ランドマークの写真の各々に関連付けされた位置にアイコンが描画される。更に、探索結果は、スクラップブックオブジェクト10にまだ一体化されていなかったクエリ結果として識別させる特別な外観で描画される。前述の例の場合、特別な方法でアイコンが描画されないPEM内の当初のMediaFileを表すアイコンと区別するために、濃い影、半透明、又は「疑問符」標識を用いて描画することが可能である。
【００６５】
6）ユーザは、随意選択的にグラフィカルインターフェースを使用して返された情報を調べることができる。このプロセスは、マルチメディアを再生するためにそのマルチメディアを表すアイコンをクリックすること、又は返されたマップをスクロールさせてその特徴が見えるようにすることを含むことが可能である（ステップ110）。
【００６６】
7）随意選択的なレビュープロセスの後、ユーザは、スクラップブックオブジェクト10に一体化させたい情報を選択する（ステップ112）。ユーザはまた、返された情報をPEMのビューの全てに一体化すべきか一部のみに一体化すべきかを指定する。代替的に、ユーザは、「地理参照」情報を、PEM内のGeoTemporalAnchorに直接関連付けするのではなく、何らかのビューに関連付けされたマップデータ構造内に一体化させるよう選択することが可能である。この後者の場合には、ユーザは、実際には、PEM自体ではなく、PEMのマップオーバレイを強化し又は編集する。
【００６７】
8）所望の情報の選択が完了した後、ユーザは、グラフィカルインターフェースを使用して、クエリによって返された残りの不要な情報をPEMの現行ビューの描画から除去することを要求することが可能である。
【００６８】
次に、ユーザは、上記ステップ1）、2）、3）又は4）の何れかに戻って、新たなクエリを開始させることが可能である。
【００６９】
以上の例は、クエリがインターネットサービスによって提供されるように示されているが、それと同じ機構を他のメディア記憶装置から提供されるデータベースに使用することも可能である。例えば、サードパーティーデータベースへのアクセスを提供するために、ＰＣと共にＤＶＤやＣＤなどの光記録メディアを使用することが可能である。
【００７０】
上記ステップ（4）で使用する地理時間的な近接基準は、PEMデータを使用して多くの方法で生成することが可能であり、この種の基準の多くは、他の現行システムで使用されているマルチメディアの単純な時間及び／又は位置の注釈から構築することができない。すなわち、本発明によるマルチメディアに対する経路情報の関連付けは、「地理参照」データベースクエリのための新規のタイプの興味深くかつ有用な地理時間的な近接基準の構築を可能にするものである。計算ジオメトリエンジン36は、典型的な地理参照情報データベース34により使用される経路ベースの地理時間的な近接基準と境界指向型クエリスタイルとの間の変換及びインタフェイスを提供するのに役立つ。上記ステップ（4）で使用することができる近接性の探索基準の複数の例とそれらを実施するための技術の実施形態は、以下のものを含む。
【００７１】
基準１：PEM内の経路の少なくとも１つのGeoTemporalAnchor208の距離「d」内の位置と関連付けされたマルチメディア等の情報を見つける。
【００７２】
探索技法１：多くの従来の地理参照情報データベース34は、空間的及び時間的境界によって規定された対象となる領域と時間を指定するクエリを受け入れることしかできないので、何らかのPEM経路までの近接性に基づく上記基準をデータベースに直接提出することができない場合がある。かかる場合、計算ジオメトリエンジン36は、最初に、表示された「パス・エンハンスド」マルチメディアのコンテキスト（例えばマップベースビュー）でユーザから出されたクエリ要求（クエリ32）を分析し、次いでスクラップブックオブジェクト10内のPEMデータから関連する時間及び位置データ38を収集する。次いで計算ジオメトリエンジン36は、地理参照情報データベース34に送るべき空間的及び時間的境界に関する適当なクエリ（フィルタクエリ40）を生成し、最後に、データベースによって返された結果をリファインして、ユーザにより指定された経路指向の近接性の制約を満たすフィルタクエリ応答50を（可能であれば）生成する。計算ジオメトリエンジン36が、クエリを生成し、及びPEM経路までの近接性に基づいてデータベース探索結果をフィルタリングすることを可能とする例示的な方法は、以下のように進行する（図７も参照されたい）。
【００７３】
a）経路全体について地理的境界ボックスを計算し、それを分離しきい値「d」だけ全ての辺上で大きくし、この境界ボックスに基づいてクエリを公式化する。該クエリ（フィルタクエリ40）をサービスに送り、その境界ボックスに関連する全ての情報の結果（クエリ応答44）を受け取る（ステップ120）。
【００７４】
b）PEMの現行ビューのマップのディジタル画像に埋め込まれる経路を（時間及び位置データ38を使用して）考慮し、経路から境界ボックス内の各画素まで最短距離（画素数）を計算する（ステップ122）。面取り距離（chamfer distance）変換アルゴリズムを使用して、そのような距離値を効率的な方法で近似的に計算することができ、その詳細については「Indexed Database Structures and Methods for Searching Path-Enhanced Multimedia」と題する上記引用の同時係属出願を参照されたい。
【００７５】
c）クエリによって返された「地理参照」情報の各アイテム毎に、該情報に関連付けされた位置に対応するPEMの現行ビューに対応する画像内の画素を見つける（ステップ124）。
【００７６】
d）その画素における距離が「d」を超える場合、その情報はクエリ結果からフィルタ除去される。経路までの距離が「d」以下の画素にマッピングする情報だけが、クライアントによる再考のために提示される（ステップ126）。
【００７７】
基準２：経路の１つ又は２つ以上の指定したサブセクションの少なくとも１つのGeoTemporalAnchorの距離「d」内のマルチメディア等の情報を見つける。
【００７８】
探索技法２：基準（1）に関して説明した境界ボックス方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ（a）の境界ボックスの計算とステップ（b）の面取りプロセスを経路内のGeoTemporalAnchorのサブセットについてのみ働くよう限定する。
【００７９】
基準３：経路上の特定のポイントの距離「d」内にあるマルチメディア等の情報を見つける。
【００８０】
探索技法３：対象となるポイントを中心とした幅「2d」の境界正方形内の全ての情報についてのクエリがデータベースに送られる。該クエリの結果は、対象となるポイントを中心とした半径「d」の円の外側の位置にある情報を除外するよう更にリファインされる。
【００８１】
基準４：関連付けされた位置が距離「d」以内にあり関連付けされた時間がPEM経路上の少なくとも１つのポイントの時間間隔「i」内にあるマルチメディア等の情報を見つける。
【００８２】
探索技法４：これは、PEMとクエリにより返された情報との間の空間的な近接性と時間的な近接性の両方を強化する。前述の基準（1）の場合、我々は、クエリパラメータとして地理的境界と時間的境界しか受け入れない地理参照情報データベース34に関してそのようなクエリを実施する方法を考案しなければならない。計算ジオメトリエンジン36がPEM経路に対する地理的及び時間的近接性に基づいてクエリを生成しデータベース探索結果をフィルタリングすることができる１つの方法は以下のように進行する（図８も参照）。
【００８３】
a）経路の空間的境界ボックスならびに経路の時間的境界間隔を計算する（ステップ130）。そのような境界を有するクエリをサービスに送り、その境界ボックス及び時間間隔に関連する全ての情報の結果を受け取る。
【００８４】
b）返された各結果毎に、GeoTemporalAnchorが、該結果に関連付けされた時間間隔「i」内にある経路のサブセクションを探索する（ステップ132）。
【００８５】
c）このサブセクション内の各GeoTemporalAnchor毎に、該GeoTemporalAnchorと結果に関連付けされた位置との間の距離を計算する。サブセクション内のGeoTemporalAnchorまでの距離が「d」を超える場合、情報はクエリからフィルタ除去される（ステップ134）。
【００８６】
基準５：関連付けされた位置が距離「d」以内にあり、関連時間がPEM経路の１つ又は２つ以上のサブセクション上の少なくとも１つのポイントにおいて時間間隔「i」以内にあり、関連時間がそのような同じポイントの少なくとも１つの間隔「i」の範囲内にあるマルチメディアなどの情報を探す。
【００８７】
探索技法５：基準（4）の方法を僅かに修正してこれを実施することが可能であり、詳細には、ステップ（b）における経路サブセクションの探索をこの基準で指定された一組のサブセクションに制限する。
【００８８】
基準６：関連付けされた位置が距離「d」内にあり、及び関連付けされた時間がPEM経路の特定のGeoTemporalAnchorの時間間隔「i」内にあるマルチメディア等の情報を見つける。
【００８９】
探索技法６：それぞれのフィルタリングされたクエリ結果が有する時間が特定のGeoTemporalAnchorの時間と「i」未満だけ異なることを確認する追加のステップと共に、基準（3）の方法を使用してこれを実施することができる。
【００９０】
基準７：ユーザによってマップ上に描画された架空の経路の近くの情報を見つける。これは、計画した移動経路の近くの場所に関連する情報及びマルチメディアを探索するために使用されることが可能である。
【００９１】
探索技法７：ユーザがグラフィカルインターフェースによって経路を描画した後、基準（1）の方法によってクエリを実施することができる。必要に応じて、そのようなクエリ基準を１つ又は２つ以上の特定の時間ウィンドウに制限することもできる。
【００９２】
基準８：PEM内のマルチメディアに関連付けされた位置及び／又は時間の集合に対して空間的及び／又は時間的に近い情報を見つける。
【００９３】
探索技法８：これは、特に、例えば「私が音声を持っている場所のビデオを探す」といったメディア間クエリに使用することができる。かかる情報は、対象となる経路ポイントのサブセットとしてマルチメディアの捕捉時間及び位置を使用することによって、前述の方法（5）によって見つけることができる。
【００９４】
基準９：PEMに関連付けされた一組の滞在ポイントの近くの情報を見つける。
【００９５】
探索技法９：経路データを処理して、データを捕捉する人が、限られた地理的位置に長い時間を費やす「滞在」ポイントを検出することができる。かかる経路処理が終わった場合、対象となる経路ポイントのサブセットとして検出した「滞在」ポイントを使用して、前述の方法（5）による「滞在」ポイントの近くの位置及び時間に関連付けされたマルチメディアその他の情報を探索することができる。
【００９６】
基準10：PEM経路の近接性にかかわらず、マップ内の境界ボックス内にある情報、又はマップ内の１つ又は２つ以上のポイントの近くにある情報を見つける。
【００９７】
探索技法10：この方法は、標準的な「地理参照」データベースクエリへと退化するものであり、例えばマップオーバレイの境界ボックス内に見られ得る全てのアイテムを返す。かかるクエリの場合、経路やPEMに全く基づいていないので、返される情報は、PEM自体ではなく、PEMのビューのマップ構成要素と一体化されることが好ましい場合がある。事実上、返される情報を使用してマップの編集及び強化が行われ、これにより、PEM経路の何れの要素とも直接リンクさせることなく、PEMが描画される基本的なコンテキストに影響が与えられる。
【００９８】
上記方法では、スライダを使用して「d」や「i」等の「近接性」しきい値を制御して、クエリにより返されるマルチメディアを対話式に含め又は除外することが可能である。また、上記の近接性基準の何れかにより探索クエリを生成する前に既存の経路を編集し又は新たな経路を構成するようにすることが可能である。
【００９９】
また、スクラップブックオブジェクト10を表示し、修正し、及びそれとの対話を行うための上記機構を、スクラップブックオブジェクトを共有し及びそれにコメントをつけるために使用することもできる。例えば、特定の休暇を表すスクラップブックオブジェクト10を、他のディジタルコンピュータファイルを共有することができる方法と同じ方法で、スクラップブックオブジェクト10の作成者の友人や家族といった１人又は複数の他の人々と共有することが可能である。例えば、スクラップブックオブジェクト10は、電子メールにより送ることが可能であり、またHTTP又はFTPを使用してインターネットにより送ることが可能であり、また後に他の人々に物理的に送られるDVDやCDといったアーカイブ装置に書き込むことが可能である。そのような他の人々は、例えば、前述と同じインタフェイスを使用して、スクラップブックオブジェクト10により示された旅行をブラウズし、旅行に関する解説を形成し、スクラップブックオブジェクト10を編集して、次の休暇を充実したものにする修正された経路を含めることが可能である。次に、他の人々は、表示のため、また場合によっては自動表現の更なる編集又は出版のために、編集したスクラップブックオブジェクト10を返送することができる。かかる交換はまた、サーバアップロード機構又はピアツーピア共有機構を使用して実行することもでき、同期共有法（オンライン文書又はスライド表現と対話するために既に使用されているようなもの）もまた使用することが可能である。更に、経路及びマルチメディア注釈についての非空間的な属性の１つが「編集者」及び／又は「編集時間」であると仮定すると、時間の経過と共に修正を追跡することが可能であり、これによりスクラップブックオブジェクト10を現在見ている者は、編集後のスクラップブックオブジェクト10を見ることが可能であり、または特定の個人により作成され又は追加されたものだけを見ることを要求することが可能である。特定の個人により行われた修正だけを含むビューは、自動的な手段により容易に作成し格納することが可能である。
【０１００】
前述の機能の多くは、記録装置とは物理的に別個であると共に、表示リソース、計算リソース、及び記憶リソース、ならびに記録装置からデータをダウンロードするための転送プロトコルとのインタフェイスを有するシステム（デスクトップＰＣ等）で実現することができる。該システムはまた、PEMの共有を容易にし、また「パス・エンハンスド」マルチメディアの強化及び探査に資するために探索されることが可能な様々なデータベースへの接続を可能にする、インターネット接続を有することができる。
【０１０１】
他の実施形態では、図３に示したようなシステムの少なくとも一部又は全ては、ユーザ14に対してローカル又はリモートで実現することができる。例えば、一実施形態では、少なくとも経路プロセッサ18、スクラップブックオブジェクト10、デフォルトビュー生成手段20、レンダリング手段22、及びユーザ制御手段28（又はこれらの要素によって実行されるプロセス）は、例えばデスクトップＰＣやマルチメディア装置などの別個の装置内でユーザに対してローカルに実施することが可能である。
【０１０２】
別の実施形態では、構成要素又は処理ステップの少なくとも一部をリモートで実施することが可能である。１つの例では、ユーザ制御手段28は、ウェブベースユーザインタフェイスによってローカルに実行することが可能である。ウェブベースインタフェイスは、ユーザがウェブサイトと対話して、ブロック18,10,20,22の機能をリモートに実行するための計算能力を有するリモートサーバへのユーザのPEMデータ記録のアップロードを容易にすることを可能にすることができる。ユーザがウェブベースインタフェイスを介して表示選択を指定したことに応じて、サーバは、ブロック18,10,20,22の機能を実行し、インタフェイスを介してダウンロード可能なPEMデータを提供して、該ユーザが選択したビューに従ってディスプレイ26上に該ユーザのPEMデータを表示することを可能にする。
【０１０３】
開示した例示的な装置に対する他の実施態様と機能強化は、今日と未来の両方で当業者に疑いなく明らかであろう。例えば、比較的小さい表示画面を備えた記録装置が、入力「パス・エンハンスド」マルチメディアデータを供給するとき、前述のものから得られた特定の基本的な編集及び表示機能は、内蔵された表示画面と単純化されたユーザインタフェイスとを使用して実際の記録装置自体で実施することが可能である。
【図面の簡単な説明】
【０１０４】
【図１】「パス・エンハンスド」マルチメディア（PEM）データが第１のマップベースのビューに従って表示される本発明の一実施形態の第１の例を示す説明図である。
【図２】PEMデータが第２のカレンダベースのビューに従って表示される本発明の一実施形態の第２の例を示す説明図である。
【図３】PEMデータの表示、修正、及びPEMデータとの対話を行うための例示的なシステムを示すブロック図である。
【図４】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図４Ａ】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図４Ｂ】例示的なスクラップブックオブジェクトデータ構造レイアウトの一部を示す説明図である。
【図５Ａ】象徴的に示された「視野」データを含む「パス・エンハンスド」マルチメディアデータのビューを示す図である。
【図５Ｂ】異なるタイプの「パス・エンハンスド」マルチメディアを含む例示的なスクラップブックオブジェクトを表示するユーザインタフェイスの一実施形態を示す説明図である。
【図６】距離基準を満たす「地理参照」情報を取り出し描画する例示的な手順のフローチャートである。
【図７】クエリ情報のため、及び距離基準を満たす取り出した情報を選択するための、例示的な手順のフローチャートである。
【図８】クエリ情報のため、及び時間基準及び距離基準の両方を満たす取り出された情報を選択するための、例示的な手順のフローチャートである。
【符号の説明】
【０１０５】
10 スクラップブックオブジェクト
12 パス・エンハンスド・マルチメディア（PEM）
18 経路プロセッサ
20 デフォルトビュー生成手段
22 レンダリング手段
26 ディスプレイ
28 ユーザ制御手段
34 地理参照情報データベース
36 計算ジオメトリエンジン
【特許請求の範囲】
【請求項１】
マルチメディアシステムであって、
移動された経路に関連する本質的に連続した経路情報と該経路に沿ったポイントと関連付けされたマルチメディアデータとを含む「パス・エンハンスド」マルチメディア（PEM）を記憶する少なくとも１つの第１のデータオブジェクトと、本システムにより前記PEMデータの少なくとも一部が表示される態様を規定する少なくとも１つのビューに対応する情報を記憶する少なくとも１つの第２のデータオブジェクトとを含むデータ構造を有する記憶領域と、
前記少なくとも１つのビューのうちの１つの選択を含むユーザ入力を受け取るユーザ制御手段と、
前記ユーザ入力によるビュー選択に依存して第１及び第２のデータオブジェクトタイプを受け取り、該ビュー選択に対応する前記「パス・エンハンスド」マルチメディアデータの前記少なくとも一部を含む表示データを生成する、レンダリング手段と、
前記表示データを表示するディスプレイと
を含む、マルチメディアシステム。
【請求項１】
マルチメディアシステムであって、
移動された経路に関連する本質的に連続した経路情報と該経路に沿ったポイントと関連付けされたマルチメディアデータとを含む「パス・エンハンスド」マルチメディア（PEM）を記憶する少なくとも１つの第１のデータオブジェクトと、本システムにより前記PEMデータの少なくとも一部が表示される態様を規定する少なくとも１つのビューに対応する情報を記憶する少なくとも１つの第２のデータオブジェクトとを含むデータ構造を有する記憶領域と、
前記少なくとも１つのビューのうちの１つの選択を含むユーザ入力を受け取るユーザ制御手段と、
前記ユーザ入力によるビュー選択に依存して第１及び第２のデータオブジェクトタイプを受け取り、該ビュー選択に対応する前記「パス・エンハンスド」マルチメディアデータの前記少なくとも一部を含む表示データを生成する、レンダリング手段と、
前記表示データを表示するディスプレイと
を含む、マルチメディアシステム。
【図１】
【図２】
【図３】
【図４】
【図４Ａ】
【図４Ｂ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図４Ａ】
【図４Ｂ】
【図５Ｂ】
【図６】
【図７】
【図８】
【公表番号】特表２００６−５２６１５２（Ｐ２００６−５２６１５２Ａ）
【公表日】平成１８年１１月１６日（２００６．１１．１６）
【国際特許分類】
【出願番号】特願２００６−５１４２６９（Ｐ２００６−５１４２６９）
【出願日】平成１６年４月２９日（２００４．４．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１３８１９
【国際公開番号】ＷＯ２００５／０１７７８０
【国際公開日】平成１７年２月２４日（２００５．２．２４）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
【公表日】平成１８年１１月１６日（２００６．１１．１６）
【国際特許分類】
【出願日】平成１６年４月２９日（２００４．４．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０１３８１９
【国際公開番号】ＷＯ２００５／０１７７８０
【国際公開日】平成１７年２月２４日（２００５．２．２４）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
[ Back to top ]