シーン間遷移のための方法
【課題】コンピュータディスプレイ上の二つ以上の関連するイメージまたはパノラマの間で、滑らかな遷移を生成する。
【解決手段】第１と第２のデジタル画像内のジオメトリをグラフィカルに識別する段階と、第１と第２のデジタル画像内のオブジェクトの３次元ジオメトリを生成する、第１と第２のデジタル画像のジオメトリの間の関係を確定する段階と、３次元ジオメトリ中の複数の遷移画像のうちの各遷移画像に対して、経路に沿った視点と、それに対応する方向とを決定する段階と、各遷移画像について、遷移パラメータ手段において、１つ以上の遷移パラメータであって、各遷移パラメータは第１と第２のデジタル画像のカラーデータの貢献の尺度を表す遷移パラメータを受け取る段階と、遷移パラメータと視点とに基づき、３次元ジオメトリに、第１と第２の画像のカラーデータを投影的にマッピングして、複数の遷移画像を構成する段階とを有する。
【解決手段】第１と第２のデジタル画像内のジオメトリをグラフィカルに識別する段階と、第１と第２のデジタル画像内のオブジェクトの３次元ジオメトリを生成する、第１と第２のデジタル画像のジオメトリの間の関係を確定する段階と、３次元ジオメトリ中の複数の遷移画像のうちの各遷移画像に対して、経路に沿った視点と、それに対応する方向とを決定する段階と、各遷移画像について、遷移パラメータ手段において、１つ以上の遷移パラメータであって、各遷移パラメータは第１と第２のデジタル画像のカラーデータの貢献の尺度を表す遷移パラメータを受け取る段階と、遷移パラメータと視点とに基づき、３次元ジオメトリに、第１と第２の画像のカラーデータを投影的にマッピングして、複数の遷移画像を構成する段階とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスの方法とシステムに関連し、特に、コンピュータディスプレイ上の二つ以上の関連するイメージまたはパノラマの間で、滑らかな遷移を生成するための方法およびシステムに関連する。
【背景技術】
【０００２】
仮想的な旅行が、見る人に興味あるシーンに関する情報を提供するための、しばしば使用される技術となっている。このような旅行は、一つのシーンまたは数々のシーンの写真のようにリアルで相互作用的で没頭させる体験を、提供し得る。これらの旅行は、シーンを表すのに、一つ以上の幅広い種類のグラフィックディスプレイ技術を組み込み得る。
【０００３】
これらの旅行の一部として情報を表示するための一つの効果的な技術は、パノラマまたはパノラマ的なイメージの表示である。パノラマ的なビューアは、ピクチャ全体に対して詳細を維持しながら、広い視野でイメージを表示し得る。いくつかのステップが、これらのパノラマの生成および表示のために要求され、イメージの取り込み、イメージの「縫い合わせ」、および、パノラマ表示（または、見ること）である。一番目のステップは、シーン１００のイメージの取り込みで、また、獲得ステップとして知られている。図１に示されるように、多数の写真が、典型的には、空間の単一の位置１１０から、様々な角度から撮られる。通常のカメラと装備が使用され得、特別なハードウェアは通常要求されない。従来技術で知られるように、与えられた位置から、シーンの実質的に縫い目のない視野を提供するために、撮られた写真イメージは、次に、縫い合わせ技術を使用して、一緒に「縫い合わされ」る。図２は、二つのパノラマ形式：球面マップ２００、２２０と、立方体マップ２１０、２３０とで、シーンの例を示している。開かれた縫い合わされたイメージ２００は、球面幾何２２０に描かれ、球の中心から見られたとき、パノラマは仮想的に写真撮影獲得位置を複製する。立方体マップパノラマでも、プロセスは同様に働く。パノラマ的投影の他のタイプが使用され得るが、プロセスは同様である。イメージは一部のパノラマとして考えられ得ることに注意されたい。図３に図示されるように、最後のステップは、パノラマの表示または見ることである。共に縫い合わされたイメージは、従来技術で知られるように、パノラマ鑑賞技術を使用して、相互作用的に見られる。図３では、球面パノラマ３００に対して、球の中心における仮想空間の獲得位置３１０が示されている。また、示されているのは、ディスプレイ上で見られ得るパノラマイメージの一部を表す、ピンホールカメラ投影円錐台３２０である。
【０００４】
現在のパノラマ的仮想旅行は、重要な制限を有する。パノラマ（通常の写真およびイメージを含む）の固有の性質は、パノラマは単一獲得位置から撮られており、したがって、イメージは静的であるということである。幅広い範囲を記述するためには、すなわち、空間の一点からの視野を越えるには、パノラマ的仮想旅行は典型的には「潜望鏡視野」を使用し、エンドユーザは空間の一点に「ポップ（ｐｏｐ）」し、周囲を見渡し、次に、より広い範囲を通り抜けるために、空間の別の位置へ即座に「ポップ」する。二つのパノラマシーンの単純な場合を仮定すると、獲得位置が非常に近いときでさえ、見る人にとって二つのシーンを精神的に接続することは、しばしば困難である。二つのパノラマは、どのようにパノラマがお互いに接続され方向付けられているかを記述することは、本質的に可能ではない。これらの制限によって、見る人にとって、現在の仮想旅行で、空間、方向の感覚、広い範囲の大きさを理解するのは、困難である。
【発明の概要】
【課題を解決するための手段】
【０００５】
（発明の概要）
本発明の第１の実施形態では、ディスプレイを有するコンピュータシステムで第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する方法を提供する。第１のシーンは、第１の視点から観測され、特徴を含む。第２のシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１に図表を用いてディスプレイ上で第１のシーンの特徴と第２のシーンの特徴とをグラフィック的に識別すること、および、二つの特徴を使用して第１のシーンを第２のシーンへマッピングする変換を決定することを含む。そして、一つ以上の遷移イメージが生成され、それは、第１のシーンの特徴と第２のシーンの特徴とに基づいて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む。
【０００６】
本発明の別の実施形態では、コンピュータシステムディスプレイ上で第１シーンと第２シーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み、第２のシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１のシーンに埋め込まれたナビゲーショナルアイコンを表示することを含む。ナビゲーショナルアイコンが活性化されるとき、第１の特徴と第２の特徴とに基づいて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む少なくとも一つの遷移イメージが表示される。
【０００７】
本発明のさらなる実施形態では、コンピュータシステムディスプレイ上で、第１のシーンと選択されたシーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み、選択されたシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１のシーンを表示すること；選択されたシーンの位置の指示を受信することを含む。選択された位置の指示が受信されるとき、第１の特徴と第２の特徴とに基づいて、第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、少なくとも一つの遷移イメージが表示される。本発明の特定の実施形態では、指示は、検索エンジン出力、または、リストまたはディスプレイ上の任意の場所のアイコンの活性化などからユーザの選択から、受信され得る。
【０００８】
本発明のさらなる実施形態では、方法は、第１のシーンと第２のシーンとの間、および、第２のシーンと第３のシーンとの間の、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み；第２のシーンは、第２の視点から観測され、第２の特徴を含み；第３のシーンは、第３の視点から観測され、第３の特徴を含む。方法は、第１の特徴と第２の特徴とに基いて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、第１の遷移イメージを提供することと、第２の特徴と第３の特徴に基いて、第２の視点から第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、第２の遷移イメージを提供することとを含む。第１の遷移イメージおよび第２の遷移イメージは、第１、第２、および、第３のシーンのそれぞれの基準フレーム内に、絶対的な位置および方向を決定することなく形成される。
【０００９】
本発明の別の実施形態では、コンピュータシステムディスプレイ上で、第１のシーンと選択されたシーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み；第２のシーンは、第２の視点から観測され、第２の特徴を含み；選択されたシーンは、選択されたシーンの視点から観測される。方法は、第１のシーンを表示すること、選択されたシーンの視点の位置の指示を受信すること、および、第１の視点から選択されたシーンの視点へのルートを決定することであって、該ルートは第２の視点を含む、ことを、含む。選択されたシーンの視点の位置の指示が受信されるとき、第１の特徴と第２の特徴とに基いて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、遷移イメージが表示される。
【００１０】
本発明の前述の特徴は、添付される図面を参照して、以下に続く詳細な記述を参照することにより容易に理解される。
【図面の簡単な説明】
【００１１】
【図１】図１は、パノラマを形成するためにイメージを取り込むことを図示している。
【図２】図２は、二つのパノラマ形式、球体マップパノラマと立方体マップパノラマ、でのシーンの例を示している。
【図３】図３は、球面パノラマを見ることを図示している。
【図４】図４は、本発明の実施形態による、スーパーツアーを作成する方法のための概略フロー図を示している。
【図５】図５は、本発明の実施形態による、シーン間の動きを作成する方法のための概略フロー図を示している。
【図６】図６は、本発明の実施形態における、イメージ平面と対応する世界平面との間の関係を図示している。
【図７】図７は、図６の描写における、イメージ平面における特徴と対応する世界平面イメージとの間の関係を図示している。
【図８】図８は、本発明の実施形態によるイメージ平面におけるパースペクティブな長方形の点の選択を図示している。
【図９】図９は、本発明の実施形態による、相互作用的なエッジの選択と動きを図示している。
【図１０】図１０は、本発明の実施形態による、パースペクティブな長方形の定義のためのフロー図である。
【図１１】図１１は、本発明の実施形態による、パースペクティブな長方形に対する正規ベクトルの生成を図示している。
【図１２】図１２は、本発明の実施形態による、消失ベクトルの計算を図示している。
【図１３】図１３は、本発明の実施形態による、パースペクティブな長方形ツールのためのプロセスを図示するために、二つの入力ソースイメージ球面パノラマを示している。
【図１４】図１４は、イメージと世界空間とで、図１３のパノラマからの対応する特徴を図示している。
【図１５】図１５は、図１３の本発明の実施形態のために、一つのイメージを、該イメージを別のイメージの方向に整列させるために回転させる前に、世界空間における長方形に対する正規ベクトルを計算することを図示している。
【図１６】図１６は、図１３の本発明の実施形態のために、世界空間における一つのイメージの別のイメージへの整列を完了させるための一つのイメージの平行移動を示す。
【図１７】図１７は、図１６の平行移動に対する解の点を決定する幾何学的構成を図示する。
【図１８】図１８は、本発明の実施形態による、３Ｄ幾何学とテクスチャマッピングを使用して、遷移対象の生成を図示するために、内部の三つの表現を示している。
【図１９】図１９は、図１８のプロセスに対する足跡を識別するプロセスを図示している。
【図２０】図２０は、図１９で開始された完成された足跡を示している。
【図２１】図２１は、図１９と図２０との足跡を押し出すことを図示している。
【図２２】図２２は、図２１の押し出しプロセスの完成を示している。
【図２３】図２３は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２４】図２４は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２５】図２５は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２６】図２６は、図２３〜２５の遷移対象の生成プロセスの出力の第３者の視野である。
【図２７】図２７は、本発明の実施形態による、仮想的なカメラを使用して、第１のシーンから第２のシーンへの遷移をモデル化することを図示している。
【図２８】図２８は、図２７の実施形態のための、カメラ経路に沿った点を示している。
【図２９】図２９は、図２８の経路に沿った点での視野を示している。
【図３０】図３０は、本発明の実施形態による、図２７〜２９に示された部屋に対して、異なる遷移対象で異なる遷移連続を示している。
【図３１】図３１は、本発明の実施形態による、遷移パラメータエディタのための例示的なユーザインタフェースを示している。
【図３２】図３２は、図３１の遷移パラメータエディタのクローズアップビューを示している。
【図３３】図３３は、図３１の遷移パラメータエディタに対する、時間線にて時間点が移動することを図示している。
【図３４】図３４は、本発明の実施形態による、シーンビューで、モーションブラーとサチュレーション調整の遷移パラメータとの効果を示している。
【図３５】図３５は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３６】図３６は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３７】図３７は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３８】図３８は、本発明の実施形態による、変形させることを使用したシーン間遷移の例を提供する。
【図３９】図３９は、本発明の実施形態による、変形させることを使用したシーン間遷移の例を提供する。
【図４０】図４０は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４１】図４１は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４２】図４２は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４３】図４３は、本発明の実施形態による、対応する長方形を持たない二つのシーンに対するシーン間遷移の例を提供する。
【図４４】図４４は、本発明の実施形態による、対応する長方形を持たない二つのシーンに対するシーン間遷移の例を提供する。
【図４５】図４５は、本発明の実施形態による、アクティブ要素を生成する方法のための概略フロー図を示している。
【図４６】図４６は、本発明の実施形態による、ナビゲーショナルアイコンアクティブ要素を示している。
【図４７】図４７は、本発明の実施形態による、シーンに埋め込まれたアクティブ要素の例を示す。
【図４８】図４８は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図４９】図４９は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５０】図５０は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５１】図５１は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５２】図５２は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５３】図５３は、本発明の実施形態による、ホテルバナーアクティブ要素を示している。
【図５４】図５４は、本発明の実施形態による、仮想的キオスクアクティブ要素を示している。
【図５５】図５５は、本発明の実施形態による、スーパーツアーを生成する方法のフロー図を示している。
【図５６】図５６は、本発明の実施形態による、スーパーツアーにおける対応する位置のパースペクティブビューに概観マップを結合させる表示を示している。
【図５７】図５７は、本発明の実施形態による、スーパーツアーでスクリプティングと位置整合とを示している。
【図５８】図５８は、本発明の実施形態による、スーパーツアーでスクリプティングと位置整合とを示している。
【図５９】図５９は、本発明の実施形態による、スーパーツアーを出版する方法のフロー図である。
【図６０】図６０は、本発明の実施形態による、例示的なスーパーツアーの出版を示している。
【図６１】図６１は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６２】図６２は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６３】図６３は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６４】図６４は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６５】図６５は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６６】図６６は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６７】図６７は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６８】図６８は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６９】図６９は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図７０】図７０は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図７１】図７１は、本発明の実施形態による、アイテムの選択がシーンに動きを引き起こすリストの例を示している。
【発明を実施するための形態】
【００１２】
この記述と添付される請求項とで使用されるように、以下の用語は、文脈が他の意味を要求しない場合には、指された意味を有することに注意を要する。「パースペクティブビュー」という用語は、イメージ平面へ投影された世界平面のイメージの２Ｄのビューを意味する。イメージ平面はしばしば表示表面であり、しかし、一般には、任意の平面である。「パースペクティブな長方形」は、イメージ平面への世界空間の長方形の投影であるパースペクティブビューにおける２Ｄポリゴンを意味する。「遷移パラメータ」は、第１のイメージと第２のイメージとの結合から形成される遷移対象に対する、第１のイメージと第２のイメージの貢献度を意味する。例えば、遷移対象が、第１のイメージと第２のイメージのアルファブレンドから導出される場合、遷移パラメータは、各イメージの遷移対象への寄与の透明さと不透明さの度合いを評価する。「アクティブ要素」は、入力デバイスによるアイコンの選択が動きを初期化する、イメージに表示されたアイコンを意味する。「ナビゲーショナルアイコン」は、入力デバイスによるアイコンの選択が、更新するためのシーンの表示されたイメージを引き起こす、イメージで表示されたアクティブ要素アイコンを意味する。
【００１３】
広い概観では、本発明の実施形態は、二つ以上の接続された位置またはシーンのイメージ間で滑らかな動きをシミュレートするシステムと方法とを提供する。シミュレーションされた動きは、一連の位置のイメージを通して進むユーザへ、方向の感覚と空間の理解とを提供する。一つのイメージから別のへ通り抜けるために、ユーザは、第２のシーンにつながる第１のシーンの一部を選択し得る。ビューは次いで第２のシーンへ遷移される。このタイプの誘導は、第２のシーンが単純に第１のシーンを置き換えている場合、方向を分からなくさせ得、それらの間の幾何学的な接続を強調するシーンの間の動きの感覚はない。その代わり、二つのシーンの間の動きは、見る人に、空間と方向との感覚を含む、二つのシーンの間の関係のより良い感覚を提供するためにシミュレートされ得る。
【００１４】
本発明のさらなる実施形態では、イメージ間で動きをシミュレートするこの概念は、空間のツアーを形成する多数のイメージ対の接続されたネットワーク、たとえば近所、大通り、町または都市さえをも生成するように拡張され得る。このようなシーンのネットワークは以下で「スーパーツアー」と呼ばれる。「スーパーツアー」という用語は、記述の便利さのために使用され、制限するためのものではなく：イメージのネットワークは、二つのイメージから、任意の多さのイメージまで拡張され得る。スーパーツアーを生成する方法のための概略フロー図が図４に示されている。一旦、望みのスーパーツアー位置の、「ソースイメージ」として知られる入力写真とパノラマが４００で得られると、スーパーツアーは、シーン間の動き生成４１０を通して同時に一対のソースイメージが生成され得る。一旦、シーンの間の遷移が生成されると、高められたユーザ相互作用性４２０を提供するためにアクティブ要素がシーンに付加され、例えば、ナビゲーショナルアイコンが、次の空間へ遷移を活性化させるために含まれ得、または、仮想的な情報キオスクが活性化時に、位置についての情報を増幅することを提供し得る。次に、取り込まれた空間の結合された複雑な仮想的な体験を生成するために、シーンを見る人、シーン間動き生成子およびアクティブ要素は、地図などと一緒に結合され得る４３０。スーパーツアーの内容はエンドユーザによって鑑賞のために出版される４４０。これらのステップの例示的な実施形態は以下で与えられる。
【００１５】
シーンの間の接続の感覚を提供する一つの方法は、ズームとフェードとして知られる技術を使用する。初期のパノラマまたはイメージから、見る人は第２のシーン（パノラマまたはイメージ）へ向き、仮想カメラの視野の場（「ＦＯＶ」）を変化させることによってズームインし、次いで、第１のパノラマをフェードアウトし、次いで、第２のパノラマへフェードして入り込む。この技術は、方向のある感覚を提供し得るが、シーンに非常に依存し、どれほど近くからパノラマ的イメージが獲得されたか、シーンは共通の視覚の特徴を実質的な量だけ含んでいるか、および、シーン内での対象の間での見通しとかみ合わせとの複雑さに依存する。そうでなければ、ズームとフェードは、ズームフェード効果なしで目的地のパノラマへ「ポップ」することよりも良く動作しない。さらには、イメージへズームすることは、三次元空間で動くことを適切にシミュレートできない。平らなイメージへズームすることは、イメージを「近くから見る」ことと同じで、３Ｄ空間で動きをシミュレートしないことに注意を要する。現実の動きは、対象とカメラとの間の相対的な位置が変化するとき、視差効果に強く依存する。
【００１６】
二つのイメージの間で動きのシミュレーションを提供する別の方法は、イメージ間で動きの物理的な映画を生成することであり、それは、ユーザが二つのシーンの間で動くことを選ぶときに上映される。物理的空間の位置の間の実際の映画を取り込むことは、ビデオカメラと他のカメラ位置決めを使用してなされ得る。映画を使用するこのアプローチは、ウェブページでイメージ間を遷移する際に特に役立つ。ほとんどのウェブブラウザーは、ストリーミングビデオまたは他のデジタル映画またはビデオ形式を上映することが可能なソフトウェアを含んでいるので、そのような映画を表示するのに追加のソフトウェアが必要ない。シーンの間の遷移のための実際的な物理的な映画を生成することは、例えば、大都市の景観のように、大きな環境では、得るのに時間を消費し高価であり得る。映画はまた、重要なデータと事後処理を要求する。視野の点の差のために、イメージまたはパノラマ間の動きが望まれる各方向に対して、分離された映画を作成する必要が一般にはある。したがって、二つのイメージの間の動きに対しては、二つの映画が必要であり、一つの映画は第１のイメージから第２への動きのためのものであり、異なる映画は第２のイメージから第１への動きのためのものである。このことは、双方向映画の正確な接続は継ぎ目のない映画とイメージ／パノラマとを生成するのに重要であるので、さらに獲得プロセスを複雑にする。クルーの人々と同様に特殊化された装置が、そのような努力に対して必要である。
【００１７】
二つのイメージの間の動きをシミュレートする別の方法は、二つのイメージの間の経路を表す、三次元モデルを生成することを含む。一旦、そのような三次元モデルが存在すれば、イメージの間の動きは、三次元モデルにおける仮想カメラの位置を移動させることによって、シミュレートされ得る。このアプローチは、高度な柔軟性を提供し、ユーザが、任意の優位な点から、モデルによって表現された範囲を見ることを可能とする。ここに参照として組み込まれる、米国特許出願第１０／７８０，５００号、題名「Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｄｉｔｉｎｇ Ｉｍａｇｅ Ｐａｎｏｒａｍａｓ」に説明される技術は、パノラマ的イメージから三次元モデルを生成するのに使用され得る。しかしながら、写真質感のモデルは、静的なテクスチャマップを有するので、これらの技術は視覚的なアーティファクトと継ぎ目を形成する。
【００１８】
本発明の様々な実施形態では、方法とシステムとが、二つのシーン−「第１のシーン」と「第２のシーン」の間の実質的に継ぎ目のない遷移を生成するために提供され、該遷移は、コンピュータディスプレイスクリーン上で動きをシミュレートする。第１のシーンは第１の視点から観測され、第２のシーンは第２の視点から観測される。これらのシーンは、単一のソースイメージまたはパノラマ的ソースイメージまたはその任意の一部であり得る。イメージは、写真、ピクチャ、スケッチ、絵、などを含む、仮想的に任意のタイプのデジタル化されたグラフィカルな内容を含む。図５は、本発明の実施形態による、シーン間の動きの生成４１０のためのフロー図を示している。シーン間動きの生成は、四つの構成要素：カメラポーズの評価５００、遷移対象の生成５１０、遷移パラメータの編集５２０、仮想カメラの編集５３０を含み得る。これらのステップは連続して実行される必要がなく、一つ以上のステップは望ましい数だけ繰り返されることに注意を要する。さらに、全てのステップがどの場合にも実行される必要がない。
【００１９】
第１のステップ５００−獲得カメラポーズ評価は、３Ｄ空間（すなわち、世界空間）で第１と第２のシーンの相対的な獲得位置を決定する。さらに技術的には、ポーズ評価ステップはカメラ外部−獲得カメラの位置と方向−を決定する。空間の一点から別の点への３Ｄの動きをシミュレートするために、ソースイメージの相対的な距離と方向を互いに計算する必要がある。典型的には、ペアワイズのポーズ評価を計算するために、ソースイメージの共通の特徴の間の対応が、自動的にまたは人の介在で、確立される。対応される特徴の適切なレベルで、相対的なカメラ外部が計算され得る。本発明の特定の実施形態では、シーン間の平面長方形の特徴の対応は、ポーズを評価するために使用される。本発明の別の特定の実施形態では、以下に記述されるように、イメージにおける長方形の特徴のトレーシングを容易にするために、パースペクティブな長方形のツール（「ＰＲＴ」）が提供される。このステップが、第１のシーンを第２のシーンへマップする変換を確立し、本発明の実施形態において、様々な技術が、従来技術として知られるように、この変換を決定するために使用され得ることに、注意を要する。ソースイメージが同じ物理的な位置または異なる物理的な位置を示し得、対応するソースイメージ内の特徴が同じ特徴または同じ位置である必要がないことに、注意を要する。
【００２０】
遷移対象は次いで生成される５１０。一旦、第１のシーンと第２のシーンの相対的な位置が決定されると、仮想的なカメラの経路が、第１のシーンから第２のシーンへ選択される。カメラ経路は任意の経路であり得るが、デフォルトでは、カメラ経路は直線であり得る。動きをシミュレートするために、「遷移対象」は生成される。これらの遷移対象を組み込む遷移シーンは、第１のシーンから第２のシーンへ動きをシミュレートするために表示される。これらの遷移対象は、典型的には、第１のシーンの一部または特徴と第２のシーンの一部または特徴とを結合させることによって形成された遷移シーンにおける対象である。結合する演算子は、我々が遷移パラメータと呼んでいるもので、以下に詳細に記述される。本発明の特定の実施形態では、投影的なテクスチャマッピングを伴う三次元の幾何学は、遷移対象を生成するために使用され得る。投影的なテクスチャは、第１のソースイメージ、または、第２のソースイメージ、または、両方のブレンドからである。第２のシーンへの遷移が達せられたとき、遷移対象を含む遷移シーンは消え、ユーザは第２のシーンだけを見る。例えば、海辺のシーンにおける遷移対象は、人々、ビーチアンブレラ、海辺、および／または空を含み得る。仮想的なカメラが第２のシーンへ動くにつれて、人々、海辺、空、および、アンブレラは、空間で３Ｄの動きを正確にシミュレートするように過ぎ去る。
【００２１】
次に、遷移パラメータは、エンターされ調節され得る５２０。仮想的なカメラが第１のシーンから第２のシーンへ動くにつれて、遷移パラメータは、動きが第１のシーンから第２のシーンへシミュレートされるときに、遷移シーンにおける遷移対象が時間内にどのように変化するかを決定する。遷移パラメータは、アルファブレンド（透明）、モーションブラー、モーフィング、などを含み得る。一般に、遷移パラメータは、経路に沿っての仮想的なカメラの飛行中にずっと適用されるイメージ処理フィルター（２Ｄおよび３Ｄの両方）として考えられ得る。
【００２２】
最後に、第１のシーンから第２のシーンへの仮想的なカメラの経路が、編集され得る５３０。本発明の一部の実施形態では、仮想的なカメラの経路は、第１のシーンの獲得点から第２のシーンの獲得点へ、デフォルトで直線であり得る。代わりに、仮想的なカメラの経路は、任意の経路、例えば曲がった経路に決定され得る。さらに、経路での移動速度は変化し得る。さらには、見る方向は、任意の方向を指し示し得、第１のシーンから第２のシーンへ遷移の間中、変化し得る。
【００２３】
本発明の実施形態では、「パースペクティブな長方形のツール」（「ＰＲＴ」）は、ユーザが、制限されたユーザインタフェースを使用して、ソースイメージ上に（パースペクティブに）「正確な」長方形の特徴を描くことを可能にする。（「正確な」によって、我々は、世界平面において、長方形の各コーナの角度の大きさが９０度であることを意味する。）図６は、獲得位置６００、イメージ平面上のソースイメージ６１０、および、世界平面への長方形の特徴の投影６２０を図示している。イメージ平面上のソースイメージ６１０は、獲得位置６００からコンピュータディスプレイ上のパノラマの一部として我々が見得るものである。図７は、イメージ平面と世界平面のクローズアップを示している。イメージ平面には、ｘｙ座標でパースペクティブに示された長方形の特徴（建物の正面）が示されており７００、世界平面には、ｘ’ｙ’座標で、修正された建物の正面が示されている７１０。イメージ平面７００上の点１−２−３−４は、世界平面７１０上の点１’−２’−３’−４’に対応する。
【００２４】
我々が、イメージ平面上のパースペクティブな長方形が正確な長方形であると仮定した場合、対応する長方形が正確な長方形である世界平面を計算し得る。我々は、イメージ平面上でクリックされた四つの点（ディスプレイ表面上のポインティングデバイスを介して）が常に正確なパースペクティブな長方形を生成するような、ユーザインタフェースへ制限が適用される、発明の実施形態を次に記述し、したがって、この実施形態は、世界平面が定義されるのを可能にし、ここでは対応する長方形は修正された正確な長方形である。
【００２５】
図８に示されるように、ユーザは、最初に、ポインティングデバイスで建物の正面の三つの角８００，８１０，８２０を識別する。ユーザインタフェースは、ユーザが識別した四番目の点を解曲線８２５に拘束する。結果として得られる四つの辺を持ったポリゴンは、常に正確なパースペクティブな長方形、すなわち、常に世界平面上で見られるように９０度のコーナの角度を持つ完全な長方形である。四番目の点が動くにつれ、ユーザインタフェースは端１−４と３−４を規制し、その結果、イメージ平面に結果として得られる四つの角のあるポリゴンはパースペクティブな長方形として維持される。したがって、世界平面では、四つの点は長方形に対応する。図８では、解曲線上の点Ａと点Ｂと（それぞれ、８４０と８５０）はまた、パースペクティブな長方形の有効な詳細であり、しかし、点Ａと点Ｂとは、ソースイメージの建物の正面と整合しない。（二つのソースイメージの間の特徴対応ツールとして使用されるＰＲＴは、以下で議論される）。
【００２６】
一旦、長方形の特徴の四つのコーナが確立されれば、コーナの任意のものがポインティングデバイスで選択され編集される。同様の制限が、コーナに対する編集が長方形の正確さを維持するように適用される。端もまた、正確さの要求を維持しつつ同様に編集され得る。本発明の特定の実施形態では、図９で示されるように、ユーザは、パースペクティブな長方形（例えば、９００）の上の端の一つを相互作用的に移動し得、端は、イメージ平面のポリゴンが世界空間の長方形に変形するように、規制される。イメージ平面で端を動かすことは、端を消失点、９１０および９２０へ、規制することのように見え、図示された例の場合では、端は９１０へ規制される。本発明の他の特定の実施形態では、端の検出、コーナの検出などのプロセスは、特徴の選択を容易にするために提供され得る。
【００２７】
パースペクティブな長方形を決定するためのプロセスのフロー図が、図１０に示される。イメージ平面上のパースペクティブな長方形の点１−２−３−４から（１０００，１０１０，１０２０，１０２５）、一対の消失ベクトルが導出される（１０３０，１０３５）。この点において、ユーザ特定の点１０２５は、解曲線の上に無いかもしれないことに注意を要する。それは、正確さの要求を維持する解曲線の上の最も近い点を計算するのに使用を要する。図１１に、生成された消失点１１００，１１１０が示され、消失ベクトル、ｘ１１２０およびｙ１１３０、が次いで計算される（消失ベクトルの計算は以下に記述される）。消失点はカメラのパースペクティブからのみ起こることに注意を要する。ベクトルが直交する場合、パースペクティブな長方形１−２−３−４は、長方形を定義し、世界空間でのその平面とプロセスは完了する１０７０。消失ベクトルが直交しない場合、端は、ベクトルを直交させるために１０４５，１０５０、移動されるように選択される。一旦、移動される端が選択されれば、ポリゴンの点は、ベクトルを直交させるように移動させられ、プロセスが完了する１０７０。
【００２８】
我々はここで、消失ベクトル（図１２）を計算するための３Ｄグラフィック指向技術を記述する。第１に、任意のデフォルト獲得位置、ｐ１２３０、から、ｐから、イメージ平面上のパースペクティブな長方形の四つのコーナへ線を引くことによって四つの点ｖ-１、ｖ２、ｖ３、ｖ４を生成する。もっと技術的には、イメージ平面は、ｐからの見る方向と直交する平面として定義され、ｐはイメージ平面に横たわらず、イメージ平面は見る方向の半分の空間に横たわる。我々は、また、ピンホールカメラがｐに配置され、見る方向に向けられ、設定された固有のもの（すなわち、視野の場、投影の中心を含むカメラの属性）を有することを、仮定することに注意を要する。したがって、ｖ１、ｖ２、ｖ３、ｖ４は、カメラの固有のものにしたがって、イメージ平面に投影されたパースペクティブな長方形のコーナである。消失ベクトルｘを計算するために、我々は二つの平面を定義し、一つは三点ｐ、ｖ２、ｖ３から、もう一つは三点ｐ、ｖ１、ｖ４からである。これら二つの平面、１２００および１２１０の、交線は線１２２０を生成し、その上に消失ベクトルｘが横たわる。消失ベクトルｘが指し示す線の向きを決定するために、我々は、ユーザによって特定されたように、四つの点の矛盾のない曲がった順番を使用する。消失ベクトルｙは同様にして、平面ｐ、ｖ１、ｖ２およびｐ、ｖ３、ｖ４を使用して、計算され得る。
【００２９】
本発明の実施形態では、コーナ（例えば、四番目の点）は、クリックおよびドラッグコマンドでポインティングデバイスを通じて移動させられる。ユーザがポインティングデバイスのボタンを下に押すと、四番目の点が決定され、ユーザが四番目の点をどこに配置するか決定するためにドラッグすると、消失ベクトルが計算され、正確さの規制が有効であるように端１−４および３−４が配置される。
【００３０】
１０４５および１０５０で示されるように、四番目の点が移動している間、ユーザによって「制御端」が決定される。この場合の「制御端」は端３−４か１−４のどちらかである。本発明の特定の実施形態では、異なるポインティングデバイスボタンが制御端を決定するために使用される。一般性を失うことなく、制御端が３−４として定義された場合、四番目の点はポインティングデバイスを使用して移動され、制御端３−４は、点３からポインティングデバイスの現在の位置へ線を引くことによって定義される。解曲線上にある点４は、この線のどこかに横たわる。消失ベクトルｙは、上で述べられた技術を使用して定義され得、二つの平面はｐ、ｖ-１、ｖ２およびｐ、ｖ３、ｍで、ただし、ｍはイメージ平面上の現在のマウスの位置である。直交する消失ベクトルｘを計算するために、二つの平面が再び交差され、第１の平面はｐ、ｖ２、ｖ３であり、第２の平面はベクトルｙの双対である。３Ｄ空間の各ベクトルはその双対である直交平面を有する。計算されたｘとｙとは直交することが保証されている。最後に、ｐ、ｖ３、ｍの平面がｖ１＋ｘで定義される線と交差することが、ｖ４の３Ｄの位置を計算する。３Ｄの点ｖ４をイメージ平面へ投影することは、正確さの規制を維持しつつ、点４の正確な位置を提供する。
【００３１】
本発明の特定の実施形態では、獲得カメラポーズ評価は、ＰＲＴを使用することによって第１のシーンと第２のシーンにおいて対応する長方形の特徴によって計算され得る。図１３は入力ソースイメージを示しており、この場合、二つの球面パノラマ的イメージ、１３００および１３１０は、輪郭を描かれた建物の正面の長方形の特徴、１３２０と１３３０とを、それぞれ伴っている。図１４では、二つの入力イメージの同じ正面１４００および１４１０が示され、イメージ平面においてパノラマビューアから見られ（例えば、直線はまっすぐで、比例している）、それぞれ１３２０および１３３０に対応する。それぞれの正面１４２０および１４３０は、世界平面ビューで示されている。ＰＲＴを使用して、特徴の対応する四つのコーナは、整合する順番に対応させられる。ＰＲＴは、１４２０および１４３０が正確な長方形であることを保証する。
【００３２】
一旦、対応する特徴が選択されると、互いに相対的な獲得点（カメラポーズ）の外部に対する解が計算され得る。この解は、第２のシーンを回転し平行移動している間、第１のシーンを静的に維持することを含み、そのため、第２のシーンの長方形の特徴は、方向、大きさ、および、配置において、第１のシーンの対応する特徴と整合する。これらの操作から、世界空間の二つのシーンの相対的な位置と方向が決定され得る。したがって、長方形の特徴を使用して第１のシーンを第２のシーンへマッピングする変換が決定され得る。
【００３３】
第２のシーンを第１のシーンへ整列させるのに必要な回転は、それぞれの世界平面の法線から決定される。ＰＲＴは、対応する長方形の特徴から第１および第２の世界平面を定義し、各平面はその共有、一つの法線を有する。前に議論されたように、世界平面内の各長方形の特徴は、消去点で（ＰＲＴを通じて）出会う平行な線の対を提供する。図１２と同様にして、消去ベクトルの対は、ＰＲＴの平行な線の二つの直交する対から決定される。このことは、両方の対応する特徴に対して、なされる。図１５に示されるように、一旦、消去ベクトルｘおよびｙが、計算されたら１５００および１５１０、ＰＲＴはｘとｙとの間の直交性を保証する。単純な外積は、世界平面の法線ベクトルである、ベクトルｎを計算する。両方の法線ベクトルが計算され、それぞれ、第１の世界平面法線と第２の世界平面法線である。二つのシーンの法線が決定され、ｎ１が第１のシーンのＰＲＴ特徴からで、ｎ２が第２のシーンのＰＲＴからであるとすると、第２のイメージは、ｎ２をｎ１へ整合させることによって二つのイメージの方向を整列させるために回転され得る。この回転ステップを行うことによって、我々は世界平面をそれぞれに平行に整列させている。
【００３４】
平行移動ステップは、二つのステップのプロセスである。第１のステップは、平行移動解空間を一次元の問題へ縮小させることを含み；第２のステップは、一次元空間での解を計算する（図１６と図１７）。これをするために、我々は最初、回転されたシーンを共通の座標系、すなわち図１６に示されるように「世界空間」に配置する。最初、我々は、両方のシーンに対する獲得点が同じ点であると仮定する。共通の視点１６００から見られるように、長方形の特徴は「同じ」平面（１６１０および１６２０）上に横たわるように見える。これは、それらの法線がパースペクティブで同じで、しかし、長方形が異なる場所に置かれているように見え、異なる大きさを有するからである。
【００３５】
次に、各ＰＲＴ長方形の重心が計算される。重心を計算するために、我々は最初に獲得点から任意の距離に世界平面を置く。長方形の四つのコーナは平面に投影される。このとき３Ｄ空間の特定の点である、四つの投影された点は、重心を計算するために平均化される。第２のＰＲＴ長方形の重心は、第１のＰＲＴ長方形の重心に整合させるために次いで平行移動される。図１６に示されるように、以前に１６２０に置かれていた長方形は今や１６３０に平行移動される。この平行移動１６４０は、第２のシーンの獲得点１６５０にも適用される。このステップの後で、両方の世界平面は共平面にあり共通の重心を共有する。
【００３６】
重心（このとき空間の一般に共有された点である）を通って第２のパノラマ位置に対する視野の新しい位置へ行く線は、一次元解空間１６６０である。我々は、これを「解直線」と呼ぶ。解直線に沿って第２のシーン位置を移動することは、共通の世界平面へ投影された長方形が大きさ、すなわち、領域において変化することを意味する。最後のステップである、解直線に沿っての平行移動が、１６７０に図示されている。第２の平行移動、１６７０が、世界平面のＰＲＴ長方形の領域に整合する。
【００３７】
正確な解は今や、第２のパノラマの長方形の領域を第１のパノラマのそれに整合させることによって計算される。図１７は、平行移動１６７０の詳細の鳥瞰図を図示している。第１のシーンと第２のシーンの初期の位置（１６７０のちょうど前）は、それぞれ、ｐｓ１７００とｐｄ１７３０とによって定義される。ｐｄは解直線１７２０に沿って平行移動させられる一方、第１のシーンの位置ｐｓは静的なままである。初期位置ｐｄ１７３０から、解空間１７２０に沿った新しい位置ｐｄ１７１０は、長方形の領域が同じであるように決定される。ｐｄ１７３０が重心ｃに近付くにつれて、投影された長方形の領域は狭くなり、逆の場合も同じになる。解直線上のどこかに点１７１０が横たわり、そこでは、両方の投影された長方形の領域は同じである。
【００３８】
【数１】
距離ｈｄの計算は、最後の平行移動点を決定する。式（１）は、直角三角形の斜辺であるｈｄの長さを示し、ｒｄとｂｄは、それぞれ、反対側と隣接する辺である。式（２）は、どのように法線平面への直交距離ｒｄを計算するかを示しており、ただし、ＡｄとＡｓとは、それぞれ、世界平面への第２および第１のパノラマの投影された長方形の面積である。ｈｄを計算することによって、我々はｃからｐｄへの距離を計算し、その結果、第１と第２のＰＲＴ長方形の投影された面積は同じである。
【００３９】
本発明の別の実施形態では、多数の対の長方形は整列をさらに改良するように対応させられる。これは、第２のパノラマ位置の各解位置の重み付け平均を使用してなされる。考えられるユーザによって特定された長方形の二つの局面が存在し：ユーザによって特定された長方形の角度と大きさである。第２のパノラマの最後の位置は次によって決定される。
【００４０】
【数２】
ここで、ｋは対応される長方形の組の個数であり、変数ｊは第１のパノラマ長方形および第２のパノラマ長方形のためのものであり、ｎｉ，ｊは長方形の法線であり、ｖｉ，ｊは取得ポイントから長方形の中心（３Ｄ空間における）への単位ビューベクトルであり、Ａｉ，ｊは単位球面上に範囲を定められた投影された長方形の立体角であり、ｐｉは我々の整合アルゴリズムから計算された第２のパノラマの解位置である。
【００４１】
より直観的には、
【００４２】
【数３】
は、取得位置から見られた長方形の角度を考慮する−角度がはずれるほど、ユーザ特定の長方形が正しいという信頼度はより低くなる。相対的な長方形が大きいほど、ユーザエラーはより起こりにくいので、長方形のサイズＡｉ，ｊも考察される。
【００４３】
本発明の好ましい実施形態において、ひとたびカメラポーズが評価されれば、次に遷移対象がモデリングされ得る。上述のように、遷移対象は、第１のシーンから第２のシーンへの動きをシミュレートするために生成された遷移対象である。
【００４４】
本発明の特定の実施形態において、遷移対象を生成するために３次元ジオメトリおよび投影的テクスチャマッピングが使用され得、これは、「Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｄｉｔｉｎｇ Ｉｍａｇｅ Ｐａｎｏｒａｍａｓ」というタイトルの米国特許出願第１０／７８０，５００号に記載されたものと同様である。そのような技術において、それぞれのジオメトリに対して単一併合型テクスチャマップ（ｓｉｎｇｌｅ ｍｅｒｇｅｄ ｔｅｘｔｕｒｅ ｍａｐ）が使用され、それぞれのテクスチャが多数のソースイメージの混合から生成され得る。図１８〜２３は、本発明の実施形態のための一連のステップを図示し、そこでは押し出しツールを使用して、３Ｄジオメトリが、モデリングされて写真のテクスチャにされる。
【００４５】
図１８において、３つの図が、室内の部屋である同じシーンの異なる表現１８００、１８１０、１８２０を示す。１８００は、イメージ平面ビューである（すなわち、パノラマビューアを通したシーンのビュー）。示されるように、表示されたシーンの下部のコーナにおける頂点１８３０をクリックして置くために、ポインティングデバイスが使用される。同様に、１８１０は３Ｄ空間における上から下への（ｔｏｐ−ｄｏｗｎ）ビューであり、１８２０は不等角投影ビューである；これらのビューの両方は、シーンの取得位置１８４０を示す。イメージ平面ビューおよび不等角投影ビューの両方（１８１０および１８２０）はさらに、ポインティングデバイス１８３０を示す。（ユーザインタラクションは一度生じるが、それぞれの表現において示されることに注意を要する。）図１９において、３つの表現１９００において示されるように、ユーザは、室内の部屋の足跡をクリックしてまわり、追跡する。図２０は、完成した足跡の追跡である。次のステップは、図２１に示されるように、押し出しプロセスである。ユーザは、ポインティングデバイスを使用して、壁がイメージ平面ビューの「天井」に届くまで（図２２）、足跡から「壁」を押し出す（すなわち「引き上げる」）。押し出しツールを使用してひとたびジオメトリが生成されると、適切な写真テクスチャが、ソースイメージ（たとえば、パノラマ）から新たに生成されたジオメトリへと投影的にコピーされて適用される。（たとえば、Ｍａｒｋ Ｓｅｇａｌらの「Ｆａｓｔ ｓｈａｄｏｗｓ ａｎｄ ｌｉｇｈｔｉｎｇ ｅｆｆｅｃｔｓ ｕｓｉｎｇ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ」ＳＩＧＧＲＡＰＨ９２、２４９−２５２頁の報告において参照されたい。）本発明の他の実施形態においては、当該技術分野において公知であるように、写真のように現実的なコンテンツを生成するために、他のジオメトリ生成ツールが、投影的テクスチャマッピングと結合され得る。
【００４６】
本発明の特定の実施形態において、それぞれのジオメトリ（またはジオメトリ要素）について２つのテクスチャが格納され得る−一つのテクスチャは第１のシーンからのもので、他のテクスチャは第２のシーンからのものである。第１のシーンから第２のシーンへの遷移の間に、これらのテクスチャもまた遷移し得る−すなわち、遷移パラメータに従って、アルファブレンディング（すなわち透明）、モーフィング、モーションブラーリング、および他の種類のイメージ処理がシーンに適用され得る。（遷移パラメータは、以下に詳細に説明される）。
【００４７】
図２３〜２５は、本発明の特定の実施形態のための遷移対象生成ツールを示す。図２３において、第１のシーン２３００および第２のシーン２３１０は、部屋の内部であり、２つのシーンの取得位置２３２０、２３３０とともに示される。第１および第２のシーン（それぞれ２３００および２３１０）の両方の内部の足跡は、図１８〜２２に関して上述された押し出しプロセスに従って、図２３において示されるようにモデリングされる。これらのシーンは、同じ世界空間の２つの視点に対するものである。上述のように、または当該技術分野において公知であるように、別の技術に従って、ポーズ評価が達成され得る。ユーザは、遷移対象のジオメトリを追跡するために、ディスプレイウィンドウのどちら側でも指し示し得る。投影的テクスチャマッピングが使用されるので、上から下へのビューから見られたそれぞれの足跡の上の写真テクスチャは、当然ながら取得位置から「引き伸ばされる」ことに注意を要する。
【００４８】
図２４は、取得位置から見られたような２つのシーンを示す。両方のシーンは同様の方向で、すなわち部屋の出入口ドアに向かって見られており、追跡された足跡は、両方のシーン２４００、２４１０において見ることができる。押し出し方向２４２０は矢印によって示され、壁は足跡から押し出される。ここでもやはり、両方のシーンに対して同時にモデリングがなされ得ることに留意することが重要であり−押し出される壁、床、および天井は、図２５に示されるように、第１のシーンと第２のシーンとの間で自動的に対応させられ得る。図２５は、自動的な遷移対象の対応のいくつかの例２５２０、２５３０、および２５４０を示す。図２６は、第三者の視点からの２つのシーンを示し、該第三者の視点は、それぞれのシーンからの投影的テクスチャマップを用いてオーバレイされた、生成されたジオメトリによってこのとき可能である。図２６は、生成されたジオメトリに関する取得位置を示す親しみやすい「ロリポップ」アイコン２６００、２６１０を含み、対応する遷移対象２６２０、２６３０、２６４０、２６５０もまた示される。
【００４９】
非平面のジオメトリに対しても、遷移対象モデリングツールが使用され得る。立方体、球体、円筒などの種々の３Ｄプリミティブもまたモデリングされ得る。さらに、三角網目および分析的ジオメトリ記述もまた、投影的テクスチャマッピングと結合されてモデリングされ得る。さらに、対応するビューを有しない遷移対象もまたモデリングされ得る（以下に説明されるように）。しばしば、シーンの複雑性のために、それぞれの特徴が両方のシーンにおいて見えなくあり得る。この場合、ジオメトリはやはりモデリングされ得るが、第１のシーンまたは第２のシーンのいずれかからの単一テクスチャのみが存在し得る。
【００５０】
本発明の好ましい実施形態において、第１のシーンから第２のシーンへの遷移は、「仮想カメラ」を使用してモデリングされる。図２７に示されるように、ひとたび相対的なカメラポーズが計算されて、遷移対象が生成されると、我々は第１のシーン２７００から第２のシーン２７１０へと遷移し得る。この場合においてジオメトリは同じであるが、投影的テクスチャは異なることに留意されたい−２７００は第１のシーン２７２０から見られたようなシーンであり、２７１０は第２のシーン２７３０から見られたようなシーンである。仮想カメラ経路２７４０は、デフォルトで直線である。しかし、以下に説明されるように、カメラ経路は任意の曲線であり得る。
【００５１】
図２８は、第１のシーンから第２のシーンへと遷移がなされるときの、仮想カメラの経路に沿った点を示す（２８３０、２８４０、２８５０）。遷移パラメータであるアルファブレンディングの程度に従って遷移対象の進行を示すために、第１および第２のシーンのアルファブレンディングが使用される。仮想カメラが経路の２５％まで来たときに（２８００）、アルファブレンディングの遷移パラメータは、第１のシーンから７５％、第２のシーンから２５％に設定される。２８１０において、パラメータは５０％−５０％に設定され；２８２０において、パラメータは２５％−７５％に設定される。以下に説明されるように、遷移パラメータは、仮想カメラが第１のシーンから第２のシーンへと遷移するにつれて変化する。したがって、遷移の間に表示される遷移シーンは、しかるべく変化する。図２９は、仮想カメラからの視点を示す。２９００は、第１のシーンにおける仮想カメラに対応し、２９１０は経路の２５％まで来たところ、２９２０は経路の５０％まで来たところ、２９３０は経路の７５％まで来たところ、２９４０は第２のシーンにおける仮想カメラに対応する。
【００５２】
図３０は、異なる遷移対象についての遷移シーケンスを示す。３０００、３０１０、３０２０、３０３０、３０４０は、図２９の視点の後ろにある壁ジオメトリおよびテクスチャに対応するシーケンスである。遷移対象の遷移は、仮想カメラが向けられる方向に関わりなく生じる。このことは、仮想カメラが、経路に沿って遷移するにつれて、いかなる方向をも（後ろさえも）見ることがあり得ることを意味する。さらに、起こり得る次のセットの遷移は、第２のシーンから第１のシーンへと戻るものであり得、この場合には、既存の遷移対象の多くが再使用され得る。
【００５３】
本発明の特定の実施形態において、ユーザインタフェースは、遷移パラメータのインタラクティブ編集を提供する。図３１は、本発明の実施形態による、図解的な遷移パラメータエディタ（「ＴＰＥ」）のレイアウトを示す。３１００は、この例におけるインタラクティブパノラマビューアであるメインディスプレイと、遷移対象ディスプレイ３１１０とを示す。ユーザは、遷移対象を含む３Ｄ環境を、ＷＹＳＩＷＹＧ（「見えた通りのものを得ることができる」）様式でインタラクティブにナビゲートし得る。遷移対象リストは、生成された遷移対象を表示し、トグル選択、視認性、および他のパラメータのために使用され得る。下部のウィンドウ枠３１２０は、遷移パラメータグラフを示す。これらのグラフは、仮想カメラの経路に沿った任意の点におけるパラメータ値を示す。
【００５４】
図３２は、ＴＰＥスクリーンのクローズアップビューを示す。示されるように、遷移パラメータは、２Ｄグラフ３２００、３２１０、３２２０によって表される。これらのパラメータは、アルファブレンディング、モーションブラーリング、色サチュレーション、モーフィングなどに対応し得る。水平軸は時間であり、「時間＝０．０」は開始時間を、「時間＝１．０」は終了時間を表し、その間に、仮想カメラが第１のシーン３２３０から第２のシーン３２５０までの所定の経路に沿って動く。範囲は、正規化された範囲であり得、ユーザは、経路の種々の点において、カメラの速度および加速度を別々に変更し得る。それぞれの遷移パラメータについての垂直軸は、パラメータに依存する。たとえば、アルファブレンディングについて、垂直軸の範囲も［０．０、１．０］からのものであり、１．０は、第１のシーンからの遷移対象が完全に不透明であり、かつ第２のシーンからの遷移対象が完全に透明であるときであり、０．０はその逆である。グラフィカルユーザインタフェースは、ユーザが２Ｄ曲線３２７０を使用してそれぞれのパラメータをインタラクティブかつグラフィック的に調整するために提供される。垂直バー３２６０の上に示されるようなタイムラインスライダ（ｔｉｍｅｌｉｎｅ ｓｌｉｄｅｒ）は、メインディスプレイ３１００に表示される遷移イメージをプレビューするために、左または右にインタラクティブにドラッグされ得る。メインディスプレイの上にレンダリングされたこれらの「遷移イメージ」は、仮想カメラが見るものと遷移パラメータが遷移にどのように影響するかとを反映する（ここでもやはり、ＷＹＳＩＷＹＧ）。図３３は、一般的な遷移パラメータグラフのクローズアップを示す。タイムラインスライダ３３１０が示され、左または右にインタラクティブにドラッグされ得、時間においてそれぞれ前または後に動く。遷移パラメータグラフの上の２Ｄ曲線３３００は、経路に沿った仮想カメラの飛行における所定の時間の遷移パラメータの値を指定する。所定の時間に遷移パラメータを変化させるために、頂点が追加、削除、および変更され得る。
【００５５】
本発明の特定の実施形態において、遷移パラメータは、アルファブレンディング、モーションブラーリング、モーフィング、サチュレーション変化、カメラ速度、およびカメラＸＹオフセット要因を含み得る。他の遷移パラメータは、所望されるように定義され得る。一般的に、２Ｄおよび３Ｄの両方について、任意の種類のイメージ処理フィルタまたはアルゴリズムが遷移イメージに適用され得、経路に沿った時間（または位置）の関数としてのフィルタまたはアルゴリズムを制御するために、遷移パラメータが入力され得る。図３４は、２つの遷移パラメータ：モーションブラーリングおよびサチュレーション調整の一部の効果を示す。アルファブレンディング、モーションブラーリング、モーフィングなどを含む遷移パラメータの組み合わせを、超過的に適用することによって、２つのシーン（イメージまたはパノラマ）の間の動きの視覚的に説得力のあるシミュレーションが提供され得る。
【００５６】
第１のシーンと第２のシーンとの間の遷移の外観を改善するために、これらのアルファブレンディング、モーションブラーリング、モーフィングなどの技術とともに、２つのシーン（イメージまたはパノラマ）の間にとられる単数または複数の中間イメージが、さらなるソースイメージとして使用され得る。たとえば、第１のパノラマと第２のパノラマとの間の経路の上に、利用可能ないくつかの通常のイメージ（すなわち、必ずしもパノラマ的ではないイメージ）があり得る。これらのイメージは、２つのパノラマの間の視覚的により一層説得力のある遷移を生成するために、アルファブレンディング、モーションブラーリング、モーフィングなどについての中間点として使用され得る。
【００５７】
遷移対象のためのモーフィングは、アルファブレンディングやモーションブラーリングなどの他の技術と比較して、追加の特徴対応を必要とする。図３５は、本発明の実施形態による、モーフィングが使用される遷移対象の特徴を図示する。遷移対象を生成することから定義された各対の投影的テクスチャマップについて、ユーザは対応する特徴を適用し得る。図３５は、第１のシーン（左）および第２のシーン（右）から見られたような、対応する遷移対象３５００、３５１０を示す。ユーザは、点、線、多角形、ループなどを使用して、特徴に対応するようにイメージをインタラクティブに指し示し得、次にテクスチャおよびジオメトリは、追加の特徴に従って三角形にされる。（たとえば、Ｔｈａｄｄｅｕｓ ＢｅｉｅｒおよびＳｈａｗｎ Ｎｅｅｌｙの「Ｆｅａｔｕｒｅ−ｂａｓｅｄ Ｉｍａｇｅ Ｍｅｔａｍｏｒｐｈｏｓｉｓ」をＳＩＧＧＲＡＰＨ、１９９２年、３５〜４２頁の報告において参照されたい。）モーフィング遷移パラメータについてＴＰＥの２Ｄグラフを使用して、ユーザは次に、第１のシーンから第２のシーンへとモーフィングが生ずる速度を制御し得る（時間において前および後ろの両方）。図３６は、ユーザ指定のモーフィング特徴によるモーフィング遷移対象およびその三角形にされたジオメトリの２つの例を示す。３６００は、最初の時間ステップを示し（時間におけるタイムラインスライダ＝０．０）、３６１０は、時間＝０．５であるときを示す。タイムラインスライダが動かされるかまたは自動的に再生されると、第１のシーンから第２のシーンにかけてモーフィングが徐々に生じ、両方のテクスチャならびに対応するジオメトリ（この場合は、三角の網目）を遷移させる。図３７は、第１のシーンから第２のシーンへの遷移において視覚的アーティファクトを最小化するためにモーフィングが有用であり得る例を示す。３７３０は、モーフィング特徴なしに表示されたときの遷移対象のクローズアップを示し−テキストを読みにくくする「ゴースティング」影響がある。ゴースティングアーティファクトは、たとえば、ポーズ評価または特徴対応におけるエラーから生じ得る。モーフィングは、ゴースティング問題の多くを実質的に直し得る。３７００および３７１０は、それぞれ第１のシーンおよび第２のシーンからの調整されたビルディング正面のテクスチャを示し；３７２０および３７２５は、一部のモーフィング対応特徴であり、イメージ３７４０は、ゴースティングアーティファクトのないホテル名の遷移対象を示す。
【００５８】
本発明の実施形態を用いて生成されたシーン間遷移の例が、種々のシーンの種類について以下に示される。これらの例は、遷移ビジョンのポーズ評価における精度の必要性と、コンピュータグラフィクス問題とを軽減する、遷移パラメータの重要性を示す。
【００５９】
図３８〜３９は、長距離の遷移を示し、第１および第２のシーンは明確な特徴を共有しない。図３８は、第１のシーン３８００としての、および第２のシーン３８１０としての、２つのパノラマを示す。３８２０は、第１のシーンのパノラマにおいて示されるような、第２のシーンのパノラマの位置を指し示し；３８３０は、第２のシーンのパノラマにおいて見られるような、第１のシーンのパノラマの位置を指し示す。示されるように、背景のビルディングなどの大きな特徴は見えるが、両方のシーンの周囲の実際の歩行者スケールの対象は互いから見えない。図３９は、仮想カメラが第１のシーンから第２のシーンへ動くときの一連のフレーム（すなわち「遷移イメージ」）を示す（３９００、３９１０、３９２０、３９３０、３９４０、および３９５０）。それぞれのフレームにおける円は、第２のシーンの位置を示す。ポーズ（カメラ外部）を評価するために、ビルディングなどの大きな特徴が使用された。結果として生ずるポーズ評価計算は高い精度を保証しなかったが、それでも信頼できる遷移がモデリングされた。種々の量の３Ｄモーションブラーリングを適用することも、視覚的アーティファクトを最小化するのに役立った。
【００６０】
次の例は、対応する正確な特徴を有しない２つのシーンのものである。図４０は、第１および第２のシーンのパノラマ、４０００および４０１０を示す。４０２０および４０３０は、閉じられた出入口を示し、仮想カメラが遷移の間にそれを通過し、すなわち、第１および第２のシーンは、ドアの反対側にある。この例について、ドアは、第１のシーンと第２のシーンとの間で対応する近似的特徴として使用された。図４１は、生成された３Ｄ遷移対象と、第１のシーンおよび第２のシーンのそれぞれの取得位置４１００および４１１０とを示す。図４２は、一連の遷移イメージ４２００、４２１０、４２２０、および４２３０を示す。示されるように、円滑な遷移が生成される。この遷移を生成したアーティストはさらに、仮想カメラが通過したとき出入口を透明にした。ポーズを評価するために使用されるミラリング特徴（ドア）があり、遷移対象のいずれも対応を有しないが、ＴＰＥの固有のグラフィカルインタフェースは、アーティストが、タイムラインスライダおよび遷移パラメータ値を使用して、この遷移を説得力のあるように生成することを可能にした。
【００６１】
最終的な例は、図４３および４４に示される。第１のシーン４３００は、示されるようなその取得点４３２０を有し、第２のシーン４３１０は、示されるようなその取得点４３３０を有する。この例において、ＰＲＴ対応のための長方形の特徴はほとんどないが、遷移対象の鳥瞰図として４４２０に示されるように、アーティストは位置を適切に近似することができた。適切な遷移パラメータ調整によって、シーン間の円滑かつ信用できる動きが生成された。
【００６２】
本発明の実施形態において、ひとたびシーン間の動きが生成されると、ユーザと相互作用する「アクティブ要素」と呼ばれる人工的な実体が、シーンに配置され得る。一般的に、アクティブ要素はポインティングデバイスを介して活性化される。アクティブ要素の活性化の他の方法が以下に説明される。
【００６３】
図４５に示されるように、アクティブ要素生成に対して３つの構成要素があり：パースペクティブ平面選択４５００と、アクティブ要素の生成および／またはインポート４５１０と、活性化されたときにアクティブ要素をその挙動に結合すること４５２０とである。
【００６４】
最も重要なアクティブ要素の一つは、「ナビゲーショナルアイコン」と呼ばれる。ナビゲーショナルアイコンは、第１のシーンから第２のシーンへのように、シーンの中の動きを活性化する。図４６に示されるように、ビューア４６００は、ナビゲーショナルアイコン４６１０の一つの形を示す。本発明のこの実施形態において、ナビゲーショナルアイコンは意図的に色彩に富んでおり（白黒のイメージにおいては見えないが）かつ小さいので、アイコンは見えるがシーンの視認性を妨げない。さらに、本発明の特定の実施形態において、ユーザがパノラマの周りをパンすると、ナビゲーショナルアイコンは、環境に「くっついた状態になる」ので、環境とともにパンする。
４６２０および４６３０に示されるように、ひとたびナビゲーショナルアイコンが活性化されると、使用可能にされるアクションは、第１のシーンと第２のシーンとの間の動きである。
【００６５】
ナビゲーショナルアイコンは、シーンを見ることにおいて重要な役割を果たし得、それによって、ユーザは、ひとたびナビゲーショナルアイコンが活性化されると、シーン間の動きがトリガされることを視覚的に理解することができる。「視覚的言語」におけるこの一貫性は、特に視覚的な環境において重要なコンセプトである。さらに、ナビゲーショナルアイコンは、一方向的な方法における２つのシーンの間のみならず、潜在的には複数方向に相互接続された無数のシーンの間で、シーン間の動きの複雑なネットワークを今や可能にする。市街スケールのシーン間接続におけるそのような「スーパーツアー」の例が、以下に示される。
【００６６】
図４７は、シーンに埋め込まれる他の種類のアクティブ要素の例を示す。４７００は「前」を示し、４７１０は「後」を示す。本発明の特定の実施形態において、これらのアクティブ要素は、ウェブサイトを適切かつ関連する情報とともに現れるようトリガするポインティングデバイスを介して活性化され得る。たとえば、４７２０はホテルの受付エリアの上の「個人的イベント」広告であり、それをクリックすることは、個人的イベントに関連する情報を含むホテルのウェブサイトを開く。他のアクティブ要素が、「自然な」方法で埋め込まれ得る。ユーザがシーンパノラマの周りをパンすると、これらの埋め込まれたアクティブ要素も、環境に「くっついた状態」を維持し得る。
【００６７】
アクティブ要素は、正しいパースペクティブを用いてシーンに挿入される。このことは、「アクティブ要素生成器（Ａｃｔｉｖｅ Ｅｌｅｍｅｎｔ Ｃｒｅａｔｏｒ）」（「ＡＥＣ」）と呼ばれる本発明の実施形態によってなされ、ＡＥＣは、ユーザが、シーンにおける既存の平面パースペクティブを決定し、次に情報のレイヤをシーンの中に生成し編集することを可能にする。図４８〜５２は、ＡＥＣを図示する。図４８は、平面パースペクティブを決定し、次に他の視覚的レイヤをそれに直観的に追加する、ＡＥＣユーザインタフェースを示す。４８００は、パノラマを見るウィンドウ−いわゆる「イメージ平面ビュー」である。４８１０は、「世界平面ビュー」ウィンドウである（図４８においてはまだイメージがない）。パースペクティブ長方形ツール（Ｐｅｒｓｐｅｃｔｉｖｅ Ｒｅｃｔａｎｇｌｅ Ｔｏｏｌ）（「ＰＲＴ」）を使用して、ひとたび平面が定義されると、シーンの調整されたイメージが示される。（上述のＰＲＴの説明を参照。）パノラマおよびそのビューアのインタラクティブで投影的な性質のために、ユーザがシーンにおける種々の方向を見るために周りをパンすると、シーンにおける特徴のパースペクティブは、連続的に変化する。ＡＥＣは、ユーザが、シーンに埋め込まれた粘着性のパースペクティブ訂正されたアクティブ要素を生成することを可能にする。
【００６８】
図４８において、４８３０は、ＰＲＴを使用してパースペクティブな長方形を定義するために、ユーザによって選択された長方形の３つの点を示す。図４９は、左のイメージ平面ビュー４９００、および右の世界平面ビュー４９１０の上の、ＰＲＴを介して定義された平面を示す。４９１０は、４９００において定義されたパースペクティブビューの調整されたビューであることに留意されたい。ひとたび世界平面が定義されると、２次元描画イメージ編集ソフトウェアと同様に、注釈をつけ、視覚的レイヤを追加し、変更することがより容易になる。図５０〜５２は、どのように２次元の形、テキスト、イメージが、世界平面ビューの中に追加されて、左のパノラマシーンの上に即座に反映されるかを示す。これらのアクティブ要素は、次に、ウェブページ、アプリケーション、書類などにハイパーリンクされ得る。
【００６９】
互いに対応するイメージ平面および世界平面の長方形を定義することは、長方形を生成するのみならず、２つの座標系ｘ−ｙおよびｘ’−ｙ’の間の１対１マッピングをも生成することに留意されたい（図７）。したがって、一つの座標系でテキストまたは図面またはイメージを編集し追加することは、他の座標系に単純にマッピングされ得る。「同形異義性」と呼ばれる３×３マトリックスＨが定義され、これはイメージ平面における点を世界平面における対応する点にマッピングする。（Ｊ．Ｇ．ＳｅｍｐｌｅおよびＧ．Ｔ．Ｋｎｅｅｂｏｎｅの「Ａｌｇｅｂｒａｉｃ Ｐｒｏｊｅｃｔｉｖｅ Ｇｅｏｍｅｔｒｙ」Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、１９５２年、を参照。）したがって、ｘＨ＝ｘ’、およびｘ’Ｈ−１＝ｚである。
【００７０】
図５３〜５４は、本発明の特定の実施形態による、アクティブ要素の他の例を示す。図５３において、「ホテルバナー」と呼ばれ得る一つのアクティブ要素５３００が示され、ホテルに関する名前および他の情報が、アクティブ要素としてシーンの中に埋め込まれている。ホテルバナーをクリックすることは、ホテルに関する関連情報を有するウェブページを開くアクションをトリガする。図５４において、５４００はいわゆる「仮想キオスク」であり、特定のシーンに関する関連情報を含む。これはシーン特定情報アイコンである。この例において、仮想キオスクは、海岸および種々の活動に関する情報を含む。
【００７１】
本発明の実施形態において、シーン、シーン間の動き、アクティブ要素、および概観マップの複雑なネットワークを含む、スーパーツアーが生成される。図５５は、本発明の好ましい実施形態による、概略フロー図（図４参照）と、スーパーツアーを生成するステップ：シーンのインポート５５００、シーン間の動き５５１０、アクティブ要素５５２０、および概観マップ５５３０のフロー図を示す。上述の「シーン」は、パノラマとイメージとを含むソースイメージである。「シーン間の動き」は、遷移対象と、遷移パラメータと、遷移イメージを生成する仮想カメラとを含む。遷移イメージは、単数または複数の遷移対象を含む一つ以上の遷移シーンを含む。アクティブ要素は、ナビゲーショナルアイコンまたはシーンに関する拡大情報の表示によりシーン間の動きをトリガするなどの、特定のアクションをトリガする。最後に、エリアの中の位置の全体的感覚において補助する概観マップがある。概観マップが、以下にさらに説明される。
【００７２】
本発明の一部の実施形態において、シーンビューアは、パースペクティブイメージまたはパノラマを示し、概観マップビューアと結合される。図５６に示されるように、シーンビューアは右側５６００にあり、概観マップビューアは左側５６１０にある。概観マップは、スーパーツアーの「鳥瞰図」を示す。本発明の特定の実施形態において、ナビゲーショナルアイコン５６２０は、パノラマが撮影されたそれぞれの取得位置について置かれる。ナビゲーショナルアイコンはアクティブ要素の一種であるので、ポインティングデバイスによりナビゲーショナルアイコンを活性化することは、パノラマビューアの中でアクティブ要素をトリガすることと同様に、シーンビューアをスーパーツアーの中のその特定のシーンにナビゲートするようにトリガする。概観マップビューアはさらに、シーンビューアと同期化されて、自動的に動いて再び中心になる。５６３０は、シーンビューア５６００における現在のビューの方向を示す特別ハイライトおよび矢印を有する「現在の」ナビゲーショナルアイコンである。ユーザがシーンビューアにおけるビューの方向をインタラクティブに変えると、矢印もしかるべく方向が変わる。スーパーツアーにおいてビューアの位置が動くと、現在のナビゲーショナルアイコンもまたしかるべく同期化される。
【００７３】
本発明の種々の実施形態において、方法は、シーケンスに再生する一連のシーンおよび遷移を「スクリプト」する手段を提供する。スーパーツアーにおいて、ユーザは一般的に、ポインティングデバイスを使用してナビゲーショナルアイコンを活性化することによって、一つのシーンから別のシーンへの遷移を呼び出す。スクリプトすることは、複数のシーンを通るスーパーツアー経路とそれらの対応するシーン間の動きとを「記録」し、ひとたびユーザによって呼び出されると所定の経路を「再生」する手段として考えられ得る。スクリプトされた経路は、ユーザが記録した経路であり得、またはアルゴリズム的に決定され得、たとえば、本発明の特定の実施形態による、市街における２つの点の間の最短の運転方向である。このことは、遷移を生成するために追加のソースイメージを使用することとは異なり、スクリプトはオンザフライで動的にカストマイズされ得る。
【００７４】
たとえば、スーパーツアーにおいてシーン「Ａ」〜「Ｚ」が存在すると仮定する。シーン「Ａ」は、中間シーン（中間位置に対応する）「Ｂ」〜「Ｙ」を介してのみ、「Ｚ」と接続される。現在のシーンが「Ａ」であり、かつユーザが概観マップの上でナビゲーショナルアイコン「Ｚ」を選択する場合には、「Ａ」〜「Ｚ」のシーンおよびシーン間の動きを自動的かつ逐次的に再生するスクリプトがトリガされ得、その結果、ユーザは連続的かつ接続された経験を有し得る。
【００７５】
本発明の特定の実施形態において、スクリプトするために必要な自動再生に対して、ならびにナビゲーショナルアイコンを介した単純なナビゲーションに対して、シーンビューアは、いわゆる「方向付け一致（ｏｒｉｅｎｔａｔｉｏｎ ｍａｔｃｈｉｎｇ）」を提供する。シーンビューアは、その接続されたシーン間の動きの開始方向に自らを自動的に位置合わせする。たとえば、シーン「Ａ」からシーン「Ｚ」に横断する間に、ユーザは交差点シーンに来て、そこで曲がることが必要になる。方向付け一致特徴は、次のシーン間の動きに位置合わせするようにビューアを自動的に回して、次に遷移をトリガする。
【００７６】
さらに、本発明の実施形態において、それぞれの所定のパノラマシーンにおいて、ユーザは、ポインティングデバイスを使用して、見る方向付けをインタラクティブに変更し得る。一つのシーンから別のシーンへと円滑かつ継ぎ目なしに遷移するために、ユーザの見る方向付けは、まず遷移イメージの冒頭に一致させてから、次に第１から第２のシーンへの遷移を始めることが好ましい。この特徴は、事前にレンダリングされた映画の形における遷移イメージにとって特に有用であり、なぜなら、パノラマを見る方向付けは、エンドユーザに継ぎ目のない体験を提供するために、遷移映画の第１のフレームに位置合わせされるべきだからである。
【００７７】
本発明の実施形態において、各対の接続されたソースイメージおよびそれらの個々の方向の遷移イメージのために、データ構造がインプリメントされ、方向付け角度（θ，φ）１はそれぞれ、第１のシーンのゼニス用およびアジマス用であり、方向付け角度（θ，φ）２はそれぞれ、遷移イメージの最初および最後のフレームと一致する第２のシーンのゼニス用およびアジマス用である。これらの方向付け一致データは、シーン間の動きのオーサリングプロセスの間に格納される。本発明の実施形態に従って、遷移イメージは３次元システムにおいて生成される、したがって遷移イメージの経路に沿った仮想カメラの正確なビュー方向付けを決定することが容易である。
【００７８】
本発明の実施形態において、たとえばナビゲーショナルアイコンにより、ひとたび第１のシーンから第２のシーンへの遷移がトリガされると、第１のシーンのビューを、所定の任意の視点（θ’，φ’）１から、ビュー角度の内挿により（θ，φ）１に一致させるように自動的に再方向付けするパノラマビューアが提供される。ひとたび（θ’，φ’）１＝（θ，φ）１になると、ビューアは次に遷移イメージをレンダリングして、第２のシーンへの円滑な動きをシミュレートする。ひとたび第２のシーンに達すると、ビューアは、遷移イメージを表示することから、第２のシーンのパノラマへと遷移し、それは滑らかでかつ継ぎ目のない遷移のための見る角度（θ，φ）２になるよう方向付けられる。
【００７９】
図５７〜５８は、スクリプトすることならびに方向付け一致を示す例である。図５７において、概観図は左側５７００にあり、シーンビューアは右側５７１０にある。シーンビューアは、右に曲がった後で最終的に浴室に至る出入口を示している。浴室は現在のシーンビューアからは見えないが、浴室は概観マップ５７００に示される。５７２０はシーンの現在の位置を示すナビゲーショナルアイコンであり；５７３０は中間シーンを通って（スクリプトすることを介して）浴室の中へ至る曲がった経路を示し；５７４０はナビゲーショナルアイコンによって示される最終的な目的地シーンである。
【００８０】
図５８は、生じる一連の出来事を示す（５８００、５８１０、５８２０、５８３０、５８４０、および５８５０）。５８００は最初のビューであり、図５７と同じである。ひとたびナビゲーショナルアイコン（または何らかの他の手段）が遷移をトリガすると、中間遷移が示される５８１０。概観マップは、ポインティングアイコンを使用して「現在の」位置および方向を表示することにも留意されたい（５７２０と同じ）。ひとたび中間シーン５８２０に達すると、自動的な方向付け一致特徴がトリガされ、その結果、中間シーンビューアは、次の遷移イメージ５８３０と位置合わせされる。５８４０は、中間シーンから最終シーン５８５０への実際の遷移を示す。
【００８１】
これらの例において、すべてのシーンが「絶対的な」意味において互いに接続されるかのように見え得る。換言すると、概観マップおよびシーンビューアの上に表示される複数のシーンは、すべて、世界空間において互いの位置および方向付けに関して正しく位置されているように見え得る。本発明の実施形態において、スーパーツアーは一対のソースイメージの間の相対的なポーズ評価のみを使用して生成される。このアプローチは、多くの視覚研究およびイメージベースのモデリングシステムと対照的であり、それらにおいては、ソースイメージの間の特徴対応により可能な限り正確なポーズ評価を計算することが重要である。このことは、複雑な最適化の問題であり、ソースイメージの数が増えるにしたがってより困難になり、よりエラーを生じやすい。
【００８２】
たとえば、単純なシナリオにおいて、対応する特徴を共有する３つの入力ソースイメージＡ、Ｂ、およびＣがあると想定されたい。たとえば、ビルディングの周囲で写真が撮影され、それぞれの組は、たとえばＡとＢ、ＢとＣ、およびＣとＡという共通の特徴を共有する。代表的な視覚システムは、Ａに対するＢのカメラポーズを計算し、次にＢに対するＣのカメラポーズを計算する、などである。すべてのソースイメージは同じ「絶対的な」座標系の中に存在するので、ＡからＢへのポーズ評価からの計算エラーは、当然のことながらＢからＣへのポーズ評価に伝播する。ＣとＡとの間に特徴対応がある場合には、エラー伝播を「広げ」たり減らすために大域的最適化アルゴリズムを有する必要がある。ＡからＢと、ＢからＣとのポーズ評価のために、ＡおよびＣはすでに絶対的な座標系の中にその位置が設定されていることに留意されたい。次にＣからＡのポーズを計算しようとすることは、当然のことながらより多くのポーズ評価エラーを生じる。たとえば現実世界のデータなどのより複雑なシナリオにおいて、複雑な最適化のシステムの問題は、解決することが困難な問題であり、しばしば頑強な問題を有し、ひとたびエラーが持ち込まれると「デバッグ」することが困難である。
【００８３】
本発明の実施形態において、スーパーツアーは、一対のソースイメージの間のみの相対的なポーズ評価を使用して生成される。換言すると、各対のソースイメージについてのポーズ評価は、相対的な座標系の中に存在する。ポーズ評価の問題は各対のソースイメージについて決定されるので、大域的最適化の必要はない。入力ソースイメージＡ、Ｂ、およびＣの単純なシナリオについて、スーパーツアーは、ＡからＢ、ＢからＣ、およびＣからＡの間の近似的なポーズ評価のみを必要とし、これらのすべては、それぞれの計算におけるエラーにかかわりなく別々に計算される。この実施形態は、ユーザが一つのソースイメージから別のソースイメージへと円滑かつ連続的に「移動する」ことを可能にする。したがって、シーン間遷移は、シーンＡの視点から、ＡからＢの動きをシミュレートし、シーンＢに帰結する。ひとたびシーンＢに到達すると、座標系が変化し得る（これはユーザにとっては継ぎ目がない）。次に、ＡからＢのポーズ評価とは別に、その計算エラーにかかわりなく、ＢからＣの動きをシミュレートすることが実行され得る。このことは、計算の複雑性およびエラーの機会を有利に低減し、スーパーツアーの実施形態が、ノードの数が増加するとより容易にスケールアップすることを可能にする。
【００８４】
本発明の好ましい実施形態において、概略フロー図（図４）に示されるような最終プロセスは、公開ステップである。シーン間の動きを介して接続される複数のシーンを含むスーパーツアーがひとたび生成され、スーパーツアーがアクティブ要素をも有すると、スーパーツアーは、スタンドアロンアプリケーション５９１０として公開され得るか、あるいはワールドワイドウェブ５９００または当該技術分野において公知の任意の他の通信システムを介して配信され得る。公開されるツアーはまた、必要に応じて、追加のハイパーリンク、イメージ、テキストなど５９２０、５９３０を含み得る。
【００８５】
図６０は、スーパーツアーの公開が可能にされる本発明の例示的な実施形態を示す。同図は、スーパーツアー６０００の小さなスライスを示すのみである。６０００におけるマップインタフェースに示されるように、フロリダのマイアミビーチを網羅する一千を超えるパノラマシーンがある。６０１０は、地図の拡大を示す。これらのパノラマシーンのそれぞれは、このスーパーツアーにおいて相互接続されている。さらに、外部シーンも、ビルディングおよびホテルの内部ツアーと相互接続されている。例示的な実施形態について、公開されたスーパーツアーの複雑性が図６１〜７０に示される。
【００８６】
本発明の種々の実施形態において、方法は、ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の動きをシミュレートする遷移を提供する。方法は、遷移が行われる先の第２のシーンにおける視点の指示を受信することを含む。指示は、種々のソースから受信され得る。たとえば、指示は、検索エンジンに検索パラメータを入力することによって生み出され得、検索エンジンは位置を識別し得る。指示はディスプレイの任意の場所におけるアイコンの活性化の際に受信され得−アイコンは平面図マップまたはパノラマビューアの上に位置する必要はない。位置が受信されると、位置に向けて動きをシミュレートする遷移イメージまたは一連のそのようなイメージが表示される。さらなる例において、図７１に示されるように、位置のリストが画面上に提示され得、リストにおける項目の選択に基づいて指示が受信される。
【００８７】
本発明の上述の実施形態のいずれも、コンピュータまたは他の種類のプロセッサを含むシステムにおいてインプリメントされ得る。コンピュータまたはプロセッサは、方法ステップをインプリメントする命令のためのメモリを含む。コンピュータまたはプロセッサは、出力を表示するためにディスプレイデバイスに結合され、ユーザからの入力を受信するために一つ以上の入力デバイスに結合され得る。方法をインプリメントする命令は、単一のプロセッサまたは複数のプロセッサの上で実行され得る。プロセッサは、クライアントサーバ様式で編成され得る。複数のプロセッサが、当該技術分野において公知の任意の種類の公衆または専用通信システムによって結合され得る。そのような通信システムは、有線または無線のリンクレベルおよび物理的なメディアの両方を使用したインターネットなどの当該技術分野において公知のデータネットワーク、公衆電話システム、衛星中継、Ｔ１ライン、マイクロ波中継、ワイヤーライン、またはラジオ中継などの固定通信などを、制限なしに含み得る。システムにおいて使用されるデバイスは、グラフィカルインタフェースを提供するために適切な任意の種類のものであり得る。本発明の実施形態において、ディスプレイは任意のプロセッサから任意のディスプレイ表面に向けられ得、複数のディスプレイ表面が使用され得る。ユーザからの入力を受信する入力デバイスは、キーボード、トラックボールまたはマウスまたはタッチパッドなどのポインティングデバイスなどを制限なしに含む多様な形態を取り得る。
【００８８】
本発明の実施形態によるシステムは、以下の条項によって記載され得る：
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該ディスプレイ上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定し；
該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供する。
【００８９】
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示し；
該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９０】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、かつ選択されたシーンの特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンを表示し；
該選択されたシーンの視点の位置の指示を受信し；
該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該選択された特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９１】
第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供し；
該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３のシーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成される。
【００９２】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ選択されたシーン特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該第１の視点から該選択されたシーン視点へのルートを決定し、該ルートは該第２の視点を含み；
該選択されたシーン視点の位置指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから選択された該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９３】
本発明の追加のシステム実施形態は、プロセッサが実行する追加のステップを追加することによって、以下に列挙される方法クレームに従って記載され得る。
【００９４】
本発明の実施形態によるコンピュータプログラム製品は、以下の条項によって記載され得る：
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該ディスプレイ上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定し；
該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供するプログラムコードを含むものである。
【００９５】
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示し；
該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージが表示するプログラムコードを含むものである。
【００９６】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ選択されたシーン特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該選択されたシーン視点の位置の指示が受信されるときに、該第１の特徴と該選択されたシーン特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示するプログラムコードを含むものである。
【００９７】
第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供し；
該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３シーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成される、プログラムコードを含むものである。
【００９８】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ、選択されたシーン特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該第１の視点から該選択されたシーン視点へのルートを決定し、該ルートは該第２の視点を含み、
該選択されたシーン視点の位置の指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示するプログラムコードを含むものである。
【００９９】
本発明の追加のコンピュータプログラム製品の実施形態は、プロセッサが実行する以下に列挙される方法クレームに従ってプログラムコードステップを追加することによって記載され得る。
【０１００】
本明細書で前述した機能性のすべてまたは一部を実行するコンピュータプログラム論理は、ソースコードの形、コンピュータ実行可能な形、および種々の中間的な形（たとえば、アセンブラ、コンパイラ、ネットワーカ、またはロケータによって生成される形）を含むが、それらに限定されない、種々の形において具体化され得る。ソースコードは、種々のオペレーティングシステムまたはオペレーティング環境とともに使用される、種々のプログラミング言語（たとえば、オブジェクトコード、アセンブリ言語、またはＦｏｒｔｒａｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、またはＨＴＭＬなどの高級言語）のいずれかにおいて実装された一連のコンピュータプログラム命令を含み得る。ソースコードは、種々のデータ構造および通信メッセージを定義および使用し得る。ソースコードはコンピュータ実行可能な形であり得るか（たとえばインタプリタを介して）、あるいはソースコードはコンピュータ実行可能な形に変換され得る（たとえば、トランスレータ、アセンブラ、またはコンパイラを介して）。
【０１０１】
コンピュータプログラムは、半導体メモリデバイス（たとえば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュプログラム可能ＲＡＭ）、磁気メモリデバイス（たとえばディスケットまたは固定ディスク）、光メモリデバイス（たとえばＣＤ−ＲＯＭ）、ＰＣカード（たとえばＰＣＭＣＩＡカード）、または他のメモリデバイスなどの、有形の記憶媒体において、永久にまたは一時的に、任意の形（たとえば、ソースコードの形、コンピュータ実行可能な形、または中間の形）に固定され得る。コンピュータプログラムは、種々の通信テクノロジーのうちのいずれかを使用してコンピュータに送信可能な信号における任意の形に固定され得、該通信テクノロジーは、アナログテクノロジー、デジタルテクノロジー、光テクノロジー、ワイヤレステクノロジー、ネットワーキングテクノロジー、およびインターネットワーキングテクノロジーを含むが、それらに限定されない。コンピュータプログラムは、添付の印刷書類または電子書類とともに取り外し可能な記憶媒体（たとえばシュリンクラップソフトウェアまたは磁気テープ）としての任意の形で配布され得、コンピュータシステムに事前ロードされ得（たとえばシステムＲＯＭまたは固定ディスクの上に）、あるいは通信システム（たとえばインターネットまたはワールドワイドウェブ）を介してサーバまたは電子掲示板から配信され得る。
【０１０２】
本明細書で前述した機能性のすべてまたは一部を実行するハードウェア論理（プログラム可能論理デバイスとともに使用されるプログラム可能論理を含む）は、従来の手作業の方法を使用して設計され得、あるいは計算機支援設計（ＣＡＤ）、ハードウェア記述言語（たとえばＶＨＤＬまたはＡＨＤＬ）、またはＰＬＤプログラミング言語（たとえばＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）などの種々のツールを使用して、電子的に、設計、捕獲、シミュレーション、または書類化され得る。
【０１０３】
本発明は、特定の実施形態を参照して詳しく示されて説明されたが、添付の特許請求の範囲によって定義される本発明の精神および範囲から逸脱することなく、形および詳細の種々の変更がそこでなされ得ることが、当業者によって理解される。当業者にとって明白であるように、パノラマに関して上述された技術は、非パノラマイメージとして取り込まれたイメージに適用され得、その逆もまた同様である。
【０１０４】
上記の実施形態に関し以下の付記を記す。
（付記１）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該方法は、
ａ．該ディスプレイの上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定することと、
ｂ．該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供することと
を包含する、方法。
（付記２）前記第１の特徴の位置と前記第２の特徴の位置とが、異なる物理的な位置に対応する、付記１に記載の方法。
（付記３）前記第１の特徴の位置と前記第２の特徴の位置とが、同じ物理的な位置に対応する、付記１に記載の方法。
（付記４）ｃ．前記第２のシーンの場合における前記第１の視点と前記第１のシーンの場合における第２の視点の少なくとも一つを前記ディスプレイに表示することをさらに包含する、付記１に記載の方法。
（付記５）前記第１の特徴および前記第２の特徴を前記ディスプレイの上でグラフィック的に識別することが、それぞれのシーンでパースペクティブな長方形を定義することを包含する、付記１に記載の方法。
（付記６）前記第１のシーンにおいて前記パースペクティブな長方形を部分的に定義するために、ポインティングデバイスの３つの活性化がなされているとき、該第１のシーンにおいて該パースペクティブな長方形を定義するために、前記ディスプレイの上で該ポインティングデバイスを用いた選択のための複数のポイントが識別され、画面上の該第１のシーンにおいて該パースペクティブな長方形の輪郭を描くために、該複数のポイントが選択されている、付記５に記載の方法。
（付記７）前記パースペクティブな長方形が前記第１のシーンにおいて定義されたときに、前記ディスプレイ上で位置をグラフィック的に識別することであって、該第１のシーンにおける該パースペクティブな長方形の辺が動かされ得、かつそれでもなお該ディスプレイの上の該第１のシーンにおける該パースペクティブな長方形を維持し得ることをさらに包含する、付記５に記載の方法。
（付記８）前記パースペクティブな長方形が前記第１のシーンにおいて定義されたときに、前記ディスプレイの上で位置をグラフィック的に識別することであって、該第１のシーンにおける該パースペクティブな長方形の角が動かされ得、かつそれでもなお該ディスプレイの上の該第１のシーンにおける該パースペクティブな長方形を維持し得ることをさらに包含する、付記５に記載の方法。
（付記９）前記第１の特徴および前記第２の特徴を前記ディスプレイの上でグラフィック的に識別することが、
ｉ．前記第１のシーンおよび前記第２のシーンに対して共通の基準基礎面を定義することと、
ｉｉ．該第１のシーンにおける該共通の基準基礎面の上の第１の形と、該第２のシーンにおける該共通の基準基礎面の上の第２の形とをグラフィック的に追跡することと、
ｉｉｉ．該第１の特徴を形成するために該第１の形を押し出し、該第２の特徴を形成するために該第２の形を押し出すこととをさらに包含する、付記１に記載の方法。
（付記１０）前記第１の形および前記第２の形が、長方形である、付記９に記載の方法。
（付記１１）前記第１の特徴および前記第２の特徴が、共通の物理的な特徴に対応する、付記９に記載の方法。
（付記１２）前記第１の特徴および前記第２の特徴が、異なる物理的な特徴に対応する、付記９に記載の方法。
（付記１３）前記遷移イメージを提供することが、遷移パラメータに従って前記第１のシーンおよび前記第２のシーンから前記遷移シーンを形成することを包含する、付記１に記載の方法。
（付記１４）前記遷移イメージを提供することが、前記第１のシーンおよび前記第２のシーンにおける複数の対応する特徴を用いて、前記遷移シーンを構成することを含み、
所与の一対の対応する特徴のそれぞれの特徴の寄与が、所与の遷移パラメータによって決定される、付記１３に記載の方法。
（付記１５）前記遷移パラメータをユーザ入力から決定することをさらに包含する、付記１３に記載の方法。
（付記１６）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１の特徴および前記第２の特徴をアルファブレンドすることによって前記遷移シーンを形成することを包含する、付記１３に記載の方法。
（付記１７）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１の特徴および前記第２の特徴をモーフィングすることを包含する、付記１３に記載の方法。
（付記１８）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１および第２のシーンのうちの少なくとも一つをモーションブラーリングすることをさらに包含する、付記１３の方法。
（付記１９）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１および第２のシーンのうちの少なくとも一つに対するサチュレーション調整をすることをさらに包含する、付記１３に記載の方法。
（付記２０）前記少なくとも一つの遷移イメージを提供することが、前記第１の視点と前記第２の視点との間の経路に沿って動く仮想カメラによって見られる複数のイメージをモデリングすることを包含する、付記１に記載の方法。
（付記２１）前記経路が、前記第１の視点と前記第２の視点との間の線である、付記２０に記載の方法。
（付記２２）ｃ．見る方向をグラフィック的に入力することをさらに包含する、付記１に記載の方法。
（付記２３）前記遷移イメージを提供することが、
前記第１の視点から前記第２の視点への経路の三次元モデルを構成することと、
該モデル内で仮想カメラを動かすことと
を包含する、付記１に記載の方法。
（付記２４）前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つが、パノラマである、付記１に記載の方法。
（付記２５）前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つが、ソースイメージである、付記１に記載の方法。
（付記２６）前記ソースイメージが、写真、スケッチ、および絵のうちの少なくとも一つを含む、付記２５に記載の方法。
（付記２７）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該方法は、
ａ．該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示することと、
ｂ．該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
（付記２８）前記第１の視点の見る方向が、前記遷移イメージの方向に一致するように方向付けられる、付記２７に記載の方法。
（付記２９）前記遷移イメージを表示することが、前記第１の視点と前記第２の視点と間の経路に沿って動く仮想カメラによって見られる複数のイメージを表示することを包含する、付記２７に記載の方法。
（付記３０）前記経路を通過する速度が変化する、付記２７に記載の方法。
（付記３１）ｃ．前記第１のシーンを見ることであって、該第１のシーンがパノラマであることをさらに含む、付記２７に記載の方法。
（付記３２）前記第１の特徴および前記第２の特徴が、異なる位置にある、付記２７に記載の方法。
（付記３３）前記第１の特徴および前記第２の特徴が、同じ位置にある、付記２７に記載の方法。
（付記３４）ｃ．パースペクティブイメージに結合された概観イメージを表示することにより、該概観イメージと該パースペクティブイメージが、対応する位置を示すようにアップデートされることをさらに包含する、付記２７に記載の方法。
（付記３５）前記概観イメージが概観イメージナビゲーショナルアイコンを含み、該方法が、
ｄ．該概観イメージおよび前記第１のナビゲーショナルアイコンのうちの一つが活性化されるときに、該概観イメージをパニングすることをさらに包含する、付記３４に記載の方法。
（付記３６）ｃ．アクティブ要素活性化が特定のアクションを開始するように、前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つにおいてアクティブ要素を表示することをさらに包含する、付記２７に記載の方法。
（付記３７）前記特定のアクションが、ディスプレイウィンドウにおける情報の表示を包含する、付記３６に記載の方法。
（付記３８）情報の表示が、映画を再生することを包含する、付記３７に記載の方法。
（付記３９）前記情報の表示が、リストを表示することを包含する、付記３７に記載の方法。
（付記４０）前記アクティブ要素が、３Ｄアイコンである、付記３６に記載の方法。
（付記４１）前記遷移イメージを表示することが、前記第１の特徴および前記第２の特徴をアルファブレンディング、モーフィング、およびモーションブラーリングすることの少なくとも一つを包含する、付記２７に記載の方法。
（付記４２）前記複数のイメージを表示することが、遷移パラメータに従って、該複数のイメージのそれぞれに対して、前記第１の特徴および前記第２の特徴をアルファブレンディング、モーフィング、および３Ｄモーションブラーリングすることの少なくとも一つをさらに包含する、付記２９に記載の方法。
（付記４３）前記遷移パラメータが、前記複数のイメージの間で変化する、付記４２に記載の方法。
（付記４４）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと選択されたシーンとの間の動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、かつ選択されたシーンの特徴を含み、該方法は、
ａ．該第１のシーンを表示することと、
ｂ．該選択されたシーンの視点の位置の指示を受信することと、
ｃ．該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該選択されたシーンの特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
（付記４５）前記選択されたシーンの視点の位置の指示が、検索パラメータの使用によって生成される、付記４４に記載の方法。
（付記４６）前記選択されたシーンの視点の位置の指示が、アイコンの活性化によって提供される、付記４４に記載の方法。
（付記４７）前記選択されたシーンの視点の位置の指示が、項目のリストからの選択によって提供される、付記４４に記載の方法。
（付記４８）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該方法は、
ａ．該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供することと、
ｂ．該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第２の遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３シーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成されることと
を包含する、方法。
（付記４９）
ディスプレイを有するコンピュータシステムにおいて、第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、該方法は、
ａ．該第１のシーンを表示することと、
ｂ．該選択されたシーンの視点の位置の指示を受信することと、
ｃ．該第１の視点から該選択されたシーンの視点へのルートを決定することであって、該ルートは該第２の視点を含む、ことと、
ｄ．該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
【符号の説明】
【０１０５】
１００ シーン
１１０ 位置
２００、２２０ 球面マップ
２１０、２３０ 立方体マップ
３００ 球面パノラマ
３１０ 獲得位置
３２０ ピンホールカメラ撮影円錐台
５００ カメラポーズの評価
５１０ 遷移対称の生成
５２０ パラメータの編集
５３０ 仮想カメラの編集
４５００ パースペクティブ平面選択
４５１０ インポート
５４２０ 結合
５５００ シーンのインポート
５５１０ シーン間の動き
５５２０ アクティブ要素
５５３０ 概観マップ
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスの方法とシステムに関連し、特に、コンピュータディスプレイ上の二つ以上の関連するイメージまたはパノラマの間で、滑らかな遷移を生成するための方法およびシステムに関連する。
【背景技術】
【０００２】
仮想的な旅行が、見る人に興味あるシーンに関する情報を提供するための、しばしば使用される技術となっている。このような旅行は、一つのシーンまたは数々のシーンの写真のようにリアルで相互作用的で没頭させる体験を、提供し得る。これらの旅行は、シーンを表すのに、一つ以上の幅広い種類のグラフィックディスプレイ技術を組み込み得る。
【０００３】
これらの旅行の一部として情報を表示するための一つの効果的な技術は、パノラマまたはパノラマ的なイメージの表示である。パノラマ的なビューアは、ピクチャ全体に対して詳細を維持しながら、広い視野でイメージを表示し得る。いくつかのステップが、これらのパノラマの生成および表示のために要求され、イメージの取り込み、イメージの「縫い合わせ」、および、パノラマ表示（または、見ること）である。一番目のステップは、シーン１００のイメージの取り込みで、また、獲得ステップとして知られている。図１に示されるように、多数の写真が、典型的には、空間の単一の位置１１０から、様々な角度から撮られる。通常のカメラと装備が使用され得、特別なハードウェアは通常要求されない。従来技術で知られるように、与えられた位置から、シーンの実質的に縫い目のない視野を提供するために、撮られた写真イメージは、次に、縫い合わせ技術を使用して、一緒に「縫い合わされ」る。図２は、二つのパノラマ形式：球面マップ２００、２２０と、立方体マップ２１０、２３０とで、シーンの例を示している。開かれた縫い合わされたイメージ２００は、球面幾何２２０に描かれ、球の中心から見られたとき、パノラマは仮想的に写真撮影獲得位置を複製する。立方体マップパノラマでも、プロセスは同様に働く。パノラマ的投影の他のタイプが使用され得るが、プロセスは同様である。イメージは一部のパノラマとして考えられ得ることに注意されたい。図３に図示されるように、最後のステップは、パノラマの表示または見ることである。共に縫い合わされたイメージは、従来技術で知られるように、パノラマ鑑賞技術を使用して、相互作用的に見られる。図３では、球面パノラマ３００に対して、球の中心における仮想空間の獲得位置３１０が示されている。また、示されているのは、ディスプレイ上で見られ得るパノラマイメージの一部を表す、ピンホールカメラ投影円錐台３２０である。
【０００４】
現在のパノラマ的仮想旅行は、重要な制限を有する。パノラマ（通常の写真およびイメージを含む）の固有の性質は、パノラマは単一獲得位置から撮られており、したがって、イメージは静的であるということである。幅広い範囲を記述するためには、すなわち、空間の一点からの視野を越えるには、パノラマ的仮想旅行は典型的には「潜望鏡視野」を使用し、エンドユーザは空間の一点に「ポップ（ｐｏｐ）」し、周囲を見渡し、次に、より広い範囲を通り抜けるために、空間の別の位置へ即座に「ポップ」する。二つのパノラマシーンの単純な場合を仮定すると、獲得位置が非常に近いときでさえ、見る人にとって二つのシーンを精神的に接続することは、しばしば困難である。二つのパノラマは、どのようにパノラマがお互いに接続され方向付けられているかを記述することは、本質的に可能ではない。これらの制限によって、見る人にとって、現在の仮想旅行で、空間、方向の感覚、広い範囲の大きさを理解するのは、困難である。
【発明の概要】
【課題を解決するための手段】
【０００５】
（発明の概要）
本発明の第１の実施形態では、ディスプレイを有するコンピュータシステムで第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する方法を提供する。第１のシーンは、第１の視点から観測され、特徴を含む。第２のシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１に図表を用いてディスプレイ上で第１のシーンの特徴と第２のシーンの特徴とをグラフィック的に識別すること、および、二つの特徴を使用して第１のシーンを第２のシーンへマッピングする変換を決定することを含む。そして、一つ以上の遷移イメージが生成され、それは、第１のシーンの特徴と第２のシーンの特徴とに基づいて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む。
【０００６】
本発明の別の実施形態では、コンピュータシステムディスプレイ上で第１シーンと第２シーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み、第２のシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１のシーンに埋め込まれたナビゲーショナルアイコンを表示することを含む。ナビゲーショナルアイコンが活性化されるとき、第１の特徴と第２の特徴とに基づいて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む少なくとも一つの遷移イメージが表示される。
【０００７】
本発明のさらなる実施形態では、コンピュータシステムディスプレイ上で、第１のシーンと選択されたシーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み、選択されたシーンは、第２の視点から観測され、第２の特徴を含む。方法は、第１のシーンを表示すること；選択されたシーンの位置の指示を受信することを含む。選択された位置の指示が受信されるとき、第１の特徴と第２の特徴とに基づいて、第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、少なくとも一つの遷移イメージが表示される。本発明の特定の実施形態では、指示は、検索エンジン出力、または、リストまたはディスプレイ上の任意の場所のアイコンの活性化などからユーザの選択から、受信され得る。
【０００８】
本発明のさらなる実施形態では、方法は、第１のシーンと第２のシーンとの間、および、第２のシーンと第３のシーンとの間の、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み；第２のシーンは、第２の視点から観測され、第２の特徴を含み；第３のシーンは、第３の視点から観測され、第３の特徴を含む。方法は、第１の特徴と第２の特徴とに基いて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、第１の遷移イメージを提供することと、第２の特徴と第３の特徴に基いて、第２の視点から第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、第２の遷移イメージを提供することとを含む。第１の遷移イメージおよび第２の遷移イメージは、第１、第２、および、第３のシーンのそれぞれの基準フレーム内に、絶対的な位置および方向を決定することなく形成される。
【０００９】
本発明の別の実施形態では、コンピュータシステムディスプレイ上で、第１のシーンと選択されたシーンとの間での、動きをシミュレートする遷移を表示する方法が提供される。第１のシーンは、第１の視点から観測され、第１の特徴を含み；第２のシーンは、第２の視点から観測され、第２の特徴を含み；選択されたシーンは、選択されたシーンの視点から観測される。方法は、第１のシーンを表示すること、選択されたシーンの視点の位置の指示を受信すること、および、第１の視点から選択されたシーンの視点へのルートを決定することであって、該ルートは第２の視点を含む、ことを、含む。選択されたシーンの視点の位置の指示が受信されるとき、第１の特徴と第２の特徴とに基いて、第１のシーンから第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む、遷移イメージが表示される。
【００１０】
本発明の前述の特徴は、添付される図面を参照して、以下に続く詳細な記述を参照することにより容易に理解される。
【図面の簡単な説明】
【００１１】
【図１】図１は、パノラマを形成するためにイメージを取り込むことを図示している。
【図２】図２は、二つのパノラマ形式、球体マップパノラマと立方体マップパノラマ、でのシーンの例を示している。
【図３】図３は、球面パノラマを見ることを図示している。
【図４】図４は、本発明の実施形態による、スーパーツアーを作成する方法のための概略フロー図を示している。
【図５】図５は、本発明の実施形態による、シーン間の動きを作成する方法のための概略フロー図を示している。
【図６】図６は、本発明の実施形態における、イメージ平面と対応する世界平面との間の関係を図示している。
【図７】図７は、図６の描写における、イメージ平面における特徴と対応する世界平面イメージとの間の関係を図示している。
【図８】図８は、本発明の実施形態によるイメージ平面におけるパースペクティブな長方形の点の選択を図示している。
【図９】図９は、本発明の実施形態による、相互作用的なエッジの選択と動きを図示している。
【図１０】図１０は、本発明の実施形態による、パースペクティブな長方形の定義のためのフロー図である。
【図１１】図１１は、本発明の実施形態による、パースペクティブな長方形に対する正規ベクトルの生成を図示している。
【図１２】図１２は、本発明の実施形態による、消失ベクトルの計算を図示している。
【図１３】図１３は、本発明の実施形態による、パースペクティブな長方形ツールのためのプロセスを図示するために、二つの入力ソースイメージ球面パノラマを示している。
【図１４】図１４は、イメージと世界空間とで、図１３のパノラマからの対応する特徴を図示している。
【図１５】図１５は、図１３の本発明の実施形態のために、一つのイメージを、該イメージを別のイメージの方向に整列させるために回転させる前に、世界空間における長方形に対する正規ベクトルを計算することを図示している。
【図１６】図１６は、図１３の本発明の実施形態のために、世界空間における一つのイメージの別のイメージへの整列を完了させるための一つのイメージの平行移動を示す。
【図１７】図１７は、図１６の平行移動に対する解の点を決定する幾何学的構成を図示する。
【図１８】図１８は、本発明の実施形態による、３Ｄ幾何学とテクスチャマッピングを使用して、遷移対象の生成を図示するために、内部の三つの表現を示している。
【図１９】図１９は、図１８のプロセスに対する足跡を識別するプロセスを図示している。
【図２０】図２０は、図１９で開始された完成された足跡を示している。
【図２１】図２１は、図１９と図２０との足跡を押し出すことを図示している。
【図２２】図２２は、図２１の押し出しプロセスの完成を示している。
【図２３】図２３は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２４】図２４は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２５】図２５は、本発明の実施形態による、遷移対象の生成ツールのためのプロセスを図示している。
【図２６】図２６は、図２３〜２５の遷移対象の生成プロセスの出力の第３者の視野である。
【図２７】図２７は、本発明の実施形態による、仮想的なカメラを使用して、第１のシーンから第２のシーンへの遷移をモデル化することを図示している。
【図２８】図２８は、図２７の実施形態のための、カメラ経路に沿った点を示している。
【図２９】図２９は、図２８の経路に沿った点での視野を示している。
【図３０】図３０は、本発明の実施形態による、図２７〜２９に示された部屋に対して、異なる遷移対象で異なる遷移連続を示している。
【図３１】図３１は、本発明の実施形態による、遷移パラメータエディタのための例示的なユーザインタフェースを示している。
【図３２】図３２は、図３１の遷移パラメータエディタのクローズアップビューを示している。
【図３３】図３３は、図３１の遷移パラメータエディタに対する、時間線にて時間点が移動することを図示している。
【図３４】図３４は、本発明の実施形態による、シーンビューで、モーションブラーとサチュレーション調整の遷移パラメータとの効果を示している。
【図３５】図３５は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３６】図３６は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３７】図３７は、本発明の実施形態による、変形させる遷移パラメータを図示している。
【図３８】図３８は、本発明の実施形態による、変形させることを使用したシーン間遷移の例を提供する。
【図３９】図３９は、本発明の実施形態による、変形させることを使用したシーン間遷移の例を提供する。
【図４０】図４０は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４１】図４１は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４２】図４２は、本発明の実施形態による、正確な特徴が対応しない二つのシーンに対するシーン間遷移の例を提供する。
【図４３】図４３は、本発明の実施形態による、対応する長方形を持たない二つのシーンに対するシーン間遷移の例を提供する。
【図４４】図４４は、本発明の実施形態による、対応する長方形を持たない二つのシーンに対するシーン間遷移の例を提供する。
【図４５】図４５は、本発明の実施形態による、アクティブ要素を生成する方法のための概略フロー図を示している。
【図４６】図４６は、本発明の実施形態による、ナビゲーショナルアイコンアクティブ要素を示している。
【図４７】図４７は、本発明の実施形態による、シーンに埋め込まれたアクティブ要素の例を示す。
【図４８】図４８は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図４９】図４９は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５０】図５０は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５１】図５１は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５２】図５２は、本発明の活動的な要素クリエイター実施形態を使用して、アクティブ要素を生成するためのプロセスを図示している。
【図５３】図５３は、本発明の実施形態による、ホテルバナーアクティブ要素を示している。
【図５４】図５４は、本発明の実施形態による、仮想的キオスクアクティブ要素を示している。
【図５５】図５５は、本発明の実施形態による、スーパーツアーを生成する方法のフロー図を示している。
【図５６】図５６は、本発明の実施形態による、スーパーツアーにおける対応する位置のパースペクティブビューに概観マップを結合させる表示を示している。
【図５７】図５７は、本発明の実施形態による、スーパーツアーでスクリプティングと位置整合とを示している。
【図５８】図５８は、本発明の実施形態による、スーパーツアーでスクリプティングと位置整合とを示している。
【図５９】図５９は、本発明の実施形態による、スーパーツアーを出版する方法のフロー図である。
【図６０】図６０は、本発明の実施形態による、例示的なスーパーツアーの出版を示している。
【図６１】図６１は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６２】図６２は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６３】図６３は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６４】図６４は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６５】図６５は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６６】図６６は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６７】図６７は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６８】図６８は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図６９】図６９は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図７０】図７０は、本発明の実施形態に従って作成されたフロリダ州マイアミビーチの例示的なスーパーツアーからの表示されたビューを示している。
【図７１】図７１は、本発明の実施形態による、アイテムの選択がシーンに動きを引き起こすリストの例を示している。
【発明を実施するための形態】
【００１２】
この記述と添付される請求項とで使用されるように、以下の用語は、文脈が他の意味を要求しない場合には、指された意味を有することに注意を要する。「パースペクティブビュー」という用語は、イメージ平面へ投影された世界平面のイメージの２Ｄのビューを意味する。イメージ平面はしばしば表示表面であり、しかし、一般には、任意の平面である。「パースペクティブな長方形」は、イメージ平面への世界空間の長方形の投影であるパースペクティブビューにおける２Ｄポリゴンを意味する。「遷移パラメータ」は、第１のイメージと第２のイメージとの結合から形成される遷移対象に対する、第１のイメージと第２のイメージの貢献度を意味する。例えば、遷移対象が、第１のイメージと第２のイメージのアルファブレンドから導出される場合、遷移パラメータは、各イメージの遷移対象への寄与の透明さと不透明さの度合いを評価する。「アクティブ要素」は、入力デバイスによるアイコンの選択が動きを初期化する、イメージに表示されたアイコンを意味する。「ナビゲーショナルアイコン」は、入力デバイスによるアイコンの選択が、更新するためのシーンの表示されたイメージを引き起こす、イメージで表示されたアクティブ要素アイコンを意味する。
【００１３】
広い概観では、本発明の実施形態は、二つ以上の接続された位置またはシーンのイメージ間で滑らかな動きをシミュレートするシステムと方法とを提供する。シミュレーションされた動きは、一連の位置のイメージを通して進むユーザへ、方向の感覚と空間の理解とを提供する。一つのイメージから別のへ通り抜けるために、ユーザは、第２のシーンにつながる第１のシーンの一部を選択し得る。ビューは次いで第２のシーンへ遷移される。このタイプの誘導は、第２のシーンが単純に第１のシーンを置き換えている場合、方向を分からなくさせ得、それらの間の幾何学的な接続を強調するシーンの間の動きの感覚はない。その代わり、二つのシーンの間の動きは、見る人に、空間と方向との感覚を含む、二つのシーンの間の関係のより良い感覚を提供するためにシミュレートされ得る。
【００１４】
本発明のさらなる実施形態では、イメージ間で動きをシミュレートするこの概念は、空間のツアーを形成する多数のイメージ対の接続されたネットワーク、たとえば近所、大通り、町または都市さえをも生成するように拡張され得る。このようなシーンのネットワークは以下で「スーパーツアー」と呼ばれる。「スーパーツアー」という用語は、記述の便利さのために使用され、制限するためのものではなく：イメージのネットワークは、二つのイメージから、任意の多さのイメージまで拡張され得る。スーパーツアーを生成する方法のための概略フロー図が図４に示されている。一旦、望みのスーパーツアー位置の、「ソースイメージ」として知られる入力写真とパノラマが４００で得られると、スーパーツアーは、シーン間の動き生成４１０を通して同時に一対のソースイメージが生成され得る。一旦、シーンの間の遷移が生成されると、高められたユーザ相互作用性４２０を提供するためにアクティブ要素がシーンに付加され、例えば、ナビゲーショナルアイコンが、次の空間へ遷移を活性化させるために含まれ得、または、仮想的な情報キオスクが活性化時に、位置についての情報を増幅することを提供し得る。次に、取り込まれた空間の結合された複雑な仮想的な体験を生成するために、シーンを見る人、シーン間動き生成子およびアクティブ要素は、地図などと一緒に結合され得る４３０。スーパーツアーの内容はエンドユーザによって鑑賞のために出版される４４０。これらのステップの例示的な実施形態は以下で与えられる。
【００１５】
シーンの間の接続の感覚を提供する一つの方法は、ズームとフェードとして知られる技術を使用する。初期のパノラマまたはイメージから、見る人は第２のシーン（パノラマまたはイメージ）へ向き、仮想カメラの視野の場（「ＦＯＶ」）を変化させることによってズームインし、次いで、第１のパノラマをフェードアウトし、次いで、第２のパノラマへフェードして入り込む。この技術は、方向のある感覚を提供し得るが、シーンに非常に依存し、どれほど近くからパノラマ的イメージが獲得されたか、シーンは共通の視覚の特徴を実質的な量だけ含んでいるか、および、シーン内での対象の間での見通しとかみ合わせとの複雑さに依存する。そうでなければ、ズームとフェードは、ズームフェード効果なしで目的地のパノラマへ「ポップ」することよりも良く動作しない。さらには、イメージへズームすることは、三次元空間で動くことを適切にシミュレートできない。平らなイメージへズームすることは、イメージを「近くから見る」ことと同じで、３Ｄ空間で動きをシミュレートしないことに注意を要する。現実の動きは、対象とカメラとの間の相対的な位置が変化するとき、視差効果に強く依存する。
【００１６】
二つのイメージの間で動きのシミュレーションを提供する別の方法は、イメージ間で動きの物理的な映画を生成することであり、それは、ユーザが二つのシーンの間で動くことを選ぶときに上映される。物理的空間の位置の間の実際の映画を取り込むことは、ビデオカメラと他のカメラ位置決めを使用してなされ得る。映画を使用するこのアプローチは、ウェブページでイメージ間を遷移する際に特に役立つ。ほとんどのウェブブラウザーは、ストリーミングビデオまたは他のデジタル映画またはビデオ形式を上映することが可能なソフトウェアを含んでいるので、そのような映画を表示するのに追加のソフトウェアが必要ない。シーンの間の遷移のための実際的な物理的な映画を生成することは、例えば、大都市の景観のように、大きな環境では、得るのに時間を消費し高価であり得る。映画はまた、重要なデータと事後処理を要求する。視野の点の差のために、イメージまたはパノラマ間の動きが望まれる各方向に対して、分離された映画を作成する必要が一般にはある。したがって、二つのイメージの間の動きに対しては、二つの映画が必要であり、一つの映画は第１のイメージから第２への動きのためのものであり、異なる映画は第２のイメージから第１への動きのためのものである。このことは、双方向映画の正確な接続は継ぎ目のない映画とイメージ／パノラマとを生成するのに重要であるので、さらに獲得プロセスを複雑にする。クルーの人々と同様に特殊化された装置が、そのような努力に対して必要である。
【００１７】
二つのイメージの間の動きをシミュレートする別の方法は、二つのイメージの間の経路を表す、三次元モデルを生成することを含む。一旦、そのような三次元モデルが存在すれば、イメージの間の動きは、三次元モデルにおける仮想カメラの位置を移動させることによって、シミュレートされ得る。このアプローチは、高度な柔軟性を提供し、ユーザが、任意の優位な点から、モデルによって表現された範囲を見ることを可能とする。ここに参照として組み込まれる、米国特許出願第１０／７８０，５００号、題名「Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｄｉｔｉｎｇ Ｉｍａｇｅ Ｐａｎｏｒａｍａｓ」に説明される技術は、パノラマ的イメージから三次元モデルを生成するのに使用され得る。しかしながら、写真質感のモデルは、静的なテクスチャマップを有するので、これらの技術は視覚的なアーティファクトと継ぎ目を形成する。
【００１８】
本発明の様々な実施形態では、方法とシステムとが、二つのシーン−「第１のシーン」と「第２のシーン」の間の実質的に継ぎ目のない遷移を生成するために提供され、該遷移は、コンピュータディスプレイスクリーン上で動きをシミュレートする。第１のシーンは第１の視点から観測され、第２のシーンは第２の視点から観測される。これらのシーンは、単一のソースイメージまたはパノラマ的ソースイメージまたはその任意の一部であり得る。イメージは、写真、ピクチャ、スケッチ、絵、などを含む、仮想的に任意のタイプのデジタル化されたグラフィカルな内容を含む。図５は、本発明の実施形態による、シーン間の動きの生成４１０のためのフロー図を示している。シーン間動きの生成は、四つの構成要素：カメラポーズの評価５００、遷移対象の生成５１０、遷移パラメータの編集５２０、仮想カメラの編集５３０を含み得る。これらのステップは連続して実行される必要がなく、一つ以上のステップは望ましい数だけ繰り返されることに注意を要する。さらに、全てのステップがどの場合にも実行される必要がない。
【００１９】
第１のステップ５００−獲得カメラポーズ評価は、３Ｄ空間（すなわち、世界空間）で第１と第２のシーンの相対的な獲得位置を決定する。さらに技術的には、ポーズ評価ステップはカメラ外部−獲得カメラの位置と方向−を決定する。空間の一点から別の点への３Ｄの動きをシミュレートするために、ソースイメージの相対的な距離と方向を互いに計算する必要がある。典型的には、ペアワイズのポーズ評価を計算するために、ソースイメージの共通の特徴の間の対応が、自動的にまたは人の介在で、確立される。対応される特徴の適切なレベルで、相対的なカメラ外部が計算され得る。本発明の特定の実施形態では、シーン間の平面長方形の特徴の対応は、ポーズを評価するために使用される。本発明の別の特定の実施形態では、以下に記述されるように、イメージにおける長方形の特徴のトレーシングを容易にするために、パースペクティブな長方形のツール（「ＰＲＴ」）が提供される。このステップが、第１のシーンを第２のシーンへマップする変換を確立し、本発明の実施形態において、様々な技術が、従来技術として知られるように、この変換を決定するために使用され得ることに、注意を要する。ソースイメージが同じ物理的な位置または異なる物理的な位置を示し得、対応するソースイメージ内の特徴が同じ特徴または同じ位置である必要がないことに、注意を要する。
【００２０】
遷移対象は次いで生成される５１０。一旦、第１のシーンと第２のシーンの相対的な位置が決定されると、仮想的なカメラの経路が、第１のシーンから第２のシーンへ選択される。カメラ経路は任意の経路であり得るが、デフォルトでは、カメラ経路は直線であり得る。動きをシミュレートするために、「遷移対象」は生成される。これらの遷移対象を組み込む遷移シーンは、第１のシーンから第２のシーンへ動きをシミュレートするために表示される。これらの遷移対象は、典型的には、第１のシーンの一部または特徴と第２のシーンの一部または特徴とを結合させることによって形成された遷移シーンにおける対象である。結合する演算子は、我々が遷移パラメータと呼んでいるもので、以下に詳細に記述される。本発明の特定の実施形態では、投影的なテクスチャマッピングを伴う三次元の幾何学は、遷移対象を生成するために使用され得る。投影的なテクスチャは、第１のソースイメージ、または、第２のソースイメージ、または、両方のブレンドからである。第２のシーンへの遷移が達せられたとき、遷移対象を含む遷移シーンは消え、ユーザは第２のシーンだけを見る。例えば、海辺のシーンにおける遷移対象は、人々、ビーチアンブレラ、海辺、および／または空を含み得る。仮想的なカメラが第２のシーンへ動くにつれて、人々、海辺、空、および、アンブレラは、空間で３Ｄの動きを正確にシミュレートするように過ぎ去る。
【００２１】
次に、遷移パラメータは、エンターされ調節され得る５２０。仮想的なカメラが第１のシーンから第２のシーンへ動くにつれて、遷移パラメータは、動きが第１のシーンから第２のシーンへシミュレートされるときに、遷移シーンにおける遷移対象が時間内にどのように変化するかを決定する。遷移パラメータは、アルファブレンド（透明）、モーションブラー、モーフィング、などを含み得る。一般に、遷移パラメータは、経路に沿っての仮想的なカメラの飛行中にずっと適用されるイメージ処理フィルター（２Ｄおよび３Ｄの両方）として考えられ得る。
【００２２】
最後に、第１のシーンから第２のシーンへの仮想的なカメラの経路が、編集され得る５３０。本発明の一部の実施形態では、仮想的なカメラの経路は、第１のシーンの獲得点から第２のシーンの獲得点へ、デフォルトで直線であり得る。代わりに、仮想的なカメラの経路は、任意の経路、例えば曲がった経路に決定され得る。さらに、経路での移動速度は変化し得る。さらには、見る方向は、任意の方向を指し示し得、第１のシーンから第２のシーンへ遷移の間中、変化し得る。
【００２３】
本発明の実施形態では、「パースペクティブな長方形のツール」（「ＰＲＴ」）は、ユーザが、制限されたユーザインタフェースを使用して、ソースイメージ上に（パースペクティブに）「正確な」長方形の特徴を描くことを可能にする。（「正確な」によって、我々は、世界平面において、長方形の各コーナの角度の大きさが９０度であることを意味する。）図６は、獲得位置６００、イメージ平面上のソースイメージ６１０、および、世界平面への長方形の特徴の投影６２０を図示している。イメージ平面上のソースイメージ６１０は、獲得位置６００からコンピュータディスプレイ上のパノラマの一部として我々が見得るものである。図７は、イメージ平面と世界平面のクローズアップを示している。イメージ平面には、ｘｙ座標でパースペクティブに示された長方形の特徴（建物の正面）が示されており７００、世界平面には、ｘ’ｙ’座標で、修正された建物の正面が示されている７１０。イメージ平面７００上の点１−２−３−４は、世界平面７１０上の点１’−２’−３’−４’に対応する。
【００２４】
我々が、イメージ平面上のパースペクティブな長方形が正確な長方形であると仮定した場合、対応する長方形が正確な長方形である世界平面を計算し得る。我々は、イメージ平面上でクリックされた四つの点（ディスプレイ表面上のポインティングデバイスを介して）が常に正確なパースペクティブな長方形を生成するような、ユーザインタフェースへ制限が適用される、発明の実施形態を次に記述し、したがって、この実施形態は、世界平面が定義されるのを可能にし、ここでは対応する長方形は修正された正確な長方形である。
【００２５】
図８に示されるように、ユーザは、最初に、ポインティングデバイスで建物の正面の三つの角８００，８１０，８２０を識別する。ユーザインタフェースは、ユーザが識別した四番目の点を解曲線８２５に拘束する。結果として得られる四つの辺を持ったポリゴンは、常に正確なパースペクティブな長方形、すなわち、常に世界平面上で見られるように９０度のコーナの角度を持つ完全な長方形である。四番目の点が動くにつれ、ユーザインタフェースは端１−４と３−４を規制し、その結果、イメージ平面に結果として得られる四つの角のあるポリゴンはパースペクティブな長方形として維持される。したがって、世界平面では、四つの点は長方形に対応する。図８では、解曲線上の点Ａと点Ｂと（それぞれ、８４０と８５０）はまた、パースペクティブな長方形の有効な詳細であり、しかし、点Ａと点Ｂとは、ソースイメージの建物の正面と整合しない。（二つのソースイメージの間の特徴対応ツールとして使用されるＰＲＴは、以下で議論される）。
【００２６】
一旦、長方形の特徴の四つのコーナが確立されれば、コーナの任意のものがポインティングデバイスで選択され編集される。同様の制限が、コーナに対する編集が長方形の正確さを維持するように適用される。端もまた、正確さの要求を維持しつつ同様に編集され得る。本発明の特定の実施形態では、図９で示されるように、ユーザは、パースペクティブな長方形（例えば、９００）の上の端の一つを相互作用的に移動し得、端は、イメージ平面のポリゴンが世界空間の長方形に変形するように、規制される。イメージ平面で端を動かすことは、端を消失点、９１０および９２０へ、規制することのように見え、図示された例の場合では、端は９１０へ規制される。本発明の他の特定の実施形態では、端の検出、コーナの検出などのプロセスは、特徴の選択を容易にするために提供され得る。
【００２７】
パースペクティブな長方形を決定するためのプロセスのフロー図が、図１０に示される。イメージ平面上のパースペクティブな長方形の点１−２−３−４から（１０００，１０１０，１０２０，１０２５）、一対の消失ベクトルが導出される（１０３０，１０３５）。この点において、ユーザ特定の点１０２５は、解曲線の上に無いかもしれないことに注意を要する。それは、正確さの要求を維持する解曲線の上の最も近い点を計算するのに使用を要する。図１１に、生成された消失点１１００，１１１０が示され、消失ベクトル、ｘ１１２０およびｙ１１３０、が次いで計算される（消失ベクトルの計算は以下に記述される）。消失点はカメラのパースペクティブからのみ起こることに注意を要する。ベクトルが直交する場合、パースペクティブな長方形１−２−３−４は、長方形を定義し、世界空間でのその平面とプロセスは完了する１０７０。消失ベクトルが直交しない場合、端は、ベクトルを直交させるために１０４５，１０５０、移動されるように選択される。一旦、移動される端が選択されれば、ポリゴンの点は、ベクトルを直交させるように移動させられ、プロセスが完了する１０７０。
【００２８】
我々はここで、消失ベクトル（図１２）を計算するための３Ｄグラフィック指向技術を記述する。第１に、任意のデフォルト獲得位置、ｐ１２３０、から、ｐから、イメージ平面上のパースペクティブな長方形の四つのコーナへ線を引くことによって四つの点ｖ-１、ｖ２、ｖ３、ｖ４を生成する。もっと技術的には、イメージ平面は、ｐからの見る方向と直交する平面として定義され、ｐはイメージ平面に横たわらず、イメージ平面は見る方向の半分の空間に横たわる。我々は、また、ピンホールカメラがｐに配置され、見る方向に向けられ、設定された固有のもの（すなわち、視野の場、投影の中心を含むカメラの属性）を有することを、仮定することに注意を要する。したがって、ｖ１、ｖ２、ｖ３、ｖ４は、カメラの固有のものにしたがって、イメージ平面に投影されたパースペクティブな長方形のコーナである。消失ベクトルｘを計算するために、我々は二つの平面を定義し、一つは三点ｐ、ｖ２、ｖ３から、もう一つは三点ｐ、ｖ１、ｖ４からである。これら二つの平面、１２００および１２１０の、交線は線１２２０を生成し、その上に消失ベクトルｘが横たわる。消失ベクトルｘが指し示す線の向きを決定するために、我々は、ユーザによって特定されたように、四つの点の矛盾のない曲がった順番を使用する。消失ベクトルｙは同様にして、平面ｐ、ｖ１、ｖ２およびｐ、ｖ３、ｖ４を使用して、計算され得る。
【００２９】
本発明の実施形態では、コーナ（例えば、四番目の点）は、クリックおよびドラッグコマンドでポインティングデバイスを通じて移動させられる。ユーザがポインティングデバイスのボタンを下に押すと、四番目の点が決定され、ユーザが四番目の点をどこに配置するか決定するためにドラッグすると、消失ベクトルが計算され、正確さの規制が有効であるように端１−４および３−４が配置される。
【００３０】
１０４５および１０５０で示されるように、四番目の点が移動している間、ユーザによって「制御端」が決定される。この場合の「制御端」は端３−４か１−４のどちらかである。本発明の特定の実施形態では、異なるポインティングデバイスボタンが制御端を決定するために使用される。一般性を失うことなく、制御端が３−４として定義された場合、四番目の点はポインティングデバイスを使用して移動され、制御端３−４は、点３からポインティングデバイスの現在の位置へ線を引くことによって定義される。解曲線上にある点４は、この線のどこかに横たわる。消失ベクトルｙは、上で述べられた技術を使用して定義され得、二つの平面はｐ、ｖ-１、ｖ２およびｐ、ｖ３、ｍで、ただし、ｍはイメージ平面上の現在のマウスの位置である。直交する消失ベクトルｘを計算するために、二つの平面が再び交差され、第１の平面はｐ、ｖ２、ｖ３であり、第２の平面はベクトルｙの双対である。３Ｄ空間の各ベクトルはその双対である直交平面を有する。計算されたｘとｙとは直交することが保証されている。最後に、ｐ、ｖ３、ｍの平面がｖ１＋ｘで定義される線と交差することが、ｖ４の３Ｄの位置を計算する。３Ｄの点ｖ４をイメージ平面へ投影することは、正確さの規制を維持しつつ、点４の正確な位置を提供する。
【００３１】
本発明の特定の実施形態では、獲得カメラポーズ評価は、ＰＲＴを使用することによって第１のシーンと第２のシーンにおいて対応する長方形の特徴によって計算され得る。図１３は入力ソースイメージを示しており、この場合、二つの球面パノラマ的イメージ、１３００および１３１０は、輪郭を描かれた建物の正面の長方形の特徴、１３２０と１３３０とを、それぞれ伴っている。図１４では、二つの入力イメージの同じ正面１４００および１４１０が示され、イメージ平面においてパノラマビューアから見られ（例えば、直線はまっすぐで、比例している）、それぞれ１３２０および１３３０に対応する。それぞれの正面１４２０および１４３０は、世界平面ビューで示されている。ＰＲＴを使用して、特徴の対応する四つのコーナは、整合する順番に対応させられる。ＰＲＴは、１４２０および１４３０が正確な長方形であることを保証する。
【００３２】
一旦、対応する特徴が選択されると、互いに相対的な獲得点（カメラポーズ）の外部に対する解が計算され得る。この解は、第２のシーンを回転し平行移動している間、第１のシーンを静的に維持することを含み、そのため、第２のシーンの長方形の特徴は、方向、大きさ、および、配置において、第１のシーンの対応する特徴と整合する。これらの操作から、世界空間の二つのシーンの相対的な位置と方向が決定され得る。したがって、長方形の特徴を使用して第１のシーンを第２のシーンへマッピングする変換が決定され得る。
【００３３】
第２のシーンを第１のシーンへ整列させるのに必要な回転は、それぞれの世界平面の法線から決定される。ＰＲＴは、対応する長方形の特徴から第１および第２の世界平面を定義し、各平面はその共有、一つの法線を有する。前に議論されたように、世界平面内の各長方形の特徴は、消去点で（ＰＲＴを通じて）出会う平行な線の対を提供する。図１２と同様にして、消去ベクトルの対は、ＰＲＴの平行な線の二つの直交する対から決定される。このことは、両方の対応する特徴に対して、なされる。図１５に示されるように、一旦、消去ベクトルｘおよびｙが、計算されたら１５００および１５１０、ＰＲＴはｘとｙとの間の直交性を保証する。単純な外積は、世界平面の法線ベクトルである、ベクトルｎを計算する。両方の法線ベクトルが計算され、それぞれ、第１の世界平面法線と第２の世界平面法線である。二つのシーンの法線が決定され、ｎ１が第１のシーンのＰＲＴ特徴からで、ｎ２が第２のシーンのＰＲＴからであるとすると、第２のイメージは、ｎ２をｎ１へ整合させることによって二つのイメージの方向を整列させるために回転され得る。この回転ステップを行うことによって、我々は世界平面をそれぞれに平行に整列させている。
【００３４】
平行移動ステップは、二つのステップのプロセスである。第１のステップは、平行移動解空間を一次元の問題へ縮小させることを含み；第２のステップは、一次元空間での解を計算する（図１６と図１７）。これをするために、我々は最初、回転されたシーンを共通の座標系、すなわち図１６に示されるように「世界空間」に配置する。最初、我々は、両方のシーンに対する獲得点が同じ点であると仮定する。共通の視点１６００から見られるように、長方形の特徴は「同じ」平面（１６１０および１６２０）上に横たわるように見える。これは、それらの法線がパースペクティブで同じで、しかし、長方形が異なる場所に置かれているように見え、異なる大きさを有するからである。
【００３５】
次に、各ＰＲＴ長方形の重心が計算される。重心を計算するために、我々は最初に獲得点から任意の距離に世界平面を置く。長方形の四つのコーナは平面に投影される。このとき３Ｄ空間の特定の点である、四つの投影された点は、重心を計算するために平均化される。第２のＰＲＴ長方形の重心は、第１のＰＲＴ長方形の重心に整合させるために次いで平行移動される。図１６に示されるように、以前に１６２０に置かれていた長方形は今や１６３０に平行移動される。この平行移動１６４０は、第２のシーンの獲得点１６５０にも適用される。このステップの後で、両方の世界平面は共平面にあり共通の重心を共有する。
【００３６】
重心（このとき空間の一般に共有された点である）を通って第２のパノラマ位置に対する視野の新しい位置へ行く線は、一次元解空間１６６０である。我々は、これを「解直線」と呼ぶ。解直線に沿って第２のシーン位置を移動することは、共通の世界平面へ投影された長方形が大きさ、すなわち、領域において変化することを意味する。最後のステップである、解直線に沿っての平行移動が、１６７０に図示されている。第２の平行移動、１６７０が、世界平面のＰＲＴ長方形の領域に整合する。
【００３７】
正確な解は今や、第２のパノラマの長方形の領域を第１のパノラマのそれに整合させることによって計算される。図１７は、平行移動１６７０の詳細の鳥瞰図を図示している。第１のシーンと第２のシーンの初期の位置（１６７０のちょうど前）は、それぞれ、ｐｓ１７００とｐｄ１７３０とによって定義される。ｐｄは解直線１７２０に沿って平行移動させられる一方、第１のシーンの位置ｐｓは静的なままである。初期位置ｐｄ１７３０から、解空間１７２０に沿った新しい位置ｐｄ１７１０は、長方形の領域が同じであるように決定される。ｐｄ１７３０が重心ｃに近付くにつれて、投影された長方形の領域は狭くなり、逆の場合も同じになる。解直線上のどこかに点１７１０が横たわり、そこでは、両方の投影された長方形の領域は同じである。
【００３８】
【数１】
距離ｈｄの計算は、最後の平行移動点を決定する。式（１）は、直角三角形の斜辺であるｈｄの長さを示し、ｒｄとｂｄは、それぞれ、反対側と隣接する辺である。式（２）は、どのように法線平面への直交距離ｒｄを計算するかを示しており、ただし、ＡｄとＡｓとは、それぞれ、世界平面への第２および第１のパノラマの投影された長方形の面積である。ｈｄを計算することによって、我々はｃからｐｄへの距離を計算し、その結果、第１と第２のＰＲＴ長方形の投影された面積は同じである。
【００３９】
本発明の別の実施形態では、多数の対の長方形は整列をさらに改良するように対応させられる。これは、第２のパノラマ位置の各解位置の重み付け平均を使用してなされる。考えられるユーザによって特定された長方形の二つの局面が存在し：ユーザによって特定された長方形の角度と大きさである。第２のパノラマの最後の位置は次によって決定される。
【００４０】
【数２】
ここで、ｋは対応される長方形の組の個数であり、変数ｊは第１のパノラマ長方形および第２のパノラマ長方形のためのものであり、ｎｉ，ｊは長方形の法線であり、ｖｉ，ｊは取得ポイントから長方形の中心（３Ｄ空間における）への単位ビューベクトルであり、Ａｉ，ｊは単位球面上に範囲を定められた投影された長方形の立体角であり、ｐｉは我々の整合アルゴリズムから計算された第２のパノラマの解位置である。
【００４１】
より直観的には、
【００４２】
【数３】
は、取得位置から見られた長方形の角度を考慮する−角度がはずれるほど、ユーザ特定の長方形が正しいという信頼度はより低くなる。相対的な長方形が大きいほど、ユーザエラーはより起こりにくいので、長方形のサイズＡｉ，ｊも考察される。
【００４３】
本発明の好ましい実施形態において、ひとたびカメラポーズが評価されれば、次に遷移対象がモデリングされ得る。上述のように、遷移対象は、第１のシーンから第２のシーンへの動きをシミュレートするために生成された遷移対象である。
【００４４】
本発明の特定の実施形態において、遷移対象を生成するために３次元ジオメトリおよび投影的テクスチャマッピングが使用され得、これは、「Ｍｏｄｅｌｉｎｇ ａｎｄ Ｅｄｉｔｉｎｇ Ｉｍａｇｅ Ｐａｎｏｒａｍａｓ」というタイトルの米国特許出願第１０／７８０，５００号に記載されたものと同様である。そのような技術において、それぞれのジオメトリに対して単一併合型テクスチャマップ（ｓｉｎｇｌｅ ｍｅｒｇｅｄ ｔｅｘｔｕｒｅ ｍａｐ）が使用され、それぞれのテクスチャが多数のソースイメージの混合から生成され得る。図１８〜２３は、本発明の実施形態のための一連のステップを図示し、そこでは押し出しツールを使用して、３Ｄジオメトリが、モデリングされて写真のテクスチャにされる。
【００４５】
図１８において、３つの図が、室内の部屋である同じシーンの異なる表現１８００、１８１０、１８２０を示す。１８００は、イメージ平面ビューである（すなわち、パノラマビューアを通したシーンのビュー）。示されるように、表示されたシーンの下部のコーナにおける頂点１８３０をクリックして置くために、ポインティングデバイスが使用される。同様に、１８１０は３Ｄ空間における上から下への（ｔｏｐ−ｄｏｗｎ）ビューであり、１８２０は不等角投影ビューである；これらのビューの両方は、シーンの取得位置１８４０を示す。イメージ平面ビューおよび不等角投影ビューの両方（１８１０および１８２０）はさらに、ポインティングデバイス１８３０を示す。（ユーザインタラクションは一度生じるが、それぞれの表現において示されることに注意を要する。）図１９において、３つの表現１９００において示されるように、ユーザは、室内の部屋の足跡をクリックしてまわり、追跡する。図２０は、完成した足跡の追跡である。次のステップは、図２１に示されるように、押し出しプロセスである。ユーザは、ポインティングデバイスを使用して、壁がイメージ平面ビューの「天井」に届くまで（図２２）、足跡から「壁」を押し出す（すなわち「引き上げる」）。押し出しツールを使用してひとたびジオメトリが生成されると、適切な写真テクスチャが、ソースイメージ（たとえば、パノラマ）から新たに生成されたジオメトリへと投影的にコピーされて適用される。（たとえば、Ｍａｒｋ Ｓｅｇａｌらの「Ｆａｓｔ ｓｈａｄｏｗｓ ａｎｄ ｌｉｇｈｔｉｎｇ ｅｆｆｅｃｔｓ ｕｓｉｎｇ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ」ＳＩＧＧＲＡＰＨ９２、２４９−２５２頁の報告において参照されたい。）本発明の他の実施形態においては、当該技術分野において公知であるように、写真のように現実的なコンテンツを生成するために、他のジオメトリ生成ツールが、投影的テクスチャマッピングと結合され得る。
【００４６】
本発明の特定の実施形態において、それぞれのジオメトリ（またはジオメトリ要素）について２つのテクスチャが格納され得る−一つのテクスチャは第１のシーンからのもので、他のテクスチャは第２のシーンからのものである。第１のシーンから第２のシーンへの遷移の間に、これらのテクスチャもまた遷移し得る−すなわち、遷移パラメータに従って、アルファブレンディング（すなわち透明）、モーフィング、モーションブラーリング、および他の種類のイメージ処理がシーンに適用され得る。（遷移パラメータは、以下に詳細に説明される）。
【００４７】
図２３〜２５は、本発明の特定の実施形態のための遷移対象生成ツールを示す。図２３において、第１のシーン２３００および第２のシーン２３１０は、部屋の内部であり、２つのシーンの取得位置２３２０、２３３０とともに示される。第１および第２のシーン（それぞれ２３００および２３１０）の両方の内部の足跡は、図１８〜２２に関して上述された押し出しプロセスに従って、図２３において示されるようにモデリングされる。これらのシーンは、同じ世界空間の２つの視点に対するものである。上述のように、または当該技術分野において公知であるように、別の技術に従って、ポーズ評価が達成され得る。ユーザは、遷移対象のジオメトリを追跡するために、ディスプレイウィンドウのどちら側でも指し示し得る。投影的テクスチャマッピングが使用されるので、上から下へのビューから見られたそれぞれの足跡の上の写真テクスチャは、当然ながら取得位置から「引き伸ばされる」ことに注意を要する。
【００４８】
図２４は、取得位置から見られたような２つのシーンを示す。両方のシーンは同様の方向で、すなわち部屋の出入口ドアに向かって見られており、追跡された足跡は、両方のシーン２４００、２４１０において見ることができる。押し出し方向２４２０は矢印によって示され、壁は足跡から押し出される。ここでもやはり、両方のシーンに対して同時にモデリングがなされ得ることに留意することが重要であり−押し出される壁、床、および天井は、図２５に示されるように、第１のシーンと第２のシーンとの間で自動的に対応させられ得る。図２５は、自動的な遷移対象の対応のいくつかの例２５２０、２５３０、および２５４０を示す。図２６は、第三者の視点からの２つのシーンを示し、該第三者の視点は、それぞれのシーンからの投影的テクスチャマップを用いてオーバレイされた、生成されたジオメトリによってこのとき可能である。図２６は、生成されたジオメトリに関する取得位置を示す親しみやすい「ロリポップ」アイコン２６００、２６１０を含み、対応する遷移対象２６２０、２６３０、２６４０、２６５０もまた示される。
【００４９】
非平面のジオメトリに対しても、遷移対象モデリングツールが使用され得る。立方体、球体、円筒などの種々の３Ｄプリミティブもまたモデリングされ得る。さらに、三角網目および分析的ジオメトリ記述もまた、投影的テクスチャマッピングと結合されてモデリングされ得る。さらに、対応するビューを有しない遷移対象もまたモデリングされ得る（以下に説明されるように）。しばしば、シーンの複雑性のために、それぞれの特徴が両方のシーンにおいて見えなくあり得る。この場合、ジオメトリはやはりモデリングされ得るが、第１のシーンまたは第２のシーンのいずれかからの単一テクスチャのみが存在し得る。
【００５０】
本発明の好ましい実施形態において、第１のシーンから第２のシーンへの遷移は、「仮想カメラ」を使用してモデリングされる。図２７に示されるように、ひとたび相対的なカメラポーズが計算されて、遷移対象が生成されると、我々は第１のシーン２７００から第２のシーン２７１０へと遷移し得る。この場合においてジオメトリは同じであるが、投影的テクスチャは異なることに留意されたい−２７００は第１のシーン２７２０から見られたようなシーンであり、２７１０は第２のシーン２７３０から見られたようなシーンである。仮想カメラ経路２７４０は、デフォルトで直線である。しかし、以下に説明されるように、カメラ経路は任意の曲線であり得る。
【００５１】
図２８は、第１のシーンから第２のシーンへと遷移がなされるときの、仮想カメラの経路に沿った点を示す（２８３０、２８４０、２８５０）。遷移パラメータであるアルファブレンディングの程度に従って遷移対象の進行を示すために、第１および第２のシーンのアルファブレンディングが使用される。仮想カメラが経路の２５％まで来たときに（２８００）、アルファブレンディングの遷移パラメータは、第１のシーンから７５％、第２のシーンから２５％に設定される。２８１０において、パラメータは５０％−５０％に設定され；２８２０において、パラメータは２５％−７５％に設定される。以下に説明されるように、遷移パラメータは、仮想カメラが第１のシーンから第２のシーンへと遷移するにつれて変化する。したがって、遷移の間に表示される遷移シーンは、しかるべく変化する。図２９は、仮想カメラからの視点を示す。２９００は、第１のシーンにおける仮想カメラに対応し、２９１０は経路の２５％まで来たところ、２９２０は経路の５０％まで来たところ、２９３０は経路の７５％まで来たところ、２９４０は第２のシーンにおける仮想カメラに対応する。
【００５２】
図３０は、異なる遷移対象についての遷移シーケンスを示す。３０００、３０１０、３０２０、３０３０、３０４０は、図２９の視点の後ろにある壁ジオメトリおよびテクスチャに対応するシーケンスである。遷移対象の遷移は、仮想カメラが向けられる方向に関わりなく生じる。このことは、仮想カメラが、経路に沿って遷移するにつれて、いかなる方向をも（後ろさえも）見ることがあり得ることを意味する。さらに、起こり得る次のセットの遷移は、第２のシーンから第１のシーンへと戻るものであり得、この場合には、既存の遷移対象の多くが再使用され得る。
【００５３】
本発明の特定の実施形態において、ユーザインタフェースは、遷移パラメータのインタラクティブ編集を提供する。図３１は、本発明の実施形態による、図解的な遷移パラメータエディタ（「ＴＰＥ」）のレイアウトを示す。３１００は、この例におけるインタラクティブパノラマビューアであるメインディスプレイと、遷移対象ディスプレイ３１１０とを示す。ユーザは、遷移対象を含む３Ｄ環境を、ＷＹＳＩＷＹＧ（「見えた通りのものを得ることができる」）様式でインタラクティブにナビゲートし得る。遷移対象リストは、生成された遷移対象を表示し、トグル選択、視認性、および他のパラメータのために使用され得る。下部のウィンドウ枠３１２０は、遷移パラメータグラフを示す。これらのグラフは、仮想カメラの経路に沿った任意の点におけるパラメータ値を示す。
【００５４】
図３２は、ＴＰＥスクリーンのクローズアップビューを示す。示されるように、遷移パラメータは、２Ｄグラフ３２００、３２１０、３２２０によって表される。これらのパラメータは、アルファブレンディング、モーションブラーリング、色サチュレーション、モーフィングなどに対応し得る。水平軸は時間であり、「時間＝０．０」は開始時間を、「時間＝１．０」は終了時間を表し、その間に、仮想カメラが第１のシーン３２３０から第２のシーン３２５０までの所定の経路に沿って動く。範囲は、正規化された範囲であり得、ユーザは、経路の種々の点において、カメラの速度および加速度を別々に変更し得る。それぞれの遷移パラメータについての垂直軸は、パラメータに依存する。たとえば、アルファブレンディングについて、垂直軸の範囲も［０．０、１．０］からのものであり、１．０は、第１のシーンからの遷移対象が完全に不透明であり、かつ第２のシーンからの遷移対象が完全に透明であるときであり、０．０はその逆である。グラフィカルユーザインタフェースは、ユーザが２Ｄ曲線３２７０を使用してそれぞれのパラメータをインタラクティブかつグラフィック的に調整するために提供される。垂直バー３２６０の上に示されるようなタイムラインスライダ（ｔｉｍｅｌｉｎｅ ｓｌｉｄｅｒ）は、メインディスプレイ３１００に表示される遷移イメージをプレビューするために、左または右にインタラクティブにドラッグされ得る。メインディスプレイの上にレンダリングされたこれらの「遷移イメージ」は、仮想カメラが見るものと遷移パラメータが遷移にどのように影響するかとを反映する（ここでもやはり、ＷＹＳＩＷＹＧ）。図３３は、一般的な遷移パラメータグラフのクローズアップを示す。タイムラインスライダ３３１０が示され、左または右にインタラクティブにドラッグされ得、時間においてそれぞれ前または後に動く。遷移パラメータグラフの上の２Ｄ曲線３３００は、経路に沿った仮想カメラの飛行における所定の時間の遷移パラメータの値を指定する。所定の時間に遷移パラメータを変化させるために、頂点が追加、削除、および変更され得る。
【００５５】
本発明の特定の実施形態において、遷移パラメータは、アルファブレンディング、モーションブラーリング、モーフィング、サチュレーション変化、カメラ速度、およびカメラＸＹオフセット要因を含み得る。他の遷移パラメータは、所望されるように定義され得る。一般的に、２Ｄおよび３Ｄの両方について、任意の種類のイメージ処理フィルタまたはアルゴリズムが遷移イメージに適用され得、経路に沿った時間（または位置）の関数としてのフィルタまたはアルゴリズムを制御するために、遷移パラメータが入力され得る。図３４は、２つの遷移パラメータ：モーションブラーリングおよびサチュレーション調整の一部の効果を示す。アルファブレンディング、モーションブラーリング、モーフィングなどを含む遷移パラメータの組み合わせを、超過的に適用することによって、２つのシーン（イメージまたはパノラマ）の間の動きの視覚的に説得力のあるシミュレーションが提供され得る。
【００５６】
第１のシーンと第２のシーンとの間の遷移の外観を改善するために、これらのアルファブレンディング、モーションブラーリング、モーフィングなどの技術とともに、２つのシーン（イメージまたはパノラマ）の間にとられる単数または複数の中間イメージが、さらなるソースイメージとして使用され得る。たとえば、第１のパノラマと第２のパノラマとの間の経路の上に、利用可能ないくつかの通常のイメージ（すなわち、必ずしもパノラマ的ではないイメージ）があり得る。これらのイメージは、２つのパノラマの間の視覚的により一層説得力のある遷移を生成するために、アルファブレンディング、モーションブラーリング、モーフィングなどについての中間点として使用され得る。
【００５７】
遷移対象のためのモーフィングは、アルファブレンディングやモーションブラーリングなどの他の技術と比較して、追加の特徴対応を必要とする。図３５は、本発明の実施形態による、モーフィングが使用される遷移対象の特徴を図示する。遷移対象を生成することから定義された各対の投影的テクスチャマップについて、ユーザは対応する特徴を適用し得る。図３５は、第１のシーン（左）および第２のシーン（右）から見られたような、対応する遷移対象３５００、３５１０を示す。ユーザは、点、線、多角形、ループなどを使用して、特徴に対応するようにイメージをインタラクティブに指し示し得、次にテクスチャおよびジオメトリは、追加の特徴に従って三角形にされる。（たとえば、Ｔｈａｄｄｅｕｓ ＢｅｉｅｒおよびＳｈａｗｎ Ｎｅｅｌｙの「Ｆｅａｔｕｒｅ−ｂａｓｅｄ Ｉｍａｇｅ Ｍｅｔａｍｏｒｐｈｏｓｉｓ」をＳＩＧＧＲＡＰＨ、１９９２年、３５〜４２頁の報告において参照されたい。）モーフィング遷移パラメータについてＴＰＥの２Ｄグラフを使用して、ユーザは次に、第１のシーンから第２のシーンへとモーフィングが生ずる速度を制御し得る（時間において前および後ろの両方）。図３６は、ユーザ指定のモーフィング特徴によるモーフィング遷移対象およびその三角形にされたジオメトリの２つの例を示す。３６００は、最初の時間ステップを示し（時間におけるタイムラインスライダ＝０．０）、３６１０は、時間＝０．５であるときを示す。タイムラインスライダが動かされるかまたは自動的に再生されると、第１のシーンから第２のシーンにかけてモーフィングが徐々に生じ、両方のテクスチャならびに対応するジオメトリ（この場合は、三角の網目）を遷移させる。図３７は、第１のシーンから第２のシーンへの遷移において視覚的アーティファクトを最小化するためにモーフィングが有用であり得る例を示す。３７３０は、モーフィング特徴なしに表示されたときの遷移対象のクローズアップを示し−テキストを読みにくくする「ゴースティング」影響がある。ゴースティングアーティファクトは、たとえば、ポーズ評価または特徴対応におけるエラーから生じ得る。モーフィングは、ゴースティング問題の多くを実質的に直し得る。３７００および３７１０は、それぞれ第１のシーンおよび第２のシーンからの調整されたビルディング正面のテクスチャを示し；３７２０および３７２５は、一部のモーフィング対応特徴であり、イメージ３７４０は、ゴースティングアーティファクトのないホテル名の遷移対象を示す。
【００５８】
本発明の実施形態を用いて生成されたシーン間遷移の例が、種々のシーンの種類について以下に示される。これらの例は、遷移ビジョンのポーズ評価における精度の必要性と、コンピュータグラフィクス問題とを軽減する、遷移パラメータの重要性を示す。
【００５９】
図３８〜３９は、長距離の遷移を示し、第１および第２のシーンは明確な特徴を共有しない。図３８は、第１のシーン３８００としての、および第２のシーン３８１０としての、２つのパノラマを示す。３８２０は、第１のシーンのパノラマにおいて示されるような、第２のシーンのパノラマの位置を指し示し；３８３０は、第２のシーンのパノラマにおいて見られるような、第１のシーンのパノラマの位置を指し示す。示されるように、背景のビルディングなどの大きな特徴は見えるが、両方のシーンの周囲の実際の歩行者スケールの対象は互いから見えない。図３９は、仮想カメラが第１のシーンから第２のシーンへ動くときの一連のフレーム（すなわち「遷移イメージ」）を示す（３９００、３９１０、３９２０、３９３０、３９４０、および３９５０）。それぞれのフレームにおける円は、第２のシーンの位置を示す。ポーズ（カメラ外部）を評価するために、ビルディングなどの大きな特徴が使用された。結果として生ずるポーズ評価計算は高い精度を保証しなかったが、それでも信頼できる遷移がモデリングされた。種々の量の３Ｄモーションブラーリングを適用することも、視覚的アーティファクトを最小化するのに役立った。
【００６０】
次の例は、対応する正確な特徴を有しない２つのシーンのものである。図４０は、第１および第２のシーンのパノラマ、４０００および４０１０を示す。４０２０および４０３０は、閉じられた出入口を示し、仮想カメラが遷移の間にそれを通過し、すなわち、第１および第２のシーンは、ドアの反対側にある。この例について、ドアは、第１のシーンと第２のシーンとの間で対応する近似的特徴として使用された。図４１は、生成された３Ｄ遷移対象と、第１のシーンおよび第２のシーンのそれぞれの取得位置４１００および４１１０とを示す。図４２は、一連の遷移イメージ４２００、４２１０、４２２０、および４２３０を示す。示されるように、円滑な遷移が生成される。この遷移を生成したアーティストはさらに、仮想カメラが通過したとき出入口を透明にした。ポーズを評価するために使用されるミラリング特徴（ドア）があり、遷移対象のいずれも対応を有しないが、ＴＰＥの固有のグラフィカルインタフェースは、アーティストが、タイムラインスライダおよび遷移パラメータ値を使用して、この遷移を説得力のあるように生成することを可能にした。
【００６１】
最終的な例は、図４３および４４に示される。第１のシーン４３００は、示されるようなその取得点４３２０を有し、第２のシーン４３１０は、示されるようなその取得点４３３０を有する。この例において、ＰＲＴ対応のための長方形の特徴はほとんどないが、遷移対象の鳥瞰図として４４２０に示されるように、アーティストは位置を適切に近似することができた。適切な遷移パラメータ調整によって、シーン間の円滑かつ信用できる動きが生成された。
【００６２】
本発明の実施形態において、ひとたびシーン間の動きが生成されると、ユーザと相互作用する「アクティブ要素」と呼ばれる人工的な実体が、シーンに配置され得る。一般的に、アクティブ要素はポインティングデバイスを介して活性化される。アクティブ要素の活性化の他の方法が以下に説明される。
【００６３】
図４５に示されるように、アクティブ要素生成に対して３つの構成要素があり：パースペクティブ平面選択４５００と、アクティブ要素の生成および／またはインポート４５１０と、活性化されたときにアクティブ要素をその挙動に結合すること４５２０とである。
【００６４】
最も重要なアクティブ要素の一つは、「ナビゲーショナルアイコン」と呼ばれる。ナビゲーショナルアイコンは、第１のシーンから第２のシーンへのように、シーンの中の動きを活性化する。図４６に示されるように、ビューア４６００は、ナビゲーショナルアイコン４６１０の一つの形を示す。本発明のこの実施形態において、ナビゲーショナルアイコンは意図的に色彩に富んでおり（白黒のイメージにおいては見えないが）かつ小さいので、アイコンは見えるがシーンの視認性を妨げない。さらに、本発明の特定の実施形態において、ユーザがパノラマの周りをパンすると、ナビゲーショナルアイコンは、環境に「くっついた状態になる」ので、環境とともにパンする。
４６２０および４６３０に示されるように、ひとたびナビゲーショナルアイコンが活性化されると、使用可能にされるアクションは、第１のシーンと第２のシーンとの間の動きである。
【００６５】
ナビゲーショナルアイコンは、シーンを見ることにおいて重要な役割を果たし得、それによって、ユーザは、ひとたびナビゲーショナルアイコンが活性化されると、シーン間の動きがトリガされることを視覚的に理解することができる。「視覚的言語」におけるこの一貫性は、特に視覚的な環境において重要なコンセプトである。さらに、ナビゲーショナルアイコンは、一方向的な方法における２つのシーンの間のみならず、潜在的には複数方向に相互接続された無数のシーンの間で、シーン間の動きの複雑なネットワークを今や可能にする。市街スケールのシーン間接続におけるそのような「スーパーツアー」の例が、以下に示される。
【００６６】
図４７は、シーンに埋め込まれる他の種類のアクティブ要素の例を示す。４７００は「前」を示し、４７１０は「後」を示す。本発明の特定の実施形態において、これらのアクティブ要素は、ウェブサイトを適切かつ関連する情報とともに現れるようトリガするポインティングデバイスを介して活性化され得る。たとえば、４７２０はホテルの受付エリアの上の「個人的イベント」広告であり、それをクリックすることは、個人的イベントに関連する情報を含むホテルのウェブサイトを開く。他のアクティブ要素が、「自然な」方法で埋め込まれ得る。ユーザがシーンパノラマの周りをパンすると、これらの埋め込まれたアクティブ要素も、環境に「くっついた状態」を維持し得る。
【００６７】
アクティブ要素は、正しいパースペクティブを用いてシーンに挿入される。このことは、「アクティブ要素生成器（Ａｃｔｉｖｅ Ｅｌｅｍｅｎｔ Ｃｒｅａｔｏｒ）」（「ＡＥＣ」）と呼ばれる本発明の実施形態によってなされ、ＡＥＣは、ユーザが、シーンにおける既存の平面パースペクティブを決定し、次に情報のレイヤをシーンの中に生成し編集することを可能にする。図４８〜５２は、ＡＥＣを図示する。図４８は、平面パースペクティブを決定し、次に他の視覚的レイヤをそれに直観的に追加する、ＡＥＣユーザインタフェースを示す。４８００は、パノラマを見るウィンドウ−いわゆる「イメージ平面ビュー」である。４８１０は、「世界平面ビュー」ウィンドウである（図４８においてはまだイメージがない）。パースペクティブ長方形ツール（Ｐｅｒｓｐｅｃｔｉｖｅ Ｒｅｃｔａｎｇｌｅ Ｔｏｏｌ）（「ＰＲＴ」）を使用して、ひとたび平面が定義されると、シーンの調整されたイメージが示される。（上述のＰＲＴの説明を参照。）パノラマおよびそのビューアのインタラクティブで投影的な性質のために、ユーザがシーンにおける種々の方向を見るために周りをパンすると、シーンにおける特徴のパースペクティブは、連続的に変化する。ＡＥＣは、ユーザが、シーンに埋め込まれた粘着性のパースペクティブ訂正されたアクティブ要素を生成することを可能にする。
【００６８】
図４８において、４８３０は、ＰＲＴを使用してパースペクティブな長方形を定義するために、ユーザによって選択された長方形の３つの点を示す。図４９は、左のイメージ平面ビュー４９００、および右の世界平面ビュー４９１０の上の、ＰＲＴを介して定義された平面を示す。４９１０は、４９００において定義されたパースペクティブビューの調整されたビューであることに留意されたい。ひとたび世界平面が定義されると、２次元描画イメージ編集ソフトウェアと同様に、注釈をつけ、視覚的レイヤを追加し、変更することがより容易になる。図５０〜５２は、どのように２次元の形、テキスト、イメージが、世界平面ビューの中に追加されて、左のパノラマシーンの上に即座に反映されるかを示す。これらのアクティブ要素は、次に、ウェブページ、アプリケーション、書類などにハイパーリンクされ得る。
【００６９】
互いに対応するイメージ平面および世界平面の長方形を定義することは、長方形を生成するのみならず、２つの座標系ｘ−ｙおよびｘ’−ｙ’の間の１対１マッピングをも生成することに留意されたい（図７）。したがって、一つの座標系でテキストまたは図面またはイメージを編集し追加することは、他の座標系に単純にマッピングされ得る。「同形異義性」と呼ばれる３×３マトリックスＨが定義され、これはイメージ平面における点を世界平面における対応する点にマッピングする。（Ｊ．Ｇ．ＳｅｍｐｌｅおよびＧ．Ｔ．Ｋｎｅｅｂｏｎｅの「Ａｌｇｅｂｒａｉｃ Ｐｒｏｊｅｃｔｉｖｅ Ｇｅｏｍｅｔｒｙ」Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、１９５２年、を参照。）したがって、ｘＨ＝ｘ’、およびｘ’Ｈ−１＝ｚである。
【００７０】
図５３〜５４は、本発明の特定の実施形態による、アクティブ要素の他の例を示す。図５３において、「ホテルバナー」と呼ばれ得る一つのアクティブ要素５３００が示され、ホテルに関する名前および他の情報が、アクティブ要素としてシーンの中に埋め込まれている。ホテルバナーをクリックすることは、ホテルに関する関連情報を有するウェブページを開くアクションをトリガする。図５４において、５４００はいわゆる「仮想キオスク」であり、特定のシーンに関する関連情報を含む。これはシーン特定情報アイコンである。この例において、仮想キオスクは、海岸および種々の活動に関する情報を含む。
【００７１】
本発明の実施形態において、シーン、シーン間の動き、アクティブ要素、および概観マップの複雑なネットワークを含む、スーパーツアーが生成される。図５５は、本発明の好ましい実施形態による、概略フロー図（図４参照）と、スーパーツアーを生成するステップ：シーンのインポート５５００、シーン間の動き５５１０、アクティブ要素５５２０、および概観マップ５５３０のフロー図を示す。上述の「シーン」は、パノラマとイメージとを含むソースイメージである。「シーン間の動き」は、遷移対象と、遷移パラメータと、遷移イメージを生成する仮想カメラとを含む。遷移イメージは、単数または複数の遷移対象を含む一つ以上の遷移シーンを含む。アクティブ要素は、ナビゲーショナルアイコンまたはシーンに関する拡大情報の表示によりシーン間の動きをトリガするなどの、特定のアクションをトリガする。最後に、エリアの中の位置の全体的感覚において補助する概観マップがある。概観マップが、以下にさらに説明される。
【００７２】
本発明の一部の実施形態において、シーンビューアは、パースペクティブイメージまたはパノラマを示し、概観マップビューアと結合される。図５６に示されるように、シーンビューアは右側５６００にあり、概観マップビューアは左側５６１０にある。概観マップは、スーパーツアーの「鳥瞰図」を示す。本発明の特定の実施形態において、ナビゲーショナルアイコン５６２０は、パノラマが撮影されたそれぞれの取得位置について置かれる。ナビゲーショナルアイコンはアクティブ要素の一種であるので、ポインティングデバイスによりナビゲーショナルアイコンを活性化することは、パノラマビューアの中でアクティブ要素をトリガすることと同様に、シーンビューアをスーパーツアーの中のその特定のシーンにナビゲートするようにトリガする。概観マップビューアはさらに、シーンビューアと同期化されて、自動的に動いて再び中心になる。５６３０は、シーンビューア５６００における現在のビューの方向を示す特別ハイライトおよび矢印を有する「現在の」ナビゲーショナルアイコンである。ユーザがシーンビューアにおけるビューの方向をインタラクティブに変えると、矢印もしかるべく方向が変わる。スーパーツアーにおいてビューアの位置が動くと、現在のナビゲーショナルアイコンもまたしかるべく同期化される。
【００７３】
本発明の種々の実施形態において、方法は、シーケンスに再生する一連のシーンおよび遷移を「スクリプト」する手段を提供する。スーパーツアーにおいて、ユーザは一般的に、ポインティングデバイスを使用してナビゲーショナルアイコンを活性化することによって、一つのシーンから別のシーンへの遷移を呼び出す。スクリプトすることは、複数のシーンを通るスーパーツアー経路とそれらの対応するシーン間の動きとを「記録」し、ひとたびユーザによって呼び出されると所定の経路を「再生」する手段として考えられ得る。スクリプトされた経路は、ユーザが記録した経路であり得、またはアルゴリズム的に決定され得、たとえば、本発明の特定の実施形態による、市街における２つの点の間の最短の運転方向である。このことは、遷移を生成するために追加のソースイメージを使用することとは異なり、スクリプトはオンザフライで動的にカストマイズされ得る。
【００７４】
たとえば、スーパーツアーにおいてシーン「Ａ」〜「Ｚ」が存在すると仮定する。シーン「Ａ」は、中間シーン（中間位置に対応する）「Ｂ」〜「Ｙ」を介してのみ、「Ｚ」と接続される。現在のシーンが「Ａ」であり、かつユーザが概観マップの上でナビゲーショナルアイコン「Ｚ」を選択する場合には、「Ａ」〜「Ｚ」のシーンおよびシーン間の動きを自動的かつ逐次的に再生するスクリプトがトリガされ得、その結果、ユーザは連続的かつ接続された経験を有し得る。
【００７５】
本発明の特定の実施形態において、スクリプトするために必要な自動再生に対して、ならびにナビゲーショナルアイコンを介した単純なナビゲーションに対して、シーンビューアは、いわゆる「方向付け一致（ｏｒｉｅｎｔａｔｉｏｎ ｍａｔｃｈｉｎｇ）」を提供する。シーンビューアは、その接続されたシーン間の動きの開始方向に自らを自動的に位置合わせする。たとえば、シーン「Ａ」からシーン「Ｚ」に横断する間に、ユーザは交差点シーンに来て、そこで曲がることが必要になる。方向付け一致特徴は、次のシーン間の動きに位置合わせするようにビューアを自動的に回して、次に遷移をトリガする。
【００７６】
さらに、本発明の実施形態において、それぞれの所定のパノラマシーンにおいて、ユーザは、ポインティングデバイスを使用して、見る方向付けをインタラクティブに変更し得る。一つのシーンから別のシーンへと円滑かつ継ぎ目なしに遷移するために、ユーザの見る方向付けは、まず遷移イメージの冒頭に一致させてから、次に第１から第２のシーンへの遷移を始めることが好ましい。この特徴は、事前にレンダリングされた映画の形における遷移イメージにとって特に有用であり、なぜなら、パノラマを見る方向付けは、エンドユーザに継ぎ目のない体験を提供するために、遷移映画の第１のフレームに位置合わせされるべきだからである。
【００７７】
本発明の実施形態において、各対の接続されたソースイメージおよびそれらの個々の方向の遷移イメージのために、データ構造がインプリメントされ、方向付け角度（θ，φ）１はそれぞれ、第１のシーンのゼニス用およびアジマス用であり、方向付け角度（θ，φ）２はそれぞれ、遷移イメージの最初および最後のフレームと一致する第２のシーンのゼニス用およびアジマス用である。これらの方向付け一致データは、シーン間の動きのオーサリングプロセスの間に格納される。本発明の実施形態に従って、遷移イメージは３次元システムにおいて生成される、したがって遷移イメージの経路に沿った仮想カメラの正確なビュー方向付けを決定することが容易である。
【００７８】
本発明の実施形態において、たとえばナビゲーショナルアイコンにより、ひとたび第１のシーンから第２のシーンへの遷移がトリガされると、第１のシーンのビューを、所定の任意の視点（θ’，φ’）１から、ビュー角度の内挿により（θ，φ）１に一致させるように自動的に再方向付けするパノラマビューアが提供される。ひとたび（θ’，φ’）１＝（θ，φ）１になると、ビューアは次に遷移イメージをレンダリングして、第２のシーンへの円滑な動きをシミュレートする。ひとたび第２のシーンに達すると、ビューアは、遷移イメージを表示することから、第２のシーンのパノラマへと遷移し、それは滑らかでかつ継ぎ目のない遷移のための見る角度（θ，φ）２になるよう方向付けられる。
【００７９】
図５７〜５８は、スクリプトすることならびに方向付け一致を示す例である。図５７において、概観図は左側５７００にあり、シーンビューアは右側５７１０にある。シーンビューアは、右に曲がった後で最終的に浴室に至る出入口を示している。浴室は現在のシーンビューアからは見えないが、浴室は概観マップ５７００に示される。５７２０はシーンの現在の位置を示すナビゲーショナルアイコンであり；５７３０は中間シーンを通って（スクリプトすることを介して）浴室の中へ至る曲がった経路を示し；５７４０はナビゲーショナルアイコンによって示される最終的な目的地シーンである。
【００８０】
図５８は、生じる一連の出来事を示す（５８００、５８１０、５８２０、５８３０、５８４０、および５８５０）。５８００は最初のビューであり、図５７と同じである。ひとたびナビゲーショナルアイコン（または何らかの他の手段）が遷移をトリガすると、中間遷移が示される５８１０。概観マップは、ポインティングアイコンを使用して「現在の」位置および方向を表示することにも留意されたい（５７２０と同じ）。ひとたび中間シーン５８２０に達すると、自動的な方向付け一致特徴がトリガされ、その結果、中間シーンビューアは、次の遷移イメージ５８３０と位置合わせされる。５８４０は、中間シーンから最終シーン５８５０への実際の遷移を示す。
【００８１】
これらの例において、すべてのシーンが「絶対的な」意味において互いに接続されるかのように見え得る。換言すると、概観マップおよびシーンビューアの上に表示される複数のシーンは、すべて、世界空間において互いの位置および方向付けに関して正しく位置されているように見え得る。本発明の実施形態において、スーパーツアーは一対のソースイメージの間の相対的なポーズ評価のみを使用して生成される。このアプローチは、多くの視覚研究およびイメージベースのモデリングシステムと対照的であり、それらにおいては、ソースイメージの間の特徴対応により可能な限り正確なポーズ評価を計算することが重要である。このことは、複雑な最適化の問題であり、ソースイメージの数が増えるにしたがってより困難になり、よりエラーを生じやすい。
【００８２】
たとえば、単純なシナリオにおいて、対応する特徴を共有する３つの入力ソースイメージＡ、Ｂ、およびＣがあると想定されたい。たとえば、ビルディングの周囲で写真が撮影され、それぞれの組は、たとえばＡとＢ、ＢとＣ、およびＣとＡという共通の特徴を共有する。代表的な視覚システムは、Ａに対するＢのカメラポーズを計算し、次にＢに対するＣのカメラポーズを計算する、などである。すべてのソースイメージは同じ「絶対的な」座標系の中に存在するので、ＡからＢへのポーズ評価からの計算エラーは、当然のことながらＢからＣへのポーズ評価に伝播する。ＣとＡとの間に特徴対応がある場合には、エラー伝播を「広げ」たり減らすために大域的最適化アルゴリズムを有する必要がある。ＡからＢと、ＢからＣとのポーズ評価のために、ＡおよびＣはすでに絶対的な座標系の中にその位置が設定されていることに留意されたい。次にＣからＡのポーズを計算しようとすることは、当然のことながらより多くのポーズ評価エラーを生じる。たとえば現実世界のデータなどのより複雑なシナリオにおいて、複雑な最適化のシステムの問題は、解決することが困難な問題であり、しばしば頑強な問題を有し、ひとたびエラーが持ち込まれると「デバッグ」することが困難である。
【００８３】
本発明の実施形態において、スーパーツアーは、一対のソースイメージの間のみの相対的なポーズ評価を使用して生成される。換言すると、各対のソースイメージについてのポーズ評価は、相対的な座標系の中に存在する。ポーズ評価の問題は各対のソースイメージについて決定されるので、大域的最適化の必要はない。入力ソースイメージＡ、Ｂ、およびＣの単純なシナリオについて、スーパーツアーは、ＡからＢ、ＢからＣ、およびＣからＡの間の近似的なポーズ評価のみを必要とし、これらのすべては、それぞれの計算におけるエラーにかかわりなく別々に計算される。この実施形態は、ユーザが一つのソースイメージから別のソースイメージへと円滑かつ連続的に「移動する」ことを可能にする。したがって、シーン間遷移は、シーンＡの視点から、ＡからＢの動きをシミュレートし、シーンＢに帰結する。ひとたびシーンＢに到達すると、座標系が変化し得る（これはユーザにとっては継ぎ目がない）。次に、ＡからＢのポーズ評価とは別に、その計算エラーにかかわりなく、ＢからＣの動きをシミュレートすることが実行され得る。このことは、計算の複雑性およびエラーの機会を有利に低減し、スーパーツアーの実施形態が、ノードの数が増加するとより容易にスケールアップすることを可能にする。
【００８４】
本発明の好ましい実施形態において、概略フロー図（図４）に示されるような最終プロセスは、公開ステップである。シーン間の動きを介して接続される複数のシーンを含むスーパーツアーがひとたび生成され、スーパーツアーがアクティブ要素をも有すると、スーパーツアーは、スタンドアロンアプリケーション５９１０として公開され得るか、あるいはワールドワイドウェブ５９００または当該技術分野において公知の任意の他の通信システムを介して配信され得る。公開されるツアーはまた、必要に応じて、追加のハイパーリンク、イメージ、テキストなど５９２０、５９３０を含み得る。
【００８５】
図６０は、スーパーツアーの公開が可能にされる本発明の例示的な実施形態を示す。同図は、スーパーツアー６０００の小さなスライスを示すのみである。６０００におけるマップインタフェースに示されるように、フロリダのマイアミビーチを網羅する一千を超えるパノラマシーンがある。６０１０は、地図の拡大を示す。これらのパノラマシーンのそれぞれは、このスーパーツアーにおいて相互接続されている。さらに、外部シーンも、ビルディングおよびホテルの内部ツアーと相互接続されている。例示的な実施形態について、公開されたスーパーツアーの複雑性が図６１〜７０に示される。
【００８６】
本発明の種々の実施形態において、方法は、ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の動きをシミュレートする遷移を提供する。方法は、遷移が行われる先の第２のシーンにおける視点の指示を受信することを含む。指示は、種々のソースから受信され得る。たとえば、指示は、検索エンジンに検索パラメータを入力することによって生み出され得、検索エンジンは位置を識別し得る。指示はディスプレイの任意の場所におけるアイコンの活性化の際に受信され得−アイコンは平面図マップまたはパノラマビューアの上に位置する必要はない。位置が受信されると、位置に向けて動きをシミュレートする遷移イメージまたは一連のそのようなイメージが表示される。さらなる例において、図７１に示されるように、位置のリストが画面上に提示され得、リストにおける項目の選択に基づいて指示が受信される。
【００８７】
本発明の上述の実施形態のいずれも、コンピュータまたは他の種類のプロセッサを含むシステムにおいてインプリメントされ得る。コンピュータまたはプロセッサは、方法ステップをインプリメントする命令のためのメモリを含む。コンピュータまたはプロセッサは、出力を表示するためにディスプレイデバイスに結合され、ユーザからの入力を受信するために一つ以上の入力デバイスに結合され得る。方法をインプリメントする命令は、単一のプロセッサまたは複数のプロセッサの上で実行され得る。プロセッサは、クライアントサーバ様式で編成され得る。複数のプロセッサが、当該技術分野において公知の任意の種類の公衆または専用通信システムによって結合され得る。そのような通信システムは、有線または無線のリンクレベルおよび物理的なメディアの両方を使用したインターネットなどの当該技術分野において公知のデータネットワーク、公衆電話システム、衛星中継、Ｔ１ライン、マイクロ波中継、ワイヤーライン、またはラジオ中継などの固定通信などを、制限なしに含み得る。システムにおいて使用されるデバイスは、グラフィカルインタフェースを提供するために適切な任意の種類のものであり得る。本発明の実施形態において、ディスプレイは任意のプロセッサから任意のディスプレイ表面に向けられ得、複数のディスプレイ表面が使用され得る。ユーザからの入力を受信する入力デバイスは、キーボード、トラックボールまたはマウスまたはタッチパッドなどのポインティングデバイスなどを制限なしに含む多様な形態を取り得る。
【００８８】
本発明の実施形態によるシステムは、以下の条項によって記載され得る：
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該ディスプレイ上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定し；
該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供する。
【００８９】
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示し；
該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９０】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、かつ選択されたシーンの特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンを表示し；
該選択されたシーンの視点の位置の指示を受信し；
該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該選択された特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９１】
第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供し；
該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３のシーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成される。
【００９２】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成するシステムであって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ選択されたシーン特徴を含み、該システムは、プロセッサと、メモリと、ディスプレイとを含むコンピュータとを備え、該メモリは、コンピュータに以下を実行させる命令を含み：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該第１の視点から該選択されたシーン視点へのルートを決定し、該ルートは該第２の視点を含み；
該選択されたシーン視点の位置指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから選択された該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示する。
【００９３】
本発明の追加のシステム実施形態は、プロセッサが実行する追加のステップを追加することによって、以下に列挙される方法クレームに従って記載され得る。
【００９４】
本発明の実施形態によるコンピュータプログラム製品は、以下の条項によって記載され得る：
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該ディスプレイ上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定し；
該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供するプログラムコードを含むものである。
【００９５】
第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示し；
該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージが表示するプログラムコードを含むものである。
【００９６】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ選択されたシーン特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該選択されたシーン視点の位置の指示が受信されるときに、該第１の特徴と該選択されたシーン特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示するプログラムコードを含むものである。
【００９７】
第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供し；
該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３シーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成される、プログラムコードを含むものである。
【００９８】
第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を生成する、コンピュータシステム上で使用されるコンピュータプログラム製品であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーン視点から観測され、かつ、選択されたシーン特徴を含み、該コンピュータプログラム製品は、コンピュータ読み取り可能プログラムコードをその上に有するコンピュータ使用可能媒体を備え、該コンピュータ読み取り可能プログラムコードは：
該第１のシーンを表示し；
該選択されたシーン視点の位置の指示を受信し；
該第１の視点から該選択されたシーン視点へのルートを決定し、該ルートは該第２の視点を含み、
該選択されたシーン視点の位置の指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示するプログラムコードを含むものである。
【００９９】
本発明の追加のコンピュータプログラム製品の実施形態は、プロセッサが実行する以下に列挙される方法クレームに従ってプログラムコードステップを追加することによって記載され得る。
【０１００】
本明細書で前述した機能性のすべてまたは一部を実行するコンピュータプログラム論理は、ソースコードの形、コンピュータ実行可能な形、および種々の中間的な形（たとえば、アセンブラ、コンパイラ、ネットワーカ、またはロケータによって生成される形）を含むが、それらに限定されない、種々の形において具体化され得る。ソースコードは、種々のオペレーティングシステムまたはオペレーティング環境とともに使用される、種々のプログラミング言語（たとえば、オブジェクトコード、アセンブリ言語、またはＦｏｒｔｒａｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、またはＨＴＭＬなどの高級言語）のいずれかにおいて実装された一連のコンピュータプログラム命令を含み得る。ソースコードは、種々のデータ構造および通信メッセージを定義および使用し得る。ソースコードはコンピュータ実行可能な形であり得るか（たとえばインタプリタを介して）、あるいはソースコードはコンピュータ実行可能な形に変換され得る（たとえば、トランスレータ、アセンブラ、またはコンパイラを介して）。
【０１０１】
コンピュータプログラムは、半導体メモリデバイス（たとえば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュプログラム可能ＲＡＭ）、磁気メモリデバイス（たとえばディスケットまたは固定ディスク）、光メモリデバイス（たとえばＣＤ−ＲＯＭ）、ＰＣカード（たとえばＰＣＭＣＩＡカード）、または他のメモリデバイスなどの、有形の記憶媒体において、永久にまたは一時的に、任意の形（たとえば、ソースコードの形、コンピュータ実行可能な形、または中間の形）に固定され得る。コンピュータプログラムは、種々の通信テクノロジーのうちのいずれかを使用してコンピュータに送信可能な信号における任意の形に固定され得、該通信テクノロジーは、アナログテクノロジー、デジタルテクノロジー、光テクノロジー、ワイヤレステクノロジー、ネットワーキングテクノロジー、およびインターネットワーキングテクノロジーを含むが、それらに限定されない。コンピュータプログラムは、添付の印刷書類または電子書類とともに取り外し可能な記憶媒体（たとえばシュリンクラップソフトウェアまたは磁気テープ）としての任意の形で配布され得、コンピュータシステムに事前ロードされ得（たとえばシステムＲＯＭまたは固定ディスクの上に）、あるいは通信システム（たとえばインターネットまたはワールドワイドウェブ）を介してサーバまたは電子掲示板から配信され得る。
【０１０２】
本明細書で前述した機能性のすべてまたは一部を実行するハードウェア論理（プログラム可能論理デバイスとともに使用されるプログラム可能論理を含む）は、従来の手作業の方法を使用して設計され得、あるいは計算機支援設計（ＣＡＤ）、ハードウェア記述言語（たとえばＶＨＤＬまたはＡＨＤＬ）、またはＰＬＤプログラミング言語（たとえばＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）などの種々のツールを使用して、電子的に、設計、捕獲、シミュレーション、または書類化され得る。
【０１０３】
本発明は、特定の実施形態を参照して詳しく示されて説明されたが、添付の特許請求の範囲によって定義される本発明の精神および範囲から逸脱することなく、形および詳細の種々の変更がそこでなされ得ることが、当業者によって理解される。当業者にとって明白であるように、パノラマに関して上述された技術は、非パノラマイメージとして取り込まれたイメージに適用され得、その逆もまた同様である。
【０１０４】
上記の実施形態に関し以下の付記を記す。
（付記１）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を生成する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該方法は、
ａ．該ディスプレイの上で該第１の特徴と該第２の特徴とをグラフィック的に識別し、該第１の特徴および該第２の特徴を用いて該第１のシーンを該第２のシーンへマッピングする変換を決定することと、
ｂ．該第１の特徴および該第２の特徴に基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを提供することと
を包含する、方法。
（付記２）前記第１の特徴の位置と前記第２の特徴の位置とが、異なる物理的な位置に対応する、付記１に記載の方法。
（付記３）前記第１の特徴の位置と前記第２の特徴の位置とが、同じ物理的な位置に対応する、付記１に記載の方法。
（付記４）ｃ．前記第２のシーンの場合における前記第１の視点と前記第１のシーンの場合における第２の視点の少なくとも一つを前記ディスプレイに表示することをさらに包含する、付記１に記載の方法。
（付記５）前記第１の特徴および前記第２の特徴を前記ディスプレイの上でグラフィック的に識別することが、それぞれのシーンでパースペクティブな長方形を定義することを包含する、付記１に記載の方法。
（付記６）前記第１のシーンにおいて前記パースペクティブな長方形を部分的に定義するために、ポインティングデバイスの３つの活性化がなされているとき、該第１のシーンにおいて該パースペクティブな長方形を定義するために、前記ディスプレイの上で該ポインティングデバイスを用いた選択のための複数のポイントが識別され、画面上の該第１のシーンにおいて該パースペクティブな長方形の輪郭を描くために、該複数のポイントが選択されている、付記５に記載の方法。
（付記７）前記パースペクティブな長方形が前記第１のシーンにおいて定義されたときに、前記ディスプレイ上で位置をグラフィック的に識別することであって、該第１のシーンにおける該パースペクティブな長方形の辺が動かされ得、かつそれでもなお該ディスプレイの上の該第１のシーンにおける該パースペクティブな長方形を維持し得ることをさらに包含する、付記５に記載の方法。
（付記８）前記パースペクティブな長方形が前記第１のシーンにおいて定義されたときに、前記ディスプレイの上で位置をグラフィック的に識別することであって、該第１のシーンにおける該パースペクティブな長方形の角が動かされ得、かつそれでもなお該ディスプレイの上の該第１のシーンにおける該パースペクティブな長方形を維持し得ることをさらに包含する、付記５に記載の方法。
（付記９）前記第１の特徴および前記第２の特徴を前記ディスプレイの上でグラフィック的に識別することが、
ｉ．前記第１のシーンおよび前記第２のシーンに対して共通の基準基礎面を定義することと、
ｉｉ．該第１のシーンにおける該共通の基準基礎面の上の第１の形と、該第２のシーンにおける該共通の基準基礎面の上の第２の形とをグラフィック的に追跡することと、
ｉｉｉ．該第１の特徴を形成するために該第１の形を押し出し、該第２の特徴を形成するために該第２の形を押し出すこととをさらに包含する、付記１に記載の方法。
（付記１０）前記第１の形および前記第２の形が、長方形である、付記９に記載の方法。
（付記１１）前記第１の特徴および前記第２の特徴が、共通の物理的な特徴に対応する、付記９に記載の方法。
（付記１２）前記第１の特徴および前記第２の特徴が、異なる物理的な特徴に対応する、付記９に記載の方法。
（付記１３）前記遷移イメージを提供することが、遷移パラメータに従って前記第１のシーンおよび前記第２のシーンから前記遷移シーンを形成することを包含する、付記１に記載の方法。
（付記１４）前記遷移イメージを提供することが、前記第１のシーンおよび前記第２のシーンにおける複数の対応する特徴を用いて、前記遷移シーンを構成することを含み、
所与の一対の対応する特徴のそれぞれの特徴の寄与が、所与の遷移パラメータによって決定される、付記１３に記載の方法。
（付記１５）前記遷移パラメータをユーザ入力から決定することをさらに包含する、付記１３に記載の方法。
（付記１６）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１の特徴および前記第２の特徴をアルファブレンドすることによって前記遷移シーンを形成することを包含する、付記１３に記載の方法。
（付記１７）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１の特徴および前記第２の特徴をモーフィングすることを包含する、付記１３に記載の方法。
（付記１８）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１および第２のシーンのうちの少なくとも一つをモーションブラーリングすることをさらに包含する、付記１３の方法。
（付記１９）前記遷移イメージを提供することが、前記遷移パラメータに従って前記第１および第２のシーンのうちの少なくとも一つに対するサチュレーション調整をすることをさらに包含する、付記１３に記載の方法。
（付記２０）前記少なくとも一つの遷移イメージを提供することが、前記第１の視点と前記第２の視点との間の経路に沿って動く仮想カメラによって見られる複数のイメージをモデリングすることを包含する、付記１に記載の方法。
（付記２１）前記経路が、前記第１の視点と前記第２の視点との間の線である、付記２０に記載の方法。
（付記２２）ｃ．見る方向をグラフィック的に入力することをさらに包含する、付記１に記載の方法。
（付記２３）前記遷移イメージを提供することが、
前記第１の視点から前記第２の視点への経路の三次元モデルを構成することと、
該モデル内で仮想カメラを動かすことと
を包含する、付記１に記載の方法。
（付記２４）前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つが、パノラマである、付記１に記載の方法。
（付記２５）前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つが、ソースイメージである、付記１に記載の方法。
（付記２６）前記ソースイメージが、写真、スケッチ、および絵のうちの少なくとも一つを含む、付記２５に記載の方法。
（付記２７）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該方法は、
ａ．該第１のシーンに埋め込まれた第１のナビゲーショナルアイコンを表示することと、
ｂ．該第１のナビゲーショナルアイコンが活性化されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
（付記２８）前記第１の視点の見る方向が、前記遷移イメージの方向に一致するように方向付けられる、付記２７に記載の方法。
（付記２９）前記遷移イメージを表示することが、前記第１の視点と前記第２の視点と間の経路に沿って動く仮想カメラによって見られる複数のイメージを表示することを包含する、付記２７に記載の方法。
（付記３０）前記経路を通過する速度が変化する、付記２７に記載の方法。
（付記３１）ｃ．前記第１のシーンを見ることであって、該第１のシーンがパノラマであることをさらに含む、付記２７に記載の方法。
（付記３２）前記第１の特徴および前記第２の特徴が、異なる位置にある、付記２７に記載の方法。
（付記３３）前記第１の特徴および前記第２の特徴が、同じ位置にある、付記２７に記載の方法。
（付記３４）ｃ．パースペクティブイメージに結合された概観イメージを表示することにより、該概観イメージと該パースペクティブイメージが、対応する位置を示すようにアップデートされることをさらに包含する、付記２７に記載の方法。
（付記３５）前記概観イメージが概観イメージナビゲーショナルアイコンを含み、該方法が、
ｄ．該概観イメージおよび前記第１のナビゲーショナルアイコンのうちの一つが活性化されるときに、該概観イメージをパニングすることをさらに包含する、付記３４に記載の方法。
（付記３６）ｃ．アクティブ要素活性化が特定のアクションを開始するように、前記第１のシーンおよび前記第２のシーンのうちの少なくとも一つにおいてアクティブ要素を表示することをさらに包含する、付記２７に記載の方法。
（付記３７）前記特定のアクションが、ディスプレイウィンドウにおける情報の表示を包含する、付記３６に記載の方法。
（付記３８）情報の表示が、映画を再生することを包含する、付記３７に記載の方法。
（付記３９）前記情報の表示が、リストを表示することを包含する、付記３７に記載の方法。
（付記４０）前記アクティブ要素が、３Ｄアイコンである、付記３６に記載の方法。
（付記４１）前記遷移イメージを表示することが、前記第１の特徴および前記第２の特徴をアルファブレンディング、モーフィング、およびモーションブラーリングすることの少なくとも一つを包含する、付記２７に記載の方法。
（付記４２）前記複数のイメージを表示することが、遷移パラメータに従って、該複数のイメージのそれぞれに対して、前記第１の特徴および前記第２の特徴をアルファブレンディング、モーフィング、および３Ｄモーションブラーリングすることの少なくとも一つをさらに包含する、付記２９に記載の方法。
（付記４３）前記遷移パラメータが、前記複数のイメージの間で変化する、付記４２に記載の方法。
（付記４４）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと選択されたシーンとの間の動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、かつ選択されたシーンの特徴を含み、該方法は、
ａ．該第１のシーンを表示することと、
ｂ．該選択されたシーンの視点の位置の指示を受信することと、
ｃ．該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該選択されたシーンの特徴とに基づいて、該第１のシーンから該選択されたシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
（付記４５）前記選択されたシーンの視点の位置の指示が、検索パラメータの使用によって生成される、付記４４に記載の方法。
（付記４６）前記選択されたシーンの視点の位置の指示が、アイコンの活性化によって提供される、付記４４に記載の方法。
（付記４７）前記選択されたシーンの視点の位置の指示が、項目のリストからの選択によって提供される、付記４４に記載の方法。
（付記４８）ディスプレイを有するコンピュータシステムにおいて、第１のシーンと第２のシーンとの間の、動きをシミュレートする第１の遷移、および該第２のシーンと第３のシーンとの間の、動きをシミュレートする第２の遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、該第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該第３のシーンは、第３の視点から観測され、かつ第３の特徴を含み、該方法は、
ａ．該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第１の遷移イメージを提供することと、
ｂ．該第２の特徴と該第３の特徴とに基づいて、該第２の視点から該第３の視点へのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む第２の遷移イメージを提供することにより、該第１の遷移イメージおよび該第２の遷移イメージが、第１、第２、および、第３シーンのそれぞれの基準のフレームにおいて絶対的な位置および方向を決定することなく形成されることと
を包含する、方法。
（付記４９）
ディスプレイを有するコンピュータシステムにおいて、第１のシーンと選択されたシーンとの間の、動きをシミュレートする遷移を提供する方法であって、該第１のシーンは、第１の視点から観測され、かつ第１の特徴を含み、第２のシーンは、第２の視点から観測され、かつ第２の特徴を含み、該選択されたシーンは、選択されたシーンの視点から観測され、該方法は、
ａ．該第１のシーンを表示することと、
ｂ．該選択されたシーンの視点の位置の指示を受信することと、
ｃ．該第１の視点から該選択されたシーンの視点へのルートを決定することであって、該ルートは該第２の視点を含む、ことと、
ｄ．該選択されたシーンの視点の位置の指示が受信されるときに、該第１の特徴と該第２の特徴とに基づいて、該第１のシーンから該第２のシーンへのシミュレートされた動きが存在するような、少なくとも一つの遷移シーンを含む遷移イメージを表示することと
を包含する、方法。
【符号の説明】
【０１０５】
１００ シーン
１１０ 位置
２００、２２０ 球面マップ
２１０、２３０ 立方体マップ
３００ 球面パノラマ
３１０ 獲得位置
３２０ ピンホールカメラ撮影円錐台
５００ カメラポーズの評価
５１０ 遷移対称の生成
５２０ パラメータの編集
５３０ 仮想カメラの編集
４５００ パースペクティブ平面選択
４５１０ インポート
５４２０ 結合
５５００ シーンのインポート
５５１０ シーン間の動き
５５２０ アクティブ要素
５５３０ 概観マップ
【特許請求の範囲】
【請求項１】
識別手段、関係手段、視点手段、遷移パラメータ手段、及びマッピング手段を有するコンピュータシステムにおいて、第１の視点から見た、カラーデータを有する第１のデジタル画像を有する第１のシーンと、第２の視点から見た、カラーデータを有する第２のデジタル画像を有する第２のシーンとの間の、動きをシミュレーションする遷移を生成する方法であって、
ａ）識別手段により、前記第１のデジタル画像と第２のデジタル画像内のジオメトリをグラフィカルに識別する段階と、
ｂ）関係手段を用いて、前記第１と第２のデジタル画像内のオブジェクトの３次元ジオメトリを生成する、前記第１のデジタル画像と前記第２のデジタル画像のジオメトリの間の関係を確定する段階と、
ｃ）視点手段を用いて、前記３次元ジオメトリ中の複数の遷移画像のうちの各遷移画像に対して、経路に沿った視点と、それに対応する方向とを決定する段階と、
ｄ）各遷移画像について、前記遷移パラメータ手段において、１つ以上の遷移パラメータであって、各遷移パラメータは前記第１のデジタル画像と第２のデジタル画像の前記カラーデータの貢献の尺度を表す遷移パラメータを受け取る段階と、
ｅ）マッピング手段を用いて、前記遷移パラメータと視点とに基づき、前記３次元ジオメトリに、前記第１の画像と第２の画像のカラーデータを投影的にマッピングして、複数の遷移画像を構成する段階とを有する方法。
【請求項２】
１つ以上の遷移パラメータは、前記複数の遷移画像中のオブジェクトのみに関連する、請求項１に記載の方法。
【請求項３】
異なるオブジェクトには異なる遷移パラメータが関連付けられ、前記遷移パラメータは関数により確定される、
請求項２に記載の方法。
【請求項４】
前記関数は前記遷移パラメータが、オブジェクトの遷移画像間でどう変化するかを確定する、請求項３に記載の方法。
【請求項５】
前記遷移パラメータをユーザインタフェースを介して受け取る、
請求項１に記載の方法。
【請求項６】
前記ユーザインタフェースは遷移パラメータグラフを含む、
請求項１に記載の方法。
【請求項７】
前記遷移パラメータグラフによりユーザが各遷移画像内のオブジェクトの遷移パラメータを調節できる、
請求項６に記載の方法。
【請求項８】
少なくとも１つのオブジェクトに少なくとも２つの遷移パラメータを関連付ける、請求項３に記載の方法。
【請求項９】
前記第１のデジタル画像と前記第２のデジタル画像は写真を表す、
請求項１に記載の方法。
【請求項１０】
前記第１のデジタル画像と前記第２のデジタル画像はパノラマ的画像である、
請求項１に記載の方法。
【請求項１１】
前記第１と第２のデジタル画像は３６０度ビューを表す、
請求項１０に記載の方法。
【請求項１２】
前記第１と第２のデジタル画像の情報は実質的に相関していない、
請求項１１に記載の方法。
【請求項１３】
請求項１に記載の動きをシミュレートする第１のシーンと第２のシーンの間の遷移を生成する方法であって、
前記第１のデジタルビデオ画像と、前記複数の遷移画像と、前記第２のデジタルビデオ画像とをディスプレイに表示する段階をさらに有する、
【請求項１４】
前記ジオメトリは少なくともパースペクティブな四角形と三角形を含む、
請求項１に記載の方法。
【請求項１５】
ジオメトリ間の関係を決定する段階は、
前記第１のデジタル画像と前記第２のデジタル画像の共通基準グラウンド平面を画定する段階を含む、
請求項１に記載の方法。
【請求項１６】
ジオメトリ間の関係を決定する段階は、ジオメトリを押し出して前記３次元オブジェクトを形成する段階をさらに含む、請求項１６に記載の方法。
【請求項１７】
前記遷移パラメータを用いて、各遷移画像のオブジェクトにカラーデータの投影的マッピングをする関数を決定し、前記関数は遷移画像ごとに異なる、
請求項１に記載の方法。
【請求項１８】
前記遷移パラメータは、色データの投影的マッピングに、アルファブレンド、モーションブラー、またはモーフィング方法を用いるか決定する、
請求項１に記載の方法。
【請求項１９】
ディスプレイデバイスが前記第１のデジタル画像と前記遷移画像と前記第２のデジタル画像を順次的に表示する、請求項１に記載の方法。
【請求項２０】
前記第１のデジタル画像を、第１のナビゲーションアイコンを埋め込んで前記ディスプレイに表示する段階と、
前記第１のナビゲーションアイコンをアクティブにした時、前記第１のデジタル画像から前記第２のデジタル画像にシミュレートした動きがあるように、前記遷移画像を表示する段階とをさらに含む、請求項１に記載の方法。
【請求項２１】
概観画像とパースペクティブ画像を更新して対応する場所を示すように、前記概観画像を前記パースペクティブ画像に結合して表示する段階をさらに含む、請求項２０に記載の方法。
【請求項２２】
前記概観画像は概観画像ナビゲーションアイコンを含み、前記方法はさらに
前記概観画像ナビゲーションアイコンと前記第１のナビゲーションアイコンのうち一方をアクティブにした時に前記概観画像をパンする段階をさらに含む、請求項２１に記載の方法。
【請求項２３】
アクティブエレメントのアクティブ化により指定アクションを開始するように、前記第１のシーンと前記第２のシーンのうち少なくとも一方に前記アクティブエレメントを表示する段階をさらに含む、請求項２２に記載の方法。
【請求項２４】
コンピュータで実行されると、前記コンピュータに、請求項１ないし２３いずれか一項に記載の方法の各段階を実行させるコンピュータプログラム。
【請求項１】
識別手段、関係手段、視点手段、遷移パラメータ手段、及びマッピング手段を有するコンピュータシステムにおいて、第１の視点から見た、カラーデータを有する第１のデジタル画像を有する第１のシーンと、第２の視点から見た、カラーデータを有する第２のデジタル画像を有する第２のシーンとの間の、動きをシミュレーションする遷移を生成する方法であって、
ａ）識別手段により、前記第１のデジタル画像と第２のデジタル画像内のジオメトリをグラフィカルに識別する段階と、
ｂ）関係手段を用いて、前記第１と第２のデジタル画像内のオブジェクトの３次元ジオメトリを生成する、前記第１のデジタル画像と前記第２のデジタル画像のジオメトリの間の関係を確定する段階と、
ｃ）視点手段を用いて、前記３次元ジオメトリ中の複数の遷移画像のうちの各遷移画像に対して、経路に沿った視点と、それに対応する方向とを決定する段階と、
ｄ）各遷移画像について、前記遷移パラメータ手段において、１つ以上の遷移パラメータであって、各遷移パラメータは前記第１のデジタル画像と第２のデジタル画像の前記カラーデータの貢献の尺度を表す遷移パラメータを受け取る段階と、
ｅ）マッピング手段を用いて、前記遷移パラメータと視点とに基づき、前記３次元ジオメトリに、前記第１の画像と第２の画像のカラーデータを投影的にマッピングして、複数の遷移画像を構成する段階とを有する方法。
【請求項２】
１つ以上の遷移パラメータは、前記複数の遷移画像中のオブジェクトのみに関連する、請求項１に記載の方法。
【請求項３】
異なるオブジェクトには異なる遷移パラメータが関連付けられ、前記遷移パラメータは関数により確定される、
請求項２に記載の方法。
【請求項４】
前記関数は前記遷移パラメータが、オブジェクトの遷移画像間でどう変化するかを確定する、請求項３に記載の方法。
【請求項５】
前記遷移パラメータをユーザインタフェースを介して受け取る、
請求項１に記載の方法。
【請求項６】
前記ユーザインタフェースは遷移パラメータグラフを含む、
請求項１に記載の方法。
【請求項７】
前記遷移パラメータグラフによりユーザが各遷移画像内のオブジェクトの遷移パラメータを調節できる、
請求項６に記載の方法。
【請求項８】
少なくとも１つのオブジェクトに少なくとも２つの遷移パラメータを関連付ける、請求項３に記載の方法。
【請求項９】
前記第１のデジタル画像と前記第２のデジタル画像は写真を表す、
請求項１に記載の方法。
【請求項１０】
前記第１のデジタル画像と前記第２のデジタル画像はパノラマ的画像である、
請求項１に記載の方法。
【請求項１１】
前記第１と第２のデジタル画像は３６０度ビューを表す、
請求項１０に記載の方法。
【請求項１２】
前記第１と第２のデジタル画像の情報は実質的に相関していない、
請求項１１に記載の方法。
【請求項１３】
請求項１に記載の動きをシミュレートする第１のシーンと第２のシーンの間の遷移を生成する方法であって、
前記第１のデジタルビデオ画像と、前記複数の遷移画像と、前記第２のデジタルビデオ画像とをディスプレイに表示する段階をさらに有する、
【請求項１４】
前記ジオメトリは少なくともパースペクティブな四角形と三角形を含む、
請求項１に記載の方法。
【請求項１５】
ジオメトリ間の関係を決定する段階は、
前記第１のデジタル画像と前記第２のデジタル画像の共通基準グラウンド平面を画定する段階を含む、
請求項１に記載の方法。
【請求項１６】
ジオメトリ間の関係を決定する段階は、ジオメトリを押し出して前記３次元オブジェクトを形成する段階をさらに含む、請求項１６に記載の方法。
【請求項１７】
前記遷移パラメータを用いて、各遷移画像のオブジェクトにカラーデータの投影的マッピングをする関数を決定し、前記関数は遷移画像ごとに異なる、
請求項１に記載の方法。
【請求項１８】
前記遷移パラメータは、色データの投影的マッピングに、アルファブレンド、モーションブラー、またはモーフィング方法を用いるか決定する、
請求項１に記載の方法。
【請求項１９】
ディスプレイデバイスが前記第１のデジタル画像と前記遷移画像と前記第２のデジタル画像を順次的に表示する、請求項１に記載の方法。
【請求項２０】
前記第１のデジタル画像を、第１のナビゲーションアイコンを埋め込んで前記ディスプレイに表示する段階と、
前記第１のナビゲーションアイコンをアクティブにした時、前記第１のデジタル画像から前記第２のデジタル画像にシミュレートした動きがあるように、前記遷移画像を表示する段階とをさらに含む、請求項１に記載の方法。
【請求項２１】
概観画像とパースペクティブ画像を更新して対応する場所を示すように、前記概観画像を前記パースペクティブ画像に結合して表示する段階をさらに含む、請求項２０に記載の方法。
【請求項２２】
前記概観画像は概観画像ナビゲーションアイコンを含み、前記方法はさらに
前記概観画像ナビゲーションアイコンと前記第１のナビゲーションアイコンのうち一方をアクティブにした時に前記概観画像をパンする段階をさらに含む、請求項２１に記載の方法。
【請求項２３】
アクティブエレメントのアクティブ化により指定アクションを開始するように、前記第１のシーンと前記第２のシーンのうち少なくとも一方に前記アクティブエレメントを表示する段階をさらに含む、請求項２２に記載の方法。
【請求項２４】
コンピュータで実行されると、前記コンピュータに、請求項１ないし２３いずれか一項に記載の方法の各段階を実行させるコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【公開番号】特開２０１２−４３４５８（Ｐ２０１２−４３４５８Ａ）
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願番号】特願２０１１−２３１８９４（Ｐ２０１１−２３１８９４）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【分割の表示】特願２００７−５４１３８６（Ｐ２００７−５４１３８６）の分割
【原出願日】平成１７年１１月１１日（２００５．１１．１１）
【出願人】（５０７１５２３１６）エブリスケイプ，インコーポレイテッド (2)
【Ｆターム（参考）】
【公開日】平成２４年３月１日（２０１２．３．１）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【分割の表示】特願２００７−５４１３８６（Ｐ２００７−５４１３８６）の分割
【原出願日】平成１７年１１月１１日（２００５．１１．１１）
【出願人】（５０７１５２３１６）エブリスケイプ，インコーポレイテッド (2)
【Ｆターム（参考）】
[ Back to top ]