画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラム
【課題】ユーザによるユーザ自身のよりよい方向付けを支援する。
【解決手段】取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、前記関連メタデータを含む前記取得画像データのデータベースを形成する。前記取得画像データは動画像を含み、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付けることは、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含んでもよい。
【解決手段】取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、前記関連メタデータを含む前記取得画像データのデータベースを形成する。前記取得画像データは動画像を含み、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付けることは、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含んでもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーションの方法およびシステムに関し、より詳細には、モバイル装置をナビゲーションに用いることに関する。本発明はさらに、画像データベースに関し、より詳細には、画像データベースの検索に関する。さらに、詳細には、画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラムに関する。
【背景技術】
【０００２】
未知の街路や都市をナビゲートすることは、様々なタイプの分野（たとえば、パーソナルコンピュータ上の地図検索ソフトウェア、自動車用ナビゲーションシステム、ハンドヘルドナビゲーションシステムなど）で取り組まれている共通の課題である。このようなナビゲーションの課題に取り組むには、ネットワーク接続されたモバイル装置が好適であろう。それは、これらのモバイル装置が、ユーザの現在位置および予定された目的地に関連する地図および情報を検索して表示することが可能だからである。
【０００３】
まったく別の分野の試みとして、画像ダイアリ（ｉｍａｇｅ ｄｉａｒｙ）の作成が、デジタルカメラやカメラ付き携帯電話の普及によって容易になりつつある。同時に、画像ダイアリで利用可能な画像が大量になり、これらの取得画像を管理する、より高度な方法が必要とされている。たとえば、カメラを装着したユーザの典型的な一日をカバーするような画像ダイアリを淡々と記録するように設計されたカメラがある。このユーザは、カメラを装着しているだけであり、カメラが、各種イベントによってトリガされた際に自動的に画像撮影を行う。イベントは、公園で自転車に乗ることや、出勤の準備であってよい。これらのタイプのカメラに内蔵された加速度計が、動きが発生したことを伝えることによってメディアへの取得（ｍｅｄｉａ ｃａｐｔｕｒｅ）をトリガする。屋内から屋外へ移動することも、トリガイベントの一例である。加速度計、光センサ、および温度センサからのデータを組み合わせると、暗く、涼しい屋内から、暖かく、明るい屋外への移動のような、イベントの境界を検出することが可能である。したがって、画像ダイアリは、ユーザの一日の様々なイベントのほとんどまたはすべての画像を含むことになる。このようなダイアリに蓄積された画像は、各イベントから代表的な画像を抽出することによって、要約されることが可能である。イベントを記録したいくつかの画像の中から選択された代表的画像は、そのイベントに対応するランドマーク画像とも呼ばれる。代表的画像（ランドマーク）は、手動で選択されるか、各イベントの、単純に中央の画像が抽出される。
【０００４】
動画像データベースの検索に利用可能な、ある検索ツールを用いると、ユーザは、視覚的画像の内容に基づいて画像データベースの照会を行うことが可能である。このツールを用いると、ユーザは、対象物の動きやカメラのパンおよびズームに基づいて動画を検索することが可能である。このツールは、動画専用であって、静止画像には適用できない。さらに、データベースから特定の動画クリップを検索して取り出すためには、動画クリップの内容データが用いられる。
【０００５】
いくつかの動画要約方法は、動画内の動きを解析して、動画内のカメラの動きまたは対象物の動きを復元する。これらの方法では、カメラの動きに関連しているとみなされた、画像の支配的な動きの変化を検出することにより、動画の順次セグメント化を実行する。動画を、カメラの動きに関して同質である単位に、時間的にセグメント化することにより、長時間の動画が、少数の代表的セグメントに置き換えられる。ここでは、カメラの動きが変化すると、シーンの動的内容の変化または関連性が乱れると仮定している。第１のステップである動画のセグメント化に続いて、要約のための認識および選択のステップが実行され、このステップは、管理され、動画のジャンルに依存する。これらの要約方法は、動画像データベースを検索する検索方法とよく似ている。
【０００６】
自己認識装置（ｐｅｒｓｏｎａｌ ａｗａｒｅｎｅｓｓ ｄｅｖｉｃｅｓ）では、姿勢推定方法および方位推定方法が用いられる。このような装置は、医学的に危険な状態にある人や、継続的に自立していたい高齢者の医学的および安全性監視に有用である。姿勢推定方法および方位推定方法は、そのような測定を行う装置を装着しているユーザの姿勢および方位を推定することに用いられる。たとえば、軽量のモバイル装置が、ユーザに装着され、ユーザの動きに関する情報を収集して、ユーザの活動および位置を追跡することに用いられる。この装置は、加速度計および磁力計を内蔵しており、これらは、この装置を装着しているユーザの動きを評価することに用いられる。このような装置で用いられている技術は、座っていることと、立っていることとを区別することが可能であり、また、ユーザが走っているか、歩いているか、立ち止まっているかを判定することが可能である。加速度計の軸と磁力計の軸は、方位が同じになるように、位置合わせされる。したがって、加速度計および磁力計からのデータを組み合わせることにより、装置の方位が地面に対してどのようであっても、装置から、動きの、正確な読みを取得することが可能である。したがって、自己認識装置は、加速度データから人物の姿勢および方位の大まかな推定を導出する。さらに、姿勢推定が、加速度計で検出される急な変化に依存するのに対し、地面に対する方位の決定には、加速度計および磁力計の組み合わせの絶対的な測定値を用いることが可能である。
【０００７】
装置を装着している人物の姿勢および方位を測定する装置のほかに、ユーザの動きを感知する装置であって、ビデオゲームのプレイに用いられることが多い装置がある。ゲームのプレイヤーがこの装置を動かすと、ゲームを表示しているコンピュータ画面で、対応するアニメーションが同様の動きをする。たとえば、コンピュータ画面上のゲームのレースカーのハンドルを回すことは、ユーザが、ユーザの動きを感知するコントローラ装置を回すことによって達成される。このように、コンピュータゲームにおいてレースカーを操縦することが、ボタンを押すこととは異なる、プレイヤーによる同様の動きによって達成され、ユーザは、自分が運転しているように感じる。このようなコントローラ装置は、他の、娯楽用途以外の業務用途でも使用されている。たとえば、アニメータによるアニメーション制作を支援する一方法では、３軸直線加速度計によりユーザの動きを感知するコントローラを用いる。ユーザは、身体に装着したコントローラを用いて動きを表現する。コントローラの動きは、３軸直線加速度計によって感知される。その後、システムは、ユーザの動きの加速パターンと、データベースに保存された動きファイルのクリップとのマッチングを行う。
【０００８】
システムによっては、複数の記録対象物の間の相互関係が保存されるように記録された、カメラ位置に関する補助情報を用いて、対象物の記録画像を再生することが可能である。このようなシステムの１つが特許文献１に記載されている。ここでは、電子カメラが、対象物の画像、カメラの３次元位置および方位角、フォーカス量、ならびにズーム量を検出するセンサを有する。画像は、３次元位置および方位角、フォーカス量、ならびにズーム量に関連する情報とともに、記録メディアに記録される。カメラの画像再生装置は、複数の記録画像の間の相互関係が再現されるように、それらの情報に基づいて、記録済み画像を再生する。したがって、これらのカメラおよび再生装置は、パノラマ画像を作成したり、複数の異なる構成要素からなる画像の中の所望の構成要素を見つけたりするために、記録画像を結合することに好適である。特許文献１のこれらの特徴は、拡張現実アプリケーションにとって有用である。また、非特許文献１および２に記載の技術は本発明に関連する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第５，２６２，８６７号明細書
【非特許文献】
【００１０】
【非特許文献１】ブライエ（Ｂｌｉｇｈｅ）ら、「センスカムイメージにおけるランドマーク検出を支援するためのコンテキスト情報の有効利用(Exploiting Context Information to aid Landmark Detection in SenseCam Images)」、ＥＣＨＩＳＥ２００６、スマートな環境（インフラストラクチャ、およびデザイン）におけるコンテキスト履歴の有効利用に関する第２回国際ワークショップ(2nd International Workshop on Exploiting Context Histories in Smart Environments - Infrastructures and Design)、２００６年
【非特許文献２】ペイラード（Ｐｅｙｒａｒｄ）ら、「ビデオ要約のための関連ビデオセグメントの動きベース選択(Motion-based selection of relevant video segments for video summarization)」、ＩＣＭＥ、２００３年
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の諸態様は、ネットワーク接続されたモバイル装置をナビゲーション用途に用いる方法、装置、およびシステムを対象とする。本発明の諸態様は、ユーザによるユーザ自身のよりよい方向付けを支援するために、静止画（たとえば、写真）や動画（たとえば、ビデオ画像）などのメディアファイルを、ナビゲーション地図に関連付ける。
【００１２】
本発明の諸態様は、モバイル装置のディスプレイが小さいことと、モバイル装置の使用時には動いているであろうユーザが、通常は、あまり注意力をモバイル装置に割くことができないことと、に関連する問題に対処する。したがって、地図とともに表示されるべき画像を選択する際には、限られた数の画像を選択することが望ましい。一方、カメラおよび他の画像作成装置の普及は、そのような画像を引き出すことが可能なデータベースの増大をもたらしている。したがって、ユーザのナビゲーションを支援する上で最も効果的な画像を表示することがさらに望ましく、モバイルナビゲーション装置のユーザに対して表示されるべき適切な画像セットを選択する方法およびシステムが必要とされている。
【課題を解決するための手段】
【００１３】
本発明の諸態様は、モバイル装置のディスプレイが小さいことと、ユーザの注意力が限られていることと、選択対象である多数の静止画および動画クリップの利用可能性とが組み合わされた問題に対処する。本発明の諸態様は、ユーザ姿勢推定およびカメラ方位を利用して、モバイルナビゲーションタスクに利用可能なメディアの大規模データベースからのメディア選択を支援する。
【００１４】
本発明の諸態様は、モバイルナビゲーション装置のユーザに対して、地図とともに表示される静止画像、動画クリップ、および他のメディアを含む。ユーザに対して表示されるメディアの選択を支援するために、本発明の諸態様は、モバイルナビゲーション装置の使用時のユーザの位置、動き、および姿勢の推定を利用する。ユーザの位置、姿勢、および動きの推定と、選択されて取り出された画像の取得（撮影）時のカメラの位置、方位、および動きとのマッチングが行われる。ユーザの位置については、データベースにある画像の位置とのマッチングが行われる。ナビゲーション装置の使用時のユーザ姿勢と、画像の取得時のカメラ方位とのマッチングを行うことにより、表示されることが望ましい画像が選択されることが可能である。ユーザ姿勢は、モバイルナビゲーション装置の姿勢に基づいて推定されることが可能である。ユーザが動いていて、マッチング対象画像が動画像である場合は、ユーザの動きと、動画像が取得されたときのカメラの動きとのマッチングも行われる。
【００１５】
位置に関しては、本発明の諸態様は、ユーザおよびカメラの両方の位置を特定するために、全地球測位システム（ＧＰＳ）から提供される位置データを利用することが可能である。他の、整合性のある、対象物の位置を特定する方法を用いることも可能である。
【００１６】
姿勢および方位に関して、ユーザ姿勢はユーザの視線方向が３つの位置軸となす角度を意味し、カメラ方位は傾斜および回転を含むことが可能である。ユーザ姿勢は、モバイル装置が向いている方向から、または、他の何らかの規則に従って推定されることが可能である。代替として、ユーザ姿勢は、別個に推定されて、モバイル装置に入力されることが可能である。特定の画像の取得時のカメラの傾斜および回転に関する情報を用いて、カメラ方位を推定することが可能である。この種の情報は、画像処理手法により推論されることが可能である。代替として、加速度計を用いる方法が可能であり、この方法は、画像内に明瞭な基面（ｃｌｅａｒ ｇｒｏｕｎｄ−ｐｌａｎｅ）が存在しない場合には、より高速かつ確実である場合がある。本発明の諸態様は、ユーザが、カメラの動きおよび方位に基づいて画像を検索することを可能にする方法およびシステムを提供する。これは、従来のシステムとは対照的である。従来のシステムは、ユーザが、カメラの動きではなく、カメラのパン、ズーム、および対象物の動きによって動画を検索することを可能にする。
【００１７】
本発明の諸態様は、画像の取得時のカメラ方位を画像選択に用いる方法およびシステムを提供する。これは、従来のシステムとは対照的である。従来のシステムは、複数の異なる構成要素からなる画像の中の所望の構成要素の位置を、その構成要素が取得された後のカメラの現在位置に基づいて特定することが可能である。
【００１８】
ユーザ姿勢を測定して適切な画像を選択するために、ユーザの現在位置の高度グラフ（Ｅｌｅｖａｔｉｏｎ ｐｒｏｆｉｌｅ）を用いることが可能である。たとえば、ユーザが坂に直面している場合は、ユーザが視線を上に向けることが推定されることが可能であり、上向き方向で取得された画像が選択される。
【００１９】
動きに関しては、本発明の諸態様は、動き検出コントローラを使用してユーザの動きのタイプをモバイルナビゲーション装置に入力する方法およびシステムを提供する。コントローラの支援によりユーザによって入力された動きのタイプは、画像の取得に使用されたカメラの、一致する動きを見つけるために用いられる。本発明の諸態様は、ほぼ一致するカメラ動きで取得された画像を検索する。従来の動き検出コントローラのユーザは、コントローラを装着または保持しているときに、マッチングを行いたい動きを演じることにより、一致する動きシーケンスを検出する。本発明の諸態様はさらに、演じられた動きと、データベースに記憶されているクリップとのマッチングを行う。ただし、従来の方法とは異なり、本発明の方法およびシステムによって入力される動きは、取得された対象物の動きではなく、シーンまたは特定の対象物を取得したカメラの動きである。
【００２０】
本発明の諸態様は、カメラの動きをシーンの動きと区別し、さらに、動きが検出されない画像の要約を作成することが可能な方法およびシステムを提供する。本発明の諸態様は、これを、外部センサデータに依存することにより行う。これは、従来の動画要約方法とは対照的である。従来の動画要約方法は、単一ショットであるために動きが検出されない画像の要約には適用できない。これはさらに、カメラの真の動きをシーンの動きと区別することができない従来のシステムとは対照的である。
【００２１】
本発明の諸態様は、定常（静止）モード、内挿モード、および外挿モードを含む各種モードを、ユーザによって、ナビゲーション装置に含めることが可能である。定常モードは、静止しているユーザに関連する。内挿モードおよび外挿モードは、動いているユーザに関連する。いずれのモードも、確認画像または予測画像の表示に用いることが可能である。確認画像は、ユーザの現在位置および現在時刻においてユーザが見ているはずのランドマークに対応する。定常モードの場合、予測画像は、後刻の（たとえば、夜間の）画像に対応することが可能である。動きがあるモードの場合、予測画像は、ユーザの現在位置からの距離において見えるかどうかにかかわらず、予測され、近付いてくるランドマークに対応する。
【００２２】
定常モードが起動されるのは、ユーザが自分の現在位置をナビゲーション装置に要求した場合である。その後、ナビゲーション装置は、ユーザの現在位置の地図を提供することに加えて、現在位置におけるランドマークの静止画を含む。位置に加えて、提供された静止画と、ナビゲーション装置の姿勢から最大限推定された、ユーザの現在の姿勢、またはナビゲーション装置に入力された、ユーザの現在の姿勢とのマッチングが行われる。たとえば、ナビゲーション装置の背面が、ユーザが立っている交差点の北東の角に向かって上向きになっていて、その北東の角に像がある場合は、見上げられている像の光景が選択され、地図とともにモバイル装置に表示される。この例では、モバイル装置の姿勢は、ユーザの姿勢の代用として用いられる。さらに、このようにして、ユーザは、ナビゲーション装置によって与えられた地図で、自分の位置を、より容易かつ迅速に確認することが可能である。定常モードでは、ナビゲーション装置は、ユーザの現在位置に対応する地図と、ユーザまたはナビゲーション装置の姿勢に対応する、その位置でのランドマークの静止画とを取り出す。地図だけでは、あまりユーザフレンドリではない場合がある。たとえば、地図だけの場合、ユーザはさらに、街路名などの地図上の情報を、ユーザが街路の看板から読み取る情報で確認しなければならない。ただし、これは、看板が読めるほど十分に明るい場合である。地図上の点は、ユーザがどこに立っているかをユーザに示しているだけであり、ユーザがどの道のほうを向いているかを示していない。これに対し、ランドマークの適切な静止画が地図とともにあれば、ユーザが、迅速に自身を方向付け、行動手順を計画することの支援となることが可能である。
【００２３】
内挿モードが起動されるのは、ユーザが、現在の位置である第１の位置から第２の位置までの経路をナビゲーション装置に要求した場合である。内挿モードでは、ナビゲーション装置は、確認ランドマークか、予測され、近付いてくるランドマークを、地図とともに表示することが可能である。これらのランドマークは、ユーザがその経路に沿って進むにつれて、ユーザが、次に何が見えるかを予測できるように、またはそれらを遠くから見て、自分が正しい経路にあることを知るように、ナビゲーション装置に表示されることが可能である。ランドマークとして使用される光景は、ユーザまたはナビゲーション装置の現在の姿勢と、ユーザの動きとから推定される。たとえば、ナビゲーション装置が下を向いている場合、予測ランドマークは、その経路に沿って、カメラが見下ろしていた間に取得された静止画または動画に対応する。姿勢を内挿することはできないが、次の姿勢を決定する際に高度グラフを考慮することは可能である。たとえば、ユーザが丘を上ろうとしている場合は、ユーザ姿勢が上向きであると予測することが可能である。内挿モードでは、適切なランドマークの選択において、ユーザの移動方法が考慮されることが可能である。たとえば、ユーザが徒歩であることを加速度データが示している場合は、歩行者を対象とした交通看板がランドマークとして選択されることが可能である。ユーザが自転車に乗っている場合は、「この道路では自転車走行禁止」の看板がランドマークの１つとして表示されることが可能である。また、ユーザが自動車を運転している場合には、ナビゲーション装置に表示されるランドマークは、運転者が見ている光景の確認になるように選択される。
【００２４】
外挿モードが用いられるのは、ナビゲーション装置が、ユーザの動きに合わせて地図を更新し、ユーザの現在の位置と動きの方向および速さとに基づいて、ユーザの、外挿された位置を表示する場合である。このモードでは、ユーザは、目的地をナビゲーション装置に入力していない。ナビゲーション装置は、ユーザの未来の位置を外挿し、ユーザまたはナビゲーション装置の現在の姿勢と一致する予測ランドマークを提供することが可能である。この場合も、外挿された道路に沿って、現在の姿勢を、期待される姿勢に合わせて調節する際に、高度グラフが考慮されることが可能である。ユーザから遠くに見える予測ランドマークは、ユーザが正しい方向に動くことを支援する。確認画像は、すべてのモードで利用可能である。
【００２５】
本発明の第１の態様は、画像データベースを形成する方法であって、（ａ）取得画像データを受信し、（ｂ）前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、（ｃ）前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、（ｄ）前記関連メタデータを含む前記取得画像データのデータベースを形成する。
【００２６】
本発明の第２の態様は、第１の態様の画像データベース形成方法であって、前記カメラ方位データは、カメラ加速度データから導出される。
【００２７】
本発明の第３の態様は、第１の態様の画像データベース形成方法であって、前記取得画像データは動画像を含み、（ｃ）は、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含む。
【００２８】
本発明の第４の態様は、第１の態様の画像データベース形成方法であって、前記取得画像データは静止画像を含み、（ｃ）は、前記静止画像のヘッダとして、対応する前記カメラ位置および前記カメラ方位を前記関連メタデータとして埋め込むことを含む。
【００２９】
本発明の第５の態様は、第１の態様の画像データベース形成方法であって、前記カメラ方位データを、関連ダイアリメタデータとして、前記取得画像データと関連付けることにより、画像ダイアリを形成する、ことをさらに含む。
【００３０】
本発明の第６の態様は、第５の態様の画像データベース形成方法であって、選択されたユーザ姿勢に対応する画像の要求を受信し、前記関連ダイアリメタデータを検索することにより、前記画像ダイアリを検索し、前記選択されたユーザ姿勢と一致する前記関連ダイアリメタデータを有する前記取得画像データを取り出す、ことをさらに含む。
【００３１】
本発明の第７の態様は、ユーザのモバイル装置を用いてナビゲーションする方法であって、（ａ）モバイル装置位置およびモバイル装置姿勢を含むモバイル装置情報を取得し、（ｂ）ユーザ要求に対応する地図を受信し、（ｃ）前記地図に対応する、一致した画像を受信し、（ｄ）前記一致した画像を、前記地図とともに表示する。前記モバイル装置姿勢および前記モバイル装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像は、データベース画像を含むデータベースから選択される。
【００３２】
本発明の第８の態様は、第７の態様のナビゲーション方法であって、前記データベース画像は、静止画および動画クリップを含む。
【００３３】
本発明の第９の態様は、第７の態様のナビゲーション方法であって、前記一致した画像は、前記モバイル装置の現在位置を確認する確認一致画像、または、前記モバイル装置の次の位置を予測する予測一致画像となるように選択される。
【００３４】
本発明の第１０の態様は、第７の態様のナビゲーション方法であって、前記モバイル装置情報はさらに、モバイル装置の動きを含み、前記一致した画像は、前記モバイル装置の動きと、さらなるメタデータとして、前記データベース画像の各々と関連付けられたカメラ動きとのマッチングをさらに行うことにより、前記データベースから選択される。
【００３５】
本発明の第１１の態様は、第７の態様のナビゲーション方法であって、前記地図は、前記モバイル装置位置の地図である。
【００３６】
本発明の第１２の態様は、第７の態様のナビゲーション方法であって、前記地図は、第１の位置から第２の位置までの経路の、内挿された地図であり、前記第１の位置は、最初のモバイル装置位置に対応する。
【００３７】
本発明の第１３の態様は、第１０の態様のナビゲーション方法であって、前記地図は、前記モバイル装置位置からの、前記モバイル装置動きに従って生成されている経路の、外挿された地図であって、前記モバイル装置の動きはモバイル装置速度を含む。
【００３８】
本発明の第１４の態様は、第７の態様のナビゲーション方法であって、前記モバイル装置情報は、時刻データ、明暗データ、およびユーザタスクデータをさらに含み、前記時刻データは、季節データを含み、前記明暗データは、曇天状態および夜間状態を含み、さらに、前記時刻データ、前記明暗データ、および前記ユーザタスクデータと、さらなるメタデータとして前記データベース画像の各々に関連付けられた取得時刻、取得時の明暗状態、およびタスクデータとのマッチングを各々行うことにより、前記一致した画像が前記データベース画像を含む前記データベースから選択される。
【００３９】
本発明の第１５の態様は、第１４の態様のナビゲーション方法であって、前記ユーザタスクデータは、自転車に乗っていることを示し、前記一致した画像は、前記ユーザと類似の明暗状態の下で、前記ユーザと同じ季節に、前記ユーザと同じ経路に沿って、自転車に乗っていたカメラによって取得されており、前記一致した画像は、自転車に乗っている人が関心を持つ画像に対応する。
【００４０】
本発明の第１６の態様は、第７の態様のナビゲーション方法であって、（ａ）は、前記モバイル装置位置およびモバイル装置加速度を検出することを含み、前記モバイル装置姿勢は、前記モバイル装置加速度から導出される。
【００４１】
本発明の第１７の態様は、第７の態様のナビゲーション方法であって、（ａ）は、前記モバイル装置位置および前記モバイル装置姿勢を示す、前記ユーザによる入力を受信することを含む。
【００４２】
本発明の第１８の態様は、データベースシステムであって、取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する入力インタフェースと、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける、第１のプロセッサと、前記取得画像データを、前記関連メタデータとともに、記憶画像として記憶するデータベースと、ユーザ姿勢およびユーザ位置を含むユーザ要求を受信する受信機と、前記ユーザ姿勢および前記ユーザ位置が、前記記憶画像の前記カメラ方位データおよび前記カメラ位置データと一致する、一致した画像を決定する、第２のプロセッサと、前記ユーザ要求を送信したユーザに、前記一致した画像を送信する送信機と、を備える。
【００４３】
本発明の第１９の態様は、ナビゲーション用モバイル装置であって、モバイル装置位置を検出する全地球測位システムモジュールと、モバイル装置加速度を検出する加速度計と、前記モバイル装置加速度からユーザ姿勢を導出するプロセッサと、ユーザ要求を送信し、前記ユーザ要求に対応する地図を受信し、前記地図に対応する、一致した画像を受信する送受信機と、前記一致した画像を、前記地図とともに表示するディスプレイと、を備える。前記ユーザ姿勢および前記ユーザ装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像がデータベース画像を含むデータベースから選択される。
【００４４】
本発明の第２０の態様は、ナビゲーションシステムであって、ナビゲーション機能を有するモバイル装置と、前記モバイル装置と通信している画像データベースと、を備える。前記モバイル装置は、モバイル装置位置データおよびモバイル装置姿勢データを収集し、前記画像データベースにアクセスできる装置へ送信し、一致した画像を取得するために、前記モバイル装置位置データおよび前記モバイル装置姿勢データと、前記画像データベースにある画像に関連付けられたカメラ位置およびカメラ方位を示すメタデータとのマッチングが行われ、前記一致した画像は、前記モバイル装置へ送信され、前記一致した画像は、地図とともに、前記モバイル装置に表示される。
【００４５】
本発明の第２１の態様は、第２０の態様のナビゲーションシステムであって、前記地図は、現在のユーザ位置の地図、第１のユーザ位置と目的地位置との間の経路の地図、および前記モバイル装置の動きに応じて外挿される、前記第１のユーザ位置からの地図、から選択され、前記画像は、静止画および動画クリップを含む。
【００４６】
本発明の第２２の態様は、プログラムであって、コンピュータを、取得画像データを受信する手段と、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する手段と、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける手段と、前記関連メタデータを含む前記取得画像データのデータベースを形成する手段と、として機能させる。
【００４７】
本発明に関連する、さらなる態様が、一部は、後に続く記述で説明され、一部は、それらの記述から明らかになり、あるいは、本発明の実践によって知られるであろう。本発明の諸態様は、後に続く詳細説明ならびに添付の特許請求項で具体的に指摘されている諸要素ならびに各種の要素および態様の組み合わせにより、実現および達成されることが可能である。
【００４８】
前述および後述の説明は、いずれも例示的かつ説明的であるに過ぎず、特許請求対象の発明またはその応用を、いかなる形態であれ、限定するものではまったくないことを理解されたい。
【発明の効果】
【００４９】
本発明によれば、ユーザによるユーザ自身のよりよい方向付けを支援することができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の諸態様による、画像データベースを形成するフローチャートを示す。
【図２】本発明の諸態様による、画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図３】本発明の諸態様による、定常モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図４】本発明の諸態様による、内挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図５】本発明の諸態様による、外挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図６】本発明の諸態様によるモバイルナビゲーションアプリケーションを含むモバイル装置を示す。
【図７】本発明の諸態様による、ユーザ姿勢を推定することに対する、ユーザ位置の高度グラフの影響を示した図である。
【図８】本発明の諸態様による、姿勢に従って画像を検索する方法のフローチャートを示す。
【図９】本発明の諸態様による、姿勢に従って画像を検索する装置を示した図である。
【図１０】本発明のシステムが実装されることが可能なコンピュータプラットフォームの一例示的実施形態を示した図である。
【図１１】本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【図１２】本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【発明を実施するための形態】
【００５１】
添付図面は、本明細書に組み込まれ、本明細書の一部をなし、本発明の諸実施形態を例示し、本明細書とともに、本発明の手法の原理を説明および例示するように働く。
【００５２】
以下の詳細説明では、添付図面を参照する。添付図面では、同一の機能要素を同一の参照符号で示している。前述の添付図面は、本発明の原理に沿った、具体的な実施形態および実施態様を、限定ではなく例示として、示している。これらの実施態様は、当業者が本発明を実践できるように十分詳しく記載されており、また、他の実施態様も利用可能であること、ならびに、本発明の範囲および趣旨から逸脱することなく、各種要素の構造的変更および／または置き換えが可能であることを理解されたい。ゆえに、以下の詳細説明は、限定の意味にとられるべきではない。さらに、記載の、本発明の種々の実施形態は、汎用コンピュータで実行されるソフトウェアの形態で、または専用ハードウェアの形態で、またはソフトウェアとハードウェアの組み合わせの形態で実施されることが可能である。
【００５３】
以下の詳細説明は、画像のデータベースを収集し、その後、モバイルナビゲーション装置のユーザの、現在の位置、予定された経路または位置、または外挿（推定）された経路または位置に対応する画像（静止画または動画）を選択および提供することによって、ユーザが自分の位置を、より迅速に、かつ、あまり注意力を割かずに突き止めることを支援する、ナビゲーション方法およびナビゲーションシステムの例示的実施形態を提供する。以下の詳細説明はさらに、ユーザの位置および姿勢と一致する画像を、ナビゲーション地図とともに提供する機能を有するモバイル装置の例示的実施形態を提示する。
【００５４】
以下の説明では、位置は、ユーザまたはカメラの（ｘ，ｙ，ｚ）位置で表され、姿勢は、角度（θ，ψ，ω）で表される。角度（θ，ψ，ω）は、モバイル装置のディスプレイの法線ベクトルと反対の方向を向いているベクトルがＸ、Ｙ、Ｚの各座標軸となす角度である。モバイル装置のディスプレイは、通常はユーザのほうを向いており、モバイル装置の背面が、ユーザが見ている光景のほうを向いているため、ユーザが見ている方向を示すために、法線ベクトルと反対の方向を向いているベクトルが用いられる。方位は、単に、カメラの姿勢である。カメラの方位に応じて、カメラが向いている方向に延びるベクトルが、（ｘ，ｙ，ｚ）位置データを取得するために使用されるＸ、Ｙ、Ｚの３つの座標軸となす角度が決定される。前述の説明によれば、カメラで取得された画像は、６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）で定義され、ユーザが見ている光景も、６次元ベクトルｖ′（ｘ′，ｙ′，ｚ′，θ′，ψ′，ω′）で定義される。しかしながら、ユーザおよびカメラの位置と、カメラが向いている方向またはユーザが見ている方向とを表す定義である限り、他の任意の、一貫した定義を、位置、姿勢、および方位に用いることも可能である。たとえば、球座標系や円筒座標系のような代替座標系は、同じ情報を、より少ないパラメータで表すことが可能である。（ｘ，ｙ，ｚ）または同等の位置データは、全地球測位システム（ＧＰＳ）データから取得されることが可能である。
【００５５】
姿勢データは、たとえば、ユーザが、座って見上げているか、立って見下ろしているかを表すことを意図されている。方位データは、たとえば、特定の画像が取得されたときにカメラが上を向いていたか、下を向いていたかを表すことを意図されている。状況によっては、位置がｘおよびｙデータに限定され、ｚデータが必要とされない場合がある。
【００５６】
さらに、あらかじめ取得された画像と、ユーザが見ている現在の光景とのマッチングは、厳密である必要はない。１つまたは複数の一致条件に従って、あらかじめ取得された画像のうちの１つまたは複数の画像が選択されてよい。一致条件は、取得画像が、ユーザの現在位置と同じ位置において、かつ、ユーザが向いているか選択した現在角度と同じ角度で動作していたカメラによって取得されたものであることであってよい。その場合、前述のベクトル表記がカメラパラメータおよびユーザパラメータのために使用されるのであれば、ｖとｖ′とは等しくなければならない。別の例では、一致条件は、取得画像が、ユーザの現在のパラメータまたはユーザが入力した望ましいパラメータの許容範囲内にあることであってよい。この例では、ベクトル表記を用いると、ｖ′−ｕ＜ｖ＜ｖ′＋ｗであって、ｕおよびｗは、ｖおよびｖ′と同じ次元のベクトルであって、選択された画像ベクトルｖの許容範囲を与えるベクトルである。さらに別の例では、一致条件は、取得画像のうちの、ユーザの現在のパラメータまたは所望のパラメータに最も近い、１つまたは複数の取得画像として指定されてもよい。
【００５７】
本発明の諸態様は、モバイルナビゲーションシステムによってユーザに提示される地図に含められるべき適切な画像を選択する問題の解決策を与える。システム全体は、モバイルナビゲーション装置と通信可能な、収集された画像のデータベースと、このデータベースと通信する、そのモバイルナビゲーション装置とを含む。
【００５８】
本発明の諸態様は、静止画および動画クリップを含む、画像のデータベースを提供し、このデータベースにおいて、各画像は、関連メタデータを有する。この関連メタデータは、画像の位置と、この画像が取得されたときのカメラの方位とに関する情報を含む。この関連メタデータはさらに、画像が取得されたときのカメラの動きと、画像が取得された時刻と、明暗状態（ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）とに関する情報を含むことが可能である。時刻は、画像における季節的変化を示す暦時間を含む。明暗状態は、日中、夜間、曇天などの状態を含む。メタデータはまた、タスク固有のインジケータを含むことも可能である。たとえば、画像は、歩行者、自転車に乗っている人、または運転者の視点から取得されることが可能である。画像に関連付けられた情報の数が増えると、その画像データを表すベクトルの次元が増え、たとえば、時刻（ｔ）、明暗（ｌ）、およびタスク（ｓ）が含められ、９次元メタデータベクトル（ｘ，ｙ，ｚ，θ，ψ，ω，ｔ，ｌ，ｓ）が生成される。
【００５９】
本発明の諸態様は、ユーザに提示されるべき最も適切な画像を選択するために、ユーザの位置および姿勢と、画像を取得したカメラの位置および方位とのマッチングを行う。位置および姿勢に加えて、ユーザの動きと、カメラの動きとのマッチングも行われることが可能である。他のパラメータ（明暗状態、季節的変化、ユーザ固有タスクなど）のマッチングも行われることが可能である。たとえば、夜間にユーザに対して表示される画像は、やはり夜間に取得された画像である。冬期に特定の場所にいるユーザに対して表示される画像は、樹木に葉がない冬期にその場所で取得された画像である。自転車に乗っているユーザに対して表示される画像は、自転車に乗っている人の視点から取得された画像であり、運転者に対して表示される画像は、運転者の視点から取得された画像である。
【００６０】
本発明の諸態様は、各取得画像に６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）を関連付けることが可能である。そして、アクセスしているモバイル装置の６次元座標を用いてモバイル装置によって暗黙的に表されている情報と、データベース内の各取得画像に関連付けられたベクトルとのマッチングを行うことが可能である。マッチングを行うべきパラメータが増えると、関連メタデータベクトルおよび検出されるベクトルの次元が増える。
【００６１】
本発明の諸態様は、ユーザ情報の検出を行わずに、（たとえば、ユーザがどの光景を見たいかを示す）ユーザからの直接または間接の入力を受信することが可能である。この、本発明の態様では、ユーザは、自分の現在の姿勢に応じて、またはあらかじめ定義された基本設定に従って、またはグラフィックユーザインタフェース（ＧＵＩ）での選択に応じて、またはその他に応じて、所望のカメラ方位を指定する。このようにして、ユーザは、モバイル装置を、具合のよい角度で保持しながら、既に取り込まれている方位情報に従ってコンテンツにアクセスすることが可能である。たとえば、本発明の諸態様が、各取得画像に６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）を関連付ける場合は、望ましい一致情報を含み、６次元ベクトルｖ′（ｘ′，ｙ′，ｚ′，θ′，ψ′，ω′）を定義する、６個の情報を、ユーザが手動で明示的にモバイル装置に入力することが可能である。
【００６２】
本発明の諸態様は、定常モード、内挿モード、または外挿モードで動作可能である。定常モードは、立っているユーザの現在位置を確認するか、日が暮れてからその位置でユーザが見ることができそうなものをユーザに対して示す。内挿モードは、ユーザの周囲に見えているはずのランドマークの画像をユーザに提示して、ユーザの位置、またはユーザが予定の経路上で予期しているはずのランドマークの画像を確認する。外挿モードは、ユーザの動きの速度および方向に基づいてユーザの未来の位置を外挿し、自分がどこへ向かっているかがわからないユーザに対し、外挿された地図に沿って、確認画像または予測画像を提示する。
【００６３】
本発明の諸態様とは対照的に、画像ダイアリを作成する従来の方法では、何らかの特定の自動フィルタリングによる代表的画像の選択が行われない。さらに、動画データベースを検索する従来の検索ツールは、動画専用であって、静止画像には適用できない。これらの検索ツールは、メタデータを使用せず、動画の内容情報に依存して検索を実行する。従来の動画要約方法は、ＣＰＵを多用するか、信頼性に欠ける。たとえば、これらの方法では、カメラ自体の動きとシーンの動きとを区別することができない場合がある。これらの動画要約方法は、単一ショットであるために動きが検出されない静止画像の要約には適用できない。ユーザの動きを感知する従来の装置は、ユーザの現在の動きと、データベースまたはライブラリにある、利用可能な動きのクリップとのマッチングを行う。これらは、人間の動きと人間の動きとのマッチングを行う。これらは、人間の動きと、特定画像を取得したカメラの動きとのマッチングを行わない。したがって、これらは、ユーザのどの動きがカメラのどの動きに対応するかを外挿することができない。
【００６４】
図１は、本発明の諸態様による、画像データベースを形成するフローチャートを示す。
【００６５】
本方法は、１１０から始まる。１２０で、取得画像データ、カメラ位置データ、および加速度データが受信される。画像データは、静止画像データまたは動画データを含む。加速度データは、カメラに関連付けられた加速度計から受信されることが可能であり、カメラ方位データの導出に用いられることが可能である。１３０で、この取得または生成されたデータが、バッファに保存される。画像データ、カメラ位置データ、および加速度データは、独立した、タイムスタンプが付加され、リンクされたファイルに保存されることが可能である。１４０で、バッファリングされたデータが、所定の場所で処理されるか、オプションでリモートサーバへ送信されることが可能である。カメラ方位の推定は、リモートサーバから受信されるか、加速度データに基づいてローカルに取得される。取得されている画像が動画データの場合は、動画データ用の、タイムスタンプが付加されたイベントのリストが、リモートサーバから受信されるか、ローカルに取得される。タイムスタンプが付加されたイベントは、カメラの方位の変化に対応する。１５０で、カメラ位置およびカメラ方位が、画像データに、ヘッダとして埋め込まれる。動画データの場合は、カメラ方位の変化に従って、重要なトランジションにタグが付けられる。１６０で、画像が取得された日付および季節を含む時刻、日中または夜間照明か、曇天かの状態を含む明暗状態、および、歩行、自転車走行、または運転を示すタスク固有インジケータなどの情報を含む、他のメタデータが、オプションで、取得画像に関連付けられることが可能である。１７０で、画像のデータベースが作成され、このデータベースでは、各画像が、その画像に関連付けられ、その画像の種々の態様を識別するメタデータを有する。１８０で、本方法は終了する。
【００６６】
本発明の諸態様は、加速度データを長さｔのバッファに取り込む。ユーザが画像を取得するか、動画クリップの記録を開始すると、バッファ内の加速度データが、その取得済みメディアに一緒に保存される。画像データは、静止画であれ動画であれ、独立した、タイムスタンプが付加されたファイルに保存され、このファイルは、加速度データおよびカメラ方位データを保存しているファイルにリンクされている。バッファリングされたデータは、リモートサーバへ非同期で送信される。サーバは、受信されたデータを用いて、画像が取得された時刻に対応するカメラ方位の推定を返す。本発明の一態様では、この情報は、リモートサーバへ送信されずにローカルで処理されることが可能である。そして、取得時点でのカメラの方位は、取得済みメディアに、ヘッダとして埋め込まれる。動画像の場合は、加速度データも、動画の記録終了時まで保存される。その後、加速度データは、リモートサーバへ送信されるか、ローカルに処理されることが可能である。加速度データの処理結果として、継続時間中に動画の方位が変化したイベントのリスト（タイムスタンプ付き）が生成される。このデータは、保存され、動画内の重要なトランジションにタグを付ける際に使用されることが可能である。前述のように、各画像または動画クリップの関連メタデータは、少なくとも位置およびカメラ方位の情報を含むｎ次元ベクトルの形式であってよく、さらに多くの情報を、ベクトルの成分として含んでよい。
【００６７】
図２は、本発明の諸態様による、画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００６８】
本方法は、２１０から始まる。２２０で、モバイル装置の位置および加速度が測定される。他のデータ（動きや時刻など）も、この段階で検出されることが可能である。ユーザは、この時点以降に、自分の固有タスクをモバイル装置に入力することが可能である。２３０で、加速度および方位のデータに基づいて、ユーザ姿勢が導出される。ユーザ姿勢は、モバイル装置の姿勢から推定されることが可能であり、あるいは、別個の装置で独立に測定されて、モバイル装置に入力されることが可能である。２４０で、ユーザの要求に対応する地図（たとえば、街路地図）が、ユーザに対する表示のために取り出される。ユーザは、自分の現在位置の地図（自分の現在位置と目的地との間の経路）を要求することが可能であり、あるいは、モバイル装置が、ユーザの動き速度に基づいて、ユーザの代わりに外挿した進路をプロットできるようにすることが可能である。速度は、速さと方向とを含む。２５０で、ユーザまたはモバイル装置の位置および導出された姿勢が、データベースにある画像のカメラ位置および方位と比較されて、ユーザに対して表示されるべき一致した画像が選択される。一致して選択される画像は、静止画像であっても動画クリップであってもよい。検索された画像は、モバイル装置について決定された位置と同じ位置、またはモバイル装置の、内挿された位置および外挿された位置に対応する。２６０で、一致した画像が、地図と関連付けられて表示される。ほとんどのモバイル装置のディスプレイは小さいので、選択された画像は、地図の側部に、画像に対応する地図上の位置を示す点または矢印とともに表示されることが可能である。２７０で、本方法は終了する。
【００６９】
本発明の一代替態様では、２２０でモバイル装置情報を検出して、２３０でユーザ姿勢を導出する代わりに、この情報および他の情報が、ユーザによって、明示的に、かつ手動で入力されることが可能である。ユーザは、別の角度、または当該年の別の季節（時刻がデータベースにおいて利用可能なパラメータの１つである場合）に関連する光景を見ることを望むことが可能であり、ユーザは、自分のモバイル装置を特定方向に向ける代わりに、所望の姿勢をモバイル装置へ入力する。
【００７０】
本発明の一態様は、画像の取得時の、装置に埋め込まれた３軸加速度計の状態から導出されたカメラの姿勢および方位を利用する、メディアの選択および検索の方法を提供する。
【００７１】
取得済みメディアおよび関連付けられた姿勢および方位の情報のセットが与えられた場合、本発明の諸態様は、モバイルユーザの位置および動きに基づいて、関連するメディア断片（ｓｎｉｐｐｅｔｓ）をモバイルユーザに提供する。
【００７２】
モバイル装置の位置および姿勢のパラメータが、画像の取得時のカメラの位置および方位のパラメータと比較され、パラメータが一致する画像が選択される。
【００７３】
たとえば、特定の場所で、モバイルナビゲーション装置の姿勢が下向きである場合、本発明の諸態様によるモバイル静止画検索インタフェースは、同じ場所に位置して、画像の取得に使用されたカメラから見て下方に位置していた、花が咲いている低木の茂みの取得静止画を取り出す。その同じ場所で、モバイルナビゲーション装置の姿勢が上向きである場合、モバイル静止画検索インタフェースは、同じ場所で画像の取得に使用されたカメラから見て上方にあった、花が咲いている樹木の取得静止画を取り出す。別の例として、ユーザに対して表示される動画要約が、検索時にモバイル装置から見て上方に位置して、取得時にカメラから見て上方に位置していた空の取得動画クリップを表示することが可能であり、一方で、モバイル装置と画像を取得したカメラとから見て下方に位置していた水の流れの取得動画クリップを除外することが可能である。
【００７４】
必要に応じて、さらなるパラメータのマッチングを行うことが可能である。たとえば、取得画像のデータベースの検索時に、動き、季節的変化、明暗の変化、およびユーザのタスクを、マッチングパラメータとして用いることが可能である。さらに多くのパラメータをマッチング処理で用いる場合、パラメータは、取得時に記録されているか、他の何らかのデータの処理から導出される必要がある。たとえば、同じ場所でも冬と夏とでは違って見えるのが普通であることを考慮すれば、時刻データが、日付データを含むことが可能であり、日付データが、季節データの導出に用いられることが可能である。時刻データはさらに、画像が夜間に取得されたか、日中に取得されたかを導出することに用いられることが可能である。他の明暗要因（たとえば、夜間の月の光や、日中の曇天など）を示すために、明暗データを、時刻データとは別に使用することが可能である。さらなるパラメータが、検索可能であるように、メタデータとして画像データに添付される。タスクデータは、海外の観光、これとは異なる仕事のための歩行、自転車走行、運転、または動きを意味する。ビジネス旅行者が銀行を探している場合もあれば、観光旅行者が教会を探している場合もある。
【００７５】
図３は、本発明の諸態様による、定常モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００７６】
定常モードでは、ユーザは、１つの場所に立っていて、その場所における自分の状況を確認するために周囲を見回している。交差点に立っている場合は、ユーザの位置を点で示した、交差点の地図が、ほとんどのナビゲーションシステムによって提供されることが可能である。しかしながら、そのような地図では、ユーザは、街路名を読まない限り、自分がどの方向を向いているのかわからないままである。看板がいかに十分に整備されているか、またはいかに十分に照明がされているか、あるいは、ユーザが何歳か、またはどのくらい文字が読めるかによっては、街路名を読むことが困難な場合がある。定常モードは、ユーザが地図上のどこにいて、どこを向いているかを、ユーザがすぐに理解することを可能にする、容易に識別可能な画像をユーザに提供する。
【００７７】
本方法は、３１０から始まる。３２０で、モバイル装置は、自身の位置および加速度を検出する。３３０で、モバイル装置、またはモバイル装置と通信しているサーバのいずれかにおいて、検出された加速度からユーザ姿勢が導出される。ユーザ姿勢は、モバイル装置の姿勢から導出される。代替として、ユーザ姿勢が別個に測定されて、モバイル装置に入力されることが可能であり、さらには、ユーザの所望の任意の姿勢が、手動でモバイル装置に入力されることが可能である。３４０で、モバイル装置の位置に対応する地図が、モバイル装置によって受信される。３５０で、一致した（対応する）画像が、モバイル装置において受信される。これらの画像のマッチングは、画像データベースがある場所で行われる。位置およびユーザ姿勢のデータと、データベースにある画像の位置およびカメラ方位との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。３４０および３５０の両ステップは、同じサーバで実行される場合には、並行して実行されることが可能であり、一致した画像と地図とが、モバイル装置に同時に到着する。３６０で、モバイル装置は、それらの一致した画像を、地図と関連付けて表示する。これらの画像は、ディスプレイサイズが許せば地図上に表示されることが可能であり、あるいは、地図の側部に表示され、各画像の地図上の位置がマーキングされることが可能である。３７０で、本方法は終了する。
【００７８】
図４は、本発明の諸態様による、内挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００７９】
内挿モードでは、ユーザは、所定の経路に沿って移動していて、モバイル装置は、現在ユーザが見ているはずの画像、または近い未来に見ると予測される画像を、ユーザに対して表示する。ユーザは、自分の現在位置から目的地までの経路を示す地図を要求することが可能である。ユーザが経路に沿って移動するにつれて、モバイル装置は、ユーザの現在位置または予測位置のいずれか、ならびにユーザ姿勢と、画像データベースにある画像の位置およびカメラ方位とのマッチングを行う。一致した画像は、静止画であっても動画クリップであってもよい。一致した画像は、モバイル装置において受信され、ユーザに対して表示される。ユーザの基本設定に応じて、ユーザは、このモードを用いて、自分が見ているはずのランドマークを表示させることにより、自分が正しい経路にいることを再確認することが可能である。代替として、ユーザは、このモードを用いて、予測されるランドマークおよび画像を表示させることにより、次に見えるはずのものを予測して、道をより早く知ることが可能である。どの静止画または動画クリップをユーザに対して表示するかを決定するために、ユーザの動きのデータが用いられる。
【００８０】
本方法は、４１０から始まる。４２０で、モバイル装置は、自身の位置、動き、および加速度を検出する。４３０で、モバイル装置、またはモバイル装置と通信しているサーバのいずれかにおいて、検出された加速度からユーザ姿勢が導出される。４４０で、要求された経路に対応する地図が、モバイル装置によって受信される。ユーザは、自分の現在位置から目的地までの経路の地図を要求することが可能である。４５０で、モバイル装置の動きデータを用いて、近い未来のユーザの予測位置が導出される。動きデータは、経路があらかじめ決まっていて、ユーザがその経路に留まる限りは、速さだけを含んでいればよく、あるいは、速さと方向の両方を含んでいてもよい。経路が決定されたら、高度グラフを用いて、現在の姿勢を、期待される姿勢に合わせて調節することが可能である。たとえば、丘が近付いてくると、現在はまっすぐ前方を見ているユーザが、上を向く可能性が高い。４６０で、一致した（対応する）画像が、モバイル装置において受信され、表示される。これらの画像は、静止画像であっても、動画クリップであってもよく、画像データベースがある処理場所においてマッチングが行われる。ユーザ姿勢データまたは調節された姿勢データ、および予測位置と、データベースにある画像のカメラ方位および位置との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。一致した画像は、地図と関連付けられて表示される。これらの画像は、ユーザが経路上を移動し続けている場合には、ユーザが見ているか、すぐにユーザから見えるようになるはずのランドマークの静止画であってよく、あるいは、ユーザが見ているか、地図にある経路に沿ってすぐに見えてくる画像の動画クリップであってよい。動画クリップが選択された場合は、ユーザの動きデータと、動画カメラの動きとのマッチングも行われる。４７０で、本方法は終了する。一致したデータの一部は、モバイル装置によって検出されたり、検出されたデータから導出されたりする代わりに、ユーザによって明示的に入力されることが可能である。
【００８１】
図５は、本発明の諸態様による、外挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００８２】
外挿モードが用いられるのは、ユーザの動きの（速さと方向の両方を含む）速度が既知であって、ユーザが通りそうな経路がユーザの現在位置から外挿されることが可能な場合である。ただし、目的地がモバイル装置に与えられていないため、経路は、最後まで既知にならない。このモードでは、確認画像または予測画像が、外挿された経路と関連付けられて表示されることが可能である。予測画像を表示することと、さらに、カメラの動きがユーザの動きと一致する動画クリップのマッチングを行うこととに関して、ユーザの動きが考慮されることが可能である。ユーザの現在の姿勢を調節することに関して、近付いてくる地形の高度グラフが考慮されることが可能である。
【００８３】
本方法は、５１０から始まる。５２０で、モバイル装置は、自身の位置、加速度、および動きを検出する。５３０で、検出された加速度から、ユーザ姿勢が導出される。５４０で、外挿された経路に対応する地図が、モバイル装置によって受信される。このモードでは、経路の外挿に、現在の動きデータが用いられる。外挿を可能にするためには、動きデータが速さと方向の両方を一緒に含まなければならない。５５０で、一致した（対応する）画像が、モバイル装置において受信され、表示される。これらの画像は、静止画像であっても動画クリップであってもよい。ユーザ姿勢データ、および現在位置または外挿された位置と、データベースにある画像のカメラ方位および位置との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。動画クリップが選択された場合は、ユーザの動きデータと、動画カメラの動きとのマッチングも行われることが可能である。姿勢データは、高度グラフに対して調節されることが可能である。５６０で、一致した画像が、経路を示す地図と関連付けられて表示される。これらの画像は、外挿された地図に基づいて、確認画像または予測画像として選択されることが可能である。５７０で、本方法は終了する。一致したデータの一部は、モバイル装置によって検出されたり、検出されたデータから導出されたりする代わりに、ユーザによって明示的に入力されることが可能である。
【００８４】
図６は、本発明の諸態様によるモバイルナビゲーションアプリケーションを含むモバイル装置を示す。
【００８５】
図６は、モバイルナビゲーション装置６００を示す。この図では、画像６３０および６４０が、取得時のカメラの方位と、ユーザの位置６１０とに基づいて選択されている。最下部にある画像６３２、６４２は、カメラの角度が不適当であるために却下された。
【００８６】
モバイルナビゲーション装置６００の画面では、ユーザに対して地図６０５が表示されている。ユーザの位置は、点６１０で示されている。地図６０５には、建物６２０、道路６２０、および他の地図関連特徴６２０も示されている。さらに、画像６３０および６４０は、モバイルナビゲーション装置６００に表示される。これらの画像は、ユーザが現在位置６１０から地図上の位置６３１および６４１の方を見たときに見えるであろう光景に、各々対応する。位置６１０に立っているユーザが持っているモバイルナビゲーション装置は、上向きの方位であり姿勢である。したがって、画像６３０および６４０は、ユーザが現在６１０に立っていて上を向いている、その場所に位置するカメラで取得された画像と一致する。家の画像６３０が取得されたときにはカメラが見上げていたために、この家は、下部が広く、上部が狭く見える。同様に、給水塔の画像６４０が取得されたときもカメラが見上げていたために、この給水塔は図のように見える。画像６３２および６４２は、各々、地図上の６３１および６４１に位置する、６３０および６４０で示されているものと同じ家および同じ給水塔の画像である。しかしながら、画像６３２および６４２は、方位または姿勢が異なるカメラで取得されている。これらの画像６３２、６４２では、カメラが対象物に近すぎたために、家の上部が画像６３２に入らず、画像６４２では給水塔の両側部が平行に見える。したがって、画像６３２および６４２は、却下され、モバイルナビゲーション装置６００のディスプレイには含まれていない。もしカメラが同じ対象物またはランドマークを、角度を付けて見下ろしていたとすれば、各対象物の第３の光景がさらに、データベースにおいて利用可能であったろうが、ここでは、該第３の光景はシステムによって却下されるであろう。
【００８７】
図６に示された、本発明の態様は、ユーザに対して静止画像を提示する。本発明の一態様では、静止画像６３０、６４０の代わりに動画クリップが用いられることが可能である。たとえば、撮影者が歩いたり、立ち止まったりする間に、動画カメラによって動画像が取得されることが可能である。歩いている間に取得されたセグメントが、立ち止まっている間に取得されたセグメントにはさまれている場合は、これらのセグメントにタグを付けることが可能である。そして、立ち止まっている間に取得された、前後のセグメントから、歩いている間に取得されたセグメントを選択することにより、オリジナルの長いクリップから動画断片を抽出することが可能である。別の例として、動画クリップの、カメラが環状に下向きにパンする部分を、ユーザが容易に取り出すことも可能である。たとえば、坂を下るスキーヤを追う別のスキーヤがカメラを装着している場合である。
【００８８】
これらの照会は、従来型のＧＵＩを使用するユーザによって、能動的に、画像を含むデータベースに入力されることが可能である。代替として、ユーザがユーザの環境内で物理的に動いたときに、システムによって、適切な照会（検索条件）が自動的に構築されることが可能である。たとえば、森の中を自転車で走行しているユーザが、同様に動いていた撮影者のカメラで取得された静止画を取得するであろう。これにより、このユーザの活動にとって、より関係がある静止画（たとえば、「道の右側（ｒｉｇｈｔ ｔｒａｉｌ）では自転車走行禁止」という看板）が取り出されるであろう。ハイカーであれば、同じ静止画をシステムから受信することはないであろう。
【００８９】
図６に示されるように、ユーザの現在位置またはその近くにあったカメラで取得された、地図上の異なる位置に関連付けられた２つ以上の画像を見ることをユーザが選択した場合は、その２つ以上の画像が同時にモバイル装置に表示されることが可能である。前述のように、地図上の位置は、モバイル装置によって自動的に検出される代わりに、ユーザによって手動で入力されることが可能である。さらに、前述のように、これらの画像は、様々な一致条件に従って選択されることが可能であり、これらの一致条件は、ほぼ厳密な一致が必要であってもよく、より寛容であって、ユーザのパラメータとおおむね一致している画像を受け入れるものであってもよい。
【００９０】
図７は、本発明の諸態様による、ユーザ姿勢を推定することに対する、ユーザ位置の高度グラフの影響を示す。
【００９１】
姿勢は、次に来る高度グラフに従って調節されることが可能である。さらに、姿勢を高度グラフと組み合わせて、モバイルナビゲーション用に選択された画像を調節することが可能である。図７に示された３つのシナリオでは、高度グラフがユーザに対し、前方をまっすぐ見る（７０１）、見上げる（７０２）、または見下ろす（７０３）ように促している。この状況では、動きを用いて、姿勢を予測することが可能であり、したがって、表示するメディアを予測することが可能である。たとえば、ユーザが階段を下りようとしているときは、システムは、カメラが見下ろしていた場合の静止画および動画断片を自動的に表示することが可能であり、たとえ、階段の一番上にいるユーザの現在の姿勢が、前方または上方を見ているように登録されていても、同様の方位の静止画および動画断片を表示することが可能である。そして、ユーザは、その後、下っていく階段の画像だけを見ることができる。
【００９２】
モバイルナビゲーションタスクでは、環境内で容易に認識可能なランドマークを提示して方向付けを支援することを行わない場合には、標準的な地図は、ユーザを案内するのに不十分であることが多い。本発明の諸態様を用いると、このようなランドマークは、カメラが上方を向いていた間、および／または、このメディアを取得していたユーザが立っていた間に取得された、取得済みメディアをユーザに対して表示することにより、自動的に選択される。姿勢と位置データの高度部分とを組み合わせることにより、姿勢のうちの、方位と、立ち上がっているか、横になっているかの態様との両方が決定される。この姿勢情報を、ＯＣＲ、物体認識、または高度グラフと組み合わせることにより、ナビゲーションに特に有用な静止画を検出することも可能である。
【００９３】
図８は、本発明の諸態様による、姿勢に従って画像ダイアリから画像を検索する方法を示す。
【００９４】
一日の間に取得された画像からなる画像ダイアリは、姿勢データのマッチングを行うことにより、容易かつ迅速に検索されることが可能である。本発明の諸態様の方法およびシステムは、たとえば、観光をした日の後にメディアを検索することに用いられることが可能である。たとえば、ユーザは、「私が自分のカメラで見下ろしていた時刻」の動画断片または静止画を素早く見つけることが可能である。収集物を検索および閲覧するためのユーザインタフェースは、アイコンを用いて、様々な種類の姿勢および動きを表すことが可能である。
【００９５】
図８に示された一例示的方法は、８１０から始まる。８２０で、画像ダイアリ装置が、取得画像データおよび加速度データを受信する。８３０で、画像ダイアリ装置（または画像ダイアリ装置と通信しているサーバ）は、加速度データからカメラ方位データを生成する。８４０で、カメラ方位データが、メタデータとして、各画像に関連付けられる。８５０で、画像ダイアリ装置は、ユーザの特定の姿勢から見える画像の要求を受信し、関連メタデータを検索することにより、その、ユーザの特定の姿勢に対応する取得画像が検索される。ユーザ姿勢とカメラ方位とは、互いの代用として取得されることが可能である。８６０で、要求された姿勢または方位に対応する画像が取り出される。８７０で、本方法は終了する。
【００９６】
図９は、本発明の諸態様による、姿勢に従って画像を検索する画像ダイアリ装置を示す。
【００９７】
この図には、本発明の諸態様による画像ダイアリ装置９００が示されている。この画像ダイアリ装置は、ユーザインタフェースにもなるディスプレイを含むことが可能である。代替として、この画像ダイアリ装置は、独立したディスプレイ９１０と、ユーザ入力インタフェース９２０とを含むことも可能である。ユーザ入力インタフェース９２０は、グラフィックユーザインタフェースであってよい。ユーザインタフェース９２０は、収集画像の検索および閲覧に用いられ、様々な種類の姿勢および動きを表すアイコン９３１、９３２を含む。見上げている人物に対応するアイコン９３２をアクティブにすると、画像ダイアリに記憶されている画像の中から、カメラが対象物を見上げていたときに取得された画像であることを示すメタデータを有する画素が検索される。たとえば、画像ダイアリから取り出されてディスプレイ９１０に表示されている画像９１１は、街灯柱の灯りを下から見上げているときの街灯柱の画像である。
【００９８】
図１０は、本発明の方法の一実施形態が実装されることが可能なコンピュータ／サーバシステム１０００の一実施形態を示すブロック図である。
【００９９】
システム１０００は、コンピュータ／サーバプラットフォーム１００１、周辺装置１００２、およびネットワークリソース１００３を含んでいる。
【０１００】
コンピュータプラットフォーム１００１は、コンピュータプラットフォーム１００１の種々の部分のすべてにわたって、かつ、各々の部分の間で情報を伝達するためのデータバス１００４または他の通信機構と、バス１００４と結合されて、情報を処理し、他の計算タスクおよび制御タスクを実行するプロセッサ（ＣＰＵ）１００５と、を含むことが可能である。コンピュータプラットフォーム１００１はさらに、バス１００４と結合されて、種々の情報ならびに（プロセッサ１００５で実行される）命令を記憶する揮発性記憶装置１００６（たとえば、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置）を含んでいる。揮発性記憶装置１００６はさらに、プロセッサ１００５で命令が実行されている間に、一時変数または他の中間情報を記憶することに用いられることが可能である。コンピュータプラットフォーム１００１はさらに、バス１００４と結合されて、静的情報およびプロセッサ１００５用の命令（基本入出力システム（ＢＩＯＳ）など）、ならびに種々のシステム構成パラメータを記憶する読み出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）１００７または他の静的記憶装置を含むことが可能である。情報および命令を記憶するために、永続的記憶装置１００８（たとえば、磁気ディスク、光ディスク、固体フラッシュメモリ素子など）が提供され、バス１００４と結合されている。
【０１０１】
コンピュータ１００１は、バス１００４を介してディスプレイ１００９（ブラウン管（ＣＲＴ）、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）など）と結合されることが可能であり、ディスプレイ１００９は、コンピュータプラットフォーム１００１のシステム管理者またはユーザに対して情報を表示する。英数字キーおよび他のキーを含む入力装置（キーボード）１０１０が、バス１００４と結合され、情報およびコマンド選択をプロセッサ１００５に伝達する。別のタイプのユーザ入力装置が、マウスやトラックボールやカーソル方向キーのようなカーソル制御装置１０１１であり、方向情報およびコマンド選択をプロセッサ１００５に伝達し、ディスプレイ１００９上のカーソルの動きを制御する。この入力装置は、一般的には、平面内の位置を指定することを可能にする２つの軸、すなわち、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）の形態で自由度２を有する。
【０１０２】
コンピュータプラットフォーム１００１に追加の、または着脱可能な記憶容量を提供するために、外部記憶装置１０１２が、バス１００４を介して、コンピュータプラットフォーム１００１に接続されることが可能である。コンピュータシステム１０００の一実施形態では、外部着脱可能記憶装置１０１２は、他のコンピュータシステムとのデータ交換を容易にするために用いられることが可能である。
【０１０３】
本発明は、本明細書に記載の手法を実施するためにコンピュータシステム１０００を使用することに関する。一実施形態では、本発明のシステムは、コンピュータプラットフォーム１００１のようなマシンに常駐することが可能である。本発明の一実施形態によれば、本明細書に記載の手法は、揮発性記憶装置（メモリ）１００６に収容された１つまたは複数の命令の１つまたは複数のシーケンスをプロセッサ１００５が実行することに対する応答として、コンピュータシステム１０００によって実行される。このような命令は、別のコンピュータ可読媒体（永続的記憶装置１００８など）から揮発性記憶装置（メモリ）１００６に読み込まれることが可能である。揮発性メモリ１００６に収容された命令のシーケンスの実行が、プロセッサ１００５による、本明細書に記載の処理ステップの実行を引き起こす。代替実施形態では、本発明を実施するために、ソフトウェア命令の代わりに、あるいは、ソフトウェア命令との組み合わせで、ハードワイヤード回路が用いられることが可能である。したがって、本発明の諸実施形態は、ハードウェア回路とソフトウェアとの、何らかの特定の組み合わせに限定されない。
【０１０４】
本明細書では、「コンピュータ可読媒体」という用語は、命令を、実行のためにプロセッサ１００５に提供することに関与する任意の媒体を意味する。コンピュータ可読媒体は、本明細書に記載の方法および／または手法のいずれかを実施する命令を伝送することが可能なマシン可読媒体の一例に過ぎない。このような媒体は、様々な形態であってよく、たとえば、不揮発性媒体、揮発性媒体、伝送媒体などであってよく、これらに限定されない。不揮発性媒体としては、たとえば、記憶装置１００８のような、光ディスクや磁気ディスクがある。揮発性媒体としては、揮発性記憶装置１００６のような動的メモリがある。伝送媒体としては、データバス１００４を構成するワイヤを含む、同軸ケーブル、銅線、光ファイバなどがある。
【０１０５】
コンピュータ可読媒体の一般的形態としては、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、他の任意の孔パターン付き物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、他の任意のメモリチップまたはカートリッジ、または、他の任意の、コンピュータが読み取ることが可能な媒体がある。
【０１０６】
１つまたは複数の命令の１つまたは複数のシーケンスを実行のためにプロセッサ１００５へ伝送することには、様々な形式のコンピュータ可読媒体を関与させることが可能である。たとえば、これらの命令を、遠くのコンピュータから磁気ディスクで運ぶことが可能である。代替として、遠くのコンピュータが、命令を動的メモリにロードして、それらの命令を、モデムを用いて電話回線経由で送信することが可能である。コンピュータシステム１０００の近くにあるモデムが、電話回線からデータを受信し、赤外線送信機を用いて、そのデータを赤外線信号に変換することが可能である。その赤外線信号で搬送されたデータを、赤外線検出器が受信することが可能であり、しかるべき回路が、そのデータをデータバス１００４に載せることが可能である。バス１００４は、データを揮発性記憶装置１００６へ伝送し、プロセッサ１００５が命令を揮発性記憶装置１００６から取り出して実行する。揮発性記憶装置（メモリ）１００６で受信された命令は、オプションで、プロセッサ１００５による実行の前または後に、永続的記憶装置１００８に記憶されることが可能である。これらの命令はさらに、当該技術分野でよく知られている様々なネットワークデータ通信プロトコルを用いて、インターネット経由でコンピュータプラットフォーム１００１にダウンロードされることが可能である。
【０１０７】
コンピュータプラットフォーム１００１はさらに、データバス１００４と結合されているネットワークインタフェースカード１０１３のような通信インタフェースを含んでいる。通信インタフェース１０１３は、ローカルエリアネットワーク（ＬＡＮ）１０１５に接続されたネットワークリンク１０１４との双方向データ通信結合を提供する。たとえば、通信インタフェース１０１３は、対応するタイプの電話回線とのデータ通信接続を提供する統合サービスデジタルネットワーク（ＩＳＤＮ）カードまたはモデムであってよい。別の例として、通信インタフェース１０１３は、互換ＬＡＮとのデータ通信接続を提供するローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であってよい。よく知られている１００２．１１ａ、１００２．１１ｂ、１００２．１１ｇ、Ｂｌｕｅｔｏｏｔｈなどの無線リンクも、ネットワーク実装に使用されることが可能である。このような実装のいずれにおいても、通信インタフェース１０１３は、様々なタイプの情報を表現するデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送信および受信する。
【０１０８】
ネットワークリンク１０１３は、典型的には、１つまたは複数のネットワークを経由して、他のネットワークリソースとのデータ通信を提供する。たとえば、ネットワークリンク１０１４は、ＬＡＮ １０１５を経由して、ホストコンピュータ１０１６、またはネットワーク記憶装置／サーバ１０２２との接続を提供することが可能である。さらに、または代替として、ネットワークリンク１０１４は、ゲートウェイ／ファイアウォール１０１７を経由して、ワイドエリアネットワークまたはグローバルネットワーク１０１８（インターネットなど）と接続することが可能である。したがって、コンピュータプラットフォーム１００１は、インターネット１０１８上の任意の場所にあるネットワークリソース（たとえば、リモートネットワーク記憶装置／サーバ１０１９）にアクセスすることが可能である。一方、コンピュータプラットフォーム１００１は、ＬＡＮ １０１５および／またはインターネット１０１８上の任意の場所にあるクライアントによってアクセスされることも可能である。ネットワーククライアント１０２０および１０２１は、それら自体が、プラットフォーム１００１と同等のコンピュータプラットフォームをベースとして実装されてよい。
【０１０９】
ＬＡＮ １０１５およびインターネット１０１８は、両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータプラットフォーム１００１を出入りするデジタルデータを搬送する、各種ネットワークを通る信号、ならびに、ネットワークリンク１０１４上にあって通信インタフェース１０１３を通る信号は、情報を搬送する搬送波の例示的形態である。
【０１１０】
コンピュータプラットフォーム１００１は、インターネット１０１８およびＬＡＮ １０１５、ネットワークリンク１０１４、および通信インタフェース１０１３を含む様々なネットワークを経由して、メッセージを送信し、プログラムコードを含むデータを受信することが可能である。インターネットの例では、システム１００１がネットワークサーバとして動作する場合、システム１００１は、クライアント１０２０および／または１０２１で動作するアプリケーションプログラムのための、要求されたコードまたはデータを、インターネット１０１８、ゲートウェイ／ファイアウォール１０１７、ＬＡＮ １０１５、および通信インタフェース１０１３を経由して、送信することが可能である。同様に、システム１００１は、他のネットワークリソースからコードを受信することが可能である。
【０１１１】
受信されたコードは、受信された時点でプロセッサ１００５によって実行されることが可能であり、かつ／または、後での実行のために、永続的記憶装置１００８または揮発性記憶装置１００６、あるいは他の不揮発性記憶装置に記憶されることが可能である。このようにして、コンピュータシステム１００１は、アプリケーションコードを搬送波の形態で取得することが可能である。
【０１１２】
図１１および図１２は、本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【０１１３】
ユーザ装置１１００は、ユーザ装置で受信された地図データおよび画像、またはユーザ装置で感知されたデータ、またはユーザによってユーザ装置に入力されたデータを処理するために使用される処理ユニット１１０１およびＲＡＭ／ＲＯＭユニット１１０２を含んでいる。地図データは、セントラルサーバ１２００に内蔵されたデータベース１２０１から受信されることが可能である。位置および姿勢のデータは、ユーザ装置で感知されるか、ユーザによって入力されることが可能である。地図および画像を受信し、収集されたデータをセントラルサーバ１２００に送信するために、入出力インタフェース１１０３が用いられることが可能である。入出力インタフェース１１０３はさらに、所望の方向を向くためのカメラを含むことが可能である。ユーザは、追加のユーザ入力ユニット１１０４からユーザ装置に、ユーザの選択または基本設定を入力することが可能であり、ディスプレイ１１０５を用いて、ディスプレイ上で地図およびランドマークを見る。ユーザ装置１１００の位置を測定するために、ＧＰＳロケータ１１０６が用いられることが可能であり、ユーザ装置１１００の姿勢を測定するために、加速度計１１０７が用いられることが可能である。
【０１１４】
最後に、本明細書に記載の方法および手法は、いかなる特定の装置にも本質的に関連するものではなく、構成要素の任意の好適な組み合わせで実装されることが可能であることを理解されたい。さらに、本明細書に記載の教示に従って、様々なタイプの汎用装置を使用することが可能である。また、本明細書に記載の方法ステップを実行するために専用装置を構築することが有利であることも明らかであろう。本発明は、特定の例に関して説明されてきたが、これらの例は、あらゆる点において、制限的ではなく、例示的であることが意図されている。当業者であれば理解されるように、本発明の実践には、ハードウェア、ソフトウェア、およびファームウェアの、多くの様々な組み合わせが好適である。たとえば、記載のソフトウェアは、様々な種類のプログラミング言語やスクリプト言語（たとえば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）など）で実装可能である。
【０１１５】
さらに、当業者であれば、本明細書を検討し、本明細書で開示された本発明を実践することにより、本発明の他の実施態様が明らかになるであろう。記載の諸実施形態の各種態様および／または構成要素は、本発明の画像作成およびナビゲーションシステムにおいて、単独に、または任意の組み合わせで、使用されることが可能である。本明細書および実施例は単に例示的であるとみなされるべきものとし、本発明の真の範囲および趣旨は、添付の特許請求の範囲およびそれらの等価物によって示されるものとする。
【符号の説明】
【０１１６】
６００ モバイルナビゲーション装置
６０５ 地図
６１０ ユーザの位置
６２０ 地図関連特徴
６３０、６３２、６４０、６４２ 画像
９００ 画像ダイアリ装置
９１０ ディスプレイ
９１１ 画像
９２０ ユーザインタフェース
９３１、９３２ アイコン
【技術分野】
【０００１】
本発明は、ナビゲーションの方法およびシステムに関し、より詳細には、モバイル装置をナビゲーションに用いることに関する。本発明はさらに、画像データベースに関し、より詳細には、画像データベースの検索に関する。さらに、詳細には、画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラムに関する。
【背景技術】
【０００２】
未知の街路や都市をナビゲートすることは、様々なタイプの分野（たとえば、パーソナルコンピュータ上の地図検索ソフトウェア、自動車用ナビゲーションシステム、ハンドヘルドナビゲーションシステムなど）で取り組まれている共通の課題である。このようなナビゲーションの課題に取り組むには、ネットワーク接続されたモバイル装置が好適であろう。それは、これらのモバイル装置が、ユーザの現在位置および予定された目的地に関連する地図および情報を検索して表示することが可能だからである。
【０００３】
まったく別の分野の試みとして、画像ダイアリ（ｉｍａｇｅ ｄｉａｒｙ）の作成が、デジタルカメラやカメラ付き携帯電話の普及によって容易になりつつある。同時に、画像ダイアリで利用可能な画像が大量になり、これらの取得画像を管理する、より高度な方法が必要とされている。たとえば、カメラを装着したユーザの典型的な一日をカバーするような画像ダイアリを淡々と記録するように設計されたカメラがある。このユーザは、カメラを装着しているだけであり、カメラが、各種イベントによってトリガされた際に自動的に画像撮影を行う。イベントは、公園で自転車に乗ることや、出勤の準備であってよい。これらのタイプのカメラに内蔵された加速度計が、動きが発生したことを伝えることによってメディアへの取得（ｍｅｄｉａ ｃａｐｔｕｒｅ）をトリガする。屋内から屋外へ移動することも、トリガイベントの一例である。加速度計、光センサ、および温度センサからのデータを組み合わせると、暗く、涼しい屋内から、暖かく、明るい屋外への移動のような、イベントの境界を検出することが可能である。したがって、画像ダイアリは、ユーザの一日の様々なイベントのほとんどまたはすべての画像を含むことになる。このようなダイアリに蓄積された画像は、各イベントから代表的な画像を抽出することによって、要約されることが可能である。イベントを記録したいくつかの画像の中から選択された代表的画像は、そのイベントに対応するランドマーク画像とも呼ばれる。代表的画像（ランドマーク）は、手動で選択されるか、各イベントの、単純に中央の画像が抽出される。
【０００４】
動画像データベースの検索に利用可能な、ある検索ツールを用いると、ユーザは、視覚的画像の内容に基づいて画像データベースの照会を行うことが可能である。このツールを用いると、ユーザは、対象物の動きやカメラのパンおよびズームに基づいて動画を検索することが可能である。このツールは、動画専用であって、静止画像には適用できない。さらに、データベースから特定の動画クリップを検索して取り出すためには、動画クリップの内容データが用いられる。
【０００５】
いくつかの動画要約方法は、動画内の動きを解析して、動画内のカメラの動きまたは対象物の動きを復元する。これらの方法では、カメラの動きに関連しているとみなされた、画像の支配的な動きの変化を検出することにより、動画の順次セグメント化を実行する。動画を、カメラの動きに関して同質である単位に、時間的にセグメント化することにより、長時間の動画が、少数の代表的セグメントに置き換えられる。ここでは、カメラの動きが変化すると、シーンの動的内容の変化または関連性が乱れると仮定している。第１のステップである動画のセグメント化に続いて、要約のための認識および選択のステップが実行され、このステップは、管理され、動画のジャンルに依存する。これらの要約方法は、動画像データベースを検索する検索方法とよく似ている。
【０００６】
自己認識装置（ｐｅｒｓｏｎａｌ ａｗａｒｅｎｅｓｓ ｄｅｖｉｃｅｓ）では、姿勢推定方法および方位推定方法が用いられる。このような装置は、医学的に危険な状態にある人や、継続的に自立していたい高齢者の医学的および安全性監視に有用である。姿勢推定方法および方位推定方法は、そのような測定を行う装置を装着しているユーザの姿勢および方位を推定することに用いられる。たとえば、軽量のモバイル装置が、ユーザに装着され、ユーザの動きに関する情報を収集して、ユーザの活動および位置を追跡することに用いられる。この装置は、加速度計および磁力計を内蔵しており、これらは、この装置を装着しているユーザの動きを評価することに用いられる。このような装置で用いられている技術は、座っていることと、立っていることとを区別することが可能であり、また、ユーザが走っているか、歩いているか、立ち止まっているかを判定することが可能である。加速度計の軸と磁力計の軸は、方位が同じになるように、位置合わせされる。したがって、加速度計および磁力計からのデータを組み合わせることにより、装置の方位が地面に対してどのようであっても、装置から、動きの、正確な読みを取得することが可能である。したがって、自己認識装置は、加速度データから人物の姿勢および方位の大まかな推定を導出する。さらに、姿勢推定が、加速度計で検出される急な変化に依存するのに対し、地面に対する方位の決定には、加速度計および磁力計の組み合わせの絶対的な測定値を用いることが可能である。
【０００７】
装置を装着している人物の姿勢および方位を測定する装置のほかに、ユーザの動きを感知する装置であって、ビデオゲームのプレイに用いられることが多い装置がある。ゲームのプレイヤーがこの装置を動かすと、ゲームを表示しているコンピュータ画面で、対応するアニメーションが同様の動きをする。たとえば、コンピュータ画面上のゲームのレースカーのハンドルを回すことは、ユーザが、ユーザの動きを感知するコントローラ装置を回すことによって達成される。このように、コンピュータゲームにおいてレースカーを操縦することが、ボタンを押すこととは異なる、プレイヤーによる同様の動きによって達成され、ユーザは、自分が運転しているように感じる。このようなコントローラ装置は、他の、娯楽用途以外の業務用途でも使用されている。たとえば、アニメータによるアニメーション制作を支援する一方法では、３軸直線加速度計によりユーザの動きを感知するコントローラを用いる。ユーザは、身体に装着したコントローラを用いて動きを表現する。コントローラの動きは、３軸直線加速度計によって感知される。その後、システムは、ユーザの動きの加速パターンと、データベースに保存された動きファイルのクリップとのマッチングを行う。
【０００８】
システムによっては、複数の記録対象物の間の相互関係が保存されるように記録された、カメラ位置に関する補助情報を用いて、対象物の記録画像を再生することが可能である。このようなシステムの１つが特許文献１に記載されている。ここでは、電子カメラが、対象物の画像、カメラの３次元位置および方位角、フォーカス量、ならびにズーム量を検出するセンサを有する。画像は、３次元位置および方位角、フォーカス量、ならびにズーム量に関連する情報とともに、記録メディアに記録される。カメラの画像再生装置は、複数の記録画像の間の相互関係が再現されるように、それらの情報に基づいて、記録済み画像を再生する。したがって、これらのカメラおよび再生装置は、パノラマ画像を作成したり、複数の異なる構成要素からなる画像の中の所望の構成要素を見つけたりするために、記録画像を結合することに好適である。特許文献１のこれらの特徴は、拡張現実アプリケーションにとって有用である。また、非特許文献１および２に記載の技術は本発明に関連する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第５，２６２，８６７号明細書
【非特許文献】
【００１０】
【非特許文献１】ブライエ（Ｂｌｉｇｈｅ）ら、「センスカムイメージにおけるランドマーク検出を支援するためのコンテキスト情報の有効利用(Exploiting Context Information to aid Landmark Detection in SenseCam Images)」、ＥＣＨＩＳＥ２００６、スマートな環境（インフラストラクチャ、およびデザイン）におけるコンテキスト履歴の有効利用に関する第２回国際ワークショップ(2nd International Workshop on Exploiting Context Histories in Smart Environments - Infrastructures and Design)、２００６年
【非特許文献２】ペイラード（Ｐｅｙｒａｒｄ）ら、「ビデオ要約のための関連ビデオセグメントの動きベース選択(Motion-based selection of relevant video segments for video summarization)」、ＩＣＭＥ、２００３年
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の諸態様は、ネットワーク接続されたモバイル装置をナビゲーション用途に用いる方法、装置、およびシステムを対象とする。本発明の諸態様は、ユーザによるユーザ自身のよりよい方向付けを支援するために、静止画（たとえば、写真）や動画（たとえば、ビデオ画像）などのメディアファイルを、ナビゲーション地図に関連付ける。
【００１２】
本発明の諸態様は、モバイル装置のディスプレイが小さいことと、モバイル装置の使用時には動いているであろうユーザが、通常は、あまり注意力をモバイル装置に割くことができないことと、に関連する問題に対処する。したがって、地図とともに表示されるべき画像を選択する際には、限られた数の画像を選択することが望ましい。一方、カメラおよび他の画像作成装置の普及は、そのような画像を引き出すことが可能なデータベースの増大をもたらしている。したがって、ユーザのナビゲーションを支援する上で最も効果的な画像を表示することがさらに望ましく、モバイルナビゲーション装置のユーザに対して表示されるべき適切な画像セットを選択する方法およびシステムが必要とされている。
【課題を解決するための手段】
【００１３】
本発明の諸態様は、モバイル装置のディスプレイが小さいことと、ユーザの注意力が限られていることと、選択対象である多数の静止画および動画クリップの利用可能性とが組み合わされた問題に対処する。本発明の諸態様は、ユーザ姿勢推定およびカメラ方位を利用して、モバイルナビゲーションタスクに利用可能なメディアの大規模データベースからのメディア選択を支援する。
【００１４】
本発明の諸態様は、モバイルナビゲーション装置のユーザに対して、地図とともに表示される静止画像、動画クリップ、および他のメディアを含む。ユーザに対して表示されるメディアの選択を支援するために、本発明の諸態様は、モバイルナビゲーション装置の使用時のユーザの位置、動き、および姿勢の推定を利用する。ユーザの位置、姿勢、および動きの推定と、選択されて取り出された画像の取得（撮影）時のカメラの位置、方位、および動きとのマッチングが行われる。ユーザの位置については、データベースにある画像の位置とのマッチングが行われる。ナビゲーション装置の使用時のユーザ姿勢と、画像の取得時のカメラ方位とのマッチングを行うことにより、表示されることが望ましい画像が選択されることが可能である。ユーザ姿勢は、モバイルナビゲーション装置の姿勢に基づいて推定されることが可能である。ユーザが動いていて、マッチング対象画像が動画像である場合は、ユーザの動きと、動画像が取得されたときのカメラの動きとのマッチングも行われる。
【００１５】
位置に関しては、本発明の諸態様は、ユーザおよびカメラの両方の位置を特定するために、全地球測位システム（ＧＰＳ）から提供される位置データを利用することが可能である。他の、整合性のある、対象物の位置を特定する方法を用いることも可能である。
【００１６】
姿勢および方位に関して、ユーザ姿勢はユーザの視線方向が３つの位置軸となす角度を意味し、カメラ方位は傾斜および回転を含むことが可能である。ユーザ姿勢は、モバイル装置が向いている方向から、または、他の何らかの規則に従って推定されることが可能である。代替として、ユーザ姿勢は、別個に推定されて、モバイル装置に入力されることが可能である。特定の画像の取得時のカメラの傾斜および回転に関する情報を用いて、カメラ方位を推定することが可能である。この種の情報は、画像処理手法により推論されることが可能である。代替として、加速度計を用いる方法が可能であり、この方法は、画像内に明瞭な基面（ｃｌｅａｒ ｇｒｏｕｎｄ−ｐｌａｎｅ）が存在しない場合には、より高速かつ確実である場合がある。本発明の諸態様は、ユーザが、カメラの動きおよび方位に基づいて画像を検索することを可能にする方法およびシステムを提供する。これは、従来のシステムとは対照的である。従来のシステムは、ユーザが、カメラの動きではなく、カメラのパン、ズーム、および対象物の動きによって動画を検索することを可能にする。
【００１７】
本発明の諸態様は、画像の取得時のカメラ方位を画像選択に用いる方法およびシステムを提供する。これは、従来のシステムとは対照的である。従来のシステムは、複数の異なる構成要素からなる画像の中の所望の構成要素の位置を、その構成要素が取得された後のカメラの現在位置に基づいて特定することが可能である。
【００１８】
ユーザ姿勢を測定して適切な画像を選択するために、ユーザの現在位置の高度グラフ（Ｅｌｅｖａｔｉｏｎ ｐｒｏｆｉｌｅ）を用いることが可能である。たとえば、ユーザが坂に直面している場合は、ユーザが視線を上に向けることが推定されることが可能であり、上向き方向で取得された画像が選択される。
【００１９】
動きに関しては、本発明の諸態様は、動き検出コントローラを使用してユーザの動きのタイプをモバイルナビゲーション装置に入力する方法およびシステムを提供する。コントローラの支援によりユーザによって入力された動きのタイプは、画像の取得に使用されたカメラの、一致する動きを見つけるために用いられる。本発明の諸態様は、ほぼ一致するカメラ動きで取得された画像を検索する。従来の動き検出コントローラのユーザは、コントローラを装着または保持しているときに、マッチングを行いたい動きを演じることにより、一致する動きシーケンスを検出する。本発明の諸態様はさらに、演じられた動きと、データベースに記憶されているクリップとのマッチングを行う。ただし、従来の方法とは異なり、本発明の方法およびシステムによって入力される動きは、取得された対象物の動きではなく、シーンまたは特定の対象物を取得したカメラの動きである。
【００２０】
本発明の諸態様は、カメラの動きをシーンの動きと区別し、さらに、動きが検出されない画像の要約を作成することが可能な方法およびシステムを提供する。本発明の諸態様は、これを、外部センサデータに依存することにより行う。これは、従来の動画要約方法とは対照的である。従来の動画要約方法は、単一ショットであるために動きが検出されない画像の要約には適用できない。これはさらに、カメラの真の動きをシーンの動きと区別することができない従来のシステムとは対照的である。
【００２１】
本発明の諸態様は、定常（静止）モード、内挿モード、および外挿モードを含む各種モードを、ユーザによって、ナビゲーション装置に含めることが可能である。定常モードは、静止しているユーザに関連する。内挿モードおよび外挿モードは、動いているユーザに関連する。いずれのモードも、確認画像または予測画像の表示に用いることが可能である。確認画像は、ユーザの現在位置および現在時刻においてユーザが見ているはずのランドマークに対応する。定常モードの場合、予測画像は、後刻の（たとえば、夜間の）画像に対応することが可能である。動きがあるモードの場合、予測画像は、ユーザの現在位置からの距離において見えるかどうかにかかわらず、予測され、近付いてくるランドマークに対応する。
【００２２】
定常モードが起動されるのは、ユーザが自分の現在位置をナビゲーション装置に要求した場合である。その後、ナビゲーション装置は、ユーザの現在位置の地図を提供することに加えて、現在位置におけるランドマークの静止画を含む。位置に加えて、提供された静止画と、ナビゲーション装置の姿勢から最大限推定された、ユーザの現在の姿勢、またはナビゲーション装置に入力された、ユーザの現在の姿勢とのマッチングが行われる。たとえば、ナビゲーション装置の背面が、ユーザが立っている交差点の北東の角に向かって上向きになっていて、その北東の角に像がある場合は、見上げられている像の光景が選択され、地図とともにモバイル装置に表示される。この例では、モバイル装置の姿勢は、ユーザの姿勢の代用として用いられる。さらに、このようにして、ユーザは、ナビゲーション装置によって与えられた地図で、自分の位置を、より容易かつ迅速に確認することが可能である。定常モードでは、ナビゲーション装置は、ユーザの現在位置に対応する地図と、ユーザまたはナビゲーション装置の姿勢に対応する、その位置でのランドマークの静止画とを取り出す。地図だけでは、あまりユーザフレンドリではない場合がある。たとえば、地図だけの場合、ユーザはさらに、街路名などの地図上の情報を、ユーザが街路の看板から読み取る情報で確認しなければならない。ただし、これは、看板が読めるほど十分に明るい場合である。地図上の点は、ユーザがどこに立っているかをユーザに示しているだけであり、ユーザがどの道のほうを向いているかを示していない。これに対し、ランドマークの適切な静止画が地図とともにあれば、ユーザが、迅速に自身を方向付け、行動手順を計画することの支援となることが可能である。
【００２３】
内挿モードが起動されるのは、ユーザが、現在の位置である第１の位置から第２の位置までの経路をナビゲーション装置に要求した場合である。内挿モードでは、ナビゲーション装置は、確認ランドマークか、予測され、近付いてくるランドマークを、地図とともに表示することが可能である。これらのランドマークは、ユーザがその経路に沿って進むにつれて、ユーザが、次に何が見えるかを予測できるように、またはそれらを遠くから見て、自分が正しい経路にあることを知るように、ナビゲーション装置に表示されることが可能である。ランドマークとして使用される光景は、ユーザまたはナビゲーション装置の現在の姿勢と、ユーザの動きとから推定される。たとえば、ナビゲーション装置が下を向いている場合、予測ランドマークは、その経路に沿って、カメラが見下ろしていた間に取得された静止画または動画に対応する。姿勢を内挿することはできないが、次の姿勢を決定する際に高度グラフを考慮することは可能である。たとえば、ユーザが丘を上ろうとしている場合は、ユーザ姿勢が上向きであると予測することが可能である。内挿モードでは、適切なランドマークの選択において、ユーザの移動方法が考慮されることが可能である。たとえば、ユーザが徒歩であることを加速度データが示している場合は、歩行者を対象とした交通看板がランドマークとして選択されることが可能である。ユーザが自転車に乗っている場合は、「この道路では自転車走行禁止」の看板がランドマークの１つとして表示されることが可能である。また、ユーザが自動車を運転している場合には、ナビゲーション装置に表示されるランドマークは、運転者が見ている光景の確認になるように選択される。
【００２４】
外挿モードが用いられるのは、ナビゲーション装置が、ユーザの動きに合わせて地図を更新し、ユーザの現在の位置と動きの方向および速さとに基づいて、ユーザの、外挿された位置を表示する場合である。このモードでは、ユーザは、目的地をナビゲーション装置に入力していない。ナビゲーション装置は、ユーザの未来の位置を外挿し、ユーザまたはナビゲーション装置の現在の姿勢と一致する予測ランドマークを提供することが可能である。この場合も、外挿された道路に沿って、現在の姿勢を、期待される姿勢に合わせて調節する際に、高度グラフが考慮されることが可能である。ユーザから遠くに見える予測ランドマークは、ユーザが正しい方向に動くことを支援する。確認画像は、すべてのモードで利用可能である。
【００２５】
本発明の第１の態様は、画像データベースを形成する方法であって、（ａ）取得画像データを受信し、（ｂ）前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、（ｃ）前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、（ｄ）前記関連メタデータを含む前記取得画像データのデータベースを形成する。
【００２６】
本発明の第２の態様は、第１の態様の画像データベース形成方法であって、前記カメラ方位データは、カメラ加速度データから導出される。
【００２７】
本発明の第３の態様は、第１の態様の画像データベース形成方法であって、前記取得画像データは動画像を含み、（ｃ）は、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含む。
【００２８】
本発明の第４の態様は、第１の態様の画像データベース形成方法であって、前記取得画像データは静止画像を含み、（ｃ）は、前記静止画像のヘッダとして、対応する前記カメラ位置および前記カメラ方位を前記関連メタデータとして埋め込むことを含む。
【００２９】
本発明の第５の態様は、第１の態様の画像データベース形成方法であって、前記カメラ方位データを、関連ダイアリメタデータとして、前記取得画像データと関連付けることにより、画像ダイアリを形成する、ことをさらに含む。
【００３０】
本発明の第６の態様は、第５の態様の画像データベース形成方法であって、選択されたユーザ姿勢に対応する画像の要求を受信し、前記関連ダイアリメタデータを検索することにより、前記画像ダイアリを検索し、前記選択されたユーザ姿勢と一致する前記関連ダイアリメタデータを有する前記取得画像データを取り出す、ことをさらに含む。
【００３１】
本発明の第７の態様は、ユーザのモバイル装置を用いてナビゲーションする方法であって、（ａ）モバイル装置位置およびモバイル装置姿勢を含むモバイル装置情報を取得し、（ｂ）ユーザ要求に対応する地図を受信し、（ｃ）前記地図に対応する、一致した画像を受信し、（ｄ）前記一致した画像を、前記地図とともに表示する。前記モバイル装置姿勢および前記モバイル装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像は、データベース画像を含むデータベースから選択される。
【００３２】
本発明の第８の態様は、第７の態様のナビゲーション方法であって、前記データベース画像は、静止画および動画クリップを含む。
【００３３】
本発明の第９の態様は、第７の態様のナビゲーション方法であって、前記一致した画像は、前記モバイル装置の現在位置を確認する確認一致画像、または、前記モバイル装置の次の位置を予測する予測一致画像となるように選択される。
【００３４】
本発明の第１０の態様は、第７の態様のナビゲーション方法であって、前記モバイル装置情報はさらに、モバイル装置の動きを含み、前記一致した画像は、前記モバイル装置の動きと、さらなるメタデータとして、前記データベース画像の各々と関連付けられたカメラ動きとのマッチングをさらに行うことにより、前記データベースから選択される。
【００３５】
本発明の第１１の態様は、第７の態様のナビゲーション方法であって、前記地図は、前記モバイル装置位置の地図である。
【００３６】
本発明の第１２の態様は、第７の態様のナビゲーション方法であって、前記地図は、第１の位置から第２の位置までの経路の、内挿された地図であり、前記第１の位置は、最初のモバイル装置位置に対応する。
【００３７】
本発明の第１３の態様は、第１０の態様のナビゲーション方法であって、前記地図は、前記モバイル装置位置からの、前記モバイル装置動きに従って生成されている経路の、外挿された地図であって、前記モバイル装置の動きはモバイル装置速度を含む。
【００３８】
本発明の第１４の態様は、第７の態様のナビゲーション方法であって、前記モバイル装置情報は、時刻データ、明暗データ、およびユーザタスクデータをさらに含み、前記時刻データは、季節データを含み、前記明暗データは、曇天状態および夜間状態を含み、さらに、前記時刻データ、前記明暗データ、および前記ユーザタスクデータと、さらなるメタデータとして前記データベース画像の各々に関連付けられた取得時刻、取得時の明暗状態、およびタスクデータとのマッチングを各々行うことにより、前記一致した画像が前記データベース画像を含む前記データベースから選択される。
【００３９】
本発明の第１５の態様は、第１４の態様のナビゲーション方法であって、前記ユーザタスクデータは、自転車に乗っていることを示し、前記一致した画像は、前記ユーザと類似の明暗状態の下で、前記ユーザと同じ季節に、前記ユーザと同じ経路に沿って、自転車に乗っていたカメラによって取得されており、前記一致した画像は、自転車に乗っている人が関心を持つ画像に対応する。
【００４０】
本発明の第１６の態様は、第７の態様のナビゲーション方法であって、（ａ）は、前記モバイル装置位置およびモバイル装置加速度を検出することを含み、前記モバイル装置姿勢は、前記モバイル装置加速度から導出される。
【００４１】
本発明の第１７の態様は、第７の態様のナビゲーション方法であって、（ａ）は、前記モバイル装置位置および前記モバイル装置姿勢を示す、前記ユーザによる入力を受信することを含む。
【００４２】
本発明の第１８の態様は、データベースシステムであって、取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する入力インタフェースと、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける、第１のプロセッサと、前記取得画像データを、前記関連メタデータとともに、記憶画像として記憶するデータベースと、ユーザ姿勢およびユーザ位置を含むユーザ要求を受信する受信機と、前記ユーザ姿勢および前記ユーザ位置が、前記記憶画像の前記カメラ方位データおよび前記カメラ位置データと一致する、一致した画像を決定する、第２のプロセッサと、前記ユーザ要求を送信したユーザに、前記一致した画像を送信する送信機と、を備える。
【００４３】
本発明の第１９の態様は、ナビゲーション用モバイル装置であって、モバイル装置位置を検出する全地球測位システムモジュールと、モバイル装置加速度を検出する加速度計と、前記モバイル装置加速度からユーザ姿勢を導出するプロセッサと、ユーザ要求を送信し、前記ユーザ要求に対応する地図を受信し、前記地図に対応する、一致した画像を受信する送受信機と、前記一致した画像を、前記地図とともに表示するディスプレイと、を備える。前記ユーザ姿勢および前記ユーザ装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像がデータベース画像を含むデータベースから選択される。
【００４４】
本発明の第２０の態様は、ナビゲーションシステムであって、ナビゲーション機能を有するモバイル装置と、前記モバイル装置と通信している画像データベースと、を備える。前記モバイル装置は、モバイル装置位置データおよびモバイル装置姿勢データを収集し、前記画像データベースにアクセスできる装置へ送信し、一致した画像を取得するために、前記モバイル装置位置データおよび前記モバイル装置姿勢データと、前記画像データベースにある画像に関連付けられたカメラ位置およびカメラ方位を示すメタデータとのマッチングが行われ、前記一致した画像は、前記モバイル装置へ送信され、前記一致した画像は、地図とともに、前記モバイル装置に表示される。
【００４５】
本発明の第２１の態様は、第２０の態様のナビゲーションシステムであって、前記地図は、現在のユーザ位置の地図、第１のユーザ位置と目的地位置との間の経路の地図、および前記モバイル装置の動きに応じて外挿される、前記第１のユーザ位置からの地図、から選択され、前記画像は、静止画および動画クリップを含む。
【００４６】
本発明の第２２の態様は、プログラムであって、コンピュータを、取得画像データを受信する手段と、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する手段と、前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける手段と、前記関連メタデータを含む前記取得画像データのデータベースを形成する手段と、として機能させる。
【００４７】
本発明に関連する、さらなる態様が、一部は、後に続く記述で説明され、一部は、それらの記述から明らかになり、あるいは、本発明の実践によって知られるであろう。本発明の諸態様は、後に続く詳細説明ならびに添付の特許請求項で具体的に指摘されている諸要素ならびに各種の要素および態様の組み合わせにより、実現および達成されることが可能である。
【００４８】
前述および後述の説明は、いずれも例示的かつ説明的であるに過ぎず、特許請求対象の発明またはその応用を、いかなる形態であれ、限定するものではまったくないことを理解されたい。
【発明の効果】
【００４９】
本発明によれば、ユーザによるユーザ自身のよりよい方向付けを支援することができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の諸態様による、画像データベースを形成するフローチャートを示す。
【図２】本発明の諸態様による、画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図３】本発明の諸態様による、定常モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図４】本発明の諸態様による、内挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図５】本発明の諸態様による、外挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【図６】本発明の諸態様によるモバイルナビゲーションアプリケーションを含むモバイル装置を示す。
【図７】本発明の諸態様による、ユーザ姿勢を推定することに対する、ユーザ位置の高度グラフの影響を示した図である。
【図８】本発明の諸態様による、姿勢に従って画像を検索する方法のフローチャートを示す。
【図９】本発明の諸態様による、姿勢に従って画像を検索する装置を示した図である。
【図１０】本発明のシステムが実装されることが可能なコンピュータプラットフォームの一例示的実施形態を示した図である。
【図１１】本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【図１２】本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【発明を実施するための形態】
【００５１】
添付図面は、本明細書に組み込まれ、本明細書の一部をなし、本発明の諸実施形態を例示し、本明細書とともに、本発明の手法の原理を説明および例示するように働く。
【００５２】
以下の詳細説明では、添付図面を参照する。添付図面では、同一の機能要素を同一の参照符号で示している。前述の添付図面は、本発明の原理に沿った、具体的な実施形態および実施態様を、限定ではなく例示として、示している。これらの実施態様は、当業者が本発明を実践できるように十分詳しく記載されており、また、他の実施態様も利用可能であること、ならびに、本発明の範囲および趣旨から逸脱することなく、各種要素の構造的変更および／または置き換えが可能であることを理解されたい。ゆえに、以下の詳細説明は、限定の意味にとられるべきではない。さらに、記載の、本発明の種々の実施形態は、汎用コンピュータで実行されるソフトウェアの形態で、または専用ハードウェアの形態で、またはソフトウェアとハードウェアの組み合わせの形態で実施されることが可能である。
【００５３】
以下の詳細説明は、画像のデータベースを収集し、その後、モバイルナビゲーション装置のユーザの、現在の位置、予定された経路または位置、または外挿（推定）された経路または位置に対応する画像（静止画または動画）を選択および提供することによって、ユーザが自分の位置を、より迅速に、かつ、あまり注意力を割かずに突き止めることを支援する、ナビゲーション方法およびナビゲーションシステムの例示的実施形態を提供する。以下の詳細説明はさらに、ユーザの位置および姿勢と一致する画像を、ナビゲーション地図とともに提供する機能を有するモバイル装置の例示的実施形態を提示する。
【００５４】
以下の説明では、位置は、ユーザまたはカメラの（ｘ，ｙ，ｚ）位置で表され、姿勢は、角度（θ，ψ，ω）で表される。角度（θ，ψ，ω）は、モバイル装置のディスプレイの法線ベクトルと反対の方向を向いているベクトルがＸ、Ｙ、Ｚの各座標軸となす角度である。モバイル装置のディスプレイは、通常はユーザのほうを向いており、モバイル装置の背面が、ユーザが見ている光景のほうを向いているため、ユーザが見ている方向を示すために、法線ベクトルと反対の方向を向いているベクトルが用いられる。方位は、単に、カメラの姿勢である。カメラの方位に応じて、カメラが向いている方向に延びるベクトルが、（ｘ，ｙ，ｚ）位置データを取得するために使用されるＸ、Ｙ、Ｚの３つの座標軸となす角度が決定される。前述の説明によれば、カメラで取得された画像は、６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）で定義され、ユーザが見ている光景も、６次元ベクトルｖ′（ｘ′，ｙ′，ｚ′，θ′，ψ′，ω′）で定義される。しかしながら、ユーザおよびカメラの位置と、カメラが向いている方向またはユーザが見ている方向とを表す定義である限り、他の任意の、一貫した定義を、位置、姿勢、および方位に用いることも可能である。たとえば、球座標系や円筒座標系のような代替座標系は、同じ情報を、より少ないパラメータで表すことが可能である。（ｘ，ｙ，ｚ）または同等の位置データは、全地球測位システム（ＧＰＳ）データから取得されることが可能である。
【００５５】
姿勢データは、たとえば、ユーザが、座って見上げているか、立って見下ろしているかを表すことを意図されている。方位データは、たとえば、特定の画像が取得されたときにカメラが上を向いていたか、下を向いていたかを表すことを意図されている。状況によっては、位置がｘおよびｙデータに限定され、ｚデータが必要とされない場合がある。
【００５６】
さらに、あらかじめ取得された画像と、ユーザが見ている現在の光景とのマッチングは、厳密である必要はない。１つまたは複数の一致条件に従って、あらかじめ取得された画像のうちの１つまたは複数の画像が選択されてよい。一致条件は、取得画像が、ユーザの現在位置と同じ位置において、かつ、ユーザが向いているか選択した現在角度と同じ角度で動作していたカメラによって取得されたものであることであってよい。その場合、前述のベクトル表記がカメラパラメータおよびユーザパラメータのために使用されるのであれば、ｖとｖ′とは等しくなければならない。別の例では、一致条件は、取得画像が、ユーザの現在のパラメータまたはユーザが入力した望ましいパラメータの許容範囲内にあることであってよい。この例では、ベクトル表記を用いると、ｖ′−ｕ＜ｖ＜ｖ′＋ｗであって、ｕおよびｗは、ｖおよびｖ′と同じ次元のベクトルであって、選択された画像ベクトルｖの許容範囲を与えるベクトルである。さらに別の例では、一致条件は、取得画像のうちの、ユーザの現在のパラメータまたは所望のパラメータに最も近い、１つまたは複数の取得画像として指定されてもよい。
【００５７】
本発明の諸態様は、モバイルナビゲーションシステムによってユーザに提示される地図に含められるべき適切な画像を選択する問題の解決策を与える。システム全体は、モバイルナビゲーション装置と通信可能な、収集された画像のデータベースと、このデータベースと通信する、そのモバイルナビゲーション装置とを含む。
【００５８】
本発明の諸態様は、静止画および動画クリップを含む、画像のデータベースを提供し、このデータベースにおいて、各画像は、関連メタデータを有する。この関連メタデータは、画像の位置と、この画像が取得されたときのカメラの方位とに関する情報を含む。この関連メタデータはさらに、画像が取得されたときのカメラの動きと、画像が取得された時刻と、明暗状態（ｌｉｇｈｔｉｎｇ ｃｏｎｄｉｔｉｏｎ）とに関する情報を含むことが可能である。時刻は、画像における季節的変化を示す暦時間を含む。明暗状態は、日中、夜間、曇天などの状態を含む。メタデータはまた、タスク固有のインジケータを含むことも可能である。たとえば、画像は、歩行者、自転車に乗っている人、または運転者の視点から取得されることが可能である。画像に関連付けられた情報の数が増えると、その画像データを表すベクトルの次元が増え、たとえば、時刻（ｔ）、明暗（ｌ）、およびタスク（ｓ）が含められ、９次元メタデータベクトル（ｘ，ｙ，ｚ，θ，ψ，ω，ｔ，ｌ，ｓ）が生成される。
【００５９】
本発明の諸態様は、ユーザに提示されるべき最も適切な画像を選択するために、ユーザの位置および姿勢と、画像を取得したカメラの位置および方位とのマッチングを行う。位置および姿勢に加えて、ユーザの動きと、カメラの動きとのマッチングも行われることが可能である。他のパラメータ（明暗状態、季節的変化、ユーザ固有タスクなど）のマッチングも行われることが可能である。たとえば、夜間にユーザに対して表示される画像は、やはり夜間に取得された画像である。冬期に特定の場所にいるユーザに対して表示される画像は、樹木に葉がない冬期にその場所で取得された画像である。自転車に乗っているユーザに対して表示される画像は、自転車に乗っている人の視点から取得された画像であり、運転者に対して表示される画像は、運転者の視点から取得された画像である。
【００６０】
本発明の諸態様は、各取得画像に６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）を関連付けることが可能である。そして、アクセスしているモバイル装置の６次元座標を用いてモバイル装置によって暗黙的に表されている情報と、データベース内の各取得画像に関連付けられたベクトルとのマッチングを行うことが可能である。マッチングを行うべきパラメータが増えると、関連メタデータベクトルおよび検出されるベクトルの次元が増える。
【００６１】
本発明の諸態様は、ユーザ情報の検出を行わずに、（たとえば、ユーザがどの光景を見たいかを示す）ユーザからの直接または間接の入力を受信することが可能である。この、本発明の態様では、ユーザは、自分の現在の姿勢に応じて、またはあらかじめ定義された基本設定に従って、またはグラフィックユーザインタフェース（ＧＵＩ）での選択に応じて、またはその他に応じて、所望のカメラ方位を指定する。このようにして、ユーザは、モバイル装置を、具合のよい角度で保持しながら、既に取り込まれている方位情報に従ってコンテンツにアクセスすることが可能である。たとえば、本発明の諸態様が、各取得画像に６次元ベクトルｖ（ｘ，ｙ，ｚ，θ，ψ，ω）を関連付ける場合は、望ましい一致情報を含み、６次元ベクトルｖ′（ｘ′，ｙ′，ｚ′，θ′，ψ′，ω′）を定義する、６個の情報を、ユーザが手動で明示的にモバイル装置に入力することが可能である。
【００６２】
本発明の諸態様は、定常モード、内挿モード、または外挿モードで動作可能である。定常モードは、立っているユーザの現在位置を確認するか、日が暮れてからその位置でユーザが見ることができそうなものをユーザに対して示す。内挿モードは、ユーザの周囲に見えているはずのランドマークの画像をユーザに提示して、ユーザの位置、またはユーザが予定の経路上で予期しているはずのランドマークの画像を確認する。外挿モードは、ユーザの動きの速度および方向に基づいてユーザの未来の位置を外挿し、自分がどこへ向かっているかがわからないユーザに対し、外挿された地図に沿って、確認画像または予測画像を提示する。
【００６３】
本発明の諸態様とは対照的に、画像ダイアリを作成する従来の方法では、何らかの特定の自動フィルタリングによる代表的画像の選択が行われない。さらに、動画データベースを検索する従来の検索ツールは、動画専用であって、静止画像には適用できない。これらの検索ツールは、メタデータを使用せず、動画の内容情報に依存して検索を実行する。従来の動画要約方法は、ＣＰＵを多用するか、信頼性に欠ける。たとえば、これらの方法では、カメラ自体の動きとシーンの動きとを区別することができない場合がある。これらの動画要約方法は、単一ショットであるために動きが検出されない静止画像の要約には適用できない。ユーザの動きを感知する従来の装置は、ユーザの現在の動きと、データベースまたはライブラリにある、利用可能な動きのクリップとのマッチングを行う。これらは、人間の動きと人間の動きとのマッチングを行う。これらは、人間の動きと、特定画像を取得したカメラの動きとのマッチングを行わない。したがって、これらは、ユーザのどの動きがカメラのどの動きに対応するかを外挿することができない。
【００６４】
図１は、本発明の諸態様による、画像データベースを形成するフローチャートを示す。
【００６５】
本方法は、１１０から始まる。１２０で、取得画像データ、カメラ位置データ、および加速度データが受信される。画像データは、静止画像データまたは動画データを含む。加速度データは、カメラに関連付けられた加速度計から受信されることが可能であり、カメラ方位データの導出に用いられることが可能である。１３０で、この取得または生成されたデータが、バッファに保存される。画像データ、カメラ位置データ、および加速度データは、独立した、タイムスタンプが付加され、リンクされたファイルに保存されることが可能である。１４０で、バッファリングされたデータが、所定の場所で処理されるか、オプションでリモートサーバへ送信されることが可能である。カメラ方位の推定は、リモートサーバから受信されるか、加速度データに基づいてローカルに取得される。取得されている画像が動画データの場合は、動画データ用の、タイムスタンプが付加されたイベントのリストが、リモートサーバから受信されるか、ローカルに取得される。タイムスタンプが付加されたイベントは、カメラの方位の変化に対応する。１５０で、カメラ位置およびカメラ方位が、画像データに、ヘッダとして埋め込まれる。動画データの場合は、カメラ方位の変化に従って、重要なトランジションにタグが付けられる。１６０で、画像が取得された日付および季節を含む時刻、日中または夜間照明か、曇天かの状態を含む明暗状態、および、歩行、自転車走行、または運転を示すタスク固有インジケータなどの情報を含む、他のメタデータが、オプションで、取得画像に関連付けられることが可能である。１７０で、画像のデータベースが作成され、このデータベースでは、各画像が、その画像に関連付けられ、その画像の種々の態様を識別するメタデータを有する。１８０で、本方法は終了する。
【００６６】
本発明の諸態様は、加速度データを長さｔのバッファに取り込む。ユーザが画像を取得するか、動画クリップの記録を開始すると、バッファ内の加速度データが、その取得済みメディアに一緒に保存される。画像データは、静止画であれ動画であれ、独立した、タイムスタンプが付加されたファイルに保存され、このファイルは、加速度データおよびカメラ方位データを保存しているファイルにリンクされている。バッファリングされたデータは、リモートサーバへ非同期で送信される。サーバは、受信されたデータを用いて、画像が取得された時刻に対応するカメラ方位の推定を返す。本発明の一態様では、この情報は、リモートサーバへ送信されずにローカルで処理されることが可能である。そして、取得時点でのカメラの方位は、取得済みメディアに、ヘッダとして埋め込まれる。動画像の場合は、加速度データも、動画の記録終了時まで保存される。その後、加速度データは、リモートサーバへ送信されるか、ローカルに処理されることが可能である。加速度データの処理結果として、継続時間中に動画の方位が変化したイベントのリスト（タイムスタンプ付き）が生成される。このデータは、保存され、動画内の重要なトランジションにタグを付ける際に使用されることが可能である。前述のように、各画像または動画クリップの関連メタデータは、少なくとも位置およびカメラ方位の情報を含むｎ次元ベクトルの形式であってよく、さらに多くの情報を、ベクトルの成分として含んでよい。
【００６７】
図２は、本発明の諸態様による、画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００６８】
本方法は、２１０から始まる。２２０で、モバイル装置の位置および加速度が測定される。他のデータ（動きや時刻など）も、この段階で検出されることが可能である。ユーザは、この時点以降に、自分の固有タスクをモバイル装置に入力することが可能である。２３０で、加速度および方位のデータに基づいて、ユーザ姿勢が導出される。ユーザ姿勢は、モバイル装置の姿勢から推定されることが可能であり、あるいは、別個の装置で独立に測定されて、モバイル装置に入力されることが可能である。２４０で、ユーザの要求に対応する地図（たとえば、街路地図）が、ユーザに対する表示のために取り出される。ユーザは、自分の現在位置の地図（自分の現在位置と目的地との間の経路）を要求することが可能であり、あるいは、モバイル装置が、ユーザの動き速度に基づいて、ユーザの代わりに外挿した進路をプロットできるようにすることが可能である。速度は、速さと方向とを含む。２５０で、ユーザまたはモバイル装置の位置および導出された姿勢が、データベースにある画像のカメラ位置および方位と比較されて、ユーザに対して表示されるべき一致した画像が選択される。一致して選択される画像は、静止画像であっても動画クリップであってもよい。検索された画像は、モバイル装置について決定された位置と同じ位置、またはモバイル装置の、内挿された位置および外挿された位置に対応する。２６０で、一致した画像が、地図と関連付けられて表示される。ほとんどのモバイル装置のディスプレイは小さいので、選択された画像は、地図の側部に、画像に対応する地図上の位置を示す点または矢印とともに表示されることが可能である。２７０で、本方法は終了する。
【００６９】
本発明の一代替態様では、２２０でモバイル装置情報を検出して、２３０でユーザ姿勢を導出する代わりに、この情報および他の情報が、ユーザによって、明示的に、かつ手動で入力されることが可能である。ユーザは、別の角度、または当該年の別の季節（時刻がデータベースにおいて利用可能なパラメータの１つである場合）に関連する光景を見ることを望むことが可能であり、ユーザは、自分のモバイル装置を特定方向に向ける代わりに、所望の姿勢をモバイル装置へ入力する。
【００７０】
本発明の一態様は、画像の取得時の、装置に埋め込まれた３軸加速度計の状態から導出されたカメラの姿勢および方位を利用する、メディアの選択および検索の方法を提供する。
【００７１】
取得済みメディアおよび関連付けられた姿勢および方位の情報のセットが与えられた場合、本発明の諸態様は、モバイルユーザの位置および動きに基づいて、関連するメディア断片（ｓｎｉｐｐｅｔｓ）をモバイルユーザに提供する。
【００７２】
モバイル装置の位置および姿勢のパラメータが、画像の取得時のカメラの位置および方位のパラメータと比較され、パラメータが一致する画像が選択される。
【００７３】
たとえば、特定の場所で、モバイルナビゲーション装置の姿勢が下向きである場合、本発明の諸態様によるモバイル静止画検索インタフェースは、同じ場所に位置して、画像の取得に使用されたカメラから見て下方に位置していた、花が咲いている低木の茂みの取得静止画を取り出す。その同じ場所で、モバイルナビゲーション装置の姿勢が上向きである場合、モバイル静止画検索インタフェースは、同じ場所で画像の取得に使用されたカメラから見て上方にあった、花が咲いている樹木の取得静止画を取り出す。別の例として、ユーザに対して表示される動画要約が、検索時にモバイル装置から見て上方に位置して、取得時にカメラから見て上方に位置していた空の取得動画クリップを表示することが可能であり、一方で、モバイル装置と画像を取得したカメラとから見て下方に位置していた水の流れの取得動画クリップを除外することが可能である。
【００７４】
必要に応じて、さらなるパラメータのマッチングを行うことが可能である。たとえば、取得画像のデータベースの検索時に、動き、季節的変化、明暗の変化、およびユーザのタスクを、マッチングパラメータとして用いることが可能である。さらに多くのパラメータをマッチング処理で用いる場合、パラメータは、取得時に記録されているか、他の何らかのデータの処理から導出される必要がある。たとえば、同じ場所でも冬と夏とでは違って見えるのが普通であることを考慮すれば、時刻データが、日付データを含むことが可能であり、日付データが、季節データの導出に用いられることが可能である。時刻データはさらに、画像が夜間に取得されたか、日中に取得されたかを導出することに用いられることが可能である。他の明暗要因（たとえば、夜間の月の光や、日中の曇天など）を示すために、明暗データを、時刻データとは別に使用することが可能である。さらなるパラメータが、検索可能であるように、メタデータとして画像データに添付される。タスクデータは、海外の観光、これとは異なる仕事のための歩行、自転車走行、運転、または動きを意味する。ビジネス旅行者が銀行を探している場合もあれば、観光旅行者が教会を探している場合もある。
【００７５】
図３は、本発明の諸態様による、定常モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００７６】
定常モードでは、ユーザは、１つの場所に立っていて、その場所における自分の状況を確認するために周囲を見回している。交差点に立っている場合は、ユーザの位置を点で示した、交差点の地図が、ほとんどのナビゲーションシステムによって提供されることが可能である。しかしながら、そのような地図では、ユーザは、街路名を読まない限り、自分がどの方向を向いているのかわからないままである。看板がいかに十分に整備されているか、またはいかに十分に照明がされているか、あるいは、ユーザが何歳か、またはどのくらい文字が読めるかによっては、街路名を読むことが困難な場合がある。定常モードは、ユーザが地図上のどこにいて、どこを向いているかを、ユーザがすぐに理解することを可能にする、容易に識別可能な画像をユーザに提供する。
【００７７】
本方法は、３１０から始まる。３２０で、モバイル装置は、自身の位置および加速度を検出する。３３０で、モバイル装置、またはモバイル装置と通信しているサーバのいずれかにおいて、検出された加速度からユーザ姿勢が導出される。ユーザ姿勢は、モバイル装置の姿勢から導出される。代替として、ユーザ姿勢が別個に測定されて、モバイル装置に入力されることが可能であり、さらには、ユーザの所望の任意の姿勢が、手動でモバイル装置に入力されることが可能である。３４０で、モバイル装置の位置に対応する地図が、モバイル装置によって受信される。３５０で、一致した（対応する）画像が、モバイル装置において受信される。これらの画像のマッチングは、画像データベースがある場所で行われる。位置およびユーザ姿勢のデータと、データベースにある画像の位置およびカメラ方位との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。３４０および３５０の両ステップは、同じサーバで実行される場合には、並行して実行されることが可能であり、一致した画像と地図とが、モバイル装置に同時に到着する。３６０で、モバイル装置は、それらの一致した画像を、地図と関連付けて表示する。これらの画像は、ディスプレイサイズが許せば地図上に表示されることが可能であり、あるいは、地図の側部に表示され、各画像の地図上の位置がマーキングされることが可能である。３７０で、本方法は終了する。
【００７８】
図４は、本発明の諸態様による、内挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００７９】
内挿モードでは、ユーザは、所定の経路に沿って移動していて、モバイル装置は、現在ユーザが見ているはずの画像、または近い未来に見ると予測される画像を、ユーザに対して表示する。ユーザは、自分の現在位置から目的地までの経路を示す地図を要求することが可能である。ユーザが経路に沿って移動するにつれて、モバイル装置は、ユーザの現在位置または予測位置のいずれか、ならびにユーザ姿勢と、画像データベースにある画像の位置およびカメラ方位とのマッチングを行う。一致した画像は、静止画であっても動画クリップであってもよい。一致した画像は、モバイル装置において受信され、ユーザに対して表示される。ユーザの基本設定に応じて、ユーザは、このモードを用いて、自分が見ているはずのランドマークを表示させることにより、自分が正しい経路にいることを再確認することが可能である。代替として、ユーザは、このモードを用いて、予測されるランドマークおよび画像を表示させることにより、次に見えるはずのものを予測して、道をより早く知ることが可能である。どの静止画または動画クリップをユーザに対して表示するかを決定するために、ユーザの動きのデータが用いられる。
【００８０】
本方法は、４１０から始まる。４２０で、モバイル装置は、自身の位置、動き、および加速度を検出する。４３０で、モバイル装置、またはモバイル装置と通信しているサーバのいずれかにおいて、検出された加速度からユーザ姿勢が導出される。４４０で、要求された経路に対応する地図が、モバイル装置によって受信される。ユーザは、自分の現在位置から目的地までの経路の地図を要求することが可能である。４５０で、モバイル装置の動きデータを用いて、近い未来のユーザの予測位置が導出される。動きデータは、経路があらかじめ決まっていて、ユーザがその経路に留まる限りは、速さだけを含んでいればよく、あるいは、速さと方向の両方を含んでいてもよい。経路が決定されたら、高度グラフを用いて、現在の姿勢を、期待される姿勢に合わせて調節することが可能である。たとえば、丘が近付いてくると、現在はまっすぐ前方を見ているユーザが、上を向く可能性が高い。４６０で、一致した（対応する）画像が、モバイル装置において受信され、表示される。これらの画像は、静止画像であっても、動画クリップであってもよく、画像データベースがある処理場所においてマッチングが行われる。ユーザ姿勢データまたは調節された姿勢データ、および予測位置と、データベースにある画像のカメラ方位および位置との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。一致した画像は、地図と関連付けられて表示される。これらの画像は、ユーザが経路上を移動し続けている場合には、ユーザが見ているか、すぐにユーザから見えるようになるはずのランドマークの静止画であってよく、あるいは、ユーザが見ているか、地図にある経路に沿ってすぐに見えてくる画像の動画クリップであってよい。動画クリップが選択された場合は、ユーザの動きデータと、動画カメラの動きとのマッチングも行われる。４７０で、本方法は終了する。一致したデータの一部は、モバイル装置によって検出されたり、検出されたデータから導出されたりする代わりに、ユーザによって明示的に入力されることが可能である。
【００８１】
図５は、本発明の諸態様による、外挿モードで画像にナビゲーション地図を提供する方法のフローチャートを示す。
【００８２】
外挿モードが用いられるのは、ユーザの動きの（速さと方向の両方を含む）速度が既知であって、ユーザが通りそうな経路がユーザの現在位置から外挿されることが可能な場合である。ただし、目的地がモバイル装置に与えられていないため、経路は、最後まで既知にならない。このモードでは、確認画像または予測画像が、外挿された経路と関連付けられて表示されることが可能である。予測画像を表示することと、さらに、カメラの動きがユーザの動きと一致する動画クリップのマッチングを行うこととに関して、ユーザの動きが考慮されることが可能である。ユーザの現在の姿勢を調節することに関して、近付いてくる地形の高度グラフが考慮されることが可能である。
【００８３】
本方法は、５１０から始まる。５２０で、モバイル装置は、自身の位置、加速度、および動きを検出する。５３０で、検出された加速度から、ユーザ姿勢が導出される。５４０で、外挿された経路に対応する地図が、モバイル装置によって受信される。このモードでは、経路の外挿に、現在の動きデータが用いられる。外挿を可能にするためには、動きデータが速さと方向の両方を一緒に含まなければならない。５５０で、一致した（対応する）画像が、モバイル装置において受信され、表示される。これらの画像は、静止画像であっても動画クリップであってもよい。ユーザ姿勢データ、および現在位置または外挿された位置と、データベースにある画像のカメラ方位および位置との比較が行われ、一致した画像が選択されて、モバイル装置に送信される。動画クリップが選択された場合は、ユーザの動きデータと、動画カメラの動きとのマッチングも行われることが可能である。姿勢データは、高度グラフに対して調節されることが可能である。５６０で、一致した画像が、経路を示す地図と関連付けられて表示される。これらの画像は、外挿された地図に基づいて、確認画像または予測画像として選択されることが可能である。５７０で、本方法は終了する。一致したデータの一部は、モバイル装置によって検出されたり、検出されたデータから導出されたりする代わりに、ユーザによって明示的に入力されることが可能である。
【００８４】
図６は、本発明の諸態様によるモバイルナビゲーションアプリケーションを含むモバイル装置を示す。
【００８５】
図６は、モバイルナビゲーション装置６００を示す。この図では、画像６３０および６４０が、取得時のカメラの方位と、ユーザの位置６１０とに基づいて選択されている。最下部にある画像６３２、６４２は、カメラの角度が不適当であるために却下された。
【００８６】
モバイルナビゲーション装置６００の画面では、ユーザに対して地図６０５が表示されている。ユーザの位置は、点６１０で示されている。地図６０５には、建物６２０、道路６２０、および他の地図関連特徴６２０も示されている。さらに、画像６３０および６４０は、モバイルナビゲーション装置６００に表示される。これらの画像は、ユーザが現在位置６１０から地図上の位置６３１および６４１の方を見たときに見えるであろう光景に、各々対応する。位置６１０に立っているユーザが持っているモバイルナビゲーション装置は、上向きの方位であり姿勢である。したがって、画像６３０および６４０は、ユーザが現在６１０に立っていて上を向いている、その場所に位置するカメラで取得された画像と一致する。家の画像６３０が取得されたときにはカメラが見上げていたために、この家は、下部が広く、上部が狭く見える。同様に、給水塔の画像６４０が取得されたときもカメラが見上げていたために、この給水塔は図のように見える。画像６３２および６４２は、各々、地図上の６３１および６４１に位置する、６３０および６４０で示されているものと同じ家および同じ給水塔の画像である。しかしながら、画像６３２および６４２は、方位または姿勢が異なるカメラで取得されている。これらの画像６３２、６４２では、カメラが対象物に近すぎたために、家の上部が画像６３２に入らず、画像６４２では給水塔の両側部が平行に見える。したがって、画像６３２および６４２は、却下され、モバイルナビゲーション装置６００のディスプレイには含まれていない。もしカメラが同じ対象物またはランドマークを、角度を付けて見下ろしていたとすれば、各対象物の第３の光景がさらに、データベースにおいて利用可能であったろうが、ここでは、該第３の光景はシステムによって却下されるであろう。
【００８７】
図６に示された、本発明の態様は、ユーザに対して静止画像を提示する。本発明の一態様では、静止画像６３０、６４０の代わりに動画クリップが用いられることが可能である。たとえば、撮影者が歩いたり、立ち止まったりする間に、動画カメラによって動画像が取得されることが可能である。歩いている間に取得されたセグメントが、立ち止まっている間に取得されたセグメントにはさまれている場合は、これらのセグメントにタグを付けることが可能である。そして、立ち止まっている間に取得された、前後のセグメントから、歩いている間に取得されたセグメントを選択することにより、オリジナルの長いクリップから動画断片を抽出することが可能である。別の例として、動画クリップの、カメラが環状に下向きにパンする部分を、ユーザが容易に取り出すことも可能である。たとえば、坂を下るスキーヤを追う別のスキーヤがカメラを装着している場合である。
【００８８】
これらの照会は、従来型のＧＵＩを使用するユーザによって、能動的に、画像を含むデータベースに入力されることが可能である。代替として、ユーザがユーザの環境内で物理的に動いたときに、システムによって、適切な照会（検索条件）が自動的に構築されることが可能である。たとえば、森の中を自転車で走行しているユーザが、同様に動いていた撮影者のカメラで取得された静止画を取得するであろう。これにより、このユーザの活動にとって、より関係がある静止画（たとえば、「道の右側（ｒｉｇｈｔ ｔｒａｉｌ）では自転車走行禁止」という看板）が取り出されるであろう。ハイカーであれば、同じ静止画をシステムから受信することはないであろう。
【００８９】
図６に示されるように、ユーザの現在位置またはその近くにあったカメラで取得された、地図上の異なる位置に関連付けられた２つ以上の画像を見ることをユーザが選択した場合は、その２つ以上の画像が同時にモバイル装置に表示されることが可能である。前述のように、地図上の位置は、モバイル装置によって自動的に検出される代わりに、ユーザによって手動で入力されることが可能である。さらに、前述のように、これらの画像は、様々な一致条件に従って選択されることが可能であり、これらの一致条件は、ほぼ厳密な一致が必要であってもよく、より寛容であって、ユーザのパラメータとおおむね一致している画像を受け入れるものであってもよい。
【００９０】
図７は、本発明の諸態様による、ユーザ姿勢を推定することに対する、ユーザ位置の高度グラフの影響を示す。
【００９１】
姿勢は、次に来る高度グラフに従って調節されることが可能である。さらに、姿勢を高度グラフと組み合わせて、モバイルナビゲーション用に選択された画像を調節することが可能である。図７に示された３つのシナリオでは、高度グラフがユーザに対し、前方をまっすぐ見る（７０１）、見上げる（７０２）、または見下ろす（７０３）ように促している。この状況では、動きを用いて、姿勢を予測することが可能であり、したがって、表示するメディアを予測することが可能である。たとえば、ユーザが階段を下りようとしているときは、システムは、カメラが見下ろしていた場合の静止画および動画断片を自動的に表示することが可能であり、たとえ、階段の一番上にいるユーザの現在の姿勢が、前方または上方を見ているように登録されていても、同様の方位の静止画および動画断片を表示することが可能である。そして、ユーザは、その後、下っていく階段の画像だけを見ることができる。
【００９２】
モバイルナビゲーションタスクでは、環境内で容易に認識可能なランドマークを提示して方向付けを支援することを行わない場合には、標準的な地図は、ユーザを案内するのに不十分であることが多い。本発明の諸態様を用いると、このようなランドマークは、カメラが上方を向いていた間、および／または、このメディアを取得していたユーザが立っていた間に取得された、取得済みメディアをユーザに対して表示することにより、自動的に選択される。姿勢と位置データの高度部分とを組み合わせることにより、姿勢のうちの、方位と、立ち上がっているか、横になっているかの態様との両方が決定される。この姿勢情報を、ＯＣＲ、物体認識、または高度グラフと組み合わせることにより、ナビゲーションに特に有用な静止画を検出することも可能である。
【００９３】
図８は、本発明の諸態様による、姿勢に従って画像ダイアリから画像を検索する方法を示す。
【００９４】
一日の間に取得された画像からなる画像ダイアリは、姿勢データのマッチングを行うことにより、容易かつ迅速に検索されることが可能である。本発明の諸態様の方法およびシステムは、たとえば、観光をした日の後にメディアを検索することに用いられることが可能である。たとえば、ユーザは、「私が自分のカメラで見下ろしていた時刻」の動画断片または静止画を素早く見つけることが可能である。収集物を検索および閲覧するためのユーザインタフェースは、アイコンを用いて、様々な種類の姿勢および動きを表すことが可能である。
【００９５】
図８に示された一例示的方法は、８１０から始まる。８２０で、画像ダイアリ装置が、取得画像データおよび加速度データを受信する。８３０で、画像ダイアリ装置（または画像ダイアリ装置と通信しているサーバ）は、加速度データからカメラ方位データを生成する。８４０で、カメラ方位データが、メタデータとして、各画像に関連付けられる。８５０で、画像ダイアリ装置は、ユーザの特定の姿勢から見える画像の要求を受信し、関連メタデータを検索することにより、その、ユーザの特定の姿勢に対応する取得画像が検索される。ユーザ姿勢とカメラ方位とは、互いの代用として取得されることが可能である。８６０で、要求された姿勢または方位に対応する画像が取り出される。８７０で、本方法は終了する。
【００９６】
図９は、本発明の諸態様による、姿勢に従って画像を検索する画像ダイアリ装置を示す。
【００９７】
この図には、本発明の諸態様による画像ダイアリ装置９００が示されている。この画像ダイアリ装置は、ユーザインタフェースにもなるディスプレイを含むことが可能である。代替として、この画像ダイアリ装置は、独立したディスプレイ９１０と、ユーザ入力インタフェース９２０とを含むことも可能である。ユーザ入力インタフェース９２０は、グラフィックユーザインタフェースであってよい。ユーザインタフェース９２０は、収集画像の検索および閲覧に用いられ、様々な種類の姿勢および動きを表すアイコン９３１、９３２を含む。見上げている人物に対応するアイコン９３２をアクティブにすると、画像ダイアリに記憶されている画像の中から、カメラが対象物を見上げていたときに取得された画像であることを示すメタデータを有する画素が検索される。たとえば、画像ダイアリから取り出されてディスプレイ９１０に表示されている画像９１１は、街灯柱の灯りを下から見上げているときの街灯柱の画像である。
【００９８】
図１０は、本発明の方法の一実施形態が実装されることが可能なコンピュータ／サーバシステム１０００の一実施形態を示すブロック図である。
【００９９】
システム１０００は、コンピュータ／サーバプラットフォーム１００１、周辺装置１００２、およびネットワークリソース１００３を含んでいる。
【０１００】
コンピュータプラットフォーム１００１は、コンピュータプラットフォーム１００１の種々の部分のすべてにわたって、かつ、各々の部分の間で情報を伝達するためのデータバス１００４または他の通信機構と、バス１００４と結合されて、情報を処理し、他の計算タスクおよび制御タスクを実行するプロセッサ（ＣＰＵ）１００５と、を含むことが可能である。コンピュータプラットフォーム１００１はさらに、バス１００４と結合されて、種々の情報ならびに（プロセッサ１００５で実行される）命令を記憶する揮発性記憶装置１００６（たとえば、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置）を含んでいる。揮発性記憶装置１００６はさらに、プロセッサ１００５で命令が実行されている間に、一時変数または他の中間情報を記憶することに用いられることが可能である。コンピュータプラットフォーム１００１はさらに、バス１００４と結合されて、静的情報およびプロセッサ１００５用の命令（基本入出力システム（ＢＩＯＳ）など）、ならびに種々のシステム構成パラメータを記憶する読み出し専用メモリ（ＲＯＭまたはＥＰＲＯＭ）１００７または他の静的記憶装置を含むことが可能である。情報および命令を記憶するために、永続的記憶装置１００８（たとえば、磁気ディスク、光ディスク、固体フラッシュメモリ素子など）が提供され、バス１００４と結合されている。
【０１０１】
コンピュータ１００１は、バス１００４を介してディスプレイ１００９（ブラウン管（ＣＲＴ）、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）など）と結合されることが可能であり、ディスプレイ１００９は、コンピュータプラットフォーム１００１のシステム管理者またはユーザに対して情報を表示する。英数字キーおよび他のキーを含む入力装置（キーボード）１０１０が、バス１００４と結合され、情報およびコマンド選択をプロセッサ１００５に伝達する。別のタイプのユーザ入力装置が、マウスやトラックボールやカーソル方向キーのようなカーソル制御装置１０１１であり、方向情報およびコマンド選択をプロセッサ１００５に伝達し、ディスプレイ１００９上のカーソルの動きを制御する。この入力装置は、一般的には、平面内の位置を指定することを可能にする２つの軸、すなわち、第１の軸（たとえば、ｘ）および第２の軸（たとえば、ｙ）の形態で自由度２を有する。
【０１０２】
コンピュータプラットフォーム１００１に追加の、または着脱可能な記憶容量を提供するために、外部記憶装置１０１２が、バス１００４を介して、コンピュータプラットフォーム１００１に接続されることが可能である。コンピュータシステム１０００の一実施形態では、外部着脱可能記憶装置１０１２は、他のコンピュータシステムとのデータ交換を容易にするために用いられることが可能である。
【０１０３】
本発明は、本明細書に記載の手法を実施するためにコンピュータシステム１０００を使用することに関する。一実施形態では、本発明のシステムは、コンピュータプラットフォーム１００１のようなマシンに常駐することが可能である。本発明の一実施形態によれば、本明細書に記載の手法は、揮発性記憶装置（メモリ）１００６に収容された１つまたは複数の命令の１つまたは複数のシーケンスをプロセッサ１００５が実行することに対する応答として、コンピュータシステム１０００によって実行される。このような命令は、別のコンピュータ可読媒体（永続的記憶装置１００８など）から揮発性記憶装置（メモリ）１００６に読み込まれることが可能である。揮発性メモリ１００６に収容された命令のシーケンスの実行が、プロセッサ１００５による、本明細書に記載の処理ステップの実行を引き起こす。代替実施形態では、本発明を実施するために、ソフトウェア命令の代わりに、あるいは、ソフトウェア命令との組み合わせで、ハードワイヤード回路が用いられることが可能である。したがって、本発明の諸実施形態は、ハードウェア回路とソフトウェアとの、何らかの特定の組み合わせに限定されない。
【０１０４】
本明細書では、「コンピュータ可読媒体」という用語は、命令を、実行のためにプロセッサ１００５に提供することに関与する任意の媒体を意味する。コンピュータ可読媒体は、本明細書に記載の方法および／または手法のいずれかを実施する命令を伝送することが可能なマシン可読媒体の一例に過ぎない。このような媒体は、様々な形態であってよく、たとえば、不揮発性媒体、揮発性媒体、伝送媒体などであってよく、これらに限定されない。不揮発性媒体としては、たとえば、記憶装置１００８のような、光ディスクや磁気ディスクがある。揮発性媒体としては、揮発性記憶装置１００６のような動的メモリがある。伝送媒体としては、データバス１００４を構成するワイヤを含む、同軸ケーブル、銅線、光ファイバなどがある。
【０１０５】
コンピュータ可読媒体の一般的形態としては、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、他の任意の孔パターン付き物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、他の任意のメモリチップまたはカートリッジ、または、他の任意の、コンピュータが読み取ることが可能な媒体がある。
【０１０６】
１つまたは複数の命令の１つまたは複数のシーケンスを実行のためにプロセッサ１００５へ伝送することには、様々な形式のコンピュータ可読媒体を関与させることが可能である。たとえば、これらの命令を、遠くのコンピュータから磁気ディスクで運ぶことが可能である。代替として、遠くのコンピュータが、命令を動的メモリにロードして、それらの命令を、モデムを用いて電話回線経由で送信することが可能である。コンピュータシステム１０００の近くにあるモデムが、電話回線からデータを受信し、赤外線送信機を用いて、そのデータを赤外線信号に変換することが可能である。その赤外線信号で搬送されたデータを、赤外線検出器が受信することが可能であり、しかるべき回路が、そのデータをデータバス１００４に載せることが可能である。バス１００４は、データを揮発性記憶装置１００６へ伝送し、プロセッサ１００５が命令を揮発性記憶装置１００６から取り出して実行する。揮発性記憶装置（メモリ）１００６で受信された命令は、オプションで、プロセッサ１００５による実行の前または後に、永続的記憶装置１００８に記憶されることが可能である。これらの命令はさらに、当該技術分野でよく知られている様々なネットワークデータ通信プロトコルを用いて、インターネット経由でコンピュータプラットフォーム１００１にダウンロードされることが可能である。
【０１０７】
コンピュータプラットフォーム１００１はさらに、データバス１００４と結合されているネットワークインタフェースカード１０１３のような通信インタフェースを含んでいる。通信インタフェース１０１３は、ローカルエリアネットワーク（ＬＡＮ）１０１５に接続されたネットワークリンク１０１４との双方向データ通信結合を提供する。たとえば、通信インタフェース１０１３は、対応するタイプの電話回線とのデータ通信接続を提供する統合サービスデジタルネットワーク（ＩＳＤＮ）カードまたはモデムであってよい。別の例として、通信インタフェース１０１３は、互換ＬＡＮとのデータ通信接続を提供するローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）であってよい。よく知られている１００２．１１ａ、１００２．１１ｂ、１００２．１１ｇ、Ｂｌｕｅｔｏｏｔｈなどの無線リンクも、ネットワーク実装に使用されることが可能である。このような実装のいずれにおいても、通信インタフェース１０１３は、様々なタイプの情報を表現するデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送信および受信する。
【０１０８】
ネットワークリンク１０１３は、典型的には、１つまたは複数のネットワークを経由して、他のネットワークリソースとのデータ通信を提供する。たとえば、ネットワークリンク１０１４は、ＬＡＮ １０１５を経由して、ホストコンピュータ１０１６、またはネットワーク記憶装置／サーバ１０２２との接続を提供することが可能である。さらに、または代替として、ネットワークリンク１０１４は、ゲートウェイ／ファイアウォール１０１７を経由して、ワイドエリアネットワークまたはグローバルネットワーク１０１８（インターネットなど）と接続することが可能である。したがって、コンピュータプラットフォーム１００１は、インターネット１０１８上の任意の場所にあるネットワークリソース（たとえば、リモートネットワーク記憶装置／サーバ１０１９）にアクセスすることが可能である。一方、コンピュータプラットフォーム１００１は、ＬＡＮ １０１５および／またはインターネット１０１８上の任意の場所にあるクライアントによってアクセスされることも可能である。ネットワーククライアント１０２０および１０２１は、それら自体が、プラットフォーム１００１と同等のコンピュータプラットフォームをベースとして実装されてよい。
【０１０９】
ＬＡＮ １０１５およびインターネット１０１８は、両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータプラットフォーム１００１を出入りするデジタルデータを搬送する、各種ネットワークを通る信号、ならびに、ネットワークリンク１０１４上にあって通信インタフェース１０１３を通る信号は、情報を搬送する搬送波の例示的形態である。
【０１１０】
コンピュータプラットフォーム１００１は、インターネット１０１８およびＬＡＮ １０１５、ネットワークリンク１０１４、および通信インタフェース１０１３を含む様々なネットワークを経由して、メッセージを送信し、プログラムコードを含むデータを受信することが可能である。インターネットの例では、システム１００１がネットワークサーバとして動作する場合、システム１００１は、クライアント１０２０および／または１０２１で動作するアプリケーションプログラムのための、要求されたコードまたはデータを、インターネット１０１８、ゲートウェイ／ファイアウォール１０１７、ＬＡＮ １０１５、および通信インタフェース１０１３を経由して、送信することが可能である。同様に、システム１００１は、他のネットワークリソースからコードを受信することが可能である。
【０１１１】
受信されたコードは、受信された時点でプロセッサ１００５によって実行されることが可能であり、かつ／または、後での実行のために、永続的記憶装置１００８または揮発性記憶装置１００６、あるいは他の不揮発性記憶装置に記憶されることが可能である。このようにして、コンピュータシステム１００１は、アプリケーションコードを搬送波の形態で取得することが可能である。
【０１１２】
図１１および図１２は、本発明がどのようにコンピュータプラットフォームに関連するかについての例示的機能図を示す。
【０１１３】
ユーザ装置１１００は、ユーザ装置で受信された地図データおよび画像、またはユーザ装置で感知されたデータ、またはユーザによってユーザ装置に入力されたデータを処理するために使用される処理ユニット１１０１およびＲＡＭ／ＲＯＭユニット１１０２を含んでいる。地図データは、セントラルサーバ１２００に内蔵されたデータベース１２０１から受信されることが可能である。位置および姿勢のデータは、ユーザ装置で感知されるか、ユーザによって入力されることが可能である。地図および画像を受信し、収集されたデータをセントラルサーバ１２００に送信するために、入出力インタフェース１１０３が用いられることが可能である。入出力インタフェース１１０３はさらに、所望の方向を向くためのカメラを含むことが可能である。ユーザは、追加のユーザ入力ユニット１１０４からユーザ装置に、ユーザの選択または基本設定を入力することが可能であり、ディスプレイ１１０５を用いて、ディスプレイ上で地図およびランドマークを見る。ユーザ装置１１００の位置を測定するために、ＧＰＳロケータ１１０６が用いられることが可能であり、ユーザ装置１１００の姿勢を測定するために、加速度計１１０７が用いられることが可能である。
【０１１４】
最後に、本明細書に記載の方法および手法は、いかなる特定の装置にも本質的に関連するものではなく、構成要素の任意の好適な組み合わせで実装されることが可能であることを理解されたい。さらに、本明細書に記載の教示に従って、様々なタイプの汎用装置を使用することが可能である。また、本明細書に記載の方法ステップを実行するために専用装置を構築することが有利であることも明らかであろう。本発明は、特定の例に関して説明されてきたが、これらの例は、あらゆる点において、制限的ではなく、例示的であることが意図されている。当業者であれば理解されるように、本発明の実践には、ハードウェア、ソフトウェア、およびファームウェアの、多くの様々な組み合わせが好適である。たとえば、記載のソフトウェアは、様々な種類のプログラミング言語やスクリプト言語（たとえば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）など）で実装可能である。
【０１１５】
さらに、当業者であれば、本明細書を検討し、本明細書で開示された本発明を実践することにより、本発明の他の実施態様が明らかになるであろう。記載の諸実施形態の各種態様および／または構成要素は、本発明の画像作成およびナビゲーションシステムにおいて、単独に、または任意の組み合わせで、使用されることが可能である。本明細書および実施例は単に例示的であるとみなされるべきものとし、本発明の真の範囲および趣旨は、添付の特許請求の範囲およびそれらの等価物によって示されるものとする。
【符号の説明】
【０１１６】
６００ モバイルナビゲーション装置
６０５ 地図
６１０ ユーザの位置
６２０ 地図関連特徴
６３０、６３２、６４０、６４２ 画像
９００ 画像ダイアリ装置
９１０ ディスプレイ
９１１ 画像
９２０ ユーザインタフェース
９３１、９３２ アイコン
【特許請求の範囲】
【請求項１】
（ａ）取得画像データを受信し、
（ｂ）前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、
（ｃ）前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、
（ｄ）前記関連メタデータを含む前記取得画像データのデータベースを形成する、
画像データベースを形成する方法。
【請求項２】
前記カメラ方位データは、カメラ加速度データから導出される請求項１に記載の画像データベース形成方法。
【請求項３】
前記取得画像データは動画像を含み、
（ｃ）は、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含む、
請求項１に記載の画像データベース形成方法。
【請求項４】
前記取得画像データは静止画像を含み、
（ｃ）は、前記静止画像のヘッダとして、対応する前記カメラ位置および前記カメラ方位を前記関連メタデータとして埋め込むことを含む、
請求項１に記載の画像データベース形成方法。
【請求項５】
前記カメラ方位データを、関連ダイアリメタデータとして、前記取得画像データと関連付けることにより、画像ダイアリを形成する、ことをさらに含む、請求項１に記載の画像データベース形成方法。
【請求項６】
選択されたユーザ姿勢に対応する画像の要求を受信し、
前記関連ダイアリメタデータを検索することにより、前記画像ダイアリを検索し、
前記選択されたユーザ姿勢と一致する前記関連ダイアリメタデータを有する前記取得画像データを取り出す、
ことをさらに含む、請求項５に記載の画像データベース形成方法。
【請求項７】
（ａ）モバイル装置位置およびモバイル装置姿勢を含むモバイル装置情報を取得し、
（ｂ）ユーザ要求に対応する地図を受信し、
（ｃ）前記地図に対応する、一致した画像を受信し、
（ｄ）前記一致した画像を、前記地図とともに表示する、
ユーザのモバイル装置を用いてナビゲーションする方法であって、
前記モバイル装置姿勢および前記モバイル装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像は、データベース画像を含むデータベースから選択される、
ナビゲーション方法。
【請求項８】
前記データベース画像は、静止画および動画クリップを含む、請求項７に記載のナビゲーション方法。
【請求項９】
前記一致した画像は、前記モバイル装置の現在位置を確認する確認一致画像、または、前記モバイル装置の次の位置を予測する予測一致画像となるように選択される、請求項７に記載のナビゲーション方法。
【請求項１０】
前記モバイル装置情報はさらに、モバイル装置の動きを含み、
前記一致した画像は、前記モバイル装置の動きと、さらなるメタデータとして、前記データベース画像の各々と関連付けられたカメラ動きとのマッチングをさらに行うことにより、前記データベースから選択される、
請求項７に記載のナビゲーション方法。
【請求項１１】
前記地図は、前記モバイル装置位置の地図である、請求項７に記載のナビゲーション方法。
【請求項１２】
前記地図は、第１の位置から第２の位置までの経路の、内挿された地図であり、
前記第１の位置は、最初のモバイル装置位置に対応する、
請求項７に記載のナビゲーション方法。
【請求項１３】
前記地図は、前記モバイル装置位置からの、前記モバイル装置動きに従って生成されている経路の、外挿された地図であって、
前記モバイル装置の動きはモバイル装置速度を含む、
請求項１０に記載のナビゲーション方法。
【請求項１４】
前記モバイル装置情報は、時刻データ、明暗データ、およびユーザタスクデータをさらに含み、
前記時刻データは、季節データを含み、
前記明暗データは、曇天状態および夜間状態を含み、
さらに、前記時刻データ、前記明暗データ、および前記ユーザタスクデータと、さらなるメタデータとして前記データベース画像の各々に関連付けられた取得時刻、取得時の明暗状態、およびタスクデータとのマッチングを各々行うことにより、前記一致した画像が前記データベース画像を含む前記データベースから選択される、
請求項７に記載のナビゲーション方法。
【請求項１５】
前記ユーザタスクデータは、自転車に乗っていることを示し、
前記一致した画像は、前記ユーザと類似の明暗状態の下で、前記ユーザと同じ季節に、前記ユーザと同じ経路に沿って、自転車に乗っていたカメラによって取得されており、
前記一致した画像は、自転車に乗っている人が関心を持つ画像に対応する、
請求項１４に記載のナビゲーション方法。
【請求項１６】
（ａ）は、前記モバイル装置位置およびモバイル装置加速度を検出することを含み、
前記モバイル装置姿勢は、前記モバイル装置加速度から導出される、
請求項７に記載のナビゲーション方法。
【請求項１７】
（ａ）は、前記モバイル装置位置および前記モバイル装置姿勢を示す、前記ユーザによる入力を受信することを含む、請求項７に記載のナビゲーション方法。
【請求項１８】
取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する入力インタフェースと、
前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける、第１のプロセッサと、
前記取得画像データを、前記関連メタデータとともに、記憶画像として記憶するデータベースと、
ユーザ姿勢およびユーザ位置を含むユーザ要求を受信する受信機と、
前記ユーザ姿勢および前記ユーザ位置が、前記記憶画像の前記カメラ方位データおよび前記カメラ位置データと一致する、一致した画像を決定する、第２のプロセッサと、
前記ユーザ要求を送信したユーザに、前記一致した画像を送信する送信機と、
を備えるデータベースシステム。
【請求項１９】
モバイル装置位置を検出する全地球測位システムモジュールと、
モバイル装置加速度を検出する加速度計と、
前記モバイル装置加速度からユーザ姿勢を導出するプロセッサと、
ユーザ要求を送信し、前記ユーザ要求に対応する地図を受信し、前記地図に対応する、一致した画像を受信する送受信機と、
前記一致した画像を、前記地図とともに表示するディスプレイと、
を備え、
前記ユーザ姿勢および前記ユーザ装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像がデータベース画像を含むデータベースから選択される、
ナビゲーション用モバイル装置。
【請求項２０】
ナビゲーション機能を有するモバイル装置と、
前記モバイル装置と通信している画像データベースと、
を備え、
前記モバイル装置は、モバイル装置位置データおよびモバイル装置姿勢データを収集し、前記画像データベースにアクセスできる装置へ送信し、
一致した画像を取得するために、前記モバイル装置位置データおよび前記モバイル装置姿勢データと、前記画像データベースにある画像に関連付けられたカメラ位置およびカメラ方位を示すメタデータとのマッチングが行われ、
前記一致した画像は、前記モバイル装置へ送信され、
前記一致した画像は、地図とともに、前記モバイル装置に表示される、
ナビゲーションシステム。
【請求項２１】
前記地図は、現在のユーザ位置の地図、第１のユーザ位置と目的地位置との間の経路の地図、および前記モバイル装置の動きに応じて外挿される、前記第１のユーザ位置からの地図、から選択され、
前記画像は、静止画および動画クリップを含む、
請求項２０に記載のナビゲーションシステム。
【請求項２２】
コンピュータを、
取得画像データを受信する手段と、
前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する手段と、
前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける手段と、
前記関連メタデータを含む前記取得画像データのデータベースを形成する手段と、
として機能させるためのプログラム。
【請求項１】
（ａ）取得画像データを受信し、
（ｂ）前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信し、
（ｃ）前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付け、
（ｄ）前記関連メタデータを含む前記取得画像データのデータベースを形成する、
画像データベースを形成する方法。
【請求項２】
前記カメラ方位データは、カメラ加速度データから導出される請求項１に記載の画像データベース形成方法。
【請求項３】
前記取得画像データは動画像を含み、
（ｃ）は、各動画像について、タイムスタンプが付加されたカメラ位置変化イベントおよびカメラ方位変化イベントのリストを導出し、前記動画像のトランジションに、前記関連メタデータとしてタグを付けることを含む、
請求項１に記載の画像データベース形成方法。
【請求項４】
前記取得画像データは静止画像を含み、
（ｃ）は、前記静止画像のヘッダとして、対応する前記カメラ位置および前記カメラ方位を前記関連メタデータとして埋め込むことを含む、
請求項１に記載の画像データベース形成方法。
【請求項５】
前記カメラ方位データを、関連ダイアリメタデータとして、前記取得画像データと関連付けることにより、画像ダイアリを形成する、ことをさらに含む、請求項１に記載の画像データベース形成方法。
【請求項６】
選択されたユーザ姿勢に対応する画像の要求を受信し、
前記関連ダイアリメタデータを検索することにより、前記画像ダイアリを検索し、
前記選択されたユーザ姿勢と一致する前記関連ダイアリメタデータを有する前記取得画像データを取り出す、
ことをさらに含む、請求項５に記載の画像データベース形成方法。
【請求項７】
（ａ）モバイル装置位置およびモバイル装置姿勢を含むモバイル装置情報を取得し、
（ｂ）ユーザ要求に対応する地図を受信し、
（ｃ）前記地図に対応する、一致した画像を受信し、
（ｄ）前記一致した画像を、前記地図とともに表示する、
ユーザのモバイル装置を用いてナビゲーションする方法であって、
前記モバイル装置姿勢および前記モバイル装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像は、データベース画像を含むデータベースから選択される、
ナビゲーション方法。
【請求項８】
前記データベース画像は、静止画および動画クリップを含む、請求項７に記載のナビゲーション方法。
【請求項９】
前記一致した画像は、前記モバイル装置の現在位置を確認する確認一致画像、または、前記モバイル装置の次の位置を予測する予測一致画像となるように選択される、請求項７に記載のナビゲーション方法。
【請求項１０】
前記モバイル装置情報はさらに、モバイル装置の動きを含み、
前記一致した画像は、前記モバイル装置の動きと、さらなるメタデータとして、前記データベース画像の各々と関連付けられたカメラ動きとのマッチングをさらに行うことにより、前記データベースから選択される、
請求項７に記載のナビゲーション方法。
【請求項１１】
前記地図は、前記モバイル装置位置の地図である、請求項７に記載のナビゲーション方法。
【請求項１２】
前記地図は、第１の位置から第２の位置までの経路の、内挿された地図であり、
前記第１の位置は、最初のモバイル装置位置に対応する、
請求項７に記載のナビゲーション方法。
【請求項１３】
前記地図は、前記モバイル装置位置からの、前記モバイル装置動きに従って生成されている経路の、外挿された地図であって、
前記モバイル装置の動きはモバイル装置速度を含む、
請求項１０に記載のナビゲーション方法。
【請求項１４】
前記モバイル装置情報は、時刻データ、明暗データ、およびユーザタスクデータをさらに含み、
前記時刻データは、季節データを含み、
前記明暗データは、曇天状態および夜間状態を含み、
さらに、前記時刻データ、前記明暗データ、および前記ユーザタスクデータと、さらなるメタデータとして前記データベース画像の各々に関連付けられた取得時刻、取得時の明暗状態、およびタスクデータとのマッチングを各々行うことにより、前記一致した画像が前記データベース画像を含む前記データベースから選択される、
請求項７に記載のナビゲーション方法。
【請求項１５】
前記ユーザタスクデータは、自転車に乗っていることを示し、
前記一致した画像は、前記ユーザと類似の明暗状態の下で、前記ユーザと同じ季節に、前記ユーザと同じ経路に沿って、自転車に乗っていたカメラによって取得されており、
前記一致した画像は、自転車に乗っている人が関心を持つ画像に対応する、
請求項１４に記載のナビゲーション方法。
【請求項１６】
（ａ）は、前記モバイル装置位置およびモバイル装置加速度を検出することを含み、
前記モバイル装置姿勢は、前記モバイル装置加速度から導出される、
請求項７に記載のナビゲーション方法。
【請求項１７】
（ａ）は、前記モバイル装置位置および前記モバイル装置姿勢を示す、前記ユーザによる入力を受信することを含む、請求項７に記載のナビゲーション方法。
【請求項１８】
取得画像データを受信し、前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する入力インタフェースと、
前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける、第１のプロセッサと、
前記取得画像データを、前記関連メタデータとともに、記憶画像として記憶するデータベースと、
ユーザ姿勢およびユーザ位置を含むユーザ要求を受信する受信機と、
前記ユーザ姿勢および前記ユーザ位置が、前記記憶画像の前記カメラ方位データおよび前記カメラ位置データと一致する、一致した画像を決定する、第２のプロセッサと、
前記ユーザ要求を送信したユーザに、前記一致した画像を送信する送信機と、
を備えるデータベースシステム。
【請求項１９】
モバイル装置位置を検出する全地球測位システムモジュールと、
モバイル装置加速度を検出する加速度計と、
前記モバイル装置加速度からユーザ姿勢を導出するプロセッサと、
ユーザ要求を送信し、前記ユーザ要求に対応する地図を受信し、前記地図に対応する、一致した画像を受信する送受信機と、
前記一致した画像を、前記地図とともに表示するディスプレイと、
を備え、
前記ユーザ姿勢および前記ユーザ装置位置と、前記データベース画像の各々に、メタデータとして関連付けられたカメラ方位およびカメラ位置とのマッチングを各々行うことにより、前記一致した画像がデータベース画像を含むデータベースから選択される、
ナビゲーション用モバイル装置。
【請求項２０】
ナビゲーション機能を有するモバイル装置と、
前記モバイル装置と通信している画像データベースと、
を備え、
前記モバイル装置は、モバイル装置位置データおよびモバイル装置姿勢データを収集し、前記画像データベースにアクセスできる装置へ送信し、
一致した画像を取得するために、前記モバイル装置位置データおよび前記モバイル装置姿勢データと、前記画像データベースにある画像に関連付けられたカメラ位置およびカメラ方位を示すメタデータとのマッチングが行われ、
前記一致した画像は、前記モバイル装置へ送信され、
前記一致した画像は、地図とともに、前記モバイル装置に表示される、
ナビゲーションシステム。
【請求項２１】
前記地図は、現在のユーザ位置の地図、第１のユーザ位置と目的地位置との間の経路の地図、および前記モバイル装置の動きに応じて外挿される、前記第１のユーザ位置からの地図、から選択され、
前記画像は、静止画および動画クリップを含む、
請求項２０に記載のナビゲーションシステム。
【請求項２２】
コンピュータを、
取得画像データを受信する手段と、
前記取得画像データに対応するカメラ位置データおよびカメラ方位データを受信する手段と、
前記カメラ位置データおよび前記カメラ方位データを、関連メタデータとして、対応する取得画像データに関連付ける手段と、
前記関連メタデータを含む前記取得画像データのデータベースを形成する手段と、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１７０５１８（Ｐ２０１０−１７０５１８Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１６８７９１（Ｐ２００９−１６８７９１）
【出願日】平成２１年７月１７日（２００９．７．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年７月１７日（２００９．７．１７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]