ナビゲータとしてのモバイルイメージング装置
本発明の実施形態は、カメラ付き携帯電話のようなモバイルイメージング装置の方向に基づいて情報を取得することに関する。カメラにより視覚情報を収集し、この情報を使用してカメラの方向を特定し、この方向に基づいてコンテンツを検索し、周辺の３Ｄ仮想イメージを操作し、別様に方向情報を使用する。一連の画像を解析することにより、方向及び動きを特定する。現在の場所からの距離、入力した検索パラメータ、及びその他の基準を使用してこのような基準を適用したコンテンツを拡張し、又はフィルタにかけることができる。距離インジケータを含む検索結果をマップ又はカメラ入力の上に重ねることができる。現在の方向に関する様々なコンテンツを表示することができ、或いは会社の場所などの所望のコンテンツを、カメラがこの所望のコンテンツの方を向いているときにのみ表示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２００８年６月２０日に出願された米国特許出願第１２／１４３，５２７号からの優先権を主張するものであり、該特許出願はその内容全体が引用により本明細書に組み入れられる。
【０００２】
本発明は、モバイルイメージング装置の方向に基づいて情報を取得することに関し、より具体的には、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び／又は仮想世界において方向を確認できるようにすることに関する。
【背景技術】
【０００３】
ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ社及びＧａｒｍｉｎ社が提供するような全地球測位システム（ＧＰＳ）マッピングシステムでは、３次元（３Ｄ）ベクトルマップが使用されている。このようなマップは、「上空」から見た、又は地表から見た地域の透視図を提供することができる。ユーザは、透視図を見ることにより、自分がある場所からどれほど離れているかを測定できるようになる。既存のＧＰＳベクトルマップシステムは、レストラン及びコーヒーショップなどのいくつかのローカルな目的地を予めプログラムされるようになったものが多い。ドライバは、ＧＰＳが追跡した空間内の直線的な動きの関数としてこれらのマップ内を自動的にスクロールすることができるが、マップ情報は一般に動きの方向に基づく。また通常、この直線的な動きの規模、及び対応するマップ上のナビゲーションは、足の動きよりはむしろ車の運転に合わせられている。
【０００４】
同様に、携帯情報端末（ＰＤＡ）によって使用されるような現在のモバイル検索システムは、通常、２Ｄの上空から見たマップを使用して、ユーザが向いている方向ではなく、むしろモバイル装置の現在の場所周辺の半径内のローカルな結果を表示する。従って、現在の２Ｄ及び３Ｄマッピングシステムは、一般に進む方向の、又は場所の周りの半径内の検索情報を提供する。しかしながら、一般にこれらのシステムは、ドライバ又はユーザが向いている方向を特定することができない。例えば、車は後ろ向きに移動することができるが、ドライバは前又は横を向いている場合がある。本発明は、これらの及びその他の検討事項に関する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第１２／１２１，２５９号
【発明の概要】
【課題を解決するための手段】
【０００６】
以下の図面を参照しながら、本発明の非限定的かつ非包括的な実施形態について説明する。図面では、別途指定しない限り、様々な図を通じて同じ参照番号が同じ部分を示す。
【０００７】
本発明をより良く理解するために以下の実施形態の詳細な説明を参照し、これを添付図面と併せて読まれたい。
【図面の簡単な説明】
【０００８】
【図１】本発明を実施できる例示的なシステムの１つの実施形態を示す図である。
【図２】例示的なモバイル装置の１つの実施形態の概略図である。
【図３】例示的なネットワーク装置の１つの実施形態の概略図である。
【図４】モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例のフロー図である。
【発明を実施するための形態】
【０００９】
以下、本明細書の一部を形成するとともに本発明を実施できるようにするための特定の例示的な実施形態を実例として示す添付図面を参照しながら本発明についてより完全に説明する。しかしながら、本発明は多くの異なる形で具体化することができ、本明細書に示す実施形態に本発明が限定されると見なすべきではなく、むしろこれらの実施形態は、本開示を徹底的かつ完全なものにするとともに、当業者に本発明の範囲を完全に伝えるように提供するものである。とりわけ、本発明は方法又は装置として具体化することができる。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではない。
【００１０】
明細書及び特許請求の範囲を通じて、以下の用語は、文脈において特に指定しない限り、本明細書で明確に関連付ける意味をとる。本明細書で使用する「１つの実施形態では」という語句は、同じ実施形態を示す場合もあるが、必ずしもそうとは限らない。さらに、本明細書で使用する「別の実施形態では」という語句は、異なる実施形態を示す場合もあるが、必ずしもそうとは限らない。従って、後述するように、本発明の範囲又は思想から逸脱することなく本発明の様々な実施形態を容易に組み合わせることができる。
【００１１】
また、本明細書で使用する場合、「又は」という用語は、文脈において特に指定しない限り包括的なもの、「又は」演算子であり、「及び／又は」という用語に相当する。「〜に基づいて」という用語は、文脈において特に指定しない限り排他的なものではなく、記載していない追加の要素に基づくことを可能にするものである。また、明細書全体を通じて、「１つの（英文不定冠詞）」及び「その（英文定冠詞）」の意味は複数の意味を含む。「〜内（ｉｎ）」の意味は、「〜内（ｉｎ）」及び「〜上（ｏｎ）」という意味を含む。
【００１２】
簡潔に言えば、本発明の実施形態は、モバイルイメージング装置の方向に基づいて情報を取得することに関する。各実施形態は、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び／又は仮想世界において方向を確認できるようにするものである。視覚的手がかりを使用して、モバイル装置の方向の特定、方向に基づく検索、３次元仮想世界の方向操作などを行う。方向情報を距離情報と組み合わせて、情報を拡げたり又はフィルタにかけたりすることもできる。
【００１３】
１つの実施形態では、モバイルマップアプリケーションを携帯電話機のハンドセットカメラとともに使用してユーザナビゲーションの改善を図り、識別された関心のある場所を発見する。ハンドセットカメラは、方向的な動き及び小規模の直線的な動きを追跡するために使用する。（ＧＰＳ、ユーザ入力などにより）ユーザの位置が特定されると、ユーザは、円形に回転し、ハンドセットカメラに交差点、ストア、信号機などの視覚的／光学的手がかりを捕捉させることにより、方向に関する情報を収集することができる。これらの視覚的手がかりは、方向誘導のために、予め定めた３Ｄベクトルマップ情報に関連付けられる。別の実施形態では、（背景のパターンを追跡してハンドセットカメラの速度及び方向を判別するような）ハンドセットカメラからの光入力を使用して、３Ｄベクトルマップの周辺で動的にナビゲートを行う。予め定めたベクトルマップ情報をハンドセットへ送信して、識別された場所がより容易に発見されるようにする。例えば、通り、建物、ランドマーク、又はその他の関心点が、ユーザが現在位置している場所に対して数ブロック離れており、高い建物によって見えない場合がある。同様に、ベクトルマップ上に１又はそれ以上のソースからのローカルな商業情報を提供することもできる。ユーザは、方向を識別するために直線的な動きを行う必要なく、方向を示すことにより様々な種類の情報及び情報の量を管理することができる。本発明の実施形態は、方向データ及び複数の種類のコンテンツ情報を使用して、より関連性のあるモバイル検索結果、モバイルナビゲーション、及びその他の情報を可能にする。
【００１４】
方向情報により、ある方向における「無限に」離れた検索が可能となり、個々の検索結果に、ユーザの現在の位置に対する距離をマーク付けすることができる。距離の表示は、距離に比例して小さくなるアイコン、結果リスト上の下位のランク、透明度の度合い、又はその他のインジケータで行うことができる。例えば、ユーザが交差点で停止して、どちらに曲がれば最も近い（又は好みの会社の）ガソリンスタンドが見つかるかを判断しようと試みる場合がある。ユーザは、各々の道路に進む必要なく、また仮想マップをスクロールしたり、或いは仮想マップのズームレベルを変更したりする必要なく、モバイル装置を単純に各々の道路の方へ向けて距離インジケータ付きの結果を受け取るだけでよい。
【００１５】
１つの実施形態では、モバイル装置の方向的な動きに関する情報も利用する。最初に、モバイル装置が、ＧＰＳ、ユーザ入力、現在の場面の画像解析などを介して現在の物理的位置を設定する。モバイル装置は、装置の最初の方向を設定するために装置のイメージング構成要素も使用する。画像を既知の方向の画像と比較することにより、方向を特定することもできる。モバイル装置によって取り込まれた及び記憶された画像に対して、ファインダ内の既知の物体の輪郭と重ねた画像に対して、画像の組み合わせに対して、又はその他の画像処理技術を使用してこの比較を行うことができる。別の又は追加の技術として、太陽の位置を日付及び時刻に関して分析すること、モバイル装置を指定した方向に向けるための命令を受け取り、クリックしてこれを確認すること、既知の場所にある看板上の文字又は記号を識別することなどを挙げることができる。
【００１６】
いくつかの実施形態では、最初の方向が設定されると、方向の変化及び／又は動いた後の新たな方向を検出する。例えば、モバイル装置は、装置がユーザの周囲を円形に動いている最中に、又は動いた後に装置が向いている新たな方向を検出することができる。モバイル装置は、最初の方向において、動いている最中に、及び／又は新たな方向において、方向及び方向の変化に基づいてマップを表示し、これを動かすことができる。モバイル装置はまた、１又はそれ以上のコンテンツ検索を行うこともでき、或いはモバイル装置が向いている（単複の）方向の関心点に関するコンテンツ情報を別様に取得する。表示マップ上にコンテンツ情報を重ね、方向及び方向の変化に基づいてこれを動かし及び／又は変更することができる。以下、実施形態例の追加の詳細について図を参照しながら説明する。
【００１７】
例示的動作環境
図１は、本発明が機能できる環境の１つの実施形態を示している。しかしながら、本発明を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく構成要素の構成及び種類を変化させることができる。
【００１８】
図示のように、システム１００は、クライアント装置１０２〜１０４、ネットワーク１０５、及びサーバ１０６を含む。ネットワーク１０５は、クライアント装置１０２〜１０４の各々及びサーバ１０６と通信し、これらの間の通信を可能にする。
【００１９】
クライアント装置１０２〜１０４は、コンテンツサーバ１０８などの別のコンピュータ装置との間で及び互いになど、ネットワーク１０５などのネットワークを介してメッセージを送受信できる事実上あらゆるコンピュータ装置を含むことができる。このような装置の組として、携帯電話、スマートフォン、ページャ、ウォーキートーキー、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、ＣＢ、前述の装置の１又はそれ以上を組み合わせた統合装置、又は事実上あらゆるモバイル装置などのような、一般に無線通信媒体を使用して接続する装置を挙げることができる。同様に、クライアント装置１０２〜１０４は、携帯情報端末（ＰＤＡ）、ポケットＰＣ、ウェアラブルコンピュータ、及び有線及び／又は無線通信媒体を介して通信することができる他のいずれかの装置などのような、有線又は無線通信媒体を使用して接続することができるいずれの装置であってもよい。このような装置の組として、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどような、一般に有線通信媒体を使用して接続する装置を挙げることもできる。
【００２０】
クライアント装置１０２〜１０４の中の個々のクライアント装置は、ウェブページを送信し、受信し、表示するように構成されたブラウザアプリケーションなどを含むことができる。ブラウザアプリケーションは、以下に限定されるわけではないが、ハイパーテキストマークアップ言語（ＨＴＭＬ）などの汎用マークアップ言語（ＳＭＧＬ）、拡張可能マークアップ言語（ＸＭＬ）、無線マークアップ言語（ＷＭＬ）などのハンドヘルド装置マークアップ言語（ＨＤＭＬ）、ＷＭＬＳｃｒｉｐｔ、及びＪａｖａＳｃｒｉｐｔなどを含む、事実上あらゆるウェブベース言語を利用してグラフィクス、テキスト、マルチメディアなどを受信して表示するように構成することができる。クライアント装置１０２〜１０４は、以下に限定されるわけではないが、インスタントメッセージング（ＩＭ）、電子メール、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、インターネットリレーチャット（ＩＲＣ）、ｍＩＲＣ、及びＪａｂｂｅｒなどを含む別のメカニズムを利用して別のコンピュータ装置との間でメッセージを送信及び／又は受信するように構成されたメッセージングアプリケーションをさらに含むことができる。
【００２１】
ネットワーク１０５は、１つのコンピュータ装置を別のコンピュータ装置に結合してこれらが通信できるようにするように構成される。ネットワーク１０５は、１つの電子装置から別の電子装置に情報を伝達するためのあらゆる形のコンピュータ可読媒体を利用することができる。ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ユニバーサルシリアルバス（ＵＳＢ）ポートなどを介した直接接続、他の形のコンピュータ可読媒体、又はこれらのいずれかの組み合わせに加え、インターネットなどの無線インターフェイス及び／又は有線インターフェイスを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものを含む相互接続されたＬＡＮの組では、ルータがＬＡＮ間のリンクとして機能し、互いにメッセージを送信できるようにする。また通常、ＬＡＮ内の通信リンクとしてツイストペア線又は同軸ケーブルが挙げられるが、ネットワーク間の通信リンクは、アナログ電話回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む全体的又は部分的専用デジタル回線、デジタル信号レベル３（ＤＳ３）、光搬送波３（ＯＣ３）、ＯＣ１２、ＯＣ４８、非同期転送モード（ＡＴＭ）、総合デジタル通信網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、衛星リンクを含む無線リンク、又は当業者に公知のその他の通信リンクを使用することもできる。さらに、リモートコンピュータ及びその他の関連する電子装置を、モデム及び仮設電話リンクを介してＬＡＮ又はＷＡＮのいずれかに遠隔接続することができる。ネットワーク１０５は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、無線アプリケーションプロトコル（ＷＡＰ）、ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、超広帯域（ＵＷＢ）、及びＩＥＥＥ８０２．１６Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ（ＷｉＭａｘ）などを含む様々な通信プロトコル及び技術とともに使用するように構成される。基本的に、ネットワーク１０５は、情報がクライアント装置１０２〜１０４及び／又はサーバ１０６間を移動できるようにするあらゆる通信方法を含む。
【００２２】
一般に、通信リンク内で情報を送信するために使用する上述したような媒体は、コンピュータ装置がアクセスできるあらゆる媒体を含む。コンピュータ可読媒体は、コンピュータ記憶媒体、有線及び無線通信媒体、又はこれらのいずれかの組み合わせを含むことができる。また通常、コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを具体化する。このようなデータを、あらゆる情報配信媒体を含む通信媒体を介して搬送波、データ信号、又はその他の搬送メカニズムなどの変調データ信号の形で通信することができる。「変調データ信号」及び「搬送波信号」という用語は、その特徴セットの１又はそれ以上を有する信号、又は情報、命令、及びデータなどを符号化する方法で信号に変化させた信号を含む。一例として、通信媒体は、音響、ＲＦ、赤外線、及びその他の無線信号のための流体又は空間などの無線媒体、及びツイストペア、同軸ケーブル、光ファイバ、導波、及びその他の有線媒体などの有線媒体を含む。
【００２３】
サーバ１０６は、複数のコンピュータ装置又は単一のコンピュータ装置を含むことができる。サーバ１０６は、ヒストグラムを求めたり、ＯＣＲを実行したり、画像を以前記憶した画像と比較したり、画像に関する情報を特定したり、データベース動作を実行したり、追加情報の検索を実行したり、画像に関する情報を記憶したり、ユーザの行動を追跡したりなどの画像解析サービスを提供することができる。サーバ１０６はまた、コンテンツ、及び／又はウェブサイト、（ブログなどの）オンラインジャーナル、写真、レビューなどのその他のサービス、メッセージング、検索、ニュース、ショッピング、広告、及び／又は同様のものなどのオンラインサービスを提供することもできる。サーバ１０６は、ウェブページなどのネットワークリソース間の関係の作成、修正、及び管理のような管理サービスをさらに提供することができる。簡潔に言えば、サーバ１０６は、ネットワーク１０５に接続できるあらゆるコンピュータ装置を含むことができ、クライアント装置１０２〜１０４のうちの少なくとも１つのユーザなどのネットワークユーザのためのサービスを管理することができる。サーバ１０６として動作できる装置として、専用サーバ装置、パーソナルコンピュータ、デスクトップコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどが挙げられる。サーバ１０６及び／又はクライアント１０２〜１０４のいずれかを、図２に関して説明するクライアントなどの１又はそれ以上のコンピュータ装置に実装することができる。
【００２４】
例示的クライアント装置
図２は、参照データ収集装置として使用される本発明の１つの実施形態による例示的なクライアント装置２００を示している。１つの実施形態では、クライアント装置２００は、ラップトップコンピュータなどのモバイル装置である。モバイル装置の別の例として、１又はそれ以上の無線通信インターフェイスを介して音声通信及びＳＭＳメッセージなどのメッセージを送受信するように構成されたＰＤＡ又は携帯電話が挙げられる。多くの場合、モバイル電子装置は、１又はそれ以上の無線ネットワークに接続すること、単一の無線ネットワークの複数のノードに接続すること、１又はそれ以上のチャネルを介して１又はそれ以上のネットワークに通信すること、或いは１又はそれ以上の通信セッションに別様に関わることによりパーソナル通信を行うことができる。一般に、クライアント装置２００は、あらゆるモバイル電子装置又は固定電子装置を含むことができる。このような装置には、ラップトップ、パームトップ、ＰＤＡ、ハンドヘルドコンピュータ、携帯電話、スマートフォン、ページャ、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、及び前述の装置の１又はそれ以上を組み合わせた統合装置などが含まれる。クライアント装置２００はまた、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークＰＣ、及びウェアラブルコンピュータなどのその他の電子装置を含むこともできる。
【００２５】
クライアント装置２００が含むことができる構成要素は、図２に示すものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。図示のように、クライアント装置２００は、バス２２４を介して大容量メモリ２３０と通信する処理ユニット２２２を含む。
【００２６】
大容量メモリ２３０は、ＲＡＭ２３２、ＲＯＭ２３４、及びその他の記憶手段を含む。大容量メモリ２３０は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するための別のコンピュータ記憶媒体の例を示している。大容量メモリ２３０は、クライアント装置２００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）２４０を記憶する。大容量メモリは、クライアント装置２００の動作を制御するためのオペレーティングシステム２４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、又はＬＩＮＵＸ（登録商標）などの汎用オペレーティングシステム、又はＷｉｎｄｏｗｓ Ｍｏｂｉｌｅ（商標）、又はＳｙｍｂｉａｎ（登録商標）オペレーティングシステムなどの専用モバイル通信オペレーティングシステムを含むことができる。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ（登録商標）仮想マシンモジュールを含むことができ、或いはこれにインターフェイス接続することができる。
【００２７】
メモリ２３０は１又はそれ以上のデータ記憶ユニット２４２をさらに含み、クライアント装置２００がこれを利用して、とりわけプログラム２４４及び／又はその他のデータを記憶することができる。プログラム２４４は、クライアント装置２００によって実行された場合、ＨＴＭＬページ、ＸＭＬページ、及び（ＷＡＰカードと呼ばれることもある）ＷＡＰページなどのマークアップページを送信し、受信し、提供し、及び／又は別様に処理するコンピュータ実行可能命令を含むことができる。従って、プログラム２４４はコンピュータ実行可能命令からなるブラウザプログラムを含むことができ、これをオペレーティングシステム２４１の制御下で実行して、マークアップページ及び（ＨＴＴＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＩＭ、電子メール、及び／又はその他のメッセージなどの）メッセージ、オーディオ、ビデオを要求し、受信し、提供できるようにしてこれらを管理し、別のクライアント装置の別のユーザと電気通信できるようにすることができる。アプリケーションプログラムのその他の例として、カレンダー、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、及びゲームが挙げられる。
【００２８】
また、大容量メモリ２３０は画像処理モジュール２４６及びマッピングモジュール２４８を記憶し、これらをオペレーティングシステム２４１の制御下で外部モジュールとして、ブラウザ内で、ウェブページ内で、又は別の構成を介してプラグインモジュールとして実行することができる。画像処理モジュール２４６は、画像データ、コンテキスト情報、画像データに対するユーザの要求、及びモバイル装置が取得又は受信した画像に関するその他のデータの初期処理又は完全処理を行うことができる。マッピングモジュール２４８は、マップ情報を表示し、透視し、動かし、画像又はコンテンツと一体化し、及びその他のマップ動作を行うように管理することができる。
【００２９】
クライアント装置２００はまた、電源２２６、１又はそれ以上の無線インターフェイス２５０、オーディオインターフェイス２５２、ディスプレイ２５４、キーパッド２５６、照明器２５８、任意のデータ取り込みモジュール２５９、入力／出力インターフェイス２６０、任意の触覚インターフェイス２６２、任意のグローバルポジショニングシステム（ＧＰＳ）受信機２６４、及び動き、方向、及び／又はクライアント装置の方向を感知する任意のセンサも含む。電源２２６がクライアント装置２００に電力を供給する。再充電可能な又は再充電不可能なバッテリを使用して電力を供給することができる。ＡＣアダプタ、又はバッテリを補完及び／又は再充電する電動ドッキングクレードルなどの外部電源により電力を供給することもできる。
【００３０】
クライアント装置２００は、任意に基地局と、又は直接別のクライアント装置と通信することができる。無線インターフェイス２５０は、クライアント装置２００を１又はそれ以上の無線ネットワークに結合するための回路を含み、以下に限定されるわけではないが、ＴＣＰ／ＩＰ、ＵＤＰ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＳＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、及びＩＥＥＥ８０２．１６（ＷｉＭａｘ）などを含む１又はそれ以上の通信プロトコル及び技術とともに使用するように構成される。
【００３１】
オーディオインターフェイス２５２は、人間の声及び音楽などの音のようなオーディオ信号を生成し及び／又は受信するように構成される。例えば、オーディオインターフェイス２５２をスピーカ及びマイク（図示せず）に結合して他者と通信できるようにし、及び／又は何らかの行為に対する音声肯定応答を生成することができる。ディスプレイ２５４は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、発光ダイオード（ＬＥＤ）、又はクライアント装置とともに使用する他のいずれの種類のディスプレイであってもよい。ディスプレイ２５４はまた、スタイラス又は人間の手の指などの物体からの入力を受け取るように構成されたタッチセンサ式画面を含むこともできる。
【００３２】
キーパッド２５６は、ユーザからの入力を受け取るように構成されたあらゆる入力装置を含むことができる。例えば、キーパッド２５６は、キーボード又はプッシュボタン式数字ダイヤルなどを含むことができる。キーパッド２５６はまた、変更可能な処理を選択して実行することに関連する命令ボタンを含むこともできる。照明器２５８は、ステータス表示を提供し、及び／又は光を提供することができる。照明器２５８は、特定の時間にわたって、又はイベントに応答してアクティブのままにしておくことができる。例えば、照明器２５８は、アクティブなときにはキーパッド２５６上のボタンをバックライトで照らすことができ、クライアント装置が給電を受けている間オン状態を保つことができる。また、別のクライアント装置にダイヤルするなどの特定の動作が行われた場合、照明器２５８はこれらのボタンを様々なパターンでバックライト照明することもできる。照明器２５８はまた、モバイル装置の透明又は半透明なケース内に存在する光源を動作に応じて光らせることもできる。照明器２５８を画像取り込み用のフラッシュとしてさらに使用することもできる。クライアント装置２００には、カメラなどのデータ取り込みモジュール２５９を含めることができる。クライアント装置は、画像、ビデオ、温度、圧力、又はその他のデータを取得することができる。
【００３３】
クライアント装置２００はまた、ヘッドホンなどの外部装置と通信するための入力／出力インターフェイス２６０、又は図２には示していないその他の入力又は出力装置も含む。入力／出力インターフェイス２６０は、ＵＳＢ、赤外線、及びＢｌｕｅｔｏｏｔｈ（商標）などの１又はそれ以上の通信技術を利用することができる。任意の触覚インターフェイス２６２は、クライアント装置のユーザに触覚フィードバックを提供するように構成される。例えば、触覚インターフェイスを使用して、クライアント装置の別のユーザが電話をかけてきたときにクライアント装置２００を特定の方法で振動させることができる。
【００３４】
任意のＧＰＳトランシーバ２６４は、地表にあるクライアント装置２００の物理座標を特定することができ、この結果、通常は緯度値及び経度値などの場所が出力される。ＧＰＳトランシーバ２６４はまた、以下に限定されるわけではないが、三角測量、アシスト型ＧＰＳ（ＡＧＰＳ）、拡張観測時間差（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などを含むその他のジオポジショニングメカニズムを使用して、地表にあるクライアント装置２００の物理的場所を特定することもできる。異なる条件により、ＧＰＳトランシーバ２６４は、クライアント装置２００の物理的場所をミリメートルの範囲内で特定することもできれば、その他の場合には、特定される物理的場所がメートル又はかなり大きな距離の範囲内のようにそれほど正確ではないこともある。
【００３５】
任意のセンサ２６６は、モバイル装置の方向、向き、動き、又はその他の側面を検出することができる。このセンサは、静的情報、又はモバイル装置のあらゆる側面への変化などの動的情報を読み出すことができる。センサ２６６は、加速度計、ジャイロスコープ、コンパス、又は動き、方向などを検出するその他のセンサを含むことができる。このセンサは、変換用構成要素、信号処理用構成要素、及び／又はその他の構成要素を含み、又はこれらに結合することができる。
【００３６】
例示的ネットワーク装置
図３は、本発明の１つの実施形態によるネットワーク装置の１つの実施形態を示している。ネットワーク装置３００が含むことができる構成要素は、図示のものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。ネットワーク装置３００は、例えばサーバ１０６又は図１の別のクライアント装置を表すことができる。例示を目的として、ネットワーク装置３００をサーバ装置として説明する。
【００３７】
図示のように、サーバ装置３００は、バス３２４を介して大容量メモリ３３０と通信する処理装置３２２を含む。一般に、大容量メモリ３３０は、ＲＡＭ３３２、ＲＯＭ３３４、及びその他の記憶手段を含む。大容量メモリ３３０は、ある種のコンピュータ可読媒体、すなわちコンピュータ記憶媒体を示している。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術において実装される揮発性及び不揮発性の、取り外し可能な及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の他の例として、ＥＥＰＲＯＭ、フラッシュメモリ又はその他の半導体メモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできるその他のあらゆる媒体が挙げられる。
【００３８】
大容量メモリ３３０は、サーバ装置３００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）３４０を記憶する。大容量メモリはまた、サーバ装置３００の動作を制御するためのオペレーティングシステム３４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ、ＵＮＩＸ、ＬＩＮＵＸ、又はＳｏｌａｒｉｓなどの汎用オペレーティングシステムを含むことができる。オペレーティングシステムはまた、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ仮想マシンモジュールを含むこともでき、或いはこれにインターフェイス接続することもできる。
【００３９】
大容量メモリ３３０は１又はそれ以上のデータ記憶ユニット３４２をさらに含み、サーバ装置３００がこれを利用して、とりわけプログラム３４４及び／又はその他のデータを記憶することができる。プログラム３４４は、ＨＴＴＰ通信を送信し、受信し、及び別様に処理するためのＨＴＴＰハンドラアプリケーション、及びＷＡＰ通信を送信し、受信し、及び別様に処理するためのＷＡＰハンドラアプリケーションなどのマークアップハンドラアプリケーションを実施するためにサーバ装置３００が実行できるコンピュータ実行可能命令を含むことができる。同様に、プログラム３４４は、外部アプリケーションとの通信をセキュアな方法で開始するなどのセキュアな接続を行うためのセキュアソケットレイヤ（ＳＳＬ）ハンドラアプリケーションを含むことができる。アプリケーションプログラムの他の例として、コンテンツ管理アプリケーション、メッセージングアプリケーション、スケジューラ、カレンダー、ウェブサービス、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、及びスプレッドシートプログラムなどが挙げられる。従って、プログラム３４４は、画像、オーディオ、ビデオ、又はマークアップページを処理し、別の電子装置の別のユーザとの通信及び／又はその他のサービスを可能にすることができる。
【００４０】
また、大容量メモリ３３０は画像処理モジュール３４６を記憶する。画像処理モジュール３４６はコンピュータ実行可能命令を含むことができ、これをオペレーティングシステム３４１の制御下で実行して画像を解析したり、画像を比較したり、コンテキスト情報を特定したり、場所に関連する情報にアクセスしたり、ユーザ行動データを評価したり、検索語を決定したり、又は画像に関するその他の処理を実行したりすることができる。１つの実施形態では、一般に画像処理モジュール３４６がクライアント装置の画像処理モジュールと通信する。大容量メモリ３３０は検索モジュール３４８を含むこともでき、これは画像処理モジュール３４６の一部であってもよく、或いは画像処理モジュール３４６と通信するものであってもよい。検索モジュール３４８は、一般にコンテンツ検索などのデータ検索、ネットワークリソースへのリンクの検索、又はデータベース検索などを行う検索エンジンを含むことができる。
【００４１】
サーバ装置３００はまた、キーボード、マウス、ホイール、ジョイスティック、ロッカースイッチ、キーパッド、プリンタ、スキャナ、及び／又は図３には具体的に示していないその他の入力装置などの入力／出力装置と通信するための入力／出力インターフェイス３６０も含む。サーバ装置３００のユーザは入力／出力装置を使用して、オペレーティングシステム３４１、プログラム３４４、及び／又はその他のモジュールと別個のものであってもよく又は一体化したものであってもよいユーザインターフェイスとやりとりすることができる。ユーザインターフェイスとのやりとりは、ディスプレイ及びビデオディスプレイアダプタ３５４を介した目に見えるやりとりを含む。
【００４２】
サーバ装置３００は、コンピュータ可読記憶媒体のための取り外し可能な媒体ドライブ３５２及び／又は恒久的な媒体ドライブ３５４を含むことができる。取り外し可能な媒体ドライブ３５２は、光学ディスクドライブ、フロッピー（登録商標）ディスクドライブ、及び／又はテープドライブのうちの１又はそれ以上を含むことができる。恒久的な又は取り外し可能な記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術で実装される揮発性の、不揮発性の、取り外し可能な、及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の例として、ＣＤ−ＲＯＭ３５５、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできる他のあらゆる媒体が挙げられる。
【００４３】
サーバ３００は、ネットワーク通信インターフェイスユニット３５０を介して、インターネットなどの広域ネットワーク、ローカルエリアネットワーク、有線電話ネットワーク、携帯電話ネットワーク、又は図１のネットワーク１０５などの他の何らかの通信ネットワークと通信することができる。ネットワーク通信インターフェイスユニット３５０は、トランシーバ、送受信装置、及びネットワークインターフェイスカード（ＮＩＣ）などとして知られていることもある。
【００４４】
例示的ロジック
図４は、モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例を示すフロー図である。この実施形態例では、主にクライアントモバイル装置に対して処理が行われる。しかしながら、処理によっては、ネットワークを介してサーバ装置に行うことができるものもある。
【００４５】
動作４０２において、モバイル装置の現在の物理的な地理的位置が特定される。内蔵型のＧＰＳ構成要素、既知の場所における高周波識別（ＲＦＩＤ）タグ又はリーダ、又はその他の位置構成要素により、現在の場所を設定することができる。或いは、ユーザが、タップ、クリック、又はその他の方法で表示マップ上の地点を示し、この結果、緯度、経度、高度、通りの番地、税金区画番号、又はその他の位置情報が戻されるようにしてもよい。別の選択肢として、ユーザが、住所、交差点、建物名、ランドマーク名、又はその他の位置情報などの位置情報を単純に入力することもできる。
【００４６】
別の実施形態では、モバイル装置のカメラで画像を取り込み、その後これを既知の位置情報と比較して解析することができる。例えば、カメラで、道路標識、広告掲示板、店頭、建物、又はその他のシーンの画像を取り込むことができる。画像から文字、記号、ランドマーク、又はその他の情報を分析して場所を特定することができる。画像解析及び場所検出のさらなる詳細が、２００８年５月２２日に共同出願された「モバイル装置により記録された画像のコンテンツに基づくデータアクセス」という名称の米国特許出願第１２／１２１，２５９号に記載されており、該特許出願はその内容全体が引用により本明細書に組み入れられる。
【００４７】
動作４０４において、モバイル装置を使用して、モバイル装置が向けられた最初の方向を設定する。この最初の方向はいくつかの方法で設定することができ、この方向を使用して、モバイル装置をマップピングモジュール又はその他のサービスと同期させることができる。例えば、モバイル装置は、特定された最初の位置に基づいて、モバイル装置を既知の通りに沿って、既知の物理的物体の方へ、既知のコンパス方位の方へ、又はユーザが容易に識別できるその他の方向へ向けるようにユーザに指示するメッセージを表示することができる。モバイル装置はまた、特定された最初の位置の周辺エリアの２Ｄ又は３Ｄマップを表示することもでき、このマップ上に、矢印、強調表示したアイコン、又はモバイル装置がユーザにモバイル装置を向けるように指示した地点にある通り、物体、又はその他の方向アイテムを示すものを表示することができる。この表示マップは、ユーザがモバイル装置を指示された方向にある点に向ける役に立つことができる。モバイル装置は、ユーザが指示された通りにモバイル装置を向けたことを示すべくユーザにモバイル装置上のボタンを押すようにさらに指示することができる。
【００４８】
別の実施形態では、モバイル装置が、最初の特定された位置の周辺エリアの３Ｄ一人称透視マップを使用することができる。より具体的には、３Ｄマップが、ユーザがモバイル装置を向けるべき建物、地形、又はその他の描画オブジェクトの３Ｄグラフィックシーンを示すことができる。この３Ｄグラフィックシーンは、モバイル装置のカメラ入力に重なる半透明なもの又は輪郭として示すことができる。ユーザが、モバイル装置のカメラレンズを異なる方向に動かすと、ユーザは、カメラファインダ内の画像が、示される３Ｄマップといつ一致するかを「認識」することができる。同様に、モバイル装置は、このカメラ入力を連続して走査し、３Ｄ透視オーバーレイと比較したいくつかのパターンの連続した画像認識を行うことができる。一致が検出されると、モバイル装置は、ユーザがカメラレンズをいつ正しい方向に向けたかを自動的に識別することができる。
【００４９】
さらなる実施形態では、モバイル装置がＧＰＳモジュールを使用して、装置が或る方向に動いていることを検出し、（車、公共交通機関、徒歩などにより）ユーザが進んでいる方向にモバイル装置を向けるようにユーザに指示することができる。この場合も、モバイル装置がユーザに、モバイル装置を指示した方向に向けたことを示すべくボタンを押すように指示する。さらに別の実施形態では、モバイル装置がユーザに、モバイル装置のカメラレンズを太陽の方に向けるように指示することができる。モバイル装置は、ユーザがボタンを押した後に現在の時刻に関する情報を取得し、特定された場所を使用してモバイル装置が向いている方向を計算することができる。これに加えて、或いはこれとは別に、モバイル装置は、画像解析を使用して影を評価することができる。さらなる実施形態では、モバイル装置がコンパスを含むことができる。ユーザがボタンを押すと、モバイル装置は、コンパスから方位を読み取ることができる。このボタンは、（入力ボタンなどの）一般の物理的ボタンであってもよく、画面上に表示される仮想ボタンであってもよく、専用の「方位」ボタン又はその他の形のボタンであってもよい。
【００５０】
最初の方向に基づいて、モバイル装置は、この最初の方向に関するコンテンツ情報にアクセスすることができる。別の実施形態では、最初の方向を基準方向として使用して方向の変化を特定することができる。
【００５１】
この実施形態では、動作４０６において、モバイル装置が方向の変化を特定する。例えば、モバイル装置は、モバイル装置が最初の位置の周囲で円形に動いている最中又はこの後に新たな方向を検出することができる。モバイル装置は、モバイル装置が動いている最中に撮影した複数の画像の個々のフレームを解析して画像の変化を特定することができる。この変化が動きの量及び方向を示し、この結果モバイル装置が新たな方向を計算できるようになる。この実施形態では、モバイル装置のカメラが一連の写真を連続して撮影し、これらを線、ブロックなどのパターンに関して解析する。その後、モバイル装置は、これらのパターンの動きを評価して、ユーザがモバイル装置を背景に対していずれかの方向（又は方位）に動かしていた場合、モバイル装置は、この相対的動きを特定できるようになる。モバイル装置はまた、マップ表示又はその他の表示コンテンツを、（実際には逆方向になる場合があるが）同様の量だけ修正することもできる。モバイル装置は、連続したパターン間の、又は最初に取り込んだ画像の最初のパターンと、最後に取り込んだ画像の最後のパターンとの間の変化を検出することができる。これにより、表示マップが物理的世界へ向けて空間内で固定されている一方で、モバイル装置がこのマップ全体をパンしたように見える印象が得られる。
【００５２】
別の実施形態では、モバイル装置が、１又はそれ以上の加速度計、ジャイロスコープ、コンパス、歪みゲージ、又は動き、方向、又はその他の特性を検出するための他の構成要素を含むことができる。例えば、３つの加速度計を使用して３次元の動きを検出することができる。最初の方向に対する動きを使用して新たな方向を特定することもできる。
【００５３】
モバイル装置が動いている間、又はモバイル装置が新たな方向に保持された後、モバイル装置は、動作４０８において現在の方向に関連するコンテンツ情報を取得する。モバイル装置は、モバイル装置及び／又はリモートサーバに記憶されたコンテンツ情報にアクセスする。モバイル装置は、現在の場所及び方向情報に基づいてデータベースにアクセスし、又は検索要求を提出することができる。ユーザがキーワード又はその他の検索パラメータを入力することもできる。例えば、ユーザは、住所、商号、製品タイプ、又はモバイル装置が現在向いている方向においてユーザが発見したいと思っているその他の検索語を入力することができる。モバイル装置又は検索サーバは検索を行うことができ、或いは入力された検索語、現在の方向、及び現在の位置に基づいて検索結果にフィルタをかけることができる。同様に、ユーザが最大距離を入力することができ、或いは検索システムが現在の位置からのデフォルトの最大距離を使用することができる。結果を、指定した距離内又は指定した距離の周辺の範囲内に存在するものに限定することができる。
【００５４】
コンテンツ情報には地理的位置情報が伴う。検索システムは、現在の位置及びモバイル装置の方向に対する地理的位置の範囲を特定することができる。次に、検索システムは、特定された範囲内の地理的位置に伴うコンテンツを特定することができる。キーワード又はその他のパラメータに基づいて、結果をさらに特定することができる。例えば、モバイル装置のユーザに、検索システムに対する、又は動き、ネットワークインタラクション、購入、ゲーム活動、又はその他のモバイル装置の使用法を追跡するための別のサービスに対する許可を与えておくことができる。この情報を、モバイル装置に関連するプロファイルに蓄積することができる。集約情報を蓄積して、数多くのその他の装置又はユーザの行動に関して統計的に分析することもできる。これらのプロファイル情報及び／又は集約情報を検索システムが使用して、検索結果をモバイル装置のユーザにとってより関連性の高い情報にまでさらに高めることができる。
【００５５】
別の例では、モバイル装置上の表示マップにおいて、ユーザが、レストランなどの或る種の情報を示すタブを選択しておくことができる。選択したタブのための対応する検索語を、位置、方向、距離、及びキーワードとともに提出して、結果を現在の方向にあるレストランに限定することができる。
【００５６】
同様に、ユーザは、モバイル装置が向いている方向に現在存在する他のユーザに関する情報をユーザが望んでいる旨のタブを選択し、或いは別様にこれを示すことができる。例えば、ユーザは、メッセージシステムを使用して、ユーザＩＤを用いてポータルサービスにログインし、複数の度合いの関係によって分けられた人物の関係を管理することができるソーシャルネットワークシステムを使用して、或いは現在の位置情報を別様に提供してこれに検索システムがアクセスできるようにすることができる。１つの例では、２人のユーザが、通り沿いのどこかの建物内の非常に混み合った部屋の周囲で、或いは別の環境で互いに相手の位置を突き止めようと試みているかもしれない。「人物」タブを選択し、名前を入力し、ユーザＩＤを入力し、又はその他の関連する検索語を使用して、結果を検索語、現在の方向、及び現在の位置に関連する人物に限定することができる。検索システムにより任意の存在情報を使用して最終結果を特定することもできる。例えば、プライベートユーザは、このプライベートユーザの方向に自身のモバイル装置を向けている可能性のある他のユーザから「見えない」状態のままでいたいと望むことを示すことができる。或いは、グループユーザは、自分たちの存在をこのグループユーザの連絡先リストに載っているユーザにしか知られたくないと望むことを示すことができる。
【００５７】
検索システムは、検索結果を特定しながら、検索結果と検索を行っているモバイル装置の現在の位置との間の距離を計算することもできる。同様に、検索システムは、個々の検索結果とモバイル装置が向いている現在の方向との間のオフセット値を計算することができる。このオフセット値は、方向線からの角度的なオフセット値、直線的なオフセット値、又はその他のオフセット値であってもよい。
【００５８】
動作４１０において、距離情報及び最終結果がモバイル装置に提供され、これをモバイル装置が表示する。モバイル装置は、検索結果を単純なリストの形で又はグラフィックで表示することができる。例えば、モバイル装置は、モバイル装置の現在の位置からの距離に基づく順番でリストを表示することができる。個々の検索結果の隣に距離を明記することができる。同様に、モバイル装置は、個々の検索結果の隣にオフセット値を示すこともできる。検索結果は、情報の種類を示すアイコン又はその他のグラフィックを含むことができる。例えば、別のユーザを特定する検索結果をアバターで示すことができる。ガソリンスタンドを特定する検索結果を燃料記号で示すこともできる。同様に、カラー、フォント、又はその他のインジケータを使用して検索結果を区別することができる。
【００５９】
別の実施形態では、モバイル装置が、検索結果をグラフィック表示の上に重ねる。例えば、モバイル装置は、表示された３Ｄベクトルマップ上にアイコン、文字、又はその他の検索結果情報を重ねることができる。ユーザが選択したタブ、入力したキーワード、予め定めた優先順位、存在パラメータ、過去の行動、集約行動、又はその他のフィルタに基づいて検索結果の部分を表示することができる。検索結果によっては、現在のモバイル装置の表示分野に該当せず、ビューが変更されるか又はモバイル装置がこの検索結果の対応する物理的方向に向くまで表示されないものもあり得る。或いは、モバイル装置が動き回るにつれて実際の検索結果を動的に更新することができる。
【００６０】
１つの実施形態では、結果が、単純にモバイル装置のカメラからのファインダ入力である３Ｄ透視図で表示される。別の実施形態では、検索結果が、固定したように見える３Ｄ透視マップ上に重ねられることにより、表示が、モバイル装置が動くにつれてベクトルマップ全体をパンしたように見えるようになる。１つの実施形態では、半透明の３Ｄ透視マップの背景画像の上位に通りなどの要素の輪郭が描かれる。
【００６１】
モバイル装置の現在の場所のすぐ周辺にあるものの現在の視界の中にはない、又は限界距離を越えている検索結果については、モバイル装置を動かしながら素早く描画できるようにキャッシュすることができる。これに加えて、或いはこれとは別に、装置を一定の方向に静止したままにした場合、装置の現在の場所からますます遠くのますます多くの検索結果を表示するようにしてもよい。検索結果インジケータの相対的サイズにより距離を示して、物理的に近い結果及びそうでない結果の遠近感をより鮮明にすることもできる。結果のリストと同様に、グラフィック表示した結果の結果アイコンの隣に距離インジケータを含めることもできる。
【００６２】
さらなる実施形態では、「Ｘ線」検索結果を提供することができる。この実施形態では、建物及び地形を透視して、ある方向の障害物の後ろに存在するものを明らかにすることができる「Ｘ線」装置を有しているという感覚をユーザに与えることができる。例えば、結果を半透明に表示してもよいし、又は障害物を半透明に表示してもよい。レストラン、ガソリンスタンド、店舗、ユーザが作成したコンテンツ、又はその他の情報を表す対応するアイコン又はその他の結果インジケータを表示することができる。これは、情報のカテゴリ又は特定の文字列のような、ユーザが何を探しているかを自分ですでに大まかに分かっているときに特定のものを検索するのに有用である。
【００６３】
別の例では、ユーザが住所を入力した場合、検索システムは、特定された方向とは異なる方向を示す検索結果を提供することができる。この場合ユーザは、その住所の結果が（直接又は障害物を通じて）見えるようになるまで、モバイル装置を現在の位置を中心に円形などの形で動かすことができる。例えば、モバイル装置が入力した住所の方向へ動いた場合、赤色のドットを表示するようにしてもよい。この結果、ユーザは方向を発見し、所望の住所へ向けて進むことができるようになる。
【００６４】
同様に、さらに別の実施形態では、「オーバーレイ」及び「発見」機能を提供することができる。この実施形態は、物理的場所の上にデジタル的な又は仮想的なオーバーレイを重ねる感覚をユーザに与えることができ、ユーザが特に何も探さなくてもコンテンツを発見できるようにする。例えば、他のユーザが提供した場所にまつわる画像又はコメントなどの、ユーザが作成したコンテンツのようなものをモバイル装置のユーザの現在の場所の周囲に表示することができる。ユーザがモバイル装置の方向を動かすと、この場所にまつわる画像、コメント、又はその他のコンテンツが表示されるようにすることができる。これは、一般にコミュニティサービスに適用することができる。
【００６５】
任意の動作４１２において、モバイル装置は、ユーザがモバイル装置のズーム機能を起動させたことを検出することができる。モバイル装置は、視野に対する対応する変化を特定する。１つの実施形態では、視野の変化を、モバイル装置が向いている方向の距離範囲に対する拡張機能として単純に表すことができる。別の実施形態では、視野の変化を現在の位置のオフセット変化として表すことができる。奥行きを計算することにより、方向線からの角度的な又は直線的なオフセットの変化を特定することもできる。
【００６６】
任意の動作４１４において、視野の変化を反映するように検索結果の表示を更新することができる。或いは、新たな検索を要求し、検索結果を更新することができる。
【００６７】
上記明細書、用例、及びデータは、本発明の構成を作成して使用することについての完全な説明を提供するものである。例えば、検索結果に音声出力装置を与えて、ドライブ中又は法的に失明しているユーザにとって有用なものとすることができる。別の実施形態では、ウェブカメラなどの可動式イメージング装置をコンピュータ装置に結合して、可動式イメージング装置のみが位置及び／又は方向を変えるようにしてもよい。本発明の思想及び範囲から逸脱することなく本発明の多くの実施形態を作成できるので、本発明は以下に添付する特許請求の範囲の中に存在する。
【符号の説明】
【００６８】
１００ システム
１０２ クライアント装置
１０３ クライアント装置
１０４ クライアント装置
１０５ ネットワーク
１０６ サーバ
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２００８年６月２０日に出願された米国特許出願第１２／１４３，５２７号からの優先権を主張するものであり、該特許出願はその内容全体が引用により本明細書に組み入れられる。
【０００２】
本発明は、モバイルイメージング装置の方向に基づいて情報を取得することに関し、より具体的には、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び／又は仮想世界において方向を確認できるようにすることに関する。
【背景技術】
【０００３】
ＴｏｍＴｏｍ Ｉｎｔｅｒｎａｔｉｏｎａｌ社及びＧａｒｍｉｎ社が提供するような全地球測位システム（ＧＰＳ）マッピングシステムでは、３次元（３Ｄ）ベクトルマップが使用されている。このようなマップは、「上空」から見た、又は地表から見た地域の透視図を提供することができる。ユーザは、透視図を見ることにより、自分がある場所からどれほど離れているかを測定できるようになる。既存のＧＰＳベクトルマップシステムは、レストラン及びコーヒーショップなどのいくつかのローカルな目的地を予めプログラムされるようになったものが多い。ドライバは、ＧＰＳが追跡した空間内の直線的な動きの関数としてこれらのマップ内を自動的にスクロールすることができるが、マップ情報は一般に動きの方向に基づく。また通常、この直線的な動きの規模、及び対応するマップ上のナビゲーションは、足の動きよりはむしろ車の運転に合わせられている。
【０００４】
同様に、携帯情報端末（ＰＤＡ）によって使用されるような現在のモバイル検索システムは、通常、２Ｄの上空から見たマップを使用して、ユーザが向いている方向ではなく、むしろモバイル装置の現在の場所周辺の半径内のローカルな結果を表示する。従って、現在の２Ｄ及び３Ｄマッピングシステムは、一般に進む方向の、又は場所の周りの半径内の検索情報を提供する。しかしながら、一般にこれらのシステムは、ドライバ又はユーザが向いている方向を特定することができない。例えば、車は後ろ向きに移動することができるが、ドライバは前又は横を向いている場合がある。本発明は、これらの及びその他の検討事項に関する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第１２／１２１，２５９号
【発明の概要】
【課題を解決するための手段】
【０００６】
以下の図面を参照しながら、本発明の非限定的かつ非包括的な実施形態について説明する。図面では、別途指定しない限り、様々な図を通じて同じ参照番号が同じ部分を示す。
【０００７】
本発明をより良く理解するために以下の実施形態の詳細な説明を参照し、これを添付図面と併せて読まれたい。
【図面の簡単な説明】
【０００８】
【図１】本発明を実施できる例示的なシステムの１つの実施形態を示す図である。
【図２】例示的なモバイル装置の１つの実施形態の概略図である。
【図３】例示的なネットワーク装置の１つの実施形態の概略図である。
【図４】モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例のフロー図である。
【発明を実施するための形態】
【０００９】
以下、本明細書の一部を形成するとともに本発明を実施できるようにするための特定の例示的な実施形態を実例として示す添付図面を参照しながら本発明についてより完全に説明する。しかしながら、本発明は多くの異なる形で具体化することができ、本明細書に示す実施形態に本発明が限定されると見なすべきではなく、むしろこれらの実施形態は、本開示を徹底的かつ完全なものにするとともに、当業者に本発明の範囲を完全に伝えるように提供するものである。とりわけ、本発明は方法又は装置として具体化することができる。従って、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができる。従って、以下の詳細な説明を限定的な意味で捉えるべきではない。
【００１０】
明細書及び特許請求の範囲を通じて、以下の用語は、文脈において特に指定しない限り、本明細書で明確に関連付ける意味をとる。本明細書で使用する「１つの実施形態では」という語句は、同じ実施形態を示す場合もあるが、必ずしもそうとは限らない。さらに、本明細書で使用する「別の実施形態では」という語句は、異なる実施形態を示す場合もあるが、必ずしもそうとは限らない。従って、後述するように、本発明の範囲又は思想から逸脱することなく本発明の様々な実施形態を容易に組み合わせることができる。
【００１１】
また、本明細書で使用する場合、「又は」という用語は、文脈において特に指定しない限り包括的なもの、「又は」演算子であり、「及び／又は」という用語に相当する。「〜に基づいて」という用語は、文脈において特に指定しない限り排他的なものではなく、記載していない追加の要素に基づくことを可能にするものである。また、明細書全体を通じて、「１つの（英文不定冠詞）」及び「その（英文定冠詞）」の意味は複数の意味を含む。「〜内（ｉｎ）」の意味は、「〜内（ｉｎ）」及び「〜上（ｏｎ）」という意味を含む。
【００１２】
簡潔に言えば、本発明の実施形態は、モバイルイメージング装置の方向に基づいて情報を取得することに関する。各実施形態は、ユーザがモバイルイメージング装置の方向を合わせて方向誘導のための視覚的手がかりを捕捉することにより、現実及び／又は仮想世界において方向を確認できるようにするものである。視覚的手がかりを使用して、モバイル装置の方向の特定、方向に基づく検索、３次元仮想世界の方向操作などを行う。方向情報を距離情報と組み合わせて、情報を拡げたり又はフィルタにかけたりすることもできる。
【００１３】
１つの実施形態では、モバイルマップアプリケーションを携帯電話機のハンドセットカメラとともに使用してユーザナビゲーションの改善を図り、識別された関心のある場所を発見する。ハンドセットカメラは、方向的な動き及び小規模の直線的な動きを追跡するために使用する。（ＧＰＳ、ユーザ入力などにより）ユーザの位置が特定されると、ユーザは、円形に回転し、ハンドセットカメラに交差点、ストア、信号機などの視覚的／光学的手がかりを捕捉させることにより、方向に関する情報を収集することができる。これらの視覚的手がかりは、方向誘導のために、予め定めた３Ｄベクトルマップ情報に関連付けられる。別の実施形態では、（背景のパターンを追跡してハンドセットカメラの速度及び方向を判別するような）ハンドセットカメラからの光入力を使用して、３Ｄベクトルマップの周辺で動的にナビゲートを行う。予め定めたベクトルマップ情報をハンドセットへ送信して、識別された場所がより容易に発見されるようにする。例えば、通り、建物、ランドマーク、又はその他の関心点が、ユーザが現在位置している場所に対して数ブロック離れており、高い建物によって見えない場合がある。同様に、ベクトルマップ上に１又はそれ以上のソースからのローカルな商業情報を提供することもできる。ユーザは、方向を識別するために直線的な動きを行う必要なく、方向を示すことにより様々な種類の情報及び情報の量を管理することができる。本発明の実施形態は、方向データ及び複数の種類のコンテンツ情報を使用して、より関連性のあるモバイル検索結果、モバイルナビゲーション、及びその他の情報を可能にする。
【００１４】
方向情報により、ある方向における「無限に」離れた検索が可能となり、個々の検索結果に、ユーザの現在の位置に対する距離をマーク付けすることができる。距離の表示は、距離に比例して小さくなるアイコン、結果リスト上の下位のランク、透明度の度合い、又はその他のインジケータで行うことができる。例えば、ユーザが交差点で停止して、どちらに曲がれば最も近い（又は好みの会社の）ガソリンスタンドが見つかるかを判断しようと試みる場合がある。ユーザは、各々の道路に進む必要なく、また仮想マップをスクロールしたり、或いは仮想マップのズームレベルを変更したりする必要なく、モバイル装置を単純に各々の道路の方へ向けて距離インジケータ付きの結果を受け取るだけでよい。
【００１５】
１つの実施形態では、モバイル装置の方向的な動きに関する情報も利用する。最初に、モバイル装置が、ＧＰＳ、ユーザ入力、現在の場面の画像解析などを介して現在の物理的位置を設定する。モバイル装置は、装置の最初の方向を設定するために装置のイメージング構成要素も使用する。画像を既知の方向の画像と比較することにより、方向を特定することもできる。モバイル装置によって取り込まれた及び記憶された画像に対して、ファインダ内の既知の物体の輪郭と重ねた画像に対して、画像の組み合わせに対して、又はその他の画像処理技術を使用してこの比較を行うことができる。別の又は追加の技術として、太陽の位置を日付及び時刻に関して分析すること、モバイル装置を指定した方向に向けるための命令を受け取り、クリックしてこれを確認すること、既知の場所にある看板上の文字又は記号を識別することなどを挙げることができる。
【００１６】
いくつかの実施形態では、最初の方向が設定されると、方向の変化及び／又は動いた後の新たな方向を検出する。例えば、モバイル装置は、装置がユーザの周囲を円形に動いている最中に、又は動いた後に装置が向いている新たな方向を検出することができる。モバイル装置は、最初の方向において、動いている最中に、及び／又は新たな方向において、方向及び方向の変化に基づいてマップを表示し、これを動かすことができる。モバイル装置はまた、１又はそれ以上のコンテンツ検索を行うこともでき、或いはモバイル装置が向いている（単複の）方向の関心点に関するコンテンツ情報を別様に取得する。表示マップ上にコンテンツ情報を重ね、方向及び方向の変化に基づいてこれを動かし及び／又は変更することができる。以下、実施形態例の追加の詳細について図を参照しながら説明する。
【００１７】
例示的動作環境
図１は、本発明が機能できる環境の１つの実施形態を示している。しかしながら、本発明を実施するためにこれらの構成要素が全て必要なわけではなく、本発明の思想又は範囲から逸脱することなく構成要素の構成及び種類を変化させることができる。
【００１８】
図示のように、システム１００は、クライアント装置１０２〜１０４、ネットワーク１０５、及びサーバ１０６を含む。ネットワーク１０５は、クライアント装置１０２〜１０４の各々及びサーバ１０６と通信し、これらの間の通信を可能にする。
【００１９】
クライアント装置１０２〜１０４は、コンテンツサーバ１０８などの別のコンピュータ装置との間で及び互いになど、ネットワーク１０５などのネットワークを介してメッセージを送受信できる事実上あらゆるコンピュータ装置を含むことができる。このような装置の組として、携帯電話、スマートフォン、ページャ、ウォーキートーキー、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、ＣＢ、前述の装置の１又はそれ以上を組み合わせた統合装置、又は事実上あらゆるモバイル装置などのような、一般に無線通信媒体を使用して接続する装置を挙げることができる。同様に、クライアント装置１０２〜１０４は、携帯情報端末（ＰＤＡ）、ポケットＰＣ、ウェアラブルコンピュータ、及び有線及び／又は無線通信媒体を介して通信することができる他のいずれかの装置などのような、有線又は無線通信媒体を使用して接続することができるいずれの装置であってもよい。このような装置の組として、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどような、一般に有線通信媒体を使用して接続する装置を挙げることもできる。
【００２０】
クライアント装置１０２〜１０４の中の個々のクライアント装置は、ウェブページを送信し、受信し、表示するように構成されたブラウザアプリケーションなどを含むことができる。ブラウザアプリケーションは、以下に限定されるわけではないが、ハイパーテキストマークアップ言語（ＨＴＭＬ）などの汎用マークアップ言語（ＳＭＧＬ）、拡張可能マークアップ言語（ＸＭＬ）、無線マークアップ言語（ＷＭＬ）などのハンドヘルド装置マークアップ言語（ＨＤＭＬ）、ＷＭＬＳｃｒｉｐｔ、及びＪａｖａＳｃｒｉｐｔなどを含む、事実上あらゆるウェブベース言語を利用してグラフィクス、テキスト、マルチメディアなどを受信して表示するように構成することができる。クライアント装置１０２〜１０４は、以下に限定されるわけではないが、インスタントメッセージング（ＩＭ）、電子メール、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、インターネットリレーチャット（ＩＲＣ）、ｍＩＲＣ、及びＪａｂｂｅｒなどを含む別のメカニズムを利用して別のコンピュータ装置との間でメッセージを送信及び／又は受信するように構成されたメッセージングアプリケーションをさらに含むことができる。
【００２１】
ネットワーク１０５は、１つのコンピュータ装置を別のコンピュータ装置に結合してこれらが通信できるようにするように構成される。ネットワーク１０５は、１つの電子装置から別の電子装置に情報を伝達するためのあらゆる形のコンピュータ可読媒体を利用することができる。ネットワーク１０５は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ユニバーサルシリアルバス（ＵＳＢ）ポートなどを介した直接接続、他の形のコンピュータ可読媒体、又はこれらのいずれかの組み合わせに加え、インターネットなどの無線インターフェイス及び／又は有線インターフェイスを含むことができる。異なるアーキテクチャ及びプロトコルに基づくものを含む相互接続されたＬＡＮの組では、ルータがＬＡＮ間のリンクとして機能し、互いにメッセージを送信できるようにする。また通常、ＬＡＮ内の通信リンクとしてツイストペア線又は同軸ケーブルが挙げられるが、ネットワーク間の通信リンクは、アナログ電話回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む全体的又は部分的専用デジタル回線、デジタル信号レベル３（ＤＳ３）、光搬送波３（ＯＣ３）、ＯＣ１２、ＯＣ４８、非同期転送モード（ＡＴＭ）、総合デジタル通信網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、衛星リンクを含む無線リンク、又は当業者に公知のその他の通信リンクを使用することもできる。さらに、リモートコンピュータ及びその他の関連する電子装置を、モデム及び仮設電話リンクを介してＬＡＮ又はＷＡＮのいずれかに遠隔接続することができる。ネットワーク１０５は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、無線アプリケーションプロトコル（ＷＡＰ）、ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、超広帯域（ＵＷＢ）、及びＩＥＥＥ８０２．１６Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ（ＷｉＭａｘ）などを含む様々な通信プロトコル及び技術とともに使用するように構成される。基本的に、ネットワーク１０５は、情報がクライアント装置１０２〜１０４及び／又はサーバ１０６間を移動できるようにするあらゆる通信方法を含む。
【００２２】
一般に、通信リンク内で情報を送信するために使用する上述したような媒体は、コンピュータ装置がアクセスできるあらゆる媒体を含む。コンピュータ可読媒体は、コンピュータ記憶媒体、有線及び無線通信媒体、又はこれらのいずれかの組み合わせを含むことができる。また通常、コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータを具体化する。このようなデータを、あらゆる情報配信媒体を含む通信媒体を介して搬送波、データ信号、又はその他の搬送メカニズムなどの変調データ信号の形で通信することができる。「変調データ信号」及び「搬送波信号」という用語は、その特徴セットの１又はそれ以上を有する信号、又は情報、命令、及びデータなどを符号化する方法で信号に変化させた信号を含む。一例として、通信媒体は、音響、ＲＦ、赤外線、及びその他の無線信号のための流体又は空間などの無線媒体、及びツイストペア、同軸ケーブル、光ファイバ、導波、及びその他の有線媒体などの有線媒体を含む。
【００２３】
サーバ１０６は、複数のコンピュータ装置又は単一のコンピュータ装置を含むことができる。サーバ１０６は、ヒストグラムを求めたり、ＯＣＲを実行したり、画像を以前記憶した画像と比較したり、画像に関する情報を特定したり、データベース動作を実行したり、追加情報の検索を実行したり、画像に関する情報を記憶したり、ユーザの行動を追跡したりなどの画像解析サービスを提供することができる。サーバ１０６はまた、コンテンツ、及び／又はウェブサイト、（ブログなどの）オンラインジャーナル、写真、レビューなどのその他のサービス、メッセージング、検索、ニュース、ショッピング、広告、及び／又は同様のものなどのオンラインサービスを提供することもできる。サーバ１０６は、ウェブページなどのネットワークリソース間の関係の作成、修正、及び管理のような管理サービスをさらに提供することができる。簡潔に言えば、サーバ１０６は、ネットワーク１０５に接続できるあらゆるコンピュータ装置を含むことができ、クライアント装置１０２〜１０４のうちの少なくとも１つのユーザなどのネットワークユーザのためのサービスを管理することができる。サーバ１０６として動作できる装置として、専用サーバ装置、パーソナルコンピュータ、デスクトップコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、及びネットワークＰＣなどが挙げられる。サーバ１０６及び／又はクライアント１０２〜１０４のいずれかを、図２に関して説明するクライアントなどの１又はそれ以上のコンピュータ装置に実装することができる。
【００２４】
例示的クライアント装置
図２は、参照データ収集装置として使用される本発明の１つの実施形態による例示的なクライアント装置２００を示している。１つの実施形態では、クライアント装置２００は、ラップトップコンピュータなどのモバイル装置である。モバイル装置の別の例として、１又はそれ以上の無線通信インターフェイスを介して音声通信及びＳＭＳメッセージなどのメッセージを送受信するように構成されたＰＤＡ又は携帯電話が挙げられる。多くの場合、モバイル電子装置は、１又はそれ以上の無線ネットワークに接続すること、単一の無線ネットワークの複数のノードに接続すること、１又はそれ以上のチャネルを介して１又はそれ以上のネットワークに通信すること、或いは１又はそれ以上の通信セッションに別様に関わることによりパーソナル通信を行うことができる。一般に、クライアント装置２００は、あらゆるモバイル電子装置又は固定電子装置を含むことができる。このような装置には、ラップトップ、パームトップ、ＰＤＡ、ハンドヘルドコンピュータ、携帯電話、スマートフォン、ページャ、無線周波数（ＲＦ）装置、赤外線（ＩＲ）装置、及び前述の装置の１又はそれ以上を組み合わせた統合装置などが含まれる。クライアント装置２００はまた、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラム可能な家庭用電化製品、ネットワークＰＣ、及びウェアラブルコンピュータなどのその他の電子装置を含むこともできる。
【００２５】
クライアント装置２００が含むことができる構成要素は、図２に示すものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。図示のように、クライアント装置２００は、バス２２４を介して大容量メモリ２３０と通信する処理ユニット２２２を含む。
【００２６】
大容量メモリ２３０は、ＲＡＭ２３２、ＲＯＭ２３４、及びその他の記憶手段を含む。大容量メモリ２３０は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するための別のコンピュータ記憶媒体の例を示している。大容量メモリ２３０は、クライアント装置２００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）２４０を記憶する。大容量メモリは、クライアント装置２００の動作を制御するためのオペレーティングシステム２４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）、又はＬＩＮＵＸ（登録商標）などの汎用オペレーティングシステム、又はＷｉｎｄｏｗｓ Ｍｏｂｉｌｅ（商標）、又はＳｙｍｂｉａｎ（登録商標）オペレーティングシステムなどの専用モバイル通信オペレーティングシステムを含むことができる。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ（登録商標）仮想マシンモジュールを含むことができ、或いはこれにインターフェイス接続することができる。
【００２７】
メモリ２３０は１又はそれ以上のデータ記憶ユニット２４２をさらに含み、クライアント装置２００がこれを利用して、とりわけプログラム２４４及び／又はその他のデータを記憶することができる。プログラム２４４は、クライアント装置２００によって実行された場合、ＨＴＭＬページ、ＸＭＬページ、及び（ＷＡＰカードと呼ばれることもある）ＷＡＰページなどのマークアップページを送信し、受信し、提供し、及び／又は別様に処理するコンピュータ実行可能命令を含むことができる。従って、プログラム２４４はコンピュータ実行可能命令からなるブラウザプログラムを含むことができ、これをオペレーティングシステム２４１の制御下で実行して、マークアップページ及び（ＨＴＴＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＩＭ、電子メール、及び／又はその他のメッセージなどの）メッセージ、オーディオ、ビデオを要求し、受信し、提供できるようにしてこれらを管理し、別のクライアント装置の別のユーザと電気通信できるようにすることができる。アプリケーションプログラムのその他の例として、カレンダー、コンタクトマネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、スプレッドシートプログラム、及びゲームが挙げられる。
【００２８】
また、大容量メモリ２３０は画像処理モジュール２４６及びマッピングモジュール２４８を記憶し、これらをオペレーティングシステム２４１の制御下で外部モジュールとして、ブラウザ内で、ウェブページ内で、又は別の構成を介してプラグインモジュールとして実行することができる。画像処理モジュール２４６は、画像データ、コンテキスト情報、画像データに対するユーザの要求、及びモバイル装置が取得又は受信した画像に関するその他のデータの初期処理又は完全処理を行うことができる。マッピングモジュール２４８は、マップ情報を表示し、透視し、動かし、画像又はコンテンツと一体化し、及びその他のマップ動作を行うように管理することができる。
【００２９】
クライアント装置２００はまた、電源２２６、１又はそれ以上の無線インターフェイス２５０、オーディオインターフェイス２５２、ディスプレイ２５４、キーパッド２５６、照明器２５８、任意のデータ取り込みモジュール２５９、入力／出力インターフェイス２６０、任意の触覚インターフェイス２６２、任意のグローバルポジショニングシステム（ＧＰＳ）受信機２６４、及び動き、方向、及び／又はクライアント装置の方向を感知する任意のセンサも含む。電源２２６がクライアント装置２００に電力を供給する。再充電可能な又は再充電不可能なバッテリを使用して電力を供給することができる。ＡＣアダプタ、又はバッテリを補完及び／又は再充電する電動ドッキングクレードルなどの外部電源により電力を供給することもできる。
【００３０】
クライアント装置２００は、任意に基地局と、又は直接別のクライアント装置と通信することができる。無線インターフェイス２５０は、クライアント装置２００を１又はそれ以上の無線ネットワークに結合するための回路を含み、以下に限定されるわけではないが、ＴＣＰ／ＩＰ、ＵＤＰ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＳＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、及びＩＥＥＥ８０２．１６（ＷｉＭａｘ）などを含む１又はそれ以上の通信プロトコル及び技術とともに使用するように構成される。
【００３１】
オーディオインターフェイス２５２は、人間の声及び音楽などの音のようなオーディオ信号を生成し及び／又は受信するように構成される。例えば、オーディオインターフェイス２５２をスピーカ及びマイク（図示せず）に結合して他者と通信できるようにし、及び／又は何らかの行為に対する音声肯定応答を生成することができる。ディスプレイ２５４は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、発光ダイオード（ＬＥＤ）、又はクライアント装置とともに使用する他のいずれの種類のディスプレイであってもよい。ディスプレイ２５４はまた、スタイラス又は人間の手の指などの物体からの入力を受け取るように構成されたタッチセンサ式画面を含むこともできる。
【００３２】
キーパッド２５６は、ユーザからの入力を受け取るように構成されたあらゆる入力装置を含むことができる。例えば、キーパッド２５６は、キーボード又はプッシュボタン式数字ダイヤルなどを含むことができる。キーパッド２５６はまた、変更可能な処理を選択して実行することに関連する命令ボタンを含むこともできる。照明器２５８は、ステータス表示を提供し、及び／又は光を提供することができる。照明器２５８は、特定の時間にわたって、又はイベントに応答してアクティブのままにしておくことができる。例えば、照明器２５８は、アクティブなときにはキーパッド２５６上のボタンをバックライトで照らすことができ、クライアント装置が給電を受けている間オン状態を保つことができる。また、別のクライアント装置にダイヤルするなどの特定の動作が行われた場合、照明器２５８はこれらのボタンを様々なパターンでバックライト照明することもできる。照明器２５８はまた、モバイル装置の透明又は半透明なケース内に存在する光源を動作に応じて光らせることもできる。照明器２５８を画像取り込み用のフラッシュとしてさらに使用することもできる。クライアント装置２００には、カメラなどのデータ取り込みモジュール２５９を含めることができる。クライアント装置は、画像、ビデオ、温度、圧力、又はその他のデータを取得することができる。
【００３３】
クライアント装置２００はまた、ヘッドホンなどの外部装置と通信するための入力／出力インターフェイス２６０、又は図２には示していないその他の入力又は出力装置も含む。入力／出力インターフェイス２６０は、ＵＳＢ、赤外線、及びＢｌｕｅｔｏｏｔｈ（商標）などの１又はそれ以上の通信技術を利用することができる。任意の触覚インターフェイス２６２は、クライアント装置のユーザに触覚フィードバックを提供するように構成される。例えば、触覚インターフェイスを使用して、クライアント装置の別のユーザが電話をかけてきたときにクライアント装置２００を特定の方法で振動させることができる。
【００３４】
任意のＧＰＳトランシーバ２６４は、地表にあるクライアント装置２００の物理座標を特定することができ、この結果、通常は緯度値及び経度値などの場所が出力される。ＧＰＳトランシーバ２６４はまた、以下に限定されるわけではないが、三角測量、アシスト型ＧＰＳ（ＡＧＰＳ）、拡張観測時間差（Ｅ−ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などを含むその他のジオポジショニングメカニズムを使用して、地表にあるクライアント装置２００の物理的場所を特定することもできる。異なる条件により、ＧＰＳトランシーバ２６４は、クライアント装置２００の物理的場所をミリメートルの範囲内で特定することもできれば、その他の場合には、特定される物理的場所がメートル又はかなり大きな距離の範囲内のようにそれほど正確ではないこともある。
【００３５】
任意のセンサ２６６は、モバイル装置の方向、向き、動き、又はその他の側面を検出することができる。このセンサは、静的情報、又はモバイル装置のあらゆる側面への変化などの動的情報を読み出すことができる。センサ２６６は、加速度計、ジャイロスコープ、コンパス、又は動き、方向などを検出するその他のセンサを含むことができる。このセンサは、変換用構成要素、信号処理用構成要素、及び／又はその他の構成要素を含み、又はこれらに結合することができる。
【００３６】
例示的ネットワーク装置
図３は、本発明の１つの実施形態によるネットワーク装置の１つの実施形態を示している。ネットワーク装置３００が含むことができる構成要素は、図示のものより多くても又は少なくてもよい。しかしながら、本発明を実施するための例示的な実施形態を開示するには図示の構成要素で十分である。ネットワーク装置３００は、例えばサーバ１０６又は図１の別のクライアント装置を表すことができる。例示を目的として、ネットワーク装置３００をサーバ装置として説明する。
【００３７】
図示のように、サーバ装置３００は、バス３２４を介して大容量メモリ３３０と通信する処理装置３２２を含む。一般に、大容量メモリ３３０は、ＲＡＭ３３２、ＲＯＭ３３４、及びその他の記憶手段を含む。大容量メモリ３３０は、ある種のコンピュータ可読媒体、すなわちコンピュータ記憶媒体を示している。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術において実装される揮発性及び不揮発性の、取り外し可能な及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の他の例として、ＥＥＰＲＯＭ、フラッシュメモリ又はその他の半導体メモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできるその他のあらゆる媒体が挙げられる。
【００３８】
大容量メモリ３３０は、サーバ装置３００の低レベル動作を制御するための基本入力／出力システム（「ＢＩＯＳ」）３４０を記憶する。大容量メモリはまた、サーバ装置３００の動作を制御するためのオペレーティングシステム３４１も記憶する。この構成要素は、あるバージョンのＷｉｎｄｏｗｓ、ＵＮＩＸ、ＬＩＮＵＸ、又はＳｏｌａｒｉｓなどの汎用オペレーティングシステムを含むことができる。オペレーティングシステムはまた、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素及び／又はオペレーティングシステム動作の制御を可能にするＪａｖａ仮想マシンモジュールを含むこともでき、或いはこれにインターフェイス接続することもできる。
【００３９】
大容量メモリ３３０は１又はそれ以上のデータ記憶ユニット３４２をさらに含み、サーバ装置３００がこれを利用して、とりわけプログラム３４４及び／又はその他のデータを記憶することができる。プログラム３４４は、ＨＴＴＰ通信を送信し、受信し、及び別様に処理するためのＨＴＴＰハンドラアプリケーション、及びＷＡＰ通信を送信し、受信し、及び別様に処理するためのＷＡＰハンドラアプリケーションなどのマークアップハンドラアプリケーションを実施するためにサーバ装置３００が実行できるコンピュータ実行可能命令を含むことができる。同様に、プログラム３４４は、外部アプリケーションとの通信をセキュアな方法で開始するなどのセキュアな接続を行うためのセキュアソケットレイヤ（ＳＳＬ）ハンドラアプリケーションを含むことができる。アプリケーションプログラムの他の例として、コンテンツ管理アプリケーション、メッセージングアプリケーション、スケジューラ、カレンダー、ウェブサービス、トランスコーダ、データベースプログラム、ワードプロセッシングプログラム、及びスプレッドシートプログラムなどが挙げられる。従って、プログラム３４４は、画像、オーディオ、ビデオ、又はマークアップページを処理し、別の電子装置の別のユーザとの通信及び／又はその他のサービスを可能にすることができる。
【００４０】
また、大容量メモリ３３０は画像処理モジュール３４６を記憶する。画像処理モジュール３４６はコンピュータ実行可能命令を含むことができ、これをオペレーティングシステム３４１の制御下で実行して画像を解析したり、画像を比較したり、コンテキスト情報を特定したり、場所に関連する情報にアクセスしたり、ユーザ行動データを評価したり、検索語を決定したり、又は画像に関するその他の処理を実行したりすることができる。１つの実施形態では、一般に画像処理モジュール３４６がクライアント装置の画像処理モジュールと通信する。大容量メモリ３３０は検索モジュール３４８を含むこともでき、これは画像処理モジュール３４６の一部であってもよく、或いは画像処理モジュール３４６と通信するものであってもよい。検索モジュール３４８は、一般にコンテンツ検索などのデータ検索、ネットワークリソースへのリンクの検索、又はデータベース検索などを行う検索エンジンを含むことができる。
【００４１】
サーバ装置３００はまた、キーボード、マウス、ホイール、ジョイスティック、ロッカースイッチ、キーパッド、プリンタ、スキャナ、及び／又は図３には具体的に示していないその他の入力装置などの入力／出力装置と通信するための入力／出力インターフェイス３６０も含む。サーバ装置３００のユーザは入力／出力装置を使用して、オペレーティングシステム３４１、プログラム３４４、及び／又はその他のモジュールと別個のものであってもよく又は一体化したものであってもよいユーザインターフェイスとやりとりすることができる。ユーザインターフェイスとのやりとりは、ディスプレイ及びビデオディスプレイアダプタ３５４を介した目に見えるやりとりを含む。
【００４２】
サーバ装置３００は、コンピュータ可読記憶媒体のための取り外し可能な媒体ドライブ３５２及び／又は恒久的な媒体ドライブ３５４を含むことができる。取り外し可能な媒体ドライブ３５２は、光学ディスクドライブ、フロッピー（登録商標）ディスクドライブ、及び／又はテープドライブのうちの１又はそれ以上を含むことができる。恒久的な又は取り外し可能な記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するためのあらゆる方法又は技術で実装される揮発性の、不揮発性の、取り外し可能な、及び取り外し不可能な媒体を含むことができる。コンピュータ記憶媒体の例として、ＣＤ−ＲＯＭ３５５、デジタル多用途ディスク（ＤＶＤ）又はその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又はその他の磁気記憶装置、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又はその他のメモリ技術、或いは所望の情報を記憶するために使用できるとともにコンピュータ装置によりアクセスできる他のあらゆる媒体が挙げられる。
【００４３】
サーバ３００は、ネットワーク通信インターフェイスユニット３５０を介して、インターネットなどの広域ネットワーク、ローカルエリアネットワーク、有線電話ネットワーク、携帯電話ネットワーク、又は図１のネットワーク１０５などの他の何らかの通信ネットワークと通信することができる。ネットワーク通信インターフェイスユニット３５０は、トランシーバ、送受信装置、及びネットワークインターフェイスカード（ＮＩＣ）などとして知られていることもある。
【００４４】
例示的ロジック
図４は、モバイル装置が向けられた方向に基づいて検索結果を特定するためのロジック例を示すフロー図である。この実施形態例では、主にクライアントモバイル装置に対して処理が行われる。しかしながら、処理によっては、ネットワークを介してサーバ装置に行うことができるものもある。
【００４５】
動作４０２において、モバイル装置の現在の物理的な地理的位置が特定される。内蔵型のＧＰＳ構成要素、既知の場所における高周波識別（ＲＦＩＤ）タグ又はリーダ、又はその他の位置構成要素により、現在の場所を設定することができる。或いは、ユーザが、タップ、クリック、又はその他の方法で表示マップ上の地点を示し、この結果、緯度、経度、高度、通りの番地、税金区画番号、又はその他の位置情報が戻されるようにしてもよい。別の選択肢として、ユーザが、住所、交差点、建物名、ランドマーク名、又はその他の位置情報などの位置情報を単純に入力することもできる。
【００４６】
別の実施形態では、モバイル装置のカメラで画像を取り込み、その後これを既知の位置情報と比較して解析することができる。例えば、カメラで、道路標識、広告掲示板、店頭、建物、又はその他のシーンの画像を取り込むことができる。画像から文字、記号、ランドマーク、又はその他の情報を分析して場所を特定することができる。画像解析及び場所検出のさらなる詳細が、２００８年５月２２日に共同出願された「モバイル装置により記録された画像のコンテンツに基づくデータアクセス」という名称の米国特許出願第１２／１２１，２５９号に記載されており、該特許出願はその内容全体が引用により本明細書に組み入れられる。
【００４７】
動作４０４において、モバイル装置を使用して、モバイル装置が向けられた最初の方向を設定する。この最初の方向はいくつかの方法で設定することができ、この方向を使用して、モバイル装置をマップピングモジュール又はその他のサービスと同期させることができる。例えば、モバイル装置は、特定された最初の位置に基づいて、モバイル装置を既知の通りに沿って、既知の物理的物体の方へ、既知のコンパス方位の方へ、又はユーザが容易に識別できるその他の方向へ向けるようにユーザに指示するメッセージを表示することができる。モバイル装置はまた、特定された最初の位置の周辺エリアの２Ｄ又は３Ｄマップを表示することもでき、このマップ上に、矢印、強調表示したアイコン、又はモバイル装置がユーザにモバイル装置を向けるように指示した地点にある通り、物体、又はその他の方向アイテムを示すものを表示することができる。この表示マップは、ユーザがモバイル装置を指示された方向にある点に向ける役に立つことができる。モバイル装置は、ユーザが指示された通りにモバイル装置を向けたことを示すべくユーザにモバイル装置上のボタンを押すようにさらに指示することができる。
【００４８】
別の実施形態では、モバイル装置が、最初の特定された位置の周辺エリアの３Ｄ一人称透視マップを使用することができる。より具体的には、３Ｄマップが、ユーザがモバイル装置を向けるべき建物、地形、又はその他の描画オブジェクトの３Ｄグラフィックシーンを示すことができる。この３Ｄグラフィックシーンは、モバイル装置のカメラ入力に重なる半透明なもの又は輪郭として示すことができる。ユーザが、モバイル装置のカメラレンズを異なる方向に動かすと、ユーザは、カメラファインダ内の画像が、示される３Ｄマップといつ一致するかを「認識」することができる。同様に、モバイル装置は、このカメラ入力を連続して走査し、３Ｄ透視オーバーレイと比較したいくつかのパターンの連続した画像認識を行うことができる。一致が検出されると、モバイル装置は、ユーザがカメラレンズをいつ正しい方向に向けたかを自動的に識別することができる。
【００４９】
さらなる実施形態では、モバイル装置がＧＰＳモジュールを使用して、装置が或る方向に動いていることを検出し、（車、公共交通機関、徒歩などにより）ユーザが進んでいる方向にモバイル装置を向けるようにユーザに指示することができる。この場合も、モバイル装置がユーザに、モバイル装置を指示した方向に向けたことを示すべくボタンを押すように指示する。さらに別の実施形態では、モバイル装置がユーザに、モバイル装置のカメラレンズを太陽の方に向けるように指示することができる。モバイル装置は、ユーザがボタンを押した後に現在の時刻に関する情報を取得し、特定された場所を使用してモバイル装置が向いている方向を計算することができる。これに加えて、或いはこれとは別に、モバイル装置は、画像解析を使用して影を評価することができる。さらなる実施形態では、モバイル装置がコンパスを含むことができる。ユーザがボタンを押すと、モバイル装置は、コンパスから方位を読み取ることができる。このボタンは、（入力ボタンなどの）一般の物理的ボタンであってもよく、画面上に表示される仮想ボタンであってもよく、専用の「方位」ボタン又はその他の形のボタンであってもよい。
【００５０】
最初の方向に基づいて、モバイル装置は、この最初の方向に関するコンテンツ情報にアクセスすることができる。別の実施形態では、最初の方向を基準方向として使用して方向の変化を特定することができる。
【００５１】
この実施形態では、動作４０６において、モバイル装置が方向の変化を特定する。例えば、モバイル装置は、モバイル装置が最初の位置の周囲で円形に動いている最中又はこの後に新たな方向を検出することができる。モバイル装置は、モバイル装置が動いている最中に撮影した複数の画像の個々のフレームを解析して画像の変化を特定することができる。この変化が動きの量及び方向を示し、この結果モバイル装置が新たな方向を計算できるようになる。この実施形態では、モバイル装置のカメラが一連の写真を連続して撮影し、これらを線、ブロックなどのパターンに関して解析する。その後、モバイル装置は、これらのパターンの動きを評価して、ユーザがモバイル装置を背景に対していずれかの方向（又は方位）に動かしていた場合、モバイル装置は、この相対的動きを特定できるようになる。モバイル装置はまた、マップ表示又はその他の表示コンテンツを、（実際には逆方向になる場合があるが）同様の量だけ修正することもできる。モバイル装置は、連続したパターン間の、又は最初に取り込んだ画像の最初のパターンと、最後に取り込んだ画像の最後のパターンとの間の変化を検出することができる。これにより、表示マップが物理的世界へ向けて空間内で固定されている一方で、モバイル装置がこのマップ全体をパンしたように見える印象が得られる。
【００５２】
別の実施形態では、モバイル装置が、１又はそれ以上の加速度計、ジャイロスコープ、コンパス、歪みゲージ、又は動き、方向、又はその他の特性を検出するための他の構成要素を含むことができる。例えば、３つの加速度計を使用して３次元の動きを検出することができる。最初の方向に対する動きを使用して新たな方向を特定することもできる。
【００５３】
モバイル装置が動いている間、又はモバイル装置が新たな方向に保持された後、モバイル装置は、動作４０８において現在の方向に関連するコンテンツ情報を取得する。モバイル装置は、モバイル装置及び／又はリモートサーバに記憶されたコンテンツ情報にアクセスする。モバイル装置は、現在の場所及び方向情報に基づいてデータベースにアクセスし、又は検索要求を提出することができる。ユーザがキーワード又はその他の検索パラメータを入力することもできる。例えば、ユーザは、住所、商号、製品タイプ、又はモバイル装置が現在向いている方向においてユーザが発見したいと思っているその他の検索語を入力することができる。モバイル装置又は検索サーバは検索を行うことができ、或いは入力された検索語、現在の方向、及び現在の位置に基づいて検索結果にフィルタをかけることができる。同様に、ユーザが最大距離を入力することができ、或いは検索システムが現在の位置からのデフォルトの最大距離を使用することができる。結果を、指定した距離内又は指定した距離の周辺の範囲内に存在するものに限定することができる。
【００５４】
コンテンツ情報には地理的位置情報が伴う。検索システムは、現在の位置及びモバイル装置の方向に対する地理的位置の範囲を特定することができる。次に、検索システムは、特定された範囲内の地理的位置に伴うコンテンツを特定することができる。キーワード又はその他のパラメータに基づいて、結果をさらに特定することができる。例えば、モバイル装置のユーザに、検索システムに対する、又は動き、ネットワークインタラクション、購入、ゲーム活動、又はその他のモバイル装置の使用法を追跡するための別のサービスに対する許可を与えておくことができる。この情報を、モバイル装置に関連するプロファイルに蓄積することができる。集約情報を蓄積して、数多くのその他の装置又はユーザの行動に関して統計的に分析することもできる。これらのプロファイル情報及び／又は集約情報を検索システムが使用して、検索結果をモバイル装置のユーザにとってより関連性の高い情報にまでさらに高めることができる。
【００５５】
別の例では、モバイル装置上の表示マップにおいて、ユーザが、レストランなどの或る種の情報を示すタブを選択しておくことができる。選択したタブのための対応する検索語を、位置、方向、距離、及びキーワードとともに提出して、結果を現在の方向にあるレストランに限定することができる。
【００５６】
同様に、ユーザは、モバイル装置が向いている方向に現在存在する他のユーザに関する情報をユーザが望んでいる旨のタブを選択し、或いは別様にこれを示すことができる。例えば、ユーザは、メッセージシステムを使用して、ユーザＩＤを用いてポータルサービスにログインし、複数の度合いの関係によって分けられた人物の関係を管理することができるソーシャルネットワークシステムを使用して、或いは現在の位置情報を別様に提供してこれに検索システムがアクセスできるようにすることができる。１つの例では、２人のユーザが、通り沿いのどこかの建物内の非常に混み合った部屋の周囲で、或いは別の環境で互いに相手の位置を突き止めようと試みているかもしれない。「人物」タブを選択し、名前を入力し、ユーザＩＤを入力し、又はその他の関連する検索語を使用して、結果を検索語、現在の方向、及び現在の位置に関連する人物に限定することができる。検索システムにより任意の存在情報を使用して最終結果を特定することもできる。例えば、プライベートユーザは、このプライベートユーザの方向に自身のモバイル装置を向けている可能性のある他のユーザから「見えない」状態のままでいたいと望むことを示すことができる。或いは、グループユーザは、自分たちの存在をこのグループユーザの連絡先リストに載っているユーザにしか知られたくないと望むことを示すことができる。
【００５７】
検索システムは、検索結果を特定しながら、検索結果と検索を行っているモバイル装置の現在の位置との間の距離を計算することもできる。同様に、検索システムは、個々の検索結果とモバイル装置が向いている現在の方向との間のオフセット値を計算することができる。このオフセット値は、方向線からの角度的なオフセット値、直線的なオフセット値、又はその他のオフセット値であってもよい。
【００５８】
動作４１０において、距離情報及び最終結果がモバイル装置に提供され、これをモバイル装置が表示する。モバイル装置は、検索結果を単純なリストの形で又はグラフィックで表示することができる。例えば、モバイル装置は、モバイル装置の現在の位置からの距離に基づく順番でリストを表示することができる。個々の検索結果の隣に距離を明記することができる。同様に、モバイル装置は、個々の検索結果の隣にオフセット値を示すこともできる。検索結果は、情報の種類を示すアイコン又はその他のグラフィックを含むことができる。例えば、別のユーザを特定する検索結果をアバターで示すことができる。ガソリンスタンドを特定する検索結果を燃料記号で示すこともできる。同様に、カラー、フォント、又はその他のインジケータを使用して検索結果を区別することができる。
【００５９】
別の実施形態では、モバイル装置が、検索結果をグラフィック表示の上に重ねる。例えば、モバイル装置は、表示された３Ｄベクトルマップ上にアイコン、文字、又はその他の検索結果情報を重ねることができる。ユーザが選択したタブ、入力したキーワード、予め定めた優先順位、存在パラメータ、過去の行動、集約行動、又はその他のフィルタに基づいて検索結果の部分を表示することができる。検索結果によっては、現在のモバイル装置の表示分野に該当せず、ビューが変更されるか又はモバイル装置がこの検索結果の対応する物理的方向に向くまで表示されないものもあり得る。或いは、モバイル装置が動き回るにつれて実際の検索結果を動的に更新することができる。
【００６０】
１つの実施形態では、結果が、単純にモバイル装置のカメラからのファインダ入力である３Ｄ透視図で表示される。別の実施形態では、検索結果が、固定したように見える３Ｄ透視マップ上に重ねられることにより、表示が、モバイル装置が動くにつれてベクトルマップ全体をパンしたように見えるようになる。１つの実施形態では、半透明の３Ｄ透視マップの背景画像の上位に通りなどの要素の輪郭が描かれる。
【００６１】
モバイル装置の現在の場所のすぐ周辺にあるものの現在の視界の中にはない、又は限界距離を越えている検索結果については、モバイル装置を動かしながら素早く描画できるようにキャッシュすることができる。これに加えて、或いはこれとは別に、装置を一定の方向に静止したままにした場合、装置の現在の場所からますます遠くのますます多くの検索結果を表示するようにしてもよい。検索結果インジケータの相対的サイズにより距離を示して、物理的に近い結果及びそうでない結果の遠近感をより鮮明にすることもできる。結果のリストと同様に、グラフィック表示した結果の結果アイコンの隣に距離インジケータを含めることもできる。
【００６２】
さらなる実施形態では、「Ｘ線」検索結果を提供することができる。この実施形態では、建物及び地形を透視して、ある方向の障害物の後ろに存在するものを明らかにすることができる「Ｘ線」装置を有しているという感覚をユーザに与えることができる。例えば、結果を半透明に表示してもよいし、又は障害物を半透明に表示してもよい。レストラン、ガソリンスタンド、店舗、ユーザが作成したコンテンツ、又はその他の情報を表す対応するアイコン又はその他の結果インジケータを表示することができる。これは、情報のカテゴリ又は特定の文字列のような、ユーザが何を探しているかを自分ですでに大まかに分かっているときに特定のものを検索するのに有用である。
【００６３】
別の例では、ユーザが住所を入力した場合、検索システムは、特定された方向とは異なる方向を示す検索結果を提供することができる。この場合ユーザは、その住所の結果が（直接又は障害物を通じて）見えるようになるまで、モバイル装置を現在の位置を中心に円形などの形で動かすことができる。例えば、モバイル装置が入力した住所の方向へ動いた場合、赤色のドットを表示するようにしてもよい。この結果、ユーザは方向を発見し、所望の住所へ向けて進むことができるようになる。
【００６４】
同様に、さらに別の実施形態では、「オーバーレイ」及び「発見」機能を提供することができる。この実施形態は、物理的場所の上にデジタル的な又は仮想的なオーバーレイを重ねる感覚をユーザに与えることができ、ユーザが特に何も探さなくてもコンテンツを発見できるようにする。例えば、他のユーザが提供した場所にまつわる画像又はコメントなどの、ユーザが作成したコンテンツのようなものをモバイル装置のユーザの現在の場所の周囲に表示することができる。ユーザがモバイル装置の方向を動かすと、この場所にまつわる画像、コメント、又はその他のコンテンツが表示されるようにすることができる。これは、一般にコミュニティサービスに適用することができる。
【００６５】
任意の動作４１２において、モバイル装置は、ユーザがモバイル装置のズーム機能を起動させたことを検出することができる。モバイル装置は、視野に対する対応する変化を特定する。１つの実施形態では、視野の変化を、モバイル装置が向いている方向の距離範囲に対する拡張機能として単純に表すことができる。別の実施形態では、視野の変化を現在の位置のオフセット変化として表すことができる。奥行きを計算することにより、方向線からの角度的な又は直線的なオフセットの変化を特定することもできる。
【００６６】
任意の動作４１４において、視野の変化を反映するように検索結果の表示を更新することができる。或いは、新たな検索を要求し、検索結果を更新することができる。
【００６７】
上記明細書、用例、及びデータは、本発明の構成を作成して使用することについての完全な説明を提供するものである。例えば、検索結果に音声出力装置を与えて、ドライブ中又は法的に失明しているユーザにとって有用なものとすることができる。別の実施形態では、ウェブカメラなどの可動式イメージング装置をコンピュータ装置に結合して、可動式イメージング装置のみが位置及び／又は方向を変えるようにしてもよい。本発明の思想及び範囲から逸脱することなく本発明の多くの実施形態を作成できるので、本発明は以下に添付する特許請求の範囲の中に存在する。
【符号の説明】
【００６８】
１００ システム
１０２ クライアント装置
１０３ クライアント装置
１０４ クライアント装置
１０５ ネットワーク
１０６ サーバ
【特許請求の範囲】
【請求項１】
コンテンツを特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記モバイル装置のイメージング構成要素が向けられた最初の方向を特定するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記モバイル装置の前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とする方法。
【請求項２】
方向の変化を特定するステップが、
前記モバイル装置の前記イメージング構成要素を使用して複数の画像を取り込むステップと、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定するステップと、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定するステップと、
前記変化に基づいて前記新たな方向を特定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記最初の方向を特定するステップが、
前記モバイル装置の前記イメージング構成要素が既知の方向に向けられたことを検出するステップと、
既知の地理的場所における既知の物体のパターンを前記モバイル装置上に表示し、前記モバイル装置が動いたことにより、前記パターンが前記モバイル装置の前記イメージング構成要素からのカメラ入力に重なるようになることを検出するステップと、
前記モバイル装置の前記イメージング構成要素が、前記モバイル装置の検出された直線的な動きの方向に向けられたことを検出するステップと、
前記モバイル装置が太陽の方に向けられたことを検出し、前記最初の地理的位置、現在の日付、及び現在の時刻に基づいて前記新たな方向を特定するステップと、
コンパスを読み取るステップと、
のうちの１つを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記コンテンツを特定するステップが、
前記最初の地理的位置及び前記新たな方向を含む検索要求をネットワークを介して遠隔検索システムへ送信するステップと、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取るステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記コンテンツを特定するステップが、
前記モバイル装置のユーザ入力構成要素を介して検索パラメータを受け取るステップと、
前記検索パラメータ、前記最初の地理的位置、及び前記新たな方向に基づいてコンテンツデータベースを検索するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも１つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかけるステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記特定されたコンテンツを表示マップ上に重ねるステップと、
前記特定されたコンテンツをカメラ入力上に重ねるステップと、
のうちの一方を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記モバイル装置の前記イメージング構成要素のさらなる方向的な動きを検出するステップと、
前記イメージング構成要素が前記特定されたコンテンツを指す方向へ動いた場合、前記特定されたコンテンツが前記イメージング構成要素の視野内に存在することを示すステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記イメージング構成要素のズーム動作を検出するステップと、
前記ズーム動作に基づいてズーム範囲を決定するステップと、
前記ズーム範囲内の代替のコンテンツ位置に関連する代替のコンテンツを、前記最初の地理的位置に関して及び前記新たな方向に関して特定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記特定されたコンテンツが、別のモバイル装置の場所情報を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
請求項１に記載のステップを含む複数の動作を電子機器に実行させる命令を保持する、
ことを特徴とする機械可読媒体。
【請求項１２】
コンテンツを特定するためのシステムであって、
プロセッサと、
前記プロセッサと通信するイメージング構成要素と、
前記プロセッサと通信する出力構成要素と、
前記プロセッサと通信するユーザ入力インターフェイスと、
前記プロセッサと通信するとともに、データと、前記プロセッサに複数の動作を実行させる命令とを記憶するメモリと、
を備え、前記複数の動作が、
前記イメージング構成要素の最初の地理的位置を特定するステップと、
イメージング構成要素が向けられた最初の方向を特定するステップと、
前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを前記出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とするシステム。
【請求項１３】
前記命令が、前記プロセッサに、
前記イメージング構成要素に複数の画像を取り込ませる動作と、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定する動作と、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定する動作と、
前記変化に基づいて前記新たな方向を特定する動作と、
をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記プロセッサと通信して前記最初の位置を特定する位置センサをさらに備える、
ことを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記プロセッサと通信するとともにネットワークと通信するネットワークインターフェイスをさらに備え、前記命令が、前記プロセッサに、
前記最初の地理的位置及び前記新たな方向を含む検索要求を前記ネットワークを介して遠隔検索システムへ送信する動作と、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取る動作と、
をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１６】
前記命令が、前記プロセッサに、
前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも１つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかける動作をさらに実行させる、
ことを特徴とする請求項１２に記載のシステム。
【請求項１７】
前記命令が、前記プロセッサに、
前記特定されたコンテンツを表示マップ上に重ねる動作と、
前記特定されたコンテンツをカメラ入力上に重ねる動作と、
のうちの一方をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１８】
前記システムがモバイル装置を含む、
ことを特徴とする請求項１２に記載のシステム。
【請求項１９】
関心のある方向を特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記最初の地理的位置の予め定めた範囲内にあるコンテンツ位置に関連するコンテンツを特定するステップと、
前記モバイル装置が向けられた最初の方向を特定するステップと、
前記最初の地理的場所の前記予め定めた範囲内の前記最初の方向に関連するエリアの第１の部分を表示するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を特定するステップと、
前記新たな方向が、前記コンテンツ位置が存在する前記エリアの第２の部分を指す場合、前記特定されたコンテンツを表示するステップと、
を含むことを特徴とする方法。
【請求項２０】
加速度計を使用して前記方向の変化を特定するステップと、
前記特定されたコンテンツを前記エリアの前記第２の部分の画像上に重ねるステップと、
のうちの少なくとも一方をさらに含むことを特徴とする請求項１９に記載の方法。
【請求項１】
コンテンツを特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記モバイル装置のイメージング構成要素が向けられた最初の方向を特定するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記モバイル装置の前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とする方法。
【請求項２】
方向の変化を特定するステップが、
前記モバイル装置の前記イメージング構成要素を使用して複数の画像を取り込むステップと、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定するステップと、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定するステップと、
前記変化に基づいて前記新たな方向を特定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記最初の方向を特定するステップが、
前記モバイル装置の前記イメージング構成要素が既知の方向に向けられたことを検出するステップと、
既知の地理的場所における既知の物体のパターンを前記モバイル装置上に表示し、前記モバイル装置が動いたことにより、前記パターンが前記モバイル装置の前記イメージング構成要素からのカメラ入力に重なるようになることを検出するステップと、
前記モバイル装置の前記イメージング構成要素が、前記モバイル装置の検出された直線的な動きの方向に向けられたことを検出するステップと、
前記モバイル装置が太陽の方に向けられたことを検出し、前記最初の地理的位置、現在の日付、及び現在の時刻に基づいて前記新たな方向を特定するステップと、
コンパスを読み取るステップと、
のうちの１つを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記コンテンツを特定するステップが、
前記最初の地理的位置及び前記新たな方向を含む検索要求をネットワークを介して遠隔検索システムへ送信するステップと、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取るステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記コンテンツを特定するステップが、
前記モバイル装置のユーザ入力構成要素を介して検索パラメータを受け取るステップと、
前記検索パラメータ、前記最初の地理的位置、及び前記新たな方向に基づいてコンテンツデータベースを検索するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも１つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかけるステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記特定されたコンテンツを表示マップ上に重ねるステップと、
前記特定されたコンテンツをカメラ入力上に重ねるステップと、
のうちの一方を含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記特定されたコンテンツを前記出力構成要素に提供するステップが、
前記モバイル装置の前記イメージング構成要素のさらなる方向的な動きを検出するステップと、
前記イメージング構成要素が前記特定されたコンテンツを指す方向へ動いた場合、前記特定されたコンテンツが前記イメージング構成要素の視野内に存在することを示すステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記イメージング構成要素のズーム動作を検出するステップと、
前記ズーム動作に基づいてズーム範囲を決定するステップと、
前記ズーム範囲内の代替のコンテンツ位置に関連する代替のコンテンツを、前記最初の地理的位置に関して及び前記新たな方向に関して特定するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記特定されたコンテンツが、別のモバイル装置の場所情報を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
請求項１に記載のステップを含む複数の動作を電子機器に実行させる命令を保持する、
ことを特徴とする機械可読媒体。
【請求項１２】
コンテンツを特定するためのシステムであって、
プロセッサと、
前記プロセッサと通信するイメージング構成要素と、
前記プロセッサと通信する出力構成要素と、
前記プロセッサと通信するユーザ入力インターフェイスと、
前記プロセッサと通信するとともに、データと、前記プロセッサに複数の動作を実行させる命令とを記憶するメモリと、
を備え、前記複数の動作が、
前記イメージング構成要素の最初の地理的位置を特定するステップと、
イメージング構成要素が向けられた最初の方向を特定するステップと、
前記イメージング構成要素が新たな方向に向けられる方向の変化を、前記イメージング構成要素を少なくとも部分的に使用することにより特定するステップと、
前記新たな方向に関連する、及び前記最初の地理的位置の予め定めた範囲内にあるコンテンツの位置に関連するコンテンツを特定するステップと、
前記特定されたコンテンツを前記出力構成要素に提供し、該出力構成要素が、前記最初の地理的位置から前記コンテンツの位置までの距離を示すとともに前記新たな方向に関するコンテンツの場所を示すコンテンツ場所インジケータと併せて前記コンテンツを出力するステップと、
を含むことを特徴とするシステム。
【請求項１３】
前記命令が、前記プロセッサに、
前記イメージング構成要素に複数の画像を取り込ませる動作と、
前記複数の画像の各々を解析して、前記複数の画像の各々における実質的に同じ画像パターンを特定する動作と、
前記複数の画像のうちの最初の画像の最初の画像パターンと、前記複数の画像のうちの最後の画像の最後の画像パターンとの間の変化を特定する動作と、
前記変化に基づいて前記新たな方向を特定する動作と、
をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記プロセッサと通信して前記最初の位置を特定する位置センサをさらに備える、
ことを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記プロセッサと通信するとともにネットワークと通信するネットワークインターフェイスをさらに備え、前記命令が、前記プロセッサに、
前記最初の地理的位置及び前記新たな方向を含む検索要求を前記ネットワークを介して遠隔検索システムへ送信する動作と、
前記特定されたコンテンツを含む検索結果を前記遠隔検索システムからネットワークを介して受け取る動作と、
をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１６】
前記命令が、前記プロセッサに、
前記モバイル装置に関連するユーザプロファイル情報と、
複数のユーザによる少なくとも１つのネットワークリソースとのやりとりに関する集約情報と、
の少なくとも一方に基づいて前記コンテンツをフィルタにかける動作をさらに実行させる、
ことを特徴とする請求項１２に記載のシステム。
【請求項１７】
前記命令が、前記プロセッサに、
前記特定されたコンテンツを表示マップ上に重ねる動作と、
前記特定されたコンテンツをカメラ入力上に重ねる動作と、
のうちの一方をさらに実行させることを特徴とする請求項１２に記載のシステム。
【請求項１８】
前記システムがモバイル装置を含む、
ことを特徴とする請求項１２に記載のシステム。
【請求項１９】
関心のある方向を特定する方法であって、
モバイル装置の最初の地理的位置を特定するステップと、
前記最初の地理的位置の予め定めた範囲内にあるコンテンツ位置に関連するコンテンツを特定するステップと、
前記モバイル装置が向けられた最初の方向を特定するステップと、
前記最初の地理的場所の前記予め定めた範囲内の前記最初の方向に関連するエリアの第１の部分を表示するステップと、
前記モバイル装置の前記イメージング構成要素が新たな方向に向けられる方向の変化を特定するステップと、
前記新たな方向が、前記コンテンツ位置が存在する前記エリアの第２の部分を指す場合、前記特定されたコンテンツを表示するステップと、
を含むことを特徴とする方法。
【請求項２０】
加速度計を使用して前記方向の変化を特定するステップと、
前記特定されたコンテンツを前記エリアの前記第２の部分の画像上に重ねるステップと、
のうちの少なくとも一方をさらに含むことを特徴とする請求項１９に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１１−５２７００４（Ｐ２０１１−５２７００４Ａ）
【公表日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１１−５１４６６３（Ｐ２０１１−５１４６６３）
【出願日】平成２１年５月２０日（２００９．５．２０）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４４５９２
【国際公開番号】ＷＯ２００９／１５４９２７
【国際公開日】平成２１年１２月２３日（２００９．１２．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（５０１４３８４８５）ヤフー！ インコーポレイテッド (200)
【Ｆターム（参考）】
【公表日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２１年５月２０日（２００９．５．２０）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４４５９２
【国際公開番号】ＷＯ２００９／１５４９２７
【国際公開日】平成２１年１２月２３日（２００９．１２．２３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（５０１４３８４８５）ヤフー！ インコーポレイテッド (200)
【Ｆターム（参考）】
[ Back to top ]