携帯電話端末及び情報処理システム
【課題】オブジェクトを撮影した場所に行った際に、現実空間上の適切な位置に３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示する。
【解決手段】光学レンズ及び光学レンズを通過した光を画像として取得するカメラ部と、カメラ部で取得された画像を表示する表示部とを備え、またＧＰＳ衛星から電波を受信して携帯電話位置情報を取得し、動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクト、動画像が撮影された場所を示す撮影位置情報及び動画像に係る空間情報が対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに携帯電話位置情報を送信するとともに、送信した携帯電話位置情報に一致する３次元仮想オブジェクト及び動画像に係る空間情報を情報処理サーバから受信し、動画像に係る空間情報と画像に係る空間情報との関係性を利用し、３次元仮想オブジェクトを合成して表示させる。
【解決手段】光学レンズ及び光学レンズを通過した光を画像として取得するカメラ部と、カメラ部で取得された画像を表示する表示部とを備え、またＧＰＳ衛星から電波を受信して携帯電話位置情報を取得し、動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクト、動画像が撮影された場所を示す撮影位置情報及び動画像に係る空間情報が対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに携帯電話位置情報を送信するとともに、送信した携帯電話位置情報に一致する３次元仮想オブジェクト及び動画像に係る空間情報を情報処理サーバから受信し、動画像に係る空間情報と画像に係る空間情報との関係性を利用し、３次元仮想オブジェクトを合成して表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間上に仮想のオブジェクトを重ねて表示する携帯電話端末及び情報処理システムに関する。
【背景技術】
【０００２】
現在、携帯電話端末は、高機能かつ多機能であり、ＧＰＳ（Global Positioning System）や各種センサによる位置情報等の取得やカメラによる動画像の撮影が可能となっている。
【０００３】
また、拡張現実（Augmented Reality：ＡＲ）という技術分野が近年発展している。ＡＲとは、現実の環境の一部に付加情報としてバーチャルな物体（仮想オブジェクト）を電子情報として合成提示することをさす。
【０００４】
例えば、利用者が２次元の実写動画像を撮影し、その実写動画像に重畳して動きのあるオブジェクトの３次元ＣＧ（Computer Graphics）を表示することで、利用者の目の前にそのオブジェクトがあるように描写することができる（特許文献１）。
【０００５】
また、撮影した動画から特定のオブジェクトを選択することで、その選択したオブジェクトを３次元コンピュータグラフィックス（３次元仮想オブジェクト）として描写する技術が実現されている（非特許文献１）。さらに、所定のオブジェクトを３６０度にわたって撮影した複数の画像から、３次元仮想オブジェクトを生成するサービスがｗｅｂ上で行われている。
【０００６】
また、動画像からフレームごとに特徴点を抽出してその特徴点を時間軸方向に追跡することで平面を検出することにより、当該動画像の３次元空間の形状を算出することも可能となっている（非特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−２５９６７２号公報
【非特許文献】
【０００８】
【非特許文献１】Anton van den Hengel et al., “Video Trace”, ACM Transactions on Graphics, Vol26, No.3, Article86, Publication date: July 2007.
【非特許文献２】Georg Klein et al., “Parallel Tracking and Mapping for Small AR Workspaces”, International Symposium on Mixed and Augmented Reality, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、旅先などで撮影したオブジェクトが、破壊されたり、何らかの理由で消滅したりして、他の利用者が見ることができない状態になることがよくある。このような場合、他の旅行者が撮影した動画などにより、オブジェクトを見ることは可能であるが、旅行先の場所で見るオブジェクトと、過去に撮影された動画で見るオブジェクトとでは大きな差がある。例えば非特許文献１に記載の技術によって動画から３次元仮想オブジェクトを生成したとしても、その３次元仮想オブジェクトが現実空間のどこにあるか、どの方向からどのように見えるのか、といったことはわからない。そのため、オブジェクトを撮影しても、他の人とオブジェクトを撮影した場所で共有することができない、という問題があった。
【００１０】
本発明は斯かる点に鑑みてなされたものであり、オブジェクトを撮影した場所に行った際に、現実空間上の適切な位置に３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示する携帯電話装置及び情報処理サーバを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の携帯電話端末は、光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、カメラ部で取得された画像を表示する表示部と、カメラ部で取得された画像から画像に係る空間情報を算出する制御部と、ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクト、動画像が撮影された場所を示す撮影位置情報及び動画像に係る空間情報が対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに、携帯電話位置情報を送信するとともに、送信した携帯電話位置情報に一致する撮影位置情報があった場合に情報処理サーバから送信される３次元仮想オブジェクト及び動画像に係る空間情報を受信するｗｅｂ通信部と、動画像に係る空間情報と画像に係る空間情報との関係性を利用することにより、３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に３次元仮想オブジェクトを合成して表示させる描画部と、を備えるものである。
【００１２】
上記構成によれば、現在撮影中の画像に係る空間情報を算出できる。そのため、動画像に係る空間情報と画像に係る空間情報との関係性を利用することで、３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に３次元仮想オブジェクトを合成して表示させることができる。
【発明の効果】
【００１３】
本発明の携帯電話端末及び情報処理サーバによれば、例えば過去のある時期にオブジェクトを撮影した場所を訪れた場合に、現実空間上の適切な位置に、過去に撮影された３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示することができる。このため、不特定多数の人が、オブジェクトを撮影した場所を共有できるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る情報処理システムを示す概略図である。
【図２】本発明の一実施形態に係る携帯電話端末の構成を示すブロック図である。
【図３】本発明の一実施形態に係る情報処理サーバの構成を示すブロック図である。
【図４】情報処理サーバのオブジェクト処理部を中心とするブロック図である。
【図５】オブジェクトテーブルを示す説明図である。
【図６】オブジェクト登録時の情報処理システムの動作を示すフローチャートである。
【図７】オブジェクト撮影時のユーザＡとオブジェクトとの位置関係を示す説明図である。
【図８】カメラ部の視野とオブジェクトとの位置関係を示す説明図である。
【図９】情報処理サーバのタッチパネル部に表示される３次元仮想オブジェクトッ生成画面の一例を示す説明図である。
【図１０】情報処理サーバのオブジェクト処理部を中心とするブロック図である。
【図１１】オブジェクト登録時の情報処理システムの動作を示すフローチャートである。
【図１２】ユーザＢの携帯電話端末の表示画面の遷移例を示す説明図である。
【図１３】仮想オブジェクト（広告）を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための一実施形態例（以下、「本例」ということもある。）について下記（１）〜（７）の順序に従って説明する。なお、以下に述べる実施の形態例は、本発明の好適な具体例である。そのため、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における配置関係も概略的なものである。
（１）情報処理システムの全体構成
（２）ユーザＡの携帯電話端末の構成
（３）情報処理サーバの構成
（４）オブジェクト登録処理部の構成
（５）オブジェクト登録時の情報処理システムの動作
（６）オブジェクト配信処理部の構成
（７）オブジェクト配信時の情報処理システムの動作
【００１６】
＜本発明の一実施形態例の説明＞
［１．情報処理システムの全体構成］
以下、本発明の一実施形態例を、図１〜図１３を参照して説明する。
図１は、本発明の一実施形態に係る情報処理システムの概略図である。
この情報処理システム１０１は、携帯電話端末１０３，１０８及び情報処理サーバ１０６より構成されており、これらの各要素がパケット網１０５で相互に接続されている。
【００１７】
ユーザＡ１０２は、携帯電話端末１０３を用いて、情報処理サーバ１０６に登録するための情報を提供する人物である。
携帯電話端末１０３は、後述するカメラ部で撮影された動画像及びその動画像に関する所定の位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。このとき、ユーザＡ１０２は、ＧＰＳ（Global Positioning System）衛星からユーザＡ１０２の現在位置情報であるユーザＡ位置情報（携帯電話端末１０３によって動画像が撮影された位置の情報）を取得する。このユーザＡ位置情報もパケット網１０５を介して情報処理サーバ１０６に送信される。
【００１８】
情報処理サーバ１０６は、携帯電話端末１０３から送信される様々な情報を、パケット網１０５を介して取得し、それらの情報に基づいて、携帯電話端末１０３から送信される動画像に含まれるオブジェクト（家、ビル、木、看板等）の３次元ＣＧである３次元仮想オブジェクトを生成する。携帯電話端末１０３から送信される様々な情報及び生成した３次元仮想オブジェクトは、データベースに記憶される。
【００１９】
また、情報処理サーバ１０６は、携帯電話端末１０８に対するユーザＢ１０７の操作に基づいてデータベースを検索し、ヒットした情報がある場合は適切な３次元仮想オブジェクトを、パケット網１０５を介して携帯電話端末１０８へ送信する。
【００２０】
ユーザＢ１０７は、携帯電話端末１０８を用いて、情報処理サーバ１０６から所定の情報の配信を受ける人物である。
携帯電話端末１０８は、ＧＰＳ衛星１０４からユーザＢ１０７の現在位置情報であるユーザＢ位置情報を取得し、そのユーザＢ位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。そして、送信したユーザＢ位置情報に応じた３次元仮想オブジェクトを情報処理サーバ１０６から取得する。そして、後述するカメラ部２０６のレンズを通じて表示部に表示されている風景の所定の位置に３次元仮想オブジェクトを合成表示する。
【００２１】
［２．ユーザＡ，Ｂの携帯電話端末］
図２は、携帯電話端末１０３，１０８の構成を機能的に示したブロック図である。図２は本実施形態例に用いられる機能のみを示している。したがって、通話や電子メール等の本実施形態と関係のない機能の記載は省略している。
【００２２】
携帯電話端末１０３，１０８は、ｗｅｂ通信部２０２と、記憶部２０３と、操作部２０４と、表示部２０５と、カメラ部２０６と、描画部２０７と、ＧＰＳ受信部２０８と、姿勢情報取得部２０９と、制御部２１０とを含み、これらの各構成要素はデータのやり取りができるように相互に接続されている。
【００２３】
ＧＰＳ受信部２０８は、ＧＰＳ衛星１０４から受信した電波を受信し、携帯電話端末１０３，１０８のユーザＡ位置情報またはユーザＢ位置情報（緯度、経度等、高さ）を取得する。
【００２４】
姿勢情報取得部２０９は、３軸加速度センサ、ジャイロセンサあるいは電子コンパス等を含み、携帯電話端末１０３，１０８の現在の向きを示す情報（以下、「姿勢情報」）を取得する。
【００２５】
カメラ部２０６は、光学レンズや撮像素子等からなり、起動すると、当該光学レンズを通した風景を表示部２０５に表示する。また、表示部２０５に表示されているオブジェクトの動画像を撮影し、その動画像を動画像データとして記憶部２０３に記憶する。なお、カメラ部２０６は、オートフォーカス機能を実現するために、当該オブジェクトと光学レンズとの間の距離（オブジェクトレンズ間距離）を算出している。
【００２６】
制御部２１０は、携帯電話端末装置の各構成要素の制御等を含む各種の演算処理を行う。
例えば、ユーザＡ１０２の携帯電話端末１０８においては、カメラ部２０６でのオブジェクト撮影時において、取得中のオブジェクト動画のフレーム毎に特徴点の抽出を行う。ここで、特徴点とは、オブジェクト動画像を構成する各フレームにおける特徴的な座標を意味しており、１フレームの中に複数存在する。一例を挙げると、各フレームにおける角や穴の位置又は面の中心等のある座標が特徴点とされる。なお、オブジェクト動画の各フレームで抽出されたすべての特徴点を、以下では環境特徴点情報という。また、制御部２１０は、算出した環境特徴点情報、ＧＰＳ受信部２０８で取得されたユーザＡ位置情報、姿勢情報部で取得された姿勢情報及びカメラ部２０６で算出されたオブジェクトレンズ間距離に基づいて、特定の特徴点の絶対位置座標（以下、「特徴点絶対位置座標」という）を算出する。ただし、特徴点絶対位置座標の詳細については図７，８にて詳述する。また、ユーザＢ１０７の携帯電話端末１０８の制御部２１０における演算処理については、図１１にて後述する。
【００２７】
記憶部２０３は、図示されないＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭには、制御部２１０が各部を制御するための制御プログラムや各種の初期設定値等を行うためのアプリケーション用のプログラムコード、動画像データに対して様々な処理を行うためのアプリケーション用プログラムコード、その他、携帯電話端末１０３，１０８に搭載される各種のアプリケーション用のプログラムコードなどが記憶されている。
【００２８】
ｗｅｂ通信部２０２は、パケット網１０５を介して情報処理サーバ１０６とデータのやり取りを行う。
【００２９】
表示部２０５は、オブジェクト動画像データやカメラ部２０６の光学レンズを通じた風景を表示する液晶ディスプレイである。また、操作部２０４は、携帯電話端末１０３，１０８の図示しない筐体上に設けられているテンキーやジョグダイアルと、それらの操作に応じた操作信号を発生する操作信号発生部等を有している。
【００３０】
また、描画部２０７は、パケット網１０５上の情報処理サーバ１０６からパケット網１０５を介して送信される３次元仮想オブジェクト及びその他の情報に基づいて、表示部２０５に表示されているカメラ部２０６から入力される映像の上の所定の位置に３次元仮想オブジェクトを合成表示する。なお、この描画部２０７は、携帯電話端末１０８のみが必要とする構成要素であるが、携帯電話端末１０３が描画部２０７を備えていてもよいことは言うまでもない。
【００３１】
［３．情報処理サーバの構成］
次に、情報処理サーバ１０６の構成について図３を参照して説明する。
図３は、情報処理サーバ１０６の構成を機能的に示したブロック図である。
情報処理サーバ１０６は、大まかには、オブジェクト登録処理部３０２、オブジェクト配信処理部３０３及び不揮発性データ記憶部３０４よりなる。
【００３２】
オブジェクト登録処理部３０２は、ユーザＡ１０２の携帯電話端末１０３から送信される各情報に基づいて３次元仮想オブジェクトを生成し、生成した３次元仮想オブジェクトを不揮発性データ記憶部３０４に記録する。なお、オブジェクト登録処理部３０２の内部構成については図４にて後述する。
【００３３】
オブジェクト配信処理部３０３は、ユーザＢ１０７の携帯電話端末１０８から送信されるユーザＢ位置情報に応じた３次元仮想オブジェクトを不揮発性データ記憶部３０４から検索し、ヒットした３次元仮想オブジェクトを携帯電話端末１０８に送信する。なお、オブジェクト配信処理部３０３の内部構成については図１０にて後述する。
【００３４】
［４．オブジェクト登録処理部］
次に、図４に基づいて、オブジェクト登録処理部３０２について説明する。
図４は、オブジェクト登録処理部３０２及び不揮発性データ記憶部３０４の構成を機能として示した機能ブロック図である。
【００３５】
オブジェクト登録処理部３０２は、通信部４０２と、データ取得部４０３と、オブジェクト生成部４０４とよりなる。
通信部４０２は、ユーザＡ１０２の携帯電話端末１０３とパケット網１０５を介して情報のやり取りを行うものであり、携帯電話端末１０３から送信されるユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を受信し、受信したこれらの情報をデータ取得部４０３へ出力する。
【００３６】
データ取得部４０３は、通信部４０２から入力されたユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、不揮発性データ記憶部３０４に用意されたオブジェクトテーブル４０５の所定の領域に格納するとともに、オブジェクト動画像データ及び環境特徴点情報をオブジェクト生成部４０４へ出力する。なお、オブジェクトテーブル４０５の詳細については、図５にて後述する。
【００３７】
オブジェクト生成部４０４は、動画像が表示されているタッチパネル部４０６に対するユーザの操作に基づいて、ユーザが指示した領域内に含まれる特徴点を環境特徴点情報の中から抽出する。そして、抽出した特徴点に基づいて、当該指定した領域のオブジェクトの３次元仮想オブジェクトをオブジェクト動画像データから生成する（非特許文献１を参照）。こうして生成された３次元仮想オブジェクトは、オブジェクトテーブル４０５の所定の領域に記憶される。なお、３次元仮想オブジェクトの具体的な生成例については図９に基づいて後述される。
【００３８】
次に、オブジェクトテーブル４０５について図５を参照して説明する。
図５は、オブジェクトテーブル４０５の一例を示す図である。
オブジェクトテーブルは、「位置情報」フィールドと、「撮影日」フィールドと、「オブジェクト種類」フィールドと、「オブジェクト動画」フィールドと、「環境特徴点情報」フィールドと、「特徴点絶対位置座標」フィールドと、「３次元仮想オブジェクトデータ」フィールドとよりなる。
【００３９】
「位置情報」フィールドには、オブジェクト動画を撮影した際にユーザＡ１０２がいた位置の緯度・経度・高さを示すユーザＡ位置情報が格納される。
また、「撮影日」フィールドには、オブジェクト動画を撮影した日を示す情報である撮影日情報が格納される。
また、「オブジェクト種類」フィールドには、オブジェクト動画のオブジェクトの種類を示す情報であるオブジェクト種類情報が格納される。
また、「オブジェクト動画データ」フィールドには、ユーザＡ１０２が携帯電話端末１０３で撮影したオブジェクト動画データが格納される。
【００４０】
また、「環境特徴点情報」フィールドには、動画像の環境特徴点情報が格納される。具体的には、「環境特徴点情報」フィールドは、オブジェクト動画像の各フレーム毎の特徴点の情報を保存するために、例えば、所定のフレームの特徴点(ｘ１，ｙ１)，(ｘ２，ｙ２)，(ｘ３，ｙ３)，…(ｘｎ，ｙｎ)という座標情報を、フレーム毎に保存している。つまり、オブジェクト動画像のフレームの個数がｋ個あり、各フレーム内に特徴点が平均ｎ個あるとすれば、特徴点の座標情報の数は、ｋ×ｎ個となる。このようなｋ×ｎ個の特徴点が環境特徴点情報である。
【００４１】
また、「特徴点絶対位置座標」フィールドには、動画像の特徴点絶対位置座標が格納される。特徴点絶対位置座標は、（対象特徴点を持つフレーム、そのフレーム内における対象特徴点の位置情報（ｘ，ｙ）、その対象特徴点の絶対位置座標（緯度、経度、高度））といった情報で構成される情報である。例えば、図５に示すオブジェクトテーブル４０５の「オブジェクト種類」フィールドが建物のレコードである「（15，76，34，35.376000，139.45，0.5）」は、１５枚目のフレーム上の座標（ｘ，ｙ）＝（76，34）の特徴点の位置を示す絶対位置座標（緯度、経度、高度）が、（35.376000，139.45，0.5）となることを意味している。
【００４２】
［５．オブジェクト登録時の情報処理システムの動作］
次に、オブジェクト登録時の情報処理システム１０１の動作について図６を参照して説明する。
図６は、オブジェクト登録時の情報処理システム１０１の動作を示すフローチャートである。
【００４３】
まず、携帯電話端末１０３を持ったユーザＡ１０２が撮影場所に到着する（ステップＳ１）。そして、ユーザＡ１０２の操作部２０４に対する指示に基づいて、ＧＰＳ受信部２０８では、ＧＰＳ衛星１０４から電波が受信され、ユーザＡ１０２のユーザＡ位置情報（緯度・経度・高さ）が取得され（ステップＳ２）、このユーザＡ位置情報が記憶部２０３に記憶される。
【００４４】
そして、ユーザＡ１０２により撮影が開始されると、カメラ部２０６では、ユーザＡ１０２の操作部２０４に対する操作に基づいて、オブジェクト動画像データが取得され（ステップＳ３）、制御部２１０に出力される。このとき、カメラ部２０６では、オブジェクトにピントをあわせるために利用されるオブジェクトレンズ間距離も算出され、制御部２１０に出力されている。
【００４５】
制御部２１０では、カメラ部２０６から入力されたオブジェクト動画像データから前述の環境特徴点情報が算出される。そして、算出された環境特徴点情報及びオブジェクト動画像データは、記憶部２０３に記憶される。
【００４６】
一方、姿勢情報取得部２０９では、ステップＳ３の処理時の携帯電話端末１０３の姿勢情報が取得され、制御部２１０に出力される。そして、制御部２１０では、カメラ部２０６から入力されるオブジェクトレンズ間距離、記憶部２０３から読み出す環境特徴点情報及び姿勢情報取得部２０９から入力される姿勢情報に基づいて、特徴点絶対位置座標が算出され、記憶部２０３に記憶される。なお、特徴点絶対位置座標の詳細な算出方法については、図７，８を参照して説明する。
【００４７】
以上の処理が完了した後、制御部２１０は、ユーザＡ位置情報、ステップＳ３の処理時に不図示の時計により取得され記憶部２０３に記憶された撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、記憶部２０３から読み出し、ｗｅｂ通信部２０２に出力する。そして、ｗｅｂ通信部２０２は、ユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、パケット網１０５を介して情報処理サーバ１０６に送信する（ステップＳ５）。
【００４８】
このｗｅｂ通信部２０２から送信されるユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標は、情報処理サーバ１０６のオブジェクト登録処理部３０２の通信部４０２で受信され、データ取得部４０３に出力される。
【００４９】
そして、データ取得部４０３は、ユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、オブジェクトテーブル４０５の「位置情報」フィールド、「撮影日情報」フィールド、「オブジェクト種類情報」フィールド、「オブジェクト動画データ」フィールド、「環境特徴点情報」フィールド及び「特徴点絶対位置座標」フィールドにそれぞれ格納する（ステップＳ７）。そして、データ取得部４０３から、オブジェクト動画像データ及び環境特徴点情報がオブジェクト生成部４０４に出力される。
【００５０】
オブジェクト生成部４０４は、操作部２０４に対するユーザの操作に基づいて、環境特徴点情報の中からユーザが指示した領域内に含まれる特徴点のみを抽出する。そして、この抽出した特徴点に基づいて、当該指定した領域のオブジェクトの３次元仮想オブジェクトがオブジェクト動画像データから生成される（ステップＳ８）。このようにして生成された３次元仮想オブジェクトは、オブジェクトテーブル４０５の「３次元仮想オブジェクト」フィールドに格納され、処理が終了する。
【００５１】
次に、制御部２１０で行われる特徴点絶対位置座標に含まれる絶対位置座標の各パラメータ（図５を参照）の算出処理について図７，８を参照して説明する。
図７（Ａ）は、ユーザＡ１０２とオブジェクトとの位置関係を示す斜視図である。
図７（Ｂ）は、図７（Ａ）に示す空間の位置Ｉ及び位置Ｏを通る断面図である。
位置Ｉは、ユーザＡ１０２の視点、すなわち携帯電話端末１０３のカメラ部２０６を構成する光学レンズの位置である。位置Ｏは、ユーザＡ１０２の視点から見ることが可能なオブジェクト７０２の任意の一点、本例では環境特徴点情報の中の任意の一つの特徴点とする。角度θは、光学レンズの地面に対する傾き角度であり、姿勢情報取得部２０９で取得される姿勢情報に含まれる情報である。高度Ｈは、地面と光学レンズ間の距離であり、ＧＰＳ受信部２０８によってＧＰＳ衛星１０４から取得されるユーザＡ位置情報に含まれる情報である。距離Ｄは、前述のオブジェクトレンズ間距離であり、カメラ部２０６によって算出される情報である。
【００５２】
これらのパラメータを用いてオブジェクト７０２の位置Ｏの高さｈを求める式を以下に示す。
ｈ＝Ｈ−Ｄｃｏｓθ
【００５３】
図８は、カメラ部２０６の視野とオブジェクト７０２との位置関係を示す説明図である。
カメラ視野は、ユーザＡ１０２の携帯電話端末１０３のカメラ部２０６で撮影可能な範囲である。カメラ視野におけるＲは、携帯電話端末１０３のカメラ部２０６の光学レンズの位置Ｉから撮影できる限界までの距離を示す。角度φは、位置Ｉと位置Ｏを結んだ直線と、北の方向軸８０３とがなす角度であり、姿勢情報取得部２０９で取得される姿勢情報に含まれる情報である。
【００５４】
位置Ｉの位置を（ｘ：緯度，ｙ：経度）とし、位置Ｏの位置を（ｘ１：緯度，ｙ１：経度）とすると、位置Ｉと位置Ｏの位置関係は以下に示す式のとおりとなる。なお、位置Ｉにおける緯度ｘ及び経度ｙは、ＧＰＳ受信部２０８によってＧＰＳ衛星１０４から取得されるユーザＡ位置情報に含まれる情報である。
ｘ１＝ｘ−Ｄｓｉｎθｓｉｎφ
ｙ１＝ｙ＋Ｄｓｉｎθｃｏｓφ
【００５５】
以上に示した３つの式を用いることにより、制御部２１０は、オブジェクト７０２の任意の点の絶対位置座標（ｘ１：緯度、ｙ１：経度、ｈ：高さ）を算出している。
【００５６】
次に、情報処理サーバ１０６のオブジェクト生成部４０４で行われる３次元仮想オブジェクト生成処理（図６のステップＳ８の処理）について図９を参照して説明する。
図９は、オブジェクト生成部４０４での３次元仮想オブジェクト生成処理時にタッチパネル部４０６に表示される表示画面の一例を示す説明図である。なお、本例では、オブジェクト生成部４０４で生成したい３次元仮想オブジェクトが建物９０２である場合を例とする。
【００５７】
図９（Ａ）は、３次元仮想オブジェクトの元になる動画像の再生画面を示す図である。
まず、情報サーバ側のユーザは、図９（Ｂ）に示すように、タッチパネル部４０６に対して指やペン等で建物９０２の輪郭に線９０３，９０４を引く。すると、オブジェクト生成部４０４では、環境特徴点情報の中から線９０３，９０４に囲まれた領域の特徴点がそれぞれ抽出される。そして、線９０３に含まれる特徴点に基づいてパーツ９０５の仮想平面が生成され、線９０４に含まれる特徴点に基づいてパーツ９０６の仮想平面が生成される。
【００５８】
さらに、この操作が建物９０２の３６０度すべての方向に対して行われ、建物９０２の３６０度すべての方向の平面が生成される。そして、生成されたすべての平面及びこれらの平面を生成するのに用いた各特徴点間の関係性を利用することにより、３次元仮想オブジェクトが生成される。
【００５９】
［６．オブジェクト配信処理部の構成］
次に、オブジェクト配信処理部３０３の構成について図１０を参照して説明する。
図１０は、オブジェクト配信処理部３０３及び不揮発性データ記憶部３０４の機能的な構成を示すブロック図である。
【００６０】
オブジェクト配信処理部３０３は、通信部１００２とオブジェクト検索部１００３よりなる。
通信部１００２は、ユーザＢ１０７の携帯電話端末１０８とパケット網１０５を介して情報のやり取りを行うものであり、携帯電話端末１０８から送信されるユーザＢ位置情報を受信し、受信したユーザＢ位置情報をオブジェクト検索部１００３に出力する。なお、オブジェクト配信処理部３０３の通信部１００２は、オブジェクト登録処理部３０２の通信部４０２と共通であってもよい。
【００６１】
オブジェクト検索部１００３は、通信部１００２から入力されるユーザＢ位置情報で、オブジェクトテーブル４０５の「位置情報」フィールドを検索し、該当するレコードの「環境特徴点情報」、「特徴点絶対値座標」及び「３次元仮想オブジェクト」の各フィールドに格納された情報を取得する。取得した情報は、通信部１００２を介してパケット網１０５上の携帯電話端末１０８に送信される。
【００６２】
［７．オブジェクト配信時の情報処理システムの動作］
次に、情報処理システム１０１のオブジェクト配信時の動作について図１１を参照して説明する。
図１１は、オブジェクト登録時の情報処理システム１０１の動作を示すフローチャートである。
【００６３】
まず、携帯電話端末１０８を持ったユーザＢ１０７が閲覧場所に到着し（ステップＳ１０）、カメラ部２０６を起動させる。すると、表示部２０５には、カメラ部２０６より取得されたカメラ視野８０２に含まれる風景が、図１２（Ａ）の表示画面１２０２のように示されるように表示される。
【００６４】
ここで、ユーザＢ１０７の操作部２０４に対する指示に基づいて、ＧＰＳ受信部２０８では、ＧＰＳ衛星１０４から電波が受信され、ユーザＢ１０７のユーザＢ位置情報（緯度・経度・高さ）が取得される（ステップＳ１１）。取得されたユーザＢ位置情報は、ｗｅｂ通信部２０２に出力される。
【００６５】
ｗｅｂ通信部２０２は、入力されたユーザＢ位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。そして、情報処理サーバ１０６のオブジェクト配信処理部３０３を構成する通信部１００２において、携帯電話端末１０８のｗｅｂ通信部２０２から送信されたユーザＢ位置情報が受信され（ステップＳ１２）、オブジェクト検索部１００３に出力される。
【００６６】
オブジェクト検索部１００３は、オブジェクトテーブル４０５の「位置情報」フィールド（図５を参照）を、入力されたユーザＢ位置情報で検索する（ステップＳ１３）。そして、該当するレコードがないと判定された場合は（ステップＳ１３のＮＯ）、処理を終了する。ステップＳ１３で、該当するレコードがあると判定された場合は（ステップＳ１３のＹＥＳ）、オブジェクト検索部１００３は、該当するレコードの「環境特徴点情報」フィールド、「特徴点絶対位置座標」フィールド及び「３次元仮想オブジェクト」フィールドに格納されている環境特徴点情報、特徴点絶対位置座標及び３次元仮想オブジェクトを取得する（ステップＳ１４）。そして、オブジェクト検索部１００３で取得された環境特徴点情報、特徴点絶対位置座標及び３次元仮想オブジェクトは、通信部１００２を介して携帯電話端末１０８のｗｅｂ通信部２０２に送信される。
【００６７】
ここで、制御部２１０は、３次元仮想オブジェクトの位置とカメラ視野８０２を比較する（ステップＳ１５）。つまり、現在、カメラ部２０６が取得している動画像の特徴点を抽出し、この抽出した特徴点と情報処理サーバ１０６から送信された環境特徴点情報とを比較する。
【００６８】
そして、カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在するか否か、つまり環境特徴点情報の中に抽出された特徴点と一致するものがあるか否かが確認される（ステップＳ１６）。
【００６９】
このステップＳ１６において、カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在しないと判定された場合、すなわち環境特徴点情報の中に抽出された特徴点と一致するものが存在しない場合には（ステップＳ１６のＮＯ）、ステップＳ１５の処理に戻る。
【００７０】
カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在すると判定された場合、すなわち環境特徴点情報の中に抽出された特徴点と一致するものが存在する場合には、抽出された特徴点、ユーザＢ位置情報及び特徴点絶対位置座標に基づいて、現在、表示部２０５に表示されている表示画面１２０２に合成する３次元仮想オブジェクトの大きさ、方向及び位置が、描画部２０７で決定される。そして、図１２（Ｂ）に示すように、表示部２０５に３次元仮想オブジェクト１２０３が合成表示され（ステップＳ１７）、処理が終了する。
【００７１】
次に、ステップＳ１７の処理である、３次元仮想オブジェクトの大きさ、方向及び位置を決定する処理についてより詳細に説明を行う。
まず、大きさを決定する処理について説明する。
ユーザＢ位置情報（緯度・経度・高さ）と特徴点絶対位置座標に含まれる絶対位置座標（緯度・経度・高さ）を利用して、ユーザＢと３次元仮想オブジェクトの間の現実世界での距離が算出される。そして、その距離に応じて３次元仮想オブジェクトの大きさが決定される。
【００７２】
次に、方向を決定する処理について説明する。
情報処理サーバから取得した環境特徴点情報（ダウンロードした環境特徴点情報）と、カメラが現在撮影している画像（図１２（Ａ）を参照）の環境特徴点情報を比較する。現在の画像にはオブジェクトは存在していないが、地面などの特徴点は取得できる。ダウンロードした環境特徴点情報は、オブジェクトの特徴点以外に地面などの特徴点も含んでいるので、それらを比較し、一致するフレームを算出する。算出したフレームによって、当該フレームにおいてオブジェクトがどのように表示されているのかを判別することができる。これにより、３次元仮想オブジェクトを表示部２０５上に配置する際の方向が決定される。なお、３次元仮想オブジェクトが配置される表示部２０５上の位置は、特徴点絶対位置座標に含まれる対象特徴点の位置情報に該当する。
【００７３】
以上説明したように、本実施形態によれば、ユーザＢがユーザＡにより動画像が撮影された場所に行った際に、現実空間が表示されている表示部の適切な位置に３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示することができる。これにより、不特定多数の人が、オブジェクトを撮影した場所を共有できるという効果がある。
【００７４】
なお、上述した実施形態では、生成する３次元仮想オブジェクトが建物である例を示したが、例えば図１３に示すように広告の３次元仮想オブジェクトを生成し、表示画面に合成表示することも可能である。なお、３次元オブジェクトは、建物や看板に限られるものではなく、例えば家具、家電及び車等でもよい。
【００７５】
また、上述した実施形態では、情報処理サーバのオブジェクトテーブルに格納されているすべての３次元仮想オブジェクトの中から、ユーザＢの携帯電話端末１０８に送信する３次元仮想オブジェクトを決定していた。しかしながら、オブジェクトテーブルに格納されている３次元仮想オブジェクトを撮影日情報及び／またはオブジェクト種類情報で絞り込んだ後に、携帯電話端末１０８に送信するようにしてもよい。これは、携帯電話端末１０８から情報処理サーバへユーザＢ位置情報を送信する際に、撮影日情報及び／またはオブジェクト種類情報も送信しておき、撮影日情報及び／またはオブジェクト種類情報でオブジェクトテーブルのレコードを絞り込むことによって実現できる。
【００７６】
また、上述した実施形態では、情報処理サーバにおいてオブジェクトテーブルに格納されている３次元仮想オブジェクトは、ユーザのタッチパネル部に対する操作に基づいて、動画像データから３次元仮想オブジェクトを生成されるものである。しかし、３間オブジェクトは、動画像データの画像解析により、動画像データから自動的に生成されるようにしてもよい。
【００７７】
以上、本発明の実施形態の例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。
【符号の説明】
【００７８】
１０１…情報処理システム、１０２…ユーザＡ、１０３…携帯電話端末、１０４…ＧＰＳ衛星、１０５…パケット網、１０６…情報処理サーバ、１０７…ユーザＢ、１０８…携帯電話端末、２０２…ｗｅｂ通信部、２０３…記憶部、２０４…操作部、２０５…表示部、２０６…カメラ部、２０７…描画部、２０８…ＧＰＳ受信部、２０９…姿勢情報取得部、２１０…制御部、３０２…オブジェクト登録処理部、３０３…オブジェクト配信処理部、３０４…不揮発性データ記憶部、４０２…通信部、４０３…データ取得部、４０４…オブジェクト生成部、４０５…オブジェクトテーブル、７０２…オブジェクト、８０２…カメラ視野、８０３…北の方向軸、１００２…通信部、１００３…オブジェクト検索部
【技術分野】
【０００１】
本発明は、現実空間上に仮想のオブジェクトを重ねて表示する携帯電話端末及び情報処理システムに関する。
【背景技術】
【０００２】
現在、携帯電話端末は、高機能かつ多機能であり、ＧＰＳ（Global Positioning System）や各種センサによる位置情報等の取得やカメラによる動画像の撮影が可能となっている。
【０００３】
また、拡張現実（Augmented Reality：ＡＲ）という技術分野が近年発展している。ＡＲとは、現実の環境の一部に付加情報としてバーチャルな物体（仮想オブジェクト）を電子情報として合成提示することをさす。
【０００４】
例えば、利用者が２次元の実写動画像を撮影し、その実写動画像に重畳して動きのあるオブジェクトの３次元ＣＧ（Computer Graphics）を表示することで、利用者の目の前にそのオブジェクトがあるように描写することができる（特許文献１）。
【０００５】
また、撮影した動画から特定のオブジェクトを選択することで、その選択したオブジェクトを３次元コンピュータグラフィックス（３次元仮想オブジェクト）として描写する技術が実現されている（非特許文献１）。さらに、所定のオブジェクトを３６０度にわたって撮影した複数の画像から、３次元仮想オブジェクトを生成するサービスがｗｅｂ上で行われている。
【０００６】
また、動画像からフレームごとに特徴点を抽出してその特徴点を時間軸方向に追跡することで平面を検出することにより、当該動画像の３次元空間の形状を算出することも可能となっている（非特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−２５９６７２号公報
【非特許文献】
【０００８】
【非特許文献１】Anton van den Hengel et al., “Video Trace”, ACM Transactions on Graphics, Vol26, No.3, Article86, Publication date: July 2007.
【非特許文献２】Georg Klein et al., “Parallel Tracking and Mapping for Small AR Workspaces”, International Symposium on Mixed and Augmented Reality, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、旅先などで撮影したオブジェクトが、破壊されたり、何らかの理由で消滅したりして、他の利用者が見ることができない状態になることがよくある。このような場合、他の旅行者が撮影した動画などにより、オブジェクトを見ることは可能であるが、旅行先の場所で見るオブジェクトと、過去に撮影された動画で見るオブジェクトとでは大きな差がある。例えば非特許文献１に記載の技術によって動画から３次元仮想オブジェクトを生成したとしても、その３次元仮想オブジェクトが現実空間のどこにあるか、どの方向からどのように見えるのか、といったことはわからない。そのため、オブジェクトを撮影しても、他の人とオブジェクトを撮影した場所で共有することができない、という問題があった。
【００１０】
本発明は斯かる点に鑑みてなされたものであり、オブジェクトを撮影した場所に行った際に、現実空間上の適切な位置に３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示する携帯電話装置及び情報処理サーバを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の携帯電話端末は、光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、カメラ部で取得された画像を表示する表示部と、カメラ部で取得された画像から画像に係る空間情報を算出する制御部と、ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクト、動画像が撮影された場所を示す撮影位置情報及び動画像に係る空間情報が対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに、携帯電話位置情報を送信するとともに、送信した携帯電話位置情報に一致する撮影位置情報があった場合に情報処理サーバから送信される３次元仮想オブジェクト及び動画像に係る空間情報を受信するｗｅｂ通信部と、動画像に係る空間情報と画像に係る空間情報との関係性を利用することにより、３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に３次元仮想オブジェクトを合成して表示させる描画部と、を備えるものである。
【００１２】
上記構成によれば、現在撮影中の画像に係る空間情報を算出できる。そのため、動画像に係る空間情報と画像に係る空間情報との関係性を利用することで、３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に３次元仮想オブジェクトを合成して表示させることができる。
【発明の効果】
【００１３】
本発明の携帯電話端末及び情報処理サーバによれば、例えば過去のある時期にオブジェクトを撮影した場所を訪れた場合に、現実空間上の適切な位置に、過去に撮影された３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示することができる。このため、不特定多数の人が、オブジェクトを撮影した場所を共有できるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る情報処理システムを示す概略図である。
【図２】本発明の一実施形態に係る携帯電話端末の構成を示すブロック図である。
【図３】本発明の一実施形態に係る情報処理サーバの構成を示すブロック図である。
【図４】情報処理サーバのオブジェクト処理部を中心とするブロック図である。
【図５】オブジェクトテーブルを示す説明図である。
【図６】オブジェクト登録時の情報処理システムの動作を示すフローチャートである。
【図７】オブジェクト撮影時のユーザＡとオブジェクトとの位置関係を示す説明図である。
【図８】カメラ部の視野とオブジェクトとの位置関係を示す説明図である。
【図９】情報処理サーバのタッチパネル部に表示される３次元仮想オブジェクトッ生成画面の一例を示す説明図である。
【図１０】情報処理サーバのオブジェクト処理部を中心とするブロック図である。
【図１１】オブジェクト登録時の情報処理システムの動作を示すフローチャートである。
【図１２】ユーザＢの携帯電話端末の表示画面の遷移例を示す説明図である。
【図１３】仮想オブジェクト（広告）を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための一実施形態例（以下、「本例」ということもある。）について下記（１）〜（７）の順序に従って説明する。なお、以下に述べる実施の形態例は、本発明の好適な具体例である。そのため、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における配置関係も概略的なものである。
（１）情報処理システムの全体構成
（２）ユーザＡの携帯電話端末の構成
（３）情報処理サーバの構成
（４）オブジェクト登録処理部の構成
（５）オブジェクト登録時の情報処理システムの動作
（６）オブジェクト配信処理部の構成
（７）オブジェクト配信時の情報処理システムの動作
【００１６】
＜本発明の一実施形態例の説明＞
［１．情報処理システムの全体構成］
以下、本発明の一実施形態例を、図１〜図１３を参照して説明する。
図１は、本発明の一実施形態に係る情報処理システムの概略図である。
この情報処理システム１０１は、携帯電話端末１０３，１０８及び情報処理サーバ１０６より構成されており、これらの各要素がパケット網１０５で相互に接続されている。
【００１７】
ユーザＡ１０２は、携帯電話端末１０３を用いて、情報処理サーバ１０６に登録するための情報を提供する人物である。
携帯電話端末１０３は、後述するカメラ部で撮影された動画像及びその動画像に関する所定の位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。このとき、ユーザＡ１０２は、ＧＰＳ（Global Positioning System）衛星からユーザＡ１０２の現在位置情報であるユーザＡ位置情報（携帯電話端末１０３によって動画像が撮影された位置の情報）を取得する。このユーザＡ位置情報もパケット網１０５を介して情報処理サーバ１０６に送信される。
【００１８】
情報処理サーバ１０６は、携帯電話端末１０３から送信される様々な情報を、パケット網１０５を介して取得し、それらの情報に基づいて、携帯電話端末１０３から送信される動画像に含まれるオブジェクト（家、ビル、木、看板等）の３次元ＣＧである３次元仮想オブジェクトを生成する。携帯電話端末１０３から送信される様々な情報及び生成した３次元仮想オブジェクトは、データベースに記憶される。
【００１９】
また、情報処理サーバ１０６は、携帯電話端末１０８に対するユーザＢ１０７の操作に基づいてデータベースを検索し、ヒットした情報がある場合は適切な３次元仮想オブジェクトを、パケット網１０５を介して携帯電話端末１０８へ送信する。
【００２０】
ユーザＢ１０７は、携帯電話端末１０８を用いて、情報処理サーバ１０６から所定の情報の配信を受ける人物である。
携帯電話端末１０８は、ＧＰＳ衛星１０４からユーザＢ１０７の現在位置情報であるユーザＢ位置情報を取得し、そのユーザＢ位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。そして、送信したユーザＢ位置情報に応じた３次元仮想オブジェクトを情報処理サーバ１０６から取得する。そして、後述するカメラ部２０６のレンズを通じて表示部に表示されている風景の所定の位置に３次元仮想オブジェクトを合成表示する。
【００２１】
［２．ユーザＡ，Ｂの携帯電話端末］
図２は、携帯電話端末１０３，１０８の構成を機能的に示したブロック図である。図２は本実施形態例に用いられる機能のみを示している。したがって、通話や電子メール等の本実施形態と関係のない機能の記載は省略している。
【００２２】
携帯電話端末１０３，１０８は、ｗｅｂ通信部２０２と、記憶部２０３と、操作部２０４と、表示部２０５と、カメラ部２０６と、描画部２０７と、ＧＰＳ受信部２０８と、姿勢情報取得部２０９と、制御部２１０とを含み、これらの各構成要素はデータのやり取りができるように相互に接続されている。
【００２３】
ＧＰＳ受信部２０８は、ＧＰＳ衛星１０４から受信した電波を受信し、携帯電話端末１０３，１０８のユーザＡ位置情報またはユーザＢ位置情報（緯度、経度等、高さ）を取得する。
【００２４】
姿勢情報取得部２０９は、３軸加速度センサ、ジャイロセンサあるいは電子コンパス等を含み、携帯電話端末１０３，１０８の現在の向きを示す情報（以下、「姿勢情報」）を取得する。
【００２５】
カメラ部２０６は、光学レンズや撮像素子等からなり、起動すると、当該光学レンズを通した風景を表示部２０５に表示する。また、表示部２０５に表示されているオブジェクトの動画像を撮影し、その動画像を動画像データとして記憶部２０３に記憶する。なお、カメラ部２０６は、オートフォーカス機能を実現するために、当該オブジェクトと光学レンズとの間の距離（オブジェクトレンズ間距離）を算出している。
【００２６】
制御部２１０は、携帯電話端末装置の各構成要素の制御等を含む各種の演算処理を行う。
例えば、ユーザＡ１０２の携帯電話端末１０８においては、カメラ部２０６でのオブジェクト撮影時において、取得中のオブジェクト動画のフレーム毎に特徴点の抽出を行う。ここで、特徴点とは、オブジェクト動画像を構成する各フレームにおける特徴的な座標を意味しており、１フレームの中に複数存在する。一例を挙げると、各フレームにおける角や穴の位置又は面の中心等のある座標が特徴点とされる。なお、オブジェクト動画の各フレームで抽出されたすべての特徴点を、以下では環境特徴点情報という。また、制御部２１０は、算出した環境特徴点情報、ＧＰＳ受信部２０８で取得されたユーザＡ位置情報、姿勢情報部で取得された姿勢情報及びカメラ部２０６で算出されたオブジェクトレンズ間距離に基づいて、特定の特徴点の絶対位置座標（以下、「特徴点絶対位置座標」という）を算出する。ただし、特徴点絶対位置座標の詳細については図７，８にて詳述する。また、ユーザＢ１０７の携帯電話端末１０８の制御部２１０における演算処理については、図１１にて後述する。
【００２７】
記憶部２０３は、図示されないＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭには、制御部２１０が各部を制御するための制御プログラムや各種の初期設定値等を行うためのアプリケーション用のプログラムコード、動画像データに対して様々な処理を行うためのアプリケーション用プログラムコード、その他、携帯電話端末１０３，１０８に搭載される各種のアプリケーション用のプログラムコードなどが記憶されている。
【００２８】
ｗｅｂ通信部２０２は、パケット網１０５を介して情報処理サーバ１０６とデータのやり取りを行う。
【００２９】
表示部２０５は、オブジェクト動画像データやカメラ部２０６の光学レンズを通じた風景を表示する液晶ディスプレイである。また、操作部２０４は、携帯電話端末１０３，１０８の図示しない筐体上に設けられているテンキーやジョグダイアルと、それらの操作に応じた操作信号を発生する操作信号発生部等を有している。
【００３０】
また、描画部２０７は、パケット網１０５上の情報処理サーバ１０６からパケット網１０５を介して送信される３次元仮想オブジェクト及びその他の情報に基づいて、表示部２０５に表示されているカメラ部２０６から入力される映像の上の所定の位置に３次元仮想オブジェクトを合成表示する。なお、この描画部２０７は、携帯電話端末１０８のみが必要とする構成要素であるが、携帯電話端末１０３が描画部２０７を備えていてもよいことは言うまでもない。
【００３１】
［３．情報処理サーバの構成］
次に、情報処理サーバ１０６の構成について図３を参照して説明する。
図３は、情報処理サーバ１０６の構成を機能的に示したブロック図である。
情報処理サーバ１０６は、大まかには、オブジェクト登録処理部３０２、オブジェクト配信処理部３０３及び不揮発性データ記憶部３０４よりなる。
【００３２】
オブジェクト登録処理部３０２は、ユーザＡ１０２の携帯電話端末１０３から送信される各情報に基づいて３次元仮想オブジェクトを生成し、生成した３次元仮想オブジェクトを不揮発性データ記憶部３０４に記録する。なお、オブジェクト登録処理部３０２の内部構成については図４にて後述する。
【００３３】
オブジェクト配信処理部３０３は、ユーザＢ１０７の携帯電話端末１０８から送信されるユーザＢ位置情報に応じた３次元仮想オブジェクトを不揮発性データ記憶部３０４から検索し、ヒットした３次元仮想オブジェクトを携帯電話端末１０８に送信する。なお、オブジェクト配信処理部３０３の内部構成については図１０にて後述する。
【００３４】
［４．オブジェクト登録処理部］
次に、図４に基づいて、オブジェクト登録処理部３０２について説明する。
図４は、オブジェクト登録処理部３０２及び不揮発性データ記憶部３０４の構成を機能として示した機能ブロック図である。
【００３５】
オブジェクト登録処理部３０２は、通信部４０２と、データ取得部４０３と、オブジェクト生成部４０４とよりなる。
通信部４０２は、ユーザＡ１０２の携帯電話端末１０３とパケット網１０５を介して情報のやり取りを行うものであり、携帯電話端末１０３から送信されるユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を受信し、受信したこれらの情報をデータ取得部４０３へ出力する。
【００３６】
データ取得部４０３は、通信部４０２から入力されたユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、不揮発性データ記憶部３０４に用意されたオブジェクトテーブル４０５の所定の領域に格納するとともに、オブジェクト動画像データ及び環境特徴点情報をオブジェクト生成部４０４へ出力する。なお、オブジェクトテーブル４０５の詳細については、図５にて後述する。
【００３７】
オブジェクト生成部４０４は、動画像が表示されているタッチパネル部４０６に対するユーザの操作に基づいて、ユーザが指示した領域内に含まれる特徴点を環境特徴点情報の中から抽出する。そして、抽出した特徴点に基づいて、当該指定した領域のオブジェクトの３次元仮想オブジェクトをオブジェクト動画像データから生成する（非特許文献１を参照）。こうして生成された３次元仮想オブジェクトは、オブジェクトテーブル４０５の所定の領域に記憶される。なお、３次元仮想オブジェクトの具体的な生成例については図９に基づいて後述される。
【００３８】
次に、オブジェクトテーブル４０５について図５を参照して説明する。
図５は、オブジェクトテーブル４０５の一例を示す図である。
オブジェクトテーブルは、「位置情報」フィールドと、「撮影日」フィールドと、「オブジェクト種類」フィールドと、「オブジェクト動画」フィールドと、「環境特徴点情報」フィールドと、「特徴点絶対位置座標」フィールドと、「３次元仮想オブジェクトデータ」フィールドとよりなる。
【００３９】
「位置情報」フィールドには、オブジェクト動画を撮影した際にユーザＡ１０２がいた位置の緯度・経度・高さを示すユーザＡ位置情報が格納される。
また、「撮影日」フィールドには、オブジェクト動画を撮影した日を示す情報である撮影日情報が格納される。
また、「オブジェクト種類」フィールドには、オブジェクト動画のオブジェクトの種類を示す情報であるオブジェクト種類情報が格納される。
また、「オブジェクト動画データ」フィールドには、ユーザＡ１０２が携帯電話端末１０３で撮影したオブジェクト動画データが格納される。
【００４０】
また、「環境特徴点情報」フィールドには、動画像の環境特徴点情報が格納される。具体的には、「環境特徴点情報」フィールドは、オブジェクト動画像の各フレーム毎の特徴点の情報を保存するために、例えば、所定のフレームの特徴点(ｘ１，ｙ１)，(ｘ２，ｙ２)，(ｘ３，ｙ３)，…(ｘｎ，ｙｎ)という座標情報を、フレーム毎に保存している。つまり、オブジェクト動画像のフレームの個数がｋ個あり、各フレーム内に特徴点が平均ｎ個あるとすれば、特徴点の座標情報の数は、ｋ×ｎ個となる。このようなｋ×ｎ個の特徴点が環境特徴点情報である。
【００４１】
また、「特徴点絶対位置座標」フィールドには、動画像の特徴点絶対位置座標が格納される。特徴点絶対位置座標は、（対象特徴点を持つフレーム、そのフレーム内における対象特徴点の位置情報（ｘ，ｙ）、その対象特徴点の絶対位置座標（緯度、経度、高度））といった情報で構成される情報である。例えば、図５に示すオブジェクトテーブル４０５の「オブジェクト種類」フィールドが建物のレコードである「（15，76，34，35.376000，139.45，0.5）」は、１５枚目のフレーム上の座標（ｘ，ｙ）＝（76，34）の特徴点の位置を示す絶対位置座標（緯度、経度、高度）が、（35.376000，139.45，0.5）となることを意味している。
【００４２】
［５．オブジェクト登録時の情報処理システムの動作］
次に、オブジェクト登録時の情報処理システム１０１の動作について図６を参照して説明する。
図６は、オブジェクト登録時の情報処理システム１０１の動作を示すフローチャートである。
【００４３】
まず、携帯電話端末１０３を持ったユーザＡ１０２が撮影場所に到着する（ステップＳ１）。そして、ユーザＡ１０２の操作部２０４に対する指示に基づいて、ＧＰＳ受信部２０８では、ＧＰＳ衛星１０４から電波が受信され、ユーザＡ１０２のユーザＡ位置情報（緯度・経度・高さ）が取得され（ステップＳ２）、このユーザＡ位置情報が記憶部２０３に記憶される。
【００４４】
そして、ユーザＡ１０２により撮影が開始されると、カメラ部２０６では、ユーザＡ１０２の操作部２０４に対する操作に基づいて、オブジェクト動画像データが取得され（ステップＳ３）、制御部２１０に出力される。このとき、カメラ部２０６では、オブジェクトにピントをあわせるために利用されるオブジェクトレンズ間距離も算出され、制御部２１０に出力されている。
【００４５】
制御部２１０では、カメラ部２０６から入力されたオブジェクト動画像データから前述の環境特徴点情報が算出される。そして、算出された環境特徴点情報及びオブジェクト動画像データは、記憶部２０３に記憶される。
【００４６】
一方、姿勢情報取得部２０９では、ステップＳ３の処理時の携帯電話端末１０３の姿勢情報が取得され、制御部２１０に出力される。そして、制御部２１０では、カメラ部２０６から入力されるオブジェクトレンズ間距離、記憶部２０３から読み出す環境特徴点情報及び姿勢情報取得部２０９から入力される姿勢情報に基づいて、特徴点絶対位置座標が算出され、記憶部２０３に記憶される。なお、特徴点絶対位置座標の詳細な算出方法については、図７，８を参照して説明する。
【００４７】
以上の処理が完了した後、制御部２１０は、ユーザＡ位置情報、ステップＳ３の処理時に不図示の時計により取得され記憶部２０３に記憶された撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、記憶部２０３から読み出し、ｗｅｂ通信部２０２に出力する。そして、ｗｅｂ通信部２０２は、ユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、パケット網１０５を介して情報処理サーバ１０６に送信する（ステップＳ５）。
【００４８】
このｗｅｂ通信部２０２から送信されるユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標は、情報処理サーバ１０６のオブジェクト登録処理部３０２の通信部４０２で受信され、データ取得部４０３に出力される。
【００４９】
そして、データ取得部４０３は、ユーザＡ位置情報、撮影日情報、オブジェクト種類情報、オブジェクト動画データ、環境特徴点情報及び特徴点絶対位置座標を、オブジェクトテーブル４０５の「位置情報」フィールド、「撮影日情報」フィールド、「オブジェクト種類情報」フィールド、「オブジェクト動画データ」フィールド、「環境特徴点情報」フィールド及び「特徴点絶対位置座標」フィールドにそれぞれ格納する（ステップＳ７）。そして、データ取得部４０３から、オブジェクト動画像データ及び環境特徴点情報がオブジェクト生成部４０４に出力される。
【００５０】
オブジェクト生成部４０４は、操作部２０４に対するユーザの操作に基づいて、環境特徴点情報の中からユーザが指示した領域内に含まれる特徴点のみを抽出する。そして、この抽出した特徴点に基づいて、当該指定した領域のオブジェクトの３次元仮想オブジェクトがオブジェクト動画像データから生成される（ステップＳ８）。このようにして生成された３次元仮想オブジェクトは、オブジェクトテーブル４０５の「３次元仮想オブジェクト」フィールドに格納され、処理が終了する。
【００５１】
次に、制御部２１０で行われる特徴点絶対位置座標に含まれる絶対位置座標の各パラメータ（図５を参照）の算出処理について図７，８を参照して説明する。
図７（Ａ）は、ユーザＡ１０２とオブジェクトとの位置関係を示す斜視図である。
図７（Ｂ）は、図７（Ａ）に示す空間の位置Ｉ及び位置Ｏを通る断面図である。
位置Ｉは、ユーザＡ１０２の視点、すなわち携帯電話端末１０３のカメラ部２０６を構成する光学レンズの位置である。位置Ｏは、ユーザＡ１０２の視点から見ることが可能なオブジェクト７０２の任意の一点、本例では環境特徴点情報の中の任意の一つの特徴点とする。角度θは、光学レンズの地面に対する傾き角度であり、姿勢情報取得部２０９で取得される姿勢情報に含まれる情報である。高度Ｈは、地面と光学レンズ間の距離であり、ＧＰＳ受信部２０８によってＧＰＳ衛星１０４から取得されるユーザＡ位置情報に含まれる情報である。距離Ｄは、前述のオブジェクトレンズ間距離であり、カメラ部２０６によって算出される情報である。
【００５２】
これらのパラメータを用いてオブジェクト７０２の位置Ｏの高さｈを求める式を以下に示す。
ｈ＝Ｈ−Ｄｃｏｓθ
【００５３】
図８は、カメラ部２０６の視野とオブジェクト７０２との位置関係を示す説明図である。
カメラ視野は、ユーザＡ１０２の携帯電話端末１０３のカメラ部２０６で撮影可能な範囲である。カメラ視野におけるＲは、携帯電話端末１０３のカメラ部２０６の光学レンズの位置Ｉから撮影できる限界までの距離を示す。角度φは、位置Ｉと位置Ｏを結んだ直線と、北の方向軸８０３とがなす角度であり、姿勢情報取得部２０９で取得される姿勢情報に含まれる情報である。
【００５４】
位置Ｉの位置を（ｘ：緯度，ｙ：経度）とし、位置Ｏの位置を（ｘ１：緯度，ｙ１：経度）とすると、位置Ｉと位置Ｏの位置関係は以下に示す式のとおりとなる。なお、位置Ｉにおける緯度ｘ及び経度ｙは、ＧＰＳ受信部２０８によってＧＰＳ衛星１０４から取得されるユーザＡ位置情報に含まれる情報である。
ｘ１＝ｘ−Ｄｓｉｎθｓｉｎφ
ｙ１＝ｙ＋Ｄｓｉｎθｃｏｓφ
【００５５】
以上に示した３つの式を用いることにより、制御部２１０は、オブジェクト７０２の任意の点の絶対位置座標（ｘ１：緯度、ｙ１：経度、ｈ：高さ）を算出している。
【００５６】
次に、情報処理サーバ１０６のオブジェクト生成部４０４で行われる３次元仮想オブジェクト生成処理（図６のステップＳ８の処理）について図９を参照して説明する。
図９は、オブジェクト生成部４０４での３次元仮想オブジェクト生成処理時にタッチパネル部４０６に表示される表示画面の一例を示す説明図である。なお、本例では、オブジェクト生成部４０４で生成したい３次元仮想オブジェクトが建物９０２である場合を例とする。
【００５７】
図９（Ａ）は、３次元仮想オブジェクトの元になる動画像の再生画面を示す図である。
まず、情報サーバ側のユーザは、図９（Ｂ）に示すように、タッチパネル部４０６に対して指やペン等で建物９０２の輪郭に線９０３，９０４を引く。すると、オブジェクト生成部４０４では、環境特徴点情報の中から線９０３，９０４に囲まれた領域の特徴点がそれぞれ抽出される。そして、線９０３に含まれる特徴点に基づいてパーツ９０５の仮想平面が生成され、線９０４に含まれる特徴点に基づいてパーツ９０６の仮想平面が生成される。
【００５８】
さらに、この操作が建物９０２の３６０度すべての方向に対して行われ、建物９０２の３６０度すべての方向の平面が生成される。そして、生成されたすべての平面及びこれらの平面を生成するのに用いた各特徴点間の関係性を利用することにより、３次元仮想オブジェクトが生成される。
【００５９】
［６．オブジェクト配信処理部の構成］
次に、オブジェクト配信処理部３０３の構成について図１０を参照して説明する。
図１０は、オブジェクト配信処理部３０３及び不揮発性データ記憶部３０４の機能的な構成を示すブロック図である。
【００６０】
オブジェクト配信処理部３０３は、通信部１００２とオブジェクト検索部１００３よりなる。
通信部１００２は、ユーザＢ１０７の携帯電話端末１０８とパケット網１０５を介して情報のやり取りを行うものであり、携帯電話端末１０８から送信されるユーザＢ位置情報を受信し、受信したユーザＢ位置情報をオブジェクト検索部１００３に出力する。なお、オブジェクト配信処理部３０３の通信部１００２は、オブジェクト登録処理部３０２の通信部４０２と共通であってもよい。
【００６１】
オブジェクト検索部１００３は、通信部１００２から入力されるユーザＢ位置情報で、オブジェクトテーブル４０５の「位置情報」フィールドを検索し、該当するレコードの「環境特徴点情報」、「特徴点絶対値座標」及び「３次元仮想オブジェクト」の各フィールドに格納された情報を取得する。取得した情報は、通信部１００２を介してパケット網１０５上の携帯電話端末１０８に送信される。
【００６２】
［７．オブジェクト配信時の情報処理システムの動作］
次に、情報処理システム１０１のオブジェクト配信時の動作について図１１を参照して説明する。
図１１は、オブジェクト登録時の情報処理システム１０１の動作を示すフローチャートである。
【００６３】
まず、携帯電話端末１０８を持ったユーザＢ１０７が閲覧場所に到着し（ステップＳ１０）、カメラ部２０６を起動させる。すると、表示部２０５には、カメラ部２０６より取得されたカメラ視野８０２に含まれる風景が、図１２（Ａ）の表示画面１２０２のように示されるように表示される。
【００６４】
ここで、ユーザＢ１０７の操作部２０４に対する指示に基づいて、ＧＰＳ受信部２０８では、ＧＰＳ衛星１０４から電波が受信され、ユーザＢ１０７のユーザＢ位置情報（緯度・経度・高さ）が取得される（ステップＳ１１）。取得されたユーザＢ位置情報は、ｗｅｂ通信部２０２に出力される。
【００６５】
ｗｅｂ通信部２０２は、入力されたユーザＢ位置情報を、パケット網１０５を介して情報処理サーバ１０６に送信する。そして、情報処理サーバ１０６のオブジェクト配信処理部３０３を構成する通信部１００２において、携帯電話端末１０８のｗｅｂ通信部２０２から送信されたユーザＢ位置情報が受信され（ステップＳ１２）、オブジェクト検索部１００３に出力される。
【００６６】
オブジェクト検索部１００３は、オブジェクトテーブル４０５の「位置情報」フィールド（図５を参照）を、入力されたユーザＢ位置情報で検索する（ステップＳ１３）。そして、該当するレコードがないと判定された場合は（ステップＳ１３のＮＯ）、処理を終了する。ステップＳ１３で、該当するレコードがあると判定された場合は（ステップＳ１３のＹＥＳ）、オブジェクト検索部１００３は、該当するレコードの「環境特徴点情報」フィールド、「特徴点絶対位置座標」フィールド及び「３次元仮想オブジェクト」フィールドに格納されている環境特徴点情報、特徴点絶対位置座標及び３次元仮想オブジェクトを取得する（ステップＳ１４）。そして、オブジェクト検索部１００３で取得された環境特徴点情報、特徴点絶対位置座標及び３次元仮想オブジェクトは、通信部１００２を介して携帯電話端末１０８のｗｅｂ通信部２０２に送信される。
【００６７】
ここで、制御部２１０は、３次元仮想オブジェクトの位置とカメラ視野８０２を比較する（ステップＳ１５）。つまり、現在、カメラ部２０６が取得している動画像の特徴点を抽出し、この抽出した特徴点と情報処理サーバ１０６から送信された環境特徴点情報とを比較する。
【００６８】
そして、カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在するか否か、つまり環境特徴点情報の中に抽出された特徴点と一致するものがあるか否かが確認される（ステップＳ１６）。
【００６９】
このステップＳ１６において、カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在しないと判定された場合、すなわち環境特徴点情報の中に抽出された特徴点と一致するものが存在しない場合には（ステップＳ１６のＮＯ）、ステップＳ１５の処理に戻る。
【００７０】
カメラ視野８０２の範囲内に３次元仮想オブジェクトが存在すると判定された場合、すなわち環境特徴点情報の中に抽出された特徴点と一致するものが存在する場合には、抽出された特徴点、ユーザＢ位置情報及び特徴点絶対位置座標に基づいて、現在、表示部２０５に表示されている表示画面１２０２に合成する３次元仮想オブジェクトの大きさ、方向及び位置が、描画部２０７で決定される。そして、図１２（Ｂ）に示すように、表示部２０５に３次元仮想オブジェクト１２０３が合成表示され（ステップＳ１７）、処理が終了する。
【００７１】
次に、ステップＳ１７の処理である、３次元仮想オブジェクトの大きさ、方向及び位置を決定する処理についてより詳細に説明を行う。
まず、大きさを決定する処理について説明する。
ユーザＢ位置情報（緯度・経度・高さ）と特徴点絶対位置座標に含まれる絶対位置座標（緯度・経度・高さ）を利用して、ユーザＢと３次元仮想オブジェクトの間の現実世界での距離が算出される。そして、その距離に応じて３次元仮想オブジェクトの大きさが決定される。
【００７２】
次に、方向を決定する処理について説明する。
情報処理サーバから取得した環境特徴点情報（ダウンロードした環境特徴点情報）と、カメラが現在撮影している画像（図１２（Ａ）を参照）の環境特徴点情報を比較する。現在の画像にはオブジェクトは存在していないが、地面などの特徴点は取得できる。ダウンロードした環境特徴点情報は、オブジェクトの特徴点以外に地面などの特徴点も含んでいるので、それらを比較し、一致するフレームを算出する。算出したフレームによって、当該フレームにおいてオブジェクトがどのように表示されているのかを判別することができる。これにより、３次元仮想オブジェクトを表示部２０５上に配置する際の方向が決定される。なお、３次元仮想オブジェクトが配置される表示部２０５上の位置は、特徴点絶対位置座標に含まれる対象特徴点の位置情報に該当する。
【００７３】
以上説明したように、本実施形態によれば、ユーザＢがユーザＡにより動画像が撮影された場所に行った際に、現実空間が表示されている表示部の適切な位置に３次元仮想オブジェクトを適切な大きさ及び方向で重ねて表示することができる。これにより、不特定多数の人が、オブジェクトを撮影した場所を共有できるという効果がある。
【００７４】
なお、上述した実施形態では、生成する３次元仮想オブジェクトが建物である例を示したが、例えば図１３に示すように広告の３次元仮想オブジェクトを生成し、表示画面に合成表示することも可能である。なお、３次元オブジェクトは、建物や看板に限られるものではなく、例えば家具、家電及び車等でもよい。
【００７５】
また、上述した実施形態では、情報処理サーバのオブジェクトテーブルに格納されているすべての３次元仮想オブジェクトの中から、ユーザＢの携帯電話端末１０８に送信する３次元仮想オブジェクトを決定していた。しかしながら、オブジェクトテーブルに格納されている３次元仮想オブジェクトを撮影日情報及び／またはオブジェクト種類情報で絞り込んだ後に、携帯電話端末１０８に送信するようにしてもよい。これは、携帯電話端末１０８から情報処理サーバへユーザＢ位置情報を送信する際に、撮影日情報及び／またはオブジェクト種類情報も送信しておき、撮影日情報及び／またはオブジェクト種類情報でオブジェクトテーブルのレコードを絞り込むことによって実現できる。
【００７６】
また、上述した実施形態では、情報処理サーバにおいてオブジェクトテーブルに格納されている３次元仮想オブジェクトは、ユーザのタッチパネル部に対する操作に基づいて、動画像データから３次元仮想オブジェクトを生成されるものである。しかし、３間オブジェクトは、動画像データの画像解析により、動画像データから自動的に生成されるようにしてもよい。
【００７７】
以上、本発明の実施形態の例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。
【符号の説明】
【００７８】
１０１…情報処理システム、１０２…ユーザＡ、１０３…携帯電話端末、１０４…ＧＰＳ衛星、１０５…パケット網、１０６…情報処理サーバ、１０７…ユーザＢ、１０８…携帯電話端末、２０２…ｗｅｂ通信部、２０３…記憶部、２０４…操作部、２０５…表示部、２０６…カメラ部、２０７…描画部、２０８…ＧＰＳ受信部、２０９…姿勢情報取得部、２１０…制御部、３０２…オブジェクト登録処理部、３０３…オブジェクト配信処理部、３０４…不揮発性データ記憶部、４０２…通信部、４０３…データ取得部、４０４…オブジェクト生成部、４０５…オブジェクトテーブル、７０２…オブジェクト、８０２…カメラ視野、８０３…北の方向軸、１００２…通信部、１００３…オブジェクト検索部
【特許請求の範囲】
【請求項１】
光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、
前記カメラ部で取得された前記画像を表示する表示部と、
前記カメラ部で取得された前記画像から前記画像に係る空間情報を算出する制御部と、
ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、
過去に撮影した動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクトと、前記動画像が撮影された場所を示す撮影位置情報と、前記動画像に係る空間情報とが対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに、前記携帯電話位置情報を送信するとともに、前記オブジェクトテーブル内に、前記送信した携帯電話位置情報に一致する前記撮影位置情報があった場合に、前記情報処理サーバから送信される前記３次元仮想オブジェクト及び前記動画像に係る空間情報を受信するｗｅｂ通信部と、
前記動画像に係る空間情報と前記画像に係る空間情報との関係性を利用することにより、前記３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、前記決定した位置に前記３次元仮想オブジェクトを合成して表示させる描画部と
を備える携帯電話端末。
【請求項２】
前記携帯電話位置情報及び前記撮影位置情報は、緯度、経度及び高さを含む情報である
請求項１に記載の携帯電話端末。
【請求項３】
過去に撮影した動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクトと、前記動画像が撮影された場所を示す撮影位置情報と、前記動画像に係る空間情報とが対応付けられて格納されているオブジェクトテーブルと、
携帯電話端末から送信される携帯電話位置情報を受信し、受信した前記携帯電話位置情報と一致する前記撮影位置情報を前記オブジェクトテーブルから検索し、前記携帯電話位置情報に対応する前記撮影位置情報を有する前記３次元仮想オブジェクト及び前記動画像に係る空間情報オブジェクトを、前記携帯電話端末に送信するオブジェクト配信処理部と
を含む情報処理サーバと、
光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、
前記カメラ部で取得された前記画像を表示する表示部と、
前記カメラ部で取得された前記画像から前記画像に係る空間情報を算出する制御部と、
ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、
前記オブジェクト配信処理部に前記携帯電話位置情報を送信するとともに、前記オブジェクト処理部から送信される前記３次元仮想オブジェクト及び前記動画像に係る空間情報を受信するｗｅｂ通信部と、
前記動画像に係る空間情報と前記画像に係る空間情報との関係性を利用することにより、前記３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に前記３次元仮想オブジェクトを合成して表示させる描画部と
を含む携帯電話端末と
を備える情報処理システム。
【請求項１】
光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、
前記カメラ部で取得された前記画像を表示する表示部と、
前記カメラ部で取得された前記画像から前記画像に係る空間情報を算出する制御部と、
ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、
過去に撮影した動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクトと、前記動画像が撮影された場所を示す撮影位置情報と、前記動画像に係る空間情報とが対応付けられて格納されているオブジェクトテーブルを備える情報処理サーバに、前記携帯電話位置情報を送信するとともに、前記オブジェクトテーブル内に、前記送信した携帯電話位置情報に一致する前記撮影位置情報があった場合に、前記情報処理サーバから送信される前記３次元仮想オブジェクト及び前記動画像に係る空間情報を受信するｗｅｂ通信部と、
前記動画像に係る空間情報と前記画像に係る空間情報との関係性を利用することにより、前記３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、前記決定した位置に前記３次元仮想オブジェクトを合成して表示させる描画部と
を備える携帯電話端末。
【請求項２】
前記携帯電話位置情報及び前記撮影位置情報は、緯度、経度及び高さを含む情報である
請求項１に記載の携帯電話端末。
【請求項３】
過去に撮影した動画像を元に生成される３次元のコンピュータグラフィックスである３次元仮想オブジェクトと、前記動画像が撮影された場所を示す撮影位置情報と、前記動画像に係る空間情報とが対応付けられて格納されているオブジェクトテーブルと、
携帯電話端末から送信される携帯電話位置情報を受信し、受信した前記携帯電話位置情報と一致する前記撮影位置情報を前記オブジェクトテーブルから検索し、前記携帯電話位置情報に対応する前記撮影位置情報を有する前記３次元仮想オブジェクト及び前記動画像に係る空間情報オブジェクトを、前記携帯電話端末に送信するオブジェクト配信処理部と
を含む情報処理サーバと、
光学レンズを備え、光学レンズを通過した光を画像として取得するカメラ部と、
前記カメラ部で取得された前記画像を表示する表示部と、
前記カメラ部で取得された前記画像から前記画像に係る空間情報を算出する制御部と、
ＧＰＳ衛星から電波を受信して携帯電話位置情報を取得するＧＰＳ受信部と、
前記オブジェクト配信処理部に前記携帯電話位置情報を送信するとともに、前記オブジェクト処理部から送信される前記３次元仮想オブジェクト及び前記動画像に係る空間情報を受信するｗｅｂ通信部と、
前記動画像に係る空間情報と前記画像に係る空間情報との関係性を利用することにより、前記３次元仮想オブジェクトを表示画面の上に合成する際の大きさ、方向及び位置を決定し、決定した位置に前記３次元仮想オブジェクトを合成して表示させる描画部と
を含む携帯電話端末と
を備える情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２２６６２（Ｐ２０１１−２２６６２Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６４９０８（Ｐ２００９−１６４９０８）
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（５０２０８７５０７）ソニー エリクソン モバイル コミュニケーションズ， エービー (823)
【Ｆターム（参考）】
[ Back to top ]