アノテーション表示システム,方法及びサーバ装置
【課題】携帯端末の移動速度に応じて,携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システムを提供する。
【解決手段】携帯端末2は,所定の時間間隔毎に位置情報(緯度・経度)及び撮影方位角をサーバ装置3に送信することで,サーバ装置3に対してアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ画像上に合成して表示させる。サーバ装置3には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,アノテーション情報の送信要求を携帯端末2から受けると,携帯端末2の移動速度に応じて利用するグリッドを決定し,携帯端末2から送信された位置情報及び撮影方位角に従いアノテーションエリアを決定した後,アノテーションエリアに対応するセルを特定し,特定したセル毎にアノテーション情報を生成する。
【解決手段】携帯端末2は,所定の時間間隔毎に位置情報(緯度・経度)及び撮影方位角をサーバ装置3に送信することで,サーバ装置3に対してアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ画像上に合成して表示させる。サーバ装置3には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,アノテーション情報の送信要求を携帯端末2から受けると,携帯端末2の移動速度に応じて利用するグリッドを決定し,携帯端末2から送信された位置情報及び撮影方位角に従いアノテーションエリアを決定した後,アノテーションエリアに対応するセルを特定し,特定したセル毎にアノテーション情報を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,現実空間から得られる情報に,コンピュータ技術を用いて人為的に作り出した情報を重ね合わせる拡張現実の技術に係わる発明である。
【背景技術】
【0002】
現実空間から得られる情報(例えば,デジタルカメラで撮影した画像)に,コンピュータ技術を用いて人為的に作り出した情報(例えば,コンピュータグラフィックス)を重ね合わせる拡張現実(Augmented Reality)を利用したサービスが注目を浴びている。
【0003】
拡張現実を利用するサービスとしては,非特許文献1のように,デジタルカメラで撮影した画像に含まれるマーカに対応した3次元コンピュータグラフィックスを該マーカの向きに合わせて画像上に表示させることも考えられているが,携帯端末に内蔵されたデジタルカメラによって撮影された画像上に,携帯端末で撮影された物(例えば,建物など)に係わるアノテーション情報を重ねて表示する拡張現実サービスも,携帯端末の一部の機種向けに開発されている。
【0004】
なお,拡張現実とは直接的には係わらないかもしれないが,特許文献1では,携帯端末でポインティングデバイスのように扱い,携帯端末でポインティングされた物(例えば,建物など)に係わる情報をユーザに提供できるシステムが開示されている。
【0005】
携帯端末の画面に表示されるアノテーション情報は,拡張現実サービスの提供者によって作成される場合もあるが,拡張現実サービスのユーザによって投稿される場合もある。例えば,地下鉄の駅案内に利用される拡張現実アプリケーションでは,出口案内や店舗の看板などを表示するために,拡張現実サービスの提供者によって作成されたオブジェクトがアノテーションとして利用される。
【0006】
また,ソーシャルサービスで利用される拡張現実サービスでは,文字,画像,音声など,該拡張現実サービスを利用するユーザによって投稿された投稿情報がアノテーション情報として利用される。
【0007】
拡張現実アプリケーションを利用するユーザによって投稿された投稿情報をアノテーション情報として利用する場合,ユーザが投稿した投稿情報の数が増大すると,携帯端末の画面に表示するアノテーション情報が多すぎて,携帯端末の画面が見づらくなるため,ソーシャルサービスで利用される拡張現実サービスの中には,ユーザが投稿情報を投稿した時間,携帯端末の位置から投稿情報が投稿された位置までの距離などに応じ,アノテーション情報をフィルタリングできるアプリケーションもある。
【0008】
一方で,拡張現実アプリケーションが利用可能な携帯端末に着目すると,携帯端末用の車載キットも市販されており,ユーザが携帯端末を利用するときの移動速度の幅も大きく,ユーザが携帯端末を利用するときの移動速度に応じて,携帯端末に表示させるアノテーション情報の情報量を変更できることが望まれている。
【0009】
例えば,ユーザが携帯端末を車で利用するときなど,移動速度が速いシチュエーションでは,携帯端末に表示するアノテーション情報の情報量を少なくし,ユーザが歩きながら携帯端末を利用するときなど,移動速度が遅いシチュエーションでは,携帯端末に表示するアノテーション情報の情報量を多くすることが,ユーザの安全面及び利便性からして望ましい。
【0010】
ユーザの移動速度に応じて表示内容を変更する発明としては,既に,特許文献2において,地図スクロール時にスクロール速度に応じて方面名称等を自動的に変更するシステムが開示されている。しかし,特許文献2で開示されているシステムでは,地図情報に予め登録されている地名を対象としているため,日々投稿される投稿情報には適用できない。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特表2004−531791号公報
【特許文献2】特開2005−292621号公報
【非特許文献】
【0012】
【非特許文献1】Kato, H., Billinghurst, M. (1999)Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System.In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). October, San Francisco, USA.
【発明の概要】
【発明が解決しようとする課題】
【0013】
そこで,本発明は,携帯端末の移動速度に応じて,携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した課題を解決する第1の発明は,アノテーション情報の送信要求を受けるサーバ装置とアノテーション情報の送信要求を行う携帯端末とから少なくとも構成され、拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示システムであって,前記携帯端末は,映像を撮影するカメラ手段と,前記携帯端末の位置情報を計測する位置計測手段と,前記位置計測手段から得られるこの時点の位置情報を少なくとも前記サーバ装置に送信することでアノテーション情報の送信要求を前記サーバ装置に行い,前記サーバ装置から受信した前記アノテーション情報を前記カメラ手段で撮影されている映像に合成して表示するアノテーション表示手段を備え,前記サーバ装置には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えていることを特徴とするアノテーション表示システムである。
【0015】
第1の発明によれば,例えば,前記携帯端末の移動速度が大きいときに利用する前記グリッドのグリッドサイズを大きくし,前記携帯端末の移動速度が小さいときに利用する前記グリッドのグリッドサイズを小さくするように,グリッドサイズが異なる複数の前記グリッドを前記サーバ装置に設定しておけば,前記アノテーションエリアに対応する前記セルの数は,前記携帯端末の移動速度が大きいときに少なくなり,前記携帯端末の移動速度が小さいときに多くなり,前記携帯端末に送信する前記アノテーション情報の数も,前記携帯端末の移動速度に応じて減少するため,前記携帯端末の移動速度に応じて,前記携帯端末に表示する前記アノテーション情報の情報量を変更することができる。
【0016】
更に,第2の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第1の発明に記載のアノテーション表示システムである。
【0017】
前記セルの領域内に前記投稿地点の位置情報が含まれる全ての前記投稿情報の要約である前記セル情報は,前記投稿情報が集約された要約文とすることもできるが,前記セル情報をキーワードとすると,前記携帯端末のユーザは,前記アノテーション情報を見ただけで,前記アノテーション情報の内容を容易に推測できるようになる。
【0018】
更に,第3の発明は,前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第2の発明に記載のアノテーション表示システムである。
【0019】
第3の発明のように,前記アノテーション情報として利用する前記キーワードの数を変更できるようにしておき,前記携帯端末の移動速度が速いとき,前記アノテーション情報として利用する前記キーワードの数を少なくできるようにすることが望ましい。
【0020】
更に,第4の発明は,前記サーバ装置は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第1の発明から第3の発明のいずれか一つに記載のアノテーション表示システムである。
【0021】
前記携帯端末の移動速度が静止状態であるとき,前記携帯端末のユーザはより詳細な情報を探しているとみなせるので、第4の発明のように,前記アノテーション情報の情報量を増やすことが望ましい。
【0022】
更に,第5の発明は,前記携帯端末は,方位角を計測する方位角計測手段を備え,前記アノテーション表示手段は,前記サーバ装置に前記アノテーション情報の送信要求をする際,前記方位角計測手段から得られる方位角から前記カメラ手段が向いている撮影方位角を求め,前記携帯電話の位置情報と共に前記撮影方位角を前記サーバ装置に送信する手段で,前記サーバ装置の前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第1の発明から第4の発明のいずれか一つに記載のアノテーション表示システムである。
【0023】
第5の発明によれば,前記携帯端末の前記カメラ手段の撮影方向で投稿された前記投稿情報に係わる前記アノテーション情報を表示させることができる。
【0024】
更に,第6の発明は,前記携帯端末は,ユーザによって設定された前記投稿情報を前記サーバ装置に送信し,前記投稿情報の登録を前記サーバ装置に要求する投稿情報送信手段を備え,前記サーバ装置は,前記携帯端末から前記投稿情報の登録要求を受けた際,登録要求を受けた前記投稿情報の投稿地点の位置情報を対応付けて該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする第4の発明または第5の発明に記載のアノテーション表示システムである。
【0025】
前記サーバ装置に備えられたデータベースに記憶される情報は,前記サーバ装置以外で生成させることもできるが,第6の発明のようにすれば,前記サーバ装置側で,前記サーバ装置に備えられたデータベースの内容を更新することができる。
【0026】
更に,第7の発明は,アノテーション情報の送信要求をした携帯端末に,前記アノテーション情報を送信するサーバ装置であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えていることを特徴とするサーバ装置である。
【0027】
更に,第8の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第7の発明に記載のサーバ装置である。
【0028】
更に,第9の発明は,前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第8の発明に記載のサーバ装置である。
【0029】
更に,第10の発明は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第7の発明から第9の発明のいずれか一つに記載のサーバ装置である。
【0030】
更に,第11の発明は,前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第7の発明から第10の発明のいずれか一つに記載のサーバ装置である。
【0031】
更に,第12の発明は,前記携帯端末から前記投稿情報の登録要求を受けた際,該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする第10の発明または第11の発明に記載のサーバ装置である。
【0032】
第7の発明から第12の発明は,第1の発明から第6の発明に記載のアノテーション表示システムを実現するために必要なサーバ装置に係わる発明である。
【0033】
更に,第13の発明は,携帯端末に拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示方法であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備えているサーバ装置が,前記携帯端末からのアノテーション情報の送信要求を受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用いて,前記アノテーション情報を表示させるアノテーションエリアを求めるステップa,前記サーバ装置が,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するステップbが実行されることを特徴とするアノテーション表示方法である。
【0034】
更に,第14の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第13の発明に記載のアノテーション表示方法である。
【0035】
更に,第15の発明は,前記ステップbにおいて,前記サーバ装置は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第14の発明に記載のアノテーション表示方法である。
【0036】
更に,第16の発明は,前記ステップaにおいて,前記サーバ装置は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第13の発明から第15の発明のいずれか一つに記載のアノテーション表示方法である。
【0037】
更に,第17の発明は,前記ステップbにおいて,前記サーバ装置は,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを参照し,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第13の発明から第16の発明のいずれか一つに記載のアノテーション表示方法である。
【0038】
第13の発明から第17の発明は方法に係わる発明で,第1の発明から第5の発明と同様の効果を得ることができる。
【発明の効果】
【0039】
このように,本発明によれば,携帯端末の移動速度に応じて,携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システム及び方法を提供できる。
【図面の簡単な説明】
【0040】
【図1】本実施形態におけるアノテーション表示システムを説明する図。
【図2】携帯端末に備えられたハードウェアを説明する図。
【図3】携帯端末に備えられた機能を説明する図。
【図4】携帯端末のアノテーション表示手段が実行する処理を説明するフロー図。
【図5】携帯端末の投稿手段が実行する処理を説明するフロー図。
【図6】携帯端末の投稿手段を起動するアイコンの一例を示した図。
【図7】サーバ装置に備えられたハードウェアを説明する図。
【図8】サーバ装置に備えられた機能を説明する図。
【図9】サーバ装置に備えられた投稿情報DBを説明する図。
【図10】サーバ装置に備えられたセルDBを説明する図。
【図11】サーバ装置の投稿情報登録手段が実行する処理を説明するフロー図。
【図12】サーバ装置のアノテーション送信手段が実行する処理を説明するフロー図。
【図13】移動速度の区分の内容を定めたルールの一例を説明する図。
【図14】本実施形態におけるアノテーションエリアを説明する図。
【図15】グリッドサイズの変更に伴い,アノテーションエリアに含まれるセルの数が変更されることを説明する図。
【図16】携帯端末に表示されるアノテーション情報を説明する第1図。
【図17】携帯端末に表示されるアノテーション情報を説明する第2図。
【発明を実施するための形態】
【0041】
ここから,本願発明の技術分野に係わる当業者が,本願発明の内容を理解し,本願発明を実施できる程度に本願発明の実施形態について説明する。
【0042】
図1は,本実施形態におけるアノテーション表示システム1を説明する図である。図1で図示したアノテーション表示システム1は,拡張現実を利用したソーシャルサービス向けに開発されたシステムで,図1で図示したアノテーション表示システム1には,拡張現実を利用したソーシャルサービスが運営されているサーバ装置3と,アノテーション表示システム1のユーザが所持し,サーバ装置3にアクセスする携帯端末2(例えば,スマートフォンや携帯電話)が装置として含まれ,携帯端末2用の公衆無線回線網4bとインターネット4aがネットワークとして含まれている。なお,図1では,携帯端末2を1台として記載しているが,実際は,数多くの携帯端末2からサーバ装置3にアクセス可能なように構成されている。
【0043】
ユーザが所持する携帯端末2は,公衆無線回線網4bを介してインターネット4aに接続できる機能を備え,図1で図示したアノテーション表示システム1を利用するための拡張現実アプリケーションが実装されている。
【0044】
携帯端末2上で拡張現実アプリケーションが起動すると,拡張現実アプリケーションは,携帯端末2に備えられたカメラで撮影されたカメラ画像を表示する処理を実行すると共に,所定の時間間隔毎に携帯端末2の位置情報(緯度・経度)及びカメラで撮影している方位角である撮影方位角をサーバ装置3に送信することで,サーバ装置3に対してアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ画像上に合成して表示させる処理を実行する。
【0045】
サーバ装置3には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,携帯端末2の移動速度の区分毎に,携帯端末2の移動速度が区分に対応するグリッドが定められている。
【0046】
サーバ装置3は,アノテーション情報の送信要求を携帯端末2から受けると,携帯端末2の移動速度に応じて利用するグリッドを決定し,携帯端末2から送信された位置情報及び撮影方位角に従い,アノテーション情報を表示させるアノテーションエリアを決定した後,アノテーションエリアに対応するセルを特定し,特定したセル毎にアノテーション情報を生成し,生成したアノテーション情報を携帯端末2に送信する。
【0047】
携帯端末2の移動速度が大きいときに利用するグリッドのグリッドサイズを大きくし,携帯端末2の移動速度が小さいときに利用するグリッドのグリッドサイズを小さくするなどして,グリッドサイズを携帯端末2の移動速度の大きさに応じて変更しておけば,アノテーションエリアに対応するセルの数,すなわち,携帯端末2に表示させるアノテーションの数を携帯端末2の移動速度の区分に応じて変更させることができる。
【0048】
また,グリッド上のセル毎に,位置情報がセルの領域内に含まれる全ての投稿情報から抽出した数個(ここでは,3個)のキーワードを,位置情報がセルの領域内に含まれる全ての投稿情報を集約したセル情報として記憶しておき,セル情報の一部又は全てをアノテーション情報として利用することで,アノテーション情報自体の情報量は小さくなる。
【0049】
ここから,図1を図示したアノテーション表示システム1を構成する携帯端末2について詳細に説明する。図2は,携帯端末2に備えられたハードウェアを説明する図で,図3は,携帯端末2に備えられた機能を説明する図である。
【0050】
図2に図示したように,携帯端末2には,無線通信するときに利用する無線通信用アンテナ2i,無線通信に係わる高周波処理を担う無線通信回路2a,携帯端末2に係わる様々な処理を担うベースバンド回路2b,表示デバイスと操作パネルの機能を兼ね備えたタッチパネル2g,タッチパネル2gを制御するタッチパネル制御回路2f,公衆無線回線網4bの中継ポイントから受信した電波の強度を利用して携帯端末2の位置情報(緯度・経度)を計測するGPS回路2c(GPS: Global Positioning System),前後左右の磁気センサを有し,携帯端末2の基準位置が向いている方位角を計測する電子コンパス回路2d,レンズなどの光学系に加え画像素子を有するカメラ回路2e,及び,時刻を計測するための時計回路2hが備えられている。
【0051】
携帯端末2に実装されているベースバンド回路2bとは,演算プロセッサ,ROM,RAMなどが実装された回路で,ベースバンド回路2b上で動作するアプリケーションの一つとして拡張現実アプリケーションが実装されている。
【0052】
図3で図示した各手段は,携帯端末2に実装された拡張現実アプリケーションによって,携帯端末2に備えられる機能を示し,携帯端末2上で拡張現実アプリケーションが起動することで,携帯端末2には,携帯端末2が存在する地点の位置情報を計測する位置計測手段20と,携帯端末2の基準位置が向いている方位角を計測する方位計測手段21と,サーバ装置3にアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ回路で撮影された映像に合成して表示するアノテーション表示手段22と,ユーザが投稿情報をサーバ装置3に登録するきに利用する投稿手段23が備えられる。
【0053】
携帯端末2に備えられた位置計測手段20は,携帯端末2のGPS回路2cを利用してこの地点の位置情報(緯度・経度)を計測する手段である。携帯端末2の位置情報を計測する手法としては,携帯端末2が無線通信可能な中継ポイントとの通信時間に従い携帯端末2内部で位置情報を計測する手法と,携帯端末2が無線通信可能な中継ポイントとの通信時間に従い,公衆無線回線網4bに配置された中央装置が携帯端末2の位置情報を計測する手法の2つの手法があるが,いずれの手法を用いてもよい。
【0054】
携帯端末2の方位角を計測する方位計測手段21は,携帯端末2の電子コンパス回路2dから,携帯端末2の基準位置が向いている方位角を取得する手段である。
【0055】
携帯端末2に備えられたアノテーション表示手段22は,カメラ回路2eを作動させ,カメラ回路2eが撮影している映像をタッチパネル2gにリアルタイムで表示する処理を実行した後,所定の時間間隔が経過する毎に,サーバ装置3にアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ回路2eで撮影している映像に合成して表示する手段である。
【0056】
図4は,携帯端末2のアノテーション表示手段22が実行する処理を説明するフロー図である。携帯端末2上で拡張現実アプリケーションが起動すると,携帯端末2のアノテーション表示手段22が自動的に起動する(S1)。
【0057】
携帯端末2のアノテーション表示手段22が起動すると,携帯端末2のアノテーション表示手段22は,携帯端末2に備えられたカメラ回路2eを作動させて映像の撮影を開始し,カメラ回路2eが撮影しているカメラ映像をリアルタイムで携帯端末2のタッチパネル2gに表示する処理を開始する(S2)。
【0058】
カメラ回路2eが撮影しているカメラ映像をリアルタイムで携帯端末2のタッチパネル2gに表示する処理を実行すると,携帯端末2のアノテーション表示手段22は,位置計測手段20及び方位計測手段21からこの時点における携帯端末2の位置情報及び方位角を取得し,携帯端末2の基準位置とカメラ回路2eの撮影方向の角度差を利用して撮影方位角を求めた後,携帯端末2の位置情報及び撮影方位角を含むメッセージをサーバ装置3に送信することで,サーバ装置3にアノテーション情報の送信要求を行う(S3)。
【0059】
携帯端末2のアノテーション表示手段22は,アノテーション情報の送信要求した後に,サーバ装置3からアノテーション情報を受信すると,サーバ装置3から受信したアノテーション情報それぞれをカメラ映像に合成して表示する処理を実行する(S4)。
【0060】
なお,サーバ装置3から送信されるアノテーション情報には,テキスト形式のアノテーション情報に加え,アノテーション情報を表示する画面上の位置情報が含まれ,携帯端末2のアノテーション表示手段22は,アノテーション情報を表示する画面上の位置情報に従い,それぞれのアノテーション情報を所定のフォーマット(例えば,吹き出し)でタッチパネル2g上に表示させる。
【0061】
携帯端末2のアノテーション表示手段22は,サーバ装置3から送信されたアノテーション情報を表示させると,時計回路2hを利用して所定の時間間隔を計測し,所定の時間間隔が経過する毎に,アノテーション情報の送信要求をサーバ装置3に行い(S5),サーバ装置3から受信したアノテーション情報を表示する処理を,拡張現実アプリケーションが携帯端末2上で終了するまで繰り返し実行する(S6)。
【0062】
携帯端末2に備えられた投稿手段23は,携帯端末2に入力された或いは記憶されている情報を投稿情報としてサーバ装置3に送信し,サーバ装置3に投稿情報の登録要求を行う手段である。
【0063】
図5は,携帯端末2の投稿手段23が実行する処理を説明するフロー図である。サーバ装置3に投稿情報を送信する処理を開始するイベントの発生を検知すると,アノテーション表示手段22は投稿手段23を起動させ,投稿手段23は投稿情報をサーバ装置3に送信する処理を開始する(S10)。
【0064】
図6は,携帯端末2の投稿手段23を起動するアイコンの一例を示した図である。図6では,携帯端末2のタッチパネル2gに,サーバ装置3から送信されたアノテーション情報50が,カメラ回路2eが撮影しているカメラ映像5に合成されて表示され,更に,投稿情報をサーバ装置3に送信する処理を開始するアイコンとして,テキストを入力するためのアイコン51が表示されている。
【0065】
投稿情報をサーバ装置3に送信する処理を開始するイベントは,図6で図示したアイコン51が押されることで,投稿手段23によって実行される。図6で図示したアイコン51が押されると,アノテーション表示手段22は投稿手段23を起動させ,投稿手段23は投稿情報をサーバ装置3に送信する処理を開始する。
【0066】
携帯端末2の投稿手段23は起動すると,テキスト形式の投稿情報を取得する処理を実行した後(S11),位置計測手段20からこの時点の位置情報を取得し(S12),位置情報と共に投稿情報をサーバ装置3へ送信し,サーバ装置3に対して投稿情報の登録要求を行い(S13),図5のフローは終了する。
【0067】
図6では,携帯端末2の投稿手段23は,図6で図示したアイコン51が押されると,タッチパネル2g上にソフトウェアキーボードを表示させ,ユーザが該ソフトウェアキーボードを用いて入力したテキストを投稿情報として取得し,位置計測手段20から取得した位置情報と共にサーバ装置3へ送信する。
【0068】
次に,図1で図示したアノテーション表示システム1を構成するサーバ装置3について説明する。図7は,サーバ装置3に備えられたハードウェアを説明する図で,図8は,サーバ装置3に備えられた機能を説明する図である。
【0069】
サーバ装置3は汎用のウェブサーバで実現され,図7に図示したように,サーバ装置3には,ハードウェアとして,CPU3a(CPU: Central Processing Unit)と、BIOSが実装されるROM3b(ROM: Read-Only Memory)と、コンピュータのメインメモリであるRAM3c(RAM: Random Access Memory)と、外部記憶装置として大容量のデータ記憶装置3d(例えば,ハードディスク)と,外部デバイスとデータ通信するための入出力インターフェース3eと、ネットワーク通信するためのネットワークインターフェース3fと、ディスプレイ3gと,文字入力デバイス3hと,ポインティングデバイス3i,時刻を計測する時計回路3jなどが備えられ,データ記憶装置3dには,サーバ装置3を動作させるコンピュータプログラムが記憶され,更に,複数のデータベース(DB: DataBase)が設けられている。
【0070】
図8で図示した各手段は,サーバ装置3に実装されたコンピュータプログラムによって,サーバ装置3に備えられる機能を示し,サーバ装置3には,携帯端末2からアノテーション情報の送信要求を受けると,アノテーション情報の送信要求に対応するアノテーション情報を携帯端末2に送信するアノテーション送信手段30と,携帯端末2から受信した投稿情報をサーバ装置3に登録する投稿情報登録手段31が備えられ,更に,ユーザが登録した投稿情報を記憶する投稿情報DB32と,ソーシャルサービスのマップ上に設定されたグリッド毎にセルDB33が設けられている。
【0071】
まず,サーバ装置3に備えられた各DBについて説明する。図9は,サーバ装置3に備えられた投稿情報DB32を説明する図で,図9(a)は,投稿情報DB32の格納形式例で,図9(b)は,投稿情報DB32に記憶される内容例である。
【0072】
投稿情報DB32には,携帯端末2から受信した全ての投稿情報が蓄積されるDBで,図9(a)に図示したように,投稿情報DB32には, 投稿情報を識別するための投稿番号,投稿情報を受信したときの投稿日時,投稿情報が送信された投稿地点の位置情報,投稿情報が投稿された地点に対応するセル番号,投稿情報から抽出されたキーワードが付与されて,携帯端末2から受信した投稿情報が記憶される。
【0073】
投稿番号は,サーバ装置3が投稿情報を管理するために,サーバ装置3側で投稿情報に付与した情報で,図9(b)では投稿番号を連番として記載しているが,投稿番号は記号であってもよい。
【0074】
投稿日時は,サーバ装置3が投稿情報を携帯端末2から受信したとき,サーバ装置3の時計回路3jから取得した日時で,図9(b)に図示したように,投稿日時には,サーバ装置3が投稿情報を携帯端末2から受信した年月日と,サーバ装置3が投稿情報を携帯端末2から受信した時刻が含まれる。
【0075】
位置情報は,サーバ装置3が投稿情報を携帯端末2から受信したとき,投稿情報と共に携帯端末2から送信された位置情報で,図9(b)に図示したように,位置情報には,投稿情報を送信した投稿地点の緯度・経度が含まれる。
【0076】
セル番号は,ソーシャルサービスのサービスエリアにおける基準地点及び携帯端末2から受信した位置情報の緯度・経度と,サーバ装置3に設定されているグリッドのグリッドサイズから特定され,携帯端末2から受信した位置情報が含まれるセルのセル番号である。図9(b)では,セル番号を2次元の座標値として記載しているが,セル毎に連番の数値であってもよい。
【0077】
なお,投稿情報に付与されるセル番号は一つではなく,サーバ装置3に設定されたグリッドの数だけ,投稿情報が投稿された地点に対応するセル番号が投稿情報に付与される。図9(a)では,グリッドサイズが10m×10mで,グリッドを識別するグリッドIDが「グリッド1」のグリッド,グリッドサイズが20m×20mで,グリッドを識別するグリッドIDが「グリッド2」のグリッド,グリッドサイズが30m×30mで,グリッドを識別するグリッドIDが「グリッド3」のグリッド,グリッドサイズが50m×50mで,グリッドを識別するグリッドIDが「グリッド4」のグリッドの4つがサーバ装置3に設定され,それぞれのグリッドにおけるセル番号が投稿情報に付与されている。
【0078】
キーワードは,サーバ装置3の投稿情報登録手段31が,携帯端末2から受信した投稿情報を自然言語解析することで,携帯端末2から受信した投稿情報から抽出され,TF/IDFの指標などの重要度が閾値以上の単語で,図9(b)では,投稿情報から抽出されたキーワードを3つであるが,投稿情報から抽出するキーワードの数は任意でよい。
【0079】
投稿情報は,サーバ装置3が,携帯端末2から受信した投稿情報そのもので,図9(b)で図示したように,投稿情報はテキスト形式である。
【0080】
次に,サーバ装置3に備えられ,サーバ装置3に設定されたグリッド毎に設けられるセルDB33について説明する。図10は,サーバ装置3に備えられたセルDB33を説明する図で,図10(a)は,セルDB33の格納形式例で,図10(b)は,セルDB33に記憶される内容例である。
【0081】
セルDB33は,2次元のデータテーブル構造で,サーバ装置3に設定されたグリッド毎に,グリッドに対応するセルDB33がサーバ装置3に備えられ,図10(a)に図示したように,セルDB33の一つのレコードには,サーバ装置3に設定されたグリッドによって分割されたセル毎に,セルを識別するためのセル番号,位置情報がセル内に含まれる投稿情報から抽出されたセル情報(ここでは,キーワード),位置情報がセル内に含まれる投稿情報の投稿番号が記憶される。
【0082】
セル番号については上述しているため,ここでは詳細な説明を省く。図10(b)に図示しているように,セル情報は,セル番号で特定されるレコード内に投稿番号が記憶されている投稿情報のキーワードから抽出されたキーワードで,投稿情報が投稿情報DB32に登録されると,登録された投稿情報から抽出されたキーワードを用いて,投稿地点に対応するセルのレコードのセル情報を更新する処理が実行される。なお,図10(b)では,セル情報に含ませるキーワードの数を3つとしているが,セル情報に含ませるキーワードの数は任意でよい。
【0083】
セル番号で特定されるレコードに記憶される投稿番号は,セル番号で特定されるセルの領域内に位置情報が含まれる全ての投稿情報の投稿番号で,投稿情報が投稿情報DB32に登録されると,登録された投稿情報の投稿地点に対応するセルのレコードに,登録された投稿情報の投稿番号が追加される。
【0084】
まず,サーバ装置3に備えられ,携帯端末2から受信した投稿情報をサーバ装置3に登録する投稿情報登録手段31について説明する。 図11は,サーバ装置3の投稿情報登録手段31が実行する処理を説明するフロー図である。
【0085】
携帯端末2から投稿情報の登録要求を受けると,サーバ装置3の投稿情報登録手段31が起動し,投稿情報登録手段31は,登録要求を受けた投稿情報をサーバ装置3に登録する処理を開始する(S20)。
【0086】
登録要求を受けた投稿情報をサーバ装置3に登録する処理を開始すると,まず,サーバ装置3の投稿情報登録手段31は,携帯端末2から受信した投稿情報の投稿番号を生成する(S21)。例えば,投稿番号の生成に利用するカウンタを備え,カウンタの値を一つだけインクリメントすることで,携帯端末2から受信した投稿情報の投稿番号を生成する。
【0087】
次に,サーバ装置3の投稿情報登録手段31は,サーバ装置3に備えられた時計回路から,この時の日時情報を投稿日時として取得する(S22)。
【0088】
そして,サーバ装置3に設定されたグリッド毎に実行するループ処理L1を実行し,サーバ装置3に設定されたグリッド毎に,投稿情報が投稿された投稿地点に対応するセル番号を取得する(S23)。このループ処理1において,サーバ装置3の投稿情報登録手段31は,ソーシャルサービスのサービスエリアにおける基準地点及び携帯端末2から受信した位置情報の緯度・経度,及び,ループ処理L1の対象となるグリッドのグリッドサイズから,ループ処理1の対象となるグリッドにおいて,投稿情報が投稿された投稿地点に対応するセル番号を求める。
【0089】
次に,サーバ装置3の投稿情報登録手段31は,携帯端末2から受信した投稿情報から所定のルールに従いキーワードを抽出する処理を実行する(S24)。
【0090】
サーバ装置3の投稿情報登録手段31は,携帯端末2から送信された投稿情報を形態素解析することで抽出した単語毎に,TF/IDFの指標などの重要度を算出し,重要度が閾値以上の単語を投稿情報のキーワードとして抽出する。
【0091】
携帯端末2から受信した投稿情報からキーワードを抽出すると,サーバ装置3の投稿情報登録手段31は,S21で生成した投稿番号,S22で取得した投稿日時,携帯端末2から受信した位置情報,ループ処理L1で求めた複数のセル番号,S24で抽出したキーワードを付与して,携帯端末2から受信した投稿情報を投稿情報DB32に記憶する(S25)。
【0092】
携帯端末2から受信した投稿情報を投稿情報DB32に記憶すると,サーバ装置3の投稿情報登録手段31は,サーバ装置3に設定されたグリッド毎に設けられたセルDB33の内容を更新するために,サーバ装置3に設定されたグリッド毎に実行するループ処理L2を実行し,図11の手順を終了する。
【0093】
ループ処理L2において,サーバ装置3の投稿情報登録手段31は,ループ処理L2の対象となるグリッドに対応するセルDB33の中から,ループ処理L1で特定したセル番号に対応するレコードを特定し,該レコードに記憶されている投稿番号に対応する投稿情報全てを投稿情報DB32から検索し,検索した全ての投稿情報に付与されているキーワードを取得する(S26)。
【0094】
そして,サーバ装置3の投稿情報登録手段31は,取得した全てのキーワードを対象とし,キーワードの出現頻度を求め,出現頻度の高い順に上位3個のキーワードを,ループ処理L1で求めたセル番号で特定されるレコードのセル情報として記憶することで(S27),ループ処理2の対象となるグリッドのセルDB33の内容を更新する。
【0095】
次に,サーバ装置3に備えられたアノテーション送信手段30について説明する。図12は,サーバ装置3のアノテーション送信手段30が実行する処理を説明するフロー図である。
【0096】
サーバ装置3に備えられたアノテーション送信手段30は,携帯端末2から受信したアノテーション情報の送信要求を受けると,アノテーション情報を携帯端末2へ送信する処理を開始する(S30)。
【0097】
サーバ装置3に備えられたアノテーション送信手段30は,アノテーション情報を携帯端末2へ送信する処理を開始すると,アノテーション情報の送信要求をした携帯端末2の移動速度を算出する(S31)。
【0098】
サーバ装置3のアノテーション送信手段30は,アノテーション情報の送信要求をした携帯端末2の移動速度を算出するために,アノテーション情報の送信要求をした携帯端末2の固有番号(例えば,携帯電話の電話番号)に関連付けて,アノテーション情報の送信要求を受けた時刻と携帯端末2から受信した位置情報を記憶しておき,今回と前回の時刻及び位置情報の差を利用して携帯端末2の移動速度を算出する。
【0099】
サーバ装置3のアノテーション送信手段30は,携帯端末2の移動速度を算出すると,算出した移動速度が属する移動速度の区分を決定する処理を実行する(S32)。
【0100】
算出した移動速度が属する移動速度の区分を決定するために,サーバ装置3のアノテーション送信手段30には,移動速度の区分毎に,移動速度の範囲,移動速度の区分で利用するグリッドID,グリッドサイズ及びアノテーション情報として利用する情報を定めたルールが設定されている。
【0101】
図13は,移動速度の区分の内容を定めたルールの一例を説明する図である。図13では,携帯端末2の移動速度の区分は5つに分類され,移動速度の区分毎に,移動速度の区分を識別する区分ID,移動速度の範囲,移動速度の区分で利用するグリッドのグリッドID,グリッドサイズ及びアノテーション情報として利用する情報が定められている。
【0102】
区分IDが「01」の区分の移動速度の範囲は「12km/hを超える」で,区分IDが「01」の区分はユーザが乗り物に乗っている状態の区分である。区分IDが「01」の区分では,グリッドIDが「グリッド4」のグリッドが利用され,このグリッドのグリッドサイズは50m×50mで, アノテーション情報としてセル情報全て(ここでは,3個のキーワード)を利用することが定義されている。
【0103】
区分IDが「02」の区分の移動速度の範囲は「7km/hを超え12km/h以下」で,区分IDが「02」の区分はユーザが走っている状態の区分である。区分IDが「02」の区分では,グリッドIDが「グリッド3」のグリッドが利用され,このグリッドのグリッドサイズは30m×30mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0104】
区分IDが「03」の区分の移動速度の範囲は「4km/hを超え7km/h以下」で,区分IDが「03」の区分はユーザが早歩きしている状態の区分である。区分IDが「03」の区分では,グリッドIDが「グリッド2」のグリッドが利用され,このグリッドのグリッドサイズは20m×20mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0105】
区分IDが「04」の区分の移動速度の範囲は「0km/hを超え4km/h以下」で,区分IDが「04」の区分はユーザが歩いている状態の区分である。区分IDが「04」の区分では,グリッドIDが「グリッド1」のグリッドが利用され,このグリッドのグリッドサイズは10m×10mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0106】
区分IDが「05」の区分の移動速度の範囲は「0km/h」で,区分IDが「05」の区分はユーザが静止している状態の区分である。区分IDが「05」の区分では,グリッドIDが「グリッド1」のグリッドが利用され,このグリッドのグリッドサイズは10m×10mで, アノテーション情報として投稿情報そのものを利用することが定義されている。
【0107】
図13で図示したルールに従えば,例えば,算出した携帯端末2の移動速度が「12km/hを超える」に該当する場合,サーバ装置3のアノテーション送信手段30は区分IDが「01」の区分を選択する。また,算出した携帯端末2の移動速度が「0km/hを超え4km/h以下」に該当する場合,サーバ装置3のアノテーション送信手段30は区分IDが「04」の区分を選択する。
【0108】
なお,図13では,区分IDが「01」から「04」の区分では,アノテーション情報としてセル情報全てを利用することが定義されているが,携帯端末2の移動速度の区分に応じて,アノテーション情報としてセル情報の一部を利用するように定義することもできる。
【0109】
例えば,図13において,携帯端末2の移動速度が最も大きい,区分IDが「01」の区分では,アノテーション情報としてセル情報の一部(重要度の最も大きい一つのキーワード)を利用し,携帯端末2の移動速度が次に大きい,区分IDが「02」の区分では,アノテーション情報としてセル情報の一部(重要度が上位の二つのキーワード)を利用するように定義することもできる。
【0110】
サーバ装置3のアノテーション送信手段30は,携帯端末2の移動速度が属する移動速度の区分を決定する処理を実行すると, アノテーション情報の送信要求を携帯端末2から受けたとき,携帯端末2から受信した位置情報及び撮影方位角を用いて,アノテーション情報を表示させるアノテーションエリアを決定した後(S33),移動速度の区分のグリッドを用いたときに,アノテーションエリアに対応するセルのセル番号を特定する(S34)。
【0111】
図14は,本実施形態におけるアノテーションエリアを説明する図である。図14では,サーバ装置3が運営しているソーシャルサービスのサービスエリア6を模式的に正方形とし,サービスエリア6はグリッド60aによってマトリクス状に分割されており,アノテーション情報の送信要求を受けた地点はA地点で,投稿情報の投稿地点は×地点で図示している。
【0112】
本実施形態では,アノテーションエリア61の形状は,A地点を中心した半径R(例えば,300m)の扇型としている。扇型の中心線の方向は,携帯端末2から受信した撮影方位角θ2の方向で,扇型の角度θ1は,予めサーバ装置3に記憶された所定の角度を利用してもよく,また,携帯端末2のカメラの視野角が携帯端末2の型番に関連付けられてサーバ装置3に記憶されている場合は,携帯端末2から得られた型番から特定される視野角を扇型の角度θ1とすることもできる。
【0113】
図14では,アノテーションエリア61に全てまたは一部が含まれるセル(網掛けしているセル)が,アノテーションエリア61に対応するセルとして特定される。
【0114】
なお,図14で図示したアノテーションエリア60は一例にしかすぎず,アノテーションエリア61の形状及びサイズも任意にサーバ装置3に設定することができる。
【0115】
図15は,グリッドサイズの変更に伴い,アノテーションエリアに含まれるセルの数が変更されることを説明する図である。サーバ装置3が運営しているソーシャルサービスのサービスエリア6は,図14のグリッド60aよりもグリッドサイズの大きいグリッド60bによってマトリクス状に分割されている。
【0116】
図15を参照すればわかるように,図14で図示したアノテーションエリア61に対応するセルの数は14個であるが,図14よりもグリッドサイズを大きくした図15では,アノテーションエリア61に対応するセルの数は4個に減っている。
【0117】
後述するように,携帯端末2に送信するアノテーション情報の数は,アノテーションエリア61に対応するセルの数になるため,携帯端末2の移動速度が速くなるにつれてグリッドサイズを大きくすることで,携帯端末2の移動速度が大きくにつれて,携帯端末2に表示するアノテーション情報の数を減らせることができる。
【0118】
図16は,携帯端末2に表示されるアノテーション情報を説明する第1図で,図17は,携帯端末2に表示されるアノテーション情報を説明する第2図である。
【0119】
図14では,投稿情報の投稿地点が含まれるセルの数は4つになるため,図16で図示したように,携帯電話2に表示されるアノテーション情報7aの数は4つになる。また,図15では,投稿情報の投稿地点が含まれるセルの数は3つになるため,図17で図示したように,携帯電話2に表示されるアノテーション情報7bの数は3つになる。また,図15で網掛けした左上のセルには,2つの投稿情報が含まれるため,このセルに対応するアノテーション情報は,2つの投稿情報から抽出されたキーワード(ここでは,パン,アンパン,携帯電話)になる。
【0120】
サーバ装置3のアノテーション送信手段30は,アノテーションエリアに対応するセルのセル番号を特定すると, 図12のS31で決定した移動速度の区分に対応するグリッドのセルDB33を利用し,図12のS31で決定した移動速度の区分に従い,アノテーション情報に利用する情報を図12のS34で特定したセル番号毎に取得する処理を実行する(S35)。
【0121】
アノテーション情報に利用する情報は,図12のS31で決定した移動速度の区分に設定されている内容で異なる。例えば,図13で説明したルールによれば,区分IDが「01」から「04」のいずれかの区分が選択されている場合,アノテーションエリアに対応するセルのセル番号に対応するレコードに記憶されているセル情報をアノテーション情報に利用する情報として取得する。
【0122】
また,例えば,図13で説明したルールによれば,区分IDが「05」の区分が選択されている場合,アノテーションエリアに対応するセルのセル番号に対応するレコードに記憶されている投稿番号に対応する投稿情報を投稿情報DB32から検索し,検索した投稿情報をアノテーション情報として利用する情報として取得する。
【0123】
サーバ装置3のアノテーション送信手段30は,アノテーション情報として利用する情報を取得すると,取得した情報毎に,アノテーション情報を表示させるタッチパネル2g上の位置情報を決定し,アノテーション情報を表示させるタッチパネル2g上の位置情報を付与したアノテーション情報を生成し,生成したアノテーション情報を携帯端末2に送信する(S36)。
【0124】
アノテーション情報を表示させるタッチパネル2g上の位置情報は,アノテーション情報を取得する際,投稿情報が投稿された地点に対応するセルを基準とし,アノテーションエリアに対応するセルそれぞれの相対位置に基づいて決定しておくとよい。例えば,携帯端末2から受信した方位角の方向に対して,投稿情報が投稿された地点に対応するセルより右側(左側)にあるセルは,携帯端末2のタッチパネル2gの右側(左側)に表示し,また,投稿情報が投稿された地点に対応するセルから距離が遠いほど,携帯端末2のタッチパネル2gの上側に表示させるようにすればよい。
【符号の説明】
【0125】
1 アノテーション表示システム
2 携帯端末
20 位置計測手段
21 方位計測手段
22 アノテーション表示手段
23 投稿手段
3 サーバ装置
30 アノテーション送信手段
31 投稿情報登録手段
32 投稿情報DB
33 セルDB
4a 公衆無線回線網
4b インターネット
【技術分野】
【0001】
本発明は,現実空間から得られる情報に,コンピュータ技術を用いて人為的に作り出した情報を重ね合わせる拡張現実の技術に係わる発明である。
【背景技術】
【0002】
現実空間から得られる情報(例えば,デジタルカメラで撮影した画像)に,コンピュータ技術を用いて人為的に作り出した情報(例えば,コンピュータグラフィックス)を重ね合わせる拡張現実(Augmented Reality)を利用したサービスが注目を浴びている。
【0003】
拡張現実を利用するサービスとしては,非特許文献1のように,デジタルカメラで撮影した画像に含まれるマーカに対応した3次元コンピュータグラフィックスを該マーカの向きに合わせて画像上に表示させることも考えられているが,携帯端末に内蔵されたデジタルカメラによって撮影された画像上に,携帯端末で撮影された物(例えば,建物など)に係わるアノテーション情報を重ねて表示する拡張現実サービスも,携帯端末の一部の機種向けに開発されている。
【0004】
なお,拡張現実とは直接的には係わらないかもしれないが,特許文献1では,携帯端末でポインティングデバイスのように扱い,携帯端末でポインティングされた物(例えば,建物など)に係わる情報をユーザに提供できるシステムが開示されている。
【0005】
携帯端末の画面に表示されるアノテーション情報は,拡張現実サービスの提供者によって作成される場合もあるが,拡張現実サービスのユーザによって投稿される場合もある。例えば,地下鉄の駅案内に利用される拡張現実アプリケーションでは,出口案内や店舗の看板などを表示するために,拡張現実サービスの提供者によって作成されたオブジェクトがアノテーションとして利用される。
【0006】
また,ソーシャルサービスで利用される拡張現実サービスでは,文字,画像,音声など,該拡張現実サービスを利用するユーザによって投稿された投稿情報がアノテーション情報として利用される。
【0007】
拡張現実アプリケーションを利用するユーザによって投稿された投稿情報をアノテーション情報として利用する場合,ユーザが投稿した投稿情報の数が増大すると,携帯端末の画面に表示するアノテーション情報が多すぎて,携帯端末の画面が見づらくなるため,ソーシャルサービスで利用される拡張現実サービスの中には,ユーザが投稿情報を投稿した時間,携帯端末の位置から投稿情報が投稿された位置までの距離などに応じ,アノテーション情報をフィルタリングできるアプリケーションもある。
【0008】
一方で,拡張現実アプリケーションが利用可能な携帯端末に着目すると,携帯端末用の車載キットも市販されており,ユーザが携帯端末を利用するときの移動速度の幅も大きく,ユーザが携帯端末を利用するときの移動速度に応じて,携帯端末に表示させるアノテーション情報の情報量を変更できることが望まれている。
【0009】
例えば,ユーザが携帯端末を車で利用するときなど,移動速度が速いシチュエーションでは,携帯端末に表示するアノテーション情報の情報量を少なくし,ユーザが歩きながら携帯端末を利用するときなど,移動速度が遅いシチュエーションでは,携帯端末に表示するアノテーション情報の情報量を多くすることが,ユーザの安全面及び利便性からして望ましい。
【0010】
ユーザの移動速度に応じて表示内容を変更する発明としては,既に,特許文献2において,地図スクロール時にスクロール速度に応じて方面名称等を自動的に変更するシステムが開示されている。しかし,特許文献2で開示されているシステムでは,地図情報に予め登録されている地名を対象としているため,日々投稿される投稿情報には適用できない。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特表2004−531791号公報
【特許文献2】特開2005−292621号公報
【非特許文献】
【0012】
【非特許文献1】Kato, H., Billinghurst, M. (1999)Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System.In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). October, San Francisco, USA.
【発明の概要】
【発明が解決しようとする課題】
【0013】
そこで,本発明は,携帯端末の移動速度に応じて,携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した課題を解決する第1の発明は,アノテーション情報の送信要求を受けるサーバ装置とアノテーション情報の送信要求を行う携帯端末とから少なくとも構成され、拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示システムであって,前記携帯端末は,映像を撮影するカメラ手段と,前記携帯端末の位置情報を計測する位置計測手段と,前記位置計測手段から得られるこの時点の位置情報を少なくとも前記サーバ装置に送信することでアノテーション情報の送信要求を前記サーバ装置に行い,前記サーバ装置から受信した前記アノテーション情報を前記カメラ手段で撮影されている映像に合成して表示するアノテーション表示手段を備え,前記サーバ装置には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えていることを特徴とするアノテーション表示システムである。
【0015】
第1の発明によれば,例えば,前記携帯端末の移動速度が大きいときに利用する前記グリッドのグリッドサイズを大きくし,前記携帯端末の移動速度が小さいときに利用する前記グリッドのグリッドサイズを小さくするように,グリッドサイズが異なる複数の前記グリッドを前記サーバ装置に設定しておけば,前記アノテーションエリアに対応する前記セルの数は,前記携帯端末の移動速度が大きいときに少なくなり,前記携帯端末の移動速度が小さいときに多くなり,前記携帯端末に送信する前記アノテーション情報の数も,前記携帯端末の移動速度に応じて減少するため,前記携帯端末の移動速度に応じて,前記携帯端末に表示する前記アノテーション情報の情報量を変更することができる。
【0016】
更に,第2の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第1の発明に記載のアノテーション表示システムである。
【0017】
前記セルの領域内に前記投稿地点の位置情報が含まれる全ての前記投稿情報の要約である前記セル情報は,前記投稿情報が集約された要約文とすることもできるが,前記セル情報をキーワードとすると,前記携帯端末のユーザは,前記アノテーション情報を見ただけで,前記アノテーション情報の内容を容易に推測できるようになる。
【0018】
更に,第3の発明は,前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第2の発明に記載のアノテーション表示システムである。
【0019】
第3の発明のように,前記アノテーション情報として利用する前記キーワードの数を変更できるようにしておき,前記携帯端末の移動速度が速いとき,前記アノテーション情報として利用する前記キーワードの数を少なくできるようにすることが望ましい。
【0020】
更に,第4の発明は,前記サーバ装置は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第1の発明から第3の発明のいずれか一つに記載のアノテーション表示システムである。
【0021】
前記携帯端末の移動速度が静止状態であるとき,前記携帯端末のユーザはより詳細な情報を探しているとみなせるので、第4の発明のように,前記アノテーション情報の情報量を増やすことが望ましい。
【0022】
更に,第5の発明は,前記携帯端末は,方位角を計測する方位角計測手段を備え,前記アノテーション表示手段は,前記サーバ装置に前記アノテーション情報の送信要求をする際,前記方位角計測手段から得られる方位角から前記カメラ手段が向いている撮影方位角を求め,前記携帯電話の位置情報と共に前記撮影方位角を前記サーバ装置に送信する手段で,前記サーバ装置の前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第1の発明から第4の発明のいずれか一つに記載のアノテーション表示システムである。
【0023】
第5の発明によれば,前記携帯端末の前記カメラ手段の撮影方向で投稿された前記投稿情報に係わる前記アノテーション情報を表示させることができる。
【0024】
更に,第6の発明は,前記携帯端末は,ユーザによって設定された前記投稿情報を前記サーバ装置に送信し,前記投稿情報の登録を前記サーバ装置に要求する投稿情報送信手段を備え,前記サーバ装置は,前記携帯端末から前記投稿情報の登録要求を受けた際,登録要求を受けた前記投稿情報の投稿地点の位置情報を対応付けて該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする第4の発明または第5の発明に記載のアノテーション表示システムである。
【0025】
前記サーバ装置に備えられたデータベースに記憶される情報は,前記サーバ装置以外で生成させることもできるが,第6の発明のようにすれば,前記サーバ装置側で,前記サーバ装置に備えられたデータベースの内容を更新することができる。
【0026】
更に,第7の発明は,アノテーション情報の送信要求をした携帯端末に,前記アノテーション情報を送信するサーバ装置であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えていることを特徴とするサーバ装置である。
【0027】
更に,第8の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第7の発明に記載のサーバ装置である。
【0028】
更に,第9の発明は,前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第8の発明に記載のサーバ装置である。
【0029】
更に,第10の発明は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第7の発明から第9の発明のいずれか一つに記載のサーバ装置である。
【0030】
更に,第11の発明は,前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第7の発明から第10の発明のいずれか一つに記載のサーバ装置である。
【0031】
更に,第12の発明は,前記携帯端末から前記投稿情報の登録要求を受けた際,該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする第10の発明または第11の発明に記載のサーバ装置である。
【0032】
第7の発明から第12の発明は,第1の発明から第6の発明に記載のアノテーション表示システムを実現するために必要なサーバ装置に係わる発明である。
【0033】
更に,第13の発明は,携帯端末に拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示方法であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備えているサーバ装置が,前記携帯端末からのアノテーション情報の送信要求を受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用いて,前記アノテーション情報を表示させるアノテーションエリアを求めるステップa,前記サーバ装置が,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するステップbが実行されることを特徴とするアノテーション表示方法である。
【0034】
更に,第14の発明は,前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする第13の発明に記載のアノテーション表示方法である。
【0035】
更に,第15の発明は,前記ステップbにおいて,前記サーバ装置は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする第14の発明に記載のアノテーション表示方法である。
【0036】
更に,第16の発明は,前記ステップaにおいて,前記サーバ装置は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする第13の発明から第15の発明のいずれか一つに記載のアノテーション表示方法である。
【0037】
更に,第17の発明は,前記ステップbにおいて,前記サーバ装置は,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを参照し,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする第13の発明から第16の発明のいずれか一つに記載のアノテーション表示方法である。
【0038】
第13の発明から第17の発明は方法に係わる発明で,第1の発明から第5の発明と同様の効果を得ることができる。
【発明の効果】
【0039】
このように,本発明によれば,携帯端末の移動速度に応じて,携帯端末に表示するアノテーション情報の情報量を変更することのできるアノテーション表示システム及び方法を提供できる。
【図面の簡単な説明】
【0040】
【図1】本実施形態におけるアノテーション表示システムを説明する図。
【図2】携帯端末に備えられたハードウェアを説明する図。
【図3】携帯端末に備えられた機能を説明する図。
【図4】携帯端末のアノテーション表示手段が実行する処理を説明するフロー図。
【図5】携帯端末の投稿手段が実行する処理を説明するフロー図。
【図6】携帯端末の投稿手段を起動するアイコンの一例を示した図。
【図7】サーバ装置に備えられたハードウェアを説明する図。
【図8】サーバ装置に備えられた機能を説明する図。
【図9】サーバ装置に備えられた投稿情報DBを説明する図。
【図10】サーバ装置に備えられたセルDBを説明する図。
【図11】サーバ装置の投稿情報登録手段が実行する処理を説明するフロー図。
【図12】サーバ装置のアノテーション送信手段が実行する処理を説明するフロー図。
【図13】移動速度の区分の内容を定めたルールの一例を説明する図。
【図14】本実施形態におけるアノテーションエリアを説明する図。
【図15】グリッドサイズの変更に伴い,アノテーションエリアに含まれるセルの数が変更されることを説明する図。
【図16】携帯端末に表示されるアノテーション情報を説明する第1図。
【図17】携帯端末に表示されるアノテーション情報を説明する第2図。
【発明を実施するための形態】
【0041】
ここから,本願発明の技術分野に係わる当業者が,本願発明の内容を理解し,本願発明を実施できる程度に本願発明の実施形態について説明する。
【0042】
図1は,本実施形態におけるアノテーション表示システム1を説明する図である。図1で図示したアノテーション表示システム1は,拡張現実を利用したソーシャルサービス向けに開発されたシステムで,図1で図示したアノテーション表示システム1には,拡張現実を利用したソーシャルサービスが運営されているサーバ装置3と,アノテーション表示システム1のユーザが所持し,サーバ装置3にアクセスする携帯端末2(例えば,スマートフォンや携帯電話)が装置として含まれ,携帯端末2用の公衆無線回線網4bとインターネット4aがネットワークとして含まれている。なお,図1では,携帯端末2を1台として記載しているが,実際は,数多くの携帯端末2からサーバ装置3にアクセス可能なように構成されている。
【0043】
ユーザが所持する携帯端末2は,公衆無線回線網4bを介してインターネット4aに接続できる機能を備え,図1で図示したアノテーション表示システム1を利用するための拡張現実アプリケーションが実装されている。
【0044】
携帯端末2上で拡張現実アプリケーションが起動すると,拡張現実アプリケーションは,携帯端末2に備えられたカメラで撮影されたカメラ画像を表示する処理を実行すると共に,所定の時間間隔毎に携帯端末2の位置情報(緯度・経度)及びカメラで撮影している方位角である撮影方位角をサーバ装置3に送信することで,サーバ装置3に対してアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ画像上に合成して表示させる処理を実行する。
【0045】
サーバ装置3には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,携帯端末2の移動速度の区分毎に,携帯端末2の移動速度が区分に対応するグリッドが定められている。
【0046】
サーバ装置3は,アノテーション情報の送信要求を携帯端末2から受けると,携帯端末2の移動速度に応じて利用するグリッドを決定し,携帯端末2から送信された位置情報及び撮影方位角に従い,アノテーション情報を表示させるアノテーションエリアを決定した後,アノテーションエリアに対応するセルを特定し,特定したセル毎にアノテーション情報を生成し,生成したアノテーション情報を携帯端末2に送信する。
【0047】
携帯端末2の移動速度が大きいときに利用するグリッドのグリッドサイズを大きくし,携帯端末2の移動速度が小さいときに利用するグリッドのグリッドサイズを小さくするなどして,グリッドサイズを携帯端末2の移動速度の大きさに応じて変更しておけば,アノテーションエリアに対応するセルの数,すなわち,携帯端末2に表示させるアノテーションの数を携帯端末2の移動速度の区分に応じて変更させることができる。
【0048】
また,グリッド上のセル毎に,位置情報がセルの領域内に含まれる全ての投稿情報から抽出した数個(ここでは,3個)のキーワードを,位置情報がセルの領域内に含まれる全ての投稿情報を集約したセル情報として記憶しておき,セル情報の一部又は全てをアノテーション情報として利用することで,アノテーション情報自体の情報量は小さくなる。
【0049】
ここから,図1を図示したアノテーション表示システム1を構成する携帯端末2について詳細に説明する。図2は,携帯端末2に備えられたハードウェアを説明する図で,図3は,携帯端末2に備えられた機能を説明する図である。
【0050】
図2に図示したように,携帯端末2には,無線通信するときに利用する無線通信用アンテナ2i,無線通信に係わる高周波処理を担う無線通信回路2a,携帯端末2に係わる様々な処理を担うベースバンド回路2b,表示デバイスと操作パネルの機能を兼ね備えたタッチパネル2g,タッチパネル2gを制御するタッチパネル制御回路2f,公衆無線回線網4bの中継ポイントから受信した電波の強度を利用して携帯端末2の位置情報(緯度・経度)を計測するGPS回路2c(GPS: Global Positioning System),前後左右の磁気センサを有し,携帯端末2の基準位置が向いている方位角を計測する電子コンパス回路2d,レンズなどの光学系に加え画像素子を有するカメラ回路2e,及び,時刻を計測するための時計回路2hが備えられている。
【0051】
携帯端末2に実装されているベースバンド回路2bとは,演算プロセッサ,ROM,RAMなどが実装された回路で,ベースバンド回路2b上で動作するアプリケーションの一つとして拡張現実アプリケーションが実装されている。
【0052】
図3で図示した各手段は,携帯端末2に実装された拡張現実アプリケーションによって,携帯端末2に備えられる機能を示し,携帯端末2上で拡張現実アプリケーションが起動することで,携帯端末2には,携帯端末2が存在する地点の位置情報を計測する位置計測手段20と,携帯端末2の基準位置が向いている方位角を計測する方位計測手段21と,サーバ装置3にアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ回路で撮影された映像に合成して表示するアノテーション表示手段22と,ユーザが投稿情報をサーバ装置3に登録するきに利用する投稿手段23が備えられる。
【0053】
携帯端末2に備えられた位置計測手段20は,携帯端末2のGPS回路2cを利用してこの地点の位置情報(緯度・経度)を計測する手段である。携帯端末2の位置情報を計測する手法としては,携帯端末2が無線通信可能な中継ポイントとの通信時間に従い携帯端末2内部で位置情報を計測する手法と,携帯端末2が無線通信可能な中継ポイントとの通信時間に従い,公衆無線回線網4bに配置された中央装置が携帯端末2の位置情報を計測する手法の2つの手法があるが,いずれの手法を用いてもよい。
【0054】
携帯端末2の方位角を計測する方位計測手段21は,携帯端末2の電子コンパス回路2dから,携帯端末2の基準位置が向いている方位角を取得する手段である。
【0055】
携帯端末2に備えられたアノテーション表示手段22は,カメラ回路2eを作動させ,カメラ回路2eが撮影している映像をタッチパネル2gにリアルタイムで表示する処理を実行した後,所定の時間間隔が経過する毎に,サーバ装置3にアノテーション情報の送信要求を行い,サーバ装置3から受信したアノテーション情報をカメラ回路2eで撮影している映像に合成して表示する手段である。
【0056】
図4は,携帯端末2のアノテーション表示手段22が実行する処理を説明するフロー図である。携帯端末2上で拡張現実アプリケーションが起動すると,携帯端末2のアノテーション表示手段22が自動的に起動する(S1)。
【0057】
携帯端末2のアノテーション表示手段22が起動すると,携帯端末2のアノテーション表示手段22は,携帯端末2に備えられたカメラ回路2eを作動させて映像の撮影を開始し,カメラ回路2eが撮影しているカメラ映像をリアルタイムで携帯端末2のタッチパネル2gに表示する処理を開始する(S2)。
【0058】
カメラ回路2eが撮影しているカメラ映像をリアルタイムで携帯端末2のタッチパネル2gに表示する処理を実行すると,携帯端末2のアノテーション表示手段22は,位置計測手段20及び方位計測手段21からこの時点における携帯端末2の位置情報及び方位角を取得し,携帯端末2の基準位置とカメラ回路2eの撮影方向の角度差を利用して撮影方位角を求めた後,携帯端末2の位置情報及び撮影方位角を含むメッセージをサーバ装置3に送信することで,サーバ装置3にアノテーション情報の送信要求を行う(S3)。
【0059】
携帯端末2のアノテーション表示手段22は,アノテーション情報の送信要求した後に,サーバ装置3からアノテーション情報を受信すると,サーバ装置3から受信したアノテーション情報それぞれをカメラ映像に合成して表示する処理を実行する(S4)。
【0060】
なお,サーバ装置3から送信されるアノテーション情報には,テキスト形式のアノテーション情報に加え,アノテーション情報を表示する画面上の位置情報が含まれ,携帯端末2のアノテーション表示手段22は,アノテーション情報を表示する画面上の位置情報に従い,それぞれのアノテーション情報を所定のフォーマット(例えば,吹き出し)でタッチパネル2g上に表示させる。
【0061】
携帯端末2のアノテーション表示手段22は,サーバ装置3から送信されたアノテーション情報を表示させると,時計回路2hを利用して所定の時間間隔を計測し,所定の時間間隔が経過する毎に,アノテーション情報の送信要求をサーバ装置3に行い(S5),サーバ装置3から受信したアノテーション情報を表示する処理を,拡張現実アプリケーションが携帯端末2上で終了するまで繰り返し実行する(S6)。
【0062】
携帯端末2に備えられた投稿手段23は,携帯端末2に入力された或いは記憶されている情報を投稿情報としてサーバ装置3に送信し,サーバ装置3に投稿情報の登録要求を行う手段である。
【0063】
図5は,携帯端末2の投稿手段23が実行する処理を説明するフロー図である。サーバ装置3に投稿情報を送信する処理を開始するイベントの発生を検知すると,アノテーション表示手段22は投稿手段23を起動させ,投稿手段23は投稿情報をサーバ装置3に送信する処理を開始する(S10)。
【0064】
図6は,携帯端末2の投稿手段23を起動するアイコンの一例を示した図である。図6では,携帯端末2のタッチパネル2gに,サーバ装置3から送信されたアノテーション情報50が,カメラ回路2eが撮影しているカメラ映像5に合成されて表示され,更に,投稿情報をサーバ装置3に送信する処理を開始するアイコンとして,テキストを入力するためのアイコン51が表示されている。
【0065】
投稿情報をサーバ装置3に送信する処理を開始するイベントは,図6で図示したアイコン51が押されることで,投稿手段23によって実行される。図6で図示したアイコン51が押されると,アノテーション表示手段22は投稿手段23を起動させ,投稿手段23は投稿情報をサーバ装置3に送信する処理を開始する。
【0066】
携帯端末2の投稿手段23は起動すると,テキスト形式の投稿情報を取得する処理を実行した後(S11),位置計測手段20からこの時点の位置情報を取得し(S12),位置情報と共に投稿情報をサーバ装置3へ送信し,サーバ装置3に対して投稿情報の登録要求を行い(S13),図5のフローは終了する。
【0067】
図6では,携帯端末2の投稿手段23は,図6で図示したアイコン51が押されると,タッチパネル2g上にソフトウェアキーボードを表示させ,ユーザが該ソフトウェアキーボードを用いて入力したテキストを投稿情報として取得し,位置計測手段20から取得した位置情報と共にサーバ装置3へ送信する。
【0068】
次に,図1で図示したアノテーション表示システム1を構成するサーバ装置3について説明する。図7は,サーバ装置3に備えられたハードウェアを説明する図で,図8は,サーバ装置3に備えられた機能を説明する図である。
【0069】
サーバ装置3は汎用のウェブサーバで実現され,図7に図示したように,サーバ装置3には,ハードウェアとして,CPU3a(CPU: Central Processing Unit)と、BIOSが実装されるROM3b(ROM: Read-Only Memory)と、コンピュータのメインメモリであるRAM3c(RAM: Random Access Memory)と、外部記憶装置として大容量のデータ記憶装置3d(例えば,ハードディスク)と,外部デバイスとデータ通信するための入出力インターフェース3eと、ネットワーク通信するためのネットワークインターフェース3fと、ディスプレイ3gと,文字入力デバイス3hと,ポインティングデバイス3i,時刻を計測する時計回路3jなどが備えられ,データ記憶装置3dには,サーバ装置3を動作させるコンピュータプログラムが記憶され,更に,複数のデータベース(DB: DataBase)が設けられている。
【0070】
図8で図示した各手段は,サーバ装置3に実装されたコンピュータプログラムによって,サーバ装置3に備えられる機能を示し,サーバ装置3には,携帯端末2からアノテーション情報の送信要求を受けると,アノテーション情報の送信要求に対応するアノテーション情報を携帯端末2に送信するアノテーション送信手段30と,携帯端末2から受信した投稿情報をサーバ装置3に登録する投稿情報登録手段31が備えられ,更に,ユーザが登録した投稿情報を記憶する投稿情報DB32と,ソーシャルサービスのマップ上に設定されたグリッド毎にセルDB33が設けられている。
【0071】
まず,サーバ装置3に備えられた各DBについて説明する。図9は,サーバ装置3に備えられた投稿情報DB32を説明する図で,図9(a)は,投稿情報DB32の格納形式例で,図9(b)は,投稿情報DB32に記憶される内容例である。
【0072】
投稿情報DB32には,携帯端末2から受信した全ての投稿情報が蓄積されるDBで,図9(a)に図示したように,投稿情報DB32には, 投稿情報を識別するための投稿番号,投稿情報を受信したときの投稿日時,投稿情報が送信された投稿地点の位置情報,投稿情報が投稿された地点に対応するセル番号,投稿情報から抽出されたキーワードが付与されて,携帯端末2から受信した投稿情報が記憶される。
【0073】
投稿番号は,サーバ装置3が投稿情報を管理するために,サーバ装置3側で投稿情報に付与した情報で,図9(b)では投稿番号を連番として記載しているが,投稿番号は記号であってもよい。
【0074】
投稿日時は,サーバ装置3が投稿情報を携帯端末2から受信したとき,サーバ装置3の時計回路3jから取得した日時で,図9(b)に図示したように,投稿日時には,サーバ装置3が投稿情報を携帯端末2から受信した年月日と,サーバ装置3が投稿情報を携帯端末2から受信した時刻が含まれる。
【0075】
位置情報は,サーバ装置3が投稿情報を携帯端末2から受信したとき,投稿情報と共に携帯端末2から送信された位置情報で,図9(b)に図示したように,位置情報には,投稿情報を送信した投稿地点の緯度・経度が含まれる。
【0076】
セル番号は,ソーシャルサービスのサービスエリアにおける基準地点及び携帯端末2から受信した位置情報の緯度・経度と,サーバ装置3に設定されているグリッドのグリッドサイズから特定され,携帯端末2から受信した位置情報が含まれるセルのセル番号である。図9(b)では,セル番号を2次元の座標値として記載しているが,セル毎に連番の数値であってもよい。
【0077】
なお,投稿情報に付与されるセル番号は一つではなく,サーバ装置3に設定されたグリッドの数だけ,投稿情報が投稿された地点に対応するセル番号が投稿情報に付与される。図9(a)では,グリッドサイズが10m×10mで,グリッドを識別するグリッドIDが「グリッド1」のグリッド,グリッドサイズが20m×20mで,グリッドを識別するグリッドIDが「グリッド2」のグリッド,グリッドサイズが30m×30mで,グリッドを識別するグリッドIDが「グリッド3」のグリッド,グリッドサイズが50m×50mで,グリッドを識別するグリッドIDが「グリッド4」のグリッドの4つがサーバ装置3に設定され,それぞれのグリッドにおけるセル番号が投稿情報に付与されている。
【0078】
キーワードは,サーバ装置3の投稿情報登録手段31が,携帯端末2から受信した投稿情報を自然言語解析することで,携帯端末2から受信した投稿情報から抽出され,TF/IDFの指標などの重要度が閾値以上の単語で,図9(b)では,投稿情報から抽出されたキーワードを3つであるが,投稿情報から抽出するキーワードの数は任意でよい。
【0079】
投稿情報は,サーバ装置3が,携帯端末2から受信した投稿情報そのもので,図9(b)で図示したように,投稿情報はテキスト形式である。
【0080】
次に,サーバ装置3に備えられ,サーバ装置3に設定されたグリッド毎に設けられるセルDB33について説明する。図10は,サーバ装置3に備えられたセルDB33を説明する図で,図10(a)は,セルDB33の格納形式例で,図10(b)は,セルDB33に記憶される内容例である。
【0081】
セルDB33は,2次元のデータテーブル構造で,サーバ装置3に設定されたグリッド毎に,グリッドに対応するセルDB33がサーバ装置3に備えられ,図10(a)に図示したように,セルDB33の一つのレコードには,サーバ装置3に設定されたグリッドによって分割されたセル毎に,セルを識別するためのセル番号,位置情報がセル内に含まれる投稿情報から抽出されたセル情報(ここでは,キーワード),位置情報がセル内に含まれる投稿情報の投稿番号が記憶される。
【0082】
セル番号については上述しているため,ここでは詳細な説明を省く。図10(b)に図示しているように,セル情報は,セル番号で特定されるレコード内に投稿番号が記憶されている投稿情報のキーワードから抽出されたキーワードで,投稿情報が投稿情報DB32に登録されると,登録された投稿情報から抽出されたキーワードを用いて,投稿地点に対応するセルのレコードのセル情報を更新する処理が実行される。なお,図10(b)では,セル情報に含ませるキーワードの数を3つとしているが,セル情報に含ませるキーワードの数は任意でよい。
【0083】
セル番号で特定されるレコードに記憶される投稿番号は,セル番号で特定されるセルの領域内に位置情報が含まれる全ての投稿情報の投稿番号で,投稿情報が投稿情報DB32に登録されると,登録された投稿情報の投稿地点に対応するセルのレコードに,登録された投稿情報の投稿番号が追加される。
【0084】
まず,サーバ装置3に備えられ,携帯端末2から受信した投稿情報をサーバ装置3に登録する投稿情報登録手段31について説明する。 図11は,サーバ装置3の投稿情報登録手段31が実行する処理を説明するフロー図である。
【0085】
携帯端末2から投稿情報の登録要求を受けると,サーバ装置3の投稿情報登録手段31が起動し,投稿情報登録手段31は,登録要求を受けた投稿情報をサーバ装置3に登録する処理を開始する(S20)。
【0086】
登録要求を受けた投稿情報をサーバ装置3に登録する処理を開始すると,まず,サーバ装置3の投稿情報登録手段31は,携帯端末2から受信した投稿情報の投稿番号を生成する(S21)。例えば,投稿番号の生成に利用するカウンタを備え,カウンタの値を一つだけインクリメントすることで,携帯端末2から受信した投稿情報の投稿番号を生成する。
【0087】
次に,サーバ装置3の投稿情報登録手段31は,サーバ装置3に備えられた時計回路から,この時の日時情報を投稿日時として取得する(S22)。
【0088】
そして,サーバ装置3に設定されたグリッド毎に実行するループ処理L1を実行し,サーバ装置3に設定されたグリッド毎に,投稿情報が投稿された投稿地点に対応するセル番号を取得する(S23)。このループ処理1において,サーバ装置3の投稿情報登録手段31は,ソーシャルサービスのサービスエリアにおける基準地点及び携帯端末2から受信した位置情報の緯度・経度,及び,ループ処理L1の対象となるグリッドのグリッドサイズから,ループ処理1の対象となるグリッドにおいて,投稿情報が投稿された投稿地点に対応するセル番号を求める。
【0089】
次に,サーバ装置3の投稿情報登録手段31は,携帯端末2から受信した投稿情報から所定のルールに従いキーワードを抽出する処理を実行する(S24)。
【0090】
サーバ装置3の投稿情報登録手段31は,携帯端末2から送信された投稿情報を形態素解析することで抽出した単語毎に,TF/IDFの指標などの重要度を算出し,重要度が閾値以上の単語を投稿情報のキーワードとして抽出する。
【0091】
携帯端末2から受信した投稿情報からキーワードを抽出すると,サーバ装置3の投稿情報登録手段31は,S21で生成した投稿番号,S22で取得した投稿日時,携帯端末2から受信した位置情報,ループ処理L1で求めた複数のセル番号,S24で抽出したキーワードを付与して,携帯端末2から受信した投稿情報を投稿情報DB32に記憶する(S25)。
【0092】
携帯端末2から受信した投稿情報を投稿情報DB32に記憶すると,サーバ装置3の投稿情報登録手段31は,サーバ装置3に設定されたグリッド毎に設けられたセルDB33の内容を更新するために,サーバ装置3に設定されたグリッド毎に実行するループ処理L2を実行し,図11の手順を終了する。
【0093】
ループ処理L2において,サーバ装置3の投稿情報登録手段31は,ループ処理L2の対象となるグリッドに対応するセルDB33の中から,ループ処理L1で特定したセル番号に対応するレコードを特定し,該レコードに記憶されている投稿番号に対応する投稿情報全てを投稿情報DB32から検索し,検索した全ての投稿情報に付与されているキーワードを取得する(S26)。
【0094】
そして,サーバ装置3の投稿情報登録手段31は,取得した全てのキーワードを対象とし,キーワードの出現頻度を求め,出現頻度の高い順に上位3個のキーワードを,ループ処理L1で求めたセル番号で特定されるレコードのセル情報として記憶することで(S27),ループ処理2の対象となるグリッドのセルDB33の内容を更新する。
【0095】
次に,サーバ装置3に備えられたアノテーション送信手段30について説明する。図12は,サーバ装置3のアノテーション送信手段30が実行する処理を説明するフロー図である。
【0096】
サーバ装置3に備えられたアノテーション送信手段30は,携帯端末2から受信したアノテーション情報の送信要求を受けると,アノテーション情報を携帯端末2へ送信する処理を開始する(S30)。
【0097】
サーバ装置3に備えられたアノテーション送信手段30は,アノテーション情報を携帯端末2へ送信する処理を開始すると,アノテーション情報の送信要求をした携帯端末2の移動速度を算出する(S31)。
【0098】
サーバ装置3のアノテーション送信手段30は,アノテーション情報の送信要求をした携帯端末2の移動速度を算出するために,アノテーション情報の送信要求をした携帯端末2の固有番号(例えば,携帯電話の電話番号)に関連付けて,アノテーション情報の送信要求を受けた時刻と携帯端末2から受信した位置情報を記憶しておき,今回と前回の時刻及び位置情報の差を利用して携帯端末2の移動速度を算出する。
【0099】
サーバ装置3のアノテーション送信手段30は,携帯端末2の移動速度を算出すると,算出した移動速度が属する移動速度の区分を決定する処理を実行する(S32)。
【0100】
算出した移動速度が属する移動速度の区分を決定するために,サーバ装置3のアノテーション送信手段30には,移動速度の区分毎に,移動速度の範囲,移動速度の区分で利用するグリッドID,グリッドサイズ及びアノテーション情報として利用する情報を定めたルールが設定されている。
【0101】
図13は,移動速度の区分の内容を定めたルールの一例を説明する図である。図13では,携帯端末2の移動速度の区分は5つに分類され,移動速度の区分毎に,移動速度の区分を識別する区分ID,移動速度の範囲,移動速度の区分で利用するグリッドのグリッドID,グリッドサイズ及びアノテーション情報として利用する情報が定められている。
【0102】
区分IDが「01」の区分の移動速度の範囲は「12km/hを超える」で,区分IDが「01」の区分はユーザが乗り物に乗っている状態の区分である。区分IDが「01」の区分では,グリッドIDが「グリッド4」のグリッドが利用され,このグリッドのグリッドサイズは50m×50mで, アノテーション情報としてセル情報全て(ここでは,3個のキーワード)を利用することが定義されている。
【0103】
区分IDが「02」の区分の移動速度の範囲は「7km/hを超え12km/h以下」で,区分IDが「02」の区分はユーザが走っている状態の区分である。区分IDが「02」の区分では,グリッドIDが「グリッド3」のグリッドが利用され,このグリッドのグリッドサイズは30m×30mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0104】
区分IDが「03」の区分の移動速度の範囲は「4km/hを超え7km/h以下」で,区分IDが「03」の区分はユーザが早歩きしている状態の区分である。区分IDが「03」の区分では,グリッドIDが「グリッド2」のグリッドが利用され,このグリッドのグリッドサイズは20m×20mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0105】
区分IDが「04」の区分の移動速度の範囲は「0km/hを超え4km/h以下」で,区分IDが「04」の区分はユーザが歩いている状態の区分である。区分IDが「04」の区分では,グリッドIDが「グリッド1」のグリッドが利用され,このグリッドのグリッドサイズは10m×10mで, アノテーション情報としてセル情報全てを利用することが定義されている。
【0106】
区分IDが「05」の区分の移動速度の範囲は「0km/h」で,区分IDが「05」の区分はユーザが静止している状態の区分である。区分IDが「05」の区分では,グリッドIDが「グリッド1」のグリッドが利用され,このグリッドのグリッドサイズは10m×10mで, アノテーション情報として投稿情報そのものを利用することが定義されている。
【0107】
図13で図示したルールに従えば,例えば,算出した携帯端末2の移動速度が「12km/hを超える」に該当する場合,サーバ装置3のアノテーション送信手段30は区分IDが「01」の区分を選択する。また,算出した携帯端末2の移動速度が「0km/hを超え4km/h以下」に該当する場合,サーバ装置3のアノテーション送信手段30は区分IDが「04」の区分を選択する。
【0108】
なお,図13では,区分IDが「01」から「04」の区分では,アノテーション情報としてセル情報全てを利用することが定義されているが,携帯端末2の移動速度の区分に応じて,アノテーション情報としてセル情報の一部を利用するように定義することもできる。
【0109】
例えば,図13において,携帯端末2の移動速度が最も大きい,区分IDが「01」の区分では,アノテーション情報としてセル情報の一部(重要度の最も大きい一つのキーワード)を利用し,携帯端末2の移動速度が次に大きい,区分IDが「02」の区分では,アノテーション情報としてセル情報の一部(重要度が上位の二つのキーワード)を利用するように定義することもできる。
【0110】
サーバ装置3のアノテーション送信手段30は,携帯端末2の移動速度が属する移動速度の区分を決定する処理を実行すると, アノテーション情報の送信要求を携帯端末2から受けたとき,携帯端末2から受信した位置情報及び撮影方位角を用いて,アノテーション情報を表示させるアノテーションエリアを決定した後(S33),移動速度の区分のグリッドを用いたときに,アノテーションエリアに対応するセルのセル番号を特定する(S34)。
【0111】
図14は,本実施形態におけるアノテーションエリアを説明する図である。図14では,サーバ装置3が運営しているソーシャルサービスのサービスエリア6を模式的に正方形とし,サービスエリア6はグリッド60aによってマトリクス状に分割されており,アノテーション情報の送信要求を受けた地点はA地点で,投稿情報の投稿地点は×地点で図示している。
【0112】
本実施形態では,アノテーションエリア61の形状は,A地点を中心した半径R(例えば,300m)の扇型としている。扇型の中心線の方向は,携帯端末2から受信した撮影方位角θ2の方向で,扇型の角度θ1は,予めサーバ装置3に記憶された所定の角度を利用してもよく,また,携帯端末2のカメラの視野角が携帯端末2の型番に関連付けられてサーバ装置3に記憶されている場合は,携帯端末2から得られた型番から特定される視野角を扇型の角度θ1とすることもできる。
【0113】
図14では,アノテーションエリア61に全てまたは一部が含まれるセル(網掛けしているセル)が,アノテーションエリア61に対応するセルとして特定される。
【0114】
なお,図14で図示したアノテーションエリア60は一例にしかすぎず,アノテーションエリア61の形状及びサイズも任意にサーバ装置3に設定することができる。
【0115】
図15は,グリッドサイズの変更に伴い,アノテーションエリアに含まれるセルの数が変更されることを説明する図である。サーバ装置3が運営しているソーシャルサービスのサービスエリア6は,図14のグリッド60aよりもグリッドサイズの大きいグリッド60bによってマトリクス状に分割されている。
【0116】
図15を参照すればわかるように,図14で図示したアノテーションエリア61に対応するセルの数は14個であるが,図14よりもグリッドサイズを大きくした図15では,アノテーションエリア61に対応するセルの数は4個に減っている。
【0117】
後述するように,携帯端末2に送信するアノテーション情報の数は,アノテーションエリア61に対応するセルの数になるため,携帯端末2の移動速度が速くなるにつれてグリッドサイズを大きくすることで,携帯端末2の移動速度が大きくにつれて,携帯端末2に表示するアノテーション情報の数を減らせることができる。
【0118】
図16は,携帯端末2に表示されるアノテーション情報を説明する第1図で,図17は,携帯端末2に表示されるアノテーション情報を説明する第2図である。
【0119】
図14では,投稿情報の投稿地点が含まれるセルの数は4つになるため,図16で図示したように,携帯電話2に表示されるアノテーション情報7aの数は4つになる。また,図15では,投稿情報の投稿地点が含まれるセルの数は3つになるため,図17で図示したように,携帯電話2に表示されるアノテーション情報7bの数は3つになる。また,図15で網掛けした左上のセルには,2つの投稿情報が含まれるため,このセルに対応するアノテーション情報は,2つの投稿情報から抽出されたキーワード(ここでは,パン,アンパン,携帯電話)になる。
【0120】
サーバ装置3のアノテーション送信手段30は,アノテーションエリアに対応するセルのセル番号を特定すると, 図12のS31で決定した移動速度の区分に対応するグリッドのセルDB33を利用し,図12のS31で決定した移動速度の区分に従い,アノテーション情報に利用する情報を図12のS34で特定したセル番号毎に取得する処理を実行する(S35)。
【0121】
アノテーション情報に利用する情報は,図12のS31で決定した移動速度の区分に設定されている内容で異なる。例えば,図13で説明したルールによれば,区分IDが「01」から「04」のいずれかの区分が選択されている場合,アノテーションエリアに対応するセルのセル番号に対応するレコードに記憶されているセル情報をアノテーション情報に利用する情報として取得する。
【0122】
また,例えば,図13で説明したルールによれば,区分IDが「05」の区分が選択されている場合,アノテーションエリアに対応するセルのセル番号に対応するレコードに記憶されている投稿番号に対応する投稿情報を投稿情報DB32から検索し,検索した投稿情報をアノテーション情報として利用する情報として取得する。
【0123】
サーバ装置3のアノテーション送信手段30は,アノテーション情報として利用する情報を取得すると,取得した情報毎に,アノテーション情報を表示させるタッチパネル2g上の位置情報を決定し,アノテーション情報を表示させるタッチパネル2g上の位置情報を付与したアノテーション情報を生成し,生成したアノテーション情報を携帯端末2に送信する(S36)。
【0124】
アノテーション情報を表示させるタッチパネル2g上の位置情報は,アノテーション情報を取得する際,投稿情報が投稿された地点に対応するセルを基準とし,アノテーションエリアに対応するセルそれぞれの相対位置に基づいて決定しておくとよい。例えば,携帯端末2から受信した方位角の方向に対して,投稿情報が投稿された地点に対応するセルより右側(左側)にあるセルは,携帯端末2のタッチパネル2gの右側(左側)に表示し,また,投稿情報が投稿された地点に対応するセルから距離が遠いほど,携帯端末2のタッチパネル2gの上側に表示させるようにすればよい。
【符号の説明】
【0125】
1 アノテーション表示システム
2 携帯端末
20 位置計測手段
21 方位計測手段
22 アノテーション表示手段
23 投稿手段
3 サーバ装置
30 アノテーション送信手段
31 投稿情報登録手段
32 投稿情報DB
33 セルDB
4a 公衆無線回線網
4b インターネット
【特許請求の範囲】
【請求項1】
アノテーション情報の送信要求を受けるサーバ装置とアノテーション情報の送信要求を行う携帯端末とから少なくとも構成され、拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示システムであって,
前記携帯端末は,映像を撮影するカメラ手段と,前記携帯端末の位置情報を計測する位置計測手段と,前記位置計測手段から得られるこの時点の位置情報を少なくとも前記サーバ装置に送信することでアノテーション情報の送信要求を前記サーバ装置に行い,前記サーバ装置から受信した前記アノテーション情報を前記カメラ手段で撮影されている映像に合成して表示するアノテーション表示手段を備え,
前記サーバ装置には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えている,
ことを特徴とするアノテーション表示システム。
【請求項2】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項1に記載のアノテーション表示システム。
【請求項3】
前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項2に記載のアノテーション表示システム。
【請求項4】
前記サーバ装置は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項1から請求項3のいずれか一つに記載のアノテーション表示システム。
【請求項5】
前記携帯端末は,方位角を計測する方位角計測手段を備え,前記アノテーション表示手段は,前記サーバ装置に前記アノテーション情報の送信要求をする際,前記方位角計測手段から得られる方位角から前記カメラ手段が向いている撮影方位角を求め,前記携帯電話の位置情報と共に前記撮影方位角を前記サーバ装置に送信する手段で,前記サーバ装置の前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項1から請求項4のいずれか一つに記載のアノテーション表示システム。
【請求項6】
前記携帯端末は,ユーザによって設定された前記投稿情報を前記サーバ装置に送信し,前記投稿情報の登録を前記サーバ装置に要求する投稿情報送信手段を備え,
前記サーバ装置は,前記携帯端末から前記投稿情報の登録要求を受けた際,登録要求を受けた前記投稿情報の投稿地点の位置情報を対応付けて該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする,請求項4または請求項5に記載のアノテーション表示システム。
【請求項7】
アノテーション情報の送信要求をした携帯端末に,前記アノテーション情報を送信するサーバ装置であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えている,ことを特徴とするサーバ装置。
【請求項8】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項7に記載のサーバ装置。
【請求項9】
前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項8に記載のサーバ装置。
【請求項10】
前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項7から請求項9のいずれか一つに記載のサーバ装置。
【請求項11】
前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項7から請求項10のいずれか一つに記載のサーバ装置。
【請求項12】
前記携帯端末から前記投稿情報の登録要求を受けた際,該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする,請求項10または請求項11に記載のサーバ装置。
【請求項13】
携帯端末に拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示方法であって,
拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備えているサーバ装置が,前記携帯端末からのアノテーション情報の送信要求を受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用いて,前記アノテーション情報を表示させるアノテーションエリアを求めるステップa,
前記サーバ装置が,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するステップb,
が実行されることを特徴とするアノテーション表示方法。
【請求項14】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項13に記載のアノテーション表示方法。
【請求項15】
前記ステップbにおいて,前記サーバ装置は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項14に記載のアノテーション表示方法。
【請求項16】
前記ステップaにおいて,前記サーバ装置は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項13から請求項15のいずれか一つに記載のアノテーション表示方法。
【請求項17】
前記ステップbにおいて,前記サーバ装置は,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを参照し,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項13から請求項16のいずれか一つに記載のアノテーション表示方法。
【請求項1】
アノテーション情報の送信要求を受けるサーバ装置とアノテーション情報の送信要求を行う携帯端末とから少なくとも構成され、拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示システムであって,
前記携帯端末は,映像を撮影するカメラ手段と,前記携帯端末の位置情報を計測する位置計測手段と,前記位置計測手段から得られるこの時点の位置情報を少なくとも前記サーバ装置に送信することでアノテーション情報の送信要求を前記サーバ装置に行い,前記サーバ装置から受信した前記アノテーション情報を前記カメラ手段で撮影されている映像に合成して表示するアノテーション表示手段を備え,
前記サーバ装置には,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えている,
ことを特徴とするアノテーション表示システム。
【請求項2】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項1に記載のアノテーション表示システム。
【請求項3】
前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項2に記載のアノテーション表示システム。
【請求項4】
前記サーバ装置は,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項1から請求項3のいずれか一つに記載のアノテーション表示システム。
【請求項5】
前記携帯端末は,方位角を計測する方位角計測手段を備え,前記アノテーション表示手段は,前記サーバ装置に前記アノテーション情報の送信要求をする際,前記方位角計測手段から得られる方位角から前記カメラ手段が向いている撮影方位角を求め,前記携帯電話の位置情報と共に前記撮影方位角を前記サーバ装置に送信する手段で,前記サーバ装置の前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項1から請求項4のいずれか一つに記載のアノテーション表示システム。
【請求項6】
前記携帯端末は,ユーザによって設定された前記投稿情報を前記サーバ装置に送信し,前記投稿情報の登録を前記サーバ装置に要求する投稿情報送信手段を備え,
前記サーバ装置は,前記携帯端末から前記投稿情報の登録要求を受けた際,登録要求を受けた前記投稿情報の投稿地点の位置情報を対応付けて該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする,請求項4または請求項5に記載のアノテーション表示システム。
【請求項7】
アノテーション情報の送信要求をした携帯端末に,前記アノテーション情報を送信するサーバ装置であって,拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備え,更に,前記アノテーション情報の送信要求を前記携帯端末から受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用い,前記アノテーション情報を表示させるアノテーションエリアを求めた後,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するアノテーション送信手段を備えている,ことを特徴とするサーバ装置。
【請求項8】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項7に記載のサーバ装置。
【請求項9】
前記サーバ装置の前記アノテーション送信手段は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項8に記載のサーバ装置。
【請求項10】
前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを備え,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項7から請求項9のいずれか一つに記載のサーバ装置。
【請求項11】
前記アノテーション送信手段は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項7から請求項10のいずれか一つに記載のサーバ装置。
【請求項12】
前記携帯端末から前記投稿情報の登録要求を受けた際,該投稿情報を前記投稿情報データベースに記憶させると共に,登録要求を受けたときの前記携帯端末の位置情報を領域に含む前記セルの前記セル番号をグリッド毎に特定し,特定した前記セル番号に関連付けられて前記セルデータベースに記憶された前記セル情報を,前記携帯端末からの投稿情報を用いて更新する投稿情報登録手段を備えていることを特徴とする,請求項10または請求項11に記載のサーバ装置。
【請求項13】
携帯端末に拡張現実サービスのマップ上における投稿地点に基づくアノテーション情報を表示させるアノテーション表示方法であって,
拡張現実サービスのマップを区切るグリッドサイズがそれぞれ異なる複数のグリッドが設定され,前記グリッドで囲まれたセル毎に割り当てたセル番号に関連付けて,前記セル番号で特定される前記セルの領域内に前記投稿地点の位置情報が含まれる全ての投稿情報を集約した情報をセル情報として記憶しているセルデータベースを前記グリッド毎に備えているサーバ装置が,前記携帯端末からのアノテーション情報の送信要求を受けると,送信要求を受けたときの前記携帯端末の位置情報を少なくとも用いて,前記アノテーション情報を表示させるアノテーションエリアを求めるステップa,
前記サーバ装置が,前記携帯端末の移動速度に対応した前記グリッドを用いて前記アノテーションエリアに対応する前記セルを特定し,特定した前記セルの前記セル番号に関連付けられた前記セル情報を該グリッドの前記セルデータベースから取得し,取得した前記セル情報の一部又は全てを用いて前記アノテーション情報を特定した前記セルの数だけ生成し,生成した前記アノテーション情報を前記携帯端末に送信するステップb,
が実行されることを特徴とするアノテーション表示方法。
【請求項14】
前記サーバ装置は,前記セルの領域内に投稿地点が含まれる前記投稿情報を自然言語解析して得られるキーワードの中から,重要度の高い順に所定数の前記キーワードを前記セル情報として記憶していることを特徴とする,請求項13に記載のアノテーション表示方法。
【請求項15】
前記ステップbにおいて,前記サーバ装置は,前記携帯端末の移動速度に応じて,前記アノテーション情報として利用する前記キーワードの数を変更することを特徴とする,請求項14に記載のアノテーション表示方法。
【請求項16】
前記ステップaにおいて,前記サーバ装置は,前記アノテーション情報の送信要求を前記携帯端末から受けたときに,前記携帯端末から受信した位置情報及び撮影方位角を用いてアノテーションエリアを決定することを特徴とする,請求項13から請求項15のいずれか一つに記載のアノテーション表示方法。
【請求項17】
前記ステップbにおいて,前記サーバ装置は,前記アノテーション送信手段は,前記携帯端末の移動速度が静止状態であるとき,前記携帯端末から受信した前記投稿情報と投稿地点の位置情報を対応付けて記憶する投稿情報データベースを参照し,前記アノテーションエリアに対応する前記セルの領域に投稿地点の位置情報が含まれる前記投稿情報を前記投稿情報データベースから取得し,取得した前記投稿情報を用いて前記アノテーション情報を生成することを特徴とする,請求項13から請求項16のいずれか一つに記載のアノテーション表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【公開番号】特開2011−123807(P2011−123807A)
【公開日】平成23年6月23日(2011.6.23)
【国際特許分類】
【出願番号】特願2009−282921(P2009−282921)
【出願日】平成21年12月14日(2009.12.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成23年6月23日(2011.6.23)
【国際特許分類】
【出願日】平成21年12月14日(2009.12.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]