説明

モバイル機器及びモバイル機器と情報を送受信するサーバ

モバイル機器及びサーバが提供される。本モバイル機器は、位置情報と付加情報とに基づいて抽出された関連情報をディスプレイする。これにより、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供し、更に、ユーザに新しい経験を提供できるようになる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モバイル機器及びモバイル機器と情報を送受信するサーバ及び前記サーバにおける情報提供方法に関し、より詳細には、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供可能なモバイル機器及びモバイル機器と情報を送受信するサーバに関する。
【背景技術】
【0002】
モバイル機器のユーザは位置情報を活用した位置情報サービス(Lacation Based Service:LBS)の提供を受けることができる。前記位置情報サービスは、無線測位技術や、有無線移動通信ネットワークや、Uセンサネットワーク、プラットフォームなどが同時に適用され、ユビキタスの環境下において多用なアプリケーションを提供することができる。
【0003】
また、旅行に行ったり初めての場所を訪れた場合、人びとは現在位置の周辺の位置や地理に関する情報を調べるためにナビゲーションを使う。しかし、ナビゲーションは、ユーザの目指す目的地の名称を把握している場合、目的地の位置を検索する機能のみを提供している。従って、ナビゲーションユーザは、その場で目の前にある建物が何か、現在の位置場所がどこかについては把握することができない。
【0004】
ユーザは現在位置から見える周辺の建物が何かを知りたいと思う場合がある。このような場合、カメラを用いてユーザの周辺にある建物や場所の情報を提供するための方策への模索が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供し、更にユーザに新しい経験を提供することにある。
【0006】
また、本発明のもう一つの目的は、撮影された映像に含まれている少なくとも一つの建物を抽出し、抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出し、抽出された建物の情報を撮影された映像とともに表示するモバイル機器を提供することにある。
【課題を解決するための手段】
【0007】
前記目的を達成するための本発明の一実施形態に係るモバイル機器は、前記モバイル機器の位置情報を獲得する位置情報獲得部と、前記モバイル機器の位置に関する付加情報が入力される付加情報獲得部と、前記位置情報と前記付加情報とに基づいて抽出された関連情報がディスプレイされるように制御する制御部とを含む。
【0008】
そして、サーバと通信を行う通信部と、前記通信部によって送受信される信号を処理する信号処理部と、前記信号処理部によって処理される信号に基づいて映像を表示する映像処理部とを更に含み、前記制御部は、前記位置情報と前記付加情報とを前記サーバに伝送し、前記サーバから前記位置情報と前記付加情報とに基づいて得られる関連情報を受信するように前記通信部を制御し、受信した前記関連情報を処理して出力するように前記信号処理部を制御することができる。
【0009】
また、前記関連情報は、前記モバイル機器の詳細位置情報を含むことができる。
そして、前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。
【0010】
また、前記付加情報獲得部は、カメラと、録音機と、地磁気センサと、加速度センサと、角速度センサ及びジャイロセンサのうち、少なくとも一つを含むことができる。
そして、前記付加情報は、前記地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であってよい。
【0011】
また、前記制御部は、前記関連情報を、映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力するように前記信号処理部を制御することができる。
そして、前記制御部は、前記関連情報を周辺装置に伝送するように前記通信部を制御してよい。
【0012】
また、前記位置情報獲得部は、全地球測位システム(Global Positioning System:GPS)を用いて前記位置情報を獲得することができる。
そして、前記付加情報獲得部は、映像を撮影する撮像素子と、前記撮影された映像に含まれている少なくとも一つの建物を抽出する映像処理部とを含み、前記制御部は、前記位置情報を用いて抽出された建物の位置を算出し、地図情報に基づいて前記算出された位置に存在する建物の情報を抽出し、前記建物の情報が前記撮影された映像とともに表示されるように制御することができる。
【0013】
また、前記位置情報獲得部は、現在位置の座標情報を検出する位置検出部と、前記建物の方向情報を検出する方向検出部と、前記建物の距離情報を検出する距離検出部とを含み、前記制御部は、前記座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出することができる。
そして、前記座標情報は、前記現在位置に対する緯度及び経度情報を含んでよい。
【0014】
また、前記方向情報は、前記建物が前記現在位置でどの方向に位置しているかを示す情報であってよい。
そして、前記距離情報は、前記建物が前記現在位置からどのくらいの距離に位置しているかを示す情報であってもよい。
【0015】
また、前記制御部は、前記地図情報が内部保存媒体に保存されている場合、前記地図情報に基づいて前記算出された位置に存在する建物の情報を抽出することができる。
そして、外部サーバと通信できるように接続される通信部を更に含み、前記制御部は、前記地図情報が内部保存媒体に保存されていない場合、前記座標情報と、方向情報及び距離情報が前記外部サーバに伝送され、前記建物に関する情報が前記外部サーバから受信されるように前記通信部を制御することができる。
【0016】
また、前記制御部は、建物の種類に対する特定カテゴリをユーザの操作で選択し、前記特定カテゴリに対応する建物に関する情報が別の建物に関する情報と区別できるように表示されるように制御してよい。
そして、前記制御部は、建物の種類に対する特定カテゴリをユーザの操作で選択し、前記特定カテゴリに対応する建物に関する情報が別の建物に関する情報と区別できるように表示されるように制御してよい。
【0017】
また、前記制御部は、前記撮影された映像が前記建物の情報が表示された状態で保存されるように制御することもできる。
一方、本発明の一実施形態に係るモバイル機器と情報を送受信するサーバは、前記モバイル機器と通信を行う通信部と、前記情報が保存されている保存部と、前記通信部が、前記モバイル機器から前記モバイル機器の位置情報と前記モバイル機器の位置に関する付加情報とを受信すると、前記位置情報と前記付加情報とに基づいて得られる関連情報を前記保存部を参照して検索し、検索された前記関連情報を前記モバイル機器に伝送するように前記通信部を制御する制御部とを含む。
そして、前記関連情報は、前記モバイル機器の詳細位置情報を含んでよい。
【0018】
また、前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含むことができる。
そして、前記付加情報は、地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であってよい。
【発明の効果】
【0019】
以上説明したように、本発明の多様な実施形態によると、位置情報サービスにパーソナルデバイスを通じて獲得できる地域情報を連動することにより、ユーザに有用なコンテンツを効率よく提供してコンテンツ使用効果を向上させることができる。更に、従来に接したことのない新しいUIをユーザに提供することにより、新しく面白いUX(User Experience)を提供することができる。
また、撮影された映像に含まれている少なくとも一つの建物を抽出し、抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出し、抽出された建物の情報を撮影された映像とともに表示する位置情報提供方法及びそれを適用したカメラを提供できるようになり、ユーザはカメラで特定建物を撮影する操作のみで建物の情報を容易に確認できるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係るモバイル機器とサーバとを含むネットワークの構成を示す図である。
【図2】本発明の一実施形態に係るモバイル機器の構成を示すブロック図である。
【図3】本発明の一実施形態に係るモバイル機器の情報を送受信するサーバの構成を示すブロック図である。
【図4】本発明の一実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
【図5】本発明の別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
【図6】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
【図7】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
【図8】本発明の一実施形態に係るモバイル機器における情報獲得過程を示す図である。
【図9】本発明の一実施形態に係るモバイル機器と情報を送受信するサーバにおける情報提供過程を示す図である。
【図10】本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
【図11】本発明の一実施形態に係るカメラの構成を詳細に示すブロック図である。
【図12】本発明の一実施形態に係る撮影された映像に位置情報を表示する方法について説明するために提供されるフローチャートである。
【図13】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。
【図14】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。
【図15】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。
【図16】本発明の一実施形態に係るカメラが撮影された映像に建物情報を表示する過程を示す図である。
【図17】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図18】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図19】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図20】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図21】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図22】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図23】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図24】本発明の一実施形態に係るカメラがデジタルカメラである場合に撮影された映像に建物情報を表示する過程を示す図である。
【図25】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図26】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図27】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図28】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図29】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図30】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図31】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図32】本発明の一実施形態に係るカメラが携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【図33】本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。
【図34】本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。
【発明を実施するための形態】
【0021】
以下に添付図面を参照しながら、本発明の好適な実施形態について、本発明の属する技術分野において通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は、様々な形態で実現されてよく、ここで説明する実施形態に限定されない。本発明を明確に説明するために、説明とは無関係な箇所は省略し、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
以下では、図1ないし図10を参照しながら、モバイル機器200を用いて現在位置に対する情報が提供される場合について説明する。そして、図11ないし図16を参照しながら、モバイル機器200の一例に該当するカメラによって撮影された画面に含まれている建物情報が提供される場合について説明する。
【0023】
図1は、本発明の一実施形態に係るモバイル機器とサーバとを含むネットワークの構成を示す図である。
本発明において提示するアプリケーションの概略のシナリオは次のとおりである。
モバイル機器200は、ネットワークレベルにおける位置情報115を獲得する。具体的に、ネットワークレベルにおける位置情報115はGPS衛星110によって測定された自分の位置情報であってよい。
【0024】
モバイル機器200は、デバイスレベルにおける位置情報125を獲得する。これは、デバイスを通じて獲得可能な情報として、デバイスの周辺地域120に関する情報、ユーザがデバイスを通じて入力した情報などを含んでよい。
モバイル機器200はサービスに接続する。この場合、モバイル機器200は、位置情報サービスを提供するサーバ300に、ネットワークレベルにおける位置情報115とデバイスレベルにおける位置情報125とを両方伝送する。
【0025】
サーバ300は、モバイル機器200から受信した両情報115、125に基づいて新しい情報135を獲得し、獲得した新しい情報135をモバイル機器200に伝送する。
このように、位置情報サービスにパーソナルデバイスを通じて獲得可能な地域情報を連動することにより、モバイル機器200のユーザは、有用かつ効果的な情報を得ることができる。
【0026】
図2は、本発明の一実施形態に係るモバイル機器の構成を示すブロック図である。
本発明の一実施形態に係るモバイル機器200は、移動端末や、PDA(Personal Digital Assistant)、MP3(MPEG Audio Layer−3)、ノートパソコンなどであってよい。更に、ユーザが携帯可能であり、サーバから自分の位置情報を受信可能な電子デバイスなら、本発明の一実施形態に係るモバイル機器200になることができる。
【0027】
本発明の一実施形態に係るモバイル機器200は、位置情報獲得部210と、通信部220と、信号処置部230と、映像処理部240と、付加情報獲得部250と、制御部260及びユーザ入力部280を含んでよい。
位置情報獲得部210は、モバイル機器200の位置情報を獲得することができる。具体的に、位置情報獲得部210は、全地球測位システム(Global Positioning System:GPS)から自分の位置情報を受信したり、LBSサービスを提供するサーバから自分の位置情報を受信することができる。この場合、モバイル機器200の位置情報はネットワークレベルにおける位置情報として、GPS衛星又はLBSサーバによって測定されてよい。
【0028】
通信部220は、サーバと通信を行うことができる。具体的に、通信部220はモバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とをサーバに送信し、前記位置情報と前記付加情報とに基づいて得られる関連情報をサーバから受信する。この場合、モバイル機器200の位置に関する付加情報は、デバイスレベルにおける位置情報として、モバイル機器200によって獲得することができる。
【0029】
一方、通信部220は、サーバとインターネットプロトコル(Internet Protocol:IP)による通信を行ってデータを送受信することができる。
信号処置部230は、通信部220によって送受信される信号を処理することができる。具体的に、信号処理部230は信号のエンコーディングやデコーディング、復調などを行うことができる。
【0030】
映像処理部240は、信号処理部230によって処理される信号に基づいて映像を表示することができる。そのために、映像処理部240は液晶ディスプレイ(Liquid Crystal Display:LCD)、有機電気発光ダイオード(Organic Light Emitting Display:OLED)又はプラズマディスプレイ(Plasma Display Panel:PDP)などの形式に実現されるディスプレイパネルを含んでもよい。
【0031】
付加情報獲得部250は、モバイル機器200の位置に関する付加情報がを入力することができる。
モバイル機器200の位置に関する付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。具体的に、前記付加情報は、現在位置の周辺を撮像した映像、現在位置の場所の名称、現在位置の場所から聞こえるオーディオなどであってよい。また、前記付加情報は、地磁気センサによって測定されたモバイル機器200の高さ又は加速度センサによって測定されたモバイル機器200の速度などであってよい。
この場合、付加情報獲得部250は、カメラと、録音機と、地磁気センサと、加速度センサと、角速度センサ及びジャイロセンサのうち、少なくとも一つを含んでよい。
【0032】
ユーザ入力部280は、付加情報の入力に関連するユーザの制御を入力することができる。この場合、ユーザ入力部280は、モバイル機器200のタッチスクリーンや、タッチパッド及びキーボタンなどを通じてユーザの制御が入力されてもよい。
制御部260は、モバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とをサーバに伝送し、前記サーバから前記位置情報と前記付加情報とに基づいて得られる関連情報を受信するように、通信部220を制御することができる。前記関連情報は、モバイル機器200の詳細位置情報を含んでよい。
【0033】
制御部260は、受信した関連情報を処理して出力するように信号処理部230を制御することができる。この場合、制御部260は関連情報を映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力するように信号処理部230を制御することができる。
【0034】
また、制御部260は、関連情報を周辺装置に伝送するように通信部220を制御することができる。具体的に、制御部260は、前記関連情報を周辺に位置するプリンタに伝送して文書形式に出力することができる。
【0035】
図3は、本発明の一実施形態に係るモバイル機器の情報を送受信するサーバの構成を示すブロック図である。
本発明の一実施形態に係るモバイル機器200と情報を送受信するサーバ300は、PC又は複数個のPCであってよい。更に、クライアントにネットワークを通じてサービスを提供できる電子デバイスなら、本発明の一実施形態に係るモバイル機器200と情報を送受信するサーバ300になりうることができる。
【0036】
本発明の一実施形態に係るモバイル機器と情報を送受信するサーバ300は、通信部310と、保存部320及び制御部330を含んでよい。
通信部310は、モバイル機器200との通信を行うことができる。具体的に、通信部310は、モバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とをモバイル機器200から受信し、前記位置情報と前記付加情報とに基づいて得られる関連情報をモバイル機器200に送信してよい。この場合、付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含んでよい。また、付加情報は、地磁気センサによって検知されたモバイル機器200の位置であってよい。
【0037】
保存部320には、情報が保存される。前記情報は、モバイル機器200に提供可能なすべての情報を含んでよい。更に、保存部320には、モバイル機器200の位置情報とモバイル機器200の位置に関する付加情報も保存されてよい。
【0038】
制御部330は、通信部310がモバイル機器200からモバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とを受信すると、前記位置情報と前記付加情報とに基づいて得られる関連情報を保存部320を参照して検索する。この場合、制御部330は、検索された前記関連情報をモバイル機器200に伝送するように、通信部310を制御することができる。前記関連情報は、モバイル機器200の詳細位置情報を含んでよい。
【0039】
図4は、本発明の一実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の一実施形態に係るモバイル機器200における情報獲得方法によると、ユーザはモバイル機器200の位置情報とモバイル機器200を介して得られる映像形式の地域情報とを連動して新しい情報を獲得することができる。
【0040】
現在、モバイル機器200のユーザがルーヴル美術館内に展示されているモナリザの絵画を鑑賞している。この場合、モバイル機器200は、GPSサーバなどからモバイル機器200の位置情報を獲得する。図4でモバイル機器200の位置情報は“ルーヴル美術館”である(410)。
【0041】
ユーザは所持するモバイル機器200を使ってモバイル機器200の位置に関する付加情報を入力する。この場合、モバイル機器200の位置に関する付加情報は、映像形式の地域情報である。具体的に、ユーザは図4に示すように、自分が鑑賞しているモナリザの絵画をモバイル機器200を用いて撮像する(420)。この場合、映像形式の地域情報は、“モナリザの絵画の前”である。
【0042】
モバイル機器200は、モバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とをサーバ300に送信する。即ち、図4において、モバイル機器200はルーヴル美術館に位置しているという情報とモナリザイメージとをサーバ300に伝送する。
【0043】
サーバ300は、前記位置情報と前記付加情報とに基づいて得られる関連情報を検索し、それをモバイル機器200に伝送する。具体的に、サーバ300はネットワークレベルで獲得したモバイル機器200の位置情報と、デバイスレベルで獲得したモバイル機器200の地域情報を用いて、モバイル機器200の詳細位置を獲得することができる。即ち、サーバ300は、“ルーヴル美術館”と“モナリザの絵画の前”という情報に基づいて、モバイル機器200のユーザが現在ルーヴル美術館内のレオナルドダヴィンチ館に位置していることを特定することができる(430)。
【0044】
更に、ユーザの詳細位置に基づいて、サーバ300は詳細位置に関する情報を提供することができる。即ち、サーバ300はレオナルドダヴィンチ館に所蔵されている作品のリスト、レオナルドダヴィンチ館に所蔵されている作品の詳細情報、モナリザに対する作品説明などの情報をモバイル機器200に提供できる(440)。
【0045】
GPSシステムによって獲得できる位置情報には限界がある。即ち、図4において、モバイル機器200のユーザがルーヴル美術館内に位置していることは把握できるものの、GPSシステムによってもユーザがルーヴル美術館内のどの展示館に位置しているかを特定することができない。
【0046】
本実施形態によると、位置情報にユーザの位置する地域の情報を連動することにより、ユーザの詳細な位置及び詳細な位置に関する情報を提供することができる。従って、ユーザにより有用な情報を効率よく提供することができる。
【0047】
図5は、本発明の別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の別の実施形態に係るモバイル機器200における情報獲得方法によると、ユーザはモバイル機器200の位置情報とモバイル機器200を介して得られるテキスト形式の地域情報とを連動して新しい情報を獲得することができる。
【0048】
現在、モバイル機器200のユーザがルーヴル美術館内のエジプト展示館の前に立っている。この場合、モバイル機器200は、モバイル機器200の位置情報、即ち“ルーヴル美術館”を獲得する(510)。
【0049】
ユーザはモバイル機器200の位置に関する付加情報を入力する。この場合、モバイル機器200の位置に関する付加情報はテキスト形式の地域情報である。具体的に、ユーザは図5に示すように、自分の位置している展示館の名前をモバイル機器200にテキスト形式に入力する(520)。この場合、テキスト形式の地域情報は“Egyptian”である。
【0050】
モバイル機器200は、ルーヴル美術館に位置しているという情報と、エジプト展示館の前に位置しているという情報とをサーバ300に伝送する。
サーバ300は、“ルーヴル美術館”と“エジプト展示館の前”という情報に基づいて、モバイル機器200のユーザが現在ルーヴル美術館内のエジプト展示館に位置していることを特定する(530)。更に、サーバ300はエジプト展示館に展示されている作品や、エジプト展示館の地図、エジプト展示館の周辺展示館の情報などの関連情報をモバイル機器200に提供することができる(540)。
【0051】
本実施形態によると、位置情報にユーザの位置する地域の地名、場所の名称などを連動させることにより、ユーザの具体的かつ正確な位置を特定し、それに基づいてユーザにパーソナル化した情報を提供することができる。
【0052】
図6は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の更に別の実施形態に係るモバイル機器200における情報獲得方法によると、モバイル機器200の位置情報とモバイル機器200を介して得られるオーディオ形式の地域情報を連動して新しい情報を獲得することができる。
現在、モバイル機器200のユーザがルーヴル美術館内のモナリザの絵画の前に立ってガイドの説明を聴いている。この場合、モバイル機器200は、モバイル機器200の位置情報、即ち、“ルーヴル美術館”を獲得する(610)。
【0053】
ユーザは、モバイル機器200の位置に関する付加情報を入力する。この場合、モバイル機器200の位置に関する付加情報はオーディオ形式の位置情報である。具体的に、ユーザは図6に示すように、自分が聴いているガイドの説明をモバイル機器200に録音する(620)。この場合、オーディオ形式の地域情報は、“モナリザの絵画に対するガイドの説明を聴く”である。
【0054】
モバイル機器200は、ルーヴル美術館に位置しているという情報と、モナリザの絵画に対するガイドの説明を聴いているという情報をサーバ300に伝送する。
サーバ300は、“ルーヴル美術館”と“モナリザの絵画に対するガイドの説明を聴く”という情報を組み合わせ、モバイル機器200のユーザが現在ルーブル美術館内のモナリザの絵画の前でガイド説明を聴いているということを特定する(630)。更に、サーバ300は、モナリザに対するオーディオガイドをモバイル機器200に提供することができる(640)。
【0055】
図7は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
本発明の更に別の実施形態に係るモバイル機器200における情報獲得方法によると、モバイル機器200の位置情報とモバイル機器200を介して得られるモバイル機器200の地域情報を連動して新しい情報を獲得することができる。この場合、モバイル機器200の位置情報は、ネットワークレベルにおける位置情報として、GPSサーバなどによって獲得される。モバイル機器200を介して得られるモバイル機器200の地域情報は、デバイスレベルにおける位置情報として、モバイル機器200自らによって獲得されてよい。具体的に、モバイル機器200を介して得られるモバイル機器200の地域情報は、地磁気センサなどによって獲得され得る高さ情報、加速度センサ又は角速度センサなどによって獲得され得る速度情報、ジャイロセンサなどによって獲得され得る動き情報を含んでよい。
【0056】
現在、モバイル機器200のユーザがルーヴル美術館の2階に位置している。この場合、モバイル機器200はモバイル機器の位置情報、即ち、“ルーヴル美術館”を獲得する(710)。
【0057】
ユーザは、モバイル機器200を介して得られるモバイル機器200の地域情報を検索する。具体的に、ユーザは図7に示すように、モバイル機器200を用いて現在位置している階を測定する(720)。この場合、モバイル機器200の内部に含まれている地磁気センサを用いて現在自分が何階に位置しているか測定する。具体的に、モバイル機器200が地上からどのくらいの高さに位置しているか測定し、それに基づいてモバイル機器200が位置している階数を計算することができる。図7の場合、モバイル機器200は2階に位置するという情報を得る。
【0058】
モバイル機器200は、ルーヴル美術館に位置しているという情報と、2階に位置しているという情報をサーバ300に伝送する。
この場合、サーバ300は、“ルーヴル美術館”と“2階”を組み合わせて、モバイル機器200のユーザが現在ルーヴル美術館の2階に位置していることを特定する(730)。それにより、サーバ300は、ルーヴル美術館の2階の地図、ルーヴル美術館の2階の展示館、ルーヴル美術館の2階に展示されている作品に対する情報をモバイル機器200に提供することができる(740)。
【0059】
図8は、本発明の一実施形態に係るモバイル機器における情報獲得過程を示す図である。
モバイル機器200は、モバイル機器200の位置情報を獲得する(S801)。この場合、モバイル機器200の位置情報は、ネットワークレベルにおける位置情報として、GPS衛星又はLBSサーバによって測定することができる。
モバイル機器200は、ユーザの入力に基づいて前記モバイル機器200の位置に関する付加情報が入力される(S802)。この場合、モバイル機器200の位置に関する付加情報は、デバイスレベルにおける位置情報として、モバイル機器200によって獲得することができる。
【0060】
モバイル機器200は、前記位置情報と前記付加情報とをサーバ300に伝送する(S803)。
モバイル機器200は、前記位置情報と前記付加情報とに基づいて得られる関連情報をサーバ300から受信する(S804)。
モバイル機器200は、受信した前記関連情報を処理して出力する(S805)。この場合、モバイル機器200は、関連情報を映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力することができる。
【0061】
図9は、本発明の一実施形態に係るモバイル機器と情報を送受信するサーバにおける情報提供過程を示す図である。
サーバ300は、モバイル機器200から、モバイル機器200の位置情報とモバイル機器200の位置に関する付加情報とを受信する(S901)。
サーバ300は、前記位置情報と前記付加情報とに基づいて得られる関連情報を検索する(S902)。
サーバ300は、検索された前記関連情報をモバイル機器200に伝送する(S903)。
【0062】
図10は、本発明の更に別の実施形態に係るモバイル機器における情報獲得方法を説明するための概略図である。
仮に、現在ユーザ1000がフランスパリを旅行しようとしている。この場合、ユーザ1000は旅行関連アプリケーションを購入する。具体的に、ユーザ1000は回ろうと考える観光地に対するアプリケーションを購入することができる。図7の場合、ユーザはベルサイユ宮殿1020と、エッフェル塔1030と、シャンゼリゼ通り1410と、オルセー美術館1050に対するアプリケーションを購入する。前記ユーザ1000は、自分が所持するモバイル機器1010を介して前記アプロケーションを使用してよい。
【0063】
各観光地1020、1030、1040、1050毎にユーザの位置を報知するための標識a、b、c、d、e、f、g、h、i、j、kが存在する。例えば、ベルサイユ宮殿1020には標識a、bが存在している。この場合、標識aはベルサイユ宮殿1020の本館に存在し、標識bはベルサイユ宮殿1020の別館に存在すると仮定する。
【0064】
仮に、ユーザがベルサイユ宮殿1020の本館の位置で標識aを入力すると、ユーザにはベルサイユ宮殿1020の本館の地図、観覧ガイド、歴史の説明などの情報が表示される。その後、ユーザがベルサイユ宮殿1020の別館に移動して標識bを入力すると、別館の地図、観覧ガイド、歴史の説明などの情報が提供される。
【0065】
このように、本実施形態によると、リアルタイムで移動中のユーザが現在位置に存在する標識をモバイル機器200に入力することにより、モバイル機器200を介して現在位置に符合する正確な情報をリアルタイムで提供されることができる。
【0066】
以下では、図11ないし図16を参照しながら、モバイル機器200の一例に該当するカメラによって撮影された画面に含まれている建物情報が提供される場合について説明する。
【0067】
図11は、本発明の一実施形態に係るカメラ1100の構成を詳細に示すブロック図である。図11に示すように、カメラ1100は、レンズ部1110と、撮像素子1120と、映像処理部1130と、制御部1140と、操作部1150と、映像出力部1160と、ディスプレイ1170と、コーデック1180と、保存部1190と、通信部1195及び検出部1196を備える。
【0068】
レンズ部1110は、被写体の光を集めて撮像領域に光学像が結像する。
撮像素子1120は、レンズを通じて入射する光を電気信号に光電変換し、電気信号に対して所定の信号処理を行う。このような機能を担う撮像素子1120は、画素及びADコンバータを備える。各画素はアナログ型の映像信号を出力し、ADコンバータはそれをデジタル型の映像信号に変換して出力する。
【0069】
映像処理部1130は、撮像素子1120から入力される映像に対する信号処理を行い、撮影された映像をディスプレイするために処理された映像信号を映像出力部1160に伝送する。また、映像処理部1130は、撮影された映像を保存するためにコーデック1180で処理された映像信号を出力する。
【0070】
具体的に、映像処理部1130は、撮像素子1120から出力される映像信号に対してフォーマット変換と映像スケールとを調整するためのデジタルズームや、AWB(Auto White Balance)や、AF(Auto Focus)、AE(Auto Exposure)などを行う。
また、映像処理部1130は、撮影された映像から建物を抽出する。ここで、撮影された映像とは、撮影素子1120から検知されてディスプレイ1170の画面に表示される映像のことを意味する。即ち、撮影された映像は、撮影済みの映像だけでなく、撮影待ち受け状態でディスプレイ1170の画面に表示される映像も含む。
【0071】
具体的に、映像処理部1130は撮影された映像に含まれているオブジェクトの境界を認識する。そして、映像処理部1130はオブジェクトの境界の形態を把握してオブジェクトが建物であるか否かを判断するようになる。即ち、映像処理部1130は撮影された映像から建物が検出できるようになる。
【0072】
また、映像処理部1130は、保存部1190に保存されているコンテンツの映像をコーデック1180を介して受信して処理する。そして、処理されたコンテンツの映像を映像出力部1160に出力する。
【0073】
映像出力部1160は、映像処理部1130から受信された映像信号を内部ディスプレイ1170又は外部出力端子に出力する。
ディスプレイ1170は、撮影された映像を画面に表示する。また、ディスプレイ1170は撮影された映像に建物に関する情報を同時に表示することもできる。
【0074】
コーデック1180は、映像処理部1130から受信した映像信号をエンコーディングする。そして、コーデック130は、エンコーディングされている映像信号を保存部1190に伝送する。また、コーデック1180は、保存部1190に保存されているコンテンツのエンコーディングされた映像信号をデコーディングする。そして、コーデック1180は、デコーディングされている映像信号を映像処理部1130に伝送する。
【0075】
即ち、コーデック1180は、撮影された映像を保存する場合にエンコーディングし、保存されているコンテンツ映像を映像処理部1130に出力する場合にデコーディングする。
【0076】
保存部1190は、多様なマルチメディアコンテンツが保存される。また、保存部1190は、撮像素子1120で撮影された映像を圧縮した形で保存する。また、保存部1190には、多様な地域に対する地図情報が保存される。地図情報は、一般的な地図に含まれている情報を含む。また、地図情報は、各位置の座標情報、建物情報、道路情報、場所情報などを含めている。
【0077】
座標情報とは、各地点に対して固有の座標のことを意味する。例えば、座標情報は、緯度及び経度に対する情報を含む。建物情報とは、各建物に対する情報のことを意味する。建物情報は、建物名、電話番号、階数及び建物内の施設などに対する情報を含む。道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。場所情報は、当該場所の行政区域名称、主要名称などが含まれる。
【0078】
保存部1190は、フラッシュメモリや、ハードディスク、DVDなどを用いて実現されてよい。
操作部1150は、ユーザの操作により命令が入力される。操作部1150は、カメラ1100の表面にボタンの形で設けられてよく、ディスプレイ1170上でタッチスクリーンの形で設けられてよい。
【0079】
通信部1195は、インターネットなどの多様なネットワークを通じて外部サーバに通信できるように接続される。通信部1195は、有線LANなどの有線ネットワークを用いて外部サーバに接続されてよく、無線LAN又はブルートゥースなどの無線ネットワークを用いて外部サーバに接続されてよい。
【0080】
検出部1196は、カメラ1100の座標情報を検出し、撮影された映像に含まれている建物の方向情報及び距離情報を検出する。検出部1196は、カメラ1100の座標情報を検出する位置検出部1197と、撮影された映像に含まれている建物の方向情報を検出する方向検出部1198及び撮影された映像に含まれている建物の距離情報を検出する距離検出部1199を含む。
【0081】
位置検出部1197は、カメラ1100が現在位置している地点の固有の座標情報を検出する。例えば、位置検出部1197は、現在カメラ1100が位置している地点の緯度と経度を検出することもできる。位置検出部1197は、GPS(Global Positioning System)を含む。
【0082】
方向検出部1198は、カメラ1100から建物への方向情報を検出する。即ち、方向検出部1198は、ユーザの現在位置で撮影された写真に含まれている建物への方向情報を検出するようになる。方向検出部1198は、羅針盤センサ又は地磁気センサを含む。
【0083】
距離検出部1199は、カメラ1100から建物までの距離情報を検出する。即ち、距離検出部1199は、ユーザの現在位置で撮影された写真に含まれている建物までの距離情報を検出するようになる。距離検出部1199は、赤外線距離センサと、レーザ距離センサ及びダブルカメラを用いた距離センサのうち、少なくとも一つが含まれてよい。
このように、検出部1196は、カメラ1100の座標情報を検出し、撮影された映像に含まれている建物の方向情報及び距離情報を検出するようになる。
【0084】
制御部1140は、カメラ1100の作動全般を制御する。具体的に、制御部1140は抽出された建物の位置を算出し、地図情報に基づいて算出された位置に存在する建物の情報を抽出する。そして、制御部1140は、抽出された建物の情報が撮影された映像とともに表示されるように制御する。
【0085】
制御部1140は、保存部1190に地図情報が存在するか否かを確認する。仮に、保存部1190に地図情報が存在する場合、制御部1140は検出された座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出する。
【0086】
具体的に、制御部1140は検出された座標情報を参考にして地図上から現在カメラ1100が位置する地点を検出する。そして、制御部1140は、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているか把握する。その後に、制御部1140は、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ると、制御部1140は撮影された映像に含まれている建物が地図上でどの地点に位置するかに対する情報である建物の位置情報を算出できるようになる。
【0087】
その後に、制御部1140は、算出された位置に存在する建物に対する情報を保存された地図情報から抽出する。ここで、建物情報は、建物名と、電話番号と、階数及び建物内の施設などに関する情報を含む。
【0088】
一方、保存部1190に地図情報が存在していない場合、制御部1140は検出された座標情報と、方向情報及び距離情報を外部のサーバに伝送する。ここで、サーバは、地図情報を保存しており、座標情報と、方向情報及び距離情報を用いて建物に対する情報を抽出する機能を担う。
【0089】
具体的に、サーバは検出された座標情報を参考にして地図上で現在カメラ1100が位置している地点を検出する。そして、サーバは、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているかを把握する。その後に、サーバは、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ることで、サーバは撮影された映像に含まれている建物が地図上でどの地点に位置しているかに対する情報である建物の位置情報を算出できるようになる。そして、サーバは、算出された位置に存在する建物に対する情報をサーバに保存されている地図情報又はインターネット上の地図情報から抽出する。
【0090】
従って、制御部1140は、サーバから建物に関する情報が受信されるように制御する。
そして、制御部1140は、検索された建物情報の撮影された映像に同時に表示されるように制御する。例えば、制御部1140は、撮影された映像をディスプレイ1170の画面に表示する際、図16のように建物の名称が画面に同時に表示されるように制御することもできる。
【0091】
このような過程を経て、制御部1140は撮影された映像に建物情報が同時に表示されるように制御できる。これにより、ユーザはカメラ1100で建物を撮影する操作を行うだけで、その建物がどんな建物であるかに対する情報を確認できるようになる。
【0092】
図12は、本発明の一実施形態に係る撮影された映像に位置情報を表示する方法について説明するために提供されるフローチャートである。
まず、カメラ1100は、ユーザの操作に応じて位置情報表示モードを開始する(S2010)。ここで、位置情報表示モードは撮影された映像に含まれている建物と、道路及び場所に関する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている場合、カメラ1100は撮影された映像をディスプレイ1170に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。
【0093】
ここで、座標情報とは、各地点に対して固有の座標のことを意味する。例えば、座標情報は、緯度及び経度に対する情報を含む。建物情報とは、各建物に対する情報のことを意味する。建物情報は、建物名、電話番号、階数及び建物内の施設などに対する情報を含む。道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。場所情報は、当該場所の行政区域名称、主要名称などが含まれる。
【0094】
例えば、位置情報表示モードが活性化されている状態である場合、カメラ1100は撮影された映像をディスプレイ1170の画面に表示する際、図16のように建物の名称を画面に同時に表示することもできる。
その後に、カメラ1100は、ユーザの操作によって特定位置を撮影する(S1220)。ここで、撮影はカメラ1100が撮像素子1120によって検知された映像を保存する状態だけでなく、カメラ1100が撮像素子1120によって検知された映像をディスプレイ1170に表示する状態(即ち、撮影待ち受け状態)も含む。
【0095】
そして、カメラ1100は、撮影された映像に含まれている建物を抽出する(S1230)。具体的に、カメラ1100は、撮影された映像に含まれているオブジェクトの境界を認識する。そして、カメラ1100は、オブジェクトの境界の形態を把握してオブジェクトが建物であるか否かを判断する。これを通じて、カメラ1100は撮影された映像から建物を抽出できる。
【0096】
その後に、カメラ1100は、カメラの現在位置の座標情報を検出する(S1240)。カメラ1100は、位置検出部1197を介して現在位置している地点の固有の座標情報を検出する。例えば、位置検出部1197は、現在カメラ1100が位置している地点の緯度と経度を検出することもできる。位置検出部1197は、GPS(Global Positioning System)を含む。
【0097】
そして、カメラ1100は撮影された映像に含まれている建物の方向情報及び距離情報を検出する(S1250)。カメラ1100は、方向検出部1198を介して建物への方向情報を検出する。即ち、方向検出部1198は、ユーザの現在位置で撮影された写真に含まれている建物への方向情報を検出する。方向検出部1198は、羅針盤センサ又は地磁気センサを含む。
【0098】
また、カメラ1100は、距離検出部1199を介して建物までの距離情報を検出する。即ち、距離検出部1199は、ユーザの現在位置で撮影された写真に含まれている建物までの距離情報を検出する。距離検出部1199は、赤外線距離センサ、レーザ距離センサ及びダブルカメラを用いた距離センサのうち、少なくとも一つが含まれてよい。
【0099】
その後に、カメラ1100は、保存部1190に地図情報が存在するか否かを確認する(S1260)。仮に、保存部1190に地図情報が存在する場合、カメラ1100は検出された座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出する(S1263)。
【0100】
具体的に、カメラ1100は検出された座標情報を参考にして地図上から現在カメラ1100が位置する地点を検出する。そして、カメラ1100は、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているか把握する。その後に、カメラ1100は、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握するようになる。このような過程を経ると、カメラ1100は撮影された映像に含まれている建物が地図上でどの地点に位置するかに対する情報である建物の位置情報を算出できるようになる。
【0101】
その後に、カメラ1100は、算出された位置に存在する建物に対する情報を保存された地図情報から抽出する(S1266)。ここで、建物情報は、建物名と、電話番号と、階数及び建物内の施設などに関する情報を含む。
【0102】
一方、保存部1190に地図情報が存在していない場合、カメラ1100は検出された座標情報と、方向情報及び距離情報を外部のサーバに伝送する(S1270)。ここで、サーバは、地図情報を保存しており、座標情報と、方向情報及び距離情報を用いて建物に対する情報を抽出する機能を担う。
【0103】
具体的に、サーバは検出された座標情報を参考にして地図上で現在カメラ1100が位置している地点を検出する。そして、サーバは、方向情報に基づいて撮影された映像に含まれている建物が現在地点でどの方向に位置しているかを把握する。その後に、サーバは、距離情報に基づいて建物が現在地点からどのくらいの距離に位置しているかを把握する。このような過程を経ることで、サーバは撮影された映像に含まれている建物が地図上でどの地点に位置しているかに対する情報である建物の位置情報を算出できるようになる。そして、サーバは、算出された位置に存在する建物に対する情報をサーバに保存されている地図情報又はインターネット上の地図情報から抽出する。
【0104】
従って、カメラ1100は、サーバから建物に関する情報が受信する(S1275)。
そして、カメラ1100は、検索された建物情報を撮影された映像と同時に表示する(S1280)。例えば、カメラ1100は、撮影された映像をディスプレイ1170の画面に表示する際、図16のように建物の名称を画面に同時に表示することもできる。
【0105】
このような過程を経て、カメラ1100は撮影された映像に建物情報を同時に表示するように制御できるようになる。これにより、ユーザはカメラ1100で建物を撮影する操作を行うだけで、その建物がどんな建物であるかに対する情報を確認できるようになる。
【0106】
一方、本実施形態では、カメラ1100が撮影された映像に建物情報を表示するものとして説明したが、その他にも、道路情報、場所情報も同時に表示できる。ここで、道路情報は、当該道路の名称、道路の種類及び車線数などの情報を含む。そして、場所情報は、当該場所の行政区域名称、主要名称などが含まれる。
【0107】
例えば、この場合、カメラ1100は撮影された映像に道路が含まれている場合、道路の名称を撮影された映像に同時に表示するように実現することもできる。また、カメラ1100は、撮影された映像に特定場所(例えば、遺跡地や、運動場など)が含まれている場合、特定場所の名称を撮影された映像に同時に表示するように実現することもできる。
【0108】
以下では、図13ないし図16を参照しながら、カメラ1100が撮影された映像に建物情報を表示する過程を説明する。図13ないし図16は、本発明の一実施形態に係るカメラ1100が撮影された映像に建物情報を表示する過程を示す図である。
【0109】
図13は、カメラ1100が特定地域を撮影した画面を示している。図13に示すように、現在撮影中の映像には、第1建物1310と、第2建物1320及び第3建物1330が含まれている。従って、カメラ1100は現在撮影中の映像に第1建物1310と、第2建物1320及び第3建物1330が含まれていることを認識する。
【0110】
その後に、図14に示すように、カメラ1100は、画面に「Scouter」アイコン1340を表示する。ここで、「Scouter」アイコン1340とは、位置情報表示モードの実行命令が入力されるアイコンである。従って、図14に示すように、ユーザが「Scouter」アイコン1340を選択すると、カメラ1100は位置情報表示モードを行うようになる。
【0111】
ここで、位置情報表示モードは、撮影された映像に含まれている建物や、道路、場所に関する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、カメラ1100は撮影された映像を画面に表示する際、座標情報や、建物情報、道路情報、場所情報などを同時に表示する。
【0112】
図15は、現在位置1350の周辺に対する地図情報を示す図である。位置情報表示モードが行われると、カメラ1100は地図情報上から現在位置1350の座標情報を検出する。そして、カメラ1100は、撮影された映像に含まれている建物の方向情報及び距離情報を検出する。
【0113】
図15に示すように、地図情報を参考にすると、現在位置1350から北の方面にCity Hall、Star Hotel、CGVの順に位置していることが確認できる。また、方向情報を参考にした際、現在カメラ1100が撮影している方向が北側であり、距離情報を参考にした際、第1建物1310と、第2建物1320及び第3建物1330の距離が、それぞれ現在位置からCity Hall、Star Hotel及びCGVの距離と同様であると仮定する。すると、カメラ1100は、第1建物1310と、第2建物1320及び第3建物1330がそれぞれCity Hall、Star Hotel及びCGVを示すものであることを検出できるようになる。
【0114】
従って、図16に示すように、カメラ1100は、第1建物1310の建物情報1360として“City Hall”を表示し、第2建物1320の建物情報1370として“Star Hotel”を表示し、第3建物1330の建物情報1380として“CGV”を表示するようになる。
【0115】
このように、カメラ1100は、撮影された映像に建物の名称を同時に表示できるようになる。従って、ユーザはカメラ1100で特定建物を撮影する操作のみで当該建物の建物情報を確認できるようになる。
【0116】
以下では、図17ないし図24を参照しながら、カメラ1100がデジタルカメラである場合について説明する。図17ないし図24は、本発明の一実施形態に係るカメラ1100がデジタルカメラである場合に、撮影された映像に建物情報を表示する過程を示す図である。
【0117】
図17は、デジタルカメラの作動モードを選択するためのダイヤル1400を示す図である。図17に示すように、ダイヤル1400をScouterに設定すると、図18はに示すように、デジタルカメラはScouterモードに設定される。ここで、Scouterモードは位置情報表示モードを示す。位置情報表示モードとは、撮影された映像に含まれている建物や、道路、場所に対する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、デジタルカメラは撮影された映像を画面に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。
【0118】
その後に、図19に示すように、デジタルカメラは、第1建物1410と、第2建物1420及び第3建物1430が含まれている映像を撮影する。すると、Scouterモードに設定されている状態であるため、図20に示すように、デジタルカメラは、第1建物1410の建物情報1460として“City Hall”を示し、第2建物1420の建物情報1470として“Star Hotel”を示し、第3建物1430の建物情報1480として“CGV”を示すようになる。
【0119】
この状態で、図21に示すように、ユーザが第2建物1420の建物1470を選択すると、図22のように、デジタルカメラは選択された第2建物1420に対する詳細情報1475を画面に表示するようになる。図22に示すように、第2建物1420に対する詳細情報1475は、住所や、電話番号、テナントショップ情報を含むことが確認できる。
【0120】
このとき、図23に示すように、電話番号1476をユーザが選択すると、デジタルカメラは選択された電話番号1476に電話をかける命令が入力される。しかし、電話機能をサポートしないため、デジタルカメラは通信できるように接続されている別の携帯電話に選択された電話番号1476に電話をかけるか否かに対する確認メッセージを表示させる。図24は、「HHP1」というIDの携帯電話を用いて選択された電話番号1476に電話をかけるか否かに対する確認メッセージを表示した図である。
【0121】
このように、デジタルカメラは撮影された映像に建物の名称を同時に示し、示された建物の名称が選択されると、選択された建物に電話がかかるようにする。これにより、ユーザは簡単な操作を行うだけで、目の前の建物が何かを確認することができる。
【0122】
以下では、図25ないし図32を参照しながら、カメラ1100が携帯電話である場合について説明する。図25ないし図32は、本発明の一実施形態に係るカメラ1100が携帯電話である場合に撮影された映像に建物情報を表示する過程を示す図である。
【0123】
図25は、携帯電話のメインメニューを示す図である。図25に示すように、ユーザがカメラアイコン1500を選択すると、図26に示すように、携帯電話は写真撮影モードを行う。
【0124】
この状態で、撮影モード選択メニュー1540の表示命令が入力されると、図27に示すように、携帯電話は撮影モード選択メニュー1540を画面に示す。そして、図27に示すように、Scouter1545をユーザが選択すると、携帯電話はScouterモードに設定される。ここで、Scouterモードは位置情報表示モードを示す。位置情報表示モードとは、撮影された映像に含まれている建物や、道路、場所に対する情報が撮影された映像とともに画面に表示されるモードである。即ち、位置情報表示モードが活性化されている状態である場合、携帯電話は撮影された映像を画面に表示する際、座標情報や、建物情報や、道路情報、場所情報などを同時に表示するようになる。
【0125】
このように、Scouterモードに設定されると、図28に示すように、携帯電話は、第1建物1510の建物情報1560として“City Hall”を示し、第2建物1520の建物情報1570として“Star Hotel”を示し、第3建物1530の建物情報1580として“CGV”を示すようになる。
【0126】
この状態で、図29に示すように、ユーザが第2建物1520の建物1570を選択すると、図30のように、携帯電話は選択された第2建物1520に対する詳細情報1575を画面に表示するようになる。図30に示すように、第2建物1520に対する詳細情報1575は、住所や、電話番号、テナントショップ情報を含むことが確認できる。
【0127】
このとき、図31に示すように、電話番号1576をユーザが選択すると、携帯電話は選択された電話番号1576に電話をかける命令が入力される。従って、図32に示すように、携帯電話は選択された電話番号1576に直ちに電話をかけるようになる。
【0128】
このように、携帯電話は撮影された映像に建物の名称を同時に示し、示された建物の名称が選択されると、選択された建物に電話がかかるようにする。これにより、ユーザは簡単な操作を行うだけで、目の前の建物が何かを確認することができる。
以下では、図33及び図34を参照しながら、関心カテゴリを設定する方法について説明する。図33及び図34は、本発明の一実施形態に係る関心カテゴリを設定する過程を示す図である。
【0129】
図33のように、カメラ1100は関心カテゴリ設定メニュー1600を画面に表示することができる。ここで、関心カテゴリとは、ユーザの好む建物の種類を示すものである。関心カテゴリは建物が使われる用途種類に対するカテゴリとして、例えば、レストランや、映画館、宿泊、役所、デパートなどを含む。
【0130】
図33に示すように、ユーザは映画館1605を関心カテゴリとして選択することができる。すると、カメラ1100は映画館に対する建物情報を別の建物の建物情報と区別できるように表示するようになる。即ち、カメラ1100は関心カテゴリに設定れた建物の建物情報は別の建物と区別できるように表示するようになる。例えば、カメラ1100は関心カテゴリに設定された建物の建物情報はハイライトされるように表示する。
【0131】
従って、ユーザが図33のように映画館1605を関心カテゴリに設定した場合、図34のように、カメラ1100は映画館である第3建物1630の建物情報1680をハイライトするように表示する。これにより、第3建物1630の建物情報1680は、第1建物1610の建物情報1660及び第2建物1620の建物情報1670とがはっきり区別できることを確認することができる。
【0132】
この場合、カメラ1100は建物の種類に対する関心カテゴリをユーザの操作によって選択する。そして、カメラ1100は関心カテゴリに対応する建物に対する情報を別の建物に対する情報と区別できるように表示する。
【0133】
このような方法で、カメラ1100はユーザによって設定された関心カテゴリに該当する建物の建物情報を別の建物と区別できるように表示できるようになる。従って、ユーザは所望のカテゴリの建物を簡単に確認することができるようになる。
【0134】
また、本実施形態において、カメラ1100は撮影された映像と抽出された建物情報とを同時に保存することもできる。具体的に、カメラ1100は撮影された映像を抽出された建物の情報が表示された状態で保存することもできる。
また、カメラ1100は撮影された映像と抽出された建物の情報を別々のファイルで保存することもできる。このとき、カメラ1100は撮影された映像に建物情報ファイルに対するタグを記録しておくこともできる。従って、カメラ1100は今後撮影された映像をディスプレイする際、タグを参考にして建物情報ファイルを同時に読み込むことにより、撮影された映像に建物の情報を同時に表示できるようになる。
【0135】
このように、カメラ1100は撮影された映像と建物情報を同時に保存し、ディスプレイする際にも、撮影された映像と建物情報を同時にディスプレイできるようになる。
【0136】
一方、本実施形態において、抽出の対象になるオブジェクトが建物であるものとして説明してきたが、これは一実施形態に過ぎず、建物以外にも抽出可能なオブジェクトなら如何なるものでも適用されてよい。即ち、カメラ1100が増強実現の技術を通じて抽出できるオブジェクトなら如何なるものであっても適用でき、例えば、建物以外にも遺跡地や公園、橋などにも本実施形態が適用できる。
【0137】
本実施形態において、モバイル機器がカメラ1100であるものとして説明してきたが、これは説明の便宜上のためのものである。従って、モバイル機器は映像を撮影して位置情報を検出可能な機器であれば、如何なる機器であっても適用されてよい。例えば、カメラ1100は、携帯電話やMP3プレーヤや、PDA、ノートパソコンなどであってよい。
【0138】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0139】
210 位置情報獲得部
220 通信部
260 制御部
230 信号処理部
240 映像処理部
250 付加情報獲得部
280 ユーザ入力部
200 モバイル機器
320 保存部
310 通信部
330 制御部
300 サーバ
1110 レンズ部
1120 撮像素子
1130 映像処理部
1160 映像出力部
1170 ディスプレイ
1197 位置検出部
1198 方向検出部
1199 距離検出部
1140 制御部
1180 コーデック
1195 通信部
1150 操作部
1190 保存部

【特許請求の範囲】
【請求項1】
モバイル機器において、
前記モバイル機器の位置情報を獲得する位置情報獲得部と、
前記モバイル機器の位置に関する付加情報が入力される付加情報獲得部と、
前記位置情報と前記付加情報とに基づいて抽出された関連情報がディスプレイされるように制御する制御部と
を含むモバイル機器。
【請求項2】
サーバと通信を行う通信部と、
前記通信部によって送受信される信号を処理する信号処理部と、
前記信号処理部によって処理される信号に基づいて映像を表示する映像処理部と
を更に含み、
前記制御部は、
前記位置情報と前記付加情報とを前記サーバに伝送し、前記サーバから前記位置情報と前記付加情報とに基づいて得られる関連情報を受信するように前記通信部を制御し、受信した前記関連情報を処理して出力するように前記信号処理部を制御することを特徴とする請求項1に記載のモバイル機器。
【請求項3】
前記関連情報は、前記モバイル機器の詳細位置情報を含むことを特徴とする請求項2に記載のモバイル機器。
【請求項4】
前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含むことを特徴とする請求項2に記載のモバイル機器。
【請求項5】
前記付加情報獲得部は、カメラと、録音機と、地磁気センサと、加速度センサと、角速度センサ及びジャイロセンサのうち、少なくとも一つを含むことを特徴とする請求項2に記載のモバイル機器。
【請求項6】
前記付加情報は、前記地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であることを特徴とする請求項5に記載のモバイル機器。
【請求項7】
前記制御部は、前記関連情報を、映像と、オーディオ及びテキストのうち、少なくとも一つの形式に処理して出力するように前記信号処理部を制御することを特徴とする請求項2に記載のモバイル機器。
【請求項8】
前記制御部は、前記関連情報を周辺装置に伝送するように前記通信部を制御することを特徴とする請求項2に記載のモバイル機器。
【請求項9】
前記位置情報獲得部は、全地球測位システム(Global Positioning System:GPS)を用いて前記位置情報を獲得することを特徴とする請求項2に記載のモバイル機器。
【請求項10】
前記付加情報獲得部は、
映像を撮影する撮像素子と、
前記撮影された映像に含まれている少なくとも一つの建物を抽出する映像処理部と
を含み、
前記制御部は、
前記位置情報を用いて抽出された建物の位置を算出し、地図情報に基づいて前記算出された位置に存在する建物の情報を抽出し、前記建物の情報が前記撮影された映像とともに表示されるように制御することを特徴とする請求項1に記載のモバイル機器。
【請求項11】
前記位置情報獲得部は、
現在位置の座標情報を検出する位置検出部と、
前記建物の方向情報を検出する方向検出部と、
前記建物の距離情報を検出する距離検出部と
を含み、
前記制御部は、
前記座標情報と、方向情報及び距離情報に基づいて建物の地図上の位置を算出することを特徴とする請求項10に記載のモバイル機器。
【請求項12】
前記座標情報は、
前記現在位置に対する緯度及び経度情報を含むことを特徴とする請求項11に記載のモバイル機器。
【請求項13】
前記方向情報は、
前記建物が前記現在位置でどの方向に位置しているかを示す情報であることを特徴とする請求項11に記載のモバイル機器。
【請求項14】
前記距離情報は、
前記建物が前記現在位置からどのくらいの距離に位置しているかを示す情報であることを特徴とする請求項11に記載のモバイル機器。
【請求項15】
前記制御部は、
前記地図情報が内部保存媒体に保存されている場合、前記地図情報に基づいて前記算出された位置に存在する建物の情報を抽出することを特徴とする請求項10に記載のモバイル機器。
【請求項16】
外部サーバと通信できるように接続される通信部を更に含み、
前記制御部は、
前記地図情報が内部保存媒体に保存されていない場合、前記座標情報と、方向情報及び距離情報が前記外部サーバに伝送され、前記建物に関する情報が前記外部サーバから受信されるように前記通信部を制御することを特徴とする請求項15に記載のモバイル機器。
【請求項17】
前記制御部は、
建物の種類に対する特定カテゴリをユーザの操作で選択し、前記特定カテゴリに対応する建物に関する情報が別の建物に関する情報と区別できるように表示されるように制御することを特徴とする請求項10に記載のモバイル機器。
【請求項18】
前記制御部は、
前記撮影された映像が前記建物の情報が表示された状態で保存されるように制御することを特徴とする請求項10に記載のモバイル機器。
【請求項19】
モバイル機器と情報を送受信するサーバにおいて、
前記モバイル機器と通信を行う通信部と、
前記情報が保存されている保存部と、
前記通信部が、前記モバイル機器から前記モバイル機器の位置情報と前記モバイル機器の位置に関する付加情報とを受信すると、前記位置情報と前記付加情報とに基づいて得られる関連情報を前記保存部を参照して検索し、検索された前記関連情報を前記モバイル機器に伝送するように前記通信部を制御する制御部と
を含むサーバ。
【請求項20】
前記関連情報は、前記モバイル機器の詳細位置情報を含むことを特徴とする請求項19に記載のサーバ。
【請求項21】
前記付加情報は、映像と、オーディオ及びテキストのうち、少なくとも一つの形式を含むことを特徴とする請求項19に記載のサーバ。
【請求項22】
前記付加情報は、地磁気センサによって検知された前記モバイル機器の垂直軸上における位置であることを特徴とする請求項19に記載のサーバ。
【請求項23】
モバイル機器で位置情報をディスプレイする方法において、
前記モバイル機器の位置を示す位置情報を獲得するステップと、
前記モバイル機器の位置に関する付加情報が入力されるステップと、
前記位置情報と前記付加情報とに基づいて得られる関連情報を抽出するステップと、
前記抽出された関連情報をディスプレイするステップと
を含むディスプレイする方法。
【請求項24】
モバイル機器に情報を提供するサーバの情報提供方法において、
前記モバイル機器から前記モバイル機器の位置情報と前記モバイル機器の位置に関する付加情報とを受信するステップと、
前記位置情報と前記付加情報とを保存するステップと、
前記位置情報と前記付加情報とに基づいて得られる関連情報を検索するステップと、
検索された前記関連情報を前記モバイル機器に伝送するステップと
を含む情報提供方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate


【公表番号】特表2013−502593(P2013−502593A)
【公表日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2012−526643(P2012−526643)
【出願日】平成22年8月24日(2010.8.24)
【国際出願番号】PCT/KR2010/005659
【国際公開番号】WO2011/025236
【国際公開日】平成23年3月3日(2011.3.3)
【出願人】(503447036)サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Fターム(参考)】