携帯端末装置
【課題】撮影により得られた画像から画像に関連する情報を容易に取得する携帯端末装置を提供する。
【解決手段】撮影部と、自装置及び自装置周辺の状態を検出する状態検出部と、前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、を備える携帯端末装置とした。
【解決手段】撮影部と、自装置及び自装置周辺の状態を検出する状態検出部と、前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、を備える携帯端末装置とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、撮影により得られた画像とその画像に関する情報を表示する携帯端末装置に関する。
【背景技術】
【０００２】
近年、カメラ機能を有する携帯端末が増えている。携帯端末で撮影により得られた画像は、携帯端末のディスプレイで表示する、あるいは、他のユーザの携帯端末に送信する等して、撮影された画像のまま利用されることが多い。
【特許文献１】特開２００２−２３８０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、携帯端末の撮影により得られた画像をさほど有効活用することが行われていない。
【０００４】
本件は、撮影により得られた画像から画像に関連する情報を容易に取得する携帯端末装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、以下の手段を採用する。
【０００６】
即ち、第１の態様には、
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、
前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、
を備える携帯端末装置を用いた。
【０００７】
第２の態様には、
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、を他装置に送信する送信部と、
前記画像データと、前記状態検出部が検出した検出結果と、に関連する情報を前記他装置から受信する受信部と、
前記画像データと前記受信部が受信した情報とを、表示する表示部と、
を備える携帯端末装置を用いた。
【発明の効果】
【０００８】
開示の実施形態によれば、撮影により得られた画像から画像に関連する情報を容易に取得する携帯端末装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。
【００１０】
〔実施形態１〕
（構成例）
〈システム構成例〉
図１は、本実施形態のシステム構成例を示す図である。
【００１１】
図１に示すように、本実施形態のシステムは、ネットワーク１００、サーバ２００、無線基地局３００、携帯端末４００を含む。
【００１２】
サーバ２００は、ネットワークを通じて、携帯端末４００からの情報を受信することができる。サーバ２００は、携帯端末４００からの情報を処理し、携帯端末４００に処理結果を送信することができる。
【００１３】
無線基地局３００は、携帯端末４００とネットワーク１００との通信を中継する。
【００１４】
携帯端末４００は、無線基地局３００を経由して、ネットワーク１００と通信する。携帯端末４００は、ネットワークを通じて、サーバ２００と通信することができる。
【００１５】
〈携帯端末の構成例〉
図２は、携帯端末の構成例を示す図である。
【００１６】
携帯端末の具体例として、携帯電話、携帯情報端末（ＰＤＡ、Personal Digital Assistant）、ノート型パソコンなどが挙げられる。
【００１７】
携帯端末４００は、ＣＰＵ（Central Processing Unit）４０２、記憶部４０４、送受
信部４０６、アンテナ４０８、画像撮影部４１０、画像解析部４１２、情報抽出部４１４、センサ部４１６、表示部４１８を有する。
【００１８】
これらの処理部のうち、任意の複数を、１つの処理部としてもよい。また、これらの処理部のうち任意の１つが、複数の処理部としての処理を行ってもよい。これらの各処理部は、ハードウェアとしても、ソフトウェアとしても実現され得る。以後に記載される構成要素についても同様である。
【００１９】
ＣＰＵ４０２は、各種プログラムを実行する中央処理装置である。ＣＰＵ４０２は、携帯端末４００内の各処理部を制御し、また、必要な演算を行う。
【００２０】
記憶部４０４は、携帯端末４００で実行されるプログラム、プログラムで使用するテーブル等、各種データが格納される。記憶部４０４は、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）であっても、ＲＯＭ（Read Only Memory）等のメモリであってもよい
。記憶部４０４は、画像解析部４１２が画像解析の際に使用する画像データ、各種データ等を格納し得る。また、記憶部４０４は、画像データに対応する各種情報を格納し得る。
【００２１】
送受信部４０６は、無線基地局３００との間で、信号の送受信をする。アンテナ４０８は、他の装置に信号を送信し、他の装置から信号を受信する。
【００２２】
撮影部４１０は、カメラ等により撮影する。また、カメラを通じて得られた画像を表示部４１８にそのまま表示させることができる。
【００２３】
画像解析部４１２は、撮影部４１０が撮影により得た画像の解析を行う。例えば、撮影部４１０が撮影したものが、紙に書かれた数字である場合、画像解析部４１２は、当該画
像から数字の情報を抽出する。なお、以後、撮影部４１０の撮影により得られた画像のことを撮影画像とも呼ぶ。
【００２４】
情報抽出部４１４は、画像解析部４１２が画像解析して得られた情報に基づいて、記憶部４０４又はネットワーク１００上のサーバ２００等から、ユーザが必要とする情報等を抽出する。
【００２５】
センサ部４１６は、各種センサを備える。センサの例として、傾斜センサ、ＧＰＳ（Global Positioning System）ユニット、温度センサ等が挙げられる。
【００２６】
表示部４１８は、画面表示を行う。表示部４１８の例として、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。また、表示部４１８は、フレームのない表示デバイスとすることができる。表示部４１８は、タッチパネル機能を備えることができる。
【００２７】
（動作例１）
動作例１について説明する。
【００２８】
図３は、動作例１の携帯端末の処理フローの例を示す図である。
【００２９】
携帯端末４００のユーザは、情報の取得を所望する対象物を、携帯端末４００の撮影部４１０で撮影する（Ｓ１００２）。撮影により得られた画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出し、検出結果を記憶部４０４に格納する。
【００３０】
画像解析部４１２は、記憶部４０４に格納された画像を取り出し、画像解析を行う（Ｓ１００４）。画像解析部４１２は、撮影画像と、記憶部４０４に格納される画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、画像解析部４１６は、センサ部４１６が検出した情報を、画像の特定するための情報として、使用することができる。
【００３１】
情報抽出部４１４は、画像解析部４１２が画像解析した、撮影画像に関する情報を基に、当該情報に関連する情報を、記憶部４０４から抽出する（Ｓ１００６）。また、情報抽出部４１２は、画像解析部４１２が画像解析した情報を基に、当該情報に関連する情報を、ネットワーク１００上のサーバ２００等から抽出してもよい。情報抽出部４１４は、画像解析部４１２が画像解析した情報を基に、必要な演算を行うことができる。また、ユーザが、どのような情報の取得を所望するかを、モード選択等によって、携帯端末４００にあらかじめ指定しておいてもよい。
【００３２】
情報抽出部４１４は、画像解析部４１２が画像解析した、撮影により得られた複数の撮影画像に関する複数の情報を基に、当該情報に関連する情報を、記憶部４０４またはネットワーク１００上のサーバ２００等から抽出してもよい。情報抽出部４１４は、画像解析部４１２が画像解析した複数の撮影画像に関する複数の情報を基に、必要な演算を行うことができる。
【００３３】
表示部４１８は、情報抽出部４１４が抽出した情報若しくは演算結果等を表示する（Ｓ１００８）。また、表示部４１８は、フレームのない表示デバイスとすることができる。表示部４１８は、情報抽出部４１４が抽出した情報等と撮影部４１０の撮影によえい得られた画像とを、同時に、表示してもよい。
【００３４】
（具体例１−１）
図４及び図５は、動作例１の具体例１−１を示す図である。
【００３５】
ここでは、計算を行う例について説明する。
【００３６】
図４に示すように、複数の数字（８３、３６、８５３、７１０、１、２１０等）が記載された紙片１０がある。ユーザは、携帯端末４００を使用して、紙片１０に記載された数字に関する計算を使用としている。ユーザは、携帯端末４００をあらかじめ、計算モードに設定することができる。ここで、計算モードは、撮影画像から数字を抽出して、計算を行うモードである。このとき、携帯端末４００の表示部４１８には、算術演算子である「＋」、「−」、「×」、「÷」、「＝」の各記号が表示される。表示部４１８は、タッチパネル機能を有し、これらの表示された記号に触れることで、記号に応じた計算が実行される。
【００３７】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「３６」を選択して、撮影する。携帯端末４００は、撮影画像を、記憶部４０４に格納する。画像解析部４１２は、撮影画像を画像解析する。撮影部４１２は、携帯端末４００で計算モードが指定されていることから、撮影画像は、数字であるとして、画像解析を行う。画像解析部４１２は、記憶部４０４から数字に関する画像データを取り出し、撮影画像と比較する。画像解析部４１２は、撮影画像が、数字の「３６」である判断し、数字の「３６」を表示部４１８に表示する。
【００３８】
次に、ユーザは、表示部４１８の「＋」の記号に触れる。これにより、携帯端末４００は、先に画像解析された「３６」に、他の数を加算することを認識する。
【００３９】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「８５３」を選択して、撮影する。携帯端末４００は、上記の場合と同様に、撮影画像を画像解析し、数字の「８５３」が撮影されたと判断し、表示部４１８に数字の「８５３」を表示する。
【００４０】
再び、ユーザは、表示部４１８の「＋」の記号に触れる。これにより、携帯端末４００は、先に画像解析された「３６」及び「８５３」に、さらに、他の数を加算することを認識する。
【００４１】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「７１０」を選択して、撮影する。携帯端末４００は、上記の場合と同様に、撮影画像を画像解析し、数字の「７１０」が撮影されたと判断し、表示部４１８に数字の「７１０」を表示する。
【００４２】
次に、ユーザは、表示部４１８の「＝」の記号に触れる。これにより、図５のように、携帯端末４００は、「３６＋８５３＋７１０」の演算を行い、演算結果である「１５９９」を表示部４１８に表示する（図５の携帯端末４００の表示部４１８）。
【００４３】
以上のように、携帯端末を使用して、紙片に記載された数字を抽出し、その数字に関する計算を行うことができる。
【００４４】
（動作例２）
動作例２について説明する。動作例２は、動作例１との共通点を有する。ここでは、動作例１と共通点については、説明を省略することもある。
【００４５】
図６は、動作例２のサーバ及び携帯端末の処理シーケンスの例を示す図である。サーバ
２００は、１台に限定されず、複数のサーバがここで説明するサーバ２００の処理を分担してもよい。
【００４６】
携帯端末４００のユーザは、情報の取得を所望する対象物を、携帯端末４００の撮影部４１０で撮影する（ＳＱ１００２）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出し、検出結果を記憶部４０４に格納する。
【００４７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する（ＳＱ１００４）。送受信部４０６は、撮影部４１０で撮影により得られた複数の撮影画像を同時に、サーバ２００に送信することができる。送受信部４０６は、撮影された画像とともに、センサ部４１６が各種センサで検出した検出結果を、サーバ２００に送信することができる。また、ユーザがどのような種類の情報の取得を所望するかを携帯端末４００上であらかじめ指定し、送受信部４０６がユーザが取得を所望する情報の種類をサーバ２００に送信してもよい。
【００４８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う（ＳＱ１００６）。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末４００のセンサ部４１６が検出した情報を、画像の特定するための情報として、使用することができる。
【００４９】
サーバ２００は、画像解析した撮影画像に関する情報及び携帯端末から受信した情報を基に、当該撮影画像に関する情報に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する（ＳＱ１００８）。また、サーバ２００は、画像解析した情報を基に、必要な演算を行うことができる。
【００５０】
サーバ２００は、画像解析した、複数の撮影画像に関する複数の情報を基に、当該情報に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出してもよい。サーバ２００は、画像解析した複数の撮影画像に関する複数の情報を基に、必要な演算を行うことができる。
【００５１】
サーバ２００は、サーバが抽出した情報、サーバが演算した結果等を、携帯端末４００に送信する（ＳＱ１０１０）。携帯端末４００は、サーバ２００から、サーバが抽出した情報、サーバが演算した結果等を、受信する。
【００５２】
携帯端末４００の表示部４１８は、サーバから受信した情報等を表示する（ＳＱ１０１２）。表示部４１８は、サーバから受信した情報等と撮影部４１０が撮影により得られた撮影画像とを、同時に、表示してもよい。
【００５３】
（具体例２−１）
図７及び図８は、動作例２の具体例２−１を示す図である。
【００５４】
ここでは、撮影画像に関する情報を取得する例（１）について説明する。
【００５５】
携帯端末４００を持ったユーザは、ビル１０Ａ、ビル１０Ｂ、山１０Ｃ、ビル１０Ｄが見える位置にいるとする。
【００５６】
ユーザは、携帯端末４００の撮影部４１０で、ビル１０Ｂを、撮影する（図７の左の携帯端末４００）。撮影された画像は、記憶部４０４に格納される。センサ部４１６は、Ｇ
ＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００５７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影された画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００５８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影された画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が「ＡＡビル」であると判断する。
【００５９】
サーバ２００は、「ＡＡビル」に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、「ＡＡビル」の階数や高さ等の情報が、抽出される。サーバ２００は、抽出した「ＡＡビル」に関する情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００６０】
図８のように、携帯端末４００の表示部４１８は、サーバから受信した情報（ビルの名称、階数、高さ等）を表示する（図８の左の携帯端末４００の表示部４１８）。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００６１】
また、同様に、ユーザは、携帯端末４００の撮影部４１０で、山１０Ｃを、撮影する（図７の右の携帯端末４００）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００６２】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した検出結果を、サーバ２００に送信することができる。
【００６３】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が「富士山」であると判断する。
【００６４】
サーバ２００は、「富士山」に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、「富士山」の標高等の情報が、抽出される。サーバ２００は、抽出した「富士山」に関する情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００６５】
図８のように、携帯端末４００の表示部４１８は、サーバから受信した情報（山の名称、標高等）を表示する（図８の右の携帯端末４００の表示部４１８）。携帯端末４００は
、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００６６】
（具体例２−２）
図９及び図１０は、動作例２の具体例２−２を示す図である。
【００６７】
ここでは、撮影画像に関する情報を取得する例（２）について説明する。
【００６８】
携帯端末４００を持ったユーザは、屋外又は空が見える屋内にいるとする。
【００６９】
ユーザは、携帯端末４００を上方に向け、空を、撮影する（図９の携帯端末４００）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影時の携帯端末の傾きを傾斜センサにより検出する。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００７０】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報、撮影時の携帯端末の傾きをサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００７１】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報、および携帯端末の傾きの情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が空であり、ユーザは気象情報を所望していると判断する。例えば、サーバ２００は、画像解析において、撮影画像と画像解析用の画像データが一致しない場合に、携帯端末４００が空を撮影したものと判断すればよい。また、そのような場合に、携帯端末の傾きが上方を示していれば、サーバ２００は、携帯端末４００が空を撮影したことをより確実に判断できる。
【００７２】
サーバ２００は、ユーザが空を撮影した位置に関連する気象情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、ユーザが撮影した位置の今日の天気、最高気温等の情報が、抽出される。サーバ２００は、ユーザが撮影した位置に関連する気象情報を、携帯端末４００に送信する。携帯端末４００は、サーバが抽出した情報を、サーバ２００から受信する。
【００７３】
図１０のように、携帯端末４００の表示部４１８は、サーバから受信した情報（今日の天気、最高気温等）を表示する。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００７４】
（具体例２−３）
ここでは、撮影画像に関する情報を取得する例（３）について説明する。
【００７５】
携帯端末４００を持ったユーザは、自動車等に乗車しているとする。ユーザは、携帯端末４００をあらかじめ、道案内モードに設定することができる。ここで、道案内モードは、撮影画像から現在走行している道路等を抽出して、道案内を行うモードである。ユーザは、携帯端末にあらかじめ目的地を指定しておくことができる。
【００７６】
ユーザは、携帯端末４００の撮影部４１０で、現在地の道路等を撮影する。撮影画像は
、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００７７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。また、送受信部４０６は、携帯端末４００が道案内モードに設定されていること、目的地等の情報を、サーバに送信することができる。
【００７８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた画像について、画像解析を行う。サーバは、携帯端末４００から受信した情報により、携帯端末４００が、「道案内モード」に設定されていることを認識する。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像がどこであるか、どの方向を撮影したか等を特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。
【００７９】
サーバ２００は、撮影された画像の位置と方向を特定すると、サーバ２００自身に格納するデータ及び他のサーバ２００に格納されるデータを使用して、ユーザの目的地の方向等、目的地までの道案内に関する情報を取得する。サーバ２００は、取得した情報を携帯端末４００に送信する。携帯端末４００は、サーバ２００が取得した道案内に関する情報を受信する。
【００８０】
携帯端末４００の表示部４１８は、サーバから受信した情報を表示する。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。例えば、携帯端末は、撮影した道路の画像と、目的地に行くための進むべき方向の矢印を、重ねて表示することができる。
【００８１】
（具体例２−４）
ここでは、撮影した複数の画像に関する情報を取得する例について説明する。
【００８２】
携帯端末４００を持ったユーザは、トマト、レタス、パプリカ等の食材の前にいるとする。
【００８３】
ユーザは、携帯端末４００の撮影部４１０で、トマト、レタス、パプリカを、それぞれ撮影する。各撮影画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出することができる。
【００８４】
携帯端末４００の送受信部４０６は、各撮影画像をサーバ２００に送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００８５】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。サーバ２００は、画像解析の結果、各撮影画像が、それぞれ「トマト」、「レタス」、「パプリカ」であると判断する。
【００８６】
サーバ２００は、「トマト」、「レタス」、「パプリカ」のそれぞれに関連する情報を、サーバ２００自身若しくは他のサーバ等からそれぞれ抽出する。例えば、「トマト」、
「レタス」、「パプリカ」の栄養価、価格等の情報が、抽出される。また、サーバ２００は、撮影画像のうちの複数又は全部に関連する情報を、サーバ２００自身若しくは他のサーバ等からそれぞれ抽出する。例えば、「トマト」、「レタス」、「パプリカ」を使用した、野菜サラダのレシピが、抽出される。サーバ２００は、抽出したすべての情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００８７】
携帯端末４００の表示部４１８は、サーバから受信した情報を表示する。携帯端末４００は、撮影画像と、サーバから受信した情報とを、同時に表示できる。また、携帯端末４００は、複数の撮影画像と、サーバから受信した情報とを、同時に表示できる。
【００８８】
（本実施形態の作用効果）
本実施形態によると、携帯端末で撮影により得られた画像に関連する情報を、携帯端末自身又は外部のサーバ等から抽出して、携帯端末の表示部に、撮影画像と共に、表示することができる。
【００８９】
本実施形態によると、携帯端末で撮影により得られた複数の画像に関連する情報を、携帯端末自身又は外部のサーバ等から抽出して、携帯端末の表示部に、複数の撮影画像と共に、表示することができる。
【図面の簡単な説明】
【００９０】
【図１】図１は、本実施形態のシステム構成例を示す図である。
【図２】図２は、携帯端末の構成例を示す図である。
【図３】図３は、動作例１の携帯端末の処理フローの例を示す図である。
【図４】図４は、動作例１の具体例１−１を示す図（１）である。
【図５】図５は、動作例１の具体例１−１を示す図（２）である。
【図６】図６は、動作例２のサーバ及び携帯端末の処理シーケンスの例を示す図である。
【図７】図７は、動作例２の具体例２−１を示す図（１）である。
【図８】図８は、動作例２の具体例２−１を示す図（２）である。
【図９】図９は、動作例２の具体例２−２を示す図（１）である。
【図１０】図１０は、動作例２の具体例２−１を示す図（２）である。
【符号の説明】
【００９１】
１０ 紙片
２０Ａ ビル
２０Ｂ ビル
２０Ｃ 山
２０Ｄ ビル
１００ ネットワーク
２００ サーバ
３００ 無線基地局
４００ 携帯端末
４０２ ＣＰＵ
４０４ 記憶部
４０６ 送受信部
４０８ アンテナ
４１０ 撮影部
４１２ 画像解析部
４１４ 情報抽出部
４１６ センサ部
４１８ 表示部
【技術分野】
【０００１】
本件は、撮影により得られた画像とその画像に関する情報を表示する携帯端末装置に関する。
【背景技術】
【０００２】
近年、カメラ機能を有する携帯端末が増えている。携帯端末で撮影により得られた画像は、携帯端末のディスプレイで表示する、あるいは、他のユーザの携帯端末に送信する等して、撮影された画像のまま利用されることが多い。
【特許文献１】特開２００２−２３８０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、携帯端末の撮影により得られた画像をさほど有効活用することが行われていない。
【０００４】
本件は、撮影により得られた画像から画像に関連する情報を容易に取得する携帯端末装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、以下の手段を採用する。
【０００６】
即ち、第１の態様には、
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、
前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、
を備える携帯端末装置を用いた。
【０００７】
第２の態様には、
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、を他装置に送信する送信部と、
前記画像データと、前記状態検出部が検出した検出結果と、に関連する情報を前記他装置から受信する受信部と、
前記画像データと前記受信部が受信した情報とを、表示する表示部と、
を備える携帯端末装置を用いた。
【発明の効果】
【０００８】
開示の実施形態によれば、撮影により得られた画像から画像に関連する情報を容易に取得する携帯端末装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、開示の実施形態の構成に限定されない。
【００１０】
〔実施形態１〕
（構成例）
〈システム構成例〉
図１は、本実施形態のシステム構成例を示す図である。
【００１１】
図１に示すように、本実施形態のシステムは、ネットワーク１００、サーバ２００、無線基地局３００、携帯端末４００を含む。
【００１２】
サーバ２００は、ネットワークを通じて、携帯端末４００からの情報を受信することができる。サーバ２００は、携帯端末４００からの情報を処理し、携帯端末４００に処理結果を送信することができる。
【００１３】
無線基地局３００は、携帯端末４００とネットワーク１００との通信を中継する。
【００１４】
携帯端末４００は、無線基地局３００を経由して、ネットワーク１００と通信する。携帯端末４００は、ネットワークを通じて、サーバ２００と通信することができる。
【００１５】
〈携帯端末の構成例〉
図２は、携帯端末の構成例を示す図である。
【００１６】
携帯端末の具体例として、携帯電話、携帯情報端末（ＰＤＡ、Personal Digital Assistant）、ノート型パソコンなどが挙げられる。
【００１７】
携帯端末４００は、ＣＰＵ（Central Processing Unit）４０２、記憶部４０４、送受
信部４０６、アンテナ４０８、画像撮影部４１０、画像解析部４１２、情報抽出部４１４、センサ部４１６、表示部４１８を有する。
【００１８】
これらの処理部のうち、任意の複数を、１つの処理部としてもよい。また、これらの処理部のうち任意の１つが、複数の処理部としての処理を行ってもよい。これらの各処理部は、ハードウェアとしても、ソフトウェアとしても実現され得る。以後に記載される構成要素についても同様である。
【００１９】
ＣＰＵ４０２は、各種プログラムを実行する中央処理装置である。ＣＰＵ４０２は、携帯端末４００内の各処理部を制御し、また、必要な演算を行う。
【００２０】
記憶部４０４は、携帯端末４００で実行されるプログラム、プログラムで使用するテーブル等、各種データが格納される。記憶部４０４は、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）であっても、ＲＯＭ（Read Only Memory）等のメモリであってもよい
。記憶部４０４は、画像解析部４１２が画像解析の際に使用する画像データ、各種データ等を格納し得る。また、記憶部４０４は、画像データに対応する各種情報を格納し得る。
【００２１】
送受信部４０６は、無線基地局３００との間で、信号の送受信をする。アンテナ４０８は、他の装置に信号を送信し、他の装置から信号を受信する。
【００２２】
撮影部４１０は、カメラ等により撮影する。また、カメラを通じて得られた画像を表示部４１８にそのまま表示させることができる。
【００２３】
画像解析部４１２は、撮影部４１０が撮影により得た画像の解析を行う。例えば、撮影部４１０が撮影したものが、紙に書かれた数字である場合、画像解析部４１２は、当該画
像から数字の情報を抽出する。なお、以後、撮影部４１０の撮影により得られた画像のことを撮影画像とも呼ぶ。
【００２４】
情報抽出部４１４は、画像解析部４１２が画像解析して得られた情報に基づいて、記憶部４０４又はネットワーク１００上のサーバ２００等から、ユーザが必要とする情報等を抽出する。
【００２５】
センサ部４１６は、各種センサを備える。センサの例として、傾斜センサ、ＧＰＳ（Global Positioning System）ユニット、温度センサ等が挙げられる。
【００２６】
表示部４１８は、画面表示を行う。表示部４１８の例として、液晶ディスプレイ、有機ＥＬディスプレイ等が挙げられる。また、表示部４１８は、フレームのない表示デバイスとすることができる。表示部４１８は、タッチパネル機能を備えることができる。
【００２７】
（動作例１）
動作例１について説明する。
【００２８】
図３は、動作例１の携帯端末の処理フローの例を示す図である。
【００２９】
携帯端末４００のユーザは、情報の取得を所望する対象物を、携帯端末４００の撮影部４１０で撮影する（Ｓ１００２）。撮影により得られた画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出し、検出結果を記憶部４０４に格納する。
【００３０】
画像解析部４１２は、記憶部４０４に格納された画像を取り出し、画像解析を行う（Ｓ１００４）。画像解析部４１２は、撮影画像と、記憶部４０４に格納される画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、画像解析部４１６は、センサ部４１６が検出した情報を、画像の特定するための情報として、使用することができる。
【００３１】
情報抽出部４１４は、画像解析部４１２が画像解析した、撮影画像に関する情報を基に、当該情報に関連する情報を、記憶部４０４から抽出する（Ｓ１００６）。また、情報抽出部４１２は、画像解析部４１２が画像解析した情報を基に、当該情報に関連する情報を、ネットワーク１００上のサーバ２００等から抽出してもよい。情報抽出部４１４は、画像解析部４１２が画像解析した情報を基に、必要な演算を行うことができる。また、ユーザが、どのような情報の取得を所望するかを、モード選択等によって、携帯端末４００にあらかじめ指定しておいてもよい。
【００３２】
情報抽出部４１４は、画像解析部４１２が画像解析した、撮影により得られた複数の撮影画像に関する複数の情報を基に、当該情報に関連する情報を、記憶部４０４またはネットワーク１００上のサーバ２００等から抽出してもよい。情報抽出部４１４は、画像解析部４１２が画像解析した複数の撮影画像に関する複数の情報を基に、必要な演算を行うことができる。
【００３３】
表示部４１８は、情報抽出部４１４が抽出した情報若しくは演算結果等を表示する（Ｓ１００８）。また、表示部４１８は、フレームのない表示デバイスとすることができる。表示部４１８は、情報抽出部４１４が抽出した情報等と撮影部４１０の撮影によえい得られた画像とを、同時に、表示してもよい。
【００３４】
（具体例１−１）
図４及び図５は、動作例１の具体例１−１を示す図である。
【００３５】
ここでは、計算を行う例について説明する。
【００３６】
図４に示すように、複数の数字（８３、３６、８５３、７１０、１、２１０等）が記載された紙片１０がある。ユーザは、携帯端末４００を使用して、紙片１０に記載された数字に関する計算を使用としている。ユーザは、携帯端末４００をあらかじめ、計算モードに設定することができる。ここで、計算モードは、撮影画像から数字を抽出して、計算を行うモードである。このとき、携帯端末４００の表示部４１８には、算術演算子である「＋」、「−」、「×」、「÷」、「＝」の各記号が表示される。表示部４１８は、タッチパネル機能を有し、これらの表示された記号に触れることで、記号に応じた計算が実行される。
【００３７】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「３６」を選択して、撮影する。携帯端末４００は、撮影画像を、記憶部４０４に格納する。画像解析部４１２は、撮影画像を画像解析する。撮影部４１２は、携帯端末４００で計算モードが指定されていることから、撮影画像は、数字であるとして、画像解析を行う。画像解析部４１２は、記憶部４０４から数字に関する画像データを取り出し、撮影画像と比較する。画像解析部４１２は、撮影画像が、数字の「３６」である判断し、数字の「３６」を表示部４１８に表示する。
【００３８】
次に、ユーザは、表示部４１８の「＋」の記号に触れる。これにより、携帯端末４００は、先に画像解析された「３６」に、他の数を加算することを認識する。
【００３９】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「８５３」を選択して、撮影する。携帯端末４００は、上記の場合と同様に、撮影画像を画像解析し、数字の「８５３」が撮影されたと判断し、表示部４１８に数字の「８５３」を表示する。
【００４０】
再び、ユーザは、表示部４１８の「＋」の記号に触れる。これにより、携帯端末４００は、先に画像解析された「３６」及び「８５３」に、さらに、他の数を加算することを認識する。
【００４１】
ユーザは、携帯端末４００の撮影部４１０で、紙片１０に記載された数字のうち「７１０」を選択して、撮影する。携帯端末４００は、上記の場合と同様に、撮影画像を画像解析し、数字の「７１０」が撮影されたと判断し、表示部４１８に数字の「７１０」を表示する。
【００４２】
次に、ユーザは、表示部４１８の「＝」の記号に触れる。これにより、図５のように、携帯端末４００は、「３６＋８５３＋７１０」の演算を行い、演算結果である「１５９９」を表示部４１８に表示する（図５の携帯端末４００の表示部４１８）。
【００４３】
以上のように、携帯端末を使用して、紙片に記載された数字を抽出し、その数字に関する計算を行うことができる。
【００４４】
（動作例２）
動作例２について説明する。動作例２は、動作例１との共通点を有する。ここでは、動作例１と共通点については、説明を省略することもある。
【００４５】
図６は、動作例２のサーバ及び携帯端末の処理シーケンスの例を示す図である。サーバ
２００は、１台に限定されず、複数のサーバがここで説明するサーバ２００の処理を分担してもよい。
【００４６】
携帯端末４００のユーザは、情報の取得を所望する対象物を、携帯端末４００の撮影部４１０で撮影する（ＳＱ１００２）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出し、検出結果を記憶部４０４に格納する。
【００４７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する（ＳＱ１００４）。送受信部４０６は、撮影部４１０で撮影により得られた複数の撮影画像を同時に、サーバ２００に送信することができる。送受信部４０６は、撮影された画像とともに、センサ部４１６が各種センサで検出した検出結果を、サーバ２００に送信することができる。また、ユーザがどのような種類の情報の取得を所望するかを携帯端末４００上であらかじめ指定し、送受信部４０６がユーザが取得を所望する情報の種類をサーバ２００に送信してもよい。
【００４８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う（ＳＱ１００６）。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末４００のセンサ部４１６が検出した情報を、画像の特定するための情報として、使用することができる。
【００４９】
サーバ２００は、画像解析した撮影画像に関する情報及び携帯端末から受信した情報を基に、当該撮影画像に関する情報に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する（ＳＱ１００８）。また、サーバ２００は、画像解析した情報を基に、必要な演算を行うことができる。
【００５０】
サーバ２００は、画像解析した、複数の撮影画像に関する複数の情報を基に、当該情報に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出してもよい。サーバ２００は、画像解析した複数の撮影画像に関する複数の情報を基に、必要な演算を行うことができる。
【００５１】
サーバ２００は、サーバが抽出した情報、サーバが演算した結果等を、携帯端末４００に送信する（ＳＱ１０１０）。携帯端末４００は、サーバ２００から、サーバが抽出した情報、サーバが演算した結果等を、受信する。
【００５２】
携帯端末４００の表示部４１８は、サーバから受信した情報等を表示する（ＳＱ１０１２）。表示部４１８は、サーバから受信した情報等と撮影部４１０が撮影により得られた撮影画像とを、同時に、表示してもよい。
【００５３】
（具体例２−１）
図７及び図８は、動作例２の具体例２−１を示す図である。
【００５４】
ここでは、撮影画像に関する情報を取得する例（１）について説明する。
【００５５】
携帯端末４００を持ったユーザは、ビル１０Ａ、ビル１０Ｂ、山１０Ｃ、ビル１０Ｄが見える位置にいるとする。
【００５６】
ユーザは、携帯端末４００の撮影部４１０で、ビル１０Ｂを、撮影する（図７の左の携帯端末４００）。撮影された画像は、記憶部４０４に格納される。センサ部４１６は、Ｇ
ＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００５７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影された画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００５８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影された画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が「ＡＡビル」であると判断する。
【００５９】
サーバ２００は、「ＡＡビル」に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、「ＡＡビル」の階数や高さ等の情報が、抽出される。サーバ２００は、抽出した「ＡＡビル」に関する情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００６０】
図８のように、携帯端末４００の表示部４１８は、サーバから受信した情報（ビルの名称、階数、高さ等）を表示する（図８の左の携帯端末４００の表示部４１８）。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００６１】
また、同様に、ユーザは、携帯端末４００の撮影部４１０で、山１０Ｃを、撮影する（図７の右の携帯端末４００）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００６２】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した検出結果を、サーバ２００に送信することができる。
【００６３】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が「富士山」であると判断する。
【００６４】
サーバ２００は、「富士山」に関連する情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、「富士山」の標高等の情報が、抽出される。サーバ２００は、抽出した「富士山」に関する情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００６５】
図８のように、携帯端末４００の表示部４１８は、サーバから受信した情報（山の名称、標高等）を表示する（図８の右の携帯端末４００の表示部４１８）。携帯端末４００は
、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００６６】
（具体例２−２）
図９及び図１０は、動作例２の具体例２−２を示す図である。
【００６７】
ここでは、撮影画像に関する情報を取得する例（２）について説明する。
【００６８】
携帯端末４００を持ったユーザは、屋外又は空が見える屋内にいるとする。
【００６９】
ユーザは、携帯端末４００を上方に向け、空を、撮影する（図９の携帯端末４００）。撮影画像は、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影時の携帯端末の傾きを傾斜センサにより検出する。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００７０】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報、撮影時の携帯端末の傾きをサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００７１】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた撮影画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報、および携帯端末の傾きの情報を使用することができる。サーバ２００は、画像解析の結果、撮影画像が空であり、ユーザは気象情報を所望していると判断する。例えば、サーバ２００は、画像解析において、撮影画像と画像解析用の画像データが一致しない場合に、携帯端末４００が空を撮影したものと判断すればよい。また、そのような場合に、携帯端末の傾きが上方を示していれば、サーバ２００は、携帯端末４００が空を撮影したことをより確実に判断できる。
【００７２】
サーバ２００は、ユーザが空を撮影した位置に関連する気象情報を、サーバ２００自身若しくは他のサーバ等から抽出する。例えば、ユーザが撮影した位置の今日の天気、最高気温等の情報が、抽出される。サーバ２００は、ユーザが撮影した位置に関連する気象情報を、携帯端末４００に送信する。携帯端末４００は、サーバが抽出した情報を、サーバ２００から受信する。
【００７３】
図１０のように、携帯端末４００の表示部４１８は、サーバから受信した情報（今日の天気、最高気温等）を表示する。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。
【００７４】
（具体例２−３）
ここでは、撮影画像に関する情報を取得する例（３）について説明する。
【００７５】
携帯端末４００を持ったユーザは、自動車等に乗車しているとする。ユーザは、携帯端末４００をあらかじめ、道案内モードに設定することができる。ここで、道案内モードは、撮影画像から現在走行している道路等を抽出して、道案内を行うモードである。ユーザは、携帯端末にあらかじめ目的地を指定しておくことができる。
【００７６】
ユーザは、携帯端末４００の撮影部４１０で、現在地の道路等を撮影する。撮影画像は
、記憶部４０４に格納される。センサ部４１６は、ＧＰＳユニットを使用して、撮影された位置の位置情報を検出する。位置情報は、緯度、経度、高度等を含む。センサ部４１６は、撮影されたときの他の状態を各種センサにて検出することができる。
【００７７】
携帯端末４００の送受信部４０６は、撮影画像をサーバ２００に送信する。送受信部４０６は、撮影画像とともに、撮影された位置の位置情報をサーバに送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。また、送受信部４０６は、携帯端末４００が道案内モードに設定されていること、目的地等の情報を、サーバに送信することができる。
【００７８】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた画像について、画像解析を行う。サーバは、携帯端末４００から受信した情報により、携帯端末４００が、「道案内モード」に設定されていることを認識する。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像がどこであるか、どの方向を撮影したか等を特定する。画像解析を行う際、サーバ２００は、携帯端末から受信した撮影された位置の位置情報を使用することができる。
【００７９】
サーバ２００は、撮影された画像の位置と方向を特定すると、サーバ２００自身に格納するデータ及び他のサーバ２００に格納されるデータを使用して、ユーザの目的地の方向等、目的地までの道案内に関する情報を取得する。サーバ２００は、取得した情報を携帯端末４００に送信する。携帯端末４００は、サーバ２００が取得した道案内に関する情報を受信する。
【００８０】
携帯端末４００の表示部４１８は、サーバから受信した情報を表示する。携帯端末４００は、サーバから受信した情報と、撮影画像とを、同時に表示できる。例えば、携帯端末は、撮影した道路の画像と、目的地に行くための進むべき方向の矢印を、重ねて表示することができる。
【００８１】
（具体例２−４）
ここでは、撮影した複数の画像に関する情報を取得する例について説明する。
【００８２】
携帯端末４００を持ったユーザは、トマト、レタス、パプリカ等の食材の前にいるとする。
【００８３】
ユーザは、携帯端末４００の撮影部４１０で、トマト、レタス、パプリカを、それぞれ撮影する。各撮影画像は、記憶部４０４に格納される。センサ部４１６は、撮影されたときの状態を各種センサにて検出することができる。
【００８４】
携帯端末４００の送受信部４０６は、各撮影画像をサーバ２００に送信する。送受信部４０６は、センサ部４１６が各種センサで検出した他の検出結果を、サーバ２００に送信することができる。
【００８５】
サーバ２００は、携帯端末４００から受信した、携帯端末４００で撮影により得られた画像について、画像解析を行う。サーバ２００は、撮影画像と、サーバ２００が利用できる画像解析用の画像データ等とを比較し、撮影画像が何であるかを特定する。サーバ２００は、画像解析の結果、各撮影画像が、それぞれ「トマト」、「レタス」、「パプリカ」であると判断する。
【００８６】
サーバ２００は、「トマト」、「レタス」、「パプリカ」のそれぞれに関連する情報を、サーバ２００自身若しくは他のサーバ等からそれぞれ抽出する。例えば、「トマト」、
「レタス」、「パプリカ」の栄養価、価格等の情報が、抽出される。また、サーバ２００は、撮影画像のうちの複数又は全部に関連する情報を、サーバ２００自身若しくは他のサーバ等からそれぞれ抽出する。例えば、「トマト」、「レタス」、「パプリカ」を使用した、野菜サラダのレシピが、抽出される。サーバ２００は、抽出したすべての情報を、携帯端末４００に送信する。携帯端末４００は、サーバに送信した画像に関する、サーバが抽出した情報を、サーバ２００から受信する。
【００８７】
携帯端末４００の表示部４１８は、サーバから受信した情報を表示する。携帯端末４００は、撮影画像と、サーバから受信した情報とを、同時に表示できる。また、携帯端末４００は、複数の撮影画像と、サーバから受信した情報とを、同時に表示できる。
【００８８】
（本実施形態の作用効果）
本実施形態によると、携帯端末で撮影により得られた画像に関連する情報を、携帯端末自身又は外部のサーバ等から抽出して、携帯端末の表示部に、撮影画像と共に、表示することができる。
【００８９】
本実施形態によると、携帯端末で撮影により得られた複数の画像に関連する情報を、携帯端末自身又は外部のサーバ等から抽出して、携帯端末の表示部に、複数の撮影画像と共に、表示することができる。
【図面の簡単な説明】
【００９０】
【図１】図１は、本実施形態のシステム構成例を示す図である。
【図２】図２は、携帯端末の構成例を示す図である。
【図３】図３は、動作例１の携帯端末の処理フローの例を示す図である。
【図４】図４は、動作例１の具体例１−１を示す図（１）である。
【図５】図５は、動作例１の具体例１−１を示す図（２）である。
【図６】図６は、動作例２のサーバ及び携帯端末の処理シーケンスの例を示す図である。
【図７】図７は、動作例２の具体例２−１を示す図（１）である。
【図８】図８は、動作例２の具体例２−１を示す図（２）である。
【図９】図９は、動作例２の具体例２−２を示す図（１）である。
【図１０】図１０は、動作例２の具体例２−１を示す図（２）である。
【符号の説明】
【００９１】
１０ 紙片
２０Ａ ビル
２０Ｂ ビル
２０Ｃ 山
２０Ｄ ビル
１００ ネットワーク
２００ サーバ
３００ 無線基地局
４００ 携帯端末
４０２ ＣＰＵ
４０４ 記憶部
４０６ 送受信部
４０８ アンテナ
４１０ 撮影部
４１２ 画像解析部
４１４ 情報抽出部
４１６ センサ部
４１８ 表示部
【特許請求の範囲】
【請求項１】
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、
前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、
を備える携帯端末装置。
【請求項２】
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、を他装置に送信する送信部と、
前記画像データと、前記状態検出部が検出した検出結果と、に関連する情報を前記他装置から受信する受信部と、
前記画像データと前記受信部が受信した情報とを、表示する表示部と、
を備える携帯端末装置。
【請求項１】
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、に基づいて、前記画像データに含まれる対象物に関連する情報を抽出する情報抽出部と、
前記画像データと前記情報抽出部が抽出した情報とを表示する表示部と、
を備える携帯端末装置。
【請求項２】
撮影部と、
自装置及び自装置周辺の状態を検出する状態検出部と、
前記撮影部の撮影により得られた画像データと、前記状態検出部が検出した検出結果と、を他装置に送信する送信部と、
前記画像データと、前記状態検出部が検出した検出結果と、に関連する情報を前記他装置から受信する受信部と、
前記画像データと前記受信部が受信した情報とを、表示する表示部と、
を備える携帯端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−８７９８９（Ｐ２０１０−８７９８９Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５６６４８（Ｐ２００８−２５６６４８）
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月１日（２００８．１０．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]