表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法
【課題】マーカを利用せずに撮影した画像に応じたコンテンツを提供すること。
【解決手段】撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。
【解決手段】撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した撮影画像に応じたコンテンツを検索し、検索により得たコンテンツを表示部に表示させる表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法に関する。
【背景技術】
【０００２】
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
【０００３】
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４９４０７号公報
【特許文献２】特開２００７−４１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、マーカを撮影して拡張現実感技術を利用する場合、実空間におけるマーカの表示形態や表示場所が制限される問題があった。
例えば、二次元バーコード等のマーカを撮影して画像認識する場合、認識可能な画角が得られる程度にユーザがマーカに近接して撮影する必要があり、マーカとユーザとの関係が比較的近い範囲内に制限される問題があった。なお、マーカは二次元バーコードのようにデザイン性の低い図形で構成されている場合が多いため、例えば、ビルに設置されている大型広告の全面に表示するなどのマーカ表示方法は、美観的に適さず、その表示場所が制限される問題があった。
【０００６】
本発明は、上記課題を解決するものであり、マーカを利用せずに撮影した画像に応じたコンテンツを提供する表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。
【０００８】
また、上述の表示画像検索装置は、前記入力部が、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報を入力し、前記記憶部が、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、前記画像特徴量比較部が、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする。
【０００９】
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルを記憶し、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、さらに備えることを特徴とする。
【００１０】
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像付加情報に対して予め関係付けられた条件を示す撮影条件情報を前記特定画像付加情報に対応付ける特定画像付加情報テーブルを記憶し、前記特定画像付加情報取得部が、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする。
【００１１】
また、上述の表示画像検索装置は、前記画像認識部が、前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする。
【００１２】
上述の課題を鑑み、本発明に係る表示装置は、上述の記載のいずれか一つの表示画像検索装置と、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備えることを特徴とする。
【００１３】
上述の課題を鑑み、本発明に係る表示画像検索システムは、上述の記載のいずれか一つの表示画像検索装置と、前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置とを備えることを特徴とする。
【００１４】
また、上述の表示装置および表示画像検索システムにおいて、表示装置は、入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする。
【００１５】
上述の課題を鑑み、本発明に係る表示画像検索方法は、撮影された画像に対応する画像を検索する表示画像検索方法であって、被写体を撮影する撮影部により生成された撮影画像データを入力し、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力することを特徴とする。
【００１６】
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データと、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報とを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、マーカを利用せずに撮影した画像に応じたコンテンツを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る表示画像検索システムの構成の一例を示すブロック図である。
【図２】撮影画像の一例を示す図である。
【図３】本発明の実施形態に係る特定画像位置テーブルの一例を示す図である。
【図４】特定画像データの一例を示す図である。
【図５】撮影画像特徴量の一例を示す図である。
【図６】本発明の実施形態に係る特定画像特徴量テーブルの一例を示す図である。
【図７】本発明の実施形態に係るオブジェクト特徴情報テーブルの一例を示す図である。
【図８】本発明の実施形態に係る特定画像付加情報テーブルの一例を示す図である。
【図９】重畳領域の一例を示す図である。
【図１０】本発明の実施形態に係る表示画像検索方法の一例を示すフローチャートである。
【図１１】図１０に示す表示画像検索方法の続きを示すフローチャートである。
【図１２】コンテンツ等を提供する際に表示装置に表示される画像の一例を説明する図である。
【図１３】本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
【図１４】本発明による表示画像検索の概念を説明するための図である。
【図１５】本実施形態に係る表示画像検索装置の構成の他の例を示す図である。
【図１６】本発明の概要について説明するための図である。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図１は、本実施形態における画像検索表示システムの機能ブロック図である。
図１に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
【００２０】
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
【００２１】
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力するユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
【００２２】
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
【００２３】
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
【００２４】
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。
この端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。
この表示位置情報が示す画像領域の形状が、特定画像付加情報が示す画像の出力形状と一致していない場合、端末制御部１１は、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。この端末制御部１１は、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。例えば、特定画像付加情報である動画ファイル名の動画の出力形状が長方形の画像であって、表示位置情報が示す画像領域の形状が歪んでいる場合、特定画像付加情報取得部３２は、この歪みに応じて、動画の出力形状を変形処理する。
【００２５】
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力する情報に基づく画像を表示する。
【００２６】
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力する情報をネットワークＮＷを介して表示画像検索装置２に送信する。
【００２７】
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
【００２８】
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
【００２９】
ここで、表示装置１の撮影部１２が取得した撮影画像データＤ（ｎ）の一例について、図２を参照して説明する。図２は、撮影画像の一例を示す図である。
図２に示す通り、撮影画像データＤ（ｎ）は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルＢ１の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースは、上辺と下辺が湾曲している。
【００３０】
図１に戻って、表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、画像識別部２７と、重畳領域抽出部２８と、第３記憶部２９と、オブジェクト特徴情報比較部３０と、第４記憶部３１と、特定画像付加情報取得部３２とを備える。
【００３１】
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。また、通信部２１は、特定画像付加情報取得部３２から入力する特定画像表示データＳ（ｎ）を、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
【００３２】
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図３に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
【００３３】
例えば、第１記憶部２２は、図４に示すような、特定画像ＩＤ１、２、３の特定画像データ１００、２００、３００を格納している。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図４に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、画面の中央にネコの画像を含む画像である。この特定画像データ１００は、画面の約６０％の範囲にネコの画像が表示されている。
特定画像データ２００は、特定画像ＩＤ２が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。この特定画像データ２００は、画面の約３０％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、それぞれ表示されている。
特定画像データ３００は、特定画像ＩＤ３が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。この特定画像データ３００は、画面の約５％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、画面の約５％の範囲に「近日公開」の文字画像が、それぞれ表示されている。
【００３４】
図３に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
【００３５】
図１に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、本実施形態において、撮影画像特徴量は、撮影画像全体に対応する特徴量のうち、一定の閾値以上の数値を有するもののみを表わす。
【００３６】
この撮影画像特徴量の一例を図５に示す。図５に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴量である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴量であり、その特徴量の分布は類似している。
【００３７】
図１に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力する。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力する撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
【００３８】
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画面特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
【００３９】
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図６に示す通り、特定画像ＩＤと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの特定画像データにおける特徴点特徴量の位置を示す。この特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す位置の特徴量を示す。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。
【００４０】
図１に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって算出された撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像を、特定画像候補として検出する。
【００４１】
具体的に説明すると、この画像特徴量比較部２６は、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量と撮影画像データＤ（ｎ）の撮影画像特徴量との類似度を示す特徴量類似度を算出し、この特徴量類似度が閾値以上の特定画像ＩＤの特定画像データを特定画像候補として検出する。この画像特徴量比較部２６は、この特定画像候補を示す特定画像ＩＤと、特定画像特徴量テーブル２５０においてこの特定画像ＩＤと対応付けられている特徴量とを対応付けた特定画像候補セットを取得し、画像識別部２７に出力する。なお、特徴量類似度が閾値以上の特定画像データが複数ある場合、複数の特定画像候補セットが検出される。
なお、特徴量類似度は、例えば、レベル１〜１０で示され、閾値がレベル５とする。また、レベル１は、特定画像の特徴量と撮影画像特徴量とが最も類似していないことを示し、レベル１０は特定画像の特徴量と撮影画像特徴量とが最も類似していることを示すものとする。
【００４２】
ここで、画像特徴量比較部２６による処理について、特定画像ＩＤ１〜３の中から特定画像候補を選択する例を用いて説明する。なお、本発明は、以下に説明する特定画像候補の選択方法に限られず、例えば、公知となっている画像認識関数等を利用しても実現可能である。
図５に示した通り、撮影画像特徴量群Ｃ２は、ネコの画像に対応する画像領域から算出された特徴量である。このため、このネコの画像を含む特定画像データ１００、２００、３００の特徴量と撮影画像特徴量群Ｃ２とは類似する。
画像特徴量比較部２６は、例えば、この撮影画像特徴量群Ｃ２と類似する特徴量の画像が特定画像データにおいて占める面積の割合に応じて、特徴量類似度を算出する。上述の通り、特定画像データ１００、２００、３００のそれぞれにおいて、ネコの画像の占める面積の割合は、６０％、３０％、５％である。よって、画像特徴量比較部２６は、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ２との特徴量類似度は、例えば、レベル６、３、０．５と算出する。
【００４３】
また、撮影画像特徴量群Ｃ１は、「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。このため、この「映画タイトル」の文字画像を含む特定画像データ２００、３００の特徴量と撮影画像特徴量群Ｃ１とは類似する。上述の通り、特定画像データ２００、３００のそれぞれにおいて、「映画タイトル」の文字画像の占める面積の割合は、ともに２０％である。よって、画像特徴量比較部２６は、特定画像データ２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ１との特徴量類似度は、例えば、レベル２と算出する。
【００４４】
さらに、「映画タイトル」の文字画像の位置は、ネコの画像の上にあり、撮影画像特徴量群Ｃ１、Ｃ２との位置関係に基づき、特定画像データ２００の方が、特定画像データ３００に比べて、撮影画像特徴量群Ｃ１、Ｃ２と類似している。よって、画像特徴量比較部２６は、特定画像データ２００の特徴量と撮影画像特徴量群Ｃ１、Ｃ２との特徴量類似度は、例えば、レベル２と算出する。
【００４５】
画像特徴量比較部２６は、特定画像データ毎に算出した特徴量類似度を加算して、撮影画像特徴量群Ｃ１、Ｃ２との特徴点類似度を算出する。
これにより、画像特徴量比較部２６は、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ３００との特徴量類似度が「２．５」と算出する。
このように、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００、２００との特徴量類似が閾値のレベル５以上である。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
【００４６】
なお、上述のようにして、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
【００４７】
また、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の画像内における特定画像データの画像の歪みや、照明や設置環境等の撮影条件の違いに応じて、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を補正し、この補正した特定画像ＩＤに対応する特徴量と撮影画像特徴量とを比較する。これにより、撮影画像データＤ（ｎ）の画像内における特定画像データの画像が歪んでいる場合や、撮影条件が異なる場合であっても、撮影画像データＤ（ｎ）に含まれている特定画像を検出することができる。
なお、撮影条件とは、例えば、撮影時の照明が自然光（日中、夜間）、蛍光灯、白熱灯等であって照明の色や明るさ、特定画像データの画像が設置されている背景の色や明るさ、映り込みの有無や程度に応じて決められる。補正値は、このように想定される撮影時の状況の撮影条件に応じて、特徴量を補正する係数によって予め決められている。なお、この補正値は、例えば、第２記憶部２５に記憶されている。
よって、画像特徴量比較部２６は、特定画像特徴量テーブル２５０から読み出した特定画像データの特徴量に対して撮影条件や画像の歪みに応じた補正をかけた特徴量と、撮影画像特徴量とを比較して、特定画像データであると許容される類似度の閾値の範囲内であれば、撮影画像特徴量と類似する特徴量を有する特定画像データと認識する。一方、この類似度の閾値の範囲外である場合、画像特徴量比較部２６は、撮影画像特徴量と類似する特徴量を有しない特定画像データと認識し、この特定画像データを特定画像候補としては検出しない。
【００４８】
図１に戻って、画像識別部２７は、重畳領域抽出部２８に対して特定画像候補セットを出力し、撮影画像データＤ（ｎ）の画像内における特定画像候補の画像領域（以下、重畳領域という）を重畳領域抽出部２８に算出させる。この画像識別部２７は、重畳領域抽出部２８によって算出された重畳領域を示す座標情報（以下、重畳領域情報という）を入力する。
【００４９】
重畳領域抽出部２８は、特徴量画像特徴量テーブル２５を参照して、画像識別部２７から入力する特定画像候補セットに基づき、撮影画像データＤ（ｎ）の画像内における特定画像候補の重畳領域を示す重畳領域情報を算出する。この重畳領域抽出部２８は、特定画像特徴量テーブル２５０において定義されている特徴点特徴量の位置（特徴点縦座標と特徴点横座標が示す位置）に応じて、この特徴点特徴量と類似する撮影画像特徴量群に対応する重畳領域を抽出する。重畳領域抽出部２８は、抽出した重畳領域の座標を、重畳領域情報として算出する。この重畳領域抽出部２８は、特定画像候補毎に重畳領域情報を算出し、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
この重畳領域抽出部２８は、例えば、特定画像候補と対応する特定画像の特徴量の特定画像特徴量テーブル２５０から読み出し、この特定画像の特徴量を表わす変換行列Ｍ（ｔ）を作成する。この変換行列Ｍ（ｔ）は、言い換えると、特定画像候補セットから特定画像特徴量テーブル２５０から読み出し特定画像の特徴量のセットへの変換行列である。重畳領域抽出部２８は、この変換行列Ｍ（ｔ）に基づき重畳領域の輪郭を示す座標を算出し、重畳領域情報を得る。
【００５０】
ここで、重畳領域抽出部２８によって検出される重畳領域の一例について、図９を参照して説明する。図９は、撮影画像データＤ（ｎ）の撮影画像特徴量群Ｃ１〜Ｃ３に類似する特定画像候補の重畳領域を示す図である。
Ｒ１１、Ｒ１２は、特定画像ＩＤ１に対応する重畳領域を示す。Ｒ２１は、特定画像ＩＤ２に対応する重畳領域を示す。
図９に示す通り、撮影画像特徴量群Ｃ１、Ｃ２と類似する特徴量を有する特定画像データ１００の重畳領域Ｒ１１と特定画像データ２００の重畳領域Ｒ２１は、互いに、撮影画像特徴量群Ｃ２に対応する画像領域において重複している。
【００５１】
図１に戻って、画像識別部２７は、オブジェクト特徴情報比較部３０に対して、対応する重畳領域と特定画像候補との類似度を示すオブジェクト類似度を算出させる。この画像識別部２７は、オブジェクト特徴情報比較部３０によって算出されたオブジェクト類似度を入力する。
【００５２】
この画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出し、この特定画像候補が複数枚算出された場合、オブジェクト類似度を用いて、重畳領域の画像と最も類似する特定画像候補を選択する。
例えば、この画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している複数の特定画像候補毎に、オブジェクト特徴情報比較部３０によって算出されるオブジェクト類似度が一定の閾値以上であるか否かを判断する。この画像識別部２７は、これら特定画像候補の中から、オブジェクト類似度が閾値以上の特定画像候補を取得する。
画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している特定画像候補のうち、このオブジェクト類似度が閾値以上の特定画像候補を、重畳領域に含まれている特定画像と判断し、特定画像候補の中から検索によって得た画像（以下、検索特定画像という）として扱う。
【００５３】
なお、画像識別部２７は、オブジェクト類似度が閾値以上の特定画像候補を複数取得した場合、そのオブジェクト類似度が最大の特定画像候補を１つ選択することで、重畳領域画像に最も類似する特定画像候補を取得する。画像識別部２７は、この最も類似する特定画像候補を、検索特定画像として扱う。
一方、重畳領域情報が示す重畳領域が他の重畳領域と重複していない場合、および、重複している場合であってもその重複している重畳領域が一定の閾値未満の面積である場合、画像識別部２７は、オブジェクト類似度に基づき、１つの特定画像候補を検索特定画像として選択する処理をすることなく、各重畳領域に対応する特定画像候補を検索特定画像として扱う。
画像識別部２７は、各重畳領域情報に検索特定画像の特定画像ＩＤを関連付けて特定画像付加情報取得部３２に出力する。
【００５４】
第３記憶部２９は、例えば表示画像検索装置２の管理者により予め登録されたオブジェクト情報テーブル２９０を記憶する。
このオブジェクト情報テーブル２９０は、図７に示す通り、特定画像ＩＤと、特定画像に含まれるオブジェクトの特徴を示すオブジェクト特徴情報とを対応付けるテーブルである。このオブジェクト特徴情報は、特定画像内オブジェクト種別と、画像内オブジェク縦座標と、画像内オブジェクト横座標と、特定画像内文字とを含む。
特定画像内オブジェクト種別は、例えば、イメージ、文字、図形等の属性の異なるオブジェクトの種別を示す。ここでは、「１」が文字、「２」が図形、「３」が表、「０」はその他のオブジェクトであることを示す。
画像内特徴座標縦座標と画像内特徴座標横座標は、特定画像ＩＤの示す特定画像データにおいて、オブジェクトを含む位置を示す。なお、このオブジェクトを含む位置は、特定画像データの画像を分割した領域で示すものであってもよく、画像の右上領域、画像の左下領域等によりその位置を特定するものであってもよい。
特定画像内文字は、特定画像内特徴種別が文字を示す場合、この文字の内容を示す。つまり、特定画像内文字は、特定画像内特徴種別が「１」の場合において、対応する特定画像ＩＤの示す特定画像データに含まれる文字列を示す。なお、特定画像内特徴種別が「１」以外の場合、ｎｕｌｌとする。
【００５５】
図１に戻って、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、画像識別部２７から入力する特定画像候補セットと重畳領域セットに基づき、撮影画像データの画像内における重畳領域の画像（以下、重畳領域画像という）に、重畳領域の特定画像ＩＤに対応するオブジェクトが含まれているか否かを判断する。
具体的にいうと、オブジェクト特徴情報比較部３０は、画像識別部２７によって重畳領域が一定の閾値以上の面積で重複している特定画像候補が複数枚算出された場合、この特定画像候補にそれぞれ対応する重畳領域画像に、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが存在する可能性を示すオブジェクト類似度を算出する。
【００５６】
このオブジェクト類似度は、重畳領域画像と特定画像データの画像が類似している程度を示すものであって、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性を段階的に表わす情報である。例えば、オブジェクト特徴情報比較部３０は、撮影画像特徴量に基づき、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトの特徴を示す特徴量が撮影画像特徴量に含まれている可能性を算出する。
その結果、撮影画像データＤ（ｎ）において、各特定画像ＩＤと対応付けられているオブジェクト特徴情報と類似するオブジェクトが決められた位置に存在している場合、オブジェクト特徴情報比較部３０は、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性が高いことを示すオブジェクト類似度を算出する。この場合、オブジェクト類似度は高くなる。なお、このオブジェクトが類似しているとオブジェクト特徴情報比較部３０により判断される範囲は、オブジェクトの種類や位置に応じて予め決められている。
また、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが、重畳領域画像に存在する可能性が低い場合、オブジェクト類似度は低い。
【００５７】
例えば、オブジェクト特徴情報テーブル２９０における特定画像内オブジェクト種別が「１」（文字）である場合、オブジェクト特徴情報比較部３０は、光学文字認識（ Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ）の技術を利用して、撮影画像データに含まれる文字画像を文字列に変換する。このオブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列と、オブジェクト特徴情報テーブル２９０に定義されている特定画像内文字の文字列とを比較して、類似する範囲（例えば、一致する文字数が一定割合以上ある場合）内であるか否かを判断する。また、オブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列が、重畳領域画像において、オブジェクト特徴情報テーブル２９０に定義されている画像内オブジェクト縦座標と画像内オブジェクト横座標が示す位置にあるか否かを判断する。このオブジェクト特徴情報比較部３０は、文字列の比較結果が類似する範囲内であり、かつ、定義されている位置にオブジェクトがあることが判断された場合、重畳領域画像が、これらオブジェクト特徴情報と対応付けられている特定画像ＩＤである可能性が高いことを示すオブジェクト類似度を算出する。なお、オブジェクト特徴情報比較部３０は、この文字列が類似している程度や、オブジェクトの位置が定義されている位置との誤差に応じて、この類似度を段階的に表わすことができる。
【００５８】
例えば、図９に示した通り、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複している。よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１が、それぞれの領域において重複する面積の割合を、閾値と比較する。ここで閾値は、各重畳領域において、他の重畳領域と重複する面積の割合が５０％であることとする。
画像識別部２７は、重畳領域Ｒ１１が、他の重畳領域Ｒ２１と面積の割合９０％で重複しているため、閾値以上であると判断し、この重畳領域Ｒ１１、Ｒ１２に対応するオブジェクト類似度を、オブジェクト特徴情報比較部３０に算出させる。
【００５９】
ここで、オブジェクト特徴情報比較部３０は、ＯＣＲより、重畳領域Ｒ２１の撮影画像特徴量群Ｃ１に対応する領域から文字列を検出し、オブジェクト特徴情報テーブル２９０を参照して、オブジェクト類似度を算出する。ここでは、オブジェクト特徴情報テーブル２９０において、特定画像ＩＤ２と対応付けられているオブジェクト特徴情報と、ＯＣＲにより検出した文字列が類似しているとする。オブジェクト特徴情報比較部３０は、重畳領域Ｒ２１のオブジェクト類似度として、特定画像ＩＤ２である可能性が高いことを示すオブジェクト類似度を算出する。
また、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、重畳領域Ｒ１１にオブジェクト特徴情報に対応するオブジェクトがあるか否かを判断する。ここでは、オブジェクト特徴情報比較部３０は、対応するオブジェクトがないと判断し、重畳領域Ｒ１１のオブジェクト類似度として、特定画像ＩＤ１である可能性が低いことを示すオブジェクト類似度を算出する。
【００６０】
よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う。
一方、重畳領域Ｒ１２は、他の重畳領域と重複していないため、画像識別部２７は、重畳領域Ｒ１２に対応する特定画像候補である特定画像ＩＤ１の特定画像を、検索特定画像として扱う。
【００６１】
第４記憶部３１は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル３１０を記憶する。
この特定画像付加情報テーブル３１０は、図８に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツＵＲＬと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
【００６２】
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部３１に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
【００６３】
特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤに基づき、この特定画像ＩＤに対応する特定画像付加情報を検索によって得る。
また、特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、通信部２１から入力する撮影位置情報と撮影日時情報に対応する特定画像付加情報を検索によって得る。
特定画像付加情報取得部３２は、検索によって得られた特定画像付加情報と、重畳領域情報を、通信部２１に出力する。なお、この特定画像付加情報取得部３２が通信部２１に出力する重畳領域情報は、表示装置１において、撮影画像データの重畳領域、特定画像付加情報を重畳して表示するための表示位置を示す情報であって、表示位置情報という。
通信部２１は、入力する特定画像付加情報と表示位置情報（重畳領域情報）を表示装置１に送信する。
【００６４】
次に、図１０、１１を参照して、本実施形態に係る画像検索表示方法の一例について説明する。図１０、１１は、本実施形態に係る画像検索表示方法の一例を説明するためのフローチャートである。
例えば、表示装置１の撮影部１２がリアルタイム再生画像データを取得して、端末制御部１１が表示部１５にリアルタイム再生画像データに基づく画像を表示している。この状態において、ユーザが操作部１８のシャッターボタンを押下すると、撮影部１２が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部１２は、撮影画像データＤ（ｎ）を取得して、端末制御部１１に出力する（ステップＳＴ１）。
【００６５】
そして、撮影画像データＤ（ｎ）が取得されたタイミング（例えば、操作部１８のシャッターボタンが押下されたタイミング）で、位置情報検出部１３は、撮影時に表示装置１が存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影画像データＤ（ｎ）が取得されたタイミングで、計時部１４は、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する（ステップＳＴ２）。
【００６６】
次いで、端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）に、撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を対応付けて、通信部１６に出力する。そして、通信部１６は、撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）をネットワークＮＷを介して表示画像検索装置２に送信する（ステップＳＴ３）。
【００６７】
そして、表示画像検索装置２の通信部２１は、表示装置１から送信された撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。
次いで、位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報Ｐ（ｎ）に基づき、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報Ｐ（ｎ）が示す位置を含む特定画像データを検索する（ステップＳＴ４）。
例えば、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）に対応する特定画像データとして、特定画像ＩＤ１〜１０の特定画像データを検索によって得る。
【００６８】
そして、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する（ステップＳＴ５）。この画像特徴量算出部２３は、例えば、図５に示したような撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量を算出する。
【００６９】
次いで、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像データの特徴量と、画像特徴量算出部２３によって算出された撮影画像データＤ（ｎ）の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の撮影画像特徴量に対応する特定画像候補を検出する（ステップＳＴ６）。
例えば、画像特徴量比較部２６は、特定画像特徴量テーブル２５０において各特定画像ＩＤ１〜３と対応付けられている特徴量と、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量とを比較して、特徴量類似度を算出する。そして、画像特徴量比較部２６は、上述の通り、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像ＩＤ３の特定画像データ１００との特徴量類似度が「２．５」であると算出する。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
また、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
【００７０】
次いで、画像特徴量比較部２６は、ステップＳＴ６において検出された特定画像候補の重畳領域を算出する（ステップＳＴ７）。
この画像特徴量比較部２６は、例えば、図９に示したように、特定画像候補の重畳領域Ｒ１１、Ｒ１２、Ｒ２１を抽出し、これら重畳領域の座標を示す重畳領域情報を算出する。そして、画像特徴量比較部２６は、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
【００７１】
そして、画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出する（ステップＳＴ８）。
ここで、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複しているため、画像識別部２７は、複数の重畳領域が重複していると判断する（ステップＳＴ９−ＹＥＳ）。
【００７２】
次いで、オブジェクト特徴情報比較部３０が、オブジェクト特徴情報テーブル２９０を参照して、重複している特定画像候補の特定画像ＩＤ１、２とそれぞれの重畳領域Ｒ１１、Ｒ２１を示す重畳領域情報に基づき、オブジェクト類似度を算出する（ステップＳＴ１０）。
そして、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う（ステップＳＴ１１）。
そして、画像識別部２７は、この重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する検索特定画像が、特定画像ＩＤ２であることを示す情報を特定画像付加情報取得部３２に出力する。
【００７３】
この画像識別部２７は、全ての特定画像候補に対して、重複する重畳領域があるか否かの処理を行ったか否かを判断し（ステップＳＴ１２）、処理を行っていない場合、ステップＳＴ８に戻る。
一方、ステップＳＴ９において、重複する重畳領域がないと判断された場合、画像識別部２７は、ステップＳＴ１０、１１は行ない。例えば、画像識別部２７は、当該重畳領域Ｒ１１に対応する特定画像候補が、特定画像ＩＤ１であると判断するため、この場合ステップＳＴ１０、１１は行わない。
【００７４】
次いで、図１１に示す通り、特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。
この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤ、撮影位置情報、撮影日時情報に対応する特定画像付加情報を検索によって得る（ステップＳＴ１３）。
【００７５】
そして、特定画像付加情報取得部３２は、特定画像付加情報と、この特定画像付加情報に対応する重畳領域を示す表示位置情報とを、通信部２１に出力する（ステップＳＴ１４）。
【００７６】
次いで、通信部２１は、特定画像表示データと表示位置情報を対応付けた情報を、表示装置１に送信する（ステップＳＴ１５）。
【００７７】
表示装置１の通信部１６は、特定画像表示データと表示位置情報を対応付けた情報を受信する（ステップＳＴ１６）。
そして、操作部１８から特定画像付加情報を表示部１５に表示させることを指示する操作情報を入力した場合（ステップＳＴ１７−ＹＥＳ）、端末制御部１１は、特定画像表示データと重畳領域情報に基づき、撮影画像データの対応する領域に特定画像付加情報を表示させる（ステップＳＴ１８）。
つまり、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。具体的には、端末制御部１１が、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。そして、端末制御部１１が、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。この表示部１５は、この合成処理された撮影画像データに基づき、撮影画像データの重畳領域に特定画像付加情報を重畳して表示する。
【００７８】
また、端末制御部１１は、特定画像付加情報に関連する関連情報を表示させることを指示する操作情報を操作部１８が入力した場合（ステップＳＴ１９−ＹＥＳ）、この関連情報を、表示部１５に表示させる（ステップＳＴ２０）。
【００７９】
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図１２は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図１２（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図１２（ａ）に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置１の端末制御部１１は、ＡＲモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部１３により検出された撮影位置情報と、撮影時に計時部１４により計時された撮影日時情報を、表示画像検索装置２に送信する。
【００８０】
そして、表示画像検索装置２の位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索し、検索によって得られた特定画像の特定画像ＩＤを画像特徴量比較部２６に出力する。これにより、画像特徴量比較部２６による検索対象を、表示画像検索装置２に記憶されている全ての特定画像から撮影位置情報に対応した特定画像に絞り込むことができる。
また、画像特徴量算出部２３は、撮影画像データに基づき、撮影画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する。
画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、撮影画像特徴量と類似する特徴量を有する特定画像を検出し、特定画像候補として画像識別部２７に出力する。ここで、画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量と類似の程度を示す特徴量類似度を算出し、この特徴量類似度に応じて撮影画像データに含まれている可能性の高い特定画像を特定画像候補として検出する。
【００８１】
重畳領域抽出部２８は、各特定画像候補の重畳領域を抽出し、撮影画像データの画面における重畳領域の座標を示す重畳領域情報を画像識別部２７に出力する。なお、複数の特定画像候補が検出された場合、重畳領域抽出部２８は、各特定画像候補に対応する重畳領域情報を算出する。
ここでは、１つの特定画像候補が検出され、図１２（ｂ）に示す通り、撮影画像の画面の右辺が左辺よりも長い台形で示される重畳領域Ｒ１３が抽出される。また、重畳領域情報は、例えば、この重畳領域Ｒ１３の四隅を示す座標である。なお、ここでは、検出された特定画像候補が１つであり、複数の重畳領域が重複することがないため、オブジェクト特徴情報比較部３０により算出されたオブジェクト類似度に基づき、画像識別部２７が複数の特定画像候補のうち、重複する重畳領域に対応する特定画像を選択する処理は実行されない。
そして、画像識別部２７は、特定画像候補と重畳領域情報を特定画像付加情報取得部３２に出力する。
【００８２】
特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、特定画像候補に対応する特定画像付加情報であって、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を読み出し、重畳領域情報を示す表示位置情報を対応付けて通信部２１に出力する。つまり、表示装置１に提供するコンテンツとして、特定画像候補に対応する特定画像付加情報の中から、さらに、撮影時の位置や日時に応じて異なる特定画像付加情報を選択することができる。
例えば、特定画像位置テーブル２２０では、特定画像位置情報として、緯度、経度、高度が示す位置から半径数十キロ範囲と規定しておく。そして、特定画像付加情報テーブル３１０では、この特定画像位置テーブル２２０において規定する特定画像位置情報よりも狭い範囲、例えば、緯度、経度、高度が示す位置から半径数キロ範囲と規定しておく。
具体的に説明すると、位置情報比較部２４では、東京都２３区の地域と関連付けられた特定画像を検索により得るようにしておき、特定画像付加情報取得部３２では、このエリアよりも狭い、例えば渋谷や恵比寿といった各駅単位のエリアを規定しておく。これにより、東京都２３区に張り出された同一のポスターが特定画像として登録されている場合であっても、駅毎にユーザの撮影時の位置に近い映画館の情報を特定画像付加情報として提供することができる。
【００８３】
表示装置１の通信部１６は、この特定画像付加情報と表示位置情報を受信し、端末制御部１１に出力する。この端末制御部１１は、特定画像付加情報のうち、例えば、動画ファイル等の画像を表示するコンテンツが含まれている場合、このコンテンツの表示形状を、重畳領域情報に基づき重畳領域Ｒ１３の外形に応じて変形処理をする。つまり、重畳領域Ｒ１３に内接する形状にコンテンツの外形を変形処理する。この端末制御部１１は、変形処理したコンテンツを、重畳領域情報が示す重畳領域Ｒ１３の上に重ねて表示するように合成処理した画面データを表示部１５に出力する。図８に示す例では、コンテンツ動画ファイル名や特定画像に対応付けられているコンテンツである。
これにより、この画像データに基づき、表示装置１の表示部１５は、図１２（ｂ）に示すように、重畳領域Ｒ１３に特定画像付加情報のコンテンツを重畳して表示することができる。
このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビＣＭの動画等である。
【００８４】
また、端末制御部１１は、表示部１３に表示した動画ファイルのコンテンツの再生が終了すると、続けて、コンテンツに関連するコンテンツ関連情報を閲覧するか否かをユーザに示す表示画面を表示部１５に表示させる。ここで、コンテンツ関連情報を閲覧することを指示する操作がユーザから操作部１８に入力すると、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部１５に表示する。図８に示す例では、コンテンツＵＲＬやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置１の端末制御部１１は、通信部１６を介して、コンテンツＵＲＬにアクセスしてコンテンツ関連情報をダウンロードし、図１２（ｃ）に示すように、コンテンツ関連情報を表示部１５に表示する。
このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
【００８５】
このように、表示装置１は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ＡＲを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ＡＲを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るＡＲモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ＡＲモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このＡＲモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が重畳領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮像画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部１５に表示することができる。
【００８６】
また、表示画像検索装置２は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
【００８７】
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
【００８８】
また、特定画像付加情報テーブル３１０において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定ＩＤに対応付けておき、特定画像付加情報取得部３２が、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
【００８９】
次に、図１３を参照して、コンテンツを提供するサービスの一例について説明する。図１３は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図１３（ａ）に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのＵＲＬを、コンテンツやコンテンツ関連情報として提供することができる。
また、図１３（ｂ）に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル３１０において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル２２０に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
【００９０】
＜第２実施形態＞
次に、図１４、１５を参照して、本発明に係る他の実施形態の一例について説明する。図１４は、第１、２の実施形態を含む概念を説明するための図である。
図１４に示す通り、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、以下の（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索する。この表示画像検索装置２は、撮影画像データに特定画像と類似する画像が含まれている場合、この特定画像に関連するコンテンツを、表示部１５が表示している撮影画像データ内の対応する領域に重畳して表示させる。また、コンテンツ関連情報が存在する場合、このコンテンツ関連情報を、コンテンツを表示した後に表示させる。
このように、表示画像検索装置２は、（Ａ）撮影画像データから検出されるオブジェクトと特定画像に含まれるオブジェクトの類似の程度を示すオブジェクト類似度、（Ｂ）撮影位置情報に基づき特定画像が存在する位置との距離、（Ｃ）撮影画像データから検出される撮影画像特徴量と特定画像の特徴量の類似の程度を示す特徴量類似度、に基づき、撮影画像データに含まれている特定画像を検索する。
【００９１】
上述の第１実施形態において、表示画像検索装置２は、最初に、（Ｂ）特定画像が存在する位置との距離に応じて、特定画像をある程度絞り、撮影位置情報に対応する特定画像に対して、（Ｃ）特徴量類似度を算出している。また、重畳領域が一定の割合の面積以上で重複する特定画像候補が検出された場合のみ、（Ａ）オブジェクト類似度を算出して、１つの特定画像候補に絞っている。このような処理手順で特定画像を決定することにより、処理対象となる特定画像の絞込みや、オブジェクト類似度の算出処理を省くことができるため、処理速度の向上に貢献し、装置に対する処理負荷を軽減することができる。
しかし本発明はこれに限られず、上述の通り（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索し、撮影画像の画像領域に応じて最も類似する特定画像に決定することができる。この一例を以下に説明する。
【００９２】
図１５を参照して、第２実施形態に係る表示画像検索装置２´の構成について説明する。なお、各構成の基本的な機能は第１実施形態と同様であり、同一の符号を付すことで、詳細な説明は省略する。ここでは、各構成に入出力する情報や接続関係が異なることで、第１実施形態と異なる処理手順や機能について説明する。
図１５に示す通り、通信部２１が受信した撮影画像データは、画像特徴量算出部２３とオブジェクト特徴情報比較部３０に出力され、撮影位置情報は位置情報比較部２４に出力される。
【００９３】
位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索する。この位置情報比較部２４は、検索によって得た特定画像毎に、撮影位置情報が示す位置と、この特定画像の位置（特定画像ＩＤに対応付けられている緯度、経度、高度で示される位置）との距離の差（以下、距離誤差Ｘ（ｔ）と記す）を算出する。位置情報比較部２４は、特定画像位置テーブル２２０の位置誤差許容距離Ａ（ｔ）と距離誤差Ｘ（ｔ）との関係を示す位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を算出する。言い換えると、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、位置誤差許容距離Ａ（ｔ）が示す特定画像位置範囲に対して、撮影位置情報が示す撮影位置の位置関係や距離関係を表わす関数式であって、特定画像データに割り当てられた位置に対して撮影位置の位置関係を示す。位置情報比較部２４は、検索によって得た特定画像を示す特定画像ＩＤと位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を画像識別部２７に出力する。なお、ｔは、特定画像ＩＤを示す番号である。
【００９４】
この位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下のような特性を有する関数式である。
例えば、距離誤差Ｘ（ｔ）≦位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲内にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、正の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲内において撮影位置情報が示す位置からどの程度位置がずれているかを示す。
一方、距離誤差Ｘ（ｔ）＞位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲外にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、負の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲に対して、撮影位置情報が示す位置からどの程度位置がずれているかを示す。
このような特性を有する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下の式で示すことができる。
位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））＝ ｛Ａ（ｔ） − Ｘ（ｔ）｝／Ａ（ｔ）
・・・式１
なお、撮影位置が特定画像位置範囲に対してどの程度範囲の内外にあるかを示す値は、この関数ｆの傾きを任意に設定することにより算出することができる。また、この値は、傾きに限らず、他のやり方で数式に傾斜を与えられるものであってもよい。
【００９５】
オブジェクト特徴情報比較部３０は、撮影画像データに対して、ＯＣＲ処理やパターンマッチング等を行い、撮影画像データに含まれている文字列や図形等のオブジェクトを検出する。このオブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、撮影画像データから検出されたオブジェクトと、特定画像のオブジェクトとの類似の程度を示すオブジェクト類似度を算出する。このオブジェクト類似度は、例えば、オブジェクトが文字であれば、一致している文字の数Ｙ（ｔ）を各特定画像ＩＤ（ｔ）の文字数Ｃ（ｔ）で除算した数値で表わすことができる。このオブジェクト特徴情報比較部３０は、算出したオブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）を画像識別部２７に出力する。
【００９６】
画像特徴量比較部２６は、特定画像特徴量テーブルを参照して、画像特徴量算出部２３によって算出された撮影画像特徴量と類似する特徴量を有する特定画像を検索する。この画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量類似度Ｚ（ｔ）を算出して、閾値以上の特定画像を示す特定画像ＩＤと特徴量類似度を特定識別部２７に出力する。
【００９７】
画像識別部２７は、入力する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）に基づき、以下に式２に従って、特定画像類似度Ｑ（ｔ）を、特定画像毎に算出する。
Ｑ（ｔ）＝ａ×ｆ（Ａ（ｔ），Ｘ（ｔ））＋ｂ×Ｙ（ｔ）／Ｃ（ｔ）＋ｃ×Ｚ（ｔ）
・・・式２
なお、ａ、ｂ、ｃは、重み係数であって、任意に決められる数値である。
【００９８】
画像識別部２７は、この特定画像類似度Ｑ（ｔ）が最大となる特定画像ＩＤの特定画像を、撮影画像データの領域に応じて、検索特定画像と決定し、特定画像付加情報取得部３２に出力する。つまり、検出された特定画像のうち、特定画像類似度Ｑ（ｔ）が２番目、３番目に大きいものであって、自身の特定画像類似度Ｑ（ｔ）よりも大きい特定画像類似度Ｑ（ｔ）の特定画像と、撮影画像データ内において一定の割合で面積が重複していなければ、画像識別部２７は、検索特定画像として決定し、特定画像付加情報取得部３２に出力する。
ここで、画像識別部２７は、重畳領域抽出部２８に対して、例えば、特定画像類似度Ｑ（ｔ）が大きい上位１０個の特定画像に対応する重畳領域を抽出させ、上述の通り、撮影画像データ内において一定の割合で面積が重複しているか否かを判断できる。
【００９９】
なお、上述の式２は、重み係数を変更することにより各項の関係を調整する一次関数を利用しているが、本発明はこれに限られず、ｎ次関数によって定義されるものであってもよい。
また、上述の式２は、この場合、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）のうち、画像識別部２７によって特定画像類似度Ｑ（ｔ）が算出される以前に特定画像の絞込みに利用されたものについては、対応する重み係数を「０」にすることによって、他の表示画像検索装置の構成において利用することができる。
【０１００】
＜実施形態の応用＞
なお、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索するものとして説明した。本発明は、これら（Ａ）〜（Ｃ）の要素を組み合わせることによって、あるいは、新たな要素を追加することによって、撮影画像データに含まれる特定画像の検索精度を高めることができる。
【０１０１】
例えば、オブジェクト類似度による比較においても、重畳領域が一定の割合以上の面積で重複する検索特定画像が絞り込めず、画像識別部２７から複数の検索特定画像が特定画像付加情報取得部３２に出力される場合がある。この場合、画像識別部２７は、オブジェクト類似度に基づき最も類似する１つの特定画像データを選択して検索特定画像を決定せずに、複数の特定画像データを特定画像付加情報取得部３２に出力するものであってもよい。この特定画像付加情報取得部３２は、特定画像付加情報テーブルを参照して、入力する複数の特定画像データの画像ＩＤの特定画像付加情報のうち、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択する。
これにより、撮影画像データにノイズが含まれ、撮影画像に含まれるオブジェクトと、テーブルにおいて規定されているオブジェクトとが大きく異なり、オブジェクト類似度の信頼性が低い場合であっても、撮影時のユーザの状況に応じた特定画像付加情報を提供することができる。
【０１０２】
また、重畳領域が一定の割合以上の面積で重複する特定画像のうち、１つの検索特定画像に絞り込めた場合であっても、特定画像付加情報取得部３２が、特定画像付加情報テーブルを参照して、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択することができる。これにより、撮影された特定画像が同一であっても、撮影した位置や日時に応じて、配信する特定画像付加情報を、特定画像付加情報テーブル３１０の撮影条件情報を変更することにより、変えることができる。
【０１０３】
＜検索パターン＞
ここで、図１６を参照して、本発明に係る検索パターンを用いて、本願発明の概要について説明する。図１６（ａ）には、第１記憶部２２に記憶されている特定画像ＩＤ１〜４の特定画像データ１００、２００、３００、４００を示す。図示の通り、特定画像データ４００は、タワーが中央にある風景の画像である。
このように特定画像データ１００、２００、３００と、特定画像データ４００とは、画像に含まれる内容が異なるため、その画像特徴量も大きく異なる。
【０１０４】
次に、図１６（ｂ）を参照して、撮影した画像内に、これら特定画像データ１００、２００、３００のように、複数の似通った特定画像が含まれており、画像識別部２７によって複数の特定画像候補が検出された場合について説明する。
この場合、画像特徴量算出部２３による検索だけでは、特定画像データ１００、２００、３００のように複数の特定画像候補が残ってしまう可能性がある。この場合、図示の通り、各特定画像データ１００、２００、３００の重畳領域Ｒ１００、Ｒ２００、Ｒ３００は、仮想的に重なりあっており、この重なった部分に対応する特定画像候補を決定することができない。そこで、本願発明は、画像識別部２７によって、オブジェクト類似度に応じて、この重なった部分の撮影画像と類似する特定画像候補を選択することにより、画像認識の精度を高めることができる。
画像識別部２７は、上述の通り、オブジェクト類似度を用いることで、含まれているオブジェクトの類似する程度やオブジェクトの位置に応じた特定画像候補を選択することができる。また、画像識別部２７は、重畳領域が撮影画像データの画像サイズに占める面積の割合に応じて、複数の特定画像候補を絞るものであってもよい。
なお、このような検索パターンは、図２を参照して上述した検索パターンに対応するものである。つまり、ビルＢ１の大型ディスプレイにおいて、重畳領域が一定の割合以上の面積で重畳している特定画像ＩＤ１、２が検索により得られるため、画像識別部２７は、オブジェクト類似度に応じて、１つの特定画像に絞っている。
【０１０５】
次に、図１６（ｃ）を参照して、撮影した画像内に、複数の重畳領域に対応する特定画像を画像識別部２７が検索によって得た場合について説明する。
重畳領域Ｒ１０１、Ｒ１０２は、特定画像ＩＤ１に対応するものであり、重畳領域Ｒ４００は、特定画像ＩＤ４に対応するものである。
この場合、図示の通り、検出された複数の重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００は、いずれも仮想的に重なっていない。
よって、画像識別部２７は、検索により得られた特定画像が、複数の領域に出現していて、複数の検索結果である重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００にそれぞれ対応する特定画像ＩＤ１、１、４が有効であると判断する。この画像識別部２７によって有効と判断された特定画像は、通信部２１に出力される。
【０１０６】
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
【０１０７】
また、図１０、１１に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す表示装置１および表示画像検索装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１０９】
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部２２、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・画像識別部、２８・・・重畳領域抽出部、２９・・・第３記憶部、３０・・・オブジェクト特徴情報比較部、３１・・・第４記憶部、３２・・・特定画像付加情報取得部
【技術分野】
【０００１】
本発明は、撮影した撮影画像に応じたコンテンツを検索し、検索により得たコンテンツを表示部に表示させる表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法に関する。
【背景技術】
【０００２】
仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの存在する実空間を、ユーザ視点で表示された仮想空間によって表現して携帯端末に表示するシステムがある。
また、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を利用して、ユーザの現在の位置を示す位置情報とこの位置でモバイルデバイスが撮影した画像に基づき、この撮影した位置に関連付けられた情報を、撮影した画像とともにモバイルデバイスに表示させ、ユーザに提供するシステムがある。この拡張現実感技術を利用したシステムとしては、セカイカメラ（Ｔｏｎｃｈｉｄｏｔ Ｃｏｒｐｏｒａｔｉｏｎ， ｈｔｔｐ：／／ｓｅｋａｉｃａｍｅｒａ．ｃｏｍ／ ）やＬａｙａｒ( ｈｔｔｐ：／／ｌａｙａｒ．ｃｏｍ／ )などがあり、注目を集めている。
【０００３】
例えば、拡張現実感技術を利用した技術として、二次元バーコード等のマーカを撮影し、当該二次元バーコードと一意に関連づけられたコンテンツを撮影した画像に合成して表示させるものがある（例えば、特許文献１参照）。
また、撮影した画像データの内容を認識する画像認識装置として、撮影された位置に応じて、撮影された画像データの内容を表わすキーワードを抽出するものがある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４９４０７号公報
【特許文献２】特開２００７−４１７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、マーカを撮影して拡張現実感技術を利用する場合、実空間におけるマーカの表示形態や表示場所が制限される問題があった。
例えば、二次元バーコード等のマーカを撮影して画像認識する場合、認識可能な画角が得られる程度にユーザがマーカに近接して撮影する必要があり、マーカとユーザとの関係が比較的近い範囲内に制限される問題があった。なお、マーカは二次元バーコードのようにデザイン性の低い図形で構成されている場合が多いため、例えば、ビルに設置されている大型広告の全面に表示するなどのマーカ表示方法は、美観的に適さず、その表示場所が制限される問題があった。
【０００６】
本発明は、上記課題を解決するものであり、マーカを利用せずに撮影した画像に応じたコンテンツを提供する表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部とを備えることを特徴とする。
【０００８】
また、上述の表示画像検索装置は、前記入力部が、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報を入力し、前記記憶部が、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、前記画像特徴量比較部が、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする。
【０００９】
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルを記憶し、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、さらに備えることを特徴とする。
【００１０】
また、上述の表示画像検索装置は、前記記憶部が、前記特定画像付加情報に対して予め関係付けられた条件を示す撮影条件情報を前記特定画像付加情報に対応付ける特定画像付加情報テーブルを記憶し、前記特定画像付加情報取得部が、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする。
【００１１】
また、上述の表示画像検索装置は、前記画像認識部が、前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする。
【００１２】
上述の課題を鑑み、本発明に係る表示装置は、上述の記載のいずれか一つの表示画像検索装置と、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備えることを特徴とする。
【００１３】
上述の課題を鑑み、本発明に係る表示画像検索システムは、上述の記載のいずれか一つの表示画像検索装置と、前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置とを備えることを特徴とする。
【００１４】
また、上述の表示装置および表示画像検索システムにおいて、表示装置は、入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする。
【００１５】
上述の課題を鑑み、本発明に係る表示画像検索方法は、撮影された画像に対応する画像を検索する表示画像検索方法であって、被写体を撮影する撮影部により生成された撮影画像データを入力し、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力することを特徴とする。
【００１６】
上述の課題を鑑み、本発明に係る表示画像検索装置は、被写体を撮影する撮影部により生成された撮影画像データと、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報とを入力する入力部と、前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、マーカを利用せずに撮影した画像に応じたコンテンツを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る表示画像検索システムの構成の一例を示すブロック図である。
【図２】撮影画像の一例を示す図である。
【図３】本発明の実施形態に係る特定画像位置テーブルの一例を示す図である。
【図４】特定画像データの一例を示す図である。
【図５】撮影画像特徴量の一例を示す図である。
【図６】本発明の実施形態に係る特定画像特徴量テーブルの一例を示す図である。
【図７】本発明の実施形態に係るオブジェクト特徴情報テーブルの一例を示す図である。
【図８】本発明の実施形態に係る特定画像付加情報テーブルの一例を示す図である。
【図９】重畳領域の一例を示す図である。
【図１０】本発明の実施形態に係る表示画像検索方法の一例を示すフローチャートである。
【図１１】図１０に示す表示画像検索方法の続きを示すフローチャートである。
【図１２】コンテンツ等を提供する際に表示装置に表示される画像の一例を説明する図である。
【図１３】本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
【図１４】本発明による表示画像検索の概念を説明するための図である。
【図１５】本実施形態に係る表示画像検索装置の構成の他の例を示す図である。
【図１６】本発明の概要について説明するための図である。
【発明を実施するための形態】
【００１９】
＜第１実施形態＞
以下、本発明の一実施形態による画像検索表示システムの一例について、図面を参照して詳細に説明する。図１は、本実施形態における画像検索表示システムの機能ブロック図である。
図１に示す通り、画像検索表示システムは、表示装置１と表示画像検索装置２を備える。本実施形態において、表示装置１と表示画像検索装置２は、ネットワークＮＷを介して通信可能に接続されている。
なお、本実施形態では、表示装置１と表示画像検索装置２は、それぞれ異なるデバイスであって、ネットワークＮＷを経由して接続されている構成を例に以下説明するが、本発明はこれに限られない。例えば、表示装置１が、表示画像検索装置２を内部に備える構成であってもよい。また、ネットワークＮＷは、有線あるいは無線のいずれであってもよく、例えば、電話回線、インターネット回線、無線ＬＡＮ通信方式等を利用した通信を行うものであればよい。
【００２０】
表示装置１は、例えば、カメラ付き携帯電話や、通信機能付きカメラ等のモバイルデバイスが利用可能である。この表示装置１は、拡張現実感技術を利用して得られるコンテンツを撮影された画像に合成して表示するＡＲモードを設定する機能が搭載されており、以下、このＡＲモードが設定されている場合に利用する機能と動作を中心に説明する。
【００２１】
表示装置１は、端末制御部１１と、撮影部１２と、位置情報検出部１３と、計時部１４と、表示部１５と、通信部１６と、記憶部１７と、操作部１８を備える。
撮影部１２は、被写体からの光を受光し、受光した光を光電変換して画像データを生成し、出力する。つまり、撮影部１２は、被写体を撮影して画像データを出力する。
この撮影部１２は、画像データとして、撮影画像データＤ（ｎ）とリアルタイム再生画像データとを出力する。このリアルタイム再生画像データは、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示するため撮影部１２から出力される画像データである。これにより、ユーザは、表示部１５に表示されている画像をみながら、表示部１５に表示された被写体を撮影することができる。
一方、撮影画像データＤ（ｎ）は、リアルタイム再生画像データに基づく画像が表示部１５に表示されている状態において、操作部１８が入力するユーザからの撮影指示に基づき、撮影部１２が被写体を撮影して得られる画像データである。
【００２２】
位置情報検出部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、表示装置１が撮影時に存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影位置情報Ｐ（ｎ）は、例えば、緯度、経度、高度により決定される地球上における絶対的な位置を示す。
なお、本実施形態において、撮影時とは、例えば、操作部１８のシャッターボタンをユーザが押下したタイミングであってもよく、撮影画像データＤ（ｎ）が生成されたタイミングであってもよい。
【００２３】
計時部１４は、年月日および時刻を計時しており、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する。
【００２４】
端末制御部１１は、表示装置１を統括的に制御する。この端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）｛ｎ＝１，２・・・｝に、この撮影画像データＤ（ｎ）が撮影された位置を示す撮影位置情報Ｐ（ｎ）と、この撮影画像データＤ（ｎ）が撮影された日時を示す撮影日時情報Ｔ（ｎ）とを対応付けて、記憶部１７に格納する。なお、ｎは、撮影部１２によって撮影された撮影画像データを他の撮影画像データから識別するための識別情報である撮影画像ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）である。
また、端末制御部１１は、撮影部１２によって連続的に撮影されるリアルタイム再生画像データを端末制御部１１から入力し、撮影部１２が撮影する画像をリアルタイムで表示部１５に表示する。
この端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。
この表示位置情報が示す画像領域の形状が、特定画像付加情報が示す画像の出力形状と一致していない場合、端末制御部１１は、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。この端末制御部１１は、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。例えば、特定画像付加情報である動画ファイル名の動画の出力形状が長方形の画像であって、表示位置情報が示す画像領域の形状が歪んでいる場合、特定画像付加情報取得部３２は、この歪みに応じて、動画の出力形状を変形処理する。
【００２５】
表示部１５は、例えば、液晶ディスプレイ等であって、端末制御部１１から入力する情報に基づく画像を表示する。
【００２６】
通信部１６は、ネットワークＮＷを介して表示画像検索装置２から送信される情報を受信して端末制御部１１に出力し、端末制御部１１から入力する情報をネットワークＮＷを介して表示画像検索装置２に送信する。
【００２７】
記憶部１７は、撮影部１２によって生成された撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）とを対応付けて記憶する。また、記憶部１７は、表示装置１が動作するためのプログラムを記憶する。
【００２８】
操作部１８は、例えば、電源のＯＮ／ＯＦＦを入力する電源ボタン、ユーザからの撮影指示を入力するシャッターボタン等を含む。
【００２９】
ここで、表示装置１の撮影部１２が取得した撮影画像データＤ（ｎ）の一例について、図２を参照して説明する。図２は、撮影画像の一例を示す図である。
図２に示す通り、撮影画像データＤ（ｎ）は、例えば、ある繁華街の風景を写した画像であって、画面右側に大きなビルＢ１の画像が、画面中央にビルＢ１よりも小さいビルＢ２の画像が、それぞれ含まれている。このビルＢ１には、大型ディスプレイが設置されている。ビルＢ２には、貸広告を掲示する大きな貸広告スペースが設けられている。
このビルＢ１の大型ディスプレイは、右辺が長く、左辺が短く歪んでいる。また、ビル２の貸広告スペースは、上辺と下辺が湾曲している。
【００３０】
図１に戻って、表示画像検索装置２は、通信部２１と、第１記憶部２２と、画像特徴量算出部２３と、位置情報比較部２４と、第２記憶部２５と、画像特徴量比較部２６と、画像識別部２７と、重畳領域抽出部２８と、第３記憶部２９と、オブジェクト特徴情報比較部３０と、第４記憶部３１と、特定画像付加情報取得部３２とを備える。
【００３１】
通信部２１は、表示装置１との間で情報の入出力を行うインターフェースであって、ネットワークＮＷを介して表示装置１から送信される撮影画像データＤ（ｎ）と、撮影位置情報Ｐ（ｎ）と、撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。また、通信部２１は、特定画像付加情報取得部３２から入力する特定画像表示データＳ（ｎ）を、ネットワークＮＷを介して表示装置１に送信する。
なお、通信部２１は、本実施形態のように、表示装置１と表示画像検索装置２とがネットワークＮＷを介して接続されている場合、上述のように表示装置１と情報の送受信を行う機能を有する。一方、図示しないが、表示画像検索装置２が表示装置１に内蔵されている場合、表示装置１と情報の入出力を行う機能を有する。つまり、通信部２１は、表示装置１から情報を入力する入力部、および、表示装置１（表示部１５）へ情報を出力する出力部として機能する。
【００３２】
第１記憶部２２は、例えば表示画像検索装置２の管理者により予め登録された特定画像位置テーブル２２０を記憶する。
この特定画像位置テーブル２２０は、図３に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を提供可能な位置を示す特定画像位置情報とを対応付けるテーブルである。この特定画像位置情報は、緯度と、経度と、高度と、位置誤差許容距離を示す情報を含む。
特定画像ＩＤは、特定画像を識別するための識別情報である。なお、この特定画像ＩＤが割り当てられている特定画像データは、この特定画像ＩＤと対応付けて第１記憶部２２に格納されている。
【００３３】
例えば、第１記憶部２２は、図４に示すような、特定画像ＩＤ１、２、３の特定画像データ１００、２００、３００を格納している。なお、いずれの特定画像も、その画像が縦長の長方形であって、例えば、映画の宣伝用のポスター画像である。
図４に示す通り、特定画像データ１００は、特定画像ＩＤ１が割り当てられており、画面の中央にネコの画像を含む画像である。この特定画像データ１００は、画面の約６０％の範囲にネコの画像が表示されている。
特定画像データ２００は、特定画像ＩＤ２が割り当てられており、画面の上部に「映画タイトル」の文字画像を、この「映画タイトル」の下にネコの画像を、それぞれ含む画像である。この特定画像データ２００は、画面の約３０％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、それぞれ表示されている。
特定画像データ３００は、特定画像ＩＤ３が割り当てられており、画面の中央に「映画タイトル」の文字画像を、この「映画タイトル」の上にネコの画像を、この「映画タイトル」の右下に「近日公開」の文字画像を、それぞれ含む画像である。この特定画像データ３００は、画面の約５％の範囲にネコの画像が、画面の約２０％の範囲に「映画タイトル」の文字画像が、画面の約５％の範囲に「近日公開」の文字画像が、それぞれ表示されている。
【００３４】
図３に戻って、緯度、経度、および高度は、特定画像ＩＤの特定画像データに対応する特定画像位置を示す情報である。この特定画像位置は、例えば、特定画像データが表わされたポスターや大型ディスプレイが設置されている位置である。
位置誤差許容距離は、緯度、経度、および高度によって、特定画像位置とみなされる一定の範囲を示す情報である。この位置誤差許容距離は、例えば、特定画像位置を中心とする円の半径を示す距離である。
【００３５】
図１に戻って、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す画像特徴量（以下、撮影画像特徴量という）を算出する。この撮影画像特徴量は、例えば、色の成分、明るさ、エッジ画像等の画像の特徴を数値化したものである。なお、本実施形態において、撮影画像特徴量は、撮影画像全体に対応する特徴量のうち、一定の閾値以上の数値を有するもののみを表わす。
【００３６】
この撮影画像特徴量の一例を図５に示す。図５に示す通り、画像特徴量算出部２３は、例えば、撮影画像データＤ（ｎ）に基づき撮影画像特徴量を算出し、例えば、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を得る。
この撮影画像特徴量群Ｃ１は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示された「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ２は、撮影画像データＤ（ｎ）の画像内において、ビルＢ１の大型ディスプレイに表示されたネコの画像に対応する画像領域から算出された特徴量である。
撮影画像特徴量群Ｃ３は、撮影画像データＤ（ｎ）の画像内において、ビルＢ２の貸広告のスペースに表示されたネコの画像に対応する画像領域から算出された特徴量である。
なお、撮影画像特徴量群Ｃ２とＣ３は、ともにネコの画像に対応する画像領域から算出される特徴量であり、その特徴量の分布は類似している。
【００３７】
図１に戻って、位置情報比較部２４は、通信部２１から撮影位置情報Ｐ（ｎ）を入力する。この位置情報比較部２４は、特定画像位置テーブル２２０を参照して、入力する撮影位置情報Ｐ（ｎ）に基づき、対応する特定画像ＩＤを検索する。つまり、位置情報比較部２４は、特定画像位置情報の示す範囲に撮影位置情報Ｐ（ｎ）の示す撮影位置を含む特定画像データを検索する。
言い換えると、位置情報比較部２４は、第１記憶部２２に記憶されている全ての特定画像データの中から、撮影位置情報に対応する特定画像データを検索によって得ることで、画像特徴量比較部２６による比較対象を撮影位置情報に対応するものに限定する処理を行っている。
【００３８】
具体的に説明すると、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）が示す位置が、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像位置範囲内となる特定画像ＩＤがあるか否かを判断する。この位置情報比較部２４は、この撮影位置情報Ｐ（ｎ）の示す位置が特定画像位置範囲内となる特定画像ＩＤを検索によって得た場合、この検索によって得た特定画像ＩＤを画面特徴量比較部２６に出力する。
なお、特定画像特徴量テーブル２５０において、特定の緯度、経度、高度、位置誤差許容距離と対応づけられていない特定画像ＩＤの特定画像データは、位置情報比較部２４により検索結果の候補から除外せず、位置情報比較部２４によって画像特徴量比較部２６に出力される。
【００３９】
第２記憶部２５は、例えば表示画像検索装置２の管理者により予め登録された特定画像特徴量テーブル２５０を記憶する。
この特定画像特徴量テーブル２５０は、図６に示す通り、特定画像ＩＤと、特定画像の特徴を示す特定画像特徴量情報とを対応付けるテーブルである。この特定画像特徴量情報は、特徴点縦座標と、特徴点横座標と、特徴点特徴量とを示す情報を含む。
この特徴点縦座標と特徴点横座標は、対応する特定画像ＩＤの特定画像データにおける特徴点特徴量の位置を示す。この特徴点特徴量は、この特徴点縦座標と特徴点横座標が示す位置の特徴量を示す。なお、各特定画像ＩＤに対応付けられている特徴点特徴量の数は、各特定画像ＩＤに応じて決まる。
【００４０】
図１に戻って、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を読み出し、この特定画像ＩＤに対応する特徴量と、画像特徴量算出部２３によって算出された撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の画像内に含まれる特徴量と類似する特徴量を有する特定画像を、特定画像候補として検出する。
【００４１】
具体的に説明すると、この画像特徴量比較部２６は、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量と撮影画像データＤ（ｎ）の撮影画像特徴量との類似度を示す特徴量類似度を算出し、この特徴量類似度が閾値以上の特定画像ＩＤの特定画像データを特定画像候補として検出する。この画像特徴量比較部２６は、この特定画像候補を示す特定画像ＩＤと、特定画像特徴量テーブル２５０においてこの特定画像ＩＤと対応付けられている特徴量とを対応付けた特定画像候補セットを取得し、画像識別部２７に出力する。なお、特徴量類似度が閾値以上の特定画像データが複数ある場合、複数の特定画像候補セットが検出される。
なお、特徴量類似度は、例えば、レベル１〜１０で示され、閾値がレベル５とする。また、レベル１は、特定画像の特徴量と撮影画像特徴量とが最も類似していないことを示し、レベル１０は特定画像の特徴量と撮影画像特徴量とが最も類似していることを示すものとする。
【００４２】
ここで、画像特徴量比較部２６による処理について、特定画像ＩＤ１〜３の中から特定画像候補を選択する例を用いて説明する。なお、本発明は、以下に説明する特定画像候補の選択方法に限られず、例えば、公知となっている画像認識関数等を利用しても実現可能である。
図５に示した通り、撮影画像特徴量群Ｃ２は、ネコの画像に対応する画像領域から算出された特徴量である。このため、このネコの画像を含む特定画像データ１００、２００、３００の特徴量と撮影画像特徴量群Ｃ２とは類似する。
画像特徴量比較部２６は、例えば、この撮影画像特徴量群Ｃ２と類似する特徴量の画像が特定画像データにおいて占める面積の割合に応じて、特徴量類似度を算出する。上述の通り、特定画像データ１００、２００、３００のそれぞれにおいて、ネコの画像の占める面積の割合は、６０％、３０％、５％である。よって、画像特徴量比較部２６は、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ２との特徴量類似度は、例えば、レベル６、３、０．５と算出する。
【００４３】
また、撮影画像特徴量群Ｃ１は、「映画タイトル」の文字画像に対応する画像領域から算出された特徴量である。このため、この「映画タイトル」の文字画像を含む特定画像データ２００、３００の特徴量と撮影画像特徴量群Ｃ１とは類似する。上述の通り、特定画像データ２００、３００のそれぞれにおいて、「映画タイトル」の文字画像の占める面積の割合は、ともに２０％である。よって、画像特徴量比較部２６は、特定画像データ２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ１との特徴量類似度は、例えば、レベル２と算出する。
【００４４】
さらに、「映画タイトル」の文字画像の位置は、ネコの画像の上にあり、撮影画像特徴量群Ｃ１、Ｃ２との位置関係に基づき、特定画像データ２００の方が、特定画像データ３００に比べて、撮影画像特徴量群Ｃ１、Ｃ２と類似している。よって、画像特徴量比較部２６は、特定画像データ２００の特徴量と撮影画像特徴量群Ｃ１、Ｃ２との特徴量類似度は、例えば、レベル２と算出する。
【００４５】
画像特徴量比較部２６は、特定画像データ毎に算出した特徴量類似度を加算して、撮影画像特徴量群Ｃ１、Ｃ２との特徴点類似度を算出する。
これにより、画像特徴量比較部２６は、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ３００との特徴量類似度が「２．５」と算出する。
このように、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００、２００との特徴量類似が閾値のレベル５以上である。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
【００４６】
なお、上述のようにして、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
【００４７】
また、画像特徴量比較部２６は、撮影画像データＤ（ｎ）の画像内における特定画像データの画像の歪みや、照明や設置環境等の撮影条件の違いに応じて、位置情報比較部２４の検索によって得られた特定画像ＩＤに対応する特徴量を補正し、この補正した特定画像ＩＤに対応する特徴量と撮影画像特徴量とを比較する。これにより、撮影画像データＤ（ｎ）の画像内における特定画像データの画像が歪んでいる場合や、撮影条件が異なる場合であっても、撮影画像データＤ（ｎ）に含まれている特定画像を検出することができる。
なお、撮影条件とは、例えば、撮影時の照明が自然光（日中、夜間）、蛍光灯、白熱灯等であって照明の色や明るさ、特定画像データの画像が設置されている背景の色や明るさ、映り込みの有無や程度に応じて決められる。補正値は、このように想定される撮影時の状況の撮影条件に応じて、特徴量を補正する係数によって予め決められている。なお、この補正値は、例えば、第２記憶部２５に記憶されている。
よって、画像特徴量比較部２６は、特定画像特徴量テーブル２５０から読み出した特定画像データの特徴量に対して撮影条件や画像の歪みに応じた補正をかけた特徴量と、撮影画像特徴量とを比較して、特定画像データであると許容される類似度の閾値の範囲内であれば、撮影画像特徴量と類似する特徴量を有する特定画像データと認識する。一方、この類似度の閾値の範囲外である場合、画像特徴量比較部２６は、撮影画像特徴量と類似する特徴量を有しない特定画像データと認識し、この特定画像データを特定画像候補としては検出しない。
【００４８】
図１に戻って、画像識別部２７は、重畳領域抽出部２８に対して特定画像候補セットを出力し、撮影画像データＤ（ｎ）の画像内における特定画像候補の画像領域（以下、重畳領域という）を重畳領域抽出部２８に算出させる。この画像識別部２７は、重畳領域抽出部２８によって算出された重畳領域を示す座標情報（以下、重畳領域情報という）を入力する。
【００４９】
重畳領域抽出部２８は、特徴量画像特徴量テーブル２５を参照して、画像識別部２７から入力する特定画像候補セットに基づき、撮影画像データＤ（ｎ）の画像内における特定画像候補の重畳領域を示す重畳領域情報を算出する。この重畳領域抽出部２８は、特定画像特徴量テーブル２５０において定義されている特徴点特徴量の位置（特徴点縦座標と特徴点横座標が示す位置）に応じて、この特徴点特徴量と類似する撮影画像特徴量群に対応する重畳領域を抽出する。重畳領域抽出部２８は、抽出した重畳領域の座標を、重畳領域情報として算出する。この重畳領域抽出部２８は、特定画像候補毎に重畳領域情報を算出し、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
この重畳領域抽出部２８は、例えば、特定画像候補と対応する特定画像の特徴量の特定画像特徴量テーブル２５０から読み出し、この特定画像の特徴量を表わす変換行列Ｍ（ｔ）を作成する。この変換行列Ｍ（ｔ）は、言い換えると、特定画像候補セットから特定画像特徴量テーブル２５０から読み出し特定画像の特徴量のセットへの変換行列である。重畳領域抽出部２８は、この変換行列Ｍ（ｔ）に基づき重畳領域の輪郭を示す座標を算出し、重畳領域情報を得る。
【００５０】
ここで、重畳領域抽出部２８によって検出される重畳領域の一例について、図９を参照して説明する。図９は、撮影画像データＤ（ｎ）の撮影画像特徴量群Ｃ１〜Ｃ３に類似する特定画像候補の重畳領域を示す図である。
Ｒ１１、Ｒ１２は、特定画像ＩＤ１に対応する重畳領域を示す。Ｒ２１は、特定画像ＩＤ２に対応する重畳領域を示す。
図９に示す通り、撮影画像特徴量群Ｃ１、Ｃ２と類似する特徴量を有する特定画像データ１００の重畳領域Ｒ１１と特定画像データ２００の重畳領域Ｒ２１は、互いに、撮影画像特徴量群Ｃ２に対応する画像領域において重複している。
【００５１】
図１に戻って、画像識別部２７は、オブジェクト特徴情報比較部３０に対して、対応する重畳領域と特定画像候補との類似度を示すオブジェクト類似度を算出させる。この画像識別部２７は、オブジェクト特徴情報比較部３０によって算出されたオブジェクト類似度を入力する。
【００５２】
この画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出し、この特定画像候補が複数枚算出された場合、オブジェクト類似度を用いて、重畳領域の画像と最も類似する特定画像候補を選択する。
例えば、この画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している複数の特定画像候補毎に、オブジェクト特徴情報比較部３０によって算出されるオブジェクト類似度が一定の閾値以上であるか否かを判断する。この画像識別部２７は、これら特定画像候補の中から、オブジェクト類似度が閾値以上の特定画像候補を取得する。
画像識別部２７は、重畳領域が一定の閾値以上の面積で重複している特定画像候補のうち、このオブジェクト類似度が閾値以上の特定画像候補を、重畳領域に含まれている特定画像と判断し、特定画像候補の中から検索によって得た画像（以下、検索特定画像という）として扱う。
【００５３】
なお、画像識別部２７は、オブジェクト類似度が閾値以上の特定画像候補を複数取得した場合、そのオブジェクト類似度が最大の特定画像候補を１つ選択することで、重畳領域画像に最も類似する特定画像候補を取得する。画像識別部２７は、この最も類似する特定画像候補を、検索特定画像として扱う。
一方、重畳領域情報が示す重畳領域が他の重畳領域と重複していない場合、および、重複している場合であってもその重複している重畳領域が一定の閾値未満の面積である場合、画像識別部２７は、オブジェクト類似度に基づき、１つの特定画像候補を検索特定画像として選択する処理をすることなく、各重畳領域に対応する特定画像候補を検索特定画像として扱う。
画像識別部２７は、各重畳領域情報に検索特定画像の特定画像ＩＤを関連付けて特定画像付加情報取得部３２に出力する。
【００５４】
第３記憶部２９は、例えば表示画像検索装置２の管理者により予め登録されたオブジェクト情報テーブル２９０を記憶する。
このオブジェクト情報テーブル２９０は、図７に示す通り、特定画像ＩＤと、特定画像に含まれるオブジェクトの特徴を示すオブジェクト特徴情報とを対応付けるテーブルである。このオブジェクト特徴情報は、特定画像内オブジェクト種別と、画像内オブジェク縦座標と、画像内オブジェクト横座標と、特定画像内文字とを含む。
特定画像内オブジェクト種別は、例えば、イメージ、文字、図形等の属性の異なるオブジェクトの種別を示す。ここでは、「１」が文字、「２」が図形、「３」が表、「０」はその他のオブジェクトであることを示す。
画像内特徴座標縦座標と画像内特徴座標横座標は、特定画像ＩＤの示す特定画像データにおいて、オブジェクトを含む位置を示す。なお、このオブジェクトを含む位置は、特定画像データの画像を分割した領域で示すものであってもよく、画像の右上領域、画像の左下領域等によりその位置を特定するものであってもよい。
特定画像内文字は、特定画像内特徴種別が文字を示す場合、この文字の内容を示す。つまり、特定画像内文字は、特定画像内特徴種別が「１」の場合において、対応する特定画像ＩＤの示す特定画像データに含まれる文字列を示す。なお、特定画像内特徴種別が「１」以外の場合、ｎｕｌｌとする。
【００５５】
図１に戻って、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、画像識別部２７から入力する特定画像候補セットと重畳領域セットに基づき、撮影画像データの画像内における重畳領域の画像（以下、重畳領域画像という）に、重畳領域の特定画像ＩＤに対応するオブジェクトが含まれているか否かを判断する。
具体的にいうと、オブジェクト特徴情報比較部３０は、画像識別部２７によって重畳領域が一定の閾値以上の面積で重複している特定画像候補が複数枚算出された場合、この特定画像候補にそれぞれ対応する重畳領域画像に、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが存在する可能性を示すオブジェクト類似度を算出する。
【００５６】
このオブジェクト類似度は、重畳領域画像と特定画像データの画像が類似している程度を示すものであって、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性を段階的に表わす情報である。例えば、オブジェクト特徴情報比較部３０は、撮影画像特徴量に基づき、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトの特徴を示す特徴量が撮影画像特徴量に含まれている可能性を算出する。
その結果、撮影画像データＤ（ｎ）において、各特定画像ＩＤと対応付けられているオブジェクト特徴情報と類似するオブジェクトが決められた位置に存在している場合、オブジェクト特徴情報比較部３０は、撮影画像データＤ（ｎ）にこのオブジェクトが含まれている可能性が高いことを示すオブジェクト類似度を算出する。この場合、オブジェクト類似度は高くなる。なお、このオブジェクトが類似しているとオブジェクト特徴情報比較部３０により判断される範囲は、オブジェクトの種類や位置に応じて予め決められている。
また、オブジェクト特徴情報テーブル２９０において定義されているオブジェクトが、重畳領域画像に存在する可能性が低い場合、オブジェクト類似度は低い。
【００５７】
例えば、オブジェクト特徴情報テーブル２９０における特定画像内オブジェクト種別が「１」（文字）である場合、オブジェクト特徴情報比較部３０は、光学文字認識（ Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ ）の技術を利用して、撮影画像データに含まれる文字画像を文字列に変換する。このオブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列と、オブジェクト特徴情報テーブル２９０に定義されている特定画像内文字の文字列とを比較して、類似する範囲（例えば、一致する文字数が一定割合以上ある場合）内であるか否かを判断する。また、オブジェクト特徴情報比較部３０は、ＯＣＲにより検出した文字列が、重畳領域画像において、オブジェクト特徴情報テーブル２９０に定義されている画像内オブジェクト縦座標と画像内オブジェクト横座標が示す位置にあるか否かを判断する。このオブジェクト特徴情報比較部３０は、文字列の比較結果が類似する範囲内であり、かつ、定義されている位置にオブジェクトがあることが判断された場合、重畳領域画像が、これらオブジェクト特徴情報と対応付けられている特定画像ＩＤである可能性が高いことを示すオブジェクト類似度を算出する。なお、オブジェクト特徴情報比較部３０は、この文字列が類似している程度や、オブジェクトの位置が定義されている位置との誤差に応じて、この類似度を段階的に表わすことができる。
【００５８】
例えば、図９に示した通り、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複している。よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１が、それぞれの領域において重複する面積の割合を、閾値と比較する。ここで閾値は、各重畳領域において、他の重畳領域と重複する面積の割合が５０％であることとする。
画像識別部２７は、重畳領域Ｒ１１が、他の重畳領域Ｒ２１と面積の割合９０％で重複しているため、閾値以上であると判断し、この重畳領域Ｒ１１、Ｒ１２に対応するオブジェクト類似度を、オブジェクト特徴情報比較部３０に算出させる。
【００５９】
ここで、オブジェクト特徴情報比較部３０は、ＯＣＲより、重畳領域Ｒ２１の撮影画像特徴量群Ｃ１に対応する領域から文字列を検出し、オブジェクト特徴情報テーブル２９０を参照して、オブジェクト類似度を算出する。ここでは、オブジェクト特徴情報テーブル２９０において、特定画像ＩＤ２と対応付けられているオブジェクト特徴情報と、ＯＣＲにより検出した文字列が類似しているとする。オブジェクト特徴情報比較部３０は、重畳領域Ｒ２１のオブジェクト類似度として、特定画像ＩＤ２である可能性が高いことを示すオブジェクト類似度を算出する。
また、オブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、重畳領域Ｒ１１にオブジェクト特徴情報に対応するオブジェクトがあるか否かを判断する。ここでは、オブジェクト特徴情報比較部３０は、対応するオブジェクトがないと判断し、重畳領域Ｒ１１のオブジェクト類似度として、特定画像ＩＤ１である可能性が低いことを示すオブジェクト類似度を算出する。
【００６０】
よって、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う。
一方、重畳領域Ｒ１２は、他の重畳領域と重複していないため、画像識別部２７は、重畳領域Ｒ１２に対応する特定画像候補である特定画像ＩＤ１の特定画像を、検索特定画像として扱う。
【００６１】
第４記憶部３１は、例えば表示画像検索装置２の管理者により予め登録された特定画像付加情報テーブル３１０を記憶する。
この特定画像付加情報テーブル３１０は、図８に示す通り、特定画像ＩＤと、特定画像に関連する付加情報を示す特定画像付加情報と、この特定画像ＩＤに対応する特定画像付加情報を撮影時の条件に応じてさらに特定するための情報である撮影条件情報とを対応付けるテーブルである。この撮影条件情報は、緯度と、経度と、高度と、位置誤差許容距離と、年／月／日と、時刻とを含む。特定画像付加情報は、例えば、コンテンツＵＲＬと、動画ファイル名と、スライドショー画像数と、スライドショー画像表示フレームレートとを含む。
【００６２】
緯度、経度、高度、位置誤差許容距離は、特定画像ＩＤに対応する特定画像付加情報を撮影時の位置に応じてさらに特化させることを可能にするための情報である。
年／月／日と、時刻は、特定画像ＩＤに対応する特定画像付加情報を撮影時の日時に応じてさらに特化させることを可能にするための情報である。
コンテンツＵＲＬは、特定画像と関連するコンテンツをインターネットを介して提供するＵＲＬ（ Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ ）である。
動画ファイル名は、特定画像と関連する動画ファイルを示す情報である。なお、この動画ファイル名で示す動画ファイルは、第４の記憶部３１に保存されている。
スライドショー画像数と、スライドショー画像表示フレームレートは、特定画像と関連するスライドショーの画像枚数と、このスライドショーを表示させる際のフレームレートを示す情報である。
【００６３】
特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤに基づき、この特定画像ＩＤに対応する特定画像付加情報を検索によって得る。
また、特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、通信部２１から入力する撮影位置情報と撮影日時情報に対応する特定画像付加情報を検索によって得る。
特定画像付加情報取得部３２は、検索によって得られた特定画像付加情報と、重畳領域情報を、通信部２１に出力する。なお、この特定画像付加情報取得部３２が通信部２１に出力する重畳領域情報は、表示装置１において、撮影画像データの重畳領域、特定画像付加情報を重畳して表示するための表示位置を示す情報であって、表示位置情報という。
通信部２１は、入力する特定画像付加情報と表示位置情報（重畳領域情報）を表示装置１に送信する。
【００６４】
次に、図１０、１１を参照して、本実施形態に係る画像検索表示方法の一例について説明する。図１０、１１は、本実施形態に係る画像検索表示方法の一例を説明するためのフローチャートである。
例えば、表示装置１の撮影部１２がリアルタイム再生画像データを取得して、端末制御部１１が表示部１５にリアルタイム再生画像データに基づく画像を表示している。この状態において、ユーザが操作部１８のシャッターボタンを押下すると、撮影部１２が、リアルタイム再生画像データに対応する画像を撮影する。つまり、撮影部１２は、撮影画像データＤ（ｎ）を取得して、端末制御部１１に出力する（ステップＳＴ１）。
【００６５】
そして、撮影画像データＤ（ｎ）が取得されたタイミング（例えば、操作部１８のシャッターボタンが押下されたタイミング）で、位置情報検出部１３は、撮影時に表示装置１が存在する位置を示す撮影位置情報Ｐ（ｎ）を検出して、出力する。この撮影画像データＤ（ｎ）が取得されたタイミングで、計時部１４は、撮影時に計時した年月日と時刻を示す撮影日時情報Ｔ（ｎ）を出力する（ステップＳＴ２）。
【００６６】
次いで、端末制御部１１は、撮影部１２から出力される撮影画像データＤ（ｎ）に、撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を対応付けて、通信部１６に出力する。そして、通信部１６は、撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）をネットワークＮＷを介して表示画像検索装置２に送信する（ステップＳＴ３）。
【００６７】
そして、表示画像検索装置２の通信部２１は、表示装置１から送信された撮影画像データＤ（ｎ）と撮影位置情報Ｐ（ｎ）と撮影日時情報Ｔ（ｎ）を受信する。この通信部２１は、撮影画像データＤ（ｎ）を画像特徴量算出部２３に、撮影位置情報Ｐ（ｎ）を位置情報比較部２４と特定画像付加情報取得部３２に、撮影日時情報Ｔ（ｎ）を特定画像付加情報取得部３２に、それぞれ出力する。
次いで、位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報Ｐ（ｎ）に基づき、特定画像位置テーブル２２０に示された緯度、経度、高度を中心とし位置誤差許容距離を半径とする特定画像範囲内に、撮影位置情報Ｐ（ｎ）が示す位置を含む特定画像データを検索する（ステップＳＴ４）。
例えば、位置情報比較部２４は、撮影位置情報Ｐ（ｎ）に対応する特定画像データとして、特定画像ＩＤ１〜１０の特定画像データを検索によって得る。
【００６８】
そして、画像特徴量算出部２３は、撮影画像データＤ（ｎ）に基づき、この画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する（ステップＳＴ５）。この画像特徴量算出部２３は、例えば、図５に示したような撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量を算出する。
【００６９】
次いで、画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、位置情報比較部２４の検索によって得られた特定画像データの特徴量と、画像特徴量算出部２３によって算出された撮影画像データＤ（ｎ）の撮影画像特徴量とを比較して、撮影画像データＤ（ｎ）の撮影画像特徴量に対応する特定画像候補を検出する（ステップＳＴ６）。
例えば、画像特徴量比較部２６は、特定画像特徴量テーブル２５０において各特定画像ＩＤ１〜３と対応付けられている特徴量と、撮影画像特徴量群Ｃ１、Ｃ２、Ｃ３を含む撮影画像特徴量とを比較して、特徴量類似度を算出する。そして、画像特徴量比較部２６は、上述の通り、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ１００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像データ２００との特徴量類似度が「６」、撮影画像特徴量群Ｃ１、Ｃ２と特定画像ＩＤ３の特定画像データ１００との特徴量類似度が「２．５」であると算出する。よって、画像特徴量比較部２６は、特定画像ＩＤ１、２を、撮影画像特徴量群Ｃ１、Ｃ２の特定画像候補として検出する。
また、画像特徴量比較部２６が、特定画像データ１００、２００、３００の特徴量のそれぞれと撮影画像特徴量群Ｃ３との特徴量類似度を算出すると、それぞれの特徴点類似度は、レベル６、３、０．５となる。よって、画像特徴量比較部２６は、特定画像ＩＤ１を、撮影画像特徴量群Ｃ３の特定画像候補として検出する。
【００７０】
次いで、画像特徴量比較部２６は、ステップＳＴ６において検出された特定画像候補の重畳領域を算出する（ステップＳＴ７）。
この画像特徴量比較部２６は、例えば、図９に示したように、特定画像候補の重畳領域Ｒ１１、Ｒ１２、Ｒ２１を抽出し、これら重畳領域の座標を示す重畳領域情報を算出する。そして、画像特徴量比較部２６は、特定画像候補の特定画像ＩＤと重畳領域情報とを対応付けた重畳領域セットを取得して、画像識別部２７に出力する。
【００７１】
そして、画像識別部２７は、撮影画像データＤ（ｎ）の画像内において、重畳領域が一定の閾値以上の面積で重複している特定画像候補の数を算出する（ステップＳＴ８）。
ここで、重畳領域Ｒ１１と重畳領域Ｒ２１とは、重複しているため、画像識別部２７は、複数の重畳領域が重複していると判断する（ステップＳＴ９−ＹＥＳ）。
【００７２】
次いで、オブジェクト特徴情報比較部３０が、オブジェクト特徴情報テーブル２９０を参照して、重複している特定画像候補の特定画像ＩＤ１、２とそれぞれの重畳領域Ｒ１１、Ｒ２１を示す重畳領域情報に基づき、オブジェクト類似度を算出する（ステップＳＴ１０）。
そして、画像識別部２７は、重畳領域Ｒ１１、Ｒ２１のそれぞれのオブジェクト類似度に基づき、重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する特定画像候補が、特定画像ＩＤ２であると判断する。これにより、オブジェクト特徴情報比較部３０は、特定画像ＩＤ２を、検索特定画像として扱う（ステップＳＴ１１）。
そして、画像識別部２７は、この重畳領域Ｒ１１、Ｒ２１が重複する領域に対応する検索特定画像が、特定画像ＩＤ２であることを示す情報を特定画像付加情報取得部３２に出力する。
【００７３】
この画像識別部２７は、全ての特定画像候補に対して、重複する重畳領域があるか否かの処理を行ったか否かを判断し（ステップＳＴ１２）、処理を行っていない場合、ステップＳＴ８に戻る。
一方、ステップＳＴ９において、重複する重畳領域がないと判断された場合、画像識別部２７は、ステップＳＴ１０、１１は行ない。例えば、画像識別部２７は、当該重畳領域Ｒ１１に対応する特定画像候補が、特定画像ＩＤ１であると判断するため、この場合ステップＳＴ１０、１１は行わない。
【００７４】
次いで、図１１に示す通り、特定画像付加情報取得部３２は、画像識別部２７から、重畳領域情報に対応する検索特定画像の特定画像ＩＤを入力する。
この特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、検索特定画像の特定画像ＩＤ、撮影位置情報、撮影日時情報に対応する特定画像付加情報を検索によって得る（ステップＳＴ１３）。
【００７５】
そして、特定画像付加情報取得部３２は、特定画像付加情報と、この特定画像付加情報に対応する重畳領域を示す表示位置情報とを、通信部２１に出力する（ステップＳＴ１４）。
【００７６】
次いで、通信部２１は、特定画像表示データと表示位置情報を対応付けた情報を、表示装置１に送信する（ステップＳＴ１５）。
【００７７】
表示装置１の通信部１６は、特定画像表示データと表示位置情報を対応付けた情報を受信する（ステップＳＴ１６）。
そして、操作部１８から特定画像付加情報を表示部１５に表示させることを指示する操作情報を入力した場合（ステップＳＴ１７−ＹＥＳ）、端末制御部１１は、特定画像表示データと重畳領域情報に基づき、撮影画像データの対応する領域に特定画像付加情報を表示させる（ステップＳＴ１８）。
つまり、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報と表示位置情報に基づき、表示位置情報が示す撮影画像データ内の画像領域に、特定画像付加情報を重畳して表示部１５に表示させる。具体的には、端末制御部１１が、特定画像付加情報の出力形状を、表示位置情報が示す画像領域の形状に対応するものに変形処理する。そして、端末制御部１１が、表示位置情報が示す画像領域に特定画像付加情報を重畳して表示させるための合成処理した撮影画像データを、表示部１５に出力する。この表示部１５は、この合成処理された撮影画像データに基づき、撮影画像データの重畳領域に特定画像付加情報を重畳して表示する。
【００７８】
また、端末制御部１１は、特定画像付加情報に関連する関連情報を表示させることを指示する操作情報を操作部１８が入力した場合（ステップＳＴ１９−ＹＥＳ）、この関連情報を、表示部１５に表示させる（ステップＳＴ２０）。
【００７９】
次に、上述の表示画像検索システムを利用して、ユーザにコンテンツ等を提供する際の流れについて説明する。図１２は、このコンテンツ等を提供する際に表示装置１に表示される画像の一例を説明する図である。
図１２（ａ）は、被写体を撮影した際の撮影画像データの一例を示す図である。例えば、表示装置１の撮影部１２が、図１２（ａ）に示すようなポスターを含む風景を被写体として撮影する。ここで、表示装置１の端末制御部１１は、ＡＲモードが設定されており、撮影により生成された撮影画像データと、撮影時に位置情報検出部１３により検出された撮影位置情報と、撮影時に計時部１４により計時された撮影日時情報を、表示画像検索装置２に送信する。
【００８０】
そして、表示画像検索装置２の位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索し、検索によって得られた特定画像の特定画像ＩＤを画像特徴量比較部２６に出力する。これにより、画像特徴量比較部２６による検索対象を、表示画像検索装置２に記憶されている全ての特定画像から撮影位置情報に対応した特定画像に絞り込むことができる。
また、画像特徴量算出部２３は、撮影画像データに基づき、撮影画像の特徴を示す撮影画像特徴量を算出し、画像特徴量比較部２６に出力する。
画像特徴量比較部２６は、特定画像特徴量テーブル２５０を参照して、撮影画像特徴量と類似する特徴量を有する特定画像を検出し、特定画像候補として画像識別部２７に出力する。ここで、画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量と類似の程度を示す特徴量類似度を算出し、この特徴量類似度に応じて撮影画像データに含まれている可能性の高い特定画像を特定画像候補として検出する。
【００８１】
重畳領域抽出部２８は、各特定画像候補の重畳領域を抽出し、撮影画像データの画面における重畳領域の座標を示す重畳領域情報を画像識別部２７に出力する。なお、複数の特定画像候補が検出された場合、重畳領域抽出部２８は、各特定画像候補に対応する重畳領域情報を算出する。
ここでは、１つの特定画像候補が検出され、図１２（ｂ）に示す通り、撮影画像の画面の右辺が左辺よりも長い台形で示される重畳領域Ｒ１３が抽出される。また、重畳領域情報は、例えば、この重畳領域Ｒ１３の四隅を示す座標である。なお、ここでは、検出された特定画像候補が１つであり、複数の重畳領域が重複することがないため、オブジェクト特徴情報比較部３０により算出されたオブジェクト類似度に基づき、画像識別部２７が複数の特定画像候補のうち、重複する重畳領域に対応する特定画像を選択する処理は実行されない。
そして、画像識別部２７は、特定画像候補と重畳領域情報を特定画像付加情報取得部３２に出力する。
【００８２】
特定画像付加情報取得部３２は、特定画像付加情報テーブル３１０を参照して、特定画像候補に対応する特定画像付加情報であって、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を読み出し、重畳領域情報を示す表示位置情報を対応付けて通信部２１に出力する。つまり、表示装置１に提供するコンテンツとして、特定画像候補に対応する特定画像付加情報の中から、さらに、撮影時の位置や日時に応じて異なる特定画像付加情報を選択することができる。
例えば、特定画像位置テーブル２２０では、特定画像位置情報として、緯度、経度、高度が示す位置から半径数十キロ範囲と規定しておく。そして、特定画像付加情報テーブル３１０では、この特定画像位置テーブル２２０において規定する特定画像位置情報よりも狭い範囲、例えば、緯度、経度、高度が示す位置から半径数キロ範囲と規定しておく。
具体的に説明すると、位置情報比較部２４では、東京都２３区の地域と関連付けられた特定画像を検索により得るようにしておき、特定画像付加情報取得部３２では、このエリアよりも狭い、例えば渋谷や恵比寿といった各駅単位のエリアを規定しておく。これにより、東京都２３区に張り出された同一のポスターが特定画像として登録されている場合であっても、駅毎にユーザの撮影時の位置に近い映画館の情報を特定画像付加情報として提供することができる。
【００８３】
表示装置１の通信部１６は、この特定画像付加情報と表示位置情報を受信し、端末制御部１１に出力する。この端末制御部１１は、特定画像付加情報のうち、例えば、動画ファイル等の画像を表示するコンテンツが含まれている場合、このコンテンツの表示形状を、重畳領域情報に基づき重畳領域Ｒ１３の外形に応じて変形処理をする。つまり、重畳領域Ｒ１３に内接する形状にコンテンツの外形を変形処理する。この端末制御部１１は、変形処理したコンテンツを、重畳領域情報が示す重畳領域Ｒ１３の上に重ねて表示するように合成処理した画面データを表示部１５に出力する。図８に示す例では、コンテンツ動画ファイル名や特定画像に対応付けられているコンテンツである。
これにより、この画像データに基づき、表示装置１の表示部１５は、図１２（ｂ）に示すように、重畳領域Ｒ１３に特定画像付加情報のコンテンツを重畳して表示することができる。
このコンテンツは、例えば、ポスターに掲載されている企業や映画等のテレビＣＭの動画等である。
【００８４】
また、端末制御部１１は、表示部１３に表示した動画ファイルのコンテンツの再生が終了すると、続けて、コンテンツに関連するコンテンツ関連情報を閲覧するか否かをユーザに示す表示画面を表示部１５に表示させる。ここで、コンテンツ関連情報を閲覧することを指示する操作がユーザから操作部１８に入力すると、端末制御部１１は、表示画像検索装置２から受信した特定画像付加情報にコンテンツ関連情報が含まれている場合、このコンテンツ関連情報を表示部１５に表示する。図８に示す例では、コンテンツＵＲＬやスライドスライドショーに関する情報がコンテンツ関連情報である。
これにより、表示装置１の端末制御部１１は、通信部１６を介して、コンテンツＵＲＬにアクセスしてコンテンツ関連情報をダウンロードし、図１２（ｃ）に示すように、コンテンツ関連情報を表示部１５に表示する。
このコンテンツ関連情報は、例えば、ポスターに掲載されている企業や映画等とタイアップしているキャンペーン等に関する情報である。
【００８５】
このように、表示装置１は、特定画像を含む風景を撮影することで、この特定画像に対応するコンテンツを、撮影した画像のうち特定画像に対応する部分に表示することができる。これにより、マーカ等をポスターの全面に表示せずとも、ＡＲを利用したコンテンツ提供を実現することができる。
よって、ポスターの内容としては、マーカに限られず、ＡＲを利用したコンテンツの提供を受けないユーザも認識できるようなデザイン性の高い写真や文字等を利用することができる。これにより、特定画像をポスターや大型ディスプレイに表示して、本実施形態に係るＡＲモードを利用したコンテンツを配信サービスの提供を受けないユーザに対しても、認識できる画像を表示することができる。また、ＡＲモードを利用したコンテンツの配信サービスの提供を受けるためにユーザが意識的にマーカを撮影せずとも、このＡＲモードを設定しておき、撮影した画像内に特定画像が含まれていれば、関連するコンテンツの提供をうけることができる。
これにより、撮影画像データに特定画像に類似する画像が含まれていれば、特定画像付加情報が重畳領域に重畳されて表示される。よって、特定画像付加情報が動画ファイルの場合、撮影した静止画の撮像画像データの一部に、動画が重畳して表示されるため、撮影した静止画が目の前で動き出したような画像を表示部１５に表示することができる。
【００８６】
また、表示画像検索装置２は、画像特徴量に基づき、撮影画像データ内における特定画像に類似する画像を特定画像候補として検出するとともに、複数の特定画像候補が検出された場合、オブジェクト類似度を算出して、最も類似する特定画像を決定する。この構成により、画像特徴量による類似度の判定では、その類似とする範囲を広く規定しておき、類似する複数の特定画像を特定画像候補として検出し、これらからオブジェクトに基づきその類似とする範囲を絞ることができる。
このように、本発明は、画像識別処理による「画像の特徴量」の類似度に、「画像が撮影された位置情報」および「特定画像に含まれる文字情報や画像情報等のオブジェクトならびにそれらの画像内における座標情報」を組み合わせて、撮影画像データと特定画像を比較処理する。この比較方法の採用により、従来方式に比べて誤識別や識別不可能となる場合を低減でき、従来よりも正確にモバイルデバイスで撮影された空間に付加情報の表示を可能とする。
【００８７】
例えば、撮影条件が悪く撮影画像データにノイズが含まれる場合、撮影画像に含まれる特定画像の特徴量と、テーブルにおいて規定されている特定画像の特徴量とが大きく異なる場合がある。この場合、撮影画像の被写体として特定画像を含んでいるにも関わらず、撮影画像から特定画像を認識できない場合や、誤って他の特定画像を認識してしまう場合がある。
本願発明によれば、このような誤認識や認識不可能等の発生を防止し、撮影画像データに含まれる特定画像の検索精度を向上させることができる。また、特定画像が、撮影された画像内の仮想空間において、どの領域に存在するのか特定することができ、仮想空間内において特定画像が存在する領域に対応するコンテンツを表示することができる。
【００８８】
また、特定画像付加情報テーブル３１０において、コンテンツ等を規定する特定画像付加情報に加え、撮影条件情報を特定ＩＤに対応付けておき、特定画像付加情報取得部３２が、入力する撮影位置情報や撮影日時情報に対応する特定画像付加情報を検索する。これにより、同一の特定画像が検索によって得られた場合であっても、撮影時の位置や日時に応じて、配信するコンテンツを変更することができる。これにより、配信するコンテンツの属性に応じてコンテンツを配信することができる。
【００８９】
次に、図１３を参照して、コンテンツを提供するサービスの一例について説明する。図１３は、本実施形態に係る表示画像検索システムを利用したサービスの一例を説明するための図である。
例えば、図１３（ａ）に示す通り、雑誌や新聞等の媒体に特定画像を掲載しておくことで、この特定画像に関連する広告のコンテンツや、ショッピングサイトのＵＲＬを、コンテンツやコンテンツ関連情報として提供することができる。
また、図１３（ｂ）に示す通り、ビルの大型ディスプレイや貸広告スペース等に特定画像である映画のポスターを表示することで、この風景を撮影した場合、映画の予告編の動画やこの映画が上映されている映画館の情報を、コンテンツやコンテンツ関連情報として提供することができる。この場合、特定画像付加情報テーブル３１０において、撮影条件情報として、各映画館の位置に応じた緯度、経度、高度で示される位置情報を設定して、特定画像付加情報と対応付けるデータを予め用意しておく。これにより、特定画像位置テーブル２２０に規定されている位置情報においては同一の範囲内とされる複数の映画館であって、撮影時にユーザが存在している位置により近い映画館の情報を配信することができる。
【００９０】
＜第２実施形態＞
次に、図１４、１５を参照して、本発明に係る他の実施形態の一例について説明する。図１４は、第１、２の実施形態を含む概念を説明するための図である。
図１４に示す通り、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、以下の（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索する。この表示画像検索装置２は、撮影画像データに特定画像と類似する画像が含まれている場合、この特定画像に関連するコンテンツを、表示部１５が表示している撮影画像データ内の対応する領域に重畳して表示させる。また、コンテンツ関連情報が存在する場合、このコンテンツ関連情報を、コンテンツを表示した後に表示させる。
このように、表示画像検索装置２は、（Ａ）撮影画像データから検出されるオブジェクトと特定画像に含まれるオブジェクトの類似の程度を示すオブジェクト類似度、（Ｂ）撮影位置情報に基づき特定画像が存在する位置との距離、（Ｃ）撮影画像データから検出される撮影画像特徴量と特定画像の特徴量の類似の程度を示す特徴量類似度、に基づき、撮影画像データに含まれている特定画像を検索する。
【００９１】
上述の第１実施形態において、表示画像検索装置２は、最初に、（Ｂ）特定画像が存在する位置との距離に応じて、特定画像をある程度絞り、撮影位置情報に対応する特定画像に対して、（Ｃ）特徴量類似度を算出している。また、重畳領域が一定の割合の面積以上で重複する特定画像候補が検出された場合のみ、（Ａ）オブジェクト類似度を算出して、１つの特定画像候補に絞っている。このような処理手順で特定画像を決定することにより、処理対象となる特定画像の絞込みや、オブジェクト類似度の算出処理を省くことができるため、処理速度の向上に貢献し、装置に対する処理負荷を軽減することができる。
しかし本発明はこれに限られず、上述の通り（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索し、撮影画像の画像領域に応じて最も類似する特定画像に決定することができる。この一例を以下に説明する。
【００９２】
図１５を参照して、第２実施形態に係る表示画像検索装置２´の構成について説明する。なお、各構成の基本的な機能は第１実施形態と同様であり、同一の符号を付すことで、詳細な説明は省略する。ここでは、各構成に入出力する情報や接続関係が異なることで、第１実施形態と異なる処理手順や機能について説明する。
図１５に示す通り、通信部２１が受信した撮影画像データは、画像特徴量算出部２３とオブジェクト特徴情報比較部３０に出力され、撮影位置情報は位置情報比較部２４に出力される。
【００９３】
位置情報比較部２４は、特定画像位置テーブル２２０を参照して、撮影位置情報に対応する特定画像を検索する。この位置情報比較部２４は、検索によって得た特定画像毎に、撮影位置情報が示す位置と、この特定画像の位置（特定画像ＩＤに対応付けられている緯度、経度、高度で示される位置）との距離の差（以下、距離誤差Ｘ（ｔ）と記す）を算出する。位置情報比較部２４は、特定画像位置テーブル２２０の位置誤差許容距離Ａ（ｔ）と距離誤差Ｘ（ｔ）との関係を示す位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を算出する。言い換えると、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、位置誤差許容距離Ａ（ｔ）が示す特定画像位置範囲に対して、撮影位置情報が示す撮影位置の位置関係や距離関係を表わす関数式であって、特定画像データに割り当てられた位置に対して撮影位置の位置関係を示す。位置情報比較部２４は、検索によって得た特定画像を示す特定画像ＩＤと位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））を画像識別部２７に出力する。なお、ｔは、特定画像ＩＤを示す番号である。
【００９４】
この位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下のような特性を有する関数式である。
例えば、距離誤差Ｘ（ｔ）≦位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲内にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、正の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲内において撮影位置情報が示す位置からどの程度位置がずれているかを示す。
一方、距離誤差Ｘ（ｔ）＞位置誤差許容距離Ａ（ｔ）であるとき、撮影位置が特定画像位置範囲外にあるため、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、負の値とする。なお、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、特定画像位置範囲に対して、撮影位置情報が示す位置からどの程度位置がずれているかを示す。
このような特性を有する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））は、例えば、以下の式で示すことができる。
位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））＝ ｛Ａ（ｔ） − Ｘ（ｔ）｝／Ａ（ｔ）
・・・式１
なお、撮影位置が特定画像位置範囲に対してどの程度範囲の内外にあるかを示す値は、この関数ｆの傾きを任意に設定することにより算出することができる。また、この値は、傾きに限らず、他のやり方で数式に傾斜を与えられるものであってもよい。
【００９５】
オブジェクト特徴情報比較部３０は、撮影画像データに対して、ＯＣＲ処理やパターンマッチング等を行い、撮影画像データに含まれている文字列や図形等のオブジェクトを検出する。このオブジェクト特徴情報比較部３０は、オブジェクト特徴情報テーブル２９０を参照して、撮影画像データから検出されたオブジェクトと、特定画像のオブジェクトとの類似の程度を示すオブジェクト類似度を算出する。このオブジェクト類似度は、例えば、オブジェクトが文字であれば、一致している文字の数Ｙ（ｔ）を各特定画像ＩＤ（ｔ）の文字数Ｃ（ｔ）で除算した数値で表わすことができる。このオブジェクト特徴情報比較部３０は、算出したオブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）を画像識別部２７に出力する。
【００９６】
画像特徴量比較部２６は、特定画像特徴量テーブルを参照して、画像特徴量算出部２３によって算出された撮影画像特徴量と類似する特徴量を有する特定画像を検索する。この画像特徴量比較部２６は、撮影画像特徴量と特定画像の特徴量類似度Ｚ（ｔ）を算出して、閾値以上の特定画像を示す特定画像ＩＤと特徴量類似度を特定識別部２７に出力する。
【００９７】
画像識別部２７は、入力する位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）に基づき、以下に式２に従って、特定画像類似度Ｑ（ｔ）を、特定画像毎に算出する。
Ｑ（ｔ）＝ａ×ｆ（Ａ（ｔ），Ｘ（ｔ））＋ｂ×Ｙ（ｔ）／Ｃ（ｔ）＋ｃ×Ｚ（ｔ）
・・・式２
なお、ａ、ｂ、ｃは、重み係数であって、任意に決められる数値である。
【００９８】
画像識別部２７は、この特定画像類似度Ｑ（ｔ）が最大となる特定画像ＩＤの特定画像を、撮影画像データの領域に応じて、検索特定画像と決定し、特定画像付加情報取得部３２に出力する。つまり、検出された特定画像のうち、特定画像類似度Ｑ（ｔ）が２番目、３番目に大きいものであって、自身の特定画像類似度Ｑ（ｔ）よりも大きい特定画像類似度Ｑ（ｔ）の特定画像と、撮影画像データ内において一定の割合で面積が重複していなければ、画像識別部２７は、検索特定画像として決定し、特定画像付加情報取得部３２に出力する。
ここで、画像識別部２７は、重畳領域抽出部２８に対して、例えば、特定画像類似度Ｑ（ｔ）が大きい上位１０個の特定画像に対応する重畳領域を抽出させ、上述の通り、撮影画像データ内において一定の割合で面積が重複しているか否かを判断できる。
【００９９】
なお、上述の式２は、重み係数を変更することにより各項の関係を調整する一次関数を利用しているが、本発明はこれに限られず、ｎ次関数によって定義されるものであってもよい。
また、上述の式２は、この場合、位置類似度ｆ（Ａ（ｔ），Ｘ（ｔ））、オブジェクト類似度Ｙ（ｔ）／Ｃ（ｔ）、特徴量類似度Ｚ（ｔ）のうち、画像識別部２７によって特定画像類似度Ｑ（ｔ）が算出される以前に特定画像の絞込みに利用されたものについては、対応する重み係数を「０」にすることによって、他の表示画像検索装置の構成において利用することができる。
【０１００】
＜実施形態の応用＞
なお、本発明に係る表示画像検索装置２は、表示装置１の撮影部１２が撮影した撮影画像データと、撮影時に取得される撮影位置情報と撮影日時情報に基づき、（Ａ）〜（Ｃ）の要素に基づき、特定画像が撮影した画像内に含まれているか否かを検索するものとして説明した。本発明は、これら（Ａ）〜（Ｃ）の要素を組み合わせることによって、あるいは、新たな要素を追加することによって、撮影画像データに含まれる特定画像の検索精度を高めることができる。
【０１０１】
例えば、オブジェクト類似度による比較においても、重畳領域が一定の割合以上の面積で重複する検索特定画像が絞り込めず、画像識別部２７から複数の検索特定画像が特定画像付加情報取得部３２に出力される場合がある。この場合、画像識別部２７は、オブジェクト類似度に基づき最も類似する１つの特定画像データを選択して検索特定画像を決定せずに、複数の特定画像データを特定画像付加情報取得部３２に出力するものであってもよい。この特定画像付加情報取得部３２は、特定画像付加情報テーブルを参照して、入力する複数の特定画像データの画像ＩＤの特定画像付加情報のうち、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択する。
これにより、撮影画像データにノイズが含まれ、撮影画像に含まれるオブジェクトと、テーブルにおいて規定されているオブジェクトとが大きく異なり、オブジェクト類似度の信頼性が低い場合であっても、撮影時のユーザの状況に応じた特定画像付加情報を提供することができる。
【０１０２】
また、重畳領域が一定の割合以上の面積で重複する特定画像のうち、１つの検索特定画像に絞り込めた場合であっても、特定画像付加情報取得部３２が、特定画像付加情報テーブルを参照して、撮影位置情報および撮影日時情報が示す撮影条件情報に対応する特定画像付加情報を選択することができる。これにより、撮影された特定画像が同一であっても、撮影した位置や日時に応じて、配信する特定画像付加情報を、特定画像付加情報テーブル３１０の撮影条件情報を変更することにより、変えることができる。
【０１０３】
＜検索パターン＞
ここで、図１６を参照して、本発明に係る検索パターンを用いて、本願発明の概要について説明する。図１６（ａ）には、第１記憶部２２に記憶されている特定画像ＩＤ１〜４の特定画像データ１００、２００、３００、４００を示す。図示の通り、特定画像データ４００は、タワーが中央にある風景の画像である。
このように特定画像データ１００、２００、３００と、特定画像データ４００とは、画像に含まれる内容が異なるため、その画像特徴量も大きく異なる。
【０１０４】
次に、図１６（ｂ）を参照して、撮影した画像内に、これら特定画像データ１００、２００、３００のように、複数の似通った特定画像が含まれており、画像識別部２７によって複数の特定画像候補が検出された場合について説明する。
この場合、画像特徴量算出部２３による検索だけでは、特定画像データ１００、２００、３００のように複数の特定画像候補が残ってしまう可能性がある。この場合、図示の通り、各特定画像データ１００、２００、３００の重畳領域Ｒ１００、Ｒ２００、Ｒ３００は、仮想的に重なりあっており、この重なった部分に対応する特定画像候補を決定することができない。そこで、本願発明は、画像識別部２７によって、オブジェクト類似度に応じて、この重なった部分の撮影画像と類似する特定画像候補を選択することにより、画像認識の精度を高めることができる。
画像識別部２７は、上述の通り、オブジェクト類似度を用いることで、含まれているオブジェクトの類似する程度やオブジェクトの位置に応じた特定画像候補を選択することができる。また、画像識別部２７は、重畳領域が撮影画像データの画像サイズに占める面積の割合に応じて、複数の特定画像候補を絞るものであってもよい。
なお、このような検索パターンは、図２を参照して上述した検索パターンに対応するものである。つまり、ビルＢ１の大型ディスプレイにおいて、重畳領域が一定の割合以上の面積で重畳している特定画像ＩＤ１、２が検索により得られるため、画像識別部２７は、オブジェクト類似度に応じて、１つの特定画像に絞っている。
【０１０５】
次に、図１６（ｃ）を参照して、撮影した画像内に、複数の重畳領域に対応する特定画像を画像識別部２７が検索によって得た場合について説明する。
重畳領域Ｒ１０１、Ｒ１０２は、特定画像ＩＤ１に対応するものであり、重畳領域Ｒ４００は、特定画像ＩＤ４に対応するものである。
この場合、図示の通り、検出された複数の重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００は、いずれも仮想的に重なっていない。
よって、画像識別部２７は、検索により得られた特定画像が、複数の領域に出現していて、複数の検索結果である重畳領域Ｒ１０１、Ｒ１０２、Ｒ４００にそれぞれ対応する特定画像ＩＤ１、１、４が有効であると判断する。この画像識別部２７によって有効と判断された特定画像は、通信部２１に出力される。
【０１０６】
なお、本発明は上述の実施形態に限られず、例えば、以下のような構成であってもよい。
例えば、特定画像の形状は、上述の四角形や台形に限られず、円や三角形等の形状であってもよい。
【０１０７】
また、図１０、１１に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、図１に示す表示装置１および表示画像検索装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０８】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１０９】
１１・・・端末制御部、１２・・・撮影部、１３・・・位置情報検出部、１４・・・計時部、１５・・・表示部、１６・・・通信部、１７・・・記憶部、１８・・・操作部、２１・・・通信部、２２・・・第１記憶部２２、２３・・・画像特徴量算出部、２４・・・位置情報比較部、２５・・・第２記憶部、２６・・・画像特徴量比較部、２７・・・画像識別部、２８・・・重畳領域抽出部、２９・・・第３記憶部、３０・・・オブジェクト特徴情報比較部、３１・・・第４記憶部、３２・・・特定画像付加情報取得部
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影部により生成された撮影画像データを入力する入力部と、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、
前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。
【請求項２】
前記入力部は、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報を入力し、
前記記憶部は、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、
前記画像特徴量比較部は、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする請求項１に記載の表示画像検索装置。
【請求項３】
前記記憶部は、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルを記憶し、
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、
さらに備えることを特徴とする請求項１あるいは２に記載の表示画像検索装置。
【請求項４】
前記記憶部は、前記特定画像付加情報に対して予め関係付けられた条件を示す撮影条件情報を前記特定画像付加情報に対応付ける特定画像付加情報テーブルを記憶し、
前記特定画像付加情報取得部は、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする請求項２あるいは３に記載の表示画像検索装置。
【請求項５】
前記画像認識部は、
前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする請求項３あるいは４に記載の表示画像検索装置。
【請求項６】
上記請求項１から５のいずれか一項に記載の表示画像検索装置と、
被写体を撮影して前記撮影画像データを生成する撮影部と、
前記特定画像表示データに基づく画像を表示する表示部と、
を備えることを特徴とする表示装置。
【請求項７】
前記表示装置は、
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項６に記載の表示装置。
【請求項８】
上記請求項１から５のいずれか一項に記載の表示画像検索装置と、
前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置と
を備えることを特徴とする表示画像検索システム。
【請求項９】
前記表示装置は、
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項８に記載の表示画像検索システム。
【請求項１０】
撮影された画像に対応する画像を検索する表示画像検索方法において、
被写体を撮影する撮影部により生成された撮影画像データを入力し、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、
検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する
ことを特徴とする表示画像検索方法。
【請求項１１】
被写体を撮影する撮影部により生成された撮影画像データと、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報とを入力する入力部と、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、
前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、
前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。
【請求項１】
被写体を撮影する撮影部により生成された撮影画像データを入力する入力部と、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索する画像特徴量比較部と、
前記画像特徴量比較部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。
【請求項２】
前記入力部は、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報を入力し、
前記記憶部は、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルを記憶し、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報に対応する前記特定画像を検索する位置情報比較部を備え、
前記画像特徴量比較部は、前記位置情報比較部の検索により得られた前記特定画像の特徴量と前記撮影画像特徴量とを比較することを特徴とする請求項１に記載の表示画像検索装置。
【請求項３】
前記記憶部は、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルを記憶し、
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出し、当該オブジェクト類似度に基づき、前記撮影画像データと最も類似する前記特定画像データを検索して、検索により得た特定画像データを前記特定画像付加情報取得部に出力する画像認識部を、
さらに備えることを特徴とする請求項１あるいは２に記載の表示画像検索装置。
【請求項４】
前記記憶部は、前記特定画像付加情報に対して予め関係付けられた条件を示す撮影条件情報を前記特定画像付加情報に対応付ける特定画像付加情報テーブルを記憶し、
前記特定画像付加情報取得部は、前記検索により前記特定画像を得た場合、前記特定画像付加テーブルを参照して、前記撮影位置情報に基づき、当該撮影位置情報が前記撮影条件情報の条件を満たす前記特定画像付加情報を前記記憶部から読み出すことを特徴とする請求項２あるいは３に記載の表示画像検索装置。
【請求項５】
前記画像認識部は、
前記画像特徴量比較部の検索により複数の特定画像が得られた場合、当該特定画像の特徴量と類似する特徴量を有する前記撮影画像データ内の画像領域を示す重畳領域同士が、予め決められた割合以上の面積で重複しているか否かを判断し、予め決められた割合以上の面積で前記重畳領域同士が重複している場合、前記オブジェクト特徴情報テーブルを参照して、オブジェクトに関して当該重畳領域の画像と当該重畳領域に対応する前記特定画像とが類似している程度を示す前記オブジェクト類似度を算出し、このオブジェクト類似度に基づき、前記撮影画像データにおいて前記重畳領域同士が重複している部分の画像と最も類似する前記特定画像データを選択することを特徴とする請求項３あるいは４に記載の表示画像検索装置。
【請求項６】
上記請求項１から５のいずれか一項に記載の表示画像検索装置と、
被写体を撮影して前記撮影画像データを生成する撮影部と、
前記特定画像表示データに基づく画像を表示する表示部と、
を備えることを特徴とする表示装置。
【請求項７】
前記表示装置は、
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項６に記載の表示装置。
【請求項８】
上記請求項１から５のいずれか一項に記載の表示画像検索装置と、
前記表示画像検索装置とネットワークを介して接続され、被写体を撮影して前記撮影画像データを生成する撮影部と、前記特定画像表示データに基づく画像を表示する表示部と、を備える表示装置と
を備えることを特徴とする表示画像検索システム。
【請求項９】
前記表示装置は、
入力する前記表示位置情報に基づき、特定画像の重畳領域の形状にあわせて当該特定画像に関連する前記特定画像付加情報の表示形状を変形処理して、当該重畳領域に前記特定画像付加情報を合成処理した前記撮影画像データを、前記表示部に表示させることを特徴とする請求項８に記載の表示画像検索システム。
【請求項１０】
撮影された画像に対応する画像を検索する表示画像検索方法において、
被写体を撮影する撮影部により生成された撮影画像データを入力し、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出し、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とを比較し、前記撮影画像データに含まれる画像の特徴量と類似する特徴量を有する前記特定画像を検索し、
検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を記憶部から読み出し、
前記検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する
ことを特徴とする表示画像検索方法。
【請求項１１】
被写体を撮影する撮影部により生成された撮影画像データと、前記撮影画像データが生成された際に前記撮影部の存在した位置を示す撮影位置情報とを入力する入力部と、
前記撮影画像データに基づき、当該画像の特徴を示す撮影画像特徴量を算出する画像特徴量算出部と、
検索対象である特定画像の特徴を示す特定画像特徴量情報に当該特定画像を表わす特定画像データを対応付ける特定画像特徴量テーブルと、前記特定画像に対して予め関係付けられた位置を示す特定画像位置情報に前記特定画像データを対応づける特定画像位置テーブルと、前記特定画像データに含まれるオブジェクトの特徴を示すオブジェクト特徴情報を前記特定画像データに対応付けるオブジェクト特徴情報テーブルと、前記特定画像に関連する特定画像付加情報を記憶する記憶部と、
前記特定画像特徴量テーブルを参照して、前記特定画像の特徴量と前記撮影画像特徴量とに基づき、前記撮影画像データと前記特定画像データが類似する程度を示す特徴量類似度を算出する画像特徴量比較部と、
前記特定画像位置テーブルを参照して、前記撮影位置情報に基づき、前記特定画像位置情報の位置に対して前記撮影位置情報の位置関係を示す位置類似度を算出する位置情報比較部と、
前記オブジェクト特徴情報テーブルを参照して、前記撮影画像データに含まれるオブジェクトと前記特定画像データに含まれるオブジェクトが類似している程度を示すオブジェクト類似度を算出するオブジェクト特徴量比較部と、
前記特徴量類似度、前記位置類似度、前記オブジェクト類似度に基づき、前記撮影画像データと類似する前記特定画像データを検索する画像認識部と、
前記画像識別部が検索により前記特定画像を得た場合、当該特定画像に関連する特定画像付加情報を前記記憶部から読み出す特定画像付加情報取得部と、
前記画像識別部が検索により得た特定画像と類似する特徴量を有する撮影画像データ内の画像領域の位置を示す表示位置情報と、当該特定画像付加情報とを、表示部へ出力する出力部と、
を備えることを特徴とする表示画像検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−５３７７６（Ｐ２０１２−５３７７６Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９７０１９（Ｐ２０１０−１９７０１９）
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月２日（２０１０．９．２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]