情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラム
【課題】物理オブジェクトとアノテーションとの関連性を保証することが可能な情報処理装置を提供する。
【解決手段】画像取得部３０２と、物理オブジェクト識別情報を検出する識別情報検出部３０３、３０５、３０６と、物理オブジェクト識別情報と、物理オブジェクトのアノテーションと、物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する通信部３０７と、識別情報検出部により検出された物理オブジェクト識別情報と、通信部３０７により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部３０９と、略一致すると判定された場合、物理オブジェクトのアノテーションの対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部３１０と、利用ポリシ判定部３１０により利用ポリシを満たすと判定された場合、アノテーションを提示する表示部３１２と、を備える。
【解決手段】画像取得部３０２と、物理オブジェクト識別情報を検出する識別情報検出部３０３、３０５、３０６と、物理オブジェクト識別情報と、物理オブジェクトのアノテーションと、物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する通信部３０７と、識別情報検出部により検出された物理オブジェクト識別情報と、通信部３０７により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部３０９と、略一致すると判定された場合、物理オブジェクトのアノテーションの対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部３１０と、利用ポリシ判定部３１０により利用ポリシを満たすと判定された場合、アノテーションを提示する表示部３１２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラムに関する。特に、現実環境の対象物（物理オブジェクト）に関する情報（アノテーション）をユーザに提供する拡張現実感（ＡＲ：Augmented Reality）システムで用いられる技術に関する。
【背景技術】
【０００２】
近年、現実環境にコンピュータを用いて情報を付加提示する技術、及び情報を付加提示された環境そのものを示す言葉として、「拡張現実感（拡張現実ともいう）」が知られつつある。拡張現実感技術では、現実環境における特定の物体に関する説明や関連情報を含む電子情報（アノテーション）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。
【０００３】
拡張現実感に関する技術として、以下のような技術が知られている。例えば、撮影映像の部分映像から抽出された視覚的特徴情報と、記憶装置により記憶されている物理オブジェクトの視覚的特徴情報と、の類似度を算出し、算出された類似度により、物理オブジェクトが撮影映像に存在するか否かを判定する。そして、物理オブジェクトが撮影映像に存在しない場合には、アノテーションを表示しないようにする装置が知られている（例えば、特許文献１参照）
【０００４】
また、実世界映像に映し出される物理オブジェクトと実世界映像の視点との距離し、取得された距離に応じて、アノテーションの表示を変更する装置が知られている（例えば、特許文献２参照）。
【０００５】
また、場所と情報との対応付けが特定の人間の主観や製作意図によらず、ユーザの現在、過去、未来の文脈情報が反映された情報をユーザに提供する装置が知られている（特許文献３参照）。この装置では、ユーザの履歴ベースで位置に関する情報を検索する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４８８２３３号公報
【特許文献２】国際公開第２０１０／０７３６１６号パンフレット
【特許文献３】特開２００１−３０６６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、上記のような特徴情報、距離情報、位置情報に基づいて、物理オブジェクトに対してアノテーションの表示等を行っているが、ユーザにとっては、どのように物理オブジェクトとアノテーションを認識しているか不明である。したがって、ユーザは、物理オブジェクトとアノテーションとの関連性を把握することができない。今後、拡張現実感システムが普及していくと考えられるが、物理オブジェクトとアノテーションとの関連性を十分に保証できなければ、安心して拡張現実感システムを使用することができないと考えられる。
【０００８】
本発明は、上記事情に鑑みてなされたものであって、物理オブジェクトとアノテーションとの関連性を保証することが可能な情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する情報取得部と、前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、を備える。
【００１０】
この構成により、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００１１】
また、本発明の情報処理装置は、前記情報取得部が、前記物理オブジェクトと前記アノテーションとの意味的な関連度を示す関連度情報を取得し、前記利用ポリシ判定部が、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報と前記関連度情報とが、所定の利用ポリシを満たすか否かを判定する。
【００１２】
この構成により、物理オブジェクトとアノテーションとの関連性を対応度及び関連度により保証することが可能である。対応度のみで信頼性を判断するよりも、更に信頼性が向上する。
【００１３】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションと同時に、前記利用ポリシを満たしている旨を表示する。
【００１４】
この構成により、例えば、利用ポリシを満たしていることを文字、アイコン色等により提示することで、ユーザはアノテーションが利用ポリシを満たしていることを確実に認識することができる。
【００１５】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報と、を検出する距離情報検出部と、を備え、前記情報取得部は、当該情報処理装置の位置に係る位置情報と前記物理オブジェクトまでの距離に係る距離情報に基づいて、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報を取得し、前記識別情報判定部が、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致するか否かを判定する。
【００１６】
この構成により、投稿者が所有する情報処理装置で検出された物理オブジェクト識別情報に係る物理オブジェクトと、閲覧者が現在表示している物理オブジェクトの一致を確認することができる。つまり、位置情報、距離情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００１７】
また、本発明の情報処理装置は、前記識別情報検出部が、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部、を備え、前記情報取得部は、前記物理オブジェクト識別情報として、前記物理オブジェクトの特徴に係る特徴情報を取得し、前記識別情報判定部が、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する。
【００１８】
この構成により、位置情報、距離情報とともに特徴情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００１９】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、前記情報取得部が、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を取得し、前記識別情報判定部が、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致し、かつ、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する。
【００２０】
この構成により、位置情報、距離情報、特徴情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００２１】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記画像取得部により取得された画像に含まれる物理オブジェクトに対応付けて前記アノテーションを表示する。
【００２２】
この構成により、アノテーションがどの物理オブジェクトに対して付加されたものであるかを容易に理解することができる。
【００２３】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記対応度または前記関連度が大きい順に、前記アノテーションを提示する情報処理装置。
【００２４】
この構成により、１つの物理オブジェクトに複数のアノテーションが投稿されている場合には、信頼性の高いアノテーションを優先的に提示することができる。
【００２５】
また、本発明の情報処理装置は、前記所定の利用ポリシが、前記対応度及び前記関連度のそれぞれ又は合計値が所定値以上であることである。
【００２６】
この構成により、対応度及び関連度が所定値以上である場合に限り、アノテーションを提示させることができる。
【００２７】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記対応度及び前記関連度の少なくとも１つを前記アノテーションと同時に提示する情報処理装置。
【００２８】
この構成により、ユーザは対応度又は関連度を認識することができる。
【００２９】
また、本発明の情報処理装置は、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、を備える。
【００３０】
この構成により、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００３１】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、前記送出部が、前記物理オブジェクト識別情報として、前記位置情報と前記距離情報と前記特徴情報とを送出する。
【００３２】
この構成により、位置情報、距離情報、特徴情報に基づいて物理オブジェクトを識別させることで、信頼性の高いアノテーションであると判断させることができる。
【００３３】
また、本発明の情報処理装置は、物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得する情報取得部と、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、を備える。
【００３４】
この構成により、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００３５】
また、本発明の情報処理装置は、前記物理オブジェクトの識別情報とアノテーションに基づいて、前記物理オブジェクトと前記アノテーションとの意味的な関連度を算出する関連度算出部を備える。
【００３６】
この構成により、物理オブジェクトとアノテーションとの関連度を更に算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００３７】
また、本発明の情報処理装置は、前記対応度算出部により算出された対応度に係る対応度情報と、前記関連度算出部により算出された関連度に係る関連度情報と、を送出する送出部を備える情報処理装置。
【００３８】
この構成により、閲覧者へ詳細なアノテーションの情報を提供することができるので、閲覧者はアノテーションの信頼性を確認することができる。
【００３９】
また、本発明の情報処理装置は、前記物理オブジェクト識別情報が、前記情報処理装置の位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を含み、前記対応度算出部が、前記特徴情報及び前記距離情報に基づいて識別レベルを算出し、前記位置情報に基づいて測位レベルを算出し、前記識別レベル及び前記測位レベルに基づいて前記対応度を算出する。
【００４０】
この構成により、識別レベルと測位レベルから、精度の高い対応度を算出できる。
【００４１】
また、本発明の情報処理装置は、前記物理オブジェクト識別情報と、前記物理オブジェクト識別情報により識別される物理オブジェクトに係る語句情報を含む物理オブジェクト情報と、を対応付けて記憶する物理オブジェクト情報記憶部と、前記情報取得部により取得されたアノテーションから当該アノテーションに係るテキスト情報を取得するテキスト情報取得部と、を備え、前記関連度算出部が、前記情報取得部により取得されたアノテーションから前記テキスト情報取得部により取得された前記テキスト情報に含まれる語句情報のうち、前記情報取得部により取得され前記物理オブジェクト情報記憶部により記憶された物理オブジェクト識別情報に対応付けられた前記物理オブジェクト情報に含まれる語句情報に基づいて、前記関連度を算出する。
【００４２】
この構成により、アノテーションに関連するテキスト情報から、精度の高い関連度を算出できる。
【００４３】
また、本発明の情報処理装置は、前記語句情報が、前記物理オブジェクトの名称の情報と、前記物理オブジェクトに関連する語句である関連語の情報と、前記物理オブジェクトとは関連性の低い語句である非関連語の情報と、を含む。
【００４４】
この構成により、アノテーションに関連する物理オブジェクトの名称、関連語、非関連語から、精度の高い関連度を算出できる。
【００４５】
また、本発明の拡張現実感システムは、物理オブジェクトに対応するアノテーションを提供する情報提供装置と、前記アノテーションを管理する情報管理サーバと、前記アノテーションを提示する情報提示装置と、を備える拡張現実感システムであって、前記情報提供装置が、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、を備え、前記情報管理サーバが、前記情報提供装置からの前記物理オブジェクト識別情報と前記アノテーションとを取得する情報取得部と、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、前記物理オブジェクト識別情報と、前記アノテーションと、前記対応度情報と、を送出する送出部と、を備え、前記情報提示装置が、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記情報管理サーバからの所定の物理オブジェクトを識別するための前記物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記対応度情報と、を取得する情報取得部と、前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、を備える。
【００４６】
この構成により、物理オブジェクト識別情報に基づいて対応度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。また、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。さらに、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００４７】
また、本発明の第１の情報処理方法は、画像を取得するステップと、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得するステップと、前記検出された物理オブジェクト識別情報と、前記取得された物理オブジェクト識別情報と、が略一致するか否かを判定するステップと、前記略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定するステップと、前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するステップと、を有する。
【００４８】
この方法により、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００４９】
また、本発明の第２の情報処理方法は、画像を取得するステップと、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、前記物理オブジェクトのアノテーションを生成するステップと、前記物理オブジェクト毎に、前記生成されたアノテーションと、前記検出された物理オブジェクト識別情報と、を送出するステップと、を有する。
【００５０】
この方法により、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００５１】
また、本発明の第３の情報処理方法は、物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得するステップと、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出するステップと、を有する。
【００５２】
この方法により、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００５３】
また、本発明の情報処理プログラムは、第１の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５４】
このプログラムにより、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００５５】
また、本発明の情報処理プログラムは、第２の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５６】
このプログラムにより、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００５７】
また、本発明の情報処理プログラムは、第３の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５８】
このプログラムにより、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【発明の効果】
【００５９】
本発明によれば、物理オブジェクトとアノテーションとの関連性を保証することが可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態における対応度と関連度とを説明するためのイメージ図
【図２】本発明の実施形態における拡張現実感システムの構成例を示すブロック図
【図３】本発明の実施形態における情報提供装置の構成例を示すブロック図
【図４】本発明の実施形態における情報管理サーバの構成例を示すブロック図
【図５】本発明の実施形態における情報表示装置の構成例を示すブロック図
【図６】本発明の実施形態における物理オブジェクト識別情報の一例を示す図
【図７】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【図８】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【図９】本発明の実施形態における情報提供装置の動作例を示すフローチャート（図８の続き）
【図１０】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【発明を実施するための形態】
【００６１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００６２】
本実施形態では、物理オブジェクトとアノテーションとの関連性を認識するために、「対応度」及び「関連度」という概念を導入する。対応度とは、物理オブジェクトとアノテーションとの物理的な関係性（物理的な対応度）を示すものである。言い換えると、対応度はアノテーションが物理オブジェクトに対して正確に付加されている度合いを示している。関連度とは、物理オブジェクトとアノテーションとの意味的な関係性（意味的な関連度）を示すものである。言い換えると、関連度はアノテーションの内容が物理オブジェクトにどの程度関連しているかを示している。対応度及び関連度は、主に数値化して用いられる。
【００６３】
なお、本実施形態での物理オブジェクトとしては、地物、移動体、場所等を想定する。地物とは、建物や記念碑など特定の位置に固定された建造物等である。移動体とは、人や車などの移動可能な物体である。場所とは、緯度経度により一意に特定され、所定の地点、公園、街路など、特定の名称により一意にされる地区である。また、アノテーションとしては、文字情報等のテキスト情報、２Ｄ／３Ｄグラフィックなどの画像情報、音声情報等を想定する。
【００６４】
図１は対応度と関連度とを説明するためのイメージ図である。図１に示す例では、対応度及び関連度の最高値を５、最低値を０とする。図１に示す例では、物理オブジェクトＯとしての五重塔の画像が表示されている。この物理オブジェクトに対して、第１のアノテーションＡ１としての文字情報「五重塔」、第２のアノテーションＡ２としての文字情報「聖徳太子」が付加されている。
【００６５】
図１に示す例では、物理オブジェクトＯと第１のアノテーションＡ１との対応度が５、関連度が４となっている。したがって、対応度により、第１のアノテーションＡ１が物理オブジェクトＯに対して正確に付加されていると認識することができる。つまり、第１のアノテーションＡ１としての文字情報「五重塔」を、本来は他の物理オブジェクトに付加しようとしたが、誤って物理オブジェクトＯとしての「五重塔」に付加してしまったものではない、と理解することができ、アノテーションの信頼性が向上する。また、関連度により、物理オブジェクトＯとしての「五重塔」と、第１のアノテーションＡ１としての文字情報「五重塔」と、が意味的にほぼ密接に関係していると認識することができる。つまり、「五重塔」という言葉が、物理オブジェクトＯに関連する内容としてほぼ間違い、と理解することができ、アノテーションの信頼性が向上する。
【００６６】
また、図１に示す例では、物理オブジェクトＯと第２のアノテーションＡ２との対応度が４、関連度が２となっている。したがって、対応度により、第２のアノテーションＡ２が物理オブジェクトＯに対してほぼ正確に付加されていると認識することができる。つまり、第２のアノテーションＡ２としての文字情報「取得太子」を、本来は他の物理オブジェクトに付加しようとしたが、誤って物理オブジェクトＯとしての「五重塔」に付加してしまったものである可能性はかなり低い、と理解することができる。また、関連度により、物理オブジェクトＯとしての「五重塔」と、第２のアノテーションＡ２としての文字情報「聖徳太子」と、が意味的にあまり関係していないと認識することができる。つまり、「聖徳太子」という言葉が、物理オブジェクトＯに関連する内容としては間違えている可能性があると理解することができる。
【００６７】
次に、本発明の拡張現実感システムの構成について説明する。
【００６８】
図２は本発明の実施形態における拡張現実感システムの構成例を示すブロック図である。図２に示す拡張現実感システム１は、情報提供装置１００、情報管理サーバ２００、情報表示装置３００を備える。情報提供装置１００、情報管理サーバ２００、情報表示装置３００は、いずれも情報処理装置の一例である。
【００６９】
情報提供装置１００は、物理オブジェクトに対応するアノテーションを生成する１又は複数の装置であり、アノテーションを投稿する投稿者（Submitter）により所有される装置である。情報提供装置１００としては、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。情報提供装置１００は、物理オブジェクトを撮影し、撮影された物理オブジェクトに対するアノテーションを生成して、生成されたアノテーションを情報管理サーバ２００へ送信等する。
【００７０】
情報管理サーバ２００は、情報提供装置１００からのアノテーションを取得して管理する１又は複数のサーバであり、拡張現実感システムのサービスを提供するサービス提供者（Service Provider）により所有されるサーバである。情報管理サーバ２００は、物理オブジェクトを識別するための物理オブジェクト識別情報と、その物理オブジェクトに対して投稿されたアノテーションと、に基づいて、対応度及び関連度を生成する。そして、物理オブジェクトのアノテーションとともに、生成された対応度を含む対応度情報及び関連度を含む関連度情報を、情報表示装置３００へ送信等する。
【００７１】
情報表示装置３００は、情報管理サーバ２００からのアノテーション、対応度情報、及び関連度情報を取得して、対応度情報及び関連度情報に基づいてアノテーションを提示する１又は複数の装置であり、アノテーションを閲覧（使用）する閲覧者（使用者）（Viewer）により所有される装置である。情報表示装置３００としては、情報提供装置１００と同様に、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。
【００７２】
まず、情報提供装置１００の構成について説明する。
図３は本発明の実施形態における情報提供装置１００の構成例を示すブロック図である。
【００７３】
情報提供装置１００は、カメラ部１０１、画像取得部１０２、特徴抽出部１０３、領域指定部１０４、測距部１０５、測位部１０６、情報設定部１０７、操作部１０８、コンテンツ生成部１０９、送信部１１０、を備える。
【００７４】
カメラ部１０１は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。
【００７５】
画像取得部１０２は、カメラ部１０１からの画像（ビデオスルー画像）を取得する。
【００７６】
特徴抽出部１０３は、画像取得部１０２により取得された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。例えば、図１に示した五重塔が画像に含まれる場合、五重塔の輪郭（特徴パターン）や五重塔を忠実に表すパラメータ（特徴パラメータ）を抽出する。
【００７７】
また、特徴抽出部１０３は、抽出された特徴から、物理オブジェクトを認識する認識処理を行ってもよい。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。例えば、抽出された五重塔の特徴パターン、特徴パラメータの集合から、五重塔という物理オブジェクトであると認識する。
【００７８】
領域指定部１０４は、特徴抽出部１０３により特徴抽出又はオブジェクト認識された物理オブジェクトの中から、アノテーションを付加すべき物理オブジェクトの領域を指定する。このとき、例えば、操作部１０８としてのタッチパネルを介して、画面上で物理オブジェクトにタッチすることで、その物理オブジェクトの領域を指定する。このとき、複数の物理オブジェクトを選択してもかまわない。なお、領域指定部１０４により特別な指定がされない場合には、特徴抽出又はオブジェクト認識された全ての物理オブジェクトが指定されたものとしてもよい。
【００７９】
測距部１０５は、カメラ部１０１から領域指定部１０４により指定された物理オブジェクトまでの距離を測定する。距離の測定方法としては、例えば光学式、レーダー式の測距センサによる距離の測定が考えられる。
【００８０】
測位部１０６は、情報提供装置１００の位置を測定する。位置の測定方法としては、例えばＧＰＳ（Global Positioning System）衛星を用いてＧＰＳ情報（緯度、経度、高度等）を取得すること、ＷＬＡＮ（無線ＬＡＮ）を用いて位置情報を取得すること、が考えられる。
【００８１】
情報設定部１０７は、カメラ部１０１により撮影された画像の付加情報として、物理オブジェクトを識別するための物理オブジェクト識別情報を設定する。例えば、画像のメタデータとしてオブジェクト識別情報を付加する。例えば、画像がＪＰＥＧ方式の画像である場合、メタデータとしてのＥｘｉｆ（Exchangeble Image File Format）情報にオブジェクト識別情報を付加する。なお、情報設定部１０７は、物理オブジェクト毎に、オブジェクト識別情報を付加する。
【００８２】
ここで、物理オブジェクト識別情報には、特徴抽出部１０３により抽出された特徴に係る特徴情報又は領域指定部１０４により指定された物理オブジェクトの特徴情報、測距部１０５により測定された距離に係る距離情報、測位部１０６により測定された位置に係る位置情報、が含まれる。
【００８３】
さらに、特徴情報には、特徴抽出方式情報、オブジェクト特徴情報、特徴抽出精度情報が含まれる。特徴抽出方式情報は、特徴抽出部１０３による特徴抽出の方式（顔認証、画像認証等）を示す情報である。オブジェクト特徴情報は、画像の特徴点の情報、物理オブジェクトに含まれるマーカー、ＲＦＩＤ（Radio Frequency Identification）、ＱＲコード（Quick Response code）、カーナンバー、表札、名札等の情報、等の物理オブジェクトの特徴を示す情報である。また、オブジェクト特徴情報により、テキスト（文字）情報、画像情報、音声情報等の物理オブジェクトの種別（属性）を識別することができる。また、オブジェクト特徴情報により、車、人、地物、場所などの物理オブジェクトの種別（属性）を識別することができる。特徴抽出精度情報は、電波強度、明るさ等の、特徴抽出に影響を与え得る状態を示す情報である。なお、特徴抽出精度情報は、精度を示す具体的な数値の情報であってもよい。
【００８４】
また、距離情報には、測距方式情報、オブジェクト距離情報、測距精度情報が含まれる。測距方式情報は、測距部１０５による測距の方式（光学式測距方式、レーダー式測距方式等）を示す情報である。オブジェクト距離情報は、情報提供装置１００から領域指定部１０４により指定された物理オブジェクトまでの距離を示す情報である。測距精度情報は、電波強度、明るさ等の、測距に影響を与え得る状態を示す情報である。なお、測距精度情報は、精度を示す具体的な数値の情報であってもよい。
【００８５】
また、位置情報には、測位方式情報、情報提供装置位置情報、測位精度情報が含まれる。測位方式情報は、測位部１０６による測位の方式（ＧＰＳ方式、ＷＬＡＮ方式等）を示す情報である。オブジェクト位置情報は、情報提供装置１００の位置（緯度、経度等）を示す情報である。測位精度情報は、電波強度、明るさ等の、測距に影響を与え得る状態を示す情報である。なお、測位精度情報は、精度を示す具体的な数値の情報であってもよい。なお、オブジェクト位置情報は、情報提供装置１００のカメラ部１０１が向いている方角を示すオブジェクト方角情報を含んでもよい。オブジェクト方角情報に係る方角は、例えば測位部１０６に含まれる地磁気センサにより測定される。
【００８６】
物理オブジェクト識別情報の更に詳細な説明については、後述する。
【００８７】
操作部１０８は、ユーザによる入力操作を受け付けるものであり、例えばテンキー、十字キー、タッチパネル等である。例えば、操作部１０８は、複数の物理オブジェクトのうち、アノテーションを付加すべき物理オブジェクトを選択する。
【００８８】
コンテンツ生成部１０９は、アノテーションを付加すべき物理オブジェクトに対して、アノテーションとしてのコンテンツ情報を生成する。コンテンツ情報としては、テキスト情報、静止画像や動画像などの画像情報、各種音、音声、音楽などの音声情報、等がある。コンテンツ情報は、操作部１０８等を介して生成してもよいし、コンテンツサーバからダウンロードしてもよいし、情報提供装置１００が備える図示しないメモリにあらかじめ記憶させておいてもよい。
【００８９】
送信部１１０は、物理オブジェクト識別情報及びコンテンツ情報を情報管理サーバ２００へ送信する。物理オブジェクト識別情報は、先に説明したように、画像のメタデータとして送信されてもよい。また、送信部１１０は、情報提供装置１００を識別するための情報提供装置識別情報を、情報管理サーバ２００へ送信してもよい。情報提供装置識別情報には、情報提供装置識別ＩＤや情報提供装置１００の名称を示す情報が含まれる。なお、通信により情報管理サーバ２００へ送出する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報管理サーバ２００へ送出するようにしてもよい。
【００９０】
次に、情報管理サーバ２００の構成について説明する。
図４は本発明の実施形態における情報管理サーバ２００の構成例を示すブロック図である。
【００９１】
情報管理サーバ２００は、受信部２０１、識別レベル算出部２０２、測位レベル算出部２０３、対応度算出部２０４、物理オブジェクト情報取得部２０５、テキスト変換部２０６、語数算出部２０７、関連度算出部２０８、署名生成部２０９、送信部２１０、物理オブジェクトデータベース（物理オブジェクトＤＢ）２１１、記憶部２１２、を備える。
【００９２】
受信部２０１は、情報提供装置１００の送信部１１０からの物理オブジェクト識別情報、コンテンツ情報等を受信する。なお、通信により情報提供装置１００からこれらの情報を取得する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報提供装置１００から取得してもよい。
【００９３】
識別レベル算出部２０２は、識別レベル算出機能を有し、対応度算出部２０４により対応度を算出する際に用いられる識別レベルを算出する。また、識別レベル算出機能は、物理オブジェクト識別情報の特徴抽出方式情報及び特徴抽出精度情報と測距方式情報及び測距精度情報とを入力とし、これらの情報に対応する識別レベルを出力する関数を有している。この関数は、例えば下記の（式１）により表される。
【００９４】
識別レベル＝特徴抽出方式レベル×抽出精度係数＋測距方式レベル×測距精度係数・・・（式１）
【００９５】
ここで、特徴抽出方式レベルは、特徴抽出方式情報に係る特徴抽出方式（顔認証、画像認証等）が、その特徴抽出方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、特徴抽出方式が画像認識の場合にはレベル４、バーコード認識の場合にはレベル５、などが割り当てられる。抽出精度係数は、抽出精度情報に係る抽出精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【００９６】
また、測距方式レベルは、測距方式情報に係る測距方式（光学式、レーダー式、オートフォーカス（ＡＦ：Autofocus）等）が、その測距方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、測距方式がＡＦの場合にはレベル３、ミリ波レーダーの場合にはレベル５、などが割り当てられる。測距精度係数は、測距精度自応報に係る測距精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【００９７】
したがって、識別レベル算出部２０２は、識別レベルを、例えば、レベル４×７０％＋レベル３×８０％＝５．２、のように算出する。ここでの識別レベルの最大値は、１０である。
【００９８】
測位レベル算出部２０３は、測位レベル算出機能を有し、対応度算出部２０４により対応度を算出する際に用いられる測位レベルを算出する。また、測位レベル算出機能は、物理オブジェクト識別情報の測位方式情報及び測位精度情報を入力とし、これらの情報に対応する測位レベルを出力する関数を有している。この関数は、例えば下記の（式２）により表される。
【００９９】
測位レベル＝測位方式レベル×測位精度係数・・・（式２）
【０１００】
ここで、測位方式レベルは、測位方式情報に係る測位方式（ＧＰＳ、ＷＬＡＮ、地磁気センサ等）が、その測位方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、測位方式がＧＰＳの場合にはレベル４、などが割り当てられる。測位精度係数は、測位精度情報に係る測位精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【０１０１】
したがって、測位レベル算出部２０３は、測位レベルを、例えば、レベル５×６０％＝３．０、のように算出する。ここでの測位レベルの最大値は、５である。
【０１０２】
対応度算出部２０４は、識別レベル算出部２０２により算出された識別レベル及び測位レベル算出部２０３により算出された測位レベルに基づいて、対応度を算出する。対応度の算出式は、例えば下記の（式３）により表される。
【０１０３】
対応度＝識別レベル×識別重み係数＋測位レベル×測位重み係数・・・（式３）
【０１０４】
ここで、識別重み係数及び測位重み係数の各重み係数は、物理オブジェクトの種別に応じて設定されるものであり、例えば０％〜１００％の数値が割り当てられたものである。例えば。例えば、移動体などの位置との関係性が小さい物理オブジェクトである場合には、識別重み係数として大きな値に設定され、測位重み係数として小さな値に設定される。一方、場所などの位置との関係性が大きい物理オブジェクトである場合には、識別重み係数として小さな値が設定され、測位重み係数として大きな値が設定される。
【０１０５】
したがって、対応度算出部２０４は、対応度として、５．２×８０％＋３．０×３０％＝５．０６、のように算出する。ここでの対応度の最大値は、１５である。
【０１０６】
物理オブジェクトＤＢ２１１は、物理オブジェクト識別情報に含まれる位置情報及び特徴情報を入力とし、これらの情報に対応する物理オブジェクト情報を出力するデータベースである。ここで、物理オブジェクト情報には、物理オブジェクトＩＤ、名称情報、一般識別情報、属性情報、キーワード情報、が含まれる。
【０１０７】
物理オブジェクトＩＤは、物理オブジェクトを識別するためのＩＤであり、物理オブジェクトＤＢ２１１のキーとなる情報である。
【０１０８】
名称情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの名前、名称等の固有名詞であり、テキスト情報であっても、テキスト情報以外の画像情報や音声情報であってもよい。
【０１０９】
一般識別情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの住所、ＩＰアドレス、ＵＲＬ、電話番号等の情報である。
【０１１０】
属性情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの属性（種別）を示す情報であり、例えば、人などの移動体、固定物や建物などの地物、場所等のいずれかを示す情報である。
【０１１１】
キーワード情報は、物理オブジェクトＩＤにより識別される物理オブジェクトに関連する関連語（キーワード）の情報を含む。また、キーワード情報は、物理オブジェクトＩＤにより識別される物理オブジェクトとの関連性の低い非関連語の情報を含んでもよい。なお、キーワード情報は、物理オブジェクトのコンテキストに依存して変化するため、定期的に更新されることが好ましい。
【０１１２】
物理オブジェクト情報取得部２０５は、物理オブジェクトＩＤを検索し、受信部２０１により受信された物理オブジェクト識別情報から、これらの情報に対応する物理オブジェクト情報を取得する。
【０１１３】
テキスト変換部２０６は、受信部２０１により受信されたコンテンツ情報がテキスト情報以外（音声情報、画像情報等）である場合には、その情報をテキスト情報に変換する。この場合、画像情報は、例えば画像情報からその画像情報に対応するテキスト情報を得るＷｅｂ画像検索技術により、テキスト情報に変換される。また、音声情報は、所定の音声認識処理により、テキスト情報に変換される。
【０１１４】
例えば、コンテンツ情報として五重塔の画像情報を取得した場合には、Ｗｅｂ画像検索技術により、テキスト情報としての「五重塔」を得る。また、コンテンツ情報として五重塔の音声情報を取得した場合には、音声認識処理により、テキスト情報としての「五重塔」を得る。
【０１１５】
語数算出部２０７は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる物理オブジェクトの名称等の固有名詞、関連語、及び非関連語の各情報が、必要に応じてコンテンツ情報から変換されたテキスト情報に含まれる語数を算出する。なお、物理オブジェクトＤＢ２１１が保持するキーワード情報に非関連語の情報が含まれない場合には、語数算出部２０７は、関連語に基づいて非関連語を推測してもよい。
【０１１６】
例えば、物理オブジェクトの固有名詞が「五重塔」である場合には、テキスト情報としての「五重塔」が、テキスト情報にいくつ含まれているかカウントされる。また、例えば、テキスト情報としての「木造」、「日本最古」、「１０００年」などの五重塔と関連性の高い語句が、テキスト情報に関連語としていくつ含まれているかカウントされる。また、例えば、テキスト情報としての「コンクリート」などの五重塔とは関連性が低い語句が、テキスト情報に非関連語としていくつ含まれているかカウントされる。
【０１１７】
関連度算出部２０８は、語数算出部２０７に算出された物理オブジェクトの固有名詞数、関連語数、及び非関連語数に基づいて、関連度を算出する。関連度は、例えば下記の（式４）により表わされる。
【０１１８】
関連度＝（固有名詞数×固有名詞重み係数＋関連語数×関連重み係数−非関連語×非関連重み係数）／総ワード数・・・（式４）
【０１１９】
ここで、固有名詞重み係数は、固有名詞の重要度に応じて設定される重み係数である。関連重み係数は、関連語の重要度に応じて設定される重み係数である。非関連重み係数は、非関連語の重要度に応じて設定される重み係数である。各重み係数は、０％〜１００％の間で設定される。総ワード数は、テキスト情報に含まれる語句の総数である。なお、各重み係数は、物理オブジェクトの属性に基づいて設定される。
【０１２０】
例えば、一意に特定可能な固有名詞を持つ物理オブジェクトであれば、固有名詞重み係数を大きい値に設定する。また、一意に特定可能な固有名詞を持たない物理オブジェクトであれば、関連重み係数を大きい値に設定する。また、物理オブジェクトの類似情報が多いことが想定される場合には、非関連重み係数を小さい値に設定する。
【０１２１】
したがって、関連度算出部２０８は、関連度を、例えば、（２４個×８０％＋４６個×４０％−１３個×８０％）／２５４個≒１１％、のように算出する。ここでの識別レベルの最大値は、１０である。ここでの関連度は、０％〜１００％の値である。
【０１２２】
また、関連度算出部２０８は、受信部２０１により複数の物理オブジェクト識別情報を受信した場合には、各物理オブジェクトについて関連度を算出し、さらに全体の物理オブジェクトについても関連度を算出する。
【０１２３】
また、上記のように、関連度の算出の際に非関連語を考慮することで、物理オブジェクトの固有名詞と関連語とだけでは誤検出し易い類似情報をフィルタリングすることが可能である。
【０１２４】
署名生成部２０９は、物理オブジェクトに対するコンテンツ情報の正当性を保証するため、署名情報を生成する。このとき、少なくとも情報管理サーバ２００を識別するための情報管理サーバ識別情報に基づいて署名情報を生成する。また、他の情報として、例えば、物理オブジェクト識別情報、物理オブジェクト情報、コンテンツ情報、対応度情報、関連度情報等にも基づいて、署名情報を生成してもよい。この署名情報は、情報管理サーバ２００のアノテーション発行許可承認を意味するディジタル署名である。署名生成の方式としては、ＲＳＡなどの一般的なディジタル署名方式などがある。
【０１２５】
記憶部２１２は、各種情報を記憶する。例えば、所定の発行ポリシを記憶する。発行ポリシは、アノテーションの発行許可を行うための判定基準が記載された情報であり、コンテンツ情報、対応度情報、関連度情報等が公衆良識やサービス内容に反しないことを保証するものである。発行ポリシは、必要に応じて更新されてもよい。
【０１２６】
送信部２１０は、物理オブジェクト識別情報、コンテンツ情報、対応度情報、及び関連度情報を、情報表示装置３００へ送信する。また、署名生成部２０９により生成された署名を含む署名情報を、これらの情報とともに送信してもよい。なお、通信により情報表示装置３００へ送出する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報表示装置３００へ送出するようにしてもよい。
【０１２７】
また、送信部２１０は、記憶部２１２により記憶されている所定の発行ポリシを満たしている場合に限り、情報表示装置３００への情報を送信するようにしてもよい。例えば、送信部２１０は、対応度算出部２０４により算出された対応度、関連度算出部２０８により算出された関連度の少なくとも一方が各閾値以上であったり、両方が各閾値以上であったりする場合に、発行ポリシを満たすものと判定し、各情報を送信する。
【０１２８】
情報管理サーバ２００において、対応度情報、関連度情報、物理オブジェクト情報、コンテンツ情報を確認して、ディジタル署名により発行確認する例について説明した。このような構成によれば、情報管理サーバ２００が一元的に確認できるため、構成が簡単になるというメリットがある。
【０１２９】
一方、別の構成として、物理オブジェクトを実際に所有している所有者が所持または運用する物理オブジェクト管理サーバにおいて、所有者のポリシに基づき対応度情報、関連度情報、物理オブジェクト情報、コンテンツ情報を確認して、ディジタル署名により承認確認し、更に情報管理サーバにおいてディジタル署名により発行確認する構成としてもよい。このような構成により、物理オブジェクトの所有者の意図が的確に反映できるというメリットがある。
【０１３０】
また、所有者のポリシ情報を情報管理サーバに備えておき、発行ポリシと所有者ポリシの両方に基づき発行確認する構成としてもよい。このような構成により、所有者の意図を反映しつつ、構成を簡単にできるというメリットがある。
【０１３１】
次に、情報表示装置３００の構成について説明する。
図５は本発明の実施形態における情報表示装置３００の構成例を示すブロック図である。
【０１３２】
情報表示装置３００は、カメラ部３０１、画像取得部３０２、特徴抽出部３０３、測距部３０５、測位部３０６、通信部３０７、検証解析部３０８、識別情報判定部３０９、利用ポリシ判定部３１０、合成部３１１、表示部３１２、記憶部３１３、を備える。
【０１３３】
カメラ部３０１は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。
【０１３４】
画像取得部３０２は、カメラ部３０１からの画像（ビデオスルー画像）を取得する。
【０１３５】
特徴抽出部３０３は、画像取得部３０２により取得された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。
【０１３６】
また、特徴抽出部３０３は、抽出された特徴から、物理オブジェクトを認識する認識処理を行ってもよい。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。
【０１３７】
測距部３０５は、カメラ部３０１から特徴抽出部により抽出された特徴又はオブジェクト認識された物理オブジェクトまでの距離を測定する。距離の測定方法としては、例えば光学式、レーダー式の測距センサによる距離の測定が考えられる。
【０１３８】
測位部３０６は、情報表示装置３００の位置を測定する。位置の測定方法としては、例えばＧＰＳ衛星を用いてＧＰＳ情報（緯度、経度、高度等）を取得すること、ＷＬＡＮを用いて位置情報を取得すること、が考えられる。また、測位部３０６は、所定の物理オブジェクトの位置を測定してもよい。このとき、測位部３０６は、情報表示装置３００の位置をまず測定し、測距部３０５により物理オブジェクトまでの距離を測定し、図示しないセンサ（地磁気センサ）により情報表示装置３００から見た物理オブジェクトの向きを測定する。そして、これらの測定結果に基づいて、測位部３０６又は通信部３０７は、物理オブジェトの位置を測定する。なお、この物理オブジェクトの位置の測定の計算は、情報管理サーバ２００側で行われてもよい。
【０１３９】
通信部３０７は、情報管理サーバ２００の送信部２１０からの物理オブジェクト識別情報、コンテンツ情報（物理オブジェクトのアノテーション）、対応度情報、関連度情報、署名情報等を受信する。なお、通信により情報管理サーバ２００からこれらの情報を取得する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報管理サーバ２００から取得してもよい。関連度情報の受信は省略可能である。
【０１４０】
検証解析部３０８は、通信部３０７により受信された署名情報を検証、解析する。例えば、検証解析の方式としては、ＲＳＡなどの一般的なディジタル署名方式の検証アルゴリズムなどがある。そして、検証解析部３０８は、通信部３０７により受信された情報の生成元が情報管理サーバ２００であり、かつ、受信された情報の内容の完全性が確認された場合には、通信部３０７により受信された情報は正当であると判定する。
【０１４１】
識別情報判定部３０９は、通信部３０７により受信された物理オブジェクト識別情報と、情報表示装置３００により測定された物理オブジェクト識別情報と、を比較し、両者が略一致しているか否かを判定する。略一致とは、一致する場合を含み、情報提供装置１００のユーザと情報表示装置３００のユーザとの立ち位置、向き、身長の相違等を考慮し、ほぼ一致する場合には両方の物理オブジェクト識別情報を同一視する意図である。誤差をどの程度許容するかについては、予め利用ポリシに記載しておくことも可能である。
【０１４２】
情報表示装置３００により測定された物理オブジェクト識別情報には、測位部３０６により測定された情報表示装置３００又は物理オブジェクトの位置に係る位置情報、特徴抽出部３０３により抽出された特徴に係る特徴情報、測距部３０５により測定された距離情報、が含まれる。これらの位置情報、特徴情報、及び距離情報は、情報提供装置１００が測定等により得た位置情報、特徴情報、及び距離情報と同種のものである。
【０１４３】
記憶部３１３は、各種情報を記憶する。例えば、所定の利用ポリシを記憶する。利用ポリシは、アノテーションの利用判定基準が記載された情報であり、コンテンツ情報に係るコンテンツ、対応度情報に係る対応度、関連度情報に係る関連度等が、ユーザの嗜好や所属団体等の基準に反していないことを保証するものである。利用ポリシは、必要に応じて更新されてもよい。記憶部３１３は、例えば、利用ポリシとして、対応度及び関連度が所定値以上であるという情報を記憶する。
【０１４４】
また、記憶部３１３は、アノテーションの重要度を示す重要度情報を記憶する。例えば、対応度、関連度が大きいものが重要であるという重要度情報が記憶されている場合には、この情報に基づいてアノテーションの提示順序を決定することができる。
【０１４５】
利用ポリシ判定部３１０は、通信部３０７により受信された対応度情報及び関連度情報が、記憶部３１３に記憶されている所定の利用ポリシを満たしているか否かを判定する。例えば、対応度及び関連度の少なくとも一方が各閾値以上であったり、両方が各閾値以上であったりする場合に、利用ポリシを満たすものと判定する。なお、関連度情報の比較を省略し、対応度情報が所定の利用ポリシを満たしているか否かを判定してもよい。
【０１４６】
合成部３１１は、カメラ部３０１により撮影された画像に含まれる物理オブジェクトであって、通信部３０７により受信された物理オブジェクト識別情報により識別される物理オブジェクトと、通信部３０７により受信されたアノテーションとしてのコンテンツ情報とを、対応付けて合成する。
【０１４７】
表示部３１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）であり、合成部３１１により対応付けて合成された物理オブジェクトとアノテーションとを表示する。表示部３１２による表示では、例えば物理オブジェクトにアノテーションがオーバーレイ表示（重畳表示）される。また、表示部３１２は、他にプロジェクタを用いて物理オブジェクトにアノテーションを投影して表示するようにしてもよい。
【０１４８】
なお、アノテーションが画像情報やテキスト情報である場合には、表示部３１２により物理オブジェクトとアノテーションとを対応付けて表示するがアノテーションが音声情報である場合には、表示部３１２の代わりに、物理オブジェクトに対応付けられたアノテーションを、図示しないスピーカ等を介して音声情報に基づく音声により提示してもよい。
【０１４９】
次に、物理オブジェクト識別情報の具体例について説明する。
図６は、物理オブジェクト識別情報の一例を示す図である。
【０１５０】
本実施形態では、情報提供装置１００は、カメラ部１０１により撮影された画像の情報を利用して、物理オブジェクトに対応するアノテーションの信頼性を確認することができるようにする。画像から、特徴抽出部１０３、測距部１０５、及び測位部１０６により、地物、移動体、場所を識別可能である。したがって、画像に認証を強化するための情報を付加した形でアノテーションに付加することで、物理オブジェクトとアノテーションとの関係性を明確化することができる。基本的な概念としては、情報設定部１０７により、特徴抽出時のビデオスルー画像を物理オブジェクト単位で分割し、単位毎に特徴情報を管理する。
【０１５１】
情報提供装置１００から情報管理サーバ２００へアノテーションを提供するときの物理オブジェクト識別情報の実装方法としては、情報設定部１０７により、Ｅｘｉｆ情報を拡張する方法、独自のヘッダ情報を付加する方法、画像自体に電子透かし等の情報隠蔽技術（Information hiding）を使って埋め込む方法、などが考えられる。
【０１５２】
ここで、Ｅｘｉｆ情報を拡張する方法について説明する。物理オブジェクト単位毎に管理する特徴情報として、画像から取得可能な情報である、マーカー、ＱＲコード、物理オブジェクトの輪郭となるエッジ部分の特徴点情報に加えて、物理オブジェクトを識別するための基準点となる識別位置、識別位置から物理オブジェクトまでの距離を想定する。識別位置については、ＧＰＳ Ｉｎｆｏタグの緯度、経度、向きの情報をそのまま利用することができる。また、Ｅｘｉｆ情報は、距離情報として、被写体距離の情報（Subject Distance）を有している。情報設定部１０７は、この情報を物理オブジェクト毎に拡張情報として設定する。
【０１５３】
アノテーションの正当性の検証は、情報表示装置３００が行う。この検証時には、携帯電話等の多くのモバイル機器が有するカメラの基本機能であるオートフォーカス（ＡＦ）の測距機能を利用する。このとき、識別情報判定部３０９が、物理オブジェクトの付加情報として設定された距離情報に係る距離と、情報表示装置３００により実際に測距された距離と、を比較する。識別情報判定部３０９は、画像や特徴点の比較に加えて、基準点からの複数距離を比較することで、実際の物理オブジェクトとその物理オブジェクトの映像などを区別することが可能となる。
【０１５４】
また、情報提供装置１００は、同一の物理オブジェクト群であっても、異なる基準点から測位してコンテンツを設定することで、同一の物理オブジェクト群の異なる観察面に関して、異なるコンテンツを設定することができる。
【０１５５】
図６に示すように、物理オブジェクト識別情報として、移動体、地物、場所等の属性を示す属性情報、特徴抽出方式を示す特徴抽出方式情報、物理オブジェクトの特徴を示すオブジェクト特徴情報、特徴抽出の精度を示す特徴抽出精度情報、測距方式を示す測距方式情報、測距精度を示す測距精度情報、基準点（例えばカメラ部１０１が存在する点）から物理オブジェクトまでの距離を示すオブジェクト距離情報、カメラ部１０１による撮影方向と物理オブジェクトとの成す角度を示す物理オブジェクト角度情報、の各情報を含むことができる。物理オブジェクト角度情報に係る角度のマイナス符号（−）は、カメラ部１０１による撮影方向を基準として、プラス符号の角度とは反対側の角度であることを示している。これらの情報は、物理オブジェクト毎に設定される。
【０１５６】
また、図６に示すように、物理オブジェクト識別情報の基本情報として、測位方式を示す測位方式情報、物理オブジェクトの位置を示すオブジェクト位置情報、測位精度を示す測位精度情報、の各情報を含むことができる。これらの情報は、物理オブジェクト毎に設定されるものではなく、1又は複数の物理オブジェクトを含む撮影画像毎に設定される。
【０１５７】
次に、情報提供装置１００の動作について説明する。
図７は、情報提供装置１００の動作例を示すフローチャートである。
【０１５８】
まず、画像取得部１０２は、カメラ部１０１により撮影された画像を取得し（ステップＳ１０１）、特徴抽出部１０３は、取得した画像の特徴を抽出する（ステップＳ１０２）。
【０１５９】
ここでは、画像の特徴が場所を示す場合には、番地表示やストリート名等を文字認識する。また、画像の特徴が人を示す場合には、人が身に付けている名札等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が車を示す場合には、車のナンバープレート等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が地物を示す場合には、ビル名、銅像名等を文字認識、又は、その特徴点を抽出する。
【０１６０】
続いて、領域指定部１０４は、特徴抽出部１０３により特徴点抽出又はオブジェクト認識された物理オブジェクトから、アノテーションを付加すべき物理オブジェクトの領域を指定する。このとき、例えば、操作部１０８としてのタッチパネルを介して、画面上で物理オブジェクトにタッチすることで、物理オブジェクトの領域を指定する（ステップＳ１０３）。
【０１６１】
続いて、測距部１０５は、情報提供装置１００から領域指定部１０４により指定された物理オブジェクトまでの距離を測定する（ステップＳ１０４）。
【０１６２】
続いて、測位部１０６は、ＧＰＳ等を用いて情報提供装置１００の位置を測定する（ステップＳ１０５）。
【０１６３】
続いて、情報設定部１０７は、オブジェクト識別情報を画像のメタデータに設定する。例えば、Ｅｘｉｆ情報に、物理オブジェクト毎に、特徴情報及び距離情報を設定（付加）し、更に共通情報として位置情報を設定する（ステップＳ１０６）。
【０１６４】
続いて、コンテンツ生成部１０９は、操作部１０８等を介して、領域指定部１０４により指定された物理オブジェクトに対応するアノテーションとしてのコンテンツ情報を生成する（ステップＳ１０７）。
【０１６５】
続いて、送信部１１０は、情報設定部１０７により設定されたオブジェクト識別情報を含む画像の情報と、コンテンツ生成部１０９により生成されたコンテンツ情報と、を情報管理サーバ２００へ送信する（ステップＳ１０８）。
【０１６６】
このような情報提供装置１００によれば、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【０１６７】
次に、情報管理サーバ２００の動作について説明する。
図８及び図９は、情報管理サーバ２００の動作例を示すフローチャートである。
【０１６８】
まず、受信部２０１は、情報提供装置１００からのオブジェクト識別情報を含む画像の情報と、コンテンツ情報と、を受信する（ステップＳ２０１）。
【０１６９】
続いて、物理オブジェクト情報取得部２０５は、物理オブジェクトＤＢ２１１を参照し、受信部２０１により受信された物理オブジェクト特徴情報に対応する物理オブジェクト情報を取得する（ステップＳ２０２）。
【０１７０】
続いて、識別レベル算出部２０２は、オブジェクト識別情報に含まれる特徴情報に含まれる特徴抽出方式情報から特徴抽出方式レベルを割り当て、距離情報に含まれる測距方式情報から測距方式レベルを割り当てる。また、識別レベル算出部２０２は、特徴情報に含まれる特徴抽出精度情報から抽出精度係数を割り当て、距離情報に含まれる測距精度情報から測距精度係数を割り当てる（ステップＳ２０３）。例えば、情報管理サーバ２００は、特許抽出方式情報等と特徴抽出方式レベル等とを対応付ける変換テーブル等を有することで、上記割当が可能となる。
【０１７１】
続いて、識別レベル算出部２０２は、特徴抽出方式レベル、測距方式レベル、抽出精度係数、測距精度係数に基づいて、識別レベルを算出する（ステップＳ２０４）。例えば、先に説明した（式１）に示した演算式により、識別レベルを算出する。
【０１７２】
続いて、測位レベル算出部２０３は、オブジェクト識別情報に含まれる位置情報に含まれる測位方式情報から測位方式レベルを割り当て、位置情報に含まれる測位精度情報から測位精度係数を割り当てる（ステップＳ２０５）。例えば、情報管理サーバ２００は、測位方式情報等と測位方式レベル等とを対応付ける変換テーブル等を有することで、上記割当が可能となる。
【０１７３】
続いて、測位レベル算出部２０３は、測位方式レベル及び測位精度係数に基づいて、測位レベルを算出する。例えば、先に説明した（式２）に示した演算式により、測位レベルを算出する（ステップＳ２０６）。
【０１７４】
続いて、対応度算出部２０４は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる属性情報（車、人、場所等）に応じて、識別重み係数と測位重み係数とを割り当てる（ステップＳ２０７）。
【０１７５】
続いて、対応度算出部２０４は、識別レベル、測位レベル、識別重み係数、測位重み係数に基づいて、対応度を算出する（ステップＳ２０８）。例えば、先に説明した（式３）に示した演算式により、対応度を算出する。
【０１７６】
続いて、テキスト変換部２０６は、受信部２０１により受信されたコンテンツ情報が、テキスト情報以外の画像情報、音声情報等である場合には、その情報をテキスト情報に変換する（ステップＳ２０９）。
【０１７７】
続いて、語数算出部２０７は、コンテンツ情報としてのテキスト情報又はテキスト変換部２０６により変換されたテキスト情報に、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる固有名詞、関連語、非関連語が含まれている個数を算出する（ステップＳ２１０）。また、語数算出部２０７は、テキスト情報に含まれる総ワード数も算出する。
【０１７８】
続いて、関連度算出部２０８は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる属性情報に基づいて、固有名詞重み係数、関連重み係数、非関連重み係数を割り当てる（ステップＳ２１１）。例えば、情報管理サーバ２００は、属性情報と各重み係数とを対応付ける変換テーブルを有することで、上記割当が可能となる。
【０１７９】
続いて、関連度算出部２０８は、固有名詞数、関連語数、非関連語数、総ワード数、固有名詞重み係数、関連重み係数、非関連重み係数に基づいて、関連度を算出する（ステップＳ２１２）。例えば、先に説明した（式４）に示した演算式により、関連度を算出する。
【０１８０】
また、署名生成部２０９は、署名情報を生成する。そして、送信部２１０は、例えば情報表示装置３００からアノテーションの要求を受けた場合には、オブジェクト識別情報、アノテーション、対応度情報、関連度情報、署名情報等を送信する。
【０１８１】
このような情報管理サーバ２００の動作によれば、物理オブジェクトとアノテーションとの対応度及び関連度（少なくとも対応度）を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【０１８２】
次に、情報表示装置３００の動作について説明する。
図１０は、情報表示装置３００の動作例を示すフローチャートである。
【０１８３】
まず、測位部３０６は、ＧＰＳ、地磁気センサ等を用いて、情報表示装置３００の位置、方位等を測定する（ステップＳ３０１）。
【０１８４】
続いて、通信部３０７は、情報表示装置３００の位置、方位等を用いて、１又は複数の物理オブジェクト識別情報、物理オブジェクト識別情報に対応するアノテーション、対応度情報、関連度情報、等を情報管理サーバ２００から取得する（ステップＳ３０２）。このとき、情報表示装置３００の位置等の情報を情報管理サーバ２００へ送信し、その位置等に対応する物理オブジェクト識別情報、アノテーション等を情報管理サーバ２００から取得してもよい。また、特徴抽出部３０３、測距部３０５、測位部３０６等の識別情報検出部により検出された情報（オブジェクト識別情報）を情報管理サーバ２００へ送信し、その物理オブジェクト識別情報に対応するアノテーション等を情報管理サーバ２００から取得してもよい。
【０１８５】
続いて、検証解析部３０８は、通信部３０７により受信された署名情報を検証する。検証の結果、情報管理サーバ２００からの情報が正当であると判定された場合、つまり署名情報により送信元や送信内容の同一性が保証された場合には、通信部３０７により受信されたオブジェクト識別情報の解析を行う（ステップＳ３０３）。なお、署名は省略されていることもある。
【０１８６】
続いて、画像取得部３０２は、カメラ部３０１により撮影された画像を取得し（ステップＳ３０４）、特徴抽出部３０３は、取得した画像の特徴を抽出する（ステップＳ３０５）。
【０１８７】
ここでは、画像の特徴が場所を示す場合には、番地表示やストリート名等を文字認識する。また、画像の特徴が人を示す場合には、人が身に付けている名札等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が車を示す場合には、車のナンバープレート等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が地物を示す場合には、ビル名、銅像名等を文字認識、又は、その特徴点を抽出する。
【０１８８】
続いて、測距部３０５は、情報表示装置３００から特徴抽出部３０３により抽出された特徴点又はオブジェクト認識された物理オブジェクトまでの距離を測定する（ステップＳ３０６）。
【０１８９】
続いて、識別情報判定部３０９は、特徴抽出部３０３、測距部３０５、測位部３０６により測定された物理オブジェクト識別情報と通信部３０７により受信された物理オブジェクト識別情報とが略一致するか否かを判定する（ステップＳ３０７）。例えば、測定された特徴情報及び受信された特徴情報（特にオブジェクト特徴情報）、測定された距離情報及び受信された距離情報、測定された位置情報及び受信された位置情報、が各々ほぼ同一である場合には、略一致すると判定される。
【０１９０】
両物理オブジェクト識別情報が略一致すると判定された場合には、利用ポリシ判定部３１０は、記憶部３１３により記憶された利用ポリシを参照し、通信部３０７により受信された対応度情報及び関連度情報が利用ポリシを満たしているか否かを判定する（ステップＳ３０８）。例えば、対応度情報に係る対応度と関連度情報に係る関連度とを合算した結果、所定値以上である場合に、利用ポリシを満たすと判定することができる。利用ポリシを満たす場合には、物理オブジェクトに対応するアノテーションが信頼性が高いものであると判断できる。
【０１９１】
上記の利用ポリシを満たす場合には、表示部３１２は、利用ポリシを満たすアノテーションを、物理オブジェクトに対応付けて合成表示する（ステップＳ３０９）。このとき、アノテーションが複数存在する場合には、記憶部３１３に記憶された重要度順に提示してもよい。例えば、対応度及び関連度が大きい順に表示することができる。また、表示部３１２は、対応度及び関連度の少なくとも１つをアノテーションと同時に表示してもよい。また、表示部３１２は、利用ポリシを満たす場合には、アノテーションと同時に、利用ポリシを満たす旨を表示してもよい。利用ポリシを満たす旨は、例えば、文字、アイコン、色等により表示される。なお、表示以外の方法で提示してもよい。
【０１９２】
このような情報表示装置３００の動作によれば、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションを簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【０１９３】
このような本実施形態の仮想現実感システムによれば、物理オブジェクトとアノテーションとの関連性を保証することが可能である。例えば、情報提供装置１００が所望の物理オブジェクトに対してアノテーションを付与したつもりであっても、情報管理サーバ２００での管理中に他の物理オブジェクトに対するアノテーションとして差し替えられてしまったとする。このような場合であっても、情報管理サーバ２００が算出する対応度及び関連度に応じて、アノテーションの予期しない差し替えを発見することができる。このように、評価情報としてのアノテーションの不正使用や成りすまし等を検出することができる。
【０１９４】
また、否定的な（Ｎｅｇａｔｉｖｅ）アノテーションが多数貼り付けられ、そのアノテーションが事実であると誤認されることにより、アノテーションに対応する店舗や個人等が風評被害を受けることを防止可能である。
【０１９５】
また、対応度を確認することで、物理オブジェクトとアノテーションとがどの程度物理的に関係しているかを判断することができる。また、物理オブジェクトが移動体、場所、地物のいずれであったとしても、物理オブジェクトとアノテーションとの対応度を正確に算出することができる。また、関連度を確認することで、物理オブジェクトとアノテーションとがどの程度意味的に関係しているかを判断することができる。
【０１９６】
また、情報管理サーバ２００は、受信部２０１により物理オブジェクト識別情報、コンテンツ情報等を受信するのではなく、情報管理サーバ２００自体が物理オブジェクト識別情報に含まれる情報を測定したり、コンテンツ情報を生成したりしてもよい。
【０１９７】
また、情報提供装置１００が、情報管理サーバ２００としての機能を有していてもよい。
【０１９８】
また、本実施形態の拡張現実感システム１としては、情報提供装置１００、情報管理サーバ２００、及び情報表示装置３００を備えるサーバ−クライアントタイプのシステムを想定し、情報管理サーバ２００を介して複数のクライアント間でアノテーションを共有することを説明したが、スタンドアローンタイプのシステムであってもよい。
【産業上の利用可能性】
【０１９９】
本発明は、物理オブジェクトとアノテーションとの関連性を保証することが可能な情報処理装置、拡張現実感システム、情報処理プログラム等に有用である。
【符号の説明】
【０２００】
１ 拡張現実感システム
１００ 情報提供装置
１０１ カメラ部
１０２ 画像取得部
１０３ 特徴抽出部
１０４ 領域指定部
１０５ 測距部
１０６ 測位部
１０７ 情報設定部
１０８ 操作部
１０９ コンテンツ生成部
１１０ 送信部
２００ 情報管理サーバ
２０１ 受信部
２０２ 識別レベル算出部
２０３ 測位レベル算出部
２０４ 対応度算出部
２０５ 物理オブジェクト情報取得部
２０６ テキスト変換部
２０７ 語数算出部
２０８ 関連度算出部
２０９ 署名生成部
２１０ 送信部
２１１ 物理オブジェクトＤＢ
２１２ 記憶部
３００ 情報表示装置
３０１ カメラ部
３０２ 画像取得部
３０３ 特徴抽出部
３０５ 測距部
３０６ 測位部
３０７ 通信部
３０８ 検証解析部
３０９ 識別情報判定部
３１０ 利用ポリシ判定部
３１１ 合成部
３１２ 表示部
３１３ 記憶部
【技術分野】
【０００１】
本発明は、情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラムに関する。特に、現実環境の対象物（物理オブジェクト）に関する情報（アノテーション）をユーザに提供する拡張現実感（ＡＲ：Augmented Reality）システムで用いられる技術に関する。
【背景技術】
【０００２】
近年、現実環境にコンピュータを用いて情報を付加提示する技術、及び情報を付加提示された環境そのものを示す言葉として、「拡張現実感（拡張現実ともいう）」が知られつつある。拡張現実感技術では、現実環境における特定の物体に関する説明や関連情報を含む電子情報（アノテーション）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。
【０００３】
拡張現実感に関する技術として、以下のような技術が知られている。例えば、撮影映像の部分映像から抽出された視覚的特徴情報と、記憶装置により記憶されている物理オブジェクトの視覚的特徴情報と、の類似度を算出し、算出された類似度により、物理オブジェクトが撮影映像に存在するか否かを判定する。そして、物理オブジェクトが撮影映像に存在しない場合には、アノテーションを表示しないようにする装置が知られている（例えば、特許文献１参照）
【０００４】
また、実世界映像に映し出される物理オブジェクトと実世界映像の視点との距離し、取得された距離に応じて、アノテーションの表示を変更する装置が知られている（例えば、特許文献２参照）。
【０００５】
また、場所と情報との対応付けが特定の人間の主観や製作意図によらず、ユーザの現在、過去、未来の文脈情報が反映された情報をユーザに提供する装置が知られている（特許文献３参照）。この装置では、ユーザの履歴ベースで位置に関する情報を検索する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４８８２３３号公報
【特許文献２】国際公開第２０１０／０７３６１６号パンフレット
【特許文献３】特開２００１−３０６６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、上記のような特徴情報、距離情報、位置情報に基づいて、物理オブジェクトに対してアノテーションの表示等を行っているが、ユーザにとっては、どのように物理オブジェクトとアノテーションを認識しているか不明である。したがって、ユーザは、物理オブジェクトとアノテーションとの関連性を把握することができない。今後、拡張現実感システムが普及していくと考えられるが、物理オブジェクトとアノテーションとの関連性を十分に保証できなければ、安心して拡張現実感システムを使用することができないと考えられる。
【０００８】
本発明は、上記事情に鑑みてなされたものであって、物理オブジェクトとアノテーションとの関連性を保証することが可能な情報処理装置、拡張現実感システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する情報取得部と、前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、を備える。
【００１０】
この構成により、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００１１】
また、本発明の情報処理装置は、前記情報取得部が、前記物理オブジェクトと前記アノテーションとの意味的な関連度を示す関連度情報を取得し、前記利用ポリシ判定部が、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報と前記関連度情報とが、所定の利用ポリシを満たすか否かを判定する。
【００１２】
この構成により、物理オブジェクトとアノテーションとの関連性を対応度及び関連度により保証することが可能である。対応度のみで信頼性を判断するよりも、更に信頼性が向上する。
【００１３】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションと同時に、前記利用ポリシを満たしている旨を表示する。
【００１４】
この構成により、例えば、利用ポリシを満たしていることを文字、アイコン色等により提示することで、ユーザはアノテーションが利用ポリシを満たしていることを確実に認識することができる。
【００１５】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報と、を検出する距離情報検出部と、を備え、前記情報取得部は、当該情報処理装置の位置に係る位置情報と前記物理オブジェクトまでの距離に係る距離情報に基づいて、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報を取得し、前記識別情報判定部が、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致するか否かを判定する。
【００１６】
この構成により、投稿者が所有する情報処理装置で検出された物理オブジェクト識別情報に係る物理オブジェクトと、閲覧者が現在表示している物理オブジェクトの一致を確認することができる。つまり、位置情報、距離情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００１７】
また、本発明の情報処理装置は、前記識別情報検出部が、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部、を備え、前記情報取得部は、前記物理オブジェクト識別情報として、前記物理オブジェクトの特徴に係る特徴情報を取得し、前記識別情報判定部が、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する。
【００１８】
この構成により、位置情報、距離情報とともに特徴情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００１９】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、前記情報取得部が、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を取得し、前記識別情報判定部が、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致し、かつ、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する。
【００２０】
この構成により、位置情報、距離情報、特徴情報に基づいて物理オブジェクトを識別することで、信頼性の高いアノテーションのみユーザに提示することができる。
【００２１】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記画像取得部により取得された画像に含まれる物理オブジェクトに対応付けて前記アノテーションを表示する。
【００２２】
この構成により、アノテーションがどの物理オブジェクトに対して付加されたものであるかを容易に理解することができる。
【００２３】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記対応度または前記関連度が大きい順に、前記アノテーションを提示する情報処理装置。
【００２４】
この構成により、１つの物理オブジェクトに複数のアノテーションが投稿されている場合には、信頼性の高いアノテーションを優先的に提示することができる。
【００２５】
また、本発明の情報処理装置は、前記所定の利用ポリシが、前記対応度及び前記関連度のそれぞれ又は合計値が所定値以上であることである。
【００２６】
この構成により、対応度及び関連度が所定値以上である場合に限り、アノテーションを提示させることができる。
【００２７】
また、本発明の情報処理装置は、前記アノテーション提示部が、前記対応度及び前記関連度の少なくとも１つを前記アノテーションと同時に提示する情報処理装置。
【００２８】
この構成により、ユーザは対応度又は関連度を認識することができる。
【００２９】
また、本発明の情報処理装置は、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、を備える。
【００３０】
この構成により、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００３１】
また、本発明の情報処理装置は、前記識別情報検出部が、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、前記送出部が、前記物理オブジェクト識別情報として、前記位置情報と前記距離情報と前記特徴情報とを送出する。
【００３２】
この構成により、位置情報、距離情報、特徴情報に基づいて物理オブジェクトを識別させることで、信頼性の高いアノテーションであると判断させることができる。
【００３３】
また、本発明の情報処理装置は、物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得する情報取得部と、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、を備える。
【００３４】
この構成により、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００３５】
また、本発明の情報処理装置は、前記物理オブジェクトの識別情報とアノテーションに基づいて、前記物理オブジェクトと前記アノテーションとの意味的な関連度を算出する関連度算出部を備える。
【００３６】
この構成により、物理オブジェクトとアノテーションとの関連度を更に算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００３７】
また、本発明の情報処理装置は、前記対応度算出部により算出された対応度に係る対応度情報と、前記関連度算出部により算出された関連度に係る関連度情報と、を送出する送出部を備える情報処理装置。
【００３８】
この構成により、閲覧者へ詳細なアノテーションの情報を提供することができるので、閲覧者はアノテーションの信頼性を確認することができる。
【００３９】
また、本発明の情報処理装置は、前記物理オブジェクト識別情報が、前記情報処理装置の位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を含み、前記対応度算出部が、前記特徴情報及び前記距離情報に基づいて識別レベルを算出し、前記位置情報に基づいて測位レベルを算出し、前記識別レベル及び前記測位レベルに基づいて前記対応度を算出する。
【００４０】
この構成により、識別レベルと測位レベルから、精度の高い対応度を算出できる。
【００４１】
また、本発明の情報処理装置は、前記物理オブジェクト識別情報と、前記物理オブジェクト識別情報により識別される物理オブジェクトに係る語句情報を含む物理オブジェクト情報と、を対応付けて記憶する物理オブジェクト情報記憶部と、前記情報取得部により取得されたアノテーションから当該アノテーションに係るテキスト情報を取得するテキスト情報取得部と、を備え、前記関連度算出部が、前記情報取得部により取得されたアノテーションから前記テキスト情報取得部により取得された前記テキスト情報に含まれる語句情報のうち、前記情報取得部により取得され前記物理オブジェクト情報記憶部により記憶された物理オブジェクト識別情報に対応付けられた前記物理オブジェクト情報に含まれる語句情報に基づいて、前記関連度を算出する。
【００４２】
この構成により、アノテーションに関連するテキスト情報から、精度の高い関連度を算出できる。
【００４３】
また、本発明の情報処理装置は、前記語句情報が、前記物理オブジェクトの名称の情報と、前記物理オブジェクトに関連する語句である関連語の情報と、前記物理オブジェクトとは関連性の低い語句である非関連語の情報と、を含む。
【００４４】
この構成により、アノテーションに関連する物理オブジェクトの名称、関連語、非関連語から、精度の高い関連度を算出できる。
【００４５】
また、本発明の拡張現実感システムは、物理オブジェクトに対応するアノテーションを提供する情報提供装置と、前記アノテーションを管理する情報管理サーバと、前記アノテーションを提示する情報提示装置と、を備える拡張現実感システムであって、前記情報提供装置が、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、を備え、前記情報管理サーバが、前記情報提供装置からの前記物理オブジェクト識別情報と前記アノテーションとを取得する情報取得部と、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、前記物理オブジェクト識別情報と、前記アノテーションと、前記対応度情報と、を送出する送出部と、を備え、前記情報提示装置が、画像を取得する画像取得部と、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、前記情報管理サーバからの所定の物理オブジェクトを識別するための前記物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記対応度情報と、を取得する情報取得部と、前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、を備える。
【００４６】
この構成により、物理オブジェクト識別情報に基づいて対応度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。また、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。さらに、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００４７】
また、本発明の第１の情報処理方法は、画像を取得するステップと、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得するステップと、前記検出された物理オブジェクト識別情報と、前記取得された物理オブジェクト識別情報と、が略一致するか否かを判定するステップと、前記略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定するステップと、前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するステップと、を有する。
【００４８】
この方法により、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００４９】
また、本発明の第２の情報処理方法は、画像を取得するステップと、前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、前記物理オブジェクトのアノテーションを生成するステップと、前記物理オブジェクト毎に、前記生成されたアノテーションと、前記検出された物理オブジェクト識別情報と、を送出するステップと、を有する。
【００５０】
この方法により、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００５１】
また、本発明の第３の情報処理方法は、物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得するステップと、前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出するステップと、を有する。
【００５２】
この方法により、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【００５３】
また、本発明の情報処理プログラムは、第１の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５４】
このプログラムにより、物理オブジェクトとアノテーションとの関連性を保証することが可能である。すなわち、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションが簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【００５５】
また、本発明の情報処理プログラムは、第２の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５６】
このプログラムにより、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【００５７】
また、本発明の情報処理プログラムは、第３の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【００５８】
このプログラムにより、物理オブジェクトとアノテーションとの対応度を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【発明の効果】
【００５９】
本発明によれば、物理オブジェクトとアノテーションとの関連性を保証することが可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施形態における対応度と関連度とを説明するためのイメージ図
【図２】本発明の実施形態における拡張現実感システムの構成例を示すブロック図
【図３】本発明の実施形態における情報提供装置の構成例を示すブロック図
【図４】本発明の実施形態における情報管理サーバの構成例を示すブロック図
【図５】本発明の実施形態における情報表示装置の構成例を示すブロック図
【図６】本発明の実施形態における物理オブジェクト識別情報の一例を示す図
【図７】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【図８】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【図９】本発明の実施形態における情報提供装置の動作例を示すフローチャート（図８の続き）
【図１０】本発明の実施形態における情報提供装置の動作例を示すフローチャート
【発明を実施するための形態】
【００６１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００６２】
本実施形態では、物理オブジェクトとアノテーションとの関連性を認識するために、「対応度」及び「関連度」という概念を導入する。対応度とは、物理オブジェクトとアノテーションとの物理的な関係性（物理的な対応度）を示すものである。言い換えると、対応度はアノテーションが物理オブジェクトに対して正確に付加されている度合いを示している。関連度とは、物理オブジェクトとアノテーションとの意味的な関係性（意味的な関連度）を示すものである。言い換えると、関連度はアノテーションの内容が物理オブジェクトにどの程度関連しているかを示している。対応度及び関連度は、主に数値化して用いられる。
【００６３】
なお、本実施形態での物理オブジェクトとしては、地物、移動体、場所等を想定する。地物とは、建物や記念碑など特定の位置に固定された建造物等である。移動体とは、人や車などの移動可能な物体である。場所とは、緯度経度により一意に特定され、所定の地点、公園、街路など、特定の名称により一意にされる地区である。また、アノテーションとしては、文字情報等のテキスト情報、２Ｄ／３Ｄグラフィックなどの画像情報、音声情報等を想定する。
【００６４】
図１は対応度と関連度とを説明するためのイメージ図である。図１に示す例では、対応度及び関連度の最高値を５、最低値を０とする。図１に示す例では、物理オブジェクトＯとしての五重塔の画像が表示されている。この物理オブジェクトに対して、第１のアノテーションＡ１としての文字情報「五重塔」、第２のアノテーションＡ２としての文字情報「聖徳太子」が付加されている。
【００６５】
図１に示す例では、物理オブジェクトＯと第１のアノテーションＡ１との対応度が５、関連度が４となっている。したがって、対応度により、第１のアノテーションＡ１が物理オブジェクトＯに対して正確に付加されていると認識することができる。つまり、第１のアノテーションＡ１としての文字情報「五重塔」を、本来は他の物理オブジェクトに付加しようとしたが、誤って物理オブジェクトＯとしての「五重塔」に付加してしまったものではない、と理解することができ、アノテーションの信頼性が向上する。また、関連度により、物理オブジェクトＯとしての「五重塔」と、第１のアノテーションＡ１としての文字情報「五重塔」と、が意味的にほぼ密接に関係していると認識することができる。つまり、「五重塔」という言葉が、物理オブジェクトＯに関連する内容としてほぼ間違い、と理解することができ、アノテーションの信頼性が向上する。
【００６６】
また、図１に示す例では、物理オブジェクトＯと第２のアノテーションＡ２との対応度が４、関連度が２となっている。したがって、対応度により、第２のアノテーションＡ２が物理オブジェクトＯに対してほぼ正確に付加されていると認識することができる。つまり、第２のアノテーションＡ２としての文字情報「取得太子」を、本来は他の物理オブジェクトに付加しようとしたが、誤って物理オブジェクトＯとしての「五重塔」に付加してしまったものである可能性はかなり低い、と理解することができる。また、関連度により、物理オブジェクトＯとしての「五重塔」と、第２のアノテーションＡ２としての文字情報「聖徳太子」と、が意味的にあまり関係していないと認識することができる。つまり、「聖徳太子」という言葉が、物理オブジェクトＯに関連する内容としては間違えている可能性があると理解することができる。
【００６７】
次に、本発明の拡張現実感システムの構成について説明する。
【００６８】
図２は本発明の実施形態における拡張現実感システムの構成例を示すブロック図である。図２に示す拡張現実感システム１は、情報提供装置１００、情報管理サーバ２００、情報表示装置３００を備える。情報提供装置１００、情報管理サーバ２００、情報表示装置３００は、いずれも情報処理装置の一例である。
【００６９】
情報提供装置１００は、物理オブジェクトに対応するアノテーションを生成する１又は複数の装置であり、アノテーションを投稿する投稿者（Submitter）により所有される装置である。情報提供装置１００としては、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。情報提供装置１００は、物理オブジェクトを撮影し、撮影された物理オブジェクトに対するアノテーションを生成して、生成されたアノテーションを情報管理サーバ２００へ送信等する。
【００７０】
情報管理サーバ２００は、情報提供装置１００からのアノテーションを取得して管理する１又は複数のサーバであり、拡張現実感システムのサービスを提供するサービス提供者（Service Provider）により所有されるサーバである。情報管理サーバ２００は、物理オブジェクトを識別するための物理オブジェクト識別情報と、その物理オブジェクトに対して投稿されたアノテーションと、に基づいて、対応度及び関連度を生成する。そして、物理オブジェクトのアノテーションとともに、生成された対応度を含む対応度情報及び関連度を含む関連度情報を、情報表示装置３００へ送信等する。
【００７１】
情報表示装置３００は、情報管理サーバ２００からのアノテーション、対応度情報、及び関連度情報を取得して、対応度情報及び関連度情報に基づいてアノテーションを提示する１又は複数の装置であり、アノテーションを閲覧（使用）する閲覧者（使用者）（Viewer）により所有される装置である。情報表示装置３００としては、情報提供装置１００と同様に、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。
【００７２】
まず、情報提供装置１００の構成について説明する。
図３は本発明の実施形態における情報提供装置１００の構成例を示すブロック図である。
【００７３】
情報提供装置１００は、カメラ部１０１、画像取得部１０２、特徴抽出部１０３、領域指定部１０４、測距部１０５、測位部１０６、情報設定部１０７、操作部１０８、コンテンツ生成部１０９、送信部１１０、を備える。
【００７４】
カメラ部１０１は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。
【００７５】
画像取得部１０２は、カメラ部１０１からの画像（ビデオスルー画像）を取得する。
【００７６】
特徴抽出部１０３は、画像取得部１０２により取得された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。例えば、図１に示した五重塔が画像に含まれる場合、五重塔の輪郭（特徴パターン）や五重塔を忠実に表すパラメータ（特徴パラメータ）を抽出する。
【００７７】
また、特徴抽出部１０３は、抽出された特徴から、物理オブジェクトを認識する認識処理を行ってもよい。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。例えば、抽出された五重塔の特徴パターン、特徴パラメータの集合から、五重塔という物理オブジェクトであると認識する。
【００７８】
領域指定部１０４は、特徴抽出部１０３により特徴抽出又はオブジェクト認識された物理オブジェクトの中から、アノテーションを付加すべき物理オブジェクトの領域を指定する。このとき、例えば、操作部１０８としてのタッチパネルを介して、画面上で物理オブジェクトにタッチすることで、その物理オブジェクトの領域を指定する。このとき、複数の物理オブジェクトを選択してもかまわない。なお、領域指定部１０４により特別な指定がされない場合には、特徴抽出又はオブジェクト認識された全ての物理オブジェクトが指定されたものとしてもよい。
【００７９】
測距部１０５は、カメラ部１０１から領域指定部１０４により指定された物理オブジェクトまでの距離を測定する。距離の測定方法としては、例えば光学式、レーダー式の測距センサによる距離の測定が考えられる。
【００８０】
測位部１０６は、情報提供装置１００の位置を測定する。位置の測定方法としては、例えばＧＰＳ（Global Positioning System）衛星を用いてＧＰＳ情報（緯度、経度、高度等）を取得すること、ＷＬＡＮ（無線ＬＡＮ）を用いて位置情報を取得すること、が考えられる。
【００８１】
情報設定部１０７は、カメラ部１０１により撮影された画像の付加情報として、物理オブジェクトを識別するための物理オブジェクト識別情報を設定する。例えば、画像のメタデータとしてオブジェクト識別情報を付加する。例えば、画像がＪＰＥＧ方式の画像である場合、メタデータとしてのＥｘｉｆ（Exchangeble Image File Format）情報にオブジェクト識別情報を付加する。なお、情報設定部１０７は、物理オブジェクト毎に、オブジェクト識別情報を付加する。
【００８２】
ここで、物理オブジェクト識別情報には、特徴抽出部１０３により抽出された特徴に係る特徴情報又は領域指定部１０４により指定された物理オブジェクトの特徴情報、測距部１０５により測定された距離に係る距離情報、測位部１０６により測定された位置に係る位置情報、が含まれる。
【００８３】
さらに、特徴情報には、特徴抽出方式情報、オブジェクト特徴情報、特徴抽出精度情報が含まれる。特徴抽出方式情報は、特徴抽出部１０３による特徴抽出の方式（顔認証、画像認証等）を示す情報である。オブジェクト特徴情報は、画像の特徴点の情報、物理オブジェクトに含まれるマーカー、ＲＦＩＤ（Radio Frequency Identification）、ＱＲコード（Quick Response code）、カーナンバー、表札、名札等の情報、等の物理オブジェクトの特徴を示す情報である。また、オブジェクト特徴情報により、テキスト（文字）情報、画像情報、音声情報等の物理オブジェクトの種別（属性）を識別することができる。また、オブジェクト特徴情報により、車、人、地物、場所などの物理オブジェクトの種別（属性）を識別することができる。特徴抽出精度情報は、電波強度、明るさ等の、特徴抽出に影響を与え得る状態を示す情報である。なお、特徴抽出精度情報は、精度を示す具体的な数値の情報であってもよい。
【００８４】
また、距離情報には、測距方式情報、オブジェクト距離情報、測距精度情報が含まれる。測距方式情報は、測距部１０５による測距の方式（光学式測距方式、レーダー式測距方式等）を示す情報である。オブジェクト距離情報は、情報提供装置１００から領域指定部１０４により指定された物理オブジェクトまでの距離を示す情報である。測距精度情報は、電波強度、明るさ等の、測距に影響を与え得る状態を示す情報である。なお、測距精度情報は、精度を示す具体的な数値の情報であってもよい。
【００８５】
また、位置情報には、測位方式情報、情報提供装置位置情報、測位精度情報が含まれる。測位方式情報は、測位部１０６による測位の方式（ＧＰＳ方式、ＷＬＡＮ方式等）を示す情報である。オブジェクト位置情報は、情報提供装置１００の位置（緯度、経度等）を示す情報である。測位精度情報は、電波強度、明るさ等の、測距に影響を与え得る状態を示す情報である。なお、測位精度情報は、精度を示す具体的な数値の情報であってもよい。なお、オブジェクト位置情報は、情報提供装置１００のカメラ部１０１が向いている方角を示すオブジェクト方角情報を含んでもよい。オブジェクト方角情報に係る方角は、例えば測位部１０６に含まれる地磁気センサにより測定される。
【００８６】
物理オブジェクト識別情報の更に詳細な説明については、後述する。
【００８７】
操作部１０８は、ユーザによる入力操作を受け付けるものであり、例えばテンキー、十字キー、タッチパネル等である。例えば、操作部１０８は、複数の物理オブジェクトのうち、アノテーションを付加すべき物理オブジェクトを選択する。
【００８８】
コンテンツ生成部１０９は、アノテーションを付加すべき物理オブジェクトに対して、アノテーションとしてのコンテンツ情報を生成する。コンテンツ情報としては、テキスト情報、静止画像や動画像などの画像情報、各種音、音声、音楽などの音声情報、等がある。コンテンツ情報は、操作部１０８等を介して生成してもよいし、コンテンツサーバからダウンロードしてもよいし、情報提供装置１００が備える図示しないメモリにあらかじめ記憶させておいてもよい。
【００８９】
送信部１１０は、物理オブジェクト識別情報及びコンテンツ情報を情報管理サーバ２００へ送信する。物理オブジェクト識別情報は、先に説明したように、画像のメタデータとして送信されてもよい。また、送信部１１０は、情報提供装置１００を識別するための情報提供装置識別情報を、情報管理サーバ２００へ送信してもよい。情報提供装置識別情報には、情報提供装置識別ＩＤや情報提供装置１００の名称を示す情報が含まれる。なお、通信により情報管理サーバ２００へ送出する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報管理サーバ２００へ送出するようにしてもよい。
【００９０】
次に、情報管理サーバ２００の構成について説明する。
図４は本発明の実施形態における情報管理サーバ２００の構成例を示すブロック図である。
【００９１】
情報管理サーバ２００は、受信部２０１、識別レベル算出部２０２、測位レベル算出部２０３、対応度算出部２０４、物理オブジェクト情報取得部２０５、テキスト変換部２０６、語数算出部２０７、関連度算出部２０８、署名生成部２０９、送信部２１０、物理オブジェクトデータベース（物理オブジェクトＤＢ）２１１、記憶部２１２、を備える。
【００９２】
受信部２０１は、情報提供装置１００の送信部１１０からの物理オブジェクト識別情報、コンテンツ情報等を受信する。なお、通信により情報提供装置１００からこれらの情報を取得する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報提供装置１００から取得してもよい。
【００９３】
識別レベル算出部２０２は、識別レベル算出機能を有し、対応度算出部２０４により対応度を算出する際に用いられる識別レベルを算出する。また、識別レベル算出機能は、物理オブジェクト識別情報の特徴抽出方式情報及び特徴抽出精度情報と測距方式情報及び測距精度情報とを入力とし、これらの情報に対応する識別レベルを出力する関数を有している。この関数は、例えば下記の（式１）により表される。
【００９４】
識別レベル＝特徴抽出方式レベル×抽出精度係数＋測距方式レベル×測距精度係数・・・（式１）
【００９５】
ここで、特徴抽出方式レベルは、特徴抽出方式情報に係る特徴抽出方式（顔認証、画像認証等）が、その特徴抽出方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、特徴抽出方式が画像認識の場合にはレベル４、バーコード認識の場合にはレベル５、などが割り当てられる。抽出精度係数は、抽出精度情報に係る抽出精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【００９６】
また、測距方式レベルは、測距方式情報に係る測距方式（光学式、レーダー式、オートフォーカス（ＡＦ：Autofocus）等）が、その測距方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、測距方式がＡＦの場合にはレベル３、ミリ波レーダーの場合にはレベル５、などが割り当てられる。測距精度係数は、測距精度自応報に係る測距精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【００９７】
したがって、識別レベル算出部２０２は、識別レベルを、例えば、レベル４×７０％＋レベル３×８０％＝５．２、のように算出する。ここでの識別レベルの最大値は、１０である。
【００９８】
測位レベル算出部２０３は、測位レベル算出機能を有し、対応度算出部２０４により対応度を算出する際に用いられる測位レベルを算出する。また、測位レベル算出機能は、物理オブジェクト識別情報の測位方式情報及び測位精度情報を入力とし、これらの情報に対応する測位レベルを出力する関数を有している。この関数は、例えば下記の（式２）により表される。
【００９９】
測位レベル＝測位方式レベル×測位精度係数・・・（式２）
【０１００】
ここで、測位方式レベルは、測位方式情報に係る測位方式（ＧＰＳ、ＷＬＡＮ、地磁気センサ等）が、その測位方式の性能毎に分類されて、例えば５段階のレベルが割り当てられたものである。例えば、測位方式がＧＰＳの場合にはレベル４、などが割り当てられる。測位精度係数は、測位精度情報に係る測位精度（電波状況、明るさの状況等）が、その状況（電波強い状態、電波弱い状態、昼間、夜間、晴れ、曇り、雨等）に応じて分類されて、例えば０％〜１００％の数値が割り当てられたものである。
【０１０１】
したがって、測位レベル算出部２０３は、測位レベルを、例えば、レベル５×６０％＝３．０、のように算出する。ここでの測位レベルの最大値は、５である。
【０１０２】
対応度算出部２０４は、識別レベル算出部２０２により算出された識別レベル及び測位レベル算出部２０３により算出された測位レベルに基づいて、対応度を算出する。対応度の算出式は、例えば下記の（式３）により表される。
【０１０３】
対応度＝識別レベル×識別重み係数＋測位レベル×測位重み係数・・・（式３）
【０１０４】
ここで、識別重み係数及び測位重み係数の各重み係数は、物理オブジェクトの種別に応じて設定されるものであり、例えば０％〜１００％の数値が割り当てられたものである。例えば。例えば、移動体などの位置との関係性が小さい物理オブジェクトである場合には、識別重み係数として大きな値に設定され、測位重み係数として小さな値に設定される。一方、場所などの位置との関係性が大きい物理オブジェクトである場合には、識別重み係数として小さな値が設定され、測位重み係数として大きな値が設定される。
【０１０５】
したがって、対応度算出部２０４は、対応度として、５．２×８０％＋３．０×３０％＝５．０６、のように算出する。ここでの対応度の最大値は、１５である。
【０１０６】
物理オブジェクトＤＢ２１１は、物理オブジェクト識別情報に含まれる位置情報及び特徴情報を入力とし、これらの情報に対応する物理オブジェクト情報を出力するデータベースである。ここで、物理オブジェクト情報には、物理オブジェクトＩＤ、名称情報、一般識別情報、属性情報、キーワード情報、が含まれる。
【０１０７】
物理オブジェクトＩＤは、物理オブジェクトを識別するためのＩＤであり、物理オブジェクトＤＢ２１１のキーとなる情報である。
【０１０８】
名称情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの名前、名称等の固有名詞であり、テキスト情報であっても、テキスト情報以外の画像情報や音声情報であってもよい。
【０１０９】
一般識別情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの住所、ＩＰアドレス、ＵＲＬ、電話番号等の情報である。
【０１１０】
属性情報は、物理オブジェクトＩＤにより識別される物理オブジェクトの属性（種別）を示す情報であり、例えば、人などの移動体、固定物や建物などの地物、場所等のいずれかを示す情報である。
【０１１１】
キーワード情報は、物理オブジェクトＩＤにより識別される物理オブジェクトに関連する関連語（キーワード）の情報を含む。また、キーワード情報は、物理オブジェクトＩＤにより識別される物理オブジェクトとの関連性の低い非関連語の情報を含んでもよい。なお、キーワード情報は、物理オブジェクトのコンテキストに依存して変化するため、定期的に更新されることが好ましい。
【０１１２】
物理オブジェクト情報取得部２０５は、物理オブジェクトＩＤを検索し、受信部２０１により受信された物理オブジェクト識別情報から、これらの情報に対応する物理オブジェクト情報を取得する。
【０１１３】
テキスト変換部２０６は、受信部２０１により受信されたコンテンツ情報がテキスト情報以外（音声情報、画像情報等）である場合には、その情報をテキスト情報に変換する。この場合、画像情報は、例えば画像情報からその画像情報に対応するテキスト情報を得るＷｅｂ画像検索技術により、テキスト情報に変換される。また、音声情報は、所定の音声認識処理により、テキスト情報に変換される。
【０１１４】
例えば、コンテンツ情報として五重塔の画像情報を取得した場合には、Ｗｅｂ画像検索技術により、テキスト情報としての「五重塔」を得る。また、コンテンツ情報として五重塔の音声情報を取得した場合には、音声認識処理により、テキスト情報としての「五重塔」を得る。
【０１１５】
語数算出部２０７は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる物理オブジェクトの名称等の固有名詞、関連語、及び非関連語の各情報が、必要に応じてコンテンツ情報から変換されたテキスト情報に含まれる語数を算出する。なお、物理オブジェクトＤＢ２１１が保持するキーワード情報に非関連語の情報が含まれない場合には、語数算出部２０７は、関連語に基づいて非関連語を推測してもよい。
【０１１６】
例えば、物理オブジェクトの固有名詞が「五重塔」である場合には、テキスト情報としての「五重塔」が、テキスト情報にいくつ含まれているかカウントされる。また、例えば、テキスト情報としての「木造」、「日本最古」、「１０００年」などの五重塔と関連性の高い語句が、テキスト情報に関連語としていくつ含まれているかカウントされる。また、例えば、テキスト情報としての「コンクリート」などの五重塔とは関連性が低い語句が、テキスト情報に非関連語としていくつ含まれているかカウントされる。
【０１１７】
関連度算出部２０８は、語数算出部２０７に算出された物理オブジェクトの固有名詞数、関連語数、及び非関連語数に基づいて、関連度を算出する。関連度は、例えば下記の（式４）により表わされる。
【０１１８】
関連度＝（固有名詞数×固有名詞重み係数＋関連語数×関連重み係数−非関連語×非関連重み係数）／総ワード数・・・（式４）
【０１１９】
ここで、固有名詞重み係数は、固有名詞の重要度に応じて設定される重み係数である。関連重み係数は、関連語の重要度に応じて設定される重み係数である。非関連重み係数は、非関連語の重要度に応じて設定される重み係数である。各重み係数は、０％〜１００％の間で設定される。総ワード数は、テキスト情報に含まれる語句の総数である。なお、各重み係数は、物理オブジェクトの属性に基づいて設定される。
【０１２０】
例えば、一意に特定可能な固有名詞を持つ物理オブジェクトであれば、固有名詞重み係数を大きい値に設定する。また、一意に特定可能な固有名詞を持たない物理オブジェクトであれば、関連重み係数を大きい値に設定する。また、物理オブジェクトの類似情報が多いことが想定される場合には、非関連重み係数を小さい値に設定する。
【０１２１】
したがって、関連度算出部２０８は、関連度を、例えば、（２４個×８０％＋４６個×４０％−１３個×８０％）／２５４個≒１１％、のように算出する。ここでの識別レベルの最大値は、１０である。ここでの関連度は、０％〜１００％の値である。
【０１２２】
また、関連度算出部２０８は、受信部２０１により複数の物理オブジェクト識別情報を受信した場合には、各物理オブジェクトについて関連度を算出し、さらに全体の物理オブジェクトについても関連度を算出する。
【０１２３】
また、上記のように、関連度の算出の際に非関連語を考慮することで、物理オブジェクトの固有名詞と関連語とだけでは誤検出し易い類似情報をフィルタリングすることが可能である。
【０１２４】
署名生成部２０９は、物理オブジェクトに対するコンテンツ情報の正当性を保証するため、署名情報を生成する。このとき、少なくとも情報管理サーバ２００を識別するための情報管理サーバ識別情報に基づいて署名情報を生成する。また、他の情報として、例えば、物理オブジェクト識別情報、物理オブジェクト情報、コンテンツ情報、対応度情報、関連度情報等にも基づいて、署名情報を生成してもよい。この署名情報は、情報管理サーバ２００のアノテーション発行許可承認を意味するディジタル署名である。署名生成の方式としては、ＲＳＡなどの一般的なディジタル署名方式などがある。
【０１２５】
記憶部２１２は、各種情報を記憶する。例えば、所定の発行ポリシを記憶する。発行ポリシは、アノテーションの発行許可を行うための判定基準が記載された情報であり、コンテンツ情報、対応度情報、関連度情報等が公衆良識やサービス内容に反しないことを保証するものである。発行ポリシは、必要に応じて更新されてもよい。
【０１２６】
送信部２１０は、物理オブジェクト識別情報、コンテンツ情報、対応度情報、及び関連度情報を、情報表示装置３００へ送信する。また、署名生成部２０９により生成された署名を含む署名情報を、これらの情報とともに送信してもよい。なお、通信により情報表示装置３００へ送出する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報表示装置３００へ送出するようにしてもよい。
【０１２７】
また、送信部２１０は、記憶部２１２により記憶されている所定の発行ポリシを満たしている場合に限り、情報表示装置３００への情報を送信するようにしてもよい。例えば、送信部２１０は、対応度算出部２０４により算出された対応度、関連度算出部２０８により算出された関連度の少なくとも一方が各閾値以上であったり、両方が各閾値以上であったりする場合に、発行ポリシを満たすものと判定し、各情報を送信する。
【０１２８】
情報管理サーバ２００において、対応度情報、関連度情報、物理オブジェクト情報、コンテンツ情報を確認して、ディジタル署名により発行確認する例について説明した。このような構成によれば、情報管理サーバ２００が一元的に確認できるため、構成が簡単になるというメリットがある。
【０１２９】
一方、別の構成として、物理オブジェクトを実際に所有している所有者が所持または運用する物理オブジェクト管理サーバにおいて、所有者のポリシに基づき対応度情報、関連度情報、物理オブジェクト情報、コンテンツ情報を確認して、ディジタル署名により承認確認し、更に情報管理サーバにおいてディジタル署名により発行確認する構成としてもよい。このような構成により、物理オブジェクトの所有者の意図が的確に反映できるというメリットがある。
【０１３０】
また、所有者のポリシ情報を情報管理サーバに備えておき、発行ポリシと所有者ポリシの両方に基づき発行確認する構成としてもよい。このような構成により、所有者の意図を反映しつつ、構成を簡単にできるというメリットがある。
【０１３１】
次に、情報表示装置３００の構成について説明する。
図５は本発明の実施形態における情報表示装置３００の構成例を示すブロック図である。
【０１３２】
情報表示装置３００は、カメラ部３０１、画像取得部３０２、特徴抽出部３０３、測距部３０５、測位部３０６、通信部３０７、検証解析部３０８、識別情報判定部３０９、利用ポリシ判定部３１０、合成部３１１、表示部３１２、記憶部３１３、を備える。
【０１３３】
カメラ部３０１は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。
【０１３４】
画像取得部３０２は、カメラ部３０１からの画像（ビデオスルー画像）を取得する。
【０１３５】
特徴抽出部３０３は、画像取得部３０２により取得された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。
【０１３６】
また、特徴抽出部３０３は、抽出された特徴から、物理オブジェクトを認識する認識処理を行ってもよい。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。
【０１３７】
測距部３０５は、カメラ部３０１から特徴抽出部により抽出された特徴又はオブジェクト認識された物理オブジェクトまでの距離を測定する。距離の測定方法としては、例えば光学式、レーダー式の測距センサによる距離の測定が考えられる。
【０１３８】
測位部３０６は、情報表示装置３００の位置を測定する。位置の測定方法としては、例えばＧＰＳ衛星を用いてＧＰＳ情報（緯度、経度、高度等）を取得すること、ＷＬＡＮを用いて位置情報を取得すること、が考えられる。また、測位部３０６は、所定の物理オブジェクトの位置を測定してもよい。このとき、測位部３０６は、情報表示装置３００の位置をまず測定し、測距部３０５により物理オブジェクトまでの距離を測定し、図示しないセンサ（地磁気センサ）により情報表示装置３００から見た物理オブジェクトの向きを測定する。そして、これらの測定結果に基づいて、測位部３０６又は通信部３０７は、物理オブジェトの位置を測定する。なお、この物理オブジェクトの位置の測定の計算は、情報管理サーバ２００側で行われてもよい。
【０１３９】
通信部３０７は、情報管理サーバ２００の送信部２１０からの物理オブジェクト識別情報、コンテンツ情報（物理オブジェクトのアノテーション）、対応度情報、関連度情報、署名情報等を受信する。なお、通信により情報管理サーバ２００からこれらの情報を取得する代わりに、例えば記憶媒体（ＣＤ−Ｒ、ＳＤカード等）を介して情報管理サーバ２００から取得してもよい。関連度情報の受信は省略可能である。
【０１４０】
検証解析部３０８は、通信部３０７により受信された署名情報を検証、解析する。例えば、検証解析の方式としては、ＲＳＡなどの一般的なディジタル署名方式の検証アルゴリズムなどがある。そして、検証解析部３０８は、通信部３０７により受信された情報の生成元が情報管理サーバ２００であり、かつ、受信された情報の内容の完全性が確認された場合には、通信部３０７により受信された情報は正当であると判定する。
【０１４１】
識別情報判定部３０９は、通信部３０７により受信された物理オブジェクト識別情報と、情報表示装置３００により測定された物理オブジェクト識別情報と、を比較し、両者が略一致しているか否かを判定する。略一致とは、一致する場合を含み、情報提供装置１００のユーザと情報表示装置３００のユーザとの立ち位置、向き、身長の相違等を考慮し、ほぼ一致する場合には両方の物理オブジェクト識別情報を同一視する意図である。誤差をどの程度許容するかについては、予め利用ポリシに記載しておくことも可能である。
【０１４２】
情報表示装置３００により測定された物理オブジェクト識別情報には、測位部３０６により測定された情報表示装置３００又は物理オブジェクトの位置に係る位置情報、特徴抽出部３０３により抽出された特徴に係る特徴情報、測距部３０５により測定された距離情報、が含まれる。これらの位置情報、特徴情報、及び距離情報は、情報提供装置１００が測定等により得た位置情報、特徴情報、及び距離情報と同種のものである。
【０１４３】
記憶部３１３は、各種情報を記憶する。例えば、所定の利用ポリシを記憶する。利用ポリシは、アノテーションの利用判定基準が記載された情報であり、コンテンツ情報に係るコンテンツ、対応度情報に係る対応度、関連度情報に係る関連度等が、ユーザの嗜好や所属団体等の基準に反していないことを保証するものである。利用ポリシは、必要に応じて更新されてもよい。記憶部３１３は、例えば、利用ポリシとして、対応度及び関連度が所定値以上であるという情報を記憶する。
【０１４４】
また、記憶部３１３は、アノテーションの重要度を示す重要度情報を記憶する。例えば、対応度、関連度が大きいものが重要であるという重要度情報が記憶されている場合には、この情報に基づいてアノテーションの提示順序を決定することができる。
【０１４５】
利用ポリシ判定部３１０は、通信部３０７により受信された対応度情報及び関連度情報が、記憶部３１３に記憶されている所定の利用ポリシを満たしているか否かを判定する。例えば、対応度及び関連度の少なくとも一方が各閾値以上であったり、両方が各閾値以上であったりする場合に、利用ポリシを満たすものと判定する。なお、関連度情報の比較を省略し、対応度情報が所定の利用ポリシを満たしているか否かを判定してもよい。
【０１４６】
合成部３１１は、カメラ部３０１により撮影された画像に含まれる物理オブジェクトであって、通信部３０７により受信された物理オブジェクト識別情報により識別される物理オブジェクトと、通信部３０７により受信されたアノテーションとしてのコンテンツ情報とを、対応付けて合成する。
【０１４７】
表示部３１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）であり、合成部３１１により対応付けて合成された物理オブジェクトとアノテーションとを表示する。表示部３１２による表示では、例えば物理オブジェクトにアノテーションがオーバーレイ表示（重畳表示）される。また、表示部３１２は、他にプロジェクタを用いて物理オブジェクトにアノテーションを投影して表示するようにしてもよい。
【０１４８】
なお、アノテーションが画像情報やテキスト情報である場合には、表示部３１２により物理オブジェクトとアノテーションとを対応付けて表示するがアノテーションが音声情報である場合には、表示部３１２の代わりに、物理オブジェクトに対応付けられたアノテーションを、図示しないスピーカ等を介して音声情報に基づく音声により提示してもよい。
【０１４９】
次に、物理オブジェクト識別情報の具体例について説明する。
図６は、物理オブジェクト識別情報の一例を示す図である。
【０１５０】
本実施形態では、情報提供装置１００は、カメラ部１０１により撮影された画像の情報を利用して、物理オブジェクトに対応するアノテーションの信頼性を確認することができるようにする。画像から、特徴抽出部１０３、測距部１０５、及び測位部１０６により、地物、移動体、場所を識別可能である。したがって、画像に認証を強化するための情報を付加した形でアノテーションに付加することで、物理オブジェクトとアノテーションとの関係性を明確化することができる。基本的な概念としては、情報設定部１０７により、特徴抽出時のビデオスルー画像を物理オブジェクト単位で分割し、単位毎に特徴情報を管理する。
【０１５１】
情報提供装置１００から情報管理サーバ２００へアノテーションを提供するときの物理オブジェクト識別情報の実装方法としては、情報設定部１０７により、Ｅｘｉｆ情報を拡張する方法、独自のヘッダ情報を付加する方法、画像自体に電子透かし等の情報隠蔽技術（Information hiding）を使って埋め込む方法、などが考えられる。
【０１５２】
ここで、Ｅｘｉｆ情報を拡張する方法について説明する。物理オブジェクト単位毎に管理する特徴情報として、画像から取得可能な情報である、マーカー、ＱＲコード、物理オブジェクトの輪郭となるエッジ部分の特徴点情報に加えて、物理オブジェクトを識別するための基準点となる識別位置、識別位置から物理オブジェクトまでの距離を想定する。識別位置については、ＧＰＳ Ｉｎｆｏタグの緯度、経度、向きの情報をそのまま利用することができる。また、Ｅｘｉｆ情報は、距離情報として、被写体距離の情報（Subject Distance）を有している。情報設定部１０７は、この情報を物理オブジェクト毎に拡張情報として設定する。
【０１５３】
アノテーションの正当性の検証は、情報表示装置３００が行う。この検証時には、携帯電話等の多くのモバイル機器が有するカメラの基本機能であるオートフォーカス（ＡＦ）の測距機能を利用する。このとき、識別情報判定部３０９が、物理オブジェクトの付加情報として設定された距離情報に係る距離と、情報表示装置３００により実際に測距された距離と、を比較する。識別情報判定部３０９は、画像や特徴点の比較に加えて、基準点からの複数距離を比較することで、実際の物理オブジェクトとその物理オブジェクトの映像などを区別することが可能となる。
【０１５４】
また、情報提供装置１００は、同一の物理オブジェクト群であっても、異なる基準点から測位してコンテンツを設定することで、同一の物理オブジェクト群の異なる観察面に関して、異なるコンテンツを設定することができる。
【０１５５】
図６に示すように、物理オブジェクト識別情報として、移動体、地物、場所等の属性を示す属性情報、特徴抽出方式を示す特徴抽出方式情報、物理オブジェクトの特徴を示すオブジェクト特徴情報、特徴抽出の精度を示す特徴抽出精度情報、測距方式を示す測距方式情報、測距精度を示す測距精度情報、基準点（例えばカメラ部１０１が存在する点）から物理オブジェクトまでの距離を示すオブジェクト距離情報、カメラ部１０１による撮影方向と物理オブジェクトとの成す角度を示す物理オブジェクト角度情報、の各情報を含むことができる。物理オブジェクト角度情報に係る角度のマイナス符号（−）は、カメラ部１０１による撮影方向を基準として、プラス符号の角度とは反対側の角度であることを示している。これらの情報は、物理オブジェクト毎に設定される。
【０１５６】
また、図６に示すように、物理オブジェクト識別情報の基本情報として、測位方式を示す測位方式情報、物理オブジェクトの位置を示すオブジェクト位置情報、測位精度を示す測位精度情報、の各情報を含むことができる。これらの情報は、物理オブジェクト毎に設定されるものではなく、1又は複数の物理オブジェクトを含む撮影画像毎に設定される。
【０１５７】
次に、情報提供装置１００の動作について説明する。
図７は、情報提供装置１００の動作例を示すフローチャートである。
【０１５８】
まず、画像取得部１０２は、カメラ部１０１により撮影された画像を取得し（ステップＳ１０１）、特徴抽出部１０３は、取得した画像の特徴を抽出する（ステップＳ１０２）。
【０１５９】
ここでは、画像の特徴が場所を示す場合には、番地表示やストリート名等を文字認識する。また、画像の特徴が人を示す場合には、人が身に付けている名札等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が車を示す場合には、車のナンバープレート等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が地物を示す場合には、ビル名、銅像名等を文字認識、又は、その特徴点を抽出する。
【０１６０】
続いて、領域指定部１０４は、特徴抽出部１０３により特徴点抽出又はオブジェクト認識された物理オブジェクトから、アノテーションを付加すべき物理オブジェクトの領域を指定する。このとき、例えば、操作部１０８としてのタッチパネルを介して、画面上で物理オブジェクトにタッチすることで、物理オブジェクトの領域を指定する（ステップＳ１０３）。
【０１６１】
続いて、測距部１０５は、情報提供装置１００から領域指定部１０４により指定された物理オブジェクトまでの距離を測定する（ステップＳ１０４）。
【０１６２】
続いて、測位部１０６は、ＧＰＳ等を用いて情報提供装置１００の位置を測定する（ステップＳ１０５）。
【０１６３】
続いて、情報設定部１０７は、オブジェクト識別情報を画像のメタデータに設定する。例えば、Ｅｘｉｆ情報に、物理オブジェクト毎に、特徴情報及び距離情報を設定（付加）し、更に共通情報として位置情報を設定する（ステップＳ１０６）。
【０１６４】
続いて、コンテンツ生成部１０９は、操作部１０８等を介して、領域指定部１０４により指定された物理オブジェクトに対応するアノテーションとしてのコンテンツ情報を生成する（ステップＳ１０７）。
【０１６５】
続いて、送信部１１０は、情報設定部１０７により設定されたオブジェクト識別情報を含む画像の情報と、コンテンツ生成部１０９により生成されたコンテンツ情報と、を情報管理サーバ２００へ送信する（ステップＳ１０８）。
【０１６６】
このような情報提供装置１００によれば、物理オブジェクト識別情報に基づいて対応度及び関連度を生成させることができ、生成されたアノテーションが信頼性の高いアノテーションであると判断させることができる。
【０１６７】
次に、情報管理サーバ２００の動作について説明する。
図８及び図９は、情報管理サーバ２００の動作例を示すフローチャートである。
【０１６８】
まず、受信部２０１は、情報提供装置１００からのオブジェクト識別情報を含む画像の情報と、コンテンツ情報と、を受信する（ステップＳ２０１）。
【０１６９】
続いて、物理オブジェクト情報取得部２０５は、物理オブジェクトＤＢ２１１を参照し、受信部２０１により受信された物理オブジェクト特徴情報に対応する物理オブジェクト情報を取得する（ステップＳ２０２）。
【０１７０】
続いて、識別レベル算出部２０２は、オブジェクト識別情報に含まれる特徴情報に含まれる特徴抽出方式情報から特徴抽出方式レベルを割り当て、距離情報に含まれる測距方式情報から測距方式レベルを割り当てる。また、識別レベル算出部２０２は、特徴情報に含まれる特徴抽出精度情報から抽出精度係数を割り当て、距離情報に含まれる測距精度情報から測距精度係数を割り当てる（ステップＳ２０３）。例えば、情報管理サーバ２００は、特許抽出方式情報等と特徴抽出方式レベル等とを対応付ける変換テーブル等を有することで、上記割当が可能となる。
【０１７１】
続いて、識別レベル算出部２０２は、特徴抽出方式レベル、測距方式レベル、抽出精度係数、測距精度係数に基づいて、識別レベルを算出する（ステップＳ２０４）。例えば、先に説明した（式１）に示した演算式により、識別レベルを算出する。
【０１７２】
続いて、測位レベル算出部２０３は、オブジェクト識別情報に含まれる位置情報に含まれる測位方式情報から測位方式レベルを割り当て、位置情報に含まれる測位精度情報から測位精度係数を割り当てる（ステップＳ２０５）。例えば、情報管理サーバ２００は、測位方式情報等と測位方式レベル等とを対応付ける変換テーブル等を有することで、上記割当が可能となる。
【０１７３】
続いて、測位レベル算出部２０３は、測位方式レベル及び測位精度係数に基づいて、測位レベルを算出する。例えば、先に説明した（式２）に示した演算式により、測位レベルを算出する（ステップＳ２０６）。
【０１７４】
続いて、対応度算出部２０４は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる属性情報（車、人、場所等）に応じて、識別重み係数と測位重み係数とを割り当てる（ステップＳ２０７）。
【０１７５】
続いて、対応度算出部２０４は、識別レベル、測位レベル、識別重み係数、測位重み係数に基づいて、対応度を算出する（ステップＳ２０８）。例えば、先に説明した（式３）に示した演算式により、対応度を算出する。
【０１７６】
続いて、テキスト変換部２０６は、受信部２０１により受信されたコンテンツ情報が、テキスト情報以外の画像情報、音声情報等である場合には、その情報をテキスト情報に変換する（ステップＳ２０９）。
【０１７７】
続いて、語数算出部２０７は、コンテンツ情報としてのテキスト情報又はテキスト変換部２０６により変換されたテキスト情報に、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる固有名詞、関連語、非関連語が含まれている個数を算出する（ステップＳ２１０）。また、語数算出部２０７は、テキスト情報に含まれる総ワード数も算出する。
【０１７８】
続いて、関連度算出部２０８は、物理オブジェクト情報取得部２０５により取得された物理オブジェクト情報に含まれる属性情報に基づいて、固有名詞重み係数、関連重み係数、非関連重み係数を割り当てる（ステップＳ２１１）。例えば、情報管理サーバ２００は、属性情報と各重み係数とを対応付ける変換テーブルを有することで、上記割当が可能となる。
【０１７９】
続いて、関連度算出部２０８は、固有名詞数、関連語数、非関連語数、総ワード数、固有名詞重み係数、関連重み係数、非関連重み係数に基づいて、関連度を算出する（ステップＳ２１２）。例えば、先に説明した（式４）に示した演算式により、関連度を算出する。
【０１８０】
また、署名生成部２０９は、署名情報を生成する。そして、送信部２１０は、例えば情報表示装置３００からアノテーションの要求を受けた場合には、オブジェクト識別情報、アノテーション、対応度情報、関連度情報、署名情報等を送信する。
【０１８１】
このような情報管理サーバ２００の動作によれば、物理オブジェクトとアノテーションとの対応度及び関連度（少なくとも対応度）を算出することで、アノテーションの信頼度を例えば数値化して提供することができる。
【０１８２】
次に、情報表示装置３００の動作について説明する。
図１０は、情報表示装置３００の動作例を示すフローチャートである。
【０１８３】
まず、測位部３０６は、ＧＰＳ、地磁気センサ等を用いて、情報表示装置３００の位置、方位等を測定する（ステップＳ３０１）。
【０１８４】
続いて、通信部３０７は、情報表示装置３００の位置、方位等を用いて、１又は複数の物理オブジェクト識別情報、物理オブジェクト識別情報に対応するアノテーション、対応度情報、関連度情報、等を情報管理サーバ２００から取得する（ステップＳ３０２）。このとき、情報表示装置３００の位置等の情報を情報管理サーバ２００へ送信し、その位置等に対応する物理オブジェクト識別情報、アノテーション等を情報管理サーバ２００から取得してもよい。また、特徴抽出部３０３、測距部３０５、測位部３０６等の識別情報検出部により検出された情報（オブジェクト識別情報）を情報管理サーバ２００へ送信し、その物理オブジェクト識別情報に対応するアノテーション等を情報管理サーバ２００から取得してもよい。
【０１８５】
続いて、検証解析部３０８は、通信部３０７により受信された署名情報を検証する。検証の結果、情報管理サーバ２００からの情報が正当であると判定された場合、つまり署名情報により送信元や送信内容の同一性が保証された場合には、通信部３０７により受信されたオブジェクト識別情報の解析を行う（ステップＳ３０３）。なお、署名は省略されていることもある。
【０１８６】
続いて、画像取得部３０２は、カメラ部３０１により撮影された画像を取得し（ステップＳ３０４）、特徴抽出部３０３は、取得した画像の特徴を抽出する（ステップＳ３０５）。
【０１８７】
ここでは、画像の特徴が場所を示す場合には、番地表示やストリート名等を文字認識する。また、画像の特徴が人を示す場合には、人が身に付けている名札等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が車を示す場合には、車のナンバープレート等を文字認識する、又は、その特徴点を抽出する。また、画像の特徴が地物を示す場合には、ビル名、銅像名等を文字認識、又は、その特徴点を抽出する。
【０１８８】
続いて、測距部３０５は、情報表示装置３００から特徴抽出部３０３により抽出された特徴点又はオブジェクト認識された物理オブジェクトまでの距離を測定する（ステップＳ３０６）。
【０１８９】
続いて、識別情報判定部３０９は、特徴抽出部３０３、測距部３０５、測位部３０６により測定された物理オブジェクト識別情報と通信部３０７により受信された物理オブジェクト識別情報とが略一致するか否かを判定する（ステップＳ３０７）。例えば、測定された特徴情報及び受信された特徴情報（特にオブジェクト特徴情報）、測定された距離情報及び受信された距離情報、測定された位置情報及び受信された位置情報、が各々ほぼ同一である場合には、略一致すると判定される。
【０１９０】
両物理オブジェクト識別情報が略一致すると判定された場合には、利用ポリシ判定部３１０は、記憶部３１３により記憶された利用ポリシを参照し、通信部３０７により受信された対応度情報及び関連度情報が利用ポリシを満たしているか否かを判定する（ステップＳ３０８）。例えば、対応度情報に係る対応度と関連度情報に係る関連度とを合算した結果、所定値以上である場合に、利用ポリシを満たすと判定することができる。利用ポリシを満たす場合には、物理オブジェクトに対応するアノテーションが信頼性が高いものであると判断できる。
【０１９１】
上記の利用ポリシを満たす場合には、表示部３１２は、利用ポリシを満たすアノテーションを、物理オブジェクトに対応付けて合成表示する（ステップＳ３０９）。このとき、アノテーションが複数存在する場合には、記憶部３１３に記憶された重要度順に提示してもよい。例えば、対応度及び関連度が大きい順に表示することができる。また、表示部３１２は、対応度及び関連度の少なくとも１つをアノテーションと同時に表示してもよい。また、表示部３１２は、利用ポリシを満たす場合には、アノテーションと同時に、利用ポリシを満たす旨を表示してもよい。利用ポリシを満たす旨は、例えば、文字、アイコン、色等により表示される。なお、表示以外の方法で提示してもよい。
【０１９２】
このような情報表示装置３００の動作によれば、物理オブジェクトに対応するアノテーションのうち、信頼性の高いアノテーションを簡単に識別できるように、ユーザに提示することができる。したがって、ユーザは提示されたアノテーションを安心して利用することができる。
【０１９３】
このような本実施形態の仮想現実感システムによれば、物理オブジェクトとアノテーションとの関連性を保証することが可能である。例えば、情報提供装置１００が所望の物理オブジェクトに対してアノテーションを付与したつもりであっても、情報管理サーバ２００での管理中に他の物理オブジェクトに対するアノテーションとして差し替えられてしまったとする。このような場合であっても、情報管理サーバ２００が算出する対応度及び関連度に応じて、アノテーションの予期しない差し替えを発見することができる。このように、評価情報としてのアノテーションの不正使用や成りすまし等を検出することができる。
【０１９４】
また、否定的な（Ｎｅｇａｔｉｖｅ）アノテーションが多数貼り付けられ、そのアノテーションが事実であると誤認されることにより、アノテーションに対応する店舗や個人等が風評被害を受けることを防止可能である。
【０１９５】
また、対応度を確認することで、物理オブジェクトとアノテーションとがどの程度物理的に関係しているかを判断することができる。また、物理オブジェクトが移動体、場所、地物のいずれであったとしても、物理オブジェクトとアノテーションとの対応度を正確に算出することができる。また、関連度を確認することで、物理オブジェクトとアノテーションとがどの程度意味的に関係しているかを判断することができる。
【０１９６】
また、情報管理サーバ２００は、受信部２０１により物理オブジェクト識別情報、コンテンツ情報等を受信するのではなく、情報管理サーバ２００自体が物理オブジェクト識別情報に含まれる情報を測定したり、コンテンツ情報を生成したりしてもよい。
【０１９７】
また、情報提供装置１００が、情報管理サーバ２００としての機能を有していてもよい。
【０１９８】
また、本実施形態の拡張現実感システム１としては、情報提供装置１００、情報管理サーバ２００、及び情報表示装置３００を備えるサーバ−クライアントタイプのシステムを想定し、情報管理サーバ２００を介して複数のクライアント間でアノテーションを共有することを説明したが、スタンドアローンタイプのシステムであってもよい。
【産業上の利用可能性】
【０１９９】
本発明は、物理オブジェクトとアノテーションとの関連性を保証することが可能な情報処理装置、拡張現実感システム、情報処理プログラム等に有用である。
【符号の説明】
【０２００】
１ 拡張現実感システム
１００ 情報提供装置
１０１ カメラ部
１０２ 画像取得部
１０３ 特徴抽出部
１０４ 領域指定部
１０５ 測距部
１０６ 測位部
１０７ 情報設定部
１０８ 操作部
１０９ コンテンツ生成部
１１０ 送信部
２００ 情報管理サーバ
２０１ 受信部
２０２ 識別レベル算出部
２０３ 測位レベル算出部
２０４ 対応度算出部
２０５ 物理オブジェクト情報取得部
２０６ テキスト変換部
２０７ 語数算出部
２０８ 関連度算出部
２０９ 署名生成部
２１０ 送信部
２１１ 物理オブジェクトＤＢ
２１２ 記憶部
３００ 情報表示装置
３０１ カメラ部
３０２ 画像取得部
３０３ 特徴抽出部
３０５ 測距部
３０６ 測位部
３０７ 通信部
３０８ 検証解析部
３０９ 識別情報判定部
３１０ 利用ポリシ判定部
３１１ 合成部
３１２ 表示部
３１３ 記憶部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する情報取得部と、
前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、
前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、
前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記情報取得部は、前記物理オブジェクトと前記アノテーションとの意味的な関連度を示す関連度情報を取得し、
前記利用ポリシ判定部は、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報と前記関連度情報とが、所定の利用ポリシを満たすか否かを判定する情報提供装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記アノテーション提示部は、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションと同時に、前記利用ポリシを満たしている旨を表示する情報処理装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、を備え、
前記情報取得部は、当該情報処理装置の位置に係る位置情報と前記物理オブジェクトまでの距離に係る距離情報に基づいて、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報を取得し、
前記識別情報判定部は、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致するか否かを判定する情報処理装置。
【請求項５】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部、を備え、
前記情報取得部は、前記物理オブジェクト識別情報として、前記物理オブジェクトの特徴に係る特徴情報を取得し、
前記識別情報判定部は、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する情報処理装置。
【請求項６】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、
前記情報取得部は、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を取得し、
前記識別情報判定部は、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致し、かつ、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する情報処理装置。
【請求項７】
請求項１または２に記載の情報処理装置であって、
前記アノテーション提示部は、前記画像取得部により取得された画像に含まれる物理オブジェクトに対応付けて前記アノテーションを表示する情報処理装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の情報処理装置であって、
前記アノテーション提示部は、前記対応度または前記関連度が大きい順に、前記アノテーションを提示する情報処理装置。
【請求項９】
請求項１ないし８のいずれか１項に記載の情報処理装置であって、
前記所定の利用ポリシは、前記対応度及び前記関連度のそれぞれ又は合計値が所定値以上であることである情報処理装置。
【請求項１０】
請求項１ないし９のいずれか１項に記載の情報処理装置であって、
前記アノテーション提示部は、前記対応度及び前記関連度の少なくとも１つを前記アノテーションと同時に提示する情報処理装置。
【請求項１１】
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、
前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、
を備える情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、
前記送出部は、前記物理オブジェクト識別情報として、前記位置情報と前記距離情報と前記特徴情報とを送出する情報処理装置。
【請求項１３】
物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得する情報取得部と、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、
を備える情報処理装置。
【請求項１４】
請求項１３に記載の情報処理装置であって、更に、
前記物理オブジェクトの識別情報とアノテーションに基づいて、前記物理オブジェクトと前記アノテーションとの意味的な関連度を算出する関連度算出部を備える情報処理装置。
【請求項１５】
請求項１３または１４に記載の情報処理装置であって、更に、
前記対応度算出部により算出された対応度に係る対応度情報と、前記関連度算出部により算出された関連度に係る関連度情報と、を送出する送出部を備える情報処理装置。
【請求項１６】
請求項１３ないし１５のいずれか１項に記載の情報処理装置であって、
前記物理オブジェクト識別情報は、前記情報処理装置の位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を含み、
前記対応度算出部は、前記特徴情報及び前記距離情報に基づいて識別レベルを算出し、前記位置情報に基づいて測位レベルを算出し、前記識別レベル及び前記測位レベルに基づいて前記対応度を算出する情報処理装置。
【請求項１７】
請求項１３ないし１６のいずれか１項に記載の情報処理装置であって、更に、
前記物理オブジェクト識別情報と、前記物理オブジェクト識別情報により識別される物理オブジェクトに係る語句情報を含む物理オブジェクト情報と、を対応付けて記憶する物理オブジェクト情報記憶部と、
前記情報取得部により取得されたアノテーションから当該アノテーションに係るテキスト情報を取得するテキスト情報取得部と、
を備え、
前記関連度算出部は、前記情報取得部により取得されたアノテーションから前記テキスト情報取得部により取得された前記テキスト情報に含まれる語句情報のうち、前記情報取得部により取得され前記物理オブジェクト情報記憶部により記憶された物理オブジェクト識別情報に対応付けられた前記物理オブジェクト情報に含まれる語句情報に基づいて、前記関連度を算出する情報処理装置。
【請求項１８】
請求項１７に記載の情報処理装置であって、
前記語句情報は、前記物理オブジェクトの名称の情報と、前記物理オブジェクトに関連する語句である関連語の情報と、前記物理オブジェクトとは関連性の低い語句である非関連語の情報と、を含む情報処理装置。
【請求項１９】
物理オブジェクトに対応するアノテーションを提供する情報提供装置と、前記アノテーションを管理する情報管理サーバと、前記アノテーションを提示する情報提示装置と、を備える拡張現実感システムであって、
前記情報提供装置は、
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、
前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、
を備え、
前記情報管理サーバは、
前記情報提供装置からの前記物理オブジェクト識別情報と前記アノテーションとを取得する情報取得部と、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、
前記物理オブジェクト識別情報と、前記アノテーションと、前記対応度情報と、を送出する送出部と、
を備え、
前記情報提示装置は、
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記情報管理サーバからの所定の物理オブジェクトを識別するための前記物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記対応度情報と、を取得する情報取得部と、
前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、
前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、
前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、
を備える拡張現実感システム。
【請求項２０】
画像を取得するステップと、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、
所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得するステップと、
前記検出された物理オブジェクト識別情報と、前記取得された物理オブジェクト識別情報と、が略一致するか否かを判定するステップと、
前記略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定するステップと、
前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するステップと、
を有する情報処理方法。
【請求項２１】
画像を取得するステップと、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、
前記物理オブジェクトのアノテーションを生成するステップと、
前記物理オブジェクト毎に、前記生成されたアノテーションと、前記検出された物理オブジェクト識別情報と、を送出するステップと、
を有する情報処理方法。
【請求項２２】
物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得するステップと、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出するステップと、
を有する情報処理方法。
【請求項２３】
請求項２０に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２４】
請求項２１に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２５】
請求項２２に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１】
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得する情報取得部と、
前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、
前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、
前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記情報取得部は、前記物理オブジェクトと前記アノテーションとの意味的な関連度を示す関連度情報を取得し、
前記利用ポリシ判定部は、前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報と前記関連度情報とが、所定の利用ポリシを満たすか否かを判定する情報提供装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記アノテーション提示部は、前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションと同時に、前記利用ポリシを満たしている旨を表示する情報処理装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、を備え、
前記情報取得部は、当該情報処理装置の位置に係る位置情報と前記物理オブジェクトまでの距離に係る距離情報に基づいて、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報を取得し、
前記識別情報判定部は、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致するか否かを判定する情報処理装置。
【請求項５】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部、を備え、
前記情報取得部は、前記物理オブジェクト識別情報として、前記物理オブジェクトの特徴に係る特徴情報を取得し、
前記識別情報判定部は、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する情報処理装置。
【請求項６】
請求項１ないし３のいずれか１項に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、
前記情報取得部は、前記物理オブジェクト識別情報として、所定の物理オブジェクトの位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を取得し、
前記識別情報判定部は、前記情報取得部により取得された位置情報と前記位置情報検出部により検出された位置情報とが略一致し、前記情報取得部により取得された距離情報と前記距離情報検出部により検出された距離情報とが略一致し、かつ、前記情報取得部により取得された特徴情報と前記特徴情報抽出部により抽出された特徴情報とが略一致するか否かを判定する情報処理装置。
【請求項７】
請求項１または２に記載の情報処理装置であって、
前記アノテーション提示部は、前記画像取得部により取得された画像に含まれる物理オブジェクトに対応付けて前記アノテーションを表示する情報処理装置。
【請求項８】
請求項１ないし７のいずれか１項に記載の情報処理装置であって、
前記アノテーション提示部は、前記対応度または前記関連度が大きい順に、前記アノテーションを提示する情報処理装置。
【請求項９】
請求項１ないし８のいずれか１項に記載の情報処理装置であって、
前記所定の利用ポリシは、前記対応度及び前記関連度のそれぞれ又は合計値が所定値以上であることである情報処理装置。
【請求項１０】
請求項１ないし９のいずれか１項に記載の情報処理装置であって、
前記アノテーション提示部は、前記対応度及び前記関連度の少なくとも１つを前記アノテーションと同時に提示する情報処理装置。
【請求項１１】
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、
前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、
を備える情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記識別情報検出部は、当該情報処理装置の位置に係る位置情報を検出する位置情報検出部と、当該情報処理装置から前記画像に含まれる物理オブジェクトまでの距離に係る距離情報を検出する距離情報検出部と、前記画像に含まれる前記物理オブジェクトの特徴に係る特徴情報を抽出する特徴情報抽出部と、を備え、
前記送出部は、前記物理オブジェクト識別情報として、前記位置情報と前記距離情報と前記特徴情報とを送出する情報処理装置。
【請求項１３】
物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得する情報取得部と、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、
を備える情報処理装置。
【請求項１４】
請求項１３に記載の情報処理装置であって、更に、
前記物理オブジェクトの識別情報とアノテーションに基づいて、前記物理オブジェクトと前記アノテーションとの意味的な関連度を算出する関連度算出部を備える情報処理装置。
【請求項１５】
請求項１３または１４に記載の情報処理装置であって、更に、
前記対応度算出部により算出された対応度に係る対応度情報と、前記関連度算出部により算出された関連度に係る関連度情報と、を送出する送出部を備える情報処理装置。
【請求項１６】
請求項１３ないし１５のいずれか１項に記載の情報処理装置であって、
前記物理オブジェクト識別情報は、前記情報処理装置の位置に係る位置情報と、前記物理オブジェクトまでの距離に係る距離情報と、前記物理オブジェクトの特徴に係る特徴情報と、を含み、
前記対応度算出部は、前記特徴情報及び前記距離情報に基づいて識別レベルを算出し、前記位置情報に基づいて測位レベルを算出し、前記識別レベル及び前記測位レベルに基づいて前記対応度を算出する情報処理装置。
【請求項１７】
請求項１３ないし１６のいずれか１項に記載の情報処理装置であって、更に、
前記物理オブジェクト識別情報と、前記物理オブジェクト識別情報により識別される物理オブジェクトに係る語句情報を含む物理オブジェクト情報と、を対応付けて記憶する物理オブジェクト情報記憶部と、
前記情報取得部により取得されたアノテーションから当該アノテーションに係るテキスト情報を取得するテキスト情報取得部と、
を備え、
前記関連度算出部は、前記情報取得部により取得されたアノテーションから前記テキスト情報取得部により取得された前記テキスト情報に含まれる語句情報のうち、前記情報取得部により取得され前記物理オブジェクト情報記憶部により記憶された物理オブジェクト識別情報に対応付けられた前記物理オブジェクト情報に含まれる語句情報に基づいて、前記関連度を算出する情報処理装置。
【請求項１８】
請求項１７に記載の情報処理装置であって、
前記語句情報は、前記物理オブジェクトの名称の情報と、前記物理オブジェクトに関連する語句である関連語の情報と、前記物理オブジェクトとは関連性の低い語句である非関連語の情報と、を含む情報処理装置。
【請求項１９】
物理オブジェクトに対応するアノテーションを提供する情報提供装置と、前記アノテーションを管理する情報管理サーバと、前記アノテーションを提示する情報提示装置と、を備える拡張現実感システムであって、
前記情報提供装置は、
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記物理オブジェクトのアノテーションを生成するアノテーション生成部と、
前記物理オブジェクト毎に、前記アノテーション生成部により生成されたアノテーションと、前記識別情報検出部により検出された物理オブジェクト識別情報と、を送出する送出部と、
を備え、
前記情報管理サーバは、
前記情報提供装置からの前記物理オブジェクト識別情報と前記アノテーションとを取得する情報取得部と、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出する対応度算出部と、
前記物理オブジェクト識別情報と、前記アノテーションと、前記対応度情報と、を送出する送出部と、
を備え、
前記情報提示装置は、
画像を取得する画像取得部と、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出する識別情報検出部と、
前記情報管理サーバからの所定の物理オブジェクトを識別するための前記物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記対応度情報と、を取得する情報取得部と、
前記識別情報検出部により検出された物理オブジェクト識別情報と、前記情報取得部により取得された物理オブジェクト識別情報と、が略一致するか否かを判定する識別情報判定部と、
前記識別情報判定部により略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定する利用ポリシ判定部と、
前記利用ポリシ判定部により前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するアノテーション提示部と、
を備える拡張現実感システム。
【請求項２０】
画像を取得するステップと、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、
所定の物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションと、前記物理オブジェクトと前記アノテーションとの物理的な対応度を示す対応度情報と、を取得するステップと、
前記検出された物理オブジェクト識別情報と、前記取得された物理オブジェクト識別情報と、が略一致するか否かを判定するステップと、
前記略一致すると判定された場合、前記物理オブジェクトの前記アノテーションの前記対応度情報が、所定の利用ポリシを満たすか否かを判定するステップと、
前記利用ポリシを満たすと判定された場合、前記アノテーションを提示するステップと、
を有する情報処理方法。
【請求項２１】
画像を取得するステップと、
前記画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を検出するステップと、
前記物理オブジェクトのアノテーションを生成するステップと、
前記物理オブジェクト毎に、前記生成されたアノテーションと、前記検出された物理オブジェクト識別情報と、を送出するステップと、
を有する情報処理方法。
【請求項２２】
物理オブジェクトを識別するための物理オブジェクト識別情報と、前記物理オブジェクトのアノテーションとを取得するステップと、
前記物理オブジェクト識別情報に基づいて、前記物理オブジェクトと当該物理オブジェクトのアノテーションとの物理的な対応度を算出するステップと、
を有する情報処理方法。
【請求項２３】
請求項２０に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２４】
請求項２１に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項２５】
請求項２２に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５５３６２（Ｐ２０１２−１５５３６２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１１２４２（Ｐ２０１１−１１２４２）
【出願日】平成２３年１月２１日（２０１１．１．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２１日（２０１１．１．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]