情報処理装置、情報処理方法、プログラムおよびサーバ
【課題】画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させる。
【解決手段】情報処理装置１０は、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部２１０と、実空間画像を取得する画像取得部２０２と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部２０４と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部２０６と、を備える。
【解決手段】情報処理装置１０は、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部２１０と、実空間画像を取得する画像取得部２０２と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部２０４と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部２０６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムおよびサーバに関する。
【背景技術】
【０００２】
最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、拡張現実技術を用いて、現在位置の周辺の情報を実映像の画面に重畳して表示させる技術が開示されている（例えば特許文献１）。
【０００３】
特許文献１では、カメラ等の撮像装置で撮像された映像データから視覚的特徴情報を抽出して、装置内に記憶された視覚的特徴情報と比較して類似度を算出する。そして、算出した類似度に基づいて、映像データ内のオブジェクトを特定して、仮想的な情報をアノテーション（注釈）として映像にオーバレイして出力している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００４−０９５３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、映像データ内に複数のオブジェクトが存在し、１つのオブジェクトに複数のオブジェクトが含まれ、それぞれのオブジェクトに付加情報が設定されている場合には、複数の仮想的な情報が同時にオーバレイされてしまう。この場合、複数の付加情報が重なり合って、情報の視認性が低下するという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよびサーバを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、を備える、情報処理装置が提供される。
【０００７】
また、決定部によりオブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳して表示部に表示させる表示制御部を備えてもよい。
【０００８】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、階層情報が最上位の階層であるオブジェクトの付加情報を出力することを決定してもよい。
【０００９】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、階層情報が最下位の階層であるオブジェクトの付加情報を出力することを決定してもよい。
【００１０】
また、記憶部には、さらに、オブジェクトの優先度情報が関連付けて記憶されており、
決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、優先度情報に基づいてオブジェクトの付加情報を出力することを決定してもよい。
【００１１】
また、記憶部には、さらに、ユーザによるオブジェクトの属性情報が関連付けて記憶されており、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、属性情報に基づいてオブジェクトの付加情報を出力することを決定してもよい。
【００１２】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、所定の閾値以内のオブジェクトの付加情報を出力することを決定してもよい。
【００１３】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、表示部の表示サイズに応じて、複数のオブジェクトのうち所定数のオブジェクトの付加情報を出力することを決定してもよい。
【００１４】
また、認識部は、実空間画像内で認識したオブジェクトよりも下位の階層であるオブジェクトを認識対象としなくてもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶部に記憶されており、実空間画像を取得するステップと、画像内のオブジェクトの特徴を示す特徴情報をもとに、取得された実空間画像に含まれるオブジェクトを認識するステップと、認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定するステップと、を含む、情報処理方法が提供される。
【００１６】
さらに、オブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳して表示部に表示させるステップ、を含んでもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置とネットワークを介して接続され、情報処理装置により撮像された実空間画像を受信する受信部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、決定部によりオブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳した画像情報を情報処理装置に送信する送信部と、を備える、サーバが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態にかかる情報処理装置の概要を説明する説明図である。
【図２】同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。
【図４】同実施形態にかかる階層情報について説明する説明図である。
【図５】同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図６】同実施形態にかかるオブジェクトの認識処理を示すフローチャートである。
【図７】同実施形態にかかるオブジェクトの選択処理の詳細を示すフローチャートである。
【図８】本発明の第２の実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図９】同実施形態にかかるオブジェクトの認識処理を示すフローチャートである。
【図１０】同実施形態にかかるオブジェクトの選択処理の詳細を示すフローチャートである。
【図１１】本発明の第３の実施形態にかかる報処理装置の機能構成を示すブロック図である。
【図１２】同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図１３】同実施形態にかかる、オブジェクトの意味的な階層関係の決定処理を示すフローチャートである。
【図１４】同実施形態にかかる、階層関係決定部により決定される意味的な階層関係を説明する説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕第１実施形態
〔４−１〕情報処理装置の機能構成
〔４−２〕情報処理装置の動作の詳細
〔５〕第２実施形態
〔５−１〕情報処理装置の機能構成
〔５−２〕情報処理装置の動作の詳細
〔６〕第３実施形態
〔６−１〕情報処理装置の機能構成
〔６−２〕情報処理装置の動作の詳細
〔７〕サーバにおける付加情報出力可否の決定
【００２３】
〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、拡張現実技術を用いて、現在位置の周辺の情報を実映像の画面に重畳して表示させる技術が開示されている。
【００２４】
上記技術では、カメラ等の撮像装置で撮像された映像データから視覚的特徴情報を抽出して、装置内に記憶された視覚的特徴情報と比較して類似度を算出する。そして、算出した類似度に基づいて、映像データ内のオブジェクトを特定して、仮想的な情報をアノテーション（注釈）として映像にオーバレイして出力している。
【００２５】
しかし、映像データ内に複数のオブジェクトが存在し、１つのオブジェクトに複数のオブジェクトが含まれ、それぞれのオブジェクトに付加情報が設定されている場合には、複数の仮想的な情報が同時にオーバレイされてしまう。この場合、複数の付加情報が重なり合って、情報の視認性が低下するという問題があった。
【００２６】
例えば、撮像装置で遠く離れたビルを撮影した場合、撮影したビル全体とビル内の店舗やビル周辺の店舗が同時に認識される。このため、ビル全体に対する仮想的な情報と、個別の店舗に対する仮想的な情報のすべてが同時に撮像画像にオーバレイされてしまう。ユーザが個別の店舗に対する仮想的な情報を不要とする場合には、撮像画像にオーバレイされた情報は過多となり、視認性が低下してしまう。
【００２７】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることが可能となる。
【００２８】
〔２〕情報処理装置の概要
次に、図１を参照して、情報処理装置１０の概要について説明する。図１は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、例えば、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実画像に付加される仮想情報５００が登録されている。仮想情報５００として、ビルや店舗の実画像と、該実画像に付加される付加情報が対応付けられている。
【００２９】
例えば、図１に示したように、ビルの仮想情報５０１として、ビルの全景の実画像に対応して付加情報「Ｂビル」が登録されている。また、店舗の仮想情報５０２として、各店舗の実画像に対応して、「カフェＣ」、「レストランＤ」、「ドラッグストアＥ」、「Ｆ医院」などの各店舗の付加情報が登録されている。その他、マンションの仮想情報５０３として、マンションの実画像に対して「駐車場満車」や「空室入居者募集中」などの付加情報が登録されている。
【００３０】
画像５５０は、従来の情報処理装置５０により撮像画像に仮想情報がオーバレイされた画像である。画像５５０では、撮像画像内において認識された実画像のすべてに仮想情報が付加されている。例えば、「Ｂビル」内に「カフェＣ」、「レストランＤ」、「ドラッグストアＥ」、「Ｆ医院」などの店舗が含まれている場合には、画像５５０内のほぼ同位置にこれらの付加情報が表示されることとなる。したがって、画像５５０では、複数の付加情報が重なり合って表示されて、視認性が低下している。
【００３１】
一方、図１の画像５１０は、本実施形態にかかる情報処理装置１０により撮像画像に仮想情報がオーバレイされた画像である。画像５１０では、撮像画像内において認識された実画像のすべてに付加情報が付加されておらず、複数の付加情報から選択された、いくつかの付加情報が表示されている。例えば、Ｂビルはビルの全景を認識することができるので、ビルの名称「Ｂビル」のみを実画像に重畳し、Ｂビルに含まれる複数の店舗の付加情報は表示していない。このように、撮像画像内で認識された実画像の付加情報のすべてを重畳させるのではなく、いくつかの付加情報を選択して表示させることにより、画像５５０に比較して視認性を向上させることができる。
【００３２】
以下では、実画像において認識されるビルや店舗などの付加情報の付加対象物をオブジェクトと称する。本実施形態では、オブジェクトの階層関係を示す階層情報を保持している。オブジェクトの階層関係とは、意味的な階層関係であって、例えば、ビルに店舗が含まれている場合には、ビルが上位階層、店舗が下位階層となる。本実施形態では、画像に含まれるオブジェクトの階層情報に基づいて、複数の付加情報からどのオブジェクトの付加情報を表示させるかを決定する。例えば、Ｂビルと複数の店舗が上位、下位の階層関係にある場合に、上位階層のオブジェクトの階層情報のみを表示することを決定する。
【００３３】
〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１１０と、ストレージ装置（ＨＤＤ）１１１と、ドライブ１１２と、通信装置１１５とを備える。
【００３４】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。
【００３５】
ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００３６】
入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００３７】
出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００３８】
ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。
【００３９】
ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。
【００４０】
通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００４１】
〔４〕第１実施形態
以上、情報処理装置１０のハードウェア構成例を、図２を参照して説明した。次に、図３を参照して、第１実施形態にかかる情報処理装置１０の機能構成について説明する。図３は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。
【００４２】
〔４−１〕情報処理装置の機能構成
図３に示したように、情報処理装置１０は、画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。
【００４３】
画像取得部２０２は、実空間画像を取得する機能を有する。実空間画像とは、撮像装置（図示せず）により撮像された情報処理装置１０の風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部２０２により取り込むようにしてもよい。画像取得部２０２は、取得した実空間画像を認識部２０４および表示制御部２０８に提供する。
【００４４】
認識部２０４は、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部２０２により取得された実空間画像に含まれるオブジェクトを認識する機能を有する。具体的には、画像取得部２０２から提供された風景画像等の全体もしくは任意の部分に分割した画像の各領域の特徴情報を抽出する。そして、抽出した特徴情報と、後述する記憶部２１０に記憶されているオブジェクトの特徴情報とを比較して、類似度を算出する。該類似度が閾値以上であれば、記憶部２１０に記憶されているオブジェクトが実空間画像に存在すると判定する。
【００４５】
認識部２０４は、実空間画像にオブジェクトが存在するか否かの判定を、存在する可能性のあるすべてのオブジェクトについて実行する。認識部２０４は、上記のオブジェクトの認識処理は、例えば、特表２００４−０９５３７４号公報に開示されている技術を利用することができる。認識部２０４は、認識したオブジェクトの情報を決定部２０６に提供する。
【００４６】
決定部２０６は、認識部２０４により認識されたオブジェクトに関連付けられた該オブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部（図示せず）への出力可否を決定する機能を有する。具体的には、認識部２０４により認識されたオブジェクトが、記憶部２１０に記憶されているか否かを判断する。そして、記憶部２１０に認識部２０４により認識されたオブジェクトが存在する場合に、該オブジェクトの階層情報をもとに所定の条件に合致するオブジェクトを決定して、該オブジェクトに関連付けられた付加情報をオブジェクトに重畳する。
【００４７】
ここで、図４を参照して記憶部２１０に記憶されている階層情報について説明する。記憶部２１０に記憶されている階層情報は、意味的な階層関係を示し、図４に示したように、例えば、ビル群Ａが上位階層、ビルａおよびビルｂが中位階層、店舗１、２、３が下位階層の関係となっている。記憶部２１０には、オブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶されている。したがって、認識部２０４により認識されたオブジェクトがビルｂである場合には、オブジェクトの特徴情報に関連付けられた階層情報により、ビルｂがビル群Ａの下位階層であり、店舗１〜３の上位階層であることがわかる。
【００４８】
例えば、認識部２０４によりビルａと店舗２が同時に認識された場合、ビルａは認識されたオブジェクトのうちで最上位の階層となる。決定部２０６が、複数のオブジェクトのうち、最上位の階層のオブジェクトの付加情報を出力するとしている場合、認識されたオブジェクトうち最上位の階層であるビルａを、付加情報を付加する対象として選択する。一方、店舗２は、店舗２より上位階層となるビルａが認識されているため、付加情報を付加する対象として選択しない。
【００４９】
また、決定部２０６が、複数のオブジェクトのうち、最下位の階層のオブジェクトの付加情報を出力するとしてもよい。この場合、認識されたオブジェクトのうち最下位の階層である店舗２を、付加情報を付加する対象として選択する。一方、ビルａは、ビルａより下位階層となる店舗２が認識されているため、付加情報を付加する対象として選択しない。
【００５０】
また、記憶部２１０に、オブジェクトに該オブジェクトの優先度情報が関連付けて記憶されている場合には、優先度情報に基づいてオブジェクトの付加情報の出力可否を決定してもよい。例えば、優先度情報は、口コミ人気や、登録日時や更新日時の新旧、過去にその場所でオブジェクトを参照した頻度などによって決定されるようにしてもよい。この場合、決定部２０６は、複数のオブジェクトが認識された場合に、優先度の高いオブジェクトの付加情報を出力することを決定する。
【００５１】
また、記憶部２１０に、オブジェクトの属性情報が関連付けて記憶されている場合には、属性情報にもとづいてオブジェクトの付加情報の出力可否を決定してもよい。例えば、属性情報は、オブジェクトの付加情報をいつ出力するか、どこで出力するかなどの情報である。例えば、ユーザの現在の状態の情報と、オブジェクトの属性情報とが一致する場合に該オブジェクトの付加情報を出力するようにしてもよい。ユーザの現在の状態とは、例えば、夜か昼か、誕生日か、記念日かなどの日時や、ユーザのサービス購入状況や、ユーザの移動速度、ユーザが属しているコミュニティ、ユーザが通常生活している場所、新着情報の希望の有無、ユーザの嗜好情報などが挙げられる。
【００５２】
記憶部２１０には、オブジェクトの属性情報として、上記したユーザの現在の状態に対応した属性値が記憶されている。例えば、オブジェクトにユーザの誕生日の値が属性情報として記憶されていた場合に、認識部２０４により認識されたオブジェクトと撮像日時が合致した場合に、該オブジェクトの付加情報を重畳するようにしてもよい。また、記憶部２１０に、付加情報を重畳するオブジェクトの数の上限値の設定情報を記憶してもよい。決定部２０６は、出力可否の決定情報を表示制御部２０８に提供する。
【００５３】
表示制御部２０８は、決定部２０６により決定されたオブジェクトに対して、記憶部２１０に記憶されている該オブジェクトに関連付けられた付加情報を重畳して表示部に表示させる機能を有する。表示制御部２０８は、画像取得部２０２により提供された実空間画像に、決定部２０６により決定されたオブジェクトの付加情報を実空間画像の対象オブジェクトに重畳した画像を生成して表示部に表示させる。
【００５４】
〔４−２〕情報処理装置の動作の詳細
以上、情報処理装置１０の機能構成について説明した。次に、図５〜図７を参照して、情報処理装置１０の動作の詳細について説明する。図５は、情報処理装置１０の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１０の周辺の風景などの画像を取得する（Ｓ１０２）。次に、認識部２０４は、ステップＳ１０２において取得した画像上のすべてのオブジェクトを認識する（Ｓ１０４）。ステップＳ１０４におけるオブジェクトの認識処理については後で詳細に説明する。
【００５５】
そして、決定部２０６は、記憶部２１０に記憶されている階層情報に基づいて、ステップＳ１９４において認識されたオブジェクトのうち、仮想情報（付加情報）をオーバレイ（重畳）するオブジェクトを選択する（Ｓ１０６）。ステップＳ１０６におけるオブジェクトの選択処理については、後で詳細に説明する。
【００５６】
そして、表示制御部２０８は、オブジェクトに仮想情報をオーバレイした画像を生成して表示部に出力させる（Ｓ１０８）。以上、情報処理装置１０の全体動作について説明した。
【００５７】
図５に示した動作は、例えば、動画のフレームレート等に合わせて周期的に実行される。また、図５に示したオブジェクト認識ステップＳ１０４と仮想情報をオーバレイするオブジェクト選択のステップは、数回の全体動作のうち一回だけ実行するようにしてもよい。これにより、オブジェクト認識ステップＳ１０４と仮想情報をオーバレイするオブジェクト選択ステップＳ１０６の処理負荷を軽減して、ユーザに違和感のない高フレームレートでの画像出力を実現することが可能となる。
【００５８】
次に、図６を参照して、オブジェクトの認識処理の詳細を説明する。図６は、オブジェクトの認識処理を示すフローチャートである。図６に示したように、認識部２０４は、まず、記憶部２１０に記憶されている、認識候補となるオブジェクトの視覚的特徴量を取得する（Ｓ２０２）。ステップＳ２０２において認識部２０４が取得するオブジェクトの視覚的特徴量は、オブジェクトの特徴を示す特徴情報の一例である。
【００５９】
次に、認識部２０４は、画像取得部２０２により取得された風景画像等の実空間画像の部分画像を抽出する（Ｓ２０４）。そして、ステップＳ２０４において抽出した部分画像の視覚的特徴量を算出する（Ｓ２０６）。そして、ステップＳ２０２において取得した認識候補となるオブジェクトの視覚的特徴量と、ステップＳ２０６において取得した部分画像の視覚的特徴量とを用いて、両者の類似度を計算する（Ｓ２０８）。
【００６０】
そして、実空間画像（風景画像）の全領域に対して、ステップＳ２０８の類似度の計算を完了したか否かを判定する（Ｓ２１０）。ステップＳ２１０において、実空間画像の全領域に対して類似度の計算を完了していないと判定された場合には、ステップＳ２０４からステップＳ２０８の処理を繰り返す。
【００６１】
ステップＳ２１０において、実空間画像の全領域に対して類似度の計算を完了したと判定された場合には、ステップＳ２０８において計算した類似度の最大値が所定の閾値以下であるか否かを判定する（Ｓ２１２）。ステップＳ２０８において計算される類似度を示す値は、類似性が高いほど小さい値となる。すなわち、ステップＳ２１２において、類似度の最大値が所定の閾値以下であれば、部分画像から抽出された画像と認識候補となった記憶部２１０に記憶されているオブジェクトとが類似していることとなる。
【００６２】
ステップＳ２１２において、類似度の最大値が所定の閾値以下であると判定された場合には、画像内のオブジェクトを特定する（Ｓ２１４）。ステップＳ２１２において、類似度の最大値が所定の閾値より大きいと判定された場合には、ステップＳ２１６の処理を実行する。ステップＳ２１６では、ステップＳ２０２において取得された認識候補であるすべてのオブジェクトに対して処理を終了したか否かを判定する（Ｓ２１６）。
【００６３】
ステップＳ２１６において、認識候補であるすべてのオブジェクトに対して処理を終了したと判定された場合には、オブジェクトの認識処理を終了する。一方、ステップＳ２１６において、認識候補であるすべてのオブジェクトに対して処理を終了していないと判定された場合には、ステップＳ２０２の処理に戻る。
【００６４】
以上、オブジェクトの認識処理の詳細について説明した。なお、図６に示した認識処理は、一例であり、記憶部２１０において記憶されているオブジェクトの特徴情報を用いて、実空間画像上のオブジェクトを認識するのであれば、他の処理方法をであってもよい。
【００６５】
次に、図７を参照して、仮想情報（付加情報）をオーバレイするオブジェクトの選択処理の詳細を説明する。図７は、オブジェクトの選択処理の詳細を示すフローチャートである。上記したように、仮想情報をオーバレイするオブジェクトの選択処理では、オブジェクトに関連付けられている階層情報を用いて認識された複数のオブジェクトから選択される。本実施形態では、認識された複数のオブジェクトが階層関係を有している場合、所定の条件に合致するオブジェクトを仮想的な情報をオーバレイする対象として選択する。
【００６６】
ここで、所定の条件とは、例えば、階層情報において意味的に最上位の階層である場合や意味的に最下位の階層であることなどが挙げられる。図７ではでは、所定の条件を意味的に最上位の階層であることとして説明する。
【００６７】
まず、ステップＳ１０４において認識されたオブジェクトのうち、表示／非表示のマークが設定されていないオブジェクトを一つ選択する（Ｓ２２２）。表示／非表示のマークとは、実空間画像の対応するオブジェクトの付加情報を表示するか非表示とするかのマークである。次に、記憶部２１０に記憶されているオブジェクトに関連付けられた階層情報を用いて、ステップＳ２２２において選択されたオブジェクトより上位のオブジェクトであって、実空間画像内に認識されているオブジェクトのうち最上位のものを抽出する（Ｓ２２４）。
【００６８】
そして、ステップＳ２２２において抽出された階層が最上位のオブジェクトを、付加情報を表示するオブジェクトとして「表示」のマークを設定する（Ｓ２２８）。そして、実空間画像内で認識されたすべてのオブジェクトに対して表示／非表示がマークされたか否かを判定する（Ｓ２３０）。ステップＳ２３０において、すべてのオブジェクトに対して表示／非表示がマークされた場合には処理を終了する。一方、ステップＳ２３０において、すべてのオブジェクトに対して表示／非表示がマークされていないと判定された場合には、ステップＳ２２２〜ステップＳ２２８の処理を繰り返す。
【００６９】
以上、オブジェクトの選択処理について説明した。本実施形態によれば、取得した実空間画像の部分画像の特徴情報と、記憶部２１０に記憶されているオブジェクトの特徴情報とを比較して、両者の類似度を算出することにより実空間画像内のオブジェクトを認識する。そして、認識されたオブジェクトの階層情報に基づいて、実空間画像内のオブジェクトに付加情報を重畳するか否かを決定する。これにより、例えば、最上位階層のオブジェクトの付加情報のみを重畳したり、最下位階層のオブジェクトの付加情報のみを重畳したりして、実空間画像に重畳される付加情報を適切に表示して視認性を向上することができる。
【００７０】
〔５〕第２実施形態
以上、第１実施形態について説明した。次に、第２実施形態について説明する。本実施形態における情報処理装置１０′は、第１実施形態にかかる情報処理装置１０とほぼ同様の構成を有するため、第１実施形態と異なる機能について特に詳細に説明する。第１実施形態では、記憶部２１０に記憶されているオブジェクトのすべてに対して認識処理を実行していたが、本実施形態では、認識対象とするオブジェクトと認識対象としないオブジェクトを判定する点で第１実施形態と異なっている。
【００７１】
〔５−１〕情報処理装置の機能構成
本実施形態では、第１実施形態と同様に、決定部２０６がオブジェクトの階層情報に基づいて付加情報を重畳するオブジェクトを選択する。本実施形態では、決定部２０６が、付加情報を重畳するオブジェクトを選択し、階層情報と所定の条件から認識対象としないオブジェクトを決定して認識部２０４に通知する。
【００７２】
例えば、所定の条件が階層の最上位のオブジェクトの付加情報を重畳させるという条件である場合に、認識部２０４によりビルａが認識されたとする。この場合。決定部２０６は、ビルａより下位の階層にあるオブジェクトについては認識対象としないように認識部２０４に指示する。
【００７３】
〔５−２〕情報処理装置の動作の詳細
次に、図８〜図１０を参照して、情報処理装置１０′の動作の詳細について説明する。図８は、情報処理装置１０′の動作全体を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１０′の周辺の風景などの画像を取得する（Ｓ３０２）。次に、認識部２０４は、ステップＳ２０２において取得した画像上の一つのオブジェクトを認識する（Ｓ３０４）。ステップＳ１０４におけるオブジェクトの認識処理については後で詳細に説明する。
【００７４】
そして、決定部２０６は、記憶部２１０に記憶されている階層情報と、ステップＳ２０４におけるオブジェクトの認識結果から、オブジェクト認識処理を実行するオブジェクトを決定する（Ｓ３０６）。ステップＳ３０６におけるオブジェクトの選択処理については、後で詳細に説明する。
【００７５】
そして、すべての認識候補オブジェクトに対して処理が終了したか否かを判定する（Ｓ３０８）。ステップＳ３０８においてすべての認識候補オブジェクトに対して処理が終了していないと判定された場合には、ステップＳ３０４〜ステップＳ３０８の処理を繰り返す。ステップＳ３０８においてすべての認識候補オブジェクトに対して処理が終了したと判定された場合には、決定部２０６は、オブジェクトに設定された表示／非表示のマーク結果を表示制御部２０８に通知する。
【００７６】
そして、表示制御部２０８は、オブジェクトに仮想情報をオーバレイした画像を生成して表示部に出力する（Ｓ３１０）。以上、情報処理装置１０′の全体動作について説明した。
【００７７】
次に、図９を参照して、オブジェクトの認識処理の詳細を説明する。図９は、オブジェクトの認識処理を示すフローチャートである。図９に示したように、認識部２０４は、まず、記憶部２１０に記憶されている、認識候補となるオブジェクトの視覚的特徴量の１つを取得する（Ｓ４０２）。ステップＳ４０２においてどのオブジェクトの視覚的特徴量を取得するかは、決定部２０６により指定される。決定部２０６により指定されなかった場合には、認識部２０４は、視覚的特徴量を未だ取得しておらず、かつ、決定部２０６により認識処理を行わないように指示されていないオブジェクトのなかから任意の１つを選択する。
【００７８】
次に、認識部２０４は、画像取得部２０２により取得された風景画像等の実空間画像の部分画像を抽出する（Ｓ４０４）。そして、ステップＳ４０４において抽出した部分画像の視覚的特徴量を算出する（Ｓ４０６）。そして、ステップＳ４０２において取得した認識候補となるオブジェクトの視覚的特徴量と、ステップＳ４０６において取得した部分画像の視覚的特徴量とを用いて、両者の類似度を計算する（Ｓ４０８）。
【００７９】
そして、実空間画像（風景画像）の全領域に対して、ステップＳ４０８の類似度の計算を完了したか否かを判定する（Ｓ４１０）。ステップＳ４１０において、実空間画像の全領域に対して類似度の計算を完了していないと判定された場合には、ステップＳ４０４からステップＳ４０８の処理を繰り返す。
【００８０】
ステップＳ４１０において、実空間画像の全領域に対して類似度の計算を完了したと判定された場合には、ステップＳ４０８において計算した類似度の最大値が所定の閾値以下であるか否かを判定する（Ｓ４１２）。ステップＳ４１２において、類似度の最大値が所定の閾値以下であると判定された場合には、画像内のオブジェクトを特定する（Ｓ４１４）。ステップＳ４１２において、類似度の最大値が所定の閾値より大きいと判定された場合には処理を終了する。
【００８１】
以上、オブジェクトの認識処理の詳細について説明した。次に、図１０を参照して、仮想情報をオーバレイするオブジェクトの選択処理の詳細を説明する。図１０は、オブジェクトの選択処理の詳細を示すフローチャートである。以下では、認識された複数のオブジェクトが階層関係を有している場合、階層関係が最上位であるオブジェクトを仮想的な情報をオーバレイする対象として選択する場合について説明する。しかし、かかる例に限定されず、階層関係が最下位であるオブジェクトを仮想的な情報をオーバレイする対象として選択してもよい。
【００８２】
まず、認識候補となるオブジェクトが実空間画像内にあったか否かを判定する（Ｓ４２２）。ステップＳ４２２において、認識候補となるオブジェクトが実空間画像内にあったと判定された場合には、認識候補となるオブジェクトよりも意味的に上位のオブジェクトを記憶部２１０から抽出する。ステップＳ４２４の抽出処理において、認識候補となるオブジェクトよりも意味的に上位のオブジェクトが記憶部２１０に記憶されていたか否かを判定する（Ｓ４２６）。ステップＳ４２６において、意味的に上位のオブジェクトがあると判定された場合には、意味的に上位のオブジェクトを新たな認識候補オブジェクトに設定する。
【００８３】
一方、ステップＳ４２２において、認識候補オブジェクトが実空間画像内にないと判定された場合、または、ステップＳ４２６において、意味的に上位のオブジェクトがないと判定された場合には、最後に認識されたオブジェクトを、付加情報を重畳する表示オブジェクトとしてマークする（Ｓ４３０）。そして、ステップＳ４３０において、表示オブジェクトとしてマークしたオブジェクトより意味的に下位のオブジェクトを非表示オブジェクトとしてマークする。ここで、非表示オブジェクトとしてマークされたオブジェクトは、認識処理を行わないオブジェクトである。
【００８４】
以上、オブジェクトの選択処理の詳細について説明した。本実施形態によれば、オブジェクトに関連付けられた階層情報を用いて、認識処理を行う対象を、付加情報を重畳する可能性のあるオブジェクトに限定することができる。これにより、記憶部２１０に記憶されているすべてのオブジェクトに対して認識処理を行う第１実施形態に比べて、認識処理全体の計算時間を短縮することが可能となる。
【００８５】
〔６〕第３実施形態
以上、第２実施形態について説明した。次に、第３実施形態について説明する。本実施形態における情報処理装置１５は、第１実施形態にかかる情報処理装置１０および第２実施形態に係る情報処理装置１０′とは、仮想情報を入力する機能が追加されている点で異なっている。以下では、第１実施形態および第２実施形態とは異なる点について特に詳細に説明する。
【００８６】
〔６−１〕情報処理装置の機能構成
図１１を参照して、本実施形態にかかる情報処理装置１５の機能構成を説明する。図１１に示したように、情報処理装置１５は、画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０、付加情報入力部２１２、階層関係決定部２１４などを備える。
【００８７】
画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０は第１実施形態と同様の機能を有するため、詳細な説明は省略する。
【００８８】
付加情報入力部２１２は、ユーザ操作に応じて、付加情報を入力する機能を有する。付加情報とは、実空間画像に重畳される文字情報等の仮想的な情報である。付加情報入力部２１２は、上記した入力装置１０８の一例であって、キーボードや音声入力、タッチパネル等を用いて実現される。
【００８９】
記憶部２１０は、第１実施形態において説明した情報に加え、オブジェクトの分割された部分領域の視覚的情報も記憶する。オブジェクトの部分領域の視覚的情報は認識部２０４に利用される。
【００９０】
認識部２０４は、第１実施形態において説明した機能に加えて、画像取得部２０２から入力された風景画像等の実空間画像中に、記憶部２１０により記憶されているオブジェクトの一部が含まれていることを認識する機能も有する。具体的には、風景画像の全体もしくは部分領域と、記憶部２１０に記憶されている視覚的情報の全体もしくは一部との類似度を算出することにより実現される。認識部２０４による認識結果は決定部２０６に出力されると同時に、階層関係決定部２１４に出力される。
【００９１】
階層関係決定部２１４は、付加情報入力部２１２により入力された付加情報の付与対象となっているオブジェクトの階層関係を決定する機能を有する。付加情報入力部２１２からユーザが入力した付加情報が提供され、認識部２０４からオブジェクトの認識結果が提供される。階層関係決定部２１４は、認識部２０４から提供された認識結果を用いて、オブジェクトの階層関係を決定する。
【００９２】
具体的には、まず、階層関係決定部２１４は、実空間画像内に認識されたオブジェクトが存在するか否かを判断する。そして、画像取得部２０２により取得された実空間画像内に認識されたオブジェクトが存在する場合に、認識されたオブジェクトの実空間画像内の面積率と、オブジェクトと合致した記憶部２１０内の視覚的情報のオブジェクト全体に対する面積率とを用いて、意味的な階層関係を決定する。階層関係決定部２１４による階層関係の決定方法については後で詳細に説明する。階層関係決定部２１４により決定されたオブジェクトの階層関係と、ユーザにより入力された付加情報が記憶部２１０に関連付けて記憶される。
【００９３】
〔６−２〕情報処理装置の動作の詳細
以上、情報処理装置１５の機能構成について説明した。次に、図１２および図１３を参照して、情報処理装置１５の動作の詳細について説明する。以下では、第１実施形態および第２実施形態と異なる処理について特に詳細に説明し、同様の処理については詳細な説明は省略する。
【００９４】
図１２は、情報処理装置１５の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１５の周辺の風景などの画像を取得する（Ｓ５０２）。次に、認識部２０４は、ステップＳ５０２において取得した画像上のすべてのオブジェクトを認識する（Ｓ５０４）。
【００９５】
そして、階層関係決定部２１４は、ユーザにより入力された付加情報の付与対象となっているオブジェクトの意味的な階層関係を決定する（Ｓ５０６）。ステップＳ５０６におけるオブジェクトの意味的な階層関係の決定処理については、後で詳細に説明する。そして、ステップＳ５０６において決定された意味的な階層関係を記憶部２１０に追加または更新し、入力された付加情報を追加する（Ｓ５０８）。
【００９６】
以上、情報処理装置１５の全体動作について説明した。次に、図１３を参照して、オブジェクトの意味的な階層関係の決定処理について説明する。図１３は、オブジェクトの意味的な階層関係の決定処理を示すフローチャートである。図１３に示したように、まず、実空間画像（風景画像）内に認識部２０４により認識されたオブジェクトが存在するか否かを判定する（Ｓ６０２）。
【００９７】
ステップＳ６０２において、認識されたオブジェクトが存在すると判定された場合には、ステップＳ６０４以降の処理において、認識されたオブジェクトの面積率と、該オブジェクトとマッチした記憶部内の視覚的情報のオブジェクト全体に対する面積率とを用いて、図１４に示す意味的な階層関係を決定する。図１４は、階層関係決定部２１４により決定される意味的な階層関係を説明する説明図である。ステップＳ６０２以降の処理を実行することにより、図１４の意味的な階層関係が決定される。
【００９８】
一方、ステップＳ６０２において、認識されたオブジェクトが存在しないと判定された場合には、記憶部２１０に記憶されているオブジェクトとは意味的な階層関係のないものと決定する（Ｓ６０６）。
【００９９】
ステップＳ６０４において、認識部２０４により実空間画像内に複数のオブジェクトが認識された場合には、実空間画像内の面積率最も高いオブジェクトを抽出する（Ｓ６０４）。ステップＳ６０４において抽出されたオブジェクトをオブジェクトＸと称して以下説明する。
【０１００】
次に、オブジェクトＸの画面占有率が所定の閾値以上であるか否かを判定する（Ｓ６０８）。ステップＳ６０８において、オブジェクトＸの画面占有率が所定の閾値以上であると判定された場合には、ステップＳ６１２の処理を実行する。ステップＳ６１２では、オブジェクトＸを認識した際に参照した記憶部２１０の視覚的情報のうち、画像占有率が最大のもの（以下、リファレンスＹと称する）を抽出する（Ｓ６１２）。ここで、画像占有率とは、記憶部２１０に視覚的情報が記憶される際に、認識に用いた画像に対する視覚的情報の面積率である。
【０１０１】
一方、ステップＳ６０８において、オブジェクトＸの画面占有率が所定の閾値以上ではないと判定された場合には、ステップＳ６１０の処理を実行する。ステップＳ６１０では、ユーザが付加情報を付加しようとしているオブジェクトは、記憶部２１０に未登録であり、認識されたオブジェクトよりも意味的に上位の階層であると決定する。
【０１０２】
ステップＳ６１２の処理を実行した後、リファレンスＹの画面占有率が閾値以上であるか否かを判定する（Ｓ６１４）。ステップＳ６１４において、リファレンスＹの画面占有率が閾値以上であると判定された場合には、ステップＳ６１８の処理を実行する。ステップＳ６１８においては、ユーザが付加情報を付加しようとしているオブジェクトはオブジェクトＸであり、リファレンスＹと同一であると決定する。
【０１０３】
一方、ステップＳ６１４において、リファレンスＹの画面占有率が閾値以上ではないと判定された場合には、ステップＳ６１６の処理を実行する。ステップＳ６１６においては、ユーザが付加情報を付加しようとしているオブジェクトはオブジェクトＸであり、リファレンスＹよりも意味的に下位の階層であると決定する。
【０１０４】
以上、オブジェクトの意味的な階層関係の決定処理について説明した。第３実施形態によれば、情報処理装置１５に予め保持されている付加情報以外に、ユーザ入力に応じて任意にオブジェクトに対して独自の付加情報を追加することが可能となる。これにより、ユーザの期待する情報を実空間画像に重畳することが可能となり、ユーザの利便性が向上する。
【０１０５】
〔７〕サーバにおける付加情報出力可否の決定
以上、第３実施形態について説明した。上記した第１〜第３実施形態における認識部２０４、決定部２０６、記憶部２１０、階層関係決定部２１４は、情報処理装置１０、１０′、１５とネットワークを介して接続されたサーバに備えられていてもよい。認識部２０４、決定部２０６、記憶部２１０、階層関係決定部２１４をサーバに備えることにより、負荷の高いオブジェクトの認識等の処理を演算能力の高いサーバで行って、レスポンスを向上させることが可能となる。また、記憶部２１０を大容量化することが容易となり、オブジェクトの付加情報を複数のユーザ間で参照し合うことが可能となり、ユーザ利便性が向上する。
【０１０６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０７】
また、本明細書の情報処理装置１０、１０′、１５の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０、１０′、１５の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【０１０８】
また、情報処理装置１０、１０′、１５などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、１０′、１５の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１０９】
１０、１０′、１５ 情報処理装置
２０２ 画像取得部
２０４ 認識部
２０６ 決定部
２０８ 表示制御部
２１０ 記憶部
２１２ 付加情報入力部
２１４ 階層関係決定部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムおよびサーバに関する。
【背景技術】
【０００２】
最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、拡張現実技術を用いて、現在位置の周辺の情報を実映像の画面に重畳して表示させる技術が開示されている（例えば特許文献１）。
【０００３】
特許文献１では、カメラ等の撮像装置で撮像された映像データから視覚的特徴情報を抽出して、装置内に記憶された視覚的特徴情報と比較して類似度を算出する。そして、算出した類似度に基づいて、映像データ内のオブジェクトを特定して、仮想的な情報をアノテーション（注釈）として映像にオーバレイして出力している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００４−０９５３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、映像データ内に複数のオブジェクトが存在し、１つのオブジェクトに複数のオブジェクトが含まれ、それぞれのオブジェクトに付加情報が設定されている場合には、複数の仮想的な情報が同時にオーバレイされてしまう。この場合、複数の付加情報が重なり合って、情報の視認性が低下するという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラムおよびサーバを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、を備える、情報処理装置が提供される。
【０００７】
また、決定部によりオブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳して表示部に表示させる表示制御部を備えてもよい。
【０００８】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、階層情報が最上位の階層であるオブジェクトの付加情報を出力することを決定してもよい。
【０００９】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、階層情報が最下位の階層であるオブジェクトの付加情報を出力することを決定してもよい。
【００１０】
また、記憶部には、さらに、オブジェクトの優先度情報が関連付けて記憶されており、
決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、優先度情報に基づいてオブジェクトの付加情報を出力することを決定してもよい。
【００１１】
また、記憶部には、さらに、ユーザによるオブジェクトの属性情報が関連付けて記憶されており、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、属性情報に基づいてオブジェクトの付加情報を出力することを決定してもよい。
【００１２】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、複数のオブジェクトのうち、所定の閾値以内のオブジェクトの付加情報を出力することを決定してもよい。
【００１３】
また、決定部は、認識部により実空間画像内で複数のオブジェクトが認識された場合に、表示部の表示サイズに応じて、複数のオブジェクトのうち所定数のオブジェクトの付加情報を出力することを決定してもよい。
【００１４】
また、認識部は、実空間画像内で認識したオブジェクトよりも下位の階層であるオブジェクトを認識対象としなくてもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶部に記憶されており、実空間画像を取得するステップと、画像内のオブジェクトの特徴を示す特徴情報をもとに、取得された実空間画像に含まれるオブジェクトを認識するステップと、認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定するステップと、を含む、情報処理方法が提供される。
【００１６】
さらに、オブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳して表示部に表示させるステップ、を含んでもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、情報処理装置とネットワークを介して接続され、情報処理装置により撮像された実空間画像を受信する受信部と、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部により取得された実空間画像に含まれるオブジェクトを認識する認識部と、認識部により認識されたオブジェクトに関連付けられたオブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、決定部によりオブジェクトに付加される付加情報の表示部への出力が決定された場合に、実空間画像に含まれるオブジェクトに付加情報を重畳した画像情報を情報処理装置に送信する送信部と、を備える、サーバが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態にかかる情報処理装置の概要を説明する説明図である。
【図２】同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。
【図３】本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。
【図４】同実施形態にかかる階層情報について説明する説明図である。
【図５】同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図６】同実施形態にかかるオブジェクトの認識処理を示すフローチャートである。
【図７】同実施形態にかかるオブジェクトの選択処理の詳細を示すフローチャートである。
【図８】本発明の第２の実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図９】同実施形態にかかるオブジェクトの認識処理を示すフローチャートである。
【図１０】同実施形態にかかるオブジェクトの選択処理の詳細を示すフローチャートである。
【図１１】本発明の第３の実施形態にかかる報処理装置の機能構成を示すブロック図である。
【図１２】同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。
【図１３】同実施形態にかかる、オブジェクトの意味的な階層関係の決定処理を示すフローチャートである。
【図１４】同実施形態にかかる、階層関係決定部により決定される意味的な階層関係を説明する説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕第１実施形態
〔４−１〕情報処理装置の機能構成
〔４−２〕情報処理装置の動作の詳細
〔５〕第２実施形態
〔５−１〕情報処理装置の機能構成
〔５−２〕情報処理装置の動作の詳細
〔６〕第３実施形態
〔６−１〕情報処理装置の機能構成
〔６−２〕情報処理装置の動作の詳細
〔７〕サーバにおける付加情報出力可否の決定
【００２３】
〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、拡張現実技術を用いて、現在位置の周辺の情報を実映像の画面に重畳して表示させる技術が開示されている。
【００２４】
上記技術では、カメラ等の撮像装置で撮像された映像データから視覚的特徴情報を抽出して、装置内に記憶された視覚的特徴情報と比較して類似度を算出する。そして、算出した類似度に基づいて、映像データ内のオブジェクトを特定して、仮想的な情報をアノテーション（注釈）として映像にオーバレイして出力している。
【００２５】
しかし、映像データ内に複数のオブジェクトが存在し、１つのオブジェクトに複数のオブジェクトが含まれ、それぞれのオブジェクトに付加情報が設定されている場合には、複数の仮想的な情報が同時にオーバレイされてしまう。この場合、複数の付加情報が重なり合って、情報の視認性が低下するという問題があった。
【００２６】
例えば、撮像装置で遠く離れたビルを撮影した場合、撮影したビル全体とビル内の店舗やビル周辺の店舗が同時に認識される。このため、ビル全体に対する仮想的な情報と、個別の店舗に対する仮想的な情報のすべてが同時に撮像画像にオーバレイされてしまう。ユーザが個別の店舗に対する仮想的な情報を不要とする場合には、撮像画像にオーバレイされた情報は過多となり、視認性が低下してしまう。
【００２７】
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、画像に含まれるオブジェクトの階層情報に基づいて付加情報を出力して情報の視認性を向上させることが可能となる。
【００２８】
〔２〕情報処理装置の概要
次に、図１を参照して、情報処理装置１０の概要について説明する。図１は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、例えば、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実画像に付加される仮想情報５００が登録されている。仮想情報５００として、ビルや店舗の実画像と、該実画像に付加される付加情報が対応付けられている。
【００２９】
例えば、図１に示したように、ビルの仮想情報５０１として、ビルの全景の実画像に対応して付加情報「Ｂビル」が登録されている。また、店舗の仮想情報５０２として、各店舗の実画像に対応して、「カフェＣ」、「レストランＤ」、「ドラッグストアＥ」、「Ｆ医院」などの各店舗の付加情報が登録されている。その他、マンションの仮想情報５０３として、マンションの実画像に対して「駐車場満車」や「空室入居者募集中」などの付加情報が登録されている。
【００３０】
画像５５０は、従来の情報処理装置５０により撮像画像に仮想情報がオーバレイされた画像である。画像５５０では、撮像画像内において認識された実画像のすべてに仮想情報が付加されている。例えば、「Ｂビル」内に「カフェＣ」、「レストランＤ」、「ドラッグストアＥ」、「Ｆ医院」などの店舗が含まれている場合には、画像５５０内のほぼ同位置にこれらの付加情報が表示されることとなる。したがって、画像５５０では、複数の付加情報が重なり合って表示されて、視認性が低下している。
【００３１】
一方、図１の画像５１０は、本実施形態にかかる情報処理装置１０により撮像画像に仮想情報がオーバレイされた画像である。画像５１０では、撮像画像内において認識された実画像のすべてに付加情報が付加されておらず、複数の付加情報から選択された、いくつかの付加情報が表示されている。例えば、Ｂビルはビルの全景を認識することができるので、ビルの名称「Ｂビル」のみを実画像に重畳し、Ｂビルに含まれる複数の店舗の付加情報は表示していない。このように、撮像画像内で認識された実画像の付加情報のすべてを重畳させるのではなく、いくつかの付加情報を選択して表示させることにより、画像５５０に比較して視認性を向上させることができる。
【００３２】
以下では、実画像において認識されるビルや店舗などの付加情報の付加対象物をオブジェクトと称する。本実施形態では、オブジェクトの階層関係を示す階層情報を保持している。オブジェクトの階層関係とは、意味的な階層関係であって、例えば、ビルに店舗が含まれている場合には、ビルが上位階層、店舗が下位階層となる。本実施形態では、画像に含まれるオブジェクトの階層情報に基づいて、複数の付加情報からどのオブジェクトの付加情報を表示させるかを決定する。例えば、Ｂビルと複数の店舗が上位、下位の階層関係にある場合に、上位階層のオブジェクトの階層情報のみを表示することを決定する。
【００３３】
〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１１０と、ストレージ装置（ＨＤＤ）１１１と、ドライブ１１２と、通信装置１１５とを備える。
【００３４】
ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。
【００３５】
ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【００３６】
入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
【００３７】
出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
【００３８】
ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。
【００３９】
ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。
【００４０】
通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【００４１】
〔４〕第１実施形態
以上、情報処理装置１０のハードウェア構成例を、図２を参照して説明した。次に、図３を参照して、第１実施形態にかかる情報処理装置１０の機能構成について説明する。図３は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。
【００４２】
〔４−１〕情報処理装置の機能構成
図３に示したように、情報処理装置１０は、画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。
【００４３】
画像取得部２０２は、実空間画像を取得する機能を有する。実空間画像とは、撮像装置（図示せず）により撮像された情報処理装置１０の風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部２０２により取り込むようにしてもよい。画像取得部２０２は、取得した実空間画像を認識部２０４および表示制御部２０８に提供する。
【００４４】
認識部２０４は、画像内のオブジェクトの特徴を示す特徴情報をもとに、画像取得部２０２により取得された実空間画像に含まれるオブジェクトを認識する機能を有する。具体的には、画像取得部２０２から提供された風景画像等の全体もしくは任意の部分に分割した画像の各領域の特徴情報を抽出する。そして、抽出した特徴情報と、後述する記憶部２１０に記憶されているオブジェクトの特徴情報とを比較して、類似度を算出する。該類似度が閾値以上であれば、記憶部２１０に記憶されているオブジェクトが実空間画像に存在すると判定する。
【００４５】
認識部２０４は、実空間画像にオブジェクトが存在するか否かの判定を、存在する可能性のあるすべてのオブジェクトについて実行する。認識部２０４は、上記のオブジェクトの認識処理は、例えば、特表２００４−０９５３７４号公報に開示されている技術を利用することができる。認識部２０４は、認識したオブジェクトの情報を決定部２０６に提供する。
【００４６】
決定部２０６は、認識部２０４により認識されたオブジェクトに関連付けられた該オブジェクトの階層情報に基づいて、オブジェクトに付加される付加情報の表示部（図示せず）への出力可否を決定する機能を有する。具体的には、認識部２０４により認識されたオブジェクトが、記憶部２１０に記憶されているか否かを判断する。そして、記憶部２１０に認識部２０４により認識されたオブジェクトが存在する場合に、該オブジェクトの階層情報をもとに所定の条件に合致するオブジェクトを決定して、該オブジェクトに関連付けられた付加情報をオブジェクトに重畳する。
【００４７】
ここで、図４を参照して記憶部２１０に記憶されている階層情報について説明する。記憶部２１０に記憶されている階層情報は、意味的な階層関係を示し、図４に示したように、例えば、ビル群Ａが上位階層、ビルａおよびビルｂが中位階層、店舗１、２、３が下位階層の関係となっている。記憶部２１０には、オブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶されている。したがって、認識部２０４により認識されたオブジェクトがビルｂである場合には、オブジェクトの特徴情報に関連付けられた階層情報により、ビルｂがビル群Ａの下位階層であり、店舗１〜３の上位階層であることがわかる。
【００４８】
例えば、認識部２０４によりビルａと店舗２が同時に認識された場合、ビルａは認識されたオブジェクトのうちで最上位の階層となる。決定部２０６が、複数のオブジェクトのうち、最上位の階層のオブジェクトの付加情報を出力するとしている場合、認識されたオブジェクトうち最上位の階層であるビルａを、付加情報を付加する対象として選択する。一方、店舗２は、店舗２より上位階層となるビルａが認識されているため、付加情報を付加する対象として選択しない。
【００４９】
また、決定部２０６が、複数のオブジェクトのうち、最下位の階層のオブジェクトの付加情報を出力するとしてもよい。この場合、認識されたオブジェクトのうち最下位の階層である店舗２を、付加情報を付加する対象として選択する。一方、ビルａは、ビルａより下位階層となる店舗２が認識されているため、付加情報を付加する対象として選択しない。
【００５０】
また、記憶部２１０に、オブジェクトに該オブジェクトの優先度情報が関連付けて記憶されている場合には、優先度情報に基づいてオブジェクトの付加情報の出力可否を決定してもよい。例えば、優先度情報は、口コミ人気や、登録日時や更新日時の新旧、過去にその場所でオブジェクトを参照した頻度などによって決定されるようにしてもよい。この場合、決定部２０６は、複数のオブジェクトが認識された場合に、優先度の高いオブジェクトの付加情報を出力することを決定する。
【００５１】
また、記憶部２１０に、オブジェクトの属性情報が関連付けて記憶されている場合には、属性情報にもとづいてオブジェクトの付加情報の出力可否を決定してもよい。例えば、属性情報は、オブジェクトの付加情報をいつ出力するか、どこで出力するかなどの情報である。例えば、ユーザの現在の状態の情報と、オブジェクトの属性情報とが一致する場合に該オブジェクトの付加情報を出力するようにしてもよい。ユーザの現在の状態とは、例えば、夜か昼か、誕生日か、記念日かなどの日時や、ユーザのサービス購入状況や、ユーザの移動速度、ユーザが属しているコミュニティ、ユーザが通常生活している場所、新着情報の希望の有無、ユーザの嗜好情報などが挙げられる。
【００５２】
記憶部２１０には、オブジェクトの属性情報として、上記したユーザの現在の状態に対応した属性値が記憶されている。例えば、オブジェクトにユーザの誕生日の値が属性情報として記憶されていた場合に、認識部２０４により認識されたオブジェクトと撮像日時が合致した場合に、該オブジェクトの付加情報を重畳するようにしてもよい。また、記憶部２１０に、付加情報を重畳するオブジェクトの数の上限値の設定情報を記憶してもよい。決定部２０６は、出力可否の決定情報を表示制御部２０８に提供する。
【００５３】
表示制御部２０８は、決定部２０６により決定されたオブジェクトに対して、記憶部２１０に記憶されている該オブジェクトに関連付けられた付加情報を重畳して表示部に表示させる機能を有する。表示制御部２０８は、画像取得部２０２により提供された実空間画像に、決定部２０６により決定されたオブジェクトの付加情報を実空間画像の対象オブジェクトに重畳した画像を生成して表示部に表示させる。
【００５４】
〔４−２〕情報処理装置の動作の詳細
以上、情報処理装置１０の機能構成について説明した。次に、図５〜図７を参照して、情報処理装置１０の動作の詳細について説明する。図５は、情報処理装置１０の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１０の周辺の風景などの画像を取得する（Ｓ１０２）。次に、認識部２０４は、ステップＳ１０２において取得した画像上のすべてのオブジェクトを認識する（Ｓ１０４）。ステップＳ１０４におけるオブジェクトの認識処理については後で詳細に説明する。
【００５５】
そして、決定部２０６は、記憶部２１０に記憶されている階層情報に基づいて、ステップＳ１９４において認識されたオブジェクトのうち、仮想情報（付加情報）をオーバレイ（重畳）するオブジェクトを選択する（Ｓ１０６）。ステップＳ１０６におけるオブジェクトの選択処理については、後で詳細に説明する。
【００５６】
そして、表示制御部２０８は、オブジェクトに仮想情報をオーバレイした画像を生成して表示部に出力させる（Ｓ１０８）。以上、情報処理装置１０の全体動作について説明した。
【００５７】
図５に示した動作は、例えば、動画のフレームレート等に合わせて周期的に実行される。また、図５に示したオブジェクト認識ステップＳ１０４と仮想情報をオーバレイするオブジェクト選択のステップは、数回の全体動作のうち一回だけ実行するようにしてもよい。これにより、オブジェクト認識ステップＳ１０４と仮想情報をオーバレイするオブジェクト選択ステップＳ１０６の処理負荷を軽減して、ユーザに違和感のない高フレームレートでの画像出力を実現することが可能となる。
【００５８】
次に、図６を参照して、オブジェクトの認識処理の詳細を説明する。図６は、オブジェクトの認識処理を示すフローチャートである。図６に示したように、認識部２０４は、まず、記憶部２１０に記憶されている、認識候補となるオブジェクトの視覚的特徴量を取得する（Ｓ２０２）。ステップＳ２０２において認識部２０４が取得するオブジェクトの視覚的特徴量は、オブジェクトの特徴を示す特徴情報の一例である。
【００５９】
次に、認識部２０４は、画像取得部２０２により取得された風景画像等の実空間画像の部分画像を抽出する（Ｓ２０４）。そして、ステップＳ２０４において抽出した部分画像の視覚的特徴量を算出する（Ｓ２０６）。そして、ステップＳ２０２において取得した認識候補となるオブジェクトの視覚的特徴量と、ステップＳ２０６において取得した部分画像の視覚的特徴量とを用いて、両者の類似度を計算する（Ｓ２０８）。
【００６０】
そして、実空間画像（風景画像）の全領域に対して、ステップＳ２０８の類似度の計算を完了したか否かを判定する（Ｓ２１０）。ステップＳ２１０において、実空間画像の全領域に対して類似度の計算を完了していないと判定された場合には、ステップＳ２０４からステップＳ２０８の処理を繰り返す。
【００６１】
ステップＳ２１０において、実空間画像の全領域に対して類似度の計算を完了したと判定された場合には、ステップＳ２０８において計算した類似度の最大値が所定の閾値以下であるか否かを判定する（Ｓ２１２）。ステップＳ２０８において計算される類似度を示す値は、類似性が高いほど小さい値となる。すなわち、ステップＳ２１２において、類似度の最大値が所定の閾値以下であれば、部分画像から抽出された画像と認識候補となった記憶部２１０に記憶されているオブジェクトとが類似していることとなる。
【００６２】
ステップＳ２１２において、類似度の最大値が所定の閾値以下であると判定された場合には、画像内のオブジェクトを特定する（Ｓ２１４）。ステップＳ２１２において、類似度の最大値が所定の閾値より大きいと判定された場合には、ステップＳ２１６の処理を実行する。ステップＳ２１６では、ステップＳ２０２において取得された認識候補であるすべてのオブジェクトに対して処理を終了したか否かを判定する（Ｓ２１６）。
【００６３】
ステップＳ２１６において、認識候補であるすべてのオブジェクトに対して処理を終了したと判定された場合には、オブジェクトの認識処理を終了する。一方、ステップＳ２１６において、認識候補であるすべてのオブジェクトに対して処理を終了していないと判定された場合には、ステップＳ２０２の処理に戻る。
【００６４】
以上、オブジェクトの認識処理の詳細について説明した。なお、図６に示した認識処理は、一例であり、記憶部２１０において記憶されているオブジェクトの特徴情報を用いて、実空間画像上のオブジェクトを認識するのであれば、他の処理方法をであってもよい。
【００６５】
次に、図７を参照して、仮想情報（付加情報）をオーバレイするオブジェクトの選択処理の詳細を説明する。図７は、オブジェクトの選択処理の詳細を示すフローチャートである。上記したように、仮想情報をオーバレイするオブジェクトの選択処理では、オブジェクトに関連付けられている階層情報を用いて認識された複数のオブジェクトから選択される。本実施形態では、認識された複数のオブジェクトが階層関係を有している場合、所定の条件に合致するオブジェクトを仮想的な情報をオーバレイする対象として選択する。
【００６６】
ここで、所定の条件とは、例えば、階層情報において意味的に最上位の階層である場合や意味的に最下位の階層であることなどが挙げられる。図７ではでは、所定の条件を意味的に最上位の階層であることとして説明する。
【００６７】
まず、ステップＳ１０４において認識されたオブジェクトのうち、表示／非表示のマークが設定されていないオブジェクトを一つ選択する（Ｓ２２２）。表示／非表示のマークとは、実空間画像の対応するオブジェクトの付加情報を表示するか非表示とするかのマークである。次に、記憶部２１０に記憶されているオブジェクトに関連付けられた階層情報を用いて、ステップＳ２２２において選択されたオブジェクトより上位のオブジェクトであって、実空間画像内に認識されているオブジェクトのうち最上位のものを抽出する（Ｓ２２４）。
【００６８】
そして、ステップＳ２２２において抽出された階層が最上位のオブジェクトを、付加情報を表示するオブジェクトとして「表示」のマークを設定する（Ｓ２２８）。そして、実空間画像内で認識されたすべてのオブジェクトに対して表示／非表示がマークされたか否かを判定する（Ｓ２３０）。ステップＳ２３０において、すべてのオブジェクトに対して表示／非表示がマークされた場合には処理を終了する。一方、ステップＳ２３０において、すべてのオブジェクトに対して表示／非表示がマークされていないと判定された場合には、ステップＳ２２２〜ステップＳ２２８の処理を繰り返す。
【００６９】
以上、オブジェクトの選択処理について説明した。本実施形態によれば、取得した実空間画像の部分画像の特徴情報と、記憶部２１０に記憶されているオブジェクトの特徴情報とを比較して、両者の類似度を算出することにより実空間画像内のオブジェクトを認識する。そして、認識されたオブジェクトの階層情報に基づいて、実空間画像内のオブジェクトに付加情報を重畳するか否かを決定する。これにより、例えば、最上位階層のオブジェクトの付加情報のみを重畳したり、最下位階層のオブジェクトの付加情報のみを重畳したりして、実空間画像に重畳される付加情報を適切に表示して視認性を向上することができる。
【００７０】
〔５〕第２実施形態
以上、第１実施形態について説明した。次に、第２実施形態について説明する。本実施形態における情報処理装置１０′は、第１実施形態にかかる情報処理装置１０とほぼ同様の構成を有するため、第１実施形態と異なる機能について特に詳細に説明する。第１実施形態では、記憶部２１０に記憶されているオブジェクトのすべてに対して認識処理を実行していたが、本実施形態では、認識対象とするオブジェクトと認識対象としないオブジェクトを判定する点で第１実施形態と異なっている。
【００７１】
〔５−１〕情報処理装置の機能構成
本実施形態では、第１実施形態と同様に、決定部２０６がオブジェクトの階層情報に基づいて付加情報を重畳するオブジェクトを選択する。本実施形態では、決定部２０６が、付加情報を重畳するオブジェクトを選択し、階層情報と所定の条件から認識対象としないオブジェクトを決定して認識部２０４に通知する。
【００７２】
例えば、所定の条件が階層の最上位のオブジェクトの付加情報を重畳させるという条件である場合に、認識部２０４によりビルａが認識されたとする。この場合。決定部２０６は、ビルａより下位の階層にあるオブジェクトについては認識対象としないように認識部２０４に指示する。
【００７３】
〔５−２〕情報処理装置の動作の詳細
次に、図８〜図１０を参照して、情報処理装置１０′の動作の詳細について説明する。図８は、情報処理装置１０′の動作全体を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１０′の周辺の風景などの画像を取得する（Ｓ３０２）。次に、認識部２０４は、ステップＳ２０２において取得した画像上の一つのオブジェクトを認識する（Ｓ３０４）。ステップＳ１０４におけるオブジェクトの認識処理については後で詳細に説明する。
【００７４】
そして、決定部２０６は、記憶部２１０に記憶されている階層情報と、ステップＳ２０４におけるオブジェクトの認識結果から、オブジェクト認識処理を実行するオブジェクトを決定する（Ｓ３０６）。ステップＳ３０６におけるオブジェクトの選択処理については、後で詳細に説明する。
【００７５】
そして、すべての認識候補オブジェクトに対して処理が終了したか否かを判定する（Ｓ３０８）。ステップＳ３０８においてすべての認識候補オブジェクトに対して処理が終了していないと判定された場合には、ステップＳ３０４〜ステップＳ３０８の処理を繰り返す。ステップＳ３０８においてすべての認識候補オブジェクトに対して処理が終了したと判定された場合には、決定部２０６は、オブジェクトに設定された表示／非表示のマーク結果を表示制御部２０８に通知する。
【００７６】
そして、表示制御部２０８は、オブジェクトに仮想情報をオーバレイした画像を生成して表示部に出力する（Ｓ３１０）。以上、情報処理装置１０′の全体動作について説明した。
【００７７】
次に、図９を参照して、オブジェクトの認識処理の詳細を説明する。図９は、オブジェクトの認識処理を示すフローチャートである。図９に示したように、認識部２０４は、まず、記憶部２１０に記憶されている、認識候補となるオブジェクトの視覚的特徴量の１つを取得する（Ｓ４０２）。ステップＳ４０２においてどのオブジェクトの視覚的特徴量を取得するかは、決定部２０６により指定される。決定部２０６により指定されなかった場合には、認識部２０４は、視覚的特徴量を未だ取得しておらず、かつ、決定部２０６により認識処理を行わないように指示されていないオブジェクトのなかから任意の１つを選択する。
【００７８】
次に、認識部２０４は、画像取得部２０２により取得された風景画像等の実空間画像の部分画像を抽出する（Ｓ４０４）。そして、ステップＳ４０４において抽出した部分画像の視覚的特徴量を算出する（Ｓ４０６）。そして、ステップＳ４０２において取得した認識候補となるオブジェクトの視覚的特徴量と、ステップＳ４０６において取得した部分画像の視覚的特徴量とを用いて、両者の類似度を計算する（Ｓ４０８）。
【００７９】
そして、実空間画像（風景画像）の全領域に対して、ステップＳ４０８の類似度の計算を完了したか否かを判定する（Ｓ４１０）。ステップＳ４１０において、実空間画像の全領域に対して類似度の計算を完了していないと判定された場合には、ステップＳ４０４からステップＳ４０８の処理を繰り返す。
【００８０】
ステップＳ４１０において、実空間画像の全領域に対して類似度の計算を完了したと判定された場合には、ステップＳ４０８において計算した類似度の最大値が所定の閾値以下であるか否かを判定する（Ｓ４１２）。ステップＳ４１２において、類似度の最大値が所定の閾値以下であると判定された場合には、画像内のオブジェクトを特定する（Ｓ４１４）。ステップＳ４１２において、類似度の最大値が所定の閾値より大きいと判定された場合には処理を終了する。
【００８１】
以上、オブジェクトの認識処理の詳細について説明した。次に、図１０を参照して、仮想情報をオーバレイするオブジェクトの選択処理の詳細を説明する。図１０は、オブジェクトの選択処理の詳細を示すフローチャートである。以下では、認識された複数のオブジェクトが階層関係を有している場合、階層関係が最上位であるオブジェクトを仮想的な情報をオーバレイする対象として選択する場合について説明する。しかし、かかる例に限定されず、階層関係が最下位であるオブジェクトを仮想的な情報をオーバレイする対象として選択してもよい。
【００８２】
まず、認識候補となるオブジェクトが実空間画像内にあったか否かを判定する（Ｓ４２２）。ステップＳ４２２において、認識候補となるオブジェクトが実空間画像内にあったと判定された場合には、認識候補となるオブジェクトよりも意味的に上位のオブジェクトを記憶部２１０から抽出する。ステップＳ４２４の抽出処理において、認識候補となるオブジェクトよりも意味的に上位のオブジェクトが記憶部２１０に記憶されていたか否かを判定する（Ｓ４２６）。ステップＳ４２６において、意味的に上位のオブジェクトがあると判定された場合には、意味的に上位のオブジェクトを新たな認識候補オブジェクトに設定する。
【００８３】
一方、ステップＳ４２２において、認識候補オブジェクトが実空間画像内にないと判定された場合、または、ステップＳ４２６において、意味的に上位のオブジェクトがないと判定された場合には、最後に認識されたオブジェクトを、付加情報を重畳する表示オブジェクトとしてマークする（Ｓ４３０）。そして、ステップＳ４３０において、表示オブジェクトとしてマークしたオブジェクトより意味的に下位のオブジェクトを非表示オブジェクトとしてマークする。ここで、非表示オブジェクトとしてマークされたオブジェクトは、認識処理を行わないオブジェクトである。
【００８４】
以上、オブジェクトの選択処理の詳細について説明した。本実施形態によれば、オブジェクトに関連付けられた階層情報を用いて、認識処理を行う対象を、付加情報を重畳する可能性のあるオブジェクトに限定することができる。これにより、記憶部２１０に記憶されているすべてのオブジェクトに対して認識処理を行う第１実施形態に比べて、認識処理全体の計算時間を短縮することが可能となる。
【００８５】
〔６〕第３実施形態
以上、第２実施形態について説明した。次に、第３実施形態について説明する。本実施形態における情報処理装置１５は、第１実施形態にかかる情報処理装置１０および第２実施形態に係る情報処理装置１０′とは、仮想情報を入力する機能が追加されている点で異なっている。以下では、第１実施形態および第２実施形態とは異なる点について特に詳細に説明する。
【００８６】
〔６−１〕情報処理装置の機能構成
図１１を参照して、本実施形態にかかる情報処理装置１５の機能構成を説明する。図１１に示したように、情報処理装置１５は、画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０、付加情報入力部２１２、階層関係決定部２１４などを備える。
【００８７】
画像取得部２０２、認識部２０４、決定部２０６、表示制御部２０８、記憶部２１０は第１実施形態と同様の機能を有するため、詳細な説明は省略する。
【００８８】
付加情報入力部２１２は、ユーザ操作に応じて、付加情報を入力する機能を有する。付加情報とは、実空間画像に重畳される文字情報等の仮想的な情報である。付加情報入力部２１２は、上記した入力装置１０８の一例であって、キーボードや音声入力、タッチパネル等を用いて実現される。
【００８９】
記憶部２１０は、第１実施形態において説明した情報に加え、オブジェクトの分割された部分領域の視覚的情報も記憶する。オブジェクトの部分領域の視覚的情報は認識部２０４に利用される。
【００９０】
認識部２０４は、第１実施形態において説明した機能に加えて、画像取得部２０２から入力された風景画像等の実空間画像中に、記憶部２１０により記憶されているオブジェクトの一部が含まれていることを認識する機能も有する。具体的には、風景画像の全体もしくは部分領域と、記憶部２１０に記憶されている視覚的情報の全体もしくは一部との類似度を算出することにより実現される。認識部２０４による認識結果は決定部２０６に出力されると同時に、階層関係決定部２１４に出力される。
【００９１】
階層関係決定部２１４は、付加情報入力部２１２により入力された付加情報の付与対象となっているオブジェクトの階層関係を決定する機能を有する。付加情報入力部２１２からユーザが入力した付加情報が提供され、認識部２０４からオブジェクトの認識結果が提供される。階層関係決定部２１４は、認識部２０４から提供された認識結果を用いて、オブジェクトの階層関係を決定する。
【００９２】
具体的には、まず、階層関係決定部２１４は、実空間画像内に認識されたオブジェクトが存在するか否かを判断する。そして、画像取得部２０２により取得された実空間画像内に認識されたオブジェクトが存在する場合に、認識されたオブジェクトの実空間画像内の面積率と、オブジェクトと合致した記憶部２１０内の視覚的情報のオブジェクト全体に対する面積率とを用いて、意味的な階層関係を決定する。階層関係決定部２１４による階層関係の決定方法については後で詳細に説明する。階層関係決定部２１４により決定されたオブジェクトの階層関係と、ユーザにより入力された付加情報が記憶部２１０に関連付けて記憶される。
【００９３】
〔６−２〕情報処理装置の動作の詳細
以上、情報処理装置１５の機能構成について説明した。次に、図１２および図１３を参照して、情報処理装置１５の動作の詳細について説明する。以下では、第１実施形態および第２実施形態と異なる処理について特に詳細に説明し、同様の処理については詳細な説明は省略する。
【００９４】
図１２は、情報処理装置１５の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を介して情報処理装置１５の周辺の風景などの画像を取得する（Ｓ５０２）。次に、認識部２０４は、ステップＳ５０２において取得した画像上のすべてのオブジェクトを認識する（Ｓ５０４）。
【００９５】
そして、階層関係決定部２１４は、ユーザにより入力された付加情報の付与対象となっているオブジェクトの意味的な階層関係を決定する（Ｓ５０６）。ステップＳ５０６におけるオブジェクトの意味的な階層関係の決定処理については、後で詳細に説明する。そして、ステップＳ５０６において決定された意味的な階層関係を記憶部２１０に追加または更新し、入力された付加情報を追加する（Ｓ５０８）。
【００９６】
以上、情報処理装置１５の全体動作について説明した。次に、図１３を参照して、オブジェクトの意味的な階層関係の決定処理について説明する。図１３は、オブジェクトの意味的な階層関係の決定処理を示すフローチャートである。図１３に示したように、まず、実空間画像（風景画像）内に認識部２０４により認識されたオブジェクトが存在するか否かを判定する（Ｓ６０２）。
【００９７】
ステップＳ６０２において、認識されたオブジェクトが存在すると判定された場合には、ステップＳ６０４以降の処理において、認識されたオブジェクトの面積率と、該オブジェクトとマッチした記憶部内の視覚的情報のオブジェクト全体に対する面積率とを用いて、図１４に示す意味的な階層関係を決定する。図１４は、階層関係決定部２１４により決定される意味的な階層関係を説明する説明図である。ステップＳ６０２以降の処理を実行することにより、図１４の意味的な階層関係が決定される。
【００９８】
一方、ステップＳ６０２において、認識されたオブジェクトが存在しないと判定された場合には、記憶部２１０に記憶されているオブジェクトとは意味的な階層関係のないものと決定する（Ｓ６０６）。
【００９９】
ステップＳ６０４において、認識部２０４により実空間画像内に複数のオブジェクトが認識された場合には、実空間画像内の面積率最も高いオブジェクトを抽出する（Ｓ６０４）。ステップＳ６０４において抽出されたオブジェクトをオブジェクトＸと称して以下説明する。
【０１００】
次に、オブジェクトＸの画面占有率が所定の閾値以上であるか否かを判定する（Ｓ６０８）。ステップＳ６０８において、オブジェクトＸの画面占有率が所定の閾値以上であると判定された場合には、ステップＳ６１２の処理を実行する。ステップＳ６１２では、オブジェクトＸを認識した際に参照した記憶部２１０の視覚的情報のうち、画像占有率が最大のもの（以下、リファレンスＹと称する）を抽出する（Ｓ６１２）。ここで、画像占有率とは、記憶部２１０に視覚的情報が記憶される際に、認識に用いた画像に対する視覚的情報の面積率である。
【０１０１】
一方、ステップＳ６０８において、オブジェクトＸの画面占有率が所定の閾値以上ではないと判定された場合には、ステップＳ６１０の処理を実行する。ステップＳ６１０では、ユーザが付加情報を付加しようとしているオブジェクトは、記憶部２１０に未登録であり、認識されたオブジェクトよりも意味的に上位の階層であると決定する。
【０１０２】
ステップＳ６１２の処理を実行した後、リファレンスＹの画面占有率が閾値以上であるか否かを判定する（Ｓ６１４）。ステップＳ６１４において、リファレンスＹの画面占有率が閾値以上であると判定された場合には、ステップＳ６１８の処理を実行する。ステップＳ６１８においては、ユーザが付加情報を付加しようとしているオブジェクトはオブジェクトＸであり、リファレンスＹと同一であると決定する。
【０１０３】
一方、ステップＳ６１４において、リファレンスＹの画面占有率が閾値以上ではないと判定された場合には、ステップＳ６１６の処理を実行する。ステップＳ６１６においては、ユーザが付加情報を付加しようとしているオブジェクトはオブジェクトＸであり、リファレンスＹよりも意味的に下位の階層であると決定する。
【０１０４】
以上、オブジェクトの意味的な階層関係の決定処理について説明した。第３実施形態によれば、情報処理装置１５に予め保持されている付加情報以外に、ユーザ入力に応じて任意にオブジェクトに対して独自の付加情報を追加することが可能となる。これにより、ユーザの期待する情報を実空間画像に重畳することが可能となり、ユーザの利便性が向上する。
【０１０５】
〔７〕サーバにおける付加情報出力可否の決定
以上、第３実施形態について説明した。上記した第１〜第３実施形態における認識部２０４、決定部２０６、記憶部２１０、階層関係決定部２１４は、情報処理装置１０、１０′、１５とネットワークを介して接続されたサーバに備えられていてもよい。認識部２０４、決定部２０６、記憶部２１０、階層関係決定部２１４をサーバに備えることにより、負荷の高いオブジェクトの認識等の処理を演算能力の高いサーバで行って、レスポンスを向上させることが可能となる。また、記憶部２１０を大容量化することが容易となり、オブジェクトの付加情報を複数のユーザ間で参照し合うことが可能となり、ユーザ利便性が向上する。
【０１０６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０７】
また、本明細書の情報処理装置１０、１０′、１５の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０、１０′、１５の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【０１０８】
また、情報処理装置１０、１０′、１５などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、１０′、１５の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【０１０９】
１０、１０′、１５ 情報処理装置
２０２ 画像取得部
２０４ 認識部
２０６ 決定部
２０８ 表示制御部
２１０ 記憶部
２１２ 付加情報入力部
２１４ 階層関係決定部
【特許請求の範囲】
【請求項１】
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
を備える、情報処理装置。
【請求項２】
前記決定部により前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳して表示部に表示させる表示制御部を備える、請求項１に記載の情報処理装置。
【請求項３】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、前記階層情報が最上位の階層であるオブジェクトの付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項４】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、前記階層情報が最下位の階層であるオブジェクトの付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項５】
前記記憶部には、さらに、前記オブジェクトの優先度情報が関連付けて記憶されており、
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記優先度情報に基づいて前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項６】
前記記憶部には、さらに、ユーザによる前記オブジェクトの属性情報が関連付けて記憶されており、
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記属性情報に基づいて前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項７】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、所定の閾値以内の前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項８】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、表示部の表示サイズに応じて、前記複数のオブジェクトのうち所定数の前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項９】
前記認識部は、前記実空間画像内で認識した前記オブジェクトよりも下位の階層である前記オブジェクトを認識対象としない、請求項１に記載の情報処理装置。
【請求項１０】
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶部に記憶されており、
実空間画像を取得するステップと、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記取得された前記実空間画像に含まれる前記オブジェクトを認識するステップと、
前記認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定するステップと、
を含む、情報処理方法。
【請求項１１】
さらに、前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳して表示部に表示させるステップを含む、請求項１０に記載の情報処理方法。
【請求項１２】
コンピュータを、
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項１３】
情報処理装置とネットワークを介して接続され、
前記情報処理装置により撮像された実空間画像を受信する受信部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
前記決定部により前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳した画像情報を前記情報処理装置に送信する送信部と、
を備える、サーバ。
【請求項１】
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
を備える、情報処理装置。
【請求項２】
前記決定部により前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳して表示部に表示させる表示制御部を備える、請求項１に記載の情報処理装置。
【請求項３】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、前記階層情報が最上位の階層であるオブジェクトの付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項４】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、前記階層情報が最下位の階層であるオブジェクトの付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項５】
前記記憶部には、さらに、前記オブジェクトの優先度情報が関連付けて記憶されており、
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記優先度情報に基づいて前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項６】
前記記憶部には、さらに、ユーザによる前記オブジェクトの属性情報が関連付けて記憶されており、
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記属性情報に基づいて前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項７】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、前記複数のオブジェクトのうち、所定の閾値以内の前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項８】
前記決定部は、前記認識部により前記実空間画像内で複数の前記オブジェクトが認識された場合に、表示部の表示サイズに応じて、前記複数のオブジェクトのうち所定数の前記オブジェクトの前記付加情報を出力することを決定する、請求項１に記載の情報処理装置。
【請求項９】
前記認識部は、前記実空間画像内で認識した前記オブジェクトよりも下位の階層である前記オブジェクトを認識対象としない、請求項１に記載の情報処理装置。
【請求項１０】
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とが関連付けて記憶部に記憶されており、
実空間画像を取得するステップと、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記取得された前記実空間画像に含まれる前記オブジェクトを認識するステップと、
前記認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定するステップと、
を含む、情報処理方法。
【請求項１１】
さらに、前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳して表示部に表示させるステップを含む、請求項１０に記載の情報処理方法。
【請求項１２】
コンピュータを、
画像内のオブジェクトの特徴を示す特徴情報と、該オブジェクトの階層関係を示す階層情報と、該オブジェクトに付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
を備える、情報処理装置として機能させるためのプログラム。
【請求項１３】
情報処理装置とネットワークを介して接続され、
前記情報処理装置により撮像された実空間画像を受信する受信部と、
前記画像内のオブジェクトの特徴を示す特徴情報をもとに、前記画像取得部により取得された前記実空間画像に含まれる前記オブジェクトを認識する認識部と、
前記認識部により認識された前記オブジェクトに関連付けられた前記オブジェクトの階層情報に基づいて、前記オブジェクトに付加される付加情報の表示部への出力可否を決定する決定部と、
前記決定部により前記オブジェクトに付加される付加情報の表示部への出力が決定された場合に、前記実空間画像に含まれる前記オブジェクトに前記付加情報を重畳した画像情報を前記情報処理装置に送信する送信部と、
を備える、サーバ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−８１５５６（Ｐ２０１１−８１５５６Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３２６３１（Ｐ２００９−２３２６３１）
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]