説明

情報処理システム、検索装置、及びプログラム

【課題】現実空間の被写体の撮像画像に仮想現実空間のタグ表示画像を重畳して表示画像を生成する際、所望のタグ表示画像をユーザが容易に視認することができる情報処理システムを提供する。
【解決手段】情報処理システム1は情報処理装置100と検索装置200からなる。情報処理装置は撮像部101、撮像の倍率を変更する撮像倍率変更部102、及び撮像画像とタグ表示画像を合成して表示する表示部110を備える。また、情報処理装置100は、その位置、撮像倍率、撮像方向、及び撮像画角からなる情報を検索装置200に送信する。検索装置200は、当該送信された情報からタグ表示画像を生成するためのタグ情報を検索部202により検索し、所定のタグ情報を情報処理装置100に送信する。情報処理装置100のタグ表示画像生成部108は送信されたタグ情報から表示部110が表示するタグ表示画像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理システム、検索装置、及びプログラムに関し、より詳細には複数のタグ情報に基づき生成される複数のタグ表示画像の中から、所望のタグ表示画像をユーザが容易に視認することができる情報処理システム、検索装置、及びプログラムに関する。
【背景技術】
【0002】
近年、情報処理の分野において、現実空間の映像をコンピュータ処理し、その現実空間の映像に様々な情報を付加したり、画像を重畳したりする、いわゆる拡張現実感(AR;Augmented Reality)に関する技術の研究開発が盛んに行われている。この拡張現実感を利用したものとして、特に最近では、カメラ機能付きの携帯電話等において、カメラで撮像した現実空間の施設や人物等の被写体の撮像画像に、仮想現実空間上で生成した、それら施設等に関する情報を表す文字や図形等のオブジェクト表示画像を重畳してモニタ上に表示する機能が、施設案内や旅行ガイドといった様々な態様で取り入れられ始めている。
【0003】
例えば、特許文献1にはカメラの位置及び撮像姿勢を測定し、測定されたカメラの位置及び撮像姿勢に基づき、予め記録媒体に記録(登録)されている情報の中から所定の情報を取得し、その取得した情報に基づき生成したオブジェクト表示画像を撮像画像に重畳して表示する拡張現実感に関する技術が開示されている。
【0004】
ところで、拡張現実感に関する技術では、現実空間の撮像画像に重畳する各種オブジェクト表示画像を生成するための情報が多数取得されてしまい、撮像画像上に多数のオブジェクト表示画像が煩雑に重畳されてしまうことが多々ある。その結果、本来ユーザが所望したオブジェクト表示画像を、ユーザが容易に視認することができないという問題が生じている。
【0005】
この問題を解決するために、例えば特許文献2には、取得する情報を装置の位置と撮像方向から制限し、その制限範囲内に含まれる情報の取得と、その情報に基づくオブジェクト表示画像の生成とを行う技術が開示されている。
また、特許文献3には、装置の位置、撮像姿勢、撮像方向、及び視野角(画角)から撮像の視野を特定し、その特定された範囲内に含まれる情報を取得する技術が記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第3700021号公報
【特許文献2】特開2010−231741号公報
【特許文献3】特開2010−239568号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献2に記載の技術では、仮想現実空間における情報の取得範囲と、ユーザが現実に撮像している現実空間の範囲とが一致しないため、オブジェクト表示画像を現実空間における被写体の撮像画像に対応付けて重畳表示できないという問題が生じることが推察される。
また、特許文献3に記載の技術では、装置の備えるカメラの視野角(画角)に含まれる全ての情報が表示される。ここで、ユーザがカメラのズーム倍率を変更することで視野角(画角)を変更すると、視野角(画角)の変更に応じてオブジェクト画像の表示サイズも変更されてしまう。結果として、オブジェクト表示画像が不適切な大きさで表示されたり、オブジェクト表示画像同士が重なって表示されたりして、ユーザの遠方に位置するオブジェクト表示画像がモニタ上で視認しにくくなる問題が生じることが推察される。
【0008】
そこで、本発明は、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる情報処理装置を提供することを目的とする。
【0009】
また、本発明は、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するために、本発明は、情報処理装置(100)と検索装置(200)とがネットワークを介して相互に通信する情報処理システム(1)であり、
前記情報処理装置(100)は、被写体を撮像し撮像画像を取得する撮像部(101)と、前記撮像部(101)による撮像の倍率を変更する撮像倍率変更部(102)と前記情報処理装置(100)の位置を検出する位置検出部(104)と、前記撮像部(101)の撮像方向を検出する方向検出部(105)と、前記撮像部(101)による撮像の画角を算出する画角算出部(106)と、前記撮像倍率変更部(102)により変更された撮像の倍率、前記位置検出部(104)が検出した位置、前記方向検出部(105)が検出した撮像方向、及び前記画角算出部(106)が算出した画角からなる情報を前記検索装置(200)に送信する情報送信部(112)と、オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成部(108)と、
前記オブジェクト表示画像生成部(108)が使用するオブジェクト情報を前記検索装置(200)から受信するオブジェクト情報受信部(112)と
前記撮像部(101)が取得した撮像画像と前記オブジェクト表示画像生成部(108)が生成したオブジェクト表示画像を合成して表示する表示部(110)とを備え、前記検索装置(200)は、前記情報処理装置(100)が備える前記情報送信部(112)が送信した前記情報を受信する情報受信部(203)と、複数のオブジェクト情報を記憶した記憶部(201)と、前記記憶部(201)が記憶した前記複数のオブジェクト情報を前記情報受信部(203)が受信した前記情報に基づいて検索し、前記記憶部(201)から前記情報処理装置(100)の前記オブジェクト表示画像生成部(108)が使用する前記オブジェクト情報を特定する検索部(202)と、
前記検索部(202)が特定した前記オブジェクト情報を前記情報処理装置(100)の備えるオブジェクト情報受信部(112)に送信するオブジェクト情報送信部(203)とを備えることを特徴とする情報処理システム(1)を提供する。
【0011】
上記情報処理システムの上記情報処理装置(100)はオブジェクト情報取得距離算出部(107)をさらに備え、前記オブジェクト情報取得距離算出部(107)は、上記撮像倍率変更部(102)により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、上記情報送信部(112)は、前記オブジェクト情報最短距離、前記オブジェクト情報最長距離、上記方向検出部(105)が検出した撮像方向、及び上記画角算出部(106)が算出した画角からなるオブジェクト情報取得範囲情報を前記情報として前記検索装置(200)に送信するようにしてもよい。
【0012】
上記情報処理システム(1)の上記情報処理装置(100)は姿勢検出部(103)をさらに備え、前記姿勢検出部(103)は前記情報処理装置(100)の姿勢を検出し、前記画角算出部(106)は、前記姿勢検出部(103)が検出する前記情報処理装置(100)の姿勢に基づいて前記撮像部による撮像の画角を算出するようにしてもよい。
【0013】
上記情報処理システム(1)の上記検索装置(200)はオブジェクト取得禁止範囲記憶部(204)及びオブジェクト取得禁止範囲特定部(205)をさらに備え、前記オブジェクト取得禁止範囲記憶部(204)は、前記オブジェクト情報送信部(203)による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶し、前記オブジェクト取得禁止範囲特定部(205)は、前記情報受信部(203)が受信した情報のうち前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索部(202)は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置(100)の前記オブジェクト表示画像生成部(108)が使用する前記オブジェクト情報から除くようにしてもよい。
【0014】
また、本発明は、被写体を撮像し撮像画像を取得する撮像部(101)、前記撮像部による撮像の倍率を変更する撮像倍率変更部(102)、及び前記撮像画像とオブジェクト表示画像とを合成して表示する表示部(110)とを備えた情報処理装置(100)とネットワークを介して相互に通信する検索装置(200)であって、前記情報処理装置(100)から、前記撮像倍率変更部(102)により変更された撮像の倍率、前記情報処理装置(100)の位置、前記撮像部(101)の撮像方向、前記撮像部(101)による撮像の画角に関する情報を受信する情報受信部(203)と、前記オブジェクト表示画像を生成するためのオブジェクト情報を複数記憶した記憶部(201)と、前記記憶部(201)が記憶した前記複数のオブジェクト情報を前記情報受信部(203)が受信した前記情報に基づいて検索し、前記記憶部(201)から所定のオブジェクト情報を特定する検索部(202)と、前記検索部(202)が特定した所定のオブジェクト情報を前記情報処理装置(100)に送信するオブジェクト情報送信部(203)とを備えた検索装置(200)を提供することを目的とする。
【0015】
上記情報処理装置(100)はオブジェクト情報取得距離算出部(107)をさらに備え、前記オブジェクト情報取得距離算出部(107)は、前記撮像倍率変更部(102)により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、前記オブジェクト情報取得距離算出部(107)が算出した前記オブジェクト情報最短距離及び前記オブジェクト情報最長距離、並びに前記方向検出部(105)が検出した撮像方向、及び前記画角算出部(106)が算出した画角からなるオブジェクト情報取得範囲情報を前記情報として前記情報処理装置(100)から受信するようにしてもよい。
【0016】
上記検索装置はオブジェクト取得禁止範囲記憶部(204)及びオブジェクト取得禁止範囲特定部(205)をさらに備え、前記オブジェクト取得禁止範囲記憶部(204)は、前記オブジェクト情報送信部(203)による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶し、前記オブジェクト取得禁止範囲特定部(205)は、前記情報受信部(203)が受信した情報のうち前記位置検出部(104)が検出した位置、前記方向検出部(105)が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、前記検索部(202)は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置(100)に送信する前記オブジェクト情報から除くようにしてもよい。
【0017】
さらに、本発明は、被写体を撮像し撮像画像を取得する撮像処理と、前記撮像処理における撮像の倍率を変更する撮像倍率変更処理と前記撮像処理における撮像の位置を検出する位置検出処理と、前記撮像処理における撮像方向を検出する方向検出処理と、前記撮像処理における撮像の画角を算出する画角算出処理と、前記撮像倍率変更処理において変更された撮像の倍率、前記位置検出処理において検出された位置、前記方向検出処理において検出された撮像方向、及び前記画角算出処理において算出された画角からなる情報をネットワークを介して接続された外部の検索装置に送信する情報送信処理と、オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成処理と、前記オブジェクト表示画像生成処理において使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信処理と、前記撮像処理において取得された撮像画像と前記オブジェクト表示画像生成処理において生成されたブジェクト表示画像を合成して表示する表示処理とを実行させるプログラムであって、前記オブジェクト情報受信処理において前記検索装置から受信する前記オブジェクト情報は、前記情報送信処理において送信された前記情報に基づき前記外部検索装置が検索し特定したものであることを特徴とするプログラムを提供することを目的とする。
【発明の効果】
【0018】
本発明に係る情報処理装置によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。
【0019】
また、本発明に係る情報処理装置によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。
【図面の簡単な説明】
【0020】
【図1】従来の情報処理装置の問題を説明する図である。
【図2】従来の情報処理装置の別の問題を説明するための図である。
【図3】本発明の実施形態に係る情報処理システム1の構成を示すブロック図である。
【図4】情報処理システム1によるタグ情報の取得とタグ表示画像の生成表示処理について説明するフローチャートである。
【図5】タグ情報取得最短距離及びタグ情報取得最長距離が算出される基準及び算出される理由を説明するための図である。
【図6】タグ情報取得最短距離及びタグ情報取得最長距離の算出方法について説明するための図である。
【図7】検索サーバ200によるタグ情報の検索の処理について説明するためのフローチャートである。
【図8】タグ取得禁止範囲特定部205による取得を禁止するタグ情報の特定処理の例について説明するための図である。
【図9】タグ情報の詳細について説明するための図である。
【図10】タグ情報内に含まれる3種類のタグ画像のなかから表示されるタグ表示画像に使用するタグ画像を選択する処理について説明するための図である。
【図11】タグ表示画像の表示部110の表示画面上の表示位置を算出する処理を説明するための図である。
【図12】タグ表示画像を、情報処理装置100を水平姿勢にして表示部110の表示画面に表示した場合の例について説明するための図である。
【図13】タグ表示画像を、情報処理装置100を水平姿勢にして表示部110の表示画面に表示した場合の別の例について説明するための図である。
【図14】本発明の実施形態に係る情報処理装置300の構成を示すブロック図である。
【発明を実施するための形態】
【0021】
以下に図面を参照しながら、本発明に係る情報処理装置の好適な実施形態を説明する。かかる実施形態に示す寸法、具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0022】
先ず図1及び図2を参照し、拡張現実感に関する機能を有する従来の情報処理装置等の問題点の詳細を述べる。
図1は、例えば上記特許文献2に記載の技術のように、仮想現実空間上に配置されたオブジェクト情報を取得する範囲を、情報処理装置が搭載したカメラの撮像範囲とは別に設定している場合の問題点について説明するための図である。ここで、オブジェクト情報の取得範囲は、情報処理装置の位置及び搭載されたカメラの撮像方向に基づき設定されるものとする。
【0023】
図1において、情報処理装置01は、筺体の1面に、水平方向と垂直方向の辺の長さが異なるモニタ(例えば、水平方向が約7cmで垂直方向が約5.25cm)を搭載しており、レンズ等の撮像部が例えばモニタが搭載された面と反対側の面にモニタと略平行となるように搭載されているものとする。
【0024】
以下では説明及び理解の容易のため、モニタの水平方向の辺を下にした場合に、そのモニタに表示される撮像画像(つまり例えば横と縦の比率が16:9の撮像画像)を撮像する情報処理装置の姿勢を「水平姿勢」とし、その水平姿勢の際の情報処理装置01が備えるカメラの画角を「水平画角」とする。また、モニタの垂直方向の辺を下にした場合に、そのモニタに表示される撮像画像(つまり例えば横と縦の比率が9:16の撮像画像)を撮像する情報処理装置の姿勢を「垂直姿勢」とし、その垂直姿勢の際の情報処理装置01が備えるカメラの画角を「垂直画角」とする。図1の(a)及び(b)では情報処理装置01で水平姿勢での撮像を行った際の問題点を、(c)では垂直姿勢での撮像を行った際の問題点を説明する。
【0025】
図1(a)の上段の図は、被写体A01(a)、被写体B01(a)、被写体C01(a)、及び情報処理装置01、並びに情報処理装置01がオブジェクト情報を取得する範囲VS01(a)(図中、ハッチングで示した範囲)とその範囲VS01(a)内に配置された、被写体A01(a)に対応するオブジェクト情報TA01(a)、被写体B01(a)に対応するオブジェクト情報TB01(a)を上面視した概念図であり、下段の図はその際の情報処理装置の備えるモニタの表示画像MG01(a)を示す図である。
【0026】
情報処理装置01は、水平画角AV01(a)で定められる撮像範囲に含まれる被写体を撮像画像として捉える。被写体B01(a)及び被写体C01(a)はこの撮像範囲に含まれることから、表示画面MG01(a)には、被写体B01(a)の画像BG01(a)及び被写体C01(a)の画像CG01(a)が表示される。一方で、被写体A01(a)はこの撮像範囲の外にあるため、被写体A01(a)に対応する画像は表示画面MG01(a)には表示されない。一方で、撮像範囲とは無関係に、撮像方向によってのみ規定されている範囲VS01(a)には、被写体A01(a)に対応するオブジェクト情報TA01(a)及び被写体B01(a)に対応するオブジェクト情報TB01(a)が含まれている。従って、表示画面MG01(a)には、オブジェクト情報A01(a)に対応するオブジェクト表示画像TGA01(a)及びTGB01(a)が表示される。
【0027】
この場合、ユーザは表示画面MG01(a)に表示されているオブジェクト表示画像TGA(a)が、どの被写体に対応づけられたものなのかをモニタを通じて把握することができないという問題が生じてしまう。
【0028】
一方で、この図1(a)では、情報処理装置V01の撮像範囲の横方向の撮像幅と、オブジェクト情報を取得する範囲VS01(a)の横方向の幅とが一致しているため、表示画面MG01(a)内では、被写体B01(a)に対応する画像BG01(a)に、被写体B01(a)に対応するオブジェクト表示画像TGB01(a)が重畳され、両者が対応づけられて表示される。従って、ユーザは表示画面MG01(a)を通して被写体B01(a)に関する情報を得ることができる。
【0029】
しかし、撮像範囲の横方向の撮像幅と、仮想空間のオブジェクト情報を取得する範囲の横方向の幅とが一致しない場合は、さらに別の問題がおきる。図1(b)を参照して、この問題について詳述する。
図1(b)の上段の図は、被写体B01(b)、被写体C01(b)、及びそれらを撮像する情報処理装置01、並びにオブジェクト情報を取得する範囲VS01(b)内に存在する被写体B01(b)に対応するオブジェクト情報TB01(b)を上面視した概念図であり、下段の図はその際の情報処理装置01の備えるモニタの表示画像MG01(b)を示す図である。
【0030】
情報処理装置01は、水平画角AV01(b)で定められる撮像範囲に含まれる被写体を撮像画像として捉える。このとき、この撮像範囲の横方向の撮像幅と、オブジェクト情報を取得する範囲VS01(b)の横方向の幅とが一致していないことから、表示画面MG01(b)上では、被写体B01(b)に対応する被写体画像BG01(b)は画面やや中央よりに表示されているにも関わらず、被写体B01(b)に対応するオブジェクト表示画像TGB01(b)は画面の端に表示され、両者の表示位置にずれが生じてしまう。
【0031】
この場合、ユーザはオブジェクト表示画像TGB01(b)が現実空間のどの被写体に対応したものなのかを、表示画面MG01(b)を通しては認識できないという問題が生じる。
【0032】
加えて、情報処理装置の撮像姿勢を考慮していない場合は、さらに新たな問題が生じる、図1(c)を参照して、この問題について詳述する。
図1(c)の上段の図は、被写体B01(c)、被写体C01(c)、及びそれらを撮像するカメラを備えた情報処理装置01、並びにオブジェクト情報を取得する範囲VS01(c)内に存在する被写体B01(c)に対応するオブジェクト情報TB01(c)を上面視した概念図であり、下段の図はその際の情報処理装置01の備えるモニタの表示画像MG01(c)を示す図である。ここで、図1(a)又は(b)の場合と異なり、情報処理装置01は、垂直姿勢にて撮像を行っているものとする。
【0033】
情報処理装置01は、垂直画角AV01(c)で定められる撮像範囲に含まれる被写体を撮像画像として捉える。このとき、被写体B01(c)はこの領域から外れるため、被写体B01(c)に対応する画像は表示画面MG01(c)には表示されない。
【0034】
一方で、情報処理装置01は撮像姿勢とは無関係に仮想空間VS01を範囲を設定する。従って、撮像画像が水平画角で取得されているのか、又は垂直画角で取得されているのかを区別していない。そのため、オブジェクト情報TB01(c)が取得され、表示画面MG01(c)にはオブジェクト表示画像TGB01(c)が表示されてしまう。加えて、このオブジェクト表示画像TGB01(c)は、情報処理装置の撮像姿勢を考慮せず予め定められた撮像姿勢に対応した表示位置に表示されることになる。従って、例えばユーザが情報処理装置を図1(b)の水平姿勢から、右回りに90度回転させて図1(c)の垂直姿勢にしてしまった場合、TGB01(c)が被写体画像CG01(c)に重畳され、被写体Bに関する情報が被写体Cの撮像画像のものであるかの様に表示されてしまう可能性もある。
【0035】
従って、上述の従来の情報処理装置01では、撮像姿勢の変更によっても、上述の図1(b)の場合と同様に、ユーザはオブジェクト表示画像TGB01(c)が現実空間のどの被写体に対応したものなのかを、表示画面MG01(c)を通しては認識できないという問題が生じることになる。
【0036】
以上に述べた通り、従来の仮想現実間に関する技術を備えた情報処理装置では、仮想現実空間上に配置されたオブジェクト情報を取得する範囲を、情報処理装置が搭載したカメラの撮像範囲とは別に設定していること、及び情報処理装置の撮像姿勢を考慮していないことから、オブジェク表示画像を現実空間の被写体の撮像画像に適切に対応付けて表示することができなかった。
【0037】
次に、図2は、例えば上記特許文献3に記載の技術のように、撮像の水平方向の画角をオブジェクト情報の取得範囲とし、このオブジェクト情報の取得範囲に基づいてオブジェクト表示画像の表示画面内における表示位置を設定した場合の問題点について説明する。
【0038】
図2において、情報処理装置02は、筺体の1面に、水平方向と垂直方向の辺の長さが異なるモニタ(例えば、水平方向が約7cmで垂直方向が約5.25cm)を搭載しており、レンズ等の撮像部が例えばモニタが搭載された面と反対側の面にモニタと略平行となるように搭載されている点は上述の従来の情報処理装置01と同様とする。
【0039】
図2(a)の上段の図は、カメラを備えた情報処理装置02と、仮想現実空間内に配置されたオブジェクト情報TA02、TB02、及びTC02との関係を上面視した概念図であり、下段はその際の情報処理装置02の備えるモニタの表示画面MG02(a)を示す図である。
【0040】
情報処理装置02は、仮想現実空間から、撮像の水平画角AV02(a)で定められる範囲にあるオブジェクト情報TA02、TB02、及びTC02を取得する。そして、各オブジェクト情報に基づき生成されたオブジェクト表示画像TGA02(a)、TGB02(a)、及びTGC02(a)がモニタ上に表示される表示画面MG02(a)内に表示される。
【0041】
ここで、従来の情報処理装置02は、水平画角AV02(a)で定められる撮像範囲に一致するオブジェクト情報の取得範囲に基づいて、各オブジェクト表示画像の表示画面内における表示位置を設定している。従って、撮像範囲に含まれる各被写体画像と同様に、オブジェクト情報の取得範囲に含まれる各オブジェクト表示画像の横方向の表示画面内での表示幅は情報処理装置02の近傍では小さく、遠方になるほど大きくなる。従って、同じ大きさのオブジェクト表示画像として仮想空間上に配置されている画像であっても、表示画面内での大きさは情報処理装置02からの距離に応じて変化することになる。図2(a)では、情報処理装置02の最も近い位置にあるオブジェクト情報TA02に基づくオブジェクト表示画像TGA02(a)が最も大きく、最も遠い位置にあるオブジェクト情報TC02に基づくオブジェクト表示画像TCG02(a)が最も小さく表示される。
【0042】
従って、オブジェクト表示画像TAG02(a)はユーザから視認しやすいが、それより小さく表示されたオブジェクト表示画像TBG02(a)及びTCG02(a)は視認しにくい。
【0043】
そこで、オブジェクト表示画像TCG02(a)に係る情報を欲したユーザがズーム倍率を変更し、すなわち水平方向の画角を変更し、オブジェクト表示画像TCG02(a)が現在表示されているオブジェクト表示画像TAG02(a)と同程度の大きさに表示した場合について、図2(b)を参照して説明する。
【0044】
図2(b)に示すように、ズーム倍率を変更し、すなわち水平方向の画角を水平画角AV02(a)からより小さな水平画角AV02(b)に変更し、倍率の大きい画像を表示画面MG02(b)に表示した結果、オブジェクト情報TC02に係るオブジェクト表示画像TGC02(b)はユーザが視認できる程度に大きく表示されることになるが、同時にオブジェクト情報TA02に係るオブジェクト表示画像TGA02(b)もTGA02(a)に比し大きく表示されてしまうことになる。情報を得ることを望んでいないオブジェクト表示画像TGA02(b)が大きく表示されてしまうことは、表示画面が煩雑になること等からいってユーザの不利益となる。
【0045】
また、上述の例のように情報処理装置02からみて、近いオブジェクト表示画像を手前に、遠いオブジェクト表示画像を奥に見えるように表示画面に生成した場合、ズーム倍率に関係なく別のオブジェクト表示画像と重なってしまって、ユーザが視認できないオブジェクト表示画像が生じてしまう。図2でいえば、オブジェクト情報TB02に係るオブジェクト表示画像TGB02(a)又はTGB02(b)は、重畳されるオブジェクト表示画像TGA02(a)又はTGA02(b)により隠れてしまい、ユーザはそれらを視認することができない。
【0046】
以上、図2を参照して述べたように、従来の仮想現実間に関する技術を備えた情報処理装置では、撮像の水平方向の画角をオブジェクト情報の取得範囲とし、このオブジェクト情報の取得範囲に基づいてオブジェクト表示画像の表示画面内における表示位置を設定していたことから、オブジェクト表示画像がユーザには視認できないほど小さく表示されたり、逆に過度に大きく表示されたりする問題がある。また、遠くにあるかのように表示されるオブジェクト表示画像が、近くにあるかのように表示されるオブジェクト表示画像と重なってしまった場合に、その近くにあるかのように表示されるオブジェクト表示画像に隠れてしまって、完全には視認できないという問題がある。
【0047】
<第一の実施形態:情報処理システム>
そこで、上述の問題を解決するための本発明の第一の実施形態に係る情報処理システムについて、以下に説明する。
なお、以下の説明ではオブジェクト情報に含まれる位置、形状及び大きさ等の情報から、現実空間とリンクした仮想現実空間内にあたかもそのオブジェクト情報に係る仮想の物体(被写体)が存在するかのごとく想定した場合の、その仮想の物体を「オブジェクト」と呼ぶこととする。また、以下の各実施形態の説明においては、説明及び理解の容易のため、情報処理装置が垂直方向の傾きを有さず、オブジェクトが垂直方向の傾きを有さず、さらに情報処理装置の備える撮像部のレンズの中心(光軸)と同じ高さにオブジェクトの中心が位置している場合を想定して説明を行う。
【0048】
図3は、本発明の実施形態に係る情報処理システム1の構成を示すブロック図である。本実施形態に係る情報処理システム1は、オブジェクト情報を取得し、オブジェクト表示画像を表示する情報処理装置100と、表示されるオブジェクト表示画像に係るオブジェクト情報を検索するための検索サーバ200とから大きく構成され、情報処理装置100と検索サーバ200との間は、例えば無線通信等の手段を用いることにより接続されている。
なお、以下の説明においては、オブジェクト表示画像を「タグ表示画像」、オブジェクト情報を「タグ情報」、そしてオブジェクトを「タグ」と呼ぶこととする。
【0049】
情報処理装置100は搭載された撮像部を通じて動画及び静止画を撮像することができる。
なお、本発明はデジタルスチルカメラやデジタルビデオカメラをはじめ、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)等、撮像が可能なその他の電子機器においても採用することができる。
【0050】
<情報処理装置100の構成>
まず、情報処理装置100の構成について、以下に詳述する。
撮像部101は、図示しないレンズ系に入来する撮像光を、同じく図示しない撮像素子により光電変換し、映像信号に変換することによって被写体の撮像画像を取得する撮像部としての機能を果たすともに、被写体にレンズ系の焦点を合わせる等の光学的な機能を果たす部材である。
【0051】
画像拡大部102は、図示しないレンズ系を同じく図示しないズームアクチュエータ等のレンズ駆動部材により光学的にズームしたり、図示しない撮像素子に保持された撮像画像等をトリミングすることで電子的にズームしたりして、撮像部101が撮像する撮像画像を拡大等する撮像画像倍率変更部としての機能を果たす部材である。
【0052】
姿勢検出部103は、情報処理装置100の姿勢を検出する部材であり、重力加速度を検出する素子(加速度センサ)により重力に対する方向を検出する方法や、加速度センサ(ジャイロスコープ)を用いて各速度を積算することにより回転角度を求める方法等を用いることによって、情報処理装置100の姿勢に関する情報、例えば水平姿勢からの情報処理装置100の水平方向の傾きを検出する。姿勢検出部103が検出した姿勢に関する情報は、後述する画角算出部106による水平方向の画角の算出に用いられるほか、後述するタグ表示画像生成部108による生成されたタグ表示画像の撮像画像への重畳位置の算出に用いられる。
【0053】
位置検出部104は、GPS衛星等を利用することにより、情報処理装置100の現在位置を検出する部材である。方向検出部105は、電子コンパス等を用いることにより、情報処理装置100がどの方向に向けられているかを検出する部材である。
【0054】
画角算出部106は、画像拡大部102が拡大するズーム倍率と、姿勢検出部103が検出する情報処理装置100の姿勢に関する情報に基づいて、撮像部101の水平方向の画角を算出する部材である。画角算出部106は、画像拡大部102が拡大するズーム倍率に基づいて情報処理装置100の撮像部101の水平画角と垂直画角を算出する。例えば、姿勢検出部103が検出する情報処理装置100の姿勢が水平姿勢に対して45度未満の場合は、水平画角を水平方向の画角とし、水平姿勢に対して45度以上の場合は垂直画角を水平方向の画角とする。
【0055】
タグ情報取得距離算出部107は、詳細を後述する、画像拡大部102が撮像画像を拡大するズーム倍率に基づいてタグ情報を取得する最短距離であるタグ情報取得最短距離と、タグ情報を取得する最長距離であるタグ情報取得最長距離を算出する処理を行う部材である。
【0056】
タグ表示画像生成部108は、後述する検索サーバ200のタグ検索部202が検索したタグ情報と、姿勢検出部103が検出する情報処理装置100の姿勢と、位置検出部104が検出する情報処理装置100の現在位置とに基づいてタグ表示画像を生成する部材である。タグ表示画像生成部108は、タグ情報に含まれる、タグの仮想空間内における位置、タグの水平及び垂直方向の大きさ、タグの仮想空間内における配置方向、及びタグの形状に関する情報と、姿勢検出部103が検出する情報処理装置100の姿勢に関する情報からタグ表示画像の表示部110における表示位置や表示形状を算出する。
【0057】
また、タグ表示画像生成部108は、位置検出部104が検出した情報処理装置100の位置と、タグの仮想空間内における位置とを結ぶ直線と、タグの配置方向がなす角度を算出し、この角度とタグの表示向きの関係に基づいてタグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の3種類のタグ画像のなかから表示に使用するタグ画像を選択する。
【0058】
画像合成部109は、タグ表示画像生成部108が生成したタグ表示画像と、撮像部101が撮像した撮像画像とを合成して出力し、表示部110は、その出力を受けて画像合成部109が合成した画像を表示する。
【0059】
操作部111は、図示しない操作ボタンや表示部110上に設けられたタッチパネル等で構成され、画像拡大部102へのズーム倍率の設定、撮像、画面表示に関する各種操作の入力を受付ける部材である。
【0060】
通信部112は、画角算出部106が算出した水平方向の画角と、位置検出部が検出した情報処理装置100の位置と、方向検出部105が検出した情報処理装置100の方向と、タグ情報取得距離算出部107が算出するタグ情報取得最短距離及びタグ情報取得最長距離とを、後述する検索サーバ200の通信部203に対して送信したり、検索サーバ200のタグ検索部202が検索したタグ情報を通信部203から受信したりする部材である。上述の通り、通信部112と通信部203は無線等の手段を用いて通信することにより、上記を含め複数の情報の送受信が可能である。
【0061】
制御部113は、情報処理装置100の撮像や表示等の各種機能を統括的に制御する。例えば、操作部111から読取ったズーム倍率設定値に応じた光学ズーム倍率やデジタルズーム倍率の画像拡大部102への設定や、および、撮像部101への焦点調整や露光調整などの光学的な制御等を行う。或は、表示部110への表示に関する制御として、例えば表示/非表示の制御やバックライトの明るさに関する制御や、情報処理装置100の電源供給制御等を行う。また、上述の各種部材の制御も統括的に実施する。
【0062】
ROM114は、制御部113の動作のためのプログラムを格納している。RAM115は、各種データの一時記憶領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。
【0063】
<検索サーバ200の構成>
次に、情報処理システム1に係る検索サーバ200の構成について、以下に詳述する。
タグ記憶部201は、各タグ毎に表面用、裏面用、及び側面用の3種類のタグ画像、各タグの仮想空間内における位置、各タグの仮想空間内における配置方向、並びに各タグの垂直方向の大きさ、形状、及び表示向きから構成されるタグ情報を記憶している。
【0064】
タグ検索部202は、後述する通信部203から得られる、情報処理装置100の位置、情報処理装置100の方向、水平方向の画角、タグ情報取得最短距離、タグ情報取得最長距離とからタグ情報取得範囲を算出し、タグ記憶部201に記憶されたタグ情報のうちこのタグ情報取得範囲内に含まれるタグ情報を検索する部分である。なお、後述するタグ取得禁止範囲特定部205が特定するタグ取得禁止範囲が、タグ情報取得範囲に含まれる場合、タグ検索部202はタグ情報取得範囲からタグ取得禁止範囲を除いた範囲に含まれるタグ情報を検索する。
【0065】
通信部203は、タグ検索部202が検索したタグ情報を通信部112に対して送信したり、画角算出部106が算出した水平方向の画角と、位置検出部104が検出した情報処理装置100の位置と、方向検出部105が検出した情報処理装置100の方向と、タグ情報取得距離算出部107が算出したタグ情報取得最短距離とタグ情報取得最長距離を通信部112から受信する部分である。上述の通り、通信部203と通信部112は無線等の手段を用いて通信することにより、上記を含め複数の情報の送受信が可能である。
【0066】
タグ取得禁止範囲記憶部204は、タグ情報の取得を禁止する設定が付加された範囲(以下、「タグ取得禁止設定範囲」という。)と、タグ情報の取得を禁止する範囲(以下、「タグ取得禁止範囲」という。)を関連付けて記憶する部材である。
【0067】
タグ取得禁止範囲特定部205は、通信部203を通じて受信した情報処理装置100の位置が含まれるタグ取得禁止設定範囲をタグ取得禁止範囲記憶部204から特定し、取得を禁止するタグ情報を特定する部分である。
【0068】
制御部206は、通信部203を介した各種情報の送受信、上述の各種部材の制御、各種部材への電源供給の制御等を統括的に行う。
【0069】
ROM207は、制御部206の動作のためのプログラムを格納する部材であり、RAM208は、各種データの一時的な保存領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。
【0070】
<情報処理装置100によるタグ情報の取得とタグ表示画像の生成表示処理>
次に本実施の形態に係る情報処理システム1によるタグ情報の取得とタグ表示画像の生成表示処理について、図4に示したフローチャートを参照して説明する。
【0071】
まず位置検出部104が情報処理装置100の現在位置を、GPS衛星等を利用することにより取得する(ステップS101)。次に方向検出部105が、撮像部101の撮像方向を検出する(ステップS102)。
【0072】
続いて画角算出部106が撮像部101の水平方向の画角を算出する(ステップS103)。一般的な他の撮像装置と同様に、情報処理装置100においても、光学ズーム又はデジタルズームによるズーム倍率の変化に応じて撮像部101の水平画角及び垂直画角は変化する。また、上述した通り水平姿勢で撮像した場合の水平方向の画角と、垂直姿勢で撮像した場合の水平方向の画角の大きさは異なる。従って、画角算出部106は、画像拡大部102が撮像画像を拡大するズーム倍率と、姿勢検出部103が検出する情報処理装置100の姿勢とから水平方向の画角の算出を行う。
【0073】
そして姿勢検出部103が情報処理装置100の姿勢を検出する(ステップS104)。
【0074】
上記の各ステップで取得された情報処理装置100の現在位置、撮像方向、水平方向の画角、姿勢に関する情報を、RAM115が記憶する(ステップS105)。
【0075】
次に制御部113は、タグ表示画像の生成表示処理が第1回目のものであるかどうかを判定する(ステップS106)。制御部113が第1回目の処理ではない旨の判定をした場合は(ステップS106でNO)、制御部113はステップS105でRAM115に記憶した情報処理装置100の現在位置、撮像方向、水平方向の画角、姿勢に関する情報を読み出す(ステップS107)。
【0076】
次に、制御部113は、ステップS107で読み出した情報処理装置100の現在位置、撮像方向、水平方向の画角及び姿勢と、前回のタグ表示画像の生成表示処理にて記憶し、読み出した情報処理装置100の位置、撮像方向、水平方向の画角及び姿勢とを個々に比較し、これらの値に変化が生じたかどうかを判定する(ステップS108)具体的には、それぞれの値に所定の範囲を設け、ステップS107で記憶した値に対して、この所定範囲を超える変化が合った場合に、制御部113は変化が生じた旨の判断をする。
【0077】
情報処理装置100の現在位置、撮像方向、水平方向の画角、姿勢のうちのいずれも変化しない場合(ステップS108におけるNO)、制御部113は所定の時間が経過したかを判定する(ステップS109)。所定の時間が経過しない場合(ステップS109におけるNO)は、ステップS109を繰り返し、所定の時間が経過した場合(ステップS109のおけるYES)は、ステップS101に戻り前述の処理を繰り返す。
【0078】
ステップS106で制御部113がタグ表示画像の生成表示処理が第1回目のものであると判定した場合(ステップS106でYES)、又はステップS108で制御部113が情報処理装置100の現在位置、撮像方向、水平方向の画角、姿勢のうちのいずれかに変化が生じたと判定した場合(ステップS108でYES)、タグ情報取得距離算出部107はタグ情報取得最短距離とタグ情報取得最長距離を算出する(ステップS110)。
【0079】
なお、上述の通り情報処理装置100と検索サーバ200は無線通信にて接続されていることから、情報処理装置1の消費電力を考慮した場合にはできるだけ無線通信を行わない方がよい。従って、上述のステップS106〜S109の工程を踏むことで、タグ表示画像の初回の表示処理を除き、情報処理装置100の現在位置、撮像方向、水平方向の画角、姿勢を所定の時間間隔で取得し、これらの値に変化が生じた時のみタグ情報の検索処理やタグ表示画像の更新処理を行うことができる。
【0080】
<タグ情報取得範囲>
タグ情報取得距離算出部107は制御部113の指示に従い、タグ情報に含まれるタグの水平及び垂直方向の大きさとして標準的な大きさを有するものを、タグ表示画像として表示部110に適切な大きさで重畳表示することができるように、タグ情報取得最短距離とタグ情報取得最長距離を算出する(ステップS110)。この算出処理を説明するにあたり、これらタグ情報取得最短距離及びタグ情報取得最長距離が算出される基準及び算出される理由について、検索サーバ200が算出するタグ情報取得範囲の説明を一部交えて以下に説明する。なお、検索サーバ200によるタグ情報取得範囲については、後にさらに詳述する。
【0081】
図5は、情報処理装置100と、仮想現実空間内に配置されたタグTA05、TB05、及びTC05との関係を上面視した概念図であり、下段はその際の情報処理装置100の備える表示部110の表示画面MG05を示す図である。
ここで、タグTB05は、水平及び垂直方向の大きさとして標準的なものを有しており、表示部110に表示される表示画面MG05には、このタグTB05に基づきタグ表示画像TGB05が適切な大きさで表示されている。タグ情報取得距離算出部107はこのタグTB05のような状態にあるタグを基準としてタグ情報取得最短距離及びタグ情報取得最長距離を算出する。すなわち、タグ情報取得距離算出部107は、位置検出部104が取得した情報処理装置100の現在位置からタグTB05の仮想空間内における位置までの光軸上の距離Lbを基準とし、この距離Lbより距離Lcだけ短い距離をタグ情報取得最短距離、距離Lcだけ長い距離をタグ情報取得最長距離として算出する。
【0082】
そして、情報処理装置100の位置を中心とするタグ情報取得最短距離を半径とする円弧、情報処理装置100の位置を中心とするタグ情報取得最長距離を半径とする円弧、及び画角算出部106が算出した水平方向の画角とで囲まれた範囲(図5中にてハッチングで示した範囲)が情報処理装置100におけるタグ情報取得範囲となる。
【0083】
上述のように、標準的な水平及び垂直方向の大きさを有するタグの仮想空間内における位置(以下、「基準位置」という。)を基準としたタグ情報取得最短距離及びタグ情報取得最長距離を算出し、これらに基づいてタグ情報取得範囲が設定されることで、このタグ情報取得範囲に含まれる各タグ情報に係るタグ表示画像は概ね適切な大きさで表示部110に表示されることになる。図5の例では、タグTB05及びTC05はタグ情報取得範囲に含まれるため、タグ表示画像TGB05及びTGC05は表示画面MG05に適切な大きさで表示されることになる。一方で、タグTA05はタグ情報取得範囲に含まれないため、タグTA05に基づくタグ表示画像は表示画面MG05上には表示されないことになる。
【0084】
<タグ情報取得距離算出部107のタグ情報取得最短距離とタグ情報取得最長距離の算出>
さらにタグ情報取得最短距離及びタグ情報取得最長距離は画像拡大部102のズーム倍率に基づいて算出される。以下にこの算出方法について、図6を参照して詳述する。
【0085】
図6は、情報処理装置100の位置を中心としタグ情報取得最短距離を半径とする円弧と、情報処理装置100の位置を中心としタグ情報取得最長距離を半径とする円弧と、撮像部101の画角とで囲まれた範囲をタグ情報取得範囲(図6(a)、(b)及び(c)においてハッチングで示した範囲)とし、情報処理装置100にて撮像しているところの上面視を示したものである。なお、情報処理装置100が水平姿勢にある場合の基準位置での横方向の撮像幅をWb1、情報処理装置100が垂直姿勢にある場合の基準位置での横方向の撮像幅をWb2として以下の説明を行う。
【0086】
まず、図5(a)を用いて基準位置からタグ情報取得最短距離までの距離(基準位置からタグ情報取得最長距離までの距離と等しい)Lcの算出方法について説明を行う。
【0087】
図5(a)は、画像拡大部102を最低ズーム倍率(本実施の形態では1倍とする)に設定し、情報処理装置100を水平姿勢にして撮像しているところを示している。情報処理装置100の直前にあるタグ情報に基づきタグ表示画像を表示画面に表示するためには、画像拡大部102を最低ズーム倍率に設定した場合のタグ情報取得最短距離Rmin1をゼロにすれば良い。すなわち、距離Lcは画像拡大部102を最低ズーム倍率に設定した場合の、情報処理装置100から基準位置までの距離とすれば良い。この場合、タグ情報取得最長距離Rmax1は距離Lcを2倍した距離として求まり、タグ情報取得範囲は情報処理装置100の水平画角内の0〜2Lcの範囲となる。例えば、水平方向の画角が60度、標準的なタグが200mm角の大きさを持つ四角形であり、このタグ表示画像の横方向の長さが表示画面の横方向の1/10になるように表示する場合、基準位置での横方向の撮像幅Wb1は2m、距離Lcは約1.73mと求まり、タグ情報取得範囲は情報処理装置100の水平画角内の0m〜3.46mの範囲となる。
【0088】
次に、図6(b)を用いて、画像拡大部102をm倍に設定した場合の、情報処理装置100から基準位置までの距離について説明を行う。
【0089】
図6(b)は、画像拡大部102をm倍(>1倍)に設定し、情報処理装置100を水平姿勢にして撮像しているところを示している。ズーム倍率を1倍からm倍に上げた時に、表示画面上に表示される被写体の長さがm倍になるように画面拡大部102が動作する場合、図6(b)に示すように、画像拡大部102のズーム倍率をm倍に設定すると基準位置は情報処理装置100から距離mLcの位置となる。この場合、タグ情報取得最短距離Rmin2は(mLc−Lc)、タグ情報取得最長距離Rmax2は(mLc+Lc)となり、タグ情報取得範囲は情報処理装置100の水平画角内の(mLc−Lc)〜(mLc+Lc)の範囲となる。例えば、画像拡大部102のズーム倍率を4倍に設定した場合、情報処理装置100から基準位置までの距離は6.92mとなり、タグ情報取得範囲は情報処理装置100の水平画角内の5.19m〜8.65mの範囲となる。
【0090】
次に、図6(c)を用いて、垂直姿勢で撮像を行い、かつ画像拡大部102をm倍に設定した場合の、情報処理装置100から基準位置までの距離について説明を行う。
【0091】
図6(c)は、図6(b)の情報処理装置100をレンズの中心を軸に90度回転して垂直姿勢で撮像しているところを示している。回転によって基準位置の位置は変化しないので、タグ情報取得最短距離Rmin2とタグ情報取得最長距離Rmax2は図6(b)の水平姿勢の場合と同じ値となる。この場合、水平方向の画角は情報処理装置100の垂直画角となるので、タグ情報取得範囲は情報処理装置100の垂直画角内の(mLc−Lc)〜(mLc+Lc)の範囲となる。
【0092】
以上で説明したように、タグ情報取得距離算出部107はタグ情報取得最短距離およびタグ情報取得最長距離を画像拡大部102のズーム倍率に基づいて算出する。従って、タグ情報取得距離算出部107は、画像拡大部102から現在のズーム倍率に関する情報を受け取り、このズーム倍率に基づいてタグ情報取得最短距離とタグ情報取得最長距離を算出する。
なお、タグ情報取得最短距離およびタグ情報取得最長距離の算出に用いる距離Lcは、情報処理装置100の最低ズーム倍率時の水平画角の大きさ、タグの標準的な大きさ、表示画面上の表示サイズから求まるものであり、情報処理装置100の製造時にタグ情報取得距離算出部107内に予め記憶されるものとする。
【0093】
図4に戻り、ステップS110でタグ情報取得最短距離及びタグ情報取得最長距離が算出されると、制御部113は通信部112を用いて、ステップS101〜ステップS103で取得した、情報処理装置100の現在位置、撮像方向、及び水平方向の画角、並びにステップS110で取得した、タグ情報取得最短距離及びタグ情報取得最長距離を検索サーバ200の通信部203へ送信する(ステップS111)。
【0094】
次に、検索サーバ200はタグ情報の検索の処理を実施する(ステップS112)。この検索サーバ200によるタグ情報の検索の処理の詳細について、図7に示したフローチャートを参照し、以下に詳述する。
【0095】
まず、制御部206は、情報処理装置100の通信部112から送信された情報処理装置100の現在位置、撮像方向、及び水平方向の画角、並びにステップS110で取得した、タグ情報取得最短距離及びタグ情報取得最長距離を通信部203が受信するのを待ち、この受信が完了した後に通信部203は制御部206の制御により受信した各種情報をタグ検索部202へ渡す(ステップS201)。
【0096】
次に、タグ検索部202は、上記ステップS201で受信した各種情報から上述のタグ情報取得範囲を算出する(ステップS202)。
【0097】
ステップS202でタグ情報取得範囲が算出されると、次にタグ取得禁止範囲特定部205は、取得を禁止するタグ情報を特定する(ステップS203)例えば、学校施設等の児童が集まる施設近辺に居酒屋等の飲食街があった場合、児童が学校施設等で使用する情報処理装置では、その居酒屋の広告等を表示するタグ表示画像は表示しないことが望ましい。このように表示装置が所定の範囲にある場合、特定のタグ表示画像を表示しないようにすることが望まれる場合がある。
【0098】
従って、タグ取得禁止範囲特定部205は制御部206の指示により、次のようにして取得を禁止するタグ情報を特定する。まず、タグ取得禁止範囲特定部205はステップS201で取得した情報処理装置100の現在位置がタグ取得禁止設定範囲内にあるかどうかを判定する。タグ取得禁止範囲記憶部204はタグ情報の取得を禁止する設定が付加された範囲であるタグ取得禁止設定範囲と、タグ情報の取得を禁止する範囲であるタグ取得禁止範囲とを関連付けて記憶しており、情報処理装置100の現在位置がタグ取得禁止設定範囲内にあると判定された場合には、関連するタグ取得禁止範囲内に含まれるタグ情報を、取得が禁止されたタグ情報として特定する。
【0099】
図8を参照して、このタグ取得禁止範囲特定部205による取得を禁止するタグ情報の特定処理の例を説明する。図8では、学校エリアSA08内に位置する情報処理装置100を水平姿勢にして近辺を撮像しているところを上面視した図である。図8に示すように、タグ情報取得範囲TA08には、飲食街エリアPA08が含まれている。従って、情報処理装置100のモニタ110には、飲食街エリアPA08内に存在する居酒屋等の飲食施設の情報を示すタグ表示画像が表示されてしまう。
【0100】
そこで、タグ取得禁止範囲記憶部204は、タグ取得禁止設定範囲としての学校エリアSA08と、タグ取得禁止範囲としての飲食街エリアPA08とを関連付けて記憶しており、タグ取得禁止範囲特定部205は情報処理装置100の現在位置が学校エリアSA08内にあると判定した場合は、飲食街エリアPA08に含まれるタグTA08及びTB08に係るタグ情報を禁止を取得するタグ情報として特定し、取得を禁止する。
【0101】
以上のようにタグ取得禁止範囲に含まれるタグ情報を、取得を禁止するタグ情報として特定し取得を禁止することで、学校エリアSA08内にいる児童の情報処理装置100には、タグTC08に基づくタグ画像は表示されるが、タグTB08に基づくタグ画像は表示されないようにすることができる。
【0102】
図7に戻り、ステップS203で取得を禁止するタグ情報が特定されると、タグ検索部202はタグ記憶部201に記憶された全タグ情報の中から任意のタグ情報を読み出す(ステップS204)。
【0103】
<タグ情報>
ここで、タグ情報の詳細について、図9を参照して先に説明する。図9は、情報処理装置100を水平姿勢にして点Pの位置から撮像を行ったところを上面視した図である。図9(a)は、ステップS204でタグ検索部202が、タグ記憶部201から任意のタグ情報として、情報処理装置100が位置する点Pの近傍に位置するタグ情報TA09、TB09、TC09、TD09、及びTE09を読み出したところを概念的に示している。ここで、情報処理装置100が位置する点Pの位置はタグ取得禁止設定範囲SA09内にあり、このタグ取得禁止設定範囲に関連付けられたタグ取得禁止範囲PA09にはタグ情報TD09が含まれるものとして以下を説明する。
【0104】
上述の通り、各タグ情報には、表面用、裏面用、及び側面用の3種類のタグ画像、各タグの仮想空間内における位置、各タグの水平及び垂直方向の大きさ、各タグの仮想空間内における配置方向、各タグの形状、及び各タグの表示向きに関する情報が含まれている。図9(a)では、タグ情報TA09は、仮想空間内における位置が(Xs1,Ys1)、水平方向の大きさがHt1、垂直方向の大きさがVt1、仮想空間内における配置方向がθt1、形状が矩形形状、及び表示向きが裏側向きである旨の情報を含んでいる。タグ情報TB09は、仮想空間内における位置が(Xs2,Ys2)、水平方向の大きさがHt2、垂直方向の大きさがVt2、仮想空間内における配置方向がθt2、形状が矩形形状、及び表示向きが裏側向きである旨の情報を含んでいる。そして、タグ情報TC09は、仮想空間内における位置が(Xs3,Ys3)、水平方向の大きさがHt3、垂直方向の大きさがVt3、仮想空間内における配置方向がθt3、形状が矩形形状、及び表示向きが表側向きである旨の情報を含んでいる。
【0105】
図9(b)に、図9(a)に示したタグ情報をさらに詳細に説明するために、タグ情報に基づき仮想の物体(被写体)であるタグを仮想現実空間上に想定する考え方を説明するための概念図を示す。タグ情報に含まれる仮想空間内における位置は、タグの一端を示しており、この一端から、同じくタグ情報に含まれる水平方向及び垂直方向の大きさ及び形状に沿って仮想現実空間内のタグが構成される。以下、この一端としての仮想現実空間内における位置をタグの「開始位置」とも呼ぶこととする。配置方向はタグを現実空間に存在させたと仮定した場合の仮想現実空間内におけるタグのX軸方向からの方向を示しており、開始位置から水平方向の大きさだけ伸ばしたベクトルとX軸のベクトルとのなす角度を示している。以下、開始位置から水平方向の大きさだけ伸ばしたベクトルの他端を「終了位置」と呼ぶ。表示向きはタグを現実空間に存在させたと仮定した場合の仮想現実空間内におけるそのタグの表示向きを意味しており、開始位置を下、終了位置を上とするようにタグを配置した場合の右側の面の裏表を示している。
以上のような考え方で、タグを、現実空間とリンクした仮想現実空間の中に存在し、あたかも撮像部101で撮像される仮想の物体(被写体)であるかのように扱うことができる。
【0106】
図7に戻り、ステップS204で任意のタグ情報が読み出されると、以下の手順で取得されるタグ情報の検索が行われる。
まず、タグ検索部202は、情報処理装置100の現在位置を中心として、半径をタグ情報取得最短距離とする円の外に、ステップS204で読み出した任意のタグ情報の仮想空間における位置、つまりタグの開始位置が位置するかどうかの判定を行う(ステップS205)。
【0107】
円の外にタグの開始位置が位置する場合(ステップS205でYES)、タグ検索部202は、情報処理装置100の現在位置を中心とし、半径をタグ情報取得最長距離とする円の内に、ステップS204で読み出した任意のタグ情報に係るタグの開始位置が位置するかどうかの判定を行う(ステップS206)。
【0108】
円の内にタグの開始位置が位置する場合(ステップS206でYES)、タグ検索部202は、情報処理装置100の現在位置、撮像方向、水平方向の画角から定まる画角内に、ステップS204で読み出した任意のタグ情報に係るタグの開始位置が位置するかどうかの判定を行う(ステップS207)。
【0109】
画角内に位置する場合(ステップS207でYES)、ステップS204で読み出した任意のタグ情報がステップS203で特定した取得を禁止されているタグ情報かどうかの判定を行う(ステップS208)。
【0110】
取得を禁止されているタグ情報ではないとの判定をした場合(ステップS208でNO)、この読み出したタグ情報をタグ検索部202の有する一時記憶領域に記憶する(ステップS209)。
【0111】
次に、タグ検索部202は、タグ記憶部201内に記憶された全タグ情報について上記ステップS205〜ステップS208の検索を行ったかについて判定を行う(ステップS210)。
なお、ステップS204で読み出された任意のタグ情報に係るタグの開始位置が、情報処理装置100の現在位置を中心とし半径をタグ情報取得最短距離とする円外に位置しない場合(ステップS205におけるNO)、情報処理装置100の現在位置を中心とし、半径をタグ情報取得最長距離とする円内に位置しない場合(ステップS206におけるNO)、情報処理装置100の現在位置、撮像方向、水平方向の画角から求まる画角内に位置しない場合(ステップS207におけるNO)、ステップS204で読み出した任意のタグ情報が取得を禁止されているタグ情報であると判定された場合(ステップS208におけるYES)、も同様にタグ記憶部201内に記憶された全タグ情報について上記ステップS205〜ステップS208の検索を行ったかについて判定を行う(ステップS210)。
【0112】
タグ記憶部201内に記憶された全タグ情報についての検索が行われていない判定された場合(ステップS210におけるNO)、ステップS204に戻り前述の処理を繰り返す。
タグ記憶部201内に記憶された全タグ情報について検索が行われたと判定された場合(ステップS210におけるYES)、タグ検索部202は制御部206に対して検索が終了した旨の通知を行い、制御部206は、ステップS209で一時的に記憶したすべてのタグ情報を読み出す(ステップS211)。
【0113】
次に、制御部206は、タグ情報の検索処理に対する終了指示があったかどうかを判定し(ステップS213)、終了指示があった場合(ステップS213におけるYES)、タグ情報の検索処理を終了し、指示がない場合(ステップS213におけるNO)にはステップS201に戻り前述の処理を繰り返す。
【0114】
以上で説明したように、ステップS204〜ステップS211の処理を行うことにより、検索サーバ200は情報処理装置100から送信された情報に基づき、タグ情報取得範囲内に含まれ、かつ取得を禁止されていないタグ情報の検索を実施することが可能となる。
【0115】
図4のフローチャートに戻り、ステップS112で検索サーバ200におけるタグ情報の検索処理が完了すると、検索サーバ200は検索されたタグ情報を通信部203を介して情報処理装置100に送信し、情報処理装置100は通信部112を介して当該検索されたタグ情報を受信する(ステップS113)。
【0116】
次にタグ表示画像生成部108は、制御部113の指示に基づいて、ステップS113で受信したタグ情報から、ステップS101で取得した情報処理装置100の現在位置とタグ情報に含まれるタグの仮想空間内における配置方向及びタグの表示向きに基づき、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の3種類のタグ画像のなかから表示されるタグ表示画像に使用するタグ画像を選択する(ステップS114)。この選択の処理について、図10を参照して以下に詳述する。
【0117】
図10は、情報処理装置100を水平姿勢にして点Pの位置から撮像を行ったところを上面視した図である。図10では、ステップS113でタグ情報TA10、TB10、及びTC10が受信されたものとする。
【0118】
タグ表示画像生成部108は、まず、位置検出部104が検出する情報処理装置100の現在位置の情報を制御部113経由で取得し、この現在位置と各タグ情報に含まれるタグの開始位置とを結ぶ直線LA10、LB10、及びLC10を算出する。そしてタグ表示画像生成部108は、各直線と各タグ情報に含まれるタグの仮想空間における配置方向とがなす角度αt1、αt2、及びαt3を算出する。そして算出された各角度とタグ情報に含まれるタグの表示向きとの関係に基づいて、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の3種類のタグ画像のなかから表示されるタグ表示画像を選択する。
【0119】
具体的に、情報処理装置100の現在位置とタグの開始位置を結ぶ直線とタグの配置方向がなす角度をαとすると、0度<α<180度の場合はタグの表示向きと反対面、180度<α<360度の場合はタグの表示向き、α=0度、α=180度の場合は側面のタグ画像をタグ表示画像生成部108は選択する。
【0120】
図10において、タグ情報TA10の角度αt1は0度<αt1<180度であるので、タグ情報TA10に基づくタグ画像としてタグの表示向きと反対の面、つまり表面タグ画像が選択される。同様に、タグ情報TB10に基づくタグ画像として表面タグ画像、タグ情報TC10に基づくタグ画像として裏面タグ画像が選択される。
【0121】
ステップS114で、表面タグ画像、裏面タグ画像、又は側面タグ画像の別が選択されると、次にタグ表示画像生成部108は、制御部113の指示に基づき、タグ情報に含まれるタグの開始位置、タグの水平及び垂直方向の大きさ、タグの仮想空間における配置方向、タグの仮想空間における表示向き、タグの形状、及びステップS104で検出された情報処理装置100の姿勢に関する情報から、タグ表示画像の表示部110の表示画面上の表示位置を算出する(ステップS114)。この表示位置の算出の処理について、図11を参照して以下に詳述する。
【0122】
図11は、図10で示したタグ情報TA10に基づいてタグ表示画像を生成する場合の算出方法について示したものである。
まず、最初に図11(a)を用いてタグ表示画像の水平方向の表示位置の算出方法を説明する。タグ表示画像生成部108は、まず、姿勢検出部103が検出する情報処理装置100の姿勢を制御部113経由で取得し、この姿勢に関する情報から表示部110の表示画面の水平方向の画素数Hpと垂直方向の画素数Vpを算出する。
【0123】
次に、タグ表示画像生成部108は、タグ情報TA10に係るタグの開始位置である点Ts1の位置(Xs1,Ys1)に基づき、点Ts1の情報処理装置100からの方向θsを算出する。算出された方向θsと、情報処理装置100の撮像方向θhとの間の差分から、情報処理装置100から点Ts1での撮像幅の中心点Csまでの距離Lsと、中心点Csから点Ts1までの距離Wsを符号付きで算出する。
【0124】
次に、求めた距離Lsと情報処理装置100の水平方向の画角βhとから、点Ts1での撮像幅Hsを算出する。算出された撮像幅Hsが表示画面の水平方向の画素数Hpに対応することになるので、表示画面上の点Ts1の水平方向の表示位置は、表示画面の中心よりHp×Ws/Hsだけ右側の位置に表示されることになる。
【0125】
次に、タグ表示画像生成部108は、タグ情報内のタグの開始位置、タグの水平方向の大きさ、タグの配置方向からタグの終了位置となる点Te1(Xe1,Ye1)を算出する。開始位置Ts1と同様にして、タグ表示画像生成部108は、点Te1の情報処理装置100からの方向θeを求め、情報処理装置100から点Te1での撮像幅の中心点Ceまでの距離Leと、中心点Ceから開始点Te1までの距離Weと、点Te1での撮像幅Heを算出する。
【0126】
算出された撮像幅Heが表示画面の水平方向の画素数Hpに対応することになるので、表示画面上の終了点Te1の水平方向の表示位置は、表示画面の中心よりHp×We/Heだけ左側の位置に表示されることになる。
【0127】
次に図11(b)を参照して、タグ表示画像の垂直方向の表示位置の算出方法を説明する。なお、本実施形態では、前述した通り、情報処理装置100が垂直方向の傾きを持たず、タグ表示画像が垂直方向の傾きを持たず、さらに情報処理装置100の撮像部101のレンズの中心(光軸)と同じ高さにタグ表示画像の中心が位置する場合について説明を行っているので、図11(b)において、タグ情報TA10に基づくタグ表示画像は、開始位置Ts1と、開始位置Ts1からタグ画像の垂直方向の大きさVt1だけ垂直方向に離れた位置にある点Ts1’と、終了位置Te1と、終了位置Te1からVt1だけ垂直方向に離れた位置にある点Te1’とからなる四角形(図11(b)にてクロスハッチングで示した四角形)とし、点Ts1と点Ts1’の中心点Cs’と、点Te1と点Te1’の中心点Ce’は情報処理装置100の光軸と同じ高さに位置するものとして説明を行う。
【0128】
タグ表示画像生成部108は、まず、上述した情報処理装置100から開始位置Ts1までの距離Lsと垂直方向の画角βvとから、開始位置Ts1での撮像幅Vsを算出する。算出された撮像幅Vsが表示画面の垂直方向の画素数Vpに対応することになるので、表示画面上の開始位置Ts1の垂直方向の表示位置は表示画面の中心よりVp×Vt1/(2×Vs)だけ上側の位置に表示されることになり、表示画面上の点Ts1’の垂直方向の表示位置は、表示画面の中心よりVp×Vt1/(2×Vs)だけ下側の位置に表示されることになる。
【0129】
開始位置Ts1と点Ts1’と同様にして、タグ表示画像生成部108は、上述した情報処理装置100から終了位置Te1までの距離Leと垂直方向の画角βvとから、終了位置Te1での撮像幅Veを算出する。算出された撮像幅Veが表示画面の垂直方向の画素数Vpに対応することになるので、表示画面上の終了位置Te1の垂直方向の表示位置は表示画面の中心よりVp×Vt1/(2×Ve)だけ上側の位置に表示されることになり、表示画面上の点Te1’の垂直方向の表示位置は、表示画面の中心よりVp×Vt1/(2×Ve)だけ下側の位置に表示されることになる。
【0130】
なお、図11では、情報処理装置100の姿勢が水平姿勢の場合について説明を行ったが、情報処理装置100が垂直姿勢や水平方向から180度回転した姿勢である場合には、タグ画像生成部108は、姿勢検出部103から取得した表示装置100の姿勢に基づいて表示画面上の表示位置を算出するように動作することができる。
【0131】
図4に戻り、ステップ115でタグ表示画像の表示位置が算出されると、タグ表示画像生成部108はステップS114で選択されたタグ画像を、ステップS115で算出された表示位置になるように加工し、画像合成部109に出力するタグ表示画像を生成する。そして、タグ表示画像生成部108は、この生成されたタグ表示画像を画像合成部109に出力し、画像合成部109はこのタグ表示画像と撮像部101から出力される撮像画像とを合成する(ステップS116)。
【0132】
そして、表示部110は制御部113の指示に基づき、ステップS116で合成された画像を表示部110の表示画面に表示する(ステップS117)。
【0133】
図12は、ステップS116で表示位置を算出した図10におけるタグ情報TA10に基づくタグ表示画像TGA10を、情報処理装置100を水平姿勢にして表示部110の表示画面MG12に表示した場合について示したものである。表示部110の表示画面には、タグ表示画像生成部108が選択した表面のタグ画像から生成したタグ表示画像が表示され、撮像者はタグ表示画像から所望の情報を取得することができる。
【0134】
また、タグ情報TA10の真正面に情報処理装置100が位置しないため、タグ情報TA10に基づくタグ表示画像TGA10は表示画面の右方向にいくにつれて縦方向の幅が狭くなるように表示される。このタグ表示画像の形状から、撮像者は情報処理装置100の真正面にタグ情報TA10が位置しないことを瞬時に把握することができる。
【0135】
また、図13は図9のタグ情報TA09、TB09、及びTC09に基づくタグ表示画像TGA09、TGB09、及びTGC09を、情報処理装置100を水平姿勢にして表示部110の表示画面MG13に示した場合について示したものである。各タグ表示画像は、それぞれのタグ情報に基づいた大きさ、形状、向きで表示画面に表示され、撮像者は各々のタグ情報の位置関係を瞬時に把握することができる。また、タグ情報TC09のタグ表示画像は裏面のタグ画像から生成され、撮像者はこの画像からタグ情報TC09に係るタグが反対向きであることを把握することができる。
【0136】
なお、図13において、表面のタグ画像から生成されたタグ表示画像TGA09及びTGB09と同様に、裏面のタグ画像から生成されたタグ表示画像TGC09も表示画面に表示されるとして説明を行ったが、裏面のタグ画像にいかなる情報も持たないように構成した場合には、裏面で表示されるタグ表示画像を非表示とすることもできる。具体的には、タグ画像生成部108が複数のタグ画像の中から対応するタグ画像を選択する時に、裏面のタグ画像が選択されたタグのタグ表示画像を表示しないように処理すれば良い。側面のタグ画像が選択された場合についても同様である。
【0137】
図4に戻り、制御部113は、タグ情報の取得とタグ表示画像の生成表示処理に対する終了指示があったかどうかを判定し(ステップS118)、終了指示があった場合は(ステップS118でYES)、当該処理を終了し、終了指示がない場合は(ステップS118でNO)、ステップS101に戻り上述の処理を繰り返す。
【0138】
以上のように、本発明の実施形態に係る情報処理システム1によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。
また、本発明の実施形態に係る情報処理システム1によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。
【0139】
なお、本実施形態では情報処理装置100と検索サーバ200とからなる情報処理システム1について説明したが、検索サーバ200が備える構成部材の一部を情報処理装置が備える、又は情報処理装置100が備える構成部材の一部を検索サーバが備えるように構成した情報処理システムにおいても本発明の効果を得られる。例えば、検索サーバがタグ表示画像生成部108と同様の役割を果たす部材を備え、検索サーバ側で生成したタグ表示画像を情報処理装置に送信する等の構成等が挙げられる。この構成によれば、情報処理装置側のタグ画像生成に係る処理の負担を軽減することができる。或は、情報処理装置がタグ取得禁止範囲記憶部204及びタグ取得禁止範囲特定部205と同様の役割を果たす部材を備える構成も可能である。本構成によれば、情報処理装置でタグ取得禁止範囲を特定した上で、検索サーバがタグ情報の検索を実施することが可能となる。
【0140】
<第二の実施形態:情報処理システム>
第一の実施形態では、タグ情報の取得とタグ表示画像の生成を行う情報処理装置100とタグ情報の検索を行う検索サーバ200とがとが無線通信で各種情報を授受する情報処理システム1を例にあげたが、ここではタグ情報の取得、タグ表示画像の生成、及びタグ情報の検索の全てを行う情報処理装置300を例に挙げて説明する。
【0141】
図14は、本発明の実施形態に係る情報処理装置300の構成を示すブロック図である。本実施形態に係る情報処理装置300は、搭載された撮像部を通じて動画及び静止画を撮像することができる。
なお、本発明はデジタルスチルカメラやデジタルビデオカメラをはじめ、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)等、撮像が可能なその他の電子機器においても採用することができる。以上は上述の情報処理システム1における情報処理装置100と同様である。
【0142】
<情報処理装置300の構成>
情報処理装置300の構成について以下に述べる。情報処理装置300は被写体の撮像画像の取得等や当該撮像画像のズーム等を行う撮像部301、タグ情報を検索するための情報を処理するタグ検索情報処理部302、タグ情報を検索するタグ検索処理部303、及びタグ情報に基づきタグ表示画像の生成や表示処理を行うタグ表示処理部304、並びに制御部313等から大きく構成されている。また、それらの各部を構成する部材に関し、上述の情報処理システム1が備える部材と実質的に同一の処理を司るものについては、当該情報処理システム1と同じ記号を付して以下を説明する。
【0143】
制御部313は、制御部113は、情報処理装置100の撮像や表示等の各種機能を統括的に制御する。例えば、操作部111から読取ったズーム倍率設定値に応じた光学ズーム倍率やデジタルズーム倍率の画像拡大部102への設定や、および、撮像部101への焦点調整や露光調整などの光学的な制御等を行う。或は、表示部110への表示に関する制御として、例えば表示/非表示の制御やバックライトの明るさに関する制御や、情報処理装置100の電源供給制御等を行う。また、上述の各種部材の制御も統括的に実施する。
また、制御部313はタグ検索情報処理部302によるタグ情報を検索するための情報の処理、タグ検索処理部303によるタグ情報の検索の処理、及びタグ表示処理部304によるタグ表示画像の生成や表示の処理を統括制御する。
【0144】
ROM314は、制御部313の動作のためのプログラムを格納している。RAM315は、各種データの一時記憶領域として使用されたり、各種プログラムに係る演算時のワーク領域として使用されたりする。
【0145】
<撮像部301の構成>
撮像部301は、図示しないレンズ系に入来する撮像光を、同じく図示しない撮像素子により光電変換し、映像信号に変換することによって被写体の撮像画像を取得する撮像画像取得部としての機能を果たすともに、被写体にレンズ系の焦点を合わせる等の光学的な機能を果たす部材である。
【0146】
画像拡大部102は、図示しないレンズ系を同じく図示しないズームアクチュエータ等のレンズ駆動部材により光学的にズームしたり、図示しない撮像素子に保持された撮像画像等をトリミングすることで電子的にズームしたりして、撮像部301が撮像する撮像画像を拡大等する撮像画像倍率変更部としての機能を果たす部材である。
【0147】
<タグ検索情報処理部302の構成>
姿勢検出部103は、情報処理装置300の姿勢を検出する部材であり、重力加速度を検出する素子(加速度センサ)により重力に対する方向を検出する方法や、加速度センサ(ジャイロスコープ)を用いて各速度を積算することにより回転角度を求める方法等を用いることによって、情報処理装置300の姿勢に関する情報、例えば水平姿勢からの情報処理装置300の水平方向の傾きを検出する。姿勢検出部103が検出した姿勢に関する情報は、後述する画角算出部106による水平方向の画角の算出に用いられるほか、後述するタグ表示画像生成部108による生成されたタグ表示画像の撮像画像への重畳位置の算出に用いられる。
【0148】
位置検出部104は、GPS衛星等を利用することにより、情報処理装置300の現在位置を検出する部材である。方向検出部105は、電子コンパス等を用いることにより、情報処理装置300がどの方向に向けられているかを検出する部材である。
【0149】
画角算出部106は、画像拡大部102が拡大するズーム倍率と、姿勢検出部103が検出する情報処理装置300の姿勢に関する情報に基づいて、撮像部301の水平方向の画角を算出する部材である。画角算出部106は、画像拡大部102が拡大するズーム倍率に基づいて情報処理装置300の撮像部301の水平画角と垂直画角を算出する。例えば、姿勢検出部103が検出する情報処理装置300の姿勢が水平姿勢に対して45度未満の場合は、水平画角を水平方向の画角とし、水平姿勢に対して45度以上の場合は垂直画角を水平方向の画角とする。
【0150】
タグ情報取得距離算出部107は、画像拡大部102が撮像画像を拡大するズーム倍率に基づいてタグ情報を取得する最短距離であるタグ情報取得最短距離と、タグ情報を取得する最長距離であるタグ情報取得最長距離を上述の情報処理システム1と同様にして算出する処理を行う部材である。
【0151】
上述の如く構成されたタグ検索情報処理部302によってタグ情報取得範囲の特定に必要な情報処理装置300の現在位置、撮像方向、及び水平方向の画角、並びにタグ情報取得最短距離及びタグ情報取得最長距離を、制御部313の指示に基づきタグ検索処理部303に引き渡す。
【0152】
<タグ検索処理部303>
タグ検索処理部303のタグ検索部202は、タグ検索情報処理部302から引き渡された情報処理装置300の現在位置、撮像方向、及び水平方向の画角、並びにタグ情報取得最短距離及びタグ情報取得最長距離から、タグ情報取得範囲を算出する。このタグ情報取得範囲の算出は、上述の情報処理システム1における処理と同様にして行われる。
【0153】
タグ情報取得範囲が算出されると、次にタグ取得禁止範囲特定部205は、取得を禁止するタグ情報を特定する。そして、取得を禁止するタグ情報が特定されると、タグ検索部202はタグ記憶部201に記憶された全タグ情報の中から任意のタグ情報を読み出し、取得するタグ情報の検索を行う。これらの処理もまた、上述の情報処理システム1と同様に行われる。
【0154】
タグ検索処理部303による取得するタグ情報の検索が完了すると、それらのタグ情報は制御部313の指示により、タグ表示処理部304に引き渡される。
【0155】
タグ表示画像生成部108は、制御部313の指示に基づいて、引き渡されたタグ情報から、情報処理装置300の現在位置とタグ情報に含まれるタグの仮想空間内における配置方向及びタグの表示向きに基づき、タグ情報内に含まれる表面タグ画像、裏面タグ画像、又は側面タグ画像の3種類のタグ画像のなかから表示されるタグ表示画像を選択する。
【0156】
次にタグ表示画像生成部108は、制御部313の指示に基づき、タグ情報に含まれるタグの開始位置、タグの水平及び垂直方向の大きさ、タグの仮想空間における配置方向、タグの仮想空間における表示向き、タグの形状、及び情報処理装置100の姿勢に関する情報から、タグ表示画像の表示部110の表示画面上の表示位置を算出する。この表示位置の算出も上述の情報処理システム1と同様の方法で行われる。
【0157】
タグ表示画像の表示位置が算出されると、タグ表示画像生成部108は選択されたタグ画像を、算出された表示位置になるように加工し、画像合成部109に出力するタグ表示画像を生成する。そして、タグ表示画像生成部108は、この生成されたタグ表示画像を画像合成部109に出力し、画像合成部109はこのタグ表示画像と撮像部301から出力される撮像画像とを合成する。そして、表示部110は制御部313の指示に基づき、その合成された画像を表示部110の表示画面に表示する。
【0158】
以上のように、本発明の実施形態に係る情報処理装置300によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を適切に対応付けて重畳表示することができる。
また、本発明の実施形態に係る情報処理装置300によれば、撮像画像中の被写体画像に、仮想現実空間で取得された情報に基づいて生成されたオブジェクト表示画像を対応付けて重畳表示する際に、ユーザが、重畳された複数のオブジェクト表示画像の中から所望のオブジェクト表示画像を容易に視認することが可能となる。
【0159】
上記の各実施形態の説明においては、説明及び理解の容易のため、を想定して説明を行ったが、これに限定されるものではない。
【0160】
例えば、第一の実施形態に係る情報処理システム1を例にあげると、姿勢検出部103が、情報処理装置100の姿勢(水平方向の傾き)に加えて、新たに情報処理装置100の垂直方向の傾きを検出し、位置検出部104が、GPSなどの水平方向の位置検出手段による情報処理装置100の水平方向の現在位置の検出に加えて、高度計などの垂直方向の位置検出手段を用いることにより、新たに情報処理装置100の垂直方向の現在位置(高さ)を検出する。
【0161】
次に、画角算出部106が、情報処理装置100の水平方向の画角に加えて、新たに垂直方向の画角を算出し、通信部112が、画角算出部106が算出する水平方向の画角と垂直方向の画角、位置検出部104が検出する情報処理装置100の水平方向の現在位置と垂直方向の現在位置(高さ)、方向検出部105が検出する情報処理装置100の現在の撮像方向、及びタグ情報取得距離算出部107が算出するタグ情報取得最短距離とタグ情報取得最長距離とを、通信部203に対して送信する。
【0162】
タグ情報として、タグ画像、タグの位置、タグの大きさ、タグの表示向き、タグの配置方向(タグの水平方向の傾き)、タグの形状に加えて、新たにタグの垂直方向の傾きとタグの高さに関する情報がタグ記憶部201に記憶されており、タグ検索部202は、当該タグ記憶部201に記憶されている、タグの水平方向と垂直方向の位置、タグの大きさ、タグの配置方向、タグの表示向き、タグの水平方向と垂直方向の傾き、タグの形状に関する情報とからなるタグ情報を算出する。
【0163】
さらに、タグ検索部202は、姿勢検出部103が検出する情報処理装置100の垂直方向の傾き、位置検出部104が検出する情報処理装置100の水平方向と垂直方向の現在位置、方向検出部105が検出する情報表示装置100の現在の撮像方向、
画角算出部106が算出する水平方向の画角と垂直方向の画角、及びタグ情報取得距離算出部107が算出するタグ情報取得最短距離とタグ情報取得最長距離と、からタグ表示範囲情報を算出する。
【0164】
以上のようにすれば、情報処理装置が垂直方向の傾きを有し、オブジェクト(タグ)が垂直方向の傾きをし、さらに情報処理装置の備える撮像部のレンズの中心(光軸)とオブジェクト(タグ)の中心が異なる場合においても、本発明の効果を達成することができることは明らかである。
【0165】
上述の各実施形態では、タグ情報取得距離算出部107が算出するタグ情報取得最短距離およびタグ情報取得最長距離は、どちらも情報処理装置100又は300の位置を中心とする円弧とし、タグ情報取得範囲は情報処理装置100又は300の画角とタグ情報取得最長距離の円弧が成す扇状の範囲から情報処理装置100又は300の画角とタグ情報取得最短距離の円弧が成す扇状の範囲を取り除いた範囲であるとして説明を行ったが、これに限定されるものではない。
【0166】
例えば、タグ情報取得最短距離とタグ情報取得最長距離を情報処理装置からの光軸上の位置までの距離として規定し、情報処理装置の画角とタグ情報取得最短距離が成す範囲を二等辺三角形状とし、情報処理装置とタグ情報取得最長距離が成す範囲を二等辺三角形状とし、後二等辺三角形状の範囲から前二等辺三角形状の範囲を取り除いた範囲、すなわち台形状の範囲をタグ情報取得範囲としても良い。
【0167】
また、上記各実施形態において、タグ画像生成部108は、タグの配置方向とタグの表示向きに基づいてタグ画像を選択するとして説明を行ったが、これに限定されるものではない。タグの表面が表示される方向は、タグの配置方向とタグの表示向きとから求められるので、この2つの情報をまとめてタグの表示方向としてタグ情報内に記憶し、タグ表示画像生成部108は、このタグの表示方向に基づいてタグ画像を選択するよう構成しても良い。
【0168】
さらに、上記各実施形態では、タグ記憶部201に記憶されているタグ情報には、タグ画像、タグの位置、タグの大きさ、タグの配置方向、タグの表示向き、タグの形状に関する情報が含まれるとして説明を行ったが、これに限定されるものではない。タグ情報にタグの大きさ、タグの配置方向、タグの表示向き、タグの形状に関する情報が含まれない場合、所定のタグの大きさ、タグの配置方向、タグの表示向き、タグの形状を用意し、タグ表示画像生成部108はこの所定の値を用いることによってタグ表示画像を生成するようにしても良い。
【符号の説明】
【0169】
情報処理システム 1
情報処理装置 100、300
検索サーバ 200
撮像部 101
画像拡大部 102
姿勢検出部 103
位置検出部 104
方向検出部 105
画角算出部 106
タグ情報取得距離算出部 107
タグ画像生成部 108
画像合成部 109
表示部 110
通信部 112
制御部 113、206
タグ記憶部 201
タグ検索部 202
通信部 203
タグ取得禁止範囲記憶部 204
タグ取得禁止範囲特定部 205

【特許請求の範囲】
【請求項1】
情報処理装置と検索装置とがネットワークを介して相互に通信する情報処理システムであり、
前記情報処理装置は、
被写体を撮像し撮像画像を取得する撮像部と、
前記撮像部による撮像の倍率を変更する撮像倍率変更部と
前記情報処理装置の位置を検出する位置検出部と、
前記撮像部の撮像方向を検出する方向検出部と、
前記撮像部による撮像の画角を算出する画角算出部と、
前記撮像倍率変更部により変更された撮像の倍率、前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなる情報を前記検索装置に送信する情報送信部と、
オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成部と、
前記オブジェクト表示画像生成部が使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信部と
前記撮像部が取得した撮像画像と前記オブジェクト表示画像生成部が生成したオブジェクト表示画像を合成して表示する表示部とを備え、
前記検索装置は、
前記情報処理装置が備える前記情報送信部が送信した前記情報を受信する情報受信部と、
複数のオブジェクト情報を記憶した記憶部と、
前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報を特定する検索部と、
前記検索部が特定した前記オブジェクト情報を前記情報処理装置の備えるオブジェクト情報受信部に送信するオブジェクト情報送信部と
を備えることを特徴とする情報処理システム。
【請求項2】
前記情報処理装置はオブジェクト情報取得距離算出部をさらに備え、
前記オブジェクト情報取得距離算出部は、前記撮像倍率変更部により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、
前記情報送信部は、前記オブジェクト情報最短距離、前記オブジェクト情報最長距離、前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなるオブジェクト情報取得範囲情報を前記情報として前記検索装置に送信する
ことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記情報処理装置は姿勢検出部をさらに備え、
前記姿勢検出部は前記情報処理装置の姿勢を検出し、
前記画角算出部は、前記姿勢検出部が検出する前記情報処理装置の姿勢に基づいて前記撮像部による撮像の画角を算出する
ことを特徴とする請求項1又は2のいずれか1項に記載の情報処理システム。
【請求項4】
前記検索装置はオブジェクト取得禁止範囲記憶部及びオブジェクト取得禁止範囲特定部をさらに備え、
前記オブジェクト取得禁止範囲記憶部は、前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶し、
前記オブジェクト取得禁止範囲特定部は、前記情報受信部が受信した情報のうち前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、
前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置の前記オブジェクト表示画像生成部が使用する前記オブジェクト情報から除く
ことを特徴とする請求項1から3の何れか1項に記載の情報処理システム。
【請求項5】
被写体を撮像し撮像画像を取得する撮像部、前記撮像部による撮像の倍率を変更する撮像倍率変更部、及び前記撮像画像とオブジェクト表示画像とを合成して表示する表示部とを備えた情報処理装置とネットワークを介して相互に通信する検索装置であって、
前記情報処理装置から、前記撮像倍率変更部により変更された撮像の倍率、前記情報処理装置の位置、前記撮像部の撮像方向、前記撮像部による撮像の画角に関する情報を受信する情報受信部と、
前記オブジェクト表示画像を生成するためのオブジェクト情報を複数記憶した記憶部と、
前記記憶部が記憶した前記複数のオブジェクト情報を前記情報受信部が受信した前記情報に基づいて検索し、前記記憶部から所定のオブジェクト情報を特定する検索部と、
前記検索部が特定した所定のオブジェクト情報を前記情報処理装置に送信するオブジェクト情報送信部と
を備えた検索装置。
【請求項6】
前記情報処理装置はオブジェクト情報取得距離算出部をさらに備え、
前記オブジェクト情報取得距離算出部は、前記撮像倍率変更部により変更された撮像の倍率に基づきオブジェクト情報を取得する最短距離であるオブジェクト情報取得最短距離と、オブジェクト情報を取得する最長距離であるオブジェクト情報取得最長距離を算出し、
前記オブジェクト情報取得距離算出部が算出した前記オブジェクト情報最短距離及び前記オブジェクト情報最長距離、並びに前記方向検出部が検出した撮像方向、及び前記画角算出部が算出した画角からなるオブジェクト情報取得範囲情報を前記情報として前記情報処理装置から受信する
ことを特徴とする請求項5に記載の検索装置。
【請求項7】
前記検索装置はオブジェクト取得禁止範囲記憶部及びオブジェクト取得禁止範囲特定部をさらに備え、
前記オブジェクト取得禁止範囲記憶部は、前記オブジェクト情報送信部による送信を禁止するオブジェクト情報が存在するオブジェクト取得禁止範囲を複数記憶し、
前記オブジェクト取得禁止範囲特定部は、前記情報受信部が受信した情報のうち前記位置検出部が検出した位置、前記方向検出部が検出した撮像方向から、所定のオブジェクト取得禁止範囲を特定し、
前記検索部は前記特定されたオブジェクト取得禁止範囲に含まれるオブジェクト情報を前記情報処理装置に送信する前記オブジェクト情報から除く
ことを特徴とする請求項5又は6の何れか1項に記載の検索装置。
【請求項8】
被写体を撮像し撮像画像を取得する撮像処理と、
前記撮像処理における撮像の倍率を変更する撮像倍率変更処理と
前記撮像処理における撮像の位置を検出する位置検出処理と、
前記撮像処理における撮像方向を検出する方向検出処理と、
前記撮像処理における撮像の画角を算出する画角算出処理と、
前記撮像倍率変更処理において変更された撮像の倍率、前記位置検出処理において検出された位置、前記方向検出処理において検出された撮像方向、及び前記画角算出処理において算出された画角からなる情報をネットワークを介して接続された外部の検索装置に送信する情報送信処理と、
オブジェクト情報を使用してオブジェクト表示画像を生成するオブジェクト表示画像生成処理と、
前記オブジェクト表示画像生成処理において使用するオブジェクト情報を前記検索装置から受信するオブジェクト情報受信処理と、
前記撮像処理において取得された撮像画像と前記オブジェクト表示画像生成処理において生成されたブジェクト表示画像を合成して表示する表示処理とを実行させるプログラムであって、
前記オブジェクト情報受信処理において前記検索装置から受信する前記オブジェクト情報は、前記情報送信処理において送信された前記情報に基づき前記外部検索装置が検索し特定したものである
ことを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−216935(P2012−216935A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−79760(P2011−79760)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】