説明

表示装置、表示方法、ならびに、プログラム

【課題】カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置等を提供する。
【解決手段】表示装置300において、検知部301は、カメラの位置および向きを検知する。取得部302は、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。生成部303は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。表示部304は、生成された表示画像を画面に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムに関する。
【背景技術】
【0002】
近年、カメラによって撮影された現実世界の画像上に仮想物体を重畳させる拡張現実(AR:Augmented Reality)の表示技術が開発され、ゲームやコミュニケーションツール等として実用化が進められている。例えば、特許文献1には、AR技術を利用して仮想物体を現実世界の画像の中に重畳させる際に、仮想物体の色を現実世界の画像に合わせて補正することにより、現実世界と調和した仮想物体を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−170316号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなAR技術では、通常、撮影された画像内の対象、すなわちカメラの視野内に収まった対象について、仮想物体が重畳されることで、当該視野内の対象についての種々の情報が付加提示されるものであった。しかし一方で、カメラの視野内に収まった対象だけでなく、視野外に位置する対象についても、仮想物体を対応付けて表示させ、情報を得たい場合がある。例えば、付近にある建物等の情報を得たい場合に、その建物がカメラの視野に収まるようにカメラの向きを調整しなければ情報が得られないのでは、ユーザの手間がかかるだけでなく、ユーザがその建物の正確な位置を知らない場合等に対応できないことになる。
【0005】
本発明は、上記のような課題を解決するもので、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の第1の観点に係る表示装置は、検知部、取得部、生成部、表示部を備える表示装置であって、以下のように構成する。
【0007】
検知部は、カメラの位置および向きを検知する。
【0008】
すなわち、表示装置は、現実世界を撮影するカメラを備え、検知部が、当該カメラの位置および向きを検知する。例えば、ユーザが携帯可能な機器にカメラが搭載されている場合には、当該カメラの位置と向きは、ユーザの移動や操作に伴って様々に変化しうる。この場合、検知部は、カメラの位置と向きが様々に変化するたびに、カメラの現在の位置と現在の向きを検知する。
【0009】
ここで、「カメラの位置」とは、現実世界におけるカメラの位置であり、例えば、緯度・経度によって表される。そして、「カメラの向き」とは、上記「カメラの位置」におけるカメラの視線の向きであり、例えば、東西南北を基準とした方位角によって表される。なお、「カメラの位置」は、三次元空間における鉛直方向の位置も含め、例えば、緯度・経度に加えてさらに高度によって表されてもよい。また、「カメラの向き」は、三次元空間における鉛直方向の向きも含め、例えば、東西南北を基準とした方位角に加えてさらに水平面を基準とした仰角によって表されてもよい。
【0010】
なお、カメラは、表示装置と一体となっていることが典型的であるが、表示装置から分離されてもよい。例えば、カメラと、当該カメラが撮影した画像を表示する表示部とが、別の装置に分けられていてもよい。
【0011】
取得部は、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。
【0012】
ここで、「調査領域」とは、現実世界の三次元空間内における領域であって、上記検知部が検知したカメラの位置および向きに基づいて定められる領域である。例えば、調査領域として、カメラの位置を頂点とし、カメラの向きに開いた角錐や円錐等の立体によって囲まれた領域、カメラの位置を含む球状の立体によって囲まれた領域、カメラの位置からカメラの向きに所定の距離だけ離れた位置にある所定の立体によって囲まれた領域、等が挙げられる。取得部は、このような調査領域内にある目標物の位置を取得する。
【0013】
ここで、「目標物」とは、現実世界に存在する建物、施設、設備等であって、ユーザがその位置を知りたいと考えるものである。例えば、目標物として、ゲームセンター、コンビニエンスストア、自動販売機、バス停、等が挙げられる。取得部は、このような目標物のうち、上記のような調査領域内にある目標物についての位置の情報を取得する。
【0014】
生成部は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。
【0015】
すなわち、生成部は、仮想の投影面を用意し、カメラによる現実世界の撮影画像と、目標物を表すマークと、をこの投影面に描画することで、後述する表示部が表示装置の画面に表示するための表示画像を生成する。ここで、投影面内における二次元領域のうち、カメラによる現実世界の撮影画像が描画される領域を写真領域といい、目標物を表すマークが描画される領域を報告領域というものとする。
【0016】
このうち、カメラによる現実世界の撮影画像は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる。ここで、「視野領域」とは、カメラの視野を定める三次元空間内における領域であって、例えば典型的には、カメラの位置を頂点とし、カメラの向きに開いた四角錐状の立体により定められる。このような視野領域内に収まった現実世界の建物や施設等が、仮想の投影面内の写真領域に投影されることで、カメラによる撮影画像として描画される。
【0017】
一方、カメラによる撮影画像に加えて投影面に描画される目標物を表すマークは、上記取得部によって取得された調査領域内にある目標物の位置が、所定の投影変換により投影されることにより得られる。ここで、「所定の投影変換」とは、三次元の調査領域内の任意の位置を、投影面内の二次元の報告領域内のいずれかの位置に対応付けるものである。この投影変換によって、調査領域内にある目標物の位置が投影面に投影され、投影された位置にこの目標物を表すマークが描画される。
【0018】
表示部は、生成された表示画像を画面に表示する。
【0019】
すなわち、表示部は、上記生成部が生成した表示画像を、表示装置に備えられたモニタ等の画面に表示する。表示画像には、カメラによる撮影画像と目標物を表すマークが描画されているため、ユーザは、どこに目標物があるのかを、撮影画像を基準として、知ることができる。
【0020】
そして、報告領域は、写真領域を含む。
【0021】
すなわち、目標物を表すマークが描画される報告領域は、カメラによる撮影画像が描画される写真領域を包含するように、投影面内の二次元領域を占める。報告領域として写真領域より広い領域がとられることで、生成部は、カメラの視野よりも広い範囲についての目標物の位置を表示画像として生成することができるようになる。例えばカメラの視野内に位置する目標物については、そのマークはカメラによる撮影画像に重ねて描画され、カメラの視野外に位置する目標物については、そのマークはカメラによる撮影画像から外れた領域に描画される、ということが典型的である。
【0022】
また、調査領域は、視野領域に含まれない部分を有する。
【0023】
すなわち、上記取得部によって目標物の位置が取得される調査領域は、カメラの視野領域に含まれない部分、すなわちカメラの視野外の三次元空間を有する。例えば、カメラの視野領域が四角錐状の立体により定められる場合には、調査領域は、この四角錐状の立体には含まれない外側の領域を有することになる。
【0024】
このような構成により、本発明の表示装置は、カメラの視野領域に含まれない領域についても目標物の位置を取得し、カメラによる撮影画像と共に表示画像に表示する。これにより、目標物がカメラの視野から外れていたとしても、その目標物が、カメラの撮影画像を基準としてどのあたりの位置にあるのかを、ユーザに認識させることができる。
【0025】
また、本発明の表示装置において、
調査領域は、カメラの位置の近傍で視野領域を含む
ように構成することができる。
【0026】
すなわち、調査領域は、上述したように視野領域に含まれない部分を有するが、ここではより具体的に、調査領域は、カメラの位置の近傍で視野領域を含むように、視野領域に含まれない部分を有する。ここで、「カメラの位置の近傍で視野領域を含む」とは、カメラの位置からの距離が所定の距離以内に収まるような近傍の範囲において、調査領域が視野領域を包含する、ということである。すなわち、調査領域は、カメラの位置から遠方では必ずしも視野領域を包含しなくてもよいが、カメラの位置から所定の距離以内の近傍では視野領域を包含するような三次元空間内の領域となる。表示装置は、このようなカメラの位置からの距離が所定の距離以内の範囲においては、カメラの視野領域の外側に位置する目標物の位置も取得し、その目標物を表すマークをカメラによる撮影画像と共に表示画像として画面に表示する。
【0027】
このような構成により、本発明の表示装置は、カメラの位置の近傍で視野領域を含むように調査領域をとる。これにより、目標物がユーザの近傍にあるにもかかわらず、カメラの視野に入っていないためにその位置を取得し逃しまう、ということをなるべく防ぐことができ、より効果的に目標物の位置をユーザに提供することができる。
【0028】
また、本発明の表示装置において、
所定の投影変換は、視野領域を写真領域に投影する投影変換に一致する
ように構成することができる。
【0029】
すなわち、生成部は、調査領域にある目標物の位置を投影面内の報告領域に投影する際の所定の投影変換として、カメラによる撮影画像を描画する際の、カメラの視野領域を投影面内の写真領域に投影する投影変換と同じ投影変換を用いる。同じ投影変換が用いられることで、生成部は、カメラの視野内の目標物については、カメラによる撮影画像に重ねてその位置を示すことができ、さらにカメラの視野から外れた位置にある目標物についても、カメラによる撮影画像を基準としてどの位置にあるのかを示す表示画像を生成することができるようになる。
【0030】
例えば、カメラの視野から左側へ外れた位置にある目標物は、表示画像内において、撮影画像の描画位置に対し、視野から外れた分だけ左側へ外れた位置に描画され、カメラの視野から右側へ外れた位置にある目標物は、表示画像内において、撮影画像の描画位置に対し、視野から外れた分だけ右側へ外れた位置に描画される。
【0031】
このような構成により、本発明の表示装置は、カメラの視野内の建物等の撮影に用いた投影変換と同じ投影変換を用いて、カメラの視野外の目標物の位置も表示画像内に表示する。これにより、カメラの視野内の目標物については、撮影された建物等に対応させてその位置をユーザに提供でき、さらにカメラの視野から外れた目標物についても、カメラの撮影画像を基準としてどの位置にあるのかをユーザに認識させることができる。
【0032】
また、本発明の表示装置において、
視野領域は、第1の錐体により定められ、
調査領域は、第2の錐体により定められ、
第1の錐体の軸と、第2の錐体の軸とは、重なり、
第2の錐体は、第1の錐体を包含する
ように構成することができる。
【0033】
すなわち、カメラの視野領域と目標物の位置が取得される調査領域とは、それぞれ第1の錐体と第2の錐体という、2つの錐体(四角錐、円錐等の錐状の三次元立体)よって定められる。まず、カメラの視野領域を定める第1の錐体は、カメラの位置を頂点とし、カメラの向きへ伸びる直線を軸とする錐体であって、錐体の頂角はカメラの画角(視野角)に対応したものとなる。一般的に、カメラの視野は、水平画角と垂直画角の2つの画角を有する四角錐によって定められる場合が多いが、必ずしも四角錐に限らず、カメラの視野領域を定める第1の錐体は、四角錐以外の角錐、円錐、または、楕円錐等であってもよい。
【0034】
また、目標物の位置が取得される調査領域を定める第2の錐体は、第1の錐体と共通の軸を有する錐体であって、第1の錐体を包含するように、すなわちカメラの視野領域全体に覆い被さるように、配置される。すなわち、調査領域としてカメラの視野領域よりも広い領域がとられることになり、カメラの視野領域の外側にある目標物についても、その位置が取得され、表示画像に含まれるようになる。
【0035】
このような構成により、本発明の表示装置は、カメラの視野領域を定める第1の錐体を包含するような第2の錐体により調査領域を定め、当該調査領域内にある目標物の位置を取得する。これにより、カメラの視野外にある目標物の位置についても表示画像に表示され、あたかもカメラの視野を実際の視野よりも広げて撮影したかのように、実際のカメラの視野から外れた位置にある目標物の位置も、ユーザに認識させることができる。
【0036】
また、本発明の表示装置において、
視野領域は、錐体により定められ、
調査領域は、二次曲面により定められ、
錐体の軸と、二次曲面の軸のいずれかとは、重なる
ように構成することができる。
【0037】
すなわち、カメラの視野領域は、上記と同様に、カメラの位置を頂点とし、カメラの向きへ伸びる直線を軸とする錐体(四角錐、円錐等の錐状の三次元立体)よって定められる。一方で、目標物の位置が取得される調査領域は、上記のように第2の錐体として定められるのではなく、カメラの視野領域を定める錐体と共通の軸をそのいずれかの軸として有する二次曲面によって定められる。
【0038】
ここで二次曲面とは、例えば、球面、楕円面、放物面、双曲面等のような三次元空間内の曲面であり、二次曲面の軸のいずれかとは、例えば楕円面であれば3つの対称軸のいずれかをいい、あるいは放物面であればその中心軸のことをいう。このような二次曲面により定められる調査領域内にある目標物の位置が、取得部によって取得され、取得された目標物の位置を表すマークが描画された表示画像が生成されることになる。
【0039】
このような構成により、本発明の表示装置は、目標物の位置を取得する調査領域として、二次曲面により定められる領域をとる。これにより、例えば上記第2の錐体により定めた調査領域に比べて、表示画像として表示する対象とすべき目標物の位置を、より柔軟に取得することができるようになる。
【0040】
上記目的を達成するため、本発明の第2の観点に係る表示方法は、検知部、取得部、生成部、表示部を備える表示装置が実行する表示方法であって、検知工程、取得工程、生成工程、表示工程を備える。
【0041】
検知工程では、検知部が、カメラの位置および向きを検知する。
取得工程では、取得部が、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。
生成工程では、生成部が、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。
表示工程では、表示部が、生成された表示画像を画面に表示する。
そして、報告領域は、写真領域を含む。
また、調査領域は、視野領域に含まれない部分を有する。
【0042】
上記目的を達成するため、本発明の第3の観点に係るプログラムは、コンピュータを、上記の表示装置として機能させ、コンピュータに、上記の表示方法の各工程を実行させるように構成する。
【0043】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な情報記憶媒体に記録することができる。
【0044】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【0045】
本発明によれば、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【0046】
【図1】本発明の表示装置が実現される典型的な情報処理装置の概要構成を示す図である。
【図2】(a),(b)共に、本発明の表示装置が実現される典型的な情報処理装置の外観図である。
【図3】本発明の表示装置の機能構成を示す図である。
【図4】表示装置をもったユーザが現実世界の市街地にいる様子を示す図である。
【図5】カメラの視野領域を示す図である。
【図6】実施形態1において、カメラの視野領域を包含する調査領域を示す図である。
【図7】実施形態1において、カメラの視野領域内の位置と調査領域内の目標物の位置とを仮想の投影面に投影する様子を示す図である。
【図8】実施形態1において、表示画像を示す図である。
【図9】本発明の実施形態に係る表示装置の処理の流れを示すフローチャートである。
【図10】実施形態2において、放物面により定められる調査領域を示す図である。
【図11】実施形態2において、調査領域内の目標物の位置を仮想の投影面に投影する様子を示す図である。
【図12】実施形態3において、ユーザを包含する放物面により定められる調査領域を示す図である。
【発明を実施するための形態】
【0047】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、携帯ゲーム機型の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素を均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【0048】
本発明に係る表示装置が実現されうる情報処理装置として、例えば、携帯ゲーム機の他、携帯型の電話機、携帯型のカメラやスマートフォン等の電子機器等、その他の様々な情報処理装置が挙げられる。
【0049】
(実施形態1)
図1は、本発明の実施形態に係る表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。以下、図1を参照して説明する。
【0050】
情報処理装置1は、処理制御部10、コネクタ11、カートリッジ12、無線通信部13、通信コントローラ14、サウンドアンプ15、スピーカ16、操作キー17、GPS処理部18、カメラ19、第1の表示部20、第2の表示部21、タッチパネル22を備える。
【0051】
処理制御部10は、CPU(Central Processing Unit)コア10aと、画像処理部10bと、VRAM(Video Random Access Memory)10cと、WRAM(Work RAM)10dと、LCD(Liquid Crystal Display)コントローラ10eと、タッチパネルコントローラ10fとを備える。
【0052】
CPUコア10aは、情報処理装置1全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ12がコネクタ11に装着された状態で、カートリッジ12内のROM(Read Only Memory)12aに記憶されたプログラムやデータを読み出して、所定の処理を実行する。
【0053】
画像処理部10bは、カートリッジ12内のROM 12aから読み出されたデータや、CPUコア10aにて処理されたデータを加工処理した後、これをVRAM 10cに格納する。
【0054】
VRAM 10cは、表示用の情報を記憶するフレームメモリであり、画像処理部10b等により加工された画像情報を記憶する。
【0055】
WRAM 10dは、CPUコア10aがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
【0056】
LCDコントローラ10eは、画像表示部20を制御し、所定の表示用画像を表示させる。例えば、LCDコントローラ10eは、VRAM 10cに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、画像表示部20に出力する。また、LCDコントローラ10eは、画像表示部20に所定の指示アイコン等を表示する。
【0057】
タッチパネルコントローラ10fは、タッチペンやユーザの指によるタッチパネル22への接触(タッチ)を検出する。例えば、画像表示部20に所定の指示アイコン等が表示されている状態で、タッチパネル22上の接触や解放(離れること)の検知、およびそれらの位置を検出する。
【0058】
コネクタ11は、カートリッジ12と脱着自在に接続可能な端子であり、カートリッジ12が接続された際に、カートリッジ12との間で所定のデータを送受信する。
【0059】
カートリッジ12は、ROM(Read Only Memory)12aと、RAM(Random Access Memory)12bと、を備える。
ROM 12aには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
RAM 12bには、ゲームの進行状況等を示す種々のデータが記憶される。
【0060】
無線通信部13は、他の情報処理装置の無線通信部との間で、無線通信を行うユニットであり、図示せぬアンテナ(内蔵アンテナ等)を介して所定のデータを送受信する。なお、無線通信部13は、所定のアクセスポイントとの間で、無線LAN通信を行うこともできる。また、無線通信部13には、固有のMAC(Media Access Control)アドレスが採番されている。
【0061】
通信コントローラ14は、無線通信部13を制御し、所定のプロトコルに沿って、処理制御部10と他の情報処理装置の処理制御部との間で行われる通信の仲立ちをする。また、情報処理装置1を、近傍の無線アクセスポイント等を介してインターネットに接続する場合には、無線LAN(Local Area Network)に準拠したプロトコルに従って、処理制御部10と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。
【0062】
サウンドアンプ15は、処理制御部10にて生成された音声信号を増幅し、スピーカ16に供給する。また、スピーカ16は、たとえば、ステレオスピーカ等からなり、サウンドアンプ15で増幅された音声信号に従って、所定の効果音や楽曲音等を出力する。
【0063】
操作キー17は、情報処理装置1に適宜配置されたキースイッチ等から構成され、ユーザの操作に従って、所定の指示入力を受け付ける。操作キー17には、音量を調節するためのボタンや、つまみ等も含まれる。各操作キー17には、圧力センサが配備され、いずれのキーが押圧操作されているかを検知することができる。ユーザは、このような操作キー17を押圧操作することで、情報処理装置1への各種操作指示を入力する。
【0064】
GPS処理部18は、GPS(Global Positioning System)衛星と情報のやり取りを行い、情報処理装置1の位置座標(例えば緯度・経度や高度)の情報を取得する。また、GPS処理部18は、コンパス等の方位センサを備え、情報処理装置1の向き(例えば東西南北を基準とした方位角)の情報を取得する。さらに、GPS処理部18は、重力センサ等によって重力方向を検知し、情報処理装置1が重力方向に対してどの程度傾いているかというような、傾きの情報も取得する。
【0065】
カメラ19は、情報処理装置1の上部シャーシに組み込まれており、第1の表示部20の背面方向を撮影する。例えば、カメラ19は、第1の表示部20に表示するための風景画像を撮影する。なお、カメラ19は、一例として、単焦点のレンズ及び、所定画素数の撮像素子(CMOSやCCD等)を含んで構成され、所定の焦点距離(画角α)にて、その光軸方向を中心とした画像を撮影する。
【0066】
第1の表示部20および、第2の表示部21は、LCD等からなり、LCDコントローラ10eの制御によって、画像データを適宜表示する。また、第2の表示部21は、ユーザ等がタッチパネル22に接触することで選択指示を入力するのに必要な選択ボタン(アイコン)等を適宜表示する。
【0067】
タッチパネル22は、第2の表示部21の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。例えば、タッチパネル22は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧(押下)を検知し、その座標に応じた情報(信号等)を出力する。あるいは、タッチパネル22は、感圧式のタッチセンサパネルからなり、タッチペン等の圧力を検知するものであってもよい。
【0068】
図2は、本発明の実施の形態に係る表示装置が実現される典型的な情報処理装置1の外観を示す模式図である。この情報処理装置1は、一例として、携帯型のゲーム機器であり、図2(a)に示すように、上部シャーシJsと下部シャーシKsに各部位がそれぞれ組み込まれている。上部シャーシJsと下部シャーシKsとは、接合部が軸支されており、通常のノート型のパソコン等のように、開閉可能となっている。
【0069】
例えば、上部シャーシJsには、第1の表示部20等が組み込まれている。一方、下部シャーシKsには、第2の表示部21やタッチパネル22等が組み込まれている。また、図2(b)に示すように、上部シャーシJsの裏面側には、カメラ19が組み込まれている。カメラ19は、上部シャーシJsを開いた状態で、第1の表示部20の背面方向を撮影する。なお、カメラ19は、一例として、単焦点のレンズを備え、人間の視角(注視した際の視角)よりもある程度広い画角αの範囲を撮影可能となっている。
【0070】
図3は、情報処理装置1を用いて実現される本発明の表示装置の機能構成を表す図である。表示装置300は、検知部301、取得部302、生成部303、表示部304を備える。
【0071】
なお、表示装置300は、記憶部等も適宜備えてもよい。ここで記憶部は、例えば各種RAM等の機能によって実現され、現在時刻、ユーザが行った入力の内容や入力の時刻等、表示装置の動作に必要な種々のデータを記憶する。
【0072】
検知部301は、カメラ19の位置および向きを検知する。すなわち、検知部301は、GPS衛星とのやり取りを行うことにより、現実世界におけるカメラ19の位置を検知し、さらに、方位センサの機能を用いることで、当該検知した位置におけるカメラ19の向きを検知する。そして、検知部301は、検知したカメラ19の位置および向きを取得部302へ供給する。このような検知部301は、例えばCPUコア10aの制御のもと、GPS処理部18やWRAM 10d等の各部が協働することによって実現される。
【0073】
取得部302は、検知されたカメラ19の位置および向きにより定められる調査領域内にある目標物の位置を取得する。すなわち、取得部302は、検知部301によって検知されたカメラ19の位置および向きの情報を受け取り、当該位置および向きによって定められる三次元の調査領域内にある目標物の位置を取得する。そして、取得部302は、取得した目標物の位置を生成部303へ供給する。このような取得部302は、例えばCPUコア10aがWRAM 10d等の各部と協働することで実現される。
【0074】
生成部303は、カメラ19の位置および向きにより定められる視野領域をカメラ19が撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。すなわち、生成部303は、取得部302によって取得された目標物の位置を受け取り、カメラ19による撮影画像と共に、目標物の位置を所定の投影変換により投影面に投影することで、カメラ19の撮影画像と当該目標物を表すマークとを組み合わせた表示画像を生成する。そして、生成部303は、生成した表示画像を表示部304へ供給する。このような生成部303は、例えばCPUコア10aの制御のもと、画像処理部10bやVRAM 10c等の各部が協働することによって実現される。
【0075】
表示部304は、生成された表示画像を画面に表示する。すなわち、表示部304は、生成部303によって生成された表示画像を受け取り、第1の表示部20に表示画像を表示する。このような表示部304は、例えばCPUコア10aの制御のもと、LCDコントローラ10eやVRAM 10c等の各部が協働することによって実現される。
【0076】
以下、表示装置300が目標物の位置を取得し、その位置を画面に表示する様子を具体的に説明する。ここで、具体的に目標物は、ユーザがプレイしたいと考えるゲーム機が備えられたゲームセンターであるとする。すなわち、ユーザが、あるゲームをプレイしたいと思い、そのゲーム機が設置されたゲームセンターがどこにあるのかについての情報を、表示装置300を用いて得る場合について、以下説明する。
【0077】
図4は、表示装置300をもったユーザが現実世界の市街地にいる様子を示す図である。この市街地には、複数の建物が中央の通りに面して並んで立てられており、建物の脇には、樹木や車がある。ユーザ400は、この通りの中央の位置401に立っており、表示装置300のカメラ19が通りの奥の向き402へと向くように、表示装置300を把持している。このユーザ400の位置401は、上空を周回しているGPS衛星420の機能により、ユーザ400が把持する表示装置300の位置401として検知される。
【0078】
この通りに面した建物のうち、ビル405aとビル405bには、ユーザ400がプレイしたいと考えているゲーム機が設置されたゲームセンター、すなわち目標物410a,410bがある。一方で、ユーザ400は、そのゲームをプレイできるゲームセンター、すなわち目標物410a,410bが、どの建物に入っているかについては知らないものとする。
【0079】
このとき、ユーザ400が、目標物410の位置を知りたいと思い、その旨の指示を、タッチパネル22等の入力装置を用いて表示装置300に入力すると、まず表示装置300の検知部301が、GPS処理部18の機能により、カメラ19の位置401と向き402を検知する。具体的に、検知部301は、GPS衛星420と情報のやり取りを行い、カメラ19の現在の位置401を検知する。また、検知部301は、GPS処理部18に備えられた方位センサと重力センサによって、カメラ19の向き402、すなわち表示装置300が現在どの方位に向けられ、重力方向からどの程度傾けられているか、を検知する。このとき、検知部301は、カメラ19の位置401として、緯度・経度・高度の情報を取得し、カメラ19の向き402として、東西南北を基準とした方位角情報および水平面を基準とした仰角の情報を取得する。
【0080】
図5は、ユーザ400の真上から見たときの、検知されたカメラ19の位置401および向き402により定められるカメラ19の視野領域を示す図である。ユーザ400が把持する表示装置300に備えられたカメラ19の視野領域500は、カメラ19の位置401からカメラ19の向き402へ、カメラ19の画角αの範囲に放射状に伸びる視線によって形作られる。すなわち、図5の斜線で示した部分のように、視野領域500は、頂点であるカメラ19の位置401からカメラ19の向き402へ伸びる直線を軸とし、カメラ19の画角αに対応する頂角をもつ四角錐510により定められる。
【0081】
このとき、ユーザ400の周囲に存在している2つの目標物410a,410bのうち、ビル405a内にある目標物410aは視野領域500内に入っているが、ビル405b内にある目標物410bは視野領域500内には入っていない。すなわち、ユーザ400が通りの奥の向き402へカメラ19を向けているため、通りの奥に位置している目標物410aは視野領域500内に収まっているが、ユーザ400のすぐ左横にある目標物410bは、視野領域500から外れてしまっている。
【0082】
そのため、ユーザ400により近い位置にあるにもかかわらず、目標物410bが視野領域500に入るようにカメラ19の向き402を向けていないため、カメラ19による撮影画像には、目標物410bが入ったビル405bは映し出されないことになり、ユーザ400は、撮影画像に表示された建物の中からは、より遠方にある目標物410aの位置しか知ることができないことになる。そこで、本実施形態の表示装置300は、より近くにある目標物410bを見逃してしまうことをなるべく避けるため、カメラ19の視野領域500から外れた目標物410の位置についても、その位置を画面に表示し、ユーザ400に提供できるようにする。
【0083】
図6は、ユーザ400の真上から見たときの、カメラ19の視野領域500を包含する調査領域を示す図である。この調査領域600は、カメラ19の視野領域500を定める四角錐510と同じく、カメラ19の位置401を頂点およびカメラ19の向き402へ伸びる直線を軸とし、四角錐510を包含するような別の四角錐610により定められる。すなわち、図6の斜線で示した部分のように、調査領域600は、視野領域500を定める第1の四角錐510を包含する第2の四角錐610により定められる三次元空間内の領域となり、画角αにより定められるカメラ19の視野領域500に対し、あたかもカメラ19の画角をさらに広げたような領域となる。
【0084】
表示装置300の取得部302は、視野領域500内にある目標物410aの位置に加え、このようなカメラ19の視野領域500の外側にまで及ぶ調査領域600内にある目標物410bの位置も取得する。すなわち、検知部301によってカメラ19の位置401および向き402が検知されると、取得部302は、検知されたカメラ19の位置401および向き402により定められる調査領域600が占める空間を求め、それぞれの目標物410の位置が、この調査領域600内に収まっているか否かを判断し、収まっていると判断した目標物410の位置を取得する。
【0085】
具体的に図6では、ユーザ400の左横にある目標物410bは、カメラ19の視野領域500からは外れているが、調査領域600内には収まっているため、視野領域500内の目標物410aと共に、取得部302によってその位置が取得されることになる。
【0086】
なお、調査領域600内に収まっているか否かの判断に用いられるそれぞれの目標物410の位置の情報は、あらかじめ表示装置300内の各種記憶部に記憶され、必要に応じて取得部302に読み出されてもよいし、あるいは、外部のサーバ等に記憶されており、例えばゲームAをプレイしたいユーザ400にはゲームAのゲーム機が設置されたゲームセンターの位置情報が、またゲームBをプレイしたいユーザ400にはゲームBのゲーム機が設置されたゲームセンターの位置情報が、必要に応じて無線通信部13を通じて取得されるものであってもよい。
【0087】
このようにして調査領域600内にある目標物410の位置が取得されると、次に表示装置300の生成部303が、取得された目標物410の位置を表示するための表示画像を、カメラ19による撮影画像に対応させて生成する。
【0088】
図7は、カメラ19の視野領域500内の位置と調査領域600内の目標物の位置とを仮想の投影面に投影する様子を示す図である。この図7は、図6と同様、カメラ19の視野領域500とこれを包含する調査領域600について、ユーザ400の真上から見たときの様子を示している。
【0089】
表示画像を生成するため、生成部303は、仮想の投影面700を、VRAM 10c等の記憶部に用意する。具体的には図7に示すように、生成部303は、ユーザ400(カメラ19)の位置401を原点(=(0,0,0))とし、向き402の方向をz軸とする三次元座標をとり、位置401からz方向に距離aだけ離れた位置、すなわちz=aの位置に投影面700をとる。そして、投影面700内には、カメラ19による撮影画像が描画される写真領域701と、この写真領域701を包含するように、取得された目標物410を表すマークが描画される報告領域702と、が用意される。
【0090】
ここで、写真領域701は、カメラ19による撮影画像(いわゆる写真)を描画するための二次元領域である。生成部303は、この写真領域701に、カメラ19の視野領域500内に収められた建物や樹木等の位置を投影することで、カメラ19による撮影画像を描画する。すなわち、生成部303は、原点であるカメラ19の位置401から画角αの範囲で放射状に伸びる視線を投影線とし、この投影線に沿って、視野領域500内の位置を投影面700に投影する。具体的に座標を用いて説明すると、三次元座標が(x,y,z)で表される視野領域500内の任意の位置が、z=aの投影面700上では、xy座標が(x(a/z),y(a/z))で表される位置に投影されることになる。
【0091】
一方、報告領域702は、調査領域600内に位置する目標物410について、対応するマークを描画することでその位置をユーザ400に報告するための二次元領域であり、写真領域701を包含するように、投影面700内のより広い二次元領域がとられる。生成部303は、この報告領域702に、取得部302によって取得された目標物410a,410bの位置を、視野領域500内の建物や樹木等を投影した際と同じ投影変換を用いて、投影する。すなわち、目標物410a,410bの位置は、原点であるカメラ19の位置401から放射状に伸びる投影線に沿って、投影面700内の報告領域702に投影される。
【0092】
具体的に、三次元座標が(x1,y1,z1)で表される位置にある目標物410aは、投影線705aに沿って、xy座標が(x1(a/z1),y1(a/z1))で表される投影面700内の位置に投影される。同様に、三次元座標が(x2,y2,z2)で表される位置にある目標物410bは、投影線705bに沿って、xy座標が(x2(a/z2),y2(a/z2))で表される投影面700内の位置に投影される。
【0093】
そして、生成部303は、投影された目標物410a,410bの位置に、目標物410a,410bを表すマーク710a,710bを描画し、写真領域701に描画した撮影画像とあわせることで、表示画像を生成する。
【0094】
図8は、生成された表示画像を示す図である。この図8に示すように、表示画像800は、投影面700内の写真領域701に描画されたカメラ19による撮影画像810と、投影面700内の報告領域702に描画された目標物410a,410bを表すマーク710a,710b(具体的に図8では星形のマーク)と、から構成される。表示装置300の表示部304は、このような表示画像800を、第1の表示部20等の画面に表示する。
【0095】
すなわち、表示画像800には、撮影画像810として、カメラ19の視野領域500内に収められた建物、樹木、車等が、ユーザ400の位置401から見たような様子で描画され、そこに目標物410a,410bを表すマーク710a,710bが重ねて描画されることで、表示画像800を見たユーザ400は、撮影画像810を基準として目標物410a,410bがどこの位置にあるのかを認識することができるようになる。
【0096】
具体的に、図8に示すように、カメラ19の視野領域500内に位置する目標物410aを表すマーク710aは、この目標物410aが入っているビル405aが描画された撮影画像810内の位置に描画される。一方で、カメラ19の視野領域500の外側に位置する目標物410bを表すマーク710bは、この目標物410bが入っているビル405bが撮影画像810内に描画されていないため、撮影画像810内には描画されず、撮影画像810の範囲から左側に外れた位置に描画される。
【0097】
これにより、ユーザ400は、カメラ19の視野領域500内に位置する目標物410aについて、撮影画像810を見ながら、撮影されたビル405a内にあるということを知ることができる。さらに、ユーザ400は、カメラ19の視野領域500外に位置する目標物410bについても、どの建物の中に入っているまでは知ることができないが、現在の位置401と向き402を基準としてどの辺りにあるのかについては知ることができる。そのため、ユーザ400は、より近い位置にある目標物410bの位置を見逃すことなく得ることができる。
【0098】
すなわち、所望のゲームをプレイできるゲームセンターを探しているユーザ400は、たまたまカメラ19をそちらの方向に向けていなかったから等の理由によって、より近いゲームセンター(目標物410b)の位置の情報を見逃すことなく得ることができ、わざわざ遠方にあるゲームセンター(目標物410a)にまで行く必要がなくなる。
【0099】
図9は、本実施形態の表示装置300に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態において実現される処理の流れまとめて、以下に説明する。
【0100】
表示装置300の処理が開始されると、各種初期化処理を行った後、まず表示装置300は、ユーザ400から目標物410の位置を表示する旨の指示を受け付けたか否かを判定する(ステップS901)。すなわち、表示装置300は、目標物410の位置を知りたいと思ったユーザ400からの目標物410の位置を表示させるための指示が、タッチパネル22等の入力装置を介して入力されたか否かを判定する。
【0101】
ユーザ400からの指示を受け付けていない場合(ステップS901;NO)、処理はステップS901に留まり、ユーザ400からの指示を受け付けるまで待機する。
【0102】
一方、ユーザ400からの指示を受け付けると(ステップS901;YES)、次に検知部301が、カメラ19の位置401および向き402を検知する(ステップS902)。すなわち、検知部301は、GPS衛星420と交信を行うことでカメラ19の現在の位置401を求め、また方位センサによってカメラ19の現在の向き402を求める。
【0103】
カメラ19の位置401および向き402が検知されると、次に、取得部302が、調査領域600内にある目標物410の位置を取得する(ステップS903)。
【0104】
すなわち、取得部302は、検知されたカメラ19の現在の位置401および向き402により定められる調査領域600を求め、これらの中に位置する目標物410の位置を取得する。具体的には図6に示したように、調査領域600は、カメラ19の視野領域500を定める四角錐510を包含する第2の四角錐610として定められる。そして、この調査領域600内に位置する目標物410の位置が取得される。
【0105】
目標物410の位置が取得されると、次に、生成部303が、カメラ19の視野領域500を投影し(ステップS904)、さらに取得された目標物410の位置を投影面700に投影することで(ステップS905)、表示画像800を生成する。
【0106】
すなわち、生成部303は、図7に示したように、カメラ19の視野領域500内の位置を投影面700内の写真領域701に投影して撮影画像810を描画し、これと同じ投影変換を用いて、取得された調査領域600内の目標物410の位置を投影面700内の報告領域702に投影する。そして、投影された位置に目標物410を表すマーク710を撮影画像810に重ねて描画することで、図8に示したような表示画像800を生成する。
【0107】
表示画像800が生成されると、次に、表示部304が、表示画像800が画面に出力されるべき所定の同期タイミングを待って、生成された表示画像800を画面に表示する(ステップS906)。すなわち、表示部304は、生成された表示画像800を第1の表示部20等の画面に表示することで、ユーザ400に目標物410の位置の情報を提供する。
【0108】
その後、処理はステップS901へと戻り、再びユーザ400から目標物410の位置を表示する旨の指示を受け付けるまで待機する。
【0109】
このような構成によって、本実施形態に係る表示装置300は、カメラ19による撮影画像810と共に、カメラ19の視野領域500を投影したものと同じ投影変換を用いて、カメラ19の視野領域500を包含する調査領域600内の目標物410の位置を表示画像800内に表示する。その結果、カメラ19の視野内にある目標物410については、その位置がカメラ19の撮影画像810に重ねられて表示されるため、撮影された建物等に対応させて目標物410の位置をユーザ400に提供でき、さらにカメラ19の視野から外れた目標物410についても、カメラの撮影画像810を基準としてどの位置にあるのかをユーザ400に認識させることができる。
【0110】
(実施形態2)
次に、本発明の実施形態2について説明する。上記実施形態1での表示装置300は、目標物410の位置が取得される調査領域600を、カメラ19の視野領域500を定める第1の四角錐510を包含する第2の四角錐610により定めた。それに対して本実施形態での表示装置300は、調査領域を、カメラ19の視野領域500を定める四角錐510と共通な軸を有する放物面により定める。以下、説明する。
【0111】
図10は、本実施形態において、放物面により定められる調査領域を示す図である。この図10は、実施形態1における図6と同様に、現実世界の市街地にいるユーザ400が、通りの真ん中の位置401から、通りの奥の向き402へ、表示装置300のカメラ19を向けている様子を示している。そして、図6と同様に、カメラ19の視野領域500は、カメラ19の位置401を頂点とし、向き402へ伸びる直線を軸とする四角錐510により定められる。
【0112】
一方、本実施形態における取得部302が目標物410の位置を取得するべき調査領域1000は、図6のような第2の四角錐610ではなく、図10の斜線で示した部分のように、二次曲面である放物面1010により定められる。具体的にこの放物面1010は、視野領域500を定める四角錐510と同じくカメラ19の位置401を頂点とし、視野領域500を定める四角錐510と共通の軸、すなわちカメラ19の向き402へ伸びる直線をその回転軸とする回転放物面となる。
【0113】
取得部302は、検知部301によってカメラ19の位置401および向き402が検知されると、このような放物面1010により定められる調査領域1000が占める三次元空間を求め、それぞれの目標物410の位置が、この調査領域1000内に収まっているか否かを判断し、収まっていると判断した目標物410の位置を取得する。
【0114】
具体的に図10では、ユーザ400の左横にある目標物410bは、カメラ19の視野領域500からは外れているが、放物面1010により定められる調査領域1000内には収まっているため、視野領域500内の目標物410aと共に、取得部302によってその位置が取得されることになる。
【0115】
調査領域1000に放物面1010を用いることで、第2の四角錐610を用いたときに比べ、調査領域1000は、特にカメラ19の位置401の近傍においてより十分に、視野領域500よりも広い領域を占めることになる。その結果、本実施形態における表示装置300は、目標物410bのように、ユーザ400の近くにあるにもかかわらずカメラ19の視野領域500から外れてしまった目標物410について、その位置が取得され逃されてしまうということを、より効果的に防ぐことができるようになる。
【0116】
このようにして放物面1010により定められる調査領域1000内にある目標物410の位置が取得されると、次に表示装置300の生成部303が、取得された目標物410の位置を表示するための表示画像を、カメラ19による撮影画像に対応させて生成する。
【0117】
図11は、調査領域1000内の目標物の位置を仮想の投影面700に投影する様子を示す図である。この図11は、図10と同様、視野領域500と調査領域1000について、ユーザ400の真上から見たときの様子を示している。
【0118】
表示画像を生成するため、生成部303は、実施形態1における図7と同様に、ユーザ400(カメラ19)の位置401を原点(=(0,0,0))とし、向き402の方向をz軸とする三次元座標をとり、位置401からz方向に距離aだけ離れた位置、すなわちz=aの位置に仮想の投影面700をとる。そして、投影面700内に、カメラ19による撮影画像が描画される写真領域701と、この写真領域701を包含するように、取得された目標物410を表すマークが描画される報告領域702と、を用意する。
【0119】
ここで、投影面700内の写真領域701には、実施形態1と同様に、視野領域500内に収められた建物や樹木等の位置がカメラ19の視線に沿って投影されることで、カメラ19による撮影画像が描画される。一方で、投影面700内の報告領域702には、調査領域1000内に位置する目標物410について、その位置が投影され、投影された位置に目標物410を表すマークが描画されるが、このとき、実施形態1ではカメラ19による撮影画像の描画と同じ投影変換が用いられたのに対し、本実施形態では、放物線を投影線とする投影変換が用いられる。
【0120】
具体的には図11に示すように、原点であるカメラ19の位置401を頂点とし、カメラ19の向き402へ伸びる直線を軸とする放物線を投影線とする。そして、調査領域1000内の任意の位置が、この投影線に沿って、z=aの位置にある投影面700に投影される。具体的に座標を用いて説明すると、三次元座標が(x,y,z)で表される調査領域1000内の任意の位置が、z=aの投影面700上では、xy座標が(x√(a/z),y√(a/z))で表される位置に投影されることになる。
【0121】
すなわち、三次元座標が(x1,y1,z1)で表される位置にある目標物410aは、投影線1105aに沿って、xy座標が(x1√(a/z1),y1√(a/z1))で表される投影面700内の位置に投影される。同様に、三次元座標が(x2,y2,z2)で表される位置にある目標物410bは、投影線1105bに沿って、xy座標が(x2√(a/z2),y2√(a/z2))で表される投影面700内の位置に投影される。
【0122】
そして、生成部303は、投影された目標物410a,410bの位置に、目標物410a,410bを表すマーク710a,710bを描画し、写真領域701に描画した撮影画像とあわせることで、表示画像を生成する。生成された表示画像は、表示部304によって表示装置300の画面に表示される。これにより、ユーザ400は、カメラ19による撮影画像を基準として、目標物410a,410bがどのあたりの位置にあるのかを認識することができる。
【0123】
なお、このように放物線を投影線とする投影変換により目標物410の位置が投影面700に投影されることにより、投影された目標物410の位置は、カメラ19の視線を投影線として投影された撮影画像の描画位置に対し、ずれが生じるものとなる。すなわち、例えばカメラ19の視野領域500内にある目標物410aは、実際にはビル405a内にあるにもかかわらず、描画された撮影画像内のビル405aの位置からずれた位置に投影されることになる。しかし、撮影画像の中心付近では、投影線として用いられた放物線は直線形状に近くなるため、投影された目標物410の位置と撮影画像の描画位置とのずれは小さくなるし、そもそも検知部301によって検知されるカメラ19の位置401や向き402、さらには取得部302によって取得される目標物410の位置にも一定の誤差が含まれうる。そのため、本実施形態の表示装置300は、投影された目標物410の位置と撮影画像の描画位置とのずれをユーザ400にそれほど感じさせることなく、目標物410の位置を提供できる。
【0124】
このような構成によって、本実施形態に係る表示装置300は、目標物410の位置を取得する調査領域1000として、放物面1010により定められる領域をとる。そして、取得した目標物410の位置を、放物線を投影線とする投影変換を用いて投影面700に投影し、カメラ19による撮影画像と共に表示画像として画面に表示する。その結果、特にカメラ19の位置401の近傍において、目標物410の位置を取得する調査領域1000を広くとることができ、ユーザ400の近くにある目標物410の位置を取得し逃すことを効果的に防ぎつつ、その位置の情報をユーザ400に提供することができる。
【0125】
(実施形態3)
次に、本発明の実施形態3について説明する。上記実施形態2での表示装置300は、目標物410の位置が取得される調査領域1000を、ユーザ400(カメラ19)の位置401を頂点とする放物面1010により定めた。それに対して本実施形態での表示装置300は、調査領域を、ユーザ400の後方の位置を頂点とし、ユーザ400を包含するような放物面により定める。以下、説明する。
【0126】
図12は、ユーザ400を包含する放物面により定められる調査領域を示す図である。この図12は、実施形態2における図10と同様に、現実世界の市街地にいるユーザ400が、通りの真ん中の位置401から、通りの奥の向き402へ、表示装置300のカメラ19を向けている様子を示している。このときのカメラ19の視野領域500は、図10と同様に、カメラ19の位置401を頂点とし、向き402へ伸びる直線を軸とする四角錐510により定められる。
【0127】
一方、本実施形態における取得部302が目標物410の位置を取得するべき調査領域1200は、図12の斜線で示した部分のように、ユーザ400を包含するような放物面1210により定められる。具体的にこの放物面1210は、ユーザ400(カメラ19)の位置から距離bだけ後方の位置を頂点とし、視野領域500を定める四角錐510と共通の軸、すなわちカメラ19の向き402へ伸びる直線をその回転軸とする回転放物面となる。
【0128】
このようにカメラ19の向き402に対し後方の領域にまで調査領域1200をとることで、カメラ19の前方だけでなく、後方に位置する目標物410の位置が取得されることになる。具体的に図12において、ビル405c内にある目標物410cは、ユーザ400の右側後方にあり、カメラ19の視野領域500からは外れているが、放物面1210により定められる調査領域1200内には収まっているため、他の目標物410a,410bと共に、取得部302によってその位置が取得されることになる。
【0129】
取得された目標物410a,410b,410cの位置は、実施形態2と同様に、放物線の投影線に沿って仮想の投影面に投影される。投影される位置について具体的に座標を用いて説明すると、実施形態2における図11と同様に、ユーザ400(カメラ19)の位置401を原点(=(0,0,0))とし、向き402の方向をz軸とする三次元座標をとり、位置401からz方向に距離aだけ離れた位置に仮想の投影面をとった場合、三次元座標が(x,y,z)で表される調査領域1200内の任意の位置が、投影面上では、xy座標が(x√(a+b)/√(z+b),y√(a+b)/√(z+b))で表される位置に投影されることになる。
【0130】
そして、投影面に投影された目標物410a,410b,410cの位置に、目標物410a,410b,410cを表すマークが描画され、カメラ19による撮影画像と共に表示画像として画面に表示される。これにより、ユーザ400は、カメラ19による撮影画像を基準として、目標物410a,410b,410cがどのあたりの位置にあるのかについての情報を得ることができる。
【0131】
このような構成によって、本実施形態に係る表示装置300は、目標物410の位置を取得する調査領域1200として、ユーザ400を包含するような放物面1210により定める。その結果、特にカメラ19の位置401の近傍において、ユーザ400の後方にまで目標物410の位置を取得する調査領域1200をとることができ、ユーザ400の後方にある目標物410についても、その位置の情報をユーザ400に提供することができる。
【0132】
(他の実施形態)
以上、本発明の実施の形態について説明したが、本発明は、上述した実施形態に限定されず、種々の変形および応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。
【0133】
例えば、上記実施形態では、取得部302に取得される目標物410は、ユーザがプレイしたいと考えるゲーム機が備えられたゲームセンターであるとして説明したが、これに限らず、ユーザがその位置を知りたいと考える建物、施設、設備等であれば、例えばコンビニエンスストア、自動販売機、バス停、等のようなものでもよい。
【0134】
また、上記実施形態では、表示装置300の検知部301は、カメラ19の位置401として、緯度・経度・高度の情報を取得し、カメラ19の向き402として、東西南北を基準とした方位角情報および水平面を基準とした仰角の情報を取得した。しかしこれに限らず、緯度・経度以外の座標系によってカメラ19の位置401を取得してもよいし、東西南北を基準とした方位角以外の情報によってカメラ19の向き402を取得してもよい。
【0135】
また、検知部301は、カメラ19の位置401や向き402として、鉛直方向の情報、すなわち高度や仰角を取得せず、水平方向の情報、すなわち緯度・経度や方位角のみを検知するようにしてもよい。検知する情報から鉛直方向の情報を省略することで、表示画像に表示される目標物410の位置の鉛直方向の精度、すなわち目標物410がどれくらいの高さの位置にあるのかの情報が低下することになるが、ユーザ400が目標物410の位置を知るためには、水平方向の位置情報を認識できればよい場合も多い。そのため、検知する情報から鉛直方向の情報を省略することで、より簡略化された表示装置300の構成によって、カメラの外側にある目標物410の位置をユーザ400に提供することが可能になる。
【0136】
また、上記実施形態2,3では、目標物410の位置が取得される調査領域1000,1200は、カメラ19の視野領域500を定める四角錐510と共通の軸を回転軸として有する回転放物面1010,1210により定められた。しかし回転放物面に限らず、調査領域は、その他の二次曲面により定められてもよい。例えば、放物面に限らず、球面、楕円面、双曲面、円錐面により定められてもよいし、放物面であっても、回転放物面のような回転対称なものに限らず、放物線を鉛直方向に柱状に伸ばした放物線柱面のような立体形状により定められてもよい。本発明の表示装置300は、このような種々の二次曲面を、目標物410の位置を取得したい領域に応じて、柔軟に設計することができる。
【産業上の利用可能性】
【0137】
以上説明したように、本発明によれば、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することができる。
【符号の説明】
【0138】
1 情報処理装置
10 処理制御部
10a CPUコア
10b 画像処理部
10c VRAM
10d WRAM
10e LCDコントローラ
10f タッチパネルコントローラ
11 コネクタ
12 カートリッジ
12a ROM
12b RAM
13 無線通信部
14 通信コントローラ
15 サウンドアンプ
16 スピーカ
17 操作キー
18 GPS処理部
19 カメラ
20 第1の表示部
21 第2の表示部
22 タッチパネル
300 表示装置
301 検知部
302 取得部
303 生成部
304 表示部
400 ユーザ
401 (カメラの)位置
402 (カメラの)向き
405a,405b,405c ビル
410a,410b,410c 目標物
420 GPS衛星
500 視野領域
510 四角錐
600,1000,1200 調査領域
610 第2の四角錐
700 投影面
701 写真領域
702 報告領域
705a,705b,1105a,1105b 投影線
710a,710b マーク
800 表示画像
810 撮影画像
1010,1210 放物面

【特許請求の範囲】
【請求項1】
カメラの位置および向きを検知する検知部、
前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得部、
前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成部、
前記生成された表示画像を画面に表示する表示部
を備え、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有する
ことを特徴とする表示装置。
【請求項2】
請求項1に記載の表示装置であって、
前記調査領域は、前記カメラの位置の近傍で前記視野領域を含む
ことを特徴とする表示装置。
【請求項3】
請求項1または2に記載の表示装置であって、
前記所定の投影変換は、前記視野領域を前記写真領域に投影する投影変換に一致する
ことを特徴とする表示装置。
【請求項4】
請求項1から3のいずれか1項に記載の表示装置であって、
前記視野領域は、第1の錐体により定められ、
前記調査領域は、第2の錐体により定められ、
前記第1の錐体の軸と、前記第2の錐体の軸とは、重なり、
前記第2の錐体は、前記第1の錐体を包含する
ことを特徴とする表示装置。
【請求項5】
請求項1から3のいずれか1項に記載の表示装置であって、
前記視野領域は、錐体により定められ、
前記調査領域は、二次曲面により定められ、
前記錐体の軸と、前記二次曲面の軸のいずれかとは、重なる
ことを特徴とする表示装置。
【請求項6】
検知部、取得部、生成部、表示部を備える表示装置が実行する表示方法であって、
前記検知部が、カメラの位置および向きを検知する検知工程、
前記取得部が、前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得工程、
前記生成部が、前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成工程、
前記表示部が、前記生成された表示画像を画面に表示する表示工程
を備え、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有する
ことを特徴とする表示方法。
【請求項7】
コンピュータを、
カメラの位置および向きを検知する検知部、
前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得部、
前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成部、
前記生成された表示画像を画面に表示する表示部
として機能させ、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有する
ように機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−105466(P2013−105466A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−251147(P2011−251147)
【出願日】平成23年11月16日(2011.11.16)
【特許番号】特許第5189673号(P5189673)
【特許公報発行日】平成25年4月24日(2013.4.24)
【出願人】(506113602)株式会社コナミデジタルエンタテインメント (1,441)
【Fターム(参考)】