電子機器、情報付き撮像画面表示方法及びプログラム
【課題】利用者が直感的に指定し易く、同時に必要な空間情報を重畳表示する。
【解決手段】現実空間を撮影するとき、撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある空間に関する情報だけを自動的に絞り込み、撮像画面上に重畳的に表示する。すなわち、ピントの合った範囲にある事物に関する情報のみを重畳可能な情報として絞り込み、撮像画面上の事物の像に重ねて表示する。
【解決手段】現実空間を撮影するとき、撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある空間に関する情報だけを自動的に絞り込み、撮像画面上に重畳的に表示する。すなわち、ピントの合った範囲にある事物に関する情報のみを重畳可能な情報として絞り込み、撮像画面上の事物の像に重ねて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、情報付き撮像画面表示方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、拡張現実と呼ばれる技術の応用が活発となっている。例えばカメラ技術への応用が進んでいる。昨今では、カメラで撮像された画像上に、仮想の物体、現実空間そのもの、現実空間上の物体等に関する補足説明を、あたかも現実空間上に存在するかのように重畳表示できる電子機器も存在する（特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０００−５１２７８１号公報
【特許文献２】特開平１０−２６７６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
拡張現実技術の普及に伴い、近い将来には、仮想情報としての補足説明が付された実空間の氾濫が予測される。このような状況下で、実空間を撮影した画像に含まれる全ての補足説明（空間情報）を重畳表示すると、表示情報数が多くなりすぎ、画面が見辛くなるおそれがある。また、表示される空間情報の増加に伴い、空間情報の受信や処理に要する負荷が増大するおそれもある。
【０００５】
これらを解決するための方法の一つとして、表示対象とする空間情報の絞り込みが考えられる。しかしながら、従来提案されている技術の場合、表示対象とする空間の範囲の指定が固定であり、そのために所望の空間情報を適切に表示させることができないという問題がある。
【課題を解決するための手段】
【０００６】
そこで、本発明者らは、撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある空間に関する情報だけを、撮像画面上に重畳的に表示する仕組みを発明した。
【発明の効果】
【０００７】
本発明によれば、利用者にとってより利便性の高い電子機器、情報付き撮像画面表示方法及びプログラムの提供が可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報付き拡張現実を実現する機能を搭載する電子機器の構成例を示す図。
【図２】電子機器と周辺環境の位置関係を説明する図。
【図３】空間情報テーブルのデータ構造の一例を示す図。
【図４】撮像パラメータの一例を示す図。
【図５】奥行き情報を考慮したデータの抽出と重畳表示を実現する処理手順例を説明するフローチャート。
【図６】奥行き情報を考慮しない撮像画面の表示例を示す図。
【図７】奥行き情報を考慮した撮像画面の表示例を示す図。
【図８】情報付き拡張現実を実現する機能を搭載する電子機器の他の構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明の形態例を説明する。なお、以下に説明する形態例は、発明を実現するための一例であり、実製品においては、形態例に係る装置構成の一部を周知又は公知の技術と置換しても良い。
【００１０】
（電子機器のシステム構成例）
図１に、形態例に係る電子機器のシステム構成例を示す。なお、電子機器には、例えば携帯電話機、携帯情報端末、デジタルカメラ等がある。
【００１１】
図１に示すように、電子機器は、カメラ１０１、ディスプレイ１０２、カメラ制御装置１０３、空間データ記憶装置１０４、カメラ位置検出装置１０５、カメラ方向検出装置１０６、操作装置１０７、計算装置１０８、記憶装置１０９、被写体距離測定装置１１０により構成される。
【００１２】
カメラ１０１には、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサその他の撮像装置が用いられる。この形態例の場合、被写体の撮像には１個のカメラ１０１だけが用いられる。ディスプレイ１０２には、例えば液晶ディスプレイ、有機ＥＬディスプレイその他の表示装置が用いられる。
【００１３】
カメラ制御装置１０３は、被写体距離や撮像環境（例えば明るさ、撮像モード等）に応じ、被写体の撮像に適した撮像パラメータを自動的に設定する装置である。カメラ制御装置１０３には、現在、撮像機能を搭載する様々な電子機器に実装されているものを使用することができる。
【００１４】
空間データ記憶装置１０４は、予め又は通信機能（不図示）を通じて取得した地物に関する位置データ（空間データ（例えば経度、緯度、高度））及び地物に付されている補足説明（空間情報）を格納する記憶装置である。
【００１５】
カメラ位置検出装置１０５は、ＧＰＳ受信機や無線基地局からの受信信号に基づいてカメラ１０１（すなわち電子機器）の位置を検出する装置である。当該装置の機能は、ハードウェア又はソフトウェアとして実現される。
【００１６】
カメラ方向検出装置１０６は、カメラの光軸方向を検出する装置である。カメラ方向検出装置１０６は、例えば２軸以上の地磁気センサと３軸ジャイロセンサ、又は、３軸加速度センサの検出信号に基づいてカメラの光軸方向を検出する。
【００１７】
操作装置１０７には、電子機器の筺体表面に配置された各種のボタンやスイッチだけでなく、ディスプレイ１０２の画面上に表示されるＧＵＩ上のボタンやスイッチも含まれる。この形態例の場合、操作装置１０７は、撮像に使用する被写体距離の入力にも使用される。
【００１８】
計算装置１０８は、電子機器全体の処理機能を制御するコンピュータであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成される。計算装置１０８は、空間情報をディスプレイ１０２に表示する機能もプログラムの実行を通じて提供する。
【００１９】
記憶装置１０９は、カメラ１０１により撮像された画像データの他、被写体の撮像時に使用する撮像パラメータ等を格納する外部記憶装置である。例えばフラッシュメモリ、ハードディスク装置等が用いられる。
【００２０】
被写体距離測定装置１１０は、レーザー計測、ソナー、ステレオ視、検出物体スケール等により、被写体までの距離を測定又は推定する装置のいずれかを搭載する。もっとも、撮像のたび、操作装置１０７より数値として入力することもできる。被写体距離を直接入力する場合、被写体距離測定装置１１０は不要である。また、この形態例では、カメラ１０１が１台であるのでステレオ視（視差）による距離の測定機能は搭載しない。ステレオ視（視差）による距離の測定機能を搭載する電子機器については後述する。
【００２１】
（情報付き撮像画面の表示処理と奥行き情報の算出処理の概要）
計算装置１０８は、カメラ位置検出装置１０５で検出されたカメラ位置座標とカメラ方向検出装置１０６で検出されたカメラの光軸方向ベクトルとを用い、撮像方向に関係する空間情報を空間データ記憶装置１０４から抽出する。次に、計算装置１０８は、抽出された空間情報を撮像画面上に投影変換し、撮像画像（ライブ画像）に重畳するようにディスプレイ１０２に表示する。カメラ制御装置１０３は、カメラ１０１、カメラ位置検出装置１０５、カメラ方向検出装置１０６の各センサを同期制御する。
【００２２】
計算装置１０８は、地物の空間情報を抽出する範囲(空間)を撮像パラメータを用いて算出する。空間情報を抽出する範囲のうち、奥行き情報の算出には、撮像パラメータとして例えば被写界深度と被写体距離の情報が必要である。被写界深度内に存在する空間情報のみをディスプレイ１０２に表示するためである。
【００２３】
奥行き情報を、このように定義することにより、撮像者が現在注目していると思われる被写体の近辺に位置する地物の空間情報のみを撮像画面上に表示させることが可能になる。なお、被写界深度は、カメラ方向について撮影対象物（被写体）の前後でピントが合う範囲を与える撮像パラメータであり、過焦点距離、焦点距離、レンズ絞り値、許容散乱円直径、被写体距離等の他の撮像パラメータから算出することができる。算出の詳細については後述する。
【００２４】
（被写体距離と被写界深度の関係）
図２に、電子機器の位置（カメラ位置２００）と被写体周辺の物体との間の位置関係を示す。図中、２０６はピントを合わせる対象である被写体たる物体、２０７はカメラの光軸方向を示すカメラ方向、２０８は被写体２０６にピントがあった状態での被写界深度、２０９はカメラ位置２００から被写体２０６までの距離（被写体距離）である。被写体距離は、カメラ位置２００からカメラ方向２０７への距離として測定又は算出される。なお、θは、カメラ１０１の画角である。画角内にある物体が画像として取り込まれる。
【００２５】
この形態例の場合、画角θの範囲に存在し、カメラ１０１によって撮像される物体のうちディスプレイ１０２中に表示する地物の空間情報を、被写体２０６に対してカメラ方向２０７に所定の奥行き範囲に限定する。この形態例では、この奥行き範囲として被写界深度２０８を使用する。
【００２６】
図２の場合、画角内には、４つの空間情報が存在する。１つは、被写体２０６よりもカメラ位置２００に近い側に位置し、かつ、被写界深度２０８内に位置する空間情報２０１である。１つは、被写体２０６に対してカメラ位置２００の反対側に位置し、かつ、被写界深度２０８内に位置する空間情報２０２である。１つは、被写体２０６に対してカメラ位置２００の反対側に位置し、かつ、被写界深度２０８の外側に位置する空間情報２０３である。１つは、被写体２０６よりもカメラ位置２００に近い側に位置し、かつ、被写界深度２０８の外側に位置する空間情報２０４である。図２では、画角外の空間情報２０５も表している。
【００２７】
（空間データ）
図３に、空間データ記憶装置１０４に格納されている情報の一例を示す。空間データ記憶装置１０４は、空間情報レコードを一意に決めるＩＤ３００、空間情報の名称３０１、空間情報の３次元位置を表す緯度３０２、経度３０３、標高３０４で構成される。例えばＩＤ３００のうち「２０１」には、空間情報２０１の名称が付されており、緯度にはlon_a、経度にはlat_a、標高にはh_aがそれぞれ格納されている。
【００２８】
（記憶装置に保存される情報）
図４に、空間情報の絞り込み用に記憶装置１０９に読み込まれる情報を示す。図４の場合、カメラ位置の経度４００とその値lon_cam、カメラ位置の緯度４０１とその値lat_cam、カメラ位置の標高４０２とその値h_cam、カメラ画角の対角線４０３とその値angle_of_view、カメラ姿勢のロール４０４とその値r_cam、カメラ姿勢のピッチ４０５とその値p_cam、カメラ姿勢のヨー４０６とその値y_cam、装置ＩＤ４０７とその値id_cam、過焦点距離４０８とその値Ｈ、焦点距離４０９とその値ｆ、レンズ絞り値４１０とその値Ｎ、許容散乱円直径４１１とその値ｃ、被写体距離４１２とその値ｓ、近（側）被写界深度４１３、遠（側）被写界深度４１４、被写界深度４１５とその値Ｄ、奥行き絞込みフラグ４１６とその値（図では「０」）からなる。奥行き絞込みフラグ４１６は、「０」のとき「偽」、「１」のとき「真」を意味する。ここで、「偽」とは、空間情報の表示範囲を絞り込まないことを意味する。従って、「真」はその反対に、空間情報の表示範囲を絞り込むことを意味する。
【００２９】
（被写界深度の算出）
計算装置１０８は、次式に基づいて被写界深度を算出する。
【数１】
【００３０】
ここで、Ｎはレンズ絞り値であり、ｃは許容散乱円直径であり、ｆは焦点距離であり、Ｈは過焦点距離であり、ｓは被写体距離である。レンズ絞り値、許容散乱円直径、焦点距離は図１のカメラ１０１、及び、カメラ制御装置１０３より取得し、記憶装置１０９に保存する。被写体距離は図１の被写体距離測定装置１１０より取得し、記憶装置１０９に保存する。さらに、計算装置１０８は、焦点距離４０９、レンズ絞り値４１０、許容散乱円直径４１１の各値を使用して過焦点距離４０８の値Ｈを算出する。さらに、計算装置１０８は、過焦点距離４０８と被写体距離４１２を利用して近被写界深度４１３、遠被写界深度４１４、被写界深度４１５の各値を計算する。
【００３１】
（情報付き撮像画面表示プログラム）
図５に、カメラ１０１で撮像された画像の表示画面中に空間情報を重畳的に表示する際に用いて好適な処理手順（プログラム）の概要を示す。この形態例の場合、図５に示す手順で特定されるプログラムは、撮像モードが選択されたとき、計算装置１０８において実行される。なお、このプログラムが起動される前には、空間情報の画面表示に際して奥行き方向の絞込みを行うか否かの設定が既に完了しているものとする。もっとも、画面表示中に絞込みの実行の有無を切り換えても良い。
【００３２】
（ステップ５０１）
まず、ユーザがカメラ１０１を被写体に向け、撮影を行う。撮像画像（データ）は、記憶装置１０９に保存される。この保存と同時に、プログラムは、カメラ画角４０３、焦点距離４０９、レンズ絞り値４１０、許容散乱円直径４１１等の撮像パラメータの値をカメラ１０１及びカメラ制御装置１０３から取得し、取得した値を記憶装置１０９に保存する。
【００３３】
（ステップ５０２）
次に、プログラムは、被写体距離測定装置１１０から被写体距離を取得する。レーザー、ソナーといったアクティブセンサを用いた距離測定方法を採用する場合、被写体距離測定装置１１０は、光や電波の送信装置、その受信装置、計算処理装置といった部材を含み、光軸上で最も近い空間情報までの距離を計測する。なお、特開２００９−３１８７０号公報のように撮影対象の画像平面上のピクセルサイズを推定し、物体の実寸サイズとの比較により撮影対象までの被写体距離を計測する方法を適用することもできる。
【００３４】
なお、電子機器のスペックによっては、被写体距離を自動的に取得ができない場合も考えられる。このような場合は、事前に、ユーザが操作装置１０７を通じて入力しておいた被写体距離を使用する。被写体距離の入力方法には、近(5m)、中(10m)、遠(20m)といった段階的な距離選択方法や値を直接入力する方法等を用意する。
【００３５】
（ステップ５０３）
次に、プログラムは、カメラ位置に関する情報を取得する。具体的には、プログラムは、カメラ位置検出装置１０５からカメラ位置（経度）４００、カメラ位置（緯度）４０１、カメラ位置（標高）４０２を取得し、記憶装置１０９に保存する。
【００３６】
（ステップ５０４）
同様に、プログラムは、カメラの撮像方向に関する情報を取得する。具体的には、プログラムは、カメラ方向検出装置１０６からカメラ姿勢（ロール）４０４、カメラ姿勢（ピッチ）４０５、カメラ姿勢（ヨー）４０６を取得し、記憶装置１０９に保存する。
【００３７】
（ステップ５０５）
次に、プログラムは、奥行き絞込みフラグ４１６の設定状態を判定する。ここで、奥行き絞込みフラグ４１６が「偽」のとき、プログラムは、奥行きを考慮しない絞り込み範囲を計算すべく、そのままステップ５１０に進む。一方、奥行き絞込みフラグ４１６が「真」のとき、プログラムは、奥行きを考慮した絞り込み範囲を計算すべく、ステップ５０６に進む。
【００３８】
（ステップ５１０）
ここで、奥行きを考慮しない絞り込み範囲は、図２の画角内に対応する範囲として計算される。この場合、プログラムは、カメラ位置４００、４０１及び４０２、カメラ画角４０３、カメラ姿勢４０４、４０５及び４０６に基づいて、対応範囲を特定するための境界線（ベクトル）や座標値等を計算する。
【００３９】
（ステップ５０６）
一方、奥行きを考慮した絞り込み範囲は、図２の画角内であり、かつ、被写界深度内の範囲として計算される。この場合、プログラムは、カメラ位置４００、４０１及び４０２、カメラ画角４０３、カメラ姿勢４０４、４０５及び４０６、被写界深度４１５に基づいて、対応範囲を特定するための境界線（ベクトル）や座標値等を計算する。
【００４０】
（ステップ５０７）
絞り込み範囲が計算されると、プログラムは、計算された範囲内にある空間情報を図３に示す空間情報テーブルより抽出する。
【００４１】
（ステップ５０８）
次に、プログラムは、抽出された空間情報を、カメラ１０１で撮影された画像とを重畳した画面をディスプレイ１０２上に表示するために、各空間情報について登録されている３次元情報と図４に示す撮像パラメータとに基づいて、投影変換を実行する。この処理自体は既知である。
【００４２】
（ステップ５０９）
最後に、プログラムは、カメラ１０１で撮影された画像と投影変換された空間情報をディスプレイ１０２上で重畳した撮像画面を構成し、当該撮像画面をディスプレイ１０２に表示する。なお、空間情報の表示同士が画面上で重なる場合、プログラムは、相対的にカメラ１０１（電子機器）の近くに位置する空間情報ほど手前側に表示する。この処理自体は既知である。
【００４３】
（撮像画面の表示例）
以下では、形態例に係る情報付き撮像画面表示機能を搭載する電子機器を用いる場合の表示画面例を示す。
【００４４】
まず図６に、奥行き絞込みフラグが「偽」の場合の撮像画面６００を示す。この場合、図２の画角内にある全ての空間情報２０１、空間情報２０２、空間情報２０３、空間情報２０４が撮影された画像に対して重畳表示される。なお、画角内にない空間情報２０５は重畳表示されない。
【００４５】
続いて図７に、奥行き絞込みフラグが「真」の場合の撮像画面７００を示す。この場合、図２の画角内、かつ、被写界深度内にある空間情報２０１、空間情報２０２だけが撮影された画像に対して重畳表示される。この場合、画角内であっても、被写界深度内にない空間情報２０３や空間情報２０４は、画角内にない空間情報２０５と同様に重畳表示されない。
【００４６】
即ち、空間情報を、所定の奥行き範囲に限定して撮像画面に重畳的に表示する表示画面と、空間情報を、所定の奥行き範囲を用いることなく撮像画像に重畳的に表示する表示画面とを、奥行き絞込みフラグに応じて切り替えることが可能である。
【００４７】
（まとめ）
以上のように、形態例に係る電子機器を用いれば、実空間を撮影した画像のうちピントの合った範囲にある空間情報だけを絞り込むことが可能となる。すなわち、撮像範囲内に空間情報が数多く存在する場合でも、撮影者が注目している被写体近傍のピントのあった範囲内にある空間情報を画面上に重畳表示することができる。しかも、この手法の場合、単に表示される空間情報の数を減らして画面の視認性を高めているのではなく、撮影者の視野範囲と被写界深度内にある事物について過不足なく情報を提示できる。また、同時に処理する情報量が削減されるため、画面表示までの処理効率が向上する。さらに、形態例に係る電子機器の場合には、当該絞込みを被写体距離とカメラ撮影時の撮像パラメータを利用して実現し、新たな部材を必要としないため、低コストで同機能を実現できる。さらに、空間情報に付随する情報を別途、絞り込みに用いることで、より空間情報の数を減らすことができる。このとき、あらかじめ絞り込み項目と条件を入力するインタフェースを用意する。
【００４８】
（他の形態例）
前述の形態例においては、被写界深度範囲内の空間情報に絞る検索条件を例に挙げて説明したが、被写体距離の前後所定範囲を絞込み範囲とする方法、（被写体距離＋遠被写界深度）で与えられる範囲（被写体距離から遠被写界深度までの範囲）のうち所定範囲を絞込み範囲とする方法、（被写体距離−近被写界深度）で与えられる範囲（被写体距離から近被写界深度までの範囲）のうち所定範囲を絞込み範囲とする方法等を採用しても良い。
【００４９】
なお、絞込み範囲は、ユーザ操作により、絞り範囲を微調整又は切り替え制御できるようにしても良い。
【００５０】
また、図１においては、電子機器にカメラ１０１が１台だけ搭載されている場合について説明したが、図８に示すように、３次元撮影用にカメラ１０１が２台搭載されている場合にも適用できる。この場合、２台のカメラ１０１の視差を利用して被写体距離を自動測定することができる。
【符号の説明】
【００５１】
１０１…カメラ、１０２…ディスプレイ、１０３…カメラ制御装置、１０４…空間データ記憶装置、１０５…カメラ位置検出装置、１０６…カメラ方向検出装置、１０７…操作装置、１０８…計算装置、１０９…記憶装置、１１０…被写体距離測定装置、２００…カメラ位置、２０１…空間情報、２０２…空間情報、２０３…空間情報、２０４…空間情報、２０５…空間情報、２０６…被写体、２０７…カメラ方向、２０８…被写界深度、２０９…被写体距離、３００…ＩＤ、３０１…名称、３０２…軽度、３０３…緯度、３０４…標高、４００…カメラ位置(経度)、４０１…カメラ位置(緯度)、４０２…カメラ位置（標高）、４０３…カメラ画角(対角線)、４０４…カメラ姿勢(ロール)、４０５…カメラ姿勢(ピッチ)、４０６…カメラ姿勢（ヨー）、４０７…装置ＩＤ、４０８…過焦点距離、４０９…焦点距離、４１０…レンズ絞り値、４１１…許容散乱円直径、４１２…被写体距離、４１３…近被写界深度、４１４…遠被写界深度、４１５…被写界深度、４１６…奥行き絞込みフラグ、６００…撮像画面、７００…撮像画面。
【技術分野】
【０００１】
本発明は、電子機器、情報付き撮像画面表示方法及びプログラムに関するものである。
【背景技術】
【０００２】
近年、拡張現実と呼ばれる技術の応用が活発となっている。例えばカメラ技術への応用が進んでいる。昨今では、カメラで撮像された画像上に、仮想の物体、現実空間そのもの、現実空間上の物体等に関する補足説明を、あたかも現実空間上に存在するかのように重畳表示できる電子機器も存在する（特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０００−５１２７８１号公報
【特許文献２】特開平１０−２６７６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
拡張現実技術の普及に伴い、近い将来には、仮想情報としての補足説明が付された実空間の氾濫が予測される。このような状況下で、実空間を撮影した画像に含まれる全ての補足説明（空間情報）を重畳表示すると、表示情報数が多くなりすぎ、画面が見辛くなるおそれがある。また、表示される空間情報の増加に伴い、空間情報の受信や処理に要する負荷が増大するおそれもある。
【０００５】
これらを解決するための方法の一つとして、表示対象とする空間情報の絞り込みが考えられる。しかしながら、従来提案されている技術の場合、表示対象とする空間の範囲の指定が固定であり、そのために所望の空間情報を適切に表示させることができないという問題がある。
【課題を解決するための手段】
【０００６】
そこで、本発明者らは、撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある空間に関する情報だけを、撮像画面上に重畳的に表示する仕組みを発明した。
【発明の効果】
【０００７】
本発明によれば、利用者にとってより利便性の高い電子機器、情報付き撮像画面表示方法及びプログラムの提供が可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報付き拡張現実を実現する機能を搭載する電子機器の構成例を示す図。
【図２】電子機器と周辺環境の位置関係を説明する図。
【図３】空間情報テーブルのデータ構造の一例を示す図。
【図４】撮像パラメータの一例を示す図。
【図５】奥行き情報を考慮したデータの抽出と重畳表示を実現する処理手順例を説明するフローチャート。
【図６】奥行き情報を考慮しない撮像画面の表示例を示す図。
【図７】奥行き情報を考慮した撮像画面の表示例を示す図。
【図８】情報付き拡張現実を実現する機能を搭載する電子機器の他の構成例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて、本発明の形態例を説明する。なお、以下に説明する形態例は、発明を実現するための一例であり、実製品においては、形態例に係る装置構成の一部を周知又は公知の技術と置換しても良い。
【００１０】
（電子機器のシステム構成例）
図１に、形態例に係る電子機器のシステム構成例を示す。なお、電子機器には、例えば携帯電話機、携帯情報端末、デジタルカメラ等がある。
【００１１】
図１に示すように、電子機器は、カメラ１０１、ディスプレイ１０２、カメラ制御装置１０３、空間データ記憶装置１０４、カメラ位置検出装置１０５、カメラ方向検出装置１０６、操作装置１０７、計算装置１０８、記憶装置１０９、被写体距離測定装置１１０により構成される。
【００１２】
カメラ１０１には、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサその他の撮像装置が用いられる。この形態例の場合、被写体の撮像には１個のカメラ１０１だけが用いられる。ディスプレイ１０２には、例えば液晶ディスプレイ、有機ＥＬディスプレイその他の表示装置が用いられる。
【００１３】
カメラ制御装置１０３は、被写体距離や撮像環境（例えば明るさ、撮像モード等）に応じ、被写体の撮像に適した撮像パラメータを自動的に設定する装置である。カメラ制御装置１０３には、現在、撮像機能を搭載する様々な電子機器に実装されているものを使用することができる。
【００１４】
空間データ記憶装置１０４は、予め又は通信機能（不図示）を通じて取得した地物に関する位置データ（空間データ（例えば経度、緯度、高度））及び地物に付されている補足説明（空間情報）を格納する記憶装置である。
【００１５】
カメラ位置検出装置１０５は、ＧＰＳ受信機や無線基地局からの受信信号に基づいてカメラ１０１（すなわち電子機器）の位置を検出する装置である。当該装置の機能は、ハードウェア又はソフトウェアとして実現される。
【００１６】
カメラ方向検出装置１０６は、カメラの光軸方向を検出する装置である。カメラ方向検出装置１０６は、例えば２軸以上の地磁気センサと３軸ジャイロセンサ、又は、３軸加速度センサの検出信号に基づいてカメラの光軸方向を検出する。
【００１７】
操作装置１０７には、電子機器の筺体表面に配置された各種のボタンやスイッチだけでなく、ディスプレイ１０２の画面上に表示されるＧＵＩ上のボタンやスイッチも含まれる。この形態例の場合、操作装置１０７は、撮像に使用する被写体距離の入力にも使用される。
【００１８】
計算装置１０８は、電子機器全体の処理機能を制御するコンピュータであり、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成される。計算装置１０８は、空間情報をディスプレイ１０２に表示する機能もプログラムの実行を通じて提供する。
【００１９】
記憶装置１０９は、カメラ１０１により撮像された画像データの他、被写体の撮像時に使用する撮像パラメータ等を格納する外部記憶装置である。例えばフラッシュメモリ、ハードディスク装置等が用いられる。
【００２０】
被写体距離測定装置１１０は、レーザー計測、ソナー、ステレオ視、検出物体スケール等により、被写体までの距離を測定又は推定する装置のいずれかを搭載する。もっとも、撮像のたび、操作装置１０７より数値として入力することもできる。被写体距離を直接入力する場合、被写体距離測定装置１１０は不要である。また、この形態例では、カメラ１０１が１台であるのでステレオ視（視差）による距離の測定機能は搭載しない。ステレオ視（視差）による距離の測定機能を搭載する電子機器については後述する。
【００２１】
（情報付き撮像画面の表示処理と奥行き情報の算出処理の概要）
計算装置１０８は、カメラ位置検出装置１０５で検出されたカメラ位置座標とカメラ方向検出装置１０６で検出されたカメラの光軸方向ベクトルとを用い、撮像方向に関係する空間情報を空間データ記憶装置１０４から抽出する。次に、計算装置１０８は、抽出された空間情報を撮像画面上に投影変換し、撮像画像（ライブ画像）に重畳するようにディスプレイ１０２に表示する。カメラ制御装置１０３は、カメラ１０１、カメラ位置検出装置１０５、カメラ方向検出装置１０６の各センサを同期制御する。
【００２２】
計算装置１０８は、地物の空間情報を抽出する範囲(空間)を撮像パラメータを用いて算出する。空間情報を抽出する範囲のうち、奥行き情報の算出には、撮像パラメータとして例えば被写界深度と被写体距離の情報が必要である。被写界深度内に存在する空間情報のみをディスプレイ１０２に表示するためである。
【００２３】
奥行き情報を、このように定義することにより、撮像者が現在注目していると思われる被写体の近辺に位置する地物の空間情報のみを撮像画面上に表示させることが可能になる。なお、被写界深度は、カメラ方向について撮影対象物（被写体）の前後でピントが合う範囲を与える撮像パラメータであり、過焦点距離、焦点距離、レンズ絞り値、許容散乱円直径、被写体距離等の他の撮像パラメータから算出することができる。算出の詳細については後述する。
【００２４】
（被写体距離と被写界深度の関係）
図２に、電子機器の位置（カメラ位置２００）と被写体周辺の物体との間の位置関係を示す。図中、２０６はピントを合わせる対象である被写体たる物体、２０７はカメラの光軸方向を示すカメラ方向、２０８は被写体２０６にピントがあった状態での被写界深度、２０９はカメラ位置２００から被写体２０６までの距離（被写体距離）である。被写体距離は、カメラ位置２００からカメラ方向２０７への距離として測定又は算出される。なお、θは、カメラ１０１の画角である。画角内にある物体が画像として取り込まれる。
【００２５】
この形態例の場合、画角θの範囲に存在し、カメラ１０１によって撮像される物体のうちディスプレイ１０２中に表示する地物の空間情報を、被写体２０６に対してカメラ方向２０７に所定の奥行き範囲に限定する。この形態例では、この奥行き範囲として被写界深度２０８を使用する。
【００２６】
図２の場合、画角内には、４つの空間情報が存在する。１つは、被写体２０６よりもカメラ位置２００に近い側に位置し、かつ、被写界深度２０８内に位置する空間情報２０１である。１つは、被写体２０６に対してカメラ位置２００の反対側に位置し、かつ、被写界深度２０８内に位置する空間情報２０２である。１つは、被写体２０６に対してカメラ位置２００の反対側に位置し、かつ、被写界深度２０８の外側に位置する空間情報２０３である。１つは、被写体２０６よりもカメラ位置２００に近い側に位置し、かつ、被写界深度２０８の外側に位置する空間情報２０４である。図２では、画角外の空間情報２０５も表している。
【００２７】
（空間データ）
図３に、空間データ記憶装置１０４に格納されている情報の一例を示す。空間データ記憶装置１０４は、空間情報レコードを一意に決めるＩＤ３００、空間情報の名称３０１、空間情報の３次元位置を表す緯度３０２、経度３０３、標高３０４で構成される。例えばＩＤ３００のうち「２０１」には、空間情報２０１の名称が付されており、緯度にはlon_a、経度にはlat_a、標高にはh_aがそれぞれ格納されている。
【００２８】
（記憶装置に保存される情報）
図４に、空間情報の絞り込み用に記憶装置１０９に読み込まれる情報を示す。図４の場合、カメラ位置の経度４００とその値lon_cam、カメラ位置の緯度４０１とその値lat_cam、カメラ位置の標高４０２とその値h_cam、カメラ画角の対角線４０３とその値angle_of_view、カメラ姿勢のロール４０４とその値r_cam、カメラ姿勢のピッチ４０５とその値p_cam、カメラ姿勢のヨー４０６とその値y_cam、装置ＩＤ４０７とその値id_cam、過焦点距離４０８とその値Ｈ、焦点距離４０９とその値ｆ、レンズ絞り値４１０とその値Ｎ、許容散乱円直径４１１とその値ｃ、被写体距離４１２とその値ｓ、近（側）被写界深度４１３、遠（側）被写界深度４１４、被写界深度４１５とその値Ｄ、奥行き絞込みフラグ４１６とその値（図では「０」）からなる。奥行き絞込みフラグ４１６は、「０」のとき「偽」、「１」のとき「真」を意味する。ここで、「偽」とは、空間情報の表示範囲を絞り込まないことを意味する。従って、「真」はその反対に、空間情報の表示範囲を絞り込むことを意味する。
【００２９】
（被写界深度の算出）
計算装置１０８は、次式に基づいて被写界深度を算出する。
【数１】
【００３０】
ここで、Ｎはレンズ絞り値であり、ｃは許容散乱円直径であり、ｆは焦点距離であり、Ｈは過焦点距離であり、ｓは被写体距離である。レンズ絞り値、許容散乱円直径、焦点距離は図１のカメラ１０１、及び、カメラ制御装置１０３より取得し、記憶装置１０９に保存する。被写体距離は図１の被写体距離測定装置１１０より取得し、記憶装置１０９に保存する。さらに、計算装置１０８は、焦点距離４０９、レンズ絞り値４１０、許容散乱円直径４１１の各値を使用して過焦点距離４０８の値Ｈを算出する。さらに、計算装置１０８は、過焦点距離４０８と被写体距離４１２を利用して近被写界深度４１３、遠被写界深度４１４、被写界深度４１５の各値を計算する。
【００３１】
（情報付き撮像画面表示プログラム）
図５に、カメラ１０１で撮像された画像の表示画面中に空間情報を重畳的に表示する際に用いて好適な処理手順（プログラム）の概要を示す。この形態例の場合、図５に示す手順で特定されるプログラムは、撮像モードが選択されたとき、計算装置１０８において実行される。なお、このプログラムが起動される前には、空間情報の画面表示に際して奥行き方向の絞込みを行うか否かの設定が既に完了しているものとする。もっとも、画面表示中に絞込みの実行の有無を切り換えても良い。
【００３２】
（ステップ５０１）
まず、ユーザがカメラ１０１を被写体に向け、撮影を行う。撮像画像（データ）は、記憶装置１０９に保存される。この保存と同時に、プログラムは、カメラ画角４０３、焦点距離４０９、レンズ絞り値４１０、許容散乱円直径４１１等の撮像パラメータの値をカメラ１０１及びカメラ制御装置１０３から取得し、取得した値を記憶装置１０９に保存する。
【００３３】
（ステップ５０２）
次に、プログラムは、被写体距離測定装置１１０から被写体距離を取得する。レーザー、ソナーといったアクティブセンサを用いた距離測定方法を採用する場合、被写体距離測定装置１１０は、光や電波の送信装置、その受信装置、計算処理装置といった部材を含み、光軸上で最も近い空間情報までの距離を計測する。なお、特開２００９−３１８７０号公報のように撮影対象の画像平面上のピクセルサイズを推定し、物体の実寸サイズとの比較により撮影対象までの被写体距離を計測する方法を適用することもできる。
【００３４】
なお、電子機器のスペックによっては、被写体距離を自動的に取得ができない場合も考えられる。このような場合は、事前に、ユーザが操作装置１０７を通じて入力しておいた被写体距離を使用する。被写体距離の入力方法には、近(5m)、中(10m)、遠(20m)といった段階的な距離選択方法や値を直接入力する方法等を用意する。
【００３５】
（ステップ５０３）
次に、プログラムは、カメラ位置に関する情報を取得する。具体的には、プログラムは、カメラ位置検出装置１０５からカメラ位置（経度）４００、カメラ位置（緯度）４０１、カメラ位置（標高）４０２を取得し、記憶装置１０９に保存する。
【００３６】
（ステップ５０４）
同様に、プログラムは、カメラの撮像方向に関する情報を取得する。具体的には、プログラムは、カメラ方向検出装置１０６からカメラ姿勢（ロール）４０４、カメラ姿勢（ピッチ）４０５、カメラ姿勢（ヨー）４０６を取得し、記憶装置１０９に保存する。
【００３７】
（ステップ５０５）
次に、プログラムは、奥行き絞込みフラグ４１６の設定状態を判定する。ここで、奥行き絞込みフラグ４１６が「偽」のとき、プログラムは、奥行きを考慮しない絞り込み範囲を計算すべく、そのままステップ５１０に進む。一方、奥行き絞込みフラグ４１６が「真」のとき、プログラムは、奥行きを考慮した絞り込み範囲を計算すべく、ステップ５０６に進む。
【００３８】
（ステップ５１０）
ここで、奥行きを考慮しない絞り込み範囲は、図２の画角内に対応する範囲として計算される。この場合、プログラムは、カメラ位置４００、４０１及び４０２、カメラ画角４０３、カメラ姿勢４０４、４０５及び４０６に基づいて、対応範囲を特定するための境界線（ベクトル）や座標値等を計算する。
【００３９】
（ステップ５０６）
一方、奥行きを考慮した絞り込み範囲は、図２の画角内であり、かつ、被写界深度内の範囲として計算される。この場合、プログラムは、カメラ位置４００、４０１及び４０２、カメラ画角４０３、カメラ姿勢４０４、４０５及び４０６、被写界深度４１５に基づいて、対応範囲を特定するための境界線（ベクトル）や座標値等を計算する。
【００４０】
（ステップ５０７）
絞り込み範囲が計算されると、プログラムは、計算された範囲内にある空間情報を図３に示す空間情報テーブルより抽出する。
【００４１】
（ステップ５０８）
次に、プログラムは、抽出された空間情報を、カメラ１０１で撮影された画像とを重畳した画面をディスプレイ１０２上に表示するために、各空間情報について登録されている３次元情報と図４に示す撮像パラメータとに基づいて、投影変換を実行する。この処理自体は既知である。
【００４２】
（ステップ５０９）
最後に、プログラムは、カメラ１０１で撮影された画像と投影変換された空間情報をディスプレイ１０２上で重畳した撮像画面を構成し、当該撮像画面をディスプレイ１０２に表示する。なお、空間情報の表示同士が画面上で重なる場合、プログラムは、相対的にカメラ１０１（電子機器）の近くに位置する空間情報ほど手前側に表示する。この処理自体は既知である。
【００４３】
（撮像画面の表示例）
以下では、形態例に係る情報付き撮像画面表示機能を搭載する電子機器を用いる場合の表示画面例を示す。
【００４４】
まず図６に、奥行き絞込みフラグが「偽」の場合の撮像画面６００を示す。この場合、図２の画角内にある全ての空間情報２０１、空間情報２０２、空間情報２０３、空間情報２０４が撮影された画像に対して重畳表示される。なお、画角内にない空間情報２０５は重畳表示されない。
【００４５】
続いて図７に、奥行き絞込みフラグが「真」の場合の撮像画面７００を示す。この場合、図２の画角内、かつ、被写界深度内にある空間情報２０１、空間情報２０２だけが撮影された画像に対して重畳表示される。この場合、画角内であっても、被写界深度内にない空間情報２０３や空間情報２０４は、画角内にない空間情報２０５と同様に重畳表示されない。
【００４６】
即ち、空間情報を、所定の奥行き範囲に限定して撮像画面に重畳的に表示する表示画面と、空間情報を、所定の奥行き範囲を用いることなく撮像画像に重畳的に表示する表示画面とを、奥行き絞込みフラグに応じて切り替えることが可能である。
【００４７】
（まとめ）
以上のように、形態例に係る電子機器を用いれば、実空間を撮影した画像のうちピントの合った範囲にある空間情報だけを絞り込むことが可能となる。すなわち、撮像範囲内に空間情報が数多く存在する場合でも、撮影者が注目している被写体近傍のピントのあった範囲内にある空間情報を画面上に重畳表示することができる。しかも、この手法の場合、単に表示される空間情報の数を減らして画面の視認性を高めているのではなく、撮影者の視野範囲と被写界深度内にある事物について過不足なく情報を提示できる。また、同時に処理する情報量が削減されるため、画面表示までの処理効率が向上する。さらに、形態例に係る電子機器の場合には、当該絞込みを被写体距離とカメラ撮影時の撮像パラメータを利用して実現し、新たな部材を必要としないため、低コストで同機能を実現できる。さらに、空間情報に付随する情報を別途、絞り込みに用いることで、より空間情報の数を減らすことができる。このとき、あらかじめ絞り込み項目と条件を入力するインタフェースを用意する。
【００４８】
（他の形態例）
前述の形態例においては、被写界深度範囲内の空間情報に絞る検索条件を例に挙げて説明したが、被写体距離の前後所定範囲を絞込み範囲とする方法、（被写体距離＋遠被写界深度）で与えられる範囲（被写体距離から遠被写界深度までの範囲）のうち所定範囲を絞込み範囲とする方法、（被写体距離−近被写界深度）で与えられる範囲（被写体距離から近被写界深度までの範囲）のうち所定範囲を絞込み範囲とする方法等を採用しても良い。
【００４９】
なお、絞込み範囲は、ユーザ操作により、絞り範囲を微調整又は切り替え制御できるようにしても良い。
【００５０】
また、図１においては、電子機器にカメラ１０１が１台だけ搭載されている場合について説明したが、図８に示すように、３次元撮影用にカメラ１０１が２台搭載されている場合にも適用できる。この場合、２台のカメラ１０１の視差を利用して被写体距離を自動測定することができる。
【符号の説明】
【００５１】
１０１…カメラ、１０２…ディスプレイ、１０３…カメラ制御装置、１０４…空間データ記憶装置、１０５…カメラ位置検出装置、１０６…カメラ方向検出装置、１０７…操作装置、１０８…計算装置、１０９…記憶装置、１１０…被写体距離測定装置、２００…カメラ位置、２０１…空間情報、２０２…空間情報、２０３…空間情報、２０４…空間情報、２０５…空間情報、２０６…被写体、２０７…カメラ方向、２０８…被写界深度、２０９…被写体距離、３００…ＩＤ、３０１…名称、３０２…軽度、３０３…緯度、３０４…標高、４００…カメラ位置(経度)、４０１…カメラ位置(緯度)、４０２…カメラ位置（標高）、４０３…カメラ画角(対角線)、４０４…カメラ姿勢(ロール)、４０５…カメラ姿勢(ピッチ)、４０６…カメラ姿勢（ヨー）、４０７…装置ＩＤ、４０８…過焦点距離、４０９…焦点距離、４１０…レンズ絞り値、４１１…許容散乱円直径、４１２…被写体距離、４１３…近被写界深度、４１４…遠被写界深度、４１５…被写界深度、４１６…奥行き絞込みフラグ、６００…撮像画面、７００…撮像画面。
【特許請求の範囲】
【請求項１】
撮像装置と、
表示装置と、
前記撮像装置の撮像位置を検出する装置と、
前記撮像装置の撮像方向を検出する装置と、
地物の三次元位置情報と地物に関する情報を記憶する装置、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する装置と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する装置と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる装置と
を有する電子機器。
【請求項２】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写体距離に対して前後方向に所定範囲として与えられる
ことを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写界深度として与えられる
ことを特徴とする電子機器。
【請求項４】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写体距離と近被写界深度の間又は被写体距離と遠被写界深度の間の範囲として与えられる
ことを特徴とする電子機器。
【請求項５】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、ユーザ操作により調整可能である
ことを特徴とする電子機器。
【請求項６】
請求項１に記載の電子機器において、
所定の奥行き範囲は、ユーザ操作により切り替え可能である
ことを特徴とする電子機器。
【請求項７】
請求項２又は４に記載の電子機器は、前記撮像装置を２台搭載し、
２台の撮像装置でそれぞれ撮像された撮像画面に基づいて前記被写体距離を自動的に算出する
ことを特徴とする電子機器。
【請求項８】
請求項１に記載の電子機器は、
表示画面の切り替えを受け付ける装置を有し、
切り替えの受け付けにより、前記所定の奥行き範囲に限定して取得された各地物に関する情報を、撮像画面に対して重畳的に表示する第１の表示画面と、所定の奥行き範囲を用いることなく、各地物に関する情報を撮像画像に対して重畳的に表示する第２の表示画面とが切り替えられる
ことを特徴とする電子機器。
【請求項９】
撮像装置と、表示装置と、地物の三次元位置情報と地物に関する情報を記憶する装置とを有する電子機器に搭載されるコンピュータに、
前記撮像装置の撮像位置を検出する処理と、
前記撮像装置の撮像方向を検出する処理と、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する処理と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する処理と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる処理と
を実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写体距離に対して前後方向に所定範囲として与えられる
ことを特徴とするプログラム。
【請求項１１】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写界深度として与えられる
ことを特徴とするプログラム。
【請求項１２】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写体距離と近被写界深度の間又は被写体距離と遠被写界深度の間の範囲として与えられる
ことを特徴とするプログラム。
【請求項１３】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、ユーザ操作により調整可能である
ことを特徴とするプログラム。
【請求項１４】
請求項９に記載のプログラムにおいて、
所定の奥行き範囲は、ユーザ操作により切り替え可能である
ことを特徴とするプログラム。
【請求項１５】
請求項１０又は１２に記載のプログラムにおいて、
前記被写体距離を、前記電子機器に搭載された２台の撮像装置でそれぞれ撮像された撮像画面に基づいて自動的に算出する
ことを特徴とするプログラム。
【請求項１６】
請求項９に記載のプログラムにおいて、
表示画面の切り替えを受け付けたとき、前記所定の奥行き範囲に限定して取得された各地物に関する情報を、撮像画面に対して重畳的に表示する第１の表示画面と、所定の奥行き範囲を用いることなく、各地物に関する情報を撮像画像に対して重畳的に表示する第２の表示画面を切り替え処理を実行する
ことを特徴とするプログラム。
【請求項１７】
撮像装置と、表示装置と、地物の三次元位置情報と地物に関する情報を記憶する装置とを有する電子機器の撮影画面を表示する方法において、
前記撮像装置の撮像位置を検出する処理と、
前記撮像装置の撮像方向を検出する処理と、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する処理と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する処理と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる処理と
を有する情報付き撮像画面表示方法。
【請求項１】
撮像装置と、
表示装置と、
前記撮像装置の撮像位置を検出する装置と、
前記撮像装置の撮像方向を検出する装置と、
地物の三次元位置情報と地物に関する情報を記憶する装置、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する装置と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する装置と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる装置と
を有する電子機器。
【請求項２】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写体距離に対して前後方向に所定範囲として与えられる
ことを特徴とする電子機器。
【請求項３】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写界深度として与えられる
ことを特徴とする電子機器。
【請求項４】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、被写体距離と近被写界深度の間又は被写体距離と遠被写界深度の間の範囲として与えられる
ことを特徴とする電子機器。
【請求項５】
請求項１に記載の電子機器において、
前記所定の奥行き範囲は、ユーザ操作により調整可能である
ことを特徴とする電子機器。
【請求項６】
請求項１に記載の電子機器において、
所定の奥行き範囲は、ユーザ操作により切り替え可能である
ことを特徴とする電子機器。
【請求項７】
請求項２又は４に記載の電子機器は、前記撮像装置を２台搭載し、
２台の撮像装置でそれぞれ撮像された撮像画面に基づいて前記被写体距離を自動的に算出する
ことを特徴とする電子機器。
【請求項８】
請求項１に記載の電子機器は、
表示画面の切り替えを受け付ける装置を有し、
切り替えの受け付けにより、前記所定の奥行き範囲に限定して取得された各地物に関する情報を、撮像画面に対して重畳的に表示する第１の表示画面と、所定の奥行き範囲を用いることなく、各地物に関する情報を撮像画像に対して重畳的に表示する第２の表示画面とが切り替えられる
ことを特徴とする電子機器。
【請求項９】
撮像装置と、表示装置と、地物の三次元位置情報と地物に関する情報を記憶する装置とを有する電子機器に搭載されるコンピュータに、
前記撮像装置の撮像位置を検出する処理と、
前記撮像装置の撮像方向を検出する処理と、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する処理と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する処理と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる処理と
を実行させるプログラム。
【請求項１０】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写体距離に対して前後方向に所定範囲として与えられる
ことを特徴とするプログラム。
【請求項１１】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写界深度として与えられる
ことを特徴とするプログラム。
【請求項１２】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、被写体距離と近被写界深度の間又は被写体距離と遠被写界深度の間の範囲として与えられる
ことを特徴とするプログラム。
【請求項１３】
請求項９に記載のプログラムにおいて、
前記所定の奥行き範囲は、ユーザ操作により調整可能である
ことを特徴とするプログラム。
【請求項１４】
請求項９に記載のプログラムにおいて、
所定の奥行き範囲は、ユーザ操作により切り替え可能である
ことを特徴とするプログラム。
【請求項１５】
請求項１０又は１２に記載のプログラムにおいて、
前記被写体距離を、前記電子機器に搭載された２台の撮像装置でそれぞれ撮像された撮像画面に基づいて自動的に算出する
ことを特徴とするプログラム。
【請求項１６】
請求項９に記載のプログラムにおいて、
表示画面の切り替えを受け付けたとき、前記所定の奥行き範囲に限定して取得された各地物に関する情報を、撮像画面に対して重畳的に表示する第１の表示画面と、所定の奥行き範囲を用いることなく、各地物に関する情報を撮像画像に対して重畳的に表示する第２の表示画面を切り替え処理を実行する
ことを特徴とするプログラム。
【請求項１７】
撮像装置と、表示装置と、地物の三次元位置情報と地物に関する情報を記憶する装置とを有する電子機器の撮影画面を表示する方法において、
前記撮像装置の撮像位置を検出する処理と、
前記撮像装置の撮像方向を検出する処理と、
前記撮像位置、前記撮像方向及び撮像パラメータに基づいて、前記撮像装置の画角内かつ被写体に対して所定の奥行き範囲にある地物の三次元位置情報のみを前記記憶する装置から取得する処理と、
所定の奥行き範囲に限定して取得された各地物の三次元位置情報に基づいて、当該地物に関する情報を撮像画面に表示するための位置座標を計算する処理と、
所定の奥行き範囲に限定して取得された各地物に関する情報を、前記位置座標に基づいて、撮像画面上に重畳的に表示させる処理と
を有する情報付き撮像画面表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−８０２３６（Ｐ２０１２−８０２３６Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２２００６（Ｐ２０１０−２２２００６）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００２３３０５５）株式会社日立ソリューションズ (1,610)
【Ｆターム（参考）】
[ Back to top ]