説明

表示装置および表示プログラム

【課題】移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができる表示装置および表示プログラムを提供する。
【解決手段】撮像装置1の位置を定期的に測定する測位部122と、測位部122が異なる2つの時刻に測定した位置を用いて撮像装置1の所定時刻における位置を算出する位置算出部123と、位置算出部123が算出した位置に応じた情報を該情報と対応する画像に合成する画像合成部128と、画像合成部128が合成した合成画像を表示部9に表示させる表示制御部129と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を表示可能な表示装置および表示プログラムに関する。
【背景技術】
【0002】
従来、撮影した画像に対し、測位によって取得した位置情報に対応する地名等を記憶するカメラが知られている。このようなカメラとして、GPS(Global Positioning System)の測位処理を撮像と並行して行いながら被写体の位置に対応する地名等の名称を抽出し、この抽出した名称を被写体に重ねて表示する技術が開示されている(例えば、特許文献1を参照)。この技術では、カメラがGPSの測位処理によってカメラ位置を取得するとともに、被写体の測距および方位計測を行い、これらの量をもとに被写体の位置を算出する。その後、カメラは、算出した被写体の位置を用いてデータベースを検索し、撮影時のズーム値に応じた名称を抽出して撮影画像とともに表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−169164号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術は、ユーザが静止した状態で撮影を行うことが前提となっていた。このため、ユーザが飛行機や船などの乗り物に乗って移動しながら撮像を行う場合、被写体の情報などの画像に関連する情報を表示することができなかった。
【0005】
より一般に、従来の技術では、移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができなかった。
【0006】
本発明は、上記に鑑みてなされたものであって、移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができる表示装置および表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、画像を表示可能な表示部を備えた表示装置であって、当該表示装置の位置を定期的に測定する測位部と、前記測位部が異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出する位置算出部と、前記位置算出部が算出した位置に応じた情報を該情報と対応する画像に合成する画像合成部と、前記画像合成部が合成した合成画像を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。
【0008】
また、本発明に係る表示装置は、上記発明において、複数のGPS衛星によって送信されるGPS信号を受信するGPS信号受信部をさらに備え、前記測位部は、前記GPS信号受信部が受信したGPS信号を用いて当該表示装置の位置を測定することを特徴とする。
【0009】
また、本発明に係る表示装置は、上記発明において、被写体を撮像して該被写体の画像データを生成する撮像部をさらに備え、前記位置算出部は、前記測位部が異なる2つの時刻に測定した位置を用いて撮像時の当該表示装置の位置を算出するとともに、この算出結果を用いて前記被写体の位置を算出し、前記画像合成部は、前記位置算出部が算出した前記被写体の位置に応じた情報を前記被写体の画像に合成することを特徴とする。
【0010】
また、本発明に係る表示装置は、上記発明において、複数のランドマークの位置および名称に関する情報を記憶するランドマーク情報記憶部と、前記位置算出部が算出した前記被写体の位置に対応するランドマークを前記ランドマーク情報記憶部から検索する検索部と、をさらに備え、前記画像合成部は、前記検索部が検索して取得したランドマークの名称に関する情報を前記被写体の画像に合成することを特徴とする。
【0011】
また、本発明に係る表示装置は、上記発明において、前記画像合成部が合成に用いる前記被写体の画像は、前記撮像部が生成する画像データに対応してリアルタイムで前記表示部に表示されるスルー画像であることを特徴とする。
【0012】
また、本発明に係る表示装置は、上記発明において、撮影指示信号を入力可能な操作入力部を備え、前記画像合成部が合成に用いる前記被写体の画像は、前記操作入力部による撮影指示信号の入力に応じて前記撮像部が生成した画像データに対応するレックビュー画像であることを特徴とする。
【0013】
また、本発明に係る表示装置は、上記発明において、前記撮像部が生成した画像データを含む情報を記憶する記憶部を備え、前記画像合成部が合成に用いる前記被写体の画像は、前記記憶部が記憶する画像データに対応する画像であることを特徴とする。
【0014】
また、本発明に係る表示装置は、上記発明において、地図を含む地図情報を記憶する地図情報記憶部と、当該表示装置の姿勢を検出する姿勢検出部と、前記姿勢検出部が検出した結果に基づいて、当該表示装置が前記地図上の当該表示装置の位置を表示する位置表示姿勢をとっているか否かを少なくとも判定する姿勢判定部と、をさらに備え、前記画像合成部は、前記姿勢判定部が判定した結果、当該表示装置が位置表示姿勢をとっている場合、前記地図情報記憶部が記憶する地図情報に基づいて、当該表示装置の位置を含む領域の地図および該地図上の当該表示装置の位置を示す画像を合成することを特徴とする。
【0015】
また、本発明に係る表示プログラムは、画像を表示可能な表示装置に、当該表示装置の位置を定期的に測定する測位ステップと、前記測位ステップで異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出する位置算出ステップと、前記位置算出ステップで算出した位置に応じた情報を所定の画像に合成する画像合成ステップと、前記画像合成ステップで合成した合成画像を表示する表示ステップと、を実行させることを特徴とする。
【発明の効果】
【0016】
本発明によれば、異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出し、算出した位置に応じた情報を該情報と対応する画像に合成して表示するため、移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができる。
【図面の簡単な説明】
【0017】
【図1】図1は、本発明の実施の形態1に係る表示装置である撮像装置の被写体に面する側(前面側)の構成を示す図である。
【図2】図2は、本発明の実施の形態1に係る表示装置である撮像装置のユーザに面する側(背面側)の構成を示す図である。
【図3】図3は、本発明の実施の形態1に係る表示装置である撮像装置の構成を示すブロック図である。
【図4】図4は、本発明の実施の形態1に係る表示装置である撮像装置が行う処理の概要を示すフローチャートである。
【図5】図5は、本発明の実施の形態1に係る表示装置である撮像装置が機内撮影モードに設定された場合に撮像する状況を示す図である。
【図6】図6は、本発明の実施の形態1に係る表示装置である撮像装置および該撮像装置の被写体の位置の算出方法を説明する図である。
【図7】図7は、本発明の実施の形態1に係る表示装置である撮像装置が撮像姿勢をとっている状況を示す図である。
【図8】図8は、本発明の実施の形態1に係る表示装置である撮像装置の表示部における合成画像の表示例を示す図である。
【図9】図9は、本発明の実施の形態1に係る表示装置である撮像装置が位置表示姿勢をとっている状況を模式的に示す図である。
【図10】図10は、本発明の実施の形態1に係る表示装置である撮像装置の表示部における現在位置表示画像の表示例を示す図である。
【図11】図11は、本発明の実施の形態2に係る表示装置である撮像装置が行う処理の概要を示すフローチャートである。
【図12】図12は、本発明の実施の形態2に係る表示装置である撮像装置および該撮像装置の被写体の位置の算出方法を説明する図である。
【発明を実施するための形態】
【0018】
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
【0019】
(実施の形態1)
図1は、本発明の実施の形態1に係る表示装置である撮像装置の被写体に面する側(前面側)の構成を示す図である。図2は、本実施の形態1に係る表示装置である撮像装置のユーザに面する側(背面側)の構成を示す図である。図3は、本実施の形態1に係る表示装置である撮像装置の構成を示すブロック図である。
【0020】
図1〜図3に示すように、撮像装置1は、撮像部2と、発光部3と、姿勢検出部4と、タイマー5と、方位検出部6と、操作入力部7と、GPS信号受信部8と、表示部9と、タッチパネル10と、記憶部11と、制御部12と、を備える。
【0021】
撮像部2は、レンズ部21と、レンズ駆動部22と、絞り23と、絞り駆動部24と、シャッター25と、シャッター駆動部26と、撮像素子27と、撮像駆動部28と、信号処理部29と、を有する。
【0022】
レンズ部21は、フォーカスおよびズーム可能な複数のレンズ群によって構成され、所定の視野領域から光を集光する。
レンズ駆動部22は、ステッピングモータまたはDCモータを用いて構成され、レンズ部21のレンズ群を光軸L1上に沿って移動させることにより、レンズ部21のピント位置および焦点距離等の変更を行う。
【0023】
絞り23は、レンズ部21が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部24は、ステッピングモータ等によって構成され、絞り23を駆動する。
【0024】
シャッター25は、撮像素子27の状態を露光状態または遮光状態に設定する。
シャッター駆動部26は、ステッピングモータ等によって構成され、操作入力部7から入力されるレリーズ信号に応じてシャッター25を駆動する。
【0025】
撮像素子27は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等によって構成される。撮像素子27は、レンズ部21が集光した光を受光して光電変換を行うことによって、光を電気信号(アナログ信号)に変換する。
【0026】
撮像駆動部28は、撮像素子27を駆動するタイミングパルスを生成し、撮像素子27が光電変換した電気信号を信号処理部29に出力させる。
【0027】
信号処理部29は、アナログアンプやA/D変換器等によって構成される。信号処理部29は、撮像素子27から出力される電気信号に増幅(ゲイン調整)等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して制御部12に出力する。
【0028】
発光部3は、撮像装置1が撮像する視野領域へ向けて補助光を照射する。発光部3は、キセノンランプまたはLED(Light Emitting Diode)等を用いて構成される。
【0029】
姿勢検出部4は、加速度センサを用いて構成される。姿勢検出部4は、撮像装置1の加速度を検出することにより、水平面を基準としたときの撮像装置1の姿勢(傾斜角度)を検出する。
【0030】
タイマー5は、計時機能および日時判定機能を有する。
【0031】
方位検出部6は、地磁気センサを用いて構成され、レンズ部21の光軸が向いている方位を検出する。
【0032】
操作入力部7は、撮像装置1の外部から操作入力信号を受け付ける。操作入力部7は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ71と、撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ72と、撮像装置1で設定可能な各種動作モードの切換えを行うモード切換スイッチ73と、撮像装置1の各種設定を切換える操作スイッチ74と、撮像装置1の各種設定を表示部9に表示させるメニュースイッチ75と、撮像装置1の画角を変更する指示信号の入力を受け付けるズームスイッチ76と、を有する。
【0033】
GPS信号受信部8は、複数のGPS衛星100によって送信されるGPS信号を受信する。GPS信号受信部8は、GPS衛星100の軌道情報やGPS衛星100に搭載された原子時計の時刻情報などを含むGPS信号(電波)を受信可能なアンテナと、このアンテナで受信したGPS信号に対する信号処理を行う信号処理回路とを有する。
【0034】
表示部9は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて実現される。表示部9は、撮像部2が生成した画像データに対応する画像を表示する。表示部9は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。
【0035】
タッチパネル10は、表示部9の表示画面上に重ねて設けられる(図2を参照)。タッチパネル10は、ユーザが表示部9に表示される情報に基づいて接触した位置を検出し、この接触位置に応じた指示信号の入力を受け付ける。タッチパネル10としては、一般に知られている抵抗膜方式、静電容量方式、光学式等のうち、いずれの方式のタッチパネルであっても適用可能である。
【0036】
記憶部11は、撮像装置1の内部に固定的に設けられえるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部11は、撮像部2が撮像した画像データを記憶する画像データ記憶部111と、撮像装置1が実行する各種プログラムおよび本実施の形態1に係る表示プログラムを記憶するプログラム記憶部112と、各地点の緯度および経度の情報を含む地図情報を記憶する地図情報記憶部113と、複数のランドマークの位置(緯度、経度)および名称(ランドマーク名)を含むランドマーク情報を記憶するランドマーク情報記憶部114と、を有する。ここでいうランドマークには、例えば山、海、浜などの自然物や、建物などの人工物が含まれる。なお、記憶部11は、外部から装着されるメモリカード等のコンピュータ読み取り可能な記録媒体を含むものであってもよい。
【0037】
制御部12は、CPU(Central Processing Unit)等を用いて構成される。制御部12は、操作入力部7やタッチパネル10からの指示信号または切換信号等に応じて撮像装置1を構成する各部に対応する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。
【0038】
制御部12の詳細な構成について説明する。制御部12は、画像処理部121と、測位部122と、位置算出部123と、姿勢判定部124と、撮像制御部125と、検索部126と、方向判定部127と、画像合成部128と、表示制御部129と、を有する。
【0039】
画像処理部121は、撮像部2の信号処理部29から出力される画像データに対して、エッジ強調、ホワイトバランスおよびγ補正を含む画像処理を行う。また、画像処理部121は、JPEG(Joint Photographic Experts Group)圧縮方式等に基づいて画像データの圧縮処理や伸長処理を行う。
【0040】
測位部122は、GPS信号受信部8が受信したGPS信号に基づいて撮像装置1の位置や高度を定期的に測定する。この際、測位部122は、4つ以上のGPS衛星から受信したGPS信号を用いて撮像装置1の位置や高度を定期的に測定する。
【0041】
位置算出部123は、測位部122が異なる2つの時刻で測定した撮像装置1の位置およびタイマー5の時刻情報などを用いて撮像装置1および撮像装置1が撮像する被写体の位置を算出する。
【0042】
姿勢判定部124は、姿勢検出部4の検出結果に基づいて撮像装置1の姿勢を判定する。具体的には、姿勢判定部124は、撮像装置1が撮像動作を行う姿勢(撮像姿勢)をとっているか、または撮像装置1が地図情報記憶部113が記憶する地図上の撮像装置1の位置を表示する動作を行う姿勢(位置表示姿勢)をとっているかを判定する。ここで、位置表示姿勢とは、表示部9の表示画面の表面が略水平な状態(水平面と10°以内の角度をなす状態)にある姿勢を意味する。また、撮像姿勢は、位置表示姿勢以外の姿勢を意味する。
【0043】
撮像制御部125は、レリーズスイッチ72が撮影指示信号(レリーズ信号)の入力を受け付けた場合、撮像装置1における撮影動作を開始する制御を行う。ここで、撮像装置1における撮影動作とは、シャッター駆動部26および撮像駆動部28の駆動によって撮像素子27が出力した画像データに対し、信号処理部29および画像処理部121が所定の処理を施す動作をいう。このようにして処理が施された画像データは、制御部12によって撮影日時情報等と関連付けられて画像データ記憶部111に記憶される。
【0044】
検索部126は、画像に写っている被写体の位置に対応するランドマークをランドマーク情報記憶部114から検索する。
【0045】
方向判定部127は、位置算出部123における撮像装置1の位置の時間変化に基づいて撮像装置1の移動方向を判定する。
【0046】
画像合成部128は、画像の合成を行う。例えば、画像合成部128は、撮像部2が撮像した画像に含まれる被写体に関連する情報を、その画像に合成する。被写体に関連する情報としては、例えばその被写体の位置(緯度、経度)や名称などを挙げることができる。
【0047】
表示制御部129は、表示部9における表示を制御する。例えば、表示制御部129は、画像データ記憶部111が記憶する複数の画像データの各々に対応する画像を表示部9に表示させる。また、表示制御部129は、複数の画像をそれぞれ縮小した縮小画像(サムネイル画像)を表示部9に表示させる。
【0048】
以上の構成を有する撮像装置1では、動作モードとして、画像を撮影する撮影モードと、画像を再生する再生モードとを設定することができる。このうち、撮影モードとして、通常撮影モードの他に、飛行機の機内での撮影に対応した機内撮影モードを設定することが可能である。この機内撮影モードは、飛行中の機内で飛行機の窓から見える風景を撮影する状況を想定した撮影モードである。
【0049】
図4は、撮像装置1が行う処理の概要を示すフローチャートである。まず、撮像装置1の電源がオンになっている場合(ステップS1:Yes)、ステップS2へ進む。一方、撮像装置1の電源がオンになっていない場合(ステップS1:No)、撮像装置1は処理を終了する。
【0050】
撮像装置1が撮影モードに設定されている場合(ステップS2:撮影モード)を説明する。この場合において、機内撮影モードに設定されているとき(ステップS3:Yes)、制御部12は、姿勢検出部4および方位検出部6による撮像装置1の状態検出、およびGPS信号受信部8によるGPS信号の受信を開始する制御を行う(ステップS4)。機内撮影モードは、飛行機に搭乗している撮影者が、飛行機の窓から眼下に広がる風景を撮影するような状況で設定することが想定される。図5は、機内撮影モードに設定された撮像装置1が撮像する状況を模式的に示す図である。図5において、飛行機200に搭乗している撮影者300は、被写体400の周辺の風景を撮影しようとしている。
【0051】
続いて、表示制御部129は、表示部9にスルー画像を表示させる(ステップS5)。ここでいうスルー画像とは、レリーズスイッチ72が押されない状態で撮像部2が生成する画像データに対応する画像のことである。
【0052】
この後、測位部122がGPS信号に基づいて異なる2つの時刻における撮像装置1の位置を測定済みである場合(ステップS6:Yes)、位置算出部123は、測定済みの2つの位置(測定位置)を用いて撮像装置1の撮像時の位置(以下、「現在位置」という)を算出する(ステップS7)。なお、測位部122が3つ以上の異なる時刻における撮像装置1の位置を測定済みである場合、位置算出部123は、直近の2つの測定位置を用いて撮像装置1の現在位置を算出する。
【0053】
ここで、位置算出部123が行う具体的な位置の算出方法を説明する。図6は、撮像装置1および被写体の位置の算出方法を説明する図である。図6では、図5に示す被写体400の位置を算出する場合を示している。図6では、測位部122が直近に測定した2つの測定位置をP1,P2としている。位置P1は時刻T1に測定された位置であり、その緯度はI1,経度はK1である。位置P2は時刻T2(>T1)に測定された位置であり、その緯度はI2,経度はK2である。また、図6では、現在位置をP0としている。現在位置P0の時刻はT0(>T2)であり、その緯度をI0とし、経度をK0としている。また、図6では、被写体400の位置PLの緯度をILとし、経度をKLとしている。ここで、緯度は、北緯を正で表す一方、南緯を負で表すものとする。すなわち、緯度は、−90度(南緯90度)〜+90度(北緯90度)で表される。また、経度は、東経を正で表す一方、西経を負で表すものとする。すなわち、経度は、−180度(西経180度)〜+180度(東経180度)で表される。
【0054】
まず、位置算出部123は、位置P1,P2の緯度経度情報および時刻情報を用いて、飛行機200の緯度方向の速さBIおよび経度方向の速さBKをそれぞれ算出する。
BI=(I2−I1)/(T2−T1) ・・・(1)
BK=(K2−K1)/(T2−T1) ・・・(2)
続いて、位置算出部123は、式(1)、(2)の算出結果と現在位置P0の時刻情報を用いて、現在位置P0の緯度I0,経度K0をそれぞれ算出する。
0=I2+BI・(T0−T2
=I2+(I2−I1)・(T0−T2)/(T2−T1) ・・・(3)
0=K2+BK・(T0−T2
=K2+(K2−K1)・(T0−T2)/(T2−T1) ・・・(4)
【0055】
その後、姿勢判定部124は、撮像装置1の姿勢を判定する(ステップS8)。まず、姿勢判定部124による姿勢判定の結果、撮像装置1が撮像姿勢をとっている場合(ステップS8:Yes)を説明する。図7は、撮像装置1が撮像姿勢をとっている状況を示す図である。図7に示すように、撮影者300は、撮像装置1を構えて飛行機200の窓201から見える風景を撮影しようとしている。
【0056】
撮像装置1が撮像姿勢をとっている場合(ステップS8:Yes)、姿勢判定部124は撮像装置1の俯角を判定する(ステップS9)。ここでいう俯角とは、レンズ部21の光軸L1の方向とレンズ部21の中心位置を通過する水平面とがなす角のことである。
【0057】
続いて、位置算出部123は、撮影時の被写体の位置を算出する(ステップS10)。図5および図6において、被写体400の位置PLの緯度IL、経度KLは、レンズ部21の光軸L1の方向とレンズ部21の中心位置を通過する鉛直面とのなす傾斜角をθとし、飛行機200の高度をHとし、方位検出部6が検出した被写体の方位を示す方位角として経線の北向きを基準とする方位角をφ(北向きに対して反時計回りを正)とするとき、以下の式(5),(6)にしたがってそれぞれ算出される。
L=I0+Htanθcosφ ・・・(5)
L=K−Htanθsinφ ・・・(6)
ここで、位置算出部123は、式(5)の右辺のI0および式(6)の右辺のK0に対し、式(3)、(4)の算出結果をそれぞれ代入する。なお、ステップS9で姿勢判定部124が判定した俯角をαとおくと、俯角αと傾斜角θとは、度(°)を単位としてα+θ=90°を満たす。
【0058】
続いて、検索部126は、ランドマーク情報記憶部114から被写体の位置に対応するランドマークを検索する(ステップS11)。具体的には、検索部126は、図5および図6に示す場合、被写体400の位置PL(IL,KL)を中心とする領域D={(I,K)|IL−ΔI≦I≦IL+ΔI,KL−ΔK≦K≦KL+ΔK}に含まれるランドマークをランドマーク情報記憶部114から検索する。領域Dの大きさを決めるパラメータΔI,ΔKは、ユーザが操作入力部7からの入力によって所望の値を設定することが可能である。なお、領域D内に複数のランドマークが存在する場合、検索部126は、被写体400の位置PL(IL,KL)に最も近いランドマークを選択する。
【0059】
検索部126が検索した結果、被写体の位置に対応するランドマークを取得した場合(ステップS12:Yes)、画像合成部128は、スルー画像にランドマーク名を合成した合成スルー画像を生成する。この後、表示制御部129は、その合成スルー画像を表示部9に表示させ(ステップS13)、後述するステップS14へ移行する。図8は、表示部9における合成スルー画像の表示例を示す図である。同図に示す合成スルー画像500は、被写体400の画像と、被写体400に対応するランドマーク名(図8の場合は「富士山」)を表示するランドマーク名表示画像501とが合成されている。
【0060】
ステップS12において、検索部126が被写体の位置に対応するランドマークを取得できなかった場合(ステップS12:No)、撮像装置1は後述するステップS14へ移行する。
【0061】
ステップS14において、レリーズスイッチ72が押されて撮影指示信号が入力されると(ステップS14:Yes)、撮像制御部125は撮影動作を開始する制御を行う(ステップS15)。
【0062】
続いて、表示制御部129は、撮影指示信号の入力に応じて撮像部2が生成した画像データに対応する画像(レックビュー画像)を表示部9に表示させる(ステップS16)。また、撮像制御部125は、その画像データを画像データ記憶部111に記憶させる(ステップS17)。なお、ステップS16とステップS17との順序を逆にして実行してもよいし、ステップS16とステップS17とを並行して実行してもよい。
【0063】
この後、モード切換スイッチ73またはタッチパネル10によってモード切換指示が入力された場合(ステップS18:Yes)、撮像装置1は動作モードを切換えて(ステップS19)、ステップS1へ戻る。一方、モード切換スイッチ73またはタッチパネル10によってモード切換指示が入力されない場合(ステップS18:No)、撮像装置1はステップS1へ戻る。
【0064】
ステップS14でレリーズスイッチ72が押されない場合(ステップS14:No)、撮像装置1はステップS18へ移行する。
【0065】
次に、ステップS8における姿勢判定の結果、撮像装置1が撮像姿勢をとっていない場合、すなわち撮像装置1が位置表示姿勢をとっている場合(ステップS8:No)を説明する。図9は、撮像装置1が位置表示姿勢をとっている状況を模式的に示す図である。図9において、撮影者300は、表示部9の表示画面を略水平にした状態で撮像装置1を把持している。撮像装置1が位置表示姿勢をとっている場合、方向判定部127は、位置算出部123が算出した2つの位置から飛行機200の飛行方向(撮像装置1の移動方向)を判定する(ステップS20)。具体的には、方向判定部127は、上述した緯度方向の速さBIおよび経度方向の速さBKを用いることによって飛行機200の飛行方向を判定する。
【0066】
続いて、画像合成部128は、ステップS7で求めた現在位置(I0,K0)、およびステップS9で判定した飛行方向をもとに、被写体400が含まれる地図画像に飛行機像を合成した現在位置表示画像を生成する。この後、表示制御部129は、その現在位置表示画像を表示部9に表示させる(ステップS21)。図10は、表示部9における現在位置表示画像の表示例を示す図である。同図に示す現在位置表示画像600には、地図に飛行機像601が重ねて表示されている。飛行機像601には、飛行機の進行方向が矢印で表示されている。この後、撮像装置1は、ステップS18へ移行する。
【0067】
ステップS6において、測位部122が異なる2つの時刻における撮像装置1の位置を測定済みでない場合(ステップS6:No)を説明する。この場合には、1つの位置のみを測定済みである場合も含まれるものとする。測位部122が異なる2つの時刻における撮像装置1の位置を測定済みでない場合、画像合成部128は、スルー画像に警告を重ねた警告スルー画像を生成する。表示制御部129は、画像合成部128が生成した警告スルー画像を表示部9に表示させる(ステップS22)。ここで表示する警告の内容は、例えば「現在測位中です。電源を切らないで下さい。」というものである。なお、撮像装置1に音声出力部を設けておき、この音声出力部によって警告を音声出力するようにしてもよい。この後、撮像装置1は、ステップS14へ移行する。
【0068】
次に、ステップS3において、撮像装置1が機内撮影モードに設定されていない場合、すなわち撮像装置1が通常の撮影モードに設定されている場合(ステップS3:No)を説明する。この場合、表示制御部129は、表示部9にスルー画像を表示させる(ステップS23)。この後、撮像装置1はステップS14へ移行する。
【0069】
次に、ステップS2で撮像装置1が再生モードに設定されている場合(ステップS2:再生モード)を説明する。この場合、表示制御部129は、表示部9に画像選択画面を表示させる(ステップS24)。この画像選択画面では、複数の再生候補画像が一覧表示されている。
【0070】
続いて、操作入力部7またはタッチパネル10の入力によって画像が選択された場合(ステップS25:Yes)、表示制御部129は、選択された画像を表示部9に全画面で表示させる(ステップS26)。一方、画像が選択されない場合(ステップS25:No)、撮像装置1は後述するステップS28へ移行する。
【0071】
その後、操作入力部7またはタッチパネル10の入力によって画像の切換指示が入力された場合(ステップS27:Yes)、撮像装置1はステップS26へ戻り、表示部9での表示を選択された画像に切り換えて全画面で表示する(ステップS26)。一方、画像の切換指示が入力されない場合(ステップS27:No)、撮像装置1は後述するステップS28へ移行する。
【0072】
ステップS28において、操作入力部7またはタッチパネル10によって画像再生の終了指示が入力された場合(ステップS28:Yes)、撮像装置1はステップS18へ移行する。これに対して、画像再生の終了指示が入力されない場合(ステップS28:No)、撮像装置1はステップS25へ戻る。
【0073】
以上説明した本発明の実施の形態1によれば、異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出し、算出した位置に応じた情報を該情報と対応する画像に合成して表示するため、移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができる。
【0074】
また、本実施の形態1によれば、異なる2つの時刻に測定した当該表示装置の位置を用いて算出した被写体の位置に応じた情報をその被写体の画像に合成して表示することにより、撮影者が移動しながら撮影を行う場合に被写体の情報を表示することができる。
【0075】
また、本実施の形態1によれば、表示装置が位置表示姿勢をとっている場合、当該表示装置の位置を含む地図を生成し、この生成した地図に当該表示装置の位置を合成した現在位置表示画像を生成するため、ユーザは所望のタイミングで現在位置を把握することができる。
【0076】
なお、以上の説明においては、被写体の画像にランドマーク名を合成して表示する場合を説明したが、ランドマーク名に加えてそのランドマークの簡単な説明を表示するようにしてもよい。この場合には、ランドマーク情報記憶部114に、予めランドマークの説明も記憶しておけばよい。
【0077】
(実施の形態2)
本発明の実施の形態2は、撮影後のレックビュー画像を表示する際にランドマーク名を重ねて表示したり、再生時の再生画像にランドマーク名を重ねて表示したりすることを特徴とする。なお、本実施の形態2に係る表示装置である撮像装置の構成は、実施の形態1で説明した撮像装置1と同様である。
【0078】
図11は、撮像装置1が行う処理の概要を示すフローチャートである。まず、撮像装置1の電源がオンになっている場合(ステップS31:Yes)、ステップS32へ進む。一方、撮像装置1の電源がオンになっていない場合(ステップS31:No)、撮像装置1は処理を終了する。
【0079】
撮像装置1が撮影モードに設定され(ステップS32:撮影モード)、かつ機内撮影モードに設定されている場合(ステップS33:Yes)、制御部12は、姿勢検出部4および方位検出部6による撮像装置1の状態検出動作、およびGPS信号受信部8によるGPS信号の受信を開始する制御を行う(ステップS34)。
【0080】
この後、表示制御部129は、表示部9にスルー画像を表示させる(ステップS35)。
【0081】
続いて、レリーズスイッチ72が押されて撮影指示信号が入力された場合(ステップS36:Yes)、撮像制御部125は、撮影動作を開始する制御を行う(ステップS37)。その後、制御部12は、撮影した画像データおよび撮影情報を画像データ記憶部111に記憶させる(ステップS38)。ここでいう撮影情報は、例えば撮像装置1の俯角である。
【0082】
続くステップS39において、測位部122が異なる2つの時刻における撮像装置1の位置を測定済みである場合(ステップS39:Yes)、位置算出部123は、2つの測定位置を用いて撮像装置1の現在位置を算出する(ステップS40)。このステップS40における現在位置の具体的な算出方法は、実施の形態1と同様である(式(3),(4)を参照)。
【0083】
この後、撮像装置1は、撮影時の被写体の位置を算出する(ステップS41)。ここでの被写体の位置の具体的な算出方法も実施の形態1と同様である(式(5),(6)を参照)。
【0084】
続いて、検索部126は、ランドマーク情報記憶部114から被写体の位置に対応するランドマークの検索を行う(ステップS42)。
【0085】
検索部126が検索した結果、被写体の位置に対応するランドマークを取得した場合(ステップS43:Yes)、画像合成部128は、レックビュー画像にランドマーク名を合成した合成レックビュー画像を生成する。この後、表示制御部129は、その合成レックビュー画像を表示部9に表示させる(ステップS44)。合成レックビュー画像は、図8に示す合成スルー画像500と同様に表示される。
【0086】
続いて、制御部12は、撮影した画像データとその画像データに対応するランドマーク情報とを関連付けて画像データ記憶部111に記憶させる(ステップS45)。
【0087】
この後、モード切換スイッチ73またはタッチパネル10によってモード切換指示が入力された場合(ステップS46:Yes)、撮像装置1は動作モードを切換えて(ステップS47)、ステップS1へ戻る。一方、モード切換スイッチ73またはタッチパネル10によってモード切換指示が入力されない場合(ステップS46:No)、撮像装置1はステップS1へ戻る。
【0088】
ステップS42で検索部126が検索した結果、被写体の位置に対応するランドマークを取得できなかった場合(ステップS43:No)、撮像装置1は上述したステップS46へ移行する。
【0089】
次に、ステップS39において、測位部122が異なる2つの時刻における撮像装置1の位置を測定済みでない場合(ステップS39:No)を説明する。ここで、「異なる2つの時刻における撮像装置1の位置を測定済みでない場合」には、1つの位置のみを測定済みである場合も含まれるものとする。測位部122が異なる2つの時刻における撮像装置1の位置を測定済みでない場合、画像合成部128は、スルー画像に警告を合成した警告スルー画像を生成する。表示制御部129は、画像合成部128が生成した警告スルー画像を表示部9に表示させる(ステップS48)。ここで表示する警告の内容は、例えば「現在測位中です。電源を切らないで下さい。」というものである。
【0090】
続いて、測位部122が、警告を表示してから所定時間内に2つの位置の測定を完了した場合(ステップS49:Yes)、位置算出部123は、2つの測定位置を用いて撮影時の被写体400の位置PLを算出する(ステップS50)。なお、ステップS39において、測位部122が1つの位置のみを算出している場合、ステップS49において、測位部122は警告を表示してから所定時間内に少なくとも1つの位置を測定できればよい。ここでの所定時間は、1分程度である。
【0091】
ここで、ステップS50における具体的な位置の算出方法を説明する。図12は、撮像装置1および被写体の位置の算出方法を説明する図である。図12では、測位部122が直近に測定した2つの測定位置をP3,P4としている。位置P3は時刻T3に測定された位置であり、その緯度はI3,経度はK3である。位置P4は時刻T4(>T3)に測定された位置であり、その緯度はI4,経度はK4である。また、図12では、撮像時の撮像装置1の位置(撮像位置)をP0'としている。撮像位置P0'の時刻はT0'(<T3)であり、その緯度をI0'とし,経度をK0'としている。また、図12では、図5に示す被写体400の位置をPL'とし、その緯度をIL'とし,経度をKL'としている。なお、緯度Iおよび経度Kの表し方は、実施の形態1と同様である。
【0092】
まず、位置算出部123は、位置P3,P4の緯度経度情報および時刻情報を用いて、飛行機200の緯度方向の速さBI'および経度方向の速さBK'をそれぞれ算出する。
BI’=(I4−I3)/(T4−T3) ・・・(7)
BK’=(K4−K3)/(T4−T3) ・・・(8)
続いて、位置算出部123は、式(7)、(8)の算出結果と撮像位置P0'の時刻情報を用いて、撮像位置P0'の緯度I0',経度K0'をそれぞれ算出する。
0'=I3−BI'・(T3−T0')
=I3−(I4−I3)・(T3−T0')/(T4−T3) ・・・(9)
0'=K3−BK'・(T3−T0')
=K3−(K4−K3)・(T3−T0')/(T4−T3) ・・・(10)
最後に、位置算出部123は、レンズ部21の光軸L1の方向とレンズ部21の中心位置を通過する鉛直面とのなす傾斜角θ、飛行機200の高度H、方位検出部6が検出した被写体400の方位を示す方位角として経線の北向きを基準とする方位角φ'(北向きに対して反時計回りを正)を用いることにより、被写体の緯度IL'、経度KL'をそれぞれ算出する。
L'=I0'+Htanθcosφ' ・・・(11)
L'=K0'−Htanθsinφ' ・・・(12)
ここで、位置算出部123は、式(11)の右辺のI0'および式(12)の右辺のK0'に対し、式(9)、(10)の算出結果をそれぞれ代入する。
【0093】
なお、図12および式(9)〜(12)は、測位部122が異なる2つの位置をステップS37の撮影後に測定した場合を示しているが、それ以外にも、ステップS37の撮影の前後で測位部122が測定した異なる2つの位置を用いることもありうる。この場合にも、式(9)〜(12)はそのまま成立する。
【0094】
このステップS50の後、撮像装置1は上述したステップS42へ移行する。
【0095】
次に、ステップS33において、撮像装置1が機内撮影モードに設定されていない場合、すなわち撮像装置1が通常の撮影モードに設定されている場合(ステップS33:No)を説明する。この場合、表示制御部129は、表示部9にスルー画像を表示させる(ステップS51)。
【0096】
続いて、レリーズスイッチ72が押されて撮影指示信号が入力されると(ステップS52:Yes)、撮像制御部125は撮影動作を開始する制御を行う(ステップS53)。その後、表示制御部129は、撮影指示信号の入力に応じて撮像部2が生成した画像データに対応するレックビュー画像を表示部9に表示させる(ステップS54)。また撮像制御部125は、その画像データを画像データ記憶部111に記憶させる(ステップS55)。なお、ステップS54とステップS55との順序を逆にして実行してもよいし、ステップS54とステップS55とを並行して実行してもよい。この後、撮像装置1は、ステップS46へ移行する。
【0097】
ステップS52でレリーズスイッチ72が押されない場合(ステップS52:No)、撮像装置1はステップS46へ移行する。
【0098】
次に、ステップS2で撮像装置1が再生モードに設定されている場合(ステップS2:再生モード)を説明する。この場合、表示制御部129は、表示部9に画像選択画面を表示させる(ステップS56)。この画像選択画面では、複数の再生候補画像が一覧表示されている。
【0099】
続いて、操作入力部7またはタッチパネル10によって画像が選択された場合(ステップS57:Yes)において、選択された画像に関連付けられたランドマーク情報が存在するとき(ステップS58:Yes)、表示制御部129は、選択された画像にランドマーク名を合成した合成再生画像を表示部9に全画面で表示させる(ステップS59)。この合成再生画像も、図8に示す合成スルー画像と同様に表示される。
【0100】
その後、画像の切換指示が入力された場合(ステップS60:Yes)、撮像装置1はステップS58へ戻り、選択された画像に関連付けられたランドマーク情報の有無を判定する(ステップS58)。一方、画像の切換指示が入力されない場合(ステップS60:No)において、操作入力部7またはタッチパネル10によって画像再生の終了指示が入力されたとき(ステップS61:Yes)、撮像装置1はステップS46へ移行する。ステップS60で画像の終了指示が入力されないとき(ステップS61:No)、撮像装置1はステップS57へ戻る。
【0101】
ステップS57で操作入力部7またはタッチパネル10によって画像が選択されない場合(ステップS57:No)、撮像装置1はステップS61へ移行する。
【0102】
次に、ステップS58において選択された画像に関連付けられたランドマーク情報が存在しない場合(ステップS58:No)を説明する。この場合、その選択された画像の撮影時刻からの経過時間が所定時間以内であれば(ステップS62:Yes)、制御部12は、姿勢検出部4および方位検出部6による撮像装置1の状態検出動作、およびGPS信号受信部8によるGPS信号の受信動作を開始する制御を行う(ステップS63)。ここでの所定時間は、再生時のタイムラグがなるべく少なくなるような時間であることが好ましく、たかだか1分程度である。
【0103】
この後、測位部122が、画像が選択されてから所定時間内に2つの位置の測定を完了した場合(ステップS64:Yes)、位置算出部123は、2つの測定位置を用いて撮影時の被写体の位置を算出する(ステップS65)。ここでの被写体の位置の算出方法は、ステップS50で説明した方法と同様である。また、ステップS65における所定時間は、できるだけ短い方が好ましく、例えば1分程度である。
【0104】
続いて、検索部126は、ランドマーク情報記憶部114から被写体の位置情報に応じたランドマークの検索を行う(ステップS66)。検索部126が検索した結果、被写体の位置に対応するランドマークを取得した場合(ステップS67:Yes)、画像合成部128は、再生画像にランドマーク名を合成した合成再生画像を生成する。この後、表示制御部129は、その合成再生画像を表示部9に全画面表示させる(ステップS68)。
【0105】
続いて、制御部12は、ランドマーク情報を画像データと関連付けて画像データ記憶部111に記憶させる(ステップS69)。ステップS69の後、撮像装置1は、ステップS60へ移行する。
【0106】
ステップS62で撮影時刻からの経過時間が所定時間以内でない場合(ステップS62:No)、ステップS64で測位部122が所定時間内に2つの位置の測定を完了しなかった場合(ステップS64:No)、またはステップS67で検索部126がランドマーク情報を取得できなかった場合(ステップS67:No)、表示制御部129は、選択された画像を表示部9に全画面表示させる(ステップS70)。この後、撮像装置1は、ステップS60へ移行する。
【0107】
以上説明した本発明の実施の形態2によれば、異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出し、算出した位置に応じた情報を該情報と対応する画像に合成して表示するため、移動しながらその移動状況に応じた画像を表示する際に、表示する画像に関連する情報を抽出して表示することができる。
【0108】
また、本実施の形態2によれば、異なる2つの時刻に測定した当該表示装置の位置を用いて算出した被写体の位置に応じた情報をその被写体の画像に合成して表示することにより、撮影者が移動しながら撮影を行う場合に被写体の情報を表示することができる。
【0109】
また、本実施の形態2によれば、撮影時には撮像装置の位置を算出することができなかったとしても、その後に算出した位置を用いることによって撮影時の位置を算出することができる。このため、撮影後に被写体の名称を認識することも可能となる。このように、本実施の形態2によれば、撮影という短い時間で行われる行為と、ランドマーク検索という比較的長い時間を必要とする行為とを切り離して処理を行うことにより、撮影者は撮影に集中することができるだけでなく、撮影後に被写体に関連した情報を得ることができ、被写体に対する理解を深めることができる。
【0110】
ここまで、本発明を実施するための形態として、2つの実施の形態を説明してきたが、本発明は、上述した実施の形態1、2によってのみ限定されるべきものではない。例えば、測位部は位置のみを測定することとし、高度については、半導体圧力センサまたは気圧センサを用いて検出するかまたは飛行機の平均高度とするようにしてもよい。このような構成を有する表示装置によれば、3個のGPS衛星からのGPS信号を用いればよくなるため、測位部の処理時間を短縮することができる。
【0111】
また、本発明に係る表示装置に対して、インターネット等の通信ネットワークを介して通信を行う機能を具備させ、地図情報やランドマーク情報を通信ネットワーク経由で外部から取得することができるようにしてもよい。
【0112】
このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものである。
【符号の説明】
【0113】
1 撮像装置(表示装置)
2 撮像部
3 発光部
4 姿勢検出部
5 タイマー
6 方位検出部
7 操作入力部
8 GPS信号受信部
9 表示部
10 タッチパネル
11 記憶部
12 制御部
21 レンズ部
22 レンズ駆動部
23 絞り
24 絞り駆動部
25 シャッター
26 シャッター駆動部
27 撮像素子
28 撮像駆動部
29 信号処理部
100 GPS衛星
111 画像データ記憶部
112 プログラム記憶部
113 地図情報記憶部
114 ランドマーク情報記憶部
121 画像処理部
122 測位部
123 位置算出部
124 姿勢判定部
125 撮像制御部
126 検索部
127 方向判定部
128 画像合成部
129 表示制御部
200 飛行機
300 撮影者
400 被写体
500 合成スルー画像
501 ランドマーク名表示画像
600 現在位置表示画像
601 飛行機像

【特許請求の範囲】
【請求項1】
画像を表示可能な表示部を備えた表示装置であって、
当該表示装置の位置を定期的に測定する測位部と、
前記測位部が異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出する位置算出部と、
前記位置算出部が算出した位置に応じた情報を該情報と対応する画像に合成する画像合成部と、
前記画像合成部が合成した合成画像を前記表示部に表示させる表示制御部と、
を備えたことを特徴とする表示装置。
【請求項2】
複数のGPS衛星によって送信されるGPS信号を受信するGPS信号受信部をさらに備え、
前記測位部は、
前記GPS信号受信部が受信したGPS信号を用いて当該表示装置の位置を測定することを特徴とする請求項1に記載の表示装置。
【請求項3】
被写体を撮像して該被写体の画像データを生成する撮像部をさらに備え、
前記位置算出部は、
前記測位部が異なる2つの時刻に測定した位置を用いて撮像時の当該表示装置の位置を算出するとともに、この算出結果を用いて前記被写体の位置を算出し、
前記画像合成部は、
前記位置算出部が算出した前記被写体の位置に応じた情報を前記被写体の画像に合成することを特徴とする請求項1または2に記載の表示装置。
【請求項4】
複数のランドマークの位置および名称に関する情報を記憶するランドマーク情報記憶部と、
前記位置算出部が算出した前記被写体の位置に対応するランドマークを前記ランドマーク情報記憶部から検索する検索部と、
をさらに備え、
前記画像合成部は、
前記検索部が検索して取得したランドマークの名称に関する情報を前記被写体の画像に合成することを特徴とする請求項3に記載の表示装置。
【請求項5】
前記画像合成部が合成に用いる前記被写体の画像は、前記撮像部が生成する画像データに対応してリアルタイムで前記表示部に表示されるスルー画像であることを特徴とする請求項3または4に記載の表示装置。
【請求項6】
撮影指示信号を入力可能な操作入力部を備え、
前記画像合成部が合成に用いる前記被写体の画像は、前記操作入力部による撮影指示信号の入力に応じて前記撮像部が生成した画像データに対応するレックビュー画像であることを特徴とする請求項3または4に記載の表示装置。
【請求項7】
前記撮像部が生成した画像データを含む情報を記憶する記憶部を備え、
前記画像合成部が合成に用いる前記被写体の画像は、前記記憶部が記憶する画像データに対応する画像であることを特徴とする請求項3または4に記載の表示装置。
【請求項8】
地図を含む地図情報を記憶する地図情報記憶部と、
当該表示装置の姿勢を検出する姿勢検出部と、
前記姿勢検出部が検出した結果に基づいて、当該表示装置が前記地図上の当該表示装置の位置を表示する位置表示姿勢をとっているか否かを少なくとも判定する姿勢判定部と、
をさらに備え、
前記画像合成部は、
前記姿勢判定部が判定した結果、当該表示装置が位置表示姿勢をとっている場合、前記地図情報記憶部が記憶する地図情報に基づいて、当該表示装置の位置を含む領域の地図および該地図上の当該表示装置の位置を示す画像を合成することを特徴とする請求項1〜7のいずれか一項に記載の表示装置。
【請求項9】
画像を表示可能な表示装置に、
当該表示装置の位置を定期的に測定する測位ステップと、
前記測位ステップで異なる2つの時刻に測定した位置を用いて当該表示装置の所定時刻における位置を算出する位置算出ステップと、
前記位置算出ステップで算出した位置に応じた情報を所定の画像に合成する画像合成ステップと、
前記画像合成ステップで合成した合成画像を表示する表示ステップと、
を実行させることを特徴とする表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2012−235285(P2012−235285A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−102004(P2011−102004)
【出願日】平成23年4月28日(2011.4.28)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】