撮像ガイド装置、撮像装置、撮像ガイド方法、プログラム
【課題】同一地点での同一視野の撮像が的確に実行できるようにユーザをガイドする装置の実現。
【解決手段】例えば最初の撮像時に、記録画像に関連づけられた情報として、記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び記録画像を表示した際のターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する。同一地点での撮像時には、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、被写体モニタリング画像におけるターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示とを含む撮像視野誘導表示を行う。マーカー表示とターゲット表示によって過去の撮像と同一視野となるようにユーザを誘導する。
【解決手段】例えば最初の撮像時に、記録画像に関連づけられた情報として、記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び記録画像を表示した際のターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する。同一地点での撮像時には、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、被写体モニタリング画像におけるターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示とを含む撮像視野誘導表示を行う。マーカー表示とターゲット表示によって過去の撮像と同一視野となるようにユーザを誘導する。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はユーザによる撮像の際のガイドを行うための撮像ガイド装置、撮像ガイド装置を搭載した撮像装置、撮像ガイド方法、及び撮像ガイド動作を実現するプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開平9−252454号公報
【背景技術】
【0003】
デジタルスチルカメラ(以下「DSC」という)を用いて静止画や動画の撮像を行うことが一般に行われている。
上記特許文献1には、撮像した画像データに位置情報を埋め込む技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザによる静止画撮像の用途として、同一場所で同一の対象を異なる時点で繰り返し撮像するということがある。例えば植物の成長記録や建築物ができていく様を写真に撮り続ける場合などである。
【0005】
このような場合、同じ被写体を、できるだけ同じような画角、構図で撮りたいということになる。
ユーザは異なる日時に撮像場所に通って、繰り返し撮像するわけであるが、すると、同一の画角、構図による、同じような撮像視野の状態で撮像することが難しいことがある。
上記特許文献1のように、撮像画像データに関連づけて位置情報を記憶するようにしておけば、ユーザを撮像場所に導くことは可能となる。ところが、撮像場所において、画角、構図を過去の撮像画像と合わせることは難しい。
【0006】
そこで本開示では、撮像時に、撮像視野を、以前に撮像したときの状態と同じようになるように、ユーザ(撮像者)にガイドできるようにし、同一の画角、構図の撮像が容易に繰り返して実行できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本開示の撮像ガイド装置は、過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部とを備える。
【0008】
本開示の撮像装置は、被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、記憶部と、レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部とを備える。
【0009】
本開示の撮像ガイド方法は、過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行する撮像ガイド方法である。
本開示のプログラムは、このような撮像ガイド方法を実行する処理を、演算処理装置に実行させるプログラムである。
【0010】
このような本開示では、例えば最初に或る被写体を静止画として撮像記録したときに、その記録画像に関するターゲット情報を記憶する。ターゲット情報とは、記録画像の画像内の或る特徴点などの画像内容の情報と、その表示の際の位置の情報である。ターゲット情報を記憶することで、2回目以降の撮像時に、ターゲット情報に基づいた撮像ガイド動作が可能となる。
例えばユーザが現地で撮像を行おうとして、被写体モニタリング画像(スルー画)を表示部に表示させているときに、被写体モニタリング画像に合わせて上記マーカー表示とターゲット表示を行うことで、前回の撮像視野と同様の撮像視野の状態へユーザを誘導できる。
【発明の効果】
【0011】
本開示によれば、同一の場所で繰り返し同一被写体を撮像するような場合に、同様の画角、構図の静止画撮像ができるように、ユーザを誘導することができる。これによって、画角や構図が同様な静止画撮像を、ユーザに容易に実行させることができるという効果がある。
【図面の簡単な説明】
【0012】
【図1】本開示の実施の形態の撮像装置のブロック図である。
【図2】実施の形態の制御機能を示したブロック図である。
【図3】実施の形態の撮像時情報及びターゲット情報の説明図である。
【図4】実施の形態の初回撮像時のターゲット設定動作の説明図である。
【図5】実施の形態の2回目以降の撮像位置ガイド及び撮像視野誘導表示の説明図である。
【図6】実施の形態の撮像視野誘導表示の説明図である。
【図7】実施の形態の撮像視野誘導表示の説明図である。
【図8】実施の形態の複数のターゲットによる撮像視野誘導表示の説明図である。
【図9】実施の形態のズーム状況に応じた撮像視野誘導表示の説明図である。
【図10】実施の形態の回転角度に応じた撮像視野誘導表示の説明図である。
【図11】実施の形態のターゲット設定の例の説明図である。
【図12】実施の形態のターゲット設定及び撮像視野誘導表示の説明図である。
【図13】実施の形態のターゲット情報取得モードでの撮像記録処理のフローチャートである。
【図14】実施の形態のターゲット画像設定・登録処理のフローチャートである。
【図15】実施の形態のターゲット画像設定・登録処理のフローチャートである。
【図16】実施の形態の誘導撮像モードの撮像記録処理のフローチャートである。
【図17】実施の形態のレリーズ待機時の処理のフローチャートである。
【図18】実施の形態のレリーズトリガ判定のフローチャートである。
【図19】実施の形態のレリーズ待機時の処理の他の例のフローチャートである。
【図20】実施の形態の制御機能の他の例のブロック図である。
【発明を実施するための形態】
【0013】
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.初回撮像(ターゲット情報取得モード)の動作>
<3.2回目以降(誘導撮像モード)の動作>
<4.ターゲット情報取得モードの処理>
<5.誘導撮像モードの処理>
<6.変形例及びプログラム>
なお、実施の形態で使用する用語の意味は次のとおりである。
「撮像」とは、被写体光をイメージセンサで光電変換し、所定の信号処理を行って撮像画像データを得ることをいう。フレーム画像として得られる1枚の撮像画像データを、静止画として記録することを「撮像記録」ということとする。「記録画像」や「画像ファイル」とは、撮像記録動作によって記録された画像のこととする。
「被写体モニタリング画像」(以降は、「スルー画」ともいう)は、いわゆるシャッタ操作(レリーズ)を行う前の待機中に、ユーザに対して表示させる被写体画像のことである。
「撮像視野」は、ここでは実際に静止画として撮し込まれる被写体の範囲をいう。
【0014】
<1.撮像装置の構成>
実施の形態の撮像装置及び撮像ガイド装置の構成を説明する。なお実施の形態としては、撮像ガイド装置を内蔵する撮像装置の例としてデジタルスチルカメラ(DSC)1について説明する。
【0015】
図1はDSC1の内部構成例を概略的に示すブロック図である。
図示するようにDSC1は、表示部2、表示制御部3、操作入力部4、撮像部5、撮像信号処理部6、CPU(Central Processing Unit)7、メインメモリ8、記録部9、フラッシュメモリ10、方位検出部11、位置検出部12、外部インターフェース13、ネットワーク通信部14、システムバス15、音声出力部16を有する。
【0016】
表示部2は、ユーザ(撮像者等)に対して各種表示を行う表示部であり、例えばDSC1の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスにより形成される。またいわゆるビューファインダーとしてLCDや有機ELディスプレイ等で形成されてもよい。
表示制御部3は、このDSC1の全体の制御部であるCPU7の制御に基づいて、表示部2に各種表示を実行させる。例えば撮像記録した静止画や動画を再生表示させたり、レリーズ待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画(被写体モニタリング画像)を各種表示部2に表示させる。また表示制御部3は、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を表示部2に実行させる。
【0017】
操作入力部4は、ユーザーの操作を入力する入力手段として機能し、入力された操作に応じた信号をCPU7等へ送る。
この操作入力部4としては、例えばDSC1の筐体上に設けられた各種操作子や、表示部2に形成されたタッチパネルなどを有する。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)等が設けられる。
またタッチパネルと表示部2に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてよい。
【0018】
撮像部5は、被写体光を受光し電気信号に変換する撮像素子(イメージセンサ)、被写体からの光を撮像素子に集光するためのレンズ系、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、絞り機構などを有している。
撮像部5内のこれらの駆動機構は、全体の制御部であるCPU7からの制御信号に応じて駆動される。
撮像素子は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型などの撮像素子とされる。
【0019】
撮像信号処理部6は、撮像部5の撮像素子で得られた電気信号についてA/D変換、ISOゲイン調整、その他の各種信号処理を行い、撮像画像データを生成する。
さらに撮像信号処理部6は、撮像画像データについて圧縮処理等を行って静止画や動画としての画像ファイルとしたり、撮像画像データを表示部3で表示させるスルー画として表示部3に転送する等の処理を行う。
【0020】
メインメモリ8は、例えばRAM(Random Access Memory)等の揮発性メモリからなり、CPU7の各種データ処理の際の作業領域として、データやプログラム等を一時的に格納する。例えば、シャッターボタンが押されたタイミングで撮像信号処理部で処理された画像データは、一旦メインメモリ8に読み出され、その後、記録部9に書き込まれる。
【0021】
フラッシュメモリ10(不揮発性メモリ)は、CPU7が各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、外部通信、ネットワーク通信等に必要なアプリケーション等を記憶する。
【0022】
記録部9は、例えば不揮発性メモリ等からなり、画像ファイル等のコンテンツファイル、その画像ファイルの属性情報及びサムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部9の実際の形態は多様に考えられる。例えば記録部9は、DSC1に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と、該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。またDSC1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
【0023】
また、実施の形態では後述する撮像時情報やターゲット情報が記憶され、CPU7によって更新管理されたり、撮像時の撮像視野誘導表示の際などに参照されるが、この撮像時情報やターゲット情報は記録部9に記憶されるようにすればよい。
なお、撮像時情報やターゲット情報の記憶にはフラッシュメモリ10が用いられてもよい。
【0024】
方位検出部11は、撮像方向(DSC1の視野方向:被写体方向)を検出する方位センサにより構成される。例えばジャイロセンサ等を用いることができる。方位検出部11は、方位情報を検出してCPU7に通知する。
【0025】
位置検出部12は、DSC1が存在する現在位置としての緯度・経度の情報を取得する。位置検出部12は例えばGPS(Global Positioning System)受信デバイスとして構成される。例えばCPU7が、GPS受信デバイス内のレジスタ若しくはメモリを読むことで緯度・経度情報の取得が可能であり、さまざまな用途で情報を利用できるものとする。
【0026】
外部インターフェース13は、パーソナルコンピュータや外部ストレージ機器等との外部デバイスとの間で各種データ通信を行う。DSC1は、外部インターフェース13による外部機器との通信で、撮像記録した静止画データ等を外部機器に転送したり、各種情報を外部機器から入力することが可能である。
ネットワーク通信部14は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行う。
【0027】
音声出力部16は、CPU7の指示に基づいて、メッセージ音声や電子音によりユーザに音声告知を行う。このため音声信号発生器や、その増幅出力部を備える。
本実施の形態では、例えば各種ガイドのためのメッセージ音声等の出力に用いられるが、それらのガイド出力を表示部2での表示のみで行う場合は、この音声出力部16は必ずしも設けられる必要はない。
【0028】
CPU7は、例えばフラッシュメモリ11等に記憶されたプログラムを実行することで、このDSC1全体を統括的に制御する。
例えばCPU7は、ユーザの操作に応じた撮像動作や撮像記録した画像ファイルの再生動作、さらに外部機器通信やネットワーク通信としての通信動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、CPU7は、後述する撮像視野誘導表示等を行う撮像ガイド装置としての主たる要素となる。
システムバス14は、CPU7などの各ブロックを相互に接続し、それぞれのブロック間での信号の授受を可能とする。
【0029】
このような本実施の形態のDSC1は、CPU7の機能を用いて形成される撮像ガイド装置を内蔵するものとなる。
撮像ガイド装置として機能し、かつ撮像装置たるDSC1の制御部となるCPU7の主な機能構成を図2に示す。
なお、図2はCPU7においてソフトウエアによって形成される機能をブロックとして示していると共に、記憶領域100を示している。記憶領域100とは、記録部9又はフラッシュメモリ10のいずれかの記憶領域で実現される、本開示の請求項でいう記憶部に相当するものである。
【0030】
CPU7には、制御機能として撮像制御部21、撮像時情報保存処理部22、ターゲット画像設定処理部23、地点誘導処理部24、撮像視野誘導処理部25が設けられる。Jこれらの各部は、例えばフラッシュメモリ11等に記憶されたプログラムに基づくCPU7の処理動作によって実現される。
【0031】
撮像制御部21は、CPU7がDSC1の撮像動作、撮像記録動作、表示動作、通信動作等、カメラとしての必要な動作の制御を行う機能として示している。
例えば撮像部5におけるズーム、フォーカスのためのレンズ駆動制御、絞り制御、シャッタースピードの制御、撮像信号処理部でのゲインの制御、圧縮処理の制御、レリーズとしての撮像記録動作の制御、記録画像の再生制御、表示制御部3に対する表示データの供給や表示指示、各種モード制御、通信制御などを行う。撮像制御部21は、ユーザ操作やプログラムに応じて、これらの制御を実行する。
【0032】
撮像時情報保存処理部22は、後述するターゲット情報取得モードでの撮像時に、その撮像記録された記録画像に関連して、当該撮像時の各種情報を検出・生成して、記録領域100に登録する処理を行う。
ターゲット情報取得モードでの撮像記録の際に、その記録画像に関連づけられて、記録領域100に撮像時情報101が登録される。この撮像時情報101の例を図3Aに示している。
【0033】
図示するように、撮像時情報101としては、1つの記録画像(撮像記録動作によって記録された画像ファイル)についての位置情報、方位情報、カメラ設定情報、環境情報などが含まれる。例えばレリーズ動作として、1つの静止画としての画像ファイルPct001を記録部9等に記録した場合、その画像ファイルPct001に関連づけられて、位置情報、方位情報、カメラ設定情報、環境情報などが登録される。
【0034】
位置情報とは、撮像記録を行った場所を示す緯度、経度の情報である。撮像時情報保存処理部22は、レリーズ時に位置検出部12で検出される現在位置情報を、この位置情報として撮像時情報101に含める。なお、位置情報として、地名、地図情報などを含むようにしてもよい。例えばネットワーク通信部14による通信により地名情報や地図情報が取得できたり、或いは記録部9等に地図データベースを有しており、地図データベースから地名情報や地図情報が取得できたりするのであれば、それらを位置情報に含めても良い。
【0035】
方位情報とは、撮像記録時の撮像方向情報である。即ち撮像記録を行ったレリーズ操作時のDSC1の被写体方向(カメラを向けている方向)や撮像時の仰角を示す情報である。撮像時情報保存処理部22は、撮像記録時に方位検出部11で検出される方位情報を撮像時情報101に含める。
【0036】
カメラ設定情報とは、撮像記録の際のカメラ設定の情報である。たとえば露光調整値、ズーム値、焦点距離、シャッタースピード、圧縮エンコード方式などである。これらのカメラ設定は、ユーザ操作等に応じて撮像制御部21が各部に指示するが、撮像記録が行われた際には、撮像時情報保存処理部22は、その時点のカメラ設定情報を、記録画像(画像ファイル)に関連した情報として撮像時情報101に含める。
【0037】
環境情報とは、撮像記録の際の周囲環境の情報である。たとえば撮像時の周辺の明るさを示す周辺輝度の情報であったり、撮像日時の情報などである。周辺輝度は、例えば露光制御の値から推定したり、或いは図1には示していないが、外光センサを設けて測定するなどが考えられる。撮像日時は、CPU7が内部時計を参照すればよい。
撮像記録が行われた際には、撮像時情報保存処理部22は、これらの環境情報を、記録画像(画像ファイル)に関連した情報として撮像時情報101に含める。
【0038】
以上の撮像時情報101が、ターゲット情報取得モードで撮像記録が行われる毎に登録される。
例えば画像ファイルPct001が撮像記録された際には、画像ファイルPct001に対応されて、以上の内容の撮像時情報101が登録され、また画像ファイルPct002が撮像記録された際には、画像ファイルPct002に対応されて、同様の内容の撮像時情報101が登録される。
なお、撮像時情報101としては、上記の位置情報、方位情報、カメラ設定情報、環境情報の全てを含むことが必要なわけではない。後述する誘導撮像モードでの処理に使用しない情報は含めなくても良い。
【0039】
図2に戻って、ターゲット画像設定処理部23は、記録画像において、後述する撮像視野誘導表示を実行する際にターゲット画像として用いる部位を設定して、登録する処理を行う。
このターゲット画像設定処理部23の処理により、ターゲット情報取得モードでの撮像記録の際には、その記録画像に関連づけられて、記録領域100にターゲット情報102が登録される。このターゲット情報102の例を図3Bに示している。
図示するように、ターゲット情報102としては、1つの記録画像(撮像記録動作によって記録された画像ファイル)に対応したターゲット画像データと、表示位置情報を含む。
例えばレリーズ動作として、1つの静止画としての画像ファイルPct001を記録部9等に記録した場合、その画像ファイルPct001に関連づけられて、ターゲット画像データと、表示位置情報が登録される。
【0040】
ターゲット画像データとは、例えば画像ファイルPct001としての記録画像の画像の一部である。例えば特徴点として画像内で比較的特徴がある部分を抽出することが考えられる。
登録されるターゲット画像データGRとしては、一部の画像データそのものでもよいし、その一部の画像データの符号化データなどでもよい。いずれにしても、画像解析の際に、画像内容自体が判定できる情報であればよい。
表示位置情報とは、当該画像ファイルPct001の記録画像を、表示部2に表示させた際に、ターゲット画像が表示上で表れる位置情報である。例えば表示部2の画素の列、行のx,y座標値(xg,yg)としての情報などとする。
【0041】
以上のターゲット情報102が、ターゲット情報取得モードで撮像記録が行われる毎に登録される。
例えば画像ファイルPct001が撮像記録された際には、画像ファイルPct001に対応されて、以上の内容のターゲット情報102が登録され、また画像ファイルPct002が撮像記録された際には、画像ファイルPct002に対応されて、同様の内容のターゲット情報102が登録される。
【0042】
続いて図2の地点誘導処理部24は、後述する誘導撮像モードの際に、上記の位置情報に基づいて、撮像位置をユーザに提示する位置ガイド出力を実行させる制御を行う。例えば表示部2での表示や、音声出力部16でのメッセージ音声などで、過去の撮像場所をユーザに告知・案内する。
【0043】
撮像視野誘導処理部25は、誘導撮像モードの際に、ユーザに撮像視野のガイドのための表示制御等を行う。後述するが誘導撮像モードでは、現在の撮像画像データとして入力されるスルー画(被写体モニタリング画像)を表示させながら、上記の表示位置情報に基づく位置マーカー表示を実行させる。さらに、スルー画におけるターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示を実行させる。このようなガイド表示のため、撮像視野誘導処理部25は、スルー画となる撮像画像データの解析処理(ターゲット画像に相当する画像の検出処理)や、表示制御を行う。
【0044】
CPU7では、以上のような機能を備え、これによって以下説明していく各種動作がDSC1において実行されるように、各時点で必要な制御を行う。
なお図3では、撮像時情報101、ターゲット情報102が、それぞれが独立して画像ファイルに対応づけられて記憶されるような形式で示しているが、これは説明上の例に過ぎない。例えば撮像時情報101とターゲット情報102が、共通のデータ構造として画像ファイルに関連づけられてもよい。
即ち1つの画像ファイルに関連して撮像時情報101として示した内容とターゲット情報102として示した内容が記憶されるのであれば、その記憶形式、データ構造、記憶領域の設定等については全く問われない。
【0045】
<2.初回撮像(ターゲット情報取得モード)の動作>
本例では、DSC1では、ターゲット情報取得モードとしての動作と、誘導撮像モードとしての動作が行われる。
これは、同一場所での同一の対象に対する撮像を、ユーザが容易に繰り返して実行できるようにするための動作である。
例えば毎週日曜日に、或る建築現場に行って、建造物の建築過程を撮像記録したり、或る場所で植物の成長記録としての撮像記録を行う場合などの用途に適している。
【0046】
概略的にいうと、まず初回の撮像記録は、ターゲット情報取得モードとして実行する。ターゲット情報取得モードでは、ユーザが撮像記録したときに静止画データだけでなく、上記の撮像時情報やターゲット情報を取得しておき、画像ファイルに関連づけて図3のように登録する。
2回目以降の撮像時は、撮像誘導モードとする。撮像誘導モードでは、DSC1はユーザに対して、現場の案内、撮像する方位の案内、撮像視野の案内などを行う。これによってユーザが、前回と同じような撮像視野の静止画撮像を容易に実行できるようにする。
【0047】
まずターゲット情報取得モードの動作を図4で説明する。
図4Aは、ユーザが或る場所で被写体を決め、レリーズ操作(シャッタボタン操作)を行ったことで撮像記録された記録画像の例としている。ここではレリーズ操作の瞬間に表示部2に表示されている被写体画像として示している。
【0048】
この場合にCPU7は、当該被写体の撮像画像を、1枚の静止画の記録画像(例えば画像ファイルPct001)として記録部9又はフラッシュメモリ10に記録する処理を行うが、このときに、図2で述べた撮像時情報保存処理部22及びターゲット画像設定処理部23の機能により、画像ファイルPct001に関連づけて、上述の撮像時情報101とターゲット情報102の登録を行う。
撮像時情報101としては、上述のように、その撮像記録時点の位置情報、方位情報、カメラ設定情報、環境情報を登録する。
【0049】
ターゲット情報102について図4B、図4Cで説明する。
CPU7は、当該記録画像のうちで、或る部分を抽出し、ターゲット画像データGRを設定する。この図4Bの例では、家屋のひさしの部分をターゲット画像データGRとして設定した例を示している。
ターゲット画像データGRは、例えば図示のように破線で囲った部分の画素の画像データ(イメージデータ)そのものとする。或いは当該画像データを符号化したものでもよい。
後述するが、記録画像のうち、どの部分をターゲット画像データGRとするかの選定方式は多様に考えられる。CPU7が自動設定してもよいし、ユーザが指定できるようにしてもよい。
【0050】
ターゲット画像データGRとともに、表示位置情報(xg,yg)も登録する。上述のように表示位置情報とは、記録画像を表示部2で表示した際の、その表示上でのターゲット画像の位置を示すものである。図示のように例えばターゲット画像の中心点が、nライン×mドットの表示画面2次元平面上で、どの位置にあるかを示す情報とすれば良い。
なお、ターゲット画像とする領域のサイズは固定でも良いし、可変サイズでもよい。また、ここでは正方形の領域をターゲット画像としているが、多角形領域、不定領域、円形領域、楕円形領域などでもよい。図示の例では、表示位置情報は、正方形の領域の中心位置の座標値としたが、もちろん表示位置情報は、ターゲット画像の領域形状が異なる場合や、可変サイズの場合などに応じて、その領域範囲がわかるような情報とすればよい。
例えば正方形領域や円形領域の場合であって可変サイズの場合は、中心座標に加えて、中心から頂点までの距離や半径を表示位置情報に含ませれば良い。多角形領域の場合は、各頂点位置の座標を含めるようにすればよい。
少なくとも表示位置情報は、後述する位置マーカーPMの表示が可能となる情報内容が含まれていれば良い。
【0051】
ターゲット画像の設定は、記録画像内の1つの領域でなくてもよい。図4Bでは、破線で囲った2つの領域をターゲット画像GR1,GR2とし、またその表示位置情報(xg1,yg1)(xg2,yg2)を登録する例を示している。
複数のターゲット画像を設定した場合は、図3には示していないが、1つの画像ファイル(例えばPct001)に対応して、各ターゲット画像GR1,GR2と、それぞれの表示位置情報(xg1,yg1)(xg2,yg2)を登録すれば良いことは言うまでもない。
【0052】
このように初回の撮像記録時には、撮像された画像ファイルに関連づけて、撮像時情報101とターゲット情報102を登録する。
以上がターゲット情報取得モードでの撮像動作となる。つまり、ターゲット情報取得モードの動作は、ユーザの行動を含めて以下のように行われる。
1:ユーザが撮像現場に赴き、被写体をきめてレリーズ操作を行う。
2:DSC1は、レリーズ操作に応じて静止画記録を行う。
3:DSC1は、記録時情報を生成し、記録画像に対応させて登録する。
4:DSC1は、記録画像中でターゲット画像を設定し、ターゲット情報の生成及び記録画像に対応させた登録を行う。
【0053】
<3.2回目以降(誘導撮像モード)の動作>
上記ターゲット情報取得モードで過去に撮像記録した記録画像(画像ファイル)と同じ被写体を同様に撮像したい場合、誘導撮像モードでの撮像を行う。
まず図5〜図7で、誘導撮像モードの動作を説明する。
【0054】
ユーザが、過去に撮像記録した画像ファイルPct001を選択してターゲット情報取得モードを実行する場合で述べる。
図5Aは、表示部2において、撮像位置を提示する位置ガイド出力を実行している状態を示している。
ユーザが過去の画像ファイルPct001を選択することで、CPU7は、その画像ファイルPct001に関連づけられている撮像時情報101、ターゲット情報102を確認できる。
【0055】
図5Aの位置ガイドの表示としては、例えば選択された画像ファイルPct001について、撮像場所の地名等を提示する表示となっている。CPU7は、図2に示した地点誘導処理部24の機能として、位置ガイド表示を実行する。
撮像場所の提示内容は多様に考えられる。例えば緯度・経度の情報のみでもよいし、地名、現地住所等を表示させてもよい。さらには、地図表示を実行して、地図上で撮像場所を示すような表示でもよい。
さらには、CPU7は現在位置を位置検出部12から把握できるため、現在位置から撮像場所までの経路、交通機関の路線情報などを表示させたり、ナビゲーションシステムのような表示を行うことも考えられる。
例えば記録部9やフラッシュメモリ10等に地図データベースを備えていれば、CPU7は地図表示や経路表示なども可能となる。また、地図データベースを備えていなくとも、ネットワーク通信部14からのネットワーク通信により、インターネットサーバ、外部ウェブサイトなどから、地図等の情報を入手すること可能である。
【0056】
このような位置ガイド表示は、ユーザ(DSC1自体)が画像ファイルPct001の過去の撮像場所に到達するまでの間に実行する。
なお、ここでは表示によって撮像位置ガイドを行っているが、音声出力部16によるガイド音声として、撮像現場をユーザに知らせるガイド出力を行っても良い。
【0057】
現地に到着した後は、続いてDSC1(CPU7)は、図2で述べた撮像視野誘導処理部25の機能により、ユーザに対して撮像視野誘導表示を実行する。
まずCPU7は方位ガイドを行う。例えばユーザはスルー画を見ながら被写体方向を確認するが、CPU7は撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角を判定して、一致した状態となっているかを確認する。一致していなければ、例えば図5Bのように表示部2に表示しているスルー画上で、方位や仰角を案内する視野方向ガイド表示HGを実行させる。
ユーザは、例えば手に持っていたり、或いは三脚に載置しているDSC1について、この視野方向ガイド表示HGに従って、被写体方向を調整する。これにより、以前に撮像した画像ファイルPct001のときと同様の撮像方向、仰角の被写体方向を得ることができる。
視野方向ガイド表示HGは、撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角が一致(又は略一致)した状態となった時点で終了させればよい。
【0058】
なお図5Cは、視野方向ガイド表示HGの他の例であり、例えば「北北東に向いて下さい」等のメッセージ表示として、前回の撮像記録時の撮像方向を提示する例である。図示しないが、「被写体方向は右側です」「カメラを左に向けて下さい」「少し上方に向けて下さい」等のメッセージ表示なども考えられる。
またこの例では表示によって方向ガイドを行っているが、音声出力部16によるガイド音声として、被写体方向をユーザに知らせるガイド出力を行っても良い。
【0059】
また図5B、図5Cでは位置マーカーPMを表示している例を示しているが、これについては次に述べる。
位置マーカーPMの表示は、現地到着とともに図5B、図5Cのように表示させてもよいが、視野方向ガイド表示HGを終了してから、つまり方位がほぼ合致した後に、位置マーカーPMの表示を開始するようにしてもよい。
【0060】
上記の視野方向ガイド表示HGに加えて、撮像視野誘導表示としては、図6に示すような位置マーカー表示とターゲット表示を行う。
図6Aは位置マーカーPMを説明するための図である。位置マーカーPMは、画像ファイルPct001に対応づけられたターゲット情報102における表示位置情報に基づいて、表示部2上に表示される。
即ち先の図4Bのようにターゲット画像が設定された場合に、そのターゲット画像の表示部2上における位置が、位置マーカーPMとして表示される。即ち表示位置情報(xg,yg)により基づいて特定される領域を示すように、図6Aのように位置マーカーPMが表示される。
【0061】
実際には、DSC1ではレリーズタイミングを待ってスルー画を表示部2に表示させている状態であるので、位置マーカーPMの表示は、図6Bのように、その時点のスルー画に重畳されて表示される。
【0062】
この位置マーカーPMに加えて、図6Bに斜線部として示すようにターゲット表示PTが表示される。
ターゲット表示PTは、登録されたターゲット画像データに該当する画像がスルー画(つまり現在撮像している撮像画像データ)に表れた場合に表示される。
このためCPU7、現在順次撮像されている各フレームの撮像画像データについて画像解析を行い、ターゲット画像データに該当する画像が存在するか否かを判別している。そして該当画像を検出したら、図6Bのようにターゲット表示PTを行う。
【0063】
表示部2のスルー画上で、この撮像視野誘導表示を見ているユーザは、ターゲット表示PTが位置マーカーPMに一致するように、DSC1の被写体方向を調整する。
なお、このことをユーザが理解しやすいように、図6Cのようにガイド表示MGを表示させてもよい。
【0064】
図7Aは、ユーザが、図6Aの状態から視野方向を変化させている過程を示している。そして図7Bでは、ターゲット表示PTが位置マーカーPMに一致するように被写体方向が調整された状態を示している。
この状態では、過去に撮像した画像ファイルPct001の撮像記録時と同様の撮像視野となっている。
この状態において、ユーザのレリーズ操作、もしくはCPU7の自動レリーズ制御によって撮像記録が行われることで、画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxが得られることとなる。
【0065】
以上が撮像誘導モードでの撮像動作となる。つまり、撮像誘導モードの動作は、ユーザの行動を含めて以下のように行われる。
1:ユーザが過去にターゲット情報取得モードで撮像した画像ファイルを選択する。
2:DSC1は、選択された画像ファイルについて、撮像位置のガイドを行う。ユーザは、撮像現場に移動する。なお、撮像位置のガイドは必ずしも行われなくても良い。ユーザにとってガイド不要のことも多いからである。
3:DSC1は現地において撮像視野誘導表示(視野方向ガイド表示HG、位置マーカーPMの表示、ターゲット表示PT等)を実行する。
4:DSC1は、レリーズ操作又は自動制御に応じて静止画記録を行う。
【0066】
このような撮像動作により、前回の撮像記録した画像ファイルと、今回の撮像記録に係る画像ファイルとで、精度良く、同一又は略同一の撮像視野の状態とし、ユーザにとっては、同一被写体を容易に同じ画角状態で、異なる時点で撮像記録できることとなる。
また、ユーザにとっては視野合わせは、ファインダーや筐体上の表示部2の位置マーカーPMの合わせこみという理解しやすい動作で実現できる。
【0067】
ところで、図4Cに示したように、複数のターゲット画像GR1,GR2が登録された場合の撮像視野誘導表示は、図8のようになる。
図8Aでは、登録された2つのターゲット画像の表示位置情報に基づいて、位置マーカーPM1,PM2が表示され、またそれぞれのターゲット画像がスルー画内に表れることに応じて、ターゲット表示PT1,PT2が表示される。この図8Aでは、図6Cで説明したガイド表示MGも行われる例としている。
【0068】
ユーザは、マーカーPM1,PM2が、それぞれターゲット表示PT1,PT2と一致するように被写体方向を調整すればよい。
図8Bは被写体方向を調整している過程のスルー画を示している。また図8CはマーカーPM1,PM2が、それぞれターゲット表示PT1,PT2と一致した状態を示している。
この状態では、過去に撮像した画像ファイルPct001の撮像記録時と同様の撮像視野となっているため、この状態でユーザのレリーズ操作、もしくはCPU7の自動レリーズ制御によって撮像記録が行われることで、画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxが得られる。
【0069】
また、撮像視野誘導表示が行われる際には、ズーム状態が、前回の画像ファイルPct001の撮像記録時と同様とは限らない。ズーム状態が異なって画角が異なれば、撮像方向や仰角が一致していても、同一又は略同一の撮像視野とはならない。
そこで、ユーザにはズーム状態の差も認識できるような撮像視野誘導表示を実行することが好ましい。このために図9のような撮像視野誘導表示を行うと良い。
【0070】
図9Aは、現在の状態が、前回の画像ファイルPct001の撮像記録時よりズーム状態がワイド側になっている場合であり、図9Bはテレ側に成っている状態の例を示している。
この場合、マーカーPMは、前回の画像ファイルPct001のターゲット画像データGRの領域であるため、あくまでも表示位置情報に基づく領域を示すことになる。その一方で、ターゲット表示PTは、図示のようにターゲット画像データGRに該当する画像の領域を示すようにしている。
このため図9Aでは、ターゲット表示PTで示される領域サイズは、位置マーカーPMの領域サイズより小さくなっており、一方図9Bでは、ターゲット表示PTで示される領域サイズは、位置マーカーPMの領域サイズより大きくなっている。
【0071】
ユーザは、このターゲット表示PTと位置マーカーPMのサイズの違いを、ズーム状態の違いとして認識できる。
従ってユーザは、図9Cに示すように、ターゲット表示PTのサイズが位置マーカーPMのサイズとほぼ同サイズとなるように、ズーム操作を行えば良い。そして図7Bに示したように、ターゲット表示PTの位置と、位置マーカーPMの位置を一致させる。
この状態でレリーズ処理が行われることで、ズーム状態も調整されて、前回と同一又は略同一の撮像視野の新たな画像ファイルPctxxxを得ることができる。
【0072】
また、撮像視野誘導表示が行われる際には、DSC1の姿勢による回転状態が、前回の画像ファイルPct001の撮像記録時と同様とは限らない。回転状態が異なっていると同一又は略同一の撮像視野とはなりにくい。
そこで、ユーザには回転状態の差も認識できるような撮像視野誘導表示を実行することが好ましい。
ここまでターゲット画像を、正方形の領域として設定する例を示してきたが、このようにすると、撮像視野誘導表示の際にユーザが回転状態のずれを認識できる。
【0073】
図10Aは、現在の状態が、前回の画像ファイルPct001の撮像記録時と比べて回転状態が異なっている場合を示している。
位置マーカーPM及びターゲット表示PTが正方形となっている。そしてマーカーPMは、前回の画像ファイルPct001のターゲット画像データGRの領域であるため、あくまでも表示位置情報に基づく領域を示し、一方で、ターゲット表示PTは、ターゲット画像データGRに該当する画像の領域を示す。このため回転状態がずれていると、図示のように傾いた正方形の領域としてのターゲット表示PTが為されることとなる。
【0074】
ユーザは、このターゲット表示PTが、位置マーカーPMと同様に傾かないように回転状態を調整する。つまりDSC1の持ち方を調整したり、三脚の傾きをなおしたりする。これによって図10Bのようにターゲット表示PTの傾きが修正されるようにし、そして図10Cのようにターゲット表示PTの位置と、位置マーカーPMの位置を一致させる。
この状態でレリーズ処理が行われることで、回転状態も調整されて、前回と同一又は略同一の撮像視野の新たbな画ファイルPctxxxを得ることができる。
【0075】
なお、このような回転状態のずれをユーザが認識できるようにするには、ターゲット画像データGRを、正方形の領域、長方形の領域、三角形の領域、楕円形の領域、不規則形状の領域などとして、傾いた状態がわかる領域形状とすればよいこととなる。
円形領域とするのは、回転状態の認識という観点からすれば、あまり適切ではない。
【0076】
続いてターゲット画像データGRの設定及び撮像視野誘導表示の他の例について述べておく。
図11は、例えばターゲット画像データを、記録画像内のより大きな領域で設定した例である。例えば画像ファイルPct001に撮された家屋の輪郭線の領域に沿ってターゲット画像を抽出し、家屋の部分の全体をターゲット画像データGRと設定した場合である。
この場合に、撮像視野誘導表示における位置マーカーPMは、図11Aのように、家屋の輪郭線の領域を表示するものとなる。
またターゲット表示PTとしては、スルー画において家屋の画像が認識された時点で、例えば図11Bのように、家屋の部分として示される。
図11Cは、ユーザが、このような位置マーカーPMとターゲット表示PTを一致させた状態である。
【0077】
例えばこのように、被写体の形状に応じて抽出範囲を決めてターゲット画像データGRを設定することも可能である。
さらに図示しないが、前回の画像ファイルPct001の全体をターゲット画像データGRとし、撮像視野誘導表示の際に、位置マーカーPMとして、その前回の画像ファイルPct001の画像を薄く表示させるようなことも考えられる。
【0078】
次に図12は、ターゲット画像データと撮像視野誘導表示の関係の例を説明する図である。ターゲット画像データを複数設定した場合に、必ずしも全てのターゲット画像データに対応した撮像視野誘導表示を行う必要はない。
例えば図12Aは、ターゲット情報取得モードでの最初の撮像記録に係る記録画像例を示している。図示のように、花のつぼみの部分と、植木鉢の部分で2つのターゲット画像データGR1、GR2を設定したとする。
【0079】
その後の撮像誘導モードの際には、撮像視野誘導表示を行うわけであるが、図12に示すように、つぼみが開花してしまっていたとする。すると、先に設定したつぼみの部分のターゲット画像データGR1に相当する画像は、現在のスルー画からは検出されない。
このように、時間をおいて撮像を行う場合、必ずしも被写体のターゲット画像とした部分の状況が同一とは限らない。そしてこの場合に、常に全部の位置マーカーPMを表示することは、ユーザにわかりにくさを与える。
【0080】
そこで、位置マーカーPMの表示は、スルー画においてターゲット画像に相当する画像が検出された時点から実行するようにすると良い。
例えば図12Bでは、植木鉢の部分がスルー画において検出されたことで、植木鉢の部分についてターゲット表示PT2を行うとともに、位置マーカーPM2を表示する。
一方、つぼみの部分は検出されていないので、つぼみの部分に対応する位置マーカーは表示しないままとする。
このようにするとユーザは、表示されているターゲット表示PT2と位置マーカーPM2を合わせるように撮像視野を調整すればよく、操作がわかりにくくなることはない。
なお、今回、つぼみの部分が検出されなかったことに応じて、ターゲット画像データGR1の登録を抹消することも考えられる。
【0081】
<4.ターゲット情報取得モードの処理>
以上の説明してきた動作を実現するためのCPU7の処理例について、以下説明する。
まずここでは初回のターゲット情報取得モードでの処理例を図13〜図15に示す。図13はターゲット情報取得モードとして撮像が行われる場合のCPU7の処理例である。CPU7は、図2の撮像制御部21,撮像時情報保存処理部22、ターゲット画像設定処理部23の機能により、図13(及び図14又は図15)の処理を実行する。
【0082】
なおユーザは、今後繰り返しの撮像記録を行おうとする場合は、初回撮像時にメニュー操作等によりターゲット情報取得モードを選択する。これによりCPU7は図13の処理を実行することとなる。
【0083】
図13の処理としてステップF101でCPU7はレリーズ待機時の処理を行う。ここでのレリーズ待機時とは、ユーザがDSC1の表示部2のスルー画を見ながら、被写体の選定、ズーム状態の調整などを行っているレリーズ前の期間をいう。
この場合CPU7は、撮像部5で撮像され撮像信号処理部6の処理で得られる撮像画像データについて、表示部2でスルー画表示を実行させる制御を行う。またCPU7はオートフォーカス、自動露光調整などの自動制御も行う。さらにCPU7は、ユーザのズーム操作、露光調整操作などの操作に応じた制御を行う。
【0084】
ユーザは、被写体やズーム角などを決め、またシャッタータイミングに至ったと考えた場合に、レリーズ操作を行う。これに応じてCPU7はステップF102からF103に進み、撮像記録処理を行う。即ちレリーズ操作タイミングで撮像された撮像画像データを記録部9又はフラッシュメモリ10に記録させ、1枚の静止画(例えば画像ファイルPct001)とする。
【0085】
さらにCPU7は、ステップF104で撮像時情報101を登録する処理を行う。このためCPU7は、位置検出部12の情報を確認し、現在の緯度・経度の情報を得て位置情報とする。上述のようにDSC内部又は外部のデータベース等を用いて、現在地の地名、住所などの情報を取得してもよい。
またCPU7は、レリーズ時点の撮像方向、仰角の情報を方位検出部11から取得し、方位情報とする。
またCPU7はレリーズ時のズーム値、焦点距離、シャッタースピード、露光制御値を用いてカメラ設定情報とする。
またCPU7は、周辺輝度を検出し、また内部時計から日時情報を取得して環境情報を生成する。
そしてCPU7は、これらの情報を含めて撮像時情報101とし、図3に示したように画像ファイルPct001に対応させて記憶領域100(記録部9又はフラッシュメモリ10内)に登録する。
【0086】
続いてCPU7はステップF105で、ターゲット画像の設定及びターゲット情報の登録処理を行う。即ち記録した画像ファイルPct001からターゲット画像を選定して、その画像情報及び表示位置情報を含むターゲット情報102を、画像ファイルPct001に関連づけて登録する。
【0087】
このステップF105でのターゲット画像設定・登録処理としては多様な例が考えられる。ここでは図14,図15で2つの例を述べておく。
図14はCPU7が自動的にターゲット画像の選定を行う例であり、図15は、ユーザの選択操作を伴ってターゲット画像の選定を行う例である。
【0088】
まず図14の処理例では、CPU7はステップF151でターゲット画像の候補抽出を行う。ターゲット画像は撮像記録した記録画像(例えば画像ファイルPct001)の一部の領域の画像とする。このためCPU7は、画像ファイルPct001からいくつかの領域を抽出してターゲット画像の候補とする。抽出する領域は、例えば予め固定的に設定した複数の画素領域でもよいし、画像ファイルPct001の画像解析処理で、特徴的な画像部分を抽出するものでもよい。特徴的な画像部分とは、例えば後の誘導撮像モードの際にスルー画から検出しやすい画像部分や、被写体に応じた特徴部分などである。
例えば被写体の輪郭線を含んだ部分、色の変化が大きい部分、フォーカスが合わされた部分などである。
【0089】
例えばこのような画像領域として多数の候補を記録画像から抽出したら、CPU7はステップF152で優先条件により絞り込みを行う。
例えば物体種別認識が可能であれば、動かない部分(非生物)、画面内の下方の部分、予め登録された特定物などを優先するなどの設定がある場合、候補の中から該当するものを選定する。非生物を優先するのは、時間を経た撮像時でも、同様に画像検出できる可能性が高いためである。例えば図12で述べた植木鉢部分を、生物である花(つぼみ)よりも優先するということとなる。下方の部分を優先するのは、撮像対象にもよるが、建造物などは地面に近い部分の変化が少ないと推定されることによる。
【0090】
もちろん優先条件は、多様に考えられ、被写体種別に応じて優先条件が選ばれたり、ユーザが優先条件を設定しておくなども考えられる。
またユーザ設定、或いは固定値として、ターゲット設定数を決めておき、ステップF152での絞り込みの際には、最終的にターゲット設定数以下の候補に絞られるようにしてもよい。
【0091】
ステップF152での絞り込みの結果に応じて、CPU7はステップF153で1又は複数のターゲット画像を決定する。即ち選定された画像部分を、ターゲット画像データGRとする。
続いてCPU7はステップF154で、ターゲット画像データGRの表示位置を算出する。例えば表示位置座標(xg,yg)を求める。
CPU7は以上のようにターゲット画像データGR及び表示位置情報を設定したら、ステップF155で、それらをターゲット情報102として、画像ファイルPct001に関連づけて記憶領域100に登録する。
【0092】
以上のようにCPU7の自動処理として1又は複数のターゲット画像設定・登録処理を行うようにすることができる。この場合、ユーザの設定操作の手間を無くすことができる。
なお、ステップF151で候補を抽出する際の、ターゲット画像データGRとする領域の形状は、正方形領域等の固定でもよいし、各種形状をユーザが指定できるようにしてもよい。或いはCPU7が画像内容に応じて各種形状を選択又は生成してもよい。
またそもそも優先条件に従って候補抽出が可能であればステップF152の絞り込みは不要とすることもできる。
【0093】
次に同じくターゲット画像設定・登録処理として図15の処理例を説明する。
ステップF161でCPU7は、ターゲット画像の候補抽出を行う。即ち撮像記録した記録画像(画像ファイルPct001)の一部の領域の画像を候補として抽出する。
ステップF162では抽出した候補部分を表示部2で表示させてユーザに提示する。例えば画像ファイルPct001の再生画像を表示させた上に、ターゲット画像となる領域の候補を、枠線、色分け、強調表示などでユーザに認識できるようにすれば良い。
当該表示を行った上で、CPU7はステップF163でユーザの指定操作を待機する。
【0094】
ユーザは、例えば表示部3の表示上でのタッチパネル操作、或いは操作キーを用いたカーソル操作などで、提示された候補のうちから、ターゲット画像としたい候補画像を指定する入力を行う。
ユーザが1つの候補画像を指定した場合、CPU7はステップF164に進み、当該指定された候補をターゲット画像データGRに選定する。そしてステップF165でターゲット画像データGRの表示位置を算出する。
【0095】
ユーザが指定入力が完了していなければ、CPU7は再びステップF162で候補画像表示を行い、次の指定入力を待機する。ユーザが指定入力を行った場合は、同様にステップF164,F165でターゲット画像データGRの決定及び表示位置情報の算出を行う。
【0096】
ユーザが1又は複数の指定入力を行った後に指定完了の操作を行った場合は、CPU7はステップF167でターゲット情報登録処理を行う。即ちステップF164,F165で設定された1又は複数の指定入力に係るターゲット画像データGR及び表示位置情報をターゲット情報102として、画像ファイルPct001に関連づけて記憶領域100に登録する。
【0097】
以上のようにCPU7は、ユーザ入力に基づいてターゲット画像データGRを選定してターゲット画像設定・登録処理を行うようにすることができる。この場合、ユーザの指定する画像であることで、ユーザが、記録画像の中で時間を経ても動かない部分を選ぶなどすることで、ターゲット画像として適切な画像部分が選ばれ、後の誘導撮像モードに適切なターゲット画像とする確率を高めることができる。
【0098】
なお、ステップF161で候補を抽出することとしたが、単に記録画像の再生表示を行う状態で、ユーザの指定入力を待機してもよい。即ちユーザが、表示された画像内で全く任意にターゲット画像とする部分をタッチパネル操作で指定するなどである。その場合、指定された位置の表示上の座標を中心として特定のサイズの枠(例えば正方形の領域等)に含まれる画像データを抽出して、ターゲット画像データGRとすることなどが考えられる。
もちろん、ターゲット画像データGRとする領域の形状をユーザが指定できるようにしてもよい。
【0099】
以上の図14,図15の例のようなターゲット画像設定・登録処理が、図13のステップF105で行われる。
CPU7が以上の処理を行うことで、ターゲット情報取得モードでの撮像記録動作が行われることになる。
【0100】
<5.誘導撮像モードの処理>
続いて2回目以降の撮像記録として行う誘導撮像モードでの処理を図16〜図18で説明する。図16は誘導撮像モードとして撮像が行われる場合のCPU7の処理例である。CPU7は、図2の撮像制御部21,地点誘導処理部24、撮像視野誘導処理部25の機能により、図16(及び図17、図18)の処理を実行する。
【0101】
ユーザは、過去に上述のターゲット情報取得モードで撮像記録した画像ファイルPct001と同様の撮像視野で同じ被写体の撮像を行いたい場合、メニュー操作等により誘導撮像モードを選択する。これによりCPU7は図16の処理を実行することとなる。
【0102】
誘導撮像モードにおいては、まずCPU7はステップF201で、画像選択、及び選択された画像ファイルについての撮像時情報101、ターゲット情報102の読み込みを行う。
例えばCPU7は、これまで撮像記録された画像ファイルのうち、記憶領域100に撮像時情報101、ターゲット情報102が関連づけられている画像ファイルを抽出し、例えばサムネイル画像として表示部2で一覧表示させたり、順次表示させたりして、ユーザに選択を促す。
これに対してユーザが、或る画像ファイル(例えば画像ファイルPct001)を選択する操作入力を行ったら、CPU7は当該選択された画像ファイルPct001に関連づけられている撮像時情報101、ターゲット情報102を記憶領域100から読み出す。
【0103】
このステップF201を終えたら、まず最初にステップF202でCPU7は現地ガイド表示制御を行う。
この現地ガイド表示制御は、ステップF203で現在位置が、撮像時情報101における位置情報と一致するまでの期間(つまり現場到着までの期間)に行われる。例えばCPU7は、図5Aのような現地ガイドの表示を表示部2に実行させる。先に述べたように、地図表示やナビゲーション表示、路線表示などを行っても良い。
CPU7は、位置検出部12で検出される現在位置情報と、撮像時情報101として記憶されていた位置情報をステップF203で比較しながら、一致するまで現地ガイド表示を実行することになる。ナビゲーション表示の場合は、位置検出部12で検出される現在位置に応じて、表示内容を変えていけばよい。
【0104】
なお、ユーザによっては、或いは事情によっては必ずしも現地ガイド表示は必要ではない場合もある。このため現地ガイド表示の実行/不実行をユーザが選択できるようにしてもよい。
また、ユーザは、現地に到着するまでDSC1の電源をオフとしたままであることも考えられる。現地で電源オンとし、誘導撮像モードを指示した場合、現地ガイド表示はあまり意味がない。このためステップF201の処理が終わった時点で、既に現在位置が撮像時情報101の位置情報と一致していれば、ステップF202を実行せずにステップF204に進むようにしてもよい。
但し、GPS等の位置検出部12の位置検出精度にもよるが、現地で電源オンとしたとしても、撮像位置を精細に指示するという意味で、現地ガイド表示は有用である。例えば1m〜数m単位で位置検出が可能であれば、正確にユーザを前回の撮像位置(レリーズ時のユーザの立ち位置や三脚位置)に誘導できる。
【0105】
現在位置が撮像時情報101の位置情報に一致したら、CPU7は処理をステップF204に進め、レリーズ待機時処理を行う。
上記図13のステップF101でも述べたが、レリーズ待機時とは、ユーザがDSC1の表示部2のスルー画を見ながら、被写体の選定、ズーム状態の調整などを行っているレリーズ前の期間である。この場合CPU7は、撮像部5で撮像され撮像信号処理部6の処理で得られる撮像画像データについて、表示部2でスルー画表示を実行させる制御を行う。またCPU7はオートフォーカス、自動露光調整などの自動制御も行う。さらにCPU7は、ユーザのズーム操作、露光調整操作などの操作に応じた制御を行う。
誘導撮像モードの場合は、CPU7は、このレリーズ待機時において、スルー画表示に重畳して撮像視野誘導表示(視野方向ガイド表示HG、位置マーカーPM、ターゲット表示PT等)を実行させることになる。
このステップF204の処理は、ステップF205でレリーズトリガがあったと判断するまで継続される。
【0106】
ステップF204の処理例を図17に示す。
まずCPU7はステップF220で、表示部2でのスルー画及び位置マーカーPMの表示を開始させる。
【0107】
そしてCPU7は、ステップF221,F224,F227の判定に応じて処理を行う。
ステップF221ではCPU7は、撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角を判定して、一致した状態となっているかを確認する。そして一致していなければ、ステップF223で図5B、図5Cで説明したような視野方向ガイド表示HGを実行させる。
また一致していれば、ステップF222で視野方向ガイド表示HGを非表示状態とする。つまりその時点で表示していれば表示終了させ、その時点で表示していなければ非表示を継続する。
【0108】
ステップF224では、CPU7は、スルー画とされる撮像画像データの各フレームの解析結果として、ターゲット画像データGRに相当する(相当すると推定される)画像が検出されたか否かを判定する。
CPU7は、現在順次撮像されている各フレームの撮像画像データについて画像解析を行い、ターゲット画像データGRに該当する画像が存在するか否かを判別している。この場合、各フレームの撮像画像データの各フレーム(画像解析処理能力に応じて間欠的なフレームでもよい)において、ターゲット画像データGRとの画像マッチング、パターン認識等を行って、該当画像を検出する。但し、ズーム状態により画サイズが異なることや回転状態が異なることもあるため、サイズ違いや回転ずれを想定した検出アルゴリズムで検出処理を行うことが適切である。
【0109】
ステップF224でターゲット画像検出と判断したら、CPU7はステップF225に進み、図6〜図12で説明したようなターゲット表示PTを表示させる制御を行う。ターゲット画像が検出されるまでの期間、及び一旦検出された後、また検出されなくなった場合は、CPU7はステップF226に進み、ターゲット表示PTを非表示の状態とする。
【0110】
ステップF227ではCPU7は、ユーザの操作(レリーズ操作以外)を監視する。ユーザがズーム操作、フォーカス操作、露光調整操作等の手動操作を行ったことを検知したら、ステップF228に進み、操作に対応した動作を実行制御する。例えばズームレンズ駆動制御、露光制御(絞り、シャッタースピード、信号ゲイン調整の制御)等を実行する。
【0111】
CPU7は、例えば以上のステップF221〜F228の処理を、レリーズトリガ発生と判断されるまで継続的に実行する。
【0112】
先に述べたように、例えば図7Bのように位置マーカーPMとターゲット表示PTが一致又は略一致した状態で、レリーズ処理を行うことで、前回と同一又は略同一の視野状態で新たな静止画の撮像記録ができる。
このためレリーズトリガが検出されたら、CPU7は図16のステップF206に進み、撮像記録処理を行う。つまりそのレリーズ時点の撮像画像データのフレームを、静止画データとして記録する処理を行う。これによりステップF201でユーザが選択した画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxを生成する。
【0113】
レリーズトリガの判断は、ユーザ操作に基づくものやCPU7の自動判定によるものが考えられる。
図18にステップF205のレリーズトリガ判断の処理例を示す。
図18Aは、ユーザのレリーズ操作の検知をレリーズトリガとする例である。CPU7は、ステップF205として、ユーザのレリーズボタンの操作を監視し、操作が行われた場合にレリーズトリガ発生としてステップF206に進むこととする。
【0114】
図18Bは自動判定の例である。CPU7はステップF205の処理として、ステップF205a,F205bを行う。ステップF205aでは、CPU7は位置マーカーPMとターゲット表示PTの表示上の位置が一致したか否かを判定する。そして一致した時点でステップF205bでレリーズトリガ発生としてステップF206に進み、一致していない時点では図17のステップF221に戻るようにする。
この処理により、ユーザが、位置マーカーPMをターゲット表示PTに一致させるように被写体方向を調整するのみで、自動的にレリーズ処理が行われることになる。
【0115】
なお、この場合の一致判定は、厳密に一致状態を判定しても良いが、ある程度一致したら一致とみなすとしてもよい。例えばズーム状態が多少前回と異なれば位置マーカーPMのサイズとターゲット表示PTのサイズが多少異なるため、厳密には一致しない。またユーザの手ぶれ等により、厳密な一致タイミングがなかなか検知できないこともある。さらに時間を経たことによる被写体の変化が影響することもある。
これらのことから、例えば位置マーカーPMとターゲット表示PTが表示上である程度重なったら一致としたり、サイズ差が所定以内なら同サイズとみなすなど、「一致」とする判定範囲に、ある程度の余裕を持たせて「略一致」としての判断とすることが好ましい。
【0116】
図18Cも自動判定の例である。CPU7はステップF205の処理として、ステップF205c〜F205gを行う。ステップF205cでは、CPU7は位置マーカーPMとターゲット表示PTの表示上の位置関係を判定する。そしてステップF205dで、位置マーカーPMとターゲット表示PTが、一部で重なった状態かを判定する。一部でも重なっていなければステップF221に戻る。
重なり部分があった場合は、ステップF205eで内部タイマTLをリセット/スタートさせる。そしてステップF205f、F205gでは、DSC1が静止状態のまま所定時間TLth以上経過したかを判定する。
静止状態が所定時間TLth以上続かなければステップF205cに戻る。静止状態が所定時間TLth以上継続されたら、レリーズトリガ発生と判断してステップF206のレリーズ処理に進む。
【0117】
つまりこの例は、ユーザが、ある程度大まかに位置マーカーPMとターゲット表示PTを一致させた状態で、DSC1をある程度の時間(例えば2秒から数秒程度)静止させたら、ユーザはレリーズ意思があると判断して、自動的にレリーズ処理に移るものである。
これは、撮像視野が厳密に一致しなくても、静止状態はユーザが被写体に狙いを定めた状態であると判定して撮像記録を行うものである。
このような処理によって、ユーザの意思に応じた撮像記録が可能となる。
【0118】
なお図18でレリーズトリガ判断の3つの例を示したが、これ以外にも多様に考えられる。例えば図18A、図18Bを組み合わせて、手動操作と自動判定のいずれかでレリーズ処理してもよいし、図18A、図18Cを組み合わせてもよい。さらに、図18A、図18B、図18Cを組み合わせて、ユーザ操作、一致、略一致及び所定時間静止のいずれかの条件が満たされたときにレリーズトリガ発生としても良い。
【0119】
以上の図16,図17,図18の処理をCPU7が実行することで、DSC1において誘導撮像モードの動作が実現される。
なお、図16ではステップF206で、今回の画像ファイルPctxxxを撮像記録する処理を述べたが、この画像ファイルPctxxxを先の画像ファイルPct001に関連づけるようなファイル管理を行うことも好適である。
【0120】
また、ステップF206での撮像記録処理後に、先の画像ファイルPct001に関連づけられている撮像時情報101、ターゲット表示PTの追加、更新、削除等を行うようにしてもよい。
例えば、ターゲット画像データGRを新たな画像ファイルPctxxxから抽出した画像に変更してもよい。同じ画像であったとしても、時を経て多少被写体が変化していることもあるためであり、次の誘導撮像モードのために、ターゲット画像データGR自体を更新することは有用である。
また、新たな画像ファイルPctxxxから全く別のターゲット画像データGRを設定して、ターゲット情報102の更新又は追加を行っても良い。
さらには、先の画像ファイルPct001についてターゲット画像データGRとされていた画像部分が、今回の画像ファイルPctxxxから検出されないこともある。例えば図12で説明した花の部分であったり、以前には存在したものが、今回はなくなっていた被写体の画像などである。そこで、今回検出されなかったターゲット画像データGRは、ターゲット情報102から消去することも考えられる。
【0121】
もちろん撮像時情報101の追加や更新を行っても良い。例えば今回の撮像時の位置情報、方位情報、カメラ設定情報、環境情報を、新たに追加したり、それまでの内容に置き換えたりすることも考えられる。
【0122】
また図16のステップF204の処理は、図17の処理に限られない。図19に他の処理例を示す。図19において図17と同一処理は同一ステップ番号を付して説明を省略する。
この図19は、図17の処理にステップF230としての制御を加えた例である。
【0123】
ステップF220でスルー画及び位置マーカーPMの表示を開始したら、CPU7はステップF230で、撮像時情報101のカメラ設定情報及び環境情報を参照して、自動調整を行う。
例えばCPU7は、ズーム状態、露光状態(絞り、シャッタースピード、信号ゲイン)フォーカス状態等を、カメラ設定情報として記憶されている先の画像ファイルPct001の撮像時と同様になるように撮像部5や撮像信号処理部6を制御する。
また環境情報として記憶されている、先の画像ファイルPct001の撮像時の外光輝度を参照し、現在の外光輝度と比較して、前回とほぼ同様の光量となるような露光調整を行うことも考えられる。
【0124】
ステップF230でこのような自動調整を行うことで、DSC1の各種設定が前回の画像ファイルPct001の撮像記録時と同様となったり、同じような撮像条件となるようにできるため、ユーザにとっては、過去の撮像時の細かい設定を覚えていなくても、同様の条件での撮像が可能となるという利点が得られる。
【0125】
ステップF204の変形例としては、上記の図19以外にも考えられる。例えば図17、図19においてステップF220で位置マーカーPMの表示を開始しているが、位置マーカーPMの表示はステップF225,F226でのターゲット表示PTの表示/非表示とともに表示/非表示を行うようにしても良い。
【0126】
また撮像時情報101として撮像記録を行った日時を記憶している場合、図16のステップF202の現地ガイド表示の際に、先の画像ファイルPct001の撮像日時の情報を表示することも考えられる。日時表示を見ることで、ユーザは、前回と同じ時刻にレリーズを行うことが可能となる。また、同一時刻をレリーズトリガの判定に用いてもよい。例えばユーザが三脚にDSC1をセットした状態で、位置マーカーPMとターゲット表示PTを合わせ込んだ後、前回と同時刻になったら自動的にレリーズ処理されるような処理動作である。
【0127】
<6.変形例及びプログラム>
以上、実施の形態について説明してきたが、本開示の通信装置の構成や通信制御処理は実施の形態に限らず、多様な変形例が考えられる。
ターゲット画像の設定は、必ずしも画像内容を解析して抽出しなくても良い。例えば表示上の特定の領域を固定的に設定し、当該領域の画像をターゲット画像とする例も考えられる。
【0128】
誘導撮像モードでのユーザに対する各種ガイドは表示上で行う例を述べたが、例えば現地ガイド、方向や仰角のガイドなどは、音声出力部16からの音声メッセージでおこなうようにしてもよい。
【0129】
実施の形態では、請求項でいう撮像装置の例としてのDSC1に、請求項でいう撮像ガイド装置が内蔵されている例で述べたが、撮像ガイド装置は撮像装置とは別体でもよい。
即ち撮像ガイド装置は、実施の形態でいう誘導撮像モードでのガイドを行う装置であればよく、DSC1等の撮像装置とは別体でもよい。少なくとも、過去に撮像された画像ファイルに関連づけられた撮像時情報101やターゲット情報102を取得するとともに、撮像装置におけるスルー画となる撮像画像データをリアルタイム取得できる装置であれば、撮像視野誘導表示を実行することができる。
【0130】
また撮像装置としては、ターゲット情報取得モードは実行せずに、誘導撮像モードでの動作が可能とされるものも考えられる。例えば既に撮像された或る画像ファイルPct001について、撮像時情報101やターゲット情報102が取得できるのであれば、誘導撮像モードの動作は可能である。
例えば記録部9となるメモリカードに、別のカメラで撮像された画像ファイルと、それについての撮像時情報101、ターゲット情報102が記憶されていれば、その画像ファイルについて誘導撮像モードの動作が可能となる。或いはインターネット等を介してダウンロードした画像ファイルに、撮像時情報101、ターゲット情報102が付加されているような場合も、誘導撮像モードの動作が可能となる。
従って、他人が撮像した画像ファイルと同一の場所での同じような撮像視野の撮像を行うということも容易に可能となる。その場合、現地ガイド表示も非常に有用なガイドとなる。
【0131】
例えばDSC1において、このように誘導撮像モードでの動作を少なくとも可能とする場合、CPU7としては、図20Aのように撮像制御部21,地点誘導処理部24、撮像視野誘導処理部25を有するようにすればよい。即ちターゲット情報取得モードのための機能は不要とできる。
【0132】
また撮像装置又は撮像ガイド装置として撮像視野誘導表示を行うためには、最低限、ターゲット情報102が取得されれば良い。ターゲット情報102により、位置マーカーPMとターゲット表示PTが可能となるためである。
この場合、例えばDSC1のCPU7では、図20Bのように撮像制御部21、撮像視野誘導処理部25を有するようにすればよい。記憶領域100において撮像時情報101を記憶する必要はない。即ち撮像場所に対する地点誘導は行わない例である。
【0133】
実施の形態では、撮像装置の例としてDSC1を挙げたが、もちろん所謂デジタルスチルカメラに限られず、多様な機器において、本開示の撮像装置や撮像ガイド装置を実現できる。
例えば撮像機能付きの携帯電話機、ビデオカメラ機器、モバイル端末機器、その他各種の機器において本開示の技術を適用できる。
【0134】
実施の形態のプログラムは、撮像視野誘導表示を表示部において実行させる制御を、例えばCPU等の演算処理装置に実行させるプログラムである。
このプログラムは、過去の撮像による記録画像に関連づけられた情報として、その記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得する処理を演算処理装置に実行させる。
また、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる処理を、演算処理装置に実行させる。
このプログラムにより、上述した撮像視野誘導表示を実行する装置を実現できる。
【0135】
このようなプログラムは、コンピュータ装置や撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、撮像視野誘導表示を実現する撮像ガイド装置や、撮像ガイド方法を実行する装置の広範な提供に適している。
【0136】
なお本開示の撮像ガイド装置は以下のような構成も採ることができる。
(1)過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部と、
を備えた撮像ガイド装置。
(2)上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる上記(1)に記載の撮像ガイド装置。
(3)上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、撮像記録の実行指示を行う上記(1)又は(2)に記載の撮像ガイド装置。
(4)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の撮像方向情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる上記(1)乃至(3)のいずれかに記載の撮像ガイド装置。
(5)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時のカメラ設定内容を示すカメラ設定情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う上記(1)乃至(4)のいずれかに記載の撮像ガイド装置。
(6)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の位置情報を記憶し、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う上記(1)乃至(5)のいずれかに記載の撮像ガイド装置。
【0137】
また本開示の撮像装置は以下のような構成も採ることができる。
(7)被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、
記憶部と、
レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部と、
を備えた撮像装置。
(8)上記制御部は、
上記記憶部に記憶された過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を用いて、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う上記(7)に記載の撮像装置。
(9)上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる上記(8)に記載の撮像装置。
(10)上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、上記撮像部による撮像画像データを記録画像として上記記憶部へ記憶させる処理を行う上記(8)又は(9)に記載の撮像装置。
(11)上記制御部は、
上記記録画像の撮像時の撮像方向情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる上記(8)乃至(10)のいずれかに記載の撮像装置。
(12)上記制御部は、
上記記録画像の撮像時における上記撮像部の設定内容を示すカメラ設定情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像部に対して、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う上記(8)乃至(11)のいずれかに記載の撮像装置。
(13)現在位置情報を検出する位置検出部をさらに備え、
上記制御部は、
上記記録画像の撮像時における現在位置情報を含む撮像時情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う上記(7)乃至(11)のいずれかに記載の撮像装置。
【符号の説明】
【0138】
1 DSC、2 表示部、3 表示制御部、4 操作入力部、5 撮像部、6 撮像信号処理部、7 CPU、8 メインメモリ、9 記録部、10 フラッシュメモリ、11 方位検出部、12 位置検出部、21 撮像制御部、22 撮像時情報保存処理部、23 ターゲット画像設定処理部、24 地点誘導処理部、25 撮像視野誘導処理部、100 記憶領域 101 撮像時情報、102 ターゲット情報
【技術分野】
【0001】
本開示はユーザによる撮像の際のガイドを行うための撮像ガイド装置、撮像ガイド装置を搭載した撮像装置、撮像ガイド方法、及び撮像ガイド動作を実現するプログラムに関する。
【先行技術文献】
【特許文献】
【0002】
【特許文献1】特開平9−252454号公報
【背景技術】
【0003】
デジタルスチルカメラ(以下「DSC」という)を用いて静止画や動画の撮像を行うことが一般に行われている。
上記特許文献1には、撮像した画像データに位置情報を埋め込む技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザによる静止画撮像の用途として、同一場所で同一の対象を異なる時点で繰り返し撮像するということがある。例えば植物の成長記録や建築物ができていく様を写真に撮り続ける場合などである。
【0005】
このような場合、同じ被写体を、できるだけ同じような画角、構図で撮りたいということになる。
ユーザは異なる日時に撮像場所に通って、繰り返し撮像するわけであるが、すると、同一の画角、構図による、同じような撮像視野の状態で撮像することが難しいことがある。
上記特許文献1のように、撮像画像データに関連づけて位置情報を記憶するようにしておけば、ユーザを撮像場所に導くことは可能となる。ところが、撮像場所において、画角、構図を過去の撮像画像と合わせることは難しい。
【0006】
そこで本開示では、撮像時に、撮像視野を、以前に撮像したときの状態と同じようになるように、ユーザ(撮像者)にガイドできるようにし、同一の画角、構図の撮像が容易に繰り返して実行できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本開示の撮像ガイド装置は、過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部とを備える。
【0008】
本開示の撮像装置は、被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、記憶部と、レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部とを備える。
【0009】
本開示の撮像ガイド方法は、過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行する撮像ガイド方法である。
本開示のプログラムは、このような撮像ガイド方法を実行する処理を、演算処理装置に実行させるプログラムである。
【0010】
このような本開示では、例えば最初に或る被写体を静止画として撮像記録したときに、その記録画像に関するターゲット情報を記憶する。ターゲット情報とは、記録画像の画像内の或る特徴点などの画像内容の情報と、その表示の際の位置の情報である。ターゲット情報を記憶することで、2回目以降の撮像時に、ターゲット情報に基づいた撮像ガイド動作が可能となる。
例えばユーザが現地で撮像を行おうとして、被写体モニタリング画像(スルー画)を表示部に表示させているときに、被写体モニタリング画像に合わせて上記マーカー表示とターゲット表示を行うことで、前回の撮像視野と同様の撮像視野の状態へユーザを誘導できる。
【発明の効果】
【0011】
本開示によれば、同一の場所で繰り返し同一被写体を撮像するような場合に、同様の画角、構図の静止画撮像ができるように、ユーザを誘導することができる。これによって、画角や構図が同様な静止画撮像を、ユーザに容易に実行させることができるという効果がある。
【図面の簡単な説明】
【0012】
【図1】本開示の実施の形態の撮像装置のブロック図である。
【図2】実施の形態の制御機能を示したブロック図である。
【図3】実施の形態の撮像時情報及びターゲット情報の説明図である。
【図4】実施の形態の初回撮像時のターゲット設定動作の説明図である。
【図5】実施の形態の2回目以降の撮像位置ガイド及び撮像視野誘導表示の説明図である。
【図6】実施の形態の撮像視野誘導表示の説明図である。
【図7】実施の形態の撮像視野誘導表示の説明図である。
【図8】実施の形態の複数のターゲットによる撮像視野誘導表示の説明図である。
【図9】実施の形態のズーム状況に応じた撮像視野誘導表示の説明図である。
【図10】実施の形態の回転角度に応じた撮像視野誘導表示の説明図である。
【図11】実施の形態のターゲット設定の例の説明図である。
【図12】実施の形態のターゲット設定及び撮像視野誘導表示の説明図である。
【図13】実施の形態のターゲット情報取得モードでの撮像記録処理のフローチャートである。
【図14】実施の形態のターゲット画像設定・登録処理のフローチャートである。
【図15】実施の形態のターゲット画像設定・登録処理のフローチャートである。
【図16】実施の形態の誘導撮像モードの撮像記録処理のフローチャートである。
【図17】実施の形態のレリーズ待機時の処理のフローチャートである。
【図18】実施の形態のレリーズトリガ判定のフローチャートである。
【図19】実施の形態のレリーズ待機時の処理の他の例のフローチャートである。
【図20】実施の形態の制御機能の他の例のブロック図である。
【発明を実施するための形態】
【0013】
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.初回撮像(ターゲット情報取得モード)の動作>
<3.2回目以降(誘導撮像モード)の動作>
<4.ターゲット情報取得モードの処理>
<5.誘導撮像モードの処理>
<6.変形例及びプログラム>
なお、実施の形態で使用する用語の意味は次のとおりである。
「撮像」とは、被写体光をイメージセンサで光電変換し、所定の信号処理を行って撮像画像データを得ることをいう。フレーム画像として得られる1枚の撮像画像データを、静止画として記録することを「撮像記録」ということとする。「記録画像」や「画像ファイル」とは、撮像記録動作によって記録された画像のこととする。
「被写体モニタリング画像」(以降は、「スルー画」ともいう)は、いわゆるシャッタ操作(レリーズ)を行う前の待機中に、ユーザに対して表示させる被写体画像のことである。
「撮像視野」は、ここでは実際に静止画として撮し込まれる被写体の範囲をいう。
【0014】
<1.撮像装置の構成>
実施の形態の撮像装置及び撮像ガイド装置の構成を説明する。なお実施の形態としては、撮像ガイド装置を内蔵する撮像装置の例としてデジタルスチルカメラ(DSC)1について説明する。
【0015】
図1はDSC1の内部構成例を概略的に示すブロック図である。
図示するようにDSC1は、表示部2、表示制御部3、操作入力部4、撮像部5、撮像信号処理部6、CPU(Central Processing Unit)7、メインメモリ8、記録部9、フラッシュメモリ10、方位検出部11、位置検出部12、外部インターフェース13、ネットワーク通信部14、システムバス15、音声出力部16を有する。
【0016】
表示部2は、ユーザ(撮像者等)に対して各種表示を行う表示部であり、例えばDSC1の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスにより形成される。またいわゆるビューファインダーとしてLCDや有機ELディスプレイ等で形成されてもよい。
表示制御部3は、このDSC1の全体の制御部であるCPU7の制御に基づいて、表示部2に各種表示を実行させる。例えば撮像記録した静止画や動画を再生表示させたり、レリーズ待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画(被写体モニタリング画像)を各種表示部2に表示させる。また表示制御部3は、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を表示部2に実行させる。
【0017】
操作入力部4は、ユーザーの操作を入力する入力手段として機能し、入力された操作に応じた信号をCPU7等へ送る。
この操作入力部4としては、例えばDSC1の筐体上に設けられた各種操作子や、表示部2に形成されたタッチパネルなどを有する。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)等が設けられる。
またタッチパネルと表示部2に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてよい。
【0018】
撮像部5は、被写体光を受光し電気信号に変換する撮像素子(イメージセンサ)、被写体からの光を撮像素子に集光するためのレンズ系、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、絞り機構などを有している。
撮像部5内のこれらの駆動機構は、全体の制御部であるCPU7からの制御信号に応じて駆動される。
撮像素子は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型などの撮像素子とされる。
【0019】
撮像信号処理部6は、撮像部5の撮像素子で得られた電気信号についてA/D変換、ISOゲイン調整、その他の各種信号処理を行い、撮像画像データを生成する。
さらに撮像信号処理部6は、撮像画像データについて圧縮処理等を行って静止画や動画としての画像ファイルとしたり、撮像画像データを表示部3で表示させるスルー画として表示部3に転送する等の処理を行う。
【0020】
メインメモリ8は、例えばRAM(Random Access Memory)等の揮発性メモリからなり、CPU7の各種データ処理の際の作業領域として、データやプログラム等を一時的に格納する。例えば、シャッターボタンが押されたタイミングで撮像信号処理部で処理された画像データは、一旦メインメモリ8に読み出され、その後、記録部9に書き込まれる。
【0021】
フラッシュメモリ10(不揮発性メモリ)は、CPU7が各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、外部通信、ネットワーク通信等に必要なアプリケーション等を記憶する。
【0022】
記録部9は、例えば不揮発性メモリ等からなり、画像ファイル等のコンテンツファイル、その画像ファイルの属性情報及びサムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部9の実際の形態は多様に考えられる。例えば記録部9は、DSC1に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と、該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。またDSC1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
【0023】
また、実施の形態では後述する撮像時情報やターゲット情報が記憶され、CPU7によって更新管理されたり、撮像時の撮像視野誘導表示の際などに参照されるが、この撮像時情報やターゲット情報は記録部9に記憶されるようにすればよい。
なお、撮像時情報やターゲット情報の記憶にはフラッシュメモリ10が用いられてもよい。
【0024】
方位検出部11は、撮像方向(DSC1の視野方向:被写体方向)を検出する方位センサにより構成される。例えばジャイロセンサ等を用いることができる。方位検出部11は、方位情報を検出してCPU7に通知する。
【0025】
位置検出部12は、DSC1が存在する現在位置としての緯度・経度の情報を取得する。位置検出部12は例えばGPS(Global Positioning System)受信デバイスとして構成される。例えばCPU7が、GPS受信デバイス内のレジスタ若しくはメモリを読むことで緯度・経度情報の取得が可能であり、さまざまな用途で情報を利用できるものとする。
【0026】
外部インターフェース13は、パーソナルコンピュータや外部ストレージ機器等との外部デバイスとの間で各種データ通信を行う。DSC1は、外部インターフェース13による外部機器との通信で、撮像記録した静止画データ等を外部機器に転送したり、各種情報を外部機器から入力することが可能である。
ネットワーク通信部14は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行う。
【0027】
音声出力部16は、CPU7の指示に基づいて、メッセージ音声や電子音によりユーザに音声告知を行う。このため音声信号発生器や、その増幅出力部を備える。
本実施の形態では、例えば各種ガイドのためのメッセージ音声等の出力に用いられるが、それらのガイド出力を表示部2での表示のみで行う場合は、この音声出力部16は必ずしも設けられる必要はない。
【0028】
CPU7は、例えばフラッシュメモリ11等に記憶されたプログラムを実行することで、このDSC1全体を統括的に制御する。
例えばCPU7は、ユーザの操作に応じた撮像動作や撮像記録した画像ファイルの再生動作、さらに外部機器通信やネットワーク通信としての通信動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、CPU7は、後述する撮像視野誘導表示等を行う撮像ガイド装置としての主たる要素となる。
システムバス14は、CPU7などの各ブロックを相互に接続し、それぞれのブロック間での信号の授受を可能とする。
【0029】
このような本実施の形態のDSC1は、CPU7の機能を用いて形成される撮像ガイド装置を内蔵するものとなる。
撮像ガイド装置として機能し、かつ撮像装置たるDSC1の制御部となるCPU7の主な機能構成を図2に示す。
なお、図2はCPU7においてソフトウエアによって形成される機能をブロックとして示していると共に、記憶領域100を示している。記憶領域100とは、記録部9又はフラッシュメモリ10のいずれかの記憶領域で実現される、本開示の請求項でいう記憶部に相当するものである。
【0030】
CPU7には、制御機能として撮像制御部21、撮像時情報保存処理部22、ターゲット画像設定処理部23、地点誘導処理部24、撮像視野誘導処理部25が設けられる。Jこれらの各部は、例えばフラッシュメモリ11等に記憶されたプログラムに基づくCPU7の処理動作によって実現される。
【0031】
撮像制御部21は、CPU7がDSC1の撮像動作、撮像記録動作、表示動作、通信動作等、カメラとしての必要な動作の制御を行う機能として示している。
例えば撮像部5におけるズーム、フォーカスのためのレンズ駆動制御、絞り制御、シャッタースピードの制御、撮像信号処理部でのゲインの制御、圧縮処理の制御、レリーズとしての撮像記録動作の制御、記録画像の再生制御、表示制御部3に対する表示データの供給や表示指示、各種モード制御、通信制御などを行う。撮像制御部21は、ユーザ操作やプログラムに応じて、これらの制御を実行する。
【0032】
撮像時情報保存処理部22は、後述するターゲット情報取得モードでの撮像時に、その撮像記録された記録画像に関連して、当該撮像時の各種情報を検出・生成して、記録領域100に登録する処理を行う。
ターゲット情報取得モードでの撮像記録の際に、その記録画像に関連づけられて、記録領域100に撮像時情報101が登録される。この撮像時情報101の例を図3Aに示している。
【0033】
図示するように、撮像時情報101としては、1つの記録画像(撮像記録動作によって記録された画像ファイル)についての位置情報、方位情報、カメラ設定情報、環境情報などが含まれる。例えばレリーズ動作として、1つの静止画としての画像ファイルPct001を記録部9等に記録した場合、その画像ファイルPct001に関連づけられて、位置情報、方位情報、カメラ設定情報、環境情報などが登録される。
【0034】
位置情報とは、撮像記録を行った場所を示す緯度、経度の情報である。撮像時情報保存処理部22は、レリーズ時に位置検出部12で検出される現在位置情報を、この位置情報として撮像時情報101に含める。なお、位置情報として、地名、地図情報などを含むようにしてもよい。例えばネットワーク通信部14による通信により地名情報や地図情報が取得できたり、或いは記録部9等に地図データベースを有しており、地図データベースから地名情報や地図情報が取得できたりするのであれば、それらを位置情報に含めても良い。
【0035】
方位情報とは、撮像記録時の撮像方向情報である。即ち撮像記録を行ったレリーズ操作時のDSC1の被写体方向(カメラを向けている方向)や撮像時の仰角を示す情報である。撮像時情報保存処理部22は、撮像記録時に方位検出部11で検出される方位情報を撮像時情報101に含める。
【0036】
カメラ設定情報とは、撮像記録の際のカメラ設定の情報である。たとえば露光調整値、ズーム値、焦点距離、シャッタースピード、圧縮エンコード方式などである。これらのカメラ設定は、ユーザ操作等に応じて撮像制御部21が各部に指示するが、撮像記録が行われた際には、撮像時情報保存処理部22は、その時点のカメラ設定情報を、記録画像(画像ファイル)に関連した情報として撮像時情報101に含める。
【0037】
環境情報とは、撮像記録の際の周囲環境の情報である。たとえば撮像時の周辺の明るさを示す周辺輝度の情報であったり、撮像日時の情報などである。周辺輝度は、例えば露光制御の値から推定したり、或いは図1には示していないが、外光センサを設けて測定するなどが考えられる。撮像日時は、CPU7が内部時計を参照すればよい。
撮像記録が行われた際には、撮像時情報保存処理部22は、これらの環境情報を、記録画像(画像ファイル)に関連した情報として撮像時情報101に含める。
【0038】
以上の撮像時情報101が、ターゲット情報取得モードで撮像記録が行われる毎に登録される。
例えば画像ファイルPct001が撮像記録された際には、画像ファイルPct001に対応されて、以上の内容の撮像時情報101が登録され、また画像ファイルPct002が撮像記録された際には、画像ファイルPct002に対応されて、同様の内容の撮像時情報101が登録される。
なお、撮像時情報101としては、上記の位置情報、方位情報、カメラ設定情報、環境情報の全てを含むことが必要なわけではない。後述する誘導撮像モードでの処理に使用しない情報は含めなくても良い。
【0039】
図2に戻って、ターゲット画像設定処理部23は、記録画像において、後述する撮像視野誘導表示を実行する際にターゲット画像として用いる部位を設定して、登録する処理を行う。
このターゲット画像設定処理部23の処理により、ターゲット情報取得モードでの撮像記録の際には、その記録画像に関連づけられて、記録領域100にターゲット情報102が登録される。このターゲット情報102の例を図3Bに示している。
図示するように、ターゲット情報102としては、1つの記録画像(撮像記録動作によって記録された画像ファイル)に対応したターゲット画像データと、表示位置情報を含む。
例えばレリーズ動作として、1つの静止画としての画像ファイルPct001を記録部9等に記録した場合、その画像ファイルPct001に関連づけられて、ターゲット画像データと、表示位置情報が登録される。
【0040】
ターゲット画像データとは、例えば画像ファイルPct001としての記録画像の画像の一部である。例えば特徴点として画像内で比較的特徴がある部分を抽出することが考えられる。
登録されるターゲット画像データGRとしては、一部の画像データそのものでもよいし、その一部の画像データの符号化データなどでもよい。いずれにしても、画像解析の際に、画像内容自体が判定できる情報であればよい。
表示位置情報とは、当該画像ファイルPct001の記録画像を、表示部2に表示させた際に、ターゲット画像が表示上で表れる位置情報である。例えば表示部2の画素の列、行のx,y座標値(xg,yg)としての情報などとする。
【0041】
以上のターゲット情報102が、ターゲット情報取得モードで撮像記録が行われる毎に登録される。
例えば画像ファイルPct001が撮像記録された際には、画像ファイルPct001に対応されて、以上の内容のターゲット情報102が登録され、また画像ファイルPct002が撮像記録された際には、画像ファイルPct002に対応されて、同様の内容のターゲット情報102が登録される。
【0042】
続いて図2の地点誘導処理部24は、後述する誘導撮像モードの際に、上記の位置情報に基づいて、撮像位置をユーザに提示する位置ガイド出力を実行させる制御を行う。例えば表示部2での表示や、音声出力部16でのメッセージ音声などで、過去の撮像場所をユーザに告知・案内する。
【0043】
撮像視野誘導処理部25は、誘導撮像モードの際に、ユーザに撮像視野のガイドのための表示制御等を行う。後述するが誘導撮像モードでは、現在の撮像画像データとして入力されるスルー画(被写体モニタリング画像)を表示させながら、上記の表示位置情報に基づく位置マーカー表示を実行させる。さらに、スルー画におけるターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示を実行させる。このようなガイド表示のため、撮像視野誘導処理部25は、スルー画となる撮像画像データの解析処理(ターゲット画像に相当する画像の検出処理)や、表示制御を行う。
【0044】
CPU7では、以上のような機能を備え、これによって以下説明していく各種動作がDSC1において実行されるように、各時点で必要な制御を行う。
なお図3では、撮像時情報101、ターゲット情報102が、それぞれが独立して画像ファイルに対応づけられて記憶されるような形式で示しているが、これは説明上の例に過ぎない。例えば撮像時情報101とターゲット情報102が、共通のデータ構造として画像ファイルに関連づけられてもよい。
即ち1つの画像ファイルに関連して撮像時情報101として示した内容とターゲット情報102として示した内容が記憶されるのであれば、その記憶形式、データ構造、記憶領域の設定等については全く問われない。
【0045】
<2.初回撮像(ターゲット情報取得モード)の動作>
本例では、DSC1では、ターゲット情報取得モードとしての動作と、誘導撮像モードとしての動作が行われる。
これは、同一場所での同一の対象に対する撮像を、ユーザが容易に繰り返して実行できるようにするための動作である。
例えば毎週日曜日に、或る建築現場に行って、建造物の建築過程を撮像記録したり、或る場所で植物の成長記録としての撮像記録を行う場合などの用途に適している。
【0046】
概略的にいうと、まず初回の撮像記録は、ターゲット情報取得モードとして実行する。ターゲット情報取得モードでは、ユーザが撮像記録したときに静止画データだけでなく、上記の撮像時情報やターゲット情報を取得しておき、画像ファイルに関連づけて図3のように登録する。
2回目以降の撮像時は、撮像誘導モードとする。撮像誘導モードでは、DSC1はユーザに対して、現場の案内、撮像する方位の案内、撮像視野の案内などを行う。これによってユーザが、前回と同じような撮像視野の静止画撮像を容易に実行できるようにする。
【0047】
まずターゲット情報取得モードの動作を図4で説明する。
図4Aは、ユーザが或る場所で被写体を決め、レリーズ操作(シャッタボタン操作)を行ったことで撮像記録された記録画像の例としている。ここではレリーズ操作の瞬間に表示部2に表示されている被写体画像として示している。
【0048】
この場合にCPU7は、当該被写体の撮像画像を、1枚の静止画の記録画像(例えば画像ファイルPct001)として記録部9又はフラッシュメモリ10に記録する処理を行うが、このときに、図2で述べた撮像時情報保存処理部22及びターゲット画像設定処理部23の機能により、画像ファイルPct001に関連づけて、上述の撮像時情報101とターゲット情報102の登録を行う。
撮像時情報101としては、上述のように、その撮像記録時点の位置情報、方位情報、カメラ設定情報、環境情報を登録する。
【0049】
ターゲット情報102について図4B、図4Cで説明する。
CPU7は、当該記録画像のうちで、或る部分を抽出し、ターゲット画像データGRを設定する。この図4Bの例では、家屋のひさしの部分をターゲット画像データGRとして設定した例を示している。
ターゲット画像データGRは、例えば図示のように破線で囲った部分の画素の画像データ(イメージデータ)そのものとする。或いは当該画像データを符号化したものでもよい。
後述するが、記録画像のうち、どの部分をターゲット画像データGRとするかの選定方式は多様に考えられる。CPU7が自動設定してもよいし、ユーザが指定できるようにしてもよい。
【0050】
ターゲット画像データGRとともに、表示位置情報(xg,yg)も登録する。上述のように表示位置情報とは、記録画像を表示部2で表示した際の、その表示上でのターゲット画像の位置を示すものである。図示のように例えばターゲット画像の中心点が、nライン×mドットの表示画面2次元平面上で、どの位置にあるかを示す情報とすれば良い。
なお、ターゲット画像とする領域のサイズは固定でも良いし、可変サイズでもよい。また、ここでは正方形の領域をターゲット画像としているが、多角形領域、不定領域、円形領域、楕円形領域などでもよい。図示の例では、表示位置情報は、正方形の領域の中心位置の座標値としたが、もちろん表示位置情報は、ターゲット画像の領域形状が異なる場合や、可変サイズの場合などに応じて、その領域範囲がわかるような情報とすればよい。
例えば正方形領域や円形領域の場合であって可変サイズの場合は、中心座標に加えて、中心から頂点までの距離や半径を表示位置情報に含ませれば良い。多角形領域の場合は、各頂点位置の座標を含めるようにすればよい。
少なくとも表示位置情報は、後述する位置マーカーPMの表示が可能となる情報内容が含まれていれば良い。
【0051】
ターゲット画像の設定は、記録画像内の1つの領域でなくてもよい。図4Bでは、破線で囲った2つの領域をターゲット画像GR1,GR2とし、またその表示位置情報(xg1,yg1)(xg2,yg2)を登録する例を示している。
複数のターゲット画像を設定した場合は、図3には示していないが、1つの画像ファイル(例えばPct001)に対応して、各ターゲット画像GR1,GR2と、それぞれの表示位置情報(xg1,yg1)(xg2,yg2)を登録すれば良いことは言うまでもない。
【0052】
このように初回の撮像記録時には、撮像された画像ファイルに関連づけて、撮像時情報101とターゲット情報102を登録する。
以上がターゲット情報取得モードでの撮像動作となる。つまり、ターゲット情報取得モードの動作は、ユーザの行動を含めて以下のように行われる。
1:ユーザが撮像現場に赴き、被写体をきめてレリーズ操作を行う。
2:DSC1は、レリーズ操作に応じて静止画記録を行う。
3:DSC1は、記録時情報を生成し、記録画像に対応させて登録する。
4:DSC1は、記録画像中でターゲット画像を設定し、ターゲット情報の生成及び記録画像に対応させた登録を行う。
【0053】
<3.2回目以降(誘導撮像モード)の動作>
上記ターゲット情報取得モードで過去に撮像記録した記録画像(画像ファイル)と同じ被写体を同様に撮像したい場合、誘導撮像モードでの撮像を行う。
まず図5〜図7で、誘導撮像モードの動作を説明する。
【0054】
ユーザが、過去に撮像記録した画像ファイルPct001を選択してターゲット情報取得モードを実行する場合で述べる。
図5Aは、表示部2において、撮像位置を提示する位置ガイド出力を実行している状態を示している。
ユーザが過去の画像ファイルPct001を選択することで、CPU7は、その画像ファイルPct001に関連づけられている撮像時情報101、ターゲット情報102を確認できる。
【0055】
図5Aの位置ガイドの表示としては、例えば選択された画像ファイルPct001について、撮像場所の地名等を提示する表示となっている。CPU7は、図2に示した地点誘導処理部24の機能として、位置ガイド表示を実行する。
撮像場所の提示内容は多様に考えられる。例えば緯度・経度の情報のみでもよいし、地名、現地住所等を表示させてもよい。さらには、地図表示を実行して、地図上で撮像場所を示すような表示でもよい。
さらには、CPU7は現在位置を位置検出部12から把握できるため、現在位置から撮像場所までの経路、交通機関の路線情報などを表示させたり、ナビゲーションシステムのような表示を行うことも考えられる。
例えば記録部9やフラッシュメモリ10等に地図データベースを備えていれば、CPU7は地図表示や経路表示なども可能となる。また、地図データベースを備えていなくとも、ネットワーク通信部14からのネットワーク通信により、インターネットサーバ、外部ウェブサイトなどから、地図等の情報を入手すること可能である。
【0056】
このような位置ガイド表示は、ユーザ(DSC1自体)が画像ファイルPct001の過去の撮像場所に到達するまでの間に実行する。
なお、ここでは表示によって撮像位置ガイドを行っているが、音声出力部16によるガイド音声として、撮像現場をユーザに知らせるガイド出力を行っても良い。
【0057】
現地に到着した後は、続いてDSC1(CPU7)は、図2で述べた撮像視野誘導処理部25の機能により、ユーザに対して撮像視野誘導表示を実行する。
まずCPU7は方位ガイドを行う。例えばユーザはスルー画を見ながら被写体方向を確認するが、CPU7は撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角を判定して、一致した状態となっているかを確認する。一致していなければ、例えば図5Bのように表示部2に表示しているスルー画上で、方位や仰角を案内する視野方向ガイド表示HGを実行させる。
ユーザは、例えば手に持っていたり、或いは三脚に載置しているDSC1について、この視野方向ガイド表示HGに従って、被写体方向を調整する。これにより、以前に撮像した画像ファイルPct001のときと同様の撮像方向、仰角の被写体方向を得ることができる。
視野方向ガイド表示HGは、撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角が一致(又は略一致)した状態となった時点で終了させればよい。
【0058】
なお図5Cは、視野方向ガイド表示HGの他の例であり、例えば「北北東に向いて下さい」等のメッセージ表示として、前回の撮像記録時の撮像方向を提示する例である。図示しないが、「被写体方向は右側です」「カメラを左に向けて下さい」「少し上方に向けて下さい」等のメッセージ表示なども考えられる。
またこの例では表示によって方向ガイドを行っているが、音声出力部16によるガイド音声として、被写体方向をユーザに知らせるガイド出力を行っても良い。
【0059】
また図5B、図5Cでは位置マーカーPMを表示している例を示しているが、これについては次に述べる。
位置マーカーPMの表示は、現地到着とともに図5B、図5Cのように表示させてもよいが、視野方向ガイド表示HGを終了してから、つまり方位がほぼ合致した後に、位置マーカーPMの表示を開始するようにしてもよい。
【0060】
上記の視野方向ガイド表示HGに加えて、撮像視野誘導表示としては、図6に示すような位置マーカー表示とターゲット表示を行う。
図6Aは位置マーカーPMを説明するための図である。位置マーカーPMは、画像ファイルPct001に対応づけられたターゲット情報102における表示位置情報に基づいて、表示部2上に表示される。
即ち先の図4Bのようにターゲット画像が設定された場合に、そのターゲット画像の表示部2上における位置が、位置マーカーPMとして表示される。即ち表示位置情報(xg,yg)により基づいて特定される領域を示すように、図6Aのように位置マーカーPMが表示される。
【0061】
実際には、DSC1ではレリーズタイミングを待ってスルー画を表示部2に表示させている状態であるので、位置マーカーPMの表示は、図6Bのように、その時点のスルー画に重畳されて表示される。
【0062】
この位置マーカーPMに加えて、図6Bに斜線部として示すようにターゲット表示PTが表示される。
ターゲット表示PTは、登録されたターゲット画像データに該当する画像がスルー画(つまり現在撮像している撮像画像データ)に表れた場合に表示される。
このためCPU7、現在順次撮像されている各フレームの撮像画像データについて画像解析を行い、ターゲット画像データに該当する画像が存在するか否かを判別している。そして該当画像を検出したら、図6Bのようにターゲット表示PTを行う。
【0063】
表示部2のスルー画上で、この撮像視野誘導表示を見ているユーザは、ターゲット表示PTが位置マーカーPMに一致するように、DSC1の被写体方向を調整する。
なお、このことをユーザが理解しやすいように、図6Cのようにガイド表示MGを表示させてもよい。
【0064】
図7Aは、ユーザが、図6Aの状態から視野方向を変化させている過程を示している。そして図7Bでは、ターゲット表示PTが位置マーカーPMに一致するように被写体方向が調整された状態を示している。
この状態では、過去に撮像した画像ファイルPct001の撮像記録時と同様の撮像視野となっている。
この状態において、ユーザのレリーズ操作、もしくはCPU7の自動レリーズ制御によって撮像記録が行われることで、画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxが得られることとなる。
【0065】
以上が撮像誘導モードでの撮像動作となる。つまり、撮像誘導モードの動作は、ユーザの行動を含めて以下のように行われる。
1:ユーザが過去にターゲット情報取得モードで撮像した画像ファイルを選択する。
2:DSC1は、選択された画像ファイルについて、撮像位置のガイドを行う。ユーザは、撮像現場に移動する。なお、撮像位置のガイドは必ずしも行われなくても良い。ユーザにとってガイド不要のことも多いからである。
3:DSC1は現地において撮像視野誘導表示(視野方向ガイド表示HG、位置マーカーPMの表示、ターゲット表示PT等)を実行する。
4:DSC1は、レリーズ操作又は自動制御に応じて静止画記録を行う。
【0066】
このような撮像動作により、前回の撮像記録した画像ファイルと、今回の撮像記録に係る画像ファイルとで、精度良く、同一又は略同一の撮像視野の状態とし、ユーザにとっては、同一被写体を容易に同じ画角状態で、異なる時点で撮像記録できることとなる。
また、ユーザにとっては視野合わせは、ファインダーや筐体上の表示部2の位置マーカーPMの合わせこみという理解しやすい動作で実現できる。
【0067】
ところで、図4Cに示したように、複数のターゲット画像GR1,GR2が登録された場合の撮像視野誘導表示は、図8のようになる。
図8Aでは、登録された2つのターゲット画像の表示位置情報に基づいて、位置マーカーPM1,PM2が表示され、またそれぞれのターゲット画像がスルー画内に表れることに応じて、ターゲット表示PT1,PT2が表示される。この図8Aでは、図6Cで説明したガイド表示MGも行われる例としている。
【0068】
ユーザは、マーカーPM1,PM2が、それぞれターゲット表示PT1,PT2と一致するように被写体方向を調整すればよい。
図8Bは被写体方向を調整している過程のスルー画を示している。また図8CはマーカーPM1,PM2が、それぞれターゲット表示PT1,PT2と一致した状態を示している。
この状態では、過去に撮像した画像ファイルPct001の撮像記録時と同様の撮像視野となっているため、この状態でユーザのレリーズ操作、もしくはCPU7の自動レリーズ制御によって撮像記録が行われることで、画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxが得られる。
【0069】
また、撮像視野誘導表示が行われる際には、ズーム状態が、前回の画像ファイルPct001の撮像記録時と同様とは限らない。ズーム状態が異なって画角が異なれば、撮像方向や仰角が一致していても、同一又は略同一の撮像視野とはならない。
そこで、ユーザにはズーム状態の差も認識できるような撮像視野誘導表示を実行することが好ましい。このために図9のような撮像視野誘導表示を行うと良い。
【0070】
図9Aは、現在の状態が、前回の画像ファイルPct001の撮像記録時よりズーム状態がワイド側になっている場合であり、図9Bはテレ側に成っている状態の例を示している。
この場合、マーカーPMは、前回の画像ファイルPct001のターゲット画像データGRの領域であるため、あくまでも表示位置情報に基づく領域を示すことになる。その一方で、ターゲット表示PTは、図示のようにターゲット画像データGRに該当する画像の領域を示すようにしている。
このため図9Aでは、ターゲット表示PTで示される領域サイズは、位置マーカーPMの領域サイズより小さくなっており、一方図9Bでは、ターゲット表示PTで示される領域サイズは、位置マーカーPMの領域サイズより大きくなっている。
【0071】
ユーザは、このターゲット表示PTと位置マーカーPMのサイズの違いを、ズーム状態の違いとして認識できる。
従ってユーザは、図9Cに示すように、ターゲット表示PTのサイズが位置マーカーPMのサイズとほぼ同サイズとなるように、ズーム操作を行えば良い。そして図7Bに示したように、ターゲット表示PTの位置と、位置マーカーPMの位置を一致させる。
この状態でレリーズ処理が行われることで、ズーム状態も調整されて、前回と同一又は略同一の撮像視野の新たな画像ファイルPctxxxを得ることができる。
【0072】
また、撮像視野誘導表示が行われる際には、DSC1の姿勢による回転状態が、前回の画像ファイルPct001の撮像記録時と同様とは限らない。回転状態が異なっていると同一又は略同一の撮像視野とはなりにくい。
そこで、ユーザには回転状態の差も認識できるような撮像視野誘導表示を実行することが好ましい。
ここまでターゲット画像を、正方形の領域として設定する例を示してきたが、このようにすると、撮像視野誘導表示の際にユーザが回転状態のずれを認識できる。
【0073】
図10Aは、現在の状態が、前回の画像ファイルPct001の撮像記録時と比べて回転状態が異なっている場合を示している。
位置マーカーPM及びターゲット表示PTが正方形となっている。そしてマーカーPMは、前回の画像ファイルPct001のターゲット画像データGRの領域であるため、あくまでも表示位置情報に基づく領域を示し、一方で、ターゲット表示PTは、ターゲット画像データGRに該当する画像の領域を示す。このため回転状態がずれていると、図示のように傾いた正方形の領域としてのターゲット表示PTが為されることとなる。
【0074】
ユーザは、このターゲット表示PTが、位置マーカーPMと同様に傾かないように回転状態を調整する。つまりDSC1の持ち方を調整したり、三脚の傾きをなおしたりする。これによって図10Bのようにターゲット表示PTの傾きが修正されるようにし、そして図10Cのようにターゲット表示PTの位置と、位置マーカーPMの位置を一致させる。
この状態でレリーズ処理が行われることで、回転状態も調整されて、前回と同一又は略同一の撮像視野の新たbな画ファイルPctxxxを得ることができる。
【0075】
なお、このような回転状態のずれをユーザが認識できるようにするには、ターゲット画像データGRを、正方形の領域、長方形の領域、三角形の領域、楕円形の領域、不規則形状の領域などとして、傾いた状態がわかる領域形状とすればよいこととなる。
円形領域とするのは、回転状態の認識という観点からすれば、あまり適切ではない。
【0076】
続いてターゲット画像データGRの設定及び撮像視野誘導表示の他の例について述べておく。
図11は、例えばターゲット画像データを、記録画像内のより大きな領域で設定した例である。例えば画像ファイルPct001に撮された家屋の輪郭線の領域に沿ってターゲット画像を抽出し、家屋の部分の全体をターゲット画像データGRと設定した場合である。
この場合に、撮像視野誘導表示における位置マーカーPMは、図11Aのように、家屋の輪郭線の領域を表示するものとなる。
またターゲット表示PTとしては、スルー画において家屋の画像が認識された時点で、例えば図11Bのように、家屋の部分として示される。
図11Cは、ユーザが、このような位置マーカーPMとターゲット表示PTを一致させた状態である。
【0077】
例えばこのように、被写体の形状に応じて抽出範囲を決めてターゲット画像データGRを設定することも可能である。
さらに図示しないが、前回の画像ファイルPct001の全体をターゲット画像データGRとし、撮像視野誘導表示の際に、位置マーカーPMとして、その前回の画像ファイルPct001の画像を薄く表示させるようなことも考えられる。
【0078】
次に図12は、ターゲット画像データと撮像視野誘導表示の関係の例を説明する図である。ターゲット画像データを複数設定した場合に、必ずしも全てのターゲット画像データに対応した撮像視野誘導表示を行う必要はない。
例えば図12Aは、ターゲット情報取得モードでの最初の撮像記録に係る記録画像例を示している。図示のように、花のつぼみの部分と、植木鉢の部分で2つのターゲット画像データGR1、GR2を設定したとする。
【0079】
その後の撮像誘導モードの際には、撮像視野誘導表示を行うわけであるが、図12に示すように、つぼみが開花してしまっていたとする。すると、先に設定したつぼみの部分のターゲット画像データGR1に相当する画像は、現在のスルー画からは検出されない。
このように、時間をおいて撮像を行う場合、必ずしも被写体のターゲット画像とした部分の状況が同一とは限らない。そしてこの場合に、常に全部の位置マーカーPMを表示することは、ユーザにわかりにくさを与える。
【0080】
そこで、位置マーカーPMの表示は、スルー画においてターゲット画像に相当する画像が検出された時点から実行するようにすると良い。
例えば図12Bでは、植木鉢の部分がスルー画において検出されたことで、植木鉢の部分についてターゲット表示PT2を行うとともに、位置マーカーPM2を表示する。
一方、つぼみの部分は検出されていないので、つぼみの部分に対応する位置マーカーは表示しないままとする。
このようにするとユーザは、表示されているターゲット表示PT2と位置マーカーPM2を合わせるように撮像視野を調整すればよく、操作がわかりにくくなることはない。
なお、今回、つぼみの部分が検出されなかったことに応じて、ターゲット画像データGR1の登録を抹消することも考えられる。
【0081】
<4.ターゲット情報取得モードの処理>
以上の説明してきた動作を実現するためのCPU7の処理例について、以下説明する。
まずここでは初回のターゲット情報取得モードでの処理例を図13〜図15に示す。図13はターゲット情報取得モードとして撮像が行われる場合のCPU7の処理例である。CPU7は、図2の撮像制御部21,撮像時情報保存処理部22、ターゲット画像設定処理部23の機能により、図13(及び図14又は図15)の処理を実行する。
【0082】
なおユーザは、今後繰り返しの撮像記録を行おうとする場合は、初回撮像時にメニュー操作等によりターゲット情報取得モードを選択する。これによりCPU7は図13の処理を実行することとなる。
【0083】
図13の処理としてステップF101でCPU7はレリーズ待機時の処理を行う。ここでのレリーズ待機時とは、ユーザがDSC1の表示部2のスルー画を見ながら、被写体の選定、ズーム状態の調整などを行っているレリーズ前の期間をいう。
この場合CPU7は、撮像部5で撮像され撮像信号処理部6の処理で得られる撮像画像データについて、表示部2でスルー画表示を実行させる制御を行う。またCPU7はオートフォーカス、自動露光調整などの自動制御も行う。さらにCPU7は、ユーザのズーム操作、露光調整操作などの操作に応じた制御を行う。
【0084】
ユーザは、被写体やズーム角などを決め、またシャッタータイミングに至ったと考えた場合に、レリーズ操作を行う。これに応じてCPU7はステップF102からF103に進み、撮像記録処理を行う。即ちレリーズ操作タイミングで撮像された撮像画像データを記録部9又はフラッシュメモリ10に記録させ、1枚の静止画(例えば画像ファイルPct001)とする。
【0085】
さらにCPU7は、ステップF104で撮像時情報101を登録する処理を行う。このためCPU7は、位置検出部12の情報を確認し、現在の緯度・経度の情報を得て位置情報とする。上述のようにDSC内部又は外部のデータベース等を用いて、現在地の地名、住所などの情報を取得してもよい。
またCPU7は、レリーズ時点の撮像方向、仰角の情報を方位検出部11から取得し、方位情報とする。
またCPU7はレリーズ時のズーム値、焦点距離、シャッタースピード、露光制御値を用いてカメラ設定情報とする。
またCPU7は、周辺輝度を検出し、また内部時計から日時情報を取得して環境情報を生成する。
そしてCPU7は、これらの情報を含めて撮像時情報101とし、図3に示したように画像ファイルPct001に対応させて記憶領域100(記録部9又はフラッシュメモリ10内)に登録する。
【0086】
続いてCPU7はステップF105で、ターゲット画像の設定及びターゲット情報の登録処理を行う。即ち記録した画像ファイルPct001からターゲット画像を選定して、その画像情報及び表示位置情報を含むターゲット情報102を、画像ファイルPct001に関連づけて登録する。
【0087】
このステップF105でのターゲット画像設定・登録処理としては多様な例が考えられる。ここでは図14,図15で2つの例を述べておく。
図14はCPU7が自動的にターゲット画像の選定を行う例であり、図15は、ユーザの選択操作を伴ってターゲット画像の選定を行う例である。
【0088】
まず図14の処理例では、CPU7はステップF151でターゲット画像の候補抽出を行う。ターゲット画像は撮像記録した記録画像(例えば画像ファイルPct001)の一部の領域の画像とする。このためCPU7は、画像ファイルPct001からいくつかの領域を抽出してターゲット画像の候補とする。抽出する領域は、例えば予め固定的に設定した複数の画素領域でもよいし、画像ファイルPct001の画像解析処理で、特徴的な画像部分を抽出するものでもよい。特徴的な画像部分とは、例えば後の誘導撮像モードの際にスルー画から検出しやすい画像部分や、被写体に応じた特徴部分などである。
例えば被写体の輪郭線を含んだ部分、色の変化が大きい部分、フォーカスが合わされた部分などである。
【0089】
例えばこのような画像領域として多数の候補を記録画像から抽出したら、CPU7はステップF152で優先条件により絞り込みを行う。
例えば物体種別認識が可能であれば、動かない部分(非生物)、画面内の下方の部分、予め登録された特定物などを優先するなどの設定がある場合、候補の中から該当するものを選定する。非生物を優先するのは、時間を経た撮像時でも、同様に画像検出できる可能性が高いためである。例えば図12で述べた植木鉢部分を、生物である花(つぼみ)よりも優先するということとなる。下方の部分を優先するのは、撮像対象にもよるが、建造物などは地面に近い部分の変化が少ないと推定されることによる。
【0090】
もちろん優先条件は、多様に考えられ、被写体種別に応じて優先条件が選ばれたり、ユーザが優先条件を設定しておくなども考えられる。
またユーザ設定、或いは固定値として、ターゲット設定数を決めておき、ステップF152での絞り込みの際には、最終的にターゲット設定数以下の候補に絞られるようにしてもよい。
【0091】
ステップF152での絞り込みの結果に応じて、CPU7はステップF153で1又は複数のターゲット画像を決定する。即ち選定された画像部分を、ターゲット画像データGRとする。
続いてCPU7はステップF154で、ターゲット画像データGRの表示位置を算出する。例えば表示位置座標(xg,yg)を求める。
CPU7は以上のようにターゲット画像データGR及び表示位置情報を設定したら、ステップF155で、それらをターゲット情報102として、画像ファイルPct001に関連づけて記憶領域100に登録する。
【0092】
以上のようにCPU7の自動処理として1又は複数のターゲット画像設定・登録処理を行うようにすることができる。この場合、ユーザの設定操作の手間を無くすことができる。
なお、ステップF151で候補を抽出する際の、ターゲット画像データGRとする領域の形状は、正方形領域等の固定でもよいし、各種形状をユーザが指定できるようにしてもよい。或いはCPU7が画像内容に応じて各種形状を選択又は生成してもよい。
またそもそも優先条件に従って候補抽出が可能であればステップF152の絞り込みは不要とすることもできる。
【0093】
次に同じくターゲット画像設定・登録処理として図15の処理例を説明する。
ステップF161でCPU7は、ターゲット画像の候補抽出を行う。即ち撮像記録した記録画像(画像ファイルPct001)の一部の領域の画像を候補として抽出する。
ステップF162では抽出した候補部分を表示部2で表示させてユーザに提示する。例えば画像ファイルPct001の再生画像を表示させた上に、ターゲット画像となる領域の候補を、枠線、色分け、強調表示などでユーザに認識できるようにすれば良い。
当該表示を行った上で、CPU7はステップF163でユーザの指定操作を待機する。
【0094】
ユーザは、例えば表示部3の表示上でのタッチパネル操作、或いは操作キーを用いたカーソル操作などで、提示された候補のうちから、ターゲット画像としたい候補画像を指定する入力を行う。
ユーザが1つの候補画像を指定した場合、CPU7はステップF164に進み、当該指定された候補をターゲット画像データGRに選定する。そしてステップF165でターゲット画像データGRの表示位置を算出する。
【0095】
ユーザが指定入力が完了していなければ、CPU7は再びステップF162で候補画像表示を行い、次の指定入力を待機する。ユーザが指定入力を行った場合は、同様にステップF164,F165でターゲット画像データGRの決定及び表示位置情報の算出を行う。
【0096】
ユーザが1又は複数の指定入力を行った後に指定完了の操作を行った場合は、CPU7はステップF167でターゲット情報登録処理を行う。即ちステップF164,F165で設定された1又は複数の指定入力に係るターゲット画像データGR及び表示位置情報をターゲット情報102として、画像ファイルPct001に関連づけて記憶領域100に登録する。
【0097】
以上のようにCPU7は、ユーザ入力に基づいてターゲット画像データGRを選定してターゲット画像設定・登録処理を行うようにすることができる。この場合、ユーザの指定する画像であることで、ユーザが、記録画像の中で時間を経ても動かない部分を選ぶなどすることで、ターゲット画像として適切な画像部分が選ばれ、後の誘導撮像モードに適切なターゲット画像とする確率を高めることができる。
【0098】
なお、ステップF161で候補を抽出することとしたが、単に記録画像の再生表示を行う状態で、ユーザの指定入力を待機してもよい。即ちユーザが、表示された画像内で全く任意にターゲット画像とする部分をタッチパネル操作で指定するなどである。その場合、指定された位置の表示上の座標を中心として特定のサイズの枠(例えば正方形の領域等)に含まれる画像データを抽出して、ターゲット画像データGRとすることなどが考えられる。
もちろん、ターゲット画像データGRとする領域の形状をユーザが指定できるようにしてもよい。
【0099】
以上の図14,図15の例のようなターゲット画像設定・登録処理が、図13のステップF105で行われる。
CPU7が以上の処理を行うことで、ターゲット情報取得モードでの撮像記録動作が行われることになる。
【0100】
<5.誘導撮像モードの処理>
続いて2回目以降の撮像記録として行う誘導撮像モードでの処理を図16〜図18で説明する。図16は誘導撮像モードとして撮像が行われる場合のCPU7の処理例である。CPU7は、図2の撮像制御部21,地点誘導処理部24、撮像視野誘導処理部25の機能により、図16(及び図17、図18)の処理を実行する。
【0101】
ユーザは、過去に上述のターゲット情報取得モードで撮像記録した画像ファイルPct001と同様の撮像視野で同じ被写体の撮像を行いたい場合、メニュー操作等により誘導撮像モードを選択する。これによりCPU7は図16の処理を実行することとなる。
【0102】
誘導撮像モードにおいては、まずCPU7はステップF201で、画像選択、及び選択された画像ファイルについての撮像時情報101、ターゲット情報102の読み込みを行う。
例えばCPU7は、これまで撮像記録された画像ファイルのうち、記憶領域100に撮像時情報101、ターゲット情報102が関連づけられている画像ファイルを抽出し、例えばサムネイル画像として表示部2で一覧表示させたり、順次表示させたりして、ユーザに選択を促す。
これに対してユーザが、或る画像ファイル(例えば画像ファイルPct001)を選択する操作入力を行ったら、CPU7は当該選択された画像ファイルPct001に関連づけられている撮像時情報101、ターゲット情報102を記憶領域100から読み出す。
【0103】
このステップF201を終えたら、まず最初にステップF202でCPU7は現地ガイド表示制御を行う。
この現地ガイド表示制御は、ステップF203で現在位置が、撮像時情報101における位置情報と一致するまでの期間(つまり現場到着までの期間)に行われる。例えばCPU7は、図5Aのような現地ガイドの表示を表示部2に実行させる。先に述べたように、地図表示やナビゲーション表示、路線表示などを行っても良い。
CPU7は、位置検出部12で検出される現在位置情報と、撮像時情報101として記憶されていた位置情報をステップF203で比較しながら、一致するまで現地ガイド表示を実行することになる。ナビゲーション表示の場合は、位置検出部12で検出される現在位置に応じて、表示内容を変えていけばよい。
【0104】
なお、ユーザによっては、或いは事情によっては必ずしも現地ガイド表示は必要ではない場合もある。このため現地ガイド表示の実行/不実行をユーザが選択できるようにしてもよい。
また、ユーザは、現地に到着するまでDSC1の電源をオフとしたままであることも考えられる。現地で電源オンとし、誘導撮像モードを指示した場合、現地ガイド表示はあまり意味がない。このためステップF201の処理が終わった時点で、既に現在位置が撮像時情報101の位置情報と一致していれば、ステップF202を実行せずにステップF204に進むようにしてもよい。
但し、GPS等の位置検出部12の位置検出精度にもよるが、現地で電源オンとしたとしても、撮像位置を精細に指示するという意味で、現地ガイド表示は有用である。例えば1m〜数m単位で位置検出が可能であれば、正確にユーザを前回の撮像位置(レリーズ時のユーザの立ち位置や三脚位置)に誘導できる。
【0105】
現在位置が撮像時情報101の位置情報に一致したら、CPU7は処理をステップF204に進め、レリーズ待機時処理を行う。
上記図13のステップF101でも述べたが、レリーズ待機時とは、ユーザがDSC1の表示部2のスルー画を見ながら、被写体の選定、ズーム状態の調整などを行っているレリーズ前の期間である。この場合CPU7は、撮像部5で撮像され撮像信号処理部6の処理で得られる撮像画像データについて、表示部2でスルー画表示を実行させる制御を行う。またCPU7はオートフォーカス、自動露光調整などの自動制御も行う。さらにCPU7は、ユーザのズーム操作、露光調整操作などの操作に応じた制御を行う。
誘導撮像モードの場合は、CPU7は、このレリーズ待機時において、スルー画表示に重畳して撮像視野誘導表示(視野方向ガイド表示HG、位置マーカーPM、ターゲット表示PT等)を実行させることになる。
このステップF204の処理は、ステップF205でレリーズトリガがあったと判断するまで継続される。
【0106】
ステップF204の処理例を図17に示す。
まずCPU7はステップF220で、表示部2でのスルー画及び位置マーカーPMの表示を開始させる。
【0107】
そしてCPU7は、ステップF221,F224,F227の判定に応じて処理を行う。
ステップF221ではCPU7は、撮像時情報101に登録された方位情報と、方位検出部11で検出される現在の撮像方位、仰角を判定して、一致した状態となっているかを確認する。そして一致していなければ、ステップF223で図5B、図5Cで説明したような視野方向ガイド表示HGを実行させる。
また一致していれば、ステップF222で視野方向ガイド表示HGを非表示状態とする。つまりその時点で表示していれば表示終了させ、その時点で表示していなければ非表示を継続する。
【0108】
ステップF224では、CPU7は、スルー画とされる撮像画像データの各フレームの解析結果として、ターゲット画像データGRに相当する(相当すると推定される)画像が検出されたか否かを判定する。
CPU7は、現在順次撮像されている各フレームの撮像画像データについて画像解析を行い、ターゲット画像データGRに該当する画像が存在するか否かを判別している。この場合、各フレームの撮像画像データの各フレーム(画像解析処理能力に応じて間欠的なフレームでもよい)において、ターゲット画像データGRとの画像マッチング、パターン認識等を行って、該当画像を検出する。但し、ズーム状態により画サイズが異なることや回転状態が異なることもあるため、サイズ違いや回転ずれを想定した検出アルゴリズムで検出処理を行うことが適切である。
【0109】
ステップF224でターゲット画像検出と判断したら、CPU7はステップF225に進み、図6〜図12で説明したようなターゲット表示PTを表示させる制御を行う。ターゲット画像が検出されるまでの期間、及び一旦検出された後、また検出されなくなった場合は、CPU7はステップF226に進み、ターゲット表示PTを非表示の状態とする。
【0110】
ステップF227ではCPU7は、ユーザの操作(レリーズ操作以外)を監視する。ユーザがズーム操作、フォーカス操作、露光調整操作等の手動操作を行ったことを検知したら、ステップF228に進み、操作に対応した動作を実行制御する。例えばズームレンズ駆動制御、露光制御(絞り、シャッタースピード、信号ゲイン調整の制御)等を実行する。
【0111】
CPU7は、例えば以上のステップF221〜F228の処理を、レリーズトリガ発生と判断されるまで継続的に実行する。
【0112】
先に述べたように、例えば図7Bのように位置マーカーPMとターゲット表示PTが一致又は略一致した状態で、レリーズ処理を行うことで、前回と同一又は略同一の視野状態で新たな静止画の撮像記録ができる。
このためレリーズトリガが検出されたら、CPU7は図16のステップF206に進み、撮像記録処理を行う。つまりそのレリーズ時点の撮像画像データのフレームを、静止画データとして記録する処理を行う。これによりステップF201でユーザが選択した画像ファイルPct001と同一の被写体、視野で、異なる時点の画像ファイルPctxxxを生成する。
【0113】
レリーズトリガの判断は、ユーザ操作に基づくものやCPU7の自動判定によるものが考えられる。
図18にステップF205のレリーズトリガ判断の処理例を示す。
図18Aは、ユーザのレリーズ操作の検知をレリーズトリガとする例である。CPU7は、ステップF205として、ユーザのレリーズボタンの操作を監視し、操作が行われた場合にレリーズトリガ発生としてステップF206に進むこととする。
【0114】
図18Bは自動判定の例である。CPU7はステップF205の処理として、ステップF205a,F205bを行う。ステップF205aでは、CPU7は位置マーカーPMとターゲット表示PTの表示上の位置が一致したか否かを判定する。そして一致した時点でステップF205bでレリーズトリガ発生としてステップF206に進み、一致していない時点では図17のステップF221に戻るようにする。
この処理により、ユーザが、位置マーカーPMをターゲット表示PTに一致させるように被写体方向を調整するのみで、自動的にレリーズ処理が行われることになる。
【0115】
なお、この場合の一致判定は、厳密に一致状態を判定しても良いが、ある程度一致したら一致とみなすとしてもよい。例えばズーム状態が多少前回と異なれば位置マーカーPMのサイズとターゲット表示PTのサイズが多少異なるため、厳密には一致しない。またユーザの手ぶれ等により、厳密な一致タイミングがなかなか検知できないこともある。さらに時間を経たことによる被写体の変化が影響することもある。
これらのことから、例えば位置マーカーPMとターゲット表示PTが表示上である程度重なったら一致としたり、サイズ差が所定以内なら同サイズとみなすなど、「一致」とする判定範囲に、ある程度の余裕を持たせて「略一致」としての判断とすることが好ましい。
【0116】
図18Cも自動判定の例である。CPU7はステップF205の処理として、ステップF205c〜F205gを行う。ステップF205cでは、CPU7は位置マーカーPMとターゲット表示PTの表示上の位置関係を判定する。そしてステップF205dで、位置マーカーPMとターゲット表示PTが、一部で重なった状態かを判定する。一部でも重なっていなければステップF221に戻る。
重なり部分があった場合は、ステップF205eで内部タイマTLをリセット/スタートさせる。そしてステップF205f、F205gでは、DSC1が静止状態のまま所定時間TLth以上経過したかを判定する。
静止状態が所定時間TLth以上続かなければステップF205cに戻る。静止状態が所定時間TLth以上継続されたら、レリーズトリガ発生と判断してステップF206のレリーズ処理に進む。
【0117】
つまりこの例は、ユーザが、ある程度大まかに位置マーカーPMとターゲット表示PTを一致させた状態で、DSC1をある程度の時間(例えば2秒から数秒程度)静止させたら、ユーザはレリーズ意思があると判断して、自動的にレリーズ処理に移るものである。
これは、撮像視野が厳密に一致しなくても、静止状態はユーザが被写体に狙いを定めた状態であると判定して撮像記録を行うものである。
このような処理によって、ユーザの意思に応じた撮像記録が可能となる。
【0118】
なお図18でレリーズトリガ判断の3つの例を示したが、これ以外にも多様に考えられる。例えば図18A、図18Bを組み合わせて、手動操作と自動判定のいずれかでレリーズ処理してもよいし、図18A、図18Cを組み合わせてもよい。さらに、図18A、図18B、図18Cを組み合わせて、ユーザ操作、一致、略一致及び所定時間静止のいずれかの条件が満たされたときにレリーズトリガ発生としても良い。
【0119】
以上の図16,図17,図18の処理をCPU7が実行することで、DSC1において誘導撮像モードの動作が実現される。
なお、図16ではステップF206で、今回の画像ファイルPctxxxを撮像記録する処理を述べたが、この画像ファイルPctxxxを先の画像ファイルPct001に関連づけるようなファイル管理を行うことも好適である。
【0120】
また、ステップF206での撮像記録処理後に、先の画像ファイルPct001に関連づけられている撮像時情報101、ターゲット表示PTの追加、更新、削除等を行うようにしてもよい。
例えば、ターゲット画像データGRを新たな画像ファイルPctxxxから抽出した画像に変更してもよい。同じ画像であったとしても、時を経て多少被写体が変化していることもあるためであり、次の誘導撮像モードのために、ターゲット画像データGR自体を更新することは有用である。
また、新たな画像ファイルPctxxxから全く別のターゲット画像データGRを設定して、ターゲット情報102の更新又は追加を行っても良い。
さらには、先の画像ファイルPct001についてターゲット画像データGRとされていた画像部分が、今回の画像ファイルPctxxxから検出されないこともある。例えば図12で説明した花の部分であったり、以前には存在したものが、今回はなくなっていた被写体の画像などである。そこで、今回検出されなかったターゲット画像データGRは、ターゲット情報102から消去することも考えられる。
【0121】
もちろん撮像時情報101の追加や更新を行っても良い。例えば今回の撮像時の位置情報、方位情報、カメラ設定情報、環境情報を、新たに追加したり、それまでの内容に置き換えたりすることも考えられる。
【0122】
また図16のステップF204の処理は、図17の処理に限られない。図19に他の処理例を示す。図19において図17と同一処理は同一ステップ番号を付して説明を省略する。
この図19は、図17の処理にステップF230としての制御を加えた例である。
【0123】
ステップF220でスルー画及び位置マーカーPMの表示を開始したら、CPU7はステップF230で、撮像時情報101のカメラ設定情報及び環境情報を参照して、自動調整を行う。
例えばCPU7は、ズーム状態、露光状態(絞り、シャッタースピード、信号ゲイン)フォーカス状態等を、カメラ設定情報として記憶されている先の画像ファイルPct001の撮像時と同様になるように撮像部5や撮像信号処理部6を制御する。
また環境情報として記憶されている、先の画像ファイルPct001の撮像時の外光輝度を参照し、現在の外光輝度と比較して、前回とほぼ同様の光量となるような露光調整を行うことも考えられる。
【0124】
ステップF230でこのような自動調整を行うことで、DSC1の各種設定が前回の画像ファイルPct001の撮像記録時と同様となったり、同じような撮像条件となるようにできるため、ユーザにとっては、過去の撮像時の細かい設定を覚えていなくても、同様の条件での撮像が可能となるという利点が得られる。
【0125】
ステップF204の変形例としては、上記の図19以外にも考えられる。例えば図17、図19においてステップF220で位置マーカーPMの表示を開始しているが、位置マーカーPMの表示はステップF225,F226でのターゲット表示PTの表示/非表示とともに表示/非表示を行うようにしても良い。
【0126】
また撮像時情報101として撮像記録を行った日時を記憶している場合、図16のステップF202の現地ガイド表示の際に、先の画像ファイルPct001の撮像日時の情報を表示することも考えられる。日時表示を見ることで、ユーザは、前回と同じ時刻にレリーズを行うことが可能となる。また、同一時刻をレリーズトリガの判定に用いてもよい。例えばユーザが三脚にDSC1をセットした状態で、位置マーカーPMとターゲット表示PTを合わせ込んだ後、前回と同時刻になったら自動的にレリーズ処理されるような処理動作である。
【0127】
<6.変形例及びプログラム>
以上、実施の形態について説明してきたが、本開示の通信装置の構成や通信制御処理は実施の形態に限らず、多様な変形例が考えられる。
ターゲット画像の設定は、必ずしも画像内容を解析して抽出しなくても良い。例えば表示上の特定の領域を固定的に設定し、当該領域の画像をターゲット画像とする例も考えられる。
【0128】
誘導撮像モードでのユーザに対する各種ガイドは表示上で行う例を述べたが、例えば現地ガイド、方向や仰角のガイドなどは、音声出力部16からの音声メッセージでおこなうようにしてもよい。
【0129】
実施の形態では、請求項でいう撮像装置の例としてのDSC1に、請求項でいう撮像ガイド装置が内蔵されている例で述べたが、撮像ガイド装置は撮像装置とは別体でもよい。
即ち撮像ガイド装置は、実施の形態でいう誘導撮像モードでのガイドを行う装置であればよく、DSC1等の撮像装置とは別体でもよい。少なくとも、過去に撮像された画像ファイルに関連づけられた撮像時情報101やターゲット情報102を取得するとともに、撮像装置におけるスルー画となる撮像画像データをリアルタイム取得できる装置であれば、撮像視野誘導表示を実行することができる。
【0130】
また撮像装置としては、ターゲット情報取得モードは実行せずに、誘導撮像モードでの動作が可能とされるものも考えられる。例えば既に撮像された或る画像ファイルPct001について、撮像時情報101やターゲット情報102が取得できるのであれば、誘導撮像モードの動作は可能である。
例えば記録部9となるメモリカードに、別のカメラで撮像された画像ファイルと、それについての撮像時情報101、ターゲット情報102が記憶されていれば、その画像ファイルについて誘導撮像モードの動作が可能となる。或いはインターネット等を介してダウンロードした画像ファイルに、撮像時情報101、ターゲット情報102が付加されているような場合も、誘導撮像モードの動作が可能となる。
従って、他人が撮像した画像ファイルと同一の場所での同じような撮像視野の撮像を行うということも容易に可能となる。その場合、現地ガイド表示も非常に有用なガイドとなる。
【0131】
例えばDSC1において、このように誘導撮像モードでの動作を少なくとも可能とする場合、CPU7としては、図20Aのように撮像制御部21,地点誘導処理部24、撮像視野誘導処理部25を有するようにすればよい。即ちターゲット情報取得モードのための機能は不要とできる。
【0132】
また撮像装置又は撮像ガイド装置として撮像視野誘導表示を行うためには、最低限、ターゲット情報102が取得されれば良い。ターゲット情報102により、位置マーカーPMとターゲット表示PTが可能となるためである。
この場合、例えばDSC1のCPU7では、図20Bのように撮像制御部21、撮像視野誘導処理部25を有するようにすればよい。記憶領域100において撮像時情報101を記憶する必要はない。即ち撮像場所に対する地点誘導は行わない例である。
【0133】
実施の形態では、撮像装置の例としてDSC1を挙げたが、もちろん所謂デジタルスチルカメラに限られず、多様な機器において、本開示の撮像装置や撮像ガイド装置を実現できる。
例えば撮像機能付きの携帯電話機、ビデオカメラ機器、モバイル端末機器、その他各種の機器において本開示の技術を適用できる。
【0134】
実施の形態のプログラムは、撮像視野誘導表示を表示部において実行させる制御を、例えばCPU等の演算処理装置に実行させるプログラムである。
このプログラムは、過去の撮像による記録画像に関連づけられた情報として、その記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得する処理を演算処理装置に実行させる。
また、現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる処理を、演算処理装置に実行させる。
このプログラムにより、上述した撮像視野誘導表示を実行する装置を実現できる。
【0135】
このようなプログラムは、コンピュータ装置や撮像装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、撮像視野誘導表示を実現する撮像ガイド装置や、撮像ガイド方法を実行する装置の広範な提供に適している。
【0136】
なお本開示の撮像ガイド装置は以下のような構成も採ることができる。
(1)過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部と、
を備えた撮像ガイド装置。
(2)上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる上記(1)に記載の撮像ガイド装置。
(3)上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、撮像記録の実行指示を行う上記(1)又は(2)に記載の撮像ガイド装置。
(4)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の撮像方向情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる上記(1)乃至(3)のいずれかに記載の撮像ガイド装置。
(5)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時のカメラ設定内容を示すカメラ設定情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う上記(1)乃至(4)のいずれかに記載の撮像ガイド装置。
(6)上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の位置情報を記憶し、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う上記(1)乃至(5)のいずれかに記載の撮像ガイド装置。
【0137】
また本開示の撮像装置は以下のような構成も採ることができる。
(7)被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、
記憶部と、
レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部と、
を備えた撮像装置。
(8)上記制御部は、
上記記憶部に記憶された過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を用いて、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う上記(7)に記載の撮像装置。
(9)上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる上記(8)に記載の撮像装置。
(10)上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、上記撮像部による撮像画像データを記録画像として上記記憶部へ記憶させる処理を行う上記(8)又は(9)に記載の撮像装置。
(11)上記制御部は、
上記記録画像の撮像時の撮像方向情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる上記(8)乃至(10)のいずれかに記載の撮像装置。
(12)上記制御部は、
上記記録画像の撮像時における上記撮像部の設定内容を示すカメラ設定情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像部に対して、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う上記(8)乃至(11)のいずれかに記載の撮像装置。
(13)現在位置情報を検出する位置検出部をさらに備え、
上記制御部は、
上記記録画像の撮像時における現在位置情報を含む撮像時情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う上記(7)乃至(11)のいずれかに記載の撮像装置。
【符号の説明】
【0138】
1 DSC、2 表示部、3 表示制御部、4 操作入力部、5 撮像部、6 撮像信号処理部、7 CPU、8 メインメモリ、9 記録部、10 フラッシュメモリ、11 方位検出部、12 位置検出部、21 撮像制御部、22 撮像時情報保存処理部、23 ターゲット画像設定処理部、24 地点誘導処理部、25 撮像視野誘導処理部、100 記憶領域 101 撮像時情報、102 ターゲット情報
【特許請求の範囲】
【請求項1】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部と、
を備えた撮像ガイド装置。
【請求項2】
上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる請求項1に記載の撮像ガイド装置。
【請求項3】
上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、撮像記録の実行指示を行う請求項1に記載の撮像ガイド装置。
【請求項4】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の撮像方向情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる請求項1に記載の撮像ガイド装置。
【請求項5】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時のカメラ設定内容を示すカメラ設定情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う請求項1に記載の撮像ガイド装置。
【請求項6】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の位置情報を記憶し、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う請求項1に記載の撮像ガイド装置。
【請求項7】
被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、
記憶部と、
レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部と、
を備えた撮像装置。
【請求項8】
上記制御部は、
上記記憶部に記憶された過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を用いて、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う請求項7に記載の撮像装置。
【請求項9】
上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる請求項8に記載の撮像装置。
【請求項10】
上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、上記撮像部による撮像画像データを記録画像として上記記憶部へ記憶させる処理を行う請求項8に記載の撮像装置。
【請求項11】
上記制御部は、
上記記録画像の撮像時の撮像方向情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる請求項8に記載の撮像装置。
【請求項12】
上記制御部は、
上記記録画像の撮像時における上記撮像部の設定内容を示すカメラ設定情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像部に対して、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う請求項8に記載の撮像装置。
【請求項13】
現在位置情報を検出する位置検出部をさらに備え、
上記制御部は、
上記記録画像の撮像時における現在位置情報を含む撮像時情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う請求項7に記載の撮像装置。
【請求項14】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行する撮像ガイド方法。
【請求項15】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる処理を、演算処理装置に実行させるプログラム。
【請求項1】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を記憶する記憶部と、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う制御部と、
を備えた撮像ガイド装置。
【請求項2】
上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる請求項1に記載の撮像ガイド装置。
【請求項3】
上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、撮像記録の実行指示を行う請求項1に記載の撮像ガイド装置。
【請求項4】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の撮像方向情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる請求項1に記載の撮像ガイド装置。
【請求項5】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時のカメラ設定内容を示すカメラ設定情報を記憶し、
上記制御部は、上記撮像視野誘導表示の際に、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う請求項1に記載の撮像ガイド装置。
【請求項6】
上記記憶部は、上記記録画像に関連づけられた情報として、さらに、上記記録画像の撮像時の位置情報を記憶し、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う請求項1に記載の撮像ガイド装置。
【請求項7】
被写体からの入射光を光電変換し、撮像画像データを得る撮像部と、
記憶部と、
レリーズタイミングの撮像画像データについて、記録画像として上記記憶部へ記憶させる処理を行うとともに、上記記録画像内の画像としてターゲット画像の設定を行い、ターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を、上記記録画像に関連づけて上記記憶部に記憶させる処理を行う制御部と、
を備えた撮像装置。
【請求項8】
上記制御部は、
上記記憶部に記憶された過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を用いて、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる制御を行う請求項7に記載の撮像装置。
【請求項9】
上記制御部は、上記撮像視野誘導表示の際に、連続して入力される被写体モニタリング画像に対して、上記ターゲット画像データに該当する画像部分の検出処理を行い、該当の画像部分が検出されることに応じて、被写体モニタリング画像上で上記ターゲット表示を実行させる請求項8に記載の撮像装置。
【請求項10】
上記制御部は、上記撮像視野誘導表示の際に、上記被写体モニタリング画像の表示上で、上記マーカー表示と上記ターゲット表示の位置が一致又は略一致したことを条件として、上記撮像部による撮像画像データを記録画像として上記記憶部へ記憶させる処理を行う請求項8に記載の撮像装置。
【請求項11】
上記制御部は、
上記記録画像の撮像時の撮像方向情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像方向情報に基づいた視野方向ガイド出力を実行させる請求項8に記載の撮像装置。
【請求項12】
上記制御部は、
上記記録画像の撮像時における上記撮像部の設定内容を示すカメラ設定情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記撮像視野誘導表示の際に、上記撮像部に対して、上記カメラ設定情報に基づいたカメラ設定の実行指示を行う請求項8に記載の撮像装置。
【請求項13】
現在位置情報を検出する位置検出部をさらに備え、
上記制御部は、
上記記録画像の撮像時における現在位置情報を含む撮像時情報を、上記記録画像に関連づけて上記記憶部に記憶させるとともに、
上記制御部は、上記位置情報に基づいて、撮像位置を提示する位置ガイド出力を実行させる制御を行う請求項7に記載の撮像装置。
【請求項14】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行する撮像ガイド方法。
【請求項15】
過去の撮像による記録画像に関連づけられた情報として、上記記録画像内で設定されたターゲット画像の画像内容を示すターゲット画像データ、及び上記記録画像を表示した際の上記ターゲット画像の表示上の位置を示す表示位置情報を含むターゲット情報を取得し、
現在の撮像画像データとして入力される被写体モニタリング画像と、上記表示位置情報に基づくマーカー表示と、上記被写体モニタリング画像における上記ターゲット画像データに該当する画像部分がターゲット画像であることを提示するターゲット表示と、を含む撮像視野誘導表示を表示上で実行させる処理を、演算処理装置に実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公開番号】特開2013−74376(P2013−74376A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−210484(P2011−210484)
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願日】平成23年9月27日(2011.9.27)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]