撮像装置および撮像方法
【課題】定点撮像に際し、撮像装置を長時間固定できない場合においても、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像を行う。
【解決手段】撮像装置１００の撮像条件取得部１４６は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する。撮像部１１２は、被写体を撮像して画像データを生成する。位置センサ１２０は、撮像部の平面位置を検出する。方位角センサ１２２は、撮像部の光軸方位角を検出する。画像切出部１５２は、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す。
【解決手段】撮像装置１００の撮像条件取得部１４６は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する。撮像部１１２は、被写体を撮像して画像データを生成する。位置センサ１２０は、撮像部の平面位置を検出する。方位角センサ１２２は、撮像部の光軸方位角を検出する。画像切出部１５２は、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の定点撮像（定点撮影）が可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて、植物の成長過程を記録したり、四季の移り変わりによる風景の変化を記録する、所謂、定点撮像（定点撮影）を行うことがある。この定点撮像では、撮像装置を例えば三脚を使う等して、所定の平面位置、高さ、撮像装置の姿勢角および所定の光軸方位角（光軸の方位角）に固定し、またズーム機能を有する場合はズーム倍率も固定して撮像することが好ましい。
【０００３】
しかし、一般的なユーザにおいては、自身が所有する撮像装置が定点撮像に専有され、撮像装置を所定の平面位置や高さに長時間固定したままにすることは現実的ではなく、定点撮像を行っている期間中に一時的に定点撮像を休止して、他の被写体を撮像する用途にも利用するのが実情である。このような実情を考慮した上で定点撮像を行う場合、定点撮像としての撮像タイミング毎に、設定した撮像条件（撮像の際の平面位置、光軸方位角、高度、姿勢角、ズーム倍率（画角）等）を再現しなければならならず、その設定に長時間を費やしていた。
【０００４】
例えば、撮像条件を再現するため、前回撮像時の画像を印画紙等に出力しておき、撮像者が、印画紙とビューファインダ内の画像とを比較しつつ、手作業で前回と同一の撮像条件となるように撮像装置を移動させる等、設定に手間と時間を要していた。また、このように手間と時間を費やした割に、実際に撮像したものは前回の撮像時と同一の画像にならないことが多く、ずれが生じるといった問題もあった。
【０００５】
そこで、前回の撮像時における画像を現在のスルー画像と重畳させてビューファインダに表示し、前回の撮像時における画像とスルー画像とが重なり合うように案内して、撮像装置の位置合わせを撮像者に手動で行わせる技術が開示されている（例えば、特許文献１）。また、前回の撮像時と現在の撮像時とにおける平面位置や光軸方位角が一致していることを前提に、温度変化による光軸のずれを撮像素子における有効画素範囲の切り出し位置で調整する技術も知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０２６８７２号公報
【特許文献２】特開２００７−１２９４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、撮像装置を所定の平面位置に長時間固定したままにすることができない場合には、定点撮像における撮像タイミング毎に、撮像条件を前回撮像時の状態に再現させなければならない。しかし、特許文献１の技術では、前回撮像時の画像と現在のスルー画像との位置あわせを、撮像者がビューファインダを目視しながら手作業によって行っているだけなので、前回の画像に高精度で合わせ込むことができなかった。また、特許文献２の技術は、撮像装置の平面位置や光軸方位角が前回の撮像時と一致していることを前提としており、平面位置や光軸方位角がずれた場合に、その平面位置や光軸方位角を補正することができなかった。
【０００８】
いずれにしても、目視を通じた撮像者による手動の位置合わせのみでは、前回の画像との一致度に限界があり、高精度な定点撮像には対応できない問題があった。また、前回撮像時の画像と現在のスルー画像とのずれが平面位置や光軸方位角といった撮像状態の固定位置に起因するずれなのか、ズーム倍率等、撮像装置の制御に起因するずれなのかをユーザが目視で判断するのは困難であり、定点撮像を高精度で行うための処理が画一化されていなかった。
【０００９】
そこで本発明は、定点撮像に際し、撮像装置を長時間固定できない場合においても、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、被写体の定点撮像を行う撮像装置（１００）は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部（１４６）と、被写体を撮像して画像データを生成する撮像部（１１２）と、撮像部の平面位置を検出する位置センサ（１２０）と、撮像部の光軸方位角を検出する方位角センサ（１２２）と、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す画像切出部（１５２）とを備えることを特徴とする。
【００１１】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置（３００）は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得する撮像条件取得部（３４６）と、被写体を撮像して画像データを生成する撮像部と、撮像部の平面位置を検出する位置センサと、撮像部の光軸方位角を検出する方位角センサと、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す画像切出部（３５２）とを備えることを特徴とする。
【００１２】
撮像装置は、撮像部の高度を検出する高度センサ（１２４）と、撮像部の姿勢角を検出する姿勢角センサ（１２６）と、をさらに備え、撮像条件には、撮像部の高度および姿勢角も含まれていてもよい。
【００１３】
撮像装置は、撮像部で撮像した画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する画像保持部（１１８）をさらに備え、撮像条件取得部は、画像保持部に保持された画像データに関連付けられた撮像条件を取得してもよい。
【００１４】
撮像装置は、画像保持部に保持された画像データから、画像データに関連付けられた、画像データを撮像したときの撮像条件と所望の撮像条件との差分が所定の範囲内である１または複数の画像データを抽出する画像データ抽出部（１５０）と、抽出した１または複数の画像データから１の画像データを撮像者に選択させる画像データ選択促進部（１４８）と、をさらに備え、撮像条件取得部は、選択された画像データに関連付けられた撮像条件を取得してもよい。
【００１５】
画像切出部は、さらに、画像保持部に保持された画像データと現在の画像データとを比較して画像間の変位を求め、部分画像データの切出位置を調整してもよい。
【００１６】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置（３００）は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部（３４６）と、被写体を撮像して画像データを生成する撮像部と、撮像部の平面位置を検出する位置センサと、撮像部の光軸方位角を検出する方位角センサと、取得された前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前回の画像に対応する部分画像データを切り出す画像切出部（３５２）とを備えることを特徴とする。
【００１７】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報を取得する撮像条件取得部と、被写体を撮像して画像データを生成する撮像部と、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前回の画像に対応する部分画像データを切り出す画像切出部とを備えることを特徴とする。
【００１８】
撮像装置は、撮像者に画像データ中の部位を選択させる部位選択促進部（１５４）をさらに備え、画像切出部は、選択された部位または選択された部位を除く他の領域に関して画像間の変位を求めてもよい。
【００１９】
上記課題を解決するために、本発明の撮像方法は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出すことを特徴とする。
【００２０】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出すことを特徴とする。
【００２１】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前回の画像に対応する部分画像データを切り出すことを特徴とする。
【００２２】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報を取得し、被写体を撮像して画像データを生成し、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前回の画像に対応する部分画像データを切り出すことを特徴とする。
【発明の効果】
【００２３】
以上説明したように本発明の撮像装置は、定点撮像に際し、撮像装置を長時間固定できない場合においても、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像を可能とする。
【図面の簡単な説明】
【００２４】
【図１】撮像装置の概略的な構成を示した機能ブロック図である。
【図２】撮像部の姿勢角を定義するための外観斜視図である。
【図３】部位選択促進部の動作を説明するための説明図である。
【図４】画像切出部の動作を説明するための説明図である。
【図５】画像切出部の動作を説明するための説明図である。
【図６】画像切出部の動作を説明するための説明図である。
【図７】画像切出部の動作を説明するための説明図である。
【図８】画像切出部の動作を説明するための説明図である。
【図９】画像切出部の動作を説明するための説明図である。
【図１０】撮像方法の全体的な流れを示したフローチャートである。
【図１１】撮像装置の概略的な構成を示した機能ブロック図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２６】
定点撮像とは、所定の時間間隔を空けて、大凡同じ平面位置および高度で、光軸方位角や姿勢角を合わせ、同一の被写体を撮像することである。本来、定点撮像を行う場合、その定点撮像の期間、撮像装置を所定の位置に固定するのが望ましいが、一般的な撮像者（ユーザ）は、撮像装置を他の用途にも用いるため長時間固定することができない。したがって、撮像装置を他の用途に用いた後でも、定点撮像の撮像条件を再現できるようにしなければならない。本実施形態では、画像処理によって撮像条件を補正できる範囲に被写体を捉えるまで、撮像装置１００の撮像条件を手動で設定し、その後、画像処理によって被写体を前回の撮像時と一致させるといった画一的な処理手順で高精度の定点撮像を可能とする。以下、このような定点撮像が可能となる撮像装置１００の概略的な構成について述べる。
【００２７】
（撮像装置１００）
図１は、撮像装置１００の概略的な構成を示した機能ブロック図である。図１では、データの流れを実線の矢印で、制御信号を点線の矢印で示している。撮像装置１００は、操作部１１０と、撮像部１１２と、データ処理部１１４と、ディスプレイ１１６と、画像保持部１１８と、位置センサ１２０と、方位角センサ１２２と、高度センサ１２４と、姿勢角センサ１２６と、中央制御部１２８とを含んで構成される。したがって、撮像装置１００は、上記の構成を含む、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ゲーム機器等、様々な電子機器に適用できる。また、撮像装置１００は、その動作モードとして、通常の撮像を行う撮像モード、定点撮像を行う定点撮像モード、および、撮像モードまたは定点撮像モードによって生成された画像データを再生する再生モード等で動作可能である。
【００２８】
操作部１１０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、ディスプレイ１１６に重畳されたタッチパネル等で構成され、撮像者の操作入力を受け付ける。
【００２９】
撮像部１１２は、撮像レンズ１１２ａと、焦点調整に用いられるフォーカスレンズ１１２ｂと、露光調整に用いられる絞り１１２ｃと、撮像レンズ１１２ａを通じて入射した入射光を電気データ（画像データ）に変換する撮像素子１１２ｄと、フォーカスレンズ１１２ｂ、絞り１１２ｃおよび撮像素子１１２ｄをそれぞれ駆動させる駆動部１１２ｅとを含んで構成され、光軸方向に存在する被写体を撮像して画像データ（静止画および動画のいずれのデータも含む）を生成する。撮像部１１２は、生成した画像データをデータ処理部１１４に送信する。ここで、撮像素子１１２ｄは、後述する画像切出部１５２に応じて、画像データの切出処理を行う。切出処理は、撮像素子１１２ｄ上の有効画素範囲から画像を切り出す（取り込む）範囲を変位させることで行われる。具体的に、ＣＭＯＳによる撮像素子１１２ｄでは、ＲＯＩ（Region of Interest：読出範囲の指定）によって不要な部分を読み飛ばし、撮像範囲内の任意の範囲を読み出す機能を利用する。したがって、撮像素子１１２ｄは、後述する画像の切り出しにおいて、切り出した後の画像も十分な解像度が得られる程度、解像度が高くなっている。こうすることで、切出処理によって残った部分を読み出さなくてよくなるので、処理負荷を軽減し、保持する画像の容量を低減することが可能となる。また、フォーカスレンズ１１２ｂのフォーカスを被写体に合わせるべく、撮像部１１２には、距離センサ（図示せず）も備わっている。
【００３０】
データ処理部１１４は、撮像部１１２から受信した画像データに、ガンマ補正、ニー処理等の所定の処理を施し、処理後の画像データをディスプレイ１１６または画像保持部１１８に送信する。
【００３１】
ディスプレイ（ビューファインダ）１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ等で構成され、後述する表示制御部１４４の制御指令に基づき、撮像モードまたは定点撮像モードにおいてデータ処理部１１４から受信した画像データを表示し、再生モードにおいて画像保持部１１８に保持された画像データ等を表示する。撮像者は、撮像モードまたは定点撮像モード中、ディスプレイ１１６に表示された画像を視認しつつ操作部１１０を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００３２】
画像保持部１１８は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ（Random Access Memory）等で構成され、後述する記憶制御部１４２の制御指令に基づき、撮像モードまたは定点撮像モードにおいて、データ処理部１１４で処理された画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する。撮像条件は、例えば、撮像日時、撮像したときの撮像装置１００の平面位置、撮像したときの撮像装置１００の光軸方位角、撮像したときの撮像装置１００の高度、撮像したときの撮像装置１００の姿勢角、被写体との距離、ズーム倍率（画角）、絞り、シャッター速度、ＩＳＯ感度設定値、周辺光量、ストロボ発光量もしくはチャージ量、画素数、圧縮率、および、記録状態の群から選択された１または複数のパラメータを含む。また、画像保持部１１８は、ＤＶＤやＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に画像データを保持させる装置として構成されてもよい。このとき、画像データをＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣ等の所定の符号化方式で符号化することもできる。
【００３３】
位置センサ１２０は、３以上のＧＰＳ（Global Positioning System）衛星（図示せず）が発信するＧＰＳ信号を復調して、発信元のＧＰＳ衛星がＧＰＳ信号を発信した時刻（発信時刻）と、それぞれのＧＰＳ衛星の位置とを取得する。そして、位置センサ１２０は、自体が有するクロックに基づいて、ＧＰＳ信号を受信した時刻（受信時刻）を抽出し、抽出した受信時刻と、取得した発信時刻とからそれぞれのＧＰＳ衛星と当該撮像装置１００との相対距離を算出し、さらに、三点測位法に基づいて、ＧＰＳ衛星のそれぞれの位置から算出した相対距離にある当該撮像装置１００の平面位置（緯度、経度情報）を導出する。ここで、位置センサ１２０はＧＰＳ信号を用いて撮像装置１００の平面位置を導出しているが、位置導出の方法としてはＧＰＳ信号を用いるものに限定されない。例えば、平面位置が固定されている少なくとも３つの電波塔からの距離を用い三点測位法に基づいて平面位置を導出したり、撮像装置１００に方位計と３軸の加速度計を搭載し加速度計の積分値を用いて内部的に平面位置を導出したり、既存の様々な平面位置の導出方法を適用することができる。
【００３４】
方位角センサ１２２は、地磁気センサや複数のＧＰＳ素子等を用いて構成され、水平面上で撮像部１１２の光軸が向いている光軸方位角を検出する。
【００３５】
高度センサ１２４は、高度計、ＧＰＳ素子等を用いて構成され、撮像部１１２の高度を検出する。ただし、本実施形態では、前回撮像時の撮像条件を再現できれば足り、赤外線や超音波を照射して地面との重力方向の距離を測定する距離センサによっても目的を達成できる。また、このような地面との距離と、地図データを用いた等高線による、その地面の高度情報とを合わせることで、撮像装置１００の高度を検出することもできる。
【００３６】
姿勢角センサ１２６は、加速度センサ等の慣性センサ、または、それに角速度センサや角加速度センサ等を加えて構成され、撮像装置１００の特に撮像部１１２における姿勢角（ピッチ角θおよびロール角φ）を導出する。したがって、以下の説明では、撮像部１１２の姿勢角に言及しているが、撮像部１１２の姿勢角は当然、撮像装置１００の姿勢角と読み替えることができる。また、他の平面位置、光軸方位角、高度の各値も、撮像部１１２と撮像装置１００の一方に対して検出しても他方に読み替えることができる。
【００３７】
図２は、撮像部１１２の姿勢角を定義するための外観斜視図である。撮像装置１００としての図２（ａ）に示すデジタルスチルカメラや図２（ｂ）に示すデジタルビデオカメラにおいて、撮像レンズ１１２ａの光軸を撮像部１１２のロール軸とし、そのロール軸の軸回りの角度をロール角φとする。また、ロール軸と垂直の軸であって本体側面方向に延びるピッチ軸の軸回りの角度をピッチ角θ、ロール軸と垂直の軸であって本体天面方向に延びるヨー軸の軸回りの角度を光軸方位角（方位角）ψとする。ここで、ピッチ角や光軸方位角はそれぞれチルト角やパン角と呼ぶ場合もある。例えば、姿勢角センサ１２６が３軸の加速度センサで構成されている場合、ピッチ角θやロール角φは以下の様に導出される。すなわち、重力加速度をＧ、ロール軸方向の加速度の測定値をＧφとすると、ピッチ角θ＝ｓｉｎ―１（−Ｇφ／Ｇ）となる。同様に、ピッチ軸方向の加速度の測定値をＧθとすると、ロール角φ＝ｓｉｎ―１（Ｇθ／Ｇ）となる。また、加速度センサは、ピッチ角θやロール角φの回転を伴わない直線的な加速度も感知してしまうので、そのような角速度を感知しない角速度センサや角加速度センサを併用し回転を伴わない加速度を排除して、ピッチ角θやロール角φを高精度に検出することもできる。
【００３８】
中央制御部１２８は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１００全体を管理および制御する。また、中央制御部１２８は、画像制御部１４０、記憶制御部１４２、表示制御部１４４、撮像条件取得部１４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部１５２、部位選択促進部１５４としても機能する。
【００３９】
画像制御部１４０は、撮像者の操作入力に応じて撮像部１１２を制御する。例えば、画像制御部１４０は、適切な画像データが得られるように、フォーカスレンズ１１２ｂ、絞り１１２ｃ、撮像素子１１２ｄを駆動部１１２ｅに駆動させ、被写体に焦点を合わせたり、露光、ズーム倍率を調整する。
【００４０】
記憶制御部１４２は、撮像モードまたは定点撮像モードにおいて、データ処理部１１４での処理が完了した画像データを画像保持部１１８に保持させる。このとき、記憶制御部１４２は、撮像日時、位置センサ１２０から取得した平面位置、方位角センサ１２２から取得した光軸方位角、高度センサ１２４から取得した高度、姿勢角センサ１２６から取得した姿勢角（ピッチ角θ、ロール角φ）、被写体との距離、撮像部１１２から取得したズーム倍率（画角）、絞り、シャッター速度、ＩＳＯ感度設定値、周辺光量、ストロボ発光量もしくはチャージ量、画素数、圧縮率、および、記録状態等の撮像条件を画像データに関連付けて保持させる。
【００４１】
表示制御部１４４は、撮像装置１００の動作モードが撮像モードまたは定点撮像モードである間、データ処理部１１４で処理された画像データに基づく画像をディスプレイ１１６に表示し、動作モードが再生モードである間、画像保持部１１８に保持された画像データに基づく画像をディスプレイ１１６に表示する。撮像条件取得部１４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部１５２、部位選択促進部１５４の動作は後述する。
【００４２】
（定点撮像の処理手順）
本実施形態における撮像装置１００は、大凡、以下の処理手順に従って、定点撮像の撮像条件を容易かつ画一的に再現する。すなわち、（１）平面位置や高度といった撮像条件が前回の撮像時と大凡一致するように撮像装置１００を手動で移動する（以下、単に「手動設定処理」と言う。）。なお、このときユーザが目視で撮像画像を確認することは必ずしも必要とされない。そして、撮像条件が大凡一致したら、（２）前回の画像と現在の画像とに基づく被写体の画面上の位置や大きさのずれを画像処理によって補正する（以下、単に「被写体位置に基づく補正処理」と言う。）。こうして、高精度な定点撮像が可能となる。ここで、前回の撮像という文言は、厳密に定点撮像における一回前の撮像のみを指さず、過去の任意のタイミングにおける撮像も含む意である。
【００４３】
また、他の処理手順として、（１）手動設定処理を行い、撮像条件が大凡一致したら、（３）手動では修正しきれない、前回の撮像条件と現在の撮像条件とに基づくずれを画像処理によって補正する（以下、単に「撮像条件に基づく補正処理」と言う。）ことでも、高精度な定点撮像が可能となる。さらに他の処理手順として、（１）手動設定処理を行い、（３）撮像条件に基づく補正処理を行った後、（２）被写体位置に基づく補正処理を行うこともできる。
【００４４】
このように、定点撮像を再現するため段階的な処理を行うのは、撮像装置１００の撮像条件の再現を手動（（１）手動設定処理）のみによって行っても定点撮像の再現精度には限界があるからであり、かかる処理に続いて、（２）被写体位置に基づく補正処理や（３）撮像条件に基づく補正処理を実行することで、定点撮像の再現精度を高めることを目的としている。以下、上記撮像装置１００を用いて、（１）手動設定処理と（２）被写体位置に基づく補正処理とを行う実施形態を第１の実施形態に、（１）手動設定処理と（３）撮像条件に基づく補正処理とを行う実施形態を第２の実施形態に、（１）手動設定処理と（３）撮像条件に基づく補正処理と（２）被写体位置に基づく補正処理とを全て行う実施形態を第３の実施形態に示す。
（第１の実施形態：（１）手動設定処理＋（２）被写体位置に基づく補正処理）
【００４５】
（手動設定処理）
動作モードが定点撮像モードであった場合、撮像条件取得部１４６は、定点撮像モードのリファレンスとして撮像を所望する撮像条件を取得する。具体的に、定点撮像を行う場合、撮像条件取得部１４６は、その定点撮像の基準となる撮像条件、例えば、平面位置、光軸方位角、高度、姿勢角等を、操作部１１０を通じて撮像者に入力させ、定点撮像の撮像条件として設定する。
【００４６】
画像データ選択促進部１４８は、画像保持部１１８に、同定点撮像において過去に生成された画像データが撮像条件に関連付けられて保持されている場合、保持された１または複数の画像データから１の画像データを撮像者に選択させる。また、撮像条件取得部１４６は、上述した撮像者による入力に代え、画像データ選択促進部１４８を通じて選択された画像データに関連付けられた撮像条件を取得することもできる。
【００４７】
定点撮像は、そもそも、過去に生成した画像データと同じ撮像条件で撮像することを目的としている。ここでは、画像保持部１１８に保持された過去の画像データを直接選択し、その画像データに関連付けられた撮像条件そのものを取得することで、撮像者は、操作部１１０を通じた煩雑な手動入力を伴うことなく、撮像条件の基準とするのに相応しい画像データを選択し、過去に生成した画像データと同じ撮像条件の下、容易に現在の撮像を行うことができる。
【００４８】
撮像条件取得部１４６が操作部１１０を通じて撮像者の所望する前回の撮像条件を取得した場合、画像データ抽出部１５０は、画像保持部１１８に保持された１または複数の画像データから、画像データを撮像したときの撮像条件と所望の前回の撮像条件との差分が所定の範囲（補正可能な範囲）内である１または複数の画像データを抽出する。そして、画像データ選択促進部１４８は、画像データ抽出部１５０が抽出した１または複数の画像データから１の画像データを撮像者に選択させ、撮像条件取得部１４６は、選択された画像データに関連付けられた撮像条件を取得する。こうして撮像者は、撮像条件のうちの一部（例えば、平面位置や高度）の大凡の値を入力するだけで、その入力された平面位置や高度の近くで撮像した前回の画像データを参照することができ、所望する画像データに基づいて、撮像者の意志に沿った定点撮像を実施することが可能となる。
【００４９】
また、画像データ抽出部１５０は、操作部１１０を通じた撮像者の所望する撮像条件の操作入力がなくとも、例えば、定点撮像モードにおいて、現在の平面位置や高度を取得し、撮像条件に示された位置や高度との差分が所定の範囲内である１または複数の画像データを抽出してもよい。そして、画像データ選択促進部１４８は、画像データ抽出部１５０が抽出した１または複数の画像データから１の画像データを撮像者に選択させ、撮像条件取得部１４６は、選択された画像データに関連付けられた撮像条件を取得する。撮像者は、定点撮像を実行しようとしている地点の近くにいることが想定されるので、かかる撮像装置１００の平面位置や高度に基づいて画像データを抽出する構成により、撮像者に何ら撮像条件の入力を強いることなく、容易に所望する画像データを選択させることが可能となる。
【００５０】
このように撮像条件取得部１４６で取得された前回の撮像条件を用いて、撮像者は、前回の撮像時と現在とで平面位置や高度が大凡一致するように撮像装置１００を手動で移動し、光軸方位角や姿勢角を所望する角度に設定する。このとき、表示制御部１４４は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と現在の平面位置、光軸方位角、高度、姿勢角を表示し、または、前回撮像時と現在の平面位置、光軸方位角、高度、姿勢角の差分を表示し、さらに、現在の撮像条件を前回の撮像条件に一致させるための撮像装置１００の変位を、その方向を示す指標（例えば矢印）等と共に表示することで、撮像者に撮像装置１００をどの程度移動（変動）させるかを報知する。具体的に、表示制御部１４４は、現在のスルー画像と前回の画像データに基づく画像とをディスプレイ１１６に表示する。この時、前回の画像データに基づく画像と現在のスルー画像は、ディスプレイの画面を２分割して並べて表示するようにしてもよいし、縮小して子画面（Picture in Picture）として表示させてもよいし、半透過で前回の画像データに基づく画像を重ねて表示するようにしてもよい。また、表示制御部１４４は、現在のスルー画像に変位すべき方向を示す矢印を重畳して撮像装置１００の移動を促す。こうして撮像者は、撮像装置１００を定点撮像可能な位置に容易に移動することができる。
【００５１】
また、撮像装置１００に、撮像装置１００自体の姿勢を自動的に制御する機構を設け、それを制御して光軸方位角や姿勢角を補正するようにしてもよいし、撮像部１１２の撮像レンズ１１２ａやフォーカスレンズ１１２ｂが任意の方向に可動する機構を設け、それを制御して光軸方位角や姿勢角を補正するようにしてもよい。
【００５２】
（被写体位置に基づく補正処理）
画像切出部１５２は、動作モードが定点撮像モードの間、撮像条件取得部１４６で取得された前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分を導出し続け、撮像条件のうち予め定められた１または複数のパラメータ、例えば、平面位置や光軸方位角の差分が予め定められた所定の範囲（例えば、平面位置±１ｍ、光軸方位角±１０°）以内となれば、その旨、撮像者に報知すると共に、前回の画像と現在の画像とに基づく被写体の画面上の位置や大きさのずれを画像処理によって補正する。
【００５３】
上記の平面位置や光軸方位角の所定の範囲は、撮像部１１２と被写体との距離によって変化させてもよい。例えば、比較的近くの被写体を定点撮像する場合、許容される平面位置の変位は小さく、ほぼ無限遠にある景色等を定点撮像する場合、許容される平面位置の変動は大きくなる。したがって、画像切出部１５２は、撮像条件として、前回の撮像における被写体との距離を参照して所定の範囲を決定し、被写体との距離が長い場合より、被写体との距離が短い場合の所定の範囲を狭く設定する。また、光軸方位角の所定の範囲は基本的に変更しないでよいが、撮像部１１２と被写体との距離が長く、ズーム倍率を上げ、画角を狭めている場合には、ズーム倍率が低い場合より光軸方位角の所定の範囲を狭くするのが望ましい。
【００５４】
ところで、定点撮像は、同一の被写体１７４の経時変化の観察に利用されることが多い。したがって、画面内に出現する被写体１７４が同一であるという想定に反して、被写体１７４が何らかの変化（例えば、植物の成長による被写体１７４の大きさの変化、枝葉の変色、枯れによる変化等）を伴うこともまた想定されている。ただし、その変化がある部分は、例えば、植物の成長における植物のみといったように限定されることが多く、植物を保持する鉢等、変化がない部分も存在する。そこで、本実施形態では、以下の部位選択促進部１５４を設けている。
【００５５】
部位選択促進部１５４は、撮像者に画像データ中の任意の部位を選択させる。そして、画像切出部１５２は、部位選択促進部１５４が選択した部位に関して画像間の比較を行う。部位選択促進部１５４によって変化のない部位、例えば、植物を保持している鉢を撮像者に積極的に指定させることで、植物の成長によって変化する部位を無視でき、画像切出部１５２は、変化のない部位を把握することができ、その部位に関して変化がないことを前提に、正確な画像間の比較を実行することが可能となる。
【００５６】
図３は、部位選択促進部１５４の動作を説明するための説明図である。部位選択促進部１５４は、撮像者に画像データ中の部位を選択するよう促し、撮像者は、前回の画像データと現在の画像データについて、図３（ａ）、（ｂ）の如く、被写体１７４の変化のない部位（指定部位１７８）を、それぞれの画像データに基づく画像に対して指定する。その指定部位１７８について、前回の画像データと現在の画像データとを画像比較することで、画像切出部１５２は、前回の画像データと現在の画像データとの位置のずれを検出し、図３（ｂ）、（ｃ）のように、ずれ量に相当する分だけ、撮像素子１１２ｄから画像データを切り出す位置を変位させて部分画像１７２を切り出す。このとき、画像切出部１５２は、前回の画像データと現在の画像データとを画像比較する時点で、既に撮像素子１１２ｄから任意の範囲で切り出した画像データを不図示のバッファまたは中央制御部１２８のＲＡＭに取り込んでいるので、その画像データを用い、中央制御部１２８による画像の編集、加工処理として部分画像１７２を切り出すこともできる。
【００５７】
このとき、対応する指定部位１７８の画像上の大きさ（面積）が異なる場合、画像切出部１５２は、撮像装置１００の平面位置の検出値が光軸方向にずれていると判断し、その位置ずれ量に相当する分だけ、ズーム倍率を変化させて補正する方法も併用することができる。
【００５８】
また、前回の画像データと現在の画像データとで対応させる指定部位１７８は、画面上の１箇所である必要はなく、複数箇所を指定して補正することもでき、それによって精度を上げることもできる。
【００５９】
さらに、指定部位１７８は、上述したように変化のない部位のみならず、被写体１７４が経時変化してしまう部位を指定して、それ以外の領域で現在の画像データと前回の画像データとの比較を行い、被写体１７４の一致を検出する構成としてもよい。例えば、花が開花していく様子を定点撮像する際、時間とともに変化する対象物である花の部分を撮像者が指定した場合、画像切出部１５２は、その指定部位１７８以外の領域を画像比較の対象として一致検出するようにする。
【００６０】
このような画像の部分的な部位を指定し、ずれ補正を行う具体例として、例えば、以下のような手順が考えられる。まず、撮像装置１００の動作モードを定点撮像モードに設定すると、部位選択促進部１５４が、前回の画像データとして撮像者に１の画像データを選択させ、現在のスルー画像と前回の画像データに基づく画像とをディスプレイ１１６に表示する。この時、前回の画像データに基づく画像と現在のスルー画像は、ディスプレイの画面を２分割して並べて表示するようにしてもよいし、縮小して子画面として表示させてもよいし、半透過で前回の画像データに基づく画像を重ねて表示するようにしてもよい。
【００６１】
続いて、撮像者は、操作部１１０であるタッチパネルを操作して、画面上で時間推移による変化の少ない任意の指定部位１７８を、前回の画像データと現在の画像データそれぞれにおいて指定する。撮像者は、画面上の点を指定したり、領域を指定することで指定部位１７８を指定することとなる。また、指定した点または領域を含むように、周辺のより広い範囲を比較領域として定めることもできる。また前回の画像データに関しては、予め前回の撮像時に指定部位１７８を指定しておいてもよいし、現在の撮像時に改めて指定するようにしてもよい。
【００６２】
次に、画像切出部１５２は、前回の画像データと現在の画像データそれぞれの指定部位１７８を比較し、現在の画像データにおける目的とする被写体１７４が前回の画像データと一致するように、撮像素子１１２ｄ上の、もしくは、既に取得している画像データの切出位置や切出範囲、または、ズーム量の調整を行う。そして、前回の画像データと現在の画像データとで被写体１７４の位置や大きさが所定の誤差範囲に収まったところで、補正完了とし、撮像者に撮像の開始を促すメッセージを表示し、定点撮像を実行させる。
【００６３】
また、画像切出部１５２は、画像間の比較において、前回の画像データと現在の画像データから特徴点を抽出し、対応する特徴点の座標のずれから前回の画像データと現在の画像データの画面上のずれを検出し、ずれ量に相当する分だけ撮像素子１１２ｄや取得した画像データから部分画像データを切り出す位置や大きさを変位させたり、ズーム量を調整して補正してもよい。画像データからの特徴点抽出に関しては、既存の技術を利用することができるので、ここでは、その詳細な説明を省略する。
【００６４】
かかる特徴点を画像間で対応させる場合、基本的に、テンプレートマッチングにより特徴点近傍の画像の相関を検索することで、相関の高い画像間の２点を対応させることができる。しかし、前回の画像データから抽出された特徴点について、その全てを現在の画像データの特徴点と対応させる必要はない。このため、比較対象とする特徴点を撮像者に予め任意に指定させるとしてもよい。これにより定点撮像に際して、対象画像の中から時間推移による変化の少ない特徴点を意図的に指定することができる。ここで撮像者に指定させる特徴点は、画面上の１箇所である必要はなく、複数箇所を指定することで精度を上げることができる。
【００６５】
前述のテンプレートマッチングによる特徴点の対応付けは、動画像における隣接フレーム間のように、撮像装置１００のズームや回転、移動が少ない場合に有効であるとされる。しかし、今回想定している定点撮像のように、撮像装置１００の撮像条件が撮像の都度異なることが想定される場合、すなわち撮像装置１００の移動や回転があり、画像間の相関が低下するような場合には、誤って、本来、対応付けされるべきではない特徴点同士が対応付けされる可能性も生じる。
【００６６】
このとき、前回の画像データと現在の画像データのそれぞれの特徴点について、予め対応する特徴点を組にして撮像者に指定させるようにしてもよい。画像切出部１５２は、撮像者により対応する組として指定された２画像の特徴点の座標からずれ量を抽出して補正する。ここで前回の画像データと現在の画像データで対応する特徴点の組の指定に関しては、画面上の１箇所である必要はなく、複数箇所を指定して補正することで精度を上げることができる。
【００６７】
また、上述したテンプレートマッチングの代わりに、画像切出部１５２は、前回の画像データと現在の画像データから輪郭を抽出し、前回の画像データと現在の画像データの輪郭に対してパターンマッチングを行い、前回の画像データと現在の画像データのずれ量を検出し、画面上の被写体１７４の位置や大きさを一致させるように、部分画像データの切出位置や大きさ、ズーム倍率を調整してもよい。画像データからの輪郭抽出に関しては、既存の技術を利用することができるので、ここでは、その詳細な説明を省略する。
【００６８】
このとき、前回の画像データから抽出された輪郭について、比較対象となる輪郭部分を予め撮像者に任意に指定させるようにしてもよい。これにより定点撮像の際、対象画像の中から時間推移による変化の少ない輪郭部分を意図的に指定することができる。ここで撮像者の指定する輪郭部分は、画面上の１箇所である必要はなく、複数箇所を指定して精度を上げることができる。
【００６９】
さらには、前回の画像データと現在の画像データのそれぞれの輪郭部分について、撮像者に、予め対応する任意の輪郭部分を組にして指定させるようにしてもよい。画像切出部１５２は、撮像者により対応する組として指定された２画像の輪郭部分から、ずれ量を抽出して補正する。ここで前回の画像データと現在の画像データで対応する輪郭部分の組の指定は、画面上の１箇所である必要はなく、複数箇所を指定して補正することで精度を上げることができる。
【００７０】
なお、前回の画像データについての特徴点あるいは輪郭は、次回撮像するときに抽出してもよいし、予め抽出しておいてもよい。また、撮像したときに自動的に特徴点あるいは輪郭を抽出するようにしていてもよいし、画像データに特徴点あるいは輪郭データを関連付けて保存するようにしてもよい。
【００７１】
また、前回の画像データに対して、被写体１７４の色情報や光量情報が異なっている場合、画像切出部１５２は、それを補正するパラメータ（例えば、ホワイトバランス、絞り、露光等）を変化させ、色情報や光量情報が一致あるいは所定の範囲に収まるように補正を行ってもよい。
【００７２】
定点撮像で被写体１７４を撮像する際、撮像時の天候や時間帯等により、被写体１７４を撮像した画像の色合いや光量が比較する画像間で異なってしまい、被写体１７４同士の比較が困難になる場合がある。そこで、前回の画像データと現在の画像データの色合いや光量を統一するように補正することで、画像切出部１５２は、被写体１７４同士の比較を容易かつ確実に実行することができる。ここで「色合いや光量を統一する」とは、色情報や光量情報を完全に一致させる処理のみならず、所定の範囲内に収めるように、色合いや光量をほぼ同じにすることを含む。つまり、データ的に完全に同じということを必要とするわけではなく、人間の目で見て大体同じと感じる程度でよいことを意味する。
【００７３】
例えば、上述した前回の画像データと現在の画像データの対応する点あるいは部分について、画像切出部１５２は、画像データの一致比較を行う際に、色情報や光量情報についてもそれぞれ比較を行う。また、上述した特徴点や輪郭による画像のずれの補正処理に続けて、画像の色合いや光量を統一してもよい。
【００７４】
かかる補正により、撮像時の天候や時間帯に応じて変化してしまう被写体１７４の色合いや光量による、撮像画像の差異を極力抑えることが可能となるので、撮像後に画像を見比べれば観察対象物の時系列における形状の変化を容易に把握することができる。
【００７５】
また、高精度で被写体１７４を一致させることができたとしても、撮像装置１００を三脚等で固定していない場合、例えば、手で把持している場合等、手振れ等の影響で再度ずれた状態で撮像してしまうことも考えられる。そこで、前回の撮像状態に対して、画像同士（画素あるいは特徴点、輪郭等）の同一性が一旦担保されると（前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内に収まると）、そこから撮像素子１１２ｄの有効画素領域内で補正可能範囲である限り、被写体１７４に追従する、所謂、ロック状態を保持し、適切に部分画像データを切り出してもよい。かかる構成により、撮像装置１００が三脚等で固定されていない状態で定点撮像が為されたとしても、被写体１７４を確実に定点で捉えることができ、高精度な定点撮像が可能となる。
【００７６】
以上説明した撮像装置１００によって、撮像装置の撮像条件を再度設定しなければならない状態においても、（１）手動設定処理、（２）被写体位置に基づく補正処理といった、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となる。
【００７７】
（第２の実施形態：（１）手動設定処理＋（３）撮像条件に基づく補正処理）
第１の実施形態の（２）被写体位置に基づく補正処理においては、画像データを取り込んだ後、画素単位で画像比較が実行されるので、高精度な定点撮像が可能となる。しかし、その処理を実現するにあたり、手動設定処理から被写体位置に基づく補正処理に切り換わったとき、前回の画像と現在の画像とで被写体の位置が大きくずれている場合や、前回撮像時と現在で時間帯や天候の相違により画像の色合いや光量が異なる場合に、比較するべき画像同士（画素あるいは特徴点、輪郭等）の同一性を担保することが困難となる可能性がある。さらには、画像比較に非常に重い処理負荷がかかり、大量の記憶容量と帯域も必要になるため、処理のリアルタイム性を確保できない場合も生じ得る。そこで、第２の実施形態においては、画像同士の比較を伴うことなく、前回の撮像条件と現在の撮像条件とを比較して画像内の被写体のずれを画像処理によって補正する。こうすることで、撮像条件の差分を撮像素子１１２ｄの有効画素範囲からの切り出し位置の変位に直接対応させ、最終的には捨ててしまうデータとなる不要な画素範囲部分を読み込まないことで、画像処理負荷、記憶容量、帯域を軽減する。
【００７８】
（手動設定処理）
第２の実施形態においても、第１の実施形態同様、まず、手動設定処理を実行する。かかる手動設定処理は、第１の実施形態における手動設定処理と実質的に等しいので、ここではその詳細な説明を省略する。
【００７９】
（撮像条件に基づく補正処理）
画像切出部１５２は、動作モードが定点撮像モードの間、撮像条件取得部１４６取得された前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分を導出し続け、撮像条件のうち予め定められた１または複数のパラメータ、例えば、平面位置や光軸方位角の差分が予め定められた所定の範囲（例えば、平面位置±１ｍ、光軸方位角±１０°）以内となれば、その旨、撮像者に報知すると共に、前回の撮像条件と現在の撮像条件との差分に基づいて、撮像素子１１２ｄから、前回の撮像条件に対応する部分画像データを切り出す。
【００８０】
本実施形態において、撮像者は、前回の撮像時と平面位置や光軸方位角が大凡一致するように手動で撮像装置１００を移動し、画面内に所望する被写体が撮像された状態で、さらに撮像条件のずれを補正すべく、画像切出部１５２が、部分画像データの切出位置および範囲を調整することで高精度な定点撮像を実行する。
【００８１】
図４〜図９は、画像切出部１５２の動作を説明するための説明図である。画像切出部１５２は、例えば、図４（ａ）に示す撮像素子１１２ｄの有効画素領域全体における全体画像１７０から、図４（ｂ）に示す一部分の画像（部分画像１７２）を切り出して部分画像データとしている。そして、表示制御部１４４は、切り出された部分画像データに基づく部分画像をディスプレイ１１６に表示し、記憶制御部１４２は、切り出された部分画像データを画像保持部１１８に保持させる。
【００８２】
本実施形態においては、このような有効画素領域全体における部分画像データの切出位置および大きさを調整することで撮像条件のずれを補正する。例えば、画像切出部１５２は、画像の撮像条件、特に、平面位置、光軸方位角、高度、姿勢角に関して、前回と現在とを比較し、前回撮像時の撮像条件からのずれ量に相当する分だけ、撮像素子１１２ｄにおける有効画素領域からの部分画像データの切出部分を変位させることでずれを補正する。
【００８３】
このとき、前回の画像データの平面位置に対する、現在の平面位置における光軸に垂直な面上のずれのうち、画面水平方向のずれは、位置センサ１２０から取得した平面位置、方位角センサ１２２から取得した光軸方位角を用いて算出することができ、画面垂直方向のずれは、高度センサ１２４から取得した高度、姿勢角センサ１２６から取得した姿勢角（ピッチ角θ）を用いて算出することができる。上述したように、画像切出部１５２は、撮像条件が所定の範囲内となってから部分画像の切り出しを行うので、画像切出部１５２は、大凡、撮像条件が合っている状態から、手動では限界のある微調整を画像処理によって実行することができる。
【００８４】
例えば、図５（ａ）に示したように、平面位置または光軸方位角のずれにより現在の画像データが前回の画像データから画面水平方向にずれている場合、画像切出部１５２は、図５（ａ）、（ｂ）のように、そのずれ量を取得して部分画像１７２の切出位置を画面水平方向に変位させる。また、図６（ａ）に示したように、高度または姿勢角のずれにより現在の画像データが前回の画像データから画面垂直方向にずれている場合、画像切出部１５２は、図６（ａ）、（ｂ）のように、そのずれ量を取得して部分画像１７２の切出位置を画面垂直方向に変位させる。
【００８５】
また、図７（ａ）に示したように、平面位置のずれにより現在の画像データが前回の画像データから光軸方向の被写体１７４に近づく方向にずれている場合、有効画素領域における被写体１７４は前回の画像データより大きくなり、画像切出部１５２は、そのずれ量を取得し、図７（ｂ）のように、ずれ量に相当する分だけズーム倍率を低く（ズームアウト）して、図７（ｃ）のように、部分画像１７２を切り出す。また、図８（ａ）に示したように、平面位置のずれにより現在の画像データが前回の画像データから光軸方向の被写体１７４に遠のく方向にずれている場合、有効画素領域における被写体１７４は前回の画像データより小さくなり、画像切出部１５２は、そのずれ量を取得し、図８（ｂ）のように、ずれ量に相当する分だけズーム倍率を大きく（ズームイン）して、図８（ｃ）のように、部分画像１７２を切り出す。
【００８６】
ここでは、画像切出部１５２は、ズーム倍率を変化させた後、部分画像１７２を切り出しているが、かかる場合に限らず、ズーム倍率に相当する分だけ切り出す大きさを変えて、全体画像１７０から目的とする部分画像１７２を一度に切り出すこともできる。例えば、ズーム倍率の大きい部分画像１７２を切り出す場合、画像切出部１５２は、撮像素子１１２ｄからの画像の切出範囲を大きくし、その切り出した部分画像１７２の大きくなった画像サイズ（画素数）を元の画像サイズに合わせる（縮小する）よう画像処理を行う。また、ズーム倍率の小さい部分画像１７２を切り出す場合、撮像素子１１２ｄからの画像の切出範囲を小さくし、その切り出した部分画像１７２の小さくなった画像サイズ（画素数）を元の画像サイズに合わせる（拡大する）よう画像処理を行う。このようにして被写体１７４の大きさを合わせた後に、光軸に垂直な面（画面左右方向あるいは画面上下方向）のずれを合せる必要があれば、画像切出部１５２は、図５および図６を用いて説明したように、そのずれ量を取得して部分画像１７２の切出位置を変位させる。
【００８７】
また、図９（ａ）に示したように、撮像装置１００の姿勢角、特にロール角φの回転により現在の画像データが前回の画像データから光軸を中心とした回転方向にずれている場合、画像切出部１５２は、そのずれ量を取得し、図９（ａ）、（ｂ）のように、ずれ量に相当する分だけ部分画像１７２の切出位置を回転方向に変位させる。このとき、画像切出部１５２は、図９（ｃ）のように、必要な画素領域を十分に包含するように大きく設定した候補画像１７６を撮像素子１１２ｄから一旦取り込んだ後に、画像処理によって部分画像１７２を切り出してもよい。
【００８８】
ここで、定点撮像を目的とせず、撮像条件が取得されていない場合や、定点撮像を目的としているが当該画像データの撮像がその初回にあたる場合、撮像条件自体が保持されていないので切出位置や大きさを自由に設定することができる。しかし、切出位置や大きさを自由に設定できるとすると、切出の大きさが大きすぎて後述する切出範囲の調整が困難になったり、小さすぎて後述する画像比較の精度が劣化することがある。そこで、画像切出部１５２は、撮像条件が取得されなかった場合、例えば、全体画像１７０の１／４倍（縦横１／２）といったように、予め定められた範囲で部分画像１７２を切り出す。したがって、撮像素子１１２ｄは、後述する画像の切り出しにおいて、切り出した後の画像も十分な解像度が得られる程度、解像度が高くなっている。
【００８９】
以上、説明したように、現在の撮像条件を前回の撮像条件と一致するように部分画像１７２を切り出すことで、前回の撮像条件で撮像したものと同等の画像を最大限再現できる。また、ここでは、処理負荷が重い画像同士の比較を伴うことなく、前回の撮像条件と現在の撮像条件とを比較して画像内の被写体のずれを、撮像素子１１２ｄの切出位置を変位させるといった単純な画像処理によって補正することができるので、最終的には捨ててしまうデータとなる有効画素範囲の不要な部分を読み込まずにすみ、画像処理負荷、記憶容量、帯域を軽減することが可能となる。さらに、前回撮像時と現在で時間帯や天候の相違により画像の色合いや光量が異なる等、前回の画像と現在の画像とで被写体の同一性を担保するのが困難な場合であっても、その画像自体を利用していないので、高精度の定点撮像が可能となる。
【００９０】
（第３の実施形態：（１）手動設定処理＋（３）撮像条件に基づく補正処理＋（２）被写体位置に基づく補正処理）
第２の実施形態においては、前回の撮像時と大凡一致するように撮像装置１００を手動で移動した後、撮像条件に基づくずれの補正によって現在の画像データと前回の画像データとの被写体１７４の画面上の位置の一致精度を高めることができる。しかし、各センサの測定誤差等により、画面上の位置が厳格に一致するとは限らない。
【００９１】
そこで、本実施形態の画像切出部１５２は、（１）手動設定処理と（３）撮像条件に基づく補正処理とを実行した後、さらに、（２）被写体位置に基づく補正処理を行う。かかる（１）、（２）、（３）の具体的な処理は、第１の実施形態および第２の実施形態における処理と実質的に等しいので、ここではその詳細な説明を省略し、図１０に示すフローチャートに基づいて、全体的な処理の流れを説明する。
【００９２】
（（１）手動設定処理）
動作モードとして定点撮像モードが選択されると、位置センサ１２０は、撮像部１１２の平面位置を検出し（Ｓ２００）、方位角センサ１２２は、撮像部１１２の光軸方位角を検出し（Ｓ２０２）、高度センサ１２４は、撮像部１１２の高度を検出し（Ｓ２０４）、姿勢角センサ１２６は、撮像部１１２の姿勢角を検出する（Ｓ２０６）。
【００９３】
続いて、画像切出部１５２は、リファレンスとなる前回の画像データに関する撮像条件が取得されているか否か判定し（Ｓ２０８）、まだ取得されていない場合（Ｓ２０８におけるＮＯ）、画像データ抽出部１５０は、検出された現在の撮像条件（平面位置、光軸方位角、高度、姿勢角）を取得し、その撮像条件との差分が所定の範囲内である撮像条件を有する１または複数の画像データを画像保持部１１８から抽出する（Ｓ２１０）。画像データ選択促進部１４８は、このように抽出された１または複数の画像データから１の画像データを撮像者に選択させる（Ｓ２１２におけるＹＥＳ）。こうして、撮像条件取得部１４６は、選択された画像データに関連付けられた、撮像を所望する平面位置および光軸方位角を含む撮像条件を取得する（Ｓ２１４）。撮像者は、定点撮像を実行しようとしている地点の近くにいるはずなので、何らの撮像条件の入力を強いられず、容易に所望する画像データを選択することが可能となる。
【００９４】
このようにして、リファレンスとなる前回の画像データに関する撮像条件が取得されると（Ｓ２０８におけるＹＥＳ）、撮像部１１２は、被写体１７４を撮像して画像データを生成し（Ｓ２１６）、画像切出部１５２は、前回の撮像条件と現在の撮像条件との差分を導出し、撮像条件の差分が予め定められた所定の範囲、例えば、平面位置±１ｍ、光軸方位角±１０°以内であるか否か判定する（Ｓ２１８）。所定の範囲を超えていると（Ｓ２１８におけるＮＯ）、表示制御部１４４は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と現在の平面位置、光軸方位角、高度、姿勢角を表示し、または、前回の撮像時と現在との平面位置、光軸方位角、高度、姿勢角の差分を表示することで、撮像者に撮像装置１００をどの程度移動（変動）させるかを報知する（Ｓ２２０）。こうして撮像者は、生成される画像データの目視を伴うことなく、容易に撮像装置１００を定点撮像可能な位置に移動することができる。
【００９５】
（（３）撮像条件に基づく補正処理）
前回の撮像条件と現在の撮像条件との差分が所定の範囲以内であり、撮像装置１００が定点撮像可能な位置にあると判定すると（Ｓ２１８におけるＹＥＳ）、画像切出部１５２は、その旨、撮像者に報知すると共に（Ｓ２２２）、撮像条件の差分に基づく切出処理が完了したか否か判定し（Ｓ２２４）、まだ、完了していなければ（Ｓ２２４におけるＮＯ）、前回の撮像条件と現在の撮像条件との差分に基づいて、撮像素子１１２ｄから、前回の撮像条件に対応する部分画像データを切り出す（Ｓ２２６）。このとき、画像切出部１５２は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と、現在の平面位置、光軸方位角、高度、姿勢角との差分に基づいて、位置ずれ量に相当する分だけ部分画像データを切り出す領域を変位させて、また、ズーム倍率を変化させて所望する部分画像データを切り出す。こうして、撮像条件の差分に基づく切出処理が完了する。
【００９６】
（（２）被写体位置に基づく補正処理）
また、撮像条件の差分に基づく切出処理が完了すると（Ｓ２２４におけるＹＥＳ）、画像比較に基づく切出処理が完了したか否か判定され（Ｓ２２８）、完了してなければ（Ｓ２２８におけるＮＯ）、画像切出部１５２は、前回の画像データと現在の画像データとの比較によって部分画像データの切出位置を調整する（Ｓ２３０）。このとき、部位選択促進部１５４が、撮像者に画像データ中の部位を選択させて、その選択した部位に関してのみ画像を比較してもよい。こうして画像同士が一致すると、その一致した画像に対して切出位置を調整する。そして、画像比較に基づく切出処理が完了すると（Ｓ２２８におけるＹＥＳ）、撮像者は、撮像を開始することが可能となり、撮像者の操作部１１０に対する定点撮像開始の操作入力に応じて（Ｓ２３２におけるＹＥＳ）、切り出された部分画像データを画像保持部１１８に保持させる（Ｓ２３４）。
【００９７】
本実施形態においては、（２）被写体位置に基づく補正処理を行う前に、（３）撮像条件に基づく補正処理を行うことによって、前回の撮像条件で撮像したものと同等の画像を最大限再現できる。したがって、現在の撮像における目的の被写体１７４の画面上の位置と前回の撮像における被写体１７４の画面上の位置とが非常に近づくので、（２）被写体位置に基づく補正処理においても、その比較範囲を絞ることが可能となり、現在と前回とで被写体１７４の色合いや光量等が異なって一致度が低い場合においても、特定率を上げることが可能となり、誤判定を起こすことなく、（２）被写体位置に基づく補正処理による補正精度を高めることができる。このように、（１）手動設定処理と（３）撮像条件に基づく補正処理と（２）被写体位置に基づく補正処理といった一連の処理を行うことで、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となり、経過観察や経年観察の場合においても、時間的推移による変化や相違点等をより明確に把握することができる。
【００９８】
さらに、コンピュータを、撮像装置１００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９９】
（第４の実施形態：撮像装置３００）
定点撮像を行うための準備段階として、第１〜３の実施形態では、平面位置や高度といった撮像条件が前回の撮像時と大凡一致するように撮像装置１００を手動で移動した。第４の実施形態では、撮像装置３００に表示された現在の画像データに基づく画像と前回の画像データに基づく画像とを目視しながら前回の撮像時と、被写体１７４の画面上の位置や大きさが大凡一致するように撮像装置３００を手動で移動する。
【０１００】
図１１は、撮像装置３００の概略的な構成を示した機能ブロック図である。撮像装置３００は、操作部１１０と、撮像部１１２と、データ処理部１１４と、ディスプレイ１１６と、画像保持部１１８と、位置センサ１２０と、方位角センサ１２２と、高度センサ１２４と、姿勢角センサ１２６と、中央制御部１２８とを含んで構成される。また、中央制御部１２８は、画像制御部１４０、記憶制御部１４２、表示制御部３４４、撮像条件取得部３４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部３５２、部位選択促進部１５４としても機能する。第１の実施形態において既に述べた操作部１１０、撮像部１１２、データ処理部１１４、ディスプレイ１１６、画像保持部１１８、位置センサ１２０、方位角センサ１２２、高度センサ１２４、姿勢角センサ１２６、中央制御部１２８、画像制御部１４０、記憶制御部１４２、画像データ選択促進部１４８、画像データ抽出部１５０、部位選択促進部１５４は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示制御部３４４、撮像条件取得部３４６、画像切出部３５２を主に説明する。
【０１０１】
撮像条件取得部３４６は、第１の実施形態同様、撮像を所望する平面位置および光軸方位角を含む撮像条件を取得するのに加え、撮像を所望する被写体１７４の画面上の位置および大きさを示す被写体情報を取得する。
【０１０２】
表示制御部３４４は、撮像条件取得部３４６が取得した撮像条件を含む前回の画像データを、ディスプレイ１１６を２分割した一方に、または、半透過の状態で画面全体に表示する。このとき、例えば、ディスプレイ１１６上にマーカーを表示して、撮像者が目的とする方向に撮像装置３００の光軸方位角や姿勢を向けることを促すＧＵＩ（Graphical User Interface）機能を併用してもよい。そして、表示制御部３４４は、現在の画像データを、２分割した他方に、または、画面全体に表示する。撮像者は、ディスプレイ１１６を観察しながら、前回の画像データの所望する被写体１７４と、現在の画像データ（スルー画像）における被写体１７４とが同一位置および同一の大きさになるように、撮像装置３００を移動する。
【０１０３】
このとき、表示制御部３４４は、前回の画像データをそのまま重畳せずに、構図画像としてディスプレイ１１６に表示することもできる。ここで、構図画像とは、定点撮像時にスルー画像と同時に表示して撮像位置を決定する際のリファレンスとなる画像であり、例えば、撮像画像の輪郭抽出を行う、画素を間引いて疎にする、撮像画像を単色（例えばモノクロ、セピア）にする等によって生成される。
【０１０４】
画像切出部３５２は、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体１７４の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分に基づいて、撮像素子１１２ｄから部分画像データを切り出す。このとき画像切出部３５２は、第３の実施形態同様、撮像条件に基づく補正処理を行った後、被写体位置に基づく補正処理を遂行する。
【０１０５】
かかる撮像装置３００によって、撮像装置３００の撮像条件を再度設定しなければならない状態においても、（１）手動設定処理、（３）撮像条件に基づく補正処理、（２）被写体位置に基づく補正処理といった、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となる。ここでは、（１）手動設定処理＋（３）撮像条件に基づく補正処理＋（２）被写体位置に基づく補正処理の処理のみを説明したが、画像を目視しながらの手動設定処理においても、（１）手動設定処理＋（３）撮像条件に基づく補正処理や（１）手動設定処理＋（２）被写体位置に基づく補正処理を実行できるのは言うまでもない。
【０１０６】
また、前回の撮像画像と色合いや光量に関する撮像条件を合せることで、定点撮像による被写体１７４の比較を行いやすくすることができる。こうして、撮像装置３００を長時間固定しなくとも、前回の撮像条件と同等の撮像条件の下、定点撮像を高精度に再現することができるので、経過観察や経年観察の場合に、時間的推移による変化や相違点等をより明確に把握することが可能となる。
【０１０７】
さらに、上述した撮像装置３００を用いて定点撮像を行う撮像方法も提供される。ただし、第１の実施形態で図９を用いて説明した撮像方法と、差分判定ステップＳ２１８において、撮像条件の差分を判定せず、被写体情報と現在の画像データ中の被写体１７４の画面上の位置および大きさとの差分が所定の範囲以内か否か判定する点が異なるのみであり、それ以外の処理は実質的に等しいので、ここでは、重複説明を省略する。
【０１０８】
また、コンピュータを、撮像装置３００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。
【０１０９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１１０】
本発明は、被写体の定点撮像が可能な撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１１１】
１００、３００ …撮像装置
１１８ …画像保持部
１２０ …位置センサ
１２２ …方位角センサ
１２４ …高度センサ
１２６ …姿勢角センサ
１４０ …画像制御部
１４２ …記憶制御部
１４４、３４４ …表示制御部
１４６、３４６ …撮像条件取得部
１４８ …画像データ選択促進部
１５０ …画像データ抽出部
１５２、３５２ …画像切出部
１５４ …部位選択促進部
【技術分野】
【０００１】
本発明は、被写体の定点撮像（定点撮影）が可能な撮像装置および撮像方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて、植物の成長過程を記録したり、四季の移り変わりによる風景の変化を記録する、所謂、定点撮像（定点撮影）を行うことがある。この定点撮像では、撮像装置を例えば三脚を使う等して、所定の平面位置、高さ、撮像装置の姿勢角および所定の光軸方位角（光軸の方位角）に固定し、またズーム機能を有する場合はズーム倍率も固定して撮像することが好ましい。
【０００３】
しかし、一般的なユーザにおいては、自身が所有する撮像装置が定点撮像に専有され、撮像装置を所定の平面位置や高さに長時間固定したままにすることは現実的ではなく、定点撮像を行っている期間中に一時的に定点撮像を休止して、他の被写体を撮像する用途にも利用するのが実情である。このような実情を考慮した上で定点撮像を行う場合、定点撮像としての撮像タイミング毎に、設定した撮像条件（撮像の際の平面位置、光軸方位角、高度、姿勢角、ズーム倍率（画角）等）を再現しなければならならず、その設定に長時間を費やしていた。
【０００４】
例えば、撮像条件を再現するため、前回撮像時の画像を印画紙等に出力しておき、撮像者が、印画紙とビューファインダ内の画像とを比較しつつ、手作業で前回と同一の撮像条件となるように撮像装置を移動させる等、設定に手間と時間を要していた。また、このように手間と時間を費やした割に、実際に撮像したものは前回の撮像時と同一の画像にならないことが多く、ずれが生じるといった問題もあった。
【０００５】
そこで、前回の撮像時における画像を現在のスルー画像と重畳させてビューファインダに表示し、前回の撮像時における画像とスルー画像とが重なり合うように案内して、撮像装置の位置合わせを撮像者に手動で行わせる技術が開示されている（例えば、特許文献１）。また、前回の撮像時と現在の撮像時とにおける平面位置や光軸方位角が一致していることを前提に、温度変化による光軸のずれを撮像素子における有効画素範囲の切り出し位置で調整する技術も知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０２６８７２号公報
【特許文献２】特開２００７−１２９４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、撮像装置を所定の平面位置に長時間固定したままにすることができない場合には、定点撮像における撮像タイミング毎に、撮像条件を前回撮像時の状態に再現させなければならない。しかし、特許文献１の技術では、前回撮像時の画像と現在のスルー画像との位置あわせを、撮像者がビューファインダを目視しながら手作業によって行っているだけなので、前回の画像に高精度で合わせ込むことができなかった。また、特許文献２の技術は、撮像装置の平面位置や光軸方位角が前回の撮像時と一致していることを前提としており、平面位置や光軸方位角がずれた場合に、その平面位置や光軸方位角を補正することができなかった。
【０００８】
いずれにしても、目視を通じた撮像者による手動の位置合わせのみでは、前回の画像との一致度に限界があり、高精度な定点撮像には対応できない問題があった。また、前回撮像時の画像と現在のスルー画像とのずれが平面位置や光軸方位角といった撮像状態の固定位置に起因するずれなのか、ズーム倍率等、撮像装置の制御に起因するずれなのかをユーザが目視で判断するのは困難であり、定点撮像を高精度で行うための処理が画一化されていなかった。
【０００９】
そこで本発明は、定点撮像に際し、撮像装置を長時間固定できない場合においても、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能な撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、被写体の定点撮像を行う撮像装置（１００）は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部（１４６）と、被写体を撮像して画像データを生成する撮像部（１１２）と、撮像部の平面位置を検出する位置センサ（１２０）と、撮像部の光軸方位角を検出する方位角センサ（１２２）と、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す画像切出部（１５２）とを備えることを特徴とする。
【００１１】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置（３００）は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得する撮像条件取得部（３４６）と、被写体を撮像して画像データを生成する撮像部と、撮像部の平面位置を検出する位置センサと、撮像部の光軸方位角を検出する方位角センサと、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出す画像切出部（３５２）とを備えることを特徴とする。
【００１２】
撮像装置は、撮像部の高度を検出する高度センサ（１２４）と、撮像部の姿勢角を検出する姿勢角センサ（１２６）と、をさらに備え、撮像条件には、撮像部の高度および姿勢角も含まれていてもよい。
【００１３】
撮像装置は、撮像部で撮像した画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する画像保持部（１１８）をさらに備え、撮像条件取得部は、画像保持部に保持された画像データに関連付けられた撮像条件を取得してもよい。
【００１４】
撮像装置は、画像保持部に保持された画像データから、画像データに関連付けられた、画像データを撮像したときの撮像条件と所望の撮像条件との差分が所定の範囲内である１または複数の画像データを抽出する画像データ抽出部（１５０）と、抽出した１または複数の画像データから１の画像データを撮像者に選択させる画像データ選択促進部（１４８）と、をさらに備え、撮像条件取得部は、選択された画像データに関連付けられた撮像条件を取得してもよい。
【００１５】
画像切出部は、さらに、画像保持部に保持された画像データと現在の画像データとを比較して画像間の変位を求め、部分画像データの切出位置を調整してもよい。
【００１６】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置（３００）は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部（３４６）と、被写体を撮像して画像データを生成する撮像部と、撮像部の平面位置を検出する位置センサと、撮像部の光軸方位角を検出する方位角センサと、取得された前回の撮像条件と、位置センサと方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前回の画像に対応する部分画像データを切り出す画像切出部（３５２）とを備えることを特徴とする。
【００１７】
上記課題を解決するために、被写体の定点撮像を行う本発明の他の撮像装置は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報を取得する撮像条件取得部と、被写体を撮像して画像データを生成する撮像部と、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前回の画像に対応する部分画像データを切り出す画像切出部とを備えることを特徴とする。
【００１８】
撮像装置は、撮像者に画像データ中の部位を選択させる部位選択促進部（１５４）をさらに備え、画像切出部は、選択された部位または選択された部位を除く他の領域に関して画像間の変位を求めてもよい。
【００１９】
上記課題を解決するために、本発明の撮像方法は、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前回の撮像条件と現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出すことを特徴とする。
【００２０】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分に基づいて、前回の撮像条件に対応する部分画像データを切り出すことを特徴とする。
【００２１】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、撮像部の平面位置を検出し、撮像部の光軸方位角を検出し、被写体を撮像して画像データを生成し、前回の撮像条件と、検出した平面位置と光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前回の画像に対応する部分画像データを切り出すことを特徴とする。
【００２２】
上記課題を解決するために、本発明の他の撮像方法は、撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報を取得し、被写体を撮像して画像データを生成し、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前回の画像に対応する部分画像データを切り出すことを特徴とする。
【発明の効果】
【００２３】
以上説明したように本発明の撮像装置は、定点撮像に際し、撮像装置を長時間固定できない場合においても、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像を可能とする。
【図面の簡単な説明】
【００２４】
【図１】撮像装置の概略的な構成を示した機能ブロック図である。
【図２】撮像部の姿勢角を定義するための外観斜視図である。
【図３】部位選択促進部の動作を説明するための説明図である。
【図４】画像切出部の動作を説明するための説明図である。
【図５】画像切出部の動作を説明するための説明図である。
【図６】画像切出部の動作を説明するための説明図である。
【図７】画像切出部の動作を説明するための説明図である。
【図８】画像切出部の動作を説明するための説明図である。
【図９】画像切出部の動作を説明するための説明図である。
【図１０】撮像方法の全体的な流れを示したフローチャートである。
【図１１】撮像装置の概略的な構成を示した機能ブロック図である。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２６】
定点撮像とは、所定の時間間隔を空けて、大凡同じ平面位置および高度で、光軸方位角や姿勢角を合わせ、同一の被写体を撮像することである。本来、定点撮像を行う場合、その定点撮像の期間、撮像装置を所定の位置に固定するのが望ましいが、一般的な撮像者（ユーザ）は、撮像装置を他の用途にも用いるため長時間固定することができない。したがって、撮像装置を他の用途に用いた後でも、定点撮像の撮像条件を再現できるようにしなければならない。本実施形態では、画像処理によって撮像条件を補正できる範囲に被写体を捉えるまで、撮像装置１００の撮像条件を手動で設定し、その後、画像処理によって被写体を前回の撮像時と一致させるといった画一的な処理手順で高精度の定点撮像を可能とする。以下、このような定点撮像が可能となる撮像装置１００の概略的な構成について述べる。
【００２７】
（撮像装置１００）
図１は、撮像装置１００の概略的な構成を示した機能ブロック図である。図１では、データの流れを実線の矢印で、制御信号を点線の矢印で示している。撮像装置１００は、操作部１１０と、撮像部１１２と、データ処理部１１４と、ディスプレイ１１６と、画像保持部１１８と、位置センサ１２０と、方位角センサ１２２と、高度センサ１２４と、姿勢角センサ１２６と、中央制御部１２８とを含んで構成される。したがって、撮像装置１００は、上記の構成を含む、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ゲーム機器等、様々な電子機器に適用できる。また、撮像装置１００は、その動作モードとして、通常の撮像を行う撮像モード、定点撮像を行う定点撮像モード、および、撮像モードまたは定点撮像モードによって生成された画像データを再生する再生モード等で動作可能である。
【００２８】
操作部１１０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、ディスプレイ１１６に重畳されたタッチパネル等で構成され、撮像者の操作入力を受け付ける。
【００２９】
撮像部１１２は、撮像レンズ１１２ａと、焦点調整に用いられるフォーカスレンズ１１２ｂと、露光調整に用いられる絞り１１２ｃと、撮像レンズ１１２ａを通じて入射した入射光を電気データ（画像データ）に変換する撮像素子１１２ｄと、フォーカスレンズ１１２ｂ、絞り１１２ｃおよび撮像素子１１２ｄをそれぞれ駆動させる駆動部１１２ｅとを含んで構成され、光軸方向に存在する被写体を撮像して画像データ（静止画および動画のいずれのデータも含む）を生成する。撮像部１１２は、生成した画像データをデータ処理部１１４に送信する。ここで、撮像素子１１２ｄは、後述する画像切出部１５２に応じて、画像データの切出処理を行う。切出処理は、撮像素子１１２ｄ上の有効画素範囲から画像を切り出す（取り込む）範囲を変位させることで行われる。具体的に、ＣＭＯＳによる撮像素子１１２ｄでは、ＲＯＩ（Region of Interest：読出範囲の指定）によって不要な部分を読み飛ばし、撮像範囲内の任意の範囲を読み出す機能を利用する。したがって、撮像素子１１２ｄは、後述する画像の切り出しにおいて、切り出した後の画像も十分な解像度が得られる程度、解像度が高くなっている。こうすることで、切出処理によって残った部分を読み出さなくてよくなるので、処理負荷を軽減し、保持する画像の容量を低減することが可能となる。また、フォーカスレンズ１１２ｂのフォーカスを被写体に合わせるべく、撮像部１１２には、距離センサ（図示せず）も備わっている。
【００３０】
データ処理部１１４は、撮像部１１２から受信した画像データに、ガンマ補正、ニー処理等の所定の処理を施し、処理後の画像データをディスプレイ１１６または画像保持部１１８に送信する。
【００３１】
ディスプレイ（ビューファインダ）１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ等で構成され、後述する表示制御部１４４の制御指令に基づき、撮像モードまたは定点撮像モードにおいてデータ処理部１１４から受信した画像データを表示し、再生モードにおいて画像保持部１１８に保持された画像データ等を表示する。撮像者は、撮像モードまたは定点撮像モード中、ディスプレイ１１６に表示された画像を視認しつつ操作部１１０を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。
【００３２】
画像保持部１１８は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ（Random Access Memory）等で構成され、後述する記憶制御部１４２の制御指令に基づき、撮像モードまたは定点撮像モードにおいて、データ処理部１１４で処理された画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する。撮像条件は、例えば、撮像日時、撮像したときの撮像装置１００の平面位置、撮像したときの撮像装置１００の光軸方位角、撮像したときの撮像装置１００の高度、撮像したときの撮像装置１００の姿勢角、被写体との距離、ズーム倍率（画角）、絞り、シャッター速度、ＩＳＯ感度設定値、周辺光量、ストロボ発光量もしくはチャージ量、画素数、圧縮率、および、記録状態の群から選択された１または複数のパラメータを含む。また、画像保持部１１８は、ＤＶＤやＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に画像データを保持させる装置として構成されてもよい。このとき、画像データをＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣ等の所定の符号化方式で符号化することもできる。
【００３３】
位置センサ１２０は、３以上のＧＰＳ（Global Positioning System）衛星（図示せず）が発信するＧＰＳ信号を復調して、発信元のＧＰＳ衛星がＧＰＳ信号を発信した時刻（発信時刻）と、それぞれのＧＰＳ衛星の位置とを取得する。そして、位置センサ１２０は、自体が有するクロックに基づいて、ＧＰＳ信号を受信した時刻（受信時刻）を抽出し、抽出した受信時刻と、取得した発信時刻とからそれぞれのＧＰＳ衛星と当該撮像装置１００との相対距離を算出し、さらに、三点測位法に基づいて、ＧＰＳ衛星のそれぞれの位置から算出した相対距離にある当該撮像装置１００の平面位置（緯度、経度情報）を導出する。ここで、位置センサ１２０はＧＰＳ信号を用いて撮像装置１００の平面位置を導出しているが、位置導出の方法としてはＧＰＳ信号を用いるものに限定されない。例えば、平面位置が固定されている少なくとも３つの電波塔からの距離を用い三点測位法に基づいて平面位置を導出したり、撮像装置１００に方位計と３軸の加速度計を搭載し加速度計の積分値を用いて内部的に平面位置を導出したり、既存の様々な平面位置の導出方法を適用することができる。
【００３４】
方位角センサ１２２は、地磁気センサや複数のＧＰＳ素子等を用いて構成され、水平面上で撮像部１１２の光軸が向いている光軸方位角を検出する。
【００３５】
高度センサ１２４は、高度計、ＧＰＳ素子等を用いて構成され、撮像部１１２の高度を検出する。ただし、本実施形態では、前回撮像時の撮像条件を再現できれば足り、赤外線や超音波を照射して地面との重力方向の距離を測定する距離センサによっても目的を達成できる。また、このような地面との距離と、地図データを用いた等高線による、その地面の高度情報とを合わせることで、撮像装置１００の高度を検出することもできる。
【００３６】
姿勢角センサ１２６は、加速度センサ等の慣性センサ、または、それに角速度センサや角加速度センサ等を加えて構成され、撮像装置１００の特に撮像部１１２における姿勢角（ピッチ角θおよびロール角φ）を導出する。したがって、以下の説明では、撮像部１１２の姿勢角に言及しているが、撮像部１１２の姿勢角は当然、撮像装置１００の姿勢角と読み替えることができる。また、他の平面位置、光軸方位角、高度の各値も、撮像部１１２と撮像装置１００の一方に対して検出しても他方に読み替えることができる。
【００３７】
図２は、撮像部１１２の姿勢角を定義するための外観斜視図である。撮像装置１００としての図２（ａ）に示すデジタルスチルカメラや図２（ｂ）に示すデジタルビデオカメラにおいて、撮像レンズ１１２ａの光軸を撮像部１１２のロール軸とし、そのロール軸の軸回りの角度をロール角φとする。また、ロール軸と垂直の軸であって本体側面方向に延びるピッチ軸の軸回りの角度をピッチ角θ、ロール軸と垂直の軸であって本体天面方向に延びるヨー軸の軸回りの角度を光軸方位角（方位角）ψとする。ここで、ピッチ角や光軸方位角はそれぞれチルト角やパン角と呼ぶ場合もある。例えば、姿勢角センサ１２６が３軸の加速度センサで構成されている場合、ピッチ角θやロール角φは以下の様に導出される。すなわち、重力加速度をＧ、ロール軸方向の加速度の測定値をＧφとすると、ピッチ角θ＝ｓｉｎ―１（−Ｇφ／Ｇ）となる。同様に、ピッチ軸方向の加速度の測定値をＧθとすると、ロール角φ＝ｓｉｎ―１（Ｇθ／Ｇ）となる。また、加速度センサは、ピッチ角θやロール角φの回転を伴わない直線的な加速度も感知してしまうので、そのような角速度を感知しない角速度センサや角加速度センサを併用し回転を伴わない加速度を排除して、ピッチ角θやロール角φを高精度に検出することもできる。
【００３８】
中央制御部１２８は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１００全体を管理および制御する。また、中央制御部１２８は、画像制御部１４０、記憶制御部１４２、表示制御部１４４、撮像条件取得部１４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部１５２、部位選択促進部１５４としても機能する。
【００３９】
画像制御部１４０は、撮像者の操作入力に応じて撮像部１１２を制御する。例えば、画像制御部１４０は、適切な画像データが得られるように、フォーカスレンズ１１２ｂ、絞り１１２ｃ、撮像素子１１２ｄを駆動部１１２ｅに駆動させ、被写体に焦点を合わせたり、露光、ズーム倍率を調整する。
【００４０】
記憶制御部１４２は、撮像モードまたは定点撮像モードにおいて、データ処理部１１４での処理が完了した画像データを画像保持部１１８に保持させる。このとき、記憶制御部１４２は、撮像日時、位置センサ１２０から取得した平面位置、方位角センサ１２２から取得した光軸方位角、高度センサ１２４から取得した高度、姿勢角センサ１２６から取得した姿勢角（ピッチ角θ、ロール角φ）、被写体との距離、撮像部１１２から取得したズーム倍率（画角）、絞り、シャッター速度、ＩＳＯ感度設定値、周辺光量、ストロボ発光量もしくはチャージ量、画素数、圧縮率、および、記録状態等の撮像条件を画像データに関連付けて保持させる。
【００４１】
表示制御部１４４は、撮像装置１００の動作モードが撮像モードまたは定点撮像モードである間、データ処理部１１４で処理された画像データに基づく画像をディスプレイ１１６に表示し、動作モードが再生モードである間、画像保持部１１８に保持された画像データに基づく画像をディスプレイ１１６に表示する。撮像条件取得部１４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部１５２、部位選択促進部１５４の動作は後述する。
【００４２】
（定点撮像の処理手順）
本実施形態における撮像装置１００は、大凡、以下の処理手順に従って、定点撮像の撮像条件を容易かつ画一的に再現する。すなわち、（１）平面位置や高度といった撮像条件が前回の撮像時と大凡一致するように撮像装置１００を手動で移動する（以下、単に「手動設定処理」と言う。）。なお、このときユーザが目視で撮像画像を確認することは必ずしも必要とされない。そして、撮像条件が大凡一致したら、（２）前回の画像と現在の画像とに基づく被写体の画面上の位置や大きさのずれを画像処理によって補正する（以下、単に「被写体位置に基づく補正処理」と言う。）。こうして、高精度な定点撮像が可能となる。ここで、前回の撮像という文言は、厳密に定点撮像における一回前の撮像のみを指さず、過去の任意のタイミングにおける撮像も含む意である。
【００４３】
また、他の処理手順として、（１）手動設定処理を行い、撮像条件が大凡一致したら、（３）手動では修正しきれない、前回の撮像条件と現在の撮像条件とに基づくずれを画像処理によって補正する（以下、単に「撮像条件に基づく補正処理」と言う。）ことでも、高精度な定点撮像が可能となる。さらに他の処理手順として、（１）手動設定処理を行い、（３）撮像条件に基づく補正処理を行った後、（２）被写体位置に基づく補正処理を行うこともできる。
【００４４】
このように、定点撮像を再現するため段階的な処理を行うのは、撮像装置１００の撮像条件の再現を手動（（１）手動設定処理）のみによって行っても定点撮像の再現精度には限界があるからであり、かかる処理に続いて、（２）被写体位置に基づく補正処理や（３）撮像条件に基づく補正処理を実行することで、定点撮像の再現精度を高めることを目的としている。以下、上記撮像装置１００を用いて、（１）手動設定処理と（２）被写体位置に基づく補正処理とを行う実施形態を第１の実施形態に、（１）手動設定処理と（３）撮像条件に基づく補正処理とを行う実施形態を第２の実施形態に、（１）手動設定処理と（３）撮像条件に基づく補正処理と（２）被写体位置に基づく補正処理とを全て行う実施形態を第３の実施形態に示す。
（第１の実施形態：（１）手動設定処理＋（２）被写体位置に基づく補正処理）
【００４５】
（手動設定処理）
動作モードが定点撮像モードであった場合、撮像条件取得部１４６は、定点撮像モードのリファレンスとして撮像を所望する撮像条件を取得する。具体的に、定点撮像を行う場合、撮像条件取得部１４６は、その定点撮像の基準となる撮像条件、例えば、平面位置、光軸方位角、高度、姿勢角等を、操作部１１０を通じて撮像者に入力させ、定点撮像の撮像条件として設定する。
【００４６】
画像データ選択促進部１４８は、画像保持部１１８に、同定点撮像において過去に生成された画像データが撮像条件に関連付けられて保持されている場合、保持された１または複数の画像データから１の画像データを撮像者に選択させる。また、撮像条件取得部１４６は、上述した撮像者による入力に代え、画像データ選択促進部１４８を通じて選択された画像データに関連付けられた撮像条件を取得することもできる。
【００４７】
定点撮像は、そもそも、過去に生成した画像データと同じ撮像条件で撮像することを目的としている。ここでは、画像保持部１１８に保持された過去の画像データを直接選択し、その画像データに関連付けられた撮像条件そのものを取得することで、撮像者は、操作部１１０を通じた煩雑な手動入力を伴うことなく、撮像条件の基準とするのに相応しい画像データを選択し、過去に生成した画像データと同じ撮像条件の下、容易に現在の撮像を行うことができる。
【００４８】
撮像条件取得部１４６が操作部１１０を通じて撮像者の所望する前回の撮像条件を取得した場合、画像データ抽出部１５０は、画像保持部１１８に保持された１または複数の画像データから、画像データを撮像したときの撮像条件と所望の前回の撮像条件との差分が所定の範囲（補正可能な範囲）内である１または複数の画像データを抽出する。そして、画像データ選択促進部１４８は、画像データ抽出部１５０が抽出した１または複数の画像データから１の画像データを撮像者に選択させ、撮像条件取得部１４６は、選択された画像データに関連付けられた撮像条件を取得する。こうして撮像者は、撮像条件のうちの一部（例えば、平面位置や高度）の大凡の値を入力するだけで、その入力された平面位置や高度の近くで撮像した前回の画像データを参照することができ、所望する画像データに基づいて、撮像者の意志に沿った定点撮像を実施することが可能となる。
【００４９】
また、画像データ抽出部１５０は、操作部１１０を通じた撮像者の所望する撮像条件の操作入力がなくとも、例えば、定点撮像モードにおいて、現在の平面位置や高度を取得し、撮像条件に示された位置や高度との差分が所定の範囲内である１または複数の画像データを抽出してもよい。そして、画像データ選択促進部１４８は、画像データ抽出部１５０が抽出した１または複数の画像データから１の画像データを撮像者に選択させ、撮像条件取得部１４６は、選択された画像データに関連付けられた撮像条件を取得する。撮像者は、定点撮像を実行しようとしている地点の近くにいることが想定されるので、かかる撮像装置１００の平面位置や高度に基づいて画像データを抽出する構成により、撮像者に何ら撮像条件の入力を強いることなく、容易に所望する画像データを選択させることが可能となる。
【００５０】
このように撮像条件取得部１４６で取得された前回の撮像条件を用いて、撮像者は、前回の撮像時と現在とで平面位置や高度が大凡一致するように撮像装置１００を手動で移動し、光軸方位角や姿勢角を所望する角度に設定する。このとき、表示制御部１４４は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と現在の平面位置、光軸方位角、高度、姿勢角を表示し、または、前回撮像時と現在の平面位置、光軸方位角、高度、姿勢角の差分を表示し、さらに、現在の撮像条件を前回の撮像条件に一致させるための撮像装置１００の変位を、その方向を示す指標（例えば矢印）等と共に表示することで、撮像者に撮像装置１００をどの程度移動（変動）させるかを報知する。具体的に、表示制御部１４４は、現在のスルー画像と前回の画像データに基づく画像とをディスプレイ１１６に表示する。この時、前回の画像データに基づく画像と現在のスルー画像は、ディスプレイの画面を２分割して並べて表示するようにしてもよいし、縮小して子画面（Picture in Picture）として表示させてもよいし、半透過で前回の画像データに基づく画像を重ねて表示するようにしてもよい。また、表示制御部１４４は、現在のスルー画像に変位すべき方向を示す矢印を重畳して撮像装置１００の移動を促す。こうして撮像者は、撮像装置１００を定点撮像可能な位置に容易に移動することができる。
【００５１】
また、撮像装置１００に、撮像装置１００自体の姿勢を自動的に制御する機構を設け、それを制御して光軸方位角や姿勢角を補正するようにしてもよいし、撮像部１１２の撮像レンズ１１２ａやフォーカスレンズ１１２ｂが任意の方向に可動する機構を設け、それを制御して光軸方位角や姿勢角を補正するようにしてもよい。
【００５２】
（被写体位置に基づく補正処理）
画像切出部１５２は、動作モードが定点撮像モードの間、撮像条件取得部１４６で取得された前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分を導出し続け、撮像条件のうち予め定められた１または複数のパラメータ、例えば、平面位置や光軸方位角の差分が予め定められた所定の範囲（例えば、平面位置±１ｍ、光軸方位角±１０°）以内となれば、その旨、撮像者に報知すると共に、前回の画像と現在の画像とに基づく被写体の画面上の位置や大きさのずれを画像処理によって補正する。
【００５３】
上記の平面位置や光軸方位角の所定の範囲は、撮像部１１２と被写体との距離によって変化させてもよい。例えば、比較的近くの被写体を定点撮像する場合、許容される平面位置の変位は小さく、ほぼ無限遠にある景色等を定点撮像する場合、許容される平面位置の変動は大きくなる。したがって、画像切出部１５２は、撮像条件として、前回の撮像における被写体との距離を参照して所定の範囲を決定し、被写体との距離が長い場合より、被写体との距離が短い場合の所定の範囲を狭く設定する。また、光軸方位角の所定の範囲は基本的に変更しないでよいが、撮像部１１２と被写体との距離が長く、ズーム倍率を上げ、画角を狭めている場合には、ズーム倍率が低い場合より光軸方位角の所定の範囲を狭くするのが望ましい。
【００５４】
ところで、定点撮像は、同一の被写体１７４の経時変化の観察に利用されることが多い。したがって、画面内に出現する被写体１７４が同一であるという想定に反して、被写体１７４が何らかの変化（例えば、植物の成長による被写体１７４の大きさの変化、枝葉の変色、枯れによる変化等）を伴うこともまた想定されている。ただし、その変化がある部分は、例えば、植物の成長における植物のみといったように限定されることが多く、植物を保持する鉢等、変化がない部分も存在する。そこで、本実施形態では、以下の部位選択促進部１５４を設けている。
【００５５】
部位選択促進部１５４は、撮像者に画像データ中の任意の部位を選択させる。そして、画像切出部１５２は、部位選択促進部１５４が選択した部位に関して画像間の比較を行う。部位選択促進部１５４によって変化のない部位、例えば、植物を保持している鉢を撮像者に積極的に指定させることで、植物の成長によって変化する部位を無視でき、画像切出部１５２は、変化のない部位を把握することができ、その部位に関して変化がないことを前提に、正確な画像間の比較を実行することが可能となる。
【００５６】
図３は、部位選択促進部１５４の動作を説明するための説明図である。部位選択促進部１５４は、撮像者に画像データ中の部位を選択するよう促し、撮像者は、前回の画像データと現在の画像データについて、図３（ａ）、（ｂ）の如く、被写体１７４の変化のない部位（指定部位１７８）を、それぞれの画像データに基づく画像に対して指定する。その指定部位１７８について、前回の画像データと現在の画像データとを画像比較することで、画像切出部１５２は、前回の画像データと現在の画像データとの位置のずれを検出し、図３（ｂ）、（ｃ）のように、ずれ量に相当する分だけ、撮像素子１１２ｄから画像データを切り出す位置を変位させて部分画像１７２を切り出す。このとき、画像切出部１５２は、前回の画像データと現在の画像データとを画像比較する時点で、既に撮像素子１１２ｄから任意の範囲で切り出した画像データを不図示のバッファまたは中央制御部１２８のＲＡＭに取り込んでいるので、その画像データを用い、中央制御部１２８による画像の編集、加工処理として部分画像１７２を切り出すこともできる。
【００５７】
このとき、対応する指定部位１７８の画像上の大きさ（面積）が異なる場合、画像切出部１５２は、撮像装置１００の平面位置の検出値が光軸方向にずれていると判断し、その位置ずれ量に相当する分だけ、ズーム倍率を変化させて補正する方法も併用することができる。
【００５８】
また、前回の画像データと現在の画像データとで対応させる指定部位１７８は、画面上の１箇所である必要はなく、複数箇所を指定して補正することもでき、それによって精度を上げることもできる。
【００５９】
さらに、指定部位１７８は、上述したように変化のない部位のみならず、被写体１７４が経時変化してしまう部位を指定して、それ以外の領域で現在の画像データと前回の画像データとの比較を行い、被写体１７４の一致を検出する構成としてもよい。例えば、花が開花していく様子を定点撮像する際、時間とともに変化する対象物である花の部分を撮像者が指定した場合、画像切出部１５２は、その指定部位１７８以外の領域を画像比較の対象として一致検出するようにする。
【００６０】
このような画像の部分的な部位を指定し、ずれ補正を行う具体例として、例えば、以下のような手順が考えられる。まず、撮像装置１００の動作モードを定点撮像モードに設定すると、部位選択促進部１５４が、前回の画像データとして撮像者に１の画像データを選択させ、現在のスルー画像と前回の画像データに基づく画像とをディスプレイ１１６に表示する。この時、前回の画像データに基づく画像と現在のスルー画像は、ディスプレイの画面を２分割して並べて表示するようにしてもよいし、縮小して子画面として表示させてもよいし、半透過で前回の画像データに基づく画像を重ねて表示するようにしてもよい。
【００６１】
続いて、撮像者は、操作部１１０であるタッチパネルを操作して、画面上で時間推移による変化の少ない任意の指定部位１７８を、前回の画像データと現在の画像データそれぞれにおいて指定する。撮像者は、画面上の点を指定したり、領域を指定することで指定部位１７８を指定することとなる。また、指定した点または領域を含むように、周辺のより広い範囲を比較領域として定めることもできる。また前回の画像データに関しては、予め前回の撮像時に指定部位１７８を指定しておいてもよいし、現在の撮像時に改めて指定するようにしてもよい。
【００６２】
次に、画像切出部１５２は、前回の画像データと現在の画像データそれぞれの指定部位１７８を比較し、現在の画像データにおける目的とする被写体１７４が前回の画像データと一致するように、撮像素子１１２ｄ上の、もしくは、既に取得している画像データの切出位置や切出範囲、または、ズーム量の調整を行う。そして、前回の画像データと現在の画像データとで被写体１７４の位置や大きさが所定の誤差範囲に収まったところで、補正完了とし、撮像者に撮像の開始を促すメッセージを表示し、定点撮像を実行させる。
【００６３】
また、画像切出部１５２は、画像間の比較において、前回の画像データと現在の画像データから特徴点を抽出し、対応する特徴点の座標のずれから前回の画像データと現在の画像データの画面上のずれを検出し、ずれ量に相当する分だけ撮像素子１１２ｄや取得した画像データから部分画像データを切り出す位置や大きさを変位させたり、ズーム量を調整して補正してもよい。画像データからの特徴点抽出に関しては、既存の技術を利用することができるので、ここでは、その詳細な説明を省略する。
【００６４】
かかる特徴点を画像間で対応させる場合、基本的に、テンプレートマッチングにより特徴点近傍の画像の相関を検索することで、相関の高い画像間の２点を対応させることができる。しかし、前回の画像データから抽出された特徴点について、その全てを現在の画像データの特徴点と対応させる必要はない。このため、比較対象とする特徴点を撮像者に予め任意に指定させるとしてもよい。これにより定点撮像に際して、対象画像の中から時間推移による変化の少ない特徴点を意図的に指定することができる。ここで撮像者に指定させる特徴点は、画面上の１箇所である必要はなく、複数箇所を指定することで精度を上げることができる。
【００６５】
前述のテンプレートマッチングによる特徴点の対応付けは、動画像における隣接フレーム間のように、撮像装置１００のズームや回転、移動が少ない場合に有効であるとされる。しかし、今回想定している定点撮像のように、撮像装置１００の撮像条件が撮像の都度異なることが想定される場合、すなわち撮像装置１００の移動や回転があり、画像間の相関が低下するような場合には、誤って、本来、対応付けされるべきではない特徴点同士が対応付けされる可能性も生じる。
【００６６】
このとき、前回の画像データと現在の画像データのそれぞれの特徴点について、予め対応する特徴点を組にして撮像者に指定させるようにしてもよい。画像切出部１５２は、撮像者により対応する組として指定された２画像の特徴点の座標からずれ量を抽出して補正する。ここで前回の画像データと現在の画像データで対応する特徴点の組の指定に関しては、画面上の１箇所である必要はなく、複数箇所を指定して補正することで精度を上げることができる。
【００６７】
また、上述したテンプレートマッチングの代わりに、画像切出部１５２は、前回の画像データと現在の画像データから輪郭を抽出し、前回の画像データと現在の画像データの輪郭に対してパターンマッチングを行い、前回の画像データと現在の画像データのずれ量を検出し、画面上の被写体１７４の位置や大きさを一致させるように、部分画像データの切出位置や大きさ、ズーム倍率を調整してもよい。画像データからの輪郭抽出に関しては、既存の技術を利用することができるので、ここでは、その詳細な説明を省略する。
【００６８】
このとき、前回の画像データから抽出された輪郭について、比較対象となる輪郭部分を予め撮像者に任意に指定させるようにしてもよい。これにより定点撮像の際、対象画像の中から時間推移による変化の少ない輪郭部分を意図的に指定することができる。ここで撮像者の指定する輪郭部分は、画面上の１箇所である必要はなく、複数箇所を指定して精度を上げることができる。
【００６９】
さらには、前回の画像データと現在の画像データのそれぞれの輪郭部分について、撮像者に、予め対応する任意の輪郭部分を組にして指定させるようにしてもよい。画像切出部１５２は、撮像者により対応する組として指定された２画像の輪郭部分から、ずれ量を抽出して補正する。ここで前回の画像データと現在の画像データで対応する輪郭部分の組の指定は、画面上の１箇所である必要はなく、複数箇所を指定して補正することで精度を上げることができる。
【００７０】
なお、前回の画像データについての特徴点あるいは輪郭は、次回撮像するときに抽出してもよいし、予め抽出しておいてもよい。また、撮像したときに自動的に特徴点あるいは輪郭を抽出するようにしていてもよいし、画像データに特徴点あるいは輪郭データを関連付けて保存するようにしてもよい。
【００７１】
また、前回の画像データに対して、被写体１７４の色情報や光量情報が異なっている場合、画像切出部１５２は、それを補正するパラメータ（例えば、ホワイトバランス、絞り、露光等）を変化させ、色情報や光量情報が一致あるいは所定の範囲に収まるように補正を行ってもよい。
【００７２】
定点撮像で被写体１７４を撮像する際、撮像時の天候や時間帯等により、被写体１７４を撮像した画像の色合いや光量が比較する画像間で異なってしまい、被写体１７４同士の比較が困難になる場合がある。そこで、前回の画像データと現在の画像データの色合いや光量を統一するように補正することで、画像切出部１５２は、被写体１７４同士の比較を容易かつ確実に実行することができる。ここで「色合いや光量を統一する」とは、色情報や光量情報を完全に一致させる処理のみならず、所定の範囲内に収めるように、色合いや光量をほぼ同じにすることを含む。つまり、データ的に完全に同じということを必要とするわけではなく、人間の目で見て大体同じと感じる程度でよいことを意味する。
【００７３】
例えば、上述した前回の画像データと現在の画像データの対応する点あるいは部分について、画像切出部１５２は、画像データの一致比較を行う際に、色情報や光量情報についてもそれぞれ比較を行う。また、上述した特徴点や輪郭による画像のずれの補正処理に続けて、画像の色合いや光量を統一してもよい。
【００７４】
かかる補正により、撮像時の天候や時間帯に応じて変化してしまう被写体１７４の色合いや光量による、撮像画像の差異を極力抑えることが可能となるので、撮像後に画像を見比べれば観察対象物の時系列における形状の変化を容易に把握することができる。
【００７５】
また、高精度で被写体１７４を一致させることができたとしても、撮像装置１００を三脚等で固定していない場合、例えば、手で把持している場合等、手振れ等の影響で再度ずれた状態で撮像してしまうことも考えられる。そこで、前回の撮像状態に対して、画像同士（画素あるいは特徴点、輪郭等）の同一性が一旦担保されると（前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内に収まると）、そこから撮像素子１１２ｄの有効画素領域内で補正可能範囲である限り、被写体１７４に追従する、所謂、ロック状態を保持し、適切に部分画像データを切り出してもよい。かかる構成により、撮像装置１００が三脚等で固定されていない状態で定点撮像が為されたとしても、被写体１７４を確実に定点で捉えることができ、高精度な定点撮像が可能となる。
【００７６】
以上説明した撮像装置１００によって、撮像装置の撮像条件を再度設定しなければならない状態においても、（１）手動設定処理、（２）被写体位置に基づく補正処理といった、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となる。
【００７７】
（第２の実施形態：（１）手動設定処理＋（３）撮像条件に基づく補正処理）
第１の実施形態の（２）被写体位置に基づく補正処理においては、画像データを取り込んだ後、画素単位で画像比較が実行されるので、高精度な定点撮像が可能となる。しかし、その処理を実現するにあたり、手動設定処理から被写体位置に基づく補正処理に切り換わったとき、前回の画像と現在の画像とで被写体の位置が大きくずれている場合や、前回撮像時と現在で時間帯や天候の相違により画像の色合いや光量が異なる場合に、比較するべき画像同士（画素あるいは特徴点、輪郭等）の同一性を担保することが困難となる可能性がある。さらには、画像比較に非常に重い処理負荷がかかり、大量の記憶容量と帯域も必要になるため、処理のリアルタイム性を確保できない場合も生じ得る。そこで、第２の実施形態においては、画像同士の比較を伴うことなく、前回の撮像条件と現在の撮像条件とを比較して画像内の被写体のずれを画像処理によって補正する。こうすることで、撮像条件の差分を撮像素子１１２ｄの有効画素範囲からの切り出し位置の変位に直接対応させ、最終的には捨ててしまうデータとなる不要な画素範囲部分を読み込まないことで、画像処理負荷、記憶容量、帯域を軽減する。
【００７８】
（手動設定処理）
第２の実施形態においても、第１の実施形態同様、まず、手動設定処理を実行する。かかる手動設定処理は、第１の実施形態における手動設定処理と実質的に等しいので、ここではその詳細な説明を省略する。
【００７９】
（撮像条件に基づく補正処理）
画像切出部１５２は、動作モードが定点撮像モードの間、撮像条件取得部１４６取得された前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分を導出し続け、撮像条件のうち予め定められた１または複数のパラメータ、例えば、平面位置や光軸方位角の差分が予め定められた所定の範囲（例えば、平面位置±１ｍ、光軸方位角±１０°）以内となれば、その旨、撮像者に報知すると共に、前回の撮像条件と現在の撮像条件との差分に基づいて、撮像素子１１２ｄから、前回の撮像条件に対応する部分画像データを切り出す。
【００８０】
本実施形態において、撮像者は、前回の撮像時と平面位置や光軸方位角が大凡一致するように手動で撮像装置１００を移動し、画面内に所望する被写体が撮像された状態で、さらに撮像条件のずれを補正すべく、画像切出部１５２が、部分画像データの切出位置および範囲を調整することで高精度な定点撮像を実行する。
【００８１】
図４〜図９は、画像切出部１５２の動作を説明するための説明図である。画像切出部１５２は、例えば、図４（ａ）に示す撮像素子１１２ｄの有効画素領域全体における全体画像１７０から、図４（ｂ）に示す一部分の画像（部分画像１７２）を切り出して部分画像データとしている。そして、表示制御部１４４は、切り出された部分画像データに基づく部分画像をディスプレイ１１６に表示し、記憶制御部１４２は、切り出された部分画像データを画像保持部１１８に保持させる。
【００８２】
本実施形態においては、このような有効画素領域全体における部分画像データの切出位置および大きさを調整することで撮像条件のずれを補正する。例えば、画像切出部１５２は、画像の撮像条件、特に、平面位置、光軸方位角、高度、姿勢角に関して、前回と現在とを比較し、前回撮像時の撮像条件からのずれ量に相当する分だけ、撮像素子１１２ｄにおける有効画素領域からの部分画像データの切出部分を変位させることでずれを補正する。
【００８３】
このとき、前回の画像データの平面位置に対する、現在の平面位置における光軸に垂直な面上のずれのうち、画面水平方向のずれは、位置センサ１２０から取得した平面位置、方位角センサ１２２から取得した光軸方位角を用いて算出することができ、画面垂直方向のずれは、高度センサ１２４から取得した高度、姿勢角センサ１２６から取得した姿勢角（ピッチ角θ）を用いて算出することができる。上述したように、画像切出部１５２は、撮像条件が所定の範囲内となってから部分画像の切り出しを行うので、画像切出部１５２は、大凡、撮像条件が合っている状態から、手動では限界のある微調整を画像処理によって実行することができる。
【００８４】
例えば、図５（ａ）に示したように、平面位置または光軸方位角のずれにより現在の画像データが前回の画像データから画面水平方向にずれている場合、画像切出部１５２は、図５（ａ）、（ｂ）のように、そのずれ量を取得して部分画像１７２の切出位置を画面水平方向に変位させる。また、図６（ａ）に示したように、高度または姿勢角のずれにより現在の画像データが前回の画像データから画面垂直方向にずれている場合、画像切出部１５２は、図６（ａ）、（ｂ）のように、そのずれ量を取得して部分画像１７２の切出位置を画面垂直方向に変位させる。
【００８５】
また、図７（ａ）に示したように、平面位置のずれにより現在の画像データが前回の画像データから光軸方向の被写体１７４に近づく方向にずれている場合、有効画素領域における被写体１７４は前回の画像データより大きくなり、画像切出部１５２は、そのずれ量を取得し、図７（ｂ）のように、ずれ量に相当する分だけズーム倍率を低く（ズームアウト）して、図７（ｃ）のように、部分画像１７２を切り出す。また、図８（ａ）に示したように、平面位置のずれにより現在の画像データが前回の画像データから光軸方向の被写体１７４に遠のく方向にずれている場合、有効画素領域における被写体１７４は前回の画像データより小さくなり、画像切出部１５２は、そのずれ量を取得し、図８（ｂ）のように、ずれ量に相当する分だけズーム倍率を大きく（ズームイン）して、図８（ｃ）のように、部分画像１７２を切り出す。
【００８６】
ここでは、画像切出部１５２は、ズーム倍率を変化させた後、部分画像１７２を切り出しているが、かかる場合に限らず、ズーム倍率に相当する分だけ切り出す大きさを変えて、全体画像１７０から目的とする部分画像１７２を一度に切り出すこともできる。例えば、ズーム倍率の大きい部分画像１７２を切り出す場合、画像切出部１５２は、撮像素子１１２ｄからの画像の切出範囲を大きくし、その切り出した部分画像１７２の大きくなった画像サイズ（画素数）を元の画像サイズに合わせる（縮小する）よう画像処理を行う。また、ズーム倍率の小さい部分画像１７２を切り出す場合、撮像素子１１２ｄからの画像の切出範囲を小さくし、その切り出した部分画像１７２の小さくなった画像サイズ（画素数）を元の画像サイズに合わせる（拡大する）よう画像処理を行う。このようにして被写体１７４の大きさを合わせた後に、光軸に垂直な面（画面左右方向あるいは画面上下方向）のずれを合せる必要があれば、画像切出部１５２は、図５および図６を用いて説明したように、そのずれ量を取得して部分画像１７２の切出位置を変位させる。
【００８７】
また、図９（ａ）に示したように、撮像装置１００の姿勢角、特にロール角φの回転により現在の画像データが前回の画像データから光軸を中心とした回転方向にずれている場合、画像切出部１５２は、そのずれ量を取得し、図９（ａ）、（ｂ）のように、ずれ量に相当する分だけ部分画像１７２の切出位置を回転方向に変位させる。このとき、画像切出部１５２は、図９（ｃ）のように、必要な画素領域を十分に包含するように大きく設定した候補画像１７６を撮像素子１１２ｄから一旦取り込んだ後に、画像処理によって部分画像１７２を切り出してもよい。
【００８８】
ここで、定点撮像を目的とせず、撮像条件が取得されていない場合や、定点撮像を目的としているが当該画像データの撮像がその初回にあたる場合、撮像条件自体が保持されていないので切出位置や大きさを自由に設定することができる。しかし、切出位置や大きさを自由に設定できるとすると、切出の大きさが大きすぎて後述する切出範囲の調整が困難になったり、小さすぎて後述する画像比較の精度が劣化することがある。そこで、画像切出部１５２は、撮像条件が取得されなかった場合、例えば、全体画像１７０の１／４倍（縦横１／２）といったように、予め定められた範囲で部分画像１７２を切り出す。したがって、撮像素子１１２ｄは、後述する画像の切り出しにおいて、切り出した後の画像も十分な解像度が得られる程度、解像度が高くなっている。
【００８９】
以上、説明したように、現在の撮像条件を前回の撮像条件と一致するように部分画像１７２を切り出すことで、前回の撮像条件で撮像したものと同等の画像を最大限再現できる。また、ここでは、処理負荷が重い画像同士の比較を伴うことなく、前回の撮像条件と現在の撮像条件とを比較して画像内の被写体のずれを、撮像素子１１２ｄの切出位置を変位させるといった単純な画像処理によって補正することができるので、最終的には捨ててしまうデータとなる有効画素範囲の不要な部分を読み込まずにすみ、画像処理負荷、記憶容量、帯域を軽減することが可能となる。さらに、前回撮像時と現在で時間帯や天候の相違により画像の色合いや光量が異なる等、前回の画像と現在の画像とで被写体の同一性を担保するのが困難な場合であっても、その画像自体を利用していないので、高精度の定点撮像が可能となる。
【００９０】
（第３の実施形態：（１）手動設定処理＋（３）撮像条件に基づく補正処理＋（２）被写体位置に基づく補正処理）
第２の実施形態においては、前回の撮像時と大凡一致するように撮像装置１００を手動で移動した後、撮像条件に基づくずれの補正によって現在の画像データと前回の画像データとの被写体１７４の画面上の位置の一致精度を高めることができる。しかし、各センサの測定誤差等により、画面上の位置が厳格に一致するとは限らない。
【００９１】
そこで、本実施形態の画像切出部１５２は、（１）手動設定処理と（３）撮像条件に基づく補正処理とを実行した後、さらに、（２）被写体位置に基づく補正処理を行う。かかる（１）、（２）、（３）の具体的な処理は、第１の実施形態および第２の実施形態における処理と実質的に等しいので、ここではその詳細な説明を省略し、図１０に示すフローチャートに基づいて、全体的な処理の流れを説明する。
【００９２】
（（１）手動設定処理）
動作モードとして定点撮像モードが選択されると、位置センサ１２０は、撮像部１１２の平面位置を検出し（Ｓ２００）、方位角センサ１２２は、撮像部１１２の光軸方位角を検出し（Ｓ２０２）、高度センサ１２４は、撮像部１１２の高度を検出し（Ｓ２０４）、姿勢角センサ１２６は、撮像部１１２の姿勢角を検出する（Ｓ２０６）。
【００９３】
続いて、画像切出部１５２は、リファレンスとなる前回の画像データに関する撮像条件が取得されているか否か判定し（Ｓ２０８）、まだ取得されていない場合（Ｓ２０８におけるＮＯ）、画像データ抽出部１５０は、検出された現在の撮像条件（平面位置、光軸方位角、高度、姿勢角）を取得し、その撮像条件との差分が所定の範囲内である撮像条件を有する１または複数の画像データを画像保持部１１８から抽出する（Ｓ２１０）。画像データ選択促進部１４８は、このように抽出された１または複数の画像データから１の画像データを撮像者に選択させる（Ｓ２１２におけるＹＥＳ）。こうして、撮像条件取得部１４６は、選択された画像データに関連付けられた、撮像を所望する平面位置および光軸方位角を含む撮像条件を取得する（Ｓ２１４）。撮像者は、定点撮像を実行しようとしている地点の近くにいるはずなので、何らの撮像条件の入力を強いられず、容易に所望する画像データを選択することが可能となる。
【００９４】
このようにして、リファレンスとなる前回の画像データに関する撮像条件が取得されると（Ｓ２０８におけるＹＥＳ）、撮像部１１２は、被写体１７４を撮像して画像データを生成し（Ｓ２１６）、画像切出部１５２は、前回の撮像条件と現在の撮像条件との差分を導出し、撮像条件の差分が予め定められた所定の範囲、例えば、平面位置±１ｍ、光軸方位角±１０°以内であるか否か判定する（Ｓ２１８）。所定の範囲を超えていると（Ｓ２１８におけるＮＯ）、表示制御部１４４は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と現在の平面位置、光軸方位角、高度、姿勢角を表示し、または、前回の撮像時と現在との平面位置、光軸方位角、高度、姿勢角の差分を表示することで、撮像者に撮像装置１００をどの程度移動（変動）させるかを報知する（Ｓ２２０）。こうして撮像者は、生成される画像データの目視を伴うことなく、容易に撮像装置１００を定点撮像可能な位置に移動することができる。
【００９５】
（（３）撮像条件に基づく補正処理）
前回の撮像条件と現在の撮像条件との差分が所定の範囲以内であり、撮像装置１００が定点撮像可能な位置にあると判定すると（Ｓ２１８におけるＹＥＳ）、画像切出部１５２は、その旨、撮像者に報知すると共に（Ｓ２２２）、撮像条件の差分に基づく切出処理が完了したか否か判定し（Ｓ２２４）、まだ、完了していなければ（Ｓ２２４におけるＮＯ）、前回の撮像条件と現在の撮像条件との差分に基づいて、撮像素子１１２ｄから、前回の撮像条件に対応する部分画像データを切り出す（Ｓ２２６）。このとき、画像切出部１５２は、ディスプレイ１１６に前回撮像時の平面位置、光軸方位角、高度、姿勢角と、現在の平面位置、光軸方位角、高度、姿勢角との差分に基づいて、位置ずれ量に相当する分だけ部分画像データを切り出す領域を変位させて、また、ズーム倍率を変化させて所望する部分画像データを切り出す。こうして、撮像条件の差分に基づく切出処理が完了する。
【００９６】
（（２）被写体位置に基づく補正処理）
また、撮像条件の差分に基づく切出処理が完了すると（Ｓ２２４におけるＹＥＳ）、画像比較に基づく切出処理が完了したか否か判定され（Ｓ２２８）、完了してなければ（Ｓ２２８におけるＮＯ）、画像切出部１５２は、前回の画像データと現在の画像データとの比較によって部分画像データの切出位置を調整する（Ｓ２３０）。このとき、部位選択促進部１５４が、撮像者に画像データ中の部位を選択させて、その選択した部位に関してのみ画像を比較してもよい。こうして画像同士が一致すると、その一致した画像に対して切出位置を調整する。そして、画像比較に基づく切出処理が完了すると（Ｓ２２８におけるＹＥＳ）、撮像者は、撮像を開始することが可能となり、撮像者の操作部１１０に対する定点撮像開始の操作入力に応じて（Ｓ２３２におけるＹＥＳ）、切り出された部分画像データを画像保持部１１８に保持させる（Ｓ２３４）。
【００９７】
本実施形態においては、（２）被写体位置に基づく補正処理を行う前に、（３）撮像条件に基づく補正処理を行うことによって、前回の撮像条件で撮像したものと同等の画像を最大限再現できる。したがって、現在の撮像における目的の被写体１７４の画面上の位置と前回の撮像における被写体１７４の画面上の位置とが非常に近づくので、（２）被写体位置に基づく補正処理においても、その比較範囲を絞ることが可能となり、現在と前回とで被写体１７４の色合いや光量等が異なって一致度が低い場合においても、特定率を上げることが可能となり、誤判定を起こすことなく、（２）被写体位置に基づく補正処理による補正精度を高めることができる。このように、（１）手動設定処理と（３）撮像条件に基づく補正処理と（２）被写体位置に基づく補正処理といった一連の処理を行うことで、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となり、経過観察や経年観察の場合においても、時間的推移による変化や相違点等をより明確に把握することができる。
【００９８】
さらに、コンピュータを、撮像装置１００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００９９】
（第４の実施形態：撮像装置３００）
定点撮像を行うための準備段階として、第１〜３の実施形態では、平面位置や高度といった撮像条件が前回の撮像時と大凡一致するように撮像装置１００を手動で移動した。第４の実施形態では、撮像装置３００に表示された現在の画像データに基づく画像と前回の画像データに基づく画像とを目視しながら前回の撮像時と、被写体１７４の画面上の位置や大きさが大凡一致するように撮像装置３００を手動で移動する。
【０１００】
図１１は、撮像装置３００の概略的な構成を示した機能ブロック図である。撮像装置３００は、操作部１１０と、撮像部１１２と、データ処理部１１４と、ディスプレイ１１６と、画像保持部１１８と、位置センサ１２０と、方位角センサ１２２と、高度センサ１２４と、姿勢角センサ１２６と、中央制御部１２８とを含んで構成される。また、中央制御部１２８は、画像制御部１４０、記憶制御部１４２、表示制御部３４４、撮像条件取得部３４６、画像データ選択促進部１４８、画像データ抽出部１５０、画像切出部３５２、部位選択促進部１５４としても機能する。第１の実施形態において既に述べた操作部１１０、撮像部１１２、データ処理部１１４、ディスプレイ１１６、画像保持部１１８、位置センサ１２０、方位角センサ１２２、高度センサ１２４、姿勢角センサ１２６、中央制御部１２８、画像制御部１４０、記憶制御部１４２、画像データ選択促進部１４８、画像データ抽出部１５０、部位選択促進部１５４は、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する表示制御部３４４、撮像条件取得部３４６、画像切出部３５２を主に説明する。
【０１０１】
撮像条件取得部３４６は、第１の実施形態同様、撮像を所望する平面位置および光軸方位角を含む撮像条件を取得するのに加え、撮像を所望する被写体１７４の画面上の位置および大きさを示す被写体情報を取得する。
【０１０２】
表示制御部３４４は、撮像条件取得部３４６が取得した撮像条件を含む前回の画像データを、ディスプレイ１１６を２分割した一方に、または、半透過の状態で画面全体に表示する。このとき、例えば、ディスプレイ１１６上にマーカーを表示して、撮像者が目的とする方向に撮像装置３００の光軸方位角や姿勢を向けることを促すＧＵＩ（Graphical User Interface）機能を併用してもよい。そして、表示制御部３４４は、現在の画像データを、２分割した他方に、または、画面全体に表示する。撮像者は、ディスプレイ１１６を観察しながら、前回の画像データの所望する被写体１７４と、現在の画像データ（スルー画像）における被写体１７４とが同一位置および同一の大きさになるように、撮像装置３００を移動する。
【０１０３】
このとき、表示制御部３４４は、前回の画像データをそのまま重畳せずに、構図画像としてディスプレイ１１６に表示することもできる。ここで、構図画像とは、定点撮像時にスルー画像と同時に表示して撮像位置を決定する際のリファレンスとなる画像であり、例えば、撮像画像の輪郭抽出を行う、画素を間引いて疎にする、撮像画像を単色（例えばモノクロ、セピア）にする等によって生成される。
【０１０４】
画像切出部３５２は、前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体１７４の画面上の位置および大きさとの差分が所定の範囲内であれば、前回の撮像条件と、位置センサ１２０と方位角センサ１２２に基づく現在の撮像条件との差分に基づいて、撮像素子１１２ｄから部分画像データを切り出す。このとき画像切出部３５２は、第３の実施形態同様、撮像条件に基づく補正処理を行った後、被写体位置に基づく補正処理を遂行する。
【０１０５】
かかる撮像装置３００によって、撮像装置３００の撮像条件を再度設定しなければならない状態においても、（１）手動設定処理、（３）撮像条件に基づく補正処理、（２）被写体位置に基づく補正処理といった、容易かつ画一的な処理手順に基づいて前回撮像した際の撮像条件を迅速に再現し、高精度の定点撮像が可能となる。ここでは、（１）手動設定処理＋（３）撮像条件に基づく補正処理＋（２）被写体位置に基づく補正処理の処理のみを説明したが、画像を目視しながらの手動設定処理においても、（１）手動設定処理＋（３）撮像条件に基づく補正処理や（１）手動設定処理＋（２）被写体位置に基づく補正処理を実行できるのは言うまでもない。
【０１０６】
また、前回の撮像画像と色合いや光量に関する撮像条件を合せることで、定点撮像による被写体１７４の比較を行いやすくすることができる。こうして、撮像装置３００を長時間固定しなくとも、前回の撮像条件と同等の撮像条件の下、定点撮像を高精度に再現することができるので、経過観察や経年観察の場合に、時間的推移による変化や相違点等をより明確に把握することが可能となる。
【０１０７】
さらに、上述した撮像装置３００を用いて定点撮像を行う撮像方法も提供される。ただし、第１の実施形態で図９を用いて説明した撮像方法と、差分判定ステップＳ２１８において、撮像条件の差分を判定せず、被写体情報と現在の画像データ中の被写体１７４の画面上の位置および大きさとの差分が所定の範囲以内か否か判定する点が異なるのみであり、それ以外の処理は実質的に等しいので、ここでは、重複説明を省略する。
【０１０８】
また、コンピュータを、撮像装置３００として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。
【０１０９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１１０】
本発明は、被写体の定点撮像が可能な撮像装置および撮像方法に利用することができる。
【符号の説明】
【０１１１】
１００、３００ …撮像装置
１１８ …画像保持部
１２０ …位置センサ
１２２ …方位角センサ
１２４ …高度センサ
１２６ …姿勢角センサ
１４０ …画像制御部
１４２ …記憶制御部
１４４、３４４ …表示制御部
１４６、３４６ …撮像条件取得部
１４８ …画像データ選択促進部
１５０ …画像データ抽出部
１５２、３５２ …画像切出部
１５４ …部位選択促進部
【特許請求の範囲】
【請求項１】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の撮像条件と前記現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項２】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項３】
前記撮像部の高度を検出する高度センサと、
前記撮像部の姿勢角を検出する姿勢角センサと、
をさらに備え、
前記撮像条件には、撮像部の高度および姿勢角も含まれることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部で撮像した画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する画像保持部をさらに備え、
前記撮像条件取得部は、前記画像保持部に保持された画像データに関連付けられた撮像条件を取得することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像保持部に保持された画像データから、前記画像データに関連付けられた、前記画像データを撮像したときの撮像条件と所望の撮像条件との差分が所定の範囲内である１または複数の画像データを抽出する画像データ抽出部と、
抽出した前記１または複数の画像データから１の画像データを撮像者に選択させる画像データ選択促進部と、
をさらに備え、
前記撮像条件取得部は、選択された前記画像データに関連付けられた撮像条件を取得することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像切出部は、さらに、前記画像保持部に保持された画像データと現在の画像データとを比較して画像間の変位を求め、部分画像データの切出位置を調整することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
取得された前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前記前回の画像に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項８】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前記前回の画像に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項９】
撮像者に画像データ中の部位を選択させる部位選択促進部をさらに備え、
前記画像切出部は、選択された前記部位または選択された前記部位を除く他の領域に関して画像間の変位を求めることを特徴とする請求項６から８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の撮像条件と前記現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１１】
撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１２】
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前記前回の画像に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１３】
撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報を取得し、
前記被写体を撮像して画像データを生成し、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前記前回の画像に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の撮像条件と前記現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項２】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項３】
前記撮像部の高度を検出する高度センサと、
前記撮像部の姿勢角を検出する姿勢角センサと、
をさらに備え、
前記撮像条件には、撮像部の高度および姿勢角も含まれることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部で撮像した画像データを、その画像データを撮像したときの撮像条件に関連付けて保持する画像保持部をさらに備え、
前記撮像条件取得部は、前記画像保持部に保持された画像データに関連付けられた撮像条件を取得することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像保持部に保持された画像データから、前記画像データに関連付けられた、前記画像データを撮像したときの撮像条件と所望の撮像条件との差分が所定の範囲内である１または複数の画像データを抽出する画像データ抽出部と、
抽出した前記１または複数の画像データから１の画像データを撮像者に選択させる画像データ選択促進部と、
をさらに備え、
前記撮像条件取得部は、選択された前記画像データに関連付けられた撮像条件を取得することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像切出部は、さらに、前記画像保持部に保持された画像データと現在の画像データとを比較して画像間の変位を求め、部分画像データの切出位置を調整することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記撮像部の平面位置を検出する位置センサと、
前記撮像部の光軸方位角を検出する方位角センサと、
取得された前記前回の撮像条件と、前記位置センサと前記方位角センサに基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前記前回の画像に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項８】
被写体の定点撮像を行う撮像装置であって、
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報を取得する撮像条件取得部と、
前記被写体を撮像して画像データを生成する撮像部と、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前記前回の画像に対応する部分画像データを切り出す画像切出部と、
を備えることを特徴とする撮像装置。
【請求項９】
撮像者に画像データ中の部位を選択させる部位選択促進部をさらに備え、
前記画像切出部は、選択された前記部位または選択された前記部位を除く他の領域に関して画像間の変位を求めることを特徴とする請求項６から８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の撮像条件と前記現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１１】
撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件とを取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分に基づいて、前記前回の撮像条件に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１２】
撮像を所望する前記被写体の画面上の位置および大きさを示す前回の被写体情報と、撮像を所望する平面位置および光軸方位角を含む前回の撮像条件を取得し、
撮像部の平面位置を検出し、
前記撮像部の光軸方位角を検出し、
前記被写体を撮像して画像データを生成し、
前記前回の撮像条件と、検出した前記平面位置と前記光軸方位角に基づく現在の撮像条件との差分が所定の範囲内であれば、前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分に基づいて、前記前回の画像に対応する部分画像データを切り出すことを特徴とする撮像方法。
【請求項１３】
撮像を所望する被写体の画面上の位置および大きさ示す前回の被写体情報を取得し、
前記被写体を撮像して画像データを生成し、
前記前回の被写体情報に示された被写体の画面上の位置および大きさと現在の画像データ中の被写体の画面上の位置および大きさとの差分が所定の範囲内であれば、その差分に基づいて、前記前回の画像に対応する部分画像データを切り出すことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１６９７１４（Ｐ２０１２−１６９７１４Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−２６６０７（Ｐ２０１１−２６６０７）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]