デジタルカメラ
【課題】 複数フレームを合成する際の画質劣化を低減可能なデジタルカメラを提供する。
【解決手段】 撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に当該一連の画像の撮像に用いた撮像条件に対応付けて光学手段の光路上の位置を示す位置情報を格納する。設定手段は、撮像手段の撮像動作に際して撮像条件が指定されたときに記憶手段に記憶される位置情報をもとに生成された、撮像条件における位置情報に基づいて、光学手段の光路上の位置を設定する。算出手段は、撮像により得られた複数の画像データと、生成された位置情報とに基づいて撮像条件における新たな位置情報を生成する。制御手段は、新たな位置情報を撮像条件と関連付けて、記憶手段に記憶するように制御する。
【解決手段】 撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に当該一連の画像の撮像に用いた撮像条件に対応付けて光学手段の光路上の位置を示す位置情報を格納する。設定手段は、撮像手段の撮像動作に際して撮像条件が指定されたときに記憶手段に記憶される位置情報をもとに生成された、撮像条件における位置情報に基づいて、光学手段の光路上の位置を設定する。算出手段は、撮像により得られた複数の画像データと、生成された位置情報とに基づいて撮像条件における新たな位置情報を生成する。制御手段は、新たな位置情報を撮像条件と関連付けて、記憶手段に記憶するように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を連続して撮像可能なデジタルカメラに関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、ＣＣＤ（Charge Coupled Device）等の撮像素子により、被写体像を連続して撮像し、撮像された複数フレームの画像を位置合わせの後に重ね合わせて、適正な露光量の画像を得ることが行われていた。このような合成に用いる画像の撮影動作においては、各フレーム画像撮影の露光時間は、各々フレーム画像にブレが生じないように短く設定されるとともに、その撮影時間間隔も、位置合わせ処理が容易となるように、可能な限り短く設定される。しかしながら、このようにして撮影時間間隔が短く設定されていても、得られた複数フレームの画像を合成する際には、手振れ等により各フレーム画像間の位置合わせ処理が必要となり、この際に互いに重なり合わない領域については、適正な露光量が得られないことから、この領域を削除して合成処理が施されていた。これに対応する手法として、撮影画角を変更する手法が、例えば下記特許文献１に開示されている。特許文献１に開示される技術によれば、被写体の撮像に先立って、撮影画角が広く変更されることで、上述した領域が削除された後も、合成画像の画角が確保される。最終的に得られる画像は、このようにして得られた複数フレームの画像の互いに重複した領域の画像となる。
【特許文献１】特開２００５−７９８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した互いに重なり合わない領域の大きさ、すなわち手振れの大きさは、その時々によって異なるものであり、全ての起こりうる手振れを想定して、撮影画角を広角に設定すると、最終的に得られる画像の画素数は撮像素子の有効画素数よりも大幅に少ないものとなり、所望の画質が得られない。
本発明は、複数フレームを合成する際の画質劣化を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１のデジタルカメラでは、撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、光学手段の光路上の位置を示す位置情報を格納する。設定手段は、撮像手段の撮像動作に際して、撮像条件が指定されたときに、記憶手段に記憶される位置情報をもとに生成された、撮像条件における位置情報に基づいて、光学手段の光路上の位置を設定する。算出手段は、撮像動作によって得られた複数の画像データと、生成された位置情報とに基づいて、撮像条件における新たな位置情報を生成する。制御手段は、算出手段によって算出された新たな位置情報を、撮像条件と関連付けて、記憶手段に記憶するように制御する。
【０００５】
請求項２のデジタルカメラでは、取得手段は、カメラ本体を操作する操作者を個別に認識するための認識情報を取得する。記憶手段は、認識情報に対応付けて、光学手段の光路上の位置を格納する。設定手段は、認識情報をもとに、撮像動作における位置情報を生成する。制御手段は、算出手段によって算出された新たな位置情報を、認識情報と関連付けて、記憶手段に記憶するように制御する。
【０００６】
請求項３のデジタルカメラでは、エラー表示手段は、設定手段により設定される光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示する。
請求項４のデジタルカメラでは、撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、共通の領域を示す領域情報を格納する。表示手段は、撮像手段によって撮像される画像と、領域情報に基づく指標とを表示する。調整手段は、操作者の操作に応じて、光学手段の光路上の位置を調整する。設定手段は、撮像手段の撮像動作に際して、撮像条件が指定されたときに、記憶手段に記憶される領域情報をもとに生成された、撮像条件における領域情報に基づいて、表示手段の表示画面上の指標の表示位置を設定する。算出手段は、撮像動作によって得られた複数の画像データと、生成された領域情報とに基づいて、撮像条件における新たな領域情報を生成する。制御手段は、算出手段によって算出された新たな領域情報を、撮像条件と関連付けて、記憶手段に記憶するように制御する。
【０００７】
請求項５のデジタルカメラでは、エラー表示手段は、調整手段により調整される光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示する。
【発明の効果】
【０００８】
撮影者の癖（手振れの大きさ）に応じて、撮影者が構図内に収めたい範囲の被写体像を合成画像として容易、かつ確実に生成できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明のデジタルカメラの第１の実施形態を示している。デジタルカメラ１００は、被写体を撮像する撮影レンズの一部を構成するズームレンズ１０（光学手段）、ズームモータ１２、ズームモータ１２の駆動回路１４（設定手段）、機械式のシャッタ１６、ＣＣＤやＣＭＯＳ撮像素子で構成される撮像素子１８（撮像手段）、Ａ／Ｄ変換回路２０、ＣＰＵ２２（算出手段、設定手段及び制御手段）、ＲＡＭ２４、プログラムメモリ２６、記憶媒体２８（記憶手段）、操作部３０、動き補償回路３２（画像生成手段）、バス３４及びモニタ４２（エラー表示手段及び表示手段）を有している。
【００１０】
ズームレンズ１０は、焦点距離の短い広角側、及び焦点距離の長い望遠側に移動可能に光軸ＯＡ上に配置される。このため、被写体が撮像される画角は、ズームレンズ１０の広角側への移動により広く、望遠側への移動により狭く設定される。
ズームモータ１２は、ズームレンズ１０を移動させるためのモータである。駆動回路１４には、ズームレンズ１０の移動量及び移動方向を示す制御情報がＣＰＵ２２から供給される。駆動回路１４は、ズームモータ１２を介して、ズームレンズ１０を広角側及び望遠側のいずれかに移動させる。
【００１１】
シャッタ１６は、ズームレンズ１０から撮像素子１８への光路を遮る位置に配置されるシャッタ膜（図示せず）を有している。シャッタ１６は、図示しないシャッタドライバによって駆動され、ズームレンズ１０を通過した光によって撮像素子１８が露光される露光時間を調節する。シャッタ膜は、ズームレンズ１０から撮像素子１８への光路を確保するために開く。なお、機械式のシャッタ１６に代えて、撮像素子１８の電子シャッタにより露光時間を調節する構成としてもよい。あるいは、機械式のシャッタ１６と、撮像素子１８の電子シャッタとを併用する構成としてもよい。
【００１２】
撮像素子１８は、シャッタ１６を介してズームレンズ１０に対向する位置に配置されている。撮像素子１８は、図示しない撮像素子ドライバにより駆動され、ズームレンズ１０より結像される被写体像を撮像する。撮像素子１８は、デジタルカメラ１００の動作モードが合成モードに設定されているときに、所定の撮影時間間隔で被写体像を連続して複数回撮像する。本発明において、合成モードは、動き補償回路３２により合成画像（後述）が生成される動作モードを指す。Ａ／Ｄ変換回路２０は、撮像素子１８により撮像された画像をアナログ値からデジタル値に変換する。Ａ／Ｄ変換回路２０は、Ａ／Ｄ変換した画像データをＲＡＭ２４に出力する。
【００１３】
ＣＰＵ２２は、プログラムメモリ２６に格納されたプログラムを実行することによって、バス３４で接続された各装置の動作を制御する。ＲＡＭ２４は、撮像素子１８により撮像された画像データや各情報を一時的に保存する。プログラムメモリ２６は、デジタルカメラ１００を動作させるためにＣＰＵ２２により実行されるプログラムを格納している。記憶媒体２８は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間も、撮影された画像データを含む各種のデータを保持する。
【００１４】
操作部３０は、被写体の撮影時に押下げられるレリーズスイッチ、ズームレンズ１０の位置を調整するためのズームスイッチ及び、デジタルカメラ１００の動作モードやモニタ４２に再生表示しようとする画像等を選択する選択スイッチ等（図示せず）を有している。動き補償回路３２は、撮像素子１８により撮像された複数の静止画像を重ね合わせて、一枚の適正な露光の合成画像を生成する。動き補償回路３２による画像生成方法の概要については、図２で説明する。
【００１５】
モニタ４２は、例えば液晶パネル（図示せず）及び液晶パネルの駆動用ドライバ回路（図示せず）等により構成される。液晶パネルには、レリーズスイッチの全押し前及び全押し後に、撮像素子１８により撮像される画像や設定画面が表示される。すなわち、モニタ４２は、撮像素子１８の撮像面に結像される被写体像を映すファインダーとしても利用される。撮影者は、モニタ４２に映し出された被写体像を見ることによって、被写体の構図や被写体の状態を確認できる。
【００１６】
なお、特に図示していないが、デジタルカメラ１００は、ジャイロセンサ及びエンコーダを有している。ジャイロセンサは、手振れを角速度として検出するセンサであり、検出した角速度をＣＰＵ２２に出力する。エンコーダは、ズームレンズ１０の位置情報をＣＰＵ２２に出力する。ＣＰＵ２２は、エンコーダより出力されるズームレンズ１０の位置情報に基づいて、移動するズームレンズ１０の焦点距離を求めることができる。
【００１７】
図２は、動き補償回路３２による画像生成方法の概要を示している。ここでは、被写体像が「文字Ａ」であるとして説明する。図２（ａ）は、文字Ａが、例えば、２回連続して撮像された静止画像ＳＰ１、ＳＰ２を示している。この例では、撮像時の手振れにより、文字Ａを結像する撮像素子１８の撮像面の位置が静止画像ＳＰ１、ＳＰ２毎に変位し、静止画像ＳＰ１、ＳＰ２における文字Ａの位置がそれぞれ異なっている。静止画像ＳＰ１、ＳＰ２は、複数の画素で構成される画素ブロックにそれぞれ細分化されている。
【００１８】
動き補償回路３２は、静止画像ＳＰ１の各画素ブロックから、文字Ａを含む画素ブロックＢＬＫ１を選択する。動き補償回路３２は、図２（ｂ）に示すように、画素ブロックＢＬＫ１を静止画像ＳＰ２に含まれる各画素ブロックと順次比較して、静止画像ＳＰ２の中から画素ブロックＢＬＫ１に最も類似する画素ブロックＢＬＫ１’を検出する。そして、動き補償回路３２は、画素ブロックＢＬＫ１の座標値（Ｘ１、Ｙ１）から画素ブロックＢＬＫ１’の座標値（Ｘ２、Ｙ２）までの距離及び移動方向を求める。この例では、画素ブロックＢＬＫ１’は、画素ブロックＢＬＫ１に対して右斜め下の方向Ｄに距離（Δｘ、Δｙ）移動している。このため、動き補償回路３２は、画素ブロックＢＬＫ１’を方向Ｄの反対方向に距離（Δｘ、Δｙ）移動させて、文字Ａの位置を互いに一致させる。文字Ａを含む画素ブロック以外の画素ブロックについても、上述の移動処理を行って、静止画像ＳＰ１、ＳＰ２が互いに重ね合わされ、一枚の適正な露光の合成画像が生成される。
【００１９】
図３〜５は、本発明を適用していないデジタルカメラで撮像された静止画像の一例を示している。この例では、撮影者が構図内に収めたい範囲の被写体像として、人物及び木が２回連続して撮像される。図３は、最初に撮像された静止画像ＳＰ３を示している。図４は、次に撮像された静止画像ＳＰ４と静止画像ＳＰ３とを画像端を一致させて示している。なお、図４においては、識別を容易にするために、静止画像ＳＰ４における人物及び木の被写体像を破線で示している。静止画像ＳＰ４に含まれる被写体像の位置は、撮像時の手振れにより、静止画像ＳＰ３に含まれる被写体像の位置に対して図４上で左斜め上の方向Ｄに距離（Δｘ１、Δｙ１）移動している。したがって、被写体像の位置を互いに一致させるために、静止画像ＳＰ４を方向Ｄの反対方向Ｄ’に距離（Δｘ１、Δｙ１）移動させる。
【００２０】
この移動により、図５に示すように、静止画像ＳＰ３、ＳＰ４は互いに重ね合わされ、合成画像が生成される。図５中の網掛け部分は、静止画像ＳＰ３、ＳＰ４が互いに重なった領域Ｔ１であり、適正な露光の合成画像として生成される。一方、図５中の塗りつぶし部分は、静止画像ＳＰ３、ＳＰ４が互いに重ならない領域Ｔ２を示している。木の先端部分を含む領域Ｔ２は、露光が不足しているために削除される。このため、合成画像の範囲内に木の先端部分を収めることができない。なお、上記説明では、２フレームの静止画像ＳＰ３、ＳＰ４の互いに重ならない領域を削除する例を示したが、３フレーム以上の静止画像を合成する場合には、３フレーム以上の静止画像の内、少なくとも２フレームで互いに重ならない領域が削除される。
【００２１】
図６は、撮像素子１８により撮像された静止画像を示している。この例では、図３と同じ人物及び木が被写体像として連続して撮像される前に、ズームレンズ１０を広角側に移動させて画角が補正される。この補正により、画角が広くなり、静止画像ＳＰ３（図３）に比べて広い範囲の被写体像が静止画像ＳＰ５として撮像される。静止画像ＳＰ５には、上述の互いに重ならない領域として動き補償回路３２による合成画像の生成時に除去される可能性のある領域Ｔ２’（図６中の塗りつぶし領域）が予め設けられている。
【００２２】
手振れが大きいほど、時間的に隣接する連続撮影中に被写体像が移動する距離（Δｘ１、Δｙ１）は長くなり、領域Ｔ２’の大きさが大きくなる。したがって、手振れが大きいほど、すなわち、領域Ｔ２’が大きいほど、生成される合成画像の画角は狭くなる。このため、構図内に収めたい範囲の被写体像（例えば、静止画像ＳＰ３）を合成画像として生成するために、手振れの大きさに応じて画角を広く補正する必要がある。また、ズームレンズ１０の焦点距離が大きいほど、あるいは複数回の撮影の撮影時間間隔が長いほど、あるいは撮影の回数が大きいほど、領域Ｔ２'を大きく設定し、画角を広く補正する必要がある。
【００２３】
図７及び図８は、デジタルカメラの第１の実施形態における画像生成動作を示している。図７及び図８に示す動作は、ＣＰＵ２２（算出手段、設定手段及び制御手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。この例では、初期状態において、デジタルカメラ１００の動作モードは合成モードに設定されている。
【００２４】
まず、ステップＳ１００において、ＣＰＵ２２は、撮影者によりレリーズスイッチが半押しされるのを待つ。レリーズスイッチの半押しが検出されると、処理はステップＳ１０２に移行する。ステップＳ１００は、レリーズスイッチの半押しが検出されるまで繰り返される。
ステップＳ１０２において、ＣＰＵ２２は、撮像素子ドライバを制御して撮像素子１８を駆動し、被写体像を受光する。ＣＰＵ２２は、受光した被写体像の明るさに基づいて撮像素子１８の露光時間ｔ１（例えば、６０ｍｓｅｃ.）を決定し、決定した露光時間ｔ１をＲＡＭ２４に格納する。この後、処理はステップＳ１０４に移行する。
【００２５】
ステップＳ１０４において、ＣＰＵ２２は、図１で述べたエンコーダから出力されるズームレンズ１０の位置情報に基づいて焦点距離ｆ（ｍｍ）を算出する。ＣＰＵ２２は、算出した焦点距離ｆ（ｍｍ）に基づいて、手振れを生じないで撮影を行うことができる露光時間ｔ２（例えば、１０ｍｓｅｃ.）を決定する。同じ手振れ量であっても、焦点距離が長いほど、撮影画面上の被写体像のぶれ量が大きいことが知られている。手振れを生じないで撮影を行うことができる露光時間ｔ２は、例えば、［１／ｆ（ｍｍ）］ｓｅｃ.で与えられる。ＣＰＵ２２は、露光時間ｔ１、ｔ２から、合成画像を生成するために必要な撮像素子１８の撮像回数Ｎ（ｔ１／ｔ２、すなわち、６０ｍｓｅｃ.／１０ｍｓｅｃ.＝６）を算出し、露光時間ｔ２、撮像回数Ｎ及び焦点距離ｆ（ｍｍ）をＲＡＭ２４に格納する。なお、露光時間（ｔ２）として、必ず焦点距離ｆ（ｍｍ）の逆数から求めた値を採用するものとすれば、露光時間（ｔ２）は必ずしもＲＡＭ２４に格納しておく必要はない。その後、処理はステップＳ１０５に移行する。
【００２６】
ステップＳ１０５において、ＣＰＵ２２は、撮像条件Ｃに対応するズームレンズ１０の広角側への移動量を求めるのに必要な情報が、記憶媒体２８に既に格納されているか否かを検出する。例えば、ステップＳ１０４で、撮像条件Ｃとして、焦点距離１００(ｍｍ)、撮像回数６、露光時間（ｔ２）１０(ｍｓｅｃ.)が算出された場合について考える。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されている場合には、ステップＳ１０５は肯定判定される。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間（ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ′が記憶されている場合に、この撮像条件下での移動量Ｍ′より、撮像条件Ｃ下での移動量Ｍを算出することができるので、ステップＳ１０５は肯定判定される。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ″が記憶されている場合に、この撮像条件下での移動量Ｍ″より、撮像条件Ｃ下での移動量Ｍを算出することができるので、ステップＳ１０５は肯定判定される。このように、撮像条件Ｃにおける移動量Ｍは、撮像条件Ｃとは異なる撮像条件下での移動量Ｍ′やＭ″などから求めることができる。撮像条件Ｃのもとでの移動量Ｍを求めるのに必要な情報が、記憶媒体２８に格納されていると、ステップＳ１０５が肯定判定され、ステップＳ１０６に移行する。一方、撮像条件Ｃのもとでの移動量Ｍを求めるのに必要な情報が記憶媒体２８に格納されていないと、図８のステップＳ１１７に移行する。
【００２７】
ステップＳ１０６において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃ(露光時間ｔ２、撮像回数Ｎ、焦点距離ｆ)のときにズームレンズ１０を広角側に移動させる移動量Ｍを、記憶媒体２８に記憶されている情報をもとに求める。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されている場合には、記憶されている情報を読み出して移動量Ｍとする。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ′が記憶されている場合に、この撮像条件下での移動量Ｍ′より、焦点距離の違いを考慮して、撮像条件Ｃ下での移動量Ｍを求める。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ″が記憶されている場合に、この撮像条件下での移動量Ｍ″より、撮像回数の違いを考慮して、撮像条件Ｃにおける移動量Ｍを求める。このとき、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されていない場合には、類似する撮像条件から求められた移動量Ｍを、撮像条件Ｃとともに、記憶媒体２８に記憶する。
【００２８】
ステップＳ１０６に続くステップＳ１１２において、ＣＰＵ２２は、移動量Ｍの移動によって、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えるか否かを判断する。移動量Ｍだけ移動させたズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超える、すなわち適切な画角に変更することができないと判断された場合には、ステップＳ１１４に移行する。一方、移動量Ｍだけ移動させたズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えない、すなわち適切な画角に変更することができると判断された場合には、ステップＳ１２４に移行する。
【００２９】
ステップＳ１１４において、ＣＰＵ２２は、「適切な画角に変更できない(最終的な生成画像の端部が削除される可能性がある)」旨を示すエラー表示をモニタ４２に表示させる。従って、撮影者はモニタ４２を介して、適切な画角に設定することができないことを認識できる。このため、撮影者は、画角を広くするためにカメラ本体を被写体から遠ざけるか、あるいは、撮影を中止するか、あるいは画角が狭い状態で撮影を続けるか等を判断できる。この後、処理はステップＳ１２４に移行する。
【００３０】
一方、ステップＳ１０５で、撮像条件Ｃに対応するズームレンズ１０の広角側への移動量Mを求めるのに必要な情報が、記憶媒体２８に格納されていない場合、図８のステップＳ１１７において、ＣＰＵ２２は、ズームレンズ１０の移動量Ｍとして、デフォルトで定められている値を設定する。
ステップＳ１１７に続くステップＳ１１８において、ＣＰＵ２２は、デフォルト値に設定された移動量に基づく移動によって、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えるか否かを判断する。ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超える、すなわち設定された移動量に対応する画角に変更することができないと判断された場合には、ステップＳ１２０に移行する。一方、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えない、すなわち設定された移動量に対応する画角に変更することができると判断された場合には、図７のステップＳ１２４に移行する。
【００３１】
ステップＳ１２０において、ＣＰＵ２２は、「設定された移動量に対応する画角に変更できない」旨を示すエラー表示をモニタ４２に表示させる。この後、処理は図７のステップＳ１２４に移行する。
ステップＳ１１２、またはステップＳ１１４、またはステップＳ１１８、またはステップＳ１２０の処理の後、ステップＳ１２４において、ＣＰＵ２２は、撮影者によりレリーズスイッチが全押しされるのを待つ。レリーズスイッチの全押し操作が検出されると、処理はステップＳ１２５に移行する。レリーズスイッチの全押し操作が検出されないと、処理はステップＳ１００に移行する。
【００３２】
ステップＳ１２５において、ＣＰＵ２２は、駆動回路１４を介してズームモータ１２を駆動して、ズームレンズ１０を広角側に移動量Ｍ分だけ移動させる。この際に、ステップＳ１１４、またはステップＳ１２０でエラー表示がなされた場合にも、ズームレンズ１０を、広角端まで移動させる構成とすれば、画角が狭い状態で撮影を続けることができる。この後、処理はステップＳ１２６に移行する。
【００３３】
ステップＳ１２６において、ＣＰＵ２２は、シャッタドライバ及び撮像素子ドライバをそれぞれ制御して、シャッタ１６及び撮像素子１８を駆動し、撮像条件Ｃで、被写体像を連続してＮ(例えば、６)回撮像する。この後処理は、ステップＳ１２８に移行する。
ステップＳ１２８において、ＣＰＵ２２は、図２で述べたように、動き補償回路３２を制御して、撮像された複数の静止画像を位置合わせの上、重ね合わせて、１フレームの適正な露光の合成画像を生成する。この後、処理はステップＳ１３０に移行する。
【００３４】
ステップＳ１３０において、ＣＰＵ２２は、撮像条件Ｃに対応付けて、修正された移動量Ｍ(位置情報)を算出して記憶媒体２８に格納する。ＣＰＵ２２は、ステップＳ１２６で撮像された複数フレームの静止画像から合成した合成画像上で、複数フレーム全ての撮像画像が重複していない領域の大きさから、ステップＳ１２６の撮影時の手振れ量を求め、撮像条件Ｃにおいて、この手振れの影響をなくすために必要であったズームレンズ１０の移動量ｍを算出する。ＣＰＵ２２は、ステップＳ１２５の処理で実際にズームレンズ１０を移動させた移動量Ｍと、上記の移動量ｍとの重み付け加算値（例えば平均値）を算出して、撮像条件Ｃと関連付けて新たな修正された移動量Ｍとして記憶媒体２８に記憶する。そして、デジタルカメラの第１の実施形態における画像生成動作が終了する。
【００３５】
このように、ステップＳ１３０で記憶媒体２８に記憶される新たな修正された移動量Ｍは、直前の撮影による振れ量を反映したものであるので、第１の実施形態においては、撮影者の癖(手振れの大きさ、方向)に応じて画角を補正できる。このため、構図内に収めたい範囲の被写体像の画質劣化を低減しつつ、容易、かつ確実に合成画像が生成できる。
図９は本発明のデジタルカメラの第２の実施形態を示している。第１の実施形態で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。デジタルカメラ２００は、認識部３６（取得手段）が新たに形成されている点を除き、第１の実施形態のデジタルカメラ１００と同じである。認識部３６は、デジタルカメラ２００を操作する操作者の声紋を、操作者を個別に認識する認識情報として検出する。認識部３６は、検出した認識情報をＣＰＵ２２に出力する。
【００３６】
図１０及び図１１は、デジタルカメラの第２の実施形態における画像生成動作を示している。この実施形態では、ＣＰＵ２２が実行するためにプログラムメモリ２６に格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図１０及び図１１は、第１の実施形態（図７及び図８）のステップＳ１０５がステップＳ２００、Ｓ２０２に置き換えられた点と、ステップＳ１３０がステップＳ２０４に置き換えられた点を除いて、図７及び図８と同じである。
【００３７】
上述した図７及び図８と同じ処理については、詳細な説明を省略する。また、図１０及び図１１に示す動作は、ＣＰＵ２２（算出手段、設定手段及び制御手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。なお、この例では、初期状態において、デジタルカメラ２００の動作モードは合成モードに設定されている。
【００３８】
まず、ステップＳ１００〜Ｓ１０４が実行され、第１の実施形態と同様の手法により、撮像回数Ｎを求め、撮像回数Ｎ、焦点距離ｆ（ｍｍ)、及び露光時間ｔ２をＲＡＭ２４に格納する。
ステップＳ１０４に続くステップＳ２００において、ＣＰＵ２２は、認識部３６から撮影者を特定する認識情報Ｒを受け取る。この後、処理はステップＳ２０２に移行する。
【００３９】
ステップＳ２０２において、ＣＰＵ２２は、撮像条件Ｃ及び認識情報Ｒに対応する、ズームレンズ１０の広角側への移動量Ｍを求めるのに必要な情報が記憶媒体２８に記憶されているか否かを検出する。撮像条件Ｃ、及び認識情報Ｒにおける移動量Ｍを求めるのに必要な情報が格納されていると、処理はステップＳ１０６に移行する。一方、撮像条件Ｃ、及び認識情報Ｒにおける移動量Ｍを求めるのに必要な情報が格納されていないと、処理は図１１のステップＳ１１７に移行する。
【００４０】
ステップＳ１０６において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃ、及び認識情報Ｒのときにズームレンズ１０を広角側に移動させる移動量Ｍを、記憶媒体２８に記憶されている情報をもとに、例えば第１の実施形態と同様にして求める。このとき、認識情報Ｒのもとでの撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されていない場合には、類似する撮像条件から求められた移動量Ｍを、認識情報Ｒ、及び撮像条件Ｃとともに、記憶媒体２８に記憶する。その後、第１の実施形態と同様にステップＳ１１２〜Ｓ１２８の処理が実行され、動き補償回路３２により合成画像が生成された後、処理はステップＳ２０４に移行する。
【００４１】
ステップＳ２０４において、ＣＰＵ２２は、撮像条件Ｃ、及び識別情報Ｒに対応付けて、修正された移動量(位置情報)を算出して記憶媒体２８に格納する。ＣＰＵ２８は、ステップＳ１２６で撮像された複数フレームの静止画像から合成した合成画像上で、複数フレーム全ての撮像画像が重複していない領域の大きさから、ステップＳ１２６の撮影時の手振れ量を求め、撮像条件Ｃ、及び認識情報Ｒのもとで、この手振れの影響をなくすために必要であったズームレンズ１０の移動量ｍを算出する。ＣＰＵ２２は、ステップＳ１２５の処理で実際にズームレンズ１０を移動させた移動量Ｍと、上記の移動量ｍとの重み付け加算値（例えば平均値）を算出して、撮像条件Ｃ、及び識別情報Ｒと関連付けて、新たな修正された移動量Ｍとして記憶媒体２８に記憶する。そして、デジタルカメラの第２の実施形態における画像生成動作が終了する。
【００４２】
以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。さらに、デジタルカメラ２００を操作する撮影者毎に、過去の手振れ量が反映されたズームレンズ１０の移動量が、記憶媒体２８に記憶されるので、複数の撮影者が交代でデジタルカメラ２００を操作する場合も、各々の撮影者の癖が反映されたズームレンズ１０の移動量を設定することができる。この結果、撮影者毎に、構図内に収めたい範囲の被写体像を合成画像として容易、かつ確実に高画質で撮影することができる。
【００４３】
図１２及び図１３は、デジタルカメラの第３の実施形態における画像生成動作を示している。この実施形態では、ＣＰＵ２２が実行するためにプログラムメモリ２６に格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図１２び図１３は、第１の実施形態（図７及び図８）のステップＳ１００〜Ｓ１０４、及びステップＳ３０２〜Ｓ３０８が実行された後、ステップＳ１２４が実行される点と、ステップＳ１１７〜Ｓ１２０、及びステップＳ１３０が各々、ステップＳ３１３〜Ｓ３１６、及びステップＳ３２２に置き換えられた点を除いて、図７及び図８と同じである。
【００４４】
上述した図７及び図８と同じ処理については、詳細な説明を省略する。また、図１２及び図１３に示す動作は、ＣＰＵ２２（算出手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。
第３の実施形態においては、撮像条件から予想される合成画像の大きさを表す指標を、モニタ４２に表示する。また、この際に、手振れ量などの撮影者の癖を、一連の複数フレームの撮影の度に順次反映した指標表示とする。以下に示す「領域情報」は、上記の予想される合成画像の大きさを表す指標の画面上の位置情報に対応する。
【００４５】
ステップＳ１００〜Ｓ１０４が実行され、撮像回数Ｎが算出された後、ステップＳ３０２において、ＣＰＵ２２は、撮像条件Ｃ（例えば、焦点距離１００（ｍｍ）、撮影回数６、露光時間（ｔ２）１０（ｍｓｅｃ.））に対応する領域情報Ｔが記憶媒体２８に格納されているか否かを検出する。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されている場合には、ステップＳ３０２は肯定判定される。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ′が記憶されている場合に、この撮像条件下での領域情報Ｔ′より、撮像条件Ｃ下での領域情報Ｔを算出することができるので、ステップＳ３０２は肯定判定される。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ″が記憶されている場合に、この撮像条件下での領域情報Ｔ″より、撮像条件Ｃ下での領域情報Ｔを算出することができるので、ステップＳ３０２は肯定判定される。このように、撮像条件Ｃのもとでの領域情報Ｔは、撮像条件Ｃとは異なる撮像条件下での領域情報Ｔ′やＴ″などから求めることができる。撮像条件Ｃのもとでの領域情報Ｔを求めるのに必要な情報が、記憶媒体２８に格納されていると、ステップＳ３０２が肯定判定され、ステップＳ３０３に移行する。一方、撮像条件Ｃのもとでの領域情報Ｔを求めるのに必要な情報が記憶媒体２８に格納されていないと、図１３のステップＳ３１３に移行する。
【００４６】
ステップＳ３０３において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃのときに、動き補償回路３２により合成画像が生成されると予想される領域を示す領域情報Ｔを、記憶媒体２８に記憶されている情報をもとに算出する。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されている場合には、記憶されている情報を読み出して領域情報Ｔとする。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ′が記憶されている場合に、この撮像条件下での領域情報Ｔ′より、焦点距離の違いを考慮して、撮像条件Ｃ下での領域情報Ｔを求める。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ″が記憶されている場合に、この撮像条件下での領域情報Ｔ″より、撮像回数の違いを考慮して撮像条件Ｃにおける領域情報Ｔを求める。このとき、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されていない場合には、記憶媒体２８に格納されている撮像条件のうち、最も撮像条件Ｃに類似する撮像条件から求められた領域情報Ｔを、撮像条件Ｃとともに、記憶媒体２８に記憶する。
【００４７】
ステップＳ３０３に続くステップＳ３０６において、ＣＰＵ２２は、ステップＳ３０３で求められた領域情報Ｔに相当する領域をあらわす指標を、撮像されているスルー画像に重畳してモニタ４２に表示する。撮影者は、モニタ４２のスルー画像と指標を見て、所望の被写体が指標内に入っていない場合には、ズームスイッチ(調整手段)を広角側に操作して、所望の被写体が指標内に入るようにズームレンズ１０を短焦点側に移動させる操作を行う。一方、所望の被写体の指標内における大きさが小さい場合には、ズームスイッチを操作して、所望の被写体の指標内における大きさが適切となるように、ズームレンズ１０を長焦点側に移動させる操作を行う。
【００４８】
ステップＳ３０６に続くステップＳ３０８において、ＣＰＵ２２は、撮影者によるズームスイッチの操作に応答して、ズームモータ１２を駆動してズームレンズ１０を広角側、もしくは望遠側に、操作によって設定された移動量の分、移動させる。ここで、所望の被写体が指標内に適切な大きさで入っている場合には、ズームレンズ１０を移動させる必要がないので、ステップＳ３０８はスキップされる。このように、撮影者の癖が反映された合成画像の予測生成領域をモニタ４２に表示することで、撮影者は自分の手振れの大きさに応じて画角を補正できる。この後、処理はステップＳ１２４に移行する。なお、上記のステップＳ３０８は、ズームスイッチの操作に基づいて、ズームレンズ１０を移動させるものに限定されず、指標内の特定の被写体の大きさが適切となるように、自動的にズームレンズ１０を移動させる構成（オートズーム）としてもよい。指標内の特定の被写体の大きさが適切となるように、自動的にズームレンズ１０を移動させる制御は、撮像素子１８により撮像された特定被写体の像のモニタ４２上の大きさと、指標の間隔とを比較して、両者の大小関係が適切となるようにズームレンズ１０を駆動することによって行うことができる。
【００４９】
一方、ステップＳ３０２で、撮像条件Ｃに対応する領域情報Ｔを求めるのに必要な情報が、記憶媒体２８に格納されていない場合、ステップＳ３１３において、ＣＰＵ２２は、領域情報として、デフォルトで定められている値を設定する。
ステップＳ３１３に続くステップＳ３１４において、ＣＰＵ２２は、デフォルト値に設定された領域情報に基づいて、合成画像の予測生成領域を示す指標を、撮像されているスルー画像に重畳してモニタ４２に表示する。この後、処理はステップＳ３１６に移行する。 ステップＳ３１６において、ＣＰＵ２２は、撮影者によるズームスイッチの操作に応答して、ズームモータ１２を駆動してズームレンズ１０を広角側（あるいは望遠側）に、操作によって設定された移動量の分だけ移動させる。その後、処理は、図１２のステップＳ１２４に移行する。
【００５０】
ステップＳ３０８、またはＳ３１６で、ズームレンズ１０が広角側(あるいは望遠側)に移動された後、ステップＳ１２４において、ＣＰＵ２２は、撮影者によりレリーズスイッチが全押し操作されるのを待つ。レリーズスイッチの全押し操作が検出されると、処理はステップＳ１２６に移行する。レリーズスイッチの全押し操作が検出されないと、処理はステップＳ１００に移行する。
【００５１】
ステップＳ１２６において、ＣＰＵ２２は、シャッタドライバ及び撮像素子ドライバをそれぞれ制御して、シャッタ１６及び撮像素子１８を駆動し、撮像条件Ｃのもとで、被写体像を連続してＮ(例えば、６)回撮像する。この後処理は、ステップＳ１２８に移行する。 ステップＳ１２８において、ＣＰＵ２２は、図２で述べたように、動き補償回路３２を制御して、撮像された複数の静止画像を位置合わせの上、重ね合わせて、１フレームの適正な露光の合成画像を生成する。この後、処理はステップＳ３２２に移行する。
【００５２】
ステップＳ３２２において、ＣＰＵ２２は、撮像条件Ｃに対応付けて、新たに修正された領域情報Ｔを算出して記憶媒体２８に格納する。ＣＰＵ２２は、ステップＳ１２８で生成された合成画像と、ステップＳ３０８、またはステップＳ３１６でモニタ４２に表示された合成画像の予測生成領域内の画像とから、次回の同じ撮像条件Ｃでの撮像動作の際に用いる領域情報Ｔを新たに生成して、撮像条件Ｃと関連付けて記憶媒体２８に記憶する。撮像条件Ｃに関連付けられて、記憶媒体２８に新たに記憶される領域情報Ｔは、ステップＳ１２８で生成された合成画像の領域の大きさと、ステップＳ３０８、またはステップＳ３１６でモニタ４２に表示された合成画像の予測生成領域の大きさとの間（例えばちょうど中間）の大きさを有する領域を示す情報となる。そして、デジタルカメラの第３の実施形態における画像生成動作が終了する。
【００５３】
このように、ステップＳ３２２で記憶媒体２８に記憶される領域情報は、直前の撮影による振れ量を反映したものであるので、撮影者は、モニタ４２に表示される指標を見ながら、所望の被写体の像が指標内に入るように画角を調整するだけで、所望の被写体を含み、画質劣化の低減された合成画像を容易、かつ確実に得ることができる。
第３の実施形態で説明した指標表示は、第１の実施形態、あるいは第２の実施形態で説明したデジタルカメラに組み合わせて用いることができる。この場合、記憶媒体２８には、撮像条件Ｃに関連付けられて、ズームレンズ１０の移動量Ｍ、及び領域情報Ｔが記憶される。
【００５４】
また、上述した第１の実施形態、及び第２の実施形態では、今回のレリーズスイッチの全押し操作による本撮影画像から得られた手振れ情報をもとに、同じ撮像条件での次回の撮像動作におけるズームレンズ１０の移動量を求める構成としたが、これに代えて、今回のスルー画像撮像段階で得られる手振れ量データと、記憶媒体２８に記憶される同じ撮像条件のもとでのズームレンズ１０の移動量とから、当該スルー画像の撮像の後に行われる本撮影におけるズームレンズ１０の移動量を算出し、記憶媒体２８にこの移動量を格納するとともに、これに基づいてズームレンズ１０を移動させて本撮影動作を行う構成としてもよい。
【００５５】
この際に、スルー画像撮像段階で取得する手振れデータは、撮像したスルー画像データの中から、レリーズスイッチの全押し操作に伴って連続撮像する撮像周期に相当する周期で、撮像回数Ｎに相当するフレーム数だけスルー画像データを抜き出して、抜き出した各スルー画像のデータ間で、動きベクトルを算出することによって取得することができる。 また上述の第１、及び第２の各実施の形態で示した移動量Ｍにかえて、焦点距離の値を、記憶媒体２８に記憶するものであってもよい。ズームレンズ１０の焦点距離の値とエンコーダの出力は１対１で対応するので、焦点距離の値も、ズームレンズ１０の位置情報を示していると考えることができる。また、移動量、領域情報の記憶される記憶媒体２８は、画像データを記憶しないものであってもよい。
【００５６】
上述した第２の実施形態では、デジタルカメラ２００を操作する操作者の声紋を認識情報として検出する例について述べた。本発明は、かかる実施形態に限定されるものではない。操作者の指紋や虹彩から操作者を認識してもよい。
以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
【産業上の利用可能性】
【００５７】
本発明は、被写体像を連続して撮像可能なデジタルカメラに適用される。
【図面の簡単な説明】
【００５８】
【図１】本発明のデジタルカメラの第１の実施形態を示すブロック図である。
【図２】動き補償回路による画像生成方法の概要を示す説明図である。
【図３】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図４】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図５】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図６】撮像素子により撮像された静止画像を示す説明図である。
【図７】デジタルカメラの第１の実施形態における画像生成動作を示すフローチャートである。
【図８】デジタルカメラの第１の実施形態における画像生成動作を示すフローチャートである。
【図９】デジタルカメラの第２の実施形態を示すブロック図である。
【図１０】デジタルカメラの第２の実施形態における画像生成動作を示すフローチャートである。
【図１１】デジタルカメラの第２の実施形態における画像生成動作を示すフローチャートである。
【図１２】デジタルカメラの第３の実施形態における画像生成動作を示すフローチャートである。
【図１３】デジタルカメラの第３の実施形態における画像生成動作を示すフローチャートである。
【符号の説明】
【００５９】
１０…ズームレンズ、１２…ズームモータ、１４…駆動回路、１６…シャッタ、１８…撮像素子、２０…Ａ／Ｄ変換回路、２２…ＣＰＵ、２４…ＲＡＭ、２６…プログラムメモリ、２８…記憶媒体、３０…操作部、３２…動き補償回路、３４…バス、３６…認識部、４２…モニタ、１００、２００…デジタルカメラ
【技術分野】
【０００１】
本発明は、被写体像を連続して撮像可能なデジタルカメラに関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、ＣＣＤ（Charge Coupled Device）等の撮像素子により、被写体像を連続して撮像し、撮像された複数フレームの画像を位置合わせの後に重ね合わせて、適正な露光量の画像を得ることが行われていた。このような合成に用いる画像の撮影動作においては、各フレーム画像撮影の露光時間は、各々フレーム画像にブレが生じないように短く設定されるとともに、その撮影時間間隔も、位置合わせ処理が容易となるように、可能な限り短く設定される。しかしながら、このようにして撮影時間間隔が短く設定されていても、得られた複数フレームの画像を合成する際には、手振れ等により各フレーム画像間の位置合わせ処理が必要となり、この際に互いに重なり合わない領域については、適正な露光量が得られないことから、この領域を削除して合成処理が施されていた。これに対応する手法として、撮影画角を変更する手法が、例えば下記特許文献１に開示されている。特許文献１に開示される技術によれば、被写体の撮像に先立って、撮影画角が広く変更されることで、上述した領域が削除された後も、合成画像の画角が確保される。最終的に得られる画像は、このようにして得られた複数フレームの画像の互いに重複した領域の画像となる。
【特許文献１】特開２００５−７９８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した互いに重なり合わない領域の大きさ、すなわち手振れの大きさは、その時々によって異なるものであり、全ての起こりうる手振れを想定して、撮影画角を広角に設定すると、最終的に得られる画像の画素数は撮像素子の有効画素数よりも大幅に少ないものとなり、所望の画質が得られない。
本発明は、複数フレームを合成する際の画質劣化を低減する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１のデジタルカメラでは、撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、光学手段の光路上の位置を示す位置情報を格納する。設定手段は、撮像手段の撮像動作に際して、撮像条件が指定されたときに、記憶手段に記憶される位置情報をもとに生成された、撮像条件における位置情報に基づいて、光学手段の光路上の位置を設定する。算出手段は、撮像動作によって得られた複数の画像データと、生成された位置情報とに基づいて、撮像条件における新たな位置情報を生成する。制御手段は、算出手段によって算出された新たな位置情報を、撮像条件と関連付けて、記憶手段に記憶するように制御する。
【０００５】
請求項２のデジタルカメラでは、取得手段は、カメラ本体を操作する操作者を個別に認識するための認識情報を取得する。記憶手段は、認識情報に対応付けて、光学手段の光路上の位置を格納する。設定手段は、認識情報をもとに、撮像動作における位置情報を生成する。制御手段は、算出手段によって算出された新たな位置情報を、認識情報と関連付けて、記憶手段に記憶するように制御する。
【０００６】
請求項３のデジタルカメラでは、エラー表示手段は、設定手段により設定される光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示する。
請求項４のデジタルカメラでは、撮像手段は、光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する。画像生成手段は、撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する。記憶手段は、複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、共通の領域を示す領域情報を格納する。表示手段は、撮像手段によって撮像される画像と、領域情報に基づく指標とを表示する。調整手段は、操作者の操作に応じて、光学手段の光路上の位置を調整する。設定手段は、撮像手段の撮像動作に際して、撮像条件が指定されたときに、記憶手段に記憶される領域情報をもとに生成された、撮像条件における領域情報に基づいて、表示手段の表示画面上の指標の表示位置を設定する。算出手段は、撮像動作によって得られた複数の画像データと、生成された領域情報とに基づいて、撮像条件における新たな領域情報を生成する。制御手段は、算出手段によって算出された新たな領域情報を、撮像条件と関連付けて、記憶手段に記憶するように制御する。
【０００７】
請求項５のデジタルカメラでは、エラー表示手段は、調整手段により調整される光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示する。
【発明の効果】
【０００８】
撮影者の癖（手振れの大きさ）に応じて、撮影者が構図内に収めたい範囲の被写体像を合成画像として容易、かつ確実に生成できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明のデジタルカメラの第１の実施形態を示している。デジタルカメラ１００は、被写体を撮像する撮影レンズの一部を構成するズームレンズ１０（光学手段）、ズームモータ１２、ズームモータ１２の駆動回路１４（設定手段）、機械式のシャッタ１６、ＣＣＤやＣＭＯＳ撮像素子で構成される撮像素子１８（撮像手段）、Ａ／Ｄ変換回路２０、ＣＰＵ２２（算出手段、設定手段及び制御手段）、ＲＡＭ２４、プログラムメモリ２６、記憶媒体２８（記憶手段）、操作部３０、動き補償回路３２（画像生成手段）、バス３４及びモニタ４２（エラー表示手段及び表示手段）を有している。
【００１０】
ズームレンズ１０は、焦点距離の短い広角側、及び焦点距離の長い望遠側に移動可能に光軸ＯＡ上に配置される。このため、被写体が撮像される画角は、ズームレンズ１０の広角側への移動により広く、望遠側への移動により狭く設定される。
ズームモータ１２は、ズームレンズ１０を移動させるためのモータである。駆動回路１４には、ズームレンズ１０の移動量及び移動方向を示す制御情報がＣＰＵ２２から供給される。駆動回路１４は、ズームモータ１２を介して、ズームレンズ１０を広角側及び望遠側のいずれかに移動させる。
【００１１】
シャッタ１６は、ズームレンズ１０から撮像素子１８への光路を遮る位置に配置されるシャッタ膜（図示せず）を有している。シャッタ１６は、図示しないシャッタドライバによって駆動され、ズームレンズ１０を通過した光によって撮像素子１８が露光される露光時間を調節する。シャッタ膜は、ズームレンズ１０から撮像素子１８への光路を確保するために開く。なお、機械式のシャッタ１６に代えて、撮像素子１８の電子シャッタにより露光時間を調節する構成としてもよい。あるいは、機械式のシャッタ１６と、撮像素子１８の電子シャッタとを併用する構成としてもよい。
【００１２】
撮像素子１８は、シャッタ１６を介してズームレンズ１０に対向する位置に配置されている。撮像素子１８は、図示しない撮像素子ドライバにより駆動され、ズームレンズ１０より結像される被写体像を撮像する。撮像素子１８は、デジタルカメラ１００の動作モードが合成モードに設定されているときに、所定の撮影時間間隔で被写体像を連続して複数回撮像する。本発明において、合成モードは、動き補償回路３２により合成画像（後述）が生成される動作モードを指す。Ａ／Ｄ変換回路２０は、撮像素子１８により撮像された画像をアナログ値からデジタル値に変換する。Ａ／Ｄ変換回路２０は、Ａ／Ｄ変換した画像データをＲＡＭ２４に出力する。
【００１３】
ＣＰＵ２２は、プログラムメモリ２６に格納されたプログラムを実行することによって、バス３４で接続された各装置の動作を制御する。ＲＡＭ２４は、撮像素子１８により撮像された画像データや各情報を一時的に保存する。プログラムメモリ２６は、デジタルカメラ１００を動作させるためにＣＰＵ２２により実行されるプログラムを格納している。記憶媒体２８は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間も、撮影された画像データを含む各種のデータを保持する。
【００１４】
操作部３０は、被写体の撮影時に押下げられるレリーズスイッチ、ズームレンズ１０の位置を調整するためのズームスイッチ及び、デジタルカメラ１００の動作モードやモニタ４２に再生表示しようとする画像等を選択する選択スイッチ等（図示せず）を有している。動き補償回路３２は、撮像素子１８により撮像された複数の静止画像を重ね合わせて、一枚の適正な露光の合成画像を生成する。動き補償回路３２による画像生成方法の概要については、図２で説明する。
【００１５】
モニタ４２は、例えば液晶パネル（図示せず）及び液晶パネルの駆動用ドライバ回路（図示せず）等により構成される。液晶パネルには、レリーズスイッチの全押し前及び全押し後に、撮像素子１８により撮像される画像や設定画面が表示される。すなわち、モニタ４２は、撮像素子１８の撮像面に結像される被写体像を映すファインダーとしても利用される。撮影者は、モニタ４２に映し出された被写体像を見ることによって、被写体の構図や被写体の状態を確認できる。
【００１６】
なお、特に図示していないが、デジタルカメラ１００は、ジャイロセンサ及びエンコーダを有している。ジャイロセンサは、手振れを角速度として検出するセンサであり、検出した角速度をＣＰＵ２２に出力する。エンコーダは、ズームレンズ１０の位置情報をＣＰＵ２２に出力する。ＣＰＵ２２は、エンコーダより出力されるズームレンズ１０の位置情報に基づいて、移動するズームレンズ１０の焦点距離を求めることができる。
【００１７】
図２は、動き補償回路３２による画像生成方法の概要を示している。ここでは、被写体像が「文字Ａ」であるとして説明する。図２（ａ）は、文字Ａが、例えば、２回連続して撮像された静止画像ＳＰ１、ＳＰ２を示している。この例では、撮像時の手振れにより、文字Ａを結像する撮像素子１８の撮像面の位置が静止画像ＳＰ１、ＳＰ２毎に変位し、静止画像ＳＰ１、ＳＰ２における文字Ａの位置がそれぞれ異なっている。静止画像ＳＰ１、ＳＰ２は、複数の画素で構成される画素ブロックにそれぞれ細分化されている。
【００１８】
動き補償回路３２は、静止画像ＳＰ１の各画素ブロックから、文字Ａを含む画素ブロックＢＬＫ１を選択する。動き補償回路３２は、図２（ｂ）に示すように、画素ブロックＢＬＫ１を静止画像ＳＰ２に含まれる各画素ブロックと順次比較して、静止画像ＳＰ２の中から画素ブロックＢＬＫ１に最も類似する画素ブロックＢＬＫ１’を検出する。そして、動き補償回路３２は、画素ブロックＢＬＫ１の座標値（Ｘ１、Ｙ１）から画素ブロックＢＬＫ１’の座標値（Ｘ２、Ｙ２）までの距離及び移動方向を求める。この例では、画素ブロックＢＬＫ１’は、画素ブロックＢＬＫ１に対して右斜め下の方向Ｄに距離（Δｘ、Δｙ）移動している。このため、動き補償回路３２は、画素ブロックＢＬＫ１’を方向Ｄの反対方向に距離（Δｘ、Δｙ）移動させて、文字Ａの位置を互いに一致させる。文字Ａを含む画素ブロック以外の画素ブロックについても、上述の移動処理を行って、静止画像ＳＰ１、ＳＰ２が互いに重ね合わされ、一枚の適正な露光の合成画像が生成される。
【００１９】
図３〜５は、本発明を適用していないデジタルカメラで撮像された静止画像の一例を示している。この例では、撮影者が構図内に収めたい範囲の被写体像として、人物及び木が２回連続して撮像される。図３は、最初に撮像された静止画像ＳＰ３を示している。図４は、次に撮像された静止画像ＳＰ４と静止画像ＳＰ３とを画像端を一致させて示している。なお、図４においては、識別を容易にするために、静止画像ＳＰ４における人物及び木の被写体像を破線で示している。静止画像ＳＰ４に含まれる被写体像の位置は、撮像時の手振れにより、静止画像ＳＰ３に含まれる被写体像の位置に対して図４上で左斜め上の方向Ｄに距離（Δｘ１、Δｙ１）移動している。したがって、被写体像の位置を互いに一致させるために、静止画像ＳＰ４を方向Ｄの反対方向Ｄ’に距離（Δｘ１、Δｙ１）移動させる。
【００２０】
この移動により、図５に示すように、静止画像ＳＰ３、ＳＰ４は互いに重ね合わされ、合成画像が生成される。図５中の網掛け部分は、静止画像ＳＰ３、ＳＰ４が互いに重なった領域Ｔ１であり、適正な露光の合成画像として生成される。一方、図５中の塗りつぶし部分は、静止画像ＳＰ３、ＳＰ４が互いに重ならない領域Ｔ２を示している。木の先端部分を含む領域Ｔ２は、露光が不足しているために削除される。このため、合成画像の範囲内に木の先端部分を収めることができない。なお、上記説明では、２フレームの静止画像ＳＰ３、ＳＰ４の互いに重ならない領域を削除する例を示したが、３フレーム以上の静止画像を合成する場合には、３フレーム以上の静止画像の内、少なくとも２フレームで互いに重ならない領域が削除される。
【００２１】
図６は、撮像素子１８により撮像された静止画像を示している。この例では、図３と同じ人物及び木が被写体像として連続して撮像される前に、ズームレンズ１０を広角側に移動させて画角が補正される。この補正により、画角が広くなり、静止画像ＳＰ３（図３）に比べて広い範囲の被写体像が静止画像ＳＰ５として撮像される。静止画像ＳＰ５には、上述の互いに重ならない領域として動き補償回路３２による合成画像の生成時に除去される可能性のある領域Ｔ２’（図６中の塗りつぶし領域）が予め設けられている。
【００２２】
手振れが大きいほど、時間的に隣接する連続撮影中に被写体像が移動する距離（Δｘ１、Δｙ１）は長くなり、領域Ｔ２’の大きさが大きくなる。したがって、手振れが大きいほど、すなわち、領域Ｔ２’が大きいほど、生成される合成画像の画角は狭くなる。このため、構図内に収めたい範囲の被写体像（例えば、静止画像ＳＰ３）を合成画像として生成するために、手振れの大きさに応じて画角を広く補正する必要がある。また、ズームレンズ１０の焦点距離が大きいほど、あるいは複数回の撮影の撮影時間間隔が長いほど、あるいは撮影の回数が大きいほど、領域Ｔ２'を大きく設定し、画角を広く補正する必要がある。
【００２３】
図７及び図８は、デジタルカメラの第１の実施形態における画像生成動作を示している。図７及び図８に示す動作は、ＣＰＵ２２（算出手段、設定手段及び制御手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。この例では、初期状態において、デジタルカメラ１００の動作モードは合成モードに設定されている。
【００２４】
まず、ステップＳ１００において、ＣＰＵ２２は、撮影者によりレリーズスイッチが半押しされるのを待つ。レリーズスイッチの半押しが検出されると、処理はステップＳ１０２に移行する。ステップＳ１００は、レリーズスイッチの半押しが検出されるまで繰り返される。
ステップＳ１０２において、ＣＰＵ２２は、撮像素子ドライバを制御して撮像素子１８を駆動し、被写体像を受光する。ＣＰＵ２２は、受光した被写体像の明るさに基づいて撮像素子１８の露光時間ｔ１（例えば、６０ｍｓｅｃ.）を決定し、決定した露光時間ｔ１をＲＡＭ２４に格納する。この後、処理はステップＳ１０４に移行する。
【００２５】
ステップＳ１０４において、ＣＰＵ２２は、図１で述べたエンコーダから出力されるズームレンズ１０の位置情報に基づいて焦点距離ｆ（ｍｍ）を算出する。ＣＰＵ２２は、算出した焦点距離ｆ（ｍｍ）に基づいて、手振れを生じないで撮影を行うことができる露光時間ｔ２（例えば、１０ｍｓｅｃ.）を決定する。同じ手振れ量であっても、焦点距離が長いほど、撮影画面上の被写体像のぶれ量が大きいことが知られている。手振れを生じないで撮影を行うことができる露光時間ｔ２は、例えば、［１／ｆ（ｍｍ）］ｓｅｃ.で与えられる。ＣＰＵ２２は、露光時間ｔ１、ｔ２から、合成画像を生成するために必要な撮像素子１８の撮像回数Ｎ（ｔ１／ｔ２、すなわち、６０ｍｓｅｃ.／１０ｍｓｅｃ.＝６）を算出し、露光時間ｔ２、撮像回数Ｎ及び焦点距離ｆ（ｍｍ）をＲＡＭ２４に格納する。なお、露光時間（ｔ２）として、必ず焦点距離ｆ（ｍｍ）の逆数から求めた値を採用するものとすれば、露光時間（ｔ２）は必ずしもＲＡＭ２４に格納しておく必要はない。その後、処理はステップＳ１０５に移行する。
【００２６】
ステップＳ１０５において、ＣＰＵ２２は、撮像条件Ｃに対応するズームレンズ１０の広角側への移動量を求めるのに必要な情報が、記憶媒体２８に既に格納されているか否かを検出する。例えば、ステップＳ１０４で、撮像条件Ｃとして、焦点距離１００(ｍｍ)、撮像回数６、露光時間（ｔ２）１０(ｍｓｅｃ.)が算出された場合について考える。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されている場合には、ステップＳ１０５は肯定判定される。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間（ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ′が記憶されている場合に、この撮像条件下での移動量Ｍ′より、撮像条件Ｃ下での移動量Ｍを算出することができるので、ステップＳ１０５は肯定判定される。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ″が記憶されている場合に、この撮像条件下での移動量Ｍ″より、撮像条件Ｃ下での移動量Ｍを算出することができるので、ステップＳ１０５は肯定判定される。このように、撮像条件Ｃにおける移動量Ｍは、撮像条件Ｃとは異なる撮像条件下での移動量Ｍ′やＭ″などから求めることができる。撮像条件Ｃのもとでの移動量Ｍを求めるのに必要な情報が、記憶媒体２８に格納されていると、ステップＳ１０５が肯定判定され、ステップＳ１０６に移行する。一方、撮像条件Ｃのもとでの移動量Ｍを求めるのに必要な情報が記憶媒体２８に格納されていないと、図８のステップＳ１１７に移行する。
【００２７】
ステップＳ１０６において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃ(露光時間ｔ２、撮像回数Ｎ、焦点距離ｆ)のときにズームレンズ１０を広角側に移動させる移動量Ｍを、記憶媒体２８に記憶されている情報をもとに求める。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されている場合には、記憶されている情報を読み出して移動量Ｍとする。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ′が記憶されている場合に、この撮像条件下での移動量Ｍ′より、焦点距離の違いを考慮して、撮像条件Ｃ下での移動量Ｍを求める。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での移動量Ｍ″が記憶されている場合に、この撮像条件下での移動量Ｍ″より、撮像回数の違いを考慮して、撮像条件Ｃにおける移動量Ｍを求める。このとき、撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されていない場合には、類似する撮像条件から求められた移動量Ｍを、撮像条件Ｃとともに、記憶媒体２８に記憶する。
【００２８】
ステップＳ１０６に続くステップＳ１１２において、ＣＰＵ２２は、移動量Ｍの移動によって、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えるか否かを判断する。移動量Ｍだけ移動させたズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超える、すなわち適切な画角に変更することができないと判断された場合には、ステップＳ１１４に移行する。一方、移動量Ｍだけ移動させたズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えない、すなわち適切な画角に変更することができると判断された場合には、ステップＳ１２４に移行する。
【００２９】
ステップＳ１１４において、ＣＰＵ２２は、「適切な画角に変更できない(最終的な生成画像の端部が削除される可能性がある)」旨を示すエラー表示をモニタ４２に表示させる。従って、撮影者はモニタ４２を介して、適切な画角に設定することができないことを認識できる。このため、撮影者は、画角を広くするためにカメラ本体を被写体から遠ざけるか、あるいは、撮影を中止するか、あるいは画角が狭い状態で撮影を続けるか等を判断できる。この後、処理はステップＳ１２４に移行する。
【００３０】
一方、ステップＳ１０５で、撮像条件Ｃに対応するズームレンズ１０の広角側への移動量Mを求めるのに必要な情報が、記憶媒体２８に格納されていない場合、図８のステップＳ１１７において、ＣＰＵ２２は、ズームレンズ１０の移動量Ｍとして、デフォルトで定められている値を設定する。
ステップＳ１１７に続くステップＳ１１８において、ＣＰＵ２２は、デフォルト値に設定された移動量に基づく移動によって、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えるか否かを判断する。ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超える、すなわち設定された移動量に対応する画角に変更することができないと判断された場合には、ステップＳ１２０に移行する。一方、ズームレンズ１０の焦点距離が、広角端(短焦点端)における焦点距離を超えない、すなわち設定された移動量に対応する画角に変更することができると判断された場合には、図７のステップＳ１２４に移行する。
【００３１】
ステップＳ１２０において、ＣＰＵ２２は、「設定された移動量に対応する画角に変更できない」旨を示すエラー表示をモニタ４２に表示させる。この後、処理は図７のステップＳ１２４に移行する。
ステップＳ１１２、またはステップＳ１１４、またはステップＳ１１８、またはステップＳ１２０の処理の後、ステップＳ１２４において、ＣＰＵ２２は、撮影者によりレリーズスイッチが全押しされるのを待つ。レリーズスイッチの全押し操作が検出されると、処理はステップＳ１２５に移行する。レリーズスイッチの全押し操作が検出されないと、処理はステップＳ１００に移行する。
【００３２】
ステップＳ１２５において、ＣＰＵ２２は、駆動回路１４を介してズームモータ１２を駆動して、ズームレンズ１０を広角側に移動量Ｍ分だけ移動させる。この際に、ステップＳ１１４、またはステップＳ１２０でエラー表示がなされた場合にも、ズームレンズ１０を、広角端まで移動させる構成とすれば、画角が狭い状態で撮影を続けることができる。この後、処理はステップＳ１２６に移行する。
【００３３】
ステップＳ１２６において、ＣＰＵ２２は、シャッタドライバ及び撮像素子ドライバをそれぞれ制御して、シャッタ１６及び撮像素子１８を駆動し、撮像条件Ｃで、被写体像を連続してＮ(例えば、６)回撮像する。この後処理は、ステップＳ１２８に移行する。
ステップＳ１２８において、ＣＰＵ２２は、図２で述べたように、動き補償回路３２を制御して、撮像された複数の静止画像を位置合わせの上、重ね合わせて、１フレームの適正な露光の合成画像を生成する。この後、処理はステップＳ１３０に移行する。
【００３４】
ステップＳ１３０において、ＣＰＵ２２は、撮像条件Ｃに対応付けて、修正された移動量Ｍ(位置情報)を算出して記憶媒体２８に格納する。ＣＰＵ２２は、ステップＳ１２６で撮像された複数フレームの静止画像から合成した合成画像上で、複数フレーム全ての撮像画像が重複していない領域の大きさから、ステップＳ１２６の撮影時の手振れ量を求め、撮像条件Ｃにおいて、この手振れの影響をなくすために必要であったズームレンズ１０の移動量ｍを算出する。ＣＰＵ２２は、ステップＳ１２５の処理で実際にズームレンズ１０を移動させた移動量Ｍと、上記の移動量ｍとの重み付け加算値（例えば平均値）を算出して、撮像条件Ｃと関連付けて新たな修正された移動量Ｍとして記憶媒体２８に記憶する。そして、デジタルカメラの第１の実施形態における画像生成動作が終了する。
【００３５】
このように、ステップＳ１３０で記憶媒体２８に記憶される新たな修正された移動量Ｍは、直前の撮影による振れ量を反映したものであるので、第１の実施形態においては、撮影者の癖(手振れの大きさ、方向)に応じて画角を補正できる。このため、構図内に収めたい範囲の被写体像の画質劣化を低減しつつ、容易、かつ確実に合成画像が生成できる。
図９は本発明のデジタルカメラの第２の実施形態を示している。第１の実施形態で説明した要素と同一の要素については、同じ符号を付し、詳細な説明を省略する。デジタルカメラ２００は、認識部３６（取得手段）が新たに形成されている点を除き、第１の実施形態のデジタルカメラ１００と同じである。認識部３６は、デジタルカメラ２００を操作する操作者の声紋を、操作者を個別に認識する認識情報として検出する。認識部３６は、検出した認識情報をＣＰＵ２２に出力する。
【００３６】
図１０及び図１１は、デジタルカメラの第２の実施形態における画像生成動作を示している。この実施形態では、ＣＰＵ２２が実行するためにプログラムメモリ２６に格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図１０及び図１１は、第１の実施形態（図７及び図８）のステップＳ１０５がステップＳ２００、Ｓ２０２に置き換えられた点と、ステップＳ１３０がステップＳ２０４に置き換えられた点を除いて、図７及び図８と同じである。
【００３７】
上述した図７及び図８と同じ処理については、詳細な説明を省略する。また、図１０及び図１１に示す動作は、ＣＰＵ２２（算出手段、設定手段及び制御手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。なお、この例では、初期状態において、デジタルカメラ２００の動作モードは合成モードに設定されている。
【００３８】
まず、ステップＳ１００〜Ｓ１０４が実行され、第１の実施形態と同様の手法により、撮像回数Ｎを求め、撮像回数Ｎ、焦点距離ｆ（ｍｍ)、及び露光時間ｔ２をＲＡＭ２４に格納する。
ステップＳ１０４に続くステップＳ２００において、ＣＰＵ２２は、認識部３６から撮影者を特定する認識情報Ｒを受け取る。この後、処理はステップＳ２０２に移行する。
【００３９】
ステップＳ２０２において、ＣＰＵ２２は、撮像条件Ｃ及び認識情報Ｒに対応する、ズームレンズ１０の広角側への移動量Ｍを求めるのに必要な情報が記憶媒体２８に記憶されているか否かを検出する。撮像条件Ｃ、及び認識情報Ｒにおける移動量Ｍを求めるのに必要な情報が格納されていると、処理はステップＳ１０６に移行する。一方、撮像条件Ｃ、及び認識情報Ｒにおける移動量Ｍを求めるのに必要な情報が格納されていないと、処理は図１１のステップＳ１１７に移行する。
【００４０】
ステップＳ１０６において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃ、及び認識情報Ｒのときにズームレンズ１０を広角側に移動させる移動量Ｍを、記憶媒体２８に記憶されている情報をもとに、例えば第１の実施形態と同様にして求める。このとき、認識情報Ｒのもとでの撮像条件Ｃに合致する撮像条件での移動量Ｍが記憶されていない場合には、類似する撮像条件から求められた移動量Ｍを、認識情報Ｒ、及び撮像条件Ｃとともに、記憶媒体２８に記憶する。その後、第１の実施形態と同様にステップＳ１１２〜Ｓ１２８の処理が実行され、動き補償回路３２により合成画像が生成された後、処理はステップＳ２０４に移行する。
【００４１】
ステップＳ２０４において、ＣＰＵ２２は、撮像条件Ｃ、及び識別情報Ｒに対応付けて、修正された移動量(位置情報)を算出して記憶媒体２８に格納する。ＣＰＵ２８は、ステップＳ１２６で撮像された複数フレームの静止画像から合成した合成画像上で、複数フレーム全ての撮像画像が重複していない領域の大きさから、ステップＳ１２６の撮影時の手振れ量を求め、撮像条件Ｃ、及び認識情報Ｒのもとで、この手振れの影響をなくすために必要であったズームレンズ１０の移動量ｍを算出する。ＣＰＵ２２は、ステップＳ１２５の処理で実際にズームレンズ１０を移動させた移動量Ｍと、上記の移動量ｍとの重み付け加算値（例えば平均値）を算出して、撮像条件Ｃ、及び識別情報Ｒと関連付けて、新たな修正された移動量Ｍとして記憶媒体２８に記憶する。そして、デジタルカメラの第２の実施形態における画像生成動作が終了する。
【００４２】
以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。さらに、デジタルカメラ２００を操作する撮影者毎に、過去の手振れ量が反映されたズームレンズ１０の移動量が、記憶媒体２８に記憶されるので、複数の撮影者が交代でデジタルカメラ２００を操作する場合も、各々の撮影者の癖が反映されたズームレンズ１０の移動量を設定することができる。この結果、撮影者毎に、構図内に収めたい範囲の被写体像を合成画像として容易、かつ確実に高画質で撮影することができる。
【００４３】
図１２及び図１３は、デジタルカメラの第３の実施形態における画像生成動作を示している。この実施形態では、ＣＰＵ２２が実行するためにプログラムメモリ２６に格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図１２び図１３は、第１の実施形態（図７及び図８）のステップＳ１００〜Ｓ１０４、及びステップＳ３０２〜Ｓ３０８が実行された後、ステップＳ１２４が実行される点と、ステップＳ１１７〜Ｓ１２０、及びステップＳ１３０が各々、ステップＳ３１３〜Ｓ３１６、及びステップＳ３２２に置き換えられた点を除いて、図７及び図８と同じである。
【００４４】
上述した図７及び図８と同じ処理については、詳細な説明を省略する。また、図１２及び図１３に示す動作は、ＣＰＵ２２（算出手段）がプログラムメモリ２６に格納されたプログラムを実行することによって実現される。
第３の実施形態においては、撮像条件から予想される合成画像の大きさを表す指標を、モニタ４２に表示する。また、この際に、手振れ量などの撮影者の癖を、一連の複数フレームの撮影の度に順次反映した指標表示とする。以下に示す「領域情報」は、上記の予想される合成画像の大きさを表す指標の画面上の位置情報に対応する。
【００４５】
ステップＳ１００〜Ｓ１０４が実行され、撮像回数Ｎが算出された後、ステップＳ３０２において、ＣＰＵ２２は、撮像条件Ｃ（例えば、焦点距離１００（ｍｍ）、撮影回数６、露光時間（ｔ２）１０（ｍｓｅｃ.））に対応する領域情報Ｔが記憶媒体２８に格納されているか否かを検出する。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されている場合には、ステップＳ３０２は肯定判定される。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ′が記憶されている場合に、この撮像条件下での領域情報Ｔ′より、撮像条件Ｃ下での領域情報Ｔを算出することができるので、ステップＳ３０２は肯定判定される。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ″が記憶されている場合に、この撮像条件下での領域情報Ｔ″より、撮像条件Ｃ下での領域情報Ｔを算出することができるので、ステップＳ３０２は肯定判定される。このように、撮像条件Ｃのもとでの領域情報Ｔは、撮像条件Ｃとは異なる撮像条件下での領域情報Ｔ′やＴ″などから求めることができる。撮像条件Ｃのもとでの領域情報Ｔを求めるのに必要な情報が、記憶媒体２８に格納されていると、ステップＳ３０２が肯定判定され、ステップＳ３０３に移行する。一方、撮像条件Ｃのもとでの領域情報Ｔを求めるのに必要な情報が記憶媒体２８に格納されていないと、図１３のステップＳ３１３に移行する。
【００４６】
ステップＳ３０３において、ＣＰＵ２２は、スルー画像を撮影している状態で、撮像条件Ｃのときに、動き補償回路３２により合成画像が生成されると予想される領域を示す領域情報Ｔを、記憶媒体２８に記憶されている情報をもとに算出する。記憶媒体２８に、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されている場合には、記憶されている情報を読み出して領域情報Ｔとする。また、例えば、記憶媒体２８に、焦点距離２００(ｍｍ)、撮影回数６、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ′が記憶されている場合に、この撮像条件下での領域情報Ｔ′より、焦点距離の違いを考慮して、撮像条件Ｃ下での領域情報Ｔを求める。またさらに、記憶媒体２８に、例えば、焦点距離１００(ｍｍ)、撮影回数３、露光時間(ｔ２)１０(ｍｓｅｃ.)の撮像条件下での領域情報Ｔ″が記憶されている場合に、この撮像条件下での領域情報Ｔ″より、撮像回数の違いを考慮して撮像条件Ｃにおける領域情報Ｔを求める。このとき、撮像条件Ｃに合致する撮像条件での領域情報Ｔが記憶されていない場合には、記憶媒体２８に格納されている撮像条件のうち、最も撮像条件Ｃに類似する撮像条件から求められた領域情報Ｔを、撮像条件Ｃとともに、記憶媒体２８に記憶する。
【００４７】
ステップＳ３０３に続くステップＳ３０６において、ＣＰＵ２２は、ステップＳ３０３で求められた領域情報Ｔに相当する領域をあらわす指標を、撮像されているスルー画像に重畳してモニタ４２に表示する。撮影者は、モニタ４２のスルー画像と指標を見て、所望の被写体が指標内に入っていない場合には、ズームスイッチ(調整手段)を広角側に操作して、所望の被写体が指標内に入るようにズームレンズ１０を短焦点側に移動させる操作を行う。一方、所望の被写体の指標内における大きさが小さい場合には、ズームスイッチを操作して、所望の被写体の指標内における大きさが適切となるように、ズームレンズ１０を長焦点側に移動させる操作を行う。
【００４８】
ステップＳ３０６に続くステップＳ３０８において、ＣＰＵ２２は、撮影者によるズームスイッチの操作に応答して、ズームモータ１２を駆動してズームレンズ１０を広角側、もしくは望遠側に、操作によって設定された移動量の分、移動させる。ここで、所望の被写体が指標内に適切な大きさで入っている場合には、ズームレンズ１０を移動させる必要がないので、ステップＳ３０８はスキップされる。このように、撮影者の癖が反映された合成画像の予測生成領域をモニタ４２に表示することで、撮影者は自分の手振れの大きさに応じて画角を補正できる。この後、処理はステップＳ１２４に移行する。なお、上記のステップＳ３０８は、ズームスイッチの操作に基づいて、ズームレンズ１０を移動させるものに限定されず、指標内の特定の被写体の大きさが適切となるように、自動的にズームレンズ１０を移動させる構成（オートズーム）としてもよい。指標内の特定の被写体の大きさが適切となるように、自動的にズームレンズ１０を移動させる制御は、撮像素子１８により撮像された特定被写体の像のモニタ４２上の大きさと、指標の間隔とを比較して、両者の大小関係が適切となるようにズームレンズ１０を駆動することによって行うことができる。
【００４９】
一方、ステップＳ３０２で、撮像条件Ｃに対応する領域情報Ｔを求めるのに必要な情報が、記憶媒体２８に格納されていない場合、ステップＳ３１３において、ＣＰＵ２２は、領域情報として、デフォルトで定められている値を設定する。
ステップＳ３１３に続くステップＳ３１４において、ＣＰＵ２２は、デフォルト値に設定された領域情報に基づいて、合成画像の予測生成領域を示す指標を、撮像されているスルー画像に重畳してモニタ４２に表示する。この後、処理はステップＳ３１６に移行する。 ステップＳ３１６において、ＣＰＵ２２は、撮影者によるズームスイッチの操作に応答して、ズームモータ１２を駆動してズームレンズ１０を広角側（あるいは望遠側）に、操作によって設定された移動量の分だけ移動させる。その後、処理は、図１２のステップＳ１２４に移行する。
【００５０】
ステップＳ３０８、またはＳ３１６で、ズームレンズ１０が広角側(あるいは望遠側)に移動された後、ステップＳ１２４において、ＣＰＵ２２は、撮影者によりレリーズスイッチが全押し操作されるのを待つ。レリーズスイッチの全押し操作が検出されると、処理はステップＳ１２６に移行する。レリーズスイッチの全押し操作が検出されないと、処理はステップＳ１００に移行する。
【００５１】
ステップＳ１２６において、ＣＰＵ２２は、シャッタドライバ及び撮像素子ドライバをそれぞれ制御して、シャッタ１６及び撮像素子１８を駆動し、撮像条件Ｃのもとで、被写体像を連続してＮ(例えば、６)回撮像する。この後処理は、ステップＳ１２８に移行する。 ステップＳ１２８において、ＣＰＵ２２は、図２で述べたように、動き補償回路３２を制御して、撮像された複数の静止画像を位置合わせの上、重ね合わせて、１フレームの適正な露光の合成画像を生成する。この後、処理はステップＳ３２２に移行する。
【００５２】
ステップＳ３２２において、ＣＰＵ２２は、撮像条件Ｃに対応付けて、新たに修正された領域情報Ｔを算出して記憶媒体２８に格納する。ＣＰＵ２２は、ステップＳ１２８で生成された合成画像と、ステップＳ３０８、またはステップＳ３１６でモニタ４２に表示された合成画像の予測生成領域内の画像とから、次回の同じ撮像条件Ｃでの撮像動作の際に用いる領域情報Ｔを新たに生成して、撮像条件Ｃと関連付けて記憶媒体２８に記憶する。撮像条件Ｃに関連付けられて、記憶媒体２８に新たに記憶される領域情報Ｔは、ステップＳ１２８で生成された合成画像の領域の大きさと、ステップＳ３０８、またはステップＳ３１６でモニタ４２に表示された合成画像の予測生成領域の大きさとの間（例えばちょうど中間）の大きさを有する領域を示す情報となる。そして、デジタルカメラの第３の実施形態における画像生成動作が終了する。
【００５３】
このように、ステップＳ３２２で記憶媒体２８に記憶される領域情報は、直前の撮影による振れ量を反映したものであるので、撮影者は、モニタ４２に表示される指標を見ながら、所望の被写体の像が指標内に入るように画角を調整するだけで、所望の被写体を含み、画質劣化の低減された合成画像を容易、かつ確実に得ることができる。
第３の実施形態で説明した指標表示は、第１の実施形態、あるいは第２の実施形態で説明したデジタルカメラに組み合わせて用いることができる。この場合、記憶媒体２８には、撮像条件Ｃに関連付けられて、ズームレンズ１０の移動量Ｍ、及び領域情報Ｔが記憶される。
【００５４】
また、上述した第１の実施形態、及び第２の実施形態では、今回のレリーズスイッチの全押し操作による本撮影画像から得られた手振れ情報をもとに、同じ撮像条件での次回の撮像動作におけるズームレンズ１０の移動量を求める構成としたが、これに代えて、今回のスルー画像撮像段階で得られる手振れ量データと、記憶媒体２８に記憶される同じ撮像条件のもとでのズームレンズ１０の移動量とから、当該スルー画像の撮像の後に行われる本撮影におけるズームレンズ１０の移動量を算出し、記憶媒体２８にこの移動量を格納するとともに、これに基づいてズームレンズ１０を移動させて本撮影動作を行う構成としてもよい。
【００５５】
この際に、スルー画像撮像段階で取得する手振れデータは、撮像したスルー画像データの中から、レリーズスイッチの全押し操作に伴って連続撮像する撮像周期に相当する周期で、撮像回数Ｎに相当するフレーム数だけスルー画像データを抜き出して、抜き出した各スルー画像のデータ間で、動きベクトルを算出することによって取得することができる。 また上述の第１、及び第２の各実施の形態で示した移動量Ｍにかえて、焦点距離の値を、記憶媒体２８に記憶するものであってもよい。ズームレンズ１０の焦点距離の値とエンコーダの出力は１対１で対応するので、焦点距離の値も、ズームレンズ１０の位置情報を示していると考えることができる。また、移動量、領域情報の記憶される記憶媒体２８は、画像データを記憶しないものであってもよい。
【００５６】
上述した第２の実施形態では、デジタルカメラ２００を操作する操作者の声紋を認識情報として検出する例について述べた。本発明は、かかる実施形態に限定されるものではない。操作者の指紋や虹彩から操作者を認識してもよい。
以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
【産業上の利用可能性】
【００５７】
本発明は、被写体像を連続して撮像可能なデジタルカメラに適用される。
【図面の簡単な説明】
【００５８】
【図１】本発明のデジタルカメラの第１の実施形態を示すブロック図である。
【図２】動き補償回路による画像生成方法の概要を示す説明図である。
【図３】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図４】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図５】本発明を適用していないデジタルカメラで撮像された静止画像の一例を示す説明図である。
【図６】撮像素子により撮像された静止画像を示す説明図である。
【図７】デジタルカメラの第１の実施形態における画像生成動作を示すフローチャートである。
【図８】デジタルカメラの第１の実施形態における画像生成動作を示すフローチャートである。
【図９】デジタルカメラの第２の実施形態を示すブロック図である。
【図１０】デジタルカメラの第２の実施形態における画像生成動作を示すフローチャートである。
【図１１】デジタルカメラの第２の実施形態における画像生成動作を示すフローチャートである。
【図１２】デジタルカメラの第３の実施形態における画像生成動作を示すフローチャートである。
【図１３】デジタルカメラの第３の実施形態における画像生成動作を示すフローチャートである。
【符号の説明】
【００５９】
１０…ズームレンズ、１２…ズームモータ、１４…駆動回路、１６…シャッタ、１８…撮像素子、２０…Ａ／Ｄ変換回路、２２…ＣＰＵ、２４…ＲＡＭ、２６…プログラムメモリ、２８…記憶媒体、３０…操作部、３２…動き補償回路、３４…バス、３６…認識部、４２…モニタ、１００、２００…デジタルカメラ
【特許請求の範囲】
【請求項１】
光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する画像生成手段と、
前記複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、前記光学手段の前記光路上の位置を示す位置情報を格納する記憶手段と、
前記撮像手段の撮像動作に際して、前記撮像条件が指定されたときに、前記記憶手段に記憶される位置情報をもとに生成された、前記撮像条件における位置情報に基づいて、前記光学手段の前記光路上の位置を設定する設定手段と、
前記撮像動作によって得られた複数の画像データと、前記生成された位置情報とに基づいて、前記撮像条件における新たな位置情報を生成する算出手段と、
前記算出手段によって算出された新たな位置情報を、前記撮像条件と関連付けて、前記記憶手段に記憶するように制御する制御手段とを有することを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、さらに、
カメラ本体を操作する操作者を個別に認識するための認識情報を取得する取得手段を備え、
前記記憶手段は、さらに、前記認識情報に対応付けて、前記光学手段の前記光路上の位置を格納し、
前記設定手段は、さらに、前記認識情報をもとに、前記撮像動作における位置情報を生成し、
前記制御手段は、さらに、前記算出手段によって算出された新たな位置情報を、前記認識情報と関連付けて、前記記憶手段に記憶するように制御することを特徴とするデジタルカメラ。
【請求項３】
請求項１記載のデジタルカメラにおいて、
前記設定手段により設定される前記光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示するエラー表示手段を備えることを特徴とするデジタルカメラ。
【請求項４】
光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する画像生成手段と、
前記複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、前記共通の領域を示す領域情報を格納する記憶手段と、
前記撮像手段によって撮像される画像と、前記領域情報に基づく指標とを表示する表示手段と、
操作者の操作に応じて、前記光学手段の前記光路上の位置を調整する調整手段と、
前記撮像手段の撮像動作に際して、前記撮像条件が指定されたときに、前記記憶手段に記憶される領域情報をもとに生成された、前記撮像条件における領域情報に基づいて、前記表示手段の表示画面上の前記指標の表示位置を設定する設定手段と、
前記撮像動作によって得られた複数の画像データと、前記生成された領域情報とに基づいて、前記撮像条件における新たな領域情報を生成する算出手段と、
前記算出手段によって算出された新たな領域情報を、前記撮像条件と関連付けて、前記記憶手段に記憶するように制御する制御手段とを有することを特徴とするデジタルカメラ。
【請求項５】
請求項４記載のデジタルカメラにおいて、
前記調整手段により調整される前記光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示するエラー表示手段を備えることを特徴とするデジタルカメラ。
【請求項１】
光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する画像生成手段と、
前記複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、前記光学手段の前記光路上の位置を示す位置情報を格納する記憶手段と、
前記撮像手段の撮像動作に際して、前記撮像条件が指定されたときに、前記記憶手段に記憶される位置情報をもとに生成された、前記撮像条件における位置情報に基づいて、前記光学手段の前記光路上の位置を設定する設定手段と、
前記撮像動作によって得られた複数の画像データと、前記生成された位置情報とに基づいて、前記撮像条件における新たな位置情報を生成する算出手段と、
前記算出手段によって算出された新たな位置情報を、前記撮像条件と関連付けて、前記記憶手段に記憶するように制御する制御手段とを有することを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、さらに、
カメラ本体を操作する操作者を個別に認識するための認識情報を取得する取得手段を備え、
前記記憶手段は、さらに、前記認識情報に対応付けて、前記光学手段の前記光路上の位置を格納し、
前記設定手段は、さらに、前記認識情報をもとに、前記撮像動作における位置情報を生成し、
前記制御手段は、さらに、前記算出手段によって算出された新たな位置情報を、前記認識情報と関連付けて、前記記憶手段に記憶するように制御することを特徴とするデジタルカメラ。
【請求項３】
請求項１記載のデジタルカメラにおいて、
前記設定手段により設定される前記光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示するエラー表示手段を備えることを特徴とするデジタルカメラ。
【請求項４】
光路上の位置に応じて画角を変化させる光学手段を介して入射する被写体像を複数回撮像する撮像手段と、
前記撮像手段により撮像された複数の画像に共通の領域を合成して合成画像を生成する画像生成手段と、
前記複数の画像からなる一連の画像毎に、当該一連の画像の撮像に用いた撮像条件に対応付けて、前記共通の領域を示す領域情報を格納する記憶手段と、
前記撮像手段によって撮像される画像と、前記領域情報に基づく指標とを表示する表示手段と、
操作者の操作に応じて、前記光学手段の前記光路上の位置を調整する調整手段と、
前記撮像手段の撮像動作に際して、前記撮像条件が指定されたときに、前記記憶手段に記憶される領域情報をもとに生成された、前記撮像条件における領域情報に基づいて、前記表示手段の表示画面上の前記指標の表示位置を設定する設定手段と、
前記撮像動作によって得られた複数の画像データと、前記生成された領域情報とに基づいて、前記撮像条件における新たな領域情報を生成する算出手段と、
前記算出手段によって算出された新たな領域情報を、前記撮像条件と関連付けて、前記記憶手段に記憶するように制御する制御手段とを有することを特徴とするデジタルカメラ。
【請求項５】
請求項４記載のデジタルカメラにおいて、
前記調整手段により調整される前記光路上の位置が予め決められた範囲を超えるとき、エラー情報を表示するエラー表示手段を備えることを特徴とするデジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−１４２５５４（Ｐ２００７−１４２５５４Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００５−３３０２４１（Ｐ２００５−３３０２４１）
【出願日】平成１７年１１月１５日（２００５．１１．１５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１７年１１月１５日（２００５．１１．１５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]