デジタルスチルカメラ
【課題】 連続撮影された２枚の撮影画像を合成して画質や映像効果の高い画像を作成する際の失敗画像の作成を防止する。
【解決手段】 ボケ味を調整するモードで操作部１０７から撮影が指示されると、全体制御部１０８は合焦位置を変化させてＣＣＤ１０２の露光を連続２回行い、ピント状態の異なる２枚の本撮影画像を取り込む。また、これらの露光動作の間に連続して２回ドラフトモードでＣＣＤ１０２の露光を行ない、撮影条件判別用の画像（間引画像）を取り込む。そして、この間引画像を用いて本撮影画像の露光動作の間で被写体輝度等の撮影条件の変化の有無が判別され、撮影条件が変化していると、2回目の本撮影画像の露光を禁止し、その旨をＥＶＦ１０６ｃに警告表示する。本撮影画像用の連続撮影の間に撮影条件の変化があると、その後の撮影及び画像合成処理を禁止することで、失敗撮影及び失敗画像の作成を防止するようにした。
【解決手段】 ボケ味を調整するモードで操作部１０７から撮影が指示されると、全体制御部１０８は合焦位置を変化させてＣＣＤ１０２の露光を連続２回行い、ピント状態の異なる２枚の本撮影画像を取り込む。また、これらの露光動作の間に連続して２回ドラフトモードでＣＣＤ１０２の露光を行ない、撮影条件判別用の画像（間引画像）を取り込む。そして、この間引画像を用いて本撮影画像の露光動作の間で被写体輝度等の撮影条件の変化の有無が判別され、撮影条件が変化していると、2回目の本撮影画像の露光を禁止し、その旨をＥＶＦ１０６ｃに警告表示する。本撮影画像用の連続撮影の間に撮影条件の変化があると、その後の撮影及び画像合成処理を禁止することで、失敗撮影及び失敗画像の作成を防止するようにした。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、同一の被写体に対して少なくとも２回連続撮影を行ない、この連続撮影によって得られた複数枚の撮影画像を所定の画像合成処理で合成して画質を改善したり、映像効果を高めた画像を得ることのできるデジタルスチルカメラに関する。
【０００２】
【従来の技術】近年、デジタルスチルカメラの技術分野においては、連続して撮影した複数枚の撮影画像を所定の画像処理を行なった後、合成することで、各撮影画像よりも画質や映像効果を高めた画像を得ることのできるデジタルスチルカメラが商品化されている。
【０００３】例えばビクター社製のデジタルスチルカメラ「ＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”」は、撮像素子を微小変位させて連続して２回撮影を行い、両撮影画像を合成することで解像度の高い撮影画像を得ることができる機能を備えている。また、このデジタルスチルカメラは、被写体の明るい部分と暗い部分とに合わせて２種類の露出制御値を設定し、それらの露出制御値で連続して２回撮影を行い、両撮影画像を合成することで暗い部分から明るい部分まで適切な濃度の撮影画像を得ることができる機能も備えている。
【０００４】
【発明が解決しようとする課題】近年、デジタルスチルカメラに適用される撮像素子の高画素化が進み、２００万〜３００万画素の撮像素子を用いたものも商品化されているが、このような高密度の撮像素子を用いたデジタルスチルカメラに上述の画像合成機能を設けた場合、画質及び映像効果の高い画像が得られるという優れた価値をデジタルスチルカメラに付加するができる。
【０００５】しかし、撮影画像のデータ数が増大すると、画像合成処理の時間が長くなり、合成結果がなかなか得られないという不都合が生じる。更には画像合成用に撮影された複数枚の画像が適切でないときは、ユーザに長時間の画像合成処理を待たした上、不本意な合成画像を提供するという問題が生じる。
【０００６】デジタルスチルカメラで同一の被写体を連続撮影して得られた２枚の画像を合成する場合、基本的に両画像の内容は同一であることが必要であるが、被写体が静止状態であっても撮影者がデジタルスチルカメラを手に持って連続撮影する場合は、図２３に示すように微小なカメラアングルの変化に起因して最初の撮影と２回目の撮影との間にフレーミング（撮影範囲）のずれが発生し、これにより両撮影画像の内容は完全に一致しないことになる。
【０００７】このため、２枚の撮影画像の画像合成処理においては、通常、両撮影画像の位置合わせ処理（画像マッチング処理）を行った後、対応する画素位置のデータについて所定の合成演算処理が行なわれる。しかし、画像合成処理おける位置合わせ処理は、一般に、一方の画像を基準（以下、基準画像という。）として他方の画像（以下、参照画像という。）を所定の移動量で平行移動や回転等を行なうとともに、移動位置毎に所相の相関関数を用いて相関値の演算を行ない、最も相関値の大きい移動量を両画像の位置ずれ量として算出するもので、参照画像の移動毎に相関値演算を繰り返すため、処理時間が長く、このため、画像合成処理の処理時間を長くする要因となっている。
【０００８】従って、デジタルスチルカメラに上述の画像合成機能を設ける場合、必ず画像号処理において位置合わせ処理を行なう必要があるから、データ数の増加に伴い画像合成処理に長時間を要するという問題は重要である。取り分け画像合成用の撮影画像が不適切であることに起因して合成画像が不本意なものになるという問題は、画像合成機能の効果を半減させ、その機能の付加価値を著しく低下させるだけでなく、例えば画像合成処理により不必要に電力を消費するという別の問題の要因ともなるから重大である。
【０００９】本発明は、上記課題に鑑みてなされたものであり、連続撮影した画像を合成することで画質や映像効果の高い画像を得ることのできるデジタルスチルカメラにおいて、撮影画像が不適切であるときは、ユーザに警告したり、画像合成処理を強制的に禁止することでそれに起因する問題を軽減し、画像合成処理機能を有効に活用することのできるデジタルスチルカメラを提供するものである。
【００１０】
【課題を解決するための手段】本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたものである（請求項１）。
【００１１】なお、上記撮影条件は、撮影画像間の位置ずれ量、輝度差、焦点位置のずれ量、色バランスのずれ量等である(請求項３〜６）。
【００１２】上記構成によれば、レリーズが指示されると、撮像手段の露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化すると、これらの撮影画像を用いた画像合成処理が不適切であること示す警告が行なわれる。
【００１３】例えば本撮影画像間の位置ずれ量が所定の閾値以上であると、両撮影画像の位置合わせが適正に行なえないので、警告が行なわれる。また、撮影画像間の輝度差が所定の閾値以上であると、両撮影画像の合成画像の濃度バランスが不適切になるので、警告が行なわれる。また、撮影画像間の焦点位置のずれ量（ピントのずれ具合）が所定の閾値以上であると、両撮影画像の合成画像のピント調整が不適切になるので、警告が行なわれる。また、撮影画像間の色バランスのずれ量が所定の閾値以上であると、両撮影画像を合成した画像の色バランスが不適切になるので、警告が行なわれる。
【００１４】また、本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたものである（請求項２）。
【００１５】上記構成によれば、レリーズが指示されると、露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化していると、これらの撮影画像を用いた画像合成処理が不適切であるので、その後の撮影画像を取り込むための露光動作が禁止される。従って、撮影画像は画像合成処理も行なわれない。
【００１６】
【発明の実施の形態】図１は本発明に係る画像処理システムに適用されるデジタルスチルカメラ（カラー撮像装置）のカメラ本体の正面図、図２は同デジタルスチルカメラに内蔵された主要部材の配置を示す上面図、図３は、同デジタルスチルカメラに内蔵された主要部材の配置を示す右側面図、図４は同デジタルスチルカメラの背面図である。
【００１７】デジタルスチルカメラ１は、カメラ本体２とこのカメラ本体２の正面略中央に着脱可能に装着されるズームレンズからなる交換レンズ３とからなる一眼レフレックスカメラで構成されている。カメラ本体２は、正面略中央に交換レンズ３が装着されるマウント部２０１が設けられ、正面左端部にグリップ部２０２が設けられている。
【００１８】グリップ部２０２の内部には電池収納室２０３とカード収納室２０４とが設けられ、電池収納室２０３には４本の単３形乾電池Ｅ１〜Ｅ４（カメラの電源電池）が収納され、カード収納室２０４には撮影画像の画像データを記録するためのメモリカードＭＣが着脱可能に収納されるようになっている。
【００１９】マウント部２０１の下部には装着された交換レンズ３との電気的接続を行なうための複数個の接点ＳＴと機械的接続を行なうための複数個のカプラーＣＰとが設けられている。電気的な接点ＳＴは、交換レンズ３に内蔵されたレンズＲＯＭ３０１（図３参照）から当該レンズに関する固有の情報（開放Ｆ値や焦点距離等の情報）をカメラ本体２内の全体制御部（図６参照）に読み出したり、交換レンズ３内のズームレンズの位置やフォーカスレンズの位置の情報を全体制御部に出力するためのものである。カプラーＣＰはカメラ本体２内に設けられたズームレンズ駆動用のモータＺＭ（図３参照）の駆動力とフォーカスレンズ駆動用のモータＦＭ（図３参照）の駆動力とを交換レンズ３側に伝達するためのものである。
【００２０】マウント部２０１に交換レンズ３が装着されたときの当該レンズ３の光軸Ｌ上であってカメラ本体２内の適所にカラー撮像素子２０５が配設されている。カラー撮像素子２０５（以下、ＣＣＤ２０５という。）は、図５に示すようにＣＣＤ（Charge-Coupled Device）からなるエリアセンサ２０５Ａの各画素の表面に、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ２０５Ｂが市松模様状に貼り付けられた、いわゆるベイヤー方式と呼ばれる単板式カラーエリアセンサで構成され、例えば１６００×１２００＝１９２万個の画素数を有している。
【００２１】なお、図５に示すようにエリアセンサのｉ行ｊ列目の画素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ=１，２，…ｍ）とし、ｎ＝１６００、ｍ＝１２００とすると、Ｒ，Ｇ，Ｂの各カラーフィルタは、Ｒ；（２ｈ＋１，２ｋ＋１）
Ｇ；（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）
Ｂ；（２ｈ＋２，２ｋ＋２）
但し、ｈ＝０，１，２，…ｎ／２（＝８００）、ｋ=０，１，２，…ｍ／２（＝６００）の画素位置に配置されている。
【００２２】カメラ本体２のグリップ部２０２の上面にはシャッタボタン２０６が設けられている。シャッタボタン２０６の半押し操作と全押し操作とは後述するスイッチＳ１，Ｓ２により検出されるようになっている。スイッチＳ１がオンになると（シャッタボタン２０６が半押しされると）、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点調節等の準備動作）が行なわれ、スイッチＳ２がオンになると（シャッタボタン２０６が全押しされると）、撮影動作（ＣＣＤ２０５を露光し、その露光によって得られた画像信号に所定の画像処理を行なってメモリカードＭＣに記録する一連の動作）が行なわれる。
【００２３】カメラ本体２の上面の略中央には電子ビューファインダ４（ＥＶＦ；Electronic View Finder）とポップアップタイプのフラッシュ５とが設けられている。電子ビューファインダ４はＣＣＤ２０５で撮影された被写体のモニタ画像（撮影待機状態においてＣＣＤ２０５により動画撮影された被写体の画像）を表示するカラー液晶表示デバイスからなる表示部４０１（以下、ＬＣＤ表示部４０１という。）とこのカラー液晶表示デバイスに表示されたモニタ画像をファインダ窓４０３の外側に導く接眼レンズ４０２とを備えている。
【００２４】撮影待機状態では電子ビューファインダ４に被写体のモニタ画像（動画像）が表示されるので、撮影者はファインダ窓４０３を覗くことによってモニタ画像により被写体を視認することができる。
【００２５】なお、モニタ画像はＬＣＤ表示部４０１に表示するためのものであるから、待機状態においては、ＣＣＤ２０５を通常の静止画撮影と異なる動作モード、所謂ドラフトモードで動作させてＬＣＤ表示部４０１の表示サイズと同一のサイズのモニタ画像が撮影される。すなわち、本実施形態では、ＬＣＤ表示部４０１は画素数２００×１５０で構成されているので、待機状態においては、全画素で受光はするが、受光データの読み出しは縦横両方向について８画素ピッチで行なわれ（１／８の間引き読み出しが行なわれて）、これにより画素数２００×１５０のモニタ画像が高速撮影可能になっている。
【００２６】カメラ本体２の背面の略中央にはカラー液晶表示デバイスからなる表示部２０７（以下、ＬＣＤ表示部２０７という。）が設けられている。ＬＣＤ表示部２０７は、記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカードＭＣに記録された撮影画像を再生表示するものである。
【００２７】撮影モードには露出制御に関するモードと画像合成処理に関するモードとが含まれる。露出制御に関するモードとはレリーズ時の露出制御値（絞りの絞り値と露光時間）の決定の仕方に関するモードである。露出制御に関するモードには少なくともプログラムモード、シャッタ優先モード、絞り優先モードが含まれる。露出制御値は予め設定された複数のプログラム線図のいずれか１つを用いて設定されるようになっており、プログラムモードでは標準的なプログラム線図を用いて露出制御値が設定され、シャッタ優先モードでは絞り値よりシャッタ速度（露光時間）を優先するようなプログラム線図を用いて露出制御値が設定され、絞り優先モードではシャッタ速度より絞り値を優先するようなプログラム線図を用いて露出制御値が設定される。
【００２８】画像合成処理に関するモードとは、レリーズ時に撮影条件を変えて、若しくは撮影条件をそのままで連続して２回撮影を行ない、その撮影によって得られた２枚の撮影画像を所定の画像合成処理により合成して元の撮影画像よりも画質や映像効果の高い１の画像を作成し、メモリカードＭＣに記録するモードである。
【００２９】画像合成処理に関するモードには少なくとも「ボケ味調整モード」、「階調調整モード」、「超解像モード」が含まれる。ボケ味調整モードとは、１回のシャッタ操作で合焦位置を変化させて連続して２回の撮影動作を行い、例えば主被写体（例えば人物等）に対して焦点を合せた撮影画像Ａと主被写体の背景に焦点を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成して所望のボケ具合を有する画像を得るモードである。
【００３０】階調調整モードとは、１回のシャッタ操作で露出条件を変化させて連続して２回の撮影動作を行い、例えば主被写体に対して露出を合せた撮影画像Ａと主被写体の背景に露出を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、例えば画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得るモードである。
【００３１】超解像モードとは、１回のシャッタ操作でピントや露出条件を変えないで連続して２回の撮影動作を行い、１回目の撮影と２回目の撮影とで僅かに異なるカメラアングルの差異により画面内の主被写体の位置が微小変化した撮影画像Ａと撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、元の撮影画像よりも解像度の高い画像を得るモードである。
【００３２】ＬＣＤ表示部２０７の左側には電源スイッチ２０８が設けられている。この電源スイッチ２０８は記録モード（写真撮影の機能を果たすモード）及び再生モード（記録画像をＬＣＤ表示部２０７に再生するモード）を切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ２０８は３点スライドスイッチからなり、接点を中央の「ＯＦＦ」位置に設定すると、電源がオフになり、接点を上方の「ＲＥＣ」位置に設定すると、電源がオンになるとともに記録モードが設定され、接点を下方の「ＰＬＡＹ」位置に設定すると、電源がオンになるとともに再生モードが設定される。
【００３３】ＬＣＤ表示部２０７の右側上方位置には４連スイッチ２０９が設けられている。４連スイッチ２０９は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作がそれぞれ検出されるようになっている。４連スイッチ２０９は多機能化され、例えばＬＣＤ表示部２０７に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するための操作スイッチとして機能するとともに、左右方向のスイッチは交換レンズ３のズーム比を変更するためのスイッチとしても機能するようになっている。
【００３４】メニュー画面では、例えば複数の項目が配列表示され、現在選択されている項目に選択状態を示す表示（例えばカーソルや反転表示等）が行なわれる。例えば撮影モードの画像合成処理に関するモードを選択する場合、ＬＣＤ表示部２０７には、図６に示すようなメニュー画面が表示される。このメニュー画面における「通常撮影」の項目は、銀塩カメラにおける撮影動作と同様の通常の撮影を行なうモードである。
【００３５】図６のメニュー画面において、４連スイッチ２０９の上方向スイッチが押されると、黒三角印のカーソルＫの表示位置（すなわち、カーソルＫが示す項目）が上方向にサイクリックに移動し、４連スイッチ２０９の下方向スイッチが押されると、カーソルＫが示す項目表示位置が下方向にサイクリックに移動する。そして、スイッチ群２１０の確定スイッチ２１０ｂが押されると、その時カーソルＫで指示されている項目（図６では階調調整モード）が撮影モードとして設定される。
【００３６】従って、撮影者は撮影モード選択用のメニュー画面において、４連スイッチ２０９を上下方向に操作して所望の撮影モードを選択し、確定スイッチ２１０ｄを操作することでその撮影モードを設定することができる。なお、露出制御に関するモードについても同様の方法で所望の撮影モードを設定することができる。
【００３７】また、インデックス画面ではメモリカードＭＣに記録されている全ての画像から９コマ分のサムネイル画像が配列表示され、現在選択されているコマに選択されている表示（例えば点滅表示や枠表示等）が行なわれる。４連スイッチ２０９の上下左右の何れかの方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示がその方向の項目やコマに移動する。例えば上方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示が上方向の項目やコマに移動する。
【００３８】交換レンズ３のズーム操作では、４連スイッチ２０９の右方向スイッチを押圧すると、交換レンズ３がワイド側に連続的に移動し、４連スイッチ２０９の左方向スイッチを押圧すると、交換レンズ３がテレ側に連続的に移動する。
【００３９】ＬＣＤ表示部２０７の右側下方位置にはＬＣＤ表示部２０７の表示や表示内容に関する操作を行なうためスイッチ群２１０が設けられている。スイッチ群２１０には取消スイッチ２１０ａ、確定スイッチ２１０ｂ、メニュー表示スイッチ２１０ｃ及び表示スイッチ２１０ｄが含まれる。
【００４０】取消スイッチ２１０ａはメニュー画面で選択された内容を取り消すためのスイッチである。確定スイッチ２１０ｂはメニュー画面で選択された内容を確定するためのスイッチである。メニュー表示スイッチ２１０ｃはＬＣＤ表示部２０７にメニュー画面を表示させたり、メニュー画面の内容切り換えるためのスイッチである。メニュー表示スイッチ２１０ｃを押圧する毎にメニュー画面に切り換わる。表示スイッチ２１０ｄはＬＣＤ表示部２０７への表示を行なわせたり、メニュー画面の内容を切換えたりするスイッチである。電源電池Ｅ１〜Ｅ４の節電を図るため、カメラ起動時はＬＣＤ表示部２０７の表示は行なわれないようになっている。表示スイッチ２１０ｄを押圧する毎にＬＣＤ表示部２０７の表示と非表示とが交互に行なわれる。
【００４１】図７は、デジタルスチルカメラ１の内部構成を示すブロック構成図である。
【００４２】デジタルスチルカメラ１は、主にレンズ１０１、撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６、操作部１０７及び全体制御部１０８で構成されている。
【００４３】レンズ１０１は交換レンズ３に相当するものである。レンズ１０１はフォーカス用レンズ１０１ａ及びズーム用レンズ１０１ｂを備え、内部に透過光量を調節するための絞り１０１ｃが設けられている。
【００４４】撮像部１０２はレンズ１０１を通して入射した被写体光像を画像信号（電気画像）に光電変換して取り込むものである。撮像部１０２にはＣＣＤ２０５に相当するＣＣＤ１０２ａ、このＣＣＤ１０２ａの撮像動作を制御するタイミングジェネレータ１０２ｂ及びタイミングジェネレータ１０２ｂの駆動を制御するタイミング制御回路１０２ｃが含まれる。
【００４５】ＣＣＤ１０２ａはタイミングジェネレータ１０２ｂから入力される駆動制御信号（積分開始信号／積分終了信号）に基づいて被写体光像を所定の時間（露光時間）だけ受光して画像信号（電荷蓄積信号）に変換し、その画像信号をタイミングジェネレータ１０２ｂから入力される読出制御信号（水平同期信号、垂直同期信号、転送信号等）を用いて信号処理部１０３に出力する。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離されて信号処理部１０３に出力される。すなわち、画素位置（２ｈ＋１，２ｋ＋１）の各画素で受光された画像信号を順次読み出すことでＲの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＧの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＢの色成分の画像信号が出力される。
【００４６】タイミングシェネレータ１０２ｂはタイミング制御回路１０２ｃから入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読出制御信号を生成し、ＣＣＤ１０２ａに出力する。タイミング制御回路１０２ｃは撮像部１０２の撮影動作を制御するものである。タイミング制御回路１０２ｃは全体制御部１０８から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には記録モードにおいて撮影待機中に被写体の動画像（以下、ライブビュー画像という。）を電子ビューファインダ４にモニタ表示するための撮影の制御信号、シャッタボタン６が操作されて被写体の静止画（以下、記録画像という。）を撮影するための制御信号、基準クロック、ＣＣＤ１０２ａから出力された画像信号を信号処理部１０３で信号処理するためのタイミング信号（同期クロック）などが含まれる。このタイミング信号は信号処理部１０３内の信号処理回路１０３ａ及びＡ／Ｄ変換回路１０３ｂに入力される。
【００４７】信号処理部１０３はＣＣＤ１０２ａから出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は当該画像データを構成する各画素の受光信号毎に行なわれる。以下、説明の便宜上、各画素の受光信号とこれらの集合により撮影画像を構成する画像信号とを区別するため、必要に応じて各画素の受光信号を画素信号（アナログ信号）もしくは画素データ（デジタル信号）という。
【００４８】信号処理部１０３にはアナログ信号処理回路１０３ａ、Ａ／Ｄ変換回路１０３ｂ、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ、γ補正回路１０３ｅ及び画像メモリ１０３ｆが含まれる。なお、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ及びγ補正回路１０３ｅはデジタル信号処理を行う回路を構成するものである。
【００４９】アナログ信号処理回路１０３ａは主にＣＤＳ回路（相関二重サンプリング）回路及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ１０２ａから出力される画像信号（各画素で受光された信号。アナログ信号）のサンプリングノイズの低減と信号レベルの調整を行う。
【００５０】ＡＧＣ回路におけるゲインコントロールには、絞り１０１ｃの絞り値とＣＣＤ２０５の露光時間とで適正露出が得られなかった場合（例えば非常に低輝度の被写体を撮影する場合等）の撮影画像のレベル不足を補償する場合も含まれる。
【００５１】Ａ／Ｄ変換回路１０２ｂはアナログ信号処理回路１０３ａから出力される画像信号をデジタルの信号（以下、画像データという。）に変換するものである。Ａ／Ｄ変換回路１０２ｂは各画素で受光された画素信号を、例えば１０ビットの画素データに変換する。
【００５２】黒レベル補正回路１０３ｃはＡ／Ｄ変換された各画素データの黒レベルを基準の黒レベルに補正するものである。ＷＢ回路１０３ｄは撮影画像のホワイトバランスを調整するものである。ＷＢ回路１０３ｄは全体制御部１０８から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。なお、レベル変換テーブルの各色成分の変換係数は全体制御部１０８から撮影画像毎に設定される。γ補正回路１０３ｅは画素データのγ特性を補正するものである。γ補正回路１０３ｅは予め設定された補正テーブルを用いて各画素データのレベルを補正する。
【００５３】画像メモリ１０３ｆは信号処理の終了した画像データを一時保存するメモリである。画像メモリ１０３ｆは少なくとも２フレーム分の画像データを記憶し得る容量を有している。これは、ボケ味調整モード等の撮影では２回連続して露光が行なわれ、２フレーム分の画像データが取り込まれるから、これらをそれぞれ保存できるようにするためである。なお、１フレーム分の画像データを記憶し得る記憶容量は、例えばＣＣＤ１０２ａの画素数を１６００×１２００＝１９２万とすると、１９２万個の画素データを記憶し得る容量である。
【００５４】発光制御部１０４は全体制御部１０８から入力される発光制御信号に基づいてフラッシュ５の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。発光制御部１０４は全体制御部１０８から発光準備の指示があると、メインコンデンサを充電して発光可能状態にし、発光タイミング信号に同期してメインコンデンサの蓄積電荷を放電することによりフラッシュ５を発光させる。そして、全体制御部１０８から入力される発光停止信号に基づいてメインコンデンサの蓄積電荷の放電を停止させる。これによりフラッシュ５は所要の発光量で発光される。
【００５５】レンズ制御部１０５はレンズ１０１内のフォーカス用レンズ１０１ａ、ズーム用レンズ１０１ｂ及び絞り１０１ｃの各部材の駆動を制御するものである。レンズ制御部１０５は絞り１０１ｃの絞り値を制御する絞り制御回路１０５ａ、フォーカスモータＦＭの駆動を制御するフォーカス制御回路１０５ｂ及びズームモータＺＭの駆動を制御するズーム制御回路１０５ｃを備えている。
【００５６】絞り制御回路１０５ａは全体制御部１０８から入力される絞り値に基づいて絞り１０１ａを駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路１０５ｂはフォーカスモータＦＭの駆動を制御し、フォーカスモータＦＭの駆動力はカプラーＣＰ１を介してフォーカス用レンズ１０１ａに伝達される。フォーカス制御回路１０５ｂは全体制御部１０８から入力されるＡＦ制御信号（例えば駆動パルス数等の制御値）に基づいてフォーカスモータＦＭを駆動し、フォーカス用レンズを焦点位置に設定する。ズーム制御回路１０５ｃは全体制御部１０８から入力されるズーム制御信号（４連スイッチ２０９の操作情報）に基づいてズームモータＺＭを駆動し、ズーム用レンズ１０１ｂを４連スイッチ２０９で指定された方向に移動させる。すなわち、ズーム制御回路１０５ｃは全体制御部１０８から４連スイッチ２０９の右方向の操作情報が入力されると、ズームモータＺＭを正方向に駆動してズーム用レンズ１０１ｂをワイド側に移動させ、４連スイッチ２０９の左方向の操作情報が入力されると、ズームモータＺＭを逆方向に駆動してズーム用レンズ１０１ｂをテレ側に移動させる。
【００５７】表示部１０６はＬＣＤ表示部２０７への表示と電子ビューファインダ４への表示とを行うものである。表示部１０６にはＬＣＤ表示部２０７に相当するディスプレイ１０６ａ及びＶＲＡＭ１０６ｂと電子ビューファインダ４内のＬＣＤ表示部４０１に相当するディスプレイ１０６ｃ及びＶＲＡＭ１０６ｄとが含まれる。ディスプレイ１０６ａは、例えば２００×１５０＝３００００の画素数を有し、ディスプレイ１０６ｃは、例えば２００×１５０＝３００００の画素数を有している。従って、ＶＲＡＭ１０６ｂはディスプレイ１０６ａの画素数に対応して略３万個の画素データが記憶可能になされ、ＶＲＡＭ１０６ｄはディスプレイ１０６ｃの画素数に対応して略３万個の画素データが記憶可能になっている。
【００５８】撮影待機中ではＣＣＤ１０２ａがドラフトモードで駆動され、ＣＣＤ１０２ａから画素数２００×１５０のフレーム画像が順次、出力される。各フレーム画像の画像信号は所定の信号処理が行なわれた後、画像メモリ１０３ｆに格納されるとともに、順次、全体制御部１０８に読み出され、ＶＲＡＭ１０６ｄに転送される。これにより被写体のライブビュー画像がディスプレイ１０６ｃ（ＬＣＤ表示部４０１の表示面）に表示される。また、表示スイッチ２１０ｄに操作によりＬＣＤ表示部２０７の表示が指示されると、ＶＲＡＭ１０６ｂに転送され、これにより被写体のモニタ画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）にも表示される。
【００５９】更にメニュースイッチ２１０ｃの操作によりメニュー表示が指示されると、全体制御部１０８内のＲ０Ｍ１０８ａに記憶されたメニュー画面の画像データがＶＲＡＭ１０６ｂに読み出され、これによりディスプレイ１０６ａの表示内容がメニュー画面に切り換えられる。
【００６０】再生モードでは全体制御部１０８によりメモリカードＭＣに記録された各コマ画像ファイルから撮影画像のサムネイル画像が読み出され、所定のフォーマットに従って配列されてインデックス表示用の画像データが作成され、その画像データがＶＲＡＭ１０６ｂに読み出される。これによりディスプレイ１０６ａにはメモリカードＭＣに記録された撮影画像の一覧が表示される。そして、４連スイッチ２０９の操作により再生すべきコマが指定されると、メモリカードＭＣに記録されたそのコマに対応する画像ファイルからＣＣＤＲＡＷ形式で記録された撮影画像の画像データが読み出され、ディスプレイ１０６ａの表示サイズに調整されてＶＲＡＭ１０６ｂに転送される。これにより撮影画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）に再生表示される。
【００６１】操作部１０７はカメラ本体２に設けられた撮影や再生に関する操作部材の操作情報を全体制御部１０８に入力するものである。操作部１０７から入力される操作情報にはシャッタボタン２０６、電源スイッチ２０８、４連スイッチ２０９、スイッチ群２１０等の各操作部材の操作情報が含まれる。
【００６２】全体制御部１０８はデジタルスチルカメラ１の有する撮影機能及び再生機能を集中制御するものである。全体制御部１０８にはカードインターフェース１０９を介してメモリカードＭＣが接続されている。また、通信用インターフェース１１０を介してコンピュータＰＣが外部接続されるようになっている。
【００６３】全体制御部１０８はマイクロコンクピュータからなり、撮影機能及び再生機能における種々の具体的な処理を行なうための処理プログラムや上述の撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６等の駆動を制御するための制御プログラムが記憶されたＲＯＭ１０８ａと処理プログラム及び制御プログラムに従って種々の演算作業を行なうためのＲＡＭ１０８ｂを備えている。
【００６４】全体制御部１０８の行なう具体的な処理には、ライブビュー画像を取り込んだり、被写体を撮影する際の露出制御値（ＣＣＤ１０２ａの露光時間Ｔｖ〔Ｅｖ値〕と絞り１０１ｃの絞り値Ａｖ〔Ｅｖ値〕）を算出する処理（露出制御値演算処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれたライブビュー画像を電子ビューファイダ４に表示したり、再生モードにおいてメモリカードＭＣから画像メモリ１０３ｆに読み出された記録画像をＬＣＤ表示部２０７に表示する処理（画像表示処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれた記録画像をカードメモリＭＣに記録する処理（記録処理）、再生モードにおいてメモリカードＭＣから再生すべき記録画像を画像メモリ１０３ｆに読み出す処理（再生処理）、ボケ味調整モード等の特殊撮影モードにおいて連続して露光動作を行なうとともに、各露光動作の前後で連続撮影画像の位置ずれ量を算出するための画像を取り込むための露光動作を行なわせる処理（特殊露光制御処理）及びその露光制御で得られた２枚の撮影画像の合成を行なう処理（画像合成処理）等が含まれる。
【００６５】露出値演算部１０８ｃ、表示制御部１０８ｄ、記録制御部１０８ｅ、再生制御部１０８ｆ、特殊露光制御部１０８ｇ及び画像処理部１０８ｈは全体制御部１０８における上述の各処理を機能ブロックで表わしたものである。
【００６６】露出値定部１０８ｃは露出値演算処理を行なうもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【００６７】表示制御部１０８ｄは画像表示処理を行なうもので、上述の表示部１０６の表示動作、すなわち、画像メモリ１０３ｆに一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＶＲＡＭ１０６ｃまたはＶＲＡＭ１０６ｄに転送する動作を行なう。
【００６８】記録制御部１０８ｅは記録処理を行なうものである。記録制御部１０８ｅは、通常撮影モードにおいて、シャッタボタン２０６により撮影が指示されると、撮影指示後に画像メモリ１０３ｆに一時記憶された画像データ（静止画の画像データ）をＲＡＭ１０８ｂに読み出し、例えば２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成する。
【００６９】また、レリーズ直前にドラフトモードで撮影され、画像メモリ１０３ｆに格納されたフレーム画像をＲＡＭ１０８ｂに読み出すことで、画素数２００×１５０のサムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報にはレンズ名称、コマ番号、撮影時の焦点距離、撮影時のＦナンバー、焦点位置、被写体輝度、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。
【００７０】そして、記録制御部１０８ｅは圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付してＥＸＩＦ（Exchangeable Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７１】なお、ボケ味調整モード、階調調整モード及び超解像モードの撮影モードにおいては、画像処理部１０８ｈで合成された合成画像に対して２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成し、この圧縮合成画像及びサムネイル画像の画像データにタグ情報を添付してＴＩＦＦ（Tag Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７２】従って、合成前の２枚の撮影画像はメモリカードＭＣに記録されない。これは、カメラ本体で画像合成処理まで行なうため、メモリカードＭＣを効率よく活用するためである。パソコン等で別途画像合成をする際の利便性を考慮して合成前の２枚の撮影画像をメモリカードＭＣに記録させるようにしてもよい。
【００７３】図８は、メモリカードＭＣへの画像ファイルの記録方法を示す図である。
【００７４】メモリカードＭＣには先頭から各画像ファイルがファイル番号Ｘの順に記憶される。各画像ファイルには、「Ｐn．Ｙ」のファイル名が付与され、「n」は画像ファイルが作成された順番を示す６桁の番号であり、「Ｙ」は画像データの形式を示す記号である。例えば「Ｙ」が「ＪＰＧ」である場合、画像データはＪＰＥＧ方式で圧縮されているを示す。
【００７５】メモリカードＭＣにおける各画像ファイルの記録領域は３つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファィルによって変化しないが、撮影画像データのデータサイズは圧縮率や撮影モードによって変化する。このため、メモリカードＭＣの画像ファィルの記憶領域に記憶可能なファイル数は各画像ファィルの撮影画像データのデータサイズによって変化する。
【００７６】再生制御部１０８ｆはメモリカードＭＣに記録された撮影画像のＬＣＤ表示部２０７への再生処理を行なうものである。再生制御部１０８fは、電源スイッチ２０８により再生モードが設定されると、メモリカードＭＣに記録された各画像ファイルからサムネイル画像を読み出し、順次、所定のインデックスフォーマットに従ってＶＲＡＭ１０６ｂに記憶する。例えば１ページ当たり、９枚のサムネイル画像が３×３に２次配列されるようにＶＲＡＭ１０６ｂに記憶する。従って、これによりＬＣＤ表示部２０７に９枚の２次元配列されたサムネイル画像がインデックス表示される。
【００７７】インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連スイッチ２０９及びスイッチ群２１０によって指定されると、再生処理部１０８ｆは、そのコマに対応する画像ファィルから撮影画像のデータを読み出し、所定の伸長処理を行なった後、画像メモリ１０３ｆに記憶する。この画像メモリ１０３ｆに読み出されたデータは、上述したように表示制御部１０８ｄによりデータサイズが調整されてＶＲＡＭ１０６ｂに転送され、これによりＬＣＤ表示部２０７に再生表示される。
【００７８】特殊露光制御部１０８ｇは、ボケ味調整モード、階調調整モード及び超解像モードが設定されている状態でシャッタボタン６が全押しされたときのＣＣＤ１０２ａの露光動作を制御する。特殊露光制御部１０８ｇは、基本的にＳ２スイッチがオンになると、画像合成用の画像（以下、この画像を本撮影画像という。）を取り込むため、連続してＣＣＤ１０２ａの露光動作を２回繰り返すが、この２枚の本撮影画像の位置ずれ量を演算するための画像（以下、この画像を演算用画像という。）を少なくとも２枚取り込むため、本撮影画像用の各露光動作の前後で演算用画像用の露光動作を行なわす。
【００７９】演算用画像は位置ずれ量を算出するためのもので、本撮影画像のように高画質を必要しないので、本実施の形態では、ドラフトモードでＣＣＤ１０２ａを駆動して演算用画像を取り込むようにしている。すなわち、演算用画像の撮影は、本撮影画像よりも少ない画素数で行なっている。
【００８０】撮影待機状態においては、ＣＣＤ１０２ａはドラフトモードで露光動作が繰り返されているので、この状態でＳ２スイッチがオンになると、特殊露光制御部１０８ｇは、例えばＣＣＤ１０２ａの駆動モードをドラフトモード（全画素の受光データのうち、所定の画素数だけ間引いて読み出すモード。本実施形態では画素数の間引率を１／８としている。）からノーマルモード（全画素の受光データを読み出すモード）に切り換えて１回目の本撮影画像用の露光動作を行ない、この後、再度ドラフトモードに切り換えて演算用画像用の露光動作を少なくとも２回行い、更にノーマルモードに切り換えて２回目の本撮影画像用の露光動作を行なう。なお、演算用画像は、本撮影画像の前後であれば、必ずしも連続的に取り込まれる必要はなく、本撮影画像と演算用画像とを交互に取りこむようにしてもよい。
【００８１】なお、ボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作の詳細は後述する。
【００８２】画像処理部１０８ｈは、ボケ味調整モード、階調調整モード及び超解像モードで連続的に撮影された２枚の本撮影画像のレジストレーション処理（位置合わせ処理）をした後、両本撮影画像の対応する画素位置毎に両本撮影画像のデータを用いて所定の演算処理を行なって合成画像のデータを作成する。
【００８３】レジストレーション処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる２枚の画像の位置を合わせるものである。レジストレーション処理は、一般に、例えば一方の撮影画像Ａを基準にして他方の撮影画像Ｂを拡大／縮小、平行移動、回転等を行ないつつ両撮影画像Ａ，Ｂを照合して、両撮影画像Ａ，Ｂが一致する撮影画像Ｂの拡大率、平行移動量及び回転角等が算出される。一方の撮影画像Ａに対する他方の撮影画像Ｂの一致度は、例えば撮影画像Ｂの平行移動量を引数とする両撮影画像Ａ，Ｂのデータのレベル差の絶対値の総和（相関関数）が最小となる平行移動量が撮影画像Ｂを撮影画像Ａに一致させるための移動量（すなわち、位置ずれ量）として算出される。
【００８４】なお、本実施形態では、２枚の画像が連続して撮影された画像で、カメラぶれによる両本撮影画像の位置ずれが主として直線的なぶれに起因することを考慮して、本撮影画像Ｂを本撮影画像Ａに一致させるための平行移動量（Ｘ，Ｙ）（すなわち、本撮影画像Ａ，Ｂ間の位置ずれ量）だけを演算するようにしている。また、この演算は撮影画像Ｂを所定のピッチで移動させつつ相関関数の演算を繰り返すため、１９２万の画素データを有する本撮影画像を用いて直接、レジストレーション処理をしたのでは、繰返演算の処理回数が膨大となるので、本実施形態では、本撮影画像よりも画素数の少ない撮影画像（本撮影画像の露光動作の前後でドラフトモードによって撮影した演算用画像で、実質的に本撮影画像のデータを１／８に間引いた画像に相当するもの。）を用いてレジストレーション処理を行い、この処理結果に対して間引き率の８を乗じた数（例えばサムネイル画像の移動量が（３，４）であれば、（２４，３２）とする。）を本撮影画像でのレジストレーション処理における本撮影画像Ｂの移動量の初期値とするようにしている。
【００８５】従って、画像処理部１０８ｈは、特殊露光制御部１０８ｇによりＣＣＤ１０２ａで複数枚の演算用画像が取り込まれると、これらの演算用画像を用いて上述のレジストレーション処理を行ない、最初の本撮影画像Ａと２回目の本撮影画像Ｂとの間の位置ずれ量（Ｘ，Ｙ）を算出する。
【００８６】また、露光動作終了後の画像処理における２枚の本撮影画像Ａ，Ｂのレジストレーション処理では、例えば最初の本撮影画像Ａに対して２回目の本撮影画像Ｂを位置ずれ量（８Ｘ，８Ｙ）だけ移動させた状態を初期状態として、本撮影画像Ｂを（８Ｘ±ｍ，８Ｙ±ｎ）の範囲で１画素ピッチずつ移動させて上述の相関関数を演算し、この相関関数が最小となる平行移動量を算出することで本撮影画像Ａ，Ｂ間の位置ずれ量を算出する。初期状態で２回目の本撮影画像Ｂの最初の本撮影画像Ａに対する位置ずれ量は微小になっているので、比較的少ない繰返演算回数で平行移動量（Ｘ，Ｙ）が算出される。
【００８７】次に、デジタルスチルカメラ１のボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作を詳細に説明する。
【００８８】図９はボケ味調整モードにおける撮影動作を示すタイムチャートである。
【００８９】同図において、上段の波形図は、シャッタボタン６に操作に基づくＳ１スイッチ及びＳ２スイッチのオンタイミングを示すものである。２段目の波形図は、ＣＣＤ１０２ａの露光動作を示すもので、オン期間は露光期間を示し、オフ期間は露光期間に蓄積されたデータの読み出し等が行なわれている期間を示している。
【００９０】Ｓ２スイッチがオンになる前に短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態でライブビュー画像が取り込まれていることを示している。撮影待機状態では、ＣＣＤ１０２ａはドラフトモードで露光が繰り返され、１／３０秒毎にフレーム画像が取り込まれる。一方、Ｓ２スイッチがオンになった直後の長いオン期間Ｅ１は、最初の本撮影画像Ａを取り込むための露光期間であり、その後の長いオン期間Ｅ２は、２回目の本撮影画像Ｂを取り込むための露光期間である。以下、これらの露光動作に対応する撮影をそれぞれ本撮影Ｑ１，Ｑ２という。
【００９１】また、オン期間Ｅ１とオン期間Ｅ２との間の３個の短いオン期間Ｅ３，Ｅ４，Ｅ５は、演算用画像を取り込むために露光動作が３回繰り返されていることを示している。この露光動作は、撮影待機状態におけるライブビュー画像の取り込みと同じである。以下、これらの露光動作に対応する撮影をそれぞれ間引撮影ＭＱ１，ＭＱ２，ＭＱ３という。
【００９２】間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なっているのは、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くして本撮影画像Ａ，Ｂ間の位置ずれ量をできるだけ小さくするためである。なお、間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なうことによりＣＣＤ１０２ａから出力される画像信号のレベルが低くなるが、この分、アナログ信号処理回路１０３ａでレベル調整を行なうので、移動量の演算精度を低下させることはない。
【００９３】また、オン期間Ｅ２の後に再び短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態に戻ったことを示し、再びライブビュー画像が取り込まれていることを示している。
【００９４】３段目の波形図は、全体制御部１０８で制御される主な処理内容を示すものである。オン期間若しくはオン信号は、ボケ味調整モードの撮影に直接関係した所定の制御処理をしていることを示している。Ｓ１スイッチがオンになった直後の処理期間Ｃ１は、その後のレリーズに備えてＳ１スイッチがオンになる直前のフレーム画像を用いての測距及びその測距結果に基づくＡＦ（Auto Focus）演算（以下、第１ＡＦ演算という。）と同フレーム画像を用いてのＡＥ（Automatic Exposure）演算（以下、第１ＡＥ演算という。）及びＡＷＢ（Automatic White Balance）演算（以下、第１ＡＷＢ演算という。）とが行なわれていることを示している。オン信号Ｓ１，Ｓ３は、ＣＣＤ１０２ａの駆動モードをドラフトモードからノーマルモードに切り換えるものであり、オン信号Ｓ２，Ｓ４は、ＣＣＤ１０２ａの駆動モードをノーマルモードからドラフトモードに切り換えるものである。
【００９５】間引撮影ＭＱ３の直後の処理期間Ｃ２は、間引撮影ＭＱ３で得られた演算用画像を用いて２回目の本撮影Ｑ２のためのＡＦ演算（以下、第２ＡＦ演算という。）と同演算用画像を用いてＡＥ演算（以下、第２ＡＥ演算という。)及びＡＷＢ演算（以下、第２ＡＷＢ演算という。）とを行なっていることを示している。
【００９６】処理期間Ｃ３は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて最初の本撮影画像Ａに対する２回目の本撮影画像Ｂの移動量（Ｘ，Ｙ）を演算していることを示している。また、処理期間Ｃ４は本撮影画像Ａ，ＢのＡＷＢ調整及びγ補正等の信号処理を行なっていることを示し、処理期間Ｃ５は両本撮影画像Ａ，Ｂの画像合成処理（レジストレーション処理及びボケ味調整のための合成処理）を行なっていることを示し、処理期間Ｃ６は両本撮影画像Ａ，Ｂの合成画像を圧縮してメモリカードＭＣに記録する処理を行なっていることを示している。
【００９７】最下段の波形図は、フォーカス用レンズ１０１ｂの相対的な位置の変化を示しすものである。処理期間Ｃ１の直後での波形の上昇変化Ｒ１は、フォーカス用レンズ１０１ｂが現在位置から被写体距離∞の位置に移動していることを示している。本実施形態では、ボケ味調整モードで、最初∞位置に焦点調節して本撮影Ｑ１を行ない、その後、予め設定された所定の被写体距離（例えば１ｍ）に焦点調節をして２回目の本撮影Ｑ２を行ない、本撮影Ｑ１，Ｑ２で得られた本撮影画像Ａ，Ｂを合成するようにしているので、Ｓ１信号、処理期間Ｃ１でのＡＦ演算処理及びフォーカス用レンズ１０１ｂの移動Ｒ１は、シャッタボタン６の半押しによりシャッタボタン６の全押し（レリーズ指示）に備えてボケ味調整モードでの最初の本撮影Ｑ１に対するＡＦ処理をしていることを示している。
【００９８】また、本撮影Ｑ１の終了後における波形の下降変化Ｒ２は、２回目の本撮影Ｑ２に対するＡＦ処理を示し、フォーカス用レンズ１０１ｂは現在位置から所定の被写体距離(１ｍ）の焦点位置に移動していることを示している。
【００９９】図９に示すタイムチャートから、ボケ味調整モードにおいては、撮影待機状態でシャッタボタン６が半押しされてＳ１スイッチがオンになると、∞位置に対してＡＦ処理が行なわれるとともに、露出制御値（絞り１０１ｃの絞り値及びＣＣＤ１０２ａの露光時間）及びＷＢ調整値が設定され、その後、シャッタボタン６が全押しされてＳ２がオンになると、ＣＣＤの駆動モードをノーマルモードに切り換え、設定された露光時間Ｅ１でＣＣＤ１０２ａの露光動作を行なって最初の本撮影Ｑ１が行なわれる。
【０１００】この露光動作が終了すると、ＣＣＤ１０２ａから全画素の画像信号が読み出され、フォーカス用レンズ１０１ｂは現在位置から被写体距離１ｍの焦点位置に移動される。また、画像信号の読み出しが終了すると、このフォーカス用レンズ１０１ｂの移動期間を利用して、引き続き、ＣＣＤの駆動モードをドラフトモードに切り換えて所定の露光時間でＣＣＤ１０２ａの露光動作を連続３回行なって間引撮影ＭＱ１，ＭＱ２，ＭＱ３が行なわれるとともに、間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対するＡＥ演算が行なわれる。
【０１０１】ボケ味調整モードでは焦点位置を変更して本撮影Ｑ１，Ｑ２を行なうため、最初の本撮影Ｑ１に対する露出値と２回目の本撮影Ｑ１に対する露出値とが変化する可能性が大きいので、第２ＡＥ演算では本撮影Ｑ２の直前に行なう間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対する露出制御値を設定するようにしている。
【０１０２】なお、本撮影Ｑ２は本撮影Ｑ１に続いて連続的に行なわれるが、ボケ味調整モードにおいては、絞り値を本撮影Ｑ１と同じ状態（例えば開放絞り値）で撮影しないと、ボケ味調整の効果は得られない。そのため、本撮影Ｑ２では絞り１０１ｃの絞り値は固定し、ＣＣＤ１０２ａの露光時間のみで露出制御を行なうようにしている。従って、この露出制御では絞り優先でＣＣＤ１０２ａの露光時間が設定される。
【０１０３】被写体移動を考慮すると、本撮影Ｑ１と本撮影Ｑ２との撮影間隔はできるだけ短くするのが望ましいため、本撮影Ｑ１のときではＡＧＣのゲインを４倍にし、露出時間を１／４にしている。なお、露光時間が十分に短い場合は、ゲインを上げる必要はない。また、図１０に示すようにレンズ１０１とＣＣＤ１０２aとの間にＮＤフィルタ１０２ｄを当該レンズ１０１の光軸上に挿脱可能に設けるとともに、このＮＤフィルタ１０２ｄの挿脱動作を制御する駆動回路１０２ｅを設け、ＮＤフィルタ１０２ｄとの組み合わせによって本撮影Ｑ２に好適の露光時間を設定するようにしてもよい。
【０１０４】また、本実施形態では、露出制御値の演算に本撮影Ｑ２の直前に行なわれる間引撮影ＭＱ３の撮影画像を利用しているが、本撮影Ｑ１と本撮影Ｑ２との間に行なわれる他の間引撮影ＭＱ１，ＭＱ２で得られた画像を用いるようにしてもよい。
【０１０５】また、間引撮影ＭＱ３で得られた演算用画像を用いて第２ＡＦ演算と第２ＡＷＢ演算とが行なわれ、これらの演算結果を用いて最初の本撮影Ｑ１と２回目の本撮影Ｑ１との間における被写体輝度、被写体距離、光源色等の撮影条件の変化の判定処理が行なわれる。
【０１０６】撮影条件の変化の判定処理は、図１１に示すフローチャートを用いて以下の手順で行なわれる。
【０１０７】まず、第２ＡＦ演算、第２ＡＥ演算及び第２ＡＷＢ演算でそれぞれ被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が算出される（＃１，＃３）。続いて、被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が第１ＡＦ演算、第１ＡＥ演算及び第１ＡＷＢ演算でそれぞれ算出された被写体距離Ｄｖ１、被写体輝度Ｂｖ１、ＡＷＢ調整ゲイン（Ｒ１／Ｇ１，Ｂ１／Ｇ１）と各々比較される（＃５）。
【０１０８】被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜が所定値（例えば１ＥＶ）を超えている、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜が所定値（例えば１ｍ）を超えている、若しくはＡＷＢ調整ゲイン差ΔＧAWB＝｜Ｒ２／Ｇ２−Ｒ１／Ｇ１｜＋｜Ｂ２／Ｇ２−Ｂ１／Ｇ１｜が所定値（例えば０．５）を超えているのいずれかであれば（＃７，＃９，＃１１でＮＯ）、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化したと推定され、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が禁止されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃１７）。この警告表示は、例えば表示色を特定の警告色にしたり、点滅表示をすることで行なわれる。なお、文字による警告メッセージを表示させるようにしてもよく、警告音を発するようにしてもよい。
【０１０９】この撮影禁止及び警告処理より実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下することがない。
【０１１０】一方、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化していない場合、すなわち、被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜及びＡＷＢ調整ゲイン差ΔＧAWBがいずれも所定値以下であれば（＃７，＃９，＃１１でＹＥＳ）、本撮影Ｑ２のために被写体輝度Ｂｖ２に基づき露出制御値（絞り値，露光時間）が設定され（＃１３）、処理を終了する。
【０１１１】図９に戻り、フォーカス用レンズ１０１ｂの被写体距離１ｍの焦点位置への移動が終了すると、２回目の本撮影Ｑ２が禁止されていなければ、ＣＣＤの駆動モードをドラフトモードに切り換え、再度設定された露光時間Ｅ２でＣＣＤ１０２ａの露光動作を行なって本撮影Ｑ２が行なわれる。また、この露光期間中に間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて本撮影Ｑ１で得られた本撮影画像Ａに対する本撮影Ｑ２で得られる本撮影画像Ｂの移動量（Ｘ，Ｙ）が演算される。
【０１１２】本撮影画像の移動量（Ｘ，Ｙ）の演算処理は、図１２に示すフローチャートを用いて以下の手順で行なわれる。
【０１１３】間引撮影ＭＱ１で得られる画像ＭＦ１に対して間引撮影ＭＱ２，ＭＱ３で得られる画像ＭＦ２，ＭＦ３が図１３に示すように移動しているとする。間引撮影ＭＱ１，ＭＱ２，ＭＱ３で３枚の画像ＭＦ１，ＭＦ２，ＭＦ３が得られると（＃２１）、まず、演算用画像ＭＦ１に対する演算用画像ＭＦ２の移動量(ｘ１,ｙ１）がＧの色成分のデータを用いて算出される（＃２３）。なお、Ｇの色成分データを用いているのは、他の色成分よりもデータ数が多く、画像のコントラストも他の色成分より明瞭であるから、容易かつ迅速に移動量(ｘ１,ｙ１）の演算ができるからである。移動量（ｘ１,ｙ１)は、演算用画像ＭＦ１を基準として演算用画像ＭＦ２を１画素ピッチずつｘ方向に０〜４０ピクセルまで、ｙ方向に０〜３０ピクセルまでそれぞれ移動させつつ演算用画像ＭＦ１と演算用画像ＭＦ２との相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量で算出される。
【０１１４】なお、この演算における演算用画像ＭＦ２の移動量をｘ方向に４０ピクセル，ｙ方向に３０ピクセルにしているのは、演算用画像ＭＦ１，ＭＦ２が連続撮影されたもので、カメラぶれによる位置ずれは微小であること、演算用画像ＭＦ１，ＭＦ２の画素数が２００（ｙ方向）×１５０（ｘ方向）であるから、両方向についてそれぞれ全体サイズの１／５程度移動させれば、異常なカメラぶれでない限り、通常は相関関数の最小値を算出することができると考えられるからである。
【０１１５】移動量（ｘ１，ｙ１）が算出されると、その移動量（ｘ１，ｙ１）に対する相関関数が０．５以上であるか否かが判別され（＃２５）、相関関数が０．５よりも小さければ（＃２５でＮＯ)、演算用画像ＭＦ１と演算用画像ＭＦ２とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、本撮影画像Ａ，Ｂにおいても位置合わせができず、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃３５）。これにより実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下させることがない。
【０１１６】一方、相関関数が０．５以上であれば（＃２５でＹＥＳ)、上述の方法と同様の方法で演算用画像ＭＦ２に対する演算用画像ＭＦ３の移動量(ｘ２,ｙ２）がＧの色成分のデータを用いて算出される（＃２７）。そして、移動量（ｘ２，ｙ２）が算出されると、その移動量（ｘ２，ｙ２）に対する相関関数が０．５以上であるか否かが判別され（＃２９）、相関関数が０．５よりも小さければ（＃２９でＮＯ)、演算用画像ＭＦ２と演算用画像ＭＦ３とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、ステップ＃３５に移行して本撮影Ｆ２の撮影が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される。
【０１１７】一方、相関関数が０．５以上であれば（＃２９でＹＥＳ)、本撮影Ｑ１，Ｑ２及び間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングと移動量（ｘ１，ｙ１），（ｘ２，ｙ２）とから本撮影Ｑ１と本撮影Ｑ２との間での移動量（ｘ，ｙ）が算出される（＃３１）。
【０１１８】具体的には、例えば移動量ｘの場合は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングＴ１，Ｔ２，Ｔ３と移動量ｘ１，ｘ２との関係は図１４に示すようになるから、この関係図からタイミングＴ１，Ｔ２，Ｔ３におけるｘ方向の相対的な位置Ｐ１，Ｐ２，Ｐ３を決定することができる。従って、この３点Ｐ１〜Ｐ３を用いてｘ方向の移動量曲線Ｎ（Ｔ）が近似できるから、この近似曲線Ｎ（Ｔ）と本撮影Ｑ１，Ｑ２のタイミングＴ４，Ｔ５とから本撮影Ｑ１と本撮影Ｑ２との間でのｘ方向における移動量ｘがｘ＝Ｎ（Ｔ５）−Ｎ（Ｔ４）により算出される。なお、移動量ｙについても同様の方法で算出される。
【０１１９】そして、移動量（ｘ，ｙ）を８倍して本撮影画像Ａに対する本撮影画像Ｂの移動量（Ｘ＝８ｘ，Ｙ＝８ｙ）が算出されて（＃３３）、処理を終了する。なお、移動量（ｘ，ｙ）を８倍しているのは、演算用画像ＭＦ１〜ＭＦ３のサイズは本撮影画像Ａ，Ｂの１／８であるから、演算用画像のサイズで算出した移動量（ｘ，ｙ）を本撮影画像のサイズでの移動量（Ｘ，Ｙ）に換算するものである。
【０１２０】図９に戻り、本撮影Ｑ２が終了すると、撮影待機状態となり、ＣＣＤの駆動モードをドラフトモードに切り換えてＣＣＤ１０２ａでライブビュー画像が取り込まれ、ＥＶＦ４に表示される。
【０１２１】また、本撮影Ｑ２が正常に行なわれている場合は、本撮影Ｑ１，Ｑ２で撮影された本撮影画像Ａ，Ｂについてそれぞれ所定の信号処理が行なわれた後、図１５に示すフローチャートに従ってレジストレーション処理が行なわれるとともに（＃４１，＃４３）、所定の画像合成処理が行なわれてボケ味調整画像が作成され（＃４５，＃４７，＃４９）、そのボケ味調整画像がメモリカードＭＣに記録される（＃５１）。
【０１２２】本撮影画像Ａ，Ｂのレジストレーション処理もＧの色成分のデータを用いて行なわれる。まず、本撮影画像Ｂを移動量（Ｘ，Ｙ）だけ移動させて、図１６に示すように本撮影画像Ａに対して（Ｘ，Ｙ）だけ位置がずれた状態にする。そして、本撮影画像Ａを基準として本撮影画像Ｂを１画素ピッチずつ、例えばｘ方向に（Ｘ−４０）〜（Ｘ＋４０）ピクセルまで、ｙ方向に（Ｙ−３０）〜（Ｙ＋３０）ピクセルまでそれぞれ移動させつつ本撮影画像と本撮影画像Ｂとの相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量（Ｘ１，Ｙ１）が算出される（＃４３）。
【０１２３】本撮影画像Ａ，Ｂの画像合成処理は、Ｒ，Ｇ，Ｂの色成分毎に行なわれ、まず、本撮影画像Ｂを移動量（Ｘ１，Ｙ１）だけ平行移動させて、図１７に示すように本撮影画像Ａと画像を一致させた状態にした後、両本撮影画像Ａ，Ｂのデータから重複しないデータ（斜線で示す部分のデータ）を削除して合成処理用のデータが作成される（＃４７）。図１７の例では、本撮影画像Ａから作成される合成処理用データはｉ＝１〜（ｎ−Ｙ１），ｊ＝（Ｘ１＋１）〜ｍの範囲にある画素位置のデータで構成され、本撮影画像Ｂから作成される合成処理用データはｉ＝（Ｙ１＋１）〜ｎ，ｊ＝１〜（ｍ−Ｘ１）の範囲にある画素位置のデータで構成される。
【０１２４】そして、両本撮影画像Ａ，Ｂの合成処理用データの対応する画素位置のデータを、例えば平均したり、加重平均することでボケ味調整画像のデータが作成される。すなわち、両本撮影画像Ａ，Ｂの合成処理が行なわれる（＃４９）。図１７の例では、白抜き部分に含まれるデータについて、新たに画素位置のアドレス（ｋ，ｈ）（ｋ＝１，２，…（ｎ−Ｘ１），ｈ＝１，２，…（ｍ−Ｙ１））を設定し、本撮影画像Ａの合成処理用データをＤA(ｋ,h)、本撮影画像Ｂの合成処理用データをＤB(ｋ,h)とすると、例えば（ｗA・ＤA(ｋ,h)＋ｗB・ＤB(ｋ,h)）／２を演算することによりボケ味調整画像のデータＤC(ｋ,h)が作成される。
【０１２５】そして、このボケ味調整画像のデータＤC(ｋ,h)はＪＰＥＧ方式で圧縮された後、メモリカードＭＣに記録される。
【０１２６】図１８は階調調整モードにおける撮影動作を示すタイムチャートである。
【０１２７】各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１２８】同図に示すように、基本的な撮影動作はボケ味調整モードの撮影動作と同一である。従って、ここではボケ味調整モードの撮影動作と異なる部分や階調調整モードに特有の動作について説明する。
【０１２９】図１８の露光動作の波形図に示すように、本実施の形態では間引撮影を２回しか行なっていない。１回目の間引撮影ＭＱ１は本撮影Ｑ１，Ｑ２の間に行なわれ、２回目の間引撮影ＭＱ１は本撮影Ｑ２の終了直後に行なわれている。このため、移動量（Ｘ，Ｙ）の演算は、２回目の本撮影Ｑ２が終了し、撮影待機状態になってから行なわれている。また、階調調整モードでは、本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１８のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１３０】ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードでは可及的に本撮影Ｑ１と本撮影Ｑ２との間を短くして両本撮影間でのカメラぶれを低減することが望ましいが、ボケ味調整モードでは本撮影Ｑ１と本撮影Ｑ２との間で意図的にフォーカス用レンズを移動させているため、フォーカス用レンズの移動が完了するまで２回目の本撮影Ｑ２はできない。そのため、両本撮影間に一定の間隔を設ける必要があり、この期間を有効利用して間引撮影を３回行なうことにより本撮影の位置ずれを予測した。しかし、階調調整モードではそのような制限はないので、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、１回目の間引撮影ＭＱ１だけ行い、本撮影Ｑ２の直後に２回目の間引撮影ＭＱ２を行なうようしている。また、本撮影Ｑ１,間引撮影ＭＱ１及び本撮影Ｑ２は等間隔で行うようにしている。
【０１３１】本撮影Ｑ１，Ｑ２の前後で複数回の間引撮影ＭＱ１，ＭＱ２，…を行なうのは、本撮影画像Ａ，Ｂのレジストレーション処理の負担を軽減するためのものであるから、間引撮影ＭＱ１，ＭＱ２で得られた演算用画像ＭＦ１，ＭＦ２を用いて算出される移動量（Ｘ，Ｙ）の精度をできるだけ高くするため、間引撮影ＭＱ１，Ｑ２はそれぞれ本撮影Ｑ１，Ｑ２の直後に行うようにするとよい。また、本実施の形態では、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直後に行っているが、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直前で行うようにしてもよい。
【０１３２】また、本実施形態では、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件の変化の判別処理はしていないが、この判別処理を行うようにしてもよい。また、本実施形態では、間引撮影を２回しか行なっていないが、３回以上行なうようにしてもよい。
【０１３３】なお、階調調整モードでの画像合成処理も上述したボケ味調整モードでの画像号合成処理と同様の方法で行なわれる。すなわち、本撮影画像Ａ，Ｂについてレジストレーション処理を行なった後、それぞれ合成処理用データを作成し、この合成用データの対応する画素位置のデータを、例えば平均したり、加重平均することで階調調整画像のデータが作成される。
【０１３４】図１９は、超解像モードにおける撮影動作を示すタイムチャートである。
【０１３５】各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１３６】同図に示すように、超解像モードにおける撮影動作も基本的にボケ味調整モードの撮影動作と同一である。従って、ここでもボケ味調整モードの撮影動作と異なる部分や超解像モードに特有の動作について説明する。
【０１３７】図１９の露光動作の波形図に示すように、本実施形態では本撮影Ｑ１，Ｑ２の間に間引撮影を２回行なっている。超解像モードにおいても本撮影Ｑ１から本撮影Ｑ２までの撮影動作をできるだけ短くするため、本撮影Ｑ１、間引撮影ＭＱ１、間引撮影ＭＱ２及び本撮影Ｑ２は等間隔で行うようにしている。この実施形態では、本撮影Ｑ１，Ｑ２の間で間引撮影ＭＱ１，ＭＱ２が行なわれているので、移動量（Ｘ，Ｙ）の演算が２回目の本撮影Ｑ２の露光動作中に行なわれている。
【０１３８】なお、これと同じ露光処理を階調調整モードでも行なうことができる。一方、超階調モードでも本撮影Ｑ１と本撮影Ｑ２との間に一定の期間を設けなければならないという制限はないので、階調調整モードで説明した間引撮影のタイミング及び回数に関する変形例を超解像モードに適用することができる。
【０１３９】また、本実施形態では間引撮影を本撮影Ｑ１，Ｑ２の間で２回しか行なっていないが、２回目の本撮影Ｑ２の直後に３回目の間引撮影を行うようにしてもよい。このようにすると、移動量演算のためのデータ数が増えるので、移動量の演算精度が向上する。従って、間引撮影の態様としては、本撮影Ｑ１の直後に１回，本撮影Ｑ２の直前若しくは直後で１回の計２回の間引撮影を基本態様として本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なう態様、本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なうとともに、本撮影Ｑ２の直後に少なくとも１回間引撮影を行なう態様が考えられ、特殊撮影モードの内容に応じて適宜、適切な撮影態様を選択することができる。
【０１４０】また、超解像モードでも本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１９のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１４１】また、本実施形態でも本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件変化の判別処理はしていないが、この判別処理を行うようにしてもよい。
【０１４２】超解像モードでの画像合成処理は、上述したボケ味調整モードや階調調整モードでの画像号合成処理と異なっている。
【０１４３】ここで、超解像処理の内容について、図２０を用いて簡単に説明する。なお、説明の便宜上、一次元の画像データについて説明する。
【０１４４】被写体に対して撮影者がカメラを構えてシャッタ操作を行なったときに、連続して２回の露光動作を行って得られた２枚の撮影画像は、通常、撮影者が完全に静止していることはないから、微小なカメラぶれに起因して互いに被写体に対する撮影位置がわずかに変位したものとなっている。
【０１４５】超解像処理は、最初の本撮影画像Ａと２回目の本撮影画像Ａとをそれぞれ補間処理するとともに、両本撮影画像Ａ，Ｂの位置合わせをして合成することより、解像度の高い高精細の画像を得るものである。
【０１４６】すなわち、最初の本撮影画像Ａの画像データを図２０（ａ）とし、２枚目の本撮影画像Ｂの画像データを図２０（ｂ）とし、２枚目の本撮影画像Ｂは最初の本撮影画像Ｂに対して被写体に対する撮影位置が右側にΔｘだけずれているとする。なお、図２０（ａ）（ｂ）において、曲線Ｐは被写体の輝度特性を示し、ａ(1)，ａ(2)，…及びｂ(1)，ｂ(2)，…は画素位置、Ｃ(1)，Ｃ(2)，…及びＤ(1)，Ｄ(2)，…は各画素の受光レベルを示している。また、Ｃ(1)’，Ｃ(2)’，…は、受光レベルＣ(1)，Ｃ(2)，…を用いて画素位置ａ(1)，ａ(2)，…の間を補間したレベルであり、Ｄ(1)’，Ｄ(2)’，…は、受光レベルＤ(1)，Ｄ(2)，…を用いて画素位置ｂ(1)，ｂ(2)，…の間を補間したレベルである。
【０１４７】図２０（ａ）（ｂ）に示すように、最初の本撮影画像Ａにおける各画素の被写体に対する受光位置と２枚目の本撮影画像Ｂにおける各画素の被写体に対する受光位置とは相違しているから、両本撮影画像Ａ，Ｂの画像データから撮像素子より２倍の画素位置の画像データが得られる。
【０１４８】従って、同図（ｃ）に示すように、最初の本撮影画像Ａと２枚目の本撮影画像Ｂの位置合わせをして両画像データを単純に合成することにより撮像素子の画素密度に対して２倍の画素密度を有する画像データが得られる。
【０１４９】なお、本実施形態では、カメラぶれに基づく被写体に対する撮像素子の受光位置のずれを利用しているから、画素位置ａ(i)と画素位置ｂ(i)とのずれ量Δｘは一定せず、画素位置ｂ(i)は画素位置ａ(i)と画素位置ａ(i＋1)との中間に必ず位置するとは限らないので、ずれ量Δｘが非常に小さい場合は、両本画像画像Ａ，Ｂの位置合わせが十分な精度で行なえなくなる虞がある。
【０１５０】そこで、これを改善するため、本実施の形態では最初の本撮影画像Ａの画像データと２枚目の本撮影画像Ｂの画像データとをそれぞれ補間処理した後、合成するようにしている。このようにすることで、図２０（ｃ）に示すように、画素位置ｂ(i)と画素位置a(i+1)との間に画像データＣ(i)’，Ｄ(i)’が補間され、２枚の本撮影画像Ａ，Ｂは高い精度で位置合わせが行なわれるので、解像度の高い画像が得られる。
【０１５１】従って、超解像モードでの画像合成処理では、本撮影画像Ａ，Ｂについてそれぞれ所定の補間処理によりデータ数を増加させた後、レジストレーション処理が行なわれる。そして、両本撮影画像Ａ，Ｂからそれぞれ合成処理用データが作成され、その合成処理用データの対応する画素位置のデータを平均化することで超解像画像のデータが作成される。
【０１５２】以上のように、本実施形態に係るデジタルスチルカメラ１では、ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードにおいては、シャッタボタン６が全押しされてレリーズが指示されると、連続して２回、本撮影Ｑ１，Ｑ２行なわれるが、これら本撮影Ｑ１，Ｑ２の前後で少なくとも２回、間引撮影ＭＱ１，ＭＱ２を行ない、その間引撮影で得られた少なくとも２枚の演算用画像を用いて本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を演算するようにしたので、本撮影画像Ａ，Ｂを位置合わせてして所定の画像合成を行なう際の位置合わせ処理の処理負担が軽減され、処理時間の短縮を図ることができる。
【０１５３】なお、上記実施形態では、間引撮影を連続して最大３回しか行なっていなかったが、図２１に示すように間引撮影を連続して４回以上行なってもよく、この場合は、同図に示すように、２回目の間引撮影ＭＱ２が終了した時点で間引撮影ＭＱ１，ＭＱ２で得られた２枚の演算用画像を用いて直ちに本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を行なうとよい。このようにすれば、位置ずれ量（Ｘ，Ｙ）を迅速に算出することができる。
【０１５４】また、上記実施形態では、本撮影画像Ａ，Ｂとは別に演算用画像ＭＦ１，ＭＦ２，…を撮影するようにしていたが、図２２に示すように最初の本撮影画像Ａを演算用画像ＭＦ１として利用するようにしてもよいる。図２２の例では、本撮影画像Ａのための露光動作を正規の露光時間よりも短くする一方、これによる露光不足を信号処理でのレベル調整で補正し、処理期間Ｃ２’でこの本撮影画像Ａのデータを間引いて演算用画像ＭＦ１を取得している。そして、本撮影Ｑ２の露光期間中に、この演算用画像ＭＦ１と間引撮影ＭＱ２で撮影された演算用画像ＭＦ２とを用いて移動量（Ｘ，Ｙ）の演算を行なうようにしている。このようにすれば間引撮影ＭＱ１が省略できるので、本撮影Ｑ１と本撮影Ｑ２との間隔をより狭くすることができ、本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を小さくすることができる利点がある。
【０１５５】また、本実施形態に係るデジタルスチルカメラ１では、２回目の本撮影Ｑ２の露光期間中に移動量演算を行ない、その演算結果によって本撮影画像Ａ，Ｂ間の位置ずれ量が大きいときは、本撮影Ｑ２を中断し、その旨をＥＶＦ４に警告するようにしたので、また、本撮影Ｑ１と本撮影Ｑ２との間で間引撮影ＭＱ１，ＭＱ２を行い、この間引撮影で得られた画像を用いて本撮影Ｑ１と本撮影Ｑ２の間で被写体輝度、被写体距離及び光源の色バランス等の撮影条件が変化したか否かを判別し、その判別結果で撮影条件が変化しているときは、本撮影Ｑ２を中止し、その旨をＥＶＦ４に警告するようにしたので、実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがない。また、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率の低下を防止することができる。
【０１５６】なお、本実施形態は、連続して２枚の撮影画像を取り込む場合について説明したが、本発明は、３枚以上の撮影画像を取り込む場合にも適用することができる。また、本実施形態は、複数の間引撮影ＭＱによる撮影画像を用いて撮影条件の変化を検出するものであったが、間引撮影ＭＱを行なわない場合には、本撮影画像そのものを用いて（例えば、本撮影画像のデータを適当に間引いて画像サイズを小さくした画像を用いて）撮影条件の変化を検出するものであってもよい。
【０１５７】
【発明の効果】以上説明したように、本発明によれば、同一の被写体に対して少なくとも２回連続的に撮影し、その撮影で得られた少なくとも２枚の撮影画像に対して画像相互の位置合わせ処理と所定の合成演算処理とを行って１の画像を作成することのできるデジタルスチルカメラにおいて、２枚の撮影画像を得るための露光動作の間で撮影条件が変化したか否かを判別し、撮影条件が変化していると、警告をするようにしたので、ユーザはその警告により撮影後の無用な画像合成処理を中止させることで、撮影処理の効率低下を防止することができる。
【０１５８】また、撮影条件が変化していると、その後の露光動作を禁止するようにしたので、無駄な撮影が防止され、撮影処理の効率低下が確実に防止することができる。
【図面の簡単な説明】
【図１】 本発明に係るデジタルスチルカメラのカメラ本体の正面図である。
【図２】 同デジタルスチルカメラの主要部材の配置を示す図である。
【図３】 同デジタルスチルカメラのに内蔵された主要部材の配置を示す右側面図である。
【図４】 同デジタルスチルカメラの背面図である。
【図５】 カラー撮像素子の撮像面の構成を示す図である。
【図６】 撮影モードの選択方法を説明するための図である。
【図７】 デジタルスチルカメラの内部構成を示すブロック図である。
【図８】 メモリカードへの画像ファイルの記録方法を示す図である。
【図９】 ボケ味調整モードでの撮影動作を示すタイムチャートである。
【図１０】 レンズとＣＣＤとの間にＮＤフィルタを挿脱可能に設けた他のデジタルスチルカメラの内部構成を示すブロック構成図である。
【図１１】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の撮影条件の変化を判別する処理を示すフローチャートである。
【図１２】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の移動量を演算する処理を示すフローチャートである。
【図１３】 ３枚の演算用画像相互の移動量の一例を示す図である。
【図１４】 ３回の間引撮影の各タイミングと各間引撮影で得られた画像相互の移動量とから２枚の本撮影画像相互の移動量を算出する方法を説明するための図である。
【図１５】 ２枚の本撮影画像を合成してボケ味調整画像を作成する処理手順を示すフローチャートである。
【図１６】 本撮影画像でのレジストレーション処理の初期状態を示す図である。
【図１７】 レジストレーション処理後の２枚の本撮影画像のデータから画像合成処理用のデータを作成する方法を説明するための図である。
【図１８】 階調調整モードでの撮影動作を示すタイムチャートである。
【図１９】 超解像モードでの撮影動作を示すタイムチャートである。
【図２０】 超解像処理を説明するための図である。
【図２１】 間引撮影の他の態様を示すタイムチャートである。
【図２２】 最初の本撮影を１回目の間引撮影と兼用する間引撮影の態様を示すタイムチャートである。
【図２３】 連続して露光動作をした場合にカメラアングルが変化する様子を示す図である。
【符号の説明】
１ デジタルスチルカメラ
１０１ レンズ
１０２ 撮像部
１０２ａ ＣＣＤ（撮像手段）
１０３ 信号処理部
１０４ 発光制御部
１０５ レンズ制御部
１０６ 表示部
１０７ 操作部
１０８ カードＩ／Ｆ
１０８ 全体制御部（判別手段）
１０８ａ ＲＯＭ
１０８ｂ ＲＡＭ
１０８ｃ 露出値演算部
１０８ｄ 表示制御部
１０８ｅ 記録制御部
１０８ｆ 再生制御部
１０８ｇ 特殊露光制御部（露光制御手段，露光禁止手段）
１０８ｈ 画像処理部（画像合成手段）
１０９ カードインターフェース
１１０ 通信用インターフェース
２ カメラ本体
２０５ カラー撮像素子
２０６ シャッタボタン
２０７ 表示部（警告手段）
２０８ 電源スイッチ
２０９ ４連スイッチ
２１０ スイッチ群
３ 交換レンズ
４ 電子ビューファインダ（警告手段）
５ フラッシュ
ＭＣ メモリカード
【０００１】
【発明の属する技術分野】本発明は、同一の被写体に対して少なくとも２回連続撮影を行ない、この連続撮影によって得られた複数枚の撮影画像を所定の画像合成処理で合成して画質を改善したり、映像効果を高めた画像を得ることのできるデジタルスチルカメラに関する。
【０００２】
【従来の技術】近年、デジタルスチルカメラの技術分野においては、連続して撮影した複数枚の撮影画像を所定の画像処理を行なった後、合成することで、各撮影画像よりも画質や映像効果を高めた画像を得ることのできるデジタルスチルカメラが商品化されている。
【０００３】例えばビクター社製のデジタルスチルカメラ「ＧＣ−Ｘ１“ＰＩＸＳＴＥＲ”」は、撮像素子を微小変位させて連続して２回撮影を行い、両撮影画像を合成することで解像度の高い撮影画像を得ることができる機能を備えている。また、このデジタルスチルカメラは、被写体の明るい部分と暗い部分とに合わせて２種類の露出制御値を設定し、それらの露出制御値で連続して２回撮影を行い、両撮影画像を合成することで暗い部分から明るい部分まで適切な濃度の撮影画像を得ることができる機能も備えている。
【０００４】
【発明が解決しようとする課題】近年、デジタルスチルカメラに適用される撮像素子の高画素化が進み、２００万〜３００万画素の撮像素子を用いたものも商品化されているが、このような高密度の撮像素子を用いたデジタルスチルカメラに上述の画像合成機能を設けた場合、画質及び映像効果の高い画像が得られるという優れた価値をデジタルスチルカメラに付加するができる。
【０００５】しかし、撮影画像のデータ数が増大すると、画像合成処理の時間が長くなり、合成結果がなかなか得られないという不都合が生じる。更には画像合成用に撮影された複数枚の画像が適切でないときは、ユーザに長時間の画像合成処理を待たした上、不本意な合成画像を提供するという問題が生じる。
【０００６】デジタルスチルカメラで同一の被写体を連続撮影して得られた２枚の画像を合成する場合、基本的に両画像の内容は同一であることが必要であるが、被写体が静止状態であっても撮影者がデジタルスチルカメラを手に持って連続撮影する場合は、図２３に示すように微小なカメラアングルの変化に起因して最初の撮影と２回目の撮影との間にフレーミング（撮影範囲）のずれが発生し、これにより両撮影画像の内容は完全に一致しないことになる。
【０００７】このため、２枚の撮影画像の画像合成処理においては、通常、両撮影画像の位置合わせ処理（画像マッチング処理）を行った後、対応する画素位置のデータについて所定の合成演算処理が行なわれる。しかし、画像合成処理おける位置合わせ処理は、一般に、一方の画像を基準（以下、基準画像という。）として他方の画像（以下、参照画像という。）を所定の移動量で平行移動や回転等を行なうとともに、移動位置毎に所相の相関関数を用いて相関値の演算を行ない、最も相関値の大きい移動量を両画像の位置ずれ量として算出するもので、参照画像の移動毎に相関値演算を繰り返すため、処理時間が長く、このため、画像合成処理の処理時間を長くする要因となっている。
【０００８】従って、デジタルスチルカメラに上述の画像合成機能を設ける場合、必ず画像号処理において位置合わせ処理を行なう必要があるから、データ数の増加に伴い画像合成処理に長時間を要するという問題は重要である。取り分け画像合成用の撮影画像が不適切であることに起因して合成画像が不本意なものになるという問題は、画像合成機能の効果を半減させ、その機能の付加価値を著しく低下させるだけでなく、例えば画像合成処理により不必要に電力を消費するという別の問題の要因ともなるから重大である。
【０００９】本発明は、上記課題に鑑みてなされたものであり、連続撮影した画像を合成することで画質や映像効果の高い画像を得ることのできるデジタルスチルカメラにおいて、撮影画像が不適切であるときは、ユーザに警告したり、画像合成処理を強制的に禁止することでそれに起因する問題を軽減し、画像合成処理機能を有効に活用することのできるデジタルスチルカメラを提供するものである。
【００１０】
【課題を解決するための手段】本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたものである（請求項１）。
【００１１】なお、上記撮影条件は、撮影画像間の位置ずれ量、輝度差、焦点位置のずれ量、色バランスのずれ量等である(請求項３〜６）。
【００１２】上記構成によれば、レリーズが指示されると、撮像手段の露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化すると、これらの撮影画像を用いた画像合成処理が不適切であること示す警告が行なわれる。
【００１３】例えば本撮影画像間の位置ずれ量が所定の閾値以上であると、両撮影画像の位置合わせが適正に行なえないので、警告が行なわれる。また、撮影画像間の輝度差が所定の閾値以上であると、両撮影画像の合成画像の濃度バランスが不適切になるので、警告が行なわれる。また、撮影画像間の焦点位置のずれ量（ピントのずれ具合）が所定の閾値以上であると、両撮影画像の合成画像のピント調整が不適切になるので、警告が行なわれる。また、撮影画像間の色バランスのずれ量が所定の閾値以上であると、両撮影画像を合成した画像の色バランスが不適切になるので、警告が行なわれる。
【００１４】また、本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたものである（請求項２）。
【００１５】上記構成によれば、レリーズが指示されると、露光動作が少なくとも２回連続して行なわれ、同じ被写体に対して少なくとも２枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化していると、これらの撮影画像を用いた画像合成処理が不適切であるので、その後の撮影画像を取り込むための露光動作が禁止される。従って、撮影画像は画像合成処理も行なわれない。
【００１６】
【発明の実施の形態】図１は本発明に係る画像処理システムに適用されるデジタルスチルカメラ（カラー撮像装置）のカメラ本体の正面図、図２は同デジタルスチルカメラに内蔵された主要部材の配置を示す上面図、図３は、同デジタルスチルカメラに内蔵された主要部材の配置を示す右側面図、図４は同デジタルスチルカメラの背面図である。
【００１７】デジタルスチルカメラ１は、カメラ本体２とこのカメラ本体２の正面略中央に着脱可能に装着されるズームレンズからなる交換レンズ３とからなる一眼レフレックスカメラで構成されている。カメラ本体２は、正面略中央に交換レンズ３が装着されるマウント部２０１が設けられ、正面左端部にグリップ部２０２が設けられている。
【００１８】グリップ部２０２の内部には電池収納室２０３とカード収納室２０４とが設けられ、電池収納室２０３には４本の単３形乾電池Ｅ１〜Ｅ４（カメラの電源電池）が収納され、カード収納室２０４には撮影画像の画像データを記録するためのメモリカードＭＣが着脱可能に収納されるようになっている。
【００１９】マウント部２０１の下部には装着された交換レンズ３との電気的接続を行なうための複数個の接点ＳＴと機械的接続を行なうための複数個のカプラーＣＰとが設けられている。電気的な接点ＳＴは、交換レンズ３に内蔵されたレンズＲＯＭ３０１（図３参照）から当該レンズに関する固有の情報（開放Ｆ値や焦点距離等の情報）をカメラ本体２内の全体制御部（図６参照）に読み出したり、交換レンズ３内のズームレンズの位置やフォーカスレンズの位置の情報を全体制御部に出力するためのものである。カプラーＣＰはカメラ本体２内に設けられたズームレンズ駆動用のモータＺＭ（図３参照）の駆動力とフォーカスレンズ駆動用のモータＦＭ（図３参照）の駆動力とを交換レンズ３側に伝達するためのものである。
【００２０】マウント部２０１に交換レンズ３が装着されたときの当該レンズ３の光軸Ｌ上であってカメラ本体２内の適所にカラー撮像素子２０５が配設されている。カラー撮像素子２０５（以下、ＣＣＤ２０５という。）は、図５に示すようにＣＣＤ（Charge-Coupled Device）からなるエリアセンサ２０５Ａの各画素の表面に、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ２０５Ｂが市松模様状に貼り付けられた、いわゆるベイヤー方式と呼ばれる単板式カラーエリアセンサで構成され、例えば１６００×１２００＝１９２万個の画素数を有している。
【００２１】なお、図５に示すようにエリアセンサのｉ行ｊ列目の画素位置を（ｉ，ｊ）（ｉ＝１，２，…ｎ、ｊ=１，２，…ｍ）とし、ｎ＝１６００、ｍ＝１２００とすると、Ｒ，Ｇ，Ｂの各カラーフィルタは、Ｒ；（２ｈ＋１，２ｋ＋１）
Ｇ；（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）
Ｂ；（２ｈ＋２，２ｋ＋２）
但し、ｈ＝０，１，２，…ｎ／２（＝８００）、ｋ=０，１，２，…ｍ／２（＝６００）の画素位置に配置されている。
【００２２】カメラ本体２のグリップ部２０２の上面にはシャッタボタン２０６が設けられている。シャッタボタン２０６の半押し操作と全押し操作とは後述するスイッチＳ１，Ｓ２により検出されるようになっている。スイッチＳ１がオンになると（シャッタボタン２０６が半押しされると）、被写体の静止画を撮影するための準備動作（露出制御値の設定や焦点調節等の準備動作）が行なわれ、スイッチＳ２がオンになると（シャッタボタン２０６が全押しされると）、撮影動作（ＣＣＤ２０５を露光し、その露光によって得られた画像信号に所定の画像処理を行なってメモリカードＭＣに記録する一連の動作）が行なわれる。
【００２３】カメラ本体２の上面の略中央には電子ビューファインダ４（ＥＶＦ；Electronic View Finder）とポップアップタイプのフラッシュ５とが設けられている。電子ビューファインダ４はＣＣＤ２０５で撮影された被写体のモニタ画像（撮影待機状態においてＣＣＤ２０５により動画撮影された被写体の画像）を表示するカラー液晶表示デバイスからなる表示部４０１（以下、ＬＣＤ表示部４０１という。）とこのカラー液晶表示デバイスに表示されたモニタ画像をファインダ窓４０３の外側に導く接眼レンズ４０２とを備えている。
【００２４】撮影待機状態では電子ビューファインダ４に被写体のモニタ画像（動画像）が表示されるので、撮影者はファインダ窓４０３を覗くことによってモニタ画像により被写体を視認することができる。
【００２５】なお、モニタ画像はＬＣＤ表示部４０１に表示するためのものであるから、待機状態においては、ＣＣＤ２０５を通常の静止画撮影と異なる動作モード、所謂ドラフトモードで動作させてＬＣＤ表示部４０１の表示サイズと同一のサイズのモニタ画像が撮影される。すなわち、本実施形態では、ＬＣＤ表示部４０１は画素数２００×１５０で構成されているので、待機状態においては、全画素で受光はするが、受光データの読み出しは縦横両方向について８画素ピッチで行なわれ（１／８の間引き読み出しが行なわれて）、これにより画素数２００×１５０のモニタ画像が高速撮影可能になっている。
【００２６】カメラ本体２の背面の略中央にはカラー液晶表示デバイスからなる表示部２０７（以下、ＬＣＤ表示部２０７という。）が設けられている。ＬＣＤ表示部２０７は、記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカードＭＣに記録された撮影画像を再生表示するものである。
【００２７】撮影モードには露出制御に関するモードと画像合成処理に関するモードとが含まれる。露出制御に関するモードとはレリーズ時の露出制御値（絞りの絞り値と露光時間）の決定の仕方に関するモードである。露出制御に関するモードには少なくともプログラムモード、シャッタ優先モード、絞り優先モードが含まれる。露出制御値は予め設定された複数のプログラム線図のいずれか１つを用いて設定されるようになっており、プログラムモードでは標準的なプログラム線図を用いて露出制御値が設定され、シャッタ優先モードでは絞り値よりシャッタ速度（露光時間）を優先するようなプログラム線図を用いて露出制御値が設定され、絞り優先モードではシャッタ速度より絞り値を優先するようなプログラム線図を用いて露出制御値が設定される。
【００２８】画像合成処理に関するモードとは、レリーズ時に撮影条件を変えて、若しくは撮影条件をそのままで連続して２回撮影を行ない、その撮影によって得られた２枚の撮影画像を所定の画像合成処理により合成して元の撮影画像よりも画質や映像効果の高い１の画像を作成し、メモリカードＭＣに記録するモードである。
【００２９】画像合成処理に関するモードには少なくとも「ボケ味調整モード」、「階調調整モード」、「超解像モード」が含まれる。ボケ味調整モードとは、１回のシャッタ操作で合焦位置を変化させて連続して２回の撮影動作を行い、例えば主被写体（例えば人物等）に対して焦点を合せた撮影画像Ａと主被写体の背景に焦点を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成して所望のボケ具合を有する画像を得るモードである。
【００３０】階調調整モードとは、１回のシャッタ操作で露出条件を変化させて連続して２回の撮影動作を行い、例えば主被写体に対して露出を合せた撮影画像Ａと主被写体の背景に露出を合わせた撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、例えば画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得るモードである。
【００３１】超解像モードとは、１回のシャッタ操作でピントや露出条件を変えないで連続して２回の撮影動作を行い、１回目の撮影と２回目の撮影とで僅かに異なるカメラアングルの差異により画面内の主被写体の位置が微小変化した撮影画像Ａと撮影画像Ｂとを取り込み、両撮影画像Ａ，Ｂを合成することにより、元の撮影画像よりも解像度の高い画像を得るモードである。
【００３２】ＬＣＤ表示部２０７の左側には電源スイッチ２０８が設けられている。この電源スイッチ２０８は記録モード（写真撮影の機能を果たすモード）及び再生モード（記録画像をＬＣＤ表示部２０７に再生するモード）を切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ２０８は３点スライドスイッチからなり、接点を中央の「ＯＦＦ」位置に設定すると、電源がオフになり、接点を上方の「ＲＥＣ」位置に設定すると、電源がオンになるとともに記録モードが設定され、接点を下方の「ＰＬＡＹ」位置に設定すると、電源がオンになるとともに再生モードが設定される。
【００３３】ＬＣＤ表示部２０７の右側上方位置には４連スイッチ２０９が設けられている。４連スイッチ２０９は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作がそれぞれ検出されるようになっている。４連スイッチ２０９は多機能化され、例えばＬＣＤ表示部２０７に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するための操作スイッチとして機能するとともに、左右方向のスイッチは交換レンズ３のズーム比を変更するためのスイッチとしても機能するようになっている。
【００３４】メニュー画面では、例えば複数の項目が配列表示され、現在選択されている項目に選択状態を示す表示（例えばカーソルや反転表示等）が行なわれる。例えば撮影モードの画像合成処理に関するモードを選択する場合、ＬＣＤ表示部２０７には、図６に示すようなメニュー画面が表示される。このメニュー画面における「通常撮影」の項目は、銀塩カメラにおける撮影動作と同様の通常の撮影を行なうモードである。
【００３５】図６のメニュー画面において、４連スイッチ２０９の上方向スイッチが押されると、黒三角印のカーソルＫの表示位置（すなわち、カーソルＫが示す項目）が上方向にサイクリックに移動し、４連スイッチ２０９の下方向スイッチが押されると、カーソルＫが示す項目表示位置が下方向にサイクリックに移動する。そして、スイッチ群２１０の確定スイッチ２１０ｂが押されると、その時カーソルＫで指示されている項目（図６では階調調整モード）が撮影モードとして設定される。
【００３６】従って、撮影者は撮影モード選択用のメニュー画面において、４連スイッチ２０９を上下方向に操作して所望の撮影モードを選択し、確定スイッチ２１０ｄを操作することでその撮影モードを設定することができる。なお、露出制御に関するモードについても同様の方法で所望の撮影モードを設定することができる。
【００３７】また、インデックス画面ではメモリカードＭＣに記録されている全ての画像から９コマ分のサムネイル画像が配列表示され、現在選択されているコマに選択されている表示（例えば点滅表示や枠表示等）が行なわれる。４連スイッチ２０９の上下左右の何れかの方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示がその方向の項目やコマに移動する。例えば上方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示が上方向の項目やコマに移動する。
【００３８】交換レンズ３のズーム操作では、４連スイッチ２０９の右方向スイッチを押圧すると、交換レンズ３がワイド側に連続的に移動し、４連スイッチ２０９の左方向スイッチを押圧すると、交換レンズ３がテレ側に連続的に移動する。
【００３９】ＬＣＤ表示部２０７の右側下方位置にはＬＣＤ表示部２０７の表示や表示内容に関する操作を行なうためスイッチ群２１０が設けられている。スイッチ群２１０には取消スイッチ２１０ａ、確定スイッチ２１０ｂ、メニュー表示スイッチ２１０ｃ及び表示スイッチ２１０ｄが含まれる。
【００４０】取消スイッチ２１０ａはメニュー画面で選択された内容を取り消すためのスイッチである。確定スイッチ２１０ｂはメニュー画面で選択された内容を確定するためのスイッチである。メニュー表示スイッチ２１０ｃはＬＣＤ表示部２０７にメニュー画面を表示させたり、メニュー画面の内容切り換えるためのスイッチである。メニュー表示スイッチ２１０ｃを押圧する毎にメニュー画面に切り換わる。表示スイッチ２１０ｄはＬＣＤ表示部２０７への表示を行なわせたり、メニュー画面の内容を切換えたりするスイッチである。電源電池Ｅ１〜Ｅ４の節電を図るため、カメラ起動時はＬＣＤ表示部２０７の表示は行なわれないようになっている。表示スイッチ２１０ｄを押圧する毎にＬＣＤ表示部２０７の表示と非表示とが交互に行なわれる。
【００４１】図７は、デジタルスチルカメラ１の内部構成を示すブロック構成図である。
【００４２】デジタルスチルカメラ１は、主にレンズ１０１、撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６、操作部１０７及び全体制御部１０８で構成されている。
【００４３】レンズ１０１は交換レンズ３に相当するものである。レンズ１０１はフォーカス用レンズ１０１ａ及びズーム用レンズ１０１ｂを備え、内部に透過光量を調節するための絞り１０１ｃが設けられている。
【００４４】撮像部１０２はレンズ１０１を通して入射した被写体光像を画像信号（電気画像）に光電変換して取り込むものである。撮像部１０２にはＣＣＤ２０５に相当するＣＣＤ１０２ａ、このＣＣＤ１０２ａの撮像動作を制御するタイミングジェネレータ１０２ｂ及びタイミングジェネレータ１０２ｂの駆動を制御するタイミング制御回路１０２ｃが含まれる。
【００４５】ＣＣＤ１０２ａはタイミングジェネレータ１０２ｂから入力される駆動制御信号（積分開始信号／積分終了信号）に基づいて被写体光像を所定の時間（露光時間）だけ受光して画像信号（電荷蓄積信号）に変換し、その画像信号をタイミングジェネレータ１０２ｂから入力される読出制御信号（水平同期信号、垂直同期信号、転送信号等）を用いて信号処理部１０３に出力する。このとき、画像信号はＲ，Ｇ，Ｂの各色成分に分離されて信号処理部１０３に出力される。すなわち、画素位置（２ｈ＋１，２ｋ＋１）の各画素で受光された画像信号を順次読み出すことでＲの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋１），（２ｈ＋１，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＧの色成分の画像信号が出力され、画素位置（２ｈ＋２，２ｋ＋２）の各画素で受光された画像信号を順次読み出すことでＢの色成分の画像信号が出力される。
【００４６】タイミングシェネレータ１０２ｂはタイミング制御回路１０２ｃから入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読出制御信号を生成し、ＣＣＤ１０２ａに出力する。タイミング制御回路１０２ｃは撮像部１０２の撮影動作を制御するものである。タイミング制御回路１０２ｃは全体制御部１０８から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には記録モードにおいて撮影待機中に被写体の動画像（以下、ライブビュー画像という。）を電子ビューファインダ４にモニタ表示するための撮影の制御信号、シャッタボタン６が操作されて被写体の静止画（以下、記録画像という。）を撮影するための制御信号、基準クロック、ＣＣＤ１０２ａから出力された画像信号を信号処理部１０３で信号処理するためのタイミング信号（同期クロック）などが含まれる。このタイミング信号は信号処理部１０３内の信号処理回路１０３ａ及びＡ／Ｄ変換回路１０３ｂに入力される。
【００４７】信号処理部１０３はＣＣＤ１０２ａから出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は当該画像データを構成する各画素の受光信号毎に行なわれる。以下、説明の便宜上、各画素の受光信号とこれらの集合により撮影画像を構成する画像信号とを区別するため、必要に応じて各画素の受光信号を画素信号（アナログ信号）もしくは画素データ（デジタル信号）という。
【００４８】信号処理部１０３にはアナログ信号処理回路１０３ａ、Ａ／Ｄ変換回路１０３ｂ、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ、γ補正回路１０３ｅ及び画像メモリ１０３ｆが含まれる。なお、黒レベル補正回路１０３ｃ、ＷＢ回路１０３ｄ及びγ補正回路１０３ｅはデジタル信号処理を行う回路を構成するものである。
【００４９】アナログ信号処理回路１０３ａは主にＣＤＳ回路（相関二重サンプリング）回路及びＡＧＣ（オートゲインコントロール）回路からなり、ＣＣＤ１０２ａから出力される画像信号（各画素で受光された信号。アナログ信号）のサンプリングノイズの低減と信号レベルの調整を行う。
【００５０】ＡＧＣ回路におけるゲインコントロールには、絞り１０１ｃの絞り値とＣＣＤ２０５の露光時間とで適正露出が得られなかった場合（例えば非常に低輝度の被写体を撮影する場合等）の撮影画像のレベル不足を補償する場合も含まれる。
【００５１】Ａ／Ｄ変換回路１０２ｂはアナログ信号処理回路１０３ａから出力される画像信号をデジタルの信号（以下、画像データという。）に変換するものである。Ａ／Ｄ変換回路１０２ｂは各画素で受光された画素信号を、例えば１０ビットの画素データに変換する。
【００５２】黒レベル補正回路１０３ｃはＡ／Ｄ変換された各画素データの黒レベルを基準の黒レベルに補正するものである。ＷＢ回路１０３ｄは撮影画像のホワイトバランスを調整するものである。ＷＢ回路１０３ｄは全体制御部１０８から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。なお、レベル変換テーブルの各色成分の変換係数は全体制御部１０８から撮影画像毎に設定される。γ補正回路１０３ｅは画素データのγ特性を補正するものである。γ補正回路１０３ｅは予め設定された補正テーブルを用いて各画素データのレベルを補正する。
【００５３】画像メモリ１０３ｆは信号処理の終了した画像データを一時保存するメモリである。画像メモリ１０３ｆは少なくとも２フレーム分の画像データを記憶し得る容量を有している。これは、ボケ味調整モード等の撮影では２回連続して露光が行なわれ、２フレーム分の画像データが取り込まれるから、これらをそれぞれ保存できるようにするためである。なお、１フレーム分の画像データを記憶し得る記憶容量は、例えばＣＣＤ１０２ａの画素数を１６００×１２００＝１９２万とすると、１９２万個の画素データを記憶し得る容量である。
【００５４】発光制御部１０４は全体制御部１０８から入力される発光制御信号に基づいてフラッシュ５の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。発光制御部１０４は全体制御部１０８から発光準備の指示があると、メインコンデンサを充電して発光可能状態にし、発光タイミング信号に同期してメインコンデンサの蓄積電荷を放電することによりフラッシュ５を発光させる。そして、全体制御部１０８から入力される発光停止信号に基づいてメインコンデンサの蓄積電荷の放電を停止させる。これによりフラッシュ５は所要の発光量で発光される。
【００５５】レンズ制御部１０５はレンズ１０１内のフォーカス用レンズ１０１ａ、ズーム用レンズ１０１ｂ及び絞り１０１ｃの各部材の駆動を制御するものである。レンズ制御部１０５は絞り１０１ｃの絞り値を制御する絞り制御回路１０５ａ、フォーカスモータＦＭの駆動を制御するフォーカス制御回路１０５ｂ及びズームモータＺＭの駆動を制御するズーム制御回路１０５ｃを備えている。
【００５６】絞り制御回路１０５ａは全体制御部１０８から入力される絞り値に基づいて絞り１０１ａを駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路１０５ｂはフォーカスモータＦＭの駆動を制御し、フォーカスモータＦＭの駆動力はカプラーＣＰ１を介してフォーカス用レンズ１０１ａに伝達される。フォーカス制御回路１０５ｂは全体制御部１０８から入力されるＡＦ制御信号（例えば駆動パルス数等の制御値）に基づいてフォーカスモータＦＭを駆動し、フォーカス用レンズを焦点位置に設定する。ズーム制御回路１０５ｃは全体制御部１０８から入力されるズーム制御信号（４連スイッチ２０９の操作情報）に基づいてズームモータＺＭを駆動し、ズーム用レンズ１０１ｂを４連スイッチ２０９で指定された方向に移動させる。すなわち、ズーム制御回路１０５ｃは全体制御部１０８から４連スイッチ２０９の右方向の操作情報が入力されると、ズームモータＺＭを正方向に駆動してズーム用レンズ１０１ｂをワイド側に移動させ、４連スイッチ２０９の左方向の操作情報が入力されると、ズームモータＺＭを逆方向に駆動してズーム用レンズ１０１ｂをテレ側に移動させる。
【００５７】表示部１０６はＬＣＤ表示部２０７への表示と電子ビューファインダ４への表示とを行うものである。表示部１０６にはＬＣＤ表示部２０７に相当するディスプレイ１０６ａ及びＶＲＡＭ１０６ｂと電子ビューファインダ４内のＬＣＤ表示部４０１に相当するディスプレイ１０６ｃ及びＶＲＡＭ１０６ｄとが含まれる。ディスプレイ１０６ａは、例えば２００×１５０＝３００００の画素数を有し、ディスプレイ１０６ｃは、例えば２００×１５０＝３００００の画素数を有している。従って、ＶＲＡＭ１０６ｂはディスプレイ１０６ａの画素数に対応して略３万個の画素データが記憶可能になされ、ＶＲＡＭ１０６ｄはディスプレイ１０６ｃの画素数に対応して略３万個の画素データが記憶可能になっている。
【００５８】撮影待機中ではＣＣＤ１０２ａがドラフトモードで駆動され、ＣＣＤ１０２ａから画素数２００×１５０のフレーム画像が順次、出力される。各フレーム画像の画像信号は所定の信号処理が行なわれた後、画像メモリ１０３ｆに格納されるとともに、順次、全体制御部１０８に読み出され、ＶＲＡＭ１０６ｄに転送される。これにより被写体のライブビュー画像がディスプレイ１０６ｃ（ＬＣＤ表示部４０１の表示面）に表示される。また、表示スイッチ２１０ｄに操作によりＬＣＤ表示部２０７の表示が指示されると、ＶＲＡＭ１０６ｂに転送され、これにより被写体のモニタ画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）にも表示される。
【００５９】更にメニュースイッチ２１０ｃの操作によりメニュー表示が指示されると、全体制御部１０８内のＲ０Ｍ１０８ａに記憶されたメニュー画面の画像データがＶＲＡＭ１０６ｂに読み出され、これによりディスプレイ１０６ａの表示内容がメニュー画面に切り換えられる。
【００６０】再生モードでは全体制御部１０８によりメモリカードＭＣに記録された各コマ画像ファイルから撮影画像のサムネイル画像が読み出され、所定のフォーマットに従って配列されてインデックス表示用の画像データが作成され、その画像データがＶＲＡＭ１０６ｂに読み出される。これによりディスプレイ１０６ａにはメモリカードＭＣに記録された撮影画像の一覧が表示される。そして、４連スイッチ２０９の操作により再生すべきコマが指定されると、メモリカードＭＣに記録されたそのコマに対応する画像ファイルからＣＣＤＲＡＷ形式で記録された撮影画像の画像データが読み出され、ディスプレイ１０６ａの表示サイズに調整されてＶＲＡＭ１０６ｂに転送される。これにより撮影画像がディスプレイ１０６ａ（ＬＣＤ表示部２０７の表示面）に再生表示される。
【００６１】操作部１０７はカメラ本体２に設けられた撮影や再生に関する操作部材の操作情報を全体制御部１０８に入力するものである。操作部１０７から入力される操作情報にはシャッタボタン２０６、電源スイッチ２０８、４連スイッチ２０９、スイッチ群２１０等の各操作部材の操作情報が含まれる。
【００６２】全体制御部１０８はデジタルスチルカメラ１の有する撮影機能及び再生機能を集中制御するものである。全体制御部１０８にはカードインターフェース１０９を介してメモリカードＭＣが接続されている。また、通信用インターフェース１１０を介してコンピュータＰＣが外部接続されるようになっている。
【００６３】全体制御部１０８はマイクロコンクピュータからなり、撮影機能及び再生機能における種々の具体的な処理を行なうための処理プログラムや上述の撮像部１０２、信号処理部１０３、発光制御部１０４、レンズ制御部１０５、表示部１０６等の駆動を制御するための制御プログラムが記憶されたＲＯＭ１０８ａと処理プログラム及び制御プログラムに従って種々の演算作業を行なうためのＲＡＭ１０８ｂを備えている。
【００６４】全体制御部１０８の行なう具体的な処理には、ライブビュー画像を取り込んだり、被写体を撮影する際の露出制御値（ＣＣＤ１０２ａの露光時間Ｔｖ〔Ｅｖ値〕と絞り１０１ｃの絞り値Ａｖ〔Ｅｖ値〕）を算出する処理（露出制御値演算処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれたライブビュー画像を電子ビューファイダ４に表示したり、再生モードにおいてメモリカードＭＣから画像メモリ１０３ｆに読み出された記録画像をＬＣＤ表示部２０７に表示する処理（画像表示処理）、記録モードにおいてＣＣＤ１０２ａから画像メモリ１０３ｆに取り込まれた記録画像をカードメモリＭＣに記録する処理（記録処理）、再生モードにおいてメモリカードＭＣから再生すべき記録画像を画像メモリ１０３ｆに読み出す処理（再生処理）、ボケ味調整モード等の特殊撮影モードにおいて連続して露光動作を行なうとともに、各露光動作の前後で連続撮影画像の位置ずれ量を算出するための画像を取り込むための露光動作を行なわせる処理（特殊露光制御処理）及びその露光制御で得られた２枚の撮影画像の合成を行なう処理（画像合成処理）等が含まれる。
【００６５】露出値演算部１０８ｃ、表示制御部１０８ｄ、記録制御部１０８ｅ、再生制御部１０８ｆ、特殊露光制御部１０８ｇ及び画像処理部１０８ｈは全体制御部１０８における上述の各処理を機能ブロックで表わしたものである。
【００６６】露出値定部１０８ｃは露出値演算処理を行なうもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【００６７】表示制御部１０８ｄは画像表示処理を行なうもので、上述の表示部１０６の表示動作、すなわち、画像メモリ１０３ｆに一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＶＲＡＭ１０６ｃまたはＶＲＡＭ１０６ｄに転送する動作を行なう。
【００６８】記録制御部１０８ｅは記録処理を行なうものである。記録制御部１０８ｅは、通常撮影モードにおいて、シャッタボタン２０６により撮影が指示されると、撮影指示後に画像メモリ１０３ｆに一時記憶された画像データ（静止画の画像データ）をＲＡＭ１０８ｂに読み出し、例えば２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成する。
【００６９】また、レリーズ直前にドラフトモードで撮影され、画像メモリ１０３ｆに格納されたフレーム画像をＲＡＭ１０８ｂに読み出すことで、画素数２００×１５０のサムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報にはレンズ名称、コマ番号、撮影時の焦点距離、撮影時のＦナンバー、焦点位置、被写体輝度、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。
【００７０】そして、記録制御部１０８ｅは圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付してＥＸＩＦ（Exchangeable Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７１】なお、ボケ味調整モード、階調調整モード及び超解像モードの撮影モードにおいては、画像処理部１０８ｈで合成された合成画像に対して２次元ＤＣＴ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行なって記録用の画像データを作成し、この圧縮合成画像及びサムネイル画像の画像データにタグ情報を添付してＴＩＦＦ（Tag Image File Format）形式の画像ファィルを作成し、この画像ファィルをメモリカードＭＣに記録する。
【００７２】従って、合成前の２枚の撮影画像はメモリカードＭＣに記録されない。これは、カメラ本体で画像合成処理まで行なうため、メモリカードＭＣを効率よく活用するためである。パソコン等で別途画像合成をする際の利便性を考慮して合成前の２枚の撮影画像をメモリカードＭＣに記録させるようにしてもよい。
【００７３】図８は、メモリカードＭＣへの画像ファイルの記録方法を示す図である。
【００７４】メモリカードＭＣには先頭から各画像ファイルがファイル番号Ｘの順に記憶される。各画像ファイルには、「Ｐn．Ｙ」のファイル名が付与され、「n」は画像ファイルが作成された順番を示す６桁の番号であり、「Ｙ」は画像データの形式を示す記号である。例えば「Ｙ」が「ＪＰＧ」である場合、画像データはＪＰＥＧ方式で圧縮されているを示す。
【００７５】メモリカードＭＣにおける各画像ファイルの記録領域は３つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファィルによって変化しないが、撮影画像データのデータサイズは圧縮率や撮影モードによって変化する。このため、メモリカードＭＣの画像ファィルの記憶領域に記憶可能なファイル数は各画像ファィルの撮影画像データのデータサイズによって変化する。
【００７６】再生制御部１０８ｆはメモリカードＭＣに記録された撮影画像のＬＣＤ表示部２０７への再生処理を行なうものである。再生制御部１０８fは、電源スイッチ２０８により再生モードが設定されると、メモリカードＭＣに記録された各画像ファイルからサムネイル画像を読み出し、順次、所定のインデックスフォーマットに従ってＶＲＡＭ１０６ｂに記憶する。例えば１ページ当たり、９枚のサムネイル画像が３×３に２次配列されるようにＶＲＡＭ１０６ｂに記憶する。従って、これによりＬＣＤ表示部２０７に９枚の２次元配列されたサムネイル画像がインデックス表示される。
【００７７】インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連スイッチ２０９及びスイッチ群２１０によって指定されると、再生処理部１０８ｆは、そのコマに対応する画像ファィルから撮影画像のデータを読み出し、所定の伸長処理を行なった後、画像メモリ１０３ｆに記憶する。この画像メモリ１０３ｆに読み出されたデータは、上述したように表示制御部１０８ｄによりデータサイズが調整されてＶＲＡＭ１０６ｂに転送され、これによりＬＣＤ表示部２０７に再生表示される。
【００７８】特殊露光制御部１０８ｇは、ボケ味調整モード、階調調整モード及び超解像モードが設定されている状態でシャッタボタン６が全押しされたときのＣＣＤ１０２ａの露光動作を制御する。特殊露光制御部１０８ｇは、基本的にＳ２スイッチがオンになると、画像合成用の画像（以下、この画像を本撮影画像という。）を取り込むため、連続してＣＣＤ１０２ａの露光動作を２回繰り返すが、この２枚の本撮影画像の位置ずれ量を演算するための画像（以下、この画像を演算用画像という。）を少なくとも２枚取り込むため、本撮影画像用の各露光動作の前後で演算用画像用の露光動作を行なわす。
【００７９】演算用画像は位置ずれ量を算出するためのもので、本撮影画像のように高画質を必要しないので、本実施の形態では、ドラフトモードでＣＣＤ１０２ａを駆動して演算用画像を取り込むようにしている。すなわち、演算用画像の撮影は、本撮影画像よりも少ない画素数で行なっている。
【００８０】撮影待機状態においては、ＣＣＤ１０２ａはドラフトモードで露光動作が繰り返されているので、この状態でＳ２スイッチがオンになると、特殊露光制御部１０８ｇは、例えばＣＣＤ１０２ａの駆動モードをドラフトモード（全画素の受光データのうち、所定の画素数だけ間引いて読み出すモード。本実施形態では画素数の間引率を１／８としている。）からノーマルモード（全画素の受光データを読み出すモード）に切り換えて１回目の本撮影画像用の露光動作を行ない、この後、再度ドラフトモードに切り換えて演算用画像用の露光動作を少なくとも２回行い、更にノーマルモードに切り換えて２回目の本撮影画像用の露光動作を行なう。なお、演算用画像は、本撮影画像の前後であれば、必ずしも連続的に取り込まれる必要はなく、本撮影画像と演算用画像とを交互に取りこむようにしてもよい。
【００８１】なお、ボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作の詳細は後述する。
【００８２】画像処理部１０８ｈは、ボケ味調整モード、階調調整モード及び超解像モードで連続的に撮影された２枚の本撮影画像のレジストレーション処理（位置合わせ処理）をした後、両本撮影画像の対応する画素位置毎に両本撮影画像のデータを用いて所定の演算処理を行なって合成画像のデータを作成する。
【００８３】レジストレーション処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる２枚の画像の位置を合わせるものである。レジストレーション処理は、一般に、例えば一方の撮影画像Ａを基準にして他方の撮影画像Ｂを拡大／縮小、平行移動、回転等を行ないつつ両撮影画像Ａ，Ｂを照合して、両撮影画像Ａ，Ｂが一致する撮影画像Ｂの拡大率、平行移動量及び回転角等が算出される。一方の撮影画像Ａに対する他方の撮影画像Ｂの一致度は、例えば撮影画像Ｂの平行移動量を引数とする両撮影画像Ａ，Ｂのデータのレベル差の絶対値の総和（相関関数）が最小となる平行移動量が撮影画像Ｂを撮影画像Ａに一致させるための移動量（すなわち、位置ずれ量）として算出される。
【００８４】なお、本実施形態では、２枚の画像が連続して撮影された画像で、カメラぶれによる両本撮影画像の位置ずれが主として直線的なぶれに起因することを考慮して、本撮影画像Ｂを本撮影画像Ａに一致させるための平行移動量（Ｘ，Ｙ）（すなわち、本撮影画像Ａ，Ｂ間の位置ずれ量）だけを演算するようにしている。また、この演算は撮影画像Ｂを所定のピッチで移動させつつ相関関数の演算を繰り返すため、１９２万の画素データを有する本撮影画像を用いて直接、レジストレーション処理をしたのでは、繰返演算の処理回数が膨大となるので、本実施形態では、本撮影画像よりも画素数の少ない撮影画像（本撮影画像の露光動作の前後でドラフトモードによって撮影した演算用画像で、実質的に本撮影画像のデータを１／８に間引いた画像に相当するもの。）を用いてレジストレーション処理を行い、この処理結果に対して間引き率の８を乗じた数（例えばサムネイル画像の移動量が（３，４）であれば、（２４，３２）とする。）を本撮影画像でのレジストレーション処理における本撮影画像Ｂの移動量の初期値とするようにしている。
【００８５】従って、画像処理部１０８ｈは、特殊露光制御部１０８ｇによりＣＣＤ１０２ａで複数枚の演算用画像が取り込まれると、これらの演算用画像を用いて上述のレジストレーション処理を行ない、最初の本撮影画像Ａと２回目の本撮影画像Ｂとの間の位置ずれ量（Ｘ，Ｙ）を算出する。
【００８６】また、露光動作終了後の画像処理における２枚の本撮影画像Ａ，Ｂのレジストレーション処理では、例えば最初の本撮影画像Ａに対して２回目の本撮影画像Ｂを位置ずれ量（８Ｘ，８Ｙ）だけ移動させた状態を初期状態として、本撮影画像Ｂを（８Ｘ±ｍ，８Ｙ±ｎ）の範囲で１画素ピッチずつ移動させて上述の相関関数を演算し、この相関関数が最小となる平行移動量を算出することで本撮影画像Ａ，Ｂ間の位置ずれ量を算出する。初期状態で２回目の本撮影画像Ｂの最初の本撮影画像Ａに対する位置ずれ量は微小になっているので、比較的少ない繰返演算回数で平行移動量（Ｘ，Ｙ）が算出される。
【００８７】次に、デジタルスチルカメラ１のボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作を詳細に説明する。
【００８８】図９はボケ味調整モードにおける撮影動作を示すタイムチャートである。
【００８９】同図において、上段の波形図は、シャッタボタン６に操作に基づくＳ１スイッチ及びＳ２スイッチのオンタイミングを示すものである。２段目の波形図は、ＣＣＤ１０２ａの露光動作を示すもので、オン期間は露光期間を示し、オフ期間は露光期間に蓄積されたデータの読み出し等が行なわれている期間を示している。
【００９０】Ｓ２スイッチがオンになる前に短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態でライブビュー画像が取り込まれていることを示している。撮影待機状態では、ＣＣＤ１０２ａはドラフトモードで露光が繰り返され、１／３０秒毎にフレーム画像が取り込まれる。一方、Ｓ２スイッチがオンになった直後の長いオン期間Ｅ１は、最初の本撮影画像Ａを取り込むための露光期間であり、その後の長いオン期間Ｅ２は、２回目の本撮影画像Ｂを取り込むための露光期間である。以下、これらの露光動作に対応する撮影をそれぞれ本撮影Ｑ１，Ｑ２という。
【００９１】また、オン期間Ｅ１とオン期間Ｅ２との間の３個の短いオン期間Ｅ３，Ｅ４，Ｅ５は、演算用画像を取り込むために露光動作が３回繰り返されていることを示している。この露光動作は、撮影待機状態におけるライブビュー画像の取り込みと同じである。以下、これらの露光動作に対応する撮影をそれぞれ間引撮影ＭＱ１，ＭＱ２，ＭＱ３という。
【００９２】間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なっているのは、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くして本撮影画像Ａ，Ｂ間の位置ずれ量をできるだけ小さくするためである。なお、間引撮影ＭＱ１，ＭＱ２，ＭＱ３をドラフトモードで行なうことによりＣＣＤ１０２ａから出力される画像信号のレベルが低くなるが、この分、アナログ信号処理回路１０３ａでレベル調整を行なうので、移動量の演算精度を低下させることはない。
【００９３】また、オン期間Ｅ２の後に再び短い周期でＣＣＤ１０２ａの露光動作が繰り返されているが、これは撮影待機状態に戻ったことを示し、再びライブビュー画像が取り込まれていることを示している。
【００９４】３段目の波形図は、全体制御部１０８で制御される主な処理内容を示すものである。オン期間若しくはオン信号は、ボケ味調整モードの撮影に直接関係した所定の制御処理をしていることを示している。Ｓ１スイッチがオンになった直後の処理期間Ｃ１は、その後のレリーズに備えてＳ１スイッチがオンになる直前のフレーム画像を用いての測距及びその測距結果に基づくＡＦ（Auto Focus）演算（以下、第１ＡＦ演算という。）と同フレーム画像を用いてのＡＥ（Automatic Exposure）演算（以下、第１ＡＥ演算という。）及びＡＷＢ（Automatic White Balance）演算（以下、第１ＡＷＢ演算という。）とが行なわれていることを示している。オン信号Ｓ１，Ｓ３は、ＣＣＤ１０２ａの駆動モードをドラフトモードからノーマルモードに切り換えるものであり、オン信号Ｓ２，Ｓ４は、ＣＣＤ１０２ａの駆動モードをノーマルモードからドラフトモードに切り換えるものである。
【００９５】間引撮影ＭＱ３の直後の処理期間Ｃ２は、間引撮影ＭＱ３で得られた演算用画像を用いて２回目の本撮影Ｑ２のためのＡＦ演算（以下、第２ＡＦ演算という。）と同演算用画像を用いてＡＥ演算（以下、第２ＡＥ演算という。)及びＡＷＢ演算（以下、第２ＡＷＢ演算という。）とを行なっていることを示している。
【００９６】処理期間Ｃ３は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて最初の本撮影画像Ａに対する２回目の本撮影画像Ｂの移動量（Ｘ，Ｙ）を演算していることを示している。また、処理期間Ｃ４は本撮影画像Ａ，ＢのＡＷＢ調整及びγ補正等の信号処理を行なっていることを示し、処理期間Ｃ５は両本撮影画像Ａ，Ｂの画像合成処理（レジストレーション処理及びボケ味調整のための合成処理）を行なっていることを示し、処理期間Ｃ６は両本撮影画像Ａ，Ｂの合成画像を圧縮してメモリカードＭＣに記録する処理を行なっていることを示している。
【００９７】最下段の波形図は、フォーカス用レンズ１０１ｂの相対的な位置の変化を示しすものである。処理期間Ｃ１の直後での波形の上昇変化Ｒ１は、フォーカス用レンズ１０１ｂが現在位置から被写体距離∞の位置に移動していることを示している。本実施形態では、ボケ味調整モードで、最初∞位置に焦点調節して本撮影Ｑ１を行ない、その後、予め設定された所定の被写体距離（例えば１ｍ）に焦点調節をして２回目の本撮影Ｑ２を行ない、本撮影Ｑ１，Ｑ２で得られた本撮影画像Ａ，Ｂを合成するようにしているので、Ｓ１信号、処理期間Ｃ１でのＡＦ演算処理及びフォーカス用レンズ１０１ｂの移動Ｒ１は、シャッタボタン６の半押しによりシャッタボタン６の全押し（レリーズ指示）に備えてボケ味調整モードでの最初の本撮影Ｑ１に対するＡＦ処理をしていることを示している。
【００９８】また、本撮影Ｑ１の終了後における波形の下降変化Ｒ２は、２回目の本撮影Ｑ２に対するＡＦ処理を示し、フォーカス用レンズ１０１ｂは現在位置から所定の被写体距離(１ｍ）の焦点位置に移動していることを示している。
【００９９】図９に示すタイムチャートから、ボケ味調整モードにおいては、撮影待機状態でシャッタボタン６が半押しされてＳ１スイッチがオンになると、∞位置に対してＡＦ処理が行なわれるとともに、露出制御値（絞り１０１ｃの絞り値及びＣＣＤ１０２ａの露光時間）及びＷＢ調整値が設定され、その後、シャッタボタン６が全押しされてＳ２がオンになると、ＣＣＤの駆動モードをノーマルモードに切り換え、設定された露光時間Ｅ１でＣＣＤ１０２ａの露光動作を行なって最初の本撮影Ｑ１が行なわれる。
【０１００】この露光動作が終了すると、ＣＣＤ１０２ａから全画素の画像信号が読み出され、フォーカス用レンズ１０１ｂは現在位置から被写体距離１ｍの焦点位置に移動される。また、画像信号の読み出しが終了すると、このフォーカス用レンズ１０１ｂの移動期間を利用して、引き続き、ＣＣＤの駆動モードをドラフトモードに切り換えて所定の露光時間でＣＣＤ１０２ａの露光動作を連続３回行なって間引撮影ＭＱ１，ＭＱ２，ＭＱ３が行なわれるとともに、間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対するＡＥ演算が行なわれる。
【０１０１】ボケ味調整モードでは焦点位置を変更して本撮影Ｑ１，Ｑ２を行なうため、最初の本撮影Ｑ１に対する露出値と２回目の本撮影Ｑ１に対する露出値とが変化する可能性が大きいので、第２ＡＥ演算では本撮影Ｑ２の直前に行なう間引撮影ＭＱ３で得られた演算用画像を用いて本撮影Ｑ２に対する露出制御値を設定するようにしている。
【０１０２】なお、本撮影Ｑ２は本撮影Ｑ１に続いて連続的に行なわれるが、ボケ味調整モードにおいては、絞り値を本撮影Ｑ１と同じ状態（例えば開放絞り値）で撮影しないと、ボケ味調整の効果は得られない。そのため、本撮影Ｑ２では絞り１０１ｃの絞り値は固定し、ＣＣＤ１０２ａの露光時間のみで露出制御を行なうようにしている。従って、この露出制御では絞り優先でＣＣＤ１０２ａの露光時間が設定される。
【０１０３】被写体移動を考慮すると、本撮影Ｑ１と本撮影Ｑ２との撮影間隔はできるだけ短くするのが望ましいため、本撮影Ｑ１のときではＡＧＣのゲインを４倍にし、露出時間を１／４にしている。なお、露光時間が十分に短い場合は、ゲインを上げる必要はない。また、図１０に示すようにレンズ１０１とＣＣＤ１０２aとの間にＮＤフィルタ１０２ｄを当該レンズ１０１の光軸上に挿脱可能に設けるとともに、このＮＤフィルタ１０２ｄの挿脱動作を制御する駆動回路１０２ｅを設け、ＮＤフィルタ１０２ｄとの組み合わせによって本撮影Ｑ２に好適の露光時間を設定するようにしてもよい。
【０１０４】また、本実施形態では、露出制御値の演算に本撮影Ｑ２の直前に行なわれる間引撮影ＭＱ３の撮影画像を利用しているが、本撮影Ｑ１と本撮影Ｑ２との間に行なわれる他の間引撮影ＭＱ１，ＭＱ２で得られた画像を用いるようにしてもよい。
【０１０５】また、間引撮影ＭＱ３で得られた演算用画像を用いて第２ＡＦ演算と第２ＡＷＢ演算とが行なわれ、これらの演算結果を用いて最初の本撮影Ｑ１と２回目の本撮影Ｑ１との間における被写体輝度、被写体距離、光源色等の撮影条件の変化の判定処理が行なわれる。
【０１０６】撮影条件の変化の判定処理は、図１１に示すフローチャートを用いて以下の手順で行なわれる。
【０１０７】まず、第２ＡＦ演算、第２ＡＥ演算及び第２ＡＷＢ演算でそれぞれ被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が算出される（＃１，＃３）。続いて、被写体距離Ｄｖ２、被写体輝度Ｂｖ２、ＡＷＢ調整ゲイン（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が第１ＡＦ演算、第１ＡＥ演算及び第１ＡＷＢ演算でそれぞれ算出された被写体距離Ｄｖ１、被写体輝度Ｂｖ１、ＡＷＢ調整ゲイン（Ｒ１／Ｇ１，Ｂ１／Ｇ１）と各々比較される（＃５）。
【０１０８】被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜が所定値（例えば１ＥＶ）を超えている、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜が所定値（例えば１ｍ）を超えている、若しくはＡＷＢ調整ゲイン差ΔＧAWB＝｜Ｒ２／Ｇ２−Ｒ１／Ｇ１｜＋｜Ｂ２／Ｇ２−Ｂ１／Ｇ１｜が所定値（例えば０．５）を超えているのいずれかであれば（＃７，＃９，＃１１でＮＯ）、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化したと推定され、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が禁止されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃１７）。この警告表示は、例えば表示色を特定の警告色にしたり、点滅表示をすることで行なわれる。なお、文字による警告メッセージを表示させるようにしてもよく、警告音を発するようにしてもよい。
【０１０９】この撮影禁止及び警告処理より実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下することがない。
【０１１０】一方、本撮影Ｑ１と本撮影Ｑ２との間で撮影条件が大きく変化していない場合、すなわち、被写体輝度差ΔＢｖ＝｜Ｂｖ２−Ｂｖ１｜、被写体距離差ΔＤｖ＝｜Ｄｖ２−Ｄｖ１｜及びＡＷＢ調整ゲイン差ΔＧAWBがいずれも所定値以下であれば（＃７，＃９，＃１１でＹＥＳ）、本撮影Ｑ２のために被写体輝度Ｂｖ２に基づき露出制御値（絞り値，露光時間）が設定され（＃１３）、処理を終了する。
【０１１１】図９に戻り、フォーカス用レンズ１０１ｂの被写体距離１ｍの焦点位置への移動が終了すると、２回目の本撮影Ｑ２が禁止されていなければ、ＣＣＤの駆動モードをドラフトモードに切り換え、再度設定された露光時間Ｅ２でＣＣＤ１０２ａの露光動作を行なって本撮影Ｑ２が行なわれる。また、この露光期間中に間引撮影ＭＱ１，ＭＱ２，ＭＱ３で得られた３枚の演算用画像を用いて本撮影Ｑ１で得られた本撮影画像Ａに対する本撮影Ｑ２で得られる本撮影画像Ｂの移動量（Ｘ，Ｙ）が演算される。
【０１１２】本撮影画像の移動量（Ｘ，Ｙ）の演算処理は、図１２に示すフローチャートを用いて以下の手順で行なわれる。
【０１１３】間引撮影ＭＱ１で得られる画像ＭＦ１に対して間引撮影ＭＱ２，ＭＱ３で得られる画像ＭＦ２，ＭＦ３が図１３に示すように移動しているとする。間引撮影ＭＱ１，ＭＱ２，ＭＱ３で３枚の画像ＭＦ１，ＭＦ２，ＭＦ３が得られると（＃２１）、まず、演算用画像ＭＦ１に対する演算用画像ＭＦ２の移動量(ｘ１,ｙ１）がＧの色成分のデータを用いて算出される（＃２３）。なお、Ｇの色成分データを用いているのは、他の色成分よりもデータ数が多く、画像のコントラストも他の色成分より明瞭であるから、容易かつ迅速に移動量(ｘ１,ｙ１）の演算ができるからである。移動量（ｘ１,ｙ１)は、演算用画像ＭＦ１を基準として演算用画像ＭＦ２を１画素ピッチずつｘ方向に０〜４０ピクセルまで、ｙ方向に０〜３０ピクセルまでそれぞれ移動させつつ演算用画像ＭＦ１と演算用画像ＭＦ２との相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量で算出される。
【０１１４】なお、この演算における演算用画像ＭＦ２の移動量をｘ方向に４０ピクセル，ｙ方向に３０ピクセルにしているのは、演算用画像ＭＦ１，ＭＦ２が連続撮影されたもので、カメラぶれによる位置ずれは微小であること、演算用画像ＭＦ１，ＭＦ２の画素数が２００（ｙ方向）×１５０（ｘ方向）であるから、両方向についてそれぞれ全体サイズの１／５程度移動させれば、異常なカメラぶれでない限り、通常は相関関数の最小値を算出することができると考えられるからである。
【０１１５】移動量（ｘ１，ｙ１）が算出されると、その移動量（ｘ１，ｙ１）に対する相関関数が０．５以上であるか否かが判別され（＃２５）、相関関数が０．５よりも小さければ（＃２５でＮＯ)、演算用画像ＭＦ１と演算用画像ＭＦ２とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、本撮影画像Ａ，Ｂにおいても位置合わせができず、適切な合成画像が得られないので、本撮影Ｆ２の露光動作が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される（＃３５）。これにより実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率も低下させることがない。
【０１１６】一方、相関関数が０．５以上であれば（＃２５でＹＥＳ)、上述の方法と同様の方法で演算用画像ＭＦ２に対する演算用画像ＭＦ３の移動量(ｘ２,ｙ２）がＧの色成分のデータを用いて算出される（＃２７）。そして、移動量（ｘ２，ｙ２）が算出されると、その移動量（ｘ２，ｙ２）に対する相関関数が０．５以上であるか否かが判別され（＃２９）、相関関数が０．５よりも小さければ（＃２９でＮＯ)、演算用画像ＭＦ２と演算用画像ＭＦ３とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、ステップ＃３５に移行して本撮影Ｆ２の撮影が中断されるとともに、ＥＶＦ４のインファィンダ画面内にその旨の警告が表示される。
【０１１７】一方、相関関数が０．５以上であれば（＃２９でＹＥＳ)、本撮影Ｑ１，Ｑ２及び間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングと移動量（ｘ１，ｙ１），（ｘ２，ｙ２）とから本撮影Ｑ１と本撮影Ｑ２との間での移動量（ｘ，ｙ）が算出される（＃３１）。
【０１１８】具体的には、例えば移動量ｘの場合は、間引撮影ＭＱ１，ＭＱ２，ＭＱ３のタイミングＴ１，Ｔ２，Ｔ３と移動量ｘ１，ｘ２との関係は図１４に示すようになるから、この関係図からタイミングＴ１，Ｔ２，Ｔ３におけるｘ方向の相対的な位置Ｐ１，Ｐ２，Ｐ３を決定することができる。従って、この３点Ｐ１〜Ｐ３を用いてｘ方向の移動量曲線Ｎ（Ｔ）が近似できるから、この近似曲線Ｎ（Ｔ）と本撮影Ｑ１，Ｑ２のタイミングＴ４，Ｔ５とから本撮影Ｑ１と本撮影Ｑ２との間でのｘ方向における移動量ｘがｘ＝Ｎ（Ｔ５）−Ｎ（Ｔ４）により算出される。なお、移動量ｙについても同様の方法で算出される。
【０１１９】そして、移動量（ｘ，ｙ）を８倍して本撮影画像Ａに対する本撮影画像Ｂの移動量（Ｘ＝８ｘ，Ｙ＝８ｙ）が算出されて（＃３３）、処理を終了する。なお、移動量（ｘ，ｙ）を８倍しているのは、演算用画像ＭＦ１〜ＭＦ３のサイズは本撮影画像Ａ，Ｂの１／８であるから、演算用画像のサイズで算出した移動量（ｘ，ｙ）を本撮影画像のサイズでの移動量（Ｘ，Ｙ）に換算するものである。
【０１２０】図９に戻り、本撮影Ｑ２が終了すると、撮影待機状態となり、ＣＣＤの駆動モードをドラフトモードに切り換えてＣＣＤ１０２ａでライブビュー画像が取り込まれ、ＥＶＦ４に表示される。
【０１２１】また、本撮影Ｑ２が正常に行なわれている場合は、本撮影Ｑ１，Ｑ２で撮影された本撮影画像Ａ，Ｂについてそれぞれ所定の信号処理が行なわれた後、図１５に示すフローチャートに従ってレジストレーション処理が行なわれるとともに（＃４１，＃４３）、所定の画像合成処理が行なわれてボケ味調整画像が作成され（＃４５，＃４７，＃４９）、そのボケ味調整画像がメモリカードＭＣに記録される（＃５１）。
【０１２２】本撮影画像Ａ，Ｂのレジストレーション処理もＧの色成分のデータを用いて行なわれる。まず、本撮影画像Ｂを移動量（Ｘ，Ｙ）だけ移動させて、図１６に示すように本撮影画像Ａに対して（Ｘ，Ｙ）だけ位置がずれた状態にする。そして、本撮影画像Ａを基準として本撮影画像Ｂを１画素ピッチずつ、例えばｘ方向に（Ｘ−４０）〜（Ｘ＋４０）ピクセルまで、ｙ方向に（Ｙ−３０）〜（Ｙ＋３０）ピクセルまでそれぞれ移動させつつ本撮影画像と本撮影画像Ｂとの相関関数を演算し、その相関関数が最小となるｘ方向及びｙ方向の移動量（Ｘ１，Ｙ１）が算出される（＃４３）。
【０１２３】本撮影画像Ａ，Ｂの画像合成処理は、Ｒ，Ｇ，Ｂの色成分毎に行なわれ、まず、本撮影画像Ｂを移動量（Ｘ１，Ｙ１）だけ平行移動させて、図１７に示すように本撮影画像Ａと画像を一致させた状態にした後、両本撮影画像Ａ，Ｂのデータから重複しないデータ（斜線で示す部分のデータ）を削除して合成処理用のデータが作成される（＃４７）。図１７の例では、本撮影画像Ａから作成される合成処理用データはｉ＝１〜（ｎ−Ｙ１），ｊ＝（Ｘ１＋１）〜ｍの範囲にある画素位置のデータで構成され、本撮影画像Ｂから作成される合成処理用データはｉ＝（Ｙ１＋１）〜ｎ，ｊ＝１〜（ｍ−Ｘ１）の範囲にある画素位置のデータで構成される。
【０１２４】そして、両本撮影画像Ａ，Ｂの合成処理用データの対応する画素位置のデータを、例えば平均したり、加重平均することでボケ味調整画像のデータが作成される。すなわち、両本撮影画像Ａ，Ｂの合成処理が行なわれる（＃４９）。図１７の例では、白抜き部分に含まれるデータについて、新たに画素位置のアドレス（ｋ，ｈ）（ｋ＝１，２，…（ｎ−Ｘ１），ｈ＝１，２，…（ｍ−Ｙ１））を設定し、本撮影画像Ａの合成処理用データをＤA(ｋ,h)、本撮影画像Ｂの合成処理用データをＤB(ｋ,h)とすると、例えば（ｗA・ＤA(ｋ,h)＋ｗB・ＤB(ｋ,h)）／２を演算することによりボケ味調整画像のデータＤC(ｋ,h)が作成される。
【０１２５】そして、このボケ味調整画像のデータＤC(ｋ,h)はＪＰＥＧ方式で圧縮された後、メモリカードＭＣに記録される。
【０１２６】図１８は階調調整モードにおける撮影動作を示すタイムチャートである。
【０１２７】各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１２８】同図に示すように、基本的な撮影動作はボケ味調整モードの撮影動作と同一である。従って、ここではボケ味調整モードの撮影動作と異なる部分や階調調整モードに特有の動作について説明する。
【０１２９】図１８の露光動作の波形図に示すように、本実施の形態では間引撮影を２回しか行なっていない。１回目の間引撮影ＭＱ１は本撮影Ｑ１，Ｑ２の間に行なわれ、２回目の間引撮影ＭＱ１は本撮影Ｑ２の終了直後に行なわれている。このため、移動量（Ｘ，Ｙ）の演算は、２回目の本撮影Ｑ２が終了し、撮影待機状態になってから行なわれている。また、階調調整モードでは、本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１８のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１３０】ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードでは可及的に本撮影Ｑ１と本撮影Ｑ２との間を短くして両本撮影間でのカメラぶれを低減することが望ましいが、ボケ味調整モードでは本撮影Ｑ１と本撮影Ｑ２との間で意図的にフォーカス用レンズを移動させているため、フォーカス用レンズの移動が完了するまで２回目の本撮影Ｑ２はできない。そのため、両本撮影間に一定の間隔を設ける必要があり、この期間を有効利用して間引撮影を３回行なうことにより本撮影の位置ずれを予測した。しかし、階調調整モードではそのような制限はないので、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、１回目の間引撮影ＭＱ１だけ行い、本撮影Ｑ２の直後に２回目の間引撮影ＭＱ２を行なうようしている。また、本撮影Ｑ１,間引撮影ＭＱ１及び本撮影Ｑ２は等間隔で行うようにしている。
【０１３１】本撮影Ｑ１，Ｑ２の前後で複数回の間引撮影ＭＱ１，ＭＱ２，…を行なうのは、本撮影画像Ａ，Ｂのレジストレーション処理の負担を軽減するためのものであるから、間引撮影ＭＱ１，ＭＱ２で得られた演算用画像ＭＦ１，ＭＦ２を用いて算出される移動量（Ｘ，Ｙ）の精度をできるだけ高くするため、間引撮影ＭＱ１，Ｑ２はそれぞれ本撮影Ｑ１，Ｑ２の直後に行うようにするとよい。また、本実施の形態では、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直後に行っているが、間引撮影ＭＱ１，Ｑ２をそれぞれ本撮影Ｑ１，Ｑ２の直前で行うようにしてもよい。
【０１３２】また、本実施形態では、本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件の変化の判別処理はしていないが、この判別処理を行うようにしてもよい。また、本実施形態では、間引撮影を２回しか行なっていないが、３回以上行なうようにしてもよい。
【０１３３】なお、階調調整モードでの画像合成処理も上述したボケ味調整モードでの画像号合成処理と同様の方法で行なわれる。すなわち、本撮影画像Ａ，Ｂについてレジストレーション処理を行なった後、それぞれ合成処理用データを作成し、この合成用データの対応する画素位置のデータを、例えば平均したり、加重平均することで階調調整画像のデータが作成される。
【０１３４】図１９は、超解像モードにおける撮影動作を示すタイムチャートである。
【０１３５】各段の波形の内容は、図９に示すものと同一である。また、図９に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【０１３６】同図に示すように、超解像モードにおける撮影動作も基本的にボケ味調整モードの撮影動作と同一である。従って、ここでもボケ味調整モードの撮影動作と異なる部分や超解像モードに特有の動作について説明する。
【０１３７】図１９の露光動作の波形図に示すように、本実施形態では本撮影Ｑ１，Ｑ２の間に間引撮影を２回行なっている。超解像モードにおいても本撮影Ｑ１から本撮影Ｑ２までの撮影動作をできるだけ短くするため、本撮影Ｑ１、間引撮影ＭＱ１、間引撮影ＭＱ２及び本撮影Ｑ２は等間隔で行うようにしている。この実施形態では、本撮影Ｑ１，Ｑ２の間で間引撮影ＭＱ１，ＭＱ２が行なわれているので、移動量（Ｘ，Ｙ）の演算が２回目の本撮影Ｑ２の露光動作中に行なわれている。
【０１３８】なお、これと同じ露光処理を階調調整モードでも行なうことができる。一方、超階調モードでも本撮影Ｑ１と本撮影Ｑ２との間に一定の期間を設けなければならないという制限はないので、階調調整モードで説明した間引撮影のタイミング及び回数に関する変形例を超解像モードに適用することができる。
【０１３９】また、本実施形態では間引撮影を本撮影Ｑ１，Ｑ２の間で２回しか行なっていないが、２回目の本撮影Ｑ２の直後に３回目の間引撮影を行うようにしてもよい。このようにすると、移動量演算のためのデータ数が増えるので、移動量の演算精度が向上する。従って、間引撮影の態様としては、本撮影Ｑ１の直後に１回，本撮影Ｑ２の直前若しくは直後で１回の計２回の間引撮影を基本態様として本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なう態様、本撮影Ｑ１，Ｑ２の間で２回以上の間引撮影を行なうとともに、本撮影Ｑ２の直後に少なくとも１回間引撮影を行なう態様が考えられ、特殊撮影モードの内容に応じて適宜、適切な撮影態様を選択することができる。
【０１４０】また、超解像モードでも本撮影画像Ａと本撮影画像Ｂのピント状態は同一でなければならないから、Ｓ１スイッチのオンによりＡＦ処理が行なわれると（図１９のフォーカス用レンズの移動Ｒ１参照）、その後は焦点位置は固定される。
【０１４１】また、本実施形態でも本撮影Ｑ１と本撮影Ｑ２との間隔をできるだけ短くするため、本撮影Ｑ１と本撮影Ｑ２の間で上述の撮影条件変化の判別処理はしていないが、この判別処理を行うようにしてもよい。
【０１４２】超解像モードでの画像合成処理は、上述したボケ味調整モードや階調調整モードでの画像号合成処理と異なっている。
【０１４３】ここで、超解像処理の内容について、図２０を用いて簡単に説明する。なお、説明の便宜上、一次元の画像データについて説明する。
【０１４４】被写体に対して撮影者がカメラを構えてシャッタ操作を行なったときに、連続して２回の露光動作を行って得られた２枚の撮影画像は、通常、撮影者が完全に静止していることはないから、微小なカメラぶれに起因して互いに被写体に対する撮影位置がわずかに変位したものとなっている。
【０１４５】超解像処理は、最初の本撮影画像Ａと２回目の本撮影画像Ａとをそれぞれ補間処理するとともに、両本撮影画像Ａ，Ｂの位置合わせをして合成することより、解像度の高い高精細の画像を得るものである。
【０１４６】すなわち、最初の本撮影画像Ａの画像データを図２０（ａ）とし、２枚目の本撮影画像Ｂの画像データを図２０（ｂ）とし、２枚目の本撮影画像Ｂは最初の本撮影画像Ｂに対して被写体に対する撮影位置が右側にΔｘだけずれているとする。なお、図２０（ａ）（ｂ）において、曲線Ｐは被写体の輝度特性を示し、ａ(1)，ａ(2)，…及びｂ(1)，ｂ(2)，…は画素位置、Ｃ(1)，Ｃ(2)，…及びＤ(1)，Ｄ(2)，…は各画素の受光レベルを示している。また、Ｃ(1)’，Ｃ(2)’，…は、受光レベルＣ(1)，Ｃ(2)，…を用いて画素位置ａ(1)，ａ(2)，…の間を補間したレベルであり、Ｄ(1)’，Ｄ(2)’，…は、受光レベルＤ(1)，Ｄ(2)，…を用いて画素位置ｂ(1)，ｂ(2)，…の間を補間したレベルである。
【０１４７】図２０（ａ）（ｂ）に示すように、最初の本撮影画像Ａにおける各画素の被写体に対する受光位置と２枚目の本撮影画像Ｂにおける各画素の被写体に対する受光位置とは相違しているから、両本撮影画像Ａ，Ｂの画像データから撮像素子より２倍の画素位置の画像データが得られる。
【０１４８】従って、同図（ｃ）に示すように、最初の本撮影画像Ａと２枚目の本撮影画像Ｂの位置合わせをして両画像データを単純に合成することにより撮像素子の画素密度に対して２倍の画素密度を有する画像データが得られる。
【０１４９】なお、本実施形態では、カメラぶれに基づく被写体に対する撮像素子の受光位置のずれを利用しているから、画素位置ａ(i)と画素位置ｂ(i)とのずれ量Δｘは一定せず、画素位置ｂ(i)は画素位置ａ(i)と画素位置ａ(i＋1)との中間に必ず位置するとは限らないので、ずれ量Δｘが非常に小さい場合は、両本画像画像Ａ，Ｂの位置合わせが十分な精度で行なえなくなる虞がある。
【０１５０】そこで、これを改善するため、本実施の形態では最初の本撮影画像Ａの画像データと２枚目の本撮影画像Ｂの画像データとをそれぞれ補間処理した後、合成するようにしている。このようにすることで、図２０（ｃ）に示すように、画素位置ｂ(i)と画素位置a(i+1)との間に画像データＣ(i)’，Ｄ(i)’が補間され、２枚の本撮影画像Ａ，Ｂは高い精度で位置合わせが行なわれるので、解像度の高い画像が得られる。
【０１５１】従って、超解像モードでの画像合成処理では、本撮影画像Ａ，Ｂについてそれぞれ所定の補間処理によりデータ数を増加させた後、レジストレーション処理が行なわれる。そして、両本撮影画像Ａ，Ｂからそれぞれ合成処理用データが作成され、その合成処理用データの対応する画素位置のデータを平均化することで超解像画像のデータが作成される。
【０１５２】以上のように、本実施形態に係るデジタルスチルカメラ１では、ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードにおいては、シャッタボタン６が全押しされてレリーズが指示されると、連続して２回、本撮影Ｑ１，Ｑ２行なわれるが、これら本撮影Ｑ１，Ｑ２の前後で少なくとも２回、間引撮影ＭＱ１，ＭＱ２を行ない、その間引撮影で得られた少なくとも２枚の演算用画像を用いて本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を演算するようにしたので、本撮影画像Ａ，Ｂを位置合わせてして所定の画像合成を行なう際の位置合わせ処理の処理負担が軽減され、処理時間の短縮を図ることができる。
【０１５３】なお、上記実施形態では、間引撮影を連続して最大３回しか行なっていなかったが、図２１に示すように間引撮影を連続して４回以上行なってもよく、この場合は、同図に示すように、２回目の間引撮影ＭＱ２が終了した時点で間引撮影ＭＱ１，ＭＱ２で得られた２枚の演算用画像を用いて直ちに本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を行なうとよい。このようにすれば、位置ずれ量（Ｘ，Ｙ）を迅速に算出することができる。
【０１５４】また、上記実施形態では、本撮影画像Ａ，Ｂとは別に演算用画像ＭＦ１，ＭＦ２，…を撮影するようにしていたが、図２２に示すように最初の本撮影画像Ａを演算用画像ＭＦ１として利用するようにしてもよいる。図２２の例では、本撮影画像Ａのための露光動作を正規の露光時間よりも短くする一方、これによる露光不足を信号処理でのレベル調整で補正し、処理期間Ｃ２’でこの本撮影画像Ａのデータを間引いて演算用画像ＭＦ１を取得している。そして、本撮影Ｑ２の露光期間中に、この演算用画像ＭＦ１と間引撮影ＭＱ２で撮影された演算用画像ＭＦ２とを用いて移動量（Ｘ，Ｙ）の演算を行なうようにしている。このようにすれば間引撮影ＭＱ１が省略できるので、本撮影Ｑ１と本撮影Ｑ２との間隔をより狭くすることができ、本撮影画像Ａ，Ｂ間の位置ずれ量（Ｘ，Ｙ）を小さくすることができる利点がある。
【０１５５】また、本実施形態に係るデジタルスチルカメラ１では、２回目の本撮影Ｑ２の露光期間中に移動量演算を行ない、その演算結果によって本撮影画像Ａ，Ｂ間の位置ずれ量が大きいときは、本撮影Ｑ２を中断し、その旨をＥＶＦ４に警告するようにしたので、また、本撮影Ｑ１と本撮影Ｑ２との間で間引撮影ＭＱ１，ＭＱ２を行い、この間引撮影で得られた画像を用いて本撮影Ｑ１と本撮影Ｑ２の間で被写体輝度、被写体距離及び光源の色バランス等の撮影条件が変化したか否かを判別し、その判別結果で撮影条件が変化しているときは、本撮影Ｑ２を中止し、その旨をＥＶＦ４に警告するようにしたので、実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがない。また、合成価値のない画像のデータがメモリカードＭＣに記録されることがなく、記録効率の低下を防止することができる。
【０１５６】なお、本実施形態は、連続して２枚の撮影画像を取り込む場合について説明したが、本発明は、３枚以上の撮影画像を取り込む場合にも適用することができる。また、本実施形態は、複数の間引撮影ＭＱによる撮影画像を用いて撮影条件の変化を検出するものであったが、間引撮影ＭＱを行なわない場合には、本撮影画像そのものを用いて（例えば、本撮影画像のデータを適当に間引いて画像サイズを小さくした画像を用いて）撮影条件の変化を検出するものであってもよい。
【０１５７】
【発明の効果】以上説明したように、本発明によれば、同一の被写体に対して少なくとも２回連続的に撮影し、その撮影で得られた少なくとも２枚の撮影画像に対して画像相互の位置合わせ処理と所定の合成演算処理とを行って１の画像を作成することのできるデジタルスチルカメラにおいて、２枚の撮影画像を得るための露光動作の間で撮影条件が変化したか否かを判別し、撮影条件が変化していると、警告をするようにしたので、ユーザはその警告により撮影後の無用な画像合成処理を中止させることで、撮影処理の効率低下を防止することができる。
【０１５８】また、撮影条件が変化していると、その後の露光動作を禁止するようにしたので、無駄な撮影が防止され、撮影処理の効率低下が確実に防止することができる。
【図面の簡単な説明】
【図１】 本発明に係るデジタルスチルカメラのカメラ本体の正面図である。
【図２】 同デジタルスチルカメラの主要部材の配置を示す図である。
【図３】 同デジタルスチルカメラのに内蔵された主要部材の配置を示す右側面図である。
【図４】 同デジタルスチルカメラの背面図である。
【図５】 カラー撮像素子の撮像面の構成を示す図である。
【図６】 撮影モードの選択方法を説明するための図である。
【図７】 デジタルスチルカメラの内部構成を示すブロック図である。
【図８】 メモリカードへの画像ファイルの記録方法を示す図である。
【図９】 ボケ味調整モードでの撮影動作を示すタイムチャートである。
【図１０】 レンズとＣＣＤとの間にＮＤフィルタを挿脱可能に設けた他のデジタルスチルカメラの内部構成を示すブロック構成図である。
【図１１】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の撮影条件の変化を判別する処理を示すフローチャートである。
【図１２】 間引撮影で得られた３枚の演算用画像を用いて本撮影で得られる２枚の本撮影画像間の移動量を演算する処理を示すフローチャートである。
【図１３】 ３枚の演算用画像相互の移動量の一例を示す図である。
【図１４】 ３回の間引撮影の各タイミングと各間引撮影で得られた画像相互の移動量とから２枚の本撮影画像相互の移動量を算出する方法を説明するための図である。
【図１５】 ２枚の本撮影画像を合成してボケ味調整画像を作成する処理手順を示すフローチャートである。
【図１６】 本撮影画像でのレジストレーション処理の初期状態を示す図である。
【図１７】 レジストレーション処理後の２枚の本撮影画像のデータから画像合成処理用のデータを作成する方法を説明するための図である。
【図１８】 階調調整モードでの撮影動作を示すタイムチャートである。
【図１９】 超解像モードでの撮影動作を示すタイムチャートである。
【図２０】 超解像処理を説明するための図である。
【図２１】 間引撮影の他の態様を示すタイムチャートである。
【図２２】 最初の本撮影を１回目の間引撮影と兼用する間引撮影の態様を示すタイムチャートである。
【図２３】 連続して露光動作をした場合にカメラアングルが変化する様子を示す図である。
【符号の説明】
１ デジタルスチルカメラ
１０１ レンズ
１０２ 撮像部
１０２ａ ＣＣＤ（撮像手段）
１０３ 信号処理部
１０４ 発光制御部
１０５ レンズ制御部
１０６ 表示部
１０７ 操作部
１０８ カードＩ／Ｆ
１０８ 全体制御部（判別手段）
１０８ａ ＲＯＭ
１０８ｂ ＲＡＭ
１０８ｃ 露出値演算部
１０８ｄ 表示制御部
１０８ｅ 記録制御部
１０８ｆ 再生制御部
１０８ｇ 特殊露光制御部（露光制御手段，露光禁止手段）
１０８ｈ 画像処理部（画像合成手段）
１０９ カードインターフェース
１１０ 通信用インターフェース
２ カメラ本体
２０５ カラー撮像素子
２０６ シャッタボタン
２０７ 表示部（警告手段）
２０８ 電源スイッチ
２０９ ４連スイッチ
２１０ スイッチ群
３ 交換レンズ
４ 電子ビューファインダ（警告手段）
５ フラッシュ
ＭＣ メモリカード
【特許請求の範囲】
【請求項１】 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。
【請求項２】 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記第１の露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。
【請求項３】 上記撮影条件は、撮影画像間の位置ずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項４】 上記撮影条件は、撮影画像間の輝度差であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項５】 上記撮影条件は、撮影画像間の焦点位置のずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項６】 上記撮影条件は、撮影画像間の色バランスのずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項１】 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。
【請求項２】 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも２回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記第１の露光制御手段による露光制御で撮影された少なくとも２枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する１の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。
【請求項３】 上記撮影条件は、撮影画像間の位置ずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項４】 上記撮影条件は、撮影画像間の輝度差であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項５】 上記撮影条件は、撮影画像間の焦点位置のずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【請求項６】 上記撮影条件は、撮影画像間の色バランスのずれ量であることを特徴とする請求項１又は２記載のデジタルスチルカメラ。
【図１】
【図２】
【図２１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１５】
【図８】
【図９】
【図１０】
【図１７】
【図１１】
【図１２】
【図１４】
【図１６】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２】
【図２１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１３】
【図１５】
【図８】
【図９】
【図１０】
【図１７】
【図１１】
【図１２】
【図１４】
【図１６】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【公開番号】特開２００２−１１２０７５（Ｐ２００２−１１２０７５Ａ）
【公開日】平成１４年４月１２日（２００２．４．１２）
【国際特許分類】
【出願番号】特願２０００−３０１４５１（Ｐ２０００−３０１４５１）
【出願日】平成１２年９月２９日（２０００．９．２９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
【公開日】平成１４年４月１２日（２００２．４．１２）
【国際特許分類】
【出願日】平成１２年９月２９日（２０００．９．２９）
【出願人】（０００００６０７９）ミノルタ株式会社 (155)
【Ｆターム（参考）】
[ Back to top ]