撮像装置、画像処理装置、撮像方法、及び画像処理方法

【課題】被写界深度が深い画像を撮影した場合であっても、ぼかし処理により被写界深度を浅く撮影した画像と同様な、主要被写体以外の他の部分を意図的にぼかした画像を得る。
【解決手段】フォーカスブラケット撮影により、主要被写体の合焦位置と、その前後の焦点位置で撮影を行う。各撮影画像の対応する座標の画素について、最も鮮鋭度の高い画像を算出し、これからぼかし量ｋを算出する（ステップＳ２０１）。このぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈの比較を行い（ステップＳ２０２）、所定の閾値Ｔｈの方が大きい場合は、基準画像の画素を出力し、ぼかし量の絶対値｜ｋ｜の方が大きい場合は、ぼかし量ｋに応じたフィルタ係数を決定し（ステップＳ２０３）、基準画像の画素にこのフィルタ係数でフィルタ処理を行う（ステップＳ１４５）。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、画像処理装置、撮像方法、及び画像処理方法に係り、特に焦点位置の異なる複数の画像を合成することにより、ぼけ強調画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、写真撮影において、絞りを開放側に設定して被写界深度を浅くすることにより主要被写体だけに焦点を合わせ、主要被写体以外の他の部分を意図的にぼかす撮影方法が行われてきた。しかし、このような撮影方法が可能なのは、絞りをマニュアルで調節可能な一眼レフカメラ等の大型カメラに限られ、またコンパクトカメラ等では撮像素子が小さいために、絞りを自動的に開放側に制御しても主要被写体以外の部分をぼかすのは困難であった。
【０００３】
このような課題を解決するために、撮影した画像データに対して画像処理を行うことにより、ぼけ強調画像を得る技術が知られている。特許文献１には、撮影した画像データから非合焦領域を検出し、非合焦領域に対してデジタル信号処理によってぼかし処理を行うデジタルカメラが開示されている。特許文献１のデジタルカメラによれば、被写界深度が深い画像を撮影した場合であっても、ぼかし処理により被写界深度を浅く撮影した画像と同様な、主要被写体以外の他の部分を意図的にぼかした画像を得ることができる。
【特許文献１】特開２００６−１４０５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載のデジタルカメラにおいては、被写体の周波数特性を考慮せずに光強度変化等で非合焦領域を判断しているため、もともと周波数の低い被写体なのか、非合焦により周波数が低くなっているかの区別がつかず、良好な非合焦領域の判断ができなかった。このため、ぼかしたい領域を適切にぼかすことができない場合があるという欠点があった。
【０００５】
本発明はこのような事情に鑑みてなされたもので、被写界深度の浅い画像を撮影することが困難なコンパクトカメラ等においても、ぼかしたい領域を適切にぼかした、意図したぼけ強調画像を得ることができる撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために本発明に係る撮像装置は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断手段と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を記録媒体に記録する記録手段とを備えたことを特徴とする。
【０００７】
これにより、ぼけ強調画像を得ることができる。
【０００８】
前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置以外の焦点位置で撮影された画素の鮮鋭度が最大の場合は、前記主要被写体の合焦位置に関して前記画素の鮮鋭度が最大の焦点位置と対称となる焦点位置で撮影された画素を選択して画像合成することが好ましい。
【０００９】
これにより、ぼかしたい領域を適切なぼかし量でぼかすことができ、意図したぼけ強調画像を得ることができる。
【００１０】
前記目的を達成するために本発明に係る撮像装置は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断手段と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出手段と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理手段と、前記ぼかし処理手段によりぼかし処理された前記基準画像を記録媒体に記録する記録手段とを備えたことを特徴とする。
【００１１】
これにより、ぼけ強調画像を得ることができる。また基準画像のみからぼけ強調を行うのでぼけの変化が滑らかになり、より自然なぼけ画像が得られる。
【００１２】
前記焦点位置制御手段は、撮影時の絞り及び撮影時の焦点距離のうち少なくとも一方に基づいて、前記移動する焦点位置を制御することが好ましい。
【００１３】
これにより、被写界深度に応じたフォーカスブラケット撮影が可能になる。
【００１４】
前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段を備え、
前記ぼかし量算出手段は、前記鮮鋭度算出手段の算出結果に基づいて、前記ぼかし量を算出することが好ましい。
【００１５】
これにより、ぼかしたい領域を適切なぼかし量でぼかすことができ、意図したぼけ強調画像を得ることができる。
【００１６】
ぼけ強調度を設定するぼけ強調度設定手段を備え、前記ぼかし量算出手段は、前記ぼけ強調度設定手段で設定されたぼけ強調度に応じたぼかし量を算出してもよい。
【００１７】
これにより、ユーザが好みに応じたぼけ量のぼけ強調画像を撮影することができる。
【００１８】
前記基準画像は、前記主要被写体の合焦位置で撮影された画像であることが好ましい。
【００１９】
これにより、主要被写体だけに合焦したぼけ強調画像を得ることができる。
【００２０】
前記ぼかし処理手段は、遮断周波数を低くするほど前記ぼかし量が大きくなるローパスフィルタを用いて前記基準画像から平滑化画像を生成することが好ましい。
【００２１】
これにより、簡単にぼけ強調画像を得ることができる。
【００２２】
前記ぼかし量算出手段は、最も鮮鋭度が大きい画像の焦点位置と前記基準画像の焦点位置の差が大きいほどぼかし量を大きくするように、前記ぼかし量を算出することが好ましい。
【００２３】
前記目的を達成するために本発明に係る画像処理装置は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力手段と、前記複数の画像を合成する画像合成手段と、前記画像合成手段により得られた画像を出力する出力手段とを備えたことを特徴とする。
【００２４】
これにより、ぼけ強調画像を得ることができる。
【００２５】
前記目的を達成するために本発明に係る画像処理装置は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力手段と、前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出手段と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理手段と、前記ぼかし処理手段によりぼかし処理された前記基準画像を出力する出力手段とを備えたことを特徴とする。
【００２６】
これにより、ぼけ強調画像を得ることができる。また基準画像のみからぼけ強調を行うのでぼけの変化が滑らかになり、より自然なぼけ画像が得られる。
【００２７】
前記目的を達成するために本発明に係る撮像方法は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置と前記主要被写体の合焦位置の前後の焦点位置を含むように制御する焦点位置制御工程と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影工程により撮影された複数の画像を合成する画像合成工程と、前記画像合成工程により得られた画像を記録媒体に記録する記録工程とを備えたことを特徴とする。
【００２８】
これにより、ぼけ強調画像を得ることができる。
【００２９】
前記目的を達成するために本発明に係る撮像方法は、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御工程と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出工程と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理工程と、前記ぼかし処理工程によりぼかし処理された前記基準画像を記録媒体に記録する記録工程とを備えたことを特徴とする。
【００３０】
これにより、ぼけ強調画像を得ることができる。また基準画像のみからぼけ強調を行うのでぼけの変化が滑らかになり、より自然なぼけ画像が得られる。
【００３１】
前記目的を達成するために本発明に係る画像処理方法は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力工程と、前記複数の画像を合成する画像合成工程と、前記画像合成工程により得られた画像を出力する出力工程とを備えたことを特徴とする。
【００３２】
これにより、ぼけ強調画像を得ることができる。
【００３３】
前記目的を達成するために本発明に係る画像処理方法は、主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力工程と、画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御工程と、前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出工程と、前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理工程と、前記ぼかし処理手段によりぼかし処理された前記基準画像を記録媒体に記録する記録工程とを備えたことを特徴とする。
【００３４】
これにより、ぼけ強調画像を得ることができる。また基準画像のみからぼけ強調を行うのでぼけの変化が滑らかになり、より自然なぼけ画像が得られる。
【発明の効果】
【００３５】
本発明によれば、通常撮影よりも自然なぼけ強調された画像を得ることができる。これにより、コンパクトカメラのように撮像素子が小さいカメラを用いて、一眼レフのように撮像素子が大きいカメラで撮影されるような被写界深度の浅い、ぼけ味のある画像を得る撮像装置、画像処理装置、撮像方法、及び画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００３６】
以下、添付図面に従って本発明を実施するための最良の形態について説明する。
【００３７】
＜第１の実施の形態＞
図１は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【００３８】
ＣＰＵ２４は、シャッタースイッチを含む操作部２３の入力に基づいてデジタルカメラ１内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。
【００３９】
このＣＰＵ２４の各回路の制御は、アドレスバス２５及びデータバス２６を介しておこなう。またＣＰＵ２４は、メインメモリ２８との間で、必要なデータの授受を行う。メインメモリ２８の内部はＲＯＭ領域とＲＡＭ領域に分かれており、このＲＯＭ領域には、カメラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ１の操作に使用するメニュー画像等のＧＵＩ用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像（目盛りが変化する砂時計の画像等）、キー操作音（シャッター音等）、警告音、及びエラー音等を示す音声データ等が記録されている。
【００４０】
デジタルカメラ１に電源が投入されると、ＣＰＵ２４はこれを検出し、一定期間メインメモリ２８のＲＯＭ領域に格納されているオープニング画像を表示部３５に表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ２４は、表示部３５に動画（スルー画）を表示させる。
【００４１】
ユーザ（撮影者）は、表示部３５に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【００４２】
上記撮影スタンバイ状態時に操作部２３の図示しないシャッタースイッチが押されると、ＣＰＵ２４は、積算部３１で算出したＡＦ評価値に基づいて合焦位置を判断し、レンズ駆動部１６を介してレンズ１１を駆動しフォーカス制御を行い、絞り駆動部１７を介して絞り１２を駆動し露出制御を行い、レンズ１１、絞り１２、Ｉｒカットフィルタ１３、及び光学ローパスフィルタ１４を介して固体撮像素子１５の受光面上に被写体像を結像させる。ここで、必要であればストロボ１９を撮影補助光として発光させる。またこのとき、受光部２０によりストロボ１９の発光量を制御する。固体撮像素子１５の受光面に結像された被写体像をその光量に応じた量の信号電荷に変換し、この信号電荷はＣＰＵ２４の指令に従い撮像素子駆動部１８から与えられる駆動パルスに基づいてアナログ信号処理部２１に送られ、ここで相関二重サンプリング処理された後に増幅され、Ａ／Ｄ変換器２２に加えられる。
【００４３】
Ａ／Ｄ変換器２２によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、メインメモリ制御部２７を介してメインメモリ２８のＲＡＭ領域に記憶される。
【００４４】
デジタル信号処理部２９は、上記メインメモリ２８のＲＡＭ領域に格納されたＲ、Ｇ、Ｂの生データを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調変換）処理、シャープネス処理等を行ってＲ、Ｇ、Ｂ信号を生成する。更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し再びメインメモリ２８のＲＡＭ領域に格納する。
【００４５】
上記のようにしてメインメモリ２８のＲＡＭ領域に格納されたＹＣ信号は、圧縮伸張処理部３０により所定のフォーマットに圧縮されたのち、メモリ制御部３２を介して、デジタルカメラ１に着脱自在な記録媒体３３に記録される。
【００４６】
また各種操作部２３を操作して再生モードが選択されると、記録メディアに記録されている最終コマの画像ファイルがメモリ制御部３２を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理部３０により非圧縮のＹＣ信号に伸張される。伸張されたＹＣ信号は、表示用の信号形式に変換されて表示部３５に出力される。これにより、表示部３５には記録メディアに記録されている最終コマの画像が表示される。
【００４７】
次に、デジタルカメラ１における全焦点画像撮影について説明する。図２は、全焦点画像を撮影するための全焦点画像撮影モードの動作を示すフローチャートである。本発明に係るデジタルカメラ１の全焦点画像撮影モードでは、フォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することにより全焦点画像を得る。
【００４８】
操作部２３の図示しないモードスイッチを操作することにより全焦点画像撮影モードが設定され、さらに操作部２３のシャッタースイッチが押されると、ＣＰＵ２４はこれらの操作に基づいて、焦点位置を設定し（ステップＳ２１）、撮影を行う（ステップＳ２２）。次に撮影した回数の判定を行う（ステップＳ２３）。所定回数に満たない場合は、異なる焦点位置に設定し（ステップＳ２１）、さらに撮影を行う（ステップＳ２２）。このように異なる焦点位置での撮影を繰り返し、所定回数の撮影を行う（フォーカスブラケット撮影）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
【００４９】
ここで、所定回数については、デジタルカメラ１内において予め定められた回数でもよいし、ユーザが設定できるようにしてもよい。また、撮影条件で決まる被写界深度を判断し、この被写界深度に応じて決定してもよい。全焦点画像を得るためには、画像内の全ての被写体において、いずれか１枚の画像においては合焦していることが必要である。よって、被写界深度が浅い場合は焦点位置の移動量を少なくして撮影枚数を多くする必要がある。また被写界深度が深い場合は焦点位置の移動量を多くして撮影枚数を少なくすることにより、無駄に多くの枚数を撮影してメモリを消費したり、処理負荷を増やすことを防止することができる。
【００５０】
また、この焦点位置の移動については、焦点距離が近い位置から遠い位置へ移動しても、遠い位置から近い位置へ移動しても、又はランダムに移動してもよい。
【００５１】
所定回数の撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。
【００５２】
ここで、画像内の対応点の検出について説明する。対応点検出は、複数画像間で対応する点の位置関係を求めるものである。図３は、フォーカスブラケット撮影から得られた画像を示す図である。対応点検出部３６が、図３（ａ）に示す基準画像から特徴点を抽出し、その特徴点が図３（ｂ）に示す追跡画像のどの位置に移動したかを追跡することにより、対応点の検出を行う。図４は、デジタルカメラ１の対応点検出の動作について示すフローチャートである。
【００５３】
まず、ＣＰＵ２８は、対応点検出部３６へフォーカスブラケット撮影を行った複数画像を入力する（ステップＳ４１）。次に、対応点検出部３６は、この複数画像の中から基準画像を選択し（ステップＳ４２）、この基準画像から特徴点の抽出を行う（ステップＳ４３）。基準画像の選択については、デジタルカメラ１内において予め定められた方法に基づいて選択してもよいし、ユーザが選択してもよい。ここでは、最初に撮影した画像を基準画像とする。特徴点抽出の手法は種々のものが提案されているが、ここでは、ある点を中心とする所定領域内の輝度の標準偏差が所定値以上の場合に、その点を特徴点として抽出する。図３（ａ）における丸印が、図３（ａ）の画像における特徴点を示す。特徴点は多いほうが以後の処理を精度よく行うことができるが、特徴点が多くなると処理負荷が増大するため、特徴点の数はハード性能から適宜決めればよい。
【００５４】
次に、追跡画像の選択を行う（ステップＳ４４）。ステップＳ４１で入力された複数画像のうち、基準画像以外の画像を選択する。
【００５５】
選択した追跡画像において、基準画像から抽出された特徴点の１つを選択し（ステップＳ４５）、この特徴点ががどの位置へ移動したかを追跡する（ステップＳ４６）。追跡手法についても種々のものが提案されているが、ここではその点を中心とする所定領域内の相互相関係数が最小となるような座標を見つける手法（ブロックマッチング法）を用いて追跡を行う。なお、本発明ではフォーカスブラケット撮影を行っているので、焦点位置が移動することによって対応点が移動する方向、及び移動する量は予測可能である。焦点位置の移動による対応点の移動は、画面中心から放射方向へ、又はその逆方向への移動であり、これは焦点位置の移動方向から予測可能である。またその移動量も焦点位置の移動量から予測可能である。よって、これらを考慮して対応点を検出することで、精度、速度ともに対応点検出性能を向上させることができる。
【００５６】
特徴点の追跡が終了すると、全特徴点に対して処理を行ったか否かの判定を行う（ステップＳ４７）。処理を行っていない特徴点がある場合は、その特徴点を選択し（ステップＳ４５）、追跡を行う（ステップＳ４６）。このように全ての特徴点において、追跡を行う。
【００５７】
全ての特徴点に対して処理を行うと、次に全ての追跡画像に対してこの処理を行ったか否かの判定を行う（ステップＳ４７）。前述したように、この処理は基準画像以外の画像について行う。処理を行っていない追跡画像がある場合は、その追跡画像において同様の処理を行う。全ての追跡画像に対して処理が終了すると、対応点検出処理が終了する。
【００５８】
対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。この画像変形処理は、対応点検出処理で得られた各追跡画像の対応点が基準画像の対応点の位置に極力一致するように、画像変形部３７が追跡画像を変形する。図５は、画像変形について示す図である。図５（ａ）に示す基準画像に対して、図５（ｂ）に示すように各対応点が平行移動している場合は、平行移動を行う。また図５（ｃ）に示すように各対応点が回転移動移動している場合は、回転移動を行う。また図５（ｄ）に示すように各対応点が拡大（縮小）している場合は、縮小（拡大）を行う。これらの画像変形は、複数組の対応点の距離の総和が最小となるように移動ベクトルを決めればよい。なお、これらの平行移動、回転、及び拡大・縮小処理は、アフィン変換により行う。
【００５９】
また図５（ｅ）に示すように基準画像と追跡画像との間に複雑な動きが生じている場合は、全ての対応点をより精度よく一致させるためにはワーピングを行う。ワーピングは全ての対応点の組を完全に一致するような移動ベクトルを選択するとともに、その周囲の点も補間により求めるものである。
【００６０】
このように対応点の位置を極力一致させた複数画像に対して、画像合成を行う（ステップＳ２６）。図６は、画像合成処理の動作を示すフローチャートである。画像合成処理では、複数画像において最も鮮鋭度が高い画像、即ち最も焦点の合った画像の画素値を選択し、合成することにより、最終画像として画面内のどの位置においても鮮鋭度が高い画像、即ち全焦点画像を得る。
【００６１】
まず、画像合成部３８が、処理を行う画素の選択を行う（ステップＳ６１）。この画素の選択の順序については、画面の端から順に行えばよく、また他の順序でも構わない。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。
【００６２】
鮮鋭度の算出については、ラプラシアンフィルタ処理による出力値の絶対値を算出することにより行う。図７は、ラプラシアンフィルタのフィルタ行列を示す図である。ラプラシアンフィルタ処理を行うことによりエッジ検出をすることができ、この出力値の絶対値が鮮鋭度を示す。画像のぼけと鮮鋭度に関しては、画像のぼけが小さい画素ほど鮮鋭度が高く、ぼけが大きくなるほど鮮鋭度が低くなるという関係がある。なお、ラプラシアンフィルタのカーネルはこの例に限定されるものではなく、またラプラシアンフィルタ以外の鮮鋭度算出フィルタを用いてもよい。
【００６３】
次に、全画像に対して鮮鋭度の算出が終了したか否かの判定を行う（ステップＳ６４）。鮮鋭度の算出をしていない画像が有る場合には、再び画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。このように、全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。
【００６４】
次に、鮮鋭度が最大となる画像の画素値を出力する（ステップＳ６５）。ステップＳ６３において算出した、各画像のステップＳ６１で選択した画素のラプラシアンフィルタ処理における出力値の絶対値を比較し、最大の値である画像の画素値を出力画素して採用する。また、鮮鋭度の高い画像の画素値に対する重みを大きくして加重平均を算出し、これを出力してもよい。
【００６５】
以上の処理を全ての画素に対して行う。全画素に対して処理が行われたか否かを判定し、全画素に対して終了した場合は、画像合成処理が終了する。
【００６６】
画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３２を介して記録媒体３３に記録して、全焦点画像撮影が終了する（ステップＳ２７）。
【００６７】
この画像合成部３８の出力画像は、記録媒体３３に保存せずに、表示制御部３４を介して表示部３５に表示するだけでもよいし、図示しない外部インターフェースを用いて、外部モニタに表示したり、プリンタ等に印刷物として出力してもよい。
【００６８】
このようにして、被写体ブレや手ブレがあっても、全焦点画像を得ることができる。
【００６９】
特徴点の抽出方法や、特徴点の追跡方法、画像の変形方法、及び画素の鮮鋭度の算出方法については、本実施の形態の方法に限定されず、どの手法を用いても構わない。
【００７０】
＜第２の実施の形態＞
次に、デジタルカメラ１におけるぼけ強調撮影について説明する。図８は、ぼけ強調画像を撮影するためのぼけ強調撮影モードの動作を示すフローチャートである。なお、図２のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００７１】
本発明に係るデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像を合成することによりぼけ強調画像を得る。
【００７２】
まず操作部２３のモードスイッチを操作することにより、ぼけ強調画像撮影モードに設定される。次に操作部２３におけるシャッターボタンが押されると、まず主要被写体に対して自動合焦位置判断（ＡＦ）を行う（ステップＳ８１）。このＡＦについては、通常撮影の際に行われるＡＦと同じものでよく、撮影に先立ってレンズの焦点位置を駆動させ、その都度積算部３１でバンドパスフィルタの出力値等のＡＦ評価値を算出し、ＣＰＵにて最もＡＦ評価値の高い焦点位置を合焦位置と判断する。
【００７３】
ぼけ強調画像撮影モードでのフォーカスブラケット撮影においては、主要被写体のＡＦ合焦位置と主要被写体のＡＦ合焦位置の前後の焦点位置を含むように焦点位置を移動させて撮影を行う。図９は、デジタルカメラ１の各焦点位置を横軸に、各焦点位置における主要被写体に対するＡＦ評価値を縦軸に表したグラフである。最もＡＦ評価値の高い焦点位置が主要被写体の合焦位置であり、この主要被写体の合焦位置をＢとすると、本実施の形態のフォーカスブラケット撮影においては、合焦位置Ｂと、その前後に所定距離ｄだけ離れた焦点位置Ａ及びＣの３点を撮影の際の焦点位置とする。このｄについては、予めデジタルカメラ１内に記憶された固定値でもよいし、ユーザが設定してもよい。また被写界深度を判断し、この被写界深度によって異ならせてもよい。被写界深度によりぼけの度合いが異なるため、被写界深度によりｄの値を変更することにより、適切なぼけ具合の意図する画像を得ることが可能となる。
【００７４】
このように決められた焦点位置において、第１の実施の形態の全焦点画像撮影モードと同様に、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
【００７５】
フォーカスブラケット撮影が終了すると、各撮影画像における対応点の検出を行う（ステップＳ２４）。ここでは、基準画像を主要被写体の合焦位置Ｂで撮影された画像とする。対応点検出は第１の実施の形態と同様に行う。
【００７６】
対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。画像変形においても、第１の実施の形態と同様に行う。
【００７７】
画像変形処理が終了すると、次に画像合成を行う。図１０は第２の実施の形態における画像合成処理の動作のフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第２の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードにおいては、画像合成処理において、複数画像において基準画像が最も鮮鋭度が高い場合は基準画像の画素を選択し、基準画像以外の画像が最も鮮鋭度が高い場合は、主要被写体の合焦位置に関して、画素の鮮鋭度が最大の焦点位置と対称となる焦点位置で撮影された画像の画素を選択することにより、ぼけ強調画像を得る。
【００７８】
第１の実施の形態と同様に、画像合成部３８は、処理を行う画素の選択を行い（ステップＳ６１）、この選択された画素の各画像の鮮鋭度を算出する（ステップＳ６２〜Ｓ６４）。図１１は、主要被写体の合焦位置Ｂで撮影された画像と、その合焦位置の前後の焦点位置であるＡ及びＣで撮影された画像の、鮮鋭度の関係を示すグラフである。フォーカスブラケット撮影で３枚の画像を撮影した場合、このＡ、Ｂ、及びＣの焦点位置で撮影された画像の鮮鋭度の関係は、図１１（ａ）に示すＣが最大の場合、図１１（ｂ）に示すＢが最大の場合、及び図１１（ｃ）に示すＡが最大の場合の３種類に分類することができる。
【００７９】
全画像において選択された画素の鮮鋭度を算出すると、この算出された鮮鋭度に基づいて、基準画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ｂ）に示す関係であるか否かの判定を行う（ステップＳ１０１）。基準画像の鮮鋭度が最大の場合は、基準画像の画素値を出力する（ステップＳ１０２）。基準画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大であるか否か、即ち鮮鋭度が図１１（ａ）に示す関係であるか否かの判定を行う（ステップＳ１０３）。主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大の場合は、主要被写体の合焦位置より近い側の画像の画素値を出力する（ステップＳ１０４）。また逆に、主要被写体の合焦位置より遠い側の画像の鮮鋭度が最大でない場合は、主要被写体の合焦位置より近い側の画像の鮮鋭度が最大である、即ち鮮鋭度が図１１（ｃ）に示す関係であるので、主要被写体の合焦位置より遠い側の画像の画素値を出力する（ステップＳ１０５）。
【００８０】
この処理を、全ての画素について行う。全画素に対して処理が終了したと判断すると（ステップＳ１０６）、画像合成処理が終了する。
【００８１】
画像合成処理が終了すると、ＣＰＵ２４は画像合成部３８の出力画像をメモリ制御部３２を介して記録媒体３３に記録して（ステップＳ２７）、ぼけ強調画像撮影が終了する。
【００８２】
このように、主要被写体の合焦位置Ｂで撮影された画像の鮮鋭度が低い画素の座標において、ぼけが強くなる画素値を選択することにより、ぼけ強調が可能となる。焦点位置が３点を超える場合でも、鮮鋭度の最大値を取る焦点位置と合焦位置を挟んで反対側の焦点位置にある複数画像から、ぼけ強調度合いに応じて選択すればよい。つまり、よりぼけを強調したい場合には、より鮮鋭度の低い画像の画素値を出力すればよい。
【００８３】
なお、本実施の形態においては主要被写体の合焦位置と、合焦位置に対してｄだけ離れたＡ及びＣにおいてフォーカスブラケット撮影を行ったが、Ａ及びＣはＢに対して対称でなく、ｄとｄ’のように合焦位置からの距離が異なってもよい。
【００８４】
また、本実施の形態の図１０に示す画像合成処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接この画像合成処理を行ってもよい。
【００８５】
＜第３の実施の形態＞
本発明に係る第３の実施の形態のぼけ強調撮影について説明する。図１２は、本発明に係る第３の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。図１に示すブロック図とは、画像合成部３８の代わりにフィルタ処理部４０を備えたところだけが異なる。
【００８６】
図１３は、デジタルカメラ１のぼけ強調撮影モードの動作を示すフローチャートである。なお、図２及び図８のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。本発明の第３の実施の形態のデジタルカメラ１のぼけ強調画像撮影モードでは、オートフォーカスにより主要被写体の合焦位置とその前後の焦点位置での撮影を含むフォーカスブラケット撮影を行い、各撮影画像の対応点を検出し、対応点の位置が一致するように各撮影画像を変形し、変形した画像から各画素の鮮鋭度を算出し、鮮鋭度に基づいたフィルタ係数で基準画像にフィルタ処理を施すことによりぼけ強調画像を得る。
【００８７】
これまでと同様に、ぼけ強調撮影モードにおいて操作部２３のシャッターボタンが押されると、主要被写体に対して自動合焦位置判断を行い（ステップＳ８１）、次に焦点位置間隔ｄを決定する（ステップＳ１６１）。
【００８８】
本実施の形態では、フォーカスブラケット撮影の際に設定される焦点位置には、主要被写体の合焦位置と、その前後の焦点位置を含むようにする。ここでは図１４に示すように、主要被写体の合焦位置Ｆ３、主要被写体の合焦位置から前後に焦点間隔ｄだけ離れた焦点位置Ｆ２及びＦ４、さらに主要被写体の合焦位置Ｆ３から遠ざかる方向に、焦点位置Ｆ２及びＦ４から焦点間隔ｄだけ離れた焦点位置のＦ１及びＦ５、の計５点をフォーカスブラケット撮影の際の焦点位置とする。なお、焦点位置の端から順に、Ｆ１で撮影された画像の番号を１、Ｆ２で撮影された画像の番号を２、・・・、Ｆ５で撮影された画像の番号を５、とする。
【００８９】
図１５は、撮影時の絞りと焦点距離、及びフォーカスブラケット撮影時の焦点位置の間隔ｄの関係を３次元的に示したグラフである。このように、絞りのＦ値が小さい場合や焦点距離が長い場合など、被写界深度が浅い場合はｄを小さく、逆に絞りのＦ値が大きい場合や焦点距離が短い場合など、被写界深度が深い場合はｄを大きくするように設定されている。ＣＰＵ２４は、メインメモリ２８のＲＯＭ領域に記憶されたこの設定に基づいて焦点間隔ｄを決定する。これにより、任意の絞りと焦点距離において、ぼけ強調に適した焦点の異なる画像を得ることができる。なお、焦点間隔ｄは一定でなくてもよく、例えば主要被写体の合焦位置から見てＮＥＡＲ側とＦＡＲ側で変えるようにしてもよい。
【００９０】
以上のように撮影時の絞りと焦点距離から焦点間隔ｄを決定すると、次にＦ１〜Ｆ５の焦点位置において、フォーカスブラケット撮影を行う（ステップＳ２１〜Ｓ２３）。この撮影の順序に関しては、適宜決めてよい。各撮影画像は、メインメモリ２８のＲＡＭ領域に格納される。
【００９１】
フォーカスブラケット撮影が終了すると、主要被写体の合焦位置で撮影された画像を基準画像として、各撮影画像における対応点の検出を行う（ステップＳ２４）。対応点の検出は、第一の実施の形態と同様に行う。対応点検出処理が終了すると、次に画像変形を行う（ステップＳ２５）。
【００９２】
画像変形処理が終了すると、次にぼかし量算出を行う（ステップＳ１６２）。図１６は、ぼかし量算出処理の動作を示すフローチャートである。なお、図６のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００９３】
最初に、フィルタ処理部４０が、処理を行う画素の選択を行う（ステップＳ６１）。次に、画像の選択を行い（ステップＳ６２）、選択した画像における、ステップＳ６１で選択された画素の鮮鋭度を算出する（ステップＳ６３）。鮮鋭度の算出においては、第１の実施の形態と同様に、ラプラシアンフィルタ処理における出力値の絶対値を算出することにより行う。全画像に対して、ステップＳ６１で選択された画素の鮮鋭度を算出する。
【００９４】
全画像に対して鮮鋭度の算出が終了したと判断すると（ステップＳ６４）、次に算出した鮮鋭度が最大である画像番号ｎを算出し（ステップＳ１９１）、ぼかし量ｋを算出する（ステップＳ１９２）。
【００９５】
ここで、主要被写体の合焦位置で撮影された画像番号をｃとすると、ぼかし量ｋは以下の式で表される。
【００９６】
（数１）
ｋ＝ｕ×（ｎーｃ）
ここで、ｕはユーザが指定したぼけ強調度合いであり、ｕが１．０よりも大きければ基準設定よりもぼけが強調され、ｕが１．０未満の場合は基準設定よりもぼけが緩和される画像となる。なお、ぼけ強調度合いｕは、ユーザが操作部２３を操作することにより設定が可能となっている。また、本実施の形態ではｃ＝３である。
【００９７】
このぼかし量ｋの算出を全ての画素について行う。全ての画素について終了したと判断すると（ステップＳ６６）、ぼかし量算出処理が終了する。
【００９８】
ぼかし量算出処理が終了すると、次にぼかし処理を行う（ステップＳ１６３）。図１７は、ぼかし処理の動作を示すフローチャートである。本実施の形態では、ぼかし処理にガウシアンフィルタを用いる。
【００９９】
まずフィルタ処理部４０が、画素の選択を行い（ステップＳ６１）、選択した画素のぼかし量ｋを選択する。図１６のステップＳ１９２で算出された各画素のぼかし量ｋは、メインメモリ２８のＲＡＭ領域に記憶されており、これを読み出す。
【０１００】
次に、読み出したぼかし量の絶対値｜ｋ｜と所定の閾値Ｔｈとの比較を行う（ステップＳ２０２）。所定の閾値Ｔｈの方が大きい場合は、この画素を合焦領域とみなして被写体の合焦位置Ｆ３で撮影した画素値を出力する（ステップＳ１４６）。ぼかし量の絶対値｜ｋ｜の方が大きい場合は、この画素をぼけ強調すべき領域とみなしてフィルタ係数を決定する（ステップＳ２０３）。
【０１０１】
前述したように、本実施の形態では、このフィルタ処理にガウシアンフィルタを用いる。図１８は、ぼかし量の絶対値｜ｋ｜と、ガウシアンフィルタのσパラメータの関係を示したグラフである。図１８に示すように、ぼかし量の絶対値｜ｋ｜が所定の閾値Ｔｈ以上のとき、ぼかし量の絶対値｜ｋ｜と比例関係にあるガウシアンフィルタのσパラメータが求められ、このσパラメータに応じたガウシアンフィルタ係数ｆ（ｘ）を決定する。ＣＰＵ２４は、メインメモリ２８のＲＡＭ領域に記憶されたこの関係に基づいてσパラメータを決定する。
【０１０２】
図１８（ｂ）は、注目画素からの距離ｘとガウシアンフィルタのフィルタ係数ｆ（ｘ）の関係を示したグラフである。図１８（ｂ）に示すように、ガウシアンフィルタはσパラメータが大きいほど周辺画素の重みを大きくして加重平均をとる。よってぼかし量の絶対値｜ｋ｜の大きさに応じてσパラメータを大きくすることにより、ぼかし量の絶対値｜ｋ｜が大きいほど平滑化の度合いを大きくすることができる。
【０１０３】
このように求められたσパラメータからフィルタ係数ｆ（ｘ）を算出するには、[数２]を用いて演算を行い、算出されたフィルタ係数の総和が１になるように正規化
を行う。
【０１０４】
【数２】

【０１０５】
デジタルフィルタの場合は注目画素を中心とした離散位置ごとにｆ（ｘ）が決定される。例えば５タップフィルタの場合は、ｆ（ｘ）＝{０．１、０．２、０．４、０．２、０．１}などとなる。なお一般には画像の明るさが変動しないよう、各係数の総和が１．０になるように正規化される。またここでは１次元のフィルタ係数で表現しているが、このフィルタを水平方向と垂直方向に順に施すことにより２次元のフィルタ処理を行うことができる。
【０１０６】
このように、選択した画素について、ぼかし量に応じたフィルタ処理を行い、出力画素値を算出する（ステップＳ１４５）。この処理を全画素について行い、全画素に対して処理が終了したと判断すると（ステップＳ６６）、ぼかし処理が終了する。このように、主要被写体の合焦位置Ｂで撮影された基準画像に対してフィルタ処理を行うことにより、より自然なぼけ強調が可能となる。
【０１０７】
なお、このフィルタ処理に用いるフィルタはガウシアンフィルタに限られるものではなく、ローパスフィルタなら他のフィルタでも構わない。例えば絞りやレンズの特性に応じたぼけ形状を持ったフィルタを用いてもよい。
【０１０８】
ぼかし処理が終了すると、ＣＰＵ２４はフィルタ処理部４０の出力画像をメモリ制御部３２を介して記録媒体３３に記録して、全焦点画像撮影が終了する（ステップＳ２７）。
【０１０９】
このようにして、ぼけ強調画像を得ることができる。
【０１１０】
なお、本実施の形態の図１６及び図１７に示すぼかし処理は、対応点検出及び画像変形を行わない画像に対して行ってもよい。即ち、フォーカスブラケット撮影した複数画像において、直接この画像合成処理を行ってもよい。
【図面の簡単な説明】
【０１１１】
【図１】図１は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【図２】図２はコミュニティの登録動作について示すフローチャートである。
【図３】図３は、フォーカスブラケット撮影から得られた画像を示す図である。
【図４】図４は、デジタルカメラ１の対応点検出の動作について示すフローチャートである。
【図５】図５は、画像変形について示す図である。
【図６】図６は、画像合成処理の動作を示すフローチャートである。
【図７】図７は、ラプラシアンフィルタのフィルタ行列を示す図である。
【図８】図８は、ぼけ強調撮影モードの動作を示すフローチャートである。
【図９】図９は、各焦点位置と各焦点位置におけるＡＦ評価値を示したグラフである。
【図１０】図１０は第２の実施の形態における画像合成処理の動作のフローチャートである。
【図１１】図１１は、主要被写体の合焦位置Ｂで撮影された画像と、その合焦位置の前後の焦点位置であるＡ及びＣで撮影された画像の、鮮鋭度を示すグラフである。
【図１２】図１２は、本発明に係る第３の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【図１３】図１３は、第３の実施の形態のぼけ強調撮影モードの動作を示すフローチャートである。
【図１４】図１４は、各焦点位置と各焦点位置におけるＡＦ評価値を示したグラフである。
【図１５】図１５は、絞りと焦点距離と焦点位置の間隔ｄの関係を示すグラフである。
【図１６】図１６は、ぼかし量算出処理の動作を示すフローチャートである。
【図１７】図１７は、ぼかし処理の動作を示すフローチャートである。
【図１８】図１８は、ぼかし量の絶対値｜ｋ｜とガウシアンフィルタのσパラメータの関係、及びを示したグラフである。
【符号の説明】
【０１１２】
１…デジタルカメラ、１１…撮影レンズ、１２…絞り、１３…Ｉｒカットフィルタ、１４…光学ローパスフィルタ、１５…固体撮像素子、２３…操作部、２４…ＣＰＵ、２５…アドレスバス、２６…データバス、２７…メインメモリ制御部、２８…メインメモリ、３２…メモリ制御部、３３…記録媒体、３６…対応点検出部、３７…画像変形部、３８…画像合成部、４０…フィルタ処理部

【特許請求の範囲】
【請求項１】
画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断手段と、
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、
前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像を合成する画像合成手段と、
前記画像合成手段により得られた画像を記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記画像合成手段は、前記複数画像間の対応する座標の画素において、前記主要被写体の合焦位置で撮影された画素の鮮鋭度が最大の場合はその画素を選択し、前記主要被写体の合焦位置以外の焦点位置で撮影された画素の鮮鋭度が最大の場合は、前記主要被写体の合焦位置に関して前記画素の鮮鋭度が最大の焦点位置と対称となる焦点位置で撮影された画素を選択して画像合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断手段と、
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影手段と、
前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出手段と、
前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理手段と、
前記ぼかし処理手段によりぼかし処理された前記基準画像を記録媒体に記録する記録手段と、
を備えたことを特徴とする撮像装置。
【請求項４】
前記焦点位置制御手段は、撮影時の絞り及び撮影時の焦点距離のうち少なくとも一方に基づいて、前記移動する焦点位置を制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記複数の画像間の対応する座標の画素の鮮鋭度を算出する鮮鋭度算出手段を備え、
前記ぼかし量算出手段は、前記鮮鋭度算出手段の算出結果に基づいて、前記ぼかし量を算出することを特徴とする請求項３又は４に記載の撮像装置。
【請求項６】
ぼけ強調度を設定するぼけ強調度設定手段を備え、前記ぼかし量算出手段は、前記ぼけ強調度設定手段で設定されたぼけ強調度に応じたぼかし量を算出することを特徴とする請求項３から５のいずれかに記載の撮像装置。
【請求項７】
前記基準画像は、前記主要被写体の合焦位置で撮影された画像であることを特徴とする請求項３から６のいずれかに記載の撮像装置。
【請求項８】
前記ぼかし処理手段は、遮断周波数を低くするほど前記ぼかし量が大きくなるローパスフィルタを用いて前記基準画像から平滑化画像を生成することを特徴とする請求項３から７のいずれかに記載の撮像装置。
【請求項９】
前記ぼかし量算出手段は、最も鮮鋭度が大きい画像の焦点位置と前記基準画像の焦点位置の差が大きいほどぼかし量を大きくするように、前記ぼかし量を算出することを特徴とする請求項３から８のいずれかに記載の撮像装置。
【請求項１０】
主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力手段と、
前記複数の画像を合成する画像合成手段と、
前記画像合成手段により得られた画像を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項１１】
主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力手段と、
前記移動する焦点位置が前記自動合焦位置判断手段により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御手段と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出手段と、
前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理手段と、
前記ぼかし処理手段によりぼかし処理された前記基準画像を出力する出力手段と、
を備えたことを特徴とする画像処理装置。
【請求項１２】
画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、
前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置と前記主要被写体の合焦位置の前後の焦点位置を含むように制御する焦点位置制御工程と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影工程により撮影された複数の画像を合成する画像合成工程と、
前記画像合成工程により得られた画像を記録媒体に記録する記録工程と、
を備えたことを特徴とする撮像方法。
【請求項１３】
画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、
前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御工程と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出工程と、
前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理工程と、
前記ぼかし処理工程によりぼかし処理された前記基準画像を記録媒体に記録する記録工程と、
を備えたことを特徴とする撮像方法。
【請求項１４】
主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力工程と、
前記複数の画像を合成する画像合成工程と、
前記画像合成工程により得られた画像を出力する出力工程と、
を備えたことを特徴とする画像処理方法。
【請求項１５】
主要被写体の合焦位置で撮影された画像と前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含むそれぞれ異なる焦点位置で撮影された同一シーンの複数の画像を入力させる入力工程と、
画像データに基づいて主要被写体の合焦位置を判断する自動合焦位置判断工程と、
予め定められた移動量で離散的に焦点位置を移動して順次画像を撮影することにより複数の画像を得るフォーカスブラケット撮影工程と、
前記移動する焦点位置が前記自動合焦位置判断工程により判断された前記主要被写体の合焦位置とその前後の焦点位置を含むように制御する焦点位置制御工程と、
前記主要被写体の合焦位置で撮影された画像及び前記主要被写体の合焦位置の前後の焦点位置で撮影された画像を含む前記フォーカスブラケット撮影手段により撮影された複数の画像から、画素の座標に応じたぼかし量を算出するぼかし量算出工程と、
前記複数の画像の中から所定の基準により選択された１枚の基準画像に対して、前記算出されたぼかし量に基づいてぼかし処理を行うぼかし処理工程と、
前記ぼかし処理手段によりぼかし処理された前記基準画像を記録媒体に記録する記録工程と、
を備えたことを特徴とする画像処理方法。

【図１】