撮像装置
【課題】シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供すること。
【解決手段】ユーザによるレリーズ指示を受けて、ＣＰＵ１０１は、撮影時の被写体を判断し、判断した被写体に応じて撮像部１０２等の撮影パラメータ、並びにフォーカスレンズのスキャン範囲及びスキャン方向を設定する。その後、ＣＰＵ１０１は、フォーカスレンズの駆動と同期するように撮像部１０２を連続動作させる。合焦評価部１１１は、撮像部１０２を介して得られた画像データの合焦状態を評価し、この評価結果に応じて画像データ及び合焦画像情報を記憶させる。撮影終了後に、ＣＰＵ１０１は、合焦画像情報に従って、マルチフォーカス画像を表示部１０８に表示させる。ユーザは、表示部１０８に表示されたマルチフォーカス画像に対して種々の処理を行うことが可能である。
【解決手段】ユーザによるレリーズ指示を受けて、ＣＰＵ１０１は、撮影時の被写体を判断し、判断した被写体に応じて撮像部１０２等の撮影パラメータ、並びにフォーカスレンズのスキャン範囲及びスキャン方向を設定する。その後、ＣＰＵ１０１は、フォーカスレンズの駆動と同期するように撮像部１０２を連続動作させる。合焦評価部１１１は、撮像部１０２を介して得られた画像データの合焦状態を評価し、この評価結果に応じて画像データ及び合焦画像情報を記憶させる。撮影終了後に、ＣＰＵ１０１は、合焦画像情報に従って、マルチフォーカス画像を表示部１０８に表示させる。ユーザは、表示部１０８に表示されたマルチフォーカス画像に対して種々の処理を行うことが可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカス機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来のフォーカス技術に関する提案として、ユーザが意図する合焦状態での撮影を可能とするための提案が、各種なされている。例えば、特許文献１では、合焦エリア内に複数の被写体が存在していた場合であっても、ユーザが意図する合焦状態の画像が得られるように、評価値を評価した結果、複数のピークが検出された場合に、検出されたピークの付近のフォーカス位置でブラケット撮影を行うようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０８６０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１の手法では、複数のピークが検出されたと判断された後でブラケット撮影を行う。このため、実際にフォーカスレンズがユーザの所望する合焦状態となるまでには時間がかかり易く、シャッタチャンスを逃してしまう可能性がある。また、全体としての撮影時間も長くなり易い。
【０００５】
本発明は、上記の事情に鑑みてなされたもので、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の一態様の撮像装置は、フォーカスレンズを有する撮像光学系と、前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、前記被写体を判断する被写体判断部と、前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】撮影動作時の処理について示すフローチャートである。
【図３】被写体パターン判断処理について示すフローチャートである。
【図４】撮影シーンの例を示す図である。
【図５】汎用シーンにおける有効画像サーチ処理の概要を示す図である。
【図６】合焦画像情報について説明するための図である。
【図７】ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。
【図８】有効画像サーチ処理における具体的な処理を示すフローチャートである。
【図９】エリア別画像解析処理について示すフローチャートである。
【図１０】画像再生処理について示すフローチャートである。
【図１１】画像再生処理中に表示部に表示される画面の遷移を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すように、撮像装置１０は、ＣＰＵ１０１と、撮像部１０２と、フォーカス駆動部１０３と、絞り駆動部１０４と、バス１０５と、メモリ１０６と、画像処理部１０７と、表示部１０８と、ストレージ１０９と、操作部１１０と、合焦評価部１１１と、顏検出部１１２と、動き検出部１１３と、プログラムメモリ１１４と、を有している。
【００１０】
ＣＰＵ１０１は、撮像装置１０の全体の動作を統括的に制御する。具体的には、ＣＰＵ１０１は、フォーカス制御部としての機能を有し、フォーカス駆動部１０３を制御して撮像部１０２の撮像光学系１０２１の合焦状態を制御する。また、ＣＰＵ１０１は、撮像制御部としての機能を有し、撮像部１０２の撮像動作を制御する。また、ＣＰＵ１０１は、表示制御部としての機能を有し、表示部１０８における画像の表示制御をする。また、ＣＰＵ１０１は、記録制御部としての機能を有し、ストレージ１０９への各種のデータの書込制御及びストレージ１０９からの各種のデータの読出制御をする。さらに、ＣＰＵ１０１は、被写体判断部としての機能を有し、後述するシーン情報や撮影状況情報に応じて、撮影時における被写体を判断する。
【００１１】
撮像部１０２は、図示しない被写体を撮像して、被写体に係る画像（画像データ）を得る。撮像部１０２は、撮像光学系１０２１と、撮像素子１０２２と、撮像処理部１０２３と、を有している。
【００１２】
撮像光学系１０２１は、被写体からの光束を撮像素子１０２２に結像させるための光学系である。この撮像光学系１０２１は、フォーカスレンズや絞りを有している。フォーカスレンズは、撮像光学系１０２１の合焦状態を調整するためのレンズである。フォーカスレンズをその光軸方向に沿って駆動させることにより、撮像光学系１０２１の合焦状態を変化させることが可能である。絞りは、撮像光学系１０２１中に配置され、絞り込まれることによって、撮像光学系１０２１を介して撮像素子１０２２に入射する光束を制限する。
【００１３】
撮像素子１０２２は、光電変換素子が２次元状に配置された受光面を有し、撮像光学系１０２１を介して受光面に入射した光束を、その光量に応じたアナログ電気信号（画像信号と言う）に変換する。ここで、撮像素子１０２２は、電子シャッタ機能を有していることが望ましい。
【００１４】
撮像処理部１０２３は、撮像素子１０２２から出力された画像信号に対して、ゲイン制御処理や相関二重サンプリング処理といったアナログ処理を施す。そして、撮像処理部１０２３は、アナログ処理をした画像信号を、デジタル信号（画像データと言う）に変換する処理も行う。
【００１５】
フォーカス駆動部１０３は、モータ等を有し、ＣＰＵ１０１の制御に従ってフォーカスレンズを駆動する。絞り駆動部１０４は、モータ等を有し、ＣＰＵ１０１の制御に従って絞りを駆動する。
【００１６】
バス１０５は、撮像装置１０の内部で発生した各種のデータを転送するための転送路である。図１に示す撮像装置１０において、バス１０５は、ＣＰＵ１０１と、撮像部１０２と、メモリ１０６と、画像処理部１０７と、表示部１０８と、ストレージ１０９と、操作部１１０と、合焦評価部１１１と、顏検出部１１２と、動き検出部１１３と、プログラムメモリ１１４と、に接続されている。
【００１７】
メモリ１０６は、撮像部１０２で得られた画像データや画像処理部１０７で得られた画像データ、及びＣＰＵ１０１における処理データ等を一時的に記憶しておくための記憶部である。本実施形態におけるメモリ１０６は、撮影時において生成されるマルチフォーカス画像データ及び合焦画像情報も記憶する。
【００１８】
画像処理部１０７は、画像データに対して各種の画像処理を施す。この画像処理は、ホワイトバランス処理、階調補正処理、圧縮処理、拡大縮小処理等が含まれる。また、画像処理部１０７は、画像データの再生時には、圧縮処理された画像データを伸張することも行う。また、本実施形態の画像処理部１０７は、第１の画像処理部としての機能を有し、後述の画像再生処理においてユーザによって指定された合焦画像中のエリアを拡大することも行う。また、本実施形態の画像処理部１０７は、第２の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成して複数のエリアでフォーカスレンズが合焦している多エリア合焦画像を生成することも行う。さらに、本実施形態の画像処理部１０７は、第３の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成してボケが強調されたボケ強調画像を生成することも行う。
【００１９】
表示部１０８は、ＣＰＵ１０１の制御に従って、ライブビュー画像、撮影画像、メニュー画面といった各種の画像を表示する。ここで、ライブビュー画像とは、撮像部１０２を連続させて得られる画像であって、撮像部１０２の動作に同期して表示部１０８にリアルタイム表示される画像である。また、撮影画像は、撮影動作によって得られる記録用の画像である。撮影画像は、表示部１０８に表示されるとともにストレージ１０９に記録される。メニュー画面は、ユーザが撮像装置１０の各種の設定を行うための画面である。
【００２０】
ストレージ１０９は、ＣＰＵ１０１の制御に従って、撮影動作によって得られる撮影画像を画像ファイルとして記録する。ストレージ１０９は、撮像装置１０に内蔵させるようにしても良いし、撮像装置１０に対して着脱自在としても良い。
【００２１】
操作部１１０は、ユーザが撮像装置１０に対する各種の操作を行うための操作部材である。操作部１１０は、操作ボタン１１０１と、タッチパネル１１０２と、を有している。操作ボタン１１０１は、レリーズボタンや電源ボタン等のボタン式の操作部材である。なお、ここではボタンとしているが、必ずしもボタン式の操作部材とする必要はない。また、タッチパネル１１０２は、表示部１０８と一体的に形成されており、表示部１０８の画面上でのユーザの指等の接触位置を検出したり、指等の動きを検出したりする。ＣＰＵ１０１は、タッチパネル１１０２を介して検出された接触位置や指等の動きに応じた処理を実行する。このような操作部１１０は、選択部の一例として機能する。
【００２２】
合焦評価部１１１は、画像データに対する合焦状態を評価する。このために、合焦評価部１１１は、画像データを複数のエリアに分割し、分割したエリア内の画像データから、コントラストを評価するための評価値を生成する。評価値の変化は、画像データにおけるコントラストの変化に対応している。合焦評価部１１１は、評価値の変化の極大（ピーク）を判断することによって画像データのそれぞれのエリアにおける合焦状態を判断する。あるエリアのコントラストが極大（ピーク）となるとき、そのエリアに対して撮像光学系１０２１が合焦していることを示す。
【００２３】
顏検出部１１２は、画像データから人物の顏部を検出する。顏部の検出は、例えば目や鼻といった人物の顏部の特徴を画像データから検出することによって行う。
【００２４】
動き検出部１１３は、例えば加速度センサであって、撮像装置１０の動きを検出する。この動き検出部１１３により、手ブレ等を検出するようにしても良い。
【００２５】
プログラムメモリ１１４は、ＣＰＵ１０１が撮像装置１０に係る各種の処理を実行するために必要なプログラムや、各種の処理を実行するために必要なパラメータを記憶する記憶部である。本実施形態におけるプログラムメモリ１１４は、撮像光学系１０２１の光学特性情報（撮像光学系１０２１の焦点距離情報）等を、パラメータとして記憶している。
【００２６】
次に、図１に示した撮像装置１０を用いた撮影動作について説明する。図２は、撮影動作時の処理について示すフローチャートである。図２の動作は、撮像装置１０の動作モードが撮影モードに設定されているときに実行される。
【００２７】
図２において、ＣＰＵ１０１は、ライブビュー表示を行う（ステップＳ１０１）。ステップＳ１０１において、ＣＰＵ１０１は、撮像部１０２を動作させ、撮像部１０２を介して得られた画像データに対し、画像処理部１０７により、ライブビュー表示用の画像処理（ホワイトバランス処理、階調補正処理、縮小処理等）を施した後、この画像処理によって得られたライブビュー画像データを表示部１０８に入力する。ライブビュー画像データの入力を受けて、表示部１０８は、ライブビュー画像の表示を行う。このようなライブビュー表示では、ユーザが、表示部１０８においてリアルタイムで被写体を観察することが可能である。
【００２８】
ライブビュー表示の後、ＣＰＵ１０１は、現在の撮影シーンを判断する（ステップＳ１０２）。ステップＳ１０２の撮影シーン判断は、後述の被写体パターン判断処理において被写体を判断するために必要となる、シーン情報を取得する処理である。撮影シーン判断処理において、ＣＰＵ１０１は、顏検出部１１２によって顏部を検出し、顏部の位置及び面積をシーン情報として記憶しておく。また、撮影シーン判断処理において、ＣＰＵ１０１は、後述のフルタイムＡＦの結果を用いて被写体距離を算出し、算出した被写体距離情報をシーン情報として記憶しておく。この他、ＣＰＵ１０１は、フレーム毎の画像データ間の差分から被写体の動きベクトルを算出し、算出した動きベクトル情報を記憶しておく。ステップＳ１０２で取得する情報は、あくまでも一例であって、被写体を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【００２９】
撮影シーンを判断した後、ＣＰＵ１０１は、現在の撮影状況を判断する（ステップＳ１０３）。ステップＳ１０３の撮影状況判断処理は、後述の被写体パターン判断処理において被写体を判断するために必要となる、撮影状況情報を取得する処理である。撮影状況判断処理において、ＣＰＵ１０１は、動き検出部１１３の出力から、撮像装置１０の動きを検出し、検出した動き情報を撮影状況情報として記憶しておく。ステップＳ１０３で取得する情報は、あくまでも一例であって、撮像装置の状況を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【００３０】
撮影シーン判断処理の後、ＣＰＵ１０１は、フルタイムＡＦ処理を実行する（ステップＳ１０４）。フルタイムＡＦ処理は、ライブビュー表示が実行されている間に実行されるＡＦ（オートフォーカス）処理である。本実施形態においては、フルタイムＡＦ処理として、山登り式のコントラストＡＦを実行する。この際、ＣＰＵ１０１は、フォーカス駆動部１０３を駆動してフォーカスレンズを所定のスキャン範囲内で駆動させつつ、撮像部１０２を介して得られる画像データから、合焦評価部１１１において画像データにおけるコントラストを評価する。そして、ＣＰＵ１０１は、コントラスト（評価値）のピークに対応する位置にフォーカスレンズを駆動する。コントラストのピークに対応した位置にフォーカスレンズを駆動させたとき、撮像光学系１０２１は合焦状態となる。また、合焦状態となっているときの撮像光学系１０２１の焦点距離等から、撮影シーン情報としての被写体距離を求めることが可能である。
ここで、複数の被写体が遠近に混在しているシーン等、撮影シーンによっては、複数のフォーカスレンズ位置でコントラストのピークが存在する可能性がある。複数のフォーカスレンズ位置でコントラストのピークが存在する場合、例えば最至近（被写体距離が最も短い）の被写体に対応したフォーカスレンズ位置でフォーカスレンズを停止させる。この他の考え方に従ってフォーカスレンズを駆動させるようにしても良い。
【００３１】
フルタイムＡＦによってフォーカスレンズを駆動した後、ＣＰＵ１０１は、ユーザによってレリーズ指示がなされたか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、ＣＰＵ１０１は、例えばユーザによって操作部１１０のレリーズボタンが押された場合にレリーズ指示がなされたと判定する。ステップＳ１０５において、レリーズ指示がなされていないと判定した場合に、ＣＰＵ１０１は、処理をステップＳ１０１に戻してライブビュー表示を継続する。即ち、ＣＰＵ１０１は、次のフレームのライブビュー画像を表示部１０８に表示させる。
【００３２】
ステップＳ１０５において、レリーズ指示がなされたと判定した場合、ＣＰＵ１０１は、被写体パターン判断処理を実行する（ステップＳ１０６）。被写体パターン判断処理は、撮影シーンや撮影状況を特定することによって、撮影時の被写体を判断する処理である。ステップＳ１０６の被写体パターン判断処理の詳細については後述する。
【００３３】
被写体パターン判断処理によって被写体を特定した後、ＣＰＵ１０１は、撮像部１０２を介して得られた画像データから、被写体の露出（輝度）を算出する（ステップＳ１０７）。そして、ＣＰＵ１０１は、算出した被写体の露出及び被写体パターン判断処理の判断結果に応じて、露光時間ＴＶ、撮像素子感度ＳＶ、撮像フレームレートＦｒａｔｅ、及び絞り値ＡＶを設定する（ステップＳ１０８）。続いて、ＣＰＵ１０１は、被写体パターン判断処理の結果に応じて、フォーカスレンズの駆動速度を設定する（ステップＳ１０９）。さらに、ＣＰＵ１０１は、フォーカスレンズのスキャン方向及びスキャン範囲を設定する（ステップＳ１１０）。これらのステップＳ１０８〜Ｓ１１０の処理の詳細については後述する。
【００３４】
撮影前の各種の撮影パラメータの設定を行った後、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、ステップＳ１１０で設定したスキャン範囲内の初期位置に、フォーカスレンズを駆動する（ステップＳ１１１）。その後、ＣＰＵ１０１は、有効画像サーチ処理を開始する（ステップＳ１１２）。詳細は後述するが、有効画像サーチ処理中には、画像データに対する合焦状態をエリア毎に評価する。撮像光学系１０２１が合焦しているエリアを１つでも有している画像データに対しては、その画像データを特定するための情報（例えば、その画像データのフレーム番号）を合焦画像情報としてメモリ１０６に記憶させる。また、その画像データもメモリ１０６に記憶させる。
【００３５】
有効画像サーチ処理が終了した後、ＣＰＵ１０１は、有効画像サーチ処理中にメモリ１０６に記憶された画像データに対し、画像処理部１０７により、記録用の画像処理（ホワイトバランス処理、階調補正処理、圧縮処理等）を施した後、この画像処理によって得られた撮影画像データに所定のヘッダ情報を付与し、これにより得られた画像ファイルをストレージ１０９に記録する（ステップＳ１１３）。ここで、合焦画像情報がメモリ１０６に記憶されている場合には、合焦画像情報もヘッダ情報に記録する。
【００３６】
詳細は後述するが、本実施形態では、有効画像サーチ処理中に、複数の画像データ（マルチフォーカス画像データ）がメモリ１０６に記憶される可能性が高い。これらのマルチフォーカス画像データは、別個のファイルとして記録しても良いし、組画像の形式でファイルに記録しても良い。組画像の形式とは、１つのファイル内に複数の画像データを記録する形式である。組画像の形式でマルチフォーカス画像データを記録する場合には、それぞれのマルチフォーカス画像データの位置情報をヘッダ情報に記録しておく。組画像ファイル内の任意のマルチフォーカス画像データにアクセスする際には、ヘッダ情報内の位置情報を参照する。
【００３７】
画像ファイルを記録した後、ＣＰＵ１０１は、画像再生処理を実行する（ステップＳ１１４）。その後、ＣＰＵ１０１は、図２の処理を終了させる。画像再生処理は、ストレージ１０９に記録した撮影画像データに対応した画像（マルチフォーカス画像）を表示部１０８に表示させる処理である。画像再生処理の詳細については後述する。
【００３８】
次に被写体パターン判断処理について説明する。図３は、被写体パターン判断処理について示すフローチャートである。被写体パターン判断処理において、ＣＰＵ１０１は、撮像光学系１０２１の焦点距離及び現在の絞り値等の情報を用いて被写界深度を算出する（ステップＳ２０１）。その後、ＣＰＵ１０１は、シーン情報及び撮影状況情報を有しているか否かを判定する（ステップＳ２０２）。
【００３９】
ステップＳ２０２において、シーン情報及び撮影状況情報を有していると判定した場合に、ＣＰＵ１０１は、シーン情報、撮影状況情報、及び被写界深度情報を用いて現在の撮影シーンを判断する（ステップＳ２０３）。本実施形態では、例として、撮影シーンを、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーン、汎用シーンの６つに分類することとする。
【００４０】
人物混在シーンは、図４（ａ）で示すような、複数の人物を被写体として撮影する撮影シーンである。例えば、顏検出部１１２により、複数の顏部が検出されたと判定した場合に、ＣＰＵ１０１は、撮影シーンが人物混在シーンであると判断する（ステップＳ２０４）。
【００４１】
動体シーンは、図４（ｂ）で示すような、スポーツシーン等の動きの大きい被写体を撮影する撮影シーンである。例えば、被写体の動きベクトルが所定の閾値よりも大きい場合や、撮像装置１０の動きが所定の閾値よりも大きいと判定した場合に、ＣＰＵ１０１は、撮影シーンが動体シーンであると判断する（ステップＳ２０５）。
【００４２】
ポートレートシーンは、図４（ｃ）で示すような、人物の顏が被写体となる撮影シーンである。例えば、顏検出部１１２により、所定の面積以上の顏部が検出された場合に、ＣＰＵ１０１は、撮影シーンがポートレートシーンであると判断する（ステップＳ２０６）。
【００４３】
遠近広域分布シーンは、図４（ｄ）で示すような被写体と風景とが混在するシーン等の、遠近に被写体が混在する撮影シーンである。例えば、複数の被写体距離が得られ、これらの被写体距離の差が所定の閾値以上であると判定した場合に、ＣＰＵ１０１は、撮影シーンが遠近広域分布シーンであると判断する（ステップＳ２０７）。
【００４４】
マクロシーンは、図４（ｅ）で示すような撮像装置１０を被写体に近づけて撮影を行う撮影シーンである。例えば、被写体距離が所定の距離よりも近いと判定した場合に、ＣＰＵ１０１は、撮影シーンがマクロシーンであると判断する（ステップＳ２０８）。
【００４５】
汎用シーンは、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れでもない、被写体の特徴が特定できない撮影シーンである。人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れの判断条件も満足しない場合、又はシーン情報及び撮影状況情報を有していないと判定した場合に、ＣＰＵ１０１は、撮影シーンが汎用シーンであると判断する（ステップＳ２０９）。
【００４６】
ここで、上述した撮影シーンの判断手法の場合、複数の撮影シーンの判断条件を同時に満足する場合がある。この場合には、予め定められた優先順位に従って撮影シーンを判断する。この優先順位は、例えば（１）ポートレートシーン、（２）人物混在シーン、（３遠近広域分布シーン（４）動体シーン、（５）マクロシーンの順とする。この順位付けは一例であって、適宜変更可能である。
【００４７】
また、簡易的に撮影シーンを判断する手法としては、シーンモードから判断する手法もある。シーンモードとは、撮影時においてユーザが設定できるモードの１つである。シーンモードが設定されている場合、ＣＰＵ１０１は、現在の撮影シーンが、その時点で設定されているシーンモードに応じた撮影シーンであると判断する。
【００４８】
次に、有効画像サーチ処理について説明する。まず、有効画像サーチ処理に先立つ撮影パラメータの設定について説明する。詳細は後述するが、有効画像サーチ処理では、フォーカスレンズを一方向に駆動させつつ、このフォーカスレンズの駆動に同期するように複数回の撮像動作を実行して画像データをメモリ１０６に記憶させていく。この場合、合焦状態の異なる複数の画像データがメモリ１０６に記憶されることになる。ユーザは、これらの合焦状態の異なる複数の画像データの中から所望の合焦状態の画像データを選択することができる。これは、実質的に本実施形態によって「撮影後にピント合わせ」をしたことに相当する。
【００４９】
ここで、有効画像サーチ処理中の露光回数を多くすれば、より多くの合焦状態の画像データを取得でき、ユーザにとっての所望の合焦状態の画像データが得られ易くなる。しかしながら、露光回数を多くするためには、露光時間を短くするか、全体としての撮影時間を長くする必要がある。
【００５０】
このため、本実施形態では、撮影シーン中の被写体の特徴に応じて、露光時間ＴＶ、撮像素子感度ＳＶ、撮像フレームレートＦｒａｔｅ、絞り値ＡＶ、フォーカスレンズの駆動速度、フォーカスレンズのスキャン方向及びスキャン範囲が適正な値となるように設定する。これにより、全体としての撮影時間を短くしつつ、ユーザが所望とする合焦状態の画像データが得られるようにする。
【００５１】
以下、汎用シーンとポートレートシーンを代表例として、有効画像サーチ処理についてさらに説明する。
【００５２】
まず、汎用シーンにおける撮影パラメータの設定について説明する。上述したように、汎用シーンは、ユーザが注目している被写体の特徴を判断することが困難な撮影シーンである。このような汎用シーンでは、近距離域から遠距離域までのなるべく多くのフォーカスレンズ位置で画像データを取得することが望ましい。したがって、露光回数（撮像フレームレートＦｒａｔｅに対応）は、なるべく多くすることが望ましい。ただし、被写体の露出が極端に低い場合や、被写体又は撮像装置１０の動きが大きい場合等では、画像データにおけるノイズの影響が大きくなる。ノイズの影響が大きい状態では、撮像素子の感度制御だけでは、画像データの露出を制御することが困難である。これは、撮像素子の感度制御によってノイズも増幅されるためである。このため、撮像素子感度ＳＶの制御によって、画質が大きく劣化してしまうと判断される場合には、撮像フレームレートＦｒａｔｅを低くする。このように、汎用シーンにおける撮像フレームレートＦｒａｔｅは、画像に重畳されるノイズの影響（被写体の露出と動き情報から判断される）に基づき、画質を確保できる範囲内で可能な限り高く設定する。
【００５３】
露光時間ＴＶは、撮像フレームレートＦｒａｔｅに対し、画像信号の読み出し時間等を考慮して決める。絞り値ＡＶは、汎用シーンでは、例えば固定値とする。撮像素子感度ＳＶは、これらの設定した露光時間ＴＶと絞り値ＡＶとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【００５４】
フォーカスレンズの駆動速度は、撮像部１０２の露光動作に同期するように設定する。より詳しくは、フォーカスレンズの駆動速度は、露光時間ＴＶに応じて決定する。
【００５５】
また、汎用シーンでは、画像データ内のどのエリアにユーザが注目する被写体が存在しているかを判断できないので、フォーカスレンズのスキャン範囲は、フォーカスレンズの駆動可能な全範囲、即ち無限位置から至近位置までとする。スキャン方向は、無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【００５６】
図５は、汎用シーンにおける有効画像サーチ処理の概要を示す図である。汎用シーンにおける有効画像サーチにおいて、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを初期位置としての無限位置に駆動する。その後、ＣＰＵ１０１は、無限位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部１０２を連続動作させて複数の画像データを取得する。そして、画像データを取得する毎に、ＣＰＵ１０１は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ１０６に記憶させる画像データを選別する。記憶させる画像データは、少なくとも１つのエリアで合焦状態となっている合焦画像データ（マルチフォーカス画像データ）である。また、本実施形態シーンにおいては、エリア毎に合焦状態を判断した結果、１つ以上のエリアで合焦状態であると判断された場合には、それぞれのマルチフォーカス画像データを特定するための情報を合焦画像情報として記録する。このようにして、画像データの選別を行いつつ、フォーカスレンズが至近位置に達したと判定したときに、ＣＰＵ１０１は、有効画像サーチ処理を終了する。
【００５７】
ここで、図５の例では、画像データを３５のエリアに分割し、それぞれのエリア毎に合焦状態を評価している。この他、顏部等の特定の被写体が存在することが予め分っている場合には、分割したエリアとは別に、その特定の被写体の存在するエリアについて合焦状態を評価しても良い。図５における「エリア顏１」が、このような顏部のエリアの合焦状態の評価結果に対応している。
【００５８】
図６は、合焦画像情報について説明するための図である。図６は、１フレーム分の画像データを例えば３５（５行７列）のエリアに分割し、分割したエリア毎に合焦状態の評価を行った結果を示している。ここで、図６の列位置及び行位置のそれぞれに番号を付している。以下、図６におけるそれぞれのエリアを、エリアｎと言う。ｎは、例えば画面の左上端をｎ＝１とし、右方向、下方向の順で増加させ、画面の右下端をｎ＝３５とする。
【００５９】
図６に示すように、フレーム番号Ｆ１の画像データは、エリア６、エリア７、エリア１３、エリア１４で合焦状態となっている。また、フレーム番号Ｆ２の画像データは、エリア５、エリア１０で合焦状態となっている。また、フレーム番号Ｆ３の画像データは、エリア１１、エリア１７、エリア１８で合焦状態となっている。さらに、フレーム番号Ｆ４の画像データは、エリア１５、エリア１６、エリア２２、エリア２３、２４、３０で合焦状態となっている。
【００６０】
本実施形態では、エリア毎の合焦画像情報として、例えばそのエリアで合焦状態となっているマルチフォーカス画像データのフレーム番号を記録する。図６を例にすると、エリア６に対応した合焦画像情報としては、フレーム番号Ｆ１を記録する。また、エリア２２に対応した合焦画像情報としては、フレーム番号Ｆ４を記録する。その他のエリアの合焦画像情報も同様である。なお、同じエリアで複数のマルチフォーカス画像データが合焦状態となる可能性もあるが、その場合には１つの合焦画像情報に複数のフレーム番号を記録する。
【００６１】
このように、本実施形態では、合焦画像情報を記憶している。これにより、撮影動作の終了後であっても、それぞれのマルチフォーカス画像データに対する合焦状態をエリア毎に判断することが可能である。
【００６２】
次に、ポートレートシーンにおける撮影パラメータの設定について説明する。上述したように、ポートレートシーンは、ユーザが注目している被写体が人物の顏部であると判断されている。このため、人物の顏部に対応したフォーカスレンズ位置では、なるべく多くの画像データを取得することが望ましい。これに対し、顏部以外のフォーカスレンズ位置では画像データを取得しなくとも良い。このため、ポートレートシーンでは、フォーカスレンズのスキャン範囲を、顏部の距離に対応したフォーカスレンズ位置の範囲に設定する。
【００６３】
露光時間ＴＶは、汎用シーンの場合と同様に、撮像フレームレートＦｒａｔｅに対し、画像信号の読み出し時間等を考慮して決める。絞り値ＡＶは、汎用シーンでは、例えば固定値とする。撮像素子感度ＳＶは、これらの設定した露光時間ＴＶと絞り値ＡＶとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【００６４】
フォーカスレンズの駆動速度も、汎用シーンと同様、露光時間ＴＶに同期するように設定する。上述したように、フォーカスレンズのスキャン範囲は、顏部付近の距離に対応したフォーカスレンズ位置の範囲（以下、顏部範囲と言う）に設定する。スキャン方向は、例えば無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【００６５】
図７は、ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。ポートレートシーンにおける有効画像サーチにおいて、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを初期位置としての、顏部範囲の最も遠距離に対応したフォーカスレンズ位置（以下、顏部遠距離位置と言う）に駆動する。その後、ＣＰＵ１０１は、顏部遠距離位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部１０２を動作させて複数の画像データを取得する。そして、画像データを取得する毎に、ＣＰＵ１０１は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ１０６に記憶させる画像データ（マルチフォーカス画像データ）を選別する。その後、フォーカスレンズが顏部範囲の最も近距離に対応したフォーカスレンズ位置（以下、顏部近距離位置と言う）に達したと判定したときに、ＣＰＵ１０１は、有効画像サーチ処理を終了する。ポートレートシーンにおいても、エリア毎に合焦状態を判断した結果、１つ以上のエリアで合焦状態であると判断された場合には、その画像データを示す情報を合焦画像情報としてメモリ１０６に記憶しておく。
【００６６】
ここで、ポートレートシーンにおいて、被写界深度が浅く、瞳等の特にフォーカス精度の求められる顏の特徴部が検出されている場合には、特徴部を含むエリアで合焦していると判断された画像データに加えて、その前後のフォーカスレンズ位置の画像データもメモリ１０６に記憶しておくようにしても良い。これにより、後述の画像再生処理において、ユーザが所望とする合焦状態の画像が得られ易くなる。
【００６７】
汎用シーン及びポートレートシーン以外の人物混在シーン、遠近広域分布シーン、動体シーン、マクロシーンの場合も、撮影パラメータの設定、フォーカスレンズの駆動速度、スキャン範囲が異なるのみで基本的な有効画像サーチ処理の動作は、汎用シーン及びポートレートシーンの例で説明したものと同様である。
【００６８】
人物混在シーンでは、複数の人物（顏）が存在する距離範囲に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、人物に対して合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【００６９】
遠近広域分布シーンでは、汎用シーンに比べて絞り値ＡＶを大きくして被写界深度を深くする。これにより、近距離被写体と遠距離被写体の両方に対して合焦し易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【００７０】
動体シーンでは、汎用シーンに比べて撮像フレームレートＦｒａｔｅを高くし、またフォーカスレンズの駆動速度を高速にする。これにより、動体に追従して合焦させ易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【００７１】
マクロシーンでは、被写体が存在するマクロ域（近距離域）に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、マクロ域の被写体に対してより合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【００７２】
図８は、上述した有効画像サーチ処理における具体的な処理を示すフローチャートである。有効画像サーチ処理において、ＣＰＵ１０１は、現在のフォーカスレンズ位置において、ステップＳ１０８で設定された撮影パラメータに従って撮像部１０２による撮像（露光）動作を実行する（ステップＳ３０１）。撮像動作によって得られた画像データは、メモリ１０６に記憶される（ステップＳ３０２）。
【００７３】
１フレーム分の画像データがメモリ１０６に記憶されると、ＣＰＵ１０１は、メモリ１０６に記憶された画像データを合焦評価部１１１に入力し、合焦評価部１１１において評価値を生成させる（ステップＳ３０３）。その後、ＣＰＵ１０１は、合焦評価部１１１においてエリア別画像解析処理を実行させる（ステップＳ３０４）。エリア別画像解析処理は、画像データのエリア毎の合焦評価を行う処理である。具体的な処理の内容については後述する。
【００７４】
エリア別画像解析処理の後、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを次のフォーカスレンズ位置に駆動させる（ステップＳ３０５）。この際の、フォーカスレンズの駆動速度（単位時間当たりの駆動量）は、ステップＳ１０９で決定されたもの又は後述のステップＳ３０７で更新したものを利用する。
【００７５】
フォーカスレンズの駆動後、ＣＰＵ１０１は、フォーカスレンズのスキャンが終了したか否か、即ちフォーカスレンズ位置がスキャン範囲の終了位置に達したか否かを判定する（ステップＳ３０６）。ステップＳ３０６において、フォーカスレンズのスキャンが終了していないと判定した場合に、ＣＰＵ１０１は、必要に応じてフォーカスレンズの駆動速度を更新する（ステップＳ３０７）。例えば、マクロ域では、フォーカスレンズの位置変化に対する合焦状態の変化の割合が小さいので、フォーカスレンズの駆動速度をより高速にしても良い。フォーカスレンズの駆動速度を更新した後、ＣＰＵ１０１は、処理をステップＳ３０１に戻して、次のフレームに対する撮像動作を実行する。
【００７６】
ステップＳ３０６において、フォーカスレンズのスキャンが終了したと判定した場合、ＣＰＵ１０１は、図８の処理を終了させ、ステップＳ１１３の画像記録を実行する。
【００７７】
図９は、エリア別画像解析処理について示すフローチャートである。エリア別画像解析の処理は、合焦評価部１１１において実行される。
【００７８】
図９において、合焦評価部１１１は、ステップＳ３０３で生成した評価値のうち、エリアｎ（ｎ＝１、２、…）の評価値を評価する（ステップＳ４０１）。このために、合焦評価部１１１は、現フレームにおけるエリアｎの評価値と前フレームにおけるエリアｎの評価値との差分を算出する。この差分を用いて評価を行う。
【００７９】
まず、合焦評価部１１１は、評価値のピーク判断を行う（ステップＳ４０２）。このピーク判断において、合焦評価部１１１は、評価値が増加から減少に転じたか否か、即ちステップＳ４０１で算出した差分の符号が正から負に変化したか否かを判断する。評価値が増加から減少に転じたと判断した場合に、合焦評価部１１１は、現フレームにおけるエリアｎにおいて撮像光学系１０２１が合焦していると判断する。
【００８０】
続いて、合焦評価部１１１は、ピーク有効判断を行う（ステップＳ４０３）。ピーク有効判断は、合焦判断の信頼性を担保するため、ステップＳ４０２で判断されたピークが有効であるかを判断する処理である。例えば、評価値が所定値以上であると判断した場合には、合焦評価部１１１は、ピークが有効であると判断する。また、評価値が所定値未満の場合や、本来、ピークが出現するべきでないエリアでピークが判断された場合（例えば、人物混在シーンにおいて顏部以外のエリアでピークが検出された場合等）には、合焦評価部１１１は、そのピークが無効であると判断する。
【００８１】
続いて、合焦評価部１１１は、ピーク再出現判断を行う（ステップＳ４０４）。ピーク再出現判断は、現フレームにおけるエリアｎで判断されたピークが再出現したものであるかを判断する処理である。既にエリアｎの合焦画像情報が得られている場合に、合焦評価部１１１は、現フレームにおけるエリアｎで判断されたピークが再出現したものであると判断する。
【００８２】
続いて、合焦評価部１１１は、ピーク無効化判断を行う（ステップＳ４０５）。ピーク無効化判断は、ステップＳ４０３で有効でないと判断されたピークを無効化する処理である。
【００８３】
なお、ステップＳ４０２のピーク判断において、ピークが検出されなかった場合には、ステップＳ４０３〜Ｓ４０５の処理は省略される。
【００８４】
エリアｎの評価値の評価を行った後、合焦評価部１１１は、有効なピークが検出されているか否かを判定する（ステップＳ４０６）。ステップＳ４０６において、有効なピークが検出されていると判定した場合に、合焦評価部１１１は、エリアｎの合焦画像情報として、現フレームのフレーム番号を記録してメモリ１０６に記憶させる（ステップＳ４０７）。エリアｎの合焦画像情報が既に作成されている場合には、その作成されている合焦画像情報に現フレームのフレーム番号を追記する。エリアｎの合焦画像情報が作成されていない場合には、新たにエリアｎの合焦画像情報を作成する。
【００８５】
ステップＳ４０６において有効なピークを検出していないと判断した場合又はステップＳ４０７の後、合焦評価部１１１は、現フレームの全エリアの評価を終了したか否かを判定する（ステップＳ４０８）。ステップＳ４０８において、全エリアの評価を終了していないと判定した場合に、合焦評価部１１１は、処理をステップＳ４０１に戻して次のエリアに対する評価を開始する。
【００８６】
また、ステップＳ４０８において、全エリアの評価を終了したと判定した場合に、合焦評価部は、画像削除判断を行う（ステップＳ４０９）。画像削除判断は、現フレームの画像データの何れかのエリアで合焦状態であったか、即ち現フレームのフレーム番号が何れかのエリアに対応した合焦画像情報として記録されているかを判断し、現フレームのフレーム番号が何れのエリアの合焦画像情報にも記録されていない場合に、その現フレームの画像データをメモリ１０６から削除する処理である。画像削除処理の後、ＣＰＵ１０１は、図９の処理を終了させる。
【００８７】
ここで、ステップＳ４０６の有効なピークの検出判定からステップＳ４０９の画像削除判断までの処理は、フォーカスレンズの駆動が終了した後に、全てのフレームの画像データについてまとめて行うようにしても良い。
【００８８】
図１０は、画像再生処理について示すフローチャートである。また、図１１は、画像再生処理中に表示部１０８に表示される画面の遷移を示す図である。
【００８９】
画像再生処理において、ＣＰＵ１０１は、ストレージ１０９に記録された画像ファイルのヘッダ情報を参照して、ヘッダ情報に合焦画像情報が記録されているか否かを判定する（ステップＳ５０１）。
【００９０】
ステップＳ５０１において、合焦画像情報が記録されていないと判定した場合に、ＣＰＵ１０１は、通常の画像ファイルの再生を行う。この通常の画像ファイルの再生については簡単に説明する。ＣＰＵ１０１は、ステップＳ１１３の処理でストレージ１０９に記録された画像ファイルから画像データを読み出し、読み出した画像データを画像処理部１０７において伸張する。そして、伸張した画像データに対応した画像を表示部１０８に表示させる。
【００９１】
また、ステップＳ５０１において、合焦画像情報が記録されていると判定した場合に、ＣＰＵ１０１は、画像ファイル内に記録されている複数のマルチフォーカス画像データのうちの何れかを代表画像データとして読み出し、読み出した代表画像データを画像処理部１０７において伸張する。そして、伸張した代表画像データ対応した画像３０１を、図１１に示すようにして表示部１０８に表示させる（ステップＳ５０２）。ここで、代表画像データは、例えば画像ファイル内に記録されている複数のマルチフォーカス画像データのうちで最初に記録されたマルチフォーカス画像データとする。最後に記録されたマルチフォーカス画像データを、代表画像データとしても良い。
【００９２】
代表画像を表示させた後、ＣＰＵ１０１は、画像再生処理用のメニュー項目に対応したソフトウェアボタンを、代表画像に重畳して表示させる（ステップＳ５０３）。
ここで、代表画像の表示について説明する。代表画像の表示時のメニュー項目としては、例えば、図１１に示す「フォーカス位置選択」３０２、「全フォーカス画像」３０３、「合成、切出」３０４の３つの項目を表示部１０８に表示させる。また、これらのメニュー項目を選択するためのポインタ３０５も表示部１０８に表示させる。これらのメニュー項目を表示させるための表示データは、プログラムメモリ１１４に予め記憶されているものである。
【００９３】
ユーザは、操作ボタン１１０１を操作してポインタ３０５を所望のメニュー項目上に移動させることにより、メニュー項目の選択を行うことが可能である。なお、ポインタ３０５によってメニュー項目を選択する構成とせずに、タッチパネル１１０２によってメニュー項目の選択を行う構成としても良い。
【００９４】
さらに、本実施形態においては、エリア毎の合焦画像情報を参照することにより、代表画像３０１の何れのエリアが合焦状態であるかを判断することが可能である。このため、代表画像３０１における合焦状態のエリアを強調表示することもできる。図１１では、合焦状態のエリアを、枠３０６によって強調表示させている。しかしながら、これに限らず各種の方式で合焦状態のエリアを示すようにして良い。
【００９５】
メニュー表示をした後、ＣＰＵ１０１は、ユーザによって何れかのメニュー項目が選択されたか否か、及び選択されたメニュー項目が何れであるかを判定する（ステップＳ５０４）。何れかのメニュー項目が選択されたと判定した場合に、ＣＰＵ１０１は、選択されたメニュー項目に従った処理を行う。また、何れのメニュー項目も選択されていないと判定した場合に、ＣＰＵ１０１は、ステップＳ５０４の判定を継続しつつ、待機する。
【００９６】
ステップＳ５０４において、「全フォーカス画像」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、画像ファイルに記録されているそれぞれのマルチフォーカス画像データのサムネイル画像３０１ａを表示部１０８に表示させる（ステップＳ５０５）。また、全フォーカス画像表示の際には、複数のサムネイル画像３０１ａを表示させるのに伴って、メニュー項目も全フォーカス画像表示に対応したものに変更する。全フォーカス画像の表示時のメニュー項目としては、例えば「画像分離」３０７、「代表画像更新」３０８、「戻る」３０９の３つの項目を表示部１０８に表示させる。
【００９７】
ここで、表示部１０８の画面サイズによっては、全てのサムネイル画像３０１ａを同時表示させることができない場合がある。この場合には、切替ボタン３１０を表示させる。図１１は、１６枚のサムネイル画像３０１ａを同時表示させる例を示している。仮に、１７枚以上のマルチフォーカス画像データが画像ファイルに記録されている場合には、切替ボタン３１０を表示させる。ユーザによって、切替ボタン３１０が選択された場合には、画像ファイルに記録されている別の１６枚の（現在表示されている１６枚の前又は後の）マルチフォーカス画像のサムネイル画像を表示部１０８に表示させる。ここで、サムネイル画像３０１ａの同時表示枚数は、１６枚に限るものではない。この同時表示枚数をユーザが設定するようにしても良い。
【００９８】
メニュー項目の更新後、ＣＰＵ１０１は、各マルチフォーカス画像の合焦エリアを、例えば枠表示によって強調表示する（ステップＳ５０６）。なお、マルチフォーカス画像は、個々の表示サイズが小さいので、強調表示を省略するようにしても良い。
【００９９】
強調表示の後、ＣＰＵ１０１は、ユーザによる、表示部１０８に表示されている何れかのサムネイル画像３０１ａの選択を待つ（ステップＳ５０７）。サムネイル画像３０１ａの選択がなされた場合に、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５０８）。
「画像分離」が選択されたと判定された場合に、ＣＰＵ１０１は、現在選択されているサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、組画像から分離する。具体的には、ユーザによって選択されたサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、画像ファイルから読み出して別個の画像ファイルとしてストレージ１０９に記録する。この際、ユーザによって選択されたサムネイル画像３０１ａに対応しているマルチフォーカス画像データは、もとの画像ファイルから削除しても良いし、そのまま残しておいても良い。
また、「代表画像更新」が選択されたと判定された場合に、ＣＰＵ１０１は、現在選択されているサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、代表画像に設定する。
また、「戻る」が選択されたと判定された場合に、ＣＰＵ１０１は、全フォーカス画像表示を中断して代表画像表示に戻す。「代表画像更新」が選択されて代表画像が更新されていた場合には、「戻る」の選択後、更新された代表画像が表示部１０８に表示されることとなる。
【０１００】
ステップＳ５０４において、「合成、切出」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、合成、切出用のサブメニューを表示させる（ステップＳ５０９）。合成、切出用のサブメニューとしては、例えば「全域合焦」３１１、「代表画像更新」３１２、「合焦位置切出」３１３の３つの項目を表示部１０８に表示させる。
【０１０１】
合成、切出用のサブメニューの表示後、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５１０）。
「全域合焦」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、複数のマルチフォーカス画像データをエリア単位で合成して、多数のエリアで合焦状態となっている多エリア合焦画像データを生成する。この合成処理は、例えば合焦状態でないエリアのデータを、同じエリアの合焦状態となっているデータで置き換えることにより行う。そして、ＣＰＵ１０１は、この多エリア合焦画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。
【０１０２】
また、「ボケ強調」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、複数のマルチフォーカス画像データをエリア単位で合成して所定のエリアでボケが強調されたボケ強調画像データを生成する。この合成処理は、例えば、代表画像データの中でユーザによって選択されたエリアのデータに、このエリアと同じエリアで合焦状態となっていないデータを別のマルチフォーカス画像データから抽出して合成する（例えば加算平均する）ことにより行う。そして、ＣＰＵ１０１は、このボケ強調画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア３１５のボケが強調された画像データを得ることが可能である。
【０１０３】
また、「合焦位置切出」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、ユーザによって選択されたエリアのデータを代表画像データから抽出し、抽出した画像データを拡大する。そして、ＣＰＵ１０１は、この拡大した画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア３１４を切り出すことが可能である。
【０１０４】
ステップＳ５０４において、「フォーカス位置選択」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、フォーカス位置選択ウィザード表示を行う（ステップＳ５１１）。このフォーカス位置選択ウィザード表示において、ＣＰＵ１０１は、フォーカス位置選択枠３１６を表示させる。
【０１０５】
フォーカス位置選択ウィザード表示の後、ＣＰＵ１０１は、ユーザによるエリアの選択を待つ（ステップＳ５１２）。ステップＳ５１２において、ユーザは、このフォーカス位置選択枠３１６を操作部１１０（操作ボタン１１０１及びタッチパネル１１０２の何れでも良い）を用いて操作して、代表画像中の任意のエリアを選択する。この選択を受けて、ＣＰＵ１０１は、合焦画像情報を参照して、ユーザによって選択されたエリアにおいて合焦状態となっている複数のマルチフォーカス画像を画像ファイルから抽出し、抽出したマルチフォーカス画像を、ユーザが所望している合焦状態の画像の候補の画像３０１ｂとして表示部１０８に同時表示させる（ステップＳ５１３）。図１１の例は、ユーザによって選択されたエリアにおいて、３枚のマルチフォーカス画像データが合焦状態となっている例を示している。ここで、図１１の例では、３枚のうちの選択された１枚については、ユーザが画像の全体を視認できるように表示させている。この場合、切替ボタン３１０が操作される毎に視認可能なマルチフォーカス画像の切り替えを行う。また、フォーカス位置選択の際には、複数のマルチフォーカス画像３０１ｂを表示させるのに伴って、メニュー項目も変更する。フォーカス位置選択の際のメニュー項目としては、例えば「画像分離」３０７、「代表画像更新」３０８、「戻る」３０９の３つの項目を表示部１０８に表示させる。
【０１０６】
候補画像３０１ｂの表示の後、ＣＰＵ１０１は、ユーザによる、表示部１０８に表示されている何れかの候補画像３０１ｂの選択を待つ（ステップＳ５１４）。候補画像３０１ｂの選択がなされた場合に、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５１５）。このメニュー項目に応じた処理は、全フォーカス画像表示の場合と同様であるので説明を省略する。
【０１０７】
ここで、前述した実施形態においては、画像再生処理を画像ファイルの記録後に行うようにしている。これに対し、画像再生処理を、撮影動作とは別個に行うようにしても良い。また、前述した実施形態においては、画像再生処理を撮像装置１０において行うようにしている。これに対し、画像再生処理を、撮像装置１０とは別個の画像編集装置（例えばパーソナルコンピュータ）において行うようにしても良い。
【０１０８】
以上説明したように、本実施形態によれば、フォーカスレンズを一方向に駆動しつつ、撮像部１０２によって連続的に撮像動作を実行して合焦状態の異なる複数のマルチフォーカス画像を得るようにしている。また、それぞれのマルチフォーカス画像の何れのエリアが合焦状態であるのかを、合焦画像情報として記録するようにしている。このような構成により、ユーザは、撮影後の画像再生処理において、所望のエリアに合焦しているマルチフォーカス画像を選択することが可能である。また、本実施形態では、ユーザが、レリーズ指示をしたタイミングで、フォーカスレンズの駆動と撮像動作とを同期させて連続して実行するようにしている。これにより、シャッタチャンスを逃すことなく、多くのマルチフォーカス画像を得ることが可能である。さらに、本実施形態では、撮影時における被写体を判断し、この判断結果に応じて、フォーカスレンズのスキャン範囲や各種の撮影パラメータを設定している。これにより、全体としての撮影時間を必要以上に長くすることなく、また、画質の劣化も抑えて、多くの合焦状態の画像を記録することが可能である。
【０１０９】
また、本実施形態では、一連の撮影動作によって、合焦状態の異なる複数のマルチフォーカス画像が記録されるので、これらのマルチフォーカス画像を合成して合焦状態のエリアを増やした画像データや、ボケを強調した画像データを新たに生成することも可能である。
【０１１０】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１１１】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１１２】
１０…撮像装置、１０１…ＣＰＵ、１０２…撮像部、１０３…フォーカス駆動部、１０４…絞り駆動部、１０５…バス、１０６…メモリ、１０７…画像処理部、１０８…表示部、１０９…ストレージ、１１０…操作部、１１１…合焦評価部、１１２…顏検出部、１１３…動き検出部、１１４…プログラムメモリ、１０２１…撮像光学系、１０２２…撮像素子、１０２３…撮像処理部、１１０１…操作ボタン、１１０２…タッチパネル
【技術分野】
【０００１】
本発明は、オートフォーカス機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来のフォーカス技術に関する提案として、ユーザが意図する合焦状態での撮影を可能とするための提案が、各種なされている。例えば、特許文献１では、合焦エリア内に複数の被写体が存在していた場合であっても、ユーザが意図する合焦状態の画像が得られるように、評価値を評価した結果、複数のピークが検出された場合に、検出されたピークの付近のフォーカス位置でブラケット撮影を行うようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０８６０３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、特許文献１の手法では、複数のピークが検出されたと判断された後でブラケット撮影を行う。このため、実際にフォーカスレンズがユーザの所望する合焦状態となるまでには時間がかかり易く、シャッタチャンスを逃してしまう可能性がある。また、全体としての撮影時間も長くなり易い。
【０００５】
本発明は、上記の事情に鑑みてなされたもので、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の一態様の撮像装置は、フォーカスレンズを有する撮像光学系と、前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、前記被写体を判断する被写体判断部と、前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、シャッタチャンスを逃さずに、また全体としての撮影時間も少なくしつつ、ユーザが所望の合焦状態の画像を得ることができる撮像装置を提供することが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】撮影動作時の処理について示すフローチャートである。
【図３】被写体パターン判断処理について示すフローチャートである。
【図４】撮影シーンの例を示す図である。
【図５】汎用シーンにおける有効画像サーチ処理の概要を示す図である。
【図６】合焦画像情報について説明するための図である。
【図７】ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。
【図８】有効画像サーチ処理における具体的な処理を示すフローチャートである。
【図９】エリア別画像解析処理について示すフローチャートである。
【図１０】画像再生処理について示すフローチャートである。
【図１１】画像再生処理中に表示部に表示される画面の遷移を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すように、撮像装置１０は、ＣＰＵ１０１と、撮像部１０２と、フォーカス駆動部１０３と、絞り駆動部１０４と、バス１０５と、メモリ１０６と、画像処理部１０７と、表示部１０８と、ストレージ１０９と、操作部１１０と、合焦評価部１１１と、顏検出部１１２と、動き検出部１１３と、プログラムメモリ１１４と、を有している。
【００１０】
ＣＰＵ１０１は、撮像装置１０の全体の動作を統括的に制御する。具体的には、ＣＰＵ１０１は、フォーカス制御部としての機能を有し、フォーカス駆動部１０３を制御して撮像部１０２の撮像光学系１０２１の合焦状態を制御する。また、ＣＰＵ１０１は、撮像制御部としての機能を有し、撮像部１０２の撮像動作を制御する。また、ＣＰＵ１０１は、表示制御部としての機能を有し、表示部１０８における画像の表示制御をする。また、ＣＰＵ１０１は、記録制御部としての機能を有し、ストレージ１０９への各種のデータの書込制御及びストレージ１０９からの各種のデータの読出制御をする。さらに、ＣＰＵ１０１は、被写体判断部としての機能を有し、後述するシーン情報や撮影状況情報に応じて、撮影時における被写体を判断する。
【００１１】
撮像部１０２は、図示しない被写体を撮像して、被写体に係る画像（画像データ）を得る。撮像部１０２は、撮像光学系１０２１と、撮像素子１０２２と、撮像処理部１０２３と、を有している。
【００１２】
撮像光学系１０２１は、被写体からの光束を撮像素子１０２２に結像させるための光学系である。この撮像光学系１０２１は、フォーカスレンズや絞りを有している。フォーカスレンズは、撮像光学系１０２１の合焦状態を調整するためのレンズである。フォーカスレンズをその光軸方向に沿って駆動させることにより、撮像光学系１０２１の合焦状態を変化させることが可能である。絞りは、撮像光学系１０２１中に配置され、絞り込まれることによって、撮像光学系１０２１を介して撮像素子１０２２に入射する光束を制限する。
【００１３】
撮像素子１０２２は、光電変換素子が２次元状に配置された受光面を有し、撮像光学系１０２１を介して受光面に入射した光束を、その光量に応じたアナログ電気信号（画像信号と言う）に変換する。ここで、撮像素子１０２２は、電子シャッタ機能を有していることが望ましい。
【００１４】
撮像処理部１０２３は、撮像素子１０２２から出力された画像信号に対して、ゲイン制御処理や相関二重サンプリング処理といったアナログ処理を施す。そして、撮像処理部１０２３は、アナログ処理をした画像信号を、デジタル信号（画像データと言う）に変換する処理も行う。
【００１５】
フォーカス駆動部１０３は、モータ等を有し、ＣＰＵ１０１の制御に従ってフォーカスレンズを駆動する。絞り駆動部１０４は、モータ等を有し、ＣＰＵ１０１の制御に従って絞りを駆動する。
【００１６】
バス１０５は、撮像装置１０の内部で発生した各種のデータを転送するための転送路である。図１に示す撮像装置１０において、バス１０５は、ＣＰＵ１０１と、撮像部１０２と、メモリ１０６と、画像処理部１０７と、表示部１０８と、ストレージ１０９と、操作部１１０と、合焦評価部１１１と、顏検出部１１２と、動き検出部１１３と、プログラムメモリ１１４と、に接続されている。
【００１７】
メモリ１０６は、撮像部１０２で得られた画像データや画像処理部１０７で得られた画像データ、及びＣＰＵ１０１における処理データ等を一時的に記憶しておくための記憶部である。本実施形態におけるメモリ１０６は、撮影時において生成されるマルチフォーカス画像データ及び合焦画像情報も記憶する。
【００１８】
画像処理部１０７は、画像データに対して各種の画像処理を施す。この画像処理は、ホワイトバランス処理、階調補正処理、圧縮処理、拡大縮小処理等が含まれる。また、画像処理部１０７は、画像データの再生時には、圧縮処理された画像データを伸張することも行う。また、本実施形態の画像処理部１０７は、第１の画像処理部としての機能を有し、後述の画像再生処理においてユーザによって指定された合焦画像中のエリアを拡大することも行う。また、本実施形態の画像処理部１０７は、第２の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成して複数のエリアでフォーカスレンズが合焦している多エリア合焦画像を生成することも行う。さらに、本実施形態の画像処理部１０７は、第３の画像処理部としての機能を有し、後述の画像再生処理において複数の合焦画像を合成してボケが強調されたボケ強調画像を生成することも行う。
【００１９】
表示部１０８は、ＣＰＵ１０１の制御に従って、ライブビュー画像、撮影画像、メニュー画面といった各種の画像を表示する。ここで、ライブビュー画像とは、撮像部１０２を連続させて得られる画像であって、撮像部１０２の動作に同期して表示部１０８にリアルタイム表示される画像である。また、撮影画像は、撮影動作によって得られる記録用の画像である。撮影画像は、表示部１０８に表示されるとともにストレージ１０９に記録される。メニュー画面は、ユーザが撮像装置１０の各種の設定を行うための画面である。
【００２０】
ストレージ１０９は、ＣＰＵ１０１の制御に従って、撮影動作によって得られる撮影画像を画像ファイルとして記録する。ストレージ１０９は、撮像装置１０に内蔵させるようにしても良いし、撮像装置１０に対して着脱自在としても良い。
【００２１】
操作部１１０は、ユーザが撮像装置１０に対する各種の操作を行うための操作部材である。操作部１１０は、操作ボタン１１０１と、タッチパネル１１０２と、を有している。操作ボタン１１０１は、レリーズボタンや電源ボタン等のボタン式の操作部材である。なお、ここではボタンとしているが、必ずしもボタン式の操作部材とする必要はない。また、タッチパネル１１０２は、表示部１０８と一体的に形成されており、表示部１０８の画面上でのユーザの指等の接触位置を検出したり、指等の動きを検出したりする。ＣＰＵ１０１は、タッチパネル１１０２を介して検出された接触位置や指等の動きに応じた処理を実行する。このような操作部１１０は、選択部の一例として機能する。
【００２２】
合焦評価部１１１は、画像データに対する合焦状態を評価する。このために、合焦評価部１１１は、画像データを複数のエリアに分割し、分割したエリア内の画像データから、コントラストを評価するための評価値を生成する。評価値の変化は、画像データにおけるコントラストの変化に対応している。合焦評価部１１１は、評価値の変化の極大（ピーク）を判断することによって画像データのそれぞれのエリアにおける合焦状態を判断する。あるエリアのコントラストが極大（ピーク）となるとき、そのエリアに対して撮像光学系１０２１が合焦していることを示す。
【００２３】
顏検出部１１２は、画像データから人物の顏部を検出する。顏部の検出は、例えば目や鼻といった人物の顏部の特徴を画像データから検出することによって行う。
【００２４】
動き検出部１１３は、例えば加速度センサであって、撮像装置１０の動きを検出する。この動き検出部１１３により、手ブレ等を検出するようにしても良い。
【００２５】
プログラムメモリ１１４は、ＣＰＵ１０１が撮像装置１０に係る各種の処理を実行するために必要なプログラムや、各種の処理を実行するために必要なパラメータを記憶する記憶部である。本実施形態におけるプログラムメモリ１１４は、撮像光学系１０２１の光学特性情報（撮像光学系１０２１の焦点距離情報）等を、パラメータとして記憶している。
【００２６】
次に、図１に示した撮像装置１０を用いた撮影動作について説明する。図２は、撮影動作時の処理について示すフローチャートである。図２の動作は、撮像装置１０の動作モードが撮影モードに設定されているときに実行される。
【００２７】
図２において、ＣＰＵ１０１は、ライブビュー表示を行う（ステップＳ１０１）。ステップＳ１０１において、ＣＰＵ１０１は、撮像部１０２を動作させ、撮像部１０２を介して得られた画像データに対し、画像処理部１０７により、ライブビュー表示用の画像処理（ホワイトバランス処理、階調補正処理、縮小処理等）を施した後、この画像処理によって得られたライブビュー画像データを表示部１０８に入力する。ライブビュー画像データの入力を受けて、表示部１０８は、ライブビュー画像の表示を行う。このようなライブビュー表示では、ユーザが、表示部１０８においてリアルタイムで被写体を観察することが可能である。
【００２８】
ライブビュー表示の後、ＣＰＵ１０１は、現在の撮影シーンを判断する（ステップＳ１０２）。ステップＳ１０２の撮影シーン判断は、後述の被写体パターン判断処理において被写体を判断するために必要となる、シーン情報を取得する処理である。撮影シーン判断処理において、ＣＰＵ１０１は、顏検出部１１２によって顏部を検出し、顏部の位置及び面積をシーン情報として記憶しておく。また、撮影シーン判断処理において、ＣＰＵ１０１は、後述のフルタイムＡＦの結果を用いて被写体距離を算出し、算出した被写体距離情報をシーン情報として記憶しておく。この他、ＣＰＵ１０１は、フレーム毎の画像データ間の差分から被写体の動きベクトルを算出し、算出した動きベクトル情報を記憶しておく。ステップＳ１０２で取得する情報は、あくまでも一例であって、被写体を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【００２９】
撮影シーンを判断した後、ＣＰＵ１０１は、現在の撮影状況を判断する（ステップＳ１０３）。ステップＳ１０３の撮影状況判断処理は、後述の被写体パターン判断処理において被写体を判断するために必要となる、撮影状況情報を取得する処理である。撮影状況判断処理において、ＣＰＵ１０１は、動き検出部１１３の出力から、撮像装置１０の動きを検出し、検出した動き情報を撮影状況情報として記憶しておく。ステップＳ１０３で取得する情報は、あくまでも一例であって、撮像装置の状況を特定できる情報であれば、上述した以外の情報を取得するようにしても良い。
【００３０】
撮影シーン判断処理の後、ＣＰＵ１０１は、フルタイムＡＦ処理を実行する（ステップＳ１０４）。フルタイムＡＦ処理は、ライブビュー表示が実行されている間に実行されるＡＦ（オートフォーカス）処理である。本実施形態においては、フルタイムＡＦ処理として、山登り式のコントラストＡＦを実行する。この際、ＣＰＵ１０１は、フォーカス駆動部１０３を駆動してフォーカスレンズを所定のスキャン範囲内で駆動させつつ、撮像部１０２を介して得られる画像データから、合焦評価部１１１において画像データにおけるコントラストを評価する。そして、ＣＰＵ１０１は、コントラスト（評価値）のピークに対応する位置にフォーカスレンズを駆動する。コントラストのピークに対応した位置にフォーカスレンズを駆動させたとき、撮像光学系１０２１は合焦状態となる。また、合焦状態となっているときの撮像光学系１０２１の焦点距離等から、撮影シーン情報としての被写体距離を求めることが可能である。
ここで、複数の被写体が遠近に混在しているシーン等、撮影シーンによっては、複数のフォーカスレンズ位置でコントラストのピークが存在する可能性がある。複数のフォーカスレンズ位置でコントラストのピークが存在する場合、例えば最至近（被写体距離が最も短い）の被写体に対応したフォーカスレンズ位置でフォーカスレンズを停止させる。この他の考え方に従ってフォーカスレンズを駆動させるようにしても良い。
【００３１】
フルタイムＡＦによってフォーカスレンズを駆動した後、ＣＰＵ１０１は、ユーザによってレリーズ指示がなされたか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、ＣＰＵ１０１は、例えばユーザによって操作部１１０のレリーズボタンが押された場合にレリーズ指示がなされたと判定する。ステップＳ１０５において、レリーズ指示がなされていないと判定した場合に、ＣＰＵ１０１は、処理をステップＳ１０１に戻してライブビュー表示を継続する。即ち、ＣＰＵ１０１は、次のフレームのライブビュー画像を表示部１０８に表示させる。
【００３２】
ステップＳ１０５において、レリーズ指示がなされたと判定した場合、ＣＰＵ１０１は、被写体パターン判断処理を実行する（ステップＳ１０６）。被写体パターン判断処理は、撮影シーンや撮影状況を特定することによって、撮影時の被写体を判断する処理である。ステップＳ１０６の被写体パターン判断処理の詳細については後述する。
【００３３】
被写体パターン判断処理によって被写体を特定した後、ＣＰＵ１０１は、撮像部１０２を介して得られた画像データから、被写体の露出（輝度）を算出する（ステップＳ１０７）。そして、ＣＰＵ１０１は、算出した被写体の露出及び被写体パターン判断処理の判断結果に応じて、露光時間ＴＶ、撮像素子感度ＳＶ、撮像フレームレートＦｒａｔｅ、及び絞り値ＡＶを設定する（ステップＳ１０８）。続いて、ＣＰＵ１０１は、被写体パターン判断処理の結果に応じて、フォーカスレンズの駆動速度を設定する（ステップＳ１０９）。さらに、ＣＰＵ１０１は、フォーカスレンズのスキャン方向及びスキャン範囲を設定する（ステップＳ１１０）。これらのステップＳ１０８〜Ｓ１１０の処理の詳細については後述する。
【００３４】
撮影前の各種の撮影パラメータの設定を行った後、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、ステップＳ１１０で設定したスキャン範囲内の初期位置に、フォーカスレンズを駆動する（ステップＳ１１１）。その後、ＣＰＵ１０１は、有効画像サーチ処理を開始する（ステップＳ１１２）。詳細は後述するが、有効画像サーチ処理中には、画像データに対する合焦状態をエリア毎に評価する。撮像光学系１０２１が合焦しているエリアを１つでも有している画像データに対しては、その画像データを特定するための情報（例えば、その画像データのフレーム番号）を合焦画像情報としてメモリ１０６に記憶させる。また、その画像データもメモリ１０６に記憶させる。
【００３５】
有効画像サーチ処理が終了した後、ＣＰＵ１０１は、有効画像サーチ処理中にメモリ１０６に記憶された画像データに対し、画像処理部１０７により、記録用の画像処理（ホワイトバランス処理、階調補正処理、圧縮処理等）を施した後、この画像処理によって得られた撮影画像データに所定のヘッダ情報を付与し、これにより得られた画像ファイルをストレージ１０９に記録する（ステップＳ１１３）。ここで、合焦画像情報がメモリ１０６に記憶されている場合には、合焦画像情報もヘッダ情報に記録する。
【００３６】
詳細は後述するが、本実施形態では、有効画像サーチ処理中に、複数の画像データ（マルチフォーカス画像データ）がメモリ１０６に記憶される可能性が高い。これらのマルチフォーカス画像データは、別個のファイルとして記録しても良いし、組画像の形式でファイルに記録しても良い。組画像の形式とは、１つのファイル内に複数の画像データを記録する形式である。組画像の形式でマルチフォーカス画像データを記録する場合には、それぞれのマルチフォーカス画像データの位置情報をヘッダ情報に記録しておく。組画像ファイル内の任意のマルチフォーカス画像データにアクセスする際には、ヘッダ情報内の位置情報を参照する。
【００３７】
画像ファイルを記録した後、ＣＰＵ１０１は、画像再生処理を実行する（ステップＳ１１４）。その後、ＣＰＵ１０１は、図２の処理を終了させる。画像再生処理は、ストレージ１０９に記録した撮影画像データに対応した画像（マルチフォーカス画像）を表示部１０８に表示させる処理である。画像再生処理の詳細については後述する。
【００３８】
次に被写体パターン判断処理について説明する。図３は、被写体パターン判断処理について示すフローチャートである。被写体パターン判断処理において、ＣＰＵ１０１は、撮像光学系１０２１の焦点距離及び現在の絞り値等の情報を用いて被写界深度を算出する（ステップＳ２０１）。その後、ＣＰＵ１０１は、シーン情報及び撮影状況情報を有しているか否かを判定する（ステップＳ２０２）。
【００３９】
ステップＳ２０２において、シーン情報及び撮影状況情報を有していると判定した場合に、ＣＰＵ１０１は、シーン情報、撮影状況情報、及び被写界深度情報を用いて現在の撮影シーンを判断する（ステップＳ２０３）。本実施形態では、例として、撮影シーンを、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーン、汎用シーンの６つに分類することとする。
【００４０】
人物混在シーンは、図４（ａ）で示すような、複数の人物を被写体として撮影する撮影シーンである。例えば、顏検出部１１２により、複数の顏部が検出されたと判定した場合に、ＣＰＵ１０１は、撮影シーンが人物混在シーンであると判断する（ステップＳ２０４）。
【００４１】
動体シーンは、図４（ｂ）で示すような、スポーツシーン等の動きの大きい被写体を撮影する撮影シーンである。例えば、被写体の動きベクトルが所定の閾値よりも大きい場合や、撮像装置１０の動きが所定の閾値よりも大きいと判定した場合に、ＣＰＵ１０１は、撮影シーンが動体シーンであると判断する（ステップＳ２０５）。
【００４２】
ポートレートシーンは、図４（ｃ）で示すような、人物の顏が被写体となる撮影シーンである。例えば、顏検出部１１２により、所定の面積以上の顏部が検出された場合に、ＣＰＵ１０１は、撮影シーンがポートレートシーンであると判断する（ステップＳ２０６）。
【００４３】
遠近広域分布シーンは、図４（ｄ）で示すような被写体と風景とが混在するシーン等の、遠近に被写体が混在する撮影シーンである。例えば、複数の被写体距離が得られ、これらの被写体距離の差が所定の閾値以上であると判定した場合に、ＣＰＵ１０１は、撮影シーンが遠近広域分布シーンであると判断する（ステップＳ２０７）。
【００４４】
マクロシーンは、図４（ｅ）で示すような撮像装置１０を被写体に近づけて撮影を行う撮影シーンである。例えば、被写体距離が所定の距離よりも近いと判定した場合に、ＣＰＵ１０１は、撮影シーンがマクロシーンであると判断する（ステップＳ２０８）。
【００４５】
汎用シーンは、人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れでもない、被写体の特徴が特定できない撮影シーンである。人物混在シーン、動体シーン、ポートレートシーン、遠近広域分布シーン、マクロシーンの何れの判断条件も満足しない場合、又はシーン情報及び撮影状況情報を有していないと判定した場合に、ＣＰＵ１０１は、撮影シーンが汎用シーンであると判断する（ステップＳ２０９）。
【００４６】
ここで、上述した撮影シーンの判断手法の場合、複数の撮影シーンの判断条件を同時に満足する場合がある。この場合には、予め定められた優先順位に従って撮影シーンを判断する。この優先順位は、例えば（１）ポートレートシーン、（２）人物混在シーン、（３遠近広域分布シーン（４）動体シーン、（５）マクロシーンの順とする。この順位付けは一例であって、適宜変更可能である。
【００４７】
また、簡易的に撮影シーンを判断する手法としては、シーンモードから判断する手法もある。シーンモードとは、撮影時においてユーザが設定できるモードの１つである。シーンモードが設定されている場合、ＣＰＵ１０１は、現在の撮影シーンが、その時点で設定されているシーンモードに応じた撮影シーンであると判断する。
【００４８】
次に、有効画像サーチ処理について説明する。まず、有効画像サーチ処理に先立つ撮影パラメータの設定について説明する。詳細は後述するが、有効画像サーチ処理では、フォーカスレンズを一方向に駆動させつつ、このフォーカスレンズの駆動に同期するように複数回の撮像動作を実行して画像データをメモリ１０６に記憶させていく。この場合、合焦状態の異なる複数の画像データがメモリ１０６に記憶されることになる。ユーザは、これらの合焦状態の異なる複数の画像データの中から所望の合焦状態の画像データを選択することができる。これは、実質的に本実施形態によって「撮影後にピント合わせ」をしたことに相当する。
【００４９】
ここで、有効画像サーチ処理中の露光回数を多くすれば、より多くの合焦状態の画像データを取得でき、ユーザにとっての所望の合焦状態の画像データが得られ易くなる。しかしながら、露光回数を多くするためには、露光時間を短くするか、全体としての撮影時間を長くする必要がある。
【００５０】
このため、本実施形態では、撮影シーン中の被写体の特徴に応じて、露光時間ＴＶ、撮像素子感度ＳＶ、撮像フレームレートＦｒａｔｅ、絞り値ＡＶ、フォーカスレンズの駆動速度、フォーカスレンズのスキャン方向及びスキャン範囲が適正な値となるように設定する。これにより、全体としての撮影時間を短くしつつ、ユーザが所望とする合焦状態の画像データが得られるようにする。
【００５１】
以下、汎用シーンとポートレートシーンを代表例として、有効画像サーチ処理についてさらに説明する。
【００５２】
まず、汎用シーンにおける撮影パラメータの設定について説明する。上述したように、汎用シーンは、ユーザが注目している被写体の特徴を判断することが困難な撮影シーンである。このような汎用シーンでは、近距離域から遠距離域までのなるべく多くのフォーカスレンズ位置で画像データを取得することが望ましい。したがって、露光回数（撮像フレームレートＦｒａｔｅに対応）は、なるべく多くすることが望ましい。ただし、被写体の露出が極端に低い場合や、被写体又は撮像装置１０の動きが大きい場合等では、画像データにおけるノイズの影響が大きくなる。ノイズの影響が大きい状態では、撮像素子の感度制御だけでは、画像データの露出を制御することが困難である。これは、撮像素子の感度制御によってノイズも増幅されるためである。このため、撮像素子感度ＳＶの制御によって、画質が大きく劣化してしまうと判断される場合には、撮像フレームレートＦｒａｔｅを低くする。このように、汎用シーンにおける撮像フレームレートＦｒａｔｅは、画像に重畳されるノイズの影響（被写体の露出と動き情報から判断される）に基づき、画質を確保できる範囲内で可能な限り高く設定する。
【００５３】
露光時間ＴＶは、撮像フレームレートＦｒａｔｅに対し、画像信号の読み出し時間等を考慮して決める。絞り値ＡＶは、汎用シーンでは、例えば固定値とする。撮像素子感度ＳＶは、これらの設定した露光時間ＴＶと絞り値ＡＶとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【００５４】
フォーカスレンズの駆動速度は、撮像部１０２の露光動作に同期するように設定する。より詳しくは、フォーカスレンズの駆動速度は、露光時間ＴＶに応じて決定する。
【００５５】
また、汎用シーンでは、画像データ内のどのエリアにユーザが注目する被写体が存在しているかを判断できないので、フォーカスレンズのスキャン範囲は、フォーカスレンズの駆動可能な全範囲、即ち無限位置から至近位置までとする。スキャン方向は、無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【００５６】
図５は、汎用シーンにおける有効画像サーチ処理の概要を示す図である。汎用シーンにおける有効画像サーチにおいて、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを初期位置としての無限位置に駆動する。その後、ＣＰＵ１０１は、無限位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部１０２を連続動作させて複数の画像データを取得する。そして、画像データを取得する毎に、ＣＰＵ１０１は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ１０６に記憶させる画像データを選別する。記憶させる画像データは、少なくとも１つのエリアで合焦状態となっている合焦画像データ（マルチフォーカス画像データ）である。また、本実施形態シーンにおいては、エリア毎に合焦状態を判断した結果、１つ以上のエリアで合焦状態であると判断された場合には、それぞれのマルチフォーカス画像データを特定するための情報を合焦画像情報として記録する。このようにして、画像データの選別を行いつつ、フォーカスレンズが至近位置に達したと判定したときに、ＣＰＵ１０１は、有効画像サーチ処理を終了する。
【００５７】
ここで、図５の例では、画像データを３５のエリアに分割し、それぞれのエリア毎に合焦状態を評価している。この他、顏部等の特定の被写体が存在することが予め分っている場合には、分割したエリアとは別に、その特定の被写体の存在するエリアについて合焦状態を評価しても良い。図５における「エリア顏１」が、このような顏部のエリアの合焦状態の評価結果に対応している。
【００５８】
図６は、合焦画像情報について説明するための図である。図６は、１フレーム分の画像データを例えば３５（５行７列）のエリアに分割し、分割したエリア毎に合焦状態の評価を行った結果を示している。ここで、図６の列位置及び行位置のそれぞれに番号を付している。以下、図６におけるそれぞれのエリアを、エリアｎと言う。ｎは、例えば画面の左上端をｎ＝１とし、右方向、下方向の順で増加させ、画面の右下端をｎ＝３５とする。
【００５９】
図６に示すように、フレーム番号Ｆ１の画像データは、エリア６、エリア７、エリア１３、エリア１４で合焦状態となっている。また、フレーム番号Ｆ２の画像データは、エリア５、エリア１０で合焦状態となっている。また、フレーム番号Ｆ３の画像データは、エリア１１、エリア１７、エリア１８で合焦状態となっている。さらに、フレーム番号Ｆ４の画像データは、エリア１５、エリア１６、エリア２２、エリア２３、２４、３０で合焦状態となっている。
【００６０】
本実施形態では、エリア毎の合焦画像情報として、例えばそのエリアで合焦状態となっているマルチフォーカス画像データのフレーム番号を記録する。図６を例にすると、エリア６に対応した合焦画像情報としては、フレーム番号Ｆ１を記録する。また、エリア２２に対応した合焦画像情報としては、フレーム番号Ｆ４を記録する。その他のエリアの合焦画像情報も同様である。なお、同じエリアで複数のマルチフォーカス画像データが合焦状態となる可能性もあるが、その場合には１つの合焦画像情報に複数のフレーム番号を記録する。
【００６１】
このように、本実施形態では、合焦画像情報を記憶している。これにより、撮影動作の終了後であっても、それぞれのマルチフォーカス画像データに対する合焦状態をエリア毎に判断することが可能である。
【００６２】
次に、ポートレートシーンにおける撮影パラメータの設定について説明する。上述したように、ポートレートシーンは、ユーザが注目している被写体が人物の顏部であると判断されている。このため、人物の顏部に対応したフォーカスレンズ位置では、なるべく多くの画像データを取得することが望ましい。これに対し、顏部以外のフォーカスレンズ位置では画像データを取得しなくとも良い。このため、ポートレートシーンでは、フォーカスレンズのスキャン範囲を、顏部の距離に対応したフォーカスレンズ位置の範囲に設定する。
【００６３】
露光時間ＴＶは、汎用シーンの場合と同様に、撮像フレームレートＦｒａｔｅに対し、画像信号の読み出し時間等を考慮して決める。絞り値ＡＶは、汎用シーンでは、例えば固定値とする。撮像素子感度ＳＶは、これらの設定した露光時間ＴＶと絞り値ＡＶとで得られる露出の、適正露出に対するアンダー分を補うように設定する。
【００６４】
フォーカスレンズの駆動速度も、汎用シーンと同様、露光時間ＴＶに同期するように設定する。上述したように、フォーカスレンズのスキャン範囲は、顏部付近の距離に対応したフォーカスレンズ位置の範囲（以下、顏部範囲と言う）に設定する。スキャン方向は、例えば無限位置から至近位置に向かう方向とする。スキャン方向を、至近位置から無限位置に向かう方向としても良い。
【００６５】
図７は、ポートレートシーンにおける有効画像サーチ処理の概要を示す図である。ポートレートシーンにおける有効画像サーチにおいて、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを初期位置としての、顏部範囲の最も遠距離に対応したフォーカスレンズ位置（以下、顏部遠距離位置と言う）に駆動する。その後、ＣＰＵ１０１は、顏部遠距離位置から至近位置に向かってフォーカスレンズを駆動させつつ、予め設定した撮影パラメータに従って撮像部１０２を動作させて複数の画像データを取得する。そして、画像データを取得する毎に、ＣＰＵ１０１は、取得した画像データに対する合焦状態をエリア毎に評価し、この評価結果に従ってメモリ１０６に記憶させる画像データ（マルチフォーカス画像データ）を選別する。その後、フォーカスレンズが顏部範囲の最も近距離に対応したフォーカスレンズ位置（以下、顏部近距離位置と言う）に達したと判定したときに、ＣＰＵ１０１は、有効画像サーチ処理を終了する。ポートレートシーンにおいても、エリア毎に合焦状態を判断した結果、１つ以上のエリアで合焦状態であると判断された場合には、その画像データを示す情報を合焦画像情報としてメモリ１０６に記憶しておく。
【００６６】
ここで、ポートレートシーンにおいて、被写界深度が浅く、瞳等の特にフォーカス精度の求められる顏の特徴部が検出されている場合には、特徴部を含むエリアで合焦していると判断された画像データに加えて、その前後のフォーカスレンズ位置の画像データもメモリ１０６に記憶しておくようにしても良い。これにより、後述の画像再生処理において、ユーザが所望とする合焦状態の画像が得られ易くなる。
【００６７】
汎用シーン及びポートレートシーン以外の人物混在シーン、遠近広域分布シーン、動体シーン、マクロシーンの場合も、撮影パラメータの設定、フォーカスレンズの駆動速度、スキャン範囲が異なるのみで基本的な有効画像サーチ処理の動作は、汎用シーン及びポートレートシーンの例で説明したものと同様である。
【００６８】
人物混在シーンでは、複数の人物（顏）が存在する距離範囲に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、人物に対して合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【００６９】
遠近広域分布シーンでは、汎用シーンに比べて絞り値ＡＶを大きくして被写界深度を深くする。これにより、近距離被写体と遠距離被写体の両方に対して合焦し易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【００７０】
動体シーンでは、汎用シーンに比べて撮像フレームレートＦｒａｔｅを高くし、またフォーカスレンズの駆動速度を高速にする。これにより、動体に追従して合焦させ易くする。この他の撮影パラメータの設定は、汎用シーンと同様で良い。
【００７１】
マクロシーンでは、被写体が存在するマクロ域（近距離域）に対応したフォーカスレンズ位置の範囲にフォーカスレンズのスキャン範囲を設定する。これにより、マクロ域の被写体に対してより合焦し易くする。この他の撮影パラメータの設定は、ポートレートシーンと同様で良い。
【００７２】
図８は、上述した有効画像サーチ処理における具体的な処理を示すフローチャートである。有効画像サーチ処理において、ＣＰＵ１０１は、現在のフォーカスレンズ位置において、ステップＳ１０８で設定された撮影パラメータに従って撮像部１０２による撮像（露光）動作を実行する（ステップＳ３０１）。撮像動作によって得られた画像データは、メモリ１０６に記憶される（ステップＳ３０２）。
【００７３】
１フレーム分の画像データがメモリ１０６に記憶されると、ＣＰＵ１０１は、メモリ１０６に記憶された画像データを合焦評価部１１１に入力し、合焦評価部１１１において評価値を生成させる（ステップＳ３０３）。その後、ＣＰＵ１０１は、合焦評価部１１１においてエリア別画像解析処理を実行させる（ステップＳ３０４）。エリア別画像解析処理は、画像データのエリア毎の合焦評価を行う処理である。具体的な処理の内容については後述する。
【００７４】
エリア別画像解析処理の後、ＣＰＵ１０１は、フォーカス駆動部１０３を制御して、フォーカスレンズを次のフォーカスレンズ位置に駆動させる（ステップＳ３０５）。この際の、フォーカスレンズの駆動速度（単位時間当たりの駆動量）は、ステップＳ１０９で決定されたもの又は後述のステップＳ３０７で更新したものを利用する。
【００７５】
フォーカスレンズの駆動後、ＣＰＵ１０１は、フォーカスレンズのスキャンが終了したか否か、即ちフォーカスレンズ位置がスキャン範囲の終了位置に達したか否かを判定する（ステップＳ３０６）。ステップＳ３０６において、フォーカスレンズのスキャンが終了していないと判定した場合に、ＣＰＵ１０１は、必要に応じてフォーカスレンズの駆動速度を更新する（ステップＳ３０７）。例えば、マクロ域では、フォーカスレンズの位置変化に対する合焦状態の変化の割合が小さいので、フォーカスレンズの駆動速度をより高速にしても良い。フォーカスレンズの駆動速度を更新した後、ＣＰＵ１０１は、処理をステップＳ３０１に戻して、次のフレームに対する撮像動作を実行する。
【００７６】
ステップＳ３０６において、フォーカスレンズのスキャンが終了したと判定した場合、ＣＰＵ１０１は、図８の処理を終了させ、ステップＳ１１３の画像記録を実行する。
【００７７】
図９は、エリア別画像解析処理について示すフローチャートである。エリア別画像解析の処理は、合焦評価部１１１において実行される。
【００７８】
図９において、合焦評価部１１１は、ステップＳ３０３で生成した評価値のうち、エリアｎ（ｎ＝１、２、…）の評価値を評価する（ステップＳ４０１）。このために、合焦評価部１１１は、現フレームにおけるエリアｎの評価値と前フレームにおけるエリアｎの評価値との差分を算出する。この差分を用いて評価を行う。
【００７９】
まず、合焦評価部１１１は、評価値のピーク判断を行う（ステップＳ４０２）。このピーク判断において、合焦評価部１１１は、評価値が増加から減少に転じたか否か、即ちステップＳ４０１で算出した差分の符号が正から負に変化したか否かを判断する。評価値が増加から減少に転じたと判断した場合に、合焦評価部１１１は、現フレームにおけるエリアｎにおいて撮像光学系１０２１が合焦していると判断する。
【００８０】
続いて、合焦評価部１１１は、ピーク有効判断を行う（ステップＳ４０３）。ピーク有効判断は、合焦判断の信頼性を担保するため、ステップＳ４０２で判断されたピークが有効であるかを判断する処理である。例えば、評価値が所定値以上であると判断した場合には、合焦評価部１１１は、ピークが有効であると判断する。また、評価値が所定値未満の場合や、本来、ピークが出現するべきでないエリアでピークが判断された場合（例えば、人物混在シーンにおいて顏部以外のエリアでピークが検出された場合等）には、合焦評価部１１１は、そのピークが無効であると判断する。
【００８１】
続いて、合焦評価部１１１は、ピーク再出現判断を行う（ステップＳ４０４）。ピーク再出現判断は、現フレームにおけるエリアｎで判断されたピークが再出現したものであるかを判断する処理である。既にエリアｎの合焦画像情報が得られている場合に、合焦評価部１１１は、現フレームにおけるエリアｎで判断されたピークが再出現したものであると判断する。
【００８２】
続いて、合焦評価部１１１は、ピーク無効化判断を行う（ステップＳ４０５）。ピーク無効化判断は、ステップＳ４０３で有効でないと判断されたピークを無効化する処理である。
【００８３】
なお、ステップＳ４０２のピーク判断において、ピークが検出されなかった場合には、ステップＳ４０３〜Ｓ４０５の処理は省略される。
【００８４】
エリアｎの評価値の評価を行った後、合焦評価部１１１は、有効なピークが検出されているか否かを判定する（ステップＳ４０６）。ステップＳ４０６において、有効なピークが検出されていると判定した場合に、合焦評価部１１１は、エリアｎの合焦画像情報として、現フレームのフレーム番号を記録してメモリ１０６に記憶させる（ステップＳ４０７）。エリアｎの合焦画像情報が既に作成されている場合には、その作成されている合焦画像情報に現フレームのフレーム番号を追記する。エリアｎの合焦画像情報が作成されていない場合には、新たにエリアｎの合焦画像情報を作成する。
【００８５】
ステップＳ４０６において有効なピークを検出していないと判断した場合又はステップＳ４０７の後、合焦評価部１１１は、現フレームの全エリアの評価を終了したか否かを判定する（ステップＳ４０８）。ステップＳ４０８において、全エリアの評価を終了していないと判定した場合に、合焦評価部１１１は、処理をステップＳ４０１に戻して次のエリアに対する評価を開始する。
【００８６】
また、ステップＳ４０８において、全エリアの評価を終了したと判定した場合に、合焦評価部は、画像削除判断を行う（ステップＳ４０９）。画像削除判断は、現フレームの画像データの何れかのエリアで合焦状態であったか、即ち現フレームのフレーム番号が何れかのエリアに対応した合焦画像情報として記録されているかを判断し、現フレームのフレーム番号が何れのエリアの合焦画像情報にも記録されていない場合に、その現フレームの画像データをメモリ１０６から削除する処理である。画像削除処理の後、ＣＰＵ１０１は、図９の処理を終了させる。
【００８７】
ここで、ステップＳ４０６の有効なピークの検出判定からステップＳ４０９の画像削除判断までの処理は、フォーカスレンズの駆動が終了した後に、全てのフレームの画像データについてまとめて行うようにしても良い。
【００８８】
図１０は、画像再生処理について示すフローチャートである。また、図１１は、画像再生処理中に表示部１０８に表示される画面の遷移を示す図である。
【００８９】
画像再生処理において、ＣＰＵ１０１は、ストレージ１０９に記録された画像ファイルのヘッダ情報を参照して、ヘッダ情報に合焦画像情報が記録されているか否かを判定する（ステップＳ５０１）。
【００９０】
ステップＳ５０１において、合焦画像情報が記録されていないと判定した場合に、ＣＰＵ１０１は、通常の画像ファイルの再生を行う。この通常の画像ファイルの再生については簡単に説明する。ＣＰＵ１０１は、ステップＳ１１３の処理でストレージ１０９に記録された画像ファイルから画像データを読み出し、読み出した画像データを画像処理部１０７において伸張する。そして、伸張した画像データに対応した画像を表示部１０８に表示させる。
【００９１】
また、ステップＳ５０１において、合焦画像情報が記録されていると判定した場合に、ＣＰＵ１０１は、画像ファイル内に記録されている複数のマルチフォーカス画像データのうちの何れかを代表画像データとして読み出し、読み出した代表画像データを画像処理部１０７において伸張する。そして、伸張した代表画像データ対応した画像３０１を、図１１に示すようにして表示部１０８に表示させる（ステップＳ５０２）。ここで、代表画像データは、例えば画像ファイル内に記録されている複数のマルチフォーカス画像データのうちで最初に記録されたマルチフォーカス画像データとする。最後に記録されたマルチフォーカス画像データを、代表画像データとしても良い。
【００９２】
代表画像を表示させた後、ＣＰＵ１０１は、画像再生処理用のメニュー項目に対応したソフトウェアボタンを、代表画像に重畳して表示させる（ステップＳ５０３）。
ここで、代表画像の表示について説明する。代表画像の表示時のメニュー項目としては、例えば、図１１に示す「フォーカス位置選択」３０２、「全フォーカス画像」３０３、「合成、切出」３０４の３つの項目を表示部１０８に表示させる。また、これらのメニュー項目を選択するためのポインタ３０５も表示部１０８に表示させる。これらのメニュー項目を表示させるための表示データは、プログラムメモリ１１４に予め記憶されているものである。
【００９３】
ユーザは、操作ボタン１１０１を操作してポインタ３０５を所望のメニュー項目上に移動させることにより、メニュー項目の選択を行うことが可能である。なお、ポインタ３０５によってメニュー項目を選択する構成とせずに、タッチパネル１１０２によってメニュー項目の選択を行う構成としても良い。
【００９４】
さらに、本実施形態においては、エリア毎の合焦画像情報を参照することにより、代表画像３０１の何れのエリアが合焦状態であるかを判断することが可能である。このため、代表画像３０１における合焦状態のエリアを強調表示することもできる。図１１では、合焦状態のエリアを、枠３０６によって強調表示させている。しかしながら、これに限らず各種の方式で合焦状態のエリアを示すようにして良い。
【００９５】
メニュー表示をした後、ＣＰＵ１０１は、ユーザによって何れかのメニュー項目が選択されたか否か、及び選択されたメニュー項目が何れであるかを判定する（ステップＳ５０４）。何れかのメニュー項目が選択されたと判定した場合に、ＣＰＵ１０１は、選択されたメニュー項目に従った処理を行う。また、何れのメニュー項目も選択されていないと判定した場合に、ＣＰＵ１０１は、ステップＳ５０４の判定を継続しつつ、待機する。
【００９６】
ステップＳ５０４において、「全フォーカス画像」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、画像ファイルに記録されているそれぞれのマルチフォーカス画像データのサムネイル画像３０１ａを表示部１０８に表示させる（ステップＳ５０５）。また、全フォーカス画像表示の際には、複数のサムネイル画像３０１ａを表示させるのに伴って、メニュー項目も全フォーカス画像表示に対応したものに変更する。全フォーカス画像の表示時のメニュー項目としては、例えば「画像分離」３０７、「代表画像更新」３０８、「戻る」３０９の３つの項目を表示部１０８に表示させる。
【００９７】
ここで、表示部１０８の画面サイズによっては、全てのサムネイル画像３０１ａを同時表示させることができない場合がある。この場合には、切替ボタン３１０を表示させる。図１１は、１６枚のサムネイル画像３０１ａを同時表示させる例を示している。仮に、１７枚以上のマルチフォーカス画像データが画像ファイルに記録されている場合には、切替ボタン３１０を表示させる。ユーザによって、切替ボタン３１０が選択された場合には、画像ファイルに記録されている別の１６枚の（現在表示されている１６枚の前又は後の）マルチフォーカス画像のサムネイル画像を表示部１０８に表示させる。ここで、サムネイル画像３０１ａの同時表示枚数は、１６枚に限るものではない。この同時表示枚数をユーザが設定するようにしても良い。
【００９８】
メニュー項目の更新後、ＣＰＵ１０１は、各マルチフォーカス画像の合焦エリアを、例えば枠表示によって強調表示する（ステップＳ５０６）。なお、マルチフォーカス画像は、個々の表示サイズが小さいので、強調表示を省略するようにしても良い。
【００９９】
強調表示の後、ＣＰＵ１０１は、ユーザによる、表示部１０８に表示されている何れかのサムネイル画像３０１ａの選択を待つ（ステップＳ５０７）。サムネイル画像３０１ａの選択がなされた場合に、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５０８）。
「画像分離」が選択されたと判定された場合に、ＣＰＵ１０１は、現在選択されているサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、組画像から分離する。具体的には、ユーザによって選択されたサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、画像ファイルから読み出して別個の画像ファイルとしてストレージ１０９に記録する。この際、ユーザによって選択されたサムネイル画像３０１ａに対応しているマルチフォーカス画像データは、もとの画像ファイルから削除しても良いし、そのまま残しておいても良い。
また、「代表画像更新」が選択されたと判定された場合に、ＣＰＵ１０１は、現在選択されているサムネイル画像３０１ａに対応しているマルチフォーカス画像データを、代表画像に設定する。
また、「戻る」が選択されたと判定された場合に、ＣＰＵ１０１は、全フォーカス画像表示を中断して代表画像表示に戻す。「代表画像更新」が選択されて代表画像が更新されていた場合には、「戻る」の選択後、更新された代表画像が表示部１０８に表示されることとなる。
【０１００】
ステップＳ５０４において、「合成、切出」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、合成、切出用のサブメニューを表示させる（ステップＳ５０９）。合成、切出用のサブメニューとしては、例えば「全域合焦」３１１、「代表画像更新」３１２、「合焦位置切出」３１３の３つの項目を表示部１０８に表示させる。
【０１０１】
合成、切出用のサブメニューの表示後、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５１０）。
「全域合焦」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、複数のマルチフォーカス画像データをエリア単位で合成して、多数のエリアで合焦状態となっている多エリア合焦画像データを生成する。この合成処理は、例えば合焦状態でないエリアのデータを、同じエリアの合焦状態となっているデータで置き換えることにより行う。そして、ＣＰＵ１０１は、この多エリア合焦画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。
【０１０２】
また、「ボケ強調」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、複数のマルチフォーカス画像データをエリア単位で合成して所定のエリアでボケが強調されたボケ強調画像データを生成する。この合成処理は、例えば、代表画像データの中でユーザによって選択されたエリアのデータに、このエリアと同じエリアで合焦状態となっていないデータを別のマルチフォーカス画像データから抽出して合成する（例えば加算平均する）ことにより行う。そして、ＣＰＵ１０１は、このボケ強調画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア３１５のボケが強調された画像データを得ることが可能である。
【０１０３】
また、「合焦位置切出」が選択されたと判定された場合に、ＣＰＵ１０１は、画像処理部１０７により、ユーザによって選択されたエリアのデータを代表画像データから抽出し、抽出した画像データを拡大する。そして、ＣＰＵ１０１は、この拡大した画像データにヘッダ情報を付与して画像ファイルを生成し、生成した画像ファイルをストレージ１０９に記録する。このような合成を行うことにより、代表画像中のユーザによって選択されたエリア３１４を切り出すことが可能である。
【０１０４】
ステップＳ５０４において、「フォーカス位置選択」が選択されたと判定した場合に、ＣＰＵ１０１は、図１１に示すように、フォーカス位置選択ウィザード表示を行う（ステップＳ５１１）。このフォーカス位置選択ウィザード表示において、ＣＰＵ１０１は、フォーカス位置選択枠３１６を表示させる。
【０１０５】
フォーカス位置選択ウィザード表示の後、ＣＰＵ１０１は、ユーザによるエリアの選択を待つ（ステップＳ５１２）。ステップＳ５１２において、ユーザは、このフォーカス位置選択枠３１６を操作部１１０（操作ボタン１１０１及びタッチパネル１１０２の何れでも良い）を用いて操作して、代表画像中の任意のエリアを選択する。この選択を受けて、ＣＰＵ１０１は、合焦画像情報を参照して、ユーザによって選択されたエリアにおいて合焦状態となっている複数のマルチフォーカス画像を画像ファイルから抽出し、抽出したマルチフォーカス画像を、ユーザが所望している合焦状態の画像の候補の画像３０１ｂとして表示部１０８に同時表示させる（ステップＳ５１３）。図１１の例は、ユーザによって選択されたエリアにおいて、３枚のマルチフォーカス画像データが合焦状態となっている例を示している。ここで、図１１の例では、３枚のうちの選択された１枚については、ユーザが画像の全体を視認できるように表示させている。この場合、切替ボタン３１０が操作される毎に視認可能なマルチフォーカス画像の切り替えを行う。また、フォーカス位置選択の際には、複数のマルチフォーカス画像３０１ｂを表示させるのに伴って、メニュー項目も変更する。フォーカス位置選択の際のメニュー項目としては、例えば「画像分離」３０７、「代表画像更新」３０８、「戻る」３０９の３つの項目を表示部１０８に表示させる。
【０１０６】
候補画像３０１ｂの表示の後、ＣＰＵ１０１は、ユーザによる、表示部１０８に表示されている何れかの候補画像３０１ｂの選択を待つ（ステップＳ５１４）。候補画像３０１ｂの選択がなされた場合に、ＣＰＵ１０１は、ユーザによるメニュー項目の選択を待つ。そして、ＣＰＵ１０１は、ユーザによって選択されたメニュー項目に応じた処理を行う（ステップＳ５１５）。このメニュー項目に応じた処理は、全フォーカス画像表示の場合と同様であるので説明を省略する。
【０１０７】
ここで、前述した実施形態においては、画像再生処理を画像ファイルの記録後に行うようにしている。これに対し、画像再生処理を、撮影動作とは別個に行うようにしても良い。また、前述した実施形態においては、画像再生処理を撮像装置１０において行うようにしている。これに対し、画像再生処理を、撮像装置１０とは別個の画像編集装置（例えばパーソナルコンピュータ）において行うようにしても良い。
【０１０８】
以上説明したように、本実施形態によれば、フォーカスレンズを一方向に駆動しつつ、撮像部１０２によって連続的に撮像動作を実行して合焦状態の異なる複数のマルチフォーカス画像を得るようにしている。また、それぞれのマルチフォーカス画像の何れのエリアが合焦状態であるのかを、合焦画像情報として記録するようにしている。このような構成により、ユーザは、撮影後の画像再生処理において、所望のエリアに合焦しているマルチフォーカス画像を選択することが可能である。また、本実施形態では、ユーザが、レリーズ指示をしたタイミングで、フォーカスレンズの駆動と撮像動作とを同期させて連続して実行するようにしている。これにより、シャッタチャンスを逃すことなく、多くのマルチフォーカス画像を得ることが可能である。さらに、本実施形態では、撮影時における被写体を判断し、この判断結果に応じて、フォーカスレンズのスキャン範囲や各種の撮影パラメータを設定している。これにより、全体としての撮影時間を必要以上に長くすることなく、また、画質の劣化も抑えて、多くの合焦状態の画像を記録することが可能である。
【０１０９】
また、本実施形態では、一連の撮影動作によって、合焦状態の異なる複数のマルチフォーカス画像が記録されるので、これらのマルチフォーカス画像を合成して合焦状態のエリアを増やした画像データや、ボケを強調した画像データを新たに生成することも可能である。
【０１１０】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【０１１１】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１１２】
１０…撮像装置、１０１…ＣＰＵ、１０２…撮像部、１０３…フォーカス駆動部、１０４…絞り駆動部、１０５…バス、１０６…メモリ、１０７…画像処理部、１０８…表示部、１０９…ストレージ、１１０…操作部、１１１…合焦評価部、１１２…顏検出部、１１３…動き検出部、１１４…プログラムメモリ、１０２１…撮像光学系、１０２２…撮像素子、１０２３…撮像処理部、１１０１…操作ボタン、１１０２…タッチパネル
【特許請求の範囲】
【請求項１】
フォーカスレンズを有する撮像光学系と、
前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、
前記被写体を判断する被写体判断部と、
前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、
前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、
前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、
前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、
前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、
前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記表示制御部は、前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、前記合焦画像情報に基づいて、前記指定されたエリアにおいて前記フォーカスレンズが合焦している合焦画像を前記記録部から抽出し、該抽出した合焦画像をさらに前記表示部に表示させることを特徴する請求項１に記載の撮像装置。
【請求項３】
前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、該指定されたエリアを拡大した拡大合焦画像を生成する第１の画像処理部をさらに具備し、
前記記録制御部は、前記拡大合焦画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【請求項４】
複数の前記合焦画像を合成し、複数の前記エリアにおいて前記フォーカスレンズが合焦している多エリア合焦画像を生成する第２の画像処理部をさらに具備し、
前記記録制御部は、前記多エリア合焦画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
複数の前記合焦画像を合成し、少なくとも１つの前記エリアにおいてボケが強調されたボケ強調画像を生成する第３の画像処理部をさらに具備し、
前記記録制御部は、前記ボケ強調画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【請求項１】
フォーカスレンズを有する撮像光学系と、
前記撮像光学系を介して被写体を撮像し、該被写体に係る画像を得る撮像部と、
前記被写体を判断する被写体判断部と、
前記被写体判断部による判断結果に応じて、前記フォーカスレンズの駆動範囲及び駆動方向を設定し、該設定したフォーカスレンズの駆動範囲内で前記フォーカスレンズを前記設定した駆動方向に駆動させるように制御するフォーカス制御部と、
前記被写体判断部による判断結果に応じて、前記撮像部における撮影パラメータを設定し、該設定した撮影パラメータに従って、前記フォーカスレンズの駆動中に、前記撮像部を連続動作させる撮像制御部と、
前記撮像部の連続動作によって得られた複数の画像のそれぞれを複数のエリアに分割し、該分割したエリア毎に前記フォーカスレンズの合焦の有無を評価し、複数の画像のうちで前記フォーカスレンズが合焦しているエリアを有する合焦画像を示す合焦画像情報を生成する合焦評価部と、
前記合焦画像と前記合焦画像情報とを記録部に記録する記録制御部と、
前記合焦画像情報に従って、前記記録部に記録された合焦画像を表示部に表示させる表示制御部と、
前記表示部に表示された合焦画像の中から所望の合焦画像を選択するための選択部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記表示制御部は、前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、前記合焦画像情報に基づいて、前記指定されたエリアにおいて前記フォーカスレンズが合焦している合焦画像を前記記録部から抽出し、該抽出した合焦画像をさらに前記表示部に表示させることを特徴する請求項１に記載の撮像装置。
【請求項３】
前記表示部に表示された合焦画像における何れかの前記エリアが指定された場合に、該指定されたエリアを拡大した拡大合焦画像を生成する第１の画像処理部をさらに具備し、
前記記録制御部は、前記拡大合焦画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【請求項４】
複数の前記合焦画像を合成し、複数の前記エリアにおいて前記フォーカスレンズが合焦している多エリア合焦画像を生成する第２の画像処理部をさらに具備し、
前記記録制御部は、前記多エリア合焦画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【請求項５】
複数の前記合焦画像を合成し、少なくとも１つの前記エリアにおいてボケが強調されたボケ強調画像を生成する第３の画像処理部をさらに具備し、
前記記録制御部は、前記ボケ強調画像を前記記録部に記録することを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８８５７９（Ｐ２０１３−８８５７９Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２８１８４（Ｐ２０１１−２２８１８４）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]