撮像装置及び撮像方法
【課題】顔検出を利用した各種機能の制御をシーンの認識結果に応じて個別に制御できるようにする。
【解決手段】撮影シーンの情報を取得してシーンを認識するとともに、その撮影シーンに顔があるか否かを検出する。そして、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う。顔検出を利用した顔枠表示、顔ＡＥ、顔ＡＦ、顔ＡＷＢ、顔階調補正等の各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか等を個別に制御可能にし、シーンに応じてより良好な撮像や画像処理を実現する。また、シーンが変動すると、所定の周期毎に取得されたシーンの情報に基づいてシーンを認識し、５回認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、シーンの認識結果を安定して得る。
【解決手段】撮影シーンの情報を取得してシーンを認識するとともに、その撮影シーンに顔があるか否かを検出する。そして、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う。顔検出を利用した顔枠表示、顔ＡＥ、顔ＡＦ、顔ＡＷＢ、顔階調補正等の各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか等を個別に制御可能にし、シーンに応じてより良好な撮像や画像処理を実現する。また、シーンが変動すると、所定の周期毎に取得されたシーンの情報に基づいてシーンを認識し、５回認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、シーンの認識結果を安定して得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特にシーンの認識結果に基づいて顔検出の利用方法を変化させる技術に関する。
【背景技術】
【０００２】
特許文献１には、デジタルスチルカメラにおいて、設定された撮影モードがシーンに対して適切であるか否かを、デジタル画像信号やＥＶ値に基づいて判定することが開示されている。
【０００３】
特許文献２には、顔認識手段と状態検出手段の出力情報に基づいてカメラの撮影モードを設定する撮影モード自動設定カメラが開示されている。特許文献２に記載のカメラは、被写体の動き、撮像倍率又は被写体距離の出力情報に基づいてカメラ撮影モードを自動設定するものである。また、特許文献２には、人の顔を検出するだけでなく、人数や撮影倍率に応じて撮影モードとして、ポートレートモード、複数人物モード、集合写真モードを区別することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４４５３０号公報
【特許文献２】特開２００３−３４４８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明は、設定された撮影モードが撮影シーンに対して適切であるか否かを判定するものであり、シーンを認識するものではない。
【０００６】
また、特許文献２に記載の発明は、顔認識手段と状態検出手段の出力情報に基づいてシーン認識を行い、人物モードを含む各種の撮影モードを自動的に設定するものであるが、特許文献２には、シーン認識結果と顔検出結果とを利用した各種機能をどのように制御するかについては記載されていない。
【０００７】
本発明はこのような事情に鑑みてなされたもので、顔検出を利用した各種機能の制御をシーンの認識結果に応じて個別に制御することができ、より良好な撮像や画像処理を実現することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の一の態様に係る撮像装置は、撮影シーンの情報を取得する情報取得手段と、取得した情報からシーンを認識するシーン認識手段と、撮影シーンに顔があるか否かを検出する顔検出手段と、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う制御手段と、を備え、シーン認識手段は、認識したシーンに対応する情報を基準情報として記憶する記憶手段と、記憶手段に記憶された基準情報と情報取得手段により取得された情報からシーンが変動したか否かを判別するシーン変動判別手段と、シーン認識を行う所定の周期を設定する周期設定手段と、を有し、シーンが変動したことが判別されると、情報取得手段により取得した情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンであって、周期設定手段により設定された所定の周期毎に情報取得手段により取得された情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報とし、記憶手段に記憶させた基準情報を更新する。
【０００９】
即ち、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うようにしたため、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか（制御を行うべきか否かを含む）等を個別に制御することができ、シーンに応じてより良好な撮像や画像処理を実現することができる。
【００１０】
また、シーンが変動したことが判別されると、所定の周期毎に取得されたシーンの情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識するようにしたため、シーンの認識結果を安定して得ることができる。
【００１１】
本発明の他の態様に係る撮像装置において、情報取得手段は、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得することが好ましい。尚、顔があるか否かを示す情報は、顔検出手段から取得することができる。
【００１２】
本発明の更に他の態様に係る撮像装置において、制御手段は、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御手段、検出された顔の領域の明るさに基づいて露出を制御する露出制御手段、検出された顔に焦点が合うように焦点調節を行う自動焦点調節手段、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整手段、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正手段のうちの２以上の手段を含む。即ち、制御手段は、顔の検出結果に応じてライブビュー画像に検出された顔の位置を顔枠等により明示的に表示し、検出された顔の領域の明るさに基づいて露出を制御し、検出された顔に焦点が合うように焦点調節を行い、検出された顔の領域の色情報に基づいてホワイトバランスを調整し、又は検出された顔の領域の明るさに基づいて階調補正を行うが、これらの各種の制御をシーンの認識結果に応じて個別に制御できるようになっている。
【００１３】
本発明の更に他の態様に係る撮像装置において、制御手段は、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを有し、シーンの認識結果と顔の検出結果とに基づいてテーブルから対応する情報を読み出して各種の制御を行う。
【００１４】
本発明の更に他の態様に係る撮像装置において、テーブルに記憶されている情報をユーザーが自由に設定するカスタム設定手段を備えることが好ましい。即ち、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか等をユーザーが自由に設定することができ、ユーザーの好みに合わせた制御を可能にしている。
【００１５】
本発明の更に他の態様に係る撮像装置において、シーン認識手段は、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する。
【００１６】
本発明の更に他の態様に係る撮像方法は、所定の周期毎に撮影シーンの情報を取得するステップと、取得した撮影シーンの情報からシーンを認識するステップと、認識したシーンに対応する情報を基準情報として記憶手段に記憶させるステップと、撮影シーンに顔があるか否かを検出するステップと、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うステップと、を含み、シーンを認識するステップは、所定の周期毎に記憶手段に記憶された基準情報と取得されたシーンの情報とからシーンが変動したか否かを判別し、シーンが変動したことが判別されると、所定の周期毎に取得したシーンの情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報として記憶手段に記憶させた基準情報を更新する。
【００１７】
本発明の更に他の態様に係る撮像方法において、撮影シーンの情報を取得するステップは、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得することが好ましい。
【００１８】
本発明の更に他の態様に係る撮像方法において、各種の制御を行うステップは、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御、検出された顔の領域の明るさに基づいて露出を制御する露出制御、検出された顔に焦点が合うように焦点調節を行う自動焦点調節、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正のうちの２以上の制御を含む。
【００１９】
本発明の更に他の態様に係る撮像方法において、各種の制御を行うステップは、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを使用し、シーンの認識結果と顔の検出結果とに基づいてテーブルから対応する情報を読み出して各種の制御を行う。
【００２０】
本発明の更に他の態様に係る撮像方法において、テーブルに記憶されている情報は、ユーザーが自由に設定するカスタム設定手段により設定される。
【００２１】
本発明の更に他の態様に係る撮像方法において、シーンを認識するステップは、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する。
【発明の効果】
【００２２】
本発明によれば、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか（制御を行うべきか否かを含む）等を個別に制御することができ、シーンに応じてより良好な撮像や画像処理を実現することができ、また、シーン変動時にシーンの認識結果を安定して得ることができる。
【図面の簡単な説明】
【００２３】
【図１】デジタルカメラの構成を示す概略ブロック図
【図２】本発明に係る撮像方法の概要を示すフローチャート
【図３】シーン判定の結果表示の一例を示す図
【図４】シーンの認識結果と顔検出を利用した各種機能の関係の一例を示す図表
【図５】シーン認識メイン処理のフローチャート
【図６】フレーム変動チェックのフローチャート
【図７】測光値変動チェックのフローチャート
【図８】フォーカス位置変動チェックのフローチャート
【図９】顔有無変動チェックのフローチャート
【図１０】シーン認識の詳細を示すフローチャート
【図１１】シーン認識結果ＳＲを概念的に示した図
【図１２】シーン判定サブルーチン（人物判定）のフローチャート
【図１３】シーン判定サブルーチン（風景判定）のフローチャート
【図１４】シーン判定サブルーチン（夜景判定）のフローチャート
【図１５】シーン判定サブルーチン（夜景判定）のフローチャートの他の一例
【図１６】シーン判定サブルーチン（接写判定）のフローチャート
【図１７】顔検出利用による各種機能の制御の設定方法を示すフローチャート
【図１８】顔形機能設定画面の一例を示す図
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明に係る撮像装置及び撮像方法の好ましい実施の形態について説明する。
【００２５】
［撮像装置の構成］
図１は、本発明に係る撮像装置（デジタルカメラ）の第１の実施形態を示すブロック図である。
【００２６】
この撮像装置（以下、デジタルカメラ１という。）は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディアなどの記録部７０へ記録するものである。
【００２７】
図１に示すように、デジタルカメラ１は、操作部１１と、ユーザーによる操作部１１への操作内容を解釈して各部を制御する制御回路７４とを有している。
【００２８】
操作部１１は、画像を撮影する撮影モードと、記録部７０に記録された画像を読み出して表示部７１に表示する再生モードとの間で動作モードを切り替える動作モードスイッチ、メニュー／ＯＫボタン、ズーム／上下矢印レバー、左右矢印ボタン、Ｂａｃｋ（戻る）ボタン、表示切替ボタン、シャッタボタン、電源スイッチを含んでいる。
【００２９】
制御回路７４は、情報処理を行うＣＰＵ７５、本発明に係るシーン認識等の情報処理を規定したプログラム、ファームウェア、プログラムでの各種判定に用いる閾値その他の定数などを記録したＲＯＭ６８、情報処理に必要な変数やデータなどを格納するＲＡＭ６９を備えている。
【００３０】
ＣＰＵ７５は、操作部１１やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。ＲＯＭ６８は、デジタルカメラ１において設定される各種定数、及びＣＰＵ７５が実行するプログラム等を格納する。ＲＡＭ６９は、ＣＰＵ７５がプログラムの実行に必要なデータを一時的に格納する。
【００３１】
レンズ２０は、フォーカスレンズ及びズームレンズを有している。レンズ２０は、レンズ駆動部５１によって光軸方向に移動可能である。レンズ駆動部５１は、ＣＰＵ７５から出力されるフォーカス駆動量データに基づいて、フォーカスレンズの位置を制御する。また、レンズ駆動部５１は、操作部１１のズーム／上下矢印レバーの操作量データに基づいてズームレンズの位置を制御する。
【００３２】
また、絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。絞り駆動部５５は、ＣＰＵ７５から出力される絞り値データに基づいて絞り径の調整を行う。
【００３３】
レンズ２０、絞り５４を含む撮像光学系の後方には、撮像素子（ＣＣＤ）５８が配置されている。尚、撮像素子５８としては、ＣＣＤの代わりにＣＭＯＳイメージセンサを用いることもできる。
【００３４】
撮像素子５８は、多数の受光素子が２次元的に配列された光電面を有している。撮像光学系を通過した被写体光はこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子５８は、撮像素子制御部５９から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、撮像素子制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、撮像素子５８は、あらかじめ定められた大きさのアナログ撮像信号が得られるように、撮像素子制御部５９によりゲインが調整されて
いる。
【００３５】
撮像素子５８から取り込まれたアナログ撮影信号は、アナログ信号処理部６０に入力される。アナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）とからなる。アナログ信号処理部６０におけるＲ、Ｇ、Ｂ信号の増幅ゲインは、撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ７５は、この増幅ゲインを調整することにより撮影感度を設定する。
【００３６】
Ａ／Ｄ変換部６１は、アナログ信号処理部６０により処理されたアナログ画像信号をデジタル画像データに変換する。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００３７】
制御回路７４は、発振子（不図示）から供給される発振信号を逓倍又は分周してタイミング信号を発生させて撮像素子制御部５９に入力することにより、操作部１１のシャッタボタンの操作時における撮像素子５８からの電荷の取込み及びアナログ信号処理部６０の処理のタイミングを調整している。
【００３８】
制御回路７４は、撮像素子５８で生成された画像信号の輝度を検出することにより測光を行う。制御回路７４は、被写界輝度が低い場合、自動焦点調節（ＡＦ）時（シャッタボタン半押し時）に補助光制御部２５に指示して補助光発光部２６（例えば、ＬＥＤ）から補助光を照射させる。
【００３９】
Ａ／Ｄ変換部６１から出力されたＲ，Ｇ，Ｂの各画像データ（ＣＣＤ−ＲＡＷデータ）は、デジタル信号処理部６５によって、ホワイトバランス（ＷＢ）調整、ガンマ補正、及びＹＣ処理が施される。処理後の画像データは、メモリ６６に書き込まれる。
【００４０】
メモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００４１】
表示部７１は、例えば、液晶モニタを含んでおり、撮影モード設定以後から本撮影指示がされるまでの間メモリ６６に逐次格納された画像データをライブビュー画像（スルー画像）として液晶モニタに表示させたり、再生モード時に記録部７０に保存されている画像データを液晶モニタに表示させる。尚、スルー画像は、撮影モードが選択されている間、所定の時間間隔で撮像素子５８により撮影される。
【００４２】
本実施形態のデジタルカメラ１は、動作モードが撮影モードに設定されると、画像の撮像を開始し、ライブビュー画像（スルー画）が表示部７１の液晶モニタに表示される。スルー画表示時には、ＣＰＵ７５は、後述のＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３による演算結果に基づいて、コンティニュアスＡＥ（ＣＡＥ）及びコンティニュアスＡＦ（ＣＡＦ）を実行する。ここで、コンティニュアスＡＥとは、スルー画撮影の継続中に繰り返し露出値の演算を行って、連続的に撮像素子（ＣＣＤ）５８の電子シャッタ機能及び／又は絞り５４を制御する機能である。コンティニュアスＡＦとは、スルー画撮影の継続中に繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御する機能である。撮影モード時にシャッタボタンが半押しされると（Ｓ１オン）、デジタルカメラ１は、ＡＥ処理（Ｓ１ＡＥ）及びＡＦ処理（Ｓ１ＡＦ）を実行し、ＡＥロック及びＡＦロックを実行する。
【００４３】
以下、ＡＥ処理及びＡＦ処理について説明する。撮像素子５８から出力された画像信号はＡ／Ｄ変換後にバッファメモリ（不図示）を介してＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３に入力される。
【００４４】
ＡＥ／ＡＷＢ処理部６３は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割し、この分割エリアごとにＲ、Ｇ、Ｂ信号を積算し、その積算値をＣＰＵ７５に提供する。ＣＰＵ７５は、ＡＥ／ＡＷＢ処理部６３から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。ＣＰＵ７５は、上記露出値と所定のプログラム線図に従って、絞り値とシャッタスピードを決定し、これに従い撮像素子５８の電子シャッタ機能及び絞り５４を制御して適正な露光量を得る。
【００４５】
更に、ＣＰＵ７５は、フラッシュ発光モードがオンに設定された場合にフラッシュ制御部７３にコマンドを送って動作させる。フラッシュ制御部７３は、フラッシュ発光部（放電管）２４を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ７５からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部２４への放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光手段としては、放電管に代えて発光ダイオード（ＬＥＤ）を用いることも可能である。
【００４６】
また、ＡＥ／ＡＷＢ処理部６３は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ７５に提供する。ＣＰＵ７５は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を制御し、各色チャンネルの信号に補正をかける。
【００４７】
本実施形態に係るデジタルカメラ１におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。即ち、ＡＦ処理部６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４８】
ＡＦ処理部６２により求められた積算値のデータはＣＰＵ７５に通知される。ＣＰＵ７５は、レンズ駆動部５１を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、演算した焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ７５は、レンズ駆動部５１を制御して上記合焦位置にフォーカスレンズを移動させる。尚、コンティニュアスＡＦ（ＣＡＦ）時には、Ｓ１ＡＦのときに比べて、合焦位置のサーチ範囲（ＡＦサーチ時のフォーカスレンズの移動範囲）が狭く、ＡＦ検出ポイントの数が少なくなっている。また、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００４９】
尚、露出及びホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１のユーザーがマニュアル操作により設定可能である。また、露出及びホワイトバランスが自動で設定された場合にも、ユーザーがメニュー／ＯＫボタン等の操作部１１から指示を行うことにより、露出及びホワイトバランスをマニュアル調整することが可能である。
【００５０】
シャッタボタンが半押し（Ｓ１オン）された後に全押し（Ｓ２オン）されると、撮像素子５８から記録用の本画像データが取り込まれる。この本画像データは、シャッタボタンが全押しされることによって実行される本撮影時に撮像素子５８から取り込まれ、アナログ信号処理部６０、Ａ／Ｄ変換部６１、デジタル信号処理部６５経由でメモリ６６に格納された画像データである。デジタル信号処理部６５は、本画像の画像データに対して、ガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ変換処理を行う。本画像の画素数の上限は、撮像素子５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像及びシャッタボタン半押し時のプレ画像の画像数は、例えば、本画像よりも少ない画素数、例えば、本画像の１／１６程度の画素数で取り込まれる。
【００５１】
また、デジタル信号処理部６５は、フラッシュ発光部２４の発光量が通常の撮影時よりも小さくされた場合には、本画像における顔領域の輝度を求め、輝度が所定のしきい値Ｔｈ１よりも小さい場合には顔領域の輝度をしきい値Ｔｈ１に調整する処理を行う。
【００５２】
圧縮伸張処理部６７は、補正・変換処理が行われた本画像の画像データに対して、例えば、所定の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルは、記録部７０に記録される。この画像ファイルには、例えば、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮伸張処理部６７は、再生モードの場合に、記録部７０から読み出された画像ファイルに対して伸張処理を行う。伸張後の画像データは表示部７１の液晶モニタに表示される。
【００５３】
顔検出処理部８０は、画像照合部及び顔画像テンプレートを含み、スルー画像、プレ画像、あるいは本画像から人物の顔を検出し、その顔の位置や大きさの情報を制御回路７４に出力する。
【００５４】
具体的には、顔検出処理部８０の画像照合部が、スルー画像等の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。顔が検出されない場合には、対象領域の大きさを変えながら上記の処理を繰り返し行う。尚、顔検出方法としては、顔に含まれる顔の特徴を有する領域（例えば、肌色の領域を有する、肌色領域の中に黒色領域（目）を有する、肌色領域が顔の形状を有する等）を顔領域として検出する方法等の公知の方法を利用することができる。
【００５５】
＜撮影制御＞
図２は本発明に係る撮像方法の概要を示すフローチャートである。
【００５６】
同図に示すように、本実施形態に係るデジタルカメラ１は、顔検出処理（ステップＳ２００）とシーン認識処理（ステップＳ２０２）とを、シャッタボタンが半押し（Ｓ１オン）されるまで（ステップＳ２０４）、繰り返し実施する。尚、顔検出処理及びシーン認識処理の詳細については後述する。
【００５７】
シーン認識は、ユーザーが撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであるのかを認識する技術である。予めいくつかのシーンを定義しておき、認識した結果を表示部７１に表示する。例えば、図３に示すように、「人物」、「風景」、「夜景」又は「接写」等のシーン認識結果は、テキスト又はアイコン表示などによりユーザーに分かりやすいように通知される。尚、定義したシーンのいずれにも当てはまらない場合の認識結果は、「ＡＵＴＯ」とし、また、自動シーン認識が「ＯＦＦ」の場合には、何も表示しないようにする。
【００５８】
ここで注意すべき点は、顔検出の結果はシーン認識に利用するが、顔検出の結果更新のタイミングと、シーン認識の結果更新のタイミングは必ずしも一致するとは限らないことである。即ち、顔検出処理とシーン認識処理とは、それぞれ独立に動いていて、顔検出の結果が更新されないと、シーン認識が動かない仕組みになっていない。また、図２のフローチャートで示すように、シーン認識とは全く別のタイミングで顔を検出することも可能である。例えば、シーン認識は本露光（ステップＳ２２０）の前に確定するが、顔検出は本露光後にも実行することができる（ステップＳ２２２参照）。
【００５９】
このように、顔検出の結果とシーン認識の結果はいつも同じような関係が成り立つとは限らない。（「顔が検出されている」＝「人物モード」が常に成り立っているわけではない）。
【００６０】
そのため、後述するようにシーン認識の結果に応じて、顔検出を利用した各種機能の制御方法を個別に制御することで、より高性能なカメラとすることができる。
【００６１】
Ｓ２０４において、シャッタボタンの半押し（Ｓ１オン）が判別され、"Ｙｅｓ"の場合は、Ｓ２０６に遷移し、"Ｎｏ"の場合はスタートに戻る。
【００６２】
Ｓ２０６では、ＡＥ処理（Ｓ１ＡＥ）が行われ、Ｓ２０８ではＡＦ処理（Ｓ１ＡＦ）が行われ、それぞれＡＥロック及びＡＦロックされる。
【００６３】
Ｓ２１０では、Ｓ２０２と同様にシーン認識が行われるが、Ｓ２０２がＣＡＥ，ＣＡＦの結果を利用しているのに対し、Ｓ１ＡＥ、Ｓ１ＡＦの結果を利用する点で異なる。
【００６４】
Ｓ２１２では、Ｓ２１０でのシーン認識結果に応じてシーンに適したプログラム線図を選択し、選択したプログラム線図とＳ２０６でのＳ１ＡＥの測光結果（ＥＶ値）とに基づいて絞り値とシャッタスピードとを決定する。
【００６５】
Ｓ２１４では、シャッタボタンの全押し（Ｓ２オン）が判別され、"Ｙｅｓ"の場合はＳ２２０に遷移し、"Ｎｏ"の場合はＳ２１６に遷移する。
【００６６】
Ｓ２１６では、シャッタボタンの半押し（Ｓ１オン）が判別され、"Ｙｅｓ"の場合はＳ２１８に遷移し、ここで顔検出処理が行われ、一方、"Ｎｏ"の場合はスタートに戻る。
【００６７】
Ｓ２２０では、Ｓ２１２で決定した絞り値及びシャッタスピードに基づいて本露光を行い、本画像の撮像を行う。
【００６８】
Ｓ２２２では、本画像に対して顔検出処理が行われる。Ｓ２２４では、本画像に対してホワイトバランス調整、ガンマ補正等の階調補正などの信号処理が行われる。
【００６９】
Ｓ２２６では、信号処理後の本画像を所定フォーマットで圧縮処理し、画像ファイルを生成して記録部７０に記録する。
【００７０】
次に、シーンの認識結果と顔の検出結果とに基づいて各種機能を制御する場合の実施の形態について説明する。
【００７１】
図４に、シーンの認識結果と顔検出を利用した各種機能の関係の一例を示す。
【００７２】
同図に示す例では、５つのシーン認識結果と、５種類の顔検出を利用した制御との関係を示している。
【００７３】
まず、「顔枠表示」、「顔ＡＥ」、「顔ＡＦ」、「顔ＡＷＢ」、「顔階調補正」の５種類の顔検出を利用した制御について簡単に説明する。
【００７４】
「顔枠表示」制御は、ライブビュー画像（スルー画像）の表示中に顔検出処理により顔が検出されると（図２のＳ２００）、検出された顔の位置及び大きさに基づいてスルー画像上で顔の領域を囲む顔枠を表示させる制御である。これにより、ユーザーは顔が正しく検出されているかどうかを判断することができる。尚、顔枠の代わりに、矢印、その他のマークを表示するようにしてもよい。
【００７５】
「顔ＡＥ」制御は、顔の検出結果に基づいてＣＡＥ、Ｓ１ＡＥでの露出制御を行うもので、検出された顔の領域の明るさに基づいて測光値（ＥＶ値）を決定し、露出を制御する。
【００７６】
「顔ＡＦ」制御は、顔の検出結果に基づいてＣＡＦ、Ｓ１ＡＦでの自動焦点調節を行うもので、検出された顔の領域をＡＦエリアとし、このＡＦエリア（顔領域）に焦点が合うように焦点調節を行う。
【００７７】
「顔ＡＷＢ」制御は、顔の検出結果に基づいてホワイトバランス調整を行うもので、検出された顔の領域の色情報に基づいて、例えば肌色がきれいになるようにホワイトバランス調整を行う。
【００７８】
「顔階調補正」制御は、顔の検出結果に基づいて画像の階調補正を行うもので、検出された顔の領域の明るさが適正な明るさになるようにガンマ補正等の階調補正を行う。
【００７９】
図４に示す例では、〇印は制御を行い、×印は制御を行い場合に関して示しており「顔枠表示」、「顔ＡＥ」、及び「顔ＡＦ」の制御は、「ＡＵＴＯ」、「人物」、「風景」、「夜景」、「接写」の５つのシーン認識結果にかかわらず、常に制御を行っている。
【００８０】
一方、「顔ＡＷＢ」、及び「顔階調補正」の制御は、「ＡＵＴＯ」、「人物」、及び「接写」のシーンのみで行い、「風景」、「夜景」のシーンでは制御を行わないようにしている。
【００８１】
尚、シーンの認識結果と顔の検出結果とに基づく各種機能の制御は、図４に示す例に限定されず、また、シーン認識の種類及び顔検出を利用した制御の種類も図４に示す例に限定されず、種々のものが考えられる。
【００８２】
また、各種機能をＯＮ／ＯＦＦレベルで制御するようにしているが、各種機能の強度をいくつかのレベルに分けておき、そのレベルを設定するような仕組みでもよい（「強、中、弱」、「レベル１〜５」など）。
【００８３】
尚、前述したようにシーン認識と顔検出とは必ずしも同じタイミングで行う必要はなく、そのため、図２に示した例では、本露光の後にシーン認識をするステップは記載されていないが、特にそれに限定するものではない。
【００８４】
このようにシーン認識の結果に応じて、顔検出を利用した各種機能の制御方法を個別に制御することで、より高性能なカメラとすることができる（きれいな画像を撮像・作成する、表示を見やすくする、画像検索をしやすくするなど）。
【００８５】
［シーン認識処理］
次に、図２に示したＳ２００、Ｓ２１０での「シーン認識」（Ｓ２００、Ｓ２１８、Ｓ２２２での「顔検出」を含む）について詳述する。
【００８６】
図５は、シーン認識メイン処理のフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。この処理は、撮影モードが操作部１１から設定され、かつ、そのときに「自動シーン認識ＯＮ」が操作部１１から設定されていた場合に開始する。「自動シーン認識ＯＦＦ」が操作部１１から設定されている場合には開始しない。
【００８７】
Ｓ１では、この処理の実行が初回であるか否かを判断する。“Ｙｅｓ”の場合はＳ２、“Ｎｏ”の場合はＳ３に進む。
【００８８】
Ｓ２では、ＲＡＭ６９のフレーム変動基準情報を初期化する。フレーム変動基準情報には、分割測光値、フォーカスレンズの位置、合焦ＡＦエリアのタイプ（合焦状態となったＡＦエリアが顔検出処理部８０の検出した顔領域であるか否か、あるいは、デフォルトの画面中央近傍領域であるか否か）、合焦ＡＦフィルタ（例えば特許公開２００６−１４５９６４のローパスフィルタ、ハイパスフィルタ）、顔検出処理部８０による顔検出の有無が含まれる。また、ＲＡＭ６９のstatusをサーチ状態に、チェックカウンタを０に、シーン認識履歴保持フラグをＯＦＦに設定する。
【００８９】
Ｓ３では、ＲＡＭ６９のstatus=確定状態か否かを判断する。“Ｙｅｓ”の場合はＳ４、“Ｎｏ”の場合はＳ７に進む。
【００９０】
Ｓ４では、フレーム変動チェックを行う。この処理は後述する。
【００９１】
Ｓ５では、フレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ６、“Ｎｏ”の場合はＳ１に戻る。
【００９２】
Ｓ６では、シーン変動があったと判断し、ＲＡＭ６９のstatusをサーチ状態に設定する。
【００９３】
Ｓ７では、ＲＡＭ６９のシーン認識履歴保持フラグがＯＮに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ９、“Ｎｏ”の場合はＳ８に進む。
【００９４】
Ｓ８では、ＲＡＭ６９のシーン認識カウンタを０に設定する。また、ＲＡＭ６９のシーン認識履歴をクリアする。
【００９５】
Ｓ９では、認識部のシーン認識動作を行う。この処理は後述する。この処理の結果、ＲＡＭ６９にシーン認識結果ＳＲが記憶される。シーン認識結果ＳＲは、風景、ＡＵＴＯ、人物、夜景、接写などを含む。これら各シーンの認識の処理の詳細は後述する。
【００９６】
Ｓ１０では、ＲＡＭ６９のシーン認識カウンタを１だけインクリメントする。
【００９７】
Ｓ１１では、ＲＡＭ６９のシーン認識カウンタおよびＲＯＭ６８の所定のシーン認識履歴数閾値（E_AUTOSR_SR_HISTORY_BEFORE_S1）を比較し、シーン認識カウンタ≧シーン認識履歴数閾値であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２、“Ｎｏ”の場合はＳ１７に進む。
【００９８】
Ｓ１２では、ＲＡＭ６９のシーン認識履歴をチェックする。シーン認識履歴は、statusが確定状態になるまで繰り返されたＳ９によりそれぞれ個別に記憶された、複数のシーン
認識結果ＳＲで構成される。
【００９９】
Ｓ１３では、ＲＡＭ６９のシーン認識結果ＳＲを、Ｓ９で異なる時間に記憶された複数のシーン認識結果ＳＲで構成されたシーン認識履歴の中で、最大の出現頻度を有するものに更新する。また、ＲＡＭ６９のフレーム変動情報を、当該最大の出現頻度を有するシーン認識結果ＳＲと同じ時点で取得されたフレーム変動情報に更新する。
【０１００】
Ｓ１４では、ＲＡＭ６９のシーン認識結果ＳＲが「ＡＵＴＯ」と異なるか否かを判断する。“Ｙｅｓ”の場合はＳ１６、“Ｎｏ”の場合はＳ１５に進む。
【０１０１】
Ｓ１５では、ＲＡＭ６９のstatusをサーチ状態に設定し、Ｓ１に戻る。
【０１０２】
Ｓ１６では、ＲＡＭ６９のstatusを確定状態に設定し、Ｓ１に戻る。
【０１０３】
図６は、フレーム変動チェック（Ｓ４）の詳細な処理の流れを示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１０４】
Ｓ２１では、ＲＡＭ６９のパラメータであるchangeをOFFに、change_measureを０に設定する。
【０１０５】
Ｓ２２では、１回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうちのいずれか１つであるものとするがその他の種類を含んでいてもよい。これらの処理は後述する。１回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK1として記憶される。
【０１０６】
Ｓ２３では、Ｓ２２の１回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２４、“Ｎｏ”の場合はＳ２６に進む。
【０１０７】
Ｓ２４では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１０８】
Ｓ２５では、ＲＡＭ６９のchange_measureとＲＯＭ６８の所定閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ２６、“Ｙｅｓ”の場合はＳ３５に進む。
【０１０９】
Ｓ２６では、２回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目と異なるいずれか１つである。２回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK2として記憶される。
【０１１０】
Ｓ２７では、Ｓ２６の２回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２８、“Ｎｏ”の場合はＳ３０に進む。
【０１１１】
Ｓ２８では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１１２】
Ｓ２９では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３０、“Ｙｅｓ”の場合はＳ３５に進む。
【０１１３】
Ｓ３０では、３回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目および２回目と異なるものである。３回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK3として記憶される。
【０１１４】
Ｓ３１では、Ｓ３０の３回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ３２、“Ｎｏ”の場合はＳ３４に進む。
【０１１５】
Ｓ３２では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１１６】
Ｓ３３では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３４、“Ｙｅｓ”の場合はＳ３５に進む。
【０１１７】
Ｓ３４では、フレーム変動なしと判断する。その判断を示すフラグをＲＡＭ６９に記憶してもよい。そして、シーン認識メイン処理のＳ５に戻る。
【０１１８】
Ｓ３５では、フレーム変動ありと判断する。「フレーム変動あり」のフラグであるchange=ONに設定しＲＡＭ６９に記憶する。そして、シーン認識メイン処理のＳ５に戻る。
【０１１９】
図７は測光値変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１２０】
Ｓ４１では、ＲＡＭ６９のパラメータchange_evをOFFに設定する。また、ＲＡＭ６９のパラメータev[i]を今回のフレーム画像について測光部４６から得られた測光値とする。iは、所定の単位で画像を分割して得たＮ個の各ブロックに対応する添え字である。ここではｉ＝０〜Ｎ−１とする。）。また、ＲＡＭ６９のパラメータev_base[i]をフレーム変動基準情報の分割測光値とし、その値をＲＡＭ６９に確保する。なお、ev_base[i]はメイン処理のＳ２で初期化され、Ｓ１３で更新される。また、各ブロックに対応する重みw [i]をＲＯＭ６８から読み出す。
【０１２１】
Ｓ４２では、次式によりdelta_evをＲＡＭ６９に設定する。総和はｉ＝０〜Ｎ−１について行われる。delta_evは全画面の明るさ同士の差分でもよい。
【０１２２】
delta_ev=ΣW[i]*|ev[i]-ev_base[i]|/ ΣW[i]
各領域ごとの差の絶対値を総和するのは次の理由による。絶対値をとらないと、実際には領域ごとに大きな変化が生じているにもかかわらず、総和により各領域ごとの変化が相殺され、全体として変化がなくなるのを防ぐためである。
【０１２３】
Ｓ４３では、ＲＡＭ６９のdelta_evと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_DELTA_EV とを比較し、delta_ev≧E_AUTOSP_FRAME_DELTA_EVであるか否かを判断する。“
Ｙｅｓ”の場合はＳ４４、“Ｎｏ”の場合はＳ４５に進む。
【０１２４】
Ｓ４４では、測光値の変動があったと判断する。そして、測光値の変動があったことを示すフラグchange_evをＯＮに設定しＲＡＭ６９に記憶する。
【０１２５】
Ｓ４５では、測光値の変動がなかったと判断する。測光値の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１２６】
図８はフォーカス位置変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１２７】
Ｓ５１では、ＲＡＭ６９のパラメータchange_focal_pointをＯＦＦに、focal_pointを今回のフレーム画像を取得したときにレンズ駆動部５１が設定したフォーカスレンズの位置（駆動パルス数）に、focal_point_baseをフレーム変動基準情報のフォーカスレンズの位置（Ｓ２で初期化あるいはＳ１３で更新されるもの）とし、その記憶領域をＲＡＭ６９に確保する。
【０１２８】
Ｓ５２では、次式によりdelta_ focal_pointをＲＡＭ６９に設定する。
【０１２９】
delta_focal_point=| focal_point- focal_point_base|
Ｓ５３では、ＲＡＭ６９のdelta_focal_pointと、ＲＯＭ６８に記憶された所定のフォーカス位置変動閾値とを比較し、delta_focal_point＞フォーカス位置変動閾値であるか否かを判断する。“Ｙｅｓ”の場合はＳ５４、“Ｎｏ”の場合はＳ５５に進む。
【０１３０】
Ｓ５４では、フォーカス位置の変動があったと判断する。そして、フォーカス位置の変動があったことを示すフラグchange_ focal_pointをＯＮに設定しＲＡＭ６９に記憶する。
【０１３１】
Ｓ５５では、フォーカス位置の変動がなかったと判断する。フォーカス位置の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１３２】
図９は顔有無変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１３３】
Ｓ６１では、ＲＡＭ６９のパラメータchange_face_resultをＯＦＦに設定する。
【０１３４】
Ｓ６２では、今回のフレーム画像を取得したときに顔検出処理部８０が出力した顔検出の有無が、フレーム変動基準情報の顔検出の有無（Ｓ２で初期化あるいはＳ１３で更新されるもの）と一致するか否かを判断する。“Ｙｅｓ”の場合はＳ６４、“Ｎｏ”の場合はＳ６３に進む。
【０１３５】
Ｓ６３では、顔検出の有無の変動があったと判断する。そして、顔検出の有無の変動があったことを示すフラグchange_face_resultをＯＮに設定しＲＡＭ６９に記憶する。
【０１３６】
Ｓ６４では、顔検出の有無の変動がなかったと判断する。顔検出の有無の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１３７】
図７はの認識部のシーン認識動作（Ｓ９）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１３８】
Ｓ７１では、ＲＡＭ６９に格納された、シーン依存サーチを実施するフラグ(E_AUTOSR_SEARCH_TYPE)が０であるか否かを判断する。“Ｙｅｓ”の場合はＳ８０、“Ｎｏ”の場合はＳ７２に進む。なお、E_AUTOSR_SEARCH_TYPEの値は操作部１１から任意に設定できるものとする。
【０１３９】
Ｓ７２では、ＲＡＭ６９のシーン認識結果ＳＲにＡＵＴＯを設定する。
【０１４０】
Ｓ７３では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。E_AUTOSR_MODULE1は０〜４のうちのいずれかの整数である。そして、module[i]に相当するシーン判定サブルーチンを実施する。module[0]は何もしない。module[1]は後述の人物判定を行う。module[2]は後述の風景判定を行う。module[3]は後述の夜景判定を行う。module[4]は後述の接写判定を行う。
【０１４１】
Ｓ７４では、Ｓ７３でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７５に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４２】
Ｓ７５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。E_AUTOSR_MODULE2は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１４３】
Ｓ７６では、Ｓ７５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４４】
Ｓ７７では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１４５】
Ｓ７８では、Ｓ７７でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７９に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４６】
Ｓ７９では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2およびE_AUTOSR_MODULE3と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。E_AUTOSR_MODULE1、E_AUTOSR_MODULE2、E_AUTOSR_MODULE3、E_AUTOSR_MODULE4の値はどのように設定してもよいが、優先的にシーン判定を行いたい種類には若い番号を付するとよい。例えば、人物判定＞風景判定＞夜景判定＞接写判定の順にシーン判定を行いたい場合は、E_AUTOSR_MODULE1=1、E_AUTOSR_MODULE2=2、E_AUTOSR_MODULE3=3、E_AUTOSR_MODULE4=4とする。これらの値を操作部１１から任意に設定できてもよい。
【０１４７】
Ｓ８０では、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７２に進み、“Ｎｏ”の場合はＳ８１に進む。
【０１４８】
Ｓ８１では、ＲＡＭ６９のパラメータSR_oldに、現在のＲＡＭ６９のシーン認識結果ＳＲを設定する。すなわち、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであればSR_old=0、現在のＲＡＭ６９のシーン認識結果ＳＲが人物であればSR_old=1、現在のＲＡＭ６９のシーン認識結果ＳＲが風景であればSR_old=2、現在のＲＡＭ６９のシーン認識結果ＳＲが夜景であればSR_old=3、現在のＲＡＭ６９のシーン認識結果ＳＲが接写であればSR_old=4とする。
【０１４９】
Ｓ８２では、ＲＡＭ６９のパラメータiに、SR_oldを代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５０】
Ｓ８３では、Ｓ８２でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８４に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５１】
Ｓ８４では、SR_old=E_AUTOSR_MODULE1であるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はＳ８５に進む。
【０１５２】
Ｓ８５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５３】
Ｓ８６では、Ｓ８５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５４】
Ｓ８７では、SR_old=E_AUTOSR_MODULE2であるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はＳ８８に進む。
【０１５５】
Ｓ８８では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５６】
Ｓ８９では、Ｓ８８でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５７】
Ｓ９０では、SR_old=E_AUTOSR_MODULE3であるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はＳ９１に進む。
【０１５８】
Ｓ９１では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５９】
Ｓ９２では、Ｓ９１でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１６０】
Ｓ９３では、SR_old=E_AUTOSR_MODULE4であるか否かを判断する。“Ｙｅｓ”の場合はメイン処理のＳ１０に戻り、“Ｎｏ”の場合はＳ９４に進む。
【０１６１】
Ｓ９４では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。その後、メイン処理のＳ１０に戻る。
【０１６２】
図１１は以上の処理（Ｓ９）とＳ１３によって決まるシーン認識結果ＳＲを概念的に示している。
【０１６３】
シーン認識結果ＳＲは、古いものから新しいものにかけて連続的に５個格納される。その履歴ＳＲには添え字j=0〜4が付され、番号が若いものほど新しい履歴である。履歴の蓄積個数＝５は一例であって、３以上の整数であれば何でもよい。
【０１６４】
Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４で、module[i]が実行されるごとに、新たなシーン認識結果ＳＲが取得される。この結果、これまでに蓄積した過去のシーン認識結果ＳＲの添え字には１がインクリメントされ、１世代古い履歴になる。新たなシーン認識結果ＳＲには０の添え字が付され、現在のシーン認識結果となる。
【０１６５】
図１１では、SR[0]=3, SR[1]=3, SR[2]=3, SR[3]=0, SR[4]=1であったのが、新たな履歴SR[0]=2が追加されることで、SR[1]=3, SR[2]=3, SR[3]=3, SR[4]=0となる。新たな履歴SR[0]の追加前に最も古い世代の履歴SR[4]=1は、新たな履歴の追加とともにＲＡＭ６９から消去してもよいし保存してもよい。
【０１６６】
Ｓ１３では、新たな履歴の追加がされると、SR[0], SR[1], SR[2], SR[3], SR[4]のうち最も出現頻度の高い履歴を特定し、それを改めてシーン認識結果ＳＲとする。図８では３の出現頻度が最大であるからＳＲ＝３となる。
【０１６７】
図示は省略するが、最大頻度の履歴が複数の場合は、最も新しい世代の履歴を含む方をシーン認識結果ＳＲとする。例えば、SR[0]=2, SR[1]=3, SR[2]=3, SR[3]=2, SR[4]=0の場合、SR[0]= SR[3]=2、SR[1]= SR[2]=3となり、２も３も出現頻度が同じである。この場合、最も新しい世代の履歴SR[0]を含む２がシーン認識結果ＳＲとなる。
【０１６８】
図１２はシーン判定サブルーチン（人物判定、module[1]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１６９】
Ｓ１０１では、顔検出処理部８０が顔検出したか否かを判断する。“Ｙｅｓ”の場合はＳ１０２、“Ｎｏ”の場合はＳ１０５に進む。
【０１７０】
Ｓ１０２では、ＲＡＭ６９の顔制限フラグがオンであるか否かを判断する。“Ｙｅｓ”の場合はＳ１０３、“Ｎｏ”の場合はＳ１０４に進む。
【０１７１】
Ｓ１０３では、ＡＦ評価値の算出領域に設定された顔領域について、顔の大きさが所定範囲内かつ顔の傾きが所定の範囲内かつ顔の向きが所定の範囲内かつ顔の確からしさのスコアが所定の範囲内かつ顔の位置が所定の範囲内であるか否かを判断する。“Ｎｏ”の場合はＳ１０３、“Ｙｅｓ”の場合はＳ１０４に進む。
【０１７２】
Ｓ１０４では、シーン認識結果ＳＲ＝人物に設定する。そして、module[1]の後に続く処理、すなわち、Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９のうちいずれか１つの次の処理、あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４のうちいずれか１つの次の処理に進む。
【０１７３】
Ｓ１０５では、シーン認識結果ＳＲ＝ＡＵＴＯに設定する。
【０１７４】
図１３は、シーン判定サブルーチン（風景判定、module[2]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１７５】
Ｓ１１１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１２４、“Ｎｏ”の場合はＳ１１２に進む。
【０１７６】
Ｓ１１２では、設定メニューや操作部１１を介して予めコンティニュアスＡＦ（以下「ＣＡＦ」と表記）の実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１１３、“Ｎｏ”の場合はＳ１２９に進む。
【０１７７】
Ｓ１１３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１１４、“Ｎｏ”の場合はＳ１１９に進む。なお、本ステップＳ１１３を省略してもよい。この場合、Ｓ１１２で“Ｙｅｓ”の場合はＳ１１４に進み、また、Ｓ１１３で“Ｎｏ”と判断された場合に続く諸処理（Ｓ１１９、Ｓ１２０、Ｓ１２１、Ｓ１２２、Ｓ１２３）も省略される。
【０１７８】
Ｓ１１４では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１５、“Ｎｏ”の場合はＳ１１６に進む。
【０１７９】
Ｓ１１５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち合焦被写体が所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８０】
Ｓ１１６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１７、“Ｎｏ”の場合はＳ１１８に進む。
【０１８１】
Ｓ１１７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８２】
Ｓ１１８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８３】
Ｓ１１９では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２０、“Ｎｏ”の場合はＳ１２１に進む。
【０１８４】
Ｓ１２０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８５】
Ｓ１２１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２２、“Ｎｏ”の場合はＳ１２３に進む。
【０１８６】
Ｓ１２２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８７】
Ｓ１２３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側
にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８８】
Ｓ１２４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８９】
Ｓ１２５では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。
【０１９０】
Ｓ１２６では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め風景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。
【０１９１】
Ｓ１２７では、ズームレンズ位置が所定範囲内例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１２８、“Ｎｏ”の場合はＳ１２９に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、全景を画角に収めることができず、風景撮影に適していないから、撮影シーンはＡＵＴＯと判断する。
【０１９２】
Ｓ１２８では、ＳＲ＝風景に設定する。そして、module[2]の後に続く処理に進む。
【０１９３】
Ｓ１２９では、ＳＲ＝ＡＵＴＯに設定する。そして、module[2]の後に続く処理に進む。
【０１９４】
図１４は、シーン判定サブルーチン（夜景判定、module[3]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１９５】
Ｓ１３１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１３２、“Ｎｏ”の場合はＳ１５２に進む。
【０１９６】
Ｓ１３２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１４７、“Ｎｏ”の場合はＳ１３３に進む。
【０１９７】
Ｓ１３３では、ＲＡＭ６９に記憶されている半押し（Ｓ１）前の夜景判定フラグがオンに設定さているか否かを判断する。“Ｙｅｓ”の場合はＳ１３４、“Ｎｏ”の場合はＳ１５２に進む。
【０１９８】
Ｓ１３４では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１３５、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。
【０１９９】
Ｓ１３５では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１３６、“Ｎｏ”の場合はＳ１５２に進む。
【０２００】
Ｓ１３６では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１３７、“Ｎｏ”の場合はＳ１４２に進む。なお、本ステップＳ１３６を省略してもよい。この場合、Ｓ１３５で“Ｙｅｓ”の場合はＳ１３７に進み、また、Ｓ１３６で“Ｎｏ”と判断された場合に続く諸処理も省略される。
【０２０１】
Ｓ１３７では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１３８、“Ｎｏ”の場合はＳ１３９に進む。
【０２０２】
Ｓ１３８では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０３】
Ｓ１３９では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４０、“Ｎｏ”の場合はＳ１４１に進む。
【０２０４】
Ｓ１４０では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０５】
Ｓ１４１では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０６】
Ｓ１４２では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４３、“Ｎｏ”の場合はＳ１４４に進む。
【０２０７】
Ｓ１４３では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０８】
Ｓ１４４では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４５、“Ｎｏ”の場合はＳ１４６に進む。
【０２０９】
Ｓ１４５では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１０】
Ｓ１４６では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１１】
Ｓ１４７では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１４８、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。
【０２１２】
Ｓ１４８では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１３】
Ｓ１４９では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１５０、“Ｎｏ”の場合はＳ１５１に進む。
【０２１４】
Ｓ１５０では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１５１、“Ｎｏ”の場合はＳ１５２に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、入射光量の乏しいバック遠景を画角に収めることができず、夜景撮影に適していないから、ＡＵＴＯと判定する。
【０２１５】
Ｓ１５１では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。
【０２１６】
Ｓ１５２では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。
【０２１７】
図１５は、シーン判定サブルーチン（夜景判定、module[3]）の他の一例を示すフロー
チャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。夜景判定は、図１１または１２のいずれかを採用すれば足りる。いずれか一方を選択的に実行できてもよい。
【０２１８】
Ｓ１６１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１６２、“Ｎｏ”の場合はＳ１６８に進む。なお、この閾値は、補助光制御部２５へ発光を指示するか否かを判別する閾値と同じであってもよいし異なっていてもよい。
【０２１９】
Ｓ１６２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１６３、“Ｎｏ”の場合はＳ１６８に進む。
【０２２０】
Ｓ１６３では、補助光制御部２５に補助光発光部２６の発光を指示したか否かを判断する。“Ｙｅｓ”の場合はＳ１６４、“Ｎｏ”の場合はＳ１６８に進む。
【０２２１】
Ｓ１６４では、補助光制御部２５が補助光発光部２６を発光させる直前と直後にそれぞれ制御回路７４の測光した被写界輝度の差が、ＲＯＭ６８に記憶された所定の閾値を超えているか否かを判断する。“Ｙｅｓ”の場合はＳ１６８、“Ｎｏ”の場合はＳ１６５に進む。なお、当該差が当該閾値を超えておらず、微小であれば、補助光照射による被写体輝度の増加の寄与がほとんどなく、被写体が近くないといえる。
【０２２２】
Ｓ１６５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１６６、“Ｎｏ”の場合はＳ１６７に進む。
【０２２３】
Ｓ１６６では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１６７、“Ｎｏ”の場合はＳ１６８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、バック遠景を画角に収めることができず、夜景撮影に適していない。
【０２２４】
Ｓ１６７では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。
【０２２５】
Ｓ１６８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。
【０２２６】
図１６は、シーン判定サブルーチン（接写判定、module[4]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０２２７】
Ｓ１７１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１８４、“Ｎｏ”の場合はＳ１７２に進む。
【０２２８】
Ｓ１７２では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１７３、“Ｎｏ”の場合はＳ１８８に進む。
【０２２９】
Ｓ１７３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１７４、“Ｎｏ”の場合はＳ１７９に進む。なお、本ステップＳ１７３を省略してもよい。この場合、Ｓ１７２で“Ｙｅｓ”の場合はＳ１７４に進み、また、Ｓ１７３で“Ｎｏ”と判断された場合に続く諸処理も省略される。
【０２３０】
Ｓ１７４では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７５、“Ｎｏ”の場合はＳ１７６に進む。
【０２３１】
Ｓ１７５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３２】
Ｓ１７６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７７、“Ｎｏ”の場合はＳ１７８に進む。
【０２３３】
Ｓ１７７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３４】
Ｓ１７８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３５】
Ｓ１７９では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８０、“Ｎｏ”の場合はＳ１８１に進む。
【０２３６】
Ｓ１８０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３７】
Ｓ１８１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８２、“Ｎｏ”の場合はＳ１８３に進む。
【０２３８】
Ｓ１８２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３９】
Ｓ１８３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２４０】
Ｓ１８４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２４１】
Ｓ１８５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め接写ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１８６、“Ｎｏ”の場合はＳ１８７に進む。
【０２４２】
Ｓ１８６では、ズームレンズ位置がＲＯＭ６８に記憶された所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１８７、“Ｎｏ”の場合はＳ１８８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がワイド端あるいはその近傍にある場合以外である。この場合、近接被写体の合焦ができず、近接撮影に適していない。
【０２４３】
Ｓ１８７では、ＳＲ＝接写に設定する。そして、module[4]の後に続く処理に進む。
【０２４４】
Ｓ１８８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[4]の後に続く処理に進む。
【０２４５】
図１２〜図１６のシーン判定の結果は、ＣＰＵ７５が表示部７１に表示するよう制御する。
【０２４６】
例えば、図３に示したように、シーン判定の結果である「風景」、「ＡＵＴＯ」、「人物」、「夜景」、「接写」といった文字を、スルー画像にあるいはレリーズボタン全押し後の記録用画像に重畳して、表示部７１に表示する。シーン判定の結果を示す文字列、アイコン、記号その他の情報は、図示しないＯＳＤ回路によって生成される。カメラ１に音声処理回路やスピーカが備えられていれば、シーン判定の結果に対応する報知音を出力するようＣＰＵ７５が制御してもよい。「自動シーン認識ＯＦＦ」が設定されていれば、シーン判定結果は表示されない。
【０２４７】
以上の処理により、ユーザーが撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであるのかを認識できる。
【０２４８】
図５のメイン処理では、シーン変動時にシーン認識を行う。前回のシーン認識結果が確定されたときのフレームの状態と、現フレームの状態の変動を監視する（Ｓ４、図６）。変化があった場合にシーン変動ありと判断されると（Ｓ５）、status=サーチ状態となり
（Ｓ６）、シーン変動のタイミングで認識部が動作する（Ｓ９）。
【０２４９】
図６のフレーム変動チェックでは、変動を検知する因子を複数持つことが可能で、順序の入れ換えなども、E_AUTOSR_FRAME_CHECK1〜3の設定により可能である。そして、変動を検知した場合には、フレーム変動の指標となるchange_measureの値をインクリメントする（Ｓ２４、Ｓ２８、Ｓ３２）。change_measureの値がE_AUTOSR_FRAME_CHANGE_MEASURE以上の場合には（Ｓ２５、Ｓ２９、Ｓ３３で“Ｙｅｓ”）、フレーム変動ありと判断される（Ｓ３５）。
【０２５０】
ここでは、フレーム変動を検知する具体的な処理として、測光値変動チェック（図７）、フォーカス位置変動チェック（図８）、顔有無変動チェック（図９）を示している。なお図示は省略するが、本撮像前ＡＦ処理部８１の合焦検出の有無に応じてフレーム変動を検知してもよい。
【０２５１】
図７の測光値変動チェックでは、測光値の変動量の指標となるdelta_evは、Ｎ分割の分割エリアごとに測光値変動量を算出し、各エリアに対応した重みをかけて総和をとったものである。そして、delta_evの値がE_AUTOSP_FRAME_DELTA_EV以上の場合に、測光値変動
ありと判断する。
【０２５２】
図８のフォーカス位置変動チェックでは、フォーカス位置の変動量の指標となるdelta_focal_pointは、基準情報のフォーカス位置と今回のフォーカス位置の差分によって算出される。delta_focal_pointの値がフォーカス位置変動閾値以上の場合に、フォーカス位置変動ありと判断する。なお、ここで使用される閾値は、ズーム位置ごとにＲＯＭ６８に設定されているものとする。
【０２５３】
図９の顔有無変動チェックでは、基準情報の顔有無結果と今回の顔有無結果が異なる場合に、顔有無変動ありと判断する。
【０２５４】
認識部動作の差異に使用するシーン認識履歴は、自動シーン認識の結果として採用するＳＲを求めた後にクリアする（Ｓ８）。これは、認識部は常時動作することを想定しておらず、離れた時刻の情報を参照することがないようにするためである。
【０２５５】
ここで、シーン認識履歴がクリアされるために、サーチ状態となってから（Ｓ６）、参照するシーン認識履歴数回分だけ認識部が動作するまでは（Ｓ１１で“Ｙ”となるまでは）、ＳＲが更新されない仕組みとなる。
【０２５６】
また、ＳＲを決定した際、フレーム変動をチェックするための基準情報として、採用されたＳＲが最大頻度になった（最新側の）情報を記憶する（Ｓ１３）。
【０２５７】
なお、決定したＳＲがＡＵＴＯ以外の場合は「確定状態」となり（Ｓ１６）、シーンが変動するまでは認識部は動作しない。これに対し、決定したＳＲがＡＵＴＯの場合は「サーチ状態」となり（Ｓ１５）、引き続き認識部を動作させる。これはシーン変動の途中で認識した結果を「確定状態」にすることで、シーン変動を正しく検知できなくなってしまう可能性があるためである。
【０２５８】
仮に、シーン変動の途中の状態を基準情報として登録した後、フレーム変動を見に行ってしまうと、最終的にシーン変動が完了した状態で認識部に動作してほしいと思っても、基準情報との差分が小さい故に、認識部が動作しない現象が起こってしまう。そこで、これを回避するため、上記のように確定したシーンに対応する情報で基準情報を更新する処理を行う（Ｓ１３）。
【０２５９】
シーン認識は結果が安定しないと、出力結果がユーザの混乱を招く。そこで、どのようなシーンであるのかという判断をする処理（Ｓ７〜Ｓ１６）と、認識したシーンから変動があったかという監視をする処理（Ｓ４〜Ｓ６）とを混合的に動作させることにより、正確で安定したシーン認識を行うことが可能となる。
【０２６０】
＜他の実施の形態＞
次に、シーンの認識結果と顔の検出結果とに基づいて各種機能を制御する場合の他の実施の形態について説明する。
【０２６１】
図１７は顔検出利用による各種機能の制御の設定方法を示すフローチャートを示す。
【０２６２】
Ｓ３００では、ユーザーによる「カスタム設定」を行うか、「デフォルト設定」を行うが判別され、"Ｙｅｓ"の場合はＳ３１０に遷移し、"Ｎｏ"の場合はＳ３２０に遷移する。
【０２６３】
図１８に、上記「カスタム設定」、「デフォルト設定」を選択するデジタルカメラ１の設定画面の一例を示す。
【０２６４】
例えば、デジタルカメラ１のメニュー／ＯＫボタン等を操作し、図１８（ａ）に示す顔検出利用設定のメニューを表示部７１に表示させ、上下矢印レバーを操作することで、「カスタム設定」、又は「デフォルト設定」を任意に選択することができる。
【０２６５】
ここで、「カスタム設定」を選択し、メニュー／ＯＫボタンを押すと、図１８（ｂ）に示すように「カスタム設定」の詳細画面に遷移する。ユーザーは、この画面上で顔検出を利用した各種機能の制御方法を任意に設定することができる。
【０２６６】
図１８（ｂ）に示す例では、「風景」、「夜景」及び「接写」のシーンの場合には、「顔ＡＦ」、「顔ＡＷＢ」、「顔階調補正」の制御は実施しないようにしている。
【０２６７】
図１７のＳ３１０では、「カスタム設定」が設定され、顔検出利用による各種機能の制御方法として、ユーザーにより設定された各種機能の設定が適用される。
【０２６８】
一方、Ｓ３２０では、「デフォルト設定」が設定され、顔検出利用による各種機能の制御方法として、デジタルカメラ１の出荷前に予め設定された各種機能の設定が適用される。
【０２６９】
即ち、デジタルカメラ１には、「デフォルト設定」用のテーブルと、「カスタム設定」用のテーブルとを有し、ユーザーによりいずれのテーブルを適用するかが選択できるようになっている。また、「カスタム設定」用のテーブルは、その内容（制御のＯＮ／ＯＦＦなど）がユーザーからの指示入力により書き替え可能になっている。
【０２７０】
尚、図１８（ｂ）に示す例では、図４に示した例と同様に、各種機能をＯＮ／ＯＦＦレベルで制御するようにしているが、各種機能の強度をいくつかのレベルに分けておき、そのレベルを設定するような仕組みでもよい。
【０２７１】
また、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。
【符号の説明】
【０２７２】
１…デジタルカメラ、１１…操作部、２０…レンズ、２４…フラッシュ発光部、２５…補助光制御部、２６…補助光発光部、５１…レンズ駆動部、５４…絞り、５５…絞り駆動部、５８…撮像素子（ＣＣＤ）、５９…撮像素子制御部、６０…アナログ信号処理部、６１…Ａ／Ｄ変換部、６２…ＡＦ処理部、６３…ＡＥ／ＡＷＢ処理部、６５…デジタル信号処理部、６６…メモリ、６７…圧縮伸張処理部、６８…ＲＯＭ、６９…ＲＡＭ、７０…記録部、７１…表示部、７３…フラッシュ制御部、７４…制御回路、７５…ＣＰＵ、８０…顔検出処理部
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特にシーンの認識結果に基づいて顔検出の利用方法を変化させる技術に関する。
【背景技術】
【０００２】
特許文献１には、デジタルスチルカメラにおいて、設定された撮影モードがシーンに対して適切であるか否かを、デジタル画像信号やＥＶ値に基づいて判定することが開示されている。
【０００３】
特許文献２には、顔認識手段と状態検出手段の出力情報に基づいてカメラの撮影モードを設定する撮影モード自動設定カメラが開示されている。特許文献２に記載のカメラは、被写体の動き、撮像倍率又は被写体距離の出力情報に基づいてカメラ撮影モードを自動設定するものである。また、特許文献２には、人の顔を検出するだけでなく、人数や撮影倍率に応じて撮影モードとして、ポートレートモード、複数人物モード、集合写真モードを区別することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２４４５３０号公報
【特許文献２】特開２００３−３４４８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明は、設定された撮影モードが撮影シーンに対して適切であるか否かを判定するものであり、シーンを認識するものではない。
【０００６】
また、特許文献２に記載の発明は、顔認識手段と状態検出手段の出力情報に基づいてシーン認識を行い、人物モードを含む各種の撮影モードを自動的に設定するものであるが、特許文献２には、シーン認識結果と顔検出結果とを利用した各種機能をどのように制御するかについては記載されていない。
【０００７】
本発明はこのような事情に鑑みてなされたもので、顔検出を利用した各種機能の制御をシーンの認識結果に応じて個別に制御することができ、より良好な撮像や画像処理を実現することができる撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の一の態様に係る撮像装置は、撮影シーンの情報を取得する情報取得手段と、取得した情報からシーンを認識するシーン認識手段と、撮影シーンに顔があるか否かを検出する顔検出手段と、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う制御手段と、を備え、シーン認識手段は、認識したシーンに対応する情報を基準情報として記憶する記憶手段と、記憶手段に記憶された基準情報と情報取得手段により取得された情報からシーンが変動したか否かを判別するシーン変動判別手段と、シーン認識を行う所定の周期を設定する周期設定手段と、を有し、シーンが変動したことが判別されると、情報取得手段により取得した情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンであって、周期設定手段により設定された所定の周期毎に情報取得手段により取得された情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報とし、記憶手段に記憶させた基準情報を更新する。
【０００９】
即ち、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うようにしたため、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか（制御を行うべきか否かを含む）等を個別に制御することができ、シーンに応じてより良好な撮像や画像処理を実現することができる。
【００１０】
また、シーンが変動したことが判別されると、所定の周期毎に取得されたシーンの情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識するようにしたため、シーンの認識結果を安定して得ることができる。
【００１１】
本発明の他の態様に係る撮像装置において、情報取得手段は、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得することが好ましい。尚、顔があるか否かを示す情報は、顔検出手段から取得することができる。
【００１２】
本発明の更に他の態様に係る撮像装置において、制御手段は、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御手段、検出された顔の領域の明るさに基づいて露出を制御する露出制御手段、検出された顔に焦点が合うように焦点調節を行う自動焦点調節手段、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整手段、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正手段のうちの２以上の手段を含む。即ち、制御手段は、顔の検出結果に応じてライブビュー画像に検出された顔の位置を顔枠等により明示的に表示し、検出された顔の領域の明るさに基づいて露出を制御し、検出された顔に焦点が合うように焦点調節を行い、検出された顔の領域の色情報に基づいてホワイトバランスを調整し、又は検出された顔の領域の明るさに基づいて階調補正を行うが、これらの各種の制御をシーンの認識結果に応じて個別に制御できるようになっている。
【００１３】
本発明の更に他の態様に係る撮像装置において、制御手段は、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを有し、シーンの認識結果と顔の検出結果とに基づいてテーブルから対応する情報を読み出して各種の制御を行う。
【００１４】
本発明の更に他の態様に係る撮像装置において、テーブルに記憶されている情報をユーザーが自由に設定するカスタム設定手段を備えることが好ましい。即ち、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか等をユーザーが自由に設定することができ、ユーザーの好みに合わせた制御を可能にしている。
【００１５】
本発明の更に他の態様に係る撮像装置において、シーン認識手段は、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する。
【００１６】
本発明の更に他の態様に係る撮像方法は、所定の周期毎に撮影シーンの情報を取得するステップと、取得した撮影シーンの情報からシーンを認識するステップと、認識したシーンに対応する情報を基準情報として記憶手段に記憶させるステップと、撮影シーンに顔があるか否かを検出するステップと、シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うステップと、を含み、シーンを認識するステップは、所定の周期毎に記憶手段に記憶された基準情報と取得されたシーンの情報とからシーンが変動したか否かを判別し、シーンが変動したことが判別されると、所定の周期毎に取得したシーンの情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報として記憶手段に記憶させた基準情報を更新する。
【００１７】
本発明の更に他の態様に係る撮像方法において、撮影シーンの情報を取得するステップは、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得することが好ましい。
【００１８】
本発明の更に他の態様に係る撮像方法において、各種の制御を行うステップは、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御、検出された顔の領域の明るさに基づいて露出を制御する露出制御、検出された顔に焦点が合うように焦点調節を行う自動焦点調節、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正のうちの２以上の制御を含む。
【００１９】
本発明の更に他の態様に係る撮像方法において、各種の制御を行うステップは、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを使用し、シーンの認識結果と顔の検出結果とに基づいてテーブルから対応する情報を読み出して各種の制御を行う。
【００２０】
本発明の更に他の態様に係る撮像方法において、テーブルに記憶されている情報は、ユーザーが自由に設定するカスタム設定手段により設定される。
【００２１】
本発明の更に他の態様に係る撮像方法において、シーンを認識するステップは、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する。
【発明の効果】
【００２２】
本発明によれば、顔検出を利用した各種の制御を行う際に、シーンの認識結果に応じてその制御をどのように行うべきか（制御を行うべきか否かを含む）等を個別に制御することができ、シーンに応じてより良好な撮像や画像処理を実現することができ、また、シーン変動時にシーンの認識結果を安定して得ることができる。
【図面の簡単な説明】
【００２３】
【図１】デジタルカメラの構成を示す概略ブロック図
【図２】本発明に係る撮像方法の概要を示すフローチャート
【図３】シーン判定の結果表示の一例を示す図
【図４】シーンの認識結果と顔検出を利用した各種機能の関係の一例を示す図表
【図５】シーン認識メイン処理のフローチャート
【図６】フレーム変動チェックのフローチャート
【図７】測光値変動チェックのフローチャート
【図８】フォーカス位置変動チェックのフローチャート
【図９】顔有無変動チェックのフローチャート
【図１０】シーン認識の詳細を示すフローチャート
【図１１】シーン認識結果ＳＲを概念的に示した図
【図１２】シーン判定サブルーチン（人物判定）のフローチャート
【図１３】シーン判定サブルーチン（風景判定）のフローチャート
【図１４】シーン判定サブルーチン（夜景判定）のフローチャート
【図１５】シーン判定サブルーチン（夜景判定）のフローチャートの他の一例
【図１６】シーン判定サブルーチン（接写判定）のフローチャート
【図１７】顔検出利用による各種機能の制御の設定方法を示すフローチャート
【図１８】顔形機能設定画面の一例を示す図
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明に係る撮像装置及び撮像方法の好ましい実施の形態について説明する。
【００２５】
［撮像装置の構成］
図１は、本発明に係る撮像装置（デジタルカメラ）の第１の実施形態を示すブロック図である。
【００２６】
この撮像装置（以下、デジタルカメラ１という。）は、撮影により取得した画像データを、Ｅｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディアなどの記録部７０へ記録するものである。
【００２７】
図１に示すように、デジタルカメラ１は、操作部１１と、ユーザーによる操作部１１への操作内容を解釈して各部を制御する制御回路７４とを有している。
【００２８】
操作部１１は、画像を撮影する撮影モードと、記録部７０に記録された画像を読み出して表示部７１に表示する再生モードとの間で動作モードを切り替える動作モードスイッチ、メニュー／ＯＫボタン、ズーム／上下矢印レバー、左右矢印ボタン、Ｂａｃｋ（戻る）ボタン、表示切替ボタン、シャッタボタン、電源スイッチを含んでいる。
【００２９】
制御回路７４は、情報処理を行うＣＰＵ７５、本発明に係るシーン認識等の情報処理を規定したプログラム、ファームウェア、プログラムでの各種判定に用いる閾値その他の定数などを記録したＲＯＭ６８、情報処理に必要な変数やデータなどを格納するＲＡＭ６９を備えている。
【００３０】
ＣＰＵ７５は、操作部１１やＡＦ処理部６２等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。ＲＯＭ６８は、デジタルカメラ１において設定される各種定数、及びＣＰＵ７５が実行するプログラム等を格納する。ＲＡＭ６９は、ＣＰＵ７５がプログラムの実行に必要なデータを一時的に格納する。
【００３１】
レンズ２０は、フォーカスレンズ及びズームレンズを有している。レンズ２０は、レンズ駆動部５１によって光軸方向に移動可能である。レンズ駆動部５１は、ＣＰＵ７５から出力されるフォーカス駆動量データに基づいて、フォーカスレンズの位置を制御する。また、レンズ駆動部５１は、操作部１１のズーム／上下矢印レバーの操作量データに基づいてズームレンズの位置を制御する。
【００３２】
また、絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。絞り駆動部５５は、ＣＰＵ７５から出力される絞り値データに基づいて絞り径の調整を行う。
【００３３】
レンズ２０、絞り５４を含む撮像光学系の後方には、撮像素子（ＣＣＤ）５８が配置されている。尚、撮像素子５８としては、ＣＣＤの代わりにＣＭＯＳイメージセンサを用いることもできる。
【００３４】
撮像素子５８は、多数の受光素子が２次元的に配列された光電面を有している。撮像光学系を通過した被写体光はこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。撮像素子５８は、撮像素子制御部５９から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、撮像素子制御部５９から与えられる電子シャッタ駆動信号によって決定される。また、撮像素子５８は、あらかじめ定められた大きさのアナログ撮像信号が得られるように、撮像素子制御部５９によりゲインが調整されて
いる。
【００３５】
撮像素子５８から取り込まれたアナログ撮影信号は、アナログ信号処理部６０に入力される。アナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）とからなる。アナログ信号処理部６０におけるＲ、Ｇ、Ｂ信号の増幅ゲインは、撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ７５は、この増幅ゲインを調整することにより撮影感度を設定する。
【００３６】
Ａ／Ｄ変換部６１は、アナログ信号処理部６０により処理されたアナログ画像信号をデジタル画像データに変換する。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００３７】
制御回路７４は、発振子（不図示）から供給される発振信号を逓倍又は分周してタイミング信号を発生させて撮像素子制御部５９に入力することにより、操作部１１のシャッタボタンの操作時における撮像素子５８からの電荷の取込み及びアナログ信号処理部６０の処理のタイミングを調整している。
【００３８】
制御回路７４は、撮像素子５８で生成された画像信号の輝度を検出することにより測光を行う。制御回路７４は、被写界輝度が低い場合、自動焦点調節（ＡＦ）時（シャッタボタン半押し時）に補助光制御部２５に指示して補助光発光部２６（例えば、ＬＥＤ）から補助光を照射させる。
【００３９】
Ａ／Ｄ変換部６１から出力されたＲ，Ｇ，Ｂの各画像データ（ＣＣＤ−ＲＡＷデータ）は、デジタル信号処理部６５によって、ホワイトバランス（ＷＢ）調整、ガンマ補正、及びＹＣ処理が施される。処理後の画像データは、メモリ６６に書き込まれる。
【００４０】
メモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。
【００４１】
表示部７１は、例えば、液晶モニタを含んでおり、撮影モード設定以後から本撮影指示がされるまでの間メモリ６６に逐次格納された画像データをライブビュー画像（スルー画像）として液晶モニタに表示させたり、再生モード時に記録部７０に保存されている画像データを液晶モニタに表示させる。尚、スルー画像は、撮影モードが選択されている間、所定の時間間隔で撮像素子５８により撮影される。
【００４２】
本実施形態のデジタルカメラ１は、動作モードが撮影モードに設定されると、画像の撮像を開始し、ライブビュー画像（スルー画）が表示部７１の液晶モニタに表示される。スルー画表示時には、ＣＰＵ７５は、後述のＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３による演算結果に基づいて、コンティニュアスＡＥ（ＣＡＥ）及びコンティニュアスＡＦ（ＣＡＦ）を実行する。ここで、コンティニュアスＡＥとは、スルー画撮影の継続中に繰り返し露出値の演算を行って、連続的に撮像素子（ＣＣＤ）５８の電子シャッタ機能及び／又は絞り５４を制御する機能である。コンティニュアスＡＦとは、スルー画撮影の継続中に繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御する機能である。撮影モード時にシャッタボタンが半押しされると（Ｓ１オン）、デジタルカメラ１は、ＡＥ処理（Ｓ１ＡＥ）及びＡＦ処理（Ｓ１ＡＦ）を実行し、ＡＥロック及びＡＦロックを実行する。
【００４３】
以下、ＡＥ処理及びＡＦ処理について説明する。撮像素子５８から出力された画像信号はＡ／Ｄ変換後にバッファメモリ（不図示）を介してＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３に入力される。
【００４４】
ＡＥ／ＡＷＢ処理部６３は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割し、この分割エリアごとにＲ、Ｇ、Ｂ信号を積算し、その積算値をＣＰＵ７５に提供する。ＣＰＵ７５は、ＡＥ／ＡＷＢ処理部６３から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。ＣＰＵ７５は、上記露出値と所定のプログラム線図に従って、絞り値とシャッタスピードを決定し、これに従い撮像素子５８の電子シャッタ機能及び絞り５４を制御して適正な露光量を得る。
【００４５】
更に、ＣＰＵ７５は、フラッシュ発光モードがオンに設定された場合にフラッシュ制御部７３にコマンドを送って動作させる。フラッシュ制御部７３は、フラッシュ発光部（放電管）２４を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ７５からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部２４への放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光手段としては、放電管に代えて発光ダイオード（ＬＥＤ）を用いることも可能である。
【００４６】
また、ＡＥ／ＡＷＢ処理部６３は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ７５に提供する。ＣＰＵ７５は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を制御し、各色チャンネルの信号に補正をかける。
【００４７】
本実施形態に係るデジタルカメラ１におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。即ち、ＡＦ処理部６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４８】
ＡＦ処理部６２により求められた積算値のデータはＣＰＵ７５に通知される。ＣＰＵ７５は、レンズ駆動部５１を制御してフォーカスレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、演算した焦点評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ７５は、レンズ駆動部５１を制御して上記合焦位置にフォーカスレンズを移動させる。尚、コンティニュアスＡＦ（ＣＡＦ）時には、Ｓ１ＡＦのときに比べて、合焦位置のサーチ範囲（ＡＦサーチ時のフォーカスレンズの移動範囲）が狭く、ＡＦ検出ポイントの数が少なくなっている。また、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００４９】
尚、露出及びホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１のユーザーがマニュアル操作により設定可能である。また、露出及びホワイトバランスが自動で設定された場合にも、ユーザーがメニュー／ＯＫボタン等の操作部１１から指示を行うことにより、露出及びホワイトバランスをマニュアル調整することが可能である。
【００５０】
シャッタボタンが半押し（Ｓ１オン）された後に全押し（Ｓ２オン）されると、撮像素子５８から記録用の本画像データが取り込まれる。この本画像データは、シャッタボタンが全押しされることによって実行される本撮影時に撮像素子５８から取り込まれ、アナログ信号処理部６０、Ａ／Ｄ変換部６１、デジタル信号処理部６５経由でメモリ６６に格納された画像データである。デジタル信号処理部６５は、本画像の画像データに対して、ガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ変換処理を行う。本画像の画素数の上限は、撮像素子５８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像及びシャッタボタン半押し時のプレ画像の画像数は、例えば、本画像よりも少ない画素数、例えば、本画像の１／１６程度の画素数で取り込まれる。
【００５１】
また、デジタル信号処理部６５は、フラッシュ発光部２４の発光量が通常の撮影時よりも小さくされた場合には、本画像における顔領域の輝度を求め、輝度が所定のしきい値Ｔｈ１よりも小さい場合には顔領域の輝度をしきい値Ｔｈ１に調整する処理を行う。
【００５２】
圧縮伸張処理部６７は、補正・変換処理が行われた本画像の画像データに対して、例えば、所定の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルは、記録部７０に記録される。この画像ファイルには、例えば、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮伸張処理部６７は、再生モードの場合に、記録部７０から読み出された画像ファイルに対して伸張処理を行う。伸張後の画像データは表示部７１の液晶モニタに表示される。
【００５３】
顔検出処理部８０は、画像照合部及び顔画像テンプレートを含み、スルー画像、プレ画像、あるいは本画像から人物の顔を検出し、その顔の位置や大きさの情報を制御回路７４に出力する。
【００５４】
具体的には、顔検出処理部８０の画像照合部が、スルー画像等の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。顔が検出されない場合には、対象領域の大きさを変えながら上記の処理を繰り返し行う。尚、顔検出方法としては、顔に含まれる顔の特徴を有する領域（例えば、肌色の領域を有する、肌色領域の中に黒色領域（目）を有する、肌色領域が顔の形状を有する等）を顔領域として検出する方法等の公知の方法を利用することができる。
【００５５】
＜撮影制御＞
図２は本発明に係る撮像方法の概要を示すフローチャートである。
【００５６】
同図に示すように、本実施形態に係るデジタルカメラ１は、顔検出処理（ステップＳ２００）とシーン認識処理（ステップＳ２０２）とを、シャッタボタンが半押し（Ｓ１オン）されるまで（ステップＳ２０４）、繰り返し実施する。尚、顔検出処理及びシーン認識処理の詳細については後述する。
【００５７】
シーン認識は、ユーザーが撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであるのかを認識する技術である。予めいくつかのシーンを定義しておき、認識した結果を表示部７１に表示する。例えば、図３に示すように、「人物」、「風景」、「夜景」又は「接写」等のシーン認識結果は、テキスト又はアイコン表示などによりユーザーに分かりやすいように通知される。尚、定義したシーンのいずれにも当てはまらない場合の認識結果は、「ＡＵＴＯ」とし、また、自動シーン認識が「ＯＦＦ」の場合には、何も表示しないようにする。
【００５８】
ここで注意すべき点は、顔検出の結果はシーン認識に利用するが、顔検出の結果更新のタイミングと、シーン認識の結果更新のタイミングは必ずしも一致するとは限らないことである。即ち、顔検出処理とシーン認識処理とは、それぞれ独立に動いていて、顔検出の結果が更新されないと、シーン認識が動かない仕組みになっていない。また、図２のフローチャートで示すように、シーン認識とは全く別のタイミングで顔を検出することも可能である。例えば、シーン認識は本露光（ステップＳ２２０）の前に確定するが、顔検出は本露光後にも実行することができる（ステップＳ２２２参照）。
【００５９】
このように、顔検出の結果とシーン認識の結果はいつも同じような関係が成り立つとは限らない。（「顔が検出されている」＝「人物モード」が常に成り立っているわけではない）。
【００６０】
そのため、後述するようにシーン認識の結果に応じて、顔検出を利用した各種機能の制御方法を個別に制御することで、より高性能なカメラとすることができる。
【００６１】
Ｓ２０４において、シャッタボタンの半押し（Ｓ１オン）が判別され、"Ｙｅｓ"の場合は、Ｓ２０６に遷移し、"Ｎｏ"の場合はスタートに戻る。
【００６２】
Ｓ２０６では、ＡＥ処理（Ｓ１ＡＥ）が行われ、Ｓ２０８ではＡＦ処理（Ｓ１ＡＦ）が行われ、それぞれＡＥロック及びＡＦロックされる。
【００６３】
Ｓ２１０では、Ｓ２０２と同様にシーン認識が行われるが、Ｓ２０２がＣＡＥ，ＣＡＦの結果を利用しているのに対し、Ｓ１ＡＥ、Ｓ１ＡＦの結果を利用する点で異なる。
【００６４】
Ｓ２１２では、Ｓ２１０でのシーン認識結果に応じてシーンに適したプログラム線図を選択し、選択したプログラム線図とＳ２０６でのＳ１ＡＥの測光結果（ＥＶ値）とに基づいて絞り値とシャッタスピードとを決定する。
【００６５】
Ｓ２１４では、シャッタボタンの全押し（Ｓ２オン）が判別され、"Ｙｅｓ"の場合はＳ２２０に遷移し、"Ｎｏ"の場合はＳ２１６に遷移する。
【００６６】
Ｓ２１６では、シャッタボタンの半押し（Ｓ１オン）が判別され、"Ｙｅｓ"の場合はＳ２１８に遷移し、ここで顔検出処理が行われ、一方、"Ｎｏ"の場合はスタートに戻る。
【００６７】
Ｓ２２０では、Ｓ２１２で決定した絞り値及びシャッタスピードに基づいて本露光を行い、本画像の撮像を行う。
【００６８】
Ｓ２２２では、本画像に対して顔検出処理が行われる。Ｓ２２４では、本画像に対してホワイトバランス調整、ガンマ補正等の階調補正などの信号処理が行われる。
【００６９】
Ｓ２２６では、信号処理後の本画像を所定フォーマットで圧縮処理し、画像ファイルを生成して記録部７０に記録する。
【００７０】
次に、シーンの認識結果と顔の検出結果とに基づいて各種機能を制御する場合の実施の形態について説明する。
【００７１】
図４に、シーンの認識結果と顔検出を利用した各種機能の関係の一例を示す。
【００７２】
同図に示す例では、５つのシーン認識結果と、５種類の顔検出を利用した制御との関係を示している。
【００７３】
まず、「顔枠表示」、「顔ＡＥ」、「顔ＡＦ」、「顔ＡＷＢ」、「顔階調補正」の５種類の顔検出を利用した制御について簡単に説明する。
【００７４】
「顔枠表示」制御は、ライブビュー画像（スルー画像）の表示中に顔検出処理により顔が検出されると（図２のＳ２００）、検出された顔の位置及び大きさに基づいてスルー画像上で顔の領域を囲む顔枠を表示させる制御である。これにより、ユーザーは顔が正しく検出されているかどうかを判断することができる。尚、顔枠の代わりに、矢印、その他のマークを表示するようにしてもよい。
【００７５】
「顔ＡＥ」制御は、顔の検出結果に基づいてＣＡＥ、Ｓ１ＡＥでの露出制御を行うもので、検出された顔の領域の明るさに基づいて測光値（ＥＶ値）を決定し、露出を制御する。
【００７６】
「顔ＡＦ」制御は、顔の検出結果に基づいてＣＡＦ、Ｓ１ＡＦでの自動焦点調節を行うもので、検出された顔の領域をＡＦエリアとし、このＡＦエリア（顔領域）に焦点が合うように焦点調節を行う。
【００７７】
「顔ＡＷＢ」制御は、顔の検出結果に基づいてホワイトバランス調整を行うもので、検出された顔の領域の色情報に基づいて、例えば肌色がきれいになるようにホワイトバランス調整を行う。
【００７８】
「顔階調補正」制御は、顔の検出結果に基づいて画像の階調補正を行うもので、検出された顔の領域の明るさが適正な明るさになるようにガンマ補正等の階調補正を行う。
【００７９】
図４に示す例では、〇印は制御を行い、×印は制御を行い場合に関して示しており「顔枠表示」、「顔ＡＥ」、及び「顔ＡＦ」の制御は、「ＡＵＴＯ」、「人物」、「風景」、「夜景」、「接写」の５つのシーン認識結果にかかわらず、常に制御を行っている。
【００８０】
一方、「顔ＡＷＢ」、及び「顔階調補正」の制御は、「ＡＵＴＯ」、「人物」、及び「接写」のシーンのみで行い、「風景」、「夜景」のシーンでは制御を行わないようにしている。
【００８１】
尚、シーンの認識結果と顔の検出結果とに基づく各種機能の制御は、図４に示す例に限定されず、また、シーン認識の種類及び顔検出を利用した制御の種類も図４に示す例に限定されず、種々のものが考えられる。
【００８２】
また、各種機能をＯＮ／ＯＦＦレベルで制御するようにしているが、各種機能の強度をいくつかのレベルに分けておき、そのレベルを設定するような仕組みでもよい（「強、中、弱」、「レベル１〜５」など）。
【００８３】
尚、前述したようにシーン認識と顔検出とは必ずしも同じタイミングで行う必要はなく、そのため、図２に示した例では、本露光の後にシーン認識をするステップは記載されていないが、特にそれに限定するものではない。
【００８４】
このようにシーン認識の結果に応じて、顔検出を利用した各種機能の制御方法を個別に制御することで、より高性能なカメラとすることができる（きれいな画像を撮像・作成する、表示を見やすくする、画像検索をしやすくするなど）。
【００８５】
［シーン認識処理］
次に、図２に示したＳ２００、Ｓ２１０での「シーン認識」（Ｓ２００、Ｓ２１８、Ｓ２２２での「顔検出」を含む）について詳述する。
【００８６】
図５は、シーン認識メイン処理のフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。この処理は、撮影モードが操作部１１から設定され、かつ、そのときに「自動シーン認識ＯＮ」が操作部１１から設定されていた場合に開始する。「自動シーン認識ＯＦＦ」が操作部１１から設定されている場合には開始しない。
【００８７】
Ｓ１では、この処理の実行が初回であるか否かを判断する。“Ｙｅｓ”の場合はＳ２、“Ｎｏ”の場合はＳ３に進む。
【００８８】
Ｓ２では、ＲＡＭ６９のフレーム変動基準情報を初期化する。フレーム変動基準情報には、分割測光値、フォーカスレンズの位置、合焦ＡＦエリアのタイプ（合焦状態となったＡＦエリアが顔検出処理部８０の検出した顔領域であるか否か、あるいは、デフォルトの画面中央近傍領域であるか否か）、合焦ＡＦフィルタ（例えば特許公開２００６−１４５９６４のローパスフィルタ、ハイパスフィルタ）、顔検出処理部８０による顔検出の有無が含まれる。また、ＲＡＭ６９のstatusをサーチ状態に、チェックカウンタを０に、シーン認識履歴保持フラグをＯＦＦに設定する。
【００８９】
Ｓ３では、ＲＡＭ６９のstatus=確定状態か否かを判断する。“Ｙｅｓ”の場合はＳ４、“Ｎｏ”の場合はＳ７に進む。
【００９０】
Ｓ４では、フレーム変動チェックを行う。この処理は後述する。
【００９１】
Ｓ５では、フレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ６、“Ｎｏ”の場合はＳ１に戻る。
【００９２】
Ｓ６では、シーン変動があったと判断し、ＲＡＭ６９のstatusをサーチ状態に設定する。
【００９３】
Ｓ７では、ＲＡＭ６９のシーン認識履歴保持フラグがＯＮに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ９、“Ｎｏ”の場合はＳ８に進む。
【００９４】
Ｓ８では、ＲＡＭ６９のシーン認識カウンタを０に設定する。また、ＲＡＭ６９のシーン認識履歴をクリアする。
【００９５】
Ｓ９では、認識部のシーン認識動作を行う。この処理は後述する。この処理の結果、ＲＡＭ６９にシーン認識結果ＳＲが記憶される。シーン認識結果ＳＲは、風景、ＡＵＴＯ、人物、夜景、接写などを含む。これら各シーンの認識の処理の詳細は後述する。
【００９６】
Ｓ１０では、ＲＡＭ６９のシーン認識カウンタを１だけインクリメントする。
【００９７】
Ｓ１１では、ＲＡＭ６９のシーン認識カウンタおよびＲＯＭ６８の所定のシーン認識履歴数閾値（E_AUTOSR_SR_HISTORY_BEFORE_S1）を比較し、シーン認識カウンタ≧シーン認識履歴数閾値であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２、“Ｎｏ”の場合はＳ１７に進む。
【００９８】
Ｓ１２では、ＲＡＭ６９のシーン認識履歴をチェックする。シーン認識履歴は、statusが確定状態になるまで繰り返されたＳ９によりそれぞれ個別に記憶された、複数のシーン
認識結果ＳＲで構成される。
【００９９】
Ｓ１３では、ＲＡＭ６９のシーン認識結果ＳＲを、Ｓ９で異なる時間に記憶された複数のシーン認識結果ＳＲで構成されたシーン認識履歴の中で、最大の出現頻度を有するものに更新する。また、ＲＡＭ６９のフレーム変動情報を、当該最大の出現頻度を有するシーン認識結果ＳＲと同じ時点で取得されたフレーム変動情報に更新する。
【０１００】
Ｓ１４では、ＲＡＭ６９のシーン認識結果ＳＲが「ＡＵＴＯ」と異なるか否かを判断する。“Ｙｅｓ”の場合はＳ１６、“Ｎｏ”の場合はＳ１５に進む。
【０１０１】
Ｓ１５では、ＲＡＭ６９のstatusをサーチ状態に設定し、Ｓ１に戻る。
【０１０２】
Ｓ１６では、ＲＡＭ６９のstatusを確定状態に設定し、Ｓ１に戻る。
【０１０３】
図６は、フレーム変動チェック（Ｓ４）の詳細な処理の流れを示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１０４】
Ｓ２１では、ＲＡＭ６９のパラメータであるchangeをOFFに、change_measureを０に設定する。
【０１０５】
Ｓ２２では、１回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうちのいずれか１つであるものとするがその他の種類を含んでいてもよい。これらの処理は後述する。１回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK1として記憶される。
【０１０６】
Ｓ２３では、Ｓ２２の１回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２４、“Ｎｏ”の場合はＳ２６に進む。
【０１０７】
Ｓ２４では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１０８】
Ｓ２５では、ＲＡＭ６９のchange_measureとＲＯＭ６８の所定閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ２６、“Ｙｅｓ”の場合はＳ３５に進む。
【０１０９】
Ｓ２６では、２回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目と異なるいずれか１つである。２回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK2として記憶される。
【０１１０】
Ｓ２７では、Ｓ２６の２回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ２８、“Ｎｏ”の場合はＳ３０に進む。
【０１１１】
Ｓ２８では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１１２】
Ｓ２９では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３０、“Ｙｅｓ”の場合はＳ３５に進む。
【０１１３】
Ｓ３０では、３回目のフレーム変動チェックを行う。ここでは、フレーム変動チェックは、測光値変動チェック、フォーカス位置変動チェック、顔有無変動チェックのうち、１回目および２回目と異なるものである。３回目のフレーム変動チェックの結果は、ＲＡＭ６９のパラメータであるE_AUTOSP_FRAME_CHECK3として記憶される。
【０１１４】
Ｓ３１では、Ｓ３０の３回目のフレーム変動チェックの結果、フレーム変動があったか否かを判断する。“Ｙｅｓ”の場合はＳ３２、“Ｎｏ”の場合はＳ３４に進む。
【０１１５】
Ｓ３２では、ＲＡＭ６９のchange_measureを１だけインクリメントする。
【０１１６】
Ｓ３３では、ＲＡＭ６９のchange_measureと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_CHANGE_MEASUREとを比較し、change_measure≧E_AUTOSP_FRAME_CHANGE_MEASUREであるか否かを判断する。“Ｎｏ”の場合はＳ３４、“Ｙｅｓ”の場合はＳ３５に進む。
【０１１７】
Ｓ３４では、フレーム変動なしと判断する。その判断を示すフラグをＲＡＭ６９に記憶してもよい。そして、シーン認識メイン処理のＳ５に戻る。
【０１１８】
Ｓ３５では、フレーム変動ありと判断する。「フレーム変動あり」のフラグであるchange=ONに設定しＲＡＭ６９に記憶する。そして、シーン認識メイン処理のＳ５に戻る。
【０１１９】
図７は測光値変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１２０】
Ｓ４１では、ＲＡＭ６９のパラメータchange_evをOFFに設定する。また、ＲＡＭ６９のパラメータev[i]を今回のフレーム画像について測光部４６から得られた測光値とする。iは、所定の単位で画像を分割して得たＮ個の各ブロックに対応する添え字である。ここではｉ＝０〜Ｎ−１とする。）。また、ＲＡＭ６９のパラメータev_base[i]をフレーム変動基準情報の分割測光値とし、その値をＲＡＭ６９に確保する。なお、ev_base[i]はメイン処理のＳ２で初期化され、Ｓ１３で更新される。また、各ブロックに対応する重みw [i]をＲＯＭ６８から読み出す。
【０１２１】
Ｓ４２では、次式によりdelta_evをＲＡＭ６９に設定する。総和はｉ＝０〜Ｎ−１について行われる。delta_evは全画面の明るさ同士の差分でもよい。
【０１２２】
delta_ev=ΣW[i]*|ev[i]-ev_base[i]|/ ΣW[i]
各領域ごとの差の絶対値を総和するのは次の理由による。絶対値をとらないと、実際には領域ごとに大きな変化が生じているにもかかわらず、総和により各領域ごとの変化が相殺され、全体として変化がなくなるのを防ぐためである。
【０１２３】
Ｓ４３では、ＲＡＭ６９のdelta_evと、ＲＯＭ６８に記憶された閾値E_AUTOSP_FRAME_DELTA_EV とを比較し、delta_ev≧E_AUTOSP_FRAME_DELTA_EVであるか否かを判断する。“
Ｙｅｓ”の場合はＳ４４、“Ｎｏ”の場合はＳ４５に進む。
【０１２４】
Ｓ４４では、測光値の変動があったと判断する。そして、測光値の変動があったことを示すフラグchange_evをＯＮに設定しＲＡＭ６９に記憶する。
【０１２５】
Ｓ４５では、測光値の変動がなかったと判断する。測光値の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１２６】
図８はフォーカス位置変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１２７】
Ｓ５１では、ＲＡＭ６９のパラメータchange_focal_pointをＯＦＦに、focal_pointを今回のフレーム画像を取得したときにレンズ駆動部５１が設定したフォーカスレンズの位置（駆動パルス数）に、focal_point_baseをフレーム変動基準情報のフォーカスレンズの位置（Ｓ２で初期化あるいはＳ１３で更新されるもの）とし、その記憶領域をＲＡＭ６９に確保する。
【０１２８】
Ｓ５２では、次式によりdelta_ focal_pointをＲＡＭ６９に設定する。
【０１２９】
delta_focal_point=| focal_point- focal_point_base|
Ｓ５３では、ＲＡＭ６９のdelta_focal_pointと、ＲＯＭ６８に記憶された所定のフォーカス位置変動閾値とを比較し、delta_focal_point＞フォーカス位置変動閾値であるか否かを判断する。“Ｙｅｓ”の場合はＳ５４、“Ｎｏ”の場合はＳ５５に進む。
【０１３０】
Ｓ５４では、フォーカス位置の変動があったと判断する。そして、フォーカス位置の変動があったことを示すフラグchange_ focal_pointをＯＮに設定しＲＡＭ６９に記憶する。
【０１３１】
Ｓ５５では、フォーカス位置の変動がなかったと判断する。フォーカス位置の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１３２】
図９は顔有無変動チェックのフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１３３】
Ｓ６１では、ＲＡＭ６９のパラメータchange_face_resultをＯＦＦに設定する。
【０１３４】
Ｓ６２では、今回のフレーム画像を取得したときに顔検出処理部８０が出力した顔検出の有無が、フレーム変動基準情報の顔検出の有無（Ｓ２で初期化あるいはＳ１３で更新されるもの）と一致するか否かを判断する。“Ｙｅｓ”の場合はＳ６４、“Ｎｏ”の場合はＳ６３に進む。
【０１３５】
Ｓ６３では、顔検出の有無の変動があったと判断する。そして、顔検出の有無の変動があったことを示すフラグchange_face_resultをＯＮに設定しＲＡＭ６９に記憶する。
【０１３６】
Ｓ６４では、顔検出の有無の変動がなかったと判断する。顔検出の有無の変動がなかったことを示すフラグＲＡＭ６９に記憶してもよい。
【０１３７】
図７はの認識部のシーン認識動作（Ｓ９）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１３８】
Ｓ７１では、ＲＡＭ６９に格納された、シーン依存サーチを実施するフラグ(E_AUTOSR_SEARCH_TYPE)が０であるか否かを判断する。“Ｙｅｓ”の場合はＳ８０、“Ｎｏ”の場合はＳ７２に進む。なお、E_AUTOSR_SEARCH_TYPEの値は操作部１１から任意に設定できるものとする。
【０１３９】
Ｓ７２では、ＲＡＭ６９のシーン認識結果ＳＲにＡＵＴＯを設定する。
【０１４０】
Ｓ７３では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。E_AUTOSR_MODULE1は０〜４のうちのいずれかの整数である。そして、module[i]に相当するシーン判定サブルーチンを実施する。module[0]は何もしない。module[1]は後述の人物判定を行う。module[2]は後述の風景判定を行う。module[3]は後述の夜景判定を行う。module[4]は後述の接写判定を行う。
【０１４１】
Ｓ７４では、Ｓ７３でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７５に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４２】
Ｓ７５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。E_AUTOSR_MODULE2は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１４３】
Ｓ７６では、Ｓ７５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲが
ＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４４】
Ｓ７７では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１４５】
Ｓ７８では、Ｓ７７でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７９に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１４６】
Ｓ７９では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。E_AUTOSR_MODULE3は０〜４のうちのいずれかの整数であり、かつE_AUTOSR_MODULE1およびE_AUTOSR_MODULE2およびE_AUTOSR_MODULE3と異なる。そして、module[i]に相当するシーン判定サブルーチンを実施する。E_AUTOSR_MODULE1、E_AUTOSR_MODULE2、E_AUTOSR_MODULE3、E_AUTOSR_MODULE4の値はどのように設定してもよいが、優先的にシーン判定を行いたい種類には若い番号を付するとよい。例えば、人物判定＞風景判定＞夜景判定＞接写判定の順にシーン判定を行いたい場合は、E_AUTOSR_MODULE1=1、E_AUTOSR_MODULE2=2、E_AUTOSR_MODULE3=3、E_AUTOSR_MODULE4=4とする。これらの値を操作部１１から任意に設定できてもよい。
【０１４７】
Ｓ８０では、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ７２に進み、“Ｎｏ”の場合はＳ８１に進む。
【０１４８】
Ｓ８１では、ＲＡＭ６９のパラメータSR_oldに、現在のＲＡＭ６９のシーン認識結果ＳＲを設定する。すなわち、現在のＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであればSR_old=0、現在のＲＡＭ６９のシーン認識結果ＳＲが人物であればSR_old=1、現在のＲＡＭ６９のシーン認識結果ＳＲが風景であればSR_old=2、現在のＲＡＭ６９のシーン認識結果ＳＲが夜景であればSR_old=3、現在のＲＡＭ６９のシーン認識結果ＳＲが接写であればSR_old=4とする。
【０１４９】
Ｓ８２では、ＲＡＭ６９のパラメータiに、SR_oldを代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５０】
Ｓ８３では、Ｓ８２でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８４に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５１】
Ｓ８４では、SR_old=E_AUTOSR_MODULE1であるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はＳ８５に進む。
【０１５２】
Ｓ８５では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE1を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５３】
Ｓ８６では、Ｓ８５でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ８７に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５４】
Ｓ８７では、SR_old=E_AUTOSR_MODULE2であるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はＳ８８に進む。
【０１５５】
Ｓ８８では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE2を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５６】
Ｓ８９では、Ｓ８８でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９０に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１５７】
Ｓ９０では、SR_old=E_AUTOSR_MODULE3であるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はＳ９１に進む。
【０１５８】
Ｓ９１では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE3を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。
【０１５９】
Ｓ９２では、Ｓ９１でのmodule[i]の実施の結果、ＲＡＭ６９のシーン認識結果ＳＲがＡＵＴＯであるか否かを判断する。“Ｙｅｓ”の場合はＳ９３に進み、“Ｎｏ”の場合はメイン処理のＳ１０に戻る。
【０１６０】
Ｓ９３では、SR_old=E_AUTOSR_MODULE4であるか否かを判断する。“Ｙｅｓ”の場合はメイン処理のＳ１０に戻り、“Ｎｏ”の場合はＳ９４に進む。
【０１６１】
Ｓ９４では、ＲＡＭ６９のパラメータiに、ＲＯＭ６８に予め記憶されたE_AUTOSR_MODULE4を代入する。そして、module[i]に相当するシーン判定サブルーチンを実施する。その後、メイン処理のＳ１０に戻る。
【０１６２】
図１１は以上の処理（Ｓ９）とＳ１３によって決まるシーン認識結果ＳＲを概念的に示している。
【０１６３】
シーン認識結果ＳＲは、古いものから新しいものにかけて連続的に５個格納される。その履歴ＳＲには添え字j=0〜4が付され、番号が若いものほど新しい履歴である。履歴の蓄積個数＝５は一例であって、３以上の整数であれば何でもよい。
【０１６４】
Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４で、module[i]が実行されるごとに、新たなシーン認識結果ＳＲが取得される。この結果、これまでに蓄積した過去のシーン認識結果ＳＲの添え字には１がインクリメントされ、１世代古い履歴になる。新たなシーン認識結果ＳＲには０の添え字が付され、現在のシーン認識結果となる。
【０１６５】
図１１では、SR[0]=3, SR[1]=3, SR[2]=3, SR[3]=0, SR[4]=1であったのが、新たな履歴SR[0]=2が追加されることで、SR[1]=3, SR[2]=3, SR[3]=3, SR[4]=0となる。新たな履歴SR[0]の追加前に最も古い世代の履歴SR[4]=1は、新たな履歴の追加とともにＲＡＭ６９から消去してもよいし保存してもよい。
【０１６６】
Ｓ１３では、新たな履歴の追加がされると、SR[0], SR[1], SR[2], SR[3], SR[4]のうち最も出現頻度の高い履歴を特定し、それを改めてシーン認識結果ＳＲとする。図８では３の出現頻度が最大であるからＳＲ＝３となる。
【０１６７】
図示は省略するが、最大頻度の履歴が複数の場合は、最も新しい世代の履歴を含む方をシーン認識結果ＳＲとする。例えば、SR[0]=2, SR[1]=3, SR[2]=3, SR[3]=2, SR[4]=0の場合、SR[0]= SR[3]=2、SR[1]= SR[2]=3となり、２も３も出現頻度が同じである。この場合、最も新しい世代の履歴SR[0]を含む２がシーン認識結果ＳＲとなる。
【０１６８】
図１２はシーン判定サブルーチン（人物判定、module[1]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１６９】
Ｓ１０１では、顔検出処理部８０が顔検出したか否かを判断する。“Ｙｅｓ”の場合はＳ１０２、“Ｎｏ”の場合はＳ１０５に進む。
【０１７０】
Ｓ１０２では、ＲＡＭ６９の顔制限フラグがオンであるか否かを判断する。“Ｙｅｓ”の場合はＳ１０３、“Ｎｏ”の場合はＳ１０４に進む。
【０１７１】
Ｓ１０３では、ＡＦ評価値の算出領域に設定された顔領域について、顔の大きさが所定範囲内かつ顔の傾きが所定の範囲内かつ顔の向きが所定の範囲内かつ顔の確からしさのスコアが所定の範囲内かつ顔の位置が所定の範囲内であるか否かを判断する。“Ｎｏ”の場合はＳ１０３、“Ｙｅｓ”の場合はＳ１０４に進む。
【０１７２】
Ｓ１０４では、シーン認識結果ＳＲ＝人物に設定する。そして、module[1]の後に続く処理、すなわち、Ｓ７３・Ｓ７５・Ｓ７７・Ｓ７９のうちいずれか１つの次の処理、あるいはＳ８５・Ｓ８８・Ｓ９１・Ｓ９４のうちいずれか１つの次の処理に進む。
【０１７３】
Ｓ１０５では、シーン認識結果ＳＲ＝ＡＵＴＯに設定する。
【０１７４】
図１３は、シーン判定サブルーチン（風景判定、module[2]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１７５】
Ｓ１１１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１２４、“Ｎｏ”の場合はＳ１１２に進む。
【０１７６】
Ｓ１１２では、設定メニューや操作部１１を介して予めコンティニュアスＡＦ（以下「ＣＡＦ」と表記）の実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１１３、“Ｎｏ”の場合はＳ１２９に進む。
【０１７７】
Ｓ１１３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１１４、“Ｎｏ”の場合はＳ１１９に進む。なお、本ステップＳ１１３を省略してもよい。この場合、Ｓ１１２で“Ｙｅｓ”の場合はＳ１１４に進み、また、Ｓ１１３で“Ｎｏ”と判断された場合に続く諸処理（Ｓ１１９、Ｓ１２０、Ｓ１２１、Ｓ１２２、Ｓ１２３）も省略される。
【０１７８】
Ｓ１１４では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１５、“Ｎｏ”の場合はＳ１１６に進む。
【０１７９】
Ｓ１１５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち合焦被写体が所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８０】
Ｓ１１６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１１７、“Ｎｏ”の場合はＳ１１８に進む。
【０１８１】
Ｓ１１７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８２】
Ｓ１１８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８３】
Ｓ１１９では、ＲＯＭ６８に記憶されたE_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２０、“Ｎｏ”の場合はＳ１２１に進む。
【０１８４】
Ｓ１２０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８５】
Ｓ１２１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１２２、“Ｎｏ”の場合はＳ１２３に進む。
【０１８６】
Ｓ１２２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８７】
Ｓ１２３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側
にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８８】
Ｓ１２４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１２５、“Ｎｏ”の場合はＳ１２９に進む。
【０１８９】
Ｓ１２５では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。
【０１９０】
Ｓ１２６では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め風景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１２６、“Ｎｏ”の場合はＳ１２９に進む。
【０１９１】
Ｓ１２７では、ズームレンズ位置が所定範囲内例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１２８、“Ｎｏ”の場合はＳ１２９に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、全景を画角に収めることができず、風景撮影に適していないから、撮影シーンはＡＵＴＯと判断する。
【０１９２】
Ｓ１２８では、ＳＲ＝風景に設定する。そして、module[2]の後に続く処理に進む。
【０１９３】
Ｓ１２９では、ＳＲ＝ＡＵＴＯに設定する。そして、module[2]の後に続く処理に進む。
【０１９４】
図１４は、シーン判定サブルーチン（夜景判定、module[3]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０１９５】
Ｓ１３１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１３２、“Ｎｏ”の場合はＳ１５２に進む。
【０１９６】
Ｓ１３２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１４７、“Ｎｏ”の場合はＳ１３３に進む。
【０１９７】
Ｓ１３３では、ＲＡＭ６９に記憶されている半押し（Ｓ１）前の夜景判定フラグがオンに設定さているか否かを判断する。“Ｙｅｓ”の場合はＳ１３４、“Ｎｏ”の場合はＳ１５２に進む。
【０１９８】
Ｓ１３４では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１３５、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。
【０１９９】
Ｓ１３５では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１３６、“Ｎｏ”の場合はＳ１５２に進む。
【０２００】
Ｓ１３６では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１３７、“Ｎｏ”の場合はＳ１４２に進む。なお、本ステップＳ１３６を省略してもよい。この場合、Ｓ１３５で“Ｙｅｓ”の場合はＳ１３７に進み、また、Ｓ１３６で“Ｎｏ”と判断された場合に続く諸処理も省略される。
【０２０１】
Ｓ１３７では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１３８、“Ｎｏ”の場合はＳ１３９に進む。
【０２０２】
Ｓ１３８では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０３】
Ｓ１３９では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４０、“Ｎｏ”の場合はＳ１４１に進む。
【０２０４】
Ｓ１４０では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０５】
Ｓ１４１では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０６】
Ｓ１４２では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４３、“Ｎｏ”の場合はＳ１４４に進む。
【０２０７】
Ｓ１４３では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２０８】
Ｓ１４４では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１４５、“Ｎｏ”の場合はＳ１４６に進む。
【０２０９】
Ｓ１４５では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１０】
Ｓ１４６では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１１】
Ｓ１４７では、操作部１１からの入力あるいはＲＯＭ６８に記憶されたパラメータにより夜景判定で距離情報を使うか否かのいずれが設定されているかを判断する。夜景判定で距離情報を使う設定がされている場合はＳ１４８、夜景判定で距離情報を使う設定がされていない場合はＳ１４９に進む。
【０２１２】
Ｓ１４８では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも無限遠（ＩＮＦ）側にあるか、すなわち所定距離よりも遠いか否かを判断する。“Ｙｅｓ”の場合はＳ１４９、“Ｎｏ”の場合はＳ１５２に進む。
【０２１３】
Ｓ１４９では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１５０、“Ｎｏ”の場合はＳ１５１に進む。
【０２１４】
Ｓ１５０では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１５１、“Ｎｏ”の場合はＳ１５２に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、入射光量の乏しいバック遠景を画角に収めることができず、夜景撮影に適していないから、ＡＵＴＯと判定する。
【０２１５】
Ｓ１５１では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。
【０２１６】
Ｓ１５２では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。
【０２１７】
図１５は、シーン判定サブルーチン（夜景判定、module[3]）の他の一例を示すフロー
チャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。夜景判定は、図１１または１２のいずれかを採用すれば足りる。いずれか一方を選択的に実行できてもよい。
【０２１８】
Ｓ１６１では、制御回路７４の測光した被写界輝度が、ＲＯＭ６８に記憶された所定の閾値よりも低いか否かを判断する。“Ｙｅｓ”の場合はＳ１６２、“Ｎｏ”の場合はＳ１６８に進む。なお、この閾値は、補助光制御部２５へ発光を指示するか否かを判別する閾値と同じであってもよいし異なっていてもよい。
【０２１９】
Ｓ１６２では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１６３、“Ｎｏ”の場合はＳ１６８に進む。
【０２２０】
Ｓ１６３では、補助光制御部２５に補助光発光部２６の発光を指示したか否かを判断する。“Ｙｅｓ”の場合はＳ１６４、“Ｎｏ”の場合はＳ１６８に進む。
【０２２１】
Ｓ１６４では、補助光制御部２５が補助光発光部２６を発光させる直前と直後にそれぞれ制御回路７４の測光した被写界輝度の差が、ＲＯＭ６８に記憶された所定の閾値を超えているか否かを判断する。“Ｙｅｓ”の場合はＳ１６８、“Ｎｏ”の場合はＳ１６５に進む。なお、当該差が当該閾値を超えておらず、微小であれば、補助光照射による被写体輝度の増加の寄与がほとんどなく、被写体が近くないといえる。
【０２２２】
Ｓ１６５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め夜景ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１６６、“Ｎｏ”の場合はＳ１６７に進む。
【０２２３】
Ｓ１６６では、ズームレンズ位置が所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１６７、“Ｎｏ”の場合はＳ１６８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がテレ端あるいはその近傍にある場合である。この場合、バック遠景を画角に収めることができず、夜景撮影に適していない。
【０２２４】
Ｓ１６７では、ＳＲ＝夜景に設定する。そして、module[3]の後に続く処理に進む。
【０２２５】
Ｓ１６８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[3]の後に続く処理に進む。
【０２２６】
図１６は、シーン判定サブルーチン（接写判定、module[4]）の詳細を示すフローチャートである。この処理はカメラ１のＣＰＵ７５によって実行が制御される。この処理を規定するプログラムはＲＯＭ６８に記憶されている。
【０２２７】
Ｓ１７１では、レリーズボタンの半押し（Ｓ１）がロックされているか否かを判断する。“Ｙｅｓ”の場合はＳ１８４、“Ｎｏ”の場合はＳ１７２に進む。
【０２２８】
Ｓ１７２では、設定メニューや操作部１１を介して予めＣＡＦの実行が設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１７３、“Ｎｏ”の場合はＳ１８８に進む。
【０２２９】
Ｓ１７３では、本撮像前ＡＦ処理部８１の算出したＡＦ評価値が、ＲＯＭ６８に記憶された所定の閾値よりも高いか否かを判断する。“Ｙｅｓ”の場合はＳ１７４、“Ｎｏ”の場合はＳ１７９に進む。なお、本ステップＳ１７３を省略してもよい。この場合、Ｓ１７２で“Ｙｅｓ”の場合はＳ１７４に進み、また、Ｓ１７３で“Ｎｏ”と判断された場合に続く諸処理も省略される。
【０２３０】
Ｓ１７４では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７５、“Ｎｏ”の場合はＳ１７６に進む。
【０２３１】
Ｓ１７５では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３２】
Ｓ１７６では、E_AUTOSR_CHECK_CAFSTATUS_HIGH=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１７７、“Ｎｏ”の場合はＳ１７８に進む。
【０２３３】
Ｓ１７７では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３４】
Ｓ１７８では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３５】
Ｓ１７９では、E_AUTOSR_CHECK_CAFSTATUS_LOW=0であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８０、“Ｎｏ”の場合はＳ１８１に進む。
【０２３６】
Ｓ１８０では、ＣＡＦの結果定まった合焦位置が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３７】
Ｓ１８１では、E_AUTOSR_CHECK_CAFSTATUS_LOW=1であるか否かを判断する。“Ｙｅｓ”の場合はＳ１８２、“Ｎｏ”の場合はＳ１８３に進む。
【０２３８】
Ｓ１８２では、ＣＡＦの結果、ＡＦ評価値の極大点が検出され、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２３９】
Ｓ１８３では、ＣＡＦの結果、ＡＦ評価値の極大点が検出されるかまたはＡＦ評価値がその極大点の近傍にあり（例えば本出願人による特開２００３−３４８４２６号公報段落００４１の「微動調整」の段階にある場合）、かつその極大点で定まった合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２４０】
Ｓ１８４では、ＡＦ処理部６２のＡＦ処理により合焦位置が決定され、かつその合焦位置に対応する焦点距離が、ＲＯＭ６８に記憶された所定の焦点距離閾値よりも至近（ＮＥＡＲ）側にあるか、すなわち所定距離よりも近いか否かを判断する。“Ｙｅｓ”の場合はＳ１８５、“Ｎｏ”の場合はＳ１８８に進む。
【０２４１】
Ｓ１８５では、ＲＯＭ６８の設定パラメータとしてあるいは操作部１１から、予め接写ズーム情報フラグがオンに設定されているか否かを判断する。“Ｙｅｓ”の場合はＳ１８６、“Ｎｏ”の場合はＳ１８７に進む。
【０２４２】
Ｓ１８６では、ズームレンズ位置がＲＯＭ６８に記憶された所定範囲内、例えば所定位置よりもワイド側にあるか否かを判断する。“Ｙｅｓ”の場合はＳ１８７、“Ｎｏ”の場合はＳ１８８に進む。なお、ズーム位置が所定範囲内にないとは、例えばズームレンズ位置がワイド端あるいはその近傍にある場合以外である。この場合、近接被写体の合焦ができず、近接撮影に適していない。
【０２４３】
Ｓ１８７では、ＳＲ＝接写に設定する。そして、module[4]の後に続く処理に進む。
【０２４４】
Ｓ１８８では、ＳＲ＝ＡＵＴＯに設定する。そして、module[4]の後に続く処理に進む。
【０２４５】
図１２〜図１６のシーン判定の結果は、ＣＰＵ７５が表示部７１に表示するよう制御する。
【０２４６】
例えば、図３に示したように、シーン判定の結果である「風景」、「ＡＵＴＯ」、「人物」、「夜景」、「接写」といった文字を、スルー画像にあるいはレリーズボタン全押し後の記録用画像に重畳して、表示部７１に表示する。シーン判定の結果を示す文字列、アイコン、記号その他の情報は、図示しないＯＳＤ回路によって生成される。カメラ１に音声処理回路やスピーカが備えられていれば、シーン判定の結果に対応する報知音を出力するようＣＰＵ７５が制御してもよい。「自動シーン認識ＯＦＦ」が設定されていれば、シーン判定結果は表示されない。
【０２４７】
以上の処理により、ユーザーが撮ろうとしている、もしくは撮ったシーンが、どのようなシーンであるのかを認識できる。
【０２４８】
図５のメイン処理では、シーン変動時にシーン認識を行う。前回のシーン認識結果が確定されたときのフレームの状態と、現フレームの状態の変動を監視する（Ｓ４、図６）。変化があった場合にシーン変動ありと判断されると（Ｓ５）、status=サーチ状態となり
（Ｓ６）、シーン変動のタイミングで認識部が動作する（Ｓ９）。
【０２４９】
図６のフレーム変動チェックでは、変動を検知する因子を複数持つことが可能で、順序の入れ換えなども、E_AUTOSR_FRAME_CHECK1〜3の設定により可能である。そして、変動を検知した場合には、フレーム変動の指標となるchange_measureの値をインクリメントする（Ｓ２４、Ｓ２８、Ｓ３２）。change_measureの値がE_AUTOSR_FRAME_CHANGE_MEASURE以上の場合には（Ｓ２５、Ｓ２９、Ｓ３３で“Ｙｅｓ”）、フレーム変動ありと判断される（Ｓ３５）。
【０２５０】
ここでは、フレーム変動を検知する具体的な処理として、測光値変動チェック（図７）、フォーカス位置変動チェック（図８）、顔有無変動チェック（図９）を示している。なお図示は省略するが、本撮像前ＡＦ処理部８１の合焦検出の有無に応じてフレーム変動を検知してもよい。
【０２５１】
図７の測光値変動チェックでは、測光値の変動量の指標となるdelta_evは、Ｎ分割の分割エリアごとに測光値変動量を算出し、各エリアに対応した重みをかけて総和をとったものである。そして、delta_evの値がE_AUTOSP_FRAME_DELTA_EV以上の場合に、測光値変動
ありと判断する。
【０２５２】
図８のフォーカス位置変動チェックでは、フォーカス位置の変動量の指標となるdelta_focal_pointは、基準情報のフォーカス位置と今回のフォーカス位置の差分によって算出される。delta_focal_pointの値がフォーカス位置変動閾値以上の場合に、フォーカス位置変動ありと判断する。なお、ここで使用される閾値は、ズーム位置ごとにＲＯＭ６８に設定されているものとする。
【０２５３】
図９の顔有無変動チェックでは、基準情報の顔有無結果と今回の顔有無結果が異なる場合に、顔有無変動ありと判断する。
【０２５４】
認識部動作の差異に使用するシーン認識履歴は、自動シーン認識の結果として採用するＳＲを求めた後にクリアする（Ｓ８）。これは、認識部は常時動作することを想定しておらず、離れた時刻の情報を参照することがないようにするためである。
【０２５５】
ここで、シーン認識履歴がクリアされるために、サーチ状態となってから（Ｓ６）、参照するシーン認識履歴数回分だけ認識部が動作するまでは（Ｓ１１で“Ｙ”となるまでは）、ＳＲが更新されない仕組みとなる。
【０２５６】
また、ＳＲを決定した際、フレーム変動をチェックするための基準情報として、採用されたＳＲが最大頻度になった（最新側の）情報を記憶する（Ｓ１３）。
【０２５７】
なお、決定したＳＲがＡＵＴＯ以外の場合は「確定状態」となり（Ｓ１６）、シーンが変動するまでは認識部は動作しない。これに対し、決定したＳＲがＡＵＴＯの場合は「サーチ状態」となり（Ｓ１５）、引き続き認識部を動作させる。これはシーン変動の途中で認識した結果を「確定状態」にすることで、シーン変動を正しく検知できなくなってしまう可能性があるためである。
【０２５８】
仮に、シーン変動の途中の状態を基準情報として登録した後、フレーム変動を見に行ってしまうと、最終的にシーン変動が完了した状態で認識部に動作してほしいと思っても、基準情報との差分が小さい故に、認識部が動作しない現象が起こってしまう。そこで、これを回避するため、上記のように確定したシーンに対応する情報で基準情報を更新する処理を行う（Ｓ１３）。
【０２５９】
シーン認識は結果が安定しないと、出力結果がユーザの混乱を招く。そこで、どのようなシーンであるのかという判断をする処理（Ｓ７〜Ｓ１６）と、認識したシーンから変動があったかという監視をする処理（Ｓ４〜Ｓ６）とを混合的に動作させることにより、正確で安定したシーン認識を行うことが可能となる。
【０２６０】
＜他の実施の形態＞
次に、シーンの認識結果と顔の検出結果とに基づいて各種機能を制御する場合の他の実施の形態について説明する。
【０２６１】
図１７は顔検出利用による各種機能の制御の設定方法を示すフローチャートを示す。
【０２６２】
Ｓ３００では、ユーザーによる「カスタム設定」を行うか、「デフォルト設定」を行うが判別され、"Ｙｅｓ"の場合はＳ３１０に遷移し、"Ｎｏ"の場合はＳ３２０に遷移する。
【０２６３】
図１８に、上記「カスタム設定」、「デフォルト設定」を選択するデジタルカメラ１の設定画面の一例を示す。
【０２６４】
例えば、デジタルカメラ１のメニュー／ＯＫボタン等を操作し、図１８（ａ）に示す顔検出利用設定のメニューを表示部７１に表示させ、上下矢印レバーを操作することで、「カスタム設定」、又は「デフォルト設定」を任意に選択することができる。
【０２６５】
ここで、「カスタム設定」を選択し、メニュー／ＯＫボタンを押すと、図１８（ｂ）に示すように「カスタム設定」の詳細画面に遷移する。ユーザーは、この画面上で顔検出を利用した各種機能の制御方法を任意に設定することができる。
【０２６６】
図１８（ｂ）に示す例では、「風景」、「夜景」及び「接写」のシーンの場合には、「顔ＡＦ」、「顔ＡＷＢ」、「顔階調補正」の制御は実施しないようにしている。
【０２６７】
図１７のＳ３１０では、「カスタム設定」が設定され、顔検出利用による各種機能の制御方法として、ユーザーにより設定された各種機能の設定が適用される。
【０２６８】
一方、Ｓ３２０では、「デフォルト設定」が設定され、顔検出利用による各種機能の制御方法として、デジタルカメラ１の出荷前に予め設定された各種機能の設定が適用される。
【０２６９】
即ち、デジタルカメラ１には、「デフォルト設定」用のテーブルと、「カスタム設定」用のテーブルとを有し、ユーザーによりいずれのテーブルを適用するかが選択できるようになっている。また、「カスタム設定」用のテーブルは、その内容（制御のＯＮ／ＯＦＦなど）がユーザーからの指示入力により書き替え可能になっている。
【０２７０】
尚、図１８（ｂ）に示す例では、図４に示した例と同様に、各種機能をＯＮ／ＯＦＦレベルで制御するようにしているが、各種機能の強度をいくつかのレベルに分けておき、そのレベルを設定するような仕組みでもよい。
【０２７１】
また、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。
【符号の説明】
【０２７２】
１…デジタルカメラ、１１…操作部、２０…レンズ、２４…フラッシュ発光部、２５…補助光制御部、２６…補助光発光部、５１…レンズ駆動部、５４…絞り、５５…絞り駆動部、５８…撮像素子（ＣＣＤ）、５９…撮像素子制御部、６０…アナログ信号処理部、６１…Ａ／Ｄ変換部、６２…ＡＦ処理部、６３…ＡＥ／ＡＷＢ処理部、６５…デジタル信号処理部、６６…メモリ、６７…圧縮伸張処理部、６８…ＲＯＭ、６９…ＲＡＭ、７０…記録部、７１…表示部、７３…フラッシュ制御部、７４…制御回路、７５…ＣＰＵ、８０…顔検出処理部
【特許請求の範囲】
【請求項１】
撮影シーンの情報を取得する情報取得手段と、
取得した情報からシーンを認識するシーン認識手段と、
撮影シーンに顔があるか否かを検出する顔検出手段と、
シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う制御手段と、を備え、
前記シーン認識手段は、
認識したシーンに対応する情報を基準情報として記憶する記憶手段と、
記憶手段に記憶された基準情報と前記情報取得手段により取得された情報からシーンが変動したか否かを判別するシーン変動判別手段と、
シーン認識を行う所定の周期を設定する周期設定手段と、を有し、
シーンが変動したことが判別されると、前記情報取得手段により取得した情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンであって、前記周期設定手段により設定された所定の周期毎に前記情報取得手段により取得された情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報とし、前記記憶手段に記憶させた基準情報を更新する撮像装置。
【請求項２】
前記情報取得手段は、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得する請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御手段、検出された顔の領域の明るさに基づいて露出を制御する露出制御手段、検出された顔に焦点が合うように焦点調節を行う自動焦点調節手段、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整手段、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正手段のうちの２以上の手段を含む請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを有し、シーンの認識結果と顔の検出結果とに基づいて前記テーブルから対応する情報を読み出して各種の制御を行う請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記テーブルに記憶されている情報をユーザーが自由に設定するカスタム設定手段を備えた請求項４に記載の撮像装置。
【請求項６】
前記シーン認識手段は、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する請求項１から５のいずれかに記載の撮像装置。
【請求項７】
所定の周期毎に撮影シーンの情報を取得するステップと、
取得した撮影シーンの情報からシーンを認識するステップと、
認識したシーンに対応する情報を基準情報として記憶手段に記憶させるステップと、
撮影シーンに顔があるか否かを検出するステップと、
シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うステップと、を含み、
前記シーンを認識するステップは、
所定の周期毎に記憶手段に記憶された基準情報と前記取得されたシーンの情報とからシーンが変動したか否かを判別し、
シーンが変動したことが判別されると、前記所定の周期毎に取得したシーンの情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンを認識し、
ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報として前記記憶手段に記憶させた基準情報を更新する撮像方法。
【請求項８】
前記撮影シーンの情報を取得するステップは、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得する請求項７に記載の撮像方法。
【請求項９】
前記各種の制御を行うステップは、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御、検出された顔の領域の明るさに基づいて露出を制御する露出制御、検出された顔に焦点が合うように焦点調節を行う自動焦点調節、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正のうちの２以上の制御を含む請求項７又は８に記載の撮像方法。
【請求項１０】
前記各種の制御を行うステップは、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを使用し、シーンの認識結果と顔の検出結果とに基づいて前記テーブルから対応する情報を読み出して各種の制御を行う請求項７から９のいずれかに記載の撮像方法。
【請求項１１】
前記テーブルに記憶されている情報は、ユーザーが自由に設定するカスタム設定手段により設定される請求項１０に記載の撮像方法。
【請求項１２】
前記シーンを認識するステップは、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する請求項７から１１のいずれかに記載の撮像方法。
【請求項１】
撮影シーンの情報を取得する情報取得手段と、
取得した情報からシーンを認識するシーン認識手段と、
撮影シーンに顔があるか否かを検出する顔検出手段と、
シーンの認識結果と顔の検出結果とに基づいて各種の制御を行う制御手段と、を備え、
前記シーン認識手段は、
認識したシーンに対応する情報を基準情報として記憶する記憶手段と、
記憶手段に記憶された基準情報と前記情報取得手段により取得された情報からシーンが変動したか否かを判別するシーン変動判別手段と、
シーン認識を行う所定の周期を設定する周期設定手段と、を有し、
シーンが変動したことが判別されると、前記情報取得手段により取得した情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンであって、前記周期設定手段により設定された所定の周期毎に前記情報取得手段により取得された情報に基づいてシーンを認識し、ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報とし、前記記憶手段に記憶させた基準情報を更新する撮像装置。
【請求項２】
前記情報取得手段は、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得する請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御手段、検出された顔の領域の明るさに基づいて露出を制御する露出制御手段、検出された顔に焦点が合うように焦点調節を行う自動焦点調節手段、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整手段、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正手段のうちの２以上の手段を含む請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを有し、シーンの認識結果と顔の検出結果とに基づいて前記テーブルから対応する情報を読み出して各種の制御を行う請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記テーブルに記憶されている情報をユーザーが自由に設定するカスタム設定手段を備えた請求項４に記載の撮像装置。
【請求項６】
前記シーン認識手段は、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する請求項１から５のいずれかに記載の撮像装置。
【請求項７】
所定の周期毎に撮影シーンの情報を取得するステップと、
取得した撮影シーンの情報からシーンを認識するステップと、
認識したシーンに対応する情報を基準情報として記憶手段に記憶させるステップと、
撮影シーンに顔があるか否かを検出するステップと、
シーンの認識結果と顔の検出結果とに基づいて各種の制御を行うステップと、を含み、
前記シーンを認識するステップは、
所定の周期毎に記憶手段に記憶された基準情報と前記取得されたシーンの情報とからシーンが変動したか否かを判別し、
シーンが変動したことが判別されると、前記所定の周期毎に取得したシーンの情報に基づいて、予め定義した複数のシーン及びいずれのシーンにも当てはまらないシーンのうちのいずれかのシーンを認識し、
ｎ回（ｎ：３以上の整数）認識したシーンのうちの最大頻度のシーンを現在のシーンとして認識し、認識した現在のシーンに対応する情報を基準情報として前記記憶手段に記憶させた基準情報を更新する撮像方法。
【請求項８】
前記撮影シーンの情報を取得するステップは、撮影シーン中に顔があるか否かを示す情報、被写体距離に相当する情報、被写体の明るさに相当する情報のうちの少なくとも１つの情報を取得する請求項７に記載の撮像方法。
【請求項９】
前記各種の制御を行うステップは、ライブビュー画像を表示する表示手段の画面上において、検出された顔の位置を明示的に表示する表示制御、検出された顔の領域の明るさに基づいて露出を制御する露出制御、検出された顔に焦点が合うように焦点調節を行う自動焦点調節、検出された顔の領域の色情報に基づいてホワイトバランスを調整するホワイトバランス調整、及び検出された顔の領域の明るさに基づいて階調補正を行う顔階調補正のうちの２以上の制御を含む請求項７又は８に記載の撮像方法。
【請求項１０】
前記各種の制御を行うステップは、シーンの種類と各種の制御の種類とに対応して、各制御の種類毎に制御を行うか否を示す情報又は制御の強弱を示す情報が記憶されたテーブルを使用し、シーンの認識結果と顔の検出結果とに基づいて前記テーブルから対応する情報を読み出して各種の制御を行う請求項７から９のいずれかに記載の撮像方法。
【請求項１１】
前記テーブルに記憶されている情報は、ユーザーが自由に設定するカスタム設定手段により設定される請求項１０に記載の撮像方法。
【請求項１２】
前記シーンを認識するステップは、認識したｎ回のシーンのうちの最大頻度のシーンが複数存在する場合、シーン認識の履歴のうちの最も新しいシーンが属するシーンを現在のシーンとして認識する請求項７から１１のいずれかに記載の撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１８２８５６（Ｐ２０１２−１８２８５６Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１２−１４６９０５（Ｐ２０１２−１４６９０５）
【出願日】平成２４年６月２９日（２０１２．６．２９）
【分割の表示】特願２００８−１９７００３（Ｐ２００８−１９７００３）の分割
【原出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２４年６月２９日（２０１２．６．２９）
【分割の表示】特願２００８−１９７００３（Ｐ２００８−１９７００３）の分割
【原出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]