デジタルカメラ
【課題】人物を抽出することによって、その数や大きさに応じて最良の色パラメータや輪郭強調パラメータあるいは絞り値を選択するデジタルカメラを提供することを目的とする。
【解決手段】画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて記憶部に記憶されている複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備える。これにより抽出された特徴部位に応じた最良の色再現パラメータを選択して画像データ全体の色再現をすることが出来る。
【解決手段】画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて記憶部に記憶されている複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備える。これにより抽出された特徴部位に応じた最良の色再現パラメータを選択して画像データ全体の色再現をすることが出来る。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人物の特徴点を識別し、その識別結果に応じて動作するデジタルカメラに関する。
【０００２】
【従来の技術】
従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平９−２５１５３４号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平１０−２３２９３４号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。
【０００３】
特開平５−４１８３０号公報には主要被写体が人物か否かを判別し露出設定を変える露出制御装置が開示されている。特開平５−１１０９３６号公報には特定被写体信号を抽出し、特定被写体部分とその他の部分とで信号処理のパラメータを個別に制御するビデオカメラが開示されている。これにより例えばポートレート撮影時に被写体のホワイトバランスを補正したり背景をぼかしたりすることができる。特開２００１−５１３３８号公報には被写体の顔の表情を認識し、所定の表情であることを判定し記録画面の色を変化させて記録するカメラが開示されている。ここではフィルタを挿入して色を変えている。特許第３１６４６９２号公報には、被写体が人物であることを判別し、検出した人物までの距離情報に基づいて人物の顔面全体がほぼ被写界深度となる様制御する電子スチルカメラが開示されている。特開２００１−２１８０１５号公報には画像の局所領域のシーンを判別し、全体または局所領域に粒状抑制、シャープネス強調処理を施す画像処理装置（プリンタ）が開示されている。特開２００１−２１８０２０号公報には唇を抽出して性別を推定し、局所的に肌色、階調、平滑処理をする画像処理方法画が開示されている。特開２００１−３３０８８２号公報には撮影モードに応じて被写体情報を認識するための認識アルゴリズムを変更するカメラが開示されている。ここでは例えば顔認識アルゴリズムに対応して検出した顔の数や大きさに応じてフォーカスや絞りを制御している。特開２００２−７７５９２号公報には画像データから登録した特定人物を同定し画像処理条件を選択する画像処理方法が開示されている。
【０００４】
【発明が解決しようとする課題】
上述したこれらの技術は抽出領域とその他の領域とで処置を変えていて、処理が複雑である。また色変換のフィルタを挿入するとカメラの機構が複雑となる。
【０００５】
本発明においては人物を抽出することによって、その数や大きさに応じて最良の色パラメータや輪郭強調パラメータあるいは絞り値を選択するデジタルカメラを提供することを目的とする。
【０００６】
【問題点を解決する為の手段】
上記問題点の解決のために、請求項１の発明は、画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて前記記憶部に記憶されている前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備えたことを特徴としている。これにより抽出された特徴部位に応じた最良の色再現パラメータを選択して画像データ全体の色再現をすることが出来る。
【０００７】
請求項２の発明は、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の大きさと所定値とを比較する大きさ比較手段とを備え、前記大きさ比較手段が前記顔の大きさが前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴としている。すなわち、抽出された顔の大きさが所定値以上の場合に肌色を重視した色再現用パラメータを選択する。請求項３の発明は、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の数と所定値とを比較する数比較手段とを備え、前記数比較手段が前記顔の数が前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴としている。すなわち、抽出された顔の数が所定値以上だった場合に肌色を重視した色再現用パラメータを選択する。
【０００８】
請求項４の発明は、更に、前記抽出手段が抽出した特徴部位から男女の性別を判別する判別手段を備え、前記判別手段が前記特徴部位を女性であると判別した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とする。すなわち、女性が抽出された場合に肌色を重視した色再現用パラメータを選択する。請求項５の発明により、更に、前記抽出した特徴部位から顔の形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した結果に基づいて女性と判別している。
【０００９】
請求項６の発明は、更に、前記抽出した特徴部位からおよその年齢を判別する判別手段を備え、前記判別手段が予め設定された年齢以上であると判別した場合には前記選択手段は前記複数の色再現用パラメータの中から彩度あるいは輝度の少なくとも一つを重視した色再現用パラメータを選択することを特徴とする。すなわち、年齢に応じて異なった色再現用パラメータを選択している。請求項７の発明により、更に、前記抽出した特徴部位から顔の形状、顔のしわ、顔のシミ、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴点に基づいておよその年齢を判別することを特徴としている。
【００１０】
請求項８の発明は、更に、前記抽出した顔の特徴部位から人種を判別する判別手段を備え、前記判別手段判別した人種に応じて前記選択手段は前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択することを特徴とする。すなわち、抽出した人種に応じて最適の色パラメータを選択する。例えば、黄色人種を検出した場合には黄色い肌色を緩和するような色パラメータを選択する。請求項９の発明により、更に、前記抽出した特徴部位から顔の色、顔の形状、手足の形状、耳形状、唇形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴部位に基づいて人種を判別することを特徴としている。
【００１１】
請求項１０の発明は、被写体を撮像する撮像手段と、前記撮像手段に入射する光量を制御する絞り手段と、前記撮像手段から出力された画像データから特徴部位を抽出する抽出手段と、前記抽出手段が抽出した特徴部位から顔の大きさあるいは顔の数の少なくとも一つを判別する判別手段と、前記判別手段の判別結果に応じて前記絞り手段の絞り値を変更する変更手段とを備えたことを特徴としている。これにより、抽出した顔の大きさあるいは数に応じて絞り値を変えることで焦点深度を変えてそれぞれの顔にピントがあった画像を得ることが出来る。請求項１１の発明は、前記判別手段が前記抽出手段が抽出した顔の大きさが所定値より小さいと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とする。すなわち、顔が小さい場合には集合写真あるいは風景を含めた記念写真のような場合が考えられるので絞り値を大きくして焦点深度を深くする。請求項１２の発明は、前記判別手段が前記抽出手段が抽出した顔の数が所定値より多いと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とする。すなわち、顔の数が所定値より多い場合には集合写真と判断して絞り値を大きくして焦点深度を深くする。ここで所定値とは３ないし４程度が適している。請求項１３の発明は、前記判別手段が前記抽出手段が抽出した顔の大きさが第１の所定値より大きくかつ顔の数が第２の所定値より少ないと判別した場合には、前記変更手段は前記絞り手段の絞り値を小さくすることを特徴とする。すなわち、この場合はポートレート撮影と判断して絞り値を小さくして焦点深度を浅くする。
【００１２】
請求項１４の発明は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像データから顔の輪郭および前記輪郭内部の特定の特徴部位を抽出する抽出手段と、前記画像データに輪郭強調を施すための複数の輪郭強調用パラメータを記憶する記憶部と、前記抽出手段が抽出した前記顔の輪郭の大きさが所定値以上であるかどうかを判別する判別手段と、前記判別手段が前記顔の輪郭の大きさが所定値以上であると判別した場合に、前記特定の特徴部位を含む所定エリアと前記所定エリア以外の前記顔の輪郭内部のその他のエリアに対して異なる輪郭強調用のパラメータを選択する選択手段とを備えたことを特徴としている。これにより顔内部の特定エリアとその他のエリアに対して異なった輪郭強調処理をすることが出来る。請求項１５の発明によって、前記特定の特徴部位とは眼、鼻、口、耳、髪、眉毛の少なくとも一つであることを特徴としている。請求項１６の発明によると、前記選択手段は前記その他のエリアに対しては前記特定の特徴部位にくらべて輪郭強調を弱めに施すための輪郭強調用パラメータを選択することを特徴としているので頬や額等にしわやシミ等が有ったとしてもそれを軽減することが出来る。請求項１７の発明は、前記選択手段は前記特定の特徴部位に対しては前記その他のエリアにくらべて輪郭強調を強めに施すための輪郭強調用パラメータを選択することを特徴とする。すなわち、眼、鼻、口等をくっきりとさせることが出来る。
【００１３】
請求項１８の発明は、画像データから被写体を特定するために特徴部位を抽出する抽出手段と、撮影時の複数の設定条件をそれぞれ含んだ測光、測距、ホワイトバランスの各項目のうちから少なくとも一つの項目に対して前記複数の設定条件から所定の設定条件を設定する設定手段と、前記抽出手段の抽出結果に応じて前記設定手段に異なる設定条件を設定するよう指示する指示手段とを備えたことを特徴としている。これにより抽出された被写体に応じて最適の設定条件を設定することが出来る。請求項１９の発明は、更に、前記被写体を判別する判別手段を備え、前記設定条件が風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定され、かつ前記判別手段が前記被写体として人物を判別した場合には前記指示手段は前記設定条件を人物撮影に適した条件に設定するよう指示することを特徴とする。すなわち、遠景を撮影するのに適した撮影モードに設定されていたときに撮影画面内に人物が抽出されたならば直ちに人物撮影に適した撮影モードに設定される。請求項２０前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合には前記指示手段は前記設定モードを風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定するよう指示することを特徴とする。すなわち、人物撮影に適した撮影モードに設定されていたときに撮影画面内に人物が抽出されなかったならば風景撮影に適した撮影モードに設定される。請求項２１の発明により、更に、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合に警告する警告手段を備えたことを特徴としている。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。
【００１５】
撮影レンズ１０１はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカシングレンズ、撮影時の手ブレを補正するＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズから構成されている。これらのレンズはドライバ１１３により駆動される。ここでドライバ１１３はズームレンズのズーム駆動機構及びその駆動回路と、フォーカシングレンズのフォーカス駆動機構及びその駆動回路と、ＶＲレンズ駆動機構及びその駆動回路とを備えていて、それぞれＣＰＵ１１２により制御される。検出器１２１はフォーカシングレンズの位置およびズームレンズ位置を検出しＣＰＵ１１２にそれぞれのレンズ位置を伝える。
【００１６】
撮影レンズ１０１は撮像素子１０３の撮像面上に被写体像を結像する。撮像素子１０３は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、ＣＣＤ型やＭＯＳ型の固体撮像素子が用いられる。撮像素子１０３は信号取り出しのタイミングをコントロールするドライバ１１５により駆動される。撮影レンズ１０１と撮像素子１０３との間には絞り１０２が設けられている。絞り１０２は、絞り機構とその駆動回路を備えたドライバ１１４により駆動される。固体撮像素子１０３からの撮像信号はアナログ信号処理回路１０４に入力され、アナログ信号処理回路１０４において相関二重サンプリング処理（ＣＤＳ）等の処理が行われる。アナログ信号処理回路１０４で処理された撮像信号は、Ａ／Ｄ変換器１３５によりアナログ信号からデジタル信号に変換される。
【００１７】
Ａ／Ｄ変換された信号はデジタル信号処理回路１０６において輪郭強調やガンマ補正などの種々の画像処理が施される。輪郭強調用のパラメータは予め複数用意されていて画像データに応じて最適のパラメータが選択される。このデジタル信号処理回路１０６には記録のための処理を施す輝度／色差信号生成回路等も含まれていて、これらを生成するためのパラメータも予め複数用意されている。これらの複数の色変換用パラメータから撮影された画像の応じて最良の色再現を得るために最適のパラメータが選択される。これら輪郭強調や色再現のための複数のパラメータは後述する記憶部１１２７に記憶されていて、ここから最適のパラメータをＣＰＵ１１２が選択する。バッファメモリ１０５は撮像素子１０３で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、Ａ／Ｄ変換された信号は一旦このバッファメモリ１０５に記憶される。デジタル信号処理回路１０６ではバッファメモリ１０５に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ１０５に記憶される。ＣＰＵ１１２はデジタル信号処理回路１０６およびドライバ１１３〜１１５等と接続され、カメラ撮影動作のシーケンス制御を行う。ＣＰＵ１１２のＡＥ演算部１１２１では撮像素子からの画像信号に基づいて自動露出演算を行い、ＡＷＢ演算部１１２２ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部１１２３では所定のアルゴリズムに則って画像データの中から人物の形状、位置、サイズ等の特徴点を記憶部１１２７に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器１２１によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部１１２７に記憶する。ここで、図２２を用いてこの距離演算方法を説明する。図２２は抽出した眼幅を基に人物までの距離を演算する場合を示している。Ａは一般成人の実際の眼幅の平均値、ａは抽出された撮像素子上に結像した眼幅、Ｌは撮像レンズから人物までの距離、ｆはレンズの焦点距離である。この図から次の比例式が容易に導かれる。
【００１８】
Ａ／Ｌ＝ａ／ｆ
ここから、人物までの距離Ｌは、Ｌ＝（Ａ／ａ）・ｆとなる。記憶部１１２７にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録する。この登録する内容や登録方法については図１３を基に後で詳細に説明する。
【００１９】
バンドパスフィルタ（ＢＰＦ）１１２４は、撮像領域に設けられた焦点検出エリア内の撮像信号に基づいて、所定帯域の高周波成分を抽出する。ＢＰＦ１１２４の出力は次の評価値演算部１１２５に入力され、ここで高周波成分の絶対値を積分し焦点評価値として算出される。ＡＦ演算部１１２６はこれらの焦点評価値に基づいてコントラスト法によりＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２６の演算結果を用いて撮影レンズ１０１のフォーカシングレンズを調整し、合焦動作を行わせる。
【００２０】
ＣＰＵ１１２に接続された操作部１１６には、カメラの電源をオンオフする電源スイッチ１１６１、レリーズ釦に連動してオンオフする半押しスイッチ１１６２及び全押しスイッチ１１６３、撮影モードの各種の内容を選択するための設定釦１１６４、再生画像等を更新するアップダウン（Ｕ／Ｄ）釦１１６５等が設けられている。設定釦１１６４では抽出した特徴点に対して名称を付けるためにＵ／Ｄ釦１１６５を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。Ｕ／Ｄ釦１１６５はこれ以外にも、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動するためにも使用される。
【００２１】
被写体輝度が低い場合にはストロボ１２２を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。１２３はカメラの何らかの異常時に音声で警告するためのブザー等の発音体である。記憶部１１２７には前述した特徴点情報以外にＡＦ演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路１０６で各種処理が施された画像データは、一旦バッファメモリ１０５に記憶された後に、記録・再生信号処理回路１１０を介してメモリカード等の外部記憶媒体１１１に記録される。画像データを記憶媒体１１１に記録する際には、一般的に所定の圧縮形式、例えば、ＪＰＥＧ方式でデータ圧縮が行われる。記録・再生信号処理回路１１０では、画像データを外部記憶媒体１１１に記録する際のデータ圧縮及び外部記憶媒体１１１や他のカメラから転送されてきた圧縮された画像データの伸長処理を行う。１２１はそれぞれデジタルカメラ等の他の外部機器と無線あるいは有線で接続してデータ通信を行うインタフェース回路である。これら各インタフェースは同時に複数個備わっていても良い。
【００２２】
モニタ１０９は撮像された被写体画像を表示したり撮影や再生させる際に各種の設定メニューを表示するための液晶（ＬＣＤ）表示装置である。ここでは記憶媒体１１１に記録されている画像データや他のカメラから転送されてきた画像データを再生表示する際にも用いられる。モニタ１０９に画像を表示する場合には、バッファメモリ１０５に記憶された画像データを読み出し、Ｄ／Ａ変換器１０８によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ１０９に画像を表示する。
【００２３】
このカメラで採用しているＡＦ制御方式のコントラスト法について説明する。この方式では、像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストは最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、ＢＰＦ１１２４により撮像信号の高周波成分を抽出し、評価値演算部１１２５で高周波成分の絶対値を積分した物を焦点評価値とする。前述したように、ＡＦ演算部１１２６はこの焦点評価値に基づいてＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２６の演算結果を用いて撮影レンズ１０１のフォーカシングレンズ位置を調整し、合焦動作を行わせる。
【００２４】
図２、図３に顔認識機能を備えたデジタルカメラの全体の動作フローを示す。図２においてまずステップＳ１０１でデジタルカメラの電源が電源ＳＷ１１６１によりオンされたことを検出するとステップＳ１０２でデジタルカメラの動作モードを確認する。ここでは設定釦Ｓ１１６４によって被写体を撮影する撮影モードに設定されているかメモリカードに記録されている画像データを再生表示する再生モードに設定されているかを判別する。再生モードに設定されていたならば図３ステップＳ１１７に進み、撮影モードに設定されていたならばステップＳ１０３に進む。ステップＳ１０３ではＬＣＤモニタ１０９に撮影する被写体画像を動画で表示する。ステップＳ１０４では表示されている画像に対して所定のアルゴリズムに従って特徴点を抽出する特徴点抽出処理を行うよう設定されているかどうか判別する。この設定には設定釦１１６４を使用する。特徴点抽出処理をするように設定されていなかったならばステップＳ１１３に進み通常の撮影動作をする。特徴点抽出処理をするよう設定されていたならばステップＳ１０５に進んでＬＣＤモニタ１０９に表示している動画像データの１コマあるいは２〜３コマ毎に表示画像から特徴点とその位置情報を抽出する。この抽出される特徴点としては人物の顔、眼、瞳、眉、鼻、口、耳、手、足、眼鏡等の輪郭やその向き、位置、大きさがある。さらに、髪型、骨格、着衣の種類も抽出することによって、男女の性別や人種を判別したり、年齢についても判断することが出来る。また、人間だけでなく、犬、猫、鳥等の動物や家屋、自動車等一般の被写体に対しても抽出することが出来る。以下の説明では主として人間に対して特徴点を抽出する。
【００２５】
ステップＳ１０６では抽出した複数の特徴点に対して、予めデジタルカメラの記憶部１１２７に登録されている特徴点と一致するものがあるかどうか判別する。一致する特徴点がなかったならばステップＳ１０７でＬＣＤモニタ１０９に表示している画像に対して特徴点が検出されたことを示すマーカを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップＳ１０８で登録済みであることを区別出来るように他の特徴点と異なるマーカで重畳表示する。図１５に表示結果の１例を示す。ここでは画面内の５名の人物のうち１名は遠くにいて小さすぎるため顔としての特徴点が検出されず、残り４名に対して顔の特徴点が検出され、さらにそのうち１名が登録済みであることが判別されたことを示している。単に特徴点が検出されただけの３名に対してはそれぞれの顔を波線で囲っていて、既に登録済みの１名に対しては実線で囲っている。さらに、特徴点に対応した人名等の個人名情報も特徴点情報として同時に登録されていた場合には図１５に示すようにそれも同時に表示する。これにより被写体の確認をより一層確実にすることが出来る。また、本実施例では、後述するＡＥエリアやＡＦエリアを選択する際の優先順位も特徴点情報として登録している。
【００２６】
図１３に記憶部１１２７における特徴点に関する記録状態の一例を示す。図１３において特徴点としてＡ氏、Ｂ子、Ｃちゃんというようにそれぞれ名前が付けられた特徴点と、名前が付けられていない特徴点が名称無しとして順に登録されている。Ａ氏の登録内容は更に前述したＡＥエリアやＡＦエリアを選択する際の優先順位が１に設定されている。これにより例えばＡ氏とＣちゃんが同時に撮影画面内に抽出されたとしたらＡ氏を含むエリアが優先してＡＥエリアあるいはＡＦエリアに設定される。この優先順位は任意に変更することが出来る。Ａ氏の特徴点情報としてＡ氏の特徴点を登録した日にちが登録日として次に記録されている。ここで（１）で示される登録日は最初にＡ氏を登録した日にちで（２）、（３）は（１）と異なった状態たとえば横向き、後ろ向き、眼鏡着用等の状態で撮影されたＡ氏の他の特徴点を追加して登録した日にちを示している。このように、眼鏡や髭の有無等によって同一人物としての特徴点を複数登録することで抽出した特徴点に対して人物を識別する確度が向上する。この特徴点についてもその内容をＬＣＤモニタ１０９に表示するとともに任意に追加あるいは削除することが出来る。優先度、登録日以外に簡単なコメントやこの特徴点が検出された場合に有効な記録時あるいは再生時の処理方法（ホワイトバランス設定や輪郭補償処理設定等）、特徴点までの距離等についても記録するようにしても良い。このようにして登録するよう設定された特徴点の実際のデータは下の特徴点データエリアに順に記録される。
【００２７】
ステップＳ１０９〜ステップＳ１１４では抽出した特徴点に応じた特有の処理をするときのステップを示している。もちろん特徴点が検出された場合であってもこれらの各ステップのうちからどのステップを採用するかは設定釦１１６４を使って任意に選択可能となっている。以降ではこれら全てのステップを選択するよう設定された場合について説明する。ステップＳ１０９では表示されている抽出結果を登録する。このステップＳ１０９の登録については図４で詳細に説明する。登録が終了したならばステップＳ１１０の撮影画角設定のステップに進む。このステップＳ１１０の設定をすることにより、撮影画面の中に複数の人物がいた場合でも自動的に目的の被写体を判別してその人物をズームアップして画面中央に捉えることが出来る。この機能は、自分の子供の運動会や発表会での撮影の際に効果的である。このステップＳ１１０の詳細については図５で説明する。ステップＳ１１１では撮影条件の設定を行う。ここでは撮影画面中に複数の人物がいた場合、希望する人物を含む所定エリアをＡＦエリアやＡＥエリアに設定したり、人物の大きさや数に応じた絞り設定を行う。このステップＳ１１１の詳細については図６〜図８で説明する。ステップＳ１１２ではストロボの設定を行う。ステップＳ１１２の詳細については図９で説明する。ここまでのステップＳ１０９からステップＳ１１２迄は撮影前の設定であり、撮影画面に応じて任意に設定順を変えることが出来るとともに各ステップにおいて一旦設定した内容を再設定することも可能である。
【００２８】
ステップＳ１１３では被写体の撮影を行う。ここでは人物を検出して撮影枚数を自動的に設定したり、人物の撮影時の動作に応じて実際の露光を行う。この撮影ステップについては図１０、図１１で詳細に説明する。撮影終了後はステップＳ１１４で記録処理を行う。ここでは被写体の顔を検出してホワイトバランスを変えたり顔のシミやほくろ等を自動的に軽減する処理を行う。このステップＳ１１４の詳細は図１２で行う。ステップＳ１１５では処理済みの画像データと特徴点情報とを一つのファイルとしてメモリカードに記録する。ステップＳ１１６では電源がオフされているかどうか判別する。オフされていなかったならばステップＳ１０２に戻ってデジタルカメラの動作モードを判別する。電源スイッチがオフされていたならば本シーケンスを終了する。
【００２９】
ステップＳ１０２で再生モードに設定されていたならば図３ステップＳ１１７でメモリカード１１１に記録されていた画像データを再生してＬＣＤモニタ１０９に表示する。この再生画像は静止画であっても動画であっても良い。ステップＳ１１８では再生画像に対してステップＳ１０４と同様に特徴点抽出処理を行うよう設定されているかどうか判別する。設定されていなかったならばステップＳ１２６に進み通常の再生動作を行う。特徴点抽出処理をするように設定されていたならばステップＳ１１９に進んで再生画像データに既に何らかの特徴点情報が付加されているかどうか判別する。特徴点情報が付加されていなかった場合にはステップＳ１２０でステップＳ１０５と同様に画像データから特徴点を抽出する。特徴点情報が付加されていた場合にはステップＳ１２１に進み、画像データに付加されている特徴点情報を読み出す。ステップＳ１２１では再生画像に抽出した特徴点あるいは読み出した特徴点や特徴点情報を重畳表示する。特徴点に代わって前述したマーカ表示やアイコン表示するようにしても良い。
【００３０】
ステップＳ１２３では抽出した特徴点あるいは付加されていた特徴点が記録部１１２７に登録されている特徴点と一致するものがあるかどうか判別する。ここでも前述したステップＳ１０６の場合と同様、一致する特徴点がなかったならばステップＳ１２４でＬＣＤモニタ１０９に表示している画像に対して特徴点が検出されたことを示すマーカやアイコンを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップＳ１２５で登録済みであることを区別して他の特徴点と異なるマーカで重畳表示する。ステップＳ１２６では表示されている抽出結果を登録する。この登録についても図４で説明する。ステップＳ１２６での登録が終了したらステップＳ１２７で次の画像データを再生するかどうか判別し、Ｕ／Ｄ釦１１６５で次の画像を選択されたならばステップＳ１１７に戻る。次画像が選択されなかったならばステップＳ１２８に進み、電源スイッチ１１６１がオフされたかどうか判別する。もしオフされていなかったならば図２ステップＳ１０２に戻り、オフされていたならば本シーケンスを終了する。
【００３１】
《特徴点情報の登録》
図４を使って特徴点情報を登録するステップについて説明する。この図４の登録のステップは前述した図２ステップ１０９と図３ステップＳ１２６とで共通している。画像データが撮影した画像データの場合にはステップＳ１５１においては特徴点抽出演算部１１２３によって抽出した特徴点と同一の特徴点が記憶部１１２７に登録されているかどうか判別する。画像データが再生画像データの場合には、ステップＳ１５１ではその再生画像データに付加されている特徴点と特徴点情報とを読み出し、この読み出した特徴点あるいは特徴点情報と同一の特徴点や特徴点情報が図１３で説明した記録形態で記憶部１１２７に記憶されているかどうか判別する。再生画像データにその特徴点や特徴点情報が付加されていない場合には撮影画像データの場合と同様に再生画像から特徴点を抽出する。ここで画像データに付加されている特徴点情報について図１４を基に説明する。図１４に示すようにＤＳＣ００２という画像データのファイルには実際の画像データ以外に特徴点情報と特徴点データが付加して記録される。図１４の場合には特徴点情報として、Ａ氏とＣちゃんの２名について登録されている。
【００３２】
登録内容としては、優先度とこの画像データにおいてＡ氏あるいはＣちゃんを抽出した日にちとその特徴点の重心位置、Ａ氏については更にこのＤＳＣ００２という画像データ以外の画像データから抽出したＡ氏の他の特徴点が二つあるのでそれについても追加して登録している。ここでも図１３と同様に簡単なコメントや記録時あるいは再生時の処理方法について記録しておいても良い。更に特徴点抽出演算部１１２３で演算した特徴点までの距離を記録しておいても良い。特徴点情報のデータ内容の変更、追加、削除は任意である。これらＡ氏あるいはＣちゃんの実際の特徴点データはその下の特徴点データエリアに順に記録される。
【００３３】
ステップＳ１５１で撮影画像データの特徴点あるいは再生画像データに付加されていた特徴点と特徴点情報が記憶部１１２７に登録済みであったならばステップＳ１５２に進む。ここでは登録済み特徴点あるいは特徴点情報を追加あるいは変更するかどうか判別する。具体的には抽出した人物名や優先順位を入力したり変更したりする。ステップＳ１５２で追加あるいは変更しなかったならばステップＳ１５６に進み、追加あるいは変更入力されたならばステップＳ１５３に進む。
【００３４】
ステップＳ１５１で特徴点とその特徴点情報とを登録していなかったならば、ステップＳ１５３に進む。ここでは抽出した特徴点や登録する特徴点情報をＬＣＤモニタ１０９に表示する。ステップＳ１５４では表示されている特徴点や特徴点情報を登録するよう指示されたかどうか判断する。原則として、新たに検出された特徴点が既に登録されている特徴点と全く同一でない限り新規に抽出した特徴点はステップＳ１５５で特徴点と特徴点情報を記憶部１１２７に追加して記憶する。この記憶指示は例えば設定釦１１６４でＬＣＤモニタ１０９の画面に表示されている登録実行表示を選択することで行うことが出来る（不図示）。これにより次第に人物の識別の精度が高くなる。抽出された特徴点が既に登録されていたり、ユーザにとって全く無関係の特徴点が抽出されていた場合などは新規に登録指示をしないのでステップＳ１５６に進む。ステップＳ１５６では同一画面内の他の特徴点についても登録を行うかどうか判別する。もしも他の特徴点が選択されたならばステップＳ１５１に戻ってこれまでと同様の手順で登録する。
【００３５】
他の特徴点が選択されなかった場合にはステップＳ１５７に進んでデジタルカメラの動作モードを判別する。もし撮影モードに設定されていたならばこの登録のステップを終了する。被写体を変更したりして表示画面が変わった場合にはその都度この登録動作を行う。カメラの動作モードが再生モードだった場合にはステップＳ１５８に進む。ここでは今度は設定釦１１６４でカード記録実行表示が選択された（不図示）かどうか判別する。記録指示が選択された場合には変更あるいは新規に追加された特徴点あるいは特徴点情報を原画像に付加してメモリカードに記録する。もし選択されなかった場合には付加情報の更新は行わずに本登録のステップを終了する。
【００３６】
《撮影画角設定》
図２ステップＳ１１０の撮影画角の設定について図５を使って説明する。これは例えば自分の子供のＣちゃんをその運動会で撮影したいというような場合に好適な設定シーケンスである。まずステップＳ１７１では撮影したい人物（例えばＣちゃん）を記憶部１１２７に記憶されている特徴点情報の中から人物の固有名情報に基づいて設定釦１１６４を使って選択し優先撮影人物として予め登録する。この優先撮影人物として登録された人物に対しては前述した特徴点に付加されている優先順位より優先する。ステップＳ１７２では撮影画面中に人物（主として顔）が抽出されたかどうか判別する。もし抽出されなかった場合にはステップＳ１７３に進んでＣＰＵ１１２はドライバ１１３を駆動してズームレンズを長焦点方向にズーミングアップしていく。このズーミングアップは手動であっても自動であっても良い。ステップＳ１７４ではズームレンズが最大ズーム位置に達したかどうか判別して達していなかったならばステップＳ１７２に戻って人物が抽出されるまでこれを繰り返す。ステップＳ１７４でズームレンズが最大焦点位置に達したならばステップＳ１７５に進みＬＣＤモニタ１０９上に人物が検出されない旨の警告表示（不図示）して本画角設定のステップを終了する。撮影者が撮影方向を変えて撮影画面が変わったらステップＳ１７２からのステップを繰り返す。
【００３７】
ステップＳ１７２で顔が検出されたならばステップＳ１７６で図１５に示したように抽出した人物の顔にマーカを重畳表示する。この表示画面を見てユーザは予め設定した人物の顔が撮影画面内に入っているかどうかを確認する。もし入っていなかったならば画面を移動させて所望の人物を容易に画面内に捉えることが出来る。ステップＳ１７７では画面内の設定した人物が所定の大きさ以上かどうか判別する。もし所定の大きさ以上だった場合には本ステップを終了し、所定の大きさ以下だった場合にはステップＳ１７８に進む。ステップＳ１７８ではＣＰＵ１１２はズームレンズを自動的にズーミングアップしていく。このとき前述したＶＲレンズも同時にドライバ１１３で駆動して抽出した被写体の重心が画面中央近傍から外れないようにする。
【００３８】
ステップＳ１７９では設定した人物の顔の大きさが所定の大きさ以上になったかどうか判別する。もし所定の大きさ以上でなかったならばステップＳ１７７に戻りズームレンズとＶＲレンズの駆動を継続する。ステップＳ１８０で最大ズーム位置に達したならばステップＳ１８１に進んで警告する。この警告はＬＣＤモニタ１０９上に警告表示する（不図示）とともにブザー１２３でも音声で警告して本シーケンスを終了する。ステップＳ１７９で所望の人物の顔の大きさが所定の大きさ以上になった場合には本シーケンスを終了する。ここで所定の大きさについては例えば全画面の約１０％というように予めその大きさを設定釦１１６４を用いて設定しておく。また、ステップＳ１７８でズーミングアップすることはせずに単に所望の人物の顔をＶＲレンズで画面中央部に移動させるだけに止めておいても良い。こうすることでユーザは中心にある所望の被写体を手動で自分の好みの大きさに手動でズーミングアップすることが出来る。この様にして、運動会、演奏会、発表会等の大勢の子供がいる中から自分の子供を確実に見つけて記録することが出来る。また、ここまでの説明では顔が小さかった場合について自動的にズーミングアップするようにしていたがこの逆に顔が大きすぎた場合に所定の顔の大きさになるように自動的にズームダウンするようにしても良い。同様に、ステップＳ１７４で最大ズーム位置になった後ユーザによって画面が変えられたならば顔が抽出されるまで今度は逆にズームダウンするようにしても良い。これらの場合のシーケンスもズームアップする場合とほぼ同様であるので説明は省略する。
【００３９】
《撮影条件の設定》
図２ステップＳ１１１の撮影条件の設定について図６〜図８を使って説明する。図６は複数被写体が抽出されたときにそれぞれの被写体までの距離に応じて絞り値を変えて最適な焦点深度を設定するフローである。ステップＳ２０１で人物の顔の輪郭あるいは眼が検出されたかどうか判別する。どちらも検出されなかった場合にはステップＳ２０８に進み、風景等の遠景撮影であると判断してステップＳ２０８に進んで絞り値を大きく設定して焦点深度を深くする。ステップＳ２０１で顔の輪郭あるいは眼が検出された場合にはステップＳ２０２に進む。ステップＳ２０２ではそのときのズームレンズ位置（焦点距離）を検出器１２１で検出し、記憶部１１２７に記憶する。ステップＳ２０３では前述したように抽出された顔の輪郭の大きさあるいは眼幅と記憶部１１２７に記憶されたズームレンズ位置とから被写体までの距離を演算して記憶部１１２７に記憶する。ステップＳ２０４では撮影画面内の全ての人物に対して距離演算が終了したか判別する。もし終了していなかったならばステップＳ２０３に戻ってそれぞれの人物に対して距離演算して記憶部１１２７に記憶する。
【００４０】
抽出した全ての人物に対して距離演算が終了したならばステップＳ２０５に進み抽出した人物の数を判別する。ステップＳ２０５で人物の数が所定値以上であると判別されたならば集合写真と判断してステップＳ２０８に進んで焦点深度を深くして全ての人物に対して焦点が合うように絞り値を大きく設定する。具体的には、ステップＳ２０３で検出された各人物までの距離に基づいて全ての人物に対して焦点が合うための最適の焦点深度を求め、それに相当する絞り値を設定する。ステップＳ２０５で人物の数が所定値以下であると判別されたならば、ステップＳ２０６に進んでここでそれぞれの顔の大きさを判別する。もし顔の大きさが所定の大きさ以上であると判別されたならばステップＳ２０７に進み、ポートレート撮影と判断して絞り値を小さくすることで焦点深度を浅く設定する。ステップＳ２０６で顔の大きさが所定の大きさ以下であると判断されたならば風景を含めた記念写真と判断してステップＳ２０８に進み絞り値を大きくして焦点深度を深くする。ここで所定の人数とは３ないし４名程度に予め設定する。
【００４１】
この様にすることにより、ユーザが撮影モードを予め風景撮影用のモードに設定していた場合に撮影画面内に人物が検出されたならば自動的に人物撮影に適した深度の浅いポートレート撮影用のモードで撮影することが出来る。逆にポートレート撮影用のモードに設定していたときに人物が検出されなかったならば自動的に深度の深い風景撮影用のモードに変更して撮影することが出来る。なお、ここで説明した被写体までの距離の演算方法において、顔の大きさや眼幅は大人や子供で異なり大人同士、子供同士であっても個人差がある。それ故、あくまでも大人あるいは子供の平均の顔の大きさ、眼幅から求めたおおよその距離である。正確な合焦位置は前述したコントラスト法によるピーク位置に基づいて決定される。
【００４２】
次に図７、図１６、図１７、図１８を使用してＡＦエリアあるいはＡＥエリアの設定について説明する。図７においてはＡＦエリアの設定ということで説明しているがＡＥエリアの設定についても全く同様である。図７ステップＳ２２１においてまず撮影画面内の所定の範囲内に人物がいるかどうか判別する。人物の有無の判別方法としてはここでは顔の輪郭が抽出されたかどうかで判別するものとする。もし人物がいなかったならばステップＳ２２２に進んで予め設定された中央部等の固定のエリアをＡＦエリアとする。これは、もしも人物が抽出されたとしてもその人物が画面の隅の方にいた場合には撮影者は人物に重点を置いて撮影しようとしてはいないと判断し、これを排除するためである。図１６にこの場合の撮影画面例を示す。図において太い波線でマーカ表示されている人物は画面内の細い波線で示す範囲外にいるのでその場合には予め設定された画面中央の太い実線枠内をＡＦエリアに設定する。多点測距可能な場合にはこのＡＦエリアは画面中央以外にも設定可能である。
【００４３】
ステップＳ２２１で画面所定範囲内に人物が抽出された場合にはステップＳ２２３に進み、抽出された人物の顔の数が複数かどうか判別する。複数でなかった場合にはステップＳ２２８に進み、複数だった場合にはステップＳ２２４に進む。ステップＳ２２４では抽出された顔のうち最大の顔を選択してそこをＡＦエリアとして設定しＡＦエリアであるという表示をする。図１７にこの場合の撮影画面の表示例を示す。ここでは抽出された実線で表示されている最大顔部分がＡＦエリアとして設定されていることを示している。ステップＳ２２５では自動的に設定されたＡＦエリア以外の人物位置をＡＦエリアに設定するかどうか判別する。もし撮影者が設定釦１１６４を操作して波線で表示されている他の人物のいずれかを選択したならばその操作に従ってＡＦエリアを順に移動させる。この場合の選択の順番としては、もし前述した優先順が記憶されている人物であったならばその優先順に従って選択されるがそれ以外に抽出された顔の大きさの順に選択されるようにしても良い。ステップＳ２２７で選択が終了したならばステップＳ２２８に進み抽出された顔の面積の大きさが第１の所定値以上かどうか判別する。もし第１の所定値以下だった場合にはステップＳ２２９に進んで抽出した顔を内側に含む所定の大きさ（例えば第１の所定値）にＡＦエリアを設定する。これは抽出された顔の面積が小さすぎる場合には前述したＡＦ演算の際の精度が悪くなるからである。図１８にこの場合の表示例を示す。
【００４４】
ステップＳ２２８で抽出された顔の面積が第１の所定値以上だった場合にはステップＳ２３０に進んでここで更に第２の所定値以上かどうか判別する。もし第２の所定値以上だった場合にはポートレート撮影であると判断してステップＳ２３１に進んで顔全体をＡＦエリアに設定するのでなく更に抽出した目の位置をＡＦエリアに設定する。図１９にこの場合の表示例を示す。第２の所定値以下だった場合にはステップＳ２３２に進み、先に抽出された顔の面積をＡＦエリアに設定する。ここで第１および第２の所定値とは各種被写体を撮影した上で予め最適の値が設定されている。
【００４５】
ここまでの説明においてステップＳ２２４では最大の顔を初めに選択するようにしたがこれを前述した登録の優先順位の最も高い人物あるいは撮影画角設定の項で説明した優先撮影人物を初めに表示するようにしても良い。あるいは顔の抽出と同時にその人物までの距離を計算して最短距離にいる人物から順に選択するようにしても良い。また、前述した優先撮影人物に対してはその演算された距離に基づいてフォーカスレンズの移動範囲を演算距離の前後の所定範囲のみ移動可能なように制限してやることで、人物に対するＡＦ動作を背景の影響を受けにくくすることが可能となる。更にこの優先撮影人物に対してＡＦ追従動作が確実かつ高速になる。そのほか、スポーツ撮影等で連写撮影モードに設定されている場合には、一コマ目の撮影はコントラスト法による評価値ピークに基づいて撮影距離を決定し、２コマ目以降の撮影の場合には前回撮影したときとの人物や顔の輪郭あるいは眼幅の前のコマとの差（変化量）を検出してそのときのズームレンズ位置とあわせて被写体までの距離を演算することも容易に可能である。こうすることで高速に被写体変動に追従することが可能なＡＦ制御を実現することが出来る。
【００４６】
ここまでのＡＦエリアの設定のシーケンスは前述したようにＡＥエリアの設定においても全く同様に適用することが出来る。もちろんこの場合においても前述した第１の所定値および第２の所定値はＡＦエリアの時と同様に実験で予め最適値が決定される。
【００４７】
次に図８に基づいて撮影モードの変更について説明する。ステップＳ２４１で撮影モードが人物を撮影するに適した人物撮影モードに設定されているかどうか判別する。この人物撮影モードにおいては１例として背景をぼかすために絞りは開放に近い値に設定し、ホワイトバランスは肌色を重視した設定にし、測距モードはＡＦモードに設定される。もし人物撮影モードに設定されていたならばステップＳ２４２に進み、ここでは人物が抽出されたかどうか判別する。もし抽出されなかったならばステップＳ２４３に進み、ブザーやモニタ等で警告するとともにステップＳ２４４で遠景撮影に適した風景撮影用モードに変更して本シーケンスを終了する。この風景撮影用のモードの場合には焦点深度を深くするために絞りは大きな値に設定され、測距モードは焦点深度に応じて無限位置まで合焦する固定位置にフォーカスレンズを駆動する。ホワイトバランスは通常撮影時に使用される設定にするかあるいは昼間の撮影であったならば木の緑や青空を重視した設定にする。ステップＳ２４２で人物が検出された場合には本ステップは終了する。ステップＳ２４１で人物撮影モードに設定されていなかった場合にはステップＳ２４５に進んでここで人物が検出されたかどうか判別する。もし検出されなかった場合には本シーケンスを終了し、検出されたならばステップＳ２４６に進んでブザーやモニタで警告するとともに、ステップＳ２４７で人物撮影用のモードに変更し本シーケンスを終了する。
【００４８】
《ストロボの設定》
図９を用いてストロボの発光量を設定する方法について説明する。ステップＳ２５１では所定のＡＥエリア内の被写体に対してＡＥ演算回路１１２１で測定した被写体輝度が所定値より大きいかどうか判別する。ここで被写体とは人物に限定されない。もし被写体輝度が所定値より小さい暗い被写体だった場合にはステップＳ２６１に進み、所定値より大きくて被写体が明るかった場合にはステップＳ２５２に進む。ステップＳ２５２では撮影画面中に人物が抽出されたかどうか判別する。ここでも人物としては顔の輪郭が抽出されたかどうかで判別する。もし顔の輪郭が抽出されなかった場合にはステップＳ２５３に進んでストロボを非発光に設定する。この非発光設定に基づいて撮影時にはＣＰＵ１１２はストロボを非発光にするよう制御する。これにより実際の撮影時にはＡＥ演算部１１２１の演算結果に基づいたシャッタスピードと絞り値とで被写体が露光される。
【００４９】
ステップＳ２５２で顔の輪郭が抽出された場合にはステップＳ２５４に進んで抽出された人物の顔部分の明るさを測定する。ステップＳ２５５では測定された顔部分の明るさが所定値より明るかったならばステップＳ２５３に進み、暗かったならばステップＳ２５６に進む。ステップＳ２５６では前述した図６ステップＳ２０３の場合と同様に検出した顔の大きさあるいは眼幅とそのときのズームレンズ位置に基づいて抽出した人物までの距離を演算する。ステップＳ２５７では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲内であったならばステップＳ２５８に進み撮影前に赤目軽減のためのプリ発光をするように設定し、ステップＳ２５９で抽出した人物の顔が適正露光となるように演算した距離を基にストロボの発光量を設定する。これにより、ＣＰＵ１１２は実際の撮影時に、ＡＥ演算部１１２１によって演算されたシャッタスピードと絞り値とに設定するよう制御する。これにより人物を除いた画面全体が適正露光状態で撮影される。一方、周辺より暗い状態になっている人物に対しては距離に基づいて設定された発光光量でストロボを発光するよう制御する。これにより人物に対しても適正な露光状態で撮影することが出来る。この機能は逆光撮影時に特に効果的である。ストロボ本発光の前にはステップＳ２５８の設定に基づいて赤目軽減用のプリ発光をするようＣＰＵ１１２が制御する。このプリ発光は複数回行うようにしても良い。ステップＳ２５７で適正露光可能範囲外であった場合にはステップＳ２５９に進んで人物が適正露光しない旨警告表示する（不図示）。
【００５０】
ステップＳ２５１で被写体が暗かった場合にはステップＳ２６１に進んでここでも撮影画面中に人物としての顔の輪郭が抽出されたかどうか判別する。もし顔の輪郭が抽出された場合にはステップＳ２６２に進んでステップＳ２５６の場合と同様に抽出された人物までの距離を演算する。ステップＳ２６３では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲外だった場合にはステップＳ２６０に進み人物が適正露光外である旨の警告表示する。適正露光可能範囲内だった場合にはステップＳ２６４に進み撮影前にストロボをプリ発光するように設定する。このプリ発光の役割はここではステップＳ２５８で述べた赤目軽減用以外に更に、プリ発光による人物からの反射光に基づいて実際の撮影時のストロボ発光量を決定するためのものである。ステップＳ２６５ではプリ発光の際の顔部分からの反射光に基づいて撮影時のストロボの発光量を決定するように設定する。ここでも前と場合と同様、プリ発光は複数回行っても良く、更に赤目軽減用プリ発光と反射光測定用プリ発光とで分けても良い。ステップＳ２６０で人物が抽出されなかった場合にはステップＳ２６６に進んで被写体輝度をＡＥ演算した結果に基づいてストロボの発光光量を設定する。ステップＳ２５８やステップＳ２６４で赤目軽減用にストロボをプリ発光するよう設定する代わりに撮影後に撮影した瞳を検出して赤目部分をソフト的に補正する設定にしても良い。
【００５１】
《撮影》
図１０、図１１、図２０、図２１を使用して通常とは異なる２種類の撮影方法のシーケンスについて説明する。図１０は全押しＳＷ１１６３を１回押すと自動的にＡＦエリアから得られる焦点評価値の複数のピーク位置でそれぞれ撮影する様に構成されたシーケンスである。これにより各ピーク位置に対応した被写体毎に合焦した複数の画像データを得ることができる。ステップＳ３０１で半押しＳＷ１１６２がオンされたことを検出するとステップＳ３０２でＣＰＵ１１２はフォーカスレンズを至近から無限まで移動させ評価値を演算し評価値のピークを検出する。ステップＳ３０３ではピークが複数あるかどうか判別する。もしピークが一つしかない場合にはステップＳ３０６に進み、ピークが複数検出された場合にはステップＳ３０４に進む。ステップＳ３０４では特徴点抽出演算部１１２３によって人物が抽出されたかどうか判別する。ここで人物が抽出された場合にはこれまでと同様に抽出した眼幅とズームレンズ位置から抽出された人物迄の距離を演算してその演算して得られた人物までの距離が複数のピークのどれに対応するか判別する。ステップＳ３０５では最至近にいる人物位置を最初の撮影位置として選択しＣＰＵ１１２はフォーカスレンズを最至近人物位置を示しているピーク位置に駆動する。ステップＳ３０３でピーク位置が一つしかなかった場合にはステップＳ３０６で検出したピーク位置（この場合この位置が最至近ピーク位置となる）を選択する。ステップＳ３０４でピークが複数検出されて且つ人物が検出されなかった場合にもステップＳ３０６に進んで最至近位置を撮影位置として選択する。
【００５２】
ステップＳ３０７では全押しＳＷ１１６３がオンされたかどうか判別する。もしオンされていなかったならばステップＳ３１３に進み、オンされたならばステップＳ３０８に進む。ステップＳ３０８では前述したステップＳ３０５あるいはステップＳ３０６で選択されたピーク位置で露光し、露光終了後蓄積した画像データを読み出す。ステップＳ３０９では他の人物位置に相当するピーク位置の有無を判別する。もし他の人物位置に相当するピーク位置が有ったならばステップＳ３０８に戻ってその位置で２度目の露光をした後に蓄積した画像データを読み出す。他に人物位置に相当するピーク位置がなかったならばステップＳ３１１に進み最至近ピーク位置での露光が終了しているかどうか判別する。もし最至近ピーク位置での露光が終了していなかったならばステップＳ３１２に進み、最至近位置で引き続き露光する。最至近位置での露光が終了していたならば本シーケンスを終了する。ステップＳ３０７で全押しＳＷ１１６３が押されていなかったならばステップＳ３１３に進む。ステップＳ３１３では半押しＳＷ１１６２が押されているかどうか判別する。もし半押しＳＷ１１６２が押されていたならばステップＳ３０７に戻り全押しＳＷ１１６３が押されるまでフォーカスをロックする。ステップＳ３１３で半押しＳＷ１１６２が押されていなかったなら本シーケンスを終了する。
【００５３】
図２０、２１を使って実際の撮影例を説明する。図２０は撮影画面内に人物とそれより手前に花が配置されていた場合である。通常のＡＦ撮影では最至近優先で合焦するのでこの場合には手前の花に対してピントのあった画像が１枚だけ撮影される。図２１はこの場合のフォーカスレンズ位置に対応した評価値変化を示している。ここでは画面全体をＡＦエリアとした場合の評価値変化を示している。この場合は焦点評価値に二つのピーク（Ｐ１、Ｐ２）が検出される。通常のＡＦではＰ１とＰ２の大きさには関係なく或る程度以上の大きさであったならば最至近のピークであるＰ２が選択される。この様に単に被写体のコントラストを検出しているだけではＰ１に相当する位置ｘ１と、Ｐ２に相当する位置ｘ２のどちらに人物がいるのか判定することが出来ない。これに対して人物の顔の大きさあるいは眼幅から人物までの距離を演算することによって位置ｘ１が人物によるピークであると判断することが出来る。それ故、最至近位置ｘ２と人物位置ｘ１との都合２回撮影することでそれぞれにピントのあった画像データを得ることが出来る。あるいは人物ピーク位置でのみ撮影するようにして最至近ピークが人物以外のピークであった場合には撮影しないようにしても良い。この時、前述した撮影画角の設定の場合と同様、優先撮影人物を予めカメラに設定しておいてその人物に対応するピークで１回だけ撮影するようにしても良い。
【００５４】
これによりたとえ複数の人物がＡＥエリア内にいたとしても確実に所望の人物に対してピントが合った画像を得ることが出来る。人物が複数いた場合には全ての人物について撮影するのでなく、一定の評価値以上のピークに対応する人物位置で撮影するようにしても良い。あるいは最大連続撮影枚数を設定できるようにしても良い。前述したように特徴点を基に演算した特徴点までの距離は正確な距離ではないのでこのようにコントラスト法において複数ピークがあった場合などに補助的に人物位置ピークを判定するのに使用することで正確に合焦させることが出来る。
【００５５】
次に図１１を基に目を閉じた状態で撮影されることを防ぐ方法について説明する。ステップＳ３２１で全押しＳＷ１１６３が押されたならばステップＳ３２２で全押しスイッチが押される前の画像データから特徴点抽出演算部１１２３により被写体の瞳を検出する。ここで被写体が目を閉じていて瞳が検出されないと判断されたならばステップＳ３２３で被写体の瞳が検出されるまで実際の露光を遅延させステップＳ３２２に戻る。瞳が検出されたならばステップＳ３２４で実際に露光を行い、ステップＳ３２５で露光した画像データを読み出す。ステップＳ３２６では読み出した画像データから直ちに特徴点抽出演算部１１２３で瞳を再度検出する。この時瞳が検出されなかったならばステップＳ３２７でブザー１２３でもって警告しステップＳ３２２に戻って瞳が検出されたことを確認して直ちに再露光する。ステップＳ３２６で瞳が検出されたならば本シーケンスを終了する。このように撮影前に被写体が目を開けていることを確認するとともに、撮影後も目を閉じて撮影されてしまったかどうかを直ちに確認している。
【００５６】
これによりもし目を閉じて撮影された場合には直ちに再度撮影することが出来る。あるいは再度撮影する変わりに目を閉じて撮影された場合には撮影後にその部分のみソフト的に補正してやっても良い。補正方法としては撮影後にモニタで被写体の動画を撮影していた際の被写体の開いている目を抽出してこれを閉じている目と置き換えてやればよい。
【００５７】
この図１１の説明では撮影後に目を閉じていたことを検出して再撮影するようにしていたが、ほかにも撮影した被写体の不具合を検出して再度撮影することで最良の画像を得るようにすることが出来る。例えば、撮影時に被写体が動いてしまった場合には再生画像からブレを検出することで判別することが出来る。あるいは、集合写真で顔が隠れてしまったりした場合には撮影前の顔の数と撮影後の顔の数とを比較したり、あるいは顔の輪郭の抽出が不充分であるような場合にも再度撮影するように設定することも可能である。さらにステップＳ３２７の警告においてもブザーでもって警告するだけでなく音声で例えば“目を閉じて撮影されました。”、“ブレて撮影されました。”、“顔が隠れている人がいます。”等具体的に不具合を警告するようにしても良い。
【００５８】
《記録処理》
図１２を基に特徴点抽出に伴う記録時の処理について説明する。ステップＳ４０１ではまず特徴点抽出演算部１１２３によって人物の顔の輪郭が抽出されたかどうか判別する。もし抽出されなかったならば予め設定されている色再現用あるいは輪郭強調用パラメータを使用した記録処理を行う。抽出されたならばステップＳ４０２に進んで抽出された顔の数を判別する。顔の数が所定値以下だったならばステップＳ４０６に進み、所定値以上だったならばステップＳ４０３に進む。ここで所定値とは３〜４程度の値が適している。顔の数が３〜４個よりも多く抽出された場合には集合写真を撮影していると判断してステップＳ４０３でデジタル信号処理回路１０６において色再現用のパラメータを肌色を重視したパラメータを使用するようにする。ステップＳ４０４では更に、顔の特定部位を検出しステップＳ４０５で特定部位近傍以外の顔の部分の輪郭強調を弱めるように処理する。特定部位とは例えば眼、鼻、口、耳、髪、眉毛等である。
【００５９】
これによりこれら特定部位近傍以外の部分では周波数特性にローパスフィルタがかけられるので頬や額等にあるしわ、ほくろ、シミ等を目立たなくすることが出来る。ステップＳ４０２で顔の数が所定値以下だった場合にはステップＳ４０６に進んで顔の大きさを判別する。もし顔が複数検出されていたなら最大の大きさの顔で判別する。顔の面積が所定値より大きかった場合にはポートレート撮影と判断して肌色を重視した処理を行うステップＳ４０３に進む。顔の面積が所定値より小さかったならば風景を含めた記念撮影と判断し、通常の記録処理を行う。
【００６０】
この様にステップＳ４０３では顔部分に対してのみ肌色重視処理をしているのでなく、画像データ全体に対して通常の色パラメータの代わりに肌色を重視したパラメータを選択して処理を施している。これは肌色以外の部分においてはこの様に肌色を重視したパラメータを採用した処理を施したとしても、元もと肌色成分が少ないので肌色重視処置をした際の影響が少ないからである。これによりわざわざ顔部分を抜き出してそこに対してのみ肌色重視処理するといった複雑な処理が不要となる。
【００６１】
ここまでの説明において、ステップＳ４０５で施した処理とは逆に抽出された眼、鼻、口、耳、髪、眉毛およびその近傍部分に対して輪郭強調を強めに施すことによりくっきりとした顔を表現することもできる。また、あまり小さな顔に対して輪郭強調を施しても効果は小さいので或る程度大きな顔に対してのみ輪郭強調を施すようにしても良い。またこれらステップＳ４０３の肌色処理とステップＳ４０５の輪郭強調処理は何れかのみを選択可能としても良い。この肌色処理あるいは輪郭強調処理のパラメータをそれぞれ複数備えていて、これらから適宜選択をして肌色の程度あるいは輪郭強調の程度を最良の状態とすることも容易である。これ以外にも、年齢や男女の性別を判断して老人や女性の場合には色相以外に彩度や輝度を上げるためのパラメータを選択するようにしてもよい。あるいは、特定の人種に最適な色バランスをそのまま他の人種に適用すると不自然な肌色が再生されてしまうので人種に応じて肌の色を緩和するような色パラメータを選択するのも効果的である。このためには、顔や手足、耳、鼻等の骨格形状、瞳や顔の色、唇形状、着衣、髪型等から判断して人種を判別すれば良い。更に、ここまでの説明においてはこれらの処理を記録前に行うようにしていたが、これを再生時に行っても良い。すなわち、図１４で説明した画像ファイルに、前述した特徴点情報と特徴点データ以外に各個人毎の特有の情報やホワイトバランス処理情報や輪郭強調処理情報も同時に記録しておくことで再生時に最適な処理を施すことが出来る。
【図面の簡単な説明】
【図１】本発明によるデジタルカメラの構成を示すブロック図である。
【図２】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図３】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図４】特徴点情報を登録する時のシーケンスを説明するフローチャートである。
【図５】撮影画角を設定する時のシーケンスを説明するフローチャートである。
【図６】撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図７】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図８】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図９】ストロボの発光量を設定する時のシーケンスを説明するフローチャートである。
【図１０】撮影シーケンスを説明するフローチャートである。
【図１１】他の撮影シーケンスを説明するフローチャートである。
【図１２】記録処理シーケンスを説明するフローチャートである。
【図１３】特徴点と特徴点情報の記録状態を説明する図である。
【図１４】画像データとそこに付加されている特徴点情報の記録状態を説明する図である。
【図１５】抽出した特徴点に対してそれぞれ区別してマーカ表示している表示例である。
【図１６】ＡＦエリアあるいはＡＥエリアの設定を示す表示例である。
【図１７】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図１８】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図１９】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図２０】ＡＦエリアの設定を示す表示例である。
【図２１】図２０の被写体の位置関係を説明する図である。
【図２２】レンズの焦点距離と眼幅から人物までの距離を求める説明図である。
【符号の説明】
１０１ 撮影レンズ
１０２ 絞り
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ バッファメモリ
１０６ デジタル信号処理部
１０８ Ｄ／Ａコンバータ
１０９ ＬＣＤモニタ
１１０ 記録・再生信号処理部
１１１ 外部記憶媒体
１１２ ＣＰＵ
１１３ レンズ駆動部
１１４ 絞り駆動部
１１５ 撮像素子駆動部
１１６ 操作部材
１２０ インタフェース
１２１ レンズ位置検出部
１２２ ストロボ
１２３ 発音体
１３５ Ａ／Ｄコンバータ
１１２１ ＡＥ演算部
１１２２ ＡＷＢ演算部
１１２４ バンドパスフィルタ
１１２５ 加算部
１１２６ ＡＦ演算部
１１２７ 記憶部
１１６１ 電源スイッチ
１１６２ 半押しスイッチ
１１６３ 全押しスイッチ
１１６４ 設定釦
１１６５ アップ／ダウン釦
【０００１】
【発明の属する技術分野】
本発明は、人物の特徴点を識別し、その識別結果に応じて動作するデジタルカメラに関する。
【０００２】
【従来の技術】
従来から、指紋あるいは虹彩の特徴点を予め登録しておいてこれと照合することで本人を認証するシステムを初めとして画像データから人物を識別する技術はこれまで多く知られている。特開平９−２５１５３４号公報には目、鼻、口等を抽出して特徴点として登録しこれと入力した画像から抽出した特徴点とを比較して当人として識別する方法が詳細に記述されており、特開平１０−２３２９３４号公報にはこの様にして抽出した特徴点を登録する場合の辞書画像の精度を上げる方法が開示されている。これらの技術をカメラに応用した例を以下に挙げる。
【０００３】
特開平５−４１８３０号公報には主要被写体が人物か否かを判別し露出設定を変える露出制御装置が開示されている。特開平５−１１０９３６号公報には特定被写体信号を抽出し、特定被写体部分とその他の部分とで信号処理のパラメータを個別に制御するビデオカメラが開示されている。これにより例えばポートレート撮影時に被写体のホワイトバランスを補正したり背景をぼかしたりすることができる。特開２００１−５１３３８号公報には被写体の顔の表情を認識し、所定の表情であることを判定し記録画面の色を変化させて記録するカメラが開示されている。ここではフィルタを挿入して色を変えている。特許第３１６４６９２号公報には、被写体が人物であることを判別し、検出した人物までの距離情報に基づいて人物の顔面全体がほぼ被写界深度となる様制御する電子スチルカメラが開示されている。特開２００１−２１８０１５号公報には画像の局所領域のシーンを判別し、全体または局所領域に粒状抑制、シャープネス強調処理を施す画像処理装置（プリンタ）が開示されている。特開２００１−２１８０２０号公報には唇を抽出して性別を推定し、局所的に肌色、階調、平滑処理をする画像処理方法画が開示されている。特開２００１−３３０８８２号公報には撮影モードに応じて被写体情報を認識するための認識アルゴリズムを変更するカメラが開示されている。ここでは例えば顔認識アルゴリズムに対応して検出した顔の数や大きさに応じてフォーカスや絞りを制御している。特開２００２−７７５９２号公報には画像データから登録した特定人物を同定し画像処理条件を選択する画像処理方法が開示されている。
【０００４】
【発明が解決しようとする課題】
上述したこれらの技術は抽出領域とその他の領域とで処置を変えていて、処理が複雑である。また色変換のフィルタを挿入するとカメラの機構が複雑となる。
【０００５】
本発明においては人物を抽出することによって、その数や大きさに応じて最良の色パラメータや輪郭強調パラメータあるいは絞り値を選択するデジタルカメラを提供することを目的とする。
【０００６】
【問題点を解決する為の手段】
上記問題点の解決のために、請求項１の発明は、画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて前記記憶部に記憶されている前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備えたことを特徴としている。これにより抽出された特徴部位に応じた最良の色再現パラメータを選択して画像データ全体の色再現をすることが出来る。
【０００７】
請求項２の発明は、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の大きさと所定値とを比較する大きさ比較手段とを備え、前記大きさ比較手段が前記顔の大きさが前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴としている。すなわち、抽出された顔の大きさが所定値以上の場合に肌色を重視した色再現用パラメータを選択する。請求項３の発明は、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の数と所定値とを比較する数比較手段とを備え、前記数比較手段が前記顔の数が前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴としている。すなわち、抽出された顔の数が所定値以上だった場合に肌色を重視した色再現用パラメータを選択する。
【０００８】
請求項４の発明は、更に、前記抽出手段が抽出した特徴部位から男女の性別を判別する判別手段を備え、前記判別手段が前記特徴部位を女性であると判別した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とする。すなわち、女性が抽出された場合に肌色を重視した色再現用パラメータを選択する。請求項５の発明により、更に、前記抽出した特徴部位から顔の形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した結果に基づいて女性と判別している。
【０００９】
請求項６の発明は、更に、前記抽出した特徴部位からおよその年齢を判別する判別手段を備え、前記判別手段が予め設定された年齢以上であると判別した場合には前記選択手段は前記複数の色再現用パラメータの中から彩度あるいは輝度の少なくとも一つを重視した色再現用パラメータを選択することを特徴とする。すなわち、年齢に応じて異なった色再現用パラメータを選択している。請求項７の発明により、更に、前記抽出した特徴部位から顔の形状、顔のしわ、顔のシミ、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴点に基づいておよその年齢を判別することを特徴としている。
【００１０】
請求項８の発明は、更に、前記抽出した顔の特徴部位から人種を判別する判別手段を備え、前記判別手段判別した人種に応じて前記選択手段は前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択することを特徴とする。すなわち、抽出した人種に応じて最適の色パラメータを選択する。例えば、黄色人種を検出した場合には黄色い肌色を緩和するような色パラメータを選択する。請求項９の発明により、更に、前記抽出した特徴部位から顔の色、顔の形状、手足の形状、耳形状、唇形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴部位に基づいて人種を判別することを特徴としている。
【００１１】
請求項１０の発明は、被写体を撮像する撮像手段と、前記撮像手段に入射する光量を制御する絞り手段と、前記撮像手段から出力された画像データから特徴部位を抽出する抽出手段と、前記抽出手段が抽出した特徴部位から顔の大きさあるいは顔の数の少なくとも一つを判別する判別手段と、前記判別手段の判別結果に応じて前記絞り手段の絞り値を変更する変更手段とを備えたことを特徴としている。これにより、抽出した顔の大きさあるいは数に応じて絞り値を変えることで焦点深度を変えてそれぞれの顔にピントがあった画像を得ることが出来る。請求項１１の発明は、前記判別手段が前記抽出手段が抽出した顔の大きさが所定値より小さいと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とする。すなわち、顔が小さい場合には集合写真あるいは風景を含めた記念写真のような場合が考えられるので絞り値を大きくして焦点深度を深くする。請求項１２の発明は、前記判別手段が前記抽出手段が抽出した顔の数が所定値より多いと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とする。すなわち、顔の数が所定値より多い場合には集合写真と判断して絞り値を大きくして焦点深度を深くする。ここで所定値とは３ないし４程度が適している。請求項１３の発明は、前記判別手段が前記抽出手段が抽出した顔の大きさが第１の所定値より大きくかつ顔の数が第２の所定値より少ないと判別した場合には、前記変更手段は前記絞り手段の絞り値を小さくすることを特徴とする。すなわち、この場合はポートレート撮影と判断して絞り値を小さくして焦点深度を浅くする。
【００１２】
請求項１４の発明は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像データから顔の輪郭および前記輪郭内部の特定の特徴部位を抽出する抽出手段と、前記画像データに輪郭強調を施すための複数の輪郭強調用パラメータを記憶する記憶部と、前記抽出手段が抽出した前記顔の輪郭の大きさが所定値以上であるかどうかを判別する判別手段と、前記判別手段が前記顔の輪郭の大きさが所定値以上であると判別した場合に、前記特定の特徴部位を含む所定エリアと前記所定エリア以外の前記顔の輪郭内部のその他のエリアに対して異なる輪郭強調用のパラメータを選択する選択手段とを備えたことを特徴としている。これにより顔内部の特定エリアとその他のエリアに対して異なった輪郭強調処理をすることが出来る。請求項１５の発明によって、前記特定の特徴部位とは眼、鼻、口、耳、髪、眉毛の少なくとも一つであることを特徴としている。請求項１６の発明によると、前記選択手段は前記その他のエリアに対しては前記特定の特徴部位にくらべて輪郭強調を弱めに施すための輪郭強調用パラメータを選択することを特徴としているので頬や額等にしわやシミ等が有ったとしてもそれを軽減することが出来る。請求項１７の発明は、前記選択手段は前記特定の特徴部位に対しては前記その他のエリアにくらべて輪郭強調を強めに施すための輪郭強調用パラメータを選択することを特徴とする。すなわち、眼、鼻、口等をくっきりとさせることが出来る。
【００１３】
請求項１８の発明は、画像データから被写体を特定するために特徴部位を抽出する抽出手段と、撮影時の複数の設定条件をそれぞれ含んだ測光、測距、ホワイトバランスの各項目のうちから少なくとも一つの項目に対して前記複数の設定条件から所定の設定条件を設定する設定手段と、前記抽出手段の抽出結果に応じて前記設定手段に異なる設定条件を設定するよう指示する指示手段とを備えたことを特徴としている。これにより抽出された被写体に応じて最適の設定条件を設定することが出来る。請求項１９の発明は、更に、前記被写体を判別する判別手段を備え、前記設定条件が風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定され、かつ前記判別手段が前記被写体として人物を判別した場合には前記指示手段は前記設定条件を人物撮影に適した条件に設定するよう指示することを特徴とする。すなわち、遠景を撮影するのに適した撮影モードに設定されていたときに撮影画面内に人物が抽出されたならば直ちに人物撮影に適した撮影モードに設定される。請求項２０前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合には前記指示手段は前記設定モードを風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定するよう指示することを特徴とする。すなわち、人物撮影に適した撮影モードに設定されていたときに撮影画面内に人物が抽出されなかったならば風景撮影に適した撮影モードに設定される。請求項２１の発明により、更に、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合に警告する警告手段を備えたことを特徴としている。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明のデジタルカメラについてその主要な機能を説明したブロック図である。
【００１５】
撮影レンズ１０１はその焦点距離を連続的に変えるためのズームレンズ、ピントを調整するフォーカシングレンズ、撮影時の手ブレを補正するＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズから構成されている。これらのレンズはドライバ１１３により駆動される。ここでドライバ１１３はズームレンズのズーム駆動機構及びその駆動回路と、フォーカシングレンズのフォーカス駆動機構及びその駆動回路と、ＶＲレンズ駆動機構及びその駆動回路とを備えていて、それぞれＣＰＵ１１２により制御される。検出器１２１はフォーカシングレンズの位置およびズームレンズ位置を検出しＣＰＵ１１２にそれぞれのレンズ位置を伝える。
【００１６】
撮影レンズ１０１は撮像素子１０３の撮像面上に被写体像を結像する。撮像素子１０３は撮像面上に結像された被写体像の光強度に応じた電気信号を出力する光電変換撮像素子であり、ＣＣＤ型やＭＯＳ型の固体撮像素子が用いられる。撮像素子１０３は信号取り出しのタイミングをコントロールするドライバ１１５により駆動される。撮影レンズ１０１と撮像素子１０３との間には絞り１０２が設けられている。絞り１０２は、絞り機構とその駆動回路を備えたドライバ１１４により駆動される。固体撮像素子１０３からの撮像信号はアナログ信号処理回路１０４に入力され、アナログ信号処理回路１０４において相関二重サンプリング処理（ＣＤＳ）等の処理が行われる。アナログ信号処理回路１０４で処理された撮像信号は、Ａ／Ｄ変換器１３５によりアナログ信号からデジタル信号に変換される。
【００１７】
Ａ／Ｄ変換された信号はデジタル信号処理回路１０６において輪郭強調やガンマ補正などの種々の画像処理が施される。輪郭強調用のパラメータは予め複数用意されていて画像データに応じて最適のパラメータが選択される。このデジタル信号処理回路１０６には記録のための処理を施す輝度／色差信号生成回路等も含まれていて、これらを生成するためのパラメータも予め複数用意されている。これらの複数の色変換用パラメータから撮影された画像の応じて最良の色再現を得るために最適のパラメータが選択される。これら輪郭強調や色再現のための複数のパラメータは後述する記憶部１１２７に記憶されていて、ここから最適のパラメータをＣＰＵ１１２が選択する。バッファメモリ１０５は撮像素子１０３で撮像された複数フレーム分のデータを記憶することが出来るフレームメモリであり、Ａ／Ｄ変換された信号は一旦このバッファメモリ１０５に記憶される。デジタル信号処理回路１０６ではバッファメモリ１０５に記憶されたデータを読み込んで上述した各処理を行い、処理後のデータは再びバッファメモリ１０５に記憶される。ＣＰＵ１１２はデジタル信号処理回路１０６およびドライバ１１３〜１１５等と接続され、カメラ撮影動作のシーケンス制御を行う。ＣＰＵ１１２のＡＥ演算部１１２１では撮像素子からの画像信号に基づいて自動露出演算を行い、ＡＷＢ演算部１１２２ではホワイトバランス用パラメータを設定するための演算が行われる。特徴点抽出演算部１１２３では所定のアルゴリズムに則って画像データの中から人物の形状、位置、サイズ等の特徴点を記憶部１１２７に記憶するとともに検出した顔や眼幅等の大きさとそのときの検出器１２１によって検出したズームレンズの焦点距離とから抽出したそれぞれの人物までのおよその距離も演算し抽出日時とともに記憶部１１２７に記憶する。ここで、図２２を用いてこの距離演算方法を説明する。図２２は抽出した眼幅を基に人物までの距離を演算する場合を示している。Ａは一般成人の実際の眼幅の平均値、ａは抽出された撮像素子上に結像した眼幅、Ｌは撮像レンズから人物までの距離、ｆはレンズの焦点距離である。この図から次の比例式が容易に導かれる。
【００１８】
Ａ／Ｌ＝ａ／ｆ
ここから、人物までの距離Ｌは、Ｌ＝（Ａ／ａ）・ｆとなる。記憶部１１２７にはこの様にして抽出された特徴点やそれに基づいて演算した特徴点迄の距離が一旦記憶される。それら記憶された特徴点の中からユーザは残しておきたい特徴点を選択して登録する。この登録する内容や登録方法については図１３を基に後で詳細に説明する。
【００１９】
バンドパスフィルタ（ＢＰＦ）１１２４は、撮像領域に設けられた焦点検出エリア内の撮像信号に基づいて、所定帯域の高周波成分を抽出する。ＢＰＦ１１２４の出力は次の評価値演算部１１２５に入力され、ここで高周波成分の絶対値を積分し焦点評価値として算出される。ＡＦ演算部１１２６はこれらの焦点評価値に基づいてコントラスト法によりＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２６の演算結果を用いて撮影レンズ１０１のフォーカシングレンズを調整し、合焦動作を行わせる。
【００２０】
ＣＰＵ１１２に接続された操作部１１６には、カメラの電源をオンオフする電源スイッチ１１６１、レリーズ釦に連動してオンオフする半押しスイッチ１１６２及び全押しスイッチ１１６３、撮影モードの各種の内容を選択するための設定釦１１６４、再生画像等を更新するアップダウン（Ｕ／Ｄ）釦１１６５等が設けられている。設定釦１１６４では抽出した特徴点に対して名称を付けるためにＵ／Ｄ釦１１６５を併用してアルファベットやひらがな、カタカナ、簡単な漢字等を選択して設定することもできる。Ｕ／Ｄ釦１１６５はこれ以外にも、複数抽出された人物から所望の人物を選択したり、撮影時には手動でズームレンズをテレあるいはワイド側に駆動するためにも使用される。
【００２１】
被写体輝度が低い場合にはストロボ１２２を発光させる。このストロボにはストロボ使用時に撮影した人物の瞳が赤く撮影されるのを防止あるいは軽減する赤目防止のためや低輝度時に被写体輝度を予め測定するために撮影前に予め補助光を発光するプリ発光機能も備わっている。１２３はカメラの何らかの異常時に音声で警告するためのブザー等の発音体である。記憶部１１２７には前述した特徴点情報以外にＡＦ演算の結果から検出される評価値のピーク値や対応するレンズ位置等も記憶される。デジタル信号処理回路１０６で各種処理が施された画像データは、一旦バッファメモリ１０５に記憶された後に、記録・再生信号処理回路１１０を介してメモリカード等の外部記憶媒体１１１に記録される。画像データを記憶媒体１１１に記録する際には、一般的に所定の圧縮形式、例えば、ＪＰＥＧ方式でデータ圧縮が行われる。記録・再生信号処理回路１１０では、画像データを外部記憶媒体１１１に記録する際のデータ圧縮及び外部記憶媒体１１１や他のカメラから転送されてきた圧縮された画像データの伸長処理を行う。１２１はそれぞれデジタルカメラ等の他の外部機器と無線あるいは有線で接続してデータ通信を行うインタフェース回路である。これら各インタフェースは同時に複数個備わっていても良い。
【００２２】
モニタ１０９は撮像された被写体画像を表示したり撮影や再生させる際に各種の設定メニューを表示するための液晶（ＬＣＤ）表示装置である。ここでは記憶媒体１１１に記録されている画像データや他のカメラから転送されてきた画像データを再生表示する際にも用いられる。モニタ１０９に画像を表示する場合には、バッファメモリ１０５に記憶された画像データを読み出し、Ｄ／Ａ変換器１０８によりデジタル画像データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いてモニタ１０９に画像を表示する。
【００２３】
このカメラで採用しているＡＦ制御方式のコントラスト法について説明する。この方式では、像のボケの程度とコントラストの間には相関があり、焦点があったときに像のコントラストは最大になることを利用して焦点あわせを行う。コントラストの大小は撮像信号の高周波成分の大小により評価することが出来る。すなわち、ＢＰＦ１１２４により撮像信号の高周波成分を抽出し、評価値演算部１１２５で高周波成分の絶対値を積分した物を焦点評価値とする。前述したように、ＡＦ演算部１１２６はこの焦点評価値に基づいてＡＦ演算を行う。ＣＰＵ１１２はＡＦ演算部１１２６の演算結果を用いて撮影レンズ１０１のフォーカシングレンズ位置を調整し、合焦動作を行わせる。
【００２４】
図２、図３に顔認識機能を備えたデジタルカメラの全体の動作フローを示す。図２においてまずステップＳ１０１でデジタルカメラの電源が電源ＳＷ１１６１によりオンされたことを検出するとステップＳ１０２でデジタルカメラの動作モードを確認する。ここでは設定釦Ｓ１１６４によって被写体を撮影する撮影モードに設定されているかメモリカードに記録されている画像データを再生表示する再生モードに設定されているかを判別する。再生モードに設定されていたならば図３ステップＳ１１７に進み、撮影モードに設定されていたならばステップＳ１０３に進む。ステップＳ１０３ではＬＣＤモニタ１０９に撮影する被写体画像を動画で表示する。ステップＳ１０４では表示されている画像に対して所定のアルゴリズムに従って特徴点を抽出する特徴点抽出処理を行うよう設定されているかどうか判別する。この設定には設定釦１１６４を使用する。特徴点抽出処理をするように設定されていなかったならばステップＳ１１３に進み通常の撮影動作をする。特徴点抽出処理をするよう設定されていたならばステップＳ１０５に進んでＬＣＤモニタ１０９に表示している動画像データの１コマあるいは２〜３コマ毎に表示画像から特徴点とその位置情報を抽出する。この抽出される特徴点としては人物の顔、眼、瞳、眉、鼻、口、耳、手、足、眼鏡等の輪郭やその向き、位置、大きさがある。さらに、髪型、骨格、着衣の種類も抽出することによって、男女の性別や人種を判別したり、年齢についても判断することが出来る。また、人間だけでなく、犬、猫、鳥等の動物や家屋、自動車等一般の被写体に対しても抽出することが出来る。以下の説明では主として人間に対して特徴点を抽出する。
【００２５】
ステップＳ１０６では抽出した複数の特徴点に対して、予めデジタルカメラの記憶部１１２７に登録されている特徴点と一致するものがあるかどうか判別する。一致する特徴点がなかったならばステップＳ１０７でＬＣＤモニタ１０９に表示している画像に対して特徴点が検出されたことを示すマーカを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップＳ１０８で登録済みであることを区別出来るように他の特徴点と異なるマーカで重畳表示する。図１５に表示結果の１例を示す。ここでは画面内の５名の人物のうち１名は遠くにいて小さすぎるため顔としての特徴点が検出されず、残り４名に対して顔の特徴点が検出され、さらにそのうち１名が登録済みであることが判別されたことを示している。単に特徴点が検出されただけの３名に対してはそれぞれの顔を波線で囲っていて、既に登録済みの１名に対しては実線で囲っている。さらに、特徴点に対応した人名等の個人名情報も特徴点情報として同時に登録されていた場合には図１５に示すようにそれも同時に表示する。これにより被写体の確認をより一層確実にすることが出来る。また、本実施例では、後述するＡＥエリアやＡＦエリアを選択する際の優先順位も特徴点情報として登録している。
【００２６】
図１３に記憶部１１２７における特徴点に関する記録状態の一例を示す。図１３において特徴点としてＡ氏、Ｂ子、Ｃちゃんというようにそれぞれ名前が付けられた特徴点と、名前が付けられていない特徴点が名称無しとして順に登録されている。Ａ氏の登録内容は更に前述したＡＥエリアやＡＦエリアを選択する際の優先順位が１に設定されている。これにより例えばＡ氏とＣちゃんが同時に撮影画面内に抽出されたとしたらＡ氏を含むエリアが優先してＡＥエリアあるいはＡＦエリアに設定される。この優先順位は任意に変更することが出来る。Ａ氏の特徴点情報としてＡ氏の特徴点を登録した日にちが登録日として次に記録されている。ここで（１）で示される登録日は最初にＡ氏を登録した日にちで（２）、（３）は（１）と異なった状態たとえば横向き、後ろ向き、眼鏡着用等の状態で撮影されたＡ氏の他の特徴点を追加して登録した日にちを示している。このように、眼鏡や髭の有無等によって同一人物としての特徴点を複数登録することで抽出した特徴点に対して人物を識別する確度が向上する。この特徴点についてもその内容をＬＣＤモニタ１０９に表示するとともに任意に追加あるいは削除することが出来る。優先度、登録日以外に簡単なコメントやこの特徴点が検出された場合に有効な記録時あるいは再生時の処理方法（ホワイトバランス設定や輪郭補償処理設定等）、特徴点までの距離等についても記録するようにしても良い。このようにして登録するよう設定された特徴点の実際のデータは下の特徴点データエリアに順に記録される。
【００２７】
ステップＳ１０９〜ステップＳ１１４では抽出した特徴点に応じた特有の処理をするときのステップを示している。もちろん特徴点が検出された場合であってもこれらの各ステップのうちからどのステップを採用するかは設定釦１１６４を使って任意に選択可能となっている。以降ではこれら全てのステップを選択するよう設定された場合について説明する。ステップＳ１０９では表示されている抽出結果を登録する。このステップＳ１０９の登録については図４で詳細に説明する。登録が終了したならばステップＳ１１０の撮影画角設定のステップに進む。このステップＳ１１０の設定をすることにより、撮影画面の中に複数の人物がいた場合でも自動的に目的の被写体を判別してその人物をズームアップして画面中央に捉えることが出来る。この機能は、自分の子供の運動会や発表会での撮影の際に効果的である。このステップＳ１１０の詳細については図５で説明する。ステップＳ１１１では撮影条件の設定を行う。ここでは撮影画面中に複数の人物がいた場合、希望する人物を含む所定エリアをＡＦエリアやＡＥエリアに設定したり、人物の大きさや数に応じた絞り設定を行う。このステップＳ１１１の詳細については図６〜図８で説明する。ステップＳ１１２ではストロボの設定を行う。ステップＳ１１２の詳細については図９で説明する。ここまでのステップＳ１０９からステップＳ１１２迄は撮影前の設定であり、撮影画面に応じて任意に設定順を変えることが出来るとともに各ステップにおいて一旦設定した内容を再設定することも可能である。
【００２８】
ステップＳ１１３では被写体の撮影を行う。ここでは人物を検出して撮影枚数を自動的に設定したり、人物の撮影時の動作に応じて実際の露光を行う。この撮影ステップについては図１０、図１１で詳細に説明する。撮影終了後はステップＳ１１４で記録処理を行う。ここでは被写体の顔を検出してホワイトバランスを変えたり顔のシミやほくろ等を自動的に軽減する処理を行う。このステップＳ１１４の詳細は図１２で行う。ステップＳ１１５では処理済みの画像データと特徴点情報とを一つのファイルとしてメモリカードに記録する。ステップＳ１１６では電源がオフされているかどうか判別する。オフされていなかったならばステップＳ１０２に戻ってデジタルカメラの動作モードを判別する。電源スイッチがオフされていたならば本シーケンスを終了する。
【００２９】
ステップＳ１０２で再生モードに設定されていたならば図３ステップＳ１１７でメモリカード１１１に記録されていた画像データを再生してＬＣＤモニタ１０９に表示する。この再生画像は静止画であっても動画であっても良い。ステップＳ１１８では再生画像に対してステップＳ１０４と同様に特徴点抽出処理を行うよう設定されているかどうか判別する。設定されていなかったならばステップＳ１２６に進み通常の再生動作を行う。特徴点抽出処理をするように設定されていたならばステップＳ１１９に進んで再生画像データに既に何らかの特徴点情報が付加されているかどうか判別する。特徴点情報が付加されていなかった場合にはステップＳ１２０でステップＳ１０５と同様に画像データから特徴点を抽出する。特徴点情報が付加されていた場合にはステップＳ１２１に進み、画像データに付加されている特徴点情報を読み出す。ステップＳ１２１では再生画像に抽出した特徴点あるいは読み出した特徴点や特徴点情報を重畳表示する。特徴点に代わって前述したマーカ表示やアイコン表示するようにしても良い。
【００３０】
ステップＳ１２３では抽出した特徴点あるいは付加されていた特徴点が記録部１１２７に登録されている特徴点と一致するものがあるかどうか判別する。ここでも前述したステップＳ１０６の場合と同様、一致する特徴点がなかったならばステップＳ１２４でＬＣＤモニタ１０９に表示している画像に対して特徴点が検出されたことを示すマーカやアイコンを重畳して表示する。もし登録してある特徴点と一致する特徴点が検出された場合にはステップＳ１２５で登録済みであることを区別して他の特徴点と異なるマーカで重畳表示する。ステップＳ１２６では表示されている抽出結果を登録する。この登録についても図４で説明する。ステップＳ１２６での登録が終了したらステップＳ１２７で次の画像データを再生するかどうか判別し、Ｕ／Ｄ釦１１６５で次の画像を選択されたならばステップＳ１１７に戻る。次画像が選択されなかったならばステップＳ１２８に進み、電源スイッチ１１６１がオフされたかどうか判別する。もしオフされていなかったならば図２ステップＳ１０２に戻り、オフされていたならば本シーケンスを終了する。
【００３１】
《特徴点情報の登録》
図４を使って特徴点情報を登録するステップについて説明する。この図４の登録のステップは前述した図２ステップ１０９と図３ステップＳ１２６とで共通している。画像データが撮影した画像データの場合にはステップＳ１５１においては特徴点抽出演算部１１２３によって抽出した特徴点と同一の特徴点が記憶部１１２７に登録されているかどうか判別する。画像データが再生画像データの場合には、ステップＳ１５１ではその再生画像データに付加されている特徴点と特徴点情報とを読み出し、この読み出した特徴点あるいは特徴点情報と同一の特徴点や特徴点情報が図１３で説明した記録形態で記憶部１１２７に記憶されているかどうか判別する。再生画像データにその特徴点や特徴点情報が付加されていない場合には撮影画像データの場合と同様に再生画像から特徴点を抽出する。ここで画像データに付加されている特徴点情報について図１４を基に説明する。図１４に示すようにＤＳＣ００２という画像データのファイルには実際の画像データ以外に特徴点情報と特徴点データが付加して記録される。図１４の場合には特徴点情報として、Ａ氏とＣちゃんの２名について登録されている。
【００３２】
登録内容としては、優先度とこの画像データにおいてＡ氏あるいはＣちゃんを抽出した日にちとその特徴点の重心位置、Ａ氏については更にこのＤＳＣ００２という画像データ以外の画像データから抽出したＡ氏の他の特徴点が二つあるのでそれについても追加して登録している。ここでも図１３と同様に簡単なコメントや記録時あるいは再生時の処理方法について記録しておいても良い。更に特徴点抽出演算部１１２３で演算した特徴点までの距離を記録しておいても良い。特徴点情報のデータ内容の変更、追加、削除は任意である。これらＡ氏あるいはＣちゃんの実際の特徴点データはその下の特徴点データエリアに順に記録される。
【００３３】
ステップＳ１５１で撮影画像データの特徴点あるいは再生画像データに付加されていた特徴点と特徴点情報が記憶部１１２７に登録済みであったならばステップＳ１５２に進む。ここでは登録済み特徴点あるいは特徴点情報を追加あるいは変更するかどうか判別する。具体的には抽出した人物名や優先順位を入力したり変更したりする。ステップＳ１５２で追加あるいは変更しなかったならばステップＳ１５６に進み、追加あるいは変更入力されたならばステップＳ１５３に進む。
【００３４】
ステップＳ１５１で特徴点とその特徴点情報とを登録していなかったならば、ステップＳ１５３に進む。ここでは抽出した特徴点や登録する特徴点情報をＬＣＤモニタ１０９に表示する。ステップＳ１５４では表示されている特徴点や特徴点情報を登録するよう指示されたかどうか判断する。原則として、新たに検出された特徴点が既に登録されている特徴点と全く同一でない限り新規に抽出した特徴点はステップＳ１５５で特徴点と特徴点情報を記憶部１１２７に追加して記憶する。この記憶指示は例えば設定釦１１６４でＬＣＤモニタ１０９の画面に表示されている登録実行表示を選択することで行うことが出来る（不図示）。これにより次第に人物の識別の精度が高くなる。抽出された特徴点が既に登録されていたり、ユーザにとって全く無関係の特徴点が抽出されていた場合などは新規に登録指示をしないのでステップＳ１５６に進む。ステップＳ１５６では同一画面内の他の特徴点についても登録を行うかどうか判別する。もしも他の特徴点が選択されたならばステップＳ１５１に戻ってこれまでと同様の手順で登録する。
【００３５】
他の特徴点が選択されなかった場合にはステップＳ１５７に進んでデジタルカメラの動作モードを判別する。もし撮影モードに設定されていたならばこの登録のステップを終了する。被写体を変更したりして表示画面が変わった場合にはその都度この登録動作を行う。カメラの動作モードが再生モードだった場合にはステップＳ１５８に進む。ここでは今度は設定釦１１６４でカード記録実行表示が選択された（不図示）かどうか判別する。記録指示が選択された場合には変更あるいは新規に追加された特徴点あるいは特徴点情報を原画像に付加してメモリカードに記録する。もし選択されなかった場合には付加情報の更新は行わずに本登録のステップを終了する。
【００３６】
《撮影画角設定》
図２ステップＳ１１０の撮影画角の設定について図５を使って説明する。これは例えば自分の子供のＣちゃんをその運動会で撮影したいというような場合に好適な設定シーケンスである。まずステップＳ１７１では撮影したい人物（例えばＣちゃん）を記憶部１１２７に記憶されている特徴点情報の中から人物の固有名情報に基づいて設定釦１１６４を使って選択し優先撮影人物として予め登録する。この優先撮影人物として登録された人物に対しては前述した特徴点に付加されている優先順位より優先する。ステップＳ１７２では撮影画面中に人物（主として顔）が抽出されたかどうか判別する。もし抽出されなかった場合にはステップＳ１７３に進んでＣＰＵ１１２はドライバ１１３を駆動してズームレンズを長焦点方向にズーミングアップしていく。このズーミングアップは手動であっても自動であっても良い。ステップＳ１７４ではズームレンズが最大ズーム位置に達したかどうか判別して達していなかったならばステップＳ１７２に戻って人物が抽出されるまでこれを繰り返す。ステップＳ１７４でズームレンズが最大焦点位置に達したならばステップＳ１７５に進みＬＣＤモニタ１０９上に人物が検出されない旨の警告表示（不図示）して本画角設定のステップを終了する。撮影者が撮影方向を変えて撮影画面が変わったらステップＳ１７２からのステップを繰り返す。
【００３７】
ステップＳ１７２で顔が検出されたならばステップＳ１７６で図１５に示したように抽出した人物の顔にマーカを重畳表示する。この表示画面を見てユーザは予め設定した人物の顔が撮影画面内に入っているかどうかを確認する。もし入っていなかったならば画面を移動させて所望の人物を容易に画面内に捉えることが出来る。ステップＳ１７７では画面内の設定した人物が所定の大きさ以上かどうか判別する。もし所定の大きさ以上だった場合には本ステップを終了し、所定の大きさ以下だった場合にはステップＳ１７８に進む。ステップＳ１７８ではＣＰＵ１１２はズームレンズを自動的にズーミングアップしていく。このとき前述したＶＲレンズも同時にドライバ１１３で駆動して抽出した被写体の重心が画面中央近傍から外れないようにする。
【００３８】
ステップＳ１７９では設定した人物の顔の大きさが所定の大きさ以上になったかどうか判別する。もし所定の大きさ以上でなかったならばステップＳ１７７に戻りズームレンズとＶＲレンズの駆動を継続する。ステップＳ１８０で最大ズーム位置に達したならばステップＳ１８１に進んで警告する。この警告はＬＣＤモニタ１０９上に警告表示する（不図示）とともにブザー１２３でも音声で警告して本シーケンスを終了する。ステップＳ１７９で所望の人物の顔の大きさが所定の大きさ以上になった場合には本シーケンスを終了する。ここで所定の大きさについては例えば全画面の約１０％というように予めその大きさを設定釦１１６４を用いて設定しておく。また、ステップＳ１７８でズーミングアップすることはせずに単に所望の人物の顔をＶＲレンズで画面中央部に移動させるだけに止めておいても良い。こうすることでユーザは中心にある所望の被写体を手動で自分の好みの大きさに手動でズーミングアップすることが出来る。この様にして、運動会、演奏会、発表会等の大勢の子供がいる中から自分の子供を確実に見つけて記録することが出来る。また、ここまでの説明では顔が小さかった場合について自動的にズーミングアップするようにしていたがこの逆に顔が大きすぎた場合に所定の顔の大きさになるように自動的にズームダウンするようにしても良い。同様に、ステップＳ１７４で最大ズーム位置になった後ユーザによって画面が変えられたならば顔が抽出されるまで今度は逆にズームダウンするようにしても良い。これらの場合のシーケンスもズームアップする場合とほぼ同様であるので説明は省略する。
【００３９】
《撮影条件の設定》
図２ステップＳ１１１の撮影条件の設定について図６〜図８を使って説明する。図６は複数被写体が抽出されたときにそれぞれの被写体までの距離に応じて絞り値を変えて最適な焦点深度を設定するフローである。ステップＳ２０１で人物の顔の輪郭あるいは眼が検出されたかどうか判別する。どちらも検出されなかった場合にはステップＳ２０８に進み、風景等の遠景撮影であると判断してステップＳ２０８に進んで絞り値を大きく設定して焦点深度を深くする。ステップＳ２０１で顔の輪郭あるいは眼が検出された場合にはステップＳ２０２に進む。ステップＳ２０２ではそのときのズームレンズ位置（焦点距離）を検出器１２１で検出し、記憶部１１２７に記憶する。ステップＳ２０３では前述したように抽出された顔の輪郭の大きさあるいは眼幅と記憶部１１２７に記憶されたズームレンズ位置とから被写体までの距離を演算して記憶部１１２７に記憶する。ステップＳ２０４では撮影画面内の全ての人物に対して距離演算が終了したか判別する。もし終了していなかったならばステップＳ２０３に戻ってそれぞれの人物に対して距離演算して記憶部１１２７に記憶する。
【００４０】
抽出した全ての人物に対して距離演算が終了したならばステップＳ２０５に進み抽出した人物の数を判別する。ステップＳ２０５で人物の数が所定値以上であると判別されたならば集合写真と判断してステップＳ２０８に進んで焦点深度を深くして全ての人物に対して焦点が合うように絞り値を大きく設定する。具体的には、ステップＳ２０３で検出された各人物までの距離に基づいて全ての人物に対して焦点が合うための最適の焦点深度を求め、それに相当する絞り値を設定する。ステップＳ２０５で人物の数が所定値以下であると判別されたならば、ステップＳ２０６に進んでここでそれぞれの顔の大きさを判別する。もし顔の大きさが所定の大きさ以上であると判別されたならばステップＳ２０７に進み、ポートレート撮影と判断して絞り値を小さくすることで焦点深度を浅く設定する。ステップＳ２０６で顔の大きさが所定の大きさ以下であると判断されたならば風景を含めた記念写真と判断してステップＳ２０８に進み絞り値を大きくして焦点深度を深くする。ここで所定の人数とは３ないし４名程度に予め設定する。
【００４１】
この様にすることにより、ユーザが撮影モードを予め風景撮影用のモードに設定していた場合に撮影画面内に人物が検出されたならば自動的に人物撮影に適した深度の浅いポートレート撮影用のモードで撮影することが出来る。逆にポートレート撮影用のモードに設定していたときに人物が検出されなかったならば自動的に深度の深い風景撮影用のモードに変更して撮影することが出来る。なお、ここで説明した被写体までの距離の演算方法において、顔の大きさや眼幅は大人や子供で異なり大人同士、子供同士であっても個人差がある。それ故、あくまでも大人あるいは子供の平均の顔の大きさ、眼幅から求めたおおよその距離である。正確な合焦位置は前述したコントラスト法によるピーク位置に基づいて決定される。
【００４２】
次に図７、図１６、図１７、図１８を使用してＡＦエリアあるいはＡＥエリアの設定について説明する。図７においてはＡＦエリアの設定ということで説明しているがＡＥエリアの設定についても全く同様である。図７ステップＳ２２１においてまず撮影画面内の所定の範囲内に人物がいるかどうか判別する。人物の有無の判別方法としてはここでは顔の輪郭が抽出されたかどうかで判別するものとする。もし人物がいなかったならばステップＳ２２２に進んで予め設定された中央部等の固定のエリアをＡＦエリアとする。これは、もしも人物が抽出されたとしてもその人物が画面の隅の方にいた場合には撮影者は人物に重点を置いて撮影しようとしてはいないと判断し、これを排除するためである。図１６にこの場合の撮影画面例を示す。図において太い波線でマーカ表示されている人物は画面内の細い波線で示す範囲外にいるのでその場合には予め設定された画面中央の太い実線枠内をＡＦエリアに設定する。多点測距可能な場合にはこのＡＦエリアは画面中央以外にも設定可能である。
【００４３】
ステップＳ２２１で画面所定範囲内に人物が抽出された場合にはステップＳ２２３に進み、抽出された人物の顔の数が複数かどうか判別する。複数でなかった場合にはステップＳ２２８に進み、複数だった場合にはステップＳ２２４に進む。ステップＳ２２４では抽出された顔のうち最大の顔を選択してそこをＡＦエリアとして設定しＡＦエリアであるという表示をする。図１７にこの場合の撮影画面の表示例を示す。ここでは抽出された実線で表示されている最大顔部分がＡＦエリアとして設定されていることを示している。ステップＳ２２５では自動的に設定されたＡＦエリア以外の人物位置をＡＦエリアに設定するかどうか判別する。もし撮影者が設定釦１１６４を操作して波線で表示されている他の人物のいずれかを選択したならばその操作に従ってＡＦエリアを順に移動させる。この場合の選択の順番としては、もし前述した優先順が記憶されている人物であったならばその優先順に従って選択されるがそれ以外に抽出された顔の大きさの順に選択されるようにしても良い。ステップＳ２２７で選択が終了したならばステップＳ２２８に進み抽出された顔の面積の大きさが第１の所定値以上かどうか判別する。もし第１の所定値以下だった場合にはステップＳ２２９に進んで抽出した顔を内側に含む所定の大きさ（例えば第１の所定値）にＡＦエリアを設定する。これは抽出された顔の面積が小さすぎる場合には前述したＡＦ演算の際の精度が悪くなるからである。図１８にこの場合の表示例を示す。
【００４４】
ステップＳ２２８で抽出された顔の面積が第１の所定値以上だった場合にはステップＳ２３０に進んでここで更に第２の所定値以上かどうか判別する。もし第２の所定値以上だった場合にはポートレート撮影であると判断してステップＳ２３１に進んで顔全体をＡＦエリアに設定するのでなく更に抽出した目の位置をＡＦエリアに設定する。図１９にこの場合の表示例を示す。第２の所定値以下だった場合にはステップＳ２３２に進み、先に抽出された顔の面積をＡＦエリアに設定する。ここで第１および第２の所定値とは各種被写体を撮影した上で予め最適の値が設定されている。
【００４５】
ここまでの説明においてステップＳ２２４では最大の顔を初めに選択するようにしたがこれを前述した登録の優先順位の最も高い人物あるいは撮影画角設定の項で説明した優先撮影人物を初めに表示するようにしても良い。あるいは顔の抽出と同時にその人物までの距離を計算して最短距離にいる人物から順に選択するようにしても良い。また、前述した優先撮影人物に対してはその演算された距離に基づいてフォーカスレンズの移動範囲を演算距離の前後の所定範囲のみ移動可能なように制限してやることで、人物に対するＡＦ動作を背景の影響を受けにくくすることが可能となる。更にこの優先撮影人物に対してＡＦ追従動作が確実かつ高速になる。そのほか、スポーツ撮影等で連写撮影モードに設定されている場合には、一コマ目の撮影はコントラスト法による評価値ピークに基づいて撮影距離を決定し、２コマ目以降の撮影の場合には前回撮影したときとの人物や顔の輪郭あるいは眼幅の前のコマとの差（変化量）を検出してそのときのズームレンズ位置とあわせて被写体までの距離を演算することも容易に可能である。こうすることで高速に被写体変動に追従することが可能なＡＦ制御を実現することが出来る。
【００４６】
ここまでのＡＦエリアの設定のシーケンスは前述したようにＡＥエリアの設定においても全く同様に適用することが出来る。もちろんこの場合においても前述した第１の所定値および第２の所定値はＡＦエリアの時と同様に実験で予め最適値が決定される。
【００４７】
次に図８に基づいて撮影モードの変更について説明する。ステップＳ２４１で撮影モードが人物を撮影するに適した人物撮影モードに設定されているかどうか判別する。この人物撮影モードにおいては１例として背景をぼかすために絞りは開放に近い値に設定し、ホワイトバランスは肌色を重視した設定にし、測距モードはＡＦモードに設定される。もし人物撮影モードに設定されていたならばステップＳ２４２に進み、ここでは人物が抽出されたかどうか判別する。もし抽出されなかったならばステップＳ２４３に進み、ブザーやモニタ等で警告するとともにステップＳ２４４で遠景撮影に適した風景撮影用モードに変更して本シーケンスを終了する。この風景撮影用のモードの場合には焦点深度を深くするために絞りは大きな値に設定され、測距モードは焦点深度に応じて無限位置まで合焦する固定位置にフォーカスレンズを駆動する。ホワイトバランスは通常撮影時に使用される設定にするかあるいは昼間の撮影であったならば木の緑や青空を重視した設定にする。ステップＳ２４２で人物が検出された場合には本ステップは終了する。ステップＳ２４１で人物撮影モードに設定されていなかった場合にはステップＳ２４５に進んでここで人物が検出されたかどうか判別する。もし検出されなかった場合には本シーケンスを終了し、検出されたならばステップＳ２４６に進んでブザーやモニタで警告するとともに、ステップＳ２４７で人物撮影用のモードに変更し本シーケンスを終了する。
【００４８】
《ストロボの設定》
図９を用いてストロボの発光量を設定する方法について説明する。ステップＳ２５１では所定のＡＥエリア内の被写体に対してＡＥ演算回路１１２１で測定した被写体輝度が所定値より大きいかどうか判別する。ここで被写体とは人物に限定されない。もし被写体輝度が所定値より小さい暗い被写体だった場合にはステップＳ２６１に進み、所定値より大きくて被写体が明るかった場合にはステップＳ２５２に進む。ステップＳ２５２では撮影画面中に人物が抽出されたかどうか判別する。ここでも人物としては顔の輪郭が抽出されたかどうかで判別する。もし顔の輪郭が抽出されなかった場合にはステップＳ２５３に進んでストロボを非発光に設定する。この非発光設定に基づいて撮影時にはＣＰＵ１１２はストロボを非発光にするよう制御する。これにより実際の撮影時にはＡＥ演算部１１２１の演算結果に基づいたシャッタスピードと絞り値とで被写体が露光される。
【００４９】
ステップＳ２５２で顔の輪郭が抽出された場合にはステップＳ２５４に進んで抽出された人物の顔部分の明るさを測定する。ステップＳ２５５では測定された顔部分の明るさが所定値より明るかったならばステップＳ２５３に進み、暗かったならばステップＳ２５６に進む。ステップＳ２５６では前述した図６ステップＳ２０３の場合と同様に検出した顔の大きさあるいは眼幅とそのときのズームレンズ位置に基づいて抽出した人物までの距離を演算する。ステップＳ２５７では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲内であったならばステップＳ２５８に進み撮影前に赤目軽減のためのプリ発光をするように設定し、ステップＳ２５９で抽出した人物の顔が適正露光となるように演算した距離を基にストロボの発光量を設定する。これにより、ＣＰＵ１１２は実際の撮影時に、ＡＥ演算部１１２１によって演算されたシャッタスピードと絞り値とに設定するよう制御する。これにより人物を除いた画面全体が適正露光状態で撮影される。一方、周辺より暗い状態になっている人物に対しては距離に基づいて設定された発光光量でストロボを発光するよう制御する。これにより人物に対しても適正な露光状態で撮影することが出来る。この機能は逆光撮影時に特に効果的である。ストロボ本発光の前にはステップＳ２５８の設定に基づいて赤目軽減用のプリ発光をするようＣＰＵ１１２が制御する。このプリ発光は複数回行うようにしても良い。ステップＳ２５７で適正露光可能範囲外であった場合にはステップＳ２５９に進んで人物が適正露光しない旨警告表示する（不図示）。
【００５０】
ステップＳ２５１で被写体が暗かった場合にはステップＳ２６１に進んでここでも撮影画面中に人物としての顔の輪郭が抽出されたかどうか判別する。もし顔の輪郭が抽出された場合にはステップＳ２６２に進んでステップＳ２５６の場合と同様に抽出された人物までの距離を演算する。ステップＳ２６３では人物までの距離がストロボの適正露光可能範囲内であるかどうか判別する。もし適正露光可能範囲外だった場合にはステップＳ２６０に進み人物が適正露光外である旨の警告表示する。適正露光可能範囲内だった場合にはステップＳ２６４に進み撮影前にストロボをプリ発光するように設定する。このプリ発光の役割はここではステップＳ２５８で述べた赤目軽減用以外に更に、プリ発光による人物からの反射光に基づいて実際の撮影時のストロボ発光量を決定するためのものである。ステップＳ２６５ではプリ発光の際の顔部分からの反射光に基づいて撮影時のストロボの発光量を決定するように設定する。ここでも前と場合と同様、プリ発光は複数回行っても良く、更に赤目軽減用プリ発光と反射光測定用プリ発光とで分けても良い。ステップＳ２６０で人物が抽出されなかった場合にはステップＳ２６６に進んで被写体輝度をＡＥ演算した結果に基づいてストロボの発光光量を設定する。ステップＳ２５８やステップＳ２６４で赤目軽減用にストロボをプリ発光するよう設定する代わりに撮影後に撮影した瞳を検出して赤目部分をソフト的に補正する設定にしても良い。
【００５１】
《撮影》
図１０、図１１、図２０、図２１を使用して通常とは異なる２種類の撮影方法のシーケンスについて説明する。図１０は全押しＳＷ１１６３を１回押すと自動的にＡＦエリアから得られる焦点評価値の複数のピーク位置でそれぞれ撮影する様に構成されたシーケンスである。これにより各ピーク位置に対応した被写体毎に合焦した複数の画像データを得ることができる。ステップＳ３０１で半押しＳＷ１１６２がオンされたことを検出するとステップＳ３０２でＣＰＵ１１２はフォーカスレンズを至近から無限まで移動させ評価値を演算し評価値のピークを検出する。ステップＳ３０３ではピークが複数あるかどうか判別する。もしピークが一つしかない場合にはステップＳ３０６に進み、ピークが複数検出された場合にはステップＳ３０４に進む。ステップＳ３０４では特徴点抽出演算部１１２３によって人物が抽出されたかどうか判別する。ここで人物が抽出された場合にはこれまでと同様に抽出した眼幅とズームレンズ位置から抽出された人物迄の距離を演算してその演算して得られた人物までの距離が複数のピークのどれに対応するか判別する。ステップＳ３０５では最至近にいる人物位置を最初の撮影位置として選択しＣＰＵ１１２はフォーカスレンズを最至近人物位置を示しているピーク位置に駆動する。ステップＳ３０３でピーク位置が一つしかなかった場合にはステップＳ３０６で検出したピーク位置（この場合この位置が最至近ピーク位置となる）を選択する。ステップＳ３０４でピークが複数検出されて且つ人物が検出されなかった場合にもステップＳ３０６に進んで最至近位置を撮影位置として選択する。
【００５２】
ステップＳ３０７では全押しＳＷ１１６３がオンされたかどうか判別する。もしオンされていなかったならばステップＳ３１３に進み、オンされたならばステップＳ３０８に進む。ステップＳ３０８では前述したステップＳ３０５あるいはステップＳ３０６で選択されたピーク位置で露光し、露光終了後蓄積した画像データを読み出す。ステップＳ３０９では他の人物位置に相当するピーク位置の有無を判別する。もし他の人物位置に相当するピーク位置が有ったならばステップＳ３０８に戻ってその位置で２度目の露光をした後に蓄積した画像データを読み出す。他に人物位置に相当するピーク位置がなかったならばステップＳ３１１に進み最至近ピーク位置での露光が終了しているかどうか判別する。もし最至近ピーク位置での露光が終了していなかったならばステップＳ３１２に進み、最至近位置で引き続き露光する。最至近位置での露光が終了していたならば本シーケンスを終了する。ステップＳ３０７で全押しＳＷ１１６３が押されていなかったならばステップＳ３１３に進む。ステップＳ３１３では半押しＳＷ１１６２が押されているかどうか判別する。もし半押しＳＷ１１６２が押されていたならばステップＳ３０７に戻り全押しＳＷ１１６３が押されるまでフォーカスをロックする。ステップＳ３１３で半押しＳＷ１１６２が押されていなかったなら本シーケンスを終了する。
【００５３】
図２０、２１を使って実際の撮影例を説明する。図２０は撮影画面内に人物とそれより手前に花が配置されていた場合である。通常のＡＦ撮影では最至近優先で合焦するのでこの場合には手前の花に対してピントのあった画像が１枚だけ撮影される。図２１はこの場合のフォーカスレンズ位置に対応した評価値変化を示している。ここでは画面全体をＡＦエリアとした場合の評価値変化を示している。この場合は焦点評価値に二つのピーク（Ｐ１、Ｐ２）が検出される。通常のＡＦではＰ１とＰ２の大きさには関係なく或る程度以上の大きさであったならば最至近のピークであるＰ２が選択される。この様に単に被写体のコントラストを検出しているだけではＰ１に相当する位置ｘ１と、Ｐ２に相当する位置ｘ２のどちらに人物がいるのか判定することが出来ない。これに対して人物の顔の大きさあるいは眼幅から人物までの距離を演算することによって位置ｘ１が人物によるピークであると判断することが出来る。それ故、最至近位置ｘ２と人物位置ｘ１との都合２回撮影することでそれぞれにピントのあった画像データを得ることが出来る。あるいは人物ピーク位置でのみ撮影するようにして最至近ピークが人物以外のピークであった場合には撮影しないようにしても良い。この時、前述した撮影画角の設定の場合と同様、優先撮影人物を予めカメラに設定しておいてその人物に対応するピークで１回だけ撮影するようにしても良い。
【００５４】
これによりたとえ複数の人物がＡＥエリア内にいたとしても確実に所望の人物に対してピントが合った画像を得ることが出来る。人物が複数いた場合には全ての人物について撮影するのでなく、一定の評価値以上のピークに対応する人物位置で撮影するようにしても良い。あるいは最大連続撮影枚数を設定できるようにしても良い。前述したように特徴点を基に演算した特徴点までの距離は正確な距離ではないのでこのようにコントラスト法において複数ピークがあった場合などに補助的に人物位置ピークを判定するのに使用することで正確に合焦させることが出来る。
【００５５】
次に図１１を基に目を閉じた状態で撮影されることを防ぐ方法について説明する。ステップＳ３２１で全押しＳＷ１１６３が押されたならばステップＳ３２２で全押しスイッチが押される前の画像データから特徴点抽出演算部１１２３により被写体の瞳を検出する。ここで被写体が目を閉じていて瞳が検出されないと判断されたならばステップＳ３２３で被写体の瞳が検出されるまで実際の露光を遅延させステップＳ３２２に戻る。瞳が検出されたならばステップＳ３２４で実際に露光を行い、ステップＳ３２５で露光した画像データを読み出す。ステップＳ３２６では読み出した画像データから直ちに特徴点抽出演算部１１２３で瞳を再度検出する。この時瞳が検出されなかったならばステップＳ３２７でブザー１２３でもって警告しステップＳ３２２に戻って瞳が検出されたことを確認して直ちに再露光する。ステップＳ３２６で瞳が検出されたならば本シーケンスを終了する。このように撮影前に被写体が目を開けていることを確認するとともに、撮影後も目を閉じて撮影されてしまったかどうかを直ちに確認している。
【００５６】
これによりもし目を閉じて撮影された場合には直ちに再度撮影することが出来る。あるいは再度撮影する変わりに目を閉じて撮影された場合には撮影後にその部分のみソフト的に補正してやっても良い。補正方法としては撮影後にモニタで被写体の動画を撮影していた際の被写体の開いている目を抽出してこれを閉じている目と置き換えてやればよい。
【００５７】
この図１１の説明では撮影後に目を閉じていたことを検出して再撮影するようにしていたが、ほかにも撮影した被写体の不具合を検出して再度撮影することで最良の画像を得るようにすることが出来る。例えば、撮影時に被写体が動いてしまった場合には再生画像からブレを検出することで判別することが出来る。あるいは、集合写真で顔が隠れてしまったりした場合には撮影前の顔の数と撮影後の顔の数とを比較したり、あるいは顔の輪郭の抽出が不充分であるような場合にも再度撮影するように設定することも可能である。さらにステップＳ３２７の警告においてもブザーでもって警告するだけでなく音声で例えば“目を閉じて撮影されました。”、“ブレて撮影されました。”、“顔が隠れている人がいます。”等具体的に不具合を警告するようにしても良い。
【００５８】
《記録処理》
図１２を基に特徴点抽出に伴う記録時の処理について説明する。ステップＳ４０１ではまず特徴点抽出演算部１１２３によって人物の顔の輪郭が抽出されたかどうか判別する。もし抽出されなかったならば予め設定されている色再現用あるいは輪郭強調用パラメータを使用した記録処理を行う。抽出されたならばステップＳ４０２に進んで抽出された顔の数を判別する。顔の数が所定値以下だったならばステップＳ４０６に進み、所定値以上だったならばステップＳ４０３に進む。ここで所定値とは３〜４程度の値が適している。顔の数が３〜４個よりも多く抽出された場合には集合写真を撮影していると判断してステップＳ４０３でデジタル信号処理回路１０６において色再現用のパラメータを肌色を重視したパラメータを使用するようにする。ステップＳ４０４では更に、顔の特定部位を検出しステップＳ４０５で特定部位近傍以外の顔の部分の輪郭強調を弱めるように処理する。特定部位とは例えば眼、鼻、口、耳、髪、眉毛等である。
【００５９】
これによりこれら特定部位近傍以外の部分では周波数特性にローパスフィルタがかけられるので頬や額等にあるしわ、ほくろ、シミ等を目立たなくすることが出来る。ステップＳ４０２で顔の数が所定値以下だった場合にはステップＳ４０６に進んで顔の大きさを判別する。もし顔が複数検出されていたなら最大の大きさの顔で判別する。顔の面積が所定値より大きかった場合にはポートレート撮影と判断して肌色を重視した処理を行うステップＳ４０３に進む。顔の面積が所定値より小さかったならば風景を含めた記念撮影と判断し、通常の記録処理を行う。
【００６０】
この様にステップＳ４０３では顔部分に対してのみ肌色重視処理をしているのでなく、画像データ全体に対して通常の色パラメータの代わりに肌色を重視したパラメータを選択して処理を施している。これは肌色以外の部分においてはこの様に肌色を重視したパラメータを採用した処理を施したとしても、元もと肌色成分が少ないので肌色重視処置をした際の影響が少ないからである。これによりわざわざ顔部分を抜き出してそこに対してのみ肌色重視処理するといった複雑な処理が不要となる。
【００６１】
ここまでの説明において、ステップＳ４０５で施した処理とは逆に抽出された眼、鼻、口、耳、髪、眉毛およびその近傍部分に対して輪郭強調を強めに施すことによりくっきりとした顔を表現することもできる。また、あまり小さな顔に対して輪郭強調を施しても効果は小さいので或る程度大きな顔に対してのみ輪郭強調を施すようにしても良い。またこれらステップＳ４０３の肌色処理とステップＳ４０５の輪郭強調処理は何れかのみを選択可能としても良い。この肌色処理あるいは輪郭強調処理のパラメータをそれぞれ複数備えていて、これらから適宜選択をして肌色の程度あるいは輪郭強調の程度を最良の状態とすることも容易である。これ以外にも、年齢や男女の性別を判断して老人や女性の場合には色相以外に彩度や輝度を上げるためのパラメータを選択するようにしてもよい。あるいは、特定の人種に最適な色バランスをそのまま他の人種に適用すると不自然な肌色が再生されてしまうので人種に応じて肌の色を緩和するような色パラメータを選択するのも効果的である。このためには、顔や手足、耳、鼻等の骨格形状、瞳や顔の色、唇形状、着衣、髪型等から判断して人種を判別すれば良い。更に、ここまでの説明においてはこれらの処理を記録前に行うようにしていたが、これを再生時に行っても良い。すなわち、図１４で説明した画像ファイルに、前述した特徴点情報と特徴点データ以外に各個人毎の特有の情報やホワイトバランス処理情報や輪郭強調処理情報も同時に記録しておくことで再生時に最適な処理を施すことが出来る。
【図面の簡単な説明】
【図１】本発明によるデジタルカメラの構成を示すブロック図である。
【図２】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図３】本発明によるデジタルカメラの動作シーケンスを説明するフローチャートである。
【図４】特徴点情報を登録する時のシーケンスを説明するフローチャートである。
【図５】撮影画角を設定する時のシーケンスを説明するフローチャートである。
【図６】撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図７】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図８】他の撮影条件を設定する時のシーケンスを説明するフローチャートである。
【図９】ストロボの発光量を設定する時のシーケンスを説明するフローチャートである。
【図１０】撮影シーケンスを説明するフローチャートである。
【図１１】他の撮影シーケンスを説明するフローチャートである。
【図１２】記録処理シーケンスを説明するフローチャートである。
【図１３】特徴点と特徴点情報の記録状態を説明する図である。
【図１４】画像データとそこに付加されている特徴点情報の記録状態を説明する図である。
【図１５】抽出した特徴点に対してそれぞれ区別してマーカ表示している表示例である。
【図１６】ＡＦエリアあるいはＡＥエリアの設定を示す表示例である。
【図１７】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図１８】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図１９】ＡＦエリアあるいはＡＥエリアの他の設定を示す表示例である。
【図２０】ＡＦエリアの設定を示す表示例である。
【図２１】図２０の被写体の位置関係を説明する図である。
【図２２】レンズの焦点距離と眼幅から人物までの距離を求める説明図である。
【符号の説明】
１０１ 撮影レンズ
１０２ 絞り
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ バッファメモリ
１０６ デジタル信号処理部
１０８ Ｄ／Ａコンバータ
１０９ ＬＣＤモニタ
１１０ 記録・再生信号処理部
１１１ 外部記憶媒体
１１２ ＣＰＵ
１１３ レンズ駆動部
１１４ 絞り駆動部
１１５ 撮像素子駆動部
１１６ 操作部材
１２０ インタフェース
１２１ レンズ位置検出部
１２２ ストロボ
１２３ 発音体
１３５ Ａ／Ｄコンバータ
１１２１ ＡＥ演算部
１１２２ ＡＷＢ演算部
１１２４ バンドパスフィルタ
１１２５ 加算部
１１２６ ＡＦ演算部
１１２７ 記憶部
１１６１ 電源スイッチ
１１６２ 半押しスイッチ
１１６３ 全押しスイッチ
１１６４ 設定釦
１１６５ アップ／ダウン釦
【特許請求の範囲】
【請求項１】
画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて前記記憶部に記憶されている前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備えたことを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の大きさと所定値とを比較する大きさ比較手段とを備え、前記大きさ比較手段が前記顔の大きさが前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項３】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の数と所定値とを比較する数比較手段とを備え、前記数比較手段が前記顔の数が前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項４】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位から男女の性別を判別する判別手段を備え、前記判別手段が前記特徴部位を女性であると判別した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項５】
請求項４記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した結果に基づいて女性と判別することを特徴とするデジタルカメラ。
【請求項６】
請求項１記載のデジタルカメラにおいて、更に、前記抽出した特徴部位からおよその年齢を判別する判別手段を備え、前記判別手段が予め設定された年齢以上であると判別した場合には前記選択手段は前記複数の色再現用パラメータの中から彩度あるいは輝度の少なくとも一つを重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項７】
請求項６記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の形状、顔のしわ、顔のシミ、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴点に基づいておよその年齢を判別することを特徴とするデジタルカメラ。
【請求項８】
請求項１記載のデジタルカメラにおいて、更に、前記抽出した顔の特徴部位から人種を判別する判別手段を備え、前記判別手段判別した人種に応じて前記選択手段は前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項９】
請求項８記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の色、顔の形状、手足の形状、耳形状、唇形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴部位に基づいて人種を判別することを特徴とするデジタルカメラ。
【請求項１０】
被写体を撮像する撮像手段と、前記撮像手段に入射する光量を制御する絞り手段と、前記撮像手段から出力された画像データから特徴部位を抽出する抽出手段と、前記抽出手段が抽出した特徴部位から顔の大きさあるいは顔の数の少なくとも一つを判別する判別手段と、前記判別手段の判別結果に応じて前記絞り手段の絞り値を変更する変更手段とを備えたことを特徴とするデジタルカメラ。
【請求項１１】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の大きさが所定値より小さいと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とするデジタルカメラ。
【請求項１２】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の数が所定値より多いと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とするデジタルカメラ。
【請求項１３】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の大きさが第１の所定値より大きくかつ顔の数が第２の所定値より少ないと判別した場合には、前記変更手段は前記絞り手段の絞り値を小さくすることを特徴とするデジタルカメラ。
【請求項１４】
被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像データから顔の輪郭および前記輪郭内部の特定の特徴部位を抽出する抽出手段と、前記画像データに輪郭強調を施すための複数の輪郭強調用パラメータを記憶する記憶部と、前記抽出手段が抽出した前記顔の輪郭の大きさが所定値以上であるかどうかを判別する判別手段と、前記判別手段が前記顔の輪郭の大きさが所定値以上であると判別した場合に、前記特定の特徴部位を含む所定エリアと前記所定エリア以外の前記顔の輪郭内部のその他のエリアに対して異なる輪郭強調用のパラメータを選択する選択手段とを備えたことを特徴とするデジタルカメラ。
【請求項１５】
請求項１４記載のデジタルカメラにおいて、前記特定の特徴部位とは眼、鼻、口、耳、髪、眉毛の少なくとも一つであることを特徴とするデジタルカメラ。
【請求項１６】
請求項１４記載のデジタルカメラにおいて、前記選択手段は前記その他のエリアに対しては前記特定の特徴部位にくらべて輪郭強調を弱めに施すための輪郭強調用パラメータを選択することを特徴とするデジタルカメラ。
【請求項１７】
請求項１４記載のデジタルカメラにおいて、前記選択手段は前記特定の特徴部位に対しては前記その他のエリアにくらべて輪郭強調を強めに施すための輪郭強調用パラメータを選択することを特徴とするデジタルカメラ。
【請求項１８】
画像データから被写体を特定するために特徴部位を抽出する抽出手段と、撮影時の複数の設定条件をそれぞれ含んだ測光、測距、ホワイトバランスの各項目のうちから少なくとも一つの項目に対して前記複数の設定条件から所定の設定条件を設定する設定手段と、前記抽出手段の抽出結果に応じて前記設定手段に異なる設定条件を設定するよう指示する指示手段とを備えたことを特徴とするデジタルカメラ。
【請求項１９】
請求項１８記載のデジタルカメラにおいて、更に、前記被写体を判別する判別手段を備え、前記設定条件が風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定され、かつ前記判別手段が前記被写体として人物を判別した場合には前記指示手段は前記設定条件を人物撮影に適した条件に設定するよう指示することを特徴とするデジタルカメラ。
【請求項２０】
請求項１８記載のデジタルカメラにおいて、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合には前記指示手段は前記設定モードを風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定するよう指示することを特徴とするデジタルカメラ。
【請求項２１】
請求項２０記載のデジタルカメラにおいて、更に、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合に警告する警告手段を備えたことを特徴とするデジタルカメラ。
【請求項１】
画像データから所定の特徴部位を抽出する抽出手段と、前記画像データ全体の色再現をするための複数の色再現用パラメータを記憶する記憶部と、抽出手段の抽出結果に応じて前記記憶部に記憶されている前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択する選択手段とを備えたことを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の大きさと所定値とを比較する大きさ比較手段とを備え、前記大きさ比較手段が前記顔の大きさが前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項３】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位のなかから人物の顔を識別する識別手段と、前記識別手段が識別した前記顔の数と所定値とを比較する数比較手段とを備え、前記数比較手段が前記顔の数が前記所定値以上であると判断した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項４】
請求項１記載のデジタルカメラにおいて、更に、前記抽出手段が抽出した特徴部位から男女の性別を判別する判別手段を備え、前記判別手段が前記特徴部位を女性であると判別した場合には、前記選択手段は前記複数の色再現用パラメータの中から肌色を重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項５】
請求項４記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した結果に基づいて女性と判別することを特徴とするデジタルカメラ。
【請求項６】
請求項１記載のデジタルカメラにおいて、更に、前記抽出した特徴部位からおよその年齢を判別する判別手段を備え、前記判別手段が予め設定された年齢以上であると判別した場合には前記選択手段は前記複数の色再現用パラメータの中から彩度あるいは輝度の少なくとも一つを重視した色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項７】
請求項６記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の形状、顔のしわ、顔のシミ、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴点に基づいておよその年齢を判別することを特徴とするデジタルカメラ。
【請求項８】
請求項１記載のデジタルカメラにおいて、更に、前記抽出した顔の特徴部位から人種を判別する判別手段を備え、前記判別手段判別した人種に応じて前記選択手段は前記複数の色再現用パラメータの中から所定の色再現用パラメータを選択することを特徴とするデジタルカメラ。
【請求項９】
請求項８記載のデジタルカメラにおいて、更に、前記抽出した特徴部位から顔の色、顔の形状、手足の形状、耳形状、唇形状、全身形状、髪型、服装の少なくとも一つを識別する識別手段を備え、前記判別手段は前記識別手段が識別した特徴部位に基づいて人種を判別することを特徴とするデジタルカメラ。
【請求項１０】
被写体を撮像する撮像手段と、前記撮像手段に入射する光量を制御する絞り手段と、前記撮像手段から出力された画像データから特徴部位を抽出する抽出手段と、前記抽出手段が抽出した特徴部位から顔の大きさあるいは顔の数の少なくとも一つを判別する判別手段と、前記判別手段の判別結果に応じて前記絞り手段の絞り値を変更する変更手段とを備えたことを特徴とするデジタルカメラ。
【請求項１１】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の大きさが所定値より小さいと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とするデジタルカメラ。
【請求項１２】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の数が所定値より多いと判別した場合には、前記変更手段は前記絞り手段の絞り値を大きくすることを特徴とするデジタルカメラ。
【請求項１３】
請求項１０記載のデジタルカメラにおいて、前記判別手段が前記抽出手段が抽出した顔の大きさが第１の所定値より大きくかつ顔の数が第２の所定値より少ないと判別した場合には、前記変更手段は前記絞り手段の絞り値を小さくすることを特徴とするデジタルカメラ。
【請求項１４】
被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像データから顔の輪郭および前記輪郭内部の特定の特徴部位を抽出する抽出手段と、前記画像データに輪郭強調を施すための複数の輪郭強調用パラメータを記憶する記憶部と、前記抽出手段が抽出した前記顔の輪郭の大きさが所定値以上であるかどうかを判別する判別手段と、前記判別手段が前記顔の輪郭の大きさが所定値以上であると判別した場合に、前記特定の特徴部位を含む所定エリアと前記所定エリア以外の前記顔の輪郭内部のその他のエリアに対して異なる輪郭強調用のパラメータを選択する選択手段とを備えたことを特徴とするデジタルカメラ。
【請求項１５】
請求項１４記載のデジタルカメラにおいて、前記特定の特徴部位とは眼、鼻、口、耳、髪、眉毛の少なくとも一つであることを特徴とするデジタルカメラ。
【請求項１６】
請求項１４記載のデジタルカメラにおいて、前記選択手段は前記その他のエリアに対しては前記特定の特徴部位にくらべて輪郭強調を弱めに施すための輪郭強調用パラメータを選択することを特徴とするデジタルカメラ。
【請求項１７】
請求項１４記載のデジタルカメラにおいて、前記選択手段は前記特定の特徴部位に対しては前記その他のエリアにくらべて輪郭強調を強めに施すための輪郭強調用パラメータを選択することを特徴とするデジタルカメラ。
【請求項１８】
画像データから被写体を特定するために特徴部位を抽出する抽出手段と、撮影時の複数の設定条件をそれぞれ含んだ測光、測距、ホワイトバランスの各項目のうちから少なくとも一つの項目に対して前記複数の設定条件から所定の設定条件を設定する設定手段と、前記抽出手段の抽出結果に応じて前記設定手段に異なる設定条件を設定するよう指示する指示手段とを備えたことを特徴とするデジタルカメラ。
【請求項１９】
請求項１８記載のデジタルカメラにおいて、更に、前記被写体を判別する判別手段を備え、前記設定条件が風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定され、かつ前記判別手段が前記被写体として人物を判別した場合には前記指示手段は前記設定条件を人物撮影に適した条件に設定するよう指示することを特徴とするデジタルカメラ。
【請求項２０】
請求項１８記載のデジタルカメラにおいて、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合には前記指示手段は前記設定モードを風景撮影に適した条件、遠景撮影に適した条件、夜景撮影に適した条件の少なくとも一つに設定するよう指示することを特徴とするデジタルカメラ。
【請求項２１】
請求項２０記載のデジタルカメラにおいて、更に、前記設定条件が人物撮影に適した条件に設定され、かつ前記抽出手段が前記被写体として人物を抽出しなかった場合に警告する警告手段を備えたことを特徴とするデジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００４−３２０２８５（Ｐ２００４−３２０２８５Ａ）
【公開日】平成１６年１１月１１日（２００４．１１．１１）
【国際特許分類】
【出願番号】特願２００３−１０９８８４（Ｐ２００３−１０９８８４）
【出願日】平成１５年４月１５日（２００３．４．１５）
【出願人】（５９６０７５４６２）株式会社ニコン技術工房 (28)
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１６年１１月１１日（２００４．１１．１１）
【国際特許分類】
【出願日】平成１５年４月１５日（２００３．４．１５）
【出願人】（５９６０７５４６２）株式会社ニコン技術工房 (28)
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]