撮像装置及びそのプログラム
【課題】 顔を認識する処理に係る負担を軽減させることができる撮像装置及びそのプログラムを実現する。
【解決手段】 単に画像データ内に人の顔があるか否かを検出する顔検出手段１０１と、該検出された顔が誰の顔であるかを具体的に個人認識する個人認識手段１０２と、撮影の条件に応じて顔検出手段１０１と個人認識手段１０２を制御する制御手段１０３を備えるようにし、制御手段１０３は、撮影の処理状況に応じて、顔検出手段１０１による顔検出処理のみを実行させたり、顔検出手段１０１による顔検出処理と個人認識手段１０２による個人認識処理との両方の処理を実行させたりする。
【解決手段】 単に画像データ内に人の顔があるか否かを検出する顔検出手段１０１と、該検出された顔が誰の顔であるかを具体的に個人認識する個人認識手段１０２と、撮影の条件に応じて顔検出手段１０１と個人認識手段１０２を制御する制御手段１０３を備えるようにし、制御手段１０３は、撮影の処理状況に応じて、顔検出手段１０１による顔検出処理のみを実行させたり、顔検出手段１０１による顔検出処理と個人認識手段１０２による個人認識処理との両方の処理を実行させたりする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、顔を認識する機能有した撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置においては、複数の顔を認識するという技術が登場し、該認識した顔と予め登録していた顔とが一致する場合は、該一致した顔に基づいてＡＦ処理やＡＥ処理等を行うというものがある（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００４−３１７６９９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、顔を認識する処理は処理負担が大きく、上記技術のようにどのような撮影の処理状況においても顔を認識する場合は、顔を認識する処理によって、逆に撮像等の他の処理をスムーズに行うことができず、使い勝手が悪かった。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、顔を認識する処理に係る負担を軽減させることができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮像装置は、被写体を撮像する撮像手段と、
撮影の条件を判定する判定手段と、
前記撮像手段により撮像された画像データ内にある顔を検出する第１の顔検出手段と、
前記撮像手段により撮像された画像データ内にある顔が誰なのかを認識する個人認識手段と、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の実行、及び／又は、前記個人認識手段による認識の実行を制御する制御手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、撮影の種類を設定する設定手段を備え、
前記判定手段は、
前記設定手段により設定された撮影の種類に基づいて、撮影の条件を判定するようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記設定手段は、
撮影の種類として、スルー画像撮影、動画撮影、被写体追従撮影、連写撮影、単写撮影のうち、何れか１つの種類を設定するようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、撮影条件を設定する撮影条件設定手段を備え、
前記判定手段は、
前記撮影条件設定手段により設定された撮影条件に基づいて、撮影の条件を判定するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記撮影条件設定手段は、
動画撮像のフレームレート、動画撮像のシャッタ速度、連写速度、記録画像サイズ、ストロボ発光か否かのうち、１つ以上の撮影条件を設定するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記判定手段は、
被写体に追従してＡＦ処理を行っているか否かに基づいて、撮影の条件を判定するようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識の実行、非実行を制御するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記個人認識手段により認識された顔の画像データに基づいて前記撮像手段により撮像された画像データ内のどこに顔が移動したかを検出する第２の顔検出手段を備え、
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識を終了させて前記第２の顔検出手段を実行させるように制御するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、検出する顔のパーツの数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記個人認識手段は、
前記第１の顔検出手段により検出された顔のパーツの特徴点を抽出することにより、該顔が誰なのかを認識し、
前記制御手段は、
前記判定手段による判定結果に基づいて、特徴点を抽出する顔のパーツの数、及び／又は、抽出する特徴点の数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段により検出される顔の数、及び／又は、前記個人認識手段により認識される顔の数を変えることにより、該第１の顔検出手段による検出の精度、及び／又は、個人認識手段による認識の精度を変えるようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、前記撮像手段により撮像された画像データを表示手段に表示させる表示制御手段を備えるようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記表示制御手段は、
前記第１の顔検出手段により検出された顔を区別表示させるようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記表示制御手段は、
前記個人認識手段により認識された顔を差別表示させるようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
前記オートフォーカス制御手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔にピントが合うようにオートフォーカスを行ない、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔にピントが合うようにオートフォーカスを行なうようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、露出条件を設定する露出条件設定手段を備え、
前記露出条件設定手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔を重点に露出条件を設定し、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔を重点に露出条件を設定するようにしてもよい。
【００２３】
上記目的達成のため、請求項１８記載の発明によるプログラムは、被写体を撮像する撮像処理と、
撮影の条件を判定する判定処理と、
前記撮像処理により撮像された画像データに基づいて、顔を検出する顔検出処理と、
前記撮像処理により撮像された画像データ内にある顔が誰なのかを認識する個人認識処理と、
前記判定処理による判定結果に基づいて、前記検出処理による検出の実行、及び／又は、前記個人認識処理による認識の実行を制御する制御処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。
【発明の効果】
【００２４】
本願発明によれば、顔検出処理を行うとともに、顔認識処理に係る負担の増大を効率よく抑えることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。
【００２６】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００２７】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００２８】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００２９】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。
【００３０】
画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。
【００３１】
ＣＰＵ１０は、ＣＣＤ５への撮像制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
特に、ＣＰＵ１０は、画像データ内に人の顔があるか否かを検出する顔検出手段１０１、該検出された顔が誰の顔か否かを個人認識する個人認識手段１０２を有する。
【００３２】
キー入力部１１は、電源Ｏｎ/Ｏｆｆキー、半押し全押し可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー、キャンセルキー、撮影切替えボタン、録画ボタン、連写速度変更キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。
【００３３】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。
【００３４】
画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。
【００３５】
Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２乃至４のフローチャートに従って説明する。なお、本実施の形態において説明する、顔を検出する顔検出と、顔が誰なのか具体的に認識する個人認識とはともに顔認識の概念に含まれる言葉である。
ユーザのキー入力部１１の電源Ｏｎ／Ｏｆｆキーの操作により、デジタルカメラ１の電源がオンされると、ステップＳ１で、ＣＰＵ１０は、現在のモードが設定モードであるか否かを判断する。なお、ユーザはモード切替キーを操作することによりモードを切替えることができる。
【００３６】
ステップＳ１で、現在のモードが設定モードであると判断すると、ステップＳ２に進み、ＣＰＵ１０は、顔登録を行なうか否かの判断を行う。
このとき、ＣＰＵ１０は、設定モードに設定されると、「顔登録」、「画質」等の各種の設定項目を画像表示部１５に表示させ、ユーザが十字キーの操作により顔登録を選択した状態でＳＥＴキーの操作を行なうことにより顔登録を行なう旨を指示することができ、ＣＰＵ１０は該一連の操作に対応する操作信号がキー入力部１１から送られてくると、顔登録を行なうと判断する。
【００３７】
ステップＳ２で、顔登録を行なわないと判断すると他の処理へ移行し、顔登録を行なうと判断すると、ステップＳ３に進み、ＣＰＵ１０は、顔登録する人物の顔をこれから撮影して登録を行なうか否かを判断する。
このとき、ＣＰＵ１０は、顔登録を行なうと判断すると、記録済みの画像に基づいて顔を登録するか、撮影して顔を登録するかをユーザに指示させるための画面を表示させ、ユーザは十字キー、ＳＥＴキーの操作を行なうことにより何れか一方の方法を指示することができる。
【００３８】
ステップＳ３で、撮影して登録すると判断すると、ステップＳ４で、ＣＰＵ１０は、ＣＣＤ５による撮像を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する。このスルー画像が表示されることにより、ユーザは、顔登録したい人物の顔が撮像されるようにデジタルカメラ１の位置や、構図を決めることができる。
【００３９】
次いで、ステップＳ５で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ５で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ５に留まり、全押しされたと判断すると、ステップＳ６に進み、ＣＰＵ１０は、静止画撮影処理を行う。このとき、ユーザは現在撮像されている人物の顔で顔登録したいと思う場合にシャッタボタンを全押し操作する。
【００４０】
次いで、ステップＳ７で、ＣＰＵ１０は、該撮影処理により得られた静止画像データに基づく画像を画像表示部１５にプレビュー表示させる。
次いで、ステップＳ８で、ＣＰＵ１０は、撮影処理により得られた静止画像データに基づく画像に映っている人の顔を登録するか否かを判断する。
【００４１】
この判断は、ユーザによってＳＥＴキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録すると判断し、ユーザによってキャンセルキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録しないと判断する。
ステップＳ８で、顔を登録しないと判断するとステップＳ４に戻り、上記した動作を繰り返し、ステップＳ８で、顔を登録すると判断するとステップＳ１３に進む。
【００４２】
一方、ステップＳ３で、撮影して登録しないと判断すると、ステップＳ９に進み、ＣＰＵ１０は、フラッシュメモリ１４に記録されている静止画像データを画像表示部１５に一覧表示させる。
次いで、ステップＳ１０に進み、ＣＰＵ１０は、ユーザの操作に応じて静止画像データを選択する。このとき、ユーザは十字キー、ＳＥＴキー等の操作キーを操作することにより１枚の静止画像データの選択指示を行うことができ、ＣＰＵ１０は該選択指示がされた静止画像データを選択する。
【００４３】
静止画像データの選択を行なうと、ステップＳ１１に進み、ＣＰＵ１０は、該選択された静止画像データを画像表示部１５に全画面表示させる。
一覧表示されている静止画像データでは、表示される個々の静止画像データに基づく画像は小さいため、誤登録を無くすため選択された静止画像データを全画面表示させる。
【００４４】
次いで、ステップＳ１２で、ＣＰＵ１０は、現在表示されている静止画像データに基づく画像に写っている人の顔を登録するか否かを判断する。
この判断は、ユーザによってＳＥＴキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録すると判断し、ユーザによってキャンセルキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録しないと判断する。
【００４５】
ステップＳ１２で、顔登録しないと判断するとステップＳ９に戻り、上記した動作を繰り返し、ステップＳ１２で、顔登録すると判断するとステップＳ１３に進む。
【００４６】
ステップＳ１３に進むと、現在画像表示部１５に表示されている（プレビュー表示も含む）静止画像データから顔領域の画像データを抽出する。
この顔領域の画像データの抽出は、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを認識し、該認識結果に基づいて顔領域の画像データを静止画像データから抽出する。なお、この認識は、人の顔があるかを認識できれば十分なので、人の顔の輪郭、目や口など、大まかに人の顔であると認識する程度の画像認識でよい。つまり、その顔が誰の顔であるかを具体的に認識する必要は全くない。
【００４７】
図５は、顔登録を説明するための図である。
図５（ａ）は、静止画像データから抽出される顔領域の例を示す図であり、枠内の画像データが抽出されることになる。
なお、ユーザが顔領域を指定し、該指定された顔領域を抽出するようにしてもよい。
【００４８】
次いで、ステップＳ１４で、ＣＰＵ１０は、該抽出した顔領域の画像データから顔特徴データを算出する。この算出される顔特徴データは、被写体の顔が誰の顔であるかを具体的に認識できる程度のデータであり、人物の顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データ（顔特徴データ）を算出する。
【００４９】
図５（ｂ）は、抽出される顔の特徴点の例を示すものであり、図中の点で示されている点が特徴点を表している。ここでは、目の特徴点として左右それぞれ８つの点、眉毛の特徴点として左右それぞれ５つ点、鼻の特徴点として鼻下の３つの点、唇の特徴点として８つの点、顔の輪郭の特徴点として９つの点を抽出する。このように抽出された特徴点を図５（ｃ）に示す。
そして、該抽出した点の座標位置や相対位置関係の数値データを算出することになる。
【００５０】
次いで、ステップＳ１５で、ＣＰＵ１０は、人物名入力画面を表示させ、ステップＳ１６で、ＣＰＵ１０は、人物名の入力が完了したか否かを判断する。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５１】
ここで、人物名入力画面が表示されると、ユーザが十字キーを操作することにより人物名を入力することができ、ＳＥＴキーの操作を行なうことにより人物名の入力完了を指示することができる。
この人物名の入力を簡単に説明すると、ユーザが十字キーの「↓」キーを操作することにより、「あ」、「い」、「う」という順序で文字が変わっていき、「→」キーを操作することにより、文字入力の欄が右隣のスペースに移動する。例えば、「た」という文字が表示されている状態で、「→」キーを操作すると、文字入力欄が「た」の右隣の欄に移動し、その後「↓」キーを操作すると、「たあ」、「たい」、「たう」という順番に文字入力欄の文字が変わる。そして、入力した文字でＯＫと思う場合はＳＥＴキーの操作を行なうことにより文字入力の完了を指示する。
なお、デジタルカメラ１とパソコンや直接キーボードとを接続することにより、キーボードで文字を入力するようにしてもよい。
【００５２】
ステップＳ１６で、人物名の入力が完了していないと判断すると完了するまでステップＳ１６に留まり、ステップＳ１６で、人物名の入力が完了したと判断すると、ステップＳ１７に進み、ＣＰＵ１０は、ステップＳ１４で算出した顔特徴データと、該入力した人物名を関連付けてメモリ１２の顔登録記録領域に記録させて、ステップＳ１に戻る。これにより、人物の顔登録を行なうことができる。
【００５３】
なお、ステップＳ１６で、人物名が入力されないままの状態でＳＥＴキーの操作が行なわれた場合は、自動的に番号若しくは名称を付し、該付した番号若しくは名称と顔特徴データとを関連付けて記録させる。また、ステップＳ１３で抽出された顔領域の画像データのみを顔特徴データに関連付けて記録するようにしてもよいし、顔特徴データと人物名と顔領域の画像データとを関連付けて記録するようにしてもよい。
【００５４】
また、ステップＳ１で、現在のモードが設定モードでないと判断すると、図３のステップＳ２１に進み、ＣＰＵ１０は、現在のモードが顔認識撮影モードであるか否かを判断する。
ステップＳ２１で、現在のモードが顔認識撮影モードでないと判断すると他のモードへ移行し、顔認識撮影モードであると判断すると、ステップＳ２２に進み、ＣＰＵ１０は、個人認識して撮影を行なうか否かを判断する。このとき、個人認識撮影を行なうか否かを選択させるための画面を表示させ、ユーザは十字キー、ＳＥＴキーの操作を行なうことにより、個人認識撮影を行なうか否かを選択することができる。また、この個人認識とは、単に人の顔が撮像された画像内にあるかどうかを認識するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行うことをいい、後述する個人認識対象として設定された人物の顔が撮像された画像内にあるか否かを認識する。
【００５５】
ステップＳ２２で、個人認識撮影を行なうと判断すると、ステップＳ２３に進み、ＣＰＵ１０は、顔登録されている人の人物名（登録人物名）を一覧表示させる。つまり、メモリ１２の顔登録記録領域に記録されている顔特徴データに関連付けられている人物名を一覧表示させる。このとき、登録人物名を一覧表示する際には、所定の人物名を選択し、該選択した人物名を差別表示させ、また、個人認識設定終了させるための個人認識終了ボタンも表示させる。
なお、顔特徴データに顔画像が関連付けて記録されている場合は、該顔画像も、又は顔画像のみを表示させるようにしてもよい。
【００５６】
次いで、ステップＳ２４で、ＣＰＵ１０は、ユーザによって十字キーの操作が行なわれたか否かを判断する。この判断は、十字キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５７】
ステップＳ２４で、十字キーの操作が行われたと判断すると、ステップＳ２５に進み、ＣＰＵ１０は、該ユーザの操作に応じて登録人物名を新たに選択して、ステップＳ２６に進む。このときは、既に選択されている登録人物名の選択を解除し、新たな登録人物名を選択するとともに、該選択した登録人物名を差別表示させる。これにより、ユーザは、個人認識させたい人物名を十字キーを操作することにより選択することができる。
一方、ステップＳ２４で十字キーの操作が行われていないと判断するとそのままステップＳ２６に進む。
【００５８】
ステップＳ２６に進むと、ＣＰＵ１０は、ユーザによってＳＥＴキーの操作が行なわれたか否かを判断する。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５９】
次いで、ステップＳ２６で、ＳＥＴキーの操作が行なわれたと、ステップＳ２７に進み、現在選択されている登録人物名を個人認識対象として設定して、ステップＳ２８に進む。このとき、該個人認識対象として設定された登録人物名の人物の顔特徴データ、つまり、設定された登録人物名に関連付けてメモリ１２の顔登録記録領域に記録されている顔特徴データをバッファメモリの顔特徴データ記憶領域に記憶させる。これにより、ユーザは現在選択されている人物名の顔を個人認識させたい場合に、ＳＥＴキーを操作することにより個人認識対象として設定することができる。
一方、ステップＳ２６で、ＳＥＴキーの操作が行なわれていないと判断するとそのままステップＳ２４に戻る。
【００６０】
ステップＳ２８に進むと、ＣＰＵ１０は、人物名の個人認識対象としての設定を終了するか否かを判断する。この判断は、個人認識終了ボタンが選択された状態で、ＳＥＴキーの操作が行なわれたか否かにより判断する。
つまり、ユーザは十字キーを操作することにより個人認識終了ボタンを選択し、ＳＥＴキーの操作を行なうことにより個人認識対象としての設定を終了することができる。
【００６１】
ステップＳ２８で、人物の個人認識対象としての設定を終了しないと判断するとステップＳ２４に戻り、上記した動作を繰り返す。つまり、ユーザは、人物の個人認識対象としての設定を終了しない限り、複数の人物を個人認識対象として設定することができる。
【００６２】
一方、ステップＳ２８で、人物の個人認識対象としての設定を終了すると判断すると、ステップＳ２９に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
次いで、ステップＳ３０で、ＣＰＵ１０の顔検出手段１０１は、顔検出処理を行う。この顔検出処理は、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳等の特徴データ）と順次撮像される画像データとを比較照合することにより、順次撮像される該画像データの中に人の顔の画像データがあるか否かを検出する。なお、この検出は、人の顔があるかを検出できれば十分なので、人の顔の輪郭、目や口など、大まかに人の顔であると認識する程度の画像認識でよい。つまり、その顔が誰の顔であるかを具体的に認識する必要は全くない。
【００６３】
次いで、ステップＳ３１で、ＣＰＵ１０は、該検出された顔を区別表示させる処理を開始する。つまり、顔であると検出された顔領域を区別表示させる。
ここでは、区別表示の方法として、検出された各顔の位置に基づいてＡＦエリアをそれぞれ表示させることにするが、顔検出枠という枠を顔の位置に表示させるようにしてもよいし、他の方法で区別表示させるようにしてもよい。また、ここで、表示されるＡＦエリアの数は検出された顔の数に応じて変わり、例えば、検出された顔の数が３つの場合は、表示されるＡＦエリアの数も３つになる。
【００６４】
図６は、表示されるＡＦエリアの例を示す図であり、図６（ａ）は、検出された顔の区別表示の例を示す図である。
図６（ａ）を見ると、撮像されている被写体（人）は４人（人物２１、人物２２、人物２３、人物２４）であり、４人の人の顔が検出されたので、検出された各顔の位置に基づいてＡＦエリア３１が表示されているのが分かる。これにより、ユーザは実際に検出された顔を認識することができる。
【００６５】
なお、撮影状況、被写体の状況に応じては、人が撮像されている場合であっても、人の顔が検出されない場合があることに留意されたい。例えば、暗い場所や、顔が向いている方向とデジタルカメラ１の撮影レンズ２の光軸とがなす角度によって（例えば、人が略背中を撮影レンズに向けている等）は人が写っている場合でも顔が検出されないこともある。従って、該検出された顔が４つであっても、時間の経過とともに、３つの顔が検出されたり、４つの顔が検出されたりと、検出される顔の数も異なり、表示されるＡＦエリア３１の個数が刻々と変わることがある。もちろん被写体の位置が変わった場合も表示されるＡＦエリアの位置はそれに応じて変わることになる。
【００６６】
次いで、ステップＳ３２に進み、ＣＰＵ１０は、ステップＳ２７で設定された登録人物名があるか否かを判断する。つまり、バッファメモリの顔特徴データ記憶領域に顔特徴データが記憶されているか否かを判断する。
ステップＳ３２で、設定された登録人物名があると判断すると、ステップＳ３３に進み、ＣＰＵ１０の個人認識手段１０２は、現在検出されている顔に基づいて個人認識対象として設定されている登録人物名の顔を個人認識する処理を開始する。
【００６７】
この個人認識処理は、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。具体的に説明すると、該検出した顔から各顔のパーツの特徴点を複数抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。この個人認識は、具体的に顔が誰の顔であるかを認識するので、単に人の顔を検出する顔検出より処理負担が大きくなる。
【００６８】
ここでは、個人認識対象として設定された人物は、人物２２と人物２３とするので、つまり、人物２２の顔と人物２３の顔の顔特徴データがバッファメモリの顔特徴データ記憶領域に記憶されているので、撮像された画像内に人物２２、人物２３の顔があるか否かを認識することになる。
【００６９】
次いで、ステップＳ３４で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始して、ステップＳ３５に進む。
図６（ｂ）は、認識された顔の差別表示の例を示す図である。
図６（ｂ）を見ると、個人認識された顔は、人物２２と人物２３の顔であるので、該個人認識された顔に区別表示されているＡＦエリア３１が、他の顔検出のみされている顔に表示されているＡＦエリア３１とは差別表示されているのが分かる。なお、ここでは、ＡＦエリアの線を太くすることにより差別表示を行っているが、他の方法、例えば、ＡＦエリアの色等を変えたり、個人識別された旨を示す情報を表示させたりすることにより、個人認識された顔を差別表示させるようにしてもよい。要は、顔検出のみされた顔と個人認識された顔を差別できる方法であればよい。これにより、ユーザは、実際に個人認識された顔を認識することができる。
【００７０】
なお、上述したように、撮影状況、被写体の状況に応じて認識される顔が変わり、たとえ、個人認識対象として設定された人物が撮像されている場合であっても、撮影状況、被写体の状況に応じて認識されない場合もあるので、時間の経過とともに差別表示されるＡＦエリアの数も刻々と変わることになる。
また、一度顔が個人認識されると、該顔に対して被写体追従を開始して、ＡＦエリアを該認識した顔に追従表示させていくようにしてもよい。この場合は、追従されている顔に対しては、個人認識を行わないようにしてもよい。つまり、該追従している顔に対しては特徴点の抽出処理を行わないようにするとともに、該個人認識された登録人物名の顔特徴データを比較照合に用いないようにする。追従されている顔は既に撮像されている画像内にあり、どこにあるかも分かるからである。この被写体追従は周知の技術なので説明を割愛するが、ブロックマッチング等を用いることにより被写体追従を行なうことができる。
【００７１】
一方、ステップＳ３２で、設定された登録人物名がないと判断するとそのままステップＳ３５に進む。
ステップＳ３５に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００７２】
ステップＳ３５で、シャッタボタンが半押しされていないと判断すると半押しされるまでステップＳ３５に留まり、シャッタボタンが半押しされたと判断すると、顔検出処理、個人認識処理その他の区別・差別表示処理を終了して、図４のステップＳ３６に進み、ＣＰＵ１０は、シャッタボタン半押し直前に個人認識された顔があるか否かの判断を行う。つまり、シャッタボタン半押し直前に差別表示されているＡＦエリアがあるか否かを判断する。この個人認識された顔がないと判断される場合としては、個人認識対象として登録人物名が設定されていない場合はもちろんのこと、個人認識対象として登録人物名が設定されている場合であっても、個人認識できなかった場合とがあり、要はＡＦエリアが差別表示されていない場合をいう。
【００７３】
なお、上述した被写体追従を行なっている場合は、個人認識された顔があると判断することになる。なぜならば、追従されている顔は既に誰の顔か分かっており、また、どこにあるかも分かるからである。
【００７４】
ステップＳ３６で、シャッタ半押し直前に個人認識されている顔があると判断すると、ステップＳ３７に進み、ＣＰＵ１０は、シャッタ半押し直前に該個人認識された全ての顔が被写界深度に入るようにオートフォーカス（ＡＦ）処理を行う。つまり、差別表示されている全てのＡＦエリアにピントが合うようにＡＦ処理を行う。
【００７５】
この、「個人認識された全ての顔が被写界深度に入る」とは、個人認識された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、個人認識された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、個人認識対象として設定された登録人物名の顔にピントを合わせることができる。
【００７６】
次いで、ステップＳ３８に進み、ＣＰＵ１０、シャッタ半押し直前に該個人認識された顔を重点に露出条件を設定する。この個人認識された顔を重点にした露出条件の設定とは、シャッタ半押し直前に撮像された画像データの輝度成分のうち、該個人認識された顔の位置付近の領域（ＡＦエリアであってもよい）の輝度成分の重み付けを大きくし、該個人認識された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して、露出条件（絞り、シャッタ速度、感度等）を設定することをいう。これにより、個人認識対象として設定された登録人物名の顔が適正露出量となるような画像データを得ることが可能となる。
【００７７】
次いで、ステップＳ３９に進み、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ３９で、シャッタボタンが全押しされていないと判断すると、シャッタボタンが全押しされるまでステップＳ３９に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ４０に進み、ＣＰＵ１０は、ステップＳ３８で設定された露出条件で静止画撮影処理を行う。
【００７８】
次いで、ステップＳ４１に進み、ＣＰＵ１０は、該撮影により得られた静止画像データを圧縮し、該圧縮した静止画像データとシャッタボタン半押し直前に個人認識された登録人物名を関連付けてフラッシュメモリ１４に記録させて、ステップＳ１に戻る。なお、登録人物名を関連付けて記録するようにしたが、誰の顔（どの登録人物名の顔）を認識したのかを示す情報であればよい。
【００７９】
一方、ステップＳ３６で、シャッタ半押し直前に個人認識されている顔がないと判断すると、ステップＳ４２に進み、ＣＰＵ１０は、シャッタ半押し直前に顔検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
この、「顔検出された全ての顔が被写界深度に入る」とは、顔検出された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、顔検出された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、人の顔にピントを合わせることができる。
【００８０】
なお、シャッタ半押し直前に顔検出された顔がないと判断すると、所定のＡＦエリアに対してＡＦ処理を行うようにしてもよいし、パンフォーカス処理を行うようにしてもよい。
【００８１】
次いで、ステップＳ４３に進み、ＣＰＵ１０は、シャッタ半押し直前に顔検出された顔を重点に露出条件を設定する。この顔検出された顔を重点にした露出条件の設定とは、シャッタ半押し直前に撮像された画像データの輝度成分のうち、該顔検出された顔の位置付近の領域（ＡＦエリアであってもよい）の輝度成分の重み付けを大きくし、該顔検出された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して、露出条件（絞り、シャッタ速度、感度等）を設定することをいう。これにより、人の顔が適正露出量となるような画像データを得ることができる。
【００８２】
次いで、ステップＳ４４に進み、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ４４で、全押しされていないと判断すると全押しされるまでステップＳ４４に留まり、全押しされたと判断すると、ステップＳ４５に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
次いで、ステップＳ４６で、該撮影により得られた静止画像データを圧縮し、該圧縮した静止画像データをフラッシュメモリ１４に記録させて、ステップＳ１に戻る。
【００８３】
［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、個人認識対象として設定された場合は、個人認識と個人認識の両方を行なうというものであるが、第２の実施の形態においては、撮影の種類や撮影条件に応じて、顔検出のみを行なったり、顔検出と個人認識との両方を行なうというものである。
【００８４】
Ｃ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
但し、第２の実施の形態においては、更に、撮影の種類に応じて顔検出手段１０１と、個人認識手段１０２を制御する制御手段１０３を有する。
【００８５】
以下、第２の実施の形態のデジタルカメラ１の動作を図７乃至図１１のフローチャートにしたがって説明する。
なお、第１の実施の形態においては、顔認識撮影モードの中で、個人認識対象として登録人物名を設定するようにしたが、第２の実施の形態においては、予め個人認識対象設定モードというものを設け、該個人認識対象設定モードで既に１以上の登録人物名が個人認識対象として設定されていることを前提に説明する。
【００８６】
ユーザのモード切替キーの操作により顔認識撮影モードに設定されると、ステップＳ１０１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、動画撮影であるか否かを判断する。なお、ユーザは、撮影切替ボタンを操作することにより撮影の種類を切替えることができる。この撮影の種類としては、大きく分けて、「動画撮影」と「静止画撮影」とに分かれ、更に、静止画撮影は、「被写体追従撮影」、「連写撮影」、「単写撮影」とに分かれる。
【００８７】
ステップＳ１０１で、現在設定されている撮影の種類が動画撮影であると判断すると、ステップＳ１０２に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
次いで、ステップＳ１０３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。この顔検出処理は、個人認識処理に比べ、処理が簡単であることは言うまでもない。
【００８８】
次いで、ステップＳ１０４で、ＣＰＵ１０は、該検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
次いで、ステップＳ１０５で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
【００８９】
次いで、ステップＳ１０６で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始する。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
次いで、ステップＳ１０７で、ＣＰＵ１０は、録画を開始するか否かを判断する。この判断は、ユーザの録画ボタンの押下によって、該録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ１０７で、録画を開始しないと判断すると、録画を開始すると判断するまでステップＳ１０７に留まる。このとき、ＣＰＵ１０は、録画を開始すると判断するまで、コンティニュアス的にＡＦ処理、ＡＥ処理を行う。このＡＦ処理は、個人認識された全ての顔、若しくは検出された全ての顔が、被写界深度に入るよう行い、このＡＥ処理は、個人認識された顔、若しくは、検出された顔を重点に露出条件を設定して行なう。
【００９０】
一方、ステップＳ１０７で、録画を開始すると判断すると、ステップＳ１０８に進み、ＣＰＵ１０は、個人認識処理及び差別表示処理を終了し、顔検出された全ての顔が被写界深度に入るようにコンティニュアスＡＦ処理を開始する。上記第１の実施の形態で説明したように、「顔検出された全ての顔が被写界深度に入る」とは、顔検出された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、顔検出された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、動画の記録中は、顔検出処理のみを行うようにしたので、動画記録処理により処理負担が増大しても、個人認識処理を終了させることにより、動画の記録中の処理負担を軽減することができる。
【００９１】
なお、ここで留意されたいのは、録画が開始されたと判断された後も、顔検出処理及び検出された顔の区別表示を終了させることなく継続して行なうことであり、コンティニュアスＡＦは、逐次検出された顔の位置に基づいてコンティニュアス的にＡＦ処理を行う。また、録画が開始されたと判断されても、コンティニュアス的にＡＥ処理を行うようにしてもよい。このＡＥ処理は、顔検出された顔を重点に露出条件を設定して行なう。
【００９２】
次いで、ステップＳ１０９に進み、ＣＣＤ５により撮像されるフレーム画像データを順次フラッシュメモリ１４に記録する処理を開始する。このときは、フレーム画像データを圧縮して（例えば、ＭＰＥＧ圧縮して）、記録させる。
次いで、ステップＳ１１０に進み、録画を終了するか否かを判断する。この判断は、録画ボタンの押下が解除されると録画を終了すると判断する。つまり、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてこなくなると、録画を終了すると判断する。
ステップＳ１１０で、録画を終了しないと判断すると、録画を終了するまでステップＳ１１０に留まり、録画を終了すると判断すると、ステップＳ１０１に戻る。
【００９３】
一方、ステップＳ１０１で、現在の撮影の種類が動画撮影でないと判断すると、図８のステップＳ１１１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、被写体追従撮影か否かを判断する。
ステップＳ１１１で、被写体追従撮影であると判断すると、ステップＳ１１２に進み、ＣＰＵ１０は、スルー画像表示を開始する。
【００９４】
次いで、ステップＳ１１３で、ＣＰＵ１０の顔検出手段１０１は、制御手段１０２の制御によって、第１の顔検出処理を開始する。この第１の顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
【００９５】
次いで、ステップＳ１１４で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
【００９６】
次いで、ステップＳ１１５で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、該個人認識された顔に基づいて第２の検出処理を開始する。この第２の顔検出処理は、該個人認識された顔が順次撮像されるフレーム画像のどこに移動したのかを検出処理であり、ブロックマッチング法などの被写体追従処理により該認識された顔がどこに移動したのかを検出する。
【００９７】
ここで、個人認識処理により認識された顔に対しては以後、個人認識処理を終了し、第２の顔検出処理のみを行うこととする。例えば、個人認識対象として設定された登録人物名が３つ（登録人物名Ａ、登録人物名Ｂ、登録人物名Ｃ）ある場合において、登録人物名Ａの顔を個人認識処理により認識した場合は、該登録人物名Ａに対しては個人認識処理を行わずに第２の顔検出処理のみを行い、個人認識されていない登録人物名Ｂ、登録人物名Ｃに対しては個人認識処理を継続させる。その後、個人認識された顔に対しては順次個人認識処理を終了し、第２の検出処理のみを行うことになる。これにより顔認識処理に係る負担の増大を効率よく抑えることができる
【００９８】
この個人認識処理の終了とは、第２の顔検出手段により検出された顔に対しては特徴点を抽出せず、また、個人認識処理により認識された登録人物名の顔特徴データは、以後、比較照合に用いないということである。比較照合しなくても、該登録人物名の顔は既にどこにあるか第２の検出処理により検出されるからである。
なお、全ての顔が個人認識処理により認識された場合は（全ての顔に対して第２の顔検出処理が行なわれている場合は）、第１の顔検出処理も終了させる。
【００９９】
次いで、ステップＳ１１６で、ＣＰＵ１０は、第２の検出処理により検出された顔にＡＦ枠を表示させるＡＦ枠追従表示を開始させる。
次いで、ステップＳ１１７で、シャッタボタンが半押しされているか否かを判断する。
【０１００】
ステップＳ１１７で、シャッタボタンが半押しされていないと判断すると、ステップＳ１１８に進み、ＣＰＵ１０は、追従が失敗したか否かを判断する。具体的には、第２の顔検出処理により検出対象となっていた顔が検出されなくなり、ＡＦ枠の追従表示を行うことができなくなったか否かを判断する。
ステップＳ１１８で、追従が失敗していないと判断するとステップＳ１１７に戻り、追従が失敗したと判断すると、ステップＳ１１３に戻り上記した動作を繰り返す。このとき、追従失敗と判断された後のステップＳ１１４の個人認識処理は、追従が失敗されたと判断された登録人物名の顔と、未だ個人認識されていない登録人物名の顔のみを認識することになる。つまり、追従失敗と判断されていない登録人物名の顔に対しては第２の顔検出処理を行っているので、個人認識処理を行う必要が無いからである。
【０１０１】
例えば、個人認識対象として設定された登録人物名が３人（登録人物名Ａ、登録人物名Ｂ、登録人物名Ｃの３人）である場合であって、全ての顔に対して第２の検出処理を行っている場合に、登録人物名Ｂの顔検出が失敗した場合は、第１の顔検出処理を開始し（ステップＳ１１３）、ステップＳ１１４で、該失敗した登録人物名Ｂの顔のみを認識する個人認識処理を開始する。また、登録人物名Ａの顔と、登録人物名Ｂの顔に対して第２の顔検出処理を行っている場合に（登録人物名Ｃの顔に対してのみ個人認識を行なっている場合に）、登録人物名Ｂの顔の顔検出が失敗した場合は、登録人物名Ｂの顔と、登録人物名Ｃの顔に対して個人認識処理を行うことになる。このときも、第２の検出処理によって検出されていない顔の特徴点を抽出し、該抽出した特徴点の座標位置、相対位置関係の数値データを算出し、第２の検出処理によって検出されていない登録人物名の顔特徴データとを比較照合することにより個人認識処理を行う。
【０１０２】
一方、ステップＳ１１７で、シャッタボタンが半押しされたと判断すると、ステップＳ１１９に進み、ＣＰＵ１０は、追従されている全ての顔が被写界深度に入るようにＡＦ処理を行う。
次いで、ステップＳ１２０で、シャッタ半押し直前に第２の顔検出処理により検出された顔を重点に露出条件を設定する。
【０１０３】
次いで、ステップＳ１２１で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１２１で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ１２１に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ１２２に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
【０１０４】
次いで、ステップＳ１２３で、ＣＰＵ１０は、該撮影により得られた静止画像データを圧縮し、該圧縮した画像データと、追従されていた（第２の顔検出処理により検出されていた）顔の登録人物名を関連付けて記録して、ステップＳ１０１に戻る。なお、登録人物名を関連付けて記録するようにしたが、誰の顔（どの登録人物名の顔）を認識したのかを示す情報であればよい。
【０１０５】
一方、ステップＳ１１１で、被写体追従撮影でないと判断すると、図９のステップＳ１３１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、連写撮影であるか否かを判断する。
ステップＳ１３１で、連写撮影であると判断すると、ステップＳ１３２に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
【０１０６】
次いで、ステップＳ１３３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。この顔検出処理は、個人認識処理に比べ、処理が簡単であることは言うまでもない。
次いで、ステップＳ１３４で、ＣＰＵ１０は、該検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１０７】
次いで、ステップＳ１３５で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
次いで、ステップＳ１３６で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始する。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
【０１０８】
次いで、ステップＳ１３７で、ＣＰＵ１０は、ユーザによって連写速度の設定変更が行なわれたか否かを判断する。
このとき、ユーザは、スルー画像表示中において、連写速度変更キーの操作を行なうと、スルー画像に重ねて複数の連写速度（毎秒２回、毎秒４、毎秒８回等の連写速度）が画像表示部１５に表示される。そして、ユーザが十字キー、ＳＥＴキーの操作を行なうことにより、該表示された複数の連写速度の中から任意の連写速度を指定することができ、該一連の操作が行なわれると、ＣＰＵ１０は、該連写速度の変更が行なわれたと判断する。この任意の連写速度の指定を具体的に説明すると、十字キーの「→」又は「↓」キーの操作が行なわれると、選択される連写速度は、「毎秒２回」→「毎秒４回」→「毎秒８回」という順番に変わっていき、ＳＥＴキーの操作が行われることにより、現在選択されている連写速度を指定することができる。
【０１０９】
ステップＳ１３７で、連写速度の変更が行なわれたと判断すると、ステップＳ１３８に進み、ＣＰＵ１０は、連写速度の設定を、該指定された連写速度に変更して、ステップＳ１３９に進む。
一方、ステップＳ１３７で、連写速度の設定変更が行なわれていないと判断するとそのままステップＳ１３９に進む。
【０１１０】
ステップＳ１３９に進むと、ＣＰＵ１０は、シャッタボタンが半押しされたか否かを判断する。
ステップＳ１３９で、シャッタボタンが半押しされていないと判断するとステップＳ１３７に戻る。これにより、シャッタボタンを半押しするまで、ユーザは自由に連写速度を設定変更することができる。
一方、ステップＳ１３９で、シャッタボタンが半押しされたと判断すると、ステップＳ１４０に進み、ＣＰＵ１０は、シャッタボタン半押し直前に個人認識された顔があるか否かを判断する。
【０１１１】
ステップＳ１４０で、シャッタボタン半押し直前に個人認識されている顔があると判断すると、ステップＳ１４１に進み、該個人認識された全ての顔が被写界深度に入るようにＡＦ処理を行う。つまり、シャッタ半押し直前に差別表示されていた全てのＡＦエリアにピントが合うようにＡＦ処理を行う。
次いで、ステップＳ１４２で、ＣＰＵ１０は、シャッタボタン半押し押し直前に該個人認識された顔を重点に露出条件を設定して、ステップＳ１４５に進む。
【０１１２】
一方、ステップＳ１４０で、シャッタボタン半押し直前に個人認識されている顔がないと判断すると、ステップＳ１４３に進み、シャッタボタン半押し直前に該顔検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
次いで、ステップＳ１４４で、シャッタボタン半押し直前に顔検出された顔を重点に露出条件を設定して、ステップＳ１４５に進む。
【０１１３】
ステップＳ１４５に進むと、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１４５で、シャッタボタンが全押しされていないと判断すると全押しされるまでステップＳ１４５に留まり、シャッタボタンが全押しされたと判断すると、図１０のステップＳ１４６に進み、ＣＰＵ１０は、現在設定されている連写速度が所定速度より速いか否かを判断する。
【０１１４】
ステップＳ１４６で、現在設定されている連写速度が所定速度より速くないと判断すると、ステップＳ１４７に進み、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
次いで、ステップＳ１４８で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリア（ＡＦ枠）を該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１１５】
次いで、ステップＳ１４９で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって現在検出されている顔に基づいて個人認識処理を開始させる。この個人認識処理も第１の実施の形態で説明したように、この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。
【０１１６】
次いで、ステップＳ１５０で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始して、ステップＳ１５３に進む。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
【０１１７】
一方、ステップＳ１４６で、現在設定されている連写速度が所定速度より速いと判断すると、ステップＳ１５１に進み、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
【０１１８】
次いで、ステップＳ１５２で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始して、ステップＳ１５３に進む。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１１９】
このように、連写速度が所定速度より遅い場合は、顔検出処理と個人認識処理の両方を行い、連写速度が所定速度より速い場合は、顔検出処理のみを行うことになる。連写速度が所定速度より速い場合に、顔検出と個人認識との両方を行なうと処理負担が過度に増大するため、顔検出処理のみを行うことにより処理負担を軽減することができる。
なお、連写速度（撮影条件）に応じて、個人認識処理を行ったり、行なわなかったりするようにしたが、連写撮影の場合は、一律に個人認識処理を行わずに、顔検出処理のみを行うようにしてもよい。
【０１２０】
ステップＳ１５３に進むと、ＣＰＵ１０は、ステップＳ１４２又はステップＳ１４４で設定された露出条件で静止画撮影処理を行う。なお、このとき、直近に個人認識されていた顔がある場合、又は、該静止画撮影処理により得られた静止画像データに個人認識された顔がある場合は、撮影処理により得られバッファメモリに記憶されている静止画像データに関連付けて該個人認識された顔の登録人物名も記憶させるようにしてもよい。
次いで、ステップＳ１５４に進み、ＣＰＵ１０は、ユーザによってシャッタボタンの全押しが解除されたか否かを判断する。つまり、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてこなくなったか否かにより全押しが解除されたか否かを判断する。
【０１２１】
ステップＳ１５４で、シャッタボタンの全押しが解除されていないと判断すると、ステップＳ１５５に進み、ＣＰＵ１０は、撮影周期が到来したか否かを判断する。この撮影周期は、設定されている連写速度によって定まる。例えば、連写速度として毎秒２回と設定されている場合は、撮影周期は、１／２秒ということになる。
ステップＳ１５５で、撮影周期が到来していないと判断するとステップＳ１５４に戻り、撮影周期が到来したと判断すると、ステップＳ１５６に進み、ＣＰＵ１０は、直近のステップＳ１５３の動作により撮影された静止画像データに個人認識された顔があるか否かを判断する。
【０１２２】
ステップＳ１５６で、個人認識された顔があると判断すると、ステップＳ１５７に進み、ＣＰＵ１０は、該個人認識された顔を重点に露出条件を設定して、つまり、直近に撮影された静止画像データの輝度成分のうち、該個人認識された顔の位置付近の領域の輝度成分の重み付けを大きくし、該個人認識された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して露出条件を設定して、ステップＳ１５３に戻り、静止画撮影処理を行う。なお、このときも、撮影処理により得られバッファメモリに記憶されている静止画像データに関連付けて該個人認識された登録人物名も記憶させるようにしてもよい。
【０１２３】
一方、ステップＳ１５６で、個人認識された顔がないと判断すると、ステップＳ１５８に進み、ＣＰＵ１０は、顔検出処理により検出された直近のステップＳ１５３の動作により撮像された画像データ内にある顔を重点に露出条件を設定して、つまり、直近に撮影された静止画像データの輝度成分のうち、該顔検出された顔の位置付近の領域の輝度成分の重み付けを大きくし、該顔検出された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して露出条件を設定して、ステップＳ１５３に戻り、静止画撮影処理を行う。
【０１２４】
一方、ステップＳ１５４で、シャッタボタンの全押しが解除されたと判断すると、ステップＳ１５９に進み、ＣＰＵ１０は、撮影された各静止画像データを圧縮してフラッシュメモリ１４に記録させて、ステップＳ１０１に戻る。なお、このときも、登録人物名が関連付けて記憶されている静止画像データに関しては、該登録人物名を関連付けてフラッシュメモリ１４に記録するようにしてもよい。
【０１２５】
一方、ステップＳ１３１で、連写撮影でないと判断すると、現在設定されている撮影の種類が、単数撮影であると判断して、図１１のステップ１６１に進み、ＣＰＵ１０は、現在設定されている静止画像データの記録サイズが所定サイズより大きいか否かを判断する。この静止画像データの記録サイズは設定モード等においてユーザが任意のサイズに設定変更することができる。
【０１２６】
ステップＳ１６１で、記録サイズが所定サイズより大きくないと判断すると、図３のステップＳ２９に進み、上記第１の実施の形態で説明した動作と同様の動作を行なう。
一方、ステップＳ１６１で、記録サイズが所定サイズより大きいと判断すると、ステップＳ１６２に進み、ＣＰＵ１０は、スルー画像表示を開始する。
【０１２７】
次いで、ステップＳ１６３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
次いで、ステップＳ１６４で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１２８】
次いで、ステップＳ１６５で、ＣＰＵ１０は、シャッタボタンが半押しされたか否かを判断する。
ステップＳ１６５で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップＳ１６５に留まり、シャッタボタンが半押しされたと判断すると、ステップＳ１６６に進み、該検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
【０１２９】
次いで、ステップＳ１６７で、ＣＰＵ１０は、該顔検出された顔を重点に露出条件を設定する。
次いで、ステップＳ１６８で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１６８で、シャッタボタンが全押しされていないと判断するとシャッタボタンが全押しされるまでステップＳ１６８に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ１６９に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
【０１３０】
次いで、ステップＳ１７０で、ＣＰＵ１０は、該撮影処理により得られた静止画像データを圧縮して、フラッシュメモリ１４に記録して、ステップＳ１０１に戻る。
つまり、単写撮影の場合、記録画像サイズ（撮影条件）が所定サイズより大きい場合は、たとえ、個人認識対象として登録人物名が設定されていた場合であっても、個人認識は行なわずに、顔検出のみを行なうことになる。
なお、単写撮影の場合は、画像の記録サイズにかかわらず、顔検出と個人認識の両方を行なうようにしてもよい。つまり、図３のステップＳ２９へ進むようにしてもよい。
【０１３１】
以上のように、第２の実施の形態においては、顔検出処理を行うとともに、撮影の種類や撮影条件に応じて個人認識処理を制御するので、顔認識処理に係る負担の増大を効率よく抑えることができる。つまり、動画撮影中や所定速度以上の連写撮影の場合、記録サイズが所定サイズ以上の単写撮影の場合は、処理負担が大きいので個人認識処理を行わないことにより撮影等の処理をスムーズに行うことができ、被写体追従撮影の場合は、個人認識された顔に対しては以後、処理負担の軽い顔検出処理を行うようにしたので、被写体追従や撮影をスムーズに行なうことができ、スルー画像表示時や所定速度以下の連写撮影の場合や記録サイズが所定サイズ以下の場合は、処理負担が小さいので顔検出処理と個人認識処理の両方を行なうことにより、確実に具体的に被写体の顔を認識することができ、顔認識処理に係る負担の増大を効率よく抑えることができる。
［変形例］
Ｃ．上記実施の形態は以下のような態様でもよい。
【０１３２】
（０１）上記各実施の形態において、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件をＣＰＵ１０が設定し、該設定された撮影条件に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよい。順次撮像されるフレーム画像データに基づいて、顔検出処理や個人認識処理などを行うので、フレームレートが高い場合や連写速度が速い場合においても同じ精度で顔検出や個人認識を行なうと処理負担が増大するからである。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
【０１３３】
この顔検出処理の精度を異ならせる方法としては、顔検出するための顔のパーツを減らしたり、増やしたりすることにより精度を変えることができる。例えば、検出処理の精度を低くする場合は、目と口のみを検出し、目と口とを検出した場合は顔と判断し、徐々に検出処理の精度を高くするにつれて、目と口と眉毛というように、顔のパーツを増やすようにしてもよい。
また、個人認識処理の精度を異ならせる方法としては、各顔のパーツ毎に抽出する特徴点の数や、特徴点を抽出するパーツの数を減らしたりすることにより精度を低くすることができる。
【０１３４】
図１２は、個人認識処理の精度によって抽出される特徴点の様子を示す図である。
図１２（ａ）は個人認識処理の精度が高いときに抽出される特徴点の例を示すものであり、（ｃ）は個人認識処理の精度が低いときに抽出される特徴点の例を示すものであり、（ｂ）は個人認識処理の精度がその中間のときに抽出される特徴点の例を示すものである。
図１２を見ると分かるように、精度が低くなればなるほど、各顔のパーツから抽出される特徴点が少なくなるとともに、特徴点が抽出される顔のパーツの数も少なくっているのがわかる。
【０１３５】
また、個人認識処理の精度を異ならせる他の方法として、登録人物名に関連付けて記録されている顔特徴データと、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データとを比較照合し、それらが一致すると判断する誤差範囲を異ならせるようにしてもよい。例えば、個人認識処理の精度がある程度高い場合は、顔特徴データと算出された数値データとが略一致する場合に一致すると判断し、逆に個人認識処理の精度が低い場合は、顔特徴データと算出された数値データとが極端にズレない範囲なら一致すると判断する。
また、撮影の種類に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよい。
【０１３６】
（０２）上記各実施の形態において、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、個人認識処理により認識する顔の数を変えるようにしてもよい。つまり、フレームレートが高い場合、シャッタ速度が速い場合、画像サイズが大きい場合、高画質の場合、ストロボ撮影の場合等、撮影条件に基づく撮像処理負担が大きい場合は、個人認識処理により認識可能な顔の数を少なくし、撮影条件に基づく撮像処理負担が小さい場合は、個人認識処理により認識可能な顔の数を大きくする。顔認識処理に係る負担の増大を効率よく抑えることができる
この個人認識する顔の数を減らす方法としては、比較照合する個人認識対象となっている登録人物名の顔の数を変える方法と、検出した顔のうち、特徴点を抽出する顔の数を減らす方法とがある。
例えば、個人認識対象となっている登録人物名の顔の数を変える方法の場合は、撮影条件に基づく撮像処理負担が大きい場合は、個人認識対象として設定されている登録人物名が２以上いる場合であっても、個人認識する登録人物名の顔を１、又は２つにする。
また、検出した顔のうち、特徴点を抽出する顔の数を減らす方法の場合は、例えば、２つ以上の顔が検出されても、撮影条件に基づく撮像処理負担が大きい場合は、特徴点を抽出する顔の数を１つ又は２つにし、該抽出した特徴点の座標位置や相対位置関係の数値データと、個人認識対象として設定されている登録人物名の顔特徴データとを比較照合することにより個人認識処理を行う。
また、撮影の種類に応じて、個人認識処理により認識する顔の数を変えるようにしてもよい。
【０１３７】
（０３）上記第２の実施の形態においては、撮影の種類に応じて、顔検出処理のみを行なったり、個人認識処理も行なったりするようにしたが、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、個人認識のみを行なったり、個人認識処理も行なったりするようにしてもよい。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
例えば、撮影条件に基づく撮影処理負担が大きい場合は、顔検出処理のみを行うようにし、撮影条件に基づく撮影処理負担が小さい場合は顔検出処理と個人認識処理とを行なうようにしてもよい。
【０１３８】
（０４）上記第２の実施の形態においては、撮影の種類に応じて、顔検出処理のみを行なったり、個人認識処理も行なったりするようにしたが、撮影の種類にかかわらず顔検出処理と個人認識処理との両方の処理を行うようにしてもよい。
この場合は、撮影の種類に応じて顔検出処理、個人認識処理の精度を変えたり、個人認識処理により認識される登録人物名の顔の数を変えるようにしてもよい。
また、上記変形例（１）、（２）のように、動画撮像の周期（フレームレート）や、動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよいし、個人認識処理により認識する登録人物名の顔の数を変えるようにしてもよい。
【０１３９】
（０５）上記変形例（０１）〜（０４）をまとめると、要は、つまり、撮影の種類、撮影条件等の撮影の条件に応じて（所定の条件を満たすか否かによって）、個人認識を行なうか否かを制御したり、顔検出処理の精度、個人認識処理の精度を変えたり、個人認識する顔の数を変えるものであればよいので、例えば、周期的に顔検出された顔、若しくは周期的に個人認識された顔にコンティニュアス的にＡＦ処理を行っている否か（被写体に追従してＡＦ処理を行っているか否か）によって、個人認識処理を行うか否かを制御したり、顔検出処理の精度、個人認識処理の精度を変えたり、個人認識する顔の数を変えるようにしてもよい。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
【０１４０】
（０６）上記各実施の形態においては、顔検出処理により検出された顔を区別表示させるようにしたが、区別表示させないようにしてもよい。この場合は、個人認識されて初めて該認識された顔を区別表示、差別表示させることになる。
また、個人認識された顔を差別表示させないようにしてもよい。
【０１４１】
（０７）上記各実施の形態においては、個人認識処理は、顔検出処理を行なってから行なうようにしたが、個人認識処理を行う場合は顔検出処理を行わないようにしてもよい。つまり、２者択一でどちらか一方を行なうようにしてもよい。個人認識処理のみを行う場合であっても、当然に顔は検出されるからである。
【０１４２】
（０８）上記各実施の形態においては、被写体の移動速度や、被写体までの距離、被写体の明るさ等の撮影状況（撮影の条件）に応じて（所定の条件を満たすか否かによって）、顔検出する顔の数、個人認識する顔の数を少なくしたり、画像データの全範囲のうち顔を顔検出する画像領域、個人認識する画像領域の大きさを小さくしたり、特徴点が抽出される顔のパーツの数、抽出される特徴点の数を小さくしたり、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データと顔特徴データとが一致判断する誤差範囲を大きくしたりするようにしてもよい。
また、被写体追従を行なっている場合、つまり、第２の顔検出処理を行っている場合や、被写体に追従してコンティニュアスＡＦを行なっている場合も、撮影状況に応じて、顔検出する顔の数、個人認識する顔の数を少なくしたり、画像データの全範囲のうち顔を顔検出する画像領域、個人認識する画像領域の大きさを小さくしたり、特徴点が抽出される顔のパーツの数、抽出される特徴点の数を小さくしたり、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データと顔特徴データとが一致判断する誤差範囲を大きくしたりするようにしてもよいことは言うまでもない。
【０１４３】
（０９）また、上記各実施の形態は、上記変形例（０１）〜（０８）を任意に組み合わせた態様であってもよい。
【０１４４】
（１０）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１４５】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を撮像し顔を認識することができる機器であれば適用可能である。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図３】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図４】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図５】顔登録を説明するための図である。
【図６】区別表示、差別表示される顔の様子を示すものである。
【図７】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図８】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図９】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１０】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１１】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１２】個人認識処理の精度によって抽出される特徴点の様子を示す図である。
【符号の説明】
【０１４７】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
【技術分野】
【０００１】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、顔を認識する機能有した撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置においては、複数の顔を認識するという技術が登場し、該認識した顔と予め登録していた顔とが一致する場合は、該一致した顔に基づいてＡＦ処理やＡＥ処理等を行うというものがある（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００４−３１７６９９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、顔を認識する処理は処理負担が大きく、上記技術のようにどのような撮影の処理状況においても顔を認識する場合は、顔を認識する処理によって、逆に撮像等の他の処理をスムーズに行うことができず、使い勝手が悪かった。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、顔を認識する処理に係る負担を軽減させることができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮像装置は、被写体を撮像する撮像手段と、
撮影の条件を判定する判定手段と、
前記撮像手段により撮像された画像データ内にある顔を検出する第１の顔検出手段と、
前記撮像手段により撮像された画像データ内にある顔が誰なのかを認識する個人認識手段と、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の実行、及び／又は、前記個人認識手段による認識の実行を制御する制御手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、撮影の種類を設定する設定手段を備え、
前記判定手段は、
前記設定手段により設定された撮影の種類に基づいて、撮影の条件を判定するようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記設定手段は、
撮影の種類として、スルー画像撮影、動画撮影、被写体追従撮影、連写撮影、単写撮影のうち、何れか１つの種類を設定するようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、撮影条件を設定する撮影条件設定手段を備え、
前記判定手段は、
前記撮影条件設定手段により設定された撮影条件に基づいて、撮影の条件を判定するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記撮影条件設定手段は、
動画撮像のフレームレート、動画撮像のシャッタ速度、連写速度、記録画像サイズ、ストロボ発光か否かのうち、１つ以上の撮影条件を設定するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記判定手段は、
被写体に追従してＡＦ処理を行っているか否かに基づいて、撮影の条件を判定するようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識の実行、非実行を制御するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記個人認識手段により認識された顔の画像データに基づいて前記撮像手段により撮像された画像データ内のどこに顔が移動したかを検出する第２の顔検出手段を備え、
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識を終了させて前記第２の顔検出手段を実行させるように制御するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、検出する顔のパーツの数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記個人認識手段は、
前記第１の顔検出手段により検出された顔のパーツの特徴点を抽出することにより、該顔が誰なのかを認識し、
前記制御手段は、
前記判定手段による判定結果に基づいて、特徴点を抽出する顔のパーツの数、及び／又は、抽出する特徴点の数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えるようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段により検出される顔の数、及び／又は、前記個人認識手段により認識される顔の数を変えることにより、該第１の顔検出手段による検出の精度、及び／又は、個人認識手段による認識の精度を変えるようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、前記撮像手段により撮像された画像データを表示手段に表示させる表示制御手段を備えるようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記表示制御手段は、
前記第１の顔検出手段により検出された顔を区別表示させるようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記表示制御手段は、
前記個人認識手段により認識された顔を差別表示させるようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
前記オートフォーカス制御手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔にピントが合うようにオートフォーカスを行ない、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔にピントが合うようにオートフォーカスを行なうようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、露出条件を設定する露出条件設定手段を備え、
前記露出条件設定手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔を重点に露出条件を設定し、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔を重点に露出条件を設定するようにしてもよい。
【００２３】
上記目的達成のため、請求項１８記載の発明によるプログラムは、被写体を撮像する撮像処理と、
撮影の条件を判定する判定処理と、
前記撮像処理により撮像された画像データに基づいて、顔を検出する顔検出処理と、
前記撮像処理により撮像された画像データ内にある顔が誰なのかを認識する個人認識処理と、
前記判定処理による判定結果に基づいて、前記検出処理による検出の実行、及び／又は、前記個人認識処理による認識の実行を制御する制御処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。
【発明の効果】
【００２４】
本願発明によれば、顔検出処理を行うとともに、顔認識処理に係る負担の増大を効率よく抑えることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。
【００２６】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００２７】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００２８】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００２９】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。
【００３０】
画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。
【００３１】
ＣＰＵ１０は、ＣＣＤ５への撮像制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
特に、ＣＰＵ１０は、画像データ内に人の顔があるか否かを検出する顔検出手段１０１、該検出された顔が誰の顔か否かを個人認識する個人認識手段１０２を有する。
【００３２】
キー入力部１１は、電源Ｏｎ/Ｏｆｆキー、半押し全押し可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー、キャンセルキー、撮影切替えボタン、録画ボタン、連写速度変更キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。
【００３３】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。
【００３４】
画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。
【００３５】
Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２乃至４のフローチャートに従って説明する。なお、本実施の形態において説明する、顔を検出する顔検出と、顔が誰なのか具体的に認識する個人認識とはともに顔認識の概念に含まれる言葉である。
ユーザのキー入力部１１の電源Ｏｎ／Ｏｆｆキーの操作により、デジタルカメラ１の電源がオンされると、ステップＳ１で、ＣＰＵ１０は、現在のモードが設定モードであるか否かを判断する。なお、ユーザはモード切替キーを操作することによりモードを切替えることができる。
【００３６】
ステップＳ１で、現在のモードが設定モードであると判断すると、ステップＳ２に進み、ＣＰＵ１０は、顔登録を行なうか否かの判断を行う。
このとき、ＣＰＵ１０は、設定モードに設定されると、「顔登録」、「画質」等の各種の設定項目を画像表示部１５に表示させ、ユーザが十字キーの操作により顔登録を選択した状態でＳＥＴキーの操作を行なうことにより顔登録を行なう旨を指示することができ、ＣＰＵ１０は該一連の操作に対応する操作信号がキー入力部１１から送られてくると、顔登録を行なうと判断する。
【００３７】
ステップＳ２で、顔登録を行なわないと判断すると他の処理へ移行し、顔登録を行なうと判断すると、ステップＳ３に進み、ＣＰＵ１０は、顔登録する人物の顔をこれから撮影して登録を行なうか否かを判断する。
このとき、ＣＰＵ１０は、顔登録を行なうと判断すると、記録済みの画像に基づいて顔を登録するか、撮影して顔を登録するかをユーザに指示させるための画面を表示させ、ユーザは十字キー、ＳＥＴキーの操作を行なうことにより何れか一方の方法を指示することができる。
【００３８】
ステップＳ３で、撮影して登録すると判断すると、ステップＳ４で、ＣＰＵ１０は、ＣＣＤ５による撮像を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する。このスルー画像が表示されることにより、ユーザは、顔登録したい人物の顔が撮像されるようにデジタルカメラ１の位置や、構図を決めることができる。
【００３９】
次いで、ステップＳ５で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ５で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ５に留まり、全押しされたと判断すると、ステップＳ６に進み、ＣＰＵ１０は、静止画撮影処理を行う。このとき、ユーザは現在撮像されている人物の顔で顔登録したいと思う場合にシャッタボタンを全押し操作する。
【００４０】
次いで、ステップＳ７で、ＣＰＵ１０は、該撮影処理により得られた静止画像データに基づく画像を画像表示部１５にプレビュー表示させる。
次いで、ステップＳ８で、ＣＰＵ１０は、撮影処理により得られた静止画像データに基づく画像に映っている人の顔を登録するか否かを判断する。
【００４１】
この判断は、ユーザによってＳＥＴキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録すると判断し、ユーザによってキャンセルキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録しないと判断する。
ステップＳ８で、顔を登録しないと判断するとステップＳ４に戻り、上記した動作を繰り返し、ステップＳ８で、顔を登録すると判断するとステップＳ１３に進む。
【００４２】
一方、ステップＳ３で、撮影して登録しないと判断すると、ステップＳ９に進み、ＣＰＵ１０は、フラッシュメモリ１４に記録されている静止画像データを画像表示部１５に一覧表示させる。
次いで、ステップＳ１０に進み、ＣＰＵ１０は、ユーザの操作に応じて静止画像データを選択する。このとき、ユーザは十字キー、ＳＥＴキー等の操作キーを操作することにより１枚の静止画像データの選択指示を行うことができ、ＣＰＵ１０は該選択指示がされた静止画像データを選択する。
【００４３】
静止画像データの選択を行なうと、ステップＳ１１に進み、ＣＰＵ１０は、該選択された静止画像データを画像表示部１５に全画面表示させる。
一覧表示されている静止画像データでは、表示される個々の静止画像データに基づく画像は小さいため、誤登録を無くすため選択された静止画像データを全画面表示させる。
【００４４】
次いで、ステップＳ１２で、ＣＰＵ１０は、現在表示されている静止画像データに基づく画像に写っている人の顔を登録するか否かを判断する。
この判断は、ユーザによってＳＥＴキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録すると判断し、ユーザによってキャンセルキーが操作され、該操作に対応する操作信号がキー入力部１１から送られてきた場合は顔を登録しないと判断する。
【００４５】
ステップＳ１２で、顔登録しないと判断するとステップＳ９に戻り、上記した動作を繰り返し、ステップＳ１２で、顔登録すると判断するとステップＳ１３に進む。
【００４６】
ステップＳ１３に進むと、現在画像表示部１５に表示されている（プレビュー表示も含む）静止画像データから顔領域の画像データを抽出する。
この顔領域の画像データの抽出は、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを認識し、該認識結果に基づいて顔領域の画像データを静止画像データから抽出する。なお、この認識は、人の顔があるかを認識できれば十分なので、人の顔の輪郭、目や口など、大まかに人の顔であると認識する程度の画像認識でよい。つまり、その顔が誰の顔であるかを具体的に認識する必要は全くない。
【００４７】
図５は、顔登録を説明するための図である。
図５（ａ）は、静止画像データから抽出される顔領域の例を示す図であり、枠内の画像データが抽出されることになる。
なお、ユーザが顔領域を指定し、該指定された顔領域を抽出するようにしてもよい。
【００４８】
次いで、ステップＳ１４で、ＣＰＵ１０は、該抽出した顔領域の画像データから顔特徴データを算出する。この算出される顔特徴データは、被写体の顔が誰の顔であるかを具体的に認識できる程度のデータであり、人物の顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データ（顔特徴データ）を算出する。
【００４９】
図５（ｂ）は、抽出される顔の特徴点の例を示すものであり、図中の点で示されている点が特徴点を表している。ここでは、目の特徴点として左右それぞれ８つの点、眉毛の特徴点として左右それぞれ５つ点、鼻の特徴点として鼻下の３つの点、唇の特徴点として８つの点、顔の輪郭の特徴点として９つの点を抽出する。このように抽出された特徴点を図５（ｃ）に示す。
そして、該抽出した点の座標位置や相対位置関係の数値データを算出することになる。
【００５０】
次いで、ステップＳ１５で、ＣＰＵ１０は、人物名入力画面を表示させ、ステップＳ１６で、ＣＰＵ１０は、人物名の入力が完了したか否かを判断する。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５１】
ここで、人物名入力画面が表示されると、ユーザが十字キーを操作することにより人物名を入力することができ、ＳＥＴキーの操作を行なうことにより人物名の入力完了を指示することができる。
この人物名の入力を簡単に説明すると、ユーザが十字キーの「↓」キーを操作することにより、「あ」、「い」、「う」という順序で文字が変わっていき、「→」キーを操作することにより、文字入力の欄が右隣のスペースに移動する。例えば、「た」という文字が表示されている状態で、「→」キーを操作すると、文字入力欄が「た」の右隣の欄に移動し、その後「↓」キーを操作すると、「たあ」、「たい」、「たう」という順番に文字入力欄の文字が変わる。そして、入力した文字でＯＫと思う場合はＳＥＴキーの操作を行なうことにより文字入力の完了を指示する。
なお、デジタルカメラ１とパソコンや直接キーボードとを接続することにより、キーボードで文字を入力するようにしてもよい。
【００５２】
ステップＳ１６で、人物名の入力が完了していないと判断すると完了するまでステップＳ１６に留まり、ステップＳ１６で、人物名の入力が完了したと判断すると、ステップＳ１７に進み、ＣＰＵ１０は、ステップＳ１４で算出した顔特徴データと、該入力した人物名を関連付けてメモリ１２の顔登録記録領域に記録させて、ステップＳ１に戻る。これにより、人物の顔登録を行なうことができる。
【００５３】
なお、ステップＳ１６で、人物名が入力されないままの状態でＳＥＴキーの操作が行なわれた場合は、自動的に番号若しくは名称を付し、該付した番号若しくは名称と顔特徴データとを関連付けて記録させる。また、ステップＳ１３で抽出された顔領域の画像データのみを顔特徴データに関連付けて記録するようにしてもよいし、顔特徴データと人物名と顔領域の画像データとを関連付けて記録するようにしてもよい。
【００５４】
また、ステップＳ１で、現在のモードが設定モードでないと判断すると、図３のステップＳ２１に進み、ＣＰＵ１０は、現在のモードが顔認識撮影モードであるか否かを判断する。
ステップＳ２１で、現在のモードが顔認識撮影モードでないと判断すると他のモードへ移行し、顔認識撮影モードであると判断すると、ステップＳ２２に進み、ＣＰＵ１０は、個人認識して撮影を行なうか否かを判断する。このとき、個人認識撮影を行なうか否かを選択させるための画面を表示させ、ユーザは十字キー、ＳＥＴキーの操作を行なうことにより、個人認識撮影を行なうか否かを選択することができる。また、この個人認識とは、単に人の顔が撮像された画像内にあるかどうかを認識するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行うことをいい、後述する個人認識対象として設定された人物の顔が撮像された画像内にあるか否かを認識する。
【００５５】
ステップＳ２２で、個人認識撮影を行なうと判断すると、ステップＳ２３に進み、ＣＰＵ１０は、顔登録されている人の人物名（登録人物名）を一覧表示させる。つまり、メモリ１２の顔登録記録領域に記録されている顔特徴データに関連付けられている人物名を一覧表示させる。このとき、登録人物名を一覧表示する際には、所定の人物名を選択し、該選択した人物名を差別表示させ、また、個人認識設定終了させるための個人認識終了ボタンも表示させる。
なお、顔特徴データに顔画像が関連付けて記録されている場合は、該顔画像も、又は顔画像のみを表示させるようにしてもよい。
【００５６】
次いで、ステップＳ２４で、ＣＰＵ１０は、ユーザによって十字キーの操作が行なわれたか否かを判断する。この判断は、十字キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５７】
ステップＳ２４で、十字キーの操作が行われたと判断すると、ステップＳ２５に進み、ＣＰＵ１０は、該ユーザの操作に応じて登録人物名を新たに選択して、ステップＳ２６に進む。このときは、既に選択されている登録人物名の選択を解除し、新たな登録人物名を選択するとともに、該選択した登録人物名を差別表示させる。これにより、ユーザは、個人認識させたい人物名を十字キーを操作することにより選択することができる。
一方、ステップＳ２４で十字キーの操作が行われていないと判断するとそのままステップＳ２６に進む。
【００５８】
ステップＳ２６に進むと、ＣＰＵ１０は、ユーザによってＳＥＴキーの操作が行なわれたか否かを判断する。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００５９】
次いで、ステップＳ２６で、ＳＥＴキーの操作が行なわれたと、ステップＳ２７に進み、現在選択されている登録人物名を個人認識対象として設定して、ステップＳ２８に進む。このとき、該個人認識対象として設定された登録人物名の人物の顔特徴データ、つまり、設定された登録人物名に関連付けてメモリ１２の顔登録記録領域に記録されている顔特徴データをバッファメモリの顔特徴データ記憶領域に記憶させる。これにより、ユーザは現在選択されている人物名の顔を個人認識させたい場合に、ＳＥＴキーを操作することにより個人認識対象として設定することができる。
一方、ステップＳ２６で、ＳＥＴキーの操作が行なわれていないと判断するとそのままステップＳ２４に戻る。
【００６０】
ステップＳ２８に進むと、ＣＰＵ１０は、人物名の個人認識対象としての設定を終了するか否かを判断する。この判断は、個人認識終了ボタンが選択された状態で、ＳＥＴキーの操作が行なわれたか否かにより判断する。
つまり、ユーザは十字キーを操作することにより個人認識終了ボタンを選択し、ＳＥＴキーの操作を行なうことにより個人認識対象としての設定を終了することができる。
【００６１】
ステップＳ２８で、人物の個人認識対象としての設定を終了しないと判断するとステップＳ２４に戻り、上記した動作を繰り返す。つまり、ユーザは、人物の個人認識対象としての設定を終了しない限り、複数の人物を個人認識対象として設定することができる。
【００６２】
一方、ステップＳ２８で、人物の個人認識対象としての設定を終了すると判断すると、ステップＳ２９に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
次いで、ステップＳ３０で、ＣＰＵ１０の顔検出手段１０１は、顔検出処理を行う。この顔検出処理は、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳等の特徴データ）と順次撮像される画像データとを比較照合することにより、順次撮像される該画像データの中に人の顔の画像データがあるか否かを検出する。なお、この検出は、人の顔があるかを検出できれば十分なので、人の顔の輪郭、目や口など、大まかに人の顔であると認識する程度の画像認識でよい。つまり、その顔が誰の顔であるかを具体的に認識する必要は全くない。
【００６３】
次いで、ステップＳ３１で、ＣＰＵ１０は、該検出された顔を区別表示させる処理を開始する。つまり、顔であると検出された顔領域を区別表示させる。
ここでは、区別表示の方法として、検出された各顔の位置に基づいてＡＦエリアをそれぞれ表示させることにするが、顔検出枠という枠を顔の位置に表示させるようにしてもよいし、他の方法で区別表示させるようにしてもよい。また、ここで、表示されるＡＦエリアの数は検出された顔の数に応じて変わり、例えば、検出された顔の数が３つの場合は、表示されるＡＦエリアの数も３つになる。
【００６４】
図６は、表示されるＡＦエリアの例を示す図であり、図６（ａ）は、検出された顔の区別表示の例を示す図である。
図６（ａ）を見ると、撮像されている被写体（人）は４人（人物２１、人物２２、人物２３、人物２４）であり、４人の人の顔が検出されたので、検出された各顔の位置に基づいてＡＦエリア３１が表示されているのが分かる。これにより、ユーザは実際に検出された顔を認識することができる。
【００６５】
なお、撮影状況、被写体の状況に応じては、人が撮像されている場合であっても、人の顔が検出されない場合があることに留意されたい。例えば、暗い場所や、顔が向いている方向とデジタルカメラ１の撮影レンズ２の光軸とがなす角度によって（例えば、人が略背中を撮影レンズに向けている等）は人が写っている場合でも顔が検出されないこともある。従って、該検出された顔が４つであっても、時間の経過とともに、３つの顔が検出されたり、４つの顔が検出されたりと、検出される顔の数も異なり、表示されるＡＦエリア３１の個数が刻々と変わることがある。もちろん被写体の位置が変わった場合も表示されるＡＦエリアの位置はそれに応じて変わることになる。
【００６６】
次いで、ステップＳ３２に進み、ＣＰＵ１０は、ステップＳ２７で設定された登録人物名があるか否かを判断する。つまり、バッファメモリの顔特徴データ記憶領域に顔特徴データが記憶されているか否かを判断する。
ステップＳ３２で、設定された登録人物名があると判断すると、ステップＳ３３に進み、ＣＰＵ１０の個人認識手段１０２は、現在検出されている顔に基づいて個人認識対象として設定されている登録人物名の顔を個人認識する処理を開始する。
【００６７】
この個人認識処理は、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。具体的に説明すると、該検出した顔から各顔のパーツの特徴点を複数抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。この個人認識は、具体的に顔が誰の顔であるかを認識するので、単に人の顔を検出する顔検出より処理負担が大きくなる。
【００６８】
ここでは、個人認識対象として設定された人物は、人物２２と人物２３とするので、つまり、人物２２の顔と人物２３の顔の顔特徴データがバッファメモリの顔特徴データ記憶領域に記憶されているので、撮像された画像内に人物２２、人物２３の顔があるか否かを認識することになる。
【００６９】
次いで、ステップＳ３４で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始して、ステップＳ３５に進む。
図６（ｂ）は、認識された顔の差別表示の例を示す図である。
図６（ｂ）を見ると、個人認識された顔は、人物２２と人物２３の顔であるので、該個人認識された顔に区別表示されているＡＦエリア３１が、他の顔検出のみされている顔に表示されているＡＦエリア３１とは差別表示されているのが分かる。なお、ここでは、ＡＦエリアの線を太くすることにより差別表示を行っているが、他の方法、例えば、ＡＦエリアの色等を変えたり、個人識別された旨を示す情報を表示させたりすることにより、個人認識された顔を差別表示させるようにしてもよい。要は、顔検出のみされた顔と個人認識された顔を差別できる方法であればよい。これにより、ユーザは、実際に個人認識された顔を認識することができる。
【００７０】
なお、上述したように、撮影状況、被写体の状況に応じて認識される顔が変わり、たとえ、個人認識対象として設定された人物が撮像されている場合であっても、撮影状況、被写体の状況に応じて認識されない場合もあるので、時間の経過とともに差別表示されるＡＦエリアの数も刻々と変わることになる。
また、一度顔が個人認識されると、該顔に対して被写体追従を開始して、ＡＦエリアを該認識した顔に追従表示させていくようにしてもよい。この場合は、追従されている顔に対しては、個人認識を行わないようにしてもよい。つまり、該追従している顔に対しては特徴点の抽出処理を行わないようにするとともに、該個人認識された登録人物名の顔特徴データを比較照合に用いないようにする。追従されている顔は既に撮像されている画像内にあり、どこにあるかも分かるからである。この被写体追従は周知の技術なので説明を割愛するが、ブロックマッチング等を用いることにより被写体追従を行なうことができる。
【００７１】
一方、ステップＳ３２で、設定された登録人物名がないと判断するとそのままステップＳ３５に進む。
ステップＳ３５に進むと、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００７２】
ステップＳ３５で、シャッタボタンが半押しされていないと判断すると半押しされるまでステップＳ３５に留まり、シャッタボタンが半押しされたと判断すると、顔検出処理、個人認識処理その他の区別・差別表示処理を終了して、図４のステップＳ３６に進み、ＣＰＵ１０は、シャッタボタン半押し直前に個人認識された顔があるか否かの判断を行う。つまり、シャッタボタン半押し直前に差別表示されているＡＦエリアがあるか否かを判断する。この個人認識された顔がないと判断される場合としては、個人認識対象として登録人物名が設定されていない場合はもちろんのこと、個人認識対象として登録人物名が設定されている場合であっても、個人認識できなかった場合とがあり、要はＡＦエリアが差別表示されていない場合をいう。
【００７３】
なお、上述した被写体追従を行なっている場合は、個人認識された顔があると判断することになる。なぜならば、追従されている顔は既に誰の顔か分かっており、また、どこにあるかも分かるからである。
【００７４】
ステップＳ３６で、シャッタ半押し直前に個人認識されている顔があると判断すると、ステップＳ３７に進み、ＣＰＵ１０は、シャッタ半押し直前に該個人認識された全ての顔が被写界深度に入るようにオートフォーカス（ＡＦ）処理を行う。つまり、差別表示されている全てのＡＦエリアにピントが合うようにＡＦ処理を行う。
【００７５】
この、「個人認識された全ての顔が被写界深度に入る」とは、個人認識された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、個人認識された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、個人認識対象として設定された登録人物名の顔にピントを合わせることができる。
【００７６】
次いで、ステップＳ３８に進み、ＣＰＵ１０、シャッタ半押し直前に該個人認識された顔を重点に露出条件を設定する。この個人認識された顔を重点にした露出条件の設定とは、シャッタ半押し直前に撮像された画像データの輝度成分のうち、該個人認識された顔の位置付近の領域（ＡＦエリアであってもよい）の輝度成分の重み付けを大きくし、該個人認識された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して、露出条件（絞り、シャッタ速度、感度等）を設定することをいう。これにより、個人認識対象として設定された登録人物名の顔が適正露出量となるような画像データを得ることが可能となる。
【００７７】
次いで、ステップＳ３９に進み、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ３９で、シャッタボタンが全押しされていないと判断すると、シャッタボタンが全押しされるまでステップＳ３９に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ４０に進み、ＣＰＵ１０は、ステップＳ３８で設定された露出条件で静止画撮影処理を行う。
【００７８】
次いで、ステップＳ４１に進み、ＣＰＵ１０は、該撮影により得られた静止画像データを圧縮し、該圧縮した静止画像データとシャッタボタン半押し直前に個人認識された登録人物名を関連付けてフラッシュメモリ１４に記録させて、ステップＳ１に戻る。なお、登録人物名を関連付けて記録するようにしたが、誰の顔（どの登録人物名の顔）を認識したのかを示す情報であればよい。
【００７９】
一方、ステップＳ３６で、シャッタ半押し直前に個人認識されている顔がないと判断すると、ステップＳ４２に進み、ＣＰＵ１０は、シャッタ半押し直前に顔検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
この、「顔検出された全ての顔が被写界深度に入る」とは、顔検出された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、顔検出された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、人の顔にピントを合わせることができる。
【００８０】
なお、シャッタ半押し直前に顔検出された顔がないと判断すると、所定のＡＦエリアに対してＡＦ処理を行うようにしてもよいし、パンフォーカス処理を行うようにしてもよい。
【００８１】
次いで、ステップＳ４３に進み、ＣＰＵ１０は、シャッタ半押し直前に顔検出された顔を重点に露出条件を設定する。この顔検出された顔を重点にした露出条件の設定とは、シャッタ半押し直前に撮像された画像データの輝度成分のうち、該顔検出された顔の位置付近の領域（ＡＦエリアであってもよい）の輝度成分の重み付けを大きくし、該顔検出された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して、露出条件（絞り、シャッタ速度、感度等）を設定することをいう。これにより、人の顔が適正露出量となるような画像データを得ることができる。
【００８２】
次いで、ステップＳ４４に進み、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ４４で、全押しされていないと判断すると全押しされるまでステップＳ４４に留まり、全押しされたと判断すると、ステップＳ４５に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
次いで、ステップＳ４６で、該撮影により得られた静止画像データを圧縮し、該圧縮した静止画像データをフラッシュメモリ１４に記録させて、ステップＳ１に戻る。
【００８３】
［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、個人認識対象として設定された場合は、個人認識と個人認識の両方を行なうというものであるが、第２の実施の形態においては、撮影の種類や撮影条件に応じて、顔検出のみを行なったり、顔検出と個人認識との両方を行なうというものである。
【００８４】
Ｃ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
但し、第２の実施の形態においては、更に、撮影の種類に応じて顔検出手段１０１と、個人認識手段１０２を制御する制御手段１０３を有する。
【００８５】
以下、第２の実施の形態のデジタルカメラ１の動作を図７乃至図１１のフローチャートにしたがって説明する。
なお、第１の実施の形態においては、顔認識撮影モードの中で、個人認識対象として登録人物名を設定するようにしたが、第２の実施の形態においては、予め個人認識対象設定モードというものを設け、該個人認識対象設定モードで既に１以上の登録人物名が個人認識対象として設定されていることを前提に説明する。
【００８６】
ユーザのモード切替キーの操作により顔認識撮影モードに設定されると、ステップＳ１０１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、動画撮影であるか否かを判断する。なお、ユーザは、撮影切替ボタンを操作することにより撮影の種類を切替えることができる。この撮影の種類としては、大きく分けて、「動画撮影」と「静止画撮影」とに分かれ、更に、静止画撮影は、「被写体追従撮影」、「連写撮影」、「単写撮影」とに分かれる。
【００８７】
ステップＳ１０１で、現在設定されている撮影の種類が動画撮影であると判断すると、ステップＳ１０２に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
次いで、ステップＳ１０３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。この顔検出処理は、個人認識処理に比べ、処理が簡単であることは言うまでもない。
【００８８】
次いで、ステップＳ１０４で、ＣＰＵ１０は、該検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
次いで、ステップＳ１０５で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
【００８９】
次いで、ステップＳ１０６で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始する。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
次いで、ステップＳ１０７で、ＣＰＵ１０は、録画を開始するか否かを判断する。この判断は、ユーザの録画ボタンの押下によって、該録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ１０７で、録画を開始しないと判断すると、録画を開始すると判断するまでステップＳ１０７に留まる。このとき、ＣＰＵ１０は、録画を開始すると判断するまで、コンティニュアス的にＡＦ処理、ＡＥ処理を行う。このＡＦ処理は、個人認識された全ての顔、若しくは検出された全ての顔が、被写界深度に入るよう行い、このＡＥ処理は、個人認識された顔、若しくは、検出された顔を重点に露出条件を設定して行なう。
【００９０】
一方、ステップＳ１０７で、録画を開始すると判断すると、ステップＳ１０８に進み、ＣＰＵ１０は、個人認識処理及び差別表示処理を終了し、顔検出された全ての顔が被写界深度に入るようにコンティニュアスＡＦ処理を開始する。上記第１の実施の形態で説明したように、「顔検出された全ての顔が被写界深度に入る」とは、顔検出された全ての顔が被写界深度に入ればどんな被写界深度でもよいという意味ではなく、顔検出された全ての顔が丁度納まる（入る）ような被写界深度という意味である。これにより、動画の記録中は、顔検出処理のみを行うようにしたので、動画記録処理により処理負担が増大しても、個人認識処理を終了させることにより、動画の記録中の処理負担を軽減することができる。
【００９１】
なお、ここで留意されたいのは、録画が開始されたと判断された後も、顔検出処理及び検出された顔の区別表示を終了させることなく継続して行なうことであり、コンティニュアスＡＦは、逐次検出された顔の位置に基づいてコンティニュアス的にＡＦ処理を行う。また、録画が開始されたと判断されても、コンティニュアス的にＡＥ処理を行うようにしてもよい。このＡＥ処理は、顔検出された顔を重点に露出条件を設定して行なう。
【００９２】
次いで、ステップＳ１０９に進み、ＣＣＤ５により撮像されるフレーム画像データを順次フラッシュメモリ１４に記録する処理を開始する。このときは、フレーム画像データを圧縮して（例えば、ＭＰＥＧ圧縮して）、記録させる。
次いで、ステップＳ１１０に進み、録画を終了するか否かを判断する。この判断は、録画ボタンの押下が解除されると録画を終了すると判断する。つまり、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてこなくなると、録画を終了すると判断する。
ステップＳ１１０で、録画を終了しないと判断すると、録画を終了するまでステップＳ１１０に留まり、録画を終了すると判断すると、ステップＳ１０１に戻る。
【００９３】
一方、ステップＳ１０１で、現在の撮影の種類が動画撮影でないと判断すると、図８のステップＳ１１１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、被写体追従撮影か否かを判断する。
ステップＳ１１１で、被写体追従撮影であると判断すると、ステップＳ１１２に進み、ＣＰＵ１０は、スルー画像表示を開始する。
【００９４】
次いで、ステップＳ１１３で、ＣＰＵ１０の顔検出手段１０１は、制御手段１０２の制御によって、第１の顔検出処理を開始する。この第１の顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
【００９５】
次いで、ステップＳ１１４で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
【００９６】
次いで、ステップＳ１１５で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、該個人認識された顔に基づいて第２の検出処理を開始する。この第２の顔検出処理は、該個人認識された顔が順次撮像されるフレーム画像のどこに移動したのかを検出処理であり、ブロックマッチング法などの被写体追従処理により該認識された顔がどこに移動したのかを検出する。
【００９７】
ここで、個人認識処理により認識された顔に対しては以後、個人認識処理を終了し、第２の顔検出処理のみを行うこととする。例えば、個人認識対象として設定された登録人物名が３つ（登録人物名Ａ、登録人物名Ｂ、登録人物名Ｃ）ある場合において、登録人物名Ａの顔を個人認識処理により認識した場合は、該登録人物名Ａに対しては個人認識処理を行わずに第２の顔検出処理のみを行い、個人認識されていない登録人物名Ｂ、登録人物名Ｃに対しては個人認識処理を継続させる。その後、個人認識された顔に対しては順次個人認識処理を終了し、第２の検出処理のみを行うことになる。これにより顔認識処理に係る負担の増大を効率よく抑えることができる
【００９８】
この個人認識処理の終了とは、第２の顔検出手段により検出された顔に対しては特徴点を抽出せず、また、個人認識処理により認識された登録人物名の顔特徴データは、以後、比較照合に用いないということである。比較照合しなくても、該登録人物名の顔は既にどこにあるか第２の検出処理により検出されるからである。
なお、全ての顔が個人認識処理により認識された場合は（全ての顔に対して第２の顔検出処理が行なわれている場合は）、第１の顔検出処理も終了させる。
【００９９】
次いで、ステップＳ１１６で、ＣＰＵ１０は、第２の検出処理により検出された顔にＡＦ枠を表示させるＡＦ枠追従表示を開始させる。
次いで、ステップＳ１１７で、シャッタボタンが半押しされているか否かを判断する。
【０１００】
ステップＳ１１７で、シャッタボタンが半押しされていないと判断すると、ステップＳ１１８に進み、ＣＰＵ１０は、追従が失敗したか否かを判断する。具体的には、第２の顔検出処理により検出対象となっていた顔が検出されなくなり、ＡＦ枠の追従表示を行うことができなくなったか否かを判断する。
ステップＳ１１８で、追従が失敗していないと判断するとステップＳ１１７に戻り、追従が失敗したと判断すると、ステップＳ１１３に戻り上記した動作を繰り返す。このとき、追従失敗と判断された後のステップＳ１１４の個人認識処理は、追従が失敗されたと判断された登録人物名の顔と、未だ個人認識されていない登録人物名の顔のみを認識することになる。つまり、追従失敗と判断されていない登録人物名の顔に対しては第２の顔検出処理を行っているので、個人認識処理を行う必要が無いからである。
【０１０１】
例えば、個人認識対象として設定された登録人物名が３人（登録人物名Ａ、登録人物名Ｂ、登録人物名Ｃの３人）である場合であって、全ての顔に対して第２の検出処理を行っている場合に、登録人物名Ｂの顔検出が失敗した場合は、第１の顔検出処理を開始し（ステップＳ１１３）、ステップＳ１１４で、該失敗した登録人物名Ｂの顔のみを認識する個人認識処理を開始する。また、登録人物名Ａの顔と、登録人物名Ｂの顔に対して第２の顔検出処理を行っている場合に（登録人物名Ｃの顔に対してのみ個人認識を行なっている場合に）、登録人物名Ｂの顔の顔検出が失敗した場合は、登録人物名Ｂの顔と、登録人物名Ｃの顔に対して個人認識処理を行うことになる。このときも、第２の検出処理によって検出されていない顔の特徴点を抽出し、該抽出した特徴点の座標位置、相対位置関係の数値データを算出し、第２の検出処理によって検出されていない登録人物名の顔特徴データとを比較照合することにより個人認識処理を行う。
【０１０２】
一方、ステップＳ１１７で、シャッタボタンが半押しされたと判断すると、ステップＳ１１９に進み、ＣＰＵ１０は、追従されている全ての顔が被写界深度に入るようにＡＦ処理を行う。
次いで、ステップＳ１２０で、シャッタ半押し直前に第２の顔検出処理により検出された顔を重点に露出条件を設定する。
【０１０３】
次いで、ステップＳ１２１で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１２１で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ１２１に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ１２２に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
【０１０４】
次いで、ステップＳ１２３で、ＣＰＵ１０は、該撮影により得られた静止画像データを圧縮し、該圧縮した画像データと、追従されていた（第２の顔検出処理により検出されていた）顔の登録人物名を関連付けて記録して、ステップＳ１０１に戻る。なお、登録人物名を関連付けて記録するようにしたが、誰の顔（どの登録人物名の顔）を認識したのかを示す情報であればよい。
【０１０５】
一方、ステップＳ１１１で、被写体追従撮影でないと判断すると、図９のステップＳ１３１に進み、ＣＰＵ１０は、現在設定されている撮影の種類が、連写撮影であるか否かを判断する。
ステップＳ１３１で、連写撮影であると判断すると、ステップＳ１３２に進み、ＣＰＵ１０は、スルー画像表示を開始させる。
【０１０６】
次いで、ステップＳ１３３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。この顔検出処理は、個人認識処理に比べ、処理が簡単であることは言うまでもない。
次いで、ステップＳ１３４で、ＣＰＵ１０は、該検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１０７】
次いで、ステップＳ１３５で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって、該検出された顔に基づいて個人認識対象として設定された登録人物名の個人認識処理を開始する。この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。これにより、個人認識対象として設定されている登録人物名の顔が撮像されたフレーム画像内にあるか否かを認識することになる。
次いで、ステップＳ１３６で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始する。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
【０１０８】
次いで、ステップＳ１３７で、ＣＰＵ１０は、ユーザによって連写速度の設定変更が行なわれたか否かを判断する。
このとき、ユーザは、スルー画像表示中において、連写速度変更キーの操作を行なうと、スルー画像に重ねて複数の連写速度（毎秒２回、毎秒４、毎秒８回等の連写速度）が画像表示部１５に表示される。そして、ユーザが十字キー、ＳＥＴキーの操作を行なうことにより、該表示された複数の連写速度の中から任意の連写速度を指定することができ、該一連の操作が行なわれると、ＣＰＵ１０は、該連写速度の変更が行なわれたと判断する。この任意の連写速度の指定を具体的に説明すると、十字キーの「→」又は「↓」キーの操作が行なわれると、選択される連写速度は、「毎秒２回」→「毎秒４回」→「毎秒８回」という順番に変わっていき、ＳＥＴキーの操作が行われることにより、現在選択されている連写速度を指定することができる。
【０１０９】
ステップＳ１３７で、連写速度の変更が行なわれたと判断すると、ステップＳ１３８に進み、ＣＰＵ１０は、連写速度の設定を、該指定された連写速度に変更して、ステップＳ１３９に進む。
一方、ステップＳ１３７で、連写速度の設定変更が行なわれていないと判断するとそのままステップＳ１３９に進む。
【０１１０】
ステップＳ１３９に進むと、ＣＰＵ１０は、シャッタボタンが半押しされたか否かを判断する。
ステップＳ１３９で、シャッタボタンが半押しされていないと判断するとステップＳ１３７に戻る。これにより、シャッタボタンを半押しするまで、ユーザは自由に連写速度を設定変更することができる。
一方、ステップＳ１３９で、シャッタボタンが半押しされたと判断すると、ステップＳ１４０に進み、ＣＰＵ１０は、シャッタボタン半押し直前に個人認識された顔があるか否かを判断する。
【０１１１】
ステップＳ１４０で、シャッタボタン半押し直前に個人認識されている顔があると判断すると、ステップＳ１４１に進み、該個人認識された全ての顔が被写界深度に入るようにＡＦ処理を行う。つまり、シャッタ半押し直前に差別表示されていた全てのＡＦエリアにピントが合うようにＡＦ処理を行う。
次いで、ステップＳ１４２で、ＣＰＵ１０は、シャッタボタン半押し押し直前に該個人認識された顔を重点に露出条件を設定して、ステップＳ１４５に進む。
【０１１２】
一方、ステップＳ１４０で、シャッタボタン半押し直前に個人認識されている顔がないと判断すると、ステップＳ１４３に進み、シャッタボタン半押し直前に該顔検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
次いで、ステップＳ１４４で、シャッタボタン半押し直前に顔検出された顔を重点に露出条件を設定して、ステップＳ１４５に進む。
【０１１３】
ステップＳ１４５に進むと、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１４５で、シャッタボタンが全押しされていないと判断すると全押しされるまでステップＳ１４５に留まり、シャッタボタンが全押しされたと判断すると、図１０のステップＳ１４６に進み、ＣＰＵ１０は、現在設定されている連写速度が所定速度より速いか否かを判断する。
【０１１４】
ステップＳ１４６で、現在設定されている連写速度が所定速度より速くないと判断すると、ステップＳ１４７に進み、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
次いで、ステップＳ１４８で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリア（ＡＦ枠）を該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１１５】
次いで、ステップＳ１４９で、ＣＰＵ１０の個人認識手段１０２は制御手段１０３の制御によって現在検出されている顔に基づいて個人認識処理を開始させる。この個人認識処理も第１の実施の形態で説明したように、この個人認識処理は、上記第１の実施の形態で説明したように、単に人の顔が画像内にあるかどうかを検出するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。つまり、該認識した顔から複数の顔の特徴点を抽出し、それら特徴点の座標位置や相対位置関係の数値データを算出し、これをバッファメモリに記憶されている顔特徴データ（個人認識対象として設定された人物名に関連付けて記録されている顔特徴データ）と比較照合することにより、個人認識を行なう。
【０１１６】
次いで、ステップＳ１５０で、ＣＰＵ１０は、個人認識された顔と顔検出のみされた顔とを差別表示させる処理を開始して、ステップＳ１５３に進む。この差別表示も、上記第１の実施の形態のステップＳ３４で説明した方法等により行なう。
【０１１７】
一方、ステップＳ１４６で、現在設定されている連写速度が所定速度より速いと判断すると、ステップＳ１５１に進み、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
【０１１８】
次いで、ステップＳ１５２で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始して、ステップＳ１５３に進む。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１１９】
このように、連写速度が所定速度より遅い場合は、顔検出処理と個人認識処理の両方を行い、連写速度が所定速度より速い場合は、顔検出処理のみを行うことになる。連写速度が所定速度より速い場合に、顔検出と個人認識との両方を行なうと処理負担が過度に増大するため、顔検出処理のみを行うことにより処理負担を軽減することができる。
なお、連写速度（撮影条件）に応じて、個人認識処理を行ったり、行なわなかったりするようにしたが、連写撮影の場合は、一律に個人認識処理を行わずに、顔検出処理のみを行うようにしてもよい。
【０１２０】
ステップＳ１５３に進むと、ＣＰＵ１０は、ステップＳ１４２又はステップＳ１４４で設定された露出条件で静止画撮影処理を行う。なお、このとき、直近に個人認識されていた顔がある場合、又は、該静止画撮影処理により得られた静止画像データに個人認識された顔がある場合は、撮影処理により得られバッファメモリに記憶されている静止画像データに関連付けて該個人認識された顔の登録人物名も記憶させるようにしてもよい。
次いで、ステップＳ１５４に進み、ＣＰＵ１０は、ユーザによってシャッタボタンの全押しが解除されたか否かを判断する。つまり、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてこなくなったか否かにより全押しが解除されたか否かを判断する。
【０１２１】
ステップＳ１５４で、シャッタボタンの全押しが解除されていないと判断すると、ステップＳ１５５に進み、ＣＰＵ１０は、撮影周期が到来したか否かを判断する。この撮影周期は、設定されている連写速度によって定まる。例えば、連写速度として毎秒２回と設定されている場合は、撮影周期は、１／２秒ということになる。
ステップＳ１５５で、撮影周期が到来していないと判断するとステップＳ１５４に戻り、撮影周期が到来したと判断すると、ステップＳ１５６に進み、ＣＰＵ１０は、直近のステップＳ１５３の動作により撮影された静止画像データに個人認識された顔があるか否かを判断する。
【０１２２】
ステップＳ１５６で、個人認識された顔があると判断すると、ステップＳ１５７に進み、ＣＰＵ１０は、該個人認識された顔を重点に露出条件を設定して、つまり、直近に撮影された静止画像データの輝度成分のうち、該個人認識された顔の位置付近の領域の輝度成分の重み付けを大きくし、該個人認識された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して露出条件を設定して、ステップＳ１５３に戻り、静止画撮影処理を行う。なお、このときも、撮影処理により得られバッファメモリに記憶されている静止画像データに関連付けて該個人認識された登録人物名も記憶させるようにしてもよい。
【０１２３】
一方、ステップＳ１５６で、個人認識された顔がないと判断すると、ステップＳ１５８に進み、ＣＰＵ１０は、顔検出処理により検出された直近のステップＳ１５３の動作により撮像された画像データ内にある顔を重点に露出条件を設定して、つまり、直近に撮影された静止画像データの輝度成分のうち、該顔検出された顔の位置付近の領域の輝度成分の重み付けを大きくし、該顔検出された顔の位置付近の領域以外の輝度成分の重み付けを小さくして平均値をとった値に基づいて露出量を算出して露出条件を設定して、ステップＳ１５３に戻り、静止画撮影処理を行う。
【０１２４】
一方、ステップＳ１５４で、シャッタボタンの全押しが解除されたと判断すると、ステップＳ１５９に進み、ＣＰＵ１０は、撮影された各静止画像データを圧縮してフラッシュメモリ１４に記録させて、ステップＳ１０１に戻る。なお、このときも、登録人物名が関連付けて記憶されている静止画像データに関しては、該登録人物名を関連付けてフラッシュメモリ１４に記録するようにしてもよい。
【０１２５】
一方、ステップＳ１３１で、連写撮影でないと判断すると、現在設定されている撮影の種類が、単数撮影であると判断して、図１１のステップ１６１に進み、ＣＰＵ１０は、現在設定されている静止画像データの記録サイズが所定サイズより大きいか否かを判断する。この静止画像データの記録サイズは設定モード等においてユーザが任意のサイズに設定変更することができる。
【０１２６】
ステップＳ１６１で、記録サイズが所定サイズより大きくないと判断すると、図３のステップＳ２９に進み、上記第１の実施の形態で説明した動作と同様の動作を行なう。
一方、ステップＳ１６１で、記録サイズが所定サイズより大きいと判断すると、ステップＳ１６２に進み、ＣＰＵ１０は、スルー画像表示を開始する。
【０１２７】
次いで、ステップＳ１６３で、ＣＰＵ１０の顔検出手段１０１は制御手段１０３の制御によって、顔検出処理を開始する。
この顔検出処理は、上記第１の実施の形態で説明したように、予め記憶されている一般的な人の顔の特徴データと該静止画像データとを比較照合することにより該静止画像データの中に人の顔の画像データがあるか否かを検出する。
次いで、ステップＳ１６４で、ＣＰＵ１０は、該顔検出された顔の区別表示処理を開始する。ここでも、上記第１の実施の形態で説明したように、ＡＦエリアを該検出した顔の位置に表示させることにより、検出された顔を区別表示させる。
【０１２８】
次いで、ステップＳ１６５で、ＣＰＵ１０は、シャッタボタンが半押しされたか否かを判断する。
ステップＳ１６５で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップＳ１６５に留まり、シャッタボタンが半押しされたと判断すると、ステップＳ１６６に進み、該検出された全ての顔が被写界深度に入るようにＡＦ処理を行う。
【０１２９】
次いで、ステップＳ１６７で、ＣＰＵ１０は、該顔検出された顔を重点に露出条件を設定する。
次いで、ステップＳ１６８で、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する。
ステップＳ１６８で、シャッタボタンが全押しされていないと判断するとシャッタボタンが全押しされるまでステップＳ１６８に留まり、シャッタボタンが全押しされたと判断すると、ステップＳ１６９に進み、ＣＰＵ１０は、該設定された露出条件で静止画撮影処理を行う。
【０１３０】
次いで、ステップＳ１７０で、ＣＰＵ１０は、該撮影処理により得られた静止画像データを圧縮して、フラッシュメモリ１４に記録して、ステップＳ１０１に戻る。
つまり、単写撮影の場合、記録画像サイズ（撮影条件）が所定サイズより大きい場合は、たとえ、個人認識対象として登録人物名が設定されていた場合であっても、個人認識は行なわずに、顔検出のみを行なうことになる。
なお、単写撮影の場合は、画像の記録サイズにかかわらず、顔検出と個人認識の両方を行なうようにしてもよい。つまり、図３のステップＳ２９へ進むようにしてもよい。
【０１３１】
以上のように、第２の実施の形態においては、顔検出処理を行うとともに、撮影の種類や撮影条件に応じて個人認識処理を制御するので、顔認識処理に係る負担の増大を効率よく抑えることができる。つまり、動画撮影中や所定速度以上の連写撮影の場合、記録サイズが所定サイズ以上の単写撮影の場合は、処理負担が大きいので個人認識処理を行わないことにより撮影等の処理をスムーズに行うことができ、被写体追従撮影の場合は、個人認識された顔に対しては以後、処理負担の軽い顔検出処理を行うようにしたので、被写体追従や撮影をスムーズに行なうことができ、スルー画像表示時や所定速度以下の連写撮影の場合や記録サイズが所定サイズ以下の場合は、処理負担が小さいので顔検出処理と個人認識処理の両方を行なうことにより、確実に具体的に被写体の顔を認識することができ、顔認識処理に係る負担の増大を効率よく抑えることができる。
［変形例］
Ｃ．上記実施の形態は以下のような態様でもよい。
【０１３２】
（０１）上記各実施の形態において、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件をＣＰＵ１０が設定し、該設定された撮影条件に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよい。順次撮像されるフレーム画像データに基づいて、顔検出処理や個人認識処理などを行うので、フレームレートが高い場合や連写速度が速い場合においても同じ精度で顔検出や個人認識を行なうと処理負担が増大するからである。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
【０１３３】
この顔検出処理の精度を異ならせる方法としては、顔検出するための顔のパーツを減らしたり、増やしたりすることにより精度を変えることができる。例えば、検出処理の精度を低くする場合は、目と口のみを検出し、目と口とを検出した場合は顔と判断し、徐々に検出処理の精度を高くするにつれて、目と口と眉毛というように、顔のパーツを増やすようにしてもよい。
また、個人認識処理の精度を異ならせる方法としては、各顔のパーツ毎に抽出する特徴点の数や、特徴点を抽出するパーツの数を減らしたりすることにより精度を低くすることができる。
【０１３４】
図１２は、個人認識処理の精度によって抽出される特徴点の様子を示す図である。
図１２（ａ）は個人認識処理の精度が高いときに抽出される特徴点の例を示すものであり、（ｃ）は個人認識処理の精度が低いときに抽出される特徴点の例を示すものであり、（ｂ）は個人認識処理の精度がその中間のときに抽出される特徴点の例を示すものである。
図１２を見ると分かるように、精度が低くなればなるほど、各顔のパーツから抽出される特徴点が少なくなるとともに、特徴点が抽出される顔のパーツの数も少なくっているのがわかる。
【０１３５】
また、個人認識処理の精度を異ならせる他の方法として、登録人物名に関連付けて記録されている顔特徴データと、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データとを比較照合し、それらが一致すると判断する誤差範囲を異ならせるようにしてもよい。例えば、個人認識処理の精度がある程度高い場合は、顔特徴データと算出された数値データとが略一致する場合に一致すると判断し、逆に個人認識処理の精度が低い場合は、顔特徴データと算出された数値データとが極端にズレない範囲なら一致すると判断する。
また、撮影の種類に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよい。
【０１３６】
（０２）上記各実施の形態において、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、個人認識処理により認識する顔の数を変えるようにしてもよい。つまり、フレームレートが高い場合、シャッタ速度が速い場合、画像サイズが大きい場合、高画質の場合、ストロボ撮影の場合等、撮影条件に基づく撮像処理負担が大きい場合は、個人認識処理により認識可能な顔の数を少なくし、撮影条件に基づく撮像処理負担が小さい場合は、個人認識処理により認識可能な顔の数を大きくする。顔認識処理に係る負担の増大を効率よく抑えることができる
この個人認識する顔の数を減らす方法としては、比較照合する個人認識対象となっている登録人物名の顔の数を変える方法と、検出した顔のうち、特徴点を抽出する顔の数を減らす方法とがある。
例えば、個人認識対象となっている登録人物名の顔の数を変える方法の場合は、撮影条件に基づく撮像処理負担が大きい場合は、個人認識対象として設定されている登録人物名が２以上いる場合であっても、個人認識する登録人物名の顔を１、又は２つにする。
また、検出した顔のうち、特徴点を抽出する顔の数を減らす方法の場合は、例えば、２つ以上の顔が検出されても、撮影条件に基づく撮像処理負担が大きい場合は、特徴点を抽出する顔の数を１つ又は２つにし、該抽出した特徴点の座標位置や相対位置関係の数値データと、個人認識対象として設定されている登録人物名の顔特徴データとを比較照合することにより個人認識処理を行う。
また、撮影の種類に応じて、個人認識処理により認識する顔の数を変えるようにしてもよい。
【０１３７】
（０３）上記第２の実施の形態においては、撮影の種類に応じて、顔検出処理のみを行なったり、個人認識処理も行なったりするようにしたが、スルー画像表示時や動画記録時の動画撮像の周期（フレームレート）や、スルー画像表示時や動画記録時の動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、個人認識のみを行なったり、個人認識処理も行なったりするようにしてもよい。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
例えば、撮影条件に基づく撮影処理負担が大きい場合は、顔検出処理のみを行うようにし、撮影条件に基づく撮影処理負担が小さい場合は顔検出処理と個人認識処理とを行なうようにしてもよい。
【０１３８】
（０４）上記第２の実施の形態においては、撮影の種類に応じて、顔検出処理のみを行なったり、個人認識処理も行なったりするようにしたが、撮影の種類にかかわらず顔検出処理と個人認識処理との両方の処理を行うようにしてもよい。
この場合は、撮影の種類に応じて顔検出処理、個人認識処理の精度を変えたり、個人認識処理により認識される登録人物名の顔の数を変えるようにしてもよい。
また、上記変形例（１）、（２）のように、動画撮像の周期（フレームレート）や、動画撮像のシャッタ速度、連写速度、画像サイズ、画質、ストロボ撮影か否か等の撮影条件に応じて、顔検出処理や個人認識処理の精度を変えるようにしてもよいし、個人認識処理により認識する登録人物名の顔の数を変えるようにしてもよい。
【０１３９】
（０５）上記変形例（０１）〜（０４）をまとめると、要は、つまり、撮影の種類、撮影条件等の撮影の条件に応じて（所定の条件を満たすか否かによって）、個人認識を行なうか否かを制御したり、顔検出処理の精度、個人認識処理の精度を変えたり、個人認識する顔の数を変えるものであればよいので、例えば、周期的に顔検出された顔、若しくは周期的に個人認識された顔にコンティニュアス的にＡＦ処理を行っている否か（被写体に追従してＡＦ処理を行っているか否か）によって、個人認識処理を行うか否かを制御したり、顔検出処理の精度、個人認識処理の精度を変えたり、個人認識する顔の数を変えるようにしてもよい。これにより、顔認識処理に係る負担の増大を効率よく抑えることができる
【０１４０】
（０６）上記各実施の形態においては、顔検出処理により検出された顔を区別表示させるようにしたが、区別表示させないようにしてもよい。この場合は、個人認識されて初めて該認識された顔を区別表示、差別表示させることになる。
また、個人認識された顔を差別表示させないようにしてもよい。
【０１４１】
（０７）上記各実施の形態においては、個人認識処理は、顔検出処理を行なってから行なうようにしたが、個人認識処理を行う場合は顔検出処理を行わないようにしてもよい。つまり、２者択一でどちらか一方を行なうようにしてもよい。個人認識処理のみを行う場合であっても、当然に顔は検出されるからである。
【０１４２】
（０８）上記各実施の形態においては、被写体の移動速度や、被写体までの距離、被写体の明るさ等の撮影状況（撮影の条件）に応じて（所定の条件を満たすか否かによって）、顔検出する顔の数、個人認識する顔の数を少なくしたり、画像データの全範囲のうち顔を顔検出する画像領域、個人認識する画像領域の大きさを小さくしたり、特徴点が抽出される顔のパーツの数、抽出される特徴点の数を小さくしたり、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データと顔特徴データとが一致判断する誤差範囲を大きくしたりするようにしてもよい。
また、被写体追従を行なっている場合、つまり、第２の顔検出処理を行っている場合や、被写体に追従してコンティニュアスＡＦを行なっている場合も、撮影状況に応じて、顔検出する顔の数、個人認識する顔の数を少なくしたり、画像データの全範囲のうち顔を顔検出する画像領域、個人認識する画像領域の大きさを小さくしたり、特徴点が抽出される顔のパーツの数、抽出される特徴点の数を小さくしたり、個人認識処理により画像データから抽出された特徴点の座標位置や相対位置関係の数値データと顔特徴データとが一致判断する誤差範囲を大きくしたりするようにしてもよいことは言うまでもない。
【０１４３】
（０９）また、上記各実施の形態は、上記変形例（０１）〜（０８）を任意に組み合わせた態様であってもよい。
【０１４４】
（１０）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１４５】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を撮像し顔を認識することができる機器であれば適用可能である。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図３】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図４】第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図５】顔登録を説明するための図である。
【図６】区別表示、差別表示される顔の様子を示すものである。
【図７】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図８】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図９】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１０】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１１】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図１２】個人認識処理の精度によって抽出される特徴点の様子を示す図である。
【符号の説明】
【０１４７】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
撮影の条件を判定する判定手段と、
前記撮像手段により撮像された画像データ内にある顔を検出する第１の顔検出手段と、
前記撮像手段により撮像された画像データ内にある顔が誰なのかを認識する個人認識手段と、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の実行、及び／又は、前記個人認識手段による認識の実行を制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
撮影の種類を設定する設定手段を備え、
前記判定手段は、
前記設定手段により設定された撮影の種類に基づいて、撮影の条件を判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、
撮影の種類として、スルー画像撮影、動画撮影、被写体追従撮影、連写撮影、単写撮影のうち、何れか１つの種類を設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
撮影条件を設定する撮影条件設定手段を備え、
前記判定手段は、
前記撮影条件設定手段により設定された撮影条件に基づいて、撮影の条件を判定することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
前記撮影条件設定手段は、
動画撮像のフレームレート、動画撮像のシャッタ速度、連写速度、記録画像サイズ、ストロボ発光か否かのうち、１つ以上の撮影条件を設定することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記判定手段は、
被写体に追従してＡＦ処理を行っているか否かに基づいて、撮影の条件を判定することを特徴する請求項１乃至５の何れかに記載の撮像装置。
【請求項７】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識の実行、非実行を制御することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
【請求項８】
前記個人認識手段により認識された顔の画像データに基づいて前記撮像手段により撮像された画像データ内のどこに顔が移動したかを検出する第２の顔検出手段を備え、
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識を終了させて前記第２の顔検出手段を実行させるように制御することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項１乃至８の何れかに記載の撮像装置。
【請求項１０】
前記制御手段は、
前記判定手段による判定結果に基づいて、検出する顔のパーツの数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記個人認識手段は、
前記第１の顔検出手段により検出された顔のパーツの特徴点を抽出することにより、該顔が誰なのかを認識し、
前記制御手段は、
前記判定手段による判定結果に基づいて、特徴点を抽出する顔のパーツの数、及び／又は、抽出する特徴点の数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項９記載の撮像装置。
【請求項１２】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段により検出される顔の数、及び／又は、前記個人認識手段により認識される顔の数を変えることにより、該第１の顔検出手段による検出の精度、及び／又は、個人認識手段による認識の精度を変えることを特徴とする請求項９記載の撮像装置。
【請求項１３】
前記撮像手段により撮像された画像データを表示手段に表示させる表示制御手段を備えることを特徴とする請求項１乃至１２の何れかに記載の撮像装置。
【請求項１４】
前記表示制御手段は、
前記第１の顔検出手段により検出された顔を区別表示させることを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記表示制御手段は、
前記個人認識手段により認識された顔を差別表示させることを特徴とする請求項１３又は１４記載の撮像装置。
【請求項１６】
被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
前記オートフォーカス制御手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔にピントが合うようにオートフォーカスを行ない、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔にピントが合うようにオートフォーカスを行なうことを特徴とする請求項１乃至１５の何れかに記載の撮像装置。
【請求項１７】
露出条件を設定する露出条件設定手段を備え、
前記露出条件設定手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔を重点に露出条件を設定し、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔を重点に露出条件を設定することを特徴とする請求項１乃至１６の何れかに記載の撮像装置。
【請求項１８】
被写体を撮像する撮像処理と、
撮影の条件を判定する判定処理と、
前記撮像処理により撮像された画像データに基づいて、顔を検出する顔検出処理と、
前記撮像処理により撮像された画像データ内にある顔が誰なのかを認識する個人認識処理と、
前記判定処理による判定結果に基づいて、前記検出処理による検出の実行、及び／又は、前記個人認識処理による認識の実行を制御する制御処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
【請求項１】
被写体を撮像する撮像手段と、
撮影の条件を判定する判定手段と、
前記撮像手段により撮像された画像データ内にある顔を検出する第１の顔検出手段と、
前記撮像手段により撮像された画像データ内にある顔が誰なのかを認識する個人認識手段と、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の実行、及び／又は、前記個人認識手段による認識の実行を制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
撮影の種類を設定する設定手段を備え、
前記判定手段は、
前記設定手段により設定された撮影の種類に基づいて、撮影の条件を判定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段は、
撮影の種類として、スルー画像撮影、動画撮影、被写体追従撮影、連写撮影、単写撮影のうち、何れか１つの種類を設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
撮影条件を設定する撮影条件設定手段を備え、
前記判定手段は、
前記撮影条件設定手段により設定された撮影条件に基づいて、撮影の条件を判定することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
前記撮影条件設定手段は、
動画撮像のフレームレート、動画撮像のシャッタ速度、連写速度、記録画像サイズ、ストロボ発光か否かのうち、１つ以上の撮影条件を設定することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記判定手段は、
被写体に追従してＡＦ処理を行っているか否かに基づいて、撮影の条件を判定することを特徴する請求項１乃至５の何れかに記載の撮像装置。
【請求項７】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識の実行、非実行を制御することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
【請求項８】
前記個人認識手段により認識された顔の画像データに基づいて前記撮像手段により撮像された画像データ内のどこに顔が移動したかを検出する第２の顔検出手段を備え、
前記制御手段は、
前記判定手段による判定結果に基づいて、前記個人認識手段による認識を終了させて前記第２の顔検出手段を実行させるように制御することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項１乃至８の何れかに記載の撮像装置。
【請求項１０】
前記制御手段は、
前記判定手段による判定結果に基づいて、検出する顔のパーツの数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記個人認識手段は、
前記第１の顔検出手段により検出された顔のパーツの特徴点を抽出することにより、該顔が誰なのかを認識し、
前記制御手段は、
前記判定手段による判定結果に基づいて、特徴点を抽出する顔のパーツの数、及び／又は、抽出する特徴点の数を変えることにより、前記第１の顔検出手段による検出の精度、及び／又は、前記個人認識手段による認識の精度の高さを変えることを特徴とする請求項９記載の撮像装置。
【請求項１２】
前記制御手段は、
前記判定手段による判定結果に基づいて、前記第１の顔検出手段により検出される顔の数、及び／又は、前記個人認識手段により認識される顔の数を変えることにより、該第１の顔検出手段による検出の精度、及び／又は、個人認識手段による認識の精度を変えることを特徴とする請求項９記載の撮像装置。
【請求項１３】
前記撮像手段により撮像された画像データを表示手段に表示させる表示制御手段を備えることを特徴とする請求項１乃至１２の何れかに記載の撮像装置。
【請求項１４】
前記表示制御手段は、
前記第１の顔検出手段により検出された顔を区別表示させることを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記表示制御手段は、
前記個人認識手段により認識された顔を差別表示させることを特徴とする請求項１３又は１４記載の撮像装置。
【請求項１６】
被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
前記オートフォーカス制御手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔にピントが合うようにオートフォーカスを行ない、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔にピントが合うようにオートフォーカスを行なうことを特徴とする請求項１乃至１５の何れかに記載の撮像装置。
【請求項１７】
露出条件を設定する露出条件設定手段を備え、
前記露出条件設定手段は、
前記個人認識手段により誰の顔か認識された場合は、認識された顔を重点に露出条件を設定し、該個人認識手段により誰の顔が認識されなかった場合は、前記第１の顔検出手段により検出された顔を重点に露出条件を設定することを特徴とする請求項１乃至１６の何れかに記載の撮像装置。
【請求項１８】
被写体を撮像する撮像処理と、
撮影の条件を判定する判定処理と、
前記撮像処理により撮像された画像データに基づいて、顔を検出する顔検出処理と、
前記撮像処理により撮像された画像データ内にある顔が誰なのかを認識する個人認識処理と、
前記判定処理による判定結果に基づいて、前記検出処理による検出の実行、及び／又は、前記個人認識処理による認識の実行を制御する制御処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−２７０８９６（Ｐ２００８−２７０８９６Ａ）
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願番号】特願２００７−１０７２７８（Ｐ２００７−１０７２７８）
【出願日】平成１９年４月１６日（２００７．４．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２０年１１月６日（２００８．１１．６）
【国際特許分類】
【出願日】平成１９年４月１６日（２００７．４．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]