電子カメラおよび画像処理装置
【課題】 顔認識機能を備えた電子カメラや画像処理装置において、ユーザーの意図を反映した主要被写体の指定を実現する手段を提供する。
【解決手段】 撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する。
【解決手段】 撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物などの顔認識機能を備えた電子カメラおよび画像処理装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている。
【特許文献１】特開平６−２５９５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記の顔認識機能の用途の１つとして、顔認識の結果に応じて主要被写体となる人物を指定して、各種の処理に役立てることが検討されている。そして、主要被写体の指定の具体的手法に関しては、電子カメラ等の利便性を高める観点からさらなる改善が要請されている。例えば、顔認識機能を備えた電子カメラで認識対象となる人物を複数撮影する場合には、主要被写体の数を制限したい状況もある。また、顔認識機能を備えた電子カメラで複数の人物を撮影する場合に、顔認識機能で認識した人物以外にも主要被写体として扱いたい人物がいる状況もある。そのため、上記のような状況にも柔軟に対応しうる電子カメラ等が要望されていた。
【０００４】
本発明は上記従来技術のいずれかの課題を解決するためのものである。本発明の目的は、顔認識機能を備えた電子カメラや画像処理装置において、ユーザーの意図を反映した主要被写体の指定を実現する手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する。
【０００６】
第２の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も撮影画面の中央に近い被写体を主要被写体に指定する。
【０００７】
第３の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、測距部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。測距部は被写体距離を演算する。被写体指定部は、顔領域に対応する被写体のうち、認識対象の被写体の基準被写体距離と被写体距離との差が許容範囲に収まる被写体を、認識対象の被写体とともに主要被写体に指定する。
【０００８】
第４の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、撮影画面上で認識対象の被写体から所定範囲内に位置する被写体を、認識対象の被写体とともに主要被写体に指定する。
【０００９】
第５の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、顔領域のサイズが閾値以上である被写体を認識対象の被写体とともに主要被写体に指定する。
【００１０】
上記第１または第２の発明では、主要被写体を基準として合焦制御を実行する合焦制御部をさらに備えることが好ましい。
上記第３から第５のいずれかの発明では、ユーザーの入力を受け付ける操作部をさらに備えてもよい。そして、被写体指定部は、操作部からの入力に基づいて主要被写体に指定する被写体の数の上限を変更することが好ましい。
【００１１】
上記第３から第５のいずれかの発明では、画像信号に基づいて主要被写体の状態を検出するとともに、該検出状態に応じて電子カメラの撮影動作の制御を行う撮影制御部をさらに備えることが好ましい。
上記第３から第５のいずれかの発明では、撮像素子で撮影した撮影画像のデータに対して、主要被写体に対応する領域には他の領域と異なる画像処理を施す画像処理部をさらに備えることが好ましい。
【００１２】
上記第１から第５のいずれかの発明では、画像信号に基づいて撮影画像のデータを生成する画像処理部と、撮影画像における主要被写体を示す付属データを生成するとともに、撮影画像のデータに付属データを関連付けした画像ファイルを生成する画像ファイル生成部と、をさらに備えることが好ましい。
第６の発明に係る画像処理装置は、データ読込部と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。データ読込部は、電子カメラで生成された撮影画像のデータを読み込む。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、撮影画面上で認識対象の被写体から所定範囲内に位置する被写体を、認識対象の被写体とともに主要被写体に指定する。
【００１３】
第７の発明に係る画像処理装置は、データ読込部と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。データ読込部は、電子カメラで生成された撮影画像のデータを読み込む。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、顔領域のサイズが閾値以上である被写体を認識対象の被写体とともに主要被写体に指定する。
【００１４】
上記第６または第７の発明では、撮影画像に対して、主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部をさらに備えることが好ましい。
なお、上記第６および第７の発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明では、顔認識機能を備えた電子カメラや画像処理装置において、ユーザーの意図を反映した主要被写体の指定を実現できる。
【発明を実施するための最良の形態】
【００１６】
図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、撮像素子１５と、アナログ処理部１６と、Ａ／Ｄ変換部１７と、タイミングジェネレータ（ＴＧ）１８と、第１メモリ１９と、画像処理部２０と、記録Ｉ／Ｆ２１と、表示Ｉ／Ｆ２２と、モニタ２３と、操作部２４と、通信部２５と、外部Ｉ／Ｆ２６と、ＣＰＵ２７と、第２メモリ２８と、システムバス２９とを有している。なお、第１メモリ１９、画像処理部２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２、通信部２５、外部Ｉ／Ｆ２６およびＣＰＵ２７はシステムバス２９を介して接続されている。
【００１７】
撮影レンズ１１は、ズームレンズと、合焦位置調節用のフォーカスレンズとを含む複数のレンズ群で構成されている。撮影レンズ１１を構成する各々のレンズは、レンズ駆動部１２によって光軸方向に移動する。また、レンズ駆動部１２は、撮影レンズ１１の光軸方向位置を検出するエンコーダ（不図示）を備えている。なお、レンズ駆動部１２の入出力はＣＰＵ２７と接続されている。
【００１８】
絞り１３は、撮影レンズ１１からの入射光量を調節する。絞り１３の開口量は、絞り駆動部１４によって調整される。なお、絞り駆動部１４の入出力はＣＰＵ２７と接続されている。
撮像素子１５は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードでは、撮像素子１５は、撮影時に記録用の撮影画像を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ２７による各種の演算処理やモニタ２３での表示などに使用される。
【００１９】
アナログ処理部１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部１６はＣＤＳ回路やゲイン回路を内部に有している。アナログ処理部１６のＣＤＳ回路は、相関二重サンプリングによって撮像素子１５の出力のノイズ成分を低減する。アナログ処理部１６のゲイン回路は、ＣＰＵ２７の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。
【００２０】
Ａ／Ｄ変換部１７は、アナログ処理部１６から出力されたアナログの画像信号にＡ／Ｄ変換を行う。このＡ／Ｄ変換部１７の出力は第１メモリ１９に接続されている。
ＴＧ１８は、ＣＰＵ２７の指示に基づいて、撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７に対してタイミングパルスを供給する。撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７の駆動タイミングは、ＴＧ１８のタイミングパルスによって制御される。
【００２１】
第１メモリ１９は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部２０は、上記の撮影モードにおいて撮影時のデジタル画像信号に各種の画像処理を施して撮影画像を生成する。また、画像処理部２０は撮影画像のデータをＪＰＥＧ形式で圧縮する。さらに、画像処理部２０は、上記の撮影モードにおいて、ＣＰＵ２７の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。
【００２２】
一方、撮影画像の再生などを行う編集モードでは、画像処理部２０は、圧縮された撮影画像のデータを伸長復元する処理を実行する。また、画像処理部２０は、上記の編集モードにおいて、撮影画像のデータに画像処理を施すことも可能である。なお、画像処理部２０による画像処理の具体的な内容は後述する。
記録Ｉ／Ｆ２１には記録媒体３０を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記録媒体３０に対して撮影画像データの書き込み／読み込みを実行する。上記の記録媒体３０は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体３０の一例としてメモリカードを図示する。
【００２３】
表示Ｉ／Ｆ２２は、ＣＰＵ２７の指示に基づいてモニタ２３の表示を制御する。また、表示Ｉ／Ｆ２２は、外部に画像出力を行うための映像端子を有している。そのため、本実施形態の電子カメラでは、表示Ｉ／Ｆ２２の映像端子を介して、外部の表示装置（テレビなど）に再生画像を表示させることも可能である。
モニタ２３は、ＣＰＵ２７および表示Ｉ／Ｆ２２の指示に応じて各種画像を表示する。本実施形態でのモニタ２３は液晶モニタで構成されている。このモニタ２３には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２３は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など）をビュー画像に重畳表示させることもできる。
【００２４】
さらに、モニタ２３には、撮影画像のデータに基づく再生画像や、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる（なお、モニタ２３におけるビュー画像およびメニュー画面の図示は省略する）。
操作部２４は、レリーズ釦や操作釦などを有している。操作部２４のレリーズ釦は露光動作開始の指示入力をユーザーから受け付ける。操作部２４の操作釦は、上記のメニュー画面等での入力や、電子カメラの撮影モードの切り換え入力などをユーザーから受け付ける。
【００２５】
通信部２５は、無線ＬＡＮの標準規格ＩＥＥＥ８０２．１１に規定された仕様に準拠して、外部装置との通信を制御する。例えば、撮影画像のデータを外部装置に送信する場合、通信部２５は撮影画像のデータを無線通信可能なデータに変換するとともに、変換後のデータを外部装置に送信する。
外部Ｉ／Ｆ２６は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ２６は、接続端子を介して接続されたコンピュータなどとのデータ送受信を上記の通信規格に準拠して制御する。
【００２６】
ＣＰＵ２７は、不図示のＲＯＭに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御するとともに、撮影などに必要となる各種演算を実行する（これらの内容については後述する）。また、本実施形態のＣＰＵ２７は、ＡＦ制御部３１、顔検出部３２、顔認識部３３として機能する。
ＡＦ制御部３１は、フォーカスレンズの駆動制御や、スルー画像のデータに基づくコントラスト検出方式での公知のＡＦ演算などを実行する。また、ＡＦ制御部３１は、レンズ駆動部１２から合焦時のフォーカスレンズの位置を取得し、撮影画面内の各々の被写体の被写体距離を演算することもできる。
【００２７】
顔検出部３２は、スルー画像または撮影画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３２は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。なお、顔検出部３２では、犬、猫、鳥などの動物の顔を検出対象とすることもできる。
【００２８】
顔認識部３３は、顔検出部３２で検出した特徴点に基づいて顔認識データを生成する。例えば、顔認識部３３は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから認識対象となる登録人物の顔認識データを生成する。
また、顔認識部３３は、撮影画面内の人物の顔が顔認識データの人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３３は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３３は、上記の演算結果と顔認識データとを比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３３は上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。なお、ＣＰＵ２７は、顔認識部３３の顔認識結果に基づいて、後述の主要被写体の指定を実行する。
【００２９】
本実施形態では、顔認識部３３は人間の場合と同様に動物の顔認識データも生成してもよい。そして、顔認識部３３は、動物の顔認識データに基づいて、撮影画面内の動物を対象とする顔認識を行なうことも可能である。
第２メモリ２８はＣＰＵ２７と接続されている。第２メモリ２８には、顔認識部３３で生成された顔認識データが記録される。この第２メモリ２８には登録した人物（登録人物）ごとにグループフォルダを生成することができ、グループフォルダによって顔認識データを登録人物ごとにグループ化できる。例えば、グループフォルダには、同一の登録人物に関して、顔の向きや撮影条件などが異なる複数の顔認識データを記録することができる。
【００３０】
また、第２メモリ２８の各々のグループフォルダには、その登録人物を認識した場合にＣＰＵ２７が適用する各種設定を示す設定データを記録することもできる。例えば、上記の設定データとしては、（１）再生表示の設定、（２）印刷設定、（３）送信設定などが含まれる。
上記（１）の再生表示の設定では、編集モードでの再生表示の各種設定を行うことができる。再生表示の設定の内容としては、例えば、スライドショー表示において、登録人物が撮影されている撮影画像の表示時間、表示のパターン、表示時の音楽などの設定が該当する。上記（２）の印刷設定では、例えば、ＤＰＯＦ（Digital Print Order Format）規格による印刷設定データの生成の有無や印刷設定の詳細内容（印刷枚数やサイズの指定）などを設定することができる。上記（３）の送信設定では、登録人物が撮影されている撮影画像の送信の要否と、送信先のアドレスデータ（電子メールアドレス）とを設定することができる。
【００３１】
上記の説明では、人間の顔認識データの場合を前提として説明したが、動物の顔認識データについてもグループフォルダを生成してグループ化することも可能である。また、動物の顔認識データに関してもグループフォルダに設定データを記録することも可能である。例えば、飼っているペットの犬を、家族の人物を登録する「家族」のグループフォルダに登録することもできる。
【００３２】
次に、図２、図３の流れ図を参照しつつ、本実施形態の電子カメラにおける撮影モードの動作の一例を説明する。なお、以下の説明では、人物を撮影した場合を前提として説明を行う。
ステップ１０１：まず、ユーザーはＣＰＵ２７に対して撮影モードの設定入力を行い、顔認識機能をオンにする。なお、前回の撮影などで上記の設定が予め行われている場合には、ユーザーはＳ１０１の工程を省略することが可能である。
【００３３】
例えば、電子カメラが撮影モードに設定されている状態において、ユーザーは操作部２４によりメニュー画面を呼び出す操作を行う。これにより、ＣＰＵ２７はメニュー画面をモニタ２３に表示する。そして、ユーザーは操作部２４でメニュー画面上のカーソル等を操作し、ＣＰＵ２７に対して顔認識機能をオンにする入力を行う。これにより、ＣＰＵ２７は顔認識データに基づく顔認識を実行する。なお、上記のメニュー画面では、後述の主要被写体に関する各種設定を行うこともできる。
【００３４】
ステップ１０２：ＣＰＵ２７は、撮像素子１５を駆動させてスルー画像の取得を開始する。撮像素子１５は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部２０はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２３にはビュー画像が動画表示される。したがって、ユーザーはモニタ２３のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
【００３５】
ステップ１０３：ＣＰＵ２７の顔検出部３２は、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ１０４：ＣＰＵ２７は、Ｓ１０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ１０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ１１０に移行する。
【００３６】
ステップ１０５：ＣＰＵ２７の顔認識部３３は、Ｓ１０３の顔検出処理で取得した特徴点のデータと、第２メモリ２８の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。
ステップ１０６：ＣＰＵ２７は、Ｓ１０５の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＳ１０７に移行する。一方、登録人物の顔を検出していない場合（ＮＯ側）にはＳ１０９に移行する。
【００３７】
ステップ１０７：ＣＰＵ２７は、Ｓ１０５の顔認識処理の結果に基づいて、顔領域に対応する被写体のうちから主要被写体を指定する。ここで、ＣＰＵ２７は主要被写体として２以上の人物を指定することができる。ＣＰＵ２７が指定できる主要被写体の数は、ユーザーが操作部２４の操作で変更することができる。主要被写体の数の調整によって、ユーザーの意図に沿った撮影環境を実現するためである。なお、ＣＰＵ２７に対する主要被写体の数の入力は、例えば上記のメニュー画面等で行われる。
【００３８】
以下、ＣＰＵ２７による主要被写体の指定方法を具体的に説明する。
第１に、ＣＰＵ２７は登録人物を主要被写体に指定する。
第２に、ＣＰＵ２７は登録人物に該当しない顔領域のうちで、所定の条件を満たす顔領域の被写体を主要被写体としてさらに指定する。勿論、主要被写体の数が既に上限に達している場合、ＣＰＵ２７はこの第２の工程を省略する。
【００３９】
例えば、第２の工程において、ＣＰＵ２７は以下の（１）から（３）のいずれかの方法で登録人物以外から主要被写体をさらに指定する。
（１）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、その被写体距離が登録人物の被写体距離（基準被写体距離）とほぼ等しい人物を主要被写体として指定する。すなわち、この場合には、撮影画面内で登録人物から離れていても登録人物とほぼ被写体距離が等しい人物は、登録人物とともに主要被写体に指定されることとなる。
【００４０】
具体的には、ＣＰＵ２７は以下のようにして主要被写体を指定する。まず、ＣＰＵ２７は、フォーカスレンズを一方向に走査しつつ撮像素子１５を駆動させて複数のスルー画像を取得する。次に、ＣＰＵ２７は、ＡＦ演算と同様の手法によって、各々のスルー画像において各顔領域のコントラストの値を取得する。ＣＰＵ２７は、各々の顔領域毎に最もコントラストの値が高くなるフォーカスレンズの位置に基づいて、撮影画面内の各々の顔領域の被写体距離を演算する。そして、ＣＰＵ２７は、登録人物の被写体距離（基準被写体距離）との被写体距離の差が閾値以内にある顔領域の被写体を主要被写体に指定する。
【００４１】
（２）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、撮影画面上で登録人物から所定範囲内に位置する人物（登録人物の顔領域から所定範囲内にある顔領域）を主要被写体として指定する。すなわち、この場合には、登録人物の近くにいる人物は、登録人物とともに主要被写体に指定されることとなる。
（３）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、顔領域のサイズが閾値以上である被写体を主要被写体として指定する。このとき、ＣＰＵ２７は登録人物の顔領域のサイズを基準として上記の閾値を設定する。例えば、ＣＰＵ２７は、登録人物の顔領域よりも大きい顔領域の被写体を主要被写体としてもよい。この場合には、登録人物よりも至近側に位置すると考えられる人物が登録人物とともに主要被写体に指定される。また、ＣＰＵ２７は、顔領域のサイズが登録人物と大きく異ならない被写体を主要被写体とすることもできる。この場合には、上記（１）と同様に、登録人物とほぼ被写体距離が等しいと考えられる人物を登録人物とともに主要被写体に指定できる。
【００４２】
ステップ１０８：ＣＰＵ２７は、Ｓ１０３で検出した顔領域と、Ｓ１０７で指定した主要被写体とを示す表示をモニタ２３で行う。なお、ＣＰＵ２７はその後にＳ１１０に移行する。
図４（ａ）にモニタ２３での顔領域および主要被写体の表示例を示す。図４（ａ）の例では、ＣＰＵ２７はモニタ２３上のビュー画像で顔領域の位置に矩形の枠を重畳させて表示する。そして、ＣＰＵ２７は、矩形の枠の太さや色を変えるなどの手段によって、モニタ２３上で主要被写体に対応する顔領域を示している。これにより、ユーザーはビュー画像で顔検出の結果と、ＣＰＵ２７の指定した主要被写体とを確認することができる。なお、図４（ａ）における主要被写体の枠表示では、登録人物とその他の人物の表示を変化させてもよい。
【００４３】
ステップ１０９：ＣＰＵ２７はＳ１０３で検出した顔領域のみを示す表示をモニタ２３で行う。なお、この場合のモニタ２３の表示は図４（ｂ）に示すように、主要被写体の表示がない点を除いてＳ１０８の場合とほぼ共通する。
ステップ１１０：ＣＰＵ２７はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１１１に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２７はＳ１０２に戻って上記動作を繰り返す。
【００４４】
ステップ１１１：ＣＰＵ２７は、Ｓ１０７で主要被写体が指定されているか否かを判定する。主要被写体が指定されている場合（ＹＥＳ側）にはＳ１１２に移行する。一方、主要被写体が指定されていない場合（ＮＯ側）にはＳ１２５に移行する。
ステップ１１２：ＣＰＵ２７は主要被写体が単独か否か判定する。主要被写体が単独の場合（ＹＥＳ側）にはＳ１１３に移行する。一方、主要被写体が複数の場合（ＮＯ側）にはＳ１１４に移行する。
【００４５】
ステップ１１３：ＣＰＵ２７のＡＦ制御部３１は、Ｓ１０７で指定された主要被写体（登録人物）を基準としてＡＦ制御およびＡＥ演算を実行する。なお、ＣＰＵ２７はその後にＳ１１６に移行する。
ステップ１１４：ＣＰＵ２７は、主要被写体のうちから焦点検出の基準となる顔を決定する。
【００４６】
まず、ＣＰＵ２７は、焦点検出の基準となる顔を登録人物の顔領域に限定する。登録人物の顔が１つのみの場合には、ＣＰＵ２７は、その登録人物の顔を焦点検出の基準とする。次に、登録人物の顔が複数ある場合には、ＣＰＵ２７は、登録人物の顔のうちで、最も面積が大きくて至近側にあると考えられる顔または撮影画面の中央に近い顔を焦点検出の基準とする。
【００４７】
ステップ１１５：ＣＰＵ２７は、上記のＳ１１４で選択された主要被写体（登録人物）の顔を基準としてＡＦ制御とＡＥ演算とを実行する。ここで、ＣＰＵ２７は、ＡＦ演算時に各々の主要被写体の顔の合焦状態に応じて絞り１３を制御して、全ての主要被写体の顔にピントがあうように被写界深度を広げてもよい。
ステップ１１６：ＣＰＵ２７は、Ｓ１０７で指定したいずれかの主要被写体の顔に被写体ブレが生じているか否かを判定する。主要被写体の顔に被写体ブレが生じている場合（ＹＥＳ側）にはＳ１１７に移行する。一方、主要被写体の顔に被写体ブレが生じていない場合（ＮＯ側）にはＳ１１８に移行する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１１６での被写体ブレの判定を省略してＳ１１８に移行してもよい。
【００４８】
ここで、上記のＳ１１５での被写体ブレの検出は公知の手段によって行われる。例えば、被写体に動きがあるとエッジに相当する部分が流れて撮像されるため、ＣＰＵ２７は複数のスルー画像から空間周波数の高域部分を抽出し、スルー画像間でのエッジの変化に基づいて主要被写体の被写体ブレを検出する。あるいは、ＣＰＵ２７はスルー画像間でパターンが一致する領域を求め、この領域間の移動距離に基づいて被写体ブレを検出してもよい。なお、画像間でパターンが一致する領域を求めるアルゴリズムとしては、例えば、残差逐次検定法、構造マッチング法などが知られている。
【００４９】
ステップ１１７：ＣＰＵ２７は、被写体ブレを抑制するために、撮像感度や絞り値などの撮影条件を再設定して露光時間を短くする。これにより、主要被写体の動きによる被写体ブレで撮影失敗する可能性が低減する。なお、ＣＰＵ２７は主要被写体以外の人物に対しては被写体ブレの検出を行わないので、主要被写体以外の人物の動きでＣＰＵ２７が不要な撮影条件の変更を行うことはない。
【００５０】
ステップ１１８：ＣＰＵ２７は、顔領域における顔の特徴点の検出状態に基づいて、主要被写体の顔の表情を推定する。そして、ＣＰＵ２７は全ての主要被写体の顔の表情が所定の状態（例えば、目つぶりしていない状態または笑顔の状態）であるか否かを判定する。上記の条件を満たす場合（ＹＥＳ側）にはＳ１１９に移行する。一方、上記の条件を満たさない場合（ＮＯ側）には、全ての主要被写体の顔の表情が所定の状態になるまでＣＰＵ２７は待機する。このとき、ＣＰＵ２７は、主要被写体の表情に関する警告表示をモニタ２３に表示してもよい。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１１８での処理を省略することが可能である。
【００５１】
ここで、上記のＳ１１８での顔の表情の検出は公知の手段によって行われる。例えば、特開２００４−２７２９３３号公報のように、普通の表情、目をつぶった顔、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、ＣＰＵ２７が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、ＣＰＵ２７が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。
【００５２】
Ｓ１１８でＮＯ側の場合には、主要被写体の顔の表情が変わるまでＣＰＵ２７は撮影を許可しない。したがって、ユーザーは主要被写体の表情が所望の状態で撮影を行うことができ、撮影失敗の可能性が低減する。また、ＣＰＵ２７は主要被写体以外の人物に対しては上記の表情の推定を行わないので、主要被写体以外の人物によって電子カメラの撮影が制約されることはない。
【００５３】
ステップ１１９：ＣＰＵ２７はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１２０に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）にはＳ１１８に戻る。
ステップ１２０：ＣＰＵ２７は撮像素子１５を駆動させて被写体像を撮影する。
ステップ１２１：ＣＰＵ２７は画像処理部２０に撮影画像のデータを生成させる。ここで、画像処理部２０は、以下の（１）〜（８）に示すように、撮影画像の主要被写体（Ｓ１０７）に対応する領域には、他の領域と異なる画像処理を施すようにしてもよい。なお、下記の各々の画像処理のオン／オフは、ＣＰＵ２７がメニュー画面での設定に応じて変更することができる。
【００５４】
（１）画像処理部２０は、主要被写体の領域に対する輪郭強調処理を他の領域と変化させる。例えば、画像処理部２０は、撮影画像の主要被写体の領域には、他の領域よりも輪郭強調の度合いが弱い輪郭強調フィルタを適用して輪郭強調処理を実行する。その結果、主要被写体の人物の肌荒れなどが目立ちにくい好ましい撮影画像を得ることができる。
（２）画像処理部２０は、主要被写体の領域の階調補正の特性を他の領域と変化させる。例えば、画像処理部２０は、撮影画像の主要被写体の領域には、他の領域と異なる階調曲線の階調特性テーブルを適用して階調補正を実行する。具体的には、主要被写体の領域に対しては、他の領域の階調曲線よりも相対的にコントラストが低めになる軟調の階調曲線の階調特性テーブルを適用する。その結果、主要被写体の顔に柔らかさのある好ましい撮影画像を得ることができる。
【００５５】
（３）画像処理部２０は、主要被写体の領域の彩度を他の領域よりも高める補正を行う。例えば、画像処理部２０は、撮影画像の主要被写体の領域の彩度のパラメータを他の領域よりも相対的に高く設定する。その結果、主要被写体の人物の肌色のくすみなどが軽減された好ましい撮影画像を得ることができる。
（４）画像処理部２０は、主要被写体の領域に対して、画像解析の結果に基づき画像の暗部またはハイライト部の階調を調整する光量補正処理を実行する。上記の光量補正処理は、例えば、特開２００６−５６９９号公報に開示された公知の技術により行われる。具体的には、画像処理部２０は、撮影画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。次に、画像処理部２０は、撮影画像を局所変動画像へ変調する変調信号を求めるとともに、変調信号をレベル圧縮する。そして、画像処理部２０はレベル圧縮後の変調信号によって撮影画像を変調して階調修正画像を取得する。その結果、補正範囲の明暗変化を適度に抑制しつつ、視覚的に埋もれやすい階調が修復された良好な状態の画像を得ることができる。特に、逆光撮影の場合や、フラッシュ撮影で人物に閃光が十分に届かない場合の撮影画像を良好な状態に修正できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５６】
（５）画像処理部２０は、主要被写体の領域のノイズ低減処理を他の領域と変化させる。例えば、画像処理部２０は、撮影画像のうちで主要被写体の領域のみを対象としてメディアンフィルタなどによるノイズ低減処理を実行する。その結果、主要被写体の顔の粒状感を低減できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５７】
（６）画像処理部２０は、主要被写体の領域に対してのみ、画像処理による赤目軽減補正を施す。上記の赤目軽減補正は、例えば、特開平１０−２３３９２９号公報に開示された公知の技術により行われる。具体的には、画像処理部２０は、顔領域から赤目領域を検出するとともに、検出した赤目領域の明度または彩度を低下させる補正を行う。その結果、主要被写体の赤目を防止できる。また、主要被写体以外の人物に対する画像処理を一部省略することで演算時間を短縮できる。
【００５８】
（７）画像処理部２０は、主要被写体の領域に対してのみボケ軽減補正を施す。例えば、画像処理部２０は、主要被写体の領域に対してアンシャープマスク処理を行って手ブレやピンボケを緩和するようにしてもよい。その結果、主要被写体のピンボケやブレをある程度緩和できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５９】
（８）画像処理部２０は、主要被写体の領域に対してのみ撮影画像にソフトフォーカス処理を施す。これにより、主要被写体が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。
ここで、画像処理部２０のソフトフォーカス処理は以下の手段で行われる。例えば、画像処理部２０は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。また、画像処理部２０は、撮影画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。
【００６０】
ステップ１２２：ＣＰＵ２７は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠した画像ファイルの生成を行う。ＣＰＵ２７は、第１メモリ１９または第２メモリ２８のワークエリアを利用して画像ファイルのヘッダのデータを生成する。例えば、ＣＰＵ２７は、撮影画像の撮影条件（露光時間、絞り値、撮像感度など）のデータとともに、Ｓ１０７で指定された主要被写体の位置や登録人物を示すデータをＭａｋｅｒＮｏｔｅタグを利用してヘッダに記録する。ヘッダに記録された主要被写体の位置などのデータは、ユーザーが主要被写体に対する画像処理（Ｓ１２１と同様の処理）などを事後的に行なおうとする場合に使用される。そして、ＣＰＵ２７は、撮影画像のデータと、上記のヘッダのデータとを関連づけして画像ファイルを生成し、最終的に画像ファイルを記録媒体３０に記録する。
【００６１】
ステップ１２３：ＣＰＵ２７は、Ｓ１２２の画像ファイルに関する印刷設定データをＤＰＯＦ規格に準拠して生成する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１２３での処理を省略することが可能である。
具体的には、まずＣＰＵ２７は、印刷する撮影画像の画像ファイルを指定するとともに、撮影画像の主要被写体の人数をカウントして印刷設定データの印刷枚数を指定する。また、ＣＰＵ２７は、メニュー画面での設定に応じて印刷設定データでの印刷サイズ（Ｌ、２Ｌなど）を指定する。なお、ＣＰＵ２７は、Ｓ１０５で検出した登録人物の印刷設定を第２メモリ２８から読み出して、印刷設定データの印刷枚数や印刷サイズを指定してもよい。
【００６２】
ステップ１２４：ＣＰＵ２７は、Ｓ１２２の画像ファイルに無線通信に関するアドレスデータを関連付けするとともに、通信部２５を介して画像ファイルを外部に送信する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１２４での処理を省略して、一連の撮影動作を終了させてもよい。
具体的には、ＣＰＵ２７は、Ｓ１０５で検出した登録人物の送信設定を第２メモリ２８から読み出す。そして、撮影画像の送信の設定がオンの場合には、ＣＰＵ２７は、通信部２５に対してアドレスデータの示す送信先に画像ファイルを送信する指示を行う。一方、撮影画像の送信の設定がオフの場合や無線通信ができない状態の場合には、ＣＰＵ２７は画像ファイルのヘッダにアドレスデータを記録しておくようにしてもよい。
【００６３】
ステップ１２５：この場合には、ＣＰＵ２７は通常の撮影時と同様のアルゴリズムでＡＦやＡＥを実行する。そして、レリーズ釦の全押しに応じてＣＰＵ２７は被写体を撮影し、撮影画像データを生成する。以上で撮影モードの動作説明を終了する。
以下、本実施形態における電子カメラの撮影モードでの効果を説明する。
上記の撮影モードでは、顔認識結果に基づいて指定される主要被写体を基準として、電子カメラにおける撮影制御や画像処理などが行われる。また、電子カメラは、主要被写体の指定された撮影画像のデータについて、印刷設定データの生成や無線通信による外部送信などを自動的に行なうこともできる。そのため、本実施形態によれば、機能的でユーザーにとって利便性の高い電子カメラを実現できる。
【００６４】
また、上記の主要被写体の指定では、ＣＰＵ２７は顔認識処理で登録人物を検出して、その登録人物を主要被写体に指定する。そして、撮影シーンによっては、ユーザーが登録人物と同様に扱いたいと推定できる人物についても、ＣＰＵ２７は登録人物とともに主要被写体に指定できる。そのため、本実施形態によれば、ユーザーの意図に沿った撮影画像を容易に得ることが可能となる。
【００６５】
次に、図５を参照しつつ、本実施形態の電子カメラにおける編集モードの動作の一例を説明する。この編集モードは、予め記録媒体３０等に記録されているＥｘｉｆ規格の画像ファイルの再生などを行うためのモードである。この編集モードの起動は、電子カメラが撮影モードで起動している状態で、ＣＰＵ２７が操作釦からの入力に応じて行われる。あるいは、ユーザーのモード選択操作に応じて、ＣＰＵ２７が撮影モードを経ることなく編集モードを直接起動してもよい。
【００６６】
ステップ２０１：ＣＰＵ２７は、記録Ｉ／Ｆ２１の記録媒体３０または外部Ｉ／Ｆ２６に接続された外部装置（不図示）から、ユーザーの指定した画像ファイルを読み込む。なお、Ｓ２０１でＣＰＵ２７が読み込む画像ファイルは、上記の電子カメラによる画像ファイルと規格が共通するものであれば、他の電子カメラで生成されたものであってもよい。
ステップ２０２：ＣＰＵ２７は、Ｓ２０１で読み出した画像ファイルに主要被写体の位置および登録人物を示すデータが含まれているか否かを判定する。この主要被写体の位置などのデータは、上記の撮影モードのＳ１２２においてヘッダに記録されたデータに相当する。画像ファイルに上記のデータが含まれる場合（ＹＥＳ側）にはＳ２０９に移行する。画像ファイルに上記のデータが含まれない場合（ＹＥＳ側）にはＳ２０３に移行する。
【００６７】
ステップ２０３：ＣＰＵ２７は、撮影画像のデータに対して顔検出処理を実行する。
ステップ２０４：ＣＰＵ２７は、Ｓ２０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ２０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０５：ＣＰＵ２７の顔認識部３３は、Ｓ２０３の顔検出処理で取得した特徴点のデータと、第２メモリ２８の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。
【００６８】
ステップ２０６：ＣＰＵ２７は、Ｓ２０５の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＳ２０７に移行する。一方、登録人物の顔を検出していない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０７：ＣＰＵ２７は、Ｓ２０５の顔認識処理の結果に基づいて、顔領域に対応する被写体のうちから主要被写体を指定する。ここで、ＣＰＵ２７による主要被写体の指定の方法については、被写体距離に基づく主要被写体の指定を行わない点を除いて上記のＳ１０７の場合とほぼ共通するので重複説明を省略する。
【００６９】
ステップ２０８：ＣＰＵ２７は、Ｓ２０７で指定した主要被写体の位置および登録人物を示すデータを、画像ファイルのヘッダに記録する。あるいは、ＣＰＵ２７は、Ｓ２０１で読み出した画像ファイルとは別に、Ｓ２０７で取得した主要被写体の位置などのデータを含む画像ファイルを生成してもよい。これにより、ＣＰＵ２７は次回以降の読み出しにおいて、Ｓ２０７で指定した主要被写体の位置などのデータを活用することができる。
【００７０】
ステップ２０９：ＣＰＵ２７は、モニタ２３に撮影画像のデータを再生表示する。このとき、ＣＰＵ２７は、図６に示すようなＧＵＩ形式のメニュー表示をモニタ２３に表示し、ユーザーによる項目の選択入力を受け付ける。メニュー表示の項目には、例えば、スライドショー、画像処理、印刷設定データ生成、無線通信などが含まれている。そして、ＣＰＵ２７はメニュー表示で選択された項目に応じて各種処理を実行する。なお、主要被写体が指定されている画像ファイルについては、図４の場合と同様に、主要被写体を示す枠表示をＣＰＵ２７が再生画像に重畳して表示できるモードを設けてもよい（図６では枠表示の図示は省略する）。
【００７１】
以下、各項目の詳細を説明する。
（１）スライドショー
メニュー表示でスライドショーの項目が選択された場合、ＣＰＵ２７は画像ファイルのスライドショーを実行し、複数の画像ファイル（例えば記録媒体３０内の全画像ファイルなど）の撮影画像を順次再生する。ここで、主要被写体が指定されている画像ファイルについては、ＣＰＵ２７はスライドショーにおいて以下の処理を行う。
【００７２】
ＣＰＵ２７は撮影画像に含まれる主要被写体の人数に応じて、スライドショーでの撮影画像の表示時間を長く設定する。また、ＣＰＵ２７は、スライドショーの表示において、主要被写体の顔の位置を基準として特殊効果を伴う表示を行うようにしてもよい。例えば、ＣＰＵ２７は、主要被写体の顔の位置を基準としてズームアップ、ズームダウン、画像の回転、フェードイン、フェードアウトなどの表示を行うようにしてもよい。
【００７３】
さらに、複数の主要被写体の顔が撮影画像に含まれる場合には、ＣＰＵ２７は、スライドショーの表示において、その撮影画像を主要被写体の人数分に分割して表示してもよい。例えば、ＣＰＵ２７は、各々の主要被写体の顔を拡大表示するなどの手段で上記の分割表示を行う。なお、主要被写体となった登録人物に関する再生表示の設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は再生表示の設定のデータに基づいて、スライドショーの表示を行うようにしてもよい。
【００７４】
（２）フォトレタッチ
メニュー表示でフォトレタッチの項目が選択された場合、ＣＰＵ２７は撮影画像のデータに対する画像処理を画像処理部２０に指示する。画像処理部２０は、再生表示中の撮影画像のデータに輪郭強調処理、階調補正、彩度の調整、光量補正処理、ノイズ低減処理、赤目軽減補正、ボケ軽減補正などを実行する。ここで、主要被写体が指定されている画像ファイルについては、Ｓ１２１の場合と同様に、画像処理部２０は撮影画像の主要被写体に対応する領域には他の領域と異なる画像処理を施すことができる。なお、個々の画像処理の説明は上記のＳ１２１と重複するので省略する。
【００７５】
（３）ＤＰＯＦ
メニュー表示でＤＰＯＦの項目が選択された場合、ＣＰＵ２７は再生対象の画像ファイルに関する印刷設定データをＤＰＯＦ規格に準拠して生成する。ここで、主要被写体が指定されている画像ファイルについては、ＣＰＵ２７は撮影画像の主要被写体の人数をカウントして印刷設定データの印刷枚数を自動的に指定する。また、主要被写体となった登録人物に関する印刷設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は登録人物の印刷設定を第２メモリ２８からを読み出して、印刷設定データの印刷枚数や印刷サイズを指定してもよい。
【００７６】
（４）無線通信
メニュー表示で無線通信の項目が選択された場合、ＣＰＵ２７は通信部２５を介して再生対象の画像ファイルを外部に送信する。ここで、画像ファイルのヘッダにアドレスデータが記録されている場合には、ＣＰＵ２７はそのアドレスデータに基づいて画像ファイルの送信を実行する。また、主要被写体となった登録人物に関する送信設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は、アドレスデータを第２メモリ２８から読み出して再生対象の画像ファイルを外部に送信してもよい。以上で編集モードの動作説明を終了する。
【００７７】
以下、本実施形態における電子カメラの編集モードでの効果を説明する。
上記の編集モードでは、顔認識結果に基づいて指定される主要被写体に応じて、電子カメラにおける画像処理やスライドショー表示を行なうことができる。また、電子カメラは、主要被写体の指定された撮影画像のデータについて、印刷設定データの生成や無線通信による外部送信などを行なうこともできる。そのため、本実施形態によれば、機能的でユーザーにとって利便性の高い電子カメラを実現できる。
【００７８】
特に、本実施形態の編集モードでは、主要被写体の指定に関するデータが画像ファイルにない場合でも、ＣＰＵ２７が撮影画像のデータに顔認識処理を行って主要被写体の指定をすることもできる。そのため、撮影時に顔認識を行わなかった場合にも上記の撮影モードの場合と同様の効果を得ることができるので、電子カメラの利便性をより向上させることができる。
【００７９】
また、編集モードにおける主要被写体の指定では、ＣＰＵ２７は撮影画像に対して顔認識処理を施して登録人物を検出し、その登録人物を主要被写体に指定する。そして、撮影画像の構図からユーザーが登録人物と同様に扱いたいと推定できる人物についても、ＣＰＵ２７は登録人物とともに主要被写体に指定できる。そのため、本実施形態によれば、ユーザーの意図に沿った主要被写体の指定が可能となる。
【００８０】
（実施形態の補足事項）
（１）上記実施形態では撮影画像を取得するための撮像素子１５を用いて顔検出などを行う電子カメラの例を説明したが、本発明の構成は上記実施形態の例に限定されることはない。例えば、一眼レフタイプのカメラシステムにおいて、焦点検出機構や光学ファインダなどに顔検出を行うための撮像素子を設けてもよい。この場合には、一眼レフタイプの電子カメラでも本発明を実施できる。
【００８１】
（２）上記実施形態では電子カメラで画像の再生などを行う例を説明した。しかし、本発明では、画像ファイルを再生する機能を備える再生専用装置（ビューアー）や、画像再生プログラムを実行する汎用コンピュータで、上記実施形態の電子カメラの編集モードと同様の処理を実行する画像処理装置を構成してもよい。
（３）上記実施形態の撮影モードにおいて、ＣＰＵ２７はレリーズ釦の半押しをトリガとして顔検出処理や顔認識処理などを行うようにしてもよい。
【００８２】
（４）上記実施形態の編集モードにおいて、ＣＰＵ２７は表示Ｉ／Ｆ２２の映像端子を介して、外部の表示装置（テレビなど）に画像を表示させるようにしてもよい。
（５）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、第１メモリ１９と第２メモリ２８とが共通のメモリで構成されていてもよい。また、通信部２５などの一部の構成が省略されていてもよい。
【図面の簡単な説明】
【００８３】
【図１】本実施形態の電子カメラの構成を示すブロック図
【図２】本実施形態の電子カメラでの撮影モードの動作例を説明する流れ図
【図３】本実施形態の電子カメラでの撮影モードの動作例を説明する流れ図
【図４】顔検出時におけるビュー画像の表示例を示す図
【図５】本実施形態の電子カメラでの編集モードの動作例を説明する流れ図
【図６】編集モードにおけるモニタでのメニュー表示の一例を示す図
【符号の説明】
【００８４】
１１…撮影レンズ、１２…レンズ駆動部、１３…絞り、１４…絞り駆動部、１５…撮像素子、２０…画像処理部、２１…記録Ｉ／Ｆ、２２…表示Ｉ／Ｆ、２３…モニタ、２４…操作部、２５…通信部、２６…外部Ｉ／Ｆ、２７…ＣＰＵ、２８…第２メモリ、２９…システムバス、３０…記録媒体、３１…ＡＦ制御部、３２…顔検出部、３３…顔認識部
【技術分野】
【０００１】
本発明は、人物などの顔認識機能を備えた電子カメラおよび画像処理装置に関する。
【背景技術】
【０００２】
従来から、例えば特許文献１に示すように、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている。
【特許文献１】特開平６−２５９５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記の顔認識機能の用途の１つとして、顔認識の結果に応じて主要被写体となる人物を指定して、各種の処理に役立てることが検討されている。そして、主要被写体の指定の具体的手法に関しては、電子カメラ等の利便性を高める観点からさらなる改善が要請されている。例えば、顔認識機能を備えた電子カメラで認識対象となる人物を複数撮影する場合には、主要被写体の数を制限したい状況もある。また、顔認識機能を備えた電子カメラで複数の人物を撮影する場合に、顔認識機能で認識した人物以外にも主要被写体として扱いたい人物がいる状況もある。そのため、上記のような状況にも柔軟に対応しうる電子カメラ等が要望されていた。
【０００４】
本発明は上記従来技術のいずれかの課題を解決するためのものである。本発明の目的は、顔認識機能を備えた電子カメラや画像処理装置において、ユーザーの意図を反映した主要被写体の指定を実現する手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する。
【０００６】
第２の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、認識対象の被写体のうち、最も撮影画面の中央に近い被写体を主要被写体に指定する。
【０００７】
第３の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、測距部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。測距部は被写体距離を演算する。被写体指定部は、顔領域に対応する被写体のうち、認識対象の被写体の基準被写体距離と被写体距離との差が許容範囲に収まる被写体を、認識対象の被写体とともに主要被写体に指定する。
【０００８】
第４の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、撮影画面上で認識対象の被写体から所定範囲内に位置する被写体を、認識対象の被写体とともに主要被写体に指定する。
【０００９】
第５の発明に係る電子カメラは、撮像素子と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。撮像素子は、被写体像を光電変換して画像信号を生成する。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、顔領域のサイズが閾値以上である被写体を認識対象の被写体とともに主要被写体に指定する。
【００１０】
上記第１または第２の発明では、主要被写体を基準として合焦制御を実行する合焦制御部をさらに備えることが好ましい。
上記第３から第５のいずれかの発明では、ユーザーの入力を受け付ける操作部をさらに備えてもよい。そして、被写体指定部は、操作部からの入力に基づいて主要被写体に指定する被写体の数の上限を変更することが好ましい。
【００１１】
上記第３から第５のいずれかの発明では、画像信号に基づいて主要被写体の状態を検出するとともに、該検出状態に応じて電子カメラの撮影動作の制御を行う撮影制御部をさらに備えることが好ましい。
上記第３から第５のいずれかの発明では、撮像素子で撮影した撮影画像のデータに対して、主要被写体に対応する領域には他の領域と異なる画像処理を施す画像処理部をさらに備えることが好ましい。
【００１２】
上記第１から第５のいずれかの発明では、画像信号に基づいて撮影画像のデータを生成する画像処理部と、撮影画像における主要被写体を示す付属データを生成するとともに、撮影画像のデータに付属データを関連付けした画像ファイルを生成する画像ファイル生成部と、をさらに備えることが好ましい。
第６の発明に係る画像処理装置は、データ読込部と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。データ読込部は、電子カメラで生成された撮影画像のデータを読み込む。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、撮影画面上で認識対象の被写体から所定範囲内に位置する被写体を、認識対象の被写体とともに主要被写体に指定する。
【００１３】
第７の発明に係る画像処理装置は、データ読込部と、メモリと、顔検出部と、顔認識部と、被写体指定部とを備える。データ読込部は、電子カメラで生成された撮影画像のデータを読み込む。メモリは、認識対象となる顔の特徴点を示す登録データを記録する。顔検出部は、撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する。顔認識部は、顔領域に対応する特徴点のデータと登録データとに基づいて、顔領域が認識対象であるか否かを判定する。被写体指定部は、顔領域に対応する被写体のうち、顔領域のサイズが閾値以上である被写体を認識対象の被写体とともに主要被写体に指定する。
【００１４】
上記第６または第７の発明では、撮影画像に対して、主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部をさらに備えることが好ましい。
なお、上記第６および第７の発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１５】
本発明では、顔認識機能を備えた電子カメラや画像処理装置において、ユーザーの意図を反映した主要被写体の指定を実現できる。
【発明を実施するための最良の形態】
【００１６】
図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、撮像素子１５と、アナログ処理部１６と、Ａ／Ｄ変換部１７と、タイミングジェネレータ（ＴＧ）１８と、第１メモリ１９と、画像処理部２０と、記録Ｉ／Ｆ２１と、表示Ｉ／Ｆ２２と、モニタ２３と、操作部２４と、通信部２５と、外部Ｉ／Ｆ２６と、ＣＰＵ２７と、第２メモリ２８と、システムバス２９とを有している。なお、第１メモリ１９、画像処理部２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２、通信部２５、外部Ｉ／Ｆ２６およびＣＰＵ２７はシステムバス２９を介して接続されている。
【００１７】
撮影レンズ１１は、ズームレンズと、合焦位置調節用のフォーカスレンズとを含む複数のレンズ群で構成されている。撮影レンズ１１を構成する各々のレンズは、レンズ駆動部１２によって光軸方向に移動する。また、レンズ駆動部１２は、撮影レンズ１１の光軸方向位置を検出するエンコーダ（不図示）を備えている。なお、レンズ駆動部１２の入出力はＣＰＵ２７と接続されている。
【００１８】
絞り１３は、撮影レンズ１１からの入射光量を調節する。絞り１３の開口量は、絞り駆動部１４によって調整される。なお、絞り駆動部１４の入出力はＣＰＵ２７と接続されている。
撮像素子１５は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードでは、撮像素子１５は、撮影時に記録用の撮影画像を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ２７による各種の演算処理やモニタ２３での表示などに使用される。
【００１９】
アナログ処理部１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部１６はＣＤＳ回路やゲイン回路を内部に有している。アナログ処理部１６のＣＤＳ回路は、相関二重サンプリングによって撮像素子１５の出力のノイズ成分を低減する。アナログ処理部１６のゲイン回路は、ＣＰＵ２７の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。
【００２０】
Ａ／Ｄ変換部１７は、アナログ処理部１６から出力されたアナログの画像信号にＡ／Ｄ変換を行う。このＡ／Ｄ変換部１７の出力は第１メモリ１９に接続されている。
ＴＧ１８は、ＣＰＵ２７の指示に基づいて、撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７に対してタイミングパルスを供給する。撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７の駆動タイミングは、ＴＧ１８のタイミングパルスによって制御される。
【００２１】
第１メモリ１９は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。
画像処理部２０は、上記の撮影モードにおいて撮影時のデジタル画像信号に各種の画像処理を施して撮影画像を生成する。また、画像処理部２０は撮影画像のデータをＪＰＥＧ形式で圧縮する。さらに、画像処理部２０は、上記の撮影モードにおいて、ＣＰＵ２７の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。
【００２２】
一方、撮影画像の再生などを行う編集モードでは、画像処理部２０は、圧縮された撮影画像のデータを伸長復元する処理を実行する。また、画像処理部２０は、上記の編集モードにおいて、撮影画像のデータに画像処理を施すことも可能である。なお、画像処理部２０による画像処理の具体的な内容は後述する。
記録Ｉ／Ｆ２１には記録媒体３０を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記録媒体３０に対して撮影画像データの書き込み／読み込みを実行する。上記の記録媒体３０は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体３０の一例としてメモリカードを図示する。
【００２３】
表示Ｉ／Ｆ２２は、ＣＰＵ２７の指示に基づいてモニタ２３の表示を制御する。また、表示Ｉ／Ｆ２２は、外部に画像出力を行うための映像端子を有している。そのため、本実施形態の電子カメラでは、表示Ｉ／Ｆ２２の映像端子を介して、外部の表示装置（テレビなど）に再生画像を表示させることも可能である。
モニタ２３は、ＣＰＵ２７および表示Ｉ／Ｆ２２の指示に応じて各種画像を表示する。本実施形態でのモニタ２３は液晶モニタで構成されている。このモニタ２３には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２３は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など）をビュー画像に重畳表示させることもできる。
【００２４】
さらに、モニタ２３には、撮影画像のデータに基づく再生画像や、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる（なお、モニタ２３におけるビュー画像およびメニュー画面の図示は省略する）。
操作部２４は、レリーズ釦や操作釦などを有している。操作部２４のレリーズ釦は露光動作開始の指示入力をユーザーから受け付ける。操作部２４の操作釦は、上記のメニュー画面等での入力や、電子カメラの撮影モードの切り換え入力などをユーザーから受け付ける。
【００２５】
通信部２５は、無線ＬＡＮの標準規格ＩＥＥＥ８０２．１１に規定された仕様に準拠して、外部装置との通信を制御する。例えば、撮影画像のデータを外部装置に送信する場合、通信部２５は撮影画像のデータを無線通信可能なデータに変換するとともに、変換後のデータを外部装置に送信する。
外部Ｉ／Ｆ２６は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ２６は、接続端子を介して接続されたコンピュータなどとのデータ送受信を上記の通信規格に準拠して制御する。
【００２６】
ＣＰＵ２７は、不図示のＲＯＭに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御するとともに、撮影などに必要となる各種演算を実行する（これらの内容については後述する）。また、本実施形態のＣＰＵ２７は、ＡＦ制御部３１、顔検出部３２、顔認識部３３として機能する。
ＡＦ制御部３１は、フォーカスレンズの駆動制御や、スルー画像のデータに基づくコントラスト検出方式での公知のＡＦ演算などを実行する。また、ＡＦ制御部３１は、レンズ駆動部１２から合焦時のフォーカスレンズの位置を取得し、撮影画面内の各々の被写体の被写体距離を演算することもできる。
【００２７】
顔検出部３２は、スルー画像または撮影画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３２は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。なお、顔検出部３２では、犬、猫、鳥などの動物の顔を検出対象とすることもできる。
【００２８】
顔認識部３３は、顔検出部３２で検出した特徴点に基づいて顔認識データを生成する。例えば、顔認識部３３は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから認識対象となる登録人物の顔認識データを生成する。
また、顔認識部３３は、撮影画面内の人物の顔が顔認識データの人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３３は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３３は、上記の演算結果と顔認識データとを比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３３は上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。なお、ＣＰＵ２７は、顔認識部３３の顔認識結果に基づいて、後述の主要被写体の指定を実行する。
【００２９】
本実施形態では、顔認識部３３は人間の場合と同様に動物の顔認識データも生成してもよい。そして、顔認識部３３は、動物の顔認識データに基づいて、撮影画面内の動物を対象とする顔認識を行なうことも可能である。
第２メモリ２８はＣＰＵ２７と接続されている。第２メモリ２８には、顔認識部３３で生成された顔認識データが記録される。この第２メモリ２８には登録した人物（登録人物）ごとにグループフォルダを生成することができ、グループフォルダによって顔認識データを登録人物ごとにグループ化できる。例えば、グループフォルダには、同一の登録人物に関して、顔の向きや撮影条件などが異なる複数の顔認識データを記録することができる。
【００３０】
また、第２メモリ２８の各々のグループフォルダには、その登録人物を認識した場合にＣＰＵ２７が適用する各種設定を示す設定データを記録することもできる。例えば、上記の設定データとしては、（１）再生表示の設定、（２）印刷設定、（３）送信設定などが含まれる。
上記（１）の再生表示の設定では、編集モードでの再生表示の各種設定を行うことができる。再生表示の設定の内容としては、例えば、スライドショー表示において、登録人物が撮影されている撮影画像の表示時間、表示のパターン、表示時の音楽などの設定が該当する。上記（２）の印刷設定では、例えば、ＤＰＯＦ（Digital Print Order Format）規格による印刷設定データの生成の有無や印刷設定の詳細内容（印刷枚数やサイズの指定）などを設定することができる。上記（３）の送信設定では、登録人物が撮影されている撮影画像の送信の要否と、送信先のアドレスデータ（電子メールアドレス）とを設定することができる。
【００３１】
上記の説明では、人間の顔認識データの場合を前提として説明したが、動物の顔認識データについてもグループフォルダを生成してグループ化することも可能である。また、動物の顔認識データに関してもグループフォルダに設定データを記録することも可能である。例えば、飼っているペットの犬を、家族の人物を登録する「家族」のグループフォルダに登録することもできる。
【００３２】
次に、図２、図３の流れ図を参照しつつ、本実施形態の電子カメラにおける撮影モードの動作の一例を説明する。なお、以下の説明では、人物を撮影した場合を前提として説明を行う。
ステップ１０１：まず、ユーザーはＣＰＵ２７に対して撮影モードの設定入力を行い、顔認識機能をオンにする。なお、前回の撮影などで上記の設定が予め行われている場合には、ユーザーはＳ１０１の工程を省略することが可能である。
【００３３】
例えば、電子カメラが撮影モードに設定されている状態において、ユーザーは操作部２４によりメニュー画面を呼び出す操作を行う。これにより、ＣＰＵ２７はメニュー画面をモニタ２３に表示する。そして、ユーザーは操作部２４でメニュー画面上のカーソル等を操作し、ＣＰＵ２７に対して顔認識機能をオンにする入力を行う。これにより、ＣＰＵ２７は顔認識データに基づく顔認識を実行する。なお、上記のメニュー画面では、後述の主要被写体に関する各種設定を行うこともできる。
【００３４】
ステップ１０２：ＣＰＵ２７は、撮像素子１５を駆動させてスルー画像の取得を開始する。撮像素子１５は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部２０はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２３にはビュー画像が動画表示される。したがって、ユーザーはモニタ２３のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。
【００３５】
ステップ１０３：ＣＰＵ２７の顔検出部３２は、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。
ステップ１０４：ＣＰＵ２７は、Ｓ１０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ１０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ１１０に移行する。
【００３６】
ステップ１０５：ＣＰＵ２７の顔認識部３３は、Ｓ１０３の顔検出処理で取得した特徴点のデータと、第２メモリ２８の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。
ステップ１０６：ＣＰＵ２７は、Ｓ１０５の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＳ１０７に移行する。一方、登録人物の顔を検出していない場合（ＮＯ側）にはＳ１０９に移行する。
【００３７】
ステップ１０７：ＣＰＵ２７は、Ｓ１０５の顔認識処理の結果に基づいて、顔領域に対応する被写体のうちから主要被写体を指定する。ここで、ＣＰＵ２７は主要被写体として２以上の人物を指定することができる。ＣＰＵ２７が指定できる主要被写体の数は、ユーザーが操作部２４の操作で変更することができる。主要被写体の数の調整によって、ユーザーの意図に沿った撮影環境を実現するためである。なお、ＣＰＵ２７に対する主要被写体の数の入力は、例えば上記のメニュー画面等で行われる。
【００３８】
以下、ＣＰＵ２７による主要被写体の指定方法を具体的に説明する。
第１に、ＣＰＵ２７は登録人物を主要被写体に指定する。
第２に、ＣＰＵ２７は登録人物に該当しない顔領域のうちで、所定の条件を満たす顔領域の被写体を主要被写体としてさらに指定する。勿論、主要被写体の数が既に上限に達している場合、ＣＰＵ２７はこの第２の工程を省略する。
【００３９】
例えば、第２の工程において、ＣＰＵ２７は以下の（１）から（３）のいずれかの方法で登録人物以外から主要被写体をさらに指定する。
（１）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、その被写体距離が登録人物の被写体距離（基準被写体距離）とほぼ等しい人物を主要被写体として指定する。すなわち、この場合には、撮影画面内で登録人物から離れていても登録人物とほぼ被写体距離が等しい人物は、登録人物とともに主要被写体に指定されることとなる。
【００４０】
具体的には、ＣＰＵ２７は以下のようにして主要被写体を指定する。まず、ＣＰＵ２７は、フォーカスレンズを一方向に走査しつつ撮像素子１５を駆動させて複数のスルー画像を取得する。次に、ＣＰＵ２７は、ＡＦ演算と同様の手法によって、各々のスルー画像において各顔領域のコントラストの値を取得する。ＣＰＵ２７は、各々の顔領域毎に最もコントラストの値が高くなるフォーカスレンズの位置に基づいて、撮影画面内の各々の顔領域の被写体距離を演算する。そして、ＣＰＵ２７は、登録人物の被写体距離（基準被写体距離）との被写体距離の差が閾値以内にある顔領域の被写体を主要被写体に指定する。
【００４１】
（２）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、撮影画面上で登録人物から所定範囲内に位置する人物（登録人物の顔領域から所定範囲内にある顔領域）を主要被写体として指定する。すなわち、この場合には、登録人物の近くにいる人物は、登録人物とともに主要被写体に指定されることとなる。
（３）ＣＰＵ２７は、顔領域の検出されている被写体のうちで、顔領域のサイズが閾値以上である被写体を主要被写体として指定する。このとき、ＣＰＵ２７は登録人物の顔領域のサイズを基準として上記の閾値を設定する。例えば、ＣＰＵ２７は、登録人物の顔領域よりも大きい顔領域の被写体を主要被写体としてもよい。この場合には、登録人物よりも至近側に位置すると考えられる人物が登録人物とともに主要被写体に指定される。また、ＣＰＵ２７は、顔領域のサイズが登録人物と大きく異ならない被写体を主要被写体とすることもできる。この場合には、上記（１）と同様に、登録人物とほぼ被写体距離が等しいと考えられる人物を登録人物とともに主要被写体に指定できる。
【００４２】
ステップ１０８：ＣＰＵ２７は、Ｓ１０３で検出した顔領域と、Ｓ１０７で指定した主要被写体とを示す表示をモニタ２３で行う。なお、ＣＰＵ２７はその後にＳ１１０に移行する。
図４（ａ）にモニタ２３での顔領域および主要被写体の表示例を示す。図４（ａ）の例では、ＣＰＵ２７はモニタ２３上のビュー画像で顔領域の位置に矩形の枠を重畳させて表示する。そして、ＣＰＵ２７は、矩形の枠の太さや色を変えるなどの手段によって、モニタ２３上で主要被写体に対応する顔領域を示している。これにより、ユーザーはビュー画像で顔検出の結果と、ＣＰＵ２７の指定した主要被写体とを確認することができる。なお、図４（ａ）における主要被写体の枠表示では、登録人物とその他の人物の表示を変化させてもよい。
【００４３】
ステップ１０９：ＣＰＵ２７はＳ１０３で検出した顔領域のみを示す表示をモニタ２３で行う。なお、この場合のモニタ２３の表示は図４（ｂ）に示すように、主要被写体の表示がない点を除いてＳ１０８の場合とほぼ共通する。
ステップ１１０：ＣＰＵ２７はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ１１１に移行する。一方、レリーズ釦が半押しされていない場合（ＮＯ側）には、ＣＰＵ２７はＳ１０２に戻って上記動作を繰り返す。
【００４４】
ステップ１１１：ＣＰＵ２７は、Ｓ１０７で主要被写体が指定されているか否かを判定する。主要被写体が指定されている場合（ＹＥＳ側）にはＳ１１２に移行する。一方、主要被写体が指定されていない場合（ＮＯ側）にはＳ１２５に移行する。
ステップ１１２：ＣＰＵ２７は主要被写体が単独か否か判定する。主要被写体が単独の場合（ＹＥＳ側）にはＳ１１３に移行する。一方、主要被写体が複数の場合（ＮＯ側）にはＳ１１４に移行する。
【００４５】
ステップ１１３：ＣＰＵ２７のＡＦ制御部３１は、Ｓ１０７で指定された主要被写体（登録人物）を基準としてＡＦ制御およびＡＥ演算を実行する。なお、ＣＰＵ２７はその後にＳ１１６に移行する。
ステップ１１４：ＣＰＵ２７は、主要被写体のうちから焦点検出の基準となる顔を決定する。
【００４６】
まず、ＣＰＵ２７は、焦点検出の基準となる顔を登録人物の顔領域に限定する。登録人物の顔が１つのみの場合には、ＣＰＵ２７は、その登録人物の顔を焦点検出の基準とする。次に、登録人物の顔が複数ある場合には、ＣＰＵ２７は、登録人物の顔のうちで、最も面積が大きくて至近側にあると考えられる顔または撮影画面の中央に近い顔を焦点検出の基準とする。
【００４７】
ステップ１１５：ＣＰＵ２７は、上記のＳ１１４で選択された主要被写体（登録人物）の顔を基準としてＡＦ制御とＡＥ演算とを実行する。ここで、ＣＰＵ２７は、ＡＦ演算時に各々の主要被写体の顔の合焦状態に応じて絞り１３を制御して、全ての主要被写体の顔にピントがあうように被写界深度を広げてもよい。
ステップ１１６：ＣＰＵ２７は、Ｓ１０７で指定したいずれかの主要被写体の顔に被写体ブレが生じているか否かを判定する。主要被写体の顔に被写体ブレが生じている場合（ＹＥＳ側）にはＳ１１７に移行する。一方、主要被写体の顔に被写体ブレが生じていない場合（ＮＯ側）にはＳ１１８に移行する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１１６での被写体ブレの判定を省略してＳ１１８に移行してもよい。
【００４８】
ここで、上記のＳ１１５での被写体ブレの検出は公知の手段によって行われる。例えば、被写体に動きがあるとエッジに相当する部分が流れて撮像されるため、ＣＰＵ２７は複数のスルー画像から空間周波数の高域部分を抽出し、スルー画像間でのエッジの変化に基づいて主要被写体の被写体ブレを検出する。あるいは、ＣＰＵ２７はスルー画像間でパターンが一致する領域を求め、この領域間の移動距離に基づいて被写体ブレを検出してもよい。なお、画像間でパターンが一致する領域を求めるアルゴリズムとしては、例えば、残差逐次検定法、構造マッチング法などが知られている。
【００４９】
ステップ１１７：ＣＰＵ２７は、被写体ブレを抑制するために、撮像感度や絞り値などの撮影条件を再設定して露光時間を短くする。これにより、主要被写体の動きによる被写体ブレで撮影失敗する可能性が低減する。なお、ＣＰＵ２７は主要被写体以外の人物に対しては被写体ブレの検出を行わないので、主要被写体以外の人物の動きでＣＰＵ２７が不要な撮影条件の変更を行うことはない。
【００５０】
ステップ１１８：ＣＰＵ２７は、顔領域における顔の特徴点の検出状態に基づいて、主要被写体の顔の表情を推定する。そして、ＣＰＵ２７は全ての主要被写体の顔の表情が所定の状態（例えば、目つぶりしていない状態または笑顔の状態）であるか否かを判定する。上記の条件を満たす場合（ＹＥＳ側）にはＳ１１９に移行する。一方、上記の条件を満たさない場合（ＮＯ側）には、全ての主要被写体の顔の表情が所定の状態になるまでＣＰＵ２７は待機する。このとき、ＣＰＵ２７は、主要被写体の表情に関する警告表示をモニタ２３に表示してもよい。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１１８での処理を省略することが可能である。
【００５１】
ここで、上記のＳ１１８での顔の表情の検出は公知の手段によって行われる。例えば、特開２００４−２７２９３３号公報のように、普通の表情、目をつぶった顔、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、ＣＰＵ２７が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、ＣＰＵ２７が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。
【００５２】
Ｓ１１８でＮＯ側の場合には、主要被写体の顔の表情が変わるまでＣＰＵ２７は撮影を許可しない。したがって、ユーザーは主要被写体の表情が所望の状態で撮影を行うことができ、撮影失敗の可能性が低減する。また、ＣＰＵ２７は主要被写体以外の人物に対しては上記の表情の推定を行わないので、主要被写体以外の人物によって電子カメラの撮影が制約されることはない。
【００５３】
ステップ１１９：ＣＰＵ２７はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１２０に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）にはＳ１１８に戻る。
ステップ１２０：ＣＰＵ２７は撮像素子１５を駆動させて被写体像を撮影する。
ステップ１２１：ＣＰＵ２７は画像処理部２０に撮影画像のデータを生成させる。ここで、画像処理部２０は、以下の（１）〜（８）に示すように、撮影画像の主要被写体（Ｓ１０７）に対応する領域には、他の領域と異なる画像処理を施すようにしてもよい。なお、下記の各々の画像処理のオン／オフは、ＣＰＵ２７がメニュー画面での設定に応じて変更することができる。
【００５４】
（１）画像処理部２０は、主要被写体の領域に対する輪郭強調処理を他の領域と変化させる。例えば、画像処理部２０は、撮影画像の主要被写体の領域には、他の領域よりも輪郭強調の度合いが弱い輪郭強調フィルタを適用して輪郭強調処理を実行する。その結果、主要被写体の人物の肌荒れなどが目立ちにくい好ましい撮影画像を得ることができる。
（２）画像処理部２０は、主要被写体の領域の階調補正の特性を他の領域と変化させる。例えば、画像処理部２０は、撮影画像の主要被写体の領域には、他の領域と異なる階調曲線の階調特性テーブルを適用して階調補正を実行する。具体的には、主要被写体の領域に対しては、他の領域の階調曲線よりも相対的にコントラストが低めになる軟調の階調曲線の階調特性テーブルを適用する。その結果、主要被写体の顔に柔らかさのある好ましい撮影画像を得ることができる。
【００５５】
（３）画像処理部２０は、主要被写体の領域の彩度を他の領域よりも高める補正を行う。例えば、画像処理部２０は、撮影画像の主要被写体の領域の彩度のパラメータを他の領域よりも相対的に高く設定する。その結果、主要被写体の人物の肌色のくすみなどが軽減された好ましい撮影画像を得ることができる。
（４）画像処理部２０は、主要被写体の領域に対して、画像解析の結果に基づき画像の暗部またはハイライト部の階調を調整する光量補正処理を実行する。上記の光量補正処理は、例えば、特開２００６−５６９９号公報に開示された公知の技術により行われる。具体的には、画像処理部２０は、撮影画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。次に、画像処理部２０は、撮影画像を局所変動画像へ変調する変調信号を求めるとともに、変調信号をレベル圧縮する。そして、画像処理部２０はレベル圧縮後の変調信号によって撮影画像を変調して階調修正画像を取得する。その結果、補正範囲の明暗変化を適度に抑制しつつ、視覚的に埋もれやすい階調が修復された良好な状態の画像を得ることができる。特に、逆光撮影の場合や、フラッシュ撮影で人物に閃光が十分に届かない場合の撮影画像を良好な状態に修正できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５６】
（５）画像処理部２０は、主要被写体の領域のノイズ低減処理を他の領域と変化させる。例えば、画像処理部２０は、撮影画像のうちで主要被写体の領域のみを対象としてメディアンフィルタなどによるノイズ低減処理を実行する。その結果、主要被写体の顔の粒状感を低減できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５７】
（６）画像処理部２０は、主要被写体の領域に対してのみ、画像処理による赤目軽減補正を施す。上記の赤目軽減補正は、例えば、特開平１０−２３３９２９号公報に開示された公知の技術により行われる。具体的には、画像処理部２０は、顔領域から赤目領域を検出するとともに、検出した赤目領域の明度または彩度を低下させる補正を行う。その結果、主要被写体の赤目を防止できる。また、主要被写体以外の人物に対する画像処理を一部省略することで演算時間を短縮できる。
【００５８】
（７）画像処理部２０は、主要被写体の領域に対してのみボケ軽減補正を施す。例えば、画像処理部２０は、主要被写体の領域に対してアンシャープマスク処理を行って手ブレやピンボケを緩和するようにしてもよい。その結果、主要被写体のピンボケやブレをある程度緩和できる。また、主要被写体の領域以外に施す画像処理を一部省略することで演算時間を短縮できる。
【００５９】
（８）画像処理部２０は、主要被写体の領域に対してのみ撮影画像にソフトフォーカス処理を施す。これにより、主要被写体が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。
ここで、画像処理部２０のソフトフォーカス処理は以下の手段で行われる。例えば、画像処理部２０は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。また、画像処理部２０は、撮影画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。
【００６０】
ステップ１２２：ＣＰＵ２７は、Ｅｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠した画像ファイルの生成を行う。ＣＰＵ２７は、第１メモリ１９または第２メモリ２８のワークエリアを利用して画像ファイルのヘッダのデータを生成する。例えば、ＣＰＵ２７は、撮影画像の撮影条件（露光時間、絞り値、撮像感度など）のデータとともに、Ｓ１０７で指定された主要被写体の位置や登録人物を示すデータをＭａｋｅｒＮｏｔｅタグを利用してヘッダに記録する。ヘッダに記録された主要被写体の位置などのデータは、ユーザーが主要被写体に対する画像処理（Ｓ１２１と同様の処理）などを事後的に行なおうとする場合に使用される。そして、ＣＰＵ２７は、撮影画像のデータと、上記のヘッダのデータとを関連づけして画像ファイルを生成し、最終的に画像ファイルを記録媒体３０に記録する。
【００６１】
ステップ１２３：ＣＰＵ２７は、Ｓ１２２の画像ファイルに関する印刷設定データをＤＰＯＦ規格に準拠して生成する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１２３での処理を省略することが可能である。
具体的には、まずＣＰＵ２７は、印刷する撮影画像の画像ファイルを指定するとともに、撮影画像の主要被写体の人数をカウントして印刷設定データの印刷枚数を指定する。また、ＣＰＵ２７は、メニュー画面での設定に応じて印刷設定データでの印刷サイズ（Ｌ、２Ｌなど）を指定する。なお、ＣＰＵ２７は、Ｓ１０５で検出した登録人物の印刷設定を第２メモリ２８から読み出して、印刷設定データの印刷枚数や印刷サイズを指定してもよい。
【００６２】
ステップ１２４：ＣＰＵ２７は、Ｓ１２２の画像ファイルに無線通信に関するアドレスデータを関連付けするとともに、通信部２５を介して画像ファイルを外部に送信する。なお、ＣＰＵ２７はメニュー画面での設定に応じてＳ１２４での処理を省略して、一連の撮影動作を終了させてもよい。
具体的には、ＣＰＵ２７は、Ｓ１０５で検出した登録人物の送信設定を第２メモリ２８から読み出す。そして、撮影画像の送信の設定がオンの場合には、ＣＰＵ２７は、通信部２５に対してアドレスデータの示す送信先に画像ファイルを送信する指示を行う。一方、撮影画像の送信の設定がオフの場合や無線通信ができない状態の場合には、ＣＰＵ２７は画像ファイルのヘッダにアドレスデータを記録しておくようにしてもよい。
【００６３】
ステップ１２５：この場合には、ＣＰＵ２７は通常の撮影時と同様のアルゴリズムでＡＦやＡＥを実行する。そして、レリーズ釦の全押しに応じてＣＰＵ２７は被写体を撮影し、撮影画像データを生成する。以上で撮影モードの動作説明を終了する。
以下、本実施形態における電子カメラの撮影モードでの効果を説明する。
上記の撮影モードでは、顔認識結果に基づいて指定される主要被写体を基準として、電子カメラにおける撮影制御や画像処理などが行われる。また、電子カメラは、主要被写体の指定された撮影画像のデータについて、印刷設定データの生成や無線通信による外部送信などを自動的に行なうこともできる。そのため、本実施形態によれば、機能的でユーザーにとって利便性の高い電子カメラを実現できる。
【００６４】
また、上記の主要被写体の指定では、ＣＰＵ２７は顔認識処理で登録人物を検出して、その登録人物を主要被写体に指定する。そして、撮影シーンによっては、ユーザーが登録人物と同様に扱いたいと推定できる人物についても、ＣＰＵ２７は登録人物とともに主要被写体に指定できる。そのため、本実施形態によれば、ユーザーの意図に沿った撮影画像を容易に得ることが可能となる。
【００６５】
次に、図５を参照しつつ、本実施形態の電子カメラにおける編集モードの動作の一例を説明する。この編集モードは、予め記録媒体３０等に記録されているＥｘｉｆ規格の画像ファイルの再生などを行うためのモードである。この編集モードの起動は、電子カメラが撮影モードで起動している状態で、ＣＰＵ２７が操作釦からの入力に応じて行われる。あるいは、ユーザーのモード選択操作に応じて、ＣＰＵ２７が撮影モードを経ることなく編集モードを直接起動してもよい。
【００６６】
ステップ２０１：ＣＰＵ２７は、記録Ｉ／Ｆ２１の記録媒体３０または外部Ｉ／Ｆ２６に接続された外部装置（不図示）から、ユーザーの指定した画像ファイルを読み込む。なお、Ｓ２０１でＣＰＵ２７が読み込む画像ファイルは、上記の電子カメラによる画像ファイルと規格が共通するものであれば、他の電子カメラで生成されたものであってもよい。
ステップ２０２：ＣＰＵ２７は、Ｓ２０１で読み出した画像ファイルに主要被写体の位置および登録人物を示すデータが含まれているか否かを判定する。この主要被写体の位置などのデータは、上記の撮影モードのＳ１２２においてヘッダに記録されたデータに相当する。画像ファイルに上記のデータが含まれる場合（ＹＥＳ側）にはＳ２０９に移行する。画像ファイルに上記のデータが含まれない場合（ＹＥＳ側）にはＳ２０３に移行する。
【００６７】
ステップ２０３：ＣＰＵ２７は、撮影画像のデータに対して顔検出処理を実行する。
ステップ２０４：ＣＰＵ２７は、Ｓ２０３の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ２０５に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０５：ＣＰＵ２７の顔認識部３３は、Ｓ２０３の顔検出処理で取得した特徴点のデータと、第２メモリ２８の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。
【００６８】
ステップ２０６：ＣＰＵ２７は、Ｓ２０５の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＳ２０７に移行する。一方、登録人物の顔を検出していない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０７：ＣＰＵ２７は、Ｓ２０５の顔認識処理の結果に基づいて、顔領域に対応する被写体のうちから主要被写体を指定する。ここで、ＣＰＵ２７による主要被写体の指定の方法については、被写体距離に基づく主要被写体の指定を行わない点を除いて上記のＳ１０７の場合とほぼ共通するので重複説明を省略する。
【００６９】
ステップ２０８：ＣＰＵ２７は、Ｓ２０７で指定した主要被写体の位置および登録人物を示すデータを、画像ファイルのヘッダに記録する。あるいは、ＣＰＵ２７は、Ｓ２０１で読み出した画像ファイルとは別に、Ｓ２０７で取得した主要被写体の位置などのデータを含む画像ファイルを生成してもよい。これにより、ＣＰＵ２７は次回以降の読み出しにおいて、Ｓ２０７で指定した主要被写体の位置などのデータを活用することができる。
【００７０】
ステップ２０９：ＣＰＵ２７は、モニタ２３に撮影画像のデータを再生表示する。このとき、ＣＰＵ２７は、図６に示すようなＧＵＩ形式のメニュー表示をモニタ２３に表示し、ユーザーによる項目の選択入力を受け付ける。メニュー表示の項目には、例えば、スライドショー、画像処理、印刷設定データ生成、無線通信などが含まれている。そして、ＣＰＵ２７はメニュー表示で選択された項目に応じて各種処理を実行する。なお、主要被写体が指定されている画像ファイルについては、図４の場合と同様に、主要被写体を示す枠表示をＣＰＵ２７が再生画像に重畳して表示できるモードを設けてもよい（図６では枠表示の図示は省略する）。
【００７１】
以下、各項目の詳細を説明する。
（１）スライドショー
メニュー表示でスライドショーの項目が選択された場合、ＣＰＵ２７は画像ファイルのスライドショーを実行し、複数の画像ファイル（例えば記録媒体３０内の全画像ファイルなど）の撮影画像を順次再生する。ここで、主要被写体が指定されている画像ファイルについては、ＣＰＵ２７はスライドショーにおいて以下の処理を行う。
【００７２】
ＣＰＵ２７は撮影画像に含まれる主要被写体の人数に応じて、スライドショーでの撮影画像の表示時間を長く設定する。また、ＣＰＵ２７は、スライドショーの表示において、主要被写体の顔の位置を基準として特殊効果を伴う表示を行うようにしてもよい。例えば、ＣＰＵ２７は、主要被写体の顔の位置を基準としてズームアップ、ズームダウン、画像の回転、フェードイン、フェードアウトなどの表示を行うようにしてもよい。
【００７３】
さらに、複数の主要被写体の顔が撮影画像に含まれる場合には、ＣＰＵ２７は、スライドショーの表示において、その撮影画像を主要被写体の人数分に分割して表示してもよい。例えば、ＣＰＵ２７は、各々の主要被写体の顔を拡大表示するなどの手段で上記の分割表示を行う。なお、主要被写体となった登録人物に関する再生表示の設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は再生表示の設定のデータに基づいて、スライドショーの表示を行うようにしてもよい。
【００７４】
（２）フォトレタッチ
メニュー表示でフォトレタッチの項目が選択された場合、ＣＰＵ２７は撮影画像のデータに対する画像処理を画像処理部２０に指示する。画像処理部２０は、再生表示中の撮影画像のデータに輪郭強調処理、階調補正、彩度の調整、光量補正処理、ノイズ低減処理、赤目軽減補正、ボケ軽減補正などを実行する。ここで、主要被写体が指定されている画像ファイルについては、Ｓ１２１の場合と同様に、画像処理部２０は撮影画像の主要被写体に対応する領域には他の領域と異なる画像処理を施すことができる。なお、個々の画像処理の説明は上記のＳ１２１と重複するので省略する。
【００７５】
（３）ＤＰＯＦ
メニュー表示でＤＰＯＦの項目が選択された場合、ＣＰＵ２７は再生対象の画像ファイルに関する印刷設定データをＤＰＯＦ規格に準拠して生成する。ここで、主要被写体が指定されている画像ファイルについては、ＣＰＵ２７は撮影画像の主要被写体の人数をカウントして印刷設定データの印刷枚数を自動的に指定する。また、主要被写体となった登録人物に関する印刷設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は登録人物の印刷設定を第２メモリ２８からを読み出して、印刷設定データの印刷枚数や印刷サイズを指定してもよい。
【００７６】
（４）無線通信
メニュー表示で無線通信の項目が選択された場合、ＣＰＵ２７は通信部２５を介して再生対象の画像ファイルを外部に送信する。ここで、画像ファイルのヘッダにアドレスデータが記録されている場合には、ＣＰＵ２７はそのアドレスデータに基づいて画像ファイルの送信を実行する。また、主要被写体となった登録人物に関する送信設定のデータが第２メモリ２８にある場合には、ＣＰＵ２７は、アドレスデータを第２メモリ２８から読み出して再生対象の画像ファイルを外部に送信してもよい。以上で編集モードの動作説明を終了する。
【００７７】
以下、本実施形態における電子カメラの編集モードでの効果を説明する。
上記の編集モードでは、顔認識結果に基づいて指定される主要被写体に応じて、電子カメラにおける画像処理やスライドショー表示を行なうことができる。また、電子カメラは、主要被写体の指定された撮影画像のデータについて、印刷設定データの生成や無線通信による外部送信などを行なうこともできる。そのため、本実施形態によれば、機能的でユーザーにとって利便性の高い電子カメラを実現できる。
【００７８】
特に、本実施形態の編集モードでは、主要被写体の指定に関するデータが画像ファイルにない場合でも、ＣＰＵ２７が撮影画像のデータに顔認識処理を行って主要被写体の指定をすることもできる。そのため、撮影時に顔認識を行わなかった場合にも上記の撮影モードの場合と同様の効果を得ることができるので、電子カメラの利便性をより向上させることができる。
【００７９】
また、編集モードにおける主要被写体の指定では、ＣＰＵ２７は撮影画像に対して顔認識処理を施して登録人物を検出し、その登録人物を主要被写体に指定する。そして、撮影画像の構図からユーザーが登録人物と同様に扱いたいと推定できる人物についても、ＣＰＵ２７は登録人物とともに主要被写体に指定できる。そのため、本実施形態によれば、ユーザーの意図に沿った主要被写体の指定が可能となる。
【００８０】
（実施形態の補足事項）
（１）上記実施形態では撮影画像を取得するための撮像素子１５を用いて顔検出などを行う電子カメラの例を説明したが、本発明の構成は上記実施形態の例に限定されることはない。例えば、一眼レフタイプのカメラシステムにおいて、焦点検出機構や光学ファインダなどに顔検出を行うための撮像素子を設けてもよい。この場合には、一眼レフタイプの電子カメラでも本発明を実施できる。
【００８１】
（２）上記実施形態では電子カメラで画像の再生などを行う例を説明した。しかし、本発明では、画像ファイルを再生する機能を備える再生専用装置（ビューアー）や、画像再生プログラムを実行する汎用コンピュータで、上記実施形態の電子カメラの編集モードと同様の処理を実行する画像処理装置を構成してもよい。
（３）上記実施形態の撮影モードにおいて、ＣＰＵ２７はレリーズ釦の半押しをトリガとして顔検出処理や顔認識処理などを行うようにしてもよい。
【００８２】
（４）上記実施形態の編集モードにおいて、ＣＰＵ２７は表示Ｉ／Ｆ２２の映像端子を介して、外部の表示装置（テレビなど）に画像を表示させるようにしてもよい。
（５）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、第１メモリ１９と第２メモリ２８とが共通のメモリで構成されていてもよい。また、通信部２５などの一部の構成が省略されていてもよい。
【図面の簡単な説明】
【００８３】
【図１】本実施形態の電子カメラの構成を示すブロック図
【図２】本実施形態の電子カメラでの撮影モードの動作例を説明する流れ図
【図３】本実施形態の電子カメラでの撮影モードの動作例を説明する流れ図
【図４】顔検出時におけるビュー画像の表示例を示す図
【図５】本実施形態の電子カメラでの編集モードの動作例を説明する流れ図
【図６】編集モードにおけるモニタでのメニュー表示の一例を示す図
【符号の説明】
【００８４】
１１…撮影レンズ、１２…レンズ駆動部、１３…絞り、１４…絞り駆動部、１５…撮像素子、２０…画像処理部、２１…記録Ｉ／Ｆ、２２…表示Ｉ／Ｆ、２３…モニタ、２４…操作部、２５…通信部、２６…外部Ｉ／Ｆ、２７…ＣＰＵ、２８…第２メモリ、２９…システムバス、３０…記録媒体、３１…ＡＦ制御部、３２…顔検出部、３３…顔認識部
【特許請求の範囲】
【請求項１】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項２】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記認識対象の被写体のうち、最も撮影画面の中央に近い被写体を主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項３】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
各々の被写体の被写体距離を演算する測距部と、
前記顔領域に対応する被写体のうち、前記認識対象の被写体の基準被写体距離と前記被写体距離との差が許容範囲に収まる被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項４】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記撮影画面上で前記認識対象の被写体から所定範囲内に位置する被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項５】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記顔領域のサイズが閾値以上である被写体を前記認識対象の被写体とともに前記主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項６】
請求項１または請求項２に記載の電子カメラにおいて、
前記主要被写体を基準として合焦制御を実行する合焦制御部をさらに備えることを特徴とする電子カメラ。
【請求項７】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
ユーザーの入力を受け付ける操作部をさらに備え、
前記被写体指定部は、操作部からの入力に基づいて前記主要被写体に指定する被写体の数の上限を変更することを特徴とする電子カメラ。
【請求項８】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
前記画像信号に基づいて前記主要被写体の状態を検出するとともに、該検出状態に応じて電子カメラの撮影動作の制御を行う撮影制御部をさらに備えることを特徴とする電子カメラ。
【請求項９】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
前記撮像素子で撮影した撮影画像のデータに対して、前記主要被写体に対応する領域には他の領域と異なる画像処理を施す画像処理部をさらに備えることを特徴とする電子カメラ。
【請求項１０】
請求項１から請求項５のいずれか１項に記載の電子カメラにおいて、
前記画像信号に基づいて撮影画像のデータを生成する画像処理部と、
前記撮影画像における前記主要被写体を示す付属データを生成するとともに、前記撮影画像のデータに前記付属データを関連付けした画像ファイルを生成する画像ファイル生成部と、
をさらに備えることを特徴とする電子カメラ。
【請求項１１】
電子カメラで生成された撮影画像のデータを読み込むデータ読込部と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記撮影画面上で前記認識対象の被写体から所定範囲内に位置する被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする画像処理装置。
【請求項１２】
電子カメラで生成された撮影画像のデータを読み込むデータ読込部と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記顔領域のサイズが閾値以上である被写体を前記認識対象の被写体とともに前記主要被写体に指定する被写体指定部と、
を備えることを特徴とする画像処理装置。
【請求項１３】
請求項１１または請求項１２に記載の画像処理装置において、
前記撮影画像に対して、前記主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部をさらに備えることを特徴とする画像処理装置。
【請求項１】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記認識対象の被写体のうち、最も至近側に位置する被写体を主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項２】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記認識対象の被写体のうち、最も撮影画面の中央に近い被写体を主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項３】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
各々の被写体の被写体距離を演算する測距部と、
前記顔領域に対応する被写体のうち、前記認識対象の被写体の基準被写体距離と前記被写体距離との差が許容範囲に収まる被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項４】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記撮影画面上で前記認識対象の被写体から所定範囲内に位置する被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項５】
被写体像を光電変換して画像信号を生成する撮像素子と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記画像信号に基づいて撮影画面内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記顔領域のサイズが閾値以上である被写体を前記認識対象の被写体とともに前記主要被写体に指定する被写体指定部と、
を備えることを特徴とする電子カメラ。
【請求項６】
請求項１または請求項２に記載の電子カメラにおいて、
前記主要被写体を基準として合焦制御を実行する合焦制御部をさらに備えることを特徴とする電子カメラ。
【請求項７】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
ユーザーの入力を受け付ける操作部をさらに備え、
前記被写体指定部は、操作部からの入力に基づいて前記主要被写体に指定する被写体の数の上限を変更することを特徴とする電子カメラ。
【請求項８】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
前記画像信号に基づいて前記主要被写体の状態を検出するとともに、該検出状態に応じて電子カメラの撮影動作の制御を行う撮影制御部をさらに備えることを特徴とする電子カメラ。
【請求項９】
請求項３から請求項５のいずれか１項に記載の電子カメラにおいて、
前記撮像素子で撮影した撮影画像のデータに対して、前記主要被写体に対応する領域には他の領域と異なる画像処理を施す画像処理部をさらに備えることを特徴とする電子カメラ。
【請求項１０】
請求項１から請求項５のいずれか１項に記載の電子カメラにおいて、
前記画像信号に基づいて撮影画像のデータを生成する画像処理部と、
前記撮影画像における前記主要被写体を示す付属データを生成するとともに、前記撮影画像のデータに前記付属データを関連付けした画像ファイルを生成する画像ファイル生成部と、
をさらに備えることを特徴とする電子カメラ。
【請求項１１】
電子カメラで生成された撮影画像のデータを読み込むデータ読込部と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記撮影画面上で前記認識対象の被写体から所定範囲内に位置する被写体を、前記認識対象の被写体とともに主要被写体に指定する被写体指定部と、
を備えることを特徴とする画像処理装置。
【請求項１２】
電子カメラで生成された撮影画像のデータを読み込むデータ読込部と、
認識対象となる顔の特徴点を示す登録データを記録したメモリと、
前記撮影画像内の顔領域を検出するとともに、該顔領域から被写体の顔の特徴点を抽出する顔検出部と、
前記顔領域に対応する前記特徴点のデータと前記登録データとに基づいて、前記顔領域が前記認識対象であるか否かを判定する顔認識部と、
前記顔領域に対応する被写体のうち、前記顔領域のサイズが閾値以上である被写体を前記認識対象の被写体とともに前記主要被写体に指定する被写体指定部と、
を備えることを特徴とする画像処理装置。
【請求項１３】
請求項１１または請求項１２に記載の画像処理装置において、
前記撮影画像に対して、前記主要被写体に対応する領域に他の領域と異なる画像処理を施す画像処理部をさらに備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２８２１１８（Ｐ２００７−２８２１１８Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０９００７（Ｐ２００６−１０９００７）
【出願日】平成１８年４月１１日（２００６．４．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月１１日（２００６．４．１１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]