画像処理装置及びプログラム
【課題】画像関連処理を効率良く行って、処理の高速化を図る。
【解決手段】撮像装置１００は、被写体の顔画像を含む画像データから顔画像を検出するとともに、検出された顔画像に関連する各種の顔関連情報を取得する顔検出部７と、顔関連情報と画像データを関連付けて記録する検出情報記憶部８と、処理実行部による画像関連処理の処理条件を指定する操作入力部６と、指定された処理条件に基づいて、顔関連情報と関連付けられた画像データを画像関連処理の処理対象として決定する処理実行部１１とを備えている。
【解決手段】撮像装置１００は、被写体の顔画像を含む画像データから顔画像を検出するとともに、検出された顔画像に関連する各種の顔関連情報を取得する顔検出部７と、顔関連情報と画像データを関連付けて記録する検出情報記憶部８と、処理実行部による画像関連処理の処理条件を指定する操作入力部６と、指定された処理条件に基づいて、顔関連情報と関連付けられた画像データを画像関連処理の処理対象として決定する処理実行部１１とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の顔を認識して画像情報を処理する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した被写体の画像から顔画像を抽出して拡大表示することにより、撮像者が所望の顔画像を容易に撮影できるようにした撮像装置が知られている（例えば、特許文献１参照）。
この撮像装置にあっては、所定のモードが設定された場合のみ拡大したり、複数の顔画像を順番に拡大表示することにより確認することができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０８９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１等の場合、顔を検出しながらユーザにとって利便性の高い処理を実現するようになっているが、顔検出技術はソフトウェアで動作させるには処理の負荷が重く、ハードウェアでの動作でないとストレスを感じるスピードとなっていた。
ところが、ハードウェアを撮像装置に搭載するとなると、検出技術が進化し続ける完成しきった技術でないにも関わらず、かなり早い段階でのＩＣ化を図らなければならないために、あまり推奨されない実装方法とも考えられる。
【０００５】
そこで、本発明の課題は、画像関連処理を効率良く行って、処理の高速化を図ることができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の画像処理装置は、
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段と、
前記画像情報記録手段により記録される前記画像情報から前記顔画像を検出する顔検出手段と、
前記顔検出手段により検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する顔関連情報取得手段と、
前記顔関連情報取得手段により取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する顔関連情報記録手段と、
前記画像情報記録手段に記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う画像処理手段と、
前記画像処理手段による前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する処理条件指定手段と、
前記処理条件指定手段により指定された前記処理条件と前記顔関連情報記録手段に記録された前記顔関連情報とに基づいて、前記顔関連情報記録手段に記録された複数の画像情報の中から前記画像処理手段による前記画像関連処理の処理対象を選択する画像情報選択手段と、
を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記顔検出手段は、１つの画像情報内から複数の顔画像を検出し、
前記顔関連情報取得手段は、１つの画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を取得し、
前記顔関連情報記録手段は、１つの画像情報に対して、当該画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を関連付けて記録することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記画像処理手段は、
前記画像情報記録手段に記録された前記複数の画像情報の中で、前記処理条件指定手段により指定された前記処理条件に応じた所望の画像情報を検索する画像検索手段を備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像処理手段は、
前記画像検索手段により検索された画像情報を、前記処理条件指定手段により指定された前記処理条件に応じて加工する画像加工制御手段を備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記画像加工制御手段は、指定された被写体の顔部分を拡大する加工を行い、
前記画像情報に基づいて画像を表示する画像表示手段と、
前記画像加工制御手段により拡大された顔部分を前記画像表示手段に表示させる画像表示制御手段と、
を更に備えたことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記顔関連情報記録手段に記録された前記顔関連情報と前記画像情報記録手段に記録された前記画像情報を別ファイルとして記憶する別ファイル記憶手段を備えることを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段を備える画像処理装置に、
前記画像情報記録手段に記録される前記画像情報から前記顔画像を検出する機能と、
検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する機能と、
取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する機能と、
記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う機能と、
前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する機能と、
指定された前記処理条件と記録された前記顔関連情報とに基づいて、前記複数の画像情報の中から前記画像関連処理の処理対象を選択する機能と、
を実現させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、画像関連処理を効率良く行って、処理の高速化を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の個人顔ＤＢを模式的に示す図である。
【図３】図１の撮像装置のグループＤＢを模式的に示す図である。
【図４】図１の撮像装置の顔検出部により生成された顔個別検出情報を模式的に示す図である。
【図５】図１の撮像装置の顔検出部により生成された顔全体検出情報を模式的に示す図である。
【図６】図１の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図７】本発明を適用した実施形態２の撮像装置の処理実行部によるスチルインムービー処理に係る動作の一例を示すフローチャートである。
【図８】本発明を適用した実施形態３の撮像装置の処理実行部による画像削除処理に係る動作の一例を示すフローチャートである。
【図９】本発明を適用した実施形態４の撮像装置の概略構成を示すブロック図である。
【図１０】図９の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図１１】図９の撮像装置の処理実行部によるモーションプリント処理により生成される合成画像を模式的に示す図である。
【図１２】図１１のモーションプリント処理に係る動作の一例を示すフローチャートである。
【図１３】図１２のモーションプリント処理の続きを示す図である。
【図１４】本発明を適用した実施形態５の撮像装置の概略構成を示すブロック図である。
【図１５】図１４の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図１６】図１４の撮像装置の処理実行部による自動シャッター処理に係る動作の一例を示すフローチャートである。
【図１７】図１４の撮像装置の処理実行部による焼き増し数設定処理に係る動作の一例を示すフローチャートである。
【図１８】本発明を適用した実施形態６の撮像装置の概略構成を示すブロック図である。
【図１９】図１８の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図２０】本発明を適用した実施形態７の撮像装置による画像検索表示処理に係る動作の一例を示すフローチャートである。
【図２１】変形例の撮像装置の個人顔統合ＤＢを模式的に示す図である。
【図２２】図２１の撮像装置の顔検出部により生成された顔個別検出情報を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１６】
［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置（画像処理装置）１００は、画像データ内から人物の顔を検出（認識）し、この検出（認識）結果を利用して、画像データの撮影処理、閲覧処理、加工処理などの画像データを対象とした様々な処理の自動化を行うものである。
図１に示すように、撮像装置１００は、撮像部１と、画像記録部２と、画像取得制御部３と、個人顔データベース（ＤＢ）４と、グループデータベース（ＤＢ）５と、操作入力部６と、顔検出部７と、検出情報記憶部８と、特定条件判定部９と、表示部１０と、処理実行部１１等を備えている。
【００１７】
撮像部１は、人物等の被写体の静止画像や動画像を撮像する。具体的には、撮像部１は、撮像レンズ１ａと、撮像素子１ｂと、信号処理部１ｃと、画像メモリ１ｄ等を備えている。
【００１８】
撮像レンズ１ａは、フォーカス機能及びズーム機能を有し、複数の撮像レンズから構成されている。
撮像素子１ｂは、撮像レンズ１ａを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等から構成されている。
信号処理部１ｃは、撮像素子１ｂから出力される画像信号に対して所定の画像処理を施すものである。
ここで、撮像レンズ１ａ、撮像素子１ｂ及び信号処理部１ｃは、被写体を撮像して画像情報を生成する撮像手段を構成している。
画像メモリ１ｄは、画像処理後の画像信号を一時的に記憶する。
【００１９】
また、撮像部１は、図示は省略するが、撮像部１による被写体の撮像の際に駆動するフォーカス駆動部やズーム駆動部等を備えている。
フォーカス駆動部は、撮像レンズ１ａに接続されたフォーカス機構部を駆動させる。
ズーム駆動部は、撮像レンズ１ａに接続されたズーム機構部を駆動させる。
【００２０】
画像記録部２は、撮像部１により撮像された静止画像や動画像を画像ファイルとして記録するものである。また、画像記録部２は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。
ここで、画像記録部２は、撮像部（撮像手段）１により生成された画像情報を静止画像として保存する静止画像情報保存手段や、撮像部１により連続して生成された画像情報を動画像として保存する動画像情報保存手段を構成している。
【００２１】
画像取得制御部３は、撮像部１の画像メモリ１ｄ又は画像記録部２から画像データを読み出して処理実行部１１や顔検出部７に出力する。具体的には、画像取得制御部３は、操作入力部６を介したユーザの指示又は処理実行部１１からの要求に応じて、処理実行部１１での各種撮影／画像処理の対象となる複数の画像データを画像メモリ１ｄから逐次取得したり、画像記録部２から順番に読み出して、処理実行部１１及び顔検出部７へ出力する。
【００２２】
個人顔ＤＢ４は、顔画像情報登録手段として、被写体を個人毎にその顔画像に係る顔画像情報を登録するものである。
具体的には、図２に示すように、個人顔ＤＢ４は、被写体の名前と、顔番号と、顔画像データと、顔特徴データと、優先度等を対応付けて記憶している。例えば、被写体として「Ａさん」を例示して説明すると、顔番号「Ａ−１」は、Ａさんを正面から撮像した画像データと、正面から見た顔の特徴（例えば、目の位置、鼻の形状、口の大きさ等）と、顔の向きと対応付けられ、複数のＡさんの画像の中での優先的な処理に係る優先度「２」が対応付けられている。同様に、顔番号「Ａ−２」は、Ａさんを右３０°から撮像した画像データと、右３０°から見た顔の特徴と、複数のＡさんの画像の中での優先度「５（ワースト）」が対応付けられ、顔番号「Ａ−３」は、Ａさんを左１５°から撮像した画像データと、左１５°から見た顔の特徴と、複数のＡさんの画像の中での優先度「１（ベスト）」が対応付けられている。つまり、個人顔ＤＢ４には、顔画像に基づいて個人や顔の向きを特定するための情報が記憶されている。
【００２３】
グループＤＢ５は、顔画像情報登録手段として、被写体を当該被写体の属するグループ毎に登録するものである。
具体的には、図３に示すように、グループＤＢ５は、グループ名と、焼き増し枚数と、メンバー等を対応付けて記憶している。例えば、グループとして「Ａさんの家族」を例示して説明すると、グループ名「Ａさんの家族」は、焼き増し枚数「まとめて１枚」と、メンバー名である「Ａさん」、「Ｃさん」、「Ｄさん」、「Ｅさん」等が対応付けられている。同様に、グループ「Ｂさんの友人」は、焼き増し枚数「別々」と、メンバー名である「Ｂさん」、「Ｃさん」、「Ｆさん」等が対応付けられている。
【００２４】
操作入力部６は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部６は、シャッターボタン、モード切替ボタン、入力ボタン等を備えている。
シャッターボタンは、撮像部１により撮像された被写体の画像情報の記録（保存）を指示するものである。
モード切替スイッチは、撮像モードをスチルインムービー処理モード、モーションプリント処理モード、画像削除処理モード、自動シャッター処理モード、焼き増し数設定処理モード等に切り替えるためのものである。
入力ボタンは、個人顔ＤＢ４やグループＤＢ５の登録内容や特定画像判定条件（後述）等を入力するためのものである。具体的には、入力ボタンは、各被写体（人物）毎に、その顔の向き（顔番号）と対応付けられる優先度を入力する。
ここで、入力ボタン（操作入力部６）は、処理実行部１１による画像情報の処理の実行を指示する被写体の顔の向きを指定する顔向き指定手段を構成している。
【００２５】
操作入力部６の各ボタンから入力された操作信号は、処理実行部１１に出力される。
【００２６】
表示部１０は、撮像部１により撮像された画像を表示するものである。具体的には、表示部１０は、図示は省略するが、表示制御部と、画像表示部等を備えている。
表示制御部は、処理実行部１１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部は、表示制御部からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
【００２７】
顔検出部７は、顔検出機能及び顔認識機能がＯＮ状態にされている場合、画像取得制御部３からの画像データ出力に応じて、この画像データ内の顔画像を個別に検出するとともに、検出した顔画像を個人顔ＤＢ４を参照することにより認識して、後述する顔個別検出情報８ａを逐次出力する。
具体的には、顔検出部７は、先ず、画像取得制御部３が出力する画像データ（画像フレーム）内より全ての顔部分を検出する。例えば、顔検出部７は、全ての肌色領域を検出し、検出された各領域内に目、鼻、ロなどに相当する特徴部分（顔パーツ）があるか否かを判定して、顔パーツがあると判定されれば当該肌色領域を顔画像とみなす。次に、顔検出部７は、検出された各顔画像部分の位置と、肌色領域の面積などから判定されたサイズを顔個別検出情報８ａとして検出情報記憶部８に記憶する。そして、顔検出部７は、各顔画像部分を個人顔ＤＢ４と照合して、最も一致度の高いレコードに対応する人物の名前と、顔番号を顔個別検出情報８ａとして検出情報記憶部８に記憶する。つまり、検出された顔画像と個人顔ＤＢ内の顔画像データとの照合、または検出された顔画像から抽出した特徴データと個人顔ＤＢ内の顔特徴データとの照合により、個人の特定と顔の向きの特定（推定）を同時に行う。なお、所定数以上の人物が登録されていない場合には、一致度は不明とする。
【００２８】
なお、対象となる画像フレームが連続した撮像中に得られたものであれば、顔検出部７は、直前の画像フレームに対応する顔個別検出情報８ａを参照して、当該直前の撮影フレームに対する検出位置のずれなどに基づいて検出済みの顔画像部分に対してトラッキング処理を行う。ここで、顔検出部７は、トラッキング処理にて、例えば、検出済みの顔画像部分を追従するために、画像フレーム内の検出範囲や検出位置、個人顔ＤＢ４との照合範囲や照合順序を限定する等の処理を行うようになっている。このトラッキング処理により各顔部分の動きを特定し、この特定された動きを顔個別検出情報８ａとして検出情報記憶部８に記憶する。
ここで、顔検出部７は、画像データから顔画像を検出する顔検出手段を構成している。また、顔検出部７は、操作入力部６を介して入力された被写体の顔の向きと、当該顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定する顔角度判定手段を構成している。
さらに、顔検出部７は、検出された顔画像と個人顔ＤＢ４に登録された顔画像情報を比較照合する顔照合手段を構成している。
また、顔検出部７は、顔画像に関連する各種の顔関連情報を取得する顔関連情報取得手段を構成している。
【００２９】
以下に、図４を参照して顔検出部７が出力する顔個別検出情報８ａについて説明する。
顔個別検出情報８ａは、図４に示すように、各顔画像部分について、検出番号、位置、サイズ、動き、人物名、個人顔ＤＢ４における顔番号、個人一致度等を対応付けて記憶されている。例えば、検出番号１を例示して説明すると、顔画像部分の位置（座標）「２１３，３７８」と、顔画像部分のサイズ「１２０」、動作状態「右に３０画素／フレーム」と、人物名「不明」等が対応付けられて記憶されている。同様に、検出番号２は、顔画像部分の位置（座標）「５６３，４２３」と、顔画像部分のサイズ「３７５」、動作状態「静止」と、人物名「Ｂさん」と、顔番号「Ｂ−２」と、個人一致度「９０％」等が対応付けられ、検出番号３は、顔画像部分の位置（座標）「７８３，３２４」と、顔画像部分のサイズ「２６５」、動作状態「静止」と、人物名「Ｆさん」と、顔番号「Ｆ−３」と、個人一致度「８５％」等が対応付けられて記憶されている。
【００３０】
また、顔検出部７は、グループＤＢ５を参照して、顔個別検出情報８ａに基づいて画像データ内の全ての顔の検出状況を判断して、顔全体検出情報８ｂを出力する。
具体的には、顔検出部７は、グループＤＢ５を参照して各グループ内の複数のメンバーと検出された複数の被写体（人物）の顔画像とのグループの一致度を算出して、最も一致度の高いグループを特定し、その特定されたグループ名と、その一致度と、該グループに対応する焼き増し枚数を顔全体検出情報８ｂとして検出情報記憶部８に記憶する。ここで、一致度の高低は、一致している人数により判定して、人数が同じならば顔画像の一致度で判断するようになっている。
次に、顔検出部７は、顔個別検出情報８ａを参照して、検出された顔画像の総数を計数して記憶した後、各個人が特定できた顔画像の総数を計数して顔全体検出情報８ｂとして検出情報記憶部８に記憶する。
【００３１】
さらに、顔検出部７は、対象となる画像フレーム中のメイン人物の顔画像を特定して記憶する。メイン人物の特定方法としては、対象となる画像フレームが、連続した撮像中に得られたものである場合、撮影フレームに対する動きが最も少ない顔画像部分をメイン人物の顔画像として特定する一方で、対象となる画像フレームが、連続した撮像中に得られたものでない場合、撮影フレーム内で最も中央に位置するか、或いは最もサイズが大きいか、或いはＡＦ領域内に存在するか等の条件を予め指定された優先順位で評価することによりメイン人物の顔画像を特定する。
また、トラッキング中の複数の顔画像に対して、それぞれの動き方向を顔検出センサーにより定量的なデータで取得するとともに、撮像装置に実装された加速度センサーによって、撮像装置の移動方向を定量的なデータで取得する。そして、撮像装置の移動方向に対して、トラッキング中の顔移動方向が同方向であるのか、それとも別方向なのかをそれぞれの顔画像に対して分析を行い、分析の結果、撮像装置の動きに最も近い顔画像が撮影者にとって撮影したいメイン被写体であると判定する。そして、ＡＦ処理をはじめとして、メイン被写体の撮像に最適な設定を自動設定して、撮影可能な状態にするようにしても良い。
これにより、顔認識時に複数の顔画像を認識してしまうと、どの人物をメイン被写体とすれば良いのか、撮像装置は自動では判断しにくいが、メインで撮影したい被写体に対する当該撮像装置の動きと被写体の動きを判断することにより、メイン被写体を撮像装置が自動で判断することができることとなる。
そして、メイン人物の顔画像と最も一致度が高かった顔番号に対応する優先度を、個人顔ＤＢ４を参照して特定し、顔全体検出情報８ｂとして検出情報記憶部８に記憶する。
また、各顔画像の中での絶対的な動きが最も大きい顔画像の動きを顔画像全体の動きとして記憶する。ここで、顔画像の絶対的な動きとは、顔画像の大地に対する動きであり、カメラに内蔵した加速度センサ（図示略）の情報やズーム倍率で示される画角情報などに基づいて、撮影フレームに対する各顔画像の動きを大地に対する絶対的な動きに変換する方法などにより取得される。
【００３２】
以下に、図５を参照して顔検出部７が出力する顔全体検出情報８ｂについて説明する。
顔全体検出情報８ｂは、図５に示すように、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、優先度、焼き増し枚数等が対応付けられたものである。例えば、顔全体検出情報８ｂとして、顔検出総数「７」と、個人認識総数「３」、グループ「Ｂさん家族」、グループ一致度「８０％」、全体の動き「動く顔あり」、メイン人物「Ｂさん」等が対応付けられたものが記憶されている。
【００３３】
検出情報記憶部８は、顔個別検出情報８ａ及び顔全体検出情報８ｂを一時記憶し、画像取得制御部から新たな画像データが出力される毎に顔検出部７により更新される。また、検出情報記憶部８は、この顔個別検出情報８ａ及び顔全体検出情報８ｂを後に利用するためにファイル保存が指示された場合には、顔個別検出情報８ａ及び顔全体検出情報８ｂを画像ファイルと同じファイル名称で別拡張子のファイルとして記憶（保存）される。
ここで、検出情報記憶部８は、顔検出部７により取得された顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）と画像記録部２に記録される画像ファイルを関連付けて記録する顔関連情報記録手段を構成している。
【００３４】
特定条件判定部９は、スチルインムービー処理等の処理実行部１１による各種処理の実行条件を判定するものである。即ち、特定条件判定部９は、顔検出部７から新たな顔個別検出情報８ａ及び顔全体検出情報８ｂが出力されるのに応じて、この顔個別検出情報８ａ及び顔全体検出情報８ｂと設定されている特定条件判定情報９ａが一致するか否かを判定して、一致した場合には、当該一致した画像データや一致したタイミングを指示する指示情報を逐次出力する。
ここで、特定条件判定部９は、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１による処理対象となる画像情報を決定する処理対象決定手段を構成している。
【００３５】
ここで、図６を参照してユーザが任意に設定することができる特定条件判定情報９ａの一例について説明する。
特定条件判定情報９ａは、図６に示すように、例えば、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。この特定条件判定情報９ａは、処理実行部１１に実行させる処理の内容や目的に応じてユーザが任意に設定したり自動的に設定されるものであり、例えば、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度１」等が対応付けられたものが記憶されている。
なお、画像取得制御部３から出力される画像データに対応する顔個別検出情報８ａ及び顔全体検出情報８ｂが既に顔情報ファイル（後述）として記録されている場合には、顔検出部７による顔個別検出情報８ａ及び顔全体検出情報８ｂの更新を行わず、特定条件判定部９は、顔情報ファイル内に既に記録されている顔個別検出情報８ａ及び顔全体検出情報８ｂを用いて判断する。
【００３６】
処理実行部１１は、ユーザの実行指示に応じて、画像データの撮影処理（スチルインムービー処理、静止画撮影処理など）や、画像データの閲覧処理（画像検索処理、画像表示処理など）や、画像データの加工処理（モーションプリント処理、画像削除処理、焼き増し数の設定処理など）などの画像データを対象とした様々な処理を行うものである。これらの処理においては、複数の画像データを対象とした処理を行うが、特定の画像データ又は特定のタイミングを他の画像データや他のタイミングとは異なる扱いで処理する。通常は、この特定の画像データや特定のタイミングはユーザの手動操作によって指示されるものであるが、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態に設定されている場合には、この特定の画像データや特定のタイミングは特定条件判定部９によって自動的に指示される。
処理実行部１１は、処理対象となる複数の画像データを、ユーザ指示による手動決定、または実行内容や目的に応じて自動的に決定し、画像取得制御部３に対して処理対象となる複数の画像データを取得するように要求する。そして、この要求に応じて画像取得制御部３が出力する複数の画像データを対象とした処理を実行し、特定条件判定部９より指示される指示情報に係る画像データ又はタイミングを特定画像データ又は特定タイミングであるとして、他の画像データや他のタイミングとは異なる扱いで処理する。
【００３７】
以上のように、実施形態１の撮像装置１００によれば、画像データ内に検出（認識）される被写体（人物）の顔に係る情報を利用して、画像データを対象とした様々な処理を自動化することができ、また、顔に係る情報を用いた自動化の条件を柔軟かつ容易に設定することができる。
【００３８】
［実施形態２］
実施形態２は、実施形態１の撮像装置１００を、スチルインムービー処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて動画撮影中に静止画像を撮影するタイミングを自動決定できるようにしたものである。
この実施形態２では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００３９】
特定条件判定部９は、処理実行部１１によりスチルインムービー処理が実行される場合に、保存画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、画像記録部２に保存される連続する複数の画像フレーム（動画像データ）のうち、画像記録部２に静止画像として保存される所定の画像フレームを決定する。即ち、特定条件判定部９は、撮像部１による動画像の撮像中に、特定条件判定情報９ａのメイン人物の顔状態に対応する優先度１の顔の向きの画像フレームを取得した場合に、当該画像フレームを保存対象静止画像として決定する指示に係る指示情報を処理実行部１１に出力する。
ここで、スチルインムービー処理とは、動画撮影中に静止画を撮影する機能であり、自動化されていない通常のスチルインムービー処理の場合には、動画撮影中に撮影者がシャッターを押下すると動画撮影を一時的に中断して静止画の撮影記録を行い、静止画撮影の後、動画撮影を再開するものである。
【００４０】
次に、図７を参照して自動化されたスチルインムービー処理について説明する。
図７に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいてスチルインムービー処理モードに設定する。このとき、動画撮影中に静止画を撮影する条件についても特定条件判定情報９ａに設定する。ここでは、動画撮影中にＢさんの顔の向きがお気に入りの顔の向きとなった場合に静止画を撮影記録するものとし、特定条件判定情報９ａのメイン人物を「Ｂさん」に、メイン人物の顔状態を「優先度１」に設定する。なお、スチルインムービー処理モードが設定された場合にはデフォルトで「優先度１」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする（ステップＳ１）。
次に、処理実行部１１は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態であるか否かを判断し、ＯＮ状態である場合には、以下の自動化されたスチルインムービー処理を実行する。なお、ＯＦＦ状態である場合には、通常のスチルインムービー処理を実行する。
【００４１】
処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作（動画撮影の開始及び終了指示）に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られる画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ２）。
【００４２】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、前記指示に対応して画像取得制御部３から逐次出力される画像データ（画像フレーム）とを比較照合して（ステップＳ３）、顔個別検出情報８ａを出力する（ステップＳ４）。
そして、特定条件判定部９は、顔検出部７から出力された顔個別検出情報８ａを入力し、この顔個別検出情報８ａに基づいて、特定条件判定情報９ａに指定された優先度（ここでは最もお気に入りの顔の向きに対応する優先度１）の顔の向きの画像情報と一致するか否かを判定する（ステップＳ５）。ここで、優先度１の顔の向きの画像情報と一致すると判定されると（ステップＳ５；ＹＥＳ）、特定条件判定部９は、一致した画像データを静止画撮像の対象画像として指定する指示情報を出力する。または、この一致したタイミングを静止画像の撮影タイミングとして指定する指示情報を出力する（ステップＳ６）。
【００４３】
処理実行部１１は、特定条件判定情報９ａから出力された指示情報が入力されると、当該指示情報に係る画像フレームを自動的に静止画像として取得する。または、当該指示情報に係る撮影タイミングで自動的に静止画像を撮影して記録する（ステップＳ７）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ８；ＹＥＳ）。
【００４４】
次に、処理実行部１１は、画像取得制御部３から出力された複数の画像フレームを動画ファイルに加工して画像記録部２に記録させるとともに、撮像された画像データを個別の静止画像として画像記録部２に記録させる（ステップＳ９）。
これにより、スチルインムービー処理を終了する。
【００４５】
以上のように、実施形態２の撮像装置１００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
また、実施形態２では、スチルインムービー処理を自動化することができ、被写体のお気に入り（好み）の顔の角度の優先度を高くして特定条件判定情報９ａに設定しておくことにより、当該顔の角度の画像データが撮像部１により生成されると、自動的に取得して画像記録部２に記録させることができ、より利便性の高い撮像装置を提供することができる。
【００４６】
［実施形態３］
実施形態３は、実施形態１の撮像装置１００を、画像削除処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて削除対象となる画像を自動決定できるようにしたものである。
この実施形態３では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００４７】
特定条件判定部９は、処理実行部１１により画像削除処理が実行される場合に、削除画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１により削除される画像情報を決定する。即ち、特定条件判定部９は、特定条件判定情報９ａの削除対象画像（図示略）に対応する優先度の最も低い顔の向きの画像情報を取得した場合に、当該画像情報を削除対象画像として決定する指示に係る指示情報を処理実行部１１に出力する。
【００４８】
処理実行部１１は、画像削除手段として、画像記録部２に保存された画像情報を削除する。具体的には、処理実行部１１は、削除対象となる画像情報を実際に削除したり、削除対象となる画像情報をリストアップする。
【００４９】
次に、図８を参照して自動化された画像削除処理について説明する。
なお、以下の画像削除処理にあっては、削除対象としたい人物を予め選択しておき、当該人物の最も低い優先度（例えば、優先度５）の顔の向きとともに特定条件判定情報９ａとして登録されているものとする。なお、画像削除処理モードが設定された場合にはデフォルトで「優先度５」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする。
【００５０】
図８に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて画像削除処理モードに設定する（ステップＳ１１）。
次に、処理実行部１１は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態であるか否かを判断し、ＯＮ状態である場合には、以下の自動化された画像削除処理を実行する（ＯＦＦ状態である場合には、通常の画像削除処理を実行する）。
処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、画像記録部２に記録されている画像ファイルのうち、指定された画像集合（グループ）内の画像ファイルを順に出力するように画像取得制御部３に対して指示する（ステップＳ１２）。
【００５１】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、前記指示に対応して画像取得制御部３から逐次出力される画像ファイルとを比較照合して（ステップＳ１３）、顔個別検出情報８ａを出力する（ステップＳ１４）。
そして、特定条件判定部９は、顔検出部７から出力された顔全体検出情報８ｂを入力し、この顔全体検出情報８ｂに基づいて、特定条件判定情報９ａに指定された優先度（ここでは最も写りの悪い顔の向きに対応する優先度５）の顔の向きの画像情報と一致するか否かを判定する（ステップＳ１５）。ここで、優先度５の顔の向きの画像情報と一致すると判定されると（ステップＳ１５；ＹＥＳ）、特定条件判定部９は、一致した画像データを画像削除の対象画像として指定する指示情報を出力する（ステップＳ１６）。
【００５２】
処理実行部１１は、特定条件判定情報９ａから出力された指示情報が入力されると、当該指示情報に係る画像ファイルを削除対象画像として取得して、削除リストに追加する（ステップＳ１７）。
上記の処理を画像取得制御部３からの画像ファイルの出力が終了するまで繰り返す（ステップＳ１８；ＹＥＳ）。
【００５３】
そして、処理実行部１１は、削除前のユーザ確認モードが設定されているか否かを判定して（ステップＳ４９）、ユーザ確認モードが設定されていないならば（ステップＳ１９；ＮＯ）、削除リストにリストアップされた画像ファイルを直ちに（自動的に）削除する（ステップＳ２０）。
一方、ユーザ確認モードが設定されているならば（ステップＳ１９；ＹＥＳ）、削除リストを一覧表示して、ユーザの指示に応じて削除する（ステップＳ２１）。
これにより、画像削除処理を終了する。
【００５４】
以上のように、実施形態３の撮像装置１００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
また、実施形態３では、画像削除処理を自動化することができ、被写体のそれほど好きではない顔の角度の優先度を低くして特定条件判定情報９ａに設定しておくことにより、当該顔の角度の画像ファイルを画像記録部２から取得して、自動的に削除候補としてリストアップすることができ、ユーザの好きな顔のみの画像を画像記録部２に残すことができることとなって、より利便性の高い撮像装置を提供することができる。
【００５５】
［実施形態４］
実施形態４は、実施形態１の撮像装置１００を、モーションプリント処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じてモーションプリント処理におけるメイン画像や周囲画像を自動決定できるようにしたものである。
この実施形態４では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００５６】
ここで、モーションプリント処理とは、動画データ内から抽出した複数のフレーム画像を所定のレイアウトで配置および合成して１枚の静止画を生成（印刷）するものであり、自動化されていないモーションプリント処理の場合には、上記所定のレイアウトにおいてメインに配置される（例えば中央に配置される）フレームをユーザが選択するものである。
【００５７】
実施形態４では、図９に示すように、複数の判定条件９０１〜９０ｎから構成された特定条件判定情報２０９ａを記憶し、処理実行部１１は、各判定条件に従ってモーションプリント処理を行う。
【００５８】
特定条件判定情報２０９ａは、図１０（ａ）に示すように、例えば、各条件番号（判定条件）と、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。また、各条件番号は、図１０（ｂ）に示すように、起動中の各処理と、特定画像（特定タイミング）の扱い等が対応付けられている。
例えば、特定条件判定情報２０９ａとして、条件番号１の判定条件は、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度１」と、起動中の処理「モーションプリント」と、特定画像を「メイン画像Ｍ」として扱うことが対応付けられている。同様に、条件番号２の判定条件は、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度２〜４」と、起動中の処理「モーションプリント」と、特定画像を「周囲（サブ）画像」として扱うことが対応付けられている。
【００５９】
特定条件判定部９は、処理実行部１１によりモーションプリント処理が実行される場合に、主画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１により生成される合成画像の主画像に係る画像情報を決定する。即ち、特定条件判定部９は、撮像部１による連続する複数の画像の撮像中に、特定条件判定情報２０９ａのメイン人物の顔状態に対応する優先度１の顔の向きの画像情報を取得した場合に、当該画像情報をメイン画像Ｍとして決定する指示に係る指示情報を処理実行部１１に出力する。
【００６０】
即ち、処理実行部１１は、合成画像生成手段として、連続する複数の画像フレーム（動画像データ）から一の合成画像を生成する。具体的には、処理実行部１１は、複数の画像フレームの中から、メイン画像Ｍとなる画像フレームを一つ選択するとともに、当該メイン画像Ｍの周囲に配置されるサブ画像Ｓとなる画像フレームを所定数選択する（図１１参照）。
ここで、処理実行部１１は、特定条件判定部９により一致すると判定された条件に対応する動作を選択的に実行するようになっている。
【００６１】
以下に、図１２及び図１３を参照してモーションプリント処理について説明する。
なお、モーションプリント処理は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態で実行されるものとする。
【００６２】
図１２に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいてモーションプリント処理モードに設定する（ステップＳ３１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られる画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ３２）。
【００６３】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して（ステップＳ３３）、顔全体検出情報８ｂを出力する（ステップＳ３４）。
そして、特定条件判定部９は、顔検出部７から出力され入力された顔全体検出情報８ｂに基づいて、特定条件判定情報２０９ａの条件番号１に係るメイン人物の顔状態に対応する優先度１の顔の向きの画像情報と一致するか否かを判定する（ステップＳ３５）。ここで、優先度１の顔の向きの画像情報と一致すると判定されると（ステップＳ３５；ＹＥＳ）、特定条件判定部９は、一致した画像データをメイン画像Ｍとして指定する指示情報を出力する（ステップＳ３６）。
また、ステップＳ３５にて、優先度１の顔の向きの画像情報と一致しないと判定されると（ステップＳ３５；ＮＯ）、特定条件判定部９は、特定条件判定情報２０９ａの条件番号１に係るメイン人物の顔状態に対応する優先度２〜４の顔の向きの画像情報と一致するか否かを判定する（ステップＳ３７）。ここで、優先度２〜４の顔の向きの画像情報と一致すると判定されると（ステップＳ３７；ＹＥＳ）、特定条件判定部９は、一致した画像データをメイン画像Ｍの周辺に配置されるサブ画像Ｓとして指定する指示情報を出力する（ステップＳ３８）。
【００６４】
処理実行部１１は、特定条件判定部９から出力された指示情報が入力されると、特定条件判定情報２０９ａの各条件番号に一致することを示すフラグを該当する画像フレームに付加する（ステップＳ３９）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ４０；ＹＥＳ）。
【００６５】
次に、処理実行部１１は、画像取得制御部３から出力された複数の画像フレームをフラグの情報とともに動画ファイルに加工して画像記録部２に記録させる（ステップＳ４１）。
【００６６】
直ちにプリントを実行することが指示されていない場合には、図１３に示す処理は、ユーザからの指示に応じて後日、任意のタイミングで実行する。
図１３に示すように、実行処理部は、動画ファイル内に含まれる複数の画像フレームを所定のレイアウト情報に従って配置合成する際に、条件番号１に対応するフラグが付加されている画像フレームをメイン画像Ｍとして中央位置に最も大きいサイズで配置する（ステップＳ４２）。
次に、処理実行部１１は、条件番号２に対応するフラグが付加されている画像フレームをサブ画像Ｓとしてレイアウト情報に従ってメイン画像Ｍの周辺に小さく配置して合成する（ステップＳ４３）。
【００６７】
処理実行部１１は、配置合成された１枚の合成画像をユーザからの指示に従って画像記録部２に記録させたり、或いは、当該撮像装置と接続された印刷機器を用いて印刷する（ステップＳ４４）。
これにより、モーションプリント処理を終了する。
【００６８】
以上のように、実施形態４の撮像装置２００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
即ち、モーションプリント処理にて、被写体のお気に入り（好み）の顔の角度の優先度を高くして特定条件判定情報２０９ａに設定しておくことにより、当該顔の角度の画像データが撮像部１により生成されると、メイン画像Ｍとして自動的に取得することができ、より利便性の高い撮像装置を提供することができる。また、特定条件判定情報２０９ａの判定条件を複数として、メイン画像Ｍの周辺に配置されるサブ画像Ｓの優先度をメイン画像Ｍの優先度よりも低くすることにより、サブ画像Ｓを自動的に取得することができる。
従って、メイン画像Ｍ及びサブ画像Ｓが所定の位置に適正に配置されたモーションプリントを自動的に作成することができる。
【００６９】
なお、ステップＳ３２にて、画像取得制御部３は、撮像部１により取得された画像データを逐次出力するようにしたが、これに限られるものではなく、画像記録部２に記録され、ユーザによって指示された画像集合（グループ）内の画像ファイルを順番に出力するようにしても良い。
【００７０】
また、上記のモーションプリント処理にあっては、操作入力部６の所定の入力ボタンの所定操作に基づいて、モーションプリント処理の対象となる被写体の人物名（例えば、「Ａ子さん」）が設定されると、顔検出部７は、個人顔ＤＢ４の複数の顔画像情報のうち、当該人物に係る顔画像情報を優先的に選択して比較照合用のデータとして取得するようにしても良い。これにより、当該人物に係る顔画像情報を優先的に処理対象とすることができる。
【００７１】
さらに、特定条件判定情報２０９ａの条件番号２に従って、サブ画像Ｓを選択して取得するようにしたが、これに限られるものではなく、例えば、メイン画像Ｍに対して一定間隔を空けて配置された画像フレームや前後との変化量の多い画像フレームを選択するようにしても良い。
【００７２】
また、上記実施形態にあっては、複数の判定条件９０１〜９０ｎに応じた処理をモーションプリント処理に適用して説明したが、これに限られるものではなく、例えば、スチルインムービー処理、自動シャッター処理、画像削除処理等の各種の処理に適用するようにしても良い。
【００７３】
［実施形態５］
実施形態５は、実施形態１の撮像装置１００を、集合写真の撮影や集合写真の撮影に関連した関連処理の自動化に適用したものであり、特に、撮影フレーム内に検出（認識）される集合写真のメンバーが所定の状態となった場合に自動的に静止画を撮影したり、静止画撮影に関連した関連処理を行うようにしたものである。
この実施形態５では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００７４】
実施形態５の撮像装置３００は、図１４に示すように、複数の判定条件９０１〜９０ｎから構成された特定条件判定情報３０９ａを記憶し、処理実行部１１は、各判定条件に従って自動シャッター処理や当該処理に関連した関連処理を行う。
【００７５】
即ち、特定条件判定情報３０９ａは、図１５（ａ）及び図１５（ｂ）に示すように、例えば、条件番号１の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「７０〜８０％」と、起動中の処理「自動撮影」と、特定タイミングで「グループのメンバーが足りないことの警告」を行うことが対応付けられている。同様に、条件番号２の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「８０％以上」と、全体の動き「動き有り」と、起動中の処理「自動撮影」と、特定タイミングで「グループのメンバー全員が静止していないことの警告」を行うことが対応付けられている。同様に、条件番号３の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「８０％以上」と、全体の動き「動き無し」と、起動中の処理「自動撮影」と、特定タイミングで「撮影記録」を行うことが対応付けられている。
ここで、グループ一致度「７０〜８０％」は、例えばＢさんの家族が全員で４人である場合に、カメラを操作する一人の撮影者を除く全てのメンバーが揃ったときに合致するように設定された数値であり、グループ一致度「８０％以上」は、４人全員が揃ったときに合致するように設定された数値である。このグループ一致度は、グループ全体の人数に応じて変更されるものであり、パーセンテージではなく人数を指定するようにしてもよい。
【００７６】
特定条件判定部９は、処理実行部１１により自動シャッター処理が実行される場合に、保存画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、画像記録部２に保存される画像情報を決定する。即ち、特定条件判定部９は、撮像部１によるスルー画像の撮像中に、特定条件判定情報３０９ａのグループ「Ｂさんの家族」のグループ一致度が８０％以上となって、且つ、全体の動きがなくなった状態の画像情報を静止画像として決定する指示に係る指示情報を処理実行部１１に出力する。
【００７７】
処理実行部１１は、撮像関連処理実行手段として、顔検出部７により照合された顔画像の数に応じて、撮像部１による被写体の撮像に関連する撮像関連処理を実行する。即ち、処理実行部１１は、顔検出部７により検出された顔画像と個人毎及びグループ毎の照合結果に応じて、即ち、個人顔ＤＢ４に登録された顔画像情報やグループＤＢ５のメンバーとの照合結果に応じて、例えば、顔検出部７により所定のグループのメンバーの顔画像が照合されてグループ一致度が所定割合以上となって、且つ、全体の動きがなくなった場合に、撮像部１による被写体の撮像を自動的に行わせる自動シャッター処理を実行する。
【００７８】
処理実行部１１は、焼き増し数設定手段として、撮像部１により撮像された画像データの焼き増し数を設定する。具体的には、処理実行部１１は、顔検出部７により検出された顔画像と個人毎及びグループ毎の照合結果に応じて、即ち、個人顔ＤＢ４に登録された顔画像情報やグループＤＢ５のメンバーとの照合結果に応じて焼き増し数を設定する。
【００７９】
次に、図１６を参照して自動シャッター処理について説明する。
なお、自動シャッター処理は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態で実行されるものとする。
【００８０】
図１６に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて自動シャッター処理モードに設定する（ステップＳ５１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られるモニタ表示用の画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ５２）。
【００８１】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して、顔個別検出情報８ａを出力する（ステップＳ５３）。また、顔検出部７は、グループＤＢ５を参照して、各グループ内の複数のメンバーと検出された複数の人物とを照合して、顔全体検出情報８ｂを出力する（ステップＳ５４）。
【００８２】
そして、特定条件判定部９は、顔検出部７から出力され入力された全体検出情報８ｂに基づいて、特定条件判定情報３０９ａの条件番号１または条件番号２に規定された各判定条件と一致するか否かを判定する（ステップＳ５５）。ここで、条件番号１の各判定条件と一致すると判定されると（ステップＳ５５；ＹＥＳ）、特定条件判定部９は、画像データが一致したタイミングで「メンバーが足りないことの警告」を発する指示情報を出力する。また、条件番号２の各判定条件と一致すると判定された場合は、「グループのメンバー全員が静止していないことの警告」を発する指示情報を出力する（ステップＳ５６）。 また、ステップＳ５５にて、条件番号１、条件番号２の各判定条件と一致しないと判定されると（ステップＳ５５；ＮＯ）、特定条件判定部９は、特定条件判定情報３０９ａの条件番号２に規定された各判定条件と一致するか否かを判定する（ステップＳ５７）。ここで、条件番号２の各判定条件と一致すると判定されると（ステップＳ５７；ＹＥＳ）、特定条件判定部９は、画像データが一致したタイミングで「撮影記録」を行うことの指示情報を出力する（ステップＳ５８）。
【００８３】
処理実行部１１は、特定条件判定情報３０９ａから出力された「警告」に係る指示情報が入力されると、表示部１０を制御して所定の警告画面を表示させたり、スピーカ（図示略）から所定の警告音を発生させる（ステップＳ５９）。
また、処理実行部１１は、特定条件判定情報３０９ａから出力された「撮影記録」に係る指示情報が入力されると、当該指示情報に係る画像フレームを静止画像として取得する（ステップＳ６０）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ６１；ＹＥＳ）。
【００８４】
次に、処理実行部１１は、撮像された画像データを個別の静止画像として画像記録部２に記録させる（ステップＳ６２）。
これにより、自動シャッター処理を終了する。
【００８５】
次に、図１７を参照して焼き増し数設定処理について説明する。
なお、以下の焼き増し数設定処理にあっては、特定条件判定情報３０９ａに所定のグループ（例えば、「Ａさんの家族」）が予め登録されているものとする。
【００８６】
図１３に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて焼き増し数設定処理モードに設定する（ステップＳ７１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、画像記録部２に記録されている画像ファイルのうち、指定された画像集合（グループ）内の画像ファイルを順に出力するように画像取得制御部３に対して指示する（ステップＳ７２）。
【００８７】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して、顔個別検出情報８ａを出力する（ステップＳ７３）。また、顔検出部７は、グループＤＢ５を参照して、各グループ内の複数のメンバーと検出された複数の人物とを照合して、顔全体検出情報８ｂを出力する（ステップＳ７４）。
そして、特定条件判定部９は、顔検出部７から出力され入力された顔個別検出情報８ａ及び顔全体検出情報８ｂに基づいて、特定条件判定情報３０９ａに規定された所定のグループと一致するか否かを判定する（ステップＳ７５）。ここで、所定のグループと一致すると判定されると（ステップＳ７５；ＹＥＳ）、特定条件判定部９は、顔全体検出情報８ｂの個人認識総数から「グループのメンバー数−１」を減算した値を焼き増し数として設定する（ステップＳ７６）。
一方、所定のグループと一致しないと判定されると（ステップＳ７５；ＮＯ）、特定条件判定部９は、顔全体検出情報８ｂの個人認識総数に対応する値を焼き増し数として設定する（ステップＳ７７）。
これにより、焼き増し数設定処理を終了する。
【００８８】
以上のように、実施形態５の撮像装置３００によれば、顔検出部７により照合された顔画像の数及び顔画像の動き量に応じて、撮像部１による被写体の撮像に関連する撮像関連処理を実行することができるので、顔認識技術を活用して複数の被写体の撮像を効果的に行うことができる。即ち、顔検出部７により検出された顔画像と個人顔ＤＢ４及びグループＤＢ５に登録された顔画像情報との比較照合を個人毎及びグループ毎に行うことができ、グループのメンバーのうち、一致度が所定の割合以上となって、且つ、顔画像の動きがなくなった状態で、自動的にシャッターをきって静止画像を撮像することができる。これにより、集合写真の撮像を失敗することなく適正に撮像することができる。例えば、集合写真の撮影において、一人を除く全てのメンバーがカメラの前に集合したときに警告を行えば、あと一人が揃えば自動的に撮影が行われることを知って事前に笑顔を作るなどの準備をすることができ、また、全てのメンバーが揃っても、メンバー全員が静止していない場合に警告を行うので、必要なタイミングで動くのを止めることができ、また、全てのメンバーが揃い、かつ、メンバー全員が静止した場合に自動撮影を行うので、カメラの操作者が撮影フレーム内に入ってきたばかりでまだ動いている状態で撮影されてしまうようなことがなくなる。
【００８９】
また、焼き増し数自動設定処理にて、所定のグループをグループＤＢ５に登録しておくことにより、当該グループの認識を行ってグループ全体で必要とする焼き増し数を予め設定しておくことができ、例えば、同居している家族では人数分の写真を必要としないので一枚として設定するなどの面倒な焼き増し数の設定を自動的に行うことができる。
【００９０】
また、上記の自動シャッター処理にあっては、グループ一致度が８０％以上で、その他の条件が揃った場合に、自動で撮像を行うようにしたが、これに限られるものではなく、顔検出部７により個人顔ＤＢ４に登録された複数の顔画像情報が全て照合された場合に撮像を行うようにしても良い。
これにより、自動シャッター処理をセルフタイマー撮影と組み合わせて行う場合に、より失敗のない記念撮影等を行うことができることとなって、撮像装置の利便性をより向上させることができる。
【００９１】
さらに、上記の自動シャッター処理にあっては、登録してある顔以外の人がピンボケになってしまうことを防止するため、パンフォーカスモードに切り替えて撮影するようにしても良い。即ち、複数の人が写っている場合、奥行き方向に並んでしまうと、ピンボケを起こす可能性が高くなってしまうので、顔を検出し更に認識した顔の大きさを持って自動判定を行う。
具体的には、顔検出部７が、撮像装置に既に登録済みの顔画像を１個以上照合した場合には、検出した全ての顔サイズを取得する。そして、個人顔ＤＢ４との照合において、２個以上の顔画像が認識された場合には、登録済みの顔画像で、且つ、画像フレーム内に認識された顔サイズの一番小さいもの、つまり、一番遠いところにいる人と、個人顔ＤＢ４には登録されていないが、検出されたその他の顔画像のサイズとの比較を行う。ここで、登録していない顔画像の方が一つでもある一定以上の大きさの差があれば、パンフォーカスモードに切り替える。また、個人顔ＤＢ４との照合において、１個の顔画像が認識できた場合には、検出した全ての顔サイズとの比較を行い、認識できた顔画像よりも一つでも大きいサイズの顔画像が存在すればパンフォーカスモードに切り替える。
これにより、集合写真などで登録されていない人物がピンぼけになってしまう撮像を、パンフォーカスにすることにより回避することができ、より利便性の高い撮像装置を提供することができる。
【００９２】
また、上記実施形態にあっては、連写撮像中に、画像フレーム内に検出された顔画像が個人顔ＤＢ４に登録済みの顔画像である場合であって、当該顔画像がｎ個（ｎ≧１）以上存在すると認識されると、登録済みと照合された顔画像に対してトラッキング処理を開始し、ｎ個の顔画像がトラッキングできている間、自動シャッターで撮像を行う。そして、撮像終了直後に、トラッキングできているか否かを確認して、ｎ個の顔がトラッキングできなくなるまで撮像を連続する。
これにより、顔画像をトラッキングできている間、撮像を連続して行うことができ、登録済みの顔画像の被写体の様々な表情を撮像し易くすることができる。
【００９３】
なお、上記実施形態にあっては、複数の判定条件９０１〜９０ｎに応じた処理を自動シャッター処理や焼き増し数設定処理に適用して説明したが、これに限られるものではなく、例えば、モーションプリント処理、スチルインムービー処理、画像削除処理等の各種の処理に適用するようにしても良い。
【００９４】
［実施形態６］
実施形態６は、実施形態１の撮像装置１００を、各種撮影モード設定処理や各種撮影条件設定処理の自動化に適用したものであり、特に、撮影フレーム内に検出された複数の人物（顔）に対する個人特定（認識）やグループ特定の状況に応じて設定すべき撮影モードや撮影条件を自動決定するようにしたものである。
この実施形態６では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００９５】
実施形態６の撮像装置４００は、図１８に示すように、顔個別検出情報８ａ及び顔全体検出情報８ｂから顔情報ファイルを生成して記録する顔情報保存制御部１２を備えている。
即ち、顔情報保存制御部１２は、顔個別検出情報８ａ及び顔全体検出情報８ｂを他の撮像装置にて再利用可能な形態である顔情報ファイル１２ａとして記録保存する。具体的には、顔情報保存制御部１２は、撮像装置４００本体に対して着脱自在なメモリカード等を備え、当該メモリカードに、顔情報ファイル１２ａ（顔個別検出情報８ａ及び顔全体検出情報８ｂ）と、当該顔情報ファイル１２ａと対応付けられている画像ファイルを記憶するようになっている。
ここで、顔情報保存制御部１２は、顔情報ファイル１２ａと画像ファイルを別ファイルとして記憶する別ファイル記憶手段を構成している。
【００９６】
また、顔個別検出情報８ａ及び顔全体検出情報８ｂを顔情報ファイル１２ａとして統合した場合には、特定条件判定情報４０９ａは、図１９（ａ）に示すように、例えば、各条件番号（判定条件）と、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。また、各条件番号は、図１９（ｂ）に示すように、起動する各処理と、起動処理条件等が対応付けられている。
例えば、特定条件判定情報４０９ａとして、条件番号１の判定条件は、顔検出総数「０」と、個人認識総数「０」と、起動する処理「風景撮影モード」等が対応付けられている。同様に、条件番号２の判定条件は、顔検出総数「１」と、個人認識総数「０」と、メイン人物のサイズ「２０％以上」と、起動する処理「単数人物撮影モード」と、処理条件「認識された人物にピントを合わせる」等が対応付けられている。同様に、条件番号３の判定条件は、顔検出総数「２以上」と、個人認識総数「０」と、全体の動き「速い」と、起動する処理「スポーツ撮影モード」等が対応付けられている。同様に、条件番号４の判定条件は、顔検出総数「１以上」と、個人認識総数「１」と、起動する処理「スナップ撮影モード」と、処理条件「メイン人物にピントを合わせる」等が対応付けられている。同様に、条件番号５の判定条件は、個人認識総数「２以上」と、起動する処理「集合写真撮影モード」等が対応付けられている。同様に、条件番号６の判定条件は、個人認識総数「２以上」と、全体の動き「有り」と、起動する処理「自動連写可能モード」と、処理条件「一定時間毎に撮影繰り返す」等が対応付けられている。同様に、条件番号７の判定条件は、個人認識総数「１以上」と、メイン人物「不明」と、起動する処理「ＡＦモード」と、処理条件「認識された個人とメイン人物の中間にフォーカスを設定」等が対応付けられている。同様に、条件番号８の判定条件は、グループ一致度「８０％以上」と、メイン人物「不明」と、起動する処理「パンフォーカスモード」と、処理条件「グループ全員とメイン人物を含むようにフォーカスを設定」等が対応付けられている。
【００９７】
特定条件判定部９は、顔検出部７から出力された顔全体検出情報８ｂと特定条件判定情報４０９ａとを常に比較し、一致する条件があった場合には、その一致する条件番号を出力する。
【００９８】
処理実行部１１は、特定条件判定部９から条件番号が出力されると、その条件番号に対応する撮影モードまたは撮影条件への切り換えを行う。
図１９に示すような特定条件判定情報４０９ａが設定されている場合には、撮影フレーム内に１つも顔が検出されていない場合にはフォーカスを遠景に設定するなどの風景撮影モードに自動的に切り換え、ある程度の大きさの顔が１つ検出されている場合にはフォーカスを近景に設定するなどの単数人物撮影モードに自動的に切り換え、２人以上の動きの速い顔が検出されている場合にはシャッター速度を速めるなどのスポーツ撮影モードに自動的に切り換え、登録されている人物が１人認識されている場合には個人の撮影記録に適したスナップ撮影モードに自動的に切り換え、登録されている人物が複数認識されている場合には集合写真の撮影記録に適した集合写真撮影モードに自動的に切り換える。
【００９９】
このように、実施形態６の撮像装置４００によれば、顔の検出数と、個人の認識数とを別々に特定し、それら特定された数の組み合わせに応じて撮影モードまたは撮影条件を切り換えるので、より柔軟に最適な撮影モードまたは撮影条件を自動的に設定することができる。
また、図１９に示す特定条件判定情報４０９ａの他の設定例では、登録されている人物が複数認識され、かつ、全体が動いている場合には、自動連写モードに自動的に切り換えることにより、全ての人物が正面を向いた瞬間の撮影画像を得ることが容易にできるようになる。また、登録されている個人の認識状況とメイン人物の認識状況に応じてフォーカスモードを柔軟かつ適切に設定することが可能になる。
【０１００】
［実施形態７］
実施形態７は、実施形態１の撮像装置１００を、画像検索表示処理の自動化に適用したものである。
この実施形態７では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【０１０１】
操作入力部６は、処理実行部１１による画像検索処理や画像表示処理に係る処理条件を顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）に係る条件に従って入力指定することができ、処理条件指定手段を構成している。
【０１０２】
処理実行部１１は、画像情報選択手段として、操作入力部６を介して指定された処理条件並びに、顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）に基づいて、顔情報保存制御部１２に記録された顔情報ファイル１２ａと関連付けられた複数の画像ファイルの中から、画像検索処理や画像表示処理等の処理対象を選択する。
即ち、処理実行部１１は、画像検索手段として、画像記録部２に記録された複数の画像ファイルの中で、操作入力部６を介して指定された処理条件に応じた所望の画像ファイルを検索する。
また、処理実行部１１は、画像表示制御手段として、画像記録部２に記録された複数の画像ファイルの中で、操作入力部６を介して指定された処理条件に応じた所望の画像ファイルを表示部１０に表示させる。即ち、処理実行部１１は、画像加工制御手段（処理実行部１１）により拡大された被写体の顔部分を表示部１０に表示させる。
【０１０３】
次に、図２０を参照して自動化された画像検索表示処理について説明する。
なお、記録保存されている画像データの検索や表示を自動化するためには、撮影された画像データに対して上述した顔個別検出情報８ａや顔全体検出情報８ｂで示されるような顔情報を関連付けて記録しておく必要がある。
【０１０４】
撮影時においては、先ず、撮像部１による被写体の撮影が開始され（ステップＳ１０１）、撮像部１から出力される画像フレーム内に顔画像（人）が存在すると、顔検出部７は、顔個別検出情報８ａおよび顔全体検出情報８ｂを出力する（ステップＳ１０２）。
【０１０５】
顔情報保存制御部１２は、この出力された顔個別検出情報８ａおよび顔全体検出情報８ｂに基づく各種顔情報を「顔情報ファイル１２ａ」として画像データと同じファイル名称で別拡張子のファイルとして保存する（ステップＳ１０３）。
【０１０６】
その後、任意のタイミングで操作入力部６の所定操作に基づいて画像検索条件（例えば、大きい顔）および画像表示条件が特定条件判定情報９ａとして設定され（ステップＳ１０４）、検索対象となる複数の画像データが指定されると、画像取得制御部３は、処理実行部１１の指示に応じて検索対象として指定された複数の画像データを順番に出力する。顔検出部７および顔情報保存制御部１２は、当該画像データに対応する顔情報ファイルがまだ記録されていない場合には、新たに顔個別検出情報８ａおよび顔全体検出情報８ｂの出力および「顔情報ファイル１２ａ」の保存を行う。
特定条件判定部９は、特定条件判定情報９ａに設定されている検索条件と当該画像データに対応する顔情報ファイルの内容とを比較し、条件が一致する場合には、当該画像データを表示対象（検索画像）として指定する指示情報を出力する（ステップＳ１０５）。
そして、処理実行部１１は、画像記録部２の複数の画像データのうち、表示対象（検索画像）として指定された画像データのみを取得する（ステップＳ１０６）、更に、処理実行部１１は、表示対象（検索画像）として指定された画像データに対応する顔情報ファイルの内容と、特定条件判定情報９ａに設定された画像表示条件に基づいて当該画像データを表示部１０に出力して表示させる。具体的には、画像表示条件としてメイン人物の拡大表示が指定されている場合には、顔情報ファイルを参照してメイン人物の顔の位置とサイズを特定し、その部分を拡大して表示する（ステップＳ１０７）。
【０１０７】
以上のように、実施形態７の撮像装置４００によれば、撮影した画像データ内に人物の顔が含まれている場合には、この人物の顔に係る様々な情報を利用して画像の検索や表示を制御することができる。また、画像データと関連付けて顔情報ファイル１２ａを記録することができ、操作入力部６により指定された処理条件に基づいて、顔画像ファイルと関連付けられた画像データを処理実行部１１による画像関連処理の処理対象として決定することができるので、画像関連処理を効率良く行って、処理の高速化を図ることができる。
即ち、画像検索処理や画像表示処理等にて毎回画像データをＲＡＭ上に展開してから顔検出部７による顔検出や顔認識等を行わせる必要がなくなって、顔画像ファイルを参照することにより、顔を基点とした再生表示や顔をキーとした画像検索を効率良く行うことができる。
【０１０８】
また、顔画像ファイルを画像データとともに別ファイルとして保存することにより、当該データを外部機器に容易に受け渡すことができ、カメラ機能を持たないビューワーなどで顔を基点とした検索を適正に行うことができる。
【０１０９】
さらに、上記実施形態では、顔情報ファイル１２ａを別ファイルとして保存するようにしたが、画像ファイル内のヘッダーなどの管理領域に保存するようにしても良い。
【０１１０】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、図２１に示すように、個人顔ＤＢ４を人物毎に統合して個人顔統合ＤＢ１３としても良い。
即ち、統合するためのレコードが足りないようであれば、実施形態４の撮像装置４００により生成された顔情報ファイル１２ａを外部メモリから読み込んで個人顔ＤＢ４に追加する。そして、同じ名前の人物の複数のレコードに基づいて、顔の向きに関係しない個人の顔の特徴データを抽出して、当該特徴データを個人顔統合ＤＢ１３に記憶する。その後、この人物の各優先度に対応して記憶されている複数の顔画像の各々の顔の向きを後述するような処理によって判定し、各優先度に対応する顔の向きの範囲を特定して記憶する。
具体的には、図２１に示すように、個人顔統合ＤＢ１３には、各人物の名前と、顔の向きに関係のない特徴データと、優先度１（ベスト）〜優先度５（ワースト）のデータ等が対応付けられて記憶されている。例えば、被写体として「Ａさん」を例示して説明すると、Ａさんの特徴データと、優先度１の顔の向きの範囲を示す情報として右１５°から右３０°が、優先度２の顔の向きの範囲を示す情報として右１５°から左１５°が、優先度５の顔の向きの範囲を示す情報として左３０°から左９０°等が対応付けられている。同様に、「Ｂさん」は、Ｂさんの特徴データと、優先度１の顔の向きの範囲を示す情報として右１０°から左１０°が、優先度２の顔の向きの範囲を示す情報として左２０°から左４０°が、優先度５の顔の向きの範囲を示す情報として右７０°から右９０°等が対応付けられている。
【０１１１】
なお、上記の個人顔統合ＤＢ１３を用いて顔個別検出情報５０８ａを生成する場合には、顔検出部７により検出された各顔画像部分を個人顔統合ＤＢ１３と照合して、最も一致度の高いレコードに対応する人物の名前を記憶する。ここで、一致度が所定以上の人物が登録されていない場合には不明とする。また、顔検出部７は、顔画像の中に含まれる目、鼻、ロ等の顔パーツの顔の中心からのずれ量に基づいて顔の向きを判定して記憶するようになっている（図２３参照）。なお、図２２にあっては、顔個別検出情報５０８ａのうち、図４の顔個別検出情報８ａと異なる部分のみ表している。また、特定条件判定部９は、顔検出部７で判定された顔の向きが、個人顔統合ＤＢ１３に記憶されている顔の向きの範囲に含まれているかによって、指定された顔の向きと検出された顔の向きが等しいか否かを判定する。
【符号の説明】
【０１１２】
１００、２００、３００、４００ 撮像装置（画像処理装置）
１ 撮像部（撮像手段）
２ 画像記録部
４ 個人顔ＤＢ（顔画像情報登録手段）
５ グループＤＢ
６ 操作入力部（処理条件指定手段）
７ 顔検出部（顔検出手段、顔照合手段、顔関連情報取得手段）
８ 検出情報記憶部（顔関連情報記録手段）
９ 特定条件判定部（処理対象決定手段、主画像決定手段、保存画像決定手段、削除画像決定手段）
１０ 表示部（画像表示手段）
１１ 処理実行部（撮像関連処理実行手段、画像情報選択手段、画像処理手段、合成画像生成手段、画像削除手段、焼き増し数設定手段、画像検索手段、画像加工制御手段画像表示制御手段）
【技術分野】
【０００１】
本発明は、被写体の顔を認識して画像情報を処理する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像した被写体の画像から顔画像を抽出して拡大表示することにより、撮像者が所望の顔画像を容易に撮影できるようにした撮像装置が知られている（例えば、特許文献１参照）。
この撮像装置にあっては、所定のモードが設定された場合のみ拡大したり、複数の顔画像を順番に拡大表示することにより確認することができるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１０８９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１等の場合、顔を検出しながらユーザにとって利便性の高い処理を実現するようになっているが、顔検出技術はソフトウェアで動作させるには処理の負荷が重く、ハードウェアでの動作でないとストレスを感じるスピードとなっていた。
ところが、ハードウェアを撮像装置に搭載するとなると、検出技術が進化し続ける完成しきった技術でないにも関わらず、かなり早い段階でのＩＣ化を図らなければならないために、あまり推奨されない実装方法とも考えられる。
【０００５】
そこで、本発明の課題は、画像関連処理を効率良く行って、処理の高速化を図ることができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の画像処理装置は、
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段と、
前記画像情報記録手段により記録される前記画像情報から前記顔画像を検出する顔検出手段と、
前記顔検出手段により検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する顔関連情報取得手段と、
前記顔関連情報取得手段により取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する顔関連情報記録手段と、
前記画像情報記録手段に記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う画像処理手段と、
前記画像処理手段による前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する処理条件指定手段と、
前記処理条件指定手段により指定された前記処理条件と前記顔関連情報記録手段に記録された前記顔関連情報とに基づいて、前記顔関連情報記録手段に記録された複数の画像情報の中から前記画像処理手段による前記画像関連処理の処理対象を選択する画像情報選択手段と、
を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記顔検出手段は、１つの画像情報内から複数の顔画像を検出し、
前記顔関連情報取得手段は、１つの画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を取得し、
前記顔関連情報記録手段は、１つの画像情報に対して、当該画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を関連付けて記録することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、
前記画像処理手段は、
前記画像情報記録手段に記録された前記複数の画像情報の中で、前記処理条件指定手段により指定された前記処理条件に応じた所望の画像情報を検索する画像検索手段を備えることを特徴としている。
【０００９】
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像処理手段は、
前記画像検索手段により検索された画像情報を、前記処理条件指定手段により指定された前記処理条件に応じて加工する画像加工制御手段を備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記画像加工制御手段は、指定された被写体の顔部分を拡大する加工を行い、
前記画像情報に基づいて画像を表示する画像表示手段と、
前記画像加工制御手段により拡大された顔部分を前記画像表示手段に表示させる画像表示制御手段と、
を更に備えたことを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記顔関連情報記録手段に記録された前記顔関連情報と前記画像情報記録手段に記録された前記画像情報を別ファイルとして記憶する別ファイル記憶手段を備えることを特徴としている。
【００１２】
請求項７に記載の発明のプログラムは、
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段を備える画像処理装置に、
前記画像情報記録手段に記録される前記画像情報から前記顔画像を検出する機能と、
検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する機能と、
取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する機能と、
記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う機能と、
前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する機能と、
指定された前記処理条件と記録された前記顔関連情報とに基づいて、前記複数の画像情報の中から前記画像関連処理の処理対象を選択する機能と、
を実現させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、画像関連処理を効率良く行って、処理の高速化を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置の個人顔ＤＢを模式的に示す図である。
【図３】図１の撮像装置のグループＤＢを模式的に示す図である。
【図４】図１の撮像装置の顔検出部により生成された顔個別検出情報を模式的に示す図である。
【図５】図１の撮像装置の顔検出部により生成された顔全体検出情報を模式的に示す図である。
【図６】図１の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図７】本発明を適用した実施形態２の撮像装置の処理実行部によるスチルインムービー処理に係る動作の一例を示すフローチャートである。
【図８】本発明を適用した実施形態３の撮像装置の処理実行部による画像削除処理に係る動作の一例を示すフローチャートである。
【図９】本発明を適用した実施形態４の撮像装置の概略構成を示すブロック図である。
【図１０】図９の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図１１】図９の撮像装置の処理実行部によるモーションプリント処理により生成される合成画像を模式的に示す図である。
【図１２】図１１のモーションプリント処理に係る動作の一例を示すフローチャートである。
【図１３】図１２のモーションプリント処理の続きを示す図である。
【図１４】本発明を適用した実施形態５の撮像装置の概略構成を示すブロック図である。
【図１５】図１４の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図１６】図１４の撮像装置の処理実行部による自動シャッター処理に係る動作の一例を示すフローチャートである。
【図１７】図１４の撮像装置の処理実行部による焼き増し数設定処理に係る動作の一例を示すフローチャートである。
【図１８】本発明を適用した実施形態６の撮像装置の概略構成を示すブロック図である。
【図１９】図１８の撮像装置の特定条件判定部による判定処理に係る特定条件判定情報を模式的に示す図である。
【図２０】本発明を適用した実施形態７の撮像装置による画像検索表示処理に係る動作の一例を示すフローチャートである。
【図２１】変形例の撮像装置の個人顔統合ＤＢを模式的に示す図である。
【図２２】図２１の撮像装置の顔検出部により生成された顔個別検出情報を模式的に示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１６】
［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置（画像処理装置）１００は、画像データ内から人物の顔を検出（認識）し、この検出（認識）結果を利用して、画像データの撮影処理、閲覧処理、加工処理などの画像データを対象とした様々な処理の自動化を行うものである。
図１に示すように、撮像装置１００は、撮像部１と、画像記録部２と、画像取得制御部３と、個人顔データベース（ＤＢ）４と、グループデータベース（ＤＢ）５と、操作入力部６と、顔検出部７と、検出情報記憶部８と、特定条件判定部９と、表示部１０と、処理実行部１１等を備えている。
【００１７】
撮像部１は、人物等の被写体の静止画像や動画像を撮像する。具体的には、撮像部１は、撮像レンズ１ａと、撮像素子１ｂと、信号処理部１ｃと、画像メモリ１ｄ等を備えている。
【００１８】
撮像レンズ１ａは、フォーカス機能及びズーム機能を有し、複数の撮像レンズから構成されている。
撮像素子１ｂは、撮像レンズ１ａを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等から構成されている。
信号処理部１ｃは、撮像素子１ｂから出力される画像信号に対して所定の画像処理を施すものである。
ここで、撮像レンズ１ａ、撮像素子１ｂ及び信号処理部１ｃは、被写体を撮像して画像情報を生成する撮像手段を構成している。
画像メモリ１ｄは、画像処理後の画像信号を一時的に記憶する。
【００１９】
また、撮像部１は、図示は省略するが、撮像部１による被写体の撮像の際に駆動するフォーカス駆動部やズーム駆動部等を備えている。
フォーカス駆動部は、撮像レンズ１ａに接続されたフォーカス機構部を駆動させる。
ズーム駆動部は、撮像レンズ１ａに接続されたズーム機構部を駆動させる。
【００２０】
画像記録部２は、撮像部１により撮像された静止画像や動画像を画像ファイルとして記録するものである。また、画像記録部２は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。
ここで、画像記録部２は、撮像部（撮像手段）１により生成された画像情報を静止画像として保存する静止画像情報保存手段や、撮像部１により連続して生成された画像情報を動画像として保存する動画像情報保存手段を構成している。
【００２１】
画像取得制御部３は、撮像部１の画像メモリ１ｄ又は画像記録部２から画像データを読み出して処理実行部１１や顔検出部７に出力する。具体的には、画像取得制御部３は、操作入力部６を介したユーザの指示又は処理実行部１１からの要求に応じて、処理実行部１１での各種撮影／画像処理の対象となる複数の画像データを画像メモリ１ｄから逐次取得したり、画像記録部２から順番に読み出して、処理実行部１１及び顔検出部７へ出力する。
【００２２】
個人顔ＤＢ４は、顔画像情報登録手段として、被写体を個人毎にその顔画像に係る顔画像情報を登録するものである。
具体的には、図２に示すように、個人顔ＤＢ４は、被写体の名前と、顔番号と、顔画像データと、顔特徴データと、優先度等を対応付けて記憶している。例えば、被写体として「Ａさん」を例示して説明すると、顔番号「Ａ−１」は、Ａさんを正面から撮像した画像データと、正面から見た顔の特徴（例えば、目の位置、鼻の形状、口の大きさ等）と、顔の向きと対応付けられ、複数のＡさんの画像の中での優先的な処理に係る優先度「２」が対応付けられている。同様に、顔番号「Ａ−２」は、Ａさんを右３０°から撮像した画像データと、右３０°から見た顔の特徴と、複数のＡさんの画像の中での優先度「５（ワースト）」が対応付けられ、顔番号「Ａ−３」は、Ａさんを左１５°から撮像した画像データと、左１５°から見た顔の特徴と、複数のＡさんの画像の中での優先度「１（ベスト）」が対応付けられている。つまり、個人顔ＤＢ４には、顔画像に基づいて個人や顔の向きを特定するための情報が記憶されている。
【００２３】
グループＤＢ５は、顔画像情報登録手段として、被写体を当該被写体の属するグループ毎に登録するものである。
具体的には、図３に示すように、グループＤＢ５は、グループ名と、焼き増し枚数と、メンバー等を対応付けて記憶している。例えば、グループとして「Ａさんの家族」を例示して説明すると、グループ名「Ａさんの家族」は、焼き増し枚数「まとめて１枚」と、メンバー名である「Ａさん」、「Ｃさん」、「Ｄさん」、「Ｅさん」等が対応付けられている。同様に、グループ「Ｂさんの友人」は、焼き増し枚数「別々」と、メンバー名である「Ｂさん」、「Ｃさん」、「Ｆさん」等が対応付けられている。
【００２４】
操作入力部６は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部６は、シャッターボタン、モード切替ボタン、入力ボタン等を備えている。
シャッターボタンは、撮像部１により撮像された被写体の画像情報の記録（保存）を指示するものである。
モード切替スイッチは、撮像モードをスチルインムービー処理モード、モーションプリント処理モード、画像削除処理モード、自動シャッター処理モード、焼き増し数設定処理モード等に切り替えるためのものである。
入力ボタンは、個人顔ＤＢ４やグループＤＢ５の登録内容や特定画像判定条件（後述）等を入力するためのものである。具体的には、入力ボタンは、各被写体（人物）毎に、その顔の向き（顔番号）と対応付けられる優先度を入力する。
ここで、入力ボタン（操作入力部６）は、処理実行部１１による画像情報の処理の実行を指示する被写体の顔の向きを指定する顔向き指定手段を構成している。
【００２５】
操作入力部６の各ボタンから入力された操作信号は、処理実行部１１に出力される。
【００２６】
表示部１０は、撮像部１により撮像された画像を表示するものである。具体的には、表示部１０は、図示は省略するが、表示制御部と、画像表示部等を備えている。
表示制御部は、処理実行部１１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部は、表示制御部からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
【００２７】
顔検出部７は、顔検出機能及び顔認識機能がＯＮ状態にされている場合、画像取得制御部３からの画像データ出力に応じて、この画像データ内の顔画像を個別に検出するとともに、検出した顔画像を個人顔ＤＢ４を参照することにより認識して、後述する顔個別検出情報８ａを逐次出力する。
具体的には、顔検出部７は、先ず、画像取得制御部３が出力する画像データ（画像フレーム）内より全ての顔部分を検出する。例えば、顔検出部７は、全ての肌色領域を検出し、検出された各領域内に目、鼻、ロなどに相当する特徴部分（顔パーツ）があるか否かを判定して、顔パーツがあると判定されれば当該肌色領域を顔画像とみなす。次に、顔検出部７は、検出された各顔画像部分の位置と、肌色領域の面積などから判定されたサイズを顔個別検出情報８ａとして検出情報記憶部８に記憶する。そして、顔検出部７は、各顔画像部分を個人顔ＤＢ４と照合して、最も一致度の高いレコードに対応する人物の名前と、顔番号を顔個別検出情報８ａとして検出情報記憶部８に記憶する。つまり、検出された顔画像と個人顔ＤＢ内の顔画像データとの照合、または検出された顔画像から抽出した特徴データと個人顔ＤＢ内の顔特徴データとの照合により、個人の特定と顔の向きの特定（推定）を同時に行う。なお、所定数以上の人物が登録されていない場合には、一致度は不明とする。
【００２８】
なお、対象となる画像フレームが連続した撮像中に得られたものであれば、顔検出部７は、直前の画像フレームに対応する顔個別検出情報８ａを参照して、当該直前の撮影フレームに対する検出位置のずれなどに基づいて検出済みの顔画像部分に対してトラッキング処理を行う。ここで、顔検出部７は、トラッキング処理にて、例えば、検出済みの顔画像部分を追従するために、画像フレーム内の検出範囲や検出位置、個人顔ＤＢ４との照合範囲や照合順序を限定する等の処理を行うようになっている。このトラッキング処理により各顔部分の動きを特定し、この特定された動きを顔個別検出情報８ａとして検出情報記憶部８に記憶する。
ここで、顔検出部７は、画像データから顔画像を検出する顔検出手段を構成している。また、顔検出部７は、操作入力部６を介して入力された被写体の顔の向きと、当該顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定する顔角度判定手段を構成している。
さらに、顔検出部７は、検出された顔画像と個人顔ＤＢ４に登録された顔画像情報を比較照合する顔照合手段を構成している。
また、顔検出部７は、顔画像に関連する各種の顔関連情報を取得する顔関連情報取得手段を構成している。
【００２９】
以下に、図４を参照して顔検出部７が出力する顔個別検出情報８ａについて説明する。
顔個別検出情報８ａは、図４に示すように、各顔画像部分について、検出番号、位置、サイズ、動き、人物名、個人顔ＤＢ４における顔番号、個人一致度等を対応付けて記憶されている。例えば、検出番号１を例示して説明すると、顔画像部分の位置（座標）「２１３，３７８」と、顔画像部分のサイズ「１２０」、動作状態「右に３０画素／フレーム」と、人物名「不明」等が対応付けられて記憶されている。同様に、検出番号２は、顔画像部分の位置（座標）「５６３，４２３」と、顔画像部分のサイズ「３７５」、動作状態「静止」と、人物名「Ｂさん」と、顔番号「Ｂ−２」と、個人一致度「９０％」等が対応付けられ、検出番号３は、顔画像部分の位置（座標）「７８３，３２４」と、顔画像部分のサイズ「２６５」、動作状態「静止」と、人物名「Ｆさん」と、顔番号「Ｆ−３」と、個人一致度「８５％」等が対応付けられて記憶されている。
【００３０】
また、顔検出部７は、グループＤＢ５を参照して、顔個別検出情報８ａに基づいて画像データ内の全ての顔の検出状況を判断して、顔全体検出情報８ｂを出力する。
具体的には、顔検出部７は、グループＤＢ５を参照して各グループ内の複数のメンバーと検出された複数の被写体（人物）の顔画像とのグループの一致度を算出して、最も一致度の高いグループを特定し、その特定されたグループ名と、その一致度と、該グループに対応する焼き増し枚数を顔全体検出情報８ｂとして検出情報記憶部８に記憶する。ここで、一致度の高低は、一致している人数により判定して、人数が同じならば顔画像の一致度で判断するようになっている。
次に、顔検出部７は、顔個別検出情報８ａを参照して、検出された顔画像の総数を計数して記憶した後、各個人が特定できた顔画像の総数を計数して顔全体検出情報８ｂとして検出情報記憶部８に記憶する。
【００３１】
さらに、顔検出部７は、対象となる画像フレーム中のメイン人物の顔画像を特定して記憶する。メイン人物の特定方法としては、対象となる画像フレームが、連続した撮像中に得られたものである場合、撮影フレームに対する動きが最も少ない顔画像部分をメイン人物の顔画像として特定する一方で、対象となる画像フレームが、連続した撮像中に得られたものでない場合、撮影フレーム内で最も中央に位置するか、或いは最もサイズが大きいか、或いはＡＦ領域内に存在するか等の条件を予め指定された優先順位で評価することによりメイン人物の顔画像を特定する。
また、トラッキング中の複数の顔画像に対して、それぞれの動き方向を顔検出センサーにより定量的なデータで取得するとともに、撮像装置に実装された加速度センサーによって、撮像装置の移動方向を定量的なデータで取得する。そして、撮像装置の移動方向に対して、トラッキング中の顔移動方向が同方向であるのか、それとも別方向なのかをそれぞれの顔画像に対して分析を行い、分析の結果、撮像装置の動きに最も近い顔画像が撮影者にとって撮影したいメイン被写体であると判定する。そして、ＡＦ処理をはじめとして、メイン被写体の撮像に最適な設定を自動設定して、撮影可能な状態にするようにしても良い。
これにより、顔認識時に複数の顔画像を認識してしまうと、どの人物をメイン被写体とすれば良いのか、撮像装置は自動では判断しにくいが、メインで撮影したい被写体に対する当該撮像装置の動きと被写体の動きを判断することにより、メイン被写体を撮像装置が自動で判断することができることとなる。
そして、メイン人物の顔画像と最も一致度が高かった顔番号に対応する優先度を、個人顔ＤＢ４を参照して特定し、顔全体検出情報８ｂとして検出情報記憶部８に記憶する。
また、各顔画像の中での絶対的な動きが最も大きい顔画像の動きを顔画像全体の動きとして記憶する。ここで、顔画像の絶対的な動きとは、顔画像の大地に対する動きであり、カメラに内蔵した加速度センサ（図示略）の情報やズーム倍率で示される画角情報などに基づいて、撮影フレームに対する各顔画像の動きを大地に対する絶対的な動きに変換する方法などにより取得される。
【００３２】
以下に、図５を参照して顔検出部７が出力する顔全体検出情報８ｂについて説明する。
顔全体検出情報８ｂは、図５に示すように、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、優先度、焼き増し枚数等が対応付けられたものである。例えば、顔全体検出情報８ｂとして、顔検出総数「７」と、個人認識総数「３」、グループ「Ｂさん家族」、グループ一致度「８０％」、全体の動き「動く顔あり」、メイン人物「Ｂさん」等が対応付けられたものが記憶されている。
【００３３】
検出情報記憶部８は、顔個別検出情報８ａ及び顔全体検出情報８ｂを一時記憶し、画像取得制御部から新たな画像データが出力される毎に顔検出部７により更新される。また、検出情報記憶部８は、この顔個別検出情報８ａ及び顔全体検出情報８ｂを後に利用するためにファイル保存が指示された場合には、顔個別検出情報８ａ及び顔全体検出情報８ｂを画像ファイルと同じファイル名称で別拡張子のファイルとして記憶（保存）される。
ここで、検出情報記憶部８は、顔検出部７により取得された顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）と画像記録部２に記録される画像ファイルを関連付けて記録する顔関連情報記録手段を構成している。
【００３４】
特定条件判定部９は、スチルインムービー処理等の処理実行部１１による各種処理の実行条件を判定するものである。即ち、特定条件判定部９は、顔検出部７から新たな顔個別検出情報８ａ及び顔全体検出情報８ｂが出力されるのに応じて、この顔個別検出情報８ａ及び顔全体検出情報８ｂと設定されている特定条件判定情報９ａが一致するか否かを判定して、一致した場合には、当該一致した画像データや一致したタイミングを指示する指示情報を逐次出力する。
ここで、特定条件判定部９は、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１による処理対象となる画像情報を決定する処理対象決定手段を構成している。
【００３５】
ここで、図６を参照してユーザが任意に設定することができる特定条件判定情報９ａの一例について説明する。
特定条件判定情報９ａは、図６に示すように、例えば、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。この特定条件判定情報９ａは、処理実行部１１に実行させる処理の内容や目的に応じてユーザが任意に設定したり自動的に設定されるものであり、例えば、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度１」等が対応付けられたものが記憶されている。
なお、画像取得制御部３から出力される画像データに対応する顔個別検出情報８ａ及び顔全体検出情報８ｂが既に顔情報ファイル（後述）として記録されている場合には、顔検出部７による顔個別検出情報８ａ及び顔全体検出情報８ｂの更新を行わず、特定条件判定部９は、顔情報ファイル内に既に記録されている顔個別検出情報８ａ及び顔全体検出情報８ｂを用いて判断する。
【００３６】
処理実行部１１は、ユーザの実行指示に応じて、画像データの撮影処理（スチルインムービー処理、静止画撮影処理など）や、画像データの閲覧処理（画像検索処理、画像表示処理など）や、画像データの加工処理（モーションプリント処理、画像削除処理、焼き増し数の設定処理など）などの画像データを対象とした様々な処理を行うものである。これらの処理においては、複数の画像データを対象とした処理を行うが、特定の画像データ又は特定のタイミングを他の画像データや他のタイミングとは異なる扱いで処理する。通常は、この特定の画像データや特定のタイミングはユーザの手動操作によって指示されるものであるが、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態に設定されている場合には、この特定の画像データや特定のタイミングは特定条件判定部９によって自動的に指示される。
処理実行部１１は、処理対象となる複数の画像データを、ユーザ指示による手動決定、または実行内容や目的に応じて自動的に決定し、画像取得制御部３に対して処理対象となる複数の画像データを取得するように要求する。そして、この要求に応じて画像取得制御部３が出力する複数の画像データを対象とした処理を実行し、特定条件判定部９より指示される指示情報に係る画像データ又はタイミングを特定画像データ又は特定タイミングであるとして、他の画像データや他のタイミングとは異なる扱いで処理する。
【００３７】
以上のように、実施形態１の撮像装置１００によれば、画像データ内に検出（認識）される被写体（人物）の顔に係る情報を利用して、画像データを対象とした様々な処理を自動化することができ、また、顔に係る情報を用いた自動化の条件を柔軟かつ容易に設定することができる。
【００３８】
［実施形態２］
実施形態２は、実施形態１の撮像装置１００を、スチルインムービー処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて動画撮影中に静止画像を撮影するタイミングを自動決定できるようにしたものである。
この実施形態２では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００３９】
特定条件判定部９は、処理実行部１１によりスチルインムービー処理が実行される場合に、保存画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、画像記録部２に保存される連続する複数の画像フレーム（動画像データ）のうち、画像記録部２に静止画像として保存される所定の画像フレームを決定する。即ち、特定条件判定部９は、撮像部１による動画像の撮像中に、特定条件判定情報９ａのメイン人物の顔状態に対応する優先度１の顔の向きの画像フレームを取得した場合に、当該画像フレームを保存対象静止画像として決定する指示に係る指示情報を処理実行部１１に出力する。
ここで、スチルインムービー処理とは、動画撮影中に静止画を撮影する機能であり、自動化されていない通常のスチルインムービー処理の場合には、動画撮影中に撮影者がシャッターを押下すると動画撮影を一時的に中断して静止画の撮影記録を行い、静止画撮影の後、動画撮影を再開するものである。
【００４０】
次に、図７を参照して自動化されたスチルインムービー処理について説明する。
図７に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいてスチルインムービー処理モードに設定する。このとき、動画撮影中に静止画を撮影する条件についても特定条件判定情報９ａに設定する。ここでは、動画撮影中にＢさんの顔の向きがお気に入りの顔の向きとなった場合に静止画を撮影記録するものとし、特定条件判定情報９ａのメイン人物を「Ｂさん」に、メイン人物の顔状態を「優先度１」に設定する。なお、スチルインムービー処理モードが設定された場合にはデフォルトで「優先度１」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする（ステップＳ１）。
次に、処理実行部１１は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態であるか否かを判断し、ＯＮ状態である場合には、以下の自動化されたスチルインムービー処理を実行する。なお、ＯＦＦ状態である場合には、通常のスチルインムービー処理を実行する。
【００４１】
処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作（動画撮影の開始及び終了指示）に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られる画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ２）。
【００４２】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、前記指示に対応して画像取得制御部３から逐次出力される画像データ（画像フレーム）とを比較照合して（ステップＳ３）、顔個別検出情報８ａを出力する（ステップＳ４）。
そして、特定条件判定部９は、顔検出部７から出力された顔個別検出情報８ａを入力し、この顔個別検出情報８ａに基づいて、特定条件判定情報９ａに指定された優先度（ここでは最もお気に入りの顔の向きに対応する優先度１）の顔の向きの画像情報と一致するか否かを判定する（ステップＳ５）。ここで、優先度１の顔の向きの画像情報と一致すると判定されると（ステップＳ５；ＹＥＳ）、特定条件判定部９は、一致した画像データを静止画撮像の対象画像として指定する指示情報を出力する。または、この一致したタイミングを静止画像の撮影タイミングとして指定する指示情報を出力する（ステップＳ６）。
【００４３】
処理実行部１１は、特定条件判定情報９ａから出力された指示情報が入力されると、当該指示情報に係る画像フレームを自動的に静止画像として取得する。または、当該指示情報に係る撮影タイミングで自動的に静止画像を撮影して記録する（ステップＳ７）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ８；ＹＥＳ）。
【００４４】
次に、処理実行部１１は、画像取得制御部３から出力された複数の画像フレームを動画ファイルに加工して画像記録部２に記録させるとともに、撮像された画像データを個別の静止画像として画像記録部２に記録させる（ステップＳ９）。
これにより、スチルインムービー処理を終了する。
【００４５】
以上のように、実施形態２の撮像装置１００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
また、実施形態２では、スチルインムービー処理を自動化することができ、被写体のお気に入り（好み）の顔の角度の優先度を高くして特定条件判定情報９ａに設定しておくことにより、当該顔の角度の画像データが撮像部１により生成されると、自動的に取得して画像記録部２に記録させることができ、より利便性の高い撮像装置を提供することができる。
【００４６】
［実施形態３］
実施形態３は、実施形態１の撮像装置１００を、画像削除処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて削除対象となる画像を自動決定できるようにしたものである。
この実施形態３では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００４７】
特定条件判定部９は、処理実行部１１により画像削除処理が実行される場合に、削除画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１により削除される画像情報を決定する。即ち、特定条件判定部９は、特定条件判定情報９ａの削除対象画像（図示略）に対応する優先度の最も低い顔の向きの画像情報を取得した場合に、当該画像情報を削除対象画像として決定する指示に係る指示情報を処理実行部１１に出力する。
【００４８】
処理実行部１１は、画像削除手段として、画像記録部２に保存された画像情報を削除する。具体的には、処理実行部１１は、削除対象となる画像情報を実際に削除したり、削除対象となる画像情報をリストアップする。
【００４９】
次に、図８を参照して自動化された画像削除処理について説明する。
なお、以下の画像削除処理にあっては、削除対象としたい人物を予め選択しておき、当該人物の最も低い優先度（例えば、優先度５）の顔の向きとともに特定条件判定情報９ａとして登録されているものとする。なお、画像削除処理モードが設定された場合にはデフォルトで「優先度５」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする。
【００５０】
図８に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて画像削除処理モードに設定する（ステップＳ１１）。
次に、処理実行部１１は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態であるか否かを判断し、ＯＮ状態である場合には、以下の自動化された画像削除処理を実行する（ＯＦＦ状態である場合には、通常の画像削除処理を実行する）。
処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、画像記録部２に記録されている画像ファイルのうち、指定された画像集合（グループ）内の画像ファイルを順に出力するように画像取得制御部３に対して指示する（ステップＳ１２）。
【００５１】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、前記指示に対応して画像取得制御部３から逐次出力される画像ファイルとを比較照合して（ステップＳ１３）、顔個別検出情報８ａを出力する（ステップＳ１４）。
そして、特定条件判定部９は、顔検出部７から出力された顔全体検出情報８ｂを入力し、この顔全体検出情報８ｂに基づいて、特定条件判定情報９ａに指定された優先度（ここでは最も写りの悪い顔の向きに対応する優先度５）の顔の向きの画像情報と一致するか否かを判定する（ステップＳ１５）。ここで、優先度５の顔の向きの画像情報と一致すると判定されると（ステップＳ１５；ＹＥＳ）、特定条件判定部９は、一致した画像データを画像削除の対象画像として指定する指示情報を出力する（ステップＳ１６）。
【００５２】
処理実行部１１は、特定条件判定情報９ａから出力された指示情報が入力されると、当該指示情報に係る画像ファイルを削除対象画像として取得して、削除リストに追加する（ステップＳ１７）。
上記の処理を画像取得制御部３からの画像ファイルの出力が終了するまで繰り返す（ステップＳ１８；ＹＥＳ）。
【００５３】
そして、処理実行部１１は、削除前のユーザ確認モードが設定されているか否かを判定して（ステップＳ４９）、ユーザ確認モードが設定されていないならば（ステップＳ１９；ＮＯ）、削除リストにリストアップされた画像ファイルを直ちに（自動的に）削除する（ステップＳ２０）。
一方、ユーザ確認モードが設定されているならば（ステップＳ１９；ＹＥＳ）、削除リストを一覧表示して、ユーザの指示に応じて削除する（ステップＳ２１）。
これにより、画像削除処理を終了する。
【００５４】
以上のように、実施形態３の撮像装置１００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
また、実施形態３では、画像削除処理を自動化することができ、被写体のそれほど好きではない顔の角度の優先度を低くして特定条件判定情報９ａに設定しておくことにより、当該顔の角度の画像ファイルを画像記録部２から取得して、自動的に削除候補としてリストアップすることができ、ユーザの好きな顔のみの画像を画像記録部２に残すことができることとなって、より利便性の高い撮像装置を提供することができる。
【００５５】
［実施形態４］
実施形態４は、実施形態１の撮像装置１００を、モーションプリント処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じてモーションプリント処理におけるメイン画像や周囲画像を自動決定できるようにしたものである。
この実施形態４では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００５６】
ここで、モーションプリント処理とは、動画データ内から抽出した複数のフレーム画像を所定のレイアウトで配置および合成して１枚の静止画を生成（印刷）するものであり、自動化されていないモーションプリント処理の場合には、上記所定のレイアウトにおいてメインに配置される（例えば中央に配置される）フレームをユーザが選択するものである。
【００５７】
実施形態４では、図９に示すように、複数の判定条件９０１〜９０ｎから構成された特定条件判定情報２０９ａを記憶し、処理実行部１１は、各判定条件に従ってモーションプリント処理を行う。
【００５８】
特定条件判定情報２０９ａは、図１０（ａ）に示すように、例えば、各条件番号（判定条件）と、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。また、各条件番号は、図１０（ｂ）に示すように、起動中の各処理と、特定画像（特定タイミング）の扱い等が対応付けられている。
例えば、特定条件判定情報２０９ａとして、条件番号１の判定条件は、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度１」と、起動中の処理「モーションプリント」と、特定画像を「メイン画像Ｍ」として扱うことが対応付けられている。同様に、条件番号２の判定条件は、メイン人物「Ｂさん」と、メイン人物の顔の状態「優先度２〜４」と、起動中の処理「モーションプリント」と、特定画像を「周囲（サブ）画像」として扱うことが対応付けられている。
【００５９】
特定条件判定部９は、処理実行部１１によりモーションプリント処理が実行される場合に、主画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、処理実行部１１により生成される合成画像の主画像に係る画像情報を決定する。即ち、特定条件判定部９は、撮像部１による連続する複数の画像の撮像中に、特定条件判定情報２０９ａのメイン人物の顔状態に対応する優先度１の顔の向きの画像情報を取得した場合に、当該画像情報をメイン画像Ｍとして決定する指示に係る指示情報を処理実行部１１に出力する。
【００６０】
即ち、処理実行部１１は、合成画像生成手段として、連続する複数の画像フレーム（動画像データ）から一の合成画像を生成する。具体的には、処理実行部１１は、複数の画像フレームの中から、メイン画像Ｍとなる画像フレームを一つ選択するとともに、当該メイン画像Ｍの周囲に配置されるサブ画像Ｓとなる画像フレームを所定数選択する（図１１参照）。
ここで、処理実行部１１は、特定条件判定部９により一致すると判定された条件に対応する動作を選択的に実行するようになっている。
【００６１】
以下に、図１２及び図１３を参照してモーションプリント処理について説明する。
なお、モーションプリント処理は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態で実行されるものとする。
【００６２】
図１２に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいてモーションプリント処理モードに設定する（ステップＳ３１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られる画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ３２）。
【００６３】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して（ステップＳ３３）、顔全体検出情報８ｂを出力する（ステップＳ３４）。
そして、特定条件判定部９は、顔検出部７から出力され入力された顔全体検出情報８ｂに基づいて、特定条件判定情報２０９ａの条件番号１に係るメイン人物の顔状態に対応する優先度１の顔の向きの画像情報と一致するか否かを判定する（ステップＳ３５）。ここで、優先度１の顔の向きの画像情報と一致すると判定されると（ステップＳ３５；ＹＥＳ）、特定条件判定部９は、一致した画像データをメイン画像Ｍとして指定する指示情報を出力する（ステップＳ３６）。
また、ステップＳ３５にて、優先度１の顔の向きの画像情報と一致しないと判定されると（ステップＳ３５；ＮＯ）、特定条件判定部９は、特定条件判定情報２０９ａの条件番号１に係るメイン人物の顔状態に対応する優先度２〜４の顔の向きの画像情報と一致するか否かを判定する（ステップＳ３７）。ここで、優先度２〜４の顔の向きの画像情報と一致すると判定されると（ステップＳ３７；ＹＥＳ）、特定条件判定部９は、一致した画像データをメイン画像Ｍの周辺に配置されるサブ画像Ｓとして指定する指示情報を出力する（ステップＳ３８）。
【００６４】
処理実行部１１は、特定条件判定部９から出力された指示情報が入力されると、特定条件判定情報２０９ａの各条件番号に一致することを示すフラグを該当する画像フレームに付加する（ステップＳ３９）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ４０；ＹＥＳ）。
【００６５】
次に、処理実行部１１は、画像取得制御部３から出力された複数の画像フレームをフラグの情報とともに動画ファイルに加工して画像記録部２に記録させる（ステップＳ４１）。
【００６６】
直ちにプリントを実行することが指示されていない場合には、図１３に示す処理は、ユーザからの指示に応じて後日、任意のタイミングで実行する。
図１３に示すように、実行処理部は、動画ファイル内に含まれる複数の画像フレームを所定のレイアウト情報に従って配置合成する際に、条件番号１に対応するフラグが付加されている画像フレームをメイン画像Ｍとして中央位置に最も大きいサイズで配置する（ステップＳ４２）。
次に、処理実行部１１は、条件番号２に対応するフラグが付加されている画像フレームをサブ画像Ｓとしてレイアウト情報に従ってメイン画像Ｍの周辺に小さく配置して合成する（ステップＳ４３）。
【００６７】
処理実行部１１は、配置合成された１枚の合成画像をユーザからの指示に従って画像記録部２に記録させたり、或いは、当該撮像装置と接続された印刷機器を用いて印刷する（ステップＳ４４）。
これにより、モーションプリント処理を終了する。
【００６８】
以上のように、実施形態４の撮像装置２００によれば、操作入力部６により指定された被写体の顔の向きと、顔検出部７により検出された被写体の顔の向きが等しくなっているか否かを判定して、当該判定結果に基づいて、処理実行部１１による画像関連処理の処理対象となる画像データを決定することができるので、被写体毎に指定された顔の角度に応じて画像データの各種処理を優先的に行うことができる。
即ち、モーションプリント処理にて、被写体のお気に入り（好み）の顔の角度の優先度を高くして特定条件判定情報２０９ａに設定しておくことにより、当該顔の角度の画像データが撮像部１により生成されると、メイン画像Ｍとして自動的に取得することができ、より利便性の高い撮像装置を提供することができる。また、特定条件判定情報２０９ａの判定条件を複数として、メイン画像Ｍの周辺に配置されるサブ画像Ｓの優先度をメイン画像Ｍの優先度よりも低くすることにより、サブ画像Ｓを自動的に取得することができる。
従って、メイン画像Ｍ及びサブ画像Ｓが所定の位置に適正に配置されたモーションプリントを自動的に作成することができる。
【００６９】
なお、ステップＳ３２にて、画像取得制御部３は、撮像部１により取得された画像データを逐次出力するようにしたが、これに限られるものではなく、画像記録部２に記録され、ユーザによって指示された画像集合（グループ）内の画像ファイルを順番に出力するようにしても良い。
【００７０】
また、上記のモーションプリント処理にあっては、操作入力部６の所定の入力ボタンの所定操作に基づいて、モーションプリント処理の対象となる被写体の人物名（例えば、「Ａ子さん」）が設定されると、顔検出部７は、個人顔ＤＢ４の複数の顔画像情報のうち、当該人物に係る顔画像情報を優先的に選択して比較照合用のデータとして取得するようにしても良い。これにより、当該人物に係る顔画像情報を優先的に処理対象とすることができる。
【００７１】
さらに、特定条件判定情報２０９ａの条件番号２に従って、サブ画像Ｓを選択して取得するようにしたが、これに限られるものではなく、例えば、メイン画像Ｍに対して一定間隔を空けて配置された画像フレームや前後との変化量の多い画像フレームを選択するようにしても良い。
【００７２】
また、上記実施形態にあっては、複数の判定条件９０１〜９０ｎに応じた処理をモーションプリント処理に適用して説明したが、これに限られるものではなく、例えば、スチルインムービー処理、自動シャッター処理、画像削除処理等の各種の処理に適用するようにしても良い。
【００７３】
［実施形態５］
実施形態５は、実施形態１の撮像装置１００を、集合写真の撮影や集合写真の撮影に関連した関連処理の自動化に適用したものであり、特に、撮影フレーム内に検出（認識）される集合写真のメンバーが所定の状態となった場合に自動的に静止画を撮影したり、静止画撮影に関連した関連処理を行うようにしたものである。
この実施形態５では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００７４】
実施形態５の撮像装置３００は、図１４に示すように、複数の判定条件９０１〜９０ｎから構成された特定条件判定情報３０９ａを記憶し、処理実行部１１は、各判定条件に従って自動シャッター処理や当該処理に関連した関連処理を行う。
【００７５】
即ち、特定条件判定情報３０９ａは、図１５（ａ）及び図１５（ｂ）に示すように、例えば、条件番号１の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「７０〜８０％」と、起動中の処理「自動撮影」と、特定タイミングで「グループのメンバーが足りないことの警告」を行うことが対応付けられている。同様に、条件番号２の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「８０％以上」と、全体の動き「動き有り」と、起動中の処理「自動撮影」と、特定タイミングで「グループのメンバー全員が静止していないことの警告」を行うことが対応付けられている。同様に、条件番号３の判定条件は、グループ「Ｂさんの家族」と、グループ一致度「８０％以上」と、全体の動き「動き無し」と、起動中の処理「自動撮影」と、特定タイミングで「撮影記録」を行うことが対応付けられている。
ここで、グループ一致度「７０〜８０％」は、例えばＢさんの家族が全員で４人である場合に、カメラを操作する一人の撮影者を除く全てのメンバーが揃ったときに合致するように設定された数値であり、グループ一致度「８０％以上」は、４人全員が揃ったときに合致するように設定された数値である。このグループ一致度は、グループ全体の人数に応じて変更されるものであり、パーセンテージではなく人数を指定するようにしてもよい。
【００７６】
特定条件判定部９は、処理実行部１１により自動シャッター処理が実行される場合に、保存画像決定手段として、顔検出部７による被写体の顔の角度の判定結果に基づいて、画像記録部２に保存される画像情報を決定する。即ち、特定条件判定部９は、撮像部１によるスルー画像の撮像中に、特定条件判定情報３０９ａのグループ「Ｂさんの家族」のグループ一致度が８０％以上となって、且つ、全体の動きがなくなった状態の画像情報を静止画像として決定する指示に係る指示情報を処理実行部１１に出力する。
【００７７】
処理実行部１１は、撮像関連処理実行手段として、顔検出部７により照合された顔画像の数に応じて、撮像部１による被写体の撮像に関連する撮像関連処理を実行する。即ち、処理実行部１１は、顔検出部７により検出された顔画像と個人毎及びグループ毎の照合結果に応じて、即ち、個人顔ＤＢ４に登録された顔画像情報やグループＤＢ５のメンバーとの照合結果に応じて、例えば、顔検出部７により所定のグループのメンバーの顔画像が照合されてグループ一致度が所定割合以上となって、且つ、全体の動きがなくなった場合に、撮像部１による被写体の撮像を自動的に行わせる自動シャッター処理を実行する。
【００７８】
処理実行部１１は、焼き増し数設定手段として、撮像部１により撮像された画像データの焼き増し数を設定する。具体的には、処理実行部１１は、顔検出部７により検出された顔画像と個人毎及びグループ毎の照合結果に応じて、即ち、個人顔ＤＢ４に登録された顔画像情報やグループＤＢ５のメンバーとの照合結果に応じて焼き増し数を設定する。
【００７９】
次に、図１６を参照して自動シャッター処理について説明する。
なお、自動シャッター処理は、顔検出部７による顔検出機能及び顔認識機能がＯＮ状態で実行されるものとする。
【００８０】
図１６に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて自動シャッター処理モードに設定する（ステップＳ５１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部１により連続的に撮像を行って得られるモニタ表示用の画像データを逐次出力するように画像取得制御部３に対して指示する（ステップＳ５２）。
【００８１】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して、顔個別検出情報８ａを出力する（ステップＳ５３）。また、顔検出部７は、グループＤＢ５を参照して、各グループ内の複数のメンバーと検出された複数の人物とを照合して、顔全体検出情報８ｂを出力する（ステップＳ５４）。
【００８２】
そして、特定条件判定部９は、顔検出部７から出力され入力された全体検出情報８ｂに基づいて、特定条件判定情報３０９ａの条件番号１または条件番号２に規定された各判定条件と一致するか否かを判定する（ステップＳ５５）。ここで、条件番号１の各判定条件と一致すると判定されると（ステップＳ５５；ＹＥＳ）、特定条件判定部９は、画像データが一致したタイミングで「メンバーが足りないことの警告」を発する指示情報を出力する。また、条件番号２の各判定条件と一致すると判定された場合は、「グループのメンバー全員が静止していないことの警告」を発する指示情報を出力する（ステップＳ５６）。 また、ステップＳ５５にて、条件番号１、条件番号２の各判定条件と一致しないと判定されると（ステップＳ５５；ＮＯ）、特定条件判定部９は、特定条件判定情報３０９ａの条件番号２に規定された各判定条件と一致するか否かを判定する（ステップＳ５７）。ここで、条件番号２の各判定条件と一致すると判定されると（ステップＳ５７；ＹＥＳ）、特定条件判定部９は、画像データが一致したタイミングで「撮影記録」を行うことの指示情報を出力する（ステップＳ５８）。
【００８３】
処理実行部１１は、特定条件判定情報３０９ａから出力された「警告」に係る指示情報が入力されると、表示部１０を制御して所定の警告画面を表示させたり、スピーカ（図示略）から所定の警告音を発生させる（ステップＳ５９）。
また、処理実行部１１は、特定条件判定情報３０９ａから出力された「撮影記録」に係る指示情報が入力されると、当該指示情報に係る画像フレームを静止画像として取得する（ステップＳ６０）。
上記の処理を画像取得制御部３からの画像データの出力が終了するまで繰り返す（ステップＳ６１；ＹＥＳ）。
【００８４】
次に、処理実行部１１は、撮像された画像データを個別の静止画像として画像記録部２に記録させる（ステップＳ６２）。
これにより、自動シャッター処理を終了する。
【００８５】
次に、図１７を参照して焼き増し数設定処理について説明する。
なお、以下の焼き増し数設定処理にあっては、特定条件判定情報３０９ａに所定のグループ（例えば、「Ａさんの家族」）が予め登録されているものとする。
【００８６】
図１３に示すように、先ず、操作入力部６のモード設定ボタンの所定操作に基づいて焼き増し数設定処理モードに設定する（ステップＳ７１）。
次に、処理実行部１１は、操作入力部６の所定の入力ボタンの所定操作に基づいて、画像記録部２に記録されている画像ファイルのうち、指定された画像集合（グループ）内の画像ファイルを順に出力するように画像取得制御部３に対して指示する（ステップＳ７２）。
【００８７】
続けて、顔検出部７は、個人顔ＤＢ４を参照して、当該個人顔ＤＢ４の複数の顔画像情報と、画像取得制御部３から出力される画像データ（画像フレーム）とを比較照合して、顔個別検出情報８ａを出力する（ステップＳ７３）。また、顔検出部７は、グループＤＢ５を参照して、各グループ内の複数のメンバーと検出された複数の人物とを照合して、顔全体検出情報８ｂを出力する（ステップＳ７４）。
そして、特定条件判定部９は、顔検出部７から出力され入力された顔個別検出情報８ａ及び顔全体検出情報８ｂに基づいて、特定条件判定情報３０９ａに規定された所定のグループと一致するか否かを判定する（ステップＳ７５）。ここで、所定のグループと一致すると判定されると（ステップＳ７５；ＹＥＳ）、特定条件判定部９は、顔全体検出情報８ｂの個人認識総数から「グループのメンバー数−１」を減算した値を焼き増し数として設定する（ステップＳ７６）。
一方、所定のグループと一致しないと判定されると（ステップＳ７５；ＮＯ）、特定条件判定部９は、顔全体検出情報８ｂの個人認識総数に対応する値を焼き増し数として設定する（ステップＳ７７）。
これにより、焼き増し数設定処理を終了する。
【００８８】
以上のように、実施形態５の撮像装置３００によれば、顔検出部７により照合された顔画像の数及び顔画像の動き量に応じて、撮像部１による被写体の撮像に関連する撮像関連処理を実行することができるので、顔認識技術を活用して複数の被写体の撮像を効果的に行うことができる。即ち、顔検出部７により検出された顔画像と個人顔ＤＢ４及びグループＤＢ５に登録された顔画像情報との比較照合を個人毎及びグループ毎に行うことができ、グループのメンバーのうち、一致度が所定の割合以上となって、且つ、顔画像の動きがなくなった状態で、自動的にシャッターをきって静止画像を撮像することができる。これにより、集合写真の撮像を失敗することなく適正に撮像することができる。例えば、集合写真の撮影において、一人を除く全てのメンバーがカメラの前に集合したときに警告を行えば、あと一人が揃えば自動的に撮影が行われることを知って事前に笑顔を作るなどの準備をすることができ、また、全てのメンバーが揃っても、メンバー全員が静止していない場合に警告を行うので、必要なタイミングで動くのを止めることができ、また、全てのメンバーが揃い、かつ、メンバー全員が静止した場合に自動撮影を行うので、カメラの操作者が撮影フレーム内に入ってきたばかりでまだ動いている状態で撮影されてしまうようなことがなくなる。
【００８９】
また、焼き増し数自動設定処理にて、所定のグループをグループＤＢ５に登録しておくことにより、当該グループの認識を行ってグループ全体で必要とする焼き増し数を予め設定しておくことができ、例えば、同居している家族では人数分の写真を必要としないので一枚として設定するなどの面倒な焼き増し数の設定を自動的に行うことができる。
【００９０】
また、上記の自動シャッター処理にあっては、グループ一致度が８０％以上で、その他の条件が揃った場合に、自動で撮像を行うようにしたが、これに限られるものではなく、顔検出部７により個人顔ＤＢ４に登録された複数の顔画像情報が全て照合された場合に撮像を行うようにしても良い。
これにより、自動シャッター処理をセルフタイマー撮影と組み合わせて行う場合に、より失敗のない記念撮影等を行うことができることとなって、撮像装置の利便性をより向上させることができる。
【００９１】
さらに、上記の自動シャッター処理にあっては、登録してある顔以外の人がピンボケになってしまうことを防止するため、パンフォーカスモードに切り替えて撮影するようにしても良い。即ち、複数の人が写っている場合、奥行き方向に並んでしまうと、ピンボケを起こす可能性が高くなってしまうので、顔を検出し更に認識した顔の大きさを持って自動判定を行う。
具体的には、顔検出部７が、撮像装置に既に登録済みの顔画像を１個以上照合した場合には、検出した全ての顔サイズを取得する。そして、個人顔ＤＢ４との照合において、２個以上の顔画像が認識された場合には、登録済みの顔画像で、且つ、画像フレーム内に認識された顔サイズの一番小さいもの、つまり、一番遠いところにいる人と、個人顔ＤＢ４には登録されていないが、検出されたその他の顔画像のサイズとの比較を行う。ここで、登録していない顔画像の方が一つでもある一定以上の大きさの差があれば、パンフォーカスモードに切り替える。また、個人顔ＤＢ４との照合において、１個の顔画像が認識できた場合には、検出した全ての顔サイズとの比較を行い、認識できた顔画像よりも一つでも大きいサイズの顔画像が存在すればパンフォーカスモードに切り替える。
これにより、集合写真などで登録されていない人物がピンぼけになってしまう撮像を、パンフォーカスにすることにより回避することができ、より利便性の高い撮像装置を提供することができる。
【００９２】
また、上記実施形態にあっては、連写撮像中に、画像フレーム内に検出された顔画像が個人顔ＤＢ４に登録済みの顔画像である場合であって、当該顔画像がｎ個（ｎ≧１）以上存在すると認識されると、登録済みと照合された顔画像に対してトラッキング処理を開始し、ｎ個の顔画像がトラッキングできている間、自動シャッターで撮像を行う。そして、撮像終了直後に、トラッキングできているか否かを確認して、ｎ個の顔がトラッキングできなくなるまで撮像を連続する。
これにより、顔画像をトラッキングできている間、撮像を連続して行うことができ、登録済みの顔画像の被写体の様々な表情を撮像し易くすることができる。
【００９３】
なお、上記実施形態にあっては、複数の判定条件９０１〜９０ｎに応じた処理を自動シャッター処理や焼き増し数設定処理に適用して説明したが、これに限られるものではなく、例えば、モーションプリント処理、スチルインムービー処理、画像削除処理等の各種の処理に適用するようにしても良い。
【００９４】
［実施形態６］
実施形態６は、実施形態１の撮像装置１００を、各種撮影モード設定処理や各種撮影条件設定処理の自動化に適用したものであり、特に、撮影フレーム内に検出された複数の人物（顔）に対する個人特定（認識）やグループ特定の状況に応じて設定すべき撮影モードや撮影条件を自動決定するようにしたものである。
この実施形態６では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【００９５】
実施形態６の撮像装置４００は、図１８に示すように、顔個別検出情報８ａ及び顔全体検出情報８ｂから顔情報ファイルを生成して記録する顔情報保存制御部１２を備えている。
即ち、顔情報保存制御部１２は、顔個別検出情報８ａ及び顔全体検出情報８ｂを他の撮像装置にて再利用可能な形態である顔情報ファイル１２ａとして記録保存する。具体的には、顔情報保存制御部１２は、撮像装置４００本体に対して着脱自在なメモリカード等を備え、当該メモリカードに、顔情報ファイル１２ａ（顔個別検出情報８ａ及び顔全体検出情報８ｂ）と、当該顔情報ファイル１２ａと対応付けられている画像ファイルを記憶するようになっている。
ここで、顔情報保存制御部１２は、顔情報ファイル１２ａと画像ファイルを別ファイルとして記憶する別ファイル記憶手段を構成している。
【００９６】
また、顔個別検出情報８ａ及び顔全体検出情報８ｂを顔情報ファイル１２ａとして統合した場合には、特定条件判定情報４０９ａは、図１９（ａ）に示すように、例えば、各条件番号（判定条件）と、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態（優先度）、メイン人物のサイズ等が対応付けられたものである。また、各条件番号は、図１９（ｂ）に示すように、起動する各処理と、起動処理条件等が対応付けられている。
例えば、特定条件判定情報４０９ａとして、条件番号１の判定条件は、顔検出総数「０」と、個人認識総数「０」と、起動する処理「風景撮影モード」等が対応付けられている。同様に、条件番号２の判定条件は、顔検出総数「１」と、個人認識総数「０」と、メイン人物のサイズ「２０％以上」と、起動する処理「単数人物撮影モード」と、処理条件「認識された人物にピントを合わせる」等が対応付けられている。同様に、条件番号３の判定条件は、顔検出総数「２以上」と、個人認識総数「０」と、全体の動き「速い」と、起動する処理「スポーツ撮影モード」等が対応付けられている。同様に、条件番号４の判定条件は、顔検出総数「１以上」と、個人認識総数「１」と、起動する処理「スナップ撮影モード」と、処理条件「メイン人物にピントを合わせる」等が対応付けられている。同様に、条件番号５の判定条件は、個人認識総数「２以上」と、起動する処理「集合写真撮影モード」等が対応付けられている。同様に、条件番号６の判定条件は、個人認識総数「２以上」と、全体の動き「有り」と、起動する処理「自動連写可能モード」と、処理条件「一定時間毎に撮影繰り返す」等が対応付けられている。同様に、条件番号７の判定条件は、個人認識総数「１以上」と、メイン人物「不明」と、起動する処理「ＡＦモード」と、処理条件「認識された個人とメイン人物の中間にフォーカスを設定」等が対応付けられている。同様に、条件番号８の判定条件は、グループ一致度「８０％以上」と、メイン人物「不明」と、起動する処理「パンフォーカスモード」と、処理条件「グループ全員とメイン人物を含むようにフォーカスを設定」等が対応付けられている。
【００９７】
特定条件判定部９は、顔検出部７から出力された顔全体検出情報８ｂと特定条件判定情報４０９ａとを常に比較し、一致する条件があった場合には、その一致する条件番号を出力する。
【００９８】
処理実行部１１は、特定条件判定部９から条件番号が出力されると、その条件番号に対応する撮影モードまたは撮影条件への切り換えを行う。
図１９に示すような特定条件判定情報４０９ａが設定されている場合には、撮影フレーム内に１つも顔が検出されていない場合にはフォーカスを遠景に設定するなどの風景撮影モードに自動的に切り換え、ある程度の大きさの顔が１つ検出されている場合にはフォーカスを近景に設定するなどの単数人物撮影モードに自動的に切り換え、２人以上の動きの速い顔が検出されている場合にはシャッター速度を速めるなどのスポーツ撮影モードに自動的に切り換え、登録されている人物が１人認識されている場合には個人の撮影記録に適したスナップ撮影モードに自動的に切り換え、登録されている人物が複数認識されている場合には集合写真の撮影記録に適した集合写真撮影モードに自動的に切り換える。
【００９９】
このように、実施形態６の撮像装置４００によれば、顔の検出数と、個人の認識数とを別々に特定し、それら特定された数の組み合わせに応じて撮影モードまたは撮影条件を切り換えるので、より柔軟に最適な撮影モードまたは撮影条件を自動的に設定することができる。
また、図１９に示す特定条件判定情報４０９ａの他の設定例では、登録されている人物が複数認識され、かつ、全体が動いている場合には、自動連写モードに自動的に切り換えることにより、全ての人物が正面を向いた瞬間の撮影画像を得ることが容易にできるようになる。また、登録されている個人の認識状況とメイン人物の認識状況に応じてフォーカスモードを柔軟かつ適切に設定することが可能になる。
【０１００】
［実施形態７］
実施形態７は、実施形態１の撮像装置１００を、画像検索表示処理の自動化に適用したものである。
この実施形態７では、実施形態１における特定条件判定部９および処理実行部１１の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
【０１０１】
操作入力部６は、処理実行部１１による画像検索処理や画像表示処理に係る処理条件を顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）に係る条件に従って入力指定することができ、処理条件指定手段を構成している。
【０１０２】
処理実行部１１は、画像情報選択手段として、操作入力部６を介して指定された処理条件並びに、顔個別検出情報８ａ及び顔全体検出情報８ｂ（顔関連情報）に基づいて、顔情報保存制御部１２に記録された顔情報ファイル１２ａと関連付けられた複数の画像ファイルの中から、画像検索処理や画像表示処理等の処理対象を選択する。
即ち、処理実行部１１は、画像検索手段として、画像記録部２に記録された複数の画像ファイルの中で、操作入力部６を介して指定された処理条件に応じた所望の画像ファイルを検索する。
また、処理実行部１１は、画像表示制御手段として、画像記録部２に記録された複数の画像ファイルの中で、操作入力部６を介して指定された処理条件に応じた所望の画像ファイルを表示部１０に表示させる。即ち、処理実行部１１は、画像加工制御手段（処理実行部１１）により拡大された被写体の顔部分を表示部１０に表示させる。
【０１０３】
次に、図２０を参照して自動化された画像検索表示処理について説明する。
なお、記録保存されている画像データの検索や表示を自動化するためには、撮影された画像データに対して上述した顔個別検出情報８ａや顔全体検出情報８ｂで示されるような顔情報を関連付けて記録しておく必要がある。
【０１０４】
撮影時においては、先ず、撮像部１による被写体の撮影が開始され（ステップＳ１０１）、撮像部１から出力される画像フレーム内に顔画像（人）が存在すると、顔検出部７は、顔個別検出情報８ａおよび顔全体検出情報８ｂを出力する（ステップＳ１０２）。
【０１０５】
顔情報保存制御部１２は、この出力された顔個別検出情報８ａおよび顔全体検出情報８ｂに基づく各種顔情報を「顔情報ファイル１２ａ」として画像データと同じファイル名称で別拡張子のファイルとして保存する（ステップＳ１０３）。
【０１０６】
その後、任意のタイミングで操作入力部６の所定操作に基づいて画像検索条件（例えば、大きい顔）および画像表示条件が特定条件判定情報９ａとして設定され（ステップＳ１０４）、検索対象となる複数の画像データが指定されると、画像取得制御部３は、処理実行部１１の指示に応じて検索対象として指定された複数の画像データを順番に出力する。顔検出部７および顔情報保存制御部１２は、当該画像データに対応する顔情報ファイルがまだ記録されていない場合には、新たに顔個別検出情報８ａおよび顔全体検出情報８ｂの出力および「顔情報ファイル１２ａ」の保存を行う。
特定条件判定部９は、特定条件判定情報９ａに設定されている検索条件と当該画像データに対応する顔情報ファイルの内容とを比較し、条件が一致する場合には、当該画像データを表示対象（検索画像）として指定する指示情報を出力する（ステップＳ１０５）。
そして、処理実行部１１は、画像記録部２の複数の画像データのうち、表示対象（検索画像）として指定された画像データのみを取得する（ステップＳ１０６）、更に、処理実行部１１は、表示対象（検索画像）として指定された画像データに対応する顔情報ファイルの内容と、特定条件判定情報９ａに設定された画像表示条件に基づいて当該画像データを表示部１０に出力して表示させる。具体的には、画像表示条件としてメイン人物の拡大表示が指定されている場合には、顔情報ファイルを参照してメイン人物の顔の位置とサイズを特定し、その部分を拡大して表示する（ステップＳ１０７）。
【０１０７】
以上のように、実施形態７の撮像装置４００によれば、撮影した画像データ内に人物の顔が含まれている場合には、この人物の顔に係る様々な情報を利用して画像の検索や表示を制御することができる。また、画像データと関連付けて顔情報ファイル１２ａを記録することができ、操作入力部６により指定された処理条件に基づいて、顔画像ファイルと関連付けられた画像データを処理実行部１１による画像関連処理の処理対象として決定することができるので、画像関連処理を効率良く行って、処理の高速化を図ることができる。
即ち、画像検索処理や画像表示処理等にて毎回画像データをＲＡＭ上に展開してから顔検出部７による顔検出や顔認識等を行わせる必要がなくなって、顔画像ファイルを参照することにより、顔を基点とした再生表示や顔をキーとした画像検索を効率良く行うことができる。
【０１０８】
また、顔画像ファイルを画像データとともに別ファイルとして保存することにより、当該データを外部機器に容易に受け渡すことができ、カメラ機能を持たないビューワーなどで顔を基点とした検索を適正に行うことができる。
【０１０９】
さらに、上記実施形態では、顔情報ファイル１２ａを別ファイルとして保存するようにしたが、画像ファイル内のヘッダーなどの管理領域に保存するようにしても良い。
【０１１０】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、図２１に示すように、個人顔ＤＢ４を人物毎に統合して個人顔統合ＤＢ１３としても良い。
即ち、統合するためのレコードが足りないようであれば、実施形態４の撮像装置４００により生成された顔情報ファイル１２ａを外部メモリから読み込んで個人顔ＤＢ４に追加する。そして、同じ名前の人物の複数のレコードに基づいて、顔の向きに関係しない個人の顔の特徴データを抽出して、当該特徴データを個人顔統合ＤＢ１３に記憶する。その後、この人物の各優先度に対応して記憶されている複数の顔画像の各々の顔の向きを後述するような処理によって判定し、各優先度に対応する顔の向きの範囲を特定して記憶する。
具体的には、図２１に示すように、個人顔統合ＤＢ１３には、各人物の名前と、顔の向きに関係のない特徴データと、優先度１（ベスト）〜優先度５（ワースト）のデータ等が対応付けられて記憶されている。例えば、被写体として「Ａさん」を例示して説明すると、Ａさんの特徴データと、優先度１の顔の向きの範囲を示す情報として右１５°から右３０°が、優先度２の顔の向きの範囲を示す情報として右１５°から左１５°が、優先度５の顔の向きの範囲を示す情報として左３０°から左９０°等が対応付けられている。同様に、「Ｂさん」は、Ｂさんの特徴データと、優先度１の顔の向きの範囲を示す情報として右１０°から左１０°が、優先度２の顔の向きの範囲を示す情報として左２０°から左４０°が、優先度５の顔の向きの範囲を示す情報として右７０°から右９０°等が対応付けられている。
【０１１１】
なお、上記の個人顔統合ＤＢ１３を用いて顔個別検出情報５０８ａを生成する場合には、顔検出部７により検出された各顔画像部分を個人顔統合ＤＢ１３と照合して、最も一致度の高いレコードに対応する人物の名前を記憶する。ここで、一致度が所定以上の人物が登録されていない場合には不明とする。また、顔検出部７は、顔画像の中に含まれる目、鼻、ロ等の顔パーツの顔の中心からのずれ量に基づいて顔の向きを判定して記憶するようになっている（図２３参照）。なお、図２２にあっては、顔個別検出情報５０８ａのうち、図４の顔個別検出情報８ａと異なる部分のみ表している。また、特定条件判定部９は、顔検出部７で判定された顔の向きが、個人顔統合ＤＢ１３に記憶されている顔の向きの範囲に含まれているかによって、指定された顔の向きと検出された顔の向きが等しいか否かを判定する。
【符号の説明】
【０１１２】
１００、２００、３００、４００ 撮像装置（画像処理装置）
１ 撮像部（撮像手段）
２ 画像記録部
４ 個人顔ＤＢ（顔画像情報登録手段）
５ グループＤＢ
６ 操作入力部（処理条件指定手段）
７ 顔検出部（顔検出手段、顔照合手段、顔関連情報取得手段）
８ 検出情報記憶部（顔関連情報記録手段）
９ 特定条件判定部（処理対象決定手段、主画像決定手段、保存画像決定手段、削除画像決定手段）
１０ 表示部（画像表示手段）
１１ 処理実行部（撮像関連処理実行手段、画像情報選択手段、画像処理手段、合成画像生成手段、画像削除手段、焼き増し数設定手段、画像検索手段、画像加工制御手段画像表示制御手段）
【特許請求の範囲】
【請求項１】
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段と、
前記画像情報記録手段により記録される前記画像情報から前記顔画像を検出する顔検出手段と、
前記顔検出手段により検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する顔関連情報取得手段と、
前記顔関連情報取得手段により取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する顔関連情報記録手段と、
前記画像情報記録手段に記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う画像処理手段と、
前記画像処理手段による前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する処理条件指定手段と、
前記処理条件指定手段により指定された前記処理条件と前記顔関連情報記録手段に記録された前記顔関連情報とに基づいて、前記顔関連情報記録手段に記録された複数の画像情報の中から前記画像処理手段による前記画像関連処理の処理対象を選択する画像情報選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記顔検出手段は、１つの画像情報内から複数の顔画像を検出し、
前記顔関連情報取得手段は、１つの画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を取得し、
前記顔関連情報記録手段は、１つの画像情報に対して、当該画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を関連付けて記録することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、
前記画像情報記録手段に記録された前記複数の画像情報の中で、前記処理条件指定手段により指定された前記処理条件に応じた所望の画像情報を検索する画像検索手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理手段は、
前記画像検索手段により検索された画像情報を、前記処理条件指定手段により指定された前記処理条件に応じて加工する画像加工制御手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像加工制御手段は、指定された被写体の顔部分を拡大する加工を行い、
前記画像情報に基づいて画像を表示する画像表示手段と、
前記画像加工制御手段により拡大された顔部分を前記画像表示手段に表示させる画像表示制御手段と、
を更に備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記顔関連情報記録手段に記録された前記顔関連情報と前記画像情報記録手段に記録された前記画像情報を別ファイルとして記憶する別ファイル記憶手段を備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段を備える画像処理装置に、
前記画像情報記録手段に記録される前記画像情報から前記顔画像を検出する機能と、
検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する機能と、
取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する機能と、
記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う機能と、
前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する機能と、
指定された前記処理条件と記録された前記顔関連情報とに基づいて、前記複数の画像情報の中から前記画像関連処理の処理対象を選択する機能と、
を実現させることを特徴とするプログラム。
【請求項１】
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段と、
前記画像情報記録手段により記録される前記画像情報から前記顔画像を検出する顔検出手段と、
前記顔検出手段により検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する顔関連情報取得手段と、
前記顔関連情報取得手段により取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する顔関連情報記録手段と、
前記画像情報記録手段に記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う画像処理手段と、
前記画像処理手段による前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する処理条件指定手段と、
前記処理条件指定手段により指定された前記処理条件と前記顔関連情報記録手段に記録された前記顔関連情報とに基づいて、前記顔関連情報記録手段に記録された複数の画像情報の中から前記画像処理手段による前記画像関連処理の処理対象を選択する画像情報選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記顔検出手段は、１つの画像情報内から複数の顔画像を検出し、
前記顔関連情報取得手段は、１つの画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を取得し、
前記顔関連情報記録手段は、１つの画像情報に対して、当該画像情報内から検出された複数の顔画像に関連する各種の顔関連情報を関連付けて記録することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、
前記画像情報記録手段に記録された前記複数の画像情報の中で、前記処理条件指定手段により指定された前記処理条件に応じた所望の画像情報を検索する画像検索手段を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理手段は、
前記画像検索手段により検索された画像情報を、前記処理条件指定手段により指定された前記処理条件に応じて加工する画像加工制御手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像加工制御手段は、指定された被写体の顔部分を拡大する加工を行い、
前記画像情報に基づいて画像を表示する画像表示手段と、
前記画像加工制御手段により拡大された顔部分を前記画像表示手段に表示させる画像表示制御手段と、
を更に備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記顔関連情報記録手段に記録された前記顔関連情報と前記画像情報記録手段に記録された前記画像情報を別ファイルとして記憶する別ファイル記憶手段を備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
被写体の顔画像を含む画像情報を複数記録する画像情報記録手段を備える画像処理装置に、
前記画像情報記録手段に記録される前記画像情報から前記顔画像を検出する機能と、
検出された前記顔画像に関連する各種の顔関連情報を前記画像情報から取得する機能と、
取得された前記顔関連情報と前記画像情報記録手段に記録される前記画像情報を関連付けて記録する機能と、
記録された前記複数の画像情報に基づいて、当該画像に関連した画像関連処理を行う機能と、
前記画像関連処理の処理条件を、前記各種の顔関連情報に係る条件によって指定する機能と、
指定された前記処理条件と記録された前記顔関連情報とに基づいて、前記複数の画像情報の中から前記画像関連処理の処理対象を選択する機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−１４６３１３（Ｐ２０１２−１４６３１３Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１２−３２３７６（Ｐ２０１２−３２３７６）
【出願日】平成２４年２月１７日（２０１２．２．１７）
【分割の表示】特願２００７−８４３８３（Ｐ２００７−８４３８３）の分割
【原出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２４年２月１７日（２０１２．２．１７）
【分割の表示】特願２００７−８４３８３（Ｐ２００７−８４３８３）の分割
【原出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]