撮像装置、その制御方法およびプログラム
【課題】ユーザの好みに応じた撮像画像を容易に記録する。
【解決手段】操作受付部２２０は、所望の顔属性を指定する指定操作を受け付ける。撮像部１１０は、被写体からの入射光を撮像画像に変換する。顔検出部１２０は、撮像画像に含まれる人物の顔を検出する。属性判定部１５０は、検出された顔の顔属性を判定する。優先顔決定部１６０は、属性判定部１５０により判定された顔属性の判定結果の中から、操作受付部２２０において指定された顔属性（年代、性別等）に該当する顔を優先候補として選択し、この優先候補の中から優先顔をさらに決定する。撮像制御部１９１は、優先顔に基づいてホワイトバランス、カラーバランス、露出、フォーカス等の撮像パラメータを設定することにより撮像制御を行う。表示部２００は、優先顔に優先顔位置マーカが付され、検出された顔に顔位置マーカが付された撮像画像を表示する。
【解決手段】操作受付部２２０は、所望の顔属性を指定する指定操作を受け付ける。撮像部１１０は、被写体からの入射光を撮像画像に変換する。顔検出部１２０は、撮像画像に含まれる人物の顔を検出する。属性判定部１５０は、検出された顔の顔属性を判定する。優先顔決定部１６０は、属性判定部１５０により判定された顔属性の判定結果の中から、操作受付部２２０において指定された顔属性（年代、性別等）に該当する顔を優先候補として選択し、この優先候補の中から優先顔をさらに決定する。撮像制御部１９１は、優先顔に基づいてホワイトバランス、カラーバランス、露出、フォーカス等の撮像パラメータを設定することにより撮像制御を行う。表示部２００は、優先顔に優先顔位置マーカが付され、検出された顔に顔位置マーカが付された撮像画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、撮像画像から顔等の対象物を検出することが可能な撮像装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体が撮像された画像を撮像画像として記録するデジタルスチルカメラ等の撮像装置が普及している。また、最近では、撮像画像から人物の顔を検出し、この検出された顔を美しく記録するための最適な撮像パラメータを設定する撮像装置が提案されている。例えば、撮像画像から人物の顔を検出し、この検出された顔に関する情報に基づいてオートフォーカスの対象となるエリアを撮像画像上の顔に設定し、この撮像画像上の顔に適切にピントを合わせることが可能な撮像装置が存在する。
【０００３】
また、撮像画像から複数の顔が検出された場合には、これらの顔の中から主要な顔である優先顔を判定し、この優先顔について最適な撮像パラメータを設定する撮像装置が存在する。
【０００４】
例えば、撮像画像内の人物の顔を検出し、この検出された顔のサイズ情報および位置情報を用いて最終的な顔の重要度を計算して、撮像画像内に存在する人物の顔の重要度を判定する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００７−２０１９８０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、撮像画像内に存在する人物の顔のサイズおよび位置を考慮して、高精度な重要度判定を行うことが可能である。また、重要度が高いと判定された顔に基づいて露出制御等を行うことができる。
【０００６】
しかしながら、複数の人物を撮影する場合において、人物の顔のサイズや位置等とは無関係に、撮影者または撮影対象者の好みに応じて撮像画像を記録したい場合がある。例えば、子供の入学式の日に親子で記念撮影をする場合において、父親は、子供の顔が一番綺麗になるように撮像画像を記録したいと考える可能性が高い。また、同じ構図でも、例えば、母親は、自分の顔が一番美しく綺麗になるように撮像画像を記録したいと考える可能性もある。
【０００７】
このように、撮影者または撮影対象者の好みが多種多様であるため、撮影者または撮影対象者の好みに応じた撮像画像を容易に記録することが重要である。
【０００８】
そこで、本発明は、ユーザの好みに応じた撮像画像を容易に記録することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる上記対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記指定された属性と上記判定された属性とに基づいて上記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。ここで、優先対象物は、撮像画像に含まれる所定の対象物の中で優先的な取り扱いを受ける対象物である。例えば、優先対象物は、撮像制御に関して優先的な取り扱いを受け、優先対象物を基準にしてフォーカスや露出等の撮像制御が行われる。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を判定して、指定された属性と判定された属性とに基づいて、検出された対象物の中から少なくとも１つの対象物を優先対象物として決定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記優先対象物に基づいて所定の撮像パラメータを設定することにより撮像制御を行う撮像制御手段をさらに具備するようにしてもよい。これにより、優先対象物に基づいて、所定の撮像パラメータを設定することにより撮像制御を行うという作用をもたらす。
【００１１】
また、この第１の側面において、上記撮像制御手段は、上記指定された属性に基づいて上記撮像パラメータを設定することにより上記撮像制御を行うようにしてもよい。これにより、指定された属性に基づいて撮像パラメータを設定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記撮像制御手段は、上記優先対象物に基づいてホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを上記撮像パラメータとして設定することにより上記撮像制御を行うようにしてもよい。これにより、優先対象物に基づいて、ホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを撮像パラメータとして設定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記優先対象物が決定された際に上記撮像手段により変換された撮像画像を所定の記録媒体に記録させる記録制御手段をさらに具備するようにしてもよい。これにより、優先対象物が決定された際における撮像画像を、所定の記録媒体に記録させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記操作受付手段は、上記対象物に関する属性を複数指定する操作入力を受け付け、上記優先対象物決定手段は、上記指定された複数の属性と上記判定された属性とに基づいて上記優先対象物を決定するようにしてもよい。これにより、指定された複数の属性と、判定された属性とに基づいて、優先対象物を決定するという作用をもたらす。
【００１５】
また、この第１の側面において、上記操作受付手段は、上記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、上記優先対象物決定手段は、上記指定された第１および第２の属性と上記判定された属性とに基づいて上記優先対象物を決定するようにしてもよい。これにより、指定された第１および第２の属性と、判定された属性とに基づいて、優先対象物を決定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記優先対象物決定手段は、上記検出された対象物の中から上記判定された属性が上記指定された属性に該当する対象物を選択することにより上記優先対象物を決定するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された属性に該当する対象物を選択することによって優先対象物を決定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記対象物検出手段は、上記撮像画像における上記検出された対象物の大きさ、位置、向きのうちの少なくとも１つを検出し、上記優先対象物決定手段は、上記選択された対象物が複数存在する場合には上記検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて上記選択された複数の対象物の中から上記優先対象物を決定するようにしてもよい。これにより、撮像画像における対象物の大きさ、位置、向きのうちの少なくとも１つを検出して、この検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて、選択された複数の対象物の中から優先対象物を決定するという作用をもたらす。
【００１８】
また、この第１の側面において、上記対象物検出手段は、上記撮像画像における上記検出された対象物の大きさおよび位置を検出し、上記優先対象物の大きさおよび位置に基づいて上記撮像画像における上記優先対象物の位置を示す優先対象物位置マーカを生成する対象物位置マーカ生成手段と、上記撮像画像と上記生成された優先対象物位置マーカとを重畳する重畳手段と、上記重畳された画像を表示する表示手段とをさらに具備するようにしてもよい。これにより、撮像画像における対象物の大きさおよび位置を検出し、優先対象物の大きさおよび位置に基づいて優先対象物位置マーカを生成して、撮像画像と優先対象物位置マーカとが重畳された画像を表示するという作用をもたらす。
【００１９】
また、この第１の側面において、上記対象物位置マーカ生成手段は、上記検出された対象物の大きさおよび位置に基づいて上記検出された対象物の中の上記優先対象物以外の対象物の上記撮像画像における位置を示すマーカであって上記優先対象物位置マーカとは異なる態様のマーカである対象物位置マーカを生成し、上記重畳手段は、上記撮像画像と上記生成された対象物位置マーカとを重畳するようにしてもよい。これにより、対象物の大きさおよび位置に基づいて対象物位置マーカを生成して、撮像画像と対象物位置マーカとが重畳された画像を表示するという作用をもたらす。
【００２０】
また、この第１の側面において、上記対象物は、人物の顔であってもよい。これにより、撮像画像に含まれる人物の顔を検出し、この検出された顔の顔属性を判定して、指定された顔属性と判定された顔属性とに基づいて、検出された顔の中から少なくとも１つの顔を優先顔として決定するという作用をもたらす。
【００２１】
また、本発明の第２の側面は、所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる上記対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記検出された対象物の中から上記判定された属性が上記指定された属性に該当する対象物を選択するとともに当該選択がされた際に上記撮像手段により変換された撮像画像を所定の記録媒体に記録させる旨の指示を行う撮像画像記録指示手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を判定して、検出された対象物の中から、判定された属性が指定された属性に該当する対象物を選択し、この選択の際における撮像画像を所定の記録媒体に記録させる旨の指示を行うという作用をもたらす。
【００２２】
また、この第２の側面において、上記操作受付手段は、上記対象物に関する属性を複数指定する操作入力を受け付け、上記撮像画像記録指示手段は、上記検出された対象物の中から上記判定された属性が上記指定された複数の属性に該当する対象物を選択するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された複数の属性に該当する対象物を選択するという作用をもたらす。
【００２３】
また、この第２の側面において、上記操作受付手段は、上記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、上記撮像画像記録指示手段は、上記検出された対象物の中から上記判定された属性が上記指定された第１および第２の属性に該当する対象物を選択するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された第１および第２の属性に該当する対象物を選択するという作用をもたらす。
【００２４】
また、この第２の側面において、上記第１の属性は、上記対象物の表面上の変化に関する属性であり、上記第２の属性は、上記対象物の種別に関する属性であってもよい。これにより、対象物の表面上の変化に関する属性と、対象物の種別に関する属性とに基づいて対象物を選択するという作用をもたらす。
【００２５】
また、この第２の側面において、上記対象物は、人物の顔であり、上記第１の属性は、人物の顔の表情に関する属性であり、上記第２の属性は、人物の種別に関する属性であってもよい。これにより、人物の顔の表情に関する属性と、人物の種別に関する属性とに基づいて対象物を選択するという作用をもたらす。
【発明の効果】
【００２６】
本発明によれば、ユーザの好みに応じた撮像画像を容易に記録することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２７】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、顔検出部１２０と、目検出部１３０と、正規化部１４０と、属性判定部１５０と、優先顔決定部１６０と、顔位置マーカ生成部１７０と、重畳部１８０と、撮像制御部１９１と、記録制御部１９２と、表示部２００と、撮像画像記憶部２１０と、操作受付部２２０と、辞書記憶部３００と、作業用メモリ３０１とを備える。撮像装置１００は、例えば、顔検出機能を備えるデジタルスチルカメラによって実現することができる。
【００２９】
撮像部１１０は、撮像レンズ１０１（図２に示す）を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じた画像信号を生成し、この画像信号に各種の信号処理を施すものである。そして、この信号処理が施された画像信号が撮像画像として顔検出部１２０、撮像制御部１９１、記録制御部１９２および重畳部１８０に出力される。
【００３０】
顔検出部１２０は、撮像部１１０から出力された撮像画像に含まれる顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を目検出部１３０および正規化部１４０に出力するとともに、検出された顔に関する顔情報を優先顔決定部１６０および顔位置マーカ生成部１７０に出力する。なお、検出された顔に関する顔情報は、例えば、撮像画像における顔の位置、顔の大きさまたは顔の向きである。また、顔検出部１２０は、撮像部１１０から出力された撮像画像に複数の顔が含まれている場合には、この複数の顔を検出する。例えば、図７に示すように、撮像部１１０から出力された撮像画像４００に４人の人物の顔４０５乃至４０８が含まれている場合には、これらの顔４０５乃至４０８が検出される。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法、撮影画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法を用いることができる。なお、顔検出部１２０は、予め指定された大きさの顔や予め指定された向きの顔のみを撮像画像から検出するようにしてもよい。予め指定された大きさとして、例えば、撮像画像における一定以上の大きさとすることができる。また、予め指定された向きとして、例えば、正面向きの度合いが一定以上の顔とすることができる。
【００３１】
目検出部１３０は、顔検出部１２０から出力された顔画像に含まれる両目を検出するものであり、検出された両目の顔画像における各位置を正規化部１４０に出力する。例えば、図４（ｂ）に示す顔画像２５０に含まれる顔２５１において、×印２５２および２５３で示す目の位置が検出される。
【００３２】
正規化部１４０は、正規化テンプレートを保持し、この正規化テンプレートに基づいて、顔検出部１２０から出力された顔画像について、目検出部１３０から出力された顔画像における両目の位置に基づいて正規化を行うものである。この正規化テンプレートとして、例えば、図４（ａ）に示すように、顔画像における両目の位置を基準とするテンプレートを用いることができる。すなわち、正規化部１４０は、目検出部１３０から出力された顔画像における両目の位置が、正規化テンプレートにおける両目の位置と合致するように、顔検出部１２０から出力された顔画像に回転処理および拡大縮小処理を施すとともに解像度変換を施し、その顔画像を正規化する。そして、正規化された顔画像が属性判定部１５０に出力される。なお、顔画像の正規化および正規化テンプレートについては、図４を参照して詳細に説明する。
【００３３】
属性判定部１５０は、正規化部１４０から出力された正規化顔画像について、辞書記憶部３００に記憶されている複数の判定用辞書を用いて顔属性の判定処理を行うものであり、この判定結果を優先顔決定部１６０に出力する。ここで、辞書記憶部３００に記憶されている複数の判定用辞書が作業用メモリ３０１に順次供給され、作業用メモリ３０１には１つの判定用辞書が順次記憶される。そして、作業用メモリ３０１に記憶された１つの判定用辞書を用いて顔属性の判定処理が順次行われる。具体的には、属性判定部１５０は、正規化部１４０から出力された正規化顔画像から、各部における輝度を特徴量として抽出し、この抽出された輝度の値と判定用辞書とを用いて顔属性の判定処理を行う。なお、属性判定部１５０による顔属性の判定処理については、図６乃至図８を参照して詳細に説明する。
【００３４】
辞書記憶部３００は、正規化部１４０から出力された正規化顔画像について、属性判定部１５０による各判定処理を行うための複数の判定用辞書を記憶する記憶部であり、記憶されている各判定用辞書が作業用メモリ３０１に順次供給される。なお、これらの各判定用辞書については、図５を参照して詳細に説明する。
【００３５】
作業用メモリ３０１は、辞書記憶部３００に記憶されている複数の判定用辞書のうちの１つの判定用辞書を記憶する作業用メモリであり、記憶されている判定用辞書の内容を属性判定部１５０に供給する。
【００３６】
優先顔決定部１６０は、顔検出部１２０により検出された顔の中から、操作受付部２２０において指定された顔属性の条件を満たす顔を優先顔として決定するものであり、決定された優先顔に関する情報（優先顔の位置および大きさ）を顔位置マーカ生成部１７０および撮像制御部１９１に出力する。すなわち、優先顔決定部１６０は、操作受付部２２０において指定された顔属性と、属性判定部１５０から出力された顔属性の判定結果とに基づいて、顔検出部１２０により検出された顔の中から優先顔を決定する。具体的には、優先顔決定部１６０は、操作受付部２２０により顔属性を指定する旨の操作入力が受け付けられた場合には、この指定された顔属性を保持する。そして、属性判定部１５０から出力された顔属性の判定結果の中から、保持されている顔属性の条件を満たす顔を選択する。ここで、優先顔は、撮像画像に含まれる人物の顔の中で優先的な取り扱いを受ける顔である。例えば、優先顔は撮像制御に関して優先的な取り扱いを受け、撮像制御部１９１において優先顔を基準にしてフォーカスや露出等の撮像パラメータが設定されることにより撮像制御が行われる。また、撮像画像の表示制御に関しても、他の顔に対して優先顔が優先的にユーザに識別されるように表示される。なお、保持されている顔属性の条件を満たす顔が優先候補として複数選択された場合には、これらの選択された優先候補の中から評価値の最も高い優先候補を優先顔として決定する。この評価値として、例えば、顔検出部１２０により検出された顔に関する顔情報を用いることができる。例えば、顔の大きさの大小に応じた数値、撮像画像における顔の中央からの距離に応じた数値、顔の正面向きの度合いに応じた数値等を評価値とすることができる。また、これらの数値が加算された数値を評価値とするようにしてもよい。なお、検出された顔が１つの場合には、この１つの顔が優先顔として決定される。また、属性判定部１５０から出力された顔属性の判定結果の中から、保持されている顔属性の条件を満たす顔を選択することができない場合には、評価値に基づいて優先顔を決定する。この優先顔の決定については、図７乃至図９を参照して詳細に説明する。
【００３７】
顔位置マーカ生成部１７０は、優先顔決定部１６０から出力された優先顔に関する情報に基づいて、撮像画像における優先顔の位置を示す優先顔位置マーカを生成するものであり、生成された優先顔位置マーカを重畳部１８０に出力する。また、顔位置マーカ生成部１７０は、顔検出部１２０から出力された顔に関する顔情報に基づいて、撮像画像における優先顔以外の顔の位置を示す顔位置マーカを生成し、生成された顔位置マーカを重畳部１８０に出力する。ここで、顔位置マーカ生成部１７０により生成される優先顔位置マーカと、顔位置マーカとは、異なる態様のマーカとする。なお、顔位置マーカ生成部１７０により生成される優先顔位置マーカまたは顔位置マーカの種類を、操作受付部２２０からの操作入力に応じて変更するようにしてもよい。優先顔位置マーカまたは顔位置マーカの種類および表示例については、図９乃至図１１を参照して詳細に説明する。
【００３８】
重畳部１８０は、撮像部１１０から出力された撮像画像に、顔位置マーカ生成部１７０から出力された優先顔位置マーカまたは顔位置マーカを重畳するものであり、優先顔位置マーカまたは顔位置マーカが重畳された撮像画像を表示部２００に出力する。
【００３９】
撮像制御部１９１は、撮像部１１０により撮像される撮像画像に関する撮像制御を行うものである。この撮像制御として、例えば、ホワイトバランス、カラーバランス（例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）のバランス）、露出、フォーカス等の各撮像パラメータの制御が行われる。また、撮像制御部１９１は、優先顔決定部１６０から優先顔に関する情報が出力された場合には、この優先顔に関する情報に基づいて撮像制御を行う。例えば、撮像画像における優先顔の位置をＡＦエリア（距測エリア）として設定してオートフォーカス制御を行う。また、優先顔について最適な撮影条件となるように、ホワイトバランス、カラーバランス、露出等のオート制御を行う。なお、撮像制御部１９１は、優先顔決定部１６０から優先顔に関する情報が出力されない場合には、特に顔に限定した制御を行わず、通常の撮像制御を行う。例えば、操作受付部２２０により設定された撮像条件に基づいて制御が行われる。
【００４０】
ここで、撮像制御部１９１は、操作受付部２２０により顔属性を指定する旨の操作入力が受け付けられた場合には、この指定された顔属性を保持しておき、保持されている顔属性に係る優先顔に関する情報が優先顔決定部１６０から出力された場合には、保持されている顔属性に応じた撮像パラメータを用いて撮像制御を行うことができる。例えば、顔属性として子供が指定された場合には、露出値（ＥＶ値：Exposure Value）を＋１／３段乃至２／３段として露出を調整する。
【００４１】
記録制御部１９２は、撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する記録制御を行うものである。すなわち、記録制御部１９２は、操作受付部２２０によりシャッターボタン２２１（図２に示す）の押下入力が受け付けられた場合には、この押下入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。
【００４２】
表示部２００は、重畳部１８０から出力された画像を表示するものである。
【００４３】
撮像画像記憶部２１０は、記録制御部１９２からの制御に基づいて、撮像部１１０から出力された撮像画像を記録するものである。撮像画像記憶部２１０として、例えば、フラッシュメモリやディスクメモリカード等の半導体メモリや、ＤＶＤ（Digital Versatile Disc）等のリムーバブル記録媒体の永続性のある記録媒体を用いることができる。また、撮像画像記憶部２１０は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００４４】
操作受付部２２０は、各種の操作キーやスイッチ等を備え、これらのキー等から操作入力を受け付けると、受け付けた操作入力の内容を優先顔決定部１６０、顔位置マーカ生成部１７０、撮像制御部１９１または記録制御部１９２に出力するものである。例えば、操作受付部２２０は、優先顔を決定するための顔属性を指定する旨の操作入力を受け付けると、この指定された顔属性を優先顔決定部１６０および撮像制御部１９１に出力する。また、操作受付部２２０は、優先顔位置マーカまたは顔位置マーカの種類を指定する旨の操作入力を受け付けると、この指定された優先顔位置マーカまたは顔位置マーカの種類を顔位置マーカ生成部１７０に出力する。また、操作受付部２２０は、指定された顔属性に応じた各種撮像条件を設定する旨の操作入力を受け付けると、この各種撮像条件を撮像制御部１９１に出力する。なお、本発明の実施の形態では、図２に示すように、シャッターボタン２２１やズームボタン２２２等の操作部材とともに、液晶パネル２０１において操作入力を受け付ける。すなわち、操作受付部２２０をタッチパネルとして、表示部２００と一体で構成する。
【００４５】
図２は、本発明の実施の形態における撮像装置１００の外観を示す斜視図である。図２（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズ面）側の外観を示す図であり、図２（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる液晶パネル２０１の面）側の外観を示す図である。
【００４６】
撮像装置１００は、撮像レンズ１０１と、液晶パネル２０１と、シャッターボタン２２１と、ズームボタン２２２とを備える。なお、シャッターボタン２２１およびズームボタン２２２は、図１に示す操作受付部２２０に対応する。また、液晶パネル２０１は、図１に示す表示部２００および操作受付部２２０に対応する。なお、撮像装置１００には、電源スイッチ等の他の操作部材が操作受付部２２０として備えられているが、ここでの図示および説明は省略する。
【００４７】
撮像レンズ１０１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズを含む）から構成され、これらの各レンズが撮像装置１００の筐体に内蔵されている。また、これらの各レンズを通過した光の量（すなわち、露出）が絞り（図示せず）により調整され、これらの各レンズおよび絞りを通過した被写体からの光に応じて撮像部１１０が撮像画像を生成する。
【００４８】
液晶パネル２０１は、撮像部１１０から出力された撮像画像を表示する液晶パネルである。また、液晶パネル２０１は、顔位置マーカ生成部１７０により優先顔位置マーカまたは顔位置マーカが生成された場合には、優先顔位置マーカまたは顔位置マーカが重畳された撮像画像を表示する。これらの撮像画像の表示例については、図９乃至図１１を参照して詳細に説明する。また、液晶パネル２０１は、各種の選択ボタン等を表示し、これらの選択ボタン等の領域を指等で触ることにより操作入力を行うことが可能なタッチパネルである。これらの選択ボタンの表示例については、図３および図１７を参照して詳細に説明する。
【００４９】
シャッターボタン２２１は、撮像画像を記録する際に撮影者により押下されるボタンである。撮像装置１００を用いて撮影者が撮像操作（いわゆる、写真撮影）を行う場合には、液晶パネル２０１において所望の被写体を確認した後に、撮影者がシャッターボタン２２１を押下する。シャッターボタン２２１が押下されると、シャッターボタン２２１押下に応じた信号が、操作受付部２２０から記録制御部１９２に供給される。シャッターボタン２２１押下に応じた信号が操作受付部２２０から供給されると、記録制御部１９２は、シャッターボタン２２１押下に応じた信号を受け取った際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。
【００５０】
ズームボタン２２２は、ズームの倍率を調整する際に操作されるボタンである。具体的には、図２（ｂ）に示すＷ（ワイド）ボタンおよびＴ（テレ）ボタンがズームボタン２２２に備えられ、Ｗボタンが押下されている状態では、ズームレンズがワイド端側（望遠側）に移動し、Ｔボタンが押下されている状態では、ズームレンズがテレ端側（広角側）に移動する。
【００５１】
図３は、本発明の実施の形態における液晶パネル２０１の表示例を示す図である。同図では、優先顔決定部１６０により決定される優先顔の顔属性を指定するための顔属性指定画面が表示されている場合を示す。この顔属性指定画面には、指定ボタン２３１乃至２３５が表示されている。この顔属性指定画面は、例えば、操作受付部２２０において所定の操作入力を行うことによって、液晶パネル２０１に表示させることができる。
【００５２】
なお、本発明の実施の形態では、年代や性別等の人物自体に深く関わる属性である人物の種別に関する顔属性、または、笑顔等の顔の表情に関する顔属性を指定する例について説明する。すなわち、種類が異なる２つのカテゴリーに属する顔属性の中から少なくとも１つの顔属性を指定する例について説明する。また、本発明の実施の形態において指定する顔属性は、撮影者側ではなく、撮影者側の顔属性である。
【００５３】
指定ボタン２３１乃至２３５は、優先顔の顔属性を指定する場合に押下するボタンである。例えば、「男」指定ボタン２３１は、撮像画像に含まれる男性の顔を優先顔とする場合に押下するボタンである。また、「女」指定ボタン２３２、「大人」指定ボタン２３３、「子供」指定ボタン２３４、「赤ちゃん」指定ボタン２３５についても同様に、各ボタンの表示領域に表示されている文字に対応する顔属性を指定する場合に押下される。
【００５４】
なお、この例では、人物の種別に関する顔属性についての５つの指定ボタンを表示して選択する例について説明するが、他の顔属性を指定するための指定ボタンを表示して、他の顔属性を指定可能とするようにしてもよい。例えば、顔の表情に関する顔属性について選択可能としてもよい。また、この例では、１つの顔属性を指定する例について説明するが、複数の顔属性を指定して、これらの指定された各顔属性の条件を満たす顔を優先顔として決定する場合についても、本発明の実施の形態を適用することができる。なお、複数の顔属性を指定する場合には、相反しない複数の顔属性を指定する。相反する顔属性の指定とは、例えば、「男」および「女」を指定する場合や、「大人」および「子供」を指定する場合である。
【００５５】
図４は、本発明の実施の形態における顔画像を正規化する場合における正規化の一例を示す図である。図４（ａ）は、顔画像を正規化する際に用いられる正規化テンプレート１４１を示す図であり、図４（ｂ）は、顔検出部１２０により検出された顔２５１を含む顔画像２５０を正規化する場合における遷移を示す図である。正規化テンプレート１４１は、正規化部１４０に保持されて、正規化部１４０が正規化を行う際に用いられるテンプレートであり、正規化を行う際に基準となる基準位置１４２および１４３が規定されている。この例では、目検出部１３０により検出された顔画像における両目の位置が、正規化テンプレート１４１における基準位置１４２および１４３に合致するように顔画像について回転処理および拡大縮小処理を施すとともに、顔画像の解像度を変換する例について説明する。
【００５６】
顔画像２５０は、撮像部１１０に出力された撮像画像から顔検出部１２０により検出された顔２５１を含む周辺画像である。また、顔画像２５０における目の位置２５２および２５３が目検出部１３０により検出されているものとする。この例では、目における中心位置を目の位置とする場合について説明する。このように、顔画像２５０における目の位置２５２および２５３が検出されている場合には、目の位置２５２および２５３が、図４（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、アフィン変換等によって変換される。例えば、図４（ｂ）に示すように、顔画像２５０について解像度変換および回転処理がされると、正規化された顔画像である正規化顔画像２６０が生成される。正規化顔画像２６０においては、顔２６１の目の位置２６２および２６３が、図４（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致している。また、本発明の実施の形態では、顔画像の解像度を４８画素×４８画素に変換して、正規化顔画像を生成する場合について説明する。
【００５７】
なお、基準位置としては、顔に含まれる両目以外の他の器官の位置を用いるようにしてもよい。例えば、顔に含まれる鼻を検出して、この鼻の位置に基づいて顔画像を正規化することができる。また、複数の器官の位置を、基準位置として用いるようにしてもよい。例えば、両目および鼻の位置を用いることができる。
【００５８】
図５は、本発明の実施の形態における正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。これらの判定用辞書は、正規化部１４０により正規化された正規化顔画像について、属性判定部１５０による各判定処理を行うための判断情報であり、辞書記憶部３００に記憶されている。この例では、判定用辞書として、大人／子供判定用辞書３１０、男／女判定用辞書３２０および赤ちゃん／非赤ちゃん判定用辞書３３０を例にして説明する。
【００５９】
ここで、顔属性の判定処理に用いられる判定用辞書は、判断基準のみに関するデータを保持する判断情報であり、画像そのものを保持するものではない。このため、記憶容量を削減することができるとともに、判定処理を迅速に行うことができる。
【００６０】
各判定用辞書には、正規化画像における２点の位置を示すｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）と、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値に関する閾値θと、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値と閾値θとの比較結果に基づいて加算または減算される重みαとの組合せがそれぞれｔ組格納されている。これらの各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位１００組の組合せを用いて設定される。このように、各判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。なお、同図では、各判定用辞書に関する「ｐｉｘ１（ｘ，ｙ）」、「ｐｉｘ２（ｘ，ｙ）」、「θ」、「α」については、各判定用辞書に応じて異なる表記として示す。例えば、大人／子供判定用辞書３１０については、「ｐｉｘ１（ｘ，ｙ）」を「ｐｉｘ世代１（ｘ，ｙ）」とし、「ｐｉｘ２（ｘ，ｙ）」を「ｐｉｘ世代２（ｘ，ｙ）」とし、「θ」を「世代θ」とし、「α」を「世代α」として示す。
【００６１】
ここで、大人／子供判定用辞書３１０を用いて「大人」または「子供」の判定を行う場合における基準年齢は、例えば、１２歳とすることができる。すなわち、１２歳以上の顔を「大人」と判定し、１２歳未満の顔を「子供」と判定することができる。なお、他の年齢を基準として「大人」または「子供」の判定を行うようにしてもよく、子供、中年、老年等のように、さらに詳細な世代を判定するようにしてもよい。また、ある程度の範囲の年代をグループ化し、検出された顔がどのグループに属するかを判定するようにしてもよい。
【００６２】
次に、正規化顔画像について判定用辞書を用いて判定処理をする例について図面を参照して詳細に説明する。
【００６３】
図６は、本発明の実施の形態における正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。この例では、同図に示す正規化顔画像３５０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像３５０について大人／子供判定用辞書３１０（図５に示す）を用いた判定処理をする場合について説明する。例えば、大人／子供判定用辞書３１０の１行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５１とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５２とする。また、大人／子供判定用辞書３１０の２行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５３とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５４とする。さらに、大人／子供判定用辞書３１０の３行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５５とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５６とする。
【００６４】
最初に、判定を行うためのスコアＳの値に０がセットされ、大人／子供判定用辞書３１０の１行目に格納されている各値を用いた演算が行われる。具体的には、大人／子供判定用辞書３１０の１行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する位置３５１における輝度の値Ａ（１）と、ｐｉｘ世代２（ｘ，ｙ）の値に対応する位置３５２における輝度の値Ｂ（１）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００６５】
続いて、算出された各輝度の差の値Ｃ（１）と、大人／子供判定用辞書３１０の１行目に格納されている閾値である世代θの値とを比較して、算出された値Ｃ（１）が世代θの値よりも小さいか否かが判断される。算出された値Ｃ（１）が世代θの値よりも小さい場合には、大人／子供判定用辞書３１０の１行目に格納されている重みである世代αの値をスコアＳに加算する。一方、算出された値Ｃ（１）が世代θの値よりも小さくない場合には、大人／子供判定用辞書３１０の１行目に格納されている世代αの値をスコアＳから減算する。
【００６６】
続いて、大人／子供判定用辞書３１０の２行目に格納されている各値を用いて、上述した各演算を繰り返す。具体的には、大人／子供判定用辞書３１０の２行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する位置３５３における輝度の値Ａ（２）と、ｐｉｘ世代２（ｘ，ｙ）の値に対応する位置３５４における輝度の値Ｂ（２）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（２）が算出される。
Ｃ（２）＝Ａ（２）−Ｂ（２）
【００６７】
続いて、算出された各輝度の差の値Ｃ（２）と、大人／子供判定用辞書３１０の２行目に格納されている世代θの値とを比較して、算出された値Ｃ（２）が世代θの値よりも小さいか否かが判断される。算出された値Ｃ（２）が世代θの値よりも小さい場合には、大人／子供判定用辞書３１０の２行目に格納されている世代αの値をスコアＳに加算する。一方、算出された値Ｃ（２）が世代θの値よりも小さくない場合には、大人／子供判定用辞書３１０の２行目に格納されている世代αの値をスコアＳから減算する。
【００６８】
続いて、大人／子供判定用辞書３１０の３行目以降、ｔ行目までに格納されている各値を順次用いて、上述した各演算を繰り返す。
【００６９】
すなわち、正規化顔画像３５０について大人／子供判定用辞書３１０を用いた判定処理をする場合には、大人／子供判定用辞書３１０の１行目乃至ｔ行目に格納されている各値を順次用いて、式１を用いてＣ（ｉ）が算出され、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、１からｔの値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＜θ（ｉ） ……（式２）
【００７０】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算され、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳから減算される。ここで、ｉ行目に格納されているｐｉｘ世代１（ｘ，ｙ）に対応する輝度の値をＡ（ｉ）で表し、ｉ行目に格納されているｐｉｘ世代２（ｘ，ｙ）に対応する輝度の値をＢ（ｉ）で表し、ｉ行目に格納されている世代θの値をθ（ｉ）で表し、ｉ行目に格納されている世代αの値をα（ｉ）で表す。
【００７１】
そして、大人／子供判定用辞書３１０のｔ行目に格納されている各値を用いた各演算が終了した後に、スコアＳの値が０よりも大きいか否かが判断される。
【００７２】
例えば、上述の機械学習アルゴリズムによって学習時における大人判定成功の学習サンプルを正側とし、大人判定失敗時の学習サンプルを負側として学習した場合において、大人／子供判定用辞書３１０の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像は目的の画像であると判定される。すなわち、大人／子供判定用辞書３１０を用いた判定の場合には、判定の対象となっている正規化顔画像に含まれる顔は大人の顔であると判定される。また、他の判定用辞書についても、同様に考えることができる。例えば、男／女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は男性の顔であると判定される。また、赤ちゃん／非赤ちゃん判定用辞書３３０を用いた判定において、赤ちゃん判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は赤ちゃんの顔であると判定される。
【００７３】
一方、上述の機械学習アルゴリズムによって学習時における判定成功の学習サンプルを正側とし、判定失敗時の学習サンプルを負側として学習した場合において、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像は目的の画像ではないと判定される。例えば、大人／子供判定用辞書３１０を用いた判定において、正規化判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は子供の顔であると判定される。また、男／女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は女性の顔であると判定される。また、赤ちゃん／非赤ちゃん判定用辞書３３０を用いた判定において、赤ちゃん判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は赤ちゃんの顔ではないと判定される。
【００７４】
なお、本発明の実施の形態では、判定用辞書を用いた判定として、スコアＳおよび０を比較する判定例について説明するが、０以外の値を用いて判定するようにしてもよい。すなわち、スコアＳと比較する値については、適宜調整することができる。
【００７５】
ここで、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳは、次式で表すことができる。
【数１】
【００７６】
ここで、ｓｉｇｎ（ｘ）は、ｘ＞０の場合には１となり、ｘ≦０の場合には−１となる関数を表すものとする。
【００７７】
このように、判定の対象となる正規化画像の解像度を同一の解像度とし、判定に用いる正規化画像の特徴量を２点間の輝度の値に統一することによって、複数の判定用辞書を切り替え可能とすることができ、複数の属性情報を同一のアルゴリズムで作成することができる。
【００７８】
次に、撮像画像に複数の顔が含まれている場合における判定処理について図面を参照して詳細に説明する。
【００７９】
図７は、本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。同図に示す撮像画像４００は、例えば、撮像装置１００を用いて４人の親子を撮像する場合における撮像画像であり、撮像画像４００には、息子４０１、父４０２、娘４０３および母４０４が含まれている。また、息子４０１、父４０２、娘４０３および母４０４のそれぞれに対応する顔を、顔４０５乃至４０８とする。また、息子４０１および娘４０３は、１２歳未満の子供であり、「子供」と判定されるものとする。
【００８０】
同図に示すように、撮像画像に複数の顔が含まれている場合には、顔検出部１２０により各顔が検出される。例えば、撮像画像４００から顔４０５乃至４０８が検出される。そして、検出された各顔に対応する顔画像について正規化がされ、この正規化がされた正規化顔画像について顔属性の判定処理が行われる。
【００８１】
図８は、本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果と、顔検出部１２０により検出された顔に関する情報とを含む優先顔決定情報４２０を模式的に示す図である。優先顔決定情報４２０は、優先顔決定部１６０に保持される。
【００８２】
優先顔決定情報４２０には、識別番号４２１と、大人／子供（世代）４２２と、男性／女性（性別）４２３と、赤ちゃん／非赤ちゃん４２４と、顔の大きさ４２５と、顔の位置４２６とが関連付けて含まれる。
【００８３】
識別番号４２１は、顔検出部１２０により検出された各顔に付与される識別番号である。識別番号４２１として、例えば、息子４０１の顔４０５に「００１」が付与され、父４０２の顔４０６に「００２」が付与され、娘４０３の顔４０７に「００３」が付与され、母４０４の顔４０８に「００４」が付与される。
【００８４】
大人／子供（世代）４２２、男性／女性（性別）４２３および赤ちゃん／非赤ちゃん４２４は、各判定用辞書を用いて属性判定部１５０により判定された顔属性の判定結果である。例えば、大人／子供（世代）４２２には、図７に示す顔４０５乃至４０８について、大人／子供判定用辞書３１０を用いて行われた判定結果として、「大人」または「子供」の何れかが格納される。また、男性／女性（性別）４２３には、図７に示す顔４０５乃至４０８について、男／女判定用辞書３２０を用いて行われた判定結果として、「男性」または「女性」の何れかが格納される。また、赤ちゃん／非赤ちゃん４２４には、図７に示す顔４０５乃至４０８について、赤ちゃん／非赤ちゃん判定用辞書３３０を用いて行われた判定結果として、「赤ちゃん」または「非赤ちゃん」の何れかが格納される。
【００８５】
顔の大きさ４２５および顔の位置４２６は、顔検出部１２０により検出された顔に関する情報である。例えば、顔の大きさ４２５には、図７に示す顔４０５乃至４０８について、顔検出部１２０により検出された顔の大きさが格納される。また、顔の位置４２６には、図７に示す顔４０５乃至４０８について、顔検出部１２０により検出された顔の位置が格納される。
【００８６】
優先顔決定情報４２０に含まれる各情報を用いて、顔検出部１２０により検出された顔の中から、優先顔決定部１６０により優先顔が決定される。
【００８７】
例えば、図３に示す液晶パネル２０１において、「大人」指定ボタン２３３が押下され、優先顔の顔属性として大人が指定されている場合には、大人／子供（世代）４２２に「大人」が格納されている顔が優先候補として選択される。そして、選択された優先候補が１つの場合には、この優先候補が優先顔として決定される。また、選択された優先候補が複数存在する場合には、選択された優先候補に関連付けられている顔に関する情報に基づいて優先顔が決定される。例えば、顔の大きさ４２５に格納されている顔の大きさに基づいて、検出された顔の大きさの値が最も大きい顔を優先顔として決定することができる。また、顔の位置４２６に格納されている顔の位置に基づいて、検出された顔の位置が撮像画像において最も中央寄りに存在する顔を優先顔として決定することができる。
【００８８】
ここで、優先顔の顔属性として大人が指定されている場合に、顔の位置４２６に格納されている顔の位置を用いて、図７に示す撮像画像４００における優先顔を決定する場合について説明する。例えば、図７に示す撮像画像４００には、２人の大人（父４０２および母４０４）が含まれているため、この２人の大人の顔に対応する大人／子供（世代）４２２には「大人」が格納されている。ここで、撮像画像４００に含まれる父４０２の顔４０６と、母４０４の顔４０８とについて、撮像画像４００における位置を比較した場合には、父４０２の顔４０６が母４０４の顔４０８よりも中央寄りに存在する。このため、優先候補として、父４０２の顔４０６と、母４０４の顔４０８とが選択されるものの、顔の位置が中央寄りである父４０２の顔４０６が優先顔として決定される。このように、父４０２の顔４０６が優先顔に決定された場合における表示例を図９（ａ）に示す。
【００８９】
また、同様に、図３に示す液晶パネル２０１において、「子供」指定ボタン２３４が押下され、優先顔の顔属性として子供が指定されている場合に、顔の位置４２６に格納されている顔の位置を用いて、図７に示す撮像画像４００における優先顔を決定する場合について説明する。図７に示す撮像画像４００には、２人の子供（息子４０１および娘４０３）が含まれているため、この２人の子供の顔に対応する大人／子供（世代）４２２には「子供」が格納されている。また、撮像画像４００に含まれる息子４０１の顔４０５と、娘４０３の顔４０７との位置を比較した場合には、娘４０３の顔４０７が息子４０１の顔４０５よりも中央寄りに存在する。このため、優先候補として、息子４０１の顔４０５と、娘４０３の顔４０７とが選択されるものの、顔の位置が中央寄りである娘４０３の顔４０７が優先顔として決定される。このように、娘４０３の顔４０７が優先顔に決定された場合における表示例を図９（ｂ）に示す。
【００９０】
なお、優先顔決定情報４２０における顔属性の判定結果として、判定処理により算出されたスコアＳの数値を格納しておき、複数の優先候補が選択された場合に、スコアＳの数値が最も大きい優先候補を優先顔として決定するようにしてもよい。
【００９１】
図９は、本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。図９（ａ）は、父４０２の顔４０６が優先顔に決定された場合における撮像画像４００の表示例を示す図であり、図９（ｂ）は、娘４０３の顔４０７が優先顔に決定された場合における撮像画像４００の表示例を示す図である。
【００９２】
同図に示すように、例えば、優先顔位置マーカ４１２または４１３を優先顔の周り付して、優先顔以外の顔については顔位置マーカを付さないようにすることができる。また、優先顔が変更された場合には、変更後の優先顔に優先顔位置マーカが順次付される。
【００９３】
図１０および図１１は、本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付されるとともに、優先顔以外の顔には顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。図１０および図１１では、母４０４の顔４０８が優先顔に決定された場合における撮像画像４００の表示例を示す。
【００９４】
図１０（ａ）では、実線の矩形で構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、破線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。
【００９５】
図１０（ｂ）では、太線の矩形で構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、細線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。
【００９６】
図１１（ａ）では、矩形の内側に四隅ポイントが配置されて構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、実線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。ここで、四隅ポイントは、図１１（ａ）に示すように、矩形の四隅の部分のみを表示して、矩形の各辺の中央部分を表示しないものである。
【００９７】
図１１（ｂ）では、透過率が変更された矩形状の優先顔位置マーカ４１４および顔位置マーカ４１１乃至４１３を優先顔４０８および顔４０５乃至４０７に付す例を示す。例えば、優先顔に付される優先顔位置マーカ４１４については、その透過率を下げて濃いマーカ表示とし、優先顔以外の顔に付される顔位置マーカ４１１乃至４１３については、その透過率を上げて薄いマーカ表示とする。
【００９８】
このように、優先顔に付される優先顔位置マーカと、優先顔以外の顔に付される顔位置マーカとを異なる表示方法とすることによって、優先顔を容易に識別することができる。また、優先顔以外の顔についても容易に識別することができる。これらの表示方法の変更は、操作受付部２２０における操作入力に応じて変更される。
【００９９】
なお、図９乃至図１１に示す優先顔位置マーカおよび顔位置マーカの表示方法以外でも、例えば、マーカ自体の色による識別、点滅状態・非点滅状態による識別、マーカの内側と外側の輝度および色等の変更による識別等によって、優先顔位置マーカおよび顔位置マーカの態様を互いに区別して表示させることができる。また、マーカ自体の形状については、対象となる顔の位置を示すことができる他の態様のマーカを用いるようにしてもよい。例えば、円形、楕円等の形状や、対象となる顔を指し示す矢印等のような形状とすることができる。
【０１００】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１０１】
図１２は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順を示すフローチャートである。この例では、決定された優先顔に基づいて撮像制御部１９１が撮像制御を行う例について説明する。また、操作受付部２２０において指定された顔属性を優先顔決定部１６０が保持しているものとする。
【０１０２】
最初に、優先候補が初期化される（ステップＳ９０１）。続いて、被写体からの入射光を光電変換することによって、撮像部１１０が撮像画像を生成する（ステップＳ９０２）。続いて、顔検出部１２０が、撮像画像に含まれる人物の顔を検出する（ステップＳ９０３）。この顔検出により顔情報も検出される。続いて、検出された顔画像における目の位置が検出され、この検出された目の位置に基づいて、正規化部１４０が、検出された顔画像を正規化する（ステップＳ９０４）。
【０１０３】
続いて、正規化された顔画像である正規化顔画像について属性判定部１５０が顔属性判定処理を行う（ステップＳ９２０）。この顔属性判定処理については、図１３を参照して詳細に説明する。
【０１０４】
続いて、属性判定部１５０により求められた顔属性の判定結果に基づいて、優先顔決定部１６０が、顔検出部１２０により検出された顔の中から優先顔を決定する優先顔決定処理を行う（ステップＳ９５０）。この優先顔決定処理については、図１５を参照して詳細に説明する。
【０１０５】
続いて、顔位置マーカ生成部１７０が、決定された優先顔に関する情報に基づいて優先顔位置マーカを生成するとともに、優先顔以外の顔に関する顔情報に基づいて顔位置マーカを生成する（ステップＳ９０５）。続いて、重畳部１８０が、生成された優先顔位置マーカおよび顔位置マーカと、撮像画像とを重畳する（ステップＳ９０６）。続いて、優先顔位置マーカおよび顔位置マーカが重畳された撮像画像が表示部２００に表示される（ステップＳ９０７）。
【０１０６】
続いて、撮像制御部１９１が、決定された優先顔に基づいて撮像制御を行う（ステップＳ９０８）。なお、優先顔が決定された場合に、優先顔決定部１６０が記録制御部１９２に撮像画像を記録する旨の指示を送り、撮像画像を記録させるようにしてもよい。また、優先顔が決定された場合に、その旨を音声出力する等してユーザに通知するようにしてもよい。
【０１０７】
図１３は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの顔属性判定処理手順（図１２に示すステップＳ９２０の処理手順）を示すフローチャートである。ここでは、複数の判定用辞書の全てを用いて顔属性を判定する例について説明するが、１つの判定用辞書を用いて顔属性を判定するようにしてもよい。
【０１０８】
最初に、正規化部１４０から出力された正規化顔画像の中から１つの正規化顔画像が取り出される（ステップＳ９２１）。続いて、取り出された正規化顔画像における輝度の値が抽出される（ステップＳ９２２）。続いて、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない１つの判定用辞書が取り出され、作業用メモリ３０１に記憶される（ステップＳ９２３）。続いて、作業用メモリ３０１に記憶されている判定用辞書を用いて判定処理が実行される（ステップＳ９３０）。なお、この判定処理については、図１４を参照して詳細に説明する。
【０１０９】
続いて、判定処理によって判定された顔属性の判定結果が、判定の対象となっている顔に関する顔属性として、その顔に関連付けて保持される（ステップＳ９２４）。続いて、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在するか否かが判断される（ステップＳ９２５）。辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在する場合には（ステップＳ９２５）、ステップＳ９２３に戻り、同一の顔に関する顔属性の判定処理を繰り返す（ステップＳ９２３、Ｓ９２４、Ｓ９３０）。一方、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在しない場合には（ステップＳ９２５）、正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出された否が判断される（ステップＳ９２６）。
【０１１０】
正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出されていない場合には（ステップＳ９２６）、ステップＳ９２１に戻り、顔属性判定処理を繰り返す（ステップＳ９２１乃至Ｓ９２５、Ｓ９３０）。一方、正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出されている場合には（ステップＳ９２６）、図１２に示すステップＳ９２０に戻る。
【０１１１】
図１４は、本発明の実施の形態における撮像装置１００による顔属性判定処理の処理手順のうちの判定処理手順（図１３に示すステップＳ９３０の処理手順）を示すフローチャートである。本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定する判定処理を例にして説明する。
【０１１２】
最初に、スコアＳが「０」に初期化され（ステップＳ９３１）、変数ｉが「１」に初期化される（ステップＳ９３２）。続いて、正規化顔画像から抽出された輝度の値の中から、作業用メモリ３０１に記憶されている判定用辞書のｉ行目に格納されているｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）の位置に対応する輝度の値が選択される（ステップＳ９３３）。続いて、選択された２つの輝度の値を用いて、式１に示すＣ（ｉ）が算出される（ステップＳ９３４）。
【０１１３】
続いて、算出された２点間の輝度の差の値Ｃ（ｉ）が閾値θ（ｉ）よりも小さいか否かが判断される（ステップＳ９３５）。算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さい場合には（ステップＳ９３５）、スコアＳにα（ｉ）が加算される（ステップＳ９３６）。一方、算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さくない場合には（ステップＳ９３５）、スコアＳからα（ｉ）が減算される（ステップＳ９３７）。
【０１１４】
続いて、変数ｉに「１」が加算され（ステップＳ９３８）、変数ｉがｔよりも大きいか否かが判断される（ステップＳ９３９）。変数ｉがｔよりも大きくない場合には（ステップＳ９３９）、作業用メモリ３０１に記憶されている判定用辞書の各行の値についての判定処理が終了していないため、ステップＳ９３３に戻り、同一の判定用辞書を用いた判定処理を繰り返す（ステップＳ９３３乃至Ｓ９３８）。一方、変数ｉがｔよりも大きい場合には（ステップＳ９３９）、作業用メモリ３０１に記憶されている判定用辞書の各行の値についての判定処理が終了しているため、ステップＳ９４０に進み、スコアＳの値が０よりも大きいか否かが判断される（ステップＳ９４０）。
【０１１５】
スコアＳの値が０よりも大きい場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像であると判定される（ステップＳ９４１）。一方、スコアＳの値が０よりも大きくない場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像ではないと判定される（ステップＳ９４２）。続いて、図１３に示すステップＳ９３０に戻る。
【０１１６】
図１５は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの優先顔決定処理手順（図１２に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１１７】
最初に、優先顔決定部１６０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９５１）。続いて、優先顔決定部１６０は、取り出された顔の属性が優先対象の属性であるか否かを判断する（ステップＳ９５２）。すなわち、優先顔決定部１６０は、取り出された顔に関連付けて格納されている各顔属性の判定結果が、保持されている顔属性と同じであるか否かを判断する。
【０１１８】
取り出された顔の属性が優先対象の属性でない場合には（ステップＳ９５２）、取り出された顔は、指定された顔属性の条件を満たす顔ではないため、ステップＳ９５６に進む。一方、取り出された顔の属性が優先対象の属性である場合には（ステップＳ９５２）、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５３）。
【０１１９】
優先候補が存在しない場合には（ステップＳ９５３）、優先顔決定部１６０は、取り出された顔を優先候補として保持する（ステップＳ９５５）。一方、優先候補が存在する場合には（ステップＳ９５３）、優先顔決定部１６０は、検出された顔に関する顔情報を評価値として用いて、取り出された顔の評価値が、優先候補の評価値よりも大きいか否かを判断する（ステップＳ９５４）。例えば、評価値として、顔の大きさ、顔の位置または顔の向きに応じた数値、または、これらの組合せに係る数値を用いることができる。
【０１２０】
取り出された顔の評価値が、優先候補の評価値よりも大きい場合には（ステップＳ９５４）、優先顔決定部１６０は、現在保持されている優先候補を消去して、取り出された顔を優先候補として保持する（ステップＳ９５５）。一方、取り出された顔の評価値が、優先候補の評価値よりも大きくない場合には（ステップＳ９５４）、取り出された顔は、優先顔ではないと判断して、ステップＳ９５６に進む。
【０１２１】
続いて、優先顔決定部１６０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出したか否かを判断し（ステップＳ９５６）、全ての顔が取り出されていない場合には、ステップＳ９５１に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９５６）、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５７）。
【０１２２】
優先候補が存在する場合には（ステップＳ９５７）、優先顔決定部１６０は、現在保持されている優先候補を優先顔に決定する（ステップＳ９６３）。一方、優先候補が存在しない場合には（ステップＳ９５７）、ステップＳ９５８に進む。すなわち、優先候補が存在しない場合は、検出された顔の中に、指定された顔属性の条件を満たす顔が存在しない場合であるため、検出された顔に関する顔情報を評価値として用いて、優先顔を決定する。
【０１２３】
優先顔決定部１６０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９５８）。続いて、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５９）。
【０１２４】
優先候補が存在しない場合には（ステップＳ９５９）、優先顔決定部１６０は、取り出された顔を優先候補として保持する（ステップＳ９６１）。一方、優先候補が存在する場合には（ステップＳ９５９）、優先顔決定部１６０は、取り出された顔の評価値が、優先候補の評価値よりも大きいか否かを判断する（ステップＳ９６０）。
【０１２５】
取り出された顔の評価値が、優先候補の評価値よりも大きい場合には（ステップＳ９６０）、優先顔決定部１６０は、現在保持されている優先候補を消去して、取り出された顔を優先候補として保持する（ステップＳ９６１）。一方、取り出された顔の評価値が、優先候補の評価値よりも大きくない場合には（ステップＳ９６０）、取り出された顔は、優先顔ではないと判断して、ステップＳ９６２に進む。
【０１２６】
続いて、優先顔決定部１６０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出されたか否かを判断し（ステップＳ９６２）、全ての顔が取り出されていない場合には、ステップＳ９５８に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９６２）、ステップＳ９６３に進む。
【０１２７】
以上では、顔属性の判定結果に基づいて優先顔を決定する例について説明した。以下では、顔属性の判定結果に基づいて撮像装置１００が撮像操作（いわゆる、写真撮影）を自動的に行う例について説明する。
【０１２８】
図１６は、本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。撮像装置５００は、図１に示す撮像装置１００の一部を変形したものであり、撮像装置１００において、優先顔決定部１６０および記録制御部１９２の代わりに、撮像画像記録指示部５１０および記録制御部５２０を設けた撮像装置である。また、辞書記憶部３００には、図５に示す各判定用辞書以外に、笑顔／非笑顔判定用辞書、泣き顔／非泣き顔判定用辞書、怒り顔／非怒り顔判定用辞書および口開け顔／非口開け顔判定用辞書が記憶されているものとする。なお、撮像画像記録指示部５１０および記録制御部５２０以外の構成は、図１に示す撮像装置１００と同様であるため、これらの以外の構成についての説明は省略する。
【０１２９】
撮像画像記録指示部５１０は、年代や性別等の人物自体に深く関わる属性である人物の種別に関する顔属性と、笑顔や泣き顔等の顔の表情に関する顔属性とに基づいて、撮像画像を記録すべきタイミングを記録制御部５２０に指示するものである。すなわち、撮像画像記録指示部５１０は、顔検出部１２０により検出された顔の中に、操作受付部２２０において指定された人物の種別に関する顔属性および顔の表情に関する顔属性の条件を満たす顔が存在するか否かを、属性判定部１５０から出力された顔属性の判定結果に基づいて判断し、その条件を満たす顔が存在する場合には、撮像画像を記録すべき旨の指示を記録制御部５２０に指示する。この撮像画像を記録すべき旨の指示については、図１８乃至図２０を参照して詳細に説明する。
【０１３０】
記録制御部５２０は、撮像画像記録指示部５１０からの指示に基づいて、撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する記録制御を行うものである。すなわち、記録制御部５２０は、撮像画像記録指示部５１０から撮像画像を記録すべき旨の指示が入力された場合には、この指示の入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。なお、他の構成については、図１に示す記録制御部１９２と同様であるため、ここでの説明を省略する。
【０１３１】
図１７は、本発明の実施の形態における液晶パネル２０１の表示例を示す図である。図１７（ａ）では、人物の種別に関する顔属性を指定するための顔属性指定画面を示す。なお、この顔属性指定画面は、図３に示す顔属性指定画面と同様であるため、図３と同一の符号を付して、ここでの説明を省略する。また、図１７（ｂ）では、顔の表情に関する顔属性を指定するための表情指定画面を示す。この表情指定画面には、指定ボタン２４１乃至２４５が表示されている。この表情指定画面は、例えば、顔属性指定画面において指定ボタン２３１乃至２３５の何れかの指定ボタンが押下された後に表示させることができる。また、表情指定画面および顔属性指定画面を同一の画面上に表示させるようにしてもよい。
【０１３２】
指定ボタン２４１乃至２４５は、顔の表情に関する顔属性を指定する場合に押下するボタンである。例えば、「笑顔」指定ボタン２４１は、撮像画像に笑顔が含まれている場合にその撮像画像を自動的に記録する場合に押下するボタンである。また、「笑っていない顔」指定ボタン２４２、「泣き顔」指定ボタン２４３、「怒り顔」指定ボタン２４４、「口を開けた顔」指定ボタン２４５についても同様に、各ボタンの表示領域に表示されている文字に対応する顔の表情に関する顔属性を指定する場合に押下される。
【０１３３】
なお、この例では、顔の表情に関する顔属性についての５つの指定ボタンを表示して選択する例について説明するが、顔の表情に関する他の顔属性を指定するための指定ボタンを表示して、他の顔属性を指定可能とするようにしてもよい。また、この例では、顔の表情に関する顔属性について、１つの顔属性を指定する例について説明するが、複数の顔属性を指定して、これらの指定された各顔属性の条件を満たす顔を優先顔として決定する場合についても、本発明の実施の形態を適用することができる。なお、複数の顔属性を指定する場合には、相反しない複数の顔属性を指定する。相反する顔属性の指定とは、例えば、「笑顔」および「笑っていない顔」を指定する場合である。また、人物の種別に関する顔属性についても、同様に、複数の顔属性を指定するようにしてもよい。また、人物の種別に関する顔属性および顔の表情に関する顔属性のそれぞれを複数指定するようにしてもよい。
【０１３４】
図１８は、本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。同図に示す撮像画像７００は、例えば、撮像装置１００を用いて４人の親子を撮像する場合における撮像画像であり、撮像画像４００には、息子４０１、父４０２、娘４０３および母４０４が含まれている。なお、父４０２および娘４０３が笑顔でない点以外は、図７に示す撮像画像４００と同様であるため、ここでの他の説明を省略する。
【０１３５】
図１９は、本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果を含む顔属性判定情報６００を模式的に示す図である。顔属性判定情報６００は、撮像画像記録指示部５１０に保持される。
【０１３６】
顔属性判定情報６００には、識別番号６０１と、大人／子供（世代）６０２と、男性／女性（性別）６０３と、赤ちゃん／非赤ちゃん６０４と、笑顔／非笑顔６０５と、泣き顔／非泣き顔６０６と、怒り顔／非怒り顔６０７と、口開け顔／非口開け顔６０８とが関連付けて含まれる。なお、識別番号６０１、大人／子供（世代）６０２、男性／女性（性別）６０３および赤ちゃん／非赤ちゃん６０４については、図８に示すものと同じであるため、ここでの説明を省略する。なお、大人／子供（世代）６０２、男性／女性（性別）６０３および赤ちゃん／非赤ちゃん６０４に関する判定結果は、人物の種別（人物自体の属性）に関する顔属性の判定結果であり、他の判定結果は、顔の表情に関する顔属性の判定結果である。
【０１３７】
笑顔／非笑顔６０５、泣き顔／非泣き顔６０６、怒り顔／非怒り顔６０７および口開け顔／非口開け顔６０８は、各判定用辞書を用いて属性判定部１５０により判定された顔属性の判定結果である。例えば、笑顔／非笑顔６０５には、図１８に示す顔４０５乃至４０８について、笑顔／非笑顔判定用辞書を用いて行われた判定結果として、「笑顔」または「非笑顔」の何れかが格納される。また、泣き顔／非泣き顔６０６には、図１８に示す顔４０５乃至４０８について、泣き顔／非泣き顔判定用辞書を用いて行われた判定結果として、「泣き顔」または「非泣き顔」の何れかが格納される。また、怒り顔／非怒り顔６０７には、図１８に示す顔４０５乃至４０８について、怒り顔／非怒り顔判定用辞書を用いて行われた判定結果として、「怒り顔」または「非怒り顔」の何れかが格納される。また、口開け顔／非口開け顔６０８には、図１８に示す顔４０５乃至４０８について、口開け顔／非口開け顔判定用辞書を用いて行われた判定結果として、「口開け顔」または「非口開け顔」の何れかが格納される。
【０１３８】
顔属性判定情報６００に含まれる各情報を用いて、表情指定画面および顔属性指定画面において指定された各顔属性の条件を満たす顔を含む撮像画像を記録するための指示がされる。
【０１３９】
例えば、図１７（ａ）に示す顔属性指定画面において、「大人」指定ボタン２３３が押下されるとともに、図１７（ｂ）に示す表情指定画面において、「笑顔」指定ボタン２４１が押下された場合について説明する。この場合には、大人／子供（世代）６０２に「大人」が格納されているとともに、笑顔／非笑顔６０５に「笑顔」が格納されている顔が、顔属性判定情報６００から検出された場合に、撮像画像記録指示部５１０から撮像画像記録の指示が記録制御部５２０に送られ、撮像画像が記録される。
【０１４０】
例えば、図１８に示す撮像画像４００には、２人の大人（父４０２および母４０４）が含まれているため、この２人の大人の顔に対応する大人／子供（世代）４２２には「大人」が格納されている。ここで、母４０４は笑顔であるため、母４０４（識別番号「００４」）に対応する笑顔／非笑顔６０５には「笑顔」が格納されているものの、父４０２（識別番号「００２」）は笑顔ではないため、父４０２に対応する笑顔／非笑顔６０５には「非笑顔」が格納されている。このため、条件を満たす母４０４が、顔属性判定情報６００から検出される。そして、撮像画像記録指示部５１０から記録制御部５２０に撮像画像を記録すべき旨の指示が送られ、撮像画像が記録される。
【０１４１】
図２０は、本発明の実施の形態における撮像装置１００による撮像画像記録制御処理の処理手順を示すフローチャートである。この例では、操作受付部２２０において指定された人物の種別に関する顔属性と、顔の表情に関する顔属性とを撮像画像記録指示部５１０が保持しているものとする。なお、ステップＳ９７１乃至Ｓ９７３、Ｓ９２０については、図１２に示すステップＳ９０２乃至Ｓ９０４、Ｓ９２０と同様の処理手順であるため、ここでの説明を省略する。
【０１４２】
撮像画像記録指示部５１０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９７４）。続いて、撮像画像記録指示部５１０は、取り出された顔の属性が、操作受付部２２０において指定された人物の種別に関する顔属性と同じであるか否かを判断する（ステップＳ９７５）。すなわち、撮像画像記録指示部５１０は、取り出された顔に関連付けて格納されている各顔属性の判定結果のうちで、大人／子供（世代）６０２、男性／女性（性別）６０３または赤ちゃん／非赤ちゃん６０４に格納されている各情報が、保持されている人物の種別に関する顔属性と同じであるか否かを判断する。
【０１４３】
取り出された顔の属性が、指定された人物の種別に関する顔属性と同じでない場合には（ステップＳ９７５）、ステップＳ９７８に進む。一方、取り出された顔の属性が、指定された人物の種別に関する顔属性と同じである場合には（ステップＳ９７５）、撮像画像記録指示部５１０は、取り出された顔の属性が、操作受付部２２０において指定された顔の表情に関する顔属性と同じであるか否かを判断する（ステップＳ９７６）。すなわち、撮像画像記録指示部５１０は、取り出された顔に関連付けて格納されている各顔属性の判定結果のうちで、笑顔／非笑顔６０５、泣き顔／非泣き顔６０６、怒り顔／非怒り顔６０７または口開け顔／非口開け顔６０８に格納されている各情報が、保持されている顔の表情に関する顔属性と同じであるか否かを判断する。
【０１４４】
取り出された顔の属性が、指定された顔の表情に関する顔属性と同じでない場合には（ステップＳ９７６）、ステップＳ９７８に進む。一方、取り出された顔の属性が、指定された顔の表情に関する顔属性と同じである場合には（ステップＳ９７６）、撮像画像記録指示部５１０は、撮像画像を記録する旨の指示を記録制御部５２０に出力する（ステップＳ９７７）。撮像画像を記録する旨の指示を記録制御部５２０が入力すると、この入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する。
【０１４５】
また、撮像画像記録指示部５１０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出されたか否かを判断し（ステップＳ９７８）、全ての顔が取り出されていない場合には、ステップＳ９７４に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９７８）、撮像画像記録制御処理の動作を終了する。
【０１４６】
このように、本発明の実施の形態によれば、液晶パネル２０１において指定された顔属性に該当する人物の顔を優先顔として決定することができる。これにより、優先顔に基づいて各撮像パラメータを設定して撮像画像を記録することができるため、指定された顔属性に該当する人物の顔を美しく綺麗に記録することができる。また、優先顔に優先顔位置マーカを付して表示することができるため、撮影者が優先顔に決定された人物を容易に把握することができる。さらに、優先顔以外の顔に顔位置マーカを付して表示することができるため、撮影者が優先顔とその他の顔とを容易に識別することができる。例えば、大人を背景にした子供達を撮影する場合に、顔属性指定画面において「子供」指定ボタン２３４を押下して撮影を行うことにより、背景にいる大人達よりも、手前の子供たちの顔を美しく綺麗に撮影することができる。
【０１４７】
また、本発明の実施の形態によれば、液晶パネル２０１において指定された人物の種別に関する顔属性と、顔の表情に関する顔属性とに該当する人物の顔が検出された場合に、この検出の際における撮像画像を記録することができる。これにより、ユーザにより指定された人物の種別に該当する人物について、好みの表情を容易に撮像画像として記録することができる。例えば、大人を背景にした子供達の笑顔を撮影する場合において、顔属性指定画面において「子供」指定ボタン２３４を押下するとともに表情指定画面において「笑顔」指定ボタン２４１を押下して撮影を行う。これにより、背景にいる大人達が笑った場合でも撮像画像記録動作が行われないものの、手前の子供達が笑った場合には自動的に撮像画像記録動作を行うことができる。すなわち、本発明の実施の形態によれば、ユーザの好みに応じた撮像画像を容易に記録することができる。
【０１４８】
なお、本発明の実施の形態では、顔に関する顔属性として「大人／子供（世代）」、「男性／女性（性別）」、「赤ちゃん／非赤ちゃん」、「笑顔／非笑顔」、「泣き顔／非泣き顔」、「怒り顔／非怒り顔」、「口開け顔／非口開け顔」を判定する例について説明したが、顔に関する他の顔属性を判定する場合についても、本発明の実施の形態を適用することができる。顔に関する顔属性として、例えば、目の位置、目の開閉状態、顔の表情、人種、顔自体の撮影条件、顔の向き等に適用することができる。また、本発明の実施の形態では、辞書記憶部３００に複数の辞書を記憶する例について説明したが、１つの辞書を記憶する場合についても、本発明の実施の形態を適用することができる。また、本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定するための判断情報として、辞書記憶部３００に記憶されている各判定用辞書を用いる例について説明したが、正規化顔画像が目的の画像であるか否かを判定することができる他の判断情報を用いるようにしてもよい。
【０１４９】
また、本発明の実施の形態では、撮像画像に含まれる人の顔を検出し、この検出された顔に関する顔属性を判定する場合について説明したが、撮像画像に含まれる人の顔以外の他の対象物を検出し、この検出された対象物に関する属性を判定する場合についても、本発明の実施の形態を適用することができる。撮像画像に含まれる人の顔以外の他の対象物として、例えば、猫や犬等のペットの顔、馬や牛等の動物の顔、車や電車等の乗り物等に適用することができる。
【０１５０】
また、本発明の実施の形態では、１つの種類（カテゴリー）に属する対象物の属性を、人物の顔の表情に関する顔属性とし、他の種類に属する対象物の属性を、人物の種別に関する属性とする例について説明したが、１つの種類に属する対象物の属性を、対象物の表面上の変化に関する属性とし、他の種類に属する対象物の属性を、対象物の種別に関する属性とする場合についても本発明の実施の形態を適用することができる。
【０１５１】
また、本発明の実施の形態では、複数の優先候補が選択された場合にはこれらの優先候補から１つの優先顔を決定する例について説明したが、複数の優先候補を優先顔として用いて露出等の撮像制御を行うようにしてもよい。
【０１５２】
また、本発明の実施の形態では、撮像装置を例にして説明したが、静止画および動画を撮像するカムコーダや撮像機能を備える携帯電話機の各種の撮像装置に本発明の実施の形態を適用することができる。
【０１５３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１５４】
すなわち、請求項１または１３において、操作受付手段は、例えば操作受付部２２０に対応する。また、撮像手段は、例えば撮像部１１０に対応する。また、対象物検出手段は、顔検出部１２０に対応する。また、属性判定手段は、属性判定部１５０に対応する。
【０１５５】
また、請求項１において、優先対象物決定手段は、例えば優先顔決定部１６０に対応する。
【０１５６】
また、請求項２において、撮像制御手段は、例えば撮像制御部１９１に対応する。
【０１５７】
また、請求項５において、記録制御手段は、例えば記録制御部１９２に対応する。
【０１５８】
また、請求項１０において、対象物位置マーカ生成手段は、例えば顔位置マーカ生成部１７０に対応する。また、重畳手段は、例えば重畳部１８０に対応する。また、表示手段は、例えば表示部２００に対応する。
【０１５９】
また、請求項１３において、撮像画像記録指示手段は、例えば撮像画像記録指示部５１０に対応する。
【０１６０】
また、請求項１８または１９において、撮像手順は、例えばステップＳ９０２に対応する。また、対象物検出手順は、例えばステップＳ９０３に対応する。また、属性判定手順は、例えばステップＳ９２０に対応する。また、優先対象物決定手順は、例えばステップＳ９５０に対応する。
【０１６１】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における撮像装置１００の外観を示す斜視図である。
【図３】本発明の実施の形態における液晶パネル２０１の表示例を示す図である。
【図４】本発明の実施の形態における顔画像を正規化する場合における正規化の一例を示す図である。
【図５】本発明の実施の形態における正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。
【図６】本発明の実施の形態における正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。
【図７】本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。
【図８】本発明の実施の形態における顔属性の判定結果および顔に関する情報を含む優先顔決定情報４２０を模式的に示す図である。
【図９】本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１０】本発明の実施の形態における優先顔に優先顔位置マーカが付され、他の顔に顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１１】本発明の実施の形態における優先顔に優先顔位置マーカが付され、他の顔に顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１２】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順を示すフローチャートである。
【図１３】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図１４】本発明の実施の形態における撮像装置１００による顔属性判定処理の処理手順のうちの判定処理手順を示すフローチャートである。
【図１５】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの優先顔決定処理手順を示すフローチャートである。
【図１６】本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。
【図１７】本発明の実施の形態における液晶パネル２０１の表示例を示す図である。
【図１８】本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。
【図１９】本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果を含む顔属性判定情報６００を模式的に示す図である。
【図２０】本発明の実施の形態における撮像装置１００による撮像画像記録制御処理の処理手順を示すフローチャートである。
【符号の説明】
【０１６３】
１００ 撮像装置
１０１ 撮像レンズ
１１０ 撮像部
１２０ 顔検出部
１３０ 目検出部
１４０ 正規化部
１５０ 属性判定部
１６０ 優先顔決定部
１７０ 顔位置マーカ生成部
１８０ 重畳部
１９１ 撮像制御部
１９２ 記録制御部
２００ 表示部
２０１ 液晶パネル
２１０ 撮像画像記憶部
２２０ 操作受付部
２２１ シャッターボタン
２２２ ズームボタン
３００ 辞書記憶部
３０１ 作業用メモリ
５１０ 撮像画像記録指示部
５２０ 記録制御部
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、撮像画像から顔等の対象物を検出することが可能な撮像装置、および、その制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物等の被写体が撮像された画像を撮像画像として記録するデジタルスチルカメラ等の撮像装置が普及している。また、最近では、撮像画像から人物の顔を検出し、この検出された顔を美しく記録するための最適な撮像パラメータを設定する撮像装置が提案されている。例えば、撮像画像から人物の顔を検出し、この検出された顔に関する情報に基づいてオートフォーカスの対象となるエリアを撮像画像上の顔に設定し、この撮像画像上の顔に適切にピントを合わせることが可能な撮像装置が存在する。
【０００３】
また、撮像画像から複数の顔が検出された場合には、これらの顔の中から主要な顔である優先顔を判定し、この優先顔について最適な撮像パラメータを設定する撮像装置が存在する。
【０００４】
例えば、撮像画像内の人物の顔を検出し、この検出された顔のサイズ情報および位置情報を用いて最終的な顔の重要度を計算して、撮像画像内に存在する人物の顔の重要度を判定する撮像装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００７−２０１９８０号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、撮像画像内に存在する人物の顔のサイズおよび位置を考慮して、高精度な重要度判定を行うことが可能である。また、重要度が高いと判定された顔に基づいて露出制御等を行うことができる。
【０００６】
しかしながら、複数の人物を撮影する場合において、人物の顔のサイズや位置等とは無関係に、撮影者または撮影対象者の好みに応じて撮像画像を記録したい場合がある。例えば、子供の入学式の日に親子で記念撮影をする場合において、父親は、子供の顔が一番綺麗になるように撮像画像を記録したいと考える可能性が高い。また、同じ構図でも、例えば、母親は、自分の顔が一番美しく綺麗になるように撮像画像を記録したいと考える可能性もある。
【０００７】
このように、撮影者または撮影対象者の好みが多種多様であるため、撮影者または撮影対象者の好みに応じた撮像画像を容易に記録することが重要である。
【０００８】
そこで、本発明は、ユーザの好みに応じた撮像画像を容易に記録することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる上記対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記指定された属性と上記判定された属性とに基づいて上記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。ここで、優先対象物は、撮像画像に含まれる所定の対象物の中で優先的な取り扱いを受ける対象物である。例えば、優先対象物は、撮像制御に関して優先的な取り扱いを受け、優先対象物を基準にしてフォーカスや露出等の撮像制御が行われる。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を判定して、指定された属性と判定された属性とに基づいて、検出された対象物の中から少なくとも１つの対象物を優先対象物として決定するという作用をもたらす。
【００１０】
また、この第１の側面において、上記優先対象物に基づいて所定の撮像パラメータを設定することにより撮像制御を行う撮像制御手段をさらに具備するようにしてもよい。これにより、優先対象物に基づいて、所定の撮像パラメータを設定することにより撮像制御を行うという作用をもたらす。
【００１１】
また、この第１の側面において、上記撮像制御手段は、上記指定された属性に基づいて上記撮像パラメータを設定することにより上記撮像制御を行うようにしてもよい。これにより、指定された属性に基づいて撮像パラメータを設定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記撮像制御手段は、上記優先対象物に基づいてホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを上記撮像パラメータとして設定することにより上記撮像制御を行うようにしてもよい。これにより、優先対象物に基づいて、ホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを撮像パラメータとして設定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記優先対象物が決定された際に上記撮像手段により変換された撮像画像を所定の記録媒体に記録させる記録制御手段をさらに具備するようにしてもよい。これにより、優先対象物が決定された際における撮像画像を、所定の記録媒体に記録させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記操作受付手段は、上記対象物に関する属性を複数指定する操作入力を受け付け、上記優先対象物決定手段は、上記指定された複数の属性と上記判定された属性とに基づいて上記優先対象物を決定するようにしてもよい。これにより、指定された複数の属性と、判定された属性とに基づいて、優先対象物を決定するという作用をもたらす。
【００１５】
また、この第１の側面において、上記操作受付手段は、上記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、上記優先対象物決定手段は、上記指定された第１および第２の属性と上記判定された属性とに基づいて上記優先対象物を決定するようにしてもよい。これにより、指定された第１および第２の属性と、判定された属性とに基づいて、優先対象物を決定するという作用をもたらす。
【００１６】
また、この第１の側面において、上記優先対象物決定手段は、上記検出された対象物の中から上記判定された属性が上記指定された属性に該当する対象物を選択することにより上記優先対象物を決定するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された属性に該当する対象物を選択することによって優先対象物を決定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記対象物検出手段は、上記撮像画像における上記検出された対象物の大きさ、位置、向きのうちの少なくとも１つを検出し、上記優先対象物決定手段は、上記選択された対象物が複数存在する場合には上記検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて上記選択された複数の対象物の中から上記優先対象物を決定するようにしてもよい。これにより、撮像画像における対象物の大きさ、位置、向きのうちの少なくとも１つを検出して、この検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて、選択された複数の対象物の中から優先対象物を決定するという作用をもたらす。
【００１８】
また、この第１の側面において、上記対象物検出手段は、上記撮像画像における上記検出された対象物の大きさおよび位置を検出し、上記優先対象物の大きさおよび位置に基づいて上記撮像画像における上記優先対象物の位置を示す優先対象物位置マーカを生成する対象物位置マーカ生成手段と、上記撮像画像と上記生成された優先対象物位置マーカとを重畳する重畳手段と、上記重畳された画像を表示する表示手段とをさらに具備するようにしてもよい。これにより、撮像画像における対象物の大きさおよび位置を検出し、優先対象物の大きさおよび位置に基づいて優先対象物位置マーカを生成して、撮像画像と優先対象物位置マーカとが重畳された画像を表示するという作用をもたらす。
【００１９】
また、この第１の側面において、上記対象物位置マーカ生成手段は、上記検出された対象物の大きさおよび位置に基づいて上記検出された対象物の中の上記優先対象物以外の対象物の上記撮像画像における位置を示すマーカであって上記優先対象物位置マーカとは異なる態様のマーカである対象物位置マーカを生成し、上記重畳手段は、上記撮像画像と上記生成された対象物位置マーカとを重畳するようにしてもよい。これにより、対象物の大きさおよび位置に基づいて対象物位置マーカを生成して、撮像画像と対象物位置マーカとが重畳された画像を表示するという作用をもたらす。
【００２０】
また、この第１の側面において、上記対象物は、人物の顔であってもよい。これにより、撮像画像に含まれる人物の顔を検出し、この検出された顔の顔属性を判定して、指定された顔属性と判定された顔属性とに基づいて、検出された顔の中から少なくとも１つの顔を優先顔として決定するという作用をもたらす。
【００２１】
また、本発明の第２の側面は、所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、被写体からの入射光を撮像画像に変換する撮像手段と、上記撮像画像に含まれる上記対象物を検出する対象物検出手段と、上記検出された対象物の属性を判定する属性判定手段と、上記検出された対象物の中から上記判定された属性が上記指定された属性に該当する対象物を選択するとともに当該選択がされた際に上記撮像手段により変換された撮像画像を所定の記録媒体に記録させる旨の指示を行う撮像画像記録指示手段とを具備することを特徴とする撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を判定して、検出された対象物の中から、判定された属性が指定された属性に該当する対象物を選択し、この選択の際における撮像画像を所定の記録媒体に記録させる旨の指示を行うという作用をもたらす。
【００２２】
また、この第２の側面において、上記操作受付手段は、上記対象物に関する属性を複数指定する操作入力を受け付け、上記撮像画像記録指示手段は、上記検出された対象物の中から上記判定された属性が上記指定された複数の属性に該当する対象物を選択するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された複数の属性に該当する対象物を選択するという作用をもたらす。
【００２３】
また、この第２の側面において、上記操作受付手段は、上記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、上記撮像画像記録指示手段は、上記検出された対象物の中から上記判定された属性が上記指定された第１および第２の属性に該当する対象物を選択するようにしてもよい。これにより、検出された対象物の中から、判定された属性が指定された第１および第２の属性に該当する対象物を選択するという作用をもたらす。
【００２４】
また、この第２の側面において、上記第１の属性は、上記対象物の表面上の変化に関する属性であり、上記第２の属性は、上記対象物の種別に関する属性であってもよい。これにより、対象物の表面上の変化に関する属性と、対象物の種別に関する属性とに基づいて対象物を選択するという作用をもたらす。
【００２５】
また、この第２の側面において、上記対象物は、人物の顔であり、上記第１の属性は、人物の顔の表情に関する属性であり、上記第２の属性は、人物の種別に関する属性であってもよい。これにより、人物の顔の表情に関する属性と、人物の種別に関する属性とに基づいて対象物を選択するという作用をもたらす。
【発明の効果】
【００２６】
本発明によれば、ユーザの好みに応じた撮像画像を容易に記録することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２７】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２８】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、顔検出部１２０と、目検出部１３０と、正規化部１４０と、属性判定部１５０と、優先顔決定部１６０と、顔位置マーカ生成部１７０と、重畳部１８０と、撮像制御部１９１と、記録制御部１９２と、表示部２００と、撮像画像記憶部２１０と、操作受付部２２０と、辞書記憶部３００と、作業用メモリ３０１とを備える。撮像装置１００は、例えば、顔検出機能を備えるデジタルスチルカメラによって実現することができる。
【００２９】
撮像部１１０は、撮像レンズ１０１（図２に示す）を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じた画像信号を生成し、この画像信号に各種の信号処理を施すものである。そして、この信号処理が施された画像信号が撮像画像として顔検出部１２０、撮像制御部１９１、記録制御部１９２および重畳部１８０に出力される。
【００３０】
顔検出部１２０は、撮像部１１０から出力された撮像画像に含まれる顔を検出するものであり、検出された顔を含むその周辺画像である顔画像を目検出部１３０および正規化部１４０に出力するとともに、検出された顔に関する顔情報を優先顔決定部１６０および顔位置マーカ生成部１７０に出力する。なお、検出された顔に関する顔情報は、例えば、撮像画像における顔の位置、顔の大きさまたは顔の向きである。また、顔検出部１２０は、撮像部１１０から出力された撮像画像に複数の顔が含まれている場合には、この複数の顔を検出する。例えば、図７に示すように、撮像部１１０から出力された撮像画像４００に４人の人物の顔４０５乃至４０８が含まれている場合には、これらの顔４０５乃至４０８が検出される。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法、撮影画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法を用いることができる。なお、顔検出部１２０は、予め指定された大きさの顔や予め指定された向きの顔のみを撮像画像から検出するようにしてもよい。予め指定された大きさとして、例えば、撮像画像における一定以上の大きさとすることができる。また、予め指定された向きとして、例えば、正面向きの度合いが一定以上の顔とすることができる。
【００３１】
目検出部１３０は、顔検出部１２０から出力された顔画像に含まれる両目を検出するものであり、検出された両目の顔画像における各位置を正規化部１４０に出力する。例えば、図４（ｂ）に示す顔画像２５０に含まれる顔２５１において、×印２５２および２５３で示す目の位置が検出される。
【００３２】
正規化部１４０は、正規化テンプレートを保持し、この正規化テンプレートに基づいて、顔検出部１２０から出力された顔画像について、目検出部１３０から出力された顔画像における両目の位置に基づいて正規化を行うものである。この正規化テンプレートとして、例えば、図４（ａ）に示すように、顔画像における両目の位置を基準とするテンプレートを用いることができる。すなわち、正規化部１４０は、目検出部１３０から出力された顔画像における両目の位置が、正規化テンプレートにおける両目の位置と合致するように、顔検出部１２０から出力された顔画像に回転処理および拡大縮小処理を施すとともに解像度変換を施し、その顔画像を正規化する。そして、正規化された顔画像が属性判定部１５０に出力される。なお、顔画像の正規化および正規化テンプレートについては、図４を参照して詳細に説明する。
【００３３】
属性判定部１５０は、正規化部１４０から出力された正規化顔画像について、辞書記憶部３００に記憶されている複数の判定用辞書を用いて顔属性の判定処理を行うものであり、この判定結果を優先顔決定部１６０に出力する。ここで、辞書記憶部３００に記憶されている複数の判定用辞書が作業用メモリ３０１に順次供給され、作業用メモリ３０１には１つの判定用辞書が順次記憶される。そして、作業用メモリ３０１に記憶された１つの判定用辞書を用いて顔属性の判定処理が順次行われる。具体的には、属性判定部１５０は、正規化部１４０から出力された正規化顔画像から、各部における輝度を特徴量として抽出し、この抽出された輝度の値と判定用辞書とを用いて顔属性の判定処理を行う。なお、属性判定部１５０による顔属性の判定処理については、図６乃至図８を参照して詳細に説明する。
【００３４】
辞書記憶部３００は、正規化部１４０から出力された正規化顔画像について、属性判定部１５０による各判定処理を行うための複数の判定用辞書を記憶する記憶部であり、記憶されている各判定用辞書が作業用メモリ３０１に順次供給される。なお、これらの各判定用辞書については、図５を参照して詳細に説明する。
【００３５】
作業用メモリ３０１は、辞書記憶部３００に記憶されている複数の判定用辞書のうちの１つの判定用辞書を記憶する作業用メモリであり、記憶されている判定用辞書の内容を属性判定部１５０に供給する。
【００３６】
優先顔決定部１６０は、顔検出部１２０により検出された顔の中から、操作受付部２２０において指定された顔属性の条件を満たす顔を優先顔として決定するものであり、決定された優先顔に関する情報（優先顔の位置および大きさ）を顔位置マーカ生成部１７０および撮像制御部１９１に出力する。すなわち、優先顔決定部１６０は、操作受付部２２０において指定された顔属性と、属性判定部１５０から出力された顔属性の判定結果とに基づいて、顔検出部１２０により検出された顔の中から優先顔を決定する。具体的には、優先顔決定部１６０は、操作受付部２２０により顔属性を指定する旨の操作入力が受け付けられた場合には、この指定された顔属性を保持する。そして、属性判定部１５０から出力された顔属性の判定結果の中から、保持されている顔属性の条件を満たす顔を選択する。ここで、優先顔は、撮像画像に含まれる人物の顔の中で優先的な取り扱いを受ける顔である。例えば、優先顔は撮像制御に関して優先的な取り扱いを受け、撮像制御部１９１において優先顔を基準にしてフォーカスや露出等の撮像パラメータが設定されることにより撮像制御が行われる。また、撮像画像の表示制御に関しても、他の顔に対して優先顔が優先的にユーザに識別されるように表示される。なお、保持されている顔属性の条件を満たす顔が優先候補として複数選択された場合には、これらの選択された優先候補の中から評価値の最も高い優先候補を優先顔として決定する。この評価値として、例えば、顔検出部１２０により検出された顔に関する顔情報を用いることができる。例えば、顔の大きさの大小に応じた数値、撮像画像における顔の中央からの距離に応じた数値、顔の正面向きの度合いに応じた数値等を評価値とすることができる。また、これらの数値が加算された数値を評価値とするようにしてもよい。なお、検出された顔が１つの場合には、この１つの顔が優先顔として決定される。また、属性判定部１５０から出力された顔属性の判定結果の中から、保持されている顔属性の条件を満たす顔を選択することができない場合には、評価値に基づいて優先顔を決定する。この優先顔の決定については、図７乃至図９を参照して詳細に説明する。
【００３７】
顔位置マーカ生成部１７０は、優先顔決定部１６０から出力された優先顔に関する情報に基づいて、撮像画像における優先顔の位置を示す優先顔位置マーカを生成するものであり、生成された優先顔位置マーカを重畳部１８０に出力する。また、顔位置マーカ生成部１７０は、顔検出部１２０から出力された顔に関する顔情報に基づいて、撮像画像における優先顔以外の顔の位置を示す顔位置マーカを生成し、生成された顔位置マーカを重畳部１８０に出力する。ここで、顔位置マーカ生成部１７０により生成される優先顔位置マーカと、顔位置マーカとは、異なる態様のマーカとする。なお、顔位置マーカ生成部１７０により生成される優先顔位置マーカまたは顔位置マーカの種類を、操作受付部２２０からの操作入力に応じて変更するようにしてもよい。優先顔位置マーカまたは顔位置マーカの種類および表示例については、図９乃至図１１を参照して詳細に説明する。
【００３８】
重畳部１８０は、撮像部１１０から出力された撮像画像に、顔位置マーカ生成部１７０から出力された優先顔位置マーカまたは顔位置マーカを重畳するものであり、優先顔位置マーカまたは顔位置マーカが重畳された撮像画像を表示部２００に出力する。
【００３９】
撮像制御部１９１は、撮像部１１０により撮像される撮像画像に関する撮像制御を行うものである。この撮像制御として、例えば、ホワイトバランス、カラーバランス（例えば、Ｒ（赤）・Ｇ（緑）・Ｂ（青）のバランス）、露出、フォーカス等の各撮像パラメータの制御が行われる。また、撮像制御部１９１は、優先顔決定部１６０から優先顔に関する情報が出力された場合には、この優先顔に関する情報に基づいて撮像制御を行う。例えば、撮像画像における優先顔の位置をＡＦエリア（距測エリア）として設定してオートフォーカス制御を行う。また、優先顔について最適な撮影条件となるように、ホワイトバランス、カラーバランス、露出等のオート制御を行う。なお、撮像制御部１９１は、優先顔決定部１６０から優先顔に関する情報が出力されない場合には、特に顔に限定した制御を行わず、通常の撮像制御を行う。例えば、操作受付部２２０により設定された撮像条件に基づいて制御が行われる。
【００４０】
ここで、撮像制御部１９１は、操作受付部２２０により顔属性を指定する旨の操作入力が受け付けられた場合には、この指定された顔属性を保持しておき、保持されている顔属性に係る優先顔に関する情報が優先顔決定部１６０から出力された場合には、保持されている顔属性に応じた撮像パラメータを用いて撮像制御を行うことができる。例えば、顔属性として子供が指定された場合には、露出値（ＥＶ値：Exposure Value）を＋１／３段乃至２／３段として露出を調整する。
【００４１】
記録制御部１９２は、撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する記録制御を行うものである。すなわち、記録制御部１９２は、操作受付部２２０によりシャッターボタン２２１（図２に示す）の押下入力が受け付けられた場合には、この押下入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。
【００４２】
表示部２００は、重畳部１８０から出力された画像を表示するものである。
【００４３】
撮像画像記憶部２１０は、記録制御部１９２からの制御に基づいて、撮像部１１０から出力された撮像画像を記録するものである。撮像画像記憶部２１０として、例えば、フラッシュメモリやディスクメモリカード等の半導体メモリや、ＤＶＤ（Digital Versatile Disc）等のリムーバブル記録媒体の永続性のある記録媒体を用いることができる。また、撮像画像記憶部２１０は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００４４】
操作受付部２２０は、各種の操作キーやスイッチ等を備え、これらのキー等から操作入力を受け付けると、受け付けた操作入力の内容を優先顔決定部１６０、顔位置マーカ生成部１７０、撮像制御部１９１または記録制御部１９２に出力するものである。例えば、操作受付部２２０は、優先顔を決定するための顔属性を指定する旨の操作入力を受け付けると、この指定された顔属性を優先顔決定部１６０および撮像制御部１９１に出力する。また、操作受付部２２０は、優先顔位置マーカまたは顔位置マーカの種類を指定する旨の操作入力を受け付けると、この指定された優先顔位置マーカまたは顔位置マーカの種類を顔位置マーカ生成部１７０に出力する。また、操作受付部２２０は、指定された顔属性に応じた各種撮像条件を設定する旨の操作入力を受け付けると、この各種撮像条件を撮像制御部１９１に出力する。なお、本発明の実施の形態では、図２に示すように、シャッターボタン２２１やズームボタン２２２等の操作部材とともに、液晶パネル２０１において操作入力を受け付ける。すなわち、操作受付部２２０をタッチパネルとして、表示部２００と一体で構成する。
【００４５】
図２は、本発明の実施の形態における撮像装置１００の外観を示す斜視図である。図２（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズ面）側の外観を示す図であり、図２（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる液晶パネル２０１の面）側の外観を示す図である。
【００４６】
撮像装置１００は、撮像レンズ１０１と、液晶パネル２０１と、シャッターボタン２２１と、ズームボタン２２２とを備える。なお、シャッターボタン２２１およびズームボタン２２２は、図１に示す操作受付部２２０に対応する。また、液晶パネル２０１は、図１に示す表示部２００および操作受付部２２０に対応する。なお、撮像装置１００には、電源スイッチ等の他の操作部材が操作受付部２２０として備えられているが、ここでの図示および説明は省略する。
【００４７】
撮像レンズ１０１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズを含む）から構成され、これらの各レンズが撮像装置１００の筐体に内蔵されている。また、これらの各レンズを通過した光の量（すなわち、露出）が絞り（図示せず）により調整され、これらの各レンズおよび絞りを通過した被写体からの光に応じて撮像部１１０が撮像画像を生成する。
【００４８】
液晶パネル２０１は、撮像部１１０から出力された撮像画像を表示する液晶パネルである。また、液晶パネル２０１は、顔位置マーカ生成部１７０により優先顔位置マーカまたは顔位置マーカが生成された場合には、優先顔位置マーカまたは顔位置マーカが重畳された撮像画像を表示する。これらの撮像画像の表示例については、図９乃至図１１を参照して詳細に説明する。また、液晶パネル２０１は、各種の選択ボタン等を表示し、これらの選択ボタン等の領域を指等で触ることにより操作入力を行うことが可能なタッチパネルである。これらの選択ボタンの表示例については、図３および図１７を参照して詳細に説明する。
【００４９】
シャッターボタン２２１は、撮像画像を記録する際に撮影者により押下されるボタンである。撮像装置１００を用いて撮影者が撮像操作（いわゆる、写真撮影）を行う場合には、液晶パネル２０１において所望の被写体を確認した後に、撮影者がシャッターボタン２２１を押下する。シャッターボタン２２１が押下されると、シャッターボタン２２１押下に応じた信号が、操作受付部２２０から記録制御部１９２に供給される。シャッターボタン２２１押下に応じた信号が操作受付部２２０から供給されると、記録制御部１９２は、シャッターボタン２２１押下に応じた信号を受け取った際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。
【００５０】
ズームボタン２２２は、ズームの倍率を調整する際に操作されるボタンである。具体的には、図２（ｂ）に示すＷ（ワイド）ボタンおよびＴ（テレ）ボタンがズームボタン２２２に備えられ、Ｗボタンが押下されている状態では、ズームレンズがワイド端側（望遠側）に移動し、Ｔボタンが押下されている状態では、ズームレンズがテレ端側（広角側）に移動する。
【００５１】
図３は、本発明の実施の形態における液晶パネル２０１の表示例を示す図である。同図では、優先顔決定部１６０により決定される優先顔の顔属性を指定するための顔属性指定画面が表示されている場合を示す。この顔属性指定画面には、指定ボタン２３１乃至２３５が表示されている。この顔属性指定画面は、例えば、操作受付部２２０において所定の操作入力を行うことによって、液晶パネル２０１に表示させることができる。
【００５２】
なお、本発明の実施の形態では、年代や性別等の人物自体に深く関わる属性である人物の種別に関する顔属性、または、笑顔等の顔の表情に関する顔属性を指定する例について説明する。すなわち、種類が異なる２つのカテゴリーに属する顔属性の中から少なくとも１つの顔属性を指定する例について説明する。また、本発明の実施の形態において指定する顔属性は、撮影者側ではなく、撮影者側の顔属性である。
【００５３】
指定ボタン２３１乃至２３５は、優先顔の顔属性を指定する場合に押下するボタンである。例えば、「男」指定ボタン２３１は、撮像画像に含まれる男性の顔を優先顔とする場合に押下するボタンである。また、「女」指定ボタン２３２、「大人」指定ボタン２３３、「子供」指定ボタン２３４、「赤ちゃん」指定ボタン２３５についても同様に、各ボタンの表示領域に表示されている文字に対応する顔属性を指定する場合に押下される。
【００５４】
なお、この例では、人物の種別に関する顔属性についての５つの指定ボタンを表示して選択する例について説明するが、他の顔属性を指定するための指定ボタンを表示して、他の顔属性を指定可能とするようにしてもよい。例えば、顔の表情に関する顔属性について選択可能としてもよい。また、この例では、１つの顔属性を指定する例について説明するが、複数の顔属性を指定して、これらの指定された各顔属性の条件を満たす顔を優先顔として決定する場合についても、本発明の実施の形態を適用することができる。なお、複数の顔属性を指定する場合には、相反しない複数の顔属性を指定する。相反する顔属性の指定とは、例えば、「男」および「女」を指定する場合や、「大人」および「子供」を指定する場合である。
【００５５】
図４は、本発明の実施の形態における顔画像を正規化する場合における正規化の一例を示す図である。図４（ａ）は、顔画像を正規化する際に用いられる正規化テンプレート１４１を示す図であり、図４（ｂ）は、顔検出部１２０により検出された顔２５１を含む顔画像２５０を正規化する場合における遷移を示す図である。正規化テンプレート１４１は、正規化部１４０に保持されて、正規化部１４０が正規化を行う際に用いられるテンプレートであり、正規化を行う際に基準となる基準位置１４２および１４３が規定されている。この例では、目検出部１３０により検出された顔画像における両目の位置が、正規化テンプレート１４１における基準位置１４２および１４３に合致するように顔画像について回転処理および拡大縮小処理を施すとともに、顔画像の解像度を変換する例について説明する。
【００５６】
顔画像２５０は、撮像部１１０に出力された撮像画像から顔検出部１２０により検出された顔２５１を含む周辺画像である。また、顔画像２５０における目の位置２５２および２５３が目検出部１３０により検出されているものとする。この例では、目における中心位置を目の位置とする場合について説明する。このように、顔画像２５０における目の位置２５２および２５３が検出されている場合には、目の位置２５２および２５３が、図４（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、アフィン変換等によって変換される。例えば、図４（ｂ）に示すように、顔画像２５０について解像度変換および回転処理がされると、正規化された顔画像である正規化顔画像２６０が生成される。正規化顔画像２６０においては、顔２６１の目の位置２６２および２６３が、図４（ａ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致している。また、本発明の実施の形態では、顔画像の解像度を４８画素×４８画素に変換して、正規化顔画像を生成する場合について説明する。
【００５７】
なお、基準位置としては、顔に含まれる両目以外の他の器官の位置を用いるようにしてもよい。例えば、顔に含まれる鼻を検出して、この鼻の位置に基づいて顔画像を正規化することができる。また、複数の器官の位置を、基準位置として用いるようにしてもよい。例えば、両目および鼻の位置を用いることができる。
【００５８】
図５は、本発明の実施の形態における正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。これらの判定用辞書は、正規化部１４０により正規化された正規化顔画像について、属性判定部１５０による各判定処理を行うための判断情報であり、辞書記憶部３００に記憶されている。この例では、判定用辞書として、大人／子供判定用辞書３１０、男／女判定用辞書３２０および赤ちゃん／非赤ちゃん判定用辞書３３０を例にして説明する。
【００５９】
ここで、顔属性の判定処理に用いられる判定用辞書は、判断基準のみに関するデータを保持する判断情報であり、画像そのものを保持するものではない。このため、記憶容量を削減することができるとともに、判定処理を迅速に行うことができる。
【００６０】
各判定用辞書には、正規化画像における２点の位置を示すｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）と、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値に関する閾値θと、ｐｉｘ１（ｘ，ｙ）の輝度の値およびｐｉｘ２（ｘ，ｙ）の輝度の値の差の値と閾値θとの比較結果に基づいて加算または減算される重みαとの組合せがそれぞれｔ組格納されている。これらの各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位１００組の組合せを用いて設定される。このように、各判定用辞書の形式が同一であるため、複数の判定処理を同一のアルゴリズムで行うことができる。なお、同図では、各判定用辞書に関する「ｐｉｘ１（ｘ，ｙ）」、「ｐｉｘ２（ｘ，ｙ）」、「θ」、「α」については、各判定用辞書に応じて異なる表記として示す。例えば、大人／子供判定用辞書３１０については、「ｐｉｘ１（ｘ，ｙ）」を「ｐｉｘ世代１（ｘ，ｙ）」とし、「ｐｉｘ２（ｘ，ｙ）」を「ｐｉｘ世代２（ｘ，ｙ）」とし、「θ」を「世代θ」とし、「α」を「世代α」として示す。
【００６１】
ここで、大人／子供判定用辞書３１０を用いて「大人」または「子供」の判定を行う場合における基準年齢は、例えば、１２歳とすることができる。すなわち、１２歳以上の顔を「大人」と判定し、１２歳未満の顔を「子供」と判定することができる。なお、他の年齢を基準として「大人」または「子供」の判定を行うようにしてもよく、子供、中年、老年等のように、さらに詳細な世代を判定するようにしてもよい。また、ある程度の範囲の年代をグループ化し、検出された顔がどのグループに属するかを判定するようにしてもよい。
【００６２】
次に、正規化顔画像について判定用辞書を用いて判定処理をする例について図面を参照して詳細に説明する。
【００６３】
図６は、本発明の実施の形態における正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。この例では、同図に示す正規化顔画像３５０の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸として、正規化顔画像３５０について大人／子供判定用辞書３１０（図５に示す）を用いた判定処理をする場合について説明する。例えば、大人／子供判定用辞書３１０の１行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５１とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５２とする。また、大人／子供判定用辞書３１０の２行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５３とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５４とする。さらに、大人／子供判定用辞書３１０の３行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５５とし、ｐｉｘ世代２（ｘ，ｙ）の値に対応する正規化顔画像３５０の位置を位置３５６とする。
【００６４】
最初に、判定を行うためのスコアＳの値に０がセットされ、大人／子供判定用辞書３１０の１行目に格納されている各値を用いた演算が行われる。具体的には、大人／子供判定用辞書３１０の１行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する位置３５１における輝度の値Ａ（１）と、ｐｉｘ世代２（ｘ，ｙ）の値に対応する位置３５２における輝度の値Ｂ（１）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）
【００６５】
続いて、算出された各輝度の差の値Ｃ（１）と、大人／子供判定用辞書３１０の１行目に格納されている閾値である世代θの値とを比較して、算出された値Ｃ（１）が世代θの値よりも小さいか否かが判断される。算出された値Ｃ（１）が世代θの値よりも小さい場合には、大人／子供判定用辞書３１０の１行目に格納されている重みである世代αの値をスコアＳに加算する。一方、算出された値Ｃ（１）が世代θの値よりも小さくない場合には、大人／子供判定用辞書３１０の１行目に格納されている世代αの値をスコアＳから減算する。
【００６６】
続いて、大人／子供判定用辞書３１０の２行目に格納されている各値を用いて、上述した各演算を繰り返す。具体的には、大人／子供判定用辞書３１０の２行目に格納されているｐｉｘ世代１（ｘ，ｙ）の値に対応する位置３５３における輝度の値Ａ（２）と、ｐｉｘ世代２（ｘ，ｙ）の値に対応する位置３５４における輝度の値Ｂ（２）とが抽出され、次式を用いて、抽出された各輝度の値の差Ｃ（２）が算出される。
Ｃ（２）＝Ａ（２）−Ｂ（２）
【００６７】
続いて、算出された各輝度の差の値Ｃ（２）と、大人／子供判定用辞書３１０の２行目に格納されている世代θの値とを比較して、算出された値Ｃ（２）が世代θの値よりも小さいか否かが判断される。算出された値Ｃ（２）が世代θの値よりも小さい場合には、大人／子供判定用辞書３１０の２行目に格納されている世代αの値をスコアＳに加算する。一方、算出された値Ｃ（２）が世代θの値よりも小さくない場合には、大人／子供判定用辞書３１０の２行目に格納されている世代αの値をスコアＳから減算する。
【００６８】
続いて、大人／子供判定用辞書３１０の３行目以降、ｔ行目までに格納されている各値を順次用いて、上述した各演算を繰り返す。
【００６９】
すなわち、正規化顔画像３５０について大人／子供判定用辞書３１０を用いた判定処理をする場合には、大人／子供判定用辞書３１０の１行目乃至ｔ行目に格納されている各値を順次用いて、式１を用いてＣ（ｉ）が算出され、算出されたＣ（ｉ）が式２を満たすか否かが判定される。ここで、変数ｉは整数であり、１からｔの値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）……（式１）
Ｃ（ｉ）＜θ（ｉ） ……（式２）
【００７０】
そして、算出されたＣ（ｉ）が式２を満たす場合には、α（ｉ）の値がスコアＳに加算され、算出されたＣ（ｉ）が式２を満たさない場合には、α（ｉ）の値がスコアＳから減算される。ここで、ｉ行目に格納されているｐｉｘ世代１（ｘ，ｙ）に対応する輝度の値をＡ（ｉ）で表し、ｉ行目に格納されているｐｉｘ世代２（ｘ，ｙ）に対応する輝度の値をＢ（ｉ）で表し、ｉ行目に格納されている世代θの値をθ（ｉ）で表し、ｉ行目に格納されている世代αの値をα（ｉ）で表す。
【００７１】
そして、大人／子供判定用辞書３１０のｔ行目に格納されている各値を用いた各演算が終了した後に、スコアＳの値が０よりも大きいか否かが判断される。
【００７２】
例えば、上述の機械学習アルゴリズムによって学習時における大人判定成功の学習サンプルを正側とし、大人判定失敗時の学習サンプルを負側として学習した場合において、大人／子供判定用辞書３１０の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像は目的の画像であると判定される。すなわち、大人／子供判定用辞書３１０を用いた判定の場合には、判定の対象となっている正規化顔画像に含まれる顔は大人の顔であると判定される。また、他の判定用辞書についても、同様に考えることができる。例えば、男／女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は男性の顔であると判定される。また、赤ちゃん／非赤ちゃん判定用辞書３３０を用いた判定において、赤ちゃん判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きければ、判定の対象となっている正規化顔画像に含まれる顔は赤ちゃんの顔であると判定される。
【００７３】
一方、上述の機械学習アルゴリズムによって学習時における判定成功の学習サンプルを正側とし、判定失敗時の学習サンプルを負側として学習した場合において、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像は目的の画像ではないと判定される。例えば、大人／子供判定用辞書３１０を用いた判定において、正規化判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は子供の顔であると判定される。また、男／女判定用辞書３２０を用いた判定において、男判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は女性の顔であると判定される。また、赤ちゃん／非赤ちゃん判定用辞書３３０を用いた判定において、赤ちゃん判定成功の学習サンプルを正側として学習した場合、スコアＳの値が０よりも大きくなければ、判定の対象となっている正規化顔画像に含まれる顔は赤ちゃんの顔ではないと判定される。
【００７４】
なお、本発明の実施の形態では、判定用辞書を用いた判定として、スコアＳおよび０を比較する判定例について説明するが、０以外の値を用いて判定するようにしてもよい。すなわち、スコアＳと比較する値については、適宜調整することができる。
【００７５】
ここで、判定用辞書の１乃至ｔ行目に格納されている各値を用いた各演算の終了後におけるスコアＳは、次式で表すことができる。
【数１】
【００７６】
ここで、ｓｉｇｎ（ｘ）は、ｘ＞０の場合には１となり、ｘ≦０の場合には−１となる関数を表すものとする。
【００７７】
このように、判定の対象となる正規化画像の解像度を同一の解像度とし、判定に用いる正規化画像の特徴量を２点間の輝度の値に統一することによって、複数の判定用辞書を切り替え可能とすることができ、複数の属性情報を同一のアルゴリズムで作成することができる。
【００７８】
次に、撮像画像に複数の顔が含まれている場合における判定処理について図面を参照して詳細に説明する。
【００７９】
図７は、本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。同図に示す撮像画像４００は、例えば、撮像装置１００を用いて４人の親子を撮像する場合における撮像画像であり、撮像画像４００には、息子４０１、父４０２、娘４０３および母４０４が含まれている。また、息子４０１、父４０２、娘４０３および母４０４のそれぞれに対応する顔を、顔４０５乃至４０８とする。また、息子４０１および娘４０３は、１２歳未満の子供であり、「子供」と判定されるものとする。
【００８０】
同図に示すように、撮像画像に複数の顔が含まれている場合には、顔検出部１２０により各顔が検出される。例えば、撮像画像４００から顔４０５乃至４０８が検出される。そして、検出された各顔に対応する顔画像について正規化がされ、この正規化がされた正規化顔画像について顔属性の判定処理が行われる。
【００８１】
図８は、本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果と、顔検出部１２０により検出された顔に関する情報とを含む優先顔決定情報４２０を模式的に示す図である。優先顔決定情報４２０は、優先顔決定部１６０に保持される。
【００８２】
優先顔決定情報４２０には、識別番号４２１と、大人／子供（世代）４２２と、男性／女性（性別）４２３と、赤ちゃん／非赤ちゃん４２４と、顔の大きさ４２５と、顔の位置４２６とが関連付けて含まれる。
【００８３】
識別番号４２１は、顔検出部１２０により検出された各顔に付与される識別番号である。識別番号４２１として、例えば、息子４０１の顔４０５に「００１」が付与され、父４０２の顔４０６に「００２」が付与され、娘４０３の顔４０７に「００３」が付与され、母４０４の顔４０８に「００４」が付与される。
【００８４】
大人／子供（世代）４２２、男性／女性（性別）４２３および赤ちゃん／非赤ちゃん４２４は、各判定用辞書を用いて属性判定部１５０により判定された顔属性の判定結果である。例えば、大人／子供（世代）４２２には、図７に示す顔４０５乃至４０８について、大人／子供判定用辞書３１０を用いて行われた判定結果として、「大人」または「子供」の何れかが格納される。また、男性／女性（性別）４２３には、図７に示す顔４０５乃至４０８について、男／女判定用辞書３２０を用いて行われた判定結果として、「男性」または「女性」の何れかが格納される。また、赤ちゃん／非赤ちゃん４２４には、図７に示す顔４０５乃至４０８について、赤ちゃん／非赤ちゃん判定用辞書３３０を用いて行われた判定結果として、「赤ちゃん」または「非赤ちゃん」の何れかが格納される。
【００８５】
顔の大きさ４２５および顔の位置４２６は、顔検出部１２０により検出された顔に関する情報である。例えば、顔の大きさ４２５には、図７に示す顔４０５乃至４０８について、顔検出部１２０により検出された顔の大きさが格納される。また、顔の位置４２６には、図７に示す顔４０５乃至４０８について、顔検出部１２０により検出された顔の位置が格納される。
【００８６】
優先顔決定情報４２０に含まれる各情報を用いて、顔検出部１２０により検出された顔の中から、優先顔決定部１６０により優先顔が決定される。
【００８７】
例えば、図３に示す液晶パネル２０１において、「大人」指定ボタン２３３が押下され、優先顔の顔属性として大人が指定されている場合には、大人／子供（世代）４２２に「大人」が格納されている顔が優先候補として選択される。そして、選択された優先候補が１つの場合には、この優先候補が優先顔として決定される。また、選択された優先候補が複数存在する場合には、選択された優先候補に関連付けられている顔に関する情報に基づいて優先顔が決定される。例えば、顔の大きさ４２５に格納されている顔の大きさに基づいて、検出された顔の大きさの値が最も大きい顔を優先顔として決定することができる。また、顔の位置４２６に格納されている顔の位置に基づいて、検出された顔の位置が撮像画像において最も中央寄りに存在する顔を優先顔として決定することができる。
【００８８】
ここで、優先顔の顔属性として大人が指定されている場合に、顔の位置４２６に格納されている顔の位置を用いて、図７に示す撮像画像４００における優先顔を決定する場合について説明する。例えば、図７に示す撮像画像４００には、２人の大人（父４０２および母４０４）が含まれているため、この２人の大人の顔に対応する大人／子供（世代）４２２には「大人」が格納されている。ここで、撮像画像４００に含まれる父４０２の顔４０６と、母４０４の顔４０８とについて、撮像画像４００における位置を比較した場合には、父４０２の顔４０６が母４０４の顔４０８よりも中央寄りに存在する。このため、優先候補として、父４０２の顔４０６と、母４０４の顔４０８とが選択されるものの、顔の位置が中央寄りである父４０２の顔４０６が優先顔として決定される。このように、父４０２の顔４０６が優先顔に決定された場合における表示例を図９（ａ）に示す。
【００８９】
また、同様に、図３に示す液晶パネル２０１において、「子供」指定ボタン２３４が押下され、優先顔の顔属性として子供が指定されている場合に、顔の位置４２６に格納されている顔の位置を用いて、図７に示す撮像画像４００における優先顔を決定する場合について説明する。図７に示す撮像画像４００には、２人の子供（息子４０１および娘４０３）が含まれているため、この２人の子供の顔に対応する大人／子供（世代）４２２には「子供」が格納されている。また、撮像画像４００に含まれる息子４０１の顔４０５と、娘４０３の顔４０７との位置を比較した場合には、娘４０３の顔４０７が息子４０１の顔４０５よりも中央寄りに存在する。このため、優先候補として、息子４０１の顔４０５と、娘４０３の顔４０７とが選択されるものの、顔の位置が中央寄りである娘４０３の顔４０７が優先顔として決定される。このように、娘４０３の顔４０７が優先顔に決定された場合における表示例を図９（ｂ）に示す。
【００９０】
なお、優先顔決定情報４２０における顔属性の判定結果として、判定処理により算出されたスコアＳの数値を格納しておき、複数の優先候補が選択された場合に、スコアＳの数値が最も大きい優先候補を優先顔として決定するようにしてもよい。
【００９１】
図９は、本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。図９（ａ）は、父４０２の顔４０６が優先顔に決定された場合における撮像画像４００の表示例を示す図であり、図９（ｂ）は、娘４０３の顔４０７が優先顔に決定された場合における撮像画像４００の表示例を示す図である。
【００９２】
同図に示すように、例えば、優先顔位置マーカ４１２または４１３を優先顔の周り付して、優先顔以外の顔については顔位置マーカを付さないようにすることができる。また、優先顔が変更された場合には、変更後の優先顔に優先顔位置マーカが順次付される。
【００９３】
図１０および図１１は、本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付されるとともに、優先顔以外の顔には顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。図１０および図１１では、母４０４の顔４０８が優先顔に決定された場合における撮像画像４００の表示例を示す。
【００９４】
図１０（ａ）では、実線の矩形で構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、破線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。
【００９５】
図１０（ｂ）では、太線の矩形で構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、細線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。
【００９６】
図１１（ａ）では、矩形の内側に四隅ポイントが配置されて構成される優先顔位置マーカ４１４を優先顔４０８の周りに付し、実線の矩形で構成される顔位置マーカ４１１乃至４１３を顔４０５乃至４０７に付す例を示す。ここで、四隅ポイントは、図１１（ａ）に示すように、矩形の四隅の部分のみを表示して、矩形の各辺の中央部分を表示しないものである。
【００９７】
図１１（ｂ）では、透過率が変更された矩形状の優先顔位置マーカ４１４および顔位置マーカ４１１乃至４１３を優先顔４０８および顔４０５乃至４０７に付す例を示す。例えば、優先顔に付される優先顔位置マーカ４１４については、その透過率を下げて濃いマーカ表示とし、優先顔以外の顔に付される顔位置マーカ４１１乃至４１３については、その透過率を上げて薄いマーカ表示とする。
【００９８】
このように、優先顔に付される優先顔位置マーカと、優先顔以外の顔に付される顔位置マーカとを異なる表示方法とすることによって、優先顔を容易に識別することができる。また、優先顔以外の顔についても容易に識別することができる。これらの表示方法の変更は、操作受付部２２０における操作入力に応じて変更される。
【００９９】
なお、図９乃至図１１に示す優先顔位置マーカおよび顔位置マーカの表示方法以外でも、例えば、マーカ自体の色による識別、点滅状態・非点滅状態による識別、マーカの内側と外側の輝度および色等の変更による識別等によって、優先顔位置マーカおよび顔位置マーカの態様を互いに区別して表示させることができる。また、マーカ自体の形状については、対象となる顔の位置を示すことができる他の態様のマーカを用いるようにしてもよい。例えば、円形、楕円等の形状や、対象となる顔を指し示す矢印等のような形状とすることができる。
【０１００】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１０１】
図１２は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順を示すフローチャートである。この例では、決定された優先顔に基づいて撮像制御部１９１が撮像制御を行う例について説明する。また、操作受付部２２０において指定された顔属性を優先顔決定部１６０が保持しているものとする。
【０１０２】
最初に、優先候補が初期化される（ステップＳ９０１）。続いて、被写体からの入射光を光電変換することによって、撮像部１１０が撮像画像を生成する（ステップＳ９０２）。続いて、顔検出部１２０が、撮像画像に含まれる人物の顔を検出する（ステップＳ９０３）。この顔検出により顔情報も検出される。続いて、検出された顔画像における目の位置が検出され、この検出された目の位置に基づいて、正規化部１４０が、検出された顔画像を正規化する（ステップＳ９０４）。
【０１０３】
続いて、正規化された顔画像である正規化顔画像について属性判定部１５０が顔属性判定処理を行う（ステップＳ９２０）。この顔属性判定処理については、図１３を参照して詳細に説明する。
【０１０４】
続いて、属性判定部１５０により求められた顔属性の判定結果に基づいて、優先顔決定部１６０が、顔検出部１２０により検出された顔の中から優先顔を決定する優先顔決定処理を行う（ステップＳ９５０）。この優先顔決定処理については、図１５を参照して詳細に説明する。
【０１０５】
続いて、顔位置マーカ生成部１７０が、決定された優先顔に関する情報に基づいて優先顔位置マーカを生成するとともに、優先顔以外の顔に関する顔情報に基づいて顔位置マーカを生成する（ステップＳ９０５）。続いて、重畳部１８０が、生成された優先顔位置マーカおよび顔位置マーカと、撮像画像とを重畳する（ステップＳ９０６）。続いて、優先顔位置マーカおよび顔位置マーカが重畳された撮像画像が表示部２００に表示される（ステップＳ９０７）。
【０１０６】
続いて、撮像制御部１９１が、決定された優先顔に基づいて撮像制御を行う（ステップＳ９０８）。なお、優先顔が決定された場合に、優先顔決定部１６０が記録制御部１９２に撮像画像を記録する旨の指示を送り、撮像画像を記録させるようにしてもよい。また、優先顔が決定された場合に、その旨を音声出力する等してユーザに通知するようにしてもよい。
【０１０７】
図１３は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの顔属性判定処理手順（図１２に示すステップＳ９２０の処理手順）を示すフローチャートである。ここでは、複数の判定用辞書の全てを用いて顔属性を判定する例について説明するが、１つの判定用辞書を用いて顔属性を判定するようにしてもよい。
【０１０８】
最初に、正規化部１４０から出力された正規化顔画像の中から１つの正規化顔画像が取り出される（ステップＳ９２１）。続いて、取り出された正規化顔画像における輝度の値が抽出される（ステップＳ９２２）。続いて、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない１つの判定用辞書が取り出され、作業用メモリ３０１に記憶される（ステップＳ９２３）。続いて、作業用メモリ３０１に記憶されている判定用辞書を用いて判定処理が実行される（ステップＳ９３０）。なお、この判定処理については、図１４を参照して詳細に説明する。
【０１０９】
続いて、判定処理によって判定された顔属性の判定結果が、判定の対象となっている顔に関する顔属性として、その顔に関連付けて保持される（ステップＳ９２４）。続いて、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在するか否かが判断される（ステップＳ９２５）。辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在する場合には（ステップＳ９２５）、ステップＳ９２３に戻り、同一の顔に関する顔属性の判定処理を繰り返す（ステップＳ９２３、Ｓ９２４、Ｓ９３０）。一方、辞書記憶部３００に記憶されている複数の判定用辞書のうちで、判定処理がされていない判定用辞書が存在しない場合には（ステップＳ９２５）、正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出された否が判断される（ステップＳ９２６）。
【０１１０】
正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出されていない場合には（ステップＳ９２６）、ステップＳ９２１に戻り、顔属性判定処理を繰り返す（ステップＳ９２１乃至Ｓ９２５、Ｓ９３０）。一方、正規化部１４０から出力された正規化顔画像について全ての正規化顔画像が取り出されている場合には（ステップＳ９２６）、図１２に示すステップＳ９２０に戻る。
【０１１１】
図１４は、本発明の実施の形態における撮像装置１００による顔属性判定処理の処理手順のうちの判定処理手順（図１３に示すステップＳ９３０の処理手順）を示すフローチャートである。本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定する判定処理を例にして説明する。
【０１１２】
最初に、スコアＳが「０」に初期化され（ステップＳ９３１）、変数ｉが「１」に初期化される（ステップＳ９３２）。続いて、正規化顔画像から抽出された輝度の値の中から、作業用メモリ３０１に記憶されている判定用辞書のｉ行目に格納されているｐｉｘ１（ｘ，ｙ）およびｐｉｘ２（ｘ，ｙ）の位置に対応する輝度の値が選択される（ステップＳ９３３）。続いて、選択された２つの輝度の値を用いて、式１に示すＣ（ｉ）が算出される（ステップＳ９３４）。
【０１１３】
続いて、算出された２点間の輝度の差の値Ｃ（ｉ）が閾値θ（ｉ）よりも小さいか否かが判断される（ステップＳ９３５）。算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さい場合には（ステップＳ９３５）、スコアＳにα（ｉ）が加算される（ステップＳ９３６）。一方、算出された値Ｃ（ｉ）が閾値θ（ｉ）よりも小さくない場合には（ステップＳ９３５）、スコアＳからα（ｉ）が減算される（ステップＳ９３７）。
【０１１４】
続いて、変数ｉに「１」が加算され（ステップＳ９３８）、変数ｉがｔよりも大きいか否かが判断される（ステップＳ９３９）。変数ｉがｔよりも大きくない場合には（ステップＳ９３９）、作業用メモリ３０１に記憶されている判定用辞書の各行の値についての判定処理が終了していないため、ステップＳ９３３に戻り、同一の判定用辞書を用いた判定処理を繰り返す（ステップＳ９３３乃至Ｓ９３８）。一方、変数ｉがｔよりも大きい場合には（ステップＳ９３９）、作業用メモリ３０１に記憶されている判定用辞書の各行の値についての判定処理が終了しているため、ステップＳ９４０に進み、スコアＳの値が０よりも大きいか否かが判断される（ステップＳ９４０）。
【０１１５】
スコアＳの値が０よりも大きい場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像であると判定される（ステップＳ９４１）。一方、スコアＳの値が０よりも大きくない場合には（ステップＳ９４０）、判定の対象となっている正規化顔画像が、目的の画像ではないと判定される（ステップＳ９４２）。続いて、図１３に示すステップＳ９３０に戻る。
【０１１６】
図１５は、本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの優先顔決定処理手順（図１２に示すステップＳ９５０の処理手順）を示すフローチャートである。
【０１１７】
最初に、優先顔決定部１６０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９５１）。続いて、優先顔決定部１６０は、取り出された顔の属性が優先対象の属性であるか否かを判断する（ステップＳ９５２）。すなわち、優先顔決定部１６０は、取り出された顔に関連付けて格納されている各顔属性の判定結果が、保持されている顔属性と同じであるか否かを判断する。
【０１１８】
取り出された顔の属性が優先対象の属性でない場合には（ステップＳ９５２）、取り出された顔は、指定された顔属性の条件を満たす顔ではないため、ステップＳ９５６に進む。一方、取り出された顔の属性が優先対象の属性である場合には（ステップＳ９５２）、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５３）。
【０１１９】
優先候補が存在しない場合には（ステップＳ９５３）、優先顔決定部１６０は、取り出された顔を優先候補として保持する（ステップＳ９５５）。一方、優先候補が存在する場合には（ステップＳ９５３）、優先顔決定部１６０は、検出された顔に関する顔情報を評価値として用いて、取り出された顔の評価値が、優先候補の評価値よりも大きいか否かを判断する（ステップＳ９５４）。例えば、評価値として、顔の大きさ、顔の位置または顔の向きに応じた数値、または、これらの組合せに係る数値を用いることができる。
【０１２０】
取り出された顔の評価値が、優先候補の評価値よりも大きい場合には（ステップＳ９５４）、優先顔決定部１６０は、現在保持されている優先候補を消去して、取り出された顔を優先候補として保持する（ステップＳ９５５）。一方、取り出された顔の評価値が、優先候補の評価値よりも大きくない場合には（ステップＳ９５４）、取り出された顔は、優先顔ではないと判断して、ステップＳ９５６に進む。
【０１２１】
続いて、優先顔決定部１６０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出したか否かを判断し（ステップＳ９５６）、全ての顔が取り出されていない場合には、ステップＳ９５１に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９５６）、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５７）。
【０１２２】
優先候補が存在する場合には（ステップＳ９５７）、優先顔決定部１６０は、現在保持されている優先候補を優先顔に決定する（ステップＳ９６３）。一方、優先候補が存在しない場合には（ステップＳ９５７）、ステップＳ９５８に進む。すなわち、優先候補が存在しない場合は、検出された顔の中に、指定された顔属性の条件を満たす顔が存在しない場合であるため、検出された顔に関する顔情報を評価値として用いて、優先顔を決定する。
【０１２３】
優先顔決定部１６０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９５８）。続いて、優先顔決定部１６０は、優先候補が存在するか否かを判断する（ステップＳ９５９）。
【０１２４】
優先候補が存在しない場合には（ステップＳ９５９）、優先顔決定部１６０は、取り出された顔を優先候補として保持する（ステップＳ９６１）。一方、優先候補が存在する場合には（ステップＳ９５９）、優先顔決定部１６０は、取り出された顔の評価値が、優先候補の評価値よりも大きいか否かを判断する（ステップＳ９６０）。
【０１２５】
取り出された顔の評価値が、優先候補の評価値よりも大きい場合には（ステップＳ９６０）、優先顔決定部１６０は、現在保持されている優先候補を消去して、取り出された顔を優先候補として保持する（ステップＳ９６１）。一方、取り出された顔の評価値が、優先候補の評価値よりも大きくない場合には（ステップＳ９６０）、取り出された顔は、優先顔ではないと判断して、ステップＳ９６２に進む。
【０１２６】
続いて、優先顔決定部１６０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出されたか否かを判断し（ステップＳ９６２）、全ての顔が取り出されていない場合には、ステップＳ９５８に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９６２）、ステップＳ９６３に進む。
【０１２７】
以上では、顔属性の判定結果に基づいて優先顔を決定する例について説明した。以下では、顔属性の判定結果に基づいて撮像装置１００が撮像操作（いわゆる、写真撮影）を自動的に行う例について説明する。
【０１２８】
図１６は、本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。撮像装置５００は、図１に示す撮像装置１００の一部を変形したものであり、撮像装置１００において、優先顔決定部１６０および記録制御部１９２の代わりに、撮像画像記録指示部５１０および記録制御部５２０を設けた撮像装置である。また、辞書記憶部３００には、図５に示す各判定用辞書以外に、笑顔／非笑顔判定用辞書、泣き顔／非泣き顔判定用辞書、怒り顔／非怒り顔判定用辞書および口開け顔／非口開け顔判定用辞書が記憶されているものとする。なお、撮像画像記録指示部５１０および記録制御部５２０以外の構成は、図１に示す撮像装置１００と同様であるため、これらの以外の構成についての説明は省略する。
【０１２９】
撮像画像記録指示部５１０は、年代や性別等の人物自体に深く関わる属性である人物の種別に関する顔属性と、笑顔や泣き顔等の顔の表情に関する顔属性とに基づいて、撮像画像を記録すべきタイミングを記録制御部５２０に指示するものである。すなわち、撮像画像記録指示部５１０は、顔検出部１２０により検出された顔の中に、操作受付部２２０において指定された人物の種別に関する顔属性および顔の表情に関する顔属性の条件を満たす顔が存在するか否かを、属性判定部１５０から出力された顔属性の判定結果に基づいて判断し、その条件を満たす顔が存在する場合には、撮像画像を記録すべき旨の指示を記録制御部５２０に指示する。この撮像画像を記録すべき旨の指示については、図１８乃至図２０を参照して詳細に説明する。
【０１３０】
記録制御部５２０は、撮像画像記録指示部５１０からの指示に基づいて、撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する記録制御を行うものである。すなわち、記録制御部５２０は、撮像画像記録指示部５１０から撮像画像を記録すべき旨の指示が入力された場合には、この指示の入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録させる。なお、他の構成については、図１に示す記録制御部１９２と同様であるため、ここでの説明を省略する。
【０１３１】
図１７は、本発明の実施の形態における液晶パネル２０１の表示例を示す図である。図１７（ａ）では、人物の種別に関する顔属性を指定するための顔属性指定画面を示す。なお、この顔属性指定画面は、図３に示す顔属性指定画面と同様であるため、図３と同一の符号を付して、ここでの説明を省略する。また、図１７（ｂ）では、顔の表情に関する顔属性を指定するための表情指定画面を示す。この表情指定画面には、指定ボタン２４１乃至２４５が表示されている。この表情指定画面は、例えば、顔属性指定画面において指定ボタン２３１乃至２３５の何れかの指定ボタンが押下された後に表示させることができる。また、表情指定画面および顔属性指定画面を同一の画面上に表示させるようにしてもよい。
【０１３２】
指定ボタン２４１乃至２４５は、顔の表情に関する顔属性を指定する場合に押下するボタンである。例えば、「笑顔」指定ボタン２４１は、撮像画像に笑顔が含まれている場合にその撮像画像を自動的に記録する場合に押下するボタンである。また、「笑っていない顔」指定ボタン２４２、「泣き顔」指定ボタン２４３、「怒り顔」指定ボタン２４４、「口を開けた顔」指定ボタン２４５についても同様に、各ボタンの表示領域に表示されている文字に対応する顔の表情に関する顔属性を指定する場合に押下される。
【０１３３】
なお、この例では、顔の表情に関する顔属性についての５つの指定ボタンを表示して選択する例について説明するが、顔の表情に関する他の顔属性を指定するための指定ボタンを表示して、他の顔属性を指定可能とするようにしてもよい。また、この例では、顔の表情に関する顔属性について、１つの顔属性を指定する例について説明するが、複数の顔属性を指定して、これらの指定された各顔属性の条件を満たす顔を優先顔として決定する場合についても、本発明の実施の形態を適用することができる。なお、複数の顔属性を指定する場合には、相反しない複数の顔属性を指定する。相反する顔属性の指定とは、例えば、「笑顔」および「笑っていない顔」を指定する場合である。また、人物の種別に関する顔属性についても、同様に、複数の顔属性を指定するようにしてもよい。また、人物の種別に関する顔属性および顔の表情に関する顔属性のそれぞれを複数指定するようにしてもよい。
【０１３４】
図１８は、本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。同図に示す撮像画像７００は、例えば、撮像装置１００を用いて４人の親子を撮像する場合における撮像画像であり、撮像画像４００には、息子４０１、父４０２、娘４０３および母４０４が含まれている。なお、父４０２および娘４０３が笑顔でない点以外は、図７に示す撮像画像４００と同様であるため、ここでの他の説明を省略する。
【０１３５】
図１９は、本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果を含む顔属性判定情報６００を模式的に示す図である。顔属性判定情報６００は、撮像画像記録指示部５１０に保持される。
【０１３６】
顔属性判定情報６００には、識別番号６０１と、大人／子供（世代）６０２と、男性／女性（性別）６０３と、赤ちゃん／非赤ちゃん６０４と、笑顔／非笑顔６０５と、泣き顔／非泣き顔６０６と、怒り顔／非怒り顔６０７と、口開け顔／非口開け顔６０８とが関連付けて含まれる。なお、識別番号６０１、大人／子供（世代）６０２、男性／女性（性別）６０３および赤ちゃん／非赤ちゃん６０４については、図８に示すものと同じであるため、ここでの説明を省略する。なお、大人／子供（世代）６０２、男性／女性（性別）６０３および赤ちゃん／非赤ちゃん６０４に関する判定結果は、人物の種別（人物自体の属性）に関する顔属性の判定結果であり、他の判定結果は、顔の表情に関する顔属性の判定結果である。
【０１３７】
笑顔／非笑顔６０５、泣き顔／非泣き顔６０６、怒り顔／非怒り顔６０７および口開け顔／非口開け顔６０８は、各判定用辞書を用いて属性判定部１５０により判定された顔属性の判定結果である。例えば、笑顔／非笑顔６０５には、図１８に示す顔４０５乃至４０８について、笑顔／非笑顔判定用辞書を用いて行われた判定結果として、「笑顔」または「非笑顔」の何れかが格納される。また、泣き顔／非泣き顔６０６には、図１８に示す顔４０５乃至４０８について、泣き顔／非泣き顔判定用辞書を用いて行われた判定結果として、「泣き顔」または「非泣き顔」の何れかが格納される。また、怒り顔／非怒り顔６０７には、図１８に示す顔４０５乃至４０８について、怒り顔／非怒り顔判定用辞書を用いて行われた判定結果として、「怒り顔」または「非怒り顔」の何れかが格納される。また、口開け顔／非口開け顔６０８には、図１８に示す顔４０５乃至４０８について、口開け顔／非口開け顔判定用辞書を用いて行われた判定結果として、「口開け顔」または「非口開け顔」の何れかが格納される。
【０１３８】
顔属性判定情報６００に含まれる各情報を用いて、表情指定画面および顔属性指定画面において指定された各顔属性の条件を満たす顔を含む撮像画像を記録するための指示がされる。
【０１３９】
例えば、図１７（ａ）に示す顔属性指定画面において、「大人」指定ボタン２３３が押下されるとともに、図１７（ｂ）に示す表情指定画面において、「笑顔」指定ボタン２４１が押下された場合について説明する。この場合には、大人／子供（世代）６０２に「大人」が格納されているとともに、笑顔／非笑顔６０５に「笑顔」が格納されている顔が、顔属性判定情報６００から検出された場合に、撮像画像記録指示部５１０から撮像画像記録の指示が記録制御部５２０に送られ、撮像画像が記録される。
【０１４０】
例えば、図１８に示す撮像画像４００には、２人の大人（父４０２および母４０４）が含まれているため、この２人の大人の顔に対応する大人／子供（世代）４２２には「大人」が格納されている。ここで、母４０４は笑顔であるため、母４０４（識別番号「００４」）に対応する笑顔／非笑顔６０５には「笑顔」が格納されているものの、父４０２（識別番号「００２」）は笑顔ではないため、父４０２に対応する笑顔／非笑顔６０５には「非笑顔」が格納されている。このため、条件を満たす母４０４が、顔属性判定情報６００から検出される。そして、撮像画像記録指示部５１０から記録制御部５２０に撮像画像を記録すべき旨の指示が送られ、撮像画像が記録される。
【０１４１】
図２０は、本発明の実施の形態における撮像装置１００による撮像画像記録制御処理の処理手順を示すフローチャートである。この例では、操作受付部２２０において指定された人物の種別に関する顔属性と、顔の表情に関する顔属性とを撮像画像記録指示部５１０が保持しているものとする。なお、ステップＳ９７１乃至Ｓ９７３、Ｓ９２０については、図１２に示すステップＳ９０２乃至Ｓ９０４、Ｓ９２０と同様の処理手順であるため、ここでの説明を省略する。
【０１４２】
撮像画像記録指示部５１０が、属性判定部１５０から出力された判定結果に含まれる１または複数の顔の中から１つの顔を取り出す（ステップＳ９７４）。続いて、撮像画像記録指示部５１０は、取り出された顔の属性が、操作受付部２２０において指定された人物の種別に関する顔属性と同じであるか否かを判断する（ステップＳ９７５）。すなわち、撮像画像記録指示部５１０は、取り出された顔に関連付けて格納されている各顔属性の判定結果のうちで、大人／子供（世代）６０２、男性／女性（性別）６０３または赤ちゃん／非赤ちゃん６０４に格納されている各情報が、保持されている人物の種別に関する顔属性と同じであるか否かを判断する。
【０１４３】
取り出された顔の属性が、指定された人物の種別に関する顔属性と同じでない場合には（ステップＳ９７５）、ステップＳ９７８に進む。一方、取り出された顔の属性が、指定された人物の種別に関する顔属性と同じである場合には（ステップＳ９７５）、撮像画像記録指示部５１０は、取り出された顔の属性が、操作受付部２２０において指定された顔の表情に関する顔属性と同じであるか否かを判断する（ステップＳ９７６）。すなわち、撮像画像記録指示部５１０は、取り出された顔に関連付けて格納されている各顔属性の判定結果のうちで、笑顔／非笑顔６０５、泣き顔／非泣き顔６０６、怒り顔／非怒り顔６０７または口開け顔／非口開け顔６０８に格納されている各情報が、保持されている顔の表情に関する顔属性と同じであるか否かを判断する。
【０１４４】
取り出された顔の属性が、指定された顔の表情に関する顔属性と同じでない場合には（ステップＳ９７６）、ステップＳ９７８に進む。一方、取り出された顔の属性が、指定された顔の表情に関する顔属性と同じである場合には（ステップＳ９７６）、撮像画像記録指示部５１０は、撮像画像を記録する旨の指示を記録制御部５２０に出力する（ステップＳ９７７）。撮像画像を記録する旨の指示を記録制御部５２０が入力すると、この入力の際に撮像部１１０から出力された撮像画像を撮像画像記憶部２１０に記録する。
【０１４５】
また、撮像画像記録指示部５１０は、属性判定部１５０から出力された判定結果に含まれる全ての顔を取り出されたか否かを判断し（ステップＳ９７８）、全ての顔が取り出されていない場合には、ステップＳ９７４に戻る。一方、全ての顔が取り出されている場合には（ステップＳ９７８）、撮像画像記録制御処理の動作を終了する。
【０１４６】
このように、本発明の実施の形態によれば、液晶パネル２０１において指定された顔属性に該当する人物の顔を優先顔として決定することができる。これにより、優先顔に基づいて各撮像パラメータを設定して撮像画像を記録することができるため、指定された顔属性に該当する人物の顔を美しく綺麗に記録することができる。また、優先顔に優先顔位置マーカを付して表示することができるため、撮影者が優先顔に決定された人物を容易に把握することができる。さらに、優先顔以外の顔に顔位置マーカを付して表示することができるため、撮影者が優先顔とその他の顔とを容易に識別することができる。例えば、大人を背景にした子供達を撮影する場合に、顔属性指定画面において「子供」指定ボタン２３４を押下して撮影を行うことにより、背景にいる大人達よりも、手前の子供たちの顔を美しく綺麗に撮影することができる。
【０１４７】
また、本発明の実施の形態によれば、液晶パネル２０１において指定された人物の種別に関する顔属性と、顔の表情に関する顔属性とに該当する人物の顔が検出された場合に、この検出の際における撮像画像を記録することができる。これにより、ユーザにより指定された人物の種別に該当する人物について、好みの表情を容易に撮像画像として記録することができる。例えば、大人を背景にした子供達の笑顔を撮影する場合において、顔属性指定画面において「子供」指定ボタン２３４を押下するとともに表情指定画面において「笑顔」指定ボタン２４１を押下して撮影を行う。これにより、背景にいる大人達が笑った場合でも撮像画像記録動作が行われないものの、手前の子供達が笑った場合には自動的に撮像画像記録動作を行うことができる。すなわち、本発明の実施の形態によれば、ユーザの好みに応じた撮像画像を容易に記録することができる。
【０１４８】
なお、本発明の実施の形態では、顔に関する顔属性として「大人／子供（世代）」、「男性／女性（性別）」、「赤ちゃん／非赤ちゃん」、「笑顔／非笑顔」、「泣き顔／非泣き顔」、「怒り顔／非怒り顔」、「口開け顔／非口開け顔」を判定する例について説明したが、顔に関する他の顔属性を判定する場合についても、本発明の実施の形態を適用することができる。顔に関する顔属性として、例えば、目の位置、目の開閉状態、顔の表情、人種、顔自体の撮影条件、顔の向き等に適用することができる。また、本発明の実施の形態では、辞書記憶部３００に複数の辞書を記憶する例について説明したが、１つの辞書を記憶する場合についても、本発明の実施の形態を適用することができる。また、本発明の実施の形態では、正規化顔画像が目的の画像であるか否かを判定するための判断情報として、辞書記憶部３００に記憶されている各判定用辞書を用いる例について説明したが、正規化顔画像が目的の画像であるか否かを判定することができる他の判断情報を用いるようにしてもよい。
【０１４９】
また、本発明の実施の形態では、撮像画像に含まれる人の顔を検出し、この検出された顔に関する顔属性を判定する場合について説明したが、撮像画像に含まれる人の顔以外の他の対象物を検出し、この検出された対象物に関する属性を判定する場合についても、本発明の実施の形態を適用することができる。撮像画像に含まれる人の顔以外の他の対象物として、例えば、猫や犬等のペットの顔、馬や牛等の動物の顔、車や電車等の乗り物等に適用することができる。
【０１５０】
また、本発明の実施の形態では、１つの種類（カテゴリー）に属する対象物の属性を、人物の顔の表情に関する顔属性とし、他の種類に属する対象物の属性を、人物の種別に関する属性とする例について説明したが、１つの種類に属する対象物の属性を、対象物の表面上の変化に関する属性とし、他の種類に属する対象物の属性を、対象物の種別に関する属性とする場合についても本発明の実施の形態を適用することができる。
【０１５１】
また、本発明の実施の形態では、複数の優先候補が選択された場合にはこれらの優先候補から１つの優先顔を決定する例について説明したが、複数の優先候補を優先顔として用いて露出等の撮像制御を行うようにしてもよい。
【０１５２】
また、本発明の実施の形態では、撮像装置を例にして説明したが、静止画および動画を撮像するカムコーダや撮像機能を備える携帯電話機の各種の撮像装置に本発明の実施の形態を適用することができる。
【０１５３】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１５４】
すなわち、請求項１または１３において、操作受付手段は、例えば操作受付部２２０に対応する。また、撮像手段は、例えば撮像部１１０に対応する。また、対象物検出手段は、顔検出部１２０に対応する。また、属性判定手段は、属性判定部１５０に対応する。
【０１５５】
また、請求項１において、優先対象物決定手段は、例えば優先顔決定部１６０に対応する。
【０１５６】
また、請求項２において、撮像制御手段は、例えば撮像制御部１９１に対応する。
【０１５７】
また、請求項５において、記録制御手段は、例えば記録制御部１９２に対応する。
【０１５８】
また、請求項１０において、対象物位置マーカ生成手段は、例えば顔位置マーカ生成部１７０に対応する。また、重畳手段は、例えば重畳部１８０に対応する。また、表示手段は、例えば表示部２００に対応する。
【０１５９】
また、請求項１３において、撮像画像記録指示手段は、例えば撮像画像記録指示部５１０に対応する。
【０１６０】
また、請求項１８または１９において、撮像手順は、例えばステップＳ９０２に対応する。また、対象物検出手順は、例えばステップＳ９０３に対応する。また、属性判定手順は、例えばステップＳ９２０に対応する。また、優先対象物決定手順は、例えばステップＳ９５０に対応する。
【０１６１】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１６２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における撮像装置１００の外観を示す斜視図である。
【図３】本発明の実施の形態における液晶パネル２０１の表示例を示す図である。
【図４】本発明の実施の形態における顔画像を正規化する場合における正規化の一例を示す図である。
【図５】本発明の実施の形態における正規化顔画像について各判定処理を行うための複数の判定用辞書を示す図である。
【図６】本発明の実施の形態における正規化部１４０により正規化された顔画像の一例である正規化顔画像３５０を示す図である。
【図７】本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。
【図８】本発明の実施の形態における顔属性の判定結果および顔に関する情報を含む優先顔決定情報４２０を模式的に示す図である。
【図９】本発明の実施の形態における撮像画像４００について決定された優先顔に優先顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１０】本発明の実施の形態における優先顔に優先顔位置マーカが付され、他の顔に顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１１】本発明の実施の形態における優先顔に優先顔位置マーカが付され、他の顔に顔位置マーカが付された場合における撮像画像４００の表示例を示す図である。
【図１２】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順を示すフローチャートである。
【図１３】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの顔属性判定処理手順を示すフローチャートである。
【図１４】本発明の実施の形態における撮像装置１００による顔属性判定処理の処理手順のうちの判定処理手順を示すフローチャートである。
【図１５】本発明の実施の形態における撮像装置１００による撮像制御処理の処理手順のうちの優先顔決定処理手順を示すフローチャートである。
【図１６】本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。
【図１７】本発明の実施の形態における液晶パネル２０１の表示例を示す図である。
【図１８】本発明の実施の形態における撮像部１１０により撮像された撮像画像の一例を示す図である。
【図１９】本発明の実施の形態における属性判定部１５０により判定された顔属性の判定結果を含む顔属性判定情報６００を模式的に示す図である。
【図２０】本発明の実施の形態における撮像装置１００による撮像画像記録制御処理の処理手順を示すフローチャートである。
【符号の説明】
【０１６３】
１００ 撮像装置
１０１ 撮像レンズ
１１０ 撮像部
１２０ 顔検出部
１３０ 目検出部
１４０ 正規化部
１５０ 属性判定部
１６０ 優先顔決定部
１７０ 顔位置マーカ生成部
１８０ 重畳部
１９１ 撮像制御部
１９２ 記録制御部
２００ 表示部
２０１ 液晶パネル
２１０ 撮像画像記憶部
２２０ 操作受付部
２２１ シャッターボタン
２２２ ズームボタン
３００ 辞書記憶部
３０１ 作業用メモリ
５１０ 撮像画像記録指示部
５２０ 記録制御部
【特許請求の範囲】
【請求項１】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記優先対象物に基づいて所定の撮像パラメータを設定することにより撮像制御を行う撮像制御手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像制御手段は、前記指定された属性に基づいて前記撮像パラメータを設定することにより前記撮像制御を行う
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像制御手段は、前記優先対象物に基づいてホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを前記撮像パラメータとして設定することにより前記撮像制御を行う
ことを特徴とする請求項２記載の撮像装置。
【請求項５】
前記優先対象物が決定された際に前記撮像手段により変換された撮像画像を所定の記録媒体に記録させる記録制御手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記操作受付手段は、前記対象物に関する属性を複数指定する操作入力を受け付け、
前記優先対象物決定手段は、前記指定された複数の属性と前記判定された属性とに基づいて前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記操作受付手段は、前記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、
前記優先対象物決定手段は、前記指定された第１および第２の属性と前記判定された属性とに基づいて前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記優先対象物決定手段は、前記検出された対象物の中から前記判定された属性が前記指定された属性に該当する対象物を選択することにより前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記対象物検出手段は、前記撮像画像における前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つを検出し、
前記優先対象物決定手段は、前記選択された対象物が複数存在する場合には前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて前記選択された複数の対象物の中から前記優先対象物を決定する
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記対象物検出手段は、前記撮像画像における前記検出された対象物の大きさおよび位置を検出し、
前記優先対象物の大きさおよび位置に基づいて前記撮像画像における前記優先対象物の位置を示す優先対象物位置マーカを生成する対象物位置マーカ生成手段と、
前記撮像画像と前記生成された優先対象物位置マーカとを重畳する重畳手段と、
前記重畳された画像を表示する表示手段とをさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記対象物位置マーカ生成手段は、前記検出された対象物の大きさおよび位置に基づいて前記検出された対象物の中の前記優先対象物以外の対象物の前記撮像画像における位置を示すマーカであって前記優先対象物位置マーカとは異なる態様のマーカである対象物位置マーカを生成し、
前記重畳手段は、前記撮像画像と前記生成された対象物位置マーカとを重畳する
ことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記対象物は、人物の顔である
ことを特徴とする請求項１記載の撮像装置。
【請求項１３】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記検出された対象物の中から前記判定された属性が前記指定された属性に該当する対象物を選択するとともに当該選択がされた際に前記撮像手段により変換された撮像画像を所定の記録媒体に記録させる旨の指示を行う撮像画像記録指示手段と
を具備することを特徴とする撮像装置。
【請求項１４】
前記操作受付手段は、前記対象物に関する属性を複数指定する操作入力を受け付け、
前記撮像画像記録指示手段は、前記検出された対象物の中から前記判定された属性が前記指定された複数の属性に該当する対象物を選択する
ことを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記操作受付手段は、前記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、
前記撮像画像記録指示手段は、前記検出された対象物の中から前記判定された属性が前記指定された第１および第２の属性に該当する対象物を選択する
ことを特徴とする請求項１３記載の撮像装置。
【請求項１６】
前記第１の属性は、前記対象物の表面上の変化に関する属性であり、
前記第２の属性は、前記対象物の種別に関する属性である
ことを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記対象物は、人物の顔であり、
前記第１の属性は、人物の顔の表情に関する属性であり、
前記第２の属性は、人物の種別に関する属性である
ことを特徴とする請求項１５記載の撮像装置。
【請求項１８】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段を備える撮像装置の制御方法であって、
被写体からの入射光を撮像画像に変換する撮像手順と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
を具備することを特徴とする撮像装置の制御方法。
【請求項１９】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段を備える撮像装置において、
被写体からの入射光を撮像画像に変換する撮像手順と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手段と
を具備することを特徴とする撮像装置。
【請求項２】
前記優先対象物に基づいて所定の撮像パラメータを設定することにより撮像制御を行う撮像制御手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像制御手段は、前記指定された属性に基づいて前記撮像パラメータを設定することにより前記撮像制御を行う
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像制御手段は、前記優先対象物に基づいてホワイトバランス、カラーバランス、露出、フォーカスの少なくとも１つを前記撮像パラメータとして設定することにより前記撮像制御を行う
ことを特徴とする請求項２記載の撮像装置。
【請求項５】
前記優先対象物が決定された際に前記撮像手段により変換された撮像画像を所定の記録媒体に記録させる記録制御手段をさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記操作受付手段は、前記対象物に関する属性を複数指定する操作入力を受け付け、
前記優先対象物決定手段は、前記指定された複数の属性と前記判定された属性とに基づいて前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記操作受付手段は、前記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、
前記優先対象物決定手段は、前記指定された第１および第２の属性と前記判定された属性とに基づいて前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記優先対象物決定手段は、前記検出された対象物の中から前記判定された属性が前記指定された属性に該当する対象物を選択することにより前記優先対象物を決定する
ことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記対象物検出手段は、前記撮像画像における前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つを検出し、
前記優先対象物決定手段は、前記選択された対象物が複数存在する場合には前記検出された対象物の大きさ、位置、向きのうちの少なくとも１つに基づいて前記選択された複数の対象物の中から前記優先対象物を決定する
ことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記対象物検出手段は、前記撮像画像における前記検出された対象物の大きさおよび位置を検出し、
前記優先対象物の大きさおよび位置に基づいて前記撮像画像における前記優先対象物の位置を示す優先対象物位置マーカを生成する対象物位置マーカ生成手段と、
前記撮像画像と前記生成された優先対象物位置マーカとを重畳する重畳手段と、
前記重畳された画像を表示する表示手段とをさらに具備する
ことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記対象物位置マーカ生成手段は、前記検出された対象物の大きさおよび位置に基づいて前記検出された対象物の中の前記優先対象物以外の対象物の前記撮像画像における位置を示すマーカであって前記優先対象物位置マーカとは異なる態様のマーカである対象物位置マーカを生成し、
前記重畳手段は、前記撮像画像と前記生成された対象物位置マーカとを重畳する
ことを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記対象物は、人物の顔である
ことを特徴とする請求項１記載の撮像装置。
【請求項１３】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段と、
被写体からの入射光を撮像画像に変換する撮像手段と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手段と、
前記検出された対象物の属性を判定する属性判定手段と、
前記検出された対象物の中から前記判定された属性が前記指定された属性に該当する対象物を選択するとともに当該選択がされた際に前記撮像手段により変換された撮像画像を所定の記録媒体に記録させる旨の指示を行う撮像画像記録指示手段と
を具備することを特徴とする撮像装置。
【請求項１４】
前記操作受付手段は、前記対象物に関する属性を複数指定する操作入力を受け付け、
前記撮像画像記録指示手段は、前記検出された対象物の中から前記判定された属性が前記指定された複数の属性に該当する対象物を選択する
ことを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記操作受付手段は、前記対象物に関する属性であって互いに異なる種類に属する第１および第２の属性を指定する操作入力を受け付け、
前記撮像画像記録指示手段は、前記検出された対象物の中から前記判定された属性が前記指定された第１および第２の属性に該当する対象物を選択する
ことを特徴とする請求項１３記載の撮像装置。
【請求項１６】
前記第１の属性は、前記対象物の表面上の変化に関する属性であり、
前記第２の属性は、前記対象物の種別に関する属性である
ことを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記対象物は、人物の顔であり、
前記第１の属性は、人物の顔の表情に関する属性であり、
前記第２の属性は、人物の種別に関する属性である
ことを特徴とする請求項１５記載の撮像装置。
【請求項１８】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段を備える撮像装置の制御方法であって、
被写体からの入射光を撮像画像に変換する撮像手順と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
を具備することを特徴とする撮像装置の制御方法。
【請求項１９】
所定の対象物に関する属性を指定する操作入力を受け付ける操作受付手段を備える撮像装置において、
被写体からの入射光を撮像画像に変換する撮像手順と、
前記撮像画像に含まれる前記対象物を検出する対象物検出手順と、
前記検出された対象物の属性を判定する属性判定手順と、
前記指定された属性と前記判定された属性とに基づいて前記検出された対象物の中から少なくとも１つの対象物を優先対象物として決定する優先対象物決定手順と
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図６】
【公開番号】特開２００９−１１８００９（Ｐ２００９−１１８００９Ａ）
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願番号】特願２００７−２８６６５７（Ｐ２００７−２８６６５７）
【出願日】平成１９年１１月２日（２００７．１１．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年５月２８日（２００９．５．２８）
【国際特許分類】
【出願日】平成１９年１１月２日（２００７．１１．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]