撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
【課題】複数の画像解析処理の処理速度を速める。
【解決手段】解像度変換部１３０は、カメラ信号処理部１２３からの撮像画像を複数の異なる解像度の画像に変換する。そして、この複数の異なる解像度の画像が１組の画像群として、画像メモリ５００の複数のバンクに順次書き込まれる。顔検出部２００は、画像メモリ５００の複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて顔検出処理を行う。顔属性検出部３００は、その複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて顔属性検出処理を行う。個人識別部４００は、その複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて個人識別処理を行う。なお、顔検出処理、顔属性検出処理および個人識別処理で用いられる複数の画像の組合せは異なる。
【解決手段】解像度変換部１３０は、カメラ信号処理部１２３からの撮像画像を複数の異なる解像度の画像に変換する。そして、この複数の異なる解像度の画像が１組の画像群として、画像メモリ５００の複数のバンクに順次書き込まれる。顔検出部２００は、画像メモリ５００の複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて顔検出処理を行う。顔属性検出部３００は、その複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて顔属性検出処理を行う。個人識別部４００は、その複数のバンクのうち処理の開始直前に書込みがされたバンクの複数の画像の組合せを用いて個人識別処理を行う。なお、顔検出処理、顔属性検出処理および個人識別処理で用いられる複数の画像の組合せは異なる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数の画像解析処理を行う撮像装置、画像処理装置、および、これらにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、人物等の被写体を撮像して撮像画像を記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、近年では、撮像画像に含まれる被写体を自動的に認識する画像解析技術が注目を浴びている。特に、撮像画像から人物の顔を検出する顔検出方法が多数提案されている。例えば、撮像画像の一部分を切り出し、この切り出された画像とテンプレートとを比較することにより、その切り出された画像が人物の顔である確からしさを算出し、この確からしさに基づいて顔を検出する撮像装置が提案されている（例えば、特許文献１参照。）。
【０００３】
また、近年では、検出された顔の属性を検出する顔属性検出方法が提案されている。この顔の属性として、例えば、人物の年齢層や性別等を検出するものが存在する。また、例えば、検出された顔の表情等を評価する画像評価装置が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２００７−４３１３号公報（図１）
【特許文献２】特開２００４−４６５９１号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術によれば、１つの撮像画像について、この撮像画像から人物の顔を検出する顔検出処理と、この検出された顔の属性を検出する顔属性検出処理との２つの画像解析処理を行い、これらの解析結果を用いることができる。
【０００５】
ここで、例えば、顔検出処理や顔属性検出処理等の画像解析処理を行う場合には、各処理に応じて撮像画像を複数の解像度に変換する必要があるが、各処理に必要な画像の解像度は異なることが多い。例えば、顔検出処理では、解像度が比較的低い画像でも人の顔を検出することが可能であることが多い。これに対して、顔属性検出処理で、表情、性別、年代等を検出する場合には、顔検出処理に用いられる画像の解像度よりも比較的高い解像度の画像が必要となることが多い。
【０００６】
このように、複数の画像解析処理を行う場合には、各処理に応じて複数の解像度の画像を、それぞれ別個に用意する必要がある。このため、画像解析処理における解像度変換の処理時間が必要であり、各画像解析処理の処理時間が遅くなるおそれがある。
【０００７】
そこで、本発明は、複数の画像解析処理の処理速度を速めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像を複数の異なる解像度の画像に変換する解像度変換部と、上記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、上記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて上記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、上記１組の画像群に含まれる画像のうちの上記複数の画像の組合せとは異なる複数の画像の組合せを用いて上記撮像画像を解析する処理であって上記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部とを具備する撮像装置およびこれにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像を複数の異なる解像度の画像に変換し、この変換された複数の異なる解像度の画像を１組の画像群として記憶し、その１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて第一画像解析処理を行い、その１組の画像群に含まれる画像のうちのその組合せとは異なる複数の画像の組合せを用いて第二画像解析処理を行うという作用をもたらす。
【０００９】
また、この第１の側面において、上記撮像部は、所定のフレームレートで上記撮像画像を順次生成し、上記画像記憶部は、上記１組の画像群の書込みまたは読出しを行う際の単位となるバンクを複数備え、上記複数のバンクのそれぞれに上記１組の画像群を上記撮像画像毎に順次書込む制御を行う制御部をさらに具備し、上記第一画像解析処理部は、上記複数のバンクのうち上記第一画像解析処理の上記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて上記第一画像解析処理を行い、上記第二画像解析処理部は、上記複数のバンクのうち上記第二画像解析処理の上記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて上記第二画像解析処理を行うようにしてもよい。これにより、所定のフレームレートで撮像画像を順次生成し、複数のバンクのそれぞれに１組の画像群を撮像画像毎に順次書込み、複数のバンクのうち第一画像解析処理の撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて第一画像解析処理を行い、複数のバンクのうち第二画像解析処理の撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて第二画像解析処理を行うという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像記憶部は、上記バンクへの書込禁止を設定する書込禁止フラグを上記バンク毎に備え、上記第一画像解析処理部は、上記第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、上記制御部は、所定の順序に従って上記複数のバンクのそれぞれに上記１組の画像群を上記撮像画像毎に順次書込む制御を行い、書込み対象となる上記バンクに対応する書込禁止フラグに書込禁止が設定されている場合には上記所定の順序における上記書込み対象となるバンクの次の順序の上記バンクに上記１組の画像群を書込む制御を行うようにしてもよい。これにより、第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、所定の順序に従って複数のバンクのそれぞれに１組の画像群を撮像画像毎に順次書込み、書込み対象となるバンクに対応する書込禁止フラグに書込禁止が設定されている場合には、そのバンクの次の順序のバンクに１組の画像群を書込むという作用をもたらす。
【００１１】
また、この第１の側面において、上記第一画像解析処理部は、上記撮像画像に含まれる対象物を検出する対象物検出処理を上記第一画像解析処理として行い、上記第二画像解析処理部は、上記検出された対象物の属性を検出する対象物属性検出処理を上記第二画像解析処理として行うようにしてもよい。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を検出するという作用をもたらす。
【００１２】
また、この第１の側面において、上記対象物検出処理に用いられる画像のうちの少なくとも１つは、上記対象物属性検出処理に用いられる各画像よりも解像度が低い画像とするようにしてもよい。これにより、対象物検出処理に用いられる画像のうちの少なくとも１つを、対象物属性検出処理に用いられる各画像よりも解像度が低い画像として対象物検出処理を行うという作用をもたらす。
【００１３】
また、この第１の側面において、上記１組の画像群に含まれる画像のうちの上記対象物検出処理に用いられる画像の組合せおよび上記対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて上記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を行う特定対象物識別部をさらに具備し、上記対象物属性検出処理に用いられる画像のうちの少なくとも１つは、上記特定対象物識別処理に用いられる各画像よりも解像度が低い画像とするようにしてもよい。これにより、１組の画像群に含まれる画像のうちの対象物検出処理に用いられる画像の組合せおよび対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて、検出された対象物が特定の対象物であるか否かを識別し、対象物属性検出処理に用いられる画像のうちの少なくとも１つを、特定対象物識別処理に用いられる各画像よりも解像度が低い画像として対象物属性検出処理を行うという作用をもたらす。
【００１４】
また、この第１の側面において、上記対象物は、人物の顔とするようにしてもよい。これにより、撮像画像に含まれる人物の顔を検出し、この検出された人物の顔の属性を検出するという作用をもたらす。
【００１５】
また、この第１の側面において、上記第一画像解析処理部は、上記撮像画像に含まれる対象物を検出する対象物検出処理を上記第一画像解析処理として行い、上記第二画像解析処理部は、上記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を上記第二画像解析処理として行うようにしてもよい。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物が特定の対象物であるか否かを識別するという作用をもたらす。
【００１６】
また、本発明の第２の側面は、画像を入力する画像入力部と、上記入力された画像を複数の異なる解像度の画像に変換する解像度変換部と、上記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、上記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて上記入力された画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、上記１組の画像群に含まれる画像のうちの上記複数の画像の組合せとは異なる複数の画像の組合せを用いて上記入力された画像を解析する処理であって上記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部とを具備する画像処理装置およびこれにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像を複数の異なる解像度の画像に変換し、この変換された複数の異なる解像度の画像を１組の画像群として記憶し、その１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて第一画像解析処理を行い、その１組の画像群に含まれる画像のうちのその組合せとは異なる複数の画像の組合せを用いて第二画像解析処理を行うという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、複数の画像解析処理の処理速度を速めることができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１８】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、制御部１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、解像度変換部１３０と、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、画像記憶媒体１７０と、不揮発性記憶媒体１８０と、メモリバス１９０と、顔検出部２００と、顔属性検出部３００と、顔属性検出結果メモリ３０１と、個人識別部４００と、顔特徴量メモリ４０１と、画像メモリ５００とを備える。ここで、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像メモリ５００およびメモリバス１９０を経由したやりとりによって行われる。また、撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２０】
制御部１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御する制御部である。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）により実現することができる。
【００２１】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成されているレンズ群であり、これらのレンズを介して入力された被写体からの入射光がイメージセンサ１２２に供給される。また、レンズ群１２１における絞り制御やフォーカス制御が制御部１１０により行われる。
【００２２】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に供給するものである。なお、イメージセンサ１２２として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を用いることができる。
【００２３】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを撮像画像として解像度変換部１３０に出力するものである。また、その信号処理が施された画像データは、画像メモリ５００およびメモリバス１９０を介して、画像圧縮伸張部１４０および表示部１５０に供給される。なお、カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。なお、イメージセンサ１２２およびカメラ信号処理部１２３は、特許請求の範囲に記載の撮像部および画像入力部の一例である。
【００２４】
解像度変換部１３０は、制御部１１０の制御に基づいて、カメラ信号処理部１２３から出力された撮像画像を複数の解像度の画像に変換するものであり、変換後の複数の解像度の画像を、メモリバス１９０を介して画像メモリ５００に順次記憶させる。なお、これらの解像度変換および変換後の画像記憶については、図７を参照して詳細に説明する。
【００２５】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが画像記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが、表示部１５０および画像メモリ５００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００２６】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データに対応する画像を表示する表示部である。
【００２７】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容を制御部１１０に出力する。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００２８】
画像記憶媒体１７０は、画像圧縮伸張部１４０から出力された画像データを記憶する画像記憶媒体である。また、画像記憶媒体１７０は、記憶されている画像データを画像圧縮伸張部１４０に供給する。なお、画像記憶媒体１７０として、例えば、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体を用いることができる。また、画像記憶媒体１７０は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００２９】
不揮発性記憶媒体１８０は、各種情報を記憶する不揮発性の記憶媒体である。なお、不揮発性の記憶媒体の代わりに、揮発性の記憶媒体を用いるようにしてもよい。
【００３０】
メモリバス１９０は、画像データを伝達するための共有バスである。
【００３１】
顔検出部２００は、画像メモリ５００に記憶されている複数の解像度の画像を用いて、撮像画像に含まれる人の顔を検出するものである。そして、検出された顔に関する情報である顔検出結果を制御部１１０、顔属性検出部３００および個人識別部４００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。また、顔検出部２００は、特許請求の範囲に記載の第一画像解析処理部の一例である。
【００３２】
顔属性検出部３００は、顔検出部２００から出力された顔検出結果に基づいて、画像メモリ５００に記憶されている複数の解像度の画像を用いて、顔検出部２００により検出された顔の属性を検出するものである。そして、検出された顔属性に関する情報である顔属性検出結果を制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力する。なお、顔属性検出部３００については、図３を参照して詳細に説明する。また、顔属性検出部３００は、特許請求の範囲に記載の第二画像解析処理部の一例である。
【００３３】
顔属性検出結果メモリ３０１は、顔属性検出部３００から出力された顔属性検出結果を記憶するメモリである。
【００３４】
個人識別部４００は、顔検出部２００から出力された顔検出結果に基づいて、画像メモリ５００に記憶されている複数の解像度の画像を用いて、顔検出部２００により検出された顔が登録人物と同一人物の顔であるか否かを判定するものである。この登録人物は、顔特徴量メモリ４０１に顔特徴量が記憶されている人物である。そして、判定結果を制御部１１０に出力する。なお、個人識別部４００および顔特徴量メモリ４０１については、図４を参照して詳細に説明する。また、個人識別部４００は、特許請求の範囲に記載の第二画像解析処理部および特定対象物識別部の一例である。
【００３５】
画像メモリ５００は、撮像装置１００において処理対象となる画像データを記憶するものである。なお、顔属性検出結果メモリ３０１、顔特徴量メモリ４０１および画像メモリ５００は、例えば、ＲＡＭ（Random Access Memory）により実現することができる。また、画像メモリ５００は、特許請求の範囲に記載の画像記憶部の一例である。
【００３６】
ここで、本発明の実施の形態では、顔検出部２００、顔属性検出部３００および個人識別部４００における各処理において、相関処理（テンプレートマッチングによる類似度計算）を行う例について説明する。
【００３７】
なお、制御部１１０の制御に基づいて、画像圧縮伸張部１４０から出力された画像データを外部記憶媒体等の外部装置に出力して記憶させるようにしてもよい。また、撮像装置１００に入出力端子を設け、この入出力端子と外部装置とを接続し、この外部装置から入力された画像データを画像圧縮伸張部１４０に入力するようにしてもよい。
【００３８】
図２は、本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。なお、図２では、顔検出部２００の機能構成例とともに、顔検出部２００および画像メモリ５００の概略関係を示す。顔検出部２００は、顔検出制御部２１０と、画像取得部２２０と、画像拡大縮小部２３０と、画像保持部２４０と、基準顔データ保持部２５０と、判定部２６０と、顔検出結果出力部２７０とを備える。
【００３９】
顔検出制御部２１０は、制御部１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４０】
画像取得部２２０は、顔検出制御部２１０の制御に基づいて、画像メモリ５００に記憶されている複数の解像度の画像の中から解像度が比較的低い画像を取得するものであり、取得された画像を画像拡大縮小部２３０に出力する。なお、この画像の取得については、図１０を参照して詳細に説明する。
【００４１】
画像拡大縮小部２３０は、顔検出制御部２１０の制御に基づいて、画像取得部２２０から出力された各画像について、顔の検出に適する画像に拡大または縮小処理を行うものである。そして、拡大または縮小処理が施された画像を画像保持部２４０に供給する。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。なお、この画像の拡大縮小については、図１０を参照して詳細に説明する。
【００４２】
画像保持部２４０は、画像拡大縮小部２３０により拡大または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２６０に供給する。
【００４３】
基準顔データ保持部２５０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２６０に供給する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００４４】
判定部２６０は、顔検出制御部２１０の制御に基づいて、画像保持部２４０に保持されている画像に顔が含まれているか否かを判定するものであり、判定結果を顔検出結果出力部２７０に出力する。具体的には、判定部２６０は、画像保持部２４０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２５０に保持されている顔データとでテンプレートマッチング処理を行う。そしてこの処理により、相関性の高さに基づいて顔らしさを算出し、算出された顔らしさに基づいて、取り出された画像に顔が含まれているか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像に顔が含まれていると判定される。これらの判定が繰り返し実行され、画像保持部２４０に保持されている画像に含まれている顔が検出される。また、判定部２６０は、基準顔データ保持部２５０に保持されている顔データとの相関性の高さに基づいて、画像保持部２４０に保持されている画像に含まれている顔に関する各種データを抽出し、抽出された各種データを判定結果として顔検出結果出力部２７０に出力する。
【００４５】
顔検出結果出力部２７０は、顔検出制御部２１０の制御に基づいて、判定部２６０から出力された判定結果を、顔検出結果として制御部１１０、顔属性検出部３００および個人識別部４００に出力するものである。この顔検出結果は、例えば、顔を検出した旨、顔領域の座標（顔の位置）、顔領域の大きさ、顔の向きや角度、顔らしさを含む情報である。なお、これらの顔検出結果は制御部１１０に順次蓄えられる。
【００４６】
図３は、本発明の実施の形態における顔属性検出部３００の機能構成例を示すブロック図である。なお、図３では、顔属性検出部３００の機能構成例とともに、顔属性検出部３００と顔属性検出結果メモリ３０１と画像メモリ５００との概略関係を示す。顔属性検出部３００は、顔属性検出制御部３１０と、顔画像取得部３２０と、画像保持部３３０と、正規化部３４０と、顔画像出力部３５０と、顔属性判定部３７０と、顔属性判定基準データ保持部３６０と、顔属性検出結果出力部３８０とを備える。
【００４７】
顔属性検出制御部３１０は、制御部１１０からの指示に従って顔属性検出部３００の各部を制御するものである。
【００４８】
顔画像取得部３２０は、顔属性検出制御部３１０の制御に基づいて、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに従って、画像メモリ５００から顔領域の画像（顔画像）を取得するものである。ここで、顔画像取得部３２０により取得される顔画像は、画像メモリ５００に記憶されている複数の解像度の画像のうち解像度が中程度の画像に含まれる顔領域の画像である。そして、取得された顔画像が画像保持部３３０に保持される。なお、この顔画像の取得については、図１０を参照して詳細に説明する。
【００４９】
画像保持部３３０は、顔画像取得部３２０により取得された顔画像を保持するものであり、保持されている顔画像を正規化部３４０および顔画像出力部３５０に供給する。
【００５０】
正規化部３４０は、顔属性検出制御部３１０の制御に基づいて、画像保持部３３０に保持されている顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を顔属性判定部３７０に出力する。具体的には、正規化部３４０は、画像保持部３３０に保持されている顔画像に含まれる顔の両目をほぼ水平に保つとともに、その顔が一定の大きさになるように、顔の大きさおよび傾きを正規化する。そして、その顔画像を一定の解像度に変換（例えば、４０×４０画素程度）して、正規化顔画像を生成する。このように、両目を水平に保ち、顔を一定の大きさとして両目を一定の座標に近づけておくことにより、顔属性検出や個人識別の精度を向上させることができる。
【００５１】
顔画像出力部３５０は、顔属性検出制御部３１０の制御に基づいて、画像保持部３３０から供給された顔画像を受け付けて、個人識別部４００に出力するものである。例えば、顔属性検出部３００および個人識別部４００において共通して用いられる解像度の顔画像が、顔画像出力部３５０から個人識別部４００に出力される。
【００５２】
顔属性判定基準データ保持部３６０は、顔属性判定部３７０による判定に用いられる複数の顔属性判定基準データから構成されている顔属性判定用辞書を、顔の属性毎に保持するものである。この顔属性判定基準データは、顔属性判定部３７０により判定される顔の属性に関して予め十分に学習をさせた基準データである。
【００５３】
顔属性判定部３７０は、顔属性判定基準データ保持部３６０に保持されている顔属性判定基準データを用いて、正規化部３４０から出力された正規化顔画像に含まれる顔の属性を判定するものであり、顔属性判定結果を顔属性検出結果出力部３８０に出力する。例えば、正規化部３４０から出力された正規化顔画像について、顔属性判定基準データ保持部３６０に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。この積算結果値に基づいて、各顔の属性が判定される。ここで、顔属性判定部３７０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向きや角度、目、口、眉、鼻の位置等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。
【００５４】
顔属性検出結果出力部３８０は、顔属性検出制御部３１０の制御に基づいて、顔属性判定部３７０から出力された顔属性判定結果を、顔属性検出結果として制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力するものである。なお、これらの顔属性検出結果は顔属性検出結果メモリ３０１に順次記憶される。
【００５５】
図４は、本発明の実施の形態における個人識別部４００の機能構成例を示すブロック図である。なお、図４では、個人識別部４００の機能構成例とともに、個人識別部４００と顔特徴量メモリ４０１と画像メモリ５００との概略関係を示す。個人識別部４００は、個人識別制御部４１０と、顔画像取得部４２０と、正規化部４３０と、顔特徴量抽出部４４０と、類似度算出部４５０と、算出結果出力部４６０と、顔特徴量登録部４７０とを備える。また、個人識別部４００は、顔特徴量メモリ４０１に記憶されている顔特徴量を取得して類似度算出を行い、一定の条件を満たす新規な顔特徴量を顔特徴量メモリ４０１に新たに登録する。
【００５６】
個人識別制御部４１０は、制御部１１０からの指示に従って個人識別部４００の各部を制御するものである。
【００５７】
顔画像取得部４２０は、個人識別制御部４１０の制御に基づいて、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに従って、画像メモリ５００から顔領域の画像（顔画像）を取得するものである。ここで、顔画像取得部４２０により取得される顔画像は、画像メモリ５００に記憶されている複数の解像度の画像のうち解像度が比較的高い画像に含まれる顔領域の画像である。そして、取得された顔画像が正規化部４３０に出力される。ここで、顔画像取得部４２０は、顔属性検出部３００および個人識別部４００において共通して用いられる解像度の顔画像については、顔画像出力部３５０から出力された顔画像を取得するようにしてもよい。なお、この顔画像の取得については、図１０を参照して詳細に説明する。
【００５８】
正規化部４３０は、個人識別制御部４１０の制御に基づいて、顔画像取得部４２０から出力された顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を顔特徴量抽出部４４０に出力する。この正規化については、変換される解像度が異なる以外は、顔属性検出部３００の正規化部３４０における正規化と同様であるため、ここでの詳細な説明を省略する。ここで、一般に、個人識別処理を行う場合には、顔属性検出処理よりも高い解像度の顔画像が必要となる。このため、個人識別処理においては、顔の大きさおよび傾きが正規化された顔画像を比較的高い一定の解像度に変換（例えば、６０×６０画素程度）して、正規化顔画像を生成する。
【００５９】
顔特徴量抽出部４４０は、個人識別制御部４１０の制御に基づいて、正規化部４３０から出力された正規化顔画像から顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部４５０および顔特徴量登録部４７０に出力する。この顔特徴量の抽出方法として、例えば、ガボア・フィルタを用いた抽出方法が一般的に知られている（例えば、特開２００６−４００３号参照。）。このガボア・フィルタを用いて抽出された顔特徴量は、ガボア・ジェットと呼ばれる。
【００６０】
顔特徴量メモリ４０１は、特定人物（登録人物）の顔について抽出された顔特徴量と、この特定人物に関する顔属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔属性をメモリバス１９０を介して類似度算出部４５０に供給する。また、顔特徴量メモリ４０１は、顔特徴量登録部４７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。
【００６１】
類似度算出部４５０は、個人識別制御部４１０の制御に基づいて、顔特徴量抽出部４４０から出力された顔特徴量と顔特徴量メモリ４０１に記憶されている１つまたは複数の顔特徴量とを比較することにより、これらの顔特徴量の類似度を算出するものである。ここで、この算出された類似度は、顔検出部２００により検出された顔が、顔特徴量メモリ４０１に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かの度合いを示す値である。また、類似度算出部４５０は、この算出された類似度を算出結果出力部４６０および顔特徴量登録部４７０に出力する。ここで、類似度算出部４５０は、顔属性検出部３００から出力された顔属性検出結果を用いて、顔特徴量の類似度算出の実行の要否を判断するようにしてもよい。すなわち、類似度算出部４５０は、顔属性検出部３００から出力された顔属性検出結果と、顔特徴量抽出部４４０から出力された特定人物の顔属性とを比較し、顔属性検出結果が明らかに相反しているか否かを判断する。そして、顔属性検出結果が明らかに相反していると判断された場合には、この判断がされた段階で顔検出部２００により検出された顔が特定人物と同一人物の顔ではないと判断し、顔特徴量の類似度算出を中止する。例えば、顔属性として、性別や年代（大人・子供）が相反していれば、特定人物と同一人物の顔ではないと判断することができる。これにより、類似度算出の処理の高速化を図ることができる。
【００６２】
算出結果出力部４６０は、個人識別制御部４１０の制御に基づいて、類似度算出部４５０から出力された類似度を、個人識別の判定結果として制御部１１０に出力するものである。なお、これらの個人識別の判定結果は制御部１１０に順次蓄えられる。また、個人識別の判定結果に基づいて、制御部１１０は、特定の個人を識別することができる。
【００６３】
ここで、制御部１１０は、顔検出部２００、顔属性検出部３００および個人識別部４００から受け取った各結果データに基づいて、ＡＦ（Auto Focus：自動焦点）、ＡＥ（Automatic Exposure：自動露出）、ＡＷＢ（Auto White Balance：オートホワイトバランス）、ストロボ制御、オートズーム、肌色補正、顔マーカー表示等のカメラ制御を実行する。また、制御部１１０は、これらの各結果データを撮像画像の付随データとして外部記憶媒体に記録し、入出力端子から撮像装置１００の外部装置に出力することができる。なお、制御部１１０が、顔検出部２００、顔属性検出部３００および個人識別部４００から受け取った各結果データを、他の各部に供給し、他の各部が結果データを用いるようにしてもよい。
【００６４】
顔特徴量登録部４７０は、個人識別制御部４１０の指示に基づいて、顔特徴量抽出部４４０から出力された顔特徴量の中で一定の条件を満たす顔特徴量を顔特徴量メモリ４０１に登録するものである。すなわち、ユーザにより特定人物の顔特徴量の登録が指示された場合、または、撮像装置１００の内部で一定の顔特徴量の登録条件が満たされたと判断された場合に登録処理が実行される。ここで、一定の顔特徴量の登録条件は、例えば、以下の（１）および（２）を満たす条件とすることができる。
（１）予め登録された顔との類似度が極めて高いこと。
（２）以下の（ａ）乃至（ｃ）の少なくとも１つを満たすこと。
（ａ）予め登録された顔よりも顔検出における顔らしさの度合いが高いこと。
（ｂ）予め登録された顔よりも正面向きの度合いが高いこと。
（ｃ）前回の登録から一定時間が経過していること。
【００６５】
このように、登録処理を行うことにより、最新の顔特徴量を適切に保持しておくことができる。
【００６６】
図５は、本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。図５（ａ）には、画像メモリ５００におけるバンク０（５１０）乃至バンク３（５４０）を示し、図５（ｂ）には、バンク０（５１０）の基本構造の一例を示す図である。ここで、バンクは、画像メモリ５００を管理する際の管理単位であり、図５（ａ）に示す例では、画像メモリ５００に４つのバンク（バンク０（５１０）乃至バンク３（５４０））を設けた例について説明する。また、バンク０（５１０）乃至バンク３（５４０）のそれぞれの基本構造は同一であるため、図５（ｂ）では、バンク０（５１０）についてのみを説明し、バンク１（５２０）乃至バンク３（５４０）についての説明を省略する。
【００６７】
図５（ｂ）に示すように、バンク０（５１０）は、解像度変換画像記憶領域５１１および書込禁止フラグ５１２から構成されている。
【００６８】
解像度変換画像記憶領域５１１は、解像度変換部１３０により解像度が変換された複数の画像が記憶される領域である。なお、この複数の画像の記憶方法については、図７を参照して詳細に説明する。
【００６９】
書込禁止フラグ５１２は、バンク０（５１０）への書込禁止を設定するフラグである。具体的には、解像度変換画像記憶領域５１１に記憶されている画像について、顔検出部２００により顔検出処理が行われている間は、「１」が記録（フラグオン）される。また、解像度変換画像記憶領域５１１に記憶されている画像について、顔検出部２００により顔検出処理が行われていない間は、「０」が記録（フラグオフ）される。そして、書込禁止フラグ５１２に「１」が記録されている場合には、バンク０（５１０）への書込みが禁止される。この書込禁止については、図１１を参照して詳細に説明する。
【００７０】
図６は、本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられるテンプレートの顔サイズを模式的に示す図である。上述したように、各処理では、各処理に応じた複数の解像度の画像を用いて相関処理が行われる。この相関処理では、それぞれ異なる大きさのテンプレートが用いられる。
【００７１】
図６（ａ）には、個人識別部４００における個人識別処理に用いられる顔サイズ（個人識別処理の基本顔サイズ６０１）を示し、図６（ｂ）には、顔属性検出部３００における顔属性検出処理に用いられる顔サイズ（顔属性検出処理の基本顔サイズ６０２）を示し、図６（ｃ）には、顔検出部２００における顔検出処理に用いられる顔サイズ（顔検出処理の基本顔サイズ６０３）を示す。例えば、顔検出処理は、顔検出に用いられる画像の解像度が比較的低くても、人の顔を顔として認識することが可能である。また、顔属性検出処理では、顔検出処理に比べて解像度が多少高めでないと、表情や年代や性別が検出できないことが多い。さらに、個人識別処理では、顔属性検出処理よりも解像度が高めでないと、特定の個人であると識別することは困難であることが多い。このため、例えば、個人識別部４００における個人識別処理に用いられる顔画像として、６０×６０画素程度の解像度の画像が必要である場合には、顔属性検出部３００における顔属性検出処理に用いられる顔画像のサイズとして、４０×４０画素程度の解像度の画像が必要である。また、顔検出部２００における顔検出処理に用いられる顔画像のサイズとして、２０×２０画素程度の解像度の画像が必要である。このように、各処理に応じて必要となる画像の解像度が異なるため、本発明の実施の形態では、図７に示すように、１つの撮像画像について複数の異なる解像度の画像を各バンクに記憶させておき、各処理に応じた解像度の画像を用いることができるようにする。
【００７２】
図７は、本発明の実施の形態における解像度変換部１３０により解像度が変換された画像を画像メモリ５００に記憶する場合における記憶方法を模式的に示す図である。図７に示す例では、解像度変換部１３０により解像度が変換された複数の画像を画像メモリ５００のバンク０（５１０）に記憶する場合を例にして説明する。なお、バンク１（５２０）乃至バンク３（５４０）についても、バンク０（５１０）と同様であるため、ここでの説明を省略する。
【００７３】
解像度変換画像記憶領域５１１に記憶されている画像５５１乃至５５５は、同一フレームの撮像画像について解像度変換部１３０により解像度変換が施された画像であり、それぞれ解像度が異なる。すなわち、画像５５１乃至５５５は、同一フレームの撮像画像から得られた画像であるため、それぞれ解像度が異なる同一時刻の画像の組合せである。例えば、画像５５１を、カメラ信号処理部１２３から出力された撮像画像と同じ解像度の画像とする。そして、画像５５２乃至５５５については、画像５５１の解像度を基準として、順次１／２ずつ解像度を下げた画像とすることができる。例えば、画像５５１の解像度が６４０画素×４８０画素である場合には、画像５５２の解像度を３２０画素×２４０画素とし、画像５５３の解像度を１６０画素×１２０画素とし、画像５５４の解像度を８０画素×６０画素とし、画像５５５の解像度を４０画素×３０画素とする。このように、バンク１（５２０）乃至バンク３（５４０）には、同一時刻の撮像画像について、解像度を段階的に低下させた複数の画像の組合せが記憶される。そして、図６に示すように、各処理に応じて必要となる画像の解像度が異なるため、バンク１（５２０）乃至バンク３（５４０）に記憶されている複数の画像の組合せの中から各処理に応じた適切な解像度の画像を用いることができる。
【００７４】
図８は、本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ａ（５６１）乃至Ｄ（５６４）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。なお、撮像画像Ａ（５６１）乃至Ｄ（５６４）は、一定のフレームレートで生成される撮像画像であるものとする。図８（ａ）には、撮像画像Ａ（５６１）乃至Ｄ（５６４）のそれぞれについて解像度変換が施された各画像がバンク０（５１０）乃至バンク３（５４０）に記憶された状態を模式的に示す。また、図８（ｂ）には、撮像画像Ａ（５６１）乃至Ｄ（５６４）を矢印５６０の方向に時系列に並べて示す。なお、図８（ａ）に示すバンク０（５１０）乃至バンク３（５４０）に記憶されている各画像に含まれるＡ、Ｂ、Ｃ、Ｄは、図８（ｂ）に示す撮像画像Ａ（５６１）乃至Ｄ（５６４）内に含まれるＡ、Ｂ、Ｃ、Ｄに対応するものである。
【００７５】
図８（ａ）に示すように、一定のフレームレートで生成される撮像画像Ａ（５６１）乃至Ｄ（５６４）について、フレーム毎にバンク０（５１０）乃至バンク３（５４０）に順次書込みが行われる。この場合に、例えば、バンク０（５１０）、バンク１（５２０）、バンク２（５３０）、バンク３（５４０）の順序で解像度変換後の各画像の書込みが行われる。また、図８（ａ）に示すように、解像度変換後の画像のバンク３（５４０）への書込みが行われた後は、図９（ａ）に示すように、バンク０（５１０）に戻り、解像度変換後の画像の書込みが行われる。すなわち、書込み対象のバンクの書込禁止フラグがオンされていない場合には、バンク０（５１０）、バンク１（５２０）、バンク２（５３０）、バンク３（５４０）、バンク０（５１０）、…の順序でリング状に順次書込みが行われる。なお、書込禁止フラグがオンされている場合については、図１１を参照して詳細に説明する。
【００７６】
このように、バンク０（５１０）乃至バンク３（５４０）には、同一時刻の画像から生成される複数の異なる解像度の画像の組合せが１組の画像群として順次書き込まれる。なお、撮像画像Ｄ（５６４）の次に生成される撮像画像Ｅ（５６５）の書込みについては、図９を参照して詳細に説明する。
【００７７】
図９は、本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ｅ（５６５）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。なお、撮像画像Ａ（５６１）乃至Ｄ（５６４）は、図８（ｂ）に示すものと同一であるため、同一の符号を付して、ここでの説明を省略する。上述したように、撮像画像Ａ（５６１）乃至Ｅ（５６５）は、一定のフレームレートで生成される撮像画像である。図９（ａ）には、撮像画像Ｂ（５６２）乃至Ｅ（５６５）のそれぞれについて解像度変換が施された各画像がバンク０（５１０）乃至バンク３（５４０）に記憶された状態を模式的に示す。また、図９（ｂ）には、撮像画像Ａ（５６１）乃至Ｅ（５６５）を矢印５６０の方向に時系列に並べて示す。
【００７８】
図９（ａ）に示すように、バンク０（５１０）乃至バンク３（５４０）のそれぞれに画像が記憶されている場合において、直前に画像の書込みが行われたバンクがバンク３（５４０）である場合には、バンク０（５１０）に書込みが行われる。この場合に、バンク０（５１０）において、撮像画像Ａ（５６１）について解像度変換が施された各画像に、撮像画像Ｅ（５６５）について解像度変換が施された各画像が上書きされる。
【００７９】
図１０は、本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられる画像を画像メモリ５００から取得する取得方法を概略的に示す図である。なお、図１０に示す例では、画像メモリ５００のバンク０（５１１）に記憶されている各画像を顔検出部２００、顔属性検出部３００および個人識別部４００のそれぞれが取得する場合を例にして説明する。なお、図１０に示すバンク０（５１１）に記憶されている画像５５１乃至５５５は、図７に示す画像５５１乃至５５５と同一であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【００８０】
画像メモリ５００のバンク０（５１１）に記憶されている画像の中には様々なサイズ（面積、解像度）の人の顔が混在しているのに対し、顔検出処理に用いられる顔サイズ（顔基本データのサイズ）は、図６（ｃ）に示すように一定サイズである。このため、どのサイズの顔についても顔基本データ（辞書）と相関処理を行えるように、図１０に示すように、数段階の解像度の画像を用意しておく。そして、検出すべき顔のサイズと、顔サイズとがほぼ一致するように、バンク０（５１１）に記憶されている画像が選択される。
【００８１】
上述したように、顔検出部２００、顔属性検出部３００および個人識別部４００における各処理のうち、顔検出処理は、顔検出に用いられる画像の解像度が比較的低くても、人の顔を顔として認識することが可能である。このため、顔検出処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５３乃至５５５を用いて顔検出処理を行う。この場合に、例えば、顔サイズが画像５５３および画像５５４の間にとなる場合には、画像５５３および画像５５４間の解像度に、画像５５３の解像度を変換（サイズ縮小）して、両サイズを一致させるようにしてもよい。また、例えば、顔検出部２００は、画像５５３および画像５５４間の１０段階の解像度に、画像５５３の解像度を順次変換して用いることができる。同様に、顔検出部２００は、画像５５４および画像５５５間の１０段階の解像度に、画像５５４の解像度を順次変換して用いることができる。これにより、顔検出の精度をさらに高めることができる。
【００８２】
ここで、図６（ｃ）に示すように、顔検出処理に用いられる顔サイズは、比較的小さく解像度が低いため、画像５５１および５５２を用いた顔検出処理により検出された顔は、比較的小さく解像度が低いものが多い。このように比較的小さく解像度が低いもの画像については、顔を検出することができても、顔属性検出および個人識別を行うことができないおそれがある。そこで、顔検出処理では、例えば、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、画像５５１および５５２を使用しないようにする。これにより、顔検出処理、顔属性検出処理および個人識別処理の処理速度を速めることができる。
【００８３】
また、顔属性検出処理では、顔検出処理に比べて解像度が多少高めでないと、表情や年代や性別が検出できないことが多い。このため、顔属性検出処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５２乃至５５４を用いて顔属性検出処理を行う。
【００８４】
さらに、個人識別処理では、顔属性検出処理よりも解像度が高めでないと、特定の個人であることを識別することは困難であることが多い。このため、個人識別処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５１乃至５５３を用いて個人識別処理を行う。なお、顔属性検出処理および個人識別処理において、顔検出処理と同様に、バンク０（５１１）から取得された画像を複数段階の解像度に順次変換して用いることができる。これにより、顔属性検出および個人識別の精度をさらに高めることができる。
【００８５】
このように、顔検出処理、顔属性検出処理および個人識別処理のそれぞれについて、共有化された１組の画像群（例えば、画像５５１乃至５５５）から、それぞれの処理に最適な解像度の画像を選択して用いることができる。これにより、顔検出処理、顔属性検出処理および個人識別処理の処理速度を速めることができる。
【００８６】
次に、画像メモリ５００におけるバンク０（５１０）乃至３（５４０）の書込みおよび読出しを行う場合について図面を参照して詳細に説明する。
【００８７】
図１１は、本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【００８８】
ここで、顔検出処理、顔属性検出処理および個人識別処理のそれぞれを行う場合に必要となるバンクの数について説明する。例えば、顔検出処理、顔属性検出処理および個人識別処理のそれぞれで別々のバンクを用いる場合には、各処理の読み出しに少なくとも３バンクが必要である。すなわち、３つの各処理のそれぞれで１つのバンクからの同時読出しができないため、各処理の読み出しに少なくとも３バンクが必要である。また、この読み出しに用いられているバンク以外に、書込みをするためのバンクが少なくとも１つ必要である。このため、顔検出処理、顔属性検出処理および個人識別処理のそれぞれで別々のバンクを用いる場合には、少なくとも４バンクが必要となる。
【００８９】
また、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、各処理の読み出しに少なくとも１バンクが必要となる。しかしながら、詳細については後述するが、顔検出処理は、一般的には数フレームもの処理時間を要するのに対して、顔属性検出処理および個人識別処理は、１フレーム以内に処理を終了することができる可能性が高い。このため、各フレームについて顔属性検出処理および個人識別処理を順次行うためには、数フレームもの処理時間を要する顔検出処理の読み出しに用いられているバンク以外に、顔属性検出処理および個人識別処理の読み出しに必要なバンクが少なくとも１つ必要となる。すなわち、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、顔検出処理と、顔属性検出処理および個人識別処理との読出しに少なくとも２バンクが必要である。また、この読み出しに用いられているバンク以外に、書込みをするためのバンクが少なくとも１つ必要である。このため、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、少なくとも３バンクが必要となる。なお、本発明の実施の形態では、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合を例にして説明する。また、図１１に示す例では、画像メモリ５００に４つのバンクを設けた例について説明する。
【００９０】
図１１では、垂直同期信号６１０に従って、解像度変換部１３０から出力された解像度変換後の画像を各バンクに書き込むバンク書込処理６２０と、バンク書込処理６２０により各バンクに書き込まれた各画像を各処理６３０、６４０および６５０で読出して処理が行われる場合を例に示す。ここで、バンク書込処理６２０では、書込みの対象となるバンクを時系列に並べて示すとともに、書込みの周期をカッコ内に示す。顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０では、各処理に用いられているバンクを時系列に並べて示す。なお、顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０で示すバンク名および周期は、バンク書込処理６２０で示すバンク名および周期に対応する。また、各バンクの書込禁止フラグ６６０、６７０、６８０および６９０は、各フラグに設定されるオンまたはオフの関係を示すものである。
【００９１】
例えば、顔検出処理６３０では、バンク０（５１１）乃至３（５１４）のうち、直前に書込み処理がされたバンクに記憶されている１組の画像群を読出し、この１組の画像群に含まれる画像を用いて顔検出処理が行われる。すなわち、フレームレートに従って、一定時間毎に更新されるバンクのうち、最新の１フレームに関する画像が記憶されているバンクを用いて顔検出処理が行われる。
【００９２】
ここで、顔検出処理６３０では、処理の対象となる画像の中から様々なサイズ（面積）の顔を検出するために画面全体を繰り返し探索する必要がある。このため、一般的には数フレーム（例えば、４フレーム）もの処理時間を要する。このように、顔検出処理６３０では、数フレームもの処理時間を要するため、この顔検出処理の間、顔検出処理の対象となっているバンクに対しては上書きを禁止する。すなわち、顔検出処理の対象となっているバンクについては、バンク０の書込禁止フラグ６６０、…、バンク３の書込禁止フラグ６９０に示すように、書込禁止フラグがオンされる。例えば、顔検出処理６３０でバンク０（０）を用いた処理が行われている場合には、バンク０の書込禁止フラグ６６０に示すように、バンク０（５１１）の書込禁止フラグがオンされる。なお、これらの処理時間の長さは、探索パラメータの設定によっても異なる。このように、解像度変換後の撮像画像はフレーム毎に全てバンクに書き込まれるが、顔検出処理６３０はバンク書込レート（バンク更新レート）よりも遅い場合が多いため、顔検出処理６３０に用いられる画像は、数フレームに１つとなる。
【００９３】
また、顔属性検出処理６４０および個人識別処理６５０は、顔検出処理６３０の処理結果を利用し、各バンクに記憶されている画像の中の顔領域のみを処理の対象とすればよい。このため、各バンクの書込処理の更新レートよりも速く処理を終了する（すなわち、１フレーム以内に処理を終了する）ことができる可能性が高い。このため、顔属性検出処理６４０および個人識別処理６５０の処理の間、処理の対象となっているバンクに対しては上書きを禁止する必要がない。そこで、顔属性検出処理６４０および個人識別処理６５０の処理の間であっても、処理の対象となっているバンクの書込禁止フラグはオフの状態とする。
【００９４】
なお、顔属性検出処理６４０および個人識別処理６５０を比較した場合では、個人識別処理６５０の方が顔属性検出処理６４０よりも処理時間が比較的長くなる傾向にある。これは、個人識別処理６５０では、同一人物であっても、表情、髪型、光の当たり方、メガネの有無や種類、時間経過による顔の変化等のように、個人を特定する妨げになる要素が多いためである。
【００９５】
また、顔属性検出処理６４０および個人識別処理６５０のように、１フレーム以内で処理を終了する場合には、処理の対象となる画像は毎フレーム更新されていることが望ましく、それぞれ最新の１フレームに係る画像を選んで処理を行う。すなわち、図１１に示すように、顔属性検出処理６４０および個人識別処理６５０では、直前に書込みが行われたバンクに記憶されている画像を用いて各処理を行う。
【００９６】
ここで、バンク１（１）に記憶されている画像について、顔属性検出処理６４０および個人識別処理６５０のそれぞれが行う場合には、バンク０（０）について行われた顔検出処理６３０が最新の処理結果である。このため、次のバンク１（１）について顔検出処理６３０が終了するまでの間は、バンク０（０）についての処理結果を用いた顔属性検出処理６４０および個人識別処理６５０が行われる。具体的には、バンク１（１）、バンク２（１）、バンク３（１）、バンク０（２）に記憶されている各画像について行われる顔属性検出処理６４０および個人識別処理６５０に、バンク０（０）についての処理結果が用いられる。
【００９７】
このようにする場合には、顔属性検出処理６４０および個人識別処理６５０の各処理に用いられる画像と、使用する顔検出結果との間に時間差が生じることがある。具体的には、例えば、バンク１（１）、バンク２（１）、バンク３（１）、バンク０（２）に記憶されている各画像について顔属性検出処理６４０および個人識別処理６５０を行う場合には、バンク０（０）についての処理結果を用いて行うため、時間差が生じている。そこで、顔属性検出処理６４０および個人識別処理６５０を行う場合には、その時間差を考慮して、処理の対象となるバンクに記憶されている画像から顔の周辺を大きめに切り出すことにより、画像と顔検出結果とを高い精度で対応させることができる。例えば、毎秒３０〜６０フレームの画像で、数フレームの間に顔の位置が大きく移動するケースは起こりにくいと想定すれば、顔属性検出処理６４０および個人識別処理６５０に用いられる画像と顔検出結果が同時刻のものでなくても、その影響は少ないと言える。
【００９８】
ここで、顔検出処理、顔属性検出処理および個人識別処理のそれぞれの結果データは、どの時刻のバンクの画像に基づいて出力されたものであるかを制御部１１０が把握する。そして、顔検出処理の結果を、その直後の顔属性検出処理および個人識別処理に利用するとともに、顔属性検出処理の結果を、その直後の個人識別処理に利用することができる。これにより、各処理の結果データの時間的な対応が明確になるとともに、精度の高い結果データを得ることが可能となる。
【００９９】
次に、バンク書込処理６２０について説明する。バンク書込処理６２０における書込みは、図８および図９に示すように、基本的には、バンク０→バンク１→バンク２→バンク３→バンク０→…のようにリング状に行われる。
【０１００】
ここで、顔検出処理６３０では、バンク０の０番目（図１１では、「バンク０（０）」で示す）に書込みが行われた各画像を４フレームに亘って読み出して顔検出処理が行われる。このため、顔検出処理６３０における「バンク０（０）」の区間では、バンク０の上書きを禁止するため、バンク０の書込禁止フラグ６６０がオンされている。また、この区間において、バンク３（０）の次に書込みが行われるバンクは、バンク０ではなく、バンク１となる（図１１では、「バンク１（１）」で示す）。同様に、顔検出処理６３０において、バンク１（１）に記憶されている画像を用いた顔検出処理が行われている区間では、バンク１の書込禁止フラグ６７０がオンされている。このため、この区間において、バンク０（２）の次に書込みが行われるバンクは、バンク１ではなく、バンク２となる（図１１では、「バンク２（２）」で示す）。以降も同様にバンク書込処理が行われる。
【０１０１】
なお、図１１では、各処理と、各処理に用いられるバンクとの関係を下側への矢印で示す。また、各バンクに対応する書込禁止フラグ６６０、６７０、６８０、６９０と、このフラグにより次に書込みが行われたバンクとの関係を上側への矢印で示す。
【０１０２】
また、図１１に示す例では、個人識別処理６５０が１フレーム毎に１回実行され、顔属性検出処理６４０が１フレームに数回実行される場合を想定している。このように、各処理の処理時間が異なり、各処理に用いられる画像の更新レートに大きな差があっても、本発明の実施の形態のように、共有化された複数のバンクを用いて、その書込みおよび読出しの制御を関連付けて管理することができる。これにより、各処理の処理対象となる画像を最小限の容量とすることができ、各処理部から画像メモリ５００へのアクセス量を抑えることができる。また、顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０の各処理の対象となった画像と結果データとを把握することにより、精度の高い検出動作を実現することができる。
【０１０３】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１０４】
図１２は、本発明の実施の形態における撮像装置１００による解像度変換画像書込処理の処理手順を示すフローチャートである。この例では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設け、原則としてリング状に順次書込みが行われる場合を例にして説明する。ここで、書込禁止フラグがオンされているバンクについては、書込みを行わず、リング状の次のバンク（書込禁止フラグがオフされているバンク）に書込みが行われる。
【０１０５】
最初に、変数ｉが「０」に初期化される（ステップＳ９０１）。カメラ信号処理部１２３により撮像画像が生成される（ステップＳ９０２）。続いて、バンクｉの書込禁止フラグがオンであるか否かが判断される（ステップＳ９０３）。バンクｉの書込禁止フラグがオンでない場合には（ステップＳ９０３）、解像度変換部１３０が、生成された撮像画像を異なる複数の解像度の画像に変換する（ステップＳ９０４）。続いて、変換された複数の解像度の画像が１組の画像群としてバンクｉに書き込まれる（ステップＳ９０５）。
【０１０６】
一方、バンクｉの書込禁止フラグがオンである場合には（ステップＳ９０３）、「ｉ＝３」であるか否かが判断される（ステップＳ９０６）。「ｉ＝３」でない場合には（ステップＳ９０６）、変数ｉに「１」が加算され（ステップＳ９０７）、ステップＳ９０３に戻る。一方、「ｉ＝３」である場合には（ステップＳ９０６）、変数ｉが「０」に初期化され（ステップＳ９０８）、ステップＳ９０３に戻る。ここで、バンク０（５１１）乃至３（５１４）のうち、書込禁止フラグがオンであるバンクは顔検出処理で用いられている１つのバンクのみであるため、変数ｉを次に進めることにより必ず書込み許可状態のバンクとなる。
【０１０７】
また、１組の画像群がバンクｉに書き込まれた後に（ステップＳ９０５）、解像度変換画像書込処理の終了指示がされたか否かが判断される（ステップＳ９０９）。解像度変換画像書込処理の終了指示がされた場合には（ステップＳ９０９）、解像度変換画像書込処理の動作を終了する。解像度変換画像書込処理の終了指示がされていない場合には（ステップＳ９０９）、「ｉ＝３」であるか否かが判断される（ステップＳ９１０）。「ｉ＝３」でない場合には（ステップＳ９１０）、変数ｉに「１」が加算され（ステップＳ９１１）、ステップＳ９０２に戻る。一方、「ｉ＝３」である場合には（ステップＳ９１０）、変数ｉが「０」に初期化され（ステップＳ９１２）、ステップＳ９０２に戻る。
【０１０８】
図１２では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設けた場合を一例として示すが、顔検出処理、顔属性検出処理、個人識別処理のそれぞれの読出バンクの並列条件に応じて、バンク数を増減するようにしてもよい。
【０１０９】
図１３は、本発明の実施の形態における撮像装置１００による顔検出処理の処理手順を示すフローチャートである。この例では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設け、顔検出処理の対象となっている画像が記憶されているバンクの書込禁止フラグをオンする例について説明する。
【０１１０】
最初に、顔検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９２１）。続いて、選択されたバンクの書込禁止フラグがオンされる（ステップＳ９２２）。すなわち、選択されたバンクが書込禁止状態とされる。続いて、選択されたバンクから画像が読み出され（ステップＳ９２３）、読み出された画像について顔検出処理が行われる（ステップＳ９２４）。続いて、顔検出処理が終了したか否かが判断される（ステップＳ９２５）。顔検出処理が終了していない場合には（ステップＳ９２５）、ステップＳ９２３に戻る。
【０１１１】
顔検出処理が終了した場合には（ステップＳ９２５）、選択されたバンクから読み出された画像についての顔検出結果が、制御部１１０、顔属性検出部３００および個人識別部４００に出力される（ステップＳ９２６）。続いて、選択されたバンクの書込禁止フラグがオフされる（ステップＳ９２７）。すなわち、選択されたバンクが書込みを許可状態とされる。
【０１１２】
続いて、顔検出処理の終了指示がされたか否かが判断され（ステップＳ９２８）。顔検出処理の終了指示がされた場合には（ステップＳ９２８）、顔検出処理の動作を終了する。顔検出処理の終了指示がされない場合には（ステップＳ９２８）、ステップＳ９２１に戻る。
【０１１３】
図１４は、本発明の実施の形態における撮像装置１００による顔属性検出処理の処理手順を示すフローチャートである。ここで、顔検出処理は数フレームの処理時間を要するのに対し、顔属性検出処理は処理時間が比較的短く、１フレーム内に１回または複数回の処理を行うことができる。そこで、図１４に示す処理手順では、１フレームで１周する場合を例に示す。
【０１１４】
最初に、顔属性検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９３１）。続いて、顔検出部２００から出力された顔検出結果で最新のものが取得される（ステップＳ９３２）。ここで、選択されたバンクに記憶される画像と、取得された顔検出結果に係る画像とは同時刻（同一フレーム）でないが、時間差が最小となる組合せとなる。例えば、顔検出結果から、最新のバンクの画像まで何フレームの時間経過があるかを制御部１１０が管理することができるため、画像の中での顔座標や顔サイズ、顔の向きについて多少の時間変化があることを考慮することができる。
【０１１５】
続いて、取得された顔検出結果に含まれる顔の位置（顔座標）および大きさに基づいて、選択されたバンクに記憶されている画像から顔の領域（顔画像）が切り出されて読み出され（ステップＳ９３３）、読み出された顔画像について顔属性検出処理が行われる（ステップＳ９３４）。続いて、顔属性検出処理が終了したか否かが判断される（ステップＳ９３５）。顔属性検出処理が終了していない場合には（ステップＳ９３５）、ステップＳ９３３に戻る。
【０１１６】
顔属性検出処理が終了した場合には（ステップＳ９３５）、読み出された顔画像についての顔属性検出結果が、制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力される（ステップＳ９３６）。続いて、取得された顔検出結果に他の顔が存在するか否かが判断される（ステップＳ９３７）。すなわち、顔属性検出処理が終了した顔以外の他の顔が存在するか否かが判断される。そして、取得された顔検出結果に含まれる全ての顔について、顔属性検出処理が行われる。
【０１１７】
続いて、顔属性検出処理の終了指示がされたか否かが判断され（ステップＳ９３８）。顔属性検出処理の終了指示がされた場合には（ステップＳ９３８）、顔属性検出処理の動作を終了する。顔属性検出処理の終了指示がされない場合には（ステップＳ９３８）、ステップＳ９３１に戻る。すなわち、取得された顔検出結果に含まれる全ての顔について、顔属性検出処理が終了した場合には、ステップＳ９３１に戻り、フレームの区切りを待つことになる。
【０１１８】
図１５は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。ここで、顔検出処理は数フレームの処理時間を要するのに対し、個人識別処理は処理時間が比較的短く、１フレーム内に１回または複数回の処理を行うことができる。そこで、図１５に示す処理手順では、１フレームで１周する場合を例に示す。
【０１１９】
最初に、顔属性検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９４１）。続いて、顔検出部２００から出力された顔検出結果で最新のものが取得される（ステップＳ９４２）。ここで、選択されたバンクに記憶される画像と、取得された顔検出結果に係る画像とは同時刻（同一フレーム）でないが、時間差が最小となる組合せとなる。例えば、顔検出結果から、最新のバンクの画像まで何フレームの時間経過があるかを制御部１１０が管理することができるため、画像の中での顔座標や顔サイズ、顔の向きについて多少の時間変化があることを考慮することができる。
【０１２０】
続いて、顔属性検出部３００から出力された顔属性検出結果で最新のものが取得される（ステップＳ９４３）。続いて、取得された顔検出結果に含まれる顔の位置（顔座標）および大きさに基づいて、選択されたバンクに記憶されている画像から顔の領域（顔画像）が切り出されて読み出され（ステップＳ９４４）、読み出された顔画像について、取得された顔属性検出結果を用いて個人識別処理が行われる（ステップＳ９４５）。なお、顔特徴量メモリ４０１に複数の特定人物が登録されている場合において、取得された顔検出結果に含まれる顔が複数存在する場合には、その組合せを変えながら、類似度の算出が繰り返し行われる。続いて、個人識別処理が終了したか否かが判断される（ステップＳ９４６）。個人識別処理が終了していない場合には（ステップＳ９４６）、ステップＳ９４４に戻る。
【０１２１】
個人識別処理が終了した場合には（ステップＳ９４６）、読み出された顔画像についての個人識別結果が、制御部１１０に出力される（ステップＳ９４７）。続いて、取得された顔検出結果に他の顔が存在するか否かが判断される（ステップＳ９４８）。すなわち、個人識別処理が終了した顔以外の他の顔が存在するか否かが判断される。そして、取得された顔検出結果に含まれる全ての顔について、個人識別処理が行われる。
【０１２２】
続いて、個人識別処理の終了指示がされたか否かが判断され（ステップＳ９４９）。個人識別処理の終了指示がされた場合には（ステップＳ９４９）、個人識別処理の動作を終了する。個人識別処理の終了指示がされない場合には（ステップＳ９４９）、ステップＳ９４１に戻る。すなわち、取得された顔検出結果に含まれる全ての顔について、個人識別処理が終了した場合には、ステップＳ９４１に戻り、フレームの区切りを待つことになる。
【０１２３】
以上では、画像メモリ５００に４つのバンク（バンク０（５１０）乃至バンク３（５４０））を設けた例について説明したが、以下では、画像メモリ５００に３つのバンク（バンク０（７１０）乃至バンク２（７３０））を設けた例について説明する。
【０１２４】
図１６は、本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。図１６（ａ）には、画像メモリ５００におけるバンク０（７１０）乃至バンク２（７３０）を示し、図１６（ｂ）には、バンク０（７１０）の基本構造の一例を示す図である。なお、図１６に示す例は、バンクの数が異なる点以外は、図５に示す例と同様であるため、ここでの詳細な説明を省略する。
【０１２５】
次に、画像メモリ５００におけるバンク０（７１０）乃至２（７３０）の書込みおよび読出しを行う場合について図面を参照して詳細に説明する。
【０１２６】
図１７は、本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。なお、図１７に示す例は、顔検出処理８３０の処理時間が長くなるとともに、バンク数が減った点以外は、図１１に示す例と同様である。このため、図１１に示す例と異なる点を中心に説明し、その他の点については、ここでの詳細な説明を省略する。
【０１２７】
図１７では、顔検出処理８３０の処理時間として、５フレームを要する場合を示す。また、顔検出処理の間は、顔検出処理の対象となっているバンクに対しては上書きが禁止される。このため、顔検出処理の対象となっているバンク以外の２つのバンクは、顔属性検出処理８４０および個人識別処理８５０の処理対象となるバンクと、書込処理の対象となるバンクの何れかとなる。このように、画像メモリ５００に３つのバンクを設ける場合でも、フレームの欠落を防止することができる。このように顔検出処理の処理時間が５フレームに亘る場合でも、限られたバンク数の画像を、顔属性検出処理や個人識別処理と共有することが可能となる。なお、図１１および図１７では、顔検出処理に用いられた各画像と、顔属性検出処理および個人識別処理に用いられた各画像とが異なる時刻の画像である場合を例にして示すが、顔検出処理に用いられた各画像と同時刻の画像を、顔属性検出処理および個人識別処理で用いるようにしてもよい。
【０１２８】
以上で示したように、本発明の実施の形態によれば、顔検出処理、顔属性検出処理および個人識別処理に用いられる画像を共有化することができ、各処理に最適な周期で最適な解像度の画像を、最適の更新レートで使用することができる。
【０１２９】
また、各処理を行っている間は、共有されているバンクの画像であっても、上書きを回避することができるため、数フレームに亘る処理も可能である。
【０１３０】
また、処理中の画像の上書きを回避しつつも、バンクの画像は毎フレーム、画像メモリ５００に書込むことが可能であるため、フレームの欠落を防止することができる。また、用途毎にバンクの画像を記憶する必要がないため、バンクの画像の書込みアドレスが必ず１通りに限定され、同一画像を複数のアドレスへ書き込まなくてもよい。
【０１３１】
また、各処理に用いられる画像を共有化することにより、画像メモリ５００上での画像の記憶容量を抑えることができ、メモリバス１９０へのアクセス量を最小限に低減させることができる。これにより、消費電力を低減させることができるとともに、処理の高速化することができる。
【０１３２】
また、顔検出処理、顔属性検出処理および個人識別処理の各処理の結果データが、何れの撮像画像（生成された時刻）から得られたものであるのかを示す関連性を明確にすることができる。
【０１３３】
また、顔検出結果を、顔属性検出処理および個人識別処理に利用するとともに、顔属性検出結果を、個人識別処理に利用することにより、各処理をさらに高精度化するとともに、高速化することができる。
【０１３４】
また、複数のバンクで画像を管理することにより、あるバンクを読み出している間に、別のバンクに書込む（更新する）ことができるため、各処理に最適な周期で書込みアクセス（画像の更新）をすることができる。また、読み出しアドレスと書込みアドレスの交差を回避しながら、常に最新のフレームを読み出して使用することができる。
【０１３５】
また、常に最新のフレームを使用することにより、被写体の動きやカメラの動きを伴った動画像であっても、人の顔に対して十分に高い追従性を保つことができる。これにより、顔属性検出処理や個人識別処理の結果について、リアルタイム性を高めることができる。
【０１３６】
また、表示画像に各処理の結果データを重畳してユーザインターフェイスに利用する場合や、各処理の結果データをＡＦ、ＡＥ、ＡＷＢ、ストロボ制御、オートズーム、肌色補正等、各種カメラ制御に利用する場合にも、撮像画像に対しての結果データの時間差を最小限に抑えることができる。これにより、レスポンス性や追従性を高めることができる。
【０１３７】
また、本発明の実施の形態では、対象物として人物の顔を例にして説明したが、犬や猫等の他の動物、車等の対象物とする場合についても本発明の実施の形態を適用することができる。また、本発明の実施の形態では、画像解析処理として、顔検出処理等を例にして説明したが、画像について他の解析処理を複数行う画像処理装置に本発明の実施の形態を適用することができる。この場合に、他の解析処理の処理時間が１フレームを超える場合には、その処理に用いられているバンクの書込禁止フラグがオンされる。
【０１３８】
なお、本発明の実施の形態では、撮像画像を生成する撮像部（イメージセンサ１２２、カメラ信号処理部１２３）を備える撮像装置を例にして説明したが、撮像部を具備しない画像処理装置についても本発明の実施の形態を適用することができる。例えば、入力端子または記録媒体取付部を備えた画像処理装置に、その入力端子または記録媒体から画像を入力し、この入力された画像について、顔検出処理、顔属性検出処理、個人識別処理の画像解析処理を行う場合に、本発明の実施の形態を適用することができる。
【０１３９】
また、静止画および動画を撮像するカムコーダ（camcorder：camera and recorder）や撮像機能を備える携帯電話機の各種の撮像装置に本発明の実施の形態を適用することができる。
【０１４０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述したように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１４１】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード（memory card）、ブルーレイディスク（Blu-ray Disc（登録商標））等の記録媒体を用いることができる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における顔属性検出部３００の機能構成例を示すブロック図である。
【図４】本発明の実施の形態における個人識別部４００の機能構成例を示すブロック図である。
【図５】本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。
【図６】本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられるテンプレートの顔サイズを模式的に示す図である。
【図７】本発明の実施の形態における解像度変換部１３０により解像度が変換された画像を画像メモリ５００に記憶する場合における記憶方法を模式的に示す図である。
【図８】本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ａ（５６１）乃至Ｄ（５６４）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。
【図９】本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ｅ（５６５）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。
【図１０】本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられる画像を画像メモリ５００から取得する取得方法を概略的に示す図である。
【図１１】本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【図１２】本発明の実施の形態における撮像装置１００による解像度変換画像書込処理の処理手順を示すフローチャートである。
【図１３】本発明の実施の形態における撮像装置１００による顔検出処理の処理手順を示すフローチャートである。
【図１４】本発明の実施の形態における撮像装置１００による顔属性検出処理の処理手順を示すフローチャートである。
【図１５】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。
【図１６】本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。
【図１７】本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【符号の説明】
【０１４３】
１００ 撮像装置
１１０ 制御部
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 解像度変換部
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 画像記憶媒体
１８０ 不揮発性記憶媒体
１９０ メモリバス
２００ 顔検出部
２１０ 顔検出制御部
２２０ 画像取得部
２３０ 画像拡大縮小部
２４０ 画像保持部
２５０ 基準顔データ保持部
２６０ 判定部
２７０ 顔検出結果出力部
３００ 顔属性検出部
３０１ 顔属性検出結果メモリ
３１０ 顔属性検出制御部
３２０ 顔画像取得部
３３０ 画像保持部
３４０ 正規化部
３５０ 顔画像出力部
３６０ 顔属性判定基準データ保持部
３７０ 顔属性判定部
３８０ 顔属性検出結果出力部
４００ 個人識別部
４０１ 顔特徴量メモリ
４１０ 個人識別制御部
４２０ 顔画像取得部
４３０ 正規化部
４４０ 顔特徴量抽出部
４５０ 類似度算出部
４６０ 算出結果出力部
４７０ 顔特徴量登録部
５００ 画像メモリ
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、複数の画像解析処理を行う撮像装置、画像処理装置、および、これらにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、人物等の被写体を撮像して撮像画像を記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、近年では、撮像画像に含まれる被写体を自動的に認識する画像解析技術が注目を浴びている。特に、撮像画像から人物の顔を検出する顔検出方法が多数提案されている。例えば、撮像画像の一部分を切り出し、この切り出された画像とテンプレートとを比較することにより、その切り出された画像が人物の顔である確からしさを算出し、この確からしさに基づいて顔を検出する撮像装置が提案されている（例えば、特許文献１参照。）。
【０００３】
また、近年では、検出された顔の属性を検出する顔属性検出方法が提案されている。この顔の属性として、例えば、人物の年齢層や性別等を検出するものが存在する。また、例えば、検出された顔の表情等を評価する画像評価装置が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２００７−４３１３号公報（図１）
【特許文献２】特開２００４−４６５９１号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述の従来技術によれば、１つの撮像画像について、この撮像画像から人物の顔を検出する顔検出処理と、この検出された顔の属性を検出する顔属性検出処理との２つの画像解析処理を行い、これらの解析結果を用いることができる。
【０００５】
ここで、例えば、顔検出処理や顔属性検出処理等の画像解析処理を行う場合には、各処理に応じて撮像画像を複数の解像度に変換する必要があるが、各処理に必要な画像の解像度は異なることが多い。例えば、顔検出処理では、解像度が比較的低い画像でも人の顔を検出することが可能であることが多い。これに対して、顔属性検出処理で、表情、性別、年代等を検出する場合には、顔検出処理に用いられる画像の解像度よりも比較的高い解像度の画像が必要となることが多い。
【０００６】
このように、複数の画像解析処理を行う場合には、各処理に応じて複数の解像度の画像を、それぞれ別個に用意する必要がある。このため、画像解析処理における解像度変換の処理時間が必要であり、各画像解析処理の処理時間が遅くなるおそれがある。
【０００７】
そこで、本発明は、複数の画像解析処理の処理速度を速めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像を複数の異なる解像度の画像に変換する解像度変換部と、上記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、上記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて上記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、上記１組の画像群に含まれる画像のうちの上記複数の画像の組合せとは異なる複数の画像の組合せを用いて上記撮像画像を解析する処理であって上記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部とを具備する撮像装置およびこれにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像画像を複数の異なる解像度の画像に変換し、この変換された複数の異なる解像度の画像を１組の画像群として記憶し、その１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて第一画像解析処理を行い、その１組の画像群に含まれる画像のうちのその組合せとは異なる複数の画像の組合せを用いて第二画像解析処理を行うという作用をもたらす。
【０００９】
また、この第１の側面において、上記撮像部は、所定のフレームレートで上記撮像画像を順次生成し、上記画像記憶部は、上記１組の画像群の書込みまたは読出しを行う際の単位となるバンクを複数備え、上記複数のバンクのそれぞれに上記１組の画像群を上記撮像画像毎に順次書込む制御を行う制御部をさらに具備し、上記第一画像解析処理部は、上記複数のバンクのうち上記第一画像解析処理の上記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて上記第一画像解析処理を行い、上記第二画像解析処理部は、上記複数のバンクのうち上記第二画像解析処理の上記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて上記第二画像解析処理を行うようにしてもよい。これにより、所定のフレームレートで撮像画像を順次生成し、複数のバンクのそれぞれに１組の画像群を撮像画像毎に順次書込み、複数のバンクのうち第一画像解析処理の撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて第一画像解析処理を行い、複数のバンクのうち第二画像解析処理の撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて第二画像解析処理を行うという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像記憶部は、上記バンクへの書込禁止を設定する書込禁止フラグを上記バンク毎に備え、上記第一画像解析処理部は、上記第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、上記制御部は、所定の順序に従って上記複数のバンクのそれぞれに上記１組の画像群を上記撮像画像毎に順次書込む制御を行い、書込み対象となる上記バンクに対応する書込禁止フラグに書込禁止が設定されている場合には上記所定の順序における上記書込み対象となるバンクの次の順序の上記バンクに上記１組の画像群を書込む制御を行うようにしてもよい。これにより、第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、所定の順序に従って複数のバンクのそれぞれに１組の画像群を撮像画像毎に順次書込み、書込み対象となるバンクに対応する書込禁止フラグに書込禁止が設定されている場合には、そのバンクの次の順序のバンクに１組の画像群を書込むという作用をもたらす。
【００１１】
また、この第１の側面において、上記第一画像解析処理部は、上記撮像画像に含まれる対象物を検出する対象物検出処理を上記第一画像解析処理として行い、上記第二画像解析処理部は、上記検出された対象物の属性を検出する対象物属性検出処理を上記第二画像解析処理として行うようにしてもよい。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物の属性を検出するという作用をもたらす。
【００１２】
また、この第１の側面において、上記対象物検出処理に用いられる画像のうちの少なくとも１つは、上記対象物属性検出処理に用いられる各画像よりも解像度が低い画像とするようにしてもよい。これにより、対象物検出処理に用いられる画像のうちの少なくとも１つを、対象物属性検出処理に用いられる各画像よりも解像度が低い画像として対象物検出処理を行うという作用をもたらす。
【００１３】
また、この第１の側面において、上記１組の画像群に含まれる画像のうちの上記対象物検出処理に用いられる画像の組合せおよび上記対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて上記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を行う特定対象物識別部をさらに具備し、上記対象物属性検出処理に用いられる画像のうちの少なくとも１つは、上記特定対象物識別処理に用いられる各画像よりも解像度が低い画像とするようにしてもよい。これにより、１組の画像群に含まれる画像のうちの対象物検出処理に用いられる画像の組合せおよび対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて、検出された対象物が特定の対象物であるか否かを識別し、対象物属性検出処理に用いられる画像のうちの少なくとも１つを、特定対象物識別処理に用いられる各画像よりも解像度が低い画像として対象物属性検出処理を行うという作用をもたらす。
【００１４】
また、この第１の側面において、上記対象物は、人物の顔とするようにしてもよい。これにより、撮像画像に含まれる人物の顔を検出し、この検出された人物の顔の属性を検出するという作用をもたらす。
【００１５】
また、この第１の側面において、上記第一画像解析処理部は、上記撮像画像に含まれる対象物を検出する対象物検出処理を上記第一画像解析処理として行い、上記第二画像解析処理部は、上記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を上記第二画像解析処理として行うようにしてもよい。これにより、撮像画像に含まれる対象物を検出し、この検出された対象物が特定の対象物であるか否かを識別するという作用をもたらす。
【００１６】
また、本発明の第２の側面は、画像を入力する画像入力部と、上記入力された画像を複数の異なる解像度の画像に変換する解像度変換部と、上記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、上記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて上記入力された画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、上記１組の画像群に含まれる画像のうちの上記複数の画像の組合せとは異なる複数の画像の組合せを用いて上記入力された画像を解析する処理であって上記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部とを具備する画像処理装置およびこれにおける画像解析方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像を複数の異なる解像度の画像に変換し、この変換された複数の異なる解像度の画像を１組の画像群として記憶し、その１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて第一画像解析処理を行い、その１組の画像群に含まれる画像のうちのその組合せとは異なる複数の画像の組合せを用いて第二画像解析処理を行うという作用をもたらす。
【発明の効果】
【００１７】
本発明によれば、複数の画像解析処理の処理速度を速めることができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１８】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、制御部１１０と、レンズ群１２１と、イメージセンサ１２２と、カメラ信号処理部１２３と、解像度変換部１３０と、画像圧縮伸張部１４０と、表示部１５０と、操作受付部１６０と、画像記憶媒体１７０と、不揮発性記憶媒体１８０と、メモリバス１９０と、顔検出部２００と、顔属性検出部３００と、顔属性検出結果メモリ３０１と、個人識別部４００と、顔特徴量メモリ４０１と、画像メモリ５００とを備える。ここで、撮像装置１００の各ブロック間における画像信号の送受信は、直接のやりとり、または、共有メモリである画像メモリ５００およびメモリバス１９０を経由したやりとりによって行われる。また、撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話機やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。
【００２０】
制御部１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御する制御部である。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）により実現することができる。
【００２１】
レンズ群１２１は、フォーカスレンズやズームレンズ等の複数のレンズにより構成されているレンズ群であり、これらのレンズを介して入力された被写体からの入射光がイメージセンサ１２２に供給される。また、レンズ群１２１における絞り制御やフォーカス制御が制御部１１０により行われる。
【００２２】
イメージセンサ１２２は、レンズ群１２１を通過した被写体からの入射光を電気信号に光電変換し、光電変換された電気信号をカメラ信号処理部１２３に供給するものである。なお、イメージセンサ１２２として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を用いることができる。
【００２３】
カメラ信号処理部１２３は、イメージセンサ１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを撮像画像として解像度変換部１３０に出力するものである。また、その信号処理が施された画像データは、画像メモリ５００およびメモリバス１９０を介して、画像圧縮伸張部１４０および表示部１５０に供給される。なお、カメラ信号処理部１２３における信号処理として、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。なお、イメージセンサ１２２およびカメラ信号処理部１２３は、特許請求の範囲に記載の撮像部および画像入力部の一例である。
【００２４】
解像度変換部１３０は、制御部１１０の制御に基づいて、カメラ信号処理部１２３から出力された撮像画像を複数の解像度の画像に変換するものであり、変換後の複数の解像度の画像を、メモリバス１９０を介して画像メモリ５００に順次記憶させる。なお、これらの解像度変換および変換後の画像記憶については、図７を参照して詳細に説明する。
【００２５】
画像圧縮伸張部１４０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１４０により圧縮処理が施された画像データが画像記憶媒体１７０に出力されて記録される。また、画像圧縮伸張部１４０により伸張処理が施された画像データが、表示部１５０および画像メモリ５００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。
【００２６】
表示部１５０は、カメラ信号処理部１２３または画像圧縮伸張部１４０から出力された画像データに対応する画像を表示する表示部である。
【００２７】
操作受付部１６０は、ユーザにより行われた各種の操作を受け付ける操作受付部であり、受け付けられた操作内容を制御部１１０に出力する。なお、表示部１５０および操作受付部１６０については、タッチパネルとして一体で構成するようにしてもよく、表示部１５０を液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）とし、操作受付部１６０を十字キー等のハードキーとして双方を別体で構成するようにしてもよい。
【００２８】
画像記憶媒体１７０は、画像圧縮伸張部１４０から出力された画像データを記憶する画像記憶媒体である。また、画像記憶媒体１７０は、記憶されている画像データを画像圧縮伸張部１４０に供給する。なお、画像記憶媒体１７０として、例えば、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体を用いることができる。また、画像記憶媒体１７０は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。
【００２９】
不揮発性記憶媒体１８０は、各種情報を記憶する不揮発性の記憶媒体である。なお、不揮発性の記憶媒体の代わりに、揮発性の記憶媒体を用いるようにしてもよい。
【００３０】
メモリバス１９０は、画像データを伝達するための共有バスである。
【００３１】
顔検出部２００は、画像メモリ５００に記憶されている複数の解像度の画像を用いて、撮像画像に含まれる人の顔を検出するものである。そして、検出された顔に関する情報である顔検出結果を制御部１１０、顔属性検出部３００および個人識別部４００に出力する。なお、顔検出部２００については、図２を参照して詳細に説明する。また、顔検出部２００は、特許請求の範囲に記載の第一画像解析処理部の一例である。
【００３２】
顔属性検出部３００は、顔検出部２００から出力された顔検出結果に基づいて、画像メモリ５００に記憶されている複数の解像度の画像を用いて、顔検出部２００により検出された顔の属性を検出するものである。そして、検出された顔属性に関する情報である顔属性検出結果を制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力する。なお、顔属性検出部３００については、図３を参照して詳細に説明する。また、顔属性検出部３００は、特許請求の範囲に記載の第二画像解析処理部の一例である。
【００３３】
顔属性検出結果メモリ３０１は、顔属性検出部３００から出力された顔属性検出結果を記憶するメモリである。
【００３４】
個人識別部４００は、顔検出部２００から出力された顔検出結果に基づいて、画像メモリ５００に記憶されている複数の解像度の画像を用いて、顔検出部２００により検出された顔が登録人物と同一人物の顔であるか否かを判定するものである。この登録人物は、顔特徴量メモリ４０１に顔特徴量が記憶されている人物である。そして、判定結果を制御部１１０に出力する。なお、個人識別部４００および顔特徴量メモリ４０１については、図４を参照して詳細に説明する。また、個人識別部４００は、特許請求の範囲に記載の第二画像解析処理部および特定対象物識別部の一例である。
【００３５】
画像メモリ５００は、撮像装置１００において処理対象となる画像データを記憶するものである。なお、顔属性検出結果メモリ３０１、顔特徴量メモリ４０１および画像メモリ５００は、例えば、ＲＡＭ（Random Access Memory）により実現することができる。また、画像メモリ５００は、特許請求の範囲に記載の画像記憶部の一例である。
【００３６】
ここで、本発明の実施の形態では、顔検出部２００、顔属性検出部３００および個人識別部４００における各処理において、相関処理（テンプレートマッチングによる類似度計算）を行う例について説明する。
【００３７】
なお、制御部１１０の制御に基づいて、画像圧縮伸張部１４０から出力された画像データを外部記憶媒体等の外部装置に出力して記憶させるようにしてもよい。また、撮像装置１００に入出力端子を設け、この入出力端子と外部装置とを接続し、この外部装置から入力された画像データを画像圧縮伸張部１４０に入力するようにしてもよい。
【００３８】
図２は、本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。なお、図２では、顔検出部２００の機能構成例とともに、顔検出部２００および画像メモリ５００の概略関係を示す。顔検出部２００は、顔検出制御部２１０と、画像取得部２２０と、画像拡大縮小部２３０と、画像保持部２４０と、基準顔データ保持部２５０と、判定部２６０と、顔検出結果出力部２７０とを備える。
【００３９】
顔検出制御部２１０は、制御部１１０からの指示に従って顔検出部２００の各部を制御するものである。
【００４０】
画像取得部２２０は、顔検出制御部２１０の制御に基づいて、画像メモリ５００に記憶されている複数の解像度の画像の中から解像度が比較的低い画像を取得するものであり、取得された画像を画像拡大縮小部２３０に出力する。なお、この画像の取得については、図１０を参照して詳細に説明する。
【００４１】
画像拡大縮小部２３０は、顔検出制御部２１０の制御に基づいて、画像取得部２２０から出力された各画像について、顔の検出に適する画像に拡大または縮小処理を行うものである。そして、拡大または縮小処理が施された画像を画像保持部２４０に供給する。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。なお、この画像の拡大縮小については、図１０を参照して詳細に説明する。
【００４２】
画像保持部２４０は、画像拡大縮小部２３０により拡大または縮小処理が施された画像を保持する画像メモリであり、保持されている画像を判定部２６０に供給する。
【００４３】
基準顔データ保持部２５０は、顔検出に用いる際に基準となる顔データを保持するものであり、保持されている顔データを判定部２６０に供給する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔に関する特徴データベース等である。
【００４４】
判定部２６０は、顔検出制御部２１０の制御に基づいて、画像保持部２４０に保持されている画像に顔が含まれているか否かを判定するものであり、判定結果を顔検出結果出力部２７０に出力する。具体的には、判定部２６０は、画像保持部２４０に保持されている画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準顔データ保持部２５０に保持されている顔データとでテンプレートマッチング処理を行う。そしてこの処理により、相関性の高さに基づいて顔らしさを算出し、算出された顔らしさに基づいて、取り出された画像に顔が含まれているか否かを判定する。例えば、算出された顔らしさが十分に高い場合には、取り出された画像に顔が含まれていると判定される。これらの判定が繰り返し実行され、画像保持部２４０に保持されている画像に含まれている顔が検出される。また、判定部２６０は、基準顔データ保持部２５０に保持されている顔データとの相関性の高さに基づいて、画像保持部２４０に保持されている画像に含まれている顔に関する各種データを抽出し、抽出された各種データを判定結果として顔検出結果出力部２７０に出力する。
【００４５】
顔検出結果出力部２７０は、顔検出制御部２１０の制御に基づいて、判定部２６０から出力された判定結果を、顔検出結果として制御部１１０、顔属性検出部３００および個人識別部４００に出力するものである。この顔検出結果は、例えば、顔を検出した旨、顔領域の座標（顔の位置）、顔領域の大きさ、顔の向きや角度、顔らしさを含む情報である。なお、これらの顔検出結果は制御部１１０に順次蓄えられる。
【００４６】
図３は、本発明の実施の形態における顔属性検出部３００の機能構成例を示すブロック図である。なお、図３では、顔属性検出部３００の機能構成例とともに、顔属性検出部３００と顔属性検出結果メモリ３０１と画像メモリ５００との概略関係を示す。顔属性検出部３００は、顔属性検出制御部３１０と、顔画像取得部３２０と、画像保持部３３０と、正規化部３４０と、顔画像出力部３５０と、顔属性判定部３７０と、顔属性判定基準データ保持部３６０と、顔属性検出結果出力部３８０とを備える。
【００４７】
顔属性検出制御部３１０は、制御部１１０からの指示に従って顔属性検出部３００の各部を制御するものである。
【００４８】
顔画像取得部３２０は、顔属性検出制御部３１０の制御に基づいて、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに従って、画像メモリ５００から顔領域の画像（顔画像）を取得するものである。ここで、顔画像取得部３２０により取得される顔画像は、画像メモリ５００に記憶されている複数の解像度の画像のうち解像度が中程度の画像に含まれる顔領域の画像である。そして、取得された顔画像が画像保持部３３０に保持される。なお、この顔画像の取得については、図１０を参照して詳細に説明する。
【００４９】
画像保持部３３０は、顔画像取得部３２０により取得された顔画像を保持するものであり、保持されている顔画像を正規化部３４０および顔画像出力部３５０に供給する。
【００５０】
正規化部３４０は、顔属性検出制御部３１０の制御に基づいて、画像保持部３３０に保持されている顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を顔属性判定部３７０に出力する。具体的には、正規化部３４０は、画像保持部３３０に保持されている顔画像に含まれる顔の両目をほぼ水平に保つとともに、その顔が一定の大きさになるように、顔の大きさおよび傾きを正規化する。そして、その顔画像を一定の解像度に変換（例えば、４０×４０画素程度）して、正規化顔画像を生成する。このように、両目を水平に保ち、顔を一定の大きさとして両目を一定の座標に近づけておくことにより、顔属性検出や個人識別の精度を向上させることができる。
【００５１】
顔画像出力部３５０は、顔属性検出制御部３１０の制御に基づいて、画像保持部３３０から供給された顔画像を受け付けて、個人識別部４００に出力するものである。例えば、顔属性検出部３００および個人識別部４００において共通して用いられる解像度の顔画像が、顔画像出力部３５０から個人識別部４００に出力される。
【００５２】
顔属性判定基準データ保持部３６０は、顔属性判定部３７０による判定に用いられる複数の顔属性判定基準データから構成されている顔属性判定用辞書を、顔の属性毎に保持するものである。この顔属性判定基準データは、顔属性判定部３７０により判定される顔の属性に関して予め十分に学習をさせた基準データである。
【００５３】
顔属性判定部３７０は、顔属性判定基準データ保持部３６０に保持されている顔属性判定基準データを用いて、正規化部３４０から出力された正規化顔画像に含まれる顔の属性を判定するものであり、顔属性判定結果を顔属性検出結果出力部３８０に出力する。例えば、正規化部３４０から出力された正規化顔画像について、顔属性判定基準データ保持部３６０に保持されている属性判定基準データがどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。この積算結果値に基づいて、各顔の属性が判定される。ここで、顔属性判定部３７０により判定される顔の属性は、例えば、顔の表情、年齢や年代、性別、目の開閉、人種、眼鏡の有無や種類、ヒゲの有無や種類、帽子の有無や種類、アクセサリーの有無や種類、髪型、顔の向きや角度、目、口、眉、鼻の位置等である。なお、顔の表情とは、例えば、笑顔、真剣な顔、悲しい顔、怒った顔等である。
【００５４】
顔属性検出結果出力部３８０は、顔属性検出制御部３１０の制御に基づいて、顔属性判定部３７０から出力された顔属性判定結果を、顔属性検出結果として制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力するものである。なお、これらの顔属性検出結果は顔属性検出結果メモリ３０１に順次記憶される。
【００５５】
図４は、本発明の実施の形態における個人識別部４００の機能構成例を示すブロック図である。なお、図４では、個人識別部４００の機能構成例とともに、個人識別部４００と顔特徴量メモリ４０１と画像メモリ５００との概略関係を示す。個人識別部４００は、個人識別制御部４１０と、顔画像取得部４２０と、正規化部４３０と、顔特徴量抽出部４４０と、類似度算出部４５０と、算出結果出力部４６０と、顔特徴量登録部４７０とを備える。また、個人識別部４００は、顔特徴量メモリ４０１に記憶されている顔特徴量を取得して類似度算出を行い、一定の条件を満たす新規な顔特徴量を顔特徴量メモリ４０１に新たに登録する。
【００５６】
個人識別制御部４１０は、制御部１１０からの指示に従って個人識別部４００の各部を制御するものである。
【００５７】
顔画像取得部４２０は、個人識別制御部４１０の制御に基づいて、顔検出部２００から出力された顔検出結果に含まれる顔領域の座標および大きさに従って、画像メモリ５００から顔領域の画像（顔画像）を取得するものである。ここで、顔画像取得部４２０により取得される顔画像は、画像メモリ５００に記憶されている複数の解像度の画像のうち解像度が比較的高い画像に含まれる顔領域の画像である。そして、取得された顔画像が正規化部４３０に出力される。ここで、顔画像取得部４２０は、顔属性検出部３００および個人識別部４００において共通して用いられる解像度の顔画像については、顔画像出力部３５０から出力された顔画像を取得するようにしてもよい。なお、この顔画像の取得については、図１０を参照して詳細に説明する。
【００５８】
正規化部４３０は、個人識別制御部４１０の制御に基づいて、顔画像取得部４２０から出力された顔画像について正規化を行うものであり、正規化された顔画像である正規化顔画像を顔特徴量抽出部４４０に出力する。この正規化については、変換される解像度が異なる以外は、顔属性検出部３００の正規化部３４０における正規化と同様であるため、ここでの詳細な説明を省略する。ここで、一般に、個人識別処理を行う場合には、顔属性検出処理よりも高い解像度の顔画像が必要となる。このため、個人識別処理においては、顔の大きさおよび傾きが正規化された顔画像を比較的高い一定の解像度に変換（例えば、６０×６０画素程度）して、正規化顔画像を生成する。
【００５９】
顔特徴量抽出部４４０は、個人識別制御部４１０の制御に基づいて、正規化部４３０から出力された正規化顔画像から顔特徴量を抽出するものであり、抽出された顔特徴量を類似度算出部４５０および顔特徴量登録部４７０に出力する。この顔特徴量の抽出方法として、例えば、ガボア・フィルタを用いた抽出方法が一般的に知られている（例えば、特開２００６−４００３号参照。）。このガボア・フィルタを用いて抽出された顔特徴量は、ガボア・ジェットと呼ばれる。
【００６０】
顔特徴量メモリ４０１は、特定人物（登録人物）の顔について抽出された顔特徴量と、この特定人物に関する顔属性とを人物毎に関連付けて記憶するものであり、記憶されている顔特徴量および顔属性をメモリバス１９０を介して類似度算出部４５０に供給する。また、顔特徴量メモリ４０１は、顔特徴量登録部４７０から出力された顔特徴量を人物毎に上書きまたは追加して記録する。
【００６１】
類似度算出部４５０は、個人識別制御部４１０の制御に基づいて、顔特徴量抽出部４４０から出力された顔特徴量と顔特徴量メモリ４０１に記憶されている１つまたは複数の顔特徴量とを比較することにより、これらの顔特徴量の類似度を算出するものである。ここで、この算出された類似度は、顔検出部２００により検出された顔が、顔特徴量メモリ４０１に顔特徴量が記憶されている特定人物と同一人物の顔であるか否かの度合いを示す値である。また、類似度算出部４５０は、この算出された類似度を算出結果出力部４６０および顔特徴量登録部４７０に出力する。ここで、類似度算出部４５０は、顔属性検出部３００から出力された顔属性検出結果を用いて、顔特徴量の類似度算出の実行の要否を判断するようにしてもよい。すなわち、類似度算出部４５０は、顔属性検出部３００から出力された顔属性検出結果と、顔特徴量抽出部４４０から出力された特定人物の顔属性とを比較し、顔属性検出結果が明らかに相反しているか否かを判断する。そして、顔属性検出結果が明らかに相反していると判断された場合には、この判断がされた段階で顔検出部２００により検出された顔が特定人物と同一人物の顔ではないと判断し、顔特徴量の類似度算出を中止する。例えば、顔属性として、性別や年代（大人・子供）が相反していれば、特定人物と同一人物の顔ではないと判断することができる。これにより、類似度算出の処理の高速化を図ることができる。
【００６２】
算出結果出力部４６０は、個人識別制御部４１０の制御に基づいて、類似度算出部４５０から出力された類似度を、個人識別の判定結果として制御部１１０に出力するものである。なお、これらの個人識別の判定結果は制御部１１０に順次蓄えられる。また、個人識別の判定結果に基づいて、制御部１１０は、特定の個人を識別することができる。
【００６３】
ここで、制御部１１０は、顔検出部２００、顔属性検出部３００および個人識別部４００から受け取った各結果データに基づいて、ＡＦ（Auto Focus：自動焦点）、ＡＥ（Automatic Exposure：自動露出）、ＡＷＢ（Auto White Balance：オートホワイトバランス）、ストロボ制御、オートズーム、肌色補正、顔マーカー表示等のカメラ制御を実行する。また、制御部１１０は、これらの各結果データを撮像画像の付随データとして外部記憶媒体に記録し、入出力端子から撮像装置１００の外部装置に出力することができる。なお、制御部１１０が、顔検出部２００、顔属性検出部３００および個人識別部４００から受け取った各結果データを、他の各部に供給し、他の各部が結果データを用いるようにしてもよい。
【００６４】
顔特徴量登録部４７０は、個人識別制御部４１０の指示に基づいて、顔特徴量抽出部４４０から出力された顔特徴量の中で一定の条件を満たす顔特徴量を顔特徴量メモリ４０１に登録するものである。すなわち、ユーザにより特定人物の顔特徴量の登録が指示された場合、または、撮像装置１００の内部で一定の顔特徴量の登録条件が満たされたと判断された場合に登録処理が実行される。ここで、一定の顔特徴量の登録条件は、例えば、以下の（１）および（２）を満たす条件とすることができる。
（１）予め登録された顔との類似度が極めて高いこと。
（２）以下の（ａ）乃至（ｃ）の少なくとも１つを満たすこと。
（ａ）予め登録された顔よりも顔検出における顔らしさの度合いが高いこと。
（ｂ）予め登録された顔よりも正面向きの度合いが高いこと。
（ｃ）前回の登録から一定時間が経過していること。
【００６５】
このように、登録処理を行うことにより、最新の顔特徴量を適切に保持しておくことができる。
【００６６】
図５は、本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。図５（ａ）には、画像メモリ５００におけるバンク０（５１０）乃至バンク３（５４０）を示し、図５（ｂ）には、バンク０（５１０）の基本構造の一例を示す図である。ここで、バンクは、画像メモリ５００を管理する際の管理単位であり、図５（ａ）に示す例では、画像メモリ５００に４つのバンク（バンク０（５１０）乃至バンク３（５４０））を設けた例について説明する。また、バンク０（５１０）乃至バンク３（５４０）のそれぞれの基本構造は同一であるため、図５（ｂ）では、バンク０（５１０）についてのみを説明し、バンク１（５２０）乃至バンク３（５４０）についての説明を省略する。
【００６７】
図５（ｂ）に示すように、バンク０（５１０）は、解像度変換画像記憶領域５１１および書込禁止フラグ５１２から構成されている。
【００６８】
解像度変換画像記憶領域５１１は、解像度変換部１３０により解像度が変換された複数の画像が記憶される領域である。なお、この複数の画像の記憶方法については、図７を参照して詳細に説明する。
【００６９】
書込禁止フラグ５１２は、バンク０（５１０）への書込禁止を設定するフラグである。具体的には、解像度変換画像記憶領域５１１に記憶されている画像について、顔検出部２００により顔検出処理が行われている間は、「１」が記録（フラグオン）される。また、解像度変換画像記憶領域５１１に記憶されている画像について、顔検出部２００により顔検出処理が行われていない間は、「０」が記録（フラグオフ）される。そして、書込禁止フラグ５１２に「１」が記録されている場合には、バンク０（５１０）への書込みが禁止される。この書込禁止については、図１１を参照して詳細に説明する。
【００７０】
図６は、本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられるテンプレートの顔サイズを模式的に示す図である。上述したように、各処理では、各処理に応じた複数の解像度の画像を用いて相関処理が行われる。この相関処理では、それぞれ異なる大きさのテンプレートが用いられる。
【００７１】
図６（ａ）には、個人識別部４００における個人識別処理に用いられる顔サイズ（個人識別処理の基本顔サイズ６０１）を示し、図６（ｂ）には、顔属性検出部３００における顔属性検出処理に用いられる顔サイズ（顔属性検出処理の基本顔サイズ６０２）を示し、図６（ｃ）には、顔検出部２００における顔検出処理に用いられる顔サイズ（顔検出処理の基本顔サイズ６０３）を示す。例えば、顔検出処理は、顔検出に用いられる画像の解像度が比較的低くても、人の顔を顔として認識することが可能である。また、顔属性検出処理では、顔検出処理に比べて解像度が多少高めでないと、表情や年代や性別が検出できないことが多い。さらに、個人識別処理では、顔属性検出処理よりも解像度が高めでないと、特定の個人であると識別することは困難であることが多い。このため、例えば、個人識別部４００における個人識別処理に用いられる顔画像として、６０×６０画素程度の解像度の画像が必要である場合には、顔属性検出部３００における顔属性検出処理に用いられる顔画像のサイズとして、４０×４０画素程度の解像度の画像が必要である。また、顔検出部２００における顔検出処理に用いられる顔画像のサイズとして、２０×２０画素程度の解像度の画像が必要である。このように、各処理に応じて必要となる画像の解像度が異なるため、本発明の実施の形態では、図７に示すように、１つの撮像画像について複数の異なる解像度の画像を各バンクに記憶させておき、各処理に応じた解像度の画像を用いることができるようにする。
【００７２】
図７は、本発明の実施の形態における解像度変換部１３０により解像度が変換された画像を画像メモリ５００に記憶する場合における記憶方法を模式的に示す図である。図７に示す例では、解像度変換部１３０により解像度が変換された複数の画像を画像メモリ５００のバンク０（５１０）に記憶する場合を例にして説明する。なお、バンク１（５２０）乃至バンク３（５４０）についても、バンク０（５１０）と同様であるため、ここでの説明を省略する。
【００７３】
解像度変換画像記憶領域５１１に記憶されている画像５５１乃至５５５は、同一フレームの撮像画像について解像度変換部１３０により解像度変換が施された画像であり、それぞれ解像度が異なる。すなわち、画像５５１乃至５５５は、同一フレームの撮像画像から得られた画像であるため、それぞれ解像度が異なる同一時刻の画像の組合せである。例えば、画像５５１を、カメラ信号処理部１２３から出力された撮像画像と同じ解像度の画像とする。そして、画像５５２乃至５５５については、画像５５１の解像度を基準として、順次１／２ずつ解像度を下げた画像とすることができる。例えば、画像５５１の解像度が６４０画素×４８０画素である場合には、画像５５２の解像度を３２０画素×２４０画素とし、画像５５３の解像度を１６０画素×１２０画素とし、画像５５４の解像度を８０画素×６０画素とし、画像５５５の解像度を４０画素×３０画素とする。このように、バンク１（５２０）乃至バンク３（５４０）には、同一時刻の撮像画像について、解像度を段階的に低下させた複数の画像の組合せが記憶される。そして、図６に示すように、各処理に応じて必要となる画像の解像度が異なるため、バンク１（５２０）乃至バンク３（５４０）に記憶されている複数の画像の組合せの中から各処理に応じた適切な解像度の画像を用いることができる。
【００７４】
図８は、本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ａ（５６１）乃至Ｄ（５６４）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。なお、撮像画像Ａ（５６１）乃至Ｄ（５６４）は、一定のフレームレートで生成される撮像画像であるものとする。図８（ａ）には、撮像画像Ａ（５６１）乃至Ｄ（５６４）のそれぞれについて解像度変換が施された各画像がバンク０（５１０）乃至バンク３（５４０）に記憶された状態を模式的に示す。また、図８（ｂ）には、撮像画像Ａ（５６１）乃至Ｄ（５６４）を矢印５６０の方向に時系列に並べて示す。なお、図８（ａ）に示すバンク０（５１０）乃至バンク３（５４０）に記憶されている各画像に含まれるＡ、Ｂ、Ｃ、Ｄは、図８（ｂ）に示す撮像画像Ａ（５６１）乃至Ｄ（５６４）内に含まれるＡ、Ｂ、Ｃ、Ｄに対応するものである。
【００７５】
図８（ａ）に示すように、一定のフレームレートで生成される撮像画像Ａ（５６１）乃至Ｄ（５６４）について、フレーム毎にバンク０（５１０）乃至バンク３（５４０）に順次書込みが行われる。この場合に、例えば、バンク０（５１０）、バンク１（５２０）、バンク２（５３０）、バンク３（５４０）の順序で解像度変換後の各画像の書込みが行われる。また、図８（ａ）に示すように、解像度変換後の画像のバンク３（５４０）への書込みが行われた後は、図９（ａ）に示すように、バンク０（５１０）に戻り、解像度変換後の画像の書込みが行われる。すなわち、書込み対象のバンクの書込禁止フラグがオンされていない場合には、バンク０（５１０）、バンク１（５２０）、バンク２（５３０）、バンク３（５４０）、バンク０（５１０）、…の順序でリング状に順次書込みが行われる。なお、書込禁止フラグがオンされている場合については、図１１を参照して詳細に説明する。
【００７６】
このように、バンク０（５１０）乃至バンク３（５４０）には、同一時刻の画像から生成される複数の異なる解像度の画像の組合せが１組の画像群として順次書き込まれる。なお、撮像画像Ｄ（５６４）の次に生成される撮像画像Ｅ（５６５）の書込みについては、図９を参照して詳細に説明する。
【００７７】
図９は、本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ｅ（５６５）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。なお、撮像画像Ａ（５６１）乃至Ｄ（５６４）は、図８（ｂ）に示すものと同一であるため、同一の符号を付して、ここでの説明を省略する。上述したように、撮像画像Ａ（５６１）乃至Ｅ（５６５）は、一定のフレームレートで生成される撮像画像である。図９（ａ）には、撮像画像Ｂ（５６２）乃至Ｅ（５６５）のそれぞれについて解像度変換が施された各画像がバンク０（５１０）乃至バンク３（５４０）に記憶された状態を模式的に示す。また、図９（ｂ）には、撮像画像Ａ（５６１）乃至Ｅ（５６５）を矢印５６０の方向に時系列に並べて示す。
【００７８】
図９（ａ）に示すように、バンク０（５１０）乃至バンク３（５４０）のそれぞれに画像が記憶されている場合において、直前に画像の書込みが行われたバンクがバンク３（５４０）である場合には、バンク０（５１０）に書込みが行われる。この場合に、バンク０（５１０）において、撮像画像Ａ（５６１）について解像度変換が施された各画像に、撮像画像Ｅ（５６５）について解像度変換が施された各画像が上書きされる。
【００７９】
図１０は、本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられる画像を画像メモリ５００から取得する取得方法を概略的に示す図である。なお、図１０に示す例では、画像メモリ５００のバンク０（５１１）に記憶されている各画像を顔検出部２００、顔属性検出部３００および個人識別部４００のそれぞれが取得する場合を例にして説明する。なお、図１０に示すバンク０（５１１）に記憶されている画像５５１乃至５５５は、図７に示す画像５５１乃至５５５と同一であるため、同一の符号を付して、ここでの詳細な説明を省略する。
【００８０】
画像メモリ５００のバンク０（５１１）に記憶されている画像の中には様々なサイズ（面積、解像度）の人の顔が混在しているのに対し、顔検出処理に用いられる顔サイズ（顔基本データのサイズ）は、図６（ｃ）に示すように一定サイズである。このため、どのサイズの顔についても顔基本データ（辞書）と相関処理を行えるように、図１０に示すように、数段階の解像度の画像を用意しておく。そして、検出すべき顔のサイズと、顔サイズとがほぼ一致するように、バンク０（５１１）に記憶されている画像が選択される。
【００８１】
上述したように、顔検出部２００、顔属性検出部３００および個人識別部４００における各処理のうち、顔検出処理は、顔検出に用いられる画像の解像度が比較的低くても、人の顔を顔として認識することが可能である。このため、顔検出処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５３乃至５５５を用いて顔検出処理を行う。この場合に、例えば、顔サイズが画像５５３および画像５５４の間にとなる場合には、画像５５３および画像５５４間の解像度に、画像５５３の解像度を変換（サイズ縮小）して、両サイズを一致させるようにしてもよい。また、例えば、顔検出部２００は、画像５５３および画像５５４間の１０段階の解像度に、画像５５３の解像度を順次変換して用いることができる。同様に、顔検出部２００は、画像５５４および画像５５５間の１０段階の解像度に、画像５５４の解像度を順次変換して用いることができる。これにより、顔検出の精度をさらに高めることができる。
【００８２】
ここで、図６（ｃ）に示すように、顔検出処理に用いられる顔サイズは、比較的小さく解像度が低いため、画像５５１および５５２を用いた顔検出処理により検出された顔は、比較的小さく解像度が低いものが多い。このように比較的小さく解像度が低いもの画像については、顔を検出することができても、顔属性検出および個人識別を行うことができないおそれがある。そこで、顔検出処理では、例えば、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、画像５５１および５５２を使用しないようにする。これにより、顔検出処理、顔属性検出処理および個人識別処理の処理速度を速めることができる。
【００８３】
また、顔属性検出処理では、顔検出処理に比べて解像度が多少高めでないと、表情や年代や性別が検出できないことが多い。このため、顔属性検出処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５２乃至５５４を用いて顔属性検出処理を行う。
【００８４】
さらに、個人識別処理では、顔属性検出処理よりも解像度が高めでないと、特定の個人であることを識別することは困難であることが多い。このため、個人識別処理を行う場合には、図１０に示すバンク０（５１１）に記憶されている１組の画像（画像５５１乃至５５５）のうち、例えば、画像５５１乃至５５３を用いて個人識別処理を行う。なお、顔属性検出処理および個人識別処理において、顔検出処理と同様に、バンク０（５１１）から取得された画像を複数段階の解像度に順次変換して用いることができる。これにより、顔属性検出および個人識別の精度をさらに高めることができる。
【００８５】
このように、顔検出処理、顔属性検出処理および個人識別処理のそれぞれについて、共有化された１組の画像群（例えば、画像５５１乃至５５５）から、それぞれの処理に最適な解像度の画像を選択して用いることができる。これにより、顔検出処理、顔属性検出処理および個人識別処理の処理速度を速めることができる。
【００８６】
次に、画像メモリ５００におけるバンク０（５１０）乃至３（５４０）の書込みおよび読出しを行う場合について図面を参照して詳細に説明する。
【００８７】
図１１は、本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【００８８】
ここで、顔検出処理、顔属性検出処理および個人識別処理のそれぞれを行う場合に必要となるバンクの数について説明する。例えば、顔検出処理、顔属性検出処理および個人識別処理のそれぞれで別々のバンクを用いる場合には、各処理の読み出しに少なくとも３バンクが必要である。すなわち、３つの各処理のそれぞれで１つのバンクからの同時読出しができないため、各処理の読み出しに少なくとも３バンクが必要である。また、この読み出しに用いられているバンク以外に、書込みをするためのバンクが少なくとも１つ必要である。このため、顔検出処理、顔属性検出処理および個人識別処理のそれぞれで別々のバンクを用いる場合には、少なくとも４バンクが必要となる。
【００８９】
また、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、各処理の読み出しに少なくとも１バンクが必要となる。しかしながら、詳細については後述するが、顔検出処理は、一般的には数フレームもの処理時間を要するのに対して、顔属性検出処理および個人識別処理は、１フレーム以内に処理を終了することができる可能性が高い。このため、各フレームについて顔属性検出処理および個人識別処理を順次行うためには、数フレームもの処理時間を要する顔検出処理の読み出しに用いられているバンク以外に、顔属性検出処理および個人識別処理の読み出しに必要なバンクが少なくとも１つ必要となる。すなわち、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、顔検出処理と、顔属性検出処理および個人識別処理との読出しに少なくとも２バンクが必要である。また、この読み出しに用いられているバンク以外に、書込みをするためのバンクが少なくとも１つ必要である。このため、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合には、少なくとも３バンクが必要となる。なお、本発明の実施の形態では、３つの各処理のそれぞれで１つのバンクからの同時読出しが可能である場合を例にして説明する。また、図１１に示す例では、画像メモリ５００に４つのバンクを設けた例について説明する。
【００９０】
図１１では、垂直同期信号６１０に従って、解像度変換部１３０から出力された解像度変換後の画像を各バンクに書き込むバンク書込処理６２０と、バンク書込処理６２０により各バンクに書き込まれた各画像を各処理６３０、６４０および６５０で読出して処理が行われる場合を例に示す。ここで、バンク書込処理６２０では、書込みの対象となるバンクを時系列に並べて示すとともに、書込みの周期をカッコ内に示す。顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０では、各処理に用いられているバンクを時系列に並べて示す。なお、顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０で示すバンク名および周期は、バンク書込処理６２０で示すバンク名および周期に対応する。また、各バンクの書込禁止フラグ６６０、６７０、６８０および６９０は、各フラグに設定されるオンまたはオフの関係を示すものである。
【００９１】
例えば、顔検出処理６３０では、バンク０（５１１）乃至３（５１４）のうち、直前に書込み処理がされたバンクに記憶されている１組の画像群を読出し、この１組の画像群に含まれる画像を用いて顔検出処理が行われる。すなわち、フレームレートに従って、一定時間毎に更新されるバンクのうち、最新の１フレームに関する画像が記憶されているバンクを用いて顔検出処理が行われる。
【００９２】
ここで、顔検出処理６３０では、処理の対象となる画像の中から様々なサイズ（面積）の顔を検出するために画面全体を繰り返し探索する必要がある。このため、一般的には数フレーム（例えば、４フレーム）もの処理時間を要する。このように、顔検出処理６３０では、数フレームもの処理時間を要するため、この顔検出処理の間、顔検出処理の対象となっているバンクに対しては上書きを禁止する。すなわち、顔検出処理の対象となっているバンクについては、バンク０の書込禁止フラグ６６０、…、バンク３の書込禁止フラグ６９０に示すように、書込禁止フラグがオンされる。例えば、顔検出処理６３０でバンク０（０）を用いた処理が行われている場合には、バンク０の書込禁止フラグ６６０に示すように、バンク０（５１１）の書込禁止フラグがオンされる。なお、これらの処理時間の長さは、探索パラメータの設定によっても異なる。このように、解像度変換後の撮像画像はフレーム毎に全てバンクに書き込まれるが、顔検出処理６３０はバンク書込レート（バンク更新レート）よりも遅い場合が多いため、顔検出処理６３０に用いられる画像は、数フレームに１つとなる。
【００９３】
また、顔属性検出処理６４０および個人識別処理６５０は、顔検出処理６３０の処理結果を利用し、各バンクに記憶されている画像の中の顔領域のみを処理の対象とすればよい。このため、各バンクの書込処理の更新レートよりも速く処理を終了する（すなわち、１フレーム以内に処理を終了する）ことができる可能性が高い。このため、顔属性検出処理６４０および個人識別処理６５０の処理の間、処理の対象となっているバンクに対しては上書きを禁止する必要がない。そこで、顔属性検出処理６４０および個人識別処理６５０の処理の間であっても、処理の対象となっているバンクの書込禁止フラグはオフの状態とする。
【００９４】
なお、顔属性検出処理６４０および個人識別処理６５０を比較した場合では、個人識別処理６５０の方が顔属性検出処理６４０よりも処理時間が比較的長くなる傾向にある。これは、個人識別処理６５０では、同一人物であっても、表情、髪型、光の当たり方、メガネの有無や種類、時間経過による顔の変化等のように、個人を特定する妨げになる要素が多いためである。
【００９５】
また、顔属性検出処理６４０および個人識別処理６５０のように、１フレーム以内で処理を終了する場合には、処理の対象となる画像は毎フレーム更新されていることが望ましく、それぞれ最新の１フレームに係る画像を選んで処理を行う。すなわち、図１１に示すように、顔属性検出処理６４０および個人識別処理６５０では、直前に書込みが行われたバンクに記憶されている画像を用いて各処理を行う。
【００９６】
ここで、バンク１（１）に記憶されている画像について、顔属性検出処理６４０および個人識別処理６５０のそれぞれが行う場合には、バンク０（０）について行われた顔検出処理６３０が最新の処理結果である。このため、次のバンク１（１）について顔検出処理６３０が終了するまでの間は、バンク０（０）についての処理結果を用いた顔属性検出処理６４０および個人識別処理６５０が行われる。具体的には、バンク１（１）、バンク２（１）、バンク３（１）、バンク０（２）に記憶されている各画像について行われる顔属性検出処理６４０および個人識別処理６５０に、バンク０（０）についての処理結果が用いられる。
【００９７】
このようにする場合には、顔属性検出処理６４０および個人識別処理６５０の各処理に用いられる画像と、使用する顔検出結果との間に時間差が生じることがある。具体的には、例えば、バンク１（１）、バンク２（１）、バンク３（１）、バンク０（２）に記憶されている各画像について顔属性検出処理６４０および個人識別処理６５０を行う場合には、バンク０（０）についての処理結果を用いて行うため、時間差が生じている。そこで、顔属性検出処理６４０および個人識別処理６５０を行う場合には、その時間差を考慮して、処理の対象となるバンクに記憶されている画像から顔の周辺を大きめに切り出すことにより、画像と顔検出結果とを高い精度で対応させることができる。例えば、毎秒３０〜６０フレームの画像で、数フレームの間に顔の位置が大きく移動するケースは起こりにくいと想定すれば、顔属性検出処理６４０および個人識別処理６５０に用いられる画像と顔検出結果が同時刻のものでなくても、その影響は少ないと言える。
【００９８】
ここで、顔検出処理、顔属性検出処理および個人識別処理のそれぞれの結果データは、どの時刻のバンクの画像に基づいて出力されたものであるかを制御部１１０が把握する。そして、顔検出処理の結果を、その直後の顔属性検出処理および個人識別処理に利用するとともに、顔属性検出処理の結果を、その直後の個人識別処理に利用することができる。これにより、各処理の結果データの時間的な対応が明確になるとともに、精度の高い結果データを得ることが可能となる。
【００９９】
次に、バンク書込処理６２０について説明する。バンク書込処理６２０における書込みは、図８および図９に示すように、基本的には、バンク０→バンク１→バンク２→バンク３→バンク０→…のようにリング状に行われる。
【０１００】
ここで、顔検出処理６３０では、バンク０の０番目（図１１では、「バンク０（０）」で示す）に書込みが行われた各画像を４フレームに亘って読み出して顔検出処理が行われる。このため、顔検出処理６３０における「バンク０（０）」の区間では、バンク０の上書きを禁止するため、バンク０の書込禁止フラグ６６０がオンされている。また、この区間において、バンク３（０）の次に書込みが行われるバンクは、バンク０ではなく、バンク１となる（図１１では、「バンク１（１）」で示す）。同様に、顔検出処理６３０において、バンク１（１）に記憶されている画像を用いた顔検出処理が行われている区間では、バンク１の書込禁止フラグ６７０がオンされている。このため、この区間において、バンク０（２）の次に書込みが行われるバンクは、バンク１ではなく、バンク２となる（図１１では、「バンク２（２）」で示す）。以降も同様にバンク書込処理が行われる。
【０１０１】
なお、図１１では、各処理と、各処理に用いられるバンクとの関係を下側への矢印で示す。また、各バンクに対応する書込禁止フラグ６６０、６７０、６８０、６９０と、このフラグにより次に書込みが行われたバンクとの関係を上側への矢印で示す。
【０１０２】
また、図１１に示す例では、個人識別処理６５０が１フレーム毎に１回実行され、顔属性検出処理６４０が１フレームに数回実行される場合を想定している。このように、各処理の処理時間が異なり、各処理に用いられる画像の更新レートに大きな差があっても、本発明の実施の形態のように、共有化された複数のバンクを用いて、その書込みおよび読出しの制御を関連付けて管理することができる。これにより、各処理の処理対象となる画像を最小限の容量とすることができ、各処理部から画像メモリ５００へのアクセス量を抑えることができる。また、顔検出処理６３０、顔属性検出処理６４０および個人識別処理６５０の各処理の対象となった画像と結果データとを把握することにより、精度の高い検出動作を実現することができる。
【０１０３】
次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１０４】
図１２は、本発明の実施の形態における撮像装置１００による解像度変換画像書込処理の処理手順を示すフローチャートである。この例では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設け、原則としてリング状に順次書込みが行われる場合を例にして説明する。ここで、書込禁止フラグがオンされているバンクについては、書込みを行わず、リング状の次のバンク（書込禁止フラグがオフされているバンク）に書込みが行われる。
【０１０５】
最初に、変数ｉが「０」に初期化される（ステップＳ９０１）。カメラ信号処理部１２３により撮像画像が生成される（ステップＳ９０２）。続いて、バンクｉの書込禁止フラグがオンであるか否かが判断される（ステップＳ９０３）。バンクｉの書込禁止フラグがオンでない場合には（ステップＳ９０３）、解像度変換部１３０が、生成された撮像画像を異なる複数の解像度の画像に変換する（ステップＳ９０４）。続いて、変換された複数の解像度の画像が１組の画像群としてバンクｉに書き込まれる（ステップＳ９０５）。
【０１０６】
一方、バンクｉの書込禁止フラグがオンである場合には（ステップＳ９０３）、「ｉ＝３」であるか否かが判断される（ステップＳ９０６）。「ｉ＝３」でない場合には（ステップＳ９０６）、変数ｉに「１」が加算され（ステップＳ９０７）、ステップＳ９０３に戻る。一方、「ｉ＝３」である場合には（ステップＳ９０６）、変数ｉが「０」に初期化され（ステップＳ９０８）、ステップＳ９０３に戻る。ここで、バンク０（５１１）乃至３（５１４）のうち、書込禁止フラグがオンであるバンクは顔検出処理で用いられている１つのバンクのみであるため、変数ｉを次に進めることにより必ず書込み許可状態のバンクとなる。
【０１０７】
また、１組の画像群がバンクｉに書き込まれた後に（ステップＳ９０５）、解像度変換画像書込処理の終了指示がされたか否かが判断される（ステップＳ９０９）。解像度変換画像書込処理の終了指示がされた場合には（ステップＳ９０９）、解像度変換画像書込処理の動作を終了する。解像度変換画像書込処理の終了指示がされていない場合には（ステップＳ９０９）、「ｉ＝３」であるか否かが判断される（ステップＳ９１０）。「ｉ＝３」でない場合には（ステップＳ９１０）、変数ｉに「１」が加算され（ステップＳ９１１）、ステップＳ９０２に戻る。一方、「ｉ＝３」である場合には（ステップＳ９１０）、変数ｉが「０」に初期化され（ステップＳ９１２）、ステップＳ９０２に戻る。
【０１０８】
図１２では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設けた場合を一例として示すが、顔検出処理、顔属性検出処理、個人識別処理のそれぞれの読出バンクの並列条件に応じて、バンク数を増減するようにしてもよい。
【０１０９】
図１３は、本発明の実施の形態における撮像装置１００による顔検出処理の処理手順を示すフローチャートである。この例では、画像メモリ５００に４つのバンク０（５１１）乃至３（５１４）を設け、顔検出処理の対象となっている画像が記憶されているバンクの書込禁止フラグをオンする例について説明する。
【０１１０】
最初に、顔検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９２１）。続いて、選択されたバンクの書込禁止フラグがオンされる（ステップＳ９２２）。すなわち、選択されたバンクが書込禁止状態とされる。続いて、選択されたバンクから画像が読み出され（ステップＳ９２３）、読み出された画像について顔検出処理が行われる（ステップＳ９２４）。続いて、顔検出処理が終了したか否かが判断される（ステップＳ９２５）。顔検出処理が終了していない場合には（ステップＳ９２５）、ステップＳ９２３に戻る。
【０１１１】
顔検出処理が終了した場合には（ステップＳ９２５）、選択されたバンクから読み出された画像についての顔検出結果が、制御部１１０、顔属性検出部３００および個人識別部４００に出力される（ステップＳ９２６）。続いて、選択されたバンクの書込禁止フラグがオフされる（ステップＳ９２７）。すなわち、選択されたバンクが書込みを許可状態とされる。
【０１１２】
続いて、顔検出処理の終了指示がされたか否かが判断され（ステップＳ９２８）。顔検出処理の終了指示がされた場合には（ステップＳ９２８）、顔検出処理の動作を終了する。顔検出処理の終了指示がされない場合には（ステップＳ９２８）、ステップＳ９２１に戻る。
【０１１３】
図１４は、本発明の実施の形態における撮像装置１００による顔属性検出処理の処理手順を示すフローチャートである。ここで、顔検出処理は数フレームの処理時間を要するのに対し、顔属性検出処理は処理時間が比較的短く、１フレーム内に１回または複数回の処理を行うことができる。そこで、図１４に示す処理手順では、１フレームで１周する場合を例に示す。
【０１１４】
最初に、顔属性検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９３１）。続いて、顔検出部２００から出力された顔検出結果で最新のものが取得される（ステップＳ９３２）。ここで、選択されたバンクに記憶される画像と、取得された顔検出結果に係る画像とは同時刻（同一フレーム）でないが、時間差が最小となる組合せとなる。例えば、顔検出結果から、最新のバンクの画像まで何フレームの時間経過があるかを制御部１１０が管理することができるため、画像の中での顔座標や顔サイズ、顔の向きについて多少の時間変化があることを考慮することができる。
【０１１５】
続いて、取得された顔検出結果に含まれる顔の位置（顔座標）および大きさに基づいて、選択されたバンクに記憶されている画像から顔の領域（顔画像）が切り出されて読み出され（ステップＳ９３３）、読み出された顔画像について顔属性検出処理が行われる（ステップＳ９３４）。続いて、顔属性検出処理が終了したか否かが判断される（ステップＳ９３５）。顔属性検出処理が終了していない場合には（ステップＳ９３５）、ステップＳ９３３に戻る。
【０１１６】
顔属性検出処理が終了した場合には（ステップＳ９３５）、読み出された顔画像についての顔属性検出結果が、制御部１１０、顔属性検出結果メモリ３０１および個人識別部４００に出力される（ステップＳ９３６）。続いて、取得された顔検出結果に他の顔が存在するか否かが判断される（ステップＳ９３７）。すなわち、顔属性検出処理が終了した顔以外の他の顔が存在するか否かが判断される。そして、取得された顔検出結果に含まれる全ての顔について、顔属性検出処理が行われる。
【０１１７】
続いて、顔属性検出処理の終了指示がされたか否かが判断され（ステップＳ９３８）。顔属性検出処理の終了指示がされた場合には（ステップＳ９３８）、顔属性検出処理の動作を終了する。顔属性検出処理の終了指示がされない場合には（ステップＳ９３８）、ステップＳ９３１に戻る。すなわち、取得された顔検出結果に含まれる全ての顔について、顔属性検出処理が終了した場合には、ステップＳ９３１に戻り、フレームの区切りを待つことになる。
【０１１８】
図１５は、本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。ここで、顔検出処理は数フレームの処理時間を要するのに対し、個人識別処理は処理時間が比較的短く、１フレーム内に１回または複数回の処理を行うことができる。そこで、図１５に示す処理手順では、１フレームで１周する場合を例に示す。
【０１１９】
最初に、顔属性検出処理に用いられる画像として、直前に書込み処理がされたバンクが選択される（ステップＳ９４１）。続いて、顔検出部２００から出力された顔検出結果で最新のものが取得される（ステップＳ９４２）。ここで、選択されたバンクに記憶される画像と、取得された顔検出結果に係る画像とは同時刻（同一フレーム）でないが、時間差が最小となる組合せとなる。例えば、顔検出結果から、最新のバンクの画像まで何フレームの時間経過があるかを制御部１１０が管理することができるため、画像の中での顔座標や顔サイズ、顔の向きについて多少の時間変化があることを考慮することができる。
【０１２０】
続いて、顔属性検出部３００から出力された顔属性検出結果で最新のものが取得される（ステップＳ９４３）。続いて、取得された顔検出結果に含まれる顔の位置（顔座標）および大きさに基づいて、選択されたバンクに記憶されている画像から顔の領域（顔画像）が切り出されて読み出され（ステップＳ９４４）、読み出された顔画像について、取得された顔属性検出結果を用いて個人識別処理が行われる（ステップＳ９４５）。なお、顔特徴量メモリ４０１に複数の特定人物が登録されている場合において、取得された顔検出結果に含まれる顔が複数存在する場合には、その組合せを変えながら、類似度の算出が繰り返し行われる。続いて、個人識別処理が終了したか否かが判断される（ステップＳ９４６）。個人識別処理が終了していない場合には（ステップＳ９４６）、ステップＳ９４４に戻る。
【０１２１】
個人識別処理が終了した場合には（ステップＳ９４６）、読み出された顔画像についての個人識別結果が、制御部１１０に出力される（ステップＳ９４７）。続いて、取得された顔検出結果に他の顔が存在するか否かが判断される（ステップＳ９４８）。すなわち、個人識別処理が終了した顔以外の他の顔が存在するか否かが判断される。そして、取得された顔検出結果に含まれる全ての顔について、個人識別処理が行われる。
【０１２２】
続いて、個人識別処理の終了指示がされたか否かが判断され（ステップＳ９４９）。個人識別処理の終了指示がされた場合には（ステップＳ９４９）、個人識別処理の動作を終了する。個人識別処理の終了指示がされない場合には（ステップＳ９４９）、ステップＳ９４１に戻る。すなわち、取得された顔検出結果に含まれる全ての顔について、個人識別処理が終了した場合には、ステップＳ９４１に戻り、フレームの区切りを待つことになる。
【０１２３】
以上では、画像メモリ５００に４つのバンク（バンク０（５１０）乃至バンク３（５４０））を設けた例について説明したが、以下では、画像メモリ５００に３つのバンク（バンク０（７１０）乃至バンク２（７３０））を設けた例について説明する。
【０１２４】
図１６は、本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。図１６（ａ）には、画像メモリ５００におけるバンク０（７１０）乃至バンク２（７３０）を示し、図１６（ｂ）には、バンク０（７１０）の基本構造の一例を示す図である。なお、図１６に示す例は、バンクの数が異なる点以外は、図５に示す例と同様であるため、ここでの詳細な説明を省略する。
【０１２５】
次に、画像メモリ５００におけるバンク０（７１０）乃至２（７３０）の書込みおよび読出しを行う場合について図面を参照して詳細に説明する。
【０１２６】
図１７は、本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。なお、図１７に示す例は、顔検出処理８３０の処理時間が長くなるとともに、バンク数が減った点以外は、図１１に示す例と同様である。このため、図１１に示す例と異なる点を中心に説明し、その他の点については、ここでの詳細な説明を省略する。
【０１２７】
図１７では、顔検出処理８３０の処理時間として、５フレームを要する場合を示す。また、顔検出処理の間は、顔検出処理の対象となっているバンクに対しては上書きが禁止される。このため、顔検出処理の対象となっているバンク以外の２つのバンクは、顔属性検出処理８４０および個人識別処理８５０の処理対象となるバンクと、書込処理の対象となるバンクの何れかとなる。このように、画像メモリ５００に３つのバンクを設ける場合でも、フレームの欠落を防止することができる。このように顔検出処理の処理時間が５フレームに亘る場合でも、限られたバンク数の画像を、顔属性検出処理や個人識別処理と共有することが可能となる。なお、図１１および図１７では、顔検出処理に用いられた各画像と、顔属性検出処理および個人識別処理に用いられた各画像とが異なる時刻の画像である場合を例にして示すが、顔検出処理に用いられた各画像と同時刻の画像を、顔属性検出処理および個人識別処理で用いるようにしてもよい。
【０１２８】
以上で示したように、本発明の実施の形態によれば、顔検出処理、顔属性検出処理および個人識別処理に用いられる画像を共有化することができ、各処理に最適な周期で最適な解像度の画像を、最適の更新レートで使用することができる。
【０１２９】
また、各処理を行っている間は、共有されているバンクの画像であっても、上書きを回避することができるため、数フレームに亘る処理も可能である。
【０１３０】
また、処理中の画像の上書きを回避しつつも、バンクの画像は毎フレーム、画像メモリ５００に書込むことが可能であるため、フレームの欠落を防止することができる。また、用途毎にバンクの画像を記憶する必要がないため、バンクの画像の書込みアドレスが必ず１通りに限定され、同一画像を複数のアドレスへ書き込まなくてもよい。
【０１３１】
また、各処理に用いられる画像を共有化することにより、画像メモリ５００上での画像の記憶容量を抑えることができ、メモリバス１９０へのアクセス量を最小限に低減させることができる。これにより、消費電力を低減させることができるとともに、処理の高速化することができる。
【０１３２】
また、顔検出処理、顔属性検出処理および個人識別処理の各処理の結果データが、何れの撮像画像（生成された時刻）から得られたものであるのかを示す関連性を明確にすることができる。
【０１３３】
また、顔検出結果を、顔属性検出処理および個人識別処理に利用するとともに、顔属性検出結果を、個人識別処理に利用することにより、各処理をさらに高精度化するとともに、高速化することができる。
【０１３４】
また、複数のバンクで画像を管理することにより、あるバンクを読み出している間に、別のバンクに書込む（更新する）ことができるため、各処理に最適な周期で書込みアクセス（画像の更新）をすることができる。また、読み出しアドレスと書込みアドレスの交差を回避しながら、常に最新のフレームを読み出して使用することができる。
【０１３５】
また、常に最新のフレームを使用することにより、被写体の動きやカメラの動きを伴った動画像であっても、人の顔に対して十分に高い追従性を保つことができる。これにより、顔属性検出処理や個人識別処理の結果について、リアルタイム性を高めることができる。
【０１３６】
また、表示画像に各処理の結果データを重畳してユーザインターフェイスに利用する場合や、各処理の結果データをＡＦ、ＡＥ、ＡＷＢ、ストロボ制御、オートズーム、肌色補正等、各種カメラ制御に利用する場合にも、撮像画像に対しての結果データの時間差を最小限に抑えることができる。これにより、レスポンス性や追従性を高めることができる。
【０１３７】
また、本発明の実施の形態では、対象物として人物の顔を例にして説明したが、犬や猫等の他の動物、車等の対象物とする場合についても本発明の実施の形態を適用することができる。また、本発明の実施の形態では、画像解析処理として、顔検出処理等を例にして説明したが、画像について他の解析処理を複数行う画像処理装置に本発明の実施の形態を適用することができる。この場合に、他の解析処理の処理時間が１フレームを超える場合には、その処理に用いられているバンクの書込禁止フラグがオンされる。
【０１３８】
なお、本発明の実施の形態では、撮像画像を生成する撮像部（イメージセンサ１２２、カメラ信号処理部１２３）を備える撮像装置を例にして説明したが、撮像部を具備しない画像処理装置についても本発明の実施の形態を適用することができる。例えば、入力端子または記録媒体取付部を備えた画像処理装置に、その入力端子または記録媒体から画像を入力し、この入力された画像について、顔検出処理、顔属性検出処理、個人識別処理の画像解析処理を行う場合に、本発明の実施の形態を適用することができる。
【０１３９】
また、静止画および動画を撮像するカムコーダ（camcorder：camera and recorder）や撮像機能を備える携帯電話機の各種の撮像装置に本発明の実施の形態を適用することができる。
【０１４０】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述したように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１４１】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード（memory card）、ブルーレイディスク（Blu-ray Disc（登録商標））等の記録媒体を用いることができる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本発明の実施の形態における顔検出部２００の機能構成例を示すブロック図である。
【図３】本発明の実施の形態における顔属性検出部３００の機能構成例を示すブロック図である。
【図４】本発明の実施の形態における個人識別部４００の機能構成例を示すブロック図である。
【図５】本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。
【図６】本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられるテンプレートの顔サイズを模式的に示す図である。
【図７】本発明の実施の形態における解像度変換部１３０により解像度が変換された画像を画像メモリ５００に記憶する場合における記憶方法を模式的に示す図である。
【図８】本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ａ（５６１）乃至Ｄ（５６４）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。
【図９】本発明の実施の形態におけるカメラ信号処理部１２３から出力された撮像画像Ｅ（５６５）をバンク０（５１０）乃至バンク３（５４０）に記憶する場合を模式的に示す図である。
【図１０】本発明の実施の形態における顔検出部２００、顔属性検出部３００および個人識別部４００における各処理に用いられる画像を画像メモリ５００から取得する取得方法を概略的に示す図である。
【図１１】本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【図１２】本発明の実施の形態における撮像装置１００による解像度変換画像書込処理の処理手順を示すフローチャートである。
【図１３】本発明の実施の形態における撮像装置１００による顔検出処理の処理手順を示すフローチャートである。
【図１４】本発明の実施の形態における撮像装置１００による顔属性検出処理の処理手順を示すフローチャートである。
【図１５】本発明の実施の形態における撮像装置１００による個人識別処理の処理手順を示すフローチャートである。
【図１６】本発明の実施の形態における画像メモリ５００に記憶されている内容を概略的に示す図である。
【図１７】本発明の実施の形態における画像メモリ５００における各バンクのバンク書込処理と、各バンクを用いて行われる顔検出処理、顔属性検出処理および個人識別処理とにおけるタイミングチャートを示す図である。
【符号の説明】
【０１４３】
１００ 撮像装置
１１０ 制御部
１２１ レンズ群
１２２ イメージセンサ
１２３ カメラ信号処理部
１３０ 解像度変換部
１４０ 画像圧縮伸張部
１５０ 表示部
１６０ 操作受付部
１７０ 画像記憶媒体
１８０ 不揮発性記憶媒体
１９０ メモリバス
２００ 顔検出部
２１０ 顔検出制御部
２２０ 画像取得部
２３０ 画像拡大縮小部
２４０ 画像保持部
２５０ 基準顔データ保持部
２６０ 判定部
２７０ 顔検出結果出力部
３００ 顔属性検出部
３０１ 顔属性検出結果メモリ
３１０ 顔属性検出制御部
３２０ 顔画像取得部
３３０ 画像保持部
３４０ 正規化部
３５０ 顔画像出力部
３６０ 顔属性判定基準データ保持部
３７０ 顔属性判定部
３８０ 顔属性検出結果出力部
４００ 個人識別部
４０１ 顔特徴量メモリ
４１０ 個人識別制御部
４２０ 顔画像取得部
４３０ 正規化部
４４０ 顔特徴量抽出部
４５０ 類似度算出部
４６０ 算出結果出力部
４７０ 顔特徴量登録部
５００ 画像メモリ
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換部と、
前記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部と
を具備する撮像装置。
【請求項２】
前記撮像部は、所定のフレームレートで前記撮像画像を順次生成し、
前記画像記憶部は、前記１組の画像群の書込みまたは読出しを行う際の単位となるバンクを複数備え、
前記複数のバンクのそれぞれに前記１組の画像群を前記撮像画像毎に順次書込む制御を行う制御部をさらに具備し、
前記第一画像解析処理部は、前記複数のバンクのうち前記第一画像解析処理の前記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて前記第一画像解析処理を行い、
前記第二画像解析処理部は、前記複数のバンクのうち前記第二画像解析処理の前記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて前記第二画像解析処理を行う
請求項１記載の撮像装置。
【請求項３】
前記画像記憶部は、前記バンクへの書込禁止を設定する書込禁止フラグを前記バンク毎に備え、
前記第一画像解析処理部は、前記第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、
前記制御部は、所定の順序に従って前記複数のバンクのそれぞれに前記１組の画像群を前記撮像画像毎に順次書込む制御を行い、書込み対象となる前記バンクに対応する書込禁止フラグに書込禁止が設定されている場合には前記所定の順序における前記書込み対象となるバンクの次の順序の前記バンクに前記１組の画像群を書込む制御を行う
請求項２記載の撮像装置。
【請求項４】
前記第一画像解析処理部は、前記撮像画像に含まれる対象物を検出する対象物検出処理を前記第一画像解析処理として行い、
前記第二画像解析処理部は、前記検出された対象物の属性を検出する対象物属性検出処理を前記第二画像解析処理として行う
請求項１記載の撮像装置。
【請求項５】
前記対象物検出処理に用いられる画像のうちの少なくとも１つは、前記対象物属性検出処理に用いられる各画像よりも解像度が低い画像である請求項４記載の撮像装置。
【請求項６】
前記１組の画像群に含まれる画像のうちの前記対象物検出処理に用いられる画像の組合せおよび前記対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を行う特定対象物識別部をさらに具備し、
前記対象物属性検出処理に用いられる画像のうちの少なくとも１つは、前記特定対象物識別処理に用いられる各画像よりも解像度が低い画像である
請求項４記載の撮像装置。
【請求項７】
前記対象物は、人物の顔である請求項４記載の撮像装置。
【請求項８】
前記第一画像解析処理部は、前記撮像画像に含まれる対象物を検出する対象物検出処理を前記第一画像解析処理として行い、
前記第二画像解析処理部は、前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を前記第二画像解析処理として行う
請求項１記載の撮像装置。
【請求項９】
画像を入力する画像入力部と、
前記入力された画像を複数の異なる解像度の画像に変換する解像度変換部と、
前記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記入力された画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記入力された画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部と
を具備する画像処理装置。
【請求項１０】
被写体を撮像して撮像画像を生成する撮像手順と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換手順と、
前記変換された複数の異なる解像度の画像を１組の画像群として画像記憶部に記憶する画像記憶手順と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理手順と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理手順と
を具備する撮像装置における画像解析方法。
【請求項１１】
被写体を撮像して撮像画像を生成する撮像手順と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換手順と、
前記変換された複数の異なる解像度の画像を１組の画像群として画像記憶部に記憶する画像記憶手順と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理手順と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理手順と
をコンピュータに実行させるプログラム。
【請求項１】
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換部と、
前記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部と
を具備する撮像装置。
【請求項２】
前記撮像部は、所定のフレームレートで前記撮像画像を順次生成し、
前記画像記憶部は、前記１組の画像群の書込みまたは読出しを行う際の単位となるバンクを複数備え、
前記複数のバンクのそれぞれに前記１組の画像群を前記撮像画像毎に順次書込む制御を行う制御部をさらに具備し、
前記第一画像解析処理部は、前記複数のバンクのうち前記第一画像解析処理の前記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて前記第一画像解析処理を行い、
前記第二画像解析処理部は、前記複数のバンクのうち前記第二画像解析処理の前記撮像画像毎の処理開始直前に書込みが行われたバンクに記憶されている画像群に含まれる画像を用いて前記第二画像解析処理を行う
請求項１記載の撮像装置。
【請求項３】
前記画像記憶部は、前記バンクへの書込禁止を設定する書込禁止フラグを前記バンク毎に備え、
前記第一画像解析処理部は、前記第一画像解析処理に用いられている画像が記憶されているバンクに対応する書込禁止フラグに書込禁止を設定し、
前記制御部は、所定の順序に従って前記複数のバンクのそれぞれに前記１組の画像群を前記撮像画像毎に順次書込む制御を行い、書込み対象となる前記バンクに対応する書込禁止フラグに書込禁止が設定されている場合には前記所定の順序における前記書込み対象となるバンクの次の順序の前記バンクに前記１組の画像群を書込む制御を行う
請求項２記載の撮像装置。
【請求項４】
前記第一画像解析処理部は、前記撮像画像に含まれる対象物を検出する対象物検出処理を前記第一画像解析処理として行い、
前記第二画像解析処理部は、前記検出された対象物の属性を検出する対象物属性検出処理を前記第二画像解析処理として行う
請求項１記載の撮像装置。
【請求項５】
前記対象物検出処理に用いられる画像のうちの少なくとも１つは、前記対象物属性検出処理に用いられる各画像よりも解像度が低い画像である請求項４記載の撮像装置。
【請求項６】
前記１組の画像群に含まれる画像のうちの前記対象物検出処理に用いられる画像の組合せおよび前記対象物属性検出処理に用いられる画像の組合せとは異なる複数の画像の組合せを用いて前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を行う特定対象物識別部をさらに具備し、
前記対象物属性検出処理に用いられる画像のうちの少なくとも１つは、前記特定対象物識別処理に用いられる各画像よりも解像度が低い画像である
請求項４記載の撮像装置。
【請求項７】
前記対象物は、人物の顔である請求項４記載の撮像装置。
【請求項８】
前記第一画像解析処理部は、前記撮像画像に含まれる対象物を検出する対象物検出処理を前記第一画像解析処理として行い、
前記第二画像解析処理部は、前記検出された対象物が特定の対象物であるか否かを識別する特定対象物識別処理を前記第二画像解析処理として行う
請求項１記載の撮像装置。
【請求項９】
画像を入力する画像入力部と、
前記入力された画像を複数の異なる解像度の画像に変換する解像度変換部と、
前記変換された複数の異なる解像度の画像を１組の画像群として記憶する画像記憶部と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記入力された画像を解析する処理である第一画像解析処理を行う第一画像解析処理部と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記入力された画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理部と
を具備する画像処理装置。
【請求項１０】
被写体を撮像して撮像画像を生成する撮像手順と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換手順と、
前記変換された複数の異なる解像度の画像を１組の画像群として画像記憶部に記憶する画像記憶手順と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理手順と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理手順と
を具備する撮像装置における画像解析方法。
【請求項１１】
被写体を撮像して撮像画像を生成する撮像手順と、
前記撮像画像を複数の異なる解像度の画像に変換する解像度変換手順と、
前記変換された複数の異なる解像度の画像を１組の画像群として画像記憶部に記憶する画像記憶手順と、
前記１組の画像群に含まれる画像のうちの複数の画像の組合せを用いて前記撮像画像を解析する処理である第一画像解析処理を行う第一画像解析処理手順と、
前記１組の画像群に含まれる画像のうちの前記複数の画像の組合せとは異なる複数の画像の組合せを用いて前記撮像画像を解析する処理であって前記第一画像解析処理とは異なる処理である第二画像解析処理を行う第二画像解析処理手順と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−２５２１１８（Ｐ２００９−２５２１１８Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−１０１９４７（Ｐ２００８−１０１９４７）
【出願日】平成２０年４月９日（２００８．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月９日（２００８．４．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]