画像処理装置、画像処理方法及びプログラム
【課題】特定の画像領域を検出する処理負担を軽減すること。
【解決手段】記憶部２０は、顔等の特定の画像領域を検出するための検出用情報として識別器を複数種記憶する。取得部４１は、画像データを逐次取得する。検出部４３は、記憶部２０に記憶された複数種の検出用情報を使用して、取得部４１により取得された画像データ内における顔等の特定の画像領域を検出する。識別器制御部５１は、検出部４３による検出結果に基づいて、複数種の検出用情報から特定の検出用情報を選択する。
【解決手段】記憶部２０は、顔等の特定の画像領域を検出するための検出用情報として識別器を複数種記憶する。取得部４１は、画像データを逐次取得する。検出部４３は、記憶部２０に記憶された複数種の検出用情報を使用して、取得部４１により取得された画像データ内における顔等の特定の画像領域を検出する。識別器制御部５１は、検出部４３による検出結果に基づいて、複数種の検出用情報から特定の検出用情報を選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、撮像された画像に含まれる被写体を検出することができる技術がある。この被写体は、例えば、人物の顔であるが、画像によってその角度は様々である。
このような様々な角度の顔を検出すべく、各々が互いに異なる角度の顔情報を有する複数の識別器により、顔検出を行う技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６６０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術では、被写体の顔の角度によっては、使用する必要のない識別器も顔検出に使用されるため、結果として顔検出の処理負担が余計にかかる場合があるという虞があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、特定の画像領域を検出する処理負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特定の画像領域を検出する処理負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置が顔検出処理を実行するための機能的構成を示す機能ブロック図である。
【図３】識別器制御部における複数種の識別器の一部の種類を優先的に用いる機能的構成を説明する図である。
【図４】図２の撮像装置が実行する顔検出処理の流れを説明するフローチャートである。
【図５】図２の撮像装置が実行する識別器優先処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１０】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１１】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１２】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、撮像装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム画像」と呼ばれている。即ち、本実施形態では、動画像は複数のフレーム画像から構成されており、フレーム画像毎に処理が実行される。そこで、以下、特に断りがない限り、画像とはフレーム画像を意味するものとし、画像データとはフレーム画像のデータを意味するものとする。
例えば、画像処理部１４は、後述する撮像部１７から出力される画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
【００１３】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、及びドライブ２２が接続されている。
【００１４】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１５】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号が、「画像データ」であるものとする。したがって、撮像部１７からは画像データが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。
【００１６】
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２０は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１７】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像データ等の各種データも、記憶部２０と同様に記憶することができる。
【００１８】
このような構成を有する撮像装置１は、撮像の前後を通じて、ライブビュー撮像処理及びライブビュー表示処理を開始する。
即ち、撮像装置１は、撮像部１７による撮像動作を継続させ、その間、当該撮像部１７を介して画像処理部１４からフレーム画像の単位で順次出力される画像データを、メモリ（本実施形態では記憶部２０）に一時的に記憶させる。このような一連の処理が、ここでいう「ライブビュー撮像処理」である。
また、撮像装置１は、ライブビュー撮像時にメモリ（本実施形態では記憶部２０）に一時的にフレーム画像の単位で記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部１９に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」である。なお、ライブビュー表示処理により表示部１９に表示されているフレーム画像を、以下、「ライブビュー画像」と呼ぶ。
【００１９】
ユーザは、ライブビュー画像をみながら構図を決めた後、操作部１８のシャッタスイッチ（図示せず）を下限まで押下することで、画像データの記録の指示をすることができる。なお、このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
なお、以下、ライブビュー撮像処理及びライブビュー表示処理のための撮像と区別すべく、全押し操作により記録の指示がなされたときの撮像を、「記録用撮像」と呼ぶ。
【００２０】
さらに、本実施形態では、撮像装置１は、ライブビュー画像において、被写体の一例としての人物の顔に、例えば、合焦領域であることを示す枠を表示する。即ち、本実施形態に係る撮像装置１は、フレーム画像内における顔を検出する。また、本実施形態に係る撮像装置１は、特定の画像領域を検出する処理負担を軽減するにあたり、次のような一連の処理を実行する。
撮像装置１は、逐次画像データを取得する画像データ取得処理を実行する。
また、撮像装置１は、記憶部２０により記憶された複数種の検出用情報である識別器の一部の種類を用いて、画像データ取得処理により取得された画像内における特定の画像領域の一例として顔を検出する顔検出処理を実行する。
さらに、顔検出処理による顔の検出結果に基づいて、顔検出処理に使用された識別器の種類から、特定の種類の識別器を優先的に選択する識別器優先処理を実行する。
ここで、顔検出処理は、例えば、後述する縮小画像データ群に対して、各識別器によるニュートラルネットワーク（ＮＮ）、アダブースト（ａｄａｂｏｏｓｔ）、或いはサポートベクターマシーン（ＳＶＭ）といった各種各様のアルゴリズムに従った処理により行うことができる。ニュートラルネットワーク（ＮＮ）、アダブースト（ａｄａｂｏｏｓｔ）、及びサポートベクターマシーン（ＳＶＭ）の各々を用いた顔検出処理は、公知の技術であるため、詳細な説明については省略する。
【００２１】
本実施形態の説明では、撮像装置１における、１つの画像データを取得し、当該画像データ内における顔を検出し、この顔の検出結果に基づいて特定の種類の識別器を優先的に用いる一連の処理を１つの「サイクル」と呼び、Ｎ回目（Ｎは１以上の任意の整数値）のサイクルを「サイクルＮ」とも呼び、Ｎ回目の次のサイクルを「サイクルＮ＋１」とも呼ぶ。
【００２２】
図２は、図１の撮像装置１が顔検出処理を実行するための機能的構成を示す機能ブロック図である。
図２においては、図１の撮像装置１の構成のうち、ＣＰＵ１１と、画像処理部１４と、撮像部１７と、表示部１９と、記憶部２０とが図示されている。
【００２３】
画像処理部１４においては、顔検出処理が実行される場合、取得部４１と、画像加工部４２と、検出部４３と、後処理部４４と、が機能する。
ＣＰＵ１１においては、顔検出処理が実行される場合、識別器制御部５１と、表示制御部５２と、が機能する。
記憶部２０には、複数種の検出用情報である識別器が使用識別器群と待機識別器群とに分けて記憶されている。
ここで、本実施形態における使用識別器群及び待機識別器群は、後述する識別器制御部５１により、いずれに属するのかが設定された複数の識別器からなる。
また、本実施形態における「使用識別器群」とは、サイクルＮにおいて後述する検出部４３が画像データから顔を検出する際に使用される複数の識別器のことである。また、本実施形態における「待機識別器群」とは、サイクルＮにおいて後述する検出部４３が画像データから顔を検出する際に使用されない複数の識別器のことである。
また、以降の説明では、使用識別器群の識別器を使用識別器とも呼び、待機識別器群の識別器を待機識別器とも呼ぶ。
【００２４】
取得部４１は、撮像部１７で撮像された画像データを取得する。この画像データは、顔検出処理を実行するための画像データであり、画像サイズは、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）画像又はＱＶＧＡ（Ｑｕａｒｔｅｒ−ＶＧＡ）画像であり、比較的小さいサイズの画像データである。
【００２５】
画像加工部４２は、取得部４１が取得した画像データを、輝度画像の画像データに変換し、この変換した画像データを順次縮小することで得られる縮小画像データ群（以下、画像ピラミッドと呼ぶ）を作成する。
【００２６】
検出部４３は、画像加工部４２が作成した画像ピラミッドの各解像度の縮小画像データそれぞれに対して、記憶部２０に記憶された複数種の使用識別器を用いて、例えば、顔の検出を行い、さらに、これらの縮小画像データに対する検出結果を統合する。
また、検出部４３は、複数の縮小画像データのそれぞれに対して、複数種の使用識別器を全て適用し、使用識別器毎の検出結果数を算出し記憶部２０に記憶する。ここで、「検出結果数」とは、各使用識別器が適合した縮小画像データの数を示す検出結果数である。
【００２７】
後処理部４４は、検出部４３による検出結果に基づき、表示制御部５２を介して、表示部１９に表示するライブビュー画像の顔部分に、例えば、枠を表示させる。
【００２８】
識別器制御部５１は、サイクルＮにおける検出部４３による顔の検出結果に基づいて、複数種の識別器から特定の種類の識別器を優先的に選択し、サイクルＮ＋１において検出部４３が使用する識別器を設定する。
また、識別器制御部５１は、サイクルＮにおける検出部４３による顔の検出結果に基づいて、記憶部２０に記憶された使用識別器群に設定された複数種の識別器と待機識別器群に設定された複数種の識別器とを互いに交替する。
即ち、識別器制御部５１は、検出部４３が算出した識別器の検出結果数を記憶部２０から読み込み、当該検出結果数と所定値との大小関係を判定し、検出結果数が所定値以上である場合はサイクルＮで適合した識別器であると判定し、検出結果数が所定値未満である場合はサイクルＮで適合した識別器でないと判定する。
例えば本実施例では、識別器制御部５１は、所定値を１とし、検出結果数が１以上であるならサイクルＮで適合した識別器であると判定し、検出結果数が１未満（つまり、０）である場合は、サイクルＮで適合した識別器でないと判定する。
そして、識別器制御部５１は、このサイクルＮで適合した識別器でないと判定した識別器を、使用識別器群から待機識別器群の待ち行列における末尾に移動すると共に、待機識別器群の待ち行列において先頭であった識別器を使用識別器群へ移動する。即ち、本実施形態では、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が１以上となる場合は、使用識別器群又は待機識別器群に設定された複数種の識別器を互いに交替しない。
識別器制御部５１は、このような処理をサイクルＮにおける全ての使用識別器に対して実行することで、サイクルＮ＋１において検出部４３が使用する識別器を設定する。
このような識別器制御部５１における複数種の識別器から特定の種類の識別器を優先的に用いる機能的構成を図３を参照して、具体的に説明する。
【００２９】
図３は、識別器制御部５１における複数種から特定の種類の識別器を優先的に用いる機能的構成を説明する図である。
図３において、識別器Ａ乃至Ｍは、複数種の検出用情報の一例であり、具体的には、正面顔識別器、回転左３０度顔識別器、回転右３０度顔識別器、左３０度顔識別器、右３０度顔識別器等である。
（ａ）は、サイクルＮの使用識別器群を示している。（ｂ）は、サイクルＮの待機識別器群を示している。（ｃ）は、サイクルＮにおいて各使用識別器に対して検出部４３が算出した検索結果数を示している。
（ｄ）は、サイクルＮ＋１の使用識別器群を示している。（ｅ）は、サイクルＮ＋１の待機識別器群を示している。（ｆ）は、サイクルＮ＋１において各使用識別器に対して検出部４３が算出した検索結果数を示している。
（ｇ）は、サイクルＮ＋２の使用識別器群を示している。（ｈ）は、サイクルＮ＋２の待機識別器群を示している。
【００３０】
検出部４３は、サイクルＮにおいて、使用識別器として、（ａ）に示す識別器Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉを用いて、顔の検出を行い、（ｃ）に示す各識別器の検出結果数を算出する。
識別器制御部５１は、この検出結果数が０である識別器Ｂ，Ｅ，Ｆ，ＧをサイクルＮ＋１の待機識別器群の待ち行列における末尾に順次移動すると共に、サイクルＮの待機識別器群の待ち行列において先頭であった識別器Ｊから順に識別器Ｋ，Ｌ，ＭをサイクルＮ＋１の使用識別器群へ移動する。これにより、（ｄ）に示すサイクルＮ＋１の使用識別器群と（ｅ）に示すサイクルＮ＋１の待機識別器群が設定される。
そして、検出部４３は、サイクルＮ＋１において、この（ｄ）に示すサイクルＮ＋１の使用識別器群を用いて、顔の検出を行い、（ｆ）に示す各識別器の検出結果数を算出する。識別器制御部５１は、サイクルＮと同様に、（ｇ）に示すサイクルＮ＋２の使用識別器群と（ｈ）に示すサイクルＮ＋２の待機識別器群を設定する。
【００３１】
図２に戻って、表示制御部５２は、後処理部４４の制御の下に、表示部１９に表示するライブビュー画像の顔部分に、例えば、合焦領域であることを示す枠を表示させる。
【００３２】
次に、図４を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される顔検出処理について説明する。
図４は、図２の撮像装置が実行する顔検出処理の流れを説明するフローチャートである。
【００３３】
図４の顔検出処理は、撮像部１７による撮像が行われる場合に実行される処理である。
即ち、少なくともライブビュー撮像処理及びライブビュー表示処理が開始されており、ユーザにより全押し操作がなされて記録用撮像が行われるまでの間に、顔検出処理は実行される。
【００３４】
ステップＳ１において、識別器制御部５１は、記憶部２０に記憶された使用識別器を読み込む。
ステップＳ２において、取得部４１は、撮像部１７で撮像された画像データを取得する。
ステップＳ３において、画像加工部４２は、ステップＳ２で取得した画像データを輝度画像の画像データに変換する。
ステップＳ４において、画像加工部４２は、ステップＳ３で輝度画像に変換された画像データを順次縮小することで画像ピラミッドを作成する。
【００３５】
ステップＳ５において、検出部４３は、ステップＳ４で作成された画像ピラミッドの各解像度の縮小画像データそれぞれに対して、複数種の使用識別器を用いて、顔検出を行う。また、検出部４３は、使用識別器毎の検出結果数を算出し記憶部２０に記憶する。
ステップＳ６において、検出部４３は、ステップＳ５における縮小画像データに対する検出結果を統合する。
【００３６】
ステップＳ７において、後処理部４４は、検出部４３による検出結果に基づき、表示制御部５２を介して、表示部１９に表示するライブビュー画像の顔部分に、例えば、枠を表示させる。
ステップＳ８において、表示制御部５２は、ユーザによる操作部１８の指示操作によりライブビュー撮像処理の終了が選択されたか否かを判定し、終了が選択されたと判定した場合は本処理を終了し、終了が選択されたと判定しない場合はステップＳ９に処理を移す。
【００３７】
ステップＳ９において、識別器制御部５１は、識別器優先処理を実行する。詳しくは後述するが、識別器優先処理において、識別器制御部５１は、サイクルＮにおけるステップＳ５の検出結果に基づいて、複数種の識別器から特定の種類の識別器を優先的に選択し、当該選択された識別器をサイクルＮ＋１において検出部４３が使用する識別器として設定する。
【００３８】
次に、図５を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される識別器優先処理について説明する。
図５は、図２の撮像装置が実行する識別器優先処理の流れを説明するフローチャートである。
図５では、サイクルＮにおける識別器優先処理を例として説明する。
【００３９】
ステップＳ１１において、識別器制御部５１は、記憶部２０に記憶された使用識別器の数だけループしたかを判定し、ループしたと判定した場合はステップＳ１（図４参照）に処理を移し、ループしたと判定しない場合はステップＳ１２に処理を移す。
ここで、本実施形態における「ループ」は、ステップＳ１１から遷移した処理が、再びステップＳ１１に戻ってくるまでが１つのループである。即ち、識別器優先処理開始直後のループは０であり、ｎ回（ｎは整数である）ステップＳ１１に戻った場合のループの回数はｎである。
また、識別器制御部５１は、１つのループで、サイクルＮにおける複数種の使用識別器に対して、それぞれ各処理を実行する。例えば、本実施形態における使用識別器の数は９つである。
よって、識別器制御部５１は、ステップＳ１１に戻った回数が９回目であると判定した場合に、ステップＳ１に処理を移すことで、全ての使用識別器に対して各処理を実行できる。
【００４０】
ステップＳ１２において、識別器制御部５１は、ステップＳ５で検出部４３が算出した検出結果に基づき、サイクルＮで適合した識別器か否かを判定し、適合した識別器であると判定した場合はステップＳ１１に処理を戻し、適合した識別器であると判定しない場合はステップＳ１３に処理を移す。
具体的には、識別器制御部５１は、検出部４３が算出した識別器の検出結果数を記憶部２０から読み込み、当該検出結果数が０であるか否かを判定し、検出結果数が１以上である場合はサイクルＮで適合した識別器であると判定し、検出結果数が０である場合はサイクルＮで適合した識別器でないと判定する。
【００４１】
ステップＳ１３において、識別器制御部５１は、ステップＳ１２においてサイクルＮで適合した識別器でないと判定した識別器を、使用識別器群から待機識別器群の待ち行列における末尾に移動する。
ステップＳ１４において、識別器制御部５１は、ステップＳ１３で待機識別器群の待ち行列における末尾に識別器を移動したのにともない、待機識別器群の待ち行列において先頭であった識別器を使用識別器群へ移動する。
【００４２】
以上説明したように、本実施形態の撮像装置１は、記憶部２０と、取得部４１と、検出部４３と、識別器制御部５１と、を備える。
記憶部２０は、人物の顔を検出するための識別器を複数種記憶する。
取得部４１は、画像データを逐次取得する。
検出部４３は、記憶部２０に記憶された複数種の識別器から一部の種類の識別器を用いて、取得部４１により取得された画像データ内における顔を検出する。
識別器制御部５１は、検出部４３による顔の検出結果に基づいて、一部の識別器から特定の種類の識別器を選択する。
これにより、例えば、人物の顔の検出するための複数種の識別器のうち、検出結果に基づき、以降の顔検出処理においても有効と思われる種類の識別器だけを優先的に用いることができる。
したがって、特定の画像領域を検出するための複数種の識別器の全てを用いて検出を行った場合と比べ、特定の画像領域を検出する処理負担を軽減できる。
【００４３】
また、検出部４３は、複数種の検出用情報と逐次取得された画像データとに基づいて、検出部４３による検出結果数を夫々算出し、その検出結果数が所定値以上か否かを判定する。
識別器制御部５１は、検出部４３による判定結果に基づいて、特定の識別器を特定の種類の識別器から選択する。
これにより、例えば、識別器制御部５１は、所定値を１とし、検出結果数が１以上であるならサイクルＮで適合した識別器であると判定し、検出結果数が１未満（つまり、０）である場合は、サイクルＮで適合した識別器でないと判定する。
したがって、特定の画像領域を検出するための複数種の識別器の全てを用いて検出を行った場合と比べ、特定の画像領域を検出する処理負担を軽減できる。
【００４４】
また、識別器制御部５１は、検出結果に基づいて、一部の識別器（使用識別器）から特定の種類の識別器として選択されなかった識別器と、複数種の識別器のうち使用識別器以外の識別器（待機識別器）の少なくとも一部とを互いに交替する。即ち、識別器制御部５１は、検出部４３の検出結果に基づいて、使用識別器のうち検出結果数が所定値未満の識別器を選択し、複数種の待機識別器の一部と交替する。
これにより、例えば、複数種の使用識別器のうち、特定の画像領域の検出において適合した識別器を残し、適合しなかった識別器（検出結果数が所定値未満の識別器）を複数種の待機識別器の一部と交替できるので、特定の画像領域を検出する処理負担を軽減しつつ、検出の精度を向上できる。
【００４５】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００４６】
上述の実施形態では、識別器Ａ乃至Ｍは顔の角度に対応した複数種の識別器としているが、識別器はこれに限らず、人種、年齢、明るさの相違、夜景（フラッシュの使用の有無）に対応した識別器とすることができる。
【００４７】
また、上述の実施形態では、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が０でない場合は、使用識別器群又は待機識別器群に設定された複数種の識別器を互いに交替しないが、識別器制御部５１における交替の判定はこれに限らず、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が０でない場合であっても、例えば、使用識別器群における検索結果数が少ない方から一定数の識別器と、待機識別器群における当該一定数の識別器とを交替することができる。
【００４８】
また、上述の実施形態では、識別器制御部５１は、１サイクルで全ての使用識別器に対して識別器優先処理を実行しているが、識別器制御部５１の識別器優先処理はこれに限らず、識別器制御部５１は、例えば、使用識別器が９つあった場合、１サイクルで３つの使用識別器に対して識別器優先処理を実行し、３サイクルで全ての使用識別器に対して識別器優先処理を実行することもできる。これにより、処理負担を軽減し、速やかにフレーム画像内における顔を検出できる。
【００４９】
また、上述の実施形態では、識別器制御部５１は、サイクルＮにおいて、次のサイクルＮ＋１の検出に使用する識別器（検出用情報）を複数種の識別器（検出用情報）から選択していたが、選択対象の識別器（検出用情報）はこれに限らず、サイクルＮ＋２以降の検出時のために選択するようにしてもよい。即ち、識別器制御部５１は、サイクルＮにおいて、以降の任意のサイクルの検出時に使用する識別器（検出用情報）を複数種の識別器（検出用情報）から選択するようにしてもよい。
【００５０】
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【００５１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００５２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００５３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００５４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００５５】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５６】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記複数種の検出用情報と前記逐次取得された画像とに基づいて、前記検出手段による検出結果数を夫々算出する算出手段と、
前記算出手段により算出された検出結果数が所定値以上か否かを判定する判定手段と、
を更に備え、
前記選択手段は、前記判定手段による判定結果に基づいて、前記特定の検出用情報を前記複数種の検出用情報から選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記選択手段は、複数種の前記特定の検出用情報を選択し、
前記記憶手段は、前記複数種の検出用情報とは異なる他の複数種の検出用情報を更に記憶し、
前記選択手段により選択された複数種の前記特定の検出用情報と、前記記憶手段により記憶された他の複数種の検出用情報における少なくとも一部の種類の検出用情報とを互いに交替する識別器交換手段を更に備えた、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記検出手段は、更に、前記選択手段により選択された特定の検出用情報に基づいて、前記特定の画像領域を検出することを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
前記特定の画像領域は人物の顔を含む領域であり、前記検出用情報は人物の顔を検出するための識別器であることを特徴とする付記１から４の何れか１つに記載の画像処理装置。
［付記６］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置が実行する画像処理方法であって、
画像を逐次取得する取得ステップと、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得ステップの処理で取得された画像内における前記特定の画像領域を検出する検出ステップと、
前記検出ステップの処理による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置を制御するコンピュータを、
画像を逐次取得する取得手段、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像内における前記特定の画像領域を検出する検出手段、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５７】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１７・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・取得部、４２・・・追尾画像加工部、４３・・・検出部、４４・・・後処理部、５１・・・識別器制御部、５２・・・表示制御部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来の技術として、撮像された画像に含まれる被写体を検出することができる技術がある。この被写体は、例えば、人物の顔であるが、画像によってその角度は様々である。
このような様々な角度の顔を検出すべく、各々が互いに異なる角度の顔情報を有する複数の識別器により、顔検出を行う技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６６０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の技術では、被写体の顔の角度によっては、使用する必要のない識別器も顔検出に使用されるため、結果として顔検出の処理負担が余計にかかる場合があるという虞があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、特定の画像領域を検出する処理負担を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像処理装置は、
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、特定の画像領域を検出する処理負担を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置が顔検出処理を実行するための機能的構成を示す機能ブロック図である。
【図３】識別器制御部における複数種の識別器の一部の種類を優先的に用いる機能的構成を説明する図である。
【図４】図２の撮像装置が実行する顔検出処理の流れを説明するフローチャートである。
【図５】図２の撮像装置が実行する識別器優先処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１０】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１１】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１２】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
ここで、本実施形態では、撮像装置１による画像の処理単位は一枚の静止画像であり、このような処理単位としての静止画像が、本明細書では「フレーム画像」と呼ばれている。即ち、本実施形態では、動画像は複数のフレーム画像から構成されており、フレーム画像毎に処理が実行される。そこで、以下、特に断りがない限り、画像とはフレーム画像を意味するものとし、画像データとはフレーム画像のデータを意味するものとする。
例えば、画像処理部１４は、後述する撮像部１７から出力される画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
【００１３】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１、及びドライブ２２が接続されている。
【００１４】
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１５】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号が、「画像データ」であるものとする。したがって、撮像部１７からは画像データが出力されて、ＣＰＵ１１や画像処理部１４等に適宜供給される。
【００１６】
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部１９は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２０は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１７】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像データ等の各種データも、記憶部２０と同様に記憶することができる。
【００１８】
このような構成を有する撮像装置１は、撮像の前後を通じて、ライブビュー撮像処理及びライブビュー表示処理を開始する。
即ち、撮像装置１は、撮像部１７による撮像動作を継続させ、その間、当該撮像部１７を介して画像処理部１４からフレーム画像の単位で順次出力される画像データを、メモリ（本実施形態では記憶部２０）に一時的に記憶させる。このような一連の処理が、ここでいう「ライブビュー撮像処理」である。
また、撮像装置１は、ライブビュー撮像時にメモリ（本実施形態では記憶部２０）に一時的にフレーム画像の単位で記録された各画像データを順次読み出して、各々に対応するフレーム画像を表示部１９に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」である。なお、ライブビュー表示処理により表示部１９に表示されているフレーム画像を、以下、「ライブビュー画像」と呼ぶ。
【００１９】
ユーザは、ライブビュー画像をみながら構図を決めた後、操作部１８のシャッタスイッチ（図示せず）を下限まで押下することで、画像データの記録の指示をすることができる。なお、このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
なお、以下、ライブビュー撮像処理及びライブビュー表示処理のための撮像と区別すべく、全押し操作により記録の指示がなされたときの撮像を、「記録用撮像」と呼ぶ。
【００２０】
さらに、本実施形態では、撮像装置１は、ライブビュー画像において、被写体の一例としての人物の顔に、例えば、合焦領域であることを示す枠を表示する。即ち、本実施形態に係る撮像装置１は、フレーム画像内における顔を検出する。また、本実施形態に係る撮像装置１は、特定の画像領域を検出する処理負担を軽減するにあたり、次のような一連の処理を実行する。
撮像装置１は、逐次画像データを取得する画像データ取得処理を実行する。
また、撮像装置１は、記憶部２０により記憶された複数種の検出用情報である識別器の一部の種類を用いて、画像データ取得処理により取得された画像内における特定の画像領域の一例として顔を検出する顔検出処理を実行する。
さらに、顔検出処理による顔の検出結果に基づいて、顔検出処理に使用された識別器の種類から、特定の種類の識別器を優先的に選択する識別器優先処理を実行する。
ここで、顔検出処理は、例えば、後述する縮小画像データ群に対して、各識別器によるニュートラルネットワーク（ＮＮ）、アダブースト（ａｄａｂｏｏｓｔ）、或いはサポートベクターマシーン（ＳＶＭ）といった各種各様のアルゴリズムに従った処理により行うことができる。ニュートラルネットワーク（ＮＮ）、アダブースト（ａｄａｂｏｏｓｔ）、及びサポートベクターマシーン（ＳＶＭ）の各々を用いた顔検出処理は、公知の技術であるため、詳細な説明については省略する。
【００２１】
本実施形態の説明では、撮像装置１における、１つの画像データを取得し、当該画像データ内における顔を検出し、この顔の検出結果に基づいて特定の種類の識別器を優先的に用いる一連の処理を１つの「サイクル」と呼び、Ｎ回目（Ｎは１以上の任意の整数値）のサイクルを「サイクルＮ」とも呼び、Ｎ回目の次のサイクルを「サイクルＮ＋１」とも呼ぶ。
【００２２】
図２は、図１の撮像装置１が顔検出処理を実行するための機能的構成を示す機能ブロック図である。
図２においては、図１の撮像装置１の構成のうち、ＣＰＵ１１と、画像処理部１４と、撮像部１７と、表示部１９と、記憶部２０とが図示されている。
【００２３】
画像処理部１４においては、顔検出処理が実行される場合、取得部４１と、画像加工部４２と、検出部４３と、後処理部４４と、が機能する。
ＣＰＵ１１においては、顔検出処理が実行される場合、識別器制御部５１と、表示制御部５２と、が機能する。
記憶部２０には、複数種の検出用情報である識別器が使用識別器群と待機識別器群とに分けて記憶されている。
ここで、本実施形態における使用識別器群及び待機識別器群は、後述する識別器制御部５１により、いずれに属するのかが設定された複数の識別器からなる。
また、本実施形態における「使用識別器群」とは、サイクルＮにおいて後述する検出部４３が画像データから顔を検出する際に使用される複数の識別器のことである。また、本実施形態における「待機識別器群」とは、サイクルＮにおいて後述する検出部４３が画像データから顔を検出する際に使用されない複数の識別器のことである。
また、以降の説明では、使用識別器群の識別器を使用識別器とも呼び、待機識別器群の識別器を待機識別器とも呼ぶ。
【００２４】
取得部４１は、撮像部１７で撮像された画像データを取得する。この画像データは、顔検出処理を実行するための画像データであり、画像サイズは、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）画像又はＱＶＧＡ（Ｑｕａｒｔｅｒ−ＶＧＡ）画像であり、比較的小さいサイズの画像データである。
【００２５】
画像加工部４２は、取得部４１が取得した画像データを、輝度画像の画像データに変換し、この変換した画像データを順次縮小することで得られる縮小画像データ群（以下、画像ピラミッドと呼ぶ）を作成する。
【００２６】
検出部４３は、画像加工部４２が作成した画像ピラミッドの各解像度の縮小画像データそれぞれに対して、記憶部２０に記憶された複数種の使用識別器を用いて、例えば、顔の検出を行い、さらに、これらの縮小画像データに対する検出結果を統合する。
また、検出部４３は、複数の縮小画像データのそれぞれに対して、複数種の使用識別器を全て適用し、使用識別器毎の検出結果数を算出し記憶部２０に記憶する。ここで、「検出結果数」とは、各使用識別器が適合した縮小画像データの数を示す検出結果数である。
【００２７】
後処理部４４は、検出部４３による検出結果に基づき、表示制御部５２を介して、表示部１９に表示するライブビュー画像の顔部分に、例えば、枠を表示させる。
【００２８】
識別器制御部５１は、サイクルＮにおける検出部４３による顔の検出結果に基づいて、複数種の識別器から特定の種類の識別器を優先的に選択し、サイクルＮ＋１において検出部４３が使用する識別器を設定する。
また、識別器制御部５１は、サイクルＮにおける検出部４３による顔の検出結果に基づいて、記憶部２０に記憶された使用識別器群に設定された複数種の識別器と待機識別器群に設定された複数種の識別器とを互いに交替する。
即ち、識別器制御部５１は、検出部４３が算出した識別器の検出結果数を記憶部２０から読み込み、当該検出結果数と所定値との大小関係を判定し、検出結果数が所定値以上である場合はサイクルＮで適合した識別器であると判定し、検出結果数が所定値未満である場合はサイクルＮで適合した識別器でないと判定する。
例えば本実施例では、識別器制御部５１は、所定値を１とし、検出結果数が１以上であるならサイクルＮで適合した識別器であると判定し、検出結果数が１未満（つまり、０）である場合は、サイクルＮで適合した識別器でないと判定する。
そして、識別器制御部５１は、このサイクルＮで適合した識別器でないと判定した識別器を、使用識別器群から待機識別器群の待ち行列における末尾に移動すると共に、待機識別器群の待ち行列において先頭であった識別器を使用識別器群へ移動する。即ち、本実施形態では、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が１以上となる場合は、使用識別器群又は待機識別器群に設定された複数種の識別器を互いに交替しない。
識別器制御部５１は、このような処理をサイクルＮにおける全ての使用識別器に対して実行することで、サイクルＮ＋１において検出部４３が使用する識別器を設定する。
このような識別器制御部５１における複数種の識別器から特定の種類の識別器を優先的に用いる機能的構成を図３を参照して、具体的に説明する。
【００２９】
図３は、識別器制御部５１における複数種から特定の種類の識別器を優先的に用いる機能的構成を説明する図である。
図３において、識別器Ａ乃至Ｍは、複数種の検出用情報の一例であり、具体的には、正面顔識別器、回転左３０度顔識別器、回転右３０度顔識別器、左３０度顔識別器、右３０度顔識別器等である。
（ａ）は、サイクルＮの使用識別器群を示している。（ｂ）は、サイクルＮの待機識別器群を示している。（ｃ）は、サイクルＮにおいて各使用識別器に対して検出部４３が算出した検索結果数を示している。
（ｄ）は、サイクルＮ＋１の使用識別器群を示している。（ｅ）は、サイクルＮ＋１の待機識別器群を示している。（ｆ）は、サイクルＮ＋１において各使用識別器に対して検出部４３が算出した検索結果数を示している。
（ｇ）は、サイクルＮ＋２の使用識別器群を示している。（ｈ）は、サイクルＮ＋２の待機識別器群を示している。
【００３０】
検出部４３は、サイクルＮにおいて、使用識別器として、（ａ）に示す識別器Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉを用いて、顔の検出を行い、（ｃ）に示す各識別器の検出結果数を算出する。
識別器制御部５１は、この検出結果数が０である識別器Ｂ，Ｅ，Ｆ，ＧをサイクルＮ＋１の待機識別器群の待ち行列における末尾に順次移動すると共に、サイクルＮの待機識別器群の待ち行列において先頭であった識別器Ｊから順に識別器Ｋ，Ｌ，ＭをサイクルＮ＋１の使用識別器群へ移動する。これにより、（ｄ）に示すサイクルＮ＋１の使用識別器群と（ｅ）に示すサイクルＮ＋１の待機識別器群が設定される。
そして、検出部４３は、サイクルＮ＋１において、この（ｄ）に示すサイクルＮ＋１の使用識別器群を用いて、顔の検出を行い、（ｆ）に示す各識別器の検出結果数を算出する。識別器制御部５１は、サイクルＮと同様に、（ｇ）に示すサイクルＮ＋２の使用識別器群と（ｈ）に示すサイクルＮ＋２の待機識別器群を設定する。
【００３１】
図２に戻って、表示制御部５２は、後処理部４４の制御の下に、表示部１９に表示するライブビュー画像の顔部分に、例えば、合焦領域であることを示す枠を表示させる。
【００３２】
次に、図４を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される顔検出処理について説明する。
図４は、図２の撮像装置が実行する顔検出処理の流れを説明するフローチャートである。
【００３３】
図４の顔検出処理は、撮像部１７による撮像が行われる場合に実行される処理である。
即ち、少なくともライブビュー撮像処理及びライブビュー表示処理が開始されており、ユーザにより全押し操作がなされて記録用撮像が行われるまでの間に、顔検出処理は実行される。
【００３４】
ステップＳ１において、識別器制御部５１は、記憶部２０に記憶された使用識別器を読み込む。
ステップＳ２において、取得部４１は、撮像部１７で撮像された画像データを取得する。
ステップＳ３において、画像加工部４２は、ステップＳ２で取得した画像データを輝度画像の画像データに変換する。
ステップＳ４において、画像加工部４２は、ステップＳ３で輝度画像に変換された画像データを順次縮小することで画像ピラミッドを作成する。
【００３５】
ステップＳ５において、検出部４３は、ステップＳ４で作成された画像ピラミッドの各解像度の縮小画像データそれぞれに対して、複数種の使用識別器を用いて、顔検出を行う。また、検出部４３は、使用識別器毎の検出結果数を算出し記憶部２０に記憶する。
ステップＳ６において、検出部４３は、ステップＳ５における縮小画像データに対する検出結果を統合する。
【００３６】
ステップＳ７において、後処理部４４は、検出部４３による検出結果に基づき、表示制御部５２を介して、表示部１９に表示するライブビュー画像の顔部分に、例えば、枠を表示させる。
ステップＳ８において、表示制御部５２は、ユーザによる操作部１８の指示操作によりライブビュー撮像処理の終了が選択されたか否かを判定し、終了が選択されたと判定した場合は本処理を終了し、終了が選択されたと判定しない場合はステップＳ９に処理を移す。
【００３７】
ステップＳ９において、識別器制御部５１は、識別器優先処理を実行する。詳しくは後述するが、識別器優先処理において、識別器制御部５１は、サイクルＮにおけるステップＳ５の検出結果に基づいて、複数種の識別器から特定の種類の識別器を優先的に選択し、当該選択された識別器をサイクルＮ＋１において検出部４３が使用する識別器として設定する。
【００３８】
次に、図５を参照して、撮像装置１の処理のうち、このような図２の機能的構成により実現される識別器優先処理について説明する。
図５は、図２の撮像装置が実行する識別器優先処理の流れを説明するフローチャートである。
図５では、サイクルＮにおける識別器優先処理を例として説明する。
【００３９】
ステップＳ１１において、識別器制御部５１は、記憶部２０に記憶された使用識別器の数だけループしたかを判定し、ループしたと判定した場合はステップＳ１（図４参照）に処理を移し、ループしたと判定しない場合はステップＳ１２に処理を移す。
ここで、本実施形態における「ループ」は、ステップＳ１１から遷移した処理が、再びステップＳ１１に戻ってくるまでが１つのループである。即ち、識別器優先処理開始直後のループは０であり、ｎ回（ｎは整数である）ステップＳ１１に戻った場合のループの回数はｎである。
また、識別器制御部５１は、１つのループで、サイクルＮにおける複数種の使用識別器に対して、それぞれ各処理を実行する。例えば、本実施形態における使用識別器の数は９つである。
よって、識別器制御部５１は、ステップＳ１１に戻った回数が９回目であると判定した場合に、ステップＳ１に処理を移すことで、全ての使用識別器に対して各処理を実行できる。
【００４０】
ステップＳ１２において、識別器制御部５１は、ステップＳ５で検出部４３が算出した検出結果に基づき、サイクルＮで適合した識別器か否かを判定し、適合した識別器であると判定した場合はステップＳ１１に処理を戻し、適合した識別器であると判定しない場合はステップＳ１３に処理を移す。
具体的には、識別器制御部５１は、検出部４３が算出した識別器の検出結果数を記憶部２０から読み込み、当該検出結果数が０であるか否かを判定し、検出結果数が１以上である場合はサイクルＮで適合した識別器であると判定し、検出結果数が０である場合はサイクルＮで適合した識別器でないと判定する。
【００４１】
ステップＳ１３において、識別器制御部５１は、ステップＳ１２においてサイクルＮで適合した識別器でないと判定した識別器を、使用識別器群から待機識別器群の待ち行列における末尾に移動する。
ステップＳ１４において、識別器制御部５１は、ステップＳ１３で待機識別器群の待ち行列における末尾に識別器を移動したのにともない、待機識別器群の待ち行列において先頭であった識別器を使用識別器群へ移動する。
【００４２】
以上説明したように、本実施形態の撮像装置１は、記憶部２０と、取得部４１と、検出部４３と、識別器制御部５１と、を備える。
記憶部２０は、人物の顔を検出するための識別器を複数種記憶する。
取得部４１は、画像データを逐次取得する。
検出部４３は、記憶部２０に記憶された複数種の識別器から一部の種類の識別器を用いて、取得部４１により取得された画像データ内における顔を検出する。
識別器制御部５１は、検出部４３による顔の検出結果に基づいて、一部の識別器から特定の種類の識別器を選択する。
これにより、例えば、人物の顔の検出するための複数種の識別器のうち、検出結果に基づき、以降の顔検出処理においても有効と思われる種類の識別器だけを優先的に用いることができる。
したがって、特定の画像領域を検出するための複数種の識別器の全てを用いて検出を行った場合と比べ、特定の画像領域を検出する処理負担を軽減できる。
【００４３】
また、検出部４３は、複数種の検出用情報と逐次取得された画像データとに基づいて、検出部４３による検出結果数を夫々算出し、その検出結果数が所定値以上か否かを判定する。
識別器制御部５１は、検出部４３による判定結果に基づいて、特定の識別器を特定の種類の識別器から選択する。
これにより、例えば、識別器制御部５１は、所定値を１とし、検出結果数が１以上であるならサイクルＮで適合した識別器であると判定し、検出結果数が１未満（つまり、０）である場合は、サイクルＮで適合した識別器でないと判定する。
したがって、特定の画像領域を検出するための複数種の識別器の全てを用いて検出を行った場合と比べ、特定の画像領域を検出する処理負担を軽減できる。
【００４４】
また、識別器制御部５１は、検出結果に基づいて、一部の識別器（使用識別器）から特定の種類の識別器として選択されなかった識別器と、複数種の識別器のうち使用識別器以外の識別器（待機識別器）の少なくとも一部とを互いに交替する。即ち、識別器制御部５１は、検出部４３の検出結果に基づいて、使用識別器のうち検出結果数が所定値未満の識別器を選択し、複数種の待機識別器の一部と交替する。
これにより、例えば、複数種の使用識別器のうち、特定の画像領域の検出において適合した識別器を残し、適合しなかった識別器（検出結果数が所定値未満の識別器）を複数種の待機識別器の一部と交替できるので、特定の画像領域を検出する処理負担を軽減しつつ、検出の精度を向上できる。
【００４５】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００４６】
上述の実施形態では、識別器Ａ乃至Ｍは顔の角度に対応した複数種の識別器としているが、識別器はこれに限らず、人種、年齢、明るさの相違、夜景（フラッシュの使用の有無）に対応した識別器とすることができる。
【００４７】
また、上述の実施形態では、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が０でない場合は、使用識別器群又は待機識別器群に設定された複数種の識別器を互いに交替しないが、識別器制御部５１における交替の判定はこれに限らず、識別器制御部５１は、使用識別器の全ての識別器の検索結果数が０でない場合であっても、例えば、使用識別器群における検索結果数が少ない方から一定数の識別器と、待機識別器群における当該一定数の識別器とを交替することができる。
【００４８】
また、上述の実施形態では、識別器制御部５１は、１サイクルで全ての使用識別器に対して識別器優先処理を実行しているが、識別器制御部５１の識別器優先処理はこれに限らず、識別器制御部５１は、例えば、使用識別器が９つあった場合、１サイクルで３つの使用識別器に対して識別器優先処理を実行し、３サイクルで全ての使用識別器に対して識別器優先処理を実行することもできる。これにより、処理負担を軽減し、速やかにフレーム画像内における顔を検出できる。
【００４９】
また、上述の実施形態では、識別器制御部５１は、サイクルＮにおいて、次のサイクルＮ＋１の検出に使用する識別器（検出用情報）を複数種の識別器（検出用情報）から選択していたが、選択対象の識別器（検出用情報）はこれに限らず、サイクルＮ＋２以降の検出時のために選択するようにしてもよい。即ち、識別器制御部５１は、サイクルＮにおいて、以降の任意のサイクルの検出時に使用する識別器（検出用情報）を複数種の識別器（検出用情報）から選択するようにしてもよい。
【００５０】
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【００５１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００５２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００５３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００５４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００５５】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５６】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記複数種の検出用情報と前記逐次取得された画像とに基づいて、前記検出手段による検出結果数を夫々算出する算出手段と、
前記算出手段により算出された検出結果数が所定値以上か否かを判定する判定手段と、
を更に備え、
前記選択手段は、前記判定手段による判定結果に基づいて、前記特定の検出用情報を前記複数種の検出用情報から選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記選択手段は、複数種の前記特定の検出用情報を選択し、
前記記憶手段は、前記複数種の検出用情報とは異なる他の複数種の検出用情報を更に記憶し、
前記選択手段により選択された複数種の前記特定の検出用情報と、前記記憶手段により記憶された他の複数種の検出用情報における少なくとも一部の種類の検出用情報とを互いに交替する識別器交換手段を更に備えた、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記検出手段は、更に、前記選択手段により選択された特定の検出用情報に基づいて、前記特定の画像領域を検出することを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
前記特定の画像領域は人物の顔を含む領域であり、前記検出用情報は人物の顔を検出するための識別器であることを特徴とする付記１から４の何れか１つに記載の画像処理装置。
［付記６］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置が実行する画像処理方法であって、
画像を逐次取得する取得ステップと、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得ステップの処理で取得された画像内における前記特定の画像領域を検出する検出ステップと、
前記検出ステップの処理による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置を制御するコンピュータを、
画像を逐次取得する取得手段、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像内における前記特定の画像領域を検出する検出手段、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５７】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１７・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・取得部、４２・・・追尾画像加工部、４３・・・検出部、４４・・・後処理部、５１・・・識別器制御部、５２・・・表示制御部
【特許請求の範囲】
【請求項１】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数種の検出用情報と前記逐次取得された画像とに基づいて、前記検出手段による検出結果数を夫々算出する算出手段と、
前記算出手段により算出された検出結果数が所定値以上か否かを判定する判定手段と、
を更に備え、
前記選択手段は、前記判定手段による判定結果に基づいて、前記特定の検出用情報を前記複数種の検出用情報から選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、複数種の前記特定の検出用情報を選択し、
前記記憶手段は、前記複数種の検出用情報とは異なる他の複数種の検出用情報を更に記憶し、
前記選択手段により選択された複数種の前記特定の検出用情報と、前記記憶手段により記憶された他の複数種の検出用情報における少なくとも一部の種類の検出用情報とを互いに交替する識別器交換手段を更に備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段は、更に、前記選択手段により選択された特定の検出用情報に基づいて、前記特定の画像領域を検出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記特定の画像領域は人物の顔を含む領域であり、前記検出用情報は人物の顔を検出するための識別器であることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置が実行する画像処理方法であって、
画像を逐次取得する取得ステップと、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得ステップの処理で取得された画像内における前記特定の画像領域を検出する検出ステップと、
前記検出ステップの処理による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置を制御するコンピュータを、
画像を逐次取得する取得手段、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像内における前記特定の画像領域を検出する検出手段、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段、
として機能させることを特徴とするプログラム。
【請求項１】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段と、
画像を逐次取得する取得手段と、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像データ内における前記特定の画像領域を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数種の検出用情報と前記逐次取得された画像とに基づいて、前記検出手段による検出結果数を夫々算出する算出手段と、
前記算出手段により算出された検出結果数が所定値以上か否かを判定する判定手段と、
を更に備え、
前記選択手段は、前記判定手段による判定結果に基づいて、前記特定の検出用情報を前記複数種の検出用情報から選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、複数種の前記特定の検出用情報を選択し、
前記記憶手段は、前記複数種の検出用情報とは異なる他の複数種の検出用情報を更に記憶し、
前記選択手段により選択された複数種の前記特定の検出用情報と、前記記憶手段により記憶された他の複数種の検出用情報における少なくとも一部の種類の検出用情報とを互いに交替する識別器交換手段を更に備えた、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記検出手段は、更に、前記選択手段により選択された特定の検出用情報に基づいて、前記特定の画像領域を検出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
前記特定の画像領域は人物の顔を含む領域であり、前記検出用情報は人物の顔を検出するための識別器であることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置が実行する画像処理方法であって、
画像を逐次取得する取得ステップと、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得ステップの処理で取得された画像内における前記特定の画像領域を検出する検出ステップと、
前記検出ステップの処理による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
特定の画像領域を検出するための検出用情報を複数種記憶する記憶手段を備える画像処理装置を制御するコンピュータを、
画像を逐次取得する取得手段、
前記記憶手段に記憶された複数種の検出用情報を使用して、前記取得手段により取得された画像内における前記特定の画像領域を検出する検出手段、
前記検出手段による検出結果に基づいて、前記複数種の検出用情報から特定の検出用情報を選択する選択手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−６９２６４（Ｐ２０１３−６９２６４Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−１５２６９９（Ｐ２０１２−１５２６９９）
【出願日】平成２４年７月６日（２０１２．７．６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年７月６日（２０１２．７．６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]