対象物検出装置および対象物検出方法
【課題】画像の同一ライン上の検出画素領域を膨張させて検出した結果と履歴とに基いて特定色領域の検出動作を効率よく制御する。
【解決手段】対象物を有する画像を入力する画像入力手段と、上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、上記色検出結果に応じて上記画像を２値化する２値化処理手段と、上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、を有し、２値化膨張処理結果に基いて対象物検出手段を制御することにより対象物検出における演算量を削減する。
【解決手段】対象物を有する画像を入力する画像入力手段と、上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、上記色検出結果に応じて上記画像を２値化する２値化処理手段と、上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、を有し、２値化膨張処理結果に基いて対象物検出手段を制御することにより対象物検出における演算量を削減する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面内の特定の画像領域を抽出する対象物検出装置および対象物検出法方に関し、特に表示画像から人物画像の顔を検出する。
【背景技術】
【０００２】
入力画像から特定の領域、例えば人物画像の場合の顔などの対象物を検出する技術がある。特許文献１では、画像中の濃淡を利用し、２画素（ピクセル）間の濃淡差を特徴量としてあらかじめ学習しておき入力画像と予め学習した特徴量を比較し、比較結果に基づき入力画像中の顔領域を検出する方法が開示されている。
また、特許文献２では、ステレオカメラを用いて入力画像から距離画像を生成し、その距離画像から顔の輪郭モデルまた一方では肌色領域とエッジを抽出し、それらの相関から顔領域を検出する方法が開示されている。
さらに、特許文献３では、入力画像から肌色画像を検出し、背景と分離した後に頭部画像として検出する。この頭部画像から重心と両目、口といった部位を検出してその部位を追跡し、ＣＧキャラクタの表情を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、入力画像がそのまま入力されて顔検出処理されるため、入力画像のサイズが非常に大きい場合は演算量が膨大になる不利益がある。
特許文献２では、顔領域を探索するにあたって肌色領域を利用して探索領域を限定して高速化を図っている。肌色領域の抽出精度が、輪郭モデル決定手段やエッジ抽出手段に影響すると考えられるが、肌色領域の膨張・収縮処理の方法については詳しく開示されていない。
また、特許文献３では、頭部領域検出手段において肌色領域を抽出した後に膨張・収縮マスクを用いて膨張・収縮処理を行っている。しかしこの特許文献３においては、この単純なマスクを用いるだけでもこの処理の演算量とメモリ参照量は１画素について数倍に増え、演算量とメモリ参照量が大幅に増加してしまう不利益がある。
【０００４】
【特許文献１】特開２００５−１５７６７９号公報
【特許文献２】特開２００２−２１６１２９号公報
【特許文献３】特開２００３−１７８３１１号公報
【０００５】
本発明の目的は、上述の不利益を鑑みることにより対象物検出装置または対象物検出方法に関し、任意色をした対象物の検出動作において不要な演算をする必要がなく、対象物検出の演算量を削減することである。
また、対象物検査手段を制御する制御方法を簡単化し且つそれに係るメモリ参照量を少なくし、制御コスト及び消費電力を最小限に抑えて対象物の顔検出の追跡が中断されること無く、検出のスピードを速くすることである。
【課題を解決するための手段】
【０００６】
本発明の対象物検出装置は、対象物を有する画像を入力する画像入力手段と、上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、上記色検出結果に応じて上記画像を２値化する２値化処理手段と、上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、を有する。
【０００７】
上記膨張処理手段は、好適には、上記２値化処理手段の結果を入力し、画像の同一ライン上で、現在位置の結果と現在位置よりも数画素先の２値化処理の結果を先読みする手段と、画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶する手段と、上記現在位置の結果と上記先読みした結果と上記管理した履歴に基いて、現在位置について膨張処理を実行するかしないかを判断する判断手段と、を備え、膨張処理を実行する。
上記制御手段は、好適には、上記記憶手段に上記２値化処理結果の履歴を記憶し、上記ラインの検出結果と上記履歴結果に応じて履歴を可変する。
上記記憶手段は、好適には、画像の同一ライン上の膨張処理により得られた画素の検出結果の有無により履歴結果を可変する。
上記制御装置は、好適には、上記膨張処理結果に基いて、上記対象物検出手段を動作させるか否かを制御する。
【０００８】
本発明の、対象物検出方法は、対象物を検出するための画像を入力する画像入力ステップと、上記入力された画像から所望の色を検出する色検出ステップと、上記色検出の結果を２値化する２値化処理ステップと、上記２値化処理ステップの結果を用いて特定された色領域の対象物を検出する対象物検出ステップと、上記２値化処理ステップの結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理ステップと、上記膨張処理ステップで膨張した２値化領域の色検出の結果に基いて上記対象物検出ステップにおける検出動作をオン、オフ制御する制御ステップと、を有する。
【０００９】
本発明は、入力画像を２値化して２値化データの現在位置の色検出を行い、検出の結果、色検出されたときは顔検出動作を行い、色検出されないとき検索領域を現在位置から所定画素先に膨張し、膨張した位置の画素の色検出結果を求め、この膨張処理した結果と過去の膨張処理における色検出結果を用いて顔検出動作をオン、オフ制御する。
【発明の効果】
【００１０】
本発明の対象物検出装置及び対象物検出方法によれば、２値化膨張処理結果に基いて対象物検出手段を制御するため、不要な演算をする必要がなく、対象物検出における演算量を削減することが可能となる。また、制御方法を簡単化することにより、制御コスト及び消費電力を最小限に抑え顔検出の追跡を中断すること無く検出のスピードを速くすることができる。
【発明を実施するための最良の形態】
【００１１】
図１に、対象物検出装置を有する撮像装置１００の構成例を示す。撮像装置１００は、光学ブロック１０１、信号変換部１０２、カメラ信号処理部１０３、顔検出部１０４、表示処理部１０５、画像信号処理部１０６、記憶部１０７、表示部１０８、画像ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０９、制御部（ＣＰＵ；Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２および画像バス１１３を備える。
【００１２】
光学ブロック１０１は、内部に、被写体を撮像するための不図示のレンズ群、絞り、フォーカス、ズーム、シャッター等の動作を行うメカ装置を備え、これらのメカ装置はＣＰＵやその他ハードウェア等で構成される制御部１１０からの制御信号に応じて各制御が行われる。
【００１３】
信号変換部１０２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子により構成される。入力された被写体の光学像は光学ブロック１０１において結像され、固体撮像素子で被写体像の光信号を映像信号の電気信号に変換し、カメラ信号処理部１０３に供給する。
【００１４】
カメラ信号処理部１０３は、制御部１１０からの制御信号に基づき、信号変換部１０２から出力された映像信号に対して各種の信号処理を行う。例えば、信号変換部１０２からの映像信号をＡ／Ｄ変換しディジタル信号に変換した後にガンマ補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理やカメラ信号処理部１０３で得られた画像データに対してホワイトバランス調整などを行う。
【００１５】
顔検出部（または対象物検出手段）１０４は、カメラ信号処理部１０３で得られた画像データが、画像ＲＡＭ１０９を介して入力され、この入力された画像データの中から例えば人物の顔を検出し、その検出結果を制御部（または対象物検出制御手段）１１０に供給する。
【００１６】
表示処理部１０５は、カメラ信号処理部１０３および後述する画像信号処理部１０６から出力された画像データを、画像ＲＡＭ１０９を介して供給し、例えば、解像度変換等を行った後に表示部１０８に供給する。
【００１７】
表示部１０８は、表示処理部１０５で処理された画像データを表示画面に表示する。表示部１０８としては、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶表示装置）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｓｅｎｃｅ）がある。
【００１８】
画像信号処理部１０６は、カメラ信号処理部１０３から出力された画像データが、画像ＲＡＭ１０９を介して入力され、この画像データを圧縮符号化して、画像データファイルとして記憶部１０７に出力する。
また、画像信号処理部１０６は、記憶部１０７から読み出された画像データファイルを復号し、画像ＲＡＭ１０９を介して表示処理部１０５に供給する。
【００１９】
記憶部１０７は、画像信号処理部１０６により符号化されて生成された画像ファイルを記憶する。記憶部１０７としては、例えば、半導体記憶装置のフラッシュメモリやＲＡＭなどを用いることができる。この記憶部１０７は、記憶された画像データファイルを画像信号処理部１０６に読み出す以外に、画像データファイル中に埋め込まれた顔検出結果などのデータを記憶する。
【００２０】
画像ＲＡＭ１０９は、カメラ信号処理部１０３、顔検出部１０４、表示処理部１０５および画像信号処理部１０６に対して、画像バス１１３を介して接続されている。画像ＲＡＭ１０９は、画像バス１１３に接続されたこれらの処理ブロックにより共有され、各ブロック間では画像ＲＡＭ１０９を介して画像データが授受される。
【００２１】
制御部１１０はＣＰＵ等の制御回路等を備え、ＲＯＭ１１１に予め格納されたプログラムに従い、ＲＡＭ１１２のアプリケーションプログラムを用いて撮像装置（１００）全体を制御する。
【００２２】
図２に、顔検出部（対象物検出手段）１０４の回路ブロックの構成例を示す。顔検出部１０４は、画像変換部としてのスケーリング部２０１、画像バッファ２０２、顔検出処理部としての顔検出コア部２０３、候補領域処理部２０４、コントローラ２０５を備える。
【００２３】
スケーリング部２０１は、画像ＲＡＭ１０９から画像バス１１３を介して読み出した画像データのサイズ（水平、垂直方向の各画素数）を、顔検出コア部２０３で行う顔検出処理に適するように縮小または拡大のスケーリング処理を行い、画像バッファ２０２に供給する。
また、顔を含む可能性の高い候補領域として、候補領域処理部２０４により算出された、顔の検出候補領域ビットマップをコントローラ２０５より受け取り、画像と同様にスケーリング処理を行い、画像バッファ２０２に供給する。
【００２４】
画像バッファ２０２は、スケーリング部２０１によってサイズ変換された画像データを一時的に保持する。そして、コントローラ２０５の制御に基づき、画像データの中から指示された位置における、所定サイズの矩形画像データを切り出す走査処理を行い、顔検出コア部２０３に供給する。
【００２５】
顔検出コア部２０３は、画像バッファ２０２から供給された矩形画像データに対して、顔検出処理を施す。顔検出コア部２０３では、顔検出処理として、顔判定処理、重複判定処理を行い、顔検出結果を制御部１１０と候補領域処理部２０４に出力する。
【００２６】
候補領域処理部２０４は、顔検出コア部２０３から供給された顔の検出結果に基いて、次のフレーム画像で顔が検出される可能性が高い領域を算出し、その領域を次のフレーム画像で、顔の検出候補領域に設定する。なお、顔が検出される可能性が高い領域とは、現フレーム画像で顔が検出された位置の周辺画像である。設定された顔の検出候補領域データはコントローラ２０５に供給される。
【００２７】
コントローラ２０５は、制御部１１０に設けられたＣＰＵ等の制御に基づき、スケーリング部２０１で行う画像データの縮小率（または拡大率）の指示や、画像バッファ２０２の書き込み読み出し時のメモリアドレスの指示など顔検出部１０４の各部を制御する。さらに、このコントローラ２０５は、後述の対象物検出装置３００を有し、顔検出のオン／オフ動作を制御する。
【００２８】
次に、顔検出するための矩形領域の走査処理について図３を用いて説明する。
顔検出に伴う走査処理では、スケーリング部２０１でスケーリング処理した画像データ２５０に対して、所定サイズの矩形領域２５１を水平方向および垂直方向に所定量だけ移動させながら走査し、矩形画像データを切り出す。すなわち、所定サイズの矩形領域２５１を画面の左上の端から水平方向に移動量Δｘだけ移動させ、画像データ２５０の右端まで走査すると、画像データ２５０の左端に戻るとともに垂直方向に移動量Δｙだけ位置を変更し、再び水平方向に走査する。この動作を繰り返して画像データ２５０の右下端まで走査し、矩形画像データを順次切り出す。
【００２９】
顔検出のためにスケーリング処理により画像データを少なくして演算量を削減する方法を説明する。図４に表示画像をスケーリング部２０１により縮小した時の画像を示す。画像データ２５０ａを所定のスケーリング比によりΔｒ倍した画像を画像データ２５０ｂに示し、この画像データ２５０ｂをさらにΔｒ倍した画像を画像データ２５０ｃに示す。以下同様に、所定、または任意のスケーリング比により、画像を縮小する。
図４において、縮小する場合のスケーリング処理の例を示したが、拡大する場合のスケーリング処理も同様に行うことができる。なお、図４に示すように、走査処理の際に走査される矩形領域２５１ａ〜２５１ｅのサイズは、画像データの拡大または縮小した時のサイズによらず、常に同一のサイズとする。
この結果、固定された大きさの矩形領域２５１ａ〜２５１ｅによりデータを削減した画像データ領域２５０ａ〜２５０ｅを走査することにより、効率的に顔領域を検出することができる。
【００３０】
図５に、対象物検出装置３００の構成例を示す。
図５に示す対象物検出手段３０６は図１のカメラ信号処理部１０３、顔検出部１０４と画像ＲＡＭ１０９に対応し、また、肌色検出手段３０２、２値化処理手段３０３、膨張処理手段３０４、対象物検出制御手段３０５等は図２のコントローラ２０５に対応する。
以下、対象画像を種々の背景とした人物画像とし、かつ色検出する特定領域を例えば顔とする。なお、本発明は、色検出に係わり特に肌色に限定するものでなく、他の色であっても良いので特に顔に限定するものではない。
【００３１】
対象物検出装置３００において、画像入力手段３０１は、撮像（カメラ）装置１００で撮影された映像（画像）やカメラ信号処理部１０３から出力された画像を直接またはそれ以外にメモリ等を介して間接に画像を取得しても良い。
【００３２】
肌色検出手段３０２は、画像入力手段３０１を介して入力された画像から人の肌色を検出する。入力された画像データの同一ライン（画面上においては水平走査ラインを示す）の画素の色成分を求め、あらかじめ学習した肌の色成分と比較して、色成分が所定の閾値以上のとき人（肌）が存在すると判断し、所定の閾値以下のとき、人（肌）が存在しないと判別する。
【００３３】
２値化処理手段３０３は、肌色検出手段３０２の結果を２値化するための手段である。各画素に対して色検出動作を行った結果、肌色が検出されると２値化データを“１”に設定し、肌色が検出されないと“０”に設定する。
【００３４】
膨張処理手段３０４は、２値化処理手段３０３の結果に基いて、２値化領域を膨張（拡大）させる手段である。なお、膨張とは、現在の画素位置から数画素先または数画素前まで検出領域を拡大することを示す。
上述した膨張処理手段３０４の構成は、不図示の２値化処理の結果の先読み手段と、２値化処理結果を管理して記憶する記憶手段と、膨張処理を実行するか否かを判断する判断手段とを備える。
先読み手段は、２値化処理手段３０３の結果を入力し、画像の同一ライン（同一水平走査ライン）上で、現在の画素位置の結果よりも数画素先の結果を先読みする。
記憶手段は、画像の同一ライン上で、現在画素位置よりも数画素前の２値化処理結果を管理して履歴値として記憶する。
判断手段は、上記現在画素位置の色検出した結果と、上記先読みして色検出した結果と、上記記憶手段の履歴値に基いて、現在位置について膨張処理を実行するかしないかを判断して膨張処理を実行する。
【００３５】
対象物検出制御手段３０５は、膨張処理手段３０４の結果に基いて対象物検出手段３０６を動作させるか否かを制御する。
【００３６】
対象物検出手段３０６は、上述したように、画像入力手段３０１、スケーリング部２０１、画像バッファ２０２、顔検出コア部２０３、候補領域処理部２０４、コントローラ２０５等で構成される。画像入力部から濃淡画像が入力画像として入力され、この入力画像をスケーリング部で拡大または縮小され、このスケーリング処理された画像上で例えば矩形の領域検出を水平方向または水平かつ垂直方向に走査（スキャン）する。この走査と平行して２値化データに対して上述した膨張処理が行われ、その結果に対応して対象物検出制御手段３０５から制御信号が出力され、対象物検出手段３０６における顔検出の動作がオン／オフ制御される。この顔検出の動作が繰り返されることにより、入力画像の中から特定の対象物の顔を検出する。
【００３７】
対象物検出結果３０７は、対象物検出手段３０６から検出された対象物の検出結果で、例えば人物の場合の顔を示す。
【００３８】
図６に、本発明の一実施形態である対象物検出装置３００の動作を説明するフローチャートを示す。
【００３９】
まず、入力画像をカメラ装置等を用いて取得する（ステップＳ２０１）。画像は、カメラ装置等において、不図示のレンズ群を介して結像された対象物の光像をＣＣＤやＣＭＯＳイメージャーで光信号を撮像信号（電気信号）に変換して、その変換された画像信号を信号処理することにより取得する。
【００４０】
次に、ステップＳ２０１で取得した画像信号（画像データ）から肌色領域を検出する（ステップＳ２０２）。信号処理された画像信号から色信号を抽出し、ＲＧＢ座標上の色信号をさらに例えばＨＬＳ（Ｈｕｅ Ｌｕｍｉｎａｎｃｅ Ｓａｔｕｒａｔｉｏｎ）色座標等へ座標変換し各画素（ピクセル）毎の色成分を取り出す。色検出するとき、この画素の範囲を特定することにより、この範囲内で各画素の色成分とあらかじめ学習した肌色の色成分と比較し、比較結果が予め設定された閾値以上であると特定された色、例えば肌色と判断し、閾値以下のときは肌色でないと判断する。
【００４１】
次に、２値化処理を行う（ステップＳ２０３）。肌色領域を検出した後の２値化処理において、例えば、画像の同一ラインの水平方向において画素毎の肌色を検出した結果、肌色と判断されたとき、２値化データを“１”と設定し、肌色と判断されないとき、“０”と設定する。
【００４２】
次に、ステップＳ２０３の結果に基いて、膨張処理を行うか行わないかを判断する(ステップＳ２０４)。膨張処理を行うと判断した時は、膨張処理を実行し（ステップＳ２０５）、膨張処理を行わない時は次のステップＳ２０６に遷移する。なお、膨張処理とは、例えば画像の水平方向の同一ラインにおいて、現在位置の肌色検出を行おうとする画素を基準に数画素先あるいは数画素の後の画素まで領域を広げて検出処理することを示す。上述した膨張処理についての詳細な説明は後述する。
【００４３】
次に、２値化領域を生成する（ステップＳ２０６）。膨張処理により得られた肌色検出領域のデータから、２値化データが“１”の領域が肌色検出領域と特定される。膨張処理された後の２値化領域の具体例は、後述の図１０（ｂ）のブロック６０２ａ、図１０（ｄ）のブロック６０２ｃに示す。
【００４４】
次に、ステップＳ２０６で得られた結果に基いて、対象物検出手段３０６を動作させるか否か判断する（ステップＳ２０７）。
【００４５】
ステップＳ２０６で得られた結果が“１”であれば、対象物検出手段３０６を動作（オン）させて対象物を検出する（ステップＳ２０８）。対象物検出手段３０６が動作すると、上述したように、スケーリングされた画像上で例えば矩形の検出領域が水平方向または水平かつ垂直方向に走査され、肌色に該当する特定領域、例えば顔などの対象物が検出される。
一方、ステップＳ２０６で得られた結果が“０”であれば、対象物検出手段３０６は動作せず次のステップ（ステップＳ２１０）に遷移する。
【００４６】
次に、対象物の検出結果を得る（ステップＳ２０９）。この検出結果は、人物の肌色を有する特定領域、例えば顔を示す。
【００４７】
最後に、入力が終了したかどうかを判定し（ステップＳ２１０）、終了していなければステップＳ２０２に遷移し、終了していれば処理を完了する。
【００４８】
なお、ステップＳ２０７で対象物検出制御手段３０５の動作を開始するか否かについて判断した結果、人の肌色が存在しなければ、顔検出動作を行う必要がないので対象物検出手段（３０６）の動作を停止（オフ）することにより不要な演算をする必要がなく、高速に演算を行うことが可能となる。また、それに伴うメモリ参照も行うことがない。
【００４９】
なお、入力が完了したかどうかの判定により遷移するステップはステップＳ２０２に限定されるものではない。例えば、ステップＳ２０２〜Ｓ２０６までの処理をまとめて先に処理しておき、ステップＳ２０７へ遷移しても良い。その後、ステップＳ２０７〜Ｓ２０９までの処理を実行することもできる。
【００５０】
図７に、上述したステップＳ２０２〜Ｓ２０６を省略した場合の対象物検出動作を説明するためのフローチャートを示す。
図７において、図６に示すステップＳ２０２〜Ｓ２０６をまとめた処理をステップＳ２０６ａとする。
まず、膨張処理後の２値化領域のデータを取得する（ステップＳ２０６ａ）。
次に、２値化領域データを用いて、対象物検出制御手段３０５を動作させるか否かを判定する。判定した結果、２値化データが“１”のとき（ｙｅｓ）ステップＳ２０８へ遷移し、“０”のとき、ステップＳ２１０へ遷移する（ステップＳ２０７）。
２値化データが“１”のとき、対象物検出の動作を行う（ステップＳ２０８）。
検出動作により、対象物に関する検出結果を得る（ステップＳ２０９）。対象物検査結果の取得が終わると画像入力が終了したかどうかを判定し（ステップＳ２１０）、終了するとステップＳ２１１に遷移し、終了しないときは、ステップＳ２０７に遷移し、上述した動作を繰り返す。
【００５１】
このように、図７に示すフローチャートに従って動作する対象物検出装置３００は、ステップＳ２０２〜Ｓ２０６までの処理（ステップＳ２０６ａ）と、ステップＳ２０７〜Ｓ２０９までの処理をパイプライン的に動作させることができるので、図６のフローチャートを用いた場合と比較して処理時間を短くすることができる。
【００５２】
よって、本発明は、非常に簡単な制御にて膨張処理を実行することができる。また、膨張処理を実行するにあたり、画像の同一ライン上の１画素のみの参照であるため、演算量、メモリ参照量共に、例えば３ｘ３のマスクを用いる場合に比べて非常に少なくて済む。
【００５３】
また、本発明は、対象物検出手段の動作を制御する制御方法が非常に簡単であり、且つそれに係るメモリ参照量も少ないため、制御コスト及び消費電力を最小限に抑えることができる。
【００５４】
図８に、膨張処理手段３０４の動作の概要を説明するためのフローチャートを示す。また、図９に、膨張処理手段３０４が備えている記憶手段の動作の概要を説明するためのフローチャートを示す。
【００５５】
次に、図８及び図９を用いて膨張処理の動作について説明する。説明を簡略化するため、これら図８及び図９においては、画像の同一ライン上で現在位置の画素に対して±２画素で膨張処理を行う例を示す。なお、画素の膨張領域は原理的に同一ライン上であれば特に画素数は限定されない。
【００５６】
図８において、２値化処理手段３０３で肌色検出手段３０２で各画素に対応した検出データに基いて２値化処理結果を取得する（ステップＳ４０１）。ステップＳ４０１で取得された画素の検出結果は、２値化処理がされているため、２値化データは“０”または“１”の値である。
【００５７】
ステップＳ４０１の結果が、“１”であるか否かを判定する（ステップＳ４０２）。判定した結果が“１”（“ｙｅｓ”）であれば、ステップＳ４０５に遷移し、一方“０”（“ｎｏ”）であれば、ステップＳ４０３に遷移する。
【００５８】
ステップＳ４０３では、膨張処理の動作を行う。すなわち、画像の同一ライン上で現在の画素位置より２画素先（＋２画素）を検出し、その結果が“１”であるかどうかを判定する。判定した結果、２画素先のデータが“１”（“ｙｅｓ”）であれば、ステップＳ４０５へ遷移し、“０”（“ｎｏ”）であれば、ステップＳ４０４に遷移する。
【００５９】
ステップＳ４０４では、記憶手段で記憶している履歴が残っているかどうかを判定する。履歴が残っていれば（“ｙｅｓ”の場合）、上述したようにステップＳ４０５へ進み、履歴が残っていなければ（“ｎｏ”の場合）、ステップＳ４０６に進む。ここで、履歴とは、膨張処理を管理するため過去の膨張処理の結果を記憶手段に記憶された値を示す。
【００６０】
ステップＳ４０５では、２値化処理結果の取得データが“１”の場合（ステップＳ４０２で“ｙｅｓ”）、２値化処理結果の取得データが“０”（ステップＳ４０２で“ｎｏ”）かつ現在位置よりたとえば２画素先の結果が“１”の場合（ステップＳ４０３で“ｙｅｓ”）、または記憶手段に履歴結果が残っている場合（ステップＳ４０４で“ｙｅｓ”）は、記憶手段に１がセットされ、そしてステップＳ４０６に遷移する。
【００６１】
ステップＳ４０６では、画像データの入力が終了したかどうかを判定する。画像データの入力が終了していなければ、ステップＳ４０１へ戻りステップＳ４０１〜Ｓ４０５の動作を繰り返し、終了していれば、処理が完了する（ステップＳ４０７）。ここで、膨張処理における検出画素数は±２画素は限定されるものではなく、任意に設定が可能である。また、この他、先読み画素数が３、履歴は１にするなど、膨張処理の画素数と記憶手段に記憶する履歴の値をアンバランスな設定をしてもよい。
【００６２】
次に、上記履歴を管理している記憶手段の動作について図９に示すフローチャートを用いて説明する。
まず、記憶手段に記憶されている履歴を初期化する（ステップＳ５０１）。例えば、２値化データの“０”を記憶手段に記憶する。
【００６３】
次に、２値化処理の結果を取得する（ステップＳ５０２）。具体的には、画像の同一ラインの画素の肌色の検出を行い、検出した画素の色成分をあらかじめ学習した肌色成分と比較して、所定の閾値以上かまたはそれ以下かを判別する。判別された結果の２値化データは“０”または“１”である。
【００６４】
次に、ステップＳ５０２ので得られた取得結果を判定する（ステップＳ５０３）。判定結果が“１”（“ｙｅｓ”の場合）であればステップＳ５０４に遷移し、“０”（“ｎｏ”の場合）であればステップＳ５０５に遷移する。
【００６５】
ステップＳ５０４では、記憶手段に記憶される履歴を最大にセットし、ステップＳ５０７に遷移する。ここで、最大にセットするとは、ここでは±２画素の膨張処理を行っているため例えば“２”とする。
【００６６】
ステップＳ５０５では、画素の現在位置より２画素先の２値化処理の検出結果が“１”であるかどうかを判定する。判定結果が、“１”（“ｙｅｓ”の場合）であればステップＳ５０６へ遷移し、“０”（“ｎｏ”の場合）であればステップＳ５０７へ遷移する。
【００６７】
ステップＳ５０６では、記憶手段に記憶されている履歴（値）を変更せず、ステップＳ５０９に遷移する。
【００６８】
ステップＳ５０７では、記憶手段に履歴が残っているかどうかを判定する。履歴が残っていれば（“ｙｅｓ”の場合）、ステップＳ５０８へ遷移し、履歴が残っていなければ（“ｎｏ”の場合）ステップＳ５０６へ遷移する。
【００６９】
ステップＳ５０８では、記憶された履歴値から１減算し、ステップＳ５０９へ遷移する。ここで、履歴の減算数は１に限定されるものではなく、減算結果が正である範囲ならば減算数は任意の値に設定してもよい。
【００７０】
ステップＳ５０９では、記憶手段に記憶されている履歴を更新し、ステップＳ５１０に遷移する。
【００７１】
ステップＳ５１０では、画像入力が終了したかどうかを判定する。終了していない（“ｎｏ”の場合）のであればステップＳ５０２へ戻り、終了していれば（“ｙｅｓ”の場合）記憶手段に記憶する履歴の設定処理が完了する（ステップＳ５１１）。なお、膨張処理における検出画素数は±２画素は限定されるものではなく、任意に設定が可能である。また、先読み画素数が３、履歴は１にするなどアンバランスな設定をしてもよい。
【００７２】
図１０に、図８及び図９を用いて説明した画素の色検出における膨張処理の動作を模式的に示す。図１０（ａ）〜（ｅ）は、時刻Ｔ１〜Ｔ５の時間経過に伴って膨張処理で得られる画素データを示す。
符号６０１のブロックは、膨張処理前の画像の同一ラインの画素に関する２値化処理結果を示し、肌色検出され２値化処理を施された画素は斜線で示し、肌色と検出されなかった画素は白で示す。
符号６０２のブロックは、本発明の膨張処理を施した後の結果を示す。符号６０３のブロックは、膨張処理手段３０４が備えている記憶手段の履歴値を示す。
【００７３】
図１０（ａ）に示す時刻Ｔ１において、符号６０１のブロックは膨張処理する前の画素データを示し、膨張処理は行っていないので符号ブロック６０２に示すデータとなる。符号ブロック６０２において、肌色検出される画素（データ）は存在せず、現在位置の２画素Ｐ１、Ｐ２（データ）は、“０”である。ステップＳ４０５の判定により結果は“０”のままとなり、ステップＳＳ５０７の判定により履歴は変更されない。その結果、符号ブロック６０３に示す履歴は“０”となる。
なお、時刻Ｔ１のとき膨張処理されずまた、履歴値が“０”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作停止の制御信号が出力されるので、顔検出の動作は行わない。
すなわち、従来は対象物検出手段３０６で対象物検出動作が行われていたが、膨張処理手段３０４と対象物検出制御手段３０５の一連の動作により、対象物検出手段３０６の動作が停止（オフ）される。
【００７４】
次に、図１０（ｂ）に示す時刻Ｔ２において、符号６０１ａブロックに２値化処理された２画素Ｐ３、Ｐ４を示し、符号ブロック６０２ａに同一ラインの２画素先の画素Ｐ５、Ｐ６に膨張処理した画素を示す。符号ブロック６０２ａの画素の現在位置Ｐ３、Ｐ４の２値化処理結果は、“０”であるので（ステップＳ５０３で“ｎｏ”の場合）、膨張処理の動作を行い画素Ｐ３に対する２画素先の画素Ｐ５を検出し、その結果は“１”である。また画素Ｐ３の膨張処理動作に引き続き続いて画素Ｐ４に関する膨張処理動作が行われ、２画素先の画素Ｐ６は“１”であるので、処理結果は“１”である。
すなわち、現在位置の画素と２画素先の画素が順次検出され、Ｐ３とＰ４に対する膨張処理結果はそれぞれ“１”である。ステップＳ５０５で判定した結果が“１”であるのでステップＳ５０６に遷移し、記憶手段の履歴は変更されないために記憶手段の履歴は“０”である（符号ブロック６０３ｂ）。そして、まだ、画像入力は終了していないので、ステップＳ５０２に遷移し、フローチャートに従った動作を繰り返す。
上述したように、時刻Ｔ２のとき膨張処理の処理結果が“１”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作開始の制御信号が出力されるので、顔検出の動作は行われる。
【００７５】
図１０（ｃ）に示す時刻Ｔ３において、２値化処理データを示す符号ブロック６０１ｂの５画素Ｐ５〜Ｐ９に肌色が存在する。符号ブロック６０２ｂにおいて、肌色は５画素Ｐ５〜Ｐ９で順次検出される。その結果、符号ブロック６０２ｂでは、時刻Ｔ２で検出された２画素Ｐ１、Ｐ２と今回検出された５画素Ｐ５〜Ｐ９に肌色が存在する。時刻Ｔ３で注目した５画素Ｐ５〜Ｐ９は、ステップＳ４０２の判定により“1”にセットされ、ステップＳ５０３の判定によりステップＳ５０４に遷移し、その結果、履歴を例えば最大値の２にセットし（符号６０３ｂ）、履歴を更新する（ステップＳ５０７）。まだ、同一ラインの画素Ｐ１０〜Ｐ１３の検出を終了していないので、ステップＳ５０２へ遷移する。
時刻Ｔ３のときは、画素Ｐ５〜Ｐ９は２値化処理の結果が“１”であるから顔検出の動作が行われる。
【００７６】
図１０（ｄ）に示す時刻Ｔ４において、注目した２画素Ｐ１０、Ｐ１１は、２値化処理結果の取得結果が“０”である。ステップＳ５０３の処理において、現在位置の画素Ｐ１０、Ｐ１１の検出結果が“０”であるので、ステップＳ５０５で膨張処理する。２画素後の画素Ｐ８、Ｐ９の結果が“１”であり、一方、２画素先の画素Ｐ１２、Ｐ１３の検出結果は“０”であるので、ステップＳ５０７に遷移する。記憶手段に履歴“２”が記憶されているので、ステップＳ５０９において、各画素（Ｐ１１、Ｐ１２）の膨張処理に伴い履歴値が１つずつ減少し、“２”から“１”、“０”と変化する（符号ブロック６０３ｃ）。
時刻Ｔ４のときは２画素後の膨張処理の判定結果が“１”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ処理動作を行う制御信号が出力され、顔検出の動作が行われる。
このように、２画素後または２画素前の膨張処理を行うことにより、例えば顔検出の領域で肌色と異なり例えば目や眉などの肌色以外の色を有する領域を検出し、２値化処理して肌色でないと検出しても、顔検出動作を停止せず所定の範囲（たとえば現在画素の位置に対して２画素前、２画素後の範囲）で色検出操作を続行して肌色領域を効率的に検出できる。
【００７７】
図１０（ｅ）に示す時刻Ｔ５において、注目した現在位置の２画素Ｐ１２、Ｐ１３は、ステップＳ５０２において２値化処理結果のデータは“０”である（符号ブロック６０１ｄ）。
ステップＳ５０３においてステップＳ５０２で得られたデータが“１”か“０”を判定し、判定結果が“０”であるのでステップＳ５０５へ遷移する。ステップＳ５０５において、現在位置の画素Ｐ１２、Ｐ１３より２画素先の画素は無く、また２画素後の画素は“０”であるから検出結果は“０”となり、ステップＳ５０７に遷移する。そして、ステップ５０７の判定において、履歴は時刻Ｔ４で“０”に更新され時刻Ｔ５においては履歴が残っていないので、その結果は“０”のままとなり、履歴は変更されない（ステップＳ５０６）。最後に画像入力が終了となり処理が完了する（ステップＳ５１０）。
なお、時刻Ｔ５のとき膨張処理結果が“０”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作停止の制御信号が出力されるので、顔検出の動作は停止される。
【００７８】
このように図６と図7で示すフローチャートに従って画素毎の膨張処理が行われて２値化領域が生成され（ステップＳ２０６）、膨張処理結果に基いて対象物検出手段３０６を動作させるか否か判断する（ステップＳ２０７）。そして、上述したように、ステップＳ２０６で得られた結果が“１”であれば、対象物検出手段３０６を動作させて対象物を検出する（ステップＳ２０８）。対象物検出手段３０６が動作すると、上述したように、スケーリングされた画像上で例えば矩形の検出領域が水平方向または水平かつ垂直方向に走査され、肌色に該当する特定領域、例えば顔などの対象物が検出される。
【００７９】
以上述べたように、本発明は、入力画像から所望の色を検出する肌色検出手段と、検出した肌色結果を２値化する２値化処理手段と、２値化処理手段の結果に基いて２値化領域を膨張させる膨張処理手段を有して、２値化膨張処理結果に基いて対象物検出装置を制御するため、不要な演算をする必要がなく、対象物検出における演算量を削減することが可能となる。
また、対象物検出の制御方法が非常に簡単であり、且つそれに係るメモリ参照量も少ないため、制御コスト及び消費電力を最小限に抑えることが可能となる。
【００８０】
本発明において、対象物を有する画像を入力する画像入力手段は、画像入力手段３０１に対応する。上記画像入力手段から入力された画像から所望の色を検出する色検出手段は、肌色検出手段３０２に対応する。上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段は、対象物検出手段３０６に対応する。上記色検出結果に応じて上記画像を２値化する２値化処理手段は、２値化処理手段３０３に対応する。上記２値化処理手段の結果に基いて上記画像の検出した現在位置から２値化領域を膨張させる膨張処理手段は、膨張処理手段３０４に対応する。上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段は、対象物検出制御手段３０５に対応する。
【図面の簡単な説明】
【００８１】
【図１】図１は、撮像装置のブロック構成図である。
【図２】図２は、図１に示した撮像装置の画像検出部のブロック構成図である。
【図３】図３は、フレーム画像を特定の大きさの検出領域で水平または垂直方向に走査する例である。
【図４】図４は、フレーム画像を縮小した時の特定の大きさの検出領域で水平または垂直方向に走査する例である。
【図５】図５は、対象物検出装置の構成を示すブロック図である。
【図６】図６は、対象物検出装置の動作を説明するためのフローチャートである。
【図７】図７は、対象物検出装置のパイプライン動作を説明するためのフローチャートである。
【図８】図８は、膨張処理手段の動作を説明するためのフローチャートである。
【図９】図９は、膨張処理手段に備えられた記憶手段の動作を説明するためのフローチャートである。
【図１０】図１０は、膨張処理手段の動作を説明するために画像ラインの画素データと膨張処理結果を模式的に示した図である。
【符号の説明】
【００８２】
１００…撮像装置、１０１…光学ブロック、１０２…信号変換部、１０３…カメラ信号処理部、１０４…顔検出部、１０５…表示処理部、１０６…画像信号処理部、１０７…記憶部、１０８…表示部、１０９…画像ＲＡＭ、１１０…制御部（ＣＰＵ）、１１１…ＲＯＭ、１１２…ＲＡＭ、１１３…画像バス、２０１…スケーリング部、２０２…画像バッファ、２０３…顔検出コア部、２０４…候補領域処理部、２０５…コントローラ、２５０，２５０ａ〜２５０ｅ…画像データ、２５１，２５２…矩形領域、３００…対象物検出装置、３０１…画像入力手段、３０２…肌色検出手段、３０３…２値化処理手段、３０４…膨張処理手段、３０５…対象物検出制御手段、３０６…対象物検出手段。
【技術分野】
【０００１】
本発明は、表示画面内の特定の画像領域を抽出する対象物検出装置および対象物検出法方に関し、特に表示画像から人物画像の顔を検出する。
【背景技術】
【０００２】
入力画像から特定の領域、例えば人物画像の場合の顔などの対象物を検出する技術がある。特許文献１では、画像中の濃淡を利用し、２画素（ピクセル）間の濃淡差を特徴量としてあらかじめ学習しておき入力画像と予め学習した特徴量を比較し、比較結果に基づき入力画像中の顔領域を検出する方法が開示されている。
また、特許文献２では、ステレオカメラを用いて入力画像から距離画像を生成し、その距離画像から顔の輪郭モデルまた一方では肌色領域とエッジを抽出し、それらの相関から顔領域を検出する方法が開示されている。
さらに、特許文献３では、入力画像から肌色画像を検出し、背景と分離した後に頭部画像として検出する。この頭部画像から重心と両目、口といった部位を検出してその部位を追跡し、ＣＧキャラクタの表情を制御する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、入力画像がそのまま入力されて顔検出処理されるため、入力画像のサイズが非常に大きい場合は演算量が膨大になる不利益がある。
特許文献２では、顔領域を探索するにあたって肌色領域を利用して探索領域を限定して高速化を図っている。肌色領域の抽出精度が、輪郭モデル決定手段やエッジ抽出手段に影響すると考えられるが、肌色領域の膨張・収縮処理の方法については詳しく開示されていない。
また、特許文献３では、頭部領域検出手段において肌色領域を抽出した後に膨張・収縮マスクを用いて膨張・収縮処理を行っている。しかしこの特許文献３においては、この単純なマスクを用いるだけでもこの処理の演算量とメモリ参照量は１画素について数倍に増え、演算量とメモリ参照量が大幅に増加してしまう不利益がある。
【０００４】
【特許文献１】特開２００５−１５７６７９号公報
【特許文献２】特開２００２−２１６１２９号公報
【特許文献３】特開２００３−１７８３１１号公報
【０００５】
本発明の目的は、上述の不利益を鑑みることにより対象物検出装置または対象物検出方法に関し、任意色をした対象物の検出動作において不要な演算をする必要がなく、対象物検出の演算量を削減することである。
また、対象物検査手段を制御する制御方法を簡単化し且つそれに係るメモリ参照量を少なくし、制御コスト及び消費電力を最小限に抑えて対象物の顔検出の追跡が中断されること無く、検出のスピードを速くすることである。
【課題を解決するための手段】
【０００６】
本発明の対象物検出装置は、対象物を有する画像を入力する画像入力手段と、上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、上記色検出結果に応じて上記画像を２値化する２値化処理手段と、上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、を有する。
【０００７】
上記膨張処理手段は、好適には、上記２値化処理手段の結果を入力し、画像の同一ライン上で、現在位置の結果と現在位置よりも数画素先の２値化処理の結果を先読みする手段と、画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶する手段と、上記現在位置の結果と上記先読みした結果と上記管理した履歴に基いて、現在位置について膨張処理を実行するかしないかを判断する判断手段と、を備え、膨張処理を実行する。
上記制御手段は、好適には、上記記憶手段に上記２値化処理結果の履歴を記憶し、上記ラインの検出結果と上記履歴結果に応じて履歴を可変する。
上記記憶手段は、好適には、画像の同一ライン上の膨張処理により得られた画素の検出結果の有無により履歴結果を可変する。
上記制御装置は、好適には、上記膨張処理結果に基いて、上記対象物検出手段を動作させるか否かを制御する。
【０００８】
本発明の、対象物検出方法は、対象物を検出するための画像を入力する画像入力ステップと、上記入力された画像から所望の色を検出する色検出ステップと、上記色検出の結果を２値化する２値化処理ステップと、上記２値化処理ステップの結果を用いて特定された色領域の対象物を検出する対象物検出ステップと、上記２値化処理ステップの結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理ステップと、上記膨張処理ステップで膨張した２値化領域の色検出の結果に基いて上記対象物検出ステップにおける検出動作をオン、オフ制御する制御ステップと、を有する。
【０００９】
本発明は、入力画像を２値化して２値化データの現在位置の色検出を行い、検出の結果、色検出されたときは顔検出動作を行い、色検出されないとき検索領域を現在位置から所定画素先に膨張し、膨張した位置の画素の色検出結果を求め、この膨張処理した結果と過去の膨張処理における色検出結果を用いて顔検出動作をオン、オフ制御する。
【発明の効果】
【００１０】
本発明の対象物検出装置及び対象物検出方法によれば、２値化膨張処理結果に基いて対象物検出手段を制御するため、不要な演算をする必要がなく、対象物検出における演算量を削減することが可能となる。また、制御方法を簡単化することにより、制御コスト及び消費電力を最小限に抑え顔検出の追跡を中断すること無く検出のスピードを速くすることができる。
【発明を実施するための最良の形態】
【００１１】
図１に、対象物検出装置を有する撮像装置１００の構成例を示す。撮像装置１００は、光学ブロック１０１、信号変換部１０２、カメラ信号処理部１０３、顔検出部１０４、表示処理部１０５、画像信号処理部１０６、記憶部１０７、表示部１０８、画像ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０９、制御部（ＣＰＵ；Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２および画像バス１１３を備える。
【００１２】
光学ブロック１０１は、内部に、被写体を撮像するための不図示のレンズ群、絞り、フォーカス、ズーム、シャッター等の動作を行うメカ装置を備え、これらのメカ装置はＣＰＵやその他ハードウェア等で構成される制御部１１０からの制御信号に応じて各制御が行われる。
【００１３】
信号変換部１０２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子により構成される。入力された被写体の光学像は光学ブロック１０１において結像され、固体撮像素子で被写体像の光信号を映像信号の電気信号に変換し、カメラ信号処理部１０３に供給する。
【００１４】
カメラ信号処理部１０３は、制御部１１０からの制御信号に基づき、信号変換部１０２から出力された映像信号に対して各種の信号処理を行う。例えば、信号変換部１０２からの映像信号をＡ／Ｄ変換しディジタル信号に変換した後にガンマ補正やＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）などの処理やカメラ信号処理部１０３で得られた画像データに対してホワイトバランス調整などを行う。
【００１５】
顔検出部（または対象物検出手段）１０４は、カメラ信号処理部１０３で得られた画像データが、画像ＲＡＭ１０９を介して入力され、この入力された画像データの中から例えば人物の顔を検出し、その検出結果を制御部（または対象物検出制御手段）１１０に供給する。
【００１６】
表示処理部１０５は、カメラ信号処理部１０３および後述する画像信号処理部１０６から出力された画像データを、画像ＲＡＭ１０９を介して供給し、例えば、解像度変換等を行った後に表示部１０８に供給する。
【００１７】
表示部１０８は、表示処理部１０５で処理された画像データを表示画面に表示する。表示部１０８としては、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶表示装置）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｓｅｎｃｅ）がある。
【００１８】
画像信号処理部１０６は、カメラ信号処理部１０３から出力された画像データが、画像ＲＡＭ１０９を介して入力され、この画像データを圧縮符号化して、画像データファイルとして記憶部１０７に出力する。
また、画像信号処理部１０６は、記憶部１０７から読み出された画像データファイルを復号し、画像ＲＡＭ１０９を介して表示処理部１０５に供給する。
【００１９】
記憶部１０７は、画像信号処理部１０６により符号化されて生成された画像ファイルを記憶する。記憶部１０７としては、例えば、半導体記憶装置のフラッシュメモリやＲＡＭなどを用いることができる。この記憶部１０７は、記憶された画像データファイルを画像信号処理部１０６に読み出す以外に、画像データファイル中に埋め込まれた顔検出結果などのデータを記憶する。
【００２０】
画像ＲＡＭ１０９は、カメラ信号処理部１０３、顔検出部１０４、表示処理部１０５および画像信号処理部１０６に対して、画像バス１１３を介して接続されている。画像ＲＡＭ１０９は、画像バス１１３に接続されたこれらの処理ブロックにより共有され、各ブロック間では画像ＲＡＭ１０９を介して画像データが授受される。
【００２１】
制御部１１０はＣＰＵ等の制御回路等を備え、ＲＯＭ１１１に予め格納されたプログラムに従い、ＲＡＭ１１２のアプリケーションプログラムを用いて撮像装置（１００）全体を制御する。
【００２２】
図２に、顔検出部（対象物検出手段）１０４の回路ブロックの構成例を示す。顔検出部１０４は、画像変換部としてのスケーリング部２０１、画像バッファ２０２、顔検出処理部としての顔検出コア部２０３、候補領域処理部２０４、コントローラ２０５を備える。
【００２３】
スケーリング部２０１は、画像ＲＡＭ１０９から画像バス１１３を介して読み出した画像データのサイズ（水平、垂直方向の各画素数）を、顔検出コア部２０３で行う顔検出処理に適するように縮小または拡大のスケーリング処理を行い、画像バッファ２０２に供給する。
また、顔を含む可能性の高い候補領域として、候補領域処理部２０４により算出された、顔の検出候補領域ビットマップをコントローラ２０５より受け取り、画像と同様にスケーリング処理を行い、画像バッファ２０２に供給する。
【００２４】
画像バッファ２０２は、スケーリング部２０１によってサイズ変換された画像データを一時的に保持する。そして、コントローラ２０５の制御に基づき、画像データの中から指示された位置における、所定サイズの矩形画像データを切り出す走査処理を行い、顔検出コア部２０３に供給する。
【００２５】
顔検出コア部２０３は、画像バッファ２０２から供給された矩形画像データに対して、顔検出処理を施す。顔検出コア部２０３では、顔検出処理として、顔判定処理、重複判定処理を行い、顔検出結果を制御部１１０と候補領域処理部２０４に出力する。
【００２６】
候補領域処理部２０４は、顔検出コア部２０３から供給された顔の検出結果に基いて、次のフレーム画像で顔が検出される可能性が高い領域を算出し、その領域を次のフレーム画像で、顔の検出候補領域に設定する。なお、顔が検出される可能性が高い領域とは、現フレーム画像で顔が検出された位置の周辺画像である。設定された顔の検出候補領域データはコントローラ２０５に供給される。
【００２７】
コントローラ２０５は、制御部１１０に設けられたＣＰＵ等の制御に基づき、スケーリング部２０１で行う画像データの縮小率（または拡大率）の指示や、画像バッファ２０２の書き込み読み出し時のメモリアドレスの指示など顔検出部１０４の各部を制御する。さらに、このコントローラ２０５は、後述の対象物検出装置３００を有し、顔検出のオン／オフ動作を制御する。
【００２８】
次に、顔検出するための矩形領域の走査処理について図３を用いて説明する。
顔検出に伴う走査処理では、スケーリング部２０１でスケーリング処理した画像データ２５０に対して、所定サイズの矩形領域２５１を水平方向および垂直方向に所定量だけ移動させながら走査し、矩形画像データを切り出す。すなわち、所定サイズの矩形領域２５１を画面の左上の端から水平方向に移動量Δｘだけ移動させ、画像データ２５０の右端まで走査すると、画像データ２５０の左端に戻るとともに垂直方向に移動量Δｙだけ位置を変更し、再び水平方向に走査する。この動作を繰り返して画像データ２５０の右下端まで走査し、矩形画像データを順次切り出す。
【００２９】
顔検出のためにスケーリング処理により画像データを少なくして演算量を削減する方法を説明する。図４に表示画像をスケーリング部２０１により縮小した時の画像を示す。画像データ２５０ａを所定のスケーリング比によりΔｒ倍した画像を画像データ２５０ｂに示し、この画像データ２５０ｂをさらにΔｒ倍した画像を画像データ２５０ｃに示す。以下同様に、所定、または任意のスケーリング比により、画像を縮小する。
図４において、縮小する場合のスケーリング処理の例を示したが、拡大する場合のスケーリング処理も同様に行うことができる。なお、図４に示すように、走査処理の際に走査される矩形領域２５１ａ〜２５１ｅのサイズは、画像データの拡大または縮小した時のサイズによらず、常に同一のサイズとする。
この結果、固定された大きさの矩形領域２５１ａ〜２５１ｅによりデータを削減した画像データ領域２５０ａ〜２５０ｅを走査することにより、効率的に顔領域を検出することができる。
【００３０】
図５に、対象物検出装置３００の構成例を示す。
図５に示す対象物検出手段３０６は図１のカメラ信号処理部１０３、顔検出部１０４と画像ＲＡＭ１０９に対応し、また、肌色検出手段３０２、２値化処理手段３０３、膨張処理手段３０４、対象物検出制御手段３０５等は図２のコントローラ２０５に対応する。
以下、対象画像を種々の背景とした人物画像とし、かつ色検出する特定領域を例えば顔とする。なお、本発明は、色検出に係わり特に肌色に限定するものでなく、他の色であっても良いので特に顔に限定するものではない。
【００３１】
対象物検出装置３００において、画像入力手段３０１は、撮像（カメラ）装置１００で撮影された映像（画像）やカメラ信号処理部１０３から出力された画像を直接またはそれ以外にメモリ等を介して間接に画像を取得しても良い。
【００３２】
肌色検出手段３０２は、画像入力手段３０１を介して入力された画像から人の肌色を検出する。入力された画像データの同一ライン（画面上においては水平走査ラインを示す）の画素の色成分を求め、あらかじめ学習した肌の色成分と比較して、色成分が所定の閾値以上のとき人（肌）が存在すると判断し、所定の閾値以下のとき、人（肌）が存在しないと判別する。
【００３３】
２値化処理手段３０３は、肌色検出手段３０２の結果を２値化するための手段である。各画素に対して色検出動作を行った結果、肌色が検出されると２値化データを“１”に設定し、肌色が検出されないと“０”に設定する。
【００３４】
膨張処理手段３０４は、２値化処理手段３０３の結果に基いて、２値化領域を膨張（拡大）させる手段である。なお、膨張とは、現在の画素位置から数画素先または数画素前まで検出領域を拡大することを示す。
上述した膨張処理手段３０４の構成は、不図示の２値化処理の結果の先読み手段と、２値化処理結果を管理して記憶する記憶手段と、膨張処理を実行するか否かを判断する判断手段とを備える。
先読み手段は、２値化処理手段３０３の結果を入力し、画像の同一ライン（同一水平走査ライン）上で、現在の画素位置の結果よりも数画素先の結果を先読みする。
記憶手段は、画像の同一ライン上で、現在画素位置よりも数画素前の２値化処理結果を管理して履歴値として記憶する。
判断手段は、上記現在画素位置の色検出した結果と、上記先読みして色検出した結果と、上記記憶手段の履歴値に基いて、現在位置について膨張処理を実行するかしないかを判断して膨張処理を実行する。
【００３５】
対象物検出制御手段３０５は、膨張処理手段３０４の結果に基いて対象物検出手段３０６を動作させるか否かを制御する。
【００３６】
対象物検出手段３０６は、上述したように、画像入力手段３０１、スケーリング部２０１、画像バッファ２０２、顔検出コア部２０３、候補領域処理部２０４、コントローラ２０５等で構成される。画像入力部から濃淡画像が入力画像として入力され、この入力画像をスケーリング部で拡大または縮小され、このスケーリング処理された画像上で例えば矩形の領域検出を水平方向または水平かつ垂直方向に走査（スキャン）する。この走査と平行して２値化データに対して上述した膨張処理が行われ、その結果に対応して対象物検出制御手段３０５から制御信号が出力され、対象物検出手段３０６における顔検出の動作がオン／オフ制御される。この顔検出の動作が繰り返されることにより、入力画像の中から特定の対象物の顔を検出する。
【００３７】
対象物検出結果３０７は、対象物検出手段３０６から検出された対象物の検出結果で、例えば人物の場合の顔を示す。
【００３８】
図６に、本発明の一実施形態である対象物検出装置３００の動作を説明するフローチャートを示す。
【００３９】
まず、入力画像をカメラ装置等を用いて取得する（ステップＳ２０１）。画像は、カメラ装置等において、不図示のレンズ群を介して結像された対象物の光像をＣＣＤやＣＭＯＳイメージャーで光信号を撮像信号（電気信号）に変換して、その変換された画像信号を信号処理することにより取得する。
【００４０】
次に、ステップＳ２０１で取得した画像信号（画像データ）から肌色領域を検出する（ステップＳ２０２）。信号処理された画像信号から色信号を抽出し、ＲＧＢ座標上の色信号をさらに例えばＨＬＳ（Ｈｕｅ Ｌｕｍｉｎａｎｃｅ Ｓａｔｕｒａｔｉｏｎ）色座標等へ座標変換し各画素（ピクセル）毎の色成分を取り出す。色検出するとき、この画素の範囲を特定することにより、この範囲内で各画素の色成分とあらかじめ学習した肌色の色成分と比較し、比較結果が予め設定された閾値以上であると特定された色、例えば肌色と判断し、閾値以下のときは肌色でないと判断する。
【００４１】
次に、２値化処理を行う（ステップＳ２０３）。肌色領域を検出した後の２値化処理において、例えば、画像の同一ラインの水平方向において画素毎の肌色を検出した結果、肌色と判断されたとき、２値化データを“１”と設定し、肌色と判断されないとき、“０”と設定する。
【００４２】
次に、ステップＳ２０３の結果に基いて、膨張処理を行うか行わないかを判断する(ステップＳ２０４)。膨張処理を行うと判断した時は、膨張処理を実行し（ステップＳ２０５）、膨張処理を行わない時は次のステップＳ２０６に遷移する。なお、膨張処理とは、例えば画像の水平方向の同一ラインにおいて、現在位置の肌色検出を行おうとする画素を基準に数画素先あるいは数画素の後の画素まで領域を広げて検出処理することを示す。上述した膨張処理についての詳細な説明は後述する。
【００４３】
次に、２値化領域を生成する（ステップＳ２０６）。膨張処理により得られた肌色検出領域のデータから、２値化データが“１”の領域が肌色検出領域と特定される。膨張処理された後の２値化領域の具体例は、後述の図１０（ｂ）のブロック６０２ａ、図１０（ｄ）のブロック６０２ｃに示す。
【００４４】
次に、ステップＳ２０６で得られた結果に基いて、対象物検出手段３０６を動作させるか否か判断する（ステップＳ２０７）。
【００４５】
ステップＳ２０６で得られた結果が“１”であれば、対象物検出手段３０６を動作（オン）させて対象物を検出する（ステップＳ２０８）。対象物検出手段３０６が動作すると、上述したように、スケーリングされた画像上で例えば矩形の検出領域が水平方向または水平かつ垂直方向に走査され、肌色に該当する特定領域、例えば顔などの対象物が検出される。
一方、ステップＳ２０６で得られた結果が“０”であれば、対象物検出手段３０６は動作せず次のステップ（ステップＳ２１０）に遷移する。
【００４６】
次に、対象物の検出結果を得る（ステップＳ２０９）。この検出結果は、人物の肌色を有する特定領域、例えば顔を示す。
【００４７】
最後に、入力が終了したかどうかを判定し（ステップＳ２１０）、終了していなければステップＳ２０２に遷移し、終了していれば処理を完了する。
【００４８】
なお、ステップＳ２０７で対象物検出制御手段３０５の動作を開始するか否かについて判断した結果、人の肌色が存在しなければ、顔検出動作を行う必要がないので対象物検出手段（３０６）の動作を停止（オフ）することにより不要な演算をする必要がなく、高速に演算を行うことが可能となる。また、それに伴うメモリ参照も行うことがない。
【００４９】
なお、入力が完了したかどうかの判定により遷移するステップはステップＳ２０２に限定されるものではない。例えば、ステップＳ２０２〜Ｓ２０６までの処理をまとめて先に処理しておき、ステップＳ２０７へ遷移しても良い。その後、ステップＳ２０７〜Ｓ２０９までの処理を実行することもできる。
【００５０】
図７に、上述したステップＳ２０２〜Ｓ２０６を省略した場合の対象物検出動作を説明するためのフローチャートを示す。
図７において、図６に示すステップＳ２０２〜Ｓ２０６をまとめた処理をステップＳ２０６ａとする。
まず、膨張処理後の２値化領域のデータを取得する（ステップＳ２０６ａ）。
次に、２値化領域データを用いて、対象物検出制御手段３０５を動作させるか否かを判定する。判定した結果、２値化データが“１”のとき（ｙｅｓ）ステップＳ２０８へ遷移し、“０”のとき、ステップＳ２１０へ遷移する（ステップＳ２０７）。
２値化データが“１”のとき、対象物検出の動作を行う（ステップＳ２０８）。
検出動作により、対象物に関する検出結果を得る（ステップＳ２０９）。対象物検査結果の取得が終わると画像入力が終了したかどうかを判定し（ステップＳ２１０）、終了するとステップＳ２１１に遷移し、終了しないときは、ステップＳ２０７に遷移し、上述した動作を繰り返す。
【００５１】
このように、図７に示すフローチャートに従って動作する対象物検出装置３００は、ステップＳ２０２〜Ｓ２０６までの処理（ステップＳ２０６ａ）と、ステップＳ２０７〜Ｓ２０９までの処理をパイプライン的に動作させることができるので、図６のフローチャートを用いた場合と比較して処理時間を短くすることができる。
【００５２】
よって、本発明は、非常に簡単な制御にて膨張処理を実行することができる。また、膨張処理を実行するにあたり、画像の同一ライン上の１画素のみの参照であるため、演算量、メモリ参照量共に、例えば３ｘ３のマスクを用いる場合に比べて非常に少なくて済む。
【００５３】
また、本発明は、対象物検出手段の動作を制御する制御方法が非常に簡単であり、且つそれに係るメモリ参照量も少ないため、制御コスト及び消費電力を最小限に抑えることができる。
【００５４】
図８に、膨張処理手段３０４の動作の概要を説明するためのフローチャートを示す。また、図９に、膨張処理手段３０４が備えている記憶手段の動作の概要を説明するためのフローチャートを示す。
【００５５】
次に、図８及び図９を用いて膨張処理の動作について説明する。説明を簡略化するため、これら図８及び図９においては、画像の同一ライン上で現在位置の画素に対して±２画素で膨張処理を行う例を示す。なお、画素の膨張領域は原理的に同一ライン上であれば特に画素数は限定されない。
【００５６】
図８において、２値化処理手段３０３で肌色検出手段３０２で各画素に対応した検出データに基いて２値化処理結果を取得する（ステップＳ４０１）。ステップＳ４０１で取得された画素の検出結果は、２値化処理がされているため、２値化データは“０”または“１”の値である。
【００５７】
ステップＳ４０１の結果が、“１”であるか否かを判定する（ステップＳ４０２）。判定した結果が“１”（“ｙｅｓ”）であれば、ステップＳ４０５に遷移し、一方“０”（“ｎｏ”）であれば、ステップＳ４０３に遷移する。
【００５８】
ステップＳ４０３では、膨張処理の動作を行う。すなわち、画像の同一ライン上で現在の画素位置より２画素先（＋２画素）を検出し、その結果が“１”であるかどうかを判定する。判定した結果、２画素先のデータが“１”（“ｙｅｓ”）であれば、ステップＳ４０５へ遷移し、“０”（“ｎｏ”）であれば、ステップＳ４０４に遷移する。
【００５９】
ステップＳ４０４では、記憶手段で記憶している履歴が残っているかどうかを判定する。履歴が残っていれば（“ｙｅｓ”の場合）、上述したようにステップＳ４０５へ進み、履歴が残っていなければ（“ｎｏ”の場合）、ステップＳ４０６に進む。ここで、履歴とは、膨張処理を管理するため過去の膨張処理の結果を記憶手段に記憶された値を示す。
【００６０】
ステップＳ４０５では、２値化処理結果の取得データが“１”の場合（ステップＳ４０２で“ｙｅｓ”）、２値化処理結果の取得データが“０”（ステップＳ４０２で“ｎｏ”）かつ現在位置よりたとえば２画素先の結果が“１”の場合（ステップＳ４０３で“ｙｅｓ”）、または記憶手段に履歴結果が残っている場合（ステップＳ４０４で“ｙｅｓ”）は、記憶手段に１がセットされ、そしてステップＳ４０６に遷移する。
【００６１】
ステップＳ４０６では、画像データの入力が終了したかどうかを判定する。画像データの入力が終了していなければ、ステップＳ４０１へ戻りステップＳ４０１〜Ｓ４０５の動作を繰り返し、終了していれば、処理が完了する（ステップＳ４０７）。ここで、膨張処理における検出画素数は±２画素は限定されるものではなく、任意に設定が可能である。また、この他、先読み画素数が３、履歴は１にするなど、膨張処理の画素数と記憶手段に記憶する履歴の値をアンバランスな設定をしてもよい。
【００６２】
次に、上記履歴を管理している記憶手段の動作について図９に示すフローチャートを用いて説明する。
まず、記憶手段に記憶されている履歴を初期化する（ステップＳ５０１）。例えば、２値化データの“０”を記憶手段に記憶する。
【００６３】
次に、２値化処理の結果を取得する（ステップＳ５０２）。具体的には、画像の同一ラインの画素の肌色の検出を行い、検出した画素の色成分をあらかじめ学習した肌色成分と比較して、所定の閾値以上かまたはそれ以下かを判別する。判別された結果の２値化データは“０”または“１”である。
【００６４】
次に、ステップＳ５０２ので得られた取得結果を判定する（ステップＳ５０３）。判定結果が“１”（“ｙｅｓ”の場合）であればステップＳ５０４に遷移し、“０”（“ｎｏ”の場合）であればステップＳ５０５に遷移する。
【００６５】
ステップＳ５０４では、記憶手段に記憶される履歴を最大にセットし、ステップＳ５０７に遷移する。ここで、最大にセットするとは、ここでは±２画素の膨張処理を行っているため例えば“２”とする。
【００６６】
ステップＳ５０５では、画素の現在位置より２画素先の２値化処理の検出結果が“１”であるかどうかを判定する。判定結果が、“１”（“ｙｅｓ”の場合）であればステップＳ５０６へ遷移し、“０”（“ｎｏ”の場合）であればステップＳ５０７へ遷移する。
【００６７】
ステップＳ５０６では、記憶手段に記憶されている履歴（値）を変更せず、ステップＳ５０９に遷移する。
【００６８】
ステップＳ５０７では、記憶手段に履歴が残っているかどうかを判定する。履歴が残っていれば（“ｙｅｓ”の場合）、ステップＳ５０８へ遷移し、履歴が残っていなければ（“ｎｏ”の場合）ステップＳ５０６へ遷移する。
【００６９】
ステップＳ５０８では、記憶された履歴値から１減算し、ステップＳ５０９へ遷移する。ここで、履歴の減算数は１に限定されるものではなく、減算結果が正である範囲ならば減算数は任意の値に設定してもよい。
【００７０】
ステップＳ５０９では、記憶手段に記憶されている履歴を更新し、ステップＳ５１０に遷移する。
【００７１】
ステップＳ５１０では、画像入力が終了したかどうかを判定する。終了していない（“ｎｏ”の場合）のであればステップＳ５０２へ戻り、終了していれば（“ｙｅｓ”の場合）記憶手段に記憶する履歴の設定処理が完了する（ステップＳ５１１）。なお、膨張処理における検出画素数は±２画素は限定されるものではなく、任意に設定が可能である。また、先読み画素数が３、履歴は１にするなどアンバランスな設定をしてもよい。
【００７２】
図１０に、図８及び図９を用いて説明した画素の色検出における膨張処理の動作を模式的に示す。図１０（ａ）〜（ｅ）は、時刻Ｔ１〜Ｔ５の時間経過に伴って膨張処理で得られる画素データを示す。
符号６０１のブロックは、膨張処理前の画像の同一ラインの画素に関する２値化処理結果を示し、肌色検出され２値化処理を施された画素は斜線で示し、肌色と検出されなかった画素は白で示す。
符号６０２のブロックは、本発明の膨張処理を施した後の結果を示す。符号６０３のブロックは、膨張処理手段３０４が備えている記憶手段の履歴値を示す。
【００７３】
図１０（ａ）に示す時刻Ｔ１において、符号６０１のブロックは膨張処理する前の画素データを示し、膨張処理は行っていないので符号ブロック６０２に示すデータとなる。符号ブロック６０２において、肌色検出される画素（データ）は存在せず、現在位置の２画素Ｐ１、Ｐ２（データ）は、“０”である。ステップＳ４０５の判定により結果は“０”のままとなり、ステップＳＳ５０７の判定により履歴は変更されない。その結果、符号ブロック６０３に示す履歴は“０”となる。
なお、時刻Ｔ１のとき膨張処理されずまた、履歴値が“０”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作停止の制御信号が出力されるので、顔検出の動作は行わない。
すなわち、従来は対象物検出手段３０６で対象物検出動作が行われていたが、膨張処理手段３０４と対象物検出制御手段３０５の一連の動作により、対象物検出手段３０６の動作が停止（オフ）される。
【００７４】
次に、図１０（ｂ）に示す時刻Ｔ２において、符号６０１ａブロックに２値化処理された２画素Ｐ３、Ｐ４を示し、符号ブロック６０２ａに同一ラインの２画素先の画素Ｐ５、Ｐ６に膨張処理した画素を示す。符号ブロック６０２ａの画素の現在位置Ｐ３、Ｐ４の２値化処理結果は、“０”であるので（ステップＳ５０３で“ｎｏ”の場合）、膨張処理の動作を行い画素Ｐ３に対する２画素先の画素Ｐ５を検出し、その結果は“１”である。また画素Ｐ３の膨張処理動作に引き続き続いて画素Ｐ４に関する膨張処理動作が行われ、２画素先の画素Ｐ６は“１”であるので、処理結果は“１”である。
すなわち、現在位置の画素と２画素先の画素が順次検出され、Ｐ３とＰ４に対する膨張処理結果はそれぞれ“１”である。ステップＳ５０５で判定した結果が“１”であるのでステップＳ５０６に遷移し、記憶手段の履歴は変更されないために記憶手段の履歴は“０”である（符号ブロック６０３ｂ）。そして、まだ、画像入力は終了していないので、ステップＳ５０２に遷移し、フローチャートに従った動作を繰り返す。
上述したように、時刻Ｔ２のとき膨張処理の処理結果が“１”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作開始の制御信号が出力されるので、顔検出の動作は行われる。
【００７５】
図１０（ｃ）に示す時刻Ｔ３において、２値化処理データを示す符号ブロック６０１ｂの５画素Ｐ５〜Ｐ９に肌色が存在する。符号ブロック６０２ｂにおいて、肌色は５画素Ｐ５〜Ｐ９で順次検出される。その結果、符号ブロック６０２ｂでは、時刻Ｔ２で検出された２画素Ｐ１、Ｐ２と今回検出された５画素Ｐ５〜Ｐ９に肌色が存在する。時刻Ｔ３で注目した５画素Ｐ５〜Ｐ９は、ステップＳ４０２の判定により“1”にセットされ、ステップＳ５０３の判定によりステップＳ５０４に遷移し、その結果、履歴を例えば最大値の２にセットし（符号６０３ｂ）、履歴を更新する（ステップＳ５０７）。まだ、同一ラインの画素Ｐ１０〜Ｐ１３の検出を終了していないので、ステップＳ５０２へ遷移する。
時刻Ｔ３のときは、画素Ｐ５〜Ｐ９は２値化処理の結果が“１”であるから顔検出の動作が行われる。
【００７６】
図１０（ｄ）に示す時刻Ｔ４において、注目した２画素Ｐ１０、Ｐ１１は、２値化処理結果の取得結果が“０”である。ステップＳ５０３の処理において、現在位置の画素Ｐ１０、Ｐ１１の検出結果が“０”であるので、ステップＳ５０５で膨張処理する。２画素後の画素Ｐ８、Ｐ９の結果が“１”であり、一方、２画素先の画素Ｐ１２、Ｐ１３の検出結果は“０”であるので、ステップＳ５０７に遷移する。記憶手段に履歴“２”が記憶されているので、ステップＳ５０９において、各画素（Ｐ１１、Ｐ１２）の膨張処理に伴い履歴値が１つずつ減少し、“２”から“１”、“０”と変化する（符号ブロック６０３ｃ）。
時刻Ｔ４のときは２画素後の膨張処理の判定結果が“１”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ処理動作を行う制御信号が出力され、顔検出の動作が行われる。
このように、２画素後または２画素前の膨張処理を行うことにより、例えば顔検出の領域で肌色と異なり例えば目や眉などの肌色以外の色を有する領域を検出し、２値化処理して肌色でないと検出しても、顔検出動作を停止せず所定の範囲（たとえば現在画素の位置に対して２画素前、２画素後の範囲）で色検出操作を続行して肌色領域を効率的に検出できる。
【００７７】
図１０（ｅ）に示す時刻Ｔ５において、注目した現在位置の２画素Ｐ１２、Ｐ１３は、ステップＳ５０２において２値化処理結果のデータは“０”である（符号ブロック６０１ｄ）。
ステップＳ５０３においてステップＳ５０２で得られたデータが“１”か“０”を判定し、判定結果が“０”であるのでステップＳ５０５へ遷移する。ステップＳ５０５において、現在位置の画素Ｐ１２、Ｐ１３より２画素先の画素は無く、また２画素後の画素は“０”であるから検出結果は“０”となり、ステップＳ５０７に遷移する。そして、ステップ５０７の判定において、履歴は時刻Ｔ４で“０”に更新され時刻Ｔ５においては履歴が残っていないので、その結果は“０”のままとなり、履歴は変更されない（ステップＳ５０６）。最後に画像入力が終了となり処理が完了する（ステップＳ５１０）。
なお、時刻Ｔ５のとき膨張処理結果が“０”であるから、対象物検出制御手段３０５から対象物検出手段３０６へ動作停止の制御信号が出力されるので、顔検出の動作は停止される。
【００７８】
このように図６と図7で示すフローチャートに従って画素毎の膨張処理が行われて２値化領域が生成され（ステップＳ２０６）、膨張処理結果に基いて対象物検出手段３０６を動作させるか否か判断する（ステップＳ２０７）。そして、上述したように、ステップＳ２０６で得られた結果が“１”であれば、対象物検出手段３０６を動作させて対象物を検出する（ステップＳ２０８）。対象物検出手段３０６が動作すると、上述したように、スケーリングされた画像上で例えば矩形の検出領域が水平方向または水平かつ垂直方向に走査され、肌色に該当する特定領域、例えば顔などの対象物が検出される。
【００７９】
以上述べたように、本発明は、入力画像から所望の色を検出する肌色検出手段と、検出した肌色結果を２値化する２値化処理手段と、２値化処理手段の結果に基いて２値化領域を膨張させる膨張処理手段を有して、２値化膨張処理結果に基いて対象物検出装置を制御するため、不要な演算をする必要がなく、対象物検出における演算量を削減することが可能となる。
また、対象物検出の制御方法が非常に簡単であり、且つそれに係るメモリ参照量も少ないため、制御コスト及び消費電力を最小限に抑えることが可能となる。
【００８０】
本発明において、対象物を有する画像を入力する画像入力手段は、画像入力手段３０１に対応する。上記画像入力手段から入力された画像から所望の色を検出する色検出手段は、肌色検出手段３０２に対応する。上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段は、対象物検出手段３０６に対応する。上記色検出結果に応じて上記画像を２値化する２値化処理手段は、２値化処理手段３０３に対応する。上記２値化処理手段の結果に基いて上記画像の検出した現在位置から２値化領域を膨張させる膨張処理手段は、膨張処理手段３０４に対応する。上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段は、対象物検出制御手段３０５に対応する。
【図面の簡単な説明】
【００８１】
【図１】図１は、撮像装置のブロック構成図である。
【図２】図２は、図１に示した撮像装置の画像検出部のブロック構成図である。
【図３】図３は、フレーム画像を特定の大きさの検出領域で水平または垂直方向に走査する例である。
【図４】図４は、フレーム画像を縮小した時の特定の大きさの検出領域で水平または垂直方向に走査する例である。
【図５】図５は、対象物検出装置の構成を示すブロック図である。
【図６】図６は、対象物検出装置の動作を説明するためのフローチャートである。
【図７】図７は、対象物検出装置のパイプライン動作を説明するためのフローチャートである。
【図８】図８は、膨張処理手段の動作を説明するためのフローチャートである。
【図９】図９は、膨張処理手段に備えられた記憶手段の動作を説明するためのフローチャートである。
【図１０】図１０は、膨張処理手段の動作を説明するために画像ラインの画素データと膨張処理結果を模式的に示した図である。
【符号の説明】
【００８２】
１００…撮像装置、１０１…光学ブロック、１０２…信号変換部、１０３…カメラ信号処理部、１０４…顔検出部、１０５…表示処理部、１０６…画像信号処理部、１０７…記憶部、１０８…表示部、１０９…画像ＲＡＭ、１１０…制御部（ＣＰＵ）、１１１…ＲＯＭ、１１２…ＲＡＭ、１１３…画像バス、２０１…スケーリング部、２０２…画像バッファ、２０３…顔検出コア部、２０４…候補領域処理部、２０５…コントローラ、２５０，２５０ａ〜２５０ｅ…画像データ、２５１，２５２…矩形領域、３００…対象物検出装置、３０１…画像入力手段、３０２…肌色検出手段、３０３…２値化処理手段、３０４…膨張処理手段、３０５…対象物検出制御手段、３０６…対象物検出手段。
【特許請求の範囲】
【請求項１】
対象物を有する画像を入力する画像入力手段と、
上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、
上記色検出結果に応じて上記画像を２値化する２値化処理手段と、
上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、
上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、
上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、
を有する
対象物検出装置。
【請求項２】
上記色検出手段は、人物画像の肌色を検出する
請求項１記載の対象物検出装置。
【請求項３】
上記膨張処理手段は、上記２値化処理手段の結果を入力し、画像の同一ライン上で、現在位置の結果と現在位置よりも数画素先の２値化処理の結果を先読みする手段と、画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶する手段と、上記現在位置の結果と上記先読みした結果と上記管理した履歴に基いて、現在位置の画素について膨張処理を実行するかしないかを判断する判断手段と、
を備える、
請求項２記載の対象物検出装置。
【請求項４】
上記記憶手段は、上記記憶手段に上記２値化処理結果の履歴を記憶し、上記ラインの検出結果と上記履歴結果に応じて履歴を可変する
請求項３記載の対象物検出装置。
【請求項５】
上記記憶手段は、画像の同一ライン上の膨張処理により得られた画素の検出結果の有無により履歴結果を可変する
請求項４記載の対象物検出装置。
【請求項６】
上記制御装置は、上記膨張処理の結果に基いて、上記対象物検出手段を動作させるか否かを制御する
請求項５記載の対象物検出装置。
【請求項７】
対象物を検出するための画像を入力する画像入力ステップと、
上記入力された画像から所望の色を検出する色検出ステップと、
上記色検出の結果を２値化する２値化処理ステップと、
上記２値化処理ステップの結果を用いて特定された色領域の対象物を検出する対象物検出ステップと、
上記２値化処理ステップの結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理ステップと、
上記膨張処理ステップで膨張した２値化領域の色検出の結果に基いて上記対象物検出ステップにおける検出動作をオン、オフ制御する制御ステップと、
を有する
対象物検出方法。
【請求項８】
上記色検出ステップは、人物画像の肌色を検出する
請求項７記載の対象物検出方法。
【請求項９】
上記膨張処理ステップは、上記２値化処理ステップの結果を入力し、画像の同一ライン上で、現在位置の結果と、現在位置よりも数画素先の２値化処理の結果を先読みするステップと、
画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶するステップと、上記現在位置の結果と、上記先読みした結果と、上記記憶に基いて現在位置の画素について膨張処理を実行するかしないかを判断するステップと、
を備える、
請求項８記載の対象物検出方法。
【請求項１０】
上記制御ステップは、上記膨張処理の結果に基いて、上記対象物検出ステップにおける検出動作をオン、オフ制御する
請求項９記載の対象物検出方法。
【請求項１】
対象物を有する画像を入力する画像入力手段と、
上記画像入力手段から入力された画像から所望の色を検出する色検出手段と、
上記色検出結果に応じて上記画像を２値化する２値化処理手段と、
上記２値化処理手段の結果を用いて特定された色領域の対象物を検出する対象物検出手段と、
上記２値化処理手段の結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理手段と、
上記膨張処理手段で膨張した２値化領域の色検出の結果に基いて上記対象物検出手段のオン、オフ動作を制御する制御手段と、
を有する
対象物検出装置。
【請求項２】
上記色検出手段は、人物画像の肌色を検出する
請求項１記載の対象物検出装置。
【請求項３】
上記膨張処理手段は、上記２値化処理手段の結果を入力し、画像の同一ライン上で、現在位置の結果と現在位置よりも数画素先の２値化処理の結果を先読みする手段と、画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶する手段と、上記現在位置の結果と上記先読みした結果と上記管理した履歴に基いて、現在位置の画素について膨張処理を実行するかしないかを判断する判断手段と、
を備える、
請求項２記載の対象物検出装置。
【請求項４】
上記記憶手段は、上記記憶手段に上記２値化処理結果の履歴を記憶し、上記ラインの検出結果と上記履歴結果に応じて履歴を可変する
請求項３記載の対象物検出装置。
【請求項５】
上記記憶手段は、画像の同一ライン上の膨張処理により得られた画素の検出結果の有無により履歴結果を可変する
請求項４記載の対象物検出装置。
【請求項６】
上記制御装置は、上記膨張処理の結果に基いて、上記対象物検出手段を動作させるか否かを制御する
請求項５記載の対象物検出装置。
【請求項７】
対象物を検出するための画像を入力する画像入力ステップと、
上記入力された画像から所望の色を検出する色検出ステップと、
上記色検出の結果を２値化する２値化処理ステップと、
上記２値化処理ステップの結果を用いて特定された色領域の対象物を検出する対象物検出ステップと、
上記２値化処理ステップの結果に基いて上記画像の検出した２値化領域の現在位置の画素から検出領域を膨張させる膨張処理ステップと、
上記膨張処理ステップで膨張した２値化領域の色検出の結果に基いて上記対象物検出ステップにおける検出動作をオン、オフ制御する制御ステップと、
を有する
対象物検出方法。
【請求項８】
上記色検出ステップは、人物画像の肌色を検出する
請求項７記載の対象物検出方法。
【請求項９】
上記膨張処理ステップは、上記２値化処理ステップの結果を入力し、画像の同一ライン上で、現在位置の結果と、現在位置よりも数画素先の２値化処理の結果を先読みするステップと、
画像の同一ライン上で、現在位置よりも数画素前の２値化処理結果を管理して記憶するステップと、上記現在位置の結果と、上記先読みした結果と、上記記憶に基いて現在位置の画素について膨張処理を実行するかしないかを判断するステップと、
を備える、
請求項８記載の対象物検出方法。
【請求項１０】
上記制御ステップは、上記膨張処理の結果に基いて、上記対象物検出ステップにおける検出動作をオン、オフ制御する
請求項９記載の対象物検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２０５９７（Ｐ２０１０−２０５９７Ａ）
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願番号】特願２００８−１８１３８１（Ｐ２００８−１８１３８１）
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月２８日（２０１０．１．２８）
【国際特許分類】
【出願日】平成２０年７月１１日（２００８．７．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]