画像処理装置、画像処理方法及びプログラム
【課題】頭部特徴である頭部上方のエッジをより高精度で検出できるようにする。
【解決手段】画像から被写体の領域を検出する画像処理装置であって、前記被写体の所定の部位を検出する検出手段と、前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備える。
【解決手段】画像から被写体の領域を検出する画像処理装置であって、前記被写体の所定の部位を検出する検出手段と、前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、画像から頭部領域を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、カメラなどの撮影装置により撮影された映像において、指定された人物の位置を特定して追尾することにより、カメラのフォーカス、露出、及びカメラのパン、チルト、ズームなどの姿勢を制御する機能が注目されている。この機能では、人物の位置を特定するために、人物の顔パターンを検出し、その動きを追尾することが一般的である。このような画像中から顔を検出する技術としては、非特許文献１に各種方式が挙げられている。特に、非特許文献２に記載されている方法は、実行速度及び検出率が高いことから、顔検出の研究において広く使用されている。
【０００３】
一方、人物の位置を特定するために、人物の顔パターンを検出して追尾するだけでは十分ではない。人物の顔の横回転や後ろ反転などにより、顔パターンを検出できない場合がある。そこで、顔の変わりに、頭部領域を検出して追尾することが有力な代替手段と考えられる。
【０００４】
頭部領域を検出する方法としては、例えば非特許文献３に開示されているように、Ｈｏｕｇｈ変換を用いて楕円形状を検出する方法が知られている。また、近年では、非特許文献４に開示されるように、楕円円周上の勾配情報と、事前に取った頭部カラーヒストグラムモデルとで楕円内部のカラーヒストグラムのマッチングにより頭部の楕円形状を検出する研究も行われている。なお、頭部領域は楕円で近似することを前提とし、頭部領域は頭部楕円領域または頭部楕円の外接矩形領域とする。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｍ．Ｈ． Ｙａｎｇ， Ｄ．Ｊ． Ｋｒｉｅｇｍａｎ ａｎｄ Ｎ． Ａｈｕｊａ． "Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｉｍａｇｅｓ：Ａ Ｓｕｒｖｅｙ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ｖｏｌ．２４， ｎｏ．１， ｐｐ．３４−５８， Ｊａｎｕａｒｙ， ２００２．
【非特許文献２】Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ． "Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，" ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ＳＣＴＶ， Ｊｕｌｙ， ２００１．
【非特許文献３】Ｄｕｄａ， Ｒ． Ｏ． ａｎｄ Ｐ． Ｅ． Ｈａｒｔ， "Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ，" Ｃｏｍｍ． ＡＣＭ， Ｖｏｌ． １５， ｐｐ． １１−１５ （Ｊａｎｕａｒｙ， １９７２）．
【非特許文献４】Ｓｔａｎ Ｂｉｒｃｈｆｉｅｌｄ， "Ｅｌｌｉｐｔｉｃａｌ Ｈｅａｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｉｎｔｅｎｓｉｔｙ Ｇｒａｄｉｅｎｔｓ ａｎｄ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ，" Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ '９８）， Ｓａｎｔａ Ｂａｒｂａｒａ， Ｃａｌｉｆｏｒｎｉａ， ｐｐ．２３２−２３７， Ｊｕｎｅ １９９８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したように、人物の位置を特定するために、人物の顔を検出できない場合、人物の頭部を代わりに検出して追尾する方法が考えられる。しかしながら、人物の頭部の検出は顔の検出より困難であり、前に検出した頭部領域情報を利用して現在フレームとの対応付けを行い、頭部領域を追尾する。このため、人物の顔を検出できた時でも、頭部領域を正しく検出しておく必要がある。
【０００７】
一方、人物を含めた画像または映像に、人物の頭部領域内のエッジが多く存在し、頭部の面外回転角度によるものの、背景領域に横エッジ及び縦エッジが多く存在する。従来の方法を用いて頭部楕円を検出しようとすると、これらの内部のエッジを頭部楕円として検出することがある。また、背景エッジ及び頭部エッジの組み合わせで、大きい楕円円弧として検出する場合もあり、頭部上方のエッジを正しく検出できない場合がある。
【０００８】
本発明は前述の問題点に鑑み、頭部特徴である頭部上方のエッジをより高精度で検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像から被写体の領域を検出する画像処理装置であって、前記被写体の所定の部位を検出する検出手段と、前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、頭部特徴である頭部上方のエッジをより高精度で検出することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における画像処理装置の機能構成例を示すブロック図である。
【図２】顔及び頭部の位置と頭部領域の面外回転角度との関係を示す図である。
【図３】第１の実施形態における処理手順の一例を示すフローチャートである。
【図４】人物頭部領域の垂直面外回転角度の関係を示す図である。
【図５】第３の実施形態における画像処理装置の機能構成例を示すブロック図である。
【図６】第３の実施形態における処理手順の一例を示すフローチャートである。
【図７】実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図７は、本実施形態に係る画像処理装置１００のハードウェア構成例を示すブロック図である。
図７において、１００１はＣＰＵであり、本実施形態の画像処理装置１００における各種制御を実行する。１００２はＲＯＭであり、画像処理装置１００本体の立ち上げ時に実行されるブートプログラムや各種データを格納する。１００３はＲＡＭであり、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の作業領域を提供する。１００４はキーボード、１００５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１３】
１００６は外部記憶装置であり、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置１００６は、制御プログラムや各種データを全てＲＯＭ１００２に持つようにすれば、必ずしも必要な構成要素ではない。１００７は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。１００８はネットワークインターフェースでる。１００９はビデオインターフェースであり、撮像部と同軸ケーブルを解したフレーム画像の取り込みを可能とする。また、１０１１は上記の各構成を接続するバスである。
【００１４】
図１は、本実施形態における被写体領域を検出する画像処理装置１００の機能構成例を示すブロック図である。以下、本実施形態では、被写体領域とは人物の頭部を指すものとする。
初期頭部領域設定部１１０は、入力画像１０１に対し、マウス１００５やキーボード１００４などの外部入力装置からの指示により、ユーザーインタフェースを介して、頭部領域の初期領域を設定する。頭部検出領域設定部１０４は、現在のフレーム画像から頭部検出領域を設定する。
【００１５】
顔検出部１０２は、頭部検出領域設定部１０４で設定された頭部検出領域について、被写体の第１部位である顔領域を検出する。候補楕円スコア算出部１０５は、頭部検出領域設定部１０４で設定した頭部検出領域において、被写体の第２部位である頭部の各候補楕円を検出し、スコアを算出する。角度増分計算部１０３は、過去のフレーム画像において顔及び頭部を検出し、且つ、現在のフレーム画像に顔及び頭部候補領域を検出した場合に、各頭部候補領域対前フレームの頭部の面外回転角度増分を計算する。本実施形態において、第１フレームの場合、各頭部候補領域の面外回転角度増分を計算しないようにする。
【００１６】
重み計算部１０６は、角度増分計算部１０３で計算した頭部水平面外回転角度増分Δαkの分布に基づいて、各頭部候補領域のスコアに重みを付ける。頭部楕円選択部１０７は、各候補楕円のスコア及び重みに基づいて、頭部楕円領域又は外接矩形領域を選択する。
【００１７】
図３は、本実施形態における処理手順の一例を示すフローチャートである。
まず、ステップＳ１０１において、初期頭部領域設定部１１０は、マウス１００５やキーボード１００４などの外部入力装置からの指示により、ユーザーインタフェースを介して、入力画像（ｔ＝０のフレーム画像）に頭部領域の初期領域を設定する。入力画像１０１は、静止画像でもよいし、連続映像のフレーム画像でもよい。本実施形態においては、連続映像のフレーム画像を例として説明する。
【００１８】
ステップＳ１０２において、画像処理装置１００は、ステップＳ１０３からステップＳ１１３までの処理を、全ての後続の入力画像（ｔ≧１のフレーム画像）に対して行う。まず、ステップＳ１０３において、不図示の画像入力部から、フレーム画像を画像処理装置１００に入力する。
【００１９】
次に、ステップＳ１０４において、頭部検出領域設定部１０４は、入力された画像または映像について、頭部検出領域を設定する。具体的には、第１フレーム画像の場合、設定された頭部領域の初期設定を用い、初期領域の中心を頭部検出領域の中心とし、初期領域の幅ｗ及び高ｈを所定倍数で拡大して、頭部検出領域の幅及び高とする。一方、第２フレーム画像以降の場合は、過去フレーム画像で検出した頭部領域を用い、頭部領域の中心を頭部検出領域の中心とし、頭部領域の幅ｗ及び高ｈを所定倍数で拡大して、頭部検出領域の幅及び高とする。
【００２０】
次に、ステップＳ１０５において、顔検出部１０２は、ステップＳ１０４で設定された頭部検出領域から顔領域を検出する。顔検出方法として、AdaBoostなどの機械学習手法を利用して、所定数の顔の特徴量を選択して弱判別器を構成し、cascadeの形で連結して強判別器を形成する。この強判別器を利用して、検出領域をスキャンし、選択された特徴量に合う領域を顔領域として検出する。現在ｔフレーム画像で検出した顔領域では、左上水平座標ｘｆ、左上垂直座標ｙｆ、横幅ｗｆ、縦幅ｈｆとする。
【００２１】
次に、ステップＳ１０６において、候補楕円スコア算出部１０５は、まず、ステップＳ１０４に設定された頭部検出領域に、頭部楕円のパラメータであるｘｅ、ｙｅ、ａ、ｂ、θを所定範囲内に設定する。ここで、ｘｅは楕円中心水平座標であり、ｙｅは楕円中心垂直座標であり、ａは楕円横軸であり、ｂは楕円縦軸であり、θは楕円の回転角度である。次に、候補楕円スコア算出部１０５は、頭部検出領域設定部１０４で設定した頭部検出領域において、ハフ変換を利用して、各パラメータで表す候補楕円に投票するエッジ画素数ｎＣｎｔkを数える。ここで、Ｎはｔフレーム画像で検出した頭部候補楕円数である。
【００２２】
スコアｓkは、第ｋ番目の楕円パラメータであらわす楕円が、現在フレーム画像の実際の被写体と、どの程度でマッチしたかどうかを示す指標である。一般性を失わず、スコアｓkが高いほど、よりよいマッチングを示すことを仮定できる。本実施形態において、スコアｓkは単にエッジ画素数ｎＣｎｔkとする。
【００２３】
次に、ステップＳ１０７において、角度増分計算部１０３は、過去ｔ−１フレーム画像と現在ｔフレーム画像とで顔領域を検出したかどうかを判断する。過去フレーム画像で顔及び頭部領域を両方とも検出し、且つ、現在フレーム画像で顔及び頭部候補領域を検出した場合は、以下のステップＳ１０８からステップＳ１１１までの処理を行う。一方、その他の場合は、各候補領域の重みを計算せず、ステップＳ１１２に移る。
【００２４】
ステップＳ１０８において、角度増分計算部１０３は、不図示の記憶部から、過去フレーム画像の顔及び頭部領域を読み出して、ｔ−１フレーム画像の頭部水平面外回転角度αt-1を計算する。
【００２５】
図２は、顔及び頭部の位置と頭部領域の面外回転角度との関係を示す図である。
角度増分計算部１０３は、過去ｔ−１フレーム画像で検出された顔領域（ｘｆt-1，ｙｆt-1，ｗｆt-1，ｈｆt-1）と頭部領域（ｘｅt-1，ｙｅt-1，ａt-1，ｂt-1）とを用い、ｔ−１フレーム画像の頭部水平面外回転角度αt-1を計算する。計算する際には、以下の式（１）及び式（２）を用いる。ここで、（ｘｆ，ｙｆ）は顔領域の左上座標であり、（ｗｆ，ｈｆ）は顔領域の横幅及び縦高である。また、（ｘｅt-1，ｙｅt-1，ａt-1，ｂt-1）は頭部領域の楕円パラメータである。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
次に、ステップＳ１０９において、角度増分計算部１０３は、顔検出部１０２で検出した現在フレームの顔領域を利用して、各候補楕円の面外回転角度αkを計算する。角度増分計算部１０３は、現在ｔフレーム画像で検出した顔領域（ｘｆt，ｙｆt，ｗｆt，ｈｆt）の中心（ｘｆt＋ｗｆt／２，ｙｆt＋ｈｆt／２）と候補楕円の中心座標（ｘｅk，ｙｅk）との水平距離ｄｘkを、以下の式（３）より計算する。水平距離ｄｘkと候補楕円ａkとの比率から、頭部の面外回転角度αkを式（４）より計算する。ここで、Ｎはｔフレーム画像で検出した頭部領域の候補楕円数である。ただし、例外処理として、顔領域及び頭部楕円領域が交差しない場合、または、顔領域と候補楕円との距離が候補楕円の横軸ａを超える場合、候補楕円の重みは０とし、候補から削除することにする。
【００２９】
【数３】
【００３０】
【数４】
【００３１】
続いて、ステップＳ１１０において、角度増分計算部１０３は、ｔフレーム画像に各候補楕円領域の角度の増分Δαkを、以下の式（５）により計算する。
【００３２】
【数５】
【００３３】
本実施形態において、第１フレーム画像の場合、過去フレーム画像に顔領域がないケースとして扱い、各候補楕円領域の面外回転角度の増分を計算しないようにする。
ステップＳ１１１において、重み計算部１０６は、ステップＳ１１０で求めた各候補楕円の水平面外回転角度増分Δαkの分布に基づいて、第ｋ番目の候補楕円に対応する重みｗkを式（６）より計算する。本実施形態において、頭部水平面外回転角度増分Δαkの分布は正規ガウス分布とし、σはその分布のパラメータである。
【００３４】
【数６】
【００３５】
ステップＳ１１２において、頭部楕円選択部１０７は、ステップＳ１０６で各候補楕円のスコアｓkを計算できた場合、計算した重みｗkとスコアｓkに基づいて、式（７）により、第ｋmax番目の候補楕円を頭部楕円領域１０８として出力する。
【００３６】
【数７】
【００３７】
ステップＳ１１３において、頭部楕円選択部１０７で選択した頭部楕円領域１０８と、顔検出部１０２で検出した顔領域とを不図示の記憶部で記憶する。本実施形態において、候補楕円スコア算出部１０５で候補楕円のスコアを算出する方法はハフ変換を挙げていたが、楕円パターンマッチングの方法も同様に利用できる。楕円パターンマッチングでは、設定された楕円パラメータの変化範囲の各パラメータについて、楕円パターンを予め用意し、楕円パターン上のエッジ画素数ｎＣｎｔkを数えてスコアとする。
【００３８】
また、候補楕円のスコアを計算する際、楕円上のエッジ画素数ではなく、エッジ勾配方向ベクトルｇと楕円上点の法線ベクトルｎとの角度により、以下の式（８）によりスコアを計算することもできる。ここで、＜＞は、エッジ勾配ベクトル（ベクトルｇ）と楕円上点の法線ベクトル（ベクトルｎ）の内積を示す。さらに、エッジ勾配方向ベクトルと楕円上点の法線ベクトルとを量子化して、量子化した角度の差でスコアを計算してもよい。
【００３９】
【数８】
【００４０】
また、楕円上のエッジ画素数ｎＣｎｔkと楕円パラメータとの組み合わせで構成した関数から、スコアを計算することもできる。この場合、以下の式（９）のような組み合わせとする。
【００４１】
【数９】
【００４２】
さらに、候補楕円のスコアの計算では、式（８）及び式（９）の両方を用い、以下の式（１０）のいずれかの式により計算してもよい。
【００４３】
【数１０】
【００４４】
また、本実施形態では、重み計算部１０６で重みを計算する際に、頭部領域の面外回転角度増分をガウス分布としたが、ガウス分布のほかに両側指数分布、三角分布、所定範囲内の一様分布などを利用して、重みを計算してもよい。なお、本実施形態では、頭部領域の面外回転角度を水平回転角度としたが、水平回転角度のほかに、図４に示すように垂直面外回転角度も、以下の式（１１）を用いて同様に利用できる。ここで、ｄｙt-1は過去フレーム画像の顔中心と頭部中心との垂直距離であり、ｄｙtは現在フレーム画像の顔中心と各候補楕円との垂直距離である。
【００４５】
【数１１】
【００４６】
さらに、水平及び垂直の面外回転角度の両方を利用して、重みを設定してもよい。例えば、Δαを頭部領域の水平面外回転角度増分、Δβを頭部領域の垂直面外回転角度増分とし、重みについては、以下の式（１２）により設定できる。
【００４７】
【数１２】
【００４８】
また、以上の重み計算において、ΔαまたはΔβを予め計算しておき、記憶装置に記憶し、利用する際に、記憶装置から読み出して、参照することもできる。なお、以上のように重みはモデル化したものではなく、実際のユースケースに応じて、面外回転角度の分布を実測し、参照テーブルとして記憶装置に記憶することもできる。
【００４９】
また、本実施形態において、頭部楕円選択部１０７は、式（７）により頭部楕円領域を選択するが、式（７）のほかに、ｓkとｗkとの和または重み付け和が最大になるように、頭部楕円領域を選択してもよい。さらに、ｓk及びｗkからなる一般的な関数で、候補楕円領域を評価し、頭部楕円領域を選択してもよい。
【００５０】
なお、本実施形態においては、過去と現在とで顔領域を検出できない場合、ステップＳ１０８からステップＳ１１１の処理をスキップして、ｓkのみで頭部楕円を選択する。一方、他の実施方法として、ｗkを全部１に設定して、式（７）により頭部楕円領域を選択してもよい。
【００５１】
また、本実施形態では、映像の第１フレームまたは静止画に適用する場合、第０フレームの頭部角度を予め初期値α0に設定し、α0により各頭部候補楕円の重みｗkを計算し、初期値α0と近い角度の頭部候補楕円を優先的に選択することもできる。また、本実施形態では、候補楕円の選出を例として説明したが、頭部被写体を楕円ではなく円で近似しても、同じ方法で各候補円に重みを付けて頭部円を選出することができる。
【００５２】
以上のように本実施形態によれば、過去フレーム画像で顔領域と頭部領域とを両方とも検出し、且つ、現在フレーム画像で顔領域を検出した場合に、現在フレームの各頭部候補領域の面外回転角度増分を求めることができる。前記面外回転角度の増分は、過去フレームの顔領域と頭部領域との位置関係とサイズと、現在フレーム画像の顔領域と頭部候補領域の位置関係及びサイズから計算できる。また、面外回転角度増分により、頭部候補領域に重みを付けて、候補領域を頭部面外回転角度の時系列方向でフィルタリングすることができ、背景エッジの悪影響を低減できる。特に、第１フレーム画像の場合、過去の面外回転角度を所定角度に指定すると、現在フレーム画像で所定角度の頭部領域を安定して検出することができる。
【００５３】
（第２の実施形態）
本実施形態では、第１の実施形態とは面外回転角度増分の計算方法が異なっている。それ以外については第１の実施形態と同様であるため、異なる点についてのみ説明する。
【００５４】
本実施形態においては、角度増分計算部１０３は、以下の式（１３）により、arcsin関数をテイラー展開して近似計算を行い、処理を高速化する。
【００５５】
【数１３】
【００５６】
ここで、式（２）及び式（４）の計算を近似計算により計算すると、以下の式（１４）のように計算できる。
【００５７】
【数１４】
【００５８】
式（１４）において、αt-1及びαkの計算では、第２項まで近似計算すれば４５度まで相対誤差は３％以内になるため、十分な精度を取れる。つまり、回転角度は４５度以上の場合、αt-1及びαkの計算は、以下の式（１５）により、相対誤差を３％以内にして計算できる。また、以上の近似計算では、ｘが０に近い場合は第１項のみで近似計算できる。
【００５９】
【数１５】
【００６０】
なお、arcsinの計算または以上の近似計算は、ｘについて予め計算しておき、参照テーブルとして記憶装置に記憶して、顔の面外回転角度の増分を計算する際に、前記参照テーブルを読み出して参照することにより高速化することもできる。また、前後のフレーム画像で頭部サイズが殆ど変わらないユースケースの場合、αt-1とαkとの差分は、顔中心と頭部中心との距離と比例するので、重み計算部１０６で候補楕円の重みを計算する際、顔中心と頭部中心との距離に基づいて計算してもよい。
【００６１】
（第３の実施形態）
図５は、本実施形態に係る画像処理装置２００の機能構成例を示すブロック図である。第１の実施形態では、全ての候補楕円について頭部面外回転の角度増分を計算した。これに対して本実施形態では、上位スコア候補楕円選出部２０７を備え、上位スコアの候補楕円を選出して、上位スコアの候補楕円のみについて頭部面外回転の角度増分を計算し、重みを付けて、頭部楕円を選択する。顔検出部２０２、頭部検出領域設定部２０４、候補楕円スコア算出部２０５及び初期頭部領域設定部２１０の構成については、それぞれ図１の顔検出部１０２、頭部検出領域設定部１０４、候補楕円スコア算出部１０５及び初期頭部領域設定部１１０と同様である。したがって、これらの構成については、詳細な説明は省略する。
【００６２】
上位スコア候補楕円選出部２０７は、候補楕円スコア算出部２０５で各候補楕円について計算したスコアをソートして、上位スコアの候補楕円を選択する。スコアの計算方法は第１の実施形態と同様である。また、角度増分計算部２０３、重み計算部２０６、及び頭部楕円選択部２０８は、上位スコア候補楕円選出部２０７で選出した各上位スコアの候補楕円のみについて、第１の実施形態と同様の処理を行い、頭部楕円を選択する。
【００６３】
図６は、本実施形態における処理手順の一例を示すフローチャートである。第１の実施形態で説明した図３と異なる点は、ステップＳ２０７の処理を含む点である。
図６において、ステップＳ２０１〜Ｓ２０６の処理は、それぞれ図３のステップＳ１０１〜Ｓ１０６の処理と同様である。そして、ステップＳ２０７において、ステップＳ２０６で計算した各候補楕円のスコアｓkをソートし、スコアが上位になった所定数の候補楕円を選出する。そして、ステップＳ２０８〜Ｓ２１４までの処理では、ステップＳ２０７で選出した各上位スコアの候補楕円について行う。なお、ステップＳ２０８〜Ｓ２１５は、それぞれ図３のステップＳ１０７〜Ｓ１１４の処理と同様である。
【００６４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６５】
１０２ 顔検出部
１０３ 角度増分計算部
１０４ 頭部検出領域設定部
１０５ 候補楕円スコア算出部
１０６ 重み計算部
１０７ 頭部楕円選択部
１１０ 初期頭部領域設定部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、画像から頭部領域を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、カメラなどの撮影装置により撮影された映像において、指定された人物の位置を特定して追尾することにより、カメラのフォーカス、露出、及びカメラのパン、チルト、ズームなどの姿勢を制御する機能が注目されている。この機能では、人物の位置を特定するために、人物の顔パターンを検出し、その動きを追尾することが一般的である。このような画像中から顔を検出する技術としては、非特許文献１に各種方式が挙げられている。特に、非特許文献２に記載されている方法は、実行速度及び検出率が高いことから、顔検出の研究において広く使用されている。
【０００３】
一方、人物の位置を特定するために、人物の顔パターンを検出して追尾するだけでは十分ではない。人物の顔の横回転や後ろ反転などにより、顔パターンを検出できない場合がある。そこで、顔の変わりに、頭部領域を検出して追尾することが有力な代替手段と考えられる。
【０００４】
頭部領域を検出する方法としては、例えば非特許文献３に開示されているように、Ｈｏｕｇｈ変換を用いて楕円形状を検出する方法が知られている。また、近年では、非特許文献４に開示されるように、楕円円周上の勾配情報と、事前に取った頭部カラーヒストグラムモデルとで楕円内部のカラーヒストグラムのマッチングにより頭部の楕円形状を検出する研究も行われている。なお、頭部領域は楕円で近似することを前提とし、頭部領域は頭部楕円領域または頭部楕円の外接矩形領域とする。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｍ．Ｈ． Ｙａｎｇ， Ｄ．Ｊ． Ｋｒｉｅｇｍａｎ ａｎｄ Ｎ． Ａｈｕｊａ． "Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ ｉｎ Ｉｍａｇｅｓ：Ａ Ｓｕｒｖｅｙ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＰＡＭＩ， ｖｏｌ．２４， ｎｏ．１， ｐｐ．３４−５８， Ｊａｎｕａｒｙ， ２００２．
【非特許文献２】Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊｏｎｅｓ． "Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，" ｉｎ Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ＳＣＴＶ， Ｊｕｌｙ， ２００１．
【非特許文献３】Ｄｕｄａ， Ｒ． Ｏ． ａｎｄ Ｐ． Ｅ． Ｈａｒｔ， "Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ，" Ｃｏｍｍ． ＡＣＭ， Ｖｏｌ． １５， ｐｐ． １１−１５ （Ｊａｎｕａｒｙ， １９７２）．
【非特許文献４】Ｓｔａｎ Ｂｉｒｃｈｆｉｅｌｄ， "Ｅｌｌｉｐｔｉｃａｌ Ｈｅａｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｉｎｔｅｎｓｉｔｙ Ｇｒａｄｉｅｎｔｓ ａｎｄ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ，" Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ '９８）， Ｓａｎｔａ Ｂａｒｂａｒａ， Ｃａｌｉｆｏｒｎｉａ， ｐｐ．２３２−２３７， Ｊｕｎｅ １９９８
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したように、人物の位置を特定するために、人物の顔を検出できない場合、人物の頭部を代わりに検出して追尾する方法が考えられる。しかしながら、人物の頭部の検出は顔の検出より困難であり、前に検出した頭部領域情報を利用して現在フレームとの対応付けを行い、頭部領域を追尾する。このため、人物の顔を検出できた時でも、頭部領域を正しく検出しておく必要がある。
【０００７】
一方、人物を含めた画像または映像に、人物の頭部領域内のエッジが多く存在し、頭部の面外回転角度によるものの、背景領域に横エッジ及び縦エッジが多く存在する。従来の方法を用いて頭部楕円を検出しようとすると、これらの内部のエッジを頭部楕円として検出することがある。また、背景エッジ及び頭部エッジの組み合わせで、大きい楕円円弧として検出する場合もあり、頭部上方のエッジを正しく検出できない場合がある。
【０００８】
本発明は前述の問題点に鑑み、頭部特徴である頭部上方のエッジをより高精度で検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、画像から被写体の領域を検出する画像処理装置であって、前記被写体の所定の部位を検出する検出手段と、前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、頭部特徴である頭部上方のエッジをより高精度で検出することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における画像処理装置の機能構成例を示すブロック図である。
【図２】顔及び頭部の位置と頭部領域の面外回転角度との関係を示す図である。
【図３】第１の実施形態における処理手順の一例を示すフローチャートである。
【図４】人物頭部領域の垂直面外回転角度の関係を示す図である。
【図５】第３の実施形態における画像処理装置の機能構成例を示すブロック図である。
【図６】第３の実施形態における処理手順の一例を示すフローチャートである。
【図７】実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図７は、本実施形態に係る画像処理装置１００のハードウェア構成例を示すブロック図である。
図７において、１００１はＣＰＵであり、本実施形態の画像処理装置１００における各種制御を実行する。１００２はＲＯＭであり、画像処理装置１００本体の立ち上げ時に実行されるブートプログラムや各種データを格納する。１００３はＲＡＭであり、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の作業領域を提供する。１００４はキーボード、１００５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１３】
１００６は外部記憶装置であり、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置１００６は、制御プログラムや各種データを全てＲＯＭ１００２に持つようにすれば、必ずしも必要な構成要素ではない。１００７は表示器であり、ディスプレイなどで構成され、結果等をユーザに対して表示する。１００８はネットワークインターフェースでる。１００９はビデオインターフェースであり、撮像部と同軸ケーブルを解したフレーム画像の取り込みを可能とする。また、１０１１は上記の各構成を接続するバスである。
【００１４】
図１は、本実施形態における被写体領域を検出する画像処理装置１００の機能構成例を示すブロック図である。以下、本実施形態では、被写体領域とは人物の頭部を指すものとする。
初期頭部領域設定部１１０は、入力画像１０１に対し、マウス１００５やキーボード１００４などの外部入力装置からの指示により、ユーザーインタフェースを介して、頭部領域の初期領域を設定する。頭部検出領域設定部１０４は、現在のフレーム画像から頭部検出領域を設定する。
【００１５】
顔検出部１０２は、頭部検出領域設定部１０４で設定された頭部検出領域について、被写体の第１部位である顔領域を検出する。候補楕円スコア算出部１０５は、頭部検出領域設定部１０４で設定した頭部検出領域において、被写体の第２部位である頭部の各候補楕円を検出し、スコアを算出する。角度増分計算部１０３は、過去のフレーム画像において顔及び頭部を検出し、且つ、現在のフレーム画像に顔及び頭部候補領域を検出した場合に、各頭部候補領域対前フレームの頭部の面外回転角度増分を計算する。本実施形態において、第１フレームの場合、各頭部候補領域の面外回転角度増分を計算しないようにする。
【００１６】
重み計算部１０６は、角度増分計算部１０３で計算した頭部水平面外回転角度増分Δαkの分布に基づいて、各頭部候補領域のスコアに重みを付ける。頭部楕円選択部１０７は、各候補楕円のスコア及び重みに基づいて、頭部楕円領域又は外接矩形領域を選択する。
【００１７】
図３は、本実施形態における処理手順の一例を示すフローチャートである。
まず、ステップＳ１０１において、初期頭部領域設定部１１０は、マウス１００５やキーボード１００４などの外部入力装置からの指示により、ユーザーインタフェースを介して、入力画像（ｔ＝０のフレーム画像）に頭部領域の初期領域を設定する。入力画像１０１は、静止画像でもよいし、連続映像のフレーム画像でもよい。本実施形態においては、連続映像のフレーム画像を例として説明する。
【００１８】
ステップＳ１０２において、画像処理装置１００は、ステップＳ１０３からステップＳ１１３までの処理を、全ての後続の入力画像（ｔ≧１のフレーム画像）に対して行う。まず、ステップＳ１０３において、不図示の画像入力部から、フレーム画像を画像処理装置１００に入力する。
【００１９】
次に、ステップＳ１０４において、頭部検出領域設定部１０４は、入力された画像または映像について、頭部検出領域を設定する。具体的には、第１フレーム画像の場合、設定された頭部領域の初期設定を用い、初期領域の中心を頭部検出領域の中心とし、初期領域の幅ｗ及び高ｈを所定倍数で拡大して、頭部検出領域の幅及び高とする。一方、第２フレーム画像以降の場合は、過去フレーム画像で検出した頭部領域を用い、頭部領域の中心を頭部検出領域の中心とし、頭部領域の幅ｗ及び高ｈを所定倍数で拡大して、頭部検出領域の幅及び高とする。
【００２０】
次に、ステップＳ１０５において、顔検出部１０２は、ステップＳ１０４で設定された頭部検出領域から顔領域を検出する。顔検出方法として、AdaBoostなどの機械学習手法を利用して、所定数の顔の特徴量を選択して弱判別器を構成し、cascadeの形で連結して強判別器を形成する。この強判別器を利用して、検出領域をスキャンし、選択された特徴量に合う領域を顔領域として検出する。現在ｔフレーム画像で検出した顔領域では、左上水平座標ｘｆ、左上垂直座標ｙｆ、横幅ｗｆ、縦幅ｈｆとする。
【００２１】
次に、ステップＳ１０６において、候補楕円スコア算出部１０５は、まず、ステップＳ１０４に設定された頭部検出領域に、頭部楕円のパラメータであるｘｅ、ｙｅ、ａ、ｂ、θを所定範囲内に設定する。ここで、ｘｅは楕円中心水平座標であり、ｙｅは楕円中心垂直座標であり、ａは楕円横軸であり、ｂは楕円縦軸であり、θは楕円の回転角度である。次に、候補楕円スコア算出部１０５は、頭部検出領域設定部１０４で設定した頭部検出領域において、ハフ変換を利用して、各パラメータで表す候補楕円に投票するエッジ画素数ｎＣｎｔkを数える。ここで、Ｎはｔフレーム画像で検出した頭部候補楕円数である。
【００２２】
スコアｓkは、第ｋ番目の楕円パラメータであらわす楕円が、現在フレーム画像の実際の被写体と、どの程度でマッチしたかどうかを示す指標である。一般性を失わず、スコアｓkが高いほど、よりよいマッチングを示すことを仮定できる。本実施形態において、スコアｓkは単にエッジ画素数ｎＣｎｔkとする。
【００２３】
次に、ステップＳ１０７において、角度増分計算部１０３は、過去ｔ−１フレーム画像と現在ｔフレーム画像とで顔領域を検出したかどうかを判断する。過去フレーム画像で顔及び頭部領域を両方とも検出し、且つ、現在フレーム画像で顔及び頭部候補領域を検出した場合は、以下のステップＳ１０８からステップＳ１１１までの処理を行う。一方、その他の場合は、各候補領域の重みを計算せず、ステップＳ１１２に移る。
【００２４】
ステップＳ１０８において、角度増分計算部１０３は、不図示の記憶部から、過去フレーム画像の顔及び頭部領域を読み出して、ｔ−１フレーム画像の頭部水平面外回転角度αt-1を計算する。
【００２５】
図２は、顔及び頭部の位置と頭部領域の面外回転角度との関係を示す図である。
角度増分計算部１０３は、過去ｔ−１フレーム画像で検出された顔領域（ｘｆt-1，ｙｆt-1，ｗｆt-1，ｈｆt-1）と頭部領域（ｘｅt-1，ｙｅt-1，ａt-1，ｂt-1）とを用い、ｔ−１フレーム画像の頭部水平面外回転角度αt-1を計算する。計算する際には、以下の式（１）及び式（２）を用いる。ここで、（ｘｆ，ｙｆ）は顔領域の左上座標であり、（ｗｆ，ｈｆ）は顔領域の横幅及び縦高である。また、（ｘｅt-1，ｙｅt-1，ａt-1，ｂt-1）は頭部領域の楕円パラメータである。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
次に、ステップＳ１０９において、角度増分計算部１０３は、顔検出部１０２で検出した現在フレームの顔領域を利用して、各候補楕円の面外回転角度αkを計算する。角度増分計算部１０３は、現在ｔフレーム画像で検出した顔領域（ｘｆt，ｙｆt，ｗｆt，ｈｆt）の中心（ｘｆt＋ｗｆt／２，ｙｆt＋ｈｆt／２）と候補楕円の中心座標（ｘｅk，ｙｅk）との水平距離ｄｘkを、以下の式（３）より計算する。水平距離ｄｘkと候補楕円ａkとの比率から、頭部の面外回転角度αkを式（４）より計算する。ここで、Ｎはｔフレーム画像で検出した頭部領域の候補楕円数である。ただし、例外処理として、顔領域及び頭部楕円領域が交差しない場合、または、顔領域と候補楕円との距離が候補楕円の横軸ａを超える場合、候補楕円の重みは０とし、候補から削除することにする。
【００２９】
【数３】
【００３０】
【数４】
【００３１】
続いて、ステップＳ１１０において、角度増分計算部１０３は、ｔフレーム画像に各候補楕円領域の角度の増分Δαkを、以下の式（５）により計算する。
【００３２】
【数５】
【００３３】
本実施形態において、第１フレーム画像の場合、過去フレーム画像に顔領域がないケースとして扱い、各候補楕円領域の面外回転角度の増分を計算しないようにする。
ステップＳ１１１において、重み計算部１０６は、ステップＳ１１０で求めた各候補楕円の水平面外回転角度増分Δαkの分布に基づいて、第ｋ番目の候補楕円に対応する重みｗkを式（６）より計算する。本実施形態において、頭部水平面外回転角度増分Δαkの分布は正規ガウス分布とし、σはその分布のパラメータである。
【００３４】
【数６】
【００３５】
ステップＳ１１２において、頭部楕円選択部１０７は、ステップＳ１０６で各候補楕円のスコアｓkを計算できた場合、計算した重みｗkとスコアｓkに基づいて、式（７）により、第ｋmax番目の候補楕円を頭部楕円領域１０８として出力する。
【００３６】
【数７】
【００３７】
ステップＳ１１３において、頭部楕円選択部１０７で選択した頭部楕円領域１０８と、顔検出部１０２で検出した顔領域とを不図示の記憶部で記憶する。本実施形態において、候補楕円スコア算出部１０５で候補楕円のスコアを算出する方法はハフ変換を挙げていたが、楕円パターンマッチングの方法も同様に利用できる。楕円パターンマッチングでは、設定された楕円パラメータの変化範囲の各パラメータについて、楕円パターンを予め用意し、楕円パターン上のエッジ画素数ｎＣｎｔkを数えてスコアとする。
【００３８】
また、候補楕円のスコアを計算する際、楕円上のエッジ画素数ではなく、エッジ勾配方向ベクトルｇと楕円上点の法線ベクトルｎとの角度により、以下の式（８）によりスコアを計算することもできる。ここで、＜＞は、エッジ勾配ベクトル（ベクトルｇ）と楕円上点の法線ベクトル（ベクトルｎ）の内積を示す。さらに、エッジ勾配方向ベクトルと楕円上点の法線ベクトルとを量子化して、量子化した角度の差でスコアを計算してもよい。
【００３９】
【数８】
【００４０】
また、楕円上のエッジ画素数ｎＣｎｔkと楕円パラメータとの組み合わせで構成した関数から、スコアを計算することもできる。この場合、以下の式（９）のような組み合わせとする。
【００４１】
【数９】
【００４２】
さらに、候補楕円のスコアの計算では、式（８）及び式（９）の両方を用い、以下の式（１０）のいずれかの式により計算してもよい。
【００４３】
【数１０】
【００４４】
また、本実施形態では、重み計算部１０６で重みを計算する際に、頭部領域の面外回転角度増分をガウス分布としたが、ガウス分布のほかに両側指数分布、三角分布、所定範囲内の一様分布などを利用して、重みを計算してもよい。なお、本実施形態では、頭部領域の面外回転角度を水平回転角度としたが、水平回転角度のほかに、図４に示すように垂直面外回転角度も、以下の式（１１）を用いて同様に利用できる。ここで、ｄｙt-1は過去フレーム画像の顔中心と頭部中心との垂直距離であり、ｄｙtは現在フレーム画像の顔中心と各候補楕円との垂直距離である。
【００４５】
【数１１】
【００４６】
さらに、水平及び垂直の面外回転角度の両方を利用して、重みを設定してもよい。例えば、Δαを頭部領域の水平面外回転角度増分、Δβを頭部領域の垂直面外回転角度増分とし、重みについては、以下の式（１２）により設定できる。
【００４７】
【数１２】
【００４８】
また、以上の重み計算において、ΔαまたはΔβを予め計算しておき、記憶装置に記憶し、利用する際に、記憶装置から読み出して、参照することもできる。なお、以上のように重みはモデル化したものではなく、実際のユースケースに応じて、面外回転角度の分布を実測し、参照テーブルとして記憶装置に記憶することもできる。
【００４９】
また、本実施形態において、頭部楕円選択部１０７は、式（７）により頭部楕円領域を選択するが、式（７）のほかに、ｓkとｗkとの和または重み付け和が最大になるように、頭部楕円領域を選択してもよい。さらに、ｓk及びｗkからなる一般的な関数で、候補楕円領域を評価し、頭部楕円領域を選択してもよい。
【００５０】
なお、本実施形態においては、過去と現在とで顔領域を検出できない場合、ステップＳ１０８からステップＳ１１１の処理をスキップして、ｓkのみで頭部楕円を選択する。一方、他の実施方法として、ｗkを全部１に設定して、式（７）により頭部楕円領域を選択してもよい。
【００５１】
また、本実施形態では、映像の第１フレームまたは静止画に適用する場合、第０フレームの頭部角度を予め初期値α0に設定し、α0により各頭部候補楕円の重みｗkを計算し、初期値α0と近い角度の頭部候補楕円を優先的に選択することもできる。また、本実施形態では、候補楕円の選出を例として説明したが、頭部被写体を楕円ではなく円で近似しても、同じ方法で各候補円に重みを付けて頭部円を選出することができる。
【００５２】
以上のように本実施形態によれば、過去フレーム画像で顔領域と頭部領域とを両方とも検出し、且つ、現在フレーム画像で顔領域を検出した場合に、現在フレームの各頭部候補領域の面外回転角度増分を求めることができる。前記面外回転角度の増分は、過去フレームの顔領域と頭部領域との位置関係とサイズと、現在フレーム画像の顔領域と頭部候補領域の位置関係及びサイズから計算できる。また、面外回転角度増分により、頭部候補領域に重みを付けて、候補領域を頭部面外回転角度の時系列方向でフィルタリングすることができ、背景エッジの悪影響を低減できる。特に、第１フレーム画像の場合、過去の面外回転角度を所定角度に指定すると、現在フレーム画像で所定角度の頭部領域を安定して検出することができる。
【００５３】
（第２の実施形態）
本実施形態では、第１の実施形態とは面外回転角度増分の計算方法が異なっている。それ以外については第１の実施形態と同様であるため、異なる点についてのみ説明する。
【００５４】
本実施形態においては、角度増分計算部１０３は、以下の式（１３）により、arcsin関数をテイラー展開して近似計算を行い、処理を高速化する。
【００５５】
【数１３】
【００５６】
ここで、式（２）及び式（４）の計算を近似計算により計算すると、以下の式（１４）のように計算できる。
【００５７】
【数１４】
【００５８】
式（１４）において、αt-1及びαkの計算では、第２項まで近似計算すれば４５度まで相対誤差は３％以内になるため、十分な精度を取れる。つまり、回転角度は４５度以上の場合、αt-1及びαkの計算は、以下の式（１５）により、相対誤差を３％以内にして計算できる。また、以上の近似計算では、ｘが０に近い場合は第１項のみで近似計算できる。
【００５９】
【数１５】
【００６０】
なお、arcsinの計算または以上の近似計算は、ｘについて予め計算しておき、参照テーブルとして記憶装置に記憶して、顔の面外回転角度の増分を計算する際に、前記参照テーブルを読み出して参照することにより高速化することもできる。また、前後のフレーム画像で頭部サイズが殆ど変わらないユースケースの場合、αt-1とαkとの差分は、顔中心と頭部中心との距離と比例するので、重み計算部１０６で候補楕円の重みを計算する際、顔中心と頭部中心との距離に基づいて計算してもよい。
【００６１】
（第３の実施形態）
図５は、本実施形態に係る画像処理装置２００の機能構成例を示すブロック図である。第１の実施形態では、全ての候補楕円について頭部面外回転の角度増分を計算した。これに対して本実施形態では、上位スコア候補楕円選出部２０７を備え、上位スコアの候補楕円を選出して、上位スコアの候補楕円のみについて頭部面外回転の角度増分を計算し、重みを付けて、頭部楕円を選択する。顔検出部２０２、頭部検出領域設定部２０４、候補楕円スコア算出部２０５及び初期頭部領域設定部２１０の構成については、それぞれ図１の顔検出部１０２、頭部検出領域設定部１０４、候補楕円スコア算出部１０５及び初期頭部領域設定部１１０と同様である。したがって、これらの構成については、詳細な説明は省略する。
【００６２】
上位スコア候補楕円選出部２０７は、候補楕円スコア算出部２０５で各候補楕円について計算したスコアをソートして、上位スコアの候補楕円を選択する。スコアの計算方法は第１の実施形態と同様である。また、角度増分計算部２０３、重み計算部２０６、及び頭部楕円選択部２０８は、上位スコア候補楕円選出部２０７で選出した各上位スコアの候補楕円のみについて、第１の実施形態と同様の処理を行い、頭部楕円を選択する。
【００６３】
図６は、本実施形態における処理手順の一例を示すフローチャートである。第１の実施形態で説明した図３と異なる点は、ステップＳ２０７の処理を含む点である。
図６において、ステップＳ２０１〜Ｓ２０６の処理は、それぞれ図３のステップＳ１０１〜Ｓ１０６の処理と同様である。そして、ステップＳ２０７において、ステップＳ２０６で計算した各候補楕円のスコアｓkをソートし、スコアが上位になった所定数の候補楕円を選出する。そして、ステップＳ２０８〜Ｓ２１４までの処理では、ステップＳ２０７で選出した各上位スコアの候補楕円について行う。なお、ステップＳ２０８〜Ｓ２１５は、それぞれ図３のステップＳ１０７〜Ｓ１１４の処理と同様である。
【００６４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６５】
１０２ 顔検出部
１０３ 角度増分計算部
１０４ 頭部検出領域設定部
１０５ 候補楕円スコア算出部
１０６ 重み計算部
１０７ 頭部楕円選択部
１１０ 初期頭部領域設定部
【特許請求の範囲】
【請求項１】
画像から被写体の領域を検出する画像処理装置であって、
前記被写体の所定の部位を検出する検出手段と、
前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、
各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、
前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記の被写体は人物であり、前記部位は人物の顔領域であり、前記他の部位は人物の頭部領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は顔を検出し、前記スコアを付ける手段は頭部領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記被写体の他の部位の候補領域は、前記スコアを計算する頭部楕円領域またはその外接矩形領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像から被写体の領域を検出する画像処理方法であって、
前記被写体の所定の部位を検出する検出工程と、
前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける工程と、
各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける工程と、
前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する工程とを備えることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
画像から被写体の領域を検出する画像処理装置であって、
前記被写体の所定の部位を検出する検出手段と、
前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける手段と、
各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける手段と、
前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記の被写体は人物であり、前記部位は人物の顔領域であり、前記他の部位は人物の頭部領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は顔を検出し、前記スコアを付ける手段は頭部領域を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記被写体の他の部位の候補領域は、前記スコアを計算する頭部楕円領域またはその外接矩形領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像から被写体の領域を検出する画像処理方法であって、
前記被写体の所定の部位を検出する検出工程と、
前記被写体の他の候補領域を検出し、各候補領域にスコアを付ける工程と、
各部位の位置とサイズとの関係から前記各候補領域のスコアに重みを付ける工程と、
前記重みを付けたスコアに基づいて、前記被写体の他の部位の領域を選択する工程とを備えることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３８９１（Ｐ２０１３−３８９１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５０８８（Ｐ２０１１−１３５０８８）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]