映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
【課題】 入力映像から複数の顔をリアルタイムで検出して追跡できるシステム及びその方法を提供する。
【解決手段】 入力映像から背景映像を除去して動きのある領域を抽出する背景除去部、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、動く領域から顔が位置しうる候補領域を抽出する候補領域抽出部、候補領域からＩＣＡ特徴を抽出し、学習されたＳＶＭ分類器を用いて候補領域が顔領域であるか否かを判断する顔領域判断部及び皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部を含むシステム。
【解決手段】 入力映像から背景映像を除去して動きのある領域を抽出する背景除去部、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、動く領域から顔が位置しうる候補領域を抽出する候補領域抽出部、候補領域からＩＣＡ特徴を抽出し、学習されたＳＶＭ分類器を用いて候補領域が顔領域であるか否かを判断する顔領域判断部及び皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔検出・追跡システム及びその方法に係り、具体的にリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法に関する。リアルタイムで複数顔を検出する方法とは、デジタルカラー動映像を入力とし、映像に現れた全ての顔の映像座標と大きさとをリアルタイムで出力する方法を言う。
【背景技術】
【０００２】
既存の監視システムの自動性及び監視性能を向上させるために、リアルタイム複数顔検出アルゴリズムを適用したデジタル監視システムについての必要性が高まっている。特に、映像に現れた全ての人種の多様な姿勢と大きさの顔を検出でき、一般的に劣悪な照明の監視環境下でも強靭に動作するアルゴリズムが必要である。
【０００３】
一方、監視システムを始めとし、顔検出アルゴリズムの効果的な応用のためには、多様な環境で多様な姿の顔を信頼性をもって検出することが何より重要である。従来の顔を検出する方法のうち、サーチ窓を映像の全ての座標でスケールを変えて行き、あらかじめ学習されたネットワーク（あるいはクラシファイア）を介して現在サーチ窓に顔が含まれているか否かを判断する方法が最も信頼性ある検出結果を提供すると知られている。また、監視システムで利用される一般的な映像に現れた顔はそのサイズが小さいが、サーチ窓に基づいた方法はこのような小サイズの顔検出が可能である長所がある。学習クラシファイアとしては、ニューラルネットワークはＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）が顔検出及び認識に広く適用されている。
しかし、このような既存の方法は演算量及び演算の複雑度がかなり高くて現在一般的なパソコンの計算能力では顔検出をリアルタイムで適用することは不可能である。
【０００４】
最近では顔検出の高信頼度とリアルタイム具現とを同時に満足させるために、ビデオから多様な情報を結合する方法が多く研究されている。このような研究として、ステレオカメラから得られる映像との距離情報と皮膚色情報とを結合し、顔の候補領域をまず探し、ニューラルネットワークに基づいたクラシファイアを適用する方法がある。しかし、この方法はステレオカメラを使用しなければならないというハードウェア的制限があり、ニューラルネットワークに基づいたクラシファイアは学習したデータベースの映像にだけよく動作して一般性が落ちる問題がある。
【０００５】
他の方法として、皮膚色カラーと顔パターン情報とを同時に使用する方法があるが、この方法は動き情報は活用せず、皮膚色カラーもまた照明変化に敏感な問題がある。
また、ＳＶＭに基づいた顔検出器の正確性を高めるために、入力される映像をそのまま使用せず、独立要素分析法（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）により特徴ベクトルを映像から抽出し、それをＳＶＭに印加して顔を判別する方法が提案された。しかし、この方法は映像パターンを使用して信頼性は保証されるが、映像パターンを画素単位に移動しつつパターンを比較して検索を行う方法を使用するために演算に長時間がかかるので、リアルタイム具現が必要である問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像に現れた映像の動き、皮膚色、人の姿勢、顔の目、鼻、口のパターンの多様な情報を効果的に結合して全ての人種の、多様な姿勢と大きさの顔についてリアルタイムで検出及び追跡を行え、一般的に劣悪な照明の監視環境下でも強靭に動作する顔検出・追跡システム及びその方法を提供するところにある。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明のシステムは入力映像とあらかじめ保存された背景映像間の明るさ差を利用して背景ではない領域を求め、背景ではない領域の各中心からカラー差がある領域を抽出することにより入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎを利用し、動きのある領域から顔が位置しうる候補領域を抽出する候補領域抽出部と、候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに候補領域のＩＣＡ特徴を印加し、候補領域が顔領域であるか否かを判断する顔領域判断部と、皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部とを含む。
【０００８】
前記システムの候補領域抽出部は顔皮膚色モデルを利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、動きのある領域の複数の最上位点を抽出し、複数の最上位点から下側に所定距離に中心座標を設定し、中心座標から所定範囲内の任意の位置に顔の位置する確率を計算する全域的確率マップ生成部と、皮膚色確率マップと全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部とを含むことが望ましい。
【０００９】
また、前述の目的を達成するために、本発明の方法は入力映像とあらかじめ保存された背景映像間の明るさ差を利用して背景ではない領域を求め、明るさ差の大きい各中心からカラー差がある領域を抽出することにより入力映像から背景映像を除去して動きのある領域を抽出する段階と、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎを利用し、動きのある領域から顔が位置しうる候補領域を抽出する段階と、前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する段階と、前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する段階とを含む。
【００１０】
前記方法の候補領域を抽出する段階は顔皮膚色モデルを利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、動きのある領域の複数の最上位点を抽出し、複数の最上位点から所定距離に中心座標を設定し、中心座標から任意の距離に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、皮膚色確率マップと全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階とを含むことが望ましい。
【発明の効果】
【００１１】
本発明によれば、入力される映像から動きとカラーの多様な情報を結合して顔が位置しうる候補領域をリアルタイムで速く抽出できる。
特に、抽出された動きのある領域のうち皮膚色と似ていて相対的に上に示される領域に確率を高く与えて顔が存在する候補領域を捜し出し、抽出された候補領域についてＩＣＡ特徴ベクトルを生成し、特徴ベクトルを学習されたＳＶＭに印加し、現在領域に顔の存在いかんを判断することにより、より信頼性ある顔検出が可能である。
【００１２】
また、検出された顔について皮膚色カラーと方向指向性カーネルとを使用して追跡を行うことにより、連続されたビデオシーケンスが印加される時、次のフレームで検出する顔候補領域を容易に探せる。
併せて、顔候補領域を探すために使われる皮膚色モデルは顔追跡結果から継続的に更新されることにより、照明変化に対応できる。
【発明を実施するための最良の形態】
【００１３】
以下、添付された図面を参照して本発明の望ましい実施例を説明する。
図１は本発明の望ましい実施例によるシステムの構成を図示するブロック図である。
本発明のシステムは入力映像から背景映像を除去して動きのある領域を抽出する背景除去部１０、顔皮膚色モデル８０を利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部２０、動きのある領域の複数の最上位点を抽出し、複数の最上位点から所定距離に中心座標を設定し、中心座標から距離による位置に顔の位置する確率を計算する全域的確率マップ生成部３０、皮膚色確率マップと全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部４０、抽出された顔の候補領域についてＩＣＡを行って特徴を抽出するＩＣＡ特徴抽出部５０、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを顔検出モデル９０から学習したＳＶＭに、前記候補領域のＩＣＡ特徴を印加し、候補領域が顔であるか否かを判断する顔判断部６０及び皮膚色確率マップに基づき、次のフレームで顔が位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部７０を含む。
【００１４】
図２をさらに参照して本発明の動作過程を説明する。
入力映像が本発明のシステムの背景除去部１０に入力されれば、背景除去部１０は入力映像からあらかじめ保存された背景映像（参照映像）の差を利用し、背景ではない動く物体を感知し、入力映像から背景映像を除外した領域を出力する（Ｓ２００）。
【００１５】
従来には２映像間に画素明るさの差が固定された臨界値以上ならば、その画素を背景ではない動きのある領域と定義する方式で、全ての映像画素を調べることにより、現在映像の動きのある領域を検出した。しかし、この方法は現在動く物体が背景と同じ明るさを有するか、漸進的な照明変化により、あらかじめ保存した背景映像の明るさが変わる時、強靭に背景を除去できない問題がある。また、明るさ差だけを利用して求められた背景ではない領域はノイズに強い特性があるが、実際背景ではない領域も背景と誤認識される確率が高い。
従って、本発明の背景除去部１０は映像間の明るさ差だけではなくカラー差も同時に使用し、漸進的に背景映像を自動更新することにより環境変化に強靭に背景映像を除去できる。
【００１６】
本発明の望ましい実施例により背景映像を除去する過程を例示する図３を参照すれば、背景除去部１０は図３（ａ）に示された入力映像についてまず明るさ差を利用して図３（ｂ）の背景ではない領域を感知する。明るさ差により感知された背景ではない領域はいくつかの領域に分離されるが、図３（ｂ）は大きく２領域に分離された例を図示した。
【００１７】
一方、入力映像について各画素のＲ、Ｇ、Ｂ成分それぞれの差を計算した後、これを合算することによりカラー差を計算し、カラー差が現れる領域を探すことによりカラー差による背景映像を分離した映像を図３（ｃ）のように得る。
その後、図３（ｂ）で分離されたそれぞれの領域の中心をシードとし、前記シードを含む図３（ｃ）の領域を背景ではない領域と決定することにより、ノイズに強靭に入力映像から背景映像を除去して現在動いている領域を抽出できる。
【００１８】
一方、背景除去部１０は入力映像から背景映像が決定されば、決定された背景映像で既存に保存された背景映像を更新する。
新しい背景映像Ｒ’（ｘ，ｙ）は既存背景映像Ｒ（ｘ，ｙ）と、現在映像との差により得られる二進化映像Ｂ（ｘ，ｙ）との組み合わせで得られ、新しい背景映像の各画素値は次の（１）式により計算される。
【００１９】
【数１】
【００２０】
この時、更新定数βを適切に選択して背景映像を更新することにより適切に照明変化に対処でき、更新定数βは０ないし１範囲の値であり、望ましくは０．２ないし０．３範囲の値が選択される。
入力映像から背景映像が除去された映像、すなわち背景ではない映像及び動く映像は皮膚色確率マップ生成部２０及び全域的確率マップ生成部３０に入力され、多重スケール確率マップ生成部４０は皮膚色確率マップ生成部２０で生成された皮膚色確率マップと全域的確率マップ生成部３０で生成された全域的確率マップとを乗算してマルチスケール確率マップＰｔｏｔａｌを生成することにより顔が位置しうる候補領域を抽出する（Ｓ２１０）。
【００２１】
本発明の望ましい実施例による皮膚色確率マップ及び全域的確率マップを例示する図４を参照して第Ｓ２１０段階を具体的に述べれば、背景除去部１０から出力された背景が除去された映像は皮膚色確率マップ生成部２０に入力される。皮膚色確率マップ生成部２０は顔皮膚色モデル８０により、入力された映像について各画素が皮膚色である確率を示す皮膚色確率マップＰｓｋｉｎを生成する（Ｓ２１２）。
【００２２】
皮膚色確率マップ生成部２０は顔皮膚色モデル８０により、入力された映像の各画素のＲ、Ｇ、Ｂカラーを色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルから、各画素カラーが皮膚色を示す確率を付与する。各画素が皮膚色を示す最終確率は探そうとする顔大きさ領域内の画素の平均確率として与えられ、次の（２）式により計算される。
【００２３】
【数２】
【００２４】
ここで、Ｐｓｋｉｎ（ｘ，ｙ，ｎ）は顔の大きさがｎである時、（ｘ，ｙ）座標の画素が顔皮膚色である確率を示し、Ｈｕｅ（ｉ，ｊ）及びＳａｔ（ｉ，ｊ）は（ｉ，ｊ）座標での色相及び彩度をそれぞれ示し、
及びΣは皮膚色モデルガウス分布の平均及び分散をそれぞれ示す。
【００２５】
図４に示されたように、本発明のシステムに入力された映像が図４（ａ）のような時、皮膚色確率マップは図４（ｂ）のように生成される。図４（ｂ）にて実線で表示された領域は背景除去部１０から出力された背景ではない領域を示し、その内部の白色で示された部分は皮膚色である確率が高い部分であることを意味する。
皮膚色２次元ガウスモデル、すなわち皮膚色の色相と彩度の平均と分散値は最終的に顔検出が成功すれば、検出された顔領域のカラーから更新され、本発明のシステムは照明変化に強靭に対応できる。
【００２６】
一方、背景除去部１０から出力された背景が除去された映像は全域的確率マップ生成部３０にも入力され、入力された背景ではない映像のうち顔の位置する確率が高い領域を示す全域的確率マップＰｇｌｏｂａｌが生成される（Ｓ２１４）。
一般的な監視環境にて人々は立っている姿勢で映像に捉えられるために、候補領域で顔は上側に存在する確率が高い。この事実を反映して背景が除去された映像のうち上位部分に顔が検出される確率を高く付与することによりさらに正確で速い顔検出が可能である。
【００２７】
図４（ｃ）を参照して全域的確率マップ生成過程を説明すれば、まず実線で表示された背景が除去された映像にて×で表示された最上位点Ｍｉｊを探す。
最上位点Ｍｉｊから全域的確率をガウス混合でモデリングするが、全域的確率マップは次の（３）式により生成される。
【００２８】
【数３】
【００２９】
ここで、ｎは検出される顔領域の大きさを、（ｘ，ｙ）は映像の座標を、ｉは最上位点の数を、
は顔が存在する候補領域の中心座標を、Σは分散マトリックスを、ｍｉ（ｍｉｘ，ｍｉｙ）は最上位点に含まれる座標を、
はｍｉにおける法線ベクトルをそれぞれ示し、これらは、以下の（４）式及び（５）式で表現される。
【００３０】
【数４】
【００３１】
【数５】
【００３２】
一方、顔が存在する候補領域の中心座標
は、まず最上位点で背景除去部１０から検出された背景領域の境界に直交する法線ベクトルを求めた後、法線ベクトルの方向に顔の長さのｎだけの距離に該当する座標を示す。
生成された皮膚色確率マップと全域的確率マップとは多重スケール確率マップ生成部４０に出力される。
多重スケール確率マップ生成部４０は皮膚色確率マップと全域的確率マップとを乗算して次の（６）式で表現される多重スケール確率マップＰｔｏｔａｌを生成し、
【００３３】
【数６】
【００３４】
生成された確率マップの確率値が所定値以上である領域を顔の位置する候補領域として抽出して出力する。この時、所定値はしきい値と決まり、これは前記（６）式のＰｔｏｔａｌの値が０．１以上になる値に設定される（Ｓ２１６）。
その後、検出された顔候補領域はＩＣＡ特徴抽出部５０に出力され、ＩＣＡ特徴抽出部５０は入力された顔候補領域からＩＣＡ特徴（ベクトル）を抽出する（Ｓ２２２）。
【００３５】
そして、ＩＣＡ特徴抽出部５０の入力映像の顔候補領域について抽出されたＩＣＡ特徴を顔判断部６０に出力し、顔判断部６０はＩＣＡ特徴をＳＶＭに印加して顔検出モデル９０により、抽出された顔候補領域が顔であるか否かを判断する（Ｓ２２４）。
【００３６】
一方、顔判断部６０で顔であるか否かの判断に利用されるＳＶＭは事前に正規化された顔映像を学習データベース（ＤＢ）として収集し、収集された映像についてＩＣＡを行って顔領域を最もよく表現できる基底ベクトルを得る。ＩＣＡ特徴というのは、現在映像と得られた基底ベクトルとの相関演算を介して得られる係数を意味する。
すなわち、顔判断部６０はこの学習顔映像のＩＣＡ特徴と顔ではない映像のＩＣＡ特徴とを利用してＳＶＭを事前に学習させておき、現在抽出されたＩＣＡ特徴を学習されたＳＶＭに印加して顔であるか否かを判断した後、顔であると判断された領域の映像を顔領域追跡部７０に出力する。
【００３７】
顔であると判断された領域の映像を顔判断部６０から受信した顔領域追跡部７０は前述の皮膚色確率マップ及び方向指向性カーネルを利用して顔領域を追跡する（Ｓ２３０）。顔領域追跡部７０は検出された顔領域の中心位置と大きさとから追跡を始め、次の映像の皮膚色確率マップＰｓｋｉｎとカルマンカーネルとを介して連続的に顔の中心位置と大きさ（分散）とを更新する。具体的な更新法は次の通りである。
図５を参照すれば、ｇ（）は図５（ａ）に示されたような２次元ガウスカーネルであり、顔の中心位置（μｘ，μｙ）と分散とは次の（７）式ないし（９）式により計算される。
【００３８】
【数７】
【００３９】
【数８】
【００４０】
【数９】
【００４１】
しかし、固定されたガウスカーネルｇ（）では速く動く物体を追跡し難いので、動く物体の速度によりカーネルの分散を調整する必要がある。この事項を考慮して動きベクトルの大きさを測定して分散を動きベクトルに比例すべく修正したガウスカーネルが図５（ｂ）に図示されている。
【００４２】
ただし、図５（ｂ）に示されたカーネルは動きベクトルの方向と動きベクトルの方向でない部分について互いに対称であり、動きベクトルの方向でない領域は、顔領域を追跡する他のカーネルに雑音として作用する恐れがある。従って、本発明の望ましい実施例は相異なるカーネルに最小限の干渉を与えつつ、速く動く物体をも追跡するために方向指向性のあるカーネルを利用して顔領域を追跡する。
【００４３】
図５（ｃ）を参照して方向指向性カーネルを説明する。
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とする。また、
である時、顔の位置する確率を下の（１０）式のように表現する。
【００４４】
【数１０】
【００４５】
方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現される。このように構成された方向指向性カーネルは図５（ｃ）に示されたように動きベクトル方向に偏向されている。顔領域追跡部７０はこの方向指向性カーネルを利用して検出された顔領域を次のフレームでも追跡できる。
また、顔領域追跡部７０は次のフレームで前述の如く顔領域を追跡しつつ、追跡中の顔領域のカラー分布から適応的な顔皮膚色モデル８０を更新できる（Ｓ２４０）。更新された皮膚色カラーモデル８０は顔候補領域を探すために必要な皮膚色確率マップの生成と追跡とに再使用される。
【００４６】
前述の方法を試験するために、多様なビデオシーケンスから６４０＊４８０サイズの停止映像７，０００枚を取得してデータベースに保存し、保存された映像について遂行時間が２５０ｍｓであるパソコン（Ｐｅｎｔｉｕｍ（Ｒ） １ＧＨｚ）で複数の顔検出及び追跡を行った。
【００４７】
【表１】
【００４８】
前記表に記載された如く、テスト結果、顔候補領域を検出する確率は９７．６６％、顔パターンを検出する確率は９３．４２％、最終顔検出率は９１．２％に達した。
顔候補領域でない領域を顔候補領域として検出した回数はカウントされていないが、顔パターンでない領域を顔パターンと認識した回数は７回であることが分かる。
【００４９】
図６は前述の方法による複数の顔検出例を図示する図面である。
図７は既存の単純動き量を測定することにより保存する映像量と本発明により保存する映像量との差を示す。既存の監視システムでは監視対象になる人の顔が画面に検出された否かとは関係なく動きのある全ての映像を貯蔵したが、監視システムで関心ある映像は一般的に人の顔が保存された映像であるから、本発明の顔検出・追跡システムでは人の顔が検出された映像だけを保存し、特に顔領域の映像だけを保存することにより、似たような監視効果で貯蔵容量を大きく減らせる。
【００５０】
図８は検出された顔映像を中心に便利な検索インタフェースの例を示す。既存には長時間監視した後に生じる広大な映像量のために、人の顔を検索するために保存された全ての映像を検索せねばならないので検索する作業が非常にやっかいであるが、本発明によれば人の顔が検出された映像だけを保存し、特に顔領域だけを保存することが可能なので、顔検索が顕著に容易になることが分かる。
【００５１】
本発明はまたコンピュータで読み込める記録媒体にコンピュータが読み込めるコードとして具現することが可能である。コンピュータが読み込める記録媒体はコンピュータシステムにより読み込まれうるデータが保存される全ての種類の記録装置を含む。コンピュータが読み込める記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（Ｒ）ディスク、光データの貯蔵装置などがあり、またキャリアウエーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータが読み込める記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み込めるコードが保存されて実行されうる。
【００５２】
これまで本発明についてその望ましい実施例を中心に述べた。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解できるであろう。従って、開示された実施例は限定的な観点でなく説明的な観点から考慮されねばならない。本発明の範囲は前述した説明でなく特許請求の範囲に示されており、それと同等な範囲内にある全ての差異点は本発明に含まれたものと解釈されねばならない。
。
【図面の簡単な説明】
【００５３】
【図１】本発明の望ましい実施例による顔検出・追跡システムの構成を図示するブロック図である。
【図２】本発明の望ましい実施例による顔検出・追跡方法を説明するフローチャートである。
【図３】本発明の望ましい実施例により背景映像を除去する過程を例示する図面である。
【図４】本発明の望ましい実施例による皮膚色確率マップ及び全域的確率マップを例示する図面である。
【図５】本発明の望ましい実施例による方向指向性カーネルを例示する図面である。
【図６】本発明の望ましい実施例による顔検出例を図示する図面である。
【図７】本発明の望ましい実施例による顔検出、追跡例及びそれによる顔映像の貯蔵量の差を図示する図面である。
【図８】本発明のシステムにより検出された顔映像を検索する一例を示した図面である。
【符号の説明】
【００５４】
１０ 背景除去部
２０ 皮膚色確率マップ生成部
３０ 全域的確率マップ生成部
４０ 多重スケール確率マップ生成部
５０ ＩＣＡ特徴抽出部
６０ 顔判断部
７０ 顔領域追跡部
８０ 顔皮膚色モデル
９０ 顔検出モデル
【技術分野】
【０００１】
本発明は顔検出・追跡システム及びその方法に係り、具体的にリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法に関する。リアルタイムで複数顔を検出する方法とは、デジタルカラー動映像を入力とし、映像に現れた全ての顔の映像座標と大きさとをリアルタイムで出力する方法を言う。
【背景技術】
【０００２】
既存の監視システムの自動性及び監視性能を向上させるために、リアルタイム複数顔検出アルゴリズムを適用したデジタル監視システムについての必要性が高まっている。特に、映像に現れた全ての人種の多様な姿勢と大きさの顔を検出でき、一般的に劣悪な照明の監視環境下でも強靭に動作するアルゴリズムが必要である。
【０００３】
一方、監視システムを始めとし、顔検出アルゴリズムの効果的な応用のためには、多様な環境で多様な姿の顔を信頼性をもって検出することが何より重要である。従来の顔を検出する方法のうち、サーチ窓を映像の全ての座標でスケールを変えて行き、あらかじめ学習されたネットワーク（あるいはクラシファイア）を介して現在サーチ窓に顔が含まれているか否かを判断する方法が最も信頼性ある検出結果を提供すると知られている。また、監視システムで利用される一般的な映像に現れた顔はそのサイズが小さいが、サーチ窓に基づいた方法はこのような小サイズの顔検出が可能である長所がある。学習クラシファイアとしては、ニューラルネットワークはＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）が顔検出及び認識に広く適用されている。
しかし、このような既存の方法は演算量及び演算の複雑度がかなり高くて現在一般的なパソコンの計算能力では顔検出をリアルタイムで適用することは不可能である。
【０００４】
最近では顔検出の高信頼度とリアルタイム具現とを同時に満足させるために、ビデオから多様な情報を結合する方法が多く研究されている。このような研究として、ステレオカメラから得られる映像との距離情報と皮膚色情報とを結合し、顔の候補領域をまず探し、ニューラルネットワークに基づいたクラシファイアを適用する方法がある。しかし、この方法はステレオカメラを使用しなければならないというハードウェア的制限があり、ニューラルネットワークに基づいたクラシファイアは学習したデータベースの映像にだけよく動作して一般性が落ちる問題がある。
【０００５】
他の方法として、皮膚色カラーと顔パターン情報とを同時に使用する方法があるが、この方法は動き情報は活用せず、皮膚色カラーもまた照明変化に敏感な問題がある。
また、ＳＶＭに基づいた顔検出器の正確性を高めるために、入力される映像をそのまま使用せず、独立要素分析法（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）により特徴ベクトルを映像から抽出し、それをＳＶＭに印加して顔を判別する方法が提案された。しかし、この方法は映像パターンを使用して信頼性は保証されるが、映像パターンを画素単位に移動しつつパターンを比較して検索を行う方法を使用するために演算に長時間がかかるので、リアルタイム具現が必要である問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、映像に現れた映像の動き、皮膚色、人の姿勢、顔の目、鼻、口のパターンの多様な情報を効果的に結合して全ての人種の、多様な姿勢と大きさの顔についてリアルタイムで検出及び追跡を行え、一般的に劣悪な照明の監視環境下でも強靭に動作する顔検出・追跡システム及びその方法を提供するところにある。
【課題を解決するための手段】
【０００７】
前述の目的を達成するために、本発明のシステムは入力映像とあらかじめ保存された背景映像間の明るさ差を利用して背景ではない領域を求め、背景ではない領域の各中心からカラー差がある領域を抽出することにより入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎを利用し、動きのある領域から顔が位置しうる候補領域を抽出する候補領域抽出部と、候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに候補領域のＩＣＡ特徴を印加し、候補領域が顔領域であるか否かを判断する顔領域判断部と、皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部とを含む。
【０００８】
前記システムの候補領域抽出部は顔皮膚色モデルを利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、動きのある領域の複数の最上位点を抽出し、複数の最上位点から下側に所定距離に中心座標を設定し、中心座標から所定範囲内の任意の位置に顔の位置する確率を計算する全域的確率マップ生成部と、皮膚色確率マップと全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部とを含むことが望ましい。
【０００９】
また、前述の目的を達成するために、本発明の方法は入力映像とあらかじめ保存された背景映像間の明るさ差を利用して背景ではない領域を求め、明るさ差の大きい各中心からカラー差がある領域を抽出することにより入力映像から背景映像を除去して動きのある領域を抽出する段階と、顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎを利用し、動きのある領域から顔が位置しうる候補領域を抽出する段階と、前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する段階と、前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する段階とを含む。
【００１０】
前記方法の候補領域を抽出する段階は顔皮膚色モデルを利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、動きのある領域の複数の最上位点を抽出し、複数の最上位点から所定距離に中心座標を設定し、中心座標から任意の距離に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、皮膚色確率マップと全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階とを含むことが望ましい。
【発明の効果】
【００１１】
本発明によれば、入力される映像から動きとカラーの多様な情報を結合して顔が位置しうる候補領域をリアルタイムで速く抽出できる。
特に、抽出された動きのある領域のうち皮膚色と似ていて相対的に上に示される領域に確率を高く与えて顔が存在する候補領域を捜し出し、抽出された候補領域についてＩＣＡ特徴ベクトルを生成し、特徴ベクトルを学習されたＳＶＭに印加し、現在領域に顔の存在いかんを判断することにより、より信頼性ある顔検出が可能である。
【００１２】
また、検出された顔について皮膚色カラーと方向指向性カーネルとを使用して追跡を行うことにより、連続されたビデオシーケンスが印加される時、次のフレームで検出する顔候補領域を容易に探せる。
併せて、顔候補領域を探すために使われる皮膚色モデルは顔追跡結果から継続的に更新されることにより、照明変化に対応できる。
【発明を実施するための最良の形態】
【００１３】
以下、添付された図面を参照して本発明の望ましい実施例を説明する。
図１は本発明の望ましい実施例によるシステムの構成を図示するブロック図である。
本発明のシステムは入力映像から背景映像を除去して動きのある領域を抽出する背景除去部１０、顔皮膚色モデル８０を利用して動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部２０、動きのある領域の複数の最上位点を抽出し、複数の最上位点から所定距離に中心座標を設定し、中心座標から距離による位置に顔の位置する確率を計算する全域的確率マップ生成部３０、皮膚色確率マップと全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部４０、抽出された顔の候補領域についてＩＣＡを行って特徴を抽出するＩＣＡ特徴抽出部５０、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを顔検出モデル９０から学習したＳＶＭに、前記候補領域のＩＣＡ特徴を印加し、候補領域が顔であるか否かを判断する顔判断部６０及び皮膚色確率マップに基づき、次のフレームで顔が位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部７０を含む。
【００１４】
図２をさらに参照して本発明の動作過程を説明する。
入力映像が本発明のシステムの背景除去部１０に入力されれば、背景除去部１０は入力映像からあらかじめ保存された背景映像（参照映像）の差を利用し、背景ではない動く物体を感知し、入力映像から背景映像を除外した領域を出力する（Ｓ２００）。
【００１５】
従来には２映像間に画素明るさの差が固定された臨界値以上ならば、その画素を背景ではない動きのある領域と定義する方式で、全ての映像画素を調べることにより、現在映像の動きのある領域を検出した。しかし、この方法は現在動く物体が背景と同じ明るさを有するか、漸進的な照明変化により、あらかじめ保存した背景映像の明るさが変わる時、強靭に背景を除去できない問題がある。また、明るさ差だけを利用して求められた背景ではない領域はノイズに強い特性があるが、実際背景ではない領域も背景と誤認識される確率が高い。
従って、本発明の背景除去部１０は映像間の明るさ差だけではなくカラー差も同時に使用し、漸進的に背景映像を自動更新することにより環境変化に強靭に背景映像を除去できる。
【００１６】
本発明の望ましい実施例により背景映像を除去する過程を例示する図３を参照すれば、背景除去部１０は図３（ａ）に示された入力映像についてまず明るさ差を利用して図３（ｂ）の背景ではない領域を感知する。明るさ差により感知された背景ではない領域はいくつかの領域に分離されるが、図３（ｂ）は大きく２領域に分離された例を図示した。
【００１７】
一方、入力映像について各画素のＲ、Ｇ、Ｂ成分それぞれの差を計算した後、これを合算することによりカラー差を計算し、カラー差が現れる領域を探すことによりカラー差による背景映像を分離した映像を図３（ｃ）のように得る。
その後、図３（ｂ）で分離されたそれぞれの領域の中心をシードとし、前記シードを含む図３（ｃ）の領域を背景ではない領域と決定することにより、ノイズに強靭に入力映像から背景映像を除去して現在動いている領域を抽出できる。
【００１８】
一方、背景除去部１０は入力映像から背景映像が決定されば、決定された背景映像で既存に保存された背景映像を更新する。
新しい背景映像Ｒ’（ｘ，ｙ）は既存背景映像Ｒ（ｘ，ｙ）と、現在映像との差により得られる二進化映像Ｂ（ｘ，ｙ）との組み合わせで得られ、新しい背景映像の各画素値は次の（１）式により計算される。
【００１９】
【数１】
【００２０】
この時、更新定数βを適切に選択して背景映像を更新することにより適切に照明変化に対処でき、更新定数βは０ないし１範囲の値であり、望ましくは０．２ないし０．３範囲の値が選択される。
入力映像から背景映像が除去された映像、すなわち背景ではない映像及び動く映像は皮膚色確率マップ生成部２０及び全域的確率マップ生成部３０に入力され、多重スケール確率マップ生成部４０は皮膚色確率マップ生成部２０で生成された皮膚色確率マップと全域的確率マップ生成部３０で生成された全域的確率マップとを乗算してマルチスケール確率マップＰｔｏｔａｌを生成することにより顔が位置しうる候補領域を抽出する（Ｓ２１０）。
【００２１】
本発明の望ましい実施例による皮膚色確率マップ及び全域的確率マップを例示する図４を参照して第Ｓ２１０段階を具体的に述べれば、背景除去部１０から出力された背景が除去された映像は皮膚色確率マップ生成部２０に入力される。皮膚色確率マップ生成部２０は顔皮膚色モデル８０により、入力された映像について各画素が皮膚色である確率を示す皮膚色確率マップＰｓｋｉｎを生成する（Ｓ２１２）。
【００２２】
皮膚色確率マップ生成部２０は顔皮膚色モデル８０により、入力された映像の各画素のＲ、Ｇ、Ｂカラーを色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルから、各画素カラーが皮膚色を示す確率を付与する。各画素が皮膚色を示す最終確率は探そうとする顔大きさ領域内の画素の平均確率として与えられ、次の（２）式により計算される。
【００２３】
【数２】
【００２４】
ここで、Ｐｓｋｉｎ（ｘ，ｙ，ｎ）は顔の大きさがｎである時、（ｘ，ｙ）座標の画素が顔皮膚色である確率を示し、Ｈｕｅ（ｉ，ｊ）及びＳａｔ（ｉ，ｊ）は（ｉ，ｊ）座標での色相及び彩度をそれぞれ示し、
及びΣは皮膚色モデルガウス分布の平均及び分散をそれぞれ示す。
【００２５】
図４に示されたように、本発明のシステムに入力された映像が図４（ａ）のような時、皮膚色確率マップは図４（ｂ）のように生成される。図４（ｂ）にて実線で表示された領域は背景除去部１０から出力された背景ではない領域を示し、その内部の白色で示された部分は皮膚色である確率が高い部分であることを意味する。
皮膚色２次元ガウスモデル、すなわち皮膚色の色相と彩度の平均と分散値は最終的に顔検出が成功すれば、検出された顔領域のカラーから更新され、本発明のシステムは照明変化に強靭に対応できる。
【００２６】
一方、背景除去部１０から出力された背景が除去された映像は全域的確率マップ生成部３０にも入力され、入力された背景ではない映像のうち顔の位置する確率が高い領域を示す全域的確率マップＰｇｌｏｂａｌが生成される（Ｓ２１４）。
一般的な監視環境にて人々は立っている姿勢で映像に捉えられるために、候補領域で顔は上側に存在する確率が高い。この事実を反映して背景が除去された映像のうち上位部分に顔が検出される確率を高く付与することによりさらに正確で速い顔検出が可能である。
【００２７】
図４（ｃ）を参照して全域的確率マップ生成過程を説明すれば、まず実線で表示された背景が除去された映像にて×で表示された最上位点Ｍｉｊを探す。
最上位点Ｍｉｊから全域的確率をガウス混合でモデリングするが、全域的確率マップは次の（３）式により生成される。
【００２８】
【数３】
【００２９】
ここで、ｎは検出される顔領域の大きさを、（ｘ，ｙ）は映像の座標を、ｉは最上位点の数を、
は顔が存在する候補領域の中心座標を、Σは分散マトリックスを、ｍｉ（ｍｉｘ，ｍｉｙ）は最上位点に含まれる座標を、
はｍｉにおける法線ベクトルをそれぞれ示し、これらは、以下の（４）式及び（５）式で表現される。
【００３０】
【数４】
【００３１】
【数５】
【００３２】
一方、顔が存在する候補領域の中心座標
は、まず最上位点で背景除去部１０から検出された背景領域の境界に直交する法線ベクトルを求めた後、法線ベクトルの方向に顔の長さのｎだけの距離に該当する座標を示す。
生成された皮膚色確率マップと全域的確率マップとは多重スケール確率マップ生成部４０に出力される。
多重スケール確率マップ生成部４０は皮膚色確率マップと全域的確率マップとを乗算して次の（６）式で表現される多重スケール確率マップＰｔｏｔａｌを生成し、
【００３３】
【数６】
【００３４】
生成された確率マップの確率値が所定値以上である領域を顔の位置する候補領域として抽出して出力する。この時、所定値はしきい値と決まり、これは前記（６）式のＰｔｏｔａｌの値が０．１以上になる値に設定される（Ｓ２１６）。
その後、検出された顔候補領域はＩＣＡ特徴抽出部５０に出力され、ＩＣＡ特徴抽出部５０は入力された顔候補領域からＩＣＡ特徴（ベクトル）を抽出する（Ｓ２２２）。
【００３５】
そして、ＩＣＡ特徴抽出部５０の入力映像の顔候補領域について抽出されたＩＣＡ特徴を顔判断部６０に出力し、顔判断部６０はＩＣＡ特徴をＳＶＭに印加して顔検出モデル９０により、抽出された顔候補領域が顔であるか否かを判断する（Ｓ２２４）。
【００３６】
一方、顔判断部６０で顔であるか否かの判断に利用されるＳＶＭは事前に正規化された顔映像を学習データベース（ＤＢ）として収集し、収集された映像についてＩＣＡを行って顔領域を最もよく表現できる基底ベクトルを得る。ＩＣＡ特徴というのは、現在映像と得られた基底ベクトルとの相関演算を介して得られる係数を意味する。
すなわち、顔判断部６０はこの学習顔映像のＩＣＡ特徴と顔ではない映像のＩＣＡ特徴とを利用してＳＶＭを事前に学習させておき、現在抽出されたＩＣＡ特徴を学習されたＳＶＭに印加して顔であるか否かを判断した後、顔であると判断された領域の映像を顔領域追跡部７０に出力する。
【００３７】
顔であると判断された領域の映像を顔判断部６０から受信した顔領域追跡部７０は前述の皮膚色確率マップ及び方向指向性カーネルを利用して顔領域を追跡する（Ｓ２３０）。顔領域追跡部７０は検出された顔領域の中心位置と大きさとから追跡を始め、次の映像の皮膚色確率マップＰｓｋｉｎとカルマンカーネルとを介して連続的に顔の中心位置と大きさ（分散）とを更新する。具体的な更新法は次の通りである。
図５を参照すれば、ｇ（）は図５（ａ）に示されたような２次元ガウスカーネルであり、顔の中心位置（μｘ，μｙ）と分散とは次の（７）式ないし（９）式により計算される。
【００３８】
【数７】
【００３９】
【数８】
【００４０】
【数９】
【００４１】
しかし、固定されたガウスカーネルｇ（）では速く動く物体を追跡し難いので、動く物体の速度によりカーネルの分散を調整する必要がある。この事項を考慮して動きベクトルの大きさを測定して分散を動きベクトルに比例すべく修正したガウスカーネルが図５（ｂ）に図示されている。
【００４２】
ただし、図５（ｂ）に示されたカーネルは動きベクトルの方向と動きベクトルの方向でない部分について互いに対称であり、動きベクトルの方向でない領域は、顔領域を追跡する他のカーネルに雑音として作用する恐れがある。従って、本発明の望ましい実施例は相異なるカーネルに最小限の干渉を与えつつ、速く動く物体をも追跡するために方向指向性のあるカーネルを利用して顔領域を追跡する。
【００４３】
図５（ｃ）を参照して方向指向性カーネルを説明する。
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とする。また、
である時、顔の位置する確率を下の（１０）式のように表現する。
【００４４】
【数１０】
【００４５】
方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現される。このように構成された方向指向性カーネルは図５（ｃ）に示されたように動きベクトル方向に偏向されている。顔領域追跡部７０はこの方向指向性カーネルを利用して検出された顔領域を次のフレームでも追跡できる。
また、顔領域追跡部７０は次のフレームで前述の如く顔領域を追跡しつつ、追跡中の顔領域のカラー分布から適応的な顔皮膚色モデル８０を更新できる（Ｓ２４０）。更新された皮膚色カラーモデル８０は顔候補領域を探すために必要な皮膚色確率マップの生成と追跡とに再使用される。
【００４６】
前述の方法を試験するために、多様なビデオシーケンスから６４０＊４８０サイズの停止映像７，０００枚を取得してデータベースに保存し、保存された映像について遂行時間が２５０ｍｓであるパソコン（Ｐｅｎｔｉｕｍ（Ｒ） １ＧＨｚ）で複数の顔検出及び追跡を行った。
【００４７】
【表１】
【００４８】
前記表に記載された如く、テスト結果、顔候補領域を検出する確率は９７．６６％、顔パターンを検出する確率は９３．４２％、最終顔検出率は９１．２％に達した。
顔候補領域でない領域を顔候補領域として検出した回数はカウントされていないが、顔パターンでない領域を顔パターンと認識した回数は７回であることが分かる。
【００４９】
図６は前述の方法による複数の顔検出例を図示する図面である。
図７は既存の単純動き量を測定することにより保存する映像量と本発明により保存する映像量との差を示す。既存の監視システムでは監視対象になる人の顔が画面に検出された否かとは関係なく動きのある全ての映像を貯蔵したが、監視システムで関心ある映像は一般的に人の顔が保存された映像であるから、本発明の顔検出・追跡システムでは人の顔が検出された映像だけを保存し、特に顔領域の映像だけを保存することにより、似たような監視効果で貯蔵容量を大きく減らせる。
【００５０】
図８は検出された顔映像を中心に便利な検索インタフェースの例を示す。既存には長時間監視した後に生じる広大な映像量のために、人の顔を検索するために保存された全ての映像を検索せねばならないので検索する作業が非常にやっかいであるが、本発明によれば人の顔が検出された映像だけを保存し、特に顔領域だけを保存することが可能なので、顔検索が顕著に容易になることが分かる。
【００５１】
本発明はまたコンピュータで読み込める記録媒体にコンピュータが読み込めるコードとして具現することが可能である。コンピュータが読み込める記録媒体はコンピュータシステムにより読み込まれうるデータが保存される全ての種類の記録装置を含む。コンピュータが読み込める記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（Ｒ）ディスク、光データの貯蔵装置などがあり、またキャリアウエーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータが読み込める記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータが読み込めるコードが保存されて実行されうる。
【００５２】
これまで本発明についてその望ましい実施例を中心に述べた。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解できるであろう。従って、開示された実施例は限定的な観点でなく説明的な観点から考慮されねばならない。本発明の範囲は前述した説明でなく特許請求の範囲に示されており、それと同等な範囲内にある全ての差異点は本発明に含まれたものと解釈されねばならない。
。
【図面の簡単な説明】
【００５３】
【図１】本発明の望ましい実施例による顔検出・追跡システムの構成を図示するブロック図である。
【図２】本発明の望ましい実施例による顔検出・追跡方法を説明するフローチャートである。
【図３】本発明の望ましい実施例により背景映像を除去する過程を例示する図面である。
【図４】本発明の望ましい実施例による皮膚色確率マップ及び全域的確率マップを例示する図面である。
【図５】本発明の望ましい実施例による方向指向性カーネルを例示する図面である。
【図６】本発明の望ましい実施例による顔検出例を図示する図面である。
【図７】本発明の望ましい実施例による顔検出、追跡例及びそれによる顔映像の貯蔵量の差を図示する図面である。
【図８】本発明のシステムにより検出された顔映像を検索する一例を示した図面である。
【符号の説明】
【００５４】
１０ 背景除去部
２０ 皮膚色確率マップ生成部
３０ 全域的確率マップ生成部
４０ 多重スケール確率マップ生成部
５０ ＩＣＡ特徴抽出部
６０ 顔判断部
７０ 顔領域追跡部
８０ 顔皮膚色モデル
９０ 顔検出モデル
【特許請求の範囲】
【請求項１】
入力映像からリアルタイムで複数の顔を検出して追跡する顔検出・追跡システムであり、
入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、
顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、前記動きのある領域から顔が位置しうる候補領域を抽出する候補領域抽出部と、
前記候補領域から独立成分分析（ＩＣＡ）特徴を抽出し、前記候補領域が顔領域であるか否かを判断する顔領域判断部と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部と、
を含むことを特徴とする顔検出・追跡システム。
【請求項２】
前記候補領域抽出部は、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定の距離に中心座標を設定し、前記中心座標から任意の距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する全域的確率マップ生成部と、
前記皮膚色確率マップと前記全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部と、
を含むことを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項３】
前記皮膚色確率マップ生成部は、
前記動きのある領域の各画素のカラーを色相と彩度とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルである顔皮膚色モデルに適用し、動きのある領域のカラーが皮膚色である確率を示す皮膚色確率マップを生成することを特徴とする請求項２に記載の顔検出・追跡システム。
【請求項４】
前記動きのある領域の（ｉ，ｊ）座標での色相をＨｕｅ（ｉ，ｊ）、彩度をＳａｔ（ｉ，ｊ）、前記ガウス分布の平均を
、前記ガウス分布の分散をΣ、検出しようとする顔の大きさをｎとする時、前記皮膚色確率マップＰｓｋｉｎ（ｘ，ｙ，ｎ）は、
により生成されることを特徴とする請求項３に記載の顔検出・追跡システム。
【請求項５】
前記全域的確率マップ生成部は、
前記候補領域の中心座標を
、分散マトリックスをΣ、顔領域の大きさをｎ、各局所領域ｉの座標を（ｘｉ，ｙｉ）、前記最上位点の集合に含まれる座標をｍｉ（ｍｉｘ，ｍｉｙ）、ｍｉにおける法線ベクトルを
とする時、全域的確率マップＰｇｌｏｂａｌ（ｘ，ｙ，ｎ）は、
により生成され、前記
、Σ、ｘｉ及びｙｉそれぞれは、
を満足することを特徴とする請求項２に記載の顔検出・追跡システム。
【請求項６】
前記顔領域判断部は、
前記抽出された顔の候補領域についてＩＣＡを行って特徴を抽出するＩＣＡ特徴抽出部と、
学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したサポートベクターマシン（ＳＶＭ）に前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔であるか否かを判断する顔判断部と、
を含むことを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項７】
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とし、
である時、顔の位置する確率を
とすると、
前記方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現されることを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項８】
前記背景除去部は、
前記入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出することを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項９】
前記背景除去部は、
既存の背景映像をＲ（ｘ，ｙ）、前記入力映像から動きのある領域が除去された二進化された映像をＢ（ｘ，ｙ）、βを更新定数とする時、
Ｒ’（ｘ，ｙ）＝βＲ（ｘ，ｙ）＋（１−β）Ｂ（ｘ，ｙ）
により新しい背景映像Ｒ’（ｘ，ｙ）を更新することを特徴とする請求項８に記載の顔検出・追跡システム。
【請求項１０】
入力映像からリアルタイムで複数の顔を検出して追跡するシステムであり、
入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する全域的確率マップ生成部と、
前記皮膚色確率マップと前記全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部と、
前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する顔領域判断部と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部と、
を含むことを特徴とする顔検出・追跡システム。
【請求項１１】
入力映像からリアルタイムで複数の顔を検出して追跡する顔検出・追跡方法であり、
（ａ）入力された映像から背景映像を除去して動きのある領域を抽出する段階と、
（ｂ）顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、前記動きのある領域から顔が位置しうる候補領域を抽出する段階と、
（ｃ）抽出された前記候補領域からＩＣＡ特徴を抽出し、前記候補領域に顔が存在しているか否かを判断する段階と、
（ｄ）前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔が存在すると判断された顔領域を追跡する段階と、
を含むことを特徴とする顔検出・追跡方法。
【請求項１２】
前記（ｂ）段階は、
（ｂ１）顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、
（ｂ２）前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、
（ｂ３）前記皮膚色確率マップと前記全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階と、
を含むことを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１３】
前記（ｂ１）段階は、
前記動きのある領域の各画素のカラーを色相と彩度とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルである顔皮膚色モデルに適用し、動きのある領域のカラーが皮膚色である確率を示す皮膚色確率マップを生成することを特徴とする請求項１２に記載の顔検出・追跡方法。
【請求項１４】
前記動きのある領域の（ｉ，ｊ）座標での色相をＨｕｅ（ｉ，ｊ）、彩度をＳａｔ（ｉ，ｊ）、前記ガウス分布の平均を
、前記ガウス分布の分散をΣ、検出しようとする顔の大きさをｎとする時、前記皮膚色確率マップＰｓｋｉｎ（ｘ，ｙ，ｎ）は、
により生成されることを特徴とする請求項１３に記載の顔検出・追跡方法。
【請求項１５】
前記（ｂ２）段階は、
前記候補領域の中心座標を
、分散マトリックスをΣ、顔領域の大きさをｎ、各局所領域ｉの座標を（ｘｉ，ｙｉ）、前記最上位点の集合に含まれる座標をｍｉ（ｍｉｘ，ｍｉｙ）、ｍｉにおける法線ベクトルを
とする時、全域的確率マップＰｇｌｏｂａｌ（ｘ，ｙ，ｎ）は、
により生成され、前記
、Σ、ｘｉ及びｙｉそれぞれは、
を満足することを特徴とする請求項１２に記載の顔検出・追跡方法。
【請求項１６】
前記（ｃ）段階は、
前記抽出された顔の候補領域についてＩＣＡを行って特徴を抽出する段階と、
学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔であるか否かを判断する段階と、
を含むことを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１７】
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とし、
である時、顔の位置する確率を
とすると、
前記方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現されることを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１８】
前記（ａ）段階は、
前記入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出することを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１９】
前記（ａ）段階は、
既存の背景映像をＲ（ｘ，ｙ）、前記入力映像から動きのある領域が除去された二進化された映像をＢ（ｘ，ｙ）、βを更新定数とする時、
Ｒ’（ｘ，ｙ）＝βＲ（ｘ，ｙ）＋（１−β）Ｂ（ｘ，ｙ）
により新しい背景映像Ｒ’（ｘ，ｙ）を更新することを特徴とする請求項１８に記載の顔検出・追跡方法。
【請求項２０】
入力映像の視覚情報を結合してリアルタイムで複数の顔を検出して追跡する方法であり、
入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出する段階と、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、
前記皮膚色確率マップと前記全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階と、
前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する段階と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する段階と、
を含むことを特徴とする顔検出・追跡方法。
【請求項２１】
前記請求項１１ないし２０のうちいずれか１項に記載の方法をコンピュータで実行可能なプログラムコードで記録した記録媒体。
【請求項１】
入力映像からリアルタイムで複数の顔を検出して追跡する顔検出・追跡システムであり、
入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、
顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、前記動きのある領域から顔が位置しうる候補領域を抽出する候補領域抽出部と、
前記候補領域から独立成分分析（ＩＣＡ）特徴を抽出し、前記候補領域が顔領域であるか否かを判断する顔領域判断部と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部と、
を含むことを特徴とする顔検出・追跡システム。
【請求項２】
前記候補領域抽出部は、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定の距離に中心座標を設定し、前記中心座標から任意の距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する全域的確率マップ生成部と、
前記皮膚色確率マップと前記全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部と、
を含むことを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項３】
前記皮膚色確率マップ生成部は、
前記動きのある領域の各画素のカラーを色相と彩度とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルである顔皮膚色モデルに適用し、動きのある領域のカラーが皮膚色である確率を示す皮膚色確率マップを生成することを特徴とする請求項２に記載の顔検出・追跡システム。
【請求項４】
前記動きのある領域の（ｉ，ｊ）座標での色相をＨｕｅ（ｉ，ｊ）、彩度をＳａｔ（ｉ，ｊ）、前記ガウス分布の平均を
、前記ガウス分布の分散をΣ、検出しようとする顔の大きさをｎとする時、前記皮膚色確率マップＰｓｋｉｎ（ｘ，ｙ，ｎ）は、
により生成されることを特徴とする請求項３に記載の顔検出・追跡システム。
【請求項５】
前記全域的確率マップ生成部は、
前記候補領域の中心座標を
、分散マトリックスをΣ、顔領域の大きさをｎ、各局所領域ｉの座標を（ｘｉ，ｙｉ）、前記最上位点の集合に含まれる座標をｍｉ（ｍｉｘ，ｍｉｙ）、ｍｉにおける法線ベクトルを
とする時、全域的確率マップＰｇｌｏｂａｌ（ｘ，ｙ，ｎ）は、
により生成され、前記
、Σ、ｘｉ及びｙｉそれぞれは、
を満足することを特徴とする請求項２に記載の顔検出・追跡システム。
【請求項６】
前記顔領域判断部は、
前記抽出された顔の候補領域についてＩＣＡを行って特徴を抽出するＩＣＡ特徴抽出部と、
学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したサポートベクターマシン（ＳＶＭ）に前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔であるか否かを判断する顔判断部と、
を含むことを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項７】
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とし、
である時、顔の位置する確率を
とすると、
前記方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現されることを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項８】
前記背景除去部は、
前記入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出することを特徴とする請求項１に記載の顔検出・追跡システム。
【請求項９】
前記背景除去部は、
既存の背景映像をＲ（ｘ，ｙ）、前記入力映像から動きのある領域が除去された二進化された映像をＢ（ｘ，ｙ）、βを更新定数とする時、
Ｒ’（ｘ，ｙ）＝βＲ（ｘ，ｙ）＋（１−β）Ｂ（ｘ，ｙ）
により新しい背景映像Ｒ’（ｘ，ｙ）を更新することを特徴とする請求項８に記載の顔検出・追跡システム。
【請求項１０】
入力映像からリアルタイムで複数の顔を検出して追跡するシステムであり、
入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出する背景除去部と、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する皮膚色確率マップ生成部と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する全域的確率マップ生成部と、
前記皮膚色確率マップと前記全域的確率マップＰｇｌｏｂａｌとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する多重スケール確率マップ生成部と、
前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する顔領域判断部と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する顔領域追跡部と、
を含むことを特徴とする顔検出・追跡システム。
【請求項１１】
入力映像からリアルタイムで複数の顔を検出して追跡する顔検出・追跡方法であり、
（ａ）入力された映像から背景映像を除去して動きのある領域を抽出する段階と、
（ｂ）顔皮膚色モデルから生成された皮膚色確率マップＰｓｋｉｎ及び全域的確率マップＰｇｌｏｂａｌを利用し、前記動きのある領域から顔が位置しうる候補領域を抽出する段階と、
（ｃ）抽出された前記候補領域からＩＣＡ特徴を抽出し、前記候補領域に顔が存在しているか否かを判断する段階と、
（ｄ）前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔が存在すると判断された顔領域を追跡する段階と、
を含むことを特徴とする顔検出・追跡方法。
【請求項１２】
前記（ｂ）段階は、
（ｂ１）顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、
（ｂ２）前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、
（ｂ３）前記皮膚色確率マップと前記全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階と、
を含むことを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１３】
前記（ｂ１）段階は、
前記動きのある領域の各画素のカラーを色相と彩度とに変換し、あらかじめ多様な皮膚色で学習された２次元ガウスモデルである顔皮膚色モデルに適用し、動きのある領域のカラーが皮膚色である確率を示す皮膚色確率マップを生成することを特徴とする請求項１２に記載の顔検出・追跡方法。
【請求項１４】
前記動きのある領域の（ｉ，ｊ）座標での色相をＨｕｅ（ｉ，ｊ）、彩度をＳａｔ（ｉ，ｊ）、前記ガウス分布の平均を
、前記ガウス分布の分散をΣ、検出しようとする顔の大きさをｎとする時、前記皮膚色確率マップＰｓｋｉｎ（ｘ，ｙ，ｎ）は、
により生成されることを特徴とする請求項１３に記載の顔検出・追跡方法。
【請求項１５】
前記（ｂ２）段階は、
前記候補領域の中心座標を
、分散マトリックスをΣ、顔領域の大きさをｎ、各局所領域ｉの座標を（ｘｉ，ｙｉ）、前記最上位点の集合に含まれる座標をｍｉ（ｍｉｘ，ｍｉｙ）、ｍｉにおける法線ベクトルを
とする時、全域的確率マップＰｇｌｏｂａｌ（ｘ，ｙ，ｎ）は、
により生成され、前記
、Σ、ｘｉ及びｙｉそれぞれは、
を満足することを特徴とする請求項１２に記載の顔検出・追跡方法。
【請求項１６】
前記（ｃ）段階は、
前記抽出された顔の候補領域についてＩＣＡを行って特徴を抽出する段階と、
学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔であるか否かを判断する段階と、
を含むことを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１７】
次のフレームで顔の中心が位置する座標と分散とをそれぞれ（μｘ，μｙ）及び（σｘ，σｙ）とし、
である時、顔の位置する確率を
とすると、
前記方向指向性カーネルは前記顔領域が動く方向ではｆ（ｘ，ｙ，σｘ，σｙ）と、前記顔領域が動く方向と反対方向では
と表現されることを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１８】
前記（ａ）段階は、
前記入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出することを特徴とする請求項１１に記載の顔検出・追跡方法。
【請求項１９】
前記（ａ）段階は、
既存の背景映像をＲ（ｘ，ｙ）、前記入力映像から動きのある領域が除去された二進化された映像をＢ（ｘ，ｙ）、βを更新定数とする時、
Ｒ’（ｘ，ｙ）＝βＲ（ｘ，ｙ）＋（１−β）Ｂ（ｘ，ｙ）
により新しい背景映像Ｒ’（ｘ，ｙ）を更新することを特徴とする請求項１８に記載の顔検出・追跡方法。
【請求項２０】
入力映像の視覚情報を結合してリアルタイムで複数の顔を検出して追跡する方法であり、
入力映像とあらかじめ保存された背景映像間の明るさ差を利用した背景ではない第１領域及びカラー差を利用した背景ではない第２領域を求め、前記背景ではない第２領域に含まれる複数の副領域のうち、前記背景ではない第１領域に含まれた各副領域の中心を含む副領域を背景ではない領域として抽出することにより、入力映像から背景映像を除去して動きのある領域を抽出する段階と、
顔皮膚色モデルを利用して前記動きのある領域について皮膚色確率マップＰｓｋｉｎを生成する段階と、
前記動きのある領域の複数の最上位点を抽出し、前記複数の最上位点から所定距離に中心座標を設定し、前記中心座標から所定距離内に顔の位置する確率を計算して全域的確率マップＰｇｌｏｂａｌを生成する段階と、
前記皮膚色確率マップと前記全域的確率マップとを乗算し、顔の位置する多重スケール確率マップを生成し、生成された多重スケール確率マップの確率値が所定の臨界値以上である領域を顔の位置する候補領域として抽出する段階と、
前記候補領域からＩＣＡ特徴を抽出し、学習顔映像にＩＣＡを行って得られた特徴と顔ではない映像にＩＣＡを行って得られた特徴とを学習したＳＶＭに前記候補領域のＩＣＡ特徴を印加し、前記候補領域が顔領域であるか否かを判断する段階と、
前記皮膚色確率マップに基づき、次のフレームで顔の位置する確率を示す方向指向性カーネルにより顔領域を追跡する段階と、
を含むことを特徴とする顔検出・追跡方法。
【請求項２１】
前記請求項１１ないし２０のうちいずれか１項に記載の方法をコンピュータで実行可能なプログラムコードで記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００４−５４９６０（Ｐ２００４−５４９６０Ａ）
【公開日】平成１６年２月１９日（２００４．２．１９）
【国際特許分類】
【出願番号】特願２００３−２７６８１９（Ｐ２００３−２７６８１９）
【出願日】平成１５年７月１８日（２００３．７．１８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【Ｆターム（参考）】
【公開日】平成１６年２月１９日（２００４．２．１９）
【国際特許分類】
【出願日】平成１５年７月１８日（２００３．７．１８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【Ｆターム（参考）】
[ Back to top ]