人物動き領域検出装置

【目的】画像を用いた人物の監視システムや画像通信時の圧縮、ヒューマンインターフェースに応用される高速な人物動き領域の検出を行う。
【構成】この人物動き領域検出装置は、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻Ｔに撮影された画像信号１１を輝度・色差表現に変換する第一のＲＧＢ→輝度・色差変換手段１と、この時刻Ｔに撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段３とを備える。また、次の時刻Ｔ＋１に撮影された画像信号１２を輝度・色差表現に変換する第二のＲＧＢ→輝度・色差変換手段２と、時刻Ｔに撮影された画像の輝度成分と次の時刻Ｔ＋１に撮影された画像の輝度成分とから肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段４とを備える。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は人物動き領域検出装置に関し、特に画像を用いた人物の監視システムや画像通信時の圧縮、ヒューマンインターフェースに応用される人物動き領域検出装置に関する。
【０００２】
【従来の技術】画像を用いたヒューマンインターフェースを構成する際に最も重要となるのが人物、特に顔部分の検出である。また監視システムや画像圧縮システムでも顔検出は重要な技術となる。このような応用分野においては顔の急激な動きをキーとして処理を切り替える等のアクションを起こす必要があるために、動きを検出する処理は重要な要素の一つである。
【０００３】従来の動き検出処理を文献「パソコンによる動画像処理」三池・古賀編著，森北出版（１９９３）に基づいて説明する。画像を用いた動き検出処理は、ブロックマッチング法と勾配法の二つに大きく分類される。この二つの手法を以下で順番に説明する。図５に示すように、人物が撮影されている画像が入力されたとする。ブロックマッチング法は大まかに以下の手続きから構成される。
手続き１．ある時刻に入力された画像を部分画像に分割する。部分画像への分割例を図５に示す。
手続き２．部分画像のうちの一つに注目し、次の時刻に入力された画像上で選んだ部分画像と最も良くマッチングする場所を探索する。部分画像の元の位置と最もマッチングの良かった場所との差が、この部分画像上に存在する物体の移動距離であるとする。
手続き３．全ての部分画像について手続き２を適用する。
【０００４】勾配法では画像上の動きベクトルは画像の濃淡値の時間・空間に関する偏微分値から求められる。ある時刻ｔにおける座標値（ｘ，ｙ）での画像上の濃淡値を
【０００５】

【０００６】但し一画素あたり未知数（動き量）が２つ存在するのでそのままでは解けない。そのため動きベクトルが空間的に滑らかであるというような拘束をいれたり、多バンド画像に適用することにより動きベクトルを決定する手法が使われる。
【０００７】勾配法を非常に単純化し、動きが存在するか否かを判定する手法もある。適当な閾値Ｔｈを設定し、式（２）を満たす場合その画素位置で動きが存在すると判定する。
【０００８】

【０００９】
【発明が解決しようとする課題】上述の動き検出処理は基本的に画面全体に対して処理を行う汎用の方法であり、顔の動きに目的を絞ったときに、どういう量に注目して処理を行えば良いかという点については何も述べていない。そこで人物を対象とする用途を絞った効率・性能の良い処理が望まれた。
【００１０】本発明の目的は、効率・性能の良い人物動き領域検出装置を提供することにある。
【００１１】
【課題を解決するための手段】本発明の人物動き領域検出装置は、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻に撮影された画像を輝度・色差表現に変換する第一の輝度・色差変換手段と、前記ある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、次の時刻に撮影された画像を輝度・色差表現に変換する第二の輝度・色差変換手段と、前記ある時刻に撮影された画像の輝度成分と前記次の時刻に撮影された画像の輝度成分とから前記肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段とを備える。
【００１２】また、本発明の人物動き領域検出装置は、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻に撮影された画像を輝度・色差表現に変換する第一の輝度・色差変換手段と、前記ある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、次の時刻に撮影された画像を輝度・色差表現に変換する第二の輝度・色差変換手段と、前記ある時刻に撮影された画像の輝度成分と前記次の時刻に撮影された画像の輝度成分とから動き量を表す画像を計算する輝度差分計算手段と、前記肌色領域と前記動き量を表す画像との論理積をとる論理積処理手段とを備える。
【００１３】さらに、本発明の人物動き領域検出装置は、人物の顔を含む輝度・色差表現された動画像から顔の動きを検出する装置において、ある時刻に撮影された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、前記ある時刻に撮影された画像の輝度成分と次の時刻に撮影された画像の輝度成分とから前記肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段とを備える。
【００１４】さらに、本発明の人物動き領域検出装置は、人物の顔を含む輝度・色差表現された動画像から顔の動きを検出する装置において、ある時刻に撮影された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、前記ある時刻に撮影された画像の輝度成分と次の時刻に撮影された画像の輝度成分とから動き量を表す画像を計算する輝度差分計算手段と、前記肌色領域と前記動き量を表す画像との論理積をとる論理積処理手段とを備える。
【００１５】
【作用】本発明はカラー画像を入力として人物、特に顔の動きを検出するためのものである。入力画像を輝度・色差表現に変換したとき、以下の実験事実が観測できる。
１．肌色の領域は、色相・彩度に人に余り依存しない固有の値を持っている。肌色をなしている領域は閾値処理により簡単に抽出可能である。
２．一人一人の肌の色相・彩度は、それぞれどの場所でもほとんど同じである。顔の動きによる色相・彩度方向の時間的変化はほとんどない。
３．顔は鼻や口など起伏が大きい部品を持つために、顔内陰影値の振幅は大きい。顔が動いたときの輝度値時間的変化量は大きな値となる。
ここで輝度・色差表現とは、テレビ信号の伝送に用いられているＹＩＱ色表現等を指す。
【００１６】これらの事実から以下の方針で処理を構成することにより、計算量を抑えて効率的に顔の動きを検出する処理を構成することが可能となる。
１．色相・彩度表現に重点を置いた閾値処理によって肌色領域を抽出する。
２．顔の動き量は肌色領域内だけで計算する。
３．顔の動き量は画像の輝度成分から求める。
【００１７】高並列プロセッサシステムを用いる場合には画面全体で肌色領域と動き量を求めた後、動き量中で肌色領域内の値のみを出力する方が処理時間的に有利となる場合もある。
１．色相・彩度表現に重点を置いた閾値処理によって肌色領域を抽出する。
２．顔の動き量は画像の輝度成分から求める。
３．顔の動き量中で肌色領域内の値のみを出力する。
【００１８】
【実施例】次に、本発明について図面を参照して説明する。本発明の第一の実施例をブロックで示す図１を参照すると、この実施例の人物動き領域検出装置は、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻Ｔに撮影された画像信号１１を輝度・色差表現に変換する第一のＲＧＢ→輝度・色差変換手段１と、この時刻Ｔに撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段３と、次の時刻Ｔ＋１に撮影された画像信号１２を輝度・色差表現に変換する第二のＲＧＢ→輝度・色差変換手段２と、時刻Ｔに撮影された画像の輝度成分と次の時刻Ｔ＋１に撮影された画像の輝度成分とから肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段４とから構成される。
【００１９】図２は入力画像信号１０の一例を示す図である。図２を図１に併せて参照して、この実施例の動作を説明する。入力画像信号１０中には顔や腕などの肌色領域が撮影されているとする。時刻Ｔに撮影された画像信号１１は、第一のＲＧＢ→輝度・色差変換手段１により、輝度・色差各成分信号１３に変換される。この輝度・色差各成分信号１３から、肌色領域閾値処理手段３は図３に示すような肌色領域２０を検出し、肌色領域画像信号１４を出力する。時刻Ｔ＋１に撮影された画像信号１２は同様に、第二のＲＧＢ→輝度・色差変換手段２により輝度・色差に変換され輝度成分信号１５を出力する。輝度・色差各成分信号１３のうちの輝度成分と輝度成分信号１５および肌色領域画像信号１４とは、マスク領域輝度差分計算手段４に入力されて肌色領域内のみ画素毎に差分を計算され、肌色領域動き量画像信号１６が出力される。
【００２０】本発明の第二の実施例をブロックで示す図４を参照すると、この実施例の人物動き領域検出装置は、人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻Ｔに撮影された画像を輝度・色差表現に変換する第一のＲＧＢ→輝度・色差変換手段１と、この時刻Ｔに撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段３と、次の時刻Ｔ＋１に撮影された画像を輝度・色差表現に変換する第二のＲＧＢ→輝度・色差変換手段２と、時刻Ｔに撮影された画像の輝度成分と次の時刻Ｔ＋１に撮影された画像の輝度成分とから動き量を表す画像を計算する輝度差分計算手段５と、肌色領域と動き量を表す画像との論理積をとる論理積処理手段６とから構成される。
【００２１】次に、図４を参照して、この実施例の動作を説明する。時刻Ｔに撮影された画像信号１１は、第一のＲＧＢ→輝度・色差変換手段１により、輝度・色差各成分信号１３に変換される。この輝度・色差各成分信号１３から、肌色領域閾値処理手段３は図３に示したような肌色領域を検出し、肌色領域画像信号１４を出力する。時刻Ｔ＋１に撮影された画像信号１２は同様に、第二のＲＧＢ→輝度・色差変換手段２により輝度・色差に変換され輝度成分信号１５を出力する。輝度・色差各成分信号１３のうちの輝度成分と輝度成分信号１５とは、輝度差分計算手段５に入力されて差分計算され、輝度成分差分画像信号１７が出力される。肌色領域画像信号１４と輝度成分差分画像信号１７は論理積処理手段６に入力され論理積が取られ、肌色をなしている部分の動き量（時間差分量）である肌色領域動き量画像信号１６を得る。
【００２２】上記第１および第２の実施例ではＲＧＢ表現された画像が入力されるとして、輝度・色差表現に変換するＲＧＢ→輝度・色差変換手段１および２を用いたが、既に輝度・色差表現となった画像が入力される場合にはこの変換手段は不必要である。輝度・色差表現でもＲＧＢ表現でもない場合には、その表現から輝度・色差表現に変換する変換手段で、ＲＧＢ→輝度・色差変換手段を取り換えることにより、同様の効果を得ることができる。
【００２３】また動き検出処理として最も単純な時間差分法を用いて説明したが、ブロックマッチング法や勾配法その他の動き検出方法に取り換えても同様の効果を得ることができる。
【００２４】
【発明の効果】以上説明したように、本発明によれば、ある時刻に撮影された画像を輝度・色差表現に変換し、このある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定め、次の時刻に撮影された画像を輝度・色差表現に変換し、ある時刻に撮影された画像の輝度成分と次の時刻に撮影された画像の輝度成分とから肌色領域内だけで動き量を表す画像を計算することにより、効率・性能良く人物の動きを検出することが可能となる。
【図面の簡単な説明】
【図１】本発明の第一の実施例の構成を示すブロック図である。
【図２】この実施例の入力画像の一例を示す図である。
【図３】この実施例の検出された肌色領域を示す図である。
【図４】本発明の第二の実施例の構成を示すブロック図である。
【図５】従来例のブロックマッチング法の説明図である。
【符号の説明】
１第一のＲＧＢ→輝度・色差変換手段
２第二のＲＧＢ→輝度・色差変換手段
３肌色領域閾値処理手段
４マスク領域輝度差分計算手段
５輝度差分計算手段
６論理積処理手段
１０入力画像信号
１１時刻Ｔの画像信号
１２時刻Ｔ＋１の画像信号
１３輝度・色差各成分信号
１４肌色領域画像信号
１５輝度成分信号
１６肌色領域動き量画像信号
１７輝度成分差分画像信号

【特許請求の範囲】
【請求項１】人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻に撮影された画像を輝度・色差表現に変換する第一の輝度・色差変換手段と、前記ある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、次の時刻に撮影された画像を輝度・色差表現に変換する第二の輝度・色差変換手段と、前記ある時刻に撮影された画像の輝度成分と前記次の時刻に撮影された画像の輝度成分とから前記肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段とを備えることを特徴とする人物動き領域検出装置。
【請求項２】人物の顔を含む動画像から顔の動きを検出する装置において、ある時刻に撮影された画像を輝度・色差表現に変換する第一の輝度・色差変換手段と、前記ある時刻に撮影された輝度・色差表現された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、次の時刻に撮影された画像を輝度・色差表現に変換する第二の輝度・色差変換手段と、前記ある時刻に撮影された画像の輝度成分と前記次の時刻に撮影された画像の輝度成分とから動き量を表す画像を計算する輝度差分計算手段と、前記肌色領域と前記動き量を表す画像との論理積をとる論理積処理手段とを備えることを特徴とする人物動き領域検出装置。
【請求項３】人物の顔を含む輝度・色差表現された動画像から顔の動きを検出する装置において、ある時刻に撮影された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、前記ある時刻に撮影された画像の輝度成分と次の時刻に撮影された画像の輝度成分とから前記肌色領域内だけで動き量を表す画像を計算するマスク領域輝度差分計算手段とを備えることを特徴とする人物動き領域検出装置。
【請求項４】人物の顔を含む輝度・色差表現された動画像から顔の動きを検出する装置において、ある時刻に撮影された画像から閾値処理により肌色領域を定める肌色領域閾値処理手段と、前記ある時刻に撮影された画像の輝度成分と次の時刻に撮影された画像の輝度成分とから動き量を表す画像を計算する輝度差分計算手段と、前記肌色領域と前記動き量を表す画像との論理積をとる論理積処理手段とを備えることを特徴とする人物動き領域検出装置。

【図１】