顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
【課題】映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付け、各人物の顔画像サンプルを採取することができる顔画像サンプル採取装置を提供することができる。
【解決手段】人物が含まれる映像を取得する映像取得手段３１と、映像から人物領域を検出する人物領域検出手段３２と、映像を表示装置２１に表示する表示手段４２と、人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段４０と、人物領域に人物ＩＤを付与する人物ＩＤ付与手段３３と、人物領域の人物を追尾する人物追尾手段３４と、映像から人物の顔を検出する顔検出手段３５と、顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、人物ＩＤと対応づけてデータベース３８に登録する特徴量登録手段３７と、を有することを特徴とする顔画像サンプル採取装置１００を提供する。
【解決手段】人物が含まれる映像を取得する映像取得手段３１と、映像から人物領域を検出する人物領域検出手段３２と、映像を表示装置２１に表示する表示手段４２と、人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段４０と、人物領域に人物ＩＤを付与する人物ＩＤ付与手段３３と、人物領域の人物を追尾する人物追尾手段３４と、映像から人物の顔を検出する顔検出手段３５と、顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、人物ＩＤと対応づけてデータベース３８に登録する特徴量登録手段３７と、を有することを特徴とする顔画像サンプル採取装置１００を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に含まれる人物の顔領域から個人識別するための顔画像サンプルを採取する顔画像サンプル採取装置等に関し、特に、顔画像サンプルにＩＤを付与して顔画像サンプルを採取する顔画像サンプル等に関する。
【背景技術】
【０００２】
映像中の顔画像から人物を識別するためには、同一人物に同一の人物ＩＤを付与し、人物ＩＤと顔画像又はその特徴量を紐付けて採取することが必要となる。
【０００３】
このため、映像から顔の位置を検出し、顔画像サンプルを切り出し、事前または事後に入力した人物のＩＤと顔画像サンプルを紐付けて保存する顔個人識別用画像採取方法が既に知られている（例えば、特許文献１参照。）。
【０００４】
特許文献１には、映像から、代表条件を満たす顔画像として正面を向いた顔画像サンプルを抽出し、正面の顔画像サンプルを表す人物の他の顔画像サンプルを、あらかじめ定められた登録条件に基づき抽出し、正面の顔画像サンプルと他の顔画像サンプルを関連付けて辞書に登録する顔画像登録方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された顔画像登録方法は、映像中の人物が正面を向いている代表顔画像でないと人物ＩＤを付与できず、代表顔画像と同一人物の他の顔画像と対応付けることができないため、人物が正面を向くまで人物ＩＤを付与することができないという問題がある。
【０００６】
また、特許文献１に開示された顔画像登録方法は、複数の人物が同じフレーム内に存在する場合について考慮されていない。このため、採取中の人物以外の人物が同時にフレーム内にいる場合、顔画像サンプルを採取中の人物とそれ以外の人物の区別ができず、採取中の人物の顔画像サンプルと採取中の人物以外の人物の顔画像サンプルに対し、人物ＩＤの対応付けを誤ってしまうという問題がある。また、採取中の人物以外の人物の顔画像サンプルから個人識別することも考慮されていない。
【０００７】
本発明は、映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付けることが可能であり、映像の同じフレームに複数の人物が映っている場合においても人物と人物ＩＤの対応付けを可能にして、各人物の顔画像サンプルを採取することができる顔画像サンプル採取装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、人物が含まれる映像を取得する映像取得手段と、前記映像から人物領域を検出する人物領域検出手段と、前記映像を表示装置に表示する表示手段と、前記人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段と、前記人物領域に人物ＩＤを付与する人物ＩＤ付与手段と、前記人物領域の人物を追尾する人物追尾手段と、前記映像から人物の顔を検出する顔検出手段と、当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録する特徴量登録手段と、を有することを特徴とする顔画像サンプル採取装置、顔画像サンプル採取方法及びプログラムを提供する。
【発明の効果】
【０００９】
映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付けることが可能であり、映像の同じフレームに複数の人物が映っている場合においても人物と人物ＩＤの対応付けを可能にして、各人物の顔画像サンプルを採取することができる顔画像サンプル採取装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】顔画像サンプル採取装置の概略を説明する図の一例である。
【図２】顔画像サンプル採取装置のハードウェア構成図の一例である。
【図３】計算機のハードウェア構成図の一例である。
【図４】顔画像サンプル採取装置の機能ブロック図の一例である。
【図５】フレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。
【図６】人物領域への人物ＩＤの付与を説明する図の一例である。
【図７】人物領域への人物ＩＤの付与の手順を説明するフローチャート図の一例である。
【図８】人物追尾情報の一例と、人物追尾情報と人物ＩＤの対応付けを説明する図の一例である。
【図９】フレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である（変形例）。
【図１０】顔画像を採取する処理の手順を示すフローチャート図の一例である。
【図１１】顔画像サンプルデータベースの一例を示す図である。
【図１２】顔画像サンプルデータベースに登録された顔画像を表示した表示例を模式的に示す図の一例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１２】
〔概略〕
図１は、本実施形態の顔画像サンプル採取装置１００の概略を説明する図の一例である。図１（ａ）は例えば会議の映像の１フレームを静止画として表示した図である。
（１）顔画像サンプル採取装置１００は、フレームに画像処理を施し、人物領域を検出する。会議のような映像では、撮影される人物は固定であり一度検出された人物領域の人物は容易に追尾することができる。この追尾中の人物が顔画像サンプルの採取中の人物となる。顔画像サンプル採取装置１００は、顔画像サンプルの採取を人物毎に行う。
（２）顔画像サンプル採取装置１００は人物領域を矩形で囲んだり輝度を変化させるなどして明示し、ユーザが人物領域と人物ＩＤを対応づけるためのＵＩを提供する。図１（ｂ）では、強調枠などで明示された人物領域と参加者リストをユーザがマウスで選択したり、タッチパネルに表示された人物領域と参加者リストをユーザがタッチすることで、人物領域と人物ＩＤが対応づけられている。
（３）顔画像サンプル採取装置１００は、人物領域を追尾して人物領域と人物ＩＤの対応付けを継続する（自動で行う）。したがって、（１）の段階で顔個人識別が困難でも人物ＩＤを付与でき、一度、人物領域と人物ＩＤが対応づけられた後は、同一人物に同一の人物ＩＤが付与される。また、同じフレームに複数の人物が撮影されていても、各人物領域に別々の人物ＩＤが付与されるので、同じフレームに複数の人物領域が検出されても各人物を確実に識別できる。
（４）顔画像サンプル採取装置１００は、時間と共に変化するフレームのそれぞれから顔認識することで顔画像サンプルを取得して、顔画像サンプルの位置に基づき顔画像サンプルと人物領域とを対応づけてデータベースに登録する。
【００１３】
ここで、人物ＩＤが付与されたばかりの人物領域の人物の顔画像サンプルは、顔個人識別が可能な顔画像サンプルがまだ十分に登録されていない。これに対し、すでに人物ＩＤが付与された人物の顔画像サンプルは、顔画像サンプルから顔個人識別が可能な場合があるので、顔画像サンプル採取装置１００はすでに人物ＩＤが付与された人物の顔画像サンプルから顔個人識別することができる。
【００１４】
顔画像サンプルから個人識別されれば、データベースに登録されたその人物の顔画像サンプルを利用して、正面顔でないような顔画像から顔個人識別することが可能になる。
【００１５】
このように、本実施形態の顔画像サンプル採取装置１００は、映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付け顔画像サンプルを採取することができるので、より効率的に顔画像サンプルを採取することができる。また、複数の人物が映像に映っていても、正面を向いていない状態から各人物の顔画像サンプルを採取することができる。
【００１６】
〔構成〕
図２は、顔画像サンプル採取装置１００のハードウェア構成図の一例を示す。顔画像サンプル採取装置１００は、表示装置２１、計算機２２、映像入力装置２４、及び、入力装置２３を有する。顔画像サンプル採取装置１００は、計算機２２により制御され、計算機２２には表示装置２１、映像入力装置２４、及び、入力装置２３が有線又は無線で通信可能に接続されている。
【００１７】
表示装置２１は、液晶や有機ＥＬなどのディスプレイやプロジェクターなどである。表示装置２１には、映像入力装置２４が撮影した映像がリアルタイムで、又は、映像入力装置２４が再生した映像が表示される。
【００１８】
計算機２２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）などである。
【００１９】
映像入力装置２４は、動画撮影が可能なデジタルカメラ、ビデオカメラなど撮影機能を備える装置である。また、いったん撮影された映像を再生するＤＶＤプレーヤなどの映像プレーヤでもよい。
【００２０】
入力装置２３は、マウス、キーボード、リモコン、タッチパネル、音声入力装置など、ユーザと計算機２２のインタフェースであり、ユーザが顔画像サンプル採取装置１００を操作するために使用される。
【００２１】
図３は、計算機２２のハードウェア構成図の一例を示す。ＰＣ１００は、それぞれバスで相互に接続されているＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部Ｉ／Ｆ１４、通信装置１５、表示制御部１７及び記憶装置１８を有する。ＣＰＵ１１は、プログラム３０を記憶装置１８から読み出して、ＲＡＭ１３を作業メモリにして実行する。このプログラム３０は、後述するように映像から顔画像サンプルを採取するプログラムである。
【００２２】
ＲＡＭ１３は必要なデータを一時保管する作業メモリ（主記憶メモリ）になり、ＲＯＭ１２にはＢＩＯＳや初期設定されたデータ、プログラムが記憶されている。
【００２３】
外部Ｉ／Ｆ１４はＵＳＢケーブル等のケーブルや、映像入力装置２４や可搬型の記憶媒体２０を装着するインタフェースである。映像入力装置２４は外部Ｉ／Ｆ１４を介して、記憶装置１８やＲＡＭ１２等に映像データ（フレーム）を記憶させる。なお、記憶媒体２０は、ＳＤカードやＵＳＢメモリ等のフラッシュメモリ、ＣＤ−ＲＯＭ等の光記憶媒体等である。
【００２４】
通信装置１５は、ＬＡＮカードやイーサネット（登録商標）カードと呼ばれ、ＣＰＵ１１からの指示によりＭＰＦ２００にパケットデータ（本実施形態では主にＰＤＬデータ）を送信する。この通信装置１５を介して映像入力装置２４が接続されてもよい。
【００２５】
表示制御部１７は、映像をプログラム３０が指示する所定の解像度や色数等で表示装置２１に表示する。また、表示制御部１７は操作用のＧＵＩ等を表示装置２１に表示する。
【００２６】
記憶装置１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリなどの不揮発メモリを実体とし、上記のプログラム３０、及び、後述する顔画像サンプルデータベース３８を記憶している。プログラム３０は、記憶媒体２０に記録された状態又は不図示のサーバからダウンロードされる態様で配布される。
【００２７】
図４は、顔画像サンプル採取装置１００の機能ブロック図の一例を示す。図４の機能は主に計算機２２のＣＰＵがハードウェア資源を利用してプログラム３０を実行することで実現される。
【００２８】
映像取得部３１は、映像入力装置２４が入力した映像のフレームを取得して各機能に送出する。より具体的には例えばフレームをＲＡＭ１２に記憶してそのアドレスを各機能に通知する。映像入力装置２４は、例えばＡＶＣＨＤ（Advanced Video Codec High Definition）やＭＰＥＧなどの規格の映像から毎秒１５〜６０フレーム程度の速度でフレームを取り出す。映像取得部３１は、映像を画像処理が容易なＲＧＢ画像や輝度画像等に変換してフレームとして出力する。
【００２９】
人物領域検出部３２は、フレームから人物領域を検出する。人物領域の検出方法は後述する。人物領域は、画素値や輝度が一定の矩形枠、楕円枠等の強調枠で表示装置２１に明示される。人物領域検出部３２は、人物領域の位置と形状情報（以下、人物領域には位置と形状情報が付随するものとする）を人物ＩＤ付与部３３に通知する。
【００３０】
人物ＩＤ付与判断部４０は、入力装置２３から人物領域と人物ＩＤの対応づけを受け付ける。そして、人物領域に人物ＩＤの付与が行われたか否かを判別し、行われた場合は、人物ＩＤと人物領域の位置情報を人物ＩＤ付与部３３に通知する。
【００３１】
人物ＩＤ付与部３３は、人物領域に人物ＩＤを対応づける。人物領域には原則的に一人の人物のみが含まれるので、この対応付けは、人物と人物ＩＤの対応づけと等しい。人物ＩＤ付与部３３は、人物ＩＤと人物領域を特徴量抽出部３９に通知する。なお、人物ＩＤ付与部３３は、人物領域の位置を、例えば、フレームの左上角を原点とする座標であって、矩形領域の重心などにより表す。また、人物ＩＤ付与部３３の映像表示部４２は、フレームを表示装置２１に出力する。このフレームは、映像入力装置２４が入力した映像をそのまま使用してもよい。
【００３２】
特徴量抽出部３９は、人物追尾部３４が追尾に用いるための特徴量を抽出する。特徴量の抽出については後述する。本実施形態では追尾に適した特徴量を利用するので特徴量は限定しない。
【００３３】
人物追尾部３４は、人物ＩＤを付与された人物領域の人物を追尾する。追尾とは、同じ人物領域の人物を、フレームが変わっても同じ人物であると検出し、同じ人物領域には同じ人物ＩＤを対応づけることをいう。追尾中の人物の顔画像サンプルが採取中の顔画像となる。
【００３４】
人物追尾部３４は、現在、処理しているフレームにおける人物領域と人物ＩＤを顔個人識別部３６及び顔画像サンプル登録部３７に通知する。
【００３５】
顔検知部３５は、フレームから顔を検出し、顔領域を切り出す。顔領域は、人物領域と関係なく切り出されるが、フレームに人物が存在すれば人物領域と重複する顔領域が存在する。また、顔領域を、人物領域から優先的に切り出すこともできる。顔検知部３５は、顔領域の位置と大きさを顔画像サンプル登録部３７に通知する。なお、この顔領域は、顔画像サンプルとほぼ同じ意味になる。
【００３６】
顔画像サンプル登録部３７は、顔領域を顔画像サンプルとして、顔画像サンプルデータベース３８に登録する。顔画像サンプル登録部３７は、顔領域が人物領域に含まれることを利用して、顔領域を人物ＩＤに対応付ける。よって、顔画像サンプルと人物領域が人物ＩＤに対応づけられる。顔画像サンプルデータベース３８は、例えば記憶装置１８に生成される。
【００３７】
顔個人識別部３６は、顔検知部が検知した顔領域（顔画像サンプル）又は顔画像サンプルデータベース３８から顔画像サンプルを読み出し、人物を個人識別する。人物の個人識別については後述する。
【００３８】
サンプル選別部４１は、顔画像サンプルデータベース３８に登録された顔画像サンプルを表示装置２１に表示する。また、入力装置２３からユーザの操作を受け付けて、顔画像サンプルデータベース３８から顔画像サンプルを消去する。
【００３９】
〔動作手順〕
続いて、いくつかのフローチャート図を用いて顔画像サンプル採取装置１００の全体的な処理手順について説明する。図５はフレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。図５の手順はフレーム毎に実行される。
【００４０】
映像取得部３１は、映像からフレームを取得する（Ｓ１０）。すなわち、映像入力装置２４が入力した映像からフレームを一枚の画像データとして取得する。顔画像サンプル採取装置１００はフレーム毎に以下の処理を繰り返す。
【００４１】
まず、人物領域検出部３２がフレームから人物を検出する（Ｓ２０）。人物が動くことを利用して、以下のような方法のいずれか又は方法を組み合わせて人物領域を検出する。
【００４２】
（ｉ）人物領域検出部３２は、オプティカルフローやフレーム間差分などを用い動いている物体を検知しその領域の例えば外接矩形を人物領域とする。オプティカルフローとは、時間的に連続した画像データのある物体が移動することによって発生する画素の輝度値の変化から、各画素毎の速度ベクトルを求めて動体を検知することである。人物領域検出部３２は、フレームの画素毎に速度ベクトルを求め、速度ベクトルが同じ方向の画素の数を計数する等して、画像データにおける速度場の分布状況を求める。そして、その分布状況に基づいてフレームの中の人物（動体）を特定する。
【００４３】
フレーム間差分を用いて動いている物体が含まれる領域を人物領域として検出してもよい。この場合、人物領域検出部３２は、連続するフレームの輝度信号から、対応する画素毎に輝度値の差を算出する。この差を閾値と比較して、閾値以上の差のある画素を黒画素に、それ以外の画素を白画素に２値化する。したがって、黒画素の領域が動きのある 人物（動体）の領域となる。
【００４４】
また、映像入力装置２４のカメラの画角が固定の場合、背景画像を予め撮影しておき、背景画像とフレームの画素の差分から人物領域を検出することができる。また、差分値を集積した値を元に人物領域を検出してもよい。人物領域検出部３２は、このようにして検出した人物の画素の外接矩形を人物領域とする。
【００４５】
（ii）また、顔検知部３５の顔検知結果を利用して人物領域を特定することができる。すなわち、顔検知部３５がフレームの全体から顔検知を行うのであれば、顔が検知された顔領域が人物領域と重なるとすることができる。この場合、人物領域検出部３２は、顔領域の鉛直方向の下側に顔領域を延長し、幅方向に若干広げた領域を人物領域とする。
【００４６】
(iii)また、人物領域検出部３２は、ある程度の大きさを持つ肌色の領域を人物領域とすることもできる。この場合、人物領域検出部３２は、フレーム毎に色のヒストグラムを計算し、予め定めた肌色の画素値に一致するある程度の広がりを持った（画素が連続した）肌色領域を画素領域を人物領域として検出する。
【００４７】
この手法を(i)の動体の検知と併用し、肌色かつ動いている画素領域を人物領域としてもよい。
【００４８】
(iv)また、人物領域検出部３２は、Ｈｏｇ（Histograms of Oriented Gradients)特徴量などにより人物領域を検出する。Ｈｏｇ特徴量は、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルである。Ｈｏｇ特徴量を用いてあらかじめ人物の特徴を統計的に学習しておくことで人物領域を検出することができる。
【００４９】
次に、人物ＩＤ付与部３３は、そのフレームに対し（今）、人物にＩＤが付与されたか否かを判定する（Ｓ３０）。
図６は、人物領域への人物ＩＤの付与を説明する図の一例を、図７は、人物領域への人物ＩＤの付与の手順を説明するフローチャート図の一例をそれぞれ示す。
【００５０】
映像には複数の人物が映っており、人物領域検出部３２が検出した人物領域が楕円にて強調表示されている。表示装置２１に表示される映像２０１ではこの楕円の色を人物毎に変えることや大きさや形状を変えることが可能である。
【００５１】
ユーザが入力装置２３により所定の操作を入力すると、映像２０１の右側に、参加者名リスト２０２が表示される（Ｓ３０−１）。参加者名リスト２０２は、予めユーザが入力装置２３から入力しておくこともできるし、映像の表示中に追加して入力することもできる。追加の参加者を入力するため、参加者リスト２０２の下に追加参加者入力欄２０３が表示されている。ユーザは、入力装置２３又は不図示の人物リストを使用して、追加参加者入力欄２０３に参加者名を入力できる。
【００５２】
ユーザは入力装置２３を用いて参加者名リストを選択する。人物ＩＤ付与判断部４０はこの選択を受け付ける（Ｓ３０−２）。人物ＩＤ付与判断部４０は、この氏名に一意の番号を付与して人物ＩＤとするか、または、人物ＩＤは不図示の人物リストの氏名に対し予め付与されている。
【００５３】
ユーザは人物領域にこの人物ＩＤを付与するため、マウスやタッチパネルを使用して人物領域を選択する。人物ＩＤ付与判断部４０はユーザが選択したピクセル位置を受け付ける（Ｓ３０−３）。
【００５４】
人物ＩＤ付与判断部４０は、ユーザが選択した人物領域と人物ＩＤを対応づけ、人物ＩＤ付与部３３に通知する（Ｓ３０−４）。これにより、人物ＩＤ付与部３３は人物領域と人物ＩＤを対応づけることができる。
【００５５】
図５に戻り、人物ＩＤが付与された場合（Ｓ３０のＹｅｓ）、人物ＩＤ付与部３３は人物領域の位置を決定する（Ｓ４０）。人物の位置は人物領域の外接矩形の中心又は人物領域の重心などとする。
【００５６】
続いて、特徴量抽出部３９は、人物領域の重心などの位置の周囲又は全体から追尾に用いる特徴量を抽出する（Ｓ５０）。追尾に用いる特徴量は
(i)人物の顔位置のヒストグラム・画素のブロック
(ii)人物の首から胸までのヒストグラム・画素のブロック
などを用いる。
【００５７】
図８は、人物追尾情報の一例と、人物追尾情報と人物ＩＤの対応付けを説明する図の一例である。図では人物追尾情報ＩＤと人物ＩＤに対応づけて、位置と特徴量が登録されている。図８では特徴量をヒストグラムとしているので、人物追尾情報は特徴量と同じ意味になる。ＲＧＢの各色を８ビットとするとピクセル値は約１６万色になるので、特徴量抽出部３９は、計算機２２の処理能力等を考慮した色数に減色したｂｉｎを生成し、人物領域の画素のピクセル値を各ｂｉｎに振り分ける。これによりヒストグラムが得られる。
【００５８】
追尾人物情報ＩＤは、特徴量を識別するＩＤである。したがって、同じ人物ＩＤでも別のフレームから求めた特徴量には別の追尾人物情報ＩＤが付与される。
【００５９】
また、位置は上記の人物領域の外接矩形の中心又は重心の画素位置（Ｘ，Ｙ）である。図には位置の他に人物領域の幅Ｗｉｄｔｈと高さＨｅｉｇｈｔも示されている幅Ｗｉｄｔｈと高さＨｅｉｇｈｔは形状情報から得られる。
【００６０】
人物追尾部３４は特徴量を利用して同じ人物を追尾するので、顔画像サンプル採取装置１００は、人物領域の一度の検出と、人物領域と人物ＩＤの一度の対応づけて同じ人物には同じ人物ＩＤを付与することができる。
【００６１】
図５に戻り、人物追尾部３４は、図８に示したように特徴量・位置情報・人物ＩＤをセットにしたものをＲＡＭ１３や記憶装置１８に保存する（Ｓ６０）。
【００６２】
以上で１つのフレームの処理が終了するので、顔画像サンプル採取装置１００は次のフレームに同様の処理を施す。
【００６３】
〔変形例〕
上記フローチャート図の変形例を説明する。上記のステップＳ２０では人物領域検出部３２が画像処理により人物領域を検出していたが、ユーザによる操作を人物領域の特定に利用することもできる。
【００６４】
図９はフレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。この手順では、人物領域検出部３２は、入力装置２３からの人物の位置の指示を受け付けることで人物領域を検出する。
【００６５】
人物領域検出部３２は、処理対処のフレームに対し（今）、入力装置２３からの人物の位置の指示を受け付けたか否かを判定する（Ｓ２１）。したがって、ユーザが入力装置２３で人物を指示しなければ、以降の処理は実行されない。
【００６６】
人物の位置の指示を受け付けた場合（Ｓ２１のＹｅｓ）、人物領域検出部３２は、指示された位置の周囲の領域を人物領域とし、人物ＩＤ付与部３３が人物領域にＩＤを付与する（Ｓ２２）。
人物領域検出部３２は、
（ア)指示された位置から半径２０ピクセルの円の内部を人物領域とする
（イ）一定フレーム前から顔検知を行い検知した顔の大きさの半径の平均値を求め、指示された位置から平均値のピクセルの円の内部を人物領域とする
（ウ）指示した位置から類似の色（肌色）が続く範囲を人物領域とする
等の方法で人物領域を検出する。
【００６７】
人物ＩＤ付与部３３は、ステップＳ２０で位置の指示を受け付けた位置の位置情報を追尾に用いる位置情報に決定する（Ｓ４１）。
【００６８】
以降の処理は同様であり、特徴量抽出部３９は、人物領域から追尾に用いる特徴量を抽出する（Ｓ５０）。そして、人物追尾部３４は、特徴量・人物領域・人物ＩＤをセットにしたものを追尾人物情報としてＲＡＭ１３や記憶装置１８に保存する（Ｓ６０）。
【００６９】
〔顔画像サンプルの登録〕
図１０は、顔画像サンプルを採取する処理の手順を示すフローチャート図の一例である。顔検知部３５は、映像取得部３１からフレームを取得する（Ｓ１１０）。顔検知部３５は１フレームごとに以下の処理を行う。
【００７０】
顔検知部３５は、そのフレームで人物ＩＤが付与された人物領域が存在するかどうかを判定する（Ｓ１２０）。人物ＩＤが付与されていることは、特徴量が検出されていることを意味する。
【００７１】
人物ＩＤが付与されている場合、人物追尾部３４が人物領域の人物を追尾している。顔検知部３５は追尾結果から人物位置を特定する（Ｓ１３０）。
追尾の方法は、以下の方法等が知られている。
【００７２】
(i)パーティクルフィルタ
(ii)ブロックマッチング
パーティクルフィルタは、追尾する対象物のダイナミクスモデルと、対象物の存在を推定する尤度関数を用いた、推定フィルタの一種である。
ａ）まず、所定数（数百〜数千）のパーティクルをフレームの全体に分散させる。尤度の算出後は重み付けに応じて分散させる。
ｂ）各パーティクルの状態ベクトルにダイナミクスモデルを適用し、パーティクルの次の状態を予測する。状態ベクトルはパーティクルの位置、ｘ方向、ｙ方向の速度ベクトルである。速度ベクトルは２つのフレームのパーティクルの重心位置の差から求めることができる。
ｃ）尤度関数を定義し、各パーティクルの尤度を算出する。ここでは、特徴量であるヒストグラムを利用する。人物追尾部３４は、予め人物領域の認識のためにいくつかの種類のテンプレート画像を用意し、各テンプレート画像の正規化されたヒストグラムｈ(a)を求めておく。また、人物追尾部３４は、パーティクルの周囲の所定の領域のピクセル値から正規化されたヒストグラムｈ(id)を生成する。ヒストグラムの一致度が高い矩形領域は人物領域の近くにあるパーティクルから生成されたものであると推定できる。
【００７３】
ヒストグラム同士の比較にはBhattacharyya 係数を用いることができ、
ヒストグラムの一致度＝Σ√｛ｈi(a)×ｈi(id)｝
と表すことができる。添字の「i」はbinの番号を示すので、この式から各bin毎の高さの積の平方根の合計が求められる。これを各パーティクル毎に求め、重み付け（各パーティクルの尤度で正規化）する。
ｄ）重みが所定値以上のパーティクルが集中した領域が追尾された人物の顔領域である。パーティクル（小さい丸いアイコン）を表示装置２１に提示してもよい。
【００７４】
以上のａ）〜ｄ）をフレーム毎に繰り返した際、同じ人物ＩＤの人物領域にはパーティクルが集まることになり、人物の顔領域を追尾することができる。
【００７５】
なお、ヒストグラムを特徴量として用いるのでなく、ピクセル値そのものを特徴量とすることもできる。この場合、例えば、予め人物の規範的な肌色を定めておき、肌色と、パーティクルがある画素の画素値とのユークリッド距離が最も近い（すなわち０）の確率が最大になる正規分布を尤度関数とする。したがって、肌色に近い画素になるパーティクルの尤度は高くなり、人物追尾部３４はパーティクルの分布から人物を追尾できる。
【００７６】
また、上記のブロックマッチングを用いることもできる。ブロックマッチングは、フレーム間で人物領域同士を比較して、その中の特定の領域（例えば顔領域）を追尾する。この場合、人物追尾部３４は、２つの人物領域の対応する画素の輝度差を求め、輝度差の総和を求める。次に、画素を１つずらし２つの人物領域の対応する画素の輝度差を求め、輝度差の総和を求める。画素を１つずつずらしいくつかの総和を算出する処理が終了すると、最も総和が小さい時の画素の対応関係に基づき、特定の領域を追尾する。例えば、顔域であれば、1つ前のフレームの顔領域に対し、対応関係にて特定される現在のフレームの領域が顔領域であると推定する。このようにして、人物領域内の顔領域を追尾することができる。
【００７７】
図１０に戻り、顔検知部３５は、顔が含まれている顔領域を検知する（Ｓ１４０）。ここではフレームの全体から顔を検知する。
【００７８】
ここで検知された顔領域には３つの種類が生じることになる。Ｉ．採取中の顔画像サンプルの顔領域、II.すでに顔画像サンプルが十分に採取された（人物ＩＤが付与された）顔領域、III.顔画像サンプルが採取されていない（人物ＩＤもまだ付与されていない）顔領域、の３つである。図１０で着目するのは主にI,IIである。
【００７９】
顔の検知にはAdaboostを用いた方法などを用いる。Adaboostは、予め生成した弱識別器の信頼度を顔と否顔のサンプル画像により学習して、弱識別器を組み合わせて最終的に識別器を構築する判別方法である。例えば、顔と否顔のサンプル画像の誤り率が最小になる弱識別器の信頼度を算出し、最小になる誤り率に基づきサンプル画像の重み付けを算出する。重み付けに基づき学習の継続の可否を判定し、学習が継続できるなら算出した重み付けでサンプル画像の誤り率が最小になる弱識別器の信頼度を算出し、最小になる誤り率からサンプル画像の重み付けを算出する。学習が継続できない場合、学習を終了する。最終的に、信頼度と弱識別器を乗じたものの線形結合が識別器となる。
【００８０】
この識別器に、フレームから切り取られた、顔が含まれる程度の所定の大きさの矩形領域を入力すれば、顔領域の場合（顔が含まれる場合）は正値が、顔領域でなければ負値が出力される。
【００８１】
顔検知部３５は顔が検知された顔領域毎に以下の処理を行う（Ｓ１５０）。
顔領域から顔が検知された場合、顔検知部３５は、検知された顔領域がＳ３０で人物ＩＤが付与された、顔画像サンプルを採取中の人物の人物領域から抽出されたか否かを判定する（Ｓ１６０）。顔検知部３５は、追尾により得られている現在の人物領域の人物の位置に、検出した顔領域が含まれているか否かに基づき、検知された顔領域が採取中の人物の顔領域か否かを判定する。
【００８２】
検知された顔領域が人物ＩＤを付与された人物領域の顔領域の場合（Ｓ１６０のＹｅｓ）、顔画像サンプル登録部３７は、検知された顔領域を顔画像サンプルとして人物ＩＤに対応付けて顔画像サンプルデータベース３８に登録する（Ｓ１７０）。
【００８３】
図１１は、顔画像サンプルデータベース３８の一例を示す図である。顔画像サンプルデータベース３８には、顔画像サンプルＩＤに対応づけて人物ＩＤと顔画像サンプルが登録される。顔画像サンプルＩＤは、顔画像サンプルを識別する一意の識別子である。図示するように、同じ人物領域（同じ人物の）から抽出された顔画像サンプルには同じ人物ＩＤが付与されている。なお、顔画像サンプルそのものでなく、識別用特徴量を登録してもよい。識別用特徴量があれば、顔個人識別部３６はいつでも顔個人識別が可能になる。
【００８４】
図１０に戻り、検知された顔領域が人物ＩＤを付与された人物ＩＤを付与された人物領域の顔領域でない場合（Ｓ１６０のＮｏ）、すでに顔画像サンプルが人物ＩＤに対応づけて登録されていること場合には、顔個人識別部３６は顔領域から顔識別する（Ｓ１７０）。着目している顔領域では識別できない場合には識別しなくてもよく、顔個人識別部３６は、正面顔など識別しやすい顔画像サンプルが得られた場合に個人を識別する。
【００８５】
以上のように、ユーザがＵＩから人物領域に人物ＩＤを対応づけ、人物領域の人物を追尾し、同じ人物ＩＤに各種の顔画像サンプルを登録しておくことで、正面顔が撮影されなくても、顔画像サンプルを登録することができる。
【００８６】
〔顔識別方法〕
個人識別に使用する識別用特徴量は識別方法によって様々である。本願の特徴部ではないが、顔識別には固有顔方式、制約相互部分空間方式、ＬＦＡ（Ｌａｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｉｓ）方式、平均顔方式等がある。また、これらから派生したり組み合わせたりするなどの各種方法が提案されている。
【００８７】
固有顔方式は、多数の入力顔画像に対してＰＣＡ（主成分分析）により求めた入力顔画像群を表現する固有ベクトル（これが固有顔となる）を識別に利用する。識別用の入力顔画像を固有顔に展開し、各固有顔に対する類似度を評価して個人を識別する。
【００８８】
制約相互部分空間方式は、静止画像でなく動画像を用いることにより、複数の顔パターンの分布の類似度を識別に利用する。
【００８９】
ＬＦＡ方式は、固有顔の考え方をベースに顔の鼻、眉、口、頬等の曲率が変化する部分など、局所的な特徴に対して主成分分析を行う。局所的特徴の組み合わせにより顔全体を識別する。
【００９０】
平均顔方式は、多くの人間の顔画像の対応点を求め、各対応点の位置と濃度から平均顔を求める。平均顔の特徴点の周囲の特徴量を演算により取り出し、識別対象の顔画像の対応する対応点の特徴量を比較することで個人を識別する。
【００９１】
この他、ガポールウェーブレット変換、グラフマッチング法、多重照合顔検出法、摂動空間法、適応量的領域混合マッチング法等がある。
【００９２】
〔ユーザによる顔画像サンプルの選別等〕
図１２は、顔画像サンプルデータベース３８に登録された顔画像サンプルを表示した表示例を模式的に示す図の一例である。
【００９３】
例えば、映像入力装置２４が映像の撮影を終了した後、又は、映像を撮影しながら、ユーザが入力装置２３から計算機２２を操作すると、顔画像サンプルデータベース３８に登録した顔画像サンプルを表示することが可能になる。例えば、ユーザが、所定の人物領域を選択すると、サンプル選別部４１は選択された人物領域の人物ＩＤを特定する。そして、顔画像サンプルデータベース３８から人物ＩＤに対応づけられた顔画像サンプルを読み出し、選択した人物領域の周りに、又は、人物領域から顔画像サンプルまで線を引き出して表示する。
【００９４】
図１２のような機能は、ユーザが登録された顔画像サンプルを確認し、追尾などに誤りが生じ別の人物の顔画像サンプルが所定の人物ＩＤに対応づけられた顔画像サンプルを消去する際に有効である。この場合ユーザは入力装置２２で別の人物の顔画像サンプルを選択する操作を入力する。サンプル選別部４１は、この操作を受け付けて、選択された顔画像サンプルＩＤを特定し、顔画像サンプルデータベース３８に登録された顔画像サンプルを消去する。
【００９５】
また、ユーザは図１２のような画面から、入力装置２３を使用して人物に注釈を付けることができる。入力された注釈は、人物ＩＤに対応づけて顔画像サンプルデータベース３８に登録される。
【００９６】
サンプル選別部４１は、各顔画像サンプルを重畳しないように例えば時系列に並べて表示装置２１に表示することができる。この場合、ユーザは会議の経過時間と顔画像サンプルの関係を把握しやすくなる。また、人物追尾情報ＩＤと顔画像サンプルＩＤを紐付けておけば、サンプル選別部４１は、顔画像サンプルの位置を特定できる。サンプル選別部４１は、顔画像サンプルを採取された時の位置に表示することができる。この位置は、参加者の顔画像サンプルが採取された時の位置であるので、ユーザは参加者の位置と顔画像サンプルの関係を容易に把握できることになる。
【００９７】
また、顔画像サンプルデータベース３８には顔画像サンプルが登録されているので、顔画像サンプルから識別用特徴量を求めれば、同じ人物の特徴量距離を算出することができる。サンプル選別部４１は、特徴量距離に応じて各顔画像サンプルを離して表示装置２１に表示する。こうすることで、ユーザは、別人の顔画像サンプルやほとんど顔が映っていない顔画像サンプルを顔画像サンプルデータベース３８から消去することもできる。
【００９８】
以上説明したように、本実施形態の顔画像サンプル採取装置１００は、顔個人識別が困難な顔画像サンプルに人物ＩＤを付与でき、一度、人物領域と人物ＩＤが対応づけられた後は、人物領域の人物を追尾するので、同一人物に同一の人物ＩＤを付与できる。また、同じフレームに複数の人物が撮影されていても、各人物領域に別々の人物ＩＤが付与されるので、同じフレームに複数の人物領域が検出されても各人物を確実に識別できる。人物ＩＤを付与したり顔画像サンプルを採取しながら、個人識別することもできる。
【符号の説明】
【００９９】
２１ 表示装置
２２ 計算機
２３ 入力装置
２４ 映像入力装置
３１ 映像取得部
３２ 人物領域検出部
３３ 人物ＩＤ付与部
３４ 人物追尾部
３５ 顔検知部
３６ 顔個人識別部
３７ 顔画像サンプル登録部
３８ 顔画像サンプルデータベース
３９ 特徴量抽出部
４０ 人物ＩＤ付与判断部
１００ 顔画像サンプル採取装置
【先行技術文献】
【特許文献】
【０１００】
【特許文献１】特開２００７−２４９５８８号公報
【技術分野】
【０００１】
本発明は、映像に含まれる人物の顔領域から個人識別するための顔画像サンプルを採取する顔画像サンプル採取装置等に関し、特に、顔画像サンプルにＩＤを付与して顔画像サンプルを採取する顔画像サンプル等に関する。
【背景技術】
【０００２】
映像中の顔画像から人物を識別するためには、同一人物に同一の人物ＩＤを付与し、人物ＩＤと顔画像又はその特徴量を紐付けて採取することが必要となる。
【０００３】
このため、映像から顔の位置を検出し、顔画像サンプルを切り出し、事前または事後に入力した人物のＩＤと顔画像サンプルを紐付けて保存する顔個人識別用画像採取方法が既に知られている（例えば、特許文献１参照。）。
【０００４】
特許文献１には、映像から、代表条件を満たす顔画像として正面を向いた顔画像サンプルを抽出し、正面の顔画像サンプルを表す人物の他の顔画像サンプルを、あらかじめ定められた登録条件に基づき抽出し、正面の顔画像サンプルと他の顔画像サンプルを関連付けて辞書に登録する顔画像登録方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された顔画像登録方法は、映像中の人物が正面を向いている代表顔画像でないと人物ＩＤを付与できず、代表顔画像と同一人物の他の顔画像と対応付けることができないため、人物が正面を向くまで人物ＩＤを付与することができないという問題がある。
【０００６】
また、特許文献１に開示された顔画像登録方法は、複数の人物が同じフレーム内に存在する場合について考慮されていない。このため、採取中の人物以外の人物が同時にフレーム内にいる場合、顔画像サンプルを採取中の人物とそれ以外の人物の区別ができず、採取中の人物の顔画像サンプルと採取中の人物以外の人物の顔画像サンプルに対し、人物ＩＤの対応付けを誤ってしまうという問題がある。また、採取中の人物以外の人物の顔画像サンプルから個人識別することも考慮されていない。
【０００７】
本発明は、映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付けることが可能であり、映像の同じフレームに複数の人物が映っている場合においても人物と人物ＩＤの対応付けを可能にして、各人物の顔画像サンプルを採取することができる顔画像サンプル採取装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、人物が含まれる映像を取得する映像取得手段と、前記映像から人物領域を検出する人物領域検出手段と、前記映像を表示装置に表示する表示手段と、前記人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段と、前記人物領域に人物ＩＤを付与する人物ＩＤ付与手段と、前記人物領域の人物を追尾する人物追尾手段と、前記映像から人物の顔を検出する顔検出手段と、当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録する特徴量登録手段と、を有することを特徴とする顔画像サンプル採取装置、顔画像サンプル採取方法及びプログラムを提供する。
【発明の効果】
【０００９】
映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付けることが可能であり、映像の同じフレームに複数の人物が映っている場合においても人物と人物ＩＤの対応付けを可能にして、各人物の顔画像サンプルを採取することができる顔画像サンプル採取装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】顔画像サンプル採取装置の概略を説明する図の一例である。
【図２】顔画像サンプル採取装置のハードウェア構成図の一例である。
【図３】計算機のハードウェア構成図の一例である。
【図４】顔画像サンプル採取装置の機能ブロック図の一例である。
【図５】フレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。
【図６】人物領域への人物ＩＤの付与を説明する図の一例である。
【図７】人物領域への人物ＩＤの付与の手順を説明するフローチャート図の一例である。
【図８】人物追尾情報の一例と、人物追尾情報と人物ＩＤの対応付けを説明する図の一例である。
【図９】フレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である（変形例）。
【図１０】顔画像を採取する処理の手順を示すフローチャート図の一例である。
【図１１】顔画像サンプルデータベースの一例を示す図である。
【図１２】顔画像サンプルデータベースに登録された顔画像を表示した表示例を模式的に示す図の一例である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【００１２】
〔概略〕
図１は、本実施形態の顔画像サンプル採取装置１００の概略を説明する図の一例である。図１（ａ）は例えば会議の映像の１フレームを静止画として表示した図である。
（１）顔画像サンプル採取装置１００は、フレームに画像処理を施し、人物領域を検出する。会議のような映像では、撮影される人物は固定であり一度検出された人物領域の人物は容易に追尾することができる。この追尾中の人物が顔画像サンプルの採取中の人物となる。顔画像サンプル採取装置１００は、顔画像サンプルの採取を人物毎に行う。
（２）顔画像サンプル採取装置１００は人物領域を矩形で囲んだり輝度を変化させるなどして明示し、ユーザが人物領域と人物ＩＤを対応づけるためのＵＩを提供する。図１（ｂ）では、強調枠などで明示された人物領域と参加者リストをユーザがマウスで選択したり、タッチパネルに表示された人物領域と参加者リストをユーザがタッチすることで、人物領域と人物ＩＤが対応づけられている。
（３）顔画像サンプル採取装置１００は、人物領域を追尾して人物領域と人物ＩＤの対応付けを継続する（自動で行う）。したがって、（１）の段階で顔個人識別が困難でも人物ＩＤを付与でき、一度、人物領域と人物ＩＤが対応づけられた後は、同一人物に同一の人物ＩＤが付与される。また、同じフレームに複数の人物が撮影されていても、各人物領域に別々の人物ＩＤが付与されるので、同じフレームに複数の人物領域が検出されても各人物を確実に識別できる。
（４）顔画像サンプル採取装置１００は、時間と共に変化するフレームのそれぞれから顔認識することで顔画像サンプルを取得して、顔画像サンプルの位置に基づき顔画像サンプルと人物領域とを対応づけてデータベースに登録する。
【００１３】
ここで、人物ＩＤが付与されたばかりの人物領域の人物の顔画像サンプルは、顔個人識別が可能な顔画像サンプルがまだ十分に登録されていない。これに対し、すでに人物ＩＤが付与された人物の顔画像サンプルは、顔画像サンプルから顔個人識別が可能な場合があるので、顔画像サンプル採取装置１００はすでに人物ＩＤが付与された人物の顔画像サンプルから顔個人識別することができる。
【００１４】
顔画像サンプルから個人識別されれば、データベースに登録されたその人物の顔画像サンプルを利用して、正面顔でないような顔画像から顔個人識別することが可能になる。
【００１５】
このように、本実施形態の顔画像サンプル採取装置１００は、映像中の人物が正面を向いていない状態でも人物と人物ＩＤを対応付け顔画像サンプルを採取することができるので、より効率的に顔画像サンプルを採取することができる。また、複数の人物が映像に映っていても、正面を向いていない状態から各人物の顔画像サンプルを採取することができる。
【００１６】
〔構成〕
図２は、顔画像サンプル採取装置１００のハードウェア構成図の一例を示す。顔画像サンプル採取装置１００は、表示装置２１、計算機２２、映像入力装置２４、及び、入力装置２３を有する。顔画像サンプル採取装置１００は、計算機２２により制御され、計算機２２には表示装置２１、映像入力装置２４、及び、入力装置２３が有線又は無線で通信可能に接続されている。
【００１７】
表示装置２１は、液晶や有機ＥＬなどのディスプレイやプロジェクターなどである。表示装置２１には、映像入力装置２４が撮影した映像がリアルタイムで、又は、映像入力装置２４が再生した映像が表示される。
【００１８】
計算機２２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assistant）などである。
【００１９】
映像入力装置２４は、動画撮影が可能なデジタルカメラ、ビデオカメラなど撮影機能を備える装置である。また、いったん撮影された映像を再生するＤＶＤプレーヤなどの映像プレーヤでもよい。
【００２０】
入力装置２３は、マウス、キーボード、リモコン、タッチパネル、音声入力装置など、ユーザと計算機２２のインタフェースであり、ユーザが顔画像サンプル採取装置１００を操作するために使用される。
【００２１】
図３は、計算機２２のハードウェア構成図の一例を示す。ＰＣ１００は、それぞれバスで相互に接続されているＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部Ｉ／Ｆ１４、通信装置１５、表示制御部１７及び記憶装置１８を有する。ＣＰＵ１１は、プログラム３０を記憶装置１８から読み出して、ＲＡＭ１３を作業メモリにして実行する。このプログラム３０は、後述するように映像から顔画像サンプルを採取するプログラムである。
【００２２】
ＲＡＭ１３は必要なデータを一時保管する作業メモリ（主記憶メモリ）になり、ＲＯＭ１２にはＢＩＯＳや初期設定されたデータ、プログラムが記憶されている。
【００２３】
外部Ｉ／Ｆ１４はＵＳＢケーブル等のケーブルや、映像入力装置２４や可搬型の記憶媒体２０を装着するインタフェースである。映像入力装置２４は外部Ｉ／Ｆ１４を介して、記憶装置１８やＲＡＭ１２等に映像データ（フレーム）を記憶させる。なお、記憶媒体２０は、ＳＤカードやＵＳＢメモリ等のフラッシュメモリ、ＣＤ−ＲＯＭ等の光記憶媒体等である。
【００２４】
通信装置１５は、ＬＡＮカードやイーサネット（登録商標）カードと呼ばれ、ＣＰＵ１１からの指示によりＭＰＦ２００にパケットデータ（本実施形態では主にＰＤＬデータ）を送信する。この通信装置１５を介して映像入力装置２４が接続されてもよい。
【００２５】
表示制御部１７は、映像をプログラム３０が指示する所定の解像度や色数等で表示装置２１に表示する。また、表示制御部１７は操作用のＧＵＩ等を表示装置２１に表示する。
【００２６】
記憶装置１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリなどの不揮発メモリを実体とし、上記のプログラム３０、及び、後述する顔画像サンプルデータベース３８を記憶している。プログラム３０は、記憶媒体２０に記録された状態又は不図示のサーバからダウンロードされる態様で配布される。
【００２７】
図４は、顔画像サンプル採取装置１００の機能ブロック図の一例を示す。図４の機能は主に計算機２２のＣＰＵがハードウェア資源を利用してプログラム３０を実行することで実現される。
【００２８】
映像取得部３１は、映像入力装置２４が入力した映像のフレームを取得して各機能に送出する。より具体的には例えばフレームをＲＡＭ１２に記憶してそのアドレスを各機能に通知する。映像入力装置２４は、例えばＡＶＣＨＤ（Advanced Video Codec High Definition）やＭＰＥＧなどの規格の映像から毎秒１５〜６０フレーム程度の速度でフレームを取り出す。映像取得部３１は、映像を画像処理が容易なＲＧＢ画像や輝度画像等に変換してフレームとして出力する。
【００２９】
人物領域検出部３２は、フレームから人物領域を検出する。人物領域の検出方法は後述する。人物領域は、画素値や輝度が一定の矩形枠、楕円枠等の強調枠で表示装置２１に明示される。人物領域検出部３２は、人物領域の位置と形状情報（以下、人物領域には位置と形状情報が付随するものとする）を人物ＩＤ付与部３３に通知する。
【００３０】
人物ＩＤ付与判断部４０は、入力装置２３から人物領域と人物ＩＤの対応づけを受け付ける。そして、人物領域に人物ＩＤの付与が行われたか否かを判別し、行われた場合は、人物ＩＤと人物領域の位置情報を人物ＩＤ付与部３３に通知する。
【００３１】
人物ＩＤ付与部３３は、人物領域に人物ＩＤを対応づける。人物領域には原則的に一人の人物のみが含まれるので、この対応付けは、人物と人物ＩＤの対応づけと等しい。人物ＩＤ付与部３３は、人物ＩＤと人物領域を特徴量抽出部３９に通知する。なお、人物ＩＤ付与部３３は、人物領域の位置を、例えば、フレームの左上角を原点とする座標であって、矩形領域の重心などにより表す。また、人物ＩＤ付与部３３の映像表示部４２は、フレームを表示装置２１に出力する。このフレームは、映像入力装置２４が入力した映像をそのまま使用してもよい。
【００３２】
特徴量抽出部３９は、人物追尾部３４が追尾に用いるための特徴量を抽出する。特徴量の抽出については後述する。本実施形態では追尾に適した特徴量を利用するので特徴量は限定しない。
【００３３】
人物追尾部３４は、人物ＩＤを付与された人物領域の人物を追尾する。追尾とは、同じ人物領域の人物を、フレームが変わっても同じ人物であると検出し、同じ人物領域には同じ人物ＩＤを対応づけることをいう。追尾中の人物の顔画像サンプルが採取中の顔画像となる。
【００３４】
人物追尾部３４は、現在、処理しているフレームにおける人物領域と人物ＩＤを顔個人識別部３６及び顔画像サンプル登録部３７に通知する。
【００３５】
顔検知部３５は、フレームから顔を検出し、顔領域を切り出す。顔領域は、人物領域と関係なく切り出されるが、フレームに人物が存在すれば人物領域と重複する顔領域が存在する。また、顔領域を、人物領域から優先的に切り出すこともできる。顔検知部３５は、顔領域の位置と大きさを顔画像サンプル登録部３７に通知する。なお、この顔領域は、顔画像サンプルとほぼ同じ意味になる。
【００３６】
顔画像サンプル登録部３７は、顔領域を顔画像サンプルとして、顔画像サンプルデータベース３８に登録する。顔画像サンプル登録部３７は、顔領域が人物領域に含まれることを利用して、顔領域を人物ＩＤに対応付ける。よって、顔画像サンプルと人物領域が人物ＩＤに対応づけられる。顔画像サンプルデータベース３８は、例えば記憶装置１８に生成される。
【００３７】
顔個人識別部３６は、顔検知部が検知した顔領域（顔画像サンプル）又は顔画像サンプルデータベース３８から顔画像サンプルを読み出し、人物を個人識別する。人物の個人識別については後述する。
【００３８】
サンプル選別部４１は、顔画像サンプルデータベース３８に登録された顔画像サンプルを表示装置２１に表示する。また、入力装置２３からユーザの操作を受け付けて、顔画像サンプルデータベース３８から顔画像サンプルを消去する。
【００３９】
〔動作手順〕
続いて、いくつかのフローチャート図を用いて顔画像サンプル採取装置１００の全体的な処理手順について説明する。図５はフレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。図５の手順はフレーム毎に実行される。
【００４０】
映像取得部３１は、映像からフレームを取得する（Ｓ１０）。すなわち、映像入力装置２４が入力した映像からフレームを一枚の画像データとして取得する。顔画像サンプル採取装置１００はフレーム毎に以下の処理を繰り返す。
【００４１】
まず、人物領域検出部３２がフレームから人物を検出する（Ｓ２０）。人物が動くことを利用して、以下のような方法のいずれか又は方法を組み合わせて人物領域を検出する。
【００４２】
（ｉ）人物領域検出部３２は、オプティカルフローやフレーム間差分などを用い動いている物体を検知しその領域の例えば外接矩形を人物領域とする。オプティカルフローとは、時間的に連続した画像データのある物体が移動することによって発生する画素の輝度値の変化から、各画素毎の速度ベクトルを求めて動体を検知することである。人物領域検出部３２は、フレームの画素毎に速度ベクトルを求め、速度ベクトルが同じ方向の画素の数を計数する等して、画像データにおける速度場の分布状況を求める。そして、その分布状況に基づいてフレームの中の人物（動体）を特定する。
【００４３】
フレーム間差分を用いて動いている物体が含まれる領域を人物領域として検出してもよい。この場合、人物領域検出部３２は、連続するフレームの輝度信号から、対応する画素毎に輝度値の差を算出する。この差を閾値と比較して、閾値以上の差のある画素を黒画素に、それ以外の画素を白画素に２値化する。したがって、黒画素の領域が動きのある 人物（動体）の領域となる。
【００４４】
また、映像入力装置２４のカメラの画角が固定の場合、背景画像を予め撮影しておき、背景画像とフレームの画素の差分から人物領域を検出することができる。また、差分値を集積した値を元に人物領域を検出してもよい。人物領域検出部３２は、このようにして検出した人物の画素の外接矩形を人物領域とする。
【００４５】
（ii）また、顔検知部３５の顔検知結果を利用して人物領域を特定することができる。すなわち、顔検知部３５がフレームの全体から顔検知を行うのであれば、顔が検知された顔領域が人物領域と重なるとすることができる。この場合、人物領域検出部３２は、顔領域の鉛直方向の下側に顔領域を延長し、幅方向に若干広げた領域を人物領域とする。
【００４６】
(iii)また、人物領域検出部３２は、ある程度の大きさを持つ肌色の領域を人物領域とすることもできる。この場合、人物領域検出部３２は、フレーム毎に色のヒストグラムを計算し、予め定めた肌色の画素値に一致するある程度の広がりを持った（画素が連続した）肌色領域を画素領域を人物領域として検出する。
【００４７】
この手法を(i)の動体の検知と併用し、肌色かつ動いている画素領域を人物領域としてもよい。
【００４８】
(iv)また、人物領域検出部３２は、Ｈｏｇ（Histograms of Oriented Gradients)特徴量などにより人物領域を検出する。Ｈｏｇ特徴量は、局所領域における輝度の勾配方向をヒストグラム化した特徴ベクトルである。Ｈｏｇ特徴量を用いてあらかじめ人物の特徴を統計的に学習しておくことで人物領域を検出することができる。
【００４９】
次に、人物ＩＤ付与部３３は、そのフレームに対し（今）、人物にＩＤが付与されたか否かを判定する（Ｓ３０）。
図６は、人物領域への人物ＩＤの付与を説明する図の一例を、図７は、人物領域への人物ＩＤの付与の手順を説明するフローチャート図の一例をそれぞれ示す。
【００５０】
映像には複数の人物が映っており、人物領域検出部３２が検出した人物領域が楕円にて強調表示されている。表示装置２１に表示される映像２０１ではこの楕円の色を人物毎に変えることや大きさや形状を変えることが可能である。
【００５１】
ユーザが入力装置２３により所定の操作を入力すると、映像２０１の右側に、参加者名リスト２０２が表示される（Ｓ３０−１）。参加者名リスト２０２は、予めユーザが入力装置２３から入力しておくこともできるし、映像の表示中に追加して入力することもできる。追加の参加者を入力するため、参加者リスト２０２の下に追加参加者入力欄２０３が表示されている。ユーザは、入力装置２３又は不図示の人物リストを使用して、追加参加者入力欄２０３に参加者名を入力できる。
【００５２】
ユーザは入力装置２３を用いて参加者名リストを選択する。人物ＩＤ付与判断部４０はこの選択を受け付ける（Ｓ３０−２）。人物ＩＤ付与判断部４０は、この氏名に一意の番号を付与して人物ＩＤとするか、または、人物ＩＤは不図示の人物リストの氏名に対し予め付与されている。
【００５３】
ユーザは人物領域にこの人物ＩＤを付与するため、マウスやタッチパネルを使用して人物領域を選択する。人物ＩＤ付与判断部４０はユーザが選択したピクセル位置を受け付ける（Ｓ３０−３）。
【００５４】
人物ＩＤ付与判断部４０は、ユーザが選択した人物領域と人物ＩＤを対応づけ、人物ＩＤ付与部３３に通知する（Ｓ３０−４）。これにより、人物ＩＤ付与部３３は人物領域と人物ＩＤを対応づけることができる。
【００５５】
図５に戻り、人物ＩＤが付与された場合（Ｓ３０のＹｅｓ）、人物ＩＤ付与部３３は人物領域の位置を決定する（Ｓ４０）。人物の位置は人物領域の外接矩形の中心又は人物領域の重心などとする。
【００５６】
続いて、特徴量抽出部３９は、人物領域の重心などの位置の周囲又は全体から追尾に用いる特徴量を抽出する（Ｓ５０）。追尾に用いる特徴量は
(i)人物の顔位置のヒストグラム・画素のブロック
(ii)人物の首から胸までのヒストグラム・画素のブロック
などを用いる。
【００５７】
図８は、人物追尾情報の一例と、人物追尾情報と人物ＩＤの対応付けを説明する図の一例である。図では人物追尾情報ＩＤと人物ＩＤに対応づけて、位置と特徴量が登録されている。図８では特徴量をヒストグラムとしているので、人物追尾情報は特徴量と同じ意味になる。ＲＧＢの各色を８ビットとするとピクセル値は約１６万色になるので、特徴量抽出部３９は、計算機２２の処理能力等を考慮した色数に減色したｂｉｎを生成し、人物領域の画素のピクセル値を各ｂｉｎに振り分ける。これによりヒストグラムが得られる。
【００５８】
追尾人物情報ＩＤは、特徴量を識別するＩＤである。したがって、同じ人物ＩＤでも別のフレームから求めた特徴量には別の追尾人物情報ＩＤが付与される。
【００５９】
また、位置は上記の人物領域の外接矩形の中心又は重心の画素位置（Ｘ，Ｙ）である。図には位置の他に人物領域の幅Ｗｉｄｔｈと高さＨｅｉｇｈｔも示されている幅Ｗｉｄｔｈと高さＨｅｉｇｈｔは形状情報から得られる。
【００６０】
人物追尾部３４は特徴量を利用して同じ人物を追尾するので、顔画像サンプル採取装置１００は、人物領域の一度の検出と、人物領域と人物ＩＤの一度の対応づけて同じ人物には同じ人物ＩＤを付与することができる。
【００６１】
図５に戻り、人物追尾部３４は、図８に示したように特徴量・位置情報・人物ＩＤをセットにしたものをＲＡＭ１３や記憶装置１８に保存する（Ｓ６０）。
【００６２】
以上で１つのフレームの処理が終了するので、顔画像サンプル採取装置１００は次のフレームに同様の処理を施す。
【００６３】
〔変形例〕
上記フローチャート図の変形例を説明する。上記のステップＳ２０では人物領域検出部３２が画像処理により人物領域を検出していたが、ユーザによる操作を人物領域の特定に利用することもできる。
【００６４】
図９はフレーム中の人物領域と人物ＩＤを対応付ける手順の一例を示すフローチャート図である。この手順では、人物領域検出部３２は、入力装置２３からの人物の位置の指示を受け付けることで人物領域を検出する。
【００６５】
人物領域検出部３２は、処理対処のフレームに対し（今）、入力装置２３からの人物の位置の指示を受け付けたか否かを判定する（Ｓ２１）。したがって、ユーザが入力装置２３で人物を指示しなければ、以降の処理は実行されない。
【００６６】
人物の位置の指示を受け付けた場合（Ｓ２１のＹｅｓ）、人物領域検出部３２は、指示された位置の周囲の領域を人物領域とし、人物ＩＤ付与部３３が人物領域にＩＤを付与する（Ｓ２２）。
人物領域検出部３２は、
（ア)指示された位置から半径２０ピクセルの円の内部を人物領域とする
（イ）一定フレーム前から顔検知を行い検知した顔の大きさの半径の平均値を求め、指示された位置から平均値のピクセルの円の内部を人物領域とする
（ウ）指示した位置から類似の色（肌色）が続く範囲を人物領域とする
等の方法で人物領域を検出する。
【００６７】
人物ＩＤ付与部３３は、ステップＳ２０で位置の指示を受け付けた位置の位置情報を追尾に用いる位置情報に決定する（Ｓ４１）。
【００６８】
以降の処理は同様であり、特徴量抽出部３９は、人物領域から追尾に用いる特徴量を抽出する（Ｓ５０）。そして、人物追尾部３４は、特徴量・人物領域・人物ＩＤをセットにしたものを追尾人物情報としてＲＡＭ１３や記憶装置１８に保存する（Ｓ６０）。
【００６９】
〔顔画像サンプルの登録〕
図１０は、顔画像サンプルを採取する処理の手順を示すフローチャート図の一例である。顔検知部３５は、映像取得部３１からフレームを取得する（Ｓ１１０）。顔検知部３５は１フレームごとに以下の処理を行う。
【００７０】
顔検知部３５は、そのフレームで人物ＩＤが付与された人物領域が存在するかどうかを判定する（Ｓ１２０）。人物ＩＤが付与されていることは、特徴量が検出されていることを意味する。
【００７１】
人物ＩＤが付与されている場合、人物追尾部３４が人物領域の人物を追尾している。顔検知部３５は追尾結果から人物位置を特定する（Ｓ１３０）。
追尾の方法は、以下の方法等が知られている。
【００７２】
(i)パーティクルフィルタ
(ii)ブロックマッチング
パーティクルフィルタは、追尾する対象物のダイナミクスモデルと、対象物の存在を推定する尤度関数を用いた、推定フィルタの一種である。
ａ）まず、所定数（数百〜数千）のパーティクルをフレームの全体に分散させる。尤度の算出後は重み付けに応じて分散させる。
ｂ）各パーティクルの状態ベクトルにダイナミクスモデルを適用し、パーティクルの次の状態を予測する。状態ベクトルはパーティクルの位置、ｘ方向、ｙ方向の速度ベクトルである。速度ベクトルは２つのフレームのパーティクルの重心位置の差から求めることができる。
ｃ）尤度関数を定義し、各パーティクルの尤度を算出する。ここでは、特徴量であるヒストグラムを利用する。人物追尾部３４は、予め人物領域の認識のためにいくつかの種類のテンプレート画像を用意し、各テンプレート画像の正規化されたヒストグラムｈ(a)を求めておく。また、人物追尾部３４は、パーティクルの周囲の所定の領域のピクセル値から正規化されたヒストグラムｈ(id)を生成する。ヒストグラムの一致度が高い矩形領域は人物領域の近くにあるパーティクルから生成されたものであると推定できる。
【００７３】
ヒストグラム同士の比較にはBhattacharyya 係数を用いることができ、
ヒストグラムの一致度＝Σ√｛ｈi(a)×ｈi(id)｝
と表すことができる。添字の「i」はbinの番号を示すので、この式から各bin毎の高さの積の平方根の合計が求められる。これを各パーティクル毎に求め、重み付け（各パーティクルの尤度で正規化）する。
ｄ）重みが所定値以上のパーティクルが集中した領域が追尾された人物の顔領域である。パーティクル（小さい丸いアイコン）を表示装置２１に提示してもよい。
【００７４】
以上のａ）〜ｄ）をフレーム毎に繰り返した際、同じ人物ＩＤの人物領域にはパーティクルが集まることになり、人物の顔領域を追尾することができる。
【００７５】
なお、ヒストグラムを特徴量として用いるのでなく、ピクセル値そのものを特徴量とすることもできる。この場合、例えば、予め人物の規範的な肌色を定めておき、肌色と、パーティクルがある画素の画素値とのユークリッド距離が最も近い（すなわち０）の確率が最大になる正規分布を尤度関数とする。したがって、肌色に近い画素になるパーティクルの尤度は高くなり、人物追尾部３４はパーティクルの分布から人物を追尾できる。
【００７６】
また、上記のブロックマッチングを用いることもできる。ブロックマッチングは、フレーム間で人物領域同士を比較して、その中の特定の領域（例えば顔領域）を追尾する。この場合、人物追尾部３４は、２つの人物領域の対応する画素の輝度差を求め、輝度差の総和を求める。次に、画素を１つずらし２つの人物領域の対応する画素の輝度差を求め、輝度差の総和を求める。画素を１つずつずらしいくつかの総和を算出する処理が終了すると、最も総和が小さい時の画素の対応関係に基づき、特定の領域を追尾する。例えば、顔域であれば、1つ前のフレームの顔領域に対し、対応関係にて特定される現在のフレームの領域が顔領域であると推定する。このようにして、人物領域内の顔領域を追尾することができる。
【００７７】
図１０に戻り、顔検知部３５は、顔が含まれている顔領域を検知する（Ｓ１４０）。ここではフレームの全体から顔を検知する。
【００７８】
ここで検知された顔領域には３つの種類が生じることになる。Ｉ．採取中の顔画像サンプルの顔領域、II.すでに顔画像サンプルが十分に採取された（人物ＩＤが付与された）顔領域、III.顔画像サンプルが採取されていない（人物ＩＤもまだ付与されていない）顔領域、の３つである。図１０で着目するのは主にI,IIである。
【００７９】
顔の検知にはAdaboostを用いた方法などを用いる。Adaboostは、予め生成した弱識別器の信頼度を顔と否顔のサンプル画像により学習して、弱識別器を組み合わせて最終的に識別器を構築する判別方法である。例えば、顔と否顔のサンプル画像の誤り率が最小になる弱識別器の信頼度を算出し、最小になる誤り率に基づきサンプル画像の重み付けを算出する。重み付けに基づき学習の継続の可否を判定し、学習が継続できるなら算出した重み付けでサンプル画像の誤り率が最小になる弱識別器の信頼度を算出し、最小になる誤り率からサンプル画像の重み付けを算出する。学習が継続できない場合、学習を終了する。最終的に、信頼度と弱識別器を乗じたものの線形結合が識別器となる。
【００８０】
この識別器に、フレームから切り取られた、顔が含まれる程度の所定の大きさの矩形領域を入力すれば、顔領域の場合（顔が含まれる場合）は正値が、顔領域でなければ負値が出力される。
【００８１】
顔検知部３５は顔が検知された顔領域毎に以下の処理を行う（Ｓ１５０）。
顔領域から顔が検知された場合、顔検知部３５は、検知された顔領域がＳ３０で人物ＩＤが付与された、顔画像サンプルを採取中の人物の人物領域から抽出されたか否かを判定する（Ｓ１６０）。顔検知部３５は、追尾により得られている現在の人物領域の人物の位置に、検出した顔領域が含まれているか否かに基づき、検知された顔領域が採取中の人物の顔領域か否かを判定する。
【００８２】
検知された顔領域が人物ＩＤを付与された人物領域の顔領域の場合（Ｓ１６０のＹｅｓ）、顔画像サンプル登録部３７は、検知された顔領域を顔画像サンプルとして人物ＩＤに対応付けて顔画像サンプルデータベース３８に登録する（Ｓ１７０）。
【００８３】
図１１は、顔画像サンプルデータベース３８の一例を示す図である。顔画像サンプルデータベース３８には、顔画像サンプルＩＤに対応づけて人物ＩＤと顔画像サンプルが登録される。顔画像サンプルＩＤは、顔画像サンプルを識別する一意の識別子である。図示するように、同じ人物領域（同じ人物の）から抽出された顔画像サンプルには同じ人物ＩＤが付与されている。なお、顔画像サンプルそのものでなく、識別用特徴量を登録してもよい。識別用特徴量があれば、顔個人識別部３６はいつでも顔個人識別が可能になる。
【００８４】
図１０に戻り、検知された顔領域が人物ＩＤを付与された人物ＩＤを付与された人物領域の顔領域でない場合（Ｓ１６０のＮｏ）、すでに顔画像サンプルが人物ＩＤに対応づけて登録されていること場合には、顔個人識別部３６は顔領域から顔識別する（Ｓ１７０）。着目している顔領域では識別できない場合には識別しなくてもよく、顔個人識別部３６は、正面顔など識別しやすい顔画像サンプルが得られた場合に個人を識別する。
【００８５】
以上のように、ユーザがＵＩから人物領域に人物ＩＤを対応づけ、人物領域の人物を追尾し、同じ人物ＩＤに各種の顔画像サンプルを登録しておくことで、正面顔が撮影されなくても、顔画像サンプルを登録することができる。
【００８６】
〔顔識別方法〕
個人識別に使用する識別用特徴量は識別方法によって様々である。本願の特徴部ではないが、顔識別には固有顔方式、制約相互部分空間方式、ＬＦＡ（Ｌａｃａｌ Ｆｅａｔｕｒｅ Ａｎａｌｙｓｉｓ）方式、平均顔方式等がある。また、これらから派生したり組み合わせたりするなどの各種方法が提案されている。
【００８７】
固有顔方式は、多数の入力顔画像に対してＰＣＡ（主成分分析）により求めた入力顔画像群を表現する固有ベクトル（これが固有顔となる）を識別に利用する。識別用の入力顔画像を固有顔に展開し、各固有顔に対する類似度を評価して個人を識別する。
【００８８】
制約相互部分空間方式は、静止画像でなく動画像を用いることにより、複数の顔パターンの分布の類似度を識別に利用する。
【００８９】
ＬＦＡ方式は、固有顔の考え方をベースに顔の鼻、眉、口、頬等の曲率が変化する部分など、局所的な特徴に対して主成分分析を行う。局所的特徴の組み合わせにより顔全体を識別する。
【００９０】
平均顔方式は、多くの人間の顔画像の対応点を求め、各対応点の位置と濃度から平均顔を求める。平均顔の特徴点の周囲の特徴量を演算により取り出し、識別対象の顔画像の対応する対応点の特徴量を比較することで個人を識別する。
【００９１】
この他、ガポールウェーブレット変換、グラフマッチング法、多重照合顔検出法、摂動空間法、適応量的領域混合マッチング法等がある。
【００９２】
〔ユーザによる顔画像サンプルの選別等〕
図１２は、顔画像サンプルデータベース３８に登録された顔画像サンプルを表示した表示例を模式的に示す図の一例である。
【００９３】
例えば、映像入力装置２４が映像の撮影を終了した後、又は、映像を撮影しながら、ユーザが入力装置２３から計算機２２を操作すると、顔画像サンプルデータベース３８に登録した顔画像サンプルを表示することが可能になる。例えば、ユーザが、所定の人物領域を選択すると、サンプル選別部４１は選択された人物領域の人物ＩＤを特定する。そして、顔画像サンプルデータベース３８から人物ＩＤに対応づけられた顔画像サンプルを読み出し、選択した人物領域の周りに、又は、人物領域から顔画像サンプルまで線を引き出して表示する。
【００９４】
図１２のような機能は、ユーザが登録された顔画像サンプルを確認し、追尾などに誤りが生じ別の人物の顔画像サンプルが所定の人物ＩＤに対応づけられた顔画像サンプルを消去する際に有効である。この場合ユーザは入力装置２２で別の人物の顔画像サンプルを選択する操作を入力する。サンプル選別部４１は、この操作を受け付けて、選択された顔画像サンプルＩＤを特定し、顔画像サンプルデータベース３８に登録された顔画像サンプルを消去する。
【００９５】
また、ユーザは図１２のような画面から、入力装置２３を使用して人物に注釈を付けることができる。入力された注釈は、人物ＩＤに対応づけて顔画像サンプルデータベース３８に登録される。
【００９６】
サンプル選別部４１は、各顔画像サンプルを重畳しないように例えば時系列に並べて表示装置２１に表示することができる。この場合、ユーザは会議の経過時間と顔画像サンプルの関係を把握しやすくなる。また、人物追尾情報ＩＤと顔画像サンプルＩＤを紐付けておけば、サンプル選別部４１は、顔画像サンプルの位置を特定できる。サンプル選別部４１は、顔画像サンプルを採取された時の位置に表示することができる。この位置は、参加者の顔画像サンプルが採取された時の位置であるので、ユーザは参加者の位置と顔画像サンプルの関係を容易に把握できることになる。
【００９７】
また、顔画像サンプルデータベース３８には顔画像サンプルが登録されているので、顔画像サンプルから識別用特徴量を求めれば、同じ人物の特徴量距離を算出することができる。サンプル選別部４１は、特徴量距離に応じて各顔画像サンプルを離して表示装置２１に表示する。こうすることで、ユーザは、別人の顔画像サンプルやほとんど顔が映っていない顔画像サンプルを顔画像サンプルデータベース３８から消去することもできる。
【００９８】
以上説明したように、本実施形態の顔画像サンプル採取装置１００は、顔個人識別が困難な顔画像サンプルに人物ＩＤを付与でき、一度、人物領域と人物ＩＤが対応づけられた後は、人物領域の人物を追尾するので、同一人物に同一の人物ＩＤを付与できる。また、同じフレームに複数の人物が撮影されていても、各人物領域に別々の人物ＩＤが付与されるので、同じフレームに複数の人物領域が検出されても各人物を確実に識別できる。人物ＩＤを付与したり顔画像サンプルを採取しながら、個人識別することもできる。
【符号の説明】
【００９９】
２１ 表示装置
２２ 計算機
２３ 入力装置
２４ 映像入力装置
３１ 映像取得部
３２ 人物領域検出部
３３ 人物ＩＤ付与部
３４ 人物追尾部
３５ 顔検知部
３６ 顔個人識別部
３７ 顔画像サンプル登録部
３８ 顔画像サンプルデータベース
３９ 特徴量抽出部
４０ 人物ＩＤ付与判断部
１００ 顔画像サンプル採取装置
【先行技術文献】
【特許文献】
【０１００】
【特許文献１】特開２００７−２４９５８８号公報
【特許請求の範囲】
【請求項１】
人物が含まれる映像を取得する映像取得手段と、
前記映像から人物領域を検出する人物領域検出手段と、
前記映像を表示装置に表示する表示手段と、
前記人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段と、
前記人物領域に人物ＩＤを付与する人物ＩＤ付与手段と、
前記人物領域の人物を追尾する人物追尾手段と、
前記映像から人物の顔を検出する顔検出手段と、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録する特徴量登録手段と、
を有することを特徴とする顔画像サンプル採取装置。
【請求項２】
前記顔検出手段が検出した顔画像のうち、前記人物ＩＤ付与手段が前記人物ＩＤを付与した前記人物領域に含まれない顔画像を顔個人識別する顔個人識別手段を有する、
ことを特徴とする請求項１記載の顔画像サンプル採取装置。
【請求項３】
前記人物領域検出手段は、前記映像のフレーム全体から前記人物領域を検出する、ことを特徴とする請求項１又は２記載の顔画像サンプル採取装置。
【請求項４】
前記人物領域検出手段は、入力装置が受け付けたフレーム中の位置情報の周囲を前記人物領域とする、ことを特徴とする請求項１又は２記載の顔画像サンプル採取装置。
【請求項５】
前記対応づけ受け付け手段は、前記表示装置に表示された人物情報リスト内の前記人物情報及び前記人物領域の選択を受け付け、前記人物領域と前記人物情報とを対応付ける、
ことを特徴とする請求項１〜４いずれか１項記載の顔画像サンプル採取装置。
【請求項６】
同一の前記人物ＩＤに対応づけて前記データベースに登録された一連の顔画像を、所定のフレームの該人物ＩＤに対応する前記人物領域に関連づけて前記表示装置に表示し、
前記データベースに登録する顔画像の選別を受け付けるサンプル選別手段、
を有することを特徴とする請求項１〜５いずれか１項記載の顔画像サンプル採取装置。
【請求項７】
前記人物領域検出手段は、前記位置情報の画素の画素値との差異が所定値内の画素値を有する前記位置情報の周囲を前記人物領域とする、
ことを特徴とする請求項４記載の顔画像サンプル採取装置。
【請求項８】
前記人物領域検出手段は、過去のフレームの前記顔画像の大きさの平均値を算出し、前記位置情報を中心として前記平均値の範囲を前記人物領域とする、
ことを特徴とする請求項４記載の顔画像サンプル採取装置。
【請求項９】
前記人物追尾手段は、前記人物領域の画素値のヒストグラム又は画素値を特徴量にして、所定の画像処理を適用して前記人物領域の人物を追尾する、
ことを特徴とする請求項１〜８いずれか１項記載の顔画像サンプル採取装置。
【請求項１０】
前記サンプル選別手段は、
前記データベースに登録された一連の顔画像の認識用特徴量に基づき顔画像間の距離情報を算出し、距離情報に応じて顔画像を離間して前記表示装置に表示する、ことを特徴とする請求項６記載の顔画像サンプル採取装置。
【請求項１１】
映像取得手段が、人物が含まれる映像を取得するステップと、
人物領域検出手段が、前記映像から人物領域を検出するステップと、
表示手段が、前記映像を表示装置に表示するステップと、
対応づけ受け付け手段が、前記人物領域と人物情報の対応づけを受け付けるステップと、
人物ＩＤ付与手段が、前記人物領域に人物ＩＤを付与するステップと、
人物追尾手段が、前記人物領域の人物を追尾するステップと、
顔検出手段が、前記映像から人物の顔を検出するステップと、
特徴量登録手段が、当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録するステップと、
を有することを特徴とする顔画像サンプル採取方法。
【請求項１２】
コンピュータに、
人物が含まれる映像を取得するステップと、
前記映像から人物領域を検出するステップと、
前記映像を表示装置に表示するステップと、
前記人物領域と人物情報の対応づけを受け付けるステップと、
前記人物領域に人物ＩＤを付与するステップと、
前記人物領域の人物を追尾するステップと、
前記映像から人物の顔を検出するステップと、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録するステップと、
を実行させるプログラム。
【請求項１】
人物が含まれる映像を取得する映像取得手段と、
前記映像から人物領域を検出する人物領域検出手段と、
前記映像を表示装置に表示する表示手段と、
前記人物領域と人物情報の対応づけを受け付ける対応づけ受け付け手段と、
前記人物領域に人物ＩＤを付与する人物ＩＤ付与手段と、
前記人物領域の人物を追尾する人物追尾手段と、
前記映像から人物の顔を検出する顔検出手段と、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録する特徴量登録手段と、
を有することを特徴とする顔画像サンプル採取装置。
【請求項２】
前記顔検出手段が検出した顔画像のうち、前記人物ＩＤ付与手段が前記人物ＩＤを付与した前記人物領域に含まれない顔画像を顔個人識別する顔個人識別手段を有する、
ことを特徴とする請求項１記載の顔画像サンプル採取装置。
【請求項３】
前記人物領域検出手段は、前記映像のフレーム全体から前記人物領域を検出する、ことを特徴とする請求項１又は２記載の顔画像サンプル採取装置。
【請求項４】
前記人物領域検出手段は、入力装置が受け付けたフレーム中の位置情報の周囲を前記人物領域とする、ことを特徴とする請求項１又は２記載の顔画像サンプル採取装置。
【請求項５】
前記対応づけ受け付け手段は、前記表示装置に表示された人物情報リスト内の前記人物情報及び前記人物領域の選択を受け付け、前記人物領域と前記人物情報とを対応付ける、
ことを特徴とする請求項１〜４いずれか１項記載の顔画像サンプル採取装置。
【請求項６】
同一の前記人物ＩＤに対応づけて前記データベースに登録された一連の顔画像を、所定のフレームの該人物ＩＤに対応する前記人物領域に関連づけて前記表示装置に表示し、
前記データベースに登録する顔画像の選別を受け付けるサンプル選別手段、
を有することを特徴とする請求項１〜５いずれか１項記載の顔画像サンプル採取装置。
【請求項７】
前記人物領域検出手段は、前記位置情報の画素の画素値との差異が所定値内の画素値を有する前記位置情報の周囲を前記人物領域とする、
ことを特徴とする請求項４記載の顔画像サンプル採取装置。
【請求項８】
前記人物領域検出手段は、過去のフレームの前記顔画像の大きさの平均値を算出し、前記位置情報を中心として前記平均値の範囲を前記人物領域とする、
ことを特徴とする請求項４記載の顔画像サンプル採取装置。
【請求項９】
前記人物追尾手段は、前記人物領域の画素値のヒストグラム又は画素値を特徴量にして、所定の画像処理を適用して前記人物領域の人物を追尾する、
ことを特徴とする請求項１〜８いずれか１項記載の顔画像サンプル採取装置。
【請求項１０】
前記サンプル選別手段は、
前記データベースに登録された一連の顔画像の認識用特徴量に基づき顔画像間の距離情報を算出し、距離情報に応じて顔画像を離間して前記表示装置に表示する、ことを特徴とする請求項６記載の顔画像サンプル採取装置。
【請求項１１】
映像取得手段が、人物が含まれる映像を取得するステップと、
人物領域検出手段が、前記映像から人物領域を検出するステップと、
表示手段が、前記映像を表示装置に表示するステップと、
対応づけ受け付け手段が、前記人物領域と人物情報の対応づけを受け付けるステップと、
人物ＩＤ付与手段が、前記人物領域に人物ＩＤを付与するステップと、
人物追尾手段が、前記人物領域の人物を追尾するステップと、
顔検出手段が、前記映像から人物の顔を検出するステップと、
特徴量登録手段が、当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録するステップと、
を有することを特徴とする顔画像サンプル採取方法。
【請求項１２】
コンピュータに、
人物が含まれる映像を取得するステップと、
前記映像から人物領域を検出するステップと、
前記映像を表示装置に表示するステップと、
前記人物領域と人物情報の対応づけを受け付けるステップと、
前記人物領域に人物ＩＤを付与するステップと、
前記人物領域の人物を追尾するステップと、
前記映像から人物の顔を検出するステップと、
当該顔を含む領域の顔画像又は顔画像から求められた識別用特徴量を、前記人物ＩＤと対応づけてデータベースに登録するステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−３３０５４（Ｐ２０１２−３３０５４Ａ）
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願番号】特願２０１０−１７２８５４（Ｐ２０１０−１７２８５４）
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年２月１６日（２０１２．２．１６）
【国際特許分類】
【出願日】平成２２年７月３０日（２０１０．７．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]