顔画像特徴量生成装置および顔画像特徴量生成プログラム
【課題】光の影響にロバストであって且つ高精度に顔画像特徴量を生成する。
【解決手段】画像データを取り込む画像データ取得部１０と、画像データ取得部１０が取り込んだ画像データに対して顔検出処理を実行し、その画像データから顔領域を抽出する顔領域抽出部２０と、顔領域抽出部２０が抽出した顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部３０と、解析領域決定部３０が決定した第１の領域および第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部４０とを備えた。
【解決手段】画像データを取り込む画像データ取得部１０と、画像データ取得部１０が取り込んだ画像データに対して顔検出処理を実行し、その画像データから顔領域を抽出する顔領域抽出部２０と、顔領域抽出部２０が抽出した顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部３０と、解析領域決定部３０が決定した第１の領域および第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部４０とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像特徴量生成装置および顔画像特徴量生成プログラムに関する。
【背景技術】
【０００２】
ビデオカメラで撮影された映像データの各フレーム画像から、人物の顔領域をロバストに検出する技術が知られている（例えば、非特許文献１参照）。
また、人物の顔画像から顔の目部分や口部分等の位置を検出し、これらの位置に基づいて顔画像を分割して分割領域ごとの画像特徴ベクトルを計算し、これら画像特徴ベクトルを連結して顔画像特徴量を生成する技術が知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】PAUL VIOLA, MICHAEL J. JONES, "Robust Real-Time Face Detection", International Journal of Computer Vision, 2004, Vol. 57, No. 2, pp. 137-154.
【非特許文献２】Zisheng Li, Jun-ichi Imai, Masahide Kaneko, "Facial Expression Recognition Using Facial-component-based Bag of Words and PHOG Descriptors", 映像情報メディア学会誌, 2010, Vol. 64, No.2, pp. 230-236.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１記載の技術では、顔領域をロバストに検出することが可能である。しかしながら、非特許文献１記載の技術は、人物の顔を含む画像から顔領域を矩形で検出するものであり、顔の背景、髪の毛、アクセサリ等、顔認識や顔表情認識に必要がない情報をも含めて認識対象とするため、認識精度を落とす要因となる。
また、非特許文献２記載の技術では、顔の目部分や口部分の位置を検出し、顔認識や顔表情認識を行う上で重要となる領域のみで顔画像特徴量を生成するものである。しかしながら、外光や室内照明の状態が変化する撮影環境において撮影された人物の画像から、顔の目部分や口部分等の位置をロバストに検出することは難しい。よって、光の影響を受けずに人物の顔画像特徴量を安定して生成することは困難である。
【０００５】
そこで、本発明は上記問題点を解決するためになされたものであり、光の影響にロバストであって且つ高精度に顔画像特徴量を生成する、顔画像特徴量生成装置および顔画像特徴量生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である顔画像特徴量生成装置は、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、を備えることを特徴とする。
［２］上記［１］記載の顔画像特徴量生成装置において、前記顔領域抽出部は、顔を含む矩形の顔領域を前記画像データから抽出し、前記解析領域決定部は、前記顔領域に内接する円形または楕円形よりも小さな円形または楕円形の前記解析領域を縦方向に二分して前記第１の領域および第２の領域を決定することを特徴とする。
［３］上記［２］記載の顔画像特徴量生成装置において、前記顔領域抽出部は、前記矩形の顔領域を所定サイズの顔領域に正規化することを特徴とする。
［４］上記の課題を解決するため、本発明の一態様である顔画像特徴量生成プログラムは、コンピュータを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、として機能させる。
【発明の効果】
【０００７】
本発明によれば、光の影響にロバストであって且つ高精度に顔画像特徴量を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態である顔画像特徴量生成装置の機能構成を示すブロック図である。
【図２】フレーム画像と、このフレーム画像から抽出された矩形の顔領域と、この顔領域を正規化して得られた正規化顔領域との例を模式的に示す図である。
【図３】正規化顔領域に基づき、解析領域決定部によって決定された解析領域を視覚的に分かり易く線描画した図である。
【図４】顔画像特徴量計算部によって得られた、上部解析領域における特徴量のヒストグラムと、下部解析領域における特徴量のヒストグラムと、これら二つのヒストグラムが連結された、解析領域全体における特徴量のヒストグラムとを模式的に示した図である。
【図５】同実施形態である顔画像特徴量生成装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施形態である顔画像特徴量生成装置の機能構成を示すブロック図である。同図に示すように、顔画像特徴量生成装置１は、画像データ取得部１０と、顔領域抽出部２０と、解析領域決定部３０と、顔画像特徴量計算部４０とを備える。
【００１０】
画像データ取得部１０は、図示しない外部装置から供給される画像データを取り込む。画像データは、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとして顔領域抽出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして、順次またはあらかじめ決定された所定フレーム数おきに顔領域抽出部２０に供給する。
外部装置は、例えば、撮影装置や記録装置である。
【００１１】
顔領域抽出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込む。顔領域抽出部２０は、取り込んだフレーム画像データに対して顔検出処理を実行し、そのフレーム画像データから人物の顔領域を検出する。この顔領域は、人物の顔を含む矩形の画像領域である。顔検出処理のアルゴリズムとして、顔領域抽出部２０は、公知の顔検出アルゴリズム、例えばＡｄａＢｏｏｓｔを用いる。
なお、公知の顔検出アルゴリズムについては、例えば、前記の非特許文献１に詳細が開示されている。
【００１２】
顔領域抽出部２０は、検出した顔領域のデータをフレーム画像データから抽出し、その顔領域データを、所定サイズ（例えば、１２８画素×１２８画素）の画像データに正規化する。正規化の処理として、顔領域抽出部２０は、顔領域を所定サイズの矩形領域に拡大させたり、縮小させたりする画像処理を実行する。つまり、フレーム画像に含まれる顔のサイズは様々であるため、顔領域抽出部２０は、顔領域のサイズを拡大または縮小して、全ての顔領域の解像度を同程度にする。これにより、後段の顔画像特徴量計算部４０によって検出される局所特徴量の数や特徴のレベルが合い、顔認識処理や顔表情認識処理で、これらの局所特徴量を利用したときに、認識率の向上に繋がる。顔領域抽出部２０は、正規化した画像データである正規化顔領域データを解析領域決定部３０に供給する。
【００１３】
解析領域決定部３０は、顔領域検出部２０から供給される正規化顔領域データを取り込み、この正規化顔領域データに基づき、顔画像特徴量を計算するための解析領域を決定する。解析領域は、例えば、正規化顔領域の中心位置を中心として設けられる、正規化顔領域に含まれる円（楕円または真円）領域である。解析領域決定部３０は、例えば、正規化顔領域の水平方向であって且つその中心を通る直線で解析領域を二分し、その上部の領域を上部解析領域（第１の領域）、下部の領域を下部解析領域（第２の領域）として決定する。言い換えると、解析領域決定部３０は、正規化顔領域に内接する円形または楕円形よりも小さな円形または楕円形の解析領域を上下（縦）方向に二分して上部解析領域および下部解析領域を決定する。
なお、上部解析領域および下部解析領域の面積は同一であってもよいし、異なっていてもよい。
【００１４】
顔画像特徴量計算部４０は、解析領域抽出部３０が決定した正規化顔領域における上部解析領域および下部解析領域それぞれについて、特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算する。具体的には、顔画像特徴量計算部４０は、上部解析領域からＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）特徴量、またはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）等の局所特徴量（Ｋｅｙｐｏｉｎｔｓ）を計算する。顔画像特徴量計算部４０は、これら特徴量についてクラスタ分析処理を実行することによってクラス分類し、クラスタに対する出現頻度のヒストグラムを生成する。クラスタ分析処理として、顔画像特徴量計算部４０は、例えばＫ平均法を用いる。顔画像特徴量計算部４０は、生成したヒストグラムをＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓとする。顔画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを求める。
【００１５】
顔画像特徴量計算部４０は、それぞれ計算した二つのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体としてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成し、このＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを顔画像特徴量として出力する。例えば、顔画像特徴量計算部４０は、上部解析領域に対する１７５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに、下部解析領域に対する１２５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結し、解析領域全体として３００次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
【００１６】
図２は、フレーム画像と、このフレーム画像から抽出された矩形の顔領域と、この顔領域を正規化して得られた正規化顔領域との例を模式的に示す図である。符号２はフレーム画像であり、符号２ａは顔領域抽出部２０によってフレーム画像２から検出された顔領域であり、符号２ｂは顔領域抽出部２０によって顔領域が正規化（ここでは、縮小）された正規化顔領域である。同図に示すように、正規化顔領域２ｂは、顔のパーツである、両眉毛、両目、鼻、口を含むようにＬＸ×ＬＹに正規化されている。ＬＸとＬＹとの長さの関係は、例えば、ＬＸ＝ＬＹである。
【００１７】
図３は、正規化顔領域２ｂに基づき、解析領域決定部３０によって決定された解析領域を視覚的に分かり易く線描画した図である。同図に示すように、解析領域決定部３０は、ＬＸ×ＬＹの正規化顔領域２ｂの中心位置を中心として、正規化顔領域２ｂに含まれる円形の解析領域３を決定する。解析領域３の水平方向の径は、例えば、ＬＸの０．８倍の長さであり、垂直方向の径は、例えば、ＬＹの０．８倍の長さである。このように、解析領域３の径を正規化顔領域２ｂの内接円の径よりも小さくすることにより、人物の顔認識や顔表情認識にとって重要度が低い髪の毛や、イヤリング等の情報を除外することができる。解析領域決定部３０は、解析領域３の水平方向であって且つその中心を通る直線で、解析領域３を上部解析領域３Ｕと下部解析領域３Ｄとに区分する。このように区分することにより、上部解析領域３Ｕは顔の両眉毛や両目を含み、下部解析領域３Ｄは鼻頭や口を含むこととなる。
【００１８】
図４は、顔画像特徴量計算部４０によって得られた、上部解析領域における特徴量のヒストグラムと、下部解析領域における特徴量のヒストグラムと、これら二つのヒストグラムが連結された、解析領域全体における特徴量のヒストグラムとを模式的に示した図である。同図は、上部解析領域における特徴量のヒストグラムの後に、下部解析領域における特徴量のヒストグラムを連結した例である。このように、領域を分割してクラス分類することにより、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに位置情報（上部解析領域または下部解析領域）を対応付けることができる。
以上により、光の影響にロバストな顔認識処理や顔表情認識処理を可能にすることができる。
なお、顔画像特徴量計算部４０は、下部解析領域における特徴量のヒストグラムの後に、上部解析領域における特徴量のヒストグラムを連結することによって、解析領域全体における特徴量のヒストグラムを得てもよい。
【００１９】
図５は、本実施形態である顔画像特徴量生成装置１の処理手順を示すフローチャートである。このフローチャートは、１つのフレーム画像データについての処理手順を示したものである。
ステップＳ１において、画像データ取得部１０は、外部装置から供給される画像データを取り込む。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとして顔領域抽出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして顔領域抽出部２０に供給する。
【００２０】
次に、ステップＳ２において、顔領域抽出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、この取り込んだフレーム画像データに対して顔検出処理を実行し、そのフレーム画像データから人物の顔領域を検出する。
【００２１】
次に、ステップＳ３において、顔領域抽出部２０は、検出した顔領域のデータをフレーム画像データから抽出し、その顔領域データを、所定サイズ（例えば、１２８画素×１２８画素）の画像データに正規化し、この正規化顔領域データを解析領域決定部３０に供給する。
【００２２】
次に、ステップＳ４において、解析領域決定部３０は、顔領域検出部２０から供給される正規化顔領域データを取り込み、この正規化顔領域データに基づき、顔画像特徴量を計算するための解析領域を決定する。具体的には、解析領域決定部３０は、例えば、正規化顔領域の中心位置を中心として設けられる、正規化顔領域に含まれる円（楕円または真円）領域を解析領域として決定する。
次に、解析領域決定部３０は、正規化顔領域の水平方向の直線で解析領域を二分し、その上部の領域を上部解析領域、下部の領域を下部解析領域として決定する。例えば、解析領域決定部３０は、正規化顔領域の水平方向であって且つその中心を通る直線で解析領域を二分し、その上部の領域を上部解析領域、下部の領域を下部解析領域として決定する。
【００２３】
次に、ステップＳ５において、顔画像特徴量計算部４０は、解析領域抽出部３０が決定した正規化顔領域における上部解析領域および下部解析領域それぞれについて、特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算する。
次に、顔画像特徴量計算部４０は、それぞれ計算した二つのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体としてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成し、顔画像特徴量として出力する。
【００２４】
以上、説明したとおり、本発明の一実施形態である顔画像特徴量生成装置１を、画像データを取り込む画像データ取得部１０と、画像データに対して顔検出処理を実行し、画像データから顔領域を抽出する顔領域抽出部２０と、顔領域から、円形または楕円形の解析領域を上下（縦）方向に二分する上部解析領域および下部解析領域を決定する解析領域決定部３０と、上部解析領域および下部解析領域それぞれについて特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算し、これら計算したＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して顔画像特徴量を生成する顔画像特徴量計算部４０とを備えるように構成した。
【００２５】
このように構成したことにより、本実施形態である顔画像特徴量生成装置１は、顔領域から、人物の顔認識や顔表情認識にとって重要度が低い髪の毛や、イヤリング等の情報を除外するため、高精度な顔画像特徴量を生成することができる。また、顔画像特徴量生成装置１は、解析領域を上部解析領域と下部解析領域とに区分することによって、例えば、上部解析領域に顔の両眉毛や両目を含ませ、下部解析領域に鼻頭や口を含ませることができる。これにより、顔画像特徴量生成装置１が生成する顔画像特徴量には、位置情報が対応付けされることとなる。よって、顔画像特徴量生成装置１によれば、光の影響にロバストな顔認識処理や顔表情認識処理を可能にすることができる。
したがって、本実施形態によれば、顔画像特徴量生成装置１は、光の影響にロバストであって且つ高精度に顔画像特徴量を生成することができる。
【００２６】
なお、上述した実施形態である顔画像特徴量生成装置１の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための顔画像特徴量生成プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された顔画像特徴量生成プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の顔画像特徴量生成プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００２７】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００２８】
１ 顔画像特徴量生成装置
１０ 画像データ取得部
２０ 顔領域抽出部
３０ 解析領域決定部
４０ 顔画像特徴量計算部
【技術分野】
【０００１】
本発明は、顔画像特徴量生成装置および顔画像特徴量生成プログラムに関する。
【背景技術】
【０００２】
ビデオカメラで撮影された映像データの各フレーム画像から、人物の顔領域をロバストに検出する技術が知られている（例えば、非特許文献１参照）。
また、人物の顔画像から顔の目部分や口部分等の位置を検出し、これらの位置に基づいて顔画像を分割して分割領域ごとの画像特徴ベクトルを計算し、これら画像特徴ベクトルを連結して顔画像特徴量を生成する技術が知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】PAUL VIOLA, MICHAEL J. JONES, "Robust Real-Time Face Detection", International Journal of Computer Vision, 2004, Vol. 57, No. 2, pp. 137-154.
【非特許文献２】Zisheng Li, Jun-ichi Imai, Masahide Kaneko, "Facial Expression Recognition Using Facial-component-based Bag of Words and PHOG Descriptors", 映像情報メディア学会誌, 2010, Vol. 64, No.2, pp. 230-236.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１記載の技術では、顔領域をロバストに検出することが可能である。しかしながら、非特許文献１記載の技術は、人物の顔を含む画像から顔領域を矩形で検出するものであり、顔の背景、髪の毛、アクセサリ等、顔認識や顔表情認識に必要がない情報をも含めて認識対象とするため、認識精度を落とす要因となる。
また、非特許文献２記載の技術では、顔の目部分や口部分の位置を検出し、顔認識や顔表情認識を行う上で重要となる領域のみで顔画像特徴量を生成するものである。しかしながら、外光や室内照明の状態が変化する撮影環境において撮影された人物の画像から、顔の目部分や口部分等の位置をロバストに検出することは難しい。よって、光の影響を受けずに人物の顔画像特徴量を安定して生成することは困難である。
【０００５】
そこで、本発明は上記問題点を解決するためになされたものであり、光の影響にロバストであって且つ高精度に顔画像特徴量を生成する、顔画像特徴量生成装置および顔画像特徴量生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である顔画像特徴量生成装置は、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、を備えることを特徴とする。
［２］上記［１］記載の顔画像特徴量生成装置において、前記顔領域抽出部は、顔を含む矩形の顔領域を前記画像データから抽出し、前記解析領域決定部は、前記顔領域に内接する円形または楕円形よりも小さな円形または楕円形の前記解析領域を縦方向に二分して前記第１の領域および第２の領域を決定することを特徴とする。
［３］上記［２］記載の顔画像特徴量生成装置において、前記顔領域抽出部は、前記矩形の顔領域を所定サイズの顔領域に正規化することを特徴とする。
［４］上記の課題を解決するため、本発明の一態様である顔画像特徴量生成プログラムは、コンピュータを、画像データを取り込む画像データ取得部と、前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、として機能させる。
【発明の効果】
【０００７】
本発明によれば、光の影響にロバストであって且つ高精度に顔画像特徴量を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態である顔画像特徴量生成装置の機能構成を示すブロック図である。
【図２】フレーム画像と、このフレーム画像から抽出された矩形の顔領域と、この顔領域を正規化して得られた正規化顔領域との例を模式的に示す図である。
【図３】正規化顔領域に基づき、解析領域決定部によって決定された解析領域を視覚的に分かり易く線描画した図である。
【図４】顔画像特徴量計算部によって得られた、上部解析領域における特徴量のヒストグラムと、下部解析領域における特徴量のヒストグラムと、これら二つのヒストグラムが連結された、解析領域全体における特徴量のヒストグラムとを模式的に示した図である。
【図５】同実施形態である顔画像特徴量生成装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
図１は、本発明の一実施形態である顔画像特徴量生成装置の機能構成を示すブロック図である。同図に示すように、顔画像特徴量生成装置１は、画像データ取得部１０と、顔領域抽出部２０と、解析領域決定部３０と、顔画像特徴量計算部４０とを備える。
【００１０】
画像データ取得部１０は、図示しない外部装置から供給される画像データを取り込む。画像データは、静止画像データまたは動画像データである。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとして顔領域抽出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして、順次またはあらかじめ決定された所定フレーム数おきに顔領域抽出部２０に供給する。
外部装置は、例えば、撮影装置や記録装置である。
【００１１】
顔領域抽出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込む。顔領域抽出部２０は、取り込んだフレーム画像データに対して顔検出処理を実行し、そのフレーム画像データから人物の顔領域を検出する。この顔領域は、人物の顔を含む矩形の画像領域である。顔検出処理のアルゴリズムとして、顔領域抽出部２０は、公知の顔検出アルゴリズム、例えばＡｄａＢｏｏｓｔを用いる。
なお、公知の顔検出アルゴリズムについては、例えば、前記の非特許文献１に詳細が開示されている。
【００１２】
顔領域抽出部２０は、検出した顔領域のデータをフレーム画像データから抽出し、その顔領域データを、所定サイズ（例えば、１２８画素×１２８画素）の画像データに正規化する。正規化の処理として、顔領域抽出部２０は、顔領域を所定サイズの矩形領域に拡大させたり、縮小させたりする画像処理を実行する。つまり、フレーム画像に含まれる顔のサイズは様々であるため、顔領域抽出部２０は、顔領域のサイズを拡大または縮小して、全ての顔領域の解像度を同程度にする。これにより、後段の顔画像特徴量計算部４０によって検出される局所特徴量の数や特徴のレベルが合い、顔認識処理や顔表情認識処理で、これらの局所特徴量を利用したときに、認識率の向上に繋がる。顔領域抽出部２０は、正規化した画像データである正規化顔領域データを解析領域決定部３０に供給する。
【００１３】
解析領域決定部３０は、顔領域検出部２０から供給される正規化顔領域データを取り込み、この正規化顔領域データに基づき、顔画像特徴量を計算するための解析領域を決定する。解析領域は、例えば、正規化顔領域の中心位置を中心として設けられる、正規化顔領域に含まれる円（楕円または真円）領域である。解析領域決定部３０は、例えば、正規化顔領域の水平方向であって且つその中心を通る直線で解析領域を二分し、その上部の領域を上部解析領域（第１の領域）、下部の領域を下部解析領域（第２の領域）として決定する。言い換えると、解析領域決定部３０は、正規化顔領域に内接する円形または楕円形よりも小さな円形または楕円形の解析領域を上下（縦）方向に二分して上部解析領域および下部解析領域を決定する。
なお、上部解析領域および下部解析領域の面積は同一であってもよいし、異なっていてもよい。
【００１４】
顔画像特徴量計算部４０は、解析領域抽出部３０が決定した正規化顔領域における上部解析領域および下部解析領域それぞれについて、特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算する。具体的には、顔画像特徴量計算部４０は、上部解析領域からＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）特徴量、またはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）等の局所特徴量（Ｋｅｙｐｏｉｎｔｓ）を計算する。顔画像特徴量計算部４０は、これら特徴量についてクラスタ分析処理を実行することによってクラス分類し、クラスタに対する出現頻度のヒストグラムを生成する。クラスタ分析処理として、顔画像特徴量計算部４０は、例えばＫ平均法を用いる。顔画像特徴量計算部４０は、生成したヒストグラムをＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓとする。顔画像特徴量計算部４０は、下部解析領域についても上部解析領域と同様にＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを求める。
【００１５】
顔画像特徴量計算部４０は、それぞれ計算した二つのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体としてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成し、このＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを顔画像特徴量として出力する。例えば、顔画像特徴量計算部４０は、上部解析領域に対する１７５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに、下部解析領域に対する１２５次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結し、解析領域全体として３００次元のＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成する。
【００１６】
図２は、フレーム画像と、このフレーム画像から抽出された矩形の顔領域と、この顔領域を正規化して得られた正規化顔領域との例を模式的に示す図である。符号２はフレーム画像であり、符号２ａは顔領域抽出部２０によってフレーム画像２から検出された顔領域であり、符号２ｂは顔領域抽出部２０によって顔領域が正規化（ここでは、縮小）された正規化顔領域である。同図に示すように、正規化顔領域２ｂは、顔のパーツである、両眉毛、両目、鼻、口を含むようにＬＸ×ＬＹに正規化されている。ＬＸとＬＹとの長さの関係は、例えば、ＬＸ＝ＬＹである。
【００１７】
図３は、正規化顔領域２ｂに基づき、解析領域決定部３０によって決定された解析領域を視覚的に分かり易く線描画した図である。同図に示すように、解析領域決定部３０は、ＬＸ×ＬＹの正規化顔領域２ｂの中心位置を中心として、正規化顔領域２ｂに含まれる円形の解析領域３を決定する。解析領域３の水平方向の径は、例えば、ＬＸの０．８倍の長さであり、垂直方向の径は、例えば、ＬＹの０．８倍の長さである。このように、解析領域３の径を正規化顔領域２ｂの内接円の径よりも小さくすることにより、人物の顔認識や顔表情認識にとって重要度が低い髪の毛や、イヤリング等の情報を除外することができる。解析領域決定部３０は、解析領域３の水平方向であって且つその中心を通る直線で、解析領域３を上部解析領域３Ｕと下部解析領域３Ｄとに区分する。このように区分することにより、上部解析領域３Ｕは顔の両眉毛や両目を含み、下部解析領域３Ｄは鼻頭や口を含むこととなる。
【００１８】
図４は、顔画像特徴量計算部４０によって得られた、上部解析領域における特徴量のヒストグラムと、下部解析領域における特徴量のヒストグラムと、これら二つのヒストグラムが連結された、解析領域全体における特徴量のヒストグラムとを模式的に示した図である。同図は、上部解析領域における特徴量のヒストグラムの後に、下部解析領域における特徴量のヒストグラムを連結した例である。このように、領域を分割してクラス分類することにより、Ｂａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓに位置情報（上部解析領域または下部解析領域）を対応付けることができる。
以上により、光の影響にロバストな顔認識処理や顔表情認識処理を可能にすることができる。
なお、顔画像特徴量計算部４０は、下部解析領域における特徴量のヒストグラムの後に、上部解析領域における特徴量のヒストグラムを連結することによって、解析領域全体における特徴量のヒストグラムを得てもよい。
【００１９】
図５は、本実施形態である顔画像特徴量生成装置１の処理手順を示すフローチャートである。このフローチャートは、１つのフレーム画像データについての処理手順を示したものである。
ステップＳ１において、画像データ取得部１０は、外部装置から供給される画像データを取り込む。画像データが静止画像データである場合、画像データ取得部１０は、取り込んだ画像データをフレーム画像データとして顔領域抽出部２０に供給する。また、画像データが動画像データである場合、画像データ取得部１０は、取り込んだ動画像データからキーフレームを検出し、このキーフレームのデータをフレーム画像データとして顔領域抽出部２０に供給する。
【００２０】
次に、ステップＳ２において、顔領域抽出部２０は、画像データ取得部１０から供給されるフレーム画像データを取り込み、この取り込んだフレーム画像データに対して顔検出処理を実行し、そのフレーム画像データから人物の顔領域を検出する。
【００２１】
次に、ステップＳ３において、顔領域抽出部２０は、検出した顔領域のデータをフレーム画像データから抽出し、その顔領域データを、所定サイズ（例えば、１２８画素×１２８画素）の画像データに正規化し、この正規化顔領域データを解析領域決定部３０に供給する。
【００２２】
次に、ステップＳ４において、解析領域決定部３０は、顔領域検出部２０から供給される正規化顔領域データを取り込み、この正規化顔領域データに基づき、顔画像特徴量を計算するための解析領域を決定する。具体的には、解析領域決定部３０は、例えば、正規化顔領域の中心位置を中心として設けられる、正規化顔領域に含まれる円（楕円または真円）領域を解析領域として決定する。
次に、解析領域決定部３０は、正規化顔領域の水平方向の直線で解析領域を二分し、その上部の領域を上部解析領域、下部の領域を下部解析領域として決定する。例えば、解析領域決定部３０は、正規化顔領域の水平方向であって且つその中心を通る直線で解析領域を二分し、その上部の領域を上部解析領域、下部の領域を下部解析領域として決定する。
【００２３】
次に、ステップＳ５において、顔画像特徴量計算部４０は、解析領域抽出部３０が決定した正規化顔領域における上部解析領域および下部解析領域それぞれについて、特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算する。
次に、顔画像特徴量計算部４０は、それぞれ計算した二つのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して解析領域全体としてのＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを生成し、顔画像特徴量として出力する。
【００２４】
以上、説明したとおり、本発明の一実施形態である顔画像特徴量生成装置１を、画像データを取り込む画像データ取得部１０と、画像データに対して顔検出処理を実行し、画像データから顔領域を抽出する顔領域抽出部２０と、顔領域から、円形または楕円形の解析領域を上下（縦）方向に二分する上部解析領域および下部解析領域を決定する解析領域決定部３０と、上部解析領域および下部解析領域それぞれについて特徴量であるＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを計算し、これら計算したＢａｇ−ｏｆ−Ｋｅｙｐｏｉｎｔｓを連結して顔画像特徴量を生成する顔画像特徴量計算部４０とを備えるように構成した。
【００２５】
このように構成したことにより、本実施形態である顔画像特徴量生成装置１は、顔領域から、人物の顔認識や顔表情認識にとって重要度が低い髪の毛や、イヤリング等の情報を除外するため、高精度な顔画像特徴量を生成することができる。また、顔画像特徴量生成装置１は、解析領域を上部解析領域と下部解析領域とに区分することによって、例えば、上部解析領域に顔の両眉毛や両目を含ませ、下部解析領域に鼻頭や口を含ませることができる。これにより、顔画像特徴量生成装置１が生成する顔画像特徴量には、位置情報が対応付けされることとなる。よって、顔画像特徴量生成装置１によれば、光の影響にロバストな顔認識処理や顔表情認識処理を可能にすることができる。
したがって、本実施形態によれば、顔画像特徴量生成装置１は、光の影響にロバストであって且つ高精度に顔画像特徴量を生成することができる。
【００２６】
なお、上述した実施形態である顔画像特徴量生成装置１の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための顔画像特徴量生成プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された顔画像特徴量生成プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の顔画像特徴量生成プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
【００２７】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００２８】
１ 顔画像特徴量生成装置
１０ 画像データ取得部
２０ 顔領域抽出部
３０ 解析領域決定部
４０ 顔画像特徴量計算部
【特許請求の範囲】
【請求項１】
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、
前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、
を備えることを特徴とする顔画像特徴量生成装置。
【請求項２】
前記顔領域抽出部は、顔を含む矩形の顔領域を前記画像データから抽出し、
前記解析領域決定部は、前記顔領域に内接する円形または楕円形よりも小さな円形または楕円形の前記解析領域を縦方向に二分して前記第１の領域および第２の領域を決定する
ことを特徴とする請求項１記載の顔画像特徴量生成装置。
【請求項３】
前記顔領域抽出部は、前記矩形の顔領域を所定サイズの顔領域に正規化する
ことを特徴とする請求項２記載の顔画像特徴量生成装置。
【請求項４】
コンピュータを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、
前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、
として機能させるための顔画像特徴量生成プログラム
【請求項１】
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、
前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、
を備えることを特徴とする顔画像特徴量生成装置。
【請求項２】
前記顔領域抽出部は、顔を含む矩形の顔領域を前記画像データから抽出し、
前記解析領域決定部は、前記顔領域に内接する円形または楕円形よりも小さな円形または楕円形の前記解析領域を縦方向に二分して前記第１の領域および第２の領域を決定する
ことを特徴とする請求項１記載の顔画像特徴量生成装置。
【請求項３】
前記顔領域抽出部は、前記矩形の顔領域を所定サイズの顔領域に正規化する
ことを特徴とする請求項２記載の顔画像特徴量生成装置。
【請求項４】
コンピュータを、
画像データを取り込む画像データ取得部と、
前記画像データ取得部が取り込んだ前記画像データに対して顔検出処理を実行し、前記画像データから顔領域を抽出する顔領域抽出部と、
前記顔領域抽出部が抽出した前記顔領域から、円形または楕円形の解析領域を二分する第１の領域および第２の領域を決定する解析領域決定部と、
前記解析領域決定部が決定した前記第１の領域および前記第２の領域それぞれについて特徴量を計算し、これら計算した特徴量を連結して顔画像特徴量を生成する顔画像特徴量計算部と、
として機能させるための顔画像特徴量生成プログラム
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−４１４９３（Ｐ２０１３−４１４９３Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８８２９（Ｐ２０１１−１７８８２９）
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１８日（２０１１．８．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]