画像分類装置
【課題】数千枚、数万枚オーダーで蓄積されている画像を整理することは容易ではなかった。それを解決するために顔認識を用いて、人物を特定することで人物での整理を自動で行うことができるが、照合枚数が増えると比較枚数が増大する問題があった。
【解決手段】本発明は、顔の特徴量を用いて人物照合を行い、写真分類をする機能において、人物登録時に表情を検出し、表情の分類によって特徴量を整理し、整理後の分類時に分類したい人物の顔の表情を検出することで、同じ表情分類に属する特徴量のみを比較することで、比較回数を削減した比較を行う。
【解決手段】本発明は、顔の特徴量を用いて人物照合を行い、写真分類をする機能において、人物登録時に表情を検出し、表情の分類によって特徴量を整理し、整理後の分類時に分類したい人物の顔の表情を検出することで、同じ表情分類に属する特徴量のみを比較することで、比較回数を削減した比較を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物が撮影された多数の画像を容易に整理することが可能な画像分類装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影した写真や、ムービーカメラで撮影した動画などには撮影者もしくは被写体となった人物に重要な思い出やイベントが映し出されている。
【０００３】
特許文献１には、デジタル写真を顔認識を用いて整理する装置について開示されている。記録媒体に保存されたデジタル画像を読み込み、顔の領域を切り出し、顔認識技術を用いて、複数のデジタル画像上の顔との類似性をみて人物を判断することで、人物での写真整理を行うというものである。これを実現するための機器の構成、ユーザインターフェイスとなる画面、顔画像の整理例が示されている。
【０００４】
特許文献２には、顔認識技術を用いて特定の人物を画像内から探しだす場合、当人かを判断したい人物の顔写真を複数毎使用することで認識精度を向上させる方式について記載されている。
【０００５】
特許文献３には、デジタルカメラにおいて人物を撮影する場合に、被写体の笑顔を検出して、撮影したい被写体を自在に選択することができる仕組みについて開示されている。デジタルカメラで撮影時に、被写体となる人物の表情を認識し、適切な撮影タイミングを自動的に判断することができる。人物の表情は笑顔とすることで、笑顔になった瞬間を撮影タイミングとして撮影することで、笑った顔の写真が撮影できるというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１７４３０８号公報
【特許文献２】特開２００３−２７１９５８号公報
【特許文献３】特開２００８−３１１８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
デジタルの画像データを整理する場合、パソコンなどのキーボードやファイル管理機能のある機器において利用者が一枚一枚の写真を選別しつつ整理するには手間がかかるため整理すること自体が大きな課題であった。また高度な熟練を必要とするパソコンを使用できない人にとってはただデータを溜め込むだけになっていた。そこで複雑な入力を必要とせずにデジタル画像を簡単に整理する方法が特許文献１に記載されている。
【０００８】
特許文献１では、所有している写真全部の顔を認識し整理する方法が記載されているが、写真枚数が増えるほど写真内の人物は増えるため、必ずしも全員を比較し取得する必要はない。集合写真で一緒に写った人物や、観光地で撮影した写真にたまたま写りこんでしまった人物などの整理は多くの場合不要である。そのために家族や友人など整理したい人物を限定する場合がある。その場合には、整理すべき人物の顔写真を手動により指定、もしくは候補から選ぶことでその人物のみを探すことが可能となる。
【０００９】
この時に、より精度よく認識を行うために、同一の人物に対して複数毎の顔画像を用意することで精度を上げる方法について特許文献２に記載されている。登録すべき顔画像はそれぞれ別々の画像である。これらの画像は、人物を知る人の手を解して登録されるため、誤った人物である可能性はないという仮定に基づいた認識精度向上方法である。
【００１０】
しかし、人間の表情は喜怒哀楽を表現できるものであり、同一人物であっても様々に変化する。登録画像を数学的手法において平均化したとしても、比較時には誤差を含んでしまう。また登録する表情に偏りがある場合、他人であっても同じ笑った顔であれば類似してしまうため認識が誤る問題があった。そこでより多くの顔画像を同一人物として登録することで精度を向上させる手法。また認識したい人物意外の人物であることを登録することで、どちらにより似ているか相対的な比較を行う手法をとることで精度の向上を行っている。
【００１１】
しかしこれらの手法にも欠点がある。同一人物に対してより多くの顔画像を用意する、また対象外の人物も含めて比較するということはそれだけ比較回数が増えることに直結するため、比較時間がより多くかかってしまうという欠点があった。より高性能なハードウェアスペックを用意することで時間短縮を図る方法もあるが、組み込み機器のようにスペックが限定されざる終えない機器では限界があると共に、消費電力も増えるため携帯機器ではバッテリー消耗にも直結してしまっていた。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、顔を比較する際に表情を取り入れることで比較対象を制限し、より少ない回数での照合を実現する仕組みを持つようにする。
【発明の効果】
【００１３】
本発明を利用することで、膨大な顔情報がデータベースに登録されているような場合であっても、効率的に顔照合を行えるため、照合に要する時間を削減でき、また同じ時間ではより多くの写真分類を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の画像分類装置１００の構成を示すブロック図
【図２】実施の形態の顔登録時に使用する画像分類装置１００を示すブロック図
【図３】実施の形態の顔登録時の画像分類装置１００の制御フローチャート
【図４】実施の形態の顔分類ＤＢ１０５の記録構造を示す図
【図５】実施の形態の画像分類時に使用する画像分類装置１００を示すブロック図
【図６】実施の形態の画像分類時の画像分類装置１００の制御フローチャート
【発明を実施するための形態】
【００１５】
以下に、本発明を実施するための最良の形態について、図面を参照して説明する。
【００１６】
＜図１の説明：写真分類装置１００の構成＞
本実施の形態の写真分類装置１００を図１に示す。図１は、顔照合を用いて見つけ出したい人物の顔を記録すると共に、その人物が写っているかもしれない写真、あるいは、写っていないかもしれない写真、を与えると、写っているか否かを判断する機能を有する写真分類装置１００である。写真分類装置１００は、画像入力部１０１、顔検出部１０２、表情検出部１０３、顔特徴抽出部１０４、顔特徴ＤＢ１０５（ＤＢ：データベースの略）、顔認識部１０６、結果判定部１０７、画像分類部１０８、分類別保存ＤＢ１０９から成り立っている。
【００１７】
外部からの画像データは、画像入力部１０１で写真分類装置１００内にとりこまれる。画像入力部１０１は、取り込んだ画像データを顔検出部１０２に送る。顔検検出部１０２は、画像データから顔画像を抜き出す。抜き出された顔画像は表情検出部１０３と、顔特徴量検出部１０４と、に送られる。表情検出部１０３は顔画像から表情情報を作成する。表情情報は、顔特徴量検出部１０４が検出した顔特徴量情報とともに顔特徴ＤＢ１０５に記録される。ま顔表情情報はすでに顔特徴ＤＢに記録された表情情報と顔認識部１０６で照合され、照合結果が結果判定部１０７において同一人物の確定が行われる。同一人物の確定が行われた後、画像分類部１０８において人物別に分類されて、分類別保存ＤＢ１０９に保存される。
【００１８】
＜図２の説明：写真分類装置１００の登録動作＞
写真分類装置１００は、見つけ出したい人物の顔情報を登録する場合と、登録した顔情報を使って人物を照合する場合で大きく動作が異なる。図２に、写真分類装置１００が、見つけ出したい人物の顔情報を登録する場合の構成を示す。図２の写真分類装置１００は、画像入力部１０１、顔検出部１０２、表情検出部１０３、顔特徴量抽出部１０４、顔特徴ＤＢ１０５が動作している。図１にある顔認識部１０６、結果判定部１０７、画像分類部１０８、分類別保存ＤＢ１０９は使用していないため記載されていないだけで、物理的に写真分類装置１００からなくなったわけではない。
【００１９】
＜図３の説明：図２の処理フロー＞
図２の状態の写真分類装置１００で、見つけ出したい人物の顔情報を登録する手順を図３に示す。まずユーザに登録したい人物の写ったデジタル画像を、画像入力部１０１から入力する（ステップ３０１）。画像入力部１０１は、フラッシュメモリーカードや磁気記録型の装置やディスクから内部に記録された画像を読み取るような構造であってもよい。なお、光学式のスキャナ機能を持ち印刷物や写真フイルムから読みとる構造を持ちデジタル画像データを作成する機能を有していてもよい。または、カメラレンズと光学素子を持ち、実空間の映像を撮影し、デジタル画像データ化するようデジタルカメラの機能を有していてもよい。なお、入力されるデジタル画像データの記録フォーマットについても限定しない。
【００２０】
画像入力部１０１において入力されたデジタル画像データは、顔検出部１０２においてデジタル画像データ内に人物が映っているか、映っているのであれば位置と大きさを計測される（ステップ３０２）。なお顔の検出方法としてＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の手法が広く知られていると共に、実際に使用されている。なお、入力されたデジタル画像データ内に複数の人物が検出された場合、どの人物を登録するかを利用者に選択する機能を有してもよい。また、複数人をそのまま登録してもよい、その場合は以降の処理を各人物に対して繰り返し実施する。
【００２１】
人物が検出されなかった場合、人物の登録はできないため処理を修正する（ステップ３０３）。
【００２２】
検出された場合には、顔検出部１０２で検出された顔領域に対して表情検出部１０３で表情を検出する（ステップ３０４）。表情を人間が目で見て理解する場合、笑っている、怒っているなどと分類するが表情検出部１０３においても同じように検出することが可能である。具体的な表情の抽出に関しては、先の顔検検出方法のＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出方法を用いて、モデル化された表情への類似性を得点化し判定して、どの表情により近いかを判断基準とする。
【００２３】
この時の表情の類似性を、本実施の形態では説明上、得点を用いて０〜１００点の整数値の判定を行っているとするが、他の得点範囲の利用（０〜１０００点など）、マイナス点の利用、実数の利用、上限下限を設けない方法など、得点のつけ方を限定するものではない。さらに本実施の形態では、より理解を用意とするため、表情は無表情と笑顔を判断するものとするが、怒りや悲しみなど区分する表情を限定するものではない。さらに０〜１００点の得点のうち０点を無表情とし、１００点を最高の笑顔とし、中間点は表情を正規化した値を表すものとする。
【００２４】
特許文献１のように笑顔を検出した場合に動作を決定する機器の場合、この得点が一定値を超えた場合、例えば８０点を超えたら笑顔であると判断する、といったように閾値を設けることで、「無表情と笑顔」の２値とすることで動作判断を実現しているが、本実施の形態では任意の数に分類してよい。例えば、０〜２０点を表情１、２０〜４０点を表情２、４０〜６０点を表情３、６０〜８０点を表情４、８０点〜１００点を表情５とする。そして表情１から５の順で、無表情から笑顔まで５段階で表現するものとするものである。本実施例では、表情検出部では５段階での判定を用いるものとする。しかし６段階や１００段階など他の段階に分ける場合について限定するものではない。
【００２５】
顔検出部１０２で検出された顔に対し、顔特徴抽出部１０４において顔特徴を抽出する（ステップ３０５）。抽出する顔特徴は、後記述する個人識別を行うために使用するもので、先の顔検出に使用されたＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式があり、採用している方式に応じた特徴を数値化したものである。
【００２６】
表情検出部１０３で検出された表情の段階と、顔特徴抽出部１０４で抽出された顔特徴は、顔特徴ＤＢに１０５に記録される（ステップ３０６）。抽出された顔特徴が誰のものであるかについては、ユーザからの入力によって人物として記録される。これにより見つけ出したい人物の顔情報を登録する場合の処理を終了する。
【００２７】
<図４の説明：顔特徴ＤＢ１０５の記録構造>
図４には、図３のステップ３０６で、表情検出部１０３において検出された表情の段階と、顔特徴抽出部１０４において抽出された顔特徴を顔特徴ＤＢ１０５に記録する構造について記載する。顔特徴ＤＢ１０５では、人物別に表情レベルによる区分けを行うようにしている。これにより各人物の表情に応じた顔特徴量を記録することが可能となる。特徴を登録するときに、すでに同一人物の同じ表情が登録されていた場合、複数の特徴を登録できるようにしてもよいし、既に登録された特徴量と平均化してもよい。
【００２８】
＜図５の説明：写真分類装置１００の照合動作＞
図５に、写真分類装置１００が登録された顔情報を使用して人物を照合する場合の構成をしめす。照合時は図１で記載したすべてのブロックを使用する。
【００２９】
＜図６の説明：図５の処理フロー＞
図５の状態の写真分類装置１００で、見つけ出したい人物の顔情報を照合する手順を図６に示す。まずユーザに分類したい人物の写ったデジタル画像を、画像入力部１０１から入力する（ステップ６０１）。画像入力部１０１は、フラッシュメモリーカードや磁気記録型の装置やディスクから内部に記録された画像を読み取るような構造であってもよい。なお、光学式のスキャナ機能を持ち印刷物や写真フイルムから読みとる構造を持ちデジタル画像データを作成する機能を有していてもよい。または、カメラレンズと光学素子を持ち、実空間の映像を撮影し、デジタル画像データ化するようデジタルカメラの機能を有していてもよい。なお、入力されるデジタル画像データの記録フォーマットについても限定しない。
【００３０】
画像入力部１０１において入力されたデジタル画像データは、顔検出部１０２においてデジタル画像データ内に人物が映っているか、映っているのであれば位置と大きさを計測される（ステップ６０２）。なお顔の検出方法としてＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の手法が広く知られていると共に、実際に使用されている。本実施の形態において検出方法について限定するものではない。なお、入力されたデジタル画像データ内に複数の人物が検出された場合、どの人物で整理するかを利用者に選択する機能を有してもよい。また、複数人をそのまま整理してもよい、その場合は以降の処理を各人物に対して繰り返し実施する。
【００３１】
人物が検出されなかった場合、人物の登録はできないため処理を修正する（ステップ６０３）。
【００３２】
検出された場合には、顔検出部１０２で検出された顔領域に対して表情検出部１０３で表情を検出する（ステップ６０４）。この時の表情検出方法については、図３のステップ３０４と同じ方式、同じ基準を使用しなければならない。これは本発明が表情で分類することを特徴としているためで、分類結果がことなると正しい結果が出ないためである。
【００３３】
続いて、顔検出部１０２で検出された顔領域に対して顔特徴抽出部１０４において顔特徴を抽出する（ステップ６０５）。抽出する顔特徴は、後記述する個人識別を行うために使用するもので、先の顔検出に使用されたＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式があり、採用している方式に応じた特徴を数値化したものであるが、図３のステップ３０５と同じ方式、同じ基準で特徴量を検出しなければならない。
【００３４】
表情検出部１０３において検出された表情と同じ分類に属する表情を顔特徴ＤＢ１０５に登録された人物と照合を行い誰であるかを判断していく。本例では、図４の人物ＡからＢ、Ｃ、Ｄ・・と順に調べていくものとするが、どのような順番で調べても構わない。人物の顔特徴のうち、ステップ６０４の表情と同じ表情の顔特徴を顔特徴ＤＢ１０５から選択する（ステップ６０６）。もし仮に同じ表情が登録されていない場合には、近い表情の顔特徴を選択する。ステップ６０４で検出された表情が表情２であって、その人物の表情２が顔特徴ＤＢに登録されていない場合、表情１と表情３が近い表情となる。表情１と表情３のどちらかを選ぶには、ステップ６０４で表情２と判断した理由の２０〜４０点を用いて、よりどちらに近いかを判断する。
【００３５】
ステップ６０５で得た顔特徴と、ステップ６０６で顔特徴ＤＢ１０５から呼び出された顔特徴と、が同一人物のもであるのかを顔認識部１０６で比較する（ステップ６０７）。顔認識を用いた比較は、顔検出と同じくＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式がある。どのような方式を使ってもよい。
【００３６】
比較の結果（ステップ６０８）、結果判定部１０７で同一人物と判断できなかった場合には、ステップ６０６に戻り別の人物に対して確認する（ステップ６０９）。仮に顔特徴ＤＢ１０５に登録させた全人物に対して顔認識による比較で同一人物であることが確認できなかった場合には、登録されていない人物であるため整理することをあきらめて終了する。またこの時に、登録されていない新しい人物が見つかったとして、顔認証ＤＢ１０５に新規に登録してもよい。
【００３７】
ステップ６０８の比較の結果、同一人物であることが確認できた場合、顔特徴ＤＢ１０５にその人物の同じ表情の位置に顔特徴情報を追加する（ステップ６１０）。追加する位置にすでに顔特徴情報がある場合には、同じ人物、同じ位置に複数の顔特徴をもてるようにして複数登録してもよい。また既に登録されている顔特徴と平均化して記録してもよい。なおこのステップ６１０はオプションである。新たに顔特徴ＤＢ１０５を充実化せしめる必要がないと判断した場合には、追加作業を行う必要はない。
【００３８】
続いて、ステップ６０８で見つかった人物での写真整理を画像分類部１０８で行う（ステップ６１１）。ここではその人物について写真整理を行うが、整理する画像は、ステップ６０１で画像入力部１０１にて入力された画像データである。ここでは人物による整理のみを記載しているが、画像データが撮影された日や場所など他の情報を追加して整理してもよい。これらの情報は画像データ内の撮影情報フィールドに記載された情報を用いてもよいし、ユーザから入力を受け付けてもよい。
【００３９】
画像分類部１０８で分類された分類基準で、分類別保存ＤＢ１０９に部類結果を保存す（ステップ６１２）。この分類はユーザが画像データを表示(再生)したい場合に呼び出し用の情報として使用できる。つまりは人物を指定した画像データ呼び出しが可能となるため、ユーザにとっては写真が整理された状態と解釈することになる。
【００４０】
以上の手順により、個人の顔特徴を表情別に分類しておくことで、表情が似通った顔特徴量と比較することができるようになる。これは同一人物でも様々な表情を作り出す人間の顔がどの場合か分からず、さまざまな表情と比較するよりも短時間で比較が行えることになる。仮に、すべての表情の特徴情報が顔特徴ＤＢ１０５内に同数で存在し、各表情の特徴がまったく異なる特性であった場合、５段階にわけているため比較回数は１／５となる可能性がある。また明らかに表情が異なる場合には、同一人物であっても顔特徴は異なってくるため、別人物であると誤った判断をする可能性（誤検出率）も低く抑えることが可能となる。
【００４１】
本実施の形態での、表情別の顔特徴分類は、０〜１００点を基準得点として、２０点ずつ、等間隔で５段階に分類し説明した。これは図４のデータ構造説明にもそのまま記載されている。これは説明を理解しやすくするためのモデルである。実際に人物の顔を見ると笑っていないのに笑ったような顔の人や、笑っているのに笑っていないような人物もいる。またスナップ写真の場合には、微笑む程度に笑う場合が多く、等間隔で分類した場合には、写真の分散に偏りが出る可能性がある。分散に偏りがあると、比較回数の削減量が少なり多くの比較が必要となってしまう場合がある。例えば、同一人物の画像１００枚を登録し、基準得点を一定にし、２段階で分けた場合に１枚と９９枚に分かれたとすると、１枚のほうは比較回数から１回ですむが、もう一方は９９回比較が必要となり削減効果が薄い。また１枚となったほうも複数画像との比較ができていないため、誤った答えを出す可能性がある。そこで、分散に応じて境界となる得点を可変させる。分散は得点範囲で決定するのではなく、登録する顔特徴量の数を基準としてなるべく同数となるように境界を設けるとよい。またこの場合、人物によって境界となる得点が異なっていても構わない。ある人物は、低い方から２つ目の分類に属した顔特徴量と比較しているが、別の人物は３つ目の分類を使用していたとしても、比較結果に影響はない。
【００４２】
なお、本実施の形態では、写真分類装置として記載した。しかし本実施の形態に記載していない、デジタルカメラや携帯電話やＰＤＡやパソコンなどの他の電子機器に同様の機能を取り入れてもかまわない。また写真分類装置内の各ブロックを複数の機器に分割した搭載し、ネットワークなどの接続手段を用いて一体となった動作を行ってもよい。またデバイスやＬＳＩやソフトウェアで動作するモジュールとして提供してもかまわない。
【産業上の利用可能性】
【００４３】
本発明にかかる写真分類装置は、顔の特徴量を用いて人物照合を行い、写真分類をする機能において、人物登録時に表情を検出し、表情の分類によって特徴量を整理し、整理後の分類時に分類したい人物の顔の表情を検出することで、同じ表情分類に属する特徴量のみを比較することで、比較回数を削減でき、数千枚、数万枚という人間では用意に整理できない量のデジタル写真であったとしても、整理を可能とする仕組みを提供できる点で有用である。
【符号の説明】
【００４４】
１００ 写真分類装置
１０１ 画像入力部
１０２ 顔検出部
１０３ 表情検出部
１０４ 顔特徴抽出部
１０５ 顔特徴ＤＢ
１０６ 顔認識部
１０７ 結果判定部
１０８ 画像分類部
１０９ 分類別保存ＤＢ
【技術分野】
【０００１】
本発明は、人物が撮影された多数の画像を容易に整理することが可能な画像分類装置に関する。
【背景技術】
【０００２】
デジタルカメラで撮影した写真や、ムービーカメラで撮影した動画などには撮影者もしくは被写体となった人物に重要な思い出やイベントが映し出されている。
【０００３】
特許文献１には、デジタル写真を顔認識を用いて整理する装置について開示されている。記録媒体に保存されたデジタル画像を読み込み、顔の領域を切り出し、顔認識技術を用いて、複数のデジタル画像上の顔との類似性をみて人物を判断することで、人物での写真整理を行うというものである。これを実現するための機器の構成、ユーザインターフェイスとなる画面、顔画像の整理例が示されている。
【０００４】
特許文献２には、顔認識技術を用いて特定の人物を画像内から探しだす場合、当人かを判断したい人物の顔写真を複数毎使用することで認識精度を向上させる方式について記載されている。
【０００５】
特許文献３には、デジタルカメラにおいて人物を撮影する場合に、被写体の笑顔を検出して、撮影したい被写体を自在に選択することができる仕組みについて開示されている。デジタルカメラで撮影時に、被写体となる人物の表情を認識し、適切な撮影タイミングを自動的に判断することができる。人物の表情は笑顔とすることで、笑顔になった瞬間を撮影タイミングとして撮影することで、笑った顔の写真が撮影できるというものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１７４３０８号公報
【特許文献２】特開２００３−２７１９５８号公報
【特許文献３】特開２００８−３１１８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
デジタルの画像データを整理する場合、パソコンなどのキーボードやファイル管理機能のある機器において利用者が一枚一枚の写真を選別しつつ整理するには手間がかかるため整理すること自体が大きな課題であった。また高度な熟練を必要とするパソコンを使用できない人にとってはただデータを溜め込むだけになっていた。そこで複雑な入力を必要とせずにデジタル画像を簡単に整理する方法が特許文献１に記載されている。
【０００８】
特許文献１では、所有している写真全部の顔を認識し整理する方法が記載されているが、写真枚数が増えるほど写真内の人物は増えるため、必ずしも全員を比較し取得する必要はない。集合写真で一緒に写った人物や、観光地で撮影した写真にたまたま写りこんでしまった人物などの整理は多くの場合不要である。そのために家族や友人など整理したい人物を限定する場合がある。その場合には、整理すべき人物の顔写真を手動により指定、もしくは候補から選ぶことでその人物のみを探すことが可能となる。
【０００９】
この時に、より精度よく認識を行うために、同一の人物に対して複数毎の顔画像を用意することで精度を上げる方法について特許文献２に記載されている。登録すべき顔画像はそれぞれ別々の画像である。これらの画像は、人物を知る人の手を解して登録されるため、誤った人物である可能性はないという仮定に基づいた認識精度向上方法である。
【００１０】
しかし、人間の表情は喜怒哀楽を表現できるものであり、同一人物であっても様々に変化する。登録画像を数学的手法において平均化したとしても、比較時には誤差を含んでしまう。また登録する表情に偏りがある場合、他人であっても同じ笑った顔であれば類似してしまうため認識が誤る問題があった。そこでより多くの顔画像を同一人物として登録することで精度を向上させる手法。また認識したい人物意外の人物であることを登録することで、どちらにより似ているか相対的な比較を行う手法をとることで精度の向上を行っている。
【００１１】
しかしこれらの手法にも欠点がある。同一人物に対してより多くの顔画像を用意する、また対象外の人物も含めて比較するということはそれだけ比較回数が増えることに直結するため、比較時間がより多くかかってしまうという欠点があった。より高性能なハードウェアスペックを用意することで時間短縮を図る方法もあるが、組み込み機器のようにスペックが限定されざる終えない機器では限界があると共に、消費電力も増えるため携帯機器ではバッテリー消耗にも直結してしまっていた。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、顔を比較する際に表情を取り入れることで比較対象を制限し、より少ない回数での照合を実現する仕組みを持つようにする。
【発明の効果】
【００１３】
本発明を利用することで、膨大な顔情報がデータベースに登録されているような場合であっても、効率的に顔照合を行えるため、照合に要する時間を削減でき、また同じ時間ではより多くの写真分類を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の画像分類装置１００の構成を示すブロック図
【図２】実施の形態の顔登録時に使用する画像分類装置１００を示すブロック図
【図３】実施の形態の顔登録時の画像分類装置１００の制御フローチャート
【図４】実施の形態の顔分類ＤＢ１０５の記録構造を示す図
【図５】実施の形態の画像分類時に使用する画像分類装置１００を示すブロック図
【図６】実施の形態の画像分類時の画像分類装置１００の制御フローチャート
【発明を実施するための形態】
【００１５】
以下に、本発明を実施するための最良の形態について、図面を参照して説明する。
【００１６】
＜図１の説明：写真分類装置１００の構成＞
本実施の形態の写真分類装置１００を図１に示す。図１は、顔照合を用いて見つけ出したい人物の顔を記録すると共に、その人物が写っているかもしれない写真、あるいは、写っていないかもしれない写真、を与えると、写っているか否かを判断する機能を有する写真分類装置１００である。写真分類装置１００は、画像入力部１０１、顔検出部１０２、表情検出部１０３、顔特徴抽出部１０４、顔特徴ＤＢ１０５（ＤＢ：データベースの略）、顔認識部１０６、結果判定部１０７、画像分類部１０８、分類別保存ＤＢ１０９から成り立っている。
【００１７】
外部からの画像データは、画像入力部１０１で写真分類装置１００内にとりこまれる。画像入力部１０１は、取り込んだ画像データを顔検出部１０２に送る。顔検検出部１０２は、画像データから顔画像を抜き出す。抜き出された顔画像は表情検出部１０３と、顔特徴量検出部１０４と、に送られる。表情検出部１０３は顔画像から表情情報を作成する。表情情報は、顔特徴量検出部１０４が検出した顔特徴量情報とともに顔特徴ＤＢ１０５に記録される。ま顔表情情報はすでに顔特徴ＤＢに記録された表情情報と顔認識部１０６で照合され、照合結果が結果判定部１０７において同一人物の確定が行われる。同一人物の確定が行われた後、画像分類部１０８において人物別に分類されて、分類別保存ＤＢ１０９に保存される。
【００１８】
＜図２の説明：写真分類装置１００の登録動作＞
写真分類装置１００は、見つけ出したい人物の顔情報を登録する場合と、登録した顔情報を使って人物を照合する場合で大きく動作が異なる。図２に、写真分類装置１００が、見つけ出したい人物の顔情報を登録する場合の構成を示す。図２の写真分類装置１００は、画像入力部１０１、顔検出部１０２、表情検出部１０３、顔特徴量抽出部１０４、顔特徴ＤＢ１０５が動作している。図１にある顔認識部１０６、結果判定部１０７、画像分類部１０８、分類別保存ＤＢ１０９は使用していないため記載されていないだけで、物理的に写真分類装置１００からなくなったわけではない。
【００１９】
＜図３の説明：図２の処理フロー＞
図２の状態の写真分類装置１００で、見つけ出したい人物の顔情報を登録する手順を図３に示す。まずユーザに登録したい人物の写ったデジタル画像を、画像入力部１０１から入力する（ステップ３０１）。画像入力部１０１は、フラッシュメモリーカードや磁気記録型の装置やディスクから内部に記録された画像を読み取るような構造であってもよい。なお、光学式のスキャナ機能を持ち印刷物や写真フイルムから読みとる構造を持ちデジタル画像データを作成する機能を有していてもよい。または、カメラレンズと光学素子を持ち、実空間の映像を撮影し、デジタル画像データ化するようデジタルカメラの機能を有していてもよい。なお、入力されるデジタル画像データの記録フォーマットについても限定しない。
【００２０】
画像入力部１０１において入力されたデジタル画像データは、顔検出部１０２においてデジタル画像データ内に人物が映っているか、映っているのであれば位置と大きさを計測される（ステップ３０２）。なお顔の検出方法としてＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の手法が広く知られていると共に、実際に使用されている。なお、入力されたデジタル画像データ内に複数の人物が検出された場合、どの人物を登録するかを利用者に選択する機能を有してもよい。また、複数人をそのまま登録してもよい、その場合は以降の処理を各人物に対して繰り返し実施する。
【００２１】
人物が検出されなかった場合、人物の登録はできないため処理を修正する（ステップ３０３）。
【００２２】
検出された場合には、顔検出部１０２で検出された顔領域に対して表情検出部１０３で表情を検出する（ステップ３０４）。表情を人間が目で見て理解する場合、笑っている、怒っているなどと分類するが表情検出部１０３においても同じように検出することが可能である。具体的な表情の抽出に関しては、先の顔検検出方法のＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出方法を用いて、モデル化された表情への類似性を得点化し判定して、どの表情により近いかを判断基準とする。
【００２３】
この時の表情の類似性を、本実施の形態では説明上、得点を用いて０〜１００点の整数値の判定を行っているとするが、他の得点範囲の利用（０〜１０００点など）、マイナス点の利用、実数の利用、上限下限を設けない方法など、得点のつけ方を限定するものではない。さらに本実施の形態では、より理解を用意とするため、表情は無表情と笑顔を判断するものとするが、怒りや悲しみなど区分する表情を限定するものではない。さらに０〜１００点の得点のうち０点を無表情とし、１００点を最高の笑顔とし、中間点は表情を正規化した値を表すものとする。
【００２４】
特許文献１のように笑顔を検出した場合に動作を決定する機器の場合、この得点が一定値を超えた場合、例えば８０点を超えたら笑顔であると判断する、といったように閾値を設けることで、「無表情と笑顔」の２値とすることで動作判断を実現しているが、本実施の形態では任意の数に分類してよい。例えば、０〜２０点を表情１、２０〜４０点を表情２、４０〜６０点を表情３、６０〜８０点を表情４、８０点〜１００点を表情５とする。そして表情１から５の順で、無表情から笑顔まで５段階で表現するものとするものである。本実施例では、表情検出部では５段階での判定を用いるものとする。しかし６段階や１００段階など他の段階に分ける場合について限定するものではない。
【００２５】
顔検出部１０２で検出された顔に対し、顔特徴抽出部１０４において顔特徴を抽出する（ステップ３０５）。抽出する顔特徴は、後記述する個人識別を行うために使用するもので、先の顔検出に使用されたＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式があり、採用している方式に応じた特徴を数値化したものである。
【００２６】
表情検出部１０３で検出された表情の段階と、顔特徴抽出部１０４で抽出された顔特徴は、顔特徴ＤＢに１０５に記録される（ステップ３０６）。抽出された顔特徴が誰のものであるかについては、ユーザからの入力によって人物として記録される。これにより見つけ出したい人物の顔情報を登録する場合の処理を終了する。
【００２７】
<図４の説明：顔特徴ＤＢ１０５の記録構造>
図４には、図３のステップ３０６で、表情検出部１０３において検出された表情の段階と、顔特徴抽出部１０４において抽出された顔特徴を顔特徴ＤＢ１０５に記録する構造について記載する。顔特徴ＤＢ１０５では、人物別に表情レベルによる区分けを行うようにしている。これにより各人物の表情に応じた顔特徴量を記録することが可能となる。特徴を登録するときに、すでに同一人物の同じ表情が登録されていた場合、複数の特徴を登録できるようにしてもよいし、既に登録された特徴量と平均化してもよい。
【００２８】
＜図５の説明：写真分類装置１００の照合動作＞
図５に、写真分類装置１００が登録された顔情報を使用して人物を照合する場合の構成をしめす。照合時は図１で記載したすべてのブロックを使用する。
【００２９】
＜図６の説明：図５の処理フロー＞
図５の状態の写真分類装置１００で、見つけ出したい人物の顔情報を照合する手順を図６に示す。まずユーザに分類したい人物の写ったデジタル画像を、画像入力部１０１から入力する（ステップ６０１）。画像入力部１０１は、フラッシュメモリーカードや磁気記録型の装置やディスクから内部に記録された画像を読み取るような構造であってもよい。なお、光学式のスキャナ機能を持ち印刷物や写真フイルムから読みとる構造を持ちデジタル画像データを作成する機能を有していてもよい。または、カメラレンズと光学素子を持ち、実空間の映像を撮影し、デジタル画像データ化するようデジタルカメラの機能を有していてもよい。なお、入力されるデジタル画像データの記録フォーマットについても限定しない。
【００３０】
画像入力部１０１において入力されたデジタル画像データは、顔検出部１０２においてデジタル画像データ内に人物が映っているか、映っているのであれば位置と大きさを計測される（ステップ６０２）。なお顔の検出方法としてＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の手法が広く知られていると共に、実際に使用されている。本実施の形態において検出方法について限定するものではない。なお、入力されたデジタル画像データ内に複数の人物が検出された場合、どの人物で整理するかを利用者に選択する機能を有してもよい。また、複数人をそのまま整理してもよい、その場合は以降の処理を各人物に対して繰り返し実施する。
【００３１】
人物が検出されなかった場合、人物の登録はできないため処理を修正する（ステップ６０３）。
【００３２】
検出された場合には、顔検出部１０２で検出された顔領域に対して表情検出部１０３で表情を検出する（ステップ６０４）。この時の表情検出方法については、図３のステップ３０４と同じ方式、同じ基準を使用しなければならない。これは本発明が表情で分類することを特徴としているためで、分類結果がことなると正しい結果が出ないためである。
【００３３】
続いて、顔検出部１０２で検出された顔領域に対して顔特徴抽出部１０４において顔特徴を抽出する（ステップ６０５）。抽出する顔特徴は、後記述する個人識別を行うために使用するもので、先の顔検出に使用されたＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式があり、採用している方式に応じた特徴を数値化したものであるが、図３のステップ３０５と同じ方式、同じ基準で特徴量を検出しなければならない。
【００３４】
表情検出部１０３において検出された表情と同じ分類に属する表情を顔特徴ＤＢ１０５に登録された人物と照合を行い誰であるかを判断していく。本例では、図４の人物ＡからＢ、Ｃ、Ｄ・・と順に調べていくものとするが、どのような順番で調べても構わない。人物の顔特徴のうち、ステップ６０４の表情と同じ表情の顔特徴を顔特徴ＤＢ１０５から選択する（ステップ６０６）。もし仮に同じ表情が登録されていない場合には、近い表情の顔特徴を選択する。ステップ６０４で検出された表情が表情２であって、その人物の表情２が顔特徴ＤＢに登録されていない場合、表情１と表情３が近い表情となる。表情１と表情３のどちらかを選ぶには、ステップ６０４で表情２と判断した理由の２０〜４０点を用いて、よりどちらに近いかを判断する。
【００３５】
ステップ６０５で得た顔特徴と、ステップ６０６で顔特徴ＤＢ１０５から呼び出された顔特徴と、が同一人物のもであるのかを顔認識部１０６で比較する（ステップ６０７）。顔認識を用いた比較は、顔検出と同じくＡｄａＢｏｏｓｔ法やＨａａｒ型の特徴量検出法など多数の方式がある。どのような方式を使ってもよい。
【００３６】
比較の結果（ステップ６０８）、結果判定部１０７で同一人物と判断できなかった場合には、ステップ６０６に戻り別の人物に対して確認する（ステップ６０９）。仮に顔特徴ＤＢ１０５に登録させた全人物に対して顔認識による比較で同一人物であることが確認できなかった場合には、登録されていない人物であるため整理することをあきらめて終了する。またこの時に、登録されていない新しい人物が見つかったとして、顔認証ＤＢ１０５に新規に登録してもよい。
【００３７】
ステップ６０８の比較の結果、同一人物であることが確認できた場合、顔特徴ＤＢ１０５にその人物の同じ表情の位置に顔特徴情報を追加する（ステップ６１０）。追加する位置にすでに顔特徴情報がある場合には、同じ人物、同じ位置に複数の顔特徴をもてるようにして複数登録してもよい。また既に登録されている顔特徴と平均化して記録してもよい。なおこのステップ６１０はオプションである。新たに顔特徴ＤＢ１０５を充実化せしめる必要がないと判断した場合には、追加作業を行う必要はない。
【００３８】
続いて、ステップ６０８で見つかった人物での写真整理を画像分類部１０８で行う（ステップ６１１）。ここではその人物について写真整理を行うが、整理する画像は、ステップ６０１で画像入力部１０１にて入力された画像データである。ここでは人物による整理のみを記載しているが、画像データが撮影された日や場所など他の情報を追加して整理してもよい。これらの情報は画像データ内の撮影情報フィールドに記載された情報を用いてもよいし、ユーザから入力を受け付けてもよい。
【００３９】
画像分類部１０８で分類された分類基準で、分類別保存ＤＢ１０９に部類結果を保存す（ステップ６１２）。この分類はユーザが画像データを表示(再生)したい場合に呼び出し用の情報として使用できる。つまりは人物を指定した画像データ呼び出しが可能となるため、ユーザにとっては写真が整理された状態と解釈することになる。
【００４０】
以上の手順により、個人の顔特徴を表情別に分類しておくことで、表情が似通った顔特徴量と比較することができるようになる。これは同一人物でも様々な表情を作り出す人間の顔がどの場合か分からず、さまざまな表情と比較するよりも短時間で比較が行えることになる。仮に、すべての表情の特徴情報が顔特徴ＤＢ１０５内に同数で存在し、各表情の特徴がまったく異なる特性であった場合、５段階にわけているため比較回数は１／５となる可能性がある。また明らかに表情が異なる場合には、同一人物であっても顔特徴は異なってくるため、別人物であると誤った判断をする可能性（誤検出率）も低く抑えることが可能となる。
【００４１】
本実施の形態での、表情別の顔特徴分類は、０〜１００点を基準得点として、２０点ずつ、等間隔で５段階に分類し説明した。これは図４のデータ構造説明にもそのまま記載されている。これは説明を理解しやすくするためのモデルである。実際に人物の顔を見ると笑っていないのに笑ったような顔の人や、笑っているのに笑っていないような人物もいる。またスナップ写真の場合には、微笑む程度に笑う場合が多く、等間隔で分類した場合には、写真の分散に偏りが出る可能性がある。分散に偏りがあると、比較回数の削減量が少なり多くの比較が必要となってしまう場合がある。例えば、同一人物の画像１００枚を登録し、基準得点を一定にし、２段階で分けた場合に１枚と９９枚に分かれたとすると、１枚のほうは比較回数から１回ですむが、もう一方は９９回比較が必要となり削減効果が薄い。また１枚となったほうも複数画像との比較ができていないため、誤った答えを出す可能性がある。そこで、分散に応じて境界となる得点を可変させる。分散は得点範囲で決定するのではなく、登録する顔特徴量の数を基準としてなるべく同数となるように境界を設けるとよい。またこの場合、人物によって境界となる得点が異なっていても構わない。ある人物は、低い方から２つ目の分類に属した顔特徴量と比較しているが、別の人物は３つ目の分類を使用していたとしても、比較結果に影響はない。
【００４２】
なお、本実施の形態では、写真分類装置として記載した。しかし本実施の形態に記載していない、デジタルカメラや携帯電話やＰＤＡやパソコンなどの他の電子機器に同様の機能を取り入れてもかまわない。また写真分類装置内の各ブロックを複数の機器に分割した搭載し、ネットワークなどの接続手段を用いて一体となった動作を行ってもよい。またデバイスやＬＳＩやソフトウェアで動作するモジュールとして提供してもかまわない。
【産業上の利用可能性】
【００４３】
本発明にかかる写真分類装置は、顔の特徴量を用いて人物照合を行い、写真分類をする機能において、人物登録時に表情を検出し、表情の分類によって特徴量を整理し、整理後の分類時に分類したい人物の顔の表情を検出することで、同じ表情分類に属する特徴量のみを比較することで、比較回数を削減でき、数千枚、数万枚という人間では用意に整理できない量のデジタル写真であったとしても、整理を可能とする仕組みを提供できる点で有用である。
【符号の説明】
【００４４】
１００ 写真分類装置
１０１ 画像入力部
１０２ 顔検出部
１０３ 表情検出部
１０４ 顔特徴抽出部
１０５ 顔特徴ＤＢ
１０６ 顔認識部
１０７ 結果判定部
１０８ 画像分類部
１０９ 分類別保存ＤＢ
【特許請求の範囲】
【請求項１】
画像データを分類する画像分類装置であって、
予め登録された人物の複数の表情の特徴に関するデータを記録している顔特徴データベースと、
入力された画像データから人物の顔を抽出する顔検出部と、
前記抽出された顔の画像から人物の表情を識別する表情識別部と、
前記表情認識部が識別した表情に対応する前記顔特徴データベースの表情の特徴データと、前記顔検出部が検出した顔画像の特徴データと、を比較し、人物の一致性を判断する顔識別部と、
前記顔識別の判断に基づいて、前記入力された画像データを分類する画像分類部と、
を備える画像分類装置。
【請求項２】
前記顔識別部は、前記表情識別部によって分類された前記特徴データを使用して、同一表情を持つ前記特徴データを優先的に使用して人物の一致性を判断する、
請求項１に記載の画像分類装置。
【請求項３】
前記顔認識部は、前記表情識別部によって分類された前記特徴データベースを、人物別に表情の分散に基づいて可変させて分類したのちに、同一の表情の前記特徴データを用いて人物の一致性を判断する、請求項２に記載の画像分類装置。
【請求項１】
画像データを分類する画像分類装置であって、
予め登録された人物の複数の表情の特徴に関するデータを記録している顔特徴データベースと、
入力された画像データから人物の顔を抽出する顔検出部と、
前記抽出された顔の画像から人物の表情を識別する表情識別部と、
前記表情認識部が識別した表情に対応する前記顔特徴データベースの表情の特徴データと、前記顔検出部が検出した顔画像の特徴データと、を比較し、人物の一致性を判断する顔識別部と、
前記顔識別の判断に基づいて、前記入力された画像データを分類する画像分類部と、
を備える画像分類装置。
【請求項２】
前記顔識別部は、前記表情識別部によって分類された前記特徴データを使用して、同一表情を持つ前記特徴データを優先的に使用して人物の一致性を判断する、
請求項１に記載の画像分類装置。
【請求項３】
前記顔認識部は、前記表情識別部によって分類された前記特徴データベースを、人物別に表情の分散に基づいて可変させて分類したのちに、同一の表情の前記特徴データを用いて人物の一致性を判断する、請求項２に記載の画像分類装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−６４０８２（Ｐ２０１２−６４０８２Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０８９０４（Ｐ２０１０−２０８９０４）
【出願日】平成２２年９月１７日（２０１０．９．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１７日（２０１０．９．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]