オブジェクト識別装置、オブジェクト識別方法及びプログラム
【課題】オブジェクト識別の性能を低下させずに、処理負荷を低減できるようにする。
【解決手段】入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略する。
【解決手段】入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオブジェクト識別装置、オブジェクト識別方法及びプログラムに関し、特に、人物などの認証に用いて好適な技術に関する。
【背景技術】
【０００２】
入力されたデータを、予め登録済みのデータと比較することにより、入力されたデータに表現されるオブジェクトが、予め登録済みのどのカテゴリに属するかを識別する技術が多く提案されている。そのオブジェクトを識別する技術の具体例として、画像データを用いる人物認証がある。これは顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれる。
【０００３】
人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証を含むオブジェクト識別においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として名前やＩＤと併せて登録しておく必要がある。登録がなされると、識別を実際に運用できることになる。そして、識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている登録画像それぞれと識別し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクトなしとして出力する。オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することである。これに対して、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、画像から顔を検出する）ものである。
【０００４】
人物認証の適用例として、例えば建物への入退場を管理するセキュリティ用途の人物認証がある。その一方で、デジタルカメラなど一般消費者向けの小型機器に人物認証が搭載されている。持ち主の家族や友人を登録することで、その人物がファインダーに入って認識されていることが背面のディスプレイにリアルタイムで表示されることや、その撮影したことが自動的にタグ付けされ、後日の検索が容易になるなどのメリットが期待されている。
【０００５】
顔画像から人物を認証する技術的な方法として、顔画像そのものの画素を特徴として、それら同士を直接比較する方法が考えられる。しかしこの方法では、顔の向きや表情の変化の影響を受けやすく実用的ではない。そこで近年、顔画像の上に無数の小さな局所領域を設け、それらから画像の一部を切り出してそれぞれの中で比較するする方法が主流となっている。例えば非特許文献１には、顔の上に数千個の局所領域を互いに重複を許して配置して人物を認識する方法である。局所領域それぞれは顔に対して小さく、単体では人物を識別できないが、局所領域が多数集まることによって十分に識別することができる。また、顔の向きや表情の変化の影響を受けるのは変化した部分に対応する局所領域のみであるので、識別能力に大きな影響が及ばないことも利点となっている。しかしながら、これらの方法は顔画像そのものを比較する方法に比べ局所領域の数だけ比較を行う必要があるため、処理の負荷や所要時間が大きくなる。
【０００６】
デジタルカメラなど小型機器に人物認証などのオブジェクト識別技術を組み込む場合、計算能力の問題と電源の問題とがある。デジタルカメラなどの小型機器は人物認証だけを行うわけではなく、撮像などの処理も同時に行う必要がある。そのため、その際に人物認証だけで多くの電力を消費してしまう可能性がある。また、小型機器は典型的にはバッテリー駆動であり、負荷の高い計算で稼働時間を短くすることも望ましくない。
【０００７】
この課題に対して、特許文献１や特許文献２には、時系列でリアルタイムに入力されてくる一連の入力画像列を処理する際に、一定の条件に基づいていくつかの入力画像の処理を省略する技術が開示されている。具体的には、特許文献１に記載されている技術は、一定間隔でのみ処理を行いその間の結果は線形補完で推測するものである。また、特許文献２に記載されている技術は、対象が検出された位置に大きな変化が無ければ直前の結果を継承するものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３０１８５５号公報
【特許文献２】特開２００９−４８４８９号公報
【特許文献３】特許第３０７８１６６号公報
【非特許文献】
【０００９】
【非特許文献１】J. Wright, G. Hua : Implicit Elastic Matching with Random Projections for Pose-Variant Face Recognition , 2009
【非特許文献２】A Robust Elastic and Partial Matching Metric for Face Recognition":Gang Hua, Amir Akbarzadeh, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１及び２に記載されている技術のように、処理の一部を省略すると、性能が低下する恐れがある。例えば、処理を省略して停止している間に、対象に大きな変化があった場合、線形補完や直前の結果の継承では対応しきれない場合がある。
【００１１】
本発明は前述の問題点に鑑み、オブジェクト識別の性能を低下させずに、処理負荷を低減できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明のオブジェクト識別装置は、入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とする。
【発明の効果】
【００１３】
本発明によれば、オブジェクト識別の性能を低下させず、処理の負荷を低減させることができる。また負荷が減ることで、同時に電源の問題も改善できる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係るオブジェクト識別装置の構成例を示すブロック図である。
【図２】顔画像を識別する処理手順の一例を示すフローチャートである。
【図３】図２のＳ１１０４におけるカテゴリ判定処理の詳細な処理手順の一例を示すフローチャートである。
【図４】画像識別部の詳細な構成例を示すブロック図である。
【図５】等間隔に格子状の一部領域を並んでいる局所特徴の一例を示す図である。
【図６】顔画像上に設定された局所特徴の例、及び時刻Ｔ１からＴ５までで各局所特徴で算出された類似度と、類似度省略処理との例を示す図である。
【図７】局所特徴を近似処理により代用した例を示す図である。
【図８】顔に対して目の中心位置と口の中心位置とに局所特徴を抽出する領域を設定する例を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳細に説明する。本実施形態では、オブジェクトとして人の顔を、カテゴリとして人物の違いを画像から識別する顔認証を行い、動画像を撮影して入力データとして処理する機器を例に説明する。なお、本発明の用途は人物認証に限ったものではなく、例えばオブジェクトとして自動車を対象として、カテゴリとして車種（自動車の型番など）を識別する場合などにも適用できる。
【００１６】
＜全体の構成＞
図１は、本実施形態に係るオブジェクト識別装置１０００の構成例を示すブロック図である。
図１に示すように、画像を入力する画像入力部１１００、画像を識別する画像識別部１２００、登録画像を保持する登録画像記録部１３００、及びオブジェクトの識別結果および属性判定結果を出力する外部出力部１４００を備えている。これらの各部は、各構成要素の制御・データ接続を行うための接続バス１５００により接続されている。
【００１７】
画像入力部１１００はデータ取得手段として機能し、識別すべき画像データを供給する装置であり、光学レンズと映像センサとを備えた撮像装置でもよく、画像データが保持され読み出し可能な半導体メモリでもよい。画像入力部１１００からは、時刻で連続して識別すべき画像データが供給される。画像識別部１２００は識別手段として機能し、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムにより実現される構成であってもよい。画像識別部１２００の詳細な構成に関しては、後述する。
【００１８】
登録画像記録部１３００は、画像入力部１１００より登録画像として入力された画像データを記録・保持する。例えば、繰り返し書き換え可能な半導体メモリである。画像データを数十枚もしくはそれ以上を保持するために十分な大容量を持つことが望ましいが、画像識別部１２００で使用する情報のみ保持しておいてもよい。
【００１９】
外部出力部１４００は、画像識別部１２００の出力、つまり入力画像に対応するカテゴリを適切な形で外部に出力する。外部出力部１４００は典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１１００から取得した画像データを表示する。または、画像データに画像識別部１２００の出力を重畳表示する。また、それらの結果を電子データとして外部の記憶媒体などに出力したり、紙媒体に印刷したりしてもよい。なお、出力の手段は上に挙げた限りではなく、さらに複数の手段を同時に行使してもよい。接続バス１５００は、前記構成要素間の制御・データの接続を行うためのバスである。
【００２０】
＜識別フロー＞
図２は、本実施形態におけるオブジェクト識別装置１０００が、顔画像を識別する処理手順の一例を示すフローチャートである。図２を参照しながら、このオブジェクト識別装置１０００が、顔画像を識別する処理について説明する。
まず、画像入力部１１００は、撮像された画像を取得する（Ｓ１１０１）。続いて、画像識別部１２００は、取得した画像データに対して、顔検出処理を行う（Ｓ１１０２）。そして、画像中に顔が存在するか否かを判定する（Ｓ１１０３）。そして、顔が存在する場合は、検出された顔画像を入力画像として、顔のカテゴリすなわち人物を判定する処理を行う（Ｓ１１０４）。一方、画像中に顔が存在しない場合は、Ｓ１１０１に戻、次の時刻の撮像画像を取得する。
【００２１】
Ｓ１１０４のカテゴリ判定処理の詳細については後述するが、カテゴリ判定処理では、登録画像それぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。それら類似度を比較して、最も類似度が高い登録画像を選び出す。その登録人物のカテゴリとして入力画像のカテゴリを判定する。
【００２２】
続いて、撮像画像中の全ての顔について処理を行ったか否かを判定する（Ｓ１１０５）。そして、まだ顔が残っている場合には、Ｓ１１０４に戻る。一方、全ての顔を処理した場合は、Ｓ１１０１に戻り、次の時刻の撮像画像を取得する。これら一連の処理はリアルタイムで実行され、外部出力部１４００にリアルタイムでカテゴリ判定結果を出力することもできる。一連の処理の終了は、機器を操作するユーザの意思で一時停止できるよう、操作を受け付けるようにしてもよい。
【００２３】
図３は、画像識別部１２００による図２のＳ１１０４におけるカテゴリ判定処理の詳細な処理手順の一例を示すフローチャートである。図３を参照しながら、オブジェクト識別装置１０００が入力画像のカテゴリを判定する処理について説明する。
まず入力データとして、顔検出された顔画像を入力する（Ｓ１２０１）。この入力画像は静止画であり、人物の顔が１つだけ捉えられていることが望ましい。続いて、登録データとして、オブジェクト識別装置１０００の登録画像記録部１３００に予め登録されている顔画像を１つ取得する（Ｓ１２０２）。顔画像をオブジェクト識別装置１０００に登録する方法の説明は省略するが、識別すべき人物の静止画の顔画像を撮影し、登録画像記録部１３００に保持しておく。
【００２４】
続いて、入力画像と登録画像を識別し、同一人物かどうかを表す類似度を得る（Ｓ１２０３）。この識別処理の詳細については後述する。記憶媒体に保持されている全ての登録画像と識別を行ったか否かを判定する（Ｓ１２０４）そして、全ての登録画像と識別を行っていない場合はＳ１２０２に戻る。
【００２５】
一方、全ての登録画像と識別を行った場合は、最も大きい類似度と予め定められた閾値とを比較し、カテゴリを最終的に判定する（Ｓ１２０５）。このとき、最も高い類似度が閾値以上であれば、入力画像のカテゴリを類似度に対応する登録画像が属するカテゴリと判定される。閾値以下であれば、入力画像が属するカテゴリは無いものとして判定される。この閾値は予め目的に応じて調整しておくことができる。閾値が低いと登録されている人物を認識できる可能性が高くなるが、登録されていない人物も登録されている人物いずれかと判定する可能性も高くなる。逆に閾値を高くすると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性が高くなる。
【００２６】
＜識別処理：概要＞
次に、Ｓ１２０３における画像識別部１２００による識別処理の詳細について説明する。図４は、画像識別部１２００の詳細な構成例を示すブロック図である。
図４において、画像識別部１２００は、局所特徴抽出部１２１０、類似度算出部１２２０、類似度記憶部１２３０、類似度統合部１２４０、及び識別制御部１２５０を備えている。
【００２７】
＜識別処理：局所特徴抽出処理＞
局所特徴抽出部１２１０は局所特徴抽出手段として機能し、入力画像と登録画像とから、カテゴリの同異を判定し、少なくとも１つの局所特徴を抽出する。局所特徴とは、図５に示すように、典型的には、顔画像の上に設定された画像の一部領域として、顔画像の上に数十個から数百個存在し、等間隔に格子状の一部領域を並んでいる。これらの領域は任意の形状でよく、重複しても、領域によって大きさが異なってもよい。例えば、非特許文献２には、公知の方法が例として挙げられる。
【００２８】
また、局所特徴は、１つの領域内の画素を一列に並べたベクトルとしてもよいし、領域内の画素のヒストグラムを局所特徴としてもよい。また、領域から局所特徴を抽出する前に顔画像そのものに前処理をかけておいてもよい。画像の輝度の変動を吸収するＤｏＧ（Difference of Gaussian）変換など公知の手法が例に挙げられる。あるいは、画素を一列に並べたベクトルを局所特徴とした場合には一般的に高次元となるため、次元圧縮処理をかけることも望ましい。具体的にはＰＣＡ（Principal Component Analysis）などを用いることにより、データの構造を保ったまま低次元の特徴に変換できる。
【００２９】
局所特徴を顔画像に設定する位置は、個人差を表す場所であり、なおかつ顔の向きや照明や表情の変化の影響を受けにくい場所であることが望ましい。この位置はユーザにより設定してもよいし、あるいはAbaboostなど公知の機械学習の手法を用いて定めてもよい。
【００３０】
局所特徴抽出部１２１０は、このような局所特徴を、登録画像と入力画像とから同じものを同じ数だけ取り出しておく。登録画像については、入力画像を取得するたびに同じ局所特徴を抽出することは冗長であるため、予め抽出済みの局所特徴を登録画像記録部１３００に保持しておいてもよい。
【００３１】
＜識別処理：類似度算出処理＞
類似度算出部１２２０は類似度算出手段として機能し、入力画像と登録画像とで対応する局所特徴それぞれについて類似度を算出する。局所特徴同士の類似度の求め方はいくつかあるが、そのうちの具体例を述べる。局所特徴がベクトルである場合は、ベクトル間のユークリッド距離を類似度としてもよいし、ベクトルが成す角度を類似度としてもよい。局所特徴がヒストグラムの場合には、ヒストグラム間の重なりを表すヒストグラムインターセクションとしてもよい。あるいはヒストグラム間の距離を求められる公知の手法であるＥＭＤ（Earth Mover's Distance）などを用いてもよい。同一人物の局所特徴間の類似度の分布と、別人物間の局所特徴間の類似度の分布とが大きく異なることがカテゴリを識別し得る類似度の条件であるため、類似度の尺度を問題に合わせて選ぶ。
【００３２】
＜識別処理：類似度統合処理＞
類似度統合部１２４０は、入力画像と登録画像との間で得られた局所特徴の類似度を統合して、１つの統合類似度とする。この類似度を最終的なカテゴリ判定に用いる。類似度の統合方法の具体例として単純に平均するものでもよい。または、局所特徴の類似度をベクトルとして、類似度ベクトルが同一人物間のものであるか別人物間のものであるか、機械学習による識別器（ＳＶＭ：Support Vector Machine）などで判定した結果を類似度としてもよい。
【００３３】
＜識別処理：類似度記憶処理＞
類似度記憶部１２３０は類似度記憶手段として機能し、登録画像と過去の時刻の入力画像との、局所特徴間の類似度を記憶する。直前の入力画像との類似度のみを記憶することも記憶媒体の容量の観点からはよいが、過去複数の時刻の類似度を記憶しておくことで、より精密に処理を省略した際の類似度を推定できる。類似度推定の詳しい方法は後述する。類似度記憶部１２３０は全ての局所特徴の類似度について記憶する必要はなく、後述する代表となる正の局所特徴の類似度のみを記憶してもよい。なお、類似度記憶部１２３０は、オブジェクト識別装置１０００に保持されている複数の登録画像それぞれについて、入力画像との局所特徴の類似度を保持する。
【００３４】
＜識別処理：識別制御処理＞
識別制御部１２５０は、登録画像と現在の入力画像との類似度と、登録画像と過去の入力画像との類似度とに基づいて、局所特徴の処理を省略する。その具体例を以下に記す。識別制御部１２５０は、少なくとも２つの局所特徴の組について、正の局所特徴、副の局所特徴という互いに関連する関係を設定する。局所特徴の正副の関係は、局所特徴を抽出する領域が顔画像の上でどの程度重なっているかにより定める。また、どの局所特徴が正の局所特徴であるかは、顔の中で変化が大きい目や口など、代表的な顔器官に対応する局所特徴に定めてもよい。局所特徴の正副の関係は２つ以上あってもよく、また１つの正副の関係の中でも、１つの正の局所特徴に対して２つ以上の副の局所特徴が関連付けられていてもよい。
【００３５】
類似度算出部１２２０は、全ての時刻の入力画像について、正の局所特徴の類似度を算出し、類似度記憶部１２３０に記憶させておく。識別制御部１２５０は、現在の入力画像と登録画像について得られた正の局所特徴の類似度と、過去の類似度とを比較する。このとき、ある正の局所特徴の現在の類似度と過去の類似度との差、すなわち、差異が小さい場合には、その正の局所特徴と大きい割合で重複する、副の局所特徴の類似度算出を類似度算出部１２２０に省略させる。省略を判断する材料として、直前の過去１つの類似度との差をとってもよいが、過去複数の類似度と比較して類似度の差の平均と分散を評価する方法でもよい。
【００３６】
局所特徴と処理の省略について図６に示す。図６（Ａ）は、顔画像上に設定された局所特徴の例を表している。局所特徴は一定の間隔をもって重複して配置されている。代表的な顔器官の１つである目に正の局所特徴が設定され、その近傍で正の局所特徴に重複するものが、副の局所特徴として設定されている。図６（Ｂ）は、時刻Ｔ１からＴ５までで各局所特徴で算出された類似度と、類似度省略処理との例を示している。時刻Ｔ３、Ｔ４で正の局所特徴で得られた類似度が過去直前の類似度と変化が少ないため、時刻Ｔ３、Ｔ４では副の局所特徴の類似度算出が省略される。時刻Ｔ５で正の局所特徴で得られた類似度は、過去直前の類似度と比べて大きく変化したため、副の局所特徴で類似度の算出を再開する。
【００３７】
なお、ここまでは、登録画像１つと入力画像との識別処理であり、その中で類似度算出を省略すると説明した。さらに、場合によっては副の局所特徴の局所特徴抽出でさえも省略することができる。具体的には以下のようにする。まず、入力画像及び全ての登録画像についてまず正の局所特徴のみで類似度を算出する。このとき、全ての登録画像についての類似度が過去の類似度と差が小さい場合、全ての登録画像について副の局所特徴で入力画像との類似度を算出する必要が無くなる。従って、副の局所特徴の類似度算出にさかのぼって、特徴抽出の処理も省略できる。
【００３８】
このような処理の省略を行う理由は以下のとおりである。正の局所特徴において、過去と現在とで登録画像と入力画像との類似度がほぼ同じである場合、過去の入力画像から取り出された正の局所特徴と現在の入力画像から取り出された正の局所特徴とでは似ているとみなせる。これは、類似度を求める片一方である登録画像の局所特徴は、過去現在にわたり不変である。その登録画像の局所特徴と類似度を求めた入力画像の局所特徴は、過去と現在の間で似た性質を持っていると推測できる。従って、正の局所特徴が過去と現在とで似ているのであれば、過去の入力画像と現在の入力画像との間には、正の局所特徴が抽出される領域付近では変化が少ない可能性があるとみなせる。例えば、口の場合は会話をしていない、目の場合は表情の変化が無いなどである。このように過去の入力画像と現在の入力画像とで変化が少ないとき、正の局所特徴に重なるほど近傍に位置する副の局所特徴も同様に過去と現在とでほぼ変化が少ないと仮定できる。従って、副の局所特徴で算出される類似度も過去とほぼ同じ値であると仮定できる。これが副の局所特徴で類似度の算出を省略する理由である。
【００３９】
現在の入力画像について副の局所特徴に対応する類似度が算出されない場合、正の局所特徴に対応する類似度のみで類似度統合部１２４０により類似度を統合してもよい。また、類似度記憶部１２３０に保持されている過去の類似度を用いて現在の入力画像での類似度を推定することもできる。具体的には、直前の時刻で得られた副の局所特徴の類似度を、現在の入力画像における副の局所特徴の類似度とする。こうすることで、現在の時刻においても全ての局所特徴で類似度を算出したように近似して代用できる。この近似処理の結果を図７に示す。
【００４０】
また、類似度記憶部１２３０が過去数個にわたる入力画像との類似度を保持している場合には、それら過去複数の類似度を用いてより正確に類似度を推定することができる。具体的には、過去の類似度が算出された時刻と現在までの経過時間とに基づいて、過去の類似度の中で重みつきの平均値をとる。
【００４１】
以上の類似度算出の省略及び近似による効果は以下のとおりである。類似度算出、あるいは局所特徴の抽出を省略することで、オブジェクト識別装置１０００の計算の負荷を減らすことができる。ただし全ての処理を省略するのではなく一部の処理を継続して行い、入力画像が変化したかどうか監視し続けることで、変化に追従した識別処理を行うことができる。つまり、計算負荷の低減と識別性能の維持とを両立することができる。
【００４２】
本実施形態では、入力画像の過去と現在との変化を検出する方法として、正の局所特徴での登録画像と入力画像との類似度を過去と現在とで比較し、変化を間接的に検出する方法を述べた。これは、入力画像の変化を検出すること自体の計算負荷を大きくしないためである。入力画像と登録画像との類似度は、人物の認識のために必ず求めるものであり、それを入力画像の変化を検出することにも利用することで、入力画像の変化を検出すること自体の負荷はほとんど発生しない。
【００４３】
一方、より正確に入力画像の過去と現在の変化、すなわち時間的な変化を検出する方法として、過去と現在との入力画像を直接比較してもよい。登録画像との類似度を経由して間接的に変化を検出するよりも、より高い精度で検出できる。この場合、過去の入力画像の正の局所特徴そのものを記憶しておく記憶部を設け、過去と現在との入力画像の正の局所特徴を類似度算出部１２２０で比較する。その類似度が予め定められた閾値以下であれば、過去と現在で入力画像に変化があったと検出できる。
【００４４】
（第２の実施形態）
第１の実施形態では、局所特徴の正副の関係として、オブジェクト識別装置の運用前に予め定められたものを用いた。それに対して本実施形態では、画像の状態に応じて識別時に動的に局所特徴の正副の関係が定まる例を述べる。なお、第１の実施形態と同じ部分の説明は省略し、異なる部分を中心に説明する。
【００４５】
＜識別処理：局所特徴抽出処理＞
局所特徴抽出部１２１０は、入力画像と登録画像とから、カテゴリの同異を判定しうる特徴として、少なくとも１つの局所特徴を抽出する。局所特徴は第１の実施形態と同様に顔画像の上に設定された画像の一部領域であるが、格子状に等間隔に並べるものではなく、顔の状態に応じて適応的に領域を配置する。具体的には領域を目や鼻などの顔器官の上に配置する。また顔の向きの変化や表情の変化に応じて適応的に領域を配置する。この例を図８に示す。
【００４６】
図８は、顔に対して目の中心位置と口の中心位置とに局所特徴を抽出する領域を設定する例であり、図８（Ａ）では正面向きの顔に対して、図８（Ｂ）では横向きの顔に対して、図８（Ｃ）では下向きの顔に対して、同様の方法で領域を設定することを示している。図８（Ｂ）及び図８（Ｃ）では、図８（Ａ）に対する目及び口の相対的な位置関係の変化に応じて領域の位置関係も変化している。また、領域の位置関係の変化に伴い、領域が互いに重複する割合も図８（Ａ）〜図８（Ｃ）の間で変化していることがわかる。
【００４７】
顔器官の位置に応じた領域を配置する方法として、顔の上に複数の特徴点を検出し、特徴点座標の相対的な位置関係に基づいて領域を配置する方法が挙げられる。顔画像の上に特徴点を検出する方法として、例えば特許文献３に記載されているように、畳みこみ神経回路網を用いた公知の手法などを用いればよい。
【００４８】
＜識別処理：識別制御処理＞
識別制御部１２５０は、登録画像と現在の入力画像との類似度と、登録画像と過去の入力画像との類似度とに基づいて、局所特徴の処理を省略する。第１の実施形態と同様に、局所特徴を抽出した領域が重なる割合に基づいて正副の関係を設定するが、本実施形態の局所特徴抽出処理では、図８に示したように、局所特徴が抽出される位置は入力画像の状態によって変わる。つまり、時系列の入力画像の中において、局所特徴を抽出した領域が互いに重なる割合は刻々と変化していくことになる。そこで、識別制御部１２５０は、局所特徴の正副の関係を識別の実行時に定める。
【００４９】
ただし、どの局所特徴が正の局所特徴となり得るかは、第１の実施形態と同様に予め定めておく。典型的には、変化が大きい目の中心や口などである。局所特徴の類似度算出の省略は第１の実施形態と同じ方法で行うが、本実施形態は以下のような可能性が考えられる。入力画像の時系列の変化によっては、局所特徴がある正の局所特徴の副であったが次の入力画像では別の正の局所特徴の副になる可能性がある。あるいは、副の局所特徴であったものが関係を解消され、関係を持たないようになる可能性がある。例えば、図８（Ｃ）から図８（Ａ）に顔の向きが変化した場合が例として挙げられる。この場合にはその局所特徴の処理の省略は中止し、類似度算出を再開するようにする。
【００５０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１１００ 画像入力部
１２００ 画像識別部
【技術分野】
【０００１】
本発明はオブジェクト識別装置、オブジェクト識別方法及びプログラムに関し、特に、人物などの認証に用いて好適な技術に関する。
【背景技術】
【０００２】
入力されたデータを、予め登録済みのデータと比較することにより、入力されたデータに表現されるオブジェクトが、予め登録済みのどのカテゴリに属するかを識別する技術が多く提案されている。そのオブジェクトを識別する技術の具体例として、画像データを用いる人物認証がある。これは顔や指紋など個人に固有の特徴を用いて人物の識別を行うものであり、それぞれ顔認証、指紋認証などと呼ばれる。
【０００３】
人物認証におけるカテゴリとは、個人を特定できる名前やＩＤである。人物認証を含むオブジェクト識別においては、識別を運用する前に予め識別したいオブジェクトの画像を登録画像として名前やＩＤと併せて登録しておく必要がある。登録がなされると、識別を実際に運用できることになる。そして、識別すべきオブジェクトの画像（以下、入力画像）が入力されると、予め登録されている登録画像それぞれと識別し、合致する登録画像がある場合には、その登録画像に対応する登録済みオブジェクトを識別結果として出力する。合致する登録画像がない場合には、該当オブジェクトなしとして出力する。オブジェクトのカテゴリを識別することとは、オブジェクトの個体の違い（例えば、人物の違い）を判断することである。これに対して、オブジェクトの検出とは、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、画像から顔を検出する）ものである。
【０００４】
人物認証の適用例として、例えば建物への入退場を管理するセキュリティ用途の人物認証がある。その一方で、デジタルカメラなど一般消費者向けの小型機器に人物認証が搭載されている。持ち主の家族や友人を登録することで、その人物がファインダーに入って認識されていることが背面のディスプレイにリアルタイムで表示されることや、その撮影したことが自動的にタグ付けされ、後日の検索が容易になるなどのメリットが期待されている。
【０００５】
顔画像から人物を認証する技術的な方法として、顔画像そのものの画素を特徴として、それら同士を直接比較する方法が考えられる。しかしこの方法では、顔の向きや表情の変化の影響を受けやすく実用的ではない。そこで近年、顔画像の上に無数の小さな局所領域を設け、それらから画像の一部を切り出してそれぞれの中で比較するする方法が主流となっている。例えば非特許文献１には、顔の上に数千個の局所領域を互いに重複を許して配置して人物を認識する方法である。局所領域それぞれは顔に対して小さく、単体では人物を識別できないが、局所領域が多数集まることによって十分に識別することができる。また、顔の向きや表情の変化の影響を受けるのは変化した部分に対応する局所領域のみであるので、識別能力に大きな影響が及ばないことも利点となっている。しかしながら、これらの方法は顔画像そのものを比較する方法に比べ局所領域の数だけ比較を行う必要があるため、処理の負荷や所要時間が大きくなる。
【０００６】
デジタルカメラなど小型機器に人物認証などのオブジェクト識別技術を組み込む場合、計算能力の問題と電源の問題とがある。デジタルカメラなどの小型機器は人物認証だけを行うわけではなく、撮像などの処理も同時に行う必要がある。そのため、その際に人物認証だけで多くの電力を消費してしまう可能性がある。また、小型機器は典型的にはバッテリー駆動であり、負荷の高い計算で稼働時間を短くすることも望ましくない。
【０００７】
この課題に対して、特許文献１や特許文献２には、時系列でリアルタイムに入力されてくる一連の入力画像列を処理する際に、一定の条件に基づいていくつかの入力画像の処理を省略する技術が開示されている。具体的には、特許文献１に記載されている技術は、一定間隔でのみ処理を行いその間の結果は線形補完で推測するものである。また、特許文献２に記載されている技術は、対象が検出された位置に大きな変化が無ければ直前の結果を継承するものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３０１８５５号公報
【特許文献２】特開２００９−４８４８９号公報
【特許文献３】特許第３０７８１６６号公報
【非特許文献】
【０００９】
【非特許文献１】J. Wright, G. Hua : Implicit Elastic Matching with Random Projections for Pose-Variant Face Recognition , 2009
【非特許文献２】A Robust Elastic and Partial Matching Metric for Face Recognition":Gang Hua, Amir Akbarzadeh, 2009
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１及び２に記載されている技術のように、処理の一部を省略すると、性能が低下する恐れがある。例えば、処理を省略して停止している間に、対象に大きな変化があった場合、線形補完や直前の結果の継承では対応しきれない場合がある。
【００１１】
本発明は前述の問題点に鑑み、オブジェクト識別の性能を低下させずに、処理負荷を低減できるようにすることを目的としている。
【課題を解決するための手段】
【００１２】
本発明のオブジェクト識別装置は、入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とする。
【発明の効果】
【００１３】
本発明によれば、オブジェクト識別の性能を低下させず、処理の負荷を低減させることができる。また負荷が減ることで、同時に電源の問題も改善できる。
【図面の簡単な説明】
【００１４】
【図１】実施形態に係るオブジェクト識別装置の構成例を示すブロック図である。
【図２】顔画像を識別する処理手順の一例を示すフローチャートである。
【図３】図２のＳ１１０４におけるカテゴリ判定処理の詳細な処理手順の一例を示すフローチャートである。
【図４】画像識別部の詳細な構成例を示すブロック図である。
【図５】等間隔に格子状の一部領域を並んでいる局所特徴の一例を示す図である。
【図６】顔画像上に設定された局所特徴の例、及び時刻Ｔ１からＴ５までで各局所特徴で算出された類似度と、類似度省略処理との例を示す図である。
【図７】局所特徴を近似処理により代用した例を示す図である。
【図８】顔に対して目の中心位置と口の中心位置とに局所特徴を抽出する領域を設定する例を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳細に説明する。本実施形態では、オブジェクトとして人の顔を、カテゴリとして人物の違いを画像から識別する顔認証を行い、動画像を撮影して入力データとして処理する機器を例に説明する。なお、本発明の用途は人物認証に限ったものではなく、例えばオブジェクトとして自動車を対象として、カテゴリとして車種（自動車の型番など）を識別する場合などにも適用できる。
【００１６】
＜全体の構成＞
図１は、本実施形態に係るオブジェクト識別装置１０００の構成例を示すブロック図である。
図１に示すように、画像を入力する画像入力部１１００、画像を識別する画像識別部１２００、登録画像を保持する登録画像記録部１３００、及びオブジェクトの識別結果および属性判定結果を出力する外部出力部１４００を備えている。これらの各部は、各構成要素の制御・データ接続を行うための接続バス１５００により接続されている。
【００１７】
画像入力部１１００はデータ取得手段として機能し、識別すべき画像データを供給する装置であり、光学レンズと映像センサとを備えた撮像装置でもよく、画像データが保持され読み出し可能な半導体メモリでもよい。画像入力部１１００からは、時刻で連続して識別すべき画像データが供給される。画像識別部１２００は識別手段として機能し、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムにより実現される構成であってもよい。画像識別部１２００の詳細な構成に関しては、後述する。
【００１８】
登録画像記録部１３００は、画像入力部１１００より登録画像として入力された画像データを記録・保持する。例えば、繰り返し書き換え可能な半導体メモリである。画像データを数十枚もしくはそれ以上を保持するために十分な大容量を持つことが望ましいが、画像識別部１２００で使用する情報のみ保持しておいてもよい。
【００１９】
外部出力部１４００は、画像識別部１２００の出力、つまり入力画像に対応するカテゴリを適切な形で外部に出力する。外部出力部１４００は典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、画像入力部１１００から取得した画像データを表示する。または、画像データに画像識別部１２００の出力を重畳表示する。また、それらの結果を電子データとして外部の記憶媒体などに出力したり、紙媒体に印刷したりしてもよい。なお、出力の手段は上に挙げた限りではなく、さらに複数の手段を同時に行使してもよい。接続バス１５００は、前記構成要素間の制御・データの接続を行うためのバスである。
【００２０】
＜識別フロー＞
図２は、本実施形態におけるオブジェクト識別装置１０００が、顔画像を識別する処理手順の一例を示すフローチャートである。図２を参照しながら、このオブジェクト識別装置１０００が、顔画像を識別する処理について説明する。
まず、画像入力部１１００は、撮像された画像を取得する（Ｓ１１０１）。続いて、画像識別部１２００は、取得した画像データに対して、顔検出処理を行う（Ｓ１１０２）。そして、画像中に顔が存在するか否かを判定する（Ｓ１１０３）。そして、顔が存在する場合は、検出された顔画像を入力画像として、顔のカテゴリすなわち人物を判定する処理を行う（Ｓ１１０４）。一方、画像中に顔が存在しない場合は、Ｓ１１０１に戻、次の時刻の撮像画像を取得する。
【００２１】
Ｓ１１０４のカテゴリ判定処理の詳細については後述するが、カテゴリ判定処理では、登録画像それぞれについて、入力画像とどれほど同一人物らしいかを表す類似度を算出する。それら類似度を比較して、最も類似度が高い登録画像を選び出す。その登録人物のカテゴリとして入力画像のカテゴリを判定する。
【００２２】
続いて、撮像画像中の全ての顔について処理を行ったか否かを判定する（Ｓ１１０５）。そして、まだ顔が残っている場合には、Ｓ１１０４に戻る。一方、全ての顔を処理した場合は、Ｓ１１０１に戻り、次の時刻の撮像画像を取得する。これら一連の処理はリアルタイムで実行され、外部出力部１４００にリアルタイムでカテゴリ判定結果を出力することもできる。一連の処理の終了は、機器を操作するユーザの意思で一時停止できるよう、操作を受け付けるようにしてもよい。
【００２３】
図３は、画像識別部１２００による図２のＳ１１０４におけるカテゴリ判定処理の詳細な処理手順の一例を示すフローチャートである。図３を参照しながら、オブジェクト識別装置１０００が入力画像のカテゴリを判定する処理について説明する。
まず入力データとして、顔検出された顔画像を入力する（Ｓ１２０１）。この入力画像は静止画であり、人物の顔が１つだけ捉えられていることが望ましい。続いて、登録データとして、オブジェクト識別装置１０００の登録画像記録部１３００に予め登録されている顔画像を１つ取得する（Ｓ１２０２）。顔画像をオブジェクト識別装置１０００に登録する方法の説明は省略するが、識別すべき人物の静止画の顔画像を撮影し、登録画像記録部１３００に保持しておく。
【００２４】
続いて、入力画像と登録画像を識別し、同一人物かどうかを表す類似度を得る（Ｓ１２０３）。この識別処理の詳細については後述する。記憶媒体に保持されている全ての登録画像と識別を行ったか否かを判定する（Ｓ１２０４）そして、全ての登録画像と識別を行っていない場合はＳ１２０２に戻る。
【００２５】
一方、全ての登録画像と識別を行った場合は、最も大きい類似度と予め定められた閾値とを比較し、カテゴリを最終的に判定する（Ｓ１２０５）。このとき、最も高い類似度が閾値以上であれば、入力画像のカテゴリを類似度に対応する登録画像が属するカテゴリと判定される。閾値以下であれば、入力画像が属するカテゴリは無いものとして判定される。この閾値は予め目的に応じて調整しておくことができる。閾値が低いと登録されている人物を認識できる可能性が高くなるが、登録されていない人物も登録されている人物いずれかと判定する可能性も高くなる。逆に閾値を高くすると、登録されていない人物を誤認識する可能性は減るが、登録されている人物を認識できない可能性が高くなる。
【００２６】
＜識別処理：概要＞
次に、Ｓ１２０３における画像識別部１２００による識別処理の詳細について説明する。図４は、画像識別部１２００の詳細な構成例を示すブロック図である。
図４において、画像識別部１２００は、局所特徴抽出部１２１０、類似度算出部１２２０、類似度記憶部１２３０、類似度統合部１２４０、及び識別制御部１２５０を備えている。
【００２７】
＜識別処理：局所特徴抽出処理＞
局所特徴抽出部１２１０は局所特徴抽出手段として機能し、入力画像と登録画像とから、カテゴリの同異を判定し、少なくとも１つの局所特徴を抽出する。局所特徴とは、図５に示すように、典型的には、顔画像の上に設定された画像の一部領域として、顔画像の上に数十個から数百個存在し、等間隔に格子状の一部領域を並んでいる。これらの領域は任意の形状でよく、重複しても、領域によって大きさが異なってもよい。例えば、非特許文献２には、公知の方法が例として挙げられる。
【００２８】
また、局所特徴は、１つの領域内の画素を一列に並べたベクトルとしてもよいし、領域内の画素のヒストグラムを局所特徴としてもよい。また、領域から局所特徴を抽出する前に顔画像そのものに前処理をかけておいてもよい。画像の輝度の変動を吸収するＤｏＧ（Difference of Gaussian）変換など公知の手法が例に挙げられる。あるいは、画素を一列に並べたベクトルを局所特徴とした場合には一般的に高次元となるため、次元圧縮処理をかけることも望ましい。具体的にはＰＣＡ（Principal Component Analysis）などを用いることにより、データの構造を保ったまま低次元の特徴に変換できる。
【００２９】
局所特徴を顔画像に設定する位置は、個人差を表す場所であり、なおかつ顔の向きや照明や表情の変化の影響を受けにくい場所であることが望ましい。この位置はユーザにより設定してもよいし、あるいはAbaboostなど公知の機械学習の手法を用いて定めてもよい。
【００３０】
局所特徴抽出部１２１０は、このような局所特徴を、登録画像と入力画像とから同じものを同じ数だけ取り出しておく。登録画像については、入力画像を取得するたびに同じ局所特徴を抽出することは冗長であるため、予め抽出済みの局所特徴を登録画像記録部１３００に保持しておいてもよい。
【００３１】
＜識別処理：類似度算出処理＞
類似度算出部１２２０は類似度算出手段として機能し、入力画像と登録画像とで対応する局所特徴それぞれについて類似度を算出する。局所特徴同士の類似度の求め方はいくつかあるが、そのうちの具体例を述べる。局所特徴がベクトルである場合は、ベクトル間のユークリッド距離を類似度としてもよいし、ベクトルが成す角度を類似度としてもよい。局所特徴がヒストグラムの場合には、ヒストグラム間の重なりを表すヒストグラムインターセクションとしてもよい。あるいはヒストグラム間の距離を求められる公知の手法であるＥＭＤ（Earth Mover's Distance）などを用いてもよい。同一人物の局所特徴間の類似度の分布と、別人物間の局所特徴間の類似度の分布とが大きく異なることがカテゴリを識別し得る類似度の条件であるため、類似度の尺度を問題に合わせて選ぶ。
【００３２】
＜識別処理：類似度統合処理＞
類似度統合部１２４０は、入力画像と登録画像との間で得られた局所特徴の類似度を統合して、１つの統合類似度とする。この類似度を最終的なカテゴリ判定に用いる。類似度の統合方法の具体例として単純に平均するものでもよい。または、局所特徴の類似度をベクトルとして、類似度ベクトルが同一人物間のものであるか別人物間のものであるか、機械学習による識別器（ＳＶＭ：Support Vector Machine）などで判定した結果を類似度としてもよい。
【００３３】
＜識別処理：類似度記憶処理＞
類似度記憶部１２３０は類似度記憶手段として機能し、登録画像と過去の時刻の入力画像との、局所特徴間の類似度を記憶する。直前の入力画像との類似度のみを記憶することも記憶媒体の容量の観点からはよいが、過去複数の時刻の類似度を記憶しておくことで、より精密に処理を省略した際の類似度を推定できる。類似度推定の詳しい方法は後述する。類似度記憶部１２３０は全ての局所特徴の類似度について記憶する必要はなく、後述する代表となる正の局所特徴の類似度のみを記憶してもよい。なお、類似度記憶部１２３０は、オブジェクト識別装置１０００に保持されている複数の登録画像それぞれについて、入力画像との局所特徴の類似度を保持する。
【００３４】
＜識別処理：識別制御処理＞
識別制御部１２５０は、登録画像と現在の入力画像との類似度と、登録画像と過去の入力画像との類似度とに基づいて、局所特徴の処理を省略する。その具体例を以下に記す。識別制御部１２５０は、少なくとも２つの局所特徴の組について、正の局所特徴、副の局所特徴という互いに関連する関係を設定する。局所特徴の正副の関係は、局所特徴を抽出する領域が顔画像の上でどの程度重なっているかにより定める。また、どの局所特徴が正の局所特徴であるかは、顔の中で変化が大きい目や口など、代表的な顔器官に対応する局所特徴に定めてもよい。局所特徴の正副の関係は２つ以上あってもよく、また１つの正副の関係の中でも、１つの正の局所特徴に対して２つ以上の副の局所特徴が関連付けられていてもよい。
【００３５】
類似度算出部１２２０は、全ての時刻の入力画像について、正の局所特徴の類似度を算出し、類似度記憶部１２３０に記憶させておく。識別制御部１２５０は、現在の入力画像と登録画像について得られた正の局所特徴の類似度と、過去の類似度とを比較する。このとき、ある正の局所特徴の現在の類似度と過去の類似度との差、すなわち、差異が小さい場合には、その正の局所特徴と大きい割合で重複する、副の局所特徴の類似度算出を類似度算出部１２２０に省略させる。省略を判断する材料として、直前の過去１つの類似度との差をとってもよいが、過去複数の類似度と比較して類似度の差の平均と分散を評価する方法でもよい。
【００３６】
局所特徴と処理の省略について図６に示す。図６（Ａ）は、顔画像上に設定された局所特徴の例を表している。局所特徴は一定の間隔をもって重複して配置されている。代表的な顔器官の１つである目に正の局所特徴が設定され、その近傍で正の局所特徴に重複するものが、副の局所特徴として設定されている。図６（Ｂ）は、時刻Ｔ１からＴ５までで各局所特徴で算出された類似度と、類似度省略処理との例を示している。時刻Ｔ３、Ｔ４で正の局所特徴で得られた類似度が過去直前の類似度と変化が少ないため、時刻Ｔ３、Ｔ４では副の局所特徴の類似度算出が省略される。時刻Ｔ５で正の局所特徴で得られた類似度は、過去直前の類似度と比べて大きく変化したため、副の局所特徴で類似度の算出を再開する。
【００３７】
なお、ここまでは、登録画像１つと入力画像との識別処理であり、その中で類似度算出を省略すると説明した。さらに、場合によっては副の局所特徴の局所特徴抽出でさえも省略することができる。具体的には以下のようにする。まず、入力画像及び全ての登録画像についてまず正の局所特徴のみで類似度を算出する。このとき、全ての登録画像についての類似度が過去の類似度と差が小さい場合、全ての登録画像について副の局所特徴で入力画像との類似度を算出する必要が無くなる。従って、副の局所特徴の類似度算出にさかのぼって、特徴抽出の処理も省略できる。
【００３８】
このような処理の省略を行う理由は以下のとおりである。正の局所特徴において、過去と現在とで登録画像と入力画像との類似度がほぼ同じである場合、過去の入力画像から取り出された正の局所特徴と現在の入力画像から取り出された正の局所特徴とでは似ているとみなせる。これは、類似度を求める片一方である登録画像の局所特徴は、過去現在にわたり不変である。その登録画像の局所特徴と類似度を求めた入力画像の局所特徴は、過去と現在の間で似た性質を持っていると推測できる。従って、正の局所特徴が過去と現在とで似ているのであれば、過去の入力画像と現在の入力画像との間には、正の局所特徴が抽出される領域付近では変化が少ない可能性があるとみなせる。例えば、口の場合は会話をしていない、目の場合は表情の変化が無いなどである。このように過去の入力画像と現在の入力画像とで変化が少ないとき、正の局所特徴に重なるほど近傍に位置する副の局所特徴も同様に過去と現在とでほぼ変化が少ないと仮定できる。従って、副の局所特徴で算出される類似度も過去とほぼ同じ値であると仮定できる。これが副の局所特徴で類似度の算出を省略する理由である。
【００３９】
現在の入力画像について副の局所特徴に対応する類似度が算出されない場合、正の局所特徴に対応する類似度のみで類似度統合部１２４０により類似度を統合してもよい。また、類似度記憶部１２３０に保持されている過去の類似度を用いて現在の入力画像での類似度を推定することもできる。具体的には、直前の時刻で得られた副の局所特徴の類似度を、現在の入力画像における副の局所特徴の類似度とする。こうすることで、現在の時刻においても全ての局所特徴で類似度を算出したように近似して代用できる。この近似処理の結果を図７に示す。
【００４０】
また、類似度記憶部１２３０が過去数個にわたる入力画像との類似度を保持している場合には、それら過去複数の類似度を用いてより正確に類似度を推定することができる。具体的には、過去の類似度が算出された時刻と現在までの経過時間とに基づいて、過去の類似度の中で重みつきの平均値をとる。
【００４１】
以上の類似度算出の省略及び近似による効果は以下のとおりである。類似度算出、あるいは局所特徴の抽出を省略することで、オブジェクト識別装置１０００の計算の負荷を減らすことができる。ただし全ての処理を省略するのではなく一部の処理を継続して行い、入力画像が変化したかどうか監視し続けることで、変化に追従した識別処理を行うことができる。つまり、計算負荷の低減と識別性能の維持とを両立することができる。
【００４２】
本実施形態では、入力画像の過去と現在との変化を検出する方法として、正の局所特徴での登録画像と入力画像との類似度を過去と現在とで比較し、変化を間接的に検出する方法を述べた。これは、入力画像の変化を検出すること自体の計算負荷を大きくしないためである。入力画像と登録画像との類似度は、人物の認識のために必ず求めるものであり、それを入力画像の変化を検出することにも利用することで、入力画像の変化を検出すること自体の負荷はほとんど発生しない。
【００４３】
一方、より正確に入力画像の過去と現在の変化、すなわち時間的な変化を検出する方法として、過去と現在との入力画像を直接比較してもよい。登録画像との類似度を経由して間接的に変化を検出するよりも、より高い精度で検出できる。この場合、過去の入力画像の正の局所特徴そのものを記憶しておく記憶部を設け、過去と現在との入力画像の正の局所特徴を類似度算出部１２２０で比較する。その類似度が予め定められた閾値以下であれば、過去と現在で入力画像に変化があったと検出できる。
【００４４】
（第２の実施形態）
第１の実施形態では、局所特徴の正副の関係として、オブジェクト識別装置の運用前に予め定められたものを用いた。それに対して本実施形態では、画像の状態に応じて識別時に動的に局所特徴の正副の関係が定まる例を述べる。なお、第１の実施形態と同じ部分の説明は省略し、異なる部分を中心に説明する。
【００４５】
＜識別処理：局所特徴抽出処理＞
局所特徴抽出部１２１０は、入力画像と登録画像とから、カテゴリの同異を判定しうる特徴として、少なくとも１つの局所特徴を抽出する。局所特徴は第１の実施形態と同様に顔画像の上に設定された画像の一部領域であるが、格子状に等間隔に並べるものではなく、顔の状態に応じて適応的に領域を配置する。具体的には領域を目や鼻などの顔器官の上に配置する。また顔の向きの変化や表情の変化に応じて適応的に領域を配置する。この例を図８に示す。
【００４６】
図８は、顔に対して目の中心位置と口の中心位置とに局所特徴を抽出する領域を設定する例であり、図８（Ａ）では正面向きの顔に対して、図８（Ｂ）では横向きの顔に対して、図８（Ｃ）では下向きの顔に対して、同様の方法で領域を設定することを示している。図８（Ｂ）及び図８（Ｃ）では、図８（Ａ）に対する目及び口の相対的な位置関係の変化に応じて領域の位置関係も変化している。また、領域の位置関係の変化に伴い、領域が互いに重複する割合も図８（Ａ）〜図８（Ｃ）の間で変化していることがわかる。
【００４７】
顔器官の位置に応じた領域を配置する方法として、顔の上に複数の特徴点を検出し、特徴点座標の相対的な位置関係に基づいて領域を配置する方法が挙げられる。顔画像の上に特徴点を検出する方法として、例えば特許文献３に記載されているように、畳みこみ神経回路網を用いた公知の手法などを用いればよい。
【００４８】
＜識別処理：識別制御処理＞
識別制御部１２５０は、登録画像と現在の入力画像との類似度と、登録画像と過去の入力画像との類似度とに基づいて、局所特徴の処理を省略する。第１の実施形態と同様に、局所特徴を抽出した領域が重なる割合に基づいて正副の関係を設定するが、本実施形態の局所特徴抽出処理では、図８に示したように、局所特徴が抽出される位置は入力画像の状態によって変わる。つまり、時系列の入力画像の中において、局所特徴を抽出した領域が互いに重なる割合は刻々と変化していくことになる。そこで、識別制御部１２５０は、局所特徴の正副の関係を識別の実行時に定める。
【００４９】
ただし、どの局所特徴が正の局所特徴となり得るかは、第１の実施形態と同様に予め定めておく。典型的には、変化が大きい目の中心や口などである。局所特徴の類似度算出の省略は第１の実施形態と同じ方法で行うが、本実施形態は以下のような可能性が考えられる。入力画像の時系列の変化によっては、局所特徴がある正の局所特徴の副であったが次の入力画像では別の正の局所特徴の副になる可能性がある。あるいは、副の局所特徴であったものが関係を解消され、関係を持たないようになる可能性がある。例えば、図８（Ｃ）から図８（Ａ）に顔の向きが変化した場合が例として挙げられる。この場合にはその局所特徴の処理の省略は中止し、類似度算出を再開するようにする。
【００５０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１１００ 画像入力部
１２００ 画像識別部
【特許請求の範囲】
【請求項１】
入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、
複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、
前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、
前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とするオブジェクト識別装置。
【請求項２】
過去の入力データの識別時に算出した類似度を局所特徴ごとに記憶する類似度記憶手段を備え、
前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の現在の類似度と前記類似度記憶手段に記憶された過去の類似度との差異に応じて、前記局所特徴に関連付けられた局所特徴における類似度の算出を省略すること特徴とする請求項１に記載のオブジェクト識別装置。
【請求項３】
前記類似度算出手段は、類似度算出を省略した局所特徴について、前記類似度記憶手段に記憶された過去の類似度を現在の入力データについての類似度として代用することを特徴とする請求項２に記載のオブジェクト識別装置。
【請求項４】
前記類似度算出手段は、予め設定された局所特徴間の関係に基づいて過去と現在との入力データから算出した類似度の差異が小さい正の局所特徴に対応する副の局所特徴についての類似度算出を省略することを特徴とする請求項２に記載のオブジェクト識別装置。
【請求項５】
前記類似度算出手段は、前記正及び副の関係を前記局所特徴の互いに重複する割合に基づいて定め、前記正の局所特徴は、時刻による変化の大きい方であることを特徴とする請求項４に記載のオブジェクト識別装置。
【請求項６】
前記正及び副の関係、及び前記正の局所特徴は予め定めたものであることを特徴とする請求項５に記載のオブジェクト識別装置。
【請求項７】
前記データ取得手段は、前記入力データとして同一の対象を捉えたものを連続して取得することを特徴とする請求項１に記載のオブジェクト識別装置。
【請求項８】
前記データ取得手段は、同一のオブジェクトを捉えた時系列の動画像を取得することを特徴とする請求項１に記載のオブジェクト識別装置。
【請求項９】
入力データを取得するデータ取得工程と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別工程とを有するオブジェクト識別方法であって、
複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出工程と、
前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出工程とを備え、
前記類似度算出工程においては、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とするオブジェクト識別方法。
【請求項１０】
請求項９に記載のオブジェクト識別方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
入力データを取得するデータ取得手段と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別手段とを有するオブジェクト識別装置であって、
複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出手段と、
前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出手段とを備え、
前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とするオブジェクト識別装置。
【請求項２】
過去の入力データの識別時に算出した類似度を局所特徴ごとに記憶する類似度記憶手段を備え、
前記類似度算出手段は、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の現在の類似度と前記類似度記憶手段に記憶された過去の類似度との差異に応じて、前記局所特徴に関連付けられた局所特徴における類似度の算出を省略すること特徴とする請求項１に記載のオブジェクト識別装置。
【請求項３】
前記類似度算出手段は、類似度算出を省略した局所特徴について、前記類似度記憶手段に記憶された過去の類似度を現在の入力データについての類似度として代用することを特徴とする請求項２に記載のオブジェクト識別装置。
【請求項４】
前記類似度算出手段は、予め設定された局所特徴間の関係に基づいて過去と現在との入力データから算出した類似度の差異が小さい正の局所特徴に対応する副の局所特徴についての類似度算出を省略することを特徴とする請求項２に記載のオブジェクト識別装置。
【請求項５】
前記類似度算出手段は、前記正及び副の関係を前記局所特徴の互いに重複する割合に基づいて定め、前記正の局所特徴は、時刻による変化の大きい方であることを特徴とする請求項４に記載のオブジェクト識別装置。
【請求項６】
前記正及び副の関係、及び前記正の局所特徴は予め定めたものであることを特徴とする請求項５に記載のオブジェクト識別装置。
【請求項７】
前記データ取得手段は、前記入力データとして同一の対象を捉えたものを連続して取得することを特徴とする請求項１に記載のオブジェクト識別装置。
【請求項８】
前記データ取得手段は、同一のオブジェクトを捉えた時系列の動画像を取得することを特徴とする請求項１に記載のオブジェクト識別装置。
【請求項９】
入力データを取得するデータ取得工程と、予め登録した登録データを用いて前記入力データのカテゴリを識別する識別工程とを有するオブジェクト識別方法であって、
複数の局所特徴を前記入力データ及び前記登録データのそれぞれから抽出する局所特徴抽出工程と、
前記入力データ及び前記登録データの対応する局所特徴の類似度を算出する類似度算出工程とを備え、
前記類似度算出工程においては、互いに関連付けられた複数の局所特徴の組において、ある局所特徴の時間的な変化に応じて、前記類似度の算出を省略すること特徴とするオブジェクト識別方法。
【請求項１０】
請求項９に記載のオブジェクト識別方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３０６４７（Ｐ２０１２−２３０６４７Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−１００１０１（Ｐ２０１１−１００１０１）
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２７日（２０１１．４．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]