物体認識装置及びその方法
【課題】ぼけ画像に対し頑健な物体認識装置を提供する。
【解決手段】動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出し、物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出し、複数のＰＳＦにおける各ＰＳＦを、ぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各ＰＳＦにそれぞれ対応させて格納し、特徴ベクトルと各クラスに属する複数枚のぼけた画像とを比較して、特徴ベクトルと最も類似するクラスを求め、この最も類似するクラスに対応するＰＳＦを一つ選択する。
【解決手段】動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出し、物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出し、複数のＰＳＦにおける各ＰＳＦを、ぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各ＰＳＦにそれぞれ対応させて格納し、特徴ベクトルと各クラスに属する複数枚のぼけた画像とを比較して、特徴ベクトルと最も類似するクラスを求め、この最も類似するクラスに対応するＰＳＦを一つ選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
顔認識などの物体認識において、劣化した画像からぼけを表す点拡がり関数（Point Spread Function；ＰＳＦ）を推定し、この推定されたＰＳＦに基づいて画像を復元し、復元された画像を用いて物体認識を行う物体認識装置及びその方法に関する。
【背景技術】
【０００２】
顔認識により、個人を識別する技術は、生体認識において重要な研究分野の一つである。個人識別の性能を低下させる大きな問題として画像に写った顔の見え方の変動がある。この見え方の変動の主な要因に、照明、姿勢、画像劣化が挙げられる。画像劣化には、低解像度、ぼけ、ノイズ、などが含まれる。ぼけは顔認識において２つの問題を引き起こす。
【０００３】
第１の問題は、画像の変動により、画像と本人とが類似せず、本人であるにも拘らず正しく識別されない場合である。すなわち、ＦＲＲ（False Rejection Rate）が高まる場合である。
【０００４】
第２の問題は、異なる人物間で画像の状態が類似し、他人と誤って識別される割合である。すなわち、ＦＡＲ（False Acceptance Rate）が高まる場合である。
【０００５】
これらの問題を解決するために次の二つの方法（Ｉ），（ＩＩ）が提案されている。方法（Ｉ）では、画像を擬似的にぼかすことで画像の変動を学習する。方法（ＩＩ）では、画像復元の方法でぼけを除去し識別に用いる。
【０００６】
方法（Ｉ）では、参照画像はぼけていないと仮定し、参照画像をぼかすことで参照データを増加させる。これによりＦＲＲを抑えることはできる。しかし、参照データが他人と類似するため、ＦＡＲが高くなる問題は残る。さらに、参照データの記憶容量が増加する問題もある。
【０００７】
方法（ＩＩ）では、画像復元の方法であるブラインドデコンボルーションや超解像で、ぼける以前の状態まで画像を復元し、その画像を用いて個人を識別することが一般的に考えられている。方法（ＩＩ）は参照画像がぼけている場合にも適用でき個人識別に有効である。画像復元において、ぼけによる劣化過程はＰＳＦによって表される。個人識別の性能を得るためには、劣化画像から精度よくＰＳＦを推定することが重要である。
【０００８】
ＰＳＦ推定のため、特許文献１では、物体輪郭上のエッジ幅を用いる方法が提案されている。ぼけていない画像のエッジは鋭くその幅は短くなり、ぼけた画像のエッジは滑らかでその幅は長くなる現象を利用する。この特許文献１では、ぼけた画像から顔領域、または、瞳を検出した後、それらの輪郭を検出する。輪郭上のエッジ断面からエッジ幅を求め、事前にぼけ画像から学習したエッジ幅のヒストグラムと比較する。
【特許文献１】特開２００５−３３２３８２公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の方法では、画像がぼけると輪郭がはっきりしないため、顔領域や瞳の検出と比べて輪郭の検出は難しい。また、輪郭の検出結果に誤差が含まれると、エッジ断面は形状が大きく変わる。
【００１０】
このため、エッジ断面から求めるエッジ幅はＰＳＦを推定するための安定な特徴量とは言えないという問題点がある。また、画像にノイズが含まれる場合にもエッジ幅は不安定な特徴量となるという問題点がある。
【００１１】
そこで、本発明は、物体認識のために安定なＰＳＦを推定することができる物体認識装置及びその方法を提供する。
【課題を解決するための手段】
【００１２】
本発明は、動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、を有する物体認識装置である。
【発明の効果】
【００１３】
本発明によれば、ノイズに頑健なＰＳＦの推定ができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について図面に基づいて説明する。
【００１５】
（１）実施形態の概念
具体的な実施形態を説明する前に、本実施形態の概念について説明する。
【００１６】
あるＰＳＦによってぼけた顔が写った画像の見え方は、異なる人物間で類似する。また、異なるＰＳＦによってぼけた顔が写った画像の見え方は、同一人物でも類似しない。このことから、様々なＰＳＦにより生成された画像の状態は、ＰＳＦ毎のクラスへ分類できる。本実施形態では、これらのクラスの集合を、ぼけによる見え方の変動と呼び、ＰＳＦ推定のときに利用する。
【００１７】
本実施形態では、劣化画像が与えられると、ぼけによる画像の変動と比較することでＰＳＦを選択的に推定し、そのＰＳＦで復元された画像を用いて個人を識別する。ぼけによる画像の変動は、次の二つの仮定（ａ１），（ａ２）をおくことで、個人識別に用いる人物以外から事前に学習する。
【００１８】
（ａ１） ＰＳＦが変化し得る範囲は、顔認識の使用環境に応じて仮定できる。
【００１９】
（ａ２） ぼけによる顔の見えの劣化は、人物に依存せず同じ傾向をもつと仮定できる。
【００２０】
ぼけによる画像の劣化過程は式（１）で定義される。
【数１】
【００２１】
ここで、ｇは劣化画像ｇ（ｕ，ｖ）を表す輝度値のベクトル、または、ＲＧＢのそれぞれの輝度値のベクトル、ｕ、ｖは画像上の画素位置、ＨはＰＳＦを表す行列、ｆは原画像を表す輝度値、または、ＲＧＢのそれぞれの輝度値のベクトル、ｎはノイズを表すベクトルである。なお、ｇ、ｆは顔領域のみを含むと仮定する。
【００２２】
図４に本実施形態の概念図を示す。本実施形態は図４（ａ）のぼけによる見え変動の学習、図４（ｂ）の劣化画像が与えられた時の認識の二つの処理をもつ。
【００２３】
（１−１）学習処理
まず、図４（ａ）の学習処理について述べる。
【００２４】
顔認識の使用環境において、ある範囲内で連続的に変化するＰＳＦをサンプリングし、式（２）のように、Ｎ個のＰＳＦを用意する。
【数２】
【００２５】
これにより、未知変数が大量にあるＰＳＦ推定の問題を、ｎ個のＰＳＦの中から適切なＰＳＦを選択する問題へ置き換える。ＰＳＦを選択するときに、式（３）のぼけによる画像の見え方の変動Φを用いる。
【数３】
【００２６】
φｉはＨｉ∈Ωによりぼかされた見えが属するクラスとする。同一クラス内には、ＰＳＦが同じ顔の見え方が属する。各クラスは、式（４）のＭ枚のぼけていない訓練画像Ψから事前に学習する。
【数４】
【００２７】
訓練画像は、個人識別に用いる参照画像とは異なる人物から撮影する。
【００２８】
（１−２）認識処理
次に、図４（ｂ）の認識処理について述べる。
【００２９】
ＰＳＦが未知のｇが与えられると、ｇとφ∈Φとを比較することで、ｇの見え方が属するクラスを選択する。
【００３０】
選択するために、ｇの見え方がどのクラスの見え方と類似するかをパターン認識の方法で計る。選択されたクラスに対するＰＳＦがｇのＨＳとなる。
【００３１】
（１−３）復元処理
選択されたＨＳを用いて、ぼける前の画像をｇから復元する。
【００３２】
（１−４）識別処理
復元された画像から個人を識別するための特徴量を算出し、各人物の参照画像と比較することで個人を同定する。
【００３３】
（２）顔認識装置１００
次に、本実施形態の顔認識装置１００について図１〜図３に基づいて説明する。本実施形態は、見え方の変動モデルに基づくＰＳＦ推定を用いて個人識別を行うものである。図１に顔認識装置１００の構成を示す。
【００３４】
顔認識装置１００は、顔領域獲得部１０１、特徴ベクトル生成部１０２、ぼけモデル格納部１０３、ＰＳＦ推定部１０４、復元部１０５、個人識別部１０６からなる。
【００３５】
（３）顔領域獲得部１０１
顔領域獲得部１０１は、カメラから出力された画像から顔領域を検出し、顔領域のみからなる画像ｇ（ｕ，ｖ）を獲得する（図２のステップ２０１）。
【００３６】
このため、例えば、顔の特徴点を検出して、３次元形状モデルにあてはめることで顔の向きと大きさを補正する。
【００３７】
（４）特徴ベクトル生成部１０２
特徴ベクトル生成部１０２は、ｇ（ｕ，ｖ）からぼけ量を表す特徴ベクトルｘを生成する（図２のステップ２０２）。
【００３８】
まず、ｇ（ｕ，ｖ）を式（５）で特徴画像ｘ（ξ´，η´）に変換する。
【数５】
【００３９】
ここで、ｇ（ξ，η）はｇ（ｕ，ｖ）の２次元フーリエ変換、｜｜は振幅を表す。
【００４０】
フーリエ変換による振幅値は、各周波数成分の強度を表しており、ぼけ量を表す特徴として適切であると考えられる。
【００４１】
前記各周波数成分の強度の中の直流成分の振幅値は、高周波成分に比べて非常に大きな値をとるため対数変換を適用する。ダウンサンプリングは後処理の計算量削減のために用いる。
【００４２】
なお、フーリエ変換により位相も得られる。位相は個人性の影響が大きく個人識別には有効な特徴であるものの、ＰＳＦ推定には不必要な特徴である。
【００４３】
この変換した特徴画像ｘ（ξ´，η´）をラスタースキャンで特徴ベクトルｘに変換する。ＰＳＦ推定で用いる部分空間法は、ベクトルと部分空間との角度を計る方法なのでノルムを正規化する。例えば、Ｌ２ノルムを用いて||ｘ||２＝１とする。
【００４４】
図３に、ぼけた状態とぼけていない状態の特徴ベクトルの波形例を示す。波形３０１は劣化画像、波形３０２はフーリエ変換，波形３０３は対数変換，波形３０４はノルム正規化を適用した後の画像断面である。実線がぼけていない状態、破線がぼけた状態を表す。波形３０１では波形がほぼ同じであるが、波形３０４ではぼけ量の違いが明確に表れる。
【００４５】
（５）ぼけモデル格納部１０３
ぼけモデル格納部１０３には、ＰＳＦ推定に用いる式（３）のΦが格納される。φｉ∈Φを式（６）で定義する。
【数６】
【００４６】
ここで、ｂｉｊは部分空間の基底ベクトル、Ｄは部分空間の次元数を表す。
【００４７】
以下では、部分空間の基底ベクトルを求める方法について述べる。
【００４８】
まず、ぼけていない訓練画像ΨとＨｉ∈Ωを用いて、式（７）で擬似的にぼけを付加する。
【数７】
【００４９】
ここで、ｎｔは訓練画像に与えるノイズを表すベクトルである。ｎｔはカメラ系から事前に測定する。
【００５０】
次に、ｈｉｋに変換する。推定性能を上げるために全訓練パターン｛ｔｋ｜ｋ＝１，．．．，Ｍ｝から求めた平均特徴ベクトルをｙｉｋから引いてもよい。
【００５１】
次に、式（８）の自己相関行列の固有値と固有ベクトルを求め、固有値の大きいものから順に選んだＤ本の固有ベクトルｂｉｊとする。
【数８】
【００５２】
（６）ＰＳＦ推定部１０４
ＰＳＦ推定部１０４では、特徴ベクトル生成部１０２から出力されたｘとぼけモデル格納部１０３のΦとを部分空間法を用いて比較し、ＰＳＦを推定する（図２のステップ２０３）。
【００５３】
部分空間法は、多クラスの識別問題が容易に実装でき、安定した識別性能を得ることができる。ＰＳＦが未知のｘが与えられると、式（９）でラベルｓを選択する。
【数９】
【００５４】
ここで、ｘはｇのぼけ量を表す特徴ベクトル、θｉは部分空間と特徴ベクトルがなす角度である。ｓに対応するＨｓが、ｘから推定されたＰＳＦとなる。
【００５５】
（７）復元部１０５
復元部１０５では、顔領域獲得部１０１から出力されたｇに対して、ＰＳＦ推定部１０４から出力されたＨｓを用いて、画像を復元する（図２のステップ２０４）。
【００５６】
単純にＨｓの逆行列を適用することも考えられるが、式（１）のノイズの存在は無視できない。
【００５７】
本実施形態では例えば、ウィーナフィルタ、もしくは、ＢＴＶ正則化を用いて画像を復元する。ＢＴＶとは、Bilateral Total Variationであり、このＢＴＶ正則化は、文献［S. Farsiu, M. D. Robinson, M. Elad,P. Milanfar, Fast and robust multiframe super resolution, IEEE Trans. Image Processing, Vol. 13, No. 10, pp. 1327 - 1344, 2004.］に記載されている。
【００５８】
これらの方法ではノイズの取り扱いが異なる。ウィーナフィルタに比べてＢＴＶ正則化は、ノイズ耐性は強いが計算量は多くなる。劣化画像のノイズの性質に応じて使い分けるとよい。
【００５９】
例えば、ウィーナフィルタにより復元された画像ａは式（１０）で求まる。
【数１０】
【００６０】
ここで、原画像の自己相関行列をＲｆ、ノイズの自己相関行列をＲｎとする。
【００６１】
原画像の自己相関行列は訓練パターンΨから推定する。
【００６２】
ノイズの自己相関行列はカメラ系から事前に推定する。
【００６３】
なお、上記説明では、顔領域獲得部１０１から出力された、３次元形状モデル向きと大きさが補正されたｇを用いた。
【００６４】
しかしながら、ｇではなく、カメラから出力された画像に対して同様の処理を行ってもよい。その場合、ＰＳＦ推定部１０４で推定されたＰＳＦには大きさの不定性が残る。不定性を取り除くために、例えば、顔特徴点の位置関係を用いればよい。
【００６５】
（８）個人識別部１０６
個人識別部１０６では、復元部１０５から出力されたａを用いて個人を識別する（図２のステップ２０５）。
【００６６】
例えば、最近傍決定則を用いてａと参照画像との距離を比較することで人物を決定する。他にも一般的なパターン認識の方法を用いて個人識別を行うことができる。
【００６７】
（９）効果
本実施形態によれば、ぼけた画像が与えられると、ぼけによる顔の見え方の変動モデルと比較することでＰＳＦを推定し、そのＰＳＦで復元された画像を用いて個人を識別する。輪郭上のエッジではなく、顔全体の見え方を用いるためＰＳＦを安定に推定できる。ぼけによる顔の見え方の変動モデルは、個人識別に用いる参照画像とは別の人物から学習できる。
【００６８】
また、ノイズも含めてモデルを学習することで、ノイズに頑健なＰＳＦの推定ができる。本実施形態によりぼけの影響を抑えることで、個人識別のＦＡＲ，ＦＲＲを低下させることができる。
【００６９】
（１０）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００７０】
例えば、ＰＳＦ推定には部分空間法を用いたが、最近傍決定則など、他のパターン認識の方法を用いてもよい。
【００７１】
最近傍決定則を用いる場合を説明する。訓練画像をそれぞれのＰＳＦでぼかし、ぼけた画像の集合を生成する。ＰＳＦが未知の画像が与えられると、ぼけた画像の集合に含まれる全ての画像と類似度を計算する。類似度が最も高い画像を生成するときに用いたＰＳＦが、ＰＳＦ推定の結果となる。
【００７２】
また、上記実施形態では、顔による個人認識で説明したが、顔に限らず、他の物体、例えば、自動車などの認識に適用してもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態の顔認識装置の構成図である。
【図２】顔認識の流れを表す図である。
【図３】特徴ベクトルの比較図である。
【図４】本実施形態の概念図である。
【符号の説明】
【００７４】
１０１ 顔領域獲得部
１０２ 特徴ベクトル生成部
１０３ ぼけモデル格納部
１０４ ＰＳＦ推定部
１０５ 復元部
１０６ 個人識別部
３０１ 劣化画像
３０２ フーリエ変換
３０３ 対数変換
３０４ ノルム正規化
【技術分野】
【０００１】
顔認識などの物体認識において、劣化した画像からぼけを表す点拡がり関数（Point Spread Function；ＰＳＦ）を推定し、この推定されたＰＳＦに基づいて画像を復元し、復元された画像を用いて物体認識を行う物体認識装置及びその方法に関する。
【背景技術】
【０００２】
顔認識により、個人を識別する技術は、生体認識において重要な研究分野の一つである。個人識別の性能を低下させる大きな問題として画像に写った顔の見え方の変動がある。この見え方の変動の主な要因に、照明、姿勢、画像劣化が挙げられる。画像劣化には、低解像度、ぼけ、ノイズ、などが含まれる。ぼけは顔認識において２つの問題を引き起こす。
【０００３】
第１の問題は、画像の変動により、画像と本人とが類似せず、本人であるにも拘らず正しく識別されない場合である。すなわち、ＦＲＲ（False Rejection Rate）が高まる場合である。
【０００４】
第２の問題は、異なる人物間で画像の状態が類似し、他人と誤って識別される割合である。すなわち、ＦＡＲ（False Acceptance Rate）が高まる場合である。
【０００５】
これらの問題を解決するために次の二つの方法（Ｉ），（ＩＩ）が提案されている。方法（Ｉ）では、画像を擬似的にぼかすことで画像の変動を学習する。方法（ＩＩ）では、画像復元の方法でぼけを除去し識別に用いる。
【０００６】
方法（Ｉ）では、参照画像はぼけていないと仮定し、参照画像をぼかすことで参照データを増加させる。これによりＦＲＲを抑えることはできる。しかし、参照データが他人と類似するため、ＦＡＲが高くなる問題は残る。さらに、参照データの記憶容量が増加する問題もある。
【０００７】
方法（ＩＩ）では、画像復元の方法であるブラインドデコンボルーションや超解像で、ぼける以前の状態まで画像を復元し、その画像を用いて個人を識別することが一般的に考えられている。方法（ＩＩ）は参照画像がぼけている場合にも適用でき個人識別に有効である。画像復元において、ぼけによる劣化過程はＰＳＦによって表される。個人識別の性能を得るためには、劣化画像から精度よくＰＳＦを推定することが重要である。
【０００８】
ＰＳＦ推定のため、特許文献１では、物体輪郭上のエッジ幅を用いる方法が提案されている。ぼけていない画像のエッジは鋭くその幅は短くなり、ぼけた画像のエッジは滑らかでその幅は長くなる現象を利用する。この特許文献１では、ぼけた画像から顔領域、または、瞳を検出した後、それらの輪郭を検出する。輪郭上のエッジ断面からエッジ幅を求め、事前にぼけ画像から学習したエッジ幅のヒストグラムと比較する。
【特許文献１】特開２００５−３３２３８２公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の方法では、画像がぼけると輪郭がはっきりしないため、顔領域や瞳の検出と比べて輪郭の検出は難しい。また、輪郭の検出結果に誤差が含まれると、エッジ断面は形状が大きく変わる。
【００１０】
このため、エッジ断面から求めるエッジ幅はＰＳＦを推定するための安定な特徴量とは言えないという問題点がある。また、画像にノイズが含まれる場合にもエッジ幅は不安定な特徴量となるという問題点がある。
【００１１】
そこで、本発明は、物体認識のために安定なＰＳＦを推定することができる物体認識装置及びその方法を提供する。
【課題を解決するための手段】
【００１２】
本発明は、動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、を有する物体認識装置である。
【発明の効果】
【００１３】
本発明によれば、ノイズに頑健なＰＳＦの推定ができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態について図面に基づいて説明する。
【００１５】
（１）実施形態の概念
具体的な実施形態を説明する前に、本実施形態の概念について説明する。
【００１６】
あるＰＳＦによってぼけた顔が写った画像の見え方は、異なる人物間で類似する。また、異なるＰＳＦによってぼけた顔が写った画像の見え方は、同一人物でも類似しない。このことから、様々なＰＳＦにより生成された画像の状態は、ＰＳＦ毎のクラスへ分類できる。本実施形態では、これらのクラスの集合を、ぼけによる見え方の変動と呼び、ＰＳＦ推定のときに利用する。
【００１７】
本実施形態では、劣化画像が与えられると、ぼけによる画像の変動と比較することでＰＳＦを選択的に推定し、そのＰＳＦで復元された画像を用いて個人を識別する。ぼけによる画像の変動は、次の二つの仮定（ａ１），（ａ２）をおくことで、個人識別に用いる人物以外から事前に学習する。
【００１８】
（ａ１） ＰＳＦが変化し得る範囲は、顔認識の使用環境に応じて仮定できる。
【００１９】
（ａ２） ぼけによる顔の見えの劣化は、人物に依存せず同じ傾向をもつと仮定できる。
【００２０】
ぼけによる画像の劣化過程は式（１）で定義される。
【数１】
【００２１】
ここで、ｇは劣化画像ｇ（ｕ，ｖ）を表す輝度値のベクトル、または、ＲＧＢのそれぞれの輝度値のベクトル、ｕ、ｖは画像上の画素位置、ＨはＰＳＦを表す行列、ｆは原画像を表す輝度値、または、ＲＧＢのそれぞれの輝度値のベクトル、ｎはノイズを表すベクトルである。なお、ｇ、ｆは顔領域のみを含むと仮定する。
【００２２】
図４に本実施形態の概念図を示す。本実施形態は図４（ａ）のぼけによる見え変動の学習、図４（ｂ）の劣化画像が与えられた時の認識の二つの処理をもつ。
【００２３】
（１−１）学習処理
まず、図４（ａ）の学習処理について述べる。
【００２４】
顔認識の使用環境において、ある範囲内で連続的に変化するＰＳＦをサンプリングし、式（２）のように、Ｎ個のＰＳＦを用意する。
【数２】
【００２５】
これにより、未知変数が大量にあるＰＳＦ推定の問題を、ｎ個のＰＳＦの中から適切なＰＳＦを選択する問題へ置き換える。ＰＳＦを選択するときに、式（３）のぼけによる画像の見え方の変動Φを用いる。
【数３】
【００２６】
φｉはＨｉ∈Ωによりぼかされた見えが属するクラスとする。同一クラス内には、ＰＳＦが同じ顔の見え方が属する。各クラスは、式（４）のＭ枚のぼけていない訓練画像Ψから事前に学習する。
【数４】
【００２７】
訓練画像は、個人識別に用いる参照画像とは異なる人物から撮影する。
【００２８】
（１−２）認識処理
次に、図４（ｂ）の認識処理について述べる。
【００２９】
ＰＳＦが未知のｇが与えられると、ｇとφ∈Φとを比較することで、ｇの見え方が属するクラスを選択する。
【００３０】
選択するために、ｇの見え方がどのクラスの見え方と類似するかをパターン認識の方法で計る。選択されたクラスに対するＰＳＦがｇのＨＳとなる。
【００３１】
（１−３）復元処理
選択されたＨＳを用いて、ぼける前の画像をｇから復元する。
【００３２】
（１−４）識別処理
復元された画像から個人を識別するための特徴量を算出し、各人物の参照画像と比較することで個人を同定する。
【００３３】
（２）顔認識装置１００
次に、本実施形態の顔認識装置１００について図１〜図３に基づいて説明する。本実施形態は、見え方の変動モデルに基づくＰＳＦ推定を用いて個人識別を行うものである。図１に顔認識装置１００の構成を示す。
【００３４】
顔認識装置１００は、顔領域獲得部１０１、特徴ベクトル生成部１０２、ぼけモデル格納部１０３、ＰＳＦ推定部１０４、復元部１０５、個人識別部１０６からなる。
【００３５】
（３）顔領域獲得部１０１
顔領域獲得部１０１は、カメラから出力された画像から顔領域を検出し、顔領域のみからなる画像ｇ（ｕ，ｖ）を獲得する（図２のステップ２０１）。
【００３６】
このため、例えば、顔の特徴点を検出して、３次元形状モデルにあてはめることで顔の向きと大きさを補正する。
【００３７】
（４）特徴ベクトル生成部１０２
特徴ベクトル生成部１０２は、ｇ（ｕ，ｖ）からぼけ量を表す特徴ベクトルｘを生成する（図２のステップ２０２）。
【００３８】
まず、ｇ（ｕ，ｖ）を式（５）で特徴画像ｘ（ξ´，η´）に変換する。
【数５】
【００３９】
ここで、ｇ（ξ，η）はｇ（ｕ，ｖ）の２次元フーリエ変換、｜｜は振幅を表す。
【００４０】
フーリエ変換による振幅値は、各周波数成分の強度を表しており、ぼけ量を表す特徴として適切であると考えられる。
【００４１】
前記各周波数成分の強度の中の直流成分の振幅値は、高周波成分に比べて非常に大きな値をとるため対数変換を適用する。ダウンサンプリングは後処理の計算量削減のために用いる。
【００４２】
なお、フーリエ変換により位相も得られる。位相は個人性の影響が大きく個人識別には有効な特徴であるものの、ＰＳＦ推定には不必要な特徴である。
【００４３】
この変換した特徴画像ｘ（ξ´，η´）をラスタースキャンで特徴ベクトルｘに変換する。ＰＳＦ推定で用いる部分空間法は、ベクトルと部分空間との角度を計る方法なのでノルムを正規化する。例えば、Ｌ２ノルムを用いて||ｘ||２＝１とする。
【００４４】
図３に、ぼけた状態とぼけていない状態の特徴ベクトルの波形例を示す。波形３０１は劣化画像、波形３０２はフーリエ変換，波形３０３は対数変換，波形３０４はノルム正規化を適用した後の画像断面である。実線がぼけていない状態、破線がぼけた状態を表す。波形３０１では波形がほぼ同じであるが、波形３０４ではぼけ量の違いが明確に表れる。
【００４５】
（５）ぼけモデル格納部１０３
ぼけモデル格納部１０３には、ＰＳＦ推定に用いる式（３）のΦが格納される。φｉ∈Φを式（６）で定義する。
【数６】
【００４６】
ここで、ｂｉｊは部分空間の基底ベクトル、Ｄは部分空間の次元数を表す。
【００４７】
以下では、部分空間の基底ベクトルを求める方法について述べる。
【００４８】
まず、ぼけていない訓練画像ΨとＨｉ∈Ωを用いて、式（７）で擬似的にぼけを付加する。
【数７】
【００４９】
ここで、ｎｔは訓練画像に与えるノイズを表すベクトルである。ｎｔはカメラ系から事前に測定する。
【００５０】
次に、ｈｉｋに変換する。推定性能を上げるために全訓練パターン｛ｔｋ｜ｋ＝１，．．．，Ｍ｝から求めた平均特徴ベクトルをｙｉｋから引いてもよい。
【００５１】
次に、式（８）の自己相関行列の固有値と固有ベクトルを求め、固有値の大きいものから順に選んだＤ本の固有ベクトルｂｉｊとする。
【数８】
【００５２】
（６）ＰＳＦ推定部１０４
ＰＳＦ推定部１０４では、特徴ベクトル生成部１０２から出力されたｘとぼけモデル格納部１０３のΦとを部分空間法を用いて比較し、ＰＳＦを推定する（図２のステップ２０３）。
【００５３】
部分空間法は、多クラスの識別問題が容易に実装でき、安定した識別性能を得ることができる。ＰＳＦが未知のｘが与えられると、式（９）でラベルｓを選択する。
【数９】
【００５４】
ここで、ｘはｇのぼけ量を表す特徴ベクトル、θｉは部分空間と特徴ベクトルがなす角度である。ｓに対応するＨｓが、ｘから推定されたＰＳＦとなる。
【００５５】
（７）復元部１０５
復元部１０５では、顔領域獲得部１０１から出力されたｇに対して、ＰＳＦ推定部１０４から出力されたＨｓを用いて、画像を復元する（図２のステップ２０４）。
【００５６】
単純にＨｓの逆行列を適用することも考えられるが、式（１）のノイズの存在は無視できない。
【００５７】
本実施形態では例えば、ウィーナフィルタ、もしくは、ＢＴＶ正則化を用いて画像を復元する。ＢＴＶとは、Bilateral Total Variationであり、このＢＴＶ正則化は、文献［S. Farsiu, M. D. Robinson, M. Elad,P. Milanfar, Fast and robust multiframe super resolution, IEEE Trans. Image Processing, Vol. 13, No. 10, pp. 1327 - 1344, 2004.］に記載されている。
【００５８】
これらの方法ではノイズの取り扱いが異なる。ウィーナフィルタに比べてＢＴＶ正則化は、ノイズ耐性は強いが計算量は多くなる。劣化画像のノイズの性質に応じて使い分けるとよい。
【００５９】
例えば、ウィーナフィルタにより復元された画像ａは式（１０）で求まる。
【数１０】
【００６０】
ここで、原画像の自己相関行列をＲｆ、ノイズの自己相関行列をＲｎとする。
【００６１】
原画像の自己相関行列は訓練パターンΨから推定する。
【００６２】
ノイズの自己相関行列はカメラ系から事前に推定する。
【００６３】
なお、上記説明では、顔領域獲得部１０１から出力された、３次元形状モデル向きと大きさが補正されたｇを用いた。
【００６４】
しかしながら、ｇではなく、カメラから出力された画像に対して同様の処理を行ってもよい。その場合、ＰＳＦ推定部１０４で推定されたＰＳＦには大きさの不定性が残る。不定性を取り除くために、例えば、顔特徴点の位置関係を用いればよい。
【００６５】
（８）個人識別部１０６
個人識別部１０６では、復元部１０５から出力されたａを用いて個人を識別する（図２のステップ２０５）。
【００６６】
例えば、最近傍決定則を用いてａと参照画像との距離を比較することで人物を決定する。他にも一般的なパターン認識の方法を用いて個人識別を行うことができる。
【００６７】
（９）効果
本実施形態によれば、ぼけた画像が与えられると、ぼけによる顔の見え方の変動モデルと比較することでＰＳＦを推定し、そのＰＳＦで復元された画像を用いて個人を識別する。輪郭上のエッジではなく、顔全体の見え方を用いるためＰＳＦを安定に推定できる。ぼけによる顔の見え方の変動モデルは、個人識別に用いる参照画像とは別の人物から学習できる。
【００６８】
また、ノイズも含めてモデルを学習することで、ノイズに頑健なＰＳＦの推定ができる。本実施形態によりぼけの影響を抑えることで、個人識別のＦＡＲ，ＦＲＲを低下させることができる。
【００６９】
（１０）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００７０】
例えば、ＰＳＦ推定には部分空間法を用いたが、最近傍決定則など、他のパターン認識の方法を用いてもよい。
【００７１】
最近傍決定則を用いる場合を説明する。訓練画像をそれぞれのＰＳＦでぼかし、ぼけた画像の集合を生成する。ＰＳＦが未知の画像が与えられると、ぼけた画像の集合に含まれる全ての画像と類似度を計算する。類似度が最も高い画像を生成するときに用いたＰＳＦが、ＰＳＦ推定の結果となる。
【００７２】
また、上記実施形態では、顔による個人認識で説明したが、顔に限らず、他の物体、例えば、自動車などの認識に適用してもよい。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態の顔認識装置の構成図である。
【図２】顔認識の流れを表す図である。
【図３】特徴ベクトルの比較図である。
【図４】本実施形態の概念図である。
【符号の説明】
【００７４】
１０１ 顔領域獲得部
１０２ 特徴ベクトル生成部
１０３ ぼけモデル格納部
１０４ ＰＳＦ推定部
１０５ 復元部
１０６ 個人識別部
３０１ 劣化画像
３０２ フーリエ変換
３０３ 対数変換
３０４ ノルム正規化
【特許請求の範囲】
【請求項１】
動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、
を有する物体認識装置。
【請求項２】
前記ベクトル生成部は、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項１記載の物体認識装置。
【請求項３】
前記格納部は、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定部は、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項１記載の物体認識装置。
【請求項４】
前記領域獲得部は、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項１記載の物体認識装置。
【請求項５】
動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得ステップと、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成ステップと、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納ステップと、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定ステップと、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元ステップと、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別ステップと、
を有する物体認識方法。
【請求項６】
前記ベクトル生成ステップは、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項５記載の物体認識方法。
【請求項７】
前記格納ステップは、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定ステップは、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項５記載の物体認識方法。
【請求項８】
前記領域獲得ステップは、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項５記載の物体認識方法。
【請求項１】
動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得部と、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成部と、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納部と、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定部と、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元部と、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別部と、
を有する物体認識装置。
【請求項２】
前記ベクトル生成部は、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項１記載の物体認識装置。
【請求項３】
前記格納部は、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定部は、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項１記載の物体認識装置。
【請求項４】
前記領域獲得部は、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項１記載の物体認識装置。
【請求項５】
動きぼけ、または、焦点ぼけにより劣化した劣化画像から、認識したい物体の物体領域画像を検出する領域獲得ステップと、
前記物体領域画像をそれぞれ周波数領域へ変換し、ぼけ量を表す特徴ベクトルを抽出するベクトル生成ステップと、
予め記憶した複数の点拡がり関数（ＰＳＦ）における各点拡がり関数を、予め記憶したぼけのない複数枚の訓練画像にそれぞれ適用して生成された複数枚のぼけた画像を１個のクラスとして構成し、前記各クラスを前記各点拡がり関数にそれぞれ対応させて格納する格納ステップと、
前記特徴ベクトルと、前記各クラスに属する複数枚の前記ぼけた画像とをパターン認識することにより比較して、前記特徴ベクトルと最も類似する前記クラスを求め、この最も類似する前記クラスに対応する前記点拡がり関数を一つ選択する推定ステップと、
選択された前記点拡がり関数を用いて前記物体領域画像をぼける前の画像に復元する復元ステップと、
前記復元された画像と前記参照画像とを比較して前記物体を識別する識別ステップと、
を有する物体認識方法。
【請求項６】
前記ベクトル生成ステップは、
前記物体領域画像に対してフーリエ変換で振幅値を求め、前記振幅値に対数変換を適用した後に、ダウンサンプリングとノルムの正規化を行って前記特徴ベクトルを算出する、
請求項５記載の物体認識方法。
【請求項７】
前記格納ステップは、前記各クラスに属する複数枚の前記ぼけた画像から生成された部分空間を、前記クラス毎に格納し、
前記推定ステップは、前記クラス毎の前記部分空間と前記特徴ベクトルとを部分空間法により比較する、
請求項５記載の物体認識方法。
【請求項８】
前記領域獲得ステップは、
前記劣化画像から前記物体領域の前記特徴点を検出し、前記特徴点を平均物体領域形状にあてはめることで前記物体領域画像を獲得する、
請求項５記載の物体認識方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−１１０３４９（Ｐ２００９−１１０３４９Ａ）
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願番号】特願２００７−２８２９３２（Ｐ２００７−２８２９３２）
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年５月２１日（２００９．５．２１）
【国際特許分類】
【出願日】平成１９年１０月３１日（２００７．１０．３１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]