立体物判定装置、立体物判定方法及び立体物判定プログラム
【課題】取得した画像に含まれている物体が、立体物かどうかを精度よく判断できること。
【解決手段】立体物判定装置は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部２と、前記複数の特徴点を３次元モデルで正規化した正規化パターンを生成するパターン正規化部５と、３次元モデル及び正規化パターンから画像データ中の前記物体に照射されている光の照明方向を推定する推定部６と、前記照明方向を用いて画像データ中の物体が立体物であるかを判定する判定部７と、を備える。
【解決手段】立体物判定装置は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部２と、前記複数の特徴点を３次元モデルで正規化した正規化パターンを生成するパターン正規化部５と、３次元モデル及び正規化パターンから画像データ中の前記物体に照射されている光の照明方向を推定する推定部６と、前記照明方向を用いて画像データ中の物体が立体物であるかを判定する判定部７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物判定装置、立体物判定方法及び立体物判定プログラムに関する。
【背景技術】
【０００２】
従来より、顔の画像による本人判定システムにおいては、写真などを使った他人のなりすましが問題となる場合がある。写真による他人のなりすましを防ぐためには、カメラなどから入力された顔が、本物の顔であるか、又は、写真などの平面上に存在する顔なのかを判定する必要がある。
【０００３】
これに対して、特許文献１は、取得画像（データ）から顔の特徴点を検出し、その特徴点の動き情報が登録時と照合時で同じであるかどうかで生体を判定する技術を開示している。また、特許文献２は、眼領域や口領域の変化をとらえて生体かどうかを判定する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３５７１８号公報
【特許文献２】特開２００６−３３０９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特徴点の動きや局所的なパターンの変化は、そのままでは２次元的な情報しか持たない特徴のため、画像中の顔の平面的な変化は検出することができるが、それが立体形状であるかどうかを原理的に判定することはできないという問題があった。また、ユーザに対して表情の変化など不自然な動作を強いる必要があった。
【０００６】
一方、ステレオカメラなどを用いて取得画像の奥行きを直接求めれば立体形状かどうかを判定できるが、複数台のカメラや特殊な機材を必要とするため応用範囲が限られるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、取得した画像に含まれている物体が立体物かどうかを精度よく判断できることを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、を特徴とする。
【発明の効果】
【０００９】
本発明によれば、取得した画像データに含まれている物体が立体物かどうかを精度よく判断できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。
【図２】第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。
【図３】第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。
【図４】第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。
【図５】立体的な顔と平面上の顔における照明による影響を表す模式図である。
【図６】第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる立体物判定装置、立体物判定方法及び立体物判定プログラムの実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
図１は、第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部７を備えて構成されている。
【００１３】
取得部１は、対象となる物体を含む画像データを取得する。ここで、対象となる物体とは、人の顔である。なお、取得部１が取得する画像データには、ＵＳＢカメラやデジタルカメラなどの撮像装置が撮像した画像データ、スキャナやその他特殊な機材で取得した画像データ、又は、ＨＤＤ、ビデオテープ、ＤＶＤなどの記憶装置に記憶されている画像データなどが用いられる。さらに、取得部１は、ネットワーク等を経由して外部装置から画像データを取得してもよい。
【００１４】
検出部２は、取得した画像データから顔の特徴点を複数検出する。顔の特徴点の検出にはどのような手法を用いても構わないが、例えば、湯浅らの手法「湯浅ほか，“静止画顔認証のための自動顔特徴点抽出”，信学技報PRMU2006-222，pp．5-10，2007」を使うことで、瞳、鼻孔、目尻、目頭、口端、眉の内端、鼻頂点、口の中点の計１４点の顔特徴点を検出することができる。
【００１５】
検出すべき特徴点の数や種類について特に制限はないが、正規化パターンを計算する際に４点以上の同一平面上に存在しない特徴点が得られていることが望ましい。以下では、正規化パターンの生成に十分な数の顔特徴点（例えば、上記の１４点）が得られているとして説明を行うが、特徴点の数が変化しても提案する立体物判定手法を用いることは可能である。
【００１６】
モデル記憶部３は、照明推定に用いる３次元モデルを記憶する。取得した画像データに含まれる顔の３次元形状が既知であれば最も精度よく処理することができるが、実際には対象となる顔の形状が既知の場合はまれである。そのため、モデル記憶部３は、平均的な顔の形状などの一般的な３次元モデルを記憶する。モデル記憶部３は、一般的な３次元モデルを記憶する代わりに、アジア人などの人種や性別など様々な種類の３次元モデルをそれぞれ記憶しておいてもよい。その場合、パターン正規化部５及び推定部６では、使用する３次元モデルを状況に応じて切り替える必要がある。
【００１７】
３次元モデルは、顔形状の座標（ｘ，ｙ，ｚ）の集合で表現されるが、ここではさらに各座標における法線ベクトル（ｎｘ，ｎｙ，ｎｚ）も得られていると仮定する。なお、３次元座標から法線ベクトルを計算することは可能なため、事前に与えられていない場合でも初期化などの処理により法線ベクトルを求めておけば良い。
【００１８】
モデル記憶制御部４は、モデル記憶部３が３次元モデルを記憶する制御を行う。
【００１９】
パターン正規化部５は、３次元モデル、取得した画像データ、及び、検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する。正規化方法は、瞳や鼻孔などを使って位置や大きさと画面内回転などを一定にするアフィン変換を用いても良いが、非正面向きの顔が入力された際に正規化パターンに歪みが生じてしまうため、ここでは３次元モデルを用いて正規化する３次元正規化法（小坂谷達夫，山口修，“顔認識のための射影変換に基づいた３次元正規化法”，PRMU2005-101，pp．49-54，2005．）を用いることとする。
【００２０】
３次元正規化法は、画像から検出された特徴点の種類（瞳、鼻孔など）と同じ種類の特徴点の座標を３次元モデル上で定義しておき、画像上の特徴点と３次元モデル上の特徴点との位置関係を求めることで、顔画像と３次元モデル全体との対応関係を求める手法である。また、照明方向を推定する際には、正規化された顔パターンと３次元モデルの間で瞳や鼻などの位置関係が対応付けされている場合に最も推定精度が高くなるため、３次元モデルにあわせて正規化処理を行う３次元正規化手法は、画像と３次元モデル間の対応関係を明示的に求めるという点でも好適である。
【００２１】
なお、ここで述べた「正規化パターンと３次元モデルの対応関係が得られている」とは、３次元モデルのｉ番目の座標（ｘｉ，ｙｉ，ｚｉ）において、顔パターンの輝度値（色情報）Ｉｉが得られている状態のことを指す。３次元正規化法によって、任意の３次元モデル上の座標において、正規化パターンの輝度値を求めることが可能である。
【００２２】
推定部６は、正規化した顔パターンと３次元モデルとから、画像データ中の顔に照射されている光の照明方向を推定する。顔の表面がランバート面であり、照明が単一方向からの点光源であると仮定すると、顔表面の点ｉに関する輝度値Ｉｉは以下の式（１）により定義することができる。
【数１】
ただし、ａは顔表面のアルベド、ｌは反射率、ｎｉは点ｉにおける法線ベクトル、ｓは照明方向ベクトル、Ｉａは環境光などによるバイアスであり、アルベド、反射率、バイアスは顔全体で一定であるとする。また、負の光量は存在しないため最大値が０となるように制限をかけている。
【００２３】
切り出された顔パターン全ての輝度値に関して式（１）を考え、簡単のため最大値関数を無視して近似すると、以下の式（２）のような行列表現で定義することができる。
【数２】
【００２４】
ここで、法線ベクトル（ｎｘｉ，ｎｙｉ，ｎｚｉ，１）で定義される行列（簡単のため以後、法線行列と呼ぶ）の疑似逆行列を求めることで、式（３）のように照明方向ベクトルを求めることが可能である。ただし、式（３）における†は疑似逆行列を求める演算子である。
【００２５】
【数３】
【００２６】
さらにアルベドなどの影響を取り除くため、照明方向ベクトル（ｓｘ，ｓｙ，ｓｚ）をノルム１となるように正規化することで最終的な照明方向を得ることができる。また、式（２）で求めた法線行列は３次元モデルが一定ならば不変であるため、３次元モデルごとに法線行列の疑似逆行列をあらかじめ計算しておきモデル記憶部３に記憶しておくことで、基本的にこの逆行列と正規化パターンから得られるパターンベクトルとの内積を計算するだけで照明方向の推定を行うことができ、極めて高速に処理を行うことが可能である。
【００２７】
ここで求めた照明方向は、顔表面がランバート面であると仮定したり、負の光量を無視したりするなどの近似が導入されており、必ずしも実際の照明方向とは一致しない場合もある。しかし、本発明では立体物と写真の区別のために照明方向を利用するだけであり、厳密な光源の方向を必要としないため問題にはならない。
【００２８】
ただし、３次元正規化法による正規化パターンを用いて計算した「照明方向」とは、正規化パターン上の座標系を基準とした照明方向となることに注意が必要である。３次元正規化法によって得られる顔パターンでは顔の向きは３次元モデルと同一（通常は正面向き）に正規化されてしまうため、例えば、照明環境を固定し、顔の向きを正面から横に動かした場合には、顔の向きは正規化されているため、あたかも相対的に照明方向が動いているような結果が得られる。画像上での座標系に基づく照明方向が必要な場合には、３次元正規化を行う際に求める運動行列（検出された顔特徴点と３次元モデル上の特徴点の対応関係を表す行列）によって画像上の照明方向に変換することが可能である。
【００２９】
判定部７は、推定した照明方向を用いて取得した画像データ中の顔が立体物であるかを判定する。照明方向を用いた判定には様々な方法が考えられるが、どのような手法を用いて判定してもよい。例えば、判定を行う場所の環境が既知であれば、環境に応じた照明方向も既知であるため、推定した照明方向と一致するかどうかを調べることで、その場に存在する立体的な顔であるかどうかを判断することが可能である。外光などの影響がある場所で判定を行う場合には、時間や場所、方位、天候なども考慮することで周囲の照明条件を推定し、入力された顔画像の照明方向と一致するかどうかを判定することもできる。
【００３０】
また、顔認識の際に写真か本物の顔かを判定する場合には、ユーザが以前にその場所で登録を行った際の照明方向を記録しておき、認証時には照明方向が登録時と一致するかどうかを調べることで本物の顔であるかどうかを調べることもできる。本人の顔が登録されていない場合には、他のユーザの照明方向の平均などを用いて代用してもよい。照明方向との一致を調べる際には、照明方向ベクトルの内積や、照明方向ベクトル間の差の大きさなど、どのような基準で測ってもよいし、複数フレームの平均や最小値、分散などの統計量などから判断してもよい。
【００３１】
次に、第１の実施の形態にかかる立体物判定装置の動作について説明する。図２は、第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。
【００３２】
初めに、取得部１は、判定対象となる物体（人の顔）を含む画像を取得する（ステップＳ１１）。次に、検出部２は、取得部１で取得した顔の画像から特徴点を複数検出する（ステップＳ１２）。次に、パターン正規化部５は、モデル記憶部３に記憶された３次元モデル、取得部１で取得した顔の画像、及び、検出部２で検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する（ステップＳ１３）。推定部６は、パターン正規化部５で得られた正規化済みの顔パターンと、３次元モデルの法線ベクトルとを用いて照明方向の推定を行う（ステップＳ１４）。最後に、判定部７は、推定部６で得られた照明方向を用いて、取得した画像中の顔が立体物であるか判定する（ステップＳ１５）。
【００３３】
以上より、取得した顔の画像が立体か否か、即ち、写真による他人のなりすましが行われているか否かが判定される。
【００３４】
（変形例１）
本実施の形態では、判定部７は現在の照明環境と推定した照明方向とを比較して立体物かどうかを判定していたが、ユーザの顔表面の照明条件に影響を与えるような照明装置を別途用意し、立体物判定装置が照明装置を制御するようにしてもよい。図３は、第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに照明制御部８を備えて構成されており、照明制御部８は照明装置９と接続されている。
【００３５】
照明装置９は、特定の方向から光を照射し、ユーザを照らす照明であり、照明制御部８は、照明装置９のオン又はオフを制御する。そして、照明制御部８による照明装置９のオン・オフに従って、推定部６が推定した照明方向が変化すれば、判定部７は、取得した画像データ中の顔が立体物であると判断することができる。一方、写真などの平面の物体であれば、照明制御部８による照明装置９のオン・オフによらず照明方向は変わらないため、精度よく立体物と区別することができる。
【００３６】
（変形例２）
本実施の形態では、パターン正規化部５は顔全体の正規化パターンを生成するが、生成する正規化パターンの範囲が顔全体でなく、顔の一部分または複数の部分の組み合わせでもよい。推定部６は、正規化パターンに対応する法線ベクトルさえ存在すれば、正規化パターンの領域について制限されることなく照明方向を推定することができるため、どのような顔の領域を用いても構わない。また、パターン正規化部５で複数の領域の正規化パターンを生成しておき、推定部６がそれぞれの正規化パターンから照明方向を推定して、判定部７が立体物かどうかの判定を行ってもよい。例えば、人間の顔の中でも比較的凹凸がはっきりしている鼻付近の領域のみを用いて判定したり、顔の領域を左右半分に分けてそれぞれ判定を行った後に判定結果を統合したりしてもよい。
【００３７】
このように、第１の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向から画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
【００３８】
（第２の実施の形態）
第１の実施の形態では、判定部７は照明方向のみを利用して立体物か否かを判定するが、第２の実施の形態では、判定部７は照明方向に加えて、取得した画像における顔の向きを考慮して立体物か否かを判定する。第２の実施の形態について、添付図面を参照して説明する。本実施の形態にかかる立体物判定装置の構成について、第１の実施の形態と異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、同一の符号が付された箇所については、上述した説明を参照し、ここでの説明を省略する。
【００３９】
図４は、第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部１０を備えて構成されている。
【００４０】
判定部１０は、推定した照明方向と計算した取得画像データにおける顔の向きとを用いて、取得した画像データ中の顔が立体物であるかを判定する。図５は、立体的な顔と平面上の顔における照明による影響を表す模式図である。ここで、左側と中央の図は、顔が立体である場合を表し、右側の図は、写真に写った顔の場合を表している。複数枚の画像を取得した場合、立体物であれば顔の向きの変化に従って照明方向も変化（３次元モデル上の座標系を基準とすることに注意）するが、写真などの平面的な物体であれば、写真をどのように動かしても顔の向きや照明方向は変化しないはずである。判定部１０では、この原理を判定に利用している。
【００４１】
次に、判定部１０が行う照明方向と顔の向きとに基づく判定方法について説明する。顔の向きを表す回転行列Ｍは、検出部２において検出された顔特徴点と３次元モデル上の顔特徴点とから、例えば、特開２００８−１９４１４６号公報で開示されている手法を用いることによって計算することができる。また、顔の向きを表す方向ベクトルを、３次元モデル上の座標系でｚ座標に平行な単位ベクトル（０，０，１）で表現したとすると、画面上での顔の向きを表す方向ベクトルｘは回転行列Ｍとの積によって求めることができる。
【００４２】
この時の３次元モデルの座標系を基準とした照明方向ベクトルをｙとすると、立体物であればｘとｙはある関係に基づいて変化し、写真などの平面物体であれば変化しないか、またはノイズのような相関のない変化となるはずである。このような２つの量の関係を調べる手法は数多く存在するが、ここでは重回帰による検定によって判定する手法を用いる。もちろん、ここに述べる手法以外にいかなる方法を用いて顔の向きと照明方向との関係を判定しても構わない。
【００４３】
まず、取得部１では動画系列によって複数枚の画像（フレーム）が取得されたとする。ｉ番目の画像における顔の向きをｘｉ、照明方向をｙｉとすると、以下のような式でそれぞれの関係が表されると仮定する。
【数４】
ここで、ｘｉとｙｉは３次元のベクトル、行列Ａは３×３の行列である。式（４）は未知数が９個の式であるので、３フレーム以上の画像があれば最小自乗法などを用いて容易に解くことができる。
【００４４】
式（４）を解いて得られた行列Ａに基づき、以下の式のように顔の向きｘｉから予測した照明方向Ｙｉを式（５）から求める。
【数５】
【００４５】
このとき、全変動ＳＴは重回帰による変動ＳＲと残差の変動ＳＥの和で表すことができ、それぞれ以下の式（６）のように定義することができる。
【数６】
ただし、ｙは照明方向ベクトルの平均、Ｙは行列Ａによって予測した照明方向ベクトルの平均、ｎは用いたフレーム数を表す。
【００４６】
このとき、不偏分散ＶＲ及びＶＥ、分散比Ｆ０は以下の式（７）で定義される。ただし、ｐは自由度を表す定数である。
【数７】
【００４７】
この分散比Ｆ０の値があるしきい値より大きければ、式（４）で定義した重回帰式が目的変量Ｙの予測に役立つ、つまり顔の向きから照明方向の予測が可能であることを示し、両者がある関係に従って変化している、つまり３次元的な形状を持つ本物の顔であることが分かる。一方、分散比Ｆ０がしきい値以下の場合には、顔の向きから照明方向を推定することができない、つまり両者に（少なくとも線形で表現可能な）関係性はないと判断することができる。写真の場合には理想的には顔の向きの照明方向も一定になるはずであるが、顔特徴点の検出誤差などもあるため全てのフレームで完全に一定にはならない。しかし、検出誤差などのノイズがもたらす照明方向や顔の向きの変化は互いに無相関であると考えられることから、検定によって写真などの平面上の顔であると判断できる。
【００４８】
（変形例３）
本実施の形態では、３次元モデルを基準とした照明方向を用いているため、顔の向き及び照明方向の両方とも顔の動きに従って変化し、その動きを利用して立体物かどうかを判定していたが、取得画像の座標系を基準とした照明方向を用いて立体物かどうかを判定することも可能である。取得画像を撮影したときの照明条件が一定であれば、画像上の座標系に変換された照明方向ベクトルは顔の向きによらず一定となる。一方で写真上の顔であれば、顔の向きも照明方向も一定である。従って、複数フレームを用いて顔の向きと照明方向ベクトルを観察した際に、顔の向きに変化があるにも関わらず照明方向が一定であれば立体的な顔であると判断することができる。
【００４９】
例えば、複数のフレームから抽出した画像上の照明方向と顔の向きに関して、それぞれ要素の変化について標準偏差（または分散）の和を求めておき、この和の値がしきい値よりも小さい場合には変化がないとして立体物ではないと判断する。また、判定を行う際にはユーザは通常停止して顔を動かすことが多いと考えられるので、画面上の顔特徴点の全体的な動きを正規化して判定を行っても良い。例えば、特徴点の重心座標の標準偏差を求めておき、顔の向きと照明方向の標準偏差をそれぞれ特徴点の重心の標準偏差で正規化してもよい。
【００５０】
また、本実施の形態で述べた判定方法、及び、第１の実施の形態で述べた判定方法を相互に組み合わせて実行することで、判定精度を向上させることも可能である。
【００５１】
（変形例４）
本実施の形態では、複数フレームによる立体物判定のために、取得する顔の向きに変化がある必要がある。例えば、ユーザが全く動かない場合には写真と立体物とを区別することはできない。そこで、効率的に判定を行うためにユーザに顔を動かすように指示を行う指示装置を別途用意し、立体物判定装置が指示装置を制御するようにしてもよい。図６は、第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに指示制御部１１を備えて構成されており、指示制御部１１は指示装置１２と接続されている。
【００５２】
指示装置１２は、ユーザに顔を動かすように指示を行う装置であり、画像、光、音などユーザが知覚可能な方法を用いてユーザに顔を動かすように指示を行う。指示制御部１１は、指示装置１２の動作を制御する。そして、指示制御部１１の制御による指示装置１２の指示に従ってユーザが顔を動かすことにより、判定部７は写真と立体物とを区別することができる。
【００５３】
このように、第２の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向と計算した画像データにおける顔（物体）の向きとを用いて、画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
【００５４】
本実施の形態の立体物判定装置は、ＣＰＵなどの制御装置と、記憶装置と、外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５５】
本実施形態の立体物判定装置で実行される立体物判定プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００５６】
また、本実施形態の立体物判定装置で実行される立体物判定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の立体物判定装置で実行される立体物判定プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５７】
また、本実施形態の立体物判定プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００５８】
本実施の形態の立体物判定装置で実行される立体物判定プログラムは、上述した各部（取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から立体物判定プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部が主記憶装置上に生成されるようになっている。
【００５９】
本発明は、例えば、コンピュータに搭載され、ユーザを認証するために用いることができる。
【００６０】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
２ 検出部
５ パターン正規化部
６ 推定部
７、１０ 判定部
【技術分野】
【０００１】
本発明は、立体物判定装置、立体物判定方法及び立体物判定プログラムに関する。
【背景技術】
【０００２】
従来より、顔の画像による本人判定システムにおいては、写真などを使った他人のなりすましが問題となる場合がある。写真による他人のなりすましを防ぐためには、カメラなどから入力された顔が、本物の顔であるか、又は、写真などの平面上に存在する顔なのかを判定する必要がある。
【０００３】
これに対して、特許文献１は、取得画像（データ）から顔の特徴点を検出し、その特徴点の動き情報が登録時と照合時で同じであるかどうかで生体を判定する技術を開示している。また、特許文献２は、眼領域や口領域の変化をとらえて生体かどうかを判定する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２３５７１８号公報
【特許文献２】特開２００６−３３０９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特徴点の動きや局所的なパターンの変化は、そのままでは２次元的な情報しか持たない特徴のため、画像中の顔の平面的な変化は検出することができるが、それが立体形状であるかどうかを原理的に判定することはできないという問題があった。また、ユーザに対して表情の変化など不自然な動作を強いる必要があった。
【０００６】
一方、ステレオカメラなどを用いて取得画像の奥行きを直接求めれば立体形状かどうかを判定できるが、複数台のカメラや特殊な機材を必要とするため応用範囲が限られるという問題があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、取得した画像に含まれている物体が立体物かどうかを精度よく判断できることを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、を特徴とする。
【発明の効果】
【０００９】
本発明によれば、取得した画像データに含まれている物体が立体物かどうかを精度よく判断できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。
【図２】第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。
【図３】第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。
【図４】第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。
【図５】立体的な顔と平面上の顔における照明による影響を表す模式図である。
【図６】第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる立体物判定装置、立体物判定方法及び立体物判定プログラムの実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
図１は、第１の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部７を備えて構成されている。
【００１３】
取得部１は、対象となる物体を含む画像データを取得する。ここで、対象となる物体とは、人の顔である。なお、取得部１が取得する画像データには、ＵＳＢカメラやデジタルカメラなどの撮像装置が撮像した画像データ、スキャナやその他特殊な機材で取得した画像データ、又は、ＨＤＤ、ビデオテープ、ＤＶＤなどの記憶装置に記憶されている画像データなどが用いられる。さらに、取得部１は、ネットワーク等を経由して外部装置から画像データを取得してもよい。
【００１４】
検出部２は、取得した画像データから顔の特徴点を複数検出する。顔の特徴点の検出にはどのような手法を用いても構わないが、例えば、湯浅らの手法「湯浅ほか，“静止画顔認証のための自動顔特徴点抽出”，信学技報PRMU2006-222，pp．5-10，2007」を使うことで、瞳、鼻孔、目尻、目頭、口端、眉の内端、鼻頂点、口の中点の計１４点の顔特徴点を検出することができる。
【００１５】
検出すべき特徴点の数や種類について特に制限はないが、正規化パターンを計算する際に４点以上の同一平面上に存在しない特徴点が得られていることが望ましい。以下では、正規化パターンの生成に十分な数の顔特徴点（例えば、上記の１４点）が得られているとして説明を行うが、特徴点の数が変化しても提案する立体物判定手法を用いることは可能である。
【００１６】
モデル記憶部３は、照明推定に用いる３次元モデルを記憶する。取得した画像データに含まれる顔の３次元形状が既知であれば最も精度よく処理することができるが、実際には対象となる顔の形状が既知の場合はまれである。そのため、モデル記憶部３は、平均的な顔の形状などの一般的な３次元モデルを記憶する。モデル記憶部３は、一般的な３次元モデルを記憶する代わりに、アジア人などの人種や性別など様々な種類の３次元モデルをそれぞれ記憶しておいてもよい。その場合、パターン正規化部５及び推定部６では、使用する３次元モデルを状況に応じて切り替える必要がある。
【００１７】
３次元モデルは、顔形状の座標（ｘ，ｙ，ｚ）の集合で表現されるが、ここではさらに各座標における法線ベクトル（ｎｘ，ｎｙ，ｎｚ）も得られていると仮定する。なお、３次元座標から法線ベクトルを計算することは可能なため、事前に与えられていない場合でも初期化などの処理により法線ベクトルを求めておけば良い。
【００１８】
モデル記憶制御部４は、モデル記憶部３が３次元モデルを記憶する制御を行う。
【００１９】
パターン正規化部５は、３次元モデル、取得した画像データ、及び、検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する。正規化方法は、瞳や鼻孔などを使って位置や大きさと画面内回転などを一定にするアフィン変換を用いても良いが、非正面向きの顔が入力された際に正規化パターンに歪みが生じてしまうため、ここでは３次元モデルを用いて正規化する３次元正規化法（小坂谷達夫，山口修，“顔認識のための射影変換に基づいた３次元正規化法”，PRMU2005-101，pp．49-54，2005．）を用いることとする。
【００２０】
３次元正規化法は、画像から検出された特徴点の種類（瞳、鼻孔など）と同じ種類の特徴点の座標を３次元モデル上で定義しておき、画像上の特徴点と３次元モデル上の特徴点との位置関係を求めることで、顔画像と３次元モデル全体との対応関係を求める手法である。また、照明方向を推定する際には、正規化された顔パターンと３次元モデルの間で瞳や鼻などの位置関係が対応付けされている場合に最も推定精度が高くなるため、３次元モデルにあわせて正規化処理を行う３次元正規化手法は、画像と３次元モデル間の対応関係を明示的に求めるという点でも好適である。
【００２１】
なお、ここで述べた「正規化パターンと３次元モデルの対応関係が得られている」とは、３次元モデルのｉ番目の座標（ｘｉ，ｙｉ，ｚｉ）において、顔パターンの輝度値（色情報）Ｉｉが得られている状態のことを指す。３次元正規化法によって、任意の３次元モデル上の座標において、正規化パターンの輝度値を求めることが可能である。
【００２２】
推定部６は、正規化した顔パターンと３次元モデルとから、画像データ中の顔に照射されている光の照明方向を推定する。顔の表面がランバート面であり、照明が単一方向からの点光源であると仮定すると、顔表面の点ｉに関する輝度値Ｉｉは以下の式（１）により定義することができる。
【数１】
ただし、ａは顔表面のアルベド、ｌは反射率、ｎｉは点ｉにおける法線ベクトル、ｓは照明方向ベクトル、Ｉａは環境光などによるバイアスであり、アルベド、反射率、バイアスは顔全体で一定であるとする。また、負の光量は存在しないため最大値が０となるように制限をかけている。
【００２３】
切り出された顔パターン全ての輝度値に関して式（１）を考え、簡単のため最大値関数を無視して近似すると、以下の式（２）のような行列表現で定義することができる。
【数２】
【００２４】
ここで、法線ベクトル（ｎｘｉ，ｎｙｉ，ｎｚｉ，１）で定義される行列（簡単のため以後、法線行列と呼ぶ）の疑似逆行列を求めることで、式（３）のように照明方向ベクトルを求めることが可能である。ただし、式（３）における†は疑似逆行列を求める演算子である。
【００２５】
【数３】
【００２６】
さらにアルベドなどの影響を取り除くため、照明方向ベクトル（ｓｘ，ｓｙ，ｓｚ）をノルム１となるように正規化することで最終的な照明方向を得ることができる。また、式（２）で求めた法線行列は３次元モデルが一定ならば不変であるため、３次元モデルごとに法線行列の疑似逆行列をあらかじめ計算しておきモデル記憶部３に記憶しておくことで、基本的にこの逆行列と正規化パターンから得られるパターンベクトルとの内積を計算するだけで照明方向の推定を行うことができ、極めて高速に処理を行うことが可能である。
【００２７】
ここで求めた照明方向は、顔表面がランバート面であると仮定したり、負の光量を無視したりするなどの近似が導入されており、必ずしも実際の照明方向とは一致しない場合もある。しかし、本発明では立体物と写真の区別のために照明方向を利用するだけであり、厳密な光源の方向を必要としないため問題にはならない。
【００２８】
ただし、３次元正規化法による正規化パターンを用いて計算した「照明方向」とは、正規化パターン上の座標系を基準とした照明方向となることに注意が必要である。３次元正規化法によって得られる顔パターンでは顔の向きは３次元モデルと同一（通常は正面向き）に正規化されてしまうため、例えば、照明環境を固定し、顔の向きを正面から横に動かした場合には、顔の向きは正規化されているため、あたかも相対的に照明方向が動いているような結果が得られる。画像上での座標系に基づく照明方向が必要な場合には、３次元正規化を行う際に求める運動行列（検出された顔特徴点と３次元モデル上の特徴点の対応関係を表す行列）によって画像上の照明方向に変換することが可能である。
【００２９】
判定部７は、推定した照明方向を用いて取得した画像データ中の顔が立体物であるかを判定する。照明方向を用いた判定には様々な方法が考えられるが、どのような手法を用いて判定してもよい。例えば、判定を行う場所の環境が既知であれば、環境に応じた照明方向も既知であるため、推定した照明方向と一致するかどうかを調べることで、その場に存在する立体的な顔であるかどうかを判断することが可能である。外光などの影響がある場所で判定を行う場合には、時間や場所、方位、天候なども考慮することで周囲の照明条件を推定し、入力された顔画像の照明方向と一致するかどうかを判定することもできる。
【００３０】
また、顔認識の際に写真か本物の顔かを判定する場合には、ユーザが以前にその場所で登録を行った際の照明方向を記録しておき、認証時には照明方向が登録時と一致するかどうかを調べることで本物の顔であるかどうかを調べることもできる。本人の顔が登録されていない場合には、他のユーザの照明方向の平均などを用いて代用してもよい。照明方向との一致を調べる際には、照明方向ベクトルの内積や、照明方向ベクトル間の差の大きさなど、どのような基準で測ってもよいし、複数フレームの平均や最小値、分散などの統計量などから判断してもよい。
【００３１】
次に、第１の実施の形態にかかる立体物判定装置の動作について説明する。図２は、第１の実施の形態にかかる立体物判定装置の動作を示すフローチャートである。
【００３２】
初めに、取得部１は、判定対象となる物体（人の顔）を含む画像を取得する（ステップＳ１１）。次に、検出部２は、取得部１で取得した顔の画像から特徴点を複数検出する（ステップＳ１２）。次に、パターン正規化部５は、モデル記憶部３に記憶された３次元モデル、取得部１で取得した顔の画像、及び、検出部２で検出した複数の特徴点からサイズなどを正規化した顔パターンを生成する（ステップＳ１３）。推定部６は、パターン正規化部５で得られた正規化済みの顔パターンと、３次元モデルの法線ベクトルとを用いて照明方向の推定を行う（ステップＳ１４）。最後に、判定部７は、推定部６で得られた照明方向を用いて、取得した画像中の顔が立体物であるか判定する（ステップＳ１５）。
【００３３】
以上より、取得した顔の画像が立体か否か、即ち、写真による他人のなりすましが行われているか否かが判定される。
【００３４】
（変形例１）
本実施の形態では、判定部７は現在の照明環境と推定した照明方向とを比較して立体物かどうかを判定していたが、ユーザの顔表面の照明条件に影響を与えるような照明装置を別途用意し、立体物判定装置が照明装置を制御するようにしてもよい。図３は、第１の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに照明制御部８を備えて構成されており、照明制御部８は照明装置９と接続されている。
【００３５】
照明装置９は、特定の方向から光を照射し、ユーザを照らす照明であり、照明制御部８は、照明装置９のオン又はオフを制御する。そして、照明制御部８による照明装置９のオン・オフに従って、推定部６が推定した照明方向が変化すれば、判定部７は、取得した画像データ中の顔が立体物であると判断することができる。一方、写真などの平面の物体であれば、照明制御部８による照明装置９のオン・オフによらず照明方向は変わらないため、精度よく立体物と区別することができる。
【００３６】
（変形例２）
本実施の形態では、パターン正規化部５は顔全体の正規化パターンを生成するが、生成する正規化パターンの範囲が顔全体でなく、顔の一部分または複数の部分の組み合わせでもよい。推定部６は、正規化パターンに対応する法線ベクトルさえ存在すれば、正規化パターンの領域について制限されることなく照明方向を推定することができるため、どのような顔の領域を用いても構わない。また、パターン正規化部５で複数の領域の正規化パターンを生成しておき、推定部６がそれぞれの正規化パターンから照明方向を推定して、判定部７が立体物かどうかの判定を行ってもよい。例えば、人間の顔の中でも比較的凹凸がはっきりしている鼻付近の領域のみを用いて判定したり、顔の領域を左右半分に分けてそれぞれ判定を行った後に判定結果を統合したりしてもよい。
【００３７】
このように、第１の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向から画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
【００３８】
（第２の実施の形態）
第１の実施の形態では、判定部７は照明方向のみを利用して立体物か否かを判定するが、第２の実施の形態では、判定部７は照明方向に加えて、取得した画像における顔の向きを考慮して立体物か否かを判定する。第２の実施の形態について、添付図面を参照して説明する。本実施の形態にかかる立体物判定装置の構成について、第１の実施の形態と異なる部分を説明する。他の部分については第１の実施の形態と同様であるので、同一の符号が付された箇所については、上述した説明を参照し、ここでの説明を省略する。
【００３９】
図４は、第２の実施の形態にかかる立体物判定装置の構成を示すブロック図である。立体物判定装置は、取得部１、検出部２、モデル記憶部３、モデル記憶制御部４、パターン正規化部５、推定部６、及び、判定部１０を備えて構成されている。
【００４０】
判定部１０は、推定した照明方向と計算した取得画像データにおける顔の向きとを用いて、取得した画像データ中の顔が立体物であるかを判定する。図５は、立体的な顔と平面上の顔における照明による影響を表す模式図である。ここで、左側と中央の図は、顔が立体である場合を表し、右側の図は、写真に写った顔の場合を表している。複数枚の画像を取得した場合、立体物であれば顔の向きの変化に従って照明方向も変化（３次元モデル上の座標系を基準とすることに注意）するが、写真などの平面的な物体であれば、写真をどのように動かしても顔の向きや照明方向は変化しないはずである。判定部１０では、この原理を判定に利用している。
【００４１】
次に、判定部１０が行う照明方向と顔の向きとに基づく判定方法について説明する。顔の向きを表す回転行列Ｍは、検出部２において検出された顔特徴点と３次元モデル上の顔特徴点とから、例えば、特開２００８−１９４１４６号公報で開示されている手法を用いることによって計算することができる。また、顔の向きを表す方向ベクトルを、３次元モデル上の座標系でｚ座標に平行な単位ベクトル（０，０，１）で表現したとすると、画面上での顔の向きを表す方向ベクトルｘは回転行列Ｍとの積によって求めることができる。
【００４２】
この時の３次元モデルの座標系を基準とした照明方向ベクトルをｙとすると、立体物であればｘとｙはある関係に基づいて変化し、写真などの平面物体であれば変化しないか、またはノイズのような相関のない変化となるはずである。このような２つの量の関係を調べる手法は数多く存在するが、ここでは重回帰による検定によって判定する手法を用いる。もちろん、ここに述べる手法以外にいかなる方法を用いて顔の向きと照明方向との関係を判定しても構わない。
【００４３】
まず、取得部１では動画系列によって複数枚の画像（フレーム）が取得されたとする。ｉ番目の画像における顔の向きをｘｉ、照明方向をｙｉとすると、以下のような式でそれぞれの関係が表されると仮定する。
【数４】
ここで、ｘｉとｙｉは３次元のベクトル、行列Ａは３×３の行列である。式（４）は未知数が９個の式であるので、３フレーム以上の画像があれば最小自乗法などを用いて容易に解くことができる。
【００４４】
式（４）を解いて得られた行列Ａに基づき、以下の式のように顔の向きｘｉから予測した照明方向Ｙｉを式（５）から求める。
【数５】
【００４５】
このとき、全変動ＳＴは重回帰による変動ＳＲと残差の変動ＳＥの和で表すことができ、それぞれ以下の式（６）のように定義することができる。
【数６】
ただし、ｙは照明方向ベクトルの平均、Ｙは行列Ａによって予測した照明方向ベクトルの平均、ｎは用いたフレーム数を表す。
【００４６】
このとき、不偏分散ＶＲ及びＶＥ、分散比Ｆ０は以下の式（７）で定義される。ただし、ｐは自由度を表す定数である。
【数７】
【００４７】
この分散比Ｆ０の値があるしきい値より大きければ、式（４）で定義した重回帰式が目的変量Ｙの予測に役立つ、つまり顔の向きから照明方向の予測が可能であることを示し、両者がある関係に従って変化している、つまり３次元的な形状を持つ本物の顔であることが分かる。一方、分散比Ｆ０がしきい値以下の場合には、顔の向きから照明方向を推定することができない、つまり両者に（少なくとも線形で表現可能な）関係性はないと判断することができる。写真の場合には理想的には顔の向きの照明方向も一定になるはずであるが、顔特徴点の検出誤差などもあるため全てのフレームで完全に一定にはならない。しかし、検出誤差などのノイズがもたらす照明方向や顔の向きの変化は互いに無相関であると考えられることから、検定によって写真などの平面上の顔であると判断できる。
【００４８】
（変形例３）
本実施の形態では、３次元モデルを基準とした照明方向を用いているため、顔の向き及び照明方向の両方とも顔の動きに従って変化し、その動きを利用して立体物かどうかを判定していたが、取得画像の座標系を基準とした照明方向を用いて立体物かどうかを判定することも可能である。取得画像を撮影したときの照明条件が一定であれば、画像上の座標系に変換された照明方向ベクトルは顔の向きによらず一定となる。一方で写真上の顔であれば、顔の向きも照明方向も一定である。従って、複数フレームを用いて顔の向きと照明方向ベクトルを観察した際に、顔の向きに変化があるにも関わらず照明方向が一定であれば立体的な顔であると判断することができる。
【００４９】
例えば、複数のフレームから抽出した画像上の照明方向と顔の向きに関して、それぞれ要素の変化について標準偏差（または分散）の和を求めておき、この和の値がしきい値よりも小さい場合には変化がないとして立体物ではないと判断する。また、判定を行う際にはユーザは通常停止して顔を動かすことが多いと考えられるので、画面上の顔特徴点の全体的な動きを正規化して判定を行っても良い。例えば、特徴点の重心座標の標準偏差を求めておき、顔の向きと照明方向の標準偏差をそれぞれ特徴点の重心の標準偏差で正規化してもよい。
【００５０】
また、本実施の形態で述べた判定方法、及び、第１の実施の形態で述べた判定方法を相互に組み合わせて実行することで、判定精度を向上させることも可能である。
【００５１】
（変形例４）
本実施の形態では、複数フレームによる立体物判定のために、取得する顔の向きに変化がある必要がある。例えば、ユーザが全く動かない場合には写真と立体物とを区別することはできない。そこで、効率的に判定を行うためにユーザに顔を動かすように指示を行う指示装置を別途用意し、立体物判定装置が指示装置を制御するようにしてもよい。図６は、第２の実施の形態の変形例にかかる立体物判定装置の構成を示すブロック図である。変形例にかかる立体物判定装置は、さらに指示制御部１１を備えて構成されており、指示制御部１１は指示装置１２と接続されている。
【００５２】
指示装置１２は、ユーザに顔を動かすように指示を行う装置であり、画像、光、音などユーザが知覚可能な方法を用いてユーザに顔を動かすように指示を行う。指示制御部１１は、指示装置１２の動作を制御する。そして、指示制御部１１の制御による指示装置１２の指示に従ってユーザが顔を動かすことにより、判定部７は写真と立体物とを区別することができる。
【００５３】
このように、第２の実施の形態の立体物判定装置によれば、取得した顔（物体）を含む画像データから、画像データの顔（物体）に照射されている照明の方向を推定し、この照射方向と計算した画像データにおける顔（物体）の向きとを用いて、画像データに含まれている顔を有する人（物体）がその場に存在する本人（立体物）かどうかを精度よく判断することが可能となる。
【００５４】
本実施の形態の立体物判定装置は、ＣＰＵなどの制御装置と、記憶装置と、外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５５】
本実施形態の立体物判定装置で実行される立体物判定プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００５６】
また、本実施形態の立体物判定装置で実行される立体物判定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の立体物判定装置で実行される立体物判定プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５７】
また、本実施形態の立体物判定プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００５８】
本実施の形態の立体物判定装置で実行される立体物判定プログラムは、上述した各部（取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から立体物判定プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、検出部、モデル記憶制御部、パターン正規化部、推定部、判定部、照明制御部、及び、指示制御部が主記憶装置上に生成されるようになっている。
【００５９】
本発明は、例えば、コンピュータに搭載され、ユーザを認証するために用いることができる。
【００６０】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６１】
２ 検出部
５ パターン正規化部
６ 推定部
７、１０ 判定部
【特許請求の範囲】
【請求項１】
取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、
前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、
前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、
前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、
を特徴とする立体物判定装置。
【請求項２】
前記推定部は、前記３次元モデルの法線ベクトルと前記正規化パターンの輝度値とに基づいて前記照明方向を推定すること、を特徴とする請求項１に記載の立体物判定装置。
【請求項３】
前記推定部は、前記法線ベクトルを要素に持つ行列の疑似逆行列と、前記正規化パターンから得られるパターンベクトルとの積を計算することで前記照明方向を推定すること、を特徴とする請求項２に記載の立体物判定装置。
【請求項４】
前記判定部は、前記照明方向と、前記３次元モデルの特徴点及び前記画像データから検出された特徴点から計算された物体の向きとを用いて、前記画像データ中の前記物体が立体物であるかを判定すること、を特徴とする請求項１乃至請求項３のいずれか１項に記載の立体物判定装置。
【請求項５】
前記光を照射する照明装置を制御する照明制御部をさらに備えたこと、を特徴とする請求項１乃至請求項４のいずれか１項に記載の立体物判定装置。
【請求項６】
前記パターン正規化部は、前記画像データ中の前記物体の複数の部分から複数の正規化パターンを生成し、
前記推定部は、前記複数の正規化パターンから複数の照明方向を推定し、
前記判定部は、前記複数の照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定すること、
を特徴とする請求項１乃至請求項５のいずれか１項に記載の立体物判定装置。
【請求項７】
ユーザに顔を動かすように指示を行う指示装置を制御する指示制御部をさらに備えたこと、を特徴とする請求項１乃至請求項６のいずれか１項に記載の立体物判定装置。
【請求項８】
検出部が、取得した画像データに含まれる物体の複数の特徴点を検出する検出ステップと、
パターン正規化部が、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化ステップと、
推定部が、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定ステップと、
判定部が、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定ステップと、を含むこと、
を特徴とする立体物判定方法。
【請求項９】
コンピュータを、
取得した画像データに含まれる物体の複数の特徴点を検出する検出部、
前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部、
前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部、
前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部、
として機能させるための立体物判定プログラム。
【請求項１】
取得した画像データに含まれる物体の複数の特徴点を検出する検出部と、
前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部と、
前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部と、
前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部と、を備えたこと、
を特徴とする立体物判定装置。
【請求項２】
前記推定部は、前記３次元モデルの法線ベクトルと前記正規化パターンの輝度値とに基づいて前記照明方向を推定すること、を特徴とする請求項１に記載の立体物判定装置。
【請求項３】
前記推定部は、前記法線ベクトルを要素に持つ行列の疑似逆行列と、前記正規化パターンから得られるパターンベクトルとの積を計算することで前記照明方向を推定すること、を特徴とする請求項２に記載の立体物判定装置。
【請求項４】
前記判定部は、前記照明方向と、前記３次元モデルの特徴点及び前記画像データから検出された特徴点から計算された物体の向きとを用いて、前記画像データ中の前記物体が立体物であるかを判定すること、を特徴とする請求項１乃至請求項３のいずれか１項に記載の立体物判定装置。
【請求項５】
前記光を照射する照明装置を制御する照明制御部をさらに備えたこと、を特徴とする請求項１乃至請求項４のいずれか１項に記載の立体物判定装置。
【請求項６】
前記パターン正規化部は、前記画像データ中の前記物体の複数の部分から複数の正規化パターンを生成し、
前記推定部は、前記複数の正規化パターンから複数の照明方向を推定し、
前記判定部は、前記複数の照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定すること、
を特徴とする請求項１乃至請求項５のいずれか１項に記載の立体物判定装置。
【請求項７】
ユーザに顔を動かすように指示を行う指示装置を制御する指示制御部をさらに備えたこと、を特徴とする請求項１乃至請求項６のいずれか１項に記載の立体物判定装置。
【請求項８】
検出部が、取得した画像データに含まれる物体の複数の特徴点を検出する検出ステップと、
パターン正規化部が、前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化ステップと、
推定部が、前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定ステップと、
判定部が、前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定ステップと、を含むこと、
を特徴とする立体物判定方法。
【請求項９】
コンピュータを、
取得した画像データに含まれる物体の複数の特徴点を検出する検出部、
前記複数の特徴点を用いて前記画像データから３次元モデルで正規化した正規化パターンを生成するパターン正規化部、
前記３次元モデル及び前記正規化パターンから前記画像データ中の前記物体に照射されている光の照明方向を推定する推定部、
前記照明方向を用いて前記画像データ中の前記物体が立体物であるかを判定する判定部、
として機能させるための立体物判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２３１３９８（Ｐ２０１０−２３１３９８Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６９１８（Ｐ２００９−７６９１８）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]