検出装置、方法およびプログラム
【課題】生体検出を誤認識することなく精度よく検出する方法を提供する。
【解決手段】検出装置は、被写体の画像を入力する画像入力手段と、複数枚の前記被写体の画像から、被写体の変動を抽出する変動抽出手段と、前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、前記変動算出手段によって計測された変動の大きさが、あらかじめ定められた閾値以下であるときに、前記被写体は生体であると判定する判定手段と、を備える。候補領域は、目領域と目領域の周辺であることが望ましい。
【解決手段】検出装置は、被写体の画像を入力する画像入力手段と、複数枚の前記被写体の画像から、被写体の変動を抽出する変動抽出手段と、前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、前記変動算出手段によって計測された変動の大きさが、あらかじめ定められた閾値以下であるときに、前記被写体は生体であると判定する判定手段と、を備える。候補領域は、目領域と目領域の周辺であることが望ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を検出する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、セキュリティシステムの需要が高まっており、特に鍵を紛失する恐れがないという利点から、生体の情報を利用した生体認証装置が注目を集めている。その中でも、顔の情報を利用する顔認証装置は、利便性などの点から注目されている。
【０００３】
顔認証の場合に、登録者の顔写真を利用して顔認証を行い、悪意をもって顔認証装置のセキュリティを解除しようとする「なりすまし」という問題が生じている。
【０００４】
この問題に対して、特開平１１−３３９０４８号公報では、まばたきの検出によってなりすましを防止する方法が開示されている。また、特開平７−３１３４５９号公報では、目の輪郭をエッジ抽出し、人のまばたきという動作を検出する方法が開示されている。
【特許文献１】特開平１１−３３９０４８号公報
【特許文献２】特開平７−３１３４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の方法では、以下の問題があった。その問題とは、写真を瞬きしたように判断してしまう擬似まばたきを、生体がまばたきしていると誤判定してしまう現象が起こってしまうことである。擬似まばたきをまばたきしたと装置が判定してしまうと、顔認証装置はセキュリティを解除してしまい、利用上問題が生じる。
【０００６】
擬似まばたきは、主に次の状況下で発生する。まず、写真を振った場合である。写真を振ると、通常の撮像装置では、撮像素子への露光に一定時間が必要なため、被写体やカメラが動いた場合、残像が生じてしまう。そのため、目検出手段は、実際の目の輪郭とは異なる部分をエッジ抽出して、目の形状に変化が生じたと誤認識してしまい、まばたきしていると判定してしまうことがある。次に、目領域を障害物で遮蔽する場合である。例えば目の上部に障害物が進入した場合、上まぶたが閉じていると誤認識してしまい、まばたきしていると判定してしまうことがある。最後に、写真を折り曲げる場合である。写真を湾曲させると撮像装置からの距離が変化しエッジが歪んで見えるため、目の形状に変化を生じたと誤認識してしまい、まばたきと判定してしまうことがある。その他、様々な方法によって、擬似まばたきをまばたきと誤認識する環境、状況、状態などは作られる。
【０００７】
上記実情に鑑み、本発明は、生体検出を誤認識することなく精度よく検出する方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる１つの具体的な検出装置は、以下の通りである。検出装置は、被写体の画像を入力する画像入力手段と、複数枚の前記画像から、被写体の変動を抽出する候補領域を決定する変動抽出手段と、前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定手段と、を備えている。
【０００９】
さらに、判定手段は、候補領域内の変動の大きさが前記閾値以下であるときに、被写体は生体であると判定するとよい。
【００１０】
または、被写体が生体であるかどうかを検出する生体検出手段を備え、判定手段は、さらに生体検出手段の判断に基づいて結果を出力するとよい。
【００１１】
または、変動算出手段は、複数枚の画像から差分画像を生成し、判定手段は、差分画像と閾値とに基づいて、生体であるかどうかを判定するとよい。
【００１２】
または、変動抽出手段は、目領域と目領域の周辺とを、候補領域として決定するとよい。
【００１３】
または、顔認識手段を備え、判定部が、候補領域内の被写体が生体であると判定された場合、顔認証手段は候補領域内の顔認証を開始するとよい。
【００１４】
上記具体例は、装置のみによって実現されるものではなく、方法やプログラムなどによっても実施される。
【発明の効果】
【００１５】
生体認証装置における生体認証の精度が向上する。
【発明を実施するための最良の形態】
【００１６】
本発明における最良の実施形態の一例として、以下のものを挙げる。画像内の差分値を取得する範囲である候補領域を、被写体の顔部分とし、差分画像を生成することによりフレーム間の画像の変動を抽出することで、生体かどうかを見分けるものである。差分は、各画素に、明度や色彩などに基づいて数値を与えられるものである。しかし、本発明はこれに限られることなく、可能な限りの実施形態を持つ。例えば、生体検出に熱感知センサを用いてもよいし、変動値の算出に加速度センサを用いてもよいし、その他の方法を用いてもよい。
【００１７】
図１は、装置に入力される入力画像から候補領域１０を抽出しており、顔領域を候補領域としている。この候補領域は、顔検出機能により顔部分を矩形抽出することができる。顔検出機能は、既存のどの技術を使ってもよい。一例を挙げると、以下の通りである。顔検出手段は、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成される。または、顔の器官（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成される。または、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成される。または、肌の色に近い領域を検出し、その領域を顔として検出するように構成される。または、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成される。
【００１８】
図２、図３および図４は、図１で抽出された候補領域１０について、２フレーム間の変動と、その差分画像を図で表したものである。図２は生体を撮像したとき、図３は写真を動かさずに撮像したとき、図４はカメラから見て左に平行移動した写真を表している。また、各図のＡは、あるフレームの画像、ＢはＡの次フレームの画像であり、Ｃは、ＡとＢとの差分画像を示したものである。差分については後述する。Ｂの候補領域は、Ａの候補領域と同一の画角位置、サイズ、角度を持つ。
【００１９】
図２−Ａは、あるフレーム時の候補領域の画像を示している。図２−Ｂは、次フレームの候補領域の画像であり、被写体がまばたきをしているものを示している。図２−Ａと図２−Ｂとを比べると、目の部分にフレーム間の変動が生じている。差分画像は、図２−Ｃのように目領域に差分領域１１が表れる。差分領域１１とは、画像内の差分値の分布を示すものである。差分値については後述する。
【００２０】
図３は、写真を動かさない場合に取得される画像を示している。図３−Ａと、図３−Ｂとを比較すると全く動きがないため、図３−Ｃに示す差分画像は差分領域のない画像となる。
【００２１】
図４は、図２と同様の候補領域の画像である。カメラの特性として、上記理由から画像には残像が生じる。そのため、動き始める前と動き出したあとの２フレームを比較した場合に、画面全体に差分が発生する。そのときの差分画像は図４−Ｃに示すように、候補領域全体に差分値が現われる。候補領域全体に差分領域が現われること、差分値が候補領域内でほぼ均一であること、差分値の差分の発生量が多いこと、または目領域以外に差分があることを検出することで、擬似まばたきと判定することができる。なお、生体の顔が移動した場合にも同様の差分が生じるが、擬似まばたきが発生するためには写真は大きく動く必要がある。他方、まばたきするとき、生体は動く必要がない。よって写真よりも生体は変動が少ないため、変動値の量から算出して区別することができる。
【００２２】
よって、入力画像のまばたきが生体か写真かどうかを見分けるためには、図２−Ｃと、図３−Ｃと、および図４−Ｃと、を比較したときに区別することができればよい。実施形態では差分を見ることで変動を捉えているが、これ以外の方法を利用してもよい。例えばボケ検出、残像検出などを利用しても同様の効果が得られる。残像検出では、残像の量が一定値以上異なるかどうかにより判定することができる。
【００２３】
以下は、差分画像の生成方法の一例である。まず、差分画像を作成するために、連続２フレームの画像を取得する。便宜上、最初に取得した画像を前画像、後に取得した画像を後画像と記載する。前画像から候補領域を取得し、画角内での候補領域の位置を記憶して、後画像の候補領域を前画像と同一とする。前画像、後画像からそれぞれ抽出された候補領域の各画素を比較することで、差分画像を作成する。差分値は絶対値で求められる。画素ごとに求められた差分値は、所定値以上か否かによって判断される。所定値以上であった場合は差分画像に反映され、そうでない場合は反映されない。そうして一定以上の差分値を持つ画素は差分領域１１として差分画像に反映される。このようにして、図２−Ｃ、図３−Ｃ、図４−Ｃの差分画像は生成される。
【００２４】
以下、図面を参照して本発明の好適な実施形態を例示的に詳しく説明する。但し、特に特定的な記載がない限り、この実施形態に記載されている構成要素やその処理順序などはこの発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【実施例１】
【００２５】
図５は、第１の実施形態における機能ブロック図である。検出装置１００は、画像入力装置１１０、出力装置１２０、閾値データベース（閾値ＤＢ）１０６に接続しており、検出装置１００は、画像入力部１０１、顔領域検出部１０２、差分画像生成部１０３、差分割合算出部１０４、判定部１０５から構成される。検出装置１００は、情報処理装置であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等から構成され、プログラムが実行されることによって、上記各部の機能が実現されてもよい。
【００２６】
画像入力装置１１０は、検出装置１００に画像を出力するもので、本実施形態においては生体反応の検知や撮影ボタンの押下に基づいて撮像を開始するカメラが望ましい。カメラで撮像された画像である入力画像は、検出装置１００に入力される。
【００２７】
画像入力部１０１は、画像入力装置が出力した入力画像を検出装置１００に入力するものである。画像入力部１０１は、ネットワーク等につながれていて、ネットワークから画像が入力されるようになっていてもよい。
【００２８】
候補領域検出部１０２は、入力画像から顔検出機能を用いて入力画像中の顔領域を検出する。検出された顔領域は矩形で切り出され、候補領域としての顔領域画像を差分画像生成部１０３へ出力される。
【００２９】
差分画像生成部１０３は、顔領域画像を蓄積する。顔領域画像が２枚入力されると、その２枚から差分画像を生成する。差分画像生成部１０３は生成した差分画像を差分割合算出部１０４に出力する。
【００３０】
差分割合算出部１０４は、入力された差分画像から、差分画像中にしめる差分領域の面積の割合である差分割合を算出する。差分割合算出部１０４は、算出した差分割合を判定部１０５に出力する。
【００３１】
判定部１０５は、差分割合を受けると、閾値ＤＢ１０６から閾値を引き出す。差分割合と閾値とを比較し、その比較結果に基づいて、入力画像が生体、擬似まばたきありの写真、擬似まばたきなしの写真のどれであるかの判断を行う。判断結果を出力装置１２０に出力する。
【００３２】
出力装置１２０は、判定部１０５での判定結果を出力する。出力装置１２０の一例として、出力装置１２０は人物認証装置が望ましい。出力装置１２０は、本人と認証したらセキュリティを解除し、そうでない場合、セキュリティを解除せずに終了するという一態様が考えられる。出力は、スイッチを切るなどの直接的なものであってもよく、またネットワークへ出力してもよい。
【００３３】
以下、図６に示すフローチャートに沿って、第１の実施形態の動作を説明する。
【００３４】
入力装置１１０は入力画像を画像入力部１０１に出力する（ステップＳ１０１）。
【００３５】
入力画像は、画像入力部１０１を介して候補領域検出部１０２に出力される。候補領域検出部１０２は、入力画像から被写体の顔領域を検出し、顔矩形を顔領域画像として差分画像生成部１０３に出力する（ステップＳ１０２）。
【００３６】
差分画像生成部１０３は、２枚の顔領域画像から差分画像を生成し（ステップＳ１０３）、生成した差分画像を差分割合算出部１０４に出力する。
【００３７】
差分割合算出部１０４は、差分画像から差分値を求め、差分値から求めた差分割合を算出し（ステップＳ１０４）、判定部１０５に出力する。
【００３８】
判定部１０５は、差分割合と閾値Ａとを比較する（ステップＳ１０５）。差分割合が閾値Ａ以下であった場合、顔の一部の動き（たとえばまばたき）がないから写真と判定し、出力装置１２０に出力し（ステップＳ１０６）、そうでない場合はステップＳ１０７に進む。差分割合と閾値Ｂとを比較する（ステップＳ１０７）。差分割合が閾値Ｂ以上だった場合、図４−Ｃのように全体が動いて残像が移ったものとして写真と判定し（ステップＳ１０９）、そうでない場合は生体と判断して（ステップＳ１０８）出力装置１２０に出力する。
【００３９】
ステップＳ１０６での写真との判断は図３−Ｃに、ステップＳ１０８での生体との判断は図２−Ｃに、図４−ＣはステップＳ１０９での写真との判断で行っており、ステップＳ１０５、Ｓ１０７の判断はこのように区別されている。なお閾値Ａおよび閾値Ｂは、任意で定められてよいが、閾値Ａは閾値Ｂより小さい。前記面積の割合は、あらかじめ定められていてもよい。なお、閾値Ｂをまばたき時の差分より僅かに大きい値に設定すると、後述する図７−Ｃの差分１１が閾値Ｂより大きくなって、目隠しとまばたきとを区別することができることもある。
【００４０】
このようにして第１の実施形態のフローは完了する。
【００４１】
本実施形態は、写真に対するなりすましで、写真を平行移動させた場合だけでなく、写真を湾曲させた場合に応用できる。なぜなら、湾曲させたときも全体として差分が生じるからであり、図４−Ｃに示す差分画像と同様に、差分画像全体に差分領域が発生するからである。
【実施例２】
【００４２】
第２の実施形態は、特に画面の一部に変化が加えられたことによって擬似まばたきを誤認識してしまう場合の対策である。被写体が生体かどうかを判定するために、差分画像と閾値を利用せず、まばたき検出を利用する。
【００４３】
図７は、その一例である。図７−Ｂは、目の部分に障害物１２が進入し、目を遮蔽したことを示す図であり、図７−Ｃは通常の顔領域画像図７−Ａとの差分画像を示している。他の例として、写真を折り曲げて擬似まばたきを発生させるものがある。
【００４４】
図７−Ｃを、図２−Ｃと比較すると、特に目領域の周辺に差分領域が現れるかどうかが異なる。すなわち候補領域を、図８に示すように、目の周囲に限定することで、差分領域の現われる可能性の高い部分のみに着目することになり、擬似まばたきであるかまばたきであるかの判断がより正確になる。なお図９の機能ブロック図において、候補領域検出部１０２´は、候補領域検出を行った後で候補領域を抽出しているが、候補領域検出部１０２´は候補領域である目領域の周辺と目の輪郭を抽出するものでもよい。
【００４５】
また、写真の目の部分に横方向の折り目を２ないし３本入れて折り目を開いたり閉じたりすることによってなされる擬似まばたきも、図７に示す目の周囲の差分画像から判断することができる。
【００４６】
図９は、擬似まばたきとまばたきを見分け、さらに生体かどうかを判断する実施形態の機能ブロック図である。第１の実施形態と同様である機能は省略する。
【００４７】
候補領域検出部１０２´は、顔領域を候補領域として抽出し、顔領域画像を差分画像生成部１０３´とまばたき検出部２０１へ出力する。まばたき検出部２０１は、候補領域内の顔がまばたきをしたかどうかを判定する。まばたきをしたかの判定は、既存のどの技術を利用してもよい。まばたき検出部は、まばたきを検出することができたかどうかの判断を判定部１０５´に出力する。判定部１０５´は、差分割合算出部１０４´と閾値ＤＢ１０６´との比較結果と、まばたき検出部のまばたき判断結果とに基づいた信号を出力装置１２０´に出力する。
【００４８】
図１０に示すフローチャートを用いて、第２の実施形態のフローを説明する。ステップＳ２０１からステップＳ２０６は、図６におけるステップＳ２０１からステップＳ２０６とほぼ同一であるので、省略する。ステップＳ２０５において差分割合が閾値以上でないと判断された場合、まばたき検出部２０１は、まばたき検出を行う（ステップＳ２０７）。まばたき検出の結果（ステップＳ２０８）、被写体がまばたきしたと判断された場合、生体と判断し（ステップＳ２０９）、そうでない場合、写真と判断して（ステップＳ２１０）判定部１０５´は出力装置１２０´に出力する。
【００４９】
このようにして、第２の実施形態のフローは完了する。
【実施例３】
【００５０】
第３の実施形態は、顔認証装置に第１の実施形態を導入した場合である。本実施形態は、本人であるかを確認する一対一照合に対応しているが、特にそれに縛られることはない。
【００５１】
図１１は、本実施形態の機能ブロック図を示している。顔認識部３０６は、既存の技術を利用して、入力画像中の画像が顔データベース（顔ＤＢ）３０８に記憶されている顔情報と一致するかどうかを判断する。顔認識部３０６は判定部１０５´´と接続しており、判定部で生体と判断された場合に顔認識処理が行われる。その他の機能は第１の実施形態とほぼ同様であるため省略する。
【００５２】
以下、図１２を利用して第３の実施形態のフローを説明する。画像入力部１０１´´が画像入力装置１１０´´から画像入力を受ける（ステップＳ３０１）と、候補領域検出部１０２´´に入力画像を出力する。候補領域検出部１０２´´は画像の入力を受けると、画像中から顔領域を抽出する（ステップＳ３０２）。差分画像生成部１０３´´、差分値算出部１０４´´および判定部１０５´´は、閾値ＤＢ１０６´´に記憶されている情報に基づいて顔領域画像内の顔を生体かどうか判断する（ステップＳ３０４）。図６におけるステップＳ１０３からステップＳ１０９のフローにより生体でないと判断された場合、セキュリティを解除せずに（ステップＳ３０６）、処理を終了する。生体であると判断された場合、判定部１０５´´は顔認識部３０６に顔領域画像を出力する。顔認識部３０６は、顔ＤＢ３０８に記憶されている顔情報を引き出し、顔領域画像中の顔と、比較する（ステップＳ３０７）。その結果、本人である場合、セキュリティを解除して（ステップＳ３０８）処理を終了し、そうでない場合、セキュリティを解除せずに（ステップＳ３０９）処理を終了する。
【００５３】
こうして第３の実施形態のフローは完了する。
【００５４】
実施形態の変形例として、候補領域は、顔を含む矩形でなく、顔輪郭としてもよい。または、候補領域は、顔矩形を抽出した後、中心を同一にして相似形のまま小さくしてもよい。これにより、顔周辺の背景が候補領域に入らなくなるため、差分の精度が向上する。目検出機能を用いて抽出することのできる両目矩形、両目輪郭内部としてもよい。
【００５５】
２フレーム間の差分を採る代わりに、残像やボケを採る機能を備えてもよい。その機能は既存の技術を用いて実施される。
【００５６】
差分を採る際に、連続する２フレームの画像を利用するものでなくともよい。たとえば数フレーム間を採り続け、最も差分の大きい２フレームを採用してもよいし、所定のタイミングで取得した２フレームを採用してもよい。これにより、写真かどうかの判定がより正確になる。
【００５７】
閾値ＤＢ１０６´´、顔ＤＢ３０２は、それぞれ装置内部に構成されてもよい。
【００５８】
第３の実施形態において、顔認識部３０１は、顔領域検出部１０２´´と接続され、生体かどうか判断される前に、本人かどうかの確認処理を行ってもよい。生体かどうかの判断とともに、本人かどうかの確認を行ってもよい。
【００５９】
実施形態は、それぞれ環境などに合わせて最適なものが利用されてもよいし、可能な限りそれぞれを組み合わせて利用されてもよい。
【００６０】
差分割合は、画素の変化の合計でもよいし、画素の変化の絶対値の合計でもよいし、最大値と最小値とを利用してもよいし、その他の変動を示す差分値でもよい。
【００６１】
図２−Ｂを抽出した候補領域は、図２−Ａの候補領域に依存しなくともよい。他の図においても同様である。これにより、正確な顔が抽出でき、差分値を正確に求められる場合がある。
【産業上の利用可能性】
【００６２】
顔を利用した生体認証装置であって、まばたきなど被写体の変動を検出するものに適用できる。
【図面の簡単な説明】
【００６３】
【図１】画像内から抽出する候補領域の一例を示す図である。
【図２】被写体として生体を撮像したときの候補領域の画像と差分画像を示す図である。
【図３】被写体として写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図４】被写体として動く写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図５】一実施形態の機能ブロック図である。
【図６】一実施形態のフローチャートである。
【図７】被写体として一部が遮蔽された写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図８】画像内から抽出する候補領域の一例を示す図である。
【図９】一実施形態の機能ブロック図である。
【図１０】一実施形態のフローチャートである。
【図１１】一実施形態の機能ブロック図である。
【図１２】一実施形態のフローチャートである。
【符号の説明】
【００６４】
１０ 候補領域
１１ 差分領域
１２ 障害物
１００ 検出装置
１０１ 画像入力部
１０２ 候補領域検出部
１０３ 差分画像生成部
１０４ 差分割合算出部
１０５ 判定部
１０６ 閾値ＤＢ
１１０ 画像入力装置
１２０ 出力装置
２０１ まばたき検出部
３０１ 顔認識部
３０２ 顔ＤＢ
【技術分野】
【０００１】
本発明は、被写体を検出する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年、セキュリティシステムの需要が高まっており、特に鍵を紛失する恐れがないという利点から、生体の情報を利用した生体認証装置が注目を集めている。その中でも、顔の情報を利用する顔認証装置は、利便性などの点から注目されている。
【０００３】
顔認証の場合に、登録者の顔写真を利用して顔認証を行い、悪意をもって顔認証装置のセキュリティを解除しようとする「なりすまし」という問題が生じている。
【０００４】
この問題に対して、特開平１１−３３９０４８号公報では、まばたきの検出によってなりすましを防止する方法が開示されている。また、特開平７−３１３４５９号公報では、目の輪郭をエッジ抽出し、人のまばたきという動作を検出する方法が開示されている。
【特許文献１】特開平１１−３３９０４８号公報
【特許文献２】特開平７−３１３４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の方法では、以下の問題があった。その問題とは、写真を瞬きしたように判断してしまう擬似まばたきを、生体がまばたきしていると誤判定してしまう現象が起こってしまうことである。擬似まばたきをまばたきしたと装置が判定してしまうと、顔認証装置はセキュリティを解除してしまい、利用上問題が生じる。
【０００６】
擬似まばたきは、主に次の状況下で発生する。まず、写真を振った場合である。写真を振ると、通常の撮像装置では、撮像素子への露光に一定時間が必要なため、被写体やカメラが動いた場合、残像が生じてしまう。そのため、目検出手段は、実際の目の輪郭とは異なる部分をエッジ抽出して、目の形状に変化が生じたと誤認識してしまい、まばたきしていると判定してしまうことがある。次に、目領域を障害物で遮蔽する場合である。例えば目の上部に障害物が進入した場合、上まぶたが閉じていると誤認識してしまい、まばたきしていると判定してしまうことがある。最後に、写真を折り曲げる場合である。写真を湾曲させると撮像装置からの距離が変化しエッジが歪んで見えるため、目の形状に変化を生じたと誤認識してしまい、まばたきと判定してしまうことがある。その他、様々な方法によって、擬似まばたきをまばたきと誤認識する環境、状況、状態などは作られる。
【０００７】
上記実情に鑑み、本発明は、生体検出を誤認識することなく精度よく検出する方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる１つの具体的な検出装置は、以下の通りである。検出装置は、被写体の画像を入力する画像入力手段と、複数枚の前記画像から、被写体の変動を抽出する候補領域を決定する変動抽出手段と、前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定手段と、を備えている。
【０００９】
さらに、判定手段は、候補領域内の変動の大きさが前記閾値以下であるときに、被写体は生体であると判定するとよい。
【００１０】
または、被写体が生体であるかどうかを検出する生体検出手段を備え、判定手段は、さらに生体検出手段の判断に基づいて結果を出力するとよい。
【００１１】
または、変動算出手段は、複数枚の画像から差分画像を生成し、判定手段は、差分画像と閾値とに基づいて、生体であるかどうかを判定するとよい。
【００１２】
または、変動抽出手段は、目領域と目領域の周辺とを、候補領域として決定するとよい。
【００１３】
または、顔認識手段を備え、判定部が、候補領域内の被写体が生体であると判定された場合、顔認証手段は候補領域内の顔認証を開始するとよい。
【００１４】
上記具体例は、装置のみによって実現されるものではなく、方法やプログラムなどによっても実施される。
【発明の効果】
【００１５】
生体認証装置における生体認証の精度が向上する。
【発明を実施するための最良の形態】
【００１６】
本発明における最良の実施形態の一例として、以下のものを挙げる。画像内の差分値を取得する範囲である候補領域を、被写体の顔部分とし、差分画像を生成することによりフレーム間の画像の変動を抽出することで、生体かどうかを見分けるものである。差分は、各画素に、明度や色彩などに基づいて数値を与えられるものである。しかし、本発明はこれに限られることなく、可能な限りの実施形態を持つ。例えば、生体検出に熱感知センサを用いてもよいし、変動値の算出に加速度センサを用いてもよいし、その他の方法を用いてもよい。
【００１７】
図１は、装置に入力される入力画像から候補領域１０を抽出しており、顔領域を候補領域としている。この候補領域は、顔検出機能により顔部分を矩形抽出することができる。顔検出機能は、既存のどの技術を使ってもよい。一例を挙げると、以下の通りである。顔検出手段は、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成される。または、顔の器官（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成される。または、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成される。または、肌の色に近い領域を検出し、その領域を顔として検出するように構成される。または、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成される。
【００１８】
図２、図３および図４は、図１で抽出された候補領域１０について、２フレーム間の変動と、その差分画像を図で表したものである。図２は生体を撮像したとき、図３は写真を動かさずに撮像したとき、図４はカメラから見て左に平行移動した写真を表している。また、各図のＡは、あるフレームの画像、ＢはＡの次フレームの画像であり、Ｃは、ＡとＢとの差分画像を示したものである。差分については後述する。Ｂの候補領域は、Ａの候補領域と同一の画角位置、サイズ、角度を持つ。
【００１９】
図２−Ａは、あるフレーム時の候補領域の画像を示している。図２−Ｂは、次フレームの候補領域の画像であり、被写体がまばたきをしているものを示している。図２−Ａと図２−Ｂとを比べると、目の部分にフレーム間の変動が生じている。差分画像は、図２−Ｃのように目領域に差分領域１１が表れる。差分領域１１とは、画像内の差分値の分布を示すものである。差分値については後述する。
【００２０】
図３は、写真を動かさない場合に取得される画像を示している。図３−Ａと、図３−Ｂとを比較すると全く動きがないため、図３−Ｃに示す差分画像は差分領域のない画像となる。
【００２１】
図４は、図２と同様の候補領域の画像である。カメラの特性として、上記理由から画像には残像が生じる。そのため、動き始める前と動き出したあとの２フレームを比較した場合に、画面全体に差分が発生する。そのときの差分画像は図４−Ｃに示すように、候補領域全体に差分値が現われる。候補領域全体に差分領域が現われること、差分値が候補領域内でほぼ均一であること、差分値の差分の発生量が多いこと、または目領域以外に差分があることを検出することで、擬似まばたきと判定することができる。なお、生体の顔が移動した場合にも同様の差分が生じるが、擬似まばたきが発生するためには写真は大きく動く必要がある。他方、まばたきするとき、生体は動く必要がない。よって写真よりも生体は変動が少ないため、変動値の量から算出して区別することができる。
【００２２】
よって、入力画像のまばたきが生体か写真かどうかを見分けるためには、図２−Ｃと、図３−Ｃと、および図４−Ｃと、を比較したときに区別することができればよい。実施形態では差分を見ることで変動を捉えているが、これ以外の方法を利用してもよい。例えばボケ検出、残像検出などを利用しても同様の効果が得られる。残像検出では、残像の量が一定値以上異なるかどうかにより判定することができる。
【００２３】
以下は、差分画像の生成方法の一例である。まず、差分画像を作成するために、連続２フレームの画像を取得する。便宜上、最初に取得した画像を前画像、後に取得した画像を後画像と記載する。前画像から候補領域を取得し、画角内での候補領域の位置を記憶して、後画像の候補領域を前画像と同一とする。前画像、後画像からそれぞれ抽出された候補領域の各画素を比較することで、差分画像を作成する。差分値は絶対値で求められる。画素ごとに求められた差分値は、所定値以上か否かによって判断される。所定値以上であった場合は差分画像に反映され、そうでない場合は反映されない。そうして一定以上の差分値を持つ画素は差分領域１１として差分画像に反映される。このようにして、図２−Ｃ、図３−Ｃ、図４−Ｃの差分画像は生成される。
【００２４】
以下、図面を参照して本発明の好適な実施形態を例示的に詳しく説明する。但し、特に特定的な記載がない限り、この実施形態に記載されている構成要素やその処理順序などはこの発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【実施例１】
【００２５】
図５は、第１の実施形態における機能ブロック図である。検出装置１００は、画像入力装置１１０、出力装置１２０、閾値データベース（閾値ＤＢ）１０６に接続しており、検出装置１００は、画像入力部１０１、顔領域検出部１０２、差分画像生成部１０３、差分割合算出部１０４、判定部１０５から構成される。検出装置１００は、情報処理装置であり、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等から構成され、プログラムが実行されることによって、上記各部の機能が実現されてもよい。
【００２６】
画像入力装置１１０は、検出装置１００に画像を出力するもので、本実施形態においては生体反応の検知や撮影ボタンの押下に基づいて撮像を開始するカメラが望ましい。カメラで撮像された画像である入力画像は、検出装置１００に入力される。
【００２７】
画像入力部１０１は、画像入力装置が出力した入力画像を検出装置１００に入力するものである。画像入力部１０１は、ネットワーク等につながれていて、ネットワークから画像が入力されるようになっていてもよい。
【００２８】
候補領域検出部１０２は、入力画像から顔検出機能を用いて入力画像中の顔領域を検出する。検出された顔領域は矩形で切り出され、候補領域としての顔領域画像を差分画像生成部１０３へ出力される。
【００２９】
差分画像生成部１０３は、顔領域画像を蓄積する。顔領域画像が２枚入力されると、その２枚から差分画像を生成する。差分画像生成部１０３は生成した差分画像を差分割合算出部１０４に出力する。
【００３０】
差分割合算出部１０４は、入力された差分画像から、差分画像中にしめる差分領域の面積の割合である差分割合を算出する。差分割合算出部１０４は、算出した差分割合を判定部１０５に出力する。
【００３１】
判定部１０５は、差分割合を受けると、閾値ＤＢ１０６から閾値を引き出す。差分割合と閾値とを比較し、その比較結果に基づいて、入力画像が生体、擬似まばたきありの写真、擬似まばたきなしの写真のどれであるかの判断を行う。判断結果を出力装置１２０に出力する。
【００３２】
出力装置１２０は、判定部１０５での判定結果を出力する。出力装置１２０の一例として、出力装置１２０は人物認証装置が望ましい。出力装置１２０は、本人と認証したらセキュリティを解除し、そうでない場合、セキュリティを解除せずに終了するという一態様が考えられる。出力は、スイッチを切るなどの直接的なものであってもよく、またネットワークへ出力してもよい。
【００３３】
以下、図６に示すフローチャートに沿って、第１の実施形態の動作を説明する。
【００３４】
入力装置１１０は入力画像を画像入力部１０１に出力する（ステップＳ１０１）。
【００３５】
入力画像は、画像入力部１０１を介して候補領域検出部１０２に出力される。候補領域検出部１０２は、入力画像から被写体の顔領域を検出し、顔矩形を顔領域画像として差分画像生成部１０３に出力する（ステップＳ１０２）。
【００３６】
差分画像生成部１０３は、２枚の顔領域画像から差分画像を生成し（ステップＳ１０３）、生成した差分画像を差分割合算出部１０４に出力する。
【００３７】
差分割合算出部１０４は、差分画像から差分値を求め、差分値から求めた差分割合を算出し（ステップＳ１０４）、判定部１０５に出力する。
【００３８】
判定部１０５は、差分割合と閾値Ａとを比較する（ステップＳ１０５）。差分割合が閾値Ａ以下であった場合、顔の一部の動き（たとえばまばたき）がないから写真と判定し、出力装置１２０に出力し（ステップＳ１０６）、そうでない場合はステップＳ１０７に進む。差分割合と閾値Ｂとを比較する（ステップＳ１０７）。差分割合が閾値Ｂ以上だった場合、図４−Ｃのように全体が動いて残像が移ったものとして写真と判定し（ステップＳ１０９）、そうでない場合は生体と判断して（ステップＳ１０８）出力装置１２０に出力する。
【００３９】
ステップＳ１０６での写真との判断は図３−Ｃに、ステップＳ１０８での生体との判断は図２−Ｃに、図４−ＣはステップＳ１０９での写真との判断で行っており、ステップＳ１０５、Ｓ１０７の判断はこのように区別されている。なお閾値Ａおよび閾値Ｂは、任意で定められてよいが、閾値Ａは閾値Ｂより小さい。前記面積の割合は、あらかじめ定められていてもよい。なお、閾値Ｂをまばたき時の差分より僅かに大きい値に設定すると、後述する図７−Ｃの差分１１が閾値Ｂより大きくなって、目隠しとまばたきとを区別することができることもある。
【００４０】
このようにして第１の実施形態のフローは完了する。
【００４１】
本実施形態は、写真に対するなりすましで、写真を平行移動させた場合だけでなく、写真を湾曲させた場合に応用できる。なぜなら、湾曲させたときも全体として差分が生じるからであり、図４−Ｃに示す差分画像と同様に、差分画像全体に差分領域が発生するからである。
【実施例２】
【００４２】
第２の実施形態は、特に画面の一部に変化が加えられたことによって擬似まばたきを誤認識してしまう場合の対策である。被写体が生体かどうかを判定するために、差分画像と閾値を利用せず、まばたき検出を利用する。
【００４３】
図７は、その一例である。図７−Ｂは、目の部分に障害物１２が進入し、目を遮蔽したことを示す図であり、図７−Ｃは通常の顔領域画像図７−Ａとの差分画像を示している。他の例として、写真を折り曲げて擬似まばたきを発生させるものがある。
【００４４】
図７−Ｃを、図２−Ｃと比較すると、特に目領域の周辺に差分領域が現れるかどうかが異なる。すなわち候補領域を、図８に示すように、目の周囲に限定することで、差分領域の現われる可能性の高い部分のみに着目することになり、擬似まばたきであるかまばたきであるかの判断がより正確になる。なお図９の機能ブロック図において、候補領域検出部１０２´は、候補領域検出を行った後で候補領域を抽出しているが、候補領域検出部１０２´は候補領域である目領域の周辺と目の輪郭を抽出するものでもよい。
【００４５】
また、写真の目の部分に横方向の折り目を２ないし３本入れて折り目を開いたり閉じたりすることによってなされる擬似まばたきも、図７に示す目の周囲の差分画像から判断することができる。
【００４６】
図９は、擬似まばたきとまばたきを見分け、さらに生体かどうかを判断する実施形態の機能ブロック図である。第１の実施形態と同様である機能は省略する。
【００４７】
候補領域検出部１０２´は、顔領域を候補領域として抽出し、顔領域画像を差分画像生成部１０３´とまばたき検出部２０１へ出力する。まばたき検出部２０１は、候補領域内の顔がまばたきをしたかどうかを判定する。まばたきをしたかの判定は、既存のどの技術を利用してもよい。まばたき検出部は、まばたきを検出することができたかどうかの判断を判定部１０５´に出力する。判定部１０５´は、差分割合算出部１０４´と閾値ＤＢ１０６´との比較結果と、まばたき検出部のまばたき判断結果とに基づいた信号を出力装置１２０´に出力する。
【００４８】
図１０に示すフローチャートを用いて、第２の実施形態のフローを説明する。ステップＳ２０１からステップＳ２０６は、図６におけるステップＳ２０１からステップＳ２０６とほぼ同一であるので、省略する。ステップＳ２０５において差分割合が閾値以上でないと判断された場合、まばたき検出部２０１は、まばたき検出を行う（ステップＳ２０７）。まばたき検出の結果（ステップＳ２０８）、被写体がまばたきしたと判断された場合、生体と判断し（ステップＳ２０９）、そうでない場合、写真と判断して（ステップＳ２１０）判定部１０５´は出力装置１２０´に出力する。
【００４９】
このようにして、第２の実施形態のフローは完了する。
【実施例３】
【００５０】
第３の実施形態は、顔認証装置に第１の実施形態を導入した場合である。本実施形態は、本人であるかを確認する一対一照合に対応しているが、特にそれに縛られることはない。
【００５１】
図１１は、本実施形態の機能ブロック図を示している。顔認識部３０６は、既存の技術を利用して、入力画像中の画像が顔データベース（顔ＤＢ）３０８に記憶されている顔情報と一致するかどうかを判断する。顔認識部３０６は判定部１０５´´と接続しており、判定部で生体と判断された場合に顔認識処理が行われる。その他の機能は第１の実施形態とほぼ同様であるため省略する。
【００５２】
以下、図１２を利用して第３の実施形態のフローを説明する。画像入力部１０１´´が画像入力装置１１０´´から画像入力を受ける（ステップＳ３０１）と、候補領域検出部１０２´´に入力画像を出力する。候補領域検出部１０２´´は画像の入力を受けると、画像中から顔領域を抽出する（ステップＳ３０２）。差分画像生成部１０３´´、差分値算出部１０４´´および判定部１０５´´は、閾値ＤＢ１０６´´に記憶されている情報に基づいて顔領域画像内の顔を生体かどうか判断する（ステップＳ３０４）。図６におけるステップＳ１０３からステップＳ１０９のフローにより生体でないと判断された場合、セキュリティを解除せずに（ステップＳ３０６）、処理を終了する。生体であると判断された場合、判定部１０５´´は顔認識部３０６に顔領域画像を出力する。顔認識部３０６は、顔ＤＢ３０８に記憶されている顔情報を引き出し、顔領域画像中の顔と、比較する（ステップＳ３０７）。その結果、本人である場合、セキュリティを解除して（ステップＳ３０８）処理を終了し、そうでない場合、セキュリティを解除せずに（ステップＳ３０９）処理を終了する。
【００５３】
こうして第３の実施形態のフローは完了する。
【００５４】
実施形態の変形例として、候補領域は、顔を含む矩形でなく、顔輪郭としてもよい。または、候補領域は、顔矩形を抽出した後、中心を同一にして相似形のまま小さくしてもよい。これにより、顔周辺の背景が候補領域に入らなくなるため、差分の精度が向上する。目検出機能を用いて抽出することのできる両目矩形、両目輪郭内部としてもよい。
【００５５】
２フレーム間の差分を採る代わりに、残像やボケを採る機能を備えてもよい。その機能は既存の技術を用いて実施される。
【００５６】
差分を採る際に、連続する２フレームの画像を利用するものでなくともよい。たとえば数フレーム間を採り続け、最も差分の大きい２フレームを採用してもよいし、所定のタイミングで取得した２フレームを採用してもよい。これにより、写真かどうかの判定がより正確になる。
【００５７】
閾値ＤＢ１０６´´、顔ＤＢ３０２は、それぞれ装置内部に構成されてもよい。
【００５８】
第３の実施形態において、顔認識部３０１は、顔領域検出部１０２´´と接続され、生体かどうか判断される前に、本人かどうかの確認処理を行ってもよい。生体かどうかの判断とともに、本人かどうかの確認を行ってもよい。
【００５９】
実施形態は、それぞれ環境などに合わせて最適なものが利用されてもよいし、可能な限りそれぞれを組み合わせて利用されてもよい。
【００６０】
差分割合は、画素の変化の合計でもよいし、画素の変化の絶対値の合計でもよいし、最大値と最小値とを利用してもよいし、その他の変動を示す差分値でもよい。
【００６１】
図２−Ｂを抽出した候補領域は、図２−Ａの候補領域に依存しなくともよい。他の図においても同様である。これにより、正確な顔が抽出でき、差分値を正確に求められる場合がある。
【産業上の利用可能性】
【００６２】
顔を利用した生体認証装置であって、まばたきなど被写体の変動を検出するものに適用できる。
【図面の簡単な説明】
【００６３】
【図１】画像内から抽出する候補領域の一例を示す図である。
【図２】被写体として生体を撮像したときの候補領域の画像と差分画像を示す図である。
【図３】被写体として写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図４】被写体として動く写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図５】一実施形態の機能ブロック図である。
【図６】一実施形態のフローチャートである。
【図７】被写体として一部が遮蔽された写真を撮像したときの候補領域の画像と差分画像を示す図である。
【図８】画像内から抽出する候補領域の一例を示す図である。
【図９】一実施形態の機能ブロック図である。
【図１０】一実施形態のフローチャートである。
【図１１】一実施形態の機能ブロック図である。
【図１２】一実施形態のフローチャートである。
【符号の説明】
【００６４】
１０ 候補領域
１１ 差分領域
１２ 障害物
１００ 検出装置
１０１ 画像入力部
１０２ 候補領域検出部
１０３ 差分画像生成部
１０４ 差分割合算出部
１０５ 判定部
１０６ 閾値ＤＢ
１１０ 画像入力装置
１２０ 出力装置
２０１ まばたき検出部
３０１ 顔認識部
３０２ 顔ＤＢ
【特許請求の範囲】
【請求項１】
被写体の画像を入力する画像入力手段と、
複数枚の前記画像から、被写体の変動を抽出する候補領域を決定する変動抽出手段と、
前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、
前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定手段と、
を備える検出装置。
【請求項２】
前記判定手段は、前記候補領域内の変動の大きさが前記閾値以下であるときに、前記被写体は生体であると判定することを特徴とする、請求項１に記載の検出装置。
【請求項３】
被写体が生体であるかどうかを検出する生体検出手段を備え、
前記判定手段は、さらに前記生体検出手段の判断に基づいて結果を出力することを特徴とする、請求項１に記載の検出装置。
【請求項４】
前記変動算出手段は、複数枚の画像から差分画像を生成し、
前記判定手段は、前記差分画像と前記閾値とに基づいて、生体であるかどうかを判定することを特徴とする、請求項１に記載の検出装置。
【請求項５】
前記変動抽出手段は、
目領域と目領域の周辺とを、候補領域として抽出することを特徴とする、請求項１に記載の検出装置。
【請求項６】
顔認識手段をさらに備え、
前記判定手段が、候補領域内の被写体が生体であると判定された場合、前記顔認証手段は候補領域内の顔認証を開始することを特徴とする、請求項１に記載の検出装置。
【請求項７】
被写体の画像を検出する検出装置が、被写体の画像を入力する画像入力ステップと、
前記検出装置が、前記画像から被写体の変動を抽出する候補領域を抽出する変動抽出ステップと、
前記検出装置が、前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定ステップと、
を含む顔検出方法。
【請求項８】
被写体の画像を検出する検出装置に対して、
被写体の画像を入力するステップと、
前記画像から被写体の変動を抽出する候補領域を抽出するステップと、
前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力するステップと、
を実行させるためのプログラム。
【請求項１】
被写体の画像を入力する画像入力手段と、
複数枚の前記画像から、被写体の変動を抽出する候補領域を決定する変動抽出手段と、
前記変動抽出手段によって抽出された候補領域から、変動の大きさを算出する変動算出手段と、
前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定手段と、
を備える検出装置。
【請求項２】
前記判定手段は、前記候補領域内の変動の大きさが前記閾値以下であるときに、前記被写体は生体であると判定することを特徴とする、請求項１に記載の検出装置。
【請求項３】
被写体が生体であるかどうかを検出する生体検出手段を備え、
前記判定手段は、さらに前記生体検出手段の判断に基づいて結果を出力することを特徴とする、請求項１に記載の検出装置。
【請求項４】
前記変動算出手段は、複数枚の画像から差分画像を生成し、
前記判定手段は、前記差分画像と前記閾値とに基づいて、生体であるかどうかを判定することを特徴とする、請求項１に記載の検出装置。
【請求項５】
前記変動抽出手段は、
目領域と目領域の周辺とを、候補領域として抽出することを特徴とする、請求項１に記載の検出装置。
【請求項６】
顔認識手段をさらに備え、
前記判定手段が、候補領域内の被写体が生体であると判定された場合、前記顔認証手段は候補領域内の顔認証を開始することを特徴とする、請求項１に記載の検出装置。
【請求項７】
被写体の画像を検出する検出装置が、被写体の画像を入力する画像入力ステップと、
前記検出装置が、前記画像から被写体の変動を抽出する候補領域を抽出する変動抽出ステップと、
前記検出装置が、前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力する判定ステップと、
を含む顔検出方法。
【請求項８】
被写体の画像を検出する検出装置に対して、
被写体の画像を入力するステップと、
前記画像から被写体の変動を抽出する候補領域を抽出するステップと、
前記候補領域内の変動の大きさと、あらかじめ定められた閾値との比較に基づいた結果を出力するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−９０４５２（Ｐ２００８−９０４５２Ａ）
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願番号】特願２００６−２６８５５５（Ｐ２００６−２６８５５５）
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]