顔認証装置および顔認証方法
【課題】認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供する。
【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、歩行者の顔サイズを計測し、この計測された顔サイズに基づき現在の歩行状態を推定し、この推定された歩行状態に応じた情報を当該歩行者に対して表示する。
【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、歩行者の顔サイズを計測し、この計測された顔サイズに基づき現在の歩行状態を推定し、この推定された歩行状態に応じた情報を当該歩行者に対して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、セキュリティを必要とする部屋や施設等に対する入退場を管理する入退場管理装置等において、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。
【背景技術】
【０００２】
一般に、顔画像を用いた顔認証装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、部屋や施設等のドア（ゲート）を開放するように構成されている（たとえば、特許文献１参照）。
【０００３】
このような認証対象者が静止して直立状態で使用する顔認証装置では、カメラと顔との距離が一定範囲内に収まるように、顔検出手段により検出された顔のサイズに基づいて、認証対象者に対し直立位置の制御等を促す画面表示を行なう方法が特許文献２に開示されている。
また、歩行者を認証対象とした顔認証装置において、歩行者の顔の方向を一定に保つために、歩行者に対し案内画面を表示する方法が特許文献３に開示されている。
【特許文献１】特開２００１−２６６１５２号公報
【特許文献２】特開２００３−１４１５４１号公報
【特許文献３】特開２００４−３５６７３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の方法を歩行者を認証対象とした顔認証装置に適用しても、歩行中に撮像画像内の顔サイズが連続的に変化するので、この画面表示が瞬間現れるだけでは、歩行者に対し適切な制御を促すデータ表示にならない。
また、特許文献３の方法では、歩行者の歩行速度や複数の歩行者の歩行状態を制御することはできず、必要なフレーム数の顔画像を収集できない場合がある。
【０００５】
また、自由な歩行下で顔認証等を行なおうとする際、従来の顔認証技術では歩行者の顔がカメラの正面に向く必要があったり、あるいは、立ち止まって照合に必要な画像枚数が充分撮像できるようなガイダンスを必要としている。
【０００６】
複数のカメラを使用できる場合は、照合に必要な画像枚数を稼ぐことができるのに対し、単数のカメラを使用する際には照合に適した顔画像を限られた条件の中で確保する工夫が必要となる。
【０００７】
歩行者の顔の向きについては、正面に向けた顔が最も一般的であり、証明写真やその他の媒体で広く流布しているからである。また、顔認証技術についても、正面顔を前提とした照合方式が主流となっている。
【０００８】
ただし、カメラで歩行者を撮像する際には、ガイダンスなしであれば、カメラに近づくにしたがって顔向きの角度が生じるため、角度の程度によっては顔照合結果に著しい劣化をもたらす。
また、歩行者の歩行位置によってはカメラの視野から外れてしまい、照合に必要なフレームを落としてしまうことも考えられる。
【０００９】
さらに、自由に歩行している環境下で歩行者の認証の精度（通過率）を上げようとすると、歩行者に負担にならない程度に協力してもらう必要がある。しかし、問題は、歩行者ごとに個別の指示をださなくてはいけないが、システムのもつ特性からくる要求を是正するための指示内容を伝えることが難しい。現在の状態を基本レベルの信号を融合させて歩行者に指示し、協力をよびかけなくてはいけない。
【００１０】
難しい例として、たとえば、音声を用いて実現しようとする際には認証対象の歩行者に対し「だれそれ」と呼びかける必要がある。しかし、そもそも歩行者の名前があらかじめわかっていないので、効果はそれほど望めない。
また、個人を特定する目的で歩行中の詳細画像をディスプレイに表示しようとすれば、常にそのディスプレイを注視してもらう必要があり、歩行者への個別の指示は望めない。
【００１１】
そこで、本発明は、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域のサイズを計測する顔サイズ計測手段と、この顔サイズ計測手段により計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に応じた情報を当該歩行者に対して表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１３】
また、本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定手段と、この顔向き推定手段により推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１４】
また、本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定手段と、この歩行位置推定手段により推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１５】
また、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域のサイズを計測する顔サイズ計測ステップと、この顔サイズ計測ステップにより計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に応じた情報を当該歩行者に対して表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【００１６】
また、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定ステップと、この顔向き推定ステップにより推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【００１７】
さらに、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定ステップと、この歩行位置推定ステップにより推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【発明の効果】
【００１８】
本発明によれば、歩行者の顔サイズを計測し、この計測された顔サイズに基づき現在の歩行状態を推定し、この推定された歩行状態に応じた情報を当該歩行者に対して表示することにより、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【００１９】
また、本発明によれば、歩行者の顔の向きを推定し、この推定された顔の向きに基づき歩行者の歩行状態を推定し、この推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示することにより、歩行者の歩行速度に応じて指示内容もそれを追跡させながら表示可能となるので、時系列的な変化にも対応可能となり、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【００２０】
また、本発明によれば、歩行者の歩行位置を推定し、この推定された歩行位置に基づき歩行者の歩行状態を推定し、この推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示することにより、歩行者の歩行速度に応じて指示内容もそれを追跡させながら表示可能となるので、時系列的な変化にも対応可能となり、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔認証装置の構成を概略的に示すものである。図１おいて、人物の身長方向に長い棒状の支持体１０１は、たとえば、歩行者（以後、人物ともいう）Ｍが歩行する通路１０２の側部に立設されている。なお、支持体１０１の高さ（長さ）は、たとえば、ほぼ歩行者Ｍの最大身長に対応した長さに設定されている。
【００２２】
支持体１０１の上端には、表示手段としての表示部１０３が設置されている。表示部１０３は、歩行者Ｍに対して各種情報を表示するもので、たとえば、カラー液晶表示パネルなどが用いられる。
【００２３】
支持体１０１には、撮像手段としてのビデオカメラ（以後、単にカメラと略称する）１０４が設置されている。ビデオカメラ１０４は、歩行者Ｍの少なくとも顔を含む画像を撮像して１フレームごとに入力するものである。
【００２４】
カメラ１０４で入力された画像は、顔検出手段としての顔領域検出部１０５に送られる。顔領域検出部１０５は、カメラ１０４で入力された画像から１フレームごとに歩行者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。
【００２５】
顔領域検出部１０５の検出結果は、認証手段としての顔認証部１０６および顔サイズ計測手段としての顔サイズ計測部１０７にそれぞれ送られる。顔認証部１０６は、顔領域検出部１０５により検出された顔領域の画像とあらかじめ登録された辞書情報（顔画像）とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する。
【００２６】
顔サイズ計測部１０７は、顔領域検出部１０５により検出された顔領域のサイズ（横方向Ｗ、縦方向Ｈのサイズ）を計測する。ここに、顔サイズの計測方法は、たとえば、顔領域検出部１０５により検出された顔領域のＸ方向およびＹ方向の各座標値を用いることで行なう。
【００２７】
顔サイズ計測部１０７の計測結果は、歩行状態推定手段としての歩行状態推定部１０８に送られる。歩行状態推定部１０８は、顔サイズ計測部１０７により計測された顔のサイズおよび当該顔サイズの変化量等を用いて歩行者Ｍの歩行状態を推定する。
【００２８】
表示手段としての表示制御部１０９は、歩行状態推定部１０８の推定結果に基づき表示部１０３の表示制御を行なう。音声案内部１１０は、歩行者Ｍに対して各種情報を音声で案内するもので、表示制御部１０９により制御される。
【００２９】
以下、歩行状態推定部１０８およびその推定結果に基づく表示制御について詳細に説明する。歩行状態推定部１０８は、たとえば、図２および下記表１に示すように、顔サイズ計測部１０７により計測された顔のサイズおよび当該顔サイズの変化量等を用いて歩行者Ｍの歩行状態を推定する。
【表１】
【００３０】
すなわち、顔サイズ計測部１０７により計測された顔のサイズ（顔領域のサイズ）が小さい場合、歩行位置が遠すぎるものと判断し、数フレーム後に照合される通路１０２内の区域に進入するものと判断し、歩行者Ｍに対し歩行進入を促す情報（たとえば、青信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行進入を促す情報（たとえば、青信号）を表示部１０３に表示する。この場合、表示と同時に、歩行進入を促す情報を音声案内部１１０で音声により行なってもよい。
【００３１】
次に、顔サイズ計測部１０７により計測された顔のサイズの変化量が大きい場合、すなわち、ある時刻ｔ＝ｔ０での撮像画像とその前の時刻ｔ＝ｔ０−１での撮像画像のサイズについて、サイズ変化量があらかじめ設定される閾値を越えてしまった場合、歩行速度が速過ぎると判断し、歩行者Ｍに対し歩行速度の減速を促す情報（たとえば、黄信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行速度の減速を促す情報（たとえば、黄信号）を表示部１０３に表示する。この場合、表示と同時に、歩行速度の減速を促す情報を音声案内部１１０で音声により行なってもよい。
【００３２】
次に、顔サイズ計測部１０７により計測された顔のサイズがあらかじめ設定される一定量を超える場合、近過ぎて画像がぼける、ぶれる等の現象が予測されるるものと判断し、歩行者Ｍに対し歩行停止を促す情報（たとえば、赤信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行停止を促す情報（たとえば、赤信号）を表示部１０３に表示する。この場合、表示と同時に、歩行停止を促す情報を音声案内部１１０で音声により行なってもよい。
【００３３】
次に、サイズ変化量があらかじめ設定される閾値以内におさまっている場合、あるいは、取得した画像のフレーム数が必要数を超えた場合、画像撮像が良好と判断し、特別な歩行指示は与えない。
【００３４】
以上の過程を経て照合（認証）に必要な歩行者Ｍの顔画像が取得されたと判断した場合には、歩行者Ｍに対し画像取得成功を示す情報（たとえば、緑信号）を表示部１０３に表示する。この場合、表示と同時に、画像取得成功を示す情報を音声案内部１１０で音声により行なってもよい。
【００３５】
なお、図２（ａ）は、通常歩行時の顔サイズ、顔サイズ変化量、それに対する表示情報（色）の具体例を示し、図２（ｂ）は、歩行速度が速い場合の顔サイズ、顔サイズ変化量、それに対する表示情報（色）の具体例を示している。
【００３６】
次に、第２の実施の形態について説明する。
図３は、第２の実施の形態に係る顔認証装置の構成を概略的に示すものである。図３おいて、人物の身長方向に長い棒状の支持体２０１は、たとえば、歩行者Ｍが歩行する通路２０２の側部に立設されている。なお、支持体２０１の高さ（長さ）は、たとえば、ほぼ歩行者Ｍの最大身長に対応した長さに設定されている。
【００３７】
支持体２０１には、撮像手段としてのビデオカメラ（以後、単にカメラと略称する）２０３が設置されている。カメラ２０３は、歩行者Ｍの少なくとも顔を含む画像を撮像して１フレームごとに入力するものである。
【００３８】
カメラ２０３で入力された画像は、顔検出手段としての顔領域検出部２０４に送られる。顔領域検出部２０４は、カメラ２０３で入力された画像から１フレームごとに歩行者Ｍの顔領域を検出する。
顔領域検出部２０４の検出結果は、認証手段としての顔認証部２０５および顔位置推定手段としての顔位置推定部２０６にそれぞれ送られる。顔認証部２０５は、顔領域検出部２０４により検出された顔領域の画像とあらかじめ登録された辞書情報（顔画像）とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する。
【００３９】
顔位置推定部２０６は、顔領域検出部２０４により検出された顔領域（顔）を追跡しながらその位置を推定する。すなわち、たとえば、人物のいない背景を初期画像として保存し、初期画像との差分より人物候補領域を検出する。そして、検出された人物候補領域については、その時系列的座標変化が既知の情報として得られることより、前フレームとの人物候補領域との対応をとって視野内にいる間は追跡の対象とする。
【００４０】
顔位置推定部２０６の推定結果は、顔向き推定手段としての顔向き推定部２０７に送られる。顔向き推定部２０７は、顔位置推定部２０６により推定された位置の顔領域（顔）の向きを推定する。
すなわち、まず、前処理として目や鼻等の部分特徴を抽出する。その後、抽出された部分特徴の座標から平均顔モデルの対応関係を求め、周知のカメラ回転行列を用いて回転行列の内容を保持する。次に、推定された回転行列から内部パラメータとして顔の上下θ（ｐｉｔｃｈ）、左右ψ（ｙａｗ）、傾きφ（ｒｏｌｌ）をそれぞれ求める。たとえば、回転行列Ｒについては、
Ｒ（θ，ψ，φ，χ）＝Ｒ（θ）Ｒ（ψ）Ｒ（φ）
が考えられる。
【００４１】
顔向き推定部２０７の推定結果は、歩行状態推定手段としての歩行状態推定部２０８に送られる。歩行状態推定部２０８は、顔向き推定部２０７により推定された顔の向き等を用いて歩行者Ｍの歩行状態を推定する。
【００４２】
表示手段としての表示制御部１０９は、歩行状態推定部２０８の推定結果に基づき、同じく表示手段としての表示部２１０の表示制御を行なう。表示部２１０は、歩行者Ｍに対して各種情報を表示するもので、たとえば、図４に示すように、通路２０２の側部に歩行者Ｍの進行方向ａに沿って立設された電光掲示板２１０ａ、あるいは、図５に示すように、通路２０２を歩行する歩行者Ｍの前方の床上に矢印などの指示情報を表示するプロジェクタなどの投影装置２１０ｂなどが用いられる。なお、図４は２人の歩行者Ｍ１，Ｍ２が存在する場合を示している。
音声案内部２１１は、歩行者Ｍに対して各種情報を音声で案内するもので、表示制御部２０９により制御される。
【００４３】
以下、歩行状態推定部２０８およびその推定結果に基づく表示制御について詳細に説明する。歩行状態推定部２０８は、たとえば、下記表２に示すように、顔向き推定部２０７により推定された顔の向き等を用いて歩行者Ｍの歩行状態を推定する。
【表２】
【００４４】
すなわち、顔向き推定部２０７により推定された顔の下向き量（ｐｉｔｃｈ）があらかじめ定められた限界値を超えた場合、歩行者Ｍはうつむいているものと判断し、電光掲示板２１０ａを用いる場合、図４（ｂ）に示すように、電光掲示板２１０ａ上に矢印ｂを時系列的に表示することで、当該歩行者Ｍに対し歩行指示を表示する。なお、表示する矢印ｂの方向については、カメラ２０３の設置されている方向から歩行者Ｍに向かって指向するように表示する。
【００４５】
また、電光掲示板２１０ａ上に、メッセージとして、たとえば、図４（ｂ）に示すように、カメラを見て下さいを表す文字列ｃおよびカメラを表す絵ｄなどをアニメーションで表示することで、当該歩行者Ｍに対し顔向きの角度を調整するように指示する。
【００４６】
なお、プロジェクタなどの投影装置２１０ｂを用いる場合、たとえば、図５に示すように、追跡している歩行者Ｍの前方に矢印ｅをカメラ２０３に向けて逐次的に表示することで、カメラ２０３との関係を表示し、当該歩行者Ｍに対し歩行指示を表示する。
【００４７】
次に、顔向き推定部２０７により推定された顔の上向き量（ｐｉｔｃｈ）があらかじめ定められた限界値を超えた場合、歩行者Ｍは上をむいているものと判断し、上記した歩行状態がうつむきの場合と同様な歩行指示の表示を行なうとともに、音声案内部２１１による音声案内をも同時に行なう。
【００４８】
次に、顔向き推定部２０７により推定された顔の横向き量（ｙａｗ）があらかじめ定められた限界値を超えた場合、歩行者Ｍはカメラ２０３を注視していないものと判断し、たとえば、電光掲示板２１０ａを用いる場合、図４（ｂ）に示すように、カメラを見て下さいを表す文字列ｃおよびカメラを表す絵ｄなどをアニメーションで点滅表示することで、当該歩行者Ｍに対し顔向きの角度を調整するように指示するとともに、音声案内部２１１による音声案内をも同時に行なう。
【００４９】
次に、顔向き推定部２０７により推定された顔の横向き量（ｙａｗ）変化量があらかじめ定められた限界値を超えた場合、歩行者Ｍはよそ見したものと判断し、前記した歩行状態がうつむきの場合と同様な歩行指示の表示を行なう。
【００５０】
次に、歩行者Ｍの歩行位置による当該歩行者Ｍへの歩行指示について説明する。歩行者Ｍの歩行位置については、歩行状態推定部２０８が顔領域検出部２０４により検出された顔領域の座標の時系列的な推移を追跡する。たとえば、ガイダンスを必要としない歩行下においては、図６（上方より眺めた状態を示している）に示すように、歩行者Ｍは一般に進行方向を向いて歩くとすれば、カメラ２０３の設置角度との差ψが刻々と変化する。一般には、この差ψが顔の横向き方向の角度（ｙａｗ）として撮像される。このため、ψは歩行者Ｍの進行方向とカメラ２０３とのなす角度で決定され、歩行位置によってみえる角度が異なる様子が図７で示される。
【００５１】
そこで、歩行者Ｍの歩行位置の推定を追跡中の顔領域座標位置の推移履歴より行なう。図８は、一般の歩行者が画面上で時間的に移動することよって、顔領域座標位置の現れる座標の変化を大まかに示したものである。カメラ２０３から近い順にコース３、コース２、コース１とすれば、時系列変化を３分割（ｔ＝１，ｔ＝２，ｔ＝３）の順にカメラ２０３に迫るものとする。
なお、図８において、Ｅ３はコース３の歩行者に対する顔領域座標位置の変化を、Ｅ２はコース２の歩行者に対する顔領域座標位置の変化を、Ｅ１はコース１の歩行者に対する顔領域座標位置の変化を、それぞれ示している。
【００５２】
図８から明らかなように、コース３を歩いている歩行者がコース１を歩いている歩行者よりも顔領域の座標変化が著しく、かつ、得られる顔向きの変化も大きい。そこで、歩行状態推定部２０８が対象とする画像の位置よりもｔ秒後の位置を推定し、端を歩きそうと予測される歩行者であると判断した場合には、追跡中の歩行者に対し歩行位置の変動を求めるよう進行方向の修正を求める表示を矢印あるいは歩行アニメーションを電光掲示板２１０ａあるいはプロジェクタなどの投影装置２１０ｂによる投影を用いて行なう。
【００５３】
具体例に基づいて説明すると、たとえば、下記表３に示すように、推定した歩行者Ｍの歩行位置がカメラ２０３に近い場合、歩行状態は正常であるものと判断し、当該歩行者Ｍに対する歩行指示は行なわない。
【００５４】
推定した歩行者Ｍの歩行位置がカメラ２０３と遠い場合、すなわち、追跡中の歩行者Ｍが通路２０２の端を歩きそうと予測される場合、歩行状態を注意する必要があると判断し、当該歩行者Ｍに対し歩行位置を移動するよう指示する表示を行なう。
【表３】
【００５５】
なお、前記第１の実施の形態では、表示部１０３としてカラー液晶表示パネルを用いた場合について説明したが、第２の実施の形態と同様な電光掲示板あるいはプロジェクタなどの投影装置を用いてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施の形態に係る顔認証装置の構成を概略的に示す構成図。
【図２】顔のサイズとその変化量による表示情報の具体例を説明するための図。
【図３】本発明の第２の実施の形態に係る顔認証装置の構成を概略的に示す構成図。
【図４】表示部の具体例を説明するための模式図で、（ａ）図は斜視図、（ｂ）は上面図。
【図５】表示部の他の具体例を説明するための模式図。
【図６】歩行者とカメラのなす角度について説明するための模式図。
【図７】顔横向きの距離毎角度変化について説明するための図。
【図８】顔領域位置の移動による顔向き角度の推定について説明するための図。
【符号の説明】
【００５７】
Ｍ…歩行者、１０１，２０１…支持体、１０２，２０２…通路、１０３，２１０…表示部（表示手段）、１０４，２０３…カメラ（撮像手段）、１０５，２０４…顔領域検出部（顔検出手段）、１０６，２０５…顔認証部（認証手段）、１０７…顔サイズ計測部（顔サイズ計測手段）、１０８，２０８…歩行状態推定部（歩行状態推定手段）、１０９，２０９…表示制御部（表示手段）、１１０，２１１…音声案内部、２０６…顔位置推定部、２０７…顔向き推定部（顔向き推定手段）、２１０ａ…電光掲示板、２１０ｂ…投影装置（プロジェクタ）。
【技術分野】
【０００１】
本発明は、たとえば、セキュリティを必要とする部屋や施設等に対する入退場を管理する入退場管理装置等において、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。
【背景技術】
【０００２】
一般に、顔画像を用いた顔認証装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、部屋や施設等のドア（ゲート）を開放するように構成されている（たとえば、特許文献１参照）。
【０００３】
このような認証対象者が静止して直立状態で使用する顔認証装置では、カメラと顔との距離が一定範囲内に収まるように、顔検出手段により検出された顔のサイズに基づいて、認証対象者に対し直立位置の制御等を促す画面表示を行なう方法が特許文献２に開示されている。
また、歩行者を認証対象とした顔認証装置において、歩行者の顔の方向を一定に保つために、歩行者に対し案内画面を表示する方法が特許文献３に開示されている。
【特許文献１】特開２００１−２６６１５２号公報
【特許文献２】特開２００３−１４１５４１号公報
【特許文献３】特開２００４−３５６７３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の方法を歩行者を認証対象とした顔認証装置に適用しても、歩行中に撮像画像内の顔サイズが連続的に変化するので、この画面表示が瞬間現れるだけでは、歩行者に対し適切な制御を促すデータ表示にならない。
また、特許文献３の方法では、歩行者の歩行速度や複数の歩行者の歩行状態を制御することはできず、必要なフレーム数の顔画像を収集できない場合がある。
【０００５】
また、自由な歩行下で顔認証等を行なおうとする際、従来の顔認証技術では歩行者の顔がカメラの正面に向く必要があったり、あるいは、立ち止まって照合に必要な画像枚数が充分撮像できるようなガイダンスを必要としている。
【０００６】
複数のカメラを使用できる場合は、照合に必要な画像枚数を稼ぐことができるのに対し、単数のカメラを使用する際には照合に適した顔画像を限られた条件の中で確保する工夫が必要となる。
【０００７】
歩行者の顔の向きについては、正面に向けた顔が最も一般的であり、証明写真やその他の媒体で広く流布しているからである。また、顔認証技術についても、正面顔を前提とした照合方式が主流となっている。
【０００８】
ただし、カメラで歩行者を撮像する際には、ガイダンスなしであれば、カメラに近づくにしたがって顔向きの角度が生じるため、角度の程度によっては顔照合結果に著しい劣化をもたらす。
また、歩行者の歩行位置によってはカメラの視野から外れてしまい、照合に必要なフレームを落としてしまうことも考えられる。
【０００９】
さらに、自由に歩行している環境下で歩行者の認証の精度（通過率）を上げようとすると、歩行者に負担にならない程度に協力してもらう必要がある。しかし、問題は、歩行者ごとに個別の指示をださなくてはいけないが、システムのもつ特性からくる要求を是正するための指示内容を伝えることが難しい。現在の状態を基本レベルの信号を融合させて歩行者に指示し、協力をよびかけなくてはいけない。
【００１０】
難しい例として、たとえば、音声を用いて実現しようとする際には認証対象の歩行者に対し「だれそれ」と呼びかける必要がある。しかし、そもそも歩行者の名前があらかじめわかっていないので、効果はそれほど望めない。
また、個人を特定する目的で歩行中の詳細画像をディスプレイに表示しようとすれば、常にそのディスプレイを注視してもらう必要があり、歩行者への個別の指示は望めない。
【００１１】
そこで、本発明は、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域のサイズを計測する顔サイズ計測手段と、この顔サイズ計測手段により計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に応じた情報を当該歩行者に対して表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１３】
また、本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定手段と、この顔向き推定手段により推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１４】
また、本発明の顔認証装置は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定手段と、この歩行位置推定手段により推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段とを具備している。
【００１５】
また、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域のサイズを計測する顔サイズ計測ステップと、この顔サイズ計測ステップにより計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に応じた情報を当該歩行者に対して表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【００１６】
また、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定ステップと、この顔向き推定ステップにより推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【００１７】
さらに、本発明の顔認証方法は、通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、この顔検出ステップにより検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定ステップと、この歩行位置推定ステップにより推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップとを具備している。
【発明の効果】
【００１８】
本発明によれば、歩行者の顔サイズを計測し、この計測された顔サイズに基づき現在の歩行状態を推定し、この推定された歩行状態に応じた情報を当該歩行者に対して表示することにより、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【００１９】
また、本発明によれば、歩行者の顔の向きを推定し、この推定された顔の向きに基づき歩行者の歩行状態を推定し、この推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示することにより、歩行者の歩行速度に応じて指示内容もそれを追跡させながら表示可能となるので、時系列的な変化にも対応可能となり、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【００２０】
また、本発明によれば、歩行者の歩行位置を推定し、この推定された歩行位置に基づき歩行者の歩行状態を推定し、この推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示することにより、歩行者の歩行速度に応じて指示内容もそれを追跡させながら表示可能となるので、時系列的な変化にも対応可能となり、認証対象となる歩行者に対し認証精度を上げるための指示を的確に行なうことができる顔認証装置および顔認証方法を提供できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔認証装置の構成を概略的に示すものである。図１おいて、人物の身長方向に長い棒状の支持体１０１は、たとえば、歩行者（以後、人物ともいう）Ｍが歩行する通路１０２の側部に立設されている。なお、支持体１０１の高さ（長さ）は、たとえば、ほぼ歩行者Ｍの最大身長に対応した長さに設定されている。
【００２２】
支持体１０１の上端には、表示手段としての表示部１０３が設置されている。表示部１０３は、歩行者Ｍに対して各種情報を表示するもので、たとえば、カラー液晶表示パネルなどが用いられる。
【００２３】
支持体１０１には、撮像手段としてのビデオカメラ（以後、単にカメラと略称する）１０４が設置されている。ビデオカメラ１０４は、歩行者Ｍの少なくとも顔を含む画像を撮像して１フレームごとに入力するものである。
【００２４】
カメラ１０４で入力された画像は、顔検出手段としての顔領域検出部１０５に送られる。顔領域検出部１０５は、カメラ１０４で入力された画像から１フレームごとに歩行者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。
【００２５】
顔領域検出部１０５の検出結果は、認証手段としての顔認証部１０６および顔サイズ計測手段としての顔サイズ計測部１０７にそれぞれ送られる。顔認証部１０６は、顔領域検出部１０５により検出された顔領域の画像とあらかじめ登録された辞書情報（顔画像）とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する。
【００２６】
顔サイズ計測部１０７は、顔領域検出部１０５により検出された顔領域のサイズ（横方向Ｗ、縦方向Ｈのサイズ）を計測する。ここに、顔サイズの計測方法は、たとえば、顔領域検出部１０５により検出された顔領域のＸ方向およびＹ方向の各座標値を用いることで行なう。
【００２７】
顔サイズ計測部１０７の計測結果は、歩行状態推定手段としての歩行状態推定部１０８に送られる。歩行状態推定部１０８は、顔サイズ計測部１０７により計測された顔のサイズおよび当該顔サイズの変化量等を用いて歩行者Ｍの歩行状態を推定する。
【００２８】
表示手段としての表示制御部１０９は、歩行状態推定部１０８の推定結果に基づき表示部１０３の表示制御を行なう。音声案内部１１０は、歩行者Ｍに対して各種情報を音声で案内するもので、表示制御部１０９により制御される。
【００２９】
以下、歩行状態推定部１０８およびその推定結果に基づく表示制御について詳細に説明する。歩行状態推定部１０８は、たとえば、図２および下記表１に示すように、顔サイズ計測部１０７により計測された顔のサイズおよび当該顔サイズの変化量等を用いて歩行者Ｍの歩行状態を推定する。
【表１】
【００３０】
すなわち、顔サイズ計測部１０７により計測された顔のサイズ（顔領域のサイズ）が小さい場合、歩行位置が遠すぎるものと判断し、数フレーム後に照合される通路１０２内の区域に進入するものと判断し、歩行者Ｍに対し歩行進入を促す情報（たとえば、青信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行進入を促す情報（たとえば、青信号）を表示部１０３に表示する。この場合、表示と同時に、歩行進入を促す情報を音声案内部１１０で音声により行なってもよい。
【００３１】
次に、顔サイズ計測部１０７により計測された顔のサイズの変化量が大きい場合、すなわち、ある時刻ｔ＝ｔ０での撮像画像とその前の時刻ｔ＝ｔ０−１での撮像画像のサイズについて、サイズ変化量があらかじめ設定される閾値を越えてしまった場合、歩行速度が速過ぎると判断し、歩行者Ｍに対し歩行速度の減速を促す情報（たとえば、黄信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行速度の減速を促す情報（たとえば、黄信号）を表示部１０３に表示する。この場合、表示と同時に、歩行速度の減速を促す情報を音声案内部１１０で音声により行なってもよい。
【００３２】
次に、顔サイズ計測部１０７により計測された顔のサイズがあらかじめ設定される一定量を超える場合、近過ぎて画像がぼける、ぶれる等の現象が予測されるるものと判断し、歩行者Ｍに対し歩行停止を促す情報（たとえば、赤信号）の表示命令を表示制御部１０９に送る。表示制御部１０９は、歩行者Ｍに対し歩行停止を促す情報（たとえば、赤信号）を表示部１０３に表示する。この場合、表示と同時に、歩行停止を促す情報を音声案内部１１０で音声により行なってもよい。
【００３３】
次に、サイズ変化量があらかじめ設定される閾値以内におさまっている場合、あるいは、取得した画像のフレーム数が必要数を超えた場合、画像撮像が良好と判断し、特別な歩行指示は与えない。
【００３４】
以上の過程を経て照合（認証）に必要な歩行者Ｍの顔画像が取得されたと判断した場合には、歩行者Ｍに対し画像取得成功を示す情報（たとえば、緑信号）を表示部１０３に表示する。この場合、表示と同時に、画像取得成功を示す情報を音声案内部１１０で音声により行なってもよい。
【００３５】
なお、図２（ａ）は、通常歩行時の顔サイズ、顔サイズ変化量、それに対する表示情報（色）の具体例を示し、図２（ｂ）は、歩行速度が速い場合の顔サイズ、顔サイズ変化量、それに対する表示情報（色）の具体例を示している。
【００３６】
次に、第２の実施の形態について説明する。
図３は、第２の実施の形態に係る顔認証装置の構成を概略的に示すものである。図３おいて、人物の身長方向に長い棒状の支持体２０１は、たとえば、歩行者Ｍが歩行する通路２０２の側部に立設されている。なお、支持体２０１の高さ（長さ）は、たとえば、ほぼ歩行者Ｍの最大身長に対応した長さに設定されている。
【００３７】
支持体２０１には、撮像手段としてのビデオカメラ（以後、単にカメラと略称する）２０３が設置されている。カメラ２０３は、歩行者Ｍの少なくとも顔を含む画像を撮像して１フレームごとに入力するものである。
【００３８】
カメラ２０３で入力された画像は、顔検出手段としての顔領域検出部２０４に送られる。顔領域検出部２０４は、カメラ２０３で入力された画像から１フレームごとに歩行者Ｍの顔領域を検出する。
顔領域検出部２０４の検出結果は、認証手段としての顔認証部２０５および顔位置推定手段としての顔位置推定部２０６にそれぞれ送られる。顔認証部２０５は、顔領域検出部２０４により検出された顔領域の画像とあらかじめ登録された辞書情報（顔画像）とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるか否かを判定する。
【００３９】
顔位置推定部２０６は、顔領域検出部２０４により検出された顔領域（顔）を追跡しながらその位置を推定する。すなわち、たとえば、人物のいない背景を初期画像として保存し、初期画像との差分より人物候補領域を検出する。そして、検出された人物候補領域については、その時系列的座標変化が既知の情報として得られることより、前フレームとの人物候補領域との対応をとって視野内にいる間は追跡の対象とする。
【００４０】
顔位置推定部２０６の推定結果は、顔向き推定手段としての顔向き推定部２０７に送られる。顔向き推定部２０７は、顔位置推定部２０６により推定された位置の顔領域（顔）の向きを推定する。
すなわち、まず、前処理として目や鼻等の部分特徴を抽出する。その後、抽出された部分特徴の座標から平均顔モデルの対応関係を求め、周知のカメラ回転行列を用いて回転行列の内容を保持する。次に、推定された回転行列から内部パラメータとして顔の上下θ（ｐｉｔｃｈ）、左右ψ（ｙａｗ）、傾きφ（ｒｏｌｌ）をそれぞれ求める。たとえば、回転行列Ｒについては、
Ｒ（θ，ψ，φ，χ）＝Ｒ（θ）Ｒ（ψ）Ｒ（φ）
が考えられる。
【００４１】
顔向き推定部２０７の推定結果は、歩行状態推定手段としての歩行状態推定部２０８に送られる。歩行状態推定部２０８は、顔向き推定部２０７により推定された顔の向き等を用いて歩行者Ｍの歩行状態を推定する。
【００４２】
表示手段としての表示制御部１０９は、歩行状態推定部２０８の推定結果に基づき、同じく表示手段としての表示部２１０の表示制御を行なう。表示部２１０は、歩行者Ｍに対して各種情報を表示するもので、たとえば、図４に示すように、通路２０２の側部に歩行者Ｍの進行方向ａに沿って立設された電光掲示板２１０ａ、あるいは、図５に示すように、通路２０２を歩行する歩行者Ｍの前方の床上に矢印などの指示情報を表示するプロジェクタなどの投影装置２１０ｂなどが用いられる。なお、図４は２人の歩行者Ｍ１，Ｍ２が存在する場合を示している。
音声案内部２１１は、歩行者Ｍに対して各種情報を音声で案内するもので、表示制御部２０９により制御される。
【００４３】
以下、歩行状態推定部２０８およびその推定結果に基づく表示制御について詳細に説明する。歩行状態推定部２０８は、たとえば、下記表２に示すように、顔向き推定部２０７により推定された顔の向き等を用いて歩行者Ｍの歩行状態を推定する。
【表２】
【００４４】
すなわち、顔向き推定部２０７により推定された顔の下向き量（ｐｉｔｃｈ）があらかじめ定められた限界値を超えた場合、歩行者Ｍはうつむいているものと判断し、電光掲示板２１０ａを用いる場合、図４（ｂ）に示すように、電光掲示板２１０ａ上に矢印ｂを時系列的に表示することで、当該歩行者Ｍに対し歩行指示を表示する。なお、表示する矢印ｂの方向については、カメラ２０３の設置されている方向から歩行者Ｍに向かって指向するように表示する。
【００４５】
また、電光掲示板２１０ａ上に、メッセージとして、たとえば、図４（ｂ）に示すように、カメラを見て下さいを表す文字列ｃおよびカメラを表す絵ｄなどをアニメーションで表示することで、当該歩行者Ｍに対し顔向きの角度を調整するように指示する。
【００４６】
なお、プロジェクタなどの投影装置２１０ｂを用いる場合、たとえば、図５に示すように、追跡している歩行者Ｍの前方に矢印ｅをカメラ２０３に向けて逐次的に表示することで、カメラ２０３との関係を表示し、当該歩行者Ｍに対し歩行指示を表示する。
【００４７】
次に、顔向き推定部２０７により推定された顔の上向き量（ｐｉｔｃｈ）があらかじめ定められた限界値を超えた場合、歩行者Ｍは上をむいているものと判断し、上記した歩行状態がうつむきの場合と同様な歩行指示の表示を行なうとともに、音声案内部２１１による音声案内をも同時に行なう。
【００４８】
次に、顔向き推定部２０７により推定された顔の横向き量（ｙａｗ）があらかじめ定められた限界値を超えた場合、歩行者Ｍはカメラ２０３を注視していないものと判断し、たとえば、電光掲示板２１０ａを用いる場合、図４（ｂ）に示すように、カメラを見て下さいを表す文字列ｃおよびカメラを表す絵ｄなどをアニメーションで点滅表示することで、当該歩行者Ｍに対し顔向きの角度を調整するように指示するとともに、音声案内部２１１による音声案内をも同時に行なう。
【００４９】
次に、顔向き推定部２０７により推定された顔の横向き量（ｙａｗ）変化量があらかじめ定められた限界値を超えた場合、歩行者Ｍはよそ見したものと判断し、前記した歩行状態がうつむきの場合と同様な歩行指示の表示を行なう。
【００５０】
次に、歩行者Ｍの歩行位置による当該歩行者Ｍへの歩行指示について説明する。歩行者Ｍの歩行位置については、歩行状態推定部２０８が顔領域検出部２０４により検出された顔領域の座標の時系列的な推移を追跡する。たとえば、ガイダンスを必要としない歩行下においては、図６（上方より眺めた状態を示している）に示すように、歩行者Ｍは一般に進行方向を向いて歩くとすれば、カメラ２０３の設置角度との差ψが刻々と変化する。一般には、この差ψが顔の横向き方向の角度（ｙａｗ）として撮像される。このため、ψは歩行者Ｍの進行方向とカメラ２０３とのなす角度で決定され、歩行位置によってみえる角度が異なる様子が図７で示される。
【００５１】
そこで、歩行者Ｍの歩行位置の推定を追跡中の顔領域座標位置の推移履歴より行なう。図８は、一般の歩行者が画面上で時間的に移動することよって、顔領域座標位置の現れる座標の変化を大まかに示したものである。カメラ２０３から近い順にコース３、コース２、コース１とすれば、時系列変化を３分割（ｔ＝１，ｔ＝２，ｔ＝３）の順にカメラ２０３に迫るものとする。
なお、図８において、Ｅ３はコース３の歩行者に対する顔領域座標位置の変化を、Ｅ２はコース２の歩行者に対する顔領域座標位置の変化を、Ｅ１はコース１の歩行者に対する顔領域座標位置の変化を、それぞれ示している。
【００５２】
図８から明らかなように、コース３を歩いている歩行者がコース１を歩いている歩行者よりも顔領域の座標変化が著しく、かつ、得られる顔向きの変化も大きい。そこで、歩行状態推定部２０８が対象とする画像の位置よりもｔ秒後の位置を推定し、端を歩きそうと予測される歩行者であると判断した場合には、追跡中の歩行者に対し歩行位置の変動を求めるよう進行方向の修正を求める表示を矢印あるいは歩行アニメーションを電光掲示板２１０ａあるいはプロジェクタなどの投影装置２１０ｂによる投影を用いて行なう。
【００５３】
具体例に基づいて説明すると、たとえば、下記表３に示すように、推定した歩行者Ｍの歩行位置がカメラ２０３に近い場合、歩行状態は正常であるものと判断し、当該歩行者Ｍに対する歩行指示は行なわない。
【００５４】
推定した歩行者Ｍの歩行位置がカメラ２０３と遠い場合、すなわち、追跡中の歩行者Ｍが通路２０２の端を歩きそうと予測される場合、歩行状態を注意する必要があると判断し、当該歩行者Ｍに対し歩行位置を移動するよう指示する表示を行なう。
【表３】
【００５５】
なお、前記第１の実施の形態では、表示部１０３としてカラー液晶表示パネルを用いた場合について説明したが、第２の実施の形態と同様な電光掲示板あるいはプロジェクタなどの投影装置を用いてもよい。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施の形態に係る顔認証装置の構成を概略的に示す構成図。
【図２】顔のサイズとその変化量による表示情報の具体例を説明するための図。
【図３】本発明の第２の実施の形態に係る顔認証装置の構成を概略的に示す構成図。
【図４】表示部の具体例を説明するための模式図で、（ａ）図は斜視図、（ｂ）は上面図。
【図５】表示部の他の具体例を説明するための模式図。
【図６】歩行者とカメラのなす角度について説明するための模式図。
【図７】顔横向きの距離毎角度変化について説明するための図。
【図８】顔領域位置の移動による顔向き角度の推定について説明するための図。
【符号の説明】
【００５７】
Ｍ…歩行者、１０１，２０１…支持体、１０２，２０２…通路、１０３，２１０…表示部（表示手段）、１０４，２０３…カメラ（撮像手段）、１０５，２０４…顔領域検出部（顔検出手段）、１０６，２０５…顔認証部（認証手段）、１０７…顔サイズ計測部（顔サイズ計測手段）、１０８，２０８…歩行状態推定部（歩行状態推定手段）、１０９，２０９…表示制御部（表示手段）、１１０，２１１…音声案内部、２０６…顔位置推定部、２０７…顔向き推定部（顔向き推定手段）、２１０ａ…電光掲示板、２１０ｂ…投影装置（プロジェクタ）。
【特許請求の範囲】
【請求項１】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域のサイズを計測する顔サイズ計測手段と、
この顔サイズ計測手段により計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に応じた情報を当該歩行者に対して表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を色、点滅、音声、メッセージのうち少なくともいずれか１つを用いて表示することを特徴とする請求項１記載の顔認証装置。
【請求項３】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を、前記通路に沿って配設された電光掲示板を用いて当該歩行者に対して表示することを特徴とする請求項１記載の顔認証装置。
【請求項４】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を、プロジェクタ等の投影装置を用いて当該歩行者の足元の床上に表示することを特徴とする請求項１記載の顔認証装置。
【請求項５】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定手段と、
この顔向き推定手段により推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項６】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定手段と、
この歩行位置推定手段により推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項７】
前記表示手段は、前記通路に沿って配設された電光掲示板を用いて当該歩行者に対する歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項８】
前記表示手段は、プロジェクタ等の投影装置を用いて当該歩行者に対する歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項９】
前記表示手段は、歩行指示の矢印、歩行アニメーション、音声、メッセージのうち少なくともいずれか１つを用いて歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項１０】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域のサイズを計測する顔サイズ計測ステップと、
この顔サイズ計測ステップにより計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に応じた情報を当該歩行者に対して表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【請求項１１】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定ステップと、
この顔向き推定ステップにより推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【請求項１２】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定ステップと、
この歩行位置推定ステップにより推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【請求項１】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域のサイズを計測する顔サイズ計測手段と、
この顔サイズ計測手段により計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に応じた情報を当該歩行者に対して表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を色、点滅、音声、メッセージのうち少なくともいずれか１つを用いて表示することを特徴とする請求項１記載の顔認証装置。
【請求項３】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を、前記通路に沿って配設された電光掲示板を用いて当該歩行者に対して表示することを特徴とする請求項１記載の顔認証装置。
【請求項４】
前記表示手段は、前記歩行状態推定手段により推定された歩行状態に基づき、当該歩行者に歩行状態の制御を促す情報を、プロジェクタ等の投影装置を用いて当該歩行者の足元の床上に表示することを特徴とする請求項１記載の顔認証装置。
【請求項５】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定手段と、
この顔向き推定手段により推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項６】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記歩行者の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定手段と、
この歩行位置推定手段により推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定手段と、
この歩行状態推定手段により推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示手段と、
前記顔検出手段により検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証手段と、
を具備したことを特徴とする顔認証装置。
【請求項７】
前記表示手段は、前記通路に沿って配設された電光掲示板を用いて当該歩行者に対する歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項８】
前記表示手段は、プロジェクタ等の投影装置を用いて当該歩行者に対する歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項９】
前記表示手段は、歩行指示の矢印、歩行アニメーション、音声、メッセージのうち少なくともいずれか１つを用いて歩行指示を逐次的に表示することを特徴とする請求項５または請求項６記載の顔認証装置。
【請求項１０】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域のサイズを計測する顔サイズ計測ステップと、
この顔サイズ計測ステップにより計測された顔領域のサイズに基づき当該歩行者の現在の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に応じた情報を当該歩行者に対して表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【請求項１１】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者の顔の向きを推定する顔向き推定ステップと、
この顔向き推定ステップにより推定された顔の向きに基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【請求項１２】
通路を歩行する歩行者の少なくとも顔を含む画像を撮像する撮像ステップと、
この撮像ステップにより撮像された画像から前記歩行者の顔領域を検出する顔検出ステップと、
この顔検出ステップにより検出された顔領域の当該歩行者の歩行に伴う時系列的遷移から当該歩行者の歩行位置を推定する歩行位置推定ステップと、
この歩行位置推定ステップにより推定された歩行位置に基づき当該歩行者の歩行状態を推定する歩行状態推定ステップと、
この歩行状態推定ステップにより推定された歩行状態に基づき当該歩行者に対して歩行指示を逐次的に表示する表示ステップと、
前記顔検出ステップにより検出された顔領域内の画像に基づき当該歩行者はあらかじめ登録された人物であるか否かを判定する認証ステップと、
を具備したことを特徴とする顔認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２４１５００（Ｐ２００７−２４１５００Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６０６３７（Ｐ２００６−６０６３７）
【出願日】平成１８年３月７日（２００６．３．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月７日（２００６．３．７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]