説明

顔検出システム、および顔検出方法

【課題】この発明は、人の顔を高い確率で検出できる顔検出システム、および顔検出方法を提供することを課題とする。
【解決手段】顔照合システム1は、店舗入口2の近くに設置されたカメラ3、顔検出端末4、およびディスプレイ5を有する。この他に、システム1は、顔照合サーバー6を有する。歩行者Pが通路を歩いて店舗入口2に向かうとき、ディスプレイ5を介して注目し易い画像を表示し、ディスプレイ5の近くに設置したカメラ3で歩行者Pの正面の顔画像を撮影する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、人の顔を検出する顔検出システム、および顔検出方法に係り、例えば、デパートやスーパーなどに入店する歩行者の顔を検出する顔検出システム、および顔検出方法に関する。
【背景技術】
【0002】
従来、人の顔を撮影して監視するシステムとして、防犯の目的で、エレベーター内の人の顔を撮影して監視するシステムが知られている(例えば、特許文献1参照。)。このシステムでは、最も目の行き易い行き先階ボタンの近くにカメラを設置したり、カメラの近くに音や光を発生させる装置を設置したり、撮影した画像を表示する表示パネルにカメラを取り付けたりすることで、人の注意をカメラに向けさせる工夫をしている。これにより、帽子を深くかぶった人や俯き加減の人の顔を高い確率で撮影することができる。
【0003】
しかし、このシステムでは、2、3回エレベーターに乗った人は、カメラの位置やこのシステムの主旨を容易に把握できるため、音や光がなくてもカメラに顔を向けるようになり、或いは撮影されたくない人はカメラから故意に顔を背けるようになる。つまり、このシステムを備えたエレベーターに乗る人は、何回か利用しているうちに音や光に慣れてしまい、システムが期待しているようにカメラに顔を向けなくなってしまう。
【0004】
また、このシステムでは、エレベーター内の限られた狭い空間における人の挙動を考えれば良く、エレベーターに乗った人が目を向け易い場所(例えば、エレベーターに乗った人が必ず操作する行き先階ボタン)を特定し易いため、カメラを設置する場所を工夫すれば、容易に人の顔を正面から撮影することができるが、デパートやスーパーなどに入る歩行者の顔を撮影したい場合には、歩行者が目を向け易い場所を特定することは極めて難しく、歩行者が入店時に操作する端末等も無いため、このシステムを利用することはできない。
【特許文献1】特開2005−47689号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
この発明の目的は、人の顔を高い確率で検出できる顔検出システム、および顔検出方法を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の顔検出システムは、人を撮影する撮影装置と、この撮影装置で撮影した画像からその人の顔を検出する顔検出装置と、上記撮影装置の方向に設置され、該撮影装置に顔を向けさせるように予め用意した注目度の高い画像を表示する表示装置と、有する。
【0007】
また、本発明の顔検出方法は、人を撮影する撮影装置の方向に設置された表示装置を介して、予め用意した注目度の高い画像を表示して、人の顔を上記撮影装置に向けさせる表示工程と、この表示工程で表示している画像を見ている人を上記撮影装置で正面から撮影する撮影工程と、この撮影工程で撮影した画像からその人の顔を検出する顔検出工程と、を有する。
【0008】
上記発明によると、人を撮影する撮影装置の方向に設置した表示装置を介して、予め用意した注目度の高い画像を表示するため、表示装置で表示した画像に注目して顔を向けた人を撮影装置で撮影でき、撮影した画像からその人の顔を高い確率で検出できる。
【発明の効果】
【0009】
この発明の顔検出システム、および顔検出方法によると、人の顔を高い確率で検出できる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照しながらこの発明の実施の形態について詳細に説明する。
図1には、この発明の実施の形態に係る顔検出システム1(以下、単にシステム1と称する)の概略図を示してある。
【0011】
システム1は、例えば、デパートやスーパーなどの店舗の入口2の近くに設置されたカメラ3(撮影装置)、顔照合端末4、およびディスプレイ5(表示装置)を含む。この他に、システム1は、ディスプレイ5で表示する画像を保持した顔照合サーバー6を含む。
【0012】
カメラ3は、店舗入口2に向かって通路を歩く歩行者Pからは見えない位置に設置されている。また、ディスプレイ5は、店舗入口2に近付いた歩行者Pがカメラ3に顔を向ける方向に設置されている。言い換えると、ディスプレイ5は、ディスプレイ5を見た歩行者Pがカメラ3の方向を向く位置に設置されている。なお、ここでは、カメラ3とディスプレイ5を別々に設置した例を示してあるが、カメラ3を一体に備えたディスプレイ5を用いても良い。
【0013】
それから、ディスプレイ5を介して、予め用意した歩行者Pの注目を集め易い画像(注目度の高い画像)(後に詳述する)を表示し、店舗入口2に向かって通路を歩く歩行者Pの顔がカメラ3の方向を向くようにする。そして、カメラ3で撮影した歩行者Pの正面の画像を顔照合端末4にて処理し、その歩行者の顔を検出する。さらに、必要に応じて、顔照合端末4にて、周知の顔照合技術を用いて、当該歩行者の顔画像を予めデータベースに記憶した顔画像と照合して、歩行者Pを特定する。
【0014】
なお、言うまでも無く、顔の検出率や照合率を高めるためには、撮影対象となる歩行者Pの顔の正面がカメラ3を向いていることが重要となる。また、顔照合の際に、例えば、データベースに予め用意したブラックリストに当該顔画像を照会し、ブラックリストに登録されている人物を特定でき、この人物を監視することもできる。
【0015】
一方、顔照合端末4における顔検出結果または顔照合結果は、その都度、顔照合サーバー6へ通知される。つまり、顔照合端末4で当該人物の顔を検出できたか否か、または当該人物の顔を照合できたか否かを顔照合端末4から顔照合サーバー6にリアルタイムで通知する。
【0016】
顔照合サーバー6では、これら顔照合端末4から通知されたデータを、そのときディスプレイ5で表示している画像毎に、予め決められた時間間隔(例えば、1週間、1日、6時間毎など)で集計し、画像毎の顔検出率(または顔照合率)を算出する。そして、顔照合サーバー6は、この顔検出率(または顔照合率)の高い画像を優先的にディスプレイ5で表示させるため、顔検出率(または顔照合率)に応じて画像を並べ替え、顔検出率(または顔照合率)の高い画像データを優先的に顔照合端末4へ送信する。
【0017】
つまり、本実施の形態のシステム1においては、店舗入口2の近くに設置したディスプレイ5を介して、常に、顔検出率(または顔照合率)の最も高い画像が表示されることになり、歩行者Pに対する注目度の高い画像が表示されることになる。
【0018】
言い換えると、顔照合サーバー6で各画像の顔検出率(または顔照合率)を算出して顔検出率(または顔照合率)の高い画像を優先的に表示させることで、店舗入口2に向かって歩く歩行者Pがディスプレイ5に顔を向ける確率を高めることができ、入店する歩行者Pの顔検出率または顔照合率を高めることができる。
【0019】
また、このシステム1では、歩行者Pがディスプレイ5を介して表示されている画像に飽きないように、常に新しい画像(歩行者が注目を集めるであろう画像)を用意して顔照合サーバー6に登録し、顔検出率(顔照合率)の低い画像と取り替えて更新するようにしている。なお、ディスプレイ5を介して表示する画像には、例えば、その日の天気予報や特売品の広告などが考えられるが、店舗入口2に向かう歩行者Pに対する注目度の高い画像であればいかなる画像であっても良い。
【0020】
図2には、上記システム1のブロック図を示してある。ここで、図2を参照して、システム1の構成をより詳細に説明する。
カメラ3およびディスプレイ5を接続した顔照合端末4には、この他に、店舗入口2に向けて移動する歩行者Pを検知するための人感センサ7が接続されている。また、顔照合端末4は、当該店舗を利用する利用客、すなわち、当該システム1を利用する人物の顔画像、性別、年齢などの属性情報を会員情報として予め登録するためのキーボードやポインティングデバイスなどの入力装置11、この入力装置11を介して入力された会員の属性情報をデータベース12に書き込む書き込み装置13、カメラ3を介して撮影した人物の画像を処理して顔の領域を検出して顔の特徴を検出するとともに、周知の顔照合技術を用いて検出した顔画像をデータベース12にある顔画像と照合する画像処理装置14、および顔照合サーバー6との間で各種データを送受信するための通信装置15を有する。データベース12には、上述した属性情報の他に、当該店舗に対して好ましくない人物の属性情報を記憶したブラックリストが格納されている。なお、画像処理装置14は、この発明の顔検出装置および顔照合装置として機能する。
【0021】
顔照合サーバー6は、顔照合端末4との間で各種データを送受信するための通信装置21、この通信装置21を介して顔照合端末4から送信された顔検出や顔照合の結果をメモリ22(記憶装置)にあるデータテーブル23書き込むとともに、このデータテーブル23に書き込んだ統計データに基づいてディスプレイ5で表示した各画像に対応する顔検出率や顔照合率を算出する制御部24、および当該店舗を利用する利用客に対する注目度の高い画像を入力するための入力装置25を有する。入力装置25を介して入力された新たな画像に関する情報は、メモリ22にあるデータテーブル23に適宜追加され、顔検出率または顔照合率の低い古い画像が消去されてデータが更新される。制御部24は、この発明の画像切換装置、並べ替え装置、画像更新装置として機能し、メモリ22のデータテーブル23の画像Noを顔検出率(または顔照合率)の高い順に並べ替えるとともに、並べ替えた画像Noの画像を顔検出率(または顔照合率)の高い順に優先的に顔照合端末へ配信するよう機能する。
【0022】
なお、上記顔照合端末4の通信装置15や顔照合サーバー6の通信装置21は、インターネット30に接続されており、他の店舗に設置したシステムの顔照合端末4や顔照合サーバー6と無線通信可能となっており、各種データを店舗間で送受信可能となっている。このため、例えば、ある特定の顔照合サーバー6を介して入力した新しい画像を各店舗の顔照合端末4へ配信することもできる。
【0023】
次に、上記システム1を用いた顔検出方法について、図3および図4に示すフローチャートとともに、図5に示すデータテーブル23の例を参照して説明する。図3には、顔照合端末4における処理動作を説明するためのフローチャートを示してあり、図4には、顔照合サーバー6における処理動作を説明するためのフローチャートを示してある。なお、ここでは、ディスプレイ5で表示する画像を切り換える周期を15分とし、画像を切り換えるための統計データのサンプリング周期を1日に設定した場合を例にとって説明する。
【0024】
サンプリング開始時、すなわち店舗の営業開始時には、システム1の顔照合サーバー6は、メモリ22のデータテーブル23(図5)にある各画像Noのカウンタ(人物検出、顔検出)をゼロにして初期化する(図4:ステップ11)。そして、顔照合サーバー6は、メモリ22に格納している複数の画像を順に通信装置21を介して顔照合端末4へ送信する。このときの画像の送信間隔は、画像の切り換え周期(15分)と一致する。
【0025】
顔照合端末4では、通信装置15を介して顔照合サーバー6から取得した画像(本実施の形態では動画とする)を、ディスプレイ5を介して表示する(図3:ステップ1)。つまり、表示する画像の切り換え周期も15分になる。なお、この時点で、顔照合サーバー6のメモリ22に予め用意されている複数の画像には明確な順位が付けられていないものとする。
【0026】
ステップ1で顔照合端末4のディスプレイ5を介して表示する動画には、例えば、テレビの画像、その日の天気予報、商品の広告、その日の激安品や特売品、来店者に対するくじの当落などが考えられるが、動画に限らず、ディスプレイ5を介して表示する画像はいかなるものでも良い。しかし、表示する画像としては、来店者Pの注目を集め易い画像である必要がある。ここで言う注目を集め易い画像とは、後述する顔検出率や顔照合率に基づいて高い位置に順位付けされる画像であり、統計的に注目し易いことが分かっている画像であり、このような画像のことを特許請求の範囲では注目度の高い画像としている。
【0027】
ステップ1でディスプレイ5を介して動画を表示している状態で、来店者(歩行者P)が店舗入口2に近付くと、人感センサ7を介して当該人物がセンシングされ(ステップ2;YES)、カメラ3を介して当該人物が撮影される(ステップ3)。
【0028】
人物を撮影した画像は、画像処理装置14で一旦記憶され、この画像から当該人物が“人”であることが検出される(ステップ4)。そして、ステップ4の検出結果が通信装置15、21を介して顔照合サーバー6へ通知される(ステップ5)。すなわち、ステップ5では、ステップ4の処理で当該人物が“人”として検出できたか否かが顔照合端末4から顔照合サーバー6へ通知される。
【0029】
また、このとき、顔照合端末4において、ステップ4で“人”であることを検出した画像から当該人物の顔の領域が切り出されて当該人物の顔の特徴が検出され(ステップ6)、この検出結果が通信装置15、21を介して顔照合サーバー6へ通知される(ステップ7)。すなわち、ステップ7では、ステップ6の処理で当該人物の顔の特徴が検出できたか否かが顔照合端末4から顔照合サーバー6へ通知される。通知後、一旦記憶した当該人物の画像は消去される。
【0030】
一方、ステップ5で顔照合端末4から通知された“人”の検出結果は、その都度、顔照合サーバー6で参照され(ステップ12)、ステップ7で顔照合端末4から通知された“顔”の検出結果も、その都度、顔照合サーバー6で参照される(ステップ13)。そして、このとき、顔照合サーバー6では、ステップ3でカメラ3を介して撮影した当該人物の“人”および/或いはその“顔”が検出できたか否かを判断する(ステップ14、15)。
【0031】
つまり、顔照合サーバー6では、ステップ12、13で参照した当該人物に関する検出結果に基づいて、“人”および“顔”の両方が検出できていることを判断した場合(ステップ14;YES)、そのときディスプレイ5を介して表示している画像の画像Noのカウンタを両方(人物検出および顔検出)とも1ずつ加算する(ステップ16)。または、顔照合サーバー6は、このとき、“人”を検出することはできたが“顔”を検出できなかった場合(ステップ15;YES)、“人”を検出できたことをカウントするカウンタだけ1加算する(ステップ17)。
【0032】
そして、顔検出サーバー6は、顔検出端末4から通知されるデータが無くなるまで(ステップ18;YES)、すなわち店舗の営業が終了するまで、順次配信した各画像に対して、ステップ12〜17の処理を繰り返して統計をとる。
【0033】
一方、顔検出端末4では、統計データを集計するサンプリング周期、すなわち一定評価期間(時間)(本実施の形態では1日)の間中、顔照合サーバー6から送信される複数の画像を一定期間(本実施の形態では15分)ずつディスプレイ5を介して切り換え表示し(ステップ1)、ステップ2〜ステップ7の処理を繰り返す。
【0034】
つまり、1つの画像を表示する15分が経過した時点(ステップ8;YES)で、一定の評価期間が経過している場合、すなわち営業時間が終了した場合(ステップ9;YES)、処理を終了する。ステップ9で一定の評価期間が終了していないことを判断した場合(ステップ9;NO)には、ディスプレイ5で表示する画像を切り換えるべく、メモリ22にある次の画像Noの画像が顔照合サーバー6から顔照合端末4へ送信され、ディスプレイ5を介して表示される(ステップ10)。
【0035】
さらに、顔照合サーバー6では、ステップ18で処理すべきデータが無いことを判断したとき(ステップ18;YES)、すなわち店舗の営業が終了した時点で、サンプリング周期が終了したことをもって、データテーブル23でカウントした検出結果を集計し、各画像に対する顔検出率を算出する(ステップ19)。このとき、顔照合サーバー6では、各画像を表示したときの“人”の検出回数に対する“顔”の検出回数の割合(%)を算出し、各画像の“注目度”を評価する。そして、この評価の高い順に各画像の画像Noを並べ替えて複数の画像に“注目度”に関する順位を付ける(ステップ20)。
【0036】
しかして、次の日、このように順位付けした画像を“注目度”の高い画像から優先的に顔照合サーバー6が顔照合端末4へ配信し、ディスプレイ5を介して“注目度”の高い画像を表示する。
【0037】
以上のように、本実施の形態によると、上述したデータ収集および集計結果のフィードバックを続けるうちに、自動的に、その店舗の利用客にとって“注目度”の高い画像を常に表示させることができ、顔検出率を徐々に高めることができる。
【0038】
しかし、毎日その店舗を利用している利用客は、同じ画像を毎日見ることで飽きてしまい、ディスプレイ5に顔を向ける確率が低くなることが考えられる。このため、上述したデータテーブル23における画像の並べ替えによって“注目度”が低い位置に順位付けされた画像は、新しい画像に更新することが望ましい。
【0039】
この場合、例えば、顔照合サーバー6の入力装置25を介して新たな画像がシステム1に入力される。ここで言う新たな画像も、当然のことながら、その店舗の利用客にとって注目度が高いであろう画像が用意される。いずれにしても、新たに入力された画像に対しても、既存の他の画像と同様、顔検出率の統計をとって“注目度”が評価され、“注目度”の低い画像については短期間で更新されることになる。
【0040】
なお、画像の更新のタイミングは、サンプリング周期であってもよくそれ以上であっても良く、任意のタイミングに設定できる。例えば、サンプリング周期として、上記した1日の他に、1週間や1月であっても良い。また、1サンプリング周期内で画像を切り換える周期も、上記した15分に限らず任意に設定できる。
【0041】
或いは、画像を新しいものに更新するタイミングとして、“注目度”の評価がある一定レベルを超えて下回ったときのタイミングに設定しても良い。この場合、“注目度”の低い画像からタイムリーに更新されることになり、常に、用意した画像の“注目度”を一定レベル以上に維持できる。
【0042】
また、更新する画像は、インターネットを介して他の店舗の端末4やサーバー6に配信することも可能であり、店舗を展開している地域毎に画像を一括して更新するようにしても良い。
【0043】
また、上述した実施の形態では、サンプリング周期の1日の中で特に時間帯やサンプリング場所などのファクターについては言及していないが、時間帯に応じて“注目度”の高い画像をいくつか用意して個別に切り換えるようにしても良く、或いは店舗の入口毎に“注目度”の統計をとって売り場にあった画像を用意しても良い。
【0044】
或いは、利用客の年齢、性別、職業などの属性に応じて“注目度”の高い画像の統計をとって属性毎に“注目度”の高い画像を用意しても良い。この場合、例えば、「30代の主婦は、夕方の5時〜6時の間、ある画像の“注目度”が高くなる」など、時間帯の条件も加えることができる。特に、購買力の高い層の属性についてピンポイントで“注目度”の高い画像を表示することで、売り上げを向上させる効果が期待できる。
【0045】
このように、人の属性をキーにして表示する画像を用意するためには、システム1側で予めその店舗の利用客の属性を把握しておく必要がある。この場合、例えば、顔照合端末4の入力装置11を介して予め利用客の“会員登録”をしておくことが考えられる。つまり、入力装置11のカメラを介して利用客の顔画像を撮影してデータベース12に登録しておき、年齢や性別などの他の属性要素も関連させておく。そして、当該利用客が来店した際に、上述したようにカメラ3で撮影した画像からその人物の顔画像を検出および照合し、この照合した顔画像をデータベース12に照会して当該人物を特定する。
【0046】
なお、この発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述した実施の形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、上述した実施の形態に示される全構成要素から幾つかの構成要素を削除しても良い。更に、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。
【0047】
例えば、上述した実施の形態では、顔照合端末4にて歩行者Pの顔を検出して、その顔検出率に基づいて画像の“注目度”にランク付けする場合について説明したが、これに限らず、検出した画像から顔照合して顔照合率に基づいて画像の“注目度”をランク付けするようにしても良い。
【図面の簡単な説明】
【0048】
【図1】この発明の実施の形態に係る顔照合システムを示す概略図。
【図2】図1のシステム構成をより詳細に説明するためのブロック図。
【図3】図1、2のシステムの顔照合端末における処理動作を説明するためのフローチャート。
【図4】図1、2のシステムの顔照合サーバーにおける処理動作を説明するためのフローチャート。
【図5】図1、2のシステムの顔照合サーバーのメモリにあるデータテーブルの一例を示す図。
【符号の説明】
【0049】
1…顔照合システム、2…店舗入口、3…カメラ、4…顔検出端末、5…ディスプレイ、6…顔照合サーバー、7…人感センサ、11…入力装置、12…データベース、13…書き込み装置、14…画像処理装置、15…通信装置、21…通信装置、22…メモリ、23…データテーブル、24…制御部、25…入力装置、30…インターネット。

【特許請求の範囲】
【請求項1】
人を撮影する撮影装置と、
この撮影装置で撮影した画像からその人の顔を検出する顔検出装置と、
上記撮影装置の方向に設置され、該撮影装置に顔を向けさせるように予め用意した注目度の高い画像を表示する表示装置と、
を有することを特徴とする顔検出システム。
【請求項2】
上記注目度の高い複数種類の画像を予め用意して記憶した記憶装置と、
この記憶装置から1つの画像を抽出して上記表示装置へ配信するとともに、適当なタイミングで別の画像に切り換えるべく次の画像を上記記憶装置から抽出して上記表示装置へ配信する画像切換装置と、
をさらに有することを特徴とする請求項1に記載の顔検出システム。
【請求項3】
上記表示装置で各画像を表示したときの上記顔検出装置における顔の検出率に基づいて、上記記憶装置で記憶している複数の画像を上記検出率の高い順に並べ替える並べ替え装置をさらに有し、
上記画像切換装置は、上記検出率の高い画像を優先的に上記記憶装置から抽出して上記表示装置へ配信することを特徴とする請求項2に記載の顔検出システム。
【請求項4】
上記注目度の高い新たな画像を取得して上記記憶装置で記憶している画像を更新する画像更新装置をさらに有することを特徴とする請求項2または請求項3に記載の顔検出システム。
【請求項5】
上記顔検出装置で検出できた顔画像を予めデータベースに記憶した顔画像と照合する顔照合装置をさらに有することを特徴とする請求項1に記載の顔検出システム。
【請求項6】
人を撮影する撮影装置の方向に設置された表示装置を介して、予め用意した注目度の高い画像を表示して、人の顔を上記撮影装置に向けさせる表示工程と、
この表示工程で表示している画像を見ている人を上記撮影装置で正面から撮影する撮影工程と、
この撮影工程で撮影した画像からその人の顔を検出する顔検出工程と、
を有することを特徴とする顔検出方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate