領域利用者管理システムおよびその管理方法
【課題】
領域への入退場を画像で管理する場合に、他人による子供の連れ去りを未然に防止する領域利用者管理システムおよびその管理方法を提供することを目的とする。
【解決手段】
画像入力部12で撮影した撮影画像に含まれる顔から注目人物の判定を行い、注目人物で無いと判定された顔から注目人物の同伴者の推定を行い、異なる時点で撮影された複数の撮影画像から同伴者推定手段により注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定し、その結果を結果出力部26に出力する。特に同伴者の候補者に不一致が生じていると判定された場合には、警報や警告灯などの出力手段で通知を行うことにより、利用者を煩わすこともなく、他人による子供の連れ去りなどの犯罪を未然に防止することができる。
領域への入退場を画像で管理する場合に、他人による子供の連れ去りを未然に防止する領域利用者管理システムおよびその管理方法を提供することを目的とする。
【解決手段】
画像入力部12で撮影した撮影画像に含まれる顔から注目人物の判定を行い、注目人物で無いと判定された顔から注目人物の同伴者の推定を行い、異なる時点で撮影された複数の撮影画像から同伴者推定手段により注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定し、その結果を結果出力部26に出力する。特に同伴者の候補者に不一致が生じていると判定された場合には、警報や警告灯などの出力手段で通知を行うことにより、利用者を煩わすこともなく、他人による子供の連れ去りなどの犯罪を未然に防止することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、領域利用者管理システム、とくに入退場を画像データで監視しリアルタイムで子供の連れ去られを防止する領域利用者管理システムおよびその管理方法に関するものである。
【背景技術】
【０００２】
近年、子供の誘拐や連れ去りなどの犯罪が増加している。とくに大型ショッピングセンタなどでは、子供が迷子などで一人になってしまうことが多く、このような子供が狙われる事件が増えている。このような事件を防ぐために、たとえば特開2005-234765号公報（特許文献１）には、子供が迷子になった場合、監視カメラで撮影された、同伴者と子供が一緒に映っている画像を検索し、その画像を基にして監視カメラで現在の子供の居場所を捜すシステムが開示されている。また、特開2007-60528号公報（特許文献２）には、領域への入場時に子供と同伴者の各顔画像を対応させてデータベースに登録し、領域の様々な場所に設置した監視カメラから得られた画像から、顔画像による識別を行い、子供と同伴者が離れている状態が一定時間続いた場合に、同伴者に子供が迷子となったことを通知するシステムが開示されている。
【特許文献１】特開2005-234765号公報
【特許文献２】特開2007-60528号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、このような従来のシステムでは、警備員の配置が必要でコストがかかったり、警備員が子供を発見しても同伴者か誘拐犯かの見分けることが難しかったり、子供が迷子になったことを同伴者が気づくまでの間にすでに子供が領域外に連れ去れてしまい発見できないことがあった。また、領域への入場時に子供と同伴者の各顔画像を対応させてデータベースに登録する方法が提示されているが、入場時に子供と同伴者の関係の登録、顔画像の撮影および登録作業が必要であり、とくに休日の大型ショッピングセンタのような多数の利用者がある領域においては登録作業のために利用者を待たせることになるという問題があった。
【０００４】
本発明は、このような従来技術の欠点を解消し、利用者を煩わせることなく他人による子供の連れ去りを未然に防止する領域利用者管理システムおよびその管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明によれば、上述の課題を解決するために、領域の利用者を画像データで管理する領域利用者管理システムは、撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定手段と、注目人物ではないと判定された顔から注目人物の同伴者の推定を行う同伴者推定手段と、この領域の異なる時点で撮影された複数の画像から同伴者推定手段により注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定する同伴人物判定手段と、同伴人物判定手段の結果を出力する結果出力手段とを含むことを特徴とする。
【０００６】
また、領域の利用者を画像データで管理する領域利用者管理システムの管理方法は、撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定工程と、注目人物ではないと判定された顔から注目人物の同伴者の推定を行う同伴者推定工程と、この領域の異なる時点で撮影された複数の画像から同伴者推定工程にて注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定する同伴人物判定工程と、同伴人物判定手段の結果を出力する結果出力工程とを含むことを特徴とする。
【発明を実施するための最良の形態】
【０００７】
次に、添付図面を参照して、本発明による領域利用者管理システムの実施例を詳細に説明する。まず、実施例の構成を、図１を参照に説明する。
【０００８】
第１の実施例の領域利用管理システム100は、たとえば、大型ショッピングセンタなどの施設を含む特定の領域に配設され、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26を含んで、これらが図示のように接続されて構成される。
【０００９】
画像入力部12は、カメラデバイスなどの連続した画像を取得可能な装置を有し、たとえばショッピングセンタなどの領域の出入口に、入退場者の顔がもれなく撮影されるように調整されて設定されて、撮影したすべての入退場者の画像信号512を顔検出部14に送る。もちろん出入口が複数箇所ある場合にはそれにあわせて複数設置されるが、機能は同じであるので、ここでは一台設置されている場合について説明する。
【００１０】
顔検出部14は、画像入力部12から送付される入退場者の画像信号512から従来技術により顔領域を抽出し、たとえば顔の位置、顔の大きさ、カメラ12からのおおよその距離などの顔領域情報514として注目人物判定部16に送る。
【００１１】
注目人物判定部16は、顔検出部14から送付される顔領域情報514から、あらかじめ決められた特徴と比較しさらに細かく分析を行い、注目すべき人物かどうかを決定し、顔検出部14から送付された顔領域情報514を含んだ注目人物情報516として同伴者推定部18に送る。
【００１２】
同伴者推定部18は、注目人物判定部16から送付される注目人物情報516から注目人物と一緒に撮影された人物との顔の間の距離を算出し、顔の近さにより同伴者の候補を決定し、注目人物情報516を含んだ同伴者候補情報518として顔情報登録部20および同伴人物判定部24に送る。
【００１３】
顔情報登録部20は、同伴者推定部18から送られる同伴者候補情報518について、決定された同伴人物候補者のそれぞれ他人と識別できる顔の特徴を抽出し、同伴人物候補者の識別番号と注目人物を一意に特定する識別番号を関連付けて、入場者データ520として入場者データベース22に送る。
【００１４】
入場者データベース22は、顔情報登録部20から送られる入場者データ520を格納し、同伴人物の判定が必要なときに同伴人物判定部24に識別可能情報522を提供する。
【００１５】
同伴人物判定部24は、画像入力部12で撮影され、顔検出部14、注目人物判定部16および同伴者推定部18を経由して送られた退場者の同伴者候補情報518と、入場者データベース22に格納されている識別可能情報522から、退場時の同伴者の候補者が入場の同伴者の候補者と同じであるか否かを判定し、その判定結果情報524を結果出力部26に送る。
【００１６】
結果出力部26は、同伴人物判定部24から送付される判定結果情報524を、たとえば音声や画像などの出力手段を用いて出力する。とくに同伴者の候補者が入場時と入れ替わっていると判定された場合には、警報や警告灯などの出力手段で通知を行なう。
【００１７】
また出力手段として画像表示が可能で警備員が携帯できる携帯端末を用い、単に警報を通知するだけではなく、それと同時に入場時の画像などの判定の元となった画像や、親族などの似た顔であるかの類似度情報を警備員に送信し、確認ができるようにすることもできる。
【００１８】
次に、本実施例の領域利用者管理システムにおいて、入退場者を管理する動作について、図２と図７の動作フロー図および図３〜図６のイメージ図を参照にしながら詳細に説明する。ここでは、分かりやすくするために入場時での管理動作と退場時での管理動作について分けて説明する。
【００１９】
まず、領域への入場者を管理する動作について説明する。領域の出入口にセットされた画像入力部12、たとえばカメラデバイスで連続に撮影された(ステップS102)入場者の画像信号512が顔検出部14に送信される。
【００２０】
顔検出部14では画像入力部12から送られた画像信号512は、顔領域を検出する従来技術を用いて顔領域が検出される (S104)。この顔領域は、画像中の顔の位置、顔の大きさおよびおおよそのカメラからのおおよその距離などの顔領域情報514を含んでいる。
【００２１】
たとえば、図３に示すように、画像の左上の角部を原点とし顔領域の左上端と右下端をそれぞれ座標(X1,Y1)、(X2,Y2)で示すことにより、画像中の顔の位置は、((X1+X2)/2,(Y1+Y2)/2)として、顔の大きさは、この2点の差から知ることができ、この顔の大きさからカメラからのおおよその距離も推定される。
【００２２】
顔検出部14から送られた顔領域情報514は、注目人物判定部16においてさらに詳細に分析され、注目すべき人物かどうかが判定される(S106)。ここで注目すべき人物とは、あらかじめ決められた特徴を持つ人物を指す。
【００２３】
たとえば、連れ去られる可能性のある子供の場合、あらかじめ決められた特徴とは、図５に示すように、子供は、顔の中の目と口の間隔が大人に比べて短いことや身長が低いため地面から顔まで距離が短いこと、またその組合せなどの特徴を指す。
【００２４】
注目人物と判定された場合は、その注目人物情報516が、同伴者推定部18に送られる。注目人物ではないと判定された場合には、顔検出部14に戻り、次の人物について注目人物の判定を行い、画像中のすべての顔について判定するまで繰り返される(S116)。
【００２５】
同伴者推定部18では、注目人物判定部16から送付される注目人物情報516から決定された注目人物と、同じ映像に映っている注目人物以外の１つの人物との距離を算出する(S108)。
【００２６】
図４に示すように、画像の特性としてカメラに近い顔は画像上で大きくなり、離れるに従い小さくなる。カメラからの距離が大きく異なる複数の人物がいる場合には、画像中での顔領域同士の距離が実際の距離と大きく異なることがあり、画像中では近く存在するのに実際は離れて存在していることが起こり得る。
【００２７】
このような場合には、次の通り、顔領域の大きさを推定条件として加えて実際の距離を推定する。
【００２８】
距離を求める2つの顔領域をＡ、Ｂとすると、顔検出部14で示したとおり、それぞれの顔領域の位置は、
(Ax,Ay)=((Xa1+Xa2)/2,(Ya1+Ya2)/2)、(Bx,By)=((Xb1+Xb2)/2,(Yb1+Yb2)/2)となる。
【００２９】
また、画像上のそれぞれの顔領域の大きさを
(Rxa,Rya)=((Xa2-Xa1)/2,(Ya2-Ya1)/2)、(Rxb,Ryb)=((Xb2-Xb1)/2,(Yb2-Yb1)/2)とすると、顔領域Ａ、Ｂの実際の距離ABは、
AB=((Ax - Bx)2 + (Ay – By)2 +α(Rxa - Rxb)2)1/2 として算出できる。ここで(Xa1, Ya1)、(Xa2, Ya2)は、顔領域Ａの左上端と右下端の座標を、(Xb1, Yb1)、(Xb2, Yb2)は、顔領域Ｂの左上端と右下端の座標を示す。また、αは、カメラ特性による画像の大きさの距離による変化を示す定数であり、実験的に決定される。
【００３０】
算出された注目人物からの距離を、設定された基準距離と比較し(S110)、基準距離以内の場合には、その人物を同伴者候補として決定し、同伴者候補情報518として顔情報登録部20に送る。基準距離以上の場合には、注目人物以外の別の人物を選び(S114)、同様に注目人物との距離を算出し判定する。
【００３１】
同伴者判定部18から顔情報登録部20に送られた同伴者候補情報518は、たとえば図６に示すように、注目人物が一意となる識別番号、注目人物の他人と識別可能な顔特徴情報、同伴者候補数、同伴者識別番号、同伴者の他人と識別可能な顔特徴情報などを関連付けた入場者データ520として、入場者データベース22に格納される(S112)。さらに、判定の精度を上げるために、入場者データ520として衣服の模様や色、人物の体型などの情報を関連付けて一緒に格納してもよい。
【００３２】
このとき入場者データ520は、重複の登録を避けるため、登録済の入場者データベース22との照合を行なってから登録される。
【００３３】
ここで他人と識別可能な顔特徴の抽出方法については、たとえば特開2007-156768号公報などの従来技術を用いればよい。
【００３４】
次に、領域からの退場者を管理する動作について説明する。画像入力部12、顔検出部14、注目人物判定部16、および同伴者判定部18までの動作は、入場者の管理と同じ動作であるので、簡単に説明する。
【００３５】
画像入力部12で連続に撮影された(S122)退場者の画像信号512が、顔検出部14に送信されると顔領域が検出され(S124)、顔領域情報514が抽出される。
【００３６】
つづいて顔領域情報514は、注目人物判定部16に送られ、注目人物であるか否かが判定される(S126)。注目人物と判定された場合は、注目人物情報516が、同伴者推定部18に送られる。注目人物ではないと判定された場合には、顔検出部14にもどり、画像中のすべての顔について判定するまで繰り返される(S142)。
【００３７】
同伴者推定部18では、注目人物判定部16から送付される注目人物情報516から決定された注目人物と、同じ映像に映っている注目人物以外の１つの人物との距離が算出され(S128)、基準距離と比較され(S130)、注目人物以外のすべての人物が確認されて(S140)、同伴者候補が決定される。
【００３８】
同伴者推定部18で決定された結果は、同伴者候補情報518として同伴人物判定部24へ送られる。
【００３９】
同伴人物判定部24では、同伴者推定部18から送られてくる同伴者候補情報518は、入場者データベース22からの識別可能情報522と比較され、たとえば一致度が一定以上の高さがある顔特徴の識別番号を得ることにより、注目人物の特定が行なわれる(S132)。
【００４０】
注目人物が特定されると、同伴者候補情報518の同伴者候補の特徴が、入場者データベース22からの識別可能情報522の同伴者候補の特徴と比較され(S134)、すべての候補者について比較しても(S136)、入場時の同伴候補と一致する人物が存在しない場合には、入場時と退場時の同伴人物が入れ替わった可能性があると判断される。
【００４１】
同伴人物判定部24で、同伴人物が入れ替わった可能性があると判断されると判定結果情報524が結果出力部26に送られ、たとえば音や警告灯などの手段で、たとえば警備員に注目人物の保護などの指令が通知される。
【００４２】
次に、本発明による領域利用者管理システムの他の実施例、すなわち第２の実施例の構成について、図８を参照して説明する。なお、第１の実施例と同じ構成部は、同じ参照符号で示し、反復説明を避ける。
【００４３】
第２の実施例の領域利用管理システム200は、同伴者の候補を推定する範囲を注目人物の通過時間の前後に広げるもので、第１の実施例と同じく、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26と新たに通過者データベース28とを含んで構成される。
【００４４】
通過者データベース28は、顔検出部14から顔領域情報514を受け取り、一時的に格納を行い、注目人物判定部16で判定された注目人物が検出された時に、注目人物の前後一定時間に検出された通過者の顔領域情報を前後通過者顔領域情報515として同伴者推定部18に送付する。
【００４５】
同伴者推定部18は、通過者データベース28より送られた前後通過者顔領域情報515に含まれる顔領域について同伴者候補の判定を行う。
【００４６】
次に、第２の実施例の動作について図９の動作フロー図および図１０のイメージ図を参照にしながら説明する。なお、第１の実施例と同じ動作については、簡略化して説明し、詳細な反復説明を避ける。
【００４７】
まず、領域への入場者を管理する動作について説明する。
【００４８】
第１の実施例と同じく、まず画像入力部12で撮影された(S202)画像信号512が顔検出部14に送られ、第１の実施例と同じ方法で顔領域が検出される(S204)。
【００４９】
顔検出部14で検出された顔領域情報514は、たとえば図１０に示すように、画像取得時間の情報と共に通過者データベース28に一時的に保存される(S206)。
【００５０】
また、顔領域情報514は、注目人物判定部16で、たとえば子供などの注目すべき人物かどうか第１の実施例と同じ方法で判定される(S208)。
【００５１】
注目人物と判定された場合には、前後通過者顔領域情報515が通過者データベース28から同伴者推定部18に送られ、この注目人物に対して前後一定時間内に通過した人物すべてが同伴者の候補と決定される(S210, S212, S218)。一定時間については、通過者人数などその時の状況により調整することができる。
【００５２】
さらに、親族は顔の特徴が似ているなど、同伴者らしさの条件で、同伴者候補を絞り込んでいくことも可能である(S214)。
【００５３】
同様にして前後通過者顔領域情報515のすべての顔について判定を行うまで繰り返される(S220)。
【００５４】
領域からの退場者を管理する動作は、画像入力部12、顔検出部14、注目人物判定部16、および同伴者判定部18までの動作は、入場者の管理と同じ動作であり、同伴人物判定部24と結果出力部26の動作は、第１の実施例と同じ動作であるので省略する。
【００５５】
次に、本発明による領域利用者管理システムのさらに他の実施例、すなわち第３の実施例の構成について、図１１を用いて説明する。なお、第１の実施例と同じ構成部は、同じ参照符号で示し、反復説明を避ける。
【００５６】
第３の実施例の領域利用管理システム300は、領域内での移動中の画像を取り込み入場時の画像より得た同伴者の候補をさらに絞込んでいくものである。第１の実施例と同じく、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26と新たに同伴者候補絞込部（選別部）30を含んで構成される。
【００５７】
画像入力部12は、第１の実施例と同じくカメラデバイスなどの連続した画像を取得可能な装置を有し、たとえばショッピングセンタなどの領域の出入口、および領域内の任意の各所に入退場者およびの顔がよく撮影されるように調整されて設定されて、撮影した入退場者および領域内の利用者の画像信号512を顔検出部14に送る。
【００５８】
同伴者候補選別部30は、領域内の画像入力部12から送られた画像信号512により検出された顔領域情報514から注目人物判定部16で注目人物が検出された時に、注目人物情報516を注目人物判定部16から得て、入場者データベース22に格納されている入場者データ520と比較を行い、一致した実績を同伴者候補確認情報521として入場者データベース22に送る。
【００５９】
入場者データベース22では、同伴者候補選別部30からの同伴者候補確認情報521を受けて、入場者データ520の同伴者候補を絞り込み、入場者データ520の更新を行う。
【００６０】
次に、第３の実施例の動作について図１２の動作フロー図および図１３のイメージ図を参照にしながら説明する。なお、第１の実施例と同じ動作については、簡略化して説明し、詳細な反復説明をさける。
【００６１】
領域への入場者を管理する動作は、第１の実施例と同じ動作で入場者データベース22に入場者データ520が格納されている。
【００６２】
ここで、領域内の各所に設置された画像入力部12、たとえばカメラにより領域内の利用者が撮影され(S322)、画像信号512が顔検出部14に送られ、第１の実施例と同じ方法で顔領域が検出される(S324)。
【００６３】
顔検出部14で検出された顔領域情報514は、注目人物判定部16に送られ、たとえば子供などの注目すべき人物か否かが第１の実施例と同じ方法で判定される(S326)。
【００６４】
注目人物と判定された場合には、入場者データベース22に格納されている入場者データ520との比較が行われ、注目人物が特定される(S328)。
【００６５】
注目人物が特定されると、周囲の人物の顔の特徴が入場者データベース22に格納されている同伴者候補の顔の特徴と比較され、一致するか判定される(S330)。
【００６６】
一致した人物は、入場者データ520に一致回数が加算記録され(S332)、たとえば図１３に示すように入場者データベース22に更新される。
【００６７】
これらの動作(S326〜S332)が、領域内の各所に設置されたカメラからの画像信号512について注目すべき人物が見つかるたびに行われ(S334)、同伴者候補の一致回数が閾値を超えた人物の特徴から、第２の実施例と同じように類似度を算出する手法を用いて同伴者候補が推定され、同伴者候補として残される(S336)。
【００６８】
閾値以下の人物情報は、入場者データベース22から削除され、入場データ520は順次更新されていく。
【００６９】
領域からの退場者を管理する動作は、第１の実施例と同じ動作であるので、説明を省略する。
【００７０】
以上、本発明の様々な実施例を説明したが、これらはそれぞれの効果がある。第１の実施例によれば、入場時に登録される同伴者の顔特徴を利用して、退場時の同伴者が入場時の同伴者と同じであるかを自動で判定を行い、その結果を迅速に警備員などに通知することにより、領域外への子供の連れ去りを未然に防止することが可能となる。
【００７１】
また、入場時の登録は既存の監視カメラなどを利用して自動的に行えるため、利便性に優れるだけでなく、混雑する休日のショッピングセンタでもお客様が待ち行列を作ったり、立ち止まったりする必要がなく、時間的損失をすることなく安全を提供することができる。
【００７２】
第２の実施例によれば、第１の実施例の効果に加えて、子供が親の手を離れて入場した場合などでも、同伴者候補を決定することができ、さらに、目や口などの類似度での判定を加えることにより、同伴者候補を絞り込むことが可能となり、システムの記憶容量の増大を抑制することが可能となる。
【００７３】
また、同伴者候補の画像や類似度合を警備員に通知することにより領域外への子供の連れ去りを確実に防止することが可能となる。
【００７４】
第３の実施例によれば、第１、第２の実施例の効果に加えて、入場時に登録される多数の同伴者候補の中から、確実性を向上させて少数の同伴者候補に絞り込むことにより、精度の高い同伴者候補の特定が可能となる。
【００７５】
以上、本実施例では、子供の連れ去りを未然に防ぐことについて説明したが、子供に限らず、老人、待ち人、その他特定の人についても利用できることは勿論のことである。
【図面の簡単な説明】
【００７６】
【図１】本発明による領域利用者管理システムの実施例の構成を示す構成ブロック図である。
【図２】本発明による領域利用者管理システムの実施例の動作フローの一部を示す動作フロー図である。
【図３】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図４】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図５】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図６】本発明による領域利用者管理システムの実施例の一部を示すイメージ図である。
【図７】本発明による領域利用者管理システムの実施例の動作フローの一部を示す動作フロー図である。
【図８】本発明による領域利用者管理システムの第２の実施例の構成を示す構成ブロック図である。
【図９】本発明による領域利用者管理システムの第２の実施例の動作フローの一部を示す動作フロー図である。
【図１０】本発明による領域利用者管理システムの第２の実施例の一部を示すイメージ図である。
【図１１】本発明による領域利用者管理システムの第３の実施例の構成を示す構成ブロック図である。
【図１２】本発明による領域利用者管理システムの第３の実施例の動作フローの一部を示す動作フロー図である。
【図１３】本発明による領域利用者管理システムの第３の実施例の一部を示すイメージ図である。
【符号の説明】
【００７７】
100,200,300 領域利用者管理システム
12 画像入力部
14 顔検出部
16 注目人物判定部
18 同伴者推定部
20 顔情報登録部
22 入場者データベース
24 同伴人物判定部
26 結果出力部
28 通過者データベース
30 同伴者候補選別部
【技術分野】
【０００１】
本発明は、領域利用者管理システム、とくに入退場を画像データで監視しリアルタイムで子供の連れ去られを防止する領域利用者管理システムおよびその管理方法に関するものである。
【背景技術】
【０００２】
近年、子供の誘拐や連れ去りなどの犯罪が増加している。とくに大型ショッピングセンタなどでは、子供が迷子などで一人になってしまうことが多く、このような子供が狙われる事件が増えている。このような事件を防ぐために、たとえば特開2005-234765号公報（特許文献１）には、子供が迷子になった場合、監視カメラで撮影された、同伴者と子供が一緒に映っている画像を検索し、その画像を基にして監視カメラで現在の子供の居場所を捜すシステムが開示されている。また、特開2007-60528号公報（特許文献２）には、領域への入場時に子供と同伴者の各顔画像を対応させてデータベースに登録し、領域の様々な場所に設置した監視カメラから得られた画像から、顔画像による識別を行い、子供と同伴者が離れている状態が一定時間続いた場合に、同伴者に子供が迷子となったことを通知するシステムが開示されている。
【特許文献１】特開2005-234765号公報
【特許文献２】特開2007-60528号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、このような従来のシステムでは、警備員の配置が必要でコストがかかったり、警備員が子供を発見しても同伴者か誘拐犯かの見分けることが難しかったり、子供が迷子になったことを同伴者が気づくまでの間にすでに子供が領域外に連れ去れてしまい発見できないことがあった。また、領域への入場時に子供と同伴者の各顔画像を対応させてデータベースに登録する方法が提示されているが、入場時に子供と同伴者の関係の登録、顔画像の撮影および登録作業が必要であり、とくに休日の大型ショッピングセンタのような多数の利用者がある領域においては登録作業のために利用者を待たせることになるという問題があった。
【０００４】
本発明は、このような従来技術の欠点を解消し、利用者を煩わせることなく他人による子供の連れ去りを未然に防止する領域利用者管理システムおよびその管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明によれば、上述の課題を解決するために、領域の利用者を画像データで管理する領域利用者管理システムは、撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定手段と、注目人物ではないと判定された顔から注目人物の同伴者の推定を行う同伴者推定手段と、この領域の異なる時点で撮影された複数の画像から同伴者推定手段により注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定する同伴人物判定手段と、同伴人物判定手段の結果を出力する結果出力手段とを含むことを特徴とする。
【０００６】
また、領域の利用者を画像データで管理する領域利用者管理システムの管理方法は、撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定工程と、注目人物ではないと判定された顔から注目人物の同伴者の推定を行う同伴者推定工程と、この領域の異なる時点で撮影された複数の画像から同伴者推定工程にて注目人物の同伴者を推定し、異なる時点での複数画像において同伴者に不一致が生じていないかを判定する同伴人物判定工程と、同伴人物判定手段の結果を出力する結果出力工程とを含むことを特徴とする。
【発明を実施するための最良の形態】
【０００７】
次に、添付図面を参照して、本発明による領域利用者管理システムの実施例を詳細に説明する。まず、実施例の構成を、図１を参照に説明する。
【０００８】
第１の実施例の領域利用管理システム100は、たとえば、大型ショッピングセンタなどの施設を含む特定の領域に配設され、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26を含んで、これらが図示のように接続されて構成される。
【０００９】
画像入力部12は、カメラデバイスなどの連続した画像を取得可能な装置を有し、たとえばショッピングセンタなどの領域の出入口に、入退場者の顔がもれなく撮影されるように調整されて設定されて、撮影したすべての入退場者の画像信号512を顔検出部14に送る。もちろん出入口が複数箇所ある場合にはそれにあわせて複数設置されるが、機能は同じであるので、ここでは一台設置されている場合について説明する。
【００１０】
顔検出部14は、画像入力部12から送付される入退場者の画像信号512から従来技術により顔領域を抽出し、たとえば顔の位置、顔の大きさ、カメラ12からのおおよその距離などの顔領域情報514として注目人物判定部16に送る。
【００１１】
注目人物判定部16は、顔検出部14から送付される顔領域情報514から、あらかじめ決められた特徴と比較しさらに細かく分析を行い、注目すべき人物かどうかを決定し、顔検出部14から送付された顔領域情報514を含んだ注目人物情報516として同伴者推定部18に送る。
【００１２】
同伴者推定部18は、注目人物判定部16から送付される注目人物情報516から注目人物と一緒に撮影された人物との顔の間の距離を算出し、顔の近さにより同伴者の候補を決定し、注目人物情報516を含んだ同伴者候補情報518として顔情報登録部20および同伴人物判定部24に送る。
【００１３】
顔情報登録部20は、同伴者推定部18から送られる同伴者候補情報518について、決定された同伴人物候補者のそれぞれ他人と識別できる顔の特徴を抽出し、同伴人物候補者の識別番号と注目人物を一意に特定する識別番号を関連付けて、入場者データ520として入場者データベース22に送る。
【００１４】
入場者データベース22は、顔情報登録部20から送られる入場者データ520を格納し、同伴人物の判定が必要なときに同伴人物判定部24に識別可能情報522を提供する。
【００１５】
同伴人物判定部24は、画像入力部12で撮影され、顔検出部14、注目人物判定部16および同伴者推定部18を経由して送られた退場者の同伴者候補情報518と、入場者データベース22に格納されている識別可能情報522から、退場時の同伴者の候補者が入場の同伴者の候補者と同じであるか否かを判定し、その判定結果情報524を結果出力部26に送る。
【００１６】
結果出力部26は、同伴人物判定部24から送付される判定結果情報524を、たとえば音声や画像などの出力手段を用いて出力する。とくに同伴者の候補者が入場時と入れ替わっていると判定された場合には、警報や警告灯などの出力手段で通知を行なう。
【００１７】
また出力手段として画像表示が可能で警備員が携帯できる携帯端末を用い、単に警報を通知するだけではなく、それと同時に入場時の画像などの判定の元となった画像や、親族などの似た顔であるかの類似度情報を警備員に送信し、確認ができるようにすることもできる。
【００１８】
次に、本実施例の領域利用者管理システムにおいて、入退場者を管理する動作について、図２と図７の動作フロー図および図３〜図６のイメージ図を参照にしながら詳細に説明する。ここでは、分かりやすくするために入場時での管理動作と退場時での管理動作について分けて説明する。
【００１９】
まず、領域への入場者を管理する動作について説明する。領域の出入口にセットされた画像入力部12、たとえばカメラデバイスで連続に撮影された(ステップS102)入場者の画像信号512が顔検出部14に送信される。
【００２０】
顔検出部14では画像入力部12から送られた画像信号512は、顔領域を検出する従来技術を用いて顔領域が検出される (S104)。この顔領域は、画像中の顔の位置、顔の大きさおよびおおよそのカメラからのおおよその距離などの顔領域情報514を含んでいる。
【００２１】
たとえば、図３に示すように、画像の左上の角部を原点とし顔領域の左上端と右下端をそれぞれ座標(X1,Y1)、(X2,Y2)で示すことにより、画像中の顔の位置は、((X1+X2)/2,(Y1+Y2)/2)として、顔の大きさは、この2点の差から知ることができ、この顔の大きさからカメラからのおおよその距離も推定される。
【００２２】
顔検出部14から送られた顔領域情報514は、注目人物判定部16においてさらに詳細に分析され、注目すべき人物かどうかが判定される(S106)。ここで注目すべき人物とは、あらかじめ決められた特徴を持つ人物を指す。
【００２３】
たとえば、連れ去られる可能性のある子供の場合、あらかじめ決められた特徴とは、図５に示すように、子供は、顔の中の目と口の間隔が大人に比べて短いことや身長が低いため地面から顔まで距離が短いこと、またその組合せなどの特徴を指す。
【００２４】
注目人物と判定された場合は、その注目人物情報516が、同伴者推定部18に送られる。注目人物ではないと判定された場合には、顔検出部14に戻り、次の人物について注目人物の判定を行い、画像中のすべての顔について判定するまで繰り返される(S116)。
【００２５】
同伴者推定部18では、注目人物判定部16から送付される注目人物情報516から決定された注目人物と、同じ映像に映っている注目人物以外の１つの人物との距離を算出する(S108)。
【００２６】
図４に示すように、画像の特性としてカメラに近い顔は画像上で大きくなり、離れるに従い小さくなる。カメラからの距離が大きく異なる複数の人物がいる場合には、画像中での顔領域同士の距離が実際の距離と大きく異なることがあり、画像中では近く存在するのに実際は離れて存在していることが起こり得る。
【００２７】
このような場合には、次の通り、顔領域の大きさを推定条件として加えて実際の距離を推定する。
【００２８】
距離を求める2つの顔領域をＡ、Ｂとすると、顔検出部14で示したとおり、それぞれの顔領域の位置は、
(Ax,Ay)=((Xa1+Xa2)/2,(Ya1+Ya2)/2)、(Bx,By)=((Xb1+Xb2)/2,(Yb1+Yb2)/2)となる。
【００２９】
また、画像上のそれぞれの顔領域の大きさを
(Rxa,Rya)=((Xa2-Xa1)/2,(Ya2-Ya1)/2)、(Rxb,Ryb)=((Xb2-Xb1)/2,(Yb2-Yb1)/2)とすると、顔領域Ａ、Ｂの実際の距離ABは、
AB=((Ax - Bx)2 + (Ay – By)2 +α(Rxa - Rxb)2)1/2 として算出できる。ここで(Xa1, Ya1)、(Xa2, Ya2)は、顔領域Ａの左上端と右下端の座標を、(Xb1, Yb1)、(Xb2, Yb2)は、顔領域Ｂの左上端と右下端の座標を示す。また、αは、カメラ特性による画像の大きさの距離による変化を示す定数であり、実験的に決定される。
【００３０】
算出された注目人物からの距離を、設定された基準距離と比較し(S110)、基準距離以内の場合には、その人物を同伴者候補として決定し、同伴者候補情報518として顔情報登録部20に送る。基準距離以上の場合には、注目人物以外の別の人物を選び(S114)、同様に注目人物との距離を算出し判定する。
【００３１】
同伴者判定部18から顔情報登録部20に送られた同伴者候補情報518は、たとえば図６に示すように、注目人物が一意となる識別番号、注目人物の他人と識別可能な顔特徴情報、同伴者候補数、同伴者識別番号、同伴者の他人と識別可能な顔特徴情報などを関連付けた入場者データ520として、入場者データベース22に格納される(S112)。さらに、判定の精度を上げるために、入場者データ520として衣服の模様や色、人物の体型などの情報を関連付けて一緒に格納してもよい。
【００３２】
このとき入場者データ520は、重複の登録を避けるため、登録済の入場者データベース22との照合を行なってから登録される。
【００３３】
ここで他人と識別可能な顔特徴の抽出方法については、たとえば特開2007-156768号公報などの従来技術を用いればよい。
【００３４】
次に、領域からの退場者を管理する動作について説明する。画像入力部12、顔検出部14、注目人物判定部16、および同伴者判定部18までの動作は、入場者の管理と同じ動作であるので、簡単に説明する。
【００３５】
画像入力部12で連続に撮影された(S122)退場者の画像信号512が、顔検出部14に送信されると顔領域が検出され(S124)、顔領域情報514が抽出される。
【００３６】
つづいて顔領域情報514は、注目人物判定部16に送られ、注目人物であるか否かが判定される(S126)。注目人物と判定された場合は、注目人物情報516が、同伴者推定部18に送られる。注目人物ではないと判定された場合には、顔検出部14にもどり、画像中のすべての顔について判定するまで繰り返される(S142)。
【００３７】
同伴者推定部18では、注目人物判定部16から送付される注目人物情報516から決定された注目人物と、同じ映像に映っている注目人物以外の１つの人物との距離が算出され(S128)、基準距離と比較され(S130)、注目人物以外のすべての人物が確認されて(S140)、同伴者候補が決定される。
【００３８】
同伴者推定部18で決定された結果は、同伴者候補情報518として同伴人物判定部24へ送られる。
【００３９】
同伴人物判定部24では、同伴者推定部18から送られてくる同伴者候補情報518は、入場者データベース22からの識別可能情報522と比較され、たとえば一致度が一定以上の高さがある顔特徴の識別番号を得ることにより、注目人物の特定が行なわれる(S132)。
【００４０】
注目人物が特定されると、同伴者候補情報518の同伴者候補の特徴が、入場者データベース22からの識別可能情報522の同伴者候補の特徴と比較され(S134)、すべての候補者について比較しても(S136)、入場時の同伴候補と一致する人物が存在しない場合には、入場時と退場時の同伴人物が入れ替わった可能性があると判断される。
【００４１】
同伴人物判定部24で、同伴人物が入れ替わった可能性があると判断されると判定結果情報524が結果出力部26に送られ、たとえば音や警告灯などの手段で、たとえば警備員に注目人物の保護などの指令が通知される。
【００４２】
次に、本発明による領域利用者管理システムの他の実施例、すなわち第２の実施例の構成について、図８を参照して説明する。なお、第１の実施例と同じ構成部は、同じ参照符号で示し、反復説明を避ける。
【００４３】
第２の実施例の領域利用管理システム200は、同伴者の候補を推定する範囲を注目人物の通過時間の前後に広げるもので、第１の実施例と同じく、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26と新たに通過者データベース28とを含んで構成される。
【００４４】
通過者データベース28は、顔検出部14から顔領域情報514を受け取り、一時的に格納を行い、注目人物判定部16で判定された注目人物が検出された時に、注目人物の前後一定時間に検出された通過者の顔領域情報を前後通過者顔領域情報515として同伴者推定部18に送付する。
【００４５】
同伴者推定部18は、通過者データベース28より送られた前後通過者顔領域情報515に含まれる顔領域について同伴者候補の判定を行う。
【００４６】
次に、第２の実施例の動作について図９の動作フロー図および図１０のイメージ図を参照にしながら説明する。なお、第１の実施例と同じ動作については、簡略化して説明し、詳細な反復説明を避ける。
【００４７】
まず、領域への入場者を管理する動作について説明する。
【００４８】
第１の実施例と同じく、まず画像入力部12で撮影された(S202)画像信号512が顔検出部14に送られ、第１の実施例と同じ方法で顔領域が検出される(S204)。
【００４９】
顔検出部14で検出された顔領域情報514は、たとえば図１０に示すように、画像取得時間の情報と共に通過者データベース28に一時的に保存される(S206)。
【００５０】
また、顔領域情報514は、注目人物判定部16で、たとえば子供などの注目すべき人物かどうか第１の実施例と同じ方法で判定される(S208)。
【００５１】
注目人物と判定された場合には、前後通過者顔領域情報515が通過者データベース28から同伴者推定部18に送られ、この注目人物に対して前後一定時間内に通過した人物すべてが同伴者の候補と決定される(S210, S212, S218)。一定時間については、通過者人数などその時の状況により調整することができる。
【００５２】
さらに、親族は顔の特徴が似ているなど、同伴者らしさの条件で、同伴者候補を絞り込んでいくことも可能である(S214)。
【００５３】
同様にして前後通過者顔領域情報515のすべての顔について判定を行うまで繰り返される(S220)。
【００５４】
領域からの退場者を管理する動作は、画像入力部12、顔検出部14、注目人物判定部16、および同伴者判定部18までの動作は、入場者の管理と同じ動作であり、同伴人物判定部24と結果出力部26の動作は、第１の実施例と同じ動作であるので省略する。
【００５５】
次に、本発明による領域利用者管理システムのさらに他の実施例、すなわち第３の実施例の構成について、図１１を用いて説明する。なお、第１の実施例と同じ構成部は、同じ参照符号で示し、反復説明を避ける。
【００５６】
第３の実施例の領域利用管理システム300は、領域内での移動中の画像を取り込み入場時の画像より得た同伴者の候補をさらに絞込んでいくものである。第１の実施例と同じく、画像入力部12、顔検出部14、注目人物判定部16、同伴者推定部18、顔情報登録部20、入場者データベース22、同伴人物判定部24および結果出力部26と新たに同伴者候補絞込部（選別部）30を含んで構成される。
【００５７】
画像入力部12は、第１の実施例と同じくカメラデバイスなどの連続した画像を取得可能な装置を有し、たとえばショッピングセンタなどの領域の出入口、および領域内の任意の各所に入退場者およびの顔がよく撮影されるように調整されて設定されて、撮影した入退場者および領域内の利用者の画像信号512を顔検出部14に送る。
【００５８】
同伴者候補選別部30は、領域内の画像入力部12から送られた画像信号512により検出された顔領域情報514から注目人物判定部16で注目人物が検出された時に、注目人物情報516を注目人物判定部16から得て、入場者データベース22に格納されている入場者データ520と比較を行い、一致した実績を同伴者候補確認情報521として入場者データベース22に送る。
【００５９】
入場者データベース22では、同伴者候補選別部30からの同伴者候補確認情報521を受けて、入場者データ520の同伴者候補を絞り込み、入場者データ520の更新を行う。
【００６０】
次に、第３の実施例の動作について図１２の動作フロー図および図１３のイメージ図を参照にしながら説明する。なお、第１の実施例と同じ動作については、簡略化して説明し、詳細な反復説明をさける。
【００６１】
領域への入場者を管理する動作は、第１の実施例と同じ動作で入場者データベース22に入場者データ520が格納されている。
【００６２】
ここで、領域内の各所に設置された画像入力部12、たとえばカメラにより領域内の利用者が撮影され(S322)、画像信号512が顔検出部14に送られ、第１の実施例と同じ方法で顔領域が検出される(S324)。
【００６３】
顔検出部14で検出された顔領域情報514は、注目人物判定部16に送られ、たとえば子供などの注目すべき人物か否かが第１の実施例と同じ方法で判定される(S326)。
【００６４】
注目人物と判定された場合には、入場者データベース22に格納されている入場者データ520との比較が行われ、注目人物が特定される(S328)。
【００６５】
注目人物が特定されると、周囲の人物の顔の特徴が入場者データベース22に格納されている同伴者候補の顔の特徴と比較され、一致するか判定される(S330)。
【００６６】
一致した人物は、入場者データ520に一致回数が加算記録され(S332)、たとえば図１３に示すように入場者データベース22に更新される。
【００６７】
これらの動作(S326〜S332)が、領域内の各所に設置されたカメラからの画像信号512について注目すべき人物が見つかるたびに行われ(S334)、同伴者候補の一致回数が閾値を超えた人物の特徴から、第２の実施例と同じように類似度を算出する手法を用いて同伴者候補が推定され、同伴者候補として残される(S336)。
【００６８】
閾値以下の人物情報は、入場者データベース22から削除され、入場データ520は順次更新されていく。
【００６９】
領域からの退場者を管理する動作は、第１の実施例と同じ動作であるので、説明を省略する。
【００７０】
以上、本発明の様々な実施例を説明したが、これらはそれぞれの効果がある。第１の実施例によれば、入場時に登録される同伴者の顔特徴を利用して、退場時の同伴者が入場時の同伴者と同じであるかを自動で判定を行い、その結果を迅速に警備員などに通知することにより、領域外への子供の連れ去りを未然に防止することが可能となる。
【００７１】
また、入場時の登録は既存の監視カメラなどを利用して自動的に行えるため、利便性に優れるだけでなく、混雑する休日のショッピングセンタでもお客様が待ち行列を作ったり、立ち止まったりする必要がなく、時間的損失をすることなく安全を提供することができる。
【００７２】
第２の実施例によれば、第１の実施例の効果に加えて、子供が親の手を離れて入場した場合などでも、同伴者候補を決定することができ、さらに、目や口などの類似度での判定を加えることにより、同伴者候補を絞り込むことが可能となり、システムの記憶容量の増大を抑制することが可能となる。
【００７３】
また、同伴者候補の画像や類似度合を警備員に通知することにより領域外への子供の連れ去りを確実に防止することが可能となる。
【００７４】
第３の実施例によれば、第１、第２の実施例の効果に加えて、入場時に登録される多数の同伴者候補の中から、確実性を向上させて少数の同伴者候補に絞り込むことにより、精度の高い同伴者候補の特定が可能となる。
【００７５】
以上、本実施例では、子供の連れ去りを未然に防ぐことについて説明したが、子供に限らず、老人、待ち人、その他特定の人についても利用できることは勿論のことである。
【図面の簡単な説明】
【００７６】
【図１】本発明による領域利用者管理システムの実施例の構成を示す構成ブロック図である。
【図２】本発明による領域利用者管理システムの実施例の動作フローの一部を示す動作フロー図である。
【図３】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図４】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図５】本発明による領域利用者管理システムの実施例の動作説明を示すイメージ図である。
【図６】本発明による領域利用者管理システムの実施例の一部を示すイメージ図である。
【図７】本発明による領域利用者管理システムの実施例の動作フローの一部を示す動作フロー図である。
【図８】本発明による領域利用者管理システムの第２の実施例の構成を示す構成ブロック図である。
【図９】本発明による領域利用者管理システムの第２の実施例の動作フローの一部を示す動作フロー図である。
【図１０】本発明による領域利用者管理システムの第２の実施例の一部を示すイメージ図である。
【図１１】本発明による領域利用者管理システムの第３の実施例の構成を示す構成ブロック図である。
【図１２】本発明による領域利用者管理システムの第３の実施例の動作フローの一部を示す動作フロー図である。
【図１３】本発明による領域利用者管理システムの第３の実施例の一部を示すイメージ図である。
【符号の説明】
【００７７】
100,200,300 領域利用者管理システム
12 画像入力部
14 顔検出部
16 注目人物判定部
18 同伴者推定部
20 顔情報登録部
22 入場者データベース
24 同伴人物判定部
26 結果出力部
28 通過者データベース
30 同伴者候補選別部
【特許請求の範囲】
【請求項１】
領域の利用者を画像データで管理する領域利用者管理システムにおいて、該システムは、
撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定手段と、
前記注目人物ではないと判定された顔から前記注目人物の同伴者の推定を行う同伴者推定手段と、
前記領域の異なる時点で撮影された複数の画像から前記同伴者推定手段により前記注目人物の同伴者を推定し、前記異なる時点での複数画像において前記同伴者に不一致が生じていないかを判定する同伴人物判定手段と、
前記同伴人物判定手段の結果を出力する結果出力手段とを含むことを特徴とする領域利用者管理システム。
【請求項２】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の距離を用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項３】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の大きさの差を用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項４】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の距離と大きさの差との組み合わせを用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項５】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記注目人物の前記撮影画像と、該画像の前後の時間の撮影画像とに存在する人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項６】
請求項５に記載のシステムにおいて、前記同伴人物推定手段は、前記注目人物の前記撮影画像と、該画像の前記前後の時間の撮影画像とに存在する前記注目人物と類似した人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項７】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、領域内の前記異なる時点以外の時点で撮影された画像を用いて前記同伴者推定手段により前記同伴者が前記注目人物の同伴者の候補と推定し、前記同伴者の候補を更新することを特徴とする領域利用者管理システム。
【請求項８】
請求項１に記載のシステムにおいて、前記異なる時点は、領域内への入場時と領域内からの退場時であることを特徴とする領域利用者管理システム。
【請求項９】
領域の利用者を画像データで管理する領域利用者管理システムの管理方法において、該方法は、
撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定工程と、
前記注目人物ではないと判定された顔から前記注目人物の同伴者の推定を行う同伴者推定工程と、
前記領域の異なる時点で撮影された複数の画像から前記同伴者推定工程にて前記注目人物の同伴者を推定し、前記異なる時点での複数画像において前記同伴者に不一致が生じていないかを判定する同伴人物判定工程と、
前記同伴人物判定手段の結果を出力する結果出力工程とを含むことを特徴とする領域利用者管理システムの管理方法。
【請求項１０】
請求項９に記載のシステムにおいて、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の距離を用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１１】
請求項９に記載の方法において、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の大きさの差を用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１２】
請求項９に記載の方法において、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の距離と大きさの差との組み合わせを用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１３】
請求項９に記載の方法において、前記同伴人物推定工程は、前記注目人物の前記撮影画像と、該画像の前後の時間の撮影画像とに存在する人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１４】
請求項１２に記載の方法において、前記同伴人物推定工程は、前記注目人物の前記撮影画像と、該画像の前記前後の時間の撮影画像とに存在する前記注目人物と類似した人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１５】
請求項９に記載の方法において、前記同伴人物推定工程は、領域内の前記異なる時点以外の時点で撮影された画像を用いて前記同伴者推定工程にて前記同伴者が前記注目人物の同伴者の候補と推定し、前記同伴者の候補を更新することを特徴とする領域利用者管理システムの管理方法。
【請求項１６】
請求項９に記載のシステムにおいて、前記異なる時点は、領域内への入場時と領域内からの退場時であることを特徴とする領域利用者管理システムの管理方法。
【請求項１】
領域の利用者を画像データで管理する領域利用者管理システムにおいて、該システムは、
撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定手段と、
前記注目人物ではないと判定された顔から前記注目人物の同伴者の推定を行う同伴者推定手段と、
前記領域の異なる時点で撮影された複数の画像から前記同伴者推定手段により前記注目人物の同伴者を推定し、前記異なる時点での複数画像において前記同伴者に不一致が生じていないかを判定する同伴人物判定手段と、
前記同伴人物判定手段の結果を出力する結果出力手段とを含むことを特徴とする領域利用者管理システム。
【請求項２】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の距離を用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項３】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の大きさの差を用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項４】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記撮影画像中で前記注目人物との顔領域の距離と大きさの差との組み合わせを用いて同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項５】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、前記注目人物の前記撮影画像と、該画像の前後の時間の撮影画像とに存在する人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項６】
請求項５に記載のシステムにおいて、前記同伴人物推定手段は、前記注目人物の前記撮影画像と、該画像の前記前後の時間の撮影画像とに存在する前記注目人物と類似した人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システム。
【請求項７】
請求項１に記載のシステムにおいて、前記同伴人物推定手段は、領域内の前記異なる時点以外の時点で撮影された画像を用いて前記同伴者推定手段により前記同伴者が前記注目人物の同伴者の候補と推定し、前記同伴者の候補を更新することを特徴とする領域利用者管理システム。
【請求項８】
請求項１に記載のシステムにおいて、前記異なる時点は、領域内への入場時と領域内からの退場時であることを特徴とする領域利用者管理システム。
【請求項９】
領域の利用者を画像データで管理する領域利用者管理システムの管理方法において、該方法は、
撮影した撮影画像に含まれる顔から注目人物か否かの判定を行う注目人物判定工程と、
前記注目人物ではないと判定された顔から前記注目人物の同伴者の推定を行う同伴者推定工程と、
前記領域の異なる時点で撮影された複数の画像から前記同伴者推定工程にて前記注目人物の同伴者を推定し、前記異なる時点での複数画像において前記同伴者に不一致が生じていないかを判定する同伴人物判定工程と、
前記同伴人物判定手段の結果を出力する結果出力工程とを含むことを特徴とする領域利用者管理システムの管理方法。
【請求項１０】
請求項９に記載のシステムにおいて、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の距離を用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１１】
請求項９に記載の方法において、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の大きさの差を用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１２】
請求項９に記載の方法において、前記同伴人物推定工程は、前記撮影画像中で前記注目人物との顔領域の距離と大きさの差との組み合わせを用いて同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１３】
請求項９に記載の方法において、前記同伴人物推定工程は、前記注目人物の前記撮影画像と、該画像の前後の時間の撮影画像とに存在する人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１４】
請求項１２に記載の方法において、前記同伴人物推定工程は、前記注目人物の前記撮影画像と、該画像の前記前後の時間の撮影画像とに存在する前記注目人物と類似した人物から前記同伴者の候補を推定することを特徴とする領域利用者管理システムの管理方法。
【請求項１５】
請求項９に記載の方法において、前記同伴人物推定工程は、領域内の前記異なる時点以外の時点で撮影された画像を用いて前記同伴者推定工程にて前記同伴者が前記注目人物の同伴者の候補と推定し、前記同伴者の候補を更新することを特徴とする領域利用者管理システムの管理方法。
【請求項１６】
請求項９に記載のシステムにおいて、前記異なる時点は、領域内への入場時と領域内からの退場時であることを特徴とする領域利用者管理システムの管理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１９４７１１（Ｐ２００９−１９４７１１Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３４６０１（Ｐ２００８−３４６０１）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]