顔認識による環境理解型制御方式
【課題】顔認識処理機能を活用して顧客の受容性が良好で安心安全なディジタルサイネージ装置、自販機装置、防犯監視装置を実現する。
【解決手段】ディジタルサイネージ装置、自販機装置、防犯監視装置に設置したカメラ機能を用いて所定の間隔で映像を撮影し、撮影した映像の顔属性情報を抽出し、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で検出環境属性を更新したのち記憶し、記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行う
【解決手段】ディジタルサイネージ装置、自販機装置、防犯監視装置に設置したカメラ機能を用いて所定の間隔で映像を撮影し、撮影した映像の顔属性情報を抽出し、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で検出環境属性を更新したのち記憶し、記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行う
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗、飲食店内、駅構内、道路等に設置した自販機、ディジタルサイネージ、防犯・不正利用監視機器に設置したカメラを用いて、周辺通行人や顧客の映像を取得し、取得した映像を画像処理し、顔属性や検出環境属性を取得し、取得した顔属性や検出環境属性を蓄積し、蓄積した履歴情報を基に背景と人物の識別や同一人物の識別を高精度に行い、自販機、ディジタルサイネージ、防犯・不正利用監視機器を使用環境に適用して制御する方式に関する。
【背景技術】
【０００２】
従来から店頭や街頭などに設置して不特定の通行人に対してふさわしい情報提供を行う方法が知られているが、顧客の顔属性と検出環境属性の履歴から、背景と人物の識別や個人やグループの識別を高精度で行い、かつ高精度の識別情報をもちいて個人やグループの行動識別を行い、該行動識別情報を用いて機器制御する方式は開示されていなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】顧客の顔を効率的に認識することの可能な自動販売機に関し、カメラで顧客を撮影し、撮影した画像を所定時間ごとに記憶・蓄積し、蓄積した画像の中から顧客の顔を認識し、貨幣の投入が検知された時よりも所定時間前以降に撮影された画像を読み出して顔認識の処理対象と決定する方法。顔を検出した後に性別及び年代を推定している。ヤマハ発動機株式会社「自動販売機」（特開２００８−１２３１６２）。
【特許文献２】ビデオカメラが撮影した映像のフレームから顔画像を検出し，顔画像に該当する閲覧者の閲覧者ＩＤを付与して，ログファイルに記憶し、エリアにいた閲覧者の総数をエリアマップ上に表示する。大日本印刷株式会社「顔検出結果分析システム」（特開２０１１−６００２６）。
【特許文献３】誤認識を低減でき、不正遊技者の検出率を向上させることが可能となる監視システムで、 顔認識サーバで、不正遊技者の顔画像を蓄積し、カメラは、入店者の顔画像を撮像し、撮像された顔画像が蓄積された不正遊技者の顔画像と照合済みではない場合、顔認識サーバは、入店者の顔画像と、蓄積された不正遊技者の顔画像とを照合し、人追跡サーバで、入店者の位置情報を取得し、撮像された顔画像に、入店者の位置情報を対応付け、統合監視サーバで、顔画像に対応付けられた位置情報、顔画像、および照合結果をテーブルとして管理し、テーブルにおける照合結果が不正遊技者である場合、不正遊技者の入店を報知する。オムロン株式会社（特開２００６−２５５０２７）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、本発明は、店舗、飲食店内、駅構内、道路等に設置した自販機、ディジタルサイネージ、防犯・不正利用監視機器等に設置したカメラで取得した映像を用いて高精度な顔属性処理を行った情報と当該映像の取得時の検出環境属性を用いて前記の自販機、ディジタルサイネージ、防犯・不正利用監視機器を環境に適応して制御する方法に関する。
【０００５】
しかしながら特許文献１に記載の従来技術は、顔を検出した後に性別及び年代を推定しているが、顔情報から性別及び年代推定する際、履歴を用いないで推定しており、履歴を用いることで、背景と人物の識別や同一顧客の識別や環境を識別する確度を向上する本願の推定方法とは異なっている。
【０００６】
特許文献２に記載の従来技術は、顔認識で閲覧者の個人識別を行い閲覧者の総数を検出して表示する方法で本願のように、顔認識と検出属性の履歴の両方を用いる方法とは異なっている。
【０００７】
特許文献３に記載の従来技術は、顔認識で不正遊技者を検出する方法で、本願の顔認識と検出属性の履歴の両方を用いて、自販機、ディジタルサイネージ、防犯・不正利用監視機器を制御する方式とは異なっている。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で更新した検出環境属性を記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことを特徴とする。ここで映像撮影の所定の間隔は、事前に設定する間隔で、人の動きの速度に逆比例させ、例えば昼間は短く夜間は長くしても良い。顔属性情報の比較はたとえば、顔の中の目や口といった器官を一致照合のポイントとして利用する。また、顔記憶情報と検出環境属性記憶情報を保持する期間は、例えば防犯では2日、ディジタルサイネージでは商品を入れ替える3月というように制御を行う対象機器により変更しても良い。
【０００９】
請求項２に記載の発明は、前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことを特徴とする。たとえば、一致照合の具体的な方法として目じりの向きなどの「方向」「間隔」をベクトルデータ化して照合し、ベクトルデータの差であるベクトル距離が規定値以下の場合は一致と判定し、規定値以上なら不一致と判定する。また、顔の骨格やしわ、たるみなどを総合的に解析し、性別や年齢を推定するために顔推定信頼度を用いる。
【００１０】
請求項３に記載の発明は、前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことを特徴とする。
【００１１】
請求項４に記載の発明は前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことを特徴とする。
【００１２】
請求項５に記載の発明は前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切替、自動販売機のお勧め商品表示切替、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更することを特徴とする。
前記の履歴情報は、1つのIDの履歴情報でもよいし、1以上のIDに対応する履歴情報を用いて、複数個人に対しての適切な制御を行ってもよい。
【００１３】
請求項６に記載の発明は前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含むことを特徴とする。
【発明の効果】
【００１４】
請求項１に記載に発明は、カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で更新した検出環境属性を記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことで、認識した個人やグループに対応して機器の制御を行うことができる。また、背景と人物の識別を行うことで、背景を人物と間違えるためにおこる無効の処理を無くする。
【００１５】
請求項２に記載の発明は、前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことで既存のオムロン社製のOKAO(※)ソフトウェアライブラリが用いられ、容易に実現出来る。
（※オムロン社の登録商標。http://www-sens.sys.es.osaka-u.ac.jp/wakate/tutorial/group4/resource/OKAO.pdf）
【００１６】
請求項３に記載の発明は、前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことで、検出した個人やグループの静的な属性と動的な行動属性を把握でき、把握した行動属性により制御する際、確度を参照できる。また、推定年齢の確度や推定性別の確度を参照して表示するコンテンツを選択することで、よりユーザの属性に適応した表示を行うことが出来る。
【００１７】
請求項４に記載の発明は、前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことで判定結果に基づいた制御の有効性を向上できる。推定信頼度の向上は、例えば前回の同一人物が検出される際の検出精度P1がp%の場合、次に同じ人物が検出されると検出精度P2を、1-(1-p/100)/2とする。たとえがP1=80%の場合、P2は[1-(1-0.8)/2]×100=90%とする。
【００１８】
請求項５に記載の発明は、前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切替、自動販売機のお勧め商品表示切替、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更する。ディジタルサイネージ用のコンテンツの切替は推定年齢、推定性別、個人かグループかにより行う。自動販売機のお勧め商品表示切替は前記の推定年齢、推定性別、個人かグループかに加えて、前回購入した商品情報を基に行う。ICカード決済を含む個人決済機器用の認証制御は、以前に購入したのと同一人物か否かにより行う。監視防犯機器用の特定個人の検出制御は不登校児童や挙動不審人物の特定情報として用いることで安全安心で効率的な制御が可能になる。
【００１９】
請求項６に記載の発明は、前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含む。請求項５に記したような制御をディジタルサイネージ機器、自販機、ICカードの認証機器、監視・防犯機器に適用することで各機器の効率的で安全な運用が可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の基本システム構成例を示す図である。
【図２】本発明の顔属性DB例を示す図である。
【図３】本発明における検出環境属性DB例を示す図である。
【図４】本発明における検出位置座標を示す図である。
【図５】本発明の全体フロー例を示す図である。
【図６】本発明におけるディジタルサイネージ動作手順を示す図である。
【図７】本発明における自販機動作手順を示す図である。
【図８】本発明における監視防犯動作手順を示す図である。
【図９】本発明におけるシステム構成例を示す図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の基本システム構成例を示す図である。図１において、カメラ部100はタイマー部104で設定されたタイミングで映像を撮影し、撮影した映像を画像処理部101で処理可能な静止画に変換し、変換した静止画を顔属性処理部102で、1以上の顔属性情報を抽出し、抽出した顔属性情報と顔属性記憶部106で事前に記憶していた顔属性とをID設定照合部105で比較し、比較結果が不一致ならID設定照合部105で新規にIDを設定し、前記の比較結果が一致なら一致したIDと顔属性情報を顔属性DB部106に、前記IDと検出環境属性を検出環境属性DB107に記憶する。以上の処理の実行は制御部110で行う。
【００２２】
顔属性情報のDB例を図2に、検出環境属性DBを図3に、検出位置座表例を図4に示す。ここで、顔属性情報は、顔の目元、口元を中心に、各顔器官の形状と方向と間隔、顔の骨格やしわ、たるみやそれぞれの顔推定信頼度を含み、検出環境属性情報は、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、顔検出信頼度、器官検出信頼度、累積滞在時間、購入商品名、利用カード情報、同時顔検出IDを含む。
ここで、顔属性情報から年齢と性別を判定する方法はたとえば、「顔属性の推定は例えば性別,年代,人種を見分ける-顔属性推定技術「OKAO Vision」」画像ラボ 15(4), 82-87, 2004-04 日本工業出版記載の方法を用いても良い。
【００２３】
図３のケース１は、時刻12:00:00にカメラの図4に示すP（1,1)地点からエリアに進入し、12:03:00にカメラエリア外に退出した個人にID1000を付与した例で、侵入時の顔検知サイズ5cm×4cm、顔属性処理部で抽出した推定年齢20才、推定精度50%、推定性別男、推定精度50%、顔信頼度50%、器官検出信頼度50%で同時検出数は単独の場合を示す。ここで検出精度や信頼度は、最初に検出した際に50%として同じ情報を検知するたびに向上させる。例えば1回目は50%、2回
図3のケース２は、13:00:00に図4に示すP（2,2)地点から進入したさい、同時に2人の検出を行い、そのうち、ID1001は、顔検知サイズ5cm×3cm、顔属性処理部で抽出した推定年齢30才、推定精度50%、推定性別男、推定精度50%、顔信頼度50%、器官検出信頼度50%で、残りの一人はID1002とし、顔検知サイズ5cm×4cm、顔属性処理部で抽出した推定年齢30才、推定精度50%、推定性別女、推定精度50%、顔信頼度50%、器官検出信頼度50%の場合を示す。なお、購入商品名、利用カード情報は自販機の場合で、ディジタルサイネージや、防犯監視関しては取得しない項目である。
【００２４】
図5にカメラ部での撮影から環境検出属性DB記憶までのフローを示す。S101でカメラ部で撮影後、撮影データを画像処理部に送り、画像処理部はS102で受信した映像を静止画に変換し、S103で顔属性処理部に送信する。S101で設定するカメラ撮影の時間間隔は、例えば通行人情報の変化の時間に逆比例させ、通行人情報の変化が大きい場合は時間間隔を短く、変化が小さい場合は時間間隔を長くしても良い。顔属性処理部はS104で静止画を受信し、S105で顔認識アプリケーション処理を行い顔属性を抽出し、S106で抽出した顔属性と、以前記憶していた顔属性を比較し、S107で一致する属性があれば、その属性のIDを、一致する属性がなければ新たに設定したIDを検出環境属性処理部に通知する。検出環境属性処理部はS108でIDを受信し、S110で検出環境属性のDBを参照し、S109で以前記憶していた検出環境属性とのID照合を行う。S110で同じIDを検出した際、S111で静動検出部で検出属性の位置情報の時間変化を検出し、S112で位置情報が規定時間以上変化していない場合は、S113で背景と判定して、判定した情報を削除して待ち受けに戻る。また、位置情報の時間変化が検出されれば、S115で以前検出した人物の有無をIDの照合により検出し、一致するIDがあれば、S116で以前から記憶している検出環境属性を更新する。一方、一致するIDがなければ、検出環境属性に新たなIDを付加してDBに記憶したのちS118でタイマーをスタートさせ、S119でタイムオーバを検出し、タイムオーバになればS120でIDの顔属性と検出環境属性情報を削除して、DBの負荷を軽減する。なお、S118のタイマー値は、たとえば、サイネージの場合は、商品が入れ替わる季節の3ヶ月、防犯カメラの場合は直前の情報が有効なので1日のように設定する。
【００２５】
図6にディジタルサイネージ端末のフローを示す。S201でディジタルサイネージ端末の画面表示を省電力モードに設定し、S202で風景を撮影する。S203で撮影した風景を静止画に変換後、顔認識処理を行う。S204で静動検出を行い、顔認識と判断すれば、S205で表示画面モードを省電力モードから通常表示モードに変更する。例えば、通常表示モードは省電力モードより表示画面の輝度を向上させても良いし、省電力モードは表示を行わない画面としても良い。
【００２６】
この後、S206で顔属性・検出環境属性記憶・更新するとともにS207で検出環境属性のうちの、推定年齢、推定性別、同時検出IDをもとに、コンテンツDBから検索したコンテンツを表示する。コンテンツは規定時間表示し、S209で規定時間経過を検出すると省電力モード表示に戻す。以上のフローにより、汎用の顔認識アプリケーションを用いて電力消費が少なくユーザの嗜好に合った表示を行うことが出来る。
【００２７】
図7にディジタルサイネージ表示付き自販機のフローを示す。待ち受け時はS301に示す省電力モードとし、S302で風景を撮影する。S303で撮影した風景を静止画に変換後、顔認識処理を行う。S304で静動検出を行い、顔認識と判断すれば、S305で表示画面モードを省電力モードから通常表示モードに変更する。
【００２８】
S306で顔属性・検出環境属性記憶・更新するとともにS307で検出環境属性のうちの、推定年齢、推定性別、同時検出ID、購入商品名をもとに、コンテンツDBから検索したコンテンツを表示する。なお、検出環境属性の累積滞在時間が長いIDの認識を行った場合は、通常の処理と異なる例えば悪意のいたずらに対応する通報処理を行っても良い。
【００２９】
コンテンツは規定時間表示し、S309で規定時間経過を検出すると省電力モード表示に戻す。規定時間経過以前に商品購入行為が行われた際、S311で検出環境属性DBを用いて決済カード情報と顔認識IDを照合し、S312で照合結果を判定し、照合結果が良好な場合、S313でカード決済実施、顧客への商品提供を行った後、提供商品情報を検出環境属性DBに記憶し、待ち受け状態に入る。
以上のフローにより、汎用の顔認識アプリケーションを用いて電力消費が少なくユーザの嗜好に合った表示を行うことが出来、またカード決済時の本人確認を行うことで安全なシステムを実現できる。
【００３０】
図8に特定個人の監視防犯のフローを示す。S401で監視対象の特定個人の顔情報を認識・記憶したのち、S402で撮影時間間隔を設定し、S403で特定個人を検出するための間隔を規定するタイマーをスタートさせる。例えばタイマーは幼稚園児の場合は登校時や下校時の時間に合わせて設定する。S404で規定の時間間隔で風景の撮影を行い、S405でタイムオーバを検出しタイムオーバなら待ち受け状態に戻る。タイムオーバでない場合、S406で静止画に変換後顔認識処理を行い、S407で静動検出を行い、顔認識と判断すれば、S408でID照合を行い、S409でS401で設定した顔情報と同一の顔情報が検出されれば、S410で同一人物の検出処理を行う。同一人物でなければ、S405に戻り撮影を継続する。これにより、汎用の顔認識アプリケーションを用いて、確実に特定個人の検出が可能となる。
【００３１】
図9にシステム構成例を示す。同図で200は顔認識処理部で、通信システム204を介してディジタルサイネージ部300、自販機部400、防犯監視部500と通信する。ディジタルサイネージ部300のカメラ部303、自販機部400のカメラ部403、防犯監視部500のカメラ部503で取得した風景情報を顔属性処理部201で処理し、顔属性情報、環境属性情報を抽出し、顔属性情報DB202、検出環境属性情報DB203に記憶するとともに抽出情報をディジタルサイネージ部300、自販機部400、防犯監視部500のそれぞれの通信部302、402、502を介して通知するとともにディジタルサイネージ部300、自販機部400、防犯監視部500からの問い合わせに応じて顔属性情報DB202、環境属性情報DB203の内容をIDにより検索して通知する。ディジタルサイネージ部300、自販機部400、防犯監視部500は通知された情報に基づいて以降の処理を行う。
【００３２】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【００３３】
本発明は、コンテンツ情報と広告情報を視聴効果が最大になるように組み合わせて表示端末に表示させることが可能となる。
【符号の説明】
【００３４】
１００ カメラ部
１０１ 画像処理部
１０２ 顔属性処理部
１０４ タイマー部
１０５ ID設定照合部
１０６ 顔属性DB部
１０７ 検出環境属性DB部
２００ 顔認識処理部
３００ デジタルサイネージ部
４００ 自販機部
５００ 防犯監視部
【技術分野】
【０００１】
本発明は、店舗、飲食店内、駅構内、道路等に設置した自販機、ディジタルサイネージ、防犯・不正利用監視機器に設置したカメラを用いて、周辺通行人や顧客の映像を取得し、取得した映像を画像処理し、顔属性や検出環境属性を取得し、取得した顔属性や検出環境属性を蓄積し、蓄積した履歴情報を基に背景と人物の識別や同一人物の識別を高精度に行い、自販機、ディジタルサイネージ、防犯・不正利用監視機器を使用環境に適用して制御する方式に関する。
【背景技術】
【０００２】
従来から店頭や街頭などに設置して不特定の通行人に対してふさわしい情報提供を行う方法が知られているが、顧客の顔属性と検出環境属性の履歴から、背景と人物の識別や個人やグループの識別を高精度で行い、かつ高精度の識別情報をもちいて個人やグループの行動識別を行い、該行動識別情報を用いて機器制御する方式は開示されていなかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】顧客の顔を効率的に認識することの可能な自動販売機に関し、カメラで顧客を撮影し、撮影した画像を所定時間ごとに記憶・蓄積し、蓄積した画像の中から顧客の顔を認識し、貨幣の投入が検知された時よりも所定時間前以降に撮影された画像を読み出して顔認識の処理対象と決定する方法。顔を検出した後に性別及び年代を推定している。ヤマハ発動機株式会社「自動販売機」（特開２００８−１２３１６２）。
【特許文献２】ビデオカメラが撮影した映像のフレームから顔画像を検出し，顔画像に該当する閲覧者の閲覧者ＩＤを付与して，ログファイルに記憶し、エリアにいた閲覧者の総数をエリアマップ上に表示する。大日本印刷株式会社「顔検出結果分析システム」（特開２０１１−６００２６）。
【特許文献３】誤認識を低減でき、不正遊技者の検出率を向上させることが可能となる監視システムで、 顔認識サーバで、不正遊技者の顔画像を蓄積し、カメラは、入店者の顔画像を撮像し、撮像された顔画像が蓄積された不正遊技者の顔画像と照合済みではない場合、顔認識サーバは、入店者の顔画像と、蓄積された不正遊技者の顔画像とを照合し、人追跡サーバで、入店者の位置情報を取得し、撮像された顔画像に、入店者の位置情報を対応付け、統合監視サーバで、顔画像に対応付けられた位置情報、顔画像、および照合結果をテーブルとして管理し、テーブルにおける照合結果が不正遊技者である場合、不正遊技者の入店を報知する。オムロン株式会社（特開２００６−２５５０２７）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の課題は、本発明は、店舗、飲食店内、駅構内、道路等に設置した自販機、ディジタルサイネージ、防犯・不正利用監視機器等に設置したカメラで取得した映像を用いて高精度な顔属性処理を行った情報と当該映像の取得時の検出環境属性を用いて前記の自販機、ディジタルサイネージ、防犯・不正利用監視機器を環境に適応して制御する方法に関する。
【０００５】
しかしながら特許文献１に記載の従来技術は、顔を検出した後に性別及び年代を推定しているが、顔情報から性別及び年代推定する際、履歴を用いないで推定しており、履歴を用いることで、背景と人物の識別や同一顧客の識別や環境を識別する確度を向上する本願の推定方法とは異なっている。
【０００６】
特許文献２に記載の従来技術は、顔認識で閲覧者の個人識別を行い閲覧者の総数を検出して表示する方法で本願のように、顔認識と検出属性の履歴の両方を用いる方法とは異なっている。
【０００７】
特許文献３に記載の従来技術は、顔認識で不正遊技者を検出する方法で、本願の顔認識と検出属性の履歴の両方を用いて、自販機、ディジタルサイネージ、防犯・不正利用監視機器を制御する方式とは異なっている。
【課題を解決するための手段】
【０００８】
請求項１に記載の発明は、カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で更新した検出環境属性を記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことを特徴とする。ここで映像撮影の所定の間隔は、事前に設定する間隔で、人の動きの速度に逆比例させ、例えば昼間は短く夜間は長くしても良い。顔属性情報の比較はたとえば、顔の中の目や口といった器官を一致照合のポイントとして利用する。また、顔記憶情報と検出環境属性記憶情報を保持する期間は、例えば防犯では2日、ディジタルサイネージでは商品を入れ替える3月というように制御を行う対象機器により変更しても良い。
【０００９】
請求項２に記載の発明は、前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことを特徴とする。たとえば、一致照合の具体的な方法として目じりの向きなどの「方向」「間隔」をベクトルデータ化して照合し、ベクトルデータの差であるベクトル距離が規定値以下の場合は一致と判定し、規定値以上なら不一致と判定する。また、顔の骨格やしわ、たるみなどを総合的に解析し、性別や年齢を推定するために顔推定信頼度を用いる。
【００１０】
請求項３に記載の発明は、前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことを特徴とする。
【００１１】
請求項４に記載の発明は前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことを特徴とする。
【００１２】
請求項５に記載の発明は前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切替、自動販売機のお勧め商品表示切替、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更することを特徴とする。
前記の履歴情報は、1つのIDの履歴情報でもよいし、1以上のIDに対応する履歴情報を用いて、複数個人に対しての適切な制御を行ってもよい。
【００１３】
請求項６に記載の発明は前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含むことを特徴とする。
【発明の効果】
【００１４】
請求項１に記載に発明は、カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で更新した検出環境属性を記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことで、認識した個人やグループに対応して機器の制御を行うことができる。また、背景と人物の識別を行うことで、背景を人物と間違えるためにおこる無効の処理を無くする。
【００１５】
請求項２に記載の発明は、前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことで既存のオムロン社製のOKAO(※)ソフトウェアライブラリが用いられ、容易に実現出来る。
（※オムロン社の登録商標。http://www-sens.sys.es.osaka-u.ac.jp/wakate/tutorial/group4/resource/OKAO.pdf）
【００１６】
請求項３に記載の発明は、前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことで、検出した個人やグループの静的な属性と動的な行動属性を把握でき、把握した行動属性により制御する際、確度を参照できる。また、推定年齢の確度や推定性別の確度を参照して表示するコンテンツを選択することで、よりユーザの属性に適応した表示を行うことが出来る。
【００１７】
請求項４に記載の発明は、前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことで判定結果に基づいた制御の有効性を向上できる。推定信頼度の向上は、例えば前回の同一人物が検出される際の検出精度P1がp%の場合、次に同じ人物が検出されると検出精度P2を、1-(1-p/100)/2とする。たとえがP1=80%の場合、P2は[1-(1-0.8)/2]×100=90%とする。
【００１８】
請求項５に記載の発明は、前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切替、自動販売機のお勧め商品表示切替、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更する。ディジタルサイネージ用のコンテンツの切替は推定年齢、推定性別、個人かグループかにより行う。自動販売機のお勧め商品表示切替は前記の推定年齢、推定性別、個人かグループかに加えて、前回購入した商品情報を基に行う。ICカード決済を含む個人決済機器用の認証制御は、以前に購入したのと同一人物か否かにより行う。監視防犯機器用の特定個人の検出制御は不登校児童や挙動不審人物の特定情報として用いることで安全安心で効率的な制御が可能になる。
【００１９】
請求項６に記載の発明は、前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含む。請求項５に記したような制御をディジタルサイネージ機器、自販機、ICカードの認証機器、監視・防犯機器に適用することで各機器の効率的で安全な運用が可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の基本システム構成例を示す図である。
【図２】本発明の顔属性DB例を示す図である。
【図３】本発明における検出環境属性DB例を示す図である。
【図４】本発明における検出位置座標を示す図である。
【図５】本発明の全体フロー例を示す図である。
【図６】本発明におけるディジタルサイネージ動作手順を示す図である。
【図７】本発明における自販機動作手順を示す図である。
【図８】本発明における監視防犯動作手順を示す図である。
【図９】本発明におけるシステム構成例を示す図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の基本システム構成例を示す図である。図１において、カメラ部100はタイマー部104で設定されたタイミングで映像を撮影し、撮影した映像を画像処理部101で処理可能な静止画に変換し、変換した静止画を顔属性処理部102で、1以上の顔属性情報を抽出し、抽出した顔属性情報と顔属性記憶部106で事前に記憶していた顔属性とをID設定照合部105で比較し、比較結果が不一致ならID設定照合部105で新規にIDを設定し、前記の比較結果が一致なら一致したIDと顔属性情報を顔属性DB部106に、前記IDと検出環境属性を検出環境属性DB107に記憶する。以上の処理の実行は制御部110で行う。
【００２２】
顔属性情報のDB例を図2に、検出環境属性DBを図3に、検出位置座表例を図4に示す。ここで、顔属性情報は、顔の目元、口元を中心に、各顔器官の形状と方向と間隔、顔の骨格やしわ、たるみやそれぞれの顔推定信頼度を含み、検出環境属性情報は、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、顔検出信頼度、器官検出信頼度、累積滞在時間、購入商品名、利用カード情報、同時顔検出IDを含む。
ここで、顔属性情報から年齢と性別を判定する方法はたとえば、「顔属性の推定は例えば性別,年代,人種を見分ける-顔属性推定技術「OKAO Vision」」画像ラボ 15(4), 82-87, 2004-04 日本工業出版記載の方法を用いても良い。
【００２３】
図３のケース１は、時刻12:00:00にカメラの図4に示すP（1,1)地点からエリアに進入し、12:03:00にカメラエリア外に退出した個人にID1000を付与した例で、侵入時の顔検知サイズ5cm×4cm、顔属性処理部で抽出した推定年齢20才、推定精度50%、推定性別男、推定精度50%、顔信頼度50%、器官検出信頼度50%で同時検出数は単独の場合を示す。ここで検出精度や信頼度は、最初に検出した際に50%として同じ情報を検知するたびに向上させる。例えば1回目は50%、2回
図3のケース２は、13:00:00に図4に示すP（2,2)地点から進入したさい、同時に2人の検出を行い、そのうち、ID1001は、顔検知サイズ5cm×3cm、顔属性処理部で抽出した推定年齢30才、推定精度50%、推定性別男、推定精度50%、顔信頼度50%、器官検出信頼度50%で、残りの一人はID1002とし、顔検知サイズ5cm×4cm、顔属性処理部で抽出した推定年齢30才、推定精度50%、推定性別女、推定精度50%、顔信頼度50%、器官検出信頼度50%の場合を示す。なお、購入商品名、利用カード情報は自販機の場合で、ディジタルサイネージや、防犯監視関しては取得しない項目である。
【００２４】
図5にカメラ部での撮影から環境検出属性DB記憶までのフローを示す。S101でカメラ部で撮影後、撮影データを画像処理部に送り、画像処理部はS102で受信した映像を静止画に変換し、S103で顔属性処理部に送信する。S101で設定するカメラ撮影の時間間隔は、例えば通行人情報の変化の時間に逆比例させ、通行人情報の変化が大きい場合は時間間隔を短く、変化が小さい場合は時間間隔を長くしても良い。顔属性処理部はS104で静止画を受信し、S105で顔認識アプリケーション処理を行い顔属性を抽出し、S106で抽出した顔属性と、以前記憶していた顔属性を比較し、S107で一致する属性があれば、その属性のIDを、一致する属性がなければ新たに設定したIDを検出環境属性処理部に通知する。検出環境属性処理部はS108でIDを受信し、S110で検出環境属性のDBを参照し、S109で以前記憶していた検出環境属性とのID照合を行う。S110で同じIDを検出した際、S111で静動検出部で検出属性の位置情報の時間変化を検出し、S112で位置情報が規定時間以上変化していない場合は、S113で背景と判定して、判定した情報を削除して待ち受けに戻る。また、位置情報の時間変化が検出されれば、S115で以前検出した人物の有無をIDの照合により検出し、一致するIDがあれば、S116で以前から記憶している検出環境属性を更新する。一方、一致するIDがなければ、検出環境属性に新たなIDを付加してDBに記憶したのちS118でタイマーをスタートさせ、S119でタイムオーバを検出し、タイムオーバになればS120でIDの顔属性と検出環境属性情報を削除して、DBの負荷を軽減する。なお、S118のタイマー値は、たとえば、サイネージの場合は、商品が入れ替わる季節の3ヶ月、防犯カメラの場合は直前の情報が有効なので1日のように設定する。
【００２５】
図6にディジタルサイネージ端末のフローを示す。S201でディジタルサイネージ端末の画面表示を省電力モードに設定し、S202で風景を撮影する。S203で撮影した風景を静止画に変換後、顔認識処理を行う。S204で静動検出を行い、顔認識と判断すれば、S205で表示画面モードを省電力モードから通常表示モードに変更する。例えば、通常表示モードは省電力モードより表示画面の輝度を向上させても良いし、省電力モードは表示を行わない画面としても良い。
【００２６】
この後、S206で顔属性・検出環境属性記憶・更新するとともにS207で検出環境属性のうちの、推定年齢、推定性別、同時検出IDをもとに、コンテンツDBから検索したコンテンツを表示する。コンテンツは規定時間表示し、S209で規定時間経過を検出すると省電力モード表示に戻す。以上のフローにより、汎用の顔認識アプリケーションを用いて電力消費が少なくユーザの嗜好に合った表示を行うことが出来る。
【００２７】
図7にディジタルサイネージ表示付き自販機のフローを示す。待ち受け時はS301に示す省電力モードとし、S302で風景を撮影する。S303で撮影した風景を静止画に変換後、顔認識処理を行う。S304で静動検出を行い、顔認識と判断すれば、S305で表示画面モードを省電力モードから通常表示モードに変更する。
【００２８】
S306で顔属性・検出環境属性記憶・更新するとともにS307で検出環境属性のうちの、推定年齢、推定性別、同時検出ID、購入商品名をもとに、コンテンツDBから検索したコンテンツを表示する。なお、検出環境属性の累積滞在時間が長いIDの認識を行った場合は、通常の処理と異なる例えば悪意のいたずらに対応する通報処理を行っても良い。
【００２９】
コンテンツは規定時間表示し、S309で規定時間経過を検出すると省電力モード表示に戻す。規定時間経過以前に商品購入行為が行われた際、S311で検出環境属性DBを用いて決済カード情報と顔認識IDを照合し、S312で照合結果を判定し、照合結果が良好な場合、S313でカード決済実施、顧客への商品提供を行った後、提供商品情報を検出環境属性DBに記憶し、待ち受け状態に入る。
以上のフローにより、汎用の顔認識アプリケーションを用いて電力消費が少なくユーザの嗜好に合った表示を行うことが出来、またカード決済時の本人確認を行うことで安全なシステムを実現できる。
【００３０】
図8に特定個人の監視防犯のフローを示す。S401で監視対象の特定個人の顔情報を認識・記憶したのち、S402で撮影時間間隔を設定し、S403で特定個人を検出するための間隔を規定するタイマーをスタートさせる。例えばタイマーは幼稚園児の場合は登校時や下校時の時間に合わせて設定する。S404で規定の時間間隔で風景の撮影を行い、S405でタイムオーバを検出しタイムオーバなら待ち受け状態に戻る。タイムオーバでない場合、S406で静止画に変換後顔認識処理を行い、S407で静動検出を行い、顔認識と判断すれば、S408でID照合を行い、S409でS401で設定した顔情報と同一の顔情報が検出されれば、S410で同一人物の検出処理を行う。同一人物でなければ、S405に戻り撮影を継続する。これにより、汎用の顔認識アプリケーションを用いて、確実に特定個人の検出が可能となる。
【００３１】
図9にシステム構成例を示す。同図で200は顔認識処理部で、通信システム204を介してディジタルサイネージ部300、自販機部400、防犯監視部500と通信する。ディジタルサイネージ部300のカメラ部303、自販機部400のカメラ部403、防犯監視部500のカメラ部503で取得した風景情報を顔属性処理部201で処理し、顔属性情報、環境属性情報を抽出し、顔属性情報DB202、検出環境属性情報DB203に記憶するとともに抽出情報をディジタルサイネージ部300、自販機部400、防犯監視部500のそれぞれの通信部302、402、502を介して通知するとともにディジタルサイネージ部300、自販機部400、防犯監視部500からの問い合わせに応じて顔属性情報DB202、環境属性情報DB203の内容をIDにより検索して通知する。ディジタルサイネージ部300、自販機部400、防犯監視部500は通知された情報に基づいて以降の処理を行う。
【００３２】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【００３３】
本発明は、コンテンツ情報と広告情報を視聴効果が最大になるように組み合わせて表示端末に表示させることが可能となる。
【符号の説明】
【００３４】
１００ カメラ部
１０１ 画像処理部
１０２ 顔属性処理部
１０４ タイマー部
１０５ ID設定照合部
１０６ 顔属性DB部
１０７ 検出環境属性DB部
２００ 顔認識処理部
３００ デジタルサイネージ部
４００ 自販機部
５００ 防犯監視部
【特許請求の範囲】
【請求項１】
カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で検出環境属性を更新したのち記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことを特徴とする顔認識による環境理解型制御方式
【請求項２】
前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項３】
前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項４】
前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことを特徴とする請求項１および２に記載の顔認識による環境理解型制御方式
【請求項５】
前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切り替え、自動販売機のお勧め商品表示切り替え、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更することを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項６】
前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項１】
カメラ機能を用いて所定の間隔で映像を撮影し、該撮影した映像を、画像処理機能により静止画に変換し、変換された静止画を顔認識機能により、1以上の顔属性情報を抽出し、抽出した顔属性情報を、事前にIDを付加して記憶していた顔属性情報とIDで比較し、比較結果が不一致ならそれぞれの顔情報に対応したIDを新規に設定し、新規に設定したIDと、今回検出した検出環境属性を記憶し、前記の比較結果が一致なら、一致したIDと今回の検出結果で検出環境属性を更新したのち記憶し、該記憶されたID、顔属性および検出環境属性の更新履歴情報に基づいて、背景と人物の識別を行うとともに、対象とする機器の制御を行うことを特徴とする顔認識による環境理解型制御方式
【請求項２】
前記顔属性情報は、目元・口元を中心に、各顔器官の形状の方向と間隔、顔の骨格やしわ、たるみの状況やそれぞれの推定信頼度を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項３】
前記検出環境属性は、同時検出人数、検出位置座標、検出時刻、退出時刻、顔検出サイズ、推定年齢と確度、推定性別と確度、累積滞在時間、購入商品名、利用カード情報を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項４】
前記顔属性推定信頼度、推定年齢信頼度、性別推定信頼度は同一人物を検出の都度向上させていくことを特徴とする請求項１および２に記載の顔認識による環境理解型制御方式
【請求項５】
前記履歴情報に基づいた前記対象とする機器の制御は、ディジタルサイネージ用の表示方法やコンテンツの切り替え、自動販売機のお勧め商品表示切り替え、ICカード決済を含む個人決済機器用の認証制御、監視防犯機器用の特定個人の検出制御を含み、前記検出環境情報に基づいた前記機器制御は電源のオンオフや表示の輝度や画面サイズを変更することを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【請求項６】
前記機器はディジタルサイネージ機器、自販機、ICカードの認証機器を含むことを特徴とする請求項1に記載の顔認識による環境理解型制御方式
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３８１７（Ｐ２０１３−３８１７Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３３８７４（Ｐ２０１１−１３３８７４）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（５００３１３６０６）株式会社ブイシンク (9)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（５００３１３６０６）株式会社ブイシンク (9)
【Ｆターム（参考）】
[ Back to top ]