説明

迷子発見システム及び方法

【課題】多人数が来訪する場所等において、保護者などからの申告に依存することなく、迷子の発生を早期に検出し、その迷子に対応できるようにする。
【解決手段】各保護者について顔特徴情報を保持する保護者情報と、各子供についてその顔特徴情報と迷子度と保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用いる。入場口での撮像データ内に写っている人物に関し、推定年齢に基づき子供とその保護者とに分類し、子供とその保護者とを対応付けて、保護者推定データベースに登録する。子供を含んでいる新たな撮像データに関し、保護者推定データベース内の子供情報を検索してその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別して子供の迷子度をアップまたはダウンし、迷子度がしきい値に達していればアラームを発生する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多人数が来訪する場所等において、迷子の発生を早期に発見する迷子発見システム及び方法に関する。
【背景技術】
【0002】
ショッピングセンターや子供向けイベント会場においては、子供が保護者からはぐれてしまういわゆる迷子の事象が発生しがちである。従来は、子供がいないことに気付いた保護者からの申告に基づいて、迷子となった子供の捜索を開始するため、実際に迷子となったときからその解決までの時間が長くかかりがちである。
【0003】
特許文献1には、予め複数のカメラが配置されて映像を収集している会場内において迷子となった子供を捜すための迷子検索・監視システムが開示されている。この迷子検索・監視システムでは、現在までに撮影された(あるいは現に撮影しつつある)映像に映っている人物像の中から、迷子となった子供の人物像と類似しているものを検索することによって、その子供が現時点でどこにいるか(あるいは直前にどこにいたか)を探し出すものである。このシステムでは、迷子となった子供の人物像を必要とするが、これについては、迷子となる前にはその子供と保護者とは同一映像に記録されているであろうことを利用する。すなわち、保護者から迷子の発生の申告があったときに、その保護者の画像を撮影し、会場内のカメラで既に撮影した映像の中からその保護者が含まれているものを検索し、保護者と一緒に写っている子供を捜索対象の子供の候補として提示し、候補の中から捜索対象の子供が指定されたら、指定された子供の人物像を迷子となった子供の人物像として用いる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−151820
【発明の開示】
【発明が解決しようとする課題】
【0005】
保護者によって迷子発生の申告があってから、迷子となる子供の捜索を開始する場合には、迷子の発生に気付くのが遅くなればなるほど、子供が迷子状態となっている時間が長くなってしまう、という問題点がある。特許文献1に記載の迷子捜索・監視システムも保護者からの申告があることを前提としている。しかしながら、子供の連れ去りなどの犯罪を未然に防止する観点からも迷子の早期解決が必要であり、保護者からの申告の有無等によらず、迷子の事象の発生を早期に検出できるようにすることが求められている。
【0006】
本発明の目的は、保護者などからの申告に依存することなく、迷子の発生を早期に検出し、その迷子に対応できるようにする迷子発見システム及び方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の迷子発見システムは、子供とその子供の保護者とが来訪する場所に設けられる迷子発見システムであって、場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の年齢を推定する年齢推定手段と、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて保護者推定データベースに登録する保護者推定DB登録手段と、子供を含んでいる新たな撮像データに関し、そぼ子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまず子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生する保護者推定手段と、を有する。
【0008】
本発明の迷子発見方法は、子供とその子供の保護者とが来訪する場所における迷子発見方法であって、各保護者について顔特徴情報を保持する保護者情報と、各子供についてその子供の顔特徴情報と迷子度と対応する保護者に関する保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、画像処理により、来場者画像データベース内の各撮像データからその撮像データに含まれる人物の顔特徴情報を抽出し推定年齢を判定することと、場所の入場口に設けられたカメラによる撮像データ内に写っている人物に関し、推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、保護者推定データベースに登録することと、子供を含んでいる新たな撮像データに関し、子供の顔特徴量に基づいて保護者推定データベース内の子供情報を検索してまずその子供を特定してその子供に対応する保護者の保護者情報からその子供に対応する保護者の顔特徴情報を取得して撮像データとのマッチングを行うことにより、子供が保護者と一緒に写っているか否かを判別し、一緒に写っていればその子供の迷子度をダウンし、一緒に写っていなければアップし、その後、迷子度がしきい値に達していればアラームを発生することと、を有する。
【発明の効果】
【0009】
本発明では、入場口での撮像データに基づいて子供とその子供に対応する保護者とを判別して保護者推定データベースに登録し、その後の新たな撮像データにおいて子供が保護者とは一緒に写っていない場合にはその子供の迷子度を大きくし、迷子度がしきい値に達した時点でアラームを自動的に発生させることにより、子供が保護者と離れて行動していることを推測できて、保護者が気づいていない早期の段階から迷子の発生を検出できるように、迷子の早期解決を可能とすることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施の一形態の迷子発見システムの構成を示す概要図である。
【図2】実施の一形態の迷子発見システムの構成を示すブロック図である。
【図3】実施の一形態の迷子発見システムの動作を示すフローチャートである。
【図4】実施の一形態の迷子発見システムの動作を示すフローチャートである。
【図5】実施の一形態の迷子発見システムの動作を説明する図である。
【図6】実施の一形態の迷子発見システムの動作を説明する図である。
【図7】実施の一形態の迷子発見システムの動作を説明する図である。
【図8】実施の一形態の迷子発見システムの動作を説明する図である。
【図9】入場口の構造の一例を示す図である。
【図10】入場口の構造の一例を示す図である。
【発明を実施するための形態】
【0011】
次に本発明の実施の形態について、図面を参照して説明する。図1は、本発明の実施の一形態の迷子発見システムの概要を示している。ここで示す例では、子供連れを含む多数の来訪者がある場所としてショッピングセンターを例に挙げ、ショッピングセンターにおいて迷子の早期発見を行う場合を説明する。
【0012】
ショッピングセンター10では、例えば、1階に食料品売り場、2階に婦人服売り場、3階に玩具売り場と子供服売り場が設けられているものとし、1階の入場口と各売り場とには、来場者を撮像するために、それぞれカメラ11が設けられている。カメラ11で撮像されたデータは、ネットワークを構成するハブ12を介して、管理装置13に送信される。管理装置13は、例えば、パーソナルコンピュータなどによって構成することができる。特にこの迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため、入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写った画像を取得する必要がある。そこで後述するように、一例として入場口において回転扉を用い、保護者と子供との組み合わせごとに回転扉を介して入場するようにしてその入場の際にカメラ11によって画像を取得する。
【0013】
図2は、本実施形態の迷子発見システムの構成を示すブロック図である。
【0014】
ショッピングセンター10内の各所に配置された複数台のカメラ11と、管理装置13とは、ハブ12(図1参照)を含むネットワーク14を介して接続している。複数台のカメラ11には、重複がないようにカメラ番号が付与されている。図示したものでは、入場口、食料品売り場、婦人服売り場、玩具売り場及び子供服売り場のカメラ11に対し、それぞれ、1〜5のカメラ番号が付与されているものとする。各カメラ11は、レンズとイメージセンサなどを備えて実際に画像を取得する撮像部21と、撮像部21で取得した撮像データから画像処理によって顔を検出し、その撮像データ中に含まれる人物の人数を検出人数として判定する顔検出部22と、ネットワーク14と接続するインタフェース(I/F)23とを備えている。顔検出部22は、例えば、公知の技術によって、撮像データから瞳を検出することにより顔を検出するものである。各カメラ11から管理装置13へは、ネットワーク14を介して、当該カメラのカメラ番号と、撮像データと、その撮像データの撮像時刻と、その撮像データに対する検出人数とが送信されるようになっている。
【0015】
管理装置13は、ネットワーク14に対して接続するインタフェース(I/F)31と、各カメラ11による撮像データを保存するためのデータベース(DB)である来場者画像DB32と、人物を特定するために、撮像データから検出された顔の特徴点を顔特徴情報として抽出する顔特徴情報抽出部33と、撮像データから検出された顔からその人物の年齢を推定する年齢推定部34と、顔特徴情報抽出部33によって抽出された顔特徴情報と年齢推定部34によって推定された推定年齢とを保持する顔特徴DB35と、子供情報と保護者情報と第三者情報とがリンク付けされて記録されるデータベースである保護者推定DB36と、保護者推定DB36中の指定された子供情報に対応する保護者もしくは第三者として保護者情報もしくは第三者情報を保護者推定DB36に登録する保護者推定DB登録部37と、保護者推定部38と、を備えている。保護者推定部38は、推定年齢から子供を含んでいると判定された撮像データに関し、その撮像データによる画像中の子供以外の人物について、その人物の顔画像特徴と、保護者推定DB36においてその画像中の子供に対応する子供情報に関連付けられている保護者の顔画像特徴とのマッチングを行い、一致すれば保護者として推定し、一致しなければ第三者として推定する。保護者推定部38は、推定結果と保護者推定DB36内の各情報とに基づいて、迷子の発生などを検知し、アラームを出力する機能も備えている。
【0016】
ここで、管理装置13内に設けられる3つのデータベース(来場者画像DB32、顔特徴DB35及び保護者推定DB36)について説明する。
【0017】
カメラ11による撮像データを保存するための来場者画像DB32は、カメラ番号で特定されるカメラごとに、及び、撮像時刻ごとに、撮像データとその撮像データ中に含まれる人物の人数(すなわち検出人数)とを格納するものであり、データフィールドとして、「カメラ番号」、「撮像データ」、「撮像時刻」及び「検出人数」を備えている。来場者画像DB32には、管理装置13がネットワーク14を介してそれぞれのカメラ11から撮像データを受け取るたびに、その撮像データが蓄積されることになる。
【0018】
顔特徴DB35は、各撮像データに含まれる人物像ごとに、顔特徴情報抽出部33によって抽出された顔特徴情報と年齢推定部34によって推定された推定年齢とを保持する。例えば、あるカメラのある時刻の撮像データに3人の人物が写っていたとすれば、その撮像データから顔特徴DB35における3件分のデータレコードが生成することになる
顔特徴DB35は、データフィールドとして、「カメラ番号」、「撮像時刻」、「顔特徴情報」及び「推定年齢」を備えている。
【0019】
保護者推定DB36は、上述したように、子供情報と保護者情報と第三者情報とをリンク付けして記録するデータベースである。ここで子供情報とは、推定年齢により子供であると判断された来場者ごとに、その子供である来場者の顔特徴情報、推定年齢、迷子度、保護者情報及び第三者情報への関連付けを記録するものであり、データフィールドとして、「子供番号」、「顔特徴情報」、「推定年齢」、「迷子度」、「保護者情報へのリンク」、「第三者情報へのリンク」を含んでいる。子供番号は、子供である来場者を重複なく識別するために一意に付与される番号である。
【0020】
保護者情報とは、入場口で取得した撮像データにおいて子供と一緒に写っていたことにより、その子供の保護者と推定した来場者ごとに、その来場者の顔特徴情報、推定年齢、保護者同伴度、他の保護者情報への関連付けを記録するものであり、データフィールドとして、「保護者番号」、「顔特徴情報」、「推定年齢」、「保護者同伴度」、「次の保護者情報へのリンク」を含んでいる。保護者番号は、保護者と推定された来場者を重複なく識別するために一意に付与される番号である。子供情報から保護者情報へのリンク付けは、子供情報の「保護者情報へのリンク」のフィールドに、その子供に対応する保護者の保護者番号を格納することによって行われる。1人の子供に対して2人以上の保護者が対応する場合があり得るが、その場合は、子供情報の「保護者情報へのリンク」のフィールドに複数の保護者番号を格納するか、あるいは、子供情報の「保護者情報へのリンク」には1人分の保護者番号を格納し、残りの保護者については、子供情報からリンクされている保護者情報の「次の保護者情報へのリンク」に保護者番号を格納することにより、ディジーチェーン形態で子供情報から保護者情報をたぐることができるようにする。
【0021】
第三者情報とは、子供でもその子供に対して推定された保護者でもないが、いずれかの撮像データにおいてその子供と一緒に写っていた来場者(以下、第三者と呼ぶ)に関する情報であり、子供情報や保護者情報とは異なって、そのような第三者の存在が確認されたときに初めて生成されるものである。第三者情報は、第三者であると判断された来場者ごとに、その来場者の顔特徴情報、推定年齢、第三者同伴度、他の第三者情報への関連付けを記録するものであり、データフィールドとして、「第三者番号」、「顔特徴情報」、「推定年齢」、「第三者同伴度」、「次の第三者情報へのリンク」を含んでいる。第三者番号は、第三者と判断された来場者を重複なく識別するために一意に付与される番号である。子供情報から第三者情報へのリンク付けは、子供情報の「第三者情報へのリンク」のフィールドに、その子供に対応する第三者の第三者番号を格納することによって行われる。1人の子供に対して2人以上の第三者が対応する場合があり得るが、その場合は、子供情報の「第三者情報へのリンク」のフィールドに複数の第三者番号を格納するか、あるいは、子供情報の「第三者情報へのリンク」には1人分の第三者番号を格納し、残りの第三者については、子供情報からリンクされている第三者情報の「次の第三者情報へのリンク」に第三者番号を格納することにより、ディジーチェーン形態で子供情報から第三者情報をたぐることができるようにする。なお、推定された保護者であるか第三者であるかは、子供である来場者からの関係で決定されるので、ある子供の保護者として推定された人物が、他の子供との関係では第三者となることは起こり得ることである。
【0022】
次に、保護者指定DB36に格納される「迷子度」、「保護者同伴度」及び「第三者同伴度」について説明する。
【0023】
迷子度とは、例えば0以上の整数値で表され、その値が大きいほど、子供である来場者についてその子供が迷子であるとことがより強く推定される指標である。入場口で撮像された画像において推定年齢から子供と判断された人物が、その後に撮像された画像において、その子供に関して推定された保護者と一緒には写っていない場合、すなわち、その子供一人で行動しているか、保護者以外の来場者のみとともに写っている場合に、迷子度の値は大きく(例えば、1だけアップ(すなわちインクリメント))される。一方、子供がその保護者と一緒に画像に写っている場合には、迷子度の値は小さく(例えば、1だけダウン(すなわちデクリメント))されるか、あるいはゼロにリセットされる。入場口では子供とその保護者とは一緒の画像に写っているので、迷子度の初期値はゼロとする。以下の説明において、入場口での撮像により推定年齢から子供と判断された人物のことを単に「子供」と呼ぶ。ある子供に関して迷子度があるしきい値(例えば、3)以上となった場合に、保護者推定部38は、その子供に関して迷子になったおそれがあるとして、アラームを発生する。
【0024】
保護者同伴度とは、入場口での撮像によってある子供の保護者と推定された人物(以下、単に「保護者」と呼ぶ)に関し、その人物とリンクされている子供とどれだけ一緒にいるかを示す指標であって、例えば、0以上の整数値で表されるものである。新たに入力した画像において子供が、その子供に関連付けられている保護者と一緒に写っている場合に、その保護者についての保護者同伴度が大きく(例えば、1だけアップ)され、そうでない場合には、保護者同伴度は小さく(例えば、1だけダウン)される。1人の子供に2人の保護者が対応することもあるが、その場合、いずれかの画像において一方の保護者だけが子供と一緒に映っていたとすれば、当該画像に写っている方の保護者の保護者同伴度を大きくし、写っていない方の保護者同伴度を小さくする。入場口では子供とその保護者とは一緒の画像に写っているので、保護者同伴度の初期値は例えば10とする。この初期値は、子供と一緒に画像に写っている保護者についての保護者同伴度の最小値としても使用することができる。このように最小値を設定すると、子供と別れて行動していたなどの理由で保護者同伴度が例えば7などになっていたとしても、子供と同一画像に写ることで、保護者同伴度は少なくとも10にまで回復することになる。子供とその保護者が常に同じ行動をとっていると、保護者同伴度が際限なく大きくなる可能性があるので、保護者同伴度のとりうる値に上限を設け、上限に達した後は、画像において子供と一緒にその保護者が写っている場合には保護者同伴度を変化させないようにしてもよい。
【0025】
第三者同伴度は、子供の連れ去りなどのおそれを早期に発見するために設けられた指標であり、例えば、0以上の整数値で表されるものである。入場口での撮像データ中には子供と写ってはいないのでその子供の保護者ではないが、それ以降に撮像された画像において子供と一緒に写っている人物を第三者と定義する。ある子供に関してその子供がその保護者とは一緒に写っていない画像において、ある第三者がその子供と一緒に写っていれば、その第三者についての第三者同伴度が大きく(例えば、1だけアップ)される。一方、画像においてその子供が単独で写っている場合、あるいは、その第三者も写っているがその子供の保護者とも一緒に写っている場合には、その第三者についての第三者同伴度は小さく(例えば、1だけダウン)される。ただし、保護者と第三者が子供と一緒に撮像データ中に写っている場合には、最低でも第三者同伴度が1となるようにする。ある子供に関してその子供と対応付けられている第三者の第三者同伴度があるしきい値(例えば、3)以上となった場合に、保護者推定部38は、その子供に関して第三者による連れ去りのおそれがあるとして、アラームを発生する。第三者は入場口での画像では子供とは写っていないので、第三者同伴度の初期値は潜在的には0であるが、実際には、子供と一緒に写っている第三者を初めて検出した時点で上述した保護者推定DB36中の第三者情報が生成されるので、第三者を初めて検出した時点でゼロでない第三者同伴度をその第三者に与えるようにすればよい。また、第三者同伴度の値が正からゼロになった時点で、対応する第三者の第三者情報自体を保護者推定DB36から削除してしまえばよい。
【0026】
本実施形態では第三者同伴度を規定しているが、第三者同伴度を用いることにより、保護者以外の第三者と子供が行動を共にしていることを早期に検出できるので、連れ去りなどの万が一の犯罪の発生抑止に寄与することができる。
【0027】
「迷子度」、「保護者同伴度」及び「第三者同伴度」についての説明から明らかなように、入場口での撮像データに基づいて子供とその保護者との関連付けがなされ、それに基づいて保護者推定DB36に子供情報と保護者情報が記録されているとして、保護者推定部38は、入場口以外で撮像され新たに入力した撮像データであって子供を含む画像に関し、顔特徴量に基づいて保護者推定DB36内の子供情報を検索してまずその子供を特定し、その画像に子供が単独で写っていれば迷子度をアップして保護者同伴度と第三者同伴度をダウンし、その画像に保護者が写っていれば迷子度と第三者同伴度をダウンして保護者同伴度をアップし、その画像に保護者は写っていないが第三者が写っていれば迷子度と第三者同伴度をアップして保護者同伴度をダウンする処理を行い、迷子度と第三者同伴度のいずれかがそれぞれのしきい値に達した場合にアラームを発生する処理を実行する。
【0028】
次に、この迷子発見システムの動作を説明する。
【0029】
まず、図3を用いて、入場口で撮像した撮像データに対する処理を説明する。ステップ101では、入場口のカメラ11において、撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置13に送信する。入場口では、子供と保護者との対応付けを行うために、子供と保護者とが1枚の画像に収まるように誘導して撮像を行うようにする。次にステップ102において、管理装置13では、カメラ11から送信されてきたこれらのデータを来場者画像DB32に登録する。
【0030】
次に、ステップ103において、来場者画像DB32に登録された撮像データから、顔特徴情報抽出部33が顔特徴情報を抽出し、年齢推定部34が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴DB35に登録される。ステップ104では、対象としている撮像データから検出された全ての人物に関して顔特徴データDB35への登録が行われたかどうかをチェックし、未処理の人物があればステップ103に戻り、検出された全ての人物に関して処理が完了していれば、ステップ105に進む。
【0031】
ステップ105では、保護者推定DB登録部37が、顔特徴DB35に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ106において保護者推定DB36への登録処理を行ってから、処理を終了する。ステップ106の登録処理では、同一の撮像データから検出された人物に関し、推定年齢から子供と判断される人物に関する顔特徴情報と推定年齢とを保護者推定DB36の子供情報に登録し、子供とは判断されなかった人物を保護者として、保護者の顔特徴情報と推定年齢とを保護者推定DB36の保護者情報に登録する。これらの処理は、同一の撮像データから検出された全ての人物に関して実行される。
【0032】
以上の処理により、入場口で撮像された画像に基づいて、子供とその潜在保護者とが関連付けられて保護者推定DB36に登録されたことになる。
【0033】
次に、入場口以外のカメラ11(すなわち、各売り場等に設けられたカメラ11)で撮像した撮像データに対する処理を説明する。
【0034】
ステップ111において、各売り場などに設けられたカメラ11において撮像を行って来場者の瞳検出を行い、そのカメラのカメラ番号と撮像データと検出人数と撮像時刻とを管理装置13に送信する。次にステップ112において、管理装置13では、カメラ11から送信されてきたこれらのデータを来場者画像DB32に登録する。次に、ステップ113において、来場者画像DB32に登録された撮像データから、顔特徴情報抽出部33が顔特徴情報を抽出し、年齢推定部34が年齢を推定し、これらの顔特徴情報と推定年齢とは、対応する撮像データのカメラ番号と撮像時刻とともに、顔特徴DB35に登録される。ステップ114では、対象としている撮像データから検出された全ての人物に関して顔特徴データDB35への登録が行われたかどうかをチェックし、未処理の人物があればステップ113に戻り、検出された全ての人物に関して処理が完了していれば、ステップ115に進む。ステップ115では、保護者推定部38が、顔特徴DB35に登録されたデータに関してその中に子供が存在するかを判断し、存在していなければそのまま処理を終了し、存在していれば、ステップ116に進む。
【0035】
ステップ116では、子供を含む現在処理対象としている撮像データに関し、保護者推定部38が、その子供の顔特徴に基づいて保護者推定DB36内の子供情報を検索してどの子供であるかを特定し、その子供に対応した保護者を検索する。具体的には、顔特徴DB35から得られたその子供の顔特徴情報と同じ顔特徴情報である子供を子供情報から検索する。
【0036】
次にステップ117において、保護者推定部38は、現在処理対象としている撮像データ中に、ステップ116で特定した子供以外の人物が存在するかどうかを調べ、もし存在すればその人物を現時点推定保護者とする。現時点推定保護者には、入場口での撮像によってその子供に関連付けられた保護者と、第三者との両方が含まれ得る。ステップ117ののち、ステップ118では、撮像データ中に現時点推定保護者が含まれているかどうかを判断し、現時点推定保護者がいればステップ119に進み、いなければステップ125に進む。
【0037】
ステップ119では、保護者推定部38は、特定された子供に関し、保護者推定DB36内の子供情報中の「保護者情報へのリンク」をたどってその子供の保護者情報を取得し、保護者情報中の顔特徴情報と現時点推定保護者の顔特徴情報とをマッチングさせる。ステップ120では、マッチングの結果、一致したかどうか、すなわち、対象とした撮像データ中に保護者がいたかどうかを判断する。一致した場合は、子供がその保護者と同一行動をとっている場合なので、ステップ121において、当該保護者の保護者同伴度をアップし、その子供の迷子度をダウンし、第三者同伴度が設定されている場合であればその第三者同伴度もダウンする。ただし、現時点推定保護者が複数存在し、一方が保護者であって他方が第三者である場合もあるが、その場合は、第三者同伴度を原則としてダウンさせるものの、第三者同伴度がゼロにはならないようにする。
【0038】
ステップ120において一致しなかった場合、これは、子供と一緒に写っている現時点推定保護者が第三者である場合なので、ステップ122において、その第三者について第三者情報が作成されていなければ第三者情報を作成した上で、当該第三者に対する第三者同伴度をアップし、子供の迷子度をアップし、保護者同伴度をダウンする。その後、ステップ123において、第三者同伴度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、第三者による連れ去りのおそれがあるとして、ステップ124において、保護者推定部38は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索は、対象となる子供に関連した保護者の保護者情報に含まれる顔特徴情報を抽出し、その顔特徴情報と同じ顔特徴情報のデータを顔特徴DB内35で検索して、その顔特徴情報を含む撮像データのカメラ番号(すなわち撮像場所)と撮像時刻とを求めることによって行われる。当然のことながら、より直近の撮像データが優先して検索される。また、1人の子供に対して複数の保護者が対応する場合もあるが、その場合は、保護者同伴度の高い方の保護者を優先して検索する。
【0039】
ステップ118において現時点推定保護者が存在しない場合は、対象としている子供が1人で行動しているときであるので、ステップ125において、保護者推定部38は、その子供の迷子度をアップし、対応する保護者の保護者同伴度をダウンし、対応する第三者同伴度が正の場合にはその第三者同伴度もダウンする。その後、ステップ126において、迷子度がしきい値に達したかどうかを判断する。しきい値に達していない場合にはそのまま処理を終了し、しきい値に達した場合には、迷子になっているおそれがあるとして、ステップ127において、保護者推定部38は、アラームを発生し、その上で保護者の所在検索を行って処理を終了する。保護者の所在検索のやり方については、ステップ124の場合と同様である。
【0040】
以上の処理により、保護者推定部38は、迷子の発生や連れ去りのおそれなどを早期に発見してアラームを出力することができる。
【0041】
上述したように管理装置13は、パーソナルコンピュータなどのコンピュータを用いて構成することができる。コンピュータによって管理装置13を構成する場合には、上述した各機能を実現するためのプログラムを用意し、そのプログラムをコンピュータ上で実行させればよい。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述の実施形態における管理装置13として機能させ、前述した処理を行わせる。
【0042】
以下、例を挙げて本実施形態を説明する。図5〜図8において、太線で示された枠内は、カメラで撮像された撮像データの異例を示しており、子供Aと大人Pを結ぶ線などの細線で示されたものは、保護者推定DB36内での結びつきの関係を示している。
【0043】
図5は子供1人(子供A)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pとが一緒に撮像され、これにより、子供Aに対して大人Pが保護者であると関連付けられ、保護者推定DB36に登録される。このとき、子供Aの迷子度は0であり、大人Pの保護者同伴度は10である。続いて、(b)に示すように、子供Aと大人Pのほかに、もう一人の人物(大人X)が同一画像内に映ったとする。子供Aと大人Pは子供とその保護者の関係にあるが、大人Xは第三者に該当するので、保護者推定DB36中では、子供Aの迷子度は0、大人Pの保護者同伴度は11とされ、大人Xの第三者同伴度は1にされる。続いて、(c)に示すように、子供Aが単独で撮像されたら、子供Aの迷子度がアップされて1となり、大人Pの保護者同伴度はダウンして10となり、大人Xの第三者同伴度も0にされる。その後、子供Aはしばらくの間、1人で行動していたとすると、(d)に示すように、子供Aの迷子度が3になってしきい値に達し、迷子アラームが発生する。このとき、大人Pの保護者同伴度はさらにダウンされて8となる。(e)に示すように、子供Aと大人Pとが落ち合って同一撮像データ中に存在するようになると、子供Aの迷子度は0となり、迷子アラームが解除する。
【0044】
図6は子供1人(子供A)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pとが一緒に撮像され、図5(a)のときと同様に、保護者推定DB36に登録される。このとき、子供Aの迷子度は0であり、大人Pの保護者同伴度は10である。続いて、(b)に示すように、子供Aと大人Pのほかに、第三者(大人X)が同一画像内に映ったとすると、子供Aの迷子度は0、大人Pの保護者同伴度は11とされ、大人Xの第三者同伴度は1にされる。続いて、(c)に示すように、子供Aと第三者である大人Xが同一画像中に撮像されたが保護者(大人P)がいないとすると、子供Aの迷子度がアップされて1となり、大人Pの保護者同伴度はダウンして10となり、大人Xの第三者同伴度は2にされる。その後、子供Aと第三者である大人Xとが同一行動をとっていたとすると、(d)に示すように、大人Xの第三者同伴度が3になってしきい値に達し、連れ去りアラームが発生する。このとき、大人Pの保護者同伴度はさらにダウンされて9となり、子供Aの迷子度も2となる。(e)に示すように、子供Aと大人Pとが落ち合って同一撮像データ中に存在するようになると、大人Xの第三者同伴度はダウンしてしきい値未満となり、連れ去りアラームが解除する。
【0045】
図7は子供2人(子供A、子供B)とその保護者1人(大人P)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと子供Bと大人Pとが一緒に撮像され、その結果、子供Aに対して大人Pが対応付けられ、子供Bに対しても大人Pが対応付けられ、保護者推定DB36に登録される。子供Aに関し、迷子度は0であり、子供Aからみた大人Pの保護者同伴度は10である。同様に子供Bについても迷子度は0であり、子供Bからみた大人Pの保護者同伴度も10である。次に、子供Aと子供Bとが別行動となり、保護者である大人Pは子供Bと一緒に行動したものとする。このとき、(b)に示すように、子供Aの画像には第三者である大人Xが写っているとすると、そこには保護者はいないので、子供Aの迷子度は1となり、子供Aに対する大人Pの保護者同伴度はダウンして9となり、子供Aに対する大人Xの第三者同伴度が1となる。同時に、子供Aが写っているのとは別のカメラでは、(c)に示すように、子供Bと大人Pとが一緒に写っており、こちらでは、子供Bの迷子度は0であり、子供Bに対する大人Pの保護者同伴度はアップして11となる。その後、子供A、子供B及び大人Pが一緒に行動すると、(d)に示すように、子供A、子供B及び大人Pが同一のカメラ内で撮像されることとなって、子供Aの迷子度は0となり、子供Aに対する大人Pの保護者同伴度はアップして10となり、子供Aに対する大人Xの第三者同伴度は0となる。子供Bの方は引き続き迷子度が0であって、子供Bに対する大人Pの保護者同伴度はさらにアップして12となる。
【0046】
図8は子供1人(子供A)とその保護者2人(大人P、大人Q)とが一緒に来場した場合を示している。(a)に示すように、入場口のカメラ11では、子供Aと大人Pと大人Qとが一緒に撮像され、その結果、子供Aに対して大人Pと大人Qとが対応付けられ、保護者推定DB36に登録される。子供Aの迷子度は0であり、大人Pと大人Qの保護者同伴度はいずれも10である。次に、(b)に示すように、同一画像に子供Aと大人Qと第三者である大人Xが写っているとすると、保護者がいるので子供Aの迷子度は0のままであり、大人Qの保護者同伴度は11にアップし、大人Xの第三者同伴度は1となる。大人Pについては、子供Aとは一緒にはいないので、保護者同伴度は9にダウンする。次に、(c)に示すように、子供Aと大人Xだけが写って保護者が写らなかった場合には、子供Aの迷子度が1となり、大人Xの第三者同伴度は2となり、大人Pと大人Qの保護者同伴度はいずれもダウンしてそれぞれ8と10になる。次に、(d)に示すように、画像には子供Aだけが写っているとすると、子供Aの迷子度は2となり、大人Pと大人Qの保護者同伴度はいずれもダウンしてそれぞれ7と9になり、大人Xの第三者同伴度は1となる。その後、(e)に示すように、今度は、大人Pと子供Aが一緒に行動している場合には、子供Aの迷子度は0にされ、大人Pの保護者同伴度はアップして10となり、大人Qの保護者同伴度はダウンして8となり、大人Xの第三者同伴度は0となる。
【0047】
本実施形態の迷子発見システムでは、来場者が来場した時点で画像処理によって保護者と子供とを対応付けており、このため入場口では、保護者と子供との組み合わせごとにそれらの保護者と子供とが一緒に写り、かつ他人が写っていない画像を取得する必要がある。そこで、何らかの手段で来場者を誘導して、保護者と子供との組み合わせごとに入場させ、かつ、その際に入場口で保護者と子供とを一緒に撮像できるようにする必要がある。以下、保護者と子供との組み合わせごとに入場させるための構成の例を説明する。
【0048】
図9は、入場口を回転扉とした例を示しており、ここでは、回転扉を上から見た状態を示している。回転扉41の扇形の区画42ごとに子供と保護者とが入るようにし、かつ、一例として、回転扉の作動力を調整して、子供の力では回転扉を押せないようにして、保護者と子供とが一緒に入場するようにしている。自動式の回転扉41を用いる場合であれば、子供が操作できないように回転扉41の操作スイッチを設けることも考えられる。
【0049】
また、図10は、連動型の二重扉を使用した例を示している。二重扉43は、入場方向に対して外側に配置された外扉44と内側に配置された内扉45とを備えており、通常時は、(a)に示すように、外扉44が開いて内扉45が閉じており、保護者と子供との組み合わせが外扉44を通って二重扉43の内部(すなわち、外扉44と内扉45の間の空間)に入ったら、(b)に示すように外扉44を閉め、その直後に(c)に示すように内扉45を開けて、入場を促すようにしたものである。その際、保護者と子供との組み合わせを単位として入場するように、例えば、外扉44の前に、スピーカーとマイクロホンとを設置し、来場者に対して「何名様ですか?」と問いかけ、その返答があったら、返答された人数と一致する人数が二重扉43の内部に入らない限り、外扉44を閉めない(したがって、内扉45は開かない)構成とすることができる。あるいは、二重扉43の内部に、外扉44を閉じるためのスイッチを子供では操作できないように配置することが考えられる。二重扉43は、入場口に、例えば、1または複数設けることができる。
【0050】
あるいは、エレベータを用いて入場する建物構造となっている場合には、子供連れの来訪者に対しては、保護者と子供との組み合わせで一緒にエレベータに乗るように促したりすることもできる。また、動く歩道を入場口に配置し、保護者と子供との組み合わせで一緒に歩く歩道を利用するように促したりすることもできる。
【0051】
以上説明した本発明の実施形態では、保護者の所在検索を行う際の優先順位を設定するために保護者同伴度を用いている。このような優先順位を設定しない場合には、保護者推定DB36の保護者情報内に保護者同伴度を記録する必要はなく、また、保護者同伴度に関連した上述の諸処理を行う必要もない。また、連れ去りなどの防止のために、保護者推定DB36内に第三者情報を設け、第三者同伴度を記録するようにしているが、来場者が限定されているなどの理由で連れ去りの防止等を行う必要がない場合には、保護者推定DB36内に第三者情報を設ける必要はなく、第三者や第三者同伴度に関連した上述の諸処理も行う必要はない。
【符号の説明】
【0052】
10 ショッピングセンター
11 カメラ
12 ハブ
13 管理装置
14 ネットワーク
21 撮像部
22 顔検出部
23,31 インタフェース(I/F)
32 来場者画像DB(データベース)
33 顔特徴情報抽出部
34 年齢推定部
35 顔特徴DB
36 保護者推定DB
37 保護者推定DB登録部
38 保護者推定部
41 回転扉
42 区画
43 二重扉
44 外扉
45 内扉
101〜106,111〜127 ステップ

【特許請求の範囲】
【請求項1】
子供と前記子供の保護者とが来訪する場所に設けられる迷子発見システムであって、
前記場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定DB登録手段と、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
を有する、迷子発見システム。
【請求項2】
前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項1に記載の迷子発見システム。
【請求項3】
前記保護者情報内に保護者同伴度を有し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていて当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
請求項1または2に記載の迷子発見システム。
【請求項4】
前記各撮像データごとに撮像したカメラを特定する情報と、撮像時刻と、当該撮像データに含まれる人物の前記顔特徴情報及び前記推定年齢とを保持する顔特徴データベースをさらに備える、請求項1乃至3のいずれか1項に記載の迷子発見システム。
【請求項5】
前記入場口に、前記子供と前記子供に対応する保護者との組み合わせごとに前記場所に来場することを促すための回転扉または二重扉を備える、請求項1乃至4のいずれか1項に記載の迷子発見システム。
【請求項6】
子供と前記子供の保護者とが来訪する場所における迷子発見方法であって、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースを用い、
前記場所内に複数台設けられたカメラからの撮像データを来場者画像データベースに保持することと、
画像処理により、前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出し推定年齢を判定することと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて、前記保護者推定データベースに登録することと、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生することと、
を有する、迷子発見方法。
【請求項7】
前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項6に記載の迷子発見方法。
【請求項8】
前記保護者情報内に保護者同伴度を有し、
前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていて当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、請求項6または7に記載の迷子発見方法。
【請求項9】
コンピュータを、
子供と前記子供の保護者とが来訪する場所内に複数台設けられたカメラからの撮像データを保持する来場者画像データベースと、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の顔特徴情報を抽出する顔特徴情報抽出手段と、
前記来場者画像データベース内の各撮像データから当該撮像データに含まれる人物の年齢を推定する年齢推定手段と、
各保護者について顔特徴情報を保持する保護者情報と、各子供について当該子供の顔特徴情報と迷子度と対応する保護者に関する前記保護者情報へのリンクとを有する子供情報と、を保持する保護者推定データベースと、
前記場所の入場口に設けられたカメラによる前記撮像データ内に写っている人物に関し、前記年齢推定手段で得られた推定年齢に基づき子供とその保護者とに分類し、分類した子供とその保護者とを対応付けて前記保護者推定データベースに登録する保護者推定DB登録手段と、
子供を含んでいる新たな撮像データに関し、当該子供の顔特徴量に基づいて前記保護者推定データベース内の子供情報を検索してまず当該子供を特定して当該子供に対応する保護者の保護者情報から当該子供に対応する保護者の顔特徴情報を取得して当該撮像データとのマッチングを行うことにより、当該子供が当該保護者と一緒に写っているか否かを判別し、一緒に写っていれば当該子供の迷子度をダウンし、一緒に写っていなければアップし、その後、前記迷子度がしきい値に達していればアラームを発生する保護者推定手段と、
として機能させるプログラム。
【請求項10】
前記保護者推定データベースは、いずれかの撮像データで前記子供と一緒に写っているが前記子供の保護者ではない人物である第三者について、当該第三者の顔特徴情報と前記子供に対する当該第三者の第三者同伴度とを有する第三者情報をさらに保持し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と第三者とが一緒に写っていて前記子供に対応する保護者が写っていない場合に当該第三者の第三者同伴度をアップし、前記子供と当該第三者と前記子供に対応する保護者とが一緒に写っている場合に当該第三者の第三者同伴度をダウンし、その後、前記第三者同伴度がしきい値に達していればアラームを発生する、請求項9に記載のプログラム。
【請求項11】
前記保護者情報内に保護者同伴度を有し、
前記保護者推定手段は、前記新たな撮像データに関し、前記子供と当該子供に対応する保護者とが一緒に写っていて当該保護者の保護者同伴度をアップし、当該子供に関して前記保護者が一緒に写っていなければ当該保護者の保護者同伴度をダウンし、前記アラームを発生したときに、当該子供の保護者のうち前記保護者同伴度が高い保護者から保護者の所在検索を行う、
請求項9または10に記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−69128(P2013−69128A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2011−207350(P2011−207350)
【出願日】平成23年9月22日(2011.9.22)
【出願人】(302069930)NECエンベデッドプロダクツ株式会社 (738)
【Fターム(参考)】