行動管理装置
【課題】金融機関の店舗内などに居る人物の行動を少ないデータ量で記録すると共に、特定の人物に関する行動を容易に検索することができる行動管理装置を提供する。
【解決手段】所定エリア内の映像を撮像するビデオカメラ２０と、ビデオカメラ２０によって撮像された映像から人物を特定する人物特定部３１と、人物特定部３１によって特定された人物の認証を行う認証部３２と、認証部３２によって認証が行われた人物による所定の行動を検出する行動検出部３３と、行動検出部３３によって特定された行動を文字データに変換する文字データ変換部３４と、文字データ変換部３４によって変換された文字データを認証部３２により認証された人物の識別情報と関連付けて記憶する記憶３５とを備えることを特徴とする。
【解決手段】所定エリア内の映像を撮像するビデオカメラ２０と、ビデオカメラ２０によって撮像された映像から人物を特定する人物特定部３１と、人物特定部３１によって特定された人物の認証を行う認証部３２と、認証部３２によって認証が行われた人物による所定の行動を検出する行動検出部３３と、行動検出部３３によって特定された行動を文字データに変換する文字データ変換部３４と、文字データ変換部３４によって変換された文字データを認証部３２により認証された人物の識別情報と関連付けて記憶する記憶３５とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、金融機関の店舗などにおいて人物の行動を管理記録する行動管理装置に関するものである。
【背景技術】
【０００２】
従来から、金融機関などの店舗において、デジタルビデオレコーダなどの複数の撮影機器を店舗内に設けて顧客等の人物の行動を映像として記録する行動管理装置が知られている。
また、この種の行動管理装置として、映像に基づいて複数の通行人の位置座標を求め、この位置座標に基づいて通行人毎の通行軌跡を記録表示させるものがある（例えば、特許文献１参照）。
【特許文献１】特開２００５−３４６６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述の行動管理装置においては、前者の場合は、特定の顧客の行動を検索する際に、長時間記録された映像の中から所望の映像を探さなければならず、検索に非常に時間がかかり、また、デジタルビデオレコーダなどにより撮像された映像を長期間保存しようとすると、データ量が膨大となるため、映像を長期間保存することが困難であるという課題がある。
一方、後者の場合には、顧客の一人一人を特定することができず、また、全ての通行軌跡の中から所定の行動を推定して抽出する必要があるため、顧客を特定してその行動を検出すること自体が困難であるという課題がある。
【０００４】
この発明は、上記事情に鑑みてなされたもので、金融機関の店舗内などにおいて人物の行動を少ないデータ量で記録すると共に、特定の人物に関する行動を容易に検索することができる行動管理装置を提供するものである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載した発明は、所定エリア内の人物の行動を管理する行動管理装置において、前記所定エリア内の映像を撮像する撮像手段（例えば、実施の形態におけるビデオカメラ２０）と、前記撮像手段によって撮像された映像から人物を特定する人物特定手段（例えば、実施の形態における人物特定部３１）と、前記人物特定手段によって特定された人物の認証を行う認証手段（例えば、実施の形態における認証部３２）と、前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段（例えば、実施の形態における行動検出部３３）と、前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変換手段（例えば、実施の形態における文字データ変換部３４）と、前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段（例えば、実施の形態における記憶部３５）とを備えることを特徴とする。
【０００６】
請求項２に記載した発明は、請求項１に記載の発明において、前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を新たに特定するための識別情報を付与する識別情報付与手段（例えば、実施の形態における識別情報付与部３６）を備え、前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、文字データとを関連付けて記憶することを特徴とする。
【０００７】
請求項３に記載した発明は、請求項２に記載の発明において、前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、前記識別情報を付与された人物の映像とを関連付けて記憶することを特徴とする。
【０００８】
請求項４に記載した発明は、請求項２又は３に記載の発明において、前記認証手段は、前記識別情報付与手段によって新たに付与された識別情報を含めて、前記人物特定手段により特定された人物の認証を行うことを特徴とする。
【０００９】
請求項５に記載した発明は、請求項１乃至４の何れか一項に記載の発明において、前記撮像手段によって撮像された映像から、前記行動検出手段が所定の行動を検出する際の映像を静止画像として抽出する抽出手段（例えば、実施の形態における静止画抽出部３８）を備え、前記記憶手段は、前記抽出手段によって抽出された静止画像を前記文字データに関連付けて記憶することを特徴とする。
【００１０】
請求項６に記載した発明は、請求項１乃至５の何れか一項に記載の発明において、前記記憶手段は、前記所定エリア内のレイアウトに関するレイアウト情報を記憶し、前記行動検出手段は、前記記憶手段に記憶されたレイアウト情報と、前記撮像手段によって撮像された映像とに基づいて、前記認証手段により認証された人物の行動を検出することを特徴とする。
【００１１】
請求項７に記載した発明は、請求項６に記載の発明において、前記認証手段は、前記人物特定手段により特定された人物が店員であるか顧客であるかを少なくとも判別し、前記行動検出手段は、前記認証手段により店員であると判別された人物と、前記認証手段により顧客であると判別された人物との位置関係と、前記記憶手段に記憶されたレイアウト情報とに基づいて、少なくとも前記認証手段により顧客であると判別された人物の行動を検出することを特徴とする。
【００１２】
請求項８に記載した発明は、請求項６又は７に記載の発明において、前記撮像手段によって撮像された映像から、所定の物品を特定する物品検出手段（例えば、実施の形態における物品検出部３７）をさらに備え、前記行動検出手段は、前記物品検出手段によって特定された物品の種類に基づいて前記認証手段により認証された人物の行動を検出することを特徴とする。
【００１３】
請求項９に記載した発明は、請求項１乃至８の何れか一項に記載の発明において、前記記憶手段は、前記認証手段で認証された人物の映像を、当該人物の識別情報と関連付けて記憶することを特徴とする。
【００１４】
請求項１０に記載した発明は、請求項１乃至９の何れか一項に記載の発明において、所定のキーワードの入力を受付けるキーワード入力手段（例えば、実施の形態におけるキーワード入力部４１）と、前記記憶手段に記憶された識別情報と該識別情報に関連付けられて記憶されている関連情報との中から前記キーワード入力手段により入力されたキーワードに一致する識別情報又は関連する語句を含む識別情報を検索する検索手段（例えば、実施の形態における検索部３９）とを備え、前記検索手段によって検索された識別情報と前記関連情報との中から必要な情報を出力することを特徴とする。
【発明の効果】
【００１５】
請求項１に記載した発明によれば、撮像手段によって撮像された映像から人物特定手段により人物を特定してこの特定された人物の認証を認証手段により行い、さらに、この認証手段により特定された人物の所定の行動を行動検出手段により検出し、この行動検出手段で検出された所定の行動を文字データ変換手段により文字データに変換することで、特定された人物の識別情報に所定の行動の文字データを関連付けて記憶手段に記憶させることができる。したがって、撮像した映像を全て記憶させる従来よりも文字データとして所定の行動を記憶させる分だけ遙かにデータ量を低減することができるとともに、例えば、識別情報に基づいて、特定の人物の所定の行動を容易に検索することができる効果がある。
【００１６】
請求項２に記載した発明によれば、請求項１に効果に加え、人物特定手段により特定された人物が、認証手段により認証できない場合、すなわち、初めての来店などにより、特定された人物の認証に必要な情報を記憶手段に全く有していなかった場合に、識別情報付与手段によって、認証できない人物を新たに特定するための識別情報を付与して、この識別情報に対して文字データ変換手段により変換された文字データを関連付けて記憶させることができるため、認証できない人物の所定の行動を記憶手段に記憶させることができる。
【００１７】
請求項３に記載した発明によれば、請求項２の効果に加え、識別情報付与手段によって新たに付与された識別情報とその人物の映像とを関連付けて記憶手段に記憶させることができるため、後々、認証できない人物を映像に基づいて特定することができる。
【００１８】
請求項４に記載した発明によれば、請求項２又は３の効果に加え、識別情報付与手段によって新たに付与された識別情報を含めて、人物特定手段で特定された人物の認証を認証手段により行うことができる。すなわち、認証手段は、個人名などを認証できる顧客のみならず、個人名などを認証できない人物に対しても、二度目、三度目・・・の来店確認などの行動管理を行うことができる。
【００１９】
請求項５に記載した発明によれば、請求項１乃至４の何れか一項の効果に加え、撮像手段により撮像された映像である動画から静止画像を抽出して文字データに関連付けて記憶させることができるため、動画をそのまま記憶手段に記憶させる場合と比較して静止画像として記憶させる分だけデータ量を削減できる。また、文字データとして記録した行動の証拠画像として、動画記録に比して、少ないデータで記録できる。
【００２０】
請求項６に記載した発明によれば、請求項１乃至５の何れか一項の効果に加え、記憶手段に記憶されている所定のエリア内のレイアウトに関するレイアウト情報、例えば、窓口カウンターや受付発券機が配置されている位置等の情報と、撮像手段によって撮像された映像、例えば認証手段により認証された人物が受付発券機の場所に居る等の映像に基づいて、行動検出手段により人物の行動を検出することができる。
【００２１】
請求項７に記載した発明によれば、請求項６の効果に加え、人物特定手段で特定された人物が店員であるか顧客であるかを認証手段により判別することで、店員と顧客との位置関係を検出でき、例えば、顧客が預金窓口の店員の近傍に移動した場合、顧客が預金を行うことが推定できることから、行動検出手段により、店員と顧客との位置関係および所定のエリア内のレイアウト情報とに基づいて所定の行動を検出することができる。
【００２２】
請求項８に記載した発明によれば、請求項６又は７の効果に加え、物品検出手段により、撮像された映像から所定の物品を特定することで、例えば、預金窓口で預金通帳や印鑑が特定された場合には預金を行っていると推定できるため、行動検出手段により、物品の種類に応じた所定の行動を検出することができる。
【００２３】
請求項９に記載した発明によれば、請求項１乃至８の何れか一項の効果に加え、前記認証手段により認証された人物の映像を、当該人物に関する情報と関連付けて記憶することで、例えば、認証された人物の映像を検索する際に、当該人物の識別情報に基づいて当該人物の映像を即座に特定することができる。
【００２４】
請求項１０に記載した発明によれば、請求項１乃至９の何れか一項の効果に加え、キーワード入力手段が入力を受付けたキーワードと一致する識別情報、又は、キーワードと関連する語句を含む識別情報を検索手段により検索することができるため、キーワードに基づいて識別情報に関連付けられた関連情報を検索し、例えば記憶手段から呼び出すことができるため、所望の顧客の関連情報を容易に呼び出すことができる効果がある。
【発明を実施するための最良の形態】
【００２５】
次に、この発明の実施の形態の行動管理装置について図面を参照しながら説明する。
図１は、この実施の形態における行動管理装置１０の概略構成を示したものである。行動管理装置１０は、金融機関などの店舗に設置されて、人物の行動を監視および記録するため装置であり、複数のビデオカメラ２０と、制御装置３０、キーワード入力部４１、表示部４０とを備えて構成されている。
【００２６】
複数のビデオカメラ２０は、金融機関の店舗内の各箇所にいる人物を撮像するためのものであり、これら複数のビデオカメラ２０で撮像された各映像は、撮像したビデオカメラ２０の識別子と共に制御装置３０に送信される。図２は店舗におけるレイアウト及びカメラ配置の一例を示したものであり、ビデオカメラ２０は、正面口５０、ＡＴＭコーナ５１、各ＡＴＭ５２、店内ロビー５３、窓口カウンター５４、コピー機５５、貸金庫５６、および、受付発券機５７などの映像を撮像可能な箇所にそれぞれ配置されている。なお、各ビデオカメラ２０は、識別子によりその配置が判別できるようになっている
【００２７】
制御装置３０は、店舗の窓口カウンター５４内に配置されたサーバなどのコンピュータにより構成されており、図１に示すように、人物特定部３１、認証部３２、行動検出部３３、文字データ変換部３４、記憶部３５、識別情報付与部３６、物品検出部３７、静止画抽出部３８、および、検索部３９を備えて構成されている。また制御装置３０には、液晶等の表示部４０と、キーボードやマウスなどからなるキーワード入力部４１とが接続されている。
【００２８】
人物特定部３１は、各ビデオカメラ２０で撮像された映像に基づいて、それぞれの映像に映っている画面の中から人物を特定する、すなわち、人間の画像を切り出すものである。映像に基づいた人物の特定方法、あるいは画像の切り出し方法としては、例えば、各ビデオカメラ２０で撮像された映像の中から人物の顔を検出し、この検出した人物の顔の特徴を抽出して人物特定を行う等の種々の方法を用いることができる。言い換えるならば、人物特定部３１は、各ビデオカメラ２０で映し出される画像の中から、人間である画像を切り出し、さらには、後述する認証部３２で認証しやすいように、例えば、顔の正面画像を切り出すようにするものである。
【００２９】
認証部３２は、人物特定部３１により特定された人物の認証を行うものであり、例えば、人物特定部３１により抽出された人物の顔の特徴の情報を、予め記憶部３５などに記憶された人物リストの中から検索し、該当する顔の特徴を有した人物をその人物として認証する。すなわち、誰であるかを認証する。さらに、認証部３２は、認証された人物が店舗の店員か顧客かを記憶部３５に予め記憶された情報に基づいて判別する。ここで、認証された人物は、その人物を識別するための識別情報を有しており、この識別情報に人物が店員又は顧客であることを示す情報が関連付けられて予め記憶部３５に記憶されている。
【００３０】
行動検出部３３は、人物特定部３１で特定された人物の所定の行動を検出するものであり、記憶部３５に予め記憶されている店舗内部のレイアウト情報（図２参照）、および、ビデオカメラ２０により撮像された映像に基づいて人物特定部３１で特定された人物の所定の行動を検出するものである。また、行動検出部３３は、認証部３２で店舗の店員であると判別された人物と、認証部３２で顧客であると認証された人物との位置関係と、店舗内部のレイアウト情報とに基づいて人物が行っている所定の行動を検出するように構成されている。
【００３１】
文字データ変換部３４は、行動検出部３３によって検出された所定の行動を文字データに変換するものであり、この変換された所定の行動の文字データを記憶部３５に送信する。
【００３２】
記憶部３５は、文字データ変換部３４で変換された所定の行動の文字データを、認証された人物の識別情報に関連付けて記憶する。また、記憶部３５は、文字データ変換部３４で変換された所定の行動の文字データを、識別情報付与部３６で付与される識別情報（以下、単に仮の識別情報と称す）に関連付けて記憶する。さらに、記憶部３５は、識別情報および仮の識別情報に対して、後述の静止画抽出部３８で抽出した画像を関連付けて記憶する。
【００３３】
識別情報付与部３６は、上述した認証部３２により認識できなかった人物、すなわち、口座を開設していない顧客などに対して、仮の識別情報を付与するものである。ここで、仮の識別情報としては、例えば、「Ｕｎｋｎｏｗｎ１」、「Ｕｎｋｎｏｗｎ２」・・・「ＵｎｋｎｏｗｎＮ」等のような識別情報が付与される。
【００３４】
物品検出部３７は、ビデオカメラ２０でそれぞれ撮像された映像に基づいて、所定の物品を検出するものである。所定の物品としては、例えば、「通帳」や「印鑑」等がある。
静止画抽出部３８は、行動検出部３３が所定の行動を検出する際に、人物特定部３１で特定された人物の静止画像を、当該人物を撮像した映像から抽出するものである。
【００３５】
検索部３９は、キーワード入力部４１を介して入力された所定のキーワードと一致する情報および、キーワードと関連する語句を少なくとも含む情報を記憶部３５に記憶されている情報から検索し、この検索された情報の中から必要な情報を表示部４０に出力するものである。
【００３６】
この実施の形態に係る行動管理装置１０は上記構成を備えており、次に、この行動管理装置１０の動作を説明する。なお、この行動管理装置１０の動作は、行動管理装置１０が金融機関の店舗に設置されている場合を一例に説明する。
まず、行動管理装置１０の電源を立ち上げると、ビデオカメラ２０による撮像が開始され、撮像された映像が順次人物特定部３１に送信される。
制御装置３０は、映像の中に人物が含まれるか否かを人物特定部３１で判定する。この判定の結果、映像に人物が含まれる場合は、その人物を特定して認証部３２にその情報を送信し、人物が含まれない場合は、そのまま映像の監視を継続する。
【００３７】
人物が特定されると、特定された人物の認証を認証部３２により行う。具体的には、記憶部３５に予め記憶されている人物の情報に、人物特定部３１で特定された人物の情報と一致する情報があるか否かを認証部３２により判定する。この判定の結果、人物特定部３１で特定された人物の情報と一致する人物の情報が記憶部３５に含まれている場合は、記憶部３５の人物の情報に関連付けられている識別情報を特定して、この識別情報を行動検出部３３および記憶部３５に送信する。また、この認証部３２において、記憶部３５の識別情報に関連付けられた店員又は顧客を示す情報に基づいて認証された人物が顧客か店員かの判別を行う。なお、認証部３２の認証に際しては、それまでの認証処理において仮の識別情報が与えられている過去において認証できなかった人物との認証も行うものであり、例えば、過去に記憶部３５に記憶された仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を有する人物の顔の特徴情報と一致すると認証部３２が判定すると、この仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を行動検出部３３および記憶部３５に送信する。
【００３８】
一方、人物特定部３１で特定された人物の情報と一致する人物の情報が記憶部３５に記憶されていないと認証部３２が判定した場合は、識別情報付与部３６において、認証できなかった顧客に対して認証部３２で認証できなかった顧客用の仮の識別情報を新たに付与する。そして、この認証できなかった顧客用の仮の識別情報を行動検出部３３及び記憶部３５に送信する。記憶部３５においては、識別情報付与部３６から仮の識別情報を受信すると、この仮の識別情報を新たな登録情報として記憶する。
【００３９】
また、人物特定部３１と認証部３２とによる処理と並行して、物品検出部３７においては、予め登録されている所定の物品を映像中から検出し、この検出された物品の情報を行動検出部３３に送信する。さらに、静止画抽出部３８においては、行動検出部３３が所定の行動を検出する際の人物を含む静止画像を、当該人物を撮像した映像（動画）から抽出する。
【００４０】
次に、認証部３２から受信した識別情報又は識別情報付与部３６から受信した仮の識別情報に対応付けられた顧客の映像、記憶部３５に記憶されているレイアウト、および、映像を撮像したカメラの配置に基づいて、行動検出部３３により、顧客の所定の行動を検出する。例えば、顧客が正面口５０から入店した場合には、「正面口から来店」を検出し、顧客がＡＴＭコーナ５１に配置されているビデオカメラ２０により撮像された場合には、直接的な行動として、「Ｎ号機のＡＴＭを操作」などを検出する。あるいは、類推できる所定の行動として、「入金」、「出金」、「振込み」、「通帳記帳」、および、「両替」などを検出する。また、受付発券機（図示略）の近傍を撮像するカメラの映像から顧客が検出された場合には、所定の行動として「受付」を検出する。
【００４１】
さらに、行動検出部３３においては、撮像した映像から顧客と店員との位置関係を検出して、この位置関係に基づいて、所定の行動を検出する。例えば、顧客が、所定の業務を行う窓口の担当である店員の近くに移動したことが検出されると、直接的な行動として、「Ｎ番の窓口で取引」などを検出する。あるいは、その店員の担当する業務内容が口座開設や解約などである場合には、類推できる所定の行動として「口座開設」や「解約」等を検出する。
【００４２】
さらに、行動検出部３３においては、物品検出部３７により検出された物品の種類に基づいて顧客の所定の行動を検出する。例えば、顧客が、ＡＴＭコーナ５１でカードや通帳を取り出したことが検出された場合には、直接的な行動として、「カードを財布類から取り出す」、「カードをＡＴＭに挿入」、「通帳をバッグ類から取り出す」などを検出する。また、類推できる所定の行動として「入金」、「出金」および「通帳記帳」などを検出する。そして、顧客が所定の業務を行う窓口にいることが検出され、さらに印鑑が検出された場合には、直接的な行動として、「印鑑をバッグ類から取り出す」などを検出する。あるいは、所定の業務の中から印鑑を使用する業務すなわち印鑑を使用する行動に限定されるため、この限定された行動を顧客の所定の行動として検出する。
【００４３】
次に、文字データ変換部３４により行動検出部３３により検出された所定の行動を文字データに変換し、記憶部３５において、文字データに変換した所定の行動と、静止画抽出部３８で抽出された静止画像とをそれぞれ関連情報として識別情報に関連付けて記憶させる。
【００４４】
ここで、上述した記憶部３５の記憶情報の一例を以下の表に示す。なお、表中の画像における「ｊｐｇ」とは、ファイル拡張子の一例を示している。なお、この表においては、都合上、人物を特定するための顔の特徴等のデータを省略して示している。また、日時情報についても、一つ一つの記憶情報に関連付けて記憶されるが、この表においては省略している。さらには、この表においては、一の識別情報または一の仮の識別情報に対して、一の行動に関わる記憶情報しか示していないが、これに限るものではなく、一人の人物に対して、来店から退店までの間、記録すべき行動が行動検出部３３によって検出、確認された分だけ、記録されるものである。
【００４５】
【表１】
【００４６】
一方、店舗の責任者などによりキーワード入力部４１を介して記憶部３５内の関連情報を検索するためのキーワード（例えば、「０１」や「入金」など、あるいは顧客名など）が入力されると、記憶部３５に記憶されている関連情報の中から、当該キーワードと一致する識別情報およびキーワードと関連する語句を含む識別情報が検索部３９により検索され、この検索結果のうち必要とする関連情報が表示部４０に表示されることとなる。
【００４７】
なお、上述の実施の形態では、顧客の行動を識別情報に関連付けて記憶させる場合について説明したが、店員の行動を同様に記憶させるようにしても良い。また、行動管理装置１０を銀行などの金融機関の店舗に設ける一例について説明したが、この構成に限られず、例えば、金融機関以外の店舗や店舗以外の場所に設けるようにしても良い。
【００４８】
したがって、上述の実施の形態によれば、人物特定部３１により、ビデオカメラ２０によって撮像された店舗内部の映像から人物を特定し、認証部３２により特定された人物の認証を行い、行動検出部３３により認証部３２により特定された人物の所定の行動を検出するとともに、文字データ変換部に３４より行動検出部３３で検出された所定の行動を文字データに変換して特定された人物の識別情報に関連付けて記憶部３５に記憶させることができ、この結果、撮像した映像を全て記憶させる従来よりも文字データとして記憶できる分だけデータ量を遙かに低減することができ、さらに、識別情報に基づいて、特定の人物の行動を容易に検索することができる。
【００４９】
また、人物特定部３１により特定された人物が、認証部３２により認証できない場合、すなわち、特定された人物が初めて人物特定部３１に特定される場合など、記憶部３５に識別情報が登録されていない場合に、識別情報付与部３６によって、認証できない人物を特定するための仮の識別情報を付与して、この仮の識別情報に対して文字データ変換部３４により変換された文字データを関連付けて記憶させることができるため、認証できない人物の所定の行動を記憶させることができる。
【００５０】
そして、ビデオカメラ２０によって撮像される動画から静止画像を抽出して文字データに関連付けて記憶させることで、動画である映像を記憶させる場合と比較して静止画像として記憶させる分だけデータ量を削減できる。
【００５１】
また、店舗内部のレイアウトに関するレイアウト情報、例えば、窓口カウンター５４や受付発券機５７が配置されている位置等の情報と、ビデオカメラ２０によって撮像された映像、例えば、人物が受付発券機５７の場所にいる等の映像とに基づいて、行動検出部３３で人物の行動を検出することができる。
【００５２】
さらに、人物特定部３１により特定された人物が店員であるか顧客であるかを認証部３２により判別することで、店員と顧客との位置関係およびレイアウト情報とにより、例えば、顧客が預金窓口の店員の近傍に移動した場合には、顧客が預金を行うことが推定されるため、顧客の位置に応じた行動を行動検出部３３により検出することができる。
【００５３】
そして、物品検出部３７により、撮像された映像から所定の物品を特定することで、例えば、預金窓口で預金通帳や印鑑が特定された場合には預金を行っていると推定されるため、物品の種類に応じた行動を行動検出部３３により検出することができる。
【００５４】
さらに、人物特定部３１により特定された人物の映像を、当該人物に関する情報と関連付けて記憶することで、例えば、人物の識別情報および仮の識別情報に基づいて検索する際に、当該識別情報および仮の識別情報に関連付けられている人物の映像を即座に特定することができる。
【００５５】
また、キーワード入力部４１が入力を受付けたキーワードと一致する識別情報および仮の識別情報、又は、キーワードと関連する語句を含む識別情報および仮の識別情報を検索部３９により検索することができるため、キーワードに基づいて識別情報および仮の識別情報に関連付けられた関連情報を検索して記憶部３５から呼び出すことができるため、容易に所望の顧客の関連情報を呼び出すことができる。
【００５６】
なお、上述した実施の形態では、識別情報に静止画像を関連付けて記憶する場合について説明したが、この発明は上述した実施の形態に限られず、例えば、顧客が映っている動画を識別情報に対応付けて記憶させるようにしてもよい。このように構成することで、識別情報付与部３６によって付与された情報と付与された人物の映像とを関連付けて記憶部３５に記憶させることができるため、認証できない人物を動画により特定することが可能となる。
【００５７】
また、上記実施の形態の変形例として、例えば、識別情報付与部３６で仮の認証情報を付与された人物が誰であるのか特定された場合には、記憶部３５に記憶されている仮の識別情報を新規の識別情報に更新するようにしてもよい。さらに、制御装置３０をネットワーク経由で本部のサーバ等店舗外のサーバに接続し、記憶部３５に記憶された顧客に関係する新しい情報が登録された場合に、この登録情報に基づいて記憶部３５に記憶されている人物の仮の識別情報及び関連情報を更新するようにしても良い。
【００５８】
さらに、上述した実施の形態では、主に業務に係る所定の行動について記憶させる場合について説明したが、例えば、店舗内のソファーを側方から撮像するビデオカメラ２０を設置して人物が立ち上がったり、着座したりしたことなど、人物の単純な動きを所定の行動として検出し、この行動の文字データを識別情報に関連付けて記憶部３５にするようにしても良い。
【００５９】
そして、上述の実施の形態では、キーワードに基づいて記憶部３５に記憶されている識別情報および仮の識別情報を検索する場合について説明したが、キーワードに基づいて関連情報を検索するようにしても良い。また、記憶部３５に記憶される情報としては、上述した識別情報および仮の識別情報に所定の行動、動画および静止画像以外に、その人物に関する他の情報を関連付けて記憶する構成としても良い。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における行動管理装置１０の概略構成図である。
【図２】本発明の実施の形態における店舗のレイアウトの一例を示す図である。
【符号の説明】
【００６１】
２０ ビデオカメラ
３１ 人物特定部（人物特定手段）
３２ 認証部（認証手段）
３３ 行動検出部（行動検出手段）
３４ 文字データ変換部（文字データ変換手段）
３５ 記憶部（記憶手段）
３６ 識別情報付与部（識別情報付与手段）
３７ 物品検出部（物品検出手段）
３８ 静止画抽出部（抽出手段）
３９ 検索部（検索手段）
４１ キーワード入力部（キーワード入力手段）
【技術分野】
【０００１】
この発明は、金融機関の店舗などにおいて人物の行動を管理記録する行動管理装置に関するものである。
【背景技術】
【０００２】
従来から、金融機関などの店舗において、デジタルビデオレコーダなどの複数の撮影機器を店舗内に設けて顧客等の人物の行動を映像として記録する行動管理装置が知られている。
また、この種の行動管理装置として、映像に基づいて複数の通行人の位置座標を求め、この位置座標に基づいて通行人毎の通行軌跡を記録表示させるものがある（例えば、特許文献１参照）。
【特許文献１】特開２００５−３４６６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述の行動管理装置においては、前者の場合は、特定の顧客の行動を検索する際に、長時間記録された映像の中から所望の映像を探さなければならず、検索に非常に時間がかかり、また、デジタルビデオレコーダなどにより撮像された映像を長期間保存しようとすると、データ量が膨大となるため、映像を長期間保存することが困難であるという課題がある。
一方、後者の場合には、顧客の一人一人を特定することができず、また、全ての通行軌跡の中から所定の行動を推定して抽出する必要があるため、顧客を特定してその行動を検出すること自体が困難であるという課題がある。
【０００４】
この発明は、上記事情に鑑みてなされたもので、金融機関の店舗内などにおいて人物の行動を少ないデータ量で記録すると共に、特定の人物に関する行動を容易に検索することができる行動管理装置を提供するものである。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に記載した発明は、所定エリア内の人物の行動を管理する行動管理装置において、前記所定エリア内の映像を撮像する撮像手段（例えば、実施の形態におけるビデオカメラ２０）と、前記撮像手段によって撮像された映像から人物を特定する人物特定手段（例えば、実施の形態における人物特定部３１）と、前記人物特定手段によって特定された人物の認証を行う認証手段（例えば、実施の形態における認証部３２）と、前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段（例えば、実施の形態における行動検出部３３）と、前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変換手段（例えば、実施の形態における文字データ変換部３４）と、前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段（例えば、実施の形態における記憶部３５）とを備えることを特徴とする。
【０００６】
請求項２に記載した発明は、請求項１に記載の発明において、前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を新たに特定するための識別情報を付与する識別情報付与手段（例えば、実施の形態における識別情報付与部３６）を備え、前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、文字データとを関連付けて記憶することを特徴とする。
【０００７】
請求項３に記載した発明は、請求項２に記載の発明において、前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、前記識別情報を付与された人物の映像とを関連付けて記憶することを特徴とする。
【０００８】
請求項４に記載した発明は、請求項２又は３に記載の発明において、前記認証手段は、前記識別情報付与手段によって新たに付与された識別情報を含めて、前記人物特定手段により特定された人物の認証を行うことを特徴とする。
【０００９】
請求項５に記載した発明は、請求項１乃至４の何れか一項に記載の発明において、前記撮像手段によって撮像された映像から、前記行動検出手段が所定の行動を検出する際の映像を静止画像として抽出する抽出手段（例えば、実施の形態における静止画抽出部３８）を備え、前記記憶手段は、前記抽出手段によって抽出された静止画像を前記文字データに関連付けて記憶することを特徴とする。
【００１０】
請求項６に記載した発明は、請求項１乃至５の何れか一項に記載の発明において、前記記憶手段は、前記所定エリア内のレイアウトに関するレイアウト情報を記憶し、前記行動検出手段は、前記記憶手段に記憶されたレイアウト情報と、前記撮像手段によって撮像された映像とに基づいて、前記認証手段により認証された人物の行動を検出することを特徴とする。
【００１１】
請求項７に記載した発明は、請求項６に記載の発明において、前記認証手段は、前記人物特定手段により特定された人物が店員であるか顧客であるかを少なくとも判別し、前記行動検出手段は、前記認証手段により店員であると判別された人物と、前記認証手段により顧客であると判別された人物との位置関係と、前記記憶手段に記憶されたレイアウト情報とに基づいて、少なくとも前記認証手段により顧客であると判別された人物の行動を検出することを特徴とする。
【００１２】
請求項８に記載した発明は、請求項６又は７に記載の発明において、前記撮像手段によって撮像された映像から、所定の物品を特定する物品検出手段（例えば、実施の形態における物品検出部３７）をさらに備え、前記行動検出手段は、前記物品検出手段によって特定された物品の種類に基づいて前記認証手段により認証された人物の行動を検出することを特徴とする。
【００１３】
請求項９に記載した発明は、請求項１乃至８の何れか一項に記載の発明において、前記記憶手段は、前記認証手段で認証された人物の映像を、当該人物の識別情報と関連付けて記憶することを特徴とする。
【００１４】
請求項１０に記載した発明は、請求項１乃至９の何れか一項に記載の発明において、所定のキーワードの入力を受付けるキーワード入力手段（例えば、実施の形態におけるキーワード入力部４１）と、前記記憶手段に記憶された識別情報と該識別情報に関連付けられて記憶されている関連情報との中から前記キーワード入力手段により入力されたキーワードに一致する識別情報又は関連する語句を含む識別情報を検索する検索手段（例えば、実施の形態における検索部３９）とを備え、前記検索手段によって検索された識別情報と前記関連情報との中から必要な情報を出力することを特徴とする。
【発明の効果】
【００１５】
請求項１に記載した発明によれば、撮像手段によって撮像された映像から人物特定手段により人物を特定してこの特定された人物の認証を認証手段により行い、さらに、この認証手段により特定された人物の所定の行動を行動検出手段により検出し、この行動検出手段で検出された所定の行動を文字データ変換手段により文字データに変換することで、特定された人物の識別情報に所定の行動の文字データを関連付けて記憶手段に記憶させることができる。したがって、撮像した映像を全て記憶させる従来よりも文字データとして所定の行動を記憶させる分だけ遙かにデータ量を低減することができるとともに、例えば、識別情報に基づいて、特定の人物の所定の行動を容易に検索することができる効果がある。
【００１６】
請求項２に記載した発明によれば、請求項１に効果に加え、人物特定手段により特定された人物が、認証手段により認証できない場合、すなわち、初めての来店などにより、特定された人物の認証に必要な情報を記憶手段に全く有していなかった場合に、識別情報付与手段によって、認証できない人物を新たに特定するための識別情報を付与して、この識別情報に対して文字データ変換手段により変換された文字データを関連付けて記憶させることができるため、認証できない人物の所定の行動を記憶手段に記憶させることができる。
【００１７】
請求項３に記載した発明によれば、請求項２の効果に加え、識別情報付与手段によって新たに付与された識別情報とその人物の映像とを関連付けて記憶手段に記憶させることができるため、後々、認証できない人物を映像に基づいて特定することができる。
【００１８】
請求項４に記載した発明によれば、請求項２又は３の効果に加え、識別情報付与手段によって新たに付与された識別情報を含めて、人物特定手段で特定された人物の認証を認証手段により行うことができる。すなわち、認証手段は、個人名などを認証できる顧客のみならず、個人名などを認証できない人物に対しても、二度目、三度目・・・の来店確認などの行動管理を行うことができる。
【００１９】
請求項５に記載した発明によれば、請求項１乃至４の何れか一項の効果に加え、撮像手段により撮像された映像である動画から静止画像を抽出して文字データに関連付けて記憶させることができるため、動画をそのまま記憶手段に記憶させる場合と比較して静止画像として記憶させる分だけデータ量を削減できる。また、文字データとして記録した行動の証拠画像として、動画記録に比して、少ないデータで記録できる。
【００２０】
請求項６に記載した発明によれば、請求項１乃至５の何れか一項の効果に加え、記憶手段に記憶されている所定のエリア内のレイアウトに関するレイアウト情報、例えば、窓口カウンターや受付発券機が配置されている位置等の情報と、撮像手段によって撮像された映像、例えば認証手段により認証された人物が受付発券機の場所に居る等の映像に基づいて、行動検出手段により人物の行動を検出することができる。
【００２１】
請求項７に記載した発明によれば、請求項６の効果に加え、人物特定手段で特定された人物が店員であるか顧客であるかを認証手段により判別することで、店員と顧客との位置関係を検出でき、例えば、顧客が預金窓口の店員の近傍に移動した場合、顧客が預金を行うことが推定できることから、行動検出手段により、店員と顧客との位置関係および所定のエリア内のレイアウト情報とに基づいて所定の行動を検出することができる。
【００２２】
請求項８に記載した発明によれば、請求項６又は７の効果に加え、物品検出手段により、撮像された映像から所定の物品を特定することで、例えば、預金窓口で預金通帳や印鑑が特定された場合には預金を行っていると推定できるため、行動検出手段により、物品の種類に応じた所定の行動を検出することができる。
【００２３】
請求項９に記載した発明によれば、請求項１乃至８の何れか一項の効果に加え、前記認証手段により認証された人物の映像を、当該人物に関する情報と関連付けて記憶することで、例えば、認証された人物の映像を検索する際に、当該人物の識別情報に基づいて当該人物の映像を即座に特定することができる。
【００２４】
請求項１０に記載した発明によれば、請求項１乃至９の何れか一項の効果に加え、キーワード入力手段が入力を受付けたキーワードと一致する識別情報、又は、キーワードと関連する語句を含む識別情報を検索手段により検索することができるため、キーワードに基づいて識別情報に関連付けられた関連情報を検索し、例えば記憶手段から呼び出すことができるため、所望の顧客の関連情報を容易に呼び出すことができる効果がある。
【発明を実施するための最良の形態】
【００２５】
次に、この発明の実施の形態の行動管理装置について図面を参照しながら説明する。
図１は、この実施の形態における行動管理装置１０の概略構成を示したものである。行動管理装置１０は、金融機関などの店舗に設置されて、人物の行動を監視および記録するため装置であり、複数のビデオカメラ２０と、制御装置３０、キーワード入力部４１、表示部４０とを備えて構成されている。
【００２６】
複数のビデオカメラ２０は、金融機関の店舗内の各箇所にいる人物を撮像するためのものであり、これら複数のビデオカメラ２０で撮像された各映像は、撮像したビデオカメラ２０の識別子と共に制御装置３０に送信される。図２は店舗におけるレイアウト及びカメラ配置の一例を示したものであり、ビデオカメラ２０は、正面口５０、ＡＴＭコーナ５１、各ＡＴＭ５２、店内ロビー５３、窓口カウンター５４、コピー機５５、貸金庫５６、および、受付発券機５７などの映像を撮像可能な箇所にそれぞれ配置されている。なお、各ビデオカメラ２０は、識別子によりその配置が判別できるようになっている
【００２７】
制御装置３０は、店舗の窓口カウンター５４内に配置されたサーバなどのコンピュータにより構成されており、図１に示すように、人物特定部３１、認証部３２、行動検出部３３、文字データ変換部３４、記憶部３５、識別情報付与部３６、物品検出部３７、静止画抽出部３８、および、検索部３９を備えて構成されている。また制御装置３０には、液晶等の表示部４０と、キーボードやマウスなどからなるキーワード入力部４１とが接続されている。
【００２８】
人物特定部３１は、各ビデオカメラ２０で撮像された映像に基づいて、それぞれの映像に映っている画面の中から人物を特定する、すなわち、人間の画像を切り出すものである。映像に基づいた人物の特定方法、あるいは画像の切り出し方法としては、例えば、各ビデオカメラ２０で撮像された映像の中から人物の顔を検出し、この検出した人物の顔の特徴を抽出して人物特定を行う等の種々の方法を用いることができる。言い換えるならば、人物特定部３１は、各ビデオカメラ２０で映し出される画像の中から、人間である画像を切り出し、さらには、後述する認証部３２で認証しやすいように、例えば、顔の正面画像を切り出すようにするものである。
【００２９】
認証部３２は、人物特定部３１により特定された人物の認証を行うものであり、例えば、人物特定部３１により抽出された人物の顔の特徴の情報を、予め記憶部３５などに記憶された人物リストの中から検索し、該当する顔の特徴を有した人物をその人物として認証する。すなわち、誰であるかを認証する。さらに、認証部３２は、認証された人物が店舗の店員か顧客かを記憶部３５に予め記憶された情報に基づいて判別する。ここで、認証された人物は、その人物を識別するための識別情報を有しており、この識別情報に人物が店員又は顧客であることを示す情報が関連付けられて予め記憶部３５に記憶されている。
【００３０】
行動検出部３３は、人物特定部３１で特定された人物の所定の行動を検出するものであり、記憶部３５に予め記憶されている店舗内部のレイアウト情報（図２参照）、および、ビデオカメラ２０により撮像された映像に基づいて人物特定部３１で特定された人物の所定の行動を検出するものである。また、行動検出部３３は、認証部３２で店舗の店員であると判別された人物と、認証部３２で顧客であると認証された人物との位置関係と、店舗内部のレイアウト情報とに基づいて人物が行っている所定の行動を検出するように構成されている。
【００３１】
文字データ変換部３４は、行動検出部３３によって検出された所定の行動を文字データに変換するものであり、この変換された所定の行動の文字データを記憶部３５に送信する。
【００３２】
記憶部３５は、文字データ変換部３４で変換された所定の行動の文字データを、認証された人物の識別情報に関連付けて記憶する。また、記憶部３５は、文字データ変換部３４で変換された所定の行動の文字データを、識別情報付与部３６で付与される識別情報（以下、単に仮の識別情報と称す）に関連付けて記憶する。さらに、記憶部３５は、識別情報および仮の識別情報に対して、後述の静止画抽出部３８で抽出した画像を関連付けて記憶する。
【００３３】
識別情報付与部３６は、上述した認証部３２により認識できなかった人物、すなわち、口座を開設していない顧客などに対して、仮の識別情報を付与するものである。ここで、仮の識別情報としては、例えば、「Ｕｎｋｎｏｗｎ１」、「Ｕｎｋｎｏｗｎ２」・・・「ＵｎｋｎｏｗｎＮ」等のような識別情報が付与される。
【００３４】
物品検出部３７は、ビデオカメラ２０でそれぞれ撮像された映像に基づいて、所定の物品を検出するものである。所定の物品としては、例えば、「通帳」や「印鑑」等がある。
静止画抽出部３８は、行動検出部３３が所定の行動を検出する際に、人物特定部３１で特定された人物の静止画像を、当該人物を撮像した映像から抽出するものである。
【００３５】
検索部３９は、キーワード入力部４１を介して入力された所定のキーワードと一致する情報および、キーワードと関連する語句を少なくとも含む情報を記憶部３５に記憶されている情報から検索し、この検索された情報の中から必要な情報を表示部４０に出力するものである。
【００３６】
この実施の形態に係る行動管理装置１０は上記構成を備えており、次に、この行動管理装置１０の動作を説明する。なお、この行動管理装置１０の動作は、行動管理装置１０が金融機関の店舗に設置されている場合を一例に説明する。
まず、行動管理装置１０の電源を立ち上げると、ビデオカメラ２０による撮像が開始され、撮像された映像が順次人物特定部３１に送信される。
制御装置３０は、映像の中に人物が含まれるか否かを人物特定部３１で判定する。この判定の結果、映像に人物が含まれる場合は、その人物を特定して認証部３２にその情報を送信し、人物が含まれない場合は、そのまま映像の監視を継続する。
【００３７】
人物が特定されると、特定された人物の認証を認証部３２により行う。具体的には、記憶部３５に予め記憶されている人物の情報に、人物特定部３１で特定された人物の情報と一致する情報があるか否かを認証部３２により判定する。この判定の結果、人物特定部３１で特定された人物の情報と一致する人物の情報が記憶部３５に含まれている場合は、記憶部３５の人物の情報に関連付けられている識別情報を特定して、この識別情報を行動検出部３３および記憶部３５に送信する。また、この認証部３２において、記憶部３５の識別情報に関連付けられた店員又は顧客を示す情報に基づいて認証された人物が顧客か店員かの判別を行う。なお、認証部３２の認証に際しては、それまでの認証処理において仮の識別情報が与えられている過去において認証できなかった人物との認証も行うものであり、例えば、過去に記憶部３５に記憶された仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を有する人物の顔の特徴情報と一致すると認証部３２が判定すると、この仮の識別情報「Ｕｎｋｎｏｗｎ３２５」を行動検出部３３および記憶部３５に送信する。
【００３８】
一方、人物特定部３１で特定された人物の情報と一致する人物の情報が記憶部３５に記憶されていないと認証部３２が判定した場合は、識別情報付与部３６において、認証できなかった顧客に対して認証部３２で認証できなかった顧客用の仮の識別情報を新たに付与する。そして、この認証できなかった顧客用の仮の識別情報を行動検出部３３及び記憶部３５に送信する。記憶部３５においては、識別情報付与部３６から仮の識別情報を受信すると、この仮の識別情報を新たな登録情報として記憶する。
【００３９】
また、人物特定部３１と認証部３２とによる処理と並行して、物品検出部３７においては、予め登録されている所定の物品を映像中から検出し、この検出された物品の情報を行動検出部３３に送信する。さらに、静止画抽出部３８においては、行動検出部３３が所定の行動を検出する際の人物を含む静止画像を、当該人物を撮像した映像（動画）から抽出する。
【００４０】
次に、認証部３２から受信した識別情報又は識別情報付与部３６から受信した仮の識別情報に対応付けられた顧客の映像、記憶部３５に記憶されているレイアウト、および、映像を撮像したカメラの配置に基づいて、行動検出部３３により、顧客の所定の行動を検出する。例えば、顧客が正面口５０から入店した場合には、「正面口から来店」を検出し、顧客がＡＴＭコーナ５１に配置されているビデオカメラ２０により撮像された場合には、直接的な行動として、「Ｎ号機のＡＴＭを操作」などを検出する。あるいは、類推できる所定の行動として、「入金」、「出金」、「振込み」、「通帳記帳」、および、「両替」などを検出する。また、受付発券機（図示略）の近傍を撮像するカメラの映像から顧客が検出された場合には、所定の行動として「受付」を検出する。
【００４１】
さらに、行動検出部３３においては、撮像した映像から顧客と店員との位置関係を検出して、この位置関係に基づいて、所定の行動を検出する。例えば、顧客が、所定の業務を行う窓口の担当である店員の近くに移動したことが検出されると、直接的な行動として、「Ｎ番の窓口で取引」などを検出する。あるいは、その店員の担当する業務内容が口座開設や解約などである場合には、類推できる所定の行動として「口座開設」や「解約」等を検出する。
【００４２】
さらに、行動検出部３３においては、物品検出部３７により検出された物品の種類に基づいて顧客の所定の行動を検出する。例えば、顧客が、ＡＴＭコーナ５１でカードや通帳を取り出したことが検出された場合には、直接的な行動として、「カードを財布類から取り出す」、「カードをＡＴＭに挿入」、「通帳をバッグ類から取り出す」などを検出する。また、類推できる所定の行動として「入金」、「出金」および「通帳記帳」などを検出する。そして、顧客が所定の業務を行う窓口にいることが検出され、さらに印鑑が検出された場合には、直接的な行動として、「印鑑をバッグ類から取り出す」などを検出する。あるいは、所定の業務の中から印鑑を使用する業務すなわち印鑑を使用する行動に限定されるため、この限定された行動を顧客の所定の行動として検出する。
【００４３】
次に、文字データ変換部３４により行動検出部３３により検出された所定の行動を文字データに変換し、記憶部３５において、文字データに変換した所定の行動と、静止画抽出部３８で抽出された静止画像とをそれぞれ関連情報として識別情報に関連付けて記憶させる。
【００４４】
ここで、上述した記憶部３５の記憶情報の一例を以下の表に示す。なお、表中の画像における「ｊｐｇ」とは、ファイル拡張子の一例を示している。なお、この表においては、都合上、人物を特定するための顔の特徴等のデータを省略して示している。また、日時情報についても、一つ一つの記憶情報に関連付けて記憶されるが、この表においては省略している。さらには、この表においては、一の識別情報または一の仮の識別情報に対して、一の行動に関わる記憶情報しか示していないが、これに限るものではなく、一人の人物に対して、来店から退店までの間、記録すべき行動が行動検出部３３によって検出、確認された分だけ、記録されるものである。
【００４５】
【表１】
【００４６】
一方、店舗の責任者などによりキーワード入力部４１を介して記憶部３５内の関連情報を検索するためのキーワード（例えば、「０１」や「入金」など、あるいは顧客名など）が入力されると、記憶部３５に記憶されている関連情報の中から、当該キーワードと一致する識別情報およびキーワードと関連する語句を含む識別情報が検索部３９により検索され、この検索結果のうち必要とする関連情報が表示部４０に表示されることとなる。
【００４７】
なお、上述の実施の形態では、顧客の行動を識別情報に関連付けて記憶させる場合について説明したが、店員の行動を同様に記憶させるようにしても良い。また、行動管理装置１０を銀行などの金融機関の店舗に設ける一例について説明したが、この構成に限られず、例えば、金融機関以外の店舗や店舗以外の場所に設けるようにしても良い。
【００４８】
したがって、上述の実施の形態によれば、人物特定部３１により、ビデオカメラ２０によって撮像された店舗内部の映像から人物を特定し、認証部３２により特定された人物の認証を行い、行動検出部３３により認証部３２により特定された人物の所定の行動を検出するとともに、文字データ変換部に３４より行動検出部３３で検出された所定の行動を文字データに変換して特定された人物の識別情報に関連付けて記憶部３５に記憶させることができ、この結果、撮像した映像を全て記憶させる従来よりも文字データとして記憶できる分だけデータ量を遙かに低減することができ、さらに、識別情報に基づいて、特定の人物の行動を容易に検索することができる。
【００４９】
また、人物特定部３１により特定された人物が、認証部３２により認証できない場合、すなわち、特定された人物が初めて人物特定部３１に特定される場合など、記憶部３５に識別情報が登録されていない場合に、識別情報付与部３６によって、認証できない人物を特定するための仮の識別情報を付与して、この仮の識別情報に対して文字データ変換部３４により変換された文字データを関連付けて記憶させることができるため、認証できない人物の所定の行動を記憶させることができる。
【００５０】
そして、ビデオカメラ２０によって撮像される動画から静止画像を抽出して文字データに関連付けて記憶させることで、動画である映像を記憶させる場合と比較して静止画像として記憶させる分だけデータ量を削減できる。
【００５１】
また、店舗内部のレイアウトに関するレイアウト情報、例えば、窓口カウンター５４や受付発券機５７が配置されている位置等の情報と、ビデオカメラ２０によって撮像された映像、例えば、人物が受付発券機５７の場所にいる等の映像とに基づいて、行動検出部３３で人物の行動を検出することができる。
【００５２】
さらに、人物特定部３１により特定された人物が店員であるか顧客であるかを認証部３２により判別することで、店員と顧客との位置関係およびレイアウト情報とにより、例えば、顧客が預金窓口の店員の近傍に移動した場合には、顧客が預金を行うことが推定されるため、顧客の位置に応じた行動を行動検出部３３により検出することができる。
【００５３】
そして、物品検出部３７により、撮像された映像から所定の物品を特定することで、例えば、預金窓口で預金通帳や印鑑が特定された場合には預金を行っていると推定されるため、物品の種類に応じた行動を行動検出部３３により検出することができる。
【００５４】
さらに、人物特定部３１により特定された人物の映像を、当該人物に関する情報と関連付けて記憶することで、例えば、人物の識別情報および仮の識別情報に基づいて検索する際に、当該識別情報および仮の識別情報に関連付けられている人物の映像を即座に特定することができる。
【００５５】
また、キーワード入力部４１が入力を受付けたキーワードと一致する識別情報および仮の識別情報、又は、キーワードと関連する語句を含む識別情報および仮の識別情報を検索部３９により検索することができるため、キーワードに基づいて識別情報および仮の識別情報に関連付けられた関連情報を検索して記憶部３５から呼び出すことができるため、容易に所望の顧客の関連情報を呼び出すことができる。
【００５６】
なお、上述した実施の形態では、識別情報に静止画像を関連付けて記憶する場合について説明したが、この発明は上述した実施の形態に限られず、例えば、顧客が映っている動画を識別情報に対応付けて記憶させるようにしてもよい。このように構成することで、識別情報付与部３６によって付与された情報と付与された人物の映像とを関連付けて記憶部３５に記憶させることができるため、認証できない人物を動画により特定することが可能となる。
【００５７】
また、上記実施の形態の変形例として、例えば、識別情報付与部３６で仮の認証情報を付与された人物が誰であるのか特定された場合には、記憶部３５に記憶されている仮の識別情報を新規の識別情報に更新するようにしてもよい。さらに、制御装置３０をネットワーク経由で本部のサーバ等店舗外のサーバに接続し、記憶部３５に記憶された顧客に関係する新しい情報が登録された場合に、この登録情報に基づいて記憶部３５に記憶されている人物の仮の識別情報及び関連情報を更新するようにしても良い。
【００５８】
さらに、上述した実施の形態では、主に業務に係る所定の行動について記憶させる場合について説明したが、例えば、店舗内のソファーを側方から撮像するビデオカメラ２０を設置して人物が立ち上がったり、着座したりしたことなど、人物の単純な動きを所定の行動として検出し、この行動の文字データを識別情報に関連付けて記憶部３５にするようにしても良い。
【００５９】
そして、上述の実施の形態では、キーワードに基づいて記憶部３５に記憶されている識別情報および仮の識別情報を検索する場合について説明したが、キーワードに基づいて関連情報を検索するようにしても良い。また、記憶部３５に記憶される情報としては、上述した識別情報および仮の識別情報に所定の行動、動画および静止画像以外に、その人物に関する他の情報を関連付けて記憶する構成としても良い。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における行動管理装置１０の概略構成図である。
【図２】本発明の実施の形態における店舗のレイアウトの一例を示す図である。
【符号の説明】
【００６１】
２０ ビデオカメラ
３１ 人物特定部（人物特定手段）
３２ 認証部（認証手段）
３３ 行動検出部（行動検出手段）
３４ 文字データ変換部（文字データ変換手段）
３５ 記憶部（記憶手段）
３６ 識別情報付与部（識別情報付与手段）
３７ 物品検出部（物品検出手段）
３８ 静止画抽出部（抽出手段）
３９ 検索部（検索手段）
４１ キーワード入力部（キーワード入力手段）
【特許請求の範囲】
【請求項１】
所定エリア内の人物の行動を管理する行動管理装置において、
前記所定エリア内の映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像から人物を特定する人物特定手段と、
前記人物特定手段によって特定された人物の認証を行う認証手段と、
前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段と、
前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変
換手段と、
前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段とを備えることを特徴とする行動管理装置。
【請求項２】
前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を新たに特定するための識別情報を付与する識別情報付与手段を備え、
前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、文字データとを関連付けて記憶することを特徴とする請求項１に記載の行動管理装置。
【請求項３】
前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、前記識別情報を付与された人物の映像とを関連付けて記憶することを特徴とする請求項２に記載の行動管理装置。
【請求項４】
前記認証手段は、前記識別情報付与手段によって新たに付与された識別情報を含めて、前記人物特定手段により特定された人物の認証を行うことを特徴とする請求項２又は３に記載の行動管理装置。
【請求項５】
前記撮像手段によって撮像された映像から、前記行動検出手段が所定の行動を検出する際の映像を静止画像として抽出する抽出手段を備え、
前記記憶手段は、前記抽出手段によって抽出された静止画像を前記文字データに関連付けて記憶することを特徴とする請求項１乃至４の何れか一項に記載の行動管理装置。
【請求項６】
前記記憶手段は、前記所定エリア内のレイアウトに関するレイアウト情報を記憶し、
前記行動検出手段は、前記記憶手段に記憶されたレイアウト情報と、前記撮像手段によって撮像された映像とに基づいて、前記認証手段により認証された人物の行動を検出することを特徴とする請求項１乃至５の何れか一項に記載の行動管理装置。
【請求項７】
前記認証手段は、前記人物特定手段により特定された人物が店員であるか顧客であるかを少なくとも判別し、
前記行動検出手段は、前記認証手段により店員であると判別された人物と、前記認証手段により顧客であると判別された人物との位置関係と、前記記憶手段に記憶されたレイアウト情報とに基づいて、少なくとも前記認証手段により顧客であると判別された人物の行動を検出することを特徴とする請求項６に記載の行動管理装置。
【請求項８】
前記撮像手段によって撮像された映像から、所定の物品を特定する物品検出手段をさらに備え、
前記行動検出手段は、前記物品検出手段によって特定された物品の種類に基づいて前記認証手段により認証された人物の行動を検出することを特徴とする請求項６又は７に記載の行動管理装置。
【請求項９】
前記記憶手段は、前記認証手段で認証された人物の映像を、当該人物の識別情報と関連付けて記憶することを特徴とする請求項１乃至８の何れか一項に記載の行動管理装置。
【請求項１０】
所定のキーワードの入力を受付けるキーワード入力手段と、
前記記憶手段に記憶された識別情報と該識別情報に関連付けられて記憶されている関連情報との中から前記キーワード入力手段により入力されたキーワードに一致する識別情報又は関連する語句を含む識別情報を検索する検索手段とを備え、
前記検索手段によって検索された識別情報と前記関連情報との中から必要な情報を出力することを特徴とする請求項１乃至９の何れか一項に記載の行動管理装置。
【請求項１】
所定エリア内の人物の行動を管理する行動管理装置において、
前記所定エリア内の映像を撮像する撮像手段と、
前記撮像手段によって撮像された映像から人物を特定する人物特定手段と、
前記人物特定手段によって特定された人物の認証を行う認証手段と、
前記認証手段によって認証が行われた人物による所定の行動を検出する行動検出手段と、
前記行動検出手段によって特定された所定の行動を文字データに変換する文字データ変
換手段と、
前記文字データ変換手段によって変換された文字データを前記認証手段により認証された人物の識別情報と関連付けて記憶する記憶手段とを備えることを特徴とする行動管理装置。
【請求項２】
前記人物特定手段によって特定された人物が、前記認証手段により認証できない場合に、この認証できない人物を新たに特定するための識別情報を付与する識別情報付与手段を備え、
前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、文字データとを関連付けて記憶することを特徴とする請求項１に記載の行動管理装置。
【請求項３】
前記記憶手段は、前記識別情報付与手段によって新たに付与された識別情報と、前記識別情報を付与された人物の映像とを関連付けて記憶することを特徴とする請求項２に記載の行動管理装置。
【請求項４】
前記認証手段は、前記識別情報付与手段によって新たに付与された識別情報を含めて、前記人物特定手段により特定された人物の認証を行うことを特徴とする請求項２又は３に記載の行動管理装置。
【請求項５】
前記撮像手段によって撮像された映像から、前記行動検出手段が所定の行動を検出する際の映像を静止画像として抽出する抽出手段を備え、
前記記憶手段は、前記抽出手段によって抽出された静止画像を前記文字データに関連付けて記憶することを特徴とする請求項１乃至４の何れか一項に記載の行動管理装置。
【請求項６】
前記記憶手段は、前記所定エリア内のレイアウトに関するレイアウト情報を記憶し、
前記行動検出手段は、前記記憶手段に記憶されたレイアウト情報と、前記撮像手段によって撮像された映像とに基づいて、前記認証手段により認証された人物の行動を検出することを特徴とする請求項１乃至５の何れか一項に記載の行動管理装置。
【請求項７】
前記認証手段は、前記人物特定手段により特定された人物が店員であるか顧客であるかを少なくとも判別し、
前記行動検出手段は、前記認証手段により店員であると判別された人物と、前記認証手段により顧客であると判別された人物との位置関係と、前記記憶手段に記憶されたレイアウト情報とに基づいて、少なくとも前記認証手段により顧客であると判別された人物の行動を検出することを特徴とする請求項６に記載の行動管理装置。
【請求項８】
前記撮像手段によって撮像された映像から、所定の物品を特定する物品検出手段をさらに備え、
前記行動検出手段は、前記物品検出手段によって特定された物品の種類に基づいて前記認証手段により認証された人物の行動を検出することを特徴とする請求項６又は７に記載の行動管理装置。
【請求項９】
前記記憶手段は、前記認証手段で認証された人物の映像を、当該人物の識別情報と関連付けて記憶することを特徴とする請求項１乃至８の何れか一項に記載の行動管理装置。
【請求項１０】
所定のキーワードの入力を受付けるキーワード入力手段と、
前記記憶手段に記憶された識別情報と該識別情報に関連付けられて記憶されている関連情報との中から前記キーワード入力手段により入力されたキーワードに一致する識別情報又は関連する語句を含む識別情報を検索する検索手段とを備え、
前記検索手段によって検索された識別情報と前記関連情報との中から必要な情報を出力することを特徴とする請求項１乃至９の何れか一項に記載の行動管理装置。
【図１】
【図２】
【図２】
【公開番号】特開２００９−２３０５６５（Ｐ２００９−２３０５６５Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７６５０５（Ｐ２００８−７６５０５）
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００１１６０７９）ローレルバンクマシン株式会社 (82)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月２４日（２００８．３．２４）
【出願人】（０００１１６０７９）ローレルバンクマシン株式会社 (82)
【Ｆターム（参考）】
[ Back to top ]