説明

人物管理装置および人物管理方法

【課題】人の手を介することなく、人物の身なりが適切であるか否かを判定する。
【解決手段】人物管理装置1は、撮影画像を取得する画像取得手段11と、検出対象物の情報を記憶する記憶手段12と、画像取得手段により取得された撮影画像から人物の顔を検出する顔検出手段13と、顔検出手段により検出された顔の座標に基づいて、検出対象物が存在すべき領域を設定する領域設定手段14と、領域設定手段で設定された領域に検出対象物が存在し、検出対象物が適切に装備されているか否かを判定する判定手段15と、判定手段の判定結果に応じた処理を行う制御手段16と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物管理装置および人物管理方法に関する。
【背景技術】
【0002】
特定の施設や部屋への入退出に際し、入退出者の身なりの管理を必要とする場合がある。例えば、原子力発電所や核燃料処理施設などでは、複数の管理区域に分割されており、入退出者はこのような管理区域への入退出時にはその管理区域の性質に応じて、適切な装備をすることが求められる。そのため各管理区域の出入口(入退出口)では、入退出者の装備の確認が行われる。
【0003】
特許文献1には、入退出する人物について撮影を行い、撮影画像と、あらかじめ取得した基準画像と比較することで、人手を介することなく衣服等の身なりをチェックする人物管理装置が開示されている。ここで基準画像とは、事前に撮影者の適切な身なり及び不適切な身なりを撮影した画像である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−030861号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1にかかる発明では、判定する人物毎の基準画像をチェック項目ごとに準備する必要があった。
具体的には、仮に適切な身なりを「ヘルメットをかぶり、派手な服装を着用しておらず、ひげを生やしていないこと」とした場合には、ヘルメットをかぶっており適切な範囲の服装でひげを剃っている画像、ヘルメットをかぶっており適切な範囲の服装だがひげを生やしている画像、ヘルメットをかぶっており過剰な範囲の服装でひげを剃っている画像、ヘルメットをかぶっており過剰な範囲の服装だがひげを生やしている画像、ヘルメットをかぶっておらず適切な範囲の服装でひげを剃っている画像、ヘルメットをかぶっておらず適切な範囲の服装だがひげを生やしている画像、ヘルメットをかぶっておらず過剰な範囲の服装でひげを剃っている画像、ヘルメットをかぶっておらず過剰な範囲の服装だがひげを生やしている画像、のように、2(通り)の3(項目)乗の8(枚)の画像が、登録人物ごとに必要となる。
したがって、チェック項目を増やした場合に、必要となる基準画像が指数関数的に増加していき、画像の準備が困難となる問題があった。また、基準画像が増加すると、判定を行う際に多数の画像から検索することとなり、ソフトウェアによる処理時間が増加するという問題があった。
【課題を解決するための手段】
【0006】
本発明にかかる人物管理装置は、人物を撮影した撮影画像に基づいて検出対象物が適切に装備されているか否かのチェックを行う人物管理装置であって、前記撮影画像を取得する画像取得手段と、検出対象物の情報を記憶する記憶手段と、前記画像取得手段により取得された撮影画像から人物の顔を検出する顔検出手段と、前記顔検出手段により検出された顔の座標に基づいて、前記検出対象物が存在すべき領域を設定する領域設定手段と、前記領域設定手段で設定された領域に検出対象物が存在し、検出対象物が適切に装備されているか否かを判定する判定手段と、前記判定手段の判定結果に応じた処理を行う制御手段と、を備える。
これにより人物管理装置は、判定したい人物と身なりの組み合わせごとに基準画像を用意することなく、検出物品が適切に装備されているか否かを判定し、判定結果に基づいた動作を行うことができる。
【0007】
また、本発明に係る人物管理方法は、人物が含まれる撮影画像を取得し、取得された前記撮影画像から人物の顔を検出し、検出された顔の座標に基づいて、あらかじめ情報が記憶されている検出対象物が存在すべき領域を設定し、前記設定された領域に前記検出対象物が存在しているか否かを判定し、前記判定結果に応じた処理を行う。
これにより、判定したい人物と身なりの組み合わせごとに基準画像を用意することなく、検出物品が適切に装備されているか否かを判定し、判定結果に基づいた動作を行うことができる。
【発明の効果】
【0008】
人の手を介することなく、人物の身なりが適切であるか否かを判定することができる。
【図面の簡単な説明】
【0009】
【図1】実施の形態1にかかる人物管理装置の機能ブロックごとの図である。
【図2】実施の形態1にかかる人物管理装置の構成物品を示した図である。
【図3】実施の形態1にかかる記憶装置内のファイル構成の図である。
【図4】実施の形態1にかかる装備画像データベースの図である。
【図5】実施の形態1にかかる警告履歴ファイルの図である。
【図6】実施の形態1にかかる顔検出履歴ファイルの図である。
【図7】実施の形態1にかかる人物管理装置の処理フローの図である。
【図8】実施の形態1にかかる顔画像およびヘルメット検出対象領域の関係を表す図である。
【図9】実施の形態1にかかるヘルメット着用時の検出領域の図である。
【図10】実施の形態1にかかるヘルメット不着用時の検出領域の図である。
【図11】実施の形態2にかかる人物管理装置の構成物品を示した図である。
【図12】実施の形態2にかかる撮影装置の配置を示した図である。
【図13】実施の形態2にかかる第1の撮影装置による撮影状態を示した図である。
【図14】実施の形態2にかかる第2の撮影装置による撮影状態を示した図である。
【発明を実施するための形態】
【0010】
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は、実施の形態1にかかる人物管理装置を機能ブロックごとに表した図である。人物管理装置1は、画像撮影手段11と、記憶手段12と、顔検出手段13と、領域設定手段14と、判定手段15と、制御手段16と、を備える。なお人物管理装置1は、扉(入退出ゲート)の開閉を制御することにより、人の入退出を管理する、入退出管理装置であるものとして説明する。
【0011】
図2は、人物管理装置1の構成物品を示した図である。人物管理装置1は、画像撮影装置101と、記憶装置102と、CPU(Central Processing Unit)103と、RAM(Random Access Memory)104と、入力装置105と、表示装置106と、通信装置107と、警告装置108と、入退出制御装置109と、を備える。各構成物品は、バスラインを介して互いに接続されている。
【0012】
画像撮影手段11は、画像撮影装置101により構成されている。画像撮影装置101は、例えばCCDイメージセンサ等を撮像素子として使用した、デジタルビデオカメラである。典型的には、画像撮影装置101は、入退出を行う人物の顔を正面方向から撮影し、撮影画像をCPU103やRAM104に送信する。以下では、画像撮影装置101は、1名の人物を正面から撮影するものとして説明する。なお、画像撮影装置101により取得される画像は、静止画と動画のいずれであっても良い。
【0013】
記憶手段12は、検出対象である検出対象物に関するデータや、人物に関するデータを記憶している。記憶手段12は、記憶装置102により構成されている。
【0014】
記憶装置102は、プログラム記憶領域とデータ記憶領域とを有し、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。例えば、記憶装置102は、ハードディスク等の固定的なメモリの他、CD−ROM、DVD等の着脱自在な記憶媒体を装着可能な構成であっても良い。
図3は、記憶装置102内に設けられているファイル群を列記したものである。記憶装置102には、装備画像データベース21、警告履歴ファイル22、顔検出履歴ファイル23が設けられている。
【0015】
図4は、装備画像データベース21の内容を示した図である。例えば装備画像データベース21は、画像撮影装置101で取得された撮影画像のそれぞれについて、画像ID、装備箇所、検出されないときの警告内容、備考等が保存されている。なお、装備画像データベース21には、ヘルメットや眼鏡などの身につけるものだけでなく、ひげや髪などの情報も、検出対象物の情報として保存される。装備画像データベース21には、それぞれの装備ごとに、顔からの相対座標が設定されている。
図5は、警告履歴ファイル22の内容を示した図である。例えば警告履歴ファイル22には、警告装置108が警告を発した場合の警告履歴として、日時(Date)、警告内容、画像ファイルが保存されている。
図6は、顔検出履歴ファイル23の内容を示した図である。例えば顔検出履歴ファイル23は、記録された顔検出履歴について、日時(Date)、撮影された画像中の顔の個数、顔画像ファイルが保存されている。
なお記憶装置102が記憶するものは、これらのものに限られない。
【0016】
顔検出手段13は、画像撮影手段11が取得した画像から、人物の顔がある領域(顔領域)を検出する。例えば、顔認識処理によって、撮影画像中の顔領域が抽出される。領域設定手段は、取得された顔領域に基づいて、対象物が適切に装備されている場合に検出対象物が存在すべき領域を設定する。例えば領域設定手段14は、ヘルメットを検出する場合には、顔領域の上方に設定する。判定手段15は、検出対象物が、領域設定手段14の設定した領域内にあるか否かを判定する。
顔検出手段13と、領域設定手段14と、判定手段15の動作は、それぞれCPU103と、RAM104と、記憶装置102が、それぞれ協調して動作することにより実現される。
【0017】
CPU103は、記憶装置102に記憶されているオペレーティングシステムや各種アプリケーションソフトにしたがって演算を行い、人物管理装置1の動作を制御する中央演算処理装置である。
具体的には、CPU103は、画像撮影装置101により取得された撮影画像から、記憶装置102やRAMに格納されたプログラムに基づいて、顔を検出する演算を行う。またCPU103は、検出した顔の座標に基づいて、検出対象物が適切に装備されている場合に、検出対象物が存在すべき領域を設定する。またCPU103は、画像撮影装置101で撮影された撮影画像と、記憶装置102に記憶されている基準画像と、を比較して解析し、人物の身なりが基準に合っているか否かを判定する。
【0018】
RAM104は、記憶装置102に記憶されているプログラムやデータを必要に応じてロードし、CPU103に高速で伝送する。また、RAM104は、CPU103による演算結果を一時的に保存し、演算結果を記憶装置102に伝送する。典型的にはRAM104は、CPU103から直接アクセス可能なメインメモリである。
【0019】
制御手段16は、人物管理装置1の動作を管理する。例えば制御手段16は、入力装置105と、表示装置106と、通信装置107と、警告装置108と、入退出制御装置109と、を備える。
【0020】
入力装置105は、例えば使用者の操作により入力を行うための機器である。典型的には、入力装置105は、キーボードやマウス、テンキー等である。
【0021】
表示装置106は、例えば、液晶ディスプレイである。表示装置106は、CPU103により判定された判定結果を表示する。
【0022】
通信装置107は、人物管理装置1の外部に設けられた機器との通信を行う。例えば、通信装置107は、遠隔地にいる人物に対して記憶装置102に記憶された内容の送信や、遠隔地から送信されたデータの受信を行う。
【0023】
警告装置108は、例えばスピーカーである。警告装置108は、CPU103により、人物の身なりが規則に違反していると判定された場合に、その違反内容に応じた警告メッセージ音を発生する。
【0024】
入退出制御装置109は、判定手段15が行った、人物の装備が規則に適合しているか否かの判定結果に基づいて、扉の開閉制御を行う。
【0025】
次に、人物管理装置1の動作について説明する。図7は、人物管理装置1の処理フローの図である。ここでは、人物がヘルメットを装備しているか否かにより、入退出管理を行うものについて説明する。
【0026】
画像撮影装置101は撮影を行い、1フレームの画像を更新する(ステップS1)。このとき、画像撮影装置101が動画を撮影する場合には、新規フレームを読み込む。画像撮影装置101が静止画を撮影する場合には、撮影画像を取得する。
【0027】
CPU103は、撮影された新規の画像から、人物の顔を検出する処理(顔検出処理)を行う(ステップS2)。顔検出処理により人物の顔を検出した場合には(ステップS3でYes)、ステップS4に進む。顔検出処理により顔を検出できなかった場合には(ステップS3でNo)、ステップS1に戻る。
【0028】
CPU103は、顔の四隅の座標と、画像中の顔の向きを取得する(ステップS4)。さらに、記憶装置102の顔検出履歴ファイル23に顔検出の履歴を更新する。図8は、検出された顔画像と、取得された顔の四隅の座標およびヘルメット検出対象領域の関係を示した図である。ここで検出された顔の四隅の座標は、それぞれA(Xa,Ya)、B(Xb,Yb)、C(Xc,Yc)、D(Xd,Yd)とする。ここで、図8に示すように、座標Aは画面の左下、座標Bは画面の右下、座標Cは画面の左上、座標Dは画面の右上とする。なお、例えば取得画像のX方向(左右方向)のサイズが640pixelであり、Y方向(上下方向)のサイズが480pixelであれば、取得画像の左下の座標が(0,0)、右上の座標が(640,480)であるものとして説明する。
【0029】
CPU103は、取得画像から、ヘルメット検出対象領域の設定を行う(ステップS5)。ヘルメット検出対象領域は、例えば図8に示すように、座標A〜Dに基づいて定められた座標E〜Hに囲まれた領域とする。画像中の顔の向きが上向きの場合であれば、座標Eを(Xa-50,Yc-100)とし、座標Fを(Xb+50,Yd-100)とし、座標Gを(Xa-50,Yc+200)とし、座標Hを(Xb+50,Yd+200)とする。
【0030】
CPU103は、ヘルメットの検出を行う(ステップS6)。図9及び図10は、検出された顔の向きが上向きの場合の、ヘルメット検出の図である。図9は、人物がヘルメットを装備している状態であり、図10は、人物がヘルメットを装備していない状態である。
例えば、CPU103は、記憶装置102に登録されているヘルメット画像とのマッチングにより、ヘルメットを検出する。CPU103は、ヘルメットを検出できた場合には(ステップS7でYes)、ヘルメットの向きおよびヘルメットの四隅の座標を取得し、ステップS8に進む。ここで、ヘルメットとして検出された四隅の座標は、それぞれI(Xi,Yi)、J(Xj,Yj)、K(Xk,Yk)、L(Xl,Yl)とする。
CPU103は、ヘルメットを検出できなかった場合には(ステップS7でNo)、警告装置108が装備画像データベース21を参照してヘルメットの装備が不適当である旨の警告を発するように制御し、さらに記憶装置102の警告履歴ファイル22に警告履歴を記録する(ステップS10)。その後、ステップS1に戻る。
【0031】
CPU103は、ヘルメットの向きとヘルメットの座標について、人物の相対位置との確認を行う(ステップS8)。より具体的には、CPU103は、ヘルメットの座標I〜Lが、ヘルメット検出対象領域である座標E〜Hの内部にあるか否かを判定する。CPU103は、図8のように、ヘルメット検出領域内にヘルメットが存在していれば(ステップS8でYes)、ヘルメットが適正に装備されているものと判定し、入退出制御装置109に入退出を許可する旨の制御信号を出力する。入退出制御装置109は、CPU103から受信した制御信号に基づいて開扉の制御を行う(ステップS9)。その後、ステップS1に戻る。
CPU103は、図10のように、ヘルメット検出領域内にヘルメットが存在していない場合には(ステップS8でNo)、警告装置108が装備画像データベース21を参照してヘルメットの装備が不適当である旨の警告を発するように制御し、さらに記憶装置102の警告履歴ファイル22に警告履歴を記録する(ステップS10)。その後、ステップS1に戻る。
【0032】
これにより、人物の顔と同時に衣服や装備等の検出対象物を検出し、検出された顔と検出対象物の位置関係から、検出対象物の所持チェックを行うとともに、検出対象物が適切に装備されているか否かを判定し、入退出管理を行うことができる。
より具体的には、カメラにより撮影される静止画または動画に対し、顔検出処理を行った結果得られた顔の向きおよび位置座標と、同じ画像に対して事前に定義済みの着用義務のある装備の位置座標との相対位置から、装備が適切に行われているか否かを考慮に入れて判定することができる。したがってヘルメットだけでなく、例えば名札や眼鏡などの装備品についても、顔との相対座標に基づいて、適切に装備されているか否かを判定することができる。
また、特許文献1に開示された発明に比べ、本実施の形態にかかる人物管理装置1では、必要とする基準画像の枚数が少ない。具体的には、3つの装備品について判定を行う場合、特許文献1に開示された発明では8枚の基準画像を用意しなければならないのに対し、本実施の形態にかかる人物管理装置1では少なくとも3枚の基準画像が存在すればよい。さらに人物管理装置1では、対象となる人物が増えても、あらかじめ用意する基準画像の数を特許文献1に開示された発明に比べて少なくすることができる。したがって、人物管理装置1では、基準画像との比較処理を高速で実行することができる。
また、複数の人数の人物管理を行う場合において、事前に各人の基準画像を登録する必要が無く、登録されていない人物の身なりについて判定することができる。
【0033】
なお、撮影画像中の一部の領域を装備品の検出領域として設定していることを利用し、画像全体ではなく、その検出領域内において基準画像とマッチング処理を行うことで、装備が適切か否かの判定処理をより高速で行うことができる。
【0034】
実施の形態2
図11に、人物管理装置2の構成を示す。人物管理装置2は、実施の形態1で示した人物管理装置1に、第2の画像撮影装置110を更に備えたものである。人物管理装置1と同様の構成物品については、同一の符号を付し、説明を省略する。なお、画像撮影装置101は、第1の画像撮影装置101とする。
【0035】
第2の画像撮影装置110は、例えばデジタルビデオカメラである。第2の画像撮影装置110は、入退出を行う人物を頭部方向から撮影し、撮影画像をCPU103やRAM104に送信する。すなわち、第2の画像撮影装置110は、第1の画像撮影装置101と同時刻に、別のアングルから撮影を行う。図12は、人物を2方向から撮影する場合の概略図である。
【0036】
次に、人物管理装置2の動作について説明する。
【0037】
第1の画像撮影装置101は、人物の顔を撮影する。図13は、第1の画像撮影装置101が人物を正面から撮影した場合の図である。
CPU103は、第1の画像撮影装置101により撮影された画像から人物の顔を検出し、検出した顔の上方に第1のヘルメット検出領域を作成する。さらにCPU103はヘルメットの検出を行い、検出したヘルメットの座標が第1のヘルメット検出領域の内部であるか否かを判定する。
CPU103は、検出したヘルメットの座標が第1のヘルメット検出領域内部であれば、適切に装備がなされているものとして判定する。CPU103は、ヘルメットが検出できなかった場合や、ヘルメットの座標が第1のヘルメット検出領域の外であれば、装備が不適切であるものとして判定する。
【0038】
また、第2の画像撮影装置110は、人物の上方から撮影を行う。図14は、第2の画像撮影装置110が人物を上方向から撮影した場合の図あり、ヘルメットの上部が撮影されている。ここで、人物が第1の画像撮影装置101に近づいた場合には、第2の画像撮影装置110の撮影画像では人物が下方向に動くものとして説明する。
CPU103は、第2の画像撮影装置110により撮影された画像にヘルメット着用と判断する第2のヘルメット検出領域を設定する。CPU103は、第2のヘルメット検出領域を、第1の画像撮影装置101で撮影された顔情報に基づいて設定しても良い。例えば、第1の画像撮影装置101により撮影された画像において、画像の右側に人物がいるものと判定された場合に、第2のヘルメット検出領域を画像の右側とするようにしても良い。また、第1の画像撮影装置101で撮影された顔の大きさに基づいて、第2のヘルメット検出領域を上下方向に動かしても良い。
【0039】
CPU103は、第2のヘルメット検出領域においてヘルメットが検出された場合には、第1のヘルメット検出領域においてヘルメットが検出されたか否かを確認する。CPU103は、第1のヘルメット検出領域および第2のヘルメット検出領域の両方でヘルメットが検出されていれば、ヘルメットが適切に装備されているものと判定し、入退出制御装置109に入退出を許可する旨の制御信号を出力する。入退出制御装置109は、CPU103から受信した制御信号に基づいて開扉の制御を行う。
【0040】
第1のヘルメット検出領域と、第2のヘルメット検出領域の少なくとも一方において、ヘルメットを検出できなかった場合には、ヘルメットが適切に装備されていないものと判定する。
ヘルメットが適切されていないものと判定された場合には、警告装置108は、ヘルメットの装備が不適当である旨の警告を発する。また、記憶装置102の警告履歴ファイル22には、ヘルメットの装備が不適当である旨が記録される。その後は待機状態に戻り、新規の画像が取得された場合には同様の動作を行う。
【0041】
これにより、同時刻に頭上からの画像を取得し、「上から見た安全ヘルメット」画像の検出も判断条件に加えることで確実にヘルメットを着用していると判断し、確実に入退出を管理することができる。
【0042】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
第2の画像撮影装置110は、人物の真上から撮影するものとして説明したが、他のアングルからの撮影であってもよい。
CPU103は、1つのCPUではなく、複数のCPUであっても良い。例えば、第1のCPUによって人物の身なりが基準に合っているか否かを判定し、第2のCPUによって警告装置108や入退出制御装置109の動作を制御してもよい。
また、検査対象物をヘルメットとして説明をしてきたが、例えば上腕部に装備する計測機など、他の装備品にも適用可能である。
また、入退出の管理に用いる場合について述べたが、入退出の管理以外の場面で用いても良い。例えば、工事現場での安全ヘルメット着用の監視に用いることで、安全性の向上の効果が期待できる。
【符号の説明】
【0043】
1 人物管理装置
2 人物管理装置
11 画像撮影手段
12 記憶手段
13 顔検出手段
14 領域設定手段
15 判定手段
16 制御手段
21 装備画像データベース
22 警告履歴ファイル
23 顔検出履歴ファイル
101 画像撮影装置
102 記憶装置
103 CPU
104 RAM
105 入力装置
106 表示装置
107 通信装置
108 警告装置
109 入退出制御装置
110 画像撮影装置

【特許請求の範囲】
【請求項1】
人物を撮影した撮影画像に基づいて検出対象物が適切に装備されているか否かのチェックを行う人物管理装置であって、
前記撮影画像を取得する画像取得手段と、
前記検出対象物の情報を記憶する記憶手段と、
前記画像取得手段により取得された前記撮影画像から人物の顔を検出する顔検出手段と、
前記顔検出手段により検出された顔の座標に基づいて、前記検出対象物が存在すべき領域を設定する領域設定手段と、
前記領域設定手段で設定された領域に前記検出対象物が存在しているか否かを判定する判定手段と、
前記判定手段の判定結果に応じた処理を行う制御手段と、を備える、
人物管理装置。
【請求項2】
前記画像取得手段は、異なるアングルで人物を撮影する複数の撮影装置を備えており、
前記判定手段は、前記複数の撮影装置により取得されたそれぞれの画像に基づいて判定を行う、
請求項1に記載の人物管理装置。
【請求項3】
前記画像取得手段は、人物の正面から撮影する第1の撮影装置と、人物の頭上から撮影を行う第2の撮影装置とを備える、
請求項2に記載の人物管理装置。
【請求項4】
前記制御手段は、判定結果に応じて警告を発し、
前記記憶手段は、
前記検出対象物に関する情報を記憶する装備画像データベースと、
前記警告の履歴を記憶する警告履歴ファイルと、
前記顔検出手段により検出された顔の検出履歴を記憶する顔検出履歴ファイルと、を備える、
請求項1乃至請求項3のいずれか1項に記載の人物管理装置。
【請求項5】
前記制御手段は、前記判定手段の判定結果に基づいて、人物が入退出する入退出ゲートの開閉を制御する、
請求項1乃至請求項4のいずれか1項に記載の人物管理装置。
【請求項6】
人物が含まれる撮影画像を取得し、
取得された前記撮影画像から人物の顔を検出し、
検出された顔の座標に基づいて、あらかじめ情報が記憶されている検出対象物が存在すべき領域を設定し、
前記設定された領域に前記検出対象物が存在しているか否かを判定し、
前記判定結果に応じた処理を行う、
人物管理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2012−237569(P2012−237569A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−104960(P2011−104960)
【出願日】平成23年5月10日(2011.5.10)
【出願人】(302062931)ルネサスエレクトロニクス株式会社 (8,021)
【Fターム(参考)】