画像監視装置
【課題】監視画像から不審者を精度よく検知することを可能にした画像監視装置を提供する。
【解決手段】画像監視装置１０は、監視領域を撮影して監視画像を取得する撮像手段１００と、監視画像から人物領域を検出する人物領域検出手段２１１と、参照顔画像とその参照顔画像について設定された不審度とを記憶する記憶手段３００とを有し、不審度が所定以上の参照顔画像と人物領域に含まれる顔画像とが照合一致したときに報知出力する。係る画像監視装置１０は、人物領域に基づいて不審行動の有無を検知する不審行動検知手段２１３と、不審行動と判定された人物領域に含まれる不審顔画像と参照顔画像とを照合する照合手段２１５と、不審顔画像が参照顔画像と照合一致すれば、その参照顔画像に対応する不審度を加算し、不審顔画像が参照顔画像と照合一致しなければ、不審顔画像を別の参照顔画像として記憶手段３００に記憶する不審者登録手段２１６とを有する。
【解決手段】画像監視装置１０は、監視領域を撮影して監視画像を取得する撮像手段１００と、監視画像から人物領域を検出する人物領域検出手段２１１と、参照顔画像とその参照顔画像について設定された不審度とを記憶する記憶手段３００とを有し、不審度が所定以上の参照顔画像と人物領域に含まれる顔画像とが照合一致したときに報知出力する。係る画像監視装置１０は、人物領域に基づいて不審行動の有無を検知する不審行動検知手段２１３と、不審行動と判定された人物領域に含まれる不審顔画像と参照顔画像とを照合する照合手段２１５と、不審顔画像が参照顔画像と照合一致すれば、その参照顔画像に対応する不審度を加算し、不審顔画像が参照顔画像と照合一致しなければ、不審顔画像を別の参照顔画像として記憶手段３００に記憶する不審者登録手段２１６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像監視装置に関し、特に、監視画像から不審者を検知する画像監視装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影した監視画像を、店員や保安員などの監視者が監視して、店舗内において万引きや暴力などの不正行為を行おうとする不審者を監視する監視方法が広く知られている。このような監視方法では、監視者の目視によって監視を行うので、監視者の負担が大きい。また、過去に上記のような不正行為を行ったことがあるなど、何等かの理由で要注意とされている要監視対象者が、監視画像中に写っている場合において、その要監視対象者を監視画像から検出しようとすると、監視者の能力または負荷状態に応じてその検出精度が大きく異なってしまう。
そこで、監視画像から自動的に不審者などを検知して、その旨を外部に喚起する店内監視システムが開発されている（特許文献１を参照）。係る店内監視システムでは、過去に不正行為を行ったことのある不審者の顔画像を予め登録しておく。そして、その店内監視システムは、監視画像から抽出された顔画像と予め登録された顔画像を照合して、一致すると判定すると、その旨を警報装置を通じて店員や保安員に報知する。
【０００３】
【特許文献１】特開２００７−３０６４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の店内監視システムでは、要監視対象者の顔画像は、監視者などが監視画像を目視により確認し、適切と思われるものを監視画像から切り出して登録することになる。そのため、監視者が、顔画像の登録操作を行う際に誤操作したり、勘違いなどにより異なる人物の顔画像を要監視対象者の顔画像として登録してしまうおそれがある。このように、本来要監視対象でない人物の顔画像を誤って店内監視システムに登録してしまうと、何ら不正行為や不審行動をとっていない人物を不審者扱いして、重大な顧客トラブルを招来する原因となり得る。
【０００５】
また、顔画像同士の照合を精度良く実施するためには、顔画像に写っている顔の向きが同じ方向を向いていることが望ましい。互いに異なる方向を向いた顔が写った顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状及び位置が異なっているために、照合に失敗する可能性が高くなる。しかしながら、店舗内などでは、人物の顔の向きは常に一定方向を向いているわけではないので、監視カメラで、決まった方向から撮影した顔画像を安定的に得ることは困難である。また、要監視対象者に対して、予め多数の方向から撮影した顔画像を準備することも困難である。そのため、上記の店内監視システムでは、要監視対象者の顔画像が正しく登録されていたとしても、その登録顔画像における顔の向きと監視画像に写った要監視対象者の顔の向きの差に起因して、照合精度が低下するおそれがある。さらに、このような顔向きの相違に起因する照合精度低下により、要監視対象者とは異なる監視画像中の人物の顔画像と登録されている要監視対象者の顔画像が一致すると判定してしまい、上記と同様に、何ら不正行為や不審行動をとっていない人物を不審者扱いして、重大な顧客トラブルを招来する原因となり得る。
【０００６】
そこで、本発明の目的は、監視画像から不審者を登録する際の登録間違いを防止することを可能にした画像監視装置を提供することにある。
また本発明の他の目的は、不審者でない人物が誤って不審者として判定されることを防止する画像監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる課題を解決するための本発明は、監視領域を撮影して監視画像を取得する撮像手段と、監視画像から人物領域を検出する人物領域検出手段と、参照顔画像とその参照顔画像について設定された不審度とを記憶する記憶手段とを有し、不審度が所定以上の参照顔画像と人物領域に含まれる顔画像とが照合一致したときに報知出力する画像監視装置を提供する。係る画像監視装置は、人物領域に基づいて不審行動の有無を検知する不審行動検知手段と、不審行動と判定された人物領域に含まれる不審顔画像と参照顔画像とを照合する照合手段と、不審顔画像が参照顔画像と照合一致すれば、その参照顔画像に対応する不審度を加算し、不審顔画像が参照顔画像と照合一致しなければ、不審顔画像を別の参照顔画像として記憶手段に記憶する不審者登録手段とを有する。
かかる構成によれば、不審行動を検知しても直ちに不審者として登録せず、将来的に不審者になる可能性を記憶するに止め、不審性が担保された者のみが不審者として登録される。
【０００８】
また本発明に係る画像監視装置において、不審者登録手段は、不審顔画像を別の参照顔画像として記憶手段に記憶するときに、その不審顔画像を含む人物領域について不審行動検知手段が判定した不審行動に応じて不審度の初期値を設定することが好ましい。
かかる構成によれば、検知した不審行動の種類によっては最初から報知出力の対象になる不審度を設定するので、不審性の高い行動をとった人物を適切に検知対象とすることができる。
【０００９】
さらに、本発明に係る画像監視装置は、予め記憶した人間の顔の３次元形状を表す３次元形状モデルに、参照顔画像を合成して３次元顔画像を作成する３次元顔画像作成手段を有し、照合手段は、顔画像の顔の向きと一致するように、３次元顔画像の顔の向きを調整して２次元平面上に投影した顔画像を参照顔画像として不審顔画像と照合することが好ましい。
かかる構成によれば、係る画像監視装置は、監視画像における人物の顔向きにあわせて照合処理を行うので、検知対象として登録されている不審者の画像と顔の向きが異なっても適切な照合が可能となり誤判定を防止できる。
【発明の効果】
【００１０】
本発明に係る画像監視装置は、監視画像に写った人物の行動の不審性を調べ、その不審性が高い人物を検知対象として登録することにより、監視画像から不審者を精度よく検知することができるという効果を奏する。さらに、係る画像監視装置は、不審性が高くない人物を検知対象としないので、不審者でない人物が誤って不審者として検知されることを防止できるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、本発明に係る画像監視装置の実施の形態について図を参照しつつ説明する。
本発明を適用した画像監視装置は、監視領域を撮影した監視画像に写った人物について、監視画像や監視領域に設置されたセンサ情報に基づいて、その人物が不審な行動を行ったか否かを調べ、不審な行動をとったと判断した場合、その人物を、検知対象の要注意人物（本発明における不審度が所定未満の参照顔画像に対応する人物）として自動的に登録する。係る画像監視装置は、登録された要注意人物が不審な行動を繰り返すと、不審者（本発明における不審度が加算され、所定以上の不審度になった参照顔画像に対応する人物）として登録する。そして係る画像監視装置は、登録された不審者が再度監視領域内に侵入した時に、監視画像から抽出した顔画像と不審者として登録された人物の顔画像とを照合することにより、その不審者を検知する。このように、係る画像監視装置は、不審性の高い行動をとった人物を不審者として登録することにより、不審者を精度良く検知するとともに、不審者でない人物が誤って不審者として検出されることを防止するものである。
【００１２】
図１は、本発明を適用した画像監視装置１０の概略構成を示す。図１に示すように、画像監視装置１０は、撮像部１００、画像処理部２００、記憶部３００及び報知部４００を有する。以下、画像監視装置１０の各部について詳細に説明する。
【００１３】
撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、100msec）ごとに１フレーム取得する。撮像部１００は、画像処理部２００と接続され、取得した監視画像を画像処理部２００へ渡す。
【００１４】
画像処理部２００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部２００は、撮像部１００から受け取った監視画像に基づいて、不審者を検知する。そのために、画像処理部２００は、人物領域検出手段２１１、顔領域検出手段２１２、不審行動検知手段２１３、顔特徴量算出手段２１４、照合手段２１５及び不審者登録手段２１６を有する。
画像処理部２００の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部２００の各手段について詳細に説明する。
【００１５】
人物領域検出手段２１１は、撮像部１００から受け取った各監視画像から、人物が写っている領域である人物領域を抽出する。そのために、人物領域検出手段２１１は、例えば、監視画像上の部分領域から１以上の特徴量を算出し、その特徴量が、人物に対応すると考えられる所定の条件を満たす場合に、その部分領域を人物領域として抽出する。具体的には、人物領域検出手段２１１は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布と、そのエッジ近傍の画素の輝度分布などとすることができる。一方、所定の条件は、人物を撮影した複数の画像から、それら特徴量の値を求めてその範囲を決定することにより、予め決定することができる。
【００１６】
あるいは、人物領域検出手段２１１は、予め定めたテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、人物領域として抽出するようにしてもよい。さらにまた、人物領域検出手段２１１は、監視画像と、監視領域内に人物等の移動物体が存在しない状態で撮影された基準画像との差分を行い、その差分値が所定値以上となる画素が連結した差分領域を抽出する。そして人物領域検出手段２１１は、差分領域が人物に相当すると考えられるサイズ及び形状を有している場合、その差分領域を人物領域として抽出してもよい。
【００１７】
人物領域検出手段２１１は、人物領域を抽出すると、監視画像からその領域を切り出した人物画像を作成する。また、人物領域検出手段２１１は、元監視画像上での人物領域の重心位置及び大きさを示す人物領域情報を作成する。そして人物領域検出手段２１１は、人物画像及び関連する人物領域情報に、他の人物領域との識別に用いるための人物識別子を割り当て、それらを一つの人物情報とする。人物領域検出手段２１１は、得られた人物情報を、画像処理部２００の他の手段で利用できるように記憶部３００に記憶する。なお、人物領域検出手段２１１は、一つの監視画像中に複数の人物領域が存在する場合、全ての人物領域を抽出し、それぞれについて人物情報を作成し、記憶部３００に記憶する。その際、人物識別子は、人物情報ごとに異なる値が設定される。
【００１８】
顔領域検出手段２１２は、人物画像から、頭部に相当する領域を顔領域として抽出する。顔領域検出手段２１２は、例えば、人物画像からエッジを抽出したエッジ画像を作成する。そして顔領域検出手段２１２は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出することができる。この場合において、顔領域検出手段２１２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは、顔領域検出手段２１２は、人物画像あるいは人物画像のエッジ画像に対して、予め準備した頭部のテンプレートを用いてテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、顔領域として抽出することができる。さらにまた、顔領域検出手段２１２は、人物領域検出手段２１１により抽出された人物領域の頭部に相当すると考えられる領域を顔領域としてもよい（例えば、人物領域の上端部から、平均的な頭部のサイズ及び形状に相当する領域を切り出して、顔領域とする）。
【００１９】
顔領域検出手段２１２は、顔領域を抽出すると、人物画像あるいは監視画像から顔領域を切り出して顔画像を作成する。また、顔領域検出手段２１２は、作成した顔画像を、人物情報に関連付けて記憶部３００に記憶する。
【００２０】
不審行動検知手段２１３は、監視画像から作成された人物画像または顔画像に基づいて、その人物画像または顔画像に写っている人物が不審行動をとっているか否かを判定する。
不審行動検知手段２１３は、例えば、順次取得される監視画像から抽出された人物領域の時間的、空間的な変化が、予め定義された通常の時間的、空間的な変化と異なる態様を示すときに不審行動を検知する。通常の時間的、空間的な変化と異なる態様とは、監視カメラ（撮像部１００）にて撮影される人物について通常の行為と想定された行動パターンから外れる行為として監視画像中に現れるものであり、人物領域を解析することで検知することができる。
不審行動には、様々なものがある。不審行動の例として、以下のような行動が挙げられる。
（１）正当な理由（進行方向を向いている、他の人と会話している等）なく常に監視カメラから顔を背けている。この様子を図２（ａ）に示す。図２（ａ）では、対象者２０は、ドア２１から進入し、撮像部１００（監視カメラ）の方へ歩いてきている。しかし、対象者２０の顔の向きは、進行方向を向いておらず、また監視カメラから大きく顔を背けており、明らかに不自然な態度であることが分かる。
（２）高額商品や金庫などの重要物がある方向を長時間にわたって観察する。例えば、この行為は、重要物の強奪を試みようとしているときに行われる可能性がある。この様子を図２（ｂ）に示す。図２（ｂ）では、対象者２０は、棚の上に置かれた貴重品２２を観察している。そのために、対象者２０の顔の向きは、貴重品２２の方向を向いている。対象者２０が、図２（ｂ）に示すような顔の向きの状態を無用に長時間続けていたり、断続的に貴重品２２の方を向いていれば、明らかに不自然な態度であることが分かる。
（３）顔の向きを頻繁に変える。例えば、この行為は、万引きを試みようとしている際、店員の位置をしきりに確認するために行われる可能性がある。
（４）立ち入り禁止区域内に進入する。例えば、関係者以外立ち入り禁止の部屋に侵入する。
（５）オフィスビルの入り口のように、時間帯によっては人の流れの方向がほぼ決まっているような場合に、その流れと逆行する。同様に、立ち止まる人は少ないと思われる場所や時間帯において、一定時間以上立ち止まっている。この行為は、例えば、設備を破壊するなどの危険行為の準備をしているときに、該当する行為が行われる可能性がある。
（６）警備員を避ける行動を取る。例えば、警備員との距離を一定以上に保ち続ける。
【００２１】
不審行動検知手段２１３は、上記のような不審行動のうちの少なくとも一種類を、人物画像または顔画像に基づいて検知する。
例えば、不審行動検知手段２１３は、上記の不審行動のうち、（１）〜（３）の行為が行われたことを検知するために、顔画像における人物の顔の向きを検出する。不審行動検知手段２１３は、顔画像から顔の向きを検出する方法として、様々な方法を用いることができる。例えば、不審行動検知手段２１３は、まず、顔画像から顔の特徴的な部分である顔特徴点を抽出する。そして不審行動検知手段２１３は、抽出した顔特徴点の種別と顔画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を算出する。例えば、不審行動検知手段２１３は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。不審行動検知手段２１３は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、不審行動検知手段２１３は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして不審行動検知手段２１３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また不審行動検知手段２１３は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。
【００２２】
顔特徴点が抽出されると、不審行動検知手段２１３は、各顔特徴点の２次元的な分布を調べて、顔向きを検出する。具体的には、不審行動検知手段２１３は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして不審行動検知手段２１３は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また不審行動検知手段２１３は、正中線の方向及び正中線から鼻尖点までの距離と、顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部３００に記憶しておく。そして不審行動検知手段２１３は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。
【００２３】
また不審行動検知手段２１３は、抽出された顔特徴点と、人物の顔の３次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを推定してもよい。この場合、人の頭部の標準的な形状を模した３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表される）を予め準備し、記憶部３００に記憶しておく。またその３次元形状モデルの両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部３００に記憶しておく。
【００２４】
不審行動検知手段２１３は、監視画像より得られた顔画像から顔特徴点が抽出されると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして不審行動検知手段２１３は、顔画像から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。不審行動検知手段２１３は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして不審行動検知手段２１３は、その３次元形状モデルの顔の向きから、顔の向きを求めることができる。
なお、不審行動検知手段２１３は、顔画像から抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるよう、３次元形状モデルに回転、並進、拡大／縮小などの処理を行って、その３次元形状モデルの顔の向きを決定してもよい。
このように、不審行動検知手段２１３は、顔画像の顔向きを検出する顔向き検出手段としても機能する。
【００２５】
上記の（１）の行為を検知する場合、不審行動検知手段２１３は、顔画像に写っている人物の顔の向きが監視カメラから背けられているか否かを判定する。そのために、不審行動検知手段２１３は、撮像部１００の方へ顔を向けた状態（以下、正対状態という）を基準として、顔画像における人物の顔の向きの角度を求める。不審行動検知手段２１３は、その角度が所定の閾値Th1以上であれば、顔画像に写っている人物は撮像部１００に対して顔を背けていると判定し、その角度が閾値Th1未満であれば、その人物は顔を背けていないと判定する。なお閾値Th1は、実験結果などに基づいて決定することができる。例えば、事前に、カメラに対して故意に顔を背けた状態とそうでない状態の人を撮影して、それぞれの状態における顔の向きの正対状態に対する角度を求める。そして、判別分析などを用いて、故意に顔を背けた状態における顔の向きの角度とそうでない状態における顔の向きの角度の境界値を求める。求めた境界値を閾値Th1とすることができる。
また、不審行動検知手段２１３は、対象とする顔画像において、目、鼻または口が顔領域の端部に位置し、かつその端部に位置する部位に関する顔特徴点が検出できなかった場合、その顔画像に写っている人物は撮像部１００に対して顔を背けていると判定してもよい。
【００２６】
不審行動検知手段２１３は、同一人物によると考えられる人物領域が、時間的に連続する複数の監視画像のうち、ある時点に取得された監視画像において検出されてから（以下、フレームインという）、所定時間経過後に取得された監視画像において検出されなくなるまで（以下、フレームアウトという）、あるいは最新の監視画像取得時までの時間のうち、一定以上、例えば９割以上に相当する時間の間、その人物が撮像部１００に対して顔を背けていれば、その人物が不審行動をとったと判定する。ただし、不審行動検知手段２１３は、フレームインから最新の監視画像取得時までの期間に基づいて、不審行動をとったか否か判定する場合、その期間が所定時間を超えてから、その判定を行うことが好ましい。この所定時間は、監視領域内に滞留する人物について、不審行動をとったと判定するのに必要最小限の時間であり、撮像される監視領域の広さに応じて設定され、例えば、１分間に設定される。
【００２７】
なお、上記のように、順次取得された複数の監視画像にわたって検出された人物領域が同一の人物によるものか否かを判定するために、不審行動検知手段２１３は、公知の様々なトラッキング処理を用いることができる。例えば、不審行動検知手段２１３は、最新の監視画像から抽出された人物領域のうち、着目する人物領域について、その着目人物領域の重心位置と、１フレーム前に取得された監視画像から抽出された全ての人物領域の重心位置との距離を求める。そして不審行動検知手段２１３は、最も重心間の距離の短い人物領域を、着目人物領域に写っている人物と同一人物の人物領域とすることができる。あるいは、不審行動検知手段２１３は、１フレーム前に取得された監視画像から抽出された着目人物領域について進行方向及び移動速度が求められている場合、その進行方向及び移動速度から、最新の監視画像におけるその人物の位置を推定してもよい。この場合、不審行動検知手段２１３は、最新の監視画像から抽出した人物領域のうち、その推定位置に最も近い人物領域を、１フレーム前の監視画像の着目人物領域に写っている人物と同一人物の人物領域とすることができる。そして不審行動検知手段２１３は、着目人物による最新の監視画像における人物領域と１フレーム前の監視画像における人物領域の重心位置の差を計算することにより、着目人物の進行方向及び移動速度を決定することができる。
このように、不審行動検知手段２１３は、順次取得される複数の監視画像において対応する人物領域をトラッキング（追跡）する追跡手段としても機能する。
【００２８】
上記の（２）の行為を検知する場合、予め、監視画像における、対象となる重要物の位置及び監視画像上に領域が求められ、記憶部３００に記憶される（なお、監視画像に重要物そのものが写っていない場合、仮想的に監視画像に設定される座標系を監視画像の外まで拡張し、その座標系上において、その重要物の位置及び領域を設定する）。そして不審行動検知手段２１３は、顔画像に写っている人物の顔の向きがその重要物の方を向いているか否かを判定する。例えば、その人物について求めた顔向きを表す方向ベクトルの延長線上に、重要物に対応する領域が存在すれば、不審行動検知手段２１３は、その人物は重要物の方を向いていると判定する。
そして不審行動検知手段２１３は、（１）の場合と同様に、その顔画像に対応する人物がフレームインしてからフレームアウトするまでの時間のうち、一定以上、例えば９割以上に相当する時間の間、その人物が同じ重要物の方を向いていれば、その人物が不審行動をとったと判定する。
【００２９】
上記の（３）の行為を検知する場合、不審行動検知手段２１３は、フレームインからフレームアウトするまでの間に、対象となる顔画像に写っている人物が顔の向きを所定角度差以上変更した合計回数を求める。そして不審行動検知手段２１３は、その合計回数が所定回数以上となった場合、その人物が不審行動をとったと判定する。ここで、顔画像に写っている人物が顔向きを変え始めてから変え終えるまでの間に、数フレーム分の監視画像が取得される場合もある。そのため、不審行動検知手段２１３は、最新の監視画像と、その１フレーム前から所定フレーム（例えば１０フレーム）前に取得された各監視画像の間で、同一人物によると考えられる顔画像に写っている顔の向きの角度差を求める。
【００３０】
なお、所定角度差は、人物が異なる方向を注視していると判断できる角度差であり、例えば、６０度とすることができる。また、所定回数は、実験などに基づいて決定される。例えば、所定回数を、一定期間（例えば５秒間）に１回以上顔の向きを変えると不審行動であると判断できる場合、一人の人物が監視領域内に滞留する平均的な時間をその一定期間で除した値とすることができる。
また、不審行動検知手段２１３は、対象となる顔画像に写っている人物が顔の向きを所定角度以上変更した間隔の平均値を求め、その平均値が、上記の一定期間以下であれば、その人物が不審行動をとったと判定してもよい。
【００３１】
上記の（４）の行為を検知する場合、予め、監視画像において、立ち入り禁止区域に相当する領域（以下、進入禁止領域という）が設定される。そして不審行動検知手段２１３は、監視画像から検出された人物領域の一部または全部が進入禁止領域と重なったことを検知すると、その人物領域に写っている人物が不審行動をとったと判定する。あるいは、不審行動検知手段２１３は、不審行動の誤検知を防止するために、人物領域の一部または全部が進入禁止領域と重なった状態が一定期間（例えば、１０秒）以上継続する場合（すなわち、その一定期間に取得された各監視画像において、人物領域の一部または全部が進入禁止領域と重なっている場合）、その人物領域に写っている人物が不審行動をとったと判定するようにしてもよい。
【００３２】
上記の（５）の行為を検知する場合、予め、監視画像における人の流れの方向及び時間帯が設定され、記憶部３００に記憶される。そして不審行動検知手段２１３は、順次取得された複数の監視画像から、トラッキング処理を用いて、検知対象となる人物の人物領域の移動方向を決定する。不審行動検知手段２１３は、監視画像から人物領域が検知された時間が、上記の時間帯に含まれる場合、その移動方向を表す方向ベクトルと、上記の時間帯に対応する人の流れの方向を表す方向ベクトルの内積値を求める。その内積値が、二つの方向ベクトルが逆方向を向いていると判断できる値（例えば、−０．９以下）の場合、不審行動検知手段２１３は、その人物が不審行動をとったと判定する。あるいは、不審行動検知手段２１３は、一定期間（例えば、３分間）以上、検知対象となる人物の人物領域の位置が監視画像上で変化しないとき、その人物が不審行動をとったと判定してもよい。
【００３３】
上記の（６）の行為を検知する場合、監視画像から警備員の位置を特定できるように、撮像部１００から見える位置に警備員であることを示すマーク（例えば、所定の形状及び色を持つ帽子）を、警備員に着用させる。不審行動検知手段２１３は、そのマークに対応するテンプレートを用いてテンプレートマッチングを行うことにより、警備員の位置を特定する。一方、不審行動検知手段２１３は、検知対象となる人物について、フレームインからフレームアウトするまでの間、その人物に相当する人物領域の位置と警備員の位置とが所定距離以上を保っている場合、その人物は不審行動をとったと判定する。この場合において、不審行動の誤検知を避けるために、不審行動検知手段２１３は、警備員の位置が判定対象となる人物の人物領域の位置へ接近を開始すると、当該人物領域の位置が、警備員の位置から離れる方向へ移動する場合に限り、その人物は不審行動をとったと判定するようにしてもよい。
【００３４】
なお、不審行動検知手段２１３は、監視画像から作成された人物画像及び顔画像だけでなく、画像監視装置１０に接続された監視カメラ以外のセンサからの入力情報も用いて不審行動を検知してもよい。この場合、画像監視装置１０は、監視領域に設置されたセンサから検知信号が入力される検知信号入力手段を備え、不審行動検知手段２１３はセンサから検知信号が入力されると当該センサが検知した人物領域を特定する。
例えば、監視領域に音響センサが設置され、画像監視装置１０は、その音響センサを通じて取得された音声（検知信号）から人の声を認識する音声認識手段（例えば、マイクロプロセッサ上で動作するソフトウェアの機能モジュールとして実装される）を有してもよい。そして、この場合、音声認識手段により、特定の不審キーワード（例：「逃げろ」「まずいぞ」）が検出されると、不審行動検知手段２１３は、その不審キーワード検出時の前後で取得された監視画像から、その音響センサの設置場所に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３５】
あるいは、監視領域内の熱変化を検出するための赤外線センサが設置され、画像監視装置１０を、その赤外線センサから検知信号を受信するように構成してもよい。この場合において、その赤外線センサが体温上昇に相当する温度変化を検知したとき、不審行動検知手段２１３は、その温度変化の検出時の前後で取得された監視画像から、その温度変化の検知位置に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３６】
さらに、監視領域内の所定区域を検知区域とする金属探知機が設置され、画像監視装置１０を、その金属探知機から検知信号を受信するように構成してもよい。この場合において、その金属探知機が所定量以上の金属体を所持している人物を検知したとき、不審行動検知手段２１３は、その検出時の前後で取得された監視画像から、金属探知機の検知区域に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３７】
不審行動検知手段２１３は、上記のように、ある人物が不審行動をとったと判定すると、その人物が写っている顔画像または人物画像に関連する人物情報に、不審行動を検知したことを示すフラグを設定する。
【００３８】
顔特徴量算出手段２１４は、顔領域検出手段２１２により作成された顔画像から、その顔画像に写っている人物固有の特徴量を顔特徴量として抽出する。顔特徴量は、例えば、顔画像における目、鼻、口といった顔の特徴的な部位の位置、形状及びそれら特徴的な部位または皮膚部分のテクスチャ情報とすることができる。さらにテクスチャ情報としては、例えば、各部位の輝度分散値、フラクタル次元、空間周波数分布などを用いることができる。しかし、顔特徴量算出手段２１４は、顔特徴量としてその他のテクスチャ情報を用いてもよい。顔特徴量算出手段２１４は、顔画像から顔特徴量を算出するための公知の様々な手法を用いることができる。例えば、顔特徴量算出手段２１４は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴量算出手段２１４は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、顔上の特徴的な部位の位置を抽出し、顔特徴量とすることができる。また顔特徴量算出手段２１４は、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素の位置及びその空間周波数分布を顔特徴量として算出してもよい。
顔特徴量算出手段２１４は、算出した顔特徴量を、その顔特徴量の算出に用いた顔画像に関連付けて記憶部３００に記憶する。
【００３９】
照合手段２１５は、監視画像から顔画像が抽出されると、監視画像中に写った人物が不審人物か否か判定するために、監視画像から作成された顔画像と不審者として不審者データベースに登録された人物の顔画像とを照合する。また、照合手段２１５は、不審行動が検出されると、不審行動を行ったと判定された人物が、過去に不審行動をとったことのある要注意人物と同一であるか否かを判定するために、不審行動を行ったと判定された人物の顔画像を、要注意人物データベースに登録された要注意人物の顔画像と照合する。
【００４０】
照合手段２１５では、不審人物か否かを判定する場合も、要注意人物か否かを判定する場合も、照合に使用する情報が異なるだけであり、照合処理そのものは同じものが使用される。そこで、以下では、監視画像中に写った人物が不審人物か否か判定する場合を例に説明する。
【００４１】
照合手段２１５は、着目する顔画像について求めた１以上の顔特徴量を、不審者データベースに登録された各人物の参照顔画像について求めた対応する参照顔特徴量と比較する。そして照合手段２１５は、顔特徴量と対応する参照顔特徴量の差の最小値を求める。照合手段２１５は、その最小差が所定の一致基準を満たす場合、着目する顔画像に写っている人物は、その最小差に対応する参照顔画像に写っている不審者と同一人物であると判定する。一方、照合手段２１５は、顔特徴量と対応する参照顔特徴量の差の最小値が所定の一致基準を満たさない場合、着目する顔画像に写っている人物は、登録されている不審者の何れでもないと判定する。
【００４２】
また、照合手段２１５は、照合処理として、上記の方法に限らず、公知の様々な照合方法を用いることができる。例えば、照合手段２１５は、着目する顔画像と不審者の参照顔画像とを照合するために、それら顔画像同士でパターンマッチングを行う。そして照合手段２１５は、顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。照合手段２１５は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、着目する顔画像に写っている人物を、一致度が最も高い値を有する参照顔画像に対応する不審者であると判断する。一方、照合手段２１５は、最も高い一致度でも所定の基準値を超えない場合、着目する顔画像に写っている人物はいずれの不審者でもないと判断する。
【００４３】
照合手段２１５は、着目する顔画像に対応する人物が不審者か否かの判定を行った場合において、その人物が何れかの不審者であると判断したとき、その旨を表す信号を報知部４００へ出力する。また照合手段２１５は、着目する顔画像に対応する人物が要注意人物か否かの判定を行った場合において、その判定結果を、不審者登録手段２１６へ通知する。照合手段２１５は、さらにその人物が何れかの要注意人物であると判定した場合、その要注意人物を識別するための識別子を不審者登録手段２１６へ通知し、その人物が何れの要注意人物でもないと判定した場合、着目する顔画像及びその顔画像について求めた顔特徴量を、不審者登録手段２１６へ通知する。
【００４４】
不審者登録手段２１６は、要注意人物データベースに登録された要注意人物が、不審行動をとったとき、その人物を不審者として登録するか否か判断する。そして所定の条件を満たす場合、不審者登録手段２１６は、その人物を不審者として不審者データベースに登録する。そのために、不審者登録手段２１６は、不審度加算手段２２１、不審度判定手段２２２、顔画像登録手段２２３及び３次元顔画像生成手段２２４を有する。
【００４５】
ここで、要注意人物データベースについて説明する。
図３に、要注意人物データベースの模式図を示す。図３に示すように、要注意人物データベース３００は、要注意人物ごとに、登録された要注意人物を他の要注意人物と識別するための識別子３１０と、照合に使用するための顔画像である参照顔画像３２０と、要注意人物について検知された不審行動の累積回数を表す不審度３３０と、不審者であるか否かを示す不審者フラグ３４０とを含む。なお要注意人物データベース３００では、登録された参照顔画像３２０は１枚に限られず、表情、顔向き、照明条件などを変えた複数のものが登録されていてもよい。また要注意人物データベース３００は、照合に顔画像から算出した顔特徴量を用いる場合、各参照顔画像に対応する顔特徴量も記憶する。さらに、要注意人物データベース３００は、参照顔画像を作成するための基準となる、要注意人物の３次元顔モデル（本発明の３次元顔画像に相当）を含んでいてもよい。不審度３３０は、各要注意人物について、不審行動が検知される度に１加算される。また図３において、識別子００２に対応する要注意人物のように、不審者フラグ３４０が設定されている場合、その要注意人物は、不審者として不審者データベースにも登録されていることを示す。
また、不審者データベースは、不審度及び不審者フラグを有さない点を除いて、要注意人物データベースと同様の構成を有するので、詳細な説明は省略する。
【００４６】
不審度加算手段２２１は、照合手段２１５により、不審行動をとった人物が、要注意人物データベースに登録された何れかの要注意人物と一致すると判定された場合、その要注意人物の識別子を参照して、要注意人物データベースに記憶されているその要注意人物の不審度を１加算する。そして、不審度加算手段２２１は、その要注意人物について不審者フラグが設定されていなければ、不審度判定手段２２２に、その要注意人物の識別子を通知する。
【００４７】
不審度判定手段２２２は、不審度加算手段２２１により通知された識別子に対応する要注意人物について、その要注意人物を不審者として登録するか否か判定する。具体的には、不審度判定手段２２２は、対象となる要注意人物の不審度が不審者判定用の度合いである所定の累計回数に達した場合、その要注意人物を不審者と判定する。そして不審度判定手段２２２は、要注意人物データベースに登録されている、その要注意人物の識別子、参照顔画像、顔特徴量、３次元顔モデルを、不審者データベースに追加登録する。なお、所定の累計回数は、画像監視装置１０の運用用途に応じて２以上の適切な値に設定すればよい。所定の累計回数を２以上に設定することで、同一の人物について少なくとも２回は不審行動が検知されないと、不審者として登録されないので、不審者でないものを誤って不審者として登録してしまう可能性を低減できる。例えば、本実施形態では、所定の累計回数は１０に設定した。
【００４８】
顔画像登録手段２２３は、照合手段２１５により、不審行動を行ったと判定された人物が、要注意人物データベースに登録された何れの要注意人物とも同一人物でないと判定された場合、その人物を新たな要注意人物として、要注意人物データベースに登録する。そのために顔画像登録手段２２３は、新規に登録した要注意人物に新規に識別子を割り当てる。また顔画像登録手段２２３は、その新規に登録した要注意人物の不審度を１に設定する。そして顔画像登録手段２２３は、不審行動をとった人物が要注意人物か否かを判定するための照合に用いた顔画像を、新規に登録した要注意人物の識別子に関連付けて要注意人物データベースに追加登録する。また顔画像登録手段２２３は、その顔画像について求められた顔特徴量も、新規に登録した要注意人物の識別子に関連付けて要注意人物データベースに追加登録してもよい。
なお、新規に登録した要注意人物の不審度は、不審行動検知手段２１３にて判定された不審行動の種別や度合いに応じて設定されてよい。この場合、不審行動検知手段２１３は、予め不審行動に応じた不審度の算出パラメータを記憶し、不審行動の判定結果とともに出力する。
【００４９】
３次元顔画像生成手段２２４は、予め記憶されている標準的な頭部の３次元形状モデルと監視画像から切り出した顔画像から、要注意人物の頭部を模した３次元顔モデル（本発明の３次元顔画像に相当）を作成する。このような３次元顔モデルを作成するために、３次元顔画像生成手段２２４は、例えば、特開２００３−６６４５号公報に開示された方法を用いることができる。具体的には、３次元顔画像生成手段２２４は、監視画像から取得した要注意人物の顔画像から、目、鼻などの特徴的な部位を抽出し、その部位を上記の３次元形状モデルの対応部位と位置合わせしてマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００５０】
さらに、３次元顔画像生成手段２２４は、予め複数の３次元形状モデルを準備しておき、そのうち最も適切な３次元形状モデルを選択して、対象者の３次元顔モデルを作成してもよい。この場合において、３次元顔画像生成手段２２４は、最も適切な３次元形状モデルを選択するために、上記のように顔画像から顔向きを検出するとともに、公知の光源方向推定手法により顔画像から光源方向を推定し、検出された顔向きに調節した各３次元形状モデルに推定された光源方向を適用して、投影陰影画像を作成する。そして３次元顔画像生成手段２２４は、作成した投影陰影画像のうち、顔画像と最も一致するものを選択し、選択した投影陰影画像に対応する３次元形状モデルを選択する。そして３次元顔画像生成手段２２４は、選択した３次元形状モデル上に特徴点の位置合わせをした上で顔画像をマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００５１】
３次元顔画像生成手段２２４は、要注意人物の３次元顔モデルを作成すると、その３次元顔モデルの顔の向き、表情、照明条件などを変更してレンダリングを行い、それらの条件に応じて修正された特定条件３次元顔モデルを作成する。そして３次元顔画像生成手段２２４は、３次元顔モデルまたは特定条件３次元顔モデルを２次元上に投影して、その要注意人物の参照顔画像を作成する。さらに、３次元顔画像生成手段２２４は、作成した参照顔画像から、顔特徴量算出手段２１４で行われるのと同様の処理を行って、その参照顔画像についての顔特徴量を算出する。
３次元顔画像生成手段２２４は、作成した３次元顔モデル、参照顔画像及び顔特徴量を、対応する要注意人物の識別子に関連付けて要注意人物データベースに登録する。これにより、一枚の顔画像から顔向き等が異なる複数の参照顔画像を得ることができる。
【００５２】
記憶部３００は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３００には、画像監視装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３００は、不審者を検出するための照合に使用される不審者データベースと、不審者を登録するための照合に使用される要注意人物データベースを記憶する。
【００５３】
報知部４００は、画像処理部２００と接続され、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置、スピーカまたは振動装置などを有する。そして報知部４００は、画像処理部２００が不審者を検知したとき、その旨を示すメッセージを表示したり、警報を発することにより、監視者に報知する。さらに報知部４００は、不審者の顔画像を表示するようにしてもよい。
なお報知部４００は、公衆通信回線または構内ローカルエリアネットワークなどを介して画像処理部２００と接続され、画像処理部２００と別個に配置された監視装置でもよい。
【００５４】
以下、図４に示したフローチャートを参照しつつ、本発明を適用した画像監視装置１０の不審者登録処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部２００を構成するマイクロプロセッサ上で動作し、画像監視装置１０全体を制御する制御部（図示せず）により制御される。
最初に、画像監視装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００へ送る（ステップＳ１００）。次に、画像処理部２００の人物領域検出手段２１１は、取得された監視画像から、人物が写っている人物領域を検出し、その人物領域を監視画像から切り出して人物画像を作成する（ステップＳ１１０）。次に、画像処理部２００は、一つ以上の人物領域が検出されたか否か判定する（ステップＳ１２０）。人物領域が全く検出されなかった場合、画像監視装置１０は不審者登録処理を終了する。
【００５５】
一方、ステップＳ１２０において、一つ以上の人物領域が検出され、人物画像が作成された場合、画像処理部２００は、作成された人物画像の中から、着目する人物画像を設定する（ステップＳ１３０）。そして画像処理部２００の顔領域検出手段２１２は、着目人物画像から、顔領域を検出し、着目顔画像を作成する（ステップＳ１４０）。その後、画像処理部２００の不審行動検知手段２１３は、着目人物画像または着目顔画像を用いて、着目人物画像に写っている着目人物の不審行動を検知する（ステップＳ１５０）。そして不審行動検知手段２１３は、着目人物が不審行動をとったか否か判定する（ステップＳ１６０）。着目人物が不審行動をとらなかったと判定された場合、画像処理部２００は制御をステップＳ１８０へ進める。一方、着目人物が不審行動をとったと判定された場合、画像処理部２００は、不審者登録判定処理を実行する（ステップＳ１７０）。なお、不審者登録判定処理の詳細については後述する。
【００５６】
その後、画像処理部２００は、監視画像から作成された人物画像のうち、着目されていない人物画像が残っているか否か判定する（ステップＳ１８０）。そして着目されていない人物画像が残っている場合、画像処理部２００は、制御をステップＳ１３０へ戻し、未だ着目されていない人物画像の中から、着目する人物画像を設定し、ステップＳ１４０〜Ｓ１８０の処理を繰り返す。
一方、ステップＳ１８０において、着目されていない人物画像が残っていない場合、画像監視装置１０は不審者登録処理を終了する。
画像監視装置１０は、上記の処理を、一定の時間間隔で繰り返す。
【００５７】
次に、図５に示したフローチャートを参照しつつ、不審者登録判定処理の詳細な手順について説明する。
着目人物が不審行動をとったと判定された場合、画像処理部２００の顔特徴量算出手段２１４は、着目人物に対応する着目顔画像から、顔特徴量を算出する（ステップＳ１７１）。そして、画像処理部２００の照合手段２１５は、算出された顔特徴量を用いて、着目顔画像と記憶部３００の要注意人物データベースに登録された各要注意人物の参照顔画像を照合し、着目顔画像と照合一致する参照顔画像があるか否か判定する（ステップＳ１７２）。そして、着目顔画像が何れかの要注意人物の参照顔画像と照合一致した場合、照合手段２１５は、着目人物は、その照合一致した参照顔画像に対応する要注意人物であると判定し、その要注意人物の識別子を要注意人物データベースから取得する（ステップＳ１７３）。不審者登録手段２１６の不審度加算手段２２１は、その識別子を参照して、着目人物であると判定された要注意人物に対応する不審度を１加算する（ステップＳ１７４）。そして、不審者登録手段２１６の不審度判定手段２２２は、着目人物であると判定された要注意人物の不審度が、所定の累計回数に達したか否か判定する（ステップＳ１７５）。不審度が所定の累計回数に達していない場合、画像処理部２００は、不審者登録処理を終了する。一方、不審度が所定の累計回数に達した場合、不審度判定手段２２２は、着目人物であると判定された要注意人物は不審者であると判定し、その要注意人物の識別子、参照顔画像などの情報を、不審者データベースに登録する（ステップＳ１７６）。またこのとき、要注意人物データベースにおいて不審者フラグを設定する。そして画像処理部２００は、不審者登録判定処理を終了する。
【００５８】
一方、ステップＳ１７２において、着目顔画像が何れの要注意者の参照顔画像とも照合一致しない場合、照合手段２１５は、着目人物は、どの要注意人物でもないと判定する（ステップＳ１７７）。その後、不審者登録手段２１６の顔画像登録手段２２３は、その着目人物を新たな要注意人物として要注意人物データベースに追加登録する（ステップＳ１７８）。具体的には、顔画像登録手段２２３は、その着目人物に対応する新た識別子を割り当て、要注意人物データベースに登録する。そして顔画像登録手段２２３は、照合に使用された顔画像を参照顔画像として、その新たに追加された識別子に関連付けて要注意人物データベースに格納する。さらに、顔画像登録手段２２３は、照合に用いた顔特徴量をその新たに追加された参照顔画像に関連付けて要注意人物データベースに格納する。また、不審度の初期値として１を設定する。なお上述したように、着目人物について検知した不審行動に応じて不審度の初期値を設定してもよい。その後、不審者登録手段２１６の３次元顔画像生成手段２２４は、着目人物の顔画像を用いて、その着目人物に対応する３次元顔モデルを作成し、着目人物に対応する追加登録された識別子に関連付けて、その３次元顔モデルを要注意人物データベースに格納する（ステップＳ１７９）。このときに、３次元顔画像生成手段２２４は、その３次元顔モデルから、表情、顔の向き、照明条件などを変化させた１または複数の参照顔画像を作成して、要注意人物データベースに格納してもよい。そして画像処理部２００は、不審者登録判定処理を終了する。
【００５９】
次に、図６に示したフローチャートを参照しつつ、本発明を適用した画像監視装置１０の不審者検知動作を説明する。なお、以下に説明する動作のフローは、画像監視装置１０全体を制御する制御部（図示せず）により制御される。
最初に、画像監視装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００へ送る（ステップＳ２００）。次に、画像処理部２００の人物領域検出手段２１１は、取得された監視画像から、人物が写っている人物領域を検出し、その人物領域を監視画像から切り出して人物画像を作成する（ステップＳ２１０）。次に、画像処理部２００は、一つ以上の人物領域が検出されたか否か判定する（ステップＳ２２０）。人物領域が全く検出されなかった場合、画像監視装置１０は不審者検知処理を終了する。
【００６０】
一方、ステップＳ２２０において、一つ以上の人物領域が検出され、人物画像が作成された場合、画像処理部２００は、作成された人物画像の中から、着目する人物画像を設定する（ステップＳ２３０）。そして画像処理部２００の顔領域検出手段２１２は、着目人物画像から、顔領域を検出し、着目顔画像を作成する（ステップＳ２４０）。そして画像処理部２００の顔特徴量算出手段２１４は、着目人物に対応する着目顔画像から、顔特徴量を算出する（ステップＳ２５０）。次に、画像処理部２００の照合手段２１５は、算出された顔特徴量を用いて、着目顔画像と記憶部３００の不審者データベースに登録された各不審者の参照顔画像を照合し、着目顔画像と照合一致する参照顔画像があるか否か判定する（ステップＳ２６０）。そして、着目顔画像が何れかの不審者の参照顔画像と照合一致した場合、照合手段２１５は、着目人物は、その照合一致した参照顔画像に対応する不審者であると判定し、報知部４００を介して不審者を検知したことを報知する（ステップＳ２７０）。
【００６１】
ステップＳ２７０の後、あるいはステップＳ２６０において、何れの参照顔画像も着目顔画像と照合一致しなかった場合、画像処理部２００は、監視画像から作成された人物画像のうち、着目されていない人物画像が残っているか否か判定する（ステップＳ２８０）。そして着目されていない人物画像が残っている場合、画像処理部２００は、制御をステップＳ２３０へ戻し、未だ着目されていない人物画像の中から、着目する人物画像を設定し、ステップＳ２４０〜Ｓ２８０の処理を繰り返す。
一方、ステップＳ２８０において、着目されていない人物画像が残っていない場合、画像監視装置１０は不審者検知処理を終了する。
画像監視装置１０は、上記の不審者検知処理を、一定の時間間隔で繰り返す。なお、画像処理部２００は、上記の不審者登録処理及び不審者検知処理を、撮像部１００により監視画像が取得される度、並列に実行してもよい。その際、人物画像の作成、顔画像の作成といった、不審者登録処理及び不審者検知処理で共通する処理については、一方の処理で行い、他方の処理では、その結果を利用するようにしてもよい。
【００６２】
以上説明してきたように、本発明を適用した画像監視装置１０は、監視領域を撮影した監視画像に写った人物について、監視画像や監視領域に設置されたセンサ情報に基づいて、その人物が不審な行動を行ったか否かを調べ、不審な行動をとったと判断した場合、その人物を、検知対象の要注意人物として自動的に登録する。画像監視装置１０は、登録された要注意人物が不審な行動を繰り返すと、その要注意人物を不審者として登録する。このように、画像監視装置１０は、対象者がとった不審行動を検知することにより、自動的に不審性の高い不審者を検知して登録することができる。そして画像監視装置１０は、登録された不審者が再度監視領域内に侵入した時に、監視画像から抽出した顔画像と不審者として登録された人物の顔画像とを照合することにより、その不審者を検知する。そのため、画像監視装置１０は、不審者を自動的に検知するとともに、不審者でない人物が誤って不審者として検出されることを防止することができる。さらに、画像監視装置１０は、要注意人物を登録する際に、要注意人物の３次元顔モデルを作成し、その３次元顔モデルを利用して、照合用の参照顔画像として、顔の向き、表情、照明条件などを様々に変えたものを作成するので、監視画像から得られた顔画像と近い条件で作成された参照顔画像を照合に利用できる。そのため、画像監視装置１０は、不審者を高い精度で検知することができる。
【００６３】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像処理部２００は、不審行動検知手段２１３とともに、あるいは不審行動検知手段２１３の代わりに、撮像部１００が取得した監視画像を観察するためのディスプレイと、タッチパネル、マウスまたはキーボードなど、監視画像上の特定領域を指定するための操作手段を備えたユーザインターフェースを備えていてもよい。そして、監視員が監視画像を参照しつつ不審行動をとった人物を検知して、その人物に相当する人物領域をディスプレイ上で設定するようにしてもよい。あるいは、ディスプレイ上に人物領域検出手段２１１による人物領域の検出結果も併せて表示し、表示された人物領域の中から、監視員が不審行動をとった人物に対応する人物領域を、ユーザインターフェースを介して選択できるようにしてもよい。このように、上記のユーザインターフェースは不審行動検知手段の代わりとして機能することができる。
【００６４】
また、照合手段２１５は、監視画像から顔画像が抽出されたときに、要注意人物データベースに登録された各要注意人物の参照顔画像を照合し、照合一致する要注意人物の参照顔画像があれば、この要注意人物の不審度を要注意人物データベースから取得して、入力された顔画像に対応する人物情報とともに報知部４００に出力してもよい。報知部４００では、監視画像において検出された要注意人物の情報を表示する。例えば、監視画像に重畳して監視画像中の人物領域に要注意人物である旨および現在の不審度を表示してよく、また、監視画像内に存在する要注意人物の人物情報および不審度をリスト表示してよい。
【００６５】
また、上記の実施形態では、要注意人物データベースと不審者データベースを別個に準備したが、不審者データベースを省略してもよい。不審者データベースを省略する場合、照合手段２１５は、不審者を検知する際、要注意人物データベースにおいて、不審者フラグが設定されている要注意人物のみを、照合の対象とする。
【００６６】
さらに、照合手段２１５は、要注意人物データベースまたは不審者データベースに登録されている３次元顔モデルを、監視画像から得られた顔画像に写っている人物の顔向きに合わせて修正し、その修正した３次元顔モデルを２次元に投影して参照顔画像を作成して、照合に使用してもよい。このように、照合に使用する顔画像と参照顔画像の顔の向きを一致させることで、顔画像上の特徴的な部位の位置を合わせることができるので、照合手段２１５は、高い照合精度を得ることができる。なお、顔向きを検出する具体的な手段については、不審行動検知手段２１３について説明した手段と同様のものを利用することができる。
【００６７】
さらに、３次元顔画像作成手段２２４が３次元顔モデルを作成する際、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした３次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、３次元顔画像作成手段２２４は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。あるいは、３次元顔モデル作成手段は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。
【００６８】
また、不審行動検知手段２１３を、所定の条件を満たした場合に不審行動を検出する代わりに、不審の程度を示す不審行動度を算出するように構成してもよい。この場合、不審度加算手段２２１を、照合手段２１５により、不審行動をとった人物が要注意人物データベースに登録された何れかの要注意人物と照合一致すると判定された場合、その要注意人物の識別子を参照して要注意人物データベースに記憶されているその要注意人物の不審度に不審行動度を累積加算するよう構成する。
例えば、上記（１）の行動に関しては、顔画像に写っている人物の顔の向きの角度を不審行動度とすることができ、上記（２）の行動に関しては、顔画像に写っている人物の顔の向きが重要物の方を向いている時間を不審行動度とすることができる。
さらには、不審行動検知手段２１３は、同時に複数の不審行動を検出するよう構成されてもよい。この場合、不審度加算手段２２１は、不審度を加算するにあたり、不審行動検知手段２１３が検出した不審行動の種別に応じて加算する不審度を変えてもよい。例えば、重大な不審行動については、加算する不審度を大きく設定することで、そのような重大な不審行動をとった人物を速やかに不審者と特定できるので、監視員は適切な対応をとることが可能となる。
【００６９】
また、上記の実施形態では、画像監視装置１０は、一旦不審者データベースに登録された人物が、監視領域内に再度進入したときに、初めて不審者として検知する。しかし、不審者データベースに登録される前であっても、着目する人物について検知された不審行動が重大な不審行動である場合には、その人物を不審者として報知するようにしてもよい。例えば、不審行動検知手段が、着目する人物が、立ち入り禁止区域内に長時間滞留している場合、上記のような不審者登録処理を実施するとともに、不審者として報知するようにしてもよい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００７０】
【図１】本発明を適用した画像監視装置の概略構成図である。
【図２】（ａ）は、対象人物の不審行動として、その対象人物が監視カメラに対して顔を背けて歩いている場合の対象人物の顔画像の概略図であり、（ｂ）は、対象人物の不審行動として、その対象人物が重要物を注視している場合の対象人物の顔画像の概略図である。
【図３】要注意人物データベースの模式図である。
【図４】本発明を適用した画像監視装置の不審者登録処理の動作を示すフローチャートである。
【図５】本発明を適用した画像監視装置の不審者登録判定処理の動作を示すフローチャートである。
【図６】本発明を適用した画像監視装置の不審者検知処理の動作を示すフローチャートである。
【符号の説明】
【００７１】
１０ 画像監視装置
１００ 撮像部
２００ 画像処理部
２１１ 人物領域検出手段
２１２ 顔領域検出手段
２１３ 不審行動検知手段
２１４ 顔特徴量算出手段
２１５ 照合手段
２１６ 不審者登録手段
２２１ 不審度加算手段
２２２ 不審度判定手段
２２３ 顔画像登録手段
２２４ ３次元顔画像生成手段
３００ 記憶部
４００ 報知部
【技術分野】
【０００１】
本発明は、画像監視装置に関し、特に、監視画像から不審者を検知する画像監視装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影した監視画像を、店員や保安員などの監視者が監視して、店舗内において万引きや暴力などの不正行為を行おうとする不審者を監視する監視方法が広く知られている。このような監視方法では、監視者の目視によって監視を行うので、監視者の負担が大きい。また、過去に上記のような不正行為を行ったことがあるなど、何等かの理由で要注意とされている要監視対象者が、監視画像中に写っている場合において、その要監視対象者を監視画像から検出しようとすると、監視者の能力または負荷状態に応じてその検出精度が大きく異なってしまう。
そこで、監視画像から自動的に不審者などを検知して、その旨を外部に喚起する店内監視システムが開発されている（特許文献１を参照）。係る店内監視システムでは、過去に不正行為を行ったことのある不審者の顔画像を予め登録しておく。そして、その店内監視システムは、監視画像から抽出された顔画像と予め登録された顔画像を照合して、一致すると判定すると、その旨を警報装置を通じて店員や保安員に報知する。
【０００３】
【特許文献１】特開２００７−３０６４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の店内監視システムでは、要監視対象者の顔画像は、監視者などが監視画像を目視により確認し、適切と思われるものを監視画像から切り出して登録することになる。そのため、監視者が、顔画像の登録操作を行う際に誤操作したり、勘違いなどにより異なる人物の顔画像を要監視対象者の顔画像として登録してしまうおそれがある。このように、本来要監視対象でない人物の顔画像を誤って店内監視システムに登録してしまうと、何ら不正行為や不審行動をとっていない人物を不審者扱いして、重大な顧客トラブルを招来する原因となり得る。
【０００５】
また、顔画像同士の照合を精度良く実施するためには、顔画像に写っている顔の向きが同じ方向を向いていることが望ましい。互いに異なる方向を向いた顔が写った顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状及び位置が異なっているために、照合に失敗する可能性が高くなる。しかしながら、店舗内などでは、人物の顔の向きは常に一定方向を向いているわけではないので、監視カメラで、決まった方向から撮影した顔画像を安定的に得ることは困難である。また、要監視対象者に対して、予め多数の方向から撮影した顔画像を準備することも困難である。そのため、上記の店内監視システムでは、要監視対象者の顔画像が正しく登録されていたとしても、その登録顔画像における顔の向きと監視画像に写った要監視対象者の顔の向きの差に起因して、照合精度が低下するおそれがある。さらに、このような顔向きの相違に起因する照合精度低下により、要監視対象者とは異なる監視画像中の人物の顔画像と登録されている要監視対象者の顔画像が一致すると判定してしまい、上記と同様に、何ら不正行為や不審行動をとっていない人物を不審者扱いして、重大な顧客トラブルを招来する原因となり得る。
【０００６】
そこで、本発明の目的は、監視画像から不審者を登録する際の登録間違いを防止することを可能にした画像監視装置を提供することにある。
また本発明の他の目的は、不審者でない人物が誤って不審者として判定されることを防止する画像監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
かかる課題を解決するための本発明は、監視領域を撮影して監視画像を取得する撮像手段と、監視画像から人物領域を検出する人物領域検出手段と、参照顔画像とその参照顔画像について設定された不審度とを記憶する記憶手段とを有し、不審度が所定以上の参照顔画像と人物領域に含まれる顔画像とが照合一致したときに報知出力する画像監視装置を提供する。係る画像監視装置は、人物領域に基づいて不審行動の有無を検知する不審行動検知手段と、不審行動と判定された人物領域に含まれる不審顔画像と参照顔画像とを照合する照合手段と、不審顔画像が参照顔画像と照合一致すれば、その参照顔画像に対応する不審度を加算し、不審顔画像が参照顔画像と照合一致しなければ、不審顔画像を別の参照顔画像として記憶手段に記憶する不審者登録手段とを有する。
かかる構成によれば、不審行動を検知しても直ちに不審者として登録せず、将来的に不審者になる可能性を記憶するに止め、不審性が担保された者のみが不審者として登録される。
【０００８】
また本発明に係る画像監視装置において、不審者登録手段は、不審顔画像を別の参照顔画像として記憶手段に記憶するときに、その不審顔画像を含む人物領域について不審行動検知手段が判定した不審行動に応じて不審度の初期値を設定することが好ましい。
かかる構成によれば、検知した不審行動の種類によっては最初から報知出力の対象になる不審度を設定するので、不審性の高い行動をとった人物を適切に検知対象とすることができる。
【０００９】
さらに、本発明に係る画像監視装置は、予め記憶した人間の顔の３次元形状を表す３次元形状モデルに、参照顔画像を合成して３次元顔画像を作成する３次元顔画像作成手段を有し、照合手段は、顔画像の顔の向きと一致するように、３次元顔画像の顔の向きを調整して２次元平面上に投影した顔画像を参照顔画像として不審顔画像と照合することが好ましい。
かかる構成によれば、係る画像監視装置は、監視画像における人物の顔向きにあわせて照合処理を行うので、検知対象として登録されている不審者の画像と顔の向きが異なっても適切な照合が可能となり誤判定を防止できる。
【発明の効果】
【００１０】
本発明に係る画像監視装置は、監視画像に写った人物の行動の不審性を調べ、その不審性が高い人物を検知対象として登録することにより、監視画像から不審者を精度よく検知することができるという効果を奏する。さらに、係る画像監視装置は、不審性が高くない人物を検知対象としないので、不審者でない人物が誤って不審者として検知されることを防止できるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、本発明に係る画像監視装置の実施の形態について図を参照しつつ説明する。
本発明を適用した画像監視装置は、監視領域を撮影した監視画像に写った人物について、監視画像や監視領域に設置されたセンサ情報に基づいて、その人物が不審な行動を行ったか否かを調べ、不審な行動をとったと判断した場合、その人物を、検知対象の要注意人物（本発明における不審度が所定未満の参照顔画像に対応する人物）として自動的に登録する。係る画像監視装置は、登録された要注意人物が不審な行動を繰り返すと、不審者（本発明における不審度が加算され、所定以上の不審度になった参照顔画像に対応する人物）として登録する。そして係る画像監視装置は、登録された不審者が再度監視領域内に侵入した時に、監視画像から抽出した顔画像と不審者として登録された人物の顔画像とを照合することにより、その不審者を検知する。このように、係る画像監視装置は、不審性の高い行動をとった人物を不審者として登録することにより、不審者を精度良く検知するとともに、不審者でない人物が誤って不審者として検出されることを防止するものである。
【００１２】
図１は、本発明を適用した画像監視装置１０の概略構成を示す。図１に示すように、画像監視装置１０は、撮像部１００、画像処理部２００、記憶部３００及び報知部４００を有する。以下、画像監視装置１０の各部について詳細に説明する。
【００１３】
撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、100msec）ごとに１フレーム取得する。撮像部１００は、画像処理部２００と接続され、取得した監視画像を画像処理部２００へ渡す。
【００１４】
画像処理部２００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部２００は、撮像部１００から受け取った監視画像に基づいて、不審者を検知する。そのために、画像処理部２００は、人物領域検出手段２１１、顔領域検出手段２１２、不審行動検知手段２１３、顔特徴量算出手段２１４、照合手段２１５及び不審者登録手段２１６を有する。
画像処理部２００の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部２００の各手段について詳細に説明する。
【００１５】
人物領域検出手段２１１は、撮像部１００から受け取った各監視画像から、人物が写っている領域である人物領域を抽出する。そのために、人物領域検出手段２１１は、例えば、監視画像上の部分領域から１以上の特徴量を算出し、その特徴量が、人物に対応すると考えられる所定の条件を満たす場合に、その部分領域を人物領域として抽出する。具体的には、人物領域検出手段２１１は、例えば、Sobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして特徴量は、例えば、その部分領域内における得られたエッジ画素の方向分布と、そのエッジ近傍の画素の輝度分布などとすることができる。一方、所定の条件は、人物を撮影した複数の画像から、それら特徴量の値を求めてその範囲を決定することにより、予め決定することができる。
【００１６】
あるいは、人物領域検出手段２１１は、予め定めたテンプレートを用いて監視画像とのテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、人物領域として抽出するようにしてもよい。さらにまた、人物領域検出手段２１１は、監視画像と、監視領域内に人物等の移動物体が存在しない状態で撮影された基準画像との差分を行い、その差分値が所定値以上となる画素が連結した差分領域を抽出する。そして人物領域検出手段２１１は、差分領域が人物に相当すると考えられるサイズ及び形状を有している場合、その差分領域を人物領域として抽出してもよい。
【００１７】
人物領域検出手段２１１は、人物領域を抽出すると、監視画像からその領域を切り出した人物画像を作成する。また、人物領域検出手段２１１は、元監視画像上での人物領域の重心位置及び大きさを示す人物領域情報を作成する。そして人物領域検出手段２１１は、人物画像及び関連する人物領域情報に、他の人物領域との識別に用いるための人物識別子を割り当て、それらを一つの人物情報とする。人物領域検出手段２１１は、得られた人物情報を、画像処理部２００の他の手段で利用できるように記憶部３００に記憶する。なお、人物領域検出手段２１１は、一つの監視画像中に複数の人物領域が存在する場合、全ての人物領域を抽出し、それぞれについて人物情報を作成し、記憶部３００に記憶する。その際、人物識別子は、人物情報ごとに異なる値が設定される。
【００１８】
顔領域検出手段２１２は、人物画像から、頭部に相当する領域を顔領域として抽出する。顔領域検出手段２１２は、例えば、人物画像からエッジを抽出したエッジ画像を作成する。そして顔領域検出手段２１２は、そのエッジ画像から、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出することができる。この場合において、顔領域検出手段２１２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは、顔領域検出手段２１２は、人物画像あるいは人物画像のエッジ画像に対して、予め準備した頭部のテンプレートを用いてテンプレートマッチングを行い、そのテンプレートマッチングの結果として得られた一致度が所定値以上となった領域を、顔領域として抽出することができる。さらにまた、顔領域検出手段２１２は、人物領域検出手段２１１により抽出された人物領域の頭部に相当すると考えられる領域を顔領域としてもよい（例えば、人物領域の上端部から、平均的な頭部のサイズ及び形状に相当する領域を切り出して、顔領域とする）。
【００１９】
顔領域検出手段２１２は、顔領域を抽出すると、人物画像あるいは監視画像から顔領域を切り出して顔画像を作成する。また、顔領域検出手段２１２は、作成した顔画像を、人物情報に関連付けて記憶部３００に記憶する。
【００２０】
不審行動検知手段２１３は、監視画像から作成された人物画像または顔画像に基づいて、その人物画像または顔画像に写っている人物が不審行動をとっているか否かを判定する。
不審行動検知手段２１３は、例えば、順次取得される監視画像から抽出された人物領域の時間的、空間的な変化が、予め定義された通常の時間的、空間的な変化と異なる態様を示すときに不審行動を検知する。通常の時間的、空間的な変化と異なる態様とは、監視カメラ（撮像部１００）にて撮影される人物について通常の行為と想定された行動パターンから外れる行為として監視画像中に現れるものであり、人物領域を解析することで検知することができる。
不審行動には、様々なものがある。不審行動の例として、以下のような行動が挙げられる。
（１）正当な理由（進行方向を向いている、他の人と会話している等）なく常に監視カメラから顔を背けている。この様子を図２（ａ）に示す。図２（ａ）では、対象者２０は、ドア２１から進入し、撮像部１００（監視カメラ）の方へ歩いてきている。しかし、対象者２０の顔の向きは、進行方向を向いておらず、また監視カメラから大きく顔を背けており、明らかに不自然な態度であることが分かる。
（２）高額商品や金庫などの重要物がある方向を長時間にわたって観察する。例えば、この行為は、重要物の強奪を試みようとしているときに行われる可能性がある。この様子を図２（ｂ）に示す。図２（ｂ）では、対象者２０は、棚の上に置かれた貴重品２２を観察している。そのために、対象者２０の顔の向きは、貴重品２２の方向を向いている。対象者２０が、図２（ｂ）に示すような顔の向きの状態を無用に長時間続けていたり、断続的に貴重品２２の方を向いていれば、明らかに不自然な態度であることが分かる。
（３）顔の向きを頻繁に変える。例えば、この行為は、万引きを試みようとしている際、店員の位置をしきりに確認するために行われる可能性がある。
（４）立ち入り禁止区域内に進入する。例えば、関係者以外立ち入り禁止の部屋に侵入する。
（５）オフィスビルの入り口のように、時間帯によっては人の流れの方向がほぼ決まっているような場合に、その流れと逆行する。同様に、立ち止まる人は少ないと思われる場所や時間帯において、一定時間以上立ち止まっている。この行為は、例えば、設備を破壊するなどの危険行為の準備をしているときに、該当する行為が行われる可能性がある。
（６）警備員を避ける行動を取る。例えば、警備員との距離を一定以上に保ち続ける。
【００２１】
不審行動検知手段２１３は、上記のような不審行動のうちの少なくとも一種類を、人物画像または顔画像に基づいて検知する。
例えば、不審行動検知手段２１３は、上記の不審行動のうち、（１）〜（３）の行為が行われたことを検知するために、顔画像における人物の顔の向きを検出する。不審行動検知手段２１３は、顔画像から顔の向きを検出する方法として、様々な方法を用いることができる。例えば、不審行動検知手段２１３は、まず、顔画像から顔の特徴的な部分である顔特徴点を抽出する。そして不審行動検知手段２１３は、抽出した顔特徴点の種別と顔画像上の位置情報（例えば、顔画像の左上端部を原点とする２次元座標値）を算出する。例えば、不審行動検知手段２１３は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。不審行動検知手段２１３は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、不審行動検知手段２１３は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして不審行動検知手段２１３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また不審行動検知手段２１３は、顔の各部位に相当するテンプレートと顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。
【００２２】
顔特徴点が抽出されると、不審行動検知手段２１３は、各顔特徴点の２次元的な分布を調べて、顔向きを検出する。具体的には、不審行動検知手段２１３は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして不審行動検知手段２１３は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。また不審行動検知手段２１３は、正中線の方向及び正中線から鼻尖点までの距離と、顔の向きとの関係を予め調べ、その関係を表すルックアップテーブルを予め記憶部３００に記憶しておく。そして不審行動検知手段２１３は、ルックアップテーブルを参照して、求めた正中線の方向及び正中線から鼻尖点までの距離に対応する顔の向きを求める。
【００２３】
また不審行動検知手段２１３は、抽出された顔特徴点と、人物の顔の３次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを推定してもよい。この場合、人の頭部の標準的な形状を模した３次元形状モデル（例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表される）を予め準備し、記憶部３００に記憶しておく。またその３次元形状モデルの両目尻、鼻尖点、口点といった３Ｄ顔特徴点の位置も記憶部３００に記憶しておく。
【００２４】
不審行動検知手段２１３は、監視画像より得られた顔画像から顔特徴点が抽出されると、３次元形状モデルについて、所定の回転量、並進量または拡大／縮小率にしたがってその顔向きを調整し、撮像部１００の結像光学系の像面と平行な面に仮想的に投影して、その面上における３Ｄ顔特徴点の位置を求める。そして不審行動検知手段２１３は、顔画像から抽出された各顔特徴点と、投影された３Ｄ顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。不審行動検知手段２１３は、回転量、並進量または拡大／縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの３次元形状モデルの顔の向きを求める。そして不審行動検知手段２１３は、その３次元形状モデルの顔の向きから、顔の向きを求めることができる。
なお、不審行動検知手段２１３は、顔画像から抽出された各顔特徴点を３次元空間内へ投影した後、３次元形状モデル上の３Ｄ顔特徴点との位置ずれ量が最小となるよう、３次元形状モデルに回転、並進、拡大／縮小などの処理を行って、その３次元形状モデルの顔の向きを決定してもよい。
このように、不審行動検知手段２１３は、顔画像の顔向きを検出する顔向き検出手段としても機能する。
【００２５】
上記の（１）の行為を検知する場合、不審行動検知手段２１３は、顔画像に写っている人物の顔の向きが監視カメラから背けられているか否かを判定する。そのために、不審行動検知手段２１３は、撮像部１００の方へ顔を向けた状態（以下、正対状態という）を基準として、顔画像における人物の顔の向きの角度を求める。不審行動検知手段２１３は、その角度が所定の閾値Th1以上であれば、顔画像に写っている人物は撮像部１００に対して顔を背けていると判定し、その角度が閾値Th1未満であれば、その人物は顔を背けていないと判定する。なお閾値Th1は、実験結果などに基づいて決定することができる。例えば、事前に、カメラに対して故意に顔を背けた状態とそうでない状態の人を撮影して、それぞれの状態における顔の向きの正対状態に対する角度を求める。そして、判別分析などを用いて、故意に顔を背けた状態における顔の向きの角度とそうでない状態における顔の向きの角度の境界値を求める。求めた境界値を閾値Th1とすることができる。
また、不審行動検知手段２１３は、対象とする顔画像において、目、鼻または口が顔領域の端部に位置し、かつその端部に位置する部位に関する顔特徴点が検出できなかった場合、その顔画像に写っている人物は撮像部１００に対して顔を背けていると判定してもよい。
【００２６】
不審行動検知手段２１３は、同一人物によると考えられる人物領域が、時間的に連続する複数の監視画像のうち、ある時点に取得された監視画像において検出されてから（以下、フレームインという）、所定時間経過後に取得された監視画像において検出されなくなるまで（以下、フレームアウトという）、あるいは最新の監視画像取得時までの時間のうち、一定以上、例えば９割以上に相当する時間の間、その人物が撮像部１００に対して顔を背けていれば、その人物が不審行動をとったと判定する。ただし、不審行動検知手段２１３は、フレームインから最新の監視画像取得時までの期間に基づいて、不審行動をとったか否か判定する場合、その期間が所定時間を超えてから、その判定を行うことが好ましい。この所定時間は、監視領域内に滞留する人物について、不審行動をとったと判定するのに必要最小限の時間であり、撮像される監視領域の広さに応じて設定され、例えば、１分間に設定される。
【００２７】
なお、上記のように、順次取得された複数の監視画像にわたって検出された人物領域が同一の人物によるものか否かを判定するために、不審行動検知手段２１３は、公知の様々なトラッキング処理を用いることができる。例えば、不審行動検知手段２１３は、最新の監視画像から抽出された人物領域のうち、着目する人物領域について、その着目人物領域の重心位置と、１フレーム前に取得された監視画像から抽出された全ての人物領域の重心位置との距離を求める。そして不審行動検知手段２１３は、最も重心間の距離の短い人物領域を、着目人物領域に写っている人物と同一人物の人物領域とすることができる。あるいは、不審行動検知手段２１３は、１フレーム前に取得された監視画像から抽出された着目人物領域について進行方向及び移動速度が求められている場合、その進行方向及び移動速度から、最新の監視画像におけるその人物の位置を推定してもよい。この場合、不審行動検知手段２１３は、最新の監視画像から抽出した人物領域のうち、その推定位置に最も近い人物領域を、１フレーム前の監視画像の着目人物領域に写っている人物と同一人物の人物領域とすることができる。そして不審行動検知手段２１３は、着目人物による最新の監視画像における人物領域と１フレーム前の監視画像における人物領域の重心位置の差を計算することにより、着目人物の進行方向及び移動速度を決定することができる。
このように、不審行動検知手段２１３は、順次取得される複数の監視画像において対応する人物領域をトラッキング（追跡）する追跡手段としても機能する。
【００２８】
上記の（２）の行為を検知する場合、予め、監視画像における、対象となる重要物の位置及び監視画像上に領域が求められ、記憶部３００に記憶される（なお、監視画像に重要物そのものが写っていない場合、仮想的に監視画像に設定される座標系を監視画像の外まで拡張し、その座標系上において、その重要物の位置及び領域を設定する）。そして不審行動検知手段２１３は、顔画像に写っている人物の顔の向きがその重要物の方を向いているか否かを判定する。例えば、その人物について求めた顔向きを表す方向ベクトルの延長線上に、重要物に対応する領域が存在すれば、不審行動検知手段２１３は、その人物は重要物の方を向いていると判定する。
そして不審行動検知手段２１３は、（１）の場合と同様に、その顔画像に対応する人物がフレームインしてからフレームアウトするまでの時間のうち、一定以上、例えば９割以上に相当する時間の間、その人物が同じ重要物の方を向いていれば、その人物が不審行動をとったと判定する。
【００２９】
上記の（３）の行為を検知する場合、不審行動検知手段２１３は、フレームインからフレームアウトするまでの間に、対象となる顔画像に写っている人物が顔の向きを所定角度差以上変更した合計回数を求める。そして不審行動検知手段２１３は、その合計回数が所定回数以上となった場合、その人物が不審行動をとったと判定する。ここで、顔画像に写っている人物が顔向きを変え始めてから変え終えるまでの間に、数フレーム分の監視画像が取得される場合もある。そのため、不審行動検知手段２１３は、最新の監視画像と、その１フレーム前から所定フレーム（例えば１０フレーム）前に取得された各監視画像の間で、同一人物によると考えられる顔画像に写っている顔の向きの角度差を求める。
【００３０】
なお、所定角度差は、人物が異なる方向を注視していると判断できる角度差であり、例えば、６０度とすることができる。また、所定回数は、実験などに基づいて決定される。例えば、所定回数を、一定期間（例えば５秒間）に１回以上顔の向きを変えると不審行動であると判断できる場合、一人の人物が監視領域内に滞留する平均的な時間をその一定期間で除した値とすることができる。
また、不審行動検知手段２１３は、対象となる顔画像に写っている人物が顔の向きを所定角度以上変更した間隔の平均値を求め、その平均値が、上記の一定期間以下であれば、その人物が不審行動をとったと判定してもよい。
【００３１】
上記の（４）の行為を検知する場合、予め、監視画像において、立ち入り禁止区域に相当する領域（以下、進入禁止領域という）が設定される。そして不審行動検知手段２１３は、監視画像から検出された人物領域の一部または全部が進入禁止領域と重なったことを検知すると、その人物領域に写っている人物が不審行動をとったと判定する。あるいは、不審行動検知手段２１３は、不審行動の誤検知を防止するために、人物領域の一部または全部が進入禁止領域と重なった状態が一定期間（例えば、１０秒）以上継続する場合（すなわち、その一定期間に取得された各監視画像において、人物領域の一部または全部が進入禁止領域と重なっている場合）、その人物領域に写っている人物が不審行動をとったと判定するようにしてもよい。
【００３２】
上記の（５）の行為を検知する場合、予め、監視画像における人の流れの方向及び時間帯が設定され、記憶部３００に記憶される。そして不審行動検知手段２１３は、順次取得された複数の監視画像から、トラッキング処理を用いて、検知対象となる人物の人物領域の移動方向を決定する。不審行動検知手段２１３は、監視画像から人物領域が検知された時間が、上記の時間帯に含まれる場合、その移動方向を表す方向ベクトルと、上記の時間帯に対応する人の流れの方向を表す方向ベクトルの内積値を求める。その内積値が、二つの方向ベクトルが逆方向を向いていると判断できる値（例えば、−０．９以下）の場合、不審行動検知手段２１３は、その人物が不審行動をとったと判定する。あるいは、不審行動検知手段２１３は、一定期間（例えば、３分間）以上、検知対象となる人物の人物領域の位置が監視画像上で変化しないとき、その人物が不審行動をとったと判定してもよい。
【００３３】
上記の（６）の行為を検知する場合、監視画像から警備員の位置を特定できるように、撮像部１００から見える位置に警備員であることを示すマーク（例えば、所定の形状及び色を持つ帽子）を、警備員に着用させる。不審行動検知手段２１３は、そのマークに対応するテンプレートを用いてテンプレートマッチングを行うことにより、警備員の位置を特定する。一方、不審行動検知手段２１３は、検知対象となる人物について、フレームインからフレームアウトするまでの間、その人物に相当する人物領域の位置と警備員の位置とが所定距離以上を保っている場合、その人物は不審行動をとったと判定する。この場合において、不審行動の誤検知を避けるために、不審行動検知手段２１３は、警備員の位置が判定対象となる人物の人物領域の位置へ接近を開始すると、当該人物領域の位置が、警備員の位置から離れる方向へ移動する場合に限り、その人物は不審行動をとったと判定するようにしてもよい。
【００３４】
なお、不審行動検知手段２１３は、監視画像から作成された人物画像及び顔画像だけでなく、画像監視装置１０に接続された監視カメラ以外のセンサからの入力情報も用いて不審行動を検知してもよい。この場合、画像監視装置１０は、監視領域に設置されたセンサから検知信号が入力される検知信号入力手段を備え、不審行動検知手段２１３はセンサから検知信号が入力されると当該センサが検知した人物領域を特定する。
例えば、監視領域に音響センサが設置され、画像監視装置１０は、その音響センサを通じて取得された音声（検知信号）から人の声を認識する音声認識手段（例えば、マイクロプロセッサ上で動作するソフトウェアの機能モジュールとして実装される）を有してもよい。そして、この場合、音声認識手段により、特定の不審キーワード（例：「逃げろ」「まずいぞ」）が検出されると、不審行動検知手段２１３は、その不審キーワード検出時の前後で取得された監視画像から、その音響センサの設置場所に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３５】
あるいは、監視領域内の熱変化を検出するための赤外線センサが設置され、画像監視装置１０を、その赤外線センサから検知信号を受信するように構成してもよい。この場合において、その赤外線センサが体温上昇に相当する温度変化を検知したとき、不審行動検知手段２１３は、その温度変化の検出時の前後で取得された監視画像から、その温度変化の検知位置に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３６】
さらに、監視領域内の所定区域を検知区域とする金属探知機が設置され、画像監視装置１０を、その金属探知機から検知信号を受信するように構成してもよい。この場合において、その金属探知機が所定量以上の金属体を所持している人物を検知したとき、不審行動検知手段２１３は、その検出時の前後で取得された監視画像から、金属探知機の検知区域に最も近い人物領域を検出する。そして不審行動検知手段２１３は、その人物領域に対応する人物が不審行動をとったと判定する。
【００３７】
不審行動検知手段２１３は、上記のように、ある人物が不審行動をとったと判定すると、その人物が写っている顔画像または人物画像に関連する人物情報に、不審行動を検知したことを示すフラグを設定する。
【００３８】
顔特徴量算出手段２１４は、顔領域検出手段２１２により作成された顔画像から、その顔画像に写っている人物固有の特徴量を顔特徴量として抽出する。顔特徴量は、例えば、顔画像における目、鼻、口といった顔の特徴的な部位の位置、形状及びそれら特徴的な部位または皮膚部分のテクスチャ情報とすることができる。さらにテクスチャ情報としては、例えば、各部位の輝度分散値、フラクタル次元、空間周波数分布などを用いることができる。しかし、顔特徴量算出手段２１４は、顔特徴量としてその他のテクスチャ情報を用いてもよい。顔特徴量算出手段２１４は、顔画像から顔特徴量を算出するための公知の様々な手法を用いることができる。例えば、顔特徴量算出手段２１４は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴量算出手段２１４は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、顔上の特徴的な部位の位置を抽出し、顔特徴量とすることができる。また顔特徴量算出手段２１４は、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素の位置及びその空間周波数分布を顔特徴量として算出してもよい。
顔特徴量算出手段２１４は、算出した顔特徴量を、その顔特徴量の算出に用いた顔画像に関連付けて記憶部３００に記憶する。
【００３９】
照合手段２１５は、監視画像から顔画像が抽出されると、監視画像中に写った人物が不審人物か否か判定するために、監視画像から作成された顔画像と不審者として不審者データベースに登録された人物の顔画像とを照合する。また、照合手段２１５は、不審行動が検出されると、不審行動を行ったと判定された人物が、過去に不審行動をとったことのある要注意人物と同一であるか否かを判定するために、不審行動を行ったと判定された人物の顔画像を、要注意人物データベースに登録された要注意人物の顔画像と照合する。
【００４０】
照合手段２１５では、不審人物か否かを判定する場合も、要注意人物か否かを判定する場合も、照合に使用する情報が異なるだけであり、照合処理そのものは同じものが使用される。そこで、以下では、監視画像中に写った人物が不審人物か否か判定する場合を例に説明する。
【００４１】
照合手段２１５は、着目する顔画像について求めた１以上の顔特徴量を、不審者データベースに登録された各人物の参照顔画像について求めた対応する参照顔特徴量と比較する。そして照合手段２１５は、顔特徴量と対応する参照顔特徴量の差の最小値を求める。照合手段２１５は、その最小差が所定の一致基準を満たす場合、着目する顔画像に写っている人物は、その最小差に対応する参照顔画像に写っている不審者と同一人物であると判定する。一方、照合手段２１５は、顔特徴量と対応する参照顔特徴量の差の最小値が所定の一致基準を満たさない場合、着目する顔画像に写っている人物は、登録されている不審者の何れでもないと判定する。
【００４２】
また、照合手段２１５は、照合処理として、上記の方法に限らず、公知の様々な照合方法を用いることができる。例えば、照合手段２１５は、着目する顔画像と不審者の参照顔画像とを照合するために、それら顔画像同士でパターンマッチングを行う。そして照合手段２１５は、顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。照合手段２１５は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、着目する顔画像に写っている人物を、一致度が最も高い値を有する参照顔画像に対応する不審者であると判断する。一方、照合手段２１５は、最も高い一致度でも所定の基準値を超えない場合、着目する顔画像に写っている人物はいずれの不審者でもないと判断する。
【００４３】
照合手段２１５は、着目する顔画像に対応する人物が不審者か否かの判定を行った場合において、その人物が何れかの不審者であると判断したとき、その旨を表す信号を報知部４００へ出力する。また照合手段２１５は、着目する顔画像に対応する人物が要注意人物か否かの判定を行った場合において、その判定結果を、不審者登録手段２１６へ通知する。照合手段２１５は、さらにその人物が何れかの要注意人物であると判定した場合、その要注意人物を識別するための識別子を不審者登録手段２１６へ通知し、その人物が何れの要注意人物でもないと判定した場合、着目する顔画像及びその顔画像について求めた顔特徴量を、不審者登録手段２１６へ通知する。
【００４４】
不審者登録手段２１６は、要注意人物データベースに登録された要注意人物が、不審行動をとったとき、その人物を不審者として登録するか否か判断する。そして所定の条件を満たす場合、不審者登録手段２１６は、その人物を不審者として不審者データベースに登録する。そのために、不審者登録手段２１６は、不審度加算手段２２１、不審度判定手段２２２、顔画像登録手段２２３及び３次元顔画像生成手段２２４を有する。
【００４５】
ここで、要注意人物データベースについて説明する。
図３に、要注意人物データベースの模式図を示す。図３に示すように、要注意人物データベース３００は、要注意人物ごとに、登録された要注意人物を他の要注意人物と識別するための識別子３１０と、照合に使用するための顔画像である参照顔画像３２０と、要注意人物について検知された不審行動の累積回数を表す不審度３３０と、不審者であるか否かを示す不審者フラグ３４０とを含む。なお要注意人物データベース３００では、登録された参照顔画像３２０は１枚に限られず、表情、顔向き、照明条件などを変えた複数のものが登録されていてもよい。また要注意人物データベース３００は、照合に顔画像から算出した顔特徴量を用いる場合、各参照顔画像に対応する顔特徴量も記憶する。さらに、要注意人物データベース３００は、参照顔画像を作成するための基準となる、要注意人物の３次元顔モデル（本発明の３次元顔画像に相当）を含んでいてもよい。不審度３３０は、各要注意人物について、不審行動が検知される度に１加算される。また図３において、識別子００２に対応する要注意人物のように、不審者フラグ３４０が設定されている場合、その要注意人物は、不審者として不審者データベースにも登録されていることを示す。
また、不審者データベースは、不審度及び不審者フラグを有さない点を除いて、要注意人物データベースと同様の構成を有するので、詳細な説明は省略する。
【００４６】
不審度加算手段２２１は、照合手段２１５により、不審行動をとった人物が、要注意人物データベースに登録された何れかの要注意人物と一致すると判定された場合、その要注意人物の識別子を参照して、要注意人物データベースに記憶されているその要注意人物の不審度を１加算する。そして、不審度加算手段２２１は、その要注意人物について不審者フラグが設定されていなければ、不審度判定手段２２２に、その要注意人物の識別子を通知する。
【００４７】
不審度判定手段２２２は、不審度加算手段２２１により通知された識別子に対応する要注意人物について、その要注意人物を不審者として登録するか否か判定する。具体的には、不審度判定手段２２２は、対象となる要注意人物の不審度が不審者判定用の度合いである所定の累計回数に達した場合、その要注意人物を不審者と判定する。そして不審度判定手段２２２は、要注意人物データベースに登録されている、その要注意人物の識別子、参照顔画像、顔特徴量、３次元顔モデルを、不審者データベースに追加登録する。なお、所定の累計回数は、画像監視装置１０の運用用途に応じて２以上の適切な値に設定すればよい。所定の累計回数を２以上に設定することで、同一の人物について少なくとも２回は不審行動が検知されないと、不審者として登録されないので、不審者でないものを誤って不審者として登録してしまう可能性を低減できる。例えば、本実施形態では、所定の累計回数は１０に設定した。
【００４８】
顔画像登録手段２２３は、照合手段２１５により、不審行動を行ったと判定された人物が、要注意人物データベースに登録された何れの要注意人物とも同一人物でないと判定された場合、その人物を新たな要注意人物として、要注意人物データベースに登録する。そのために顔画像登録手段２２３は、新規に登録した要注意人物に新規に識別子を割り当てる。また顔画像登録手段２２３は、その新規に登録した要注意人物の不審度を１に設定する。そして顔画像登録手段２２３は、不審行動をとった人物が要注意人物か否かを判定するための照合に用いた顔画像を、新規に登録した要注意人物の識別子に関連付けて要注意人物データベースに追加登録する。また顔画像登録手段２２３は、その顔画像について求められた顔特徴量も、新規に登録した要注意人物の識別子に関連付けて要注意人物データベースに追加登録してもよい。
なお、新規に登録した要注意人物の不審度は、不審行動検知手段２１３にて判定された不審行動の種別や度合いに応じて設定されてよい。この場合、不審行動検知手段２１３は、予め不審行動に応じた不審度の算出パラメータを記憶し、不審行動の判定結果とともに出力する。
【００４９】
３次元顔画像生成手段２２４は、予め記憶されている標準的な頭部の３次元形状モデルと監視画像から切り出した顔画像から、要注意人物の頭部を模した３次元顔モデル（本発明の３次元顔画像に相当）を作成する。このような３次元顔モデルを作成するために、３次元顔画像生成手段２２４は、例えば、特開２００３−６６４５号公報に開示された方法を用いることができる。具体的には、３次元顔画像生成手段２２４は、監視画像から取得した要注意人物の顔画像から、目、鼻などの特徴的な部位を抽出し、その部位を上記の３次元形状モデルの対応部位と位置合わせしてマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００５０】
さらに、３次元顔画像生成手段２２４は、予め複数の３次元形状モデルを準備しておき、そのうち最も適切な３次元形状モデルを選択して、対象者の３次元顔モデルを作成してもよい。この場合において、３次元顔画像生成手段２２４は、最も適切な３次元形状モデルを選択するために、上記のように顔画像から顔向きを検出するとともに、公知の光源方向推定手法により顔画像から光源方向を推定し、検出された顔向きに調節した各３次元形状モデルに推定された光源方向を適用して、投影陰影画像を作成する。そして３次元顔画像生成手段２２４は、作成した投影陰影画像のうち、顔画像と最も一致するものを選択し、選択した投影陰影画像に対応する３次元形状モデルを選択する。そして３次元顔画像生成手段２２４は、選択した３次元形状モデル上に特徴点の位置合わせをした上で顔画像をマッピングすることにより、対象者の顔に対応した３次元顔モデルを作成する。
【００５１】
３次元顔画像生成手段２２４は、要注意人物の３次元顔モデルを作成すると、その３次元顔モデルの顔の向き、表情、照明条件などを変更してレンダリングを行い、それらの条件に応じて修正された特定条件３次元顔モデルを作成する。そして３次元顔画像生成手段２２４は、３次元顔モデルまたは特定条件３次元顔モデルを２次元上に投影して、その要注意人物の参照顔画像を作成する。さらに、３次元顔画像生成手段２２４は、作成した参照顔画像から、顔特徴量算出手段２１４で行われるのと同様の処理を行って、その参照顔画像についての顔特徴量を算出する。
３次元顔画像生成手段２２４は、作成した３次元顔モデル、参照顔画像及び顔特徴量を、対応する要注意人物の識別子に関連付けて要注意人物データベースに登録する。これにより、一枚の顔画像から顔向き等が異なる複数の参照顔画像を得ることができる。
【００５２】
記憶部３００は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３００には、画像監視装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３００は、不審者を検出するための照合に使用される不審者データベースと、不審者を登録するための照合に使用される要注意人物データベースを記憶する。
【００５３】
報知部４００は、画像処理部２００と接続され、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置、スピーカまたは振動装置などを有する。そして報知部４００は、画像処理部２００が不審者を検知したとき、その旨を示すメッセージを表示したり、警報を発することにより、監視者に報知する。さらに報知部４００は、不審者の顔画像を表示するようにしてもよい。
なお報知部４００は、公衆通信回線または構内ローカルエリアネットワークなどを介して画像処理部２００と接続され、画像処理部２００と別個に配置された監視装置でもよい。
【００５４】
以下、図４に示したフローチャートを参照しつつ、本発明を適用した画像監視装置１０の不審者登録処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部２００を構成するマイクロプロセッサ上で動作し、画像監視装置１０全体を制御する制御部（図示せず）により制御される。
最初に、画像監視装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００へ送る（ステップＳ１００）。次に、画像処理部２００の人物領域検出手段２１１は、取得された監視画像から、人物が写っている人物領域を検出し、その人物領域を監視画像から切り出して人物画像を作成する（ステップＳ１１０）。次に、画像処理部２００は、一つ以上の人物領域が検出されたか否か判定する（ステップＳ１２０）。人物領域が全く検出されなかった場合、画像監視装置１０は不審者登録処理を終了する。
【００５５】
一方、ステップＳ１２０において、一つ以上の人物領域が検出され、人物画像が作成された場合、画像処理部２００は、作成された人物画像の中から、着目する人物画像を設定する（ステップＳ１３０）。そして画像処理部２００の顔領域検出手段２１２は、着目人物画像から、顔領域を検出し、着目顔画像を作成する（ステップＳ１４０）。その後、画像処理部２００の不審行動検知手段２１３は、着目人物画像または着目顔画像を用いて、着目人物画像に写っている着目人物の不審行動を検知する（ステップＳ１５０）。そして不審行動検知手段２１３は、着目人物が不審行動をとったか否か判定する（ステップＳ１６０）。着目人物が不審行動をとらなかったと判定された場合、画像処理部２００は制御をステップＳ１８０へ進める。一方、着目人物が不審行動をとったと判定された場合、画像処理部２００は、不審者登録判定処理を実行する（ステップＳ１７０）。なお、不審者登録判定処理の詳細については後述する。
【００５６】
その後、画像処理部２００は、監視画像から作成された人物画像のうち、着目されていない人物画像が残っているか否か判定する（ステップＳ１８０）。そして着目されていない人物画像が残っている場合、画像処理部２００は、制御をステップＳ１３０へ戻し、未だ着目されていない人物画像の中から、着目する人物画像を設定し、ステップＳ１４０〜Ｓ１８０の処理を繰り返す。
一方、ステップＳ１８０において、着目されていない人物画像が残っていない場合、画像監視装置１０は不審者登録処理を終了する。
画像監視装置１０は、上記の処理を、一定の時間間隔で繰り返す。
【００５７】
次に、図５に示したフローチャートを参照しつつ、不審者登録判定処理の詳細な手順について説明する。
着目人物が不審行動をとったと判定された場合、画像処理部２００の顔特徴量算出手段２１４は、着目人物に対応する着目顔画像から、顔特徴量を算出する（ステップＳ１７１）。そして、画像処理部２００の照合手段２１５は、算出された顔特徴量を用いて、着目顔画像と記憶部３００の要注意人物データベースに登録された各要注意人物の参照顔画像を照合し、着目顔画像と照合一致する参照顔画像があるか否か判定する（ステップＳ１７２）。そして、着目顔画像が何れかの要注意人物の参照顔画像と照合一致した場合、照合手段２１５は、着目人物は、その照合一致した参照顔画像に対応する要注意人物であると判定し、その要注意人物の識別子を要注意人物データベースから取得する（ステップＳ１７３）。不審者登録手段２１６の不審度加算手段２２１は、その識別子を参照して、着目人物であると判定された要注意人物に対応する不審度を１加算する（ステップＳ１７４）。そして、不審者登録手段２１６の不審度判定手段２２２は、着目人物であると判定された要注意人物の不審度が、所定の累計回数に達したか否か判定する（ステップＳ１７５）。不審度が所定の累計回数に達していない場合、画像処理部２００は、不審者登録処理を終了する。一方、不審度が所定の累計回数に達した場合、不審度判定手段２２２は、着目人物であると判定された要注意人物は不審者であると判定し、その要注意人物の識別子、参照顔画像などの情報を、不審者データベースに登録する（ステップＳ１７６）。またこのとき、要注意人物データベースにおいて不審者フラグを設定する。そして画像処理部２００は、不審者登録判定処理を終了する。
【００５８】
一方、ステップＳ１７２において、着目顔画像が何れの要注意者の参照顔画像とも照合一致しない場合、照合手段２１５は、着目人物は、どの要注意人物でもないと判定する（ステップＳ１７７）。その後、不審者登録手段２１６の顔画像登録手段２２３は、その着目人物を新たな要注意人物として要注意人物データベースに追加登録する（ステップＳ１７８）。具体的には、顔画像登録手段２２３は、その着目人物に対応する新た識別子を割り当て、要注意人物データベースに登録する。そして顔画像登録手段２２３は、照合に使用された顔画像を参照顔画像として、その新たに追加された識別子に関連付けて要注意人物データベースに格納する。さらに、顔画像登録手段２２３は、照合に用いた顔特徴量をその新たに追加された参照顔画像に関連付けて要注意人物データベースに格納する。また、不審度の初期値として１を設定する。なお上述したように、着目人物について検知した不審行動に応じて不審度の初期値を設定してもよい。その後、不審者登録手段２１６の３次元顔画像生成手段２２４は、着目人物の顔画像を用いて、その着目人物に対応する３次元顔モデルを作成し、着目人物に対応する追加登録された識別子に関連付けて、その３次元顔モデルを要注意人物データベースに格納する（ステップＳ１７９）。このときに、３次元顔画像生成手段２２４は、その３次元顔モデルから、表情、顔の向き、照明条件などを変化させた１または複数の参照顔画像を作成して、要注意人物データベースに格納してもよい。そして画像処理部２００は、不審者登録判定処理を終了する。
【００５９】
次に、図６に示したフローチャートを参照しつつ、本発明を適用した画像監視装置１０の不審者検知動作を説明する。なお、以下に説明する動作のフローは、画像監視装置１０全体を制御する制御部（図示せず）により制御される。
最初に、画像監視装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部２００へ送る（ステップＳ２００）。次に、画像処理部２００の人物領域検出手段２１１は、取得された監視画像から、人物が写っている人物領域を検出し、その人物領域を監視画像から切り出して人物画像を作成する（ステップＳ２１０）。次に、画像処理部２００は、一つ以上の人物領域が検出されたか否か判定する（ステップＳ２２０）。人物領域が全く検出されなかった場合、画像監視装置１０は不審者検知処理を終了する。
【００６０】
一方、ステップＳ２２０において、一つ以上の人物領域が検出され、人物画像が作成された場合、画像処理部２００は、作成された人物画像の中から、着目する人物画像を設定する（ステップＳ２３０）。そして画像処理部２００の顔領域検出手段２１２は、着目人物画像から、顔領域を検出し、着目顔画像を作成する（ステップＳ２４０）。そして画像処理部２００の顔特徴量算出手段２１４は、着目人物に対応する着目顔画像から、顔特徴量を算出する（ステップＳ２５０）。次に、画像処理部２００の照合手段２１５は、算出された顔特徴量を用いて、着目顔画像と記憶部３００の不審者データベースに登録された各不審者の参照顔画像を照合し、着目顔画像と照合一致する参照顔画像があるか否か判定する（ステップＳ２６０）。そして、着目顔画像が何れかの不審者の参照顔画像と照合一致した場合、照合手段２１５は、着目人物は、その照合一致した参照顔画像に対応する不審者であると判定し、報知部４００を介して不審者を検知したことを報知する（ステップＳ２７０）。
【００６１】
ステップＳ２７０の後、あるいはステップＳ２６０において、何れの参照顔画像も着目顔画像と照合一致しなかった場合、画像処理部２００は、監視画像から作成された人物画像のうち、着目されていない人物画像が残っているか否か判定する（ステップＳ２８０）。そして着目されていない人物画像が残っている場合、画像処理部２００は、制御をステップＳ２３０へ戻し、未だ着目されていない人物画像の中から、着目する人物画像を設定し、ステップＳ２４０〜Ｓ２８０の処理を繰り返す。
一方、ステップＳ２８０において、着目されていない人物画像が残っていない場合、画像監視装置１０は不審者検知処理を終了する。
画像監視装置１０は、上記の不審者検知処理を、一定の時間間隔で繰り返す。なお、画像処理部２００は、上記の不審者登録処理及び不審者検知処理を、撮像部１００により監視画像が取得される度、並列に実行してもよい。その際、人物画像の作成、顔画像の作成といった、不審者登録処理及び不審者検知処理で共通する処理については、一方の処理で行い、他方の処理では、その結果を利用するようにしてもよい。
【００６２】
以上説明してきたように、本発明を適用した画像監視装置１０は、監視領域を撮影した監視画像に写った人物について、監視画像や監視領域に設置されたセンサ情報に基づいて、その人物が不審な行動を行ったか否かを調べ、不審な行動をとったと判断した場合、その人物を、検知対象の要注意人物として自動的に登録する。画像監視装置１０は、登録された要注意人物が不審な行動を繰り返すと、その要注意人物を不審者として登録する。このように、画像監視装置１０は、対象者がとった不審行動を検知することにより、自動的に不審性の高い不審者を検知して登録することができる。そして画像監視装置１０は、登録された不審者が再度監視領域内に侵入した時に、監視画像から抽出した顔画像と不審者として登録された人物の顔画像とを照合することにより、その不審者を検知する。そのため、画像監視装置１０は、不審者を自動的に検知するとともに、不審者でない人物が誤って不審者として検出されることを防止することができる。さらに、画像監視装置１０は、要注意人物を登録する際に、要注意人物の３次元顔モデルを作成し、その３次元顔モデルを利用して、照合用の参照顔画像として、顔の向き、表情、照明条件などを様々に変えたものを作成するので、監視画像から得られた顔画像と近い条件で作成された参照顔画像を照合に利用できる。そのため、画像監視装置１０は、不審者を高い精度で検知することができる。
【００６３】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像処理部２００は、不審行動検知手段２１３とともに、あるいは不審行動検知手段２１３の代わりに、撮像部１００が取得した監視画像を観察するためのディスプレイと、タッチパネル、マウスまたはキーボードなど、監視画像上の特定領域を指定するための操作手段を備えたユーザインターフェースを備えていてもよい。そして、監視員が監視画像を参照しつつ不審行動をとった人物を検知して、その人物に相当する人物領域をディスプレイ上で設定するようにしてもよい。あるいは、ディスプレイ上に人物領域検出手段２１１による人物領域の検出結果も併せて表示し、表示された人物領域の中から、監視員が不審行動をとった人物に対応する人物領域を、ユーザインターフェースを介して選択できるようにしてもよい。このように、上記のユーザインターフェースは不審行動検知手段の代わりとして機能することができる。
【００６４】
また、照合手段２１５は、監視画像から顔画像が抽出されたときに、要注意人物データベースに登録された各要注意人物の参照顔画像を照合し、照合一致する要注意人物の参照顔画像があれば、この要注意人物の不審度を要注意人物データベースから取得して、入力された顔画像に対応する人物情報とともに報知部４００に出力してもよい。報知部４００では、監視画像において検出された要注意人物の情報を表示する。例えば、監視画像に重畳して監視画像中の人物領域に要注意人物である旨および現在の不審度を表示してよく、また、監視画像内に存在する要注意人物の人物情報および不審度をリスト表示してよい。
【００６５】
また、上記の実施形態では、要注意人物データベースと不審者データベースを別個に準備したが、不審者データベースを省略してもよい。不審者データベースを省略する場合、照合手段２１５は、不審者を検知する際、要注意人物データベースにおいて、不審者フラグが設定されている要注意人物のみを、照合の対象とする。
【００６６】
さらに、照合手段２１５は、要注意人物データベースまたは不審者データベースに登録されている３次元顔モデルを、監視画像から得られた顔画像に写っている人物の顔向きに合わせて修正し、その修正した３次元顔モデルを２次元に投影して参照顔画像を作成して、照合に使用してもよい。このように、照合に使用する顔画像と参照顔画像の顔の向きを一致させることで、顔画像上の特徴的な部位の位置を合わせることができるので、照合手段２１５は、高い照合精度を得ることができる。なお、顔向きを検出する具体的な手段については、不審行動検知手段２１３について説明した手段と同様のものを利用することができる。
【００６７】
さらに、３次元顔画像作成手段２２４が３次元顔モデルを作成する際、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像において顔の一部分の情報が欠落していることもある。そこで、顔画像をマッピングした３次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、３次元顔画像作成手段２２４は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理（例えば、スプライン補間、線形補間）を行って、欠落部分の画素の輝度値を算出する。あるいは、３次元顔モデル作成手段は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。
【００６８】
また、不審行動検知手段２１３を、所定の条件を満たした場合に不審行動を検出する代わりに、不審の程度を示す不審行動度を算出するように構成してもよい。この場合、不審度加算手段２２１を、照合手段２１５により、不審行動をとった人物が要注意人物データベースに登録された何れかの要注意人物と照合一致すると判定された場合、その要注意人物の識別子を参照して要注意人物データベースに記憶されているその要注意人物の不審度に不審行動度を累積加算するよう構成する。
例えば、上記（１）の行動に関しては、顔画像に写っている人物の顔の向きの角度を不審行動度とすることができ、上記（２）の行動に関しては、顔画像に写っている人物の顔の向きが重要物の方を向いている時間を不審行動度とすることができる。
さらには、不審行動検知手段２１３は、同時に複数の不審行動を検出するよう構成されてもよい。この場合、不審度加算手段２２１は、不審度を加算するにあたり、不審行動検知手段２１３が検出した不審行動の種別に応じて加算する不審度を変えてもよい。例えば、重大な不審行動については、加算する不審度を大きく設定することで、そのような重大な不審行動をとった人物を速やかに不審者と特定できるので、監視員は適切な対応をとることが可能となる。
【００６９】
また、上記の実施形態では、画像監視装置１０は、一旦不審者データベースに登録された人物が、監視領域内に再度進入したときに、初めて不審者として検知する。しかし、不審者データベースに登録される前であっても、着目する人物について検知された不審行動が重大な不審行動である場合には、その人物を不審者として報知するようにしてもよい。例えば、不審行動検知手段が、着目する人物が、立ち入り禁止区域内に長時間滞留している場合、上記のような不審者登録処理を実施するとともに、不審者として報知するようにしてもよい。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【図面の簡単な説明】
【００７０】
【図１】本発明を適用した画像監視装置の概略構成図である。
【図２】（ａ）は、対象人物の不審行動として、その対象人物が監視カメラに対して顔を背けて歩いている場合の対象人物の顔画像の概略図であり、（ｂ）は、対象人物の不審行動として、その対象人物が重要物を注視している場合の対象人物の顔画像の概略図である。
【図３】要注意人物データベースの模式図である。
【図４】本発明を適用した画像監視装置の不審者登録処理の動作を示すフローチャートである。
【図５】本発明を適用した画像監視装置の不審者登録判定処理の動作を示すフローチャートである。
【図６】本発明を適用した画像監視装置の不審者検知処理の動作を示すフローチャートである。
【符号の説明】
【００７１】
１０ 画像監視装置
１００ 撮像部
２００ 画像処理部
２１１ 人物領域検出手段
２１２ 顔領域検出手段
２１３ 不審行動検知手段
２１４ 顔特徴量算出手段
２１５ 照合手段
２１６ 不審者登録手段
２２１ 不審度加算手段
２２２ 不審度判定手段
２２３ 顔画像登録手段
２２４ ３次元顔画像生成手段
３００ 記憶部
４００ 報知部
【特許請求の範囲】
【請求項１】
監視領域を撮影して監視画像を取得する撮像手段と、前記監視画像から人物領域を検出する人物領域検出手段と、参照顔画像と該参照顔画像について設定された不審度とを記憶する記憶手段とを有し、前記不審度が所定以上の参照顔画像と前記人物領域に含まれる顔画像とが照合一致したときに報知出力する画像監視装置であって、
前記人物領域に基づいて不審行動の有無を検知する不審行動検知手段と、
前記不審行動と判定された人物領域に含まれる不審顔画像と前記参照顔画像とを照合する照合手段と、
前記不審顔画像が前記参照顔画像と照合一致すれば、該参照顔画像に対応する前記不審度を加算し、前記不審顔画像が前記参照顔画像と照合一致しなければ、前記不審顔画像を別の参照顔画像として前記記憶手段に記憶する不審者登録手段と、
を有することを特徴とする画像監視装置。
【請求項２】
前記不審者登録手段は、前記不審顔画像を前記別の参照顔画像として前記記憶手段に記憶するときに、該不審顔画像を含む前記人物領域について前記不審行動検知手段が判定した不審行動に応じて不審度の初期値を設定する、請求項１に記載の画像監視装置。
【請求項３】
予め記憶した人間の顔の３次元形状を表す３次元形状モデルに、前記参照顔画像を合成して３次元顔画像を作成する３次元顔画像作成手段をさらに有し、
前記照合手段は、前記顔画像の顔の向きと一致するように、前記３次元顔画像の顔の向きを調整して２次元平面上に投影した顔画像を前記参照顔画像として前記不審顔画像と照合する、請求項１または２に記載の画像監視装置。
【請求項１】
監視領域を撮影して監視画像を取得する撮像手段と、前記監視画像から人物領域を検出する人物領域検出手段と、参照顔画像と該参照顔画像について設定された不審度とを記憶する記憶手段とを有し、前記不審度が所定以上の参照顔画像と前記人物領域に含まれる顔画像とが照合一致したときに報知出力する画像監視装置であって、
前記人物領域に基づいて不審行動の有無を検知する不審行動検知手段と、
前記不審行動と判定された人物領域に含まれる不審顔画像と前記参照顔画像とを照合する照合手段と、
前記不審顔画像が前記参照顔画像と照合一致すれば、該参照顔画像に対応する前記不審度を加算し、前記不審顔画像が前記参照顔画像と照合一致しなければ、前記不審顔画像を別の参照顔画像として前記記憶手段に記憶する不審者登録手段と、
を有することを特徴とする画像監視装置。
【請求項２】
前記不審者登録手段は、前記不審顔画像を前記別の参照顔画像として前記記憶手段に記憶するときに、該不審顔画像を含む前記人物領域について前記不審行動検知手段が判定した不審行動に応じて不審度の初期値を設定する、請求項１に記載の画像監視装置。
【請求項３】
予め記憶した人間の顔の３次元形状を表す３次元形状モデルに、前記参照顔画像を合成して３次元顔画像を作成する３次元顔画像作成手段をさらに有し、
前記照合手段は、前記顔画像の顔の向きと一致するように、前記３次元顔画像の顔の向きを調整して２次元平面上に投影した顔画像を前記参照顔画像として前記不審顔画像と照合する、請求項１または２に記載の画像監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２４６７９９（Ｐ２００９−２４６７９９Ａ）
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願番号】特願２００８−９２６７３（Ｐ２００８−９２６７３）
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２１年１０月２２日（２００９．１０．２２）
【国際特許分類】
【出願日】平成２０年３月３１日（２００８．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]