監視カメラシステム及び監視カメラシステムの制御方法
【課題】監視者が常時監視カメラの画像を監視することなく、監視領域内での異常の発生を認識することが可能な監視カメラシステム及び監視カメラシステムの制御方法を提供する。
【解決手段】監視カメラシステムは、所与の領域を撮像して画像データ１００を生成する撮像部１０と、画像データ１００に基づいて撮像部１０で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された特徴情報を、人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部３０と、特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部５２と、通知信号を送信する送信部（通信処理部５４）とを含む。
【解決手段】監視カメラシステムは、所与の領域を撮像して画像データ１００を生成する撮像部１０と、画像データ１００に基づいて撮像部１０で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された特徴情報を、人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部３０と、特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部５２と、通知信号を送信する送信部（通信処理部５４）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラシステム及び監視カメラシステムの制御方法。
【背景技術】
【０００２】
住宅地などにおいて、安全性を確保するために監視カメラが利用されている。そして、これまでの監視カメラでは、監視領域の異常の有無は、監視者が監視カメラの画像を監視することによって判断していた。
【０００３】
監視カメラに求められる性質上、監視領域内で異常が発生した場合には、リアルタイムで異常を通知することが好ましいが、監視者が監視カメラの画像を常時監視することは困難である。
【特許文献１】特開２００４−１２０１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、監視者が常時監視カメラの画像を監視することなく、監視領域内での異常の発生を認識することを可能にする監視カメラシステム及び監視カメラシステムの制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明に係る監視カメラシステムは、
所与の領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記撮像部で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部と、
前記通知信号を送信する送信部と、
を含む。
【０００６】
本発明に係る監視カメラシステムは、所定の領域（撮像部の撮像領域）における同一人物の行動態様を検出し、これが通知条件を満たす場合に通知信号を送信する。これによると、監視者は、通知信号を受信することによって撮像部の撮像領域に異常な行動態様を示す人物が出現したことを認識することができることから、監視カメラのモニターを常時チェックすることなく、撮像領域内での異常の発生を認識することができる。すなわち、本発明によると、監視者に負担をかけることなく、撮像領域で異常が発生したことを認識することが可能な監視カメラシステムを提供することができる。
【０００７】
なお、本発明の監視カメラシステムでは、
前記通知信号生成部は、
新たに生成された前記特徴情報を、前記記憶部に格納されている他の前記特徴情報と比較して、前記新たに生成された特徴情報が所定の条件を満たす場合に前記通知信号を生成するようにしてもよい。
【０００８】
あるいは、本発明の監視カメラシステムでは、
前記通知信号生成部は、
前記記憶部に格納されているいずれかの前記特徴情報を、前記記憶部に格納されている他の前記特徴情報と比較して、前記特徴情報が所定の条件を満たす場合に前記通知信号を生成するようにしてもよい。
【０００９】
（２）この監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が前記所定の領域に滞在している滞在時間を求め、前記滞在時間が予め設定された値を超えた場合に前記通知信号を生成してもよい。
【００１０】
（３）この監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に前記所与の領域に進入した進入回数を求め、前記進入回数が予め設定された値を超えた場合に前記通知信号を生成してもよい。
【００１１】
（４）この監視カメラシステムにおいて、
前記送信部は、
前記通知信号に関連付けて、前記撮像部で撮像された人物の画像を表示するためのデータを送信してもよい。
【００１２】
これによると、監視者は、撮像領域内での異常の発生の有無のみならず、異常と認知される原因たる人物の画像を入手することが可能になる。
【００１３】
（５）この監視カメラシステムにおいて、
前記特徴情報生成部は、
前記画像データの各画素の画素情報に基づいて、前記画像データにおける前記顔の領域を特定し、
前記顔の領域の画素データを顔データとして抽出し、
抽出した顔データを正規化したデータに基づいて前記特徴情報を生成することを特徴としてもよい。
【００１４】
なお、「画素情報」とは、例えば、画素ごとの輝度や色相データであってもよく、これらの情報をＹＵＶ、ＲＧＢデータから得る構成としてもよい。
【００１５】
（６）本発明に係る監視カメラシステムの制御方法は、
所与の領域を撮像して画像データを生成する撮像手順と、
前記画像データに基づいて前記撮像手順で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成手順と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成手順と、
前記通知信号を送信する送信手順と、
を含む。
【００１６】
本発明に係る監視カメラシステムの制御方法は、所定の領域（撮像部の撮像領域）における同一人物の行動態様を検出し、これが通知条件を満たす場合に通知信号を送信する。これによると、監視者は、通知信号を受信することによって撮像部の撮像領域に異常な行動態様を示す人物が出現したことを認識することができることから、常時監視カメラのモニターをチェックすることなく、撮像領域内での異常の発生を認識することができる。すなわち、本発明によると、監視者に負担をかけることなく、撮像領域で異常が発生したことを認識することが可能な監視カメラシステムの制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した実施の形態に係る監視カメラシステムについて、図面を参照して説明する。ただし、本発明は以下に説明する内容に限定されるものではない。
【００１８】
１．本実施の形態に係る監視カメラシステムの構成
以下、本実施の形態に係る監視カメラシステムの構成について、図１を参照しながら説明する。なお、図１は、本実施の形態に係る監視カメラシステムのブロック図である。
【００１９】
本実施の形態に係る監視カメラシステムは、撮像部１０を含む。撮像部１０は、所定の領域を撮像して、図２に示す画像データ１００を生成する。なお、図２は、撮像部１０で生成された画像データ１００の一例を示す図である。撮像部１０は、受光素子を含んでいてもよい。受光素子は、入射光の強度、周波数、位相などの情報を電気信号に変換する光学素子である。撮像部１０は、また、該受光素子に光を入射させる光学系を含んでいてもよい。該光学系は、所与の領域からの光を受光素子に入射させるように設定されている。そして、撮像部１０は、受光素子に入射する入射光を光電変換することによって、所与の領域（撮像領域）の画像データを生成する。撮像部１０は、光学系の設定を調整することで、撮像領域を変更可能に構成されていてもよい。
【００２０】
本実施の形態に係る監視カメラシステムは、メモリ２２を含む。メモリ２２は、少なくとも１画像分の画像データ１００を格納する容量を有する記憶装置である。撮像部１０で生成された画像データ１００は、カメラインターフェース１２を介してメモリ２２に転送（ＤＭＡ転送）され、メモリ２２に格納される。メモリ２２は、ＤＲＡＭ、ＳＲＡＭ等の書き換え可能なメモリで構成することができる。
【００２１】
本実施の形態に係る監視カメラシステムは、特徴情報生成部３０を含む。特徴情報生成部３０は、撮像部１０で生成された画像データ（画像データ１００）に基づいて、撮像部１０で撮像された人物の顔の特徴を示す特徴情報（特徴ベクトル）を生成する特徴情報生成処理を行う。すなわち、特徴情報生成部３０は、図２に示す、人物が撮像された画像データ１００から、当該人物の顔の特徴を示す特徴情報を生成する。特徴情報生成部３０は、フレーム毎（１画像分の画像データ毎）に、特徴情報を生成する処理を行ってもよい。特徴情報生成部３０は、図示しないＤＭＡＣからのデータ転送終了タイミング信号によりフレームの区切りのタイミングを検出可能に構成されていてもよく、これにより、フレーム毎に特徴情報生成処理を行うことができる。なお、特徴情報を生成する処理の具体的な手順については後述する。
【００２２】
そして、特徴情報生成部３０で生成された特徴情報は、メモリ２４に格納される。本実施の形態では、該特徴情報は、人物が撮像された撮像日時情報と関連付けて格納される。なお、本実施の形態に係る監視カメラシステムでは、撮像部１０で撮像された人物が継続して所与の領域に滞在している滞在時間を計測する構成としてもよく、この場合、メモリ２４には、撮像された人物の顔の特徴を示す特徴情報に関連付けて、撮像日時情報及び計測された滞在時間を格納してもよい。
【００２３】
本実施の形態に係る監視カメラシステムは、通知信号生成部５２を含む。通知信号生成部５２は、特徴情報生成部３０で生成された特徴情報（特徴ベクトル）に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報（撮像日時情報及び滞在時間）の履歴が予め設定された通知条件を満たすか否かを判断し、通知条件を満たす場合に通知信号を生成する。
【００２４】
通知信号生成部５２は、同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に所与の領域（撮像部１０の撮像領域）に進入した進入回数を求め、進入回数が予め設定された値を超えた場合に通知信号を生成する構成としてもよい。
【００２５】
あるいは、通知信号生成部５２は、同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が所与の領域（撮像部１０の撮像領域）に滞在している滞在時間を求め、滞在時間が予め設定された値を超えた場合に通知信号を生成する構成としてもよい。
【００２６】
なお、これらは通知信号生成部５２に設定することができる通知条件の例であり、本発明がこれに限られるものではない。
【００２７】
本実施の形態に係る監視カメラシステムは、通信処理部５４を含む。通信処理部５４は、通知信号生成部５２で生成された通知信号を送信する。すなわち、通信処理部５４は、送信部と称してもよい。通信処理部５４は、通知信号を、予め設定された送信先に送信する。通信処理部５４は、例えば、電子メール形式で所定のアドレスに通知メールを送信する構成としてもよい。
【００２８】
本実施の形態では、通信処理部５４を、通知信号に関連付けて、撮像部１０で撮像された人物を表示するためのデータを送信する構成としてもよい。例えば、通信処理部５４は、通知信号に関連付けて、メモリ２４に格納された特徴情報を送信してもよい。あるいは本実施の形態では、撮像部１０で撮像された画像データ１００を圧縮する画像圧縮部５６と、該圧縮画像データを格納するメモリ２６を含んでいてもよく、通信処理部５４は、通知信号に関連付けて、該圧縮画像データを送信する構成としてもよい。このとき、特徴情報を受信する受信装置を、特徴情報又は圧縮画像データに基づき人物の顔画像を表示するための表示用画像データを生成し、表示する構成としてもよい。
【００２９】
本実施の形態に係る監視カメラシステムは上述のように構成されていてもよい。なお、カメラインターフェース１２、メモリ２２，２４，２６、及び、特徴情報生成部３０、通知信号生成部５２、通信処理部５４、画像圧縮部５６は、１つの集積回路装置（ＩＣ）２０として構成されていてもよい。図３には、集積回路装置２０の機能ブロック図を示す。集積回路装置２０では、撮像部１０からのフレームデータ転送終了タイミングをトリガに、特徴情報の生成（例えば、後述する顔画像検出、正規化、特徴ベクトル生成）、特徴ベクトル比較、通知信号生成、通信処理のすべてを、ＣＰＵ６２が制御する。また、ＤＭＡＣ６４は汎用で複数のチャンネルを持ち、バスに接続されている処理部すべてに使用することができる。
【００３０】
２．本実施の形態が採用する特徴情報生成手順及びこれを実現するための装置構成
以下、本実施の形態に係る監視カメラシステムが採用する特徴情報生成手順（特徴情報を生成する手順）及び、これを実現するための装置構成について説明する。
【００３１】
（１）特徴情報生成手順
以下、本実施の形態に係る監視カメラシステムが採用する特徴情報生成手順について説明する。ただし、本発明はこれに限られるものではない。図４は、この特徴情報生成手順を示すフローチャート図である。
【００３２】
はじめに、図２に示す画像データ１００の各画素の画素情報（例えば輝度情報や色相情報）に基づいて、画像データ１００における顔の領域を特定する（ステップＳ１０）。例えば、横方向の画素の輝度をすべて加算し、一定値以上の値となる行が一定数以上続いた場合には、当該行には顔が存在していると判断する。また、縦方向の画素の輝度をすべて加算し、一定値以上の値となる列が一定数以上続いた場合には、当該列には顔が存在していると判断する。そして、顔が存在している行列情報をあわせることによって、画像データにおける顔の領域を特定することができる。
【００３３】
次に、顔の領域の画素データを顔データとして抽出して正規化する（ステップＳ１２）。例えば顔の領域の画素データを拡大・縮小等することによって、正規化された顔データを生成することができる。
【００３４】
次に、正規化された顔データに基づいて、特徴情報を生成する（ステップＳ１４）。正規化されたデータに基づいて特徴情報を生成することによって、比較が可能な特徴情報を生成することができる。
【００３５】
（２）特徴情報を生成する処理（ステップＳ１４）の具体例
（２−１）固有顔方式について
本実施の形態では、固有顔方式で特徴情報を生成する。固有顔方式では、任意の顔画像を表す複数のベクトル（任意顔画像ベクトル）を識別するための特徴情報（特徴ベクトル）を、複数の固有顔に対する重みの組（集合）で記述する。この方式によると、異なる顔画像ベクトルからは異なる特徴ベクトルが生成されるため、生成された特徴ベクトルを比較することで、顔画像ベクトル（撮像された人物）の同一性を判断することができる。以下、固有顔方式で特徴情報（特徴ベクトル）を生成する方法について説明する。ただし、本発明にかかる監視カメラシステムに適用可能な特徴情報生成手段はこれに限られるものではない。
【００３６】
本実施の形態では、Ｎ個（Ｎは２以上の整数）の固有顔画像を示すベクトル（固有顔画像ベクトル）と、任意の顔画像を示すベクトル（任意顔画像ベクトル）との積和演算を行うことで、Ｎ個の積和値を算出する。そして、本実施の形態では、このように算出されたＮ個の積和値を固有値と呼び、その集合を任意顔画像ベクトルの特徴ベクトルとする。すなわち、任意顔の特徴ベクトルは、Ｎ次元のベクトル（用意した固有顔画像ベクトルの数と同じ次元のベクトル）として表現される。なお、固有顔画像ベクトルとは、任意顔画像ベクトルを算出するために予め用意された、固有顔画像を示すベクトルである。また、任意顔画像ベクトルとは、画像データ１００から抽出された顔画像を示すベクトルである。そして、本実施の形態では、固有顔画像ベクトルの数（Ｎの値）は、例えば、１００個程度としてもよい。
【００３７】
（２−２）固有顔方式による特徴ベクトル（特徴情報）生成手順
図５は、固有顔方式を適用した場合の、特徴ベクトルを生成する手順を説明するためのフローチャート図である。
【００３８】
はじめに、複数の固有顔画像ベクトル（Ｎ個の固有顔画像ベクトル）を用意する（ステップＳ２０）。なお、本実施の形態では、複数の顔画像を表す複数の顔画像ベクトルと、当該複数の顔画像ベクトルの平均ベクトルとの差分を示すベクトルを、固有顔画像ベクトルとする。すなわち、本ステップは、複数の顔画像を表す複数の顔画像ベクトルの平均ベクトルを算出するステップと、複数の顔画像ベクトルから平均ベクトルを引いて複数の固有顔画像ベクトルを算出するステップとを含んでいてもよい。
【００３９】
次に、任意顔画像ベクトルを生成する（ステップＳ２２）。任意顔画像ベクトルは、画像データ１００から人物の顔の領域の画素データを抽出し、正規化することで生成することができる。すなわち、本ステップで生成される任意顔画像ベクトルは、撮像部１０で撮像された人物の顔を表すベクトルである。
【００４０】
そして、任意顔画像ベクトルと固有顔画像ベクトルとの積和値を算出し、特徴ベクトルを生成する（ステップＳ２４）。正規化された顔画像データから任意顔画像ベクトルを生成することで、任意顔画像ベクトルの次元を調整することができ、固有顔画像ベクトルとの積和演算が可能になる。
【００４１】
（２−３）特徴ベクトルを生成する具体的な仕様及び演算手順の具体例
表１に、本実施の形態に適用可能なデータの具体的な仕様を示す。
【００４２】
【表１】
なお、顔画像ベクトルの次元とは、顔を表示する画像データの画素数で表すことができる。例えば、顔を表示する画像データの縦方向の画素数と、横方向の画素数との積が、顔画像ベクトルの次元となる。本実施の形態では、顔画像データを正規化することによって、任意顔画像ベクトルの次元を、固有顔画像ベクトルの次元と一致させることができ、比較可能な形態で特徴ベクトルを生成することができる。
【００４３】
表１に示す仕様のデータを利用した場合、任意顔画像ベクトルＡ（撮像された人物の顔画像ベクトル）、固有顔画像ベクトルF(0)は、
任意顔画像ベクトルA：（a0000,a0001,…,a9215）T
固有顔画像ベクトルF(0)：（f000000,f000001,…,f009215）
と表すことができる。
【００４４】
そして、これらのベクトルの積和演算を行えば、積和値を算出することができる。ここで、積和値（固有値）をK(0)とすると、K(0)は、
【００４５】
【数１】
と算出することができる。
【００４６】
なお、上式におけるAV0000,AV0001,…,AV9215は、固有顔画像ベクトルを算出する際に用いた平均ベクトルである。
【００４７】
そして、式（１）の演算をＮ個の固有顔画像ベクトルF(0)〜F(N)のそれぞれに対して行って、固有値K(0)〜K(N)を算出すれば、これを要素とする、任意顔画像ベクトルＡの特徴ベクトルを導出することができる。
【００４８】
（３）固有顔方式によって特徴情報を生成するための装置構成
（３−１）特徴情報生成部３０について
図６は、上述した固有顔方式を利用して特徴情報を生成することが可能な特徴情報生成部３０のブロック図である。以下、特徴情報生成部３０について説明する。
【００４９】
特徴情報生成部３０は、フレーム読み出し制御部３２を含む。フレーム読み出し制御部３２は、顔検出タイミング信号に基づいてメモリ２２の読み出しアドレスを生成し、メモリ２２からフレーム単位（１画像単位）で画像データを読み出す。読み出された画像データは、顔検出部３４及びフレームメモリ３６に格納される。
【００５０】
顔検出部３４では、図２に示す画像データ１００から、人物の顔の領域（位置及びサイズ）を特定する。顔検出部３４は、例えば、人物の顔の領域を、Ｘ座標及びＹ座標で抽出し、レジスタ３３，３５に格納する構成をなしていてもよい。
【００５１】
顔検出部３４で人物の顔の領域が特定されると、特徴ベクトル算出部４０に、特徴ベクトル算出タイミング信号が送られる。特徴ベクトル算出部４０は、特徴ベクトル算出タイミング信号に基づいてフレームメモリ３６読み出しアドレスを生成し、フレームメモリ３６から画像データを取得する。そして、特徴ベクトル算出部４０は、レジスタ３３，３５に格納されている顔の領域を特定するためのデータに基づいて画像データから顔データを抽出し、正規化し、特徴ベクトル算出処理を行う。なお、特徴ベクトル算出部４０は、通知要件判定タイミング信号を生成するように構成されていてもよい。このとき、通知信号生成部５２は、通知要件判定タイミング信号に従って、撮像された人物の同一性を判断し、撮像日時情報の履歴が予め設定された通知条件を満たすか否かを判断する。
【００５２】
（３−２）特徴ベクトル算出部４０について
次に、特徴ベクトル算出部４０について詳細に説明する。図７は、特徴ベクトル算出部４０について説明するための図である。
【００５３】
特徴ベクトル算出部４０は、プロセッサ４２を有する。プロセッサ４２は、ＣＰＵコア、割り込み機能、その他の制御に必要な機能を搭載している。すなわち、プロセッサ４２は、演算経過のタイミングを計り、汎用レジスタ４４を使用してすべての固有値の値を計算し、算出された特徴ベクトルをポート１バスを介してメモリ２４の所定のエリアに格納し、通知信号生成部５２に起動をかけるためのタイミング信号をオンにする。
【００５４】
特徴ベクトル算出部４０は、コントロールメモリ４６を有する。コントロールメモリ４６には、顔領域を特定し、顔画像データを正規化し、特徴ベクトルを算出するという、一連の機能を実現するためのプログラムが格納されている。そして、コントロールメモリ４６は、プロセッサ４２からのインストラクションアドレスを受けて、必要な情報を提供する。
【００５５】
（３−３）メモリ２４について
次に、メモリ２４の使用例について説明する。図８は、メモリ２４の使用例について説明するための図である。
【００５６】
メモリ２４には、固有顔画像ベクトル及び平均値ベクトルが格納される。この固有顔画像ベクトル及び平均値ベクトルに基づいて、特徴ベクトルが算出される。そして、算出された特徴ベクトルは、算出特徴ベクトルとしてメモリ２４に格納される。算出特徴ベクトルは、撮像された日時情報と関連付けられて、メモリ２４に格納される。
【００５７】
なお、算出特徴ベクトルは、撮像された人物の、所定の領域に滞在している滞在時間と関連付けられて、メモリ２４に格納されていてもよい。なお、該滞在時間を計測する方法は特に限定されるものではない。例えば、同一人物を表すと判断される特徴ベクトルが連続して現われている時間を計測して、この計測時間を同一人物の滞在時間とみなしてもよい。
【００５８】
そして、算出された特徴ベクトルは、撮像された人物の同一性が判断された後に、登録特徴ベクトルとしてメモリ２４に格納され、データベース化されてゆく。
【００５９】
なお、本実施の形態では、メモリ２４に格納された登録特徴ベクトルは、撮像後、所定の時間が経過した後に登録特徴ベクトルから削除してもよい。これにより、所定の時間内における同一人物の進入回数を計測することができる。
【００６０】
３．通知信号生成部５２について
本実施の形態に係る監視カメラシステムでは、通知信号生成部５２が、特徴情報（特徴ベクトル）に基づいて、通知信号を生成する条件（通知条件）を満たすか否かについて判断する。以下、通知信号生成部５２の動作について説明する。なお、図９は、通知信号生成部５２の動作を説明するためのフローチャート図である。
【００６１】
通知信号生成部５２は、登録特徴ベクトルとしてメモリ２４に格納された特徴ベクトルと、算出された特徴ベクトルとを比較し（ステップＳ３０）、両特徴ベクトルが表す人物の同一性を判断する（ステップＳ３２）。なお、本ステップは、算出特徴ベクトルと登録特長ベクトルとの完全一致を検討するものではなく、類似性を検討するものであってもよい。この場合には、本ステップで、両特徴ベクトルの類似性を検討し、類似性が閾値を超えた場合、両特徴ベクトルが表す人物に同一性がある（同一人物である）と判断する。なお、両特徴ベクトルの比較は、特徴ベクトルの要素毎に行ってもよい。また、両特徴ベクトルの比較は、特徴ベクトルから特定の要素（複数の要素からなる要素群）を抽出して、これを対比することによって行ってもよい。
【００６２】
そして、算出特徴ベクトルと登録特徴ベクトルとが同一人物を示していると判断された場合（ステップＳ３２におけるＹｅｓの場合）、当該登録特徴ベクトルのカウント値をインクリメントし（ステップＳ３４）、インクリメントされたカウント値が予め設定された値を超えたか否かについて判断する（ステップＳ３６）。
【００６３】
そして、カウント値が予め設定された値を超えた場合、通知信号を生成する（ステップＳ３８）。
【００６４】
なお、算出特徴ベクトルと登録特徴ベクトルとが表す人物に同一性がないと判断された場合（ステップＳ３２におけるＮｏの場合）、当該算出特徴ベクトルを新たな登録特徴ベクトルとして登録し、カウンタ値を１に設定する（ステップＳ４０）。
【００６５】
４．監視カメラシステムの動作について
以下、本実施の形態に係る監視カメラシステム全体の動作について説明する。図１０は、本実施の形態に係る監視カメラシステムの動作を示すフローチャート図である。
【００６６】
はじめに、初期設定を行う（ステップＳ５０）。初期設定は、固有顔画像ベクトル及び平均ベクトルの設定や、通知信号生成部の通知条件の設定などが挙げられる。
【００６７】
次に、メモリ２４に格納されている登録特徴ベクトルの撮像日時情報に基づいて、当該登録特徴ベクトルの有効期限が終了していないか確認する（ステップＳ５２）。ここで、有効期限が終了している登録特徴ベクトルが存在している場合には、これを削除する（ステップＳ５４）。
【００６８】
そして、顔位置検出処理を行い（ステップＳ５６）、顔が検出されたか否かについて判断する（ステップＳ５８）。言い換えると、本ステップで、画像データ１００に顔が撮像されているか否かについて判断する。
【００６９】
顔位置検出処理（ステップＳ５８）で顔が検出された場合、顔画像の正規化を行い（ステップＳ６０）、特徴ベクトルを生成し（ステップＳ６２）、生成された特徴ベクトルと登録特徴ベクトルとを比較する（ステップＳ６４）。
【００７０】
そして、カウンタ値が予め設定された値を超えたか否かについて検討し（ステップＳ６６）、カウンタ値が設定値を超えた場合に、通知信号を生成し、通報する（ステップＳ６８）。
【００７１】
本実施の形態に係る監視カメラシステムは、以上の動作を繰り返し行うことで、撮像部１０の撮像領域で発生した異常事態を常時検出し、リアルタイムに通報することができる。
【００７２】
５．効果
この監視カメラシステムによると、同一人物が所定の時間内に撮像部１０の撮像領域に進入した進入回数をカウントし、進入回数が予め設定された値を超えたときに、通知信号を送信する。すなわち、この監視カメラシステムは、撮像部１０の撮像領域で注意を要する事象が発生するとこれを感知して、自動的に通知信号を送信する。そのため、この監視カメラによれば、監視者は、画像を監視することなく、通知信号によって、撮像部１０の撮像領域で異常が発生したことを知ることができる。そのため、本発明によると、監視者が撮像画像を常時監視することなく、異常の発生をリアルタイムに検知することが可能な監視カメラシステムを提供することができる。
【００７３】
６．変形例
以下、本発明を適用した実施の形態の変形例について説明する。
【００７４】
本変形例に係る監視カメラシステムでは、通知信号生成部５２が通知信号を生成する通知条件が異なっている。以下、図１１を参照して、通知信号生成部の動作について説明する。なお、図１１は、通知信号生成部の動作を説明するためのフローチャート図である。
【００７５】
本変形例に係る監視カメラシステムでは、通知信号生成部は、撮像された人物が撮像領域内に滞在している滞在時間が、予め設定された値を超えたか否かを検討する（ステップＳ７０）。
【００７６】
そして、撮像された人物の滞在時間が予め設定された値（時間）を超えている場合（ステップＳ７０におけるＹｅｓの場合）、通知信号を生成する（ステップＳ７２）。
【００７７】
また、撮像された人物の滞在時間が予め設定された値を超えていない場合（ステップＳ７０におけるＮｏの場合）には、図９に示すステップＳ３０以降の手順を行う。
【００７８】
本変形例であっても、監視者の負担を軽減し、かつ、異常の発生をリアルタイムに通知することが可能な監視カメラシステムを提供することができる。
【図面の簡単な説明】
【００７９】
【図１】監視カメラシステムのブロック図。
【図２】画像データの概略図。
【図３】監視カメラシステムの機能ブロック図。
【図４】特徴情報を生成する手順を示すフローチャート図。
【図５】特徴ベクトルを生成する手順を示すフローチャート図。
【図６】特徴情報生成部のブロック図。
【図７】特徴ベクトル算出部のブロック図。
【図８】メモリの使用例を示す図。
【図９】通知信号生成部の動作を説明するためのフローチャート図。
【図１０】監視カメラシステムの動作を説明するためのフローチャート図。
【図１１】変形例に係る通知信号生成部の動作を説明するためのフローチャート図。
【符号の説明】
【００８０】
１０…撮像部、 １２…カメラインターフェース、 ２０…集積回路装置、 ２２…メモリ、 ２４…メモリ、 ２４…メモリ、 ２６…メモリ、 ３０…特徴情報生成部、 ３２…制御部、 ３４…顔検出部、 ３６…フレームメモリ、 ４０…特徴ベクトル算出部、 ４２…プロセッサ、 ４４…汎用レジスタ、 ４６…コントロールメモリ、 ５２…通知信号生成部、 ５４…通信処理部、 ５６…画像圧縮部、 １００…画像データ
【技術分野】
【０００１】
本発明は、監視カメラシステム及び監視カメラシステムの制御方法。
【背景技術】
【０００２】
住宅地などにおいて、安全性を確保するために監視カメラが利用されている。そして、これまでの監視カメラでは、監視領域の異常の有無は、監視者が監視カメラの画像を監視することによって判断していた。
【０００３】
監視カメラに求められる性質上、監視領域内で異常が発生した場合には、リアルタイムで異常を通知することが好ましいが、監視者が監視カメラの画像を常時監視することは困難である。
【特許文献１】特開２００４−１２０１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、監視者が常時監視カメラの画像を監視することなく、監視領域内での異常の発生を認識することを可能にする監視カメラシステム及び監視カメラシステムの制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
（１）本発明に係る監視カメラシステムは、
所与の領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記撮像部で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部と、
前記通知信号を送信する送信部と、
を含む。
【０００６】
本発明に係る監視カメラシステムは、所定の領域（撮像部の撮像領域）における同一人物の行動態様を検出し、これが通知条件を満たす場合に通知信号を送信する。これによると、監視者は、通知信号を受信することによって撮像部の撮像領域に異常な行動態様を示す人物が出現したことを認識することができることから、監視カメラのモニターを常時チェックすることなく、撮像領域内での異常の発生を認識することができる。すなわち、本発明によると、監視者に負担をかけることなく、撮像領域で異常が発生したことを認識することが可能な監視カメラシステムを提供することができる。
【０００７】
なお、本発明の監視カメラシステムでは、
前記通知信号生成部は、
新たに生成された前記特徴情報を、前記記憶部に格納されている他の前記特徴情報と比較して、前記新たに生成された特徴情報が所定の条件を満たす場合に前記通知信号を生成するようにしてもよい。
【０００８】
あるいは、本発明の監視カメラシステムでは、
前記通知信号生成部は、
前記記憶部に格納されているいずれかの前記特徴情報を、前記記憶部に格納されている他の前記特徴情報と比較して、前記特徴情報が所定の条件を満たす場合に前記通知信号を生成するようにしてもよい。
【０００９】
（２）この監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が前記所定の領域に滞在している滞在時間を求め、前記滞在時間が予め設定された値を超えた場合に前記通知信号を生成してもよい。
【００１０】
（３）この監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に前記所与の領域に進入した進入回数を求め、前記進入回数が予め設定された値を超えた場合に前記通知信号を生成してもよい。
【００１１】
（４）この監視カメラシステムにおいて、
前記送信部は、
前記通知信号に関連付けて、前記撮像部で撮像された人物の画像を表示するためのデータを送信してもよい。
【００１２】
これによると、監視者は、撮像領域内での異常の発生の有無のみならず、異常と認知される原因たる人物の画像を入手することが可能になる。
【００１３】
（５）この監視カメラシステムにおいて、
前記特徴情報生成部は、
前記画像データの各画素の画素情報に基づいて、前記画像データにおける前記顔の領域を特定し、
前記顔の領域の画素データを顔データとして抽出し、
抽出した顔データを正規化したデータに基づいて前記特徴情報を生成することを特徴としてもよい。
【００１４】
なお、「画素情報」とは、例えば、画素ごとの輝度や色相データであってもよく、これらの情報をＹＵＶ、ＲＧＢデータから得る構成としてもよい。
【００１５】
（６）本発明に係る監視カメラシステムの制御方法は、
所与の領域を撮像して画像データを生成する撮像手順と、
前記画像データに基づいて前記撮像手順で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成手順と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成手順と、
前記通知信号を送信する送信手順と、
を含む。
【００１６】
本発明に係る監視カメラシステムの制御方法は、所定の領域（撮像部の撮像領域）における同一人物の行動態様を検出し、これが通知条件を満たす場合に通知信号を送信する。これによると、監視者は、通知信号を受信することによって撮像部の撮像領域に異常な行動態様を示す人物が出現したことを認識することができることから、常時監視カメラのモニターをチェックすることなく、撮像領域内での異常の発生を認識することができる。すなわち、本発明によると、監視者に負担をかけることなく、撮像領域で異常が発生したことを認識することが可能な監視カメラシステムの制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した実施の形態に係る監視カメラシステムについて、図面を参照して説明する。ただし、本発明は以下に説明する内容に限定されるものではない。
【００１８】
１．本実施の形態に係る監視カメラシステムの構成
以下、本実施の形態に係る監視カメラシステムの構成について、図１を参照しながら説明する。なお、図１は、本実施の形態に係る監視カメラシステムのブロック図である。
【００１９】
本実施の形態に係る監視カメラシステムは、撮像部１０を含む。撮像部１０は、所定の領域を撮像して、図２に示す画像データ１００を生成する。なお、図２は、撮像部１０で生成された画像データ１００の一例を示す図である。撮像部１０は、受光素子を含んでいてもよい。受光素子は、入射光の強度、周波数、位相などの情報を電気信号に変換する光学素子である。撮像部１０は、また、該受光素子に光を入射させる光学系を含んでいてもよい。該光学系は、所与の領域からの光を受光素子に入射させるように設定されている。そして、撮像部１０は、受光素子に入射する入射光を光電変換することによって、所与の領域（撮像領域）の画像データを生成する。撮像部１０は、光学系の設定を調整することで、撮像領域を変更可能に構成されていてもよい。
【００２０】
本実施の形態に係る監視カメラシステムは、メモリ２２を含む。メモリ２２は、少なくとも１画像分の画像データ１００を格納する容量を有する記憶装置である。撮像部１０で生成された画像データ１００は、カメラインターフェース１２を介してメモリ２２に転送（ＤＭＡ転送）され、メモリ２２に格納される。メモリ２２は、ＤＲＡＭ、ＳＲＡＭ等の書き換え可能なメモリで構成することができる。
【００２１】
本実施の形態に係る監視カメラシステムは、特徴情報生成部３０を含む。特徴情報生成部３０は、撮像部１０で生成された画像データ（画像データ１００）に基づいて、撮像部１０で撮像された人物の顔の特徴を示す特徴情報（特徴ベクトル）を生成する特徴情報生成処理を行う。すなわち、特徴情報生成部３０は、図２に示す、人物が撮像された画像データ１００から、当該人物の顔の特徴を示す特徴情報を生成する。特徴情報生成部３０は、フレーム毎（１画像分の画像データ毎）に、特徴情報を生成する処理を行ってもよい。特徴情報生成部３０は、図示しないＤＭＡＣからのデータ転送終了タイミング信号によりフレームの区切りのタイミングを検出可能に構成されていてもよく、これにより、フレーム毎に特徴情報生成処理を行うことができる。なお、特徴情報を生成する処理の具体的な手順については後述する。
【００２２】
そして、特徴情報生成部３０で生成された特徴情報は、メモリ２４に格納される。本実施の形態では、該特徴情報は、人物が撮像された撮像日時情報と関連付けて格納される。なお、本実施の形態に係る監視カメラシステムでは、撮像部１０で撮像された人物が継続して所与の領域に滞在している滞在時間を計測する構成としてもよく、この場合、メモリ２４には、撮像された人物の顔の特徴を示す特徴情報に関連付けて、撮像日時情報及び計測された滞在時間を格納してもよい。
【００２３】
本実施の形態に係る監視カメラシステムは、通知信号生成部５２を含む。通知信号生成部５２は、特徴情報生成部３０で生成された特徴情報（特徴ベクトル）に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報（撮像日時情報及び滞在時間）の履歴が予め設定された通知条件を満たすか否かを判断し、通知条件を満たす場合に通知信号を生成する。
【００２４】
通知信号生成部５２は、同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に所与の領域（撮像部１０の撮像領域）に進入した進入回数を求め、進入回数が予め設定された値を超えた場合に通知信号を生成する構成としてもよい。
【００２５】
あるいは、通知信号生成部５２は、同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が所与の領域（撮像部１０の撮像領域）に滞在している滞在時間を求め、滞在時間が予め設定された値を超えた場合に通知信号を生成する構成としてもよい。
【００２６】
なお、これらは通知信号生成部５２に設定することができる通知条件の例であり、本発明がこれに限られるものではない。
【００２７】
本実施の形態に係る監視カメラシステムは、通信処理部５４を含む。通信処理部５４は、通知信号生成部５２で生成された通知信号を送信する。すなわち、通信処理部５４は、送信部と称してもよい。通信処理部５４は、通知信号を、予め設定された送信先に送信する。通信処理部５４は、例えば、電子メール形式で所定のアドレスに通知メールを送信する構成としてもよい。
【００２８】
本実施の形態では、通信処理部５４を、通知信号に関連付けて、撮像部１０で撮像された人物を表示するためのデータを送信する構成としてもよい。例えば、通信処理部５４は、通知信号に関連付けて、メモリ２４に格納された特徴情報を送信してもよい。あるいは本実施の形態では、撮像部１０で撮像された画像データ１００を圧縮する画像圧縮部５６と、該圧縮画像データを格納するメモリ２６を含んでいてもよく、通信処理部５４は、通知信号に関連付けて、該圧縮画像データを送信する構成としてもよい。このとき、特徴情報を受信する受信装置を、特徴情報又は圧縮画像データに基づき人物の顔画像を表示するための表示用画像データを生成し、表示する構成としてもよい。
【００２９】
本実施の形態に係る監視カメラシステムは上述のように構成されていてもよい。なお、カメラインターフェース１２、メモリ２２，２４，２６、及び、特徴情報生成部３０、通知信号生成部５２、通信処理部５４、画像圧縮部５６は、１つの集積回路装置（ＩＣ）２０として構成されていてもよい。図３には、集積回路装置２０の機能ブロック図を示す。集積回路装置２０では、撮像部１０からのフレームデータ転送終了タイミングをトリガに、特徴情報の生成（例えば、後述する顔画像検出、正規化、特徴ベクトル生成）、特徴ベクトル比較、通知信号生成、通信処理のすべてを、ＣＰＵ６２が制御する。また、ＤＭＡＣ６４は汎用で複数のチャンネルを持ち、バスに接続されている処理部すべてに使用することができる。
【００３０】
２．本実施の形態が採用する特徴情報生成手順及びこれを実現するための装置構成
以下、本実施の形態に係る監視カメラシステムが採用する特徴情報生成手順（特徴情報を生成する手順）及び、これを実現するための装置構成について説明する。
【００３１】
（１）特徴情報生成手順
以下、本実施の形態に係る監視カメラシステムが採用する特徴情報生成手順について説明する。ただし、本発明はこれに限られるものではない。図４は、この特徴情報生成手順を示すフローチャート図である。
【００３２】
はじめに、図２に示す画像データ１００の各画素の画素情報（例えば輝度情報や色相情報）に基づいて、画像データ１００における顔の領域を特定する（ステップＳ１０）。例えば、横方向の画素の輝度をすべて加算し、一定値以上の値となる行が一定数以上続いた場合には、当該行には顔が存在していると判断する。また、縦方向の画素の輝度をすべて加算し、一定値以上の値となる列が一定数以上続いた場合には、当該列には顔が存在していると判断する。そして、顔が存在している行列情報をあわせることによって、画像データにおける顔の領域を特定することができる。
【００３３】
次に、顔の領域の画素データを顔データとして抽出して正規化する（ステップＳ１２）。例えば顔の領域の画素データを拡大・縮小等することによって、正規化された顔データを生成することができる。
【００３４】
次に、正規化された顔データに基づいて、特徴情報を生成する（ステップＳ１４）。正規化されたデータに基づいて特徴情報を生成することによって、比較が可能な特徴情報を生成することができる。
【００３５】
（２）特徴情報を生成する処理（ステップＳ１４）の具体例
（２−１）固有顔方式について
本実施の形態では、固有顔方式で特徴情報を生成する。固有顔方式では、任意の顔画像を表す複数のベクトル（任意顔画像ベクトル）を識別するための特徴情報（特徴ベクトル）を、複数の固有顔に対する重みの組（集合）で記述する。この方式によると、異なる顔画像ベクトルからは異なる特徴ベクトルが生成されるため、生成された特徴ベクトルを比較することで、顔画像ベクトル（撮像された人物）の同一性を判断することができる。以下、固有顔方式で特徴情報（特徴ベクトル）を生成する方法について説明する。ただし、本発明にかかる監視カメラシステムに適用可能な特徴情報生成手段はこれに限られるものではない。
【００３６】
本実施の形態では、Ｎ個（Ｎは２以上の整数）の固有顔画像を示すベクトル（固有顔画像ベクトル）と、任意の顔画像を示すベクトル（任意顔画像ベクトル）との積和演算を行うことで、Ｎ個の積和値を算出する。そして、本実施の形態では、このように算出されたＮ個の積和値を固有値と呼び、その集合を任意顔画像ベクトルの特徴ベクトルとする。すなわち、任意顔の特徴ベクトルは、Ｎ次元のベクトル（用意した固有顔画像ベクトルの数と同じ次元のベクトル）として表現される。なお、固有顔画像ベクトルとは、任意顔画像ベクトルを算出するために予め用意された、固有顔画像を示すベクトルである。また、任意顔画像ベクトルとは、画像データ１００から抽出された顔画像を示すベクトルである。そして、本実施の形態では、固有顔画像ベクトルの数（Ｎの値）は、例えば、１００個程度としてもよい。
【００３７】
（２−２）固有顔方式による特徴ベクトル（特徴情報）生成手順
図５は、固有顔方式を適用した場合の、特徴ベクトルを生成する手順を説明するためのフローチャート図である。
【００３８】
はじめに、複数の固有顔画像ベクトル（Ｎ個の固有顔画像ベクトル）を用意する（ステップＳ２０）。なお、本実施の形態では、複数の顔画像を表す複数の顔画像ベクトルと、当該複数の顔画像ベクトルの平均ベクトルとの差分を示すベクトルを、固有顔画像ベクトルとする。すなわち、本ステップは、複数の顔画像を表す複数の顔画像ベクトルの平均ベクトルを算出するステップと、複数の顔画像ベクトルから平均ベクトルを引いて複数の固有顔画像ベクトルを算出するステップとを含んでいてもよい。
【００３９】
次に、任意顔画像ベクトルを生成する（ステップＳ２２）。任意顔画像ベクトルは、画像データ１００から人物の顔の領域の画素データを抽出し、正規化することで生成することができる。すなわち、本ステップで生成される任意顔画像ベクトルは、撮像部１０で撮像された人物の顔を表すベクトルである。
【００４０】
そして、任意顔画像ベクトルと固有顔画像ベクトルとの積和値を算出し、特徴ベクトルを生成する（ステップＳ２４）。正規化された顔画像データから任意顔画像ベクトルを生成することで、任意顔画像ベクトルの次元を調整することができ、固有顔画像ベクトルとの積和演算が可能になる。
【００４１】
（２−３）特徴ベクトルを生成する具体的な仕様及び演算手順の具体例
表１に、本実施の形態に適用可能なデータの具体的な仕様を示す。
【００４２】
【表１】
なお、顔画像ベクトルの次元とは、顔を表示する画像データの画素数で表すことができる。例えば、顔を表示する画像データの縦方向の画素数と、横方向の画素数との積が、顔画像ベクトルの次元となる。本実施の形態では、顔画像データを正規化することによって、任意顔画像ベクトルの次元を、固有顔画像ベクトルの次元と一致させることができ、比較可能な形態で特徴ベクトルを生成することができる。
【００４３】
表１に示す仕様のデータを利用した場合、任意顔画像ベクトルＡ（撮像された人物の顔画像ベクトル）、固有顔画像ベクトルF(0)は、
任意顔画像ベクトルA：（a0000,a0001,…,a9215）T
固有顔画像ベクトルF(0)：（f000000,f000001,…,f009215）
と表すことができる。
【００４４】
そして、これらのベクトルの積和演算を行えば、積和値を算出することができる。ここで、積和値（固有値）をK(0)とすると、K(0)は、
【００４５】
【数１】
と算出することができる。
【００４６】
なお、上式におけるAV0000,AV0001,…,AV9215は、固有顔画像ベクトルを算出する際に用いた平均ベクトルである。
【００４７】
そして、式（１）の演算をＮ個の固有顔画像ベクトルF(0)〜F(N)のそれぞれに対して行って、固有値K(0)〜K(N)を算出すれば、これを要素とする、任意顔画像ベクトルＡの特徴ベクトルを導出することができる。
【００４８】
（３）固有顔方式によって特徴情報を生成するための装置構成
（３−１）特徴情報生成部３０について
図６は、上述した固有顔方式を利用して特徴情報を生成することが可能な特徴情報生成部３０のブロック図である。以下、特徴情報生成部３０について説明する。
【００４９】
特徴情報生成部３０は、フレーム読み出し制御部３２を含む。フレーム読み出し制御部３２は、顔検出タイミング信号に基づいてメモリ２２の読み出しアドレスを生成し、メモリ２２からフレーム単位（１画像単位）で画像データを読み出す。読み出された画像データは、顔検出部３４及びフレームメモリ３６に格納される。
【００５０】
顔検出部３４では、図２に示す画像データ１００から、人物の顔の領域（位置及びサイズ）を特定する。顔検出部３４は、例えば、人物の顔の領域を、Ｘ座標及びＹ座標で抽出し、レジスタ３３，３５に格納する構成をなしていてもよい。
【００５１】
顔検出部３４で人物の顔の領域が特定されると、特徴ベクトル算出部４０に、特徴ベクトル算出タイミング信号が送られる。特徴ベクトル算出部４０は、特徴ベクトル算出タイミング信号に基づいてフレームメモリ３６読み出しアドレスを生成し、フレームメモリ３６から画像データを取得する。そして、特徴ベクトル算出部４０は、レジスタ３３，３５に格納されている顔の領域を特定するためのデータに基づいて画像データから顔データを抽出し、正規化し、特徴ベクトル算出処理を行う。なお、特徴ベクトル算出部４０は、通知要件判定タイミング信号を生成するように構成されていてもよい。このとき、通知信号生成部５２は、通知要件判定タイミング信号に従って、撮像された人物の同一性を判断し、撮像日時情報の履歴が予め設定された通知条件を満たすか否かを判断する。
【００５２】
（３−２）特徴ベクトル算出部４０について
次に、特徴ベクトル算出部４０について詳細に説明する。図７は、特徴ベクトル算出部４０について説明するための図である。
【００５３】
特徴ベクトル算出部４０は、プロセッサ４２を有する。プロセッサ４２は、ＣＰＵコア、割り込み機能、その他の制御に必要な機能を搭載している。すなわち、プロセッサ４２は、演算経過のタイミングを計り、汎用レジスタ４４を使用してすべての固有値の値を計算し、算出された特徴ベクトルをポート１バスを介してメモリ２４の所定のエリアに格納し、通知信号生成部５２に起動をかけるためのタイミング信号をオンにする。
【００５４】
特徴ベクトル算出部４０は、コントロールメモリ４６を有する。コントロールメモリ４６には、顔領域を特定し、顔画像データを正規化し、特徴ベクトルを算出するという、一連の機能を実現するためのプログラムが格納されている。そして、コントロールメモリ４６は、プロセッサ４２からのインストラクションアドレスを受けて、必要な情報を提供する。
【００５５】
（３−３）メモリ２４について
次に、メモリ２４の使用例について説明する。図８は、メモリ２４の使用例について説明するための図である。
【００５６】
メモリ２４には、固有顔画像ベクトル及び平均値ベクトルが格納される。この固有顔画像ベクトル及び平均値ベクトルに基づいて、特徴ベクトルが算出される。そして、算出された特徴ベクトルは、算出特徴ベクトルとしてメモリ２４に格納される。算出特徴ベクトルは、撮像された日時情報と関連付けられて、メモリ２４に格納される。
【００５７】
なお、算出特徴ベクトルは、撮像された人物の、所定の領域に滞在している滞在時間と関連付けられて、メモリ２４に格納されていてもよい。なお、該滞在時間を計測する方法は特に限定されるものではない。例えば、同一人物を表すと判断される特徴ベクトルが連続して現われている時間を計測して、この計測時間を同一人物の滞在時間とみなしてもよい。
【００５８】
そして、算出された特徴ベクトルは、撮像された人物の同一性が判断された後に、登録特徴ベクトルとしてメモリ２４に格納され、データベース化されてゆく。
【００５９】
なお、本実施の形態では、メモリ２４に格納された登録特徴ベクトルは、撮像後、所定の時間が経過した後に登録特徴ベクトルから削除してもよい。これにより、所定の時間内における同一人物の進入回数を計測することができる。
【００６０】
３．通知信号生成部５２について
本実施の形態に係る監視カメラシステムでは、通知信号生成部５２が、特徴情報（特徴ベクトル）に基づいて、通知信号を生成する条件（通知条件）を満たすか否かについて判断する。以下、通知信号生成部５２の動作について説明する。なお、図９は、通知信号生成部５２の動作を説明するためのフローチャート図である。
【００６１】
通知信号生成部５２は、登録特徴ベクトルとしてメモリ２４に格納された特徴ベクトルと、算出された特徴ベクトルとを比較し（ステップＳ３０）、両特徴ベクトルが表す人物の同一性を判断する（ステップＳ３２）。なお、本ステップは、算出特徴ベクトルと登録特長ベクトルとの完全一致を検討するものではなく、類似性を検討するものであってもよい。この場合には、本ステップで、両特徴ベクトルの類似性を検討し、類似性が閾値を超えた場合、両特徴ベクトルが表す人物に同一性がある（同一人物である）と判断する。なお、両特徴ベクトルの比較は、特徴ベクトルの要素毎に行ってもよい。また、両特徴ベクトルの比較は、特徴ベクトルから特定の要素（複数の要素からなる要素群）を抽出して、これを対比することによって行ってもよい。
【００６２】
そして、算出特徴ベクトルと登録特徴ベクトルとが同一人物を示していると判断された場合（ステップＳ３２におけるＹｅｓの場合）、当該登録特徴ベクトルのカウント値をインクリメントし（ステップＳ３４）、インクリメントされたカウント値が予め設定された値を超えたか否かについて判断する（ステップＳ３６）。
【００６３】
そして、カウント値が予め設定された値を超えた場合、通知信号を生成する（ステップＳ３８）。
【００６４】
なお、算出特徴ベクトルと登録特徴ベクトルとが表す人物に同一性がないと判断された場合（ステップＳ３２におけるＮｏの場合）、当該算出特徴ベクトルを新たな登録特徴ベクトルとして登録し、カウンタ値を１に設定する（ステップＳ４０）。
【００６５】
４．監視カメラシステムの動作について
以下、本実施の形態に係る監視カメラシステム全体の動作について説明する。図１０は、本実施の形態に係る監視カメラシステムの動作を示すフローチャート図である。
【００６６】
はじめに、初期設定を行う（ステップＳ５０）。初期設定は、固有顔画像ベクトル及び平均ベクトルの設定や、通知信号生成部の通知条件の設定などが挙げられる。
【００６７】
次に、メモリ２４に格納されている登録特徴ベクトルの撮像日時情報に基づいて、当該登録特徴ベクトルの有効期限が終了していないか確認する（ステップＳ５２）。ここで、有効期限が終了している登録特徴ベクトルが存在している場合には、これを削除する（ステップＳ５４）。
【００６８】
そして、顔位置検出処理を行い（ステップＳ５６）、顔が検出されたか否かについて判断する（ステップＳ５８）。言い換えると、本ステップで、画像データ１００に顔が撮像されているか否かについて判断する。
【００６９】
顔位置検出処理（ステップＳ５８）で顔が検出された場合、顔画像の正規化を行い（ステップＳ６０）、特徴ベクトルを生成し（ステップＳ６２）、生成された特徴ベクトルと登録特徴ベクトルとを比較する（ステップＳ６４）。
【００７０】
そして、カウンタ値が予め設定された値を超えたか否かについて検討し（ステップＳ６６）、カウンタ値が設定値を超えた場合に、通知信号を生成し、通報する（ステップＳ６８）。
【００７１】
本実施の形態に係る監視カメラシステムは、以上の動作を繰り返し行うことで、撮像部１０の撮像領域で発生した異常事態を常時検出し、リアルタイムに通報することができる。
【００７２】
５．効果
この監視カメラシステムによると、同一人物が所定の時間内に撮像部１０の撮像領域に進入した進入回数をカウントし、進入回数が予め設定された値を超えたときに、通知信号を送信する。すなわち、この監視カメラシステムは、撮像部１０の撮像領域で注意を要する事象が発生するとこれを感知して、自動的に通知信号を送信する。そのため、この監視カメラによれば、監視者は、画像を監視することなく、通知信号によって、撮像部１０の撮像領域で異常が発生したことを知ることができる。そのため、本発明によると、監視者が撮像画像を常時監視することなく、異常の発生をリアルタイムに検知することが可能な監視カメラシステムを提供することができる。
【００７３】
６．変形例
以下、本発明を適用した実施の形態の変形例について説明する。
【００７４】
本変形例に係る監視カメラシステムでは、通知信号生成部５２が通知信号を生成する通知条件が異なっている。以下、図１１を参照して、通知信号生成部の動作について説明する。なお、図１１は、通知信号生成部の動作を説明するためのフローチャート図である。
【００７５】
本変形例に係る監視カメラシステムでは、通知信号生成部は、撮像された人物が撮像領域内に滞在している滞在時間が、予め設定された値を超えたか否かを検討する（ステップＳ７０）。
【００７６】
そして、撮像された人物の滞在時間が予め設定された値（時間）を超えている場合（ステップＳ７０におけるＹｅｓの場合）、通知信号を生成する（ステップＳ７２）。
【００７７】
また、撮像された人物の滞在時間が予め設定された値を超えていない場合（ステップＳ７０におけるＮｏの場合）には、図９に示すステップＳ３０以降の手順を行う。
【００７８】
本変形例であっても、監視者の負担を軽減し、かつ、異常の発生をリアルタイムに通知することが可能な監視カメラシステムを提供することができる。
【図面の簡単な説明】
【００７９】
【図１】監視カメラシステムのブロック図。
【図２】画像データの概略図。
【図３】監視カメラシステムの機能ブロック図。
【図４】特徴情報を生成する手順を示すフローチャート図。
【図５】特徴ベクトルを生成する手順を示すフローチャート図。
【図６】特徴情報生成部のブロック図。
【図７】特徴ベクトル算出部のブロック図。
【図８】メモリの使用例を示す図。
【図９】通知信号生成部の動作を説明するためのフローチャート図。
【図１０】監視カメラシステムの動作を説明するためのフローチャート図。
【図１１】変形例に係る通知信号生成部の動作を説明するためのフローチャート図。
【符号の説明】
【００８０】
１０…撮像部、 １２…カメラインターフェース、 ２０…集積回路装置、 ２２…メモリ、 ２４…メモリ、 ２４…メモリ、 ２６…メモリ、 ３０…特徴情報生成部、 ３２…制御部、 ３４…顔検出部、 ３６…フレームメモリ、 ４０…特徴ベクトル算出部、 ４２…プロセッサ、 ４４…汎用レジスタ、 ４６…コントロールメモリ、 ５２…通知信号生成部、 ５４…通信処理部、 ５６…画像圧縮部、 １００…画像データ
【特許請求の範囲】
【請求項１】
所与の領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記撮像部で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部と、
前記通知信号を送信する送信部と、
を含む監視カメラシステム。
【請求項２】
請求項１に記載の監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が前記所定の領域に滞在している滞在時間を求め、前記滞在時間が予め設定された値を超えた場合に前記通知信号を生成する監視カメラシステム。
【請求項３】
請求項１に記載の監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に前記所与の領域に進入した進入回数を求め、前記進入回数が予め設定された値を超えた場合に前記通知信号を生成する監視カメラシステム。
【請求項４】
請求項１から請求項３のいずれかに記載の監視カメラシステムにおいて、
前記送信部は、
前記通知信号に関連付けて、前記撮像部で撮像された人物の画像を表示するためのデータを送信する監視カメラシステム。
【請求項５】
請求項１から請求項４のいずれかに記載の監視カメラシステムにおいて、
前記特徴情報生成部は、
前記画像データの各画素の画素情報に基づいて、前記画像データにおける前記顔の領域を特定し、
前記顔の領域の画素データを顔データとして抽出し、
抽出した顔データを正規化したデータに基づいて前記特徴情報を生成することを特徴とする監視カメラシステム。
【請求項６】
所与の領域を撮像して画像データを生成する撮像手順と、
前記画像データに基づいて前記撮像手順で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成手順と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成手順と、
前記通知信号を送信する送信手順と、
を含む監視カメラシステムの制御方法。
【請求項１】
所与の領域を撮像して画像データを生成する撮像部と、
前記画像データに基づいて前記撮像部で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成部と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成部と、
前記通知信号を送信する送信部と、
を含む監視カメラシステム。
【請求項２】
請求項１に記載の監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が前記所定の領域に滞在している滞在時間を求め、前記滞在時間が予め設定された値を超えた場合に前記通知信号を生成する監視カメラシステム。
【請求項３】
請求項１に記載の監視カメラシステムにおいて、
前記通知信号生成部は、
同一人物にかかる撮像日時情報の履歴に基づいて、当該人物が、所定の時間内に前記所与の領域に進入した進入回数を求め、前記進入回数が予め設定された値を超えた場合に前記通知信号を生成する監視カメラシステム。
【請求項４】
請求項１から請求項３のいずれかに記載の監視カメラシステムにおいて、
前記送信部は、
前記通知信号に関連付けて、前記撮像部で撮像された人物の画像を表示するためのデータを送信する監視カメラシステム。
【請求項５】
請求項１から請求項４のいずれかに記載の監視カメラシステムにおいて、
前記特徴情報生成部は、
前記画像データの各画素の画素情報に基づいて、前記画像データにおける前記顔の領域を特定し、
前記顔の領域の画素データを顔データとして抽出し、
抽出した顔データを正規化したデータに基づいて前記特徴情報を生成することを特徴とする監視カメラシステム。
【請求項６】
所与の領域を撮像して画像データを生成する撮像手順と、
前記画像データに基づいて前記撮像手順で撮像された人物の顔の特徴を示す特徴情報を生成し、生成された前記特徴情報を、前記人物が撮像された撮像日時情報と関連付けて記憶部に格納する特徴情報生成手順と、
前記特徴情報に基づき、撮像された人物の同一性を判断し、同一人物にかかる撮像日時情報の履歴が予め設定された通知条件を満たすか否か判断し、満たす場合に通知信号を生成する通知信号生成手順と、
前記通知信号を送信する送信手順と、
を含む監視カメラシステムの制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−３１０４６４（Ｐ２００７−３１０４６４Ａ）
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−１３６４４５（Ｐ２００６−１３６４４５）
【出願日】平成１８年５月１６日（２００６．５．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１８年５月１６日（２００６．５．１６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]