監視システム、監視方法およびプログラム
【課題】監視システムにおいて人間の判断が必要なあいまいな状況の画像を自動的に特定および表示する。
【解決手段】複数の監視カメラによって撮像された各画像を入力する入力手段と、前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、を備える。
【解決手段】複数の監視カメラによって撮像された各画像を入力する入力手段と、前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、監視方法およびプログラムに関する。
【背景技術】
【０００２】
大型施設におけるサーベイランスシステム（監視システム）は必然的に多くのカメラを必要とするが、カメラ数の増大はすなわち監視すべき映像数の増大につながる。
【０００３】
監視カメラ台数には実質的な上限は無いが、一方管理者が常時視認可能なモニタ数には物理的・空間的な制約があり、全てのカメラからの画像を同時に監視することは不可能である。
【０００４】
この問題の解決のため、画像処理による問題状態の自動検出手法が研究されているが、機械学習の本質的な限界から検出ミスまたは誤検出が存在することは避けられない。
【０００５】
人間の判断が必要なあいまいな状況の画像は人間が直接判断するべきであり、そのような画像を自動的に特定する方法が必要とされている。
【特許文献１】特開２００６−７９２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示することを可能とした監視システム、監視方法およびプログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様としての監視システムは、
複数の監視カメラによって撮像された各画像を入力する入力手段と、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、
前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、
各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、
を備える。
【０００８】
本発明の一態様としての監視方法は、
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
を備える。
【０００９】
本発明の一態様としてのプログラムは、
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明により、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示できる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の一実施の形態としての監視システムの全体構成を示すブロック図である。
【００１２】
各監視カメラから入力された一定時間分の動画像が特徴量抽出部（特徴量ベクトル計算部）１１に入力される。特徴量抽出部１１では各動画像の各々から画像の特徴を表す１つ以上の特徴量が抽出される。抽出された１つ以上の特徴量は有限次元のベクトルデータ（特徴量ベクトル）として画像識別部１２に出力される。
【００１３】
抽出する特徴量は、背景差分、オプティカルフロー、および高次局所自己相関特徴量等のように画像から直接計算される値の場合もあれば、画面中の人物の滞留時間や移動距離等のように画面中の監視対象の行動を示す計数値でもよい。
【００１４】
識別用教師付データベース（ＤＢ：DataBase）１３は、教師信号つきの特徴量ベクトルをあらかじめ格納している。識別用教師付データベース１３の一例を図２に示す。識別用教師付データベース１３には、通し番号と、特徴量ベクトルと、教師信号とを１組とする学習データ（事例）が複数格納されている。教師信号は、監視カメラ画像の異常判定を行うための「正常」（=C1）、「異常」（=C2）のいずれかの値（クラス）をもつ２値データである。各学習データにはあらかじめ優先順位が設定されている。
【００１５】
画像識別部（識別処理部）１２は、特徴量抽出部１１から入力される各特徴量ベクトルについて、識別用教師付ＤＢ１３を用いて、複数回の識別を行い、複数個の識別結果（すなわち複数個の「正常」「異常」を示す値）を得る。すなわち１つ１つの特徴量ベクトルについて複数個の識別結果が得られる。識別アルゴリズムとしては本例ではk-Nearest Neighbor（以下k-NNと略記する。ｋはk-NNのハイパーパラメタである）法を用いる。識別を行う回数は、識別に使用する最大の学習データ数Ｎを用いて、Ｎ−ｋ＋１回とする。
【００１６】
以下、画像識別部１２についてさらに詳細に説明する。
【００１７】
上述したように、画像識別部１２は、入力された特徴量ベクトルごとに動作する。入力画像がL個（＝監視カメラ台数）存在すれば、複数個の識別結果の組がL個得られる。以下では1個の特徴量ベクトルに対する画像識別部１２の動作を説明する。
【００１８】
画像識別部１２で使用するk-NN法は古典的な識別手法であり、データの構造が複雑でありかつ潤沢に学習データが使用可能な場合、高い識別能力を持つことが知られている。
【００１９】
一般のk-NN法による識別手法は、入力データと全学習データとの距離を計算し、入力データに近い学習データを上位k個選ぶ。そして、その入力データが属するクラスの多数決を行うことにより入力データの帰属クラスを識別する。
【００２０】
k-NN法の詳細は下記文献などに詳しい。
「わかりやすいパターン認識」
石井健一郎、前田英作、上田修功、村瀬洋
オーム社 1998
ISBN-13: 978-4274131493
【００２１】
一般のk-NN法は上述のように全学習データとの距離を計算するが、計算の途中であってもk個以上の識別を終了していれば（ｋ個以上の学習データとの距離を計算していれば）、識別を行ったｋ個以上の学習データの中から上位のk個を選んで識別を行うことが可能である。
【００２２】
本実施の形態では、識別に使用する最大の学習データ数Nがkよりも大きい場合、k個の学習データからＮ個の学習データまで１つずつ学習データを増やして識別を行い、N-k+1回の識別を行う。学習データは優先順位の高いものから優先して選択する（優先順位の高い学習データは各回において重複して使用されることとなる）。このようにN-k+1回の識別を行うことによりN-k+1個の識別結果を得る。N-k+1個の識別結果の例を図４に示す。
【００２３】
ここで識別に使用する最大の学習データ数Ｎは識別データ数計算部１５によって計算される。識別データ数計算部１５は、図３に示すように、要求ターンアラウンドタイムＴと、システム性能から、識別に使用する最大のデータ数Ｎを計算する。
【００２４】
なお、全学習データを用いないk-NNの性能低下については、下記文献[Ueno06]で提案された学習データの構造化手法を用いることで防ぐことが可能である。識別用教師付データベース１３内の各学習データに対する優先順位は、［Ueno06］の手法に基づいて設定されていてもよい。
[Ueno06] Ken Ueno.et.al. Towards the Anytime Stream Classification with Index Ordering Heuristics Using the Nearest Neighbor Algorithm. IEEE Int. Conf. Data Mining06
【００２５】
文献[Ueno06]で提案された順序付け方法、または対象に特化したヒューリスティックにより全学習データに対して距離計算を行わない場合でもNが十分に大きい場合は十分な精度を確保することが可能である。たとえばＮが十分に大きい場合は、識別用教師付データベース１３内の各学習データに対する優先順位をランダムに設定しても十分な精度を確保することが可能である。
【００２６】
図１に戻り、エントロピー計算部（識別処理部）１４は、画像識別部１２によって得られた各特徴量ベクトルの各々に対するN-k+1個の識別結果を用いて、各特徴量ベクトルのエントロピーを計算する（図４参照）。入力画像がL個存在すれば、L個のエントロピーが計算される。エントロピーは、複数個の識別結果（クラス）のばらつき具合を示すばらつき情報の一例である。
【００２７】
エントロピーの計算には、たとえば一般に用いられている以下の式を用いることができる。
【数１】
ここでqiは事象iのとる確率であり、本実施形態では複数個の識別結果の全体に占める各クラスの比率である。なおエントロピーの計算方法は上記の一般的な定義式だけではなく、各クラスの比率の差、または各クラスの回数の差などの値を用いて計算してもよい。
【００２８】
出力画像決定部（選択部）１６は、エントロピー計算部により計算されたエントロピーの大きい順に、各特徴量ベクトルを順序付けする（降順に並べる）。エントロピーの定義から、エントロピーの大きな特徴量ベクトルは識別結果がばらついており、そのような特徴量ベクトルはクラス間の境界面付近に位置する可能性が高い。そのためエントロピーの大きな特徴量ベクトルの画像を優先して表示することは、計算機では自動認識が困難な「人間が確認すべき」画像を表示していることに相当する。順序付けのアルゴリズムは様々なものが知られており、他の任意のものを使用できる。
【００２９】
順序付けの終了後、一部の特徴量ベクトルを以下の2段階のルールに基づき先頭に移動させる。
（１）最初に、出力画像決定部１６に対して外部（ユーザ）から指定される監視カメラ番号（優先画像番号）に対応する特徴量ベクトルを先頭に移動させる。すなわち外部から指定された監視カメラを、エントロピーの順序から定まる監視カメラよりも優先的に選択する。この様子を図５に示す。ｄx(x=1,…s,…,L)（Lは監視カメラ台数、sはモニタ数）は、特徴量抽出部１１によって計算された特徴量ベクトルを示す。本段階は、常時監視することの必要な施設入口等をモニタに表示させ続けるために行う。
（２）次に、順序付けされた特徴量ベクトルの末尾から順に「異常」の識別結果（クラス）を多く（閾値以上）もつものを所定個数取り出して先頭に移動させる。すなわち、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、外部から指定される監視カメラよりも（さらにエントロピーの順序から定まる監視カメラよりも）、優先的に選択する。これは、エントロピーが低いものでも異常状態の可能性が高いものは緊急性が高いことによる。
【００３０】
以上の（１）（２）の移動処理を実行した後、上位の特徴量ベクトルからs個（＝画像出力用のモニタ数）を選択し、選択した特徴量ベクトルに対応する監視カメラ番号を画像出力部１７に送る。
【００３１】
画像出力部１７は、受け取った各監視カメラ番号に対応する監視カメラの画像（直前に何か気になることがあった場所を写している監視カメラの現在の画像）を、それぞれ対応するモニタに表示する。
【００３２】
以上のように本実施の形態によれば、監視カメラから得られた画像に対して、k-Nearest Neighbor法の改良版アルゴリズムにより複数回の識別を行って得られた識別結果（クラス）のばらつき具合から識別結果の曖昧度を計算し、曖昧度の高い監視カメラの画像を優先的に表示するようにしたことにより、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示でき、よって確認業務の効率化が実現される。
【００３３】
なお、本システムは、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、特徴量抽出部、画像識別部、エントロピー計算部、識別データ数計算部、出力画像決定部、画像出力部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本システムは、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、識別用教師付ＤＢ１３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態としての監視システムの全体構成を示すブロック図。
【図２】識別用教師付データベースの例を示す図。
【図３】識別データ数計算部の処理を説明する図。
【図４】N-k+1個の識別結果の例を示す図。
【図５】出力画像決定部の処理を説明する図。
【符号の説明】
【００３５】
１１：特徴量抽出部（特徴量ベクトル計算部）
１２：画像識別部（識別処理部）
１３：識別用教師付データベース
１４：エントロピー計算部（識別処理部）
１５：識別データ数計算部
１６：出力画像決定部（選択部）
１７：画像出力部
【技術分野】
【０００１】
本発明は、監視システム、監視方法およびプログラムに関する。
【背景技術】
【０００２】
大型施設におけるサーベイランスシステム（監視システム）は必然的に多くのカメラを必要とするが、カメラ数の増大はすなわち監視すべき映像数の増大につながる。
【０００３】
監視カメラ台数には実質的な上限は無いが、一方管理者が常時視認可能なモニタ数には物理的・空間的な制約があり、全てのカメラからの画像を同時に監視することは不可能である。
【０００４】
この問題の解決のため、画像処理による問題状態の自動検出手法が研究されているが、機械学習の本質的な限界から検出ミスまたは誤検出が存在することは避けられない。
【０００５】
人間の判断が必要なあいまいな状況の画像は人間が直接判断するべきであり、そのような画像を自動的に特定する方法が必要とされている。
【特許文献１】特開２００６−７９２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示することを可能とした監視システム、監視方法およびプログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様としての監視システムは、
複数の監視カメラによって撮像された各画像を入力する入力手段と、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、
前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、
各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、
を備える。
【０００８】
本発明の一態様としての監視方法は、
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
を備える。
【０００９】
本発明の一態様としてのプログラムは、
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明により、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示できる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明の一実施の形態としての監視システムの全体構成を示すブロック図である。
【００１２】
各監視カメラから入力された一定時間分の動画像が特徴量抽出部（特徴量ベクトル計算部）１１に入力される。特徴量抽出部１１では各動画像の各々から画像の特徴を表す１つ以上の特徴量が抽出される。抽出された１つ以上の特徴量は有限次元のベクトルデータ（特徴量ベクトル）として画像識別部１２に出力される。
【００１３】
抽出する特徴量は、背景差分、オプティカルフロー、および高次局所自己相関特徴量等のように画像から直接計算される値の場合もあれば、画面中の人物の滞留時間や移動距離等のように画面中の監視対象の行動を示す計数値でもよい。
【００１４】
識別用教師付データベース（ＤＢ：DataBase）１３は、教師信号つきの特徴量ベクトルをあらかじめ格納している。識別用教師付データベース１３の一例を図２に示す。識別用教師付データベース１３には、通し番号と、特徴量ベクトルと、教師信号とを１組とする学習データ（事例）が複数格納されている。教師信号は、監視カメラ画像の異常判定を行うための「正常」（=C1）、「異常」（=C2）のいずれかの値（クラス）をもつ２値データである。各学習データにはあらかじめ優先順位が設定されている。
【００１５】
画像識別部（識別処理部）１２は、特徴量抽出部１１から入力される各特徴量ベクトルについて、識別用教師付ＤＢ１３を用いて、複数回の識別を行い、複数個の識別結果（すなわち複数個の「正常」「異常」を示す値）を得る。すなわち１つ１つの特徴量ベクトルについて複数個の識別結果が得られる。識別アルゴリズムとしては本例ではk-Nearest Neighbor（以下k-NNと略記する。ｋはk-NNのハイパーパラメタである）法を用いる。識別を行う回数は、識別に使用する最大の学習データ数Ｎを用いて、Ｎ−ｋ＋１回とする。
【００１６】
以下、画像識別部１２についてさらに詳細に説明する。
【００１７】
上述したように、画像識別部１２は、入力された特徴量ベクトルごとに動作する。入力画像がL個（＝監視カメラ台数）存在すれば、複数個の識別結果の組がL個得られる。以下では1個の特徴量ベクトルに対する画像識別部１２の動作を説明する。
【００１８】
画像識別部１２で使用するk-NN法は古典的な識別手法であり、データの構造が複雑でありかつ潤沢に学習データが使用可能な場合、高い識別能力を持つことが知られている。
【００１９】
一般のk-NN法による識別手法は、入力データと全学習データとの距離を計算し、入力データに近い学習データを上位k個選ぶ。そして、その入力データが属するクラスの多数決を行うことにより入力データの帰属クラスを識別する。
【００２０】
k-NN法の詳細は下記文献などに詳しい。
「わかりやすいパターン認識」
石井健一郎、前田英作、上田修功、村瀬洋
オーム社 1998
ISBN-13: 978-4274131493
【００２１】
一般のk-NN法は上述のように全学習データとの距離を計算するが、計算の途中であってもk個以上の識別を終了していれば（ｋ個以上の学習データとの距離を計算していれば）、識別を行ったｋ個以上の学習データの中から上位のk個を選んで識別を行うことが可能である。
【００２２】
本実施の形態では、識別に使用する最大の学習データ数Nがkよりも大きい場合、k個の学習データからＮ個の学習データまで１つずつ学習データを増やして識別を行い、N-k+1回の識別を行う。学習データは優先順位の高いものから優先して選択する（優先順位の高い学習データは各回において重複して使用されることとなる）。このようにN-k+1回の識別を行うことによりN-k+1個の識別結果を得る。N-k+1個の識別結果の例を図４に示す。
【００２３】
ここで識別に使用する最大の学習データ数Ｎは識別データ数計算部１５によって計算される。識別データ数計算部１５は、図３に示すように、要求ターンアラウンドタイムＴと、システム性能から、識別に使用する最大のデータ数Ｎを計算する。
【００２４】
なお、全学習データを用いないk-NNの性能低下については、下記文献[Ueno06]で提案された学習データの構造化手法を用いることで防ぐことが可能である。識別用教師付データベース１３内の各学習データに対する優先順位は、［Ueno06］の手法に基づいて設定されていてもよい。
[Ueno06] Ken Ueno.et.al. Towards the Anytime Stream Classification with Index Ordering Heuristics Using the Nearest Neighbor Algorithm. IEEE Int. Conf. Data Mining06
【００２５】
文献[Ueno06]で提案された順序付け方法、または対象に特化したヒューリスティックにより全学習データに対して距離計算を行わない場合でもNが十分に大きい場合は十分な精度を確保することが可能である。たとえばＮが十分に大きい場合は、識別用教師付データベース１３内の各学習データに対する優先順位をランダムに設定しても十分な精度を確保することが可能である。
【００２６】
図１に戻り、エントロピー計算部（識別処理部）１４は、画像識別部１２によって得られた各特徴量ベクトルの各々に対するN-k+1個の識別結果を用いて、各特徴量ベクトルのエントロピーを計算する（図４参照）。入力画像がL個存在すれば、L個のエントロピーが計算される。エントロピーは、複数個の識別結果（クラス）のばらつき具合を示すばらつき情報の一例である。
【００２７】
エントロピーの計算には、たとえば一般に用いられている以下の式を用いることができる。
【数１】
ここでqiは事象iのとる確率であり、本実施形態では複数個の識別結果の全体に占める各クラスの比率である。なおエントロピーの計算方法は上記の一般的な定義式だけではなく、各クラスの比率の差、または各クラスの回数の差などの値を用いて計算してもよい。
【００２８】
出力画像決定部（選択部）１６は、エントロピー計算部により計算されたエントロピーの大きい順に、各特徴量ベクトルを順序付けする（降順に並べる）。エントロピーの定義から、エントロピーの大きな特徴量ベクトルは識別結果がばらついており、そのような特徴量ベクトルはクラス間の境界面付近に位置する可能性が高い。そのためエントロピーの大きな特徴量ベクトルの画像を優先して表示することは、計算機では自動認識が困難な「人間が確認すべき」画像を表示していることに相当する。順序付けのアルゴリズムは様々なものが知られており、他の任意のものを使用できる。
【００２９】
順序付けの終了後、一部の特徴量ベクトルを以下の2段階のルールに基づき先頭に移動させる。
（１）最初に、出力画像決定部１６に対して外部（ユーザ）から指定される監視カメラ番号（優先画像番号）に対応する特徴量ベクトルを先頭に移動させる。すなわち外部から指定された監視カメラを、エントロピーの順序から定まる監視カメラよりも優先的に選択する。この様子を図５に示す。ｄx(x=1,…s,…,L)（Lは監視カメラ台数、sはモニタ数）は、特徴量抽出部１１によって計算された特徴量ベクトルを示す。本段階は、常時監視することの必要な施設入口等をモニタに表示させ続けるために行う。
（２）次に、順序付けされた特徴量ベクトルの末尾から順に「異常」の識別結果（クラス）を多く（閾値以上）もつものを所定個数取り出して先頭に移動させる。すなわち、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、外部から指定される監視カメラよりも（さらにエントロピーの順序から定まる監視カメラよりも）、優先的に選択する。これは、エントロピーが低いものでも異常状態の可能性が高いものは緊急性が高いことによる。
【００３０】
以上の（１）（２）の移動処理を実行した後、上位の特徴量ベクトルからs個（＝画像出力用のモニタ数）を選択し、選択した特徴量ベクトルに対応する監視カメラ番号を画像出力部１７に送る。
【００３１】
画像出力部１７は、受け取った各監視カメラ番号に対応する監視カメラの画像（直前に何か気になることがあった場所を写している監視カメラの現在の画像）を、それぞれ対応するモニタに表示する。
【００３２】
以上のように本実施の形態によれば、監視カメラから得られた画像に対して、k-Nearest Neighbor法の改良版アルゴリズムにより複数回の識別を行って得られた識別結果（クラス）のばらつき具合から識別結果の曖昧度を計算し、曖昧度の高い監視カメラの画像を優先的に表示するようにしたことにより、人間の判断が必要なあいまいな状況の画像を自動的に特定および表示でき、よって確認業務の効率化が実現される。
【００３３】
なお、本システムは、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、特徴量抽出部、画像識別部、エントロピー計算部、識別データ数計算部、出力画像決定部、画像出力部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本システムは、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、識別用教師付ＤＢ１３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態としての監視システムの全体構成を示すブロック図。
【図２】識別用教師付データベースの例を示す図。
【図３】識別データ数計算部の処理を説明する図。
【図４】N-k+1個の識別結果の例を示す図。
【図５】出力画像決定部の処理を説明する図。
【符号の説明】
【００３５】
１１：特徴量抽出部（特徴量ベクトル計算部）
１２：画像識別部（識別処理部）
１３：識別用教師付データベース
１４：エントロピー計算部（識別処理部）
１５：識別データ数計算部
１６：出力画像決定部（選択部）
１７：画像出力部
【特許請求の範囲】
【請求項１】
複数の監視カメラによって撮像された各画像を入力する入力手段と、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、
前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、
各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、
を備えた監視システム。
【請求項２】
前記データベースの各学習データに優先順位が設定されており、
前記識別処理部は、各回のクラス識別においてそれぞれ異なる個数の学習データを優先順位の最も高いものから選択し、各回において選択した学習データを用いてクラス識別を行うことを特徴とする請求項１に記載の監視システム。
【請求項３】
前記選択部は、クラスのばらつき具合が大きい特徴量ベクトルに対応する監視カメラを優先的に選択することを特徴とする請求項１または２に記載の監視システム。
【請求項４】
前記識別処理部は、前記ばらつき情報として、エントロピーを計算することを特徴とする請求項１〜３のいずれか一項に記載の監視システム。
【請求項５】
優先的に画像を表示すべき監視カメラの指定を受け付ける指定受付手段をさらに備え、
前記選択部は、前記指定受付手段に指定された監視カメラを、前記クラスのばらつき具合から定まる監視カメラよりも優先的に選択することを特徴とする請求項３または４に記載の監視システム。
【請求項６】
前記選択部は、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、前記指定手段に指定される監視カメラよりも優先的に選択することを特徴とする請求項５に記載の監視システム。
【請求項７】
前記選択部は、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、前記クラスのばらつき具合から定まる監視カメラよりも優先的に選択することを特徴とする請求項３または４に記載の監視システム。
【請求項８】
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
を備えた監視方法。
【請求項９】
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
複数の監視カメラによって撮像された各画像を入力する入力手段と、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算する特徴量ベクトル計算部と、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースと、
前記特徴量ベクトル計算部によって計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を前記データベースに基づき複数回行い、前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算する識別処理部と、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択する選択部と、
各選択された監視カメラにより撮像された画像を各前記モニタに出力する画像出力部と、
を備えた監視システム。
【請求項２】
前記データベースの各学習データに優先順位が設定されており、
前記識別処理部は、各回のクラス識別においてそれぞれ異なる個数の学習データを優先順位の最も高いものから選択し、各回において選択した学習データを用いてクラス識別を行うことを特徴とする請求項１に記載の監視システム。
【請求項３】
前記選択部は、クラスのばらつき具合が大きい特徴量ベクトルに対応する監視カメラを優先的に選択することを特徴とする請求項１または２に記載の監視システム。
【請求項４】
前記識別処理部は、前記ばらつき情報として、エントロピーを計算することを特徴とする請求項１〜３のいずれか一項に記載の監視システム。
【請求項５】
優先的に画像を表示すべき監視カメラの指定を受け付ける指定受付手段をさらに備え、
前記選択部は、前記指定受付手段に指定された監視カメラを、前記クラスのばらつき具合から定まる監視カメラよりも優先的に選択することを特徴とする請求項３または４に記載の監視システム。
【請求項６】
前記選択部は、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、前記指定手段に指定される監視カメラよりも優先的に選択することを特徴とする請求項５に記載の監視システム。
【請求項７】
前記選択部は、特定のクラスの個数が多く得られた特徴量ベクトルに対応する監視カメラを、前記クラスのばらつき具合から定まる監視カメラよりも優先的に選択することを特徴とする請求項３または４に記載の監視システム。
【請求項８】
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
を備えた監視方法。
【請求項９】
複数の監視カメラによって撮像された各画像を入力するステップと、
前記画像の特徴を表す１つ以上の特徴量を含む特徴量ベクトルを各画像から計算するステップと、
特徴量ベクトルと、複数のクラスのうちのいずれか１つのクラスとを含む学習データを複数格納したデータベースに基づき前記計算された特徴量ベクトルに与えるべきクラスを識別するクラス識別を複数回行うステップと、
前記複数回のクラス識別により得られた各クラスのばらつき具合を示すばらつき情報を計算するステップと、
各前記計算された特徴量ベクトルから得られたばらつき情報に基づいてモニタ台数分の前記監視カメラを選択するステップと、
各選択された監視カメラにより撮像された画像を各前記モニタに出力するステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００８−２７８１２８（Ｐ２００８−２７８１２８Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１８３６１（Ｐ２００７−１１８３６１）
【出願日】平成１９年４月２７日（２００７．４．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２７日（２００７．４．２７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]