非定常画像検出方法、非定常画像検出装置、及び非定常画像検出プログラム
【課題】 異常データの検知技術における正常データ分布の作成において、あらかじめ正常と判断されたデータを収集しておく必要が無いようにし、また、類似するデータが追加されたとき、これを正常データに加えつつ再学習していく機構を実現する。
【解決手段】 画像を入力する画像入力部１１、入力された画像から特徴量を抽出する特徴ベクトル抽出部１２、抽出した特徴量に基づいて入力された画像のクラスタを作成し、判定結果出力部１４から送信された特徴量に基づいてクラスタを再構成するクラスタ構成部１５、入力された画像の入力順位が閾値を越えたかどうかを判断し、閾値より大きい入力順位の入力画像について、クラスタに属するかを判断する類似度判定部１３、非定常画像と判断されたときは当該旨を出力し、非定常画像ではないと判断されたときは入力画像の特徴量をクラスタ構成部１５に送信する判定結果出力部１４、を有する非定常画像検出装置。
【解決手段】 画像を入力する画像入力部１１、入力された画像から特徴量を抽出する特徴ベクトル抽出部１２、抽出した特徴量に基づいて入力された画像のクラスタを作成し、判定結果出力部１４から送信された特徴量に基づいてクラスタを再構成するクラスタ構成部１５、入力された画像の入力順位が閾値を越えたかどうかを判断し、閾値より大きい入力順位の入力画像について、クラスタに属するかを判断する類似度判定部１３、非定常画像と判断されたときは当該旨を出力し、非定常画像ではないと判断されたときは入力画像の特徴量をクラスタ構成部１５に送信する判定結果出力部１４、を有する非定常画像検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から非定常画像を検出する技術に関するものである。
【背景技術】
【０００２】
点検や保守が必要な場所にカメラ等のセンサを設置し、映像等のセンサ情報から異常発生の有無を判断する技術が開示されている。
【０００３】
例えば、水力発電所のセンサデータからあらかじめ正常なデータを収集しておき、１クラスＳＶＭによって正常データのクラスタリングを行ってセンサ情報の異常を発見する技術が開示されている(例えば、非特許文献１参照。)。なお、この技術では、あらかじめ正常データを収集しておく必要がある。
【非特許文献１】小野田他，“Ｏｎｅ−Ｃｌａｓｓ ＳＶＭに基づく水力発電所軸受異常振動の予兆発見（１）”，Ｔｈｅ １８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｊａｐａｎｅｓｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
日常的な映像に非定常な状態生じたとき、これを検知するためには新たな画像を逐次学習していき、似たシーケンスが何度も出現する場合には、自動的にこれを日常的な映像に加えていく仕組みが必要である。
【０００５】
従来の異常データの検知技術においては、正常データの分布を定義することが困難なため、教師無し学習を用いることによって対応していた。
【０００６】
しかし、あらかじめ正常と判断されたデータを収集しておく必要があった。
【０００７】
また、類似するデータが追加されたとき、これを正常のデータに加えつつ再学習していく機構は存在しない。
【０００８】
本発明の目的は、撮影された映像において、複数の画像中から特徴が異なる画像を検出する技術を提供することにある。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するために、請求項１に記載の発明は、入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置における非定常画像検出方法であって、画像入力部が画像を入力する画像入力ステップと、特徴ベクトル抽出部が前記入力された画像から特徴量を抽出する特徴抽出ステップと、クラスタ構成部が前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成するクラスタ構成ステップと、類似度判定部が前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定ステップと、判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する判定結果出力ステップと、前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成するクラスタ更新ステップと、を有することを特徴とする。
【００１０】
また、請求項２に記載の発明は、前記判定結果出力ステップでは前記判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする。
【００１１】
また、請求項３に記載の発明は、前記クラスタ構成ステップでは前記クラスタ構成部が前記入力画像から抽出した特徴量の分布に基づく教師無し学習によりクラスタを構成し、前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて再学習を行って前記クラスタを再構成する、ことを特徴とする。
【００１２】
また、請求項４に記載の発明は、前記画像入力ステップでは前記画像入力部が連続撮影された動画像を入力し、前記特徴抽出ステップでは前記連続撮影された動画像から規定した基準に基づいてシーケンスを抽出し、当該シーケンスごとに前記特徴量を抽出することを特徴とする。
【００１３】
また、請求項５に記載の発明は、前記シーケンス抽出では前記連続撮影された動画像と時間的な対応がとれたセンサ情報を入力し、当該センサ情報に対応する画像から規定した数の画像を１シーケンスとすることを特徴とする。
【００１４】
また、請求項６に記載の発明は、前記シーケンス抽出では前記連続撮影された動画像の１フレームごとに特徴量を抽出し、当該抽出した特徴量の値が閾値を超えたフレームを開始フレームとし当該開始フレームから規定した数のフレームを１シーケンスとすることを特徴とする。
【００１５】
また、請求項７に記載の発明は、入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置であって、画像を入力する画像入力部と、前記入力された画像から特徴量を抽出する特徴ベクトル抽出部と、前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成し、判定結果出力部から送信された特徴量に基づいて前記クラスタを再構成するクラスタ構成部と、前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定部と、前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する前記判定結果出力部と、を有することを特徴とする。
【００１６】
また、請求項８に記載の発明は、前記判定結果出力部は前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、前記クラスタ構成部は前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする。
【００１７】
また、請求項９に記載の発明は、前記請求項１〜８のいずれかに記載の非定常画像検出方法又は非定常画像検出装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００１８】
請求項１及び７に記載の発明、並びにこれに従属する発明では、クラスタ構成部が入力画像の特徴量に基づいて入力された画像のクラスタを作成するので、あらかじめ正常と判断されたデータを収集しておく必要が無い。また、クラスタ構成部が判定結果出力部から送信されたクラスタに属する画像の特徴量に基づいてクラスタを再構成するので、類似するデータが追加されたとき、これを正常のデータに加えつつ再学習していく機構が実現される。
【００１９】
さらに請求項２及び８に記載の発明、並びにこれに従属する発明では、クラスタ構成部が判定結果出力部から送信されたクラスタに属さない画像の特徴量にも基づいてクラスタを再構成するので、クラスタ構成の初期段階では非定常画像と判定されても、その後この非定常画像に類似する画像が頻出した場合にはこの非定常画像に類似する画像は定常画像と判断することが可能となる。
【００２０】
さらに請求項４に記載の発明、及びこれに従属する発明では、連続撮影された動画像中から非定常画像を抽出することが可能となる、
なお、入力画像が非定常画像と判断されたときは当該旨を出力するが、これはユーザインタフェースに、非定常画像を表示すること、他の定常画像とは異なる特徴を強調して表示すること、この画像が入力された時刻を表示すること、音声として通知すること等が含まれる。
【００２１】
また、前記センサ情報としては、カメラセンサ情報、赤外線センサ情報、マイクセンサ情報、振動センサ情報、圧力センサ情報等が含まれる。
【発明の効果】
【００２２】
請求項１〜９に記載の発明によれば、異常データの検知技術における正常データ分布の作成において、あらかじめ正常と判断されたデータを収集しておく必要が無い。また、類似するデータが追加されたとき、これを正常データに加えつつ再学習していく機構が実現される。
【発明を実施するための最良の形態】
【００２３】
以下、実施形態を図面を用いて説明する。
【００２４】
図１は非定常画像検出装置の構成図である。図１に示すように非定常画像検出装置は、画像入力部１１、特徴ベクトル抽出部１２、類似度判別部１３、判別結果出力部１４、クラスタ構成部１５、及びクラスタ情報蓄積部１６を有している。
【００２５】
画像入力部１１は、複数の画像を入力する。
【００２６】
特徴ベクトル抽出部１２は、入力した画像から特徴量を抽出する。
【００２７】
クラスタ構成部１５は、抽出した特徴量に基づいて入力された複数の画像から類似した画像のクラスタを構成する。
【００２８】
類似度判別部１３は、クラスタ構成部１５において構成された類似画像のクラスタに新たに入力された画像が属するか属さないかを判別し、その結果を判別結果出力部１４へ送る。
【００２９】
判別結果出力部１４は、新たに入力された画像の類似度判別部１３における判別結果が類似画像のクラスタに属さないものであった場合には、そのことを出力する。一方、類似画像のクラスタに属する場合には、その画像をクラスタ構成部１５に入力する。
【００３０】
クラスタ構成部１５は、新たに入力があった場合にはそれまでに入力されたすべての画像及び入力した類似画像からクラスタを再構成する。
【００３１】
次に、クラスタ構成部１５及び類似度判別部１３の動作例を図２を用いて説明する。
【００３２】
なお、ここでは入力は常時撮影している映像であり、日常的な映像と異なる映像が得られたときにこれを通知するという場合について説明する。
【００３３】
特徴ベクトル抽出部１２では、映像のシーケンスごとに特徴量を抽出する。ここではｋ番目のシーケンスの特徴量までが入力さているものとする。
【００３４】
クラスタ構成部１５では、次々に入力される特徴量のデータを学習してクラスタを構成するが、日常的な映像の特徴量の性質はあらかじめ定義されていない。このため入力データの分布に基づく教師無し学習を行う。これによって、類似したデータ群を一つのクラスタとし、入力されたデータの中でこのクラスタに属するデータが日常的なデータであり、これに属さないデータが非定常なデータであると解釈できる。
【００３５】
図２において、ｋ番目までの特徴量から日常的なデータを学習したクラスタをＣｋとする。最初にクラスタを構成するには、ある程度の数のデータが必要であるため、初期クラスタ構成のためのデータ数ｎを設定しておき、ｋ＜ｎの間は、クラスタ構成部１５ではデータを蓄積し、それ以降には以下の逐次処理を行う。
【００３６】
類似度判別部１３では、ｋ＋１番目に入力されたデータがｋ番目までの特徴量から学習された日常的なデータのクラスタＣｋからはずれている場合、非定常なデータが発見されたという判定を出力する。
【００３７】
次に、ｋ番目までは学習の初期段階であったが、Ｉ番目（Ｉ＞ｋ）のシーケンスまで入力されたとする。もしＩ番目までに、ｋ＋１番目に入力されたデータと類似の特徴量を有するデータが大量に入力されたとすると、Ｉ番目までのデータによって構成された類似クラスタは特徴空間において、ｋ＋１番目のデータの存在する領域まで広がり、ｋ＋１番目と類似の特徴量は非定常データとしては判別されなくなる。
【００３８】
クラスタ構成部１５における教師無し学習の方法の例としては、ｋ‐ｍｅａｎｓ法、自己組織化マップ、Ｏｎｅ‐Ｃｌａｓｓ ＳＶＭ、ＥＭアルゴリズムなどがある。ｋ‐ｍｅａｎｓ法は、入力データを加えながら全入力データの平均値をクラスタ中心として更新していく方法である。自己組織化マップは、クラスタを代表するプロトタイプをつくり、入力データと最も近いプロトタイプを探してその近傍を変化させて更新していく方法である。Ｏｎｅ‐Ｃｌａｓｓ ＳＶＭは、入力空間での孤立点がガウシアンカーネルによって特徴空間の原点近傍に写像される性質を利用した方法である。ＥＭアルゴリズムは、データの分布にガウス分布を仮定して分布パラメータを推定する方法である。
【００３９】
次に、クラスタ情報蓄積部１６、類似度判別部１３、及び判別結果出力部１４での処理について説明する。
【００４０】
クラスタ構成部１５において学習された結果、学習に用いた識別器の種類、及び識別器のパラメータはクラスタ情報蓄積部１６に蓄積される。
【００４１】
類似度判別部１３では、新たに加わった特徴ベクトルをこのパラメータによって変換し、類似クラスに属するか属さないかの判別を行い、その特徴ベクトルを判別結果出力部１４へ送る。
【００４２】
判別結果出力部１４は、属するという判別結果の場合には、その特徴ベクトルをクラスタ構成部１５へ入力する。
【００４３】
一方、属さないという判別結果の場合には、非定常画像の検出通知を出力する。また、この場合にも、特徴ベクトルをクラスタ構成部１５へ入力し、クラスタ構成部１５で類似クラスとは異なるクラスを学習し、クラスタ情報蓄積部１６に蓄積していくこともできる。これにより、学習の初期段階では非定常と判定されても、その後頻出する場合に新たな定常のクラスを形成することができる。
【００４４】
次に、特徴ベクトル抽出部１２の構成例を図３を用いて説明する。
【００４５】
特徴ベクトル抽出部１２は、シーケンス抽出部２１、及び特徴量算出部２２を備えており、シーケンス抽出部２１はセンサ情報入力部２３を備える。
【００４６】
シーケンス抽出部２１は、画像入力部１１からの入力が静止画像の場合には、静止画像の１枚１枚をシーケンスとみなして特徴量算出２２部に送る。入力が動画像の場合には、これをシーケンスに分けてから特徴量算出２２部に送る。
【００４７】
シーケンスに分ける操作をもっとも簡単に行うには、現在のフレームからあらかじめ定めた一定枚数（１枚以上）のフレームを用いることが考えられる。しかし、長時間撮影の映像に本非定常画像検出装置を適用する場合、シーケンスの開始フレームと終了フレームのとり方が一定でないと、過去に学習されたシーケンスの一部であっても、非定常なシーケンスとして判別されてしまう可能性がある。
【００４８】
そこで、シーケンスの抽出基準をあらかじめ設定しておくことが考えられる。抽出基準の例としては、センサ情報入力部２３によるセンサ情報を利用すること、及び特徴量算出部２２で算出した特徴量の変化を利用することがある。
【００４９】
センサ情報を利用する場合、センサ情報入力部２３は画像以外のセンサ情報をトリガとして特徴量算出部２２へ入力する。
【００５０】
センサ情報入力部２３で用いるセンサは、例えば、カメラ、赤外線センサ、マイク、振動センサ、圧力センサなどであり、特徴ベクトル抽出部１２で抽出したい情報に伴って発生する情報を検知できるセンサが有効である。
【００５１】
例えば、特徴ベクトル抽出部１２において、音を伴う動作のシーケンスを切り出したい場合には、マイクを用いることができる。
【００５２】
特徴量算出部２２で算出された特徴量の変化を利用する場合、１フレームごとに特徴量を求め、特徴量が一定値以上の領域を１シーケンスとして切り出すなどの方法が考えられる。
【００５３】
例えば、入力が固定カメラの監視映像である場合、特徴量算出部２２では、あらかじめ取得された背景画像との差分画像を作成し変化領域の面積を特徴量として算出し、その値をシーケンス抽出部２１へ送る。
【００５４】
シーケンス抽出部２１では、その値が一定値以上のフレームを開始フレームとして、あらかじめ定めた枚数のフレームを１シーケンスとすることができる。
【００５５】
特徴量算出部２２で求められる特徴量は、このほかに、画素の輝度値、色、オプティカルフロー、それらの時間変化などがある。
【００５６】
次に、非定常画像検出装置における処理例を図４を用いて説明する。
【００５７】
ここでは、画像入力部１１から、（ａ）に示す熱帯魚を撮影した映像が入力されるものとする。
【００５８】
特徴ベクトル抽出部１２では、映像の変化は２フレームごとに１シーケンスとみなし、ブロックごとにオプティカルフローを抽出して特徴ベクトルを抽出し、クラスタ構成部１５に入力する。
【００５９】
クラスタ構成部１５では、識別器として２次多項式カーネルを用いたＯｎｅ‐Ｃｌａｓｓ ＳＶＭを用いる。（ｂ）は、初期クラスタの学習の結果、１クラスとみなされた映像の例で、構図や動きの方向が類似した映像が含まれている。
【００６０】
（ｃ）は、クラスタから距離の遠かった映像の例である。しかし、クラスタ構成部１５に（ｃ）と類似の映像が多数学習されていくと、すべて１クラスとして構成することができる。
【００６１】
なお、上記実施形態において、非定常画像検出装置は、例えば、非定常画像検出装置を構成するコンピュータ装置が有するＣＰＵによって実現され、特徴ベクトル抽出処理、類似度判定処理、判定結果出力処理、クラスタ構成処理などをアプリケーションプログラムとして搭載することができる。
【００６２】
また、特徴ベクトル抽出処理、類似度判定処理、判定結果出力処理、クラスタ構成処理などで行った、抽出した特徴ベクトル、計算したクラスタ等の処理結果、計算結果、及び当該処理、計算に必要な情報等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００６３】
また、顔検出装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。
【図面の簡単な説明】
【００６４】
【図１】非定常画像検出装置の構成図。
【図２】クラスタ構成部１５及び類似度判別部１３の動作例の説明図。
【図３】特徴ベクトル抽出部１２の構成図。
【図４】非定常画像検出装置における処理例の説明図。
【符号の説明】
【００６５】
１１ 画像入力部
１２ 特徴ベクトル抽出部
１３ 類似度判定部
１４ 判定結果出力部
１５ クラスタ構成部
１６ クラスタ情報蓄積部
２１ シーケンス抽出部
２２ 特徴量算出部
２３ センサ情報入力部
【技術分野】
【０００１】
本発明は、入力画像から非定常画像を検出する技術に関するものである。
【背景技術】
【０００２】
点検や保守が必要な場所にカメラ等のセンサを設置し、映像等のセンサ情報から異常発生の有無を判断する技術が開示されている。
【０００３】
例えば、水力発電所のセンサデータからあらかじめ正常なデータを収集しておき、１クラスＳＶＭによって正常データのクラスタリングを行ってセンサ情報の異常を発見する技術が開示されている(例えば、非特許文献１参照。)。なお、この技術では、あらかじめ正常データを収集しておく必要がある。
【非特許文献１】小野田他，“Ｏｎｅ−Ｃｌａｓｓ ＳＶＭに基づく水力発電所軸受異常振動の予兆発見（１）”，Ｔｈｅ １８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｊａｐａｎｅｓｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００４．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
日常的な映像に非定常な状態生じたとき、これを検知するためには新たな画像を逐次学習していき、似たシーケンスが何度も出現する場合には、自動的にこれを日常的な映像に加えていく仕組みが必要である。
【０００５】
従来の異常データの検知技術においては、正常データの分布を定義することが困難なため、教師無し学習を用いることによって対応していた。
【０００６】
しかし、あらかじめ正常と判断されたデータを収集しておく必要があった。
【０００７】
また、類似するデータが追加されたとき、これを正常のデータに加えつつ再学習していく機構は存在しない。
【０００８】
本発明の目的は、撮影された映像において、複数の画像中から特徴が異なる画像を検出する技術を提供することにある。
【課題を解決するための手段】
【０００９】
そこで上記課題を解決するために、請求項１に記載の発明は、入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置における非定常画像検出方法であって、画像入力部が画像を入力する画像入力ステップと、特徴ベクトル抽出部が前記入力された画像から特徴量を抽出する特徴抽出ステップと、クラスタ構成部が前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成するクラスタ構成ステップと、類似度判定部が前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定ステップと、判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する判定結果出力ステップと、前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成するクラスタ更新ステップと、を有することを特徴とする。
【００１０】
また、請求項２に記載の発明は、前記判定結果出力ステップでは前記判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする。
【００１１】
また、請求項３に記載の発明は、前記クラスタ構成ステップでは前記クラスタ構成部が前記入力画像から抽出した特徴量の分布に基づく教師無し学習によりクラスタを構成し、前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて再学習を行って前記クラスタを再構成する、ことを特徴とする。
【００１２】
また、請求項４に記載の発明は、前記画像入力ステップでは前記画像入力部が連続撮影された動画像を入力し、前記特徴抽出ステップでは前記連続撮影された動画像から規定した基準に基づいてシーケンスを抽出し、当該シーケンスごとに前記特徴量を抽出することを特徴とする。
【００１３】
また、請求項５に記載の発明は、前記シーケンス抽出では前記連続撮影された動画像と時間的な対応がとれたセンサ情報を入力し、当該センサ情報に対応する画像から規定した数の画像を１シーケンスとすることを特徴とする。
【００１４】
また、請求項６に記載の発明は、前記シーケンス抽出では前記連続撮影された動画像の１フレームごとに特徴量を抽出し、当該抽出した特徴量の値が閾値を超えたフレームを開始フレームとし当該開始フレームから規定した数のフレームを１シーケンスとすることを特徴とする。
【００１５】
また、請求項７に記載の発明は、入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置であって、画像を入力する画像入力部と、前記入力された画像から特徴量を抽出する特徴ベクトル抽出部と、前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成し、判定結果出力部から送信された特徴量に基づいて前記クラスタを再構成するクラスタ構成部と、前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定部と、前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する前記判定結果出力部と、を有することを特徴とする。
【００１６】
また、請求項８に記載の発明は、前記判定結果出力部は前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、前記クラスタ構成部は前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする。
【００１７】
また、請求項９に記載の発明は、前記請求項１〜８のいずれかに記載の非定常画像検出方法又は非定常画像検出装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００１８】
請求項１及び７に記載の発明、並びにこれに従属する発明では、クラスタ構成部が入力画像の特徴量に基づいて入力された画像のクラスタを作成するので、あらかじめ正常と判断されたデータを収集しておく必要が無い。また、クラスタ構成部が判定結果出力部から送信されたクラスタに属する画像の特徴量に基づいてクラスタを再構成するので、類似するデータが追加されたとき、これを正常のデータに加えつつ再学習していく機構が実現される。
【００１９】
さらに請求項２及び８に記載の発明、並びにこれに従属する発明では、クラスタ構成部が判定結果出力部から送信されたクラスタに属さない画像の特徴量にも基づいてクラスタを再構成するので、クラスタ構成の初期段階では非定常画像と判定されても、その後この非定常画像に類似する画像が頻出した場合にはこの非定常画像に類似する画像は定常画像と判断することが可能となる。
【００２０】
さらに請求項４に記載の発明、及びこれに従属する発明では、連続撮影された動画像中から非定常画像を抽出することが可能となる、
なお、入力画像が非定常画像と判断されたときは当該旨を出力するが、これはユーザインタフェースに、非定常画像を表示すること、他の定常画像とは異なる特徴を強調して表示すること、この画像が入力された時刻を表示すること、音声として通知すること等が含まれる。
【００２１】
また、前記センサ情報としては、カメラセンサ情報、赤外線センサ情報、マイクセンサ情報、振動センサ情報、圧力センサ情報等が含まれる。
【発明の効果】
【００２２】
請求項１〜９に記載の発明によれば、異常データの検知技術における正常データ分布の作成において、あらかじめ正常と判断されたデータを収集しておく必要が無い。また、類似するデータが追加されたとき、これを正常データに加えつつ再学習していく機構が実現される。
【発明を実施するための最良の形態】
【００２３】
以下、実施形態を図面を用いて説明する。
【００２４】
図１は非定常画像検出装置の構成図である。図１に示すように非定常画像検出装置は、画像入力部１１、特徴ベクトル抽出部１２、類似度判別部１３、判別結果出力部１４、クラスタ構成部１５、及びクラスタ情報蓄積部１６を有している。
【００２５】
画像入力部１１は、複数の画像を入力する。
【００２６】
特徴ベクトル抽出部１２は、入力した画像から特徴量を抽出する。
【００２７】
クラスタ構成部１５は、抽出した特徴量に基づいて入力された複数の画像から類似した画像のクラスタを構成する。
【００２８】
類似度判別部１３は、クラスタ構成部１５において構成された類似画像のクラスタに新たに入力された画像が属するか属さないかを判別し、その結果を判別結果出力部１４へ送る。
【００２９】
判別結果出力部１４は、新たに入力された画像の類似度判別部１３における判別結果が類似画像のクラスタに属さないものであった場合には、そのことを出力する。一方、類似画像のクラスタに属する場合には、その画像をクラスタ構成部１５に入力する。
【００３０】
クラスタ構成部１５は、新たに入力があった場合にはそれまでに入力されたすべての画像及び入力した類似画像からクラスタを再構成する。
【００３１】
次に、クラスタ構成部１５及び類似度判別部１３の動作例を図２を用いて説明する。
【００３２】
なお、ここでは入力は常時撮影している映像であり、日常的な映像と異なる映像が得られたときにこれを通知するという場合について説明する。
【００３３】
特徴ベクトル抽出部１２では、映像のシーケンスごとに特徴量を抽出する。ここではｋ番目のシーケンスの特徴量までが入力さているものとする。
【００３４】
クラスタ構成部１５では、次々に入力される特徴量のデータを学習してクラスタを構成するが、日常的な映像の特徴量の性質はあらかじめ定義されていない。このため入力データの分布に基づく教師無し学習を行う。これによって、類似したデータ群を一つのクラスタとし、入力されたデータの中でこのクラスタに属するデータが日常的なデータであり、これに属さないデータが非定常なデータであると解釈できる。
【００３５】
図２において、ｋ番目までの特徴量から日常的なデータを学習したクラスタをＣｋとする。最初にクラスタを構成するには、ある程度の数のデータが必要であるため、初期クラスタ構成のためのデータ数ｎを設定しておき、ｋ＜ｎの間は、クラスタ構成部１５ではデータを蓄積し、それ以降には以下の逐次処理を行う。
【００３６】
類似度判別部１３では、ｋ＋１番目に入力されたデータがｋ番目までの特徴量から学習された日常的なデータのクラスタＣｋからはずれている場合、非定常なデータが発見されたという判定を出力する。
【００３７】
次に、ｋ番目までは学習の初期段階であったが、Ｉ番目（Ｉ＞ｋ）のシーケンスまで入力されたとする。もしＩ番目までに、ｋ＋１番目に入力されたデータと類似の特徴量を有するデータが大量に入力されたとすると、Ｉ番目までのデータによって構成された類似クラスタは特徴空間において、ｋ＋１番目のデータの存在する領域まで広がり、ｋ＋１番目と類似の特徴量は非定常データとしては判別されなくなる。
【００３８】
クラスタ構成部１５における教師無し学習の方法の例としては、ｋ‐ｍｅａｎｓ法、自己組織化マップ、Ｏｎｅ‐Ｃｌａｓｓ ＳＶＭ、ＥＭアルゴリズムなどがある。ｋ‐ｍｅａｎｓ法は、入力データを加えながら全入力データの平均値をクラスタ中心として更新していく方法である。自己組織化マップは、クラスタを代表するプロトタイプをつくり、入力データと最も近いプロトタイプを探してその近傍を変化させて更新していく方法である。Ｏｎｅ‐Ｃｌａｓｓ ＳＶＭは、入力空間での孤立点がガウシアンカーネルによって特徴空間の原点近傍に写像される性質を利用した方法である。ＥＭアルゴリズムは、データの分布にガウス分布を仮定して分布パラメータを推定する方法である。
【００３９】
次に、クラスタ情報蓄積部１６、類似度判別部１３、及び判別結果出力部１４での処理について説明する。
【００４０】
クラスタ構成部１５において学習された結果、学習に用いた識別器の種類、及び識別器のパラメータはクラスタ情報蓄積部１６に蓄積される。
【００４１】
類似度判別部１３では、新たに加わった特徴ベクトルをこのパラメータによって変換し、類似クラスに属するか属さないかの判別を行い、その特徴ベクトルを判別結果出力部１４へ送る。
【００４２】
判別結果出力部１４は、属するという判別結果の場合には、その特徴ベクトルをクラスタ構成部１５へ入力する。
【００４３】
一方、属さないという判別結果の場合には、非定常画像の検出通知を出力する。また、この場合にも、特徴ベクトルをクラスタ構成部１５へ入力し、クラスタ構成部１５で類似クラスとは異なるクラスを学習し、クラスタ情報蓄積部１６に蓄積していくこともできる。これにより、学習の初期段階では非定常と判定されても、その後頻出する場合に新たな定常のクラスを形成することができる。
【００４４】
次に、特徴ベクトル抽出部１２の構成例を図３を用いて説明する。
【００４５】
特徴ベクトル抽出部１２は、シーケンス抽出部２１、及び特徴量算出部２２を備えており、シーケンス抽出部２１はセンサ情報入力部２３を備える。
【００４６】
シーケンス抽出部２１は、画像入力部１１からの入力が静止画像の場合には、静止画像の１枚１枚をシーケンスとみなして特徴量算出２２部に送る。入力が動画像の場合には、これをシーケンスに分けてから特徴量算出２２部に送る。
【００４７】
シーケンスに分ける操作をもっとも簡単に行うには、現在のフレームからあらかじめ定めた一定枚数（１枚以上）のフレームを用いることが考えられる。しかし、長時間撮影の映像に本非定常画像検出装置を適用する場合、シーケンスの開始フレームと終了フレームのとり方が一定でないと、過去に学習されたシーケンスの一部であっても、非定常なシーケンスとして判別されてしまう可能性がある。
【００４８】
そこで、シーケンスの抽出基準をあらかじめ設定しておくことが考えられる。抽出基準の例としては、センサ情報入力部２３によるセンサ情報を利用すること、及び特徴量算出部２２で算出した特徴量の変化を利用することがある。
【００４９】
センサ情報を利用する場合、センサ情報入力部２３は画像以外のセンサ情報をトリガとして特徴量算出部２２へ入力する。
【００５０】
センサ情報入力部２３で用いるセンサは、例えば、カメラ、赤外線センサ、マイク、振動センサ、圧力センサなどであり、特徴ベクトル抽出部１２で抽出したい情報に伴って発生する情報を検知できるセンサが有効である。
【００５１】
例えば、特徴ベクトル抽出部１２において、音を伴う動作のシーケンスを切り出したい場合には、マイクを用いることができる。
【００５２】
特徴量算出部２２で算出された特徴量の変化を利用する場合、１フレームごとに特徴量を求め、特徴量が一定値以上の領域を１シーケンスとして切り出すなどの方法が考えられる。
【００５３】
例えば、入力が固定カメラの監視映像である場合、特徴量算出部２２では、あらかじめ取得された背景画像との差分画像を作成し変化領域の面積を特徴量として算出し、その値をシーケンス抽出部２１へ送る。
【００５４】
シーケンス抽出部２１では、その値が一定値以上のフレームを開始フレームとして、あらかじめ定めた枚数のフレームを１シーケンスとすることができる。
【００５５】
特徴量算出部２２で求められる特徴量は、このほかに、画素の輝度値、色、オプティカルフロー、それらの時間変化などがある。
【００５６】
次に、非定常画像検出装置における処理例を図４を用いて説明する。
【００５７】
ここでは、画像入力部１１から、（ａ）に示す熱帯魚を撮影した映像が入力されるものとする。
【００５８】
特徴ベクトル抽出部１２では、映像の変化は２フレームごとに１シーケンスとみなし、ブロックごとにオプティカルフローを抽出して特徴ベクトルを抽出し、クラスタ構成部１５に入力する。
【００５９】
クラスタ構成部１５では、識別器として２次多項式カーネルを用いたＯｎｅ‐Ｃｌａｓｓ ＳＶＭを用いる。（ｂ）は、初期クラスタの学習の結果、１クラスとみなされた映像の例で、構図や動きの方向が類似した映像が含まれている。
【００６０】
（ｃ）は、クラスタから距離の遠かった映像の例である。しかし、クラスタ構成部１５に（ｃ）と類似の映像が多数学習されていくと、すべて１クラスとして構成することができる。
【００６１】
なお、上記実施形態において、非定常画像検出装置は、例えば、非定常画像検出装置を構成するコンピュータ装置が有するＣＰＵによって実現され、特徴ベクトル抽出処理、類似度判定処理、判定結果出力処理、クラスタ構成処理などをアプリケーションプログラムとして搭載することができる。
【００６２】
また、特徴ベクトル抽出処理、類似度判定処理、判定結果出力処理、クラスタ構成処理などで行った、抽出した特徴ベクトル、計算したクラスタ等の処理結果、計算結果、及び当該処理、計算に必要な情報等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【００６３】
また、顔検出装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。
【図面の簡単な説明】
【００６４】
【図１】非定常画像検出装置の構成図。
【図２】クラスタ構成部１５及び類似度判別部１３の動作例の説明図。
【図３】特徴ベクトル抽出部１２の構成図。
【図４】非定常画像検出装置における処理例の説明図。
【符号の説明】
【００６５】
１１ 画像入力部
１２ 特徴ベクトル抽出部
１３ 類似度判定部
１４ 判定結果出力部
１５ クラスタ構成部
１６ クラスタ情報蓄積部
２１ シーケンス抽出部
２２ 特徴量算出部
２３ センサ情報入力部
【特許請求の範囲】
【請求項１】
入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置における非定常画像検出方法であって、
画像入力部が画像を入力する画像入力ステップと、
特徴ベクトル抽出部が前記入力された画像から特徴量を抽出する特徴抽出ステップと、
クラスタ構成部が前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成するクラスタ構成ステップと、
類似度判定部が前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定ステップと、
判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する判定結果出力ステップと、
前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成するクラスタ更新ステップと、を有することを特徴とする非定常画像検出方法。
【請求項２】
前記判定結果出力ステップでは前記判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、
前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする請求項１に記載の非定常画像検出方法。
【請求項３】
前記クラスタ構成ステップでは前記クラスタ構成部が前記入力画像から抽出した特徴量の分布に基づく教師無し学習によりクラスタを構成し、
前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて再学習を行って前記クラスタを再構成する、ことを特徴とする請求項１又は２に記載の非定常画像検出方法。
【請求項４】
前記画像入力ステップでは前記画像入力部が連続撮影された動画像を入力し、
前記特徴抽出ステップでは前記連続撮影された動画像から規定した基準に基づいてシーケンスを抽出し、当該シーケンスごとに前記特徴量を抽出することを特徴とする請求項１〜３いずれかに記載の非定常画像検出方法。
【請求項５】
前記シーケンス抽出では前記連続撮影された動画像と時間的な対応がとれたセンサ情報を入力し、当該センサ情報に対応する画像から規定した数の画像を１シーケンスとすることを特徴とする請求項４に記載の非定常画像検出方法。
【請求項６】
前記シーケンス抽出では前記連続撮影された動画像の１フレームごとに特徴量を抽出し、当該抽出した特徴量の値が閾値を超えたフレームを開始フレームとし当該開始フレームから規定した数のフレームを１シーケンスとすることを特徴とする請求項４に記載の非定常画像検出方法。
【請求項７】
入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置であって、
画像を入力する画像入力部と、
前記入力された画像から特徴量を抽出する特徴ベクトル抽出部と、
前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成し、判定結果出力部から送信された特徴量に基づいて前記クラスタを再構成するクラスタ構成部と、
前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定部と、
前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する前記判定結果出力部と、を有することを特徴とする非定常画像検出装置。
【請求項８】
前記判定結果出力部は前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、
前記クラスタ構成部は前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする請求項７に記載の非定常画像検出装置。
【請求項９】
前記請求項１〜８のいずれかに記載の非定常画像検出方法又は非定常画像検出装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項１】
入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置における非定常画像検出方法であって、
画像入力部が画像を入力する画像入力ステップと、
特徴ベクトル抽出部が前記入力された画像から特徴量を抽出する特徴抽出ステップと、
クラスタ構成部が前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成するクラスタ構成ステップと、
類似度判定部が前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定ステップと、
判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する判定結果出力ステップと、
前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成するクラスタ更新ステップと、を有することを特徴とする非定常画像検出方法。
【請求項２】
前記判定結果出力ステップでは前記判定結果出力部が前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、
前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする請求項１に記載の非定常画像検出方法。
【請求項３】
前記クラスタ構成ステップでは前記クラスタ構成部が前記入力画像から抽出した特徴量の分布に基づく教師無し学習によりクラスタを構成し、
前記クラスタ更新ステップでは前記クラスタ構成部が前記送信された特徴量に基づいて再学習を行って前記クラスタを再構成する、ことを特徴とする請求項１又は２に記載の非定常画像検出方法。
【請求項４】
前記画像入力ステップでは前記画像入力部が連続撮影された動画像を入力し、
前記特徴抽出ステップでは前記連続撮影された動画像から規定した基準に基づいてシーケンスを抽出し、当該シーケンスごとに前記特徴量を抽出することを特徴とする請求項１〜３いずれかに記載の非定常画像検出方法。
【請求項５】
前記シーケンス抽出では前記連続撮影された動画像と時間的な対応がとれたセンサ情報を入力し、当該センサ情報に対応する画像から規定した数の画像を１シーケンスとすることを特徴とする請求項４に記載の非定常画像検出方法。
【請求項６】
前記シーケンス抽出では前記連続撮影された動画像の１フレームごとに特徴量を抽出し、当該抽出した特徴量の値が閾値を超えたフレームを開始フレームとし当該開始フレームから規定した数のフレームを１シーケンスとすることを特徴とする請求項４に記載の非定常画像検出方法。
【請求項７】
入力した複数の画像からクラスタを作成し、当該クラスタ作成に用いた画像より後に入力した画像が当該クラスタに属するかどうかに基づいて当該入力した画像が非定常画像であるかを判断する非定常画像検出装置であって、
画像を入力する画像入力部と、
前記入力された画像から特徴量を抽出する特徴ベクトル抽出部と、
前記抽出した特徴量に基づいて前記入力された画像のクラスタを作成し、判定結果出力部から送信された特徴量に基づいて前記クラスタを再構成するクラスタ構成部と、
前記画像入力部に入力された画像の入力順位が閾値を越えたかどうかを判断し、当該閾値より大きい入力順位の入力画像について、当該入力画像が前記クラスタに属するかどうかを判断する類似度判定部と、
前記入力画像が非定常画像と判断されたときは当該旨を出力し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信する前記判定結果出力部と、を有することを特徴とする非定常画像検出装置。
【請求項８】
前記判定結果出力部は前記入力画像が非定常画像と判断されたときは当該旨を出力するとともに当該入力画像の特徴量を前記クラスタ構成部に送信し、前記入力画像が非定常画像ではないと判断されたときは当該入力画像の特徴量を前記クラスタ構成部に送信し、
前記クラスタ構成部は前記送信された特徴量に基づいて前記クラスタを再構成する、ことを特徴とする請求項７に記載の非定常画像検出装置。
【請求項９】
前記請求項１〜８のいずれかに記載の非定常画像検出方法又は非定常画像検出装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００６−３３０７９７（Ｐ２００６−３３０７９７Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１４９１６４（Ｐ２００５−１４９１６４）
【出願日】平成１７年５月２３日（２００５．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月２３日（２００５．５．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]