監視装置、その方法、及び、そのプログラム
【課題】監視対象物が移動しても確実に追従できる監視装置を提供する。
【解決手段】監視対象物を指し示す指示部２２と、前記監視対象物を撮像して時系列の画像を取得するカメラ１２と、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点の第１の集合の移動先位置Ｂを予測する予測部１４と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置Ｏを検出する検出部１６と、前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置Ｂを指示位置と設定し、小さい場合には前記重心位置Ｏを指示位置と設定する判定部１８と、前記指示部が前記指示位置を指し示すように前記指示部を制御する制御部２０とを有する。
【解決手段】監視対象物を指し示す指示部２２と、前記監視対象物を撮像して時系列の画像を取得するカメラ１２と、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点の第１の集合の移動先位置Ｂを予測する予測部１４と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置Ｏを検出する検出部１６と、前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置Ｂを指示位置と設定し、小さい場合には前記重心位置Ｏを指示位置と設定する判定部１８と、前記指示部が前記指示位置を指し示すように前記指示部を制御する制御部２０とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、監視装置、その方法、及び、そのプログラムに関する。
【背景技術】
【０００２】
赤外線カメラで移動物体を検出し、移動物体の移動量と移動方向から短期的に位置を予測してレーザー光を照射する装置、また、画像の差分を取り移動領域を検出し、移動領域に向かって風を送る装置、さらに、監視対象物を撮影して、その画像から監視対象物の重心位置を検出し、この重心位置の移動を追跡する装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３３１０２１号公報
【特許文献２】特開２００９−３０８３７号公報
【特許文献３】特開２００６−１３５７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来装置において、応答性能が低い追従装置を用いた場合には、近距離で高速に動く監視対象物には追従動作が間に合わないという問題点があった。
【０００５】
そこで、本発明の実施形態は、上記問題点に鑑み、監視対象物が移動しても確実に追従できる監視装置、その方法、及び、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラと、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測部と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、を有することを特徴とする監視装置である。
【図面の簡単な説明】
【０００７】
【図１】一実施形態の監視装置を設けたセルフレジの斜視図。
【図２】第１の実施形態の監視装置のブロック図。
【図３】監視装置の動作状態を示すフローチャート。
【図４】判定部のフローチャート。
【図５】カメラが撮影した第１の画像。
【図６】カメラが撮影した第２の画像。
【図７】第２の実施形態におけるカメラが撮影した画像。
【図８】第２の実施形態の監視装置のブロック図。
【図９】第２の実施形態の判定部のフローチャート。
【発明を実施するための形態】
【０００８】
一実施形態の監視装置１０について図面に基づいて説明する。
【０００９】
本実施形態の監視装置１０は、図１に示すように、スーパーマーケットやコンビニエンスストアに最近設置されているセルフレジ１に設けられる装置であって、客が自分で、カゴから商品を出して勘定を行うときに、客が不正な行為を行わないように監視する。
【００１０】
そのために、監視装置１０は、図５〜図７の画像に示すようなカメラ１２で勘定作業を行う客を撮像して、その撮像した時系列の画像から、図１に示すように、客が視線を感じることができる人形の顔（以下、「指示部２２」と呼ぶ）を、客の手（以下、「監視対象物」と呼ぶ）の移動に合わせて追従動作させる。これによって、客はあたかも人形の顔に監視されていると感じて、不正が防止される。
【実施例１】
【００１１】
第１の実施形態の監視装置１０について図１〜図６に基づいて説明する。
【００１２】
監視装置１０の構成について図２のブロック図に基づいて説明する。
【００１３】
図２に示すように、監視装置１０は、客を撮像するカメラ１２、予測部１４、検出部１６、判定部１８、指示部２２を追従動作させる制御部２０とを有する。
【００１４】
以下、各部１２〜２２について順番に説明する。
【００１５】
一台のカメラ１２が、図１に示すように、セルフレジ１のレジ台２に固定され、客を正面から撮像して、時系列の画像を取得する。例えば、１秒間に３０フレームの時系列の画像を取得する。取得された時系列の画像は、検出部１６と予測部１４に出力される。
【００１６】
予測部１４の動作について説明する。
【００１７】
まず、予測部１４は、カメラ１２から入力した画像中の輝度変化が大きい場所を特徴点として抽出する。例えば、図５、図６に示すように、エッジ検出のように隣接する画素間の輝度差が、予め設定した基準輝度差より大きい位置を、特徴点（図中のラ点）として抽出する。なお、輝度に限らず、他の画素値（明度など）から特徴点を求めてもよい。
【００１８】
次に、予測部１４は、抽出した複数の特徴点ｍのそれぞれに関して、移動量と移動方向を、時系列の画像（２〜３フレームの画像）を用いてLucasKanade法やブロックマッチング法で算出する。
【００１９】
次に、予測部１４は、各特徴点ｍの移動量と、予め設定した基準移動量とをそれぞれ比較し、基準移動量より大きい移動量を有する特徴点ｍを選択する。予測部１４は、この選択した特徴点ｍの集まりを、第１の集合Ｓに所属させる。
【００２０】
次に、予測部１４は、第１の集合Ｓに所属する特徴点ｍの平均位置Ａを、下記の式（１）から計算する。但し、Ｘｍは、特徴点ｍの画像上での位置ベクトル（前記抽出した移動量と移動方向からなる構成されるベクトル）を意味する。
【数１】
【００２１】
図６においては、平均位置Ａは、白丸で表示している。
【００２２】
次に、予測部１４は、平均位置Ａから特徴点ｍの移動先位置Ｂを下記で説明する予測方法で予測する。
【００２３】
予測部１４の第１の予測方法について説明する。
【００２４】
第１の予測方法は、予測部１４が、平均位置Ａ、又は、平均位置Ａ近傍の位置を移動先位置Ｂにそのまま設定して、判定部１８に出力する。なお、予測部１４は、集合Ｓに所属する各特徴点ｍの移動量の平均値（以下、「平均移動量」と呼ぶ）も合わせて判定部１８へ出力する。
【００２５】
予測部１４の第２の予測方法について説明する。第２の予測方法は、予測部１４が、移動先位置Ｂを平均位置Ａと特徴点ｍの移動方向から計算する。
【００２６】
まず、予測部１４は、特徴点ｍの移動方向ベクトルをｖｍとすると、第１の集合Ｓに所属する特徴点ｍの平均移動方向Ｖを下記の式（２）から計算する。
【数２】
【００２７】
次に、予測部１４は、第１の集合Ｓに所属する特徴点ｍのうち、移動方向ベクトルｖｍと平均移動方向Ｖのなす角が、予め設定した基準角度より小さな特徴点を、第２の集合Ｓ２に所属させる。
【００２８】
次に、予測部１４は、第２の集合Ｓ２に所属する特徴点ｍのうち、平均位置Ａから平均移動方向Ｖに、最も遠方にある移動方向ベクトルｖｍを有する特徴点ｍ、又は、最も遠方にある特徴点ｍと近距離にある特徴点ｍの位置を、移動先位置Ｂに設定して、判定部１８へ出力する。最も遠方にある移動方向ベクトルｖｍを有する特徴点ｍを用いるのは、監視対象物が、最も移動している位置を用いたいためである。移動先位置Ｂの計算法以外の動作は、第１の予測方法と同様とする。すなわち、予測部１４は、平均移動量も合わせて出力する。
【００２９】
なお、予測部１４は、平均移動方向Ｖを移動方向ベクトルｖｍから計算したが、状況に応じて予め定義した方向であってもよい。状況に応じて定義した方向とは、例えば、式（２）で得られた平均移動方向Ｖのｘ成分の方向を用いるなどとしてもよい。図６には、平均移動方向Ｖのｘ成分の方向を用いて得られた移動先位置Ｂを白丸で示す。
【００３０】
予測部１４の第３の予測方法について説明する。
【００３１】
まず、予測部１４は、第１の予測方法、又は、第２の予測方法で予測された移動先位置Ｂを時系列で保存する。
【００３２】
次に、予測部１４は、時系列の移動先位置Ｂから線形予測によって位置を予測する。なお、この線形予測で予測する位置は、例えば、特徴点ｍの元の位置から２〜３フレーム先の位置である。なお、「線形予測」は、パーティクルフィルタなどの非線形予測器、又は、類似するその他の予測手法により代用できる。
【００３３】
次に、予測部１４は、予測した位置を新たな移動先位置Ｂと設定して、判定部１８へ出力する。移動先位置Ｂの計算法以外の動作は、第１の予測方法と同様とする。すなわち、予測部１４は、平均移動量も合わせて出力する。
【００３４】
検出部１６の動作について説明する。
【００３５】
まず、検出部１６は、カメラ１２から入力した時系列の画像間の差分を取り、この差分に基づいて変化領域を抽出する。例えば、まず、カメラ１２で、客がいない状態のレジ台２を撮像し背景画像として記憶しておく。図５に示すように、レジ台２に客が来た場合の画像を取得すると、その取得した画像と背景画像との差分に基づいて変化領域を抽出する。図５の場合には、検出部１６は、客の上半身全体を変化領域として抽出する。なお、この変化領域を検出する時刻は、予測部１４で特徴点ｍを抽出する時刻と同じ時刻の画像を用いる。
【００３６】
次に、検出部１６は、変化領域の重心位置Ｏを計算し、判定部１８に出力する。図５の場合には、検出部１６は、客の上半身全体が変化領域であるため、その上半身全体の中心が重心位置Ｏ（図５中の黒丸）として検出される。
【００３７】
判定部１８の動作について説明する。判定部１８は、指示部２２が人に視線を与えるように見せることができる駆動方法を判定し、それに加えて指示部２２が指し示すための指示位置を制御部２０へ出力する。
【００３８】
まず、判定部１８は、予測部１４から入力された平均移動量が、予め設定した第１の閾値と比較して小さい場合は、検出部１６から入力された重心位置Ｏを指示位置と判定して、制御部２０に出力する。
【００３９】
次に、判定部１８が、重心位置Ｏを指示位置と判定した後、指示部２２の駆動に使用できる指示位置へ変換する。この変換処理について説明する。まず、重心位置Ｏは、２次元上の画像位置で表されているため、これをレジ台２に固定されたカメラ１２の位置を基準（原点）にして、現実の３次元空間中の重心位置Ｏの方向に変換する。この変換は予め用意した表（テーブル）を用いて行う。次に、予測部１４は、指示部１８の現在の位置と、前記現実の３次元空間上の重心位置Ｏの方向から、後から説明する指示部１８のモータのパン角とチルト角を計算する。このパン角とチルト角が指示位置である。
【００４０】
一方、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して大きい場合は、移動先位置Ｂを指示位置と判定して、制御部２０に出力する。移動先位置Ｂから指示位置に変換する処理は、重心位置Ｏと同様である。
【００４１】
なお、平均移動量が第１の閾値と等しい場合は、重心位置Ｏ、又は、移動先位置Ｂのどちらか一方を、指示位置と判定するように、予め決定しておく。
【００４２】
なお、判定部１８は、上記出力後、一定時間Ｄ（例えば、数ｍ秒）の間は、この指示位置と同じ位置を指示位置と判定して、維持する。
【００４３】
指示部２２は、図１に示すように人形の顔で形成されており、セルフレジ１のレジ台２の上から垂直に立設され支持棒３の上端に回転自在に設けられている。また、指示部２２と指示棒３の間に、指示部２２をパン（水平方向θの首振り）−チルト（上下方向ψの首振り）回転させるモータが設けられている。
【００４４】
制御部２０は、判定部１８から入力された指示位置を、指示部２２（人形の両眼の部分）が指し示すように、指示部２２のモータを駆動させる。すなわち、制御部２０は、指示位置（モータのパン角とチルト角）に用いて、客の手（監視対象物）に向かって人形の顔をモータによって回転させて追従動作させ、あたかも客の手を監視しているような状態に見せる。
【００４５】
次に、監視装置１０の動作状態について図３のフローチャートに基づいて説明する。
【００４６】
ステップＳ１において、カメラ１２が、客を正面から撮影する。画像は、時系列に取得される。そしてステップＳ２に進む。
【００４７】
ステップＳ２において、予測部１４が、各画像の特徴点を抽出して、ステップＳ３に進む。
【００４８】
ステップＳ３において、予測部１４は、平均移動量、移動先位置Ｂを予測する。そしてステップＳ４に進む。
【００４９】
ステップＳ４において、検出部１６は、画像中の変化領域を検出し、この変化領域の重心位置Ｏを検出して、ステップＳ５に進む。
【００５０】
ステップＳ５において、判定部１８は、駆動方法を判定して、指示部を出力する。
【００５１】
ステップＳ６において、制御部２０は、指示位置に基づいて、指示部２２のモータを駆動させて、客の手に向かって人形の顔を回転させる。そして終了する。
【００５２】
判定部１８の駆動判定方法について、図４のフローチャートに基づいて説明する。
【００５３】
ステップＳ１１において、判定部１８は、予測部１４が予測した平均移動量と第１の閾値を比較し、平均移動量が第１の閾値よりも小さい場合にはステップＳ１２に進み（ｎｏの場合）、平均移動量が第１の閾値よりも大きい場合（ｙｅｓの場合）にはステップＳ１３に進む。
【００５４】
ステップＳ１２において、判定部１８は、平均移動量が第１の閾値よりも小さいため、検出部１６が検出した重心位置Ｏを指示位置と判定して、制御部２０に出力して終了する。
【００５５】
ステップＳ１３において、判定部１８は、平均移動量が第１の閾値よりも大きいため、予測部１４が予測した移動先位置Ｂを指示位置と判定して、制御部２０に出力して終了する。
【００５６】
本実施形態によれば、平均移動量が小さい場合には、重心位置Ｏを指示位置と判定し、平均移動量が大きい場合には移動先位置Ｂを指示位置と判定し、この指示位置に対して指示部２２を追従動作させるため、モータの応答性が低い場合であっても、監視対象物を指示部が指し示すように見せることができる。
【実施例２】
【００５７】
次に、第２の実施形態の監視装置１０について図７〜図９に基づいて説明する。
【００５８】
本実施形態の監視装置１０の構成について図８のブロック図に基づいて説明する。
【００５９】
図８に示すように、監視装置１０は、カメラ１２、予測部１４、検出部１６、判定部１８、指示部２２を追従動作させる制御部２０、保存部２４とを有する。
【００６０】
本実施形態と第１の実施形態の監視装置１０の異なる点は、保存部２４を新たに有することと、判定部１８の駆動判定動作にある。制御部２０、カメラ１２、検出部１６、予測部１４については、第１の実施形態と同様であるため、それらの説明は省略し、保存部２４と判定部１８について詳しく説明する。
【００６１】
保存部２４は、予め設定された客の手（監視対象物）が通過する画像上での監視領域Ｃを複数保存する。図７においては、監視領域Ｃ１〜Ｃ３が設定されている。監視領域Ｃの設定は、例えば次のように行う。
【００６２】
まず、判定部１８が監視対象物の移動終了位置を出力している場合、保存部２４は、移動終了位置同士の距離を基にクラスタリングを行う。
【００６３】
次に、判定部１８は、クラスタリングして得られた領域に含まれる移動終了位置の数が予め設定した基準数以上になった際に、同じクラスに属する移動終了位置の重心位置Ｊを計算する。
【００６４】
次に、判定部１８は、計算して得られた重心位置Ｊ、又は、その重心位置Ｊを中心とした周辺領域を新たな監視領域候補とする。
【００６５】
次に、判定部１８は、新たな監視領域候補と、保存部２４に既に保存されている監視領域との距離が、予め設定した基準距離と比較して大きい場合は、新たな監視領域候補を新たな監視領域として保存する。
【００６６】
上記では、重心位置Ｊを新たな監視領域候補の重心位置としたが、クラスタリングして得られた領域の任意の点を監視領域候補の重心位置としても構わない。
【００６７】
次に、判定部１８の判定動作について説明する。
【００６８】
まず、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して小さい場合は、検出部１６から入力された重心位置Ｏを指示位置と判定して、制御部２０に出力する。なお、重心位置Ｏから指示位置に変換する処理は、第１の実施形態の重心位置Ｏの変換処理と同様である。
【００６９】
次に、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して大きい場合は、予測部１４から入力された移動先位置Ｂと保存部２４に保存されている複数の監視領域Ｃ１〜Ｃ３との距離を計算する。
【００７０】
最後に、判定部１８は、計算された複数の距離のうち、最も近い距離が第２の閾値と比較して短い場合は最も距離が近くなった監視領域（例えば、監視領域Ｃ３）を指示位置と判定して、制御部２０に出力し、一方、長い場合は移動先位置Ｂを指示位置と判定して、制御部２０に出力する。なお、指示位置は、監視領域Ｃ３の中の任意の点であればよく、例えば、重心位置である。また、監視領域Ｃから指示位置に変換する処理、及び、指示位置Ｂから指示位置に変換する処理は、第１の実施形態の重心位置Ｏの変換処理と同様である。
【００７１】
次に、判定部１８が、保存部２４に新たな監視領域Ｃを保存させる動作について説明する。
【００７２】
まず、判定部１８は、予測部１４から入力された平均移動量と移動先位置Ｂを時系列で保存する。
【００７３】
次に、判定部１８は、保存された平均移動量が前記第１の閾値と比較して大きい状態が、時系列で連続して基準回数以上続いた後、平均移動量が前記第１の閾値と比較して小さくなった時刻をＴと設定する。
【００７４】
次に、判定部１８は、時刻Ｔ−１、又は、時刻Ｔ−１に近い時刻ｔに得られた移動先位置Ｂを移動終了位置として設定する。
【００７５】
次に、判定部１８は、移動終了位置を保存部２４に出力する。
【００７６】
次に、保存部２４は、入力した移動終了位置、又は、その周辺領域を監視領域Ｃ４として、新たに保存する。なお、周辺領域の大きさは、予め設定しておく。
【００７７】
次に、本実施形態の監視装置１０の判定部１８の動作状態について図９のフローチャートに基づいて説明する。
【００７８】
ステップＳ２１において、予測部１４が予測した平均移動量が第１の閾値よりも小さい場合にはステップＳ２２に進み（ｎｏの場合）、平均移動量が第１の閾値よりも大きい場合にはステップＳ２３に進む（ｙｅｓの場合）。
【００７９】
ステップＳ２２において、平均移動量が第１の閾値よりも小さいため、判定部１８は、検出部１６が検出した重心位置Ｏを指示位置と判定して、制御部２０に出力する。そして終了する。
【００８０】
ステップＳ２３において、平均移動量が第１の閾値よりも大きいため、判定部１８は、予測部１４が予測した移動先位置Ｂと、保存部２４に保存されている複数の監視領域Ｃ１〜Ｃ３との距離をそれぞれ計算する。計算された複数の距離のうち、最も近い距離が第２の閾値と比べて大きい場合にはステップＳ２４に進み（ｙｅｓの場合）、距離が第２の閾値よりも短い場合にはテップＳ２５に進む（ｎｏの場合）。
【００８１】
ステップＳ２４において、判定部１８は、監視領域と移動先位置Ｂの距離が大きいため、予測部１４が予測した移動先位置Ｂを指示位置と判定して、制御部２０に出力する。そして終了する。
【００８２】
ステップＳ２５において、移動先位置Ｂが監視領域Ｃ３と近いため、監視領域Ｃ３の中の重心点を指示位置と判定して、判定部１８は、制御部２０に出力する。そして終了する。
【００８３】
本実施形態によれば、予測した移動先位置Ｂが予め設定した監視領域に近い場合に、その監視領域の中の位置を指示位置として、先回りして判定するため、低応答性のモーターでも、制御部２０はより迅速に指示部２２を追従動作させることができる。
【実施例３】
【００８４】
第３の実施形態の監視装置１０について説明する。本実施形態と第１の実施形態の異なる点は、検出部１６と判定部１８の動作にある。
【００８５】
まず、検出部１６は、変化領域の重心位置Ｏからの分散を計算する。
【００８６】
次に、判定部１８が、重心位置Ｏを指示位置と判定した場合、検出部１６で計算された分散と予め設定した所定値とを比較する。
【００８７】
次に、判定部１８は、分散が前記所定値と比較して大きい場合は、重心位置Ｏがノイズであると判定して、指示位置を出力せず、次のフレームの処理に移る。一方、判定部１８は、分散が前記所定値と比較して小さい場合は、重心位置Ｏを指示位置と判定して、制御部２０に出力する。
【００８８】
本実施形態によれば、検出部１６が、ノイズがあって不正確な重心位置Ｏしか検出できない場合に、次のフレームに処理が移るため、指示部２２は常に正確に客の手を指示できる。
【変更例】
【００８９】
上記実施形態では、検出部１６で予め重心位置Ｏを検出したが、判定部１８で予測部１４から入力された平均移動量が第１の閾値と比較して小さい場合にのみ、検出部１６で重心位置Ｏを検出してもよい。
【００９０】
上記実施形態では、指示部２２として人間の顔を模擬した人形の顔を例示したが、これに限らず、指を模擬したものや、レーザーポインタなど、人間にとって指示位置を示すことができる物体であればよい。また、ディスプレイに写し出された人間の眼や指でもよい。
【００９１】
上記実施形態では、指示位置としては、モータのパン角−チルト角としたが、これに限らす判定部１８は、指示部２２を駆動させる駆動手段に応じて、指示位置の情報に変換すればよい。例えば、ディスプレイに写し出す場合には、人間の眼や指の画像情報などである。
【００９２】
上記実施形態では、セルフレジ１に設ける監視装置１０で説明したが、これに限らず、監視装置１０をＡＴＭに設け、ＡＴＭを操作する客の不正行為を監視してもよい。また、部屋に監視用のカメラ１２を複数配置し、部屋の中の移動している人間を監視してもよい。この場合に、指示部２２としては、移動している人間にレーザ光を当てたり、また、移動している人間に最も近い照明を点灯させてもよい。
【００９３】
なお、この監視装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、検出部１６、予測部１４、判定部１８、保存部２４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、監視装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９５】
１０・・・監視装置、１２・・・カメラ、１４・・・予測部、１６・・・検出部、１８・・・判定部、２０・・・制御部、２２・・・指示部、２４・・・保存部
【技術分野】
【０００１】
本発明の実施形態は、監視装置、その方法、及び、そのプログラムに関する。
【背景技術】
【０００２】
赤外線カメラで移動物体を検出し、移動物体の移動量と移動方向から短期的に位置を予測してレーザー光を照射する装置、また、画像の差分を取り移動領域を検出し、移動領域に向かって風を送る装置、さらに、監視対象物を撮影して、その画像から監視対象物の重心位置を検出し、この重心位置の移動を追跡する装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３３１０２１号公報
【特許文献２】特開２００９−３０８３７号公報
【特許文献３】特開２００６−１３５７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来装置において、応答性能が低い追従装置を用いた場合には、近距離で高速に動く監視対象物には追従動作が間に合わないという問題点があった。
【０００５】
そこで、本発明の実施形態は、上記問題点に鑑み、監視対象物が移動しても確実に追従できる監視装置、その方法、及び、そのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラと、前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測部と、前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、を有することを特徴とする監視装置である。
【図面の簡単な説明】
【０００７】
【図１】一実施形態の監視装置を設けたセルフレジの斜視図。
【図２】第１の実施形態の監視装置のブロック図。
【図３】監視装置の動作状態を示すフローチャート。
【図４】判定部のフローチャート。
【図５】カメラが撮影した第１の画像。
【図６】カメラが撮影した第２の画像。
【図７】第２の実施形態におけるカメラが撮影した画像。
【図８】第２の実施形態の監視装置のブロック図。
【図９】第２の実施形態の判定部のフローチャート。
【発明を実施するための形態】
【０００８】
一実施形態の監視装置１０について図面に基づいて説明する。
【０００９】
本実施形態の監視装置１０は、図１に示すように、スーパーマーケットやコンビニエンスストアに最近設置されているセルフレジ１に設けられる装置であって、客が自分で、カゴから商品を出して勘定を行うときに、客が不正な行為を行わないように監視する。
【００１０】
そのために、監視装置１０は、図５〜図７の画像に示すようなカメラ１２で勘定作業を行う客を撮像して、その撮像した時系列の画像から、図１に示すように、客が視線を感じることができる人形の顔（以下、「指示部２２」と呼ぶ）を、客の手（以下、「監視対象物」と呼ぶ）の移動に合わせて追従動作させる。これによって、客はあたかも人形の顔に監視されていると感じて、不正が防止される。
【実施例１】
【００１１】
第１の実施形態の監視装置１０について図１〜図６に基づいて説明する。
【００１２】
監視装置１０の構成について図２のブロック図に基づいて説明する。
【００１３】
図２に示すように、監視装置１０は、客を撮像するカメラ１２、予測部１４、検出部１６、判定部１８、指示部２２を追従動作させる制御部２０とを有する。
【００１４】
以下、各部１２〜２２について順番に説明する。
【００１５】
一台のカメラ１２が、図１に示すように、セルフレジ１のレジ台２に固定され、客を正面から撮像して、時系列の画像を取得する。例えば、１秒間に３０フレームの時系列の画像を取得する。取得された時系列の画像は、検出部１６と予測部１４に出力される。
【００１６】
予測部１４の動作について説明する。
【００１７】
まず、予測部１４は、カメラ１２から入力した画像中の輝度変化が大きい場所を特徴点として抽出する。例えば、図５、図６に示すように、エッジ検出のように隣接する画素間の輝度差が、予め設定した基準輝度差より大きい位置を、特徴点（図中のラ点）として抽出する。なお、輝度に限らず、他の画素値（明度など）から特徴点を求めてもよい。
【００１８】
次に、予測部１４は、抽出した複数の特徴点ｍのそれぞれに関して、移動量と移動方向を、時系列の画像（２〜３フレームの画像）を用いてLucasKanade法やブロックマッチング法で算出する。
【００１９】
次に、予測部１４は、各特徴点ｍの移動量と、予め設定した基準移動量とをそれぞれ比較し、基準移動量より大きい移動量を有する特徴点ｍを選択する。予測部１４は、この選択した特徴点ｍの集まりを、第１の集合Ｓに所属させる。
【００２０】
次に、予測部１４は、第１の集合Ｓに所属する特徴点ｍの平均位置Ａを、下記の式（１）から計算する。但し、Ｘｍは、特徴点ｍの画像上での位置ベクトル（前記抽出した移動量と移動方向からなる構成されるベクトル）を意味する。
【数１】
【００２１】
図６においては、平均位置Ａは、白丸で表示している。
【００２２】
次に、予測部１４は、平均位置Ａから特徴点ｍの移動先位置Ｂを下記で説明する予測方法で予測する。
【００２３】
予測部１４の第１の予測方法について説明する。
【００２４】
第１の予測方法は、予測部１４が、平均位置Ａ、又は、平均位置Ａ近傍の位置を移動先位置Ｂにそのまま設定して、判定部１８に出力する。なお、予測部１４は、集合Ｓに所属する各特徴点ｍの移動量の平均値（以下、「平均移動量」と呼ぶ）も合わせて判定部１８へ出力する。
【００２５】
予測部１４の第２の予測方法について説明する。第２の予測方法は、予測部１４が、移動先位置Ｂを平均位置Ａと特徴点ｍの移動方向から計算する。
【００２６】
まず、予測部１４は、特徴点ｍの移動方向ベクトルをｖｍとすると、第１の集合Ｓに所属する特徴点ｍの平均移動方向Ｖを下記の式（２）から計算する。
【数２】
【００２７】
次に、予測部１４は、第１の集合Ｓに所属する特徴点ｍのうち、移動方向ベクトルｖｍと平均移動方向Ｖのなす角が、予め設定した基準角度より小さな特徴点を、第２の集合Ｓ２に所属させる。
【００２８】
次に、予測部１４は、第２の集合Ｓ２に所属する特徴点ｍのうち、平均位置Ａから平均移動方向Ｖに、最も遠方にある移動方向ベクトルｖｍを有する特徴点ｍ、又は、最も遠方にある特徴点ｍと近距離にある特徴点ｍの位置を、移動先位置Ｂに設定して、判定部１８へ出力する。最も遠方にある移動方向ベクトルｖｍを有する特徴点ｍを用いるのは、監視対象物が、最も移動している位置を用いたいためである。移動先位置Ｂの計算法以外の動作は、第１の予測方法と同様とする。すなわち、予測部１４は、平均移動量も合わせて出力する。
【００２９】
なお、予測部１４は、平均移動方向Ｖを移動方向ベクトルｖｍから計算したが、状況に応じて予め定義した方向であってもよい。状況に応じて定義した方向とは、例えば、式（２）で得られた平均移動方向Ｖのｘ成分の方向を用いるなどとしてもよい。図６には、平均移動方向Ｖのｘ成分の方向を用いて得られた移動先位置Ｂを白丸で示す。
【００３０】
予測部１４の第３の予測方法について説明する。
【００３１】
まず、予測部１４は、第１の予測方法、又は、第２の予測方法で予測された移動先位置Ｂを時系列で保存する。
【００３２】
次に、予測部１４は、時系列の移動先位置Ｂから線形予測によって位置を予測する。なお、この線形予測で予測する位置は、例えば、特徴点ｍの元の位置から２〜３フレーム先の位置である。なお、「線形予測」は、パーティクルフィルタなどの非線形予測器、又は、類似するその他の予測手法により代用できる。
【００３３】
次に、予測部１４は、予測した位置を新たな移動先位置Ｂと設定して、判定部１８へ出力する。移動先位置Ｂの計算法以外の動作は、第１の予測方法と同様とする。すなわち、予測部１４は、平均移動量も合わせて出力する。
【００３４】
検出部１６の動作について説明する。
【００３５】
まず、検出部１６は、カメラ１２から入力した時系列の画像間の差分を取り、この差分に基づいて変化領域を抽出する。例えば、まず、カメラ１２で、客がいない状態のレジ台２を撮像し背景画像として記憶しておく。図５に示すように、レジ台２に客が来た場合の画像を取得すると、その取得した画像と背景画像との差分に基づいて変化領域を抽出する。図５の場合には、検出部１６は、客の上半身全体を変化領域として抽出する。なお、この変化領域を検出する時刻は、予測部１４で特徴点ｍを抽出する時刻と同じ時刻の画像を用いる。
【００３６】
次に、検出部１６は、変化領域の重心位置Ｏを計算し、判定部１８に出力する。図５の場合には、検出部１６は、客の上半身全体が変化領域であるため、その上半身全体の中心が重心位置Ｏ（図５中の黒丸）として検出される。
【００３７】
判定部１８の動作について説明する。判定部１８は、指示部２２が人に視線を与えるように見せることができる駆動方法を判定し、それに加えて指示部２２が指し示すための指示位置を制御部２０へ出力する。
【００３８】
まず、判定部１８は、予測部１４から入力された平均移動量が、予め設定した第１の閾値と比較して小さい場合は、検出部１６から入力された重心位置Ｏを指示位置と判定して、制御部２０に出力する。
【００３９】
次に、判定部１８が、重心位置Ｏを指示位置と判定した後、指示部２２の駆動に使用できる指示位置へ変換する。この変換処理について説明する。まず、重心位置Ｏは、２次元上の画像位置で表されているため、これをレジ台２に固定されたカメラ１２の位置を基準（原点）にして、現実の３次元空間中の重心位置Ｏの方向に変換する。この変換は予め用意した表（テーブル）を用いて行う。次に、予測部１４は、指示部１８の現在の位置と、前記現実の３次元空間上の重心位置Ｏの方向から、後から説明する指示部１８のモータのパン角とチルト角を計算する。このパン角とチルト角が指示位置である。
【００４０】
一方、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して大きい場合は、移動先位置Ｂを指示位置と判定して、制御部２０に出力する。移動先位置Ｂから指示位置に変換する処理は、重心位置Ｏと同様である。
【００４１】
なお、平均移動量が第１の閾値と等しい場合は、重心位置Ｏ、又は、移動先位置Ｂのどちらか一方を、指示位置と判定するように、予め決定しておく。
【００４２】
なお、判定部１８は、上記出力後、一定時間Ｄ（例えば、数ｍ秒）の間は、この指示位置と同じ位置を指示位置と判定して、維持する。
【００４３】
指示部２２は、図１に示すように人形の顔で形成されており、セルフレジ１のレジ台２の上から垂直に立設され支持棒３の上端に回転自在に設けられている。また、指示部２２と指示棒３の間に、指示部２２をパン（水平方向θの首振り）−チルト（上下方向ψの首振り）回転させるモータが設けられている。
【００４４】
制御部２０は、判定部１８から入力された指示位置を、指示部２２（人形の両眼の部分）が指し示すように、指示部２２のモータを駆動させる。すなわち、制御部２０は、指示位置（モータのパン角とチルト角）に用いて、客の手（監視対象物）に向かって人形の顔をモータによって回転させて追従動作させ、あたかも客の手を監視しているような状態に見せる。
【００４５】
次に、監視装置１０の動作状態について図３のフローチャートに基づいて説明する。
【００４６】
ステップＳ１において、カメラ１２が、客を正面から撮影する。画像は、時系列に取得される。そしてステップＳ２に進む。
【００４７】
ステップＳ２において、予測部１４が、各画像の特徴点を抽出して、ステップＳ３に進む。
【００４８】
ステップＳ３において、予測部１４は、平均移動量、移動先位置Ｂを予測する。そしてステップＳ４に進む。
【００４９】
ステップＳ４において、検出部１６は、画像中の変化領域を検出し、この変化領域の重心位置Ｏを検出して、ステップＳ５に進む。
【００５０】
ステップＳ５において、判定部１８は、駆動方法を判定して、指示部を出力する。
【００５１】
ステップＳ６において、制御部２０は、指示位置に基づいて、指示部２２のモータを駆動させて、客の手に向かって人形の顔を回転させる。そして終了する。
【００５２】
判定部１８の駆動判定方法について、図４のフローチャートに基づいて説明する。
【００５３】
ステップＳ１１において、判定部１８は、予測部１４が予測した平均移動量と第１の閾値を比較し、平均移動量が第１の閾値よりも小さい場合にはステップＳ１２に進み（ｎｏの場合）、平均移動量が第１の閾値よりも大きい場合（ｙｅｓの場合）にはステップＳ１３に進む。
【００５４】
ステップＳ１２において、判定部１８は、平均移動量が第１の閾値よりも小さいため、検出部１６が検出した重心位置Ｏを指示位置と判定して、制御部２０に出力して終了する。
【００５５】
ステップＳ１３において、判定部１８は、平均移動量が第１の閾値よりも大きいため、予測部１４が予測した移動先位置Ｂを指示位置と判定して、制御部２０に出力して終了する。
【００５６】
本実施形態によれば、平均移動量が小さい場合には、重心位置Ｏを指示位置と判定し、平均移動量が大きい場合には移動先位置Ｂを指示位置と判定し、この指示位置に対して指示部２２を追従動作させるため、モータの応答性が低い場合であっても、監視対象物を指示部が指し示すように見せることができる。
【実施例２】
【００５７】
次に、第２の実施形態の監視装置１０について図７〜図９に基づいて説明する。
【００５８】
本実施形態の監視装置１０の構成について図８のブロック図に基づいて説明する。
【００５９】
図８に示すように、監視装置１０は、カメラ１２、予測部１４、検出部１６、判定部１８、指示部２２を追従動作させる制御部２０、保存部２４とを有する。
【００６０】
本実施形態と第１の実施形態の監視装置１０の異なる点は、保存部２４を新たに有することと、判定部１８の駆動判定動作にある。制御部２０、カメラ１２、検出部１６、予測部１４については、第１の実施形態と同様であるため、それらの説明は省略し、保存部２４と判定部１８について詳しく説明する。
【００６１】
保存部２４は、予め設定された客の手（監視対象物）が通過する画像上での監視領域Ｃを複数保存する。図７においては、監視領域Ｃ１〜Ｃ３が設定されている。監視領域Ｃの設定は、例えば次のように行う。
【００６２】
まず、判定部１８が監視対象物の移動終了位置を出力している場合、保存部２４は、移動終了位置同士の距離を基にクラスタリングを行う。
【００６３】
次に、判定部１８は、クラスタリングして得られた領域に含まれる移動終了位置の数が予め設定した基準数以上になった際に、同じクラスに属する移動終了位置の重心位置Ｊを計算する。
【００６４】
次に、判定部１８は、計算して得られた重心位置Ｊ、又は、その重心位置Ｊを中心とした周辺領域を新たな監視領域候補とする。
【００６５】
次に、判定部１８は、新たな監視領域候補と、保存部２４に既に保存されている監視領域との距離が、予め設定した基準距離と比較して大きい場合は、新たな監視領域候補を新たな監視領域として保存する。
【００６６】
上記では、重心位置Ｊを新たな監視領域候補の重心位置としたが、クラスタリングして得られた領域の任意の点を監視領域候補の重心位置としても構わない。
【００６７】
次に、判定部１８の判定動作について説明する。
【００６８】
まず、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して小さい場合は、検出部１６から入力された重心位置Ｏを指示位置と判定して、制御部２０に出力する。なお、重心位置Ｏから指示位置に変換する処理は、第１の実施形態の重心位置Ｏの変換処理と同様である。
【００６９】
次に、判定部１８は、予測部１４から入力された平均移動量が第１の閾値と比較して大きい場合は、予測部１４から入力された移動先位置Ｂと保存部２４に保存されている複数の監視領域Ｃ１〜Ｃ３との距離を計算する。
【００７０】
最後に、判定部１８は、計算された複数の距離のうち、最も近い距離が第２の閾値と比較して短い場合は最も距離が近くなった監視領域（例えば、監視領域Ｃ３）を指示位置と判定して、制御部２０に出力し、一方、長い場合は移動先位置Ｂを指示位置と判定して、制御部２０に出力する。なお、指示位置は、監視領域Ｃ３の中の任意の点であればよく、例えば、重心位置である。また、監視領域Ｃから指示位置に変換する処理、及び、指示位置Ｂから指示位置に変換する処理は、第１の実施形態の重心位置Ｏの変換処理と同様である。
【００７１】
次に、判定部１８が、保存部２４に新たな監視領域Ｃを保存させる動作について説明する。
【００７２】
まず、判定部１８は、予測部１４から入力された平均移動量と移動先位置Ｂを時系列で保存する。
【００７３】
次に、判定部１８は、保存された平均移動量が前記第１の閾値と比較して大きい状態が、時系列で連続して基準回数以上続いた後、平均移動量が前記第１の閾値と比較して小さくなった時刻をＴと設定する。
【００７４】
次に、判定部１８は、時刻Ｔ−１、又は、時刻Ｔ−１に近い時刻ｔに得られた移動先位置Ｂを移動終了位置として設定する。
【００７５】
次に、判定部１８は、移動終了位置を保存部２４に出力する。
【００７６】
次に、保存部２４は、入力した移動終了位置、又は、その周辺領域を監視領域Ｃ４として、新たに保存する。なお、周辺領域の大きさは、予め設定しておく。
【００７７】
次に、本実施形態の監視装置１０の判定部１８の動作状態について図９のフローチャートに基づいて説明する。
【００７８】
ステップＳ２１において、予測部１４が予測した平均移動量が第１の閾値よりも小さい場合にはステップＳ２２に進み（ｎｏの場合）、平均移動量が第１の閾値よりも大きい場合にはステップＳ２３に進む（ｙｅｓの場合）。
【００７９】
ステップＳ２２において、平均移動量が第１の閾値よりも小さいため、判定部１８は、検出部１６が検出した重心位置Ｏを指示位置と判定して、制御部２０に出力する。そして終了する。
【００８０】
ステップＳ２３において、平均移動量が第１の閾値よりも大きいため、判定部１８は、予測部１４が予測した移動先位置Ｂと、保存部２４に保存されている複数の監視領域Ｃ１〜Ｃ３との距離をそれぞれ計算する。計算された複数の距離のうち、最も近い距離が第２の閾値と比べて大きい場合にはステップＳ２４に進み（ｙｅｓの場合）、距離が第２の閾値よりも短い場合にはテップＳ２５に進む（ｎｏの場合）。
【００８１】
ステップＳ２４において、判定部１８は、監視領域と移動先位置Ｂの距離が大きいため、予測部１４が予測した移動先位置Ｂを指示位置と判定して、制御部２０に出力する。そして終了する。
【００８２】
ステップＳ２５において、移動先位置Ｂが監視領域Ｃ３と近いため、監視領域Ｃ３の中の重心点を指示位置と判定して、判定部１８は、制御部２０に出力する。そして終了する。
【００８３】
本実施形態によれば、予測した移動先位置Ｂが予め設定した監視領域に近い場合に、その監視領域の中の位置を指示位置として、先回りして判定するため、低応答性のモーターでも、制御部２０はより迅速に指示部２２を追従動作させることができる。
【実施例３】
【００８４】
第３の実施形態の監視装置１０について説明する。本実施形態と第１の実施形態の異なる点は、検出部１６と判定部１８の動作にある。
【００８５】
まず、検出部１６は、変化領域の重心位置Ｏからの分散を計算する。
【００８６】
次に、判定部１８が、重心位置Ｏを指示位置と判定した場合、検出部１６で計算された分散と予め設定した所定値とを比較する。
【００８７】
次に、判定部１８は、分散が前記所定値と比較して大きい場合は、重心位置Ｏがノイズであると判定して、指示位置を出力せず、次のフレームの処理に移る。一方、判定部１８は、分散が前記所定値と比較して小さい場合は、重心位置Ｏを指示位置と判定して、制御部２０に出力する。
【００８８】
本実施形態によれば、検出部１６が、ノイズがあって不正確な重心位置Ｏしか検出できない場合に、次のフレームに処理が移るため、指示部２２は常に正確に客の手を指示できる。
【変更例】
【００８９】
上記実施形態では、検出部１６で予め重心位置Ｏを検出したが、判定部１８で予測部１４から入力された平均移動量が第１の閾値と比較して小さい場合にのみ、検出部１６で重心位置Ｏを検出してもよい。
【００９０】
上記実施形態では、指示部２２として人間の顔を模擬した人形の顔を例示したが、これに限らず、指を模擬したものや、レーザーポインタなど、人間にとって指示位置を示すことができる物体であればよい。また、ディスプレイに写し出された人間の眼や指でもよい。
【００９１】
上記実施形態では、指示位置としては、モータのパン角−チルト角としたが、これに限らす判定部１８は、指示部２２を駆動させる駆動手段に応じて、指示位置の情報に変換すればよい。例えば、ディスプレイに写し出す場合には、人間の眼や指の画像情報などである。
【００９２】
上記実施形態では、セルフレジ１に設ける監視装置１０で説明したが、これに限らず、監視装置１０をＡＴＭに設け、ＡＴＭを操作する客の不正行為を監視してもよい。また、部屋に監視用のカメラ１２を複数配置し、部屋の中の移動している人間を監視してもよい。この場合に、指示部２２としては、移動している人間にレーザ光を当てたり、また、移動している人間に最も近い照明を点灯させてもよい。
【００９３】
なお、この監視装置１０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、検出部１６、予測部１４、判定部１８、保存部２４は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、監視装置１０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９５】
１０・・・監視装置、１２・・・カメラ、１４・・・予測部、１６・・・検出部、１８・・・判定部、２０・・・制御部、２２・・・指示部、２４・・・保存部
【特許請求の範囲】
【請求項１】
監視対象物を指し示す指示部と、
前記監視対象物を撮像して時系列の画像を取得するカメラと、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測部と、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
を有することを特徴とする監視装置。
【請求項２】
前記カメラが取得する画像における複数の監視領域を保存する保存部をさらに有し、
前記判定部は、
前記平均移動量が前記第１の閾値と比較して大きく、かつ、複数の前記監視領域の中の位置と前記移動先位置との距離が、予め設定した第２の閾値と比較して短い場合に、前記監視領域中の位置を前記指示位置に設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項３】
前記予測部は、
前記第１の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
前記平均移動量と前記平均移動方向を持つ、前記第１の集合に所属する各特徴点の平均位置を、前記移動先位置に設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項４】
前記予測部は、
前記第１の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
前記平均移動量と前記平均移動方向を持つ、前記第１の集合に所属する各特徴点の平均位置を設定し、
前記第１の集合に所属する前記特徴点の前記移動方向と前記平均移動方向のなす角が、予め設定した基準角より小さい前記特徴点が集まった第２の集合を求め、
前記第２の集合に所属する前記特徴点の中で、前記平均位置から前記平均移動方向に沿って最も遠方にある前記特徴点の位置を前記移動先位置として設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項５】
前記判定部は、前記指示位置を判定した後、予め設定した一定時間後までは前記指示位置の判定を維持する、
ことを特徴とする請求項１記載の監視装置。
【請求項６】
前記判定部は、前記変化領域の分散が予め設定した所定値より小さい場合に、前記重心位置を前記指示位置と判定する、
ことを特徴とする請求項１記載の監視装置。
【請求項７】
前記判定部は、
前記移動先位置を前記指示位置とする判定が、予め設定した基準回数以上連続した後、前記移動先位置を前記指示位置としない判定が行われた時点での前記移動先位置を移動終了位置として前記保存部に出力し、
前記保存部は、前記移動終了位置、又は、その周辺領域を新たな前記監視領域として保存する、
ことを特徴とする請求項２記載の監視装置。
【請求項８】
監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視方法であって、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測ステップと、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出ステップと、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定ステップと、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御ステップと、
を有することを特徴とする監視方法。
【請求項９】
監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視プログラムであって、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測機能と、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出機能と、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定機能と、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
をコンピュータに実現させるための監視プログラム。
【請求項１】
監視対象物を指し示す指示部と、
前記監視対象物を撮像して時系列の画像を取得するカメラと、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測部と、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出部と、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定部と、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
を有することを特徴とする監視装置。
【請求項２】
前記カメラが取得する画像における複数の監視領域を保存する保存部をさらに有し、
前記判定部は、
前記平均移動量が前記第１の閾値と比較して大きく、かつ、複数の前記監視領域の中の位置と前記移動先位置との距離が、予め設定した第２の閾値と比較して短い場合に、前記監視領域中の位置を前記指示位置に設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項３】
前記予測部は、
前記第１の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
前記平均移動量と前記平均移動方向を持つ、前記第１の集合に所属する各特徴点の平均位置を、前記移動先位置に設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項４】
前記予測部は、
前記第１の集合に所属する前記各特徴点の前記移動量を平均した平均移動量と、前記各特徴点の移動方向を平均した平均移動方向を計算し、
前記平均移動量と前記平均移動方向を持つ、前記第１の集合に所属する各特徴点の平均位置を設定し、
前記第１の集合に所属する前記特徴点の前記移動方向と前記平均移動方向のなす角が、予め設定した基準角より小さい前記特徴点が集まった第２の集合を求め、
前記第２の集合に所属する前記特徴点の中で、前記平均位置から前記平均移動方向に沿って最も遠方にある前記特徴点の位置を前記移動先位置として設定する、
ことを特徴とする請求項１記載の監視装置。
【請求項５】
前記判定部は、前記指示位置を判定した後、予め設定した一定時間後までは前記指示位置の判定を維持する、
ことを特徴とする請求項１記載の監視装置。
【請求項６】
前記判定部は、前記変化領域の分散が予め設定した所定値より小さい場合に、前記重心位置を前記指示位置と判定する、
ことを特徴とする請求項１記載の監視装置。
【請求項７】
前記判定部は、
前記移動先位置を前記指示位置とする判定が、予め設定した基準回数以上連続した後、前記移動先位置を前記指示位置としない判定が行われた時点での前記移動先位置を移動終了位置として前記保存部に出力し、
前記保存部は、前記移動終了位置、又は、その周辺領域を新たな前記監視領域として保存する、
ことを特徴とする請求項２記載の監視装置。
【請求項８】
監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視方法であって、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測ステップと、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出ステップと、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定ステップと、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御ステップと、
を有することを特徴とする監視方法。
【請求項９】
監視対象物を指し示す指示部と、前記監視対象物を撮像して時系列の画像を取得するカメラとを有する監視装置における監視プログラムであって、
前記時系列の画像から複数の特徴点を抽出すると共に、前記各特徴点の移動量を算出し、予め設定された基準移動量より前記移動量が大きな特徴点が集まった第１の集合に所属する前記特徴点の移動先位置を予測する予測機能と、
前記時系列の画像間の差分に基づいて変化領域を抽出し、前記変化領域の重心位置を検出する検出機能と、
前記平均移動量が第１の閾値と比較して大きい場合には前記移動先位置を指示位置と判定し、小さい場合には前記重心位置を前記指示位置と判定する判定機能と、
前記指示部が前記指示位置を指し示すように、前記指示部を制御する制御部と、
をコンピュータに実現させるための監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−５８８９９（Ｐ２０１３−５８８９９Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５７８３（Ｐ２０１１−１９５７８３）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]