画像監視装置および監視システム
【課題】 監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することのできる画像監視装置を提供する。
【解決手段】 画像監視装置２は、監視カメラ３で監視領域を撮影した画像に基づいて、監視領域における物品の置き去りまたは持ち去りを検出する。この場合、まず、監視領域を撮影した画像（入力画像）と、予め監視領域を撮影した画像（基準画像）の差分から、入力画像に含まれる変動領域を抽出する。そして、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定する。
【解決手段】 画像監視装置２は、監視カメラ３で監視領域を撮影した画像に基づいて、監視領域における物品の置き去りまたは持ち去りを検出する。この場合、まず、監視領域を撮影した画像（入力画像）と、予め監視領域を撮影した画像（基準画像）の差分から、入力画像に含まれる変動領域を抽出する。そして、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視領域の画像に基づいて物品の置き去りまたは持ち去りを検出する機能を備えた画像監視装置に関し、特に、物品の置き去りと持ち去りのどちらが発生したのかを判別する技術に関する。
【背景技術】
【０００２】
従来、監視カメラから入力される現在の画像（入力画像）と過去の画像（基準画像）との変化態様から、入力画像中の異常の有無を判定する画像監視システムが知られている。このような画像監視システムの監視目的のひとつには、不特定多数の人々が利用する空間（例えば、銀行の店舗内や駅の構内など）における不審物の置き去りの監視がある。
【０００３】
例えば、このような不審物の置き去りを監視する監視装置として、「人」の存在が検知される前後の画像において、基準画像との差分となる変化領域が相互に対応付けられるか否かの判定を行い、対応付けられない変化領域が存在した場合には不審物として検出する不審物監視装置が提案されている（特許文献１参照）。このような監視装置によれば、「人」の存在が検知される前後の画像から、当該「人」によって生じたと予想される「画像変動」を「置き去られた不審物」として抽出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視装置において「画像変動」が生じるのは、監視領域の画像中に物品（不審物など）が新規に出現した場合だけに限られない。すなわち、監視領域の画像中から物品（既設物など）が消失した場合にも「画像変動」が生じ得る。ところが、従来の監視装置では、このような画像変動が、物品の置き去りによって生じたのか、それとも物品の持ち去りにより生じたのかを判別することができなかった。したがって、従来の監視装置で提供できる監視機能も、物品の置き去り／持ち去りの判別を要しない限定的な監視機能に留まっていた。すなわち、物品の置き去りと持ち去りの一方だけを監視したい場合や、物品の置き去りと持ち去りの何れであるかに応じて適切な報知出力を行いたいといった監視目的には対応することができず、そのような監視サービスを提供するためには、監視員などが画像を見て個別に判断する必要があった。
【０００６】
例えば、物品の置き去りと持ち去りの一方だけを効率的に監視したい場合などには、監視領域の画像から抽出された画像変動が、物品の置き去りによって生じたのか、物品の持ち去りにより生じたのかを判別する機能が求められる。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することのできる画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像監視装置は、監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、を備えている。
【０００９】
これにより、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては「変動領域に対応する領域」、単に「対応領域」ともいう）を挟むように配置された二つの線分（ペア線分）に注目して、ペア線分の間に存在する同一線上の線分（構造線）の有無に基づいて、物品の置き去り／持ち去りの判別を行う。すなわち、変動領域は両画像間で変化のあった領域であるので、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００１０】
また、本発明の画像監視装置では、前記判定部は、前記入力画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記基準画像において検出された場合に、物品の置き去りが発生したと判定してもよい。
【００１１】
これにより、入力画像でペア線分が検出され、基準画像でこのペア線分に対応する特定線分（ペア線分を結ぶような線分）が検出されたときには、変動領域は両画像間で変化のあった領域であるので、変動領域の発生（物品の出現）によって入力画像で特定線分が見えなくなった（隠蔽された）と考えられる。したがって、このような場合には、物品の置き去りが発生したと判定することができる。
【００１２】
また、本発明の画像監視装置では、前記判定部は、前記基準画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記入力画像において検出された場合に、物品の持ち去りが発生したと判定してもよい。
【００１３】
これにより、基準画像でペア線分が検出され、入力画像でこのペア線分に対応する特定線分（ペア線分を結ぶような線分）が検出されたときには、変動領域は両画像間で変化のあった領域であるので、変動領域の発生（物品の消失）によって入力画像で特定線分が見えるようになった（出現した）と考えられる。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００１４】
また、本発明の画像監視装置では、前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行してもよい。
【００１５】
これにより、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００１６】
本発明の監視システムは、監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、前記画像監視装置は、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記入力画像を前記監視用端末装置に送信する出力部と、を備え、前記監視用端末装置は、前記入力画像を受信する通信部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、前記判定部の判定結果を報知する報知部と、を備えている。
【００１７】
このシステムによっても、上記の装置と同様にして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【発明の効果】
【００１８】
本発明によれば、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における監視システムの概要図である。
【図２】本発明の実施の形態における画像監視装置の構成を示すブロック図である。
【図３】変動領域の抽出の一例を示した図である。
【図４】物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図５】物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図６】本発明の実施の形態における画像監視装置の動作を説明するためのフロー図である。
【図７】線分検出処理の流れを示すフロー図である。
【図８】物品の置き去り判定処理の流れを示すフロー図である。
【図９】物品の持ち去り判定処理の流れを示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。本実施の形態では、不特定多数の人々が利用する空間（ロッカー室など）の画像監視に用いられる監視システムの場合を例示するが、本発明の範囲はこれに限定されるものではない。
【００２１】
図１は、本実施の形態の監視システムの概略図である。図１に示すように、監視システム１は、監視領域であるロッカー室の画像監視を行うための画像監視装置２を備えている。この画像監視装置２は、監視領域（ロッカー室）の画像を撮影する監視カメラ３に接続されている。また、画像監視装置２は、遠隔の監視センタ４に設置された監視用端末５にも接続されており、監視センタ４の監視員は、監視用端末５のモニタでロッカー室内の異常を監視することができる。
【００２２】
図２は、画像監視装置２の構成を示すブロック図である。図２に示すように、画像監視装置２は、監視カメラ３で撮影した監視領域の画像（入力画像）を取得する画像取得部６と、監視カメラ３で予め撮影しておいた監視領域の画像（基準画像）を記憶する記憶部７と、入力画像や基準画像に種々の画像処理を施す画像処理部８を備えている。また、この画像監視装置２は、監視センタ４の監視用端末５とネットワークを介して通信を行うための通信インターフェースとしての出力部９を備えている。
【００２３】
画像取得部６は、物品の置き去り／持ち去りの検出のための入力画像として、監視カメラ３で撮影した監視領域の現在の画像を取得する機能を備えている。したがって、入力画像は、現画像と呼ぶこともできる。監視カメラ３から取得した入力画像の画像データは、物品の置き去り／持ち去りの判別処理のために画像処理部８へ出力される。なお、本実施の形態では、監視カメラ３と画像監視装置２が別装置である場合を例示したが、本発明の範囲はこれに限定されるものではなく、画像監視装置２は、監視カメラ３を内蔵していてもよい。
【００２４】
記憶部７には、物品の置き去り／持ち去りの検出のための基準画像として、監視カメラ３で予め撮影しておいた監視領域の過去の画像が記憶されている。この基準画像は、監視領域（ロッカー室）の初期状態の画像であり、例えば、人物の存在していない状態の画像（背景画像）である。なお、記憶部７には、基準画像のほかに、フレーム間変動情報や線分情報などの情報（後述する）も記憶される。この記憶部７は、例えば、ＨＤＤやメモリなどで構成されている。
【００２５】
画像処理部８は、ＭＰＵやマイコンなどで構成されており、機能モジュールとして、入力画像に含まれる変動領域を抽出する変動領域抽出部１０と、入力画像や基準画像から線分を抽出する線分検出処理部１１を備えている。また、画像処理部８は、入力画像や基準画像からペア線分を抽出するペア線分抽出部１２と、物品の置き去り／持ち去りの検出用の特定線分（ペア線分を結ぶような線分）を抽出する特定線分抽出部１３と、入力画像と基準画像における特定線分の検出結果に基づいて物品の置き去り／持ち去りの判定処理を行う判定部１４を備えている。さらに、この画像処理部８は、入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部１５を備えている。
【００２６】
変動領域抽出部１０は、基準画像と入力画像との差分から、入力画像に含まれる変動領域を抽出する。例えば、基準画像に対する入力画像の輝度の差分値（背景差分値）が、所定の閾値以上の画素が変動領域として抽出される。図３は、変動領域の抽出の一例を示す図である。例えば、図３（ａ）のような入力画像（ロッカー室の現画像）が画像取得部６によって得られ、図３（ｂ）のような基準画像（無人だったときのロッカー室の画像）が記憶部７に記憶されている場合には、図３（ｃ）で斜線で示された領域が、変動領域として抽出される。なお、ここで、「変動領域」とは入力画像に含まれる領域を指し、基準画像に含まれる「変動領域に対応する領域」については「対応領域」と呼ぶことにする。
【００２７】
線分検出処理部１１は、入力画像と基準画像の各々から、それぞれの画像に含まれる所定長さ以上の線分（構造線）を抽出する。例えば、入力画像や基準画像にエッジ検出処理や二値化処理、細線化処理を施し、ハフ変換することによって、画像中の線分が検出される（図７参照）。そして、検出された線分のうち、所定以上（例えば、１００ピクセル以上、あるいは、画像の縦または横の長さの１／５以上など）の長さの線分の情報が、線分情報として記憶部７に記憶される（図２参照）。なお、ここでは、入力画像から抽出された線分を「入力線分」ともいい、基準画像（背景画像）から抽出された線分を「背景線分」ともいう。
【００２８】
ペア線分抽出部１２は、入力画像から検出された線分（入力線分）のうち、変動領域を挟むように配置された同一線上に存在する二つの線分（変動領域によって二つに分断されたような線分）を、入力画像に含まれるペア線分として抽出する。また、ペア線分抽出部１２は、基準画像から検出された線分（背景線分）のうち、対応領域を挟むように配置された同一線上に存在する二つの線分（対応領域によって二つに分断されたような線分）を、基準画像に含まれるペア線分として抽出する。例えば、図４（ａ）の例では、基準画像（背景画像）から、対応領域を挟んで配置された二つの線分Ｙ、Ｚが、基準画像のペア線分として抽出され、図４（ｂ）の例では、入力画像から、変動領域を挟んで配置された二つの線分Ａ、Ｂが、入力画像のペア線分として抽出される。また、図５（ａ）の例では、基準画像（背景画像）から、対応領域を挟んで配置された二つの線分Ａ’、Ｂ’が、基準画像のペア線分として抽出され、図５（ｂ）の例では、入力画像から、変動領域を挟んで配置された二つの線分Ｙ’、Ｚ’が、入力画像のペア線分として抽出される。
【００２９】
特定線分抽出部１３は、入力画像から検出された線分（入力線分）のうち、入力画像のペア線分の間に存在する同一線上の線分（入力画像のペア線分を結ぶような線分）を、入力画像に含まれる特定線分として抽出する。また、特定線分抽出部１３は、基準画像から検出された線分（背景線分）のうち、基準画像のペア線分の間に存在する同一線上の線分（基準画像のペア線分を結ぶような線分）を、基準画像に含まれる特定線分として抽出する。例えば、図４（ａ）の例では、基準画像のペア線分Ｙ、Ｚを結ぶような線分Ｘが、基準画像の特定線分として抽出される。また、図５（ｂ）の例では、入力画像のペア線分Ｙ’、Ｚ’を結ぶような線分Ｘ’が、入力画像の特定線分として抽出される。
【００３０】
判定部１４は、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する機能を備えている。この判定部１４の判定結果は、出力部９から監視用端末５へ送信される。本実施の形態では、判定部１４は、機能モジュールとして、物品の置き去りの判定を行う置き去り判定部１６と、物品の持ち去りの判定を行う持ち去り判定部１７を備えている（図２参照）。
【００３１】
置き去り判定部１６は、入力画像においてペア線分が検出され、基準画像においてこのペア線分に対応する特定線分が検出された場合に、物品の置き去りが発生したと判定する。図４は、物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図４（ｂ）のように入力画像（現在の画像）からペア線分Ａ、Ｂが検出され、図４（ａ）のように基準画像（背景画像）からペア線分Ａ、Ｂに対応する特定線分Ｘ（ペア線分Ａ、Ｂに対応するペア線分Ｙ、Ｚを結ぶような線分）が検出された場合には、物品の置き去りが発生したと判定される。なお、説明の便宜上、図４（ａ）では、対応領域が破線で示されており、特定線分Ｘとペア線分Ｙ、Ｚが太線で表示されている。また、図４（ｂ）では、変動領域が破線で示されており、ペア線分Ａ、Ｂが太線で表示されている。
【００３２】
より具体的には、入力画像の変動領域の外側のエリアから任意の線分の組（二つの線分Ａ、Ｂ）を選択し、その二つの線分Ａ、Ｂが同一線上にあり、かつ、その二つの線分Ａ、Ｂを結ぶ仮想的な線分（仮想線分）が変動領域に含まれる場合には、その二つの線分Ａ、Ｂがペア線分として決定される。そして、基準画像（背景画像）に、このペア線分Ａ、Ｂに対応する特定線分（ペア線分Ｙ、Ｚを結ぶような線分Ｘ）が存在する場合には、物品の置き去りが発生したと判定される。
【００３３】
持ち去り判定部１７は、基準画像においてペア線分が検出され、入力画像においてこのペア線分に対応する特定線分が検出された場合に、物品の持ち去りが発生したと判定する。図５は、物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図５（ａ）のように基準画像（背景画像）からペア線分Ａ’、Ｂ’が検出され、図５（ｂ）のように入力画像（現在の画像）からペア線分Ａ’、Ｂ’に対応する特定線分Ｘ’（ペア線分Ａ’、Ｂ’に対応するペア線分Ｙ’、Ｚ’を結ぶような線分）が検出された場合には、物品の持ち去りが発生したと判定される。なお、説明の便宜上、図５（ａ）では、対応領域が破線で示されており、ペア線分Ａ’、Ｂ’が太線で表示されている。また、図５（ｂ）では、変動領域が破線で示されており、特定線分Ｘ’とペア線分Ｙ’、Ｚ’が太線で表示されている。
【００３４】
より具体的には、基準画像（背景画像）の対応領域の外側のエリアから任意の線分の組（二つの線分Ａ’、Ｂ’）を選択し、その二つの線分Ａ’、Ｂ’が同一線上にあり、かつ、その二つの線分Ａ’、Ｂ’を結ぶ仮想的な線分（仮想線分）が対応領域に含まれる場合には、その二つの線分Ａ’、Ｂ’がペア線分として決定される。そして、入力画像に、このペア線分Ａ’、Ｂ’に対応する特定線分（ペア線分Ｙ’、Ｚ’を結ぶような線分Ｘ’）が存在する場合には、物品の持ち去りが発生したと判される。
【００３５】
なお、本発明の「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。したがって、二つの線分（例えば、線分Ａ、Ｂ）が「同一線上」にあるとは、直線状の線分が同一直線上にあることだけでなく、円弧状の線分が同一の円弧上（同じ正円の円弧上）にあることも含まれる。また、二つの線分（例えば、線分Ａ、Ｂ）を結ぶ仮想的な線分（仮想線分）が変動領域に含まれるか否かは、その二つの線分の「端点」を通る線分（仮想線分）が変動領域に含まれるか否かによって判定される。また、基準画像に特定線分（例えば、ペア線分Ｙ、Ｚを結ぶような線分Ｘ）が存在するか否かは、二つの線分の「端点」を通る線分が基準画像に存在するか否かによって判定される。
【００３６】
フレーム差分抽出部１５は、画像取得部６によって順次取得した入力画像（現画像）のフレーム間の差分から、入力画像におけるフレーム間変動領域を抽出する。例えば、ロッカー室内で「人」が動いるときには、その「人」に対応する領域がフレーム間変動領域として抽出される。そして、その「人」がロッカー室から退出し、そのロッカー室内に他に動くものが何もないときには、フレーム間変動領域が検出されなくなる。このように、順次フレームごとに抽出されたフレーム間変動領域の情報（例えば、各フレームごとのフレーム間変動領域の面積）が、フレーム間変動情報として記憶部７に記憶される。そして、判定部１４は、フレーム間変動領域が所定フレーム（例えば、１０フレーム）連続して所定面積（例えば、１０００ピクセル、あるいは、画像面積の１％）以下であったことをトリガーとして、物品の置き去り／持ち去りの判定処理を実行する。
【００３７】
以上のように構成された画像監視装置２について、図面を参照してその動作を説明する。
【００３８】
まず、画像監視装置２で実行される全体の処理について説明する。図６は、画像監視装置２の全体の処理の流れを説明するフロー図である。図６に示すように、画像監視装置２は、監視カメラ３から監視領域の現在の画像（入力画像）の画像データを取得すると（Ｓ１）、入力画像におけるフレーム間変動領域を抽出する。そして、フレーム間変動領域の面積が所定フレーム連続して所定の閾値以下であった場合には（Ｓ２）、記憶部７に記憶されている基準画像（背景画像）の画像データを取得して（Ｓ３）、基準画像と入力画像の差分から変動領域を抽出する（Ｓ４）。
【００３９】
その後、基準画像（背景画像）に含まれる所定長さ以上の線分（背景線分）を抽出し（Ｓ５）、同様に、入力画像に含まれる所定長さ以上の線分（入力線分）を抽出する（Ｓ６）。そして、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りが発生したかの判定（置き去り判定）を行い（Ｓ７）、さらに、物品の持ち去りが発生したかの判定（持ち去り判定）を行う（Ｓ８）。
【００４０】
つぎに、画像監視装置２で実行される各処理について説明する。図７は、線分検出処理の流れを示すフロー図である。図７に示すように、入力画像や基準画像から線分を抽出する場合には、まず、入力画像や基準画像にエッジ検出処理を施して、エッジ画像を作成する（Ｓ１０）。そのエッジ画像に二値化処理と細線化処理を施して、細線化画像を作成する（Ｓ１１）。そして、その細線化画像をハフ変換して（Ｓ１２）、画像中に含まれる線分（構造線）が検出される（Ｓ１３）。
【００４１】
例えば、細線化処理では、エッジ画像中に５画素の太さの線が存在する場合に、その線の外側から１画素ずつ削っていって（線を細くしていって）、１画素の太さの線（画素の並び）が生成される。そして、ハフ変換では、細線化画像中の線（画素の並び）に段差（１画素分の段差）が存在する場合に、その線（段差のある画素の並び）が、直線または正円の円弧に近似される。したがって、この線分検出処理で検出される「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。
【００４２】
なお、この線分検出処理は、変動領域や対応領域の内側のエリアと外側のエリアとで別々に行うことができる。つまり、変動領域や対応領域の内側のエリアに存在する線分と、変動領域や対応領域の外側のエリアに存在する線分とが、別々に検出することができる。
【００４３】
図８は、物品の置き去り判定処理の流れを示すフロー図である。物品の置き去り判定を行う場合には、まず、入力画像の変動領域の外側のエリアから任意の線分の組（二つの線分）を選択し（Ｓ２０）、その二つの線分が同一線上にあるか否かの判定を行う（Ｓ２１）。同一線上にある場合には、その二つの線分を結ぶ仮想的な線分（仮想線分）が変動領域に含まれるか否かの判定を行う（Ｓ２２）。仮想線分が変動領域に含まれる場合には、基準画像（背景画像）から、この二つの線分（入力画像のペア線分）に対応するペア線分（基準画像のペア線分）を結ぶような線分（特定線分）を探索する（Ｓ２３）。基準画像のペア線分を結ぶような特定線分が基準画像中に存在した場合には（Ｓ２４）、物品の置き去りが発生したと判定する（Ｓ２５）。一方、基準画像のペア線分を結ぶような特定線分が基準画像中に存在しなかった場合には、入力画像から線分の組（二つの線分）のすべての組み合わせを選択したか否かを判定し（Ｓ２６）、すべての組み合わせを選択していない場合には、最初のステップ（Ｓ２０）に戻って上記の処理を繰り返す。
【００４４】
図９は、物品の持ち去り判定処理の流れを示すフロー図である。物品の持ち去り判定を行う場合には、まず、基準画像（背景画像）の対応領域の外側のエリアから任意の線分の組（二つの線分）を選択し（Ｓ３０）、その二つの線分が同一線上にあるか否かの判定を行う（Ｓ３１）。同一線上にある場合には、その二つの線分を結ぶ仮想的な線分（仮想線分）が対応領域に含まれるか否かの判定を行う（Ｓ３２）。仮想線分が対応領域に含まれる場合には、入力画像から、この二つの線分（基準画像のペア線分）に対応するペア線分（入力画像のペア線分）を結ぶような線分（特定線分）を探索する（Ｓ３３）。入力画像のペア線分を結ぶような特定線分が入力画像中に存在した場合には（Ｓ３４）、物品の持ち去りが発生したと判定する（Ｓ３５）。一方、入力画像のペア線分を結ぶような特定線分が入力画像中に存在しなかった場合には、基準画像から線分の組（二つの線分）のすべての組み合わせを選択したか否かを判定し（Ｓ３６）、すべての組み合わせを選択していない場合には、最初のステップ（Ｓ３０）に戻って上記の処理を繰り返す。
【００４５】
このような本発明の実施の形態の画像監視装置２によれば、監視領域の画像に変動領域が発生したことだけでなく、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４６】
すなわち、本実施の形態では、図３に示すように、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては対応領域）を挟むように配置された二つの線分（ペア線分）に注目して、ペア線分の間に存在する同一線上の特定線分（構造線）の有無に基づいて、物品の置き去り／持ち去りの判別を行う。この場合、特定線分を見つけるために、入力画像の変動領域や基準画像の対応領域の「外側」に注目していると言うこともできる。すなわち、まず入力画像の変動領域や基準画像の対応領域の「外側」に注目してペア線分を見つけ、そのペア線分を結ぶような線分があれば、その線分を特定線分として抽出するのである。このように、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４７】
例えば、図４に示すように、入力画像（現在の画像）からペア線分Ａ、Ｂが検出されかつ特定線分が検出されず、基準画像（背景画像）からペア線分Ａ、Ｂに対応する特定線分Ｘ（ペア線分Ａ、Ｂに対応するペア線分Ｙ、Ｚを結ぶような線分）が検出されたときには、変動領域の発生（物品の出現）によって入力画像で特定線分が見えなくなった（隠蔽された）と考えられる。したがって、このような場合には、物品の置き去りが発生したと判定することができる。
【００４８】
また、図５に示すように、基準画像（背景画像）からペア線分Ａ’、Ｂ’が検出されかつ特定線分が検出されず、入力画像（現在の画像）からペア線分Ａ’、Ｂ’に対応する特定線分Ｘ’（ペア線分Ａ’、Ｂ’に対応するペア線分Ｙ’、Ｚ’を結ぶような線分）が検出されたときには、変動領域の発生（物品の消失）によって入力画像で特定線分が見えるようになった（出現した）と考えられる。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００４９】
また、本実施の形態では、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００５０】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００５１】
例えば、上述の実施の形態では、画像監視装置２で置き去りまたは持ち去りを判定して判定結果を監視センタ４の監視用端末５に送信する例について説明したが、本発明の範囲はこれに限定されず、監視センタ４にて置き去りまたは持ち去りを判定するようにしてもよい。
【００５２】
この場合、画像監視装置２の各部構成（記憶部７や画像処理部８など）が、監視センタ４の監視用端末５に設けられる。画像監視装置２は、監視カメラ３にて取得された監視領域の画像（入力画像）を、出力部から監視用端末５に送信する。そして、監視用端末５は、通信部を介して受信した入力画像（画像監視装置２から送信された入力画像）を予め記憶した基準画像と比較して変動領域を抽出し、上述の実施の形態と同様に置き去りまたは持ち去りの発生有無を判定し、その判定結果をモニタ等に出力して、監視員に報知する。
【産業上の利用可能性】
【００５３】
以上のように、本発明にかかる画像監視装置は、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができるという効果を有し、不特定多数の人々が利用する空間の画像監視に用いられる監視システム等に適用され、有用である。
【符号の説明】
【００５４】
１ 監視システム
２ 画像監視装置
３ 監視カメラ
４ 監視センタ
５ 監視用端末
６ 画像取得部
７ 記憶部
８ 画像処理部
９ 出力部
１０ 変動領域抽出部
１１ 線分検出処理部
１２ ペア線分抽出部
１３ 特定線分抽出部
１４ 判定部
１５ フレーム差分抽出部
１６ 置き去り判定部
１７ 持ち去り判定部
【技術分野】
【０００１】
本発明は、監視領域の画像に基づいて物品の置き去りまたは持ち去りを検出する機能を備えた画像監視装置に関し、特に、物品の置き去りと持ち去りのどちらが発生したのかを判別する技術に関する。
【背景技術】
【０００２】
従来、監視カメラから入力される現在の画像（入力画像）と過去の画像（基準画像）との変化態様から、入力画像中の異常の有無を判定する画像監視システムが知られている。このような画像監視システムの監視目的のひとつには、不特定多数の人々が利用する空間（例えば、銀行の店舗内や駅の構内など）における不審物の置き去りの監視がある。
【０００３】
例えば、このような不審物の置き去りを監視する監視装置として、「人」の存在が検知される前後の画像において、基準画像との差分となる変化領域が相互に対応付けられるか否かの判定を行い、対応付けられない変化領域が存在した場合には不審物として検出する不審物監視装置が提案されている（特許文献１参照）。このような監視装置によれば、「人」の存在が検知される前後の画像から、当該「人」によって生じたと予想される「画像変動」を「置き去られた不審物」として抽出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４３００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の監視装置において「画像変動」が生じるのは、監視領域の画像中に物品（不審物など）が新規に出現した場合だけに限られない。すなわち、監視領域の画像中から物品（既設物など）が消失した場合にも「画像変動」が生じ得る。ところが、従来の監視装置では、このような画像変動が、物品の置き去りによって生じたのか、それとも物品の持ち去りにより生じたのかを判別することができなかった。したがって、従来の監視装置で提供できる監視機能も、物品の置き去り／持ち去りの判別を要しない限定的な監視機能に留まっていた。すなわち、物品の置き去りと持ち去りの一方だけを監視したい場合や、物品の置き去りと持ち去りの何れであるかに応じて適切な報知出力を行いたいといった監視目的には対応することができず、そのような監視サービスを提供するためには、監視員などが画像を見て個別に判断する必要があった。
【０００６】
例えば、物品の置き去りと持ち去りの一方だけを効率的に監視したい場合などには、監視領域の画像から抽出された画像変動が、物品の置き去りによって生じたのか、物品の持ち去りにより生じたのかを判別する機能が求められる。
【０００７】
本発明は、上記の課題に鑑みてなされたもので、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することのできる画像監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像監視装置は、監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、を備えている。
【０００９】
これにより、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては「変動領域に対応する領域」、単に「対応領域」ともいう）を挟むように配置された二つの線分（ペア線分）に注目して、ペア線分の間に存在する同一線上の線分（構造線）の有無に基づいて、物品の置き去り／持ち去りの判別を行う。すなわち、変動領域は両画像間で変化のあった領域であるので、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００１０】
また、本発明の画像監視装置では、前記判定部は、前記入力画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記基準画像において検出された場合に、物品の置き去りが発生したと判定してもよい。
【００１１】
これにより、入力画像でペア線分が検出され、基準画像でこのペア線分に対応する特定線分（ペア線分を結ぶような線分）が検出されたときには、変動領域は両画像間で変化のあった領域であるので、変動領域の発生（物品の出現）によって入力画像で特定線分が見えなくなった（隠蔽された）と考えられる。したがって、このような場合には、物品の置き去りが発生したと判定することができる。
【００１２】
また、本発明の画像監視装置では、前記判定部は、前記基準画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記入力画像において検出された場合に、物品の持ち去りが発生したと判定してもよい。
【００１３】
これにより、基準画像でペア線分が検出され、入力画像でこのペア線分に対応する特定線分（ペア線分を結ぶような線分）が検出されたときには、変動領域は両画像間で変化のあった領域であるので、変動領域の発生（物品の消失）によって入力画像で特定線分が見えるようになった（出現した）と考えられる。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００１４】
また、本発明の画像監視装置では、前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行してもよい。
【００１５】
これにより、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００１６】
本発明の監視システムは、監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、前記画像監視装置は、前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、前記入力画像を前記監視用端末装置に送信する出力部と、を備え、前記監視用端末装置は、前記入力画像を受信する通信部と、前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、前記判定部の判定結果を報知する報知部と、を備えている。
【００１７】
このシステムによっても、上記の装置と同様にして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【発明の効果】
【００１８】
本発明によれば、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態における監視システムの概要図である。
【図２】本発明の実施の形態における画像監視装置の構成を示すブロック図である。
【図３】変動領域の抽出の一例を示した図である。
【図４】物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図５】物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。
【図６】本発明の実施の形態における画像監視装置の動作を説明するためのフロー図である。
【図７】線分検出処理の流れを示すフロー図である。
【図８】物品の置き去り判定処理の流れを示すフロー図である。
【図９】物品の持ち去り判定処理の流れを示すフロー図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。本実施の形態では、不特定多数の人々が利用する空間（ロッカー室など）の画像監視に用いられる監視システムの場合を例示するが、本発明の範囲はこれに限定されるものではない。
【００２１】
図１は、本実施の形態の監視システムの概略図である。図１に示すように、監視システム１は、監視領域であるロッカー室の画像監視を行うための画像監視装置２を備えている。この画像監視装置２は、監視領域（ロッカー室）の画像を撮影する監視カメラ３に接続されている。また、画像監視装置２は、遠隔の監視センタ４に設置された監視用端末５にも接続されており、監視センタ４の監視員は、監視用端末５のモニタでロッカー室内の異常を監視することができる。
【００２２】
図２は、画像監視装置２の構成を示すブロック図である。図２に示すように、画像監視装置２は、監視カメラ３で撮影した監視領域の画像（入力画像）を取得する画像取得部６と、監視カメラ３で予め撮影しておいた監視領域の画像（基準画像）を記憶する記憶部７と、入力画像や基準画像に種々の画像処理を施す画像処理部８を備えている。また、この画像監視装置２は、監視センタ４の監視用端末５とネットワークを介して通信を行うための通信インターフェースとしての出力部９を備えている。
【００２３】
画像取得部６は、物品の置き去り／持ち去りの検出のための入力画像として、監視カメラ３で撮影した監視領域の現在の画像を取得する機能を備えている。したがって、入力画像は、現画像と呼ぶこともできる。監視カメラ３から取得した入力画像の画像データは、物品の置き去り／持ち去りの判別処理のために画像処理部８へ出力される。なお、本実施の形態では、監視カメラ３と画像監視装置２が別装置である場合を例示したが、本発明の範囲はこれに限定されるものではなく、画像監視装置２は、監視カメラ３を内蔵していてもよい。
【００２４】
記憶部７には、物品の置き去り／持ち去りの検出のための基準画像として、監視カメラ３で予め撮影しておいた監視領域の過去の画像が記憶されている。この基準画像は、監視領域（ロッカー室）の初期状態の画像であり、例えば、人物の存在していない状態の画像（背景画像）である。なお、記憶部７には、基準画像のほかに、フレーム間変動情報や線分情報などの情報（後述する）も記憶される。この記憶部７は、例えば、ＨＤＤやメモリなどで構成されている。
【００２５】
画像処理部８は、ＭＰＵやマイコンなどで構成されており、機能モジュールとして、入力画像に含まれる変動領域を抽出する変動領域抽出部１０と、入力画像や基準画像から線分を抽出する線分検出処理部１１を備えている。また、画像処理部８は、入力画像や基準画像からペア線分を抽出するペア線分抽出部１２と、物品の置き去り／持ち去りの検出用の特定線分（ペア線分を結ぶような線分）を抽出する特定線分抽出部１３と、入力画像と基準画像における特定線分の検出結果に基づいて物品の置き去り／持ち去りの判定処理を行う判定部１４を備えている。さらに、この画像処理部８は、入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部１５を備えている。
【００２６】
変動領域抽出部１０は、基準画像と入力画像との差分から、入力画像に含まれる変動領域を抽出する。例えば、基準画像に対する入力画像の輝度の差分値（背景差分値）が、所定の閾値以上の画素が変動領域として抽出される。図３は、変動領域の抽出の一例を示す図である。例えば、図３（ａ）のような入力画像（ロッカー室の現画像）が画像取得部６によって得られ、図３（ｂ）のような基準画像（無人だったときのロッカー室の画像）が記憶部７に記憶されている場合には、図３（ｃ）で斜線で示された領域が、変動領域として抽出される。なお、ここで、「変動領域」とは入力画像に含まれる領域を指し、基準画像に含まれる「変動領域に対応する領域」については「対応領域」と呼ぶことにする。
【００２７】
線分検出処理部１１は、入力画像と基準画像の各々から、それぞれの画像に含まれる所定長さ以上の線分（構造線）を抽出する。例えば、入力画像や基準画像にエッジ検出処理や二値化処理、細線化処理を施し、ハフ変換することによって、画像中の線分が検出される（図７参照）。そして、検出された線分のうち、所定以上（例えば、１００ピクセル以上、あるいは、画像の縦または横の長さの１／５以上など）の長さの線分の情報が、線分情報として記憶部７に記憶される（図２参照）。なお、ここでは、入力画像から抽出された線分を「入力線分」ともいい、基準画像（背景画像）から抽出された線分を「背景線分」ともいう。
【００２８】
ペア線分抽出部１２は、入力画像から検出された線分（入力線分）のうち、変動領域を挟むように配置された同一線上に存在する二つの線分（変動領域によって二つに分断されたような線分）を、入力画像に含まれるペア線分として抽出する。また、ペア線分抽出部１２は、基準画像から検出された線分（背景線分）のうち、対応領域を挟むように配置された同一線上に存在する二つの線分（対応領域によって二つに分断されたような線分）を、基準画像に含まれるペア線分として抽出する。例えば、図４（ａ）の例では、基準画像（背景画像）から、対応領域を挟んで配置された二つの線分Ｙ、Ｚが、基準画像のペア線分として抽出され、図４（ｂ）の例では、入力画像から、変動領域を挟んで配置された二つの線分Ａ、Ｂが、入力画像のペア線分として抽出される。また、図５（ａ）の例では、基準画像（背景画像）から、対応領域を挟んで配置された二つの線分Ａ’、Ｂ’が、基準画像のペア線分として抽出され、図５（ｂ）の例では、入力画像から、変動領域を挟んで配置された二つの線分Ｙ’、Ｚ’が、入力画像のペア線分として抽出される。
【００２９】
特定線分抽出部１３は、入力画像から検出された線分（入力線分）のうち、入力画像のペア線分の間に存在する同一線上の線分（入力画像のペア線分を結ぶような線分）を、入力画像に含まれる特定線分として抽出する。また、特定線分抽出部１３は、基準画像から検出された線分（背景線分）のうち、基準画像のペア線分の間に存在する同一線上の線分（基準画像のペア線分を結ぶような線分）を、基準画像に含まれる特定線分として抽出する。例えば、図４（ａ）の例では、基準画像のペア線分Ｙ、Ｚを結ぶような線分Ｘが、基準画像の特定線分として抽出される。また、図５（ｂ）の例では、入力画像のペア線分Ｙ’、Ｚ’を結ぶような線分Ｘ’が、入力画像の特定線分として抽出される。
【００３０】
判定部１４は、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する機能を備えている。この判定部１４の判定結果は、出力部９から監視用端末５へ送信される。本実施の形態では、判定部１４は、機能モジュールとして、物品の置き去りの判定を行う置き去り判定部１６と、物品の持ち去りの判定を行う持ち去り判定部１７を備えている（図２参照）。
【００３１】
置き去り判定部１６は、入力画像においてペア線分が検出され、基準画像においてこのペア線分に対応する特定線分が検出された場合に、物品の置き去りが発生したと判定する。図４は、物品の置き去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図４（ｂ）のように入力画像（現在の画像）からペア線分Ａ、Ｂが検出され、図４（ａ）のように基準画像（背景画像）からペア線分Ａ、Ｂに対応する特定線分Ｘ（ペア線分Ａ、Ｂに対応するペア線分Ｙ、Ｚを結ぶような線分）が検出された場合には、物品の置き去りが発生したと判定される。なお、説明の便宜上、図４（ａ）では、対応領域が破線で示されており、特定線分Ｘとペア線分Ｙ、Ｚが太線で表示されている。また、図４（ｂ）では、変動領域が破線で示されており、ペア線分Ａ、Ｂが太線で表示されている。
【００３２】
より具体的には、入力画像の変動領域の外側のエリアから任意の線分の組（二つの線分Ａ、Ｂ）を選択し、その二つの線分Ａ、Ｂが同一線上にあり、かつ、その二つの線分Ａ、Ｂを結ぶ仮想的な線分（仮想線分）が変動領域に含まれる場合には、その二つの線分Ａ、Ｂがペア線分として決定される。そして、基準画像（背景画像）に、このペア線分Ａ、Ｂに対応する特定線分（ペア線分Ｙ、Ｚを結ぶような線分Ｘ）が存在する場合には、物品の置き去りが発生したと判定される。
【００３３】
持ち去り判定部１７は、基準画像においてペア線分が検出され、入力画像においてこのペア線分に対応する特定線分が検出された場合に、物品の持ち去りが発生したと判定する。図５は、物品の持ち去りが発生したと判定される特定線分の検出結果の一例を示した図である。例えば、図５（ａ）のように基準画像（背景画像）からペア線分Ａ’、Ｂ’が検出され、図５（ｂ）のように入力画像（現在の画像）からペア線分Ａ’、Ｂ’に対応する特定線分Ｘ’（ペア線分Ａ’、Ｂ’に対応するペア線分Ｙ’、Ｚ’を結ぶような線分）が検出された場合には、物品の持ち去りが発生したと判定される。なお、説明の便宜上、図５（ａ）では、対応領域が破線で示されており、ペア線分Ａ’、Ｂ’が太線で表示されている。また、図５（ｂ）では、変動領域が破線で示されており、特定線分Ｘ’とペア線分Ｙ’、Ｚ’が太線で表示されている。
【００３４】
より具体的には、基準画像（背景画像）の対応領域の外側のエリアから任意の線分の組（二つの線分Ａ’、Ｂ’）を選択し、その二つの線分Ａ’、Ｂ’が同一線上にあり、かつ、その二つの線分Ａ’、Ｂ’を結ぶ仮想的な線分（仮想線分）が対応領域に含まれる場合には、その二つの線分Ａ’、Ｂ’がペア線分として決定される。そして、入力画像に、このペア線分Ａ’、Ｂ’に対応する特定線分（ペア線分Ｙ’、Ｚ’を結ぶような線分Ｘ’）が存在する場合には、物品の持ち去りが発生したと判される。
【００３５】
なお、本発明の「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。したがって、二つの線分（例えば、線分Ａ、Ｂ）が「同一線上」にあるとは、直線状の線分が同一直線上にあることだけでなく、円弧状の線分が同一の円弧上（同じ正円の円弧上）にあることも含まれる。また、二つの線分（例えば、線分Ａ、Ｂ）を結ぶ仮想的な線分（仮想線分）が変動領域に含まれるか否かは、その二つの線分の「端点」を通る線分（仮想線分）が変動領域に含まれるか否かによって判定される。また、基準画像に特定線分（例えば、ペア線分Ｙ、Ｚを結ぶような線分Ｘ）が存在するか否かは、二つの線分の「端点」を通る線分が基準画像に存在するか否かによって判定される。
【００３６】
フレーム差分抽出部１５は、画像取得部６によって順次取得した入力画像（現画像）のフレーム間の差分から、入力画像におけるフレーム間変動領域を抽出する。例えば、ロッカー室内で「人」が動いるときには、その「人」に対応する領域がフレーム間変動領域として抽出される。そして、その「人」がロッカー室から退出し、そのロッカー室内に他に動くものが何もないときには、フレーム間変動領域が検出されなくなる。このように、順次フレームごとに抽出されたフレーム間変動領域の情報（例えば、各フレームごとのフレーム間変動領域の面積）が、フレーム間変動情報として記憶部７に記憶される。そして、判定部１４は、フレーム間変動領域が所定フレーム（例えば、１０フレーム）連続して所定面積（例えば、１０００ピクセル、あるいは、画像面積の１％）以下であったことをトリガーとして、物品の置き去り／持ち去りの判定処理を実行する。
【００３７】
以上のように構成された画像監視装置２について、図面を参照してその動作を説明する。
【００３８】
まず、画像監視装置２で実行される全体の処理について説明する。図６は、画像監視装置２の全体の処理の流れを説明するフロー図である。図６に示すように、画像監視装置２は、監視カメラ３から監視領域の現在の画像（入力画像）の画像データを取得すると（Ｓ１）、入力画像におけるフレーム間変動領域を抽出する。そして、フレーム間変動領域の面積が所定フレーム連続して所定の閾値以下であった場合には（Ｓ２）、記憶部７に記憶されている基準画像（背景画像）の画像データを取得して（Ｓ３）、基準画像と入力画像の差分から変動領域を抽出する（Ｓ４）。
【００３９】
その後、基準画像（背景画像）に含まれる所定長さ以上の線分（背景線分）を抽出し（Ｓ５）、同様に、入力画像に含まれる所定長さ以上の線分（入力線分）を抽出する（Ｓ６）。そして、入力画像の特定線分と基準画像の特定線分の検出結果に基づいて、物品の置き去りが発生したかの判定（置き去り判定）を行い（Ｓ７）、さらに、物品の持ち去りが発生したかの判定（持ち去り判定）を行う（Ｓ８）。
【００４０】
つぎに、画像監視装置２で実行される各処理について説明する。図７は、線分検出処理の流れを示すフロー図である。図７に示すように、入力画像や基準画像から線分を抽出する場合には、まず、入力画像や基準画像にエッジ検出処理を施して、エッジ画像を作成する（Ｓ１０）。そのエッジ画像に二値化処理と細線化処理を施して、細線化画像を作成する（Ｓ１１）。そして、その細線化画像をハフ変換して（Ｓ１２）、画像中に含まれる線分（構造線）が検出される（Ｓ１３）。
【００４１】
例えば、細線化処理では、エッジ画像中に５画素の太さの線が存在する場合に、その線の外側から１画素ずつ削っていって（線を細くしていって）、１画素の太さの線（画素の並び）が生成される。そして、ハフ変換では、細線化画像中の線（画素の並び）に段差（１画素分の段差）が存在する場合に、その線（段差のある画素の並び）が、直線または正円の円弧に近似される。したがって、この線分検出処理で検出される「線分」には、直線状の線分だけでなく、円弧状の線分も含まれる。
【００４２】
なお、この線分検出処理は、変動領域や対応領域の内側のエリアと外側のエリアとで別々に行うことができる。つまり、変動領域や対応領域の内側のエリアに存在する線分と、変動領域や対応領域の外側のエリアに存在する線分とが、別々に検出することができる。
【００４３】
図８は、物品の置き去り判定処理の流れを示すフロー図である。物品の置き去り判定を行う場合には、まず、入力画像の変動領域の外側のエリアから任意の線分の組（二つの線分）を選択し（Ｓ２０）、その二つの線分が同一線上にあるか否かの判定を行う（Ｓ２１）。同一線上にある場合には、その二つの線分を結ぶ仮想的な線分（仮想線分）が変動領域に含まれるか否かの判定を行う（Ｓ２２）。仮想線分が変動領域に含まれる場合には、基準画像（背景画像）から、この二つの線分（入力画像のペア線分）に対応するペア線分（基準画像のペア線分）を結ぶような線分（特定線分）を探索する（Ｓ２３）。基準画像のペア線分を結ぶような特定線分が基準画像中に存在した場合には（Ｓ２４）、物品の置き去りが発生したと判定する（Ｓ２５）。一方、基準画像のペア線分を結ぶような特定線分が基準画像中に存在しなかった場合には、入力画像から線分の組（二つの線分）のすべての組み合わせを選択したか否かを判定し（Ｓ２６）、すべての組み合わせを選択していない場合には、最初のステップ（Ｓ２０）に戻って上記の処理を繰り返す。
【００４４】
図９は、物品の持ち去り判定処理の流れを示すフロー図である。物品の持ち去り判定を行う場合には、まず、基準画像（背景画像）の対応領域の外側のエリアから任意の線分の組（二つの線分）を選択し（Ｓ３０）、その二つの線分が同一線上にあるか否かの判定を行う（Ｓ３１）。同一線上にある場合には、その二つの線分を結ぶ仮想的な線分（仮想線分）が対応領域に含まれるか否かの判定を行う（Ｓ３２）。仮想線分が対応領域に含まれる場合には、入力画像から、この二つの線分（基準画像のペア線分）に対応するペア線分（入力画像のペア線分）を結ぶような線分（特定線分）を探索する（Ｓ３３）。入力画像のペア線分を結ぶような特定線分が入力画像中に存在した場合には（Ｓ３４）、物品の持ち去りが発生したと判定する（Ｓ３５）。一方、入力画像のペア線分を結ぶような特定線分が入力画像中に存在しなかった場合には、基準画像から線分の組（二つの線分）のすべての組み合わせを選択したか否かを判定し（Ｓ３６）、すべての組み合わせを選択していない場合には、最初のステップ（Ｓ３０）に戻って上記の処理を繰り返す。
【００４５】
このような本発明の実施の形態の画像監視装置２によれば、監視領域の画像に変動領域が発生したことだけでなく、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４６】
すなわち、本実施の形態では、図３に示すように、監視領域を撮影した画像（入力画像）と予め撮影しておいた画像（基準画像）の差分から、入力画像に含まれる変動領域が抽出される。本発明では、この変動領域（基準画像においては対応領域）を挟むように配置された二つの線分（ペア線分）に注目して、ペア線分の間に存在する同一線上の特定線分（構造線）の有無に基づいて、物品の置き去り／持ち去りの判別を行う。この場合、特定線分を見つけるために、入力画像の変動領域や基準画像の対応領域の「外側」に注目していると言うこともできる。すなわち、まず入力画像の変動領域や基準画像の対応領域の「外側」に注目してペア線分を見つけ、そのペア線分を結ぶような線分があれば、その線分を特定線分として抽出するのである。このように、入力画像の変動領域や基準画像の対応領域を挟むペア線分を抽出し、そのペア線分を結ぶような同一線上の線分（特定線分）を抽出して、その特定線分が入力画像と基準画像のいずれの画像で検出できたのかに基づいて、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判定することができる。このようにして、入力画像や基準画像における特定線分（ペア線分を結ぶような線分）の検出結果に基づいて、その監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができる。
【００４７】
例えば、図４に示すように、入力画像（現在の画像）からペア線分Ａ、Ｂが検出されかつ特定線分が検出されず、基準画像（背景画像）からペア線分Ａ、Ｂに対応する特定線分Ｘ（ペア線分Ａ、Ｂに対応するペア線分Ｙ、Ｚを結ぶような線分）が検出されたときには、変動領域の発生（物品の出現）によって入力画像で特定線分が見えなくなった（隠蔽された）と考えられる。したがって、このような場合には、物品の置き去りが発生したと判定することができる。
【００４８】
また、図５に示すように、基準画像（背景画像）からペア線分Ａ’、Ｂ’が検出されかつ特定線分が検出されず、入力画像（現在の画像）からペア線分Ａ’、Ｂ’に対応する特定線分Ｘ’（ペア線分Ａ’、Ｂ’に対応するペア線分Ｙ’、Ｚ’を結ぶような線分）が検出されたときには、変動領域の発生（物品の消失）によって入力画像で特定線分が見えるようになった（出現した）と考えられる。したがって、この場合には、物品の置き去りが発生したと判定することができる。
【００４９】
また、本実施の形態では、入力画像のフレーム間の差分から、入力画像におけるフレーム間変動領域が抽出される。物品の置き去り（または持ち去り）は、監視領域内に入ってきた人物が監視領域内に物品を置いて（または監視領域内の物品を持って）立ち去る行為である。したがって、フレーム間変動領域が所定フレーム連続して所定面積以下となったこと（監視領域内から人物が立ち去ったこと）をトリガとすることにより、物品の置き去り／持ち去りの判定処理を適切なタイミングで実行することができる。
【００５０】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００５１】
例えば、上述の実施の形態では、画像監視装置２で置き去りまたは持ち去りを判定して判定結果を監視センタ４の監視用端末５に送信する例について説明したが、本発明の範囲はこれに限定されず、監視センタ４にて置き去りまたは持ち去りを判定するようにしてもよい。
【００５２】
この場合、画像監視装置２の各部構成（記憶部７や画像処理部８など）が、監視センタ４の監視用端末５に設けられる。画像監視装置２は、監視カメラ３にて取得された監視領域の画像（入力画像）を、出力部から監視用端末５に送信する。そして、監視用端末５は、通信部を介して受信した入力画像（画像監視装置２から送信された入力画像）を予め記憶した基準画像と比較して変動領域を抽出し、上述の実施の形態と同様に置き去りまたは持ち去りの発生有無を判定し、その判定結果をモニタ等に出力して、監視員に報知する。
【産業上の利用可能性】
【００５３】
以上のように、本発明にかかる画像監視装置は、監視領域において物品の置き去りと持ち去りのどちらが発生したのかを判別することができるという効果を有し、不特定多数の人々が利用する空間の画像監視に用いられる監視システム等に適用され、有用である。
【符号の説明】
【００５４】
１ 監視システム
２ 画像監視装置
３ 監視カメラ
４ 監視センタ
５ 監視用端末
６ 画像取得部
７ 記憶部
８ 画像処理部
９ 出力部
１０ 変動領域抽出部
１１ 線分検出処理部
１２ ペア線分抽出部
１３ 特定線分抽出部
１４ 判定部
１５ フレーム差分抽出部
１６ 置き去り判定部
１７ 持ち去り判定部
【特許請求の範囲】
【請求項１】
監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、
前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、
前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、
を備えたことを特徴とする画像監視装置。
【請求項２】
前記判定部は、前記入力画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記基準画像において検出された場合に、物品の置き去りが発生したと判定する、請求項１に記載の画像監視装置。
【請求項３】
前記判定部は、前記基準画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記入力画像において検出された場合に、物品の持ち去りが発生したと判定する、請求項１または請求項２に記載の画像監視装置。
【請求項４】
前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行する、請求項１ないし請求項３のいずれかに記載の画像監視装置。
【請求項５】
監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、
前記画像監視装置は、
前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、
前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。
【請求項１】
監視領域を撮影した画像に基づいて、前記監視領域における物品の置き去りまたは持ち去りを検出する画像監視装置であって、
前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、
前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、
を備えたことを特徴とする画像監視装置。
【請求項２】
前記判定部は、前記入力画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記基準画像において検出された場合に、物品の置き去りが発生したと判定する、請求項１に記載の画像監視装置。
【請求項３】
前記判定部は、前記基準画像においてペア線分が検出され、当該ペア線分に対応する特定線分が前記入力画像において検出された場合に、物品の持ち去りが発生したと判定する、請求項１または請求項２に記載の画像監視装置。
【請求項４】
前記画像取得部によって順次取得された入力画像のフレーム間の差分から、前記入力画像におけるフレーム間変動領域を抽出するフレーム差分抽出部を、さらに備え、
前記判定部は、前記フレーム間変動領域が所定フレーム連続して所定面積以下である場合に、前記物品の置き去りまたは持ち去りのいずれが発生したのかを判定する処理を実行する、請求項１ないし請求項３のいずれかに記載の画像監視装置。
【請求項５】
監視領域を撮影した画像を取得する画像監視装置と、前記監視領域における物品の置き去りまたは持ち去りを監視するために遠隔の監視センタに設置され前記画像監視装置にネットワークを介して接続される監視用端末装置と、を備えた監視システムであって、
前記画像監視装置は、
前記物品の置き去りまたは持ち去りの検出のための入力画像として、前記監視領域を撮影した画像を取得する画像取得部と、
前記入力画像を前記監視用端末装置に送信する出力部と、
を備え、
前記監視用端末装置は、
前記入力画像を受信する通信部と、
前記物品の置き去りまたは持ち去りの検出のための基準画像として、予め前記監視領域を撮影した画像を記憶する記憶部と、
前記基準画像と前記入力画像の差分から、前記入力画像に含まれる変動領域を抽出する変動領域抽出部と、
前記入力画像および前記基準画像の各々から、各画像に含まれる所定以上の長さの線分を検出する線分検出処理部と、
前記入力画像において前記変動領域を挟むように配置された同一線上に存在する二つの前記線分、および、前記基準画像において前記変動領域に対応する領域を挟むように配置された同一線上に存在する二つの前記線分を、前記入力画像および前記基準画像に含まれるペア線分として抽出するペア線分抽出部と、
前記入力画像および前記基準画像において前記ペア線分の間に存在する前記同一線上の線分を、前記入力画像および前記基準画像に含まれる特定線分として抽出する特定線分抽出部と、
前記入力画像および前記基準画像における前記特定線分の検出結果に基づいて、物品の置き去りまたは持ち去りのいずれが発生したのかを判定する判定部と、
前記判定部の判定結果を報知する報知部と、
を備えたことを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１９７９３７（Ｐ２０１１−１９７９３７Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６３０７６（Ｐ２０１０−６３０７６）
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１８日（２０１０．３．１８）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]