監視システム
【課題】従来の監視システムは、監視対象領域の状況変化が生じると、実装した物体検出方法が最適でなくなる場合があり、その場合、誤検出が発生して正確な監視が行われなくなってしまうという問題があった。
【解決手段】監視システム1において、監視装置102は、撮像装置101で撮像した画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段114〜115と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段120〜122と、前記監視対象領域の状態を判断する踏切信号解析部103と、踏切信号解析部103によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択部105と、踏切信号解析部103によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択部106とを備えた。
【解決手段】監視システム1において、監視装置102は、撮像装置101で撮像した画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段114〜115と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段120〜122と、前記監視対象領域の状態を判断する踏切信号解析部103と、踏切信号解析部103によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択部105と、踏切信号解析部103によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択部106とを備えた。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視対象となる領域(監視対象領域)を監視する監視システムに係り、特に、監視対象領域の状況変化に応じて、適切な物体検出処理、マスク処理を選択することで、検出すべき物体の検出性能を向上する監視システムに関する。
【背景技術】
【0002】
テレビジョンカメラ(TVカメラ)等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが従来から行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。例えば、特開平2−48264号公報(特許文献1)、特開平9−207783号公報(特許文献2)、特開2000−105835号公報(特許文献3)には、カメラより得られた入力画像と予め作成した背景画像、すなわち、検出すべき物体の映っていない画像とを比較し、画素毎に輝度値の差分を求めることで入力画像中の輝度値が変化している領域を検出し、検出した該変化領域の位置変化を処理フレーム毎に判定するとことで、監視対象領域内の障害物や不審者の侵入などの異常を検出するようにしたものが記載されている。この入力画像中の輝度値が変化している領域を検出する処理は、差分法と呼ばれ従来より広く用いられている。
【0003】
差分法の処理を図9及び図10を用いて説明する。図9は、差分法によって輝度値が変化した領域を検出する手順の概略を説明するための図であり、図10は差分法を応用した監視方式の典型的な処理手順を示すフローチャートである。
【0004】
まず、図9を用い、差分法によって撮像装置から逐次入力される入力画像の輝度の変化領域を検出する手順を説明する。
図9において、画像91は撮像装置から逐次入力される入力画像、画像92は予め用意した検出すべき対象物体が映っていない背景画像である。この2枚の画像91及び画像92を入力とする差分器95によって画素毎の輝度値の差分を計算し差分画像93を得る。次に、差分画像93を入力とする二値化器96は、差分画像93の各画素をしきい値Th(実験的に決定され、例えばTh=20)でしきい値処理し、しきい値Th未満の画素値を“0”、しきい値Th以上の画素の画素値を“255”(1画素の画素値を8ビットで計算、すなわち1画素が0から255までの値を持つ)として二値化画像94を得る。これによって入力画像91に映った人型の物体97は、差分器95によって差分が生じた領域98(入力画像の輝度の変化領域)として計算され、二値化器96によって画素値“255”の画像99として検出される。
【0005】
次に図10を用いて差分法を応用した監視方式の典型的な処理手順を説明する。
図10において初期化処理ステップS11では、差分法による監視方式を実行するための外部機器、変数、画像メモリ等の初期化を行なう。
画像入力ステップS12では、撮像装置から例えば幅640画素、高さ480画素の入力画像を得る。
差分処理ステップS13では、画像入力ステップS12で得た入力画像(画像91)と予め作成しておいた基準となる背景画像(画像92)の各画素の輝度値の差分(画像93)を計算する。
二値化処理ステップS14では、差分処理ステップS13で得られた差分画像93の画素値(差分値)が所定のしきい値Th(例えば、Th=20)未満の画素値を“0”、しきい値Th以上の画素の画素値を“255”として二値化画像(画像94)を得る。
次に、ラベリング処理ステップS15では、二値化処理ステップS14で得られた二値化画像94の中の画素値“255”となる画素のかたまり(変化領域、画像99)を検出して各々に番号を付けて区別できるようにする。
物体存在判定ステップS16では、番号付けされた変化領域のそれぞれに対して、大きさ、面積、速度、検出位置等の検出条件に基づいて該変化領域が検出条件に合致するかを判定し、検出条件に合致する場合には、検出すべき物体が存在するとして警報・検出情報表示ステップS17へ分岐し、検出条件に合致しない場合には検出すべき物体が存在しないとして背景画像更新ステップS18へ分岐する。
警報・検出情報表示ステップS17では、検出すべき物体が存在することを、例えば監視モニタ、警告灯、警告ブザー等の少なくとも1つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
そして、背景画像更新ステップS18では、画像入力ステップS12で得た入力画像を用いて背景画像を更新する。背景画像の更新方法は、例えば、現在の背景画像に現在の入力画像を一定の重み(更新率)をかけて加重平均し、新しい背景画像を逐次作成する方法がある。背景画像は通常、入力画像内には検出すべき物体が存在しないことを前提に更新している。従って、一時的に入力画像内に物体が存在して背景画像に映り込んだとしても、更に背景画像を更新することで、背景画像に映り込んだ物体は次第に消えていくことになる。
【0006】
また、このような監視システムでは、検出された物体を矩形で囲んだり、移動経路を描画した画像や、撮像装置のズームレンズや雲台制御によって検出された物体に注目した画像をモニタなどの表示装置に表示する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平2−48264号公報
【特許文献2】特開平9−207783号公報
【特許文献3】特開2000−105835号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記のような監視システムでは、監視対象領域の状況変化に伴い、検出対象を変える必要があるシーンでは、正確に物体を検出できないという問題がある。
例えば、図11のように、電車が通る線路23、24、これら線路23、24と交差する道路25、道路25の通行を遮断する遮断機21、22、などからなる踏切2内の障害物を検出する監視システムでは、遮断機21、22が踏切2を遮断中、踏切2内で立ち往生した人27や車26(以下、障害物とする)を検出することができる。一方、図12のように遮断機21、22が開放している間は、踏切2内を通行する人28や車(図示なし)は障害物ではないためこれらを検出する必要はなく、また、図13のように遮断機21、22が踏切2を遮断している間に踏切2内を通過する列車29は障害物ではないため列車29を検出する必要はない。
このように、監視システムで検出された物体は、障害物であったり、障害物でなかったりと監視対象領域の状況変化に応じて変化するが、従来の監視システムでは、状況変化に応じて障害物と認識したり障害物ではないと認識する手段を持っていないので、障害物ではない物体を誤って障害物として検出する。
本発明は、このような従来の事情に鑑み為されたもので、監視対象領域の状況変化が頻繁に発生するシーンにおいても、障害物として検出すべき物体のみを検出するようにして、正確な監視を行なうことができる監視システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、前記監視装置は、画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、前記監視対象領域の状態を判断する状態判断手段と、前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、
を備えたことを特徴とする。
また、本発明の監視システムは、前記物体検出選択手段が、前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択することを特徴とする。
また、本発明の監視システムは、前記マスク選択手段が、前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択することを特徴とする。
【発明の効果】
【0010】
本発明に係る監視システムによれば、監視対象領域の状況変化が頻繁に発生するシーンにおいて、障害物として検出すべき物体のみを検出して、正確な監視を行なうことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の監視システムに係る実施形態の構成例を示す機能ブロック図である。
【図2】本発明の監視システムに係る実施形態の物体検出方法のフローチャートを示す図である。
【図3】本発明の監視システムの物体検出処理を説明するための図である。
【図4】監視システムの物体検出処理を説明するための図である。
【図5】監視システムの物体検出処理を説明するための図である。
【図6】監視システムの物体検出処理を説明するための図である。
【図7】本発明の監視システムの物体検出処理を説明するための図である。
【図8】従来の差分法による処理の手順の一例を説明するための図である。
【図9】従来の差分法を用いた監視方式による処理の手順の一例を示す図である。
【図10】本発明の監視システムのマスク処理を説明するための図である。
【図11】本発明の監視システムの踏切状態テーブルの一例を示す図である。
【図12】本発明の監視システムの物体検出テーブルの一例を示す図である。
【図13】本発明の監視システムのマスクテーブルの一例を示す図である。
【発明を実施するための形態】
【0012】
本発明に係る実施形態を、図面を参照して説明する。
図1は、本発明による監視システム1の具体的な実施形態について、その構成を示す機能ブロック図である。
また、本例の監視システム1では、図2のような、電車が通る線路23、24、これら線路23、24と交差する道路25、道路25を人や車が通行するのを遮断する遮断機21、22、などで構成される踏切2内を監視するシステムとして説明を行なう。
本実施形態の監視システム1は、監視対象となる領域の画像を撮像する撮像装置101、撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置102、および撮像装置101により撮像された画像あるいは監視装置102の監視情報の少なくとも1つを表示する表示装置111、踏切信号送信装置112によって構成されている。ここで、監視装置102には踏切信号解析部103、踏切信号受信部104、物体検出選択部105、マスク選択部106、障害物検出部107、監視領域状態テーブル108が備わっている。また、物体検出選択部105には、物体検出(I)114、物体検出(II)115、スイッチ116〜118で模擬的に記載した物体検出処理部113と、物体検出テーブル109が備わっている。また、マスク選択部106には、マスク(I)120〜マスク(III)122、スイッチ123〜126で模擬的に記載したマスク選択処理部119と、マスクテーブル110が備わっている。
また、監視装置102では撮像装置101で撮像した映像上でオペレータが監視対象領域を個別に設定を行ない、設定した監視対象領域に侵入した物体のみを障害物と判断し、その旨を表示装置111に表示することができる。
【0013】
次に、監視装置102が、踏切信号送信装置112からの信号情報に応じて障害物を検出する方法を選択し、撮像装置101で撮像した映像により障害物検出し、物体検出結果を表示装置111に表示する監視システム1について、図3のフローチャートを用いて説明する。
【0014】
踏切信号取得ステップS1において、踏切信号受信部104は、踏切信号送信装置112から送信された信号情報の取得を行なう。
【0015】
踏切信号選別ステップS2において、踏切信号受信部104は、信号情報取得ステップS1で取得した上記信号情報を基に本実施形態の監視システム1で必要な信号情報を踏切信号解析部103に送る。本監視システム1で必要とする信号情報は、上り列車が通過することを知らせる警報信号(以下、上り警報信号)、下り列車が通過することを知らせる警報信号(以下、下り警報信号)、踏切の遮断機21、22が遮断を開始することを知らせる信号(以下、遮断開始信号)、踏切の遮断機21、22が遮断を完了したことを知らせる信号(以下、遮断完了信号)の4つの信号情報である。また、各信号はオンまたはオフに相当する値を保持している。
【0016】
踏切状態解析ステップS3において、踏切信号解析部103は、踏切信号受信部104から受け取った上記信号情報と予め記憶しておいた監視領域状態テーブル108を照合して、現在の踏切の状態を判断する。図4は監視領域状態テーブル108の一例を示したもので、信号情報と、この信号情報の信号状態に対応する踏切状態がそれぞれ記載されており、4つの踏切状態が存在する。「遮断機開放中」状態は、遮断機が上がっており人や車の横断が可能な状態を示す。「警報音動作中」状態は、警報音が鳴りまもなく遮断機が降下する状態を示す。「遮断機降下中」状態は、遮断機が降下し始めてから完全に降下するまでの状態を示す。「遮断機遮断中」状態は、遮断機が降下しており人や車の横断が禁止された状態を示す。また、「遮断機遮断中」状態では、上り警報信号および下り警報信号によって「上り列車の通過待ち」、「下り列車の通過待ち」、「上下列車の通過待ち」、「待ち列車なし」のいずれかの列車の通過情報を含んでいる。
【0017】
物体検出処理選択ステップS4では、踏切状態解析ステップS3で得られた踏切状態とあらかじめ記録しておいた物体検出テーブル109を照合して最適な物体検出処理を選択する。図5は物体検出テーブル109の一例を示しており、踏切状態に対する検出すべき物体の検出可能な物体検出処理がそれぞれ記載されている。
【0018】
「遮断機遮断中」状態では、通常踏切範囲内には物体が存在しない状態であるため、存在する物体は障害物と見做し即時検出する物体検出処理を選択する。図5では、これを「物体検出(I)」と表記している。従って、図11などの「遮断機遮断中」状態では物体検出(I)が選択され、車26および人物27が障害物として検出される。
【0019】
また、図6における「警報音動作中」状態や「遮断機降下中」状態では、踏切を横断をする人や車が存在するが、これらは遮断機21、22の降下が完了するまでに踏切を渡ると判断し障害物とは見做さない。従って、物体検出選択部105は、この2つの状態で障害物となる物体は、踏切範囲内で蹲る人や故障車であると判断し、ある一定以上踏切範囲内で停止している物体を障害物として検出する物体検出処理を選択する。図5では、これを「物体検出(II)」と表記している。従って、図7の「遮断機降下中」状態では物体検出(II)が選択され、中央で蹲っている人物61のみが障害物として検出される。
【0020】
また「遮断機開放中」状態は踏切範囲内には横断する人や車が存在する状態であり、これらを障害物としないため、物体検出選択部105は、物体検出処理無しを選択する。図5では、これを「なし」と表記している。また、信号状態によっては4つの踏切状態に当てはまらない場合も考慮し、その場合は物体検出処理無しを選択する。
【0021】
物体検出処理設定ステップS5において、物体検出選択部105は、物体検出処理部113を物体検出処理選択ステップS4で選択された物体検出処理に設定する。図1ではこの物体検出処理部113を物体検出(I)114〜物体検出(II)115とスイッチ116〜スイッチ118で模擬的に表現している。物体検出(I)114が選択されるときはスイッチ116がオンし、物体検出(II)115が選択されるときはスイッチ117がオンし、「遮断機開放中」のときはスイッチ118がオンする。
【0022】
マスク処理選択ステップS6は、踏切状態解析ステップS3で得られた踏切状態と予め記録しておいたマスクテーブル110を照合して最適なマスク処理を選択するステップである。本監視システムのマスク処理とは、画像内で予め設定した領域(マスク領域)は監視対象領域から除外する処理のことを指す。図7は、マスクテーブル110の一例を示しており、踏切状態に対する最適なマスク処理がそれぞれ記載されている。また、図7の「マスク(I)」〜「マスク(III)」でマスク処理を行なうマスク領域を予め設定しておく必要がある。「遮断機遮断中」状態において、踏切範囲内に列車が通過するが列車は障害物ではない。従って、列車は検出する必要がないため、図8のように、列車通過中は画像内の列車29の存在するマスク領域30に対してマスク処理を実行する。この時、通過する列車は「上り列車」「下り列車」「上下の列車」の3パターンがあり、それぞれ画像上で存在する列車の範囲が異なる。従って、図7の「マスク(I)」〜「(マスクIII)」のように、踏切状態解析ステップS3で得られた通過する列車情報を基に、各列車の通過する範囲をマスク領域に設定しておき、設定したマスク領域を用いてマスク処理を実行する。また、「待ち列車なし」の状態、およびその他の3状態では、踏切範囲内を列車は通過しないためマスク処理無しを選択する。また、信号状態によっては4つの踏切状態に当てはまらない場合も考慮し、その場合はマスク処理無しを選択する。
【0023】
マスク処理設定ステップS7において、マスク選択部106は、マスク選択処理部119をマスク処理選択ステップS6で選択されたマスク処理に設定する。図1ではこのマスク選択処理部119をマスク(I)120〜マスク(III)122とスイッチ123〜スイッチ128で模擬的に表現している。マスク(I)120が選択されるときはスイッチ123がオンし、マスク(II)121が選択されるときはスイッチ124がオンし、マスク(III)122が選択されるときはスイッチ125がオンし、マスク処理無しのときはスイッチ126がオンする。
【0024】
障害物検出処理ステップS8において、障害物検出部107は、物体検出処理設定ステップS5で設定された物体検出処理と、マスク処理設定ステップS7で設定されたマスク処理を用いて障害物検出処理を実施する。
【0025】
障害物検出結果表示ステップS9において、障害物検出部107は、障害物検出処理ステップS8で得られた障害物検出結果を表示装置111に出力し、表示装置111は障害物検出結果を映像表示する。障害物検出結果表示ステップS9の処理終了後、踏切信号取得ステップS1以降の処理が繰り返して行なわれる(ステップS1〜ステップS9)。
【0026】
また、「遮断機遮断中」状態では列車情報に応じてマスク処理を設定するが、入力画像内に列車が進入しているかを画像処理で判断して、進入が認められた場合のみマスク処理を実行するようにしても良い。また、マスク処理を行なうマスク領域は、予め各列車が通過する範囲をオペレータがマスク領域として設定する方法を説明したが、入力画像毎に画像処理で列車の進入位置を取得して自動的に列車の範囲をマスク領域として設定するようにしても良い。
また、「遮断機降下中」状態から「遮断機遮断中」状態に変更された直後に、遮断機をくぐって駆け込み横断をする人や車が存在することも考慮して、「遮断機降下中」状態から「遮断機遮断中」状態に変化した瞬間から、ある一定以上の時間が経過するまでは踏切範囲内で停止した物体を検出するようにし、それ以上時間が経過した場合は踏切範囲内で存在する物体を検出するようにしても良い。
また、本例の監視システムでは、監視領域状態テーブル108、物体検出テーブル109、マスクテーブル110とテーブルを個別に保持しているが、これを1つのテーブルにまとめて処理を行なうようにしても良い。
【0027】
上述のように、従来より広く用いられている監視システムでは監視対象領域の状況変化によって、実装した処理が最適でなくなる場合があり、その場合、誤検出や見逃しが発生して正確な監視が行われなくなってしまうという問題があった。これに対して、本発明の実施例に係る監視システムでは、例えば、踏切のような監視対象領域の状況変化が頻繁に発生するようなシーンにおいても、外部信号から踏切内の状態を判断し、最適な物体検出処理やマスク処理を選択することにより、正確な監視を行なうことが可能となった。
【0028】
以上の実施態様の特徴を纏めると次のようになる。
(1)上記監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、前記監視装置は、画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、前記監視対象領域の状態を判断する状態判断手段と、前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、を備えたことを特徴とする。
(2)前記状態判断手段は、2つ以上の外部入力情報に対応した2つ以上の前記監視対象領域の状態を示す監視領域状態テーブルを有し、取得した外部入力情報に基づき前記監視領域状態テーブルを参照して前記監視対象領域の状態を取得することを特徴とする。
(3)また、上記監視システムにおける物体検出選択手段は、前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択することを特徴とする。
(4)また、上記監視システムにおけるマスク選択手段は、前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択することを特徴とする。
【0029】
以上、本発明を実施例によって具体的に説明したが、本発明は上記実施形態に限定されない。例えば、上記実施形態では踏切についての監視システムであるが、これに限らず、監視対象領域の状況変化に応じて監視対象が変化する監視システムについて、物体検出テーブルやマスクテーブルなどを設けることにより同様に実施することができる。
【符号の説明】
【0030】
1・・・監視システム、 2・・・踏切、 21、22・・・遮断機、 23、24・・・線路、 25・・・道路、 26・・・車、 27、28・・・人、 29・・・電車、 30・・・マスク領域、 61・・・蹲る人、 101・・・撮像装置、 102・・・監視装置、 103・・・踏切信号解析部、 104・・・踏切信号受信部、 105・・・物体検出選択部、 106・・・マスク選択部、 107・・・障害物検出部、 108・・・監視領域状態テーブル、 109・・・物体検出テーブル、 110・・・マスクテーブル、 111・・・表示装置、 112・・・踏切信号送信装置、 113・・・物体検出処理部、 119・・・マスク選択処理部。
【技術分野】
【0001】
本発明は、監視対象となる領域(監視対象領域)を監視する監視システムに係り、特に、監視対象領域の状況変化に応じて、適切な物体検出処理、マスク処理を選択することで、検出すべき物体の検出性能を向上する監視システムに関する。
【背景技術】
【0002】
テレビジョンカメラ(TVカメラ)等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが従来から行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。例えば、特開平2−48264号公報(特許文献1)、特開平9−207783号公報(特許文献2)、特開2000−105835号公報(特許文献3)には、カメラより得られた入力画像と予め作成した背景画像、すなわち、検出すべき物体の映っていない画像とを比較し、画素毎に輝度値の差分を求めることで入力画像中の輝度値が変化している領域を検出し、検出した該変化領域の位置変化を処理フレーム毎に判定するとことで、監視対象領域内の障害物や不審者の侵入などの異常を検出するようにしたものが記載されている。この入力画像中の輝度値が変化している領域を検出する処理は、差分法と呼ばれ従来より広く用いられている。
【0003】
差分法の処理を図9及び図10を用いて説明する。図9は、差分法によって輝度値が変化した領域を検出する手順の概略を説明するための図であり、図10は差分法を応用した監視方式の典型的な処理手順を示すフローチャートである。
【0004】
まず、図9を用い、差分法によって撮像装置から逐次入力される入力画像の輝度の変化領域を検出する手順を説明する。
図9において、画像91は撮像装置から逐次入力される入力画像、画像92は予め用意した検出すべき対象物体が映っていない背景画像である。この2枚の画像91及び画像92を入力とする差分器95によって画素毎の輝度値の差分を計算し差分画像93を得る。次に、差分画像93を入力とする二値化器96は、差分画像93の各画素をしきい値Th(実験的に決定され、例えばTh=20)でしきい値処理し、しきい値Th未満の画素値を“0”、しきい値Th以上の画素の画素値を“255”(1画素の画素値を8ビットで計算、すなわち1画素が0から255までの値を持つ)として二値化画像94を得る。これによって入力画像91に映った人型の物体97は、差分器95によって差分が生じた領域98(入力画像の輝度の変化領域)として計算され、二値化器96によって画素値“255”の画像99として検出される。
【0005】
次に図10を用いて差分法を応用した監視方式の典型的な処理手順を説明する。
図10において初期化処理ステップS11では、差分法による監視方式を実行するための外部機器、変数、画像メモリ等の初期化を行なう。
画像入力ステップS12では、撮像装置から例えば幅640画素、高さ480画素の入力画像を得る。
差分処理ステップS13では、画像入力ステップS12で得た入力画像(画像91)と予め作成しておいた基準となる背景画像(画像92)の各画素の輝度値の差分(画像93)を計算する。
二値化処理ステップS14では、差分処理ステップS13で得られた差分画像93の画素値(差分値)が所定のしきい値Th(例えば、Th=20)未満の画素値を“0”、しきい値Th以上の画素の画素値を“255”として二値化画像(画像94)を得る。
次に、ラベリング処理ステップS15では、二値化処理ステップS14で得られた二値化画像94の中の画素値“255”となる画素のかたまり(変化領域、画像99)を検出して各々に番号を付けて区別できるようにする。
物体存在判定ステップS16では、番号付けされた変化領域のそれぞれに対して、大きさ、面積、速度、検出位置等の検出条件に基づいて該変化領域が検出条件に合致するかを判定し、検出条件に合致する場合には、検出すべき物体が存在するとして警報・検出情報表示ステップS17へ分岐し、検出条件に合致しない場合には検出すべき物体が存在しないとして背景画像更新ステップS18へ分岐する。
警報・検出情報表示ステップS17では、検出すべき物体が存在することを、例えば監視モニタ、警告灯、警告ブザー等の少なくとも1つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
そして、背景画像更新ステップS18では、画像入力ステップS12で得た入力画像を用いて背景画像を更新する。背景画像の更新方法は、例えば、現在の背景画像に現在の入力画像を一定の重み(更新率)をかけて加重平均し、新しい背景画像を逐次作成する方法がある。背景画像は通常、入力画像内には検出すべき物体が存在しないことを前提に更新している。従って、一時的に入力画像内に物体が存在して背景画像に映り込んだとしても、更に背景画像を更新することで、背景画像に映り込んだ物体は次第に消えていくことになる。
【0006】
また、このような監視システムでは、検出された物体を矩形で囲んだり、移動経路を描画した画像や、撮像装置のズームレンズや雲台制御によって検出された物体に注目した画像をモニタなどの表示装置に表示する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平2−48264号公報
【特許文献2】特開平9−207783号公報
【特許文献3】特開2000−105835号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記のような監視システムでは、監視対象領域の状況変化に伴い、検出対象を変える必要があるシーンでは、正確に物体を検出できないという問題がある。
例えば、図11のように、電車が通る線路23、24、これら線路23、24と交差する道路25、道路25の通行を遮断する遮断機21、22、などからなる踏切2内の障害物を検出する監視システムでは、遮断機21、22が踏切2を遮断中、踏切2内で立ち往生した人27や車26(以下、障害物とする)を検出することができる。一方、図12のように遮断機21、22が開放している間は、踏切2内を通行する人28や車(図示なし)は障害物ではないためこれらを検出する必要はなく、また、図13のように遮断機21、22が踏切2を遮断している間に踏切2内を通過する列車29は障害物ではないため列車29を検出する必要はない。
このように、監視システムで検出された物体は、障害物であったり、障害物でなかったりと監視対象領域の状況変化に応じて変化するが、従来の監視システムでは、状況変化に応じて障害物と認識したり障害物ではないと認識する手段を持っていないので、障害物ではない物体を誤って障害物として検出する。
本発明は、このような従来の事情に鑑み為されたもので、監視対象領域の状況変化が頻繁に発生するシーンにおいても、障害物として検出すべき物体のみを検出するようにして、正確な監視を行なうことができる監視システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明の監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、前記監視装置は、画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、前記監視対象領域の状態を判断する状態判断手段と、前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、
を備えたことを特徴とする。
また、本発明の監視システムは、前記物体検出選択手段が、前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択することを特徴とする。
また、本発明の監視システムは、前記マスク選択手段が、前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択することを特徴とする。
【発明の効果】
【0010】
本発明に係る監視システムによれば、監視対象領域の状況変化が頻繁に発生するシーンにおいて、障害物として検出すべき物体のみを検出して、正確な監視を行なうことができる。
【図面の簡単な説明】
【0011】
【図1】本発明の監視システムに係る実施形態の構成例を示す機能ブロック図である。
【図2】本発明の監視システムに係る実施形態の物体検出方法のフローチャートを示す図である。
【図3】本発明の監視システムの物体検出処理を説明するための図である。
【図4】監視システムの物体検出処理を説明するための図である。
【図5】監視システムの物体検出処理を説明するための図である。
【図6】監視システムの物体検出処理を説明するための図である。
【図7】本発明の監視システムの物体検出処理を説明するための図である。
【図8】従来の差分法による処理の手順の一例を説明するための図である。
【図9】従来の差分法を用いた監視方式による処理の手順の一例を示す図である。
【図10】本発明の監視システムのマスク処理を説明するための図である。
【図11】本発明の監視システムの踏切状態テーブルの一例を示す図である。
【図12】本発明の監視システムの物体検出テーブルの一例を示す図である。
【図13】本発明の監視システムのマスクテーブルの一例を示す図である。
【発明を実施するための形態】
【0012】
本発明に係る実施形態を、図面を参照して説明する。
図1は、本発明による監視システム1の具体的な実施形態について、その構成を示す機能ブロック図である。
また、本例の監視システム1では、図2のような、電車が通る線路23、24、これら線路23、24と交差する道路25、道路25を人や車が通行するのを遮断する遮断機21、22、などで構成される踏切2内を監視するシステムとして説明を行なう。
本実施形態の監視システム1は、監視対象となる領域の画像を撮像する撮像装置101、撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置102、および撮像装置101により撮像された画像あるいは監視装置102の監視情報の少なくとも1つを表示する表示装置111、踏切信号送信装置112によって構成されている。ここで、監視装置102には踏切信号解析部103、踏切信号受信部104、物体検出選択部105、マスク選択部106、障害物検出部107、監視領域状態テーブル108が備わっている。また、物体検出選択部105には、物体検出(I)114、物体検出(II)115、スイッチ116〜118で模擬的に記載した物体検出処理部113と、物体検出テーブル109が備わっている。また、マスク選択部106には、マスク(I)120〜マスク(III)122、スイッチ123〜126で模擬的に記載したマスク選択処理部119と、マスクテーブル110が備わっている。
また、監視装置102では撮像装置101で撮像した映像上でオペレータが監視対象領域を個別に設定を行ない、設定した監視対象領域に侵入した物体のみを障害物と判断し、その旨を表示装置111に表示することができる。
【0013】
次に、監視装置102が、踏切信号送信装置112からの信号情報に応じて障害物を検出する方法を選択し、撮像装置101で撮像した映像により障害物検出し、物体検出結果を表示装置111に表示する監視システム1について、図3のフローチャートを用いて説明する。
【0014】
踏切信号取得ステップS1において、踏切信号受信部104は、踏切信号送信装置112から送信された信号情報の取得を行なう。
【0015】
踏切信号選別ステップS2において、踏切信号受信部104は、信号情報取得ステップS1で取得した上記信号情報を基に本実施形態の監視システム1で必要な信号情報を踏切信号解析部103に送る。本監視システム1で必要とする信号情報は、上り列車が通過することを知らせる警報信号(以下、上り警報信号)、下り列車が通過することを知らせる警報信号(以下、下り警報信号)、踏切の遮断機21、22が遮断を開始することを知らせる信号(以下、遮断開始信号)、踏切の遮断機21、22が遮断を完了したことを知らせる信号(以下、遮断完了信号)の4つの信号情報である。また、各信号はオンまたはオフに相当する値を保持している。
【0016】
踏切状態解析ステップS3において、踏切信号解析部103は、踏切信号受信部104から受け取った上記信号情報と予め記憶しておいた監視領域状態テーブル108を照合して、現在の踏切の状態を判断する。図4は監視領域状態テーブル108の一例を示したもので、信号情報と、この信号情報の信号状態に対応する踏切状態がそれぞれ記載されており、4つの踏切状態が存在する。「遮断機開放中」状態は、遮断機が上がっており人や車の横断が可能な状態を示す。「警報音動作中」状態は、警報音が鳴りまもなく遮断機が降下する状態を示す。「遮断機降下中」状態は、遮断機が降下し始めてから完全に降下するまでの状態を示す。「遮断機遮断中」状態は、遮断機が降下しており人や車の横断が禁止された状態を示す。また、「遮断機遮断中」状態では、上り警報信号および下り警報信号によって「上り列車の通過待ち」、「下り列車の通過待ち」、「上下列車の通過待ち」、「待ち列車なし」のいずれかの列車の通過情報を含んでいる。
【0017】
物体検出処理選択ステップS4では、踏切状態解析ステップS3で得られた踏切状態とあらかじめ記録しておいた物体検出テーブル109を照合して最適な物体検出処理を選択する。図5は物体検出テーブル109の一例を示しており、踏切状態に対する検出すべき物体の検出可能な物体検出処理がそれぞれ記載されている。
【0018】
「遮断機遮断中」状態では、通常踏切範囲内には物体が存在しない状態であるため、存在する物体は障害物と見做し即時検出する物体検出処理を選択する。図5では、これを「物体検出(I)」と表記している。従って、図11などの「遮断機遮断中」状態では物体検出(I)が選択され、車26および人物27が障害物として検出される。
【0019】
また、図6における「警報音動作中」状態や「遮断機降下中」状態では、踏切を横断をする人や車が存在するが、これらは遮断機21、22の降下が完了するまでに踏切を渡ると判断し障害物とは見做さない。従って、物体検出選択部105は、この2つの状態で障害物となる物体は、踏切範囲内で蹲る人や故障車であると判断し、ある一定以上踏切範囲内で停止している物体を障害物として検出する物体検出処理を選択する。図5では、これを「物体検出(II)」と表記している。従って、図7の「遮断機降下中」状態では物体検出(II)が選択され、中央で蹲っている人物61のみが障害物として検出される。
【0020】
また「遮断機開放中」状態は踏切範囲内には横断する人や車が存在する状態であり、これらを障害物としないため、物体検出選択部105は、物体検出処理無しを選択する。図5では、これを「なし」と表記している。また、信号状態によっては4つの踏切状態に当てはまらない場合も考慮し、その場合は物体検出処理無しを選択する。
【0021】
物体検出処理設定ステップS5において、物体検出選択部105は、物体検出処理部113を物体検出処理選択ステップS4で選択された物体検出処理に設定する。図1ではこの物体検出処理部113を物体検出(I)114〜物体検出(II)115とスイッチ116〜スイッチ118で模擬的に表現している。物体検出(I)114が選択されるときはスイッチ116がオンし、物体検出(II)115が選択されるときはスイッチ117がオンし、「遮断機開放中」のときはスイッチ118がオンする。
【0022】
マスク処理選択ステップS6は、踏切状態解析ステップS3で得られた踏切状態と予め記録しておいたマスクテーブル110を照合して最適なマスク処理を選択するステップである。本監視システムのマスク処理とは、画像内で予め設定した領域(マスク領域)は監視対象領域から除外する処理のことを指す。図7は、マスクテーブル110の一例を示しており、踏切状態に対する最適なマスク処理がそれぞれ記載されている。また、図7の「マスク(I)」〜「マスク(III)」でマスク処理を行なうマスク領域を予め設定しておく必要がある。「遮断機遮断中」状態において、踏切範囲内に列車が通過するが列車は障害物ではない。従って、列車は検出する必要がないため、図8のように、列車通過中は画像内の列車29の存在するマスク領域30に対してマスク処理を実行する。この時、通過する列車は「上り列車」「下り列車」「上下の列車」の3パターンがあり、それぞれ画像上で存在する列車の範囲が異なる。従って、図7の「マスク(I)」〜「(マスクIII)」のように、踏切状態解析ステップS3で得られた通過する列車情報を基に、各列車の通過する範囲をマスク領域に設定しておき、設定したマスク領域を用いてマスク処理を実行する。また、「待ち列車なし」の状態、およびその他の3状態では、踏切範囲内を列車は通過しないためマスク処理無しを選択する。また、信号状態によっては4つの踏切状態に当てはまらない場合も考慮し、その場合はマスク処理無しを選択する。
【0023】
マスク処理設定ステップS7において、マスク選択部106は、マスク選択処理部119をマスク処理選択ステップS6で選択されたマスク処理に設定する。図1ではこのマスク選択処理部119をマスク(I)120〜マスク(III)122とスイッチ123〜スイッチ128で模擬的に表現している。マスク(I)120が選択されるときはスイッチ123がオンし、マスク(II)121が選択されるときはスイッチ124がオンし、マスク(III)122が選択されるときはスイッチ125がオンし、マスク処理無しのときはスイッチ126がオンする。
【0024】
障害物検出処理ステップS8において、障害物検出部107は、物体検出処理設定ステップS5で設定された物体検出処理と、マスク処理設定ステップS7で設定されたマスク処理を用いて障害物検出処理を実施する。
【0025】
障害物検出結果表示ステップS9において、障害物検出部107は、障害物検出処理ステップS8で得られた障害物検出結果を表示装置111に出力し、表示装置111は障害物検出結果を映像表示する。障害物検出結果表示ステップS9の処理終了後、踏切信号取得ステップS1以降の処理が繰り返して行なわれる(ステップS1〜ステップS9)。
【0026】
また、「遮断機遮断中」状態では列車情報に応じてマスク処理を設定するが、入力画像内に列車が進入しているかを画像処理で判断して、進入が認められた場合のみマスク処理を実行するようにしても良い。また、マスク処理を行なうマスク領域は、予め各列車が通過する範囲をオペレータがマスク領域として設定する方法を説明したが、入力画像毎に画像処理で列車の進入位置を取得して自動的に列車の範囲をマスク領域として設定するようにしても良い。
また、「遮断機降下中」状態から「遮断機遮断中」状態に変更された直後に、遮断機をくぐって駆け込み横断をする人や車が存在することも考慮して、「遮断機降下中」状態から「遮断機遮断中」状態に変化した瞬間から、ある一定以上の時間が経過するまでは踏切範囲内で停止した物体を検出するようにし、それ以上時間が経過した場合は踏切範囲内で存在する物体を検出するようにしても良い。
また、本例の監視システムでは、監視領域状態テーブル108、物体検出テーブル109、マスクテーブル110とテーブルを個別に保持しているが、これを1つのテーブルにまとめて処理を行なうようにしても良い。
【0027】
上述のように、従来より広く用いられている監視システムでは監視対象領域の状況変化によって、実装した処理が最適でなくなる場合があり、その場合、誤検出や見逃しが発生して正確な監視が行われなくなってしまうという問題があった。これに対して、本発明の実施例に係る監視システムでは、例えば、踏切のような監視対象領域の状況変化が頻繁に発生するようなシーンにおいても、外部信号から踏切内の状態を判断し、最適な物体検出処理やマスク処理を選択することにより、正確な監視を行なうことが可能となった。
【0028】
以上の実施態様の特徴を纏めると次のようになる。
(1)上記監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、前記監視装置は、画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、前記監視対象領域の状態を判断する状態判断手段と、前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、を備えたことを特徴とする。
(2)前記状態判断手段は、2つ以上の外部入力情報に対応した2つ以上の前記監視対象領域の状態を示す監視領域状態テーブルを有し、取得した外部入力情報に基づき前記監視領域状態テーブルを参照して前記監視対象領域の状態を取得することを特徴とする。
(3)また、上記監視システムにおける物体検出選択手段は、前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択することを特徴とする。
(4)また、上記監視システムにおけるマスク選択手段は、前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択することを特徴とする。
【0029】
以上、本発明を実施例によって具体的に説明したが、本発明は上記実施形態に限定されない。例えば、上記実施形態では踏切についての監視システムであるが、これに限らず、監視対象領域の状況変化に応じて監視対象が変化する監視システムについて、物体検出テーブルやマスクテーブルなどを設けることにより同様に実施することができる。
【符号の説明】
【0030】
1・・・監視システム、 2・・・踏切、 21、22・・・遮断機、 23、24・・・線路、 25・・・道路、 26・・・車、 27、28・・・人、 29・・・電車、 30・・・マスク領域、 61・・・蹲る人、 101・・・撮像装置、 102・・・監視装置、 103・・・踏切信号解析部、 104・・・踏切信号受信部、 105・・・物体検出選択部、 106・・・マスク選択部、 107・・・障害物検出部、 108・・・監視領域状態テーブル、 109・・・物体検出テーブル、 110・・・マスクテーブル、 111・・・表示装置、 112・・・踏切信号送信装置、 113・・・物体検出処理部、 119・・・マスク選択処理部。
【特許請求の範囲】
【請求項1】
監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、
前記監視装置は、
画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、
設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、
前記監視対象領域の状態を判断する状態判断手段と、
前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、
前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、
を備えたことを特徴とする監視システム。
【請求項2】
前記物体検出選択手段は、
前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択する
ことを特徴とする請求項1に記載の監視システム。
【請求項3】
前記マスク選択手段は、
前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択する
ことを特徴とする請求項1に記載の監視システム。
【請求項1】
監視対象領域の画像を撮像する撮像装置と、前記撮像した画像を処理し監視対象となる領域内の監視情報を収集する監視装置と、前記撮像装置により撮像された画像あるいは前記監視装置の監視情報の少なくとも1つを表示する表示装置を有した監視システムにおいて、
前記監視装置は、
画像に含まれる物体の画像などの監視情報を検出する複数種の物体検出手段と、
設定された位置情報に基づき前記監視対象領域から除外する複数種のマスク手段と、
前記監視対象領域の状態を判断する状態判断手段と、
前記状態判断手段によって判断された結果に基づき前記複数種の物体検出手段から使用する物体検出手段を選択する物体検出選択手段と、
前記状態判断手段によって判断された結果に基づき前記複数種のマスク手段から使用するマスク手段を選択するマスク選択手段と、
を備えたことを特徴とする監視システム。
【請求項2】
前記物体検出選択手段は、
前記監視対象領域の状態に対する最適な物体検出手段を示す物体検出テーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記物体検出テーブルを参照して前記物体検出手段を選択する
ことを特徴とする請求項1に記載の監視システム。
【請求項3】
前記マスク選択手段は、
前記監視対象領域の状態に対する最適なマスク手段を示すマスクテーブルを有し、前記状態判断手段で判断された前記監視対象領域の状態に基づき前記マスクテーブルを参照して前記マスク手段を選択する
ことを特徴とする請求項1に記載の監視システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−23446(P2012−23446A)
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願番号】特願2010−157992(P2010−157992)
【出願日】平成22年7月12日(2010.7.12)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
【公開日】平成24年2月2日(2012.2.2)
【国際特許分類】
【出願日】平成22年7月12日(2010.7.12)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
[ Back to top ]