移動物体監視システム
【課題】進入監視エリアに対する物体の移動を効果的に検知して、小さな処理負担で移動物体を監視できる移動物体監視システムの提供。
【解決手段】カメラの撮影視野内で進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域と、この第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を撮影画像から抽出する画像抽出部と、第１・第２画像領域の画像特徴量である第１・第２画像特徴データを算定する特徴量算定部と、第１・第２画像特徴データに基づいて進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部とが備えられている。
【解決手段】カメラの撮影視野内で進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域と、この第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を撮影画像から抽出する画像抽出部と、第１・第２画像領域の画像特徴量である第１・第２画像特徴データを算定する特徴量算定部と、第１・第２画像特徴データに基づいて進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部とが備えられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する移動物体監視システムに関する。
【背景技術】
【０００２】
監視カメラを用いて得られた複数のデジタル撮影画像を演算することによって、この監視領域内での移動物体の監視を行なう画像監視装置が特許文献１に記載されている。この装置では、入力された撮影画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を検出し、この検出した変化領域を移動物体としてその変化領域の濃淡パターンを記憶手段に記憶し、所定時間経過後に前記監視カメラから入力された撮影画像における前記移動物体の存在した位置の周辺において、当該撮影画像の濃淡パターンと前記記憶手段内の濃淡パターンとを比較することによって、類似度の高い領域を抽出して前記移動物体と判定することにより前記移動物体を追跡することができる。つまり、移動物体の動きを解析するために、ある時刻の撮影画像で移動物体を抽出し、それ以降の時刻の画像でその移動物体の対応する領域を抽出することになる。従って、最初に抽出された移動物体の監視領域のおける位置がそれほど重要でない位置であったとしても、その移動物体を追跡するという無駄が生じうる。
【０００３】
さらに、撮影画像濃度の差分演算結果を用いて人間を含む移動物体の動きを検出して移動物体の入退室を検出する入退室検知装置が特許文献２に記載されている。この装置は、人を含む移動物体の動きを検出して移動物体の入退室を検出する入退室検知装置であって、画像入力装置から入力された処理画像データと、処理画像データの入力より前に入力され保持されていた基準画像データとの差分データを求める差分検出部と、差分データを基に所定のデータ解析処理を実行し、解析データを抽出する画像処理部と、解析データに基づいて移動物体の位置検出を行う位置検出部と、時間的に相前後して処理された処理画像データの前記解析データまたは位置情報に基づいて移動物体の動きを検出する動き検出部と、動物体の位置検出部で検出された位置情報と動き検出部で検出された動き情報に基づいて、画像入力装置の撮像範囲内における入室方向の移動、退室方向の移動、及び、入室及び退室方向間のＵターン移動を区別して移動物体の入退室を判定する入退室判定部とを備えている。ここで、差分検出部は、画像入力装置から入力された画像データを保持するとともに、入力された画像データの内の最新に入力された処理画像データと、それより前に入力され保持されていた基準画像データとの差分データを生成する。基準画像データは、「初期画像入力モード」において、画像入力装置で撮像され、差分検出部に入力され、差分検出部内の画像メモリに保存された初期画像が使用される。「初期画像入力モード」においては、基準画像データ取得後の動作は行わない。「初期画像入力モード」から「動作モード」にモード変更の後、差分検出部に、「初期画像入力モード」時に取得した基準画像データと最新の入力された処理画像データとの間で絶対差分の値を計算により求めた差分データを生成し、画像処理部へ出力する。従って、この装置においても、毎回入力された撮影画像と、予め入力され保持されていた基準画像との差分データを求めるので、移動物体の動き検出のための処理負担が大きくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６‐２３１２５２号公報（段落番号〔００１６−００２４〕、図２）
【特許文献２】特開２００６‐１０７０６０号公報（段落番号〔００１１−００５３〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情に鑑み、所定の進入監視エリアに対する物体の移動を効果的に検知して、小さな処理負担で移動物体を監視できる移動物体監視システムが望まれている。
【課題を解決するための手段】
【０００６】
カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する、本発明による移動物体監視システムは、前記カメラの撮影視野内で前記進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域を前記撮影画像から抽出するとともに、前記カメラの撮影視野内で前記進入監視エリアと前記第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を前記撮影画像から抽出する画像抽出部と、前記第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する特徴量算定部と、前記第１画像特徴データと前記第２画像特徴データとに基づいて前記進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、前記物体移動評価データの経時変化に基づいて前記進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部と、を備えている。
【０００７】
この構成によると、物体移動の評価に関しては、撮影画像全体を処理対象とするのではなく、前もって進入監視エリア周辺の任意位置に設定された指標帯の画像領域だけが処理対象となる。撮影画像から抽出することで処理対象となった画像領域、つまり第１画像領域と第２画像領域からそれぞれ画像特徴量を算定し、それぞれの画像特徴量を入力パラメータとして演算することで、進入監視エリアに対する物体移動を評価するための物体移動評価データを導出する。この物体移動評価データは経時的に順次導出され、それらの経時的な物体移動評価データの変化から監視エリアへの物体の進入又は退出あるいはその両方を推定される。ここで扱われる画像特徴量としては、カメラと指標帯との間に物体が存在することで変化するものが適している。そのような画像特徴量として、画素濃度値、ノードヒストグラム、色分布値、などが挙げられる。第１指標帯と第２指標帯のそれぞれに対応する各画像領域の画像特徴量を比較することでその撮影時点での進入監視エリア周辺における物体の存在又は非存在の情報としての物体移動評価データが得られる。従って、この物体移動評価データを経時的に求め、その経時的な変化から、物体が第１と第２の指標帯を経て進入監視エリアに進入すること、あるいは進入監視エリアから第１と第２の指標帯を経て退出することを推定することができる。また、第１画像領域、第２画像領域は進入監視エリアに対して設けられる指標体でその位置が特定されるため、指標体の設置で監視対象となる第１画像領域、第２画像領域を特定できる。
【０００８】
本発明では、進入監視エリア周辺に設定された第１指標帯と第２指標帯のそれぞれに対応する、撮影画像の第１画像領域と第２画像領域とが処理対象となるので、撮影画像における第１画像領域と第２画像領域のそれぞれの位置が重要となる。このため、本発明の好適な実施形態の１つでは、前記第１指標帯を規定する第１指標帯部材と前記第２指標帯を規定する第２指標帯部材が前記進入監視エリアの床面に任意に設置可能な部材であり、前記撮影画像に写り込んだ第１指標帯部材及び前記第２指標帯部材から前記撮影画像における前記第１画像領域及び前記第２画像領域の位置を設定する指標位置設定部が備えられている。この構成では、移動物体監視を実行する前に、物体の侵入を監視する必要がある進入監視エリアの周辺内側に第２指標帯部材を、そして第２指標帯部材の外側に第１指標帯部材を配置し、その状態で第１指標帯部材と第２指標帯部材を含む撮影画像からその撮影画像における第１指標帯部材の位置（第１画像領域の位置）と第２指標帯部材の位置（第２画像領域の位置）を設定しておく。当該位置を前もって設定しておくことで、後はその位置を用いて撮影画像から第１画像領域と第２画像領域をと抽出することができる。また、指標帯部材を床面（又は路面））に貼り付けるテープのような部材で構成すると、その貼り変えが簡単となり、進入監視エリアの変更に簡単に応じることができる。
【０００９】
この撮影画像における第１画像領域と第２画像領域が照明やその他の撮影条件によって不明瞭となることを回避するためには、使用しているカメラにとって第１指標帯部材や第２指標帯部材が写し出しやすいことが必要である。このため、本発明の好適な実施形態では、前記第１指標帯部材や第２指標帯部材が再帰性反射材又は蛍光材で構成されている。カメラ側に照明光源がある場合、再帰性反射材は、入射光を光源の方向にまっすぐ戻す機能を有するので、カメラ側から照射された照明光を良好にカメラに戻すことが可能となり、明確な第１画像領域と第２画像領域とが得られる。また、カメラ側に照明光源がない場合、明確な第１画像領域と第２画像領域とが得られ、移動物体によって遮られると大きな明度差で物体の影響を検知することができる。
【００１０】
一般的なカメラによって取得される撮影画像は、明るさの度合いである濃度値を画素単位で表したものであることから、第１画像領域や第２画像領域から算定される画像特徴量を各画像領域の濃度分布とすると好都合である。例えば、第１指標帯や第２指標帯とカメラとの間の空間に物体が存在する場合と存在しない場合によってその濃度分布は変化するので、この濃度分布を示す画像特徴データが、実質的にそのまま、進入監視エリアに対する物体移動を評価するための物体移動評価データとして利用することができる。
【００１１】
前記第１画像領域と前記第２画像領域は互いに平行に所定方向に延びているとすれば、画像特徴データはより具体的な形態、好ましくは、画像領域を所定方向に区分けされた区画毎の濃度値から構成されるものとして生成することができる。なお、ここでの「平行に所定方向に延びている」という記載は、互いの間隔が実質的に等しいという意味であり、第１画像領域と第２画像領域が同軸心配置された外周側セグメントと内周側セグメントであってもよい。
【００１２】
本発明の好適な実施形態の１つでは、物体移動評価データは、第１画像特徴データと第２画像特徴データとの差分値データである。物体が第１指標帯と第２指標帯との間に存在する場合、第１画像特徴データと第２画像特徴データとの差分値データから物体がどちらの指標帯に大きな影響を与えているか、つまりどちらの指標帯に接近しているかという情報がこの差分値データから得ることができる。
【図面の簡単な説明】
【００１３】
【図１】進入監視エリアの周辺における移動物体の検出原理を図解した模式図である。
【図２】本発明による移動物体監視システムの全体構成の一例とその機能ブロックを示す模式図である。
【図３】人が進入監視エリアに進入してきた場合の、移動物体監視システムにおける移動物体検出を図解する説明図である。
【図４】人が進入監視エリアに進入してきた場合の、移動物体監視システムにおける移動物体検出の経時な変動を図解する説明図である。
【発明を実施するための形態】
【００１４】
本発明による移動物体監視システムの実施形態を説明する前に、図１を用いてこの移動物体監視システムで採用されている移動物体監視の基礎原理を説明する。
まず、この移動物体監視システムでは、移動物体の進入を監視する必要のある特定のエリア（ここでは進入監視エリアと称する）の外側周囲に指標帯を設定する（＃０１）。この指標帯は、進入監視エリアへの進入方向で少なくとも２つ設定される。図１の例では、進入監視エリアから遠い方の第１指標帯と近い方の第２指標帯との２つが設定されている。つまり、第２指標帯は第１指標帯と進入監視エリアとの間に設定されており、外部から物体が進入監視エリアに進入する場合には、第１指標帯を通過し、その後さらに第２指標帯を通過して、進入監視エリアに達することになる。この移動物体監視システムで処理される撮影画像を取得するカメラは、第１指標帯、第２指標帯、進入監視エリアがその撮影視野内に入るように上方位置に配置されている（＃０２）。進入監視エリアは、その全てでなく部分的に撮影視野内に入るだけでもよい。基本的には、進入してくる移動物体がカメラと指標帯の間に位置するように指標帯を配置するので、床面などの監視空間の境界面に設定すると好都合である。なお、指標帯は床面に自在に貼り付けられるテープのような部材であってもよいし、実態としては存在せずに床面に論理的に規定された仮想的な区画であってもよい。
【００１５】
このように配置されたカメラによって取得された撮影画像には第１指標帯及び第２指標帯が含まれている。この撮影画像における第１指標帯と第２指標帯の画像領域である第１画像領域及び第２画像領域を撮影画像から簡単に抽出するために、撮影画像における座標位置を算定しておく。このため、前処理として、オペレータが撮影画像を見ながら第１画像領域及び第２画像領域を選択して、その座標位置を画像抽出用位置情報として登録しておく。ここで登録された座標位置は、カメラの位置・姿勢や両指標帯の位置を変更しない限り有効となる。
【００１６】
移動物体監視システムによる監視処理が実行されると、カメラから経時的に撮影画像が送られる。入力された撮影画像から第１指標帯の画像領域である第１画像領域と、第２指標帯の画像領域である第２画像領域とを抽出する（＃０３）。第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する（＃０４）。ここで扱われる画像特徴量としては、カメラの撮影方向に関して指標帯が移動物体によって遮られた場合に変化が生じるものであればよい。その代表的なものとして、例えば、各画素の輝度値とも呼ばれる濃度値の集まり、つまり濃度分布が挙げられる。その際、濃度分布は画像領域の位置単位の濃度値の集まりであってもよいし、濃度ヒストグラムのようなものであってもよい。また、移動物体によっては、画像特徴量として色相などの色情報を用いることも可能である。さらに、監視すべき物体の画像的特徴が定まっていれば、それに適合する画像特徴量を採用するとよい。人間のような物体を監視する際には、空間位置と対応した濃度画素値の分布が適しているが、都市ガスや二酸化炭素などの気体では濃度ヒストグラムが適する可能性もあるからである。
【００１７】
ここで得られる第１画像特徴データは第１画像領域つまりは第１指標帯の画像特徴量であり、第２画像特徴データは第２画像領域つまりは第２指標帯の画像特徴量であり、かつ第１指標帯と第２指標帯とは進入監視エリアに対して遠近関係で配置されていることから、第１画像特徴データと第２画像特徴データとに基づいて、進入監視エリアに対する物体の移動を評価することができる。例えば、第１指標帯が物体によって遮られ、第２指標帯は当該物体によって遮られなった場合、第１画像特徴データと第２画像特徴データとを比較することで、第１指標帯に及ぼした移動物体の影響度を算定することができる。つまり、移動物体が第１指標帯に入り込んだことが推定される。その後、第１指標帯と第２指標帯とが物体によって遮られた場合、第１指標帯と第２指標帯に及ぼした移動物体の影響度がほぼ同じになるので、第１指標帯に入り込んだ移動物体がさらに第２指標帯にまで入り込んだことが推定される。このように第１画像特徴データと前記第２画像特徴データとを演算すると、この演算結果から、進入監視エリアに対する物体移動を評価するための物体移動評価データを得ることができる（＃０５）。
【００１８】
この第１画像特徴データと第２画像特徴データとから物体移動評価データを得る手法として、簡単なもののひとつは、第１画像特徴データと第２画像特徴データの差分をとり、その差分値データを物体移動評価データとすることであり、その物体移動評価データの経時的な評価により移動物体の進入監視エリアへの進入を評価することができる。さらに、データ収集において含まれるノイズ（環境光変化、微小物体の移動など）による誤評価を低減するためには、フィルタリング処理を導入してもよい。
例えば、時間：ｔで得られた第１画像特徴データと時間：ｔ＋Δｔで得られた第１画像特徴データとの差分値である第１差分値データにしきい値判定ないしはサイズフィルタリングを施し経時的第１特徴データを求める。同様に、時間：ｔで得られた第２画像特徴データと時間：ｔ＋Δｔで得られた第２画像特徴データとの差分値である第２差分値データにしきい値判定ないしはサイズフィルタリングを施し経時的第２特徴データを求める。このようにして経時的に求められる経時的第１特徴データと経時的第２特徴データとから差分等の演算を通じて物体移動評価データを求めてもよい。このようにして順次求めた物体移動評価データをさらに経時的に評価して移動物体の進入方向を判定することができる。
また、画像特徴量を演算する際でのノイズ低減策として、平滑化フィルタやサンプリング時間の調整、短いサンプリングタイムで取得した複数の撮影画像の画素値に対する中間値演算や移動平均などの統計的演算によって代表値を演算し、その代表値からなる撮影画像に基づいて画像特徴量を演算してもよい。
本発明では、ノイズ低減するための上記以外の画像処理分野で知られている種々のフィルタリング処理を、取得した撮影画像、画像特徴データ、評価データに施すことを含んでいる。
また、評価すべき移動物体の大きさが予め分かっている場合は、その大きさに基づく許容範囲を設定して、その許容範囲外のデータを取り除くような排除処理を行うことができる。
【００１９】
このようにして得られた物体移動評価データは、その時点での移動物体の位置情報を含むことになるので、この物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定することができる。例えば、図１で模式的に示すように、時点ｔ0での物体移動評価データから第１指標帯及び第２指標帯を遮っている物体が存在しないことが推定され、時点ｔ1での物体移動評価データから物体が第１指標帯を遮っていることが推定され、時点ｔ2での物体移動評価データから物体が第２指標帯を遮っていることが推定され、時点ｔ3での物体移動評価データから第１指標帯及び第２指標帯を遮っている物体が存在しないことが推定されると、移動物体が進入監視エリアに進入したと推定することができる。このことから、時点ｔ3で警告を報知することができる。
【００２０】
上述した移動物体監視の基礎原理に基づいて動作する、本発明による移動物体監視システムの実施形態の１つを以下に説明する。図２は、この移動物体監視システムの全体構成とその機能ブロックを示す模式図であり、このシステムは展示室に展示された貴重品の載置エリアを進入監視エリアＸとしており、展示室の天井に設置したデジタルカメラ（以下単にカメラと略称する）１０はその撮影方向を床面に向けており撮影視野に載置エリア及びその周辺エリアを入れている。また、移動物体は人としている。さらにこの実施形態では、指標帯として、床面に剥がし可能に貼り付けられる接着テープ状の指標帯部材Ｚが用いられている。指標帯部材Ｚは第１指標帯部材Ｚ1と第２指標帯部材Ｚ2から構成されており、第１指標帯部材Ｚ1と進入監視エリアＸとの間に第２指標帯部材Ｚ2が位置するように進入監視エリアＸの周囲に配置される。従って、人が進入監視エリアＸに入り込むには、まず第１指標帯部材Ｚ1を越え、続いて第２指標帯部材Ｚ2を越えることになる。この例では、進入監視エリアＸの全周囲から進入可能なので、第１指標帯部材Ｚ1と第２指標帯部材Ｚ2とからなる指標帯部材セットを周囲四方向に配置している。しかしながら、説明を簡単にするため、以後は指標帯部材セットが１つだけとする。
【００２１】
移動物体監視システムの中核構成要素は、カメラ１０で取得された撮影画像を受け取る監視コントローラ２０であり、実質的にはコンピュータからなる。監視コントローラ２０には、カメラ１０以外に、マウスやキーボードなどの入力操作デバイス１１、モニタ１２、機器コントローラ４０が接続されている。機器コントローラ４０は、進入監視エリアＸへの物体の移動を検知した際に出力する移動物体検知情報に基づいて、警報機器や防犯機器など動作機器４１の動作を制御する。
【００２２】
監視コントローラ２０には、画像入力部２１、指標位置設定部２２、ＧＵＩ（グラフィックユーザインターフェース）部２３、物体移動推定部２４、機器制御部２５、画像処理部５０が構築されている。画像入力部２１は、カメラ１０から所定時間間隔で送られてくる撮影画像をメモリに展開する。ＧＵＩ部２３は、入力操作デバイスを用いたオペレータの作業を簡単化するため、操作をグラフィック化してモニタ１２に表示する。指標位置設定部２２は、前処理として、撮影画像に写りこんでいる第１指標帯部材Ｚ1と第２指標帯部材Ｚ2の画像をモニタ画面で確認しながらオペレータがその輪郭を指定する作業を通じて、第１指標帯部材Ｚ1の撮影画像中の画像領域（第１画像領域）と第２指標帯部材Ｚ2の撮影画像中の画像領域（第２画像領域）の撮影画像中の座標位置を設定する。ここで設定された当該座標位置である位置情報は画像処理部５０に与えられる。指標帯部材Ｚの画像領域が他の領域と識別しやすく、エッジ検出フィルタなどにより容易に検出できる場合には、自動的に撮影画像中の第１画像領域と第２画像領域の撮影画像中の座標位置を設定する方法を採用することも可能である。
【００２３】
画像処理部５０は、前処理部５１、画像抽出部５２、特徴量算定部５３、評価データ演算部５４を含んでいる。前処理部５１は、メモリに展開されている撮影画像に対して、ホワイトバランス、濃度調整、解像度変換、回転・縮小処理などの必要に応じた前処理を行う。画像抽出部５２は、指標位置設定部２２から受け取った位置情報に基づいて、撮影画像から第１指標帯Ｚ1の画像領域である第１画像領域を抽出するとともに、第２指標帯Ｚ2の画像領域である第２画像領域を抽出する。
【００２４】
特徴量算定部５３は、第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、第２画像領域の画像特徴量である第２画像特徴データを算定する。ここでは、画像特徴量として、画像領域を構成する画素の画素値である濃度階調値がそのまま用いられる。ただし、後の処理を簡単にするため、各画像領域は平均化処理（モザイク処理）により画素数を減らす変換と階調値を簡単にする階調低減変換を施す。この変換処理によって各画像領域の画素数が低減されるとともに、その画素値（濃度階調値）も低減する。例えば、この画像特徴データを、8ビットから3ビットあるいは2ビット（２値化データ）のデータとすることにより、画像特徴データは演算負荷の小さなものにすることができる。
【００２５】
評価データ演算部５４は、第１画像特徴データと第２画像特徴データとに基づいて進入監視エリアＸに対する物体移動を評価するための物体移動評価データを演算する。ここでは、最も簡単な方法として、第１画像特徴データと第２画像特徴データの差分を採用している。この差分により、人が第１指標帯部材Ｚ1又は第２指標帯部材Ｚ2の通過状況を、外乱を抑制した状態で検知することができる。この第１画像特徴データと第２画像特徴データの差分によって得られる物体移動評価データはそのままでも、第１指標帯Ｚ1を経て第２指標帯Ｚ2を通過する物体の移動を評価するために利用することができるが、より簡単な評価のためには、得られた画像特徴データの画素値の平均値や積算値を物体移動評価データとしてもよい。
【００２６】
物体移動推定部２４は、物体移動評価データの経時変化に基づいて進入監視エリアＸへの人の進入又は退出あるいはその両方を推定する。つまり、所定時間間隔でカメラ１０から送られてくる撮影画像が順次、前処理部５１、画像抽出部５２、特徴量算定部５３によって画像処理されることで、当該所定時間間隔の物体移動評価データが評価データ演算部５４から出力される。これらの出力された物体移動評価データを構成する値群ないしはその値群の代表値（平均値や積算値）の評価することで、人の進入監視エリアＸへの進入を判定することができる。
【００２７】
機器制御部２５は、物体移動推定部２４が人の進入監視エリアＸへの進入を判定したときに出力する進入情報を受け取り、必要な処置を行うように機器コントローラ４０に制御情報を送る。機器コントローラ４０は、送られた制御情報に基づいて必要な対処策を予め登録されている対策シナリオから選択し、その対策シナリオに沿って各動作機器４１を制御する。
【００２８】
次に、人が進入監視エリアＸに進入してきた場合の、画像処理部３０及び物体移動推定部２４の働きを、説明目的のために簡素化された図解である図３と図４を用いて説明する。
【００２９】
（１）人が第１指標帯部材Ｚ1のさらに外側に存在〔図３の（ａ）を参照〕
この時点ｔ0で取得された撮影画像から抽出された第１画像領域と第２画像領域は人の影響を受けていないので、第１画像特徴データと第２画像特徴データとは全ての画素値が「７」となっている。ここでは、各画像領域の画素数は５で、画素値は、３ビット階調濃度となっている。第１画像特徴データから第２画像特徴データの減算によって得られる物体移動評価データの５つの画素値は全て「０」となる。物体移動評価データを当該減算値の積算値とすると、その値は「０」となる。このことから、第１指標帯部材Ｚ1及び第２指標帯部材Ｚ1の上には人（物体）が存在していないと推定される。
【００３０】
（２）人が第１指標帯部材Ｚ1の上を通過中〔図３の（ｂ）を参照〕
この時点ｔ1で取得された撮影画像から抽出された第１画像領域は人の影響を受けており、この例では中央領域では暗くなっている。従って、第１画像特徴データの画素値が低下しており、その画素値は、端から順に「７」、「４」、「０」、「４」、「７」となっている。これは、カメラ１０に入射する光量が人（又は衣服）に比べて第１指標帯部材Ｚ1の方が大きくなるように設定されているからである。このため、第１指標帯部材Ｚ1の材料として再帰性反射材や発光材を使用するか、明色塗料を塗ったりすると好都合である。これに対して、第２画像領域はまだ人の影響を受けておらず、その第２画像特徴データの画素値全ての画素値が「７」となっている。従って、その物体移動評価データの画素値は、「０」、「-３」、「-７」、「-３」、「０」となり、その積算値は「-１３」となる。このことから、第１指標帯部材Ｚ1の上に何らかの人が存在していると推定される。
【００３１】
（３）人が第１指標帯部材Ｚ1と第２指標帯部材Ｚ2の上を通過中〔図３の（ｃ）を参照〕
この時点ｔ２で取得された撮影画像から抽出された第１画像領域と第２画像領域は人の影響を受けており、この例ではどちらも中央領域では暗くなっている。従って、第１画像特徴データと第１画像特徴データの画素値が低下しており、第１画像特徴データの画素値は、端から順に「７」、「５」、「１」、「５」、「７」となっており、第２画像特徴データでは、「７」、「７」、「３」、「６」、「７」となっている。従って、その物体移動評価データの画素値は、「０」、「-２」、「-２」、「-１」、「０」となり、その積算値は「-５」となる。このことから、第１指標帯部材Ｚ1と第２指標帯部材Ｚ1の上に何らかの人が存在していること、より詳しくは第１指標帯部材Ｚ1側にやや寄りがちに存在していると推定される。
【００３２】
（４）人が第２指標帯部材Ｚ1の上を通過中〔図３の（ｄ）を参照〕
この時点ｔ3で取得された撮影画像から抽出された第２画像領域は人の影響を受けており、ここでも中央領域では暗くなっているので、第２画像特徴データの画素値が低下しており、その画素値は、端から順に「７」、「４」、「０」、「４」、「７」となっている。これに対して、第１画像領域はもはや人の影響を受けておらず、その第１画像特徴データの画素値全ての画素値が「７」となっている。従って、その物体移動評価データの画素値は、「０」、「３」、「７」、「３」、「０」となり、その積算値は「１３」となる。このことから、第２指標帯部材Ｚ1の上に何らかの人が存在していると推定される。
【００３３】
（５）人が第２指標帯部材Ｚ1を越えて進入監視エリアＸに進入〔図３の（ｅ）を参照〕
この時点ｔ4で取得された撮影画像から抽出された第１画像領域と第２画像領域は両方とももはや人の影響を受けていないので、第１画像特徴データと第２画像特徴データとは全ての画素値が「７」となっており、その積算値は「０」である。このことから、第１指標帯部材Ｚ1及び第２指標帯部材Ｚ1の上には人が存在していないと推定される。
【００３４】
上記（１）から（５）の各処理（図３の（ａ）から（ｅ））によって得られる人の存在推定結果を、図４で示すように、経時的に見れば、（１）非存在（２）第１指標帯部材上に存在（３）第１・第２指標帯部材上に存在（４）第２指標帯部材上に存在（５）非存在という経時的な評価結果が得られる（図４の（ａ）から（ｅ））。このことから、外部から進入監視エリアＸに人が進入したと推定できる。ここで、もし、（３）の処理結果から（２）を経て（１）の処理結果に移行した場合、一旦進入しかけた人がＵターンしたと推定できる。さらに、逆に、（５）から（１）の処理結果が生じた場合、進入監視エリアＸから外部に人が退出したと推定できる。
【００３５】
図３を用いた、画像処理部３０及び物体移動推定部２４で取り扱われるデータの説明では、説明を簡単にするため、1×６画素というものであったが、実際はもっと大きなサイズのデータを取り扱う方が好ましい。さらに、カメラ１０からの撮影画像の取り込み周期は1秒以下が好ましく、人を含む物体が第１指標帯部材から第２指標帯部材を通過するまでの間に数十回以上の物体移動評価データを演算することも可能であり、それにより高い分解で第１指標帯部材から第２指標帯部材への物体の移動を推定することができる。
【００３６】
〔別実施の形態〕
（１）上記実施形態の説明では、評価データ演算部５４は、同時刻の第１特徴量データと第２特徴量データとの差分をとって物体移動評価データを演算していたが、この演算アルゴリズムに経時的な手法を適用することもできる。
例えば、先に（時間：ｔ）得られた第１画像特徴データとその後に（時間：ｔ＋Δｔ）得られた第１画像特徴データとの差分値である第１差分値データに対して必要なノイズ除去処理を施して経時的第１特徴データを求める。同様に、先に（時間：ｔ）得られた第２画像特徴データとその後に（時間：ｔ＋Δｔ）得られた第２画像特徴データとの差分値である第２差分値データに対して必要なノイズ除去処理を施して経時的第２特徴データを求める。このようにして経時的に求められる経時的第１特徴データと経時的第２特徴データとから差分等の演算を通じて物体移動評価データを求めてもよい。このようにして順次求めた物体移動評価データは、物体移動推定部２４に送られ、そこでさらに経時的に評価して移動物体の進入方向が判定される。
さらに別な形態として、評価データ演算部５４と物体移動推定部２４とを一体化し、時間：ｔで得られた第１画像特徴データと時間：ｔ＋Δｔで得られた第１画像特徴データとの差分値である第１差分値データにしきい値判定ないしはサイズフィルタリングを施し第１評価データを求める。同様に、時間：ｔで得られた第２画像特徴データと時間：ｔ＋Δｔで得られた第２画像特徴データとの差分値である第２差分値データにしきい値判定ないしはサイズフィルタリングを施し第２評価データを求める。このようにして経時的に求められる第１評価データ群と第２画像特徴データ群を評価して移動物体の進入方向を判定するように構成することも可能である。
このように、本発明の評価データ演算部５４と物体移動推定部２４は自在な手法による評価データ演算と物体移動推定とを実現する機能を有する。本発明で重要なことは、評価データ演算部５４と物体移動推定部２４は、第１画像特徴データと第２画像特徴データとに基づいて進入監視エリアに対する物体移動を評価するための種々の形態の物体移動評価データを演算するとともに、この物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定することである。
（２）この移動物体監視システムは、安全上の進入監視だけでなく、人が近接に伴って案内情報を報知する案内システムや、人が部屋に入ることに伴って照明を点灯する自動照明システムにも利用することができる。また、指標帯部材Ｚに非可視光を反射する放射する部材とその指標帯部材Ｚを写すことができる非可視光カメラを用いることで、まったく人に意識されずに監視を行うことも可能である。
【産業上の利用可能性】
【００３７】
本発明は、種々の物体の移動を画像特徴量の変化を通じて推定するシステムに適用することができる。
【符号の説明】
【００３８】
１０：カメラ
２０：監視コントローラ
２２：指標位置設定部
２４：物体移動推定部
２５：機器制御部
３０：画像処理部
３２：画像抽出部
３３：特徴量算定部
３４：評価データ演算部
４０：機器コントローラ
Ｚ：指標帯（指標帯部材）
Ｚ1：第１指標帯（第１指標帯部材）
Ｚ2：第２指標帯（第２指標帯部材）
Ｘ：進入監視エリア
【技術分野】
【０００１】
本発明は、カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する移動物体監視システムに関する。
【背景技術】
【０００２】
監視カメラを用いて得られた複数のデジタル撮影画像を演算することによって、この監視領域内での移動物体の監視を行なう画像監視装置が特許文献１に記載されている。この装置では、入力された撮影画像の差分画像を算出し、この算出した差分画像を２値化して差分２値化画像を生成し、この生成した差分２値化画像から変化領域を検出し、この検出した変化領域を移動物体としてその変化領域の濃淡パターンを記憶手段に記憶し、所定時間経過後に前記監視カメラから入力された撮影画像における前記移動物体の存在した位置の周辺において、当該撮影画像の濃淡パターンと前記記憶手段内の濃淡パターンとを比較することによって、類似度の高い領域を抽出して前記移動物体と判定することにより前記移動物体を追跡することができる。つまり、移動物体の動きを解析するために、ある時刻の撮影画像で移動物体を抽出し、それ以降の時刻の画像でその移動物体の対応する領域を抽出することになる。従って、最初に抽出された移動物体の監視領域のおける位置がそれほど重要でない位置であったとしても、その移動物体を追跡するという無駄が生じうる。
【０００３】
さらに、撮影画像濃度の差分演算結果を用いて人間を含む移動物体の動きを検出して移動物体の入退室を検出する入退室検知装置が特許文献２に記載されている。この装置は、人を含む移動物体の動きを検出して移動物体の入退室を検出する入退室検知装置であって、画像入力装置から入力された処理画像データと、処理画像データの入力より前に入力され保持されていた基準画像データとの差分データを求める差分検出部と、差分データを基に所定のデータ解析処理を実行し、解析データを抽出する画像処理部と、解析データに基づいて移動物体の位置検出を行う位置検出部と、時間的に相前後して処理された処理画像データの前記解析データまたは位置情報に基づいて移動物体の動きを検出する動き検出部と、動物体の位置検出部で検出された位置情報と動き検出部で検出された動き情報に基づいて、画像入力装置の撮像範囲内における入室方向の移動、退室方向の移動、及び、入室及び退室方向間のＵターン移動を区別して移動物体の入退室を判定する入退室判定部とを備えている。ここで、差分検出部は、画像入力装置から入力された画像データを保持するとともに、入力された画像データの内の最新に入力された処理画像データと、それより前に入力され保持されていた基準画像データとの差分データを生成する。基準画像データは、「初期画像入力モード」において、画像入力装置で撮像され、差分検出部に入力され、差分検出部内の画像メモリに保存された初期画像が使用される。「初期画像入力モード」においては、基準画像データ取得後の動作は行わない。「初期画像入力モード」から「動作モード」にモード変更の後、差分検出部に、「初期画像入力モード」時に取得した基準画像データと最新の入力された処理画像データとの間で絶対差分の値を計算により求めた差分データを生成し、画像処理部へ出力する。従って、この装置においても、毎回入力された撮影画像と、予め入力され保持されていた基準画像との差分データを求めるので、移動物体の動き検出のための処理負担が大きくなる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６‐２３１２５２号公報（段落番号〔００１６−００２４〕、図２）
【特許文献２】特開２００６‐１０７０６０号公報（段落番号〔００１１−００５３〕、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記実情に鑑み、所定の進入監視エリアに対する物体の移動を効果的に検知して、小さな処理負担で移動物体を監視できる移動物体監視システムが望まれている。
【課題を解決するための手段】
【０００６】
カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する、本発明による移動物体監視システムは、前記カメラの撮影視野内で前記進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域を前記撮影画像から抽出するとともに、前記カメラの撮影視野内で前記進入監視エリアと前記第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を前記撮影画像から抽出する画像抽出部と、前記第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する特徴量算定部と、前記第１画像特徴データと前記第２画像特徴データとに基づいて前記進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、前記物体移動評価データの経時変化に基づいて前記進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部と、を備えている。
【０００７】
この構成によると、物体移動の評価に関しては、撮影画像全体を処理対象とするのではなく、前もって進入監視エリア周辺の任意位置に設定された指標帯の画像領域だけが処理対象となる。撮影画像から抽出することで処理対象となった画像領域、つまり第１画像領域と第２画像領域からそれぞれ画像特徴量を算定し、それぞれの画像特徴量を入力パラメータとして演算することで、進入監視エリアに対する物体移動を評価するための物体移動評価データを導出する。この物体移動評価データは経時的に順次導出され、それらの経時的な物体移動評価データの変化から監視エリアへの物体の進入又は退出あるいはその両方を推定される。ここで扱われる画像特徴量としては、カメラと指標帯との間に物体が存在することで変化するものが適している。そのような画像特徴量として、画素濃度値、ノードヒストグラム、色分布値、などが挙げられる。第１指標帯と第２指標帯のそれぞれに対応する各画像領域の画像特徴量を比較することでその撮影時点での進入監視エリア周辺における物体の存在又は非存在の情報としての物体移動評価データが得られる。従って、この物体移動評価データを経時的に求め、その経時的な変化から、物体が第１と第２の指標帯を経て進入監視エリアに進入すること、あるいは進入監視エリアから第１と第２の指標帯を経て退出することを推定することができる。また、第１画像領域、第２画像領域は進入監視エリアに対して設けられる指標体でその位置が特定されるため、指標体の設置で監視対象となる第１画像領域、第２画像領域を特定できる。
【０００８】
本発明では、進入監視エリア周辺に設定された第１指標帯と第２指標帯のそれぞれに対応する、撮影画像の第１画像領域と第２画像領域とが処理対象となるので、撮影画像における第１画像領域と第２画像領域のそれぞれの位置が重要となる。このため、本発明の好適な実施形態の１つでは、前記第１指標帯を規定する第１指標帯部材と前記第２指標帯を規定する第２指標帯部材が前記進入監視エリアの床面に任意に設置可能な部材であり、前記撮影画像に写り込んだ第１指標帯部材及び前記第２指標帯部材から前記撮影画像における前記第１画像領域及び前記第２画像領域の位置を設定する指標位置設定部が備えられている。この構成では、移動物体監視を実行する前に、物体の侵入を監視する必要がある進入監視エリアの周辺内側に第２指標帯部材を、そして第２指標帯部材の外側に第１指標帯部材を配置し、その状態で第１指標帯部材と第２指標帯部材を含む撮影画像からその撮影画像における第１指標帯部材の位置（第１画像領域の位置）と第２指標帯部材の位置（第２画像領域の位置）を設定しておく。当該位置を前もって設定しておくことで、後はその位置を用いて撮影画像から第１画像領域と第２画像領域をと抽出することができる。また、指標帯部材を床面（又は路面））に貼り付けるテープのような部材で構成すると、その貼り変えが簡単となり、進入監視エリアの変更に簡単に応じることができる。
【０００９】
この撮影画像における第１画像領域と第２画像領域が照明やその他の撮影条件によって不明瞭となることを回避するためには、使用しているカメラにとって第１指標帯部材や第２指標帯部材が写し出しやすいことが必要である。このため、本発明の好適な実施形態では、前記第１指標帯部材や第２指標帯部材が再帰性反射材又は蛍光材で構成されている。カメラ側に照明光源がある場合、再帰性反射材は、入射光を光源の方向にまっすぐ戻す機能を有するので、カメラ側から照射された照明光を良好にカメラに戻すことが可能となり、明確な第１画像領域と第２画像領域とが得られる。また、カメラ側に照明光源がない場合、明確な第１画像領域と第２画像領域とが得られ、移動物体によって遮られると大きな明度差で物体の影響を検知することができる。
【００１０】
一般的なカメラによって取得される撮影画像は、明るさの度合いである濃度値を画素単位で表したものであることから、第１画像領域や第２画像領域から算定される画像特徴量を各画像領域の濃度分布とすると好都合である。例えば、第１指標帯や第２指標帯とカメラとの間の空間に物体が存在する場合と存在しない場合によってその濃度分布は変化するので、この濃度分布を示す画像特徴データが、実質的にそのまま、進入監視エリアに対する物体移動を評価するための物体移動評価データとして利用することができる。
【００１１】
前記第１画像領域と前記第２画像領域は互いに平行に所定方向に延びているとすれば、画像特徴データはより具体的な形態、好ましくは、画像領域を所定方向に区分けされた区画毎の濃度値から構成されるものとして生成することができる。なお、ここでの「平行に所定方向に延びている」という記載は、互いの間隔が実質的に等しいという意味であり、第１画像領域と第２画像領域が同軸心配置された外周側セグメントと内周側セグメントであってもよい。
【００１２】
本発明の好適な実施形態の１つでは、物体移動評価データは、第１画像特徴データと第２画像特徴データとの差分値データである。物体が第１指標帯と第２指標帯との間に存在する場合、第１画像特徴データと第２画像特徴データとの差分値データから物体がどちらの指標帯に大きな影響を与えているか、つまりどちらの指標帯に接近しているかという情報がこの差分値データから得ることができる。
【図面の簡単な説明】
【００１３】
【図１】進入監視エリアの周辺における移動物体の検出原理を図解した模式図である。
【図２】本発明による移動物体監視システムの全体構成の一例とその機能ブロックを示す模式図である。
【図３】人が進入監視エリアに進入してきた場合の、移動物体監視システムにおける移動物体検出を図解する説明図である。
【図４】人が進入監視エリアに進入してきた場合の、移動物体監視システムにおける移動物体検出の経時な変動を図解する説明図である。
【発明を実施するための形態】
【００１４】
本発明による移動物体監視システムの実施形態を説明する前に、図１を用いてこの移動物体監視システムで採用されている移動物体監視の基礎原理を説明する。
まず、この移動物体監視システムでは、移動物体の進入を監視する必要のある特定のエリア（ここでは進入監視エリアと称する）の外側周囲に指標帯を設定する（＃０１）。この指標帯は、進入監視エリアへの進入方向で少なくとも２つ設定される。図１の例では、進入監視エリアから遠い方の第１指標帯と近い方の第２指標帯との２つが設定されている。つまり、第２指標帯は第１指標帯と進入監視エリアとの間に設定されており、外部から物体が進入監視エリアに進入する場合には、第１指標帯を通過し、その後さらに第２指標帯を通過して、進入監視エリアに達することになる。この移動物体監視システムで処理される撮影画像を取得するカメラは、第１指標帯、第２指標帯、進入監視エリアがその撮影視野内に入るように上方位置に配置されている（＃０２）。進入監視エリアは、その全てでなく部分的に撮影視野内に入るだけでもよい。基本的には、進入してくる移動物体がカメラと指標帯の間に位置するように指標帯を配置するので、床面などの監視空間の境界面に設定すると好都合である。なお、指標帯は床面に自在に貼り付けられるテープのような部材であってもよいし、実態としては存在せずに床面に論理的に規定された仮想的な区画であってもよい。
【００１５】
このように配置されたカメラによって取得された撮影画像には第１指標帯及び第２指標帯が含まれている。この撮影画像における第１指標帯と第２指標帯の画像領域である第１画像領域及び第２画像領域を撮影画像から簡単に抽出するために、撮影画像における座標位置を算定しておく。このため、前処理として、オペレータが撮影画像を見ながら第１画像領域及び第２画像領域を選択して、その座標位置を画像抽出用位置情報として登録しておく。ここで登録された座標位置は、カメラの位置・姿勢や両指標帯の位置を変更しない限り有効となる。
【００１６】
移動物体監視システムによる監視処理が実行されると、カメラから経時的に撮影画像が送られる。入力された撮影画像から第１指標帯の画像領域である第１画像領域と、第２指標帯の画像領域である第２画像領域とを抽出する（＃０３）。第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する（＃０４）。ここで扱われる画像特徴量としては、カメラの撮影方向に関して指標帯が移動物体によって遮られた場合に変化が生じるものであればよい。その代表的なものとして、例えば、各画素の輝度値とも呼ばれる濃度値の集まり、つまり濃度分布が挙げられる。その際、濃度分布は画像領域の位置単位の濃度値の集まりであってもよいし、濃度ヒストグラムのようなものであってもよい。また、移動物体によっては、画像特徴量として色相などの色情報を用いることも可能である。さらに、監視すべき物体の画像的特徴が定まっていれば、それに適合する画像特徴量を採用するとよい。人間のような物体を監視する際には、空間位置と対応した濃度画素値の分布が適しているが、都市ガスや二酸化炭素などの気体では濃度ヒストグラムが適する可能性もあるからである。
【００１７】
ここで得られる第１画像特徴データは第１画像領域つまりは第１指標帯の画像特徴量であり、第２画像特徴データは第２画像領域つまりは第２指標帯の画像特徴量であり、かつ第１指標帯と第２指標帯とは進入監視エリアに対して遠近関係で配置されていることから、第１画像特徴データと第２画像特徴データとに基づいて、進入監視エリアに対する物体の移動を評価することができる。例えば、第１指標帯が物体によって遮られ、第２指標帯は当該物体によって遮られなった場合、第１画像特徴データと第２画像特徴データとを比較することで、第１指標帯に及ぼした移動物体の影響度を算定することができる。つまり、移動物体が第１指標帯に入り込んだことが推定される。その後、第１指標帯と第２指標帯とが物体によって遮られた場合、第１指標帯と第２指標帯に及ぼした移動物体の影響度がほぼ同じになるので、第１指標帯に入り込んだ移動物体がさらに第２指標帯にまで入り込んだことが推定される。このように第１画像特徴データと前記第２画像特徴データとを演算すると、この演算結果から、進入監視エリアに対する物体移動を評価するための物体移動評価データを得ることができる（＃０５）。
【００１８】
この第１画像特徴データと第２画像特徴データとから物体移動評価データを得る手法として、簡単なもののひとつは、第１画像特徴データと第２画像特徴データの差分をとり、その差分値データを物体移動評価データとすることであり、その物体移動評価データの経時的な評価により移動物体の進入監視エリアへの進入を評価することができる。さらに、データ収集において含まれるノイズ（環境光変化、微小物体の移動など）による誤評価を低減するためには、フィルタリング処理を導入してもよい。
例えば、時間：ｔで得られた第１画像特徴データと時間：ｔ＋Δｔで得られた第１画像特徴データとの差分値である第１差分値データにしきい値判定ないしはサイズフィルタリングを施し経時的第１特徴データを求める。同様に、時間：ｔで得られた第２画像特徴データと時間：ｔ＋Δｔで得られた第２画像特徴データとの差分値である第２差分値データにしきい値判定ないしはサイズフィルタリングを施し経時的第２特徴データを求める。このようにして経時的に求められる経時的第１特徴データと経時的第２特徴データとから差分等の演算を通じて物体移動評価データを求めてもよい。このようにして順次求めた物体移動評価データをさらに経時的に評価して移動物体の進入方向を判定することができる。
また、画像特徴量を演算する際でのノイズ低減策として、平滑化フィルタやサンプリング時間の調整、短いサンプリングタイムで取得した複数の撮影画像の画素値に対する中間値演算や移動平均などの統計的演算によって代表値を演算し、その代表値からなる撮影画像に基づいて画像特徴量を演算してもよい。
本発明では、ノイズ低減するための上記以外の画像処理分野で知られている種々のフィルタリング処理を、取得した撮影画像、画像特徴データ、評価データに施すことを含んでいる。
また、評価すべき移動物体の大きさが予め分かっている場合は、その大きさに基づく許容範囲を設定して、その許容範囲外のデータを取り除くような排除処理を行うことができる。
【００１９】
このようにして得られた物体移動評価データは、その時点での移動物体の位置情報を含むことになるので、この物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定することができる。例えば、図１で模式的に示すように、時点ｔ0での物体移動評価データから第１指標帯及び第２指標帯を遮っている物体が存在しないことが推定され、時点ｔ1での物体移動評価データから物体が第１指標帯を遮っていることが推定され、時点ｔ2での物体移動評価データから物体が第２指標帯を遮っていることが推定され、時点ｔ3での物体移動評価データから第１指標帯及び第２指標帯を遮っている物体が存在しないことが推定されると、移動物体が進入監視エリアに進入したと推定することができる。このことから、時点ｔ3で警告を報知することができる。
【００２０】
上述した移動物体監視の基礎原理に基づいて動作する、本発明による移動物体監視システムの実施形態の１つを以下に説明する。図２は、この移動物体監視システムの全体構成とその機能ブロックを示す模式図であり、このシステムは展示室に展示された貴重品の載置エリアを進入監視エリアＸとしており、展示室の天井に設置したデジタルカメラ（以下単にカメラと略称する）１０はその撮影方向を床面に向けており撮影視野に載置エリア及びその周辺エリアを入れている。また、移動物体は人としている。さらにこの実施形態では、指標帯として、床面に剥がし可能に貼り付けられる接着テープ状の指標帯部材Ｚが用いられている。指標帯部材Ｚは第１指標帯部材Ｚ1と第２指標帯部材Ｚ2から構成されており、第１指標帯部材Ｚ1と進入監視エリアＸとの間に第２指標帯部材Ｚ2が位置するように進入監視エリアＸの周囲に配置される。従って、人が進入監視エリアＸに入り込むには、まず第１指標帯部材Ｚ1を越え、続いて第２指標帯部材Ｚ2を越えることになる。この例では、進入監視エリアＸの全周囲から進入可能なので、第１指標帯部材Ｚ1と第２指標帯部材Ｚ2とからなる指標帯部材セットを周囲四方向に配置している。しかしながら、説明を簡単にするため、以後は指標帯部材セットが１つだけとする。
【００２１】
移動物体監視システムの中核構成要素は、カメラ１０で取得された撮影画像を受け取る監視コントローラ２０であり、実質的にはコンピュータからなる。監視コントローラ２０には、カメラ１０以外に、マウスやキーボードなどの入力操作デバイス１１、モニタ１２、機器コントローラ４０が接続されている。機器コントローラ４０は、進入監視エリアＸへの物体の移動を検知した際に出力する移動物体検知情報に基づいて、警報機器や防犯機器など動作機器４１の動作を制御する。
【００２２】
監視コントローラ２０には、画像入力部２１、指標位置設定部２２、ＧＵＩ（グラフィックユーザインターフェース）部２３、物体移動推定部２４、機器制御部２５、画像処理部５０が構築されている。画像入力部２１は、カメラ１０から所定時間間隔で送られてくる撮影画像をメモリに展開する。ＧＵＩ部２３は、入力操作デバイスを用いたオペレータの作業を簡単化するため、操作をグラフィック化してモニタ１２に表示する。指標位置設定部２２は、前処理として、撮影画像に写りこんでいる第１指標帯部材Ｚ1と第２指標帯部材Ｚ2の画像をモニタ画面で確認しながらオペレータがその輪郭を指定する作業を通じて、第１指標帯部材Ｚ1の撮影画像中の画像領域（第１画像領域）と第２指標帯部材Ｚ2の撮影画像中の画像領域（第２画像領域）の撮影画像中の座標位置を設定する。ここで設定された当該座標位置である位置情報は画像処理部５０に与えられる。指標帯部材Ｚの画像領域が他の領域と識別しやすく、エッジ検出フィルタなどにより容易に検出できる場合には、自動的に撮影画像中の第１画像領域と第２画像領域の撮影画像中の座標位置を設定する方法を採用することも可能である。
【００２３】
画像処理部５０は、前処理部５１、画像抽出部５２、特徴量算定部５３、評価データ演算部５４を含んでいる。前処理部５１は、メモリに展開されている撮影画像に対して、ホワイトバランス、濃度調整、解像度変換、回転・縮小処理などの必要に応じた前処理を行う。画像抽出部５２は、指標位置設定部２２から受け取った位置情報に基づいて、撮影画像から第１指標帯Ｚ1の画像領域である第１画像領域を抽出するとともに、第２指標帯Ｚ2の画像領域である第２画像領域を抽出する。
【００２４】
特徴量算定部５３は、第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、第２画像領域の画像特徴量である第２画像特徴データを算定する。ここでは、画像特徴量として、画像領域を構成する画素の画素値である濃度階調値がそのまま用いられる。ただし、後の処理を簡単にするため、各画像領域は平均化処理（モザイク処理）により画素数を減らす変換と階調値を簡単にする階調低減変換を施す。この変換処理によって各画像領域の画素数が低減されるとともに、その画素値（濃度階調値）も低減する。例えば、この画像特徴データを、8ビットから3ビットあるいは2ビット（２値化データ）のデータとすることにより、画像特徴データは演算負荷の小さなものにすることができる。
【００２５】
評価データ演算部５４は、第１画像特徴データと第２画像特徴データとに基づいて進入監視エリアＸに対する物体移動を評価するための物体移動評価データを演算する。ここでは、最も簡単な方法として、第１画像特徴データと第２画像特徴データの差分を採用している。この差分により、人が第１指標帯部材Ｚ1又は第２指標帯部材Ｚ2の通過状況を、外乱を抑制した状態で検知することができる。この第１画像特徴データと第２画像特徴データの差分によって得られる物体移動評価データはそのままでも、第１指標帯Ｚ1を経て第２指標帯Ｚ2を通過する物体の移動を評価するために利用することができるが、より簡単な評価のためには、得られた画像特徴データの画素値の平均値や積算値を物体移動評価データとしてもよい。
【００２６】
物体移動推定部２４は、物体移動評価データの経時変化に基づいて進入監視エリアＸへの人の進入又は退出あるいはその両方を推定する。つまり、所定時間間隔でカメラ１０から送られてくる撮影画像が順次、前処理部５１、画像抽出部５２、特徴量算定部５３によって画像処理されることで、当該所定時間間隔の物体移動評価データが評価データ演算部５４から出力される。これらの出力された物体移動評価データを構成する値群ないしはその値群の代表値（平均値や積算値）の評価することで、人の進入監視エリアＸへの進入を判定することができる。
【００２７】
機器制御部２５は、物体移動推定部２４が人の進入監視エリアＸへの進入を判定したときに出力する進入情報を受け取り、必要な処置を行うように機器コントローラ４０に制御情報を送る。機器コントローラ４０は、送られた制御情報に基づいて必要な対処策を予め登録されている対策シナリオから選択し、その対策シナリオに沿って各動作機器４１を制御する。
【００２８】
次に、人が進入監視エリアＸに進入してきた場合の、画像処理部３０及び物体移動推定部２４の働きを、説明目的のために簡素化された図解である図３と図４を用いて説明する。
【００２９】
（１）人が第１指標帯部材Ｚ1のさらに外側に存在〔図３の（ａ）を参照〕
この時点ｔ0で取得された撮影画像から抽出された第１画像領域と第２画像領域は人の影響を受けていないので、第１画像特徴データと第２画像特徴データとは全ての画素値が「７」となっている。ここでは、各画像領域の画素数は５で、画素値は、３ビット階調濃度となっている。第１画像特徴データから第２画像特徴データの減算によって得られる物体移動評価データの５つの画素値は全て「０」となる。物体移動評価データを当該減算値の積算値とすると、その値は「０」となる。このことから、第１指標帯部材Ｚ1及び第２指標帯部材Ｚ1の上には人（物体）が存在していないと推定される。
【００３０】
（２）人が第１指標帯部材Ｚ1の上を通過中〔図３の（ｂ）を参照〕
この時点ｔ1で取得された撮影画像から抽出された第１画像領域は人の影響を受けており、この例では中央領域では暗くなっている。従って、第１画像特徴データの画素値が低下しており、その画素値は、端から順に「７」、「４」、「０」、「４」、「７」となっている。これは、カメラ１０に入射する光量が人（又は衣服）に比べて第１指標帯部材Ｚ1の方が大きくなるように設定されているからである。このため、第１指標帯部材Ｚ1の材料として再帰性反射材や発光材を使用するか、明色塗料を塗ったりすると好都合である。これに対して、第２画像領域はまだ人の影響を受けておらず、その第２画像特徴データの画素値全ての画素値が「７」となっている。従って、その物体移動評価データの画素値は、「０」、「-３」、「-７」、「-３」、「０」となり、その積算値は「-１３」となる。このことから、第１指標帯部材Ｚ1の上に何らかの人が存在していると推定される。
【００３１】
（３）人が第１指標帯部材Ｚ1と第２指標帯部材Ｚ2の上を通過中〔図３の（ｃ）を参照〕
この時点ｔ２で取得された撮影画像から抽出された第１画像領域と第２画像領域は人の影響を受けており、この例ではどちらも中央領域では暗くなっている。従って、第１画像特徴データと第１画像特徴データの画素値が低下しており、第１画像特徴データの画素値は、端から順に「７」、「５」、「１」、「５」、「７」となっており、第２画像特徴データでは、「７」、「７」、「３」、「６」、「７」となっている。従って、その物体移動評価データの画素値は、「０」、「-２」、「-２」、「-１」、「０」となり、その積算値は「-５」となる。このことから、第１指標帯部材Ｚ1と第２指標帯部材Ｚ1の上に何らかの人が存在していること、より詳しくは第１指標帯部材Ｚ1側にやや寄りがちに存在していると推定される。
【００３２】
（４）人が第２指標帯部材Ｚ1の上を通過中〔図３の（ｄ）を参照〕
この時点ｔ3で取得された撮影画像から抽出された第２画像領域は人の影響を受けており、ここでも中央領域では暗くなっているので、第２画像特徴データの画素値が低下しており、その画素値は、端から順に「７」、「４」、「０」、「４」、「７」となっている。これに対して、第１画像領域はもはや人の影響を受けておらず、その第１画像特徴データの画素値全ての画素値が「７」となっている。従って、その物体移動評価データの画素値は、「０」、「３」、「７」、「３」、「０」となり、その積算値は「１３」となる。このことから、第２指標帯部材Ｚ1の上に何らかの人が存在していると推定される。
【００３３】
（５）人が第２指標帯部材Ｚ1を越えて進入監視エリアＸに進入〔図３の（ｅ）を参照〕
この時点ｔ4で取得された撮影画像から抽出された第１画像領域と第２画像領域は両方とももはや人の影響を受けていないので、第１画像特徴データと第２画像特徴データとは全ての画素値が「７」となっており、その積算値は「０」である。このことから、第１指標帯部材Ｚ1及び第２指標帯部材Ｚ1の上には人が存在していないと推定される。
【００３４】
上記（１）から（５）の各処理（図３の（ａ）から（ｅ））によって得られる人の存在推定結果を、図４で示すように、経時的に見れば、（１）非存在（２）第１指標帯部材上に存在（３）第１・第２指標帯部材上に存在（４）第２指標帯部材上に存在（５）非存在という経時的な評価結果が得られる（図４の（ａ）から（ｅ））。このことから、外部から進入監視エリアＸに人が進入したと推定できる。ここで、もし、（３）の処理結果から（２）を経て（１）の処理結果に移行した場合、一旦進入しかけた人がＵターンしたと推定できる。さらに、逆に、（５）から（１）の処理結果が生じた場合、進入監視エリアＸから外部に人が退出したと推定できる。
【００３５】
図３を用いた、画像処理部３０及び物体移動推定部２４で取り扱われるデータの説明では、説明を簡単にするため、1×６画素というものであったが、実際はもっと大きなサイズのデータを取り扱う方が好ましい。さらに、カメラ１０からの撮影画像の取り込み周期は1秒以下が好ましく、人を含む物体が第１指標帯部材から第２指標帯部材を通過するまでの間に数十回以上の物体移動評価データを演算することも可能であり、それにより高い分解で第１指標帯部材から第２指標帯部材への物体の移動を推定することができる。
【００３６】
〔別実施の形態〕
（１）上記実施形態の説明では、評価データ演算部５４は、同時刻の第１特徴量データと第２特徴量データとの差分をとって物体移動評価データを演算していたが、この演算アルゴリズムに経時的な手法を適用することもできる。
例えば、先に（時間：ｔ）得られた第１画像特徴データとその後に（時間：ｔ＋Δｔ）得られた第１画像特徴データとの差分値である第１差分値データに対して必要なノイズ除去処理を施して経時的第１特徴データを求める。同様に、先に（時間：ｔ）得られた第２画像特徴データとその後に（時間：ｔ＋Δｔ）得られた第２画像特徴データとの差分値である第２差分値データに対して必要なノイズ除去処理を施して経時的第２特徴データを求める。このようにして経時的に求められる経時的第１特徴データと経時的第２特徴データとから差分等の演算を通じて物体移動評価データを求めてもよい。このようにして順次求めた物体移動評価データは、物体移動推定部２４に送られ、そこでさらに経時的に評価して移動物体の進入方向が判定される。
さらに別な形態として、評価データ演算部５４と物体移動推定部２４とを一体化し、時間：ｔで得られた第１画像特徴データと時間：ｔ＋Δｔで得られた第１画像特徴データとの差分値である第１差分値データにしきい値判定ないしはサイズフィルタリングを施し第１評価データを求める。同様に、時間：ｔで得られた第２画像特徴データと時間：ｔ＋Δｔで得られた第２画像特徴データとの差分値である第２差分値データにしきい値判定ないしはサイズフィルタリングを施し第２評価データを求める。このようにして経時的に求められる第１評価データ群と第２画像特徴データ群を評価して移動物体の進入方向を判定するように構成することも可能である。
このように、本発明の評価データ演算部５４と物体移動推定部２４は自在な手法による評価データ演算と物体移動推定とを実現する機能を有する。本発明で重要なことは、評価データ演算部５４と物体移動推定部２４は、第１画像特徴データと第２画像特徴データとに基づいて進入監視エリアに対する物体移動を評価するための種々の形態の物体移動評価データを演算するとともに、この物体移動評価データの経時変化に基づいて進入監視エリアへの物体の進入又は退出あるいはその両方を推定することである。
（２）この移動物体監視システムは、安全上の進入監視だけでなく、人が近接に伴って案内情報を報知する案内システムや、人が部屋に入ることに伴って照明を点灯する自動照明システムにも利用することができる。また、指標帯部材Ｚに非可視光を反射する放射する部材とその指標帯部材Ｚを写すことができる非可視光カメラを用いることで、まったく人に意識されずに監視を行うことも可能である。
【産業上の利用可能性】
【００３７】
本発明は、種々の物体の移動を画像特徴量の変化を通じて推定するシステムに適用することができる。
【符号の説明】
【００３８】
１０：カメラ
２０：監視コントローラ
２２：指標位置設定部
２４：物体移動推定部
２５：機器制御部
３０：画像処理部
３２：画像抽出部
３３：特徴量算定部
３４：評価データ演算部
４０：機器コントローラ
Ｚ：指標帯（指標帯部材）
Ｚ1：第１指標帯（第１指標帯部材）
Ｚ2：第２指標帯（第２指標帯部材）
Ｘ：進入監視エリア
【特許請求の範囲】
【請求項１】
カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する移動物体監視システムであって、
前記カメラの撮影視野内で前記進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域を前記撮影画像から抽出するとともに、前記カメラの撮影視野内で前記進入監視エリアと前記第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を前記撮影画像から抽出する画像抽出部と、
前記第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する特徴量算定部と、
前記第１画像特徴データと前記第２画像特徴データとに基づいて前記進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、
前記物体移動評価データの経時変化に基づいて前記進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部と、
を備えている移動物体監視システム。
【請求項２】
前記第１指標帯を規定する第１指標帯部材と前記第２指標帯を規定する第２指標帯部材が前記進入監視エリアの床面に任意に設置可能な部材であり、前記撮影画像に写り込んだ第１指標帯部材及び前記第２指標帯部材から前記撮影画像における前記第１画像領域及び前記第２画像領域の位置を設定する指標位置設定部が備えられている請求項１に記載の移動物体監視システム。
【請求項３】
前記第１指標帯部材及び前記第２指標帯部材が再帰性反射材又は蛍光材で構成されている請求項２に記載の移動物体監視システム。
【請求項４】
前記画像特徴量が前記画像領域の濃度分布である請求項１から３のいずれか一項に記載の移動物体監視システム。
【請求項５】
前記第１画像領域と前記第２画像領域は互いに平行に所定方向に延びており、前記第１画像特徴データ及び前記第２画像特徴データは前記画像領域を前記所定方向に区分けされた区画毎の濃度値である請求項４に記載の移動物体監視システム。
【請求項６】
物体移動評価データは、前記第１画像特徴データと前記第２画像特徴データとの差分値データである請求項５に記載の移動物体監視システム。
【請求項１】
カメラによる撮影画像を用いて進入監視エリアに対する物体の移動を監視する移動物体監視システムであって、
前記カメラの撮影視野内で前記進入監視エリアの外側に任意に設定される第１指標帯の画像領域である第１画像領域を前記撮影画像から抽出するとともに、前記カメラの撮影視野内で前記進入監視エリアと前記第１指標帯との間に任意に設定される第２指標帯の画像領域である第２画像領域を前記撮影画像から抽出する画像抽出部と、
前記第１画像領域の画像特徴量である第１画像特徴データを算定するとともに、前記第２画像領域の画像特徴量である第２画像特徴データを算定する特徴量算定部と、
前記第１画像特徴データと前記第２画像特徴データとに基づいて前記進入監視エリアに対する物体移動を評価するための物体移動評価データを演算する評価データ演算部と、
前記物体移動評価データの経時変化に基づいて前記進入監視エリアへの物体の進入又は退出あるいはその両方を推定する物体移動推定部と、
を備えている移動物体監視システム。
【請求項２】
前記第１指標帯を規定する第１指標帯部材と前記第２指標帯を規定する第２指標帯部材が前記進入監視エリアの床面に任意に設置可能な部材であり、前記撮影画像に写り込んだ第１指標帯部材及び前記第２指標帯部材から前記撮影画像における前記第１画像領域及び前記第２画像領域の位置を設定する指標位置設定部が備えられている請求項１に記載の移動物体監視システム。
【請求項３】
前記第１指標帯部材及び前記第２指標帯部材が再帰性反射材又は蛍光材で構成されている請求項２に記載の移動物体監視システム。
【請求項４】
前記画像特徴量が前記画像領域の濃度分布である請求項１から３のいずれか一項に記載の移動物体監視システム。
【請求項５】
前記第１画像領域と前記第２画像領域は互いに平行に所定方向に延びており、前記第１画像特徴データ及び前記第２画像特徴データは前記画像領域を前記所定方向に区分けされた区画毎の濃度値である請求項４に記載の移動物体監視システム。
【請求項６】
物体移動評価データは、前記第１画像特徴データと前記第２画像特徴データとの差分値データである請求項５に記載の移動物体監視システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２１２２３９（Ｐ２０１２−２１２２３９Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１１−７６５５３（Ｐ２０１１−７６５５３）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（００００００２８４）大阪瓦斯株式会社 (2,453)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（００００００２８４）大阪瓦斯株式会社 (2,453)
【Ｆターム（参考）】
[ Back to top ]