監視装置及びプログラム
【課題】監視領域の撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに常に最新の情報に更新することができる監視装置を提供する。
【解決手段】監視領域を連続撮影して得られた撮影画像の各画素に三次元座標により定まる位置を示す三次元空間座標を設定する設定手段（Ｓ１０３）と、撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与する付与手段（Ｓ１１３）と、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段（Ｓ１１７）と、抽出された特徴量の変化量が予め定められた閾値を超えた場合に、設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段（Ｓ１２９）と、を備えた。
【解決手段】監視領域を連続撮影して得られた撮影画像の各画素に三次元座標により定まる位置を示す三次元空間座標を設定する設定手段（Ｓ１０３）と、撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与する付与手段（Ｓ１１３）と、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段（Ｓ１１７）と、抽出された特徴量の変化量が予め定められた閾値を超えた場合に、設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段（Ｓ１２９）と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置及びプログラムに関し、特に、監視場所に設置されたカメラによる撮影画像を取り込んで監視を行う監視装置及びプログラムに関する。
【背景技術】
【０００２】
公開空地や公園等の不特定の人物が出入りする領域において犯罪から守りたい人物や物（以下、人物を「被守備者」、物を「被守備物」という。）が存在する場合に、被守備者または被守備物に対する犯罪の発生を防止する際に、監視カメラを用いてより効果的に防犯を行うための技術が提案されている。
【０００３】
例えば特許文献１によれば、監視対象領域を撮影することにより当該領域の画像情報をリアルタイムで取得するカメラによって取得された画像情報に基づいて、監視対象領域に存在する人物の位置を所定時間間隔で検出し、検出した人物が予め定められた守備者および被守備者を除く不定者であるか否かをＩＣタグおよびアンテナを利用して特定し、不定者と特定された人物の少なくとも年齢を含む個人的な特性を示す特性情報を上記画像情報に基づいて推定する。そして、推定した当該特性情報に基づいて、上記不定者が上記特性情報に含まれる年齢以降の生存期間内に犯罪を実行する確率である犯罪実行率を導出し、導出した犯罪実行率に基づいて、被守備者に対する不定者による犯罪リスクの高さを示す犯罪リスク値を演算し、演算した犯罪リスク値を用いて、犯罪を防止する処理として予め定められた処理を実行するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５０７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
また、都市空間や建物内空間において監視カメラを用いて監視を行う際、監視対象領域に進入してくる人物や動物等の移動体の位置や大きさを正確に把握できることが望ましい。しかしながら、監視カメラによる監視は、通常、上方に設置された1台の監視カメラで斜め上から撮影することにより行われており、斜め方向から撮影された画像から、都市空間や建物内空間における固定的な監視領域に一時的に進入してくる人物や動物等の移動体の位置や大きさを正確に把握することが困難であった。その理由は、監視カメラが、背景となる三次元空間の三次元空間座標や空間属性等を保持していないために、撮影画像上の変化の意味を推論できないことにあった。
【０００６】
そこで、撮影画像の各画素について常に正確な三次元空間座標や空間属性等を保持することで、その三次元空間座標や空間属性等に基づいて、撮影画像内における移動体の位置や大きさを正確に把握しつつ移動体を追跡できる監視システムが望まれている。
【０００７】
また、そのような監視システムでは、監視カメラが都市空間や建物内空間を画像としてとらえるとき、監視場所に一時的に進入してきた移動体を正確に見分けるためには、撮影画像の各画素について正確な三次元空間座標や空間属性等を保持するとともに、三次元空間座標や空間属性等が常に最新の情報に更新される必要がある。
【０００８】
本発明は、このような課題を解決するためになされたものであり、その目的は、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる監視装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するめに、請求項１に記載の監視装置は、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段と、を備えている。
【００１０】
請求項１に記載の監視装置によれば、設定手段により、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標が設定され、付与手段により、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性が付与されると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性が付与される。
【００１１】
また、抽出手段により、前記境界を示す空間属性が付与された画素の各々から特徴量が繰り返し抽出され、変更手段により、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標が変更される。
【００１２】
これにより、撮影カメラ等の移動により監視領域に対する撮影画像の位置が変化した場合に、境界を示す空間属性が付与された画像の各々から抽出された特徴量の変化から監視領域に対する撮影画像の位置の変化が生じたか否かを判断し、監視領域に対する撮影画像の位置の変化が生じた場合に、撮影画像の各画素に設定された座標を設定手段により設定された三次元座標の値に変更される。このため、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１３】
また、請求項２に記載の監視装置は、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理を実行する実行手段を備えている。
【００１４】
請求項２に記載の監視装置によれば、設定手段により、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標が設定され、付与手段により、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性が付与されると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性が付与される。
【００１５】
また、抽出手段により、前記境界を示す空間属性が付与された画素の各々から特徴量が繰り返し抽出され、実行手段により、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理が実行される。
【００１６】
これにより、監視領域に対する撮影画像の位置の変化が生じた場合に、付与された空間属性が初期状態に戻され、再度特徴量が抽出されるため、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１７】
また、請求項２に記載の監視装置は、請求項３に記載の発明のように、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記リセット処理が指示されなかった場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段を更に備えるようにしてもよい。これにより、リセット処理の指示の有無に拘わらず、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１８】
また、請求項１または３記載の監視装置において、請求項４に記載の発明のように、前記撮影画像及び前記三次元空間座標に基づいて、前記監視領域に存在する移動体の位置および大きさの少なくとも一方を導出する導出手段と、前記導出手段によって導出された前記移動体の位置および大きさの少なくとも一方を提示する提示手段と、を更に備えるようにしても良い。これにより、監視領域に一時的に進入してきた移動体を正確に見分けることができる。
【００１９】
また、請求項４記載の監視装置において、請求項５に記載の発明のように、前記付与手段は、前記画像部位に対応する空間属性として床面を示す属性を付与し、前記導出手段は、前記移動体の位置を導出する際には、該移動体を表す画素領域のうちの下端の画素の位置に基づいて導出するようにしても良い。これにより、監視領域に一時的に進入してきた移動体の位置を正確に導出することができる。
【００２０】
また、請求項１または３記載の監視装置において、請求項６に記載の発明のように、前記設定手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として前記三次元空間座標を設定し、前記付与手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与し、前記変更手段は、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記監視領域外の領域についても設定手段により設定された広い領域を用いて前記三次元空間座標を変更するようにしても良い。これにより、より高精度に三次元空間座標や空間属性を更新することができる。
【００２１】
また、請求項５または６記載の監視装置において、請求項７に記載の発明のように前記導出手段によって導出された前記移動体と被守備物との距離に基づいて、前記被守備物に対する接近度を示す犯罪リスク値を導出する犯罪リスク値導出手段と、前記リスク値導出手段によって導出された前記犯罪リスク値を用いて、犯罪を防止するための予め定められた処理を実行する処理実行手段と、を更に備えるようにしても良い。これにより、監視領域に一時的に進入してきた移動体の犯罪を防止することができる。
【００２２】
また、上記目的を達成するめに、請求項９に記載のプログラムは、コンピュータを、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を抽出する抽出ステップと、前記抽出手段において抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段において設定された三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段として機能させるためのものである。
【００２３】
従って、請求項９に記載のプログラムによれば、コンピュータを請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明のように、都市空間や建物内空間を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標や空間属性を保持するとともに、三次元空間座標や空間属性等を常に最新の情報に更新することができる。
【発明の効果】
【００２４】
本発明によれば、都市空間や建物内空間を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標や空間属性を保持するとともに、三次元空間座標や空間属性等を常に最新の情報に更新することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る監視システムの構成を示す概略図である。
【図２】実施形態に係る監視システムの電気系の要部構成を示すブロック図である。
【図３】実施形態に係る監視処理プログラムの処理の流れを示すフローチャートである。
【図４】実施形態に係る移動体追跡処理プログラムの処理の流れを示すフローチャートである。
【図５】実施形態に係る監視処理プログラムの処理の流れを説明するための撮影画像の状態遷移図である。
【図６】実施形態に係るカメラによる撮影画像の一例を示す図である。
【図７】（Ａ）は、実施形態に係る監視システムの三次元空間座標におけるＺ座標値と空間属性との対応関係を示す対応表であり、（Ｂ）は、実施形態に係る監視システムにおける画素情報の構成の一例を示す模式図である。
【図８】（Ａ）は、実施形態に係るカメラによる撮影画像における移動体と被守備物との位置関係を示す概略図であり、（Ｂ）は、実施形態に係るカメラによる撮影画像に対して設定された三次元空間のｘｙ平面における、移動体と被守備物との位置関係を示す概略図である。
【図９】実施形態に係る監視システムにおける移動体と被守備物との距離の導出方法を説明するための概略図である移動体と被守備物との距離の導出方法を説明するための概略図である。
【図１０】（Ａ）及び（Ｂ）は、実施形態に係る監視システムにおける監視画面の一例を示す図である。
【図１１】実施形態に係る監視システムにおける警告画面の一例を示す図である。
【図１２】実施形態に係る監視システムにおいてリセット前後の撮影画像の三次元空間を連続した空間として認識する方法を説明するための概略図であり、（Ａ）は、リセット前の撮影画像を示す図であり、（Ｂ）は、リセット後の撮影画像を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、ここでは、オフィスビルを監視場所としてオフィスビル内における所定領域を監視領域とした監視システムに本発明を適用した場合について説明する。
【００２７】
まず、図１及び図２を参照して、本発明の実施形態に係る監視システム１の構成を説明する。図１は、本実施形態に係る監視システム１の構成を示す概略図であり、図２は、本実施形態に係る監視システム１の電気系の要部構成を示すブロック図である。
【００２８】
図１に示すように、本実施形態に係る監視システム１は、監視室に設置され当該システムの中心的な役割を担う監視装置２、及び監視領域を継続的に連続して撮影するカメラ３を有している。なお、本実施形態に係る監視システム１では、監視装置２が監視室に設置されているが、監視装置２の設置場所はこれに限定されない。
【００２９】
本実施形態に係る監視システム１は、都市空間や建物内空間を撮影する監視カメラであるカメラ３による撮影画像の各画素に撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標（Ｘ，Ｙ，Ｚ）を付与し、撮影画像の各画素に三次元空間座標を対応付けることにより、振動等でカメラ３の位置が微小に変化することにより各画素に設定された三次元空間座標が変化しても、空間属性の境界を示す属性情報が付与された境界画素の各々から抽出される特徴量により、各画素に設定された三次元空間座標を修正できるシステムである。また、本実施形態に係る監視システム１は、一時的に監視領域に進入してくる人物や動物等の移動体を各画素の特徴量の変化により正確に検出し、検出された人物や動物等の位置や大きさを三次元空間内で正確に把握できるシステムである。
【００３０】
図２に示すように、本実施形態に係る監視装置２は、監視装置２を総括的に制御するＣＰＵ（Central Processing Unit）１０、ＣＰＵ１０が処理をする際の作業領域となるＲＡＭ（Random Access Memory）１１、ＣＰＵ１０が処理をする際に使用される後述するプログラムや各種データが記憶される記憶手段としてのＲＯＭ（Read Only Memory）１２、ＣＰＵ１０が処理をする際に使用される各種データやユーザ操作により入出力されたデータが記憶される記憶手段としてのＨＤＤ（Hard Disk Drive）１３、及び、監視装置２に接続されたカメラ３を含む各種周辺機器に対するデータ送受信を行うＩ／Ｏ（入出力）ポート１４を備えている。ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、ＨＤＤ１３、及びＩ／Ｏポート１４は、データバス等を含むバスにより壮途に接続されている。
【００３１】
また、監視装置２のＩ／Ｏポート１４には、ユーザ操作により監視装置２に、各画素に付与された空間属性を初期に設定された初期状態に戻すリセット処理の指示データ等のデータを入力するキーボードやマウス等の操作入力部１５、ＣＰＵ１０の制御によりデータを表示するＬＣＤ（Liquid Crystal Display）等の表示部１６、及び、ＣＰＵ１０の制御により音声を出力するスピーカ等の警報部１７が接続されている。
【００３２】
また、監視装置２のＩ／Ｏポート１４には、前述したカメラ３が接続されていて、カメラ３による撮影画像（図６に示す撮影画像２３）が監視装置２に連続的に入力される。なお、本実施形態に係る監視システム１は、監視装置２に対してカメラ３が有線で接続されているが、これに限らず、カメラ３が撮影画像２３を示すデータを無線通信により継続的に送信し、監視装置２が、この撮影画像２３を示すデータを無線通信により受信するようにしても良い。
【００３３】
次に、本実施形態に係る監視システム１の動作を監視処理のルーチンを示す監視処理プログラム、及び移動体追跡処理のルーチンを示す移動体追跡処理プログラムに基づいて説明する。
【００３４】
本実施形態に係る監視システム１では、監視装置２のＣＰＵ１０によって監視処理プログラムが実行される。そこで、まず、図３及び図４を参照して、監視処理プログラムを実行する際のＣＰＵ１０の実行処理を説明する。なお、図３は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される監視処理プログラムの処理の流れを示すフローチャートであり、図４は、監視システム１において実行された監視処理プログラムにより読み出される移動体追跡処理プログラムの処理の流れを示すフローチャートである。
【００３５】
当該監視処理プログラム及び移動体追跡処理プログラムは監視装置２のＲＯＭ１２に予め記憶されている。なお、監視処理プログラム及び移動体追跡処理プログラムは、ＨＤＤ１３に予め記憶されていても良く、ＣＤ−ＲＯＭ等の記録媒体に監視処理プログラム及び移動体追跡処理プログラムを記憶しておき、記録媒体からＨＤＤ１３に読み込むことによりＨＤＤ１３に記憶しても良い。
【００３６】
また、図５（Ａ）乃至図５（Ｆ）は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される監視処理プログラムの処理の流れを説明するための撮影画像２３の状態遷移図である。
【００３７】
始めに、ステップＳ１０１において、ＣＰＵ１０は、カメラ３から撮影画像２３を示す画像データを連続して取り込む。図６は、カメラ３による撮影画像２３の一例を示す図である。図６に示すように、本実施形態に係る監視システム１において、カメラ３により床面と床面より立ち上がった２本の柱が撮影画像２３に撮影されている。このようにカメラ３によって撮影された撮影画像２３が監視装置２に取り込まれている。
【００３８】
ステップＳ１０３において、ＣＰＵ１０は、ステップＳ１０１にて取り込まれている撮影画像２３に三次元空間の座標系を設定する。この際、図５（Ａ）に示すように、撮影画像２３に三次元座標の原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）が撮影画像２３の左角近傍に設定され、Ｚ軸が鉛直方向の向き、Ｘ軸、Ｙ軸がそれぞれ水平面に位置するように設定される。三次元空間座標は、撮影画面２３上の目的とする点に原点が一致するように設定される。
【００３９】
ここで、ＣＰＵ１０は、撮影画像２３の各画素にステップＳ１０３にて設定された三次元空間の座標系における位置を示す三次元空間座標を設定するために、ステップＳ１０５において、監視場所の三次元形状を計測するための三次元計測機器を使用するか否かを判定する。この際、ユーザ操作により三次元計測機器を使用するか否かが入力されても良く、三次元計測機器を使用するか否かを示す情報が予めＲＯＭ１２やＨＤＤ１４に記憶されていても良い。なお、三次元計測器は、実空間における各位置までの距離を測定し、測定した距離からＸＹＺ各軸に対応する成分を求め、各位置の三次元空間座標（Ｘ，Ｙ，Ｚ）を算出するものである。
【００４０】
ステップＳ１０５において三次元計測機器を使用すると判定された場合は、ステップＳ１０７において、ＣＰＵ１０は、三次元計測機器によって計測されたデータを取得する。取得方法は、三次元計測機器を監視装置２に電気的に接続することで計測データを取得しても良く、ユーザ操作により操作入力部１５を用いて計測データを入力することで取得しても良い。
【００４１】
ステップＳ１０５において三次元計測機器を使用しないと判定された場合は、ステップＳ１０９において、ＣＰＵ１０は、表示部１６に入力指示画面を表示させる。入力指示画面は、例えば、図６に示す撮影画像２３と、表示された撮影画像２３に対して三次元空間座標を入力するユーザ操作を促す画面とを合成した画面である。ユーザは、撮影画像２３における各画素を領域分割する等により分割領域毎に三次元空間座標を入力する。
【００４２】
ステップＳ１１１において、ＣＰＵ１０は、入力指示画面を介して入力された撮影画像２３の各画素の三次元空間座標における位置を示すデータを取得する。
【００４３】
ここで、二次元の撮影画面２３上に位置する各画素は、実空間である三次元空間の各位置のいずれかに対応しているので、ステップＳ１１３において、ＣＰＵ１０は、撮影画面２３上に位置する各画素の各々に、対応する三次元空間座標、すなわちステップＳ１０７またはステップＳ１１１にて取得された三次元空間における位置を示す三次元空間座標（Ｘ，Ｙ，Ｚ）を設定する。
【００４４】
なお、三次元計測機器で計測する際に、常に人物等の出入りがあって三次元空間座標が変化し安定しない場合には、三次元計測機器で一定時間継続測定して得られた最大距離から定まる三次元空間座標を用いる。また、自動計測装置がない場合は、上記で説明したように画像を領域分割して、手作業と自動内挿で付与する。
【００４５】
次のステップＳ１１５において、ＣＰＵ１０は、Ｓ１１３にて三次元空間座標が設定された撮影画像２３の各画素に、各画素が属する画像部位における空間属性を設定する。
【００４６】
図７（Ａ）は、三次元空間座標におけるＺ座標値と空間属性との対応関係を示す対応表２４を示す図であり、図７（Ｂ）は、画素情報２５の構成の一例を示す模式図である。対応表２４においては、図７に示すように、Ｚ座標値２４ａに対して空間属性２４ｂがそれぞれ対応付けられている。対応表２４及び画素情報２５は、ＨＤＤ１３等に記憶されている。画素情報２５は、図７（Ｂ）に示すように、撮影画像２３における各画素の二次元座標で表された画素位置２５ａに対して、三次元空間座標で表された位置座標２５ｂ、撮影画像２３における各画素が属する画像部位に属する空間属性を示す空間属性２５ｃ、及び撮影画像２３における各画素の特徴量２５ｄがそれぞれ対応付けられている。なお、ステップＳ１１３にて設定された三次元空間座標は、位置座標２５ｂに記録される。
【００４７】
対応表２４に示す通り、空間属性は、床面を示す「床面」、床面に対する境界を示す「境界」、床面及び境界のどちらでもない部分を示す「その他」の３区分に分けられ、Ｚ座標値が所定範囲内（ここでは０−α＜Ｚ＜０＋α）である画素に対して「床面」、Ｚ座標値が所定範囲外（ここではＺ＜０−α，Ｚ＞０＋α）である画素に対して「その他」が設定される。また、「床面」を示す空間属性が設定された画素部位（床面部位）と「その他」を示す空間属性が設定された画素部位（その他の部位）とが隣接している部分が境界となる。このため、床面部位及びその他の部位の部位に属する画素であって、他方の部位に属する画素に接している画素に「境界」を示す空間属性を設定する。例えば、床面部位に属する画素であってその他の部位に隣接する画素、及びその他部位に属する画素であって床面部位に隣接する画素に対して「境界」を示す空間属性を設定する。
【００４８】
なお、床面部位及びその他の部位の一方の部位に属する画素であって、一方の部位に属する画素に接している画素に「境界」を示す空間属性を設定しても良い。この場合には、例えば、床面部位に属する画素であってその他の部位に隣接する画素に対して「境界」を示す空間属性が設定される。
【００４９】
本実施形態では、撮影画像２３上の柱に対応する画像部位に「その他」を示す空間属性を設定し、床面に対応する画像部位に「床面」を示す空間属性を設定すると共に、床面部位及びその他の部位に属する画素であって他方の部位に隣接する画素に対して「境界」を示す空間画素を設定している。
【００５０】
ＣＰＵ１０は、三次元空間座標におけるＺ座標値と空間属性との対応表２４に基づいて、撮影画像２３における各画素の三次元空間座標のＺ座標値から、当該各画素の空間属性を画素情報２５の空間属性２５ｃとして記録することで設定する。
【００５１】
これにより、図５（Ｂ）に示すように、撮影画像２３における各画素が、空間属性が「床面」の領域３０、空間属性が「境界」の領域３１、及び空間属性が「その他」の領域３２に区分される。
【００５２】
なお、監視領域によっては床面がほぼ平面となる場合もあるが、この場合には、Ｚ座標値が所定値（例えばＺ=０±α）である画素に「床面」を示す空間属性を与えても良い。その際には、Ｚ座標値が所定値以外（例えばＺ≠０±α）である画素に「その他」の空間属性を設定して、空間属性が「床面」の画素と隣接する空間画素が「その他」画素に「境界」という空間属性を与えると良い。
【００５３】
ステップＳ１１７において、ＣＰＵ１０は、ステップＳ１１５にて設定された空間属性に基づいて、空間属性として「境界」が設定された画素（以下、「境界画素」と言う。）を抽出して、画像データから各境界画素の特徴量を抽出する。境界画素の各々の画像データは、ＲＢＧの三原色が０〜２５５の輝度値で表されているので、各境界画素の色相または輝度の平均値を特徴量として抽出する。この際、境界画素の特徴量として、複数の隣接する境界画素からなる一群の画素群における輝度値の平均値や輝度値のばらつき等が抽出されても良い。
【００５４】
ステップＳ１１９において、ＣＰＵ１０は、ステップＳ１１７にて抽出された各境界画素の特徴量を各画素の三次元空間座標と対応させて、記憶手段であるＨＤＤ１３に記憶する。
【００５５】
次のステップＳ１２１において、ＣＰＵ１０は、ステップＳ１０１にて取り込んでいる撮影画像２３において移動体を検出して追跡する移動体追跡処理を行う。この移動体追跡処理については以下説明する。
【００５６】
図８は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される移動体追跡処理プログラムの処理を説明するための概略図であり、（Ａ）は、カメラ３による撮影画像２３における移動体と被守備物との位置関係を示す概略図であり、（Ｂ）は、ステップＳ１０３にてカメラ３による撮影画像２３に対して設定された三次元空間のｘｙ平面における、移動体と被守備物との位置関係を示す概略図である。
【００５７】
図８（Ａ）に示すように、監視場所に被守備物が存在して当該被守備物の周囲に進入禁止領域が存在する場合に、移動体が被守備物に接近しないように監視しなければならない状況が発生する。この場合には、監視装置２は、図８（Ｂ）に示すように、撮影画像２３に設定された三次元空間におけるＸＹ平面上における距離を正確に把握する必要がある。
【００５８】
始めに、ステップＳ２０１において、ＣＰＵ１０は、ステップＳ１０１にて取り込んでいる撮影画像２３において移動体を検出する。移動体を検出するには、撮影画像２３の前後のフレームの画像データの差分を演算して検出する。差分データが存在する場合には、差分データが存在する部分が移動体に相当するので、各フレームで差分データが存在する部分の座標を求めることにより移動体の移動方向も検出することができる。
【００５９】
この際、図５（Ｃ）に示すように、カメラ３による撮影画像２３において、移動体３３Ａ、３３Ｂ、３３Ｃは、検出された画素を含む矩形の画素の集合体（以下、「矩形表示」と言う。）で表示される。矩形表示は、移動体３３Ａ、３３Ｂ、３３Ｃ示す画素をすべて含む最小限の矩形の画素の集合体とすると良い。
【００６０】
ステップＳ２０３において、ＣＰＵ１０は、ステップＳ２０１にて検出された移動体３３Ａ、３３Ｂ、３３Ｃの位置及び大きさを取得する。この際、移動体３３Ａ、３３Ｂ、３３Ｃの位置は、移動体３３Ａ、３３Ｂ、３３Ｃを示す矩形表示における底辺（撮影画像２３においてｘ方向に位置する辺）の中点の座標とすると良い。これは、移動体３３Ａ、３３Ｂ、３３Ｃの足元が位置する画素を特定することで、その他の部位が位置する画素を用いた場合よりも、三次元空間座標における正確な位置を把握できるからである。
【００６１】
また、移動体３３Ａ、３３Ｂ、３３Ｃの大きさは、移動体３３Ａ、３３Ｂ、３３Ｃを示す矩形表示の底辺（撮影画像２３においてｘ方向に位置する辺）の撮影画像２３における長さａ及び三次元空間における長さＡに基づいて、矩形表示の撮影画像２３における高さ方向（撮影画像２３におけるｙ方向）の長さｂから三次元空間における高さ方向（三次元空間におけるＺ方向）の長さを推測することで得られる矩形表示の面積とすると良い。すなわち、始めに矩形表示の底辺の三次元空間における長さＡが算出されることにより、矩形表示の底辺の撮影画像２３における長さａと三次元空間における長さとの比Ａ／ａに、撮影画像２３における矩形表示の高さ方向の長さｂを掛けることにより、矩形表示の高さ方向の三次元空間における長さＢ（Ｂ＝ｂ×（Ａ／ａ））が算出される。そして、矩形表示の底辺の三次元空間における長さＡと三次元空間における高さ方向の長さＢとを掛けることにより、面積Ｓ（Ｓ＝Ａ×Ｂ）が導出される。
【００６２】
ステップＳ２０７において、ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体３３Ａ、３３Ｂ、３３Ｃについて、以下に説明する犯罪リスク値Ｒｊ（ｔ）を導出する。
【００６３】
以下、移動体３３Ａ、３３Ｂ、３３Ｃの各々と被守備物との距離から、犯罪リスク値Ｒｊ（ｔ）の導出方法について説明する。なお、被守備物が移動体である被守備体であった場合にも、以下に説明する導出方法で犯罪リスク値Ｒｊ（ｔ）を導出できる。
【００６４】
ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体について、被守備物に対する距離を導出する。図９は、移動体と被守備物との距離の導出方法を説明するための概略図である。図９に示すように、ＣＰＵ１０は、各々の移動体３３Ａ、３３Ｂ、３３Ｃについて、最下端の画素の位置と、被守備物の位置との距離を導出する。なお、以下では撮影画像２３に被守備物が表示されているとともに、移動体３３Ａ、３３Ｂ、３３Ｃのうちの一部が被守備物を守備する守備者であり、移動体３３Ａ、３３Ｂ、３３Ｃの中から守備者が判別されている場合について考える。
【００６５】
まず、ＣＰＵ１０は、移動体と被守備物との距離を、全ての移動体について導出し、ＲＡＭ１１に記憶する。またＣＰＵ１０は、守備者と移動体との距離を、守備者と移動体の全ての組み合わせについて導出し、ＲＡＭ１１に記憶する。なお、このときの時刻をｔとして、ｊ番目の移動体と被守備物との距離を距離Ｄｊ（ｔ）と表し、ｋ番目の守備者とｊ番目の移動体との距離を距離Ｄｋｊ（ｔ）と表す。
【００６６】
ＣＰＵ１０は、距離Ｄｊ（ｔ）および距離Ｄｋｊ（ｔ）を次の（１）式に代入することにより仮犯罪リスク値Ｒｊ’（ｔ）を算出する。ここで、（１）式におけるｍｉｎｋ（）は、括弧内の演算結果の全てのｋについての最小値を適用することを示す関数である。
【数１】
【００６７】
また、ＣＰＵ１０は、次の（２）式によって係数ＣＲを算出する。ここで、（２）式におけるＣ１は、犯罪リスク値Ｒｊ（ｔ）を調整する係数であり、仮犯罪リスク値Ｒｊ’（ｔ）＝１の場合の犯罪リスク値Ｒｊ（ｔ）の値である。
【数２】
【００６８】
そして、ＣＰＵ１０は、以上によって得られた仮犯罪リスク値Ｒｊ’（ｔ）、および係数ＣＲを次の（３）式に代入することにより、犯罪リスク値Ｒｊ（ｔ）を算出する。
【数３】
【００６９】
なお、通常は係数Ｃ１として０．５を適用することにより、係数ＣＲを−１とする。これにより、（３）式は次の（４）式に変形される。
【数４】
【００７０】
以上の処理によって犯罪リスク値Ｒｊ（ｔ）が導出される。
【００７１】
ステップＳ２０９において、ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体について、ステップＳ２０３にて取得された移動体の位置及び大きさを、表示部１６に表示されている監視画面４０に表示させる。図１０（Ａ）及び図１０（Ｂ）は、監視装置２により動体監視処理が行われている際に表示部１６に表示されている監視画面４０の一例を示す図である。本実施形態に係る監視システム１では、図１０（Ａ）に示すように、監視画面４０は、カメラ３による撮影画像２３が表示される撮影画像表示領域４１、移動体の位置や大きさを示す情報が表示される移動体情報表示領域４２を有している。移動体情報表示領域４２には、ステップＳ２０１にて検出された移動体３３Ａ、３３Ｂ、３３Ｃ（監視画面４０ではそれぞれＡ、Ｂ、Ｃで表されている）の位置や大きさを示す情報が表示されている。
【００７２】
ステップＳ２１１において、ＣＰＵ１０は、ステップＳ２０１にて検出された移動体のうち、ステップＳ２０７にて導出された犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上である移動体が存在するか否かを判定する。この所定値は、予め設定されてＲＡＭ１１またはＲＯＭ１２に記憶されている。
【００７３】
ステップＳ２１１においてステップＳ２０１にて検出された移動体のうちのいずれかの犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上であると判断された場合は、ＣＰＵ１０は、ステップＳ２１３において、移動体の被守備物への接近を警告する。この際、ＣＰＵ１０は警報部１７に警報音を発生させる。また、ＣＰＵ１０は、警報部図１０（Ｂ）に示すように、監視画面４０において、例えば、犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上であった移動体を強調するための警告表示４６を行わせることで、被守備物への接近を警告する。
【００７４】
ＣＰＵ１０は、監視処理プログラムが終了されるまで、移動体追跡処理であるステップＳ２０１乃至Ｓ２１３の処理を繰り返し行うことで、常時移動体を追跡して監視を行う。なお、特徴点追跡アルゴリズムについては、特開２００９−２０８００号公報等の多くの文献に記載されており、従来既知であるため、ここでは詳細な説明は省略する。
【００７５】
ここで、風、振動または何らかの移動体の衝突等によってカメラ３の位置がずれる可能性が考えられる。カメラ３の位置がずれた場合には、図５（Ｄ）に示すように、破線で示すずれる前の撮影画像２３Ａに表示されていた空間属性が「境界」の領域３１Ａに対して、実線で示すずれた後の撮影画像２３に表示されている空間属性が「境界」の領域３１の位置がずれるため、結果として、撮影画像２３の各画素に設定された三次元空間座標もずれてしまい、移動体の正確な位置や大きさを把握することが困難になってしまう。
【００７６】
そこで、ステップＳ１２２において、ＣＰＵ１０は、カメラ３の位置がずれていないか否かを判定するために、ステップＳ１２１の処理（すなわちステップＳ２０１乃至２１３の処理）と並行して、ステップＳ１１７と同様の手法で、各境界画素の特徴量を抽出する。
【００７７】
ステップＳ１２３において、ＣＰＵ１０は、ステップＳ１１９にて記憶された特徴量と、ステップＳ１２２にて抽出されて記憶されている特徴量とを比較し、各境界画素の特徴量の変化量が予め定められた閾値である所定値以上であるか否かを判定する。この際の所定値は、例えば各境界画素の特徴量の変化量が誤差とみなせる限界値を示す数値であり、予め設定されてＲＡＭ１１、ＲＯＭ１２またはＨＤＤ１３に記憶されている。このステップＳ１２３の判定は、定期的に行われる。
【００７８】
ステップＳ１２３において特徴量の変化量が予め定められた所定値以上でないと判定された場合は、ＣＰＵ１０は、カメラ３の位置がずれていないものと判定して、監視を継続するために、特徴量の変化量が予め定められた所定値以上になるまで、再びステップＳ１２１乃至Ｓ１２３の処理を繰り返し行う。
【００７９】
ステップＳ１２３において特徴量の変化量が予め定められた所定値以上であると判定された場合は、ステップＳ１２５において、ＣＰＵ１０は、カメラ３の位置がずれたものと判定して、表示部１６に警告画面４４を表示させる。図１１は、警告画面４４の一例を示す図である。図１１に示すように、警告画面４４は、ユーザ操作により三次元空間座標の設定をリセットすることを指示するためのリセットボタン４５と、ユーザ操作によりリセットしないことを指示するための非リセットボタン４６を有している。ユーザは、監視装置２に三次元空間座標の設定をリセットすることを指示する場合に操作入力部１５によりリセットボタン４５を選択し、監視装置２にリセットしないことを指示する場合に操作入力部１５により非リセットボタン４６を選択する。ユーザは、カメラの位置や角度に大きな変化あるいは監視領域に物理的な大きな変化があったと判断した場合に、リセットボタン４５を選択すると良い。
【００８０】
ステップＳ１２７において、ＣＰＵ１０は、ユーザ操作によりリセットの指示があったか否かを判定する。この際、ＣＰＵ１０は、ユーザ操作によりリセットボタン４５が選択された場合に、三次元空間座標の設定のリセットが指示されたものと判定し、ユーザ操作により非リセットボタン４６が選択された場合にリセットが指示されなかったものと判定する。
【００８１】
ステップＳ１２７においてリセットの指示があったと判定された場合は、ステップＳ１２８において、撮影画像２３に対して設定した三次元空間、各画素に設定した三次元空間座標、各画素に設定した空間属性、及び記憶した特徴量を初期状態に戻し、ステップＳ１０３に戻って、ＣＰＵ１０は、ステップＳ１０１にて取り込まれているカメラ３による撮影画像２３に対して、再び三次元空間を設定し直し、上述した一連の処理を再度行う。
【００８２】
図５（Ｅ）に示すように、ずれた撮影画像２３に対して三次元座標の原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）が再度設定されるとともに、Ｚ軸を鉛直方向とした上で水平方向にＸ軸、Ｙ軸が再度設定される。
【００８３】
ここで、監視装置１は、リセットが指示され三次元空間座標が再度設定された際に、カメラ３の画角が変化した場合であっても、複数の特徴点に基づいて三次元空間をリセット前後で連続した空間として認識する機能を備えている。図１２は、本実施形態に係る監視システム１においてリセット前後の撮影画像２３の三次元空間を連続した空間として認識する方法を説明するための概略図であり、図１２（Ａ）は、リセット前の撮影画像２３を示す図であり、図１２（Ｂ）は、リセット後の撮影画像２３を示す図である。
【００８４】
図１２（Ａ）及び図１２（Ｂ）に示すように、ユーザ操作により、カメラ３による撮影画像２３上において複数の固定点ａ乃至ｆが設定され、当該複数の固定点ａ乃至ｆの各々の特徴量が時間の関数として取り込まれる。なお、固定点ａ乃至ｆは、一群の画素の集合体であることが好ましい。そして、撮影画像２３に対する三次元空間座標の再度設定後に、撮影画面２３において固定点ａ乃至ｆの特徴量を探索して、固定点ａ乃至ｆの特徴量と一致した箇所（あるいは最も近似した箇所）を、撮影画像２３に対する三次元空間座標の再度設定前における固定点ａ乃至ｆとして認識し、固定点ａ乃至ｆがそれぞれ対応するように三次元空間座標を設定しなおす。
【００８５】
ステップＳ１２７においてリセットの指示がないと判定された場合は、ステップＳ１２９において、ＣＰＵ１０は、撮影画像２３における境界画素の特徴量に基づいて、ステップＳ１０３にて設定した三次元空間の位置を、カメラ３がずれる前の境界画素の位置と、カメラ３がずれた後の境界画素の位置とがそれぞれ対応するように修正し、ステップＳ１０５にて設定された各画素の三次元空間座標を修正する。この際、画素情報２５において、各境界画素の特徴量の変化量に応じて、画素位置２５ａに対する、位置座標２５ｂ、空間属性２５ｃ、特徴量２５ｄの対応付けを変更することによって、三次元空間の位置が修正される。
【００８６】
図５（Ｆ）に示すように、カメラ３による撮影画像２３における各画素に設定された三次元空間座標が、各境界画素の特徴量の変化量に応じて修正される。この際、ＣＰＵ１０は、カメラ３の位置がずれた後の撮影画像２３上において、カメラ３の位置がずれる前の境界画素の特徴量を検索して、一致した箇所（最も近似した箇所）を当該境界画素の位置として認識し、画素情報２５における三次元空間座標を設定しなおす。
【００８７】
そして、ＣＰＵ１０は、再びステップＳ１２１の処理を行うことにより、監視処理を継続する。カメラ３の位置が微小にずれた場合に、撮影画像２３の各画素に対応付けられた三次元空間座標を境界画素のずれを用いて修正することで、監視領域の三次元形状を取得することなく、監視処理を継続することができる。
【００８８】
このようにして本実施形態に係る監視装置２は、監視領域を連続撮影して得られた撮影画像２３の各画素に、該撮影画像２３に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定し撮影画像２３の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与し、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出し、抽出された特徴量の変化量が予め定められた閾値を超えた場合に、設定された三次元座標により定まる位置を示す三次元空間座標になるように画素の各々に設定された三次元空間座標を変更する。
【００８９】
また、本実施形態に係る監視装置２は、監視領域を連続撮影して得られた撮影画像２３の各画素に、該撮影画像２３に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定し、撮影画像２３の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与し、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出し、抽出された特徴量の変化量が予め定められた閾値を超え、かつ実行結果を初期状態に戻すリセット処理が指示された場合に、リセット処理を実行する。
【００９０】
これらにより、本実施形態に係る監視システム１において、都市空間や建物内空間等の監視領域を撮影して撮影画像２３に基づいて監視を行う際、撮影画像２３の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００９１】
なお、ステップＳ２０３にて移動体の大きさを取得してステップＳ２０９にて表示する際、移動体の大きさによって移動体の種類や数を判別して、移動体の種類を表示させるようにしても良い。判別方法は、例えば幅（ＸＹ平面における長さ）と高さ（Ｚ座標における長さ）との比や、幅と高さから得られる面積を用いて、例えば人物か動物かを判別すると良い。または、同様にして動物を犬・猫・牛・カラス等に更に細かく分類して、ステップＳ２０７にて犯罪リスク値の代わりに獣害リスク値を導出しても良い。
【００９２】
また、本実施形態に係る監視システム１の監視装置２に三次元座標自動把握機能が備えられていても良い。その場合、移動体の三次元座標を把握する際にもリアルタイムで活用でき、より高精度に移動体を検出して追跡できる。
【００９３】
また、本実施形態に係る監視システム１では、カメラ３が固定されていることを前提としたが、これに限定されず、カメラ３が可動カメラであっても良い。カメラ３が可動カメラ３であった場合、撮影画像２３における特徴点をそれぞれ三次元空間座標や空間属性と対応付け、各画素による撮影位置が移動した際に特徴点の移動に合わせて各画素の三次元空間座標や空間属性を変更することで、各画素に逐次三次元知識を持たせることができる。
【００９４】
また、ステップＳ１０１にてカメラ３による撮影画像２３を取り込む際、対象とする監視領域である撮影領域２３を含んだ撮影領域２３より広い領域の画像を取り込み、ステップＳ１１３にて当該広い領域に対して三次元空間座標を設定するとともに、ステップＳ１１５にて当該広い領域の各画素に空間属性を設定する際、当該広い領域を対象として前記三次元空間座標を設定することにより、ステップＳ１２９にて撮影画面２３における各画素の三次元空間座標を修正する際に、当初撮影領域２３でなかった領域に対しても当該広い領域について設定されている三次元空間座標や空間属性を用いて、各画素に正確に三次元空間座標や空間属性を付与することができる。
【００９５】
また、ステップＳ１０１にてカメラ２３による撮影画像２３を取り込む際、対象とする監視領域より広い領域を撮影して取り込むことにより、ステップＳ１２９にて撮影画面２３における各画素の三次元空間座標を修正する際に、当該広い領域について設定されている三次元空間座標や空間属性を用いて、監視領域における各画素に正確に三次元空間座標や空間属性を付与することができる。
【００９６】
また、本実施形態に係る監視システム１において、監視領域を含むＣＡＤデータと連携させることにより、より精緻に空間知識をもつことができ、より高度な移動体追跡が可能になる。
【００９７】
また、本実施形態に係る監視システム１では、単一のカメラ３を用いて監視画像を撮影するが、これに限定されず、複数台のカメラを用いて監視画像を撮影しても良い。この際には、各々のカメラによる撮影領域を合わせると全ての監視領域を網羅しているように各々のカメラが配置されると良い。これにより、監視領域を死角なく撮影することができ、効率的に監視できる。
【００９８】
また、複数台のカメラを用いた場合には、各々のカメラによる撮影画像２３に設定される三次元空間座標を統一させることにより、異なるカメラによる撮影画像２３で撮影された移動体が同一の移動体であるか否かを正確に判定することができる。
【００９９】
また、本実施形態に係る監視システム１は、監視装置２として一般的に広く利用されているＰＣ（Personal Computer）を利用でき、カメラ３としてとして一般的に広く利用されているカメラを利用できるため、新規の装置やインフラを構築する必要がなく低コストで実現可能である。また、本実施形態に係る監視システム１は、同様の理由で、既存の建物に組み入れることが容易にできるとともに、既存のセキュリティシステムを更新する際に追加機能として組み入れることも容易にできる。さらに、本実施形態に係る監視システム１は、大規模な都市空間にも適用でき、スマートシティのための多目的の利用が可能となる。
【符号の説明】
【０１００】
１…監視システム，２…監視装置，３…カメラ，１０…ＣＰＵ，１１…ＲＡＭ，１２…ＲＯＭ，１３…ＨＤＤ，１４…Ｉ／Ｏポート，１５…操作入力部，１６…表示部，１７…警報部，２３、２３Ａ…撮影画像，２４…対応表，２５…画素情報，３０…空間属性が「床面」の領域，３１…空間属性が「境界」の領域，３２…空間属性が「その他」の領域，３３Ａ、３３Ｂ、３３Ｃ…移動体，４０…監視画面，４１…撮影画像表示領域，４２…移動体情報表示領域，４３…警報表示，４４…警告画面，４５…リセットボタン，４６…非リセットボタン
【技術分野】
【０００１】
本発明は、監視装置及びプログラムに関し、特に、監視場所に設置されたカメラによる撮影画像を取り込んで監視を行う監視装置及びプログラムに関する。
【背景技術】
【０００２】
公開空地や公園等の不特定の人物が出入りする領域において犯罪から守りたい人物や物（以下、人物を「被守備者」、物を「被守備物」という。）が存在する場合に、被守備者または被守備物に対する犯罪の発生を防止する際に、監視カメラを用いてより効果的に防犯を行うための技術が提案されている。
【０００３】
例えば特許文献１によれば、監視対象領域を撮影することにより当該領域の画像情報をリアルタイムで取得するカメラによって取得された画像情報に基づいて、監視対象領域に存在する人物の位置を所定時間間隔で検出し、検出した人物が予め定められた守備者および被守備者を除く不定者であるか否かをＩＣタグおよびアンテナを利用して特定し、不定者と特定された人物の少なくとも年齢を含む個人的な特性を示す特性情報を上記画像情報に基づいて推定する。そして、推定した当該特性情報に基づいて、上記不定者が上記特性情報に含まれる年齢以降の生存期間内に犯罪を実行する確率である犯罪実行率を導出し、導出した犯罪実行率に基づいて、被守備者に対する不定者による犯罪リスクの高さを示す犯罪リスク値を演算し、演算した犯罪リスク値を用いて、犯罪を防止する処理として予め定められた処理を実行するシステムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５０７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
また、都市空間や建物内空間において監視カメラを用いて監視を行う際、監視対象領域に進入してくる人物や動物等の移動体の位置や大きさを正確に把握できることが望ましい。しかしながら、監視カメラによる監視は、通常、上方に設置された1台の監視カメラで斜め上から撮影することにより行われており、斜め方向から撮影された画像から、都市空間や建物内空間における固定的な監視領域に一時的に進入してくる人物や動物等の移動体の位置や大きさを正確に把握することが困難であった。その理由は、監視カメラが、背景となる三次元空間の三次元空間座標や空間属性等を保持していないために、撮影画像上の変化の意味を推論できないことにあった。
【０００６】
そこで、撮影画像の各画素について常に正確な三次元空間座標や空間属性等を保持することで、その三次元空間座標や空間属性等に基づいて、撮影画像内における移動体の位置や大きさを正確に把握しつつ移動体を追跡できる監視システムが望まれている。
【０００７】
また、そのような監視システムでは、監視カメラが都市空間や建物内空間を画像としてとらえるとき、監視場所に一時的に進入してきた移動体を正確に見分けるためには、撮影画像の各画素について正確な三次元空間座標や空間属性等を保持するとともに、三次元空間座標や空間属性等が常に最新の情報に更新される必要がある。
【０００８】
本発明は、このような課題を解決するためになされたものであり、その目的は、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる監視装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するめに、請求項１に記載の監視装置は、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段と、を備えている。
【００１０】
請求項１に記載の監視装置によれば、設定手段により、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標が設定され、付与手段により、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性が付与されると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性が付与される。
【００１１】
また、抽出手段により、前記境界を示す空間属性が付与された画素の各々から特徴量が繰り返し抽出され、変更手段により、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標が変更される。
【００１２】
これにより、撮影カメラ等の移動により監視領域に対する撮影画像の位置が変化した場合に、境界を示す空間属性が付与された画像の各々から抽出された特徴量の変化から監視領域に対する撮影画像の位置の変化が生じたか否かを判断し、監視領域に対する撮影画像の位置の変化が生じた場合に、撮影画像の各画素に設定された座標を設定手段により設定された三次元座標の値に変更される。このため、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１３】
また、請求項２に記載の監視装置は、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理を実行する実行手段を備えている。
【００１４】
請求項２に記載の監視装置によれば、設定手段により、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標が設定され、付与手段により、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性が付与されると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性が付与される。
【００１５】
また、抽出手段により、前記境界を示す空間属性が付与された画素の各々から特徴量が繰り返し抽出され、実行手段により、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理が実行される。
【００１６】
これにより、監視領域に対する撮影画像の位置の変化が生じた場合に、付与された空間属性が初期状態に戻され、再度特徴量が抽出されるため、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１７】
また、請求項２に記載の監視装置は、請求項３に記載の発明のように、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記リセット処理が指示されなかった場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段を更に備えるようにしてもよい。これにより、リセット処理の指示の有無に拘わらず、都市空間や建物内空間等の監視領域を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００１８】
また、請求項１または３記載の監視装置において、請求項４に記載の発明のように、前記撮影画像及び前記三次元空間座標に基づいて、前記監視領域に存在する移動体の位置および大きさの少なくとも一方を導出する導出手段と、前記導出手段によって導出された前記移動体の位置および大きさの少なくとも一方を提示する提示手段と、を更に備えるようにしても良い。これにより、監視領域に一時的に進入してきた移動体を正確に見分けることができる。
【００１９】
また、請求項４記載の監視装置において、請求項５に記載の発明のように、前記付与手段は、前記画像部位に対応する空間属性として床面を示す属性を付与し、前記導出手段は、前記移動体の位置を導出する際には、該移動体を表す画素領域のうちの下端の画素の位置に基づいて導出するようにしても良い。これにより、監視領域に一時的に進入してきた移動体の位置を正確に導出することができる。
【００２０】
また、請求項１または３記載の監視装置において、請求項６に記載の発明のように、前記設定手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として前記三次元空間座標を設定し、前記付与手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与し、前記変更手段は、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記監視領域外の領域についても設定手段により設定された広い領域を用いて前記三次元空間座標を変更するようにしても良い。これにより、より高精度に三次元空間座標や空間属性を更新することができる。
【００２１】
また、請求項５または６記載の監視装置において、請求項７に記載の発明のように前記導出手段によって導出された前記移動体と被守備物との距離に基づいて、前記被守備物に対する接近度を示す犯罪リスク値を導出する犯罪リスク値導出手段と、前記リスク値導出手段によって導出された前記犯罪リスク値を用いて、犯罪を防止するための予め定められた処理を実行する処理実行手段と、を更に備えるようにしても良い。これにより、監視領域に一時的に進入してきた移動体の犯罪を防止することができる。
【００２２】
また、上記目的を達成するめに、請求項９に記載のプログラムは、コンピュータを、監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、前記境界を示す空間属性が付与された画素の各々から特徴量を抽出する抽出ステップと、前記抽出手段において抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段において設定された三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段として機能させるためのものである。
【００２３】
従って、請求項９に記載のプログラムによれば、コンピュータを請求項１に記載の発明と同様に作用させることができるので、請求項１に記載の発明のように、都市空間や建物内空間を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標や空間属性を保持するとともに、三次元空間座標や空間属性等を常に最新の情報に更新することができる。
【発明の効果】
【００２４】
本発明によれば、都市空間や建物内空間を撮影して撮影画像に基づいて監視を行う際、撮影画像の各画素について正確な三次元空間座標や空間属性を保持するとともに、三次元空間座標や空間属性等を常に最新の情報に更新することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】実施形態に係る監視システムの構成を示す概略図である。
【図２】実施形態に係る監視システムの電気系の要部構成を示すブロック図である。
【図３】実施形態に係る監視処理プログラムの処理の流れを示すフローチャートである。
【図４】実施形態に係る移動体追跡処理プログラムの処理の流れを示すフローチャートである。
【図５】実施形態に係る監視処理プログラムの処理の流れを説明するための撮影画像の状態遷移図である。
【図６】実施形態に係るカメラによる撮影画像の一例を示す図である。
【図７】（Ａ）は、実施形態に係る監視システムの三次元空間座標におけるＺ座標値と空間属性との対応関係を示す対応表であり、（Ｂ）は、実施形態に係る監視システムにおける画素情報の構成の一例を示す模式図である。
【図８】（Ａ）は、実施形態に係るカメラによる撮影画像における移動体と被守備物との位置関係を示す概略図であり、（Ｂ）は、実施形態に係るカメラによる撮影画像に対して設定された三次元空間のｘｙ平面における、移動体と被守備物との位置関係を示す概略図である。
【図９】実施形態に係る監視システムにおける移動体と被守備物との距離の導出方法を説明するための概略図である移動体と被守備物との距離の導出方法を説明するための概略図である。
【図１０】（Ａ）及び（Ｂ）は、実施形態に係る監視システムにおける監視画面の一例を示す図である。
【図１１】実施形態に係る監視システムにおける警告画面の一例を示す図である。
【図１２】実施形態に係る監視システムにおいてリセット前後の撮影画像の三次元空間を連続した空間として認識する方法を説明するための概略図であり、（Ａ）は、リセット前の撮影画像を示す図であり、（Ｂ）は、リセット後の撮影画像を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明を実施するための実施形態について詳細に説明する。なお、ここでは、オフィスビルを監視場所としてオフィスビル内における所定領域を監視領域とした監視システムに本発明を適用した場合について説明する。
【００２７】
まず、図１及び図２を参照して、本発明の実施形態に係る監視システム１の構成を説明する。図１は、本実施形態に係る監視システム１の構成を示す概略図であり、図２は、本実施形態に係る監視システム１の電気系の要部構成を示すブロック図である。
【００２８】
図１に示すように、本実施形態に係る監視システム１は、監視室に設置され当該システムの中心的な役割を担う監視装置２、及び監視領域を継続的に連続して撮影するカメラ３を有している。なお、本実施形態に係る監視システム１では、監視装置２が監視室に設置されているが、監視装置２の設置場所はこれに限定されない。
【００２９】
本実施形態に係る監視システム１は、都市空間や建物内空間を撮影する監視カメラであるカメラ３による撮影画像の各画素に撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標（Ｘ，Ｙ，Ｚ）を付与し、撮影画像の各画素に三次元空間座標を対応付けることにより、振動等でカメラ３の位置が微小に変化することにより各画素に設定された三次元空間座標が変化しても、空間属性の境界を示す属性情報が付与された境界画素の各々から抽出される特徴量により、各画素に設定された三次元空間座標を修正できるシステムである。また、本実施形態に係る監視システム１は、一時的に監視領域に進入してくる人物や動物等の移動体を各画素の特徴量の変化により正確に検出し、検出された人物や動物等の位置や大きさを三次元空間内で正確に把握できるシステムである。
【００３０】
図２に示すように、本実施形態に係る監視装置２は、監視装置２を総括的に制御するＣＰＵ（Central Processing Unit）１０、ＣＰＵ１０が処理をする際の作業領域となるＲＡＭ（Random Access Memory）１１、ＣＰＵ１０が処理をする際に使用される後述するプログラムや各種データが記憶される記憶手段としてのＲＯＭ（Read Only Memory）１２、ＣＰＵ１０が処理をする際に使用される各種データやユーザ操作により入出力されたデータが記憶される記憶手段としてのＨＤＤ（Hard Disk Drive）１３、及び、監視装置２に接続されたカメラ３を含む各種周辺機器に対するデータ送受信を行うＩ／Ｏ（入出力）ポート１４を備えている。ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、ＨＤＤ１３、及びＩ／Ｏポート１４は、データバス等を含むバスにより壮途に接続されている。
【００３１】
また、監視装置２のＩ／Ｏポート１４には、ユーザ操作により監視装置２に、各画素に付与された空間属性を初期に設定された初期状態に戻すリセット処理の指示データ等のデータを入力するキーボードやマウス等の操作入力部１５、ＣＰＵ１０の制御によりデータを表示するＬＣＤ（Liquid Crystal Display）等の表示部１６、及び、ＣＰＵ１０の制御により音声を出力するスピーカ等の警報部１７が接続されている。
【００３２】
また、監視装置２のＩ／Ｏポート１４には、前述したカメラ３が接続されていて、カメラ３による撮影画像（図６に示す撮影画像２３）が監視装置２に連続的に入力される。なお、本実施形態に係る監視システム１は、監視装置２に対してカメラ３が有線で接続されているが、これに限らず、カメラ３が撮影画像２３を示すデータを無線通信により継続的に送信し、監視装置２が、この撮影画像２３を示すデータを無線通信により受信するようにしても良い。
【００３３】
次に、本実施形態に係る監視システム１の動作を監視処理のルーチンを示す監視処理プログラム、及び移動体追跡処理のルーチンを示す移動体追跡処理プログラムに基づいて説明する。
【００３４】
本実施形態に係る監視システム１では、監視装置２のＣＰＵ１０によって監視処理プログラムが実行される。そこで、まず、図３及び図４を参照して、監視処理プログラムを実行する際のＣＰＵ１０の実行処理を説明する。なお、図３は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される監視処理プログラムの処理の流れを示すフローチャートであり、図４は、監視システム１において実行された監視処理プログラムにより読み出される移動体追跡処理プログラムの処理の流れを示すフローチャートである。
【００３５】
当該監視処理プログラム及び移動体追跡処理プログラムは監視装置２のＲＯＭ１２に予め記憶されている。なお、監視処理プログラム及び移動体追跡処理プログラムは、ＨＤＤ１３に予め記憶されていても良く、ＣＤ−ＲＯＭ等の記録媒体に監視処理プログラム及び移動体追跡処理プログラムを記憶しておき、記録媒体からＨＤＤ１３に読み込むことによりＨＤＤ１３に記憶しても良い。
【００３６】
また、図５（Ａ）乃至図５（Ｆ）は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される監視処理プログラムの処理の流れを説明するための撮影画像２３の状態遷移図である。
【００３７】
始めに、ステップＳ１０１において、ＣＰＵ１０は、カメラ３から撮影画像２３を示す画像データを連続して取り込む。図６は、カメラ３による撮影画像２３の一例を示す図である。図６に示すように、本実施形態に係る監視システム１において、カメラ３により床面と床面より立ち上がった２本の柱が撮影画像２３に撮影されている。このようにカメラ３によって撮影された撮影画像２３が監視装置２に取り込まれている。
【００３８】
ステップＳ１０３において、ＣＰＵ１０は、ステップＳ１０１にて取り込まれている撮影画像２３に三次元空間の座標系を設定する。この際、図５（Ａ）に示すように、撮影画像２３に三次元座標の原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）が撮影画像２３の左角近傍に設定され、Ｚ軸が鉛直方向の向き、Ｘ軸、Ｙ軸がそれぞれ水平面に位置するように設定される。三次元空間座標は、撮影画面２３上の目的とする点に原点が一致するように設定される。
【００３９】
ここで、ＣＰＵ１０は、撮影画像２３の各画素にステップＳ１０３にて設定された三次元空間の座標系における位置を示す三次元空間座標を設定するために、ステップＳ１０５において、監視場所の三次元形状を計測するための三次元計測機器を使用するか否かを判定する。この際、ユーザ操作により三次元計測機器を使用するか否かが入力されても良く、三次元計測機器を使用するか否かを示す情報が予めＲＯＭ１２やＨＤＤ１４に記憶されていても良い。なお、三次元計測器は、実空間における各位置までの距離を測定し、測定した距離からＸＹＺ各軸に対応する成分を求め、各位置の三次元空間座標（Ｘ，Ｙ，Ｚ）を算出するものである。
【００４０】
ステップＳ１０５において三次元計測機器を使用すると判定された場合は、ステップＳ１０７において、ＣＰＵ１０は、三次元計測機器によって計測されたデータを取得する。取得方法は、三次元計測機器を監視装置２に電気的に接続することで計測データを取得しても良く、ユーザ操作により操作入力部１５を用いて計測データを入力することで取得しても良い。
【００４１】
ステップＳ１０５において三次元計測機器を使用しないと判定された場合は、ステップＳ１０９において、ＣＰＵ１０は、表示部１６に入力指示画面を表示させる。入力指示画面は、例えば、図６に示す撮影画像２３と、表示された撮影画像２３に対して三次元空間座標を入力するユーザ操作を促す画面とを合成した画面である。ユーザは、撮影画像２３における各画素を領域分割する等により分割領域毎に三次元空間座標を入力する。
【００４２】
ステップＳ１１１において、ＣＰＵ１０は、入力指示画面を介して入力された撮影画像２３の各画素の三次元空間座標における位置を示すデータを取得する。
【００４３】
ここで、二次元の撮影画面２３上に位置する各画素は、実空間である三次元空間の各位置のいずれかに対応しているので、ステップＳ１１３において、ＣＰＵ１０は、撮影画面２３上に位置する各画素の各々に、対応する三次元空間座標、すなわちステップＳ１０７またはステップＳ１１１にて取得された三次元空間における位置を示す三次元空間座標（Ｘ，Ｙ，Ｚ）を設定する。
【００４４】
なお、三次元計測機器で計測する際に、常に人物等の出入りがあって三次元空間座標が変化し安定しない場合には、三次元計測機器で一定時間継続測定して得られた最大距離から定まる三次元空間座標を用いる。また、自動計測装置がない場合は、上記で説明したように画像を領域分割して、手作業と自動内挿で付与する。
【００４５】
次のステップＳ１１５において、ＣＰＵ１０は、Ｓ１１３にて三次元空間座標が設定された撮影画像２３の各画素に、各画素が属する画像部位における空間属性を設定する。
【００４６】
図７（Ａ）は、三次元空間座標におけるＺ座標値と空間属性との対応関係を示す対応表２４を示す図であり、図７（Ｂ）は、画素情報２５の構成の一例を示す模式図である。対応表２４においては、図７に示すように、Ｚ座標値２４ａに対して空間属性２４ｂがそれぞれ対応付けられている。対応表２４及び画素情報２５は、ＨＤＤ１３等に記憶されている。画素情報２５は、図７（Ｂ）に示すように、撮影画像２３における各画素の二次元座標で表された画素位置２５ａに対して、三次元空間座標で表された位置座標２５ｂ、撮影画像２３における各画素が属する画像部位に属する空間属性を示す空間属性２５ｃ、及び撮影画像２３における各画素の特徴量２５ｄがそれぞれ対応付けられている。なお、ステップＳ１１３にて設定された三次元空間座標は、位置座標２５ｂに記録される。
【００４７】
対応表２４に示す通り、空間属性は、床面を示す「床面」、床面に対する境界を示す「境界」、床面及び境界のどちらでもない部分を示す「その他」の３区分に分けられ、Ｚ座標値が所定範囲内（ここでは０−α＜Ｚ＜０＋α）である画素に対して「床面」、Ｚ座標値が所定範囲外（ここではＺ＜０−α，Ｚ＞０＋α）である画素に対して「その他」が設定される。また、「床面」を示す空間属性が設定された画素部位（床面部位）と「その他」を示す空間属性が設定された画素部位（その他の部位）とが隣接している部分が境界となる。このため、床面部位及びその他の部位の部位に属する画素であって、他方の部位に属する画素に接している画素に「境界」を示す空間属性を設定する。例えば、床面部位に属する画素であってその他の部位に隣接する画素、及びその他部位に属する画素であって床面部位に隣接する画素に対して「境界」を示す空間属性を設定する。
【００４８】
なお、床面部位及びその他の部位の一方の部位に属する画素であって、一方の部位に属する画素に接している画素に「境界」を示す空間属性を設定しても良い。この場合には、例えば、床面部位に属する画素であってその他の部位に隣接する画素に対して「境界」を示す空間属性が設定される。
【００４９】
本実施形態では、撮影画像２３上の柱に対応する画像部位に「その他」を示す空間属性を設定し、床面に対応する画像部位に「床面」を示す空間属性を設定すると共に、床面部位及びその他の部位に属する画素であって他方の部位に隣接する画素に対して「境界」を示す空間画素を設定している。
【００５０】
ＣＰＵ１０は、三次元空間座標におけるＺ座標値と空間属性との対応表２４に基づいて、撮影画像２３における各画素の三次元空間座標のＺ座標値から、当該各画素の空間属性を画素情報２５の空間属性２５ｃとして記録することで設定する。
【００５１】
これにより、図５（Ｂ）に示すように、撮影画像２３における各画素が、空間属性が「床面」の領域３０、空間属性が「境界」の領域３１、及び空間属性が「その他」の領域３２に区分される。
【００５２】
なお、監視領域によっては床面がほぼ平面となる場合もあるが、この場合には、Ｚ座標値が所定値（例えばＺ=０±α）である画素に「床面」を示す空間属性を与えても良い。その際には、Ｚ座標値が所定値以外（例えばＺ≠０±α）である画素に「その他」の空間属性を設定して、空間属性が「床面」の画素と隣接する空間画素が「その他」画素に「境界」という空間属性を与えると良い。
【００５３】
ステップＳ１１７において、ＣＰＵ１０は、ステップＳ１１５にて設定された空間属性に基づいて、空間属性として「境界」が設定された画素（以下、「境界画素」と言う。）を抽出して、画像データから各境界画素の特徴量を抽出する。境界画素の各々の画像データは、ＲＢＧの三原色が０〜２５５の輝度値で表されているので、各境界画素の色相または輝度の平均値を特徴量として抽出する。この際、境界画素の特徴量として、複数の隣接する境界画素からなる一群の画素群における輝度値の平均値や輝度値のばらつき等が抽出されても良い。
【００５４】
ステップＳ１１９において、ＣＰＵ１０は、ステップＳ１１７にて抽出された各境界画素の特徴量を各画素の三次元空間座標と対応させて、記憶手段であるＨＤＤ１３に記憶する。
【００５５】
次のステップＳ１２１において、ＣＰＵ１０は、ステップＳ１０１にて取り込んでいる撮影画像２３において移動体を検出して追跡する移動体追跡処理を行う。この移動体追跡処理については以下説明する。
【００５６】
図８は、監視システム１において監視場所の監視を行う際に、監視装置２のＣＰＵ１０により実行される移動体追跡処理プログラムの処理を説明するための概略図であり、（Ａ）は、カメラ３による撮影画像２３における移動体と被守備物との位置関係を示す概略図であり、（Ｂ）は、ステップＳ１０３にてカメラ３による撮影画像２３に対して設定された三次元空間のｘｙ平面における、移動体と被守備物との位置関係を示す概略図である。
【００５７】
図８（Ａ）に示すように、監視場所に被守備物が存在して当該被守備物の周囲に進入禁止領域が存在する場合に、移動体が被守備物に接近しないように監視しなければならない状況が発生する。この場合には、監視装置２は、図８（Ｂ）に示すように、撮影画像２３に設定された三次元空間におけるＸＹ平面上における距離を正確に把握する必要がある。
【００５８】
始めに、ステップＳ２０１において、ＣＰＵ１０は、ステップＳ１０１にて取り込んでいる撮影画像２３において移動体を検出する。移動体を検出するには、撮影画像２３の前後のフレームの画像データの差分を演算して検出する。差分データが存在する場合には、差分データが存在する部分が移動体に相当するので、各フレームで差分データが存在する部分の座標を求めることにより移動体の移動方向も検出することができる。
【００５９】
この際、図５（Ｃ）に示すように、カメラ３による撮影画像２３において、移動体３３Ａ、３３Ｂ、３３Ｃは、検出された画素を含む矩形の画素の集合体（以下、「矩形表示」と言う。）で表示される。矩形表示は、移動体３３Ａ、３３Ｂ、３３Ｃ示す画素をすべて含む最小限の矩形の画素の集合体とすると良い。
【００６０】
ステップＳ２０３において、ＣＰＵ１０は、ステップＳ２０１にて検出された移動体３３Ａ、３３Ｂ、３３Ｃの位置及び大きさを取得する。この際、移動体３３Ａ、３３Ｂ、３３Ｃの位置は、移動体３３Ａ、３３Ｂ、３３Ｃを示す矩形表示における底辺（撮影画像２３においてｘ方向に位置する辺）の中点の座標とすると良い。これは、移動体３３Ａ、３３Ｂ、３３Ｃの足元が位置する画素を特定することで、その他の部位が位置する画素を用いた場合よりも、三次元空間座標における正確な位置を把握できるからである。
【００６１】
また、移動体３３Ａ、３３Ｂ、３３Ｃの大きさは、移動体３３Ａ、３３Ｂ、３３Ｃを示す矩形表示の底辺（撮影画像２３においてｘ方向に位置する辺）の撮影画像２３における長さａ及び三次元空間における長さＡに基づいて、矩形表示の撮影画像２３における高さ方向（撮影画像２３におけるｙ方向）の長さｂから三次元空間における高さ方向（三次元空間におけるＺ方向）の長さを推測することで得られる矩形表示の面積とすると良い。すなわち、始めに矩形表示の底辺の三次元空間における長さＡが算出されることにより、矩形表示の底辺の撮影画像２３における長さａと三次元空間における長さとの比Ａ／ａに、撮影画像２３における矩形表示の高さ方向の長さｂを掛けることにより、矩形表示の高さ方向の三次元空間における長さＢ（Ｂ＝ｂ×（Ａ／ａ））が算出される。そして、矩形表示の底辺の三次元空間における長さＡと三次元空間における高さ方向の長さＢとを掛けることにより、面積Ｓ（Ｓ＝Ａ×Ｂ）が導出される。
【００６２】
ステップＳ２０７において、ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体３３Ａ、３３Ｂ、３３Ｃについて、以下に説明する犯罪リスク値Ｒｊ（ｔ）を導出する。
【００６３】
以下、移動体３３Ａ、３３Ｂ、３３Ｃの各々と被守備物との距離から、犯罪リスク値Ｒｊ（ｔ）の導出方法について説明する。なお、被守備物が移動体である被守備体であった場合にも、以下に説明する導出方法で犯罪リスク値Ｒｊ（ｔ）を導出できる。
【００６４】
ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体について、被守備物に対する距離を導出する。図９は、移動体と被守備物との距離の導出方法を説明するための概略図である。図９に示すように、ＣＰＵ１０は、各々の移動体３３Ａ、３３Ｂ、３３Ｃについて、最下端の画素の位置と、被守備物の位置との距離を導出する。なお、以下では撮影画像２３に被守備物が表示されているとともに、移動体３３Ａ、３３Ｂ、３３Ｃのうちの一部が被守備物を守備する守備者であり、移動体３３Ａ、３３Ｂ、３３Ｃの中から守備者が判別されている場合について考える。
【００６５】
まず、ＣＰＵ１０は、移動体と被守備物との距離を、全ての移動体について導出し、ＲＡＭ１１に記憶する。またＣＰＵ１０は、守備者と移動体との距離を、守備者と移動体の全ての組み合わせについて導出し、ＲＡＭ１１に記憶する。なお、このときの時刻をｔとして、ｊ番目の移動体と被守備物との距離を距離Ｄｊ（ｔ）と表し、ｋ番目の守備者とｊ番目の移動体との距離を距離Ｄｋｊ（ｔ）と表す。
【００６６】
ＣＰＵ１０は、距離Ｄｊ（ｔ）および距離Ｄｋｊ（ｔ）を次の（１）式に代入することにより仮犯罪リスク値Ｒｊ’（ｔ）を算出する。ここで、（１）式におけるｍｉｎｋ（）は、括弧内の演算結果の全てのｋについての最小値を適用することを示す関数である。
【数１】
【００６７】
また、ＣＰＵ１０は、次の（２）式によって係数ＣＲを算出する。ここで、（２）式におけるＣ１は、犯罪リスク値Ｒｊ（ｔ）を調整する係数であり、仮犯罪リスク値Ｒｊ’（ｔ）＝１の場合の犯罪リスク値Ｒｊ（ｔ）の値である。
【数２】
【００６８】
そして、ＣＰＵ１０は、以上によって得られた仮犯罪リスク値Ｒｊ’（ｔ）、および係数ＣＲを次の（３）式に代入することにより、犯罪リスク値Ｒｊ（ｔ）を算出する。
【数３】
【００６９】
なお、通常は係数Ｃ１として０．５を適用することにより、係数ＣＲを−１とする。これにより、（３）式は次の（４）式に変形される。
【数４】
【００７０】
以上の処理によって犯罪リスク値Ｒｊ（ｔ）が導出される。
【００７１】
ステップＳ２０９において、ＣＰＵ１０は、ステップＳ２０１にて検出された各々の移動体について、ステップＳ２０３にて取得された移動体の位置及び大きさを、表示部１６に表示されている監視画面４０に表示させる。図１０（Ａ）及び図１０（Ｂ）は、監視装置２により動体監視処理が行われている際に表示部１６に表示されている監視画面４０の一例を示す図である。本実施形態に係る監視システム１では、図１０（Ａ）に示すように、監視画面４０は、カメラ３による撮影画像２３が表示される撮影画像表示領域４１、移動体の位置や大きさを示す情報が表示される移動体情報表示領域４２を有している。移動体情報表示領域４２には、ステップＳ２０１にて検出された移動体３３Ａ、３３Ｂ、３３Ｃ（監視画面４０ではそれぞれＡ、Ｂ、Ｃで表されている）の位置や大きさを示す情報が表示されている。
【００７２】
ステップＳ２１１において、ＣＰＵ１０は、ステップＳ２０１にて検出された移動体のうち、ステップＳ２０７にて導出された犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上である移動体が存在するか否かを判定する。この所定値は、予め設定されてＲＡＭ１１またはＲＯＭ１２に記憶されている。
【００７３】
ステップＳ２１１においてステップＳ２０１にて検出された移動体のうちのいずれかの犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上であると判断された場合は、ＣＰＵ１０は、ステップＳ２１３において、移動体の被守備物への接近を警告する。この際、ＣＰＵ１０は警報部１７に警報音を発生させる。また、ＣＰＵ１０は、警報部図１０（Ｂ）に示すように、監視画面４０において、例えば、犯罪リスク値Ｒｊ（ｔ）が予め定められた所定値以上であった移動体を強調するための警告表示４６を行わせることで、被守備物への接近を警告する。
【００７４】
ＣＰＵ１０は、監視処理プログラムが終了されるまで、移動体追跡処理であるステップＳ２０１乃至Ｓ２１３の処理を繰り返し行うことで、常時移動体を追跡して監視を行う。なお、特徴点追跡アルゴリズムについては、特開２００９−２０８００号公報等の多くの文献に記載されており、従来既知であるため、ここでは詳細な説明は省略する。
【００７５】
ここで、風、振動または何らかの移動体の衝突等によってカメラ３の位置がずれる可能性が考えられる。カメラ３の位置がずれた場合には、図５（Ｄ）に示すように、破線で示すずれる前の撮影画像２３Ａに表示されていた空間属性が「境界」の領域３１Ａに対して、実線で示すずれた後の撮影画像２３に表示されている空間属性が「境界」の領域３１の位置がずれるため、結果として、撮影画像２３の各画素に設定された三次元空間座標もずれてしまい、移動体の正確な位置や大きさを把握することが困難になってしまう。
【００７６】
そこで、ステップＳ１２２において、ＣＰＵ１０は、カメラ３の位置がずれていないか否かを判定するために、ステップＳ１２１の処理（すなわちステップＳ２０１乃至２１３の処理）と並行して、ステップＳ１１７と同様の手法で、各境界画素の特徴量を抽出する。
【００７７】
ステップＳ１２３において、ＣＰＵ１０は、ステップＳ１１９にて記憶された特徴量と、ステップＳ１２２にて抽出されて記憶されている特徴量とを比較し、各境界画素の特徴量の変化量が予め定められた閾値である所定値以上であるか否かを判定する。この際の所定値は、例えば各境界画素の特徴量の変化量が誤差とみなせる限界値を示す数値であり、予め設定されてＲＡＭ１１、ＲＯＭ１２またはＨＤＤ１３に記憶されている。このステップＳ１２３の判定は、定期的に行われる。
【００７８】
ステップＳ１２３において特徴量の変化量が予め定められた所定値以上でないと判定された場合は、ＣＰＵ１０は、カメラ３の位置がずれていないものと判定して、監視を継続するために、特徴量の変化量が予め定められた所定値以上になるまで、再びステップＳ１２１乃至Ｓ１２３の処理を繰り返し行う。
【００７９】
ステップＳ１２３において特徴量の変化量が予め定められた所定値以上であると判定された場合は、ステップＳ１２５において、ＣＰＵ１０は、カメラ３の位置がずれたものと判定して、表示部１６に警告画面４４を表示させる。図１１は、警告画面４４の一例を示す図である。図１１に示すように、警告画面４４は、ユーザ操作により三次元空間座標の設定をリセットすることを指示するためのリセットボタン４５と、ユーザ操作によりリセットしないことを指示するための非リセットボタン４６を有している。ユーザは、監視装置２に三次元空間座標の設定をリセットすることを指示する場合に操作入力部１５によりリセットボタン４５を選択し、監視装置２にリセットしないことを指示する場合に操作入力部１５により非リセットボタン４６を選択する。ユーザは、カメラの位置や角度に大きな変化あるいは監視領域に物理的な大きな変化があったと判断した場合に、リセットボタン４５を選択すると良い。
【００８０】
ステップＳ１２７において、ＣＰＵ１０は、ユーザ操作によりリセットの指示があったか否かを判定する。この際、ＣＰＵ１０は、ユーザ操作によりリセットボタン４５が選択された場合に、三次元空間座標の設定のリセットが指示されたものと判定し、ユーザ操作により非リセットボタン４６が選択された場合にリセットが指示されなかったものと判定する。
【００８１】
ステップＳ１２７においてリセットの指示があったと判定された場合は、ステップＳ１２８において、撮影画像２３に対して設定した三次元空間、各画素に設定した三次元空間座標、各画素に設定した空間属性、及び記憶した特徴量を初期状態に戻し、ステップＳ１０３に戻って、ＣＰＵ１０は、ステップＳ１０１にて取り込まれているカメラ３による撮影画像２３に対して、再び三次元空間を設定し直し、上述した一連の処理を再度行う。
【００８２】
図５（Ｅ）に示すように、ずれた撮影画像２３に対して三次元座標の原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）が再度設定されるとともに、Ｚ軸を鉛直方向とした上で水平方向にＸ軸、Ｙ軸が再度設定される。
【００８３】
ここで、監視装置１は、リセットが指示され三次元空間座標が再度設定された際に、カメラ３の画角が変化した場合であっても、複数の特徴点に基づいて三次元空間をリセット前後で連続した空間として認識する機能を備えている。図１２は、本実施形態に係る監視システム１においてリセット前後の撮影画像２３の三次元空間を連続した空間として認識する方法を説明するための概略図であり、図１２（Ａ）は、リセット前の撮影画像２３を示す図であり、図１２（Ｂ）は、リセット後の撮影画像２３を示す図である。
【００８４】
図１２（Ａ）及び図１２（Ｂ）に示すように、ユーザ操作により、カメラ３による撮影画像２３上において複数の固定点ａ乃至ｆが設定され、当該複数の固定点ａ乃至ｆの各々の特徴量が時間の関数として取り込まれる。なお、固定点ａ乃至ｆは、一群の画素の集合体であることが好ましい。そして、撮影画像２３に対する三次元空間座標の再度設定後に、撮影画面２３において固定点ａ乃至ｆの特徴量を探索して、固定点ａ乃至ｆの特徴量と一致した箇所（あるいは最も近似した箇所）を、撮影画像２３に対する三次元空間座標の再度設定前における固定点ａ乃至ｆとして認識し、固定点ａ乃至ｆがそれぞれ対応するように三次元空間座標を設定しなおす。
【００８５】
ステップＳ１２７においてリセットの指示がないと判定された場合は、ステップＳ１２９において、ＣＰＵ１０は、撮影画像２３における境界画素の特徴量に基づいて、ステップＳ１０３にて設定した三次元空間の位置を、カメラ３がずれる前の境界画素の位置と、カメラ３がずれた後の境界画素の位置とがそれぞれ対応するように修正し、ステップＳ１０５にて設定された各画素の三次元空間座標を修正する。この際、画素情報２５において、各境界画素の特徴量の変化量に応じて、画素位置２５ａに対する、位置座標２５ｂ、空間属性２５ｃ、特徴量２５ｄの対応付けを変更することによって、三次元空間の位置が修正される。
【００８６】
図５（Ｆ）に示すように、カメラ３による撮影画像２３における各画素に設定された三次元空間座標が、各境界画素の特徴量の変化量に応じて修正される。この際、ＣＰＵ１０は、カメラ３の位置がずれた後の撮影画像２３上において、カメラ３の位置がずれる前の境界画素の特徴量を検索して、一致した箇所（最も近似した箇所）を当該境界画素の位置として認識し、画素情報２５における三次元空間座標を設定しなおす。
【００８７】
そして、ＣＰＵ１０は、再びステップＳ１２１の処理を行うことにより、監視処理を継続する。カメラ３の位置が微小にずれた場合に、撮影画像２３の各画素に対応付けられた三次元空間座標を境界画素のずれを用いて修正することで、監視領域の三次元形状を取得することなく、監視処理を継続することができる。
【００８８】
このようにして本実施形態に係る監視装置２は、監視領域を連続撮影して得られた撮影画像２３の各画素に、該撮影画像２３に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定し撮影画像２３の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与し、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出し、抽出された特徴量の変化量が予め定められた閾値を超えた場合に、設定された三次元座標により定まる位置を示す三次元空間座標になるように画素の各々に設定された三次元空間座標を変更する。
【００８９】
また、本実施形態に係る監視装置２は、監視領域を連続撮影して得られた撮影画像２３の各画素に、該撮影画像２３に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定し、撮影画像２３の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、画像部位と隣接する画素の各々に画像部位との境界を示す空間属性を付与し、境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出し、抽出された特徴量の変化量が予め定められた閾値を超え、かつ実行結果を初期状態に戻すリセット処理が指示された場合に、リセット処理を実行する。
【００９０】
これらにより、本実施形態に係る監視システム１において、都市空間や建物内空間等の監視領域を撮影して撮影画像２３に基づいて監視を行う際、撮影画像２３の各画素について正確な三次元空間座標及び空間属性を保持するとともに、三次元空間座標及び空間属性等を常に最新の情報に更新することができる。
【００９１】
なお、ステップＳ２０３にて移動体の大きさを取得してステップＳ２０９にて表示する際、移動体の大きさによって移動体の種類や数を判別して、移動体の種類を表示させるようにしても良い。判別方法は、例えば幅（ＸＹ平面における長さ）と高さ（Ｚ座標における長さ）との比や、幅と高さから得られる面積を用いて、例えば人物か動物かを判別すると良い。または、同様にして動物を犬・猫・牛・カラス等に更に細かく分類して、ステップＳ２０７にて犯罪リスク値の代わりに獣害リスク値を導出しても良い。
【００９２】
また、本実施形態に係る監視システム１の監視装置２に三次元座標自動把握機能が備えられていても良い。その場合、移動体の三次元座標を把握する際にもリアルタイムで活用でき、より高精度に移動体を検出して追跡できる。
【００９３】
また、本実施形態に係る監視システム１では、カメラ３が固定されていることを前提としたが、これに限定されず、カメラ３が可動カメラであっても良い。カメラ３が可動カメラ３であった場合、撮影画像２３における特徴点をそれぞれ三次元空間座標や空間属性と対応付け、各画素による撮影位置が移動した際に特徴点の移動に合わせて各画素の三次元空間座標や空間属性を変更することで、各画素に逐次三次元知識を持たせることができる。
【００９４】
また、ステップＳ１０１にてカメラ３による撮影画像２３を取り込む際、対象とする監視領域である撮影領域２３を含んだ撮影領域２３より広い領域の画像を取り込み、ステップＳ１１３にて当該広い領域に対して三次元空間座標を設定するとともに、ステップＳ１１５にて当該広い領域の各画素に空間属性を設定する際、当該広い領域を対象として前記三次元空間座標を設定することにより、ステップＳ１２９にて撮影画面２３における各画素の三次元空間座標を修正する際に、当初撮影領域２３でなかった領域に対しても当該広い領域について設定されている三次元空間座標や空間属性を用いて、各画素に正確に三次元空間座標や空間属性を付与することができる。
【００９５】
また、ステップＳ１０１にてカメラ２３による撮影画像２３を取り込む際、対象とする監視領域より広い領域を撮影して取り込むことにより、ステップＳ１２９にて撮影画面２３における各画素の三次元空間座標を修正する際に、当該広い領域について設定されている三次元空間座標や空間属性を用いて、監視領域における各画素に正確に三次元空間座標や空間属性を付与することができる。
【００９６】
また、本実施形態に係る監視システム１において、監視領域を含むＣＡＤデータと連携させることにより、より精緻に空間知識をもつことができ、より高度な移動体追跡が可能になる。
【００９７】
また、本実施形態に係る監視システム１では、単一のカメラ３を用いて監視画像を撮影するが、これに限定されず、複数台のカメラを用いて監視画像を撮影しても良い。この際には、各々のカメラによる撮影領域を合わせると全ての監視領域を網羅しているように各々のカメラが配置されると良い。これにより、監視領域を死角なく撮影することができ、効率的に監視できる。
【００９８】
また、複数台のカメラを用いた場合には、各々のカメラによる撮影画像２３に設定される三次元空間座標を統一させることにより、異なるカメラによる撮影画像２３で撮影された移動体が同一の移動体であるか否かを正確に判定することができる。
【００９９】
また、本実施形態に係る監視システム１は、監視装置２として一般的に広く利用されているＰＣ（Personal Computer）を利用でき、カメラ３としてとして一般的に広く利用されているカメラを利用できるため、新規の装置やインフラを構築する必要がなく低コストで実現可能である。また、本実施形態に係る監視システム１は、同様の理由で、既存の建物に組み入れることが容易にできるとともに、既存のセキュリティシステムを更新する際に追加機能として組み入れることも容易にできる。さらに、本実施形態に係る監視システム１は、大規模な都市空間にも適用でき、スマートシティのための多目的の利用が可能となる。
【符号の説明】
【０１００】
１…監視システム，２…監視装置，３…カメラ，１０…ＣＰＵ，１１…ＲＡＭ，１２…ＲＯＭ，１３…ＨＤＤ，１４…Ｉ／Ｏポート，１５…操作入力部，１６…表示部，１７…警報部，２３、２３Ａ…撮影画像，２４…対応表，２５…画素情報，３０…空間属性が「床面」の領域，３１…空間属性が「境界」の領域，３２…空間属性が「その他」の領域，３３Ａ、３３Ｂ、３３Ｃ…移動体，４０…監視画面，４１…撮影画像表示領域，４２…移動体情報表示領域，４３…警報表示，４４…警告画面，４５…リセットボタン，４６…非リセットボタン
【特許請求の範囲】
【請求項１】
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段と、
を備えた監視装置。
【請求項２】
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理を実行する実行手段と、
を備えた監視装置。
【請求項３】
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記リセット処理が指示されなかった場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段を更に備えた請求項２記載の監視装置。
【請求項４】
前記撮影画像及び前記三次元空間座標に基づいて、前記監視領域に存在する移動体の位置および大きさの少なくとも一方を導出する導出手段と、
前記導出手段によって導出された前記移動体の位置および大きさの少なくとも一方を提示する提示手段と、
を更に備えた請求項１から請求項３の何れか１項記載の監視装置。
【請求項５】
前記付与手段は、前記画像部位に対応する空間属性として床面を示す属性を付与し、
前記導出手段は、前記移動体の位置を導出する際には、該移動体を表す画素領域のうちの下端の画素の位置に基づいて導出する
請求項４記載の監視装置。
【請求項６】
前記設定手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として前記三次元空間座標を設定し、
前記付与手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与し、
前記変更手段は、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記監視領域外の領域についても設定手段により設定された広い領域を用いて前記三次元空間座標を変更する
請求項１または３記載の監視装置。
【請求項７】
前記導出手段によって導出された前記移動体と被守備物との距離に基づいて、前記被守備物に対する接近度を示す犯罪リスク値を導出する犯罪リスク値導出手段と、
前記リスク値導出手段によって導出された前記犯罪リスク値を用いて、犯罪を防止するための予め定められた処理を実行する処理実行手段と、
を更に備えた請求項５または６記載の監視装置。
【請求項８】
コンピュータを、
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を抽出する抽出ステップと、
前記抽出手段において抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段において設定された三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段
として機能させるためのプログラム。
【請求項１】
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段と、
を備えた監視装置。
【請求項２】
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を繰り返し抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記付与手段による実行結果を初期状態に戻すリセット処理が指示された場合に、前記リセット処理を実行する実行手段と、
を備えた監視装置。
【請求項３】
前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超え、かつ前記リセット処理が指示されなかった場合に、前記設定手段により設定された三次元座標により定まる位置を示す三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段を更に備えた請求項２記載の監視装置。
【請求項４】
前記撮影画像及び前記三次元空間座標に基づいて、前記監視領域に存在する移動体の位置および大きさの少なくとも一方を導出する導出手段と、
前記導出手段によって導出された前記移動体の位置および大きさの少なくとも一方を提示する提示手段と、
を更に備えた請求項１から請求項３の何れか１項記載の監視装置。
【請求項５】
前記付与手段は、前記画像部位に対応する空間属性として床面を示す属性を付与し、
前記導出手段は、前記移動体の位置を導出する際には、該移動体を表す画素領域のうちの下端の画素の位置に基づいて導出する
請求項４記載の監視装置。
【請求項６】
前記設定手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として前記三次元空間座標を設定し、
前記付与手段は、前記監視領域を含んだ前記監視領域より広い領域を対象として各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与し、
前記変更手段は、前記抽出手段により抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記監視領域外の領域についても設定手段により設定された広い領域を用いて前記三次元空間座標を変更する
請求項１または３記載の監視装置。
【請求項７】
前記導出手段によって導出された前記移動体と被守備物との距離に基づいて、前記被守備物に対する接近度を示す犯罪リスク値を導出する犯罪リスク値導出手段と、
前記リスク値導出手段によって導出された前記犯罪リスク値を用いて、犯罪を防止するための予め定められた処理を実行する処理実行手段と、
を更に備えた請求項５または６記載の監視装置。
【請求項８】
コンピュータを、
監視領域を連続撮影して得られた撮影画像の各画素に、該撮影画像に対して設定された三次元座標により定まる位置を示す三次元空間座標を設定する設定手段と、
前記撮影画像の各画素に該各画素が属する画像部位に対応する空間属性を付与すると共に、前記画像部位と隣接する画素の各々に前記画像部位との境界を示す空間属性を付与する付与手段と、
前記境界を示す空間属性が付与された画素の各々から特徴量を抽出する抽出ステップと、
前記抽出手段において抽出された前記特徴量の変化量が予め定められた閾値を超えた場合に、前記設定手段において設定された三次元空間座標になるように前記画素の各々に設定された三次元空間座標を変更する変更手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図８】
【公開番号】特開２０１２−２１６９６２（Ｐ２０１２−２１６９６２Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８０１６５（Ｐ２０１１−８０１６５）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００３６２１）株式会社竹中工務店 (1,669)
【出願人】（５０７０２２８０２）Ｔａｋｕｍｉ Ｖｉｓｉｏｎ株式会社 (14)
【Ｆターム（参考）】
[ Back to top ]