監視装置、監視方法および監視プログラム
【課題】最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる監視装置、監視方法および監視プログラムを提供する。
【解決手段】第１撮像部１により撮像された第１画像に含まれる人物の行動評価値Ｎを算出し、算出した行動評価値Ｎに基づいて、第２画像を撮像する第２撮像部２の撮像対象を決定する演算処理部２０と、演算処理部２０により決定された撮像対象が第２画像に含まれるように第２撮像部２を調整する制御部２３と、を備え、演算処理部２０は、第２撮像部２による第２画像の撮像と並行して、第１撮像部１により第１画像が新たに撮像されると、新たに撮像された第１画像における行動評価値Ｎを再び算出して撮像対象を更新し、制御部２３は、演算処理部２０により撮像対象が更新されると、更新された撮像対象の第２画像が撮像されるように第２撮像部２を調整する。
【解決手段】第１撮像部１により撮像された第１画像に含まれる人物の行動評価値Ｎを算出し、算出した行動評価値Ｎに基づいて、第２画像を撮像する第２撮像部２の撮像対象を決定する演算処理部２０と、演算処理部２０により決定された撮像対象が第２画像に含まれるように第２撮像部２を調整する制御部２３と、を備え、演算処理部２０は、第２撮像部２による第２画像の撮像と並行して、第１撮像部１により第１画像が新たに撮像されると、新たに撮像された第１画像における行動評価値Ｎを再び算出して撮像対象を更新し、制御部２３は、演算処理部２０により撮像対象が更新されると、更新された撮像対象の第２画像が撮像されるように第２撮像部２を調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置、監視方法および監視プログラムに関し、特に、画角の異なる２つのカメラを連動させて不審者の監視を行う監視装置、監視方法および監視プログラムに関する。
【背景技術】
【０００２】
従来、画角が大きい広角画像を撮像する広角カメラと、上下左右に撮影方向を移動させることができ、かつ、高倍率なズームレンズを備えて画角が小さい拡大画像を撮像する望遠カメラと、を連動させて、監視領域に侵入した不審者の監視を行う監視装置が提案されている。
【０００３】
このような監視装置としては、例えば、広角画像を撮像する第１撮像部と、第１撮像部よりも小さい画角で画像を撮像する第２撮像部と、第１撮像部により撮像された広角画像から複数の物体を検出する検出部と、検出されたそれぞれの物体について広角画像における位置情報等を含む履歴情報を作成する作成部と、作成された履歴情報に基づいて複数の物体の中から追跡対象を選択する選択部と、追跡対象を撮像するように第２撮像部を駆動する駆動部と、を備える物体追跡装置がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０３３２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の物体追跡装置によれば、物体ごとに作成された履歴情報に基づいて複数の物体の中から最も不審な物体を追跡対象として選択するため、物体追跡装置が追跡対象を選択した後に、他の物体が不審な動きを始めた場合には、物体追跡装置は当該物体を追跡対象として選択することができない。このため、特許文献１に記載の物体追跡装置によれば、当該物体が最も不審な人物であるような場合など、最も拡大画像の撮像対象とする必要のある物体の撮像を逃してしまうという問題があった。
【０００６】
この発明は、上述の課題を解決するためになされたもので、その目的は、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる監視装置、監視方法および監視プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）上記課題を解決するために、この発明のある局面に係わる監視装置は、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するための演算処理部と、上記演算処理部により決定された上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するための制御部と、を備え、上記演算処理部は、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記制御部は、上記演算処理部により上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【０００８】
このような構成により、演算処理部が撮像対象を決定した後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部により撮像されている人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ。したがって、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【０００９】
（２）より好ましくは、上記制御部は、上記第２撮像部により上記撮像対象の一部を拡大した第２画像が撮像されるように上記第２撮像部を調整する。
【００１０】
このような構成により、例えば犯罪が起きた場合に、不審な人物の顔または手にしている物などを把握することができるため、多くの証拠の収集等が可能となる。
【００１１】
（３）好ましくは、上記演算処理部は、上記第１撮像部により撮像された第１画像に基づいて、上記第１画像に含まれる被写体が人物であるか否かの人物判定を行い、人物であると判定した上記被写体の上記行動評価値を算出し、上記制御部は、上記演算処理部において上記人物判定を行うことができないと判断された場合には、上記第２撮像部により上記被写体の第２画像が撮像されるように上記第２撮像部を調整し、上記演算処理部は、上記第２撮像部により撮像された上記被写体の第２画像に基づいて上記被写体の上記人物判定をあらためて行う。
【００１２】
このような構成により、人物ではない物体について行動評価値を算出するという誤検出、または、人物であるにも関わらず行動評価値を算出しないという未検出を防ぐことができる。
【００１３】
（４）好ましくは、上記制御部は、照明装置により近赤外線が監視対象領域に照射されるように、上記照明装置を調整する。
【００１４】
このような構成により、不要な光による光害が発生することを防ぐことができる。また、夜間でも常時安定した監視を行うことができる。さらに、日照変化または逆光などの影響を大きく受けることなく、常時安定した監視を行うことができる。
【００１５】
（５）より好ましくは、上記制御部は、上記第２撮像部により第２画像が撮像される際、上記撮像対象の周囲が照明を必要とする程度に暗い場合には、上記照明装置を制御することにより、上記照明装置から上記撮像対象に照射される近赤外線を可視光線に切り替える。
【００１６】
このような構成により、撮像対象の周囲が暗い場合であっても、明瞭な第２画像を撮像することができる。また、撮像対象に対して光による警告を行うことができ、犯罪等を未然に防止することができる。
【００１７】
（６）好ましくは、上記監視装置は、さらに、上記第２撮像部により撮像される第２画像を録画するための録画部を備え、上記演算処理部は、決定した上記撮像対象に対応する上記行動評価値が所定の条件を満たす場合には、上記録画部を制御することにより、上記撮像対象の第２画像を録画する。
【００１８】
このように、例えば撮像対象に対応する行動評価値が所定の閾値以上である場合など、撮像対象が不審な人物である可能性が高い場合にのみ第２画像を録画することができるため、録画されている画像を確認することにより、不審な人物を容易に特定することができる。また、第２画像の蓄積先であるメモリの容量を抑えることができるため、コストを低減させることができる。
【００１９】
（７）上記課題を解決するために、この発明のある局面に係わる監視方法は、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、決定した上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するステップと、を含み、上記撮像対象を決定するステップにおいては、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記第２撮像部を調整するステップにおいては、上記撮像対象を決定するステップにおいて上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【００２０】
このような構成により、撮像対象が決定された後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部が撮像している人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【００２１】
（８）上記課題を解決するために、この発明のある局面に係わる監視プログラムは、コンピュータに、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、決定した上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するステップと、を実行させるためのプログラムであり、上記撮像対象を決定するステップにおいては、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記第２撮像部を調整するステップにおいては、上記撮像対象を決定するステップにおいて上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【００２２】
このような構成により、撮像対象が決定された後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部が撮像している人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【発明の効果】
【００２３】
本発明によれば、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る監視装置の外観を示す図である。
【図２】（ａ）は、本発明の実施の形態に係る監視装置に備えられた広角カメラにより撮像された広角画像を示す図であり、（ｂ）は、本発明の実施の形態に係る監視装置に備えられたＰＴＺカメラにより撮像された拡大画像を示す図である。
【図３】本発明の実施の形態に係る監視装置の構成を示すブロック図である。
【図４】最大の行動評価値の変化と、この変化に伴う決定部、制御部、録画部および通信部の動作を説明する図である。
【図５】本発明の実施の形態に係る監視装置による監視動作の手順を示すフローチャートである。
【図６】本発明の実施の形態に係る監視装置の人検出追跡部による人検出追跡処理の手順を示すフローチャートである。
【図７】時刻ｔおよび時刻ｔ＋１における、広角カメラによる広角画像を示す図である。
【図８】（ａ）は、時刻ｔにおける、本実施の形態に係る監視装置の決定部により算出された行動評価値を示す表であり、（ｂ）は、時刻ｔ＋１における、本実施の形態に係る監視装置の決定部により算出された行動評価値を示す表である。
【図９】本発明の実施の形態に係る監視装置の制御部による拡大追跡処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［構成および基本動作］
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００２６】
図１は、本発明の実施の形態に係る監視装置１００の外観を示す図であり、図２（ａ）は、本発明の実施の形態に係る監視装置１００に備えられた広角カメラ１により撮像された広角画像を示す図であり、図２（ｂ）は、本発明の実施の形態に係る監視装置１００に備えられたＰＴＺカメラ２により撮像された拡大画像を示す図である。また、図３は、本発明の実施の形態に係る監視装置１００の構成を示すブロック図であり、図４は、最大の行動評価値Ｎｍａｘの変化と、この変化に伴う決定部２２、制御部２３、録画部２４および通信部２５の動作を説明する図である。
【００２７】
（監視装置の構造）
図１を参照して、監視装置１００は、監視処理部１０と、広角カメラ１（第１撮像部）と、ＰＴＺ（パン・チルト・ズーム）カメラ２（第２撮像部）と、を備えている。
【００２８】
図２（ａ）を参照して、広角カメラ１は、監視の対象である監視領域全体を、広角画像（第１画像）により常時撮像する。また、広角カメラ１は、近赤外線から可視光線までの光に対して感度を有している。
【００２９】
ＰＴＺカメラ２は、上下左右に撮影方向を移動させることができ、かつ、画角を調整可能である。図２（ｂ）を参照して、ＰＴＺカメラ２は、監視処理部１０により広角カメラ１より小さな画角に調整されて、監視領域のうちの特定の領域を拡大画像（第２画像）により撮像する。具体的には、ＰＴＺカメラ２は、通常、例えば監視領域のうち人の出入りが多い場所など予め設定された場所を撮像しているが、監視処理部１０より、例えば特定の人物を撮像対象として、この撮像対象の拡大画像を撮像するように調整されると、この特定の人物の拡大画像を撮像するように撮像方向を移動させ、撮像を行う。
【００３０】
また、ＰＴＺカメラ２は、少なくとも可視光線に対する感度を有しており、好ましくは広角カメラ１と同様に、近赤外線から可視光線までの光に対して感度を有している。
【００３１】
また、広角カメラ１とＰＴＺカメラ２とは、それぞれ並行して画像の撮像を行う。なお、広角カメラ１およびＰＴＺカメラ２は、監視装置１００から分離され、監視装置１００に対して外付けする構成であってもよい。さらに、広角カメラ１の代わりに最大画角がＰＴＺカメラ２よりも大きなＰＴＺカメラを用いることもできる。
【００３２】
図３を参照して、監視装置１００は、さらに、外部モニタ３と、照明装置４と、を備えている。外部モニタ３は、広角カメラ１により撮像される広角画像およびＰＴＺカメラ２により撮像される拡大画像を表示する。例えば、外部モニタ３は、広角カメラ１により撮像された広角画像とＰＴＺカメラ２により撮像された拡大画像とを１画面に表示する。
【００３３】
照明装置４は、監視処理部１０により制御されて、通常、監視対象領域全体に近赤外線を照射する。また、照明装置４は、ＰＴＺカメラ２が監視処理部１０により制御されて特定の撮像対象の拡大画像を撮像する場合であって、例えば夜間時、日照変化または逆光であることより撮像対象の周囲が暗い場合には、監視処理部１０により制御されて、可視光線を撮像対象に照射する。
【００３４】
（監視処理部の詳細な構造）
監視処理部１０は、映像入力部１１と、Ａ／Ｄ変換部１２と、ＲＡＭ１３と、映像入力部１４と、Ａ／Ｄ変換部１５と、情報処理部１６と、メモリ１７と、Ｄ／Ａ変換部１８と、出力部１９と、を有している。
【００３５】
映像入力部１１は、広角カメラ１により撮像された広角画像のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部１２に出力する。Ａ／Ｄ変換部１２は、映像入力部１１から受けた広角画像のアナログ信号をデジタル信号に変換し、ＲＡＭ１３に出力する。このように、ＲＡＭ１３には、広角カメラ１により撮像される広角画像のデジタル信号が順次記録され、上書きされる。
【００３６】
映像入力部１４は、ＰＴＺカメラ２により撮像された拡大画像のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部１５に出力する。Ａ／Ｄ変換部１５は、映像入力部１４から受けた拡大画像のアナログ信号をデジタル信号に変換し、ＲＡＭ１３に出力する。このように、ＲＡＭ１３には、ＰＴＺカメラ２により撮像される拡大画像のデジタル信号が順次記録され、上書きされる。
【００３７】
Ｄ／Ａ変換部１８は、ＲＡＭ１３から広角画像および拡大画像のデジタル信号を取得して、このデジタル信号をアナログ信号に変換し、出力部１９に出力する。出力部１９は、Ｄ／Ａ変換部１８から出力された広角画像および拡大画像のアナログ信号を外部モニタ３に出力する。これにより、広角画像と拡大画像とが１画面により外部モニタ３により表示される。なお、出力部１９は、外部モニタ３に広角画像または拡大画像のいずれか一方が表示されるように、広角画像または拡大画像のいずれか一方のアナログ信号を外部モニタ３に出力してもよい。
【００３８】
情報処理部１６は、例えばＣＰＵ（Central Processing Unit）であり、演算処理部２０と、制御部２３と、録画部２４と、通信部２５と、を有している。また、演算処理部２０は、人検出追跡部２１と、決定部２２と、含む。
【００３９】
（ａ）人検出追跡部
人検出追跡部２１は、ＲＡＭ１３に記録された広角画像のデジタル信号を取得し、広角画像に基づき、広角画像に含まれる１または複数の被写体について、例えば背景差分法を用いることにより、人物であるか否かの人物判定を行う。
【００４０】
具体的には、まず、人検出追跡部２１は、広角画像のデジタル信号に基づいて、広角画像における各画素の輝度値を取得し、取得した各画素の輝度値と、予め作成された人物が写っていない監視領域の画像（以下、「背景画像」という。）における各画素の輝度値と、の差の絶対値である背景差分値Ｄ１（ｉ，ｊ）を算出する。そして、人検出追跡部２１は、広角画像について、背景差分値Ｄ１（ｉ，ｊ）に基づき「１」または「０」の二値化処理を行う。そして、人検出追跡部２１は、二値化処理された広角画像について、人物の大きさ程度の枠を検出枠として複数読み出し、読み出した検出枠において「１」が与えられている割合Ｐ１が所定値Ｐａ以上である場合には、この検出枠に人物が写っていると判断する。
【００４１】
また、人検出追跡部２１は、検出枠に写っている被写体が人物であるか否か明確に区別できず、人物判定を行うことができないと判断した場合には、この検出枠の拡大画像が撮像されるように制御部２３に制御信号を出力する。例えば、人検出追跡部２１は、読み出した検出枠において「１」が与えられている割合Ｐ１が、所定値Ｐａ未満であり所定値Ｐｂ以上であるか否かを判断する。ただし、Ｐａ＞Ｐｂである。人検出追跡部２１は、所定値Ｐａ未満であり所定値Ｐｂ以上である場合には、検出枠に写っている被写体が人物であるか否か明確に区別することができないと判断して、制御部２３に制御信号を出力する。
【００４２】
そして、制御信号を受けた制御部２３がＰＴＺカメラ２を調整し、ＰＴＺカメラ２により検出枠の拡大画像が撮像される。この拡大画像のアナログ信号が、映像入力部１４を介してＡ／Ｄ変換部１５に出力され、Ａ／Ｄ変換部１５によりデジタル信号に変換される。そして、この拡大画像のデジタル信号が、ＲＡＭ１３に記録される。そして、人検出追跡部２１は、ＲＡＭ１３に記録された拡大画像のデジタル信号を取得し、拡大画像に基づいて検出枠の被写体について人物判定を行う。
【００４３】
また、人検出追跡部２１は、例えばテンプレートマッチング法を用いて、人物が写っていると判断した検出枠の追跡を行う。
【００４４】
具体的には、人検出追跡部２１は、時刻ｔにおける拡大画像のうち、人物が写っていると判断した検出枠をテンプレートとする。そして、人検出追跡部２１は、時刻ｔ+１における拡大画像からテンプレートと同じサイズの複数の検出枠を読み出す。そして、人検出追跡部２１は、テンプレートにおける各画素の輝度値と、読み出した検出枠における各画素の輝度値の差の絶対値の総和を算出し、総和が最小である検出枠を人物の移動先として特定する。このようにして、人検出追跡部２１は、広角画像における人物の移動先を特定して、人物が写っている検出枠の追跡を行い、追跡結果を決定部２２に出力する。
【００４５】
また、人検出追跡部２１は、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により新たに広角画像が撮像されると、新たに撮像された広角画像に含まれる人物の検出および追跡を行う。
【００４６】
（ｂ）決定部
決定部２２は、広角カメラ１により撮像された広角画像に基づいて、広角画像に含まれる人物、すなわち人検出追跡部２１により人物であると判定されて追跡されている被写体の行動評価値Ｎを算出する。
【００４７】
ここで、行動評価値Ｎとは、例えば、人物の移動経路、重要文化財などの保護対象が存在する場所に対する人物の位置、特定の場所の徘徊、所定時間以上の滞在、人物が手にしている物、および、人物の移動速度などの行動に基づく値であり、予め設定されている。
【００４８】
例えば、ある人物が、所定時間以上同じ位置に滞在し、さらに、この滞在している位置が重要文化財の存在する場所に近いような場合には、それぞれの行動に対する行動評価値Ｎが合算される。
【００４９】
なお、上述のように、検出枠に写っている被写体が人物であるか否かが人検出追跡部２１により明確に区別されない場合には、この被写体の拡大画像が撮像され、人検出追跡部２１はこの拡大画像に基づいて被写体が人物であるか否か区別する。このような場合、決定部２２は、広角画像ではなく、被写体が人物であるか否かの区別に用いられた拡大画像に基づいて、人物の行動評価値Ｎを算出することも可能である。
【００５０】
決定部２２は、人検出追跡部２１が複数の人物を追跡している場合、追跡されているすべての人物について行動評価値Ｎを算出する。そして、決定部２２は、算出した複数の行動評価値Ｎのうち、最大の行動評価値Ｎｍａｘに対応する人物をＰＴＺカメラ２による撮像対象として決定する。そして、決定部２２は、撮像対象が写っている検出枠の座標および当該検出枠における各画素の輝度値を制御部２３に出力する。
【００５１】
また、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により新たに広角画像が撮像され、人検出追跡部２１により、新たに撮像された広角画像に含まれる人物の検出および追跡が行われると、決定部２２は、新たに撮像された広角画像おける人物の行動評価値Ｎを再び算出し、算出した行動評価値Ｎに基づいて撮像対象を更新する。すなわち、ＰＴＺカメラ２により既に特定の人物の拡大画像が撮像されているため、拡大画像の撮像対象が更新されることにより、撮像対象が切り替えられることがある。
【００５２】
また、決定部２２は、最大の行動評価値Ｎｍａｘが所定の条件を満たす場合には、撮像対象の拡大画像が録画されるように、録画部２４を制御する。すなわち、図４を参照して、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上であるか否かを判断し、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性が高いとして、録画開始信号を録画部２４に出力する。
【００５３】
また、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には、さらに、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上であるか否かを判断する。ただし、Ｔｈ１＜Ｔｈ２である。そして、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上である場合には、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性がさらに高いとして、通信開始信号を通信部２５に出力する。
【００５４】
（ｃ）制御部
再び図３を参照し、制御部２３は、決定部２２により決定された撮像対象である人物の拡大画像が撮像されるように、決定部２２により出力された撮像対象が写っている検出枠の座標に基づいて、ＰＴＺカメラ２を調整する。また、制御部２３は、決定部２２が撮像対象を更新した場合には、更新された後の撮像対象である人物の拡大画像が撮像されるように、ＰＴＺカメラ２を調整する。
【００５５】
なお、このとき制御部２３は、撮像対象が写っている検出枠のうち、上部周辺を人物の顔の位置とし、さらに、動きが激しい部分または腰の高さ周辺を手元付近であるとして、ＰＴＺカメラ２により撮像対象の一部である顔または人物の手元付近を拡大した拡大画像が撮像されるようにＰＴＺカメラ２を調整する。また、制御部２３は、撮像対象である人物が手にしていた物体を監視領域内に置いて離れたような場合には、この撮像対象から離れた物体の拡大画像が撮像されるようにＰＴＺカメラ２を調整してもよい。
【００５６】
また、制御部２３は、広角画像における検出枠に人物が写っているか否かが人検出追跡部２１により明確に区別されず、人検出追跡処理部２１から制御信号を受けた場合には、ＰＴＺカメラ２により当該検出枠に含まれる被写体の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００５７】
また、制御部２３は、通常、監視領域全体に近赤外線が照射されるように照明装置４を制御する。さらに、制御部２３は、ＰＴＺカメラ２が監視処理部１０により調整されて、ＰＴＺカメラ２が特定の撮像対象の拡大画像を撮像する場合であって、この撮像対象の周囲が暗い場合には、可視光線が撮像対象の周囲に照射されるように、照明装置４を制御する。
【００５８】
詳細には、制御部２３は、決定部２２から出力された検出枠における各画素の輝度値に基づいて、撮像対象である人物の周囲が暗いか否かを判断する。そして、制御部２３は、撮像対象である人物の周囲が暗い場合、照明装置４から可視光線が当該人物に照射されるように、照明装置４を制御する。
【００５９】
なお、例えば、監視装置１００が光検出センサを備え、制御部２３は、この光検出センサによる検出結果に基づいて、撮像対象の周囲が暗いか否か判断することも可能である。
【００６０】
（ｄ）録画部
録画部２４は、例えば、時刻ｔ１において決定部２２から録画開始信号を受けると、この録画開始信号を受けたタイミングよりもわずかに前のタイミング（例えば、時刻ｔ１−１）までさかのぼり、ＲＡＭ１３に記録されている拡大画像を取得する（図３参照）。そして、録画部２４は、ＲＡＭ１３から取得した拡大画像をメモリ１７に出力し、この拡大画像がメモリ１７に録画される。そして、例えば最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１未満になる時刻ｔ４に至るまで、録画部２４による録画が行われる。なお、メモリ１７は、例えばＳＤメモリカードなどのリムーバブルハードディスクである。
【００６１】
（ｅ）通信部
通信部２５、例えば、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上になる時刻ｔ２において決定部２２から通信開始信号を受けると、メモリ１７に録画されている拡大画像を読み出して、予め登録されているスマートフォンなどの通信機器３０に対して、読み出した拡大画像を出力する（図４参照）。そして、例えば最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２未満になる時刻ｔ３に至るまで、通信部２５による通信機器３０への通信が行われる。なお、通信部２５は、録画されている拡大画像だけでなく、不審状況を伝えるためのテキスト文を合わせて通信機器３０へ出力してもよい。
【００６２】
［動作］
次に、本発明の実施の形態に係る監視装置１００による監視動作について説明する。図５は、本発明の実施の形態に係る監視装置１００による監視動作の手順を示すフローチャートであり、図６は、本発明の実施の形態に係る監視装置１００の人検出追跡部２１による人検出追跡処理の手順を示すフローチャートである。
【００６３】
監視装置１００は、フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
【００６４】
図５を参照して、まず、広角カメラ１により撮像された広角画像のデータであるデジタル信号がＲＡＭ１３に出力される（ステップＳ１）。
【００６５】
次に、人検出追跡部２１が、ＲＡＭ１３に記録されている広角画像のデータに基づいて、広角画像に含まれている人物の検出追跡処理を行う（ステップＳ２）。すなわち、人検出追跡部２１が、広角画像に含まれる複数の検出枠について人物が写っているか否かを判断し、人物が写っていると判断した検出枠については追跡を行う。
【００６６】
詳細には、図６を参照して、まず、人検出追跡部２１が、広角画像のデータに基づいて、広角画像における各画素の輝度値を取得し、取得した広角画像の輝度値Ｉ（ｉ，ｊ）と、背景画像の輝度値Ｂ（ｉ，ｊ）と、の差（絶対値）であるＤ１（ｉ，ｊ）＝｜Ｉ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜を算出する（ステップＳ１１）。
【００６７】
次に、人検出追跡部２１が、背景差分値Ｄ１（ｉ，ｊ）について、所定の閾値を用いて「１」または「０」の二値化処理を行う（ステップＳ１２）。
【００６８】
次に、人検出追跡部２１が、拡大画像内において、人物の大きさ程度の所定の検出枠を読み出し、読み出した検出枠内において「１」が与えられている割合Ｐ１を取得する（ステップＳ１３）。
【００６９】
次に、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ以上であるか否かを判断する（ステップＳ１４）。そして、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ未満である場合には（ステップＳ１４において「Ｎｏ」）、さらに、割合Ｐ１が基準値Ｐｂ（Ｐｂ＞Ｐａ）以上であるか否かを判断する（ステップＳ１５）。
【００７０】
そして、人検出追跡部２１が、割合Ｐ１が基準値Ｐｂ以上である場合、すなわち割合Ｐ１が、基準値Ｐａ未満、基準値Ｐｂ以上である場合には（ステップＳ１５において「Ｙｅｓ」）、読み出された所定の検出枠に人物が写っているか否かが不明確であるとして、この検出枠に含まれる被写体の拡大画像が撮像されるようにＰＴＺカメラ２に制御信号を出力する。これにより、ＰＴＺカメラ２が、拡大画像を撮像する（ステップＳ１６）。ＰＴＺカメラ２により撮像された拡大画像のデータは、映像入力部１４およびＡ／Ｄ変換部１５を介してＲＡＭ１３に記録される。
【００７１】
次に、人検出追跡部２１が、ＲＡＭ１３から拡大画像のデータを取得して、ステップＳ１１と同様に、ＲＡＭ１３に記録された拡大画像について背景差分値Ｄ２（ｉ，ｊ）を算出する（ステップＳ１７）。そして、人検出追跡部２１が、ステップＳ１２と同様に、背景差分値Ｄ２（ｉ，ｊ）について二値化処理を行う（ステップＳ１８）。
【００７２】
次に、人検出追跡部２１が、拡大画像内において「１」が与えられている割合Ｐ２を取得する（ステップＳ１９）。次に、人検出追跡部２１は、割合Ｐ２が基準値Ｐｃ以上であるか否かを判断する（ステップＳ２０）。そして、人検出追跡部２１が、割合Ｐ２が基準値Ｐｃ未満である場合には（ステップＳ２０において「Ｎｏ」）、所定の検出枠に人物が写っていないと判断する（ステップＳ２１）。
【００７３】
一方、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ以上である場合（ステップＳ１４において「Ｙｅｓ」）、または、割合Ｐ２が基準値Ｐｃ以上である場合（ステップＳ２０において「Ｙｅｓ」）には、所定の検出枠には人物が写っていると判断する（ステップＳ２２）。
【００７４】
そして、人検出追跡部２１が、拡大画像における全ての検出枠について上記の判断を行ったか否かを判断し（ステップＳ２３）、判断が行われていない検出枠がある場合には（ステップＳ２３において「Ｎｏ」）、その検出枠について再びステップＳ１３からステップＳ２２を繰り返す。
【００７５】
一方、人検出追跡部２１が、全ての検出枠について判断を行った場合には（ステップＳ２３において「Ｙｅｓ」）、例えばテンプレートマッチング法を用いて人物が写っている検出枠の追跡し、追跡結果を決定部２２に出力する（ステップＳ２４）。
【００７６】
次に、再び図５を参照して、決定部２２が、人検出追跡部２１が追跡している全ての人物について行動評価値Ｎを算出する（ステップＳ３）。そして、決定部２２が、算出された行動評価値Ｎに基づいて撮像対象を決定する（ステップＳ４）。
【００７７】
ここで、図７は、時刻ｔおよび時刻ｔ＋１における、広角カメラ１による広角画像を示す図であり、図８（ａ）は、時刻ｔにおける、本実施の形態に係る監視装置１００の決定部２２により算出された行動評価値Ｎを示す表であり、図８（ｂ）は、時刻ｔ＋１における、本実施の形態に係る監視装置１００の決定部２２により算出された行動評価値Ｎを示す表である。
【００７８】
図７を参照し、時刻ｔにおいて広角カメラ１により撮像された広角画像（フレーム１）には人物Ａ、ＢおよびＣが含まれている。また、時刻ｔ＋１において広角カメラ１による撮像された広角画像（フレーム２）には人物Ａ、Ｂ、ＣおよびＤが含まれている。
【００７９】
具体的には、広角カメラ１が時刻ｔにおいてフレーム１を撮像すると、決定部２２が、人物Ａ、ＢおよびＣのそれぞれについて、行動評価値Ｎを算出し、図８（ａ）に示すような表を作成する。このとき、最大の行動評価値Ｎｍａｘは「１２０」であり、対応する人物は「Ａ」であるため、決定部２２は「Ａ」を撮像対象として決定する。
【００８０】
また、広角カメラ１が時刻ｔ＋１においてフレーム２を撮像すると、決定部２２が、人物Ａ、Ｂ、ＣおよびＤのそれぞれについて、行動評価値Ｎを算出し、図８（ｂ）に示すような表を作成する。このとき、最大の行動評価値Ｎｍａｘは「１３０」であり、対応する人物は「Ｂ」である。このため、決定部２２は、撮像対象を「Ａ」から「Ｂ」へ更新し、「Ｂ」を撮像対象として決定する。
【００８１】
次に、決定部２２が撮像対象を決定すると、制御部２３が拡大追跡処理を開始する（図７に示すステップＳ５）。ここで、図９は、本発明の実施の形態に係る監視装置１００の制御部２３による拡大追跡処理の手順を示すフローチャートである。
【００８２】
図９を参照して、まず、決定部２２により、撮像対象として決定された人物が写っている検出枠の座標および当該検出枠における各画素の輝度値が制御部２３に出力される（ステップＳ３１）。
【００８３】
次に、制御部２３が、撮像対象の周囲の輝度値が所定値より小さいか否かを判断する（ステップＳ３２）。そして、制御部２３が、撮像対象である検出枠の輝度値が所定値より小さいと判断した場合には（ステップＳ３２において「Ｙｅｓ」）、照明装置４により照射される光が近赤外線から可視光線に切り替わり、可視光線が撮像対象の周囲に照射されるように照明装置４を制御する（ステップＳ３３）。
【００８４】
次に、制御部２３が、決定部２２により受けた検出枠の座標に基づいて、撮像対象の拡大画像が撮像されるようにＰＴＺカメラ２を調整し、ＰＴＺカメラ２により拡大画像の撮像が行われる（ステップＳ３４）。
【００８５】
このようにして、制御部２３により照明装置４およびＰＴＺカメラ２が制御されて撮像対象の拡大画像の撮像が行われる。ここで、上述のように、広角画像が新たに撮像されると、決定部２２により撮像対象が更新される。このため、例えば図７および図８に示す例においては、時刻ｔにおいて、ＰＴＺカメラ２により「Ａ」の拡大画像が撮像されている場合であっても、時刻ｔ＋１において、「Ａ」の拡大画像の撮像は中止され、撮像対象が「Ｂ」に切り替わり、ＰＴＺカメラ２により「Ｂ」の拡大画像が撮像される。
【００８６】
このようにしてＰＴＺカメラ２により撮像された拡大画像のデータは、映像入植部１４およびＡ／Ｄ変換部１５を介して、ＲＡＭ１３に順次記録される。
【００８７】
次に、再び図５を参照して、決定部２２が、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上であるか否かを判断する（ステップＳ６）。そして、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には（ステップＳ６において「Ｙｅｓ」）、決定部２２が、録画開始信号を録画部２４に出力する。
【００８８】
次に、録画部２４が、決定部２２から録画開始信号を受けた場合には、撮像対象の拡大画像をＲＡＭ１３から取得して、メモリ１７に出力する。これにより、撮像対象の拡大画像がメモリ１７に録画される（ステップＳ７）。
【００８９】
次に、決定部２２が、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）以上であるか否かを判断する（ステップＳ８）。そして、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上である場合には（ステップＳ４０において「Ｙｅｓ」）、決定部２２が、通信開始信号を通信部２５に出力する。
【００９０】
そして、通信部２５が、決定部２２から通信開始信号を受けると、メモリ１７に録画されている拡大画像を読み出して、例えば予め登録されているスマートフォンなどの通信機器３０に対して、読み出した映像および不審状況を伝えるためのテキスト文を出力する（ステップＳ９）。
【００９１】
一方、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１未満である場合には（ステップＳ６において「Ｎｏ」）、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性は低いとして、決定部２２による録画部２４への録画開始信号の出力は行われない。
【００９２】
また、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上、閾値Ｔｈ２未満（Ｔｈ１≦Ｎｍａｘ＜Ｔｈ２）である場合には（ステップＳ８において「Ｎｏ」）、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性があるものの、現時点で通信機器３０に通信するほどの危険性は低いものとして、決定部２２による通信開始信号の出力は行われない。
【００９３】
具体的には、図７および図８に示す例の場合、所定の閾値Ｔｈ１が「１２５」、所定の閾値Ｔｈ２が「１３５」であるとすると、時刻ｔにおいて、最大の行動評価値Ｎｍａｘが「１２０」であるため、決定部２２による録画部２４に対する録画開始信号の出力、および、通信部２５に対する通信開始信号の出力は行われない。一方、時刻ｔ＋１において、最大の行動評価値Ｎｍａｘが「１３０」であるため、決定部２２による録画部２４に対する録画開始信号の出力は行われ、通信部２５に対する通信開始信号の出力は行われない。
【００９４】
ところで、特許文献１に記載の技術では、物体追跡装置が追跡対象を選択した後に、不審な動きを始めた他の物体が存在するような場合など、最も拡大画像の撮像対象とする必要のある物体の撮像を逃してしまうという問題があった。
【００９５】
これに対して、本発明の実施の形態に係る監視装置１００は、広角カメラ１より撮像された広角画像に含まれる人物の行動評価値Ｎを算出し、算出した行動評価値Ｎに基づいて、拡大画像を撮像するＰＴＺカメラ２の撮像対象を決定するための決定部２２を備える。また、監視装置１００は、決定部２２により決定された撮像対象が拡大画像に含まれるようにＰＴＺカメラ２を調整するための制御部２３を備える。また、決定部２２は、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により広角画像が新たに撮像されると、新たに撮像された広角画像における行動評価値Ｎを再び算出し、算出した行動評価値Ｎに基づいて撮像対象を更新する。また、制御部２３は、決定部２２により撮像対象が更新されると、更新された撮像対象の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００９６】
このような構成により、演算処理部が撮像対象を決定した後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部により撮像されている人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ。したがって、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【００９７】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、ＰＴＺカメラ２により撮像対象の一部を拡大した拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００９８】
このような構成により、例えば犯罪が起きた場合に、不審な人物の顔または手にしている物などを把握することができるため、多くの証拠の収集等が可能となる。
【００９９】
また、本発明の実施の形態に係る監視装置１００では、人検出追跡部２１は、広角カメラ１により撮像された広角画像に基づいて、広角画像に含まれる被写体が人物であるか否かの人物判定を行う。また、決定部２２は、人検出追跡部２１により人物であると判定された被写体の行動評価値Ｎを算出する。また、制御部２３は、人検出追跡部２１において人物判定を行うことができないと判断された場合には、ＰＴＺカメラ２により被写体の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。そして、人検出追跡部２１は、ＰＴＺカメラ２により撮像された被写体の拡大画像に基づいて被写体の人物判定をあらためて行う。
【０１００】
このような構成により、人物ではない物体について行動評価値を算出するという誤検出、または、人物であるにも関わらず行動評価値を算出しないという未検出を防ぐことができる。
【０１０１】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、照明装置４により近赤外線が監視対象領域に照射されるように、照明装置４を制御する。
【０１０２】
このような構成により、不要な光による光害が発生することを防ぐことができる。また、夜間でも常時安定した監視を行うことができる。さらに、日照変化または逆光などの影響を大きく受けることなく、常時安定した監視を行うことができる。
【０１０３】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、ＰＴＺカメラ２により拡大画像が撮像される際、撮像対象の周囲が照明を必要とする程度に暗い場合には、照明装置４を制御することにより、照明装置４から撮像対象に照射される近赤外線を可視光線に切り替える。
【０１０４】
このような構成により、撮像対象の周囲が暗い場合であっても、明瞭な拡大画像を撮像することができる。また、撮像対象に対して光による警告を行うことができ、犯罪等を未然に防止することができる。
【０１０５】
また、本発明の実施の形態に係る監視装置１００は、さらに、ＰＴＺカメラ２により撮像される拡大画像を録画するための録画部２４を備え、決定部２２は、決定した撮像対象に対応する行動評価値Ｎｍａｘが所定の条件を満たす場合には、録画部２４を制御することにより、撮像対象の拡大画像を録画する。
【０１０６】
このように、例えば撮像対象に対応する行動評価値が所定の閾値以上である場合など、撮像対象が不審な人物である可能性が高い場合にのみ拡大画像を録画することができるため、録画されている画像を確認することにより、不審な人物を容易に特定することができる。また、拡大画像の蓄積先であるメモリの容量を抑えることができるため、コストを低減させることができる。
【０１０７】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０８】
１ 広角カメラ（第１撮像部）
２ ＰＴＺカメラ（第２撮像部）
３ 外部モニタ
４ 照明装置
１０ 監視処理部
１１，１４ 映像入力部
１２，１５ Ａ／Ｄ変換部
１３ ＲＡＭ
１６ 情報処理部
１７ メモリ
１８ Ｄ／Ａ変換部
１９ 出力部
２０ 演算処理部
２１ 人検出追跡部
２２ 決定部
２３ 制御部
２４ 録画部
２５ 通信部
３０ 通信機器
１００ 監視装置
【技術分野】
【０００１】
本発明は、監視装置、監視方法および監視プログラムに関し、特に、画角の異なる２つのカメラを連動させて不審者の監視を行う監視装置、監視方法および監視プログラムに関する。
【背景技術】
【０００２】
従来、画角が大きい広角画像を撮像する広角カメラと、上下左右に撮影方向を移動させることができ、かつ、高倍率なズームレンズを備えて画角が小さい拡大画像を撮像する望遠カメラと、を連動させて、監視領域に侵入した不審者の監視を行う監視装置が提案されている。
【０００３】
このような監視装置としては、例えば、広角画像を撮像する第１撮像部と、第１撮像部よりも小さい画角で画像を撮像する第２撮像部と、第１撮像部により撮像された広角画像から複数の物体を検出する検出部と、検出されたそれぞれの物体について広角画像における位置情報等を含む履歴情報を作成する作成部と、作成された履歴情報に基づいて複数の物体の中から追跡対象を選択する選択部と、追跡対象を撮像するように第２撮像部を駆動する駆動部と、を備える物体追跡装置がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０３３２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の物体追跡装置によれば、物体ごとに作成された履歴情報に基づいて複数の物体の中から最も不審な物体を追跡対象として選択するため、物体追跡装置が追跡対象を選択した後に、他の物体が不審な動きを始めた場合には、物体追跡装置は当該物体を追跡対象として選択することができない。このため、特許文献１に記載の物体追跡装置によれば、当該物体が最も不審な人物であるような場合など、最も拡大画像の撮像対象とする必要のある物体の撮像を逃してしまうという問題があった。
【０００６】
この発明は、上述の課題を解決するためになされたもので、その目的は、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる監視装置、監視方法および監視プログラムを提供することである。
【課題を解決するための手段】
【０００７】
（１）上記課題を解決するために、この発明のある局面に係わる監視装置は、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するための演算処理部と、上記演算処理部により決定された上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するための制御部と、を備え、上記演算処理部は、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記制御部は、上記演算処理部により上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【０００８】
このような構成により、演算処理部が撮像対象を決定した後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部により撮像されている人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ。したがって、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【０００９】
（２）より好ましくは、上記制御部は、上記第２撮像部により上記撮像対象の一部を拡大した第２画像が撮像されるように上記第２撮像部を調整する。
【００１０】
このような構成により、例えば犯罪が起きた場合に、不審な人物の顔または手にしている物などを把握することができるため、多くの証拠の収集等が可能となる。
【００１１】
（３）好ましくは、上記演算処理部は、上記第１撮像部により撮像された第１画像に基づいて、上記第１画像に含まれる被写体が人物であるか否かの人物判定を行い、人物であると判定した上記被写体の上記行動評価値を算出し、上記制御部は、上記演算処理部において上記人物判定を行うことができないと判断された場合には、上記第２撮像部により上記被写体の第２画像が撮像されるように上記第２撮像部を調整し、上記演算処理部は、上記第２撮像部により撮像された上記被写体の第２画像に基づいて上記被写体の上記人物判定をあらためて行う。
【００１２】
このような構成により、人物ではない物体について行動評価値を算出するという誤検出、または、人物であるにも関わらず行動評価値を算出しないという未検出を防ぐことができる。
【００１３】
（４）好ましくは、上記制御部は、照明装置により近赤外線が監視対象領域に照射されるように、上記照明装置を調整する。
【００１４】
このような構成により、不要な光による光害が発生することを防ぐことができる。また、夜間でも常時安定した監視を行うことができる。さらに、日照変化または逆光などの影響を大きく受けることなく、常時安定した監視を行うことができる。
【００１５】
（５）より好ましくは、上記制御部は、上記第２撮像部により第２画像が撮像される際、上記撮像対象の周囲が照明を必要とする程度に暗い場合には、上記照明装置を制御することにより、上記照明装置から上記撮像対象に照射される近赤外線を可視光線に切り替える。
【００１６】
このような構成により、撮像対象の周囲が暗い場合であっても、明瞭な第２画像を撮像することができる。また、撮像対象に対して光による警告を行うことができ、犯罪等を未然に防止することができる。
【００１７】
（６）好ましくは、上記監視装置は、さらに、上記第２撮像部により撮像される第２画像を録画するための録画部を備え、上記演算処理部は、決定した上記撮像対象に対応する上記行動評価値が所定の条件を満たす場合には、上記録画部を制御することにより、上記撮像対象の第２画像を録画する。
【００１８】
このように、例えば撮像対象に対応する行動評価値が所定の閾値以上である場合など、撮像対象が不審な人物である可能性が高い場合にのみ第２画像を録画することができるため、録画されている画像を確認することにより、不審な人物を容易に特定することができる。また、第２画像の蓄積先であるメモリの容量を抑えることができるため、コストを低減させることができる。
【００１９】
（７）上記課題を解決するために、この発明のある局面に係わる監視方法は、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、決定した上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するステップと、を含み、上記撮像対象を決定するステップにおいては、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記第２撮像部を調整するステップにおいては、上記撮像対象を決定するステップにおいて上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【００２０】
このような構成により、撮像対象が決定された後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部が撮像している人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【００２１】
（８）上記課題を解決するために、この発明のある局面に係わる監視プログラムは、コンピュータに、第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した上記行動評価値に基づいて、上記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、決定した上記撮像対象が第２画像に含まれるように上記第２撮像部を調整するステップと、を実行させるためのプログラムであり、上記撮像対象を決定するステップにおいては、上記第２撮像部による第２画像の撮像と並行して、上記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における上記行動評価値を再び算出し、算出した上記行動評価値に基づいて上記撮像対象を更新し、上記第２撮像部を調整するステップにおいては、上記撮像対象を決定するステップにおいて上記撮像対象が更新されると、更新された上記撮像対象の第２画像が撮像されるように上記第２撮像部を調整する。
【００２２】
このような構成により、撮像対象が決定された後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部が撮像している人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ、最も第２画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【発明の効果】
【００２３】
本発明によれば、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る監視装置の外観を示す図である。
【図２】（ａ）は、本発明の実施の形態に係る監視装置に備えられた広角カメラにより撮像された広角画像を示す図であり、（ｂ）は、本発明の実施の形態に係る監視装置に備えられたＰＴＺカメラにより撮像された拡大画像を示す図である。
【図３】本発明の実施の形態に係る監視装置の構成を示すブロック図である。
【図４】最大の行動評価値の変化と、この変化に伴う決定部、制御部、録画部および通信部の動作を説明する図である。
【図５】本発明の実施の形態に係る監視装置による監視動作の手順を示すフローチャートである。
【図６】本発明の実施の形態に係る監視装置の人検出追跡部による人検出追跡処理の手順を示すフローチャートである。
【図７】時刻ｔおよび時刻ｔ＋１における、広角カメラによる広角画像を示す図である。
【図８】（ａ）は、時刻ｔにおける、本実施の形態に係る監視装置の決定部により算出された行動評価値を示す表であり、（ｂ）は、時刻ｔ＋１における、本実施の形態に係る監視装置の決定部により算出された行動評価値を示す表である。
【図９】本発明の実施の形態に係る監視装置の制御部による拡大追跡処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
［構成および基本動作］
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００２６】
図１は、本発明の実施の形態に係る監視装置１００の外観を示す図であり、図２（ａ）は、本発明の実施の形態に係る監視装置１００に備えられた広角カメラ１により撮像された広角画像を示す図であり、図２（ｂ）は、本発明の実施の形態に係る監視装置１００に備えられたＰＴＺカメラ２により撮像された拡大画像を示す図である。また、図３は、本発明の実施の形態に係る監視装置１００の構成を示すブロック図であり、図４は、最大の行動評価値Ｎｍａｘの変化と、この変化に伴う決定部２２、制御部２３、録画部２４および通信部２５の動作を説明する図である。
【００２７】
（監視装置の構造）
図１を参照して、監視装置１００は、監視処理部１０と、広角カメラ１（第１撮像部）と、ＰＴＺ（パン・チルト・ズーム）カメラ２（第２撮像部）と、を備えている。
【００２８】
図２（ａ）を参照して、広角カメラ１は、監視の対象である監視領域全体を、広角画像（第１画像）により常時撮像する。また、広角カメラ１は、近赤外線から可視光線までの光に対して感度を有している。
【００２９】
ＰＴＺカメラ２は、上下左右に撮影方向を移動させることができ、かつ、画角を調整可能である。図２（ｂ）を参照して、ＰＴＺカメラ２は、監視処理部１０により広角カメラ１より小さな画角に調整されて、監視領域のうちの特定の領域を拡大画像（第２画像）により撮像する。具体的には、ＰＴＺカメラ２は、通常、例えば監視領域のうち人の出入りが多い場所など予め設定された場所を撮像しているが、監視処理部１０より、例えば特定の人物を撮像対象として、この撮像対象の拡大画像を撮像するように調整されると、この特定の人物の拡大画像を撮像するように撮像方向を移動させ、撮像を行う。
【００３０】
また、ＰＴＺカメラ２は、少なくとも可視光線に対する感度を有しており、好ましくは広角カメラ１と同様に、近赤外線から可視光線までの光に対して感度を有している。
【００３１】
また、広角カメラ１とＰＴＺカメラ２とは、それぞれ並行して画像の撮像を行う。なお、広角カメラ１およびＰＴＺカメラ２は、監視装置１００から分離され、監視装置１００に対して外付けする構成であってもよい。さらに、広角カメラ１の代わりに最大画角がＰＴＺカメラ２よりも大きなＰＴＺカメラを用いることもできる。
【００３２】
図３を参照して、監視装置１００は、さらに、外部モニタ３と、照明装置４と、を備えている。外部モニタ３は、広角カメラ１により撮像される広角画像およびＰＴＺカメラ２により撮像される拡大画像を表示する。例えば、外部モニタ３は、広角カメラ１により撮像された広角画像とＰＴＺカメラ２により撮像された拡大画像とを１画面に表示する。
【００３３】
照明装置４は、監視処理部１０により制御されて、通常、監視対象領域全体に近赤外線を照射する。また、照明装置４は、ＰＴＺカメラ２が監視処理部１０により制御されて特定の撮像対象の拡大画像を撮像する場合であって、例えば夜間時、日照変化または逆光であることより撮像対象の周囲が暗い場合には、監視処理部１０により制御されて、可視光線を撮像対象に照射する。
【００３４】
（監視処理部の詳細な構造）
監視処理部１０は、映像入力部１１と、Ａ／Ｄ変換部１２と、ＲＡＭ１３と、映像入力部１４と、Ａ／Ｄ変換部１５と、情報処理部１６と、メモリ１７と、Ｄ／Ａ変換部１８と、出力部１９と、を有している。
【００３５】
映像入力部１１は、広角カメラ１により撮像された広角画像のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部１２に出力する。Ａ／Ｄ変換部１２は、映像入力部１１から受けた広角画像のアナログ信号をデジタル信号に変換し、ＲＡＭ１３に出力する。このように、ＲＡＭ１３には、広角カメラ１により撮像される広角画像のデジタル信号が順次記録され、上書きされる。
【００３６】
映像入力部１４は、ＰＴＺカメラ２により撮像された拡大画像のアナログ信号を受けて、このアナログ信号をＡ／Ｄ変換部１５に出力する。Ａ／Ｄ変換部１５は、映像入力部１４から受けた拡大画像のアナログ信号をデジタル信号に変換し、ＲＡＭ１３に出力する。このように、ＲＡＭ１３には、ＰＴＺカメラ２により撮像される拡大画像のデジタル信号が順次記録され、上書きされる。
【００３７】
Ｄ／Ａ変換部１８は、ＲＡＭ１３から広角画像および拡大画像のデジタル信号を取得して、このデジタル信号をアナログ信号に変換し、出力部１９に出力する。出力部１９は、Ｄ／Ａ変換部１８から出力された広角画像および拡大画像のアナログ信号を外部モニタ３に出力する。これにより、広角画像と拡大画像とが１画面により外部モニタ３により表示される。なお、出力部１９は、外部モニタ３に広角画像または拡大画像のいずれか一方が表示されるように、広角画像または拡大画像のいずれか一方のアナログ信号を外部モニタ３に出力してもよい。
【００３８】
情報処理部１６は、例えばＣＰＵ（Central Processing Unit）であり、演算処理部２０と、制御部２３と、録画部２４と、通信部２５と、を有している。また、演算処理部２０は、人検出追跡部２１と、決定部２２と、含む。
【００３９】
（ａ）人検出追跡部
人検出追跡部２１は、ＲＡＭ１３に記録された広角画像のデジタル信号を取得し、広角画像に基づき、広角画像に含まれる１または複数の被写体について、例えば背景差分法を用いることにより、人物であるか否かの人物判定を行う。
【００４０】
具体的には、まず、人検出追跡部２１は、広角画像のデジタル信号に基づいて、広角画像における各画素の輝度値を取得し、取得した各画素の輝度値と、予め作成された人物が写っていない監視領域の画像（以下、「背景画像」という。）における各画素の輝度値と、の差の絶対値である背景差分値Ｄ１（ｉ，ｊ）を算出する。そして、人検出追跡部２１は、広角画像について、背景差分値Ｄ１（ｉ，ｊ）に基づき「１」または「０」の二値化処理を行う。そして、人検出追跡部２１は、二値化処理された広角画像について、人物の大きさ程度の枠を検出枠として複数読み出し、読み出した検出枠において「１」が与えられている割合Ｐ１が所定値Ｐａ以上である場合には、この検出枠に人物が写っていると判断する。
【００４１】
また、人検出追跡部２１は、検出枠に写っている被写体が人物であるか否か明確に区別できず、人物判定を行うことができないと判断した場合には、この検出枠の拡大画像が撮像されるように制御部２３に制御信号を出力する。例えば、人検出追跡部２１は、読み出した検出枠において「１」が与えられている割合Ｐ１が、所定値Ｐａ未満であり所定値Ｐｂ以上であるか否かを判断する。ただし、Ｐａ＞Ｐｂである。人検出追跡部２１は、所定値Ｐａ未満であり所定値Ｐｂ以上である場合には、検出枠に写っている被写体が人物であるか否か明確に区別することができないと判断して、制御部２３に制御信号を出力する。
【００４２】
そして、制御信号を受けた制御部２３がＰＴＺカメラ２を調整し、ＰＴＺカメラ２により検出枠の拡大画像が撮像される。この拡大画像のアナログ信号が、映像入力部１４を介してＡ／Ｄ変換部１５に出力され、Ａ／Ｄ変換部１５によりデジタル信号に変換される。そして、この拡大画像のデジタル信号が、ＲＡＭ１３に記録される。そして、人検出追跡部２１は、ＲＡＭ１３に記録された拡大画像のデジタル信号を取得し、拡大画像に基づいて検出枠の被写体について人物判定を行う。
【００４３】
また、人検出追跡部２１は、例えばテンプレートマッチング法を用いて、人物が写っていると判断した検出枠の追跡を行う。
【００４４】
具体的には、人検出追跡部２１は、時刻ｔにおける拡大画像のうち、人物が写っていると判断した検出枠をテンプレートとする。そして、人検出追跡部２１は、時刻ｔ+１における拡大画像からテンプレートと同じサイズの複数の検出枠を読み出す。そして、人検出追跡部２１は、テンプレートにおける各画素の輝度値と、読み出した検出枠における各画素の輝度値の差の絶対値の総和を算出し、総和が最小である検出枠を人物の移動先として特定する。このようにして、人検出追跡部２１は、広角画像における人物の移動先を特定して、人物が写っている検出枠の追跡を行い、追跡結果を決定部２２に出力する。
【００４５】
また、人検出追跡部２１は、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により新たに広角画像が撮像されると、新たに撮像された広角画像に含まれる人物の検出および追跡を行う。
【００４６】
（ｂ）決定部
決定部２２は、広角カメラ１により撮像された広角画像に基づいて、広角画像に含まれる人物、すなわち人検出追跡部２１により人物であると判定されて追跡されている被写体の行動評価値Ｎを算出する。
【００４７】
ここで、行動評価値Ｎとは、例えば、人物の移動経路、重要文化財などの保護対象が存在する場所に対する人物の位置、特定の場所の徘徊、所定時間以上の滞在、人物が手にしている物、および、人物の移動速度などの行動に基づく値であり、予め設定されている。
【００４８】
例えば、ある人物が、所定時間以上同じ位置に滞在し、さらに、この滞在している位置が重要文化財の存在する場所に近いような場合には、それぞれの行動に対する行動評価値Ｎが合算される。
【００４９】
なお、上述のように、検出枠に写っている被写体が人物であるか否かが人検出追跡部２１により明確に区別されない場合には、この被写体の拡大画像が撮像され、人検出追跡部２１はこの拡大画像に基づいて被写体が人物であるか否か区別する。このような場合、決定部２２は、広角画像ではなく、被写体が人物であるか否かの区別に用いられた拡大画像に基づいて、人物の行動評価値Ｎを算出することも可能である。
【００５０】
決定部２２は、人検出追跡部２１が複数の人物を追跡している場合、追跡されているすべての人物について行動評価値Ｎを算出する。そして、決定部２２は、算出した複数の行動評価値Ｎのうち、最大の行動評価値Ｎｍａｘに対応する人物をＰＴＺカメラ２による撮像対象として決定する。そして、決定部２２は、撮像対象が写っている検出枠の座標および当該検出枠における各画素の輝度値を制御部２３に出力する。
【００５１】
また、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により新たに広角画像が撮像され、人検出追跡部２１により、新たに撮像された広角画像に含まれる人物の検出および追跡が行われると、決定部２２は、新たに撮像された広角画像おける人物の行動評価値Ｎを再び算出し、算出した行動評価値Ｎに基づいて撮像対象を更新する。すなわち、ＰＴＺカメラ２により既に特定の人物の拡大画像が撮像されているため、拡大画像の撮像対象が更新されることにより、撮像対象が切り替えられることがある。
【００５２】
また、決定部２２は、最大の行動評価値Ｎｍａｘが所定の条件を満たす場合には、撮像対象の拡大画像が録画されるように、録画部２４を制御する。すなわち、図４を参照して、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上であるか否かを判断し、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性が高いとして、録画開始信号を録画部２４に出力する。
【００５３】
また、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には、さらに、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上であるか否かを判断する。ただし、Ｔｈ１＜Ｔｈ２である。そして、決定部２２は、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上である場合には、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性がさらに高いとして、通信開始信号を通信部２５に出力する。
【００５４】
（ｃ）制御部
再び図３を参照し、制御部２３は、決定部２２により決定された撮像対象である人物の拡大画像が撮像されるように、決定部２２により出力された撮像対象が写っている検出枠の座標に基づいて、ＰＴＺカメラ２を調整する。また、制御部２３は、決定部２２が撮像対象を更新した場合には、更新された後の撮像対象である人物の拡大画像が撮像されるように、ＰＴＺカメラ２を調整する。
【００５５】
なお、このとき制御部２３は、撮像対象が写っている検出枠のうち、上部周辺を人物の顔の位置とし、さらに、動きが激しい部分または腰の高さ周辺を手元付近であるとして、ＰＴＺカメラ２により撮像対象の一部である顔または人物の手元付近を拡大した拡大画像が撮像されるようにＰＴＺカメラ２を調整する。また、制御部２３は、撮像対象である人物が手にしていた物体を監視領域内に置いて離れたような場合には、この撮像対象から離れた物体の拡大画像が撮像されるようにＰＴＺカメラ２を調整してもよい。
【００５６】
また、制御部２３は、広角画像における検出枠に人物が写っているか否かが人検出追跡部２１により明確に区別されず、人検出追跡処理部２１から制御信号を受けた場合には、ＰＴＺカメラ２により当該検出枠に含まれる被写体の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００５７】
また、制御部２３は、通常、監視領域全体に近赤外線が照射されるように照明装置４を制御する。さらに、制御部２３は、ＰＴＺカメラ２が監視処理部１０により調整されて、ＰＴＺカメラ２が特定の撮像対象の拡大画像を撮像する場合であって、この撮像対象の周囲が暗い場合には、可視光線が撮像対象の周囲に照射されるように、照明装置４を制御する。
【００５８】
詳細には、制御部２３は、決定部２２から出力された検出枠における各画素の輝度値に基づいて、撮像対象である人物の周囲が暗いか否かを判断する。そして、制御部２３は、撮像対象である人物の周囲が暗い場合、照明装置４から可視光線が当該人物に照射されるように、照明装置４を制御する。
【００５９】
なお、例えば、監視装置１００が光検出センサを備え、制御部２３は、この光検出センサによる検出結果に基づいて、撮像対象の周囲が暗いか否か判断することも可能である。
【００６０】
（ｄ）録画部
録画部２４は、例えば、時刻ｔ１において決定部２２から録画開始信号を受けると、この録画開始信号を受けたタイミングよりもわずかに前のタイミング（例えば、時刻ｔ１−１）までさかのぼり、ＲＡＭ１３に記録されている拡大画像を取得する（図３参照）。そして、録画部２４は、ＲＡＭ１３から取得した拡大画像をメモリ１７に出力し、この拡大画像がメモリ１７に録画される。そして、例えば最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１未満になる時刻ｔ４に至るまで、録画部２４による録画が行われる。なお、メモリ１７は、例えばＳＤメモリカードなどのリムーバブルハードディスクである。
【００６１】
（ｅ）通信部
通信部２５、例えば、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上になる時刻ｔ２において決定部２２から通信開始信号を受けると、メモリ１７に録画されている拡大画像を読み出して、予め登録されているスマートフォンなどの通信機器３０に対して、読み出した拡大画像を出力する（図４参照）。そして、例えば最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２未満になる時刻ｔ３に至るまで、通信部２５による通信機器３０への通信が行われる。なお、通信部２５は、録画されている拡大画像だけでなく、不審状況を伝えるためのテキスト文を合わせて通信機器３０へ出力してもよい。
【００６２】
［動作］
次に、本発明の実施の形態に係る監視装置１００による監視動作について説明する。図５は、本発明の実施の形態に係る監視装置１００による監視動作の手順を示すフローチャートであり、図６は、本発明の実施の形態に係る監視装置１００の人検出追跡部２１による人検出追跡処理の手順を示すフローチャートである。
【００６３】
監視装置１００は、フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
【００６４】
図５を参照して、まず、広角カメラ１により撮像された広角画像のデータであるデジタル信号がＲＡＭ１３に出力される（ステップＳ１）。
【００６５】
次に、人検出追跡部２１が、ＲＡＭ１３に記録されている広角画像のデータに基づいて、広角画像に含まれている人物の検出追跡処理を行う（ステップＳ２）。すなわち、人検出追跡部２１が、広角画像に含まれる複数の検出枠について人物が写っているか否かを判断し、人物が写っていると判断した検出枠については追跡を行う。
【００６６】
詳細には、図６を参照して、まず、人検出追跡部２１が、広角画像のデータに基づいて、広角画像における各画素の輝度値を取得し、取得した広角画像の輝度値Ｉ（ｉ，ｊ）と、背景画像の輝度値Ｂ（ｉ，ｊ）と、の差（絶対値）であるＤ１（ｉ，ｊ）＝｜Ｉ（ｉ，ｊ）−Ｂ（ｉ，ｊ）｜を算出する（ステップＳ１１）。
【００６７】
次に、人検出追跡部２１が、背景差分値Ｄ１（ｉ，ｊ）について、所定の閾値を用いて「１」または「０」の二値化処理を行う（ステップＳ１２）。
【００６８】
次に、人検出追跡部２１が、拡大画像内において、人物の大きさ程度の所定の検出枠を読み出し、読み出した検出枠内において「１」が与えられている割合Ｐ１を取得する（ステップＳ１３）。
【００６９】
次に、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ以上であるか否かを判断する（ステップＳ１４）。そして、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ未満である場合には（ステップＳ１４において「Ｎｏ」）、さらに、割合Ｐ１が基準値Ｐｂ（Ｐｂ＞Ｐａ）以上であるか否かを判断する（ステップＳ１５）。
【００７０】
そして、人検出追跡部２１が、割合Ｐ１が基準値Ｐｂ以上である場合、すなわち割合Ｐ１が、基準値Ｐａ未満、基準値Ｐｂ以上である場合には（ステップＳ１５において「Ｙｅｓ」）、読み出された所定の検出枠に人物が写っているか否かが不明確であるとして、この検出枠に含まれる被写体の拡大画像が撮像されるようにＰＴＺカメラ２に制御信号を出力する。これにより、ＰＴＺカメラ２が、拡大画像を撮像する（ステップＳ１６）。ＰＴＺカメラ２により撮像された拡大画像のデータは、映像入力部１４およびＡ／Ｄ変換部１５を介してＲＡＭ１３に記録される。
【００７１】
次に、人検出追跡部２１が、ＲＡＭ１３から拡大画像のデータを取得して、ステップＳ１１と同様に、ＲＡＭ１３に記録された拡大画像について背景差分値Ｄ２（ｉ，ｊ）を算出する（ステップＳ１７）。そして、人検出追跡部２１が、ステップＳ１２と同様に、背景差分値Ｄ２（ｉ，ｊ）について二値化処理を行う（ステップＳ１８）。
【００７２】
次に、人検出追跡部２１が、拡大画像内において「１」が与えられている割合Ｐ２を取得する（ステップＳ１９）。次に、人検出追跡部２１は、割合Ｐ２が基準値Ｐｃ以上であるか否かを判断する（ステップＳ２０）。そして、人検出追跡部２１が、割合Ｐ２が基準値Ｐｃ未満である場合には（ステップＳ２０において「Ｎｏ」）、所定の検出枠に人物が写っていないと判断する（ステップＳ２１）。
【００７３】
一方、人検出追跡部２１が、割合Ｐ１が基準値Ｐａ以上である場合（ステップＳ１４において「Ｙｅｓ」）、または、割合Ｐ２が基準値Ｐｃ以上である場合（ステップＳ２０において「Ｙｅｓ」）には、所定の検出枠には人物が写っていると判断する（ステップＳ２２）。
【００７４】
そして、人検出追跡部２１が、拡大画像における全ての検出枠について上記の判断を行ったか否かを判断し（ステップＳ２３）、判断が行われていない検出枠がある場合には（ステップＳ２３において「Ｎｏ」）、その検出枠について再びステップＳ１３からステップＳ２２を繰り返す。
【００７５】
一方、人検出追跡部２１が、全ての検出枠について判断を行った場合には（ステップＳ２３において「Ｙｅｓ」）、例えばテンプレートマッチング法を用いて人物が写っている検出枠の追跡し、追跡結果を決定部２２に出力する（ステップＳ２４）。
【００７６】
次に、再び図５を参照して、決定部２２が、人検出追跡部２１が追跡している全ての人物について行動評価値Ｎを算出する（ステップＳ３）。そして、決定部２２が、算出された行動評価値Ｎに基づいて撮像対象を決定する（ステップＳ４）。
【００７７】
ここで、図７は、時刻ｔおよび時刻ｔ＋１における、広角カメラ１による広角画像を示す図であり、図８（ａ）は、時刻ｔにおける、本実施の形態に係る監視装置１００の決定部２２により算出された行動評価値Ｎを示す表であり、図８（ｂ）は、時刻ｔ＋１における、本実施の形態に係る監視装置１００の決定部２２により算出された行動評価値Ｎを示す表である。
【００７８】
図７を参照し、時刻ｔにおいて広角カメラ１により撮像された広角画像（フレーム１）には人物Ａ、ＢおよびＣが含まれている。また、時刻ｔ＋１において広角カメラ１による撮像された広角画像（フレーム２）には人物Ａ、Ｂ、ＣおよびＤが含まれている。
【００７９】
具体的には、広角カメラ１が時刻ｔにおいてフレーム１を撮像すると、決定部２２が、人物Ａ、ＢおよびＣのそれぞれについて、行動評価値Ｎを算出し、図８（ａ）に示すような表を作成する。このとき、最大の行動評価値Ｎｍａｘは「１２０」であり、対応する人物は「Ａ」であるため、決定部２２は「Ａ」を撮像対象として決定する。
【００８０】
また、広角カメラ１が時刻ｔ＋１においてフレーム２を撮像すると、決定部２２が、人物Ａ、Ｂ、ＣおよびＤのそれぞれについて、行動評価値Ｎを算出し、図８（ｂ）に示すような表を作成する。このとき、最大の行動評価値Ｎｍａｘは「１３０」であり、対応する人物は「Ｂ」である。このため、決定部２２は、撮像対象を「Ａ」から「Ｂ」へ更新し、「Ｂ」を撮像対象として決定する。
【００８１】
次に、決定部２２が撮像対象を決定すると、制御部２３が拡大追跡処理を開始する（図７に示すステップＳ５）。ここで、図９は、本発明の実施の形態に係る監視装置１００の制御部２３による拡大追跡処理の手順を示すフローチャートである。
【００８２】
図９を参照して、まず、決定部２２により、撮像対象として決定された人物が写っている検出枠の座標および当該検出枠における各画素の輝度値が制御部２３に出力される（ステップＳ３１）。
【００８３】
次に、制御部２３が、撮像対象の周囲の輝度値が所定値より小さいか否かを判断する（ステップＳ３２）。そして、制御部２３が、撮像対象である検出枠の輝度値が所定値より小さいと判断した場合には（ステップＳ３２において「Ｙｅｓ」）、照明装置４により照射される光が近赤外線から可視光線に切り替わり、可視光線が撮像対象の周囲に照射されるように照明装置４を制御する（ステップＳ３３）。
【００８４】
次に、制御部２３が、決定部２２により受けた検出枠の座標に基づいて、撮像対象の拡大画像が撮像されるようにＰＴＺカメラ２を調整し、ＰＴＺカメラ２により拡大画像の撮像が行われる（ステップＳ３４）。
【００８５】
このようにして、制御部２３により照明装置４およびＰＴＺカメラ２が制御されて撮像対象の拡大画像の撮像が行われる。ここで、上述のように、広角画像が新たに撮像されると、決定部２２により撮像対象が更新される。このため、例えば図７および図８に示す例においては、時刻ｔにおいて、ＰＴＺカメラ２により「Ａ」の拡大画像が撮像されている場合であっても、時刻ｔ＋１において、「Ａ」の拡大画像の撮像は中止され、撮像対象が「Ｂ」に切り替わり、ＰＴＺカメラ２により「Ｂ」の拡大画像が撮像される。
【００８６】
このようにしてＰＴＺカメラ２により撮像された拡大画像のデータは、映像入植部１４およびＡ／Ｄ変換部１５を介して、ＲＡＭ１３に順次記録される。
【００８７】
次に、再び図５を参照して、決定部２２が、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上であるか否かを判断する（ステップＳ６）。そして、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上である場合には（ステップＳ６において「Ｙｅｓ」）、決定部２２が、録画開始信号を録画部２４に出力する。
【００８８】
次に、録画部２４が、決定部２２から録画開始信号を受けた場合には、撮像対象の拡大画像をＲＡＭ１３から取得して、メモリ１７に出力する。これにより、撮像対象の拡大画像がメモリ１７に録画される（ステップＳ７）。
【００８９】
次に、決定部２２が、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２（Ｔｈ１＜Ｔｈ２）以上であるか否かを判断する（ステップＳ８）。そして、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ２以上である場合には（ステップＳ４０において「Ｙｅｓ」）、決定部２２が、通信開始信号を通信部２５に出力する。
【００９０】
そして、通信部２５が、決定部２２から通信開始信号を受けると、メモリ１７に録画されている拡大画像を読み出して、例えば予め登録されているスマートフォンなどの通信機器３０に対して、読み出した映像および不審状況を伝えるためのテキスト文を出力する（ステップＳ９）。
【００９１】
一方、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１未満である場合には（ステップＳ６において「Ｎｏ」）、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性は低いとして、決定部２２による録画部２４への録画開始信号の出力は行われない。
【００９２】
また、最大の行動評価値Ｎｍａｘが所定の閾値Ｔｈ１以上、閾値Ｔｈ２未満（Ｔｈ１≦Ｎｍａｘ＜Ｔｈ２）である場合には（ステップＳ８において「Ｎｏ」）、最大の行動評価値Ｎｍａｘに対応する人物が不審者である可能性があるものの、現時点で通信機器３０に通信するほどの危険性は低いものとして、決定部２２による通信開始信号の出力は行われない。
【００９３】
具体的には、図７および図８に示す例の場合、所定の閾値Ｔｈ１が「１２５」、所定の閾値Ｔｈ２が「１３５」であるとすると、時刻ｔにおいて、最大の行動評価値Ｎｍａｘが「１２０」であるため、決定部２２による録画部２４に対する録画開始信号の出力、および、通信部２５に対する通信開始信号の出力は行われない。一方、時刻ｔ＋１において、最大の行動評価値Ｎｍａｘが「１３０」であるため、決定部２２による録画部２４に対する録画開始信号の出力は行われ、通信部２５に対する通信開始信号の出力は行われない。
【００９４】
ところで、特許文献１に記載の技術では、物体追跡装置が追跡対象を選択した後に、不審な動きを始めた他の物体が存在するような場合など、最も拡大画像の撮像対象とする必要のある物体の撮像を逃してしまうという問題があった。
【００９５】
これに対して、本発明の実施の形態に係る監視装置１００は、広角カメラ１より撮像された広角画像に含まれる人物の行動評価値Ｎを算出し、算出した行動評価値Ｎに基づいて、拡大画像を撮像するＰＴＺカメラ２の撮像対象を決定するための決定部２２を備える。また、監視装置１００は、決定部２２により決定された撮像対象が拡大画像に含まれるようにＰＴＺカメラ２を調整するための制御部２３を備える。また、決定部２２は、ＰＴＺカメラ２による拡大画像の撮像と並行して、広角カメラ１により広角画像が新たに撮像されると、新たに撮像された広角画像における行動評価値Ｎを再び算出し、算出した行動評価値Ｎに基づいて撮像対象を更新する。また、制御部２３は、決定部２２により撮像対象が更新されると、更新された撮像対象の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００９６】
このような構成により、演算処理部が撮像対象を決定した後であっても、第１撮像部による新たな撮像に基づき、第２撮像部による撮像と並行して撮像対象が更新されるため、例えば第２撮像部により撮像されている人物と異なる人物が新たに不審な行動を行った場合であっても、この新たに不審な行動を行った人物を撮像対象とすることができ。したがって、最も拡大画像の撮像対象とする必要のある人物を、より確実に撮像することができる。
【００９７】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、ＰＴＺカメラ２により撮像対象の一部を拡大した拡大画像が撮像されるようにＰＴＺカメラ２を調整する。
【００９８】
このような構成により、例えば犯罪が起きた場合に、不審な人物の顔または手にしている物などを把握することができるため、多くの証拠の収集等が可能となる。
【００９９】
また、本発明の実施の形態に係る監視装置１００では、人検出追跡部２１は、広角カメラ１により撮像された広角画像に基づいて、広角画像に含まれる被写体が人物であるか否かの人物判定を行う。また、決定部２２は、人検出追跡部２１により人物であると判定された被写体の行動評価値Ｎを算出する。また、制御部２３は、人検出追跡部２１において人物判定を行うことができないと判断された場合には、ＰＴＺカメラ２により被写体の拡大画像が撮像されるようにＰＴＺカメラ２を調整する。そして、人検出追跡部２１は、ＰＴＺカメラ２により撮像された被写体の拡大画像に基づいて被写体の人物判定をあらためて行う。
【０１００】
このような構成により、人物ではない物体について行動評価値を算出するという誤検出、または、人物であるにも関わらず行動評価値を算出しないという未検出を防ぐことができる。
【０１０１】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、照明装置４により近赤外線が監視対象領域に照射されるように、照明装置４を制御する。
【０１０２】
このような構成により、不要な光による光害が発生することを防ぐことができる。また、夜間でも常時安定した監視を行うことができる。さらに、日照変化または逆光などの影響を大きく受けることなく、常時安定した監視を行うことができる。
【０１０３】
また、本発明の実施の形態に係る監視装置１００では、制御部２３は、ＰＴＺカメラ２により拡大画像が撮像される際、撮像対象の周囲が照明を必要とする程度に暗い場合には、照明装置４を制御することにより、照明装置４から撮像対象に照射される近赤外線を可視光線に切り替える。
【０１０４】
このような構成により、撮像対象の周囲が暗い場合であっても、明瞭な拡大画像を撮像することができる。また、撮像対象に対して光による警告を行うことができ、犯罪等を未然に防止することができる。
【０１０５】
また、本発明の実施の形態に係る監視装置１００は、さらに、ＰＴＺカメラ２により撮像される拡大画像を録画するための録画部２４を備え、決定部２２は、決定した撮像対象に対応する行動評価値Ｎｍａｘが所定の条件を満たす場合には、録画部２４を制御することにより、撮像対象の拡大画像を録画する。
【０１０６】
このように、例えば撮像対象に対応する行動評価値が所定の閾値以上である場合など、撮像対象が不審な人物である可能性が高い場合にのみ拡大画像を録画することができるため、録画されている画像を確認することにより、不審な人物を容易に特定することができる。また、拡大画像の蓄積先であるメモリの容量を抑えることができるため、コストを低減させることができる。
【０１０７】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０８】
１ 広角カメラ（第１撮像部）
２ ＰＴＺカメラ（第２撮像部）
３ 外部モニタ
４ 照明装置
１０ 監視処理部
１１，１４ 映像入力部
１２，１５ Ａ／Ｄ変換部
１３ ＲＡＭ
１６ 情報処理部
１７ メモリ
１８ Ｄ／Ａ変換部
１９ 出力部
２０ 演算処理部
２１ 人検出追跡部
２２ 決定部
２３ 制御部
２４ 録画部
２５ 通信部
３０ 通信機器
１００ 監視装置
【特許請求の範囲】
【請求項１】
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するための演算処理部と、
前記演算処理部により決定された前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するための制御部と、を備え、
前記演算処理部は、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記制御部は、前記演算処理部により前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視装置。
【請求項２】
前記制御部は、前記第２撮像部により前記撮像対象の一部を拡大した第２画像が撮像されるように前記第２撮像部を調整する、請求項１に記載の監視装置。
【請求項３】
前記演算処理部は、前記第１撮像部により撮像された第１画像に基づいて、前記第１画像に含まれる被写体が人物であるか否かの人物判定を行い、人物であると判定した前記被写体の前記行動評価値を算出し、
前記制御部は、前記演算処理部において前記人物判定を行うことができないと判断された場合には、前記第２撮像部により前記被写体の第２画像が撮像されるように前記第２撮像部を調整し、
前記演算処理部は、前記第２撮像部により撮像された前記被写体の第２画像に基づいて前記被写体の前記人物判定をあらためて行う、請求項１または請求項２に記載の監視装置。
【請求項４】
前記制御部は、照明装置により近赤外線が監視対象領域に照射されるように、前記照明装置を制御する、請求項１から請求項３のいずれか１項に記載の監視装置。
【請求項５】
前記制御部は、前記第２撮像部により第２画像が撮像される際、前記撮像対象の周囲が照明を必要とする程度に暗い場合には、前記照明装置を制御することにより、前記照明装置から前記撮像対象に照射される近赤外線を可視光線に切り替える、請求項４に記載の監視装置。
【請求項６】
前記監視装置は、さらに、前記第２撮像部により撮像される第２画像を録画するための録画部を備え、
前記演算処理部は、決定した前記撮像対象に対応する前記行動評価値が所定の条件を満たす場合には、前記録画部を制御することにより、前記撮像対象の第２画像を録画する、請求項１から請求項５のいずれか１項に記載の監視装置。
【請求項７】
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、
決定した前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するステップと、を含み、
前記撮像対象を決定するステップにおいては、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記第２撮像部を調整するステップにおいては、前記撮像対象を決定するステップにおいて前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視方法。
【請求項８】
コンピュータに、
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、
決定した前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するステップと、を実行させるためのプログラムであり、
前記撮像対象を決定するステップにおいては、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記第２撮像部を調整するステップにおいては、前記撮像対象を決定するステップにおいて前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視プログラム。
【請求項１】
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するための演算処理部と、
前記演算処理部により決定された前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するための制御部と、を備え、
前記演算処理部は、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記制御部は、前記演算処理部により前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視装置。
【請求項２】
前記制御部は、前記第２撮像部により前記撮像対象の一部を拡大した第２画像が撮像されるように前記第２撮像部を調整する、請求項１に記載の監視装置。
【請求項３】
前記演算処理部は、前記第１撮像部により撮像された第１画像に基づいて、前記第１画像に含まれる被写体が人物であるか否かの人物判定を行い、人物であると判定した前記被写体の前記行動評価値を算出し、
前記制御部は、前記演算処理部において前記人物判定を行うことができないと判断された場合には、前記第２撮像部により前記被写体の第２画像が撮像されるように前記第２撮像部を調整し、
前記演算処理部は、前記第２撮像部により撮像された前記被写体の第２画像に基づいて前記被写体の前記人物判定をあらためて行う、請求項１または請求項２に記載の監視装置。
【請求項４】
前記制御部は、照明装置により近赤外線が監視対象領域に照射されるように、前記照明装置を制御する、請求項１から請求項３のいずれか１項に記載の監視装置。
【請求項５】
前記制御部は、前記第２撮像部により第２画像が撮像される際、前記撮像対象の周囲が照明を必要とする程度に暗い場合には、前記照明装置を制御することにより、前記照明装置から前記撮像対象に照射される近赤外線を可視光線に切り替える、請求項４に記載の監視装置。
【請求項６】
前記監視装置は、さらに、前記第２撮像部により撮像される第２画像を録画するための録画部を備え、
前記演算処理部は、決定した前記撮像対象に対応する前記行動評価値が所定の条件を満たす場合には、前記録画部を制御することにより、前記撮像対象の第２画像を録画する、請求項１から請求項５のいずれか１項に記載の監視装置。
【請求項７】
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、
決定した前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するステップと、を含み、
前記撮像対象を決定するステップにおいては、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記第２撮像部を調整するステップにおいては、前記撮像対象を決定するステップにおいて前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視方法。
【請求項８】
コンピュータに、
第１撮像部により撮像された第１画像に含まれる人物の行動評価値を算出し、算出した前記行動評価値に基づいて、前記第１撮像部よりも小さな画角に調整可能な第２撮像部により撮像される第２画像の撮像対象を決定するステップと、
決定した前記撮像対象が第２画像に含まれるように前記第２撮像部を調整するステップと、を実行させるためのプログラムであり、
前記撮像対象を決定するステップにおいては、前記第２撮像部による第２画像の撮像と並行して、前記第１撮像部により第１画像が新たに撮像されると、新たに撮像された第１画像における前記行動評価値を再び算出し、算出した前記行動評価値に基づいて前記撮像対象を更新し、
前記第２撮像部を調整するステップにおいては、前記撮像対象を決定するステップにおいて前記撮像対象が更新されると、更新された前記撮像対象の第２画像が撮像されるように前記第２撮像部を調整する、監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−９００６３（Ｐ２０１３−９００６３Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２７３０５（Ｐ２０１１−２２７３０５）
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１４日（２０１１．１０．１４）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]