監視システム
【課題】監視システムの動作状態に関する試験（動作試験）を自動的に実施する手段を提供し、実際に人を侵入させて行う試験を必要とせず、動作試験およびパラメータ調整の作業を自動化する。
【解決手段】別途擬似的に入力映像に物体が侵入したように見える合成映像を作成する。動作確認試験時は、ＰＴＺ撮像装置より得られた映像の代わりに疑似映像を物体検出装置に入力し、入力映像と擬似物体画像を合成した位置の座標情報と物体検出装置で検出した位置の座標情報を比較し、その結果により該物体検出装置の動作が正常かどうかを自動的に判別する。更に、試験を複数の画像処理パラメータの組み合わせで自動的に実施し、ユーザの要求に従って最適なパラメータを自動的に決定する。
【解決手段】別途擬似的に入力映像に物体が侵入したように見える合成映像を作成する。動作確認試験時は、ＰＴＺ撮像装置より得られた映像の代わりに疑似映像を物体検出装置に入力し、入力映像と擬似物体画像を合成した位置の座標情報と物体検出装置で検出した位置の座標情報を比較し、その結果により該物体検出装置の動作が正常かどうかを自動的に判別する。更に、試験を複数の画像処理パラメータの組み合わせで自動的に実施し、ユーザの要求に従って最適なパラメータを自動的に決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる領域を監視する監視システムに関し、特に、パン、チルト、および焦点距離をリモート制御可能な撮像装置（ＰＴＺ撮像装置）を用いて、侵入物体の自動追尾が可能な監視システムにおいて、動作状態の確認試験の実施および確認試験の結果に応じた監視システムのパラメータの自動的な調整に関する。
【背景技術】
【０００２】
画像処理による侵入者検出技術の発展は近年著しく、ＰＴＺ撮像装置を用いた監視システムは、重要施設や立ち入り禁止区域などに設置され、当該区域に侵入する物体（侵入物体）を自動的に検出し、ＰＴＺ撮像装置のカメラ雲台を自動制御することにより検出した侵入物体を自動追尾することも可能であり、監視員やシステム管理者に侵入物体に関する情報を直ちに伝達することができる。
監視システムにおいて、さまざまな監視目標に対して良好に動作しているか否かを判断する定量的性能メトリックを使用して評価する技術については、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視システムでは、動作試験やシステムのパラメータ調整（初期設定や季節に応じた環境変化などに適応したパラメータ設定）を実施するためには、試験的に侵入物体を監視区域に侵入させて行っていた。しかし、重要施設や立ち入り禁止区域などでは、監視システムの設置環境によっては、必ずしも作業員が容易に入場できる環境とは限らず、システムの初期設定や長期運用に伴う定期メンテナンスに必要な監視システムの動作試験を実施することが難しい。
また、動作試験の実施（試験的に侵入物体を監視区域に侵入させこと）が容易な場所であっても、動作試験やシステムパラメータ調整は、煩雑な作業であった。
本発明は、監視システムの動作状態に関する試験（動作試験）を自動的に実施する手段を提供し、実際に人を侵入させて行う試験を必要がなく、動作試験およびパラメータ調整の作業を自動化する。この結果、従来設置が困難な環境への監視システムの設置の実現、および管理者にかかる負担の大幅な軽減を実現可能で、かつ、より効率的なシステム運用を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の監視システムは、監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置とを備えた監視システムであって、前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的に侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力することを第１の特徴とする。
【０００６】
上記本発明の第１の特徴の監視システムにおいて、前記物体検出装置の動作試験やパラメータ調整を実行し、所定の画像処理試験を実施するためにテスト映像自動生成手段で生成すべき合成映像を決定して出力する手段、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する試験統括手段を備えたことを第２の特徴とする。
【発明の効果】
【０００７】
本発明に関わる監視システムによれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の監視システムの一実施例の構成を示すブロック図である。
【図２】本発明のテスト映像生成装置の構成の一実施例の詳細を説明するためのブロック図である。
【図３】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図４】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図５】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図６】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図７】本発明の監視システムの一実施例の入力映像と擬似物体画像の合成映像を説明するための図である。
【図８】本発明の監視システムの一実施例の入力映像への擬似ノイズの合成映像を説明するための図である。
【図９】本発明の監視システムの一実施例の構成を示すブロック図である。
【図１０】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図１１】本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。
【図１２】本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。
【図１３】本発明の監視システムの一実施例における試験結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。
しかし、本発明は、上述の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論である。
尚、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。
【実施例１】
【００１０】
本発明に関わる実施例１について、図面を参照して説明する。
図１は、本発明の監視システムの一実施例の構成を示すブロック図である。
図１の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、テスト映像生成装置130、物体検出装置112、指示装置109、警報出力装置110、および表示装置111により構成される。
物体検出装置112は、映像入力回路102、画像処理プロセッサ103、プログラムメモリ104、ワークメモリ105、外部I/F（Interface）回路106、映像出力回路107、および通信路108により構成される。
【００１１】
図１を用いて、本発明の実施例１の監視システムについて説明する。
ＰＴＺ撮像装置101は、監視の対象となる領域（監視領域）を撮像し、入力映像として出力する。ＰＴＺ撮像装置101は、この入力映像を、テスト映像生成装置130を介して、物体検出装置112に出力する。
なお、図１では、ＰＴＺ撮像装置101、カメラ制御装置100、およびテスト映像生成装置130は１組しか図示していないが、複数組設けられても良い。
【００１２】
物体検出装置112では、ＰＴＺ撮像装置101から入力される入力映像は、映像入力回路102に入力され、映像入力回路102を経てワークメモリ105に記録される。
また、画像処理プロセッサ103は、プログラムメモリ104に記録されているプログラムに従って、ワークメモリ105内に記録された入力映像を処理し、映像出力回路107を介して、その処理結果（物体検出結果）を表示装置111に出力する。表示装置111は、入力された物体処理結果を表示する。
また、画像処理プロセッサ103は、外部I/F回路106を介して入力されるオペレータ（ユーザ）からの指示（テスト映像パラメータ139）に基づいて、前記プログラムメモリ104に記録されているプログラムのパラメータを変更または修正しながら前記入力映像を処理する。オペレータ（ユーザ）からの指示は、例えば、マウス、キーボードなどを使って指示装置109に入力され、指示装置109は、入力された指示を外部I/F回路106に送信すると共に、テスト映像生成装置130に送信する。
尚、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107とは、データバス108に接続されている。
【００１３】
物体検出装置112は、画像処理の結果、警報の発報が必要であると判断された場合、画像処理プロセッサ103より外部I/F回路106を介して警報信号を出力する。その結果、警報出力装置110は、警報を発報する。
また、物体検出装置112は、入力画像中から侵入物体を検出したＰＴＺ撮像装置101が、侵入物体を常に撮像できるようにする（追尾できるようにする）ため、画像処理プロセッサ103から当該ＰＴＺ撮像装置101のパンチルトや焦点距離などのカメラパラメータ140の制御命令をカメラ制御装置100に出力することで、ＰＴＺ撮像装置のカメラ雲台を自動制御する。この結果、ＰＴＺ撮像装置101は、侵入物体を自動追尾することが可能となる。
【００１４】
以上の機器構成による物体検出装置の基本動作（例えば、差分法による物体検出および、テンプレートマッチングによる物体追尾、等）は、例えば、特開２００８−１７６７６８号公報等で周知の技術を用いる。さらに、以上の機器構成による物体検出装置の画像処理アルゴリズムは、国際公開２０１０／０８４９０２号パンフレット等で周知である。
【００１５】
図１〜図８によって、本発明の監視システムの一実施例における侵入物体の検出と自動追尾について説明する。
図３、図４、および図５は、図１の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。図３は、ＰＴＺ撮像装置101によって撮像された入力映像304について説明する図であり、図４は、ＰＴＺ撮像装置101によって撮像された入力映像403について説明する図であり、図５は、ＰＴＺ撮像装置101によって撮像された入力映像502について説明する図である。また、図６は、ＰＴＺ撮像装置101によって撮像された入力映像603について説明する図である。尚、入力映像603は、入力映像304と同一の映像である。さらに、図７は、ＰＴＺ撮像装置101によって撮像された入力映像301と擬似物体画像601の合成映像について説明する図であり、図８は、ＰＴＺ撮像装置101によって撮像された入力映像304への擬似ノイズの合成映像802について説明するための図である。
図３において、例えば、入力映像304に映る全域を監視すべき領域とした場合には、監視システムは、図４に示すように入力映像403中に侵入者（物体401）が映った時、当該侵入者401を背景差分法若しくはフレーム間差分法などによって侵入した物体を検出し、警報出力装置110に警報を発報させる。図４では、物体検出装置は、入力画像403によって、監視領域301の地点Ｐ１に物体401を検出したことを示している。
【００１６】
また、図３の監視領域301に示すように、ＰＴＺ撮像装置101およびカメラ制御装置100は、カメラ台302に予め定めた初期の画角で設置されており、入力画像304が映す領域は、撮像範囲303である。
ここで、撮像範囲303、つまり入力画像304に、監視すべき物体401が図４に示す侵入経路402で監視領域301内に侵入した場合には、物体検出装置112は、予め定めた発報条件が満たされた時点で警報を警報出力装置110から発報させると共に、当該物体401をＰＴＺ撮像装置101で自動追尾する制御命令をカメラ制御装置100に送信する。
なお、一般的に、画角の中心付近が、画像のゆがみが一番少なく、中心付近で焦点合わせするので焦点が合っている、このため鮮明な画像を得られる領域であるため、物体検出や追尾に最適である。
従って、図５において、図４の地点Ｐ１で検出された物体401が、侵入経路402から侵入経路501を通り地点Ｐ２に至るように、追尾中にさらに移動する場合には、物体検出装置112は、物体401が常に入力画像304の中心付近に映るようにカメラパラメータ140を変更し、カメラ制御装置100に変更したカメラパラメータ140を送信する。ゆえに、カメラ制御装置100は、受信したカメラパラメータ140に基づいて、物体401が常に入力画像304の中心付近に映るようにＰＴＺ撮像装置101のパン角、チルト角、およびズーム倍率などのカメラパラメータ140を自動的に調整することができる。その結果、図５に示すように監視領域301における物体401が、経路402および501を介して移動した場合には、物体401の移動に従ってＰＴＺ撮像装置101の画角も移動するので、ＰＴＺ撮像装置101が撮像することによって、常に監視すべき物体401が中心付近に映る入力画像502を得ることができる。
【００１７】
上述の実施例１では、物体の追尾を、周知の技術、例えば、テンプレートマッチングにより実施している。例えば、侵入した物体401が発見されてから動き出す直前の侵入物体401の画像を、ＰＴＺ撮像装置101がテンプレートとして物体検出装置112のワークメモリ105内に保持し、ＰＴＺ撮像装置101の画角が動き出した（即ち、物体401が動き出した）次のフレームからは、保持しているテンプレートと入力画像とのマッチングを行って、侵入した物体401の位置を特定し、特定した位置と入力画像の中心の座標との差などによりＰＴＺ撮像装置101の画角、移動方法、および速度を更新する。
テンプレートマッチングにより侵入した物体401の位置の特定ができなかった時には、ＰＴＺ撮像装置101の動きを止めて、前述した背景差分法若しくはフレーム間差分法などによって侵入者検出処理を再度実施し、再検出できた場合には再検出した領域を抽出し、抽出した領域をテンプレート画像として更新し、自動追尾を再開する。
【００１８】
図２は、図１のテスト映像生成装置130の構成の一実施例を説明するためのブロック図である。
テスト映像生成装置130は、物体検出装置112と同様に、映像入力回路132、画像処理プロセッサ133、プログラムメモリ134、ワークメモリ135、外部I/F回路136、映像出力回路137、およびデータバス138により構成される。尚、テスト映像生成装置130は、必ずしも個別の物体検出装置112と同様の構成である必要はなく、例えば物体検出装置112の１つの機能とし、物体検出装置112に含有される形でも良い。
【００１９】
図２のテスト映像自動生成装置130は、指示装置109から送信されたテスト映像条件139を受信したテスト映像条件139をワークメモリ135に記録する手段、受信したテスト映像パラメータ139に基づいて、映像入力回路132より入力された入力映像中に画像処理プロセッサ133およびプログラムメモリ134に記録されたプログラムによって所定の画像を自動的に合成して生成する手段、生成した合成映像を、映像出力回路137を介して物体検出装置112に出力する手段、および、外部IF回路136を介して物体検出装置112における物体検出の有無および検出した物体の座標情報を受信する手段を有する。
テスト映像自動生成装置130は、システム管理者（ユーザ）が指示装置109を操作することによって設定された画像処理システムの動作確認試験の条件を、指示装置109から外部IF回路136を介して、テスト映像パラメータ139として受信する。
【００２０】
ここで、例えば、物体検出装置112の動作確認試験のため、システム管理者が、図６に示す監視領域301への侵入経路602を通る侵入物体を正しく検出できることを以ってシステムの動作確認試験とする場合について説明する。
まず、システム管理者の操作に基づいて、指示装置109は、動作確認試験に関する条件をテスト映像パラメータ139として、テスト映像自動生成装置130に入力する。テスト映像パラメータ139は、例えば、侵入物体の行動パターン、移動速度、大きさ、コントラスト、試行回数である。
テスト映像自動生成装置130には、擬似侵入物体601として入力映像に合成する画像情報が予め記録されている。
図７によって、入力映像301と擬似物体画像601の一実施例を説明する。
例えば、図７において、擬似物体画像601は、静止画像でも動画像でも良く、システム管理者が擬似物体画像601に関する条件を、指示装置109を操作するによって、テスト映像自動生成装置130に対して、擬似物体画像601の特徴をテスト映像パラメータ139として入力することが可能である。例えば、擬似物体画像601について、身長、服装（色）、侵入経路、出現位置、退出位置、移動速度、移動方向などを自由に設定することができるようにしても良い。また、擬似物体画像は、必ずしも図７の擬似物体画像601のように直立の人である必要はなく、所定の試験項目に従って、例えば匍匐前進の人、自転車、車などでも良い。
【００２１】
図７において、合成映像701は、擬似物体画像601が侵入経路602を歩行して侵入した場合である。
テスト映像生成装置130の画像処理プロセッサ133は、テスト映像パラメータ139に予め入力された擬似物体画像601について、位置情報、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（フレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。この予め入力された擬似物体画像601は、例えば、メートル単位で記載され、物体の大きさ、速度ベクトル706、侵入経路（始点、終点）は、大きさ、速度ベクトル、侵入経路（始点、終点）は、例えばＰＴＺ撮像装置の位置を原点とするワールド座標系で表現するものする。
【００２２】
テスト映像生成装置130の画像処理プロセッサ133は、ワールド座標系の位置情報と、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（現在のフレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。
即ち、ＰＴＺ撮像装置101の俯角θP、回転角θT、高さh、横方向の視野角である画角θH、縦方向の視野角である画角θVを用いて、ワールド座標系の擬似物体画像の各位置を、視野範囲に含まれるカメラ座標系へ変換することができる。
例えば、時刻tにおけるワールド座標系のある点（x(t)，y(t)）を、カメラ座標系の点（x'(t)，y'(t)）に変換する一例を以下で説明する。
【００２３】
カメラ座標系の点（x'(t)，y'(t)）は、画像上（x(t)，y(t)）で表される画素を撮像する俯角θz(t)、カメラ座標の点（x'(t)，y'(t)）で表される画素を撮像する回転角θxy(t)を用いて、入力画像の縦方向の画素を480pix、横方向の画素を640pixとした時、式（１）、式（２）のように表される。
【００２４】
【数１】
【００２５】
【数２】
【００２６】
尚、ワールド画像系の座標（x(t)，y(t)）で表される任意の位置とカメラの高さhおよびワールド座標系での高さ方向の座標z(t)を用いて、座標（x(t)，y(t)）を撮像する回転角θxy(t)、俯角θz(t)は式（３）、式（４）により求められる。
【００２７】
【数３】
【００２８】
【数４】
【００２９】
ＰＴＺ撮像装置101の横方向の視野角である画角θH、および縦方向の視野角である画角θVは、焦点距離f、撮像素子サイズ横幅H、および撮像素子サイズ縦幅Vを用いて、例えば、式（５）および式（６）で表現することができる。
【００３０】
【数５】
【００３１】
【数６】
【００３２】
擬似物体画像のワールド座標上の位置（x(t)，y(t)）は、例えば、擬似物体画像の初期位置を（x0，y0）、目標位置を（x1，y1）とし、初期位置から目標位置までの移動に時間Tを要し、かつ速度が一定であるとし、式（７）および式（８）で表現されるものとする。
【００３３】
【数７】
【００３４】
【数８】
【００３５】
また、高さ方向の座標z(t)は、例えば、監視領域の地面の高さに起伏が無く、平坦で、ＰＴＺ撮像装置101を設置するカメラ台302の足元の位置などを規準とする点と同じ高さにあるとし、擬似物体画像の足元の位置の高さはz(t)＝0とする。擬似物体画像のワールド座標系、即ち、メートル単位での実の高さがh_objであるとした時、擬似物体画像の頂点の位置の高さは、z(t)＝h_objとなる。
従って、擬似物体画像と入力画像との合成は、例えば、該擬似物体画像の下辺が式（４）にz(t)＝0を代入して得られるカメラ座標に合致し、該入力画像の上辺が、式（４）にz(t)＝h_objの値を代入した時に得られる座標に合致するように擬似物体画像を拡大、縮小してスケーリングする。
また、擬似物体画像の位置が、ＰＴＺ撮像装置101の画角外の場合、即ち、本実施例において擬似物体画像のカメラ座標（x'(t)，y'(t)）が（0，0）〜（640，480）の範囲外となる場合には、当該位置に対しては、擬似物体画像を入力画像に合成しない。
ここで、物体検出装置112の自動追尾機能により、ＰＴＺ撮像装置101の画角が変更される場合には、ＰＴＺ撮像装置101のカメラパラメータである俯角（チルト角）θP、回転角（パン角）θT、および焦点距離（ズーム倍率）fが変動し得る。ＰＴＺ撮像装置101の高さhは、本実施例では一定とする。
即ち、物体検出装置112は、物体検出装置112の自動追尾処理によるＰＴＺ撮像装置101のカメラパラメータの初期値θP、θT、fからの変動量をそれぞれ、ΔθP、ΔθT、Δfとする場合には、擬似物体画像の位置のカメラ座標（x'(t)，y'(t)）は、式（１）、式（２）、式（５）、および式（６）の代わりに、式（９）、式（１０）、式（１１）、および式（１２）を用いて算出する。
【００３６】
【数９】
【００３７】
【数１０】
【００３８】
【数１１】
【００３９】
【数１２】
【００４０】
物体検出装置112は、上記算出された座標情報704に従って擬似物体画像601を拡大または縮小、およびスケーリングし、拡大／縮小およびスケーリング後の擬似物体画像705を現在の入力映像201の該座標情報704に従った位置に合成し、合成映像701を得る。
即ち、擬似物体画像601は、ＰＴＺ撮像装置101からの距離に応じてメートル単位での大きさが不変となるように、事前に入力されたカメラパラメータにより、ＰＴＺ撮像装置101からの距離に応じたピクセル単位での位置と大きさを計算し、擬似物体画像601の大きさを変換して、スケーリング後の擬似物体画像705を得て合成する。擬似物体画像705のピクセル単位での位置、大きさ、および速度は、自動追尾処理の結果に対応して毎フレーム更新される。例えば、図７では、擬似物体画像705は、速度ベクトル706の方向に移動する。
尚、擬似物体画像705の大きさおよび速度は、実物体の移動に近づけるため可変幅を持たせても良く、例えば、テスト映像パラメータ139に経過時間703に応じた大きさおよび速度の情報を格納しておき、毎フレーム変えても良い。
物体検出装置112の映像入力回路102には、ＰＴＺ撮像装置101とテスト映像生成装置130の映像出力回路137が接続されている。しかし、テスト映像自動生成装置130により合成映像701が生成される場合には、ＰＴＺ撮像装置101が撮像する入力映像よりも、テスト映像生成装置130からの合成映像701が優先して物体検出装置112に入力される。合成映像701が生成されていない場合には、テスト映像生成装置130が生成する合成映像701よりも、ＰＴＺ撮像装置101が撮像する入力映像201が優先して物体検出装置112に入力される。尚、どちらを優先させるかの判断は、物体検出装置112若しくはテスト映像生成装置130のどちらで判断しても良い。
【００４１】
また、監視システムの動作確認試験では、合成映像701の入力時に、テスト映像自動生成装置130で入力映像中に合成した擬似物体画像の大きさおよび位置に関する座標情報704をワークメモリ135に記録（保持）しておき、合成映像701を物体検出装置112に入力した場合に何らかの物体の検出が得られた時には、検出時の座標情報を外部IF回路106を介してテスト映像自動生成装置130に自動的に出力するようにし、擬似物体画像705の合成時の座標情報704と該物体検出装置112より出力された座標情報を比較することで、物体検出装置112による発報が真の侵入者によるものか擬似物体画像705によるものかを判別する。
即ち、擬似物体画像601の入力画像上での座標が（320,220）〜（350,300）、該検出の座標情報が（330,210）〜（350,295）であった場合には、各座標により描写される矩形の重複率が、例えば、80%を超える。このため、物体検出装置112による発報が擬似物体画像によるものと判断し、ワークメモリ135に合成映像による試験での検知が成功したことを記録する。一方で、擬似物体画像の合成映像を物体検出装置に入力したにもかかわらず、物体検出装置が擬似物体画像を検出したと判断できなかった場合（例えば、物体が検出されなかった場合など）には、ワークメモリ135に合成映像による試験が失敗したことを記録する。
【００４２】
合成映像による動作確認試験の全試行の成否の情報は、ワークメモリ135に記録される。ここで、例えば、合成映像による試験で物体検出装置が正常に動作していると判断できる判定条件を、全試行数60回中の55回としたとき、成功回数が55回未満だった場合には、管理者に対して監視システムに異常がある旨を警告する。また、該動作確認試験の成否の情報をログとして記録しておくことによって、管理者は、これらの情報を閲覧若しくはダウンロードできる。
尚、物体検出装置による発報が擬似物体画像によることが確認できた場合には、冗長なため、警報出力装置110による侵入物体を発見したことを知らせる警報を発報しないようにしても良い。
また、テスト映像生成装置130により出力する映像は、必ずしも入力映像と擬似物体画像の合成映像だけに限らず、例えば、物体検出装置がカメラ故障検知などのために入力映像の異常を判定するような機能を持つ場合などでは、意図的にカラーバー画像やホワイトノイズ画像などの異常映像を合成映像として物体検出装置112に対して入力するようにしても良い。
【００４３】
次に、図８によって、ノイズを合成して動作確認試験を実施する場合の一実施例を説明する。
図８においては、図１で示したテスト映像パラメータ139に加え、擬似ノイズの種類とその量などを示す擬似ノイズパラメータ801を設ける。例えば、ゴマ塩ノイズを発生確率5%で付加するとした場合には、入力画像304の全画素に対して2.5%の確率で輝度値0を、2.5%の確率で輝度値255を付与し、疑似ノイズ画像802を生成し、ＰＴＺ撮像装置101が撮像した入力画像304と合成して、合成画像803を得る。
【００４４】
尚、テスト映像生成装置130による監視システムの動作確認試験では、必ずしも指示装置109を通した管理者（ユーザ）によるテスト映像パラメータ139の設定を必要とせず、例えば、動作確認試験を実施する日時、並びに、擬似物体画像の速度、大きさ、侵入経路などのテスト映像パラメータ139を、ランダムに決定する機能をテスト映像生成装置130のプログラムメモリ134に記録させておき、動作確認試験を不定期かつ全自動で実施できるようにしても良い。
【００４５】
上述の実施例１によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、物体検出装置の動作確認試験をより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。そして、効率的なシステム運用が可能となる。
【実施例２】
【００４６】
本発明に関わる実施例２について、図面を参照して説明する。図９は、本発明の監視システムの一実施例の構成を示すブロック図である。また、図１０は、本発明の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。また、図１１は、本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。また、図１２は、本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。また、図１３は、本発明の監視システムの一実施例における試験結果を示す図である。
【００４７】
図９の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、物体検出装置112、テスト映像自動生成装置130、および、試験統括装置901により少なくとも構成される。物体検出装置112とテスト映像自動生成装置130の構成は、実施例１で示したものと同等でよく、説明を省略する（図１および図２参照。）。
試験統括装置901は、物体検出装置112に適応するための二値化しきい値や大きさの上限と下限、滞在時間などの画像処理パラメータ902の１組以上の組み合わせ、テスト映像生成装置に適応するための擬似物体画像の大きさや速度や経路、および擬似的に付加するノイズ量などのテスト映像条件139の１組以上の組み合わせを記憶する手段、および物体検出装置とテスト映像生成装置に対してそれらを出力する手段を有する。
試験統括装置901に対して、ユーザが監視条件などを図示しない指示装置（図１参）を介して入力する。これにより、試験統括装置901は、各画像処理パラメータ902と各テスト映像パラメータ139の組み合わせで画像処理装置の試験を実施する。実施した結果、検出率や誤検出数などの試験結果からユーザが指定した監視条件に沿う範囲で最も優れていた画像処理パラメータを判断する手段を持つ。
【００４８】
本発明の実施例の監視領域と擬似物体画像の侵入経路の一例を示す図１０の監視領域301において、擬似物体画像921、922、923、および侵入経路924、925、926によって動作確認試験を実施するとした場合には、図１１に示す表931のように、各画像処理パラメータ902の組み合わせごとに、例えば侵入経路、行動パターン、物体の高さ、物体と背景の平均コントラスト（コントラスト）、時間帯、同時に付与する擬似ノイズの種類と強さ（ノイズ量）、試行回数などテスト映像条件を全ての組み合わせで実施し、各画像処理パラメータ902での検出率と誤検出数を得る。
ユーザが監視条件として、例えばゴマ塩ノイズ5%以下の環境下でコントラスト10以上の物体を99%以上の精度で検出する目的で、試験統括装置901にパラメータを入力する。この場合には、試験統括装置901は、例えば、テスト映像パラメータ139として、ノイズ量0%、1%、3%、5%、時間帯昼、夜、コントラスト10、25、50、行動パターン歩行、走行、ほふく前進の条件において、高さを1.7m相当にスケーリングした侵入物体921、922、923を、侵入経路924、925、926の各条件を総当りで侵入者検出試験を実施し、全組み合わせ648通りを、各3回ずつ試行する。
図１１の表931は、侵入物体921によるパラメータセットAの画像処理パラメータの組み合わせであり、その他、侵入物体922によるパラメータセットBの画像処理パラメータの組み合わせ、侵入物体923によるパラメータセットBの画像処理パラメータの組み合わせがある（図１２参照。）。
【００４９】
尚、動作確認試験は、必ずしも全組み合わせである必要はなく、ランダムで抽出しても良い。また、重視したい試験項目の回数が多くなるよう調整しても良い。
また、画像処理装置のパラメータについては、予め定められたパラメータの組み合わせをパラメータセットとし、例えば、二値化時の物体と背景のコントラストのしきい値、検出する物体の大きさ（例えば、物体高さの上限および下限）、速度（例えば、物体速度の上限および下限）、並びに滞在時間を設定可能である。
図１２にパラメータセット表941の一例を示す。パラメータセットの数は、この表941より増えても良く、試験結果に応じて数値の異なるパラメータセットを自動生成し、追試験を実施するようにしても良い。
【００５０】
該動作確認試験において、全試行回数と正しく検出できた回数の比率である検出率と、試験中での侵入物体以外に対する発報件数である誤検出数との評価結果を示す表を図１３に示す。評価結果に応じて、ユーザが予め指定した監視条件を満たす結果を示すパラメータセットのうち最も検出結果が優れたパラメータを物体検出装置112の真のパラメータとしてユーザに通知し、自動的に物体検出装置112に送信する。
本実施例では、ユーザは、例えば、検出率99%以上を所望しているため、検出率99%以上で誤検出数の最も少ないパラメータセットAが真のパラメータとして選択される。
尚、最適なパラメータセットの選択は必ずしも全試行数における検出率と誤検出数で判断される必要はなく、例えばノイズなしの状態で検出率100% 誤検出0.0件/日、ノイズ1%〜5%で検出率98.0% 誤検出0.5件/日というように、条件を複数設定できるようにしても良い。
【００５１】
上述の実施例２によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。
【符号の説明】
【００５２】
100：カメラ制御装置、 101：ＰＴＺ撮像装置、 102：映像入力回路、 103：画像処理プロセッサ、 104：プログラムメモリ、 105：ワークメモリ、 106：外部I/F回路、 107：映像出力回路、 108：通信路、 109：指示装置、 110：警報出力装置、 111：表示装置、 112：物体検出装置、 130：テスト映像生成装置、 132：映像入力回路、 133：画像処理プロセッサ、 134：プログラムメモリ、 135：ワークメモリ、 136：外部I/F回路、 137：映像出力回路、 138：通信路、 139：テスト映像パラメータ、 140：カメラパラメータ、 301：監視領域、 302：カメラ台、 303：撮像領域、 304：入力画像、 401：侵入者、 402：侵入経路、 403：入力画像、 501：侵入経路、 502：入力画像、 601：擬似物体画像、 602：侵入経路、 603：入力画像、 701：合成画像、702：カメラパラメータ、 703：経過時刻、 704：座標情報、 705：スケーリング後の擬似物体画像、 706：速度ベクトル、 801：擬似ノイズ情報パラメータ、 802：擬似ノイズ画像、 803：合成画像、 901：試験統括装置、 902：画像処理パラメータ、 921：擬似物体画像、 922：擬似物体画像、 923：擬似物体画像、 924：侵入経路、 925：侵入経路、 926：侵入経路、 931：評価項目の表、 941：パラメータセットの表、 951：パラメータごとの結果の表。
【技術分野】
【０００１】
本発明は、監視対象となる領域を監視する監視システムに関し、特に、パン、チルト、および焦点距離をリモート制御可能な撮像装置（ＰＴＺ撮像装置）を用いて、侵入物体の自動追尾が可能な監視システムにおいて、動作状態の確認試験の実施および確認試験の結果に応じた監視システムのパラメータの自動的な調整に関する。
【背景技術】
【０００２】
画像処理による侵入者検出技術の発展は近年著しく、ＰＴＺ撮像装置を用いた監視システムは、重要施設や立ち入り禁止区域などに設置され、当該区域に侵入する物体（侵入物体）を自動的に検出し、ＰＴＺ撮像装置のカメラ雲台を自動制御することにより検出した侵入物体を自動追尾することも可能であり、監視員やシステム管理者に侵入物体に関する情報を直ちに伝達することができる。
監視システムにおいて、さまざまな監視目標に対して良好に動作しているか否かを判断する定量的性能メトリックを使用して評価する技術については、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の監視システムでは、動作試験やシステムのパラメータ調整（初期設定や季節に応じた環境変化などに適応したパラメータ設定）を実施するためには、試験的に侵入物体を監視区域に侵入させて行っていた。しかし、重要施設や立ち入り禁止区域などでは、監視システムの設置環境によっては、必ずしも作業員が容易に入場できる環境とは限らず、システムの初期設定や長期運用に伴う定期メンテナンスに必要な監視システムの動作試験を実施することが難しい。
また、動作試験の実施（試験的に侵入物体を監視区域に侵入させこと）が容易な場所であっても、動作試験やシステムパラメータ調整は、煩雑な作業であった。
本発明は、監視システムの動作状態に関する試験（動作試験）を自動的に実施する手段を提供し、実際に人を侵入させて行う試験を必要がなく、動作試験およびパラメータ調整の作業を自動化する。この結果、従来設置が困難な環境への監視システムの設置の実現、および管理者にかかる負担の大幅な軽減を実現可能で、かつ、より効率的なシステム運用を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明の監視システムは、監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置とを備えた監視システムであって、前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的に侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力することを第１の特徴とする。
【０００６】
上記本発明の第１の特徴の監視システムにおいて、前記物体検出装置の動作試験やパラメータ調整を実行し、所定の画像処理試験を実施するためにテスト映像自動生成手段で生成すべき合成映像を決定して出力する手段、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する試験統括手段を備えたことを第２の特徴とする。
【発明の効果】
【０００７】
本発明に関わる監視システムによれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の監視システムの一実施例の構成を示すブロック図である。
【図２】本発明のテスト映像生成装置の構成の一実施例の詳細を説明するためのブロック図である。
【図３】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図４】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図５】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図６】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図７】本発明の監視システムの一実施例の入力映像と擬似物体画像の合成映像を説明するための図である。
【図８】本発明の監視システムの一実施例の入力映像への擬似ノイズの合成映像を説明するための図である。
【図９】本発明の監視システムの一実施例の構成を示すブロック図である。
【図１０】本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。
【図１１】本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。
【図１２】本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。
【図１３】本発明の監視システムの一実施例における試験結果を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。
しかし、本発明は、上述の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論である。
尚、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。
【実施例１】
【００１０】
本発明に関わる実施例１について、図面を参照して説明する。
図１は、本発明の監視システムの一実施例の構成を示すブロック図である。
図１の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、テスト映像生成装置130、物体検出装置112、指示装置109、警報出力装置110、および表示装置111により構成される。
物体検出装置112は、映像入力回路102、画像処理プロセッサ103、プログラムメモリ104、ワークメモリ105、外部I/F（Interface）回路106、映像出力回路107、および通信路108により構成される。
【００１１】
図１を用いて、本発明の実施例１の監視システムについて説明する。
ＰＴＺ撮像装置101は、監視の対象となる領域（監視領域）を撮像し、入力映像として出力する。ＰＴＺ撮像装置101は、この入力映像を、テスト映像生成装置130を介して、物体検出装置112に出力する。
なお、図１では、ＰＴＺ撮像装置101、カメラ制御装置100、およびテスト映像生成装置130は１組しか図示していないが、複数組設けられても良い。
【００１２】
物体検出装置112では、ＰＴＺ撮像装置101から入力される入力映像は、映像入力回路102に入力され、映像入力回路102を経てワークメモリ105に記録される。
また、画像処理プロセッサ103は、プログラムメモリ104に記録されているプログラムに従って、ワークメモリ105内に記録された入力映像を処理し、映像出力回路107を介して、その処理結果（物体検出結果）を表示装置111に出力する。表示装置111は、入力された物体処理結果を表示する。
また、画像処理プロセッサ103は、外部I/F回路106を介して入力されるオペレータ（ユーザ）からの指示（テスト映像パラメータ139）に基づいて、前記プログラムメモリ104に記録されているプログラムのパラメータを変更または修正しながら前記入力映像を処理する。オペレータ（ユーザ）からの指示は、例えば、マウス、キーボードなどを使って指示装置109に入力され、指示装置109は、入力された指示を外部I/F回路106に送信すると共に、テスト映像生成装置130に送信する。
尚、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107とは、データバス108に接続されている。
【００１３】
物体検出装置112は、画像処理の結果、警報の発報が必要であると判断された場合、画像処理プロセッサ103より外部I/F回路106を介して警報信号を出力する。その結果、警報出力装置110は、警報を発報する。
また、物体検出装置112は、入力画像中から侵入物体を検出したＰＴＺ撮像装置101が、侵入物体を常に撮像できるようにする（追尾できるようにする）ため、画像処理プロセッサ103から当該ＰＴＺ撮像装置101のパンチルトや焦点距離などのカメラパラメータ140の制御命令をカメラ制御装置100に出力することで、ＰＴＺ撮像装置のカメラ雲台を自動制御する。この結果、ＰＴＺ撮像装置101は、侵入物体を自動追尾することが可能となる。
【００１４】
以上の機器構成による物体検出装置の基本動作（例えば、差分法による物体検出および、テンプレートマッチングによる物体追尾、等）は、例えば、特開２００８−１７６７６８号公報等で周知の技術を用いる。さらに、以上の機器構成による物体検出装置の画像処理アルゴリズムは、国際公開２０１０／０８４９０２号パンフレット等で周知である。
【００１５】
図１〜図８によって、本発明の監視システムの一実施例における侵入物体の検出と自動追尾について説明する。
図３、図４、および図５は、図１の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。図３は、ＰＴＺ撮像装置101によって撮像された入力映像304について説明する図であり、図４は、ＰＴＺ撮像装置101によって撮像された入力映像403について説明する図であり、図５は、ＰＴＺ撮像装置101によって撮像された入力映像502について説明する図である。また、図６は、ＰＴＺ撮像装置101によって撮像された入力映像603について説明する図である。尚、入力映像603は、入力映像304と同一の映像である。さらに、図７は、ＰＴＺ撮像装置101によって撮像された入力映像301と擬似物体画像601の合成映像について説明する図であり、図８は、ＰＴＺ撮像装置101によって撮像された入力映像304への擬似ノイズの合成映像802について説明するための図である。
図３において、例えば、入力映像304に映る全域を監視すべき領域とした場合には、監視システムは、図４に示すように入力映像403中に侵入者（物体401）が映った時、当該侵入者401を背景差分法若しくはフレーム間差分法などによって侵入した物体を検出し、警報出力装置110に警報を発報させる。図４では、物体検出装置は、入力画像403によって、監視領域301の地点Ｐ１に物体401を検出したことを示している。
【００１６】
また、図３の監視領域301に示すように、ＰＴＺ撮像装置101およびカメラ制御装置100は、カメラ台302に予め定めた初期の画角で設置されており、入力画像304が映す領域は、撮像範囲303である。
ここで、撮像範囲303、つまり入力画像304に、監視すべき物体401が図４に示す侵入経路402で監視領域301内に侵入した場合には、物体検出装置112は、予め定めた発報条件が満たされた時点で警報を警報出力装置110から発報させると共に、当該物体401をＰＴＺ撮像装置101で自動追尾する制御命令をカメラ制御装置100に送信する。
なお、一般的に、画角の中心付近が、画像のゆがみが一番少なく、中心付近で焦点合わせするので焦点が合っている、このため鮮明な画像を得られる領域であるため、物体検出や追尾に最適である。
従って、図５において、図４の地点Ｐ１で検出された物体401が、侵入経路402から侵入経路501を通り地点Ｐ２に至るように、追尾中にさらに移動する場合には、物体検出装置112は、物体401が常に入力画像304の中心付近に映るようにカメラパラメータ140を変更し、カメラ制御装置100に変更したカメラパラメータ140を送信する。ゆえに、カメラ制御装置100は、受信したカメラパラメータ140に基づいて、物体401が常に入力画像304の中心付近に映るようにＰＴＺ撮像装置101のパン角、チルト角、およびズーム倍率などのカメラパラメータ140を自動的に調整することができる。その結果、図５に示すように監視領域301における物体401が、経路402および501を介して移動した場合には、物体401の移動に従ってＰＴＺ撮像装置101の画角も移動するので、ＰＴＺ撮像装置101が撮像することによって、常に監視すべき物体401が中心付近に映る入力画像502を得ることができる。
【００１７】
上述の実施例１では、物体の追尾を、周知の技術、例えば、テンプレートマッチングにより実施している。例えば、侵入した物体401が発見されてから動き出す直前の侵入物体401の画像を、ＰＴＺ撮像装置101がテンプレートとして物体検出装置112のワークメモリ105内に保持し、ＰＴＺ撮像装置101の画角が動き出した（即ち、物体401が動き出した）次のフレームからは、保持しているテンプレートと入力画像とのマッチングを行って、侵入した物体401の位置を特定し、特定した位置と入力画像の中心の座標との差などによりＰＴＺ撮像装置101の画角、移動方法、および速度を更新する。
テンプレートマッチングにより侵入した物体401の位置の特定ができなかった時には、ＰＴＺ撮像装置101の動きを止めて、前述した背景差分法若しくはフレーム間差分法などによって侵入者検出処理を再度実施し、再検出できた場合には再検出した領域を抽出し、抽出した領域をテンプレート画像として更新し、自動追尾を再開する。
【００１８】
図２は、図１のテスト映像生成装置130の構成の一実施例を説明するためのブロック図である。
テスト映像生成装置130は、物体検出装置112と同様に、映像入力回路132、画像処理プロセッサ133、プログラムメモリ134、ワークメモリ135、外部I/F回路136、映像出力回路137、およびデータバス138により構成される。尚、テスト映像生成装置130は、必ずしも個別の物体検出装置112と同様の構成である必要はなく、例えば物体検出装置112の１つの機能とし、物体検出装置112に含有される形でも良い。
【００１９】
図２のテスト映像自動生成装置130は、指示装置109から送信されたテスト映像条件139を受信したテスト映像条件139をワークメモリ135に記録する手段、受信したテスト映像パラメータ139に基づいて、映像入力回路132より入力された入力映像中に画像処理プロセッサ133およびプログラムメモリ134に記録されたプログラムによって所定の画像を自動的に合成して生成する手段、生成した合成映像を、映像出力回路137を介して物体検出装置112に出力する手段、および、外部IF回路136を介して物体検出装置112における物体検出の有無および検出した物体の座標情報を受信する手段を有する。
テスト映像自動生成装置130は、システム管理者（ユーザ）が指示装置109を操作することによって設定された画像処理システムの動作確認試験の条件を、指示装置109から外部IF回路136を介して、テスト映像パラメータ139として受信する。
【００２０】
ここで、例えば、物体検出装置112の動作確認試験のため、システム管理者が、図６に示す監視領域301への侵入経路602を通る侵入物体を正しく検出できることを以ってシステムの動作確認試験とする場合について説明する。
まず、システム管理者の操作に基づいて、指示装置109は、動作確認試験に関する条件をテスト映像パラメータ139として、テスト映像自動生成装置130に入力する。テスト映像パラメータ139は、例えば、侵入物体の行動パターン、移動速度、大きさ、コントラスト、試行回数である。
テスト映像自動生成装置130には、擬似侵入物体601として入力映像に合成する画像情報が予め記録されている。
図７によって、入力映像301と擬似物体画像601の一実施例を説明する。
例えば、図７において、擬似物体画像601は、静止画像でも動画像でも良く、システム管理者が擬似物体画像601に関する条件を、指示装置109を操作するによって、テスト映像自動生成装置130に対して、擬似物体画像601の特徴をテスト映像パラメータ139として入力することが可能である。例えば、擬似物体画像601について、身長、服装（色）、侵入経路、出現位置、退出位置、移動速度、移動方向などを自由に設定することができるようにしても良い。また、擬似物体画像は、必ずしも図７の擬似物体画像601のように直立の人である必要はなく、所定の試験項目に従って、例えば匍匐前進の人、自転車、車などでも良い。
【００２１】
図７において、合成映像701は、擬似物体画像601が侵入経路602を歩行して侵入した場合である。
テスト映像生成装置130の画像処理プロセッサ133は、テスト映像パラメータ139に予め入力された擬似物体画像601について、位置情報、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（フレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。この予め入力された擬似物体画像601は、例えば、メートル単位で記載され、物体の大きさ、速度ベクトル706、侵入経路（始点、終点）は、大きさ、速度ベクトル、侵入経路（始点、終点）は、例えばＰＴＺ撮像装置の位置を原点とするワールド座標系で表現するものする。
【００２２】
テスト映像生成装置130の画像処理プロセッサ133は、ワールド座標系の位置情報と、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（現在のフレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。
即ち、ＰＴＺ撮像装置101の俯角θP、回転角θT、高さh、横方向の視野角である画角θH、縦方向の視野角である画角θVを用いて、ワールド座標系の擬似物体画像の各位置を、視野範囲に含まれるカメラ座標系へ変換することができる。
例えば、時刻tにおけるワールド座標系のある点（x(t)，y(t)）を、カメラ座標系の点（x'(t)，y'(t)）に変換する一例を以下で説明する。
【００２３】
カメラ座標系の点（x'(t)，y'(t)）は、画像上（x(t)，y(t)）で表される画素を撮像する俯角θz(t)、カメラ座標の点（x'(t)，y'(t)）で表される画素を撮像する回転角θxy(t)を用いて、入力画像の縦方向の画素を480pix、横方向の画素を640pixとした時、式（１）、式（２）のように表される。
【００２４】
【数１】
【００２５】
【数２】
【００２６】
尚、ワールド画像系の座標（x(t)，y(t)）で表される任意の位置とカメラの高さhおよびワールド座標系での高さ方向の座標z(t)を用いて、座標（x(t)，y(t)）を撮像する回転角θxy(t)、俯角θz(t)は式（３）、式（４）により求められる。
【００２７】
【数３】
【００２８】
【数４】
【００２９】
ＰＴＺ撮像装置101の横方向の視野角である画角θH、および縦方向の視野角である画角θVは、焦点距離f、撮像素子サイズ横幅H、および撮像素子サイズ縦幅Vを用いて、例えば、式（５）および式（６）で表現することができる。
【００３０】
【数５】
【００３１】
【数６】
【００３２】
擬似物体画像のワールド座標上の位置（x(t)，y(t)）は、例えば、擬似物体画像の初期位置を（x0，y0）、目標位置を（x1，y1）とし、初期位置から目標位置までの移動に時間Tを要し、かつ速度が一定であるとし、式（７）および式（８）で表現されるものとする。
【００３３】
【数７】
【００３４】
【数８】
【００３５】
また、高さ方向の座標z(t)は、例えば、監視領域の地面の高さに起伏が無く、平坦で、ＰＴＺ撮像装置101を設置するカメラ台302の足元の位置などを規準とする点と同じ高さにあるとし、擬似物体画像の足元の位置の高さはz(t)＝0とする。擬似物体画像のワールド座標系、即ち、メートル単位での実の高さがh_objであるとした時、擬似物体画像の頂点の位置の高さは、z(t)＝h_objとなる。
従って、擬似物体画像と入力画像との合成は、例えば、該擬似物体画像の下辺が式（４）にz(t)＝0を代入して得られるカメラ座標に合致し、該入力画像の上辺が、式（４）にz(t)＝h_objの値を代入した時に得られる座標に合致するように擬似物体画像を拡大、縮小してスケーリングする。
また、擬似物体画像の位置が、ＰＴＺ撮像装置101の画角外の場合、即ち、本実施例において擬似物体画像のカメラ座標（x'(t)，y'(t)）が（0，0）〜（640，480）の範囲外となる場合には、当該位置に対しては、擬似物体画像を入力画像に合成しない。
ここで、物体検出装置112の自動追尾機能により、ＰＴＺ撮像装置101の画角が変更される場合には、ＰＴＺ撮像装置101のカメラパラメータである俯角（チルト角）θP、回転角（パン角）θT、および焦点距離（ズーム倍率）fが変動し得る。ＰＴＺ撮像装置101の高さhは、本実施例では一定とする。
即ち、物体検出装置112は、物体検出装置112の自動追尾処理によるＰＴＺ撮像装置101のカメラパラメータの初期値θP、θT、fからの変動量をそれぞれ、ΔθP、ΔθT、Δfとする場合には、擬似物体画像の位置のカメラ座標（x'(t)，y'(t)）は、式（１）、式（２）、式（５）、および式（６）の代わりに、式（９）、式（１０）、式（１１）、および式（１２）を用いて算出する。
【００３６】
【数９】
【００３７】
【数１０】
【００３８】
【数１１】
【００３９】
【数１２】
【００４０】
物体検出装置112は、上記算出された座標情報704に従って擬似物体画像601を拡大または縮小、およびスケーリングし、拡大／縮小およびスケーリング後の擬似物体画像705を現在の入力映像201の該座標情報704に従った位置に合成し、合成映像701を得る。
即ち、擬似物体画像601は、ＰＴＺ撮像装置101からの距離に応じてメートル単位での大きさが不変となるように、事前に入力されたカメラパラメータにより、ＰＴＺ撮像装置101からの距離に応じたピクセル単位での位置と大きさを計算し、擬似物体画像601の大きさを変換して、スケーリング後の擬似物体画像705を得て合成する。擬似物体画像705のピクセル単位での位置、大きさ、および速度は、自動追尾処理の結果に対応して毎フレーム更新される。例えば、図７では、擬似物体画像705は、速度ベクトル706の方向に移動する。
尚、擬似物体画像705の大きさおよび速度は、実物体の移動に近づけるため可変幅を持たせても良く、例えば、テスト映像パラメータ139に経過時間703に応じた大きさおよび速度の情報を格納しておき、毎フレーム変えても良い。
物体検出装置112の映像入力回路102には、ＰＴＺ撮像装置101とテスト映像生成装置130の映像出力回路137が接続されている。しかし、テスト映像自動生成装置130により合成映像701が生成される場合には、ＰＴＺ撮像装置101が撮像する入力映像よりも、テスト映像生成装置130からの合成映像701が優先して物体検出装置112に入力される。合成映像701が生成されていない場合には、テスト映像生成装置130が生成する合成映像701よりも、ＰＴＺ撮像装置101が撮像する入力映像201が優先して物体検出装置112に入力される。尚、どちらを優先させるかの判断は、物体検出装置112若しくはテスト映像生成装置130のどちらで判断しても良い。
【００４１】
また、監視システムの動作確認試験では、合成映像701の入力時に、テスト映像自動生成装置130で入力映像中に合成した擬似物体画像の大きさおよび位置に関する座標情報704をワークメモリ135に記録（保持）しておき、合成映像701を物体検出装置112に入力した場合に何らかの物体の検出が得られた時には、検出時の座標情報を外部IF回路106を介してテスト映像自動生成装置130に自動的に出力するようにし、擬似物体画像705の合成時の座標情報704と該物体検出装置112より出力された座標情報を比較することで、物体検出装置112による発報が真の侵入者によるものか擬似物体画像705によるものかを判別する。
即ち、擬似物体画像601の入力画像上での座標が（320,220）〜（350,300）、該検出の座標情報が（330,210）〜（350,295）であった場合には、各座標により描写される矩形の重複率が、例えば、80%を超える。このため、物体検出装置112による発報が擬似物体画像によるものと判断し、ワークメモリ135に合成映像による試験での検知が成功したことを記録する。一方で、擬似物体画像の合成映像を物体検出装置に入力したにもかかわらず、物体検出装置が擬似物体画像を検出したと判断できなかった場合（例えば、物体が検出されなかった場合など）には、ワークメモリ135に合成映像による試験が失敗したことを記録する。
【００４２】
合成映像による動作確認試験の全試行の成否の情報は、ワークメモリ135に記録される。ここで、例えば、合成映像による試験で物体検出装置が正常に動作していると判断できる判定条件を、全試行数60回中の55回としたとき、成功回数が55回未満だった場合には、管理者に対して監視システムに異常がある旨を警告する。また、該動作確認試験の成否の情報をログとして記録しておくことによって、管理者は、これらの情報を閲覧若しくはダウンロードできる。
尚、物体検出装置による発報が擬似物体画像によることが確認できた場合には、冗長なため、警報出力装置110による侵入物体を発見したことを知らせる警報を発報しないようにしても良い。
また、テスト映像生成装置130により出力する映像は、必ずしも入力映像と擬似物体画像の合成映像だけに限らず、例えば、物体検出装置がカメラ故障検知などのために入力映像の異常を判定するような機能を持つ場合などでは、意図的にカラーバー画像やホワイトノイズ画像などの異常映像を合成映像として物体検出装置112に対して入力するようにしても良い。
【００４３】
次に、図８によって、ノイズを合成して動作確認試験を実施する場合の一実施例を説明する。
図８においては、図１で示したテスト映像パラメータ139に加え、擬似ノイズの種類とその量などを示す擬似ノイズパラメータ801を設ける。例えば、ゴマ塩ノイズを発生確率5%で付加するとした場合には、入力画像304の全画素に対して2.5%の確率で輝度値0を、2.5%の確率で輝度値255を付与し、疑似ノイズ画像802を生成し、ＰＴＺ撮像装置101が撮像した入力画像304と合成して、合成画像803を得る。
【００４４】
尚、テスト映像生成装置130による監視システムの動作確認試験では、必ずしも指示装置109を通した管理者（ユーザ）によるテスト映像パラメータ139の設定を必要とせず、例えば、動作確認試験を実施する日時、並びに、擬似物体画像の速度、大きさ、侵入経路などのテスト映像パラメータ139を、ランダムに決定する機能をテスト映像生成装置130のプログラムメモリ134に記録させておき、動作確認試験を不定期かつ全自動で実施できるようにしても良い。
【００４５】
上述の実施例１によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、物体検出装置の動作確認試験をより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。そして、効率的なシステム運用が可能となる。
【実施例２】
【００４６】
本発明に関わる実施例２について、図面を参照して説明する。図９は、本発明の監視システムの一実施例の構成を示すブロック図である。また、図１０は、本発明の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。また、図１１は、本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。また、図１２は、本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。また、図１３は、本発明の監視システムの一実施例における試験結果を示す図である。
【００４７】
図９の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、物体検出装置112、テスト映像自動生成装置130、および、試験統括装置901により少なくとも構成される。物体検出装置112とテスト映像自動生成装置130の構成は、実施例１で示したものと同等でよく、説明を省略する（図１および図２参照。）。
試験統括装置901は、物体検出装置112に適応するための二値化しきい値や大きさの上限と下限、滞在時間などの画像処理パラメータ902の１組以上の組み合わせ、テスト映像生成装置に適応するための擬似物体画像の大きさや速度や経路、および擬似的に付加するノイズ量などのテスト映像条件139の１組以上の組み合わせを記憶する手段、および物体検出装置とテスト映像生成装置に対してそれらを出力する手段を有する。
試験統括装置901に対して、ユーザが監視条件などを図示しない指示装置（図１参）を介して入力する。これにより、試験統括装置901は、各画像処理パラメータ902と各テスト映像パラメータ139の組み合わせで画像処理装置の試験を実施する。実施した結果、検出率や誤検出数などの試験結果からユーザが指定した監視条件に沿う範囲で最も優れていた画像処理パラメータを判断する手段を持つ。
【００４８】
本発明の実施例の監視領域と擬似物体画像の侵入経路の一例を示す図１０の監視領域301において、擬似物体画像921、922、923、および侵入経路924、925、926によって動作確認試験を実施するとした場合には、図１１に示す表931のように、各画像処理パラメータ902の組み合わせごとに、例えば侵入経路、行動パターン、物体の高さ、物体と背景の平均コントラスト（コントラスト）、時間帯、同時に付与する擬似ノイズの種類と強さ（ノイズ量）、試行回数などテスト映像条件を全ての組み合わせで実施し、各画像処理パラメータ902での検出率と誤検出数を得る。
ユーザが監視条件として、例えばゴマ塩ノイズ5%以下の環境下でコントラスト10以上の物体を99%以上の精度で検出する目的で、試験統括装置901にパラメータを入力する。この場合には、試験統括装置901は、例えば、テスト映像パラメータ139として、ノイズ量0%、1%、3%、5%、時間帯昼、夜、コントラスト10、25、50、行動パターン歩行、走行、ほふく前進の条件において、高さを1.7m相当にスケーリングした侵入物体921、922、923を、侵入経路924、925、926の各条件を総当りで侵入者検出試験を実施し、全組み合わせ648通りを、各3回ずつ試行する。
図１１の表931は、侵入物体921によるパラメータセットAの画像処理パラメータの組み合わせであり、その他、侵入物体922によるパラメータセットBの画像処理パラメータの組み合わせ、侵入物体923によるパラメータセットBの画像処理パラメータの組み合わせがある（図１２参照。）。
【００４９】
尚、動作確認試験は、必ずしも全組み合わせである必要はなく、ランダムで抽出しても良い。また、重視したい試験項目の回数が多くなるよう調整しても良い。
また、画像処理装置のパラメータについては、予め定められたパラメータの組み合わせをパラメータセットとし、例えば、二値化時の物体と背景のコントラストのしきい値、検出する物体の大きさ（例えば、物体高さの上限および下限）、速度（例えば、物体速度の上限および下限）、並びに滞在時間を設定可能である。
図１２にパラメータセット表941の一例を示す。パラメータセットの数は、この表941より増えても良く、試験結果に応じて数値の異なるパラメータセットを自動生成し、追試験を実施するようにしても良い。
【００５０】
該動作確認試験において、全試行回数と正しく検出できた回数の比率である検出率と、試験中での侵入物体以外に対する発報件数である誤検出数との評価結果を示す表を図１３に示す。評価結果に応じて、ユーザが予め指定した監視条件を満たす結果を示すパラメータセットのうち最も検出結果が優れたパラメータを物体検出装置112の真のパラメータとしてユーザに通知し、自動的に物体検出装置112に送信する。
本実施例では、ユーザは、例えば、検出率99%以上を所望しているため、検出率99%以上で誤検出数の最も少ないパラメータセットAが真のパラメータとして選択される。
尚、最適なパラメータセットの選択は必ずしも全試行数における検出率と誤検出数で判断される必要はなく、例えばノイズなしの状態で検出率100% 誤検出0.0件/日、ノイズ1%〜5%で検出率98.0% 誤検出0.5件/日というように、条件を複数設定できるようにしても良い。
【００５１】
上述の実施例２によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。
【符号の説明】
【００５２】
100：カメラ制御装置、 101：ＰＴＺ撮像装置、 102：映像入力回路、 103：画像処理プロセッサ、 104：プログラムメモリ、 105：ワークメモリ、 106：外部I/F回路、 107：映像出力回路、 108：通信路、 109：指示装置、 110：警報出力装置、 111：表示装置、 112：物体検出装置、 130：テスト映像生成装置、 132：映像入力回路、 133：画像処理プロセッサ、 134：プログラムメモリ、 135：ワークメモリ、 136：外部I/F回路、 137：映像出力回路、 138：通信路、 139：テスト映像パラメータ、 140：カメラパラメータ、 301：監視領域、 302：カメラ台、 303：撮像領域、 304：入力画像、 401：侵入者、 402：侵入経路、 403：入力画像、 501：侵入経路、 502：入力画像、 601：擬似物体画像、 602：侵入経路、 603：入力画像、 701：合成画像、702：カメラパラメータ、 703：経過時刻、 704：座標情報、 705：スケーリング後の擬似物体画像、 706：速度ベクトル、 801：擬似ノイズ情報パラメータ、 802：擬似ノイズ画像、 803：合成画像、 901：試験統括装置、 902：画像処理パラメータ、 921：擬似物体画像、 922：擬似物体画像、 923：擬似物体画像、 924：侵入経路、 925：侵入経路、 926：侵入経路、 931：評価項目の表、 941：パラメータセットの表、 951：パラメータごとの結果の表。
【特許請求の範囲】
【請求項１】
監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置とを備えた監視システムであって、
前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的に侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、
前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力することを特徴とする監視システム。
【請求項２】
請求項１記載の監視システムにおいて、前記物体検出装置の動作試験やパラメータ調整を実行し、所定の画像処理試験を実施するためにテスト映像自動生成手段で生成すべき合成映像を決定して出力する手段、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する試験統括手段を備えたことを特徴とする監視システム。
【請求項１】
監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置とを備えた監視システムであって、
前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的に侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、
前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力することを特徴とする監視システム。
【請求項２】
請求項１記載の監視システムにおいて、前記物体検出装置の動作試験やパラメータ調整を実行し、所定の画像処理試験を実施するためにテスト映像自動生成手段で生成すべき合成映像を決定して出力する手段、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する試験統括手段を備えたことを特徴とする監視システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−４２３８６（Ｐ２０１３−４２３８６Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７８３１８（Ｐ２０１１−１７８３１８）
【出願日】平成２３年８月１７日（２０１１．８．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１７日（２０１１．８．１７）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]