画像処理装置、画像処理システム及び画像処理方法
【課題】画像解析における特定事象の誤検知を低減できるようにする。
【解決手段】監視対象を撮像して画像解析するカメラサーバから、前記監視対象を含む画像データを受信するクライアント端末であって、ユーザの操作に応じて、表示装置に表示された画像において画像解析領域を指定し、前記指定された画像解析領域の情報を前記カメラサーバに送信する。そして、前記カメラサーバから画像解析領域の情報を含む設定情報を取得すると、前記取得した設定情報に基づいて、前記画像と前記指定した画像解析領域とを重畳して前記表示装置に表示する。
【解決手段】監視対象を撮像して画像解析するカメラサーバから、前記監視対象を含む画像データを受信するクライアント端末であって、ユーザの操作に応じて、表示装置に表示された画像において画像解析領域を指定し、前記指定された画像解析領域の情報を前記カメラサーバに送信する。そして、前記カメラサーバから画像解析領域の情報を含む設定情報を取得すると、前記取得した設定情報に基づいて、前記画像と前記指定した画像解析領域とを重畳して前記表示装置に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を解析して特定の事象を検知する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットなどＩＰ（Internet Protocol）ネットワークを利用した配信システムが増加してきており、スキー場や動物園の状況を配信するインターネットサイトや、店舗やビルの監視などにも採用されている。例えば、店舗やビルの監視においては、撮像画像を解析して特定の事象を検知し、事象が発生した際に画像を蓄積したり、管理者が閲覧して確認したりすることが行われている。
【０００３】
画像解析する特定の事象としては、例えば、撮像画像上に物体が出現したかどうかを検知する物体検知や、カメラ制御と連動して検知した物体を追いかける物体追尾が存在する。また、不審物等が置かれたことを検知する置き去り検知、監視対象が持ち去られたことを検知する持ち去り検知、撮像画像からネットワークカメラに対していたずらがされたことを検知するいたずら検知等も存在する。
【０００４】
例えば、特許文献１には、ネットワークカメラの追尾機能の設定方法が開示されている。特許文献１に記載の技術を用いると、ネットワークカメラが配信した画像データと、画像上の動きがあった領域とを重畳表示することにより、追尾機能を容易に設定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１２０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１に開示された従来技術では、ユーザが画面上で指定する領域は必ず矩形であることを前提とした技術であり、その領域はネットワークカメラ側で解析処理を行う領域と同一である。そして、ユーザが監視対象に合わせて矩形以外の検知対象領域を指定する場合であっても、ネットワークカメラが行う解析処理は撮像画像をある一定サイズに分割した領域毎に行う。ところが、ユーザが画面上で指定した領域と、ネットワークカメラ側で解析処理を行う領域とが一致せず、ユーザが意図した通りに設定することが難しく、特定事象を誤検知する場合がある。
【０００７】
本発明は前述の問題点に鑑み、画像解析における特定事象の誤検知を低減できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、前記画像データに基づく画像を表示装置に表示する表示制御手段と、ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザは、カメラが画像解析を行う画像解析領域を確認することができるので、特定事象の誤検知を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】カメラサーバ及びクライアント端末のプログラム構成例を示す図である。
【図２】画像処理システムのシステム構成例を示す図である。
【図３】カメラサーバ及びクライアント端末のハード構成例を示す図である。
【図４】画像解析領域を含む撮像画像の一例を示す図である。
【図５】画像解析領域が指定された撮像画像の一例を示す図である。
【図６】設定管理に関する処理手順の一例を示すフローチャートである。
【図７】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【図８】画像解析領域を変更する際の表示例を示す図である。
【図９】画像解析領域を表示する処理手順の一例を示すフローチャートである。
【図１０】画像解析領域を表示する処理手順の一例を示すフローチャートである。
【図１１】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【図１２】解析領域リストの一例を示す図である。
【図１３】カメラサーバが画像解析処理する領域を重畳表示した例を示す図である。
【図１４】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の実施形態に好適な画像処理システムの構成及び動作について、図面を参照しながら説明する。
図２は、本実施形態における画像処理システムのシステム構成例を示す図である。
図２に示すように、第１のカメラサーバ２００、第２のカメラサーバ２１０、及びクライアント端末２２０がネットワーク２３０を介して相互に接続されている。第１のカメラサーバ２００及び第２のカメラサーバ２１０は、撮影画角が固定もしくは変更可能なカメラを備え、撮影した画像データを、ネットワーク２３０を介して配信するものである。第１のカメラサーバ２００及び第２のカメラサーバ２１０は独立に動作しており、クライアント端末２２０は、第１のカメラサーバ２００、または第２のカメラサーバ２１０にアクセスし、画像データを取得する。なお、説明を簡略化するためにカメラサーバは２台としているが、３台以上であっても構わない。
【００１２】
また、図２に示すクライアント端末２２０以外にも第１のカメラサーバ２００、または第２のカメラサーバ２１０にアクセスして画像データの受信や蓄積を行う他のクライアント端末があっても構わない。ネットワーク２３０は、Ethernet（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。本実施形態においては、各サーバ・クライアント端末間の通信が支障なく行うことができるのであればその通信規格、規模、構成を問わず、インターネットや、ＬＡＮ（Local Area Network）などが適用可能である。
【００１３】
図３（Ａ）は、本実施形態の第１のカメラサーバ２００のハードウェア構成の一例を示すブロック図である。なお、第２のカメラサーバ２１０も同様の構成であるため、第２のカメラサーバ２１０のハードウェア構成の説明は省略する。
図３（Ａ）に示すように、ＣＰＵ３００、１次記憶装置３１０、２次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、及びネットワークＩ／Ｆ３３５が内部バス３０１を介して相互に接続されている。
【００１４】
１次記憶装置３１０は、ＲＡＭなどの書き込み可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。２次記憶装置３２０は、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブなどの不揮発性の記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、第１のカメラサーバ２００の１次記憶装置３１０及び２次記憶装置３２０に展開される各種プログラム等の詳細については後述する。
【００１５】
画像キャプチャＩ／Ｆ３３０にはカメラ３４０が接続されており、カメラ３４０が撮影した画像データを所定のフォーマットに変換・圧縮して１次記憶装置３１０に転送する。ネットワークＩ／Ｆ３３５はネットワーク２３０と接続するためのＩ／Ｆであり、通信媒体を介してクライアント端末２２０等との通信を行う。
【００１６】
図３（Ｂ）は、クライアント端末２２０のハードウェア構成の一例を示すブロック図である。
図３（Ｂ）に示すように、ＣＰＵ３５０、１次記憶装置３６０、２次記憶装置３７０、ユーザ入力Ｉ／Ｆ３８０、ユーザ出力Ｉ／Ｆ３９０、及びネットワークＩ／Ｆ３９５が内部バス３５１を介して相互に接続されている。
【００１７】
１次記憶装置３６０は、ＲＡＭなどの書き込み可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。２次記憶装置３７０は、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブなどの不揮発性の記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、クライアント端末２２０の１次記憶装置３６０及び２次記憶装置３７０に展開される各種プログラム等の詳細については後述する。
【００１８】
ユーザ入力Ｉ／Ｆ３８０には、キーボード、マウスなどの入力機器３８１が接続されており、ユーザからの指示を入力する。ユーザ出力Ｉ／Ｆ３９０には、ディスプレイなどの出力機器３９１が接続されており、表示用の画像データなどが出力される。ネットワークＩ／Ｆ３９５は、前述のネットワーク２３０と接続するためのＩ／Ｆであり、通信媒体を介して第１のカメラサーバ２００等との通信を行う。
【００１９】
図１（ａ）は、第１のカメラサーバ２００のソフトウェア構成の一例を示すブロック図である。なお、第２のカメラサーバ２００も同様の構成であるため、第２のカメラサーバ２１０のソフトウェア構成の説明は省略する。
１次記憶装置３１０上には、ＯＳ１００、撮像処理プログラム１１０、画像解析プログラム１１１、配信処理プログラム１１２、及び一時記憶部１１３がロードされる。ＯＳ１００は第１のカメラサーバ２００全体を制御する基本プログラムである。
【００２０】
撮像処理プログラム１１０は、画像キャプチャＩ／Ｆ３３０を経由して、カメラ３４０で生成された画像フレームを入力し、画像フレームを符号化して、一時記憶部１１３に保存する。画像解析プログラム１１１は、２次記憶装置３２０に保存されている画像解析に関連する設定情報を一時記憶部１１３にロードする。また、一時記憶部１１３に記憶された画像フレームを解析し、画像上のどこにどんな形の物体がどれぐらいの時間存在しているのか、といった内容を検出する。さらに、予め設定された１つまたは複数の閾値を超えたことにより特定の事象が発生したことを検出する。また、画像解析プログラム１１１は、クライアント端末２２０から新たな設定情報をネットワークＩ／Ｆ３３５を通して受信すると、一時記憶部１１３または２次記憶装置３２０に保存し、新しい設定情報により画像解析を開始する。
【００２１】
配信処理プログラム１１２は、外部からの要求に応じ、ネットワークＩ／Ｆ３３５を制御することにより、一時記憶部１１３に記憶されている画像フレームを、ネットワーク２３０を介してクライアント端末２２０などへ送信する。また、各プログラム同士の連携は、必要に応じてＯＳ１００が提供する機能を用いる。
【００２２】
図１（ｂ）は、クライアント端末２２０のソフトウェア構成の一例を示すブロック図である。
１次記憶装置３６０上には、ＯＳ１５０、入力制御プログラム１６０、設定管理プログラム１６１、受信処理プログラム１６２、出力制御プログラム１６３、解析領域決定プログラム１６４、及び一時記憶部１６５がロードされる。ＯＳ１５０はクライアント端末２２０全体を制御する基本プログラムである。
【００２３】
入力制御プログラム１６０は、ユーザがキーボードやマウスなど入力機器３８１を操作することにより、設定管理プログラム１６１を起動する。本実施形態では、ユーザがキーボードやマウスなどを直接操作する以外に、ネットワーク経由の操作や、自動実行プログラムでも実現可能である。設定管理プログラム１６１は、第１のカメラサーバ２００または第２のカメラサーバ２１０が処理する解析領域を表示するために解析領域決定プログラム１６４を起動し、さらに画像フレームを取得するため受信処理プログラム１６２を起動する。また、設定管理プログラム１６１は、出力制御プログラム１６３を起動し、画像フレームを表示させたり、ユーザの操作により決定した解析領域の情報を第１のカメラサーバ２００または第２のカメラサーバ２１０に送信させたりする。
【００２４】
解析領域決定プログラム１６４は、第１のカメラサーバ２００または第２のカメラサーバ２１０から画像解析領域等を含む設定情報を取得し、カメラサーバ内で実行される画像解析領域を決定する。そして、出力制御プログラム１６３により解析領域を表示させる。受信処理プログラム１６２は、ネットワークＩ／Ｆ３９５を制御することにより、ネットワーク２３０を介して第１のカメラサーバ２００または第２のカメラサーバ２１０から画像フレームを受信し、一時記憶部１６５に保存する。出力制御プログラム１６３は、受信処理プログラム１６２や解析領域決定プログラム１６４の指示に従い、画像フレームや解析領域をディスプレイ等の出力機器３９１に表示制御する。なお、各プログラム同士の連携は、必要に応じてＯＳ１００が提供する機能を用いることとする。
【００２５】
図４（ａ）は、クライアント端末２２０が出力機器３９１であるディスプレイに表示する画像解析処理の設定画面の一例を示す図である。
図４（ａ）においては、監視対象４１０が映っている撮像画像４００上に画像解析領域４２０を指定した時を示している。本実施形態では、クライアント端末２２０は第１のカメラサーバ２００または第２のカメラサーバ２１０から取得した画像フレーム（解像度：６４０×４８０）を表示し、その画像上の４点Ａ、Ｂ、Ｃ、Ｄからなる閉領域を指定する。
【００２６】
図４（ｂ）は、第１のカメラサーバ２００及び第２のカメラサーバ２１０での画像解析処理ブロックの一例を示す図である。
図４（ｂ）においては、図４（ａ）の画面における４点Ａ、Ｂ、Ｃ、Ｄを指定した場合に、どの領域を画像処理対象とするのかを示している。クライアント端末２２０の出力機器３９１に表示される画像解析領域４２０に相当する画像解析領域４７０に対し、第１のカメラサーバ２００及び第２のカメラサーバ２１０が解析処理を行う領域はブロック領域４６０となる。
【００２７】
本実施形態では、第１のカメラサーバ２００及び第２のカメラサーバ２１０は、解像度が３２０×２４０の画像フレームに対し、８×８の単位で分割した４０×３０の粒度で画像解析処理を実施する。このように、クライアント端末２２０上では６４０×４８０の粒度で解析領域を指定するのに対し、第１のカメラサーバ２００及び第２のカメラサーバ２１０上では４０×３０の粒度で画像解析処理を実施する。
【００２８】
図５は、クライアント端末２２０のディスプレイに、カメラサーバが実際に画像解析処理する領域を重畳表示した例を示す図である。
図５においては、監視対象５１０が映っている撮像画像５００上に画像解析領域５２０を指定した時のカメラサーバが画像解析処理を行う画像解析領域５３０を示している。
【００２９】
このように、クライアント端末２２０側にユーザが指定した領域に対して実際に画像解析する領域を重畳して表示することにより、ユーザが意図した領域に対して画像解析処理が行われるのか否かを確認することができる。本実施形態では、四角形の単位で解析領域を設けているが、監視対象に合わせて四角形以外の多角形で指定してもよい。また、図５では、カメラサーバが画像解析処理を行う領域をそのまま重畳表示しているが、画像解析領域が確認できるのであれば、枠表示など別の表示方法でもよい。
【００３０】
図６は、クライアント端末２２０上の設定管理プログラム１６１により実行される処理手順の一例を示すフローチャートである。
まず、設定管理プログラム１６１は、ユーザによりキーボードやマウスなど入力機器３８１が操作され、画像解析処理を設定するときに起動される。そして、設定管理プログラム１６１は、解析領域決定プログラム１６４を起動し、解析領域決定処理を開始可能な状態にする（ステップＳ６０１）。次に、受信処理プログラム１６２を起動し、ネットワークＩ／Ｆ３９５を制御することにより、第１のカメラサーバ２００または第２のカメラサーバ２１０から画像データの受信を開始可能な状態にする（ステップＳ６０２）。そして、設定管理プログラム１６１に対して何らかのイベントが発生するまで待機する（ステップＳ６０３）。
【００３１】
イベントが発生すると、設定管理プログラム１６１は、イベントの種別を判定する（ステップＳ６０４）。この判定の結果、画像データの受信を通知するイベントである場合は、出力制御プログラム１６３により受信した画像データ（画像フレーム）をディスプレイ等の出力機器３９１に表示させる（ステップＳ６０５）。この結果、図４（ａ）に示す撮像画像４００を表示することになる。
【００３２】
一方、ステップＳ６０４の判定の結果、ユーザにより入力機器３８１が操作されたことによる設定情報を保存するイベントである場合は、現在表示している画像解析領域の情報を解析領域決定プログラム１６４により取得する（ステップＳ６０６）。そして、出力制御プログラム１６３によりネットワークＩ／Ｆ３９５を制御することによりカメラサーバに設定情報を送信させる（ステップＳ６０７）。ここで、画像解析領域の情報とは、図４（ａ）に示す画像解析領域４２０の各頂点（４点Ａ、Ｂ、Ｃ、Ｄ）の座標のことである。また、ステップＳ６０４の判定の結果、ユーザにより入力機器３８１が操作され、設定処理の終了を通知するイベントである場合は、終了フラグをＯＮ状態にする（ステップＳ６０８）。
【００３３】
次に、終了フラグがＯＮ状態になっているか否かを判定する（ステップＳ６０９）、この判定の結果、ＯＮ状態でない場合は、ステップＳ６０３に戻り、再度、イベントが発生するまで待機する。一方、ステップＳ６０９の判定の結果、終了フラグがＯＮ状態である場合は、受信処理プログラム１６２により終了イベントを発生させる（ステップＳ６１０）。そして、解析領域決定プログラム１６４により終了イベントを発生させ（ステップＳ６１１）、処理を終了する。
【００３４】
図７は、クライアント端末２２０上の解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図６のステップＳ６０１において設定管理プログラム１６１により解析領域決定プログラム１６４が起動され、まず第１のカメラサーバ２００または第２のカメラサーバ２１０に対して現在の画像解析領域を含む設定情報の取得要求を送信する（ステップＳ７０１）。そして、解析領域決定プログラム１６４に対して何らかのイベントが発生するまで待機する（ステップＳ７０２）。
【００３５】
イベントが発生すると、解析領域決定プログラム１６４はイベントの種別を判定する（ステップＳ７０３）。この判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、出力制御プログラム１６３によりその画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ７０４）。この結果、図５に示す撮像画像５００を表示することになる。
【００３６】
一方、ステップＳ７０３の判定の結果、ユーザにより入力機器３８１が操作されて画像解析領域の指定を通知するイベントである場合は、指定された全頂点を繋げて閉領域になったかどうかを判定（ステップＳ７０５）する。ここで、閉領域になった時とは、ユーザにより例えば図５に示すような頂点をＡ、Ｂ、Ｃ、Ｄ、Ａの順に指定し、２回目のＡを指定した時である。この判定の結果、閉領域になっていない場合は、次の機会に新たな頂点を指定されることに備え、指定された頂点座標の情報を一時記憶部１６５に記憶する（ステップＳ７０７）。また、ステップＳ７０５の判定の結果、閉領域になった場合は、出力制御プログラム１６３により指定された領域をカメラサーバが実施することになる画像解析領域としてディスプレイ等の出力機器３９１に表示させる（ステップＳ７０６）。なお、ステップＳ７０４とステップＳ７０６とでは、領域は異なるが処理内容は同じである。
【００３７】
一方、ステップＳ７０３の判定の結果、設定管理プログラム１６１からの終了を通知するイベントである場合は、終了フラグをＯＮ状態にする（ステップＳ７０８）。次に、終了フラグがＯＮ状態になっているか否かを判定する（ステップＳ７０９）。この判定の結果、終了フラグがＯＮ状態でない場合は、ステップＳ７０２に戻り、再度イベントが発生するまで待機する。一方、ステップＳ７０９の判定の結果、終了フラグがＯＮ状態である場合は、処理を終了する。
【００３８】
図８は、画像解析領域を変更する際の表示例を示す図である。図８（ａ）は、画像解析領域を変更する前の状態を示しており、マウスなどの入力機器３８１を用いて、点Ｂ（３５、２６）をドラッグして左に移動させることを示している。
一方、図８（ｂ）は、点Ｂを座標（３４、２６）にドロップした後の状態を示しており、点Ｂを移動させたことによって、３つのブロックが画像解析の対象になったことがわかる。
【００３９】
このように、クライアント側で自由な形の検知対象領域を指定し、カメラサーバが実施する画像解析領域を表示することにより、ユーザは容易に意図通りの設定を指定することができ、特定事象の誤検知を低減することができる。
【００４０】
（第２の実施形態）
以下、本発明の第２の実施形態による画像処理システムについて説明する。本実施形態では、図７のステップＳ７０１において取得要求を行う設定情報に画像解析領域決定アルゴリズムが加わっている。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４１】
図９は、図７のステップＳ７０４及びＳ７０６で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、受信した第１のカメラサーバ２００または第２のカメラサーバ２１０の設定情報から、カメラサーバの解析領域決定アルゴリズムを判定する（ステップＳ９０１）。そして、ステップＳ９０１で判定した解析領域決定アルゴリズムと、指定される領域情報とからカメラサーバが実際に画像解析を行う領域を算出する（ステップＳ９０２）。この算出処理は解析領域決定アルゴリズム毎に異なるものである。そして、出力制御プログラム１６３により算出した画像解析領域を表示させ（ステップＳ９０３）、処理を終了する。
【００４２】
このように本実施形態では、カメラサーバによって異なる解析領域決定アルゴリズムを採用している場合でも、設定情報に解析領域決定アルゴリズムを含め、そのアルゴリズムに従った画像解析領域を算出する。これにより、さまざまな種類のカメラサーバの画像解析領域を正しく表示することができる。
【００４３】
（第３の実施形態）
以下、本発明の第３の実施形態における画像処理システムについて説明する。本実施形態では、画像解析粒度に応じた画像解析領域の算出手順について説明する。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４４】
図１０は、図７のステップＳ７０４及びＳ７０６で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度とクライアント端末２２０の画像表示粒度とを比較する（ステップＳ１００１）。なお、画像解析粒度の情報は、設定情報として受信したものとする。例えば、画像解析粒度は４０×３０で、画像表示粒度は６４０×４８０である場合は、画像解析粒度の方が大きい。このように画像解析粒度の方が大きい場合は、カメラサーバの画像解析領域を算出する（ステップＳ１００２）。逆に、画像解析粒度が画像表示粒度以下の場合は、カメラサーバの画像解析粒度と画像表示粒度とを同一、つまりカメラサーバの画像解析領域は撮像画像５００上でユーザが指定した領域と同じとみなす（ステップＳ１００３）。そして、出力制御プログラム１６３により算出した画像解析領域を表示させ（ステップＳ１００４）、処理を終了する。
【００４５】
このように、画像解析粒度と画像表示粒度とを比較し、小さい方の粒度に合わせて画像解析領域をユーザに指定させることにより、カメラサーバ及びクライアント端末の処理能力に合わせて、画像解析領域を表示することができる。
【００４６】
（第４の実施形態）
以下、本発明の第４の実施形態における画像処理システムについて説明する。本実施形態では、第１の実施形態と比べて解析領域決定プログラム１６４により実行される処理が異なっており、カメラサーバに画像解析領域を計算させている。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４７】
図１１は、本実施形態における解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図１１において、ステップＳ１１０１〜Ｓ１１０５、Ｓ１１０７はそれぞれ、図７のステップＳ７０１〜Ｓ７０５、Ｓ７０７と同様である。
【００４８】
ステップＳ１１０５の判定の結果、閉領域になった場合は、画像指定領域の情報を、設定情報を送信したカメラサーバに送信し、そのカメラサーバに実際に実施する画像解析領域の情報を要求する（ステップ１１０６）。また、ステップＳ１１０３の判定の結果、イベントとして画像解析領域の応答を受信した場合は、出力制御プログラム１６３により応答に含まれる解析領域リストが示す画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ１１０８）。なお、ステップＳ１１０９及びＳ１１１０はそれぞれ、図７のステップＳ７０８及びＳ７０９である。
【００４９】
図１２は、本実施形態における解析領域リストの一例を示す図である。なお、本実施形態における第１のカメラサーバ２００及び第２のカメラサーバ２１０の画像解析粒度は４０×３０であるものとする。そこで、撮像画像を４０×３０の１２００個の領域に分割し、各分割領域に通し番号０から１１９９を割り振る。
図１２においては、撮像画像を１２００個のブロックに分割し、図５における閉領域ＡＢＣＤを指定した場合を示している。図１２に示すように、解析領域は番号９９６、番号１０３６、番号１０３７、番号１０７５、番号１０７６、番号１０７７、番号１１１６、番号１１１７、番号１１１８、番号１１５６、及び番号１１５７の合計１１ブロックが画像解析領域である。この場合、カメラサーバが画像解析領域に対する応答で送信する解析領域リストは、番号９９６、番号１０３６、番号１０３７、番号１０７５、番号１０７６、番号１０７７、番号１１１６、番号１１１７、番号１１１８、番号１１５６、番号１１５７の情報となる。
【００５０】
本実施形態では、画像を１２００個の領域に分割してそれぞれの位置に通し番号を割り当てたが、座標値をそのまま使用することも可能である。また、解析領域リストは性質上、対象となるブロック領域が連番となることが多いため、開始番号と連続するブロック数とで表現する等、一般的なデータ圧縮技法を適用することも有効である。
【００５１】
このように本実施形態では、クライアント端末２２０側で第１のカメラサーバ２００及び第２のカメラサーバ２１０の画像解析領域を計算するのではなく、第１のカメラサーバ２００及び第２のカメラサーバ２１０自身に画像解析領域を計算させている。これにより、クライアント端末を変更することなく新しい画像領域決定アルゴリズムを持ったカメラサーバにも対応することができる。
【００５２】
（第５の実施形態）
以下、本発明の第５の実施形態における画像処理システムについて説明する。
本実施形態では、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度がクライアント端末２２０の画像表示粒度の１／２、つまり画像解析粒度が１２８０×９６０、画像表示粒度が６４０×４８０の場合について説明する。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００５３】
図１３は、本実施形態におけるクライアント端末２２０側で、カメラサーバが画像解析処理を行う領域を重畳表示した例を示す図である。
クライアント端末２２０側では、第１のカメラサーバ２００または第２のカメラサーバ２１０の撮像画像１３００を表示する。さらに、ユーザが指定した座標（図１３の例では３２０、２００）を頂点の１つとした拡大元画像１３０１を２倍に広げた拡大画像１３０２を表示する。このとき、拡大画像１３０２は第１のカメラサーバ２００または第２のカメラサーバ２１０が画像解析できる単位で表示されているので、ユーザは拡大画像１３０２上で画像解析領域ＡＢＣＤＥＦＧＨＩＪＫを指定することができる。
【００５４】
図１４は、本実施形態における解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図６のステップＳ６０１において設定管理プログラム１６１により解析領域決定プログラム１６４が起動される。そして、第１のカメラサーバ２００または第２のカメラサーバ２１０に対して現在の画像解析領域、画像解析粒度等を含む設定情報の取得要求を送信する（ステップＳ１４０１）。ステップＳ１４０２及びＳ１４０３はそれぞれ、図７のステップＳ７０２及びＳ７０３と同様である。
【００５５】
ステップＳ１４０３の判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、受信した設定情報における画面表示粒度に合わせて変換する（ステップＳ１４０４）。本実施形態では、粒度の比は１／２なので値を１／２にする。そして、出力制御プログラム１６３により変換した画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ１４０５）。この結果、図５に示す撮像画像５００を表示することになる。
【００５６】
一方、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作されて拡大画像を作成するイベントである場合は、指定座標を頂点とした拡大画像を作成する。そして、出力制御プログラム１６３により拡大画像をディスプレイ等の出力機器３９１に表示させる（ステップＳ１４０９）。図１３に示す例では、指定座標を（３２０、２００）として拡大画像１３０２を作成し、表示する。そして、指定座標（３２０、２００）を基準座標としてその情報を一時記憶部１６５に記憶する（ステップＳ１４１０）。本実施形態では、画像解析粒度は画像表示粒度の１／２なので、２倍した座標（６４０、４００）を基準座標として記憶する。
【００５７】
また、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作されて画像解析領域の指定を通知するイベントである場合は、ステップＳ１４０６に進む。ステップＳ１４０６〜Ｓ１４０８はそれぞれ、図７のステップＳ７０５〜Ｓ７０７と同様である。ただし、ステップＳ１４０８においては、基準座標を考慮した座標値で記憶する。本実施形態では、拡大画像１３０２上の点（３２０、２４０）の場合、基準座標（６４０、４００）を足した座標（９６０、６４０）を指定座標として記憶する。
【００５８】
また、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作され、設定管理プログラム１６１からの終了を通知するイベントである場合、終了フラグをＯＮ状態にする（ステップＳ１４０９）。なお、ステップＳ１４１２は、図７のステップＳ７０９と同様である。
【００５９】
このように本実施形態によれば、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度が画像表示粒度より小さい場合は、表示領域を拡大し、その領域に対して画像解析領域を指定する。これにより、処理能力の高いカメラサーバにも対応することができる。また、第３の実施形態と組み合わせ、画像解析粒度が画像表示粒度より大きい場合は、画像解析粒度に合わせて画像解析領域を指定するようにしてもよい。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１６０ 入力制御プログラム、１６１ 設定管理プログラム、１６２ 受信処理プログラム、１６３ 出力制御プログラム、１６４ 解析領域決定プログラム
【技術分野】
【０００１】
本発明は、画像を解析して特定の事象を検知する画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットなどＩＰ（Internet Protocol）ネットワークを利用した配信システムが増加してきており、スキー場や動物園の状況を配信するインターネットサイトや、店舗やビルの監視などにも採用されている。例えば、店舗やビルの監視においては、撮像画像を解析して特定の事象を検知し、事象が発生した際に画像を蓄積したり、管理者が閲覧して確認したりすることが行われている。
【０００３】
画像解析する特定の事象としては、例えば、撮像画像上に物体が出現したかどうかを検知する物体検知や、カメラ制御と連動して検知した物体を追いかける物体追尾が存在する。また、不審物等が置かれたことを検知する置き去り検知、監視対象が持ち去られたことを検知する持ち去り検知、撮像画像からネットワークカメラに対していたずらがされたことを検知するいたずら検知等も存在する。
【０００４】
例えば、特許文献１には、ネットワークカメラの追尾機能の設定方法が開示されている。特許文献１に記載の技術を用いると、ネットワークカメラが配信した画像データと、画像上の動きがあった領域とを重畳表示することにより、追尾機能を容易に設定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１２０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１に開示された従来技術では、ユーザが画面上で指定する領域は必ず矩形であることを前提とした技術であり、その領域はネットワークカメラ側で解析処理を行う領域と同一である。そして、ユーザが監視対象に合わせて矩形以外の検知対象領域を指定する場合であっても、ネットワークカメラが行う解析処理は撮像画像をある一定サイズに分割した領域毎に行う。ところが、ユーザが画面上で指定した領域と、ネットワークカメラ側で解析処理を行う領域とが一致せず、ユーザが意図した通りに設定することが難しく、特定事象を誤検知する場合がある。
【０００７】
本発明は前述の問題点に鑑み、画像解析における特定事象の誤検知を低減できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、前記画像データに基づく画像を表示装置に表示する表示制御手段と、ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザは、カメラが画像解析を行う画像解析領域を確認することができるので、特定事象の誤検知を低減することができる。
【図面の簡単な説明】
【００１０】
【図１】カメラサーバ及びクライアント端末のプログラム構成例を示す図である。
【図２】画像処理システムのシステム構成例を示す図である。
【図３】カメラサーバ及びクライアント端末のハード構成例を示す図である。
【図４】画像解析領域を含む撮像画像の一例を示す図である。
【図５】画像解析領域が指定された撮像画像の一例を示す図である。
【図６】設定管理に関する処理手順の一例を示すフローチャートである。
【図７】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【図８】画像解析領域を変更する際の表示例を示す図である。
【図９】画像解析領域を表示する処理手順の一例を示すフローチャートである。
【図１０】画像解析領域を表示する処理手順の一例を示すフローチャートである。
【図１１】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【図１２】解析領域リストの一例を示す図である。
【図１３】カメラサーバが画像解析処理する領域を重畳表示した例を示す図である。
【図１４】画像解析領域を決定する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の実施形態に好適な画像処理システムの構成及び動作について、図面を参照しながら説明する。
図２は、本実施形態における画像処理システムのシステム構成例を示す図である。
図２に示すように、第１のカメラサーバ２００、第２のカメラサーバ２１０、及びクライアント端末２２０がネットワーク２３０を介して相互に接続されている。第１のカメラサーバ２００及び第２のカメラサーバ２１０は、撮影画角が固定もしくは変更可能なカメラを備え、撮影した画像データを、ネットワーク２３０を介して配信するものである。第１のカメラサーバ２００及び第２のカメラサーバ２１０は独立に動作しており、クライアント端末２２０は、第１のカメラサーバ２００、または第２のカメラサーバ２１０にアクセスし、画像データを取得する。なお、説明を簡略化するためにカメラサーバは２台としているが、３台以上であっても構わない。
【００１２】
また、図２に示すクライアント端末２２０以外にも第１のカメラサーバ２００、または第２のカメラサーバ２１０にアクセスして画像データの受信や蓄積を行う他のクライアント端末があっても構わない。ネットワーク２３０は、Ethernet（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。本実施形態においては、各サーバ・クライアント端末間の通信が支障なく行うことができるのであればその通信規格、規模、構成を問わず、インターネットや、ＬＡＮ（Local Area Network）などが適用可能である。
【００１３】
図３（Ａ）は、本実施形態の第１のカメラサーバ２００のハードウェア構成の一例を示すブロック図である。なお、第２のカメラサーバ２１０も同様の構成であるため、第２のカメラサーバ２１０のハードウェア構成の説明は省略する。
図３（Ａ）に示すように、ＣＰＵ３００、１次記憶装置３１０、２次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、及びネットワークＩ／Ｆ３３５が内部バス３０１を介して相互に接続されている。
【００１４】
１次記憶装置３１０は、ＲＡＭなどの書き込み可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。２次記憶装置３２０は、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブなどの不揮発性の記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、第１のカメラサーバ２００の１次記憶装置３１０及び２次記憶装置３２０に展開される各種プログラム等の詳細については後述する。
【００１５】
画像キャプチャＩ／Ｆ３３０にはカメラ３４０が接続されており、カメラ３４０が撮影した画像データを所定のフォーマットに変換・圧縮して１次記憶装置３１０に転送する。ネットワークＩ／Ｆ３３５はネットワーク２３０と接続するためのＩ／Ｆであり、通信媒体を介してクライアント端末２２０等との通信を行う。
【００１６】
図３（Ｂ）は、クライアント端末２２０のハードウェア構成の一例を示すブロック図である。
図３（Ｂ）に示すように、ＣＰＵ３５０、１次記憶装置３６０、２次記憶装置３７０、ユーザ入力Ｉ／Ｆ３８０、ユーザ出力Ｉ／Ｆ３９０、及びネットワークＩ／Ｆ３９５が内部バス３５１を介して相互に接続されている。
【００１７】
１次記憶装置３６０は、ＲＡＭなどの書き込み可能な高速の記憶装置であり、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。２次記憶装置３７０は、ＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブなどの不揮発性の記憶装置であり、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。なお、クライアント端末２２０の１次記憶装置３６０及び２次記憶装置３７０に展開される各種プログラム等の詳細については後述する。
【００１８】
ユーザ入力Ｉ／Ｆ３８０には、キーボード、マウスなどの入力機器３８１が接続されており、ユーザからの指示を入力する。ユーザ出力Ｉ／Ｆ３９０には、ディスプレイなどの出力機器３９１が接続されており、表示用の画像データなどが出力される。ネットワークＩ／Ｆ３９５は、前述のネットワーク２３０と接続するためのＩ／Ｆであり、通信媒体を介して第１のカメラサーバ２００等との通信を行う。
【００１９】
図１（ａ）は、第１のカメラサーバ２００のソフトウェア構成の一例を示すブロック図である。なお、第２のカメラサーバ２００も同様の構成であるため、第２のカメラサーバ２１０のソフトウェア構成の説明は省略する。
１次記憶装置３１０上には、ＯＳ１００、撮像処理プログラム１１０、画像解析プログラム１１１、配信処理プログラム１１２、及び一時記憶部１１３がロードされる。ＯＳ１００は第１のカメラサーバ２００全体を制御する基本プログラムである。
【００２０】
撮像処理プログラム１１０は、画像キャプチャＩ／Ｆ３３０を経由して、カメラ３４０で生成された画像フレームを入力し、画像フレームを符号化して、一時記憶部１１３に保存する。画像解析プログラム１１１は、２次記憶装置３２０に保存されている画像解析に関連する設定情報を一時記憶部１１３にロードする。また、一時記憶部１１３に記憶された画像フレームを解析し、画像上のどこにどんな形の物体がどれぐらいの時間存在しているのか、といった内容を検出する。さらに、予め設定された１つまたは複数の閾値を超えたことにより特定の事象が発生したことを検出する。また、画像解析プログラム１１１は、クライアント端末２２０から新たな設定情報をネットワークＩ／Ｆ３３５を通して受信すると、一時記憶部１１３または２次記憶装置３２０に保存し、新しい設定情報により画像解析を開始する。
【００２１】
配信処理プログラム１１２は、外部からの要求に応じ、ネットワークＩ／Ｆ３３５を制御することにより、一時記憶部１１３に記憶されている画像フレームを、ネットワーク２３０を介してクライアント端末２２０などへ送信する。また、各プログラム同士の連携は、必要に応じてＯＳ１００が提供する機能を用いる。
【００２２】
図１（ｂ）は、クライアント端末２２０のソフトウェア構成の一例を示すブロック図である。
１次記憶装置３６０上には、ＯＳ１５０、入力制御プログラム１６０、設定管理プログラム１６１、受信処理プログラム１６２、出力制御プログラム１６３、解析領域決定プログラム１６４、及び一時記憶部１６５がロードされる。ＯＳ１５０はクライアント端末２２０全体を制御する基本プログラムである。
【００２３】
入力制御プログラム１６０は、ユーザがキーボードやマウスなど入力機器３８１を操作することにより、設定管理プログラム１６１を起動する。本実施形態では、ユーザがキーボードやマウスなどを直接操作する以外に、ネットワーク経由の操作や、自動実行プログラムでも実現可能である。設定管理プログラム１６１は、第１のカメラサーバ２００または第２のカメラサーバ２１０が処理する解析領域を表示するために解析領域決定プログラム１６４を起動し、さらに画像フレームを取得するため受信処理プログラム１６２を起動する。また、設定管理プログラム１６１は、出力制御プログラム１６３を起動し、画像フレームを表示させたり、ユーザの操作により決定した解析領域の情報を第１のカメラサーバ２００または第２のカメラサーバ２１０に送信させたりする。
【００２４】
解析領域決定プログラム１６４は、第１のカメラサーバ２００または第２のカメラサーバ２１０から画像解析領域等を含む設定情報を取得し、カメラサーバ内で実行される画像解析領域を決定する。そして、出力制御プログラム１６３により解析領域を表示させる。受信処理プログラム１６２は、ネットワークＩ／Ｆ３９５を制御することにより、ネットワーク２３０を介して第１のカメラサーバ２００または第２のカメラサーバ２１０から画像フレームを受信し、一時記憶部１６５に保存する。出力制御プログラム１６３は、受信処理プログラム１６２や解析領域決定プログラム１６４の指示に従い、画像フレームや解析領域をディスプレイ等の出力機器３９１に表示制御する。なお、各プログラム同士の連携は、必要に応じてＯＳ１００が提供する機能を用いることとする。
【００２５】
図４（ａ）は、クライアント端末２２０が出力機器３９１であるディスプレイに表示する画像解析処理の設定画面の一例を示す図である。
図４（ａ）においては、監視対象４１０が映っている撮像画像４００上に画像解析領域４２０を指定した時を示している。本実施形態では、クライアント端末２２０は第１のカメラサーバ２００または第２のカメラサーバ２１０から取得した画像フレーム（解像度：６４０×４８０）を表示し、その画像上の４点Ａ、Ｂ、Ｃ、Ｄからなる閉領域を指定する。
【００２６】
図４（ｂ）は、第１のカメラサーバ２００及び第２のカメラサーバ２１０での画像解析処理ブロックの一例を示す図である。
図４（ｂ）においては、図４（ａ）の画面における４点Ａ、Ｂ、Ｃ、Ｄを指定した場合に、どの領域を画像処理対象とするのかを示している。クライアント端末２２０の出力機器３９１に表示される画像解析領域４２０に相当する画像解析領域４７０に対し、第１のカメラサーバ２００及び第２のカメラサーバ２１０が解析処理を行う領域はブロック領域４６０となる。
【００２７】
本実施形態では、第１のカメラサーバ２００及び第２のカメラサーバ２１０は、解像度が３２０×２４０の画像フレームに対し、８×８の単位で分割した４０×３０の粒度で画像解析処理を実施する。このように、クライアント端末２２０上では６４０×４８０の粒度で解析領域を指定するのに対し、第１のカメラサーバ２００及び第２のカメラサーバ２１０上では４０×３０の粒度で画像解析処理を実施する。
【００２８】
図５は、クライアント端末２２０のディスプレイに、カメラサーバが実際に画像解析処理する領域を重畳表示した例を示す図である。
図５においては、監視対象５１０が映っている撮像画像５００上に画像解析領域５２０を指定した時のカメラサーバが画像解析処理を行う画像解析領域５３０を示している。
【００２９】
このように、クライアント端末２２０側にユーザが指定した領域に対して実際に画像解析する領域を重畳して表示することにより、ユーザが意図した領域に対して画像解析処理が行われるのか否かを確認することができる。本実施形態では、四角形の単位で解析領域を設けているが、監視対象に合わせて四角形以外の多角形で指定してもよい。また、図５では、カメラサーバが画像解析処理を行う領域をそのまま重畳表示しているが、画像解析領域が確認できるのであれば、枠表示など別の表示方法でもよい。
【００３０】
図６は、クライアント端末２２０上の設定管理プログラム１６１により実行される処理手順の一例を示すフローチャートである。
まず、設定管理プログラム１６１は、ユーザによりキーボードやマウスなど入力機器３８１が操作され、画像解析処理を設定するときに起動される。そして、設定管理プログラム１６１は、解析領域決定プログラム１６４を起動し、解析領域決定処理を開始可能な状態にする（ステップＳ６０１）。次に、受信処理プログラム１６２を起動し、ネットワークＩ／Ｆ３９５を制御することにより、第１のカメラサーバ２００または第２のカメラサーバ２１０から画像データの受信を開始可能な状態にする（ステップＳ６０２）。そして、設定管理プログラム１６１に対して何らかのイベントが発生するまで待機する（ステップＳ６０３）。
【００３１】
イベントが発生すると、設定管理プログラム１６１は、イベントの種別を判定する（ステップＳ６０４）。この判定の結果、画像データの受信を通知するイベントである場合は、出力制御プログラム１６３により受信した画像データ（画像フレーム）をディスプレイ等の出力機器３９１に表示させる（ステップＳ６０５）。この結果、図４（ａ）に示す撮像画像４００を表示することになる。
【００３２】
一方、ステップＳ６０４の判定の結果、ユーザにより入力機器３８１が操作されたことによる設定情報を保存するイベントである場合は、現在表示している画像解析領域の情報を解析領域決定プログラム１６４により取得する（ステップＳ６０６）。そして、出力制御プログラム１６３によりネットワークＩ／Ｆ３９５を制御することによりカメラサーバに設定情報を送信させる（ステップＳ６０７）。ここで、画像解析領域の情報とは、図４（ａ）に示す画像解析領域４２０の各頂点（４点Ａ、Ｂ、Ｃ、Ｄ）の座標のことである。また、ステップＳ６０４の判定の結果、ユーザにより入力機器３８１が操作され、設定処理の終了を通知するイベントである場合は、終了フラグをＯＮ状態にする（ステップＳ６０８）。
【００３３】
次に、終了フラグがＯＮ状態になっているか否かを判定する（ステップＳ６０９）、この判定の結果、ＯＮ状態でない場合は、ステップＳ６０３に戻り、再度、イベントが発生するまで待機する。一方、ステップＳ６０９の判定の結果、終了フラグがＯＮ状態である場合は、受信処理プログラム１６２により終了イベントを発生させる（ステップＳ６１０）。そして、解析領域決定プログラム１６４により終了イベントを発生させ（ステップＳ６１１）、処理を終了する。
【００３４】
図７は、クライアント端末２２０上の解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図６のステップＳ６０１において設定管理プログラム１６１により解析領域決定プログラム１６４が起動され、まず第１のカメラサーバ２００または第２のカメラサーバ２１０に対して現在の画像解析領域を含む設定情報の取得要求を送信する（ステップＳ７０１）。そして、解析領域決定プログラム１６４に対して何らかのイベントが発生するまで待機する（ステップＳ７０２）。
【００３５】
イベントが発生すると、解析領域決定プログラム１６４はイベントの種別を判定する（ステップＳ７０３）。この判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、出力制御プログラム１６３によりその画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ７０４）。この結果、図５に示す撮像画像５００を表示することになる。
【００３６】
一方、ステップＳ７０３の判定の結果、ユーザにより入力機器３８１が操作されて画像解析領域の指定を通知するイベントである場合は、指定された全頂点を繋げて閉領域になったかどうかを判定（ステップＳ７０５）する。ここで、閉領域になった時とは、ユーザにより例えば図５に示すような頂点をＡ、Ｂ、Ｃ、Ｄ、Ａの順に指定し、２回目のＡを指定した時である。この判定の結果、閉領域になっていない場合は、次の機会に新たな頂点を指定されることに備え、指定された頂点座標の情報を一時記憶部１６５に記憶する（ステップＳ７０７）。また、ステップＳ７０５の判定の結果、閉領域になった場合は、出力制御プログラム１６３により指定された領域をカメラサーバが実施することになる画像解析領域としてディスプレイ等の出力機器３９１に表示させる（ステップＳ７０６）。なお、ステップＳ７０４とステップＳ７０６とでは、領域は異なるが処理内容は同じである。
【００３７】
一方、ステップＳ７０３の判定の結果、設定管理プログラム１６１からの終了を通知するイベントである場合は、終了フラグをＯＮ状態にする（ステップＳ７０８）。次に、終了フラグがＯＮ状態になっているか否かを判定する（ステップＳ７０９）。この判定の結果、終了フラグがＯＮ状態でない場合は、ステップＳ７０２に戻り、再度イベントが発生するまで待機する。一方、ステップＳ７０９の判定の結果、終了フラグがＯＮ状態である場合は、処理を終了する。
【００３８】
図８は、画像解析領域を変更する際の表示例を示す図である。図８（ａ）は、画像解析領域を変更する前の状態を示しており、マウスなどの入力機器３８１を用いて、点Ｂ（３５、２６）をドラッグして左に移動させることを示している。
一方、図８（ｂ）は、点Ｂを座標（３４、２６）にドロップした後の状態を示しており、点Ｂを移動させたことによって、３つのブロックが画像解析の対象になったことがわかる。
【００３９】
このように、クライアント側で自由な形の検知対象領域を指定し、カメラサーバが実施する画像解析領域を表示することにより、ユーザは容易に意図通りの設定を指定することができ、特定事象の誤検知を低減することができる。
【００４０】
（第２の実施形態）
以下、本発明の第２の実施形態による画像処理システムについて説明する。本実施形態では、図７のステップＳ７０１において取得要求を行う設定情報に画像解析領域決定アルゴリズムが加わっている。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４１】
図９は、図７のステップＳ７０４及びＳ７０６で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、受信した第１のカメラサーバ２００または第２のカメラサーバ２１０の設定情報から、カメラサーバの解析領域決定アルゴリズムを判定する（ステップＳ９０１）。そして、ステップＳ９０１で判定した解析領域決定アルゴリズムと、指定される領域情報とからカメラサーバが実際に画像解析を行う領域を算出する（ステップＳ９０２）。この算出処理は解析領域決定アルゴリズム毎に異なるものである。そして、出力制御プログラム１６３により算出した画像解析領域を表示させ（ステップＳ９０３）、処理を終了する。
【００４２】
このように本実施形態では、カメラサーバによって異なる解析領域決定アルゴリズムを採用している場合でも、設定情報に解析領域決定アルゴリズムを含め、そのアルゴリズムに従った画像解析領域を算出する。これにより、さまざまな種類のカメラサーバの画像解析領域を正しく表示することができる。
【００４３】
（第３の実施形態）
以下、本発明の第３の実施形態における画像処理システムについて説明する。本実施形態では、画像解析粒度に応じた画像解析領域の算出手順について説明する。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４４】
図１０は、図７のステップＳ７０４及びＳ７０６で実施する画像解析領域を表示する処理手順の一例を示すフローチャートである。
まず、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度とクライアント端末２２０の画像表示粒度とを比較する（ステップＳ１００１）。なお、画像解析粒度の情報は、設定情報として受信したものとする。例えば、画像解析粒度は４０×３０で、画像表示粒度は６４０×４８０である場合は、画像解析粒度の方が大きい。このように画像解析粒度の方が大きい場合は、カメラサーバの画像解析領域を算出する（ステップＳ１００２）。逆に、画像解析粒度が画像表示粒度以下の場合は、カメラサーバの画像解析粒度と画像表示粒度とを同一、つまりカメラサーバの画像解析領域は撮像画像５００上でユーザが指定した領域と同じとみなす（ステップＳ１００３）。そして、出力制御プログラム１６３により算出した画像解析領域を表示させ（ステップＳ１００４）、処理を終了する。
【００４５】
このように、画像解析粒度と画像表示粒度とを比較し、小さい方の粒度に合わせて画像解析領域をユーザに指定させることにより、カメラサーバ及びクライアント端末の処理能力に合わせて、画像解析領域を表示することができる。
【００４６】
（第４の実施形態）
以下、本発明の第４の実施形態における画像処理システムについて説明する。本実施形態では、第１の実施形態と比べて解析領域決定プログラム１６４により実行される処理が異なっており、カメラサーバに画像解析領域を計算させている。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００４７】
図１１は、本実施形態における解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図１１において、ステップＳ１１０１〜Ｓ１１０５、Ｓ１１０７はそれぞれ、図７のステップＳ７０１〜Ｓ７０５、Ｓ７０７と同様である。
【００４８】
ステップＳ１１０５の判定の結果、閉領域になった場合は、画像指定領域の情報を、設定情報を送信したカメラサーバに送信し、そのカメラサーバに実際に実施する画像解析領域の情報を要求する（ステップ１１０６）。また、ステップＳ１１０３の判定の結果、イベントとして画像解析領域の応答を受信した場合は、出力制御プログラム１６３により応答に含まれる解析領域リストが示す画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ１１０８）。なお、ステップＳ１１０９及びＳ１１１０はそれぞれ、図７のステップＳ７０８及びＳ７０９である。
【００４９】
図１２は、本実施形態における解析領域リストの一例を示す図である。なお、本実施形態における第１のカメラサーバ２００及び第２のカメラサーバ２１０の画像解析粒度は４０×３０であるものとする。そこで、撮像画像を４０×３０の１２００個の領域に分割し、各分割領域に通し番号０から１１９９を割り振る。
図１２においては、撮像画像を１２００個のブロックに分割し、図５における閉領域ＡＢＣＤを指定した場合を示している。図１２に示すように、解析領域は番号９９６、番号１０３６、番号１０３７、番号１０７５、番号１０７６、番号１０７７、番号１１１６、番号１１１７、番号１１１８、番号１１５６、及び番号１１５７の合計１１ブロックが画像解析領域である。この場合、カメラサーバが画像解析領域に対する応答で送信する解析領域リストは、番号９９６、番号１０３６、番号１０３７、番号１０７５、番号１０７６、番号１０７７、番号１１１６、番号１１１７、番号１１１８、番号１１５６、番号１１５７の情報となる。
【００５０】
本実施形態では、画像を１２００個の領域に分割してそれぞれの位置に通し番号を割り当てたが、座標値をそのまま使用することも可能である。また、解析領域リストは性質上、対象となるブロック領域が連番となることが多いため、開始番号と連続するブロック数とで表現する等、一般的なデータ圧縮技法を適用することも有効である。
【００５１】
このように本実施形態では、クライアント端末２２０側で第１のカメラサーバ２００及び第２のカメラサーバ２１０の画像解析領域を計算するのではなく、第１のカメラサーバ２００及び第２のカメラサーバ２１０自身に画像解析領域を計算させている。これにより、クライアント端末を変更することなく新しい画像領域決定アルゴリズムを持ったカメラサーバにも対応することができる。
【００５２】
（第５の実施形態）
以下、本発明の第５の実施形態における画像処理システムについて説明する。
本実施形態では、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度がクライアント端末２２０の画像表示粒度の１／２、つまり画像解析粒度が１２８０×９６０、画像表示粒度が６４０×４８０の場合について説明する。なお、その他については、第１の実施形態と同様であるため、説明は省略する。
【００５３】
図１３は、本実施形態におけるクライアント端末２２０側で、カメラサーバが画像解析処理を行う領域を重畳表示した例を示す図である。
クライアント端末２２０側では、第１のカメラサーバ２００または第２のカメラサーバ２１０の撮像画像１３００を表示する。さらに、ユーザが指定した座標（図１３の例では３２０、２００）を頂点の１つとした拡大元画像１３０１を２倍に広げた拡大画像１３０２を表示する。このとき、拡大画像１３０２は第１のカメラサーバ２００または第２のカメラサーバ２１０が画像解析できる単位で表示されているので、ユーザは拡大画像１３０２上で画像解析領域ＡＢＣＤＥＦＧＨＩＪＫを指定することができる。
【００５４】
図１４は、本実施形態における解析領域決定プログラム１６４により実行される処理手順の一例を示すフローチャートである。
図６のステップＳ６０１において設定管理プログラム１６１により解析領域決定プログラム１６４が起動される。そして、第１のカメラサーバ２００または第２のカメラサーバ２１０に対して現在の画像解析領域、画像解析粒度等を含む設定情報の取得要求を送信する（ステップＳ１４０１）。ステップＳ１４０２及びＳ１４０３はそれぞれ、図７のステップＳ７０２及びＳ７０３と同様である。
【００５５】
ステップＳ１４０３の判定の結果、設定情報の受信を通知するイベントである場合は、受信した設定情報から現在カメラサーバが画像解析している領域の情報を取得する。そして、受信した設定情報における画面表示粒度に合わせて変換する（ステップＳ１４０４）。本実施形態では、粒度の比は１／２なので値を１／２にする。そして、出力制御プログラム１６３により変換した画像解析領域をディスプレイ等の出力機器３９１に表示させる（ステップＳ１４０５）。この結果、図５に示す撮像画像５００を表示することになる。
【００５６】
一方、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作されて拡大画像を作成するイベントである場合は、指定座標を頂点とした拡大画像を作成する。そして、出力制御プログラム１６３により拡大画像をディスプレイ等の出力機器３９１に表示させる（ステップＳ１４０９）。図１３に示す例では、指定座標を（３２０、２００）として拡大画像１３０２を作成し、表示する。そして、指定座標（３２０、２００）を基準座標としてその情報を一時記憶部１６５に記憶する（ステップＳ１４１０）。本実施形態では、画像解析粒度は画像表示粒度の１／２なので、２倍した座標（６４０、４００）を基準座標として記憶する。
【００５７】
また、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作されて画像解析領域の指定を通知するイベントである場合は、ステップＳ１４０６に進む。ステップＳ１４０６〜Ｓ１４０８はそれぞれ、図７のステップＳ７０５〜Ｓ７０７と同様である。ただし、ステップＳ１４０８においては、基準座標を考慮した座標値で記憶する。本実施形態では、拡大画像１３０２上の点（３２０、２４０）の場合、基準座標（６４０、４００）を足した座標（９６０、６４０）を指定座標として記憶する。
【００５８】
また、ステップＳ１４０３の判定の結果、ユーザにより入力機器３８１が操作され、設定管理プログラム１６１からの終了を通知するイベントである場合、終了フラグをＯＮ状態にする（ステップＳ１４０９）。なお、ステップＳ１４１２は、図７のステップＳ７０９と同様である。
【００５９】
このように本実施形態によれば、第１のカメラサーバ２００または第２のカメラサーバ２１０の画像解析粒度が画像表示粒度より小さい場合は、表示領域を拡大し、その領域に対して画像解析領域を指定する。これにより、処理能力の高いカメラサーバにも対応することができる。また、第３の実施形態と組み合わせ、画像解析粒度が画像表示粒度より大きい場合は、画像解析粒度に合わせて画像解析領域を指定するようにしてもよい。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１６０ 入力制御プログラム、１６１ 設定管理プログラム、１６２ 受信処理プログラム、１６３ 出力制御プログラム、１６４ 解析領域決定プログラム
【特許請求の範囲】
【請求項１】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、さらに前記撮像装置が画像解析する画像解析粒度の情報を取得し、
前記指定手段は、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度を超える場合は、前記撮像装置の画像解析粒度で前記画像解析領域を指定し、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度以下の場合は、前記表示粒度で前記画像解析領域を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記撮像装置の画像解析粒度が表示粒度以下の場合は前記表示装置に表示されている画像を拡大することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段は、さらに前記画像データにおけるブロックの位置を示す番号のリストを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記指定手段は、前記画像解析領域の頂点を指定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記画像解析領域を決定するアルゴリズムの情報をも取得することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
監視対象を撮像して画像解析する撮像装置と、前記撮像装置から前記監視対象を含む画像データを受信する画像処理装置とがネットワークに接続された画像処理システムであって、
前記撮像装置は、
監視対象を撮像して画像データを生成する撮像手段と、
前記撮像手段によって生成された画像データから前記監視対象の画像解析を行う画像解析手段と、
前記撮像手段によって生成された画像データを送信するとともに、前記画像解析手段によって解析される画像解析領域の情報を含む設定情報を前記画像処理装置に送信する通信手段とを備え、
前記画像解析手段は、前記画像処理装置から前記画像解析領域の情報を受信した場合は、前記受信した画像解析領域に従って画像解析を行い、
前記画像処理装置は、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理システム。
【請求項８】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理方法であって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とを備え、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理方法。
【請求項９】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置を制御するためのプログラムであって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とをコンピュータに実行させ、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とするプログラム。
【請求項１】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置であって、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、さらに前記撮像装置が画像解析する画像解析粒度の情報を取得し、
前記指定手段は、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度を超える場合は、前記撮像装置の画像解析粒度で前記画像解析領域を指定し、前記撮像装置の画像解析粒度が前記表示制御手段によって表示される際の表示粒度以下の場合は、前記表示粒度で前記画像解析領域を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記撮像装置の画像解析粒度が表示粒度以下の場合は前記表示装置に表示されている画像を拡大することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記取得手段は、さらに前記画像データにおけるブロックの位置を示す番号のリストを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記指定手段は、前記画像解析領域の頂点を指定することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記取得手段は、前記画像解析領域を決定するアルゴリズムの情報をも取得することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
監視対象を撮像して画像解析する撮像装置と、前記撮像装置から前記監視対象を含む画像データを受信する画像処理装置とがネットワークに接続された画像処理システムであって、
前記撮像装置は、
監視対象を撮像して画像データを生成する撮像手段と、
前記撮像手段によって生成された画像データから前記監視対象の画像解析を行う画像解析手段と、
前記撮像手段によって生成された画像データを送信するとともに、前記画像解析手段によって解析される画像解析領域の情報を含む設定情報を前記画像処理装置に送信する通信手段とを備え、
前記画像解析手段は、前記画像処理装置から前記画像解析領域の情報を受信した場合は、前記受信した画像解析領域に従って画像解析を行い、
前記画像処理装置は、
前記画像データに基づく画像を表示装置に表示する表示制御手段と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定手段と、
前記指定手段により指定された画像解析領域の情報を前記撮像装置に送信する送信手段と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得手段とを備え、
前記表示制御手段は、前記取得手段によって取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理システム。
【請求項８】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理方法であって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とを備え、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とする画像処理方法。
【請求項９】
監視対象を撮像して画像解析する撮像装置から、前記監視対象を含む画像データを受信する画像処理装置を制御するためのプログラムであって、
前記画像データに基づく画像を表示装置に表示する表示制御工程と、
ユーザの操作に応じて、前記表示装置に表示された画像において画像解析領域を指定する指定工程と、
前記指定工程において指定された画像解析領域の情報を前記撮像装置に送信する送信工程と、
前記撮像装置から画像解析領域の情報を含む設定情報を取得する取得工程とをコンピュータに実行させ、
前記表示制御工程においては、前記取得工程において取得された設定情報に基づいて、前記画像と前記画像解析領域とを重畳して前記表示装置に表示することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１０２３３（Ｐ２０１２−１０２３３Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４６０９７（Ｐ２０１０−１４６０９７）
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２８日（２０１０．６．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]