画像処理装置、画像処理システム及びプログラム
【課題】処理負担を掛けずに移動体を確実に追跡して得た注視部分画像のみを蓄積すると共に、蓄積画像から、所望の画像を効率よく検索できるようにする。
【解決手段】監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部２１のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部１３に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部１４に表示する。
【解決手段】監視領域の全景画像内に注視領域を設定し、画像解析手段により、設定した注視領域の画像を解析して移動体を検出し、検出に基づきカメラ部２１のズームカメラを作動して上記移動体を撮影する。その際、注視部分画像に全景画像との空間的な関係情報と、注視部分画像の全景画像における時間軸上の遷移を示す時間的な関係情報を作成し、注視部分画像に前記各関係情報を付与して画像記憶部１３に記憶させる。検索時には、上記各関係情報を用いて、全景画像及び注視部分画像を検索して両画像を重ねて表示部１４に表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、とくに、広角画像とズーム画像とを関係情報と共に保存すると共に、前記関係情報を手掛かりに保存した画像を検索することができる画像処理装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
例えば、防犯システムなどにおいて監視カメラの画像で監視する場合、全方位カメラと、ズームカメラを用いて撮影した画像、即ち、全方位画像と、ズーム画像とを同じ視野内で確認できるように画像を重ね合わせて表示するものが知られている（特許文献１参照）。
この従来の監視システムは、図６に示すように、ズームカメラ１と、光学系２ａを介して最大周囲３６０°の視野を有する全方位画像を撮影する全方位カメラ２と、全方位画像を表示する表示部３ｅと、全方位画像の所定範囲を監視領域として設定し、監視領域内に存在する被写体の動きを検知する検知部３５ａと、一つの監視領域を検知部３５ａの検知結果または手動により指定する指定部３２ａと、この指定監視領域に対して予めズームカメラ１の位置・倍率が設定された制御情報に基づいてズーム撮影するようズームカメラ１を制御するズームカメラ制御ユニット４とから構成されている。
【０００３】
これにより、全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することができる。
ところで、このようにして撮影された画像情報は後に利用できるように記憶装置に記憶させておくが、そのデータ量は膨大であるため、その検索を効率よく行うことが喫緊の課題となっている。
【０００４】
従来の検索手法としては、特許文献に記載されたものではないが、（１）単純なモーションディテクト（動き検知）機能を用いてリアルタイムでイベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うもの、（２）画像記録後に、画像を解析し、画像の場面が大きく変わる部分を推定して、イベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うものが知られている。
【０００５】
しかしながら、（１）の手法では、ノイズ的なイベントを拾い上げる結果、検索時にノイズが多くなる。また、（２）の画像記録後に画像を解析する手法は現在のところ、監視現場で日常的に使用出来るレベルには到達していない。
また、従来の手法では、注視した対象が小さくしか捉えられず、したがって情報が十分に得られず、或いは注視した対象が他の対象に埋もれてしまい、追跡し難いことがある。そこで、上記欠点を補うため注視した対象の画像を高解像度化することが考えられるが、その場合には、データ処理量が大きくなるため処理負担が重くなり過ぎて実用的ではない等の問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２５９３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、画像検索手段における上記従来の問題に鑑みてなされたものであって、その目的は、情報処理負担を増大させずに、広角カメラ画像である全景画像と全景画像内の注視領域を撮影したズームカメラ画像である注視部分画像を、対応関係を付けて保存し、保存画像から、保存時に入力した全景画像と注視部分画像の対応関係を規定する関係情報に基づき所望の画像を、確実かつ効率よく検索できるようにすることである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、監視領域の全景画像内に注視領域を設定する注視領域設定部と、設定した注視領域の画像を解析して対象物を検出する画像解析部と、前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、前記撮影した注視部分画像を取得する注視部分画像取得部と、前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、対象物の判断条件を設定する条件設定部を有し、前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置である。
請求項３の発明は、請求項２に記載された画像処理装置において、前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置である。
請求項４の発明は、請求項１ないし３の何れかに記載された画像処理装置において、前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置である。
請求項５の発明は、コンピュータにより、請求項１ないし４の何れかに記載された画像処理装置の各部の機能を実現するためのプログラムである。
請求項６の発明は、請求項１ないし４の何れかに記載された画像処理装置と、全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システムである。
【発明の効果】
【０００９】
本発明によれば、全景画像中に注視領域を設定することで監視のための情報処理負担を軽減できる。また、注視部分画像であるための判断条件を設定しておくことで、ノイズを低減しつつ全景画像と注視部分画像を記録・保存することができる。
検索時には、全景画像と注視部分領域画像を保存する際に用いた両画像の対応関係情報を検索キー（検索手掛かり）として、蓄積した前記画像から、所望の画像を効率よく確実に検索することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理システム構成を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置の制御部の構成を示すブロック図である。
【図３】全景画像と注視部分画像との関係を説明するための図である。
【図４】画像データの蓄積手順を説明するフロー図である。
【図５】蓄積した画像データの検索手順を説明するためのフロー図である。
【図６】従来の監視システムを示すブロック図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態に係る画像処理システム構成を示すブロック図である。
本実施形態に係る画像処理システムは、互いに通信可能に接続された画像処理装置１０と撮影装置２０とからなっている。
画像処理装置１０は、画像処理装置１０全体を制御する制御部１１と、撮影装置２０との有線又は無線で通信を行う通信部１２と、例えば、ＤＶＤ―ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＢＤ（Blue-ray Disc）―ＲＯＭなど画像を記録する任意の記憶媒体で構成された画像記憶部１３と，画像表示可能な例えば液晶（ＬＣ）やＥＬ（エレクトロルミネッセンス）等の表示装置からなる表示部１４と、設定などの操作のための入力部１５と、を有している。
撮影装置２０は、広角画像カメラと、全景画像（広角画像）中の注視した部分情報が不足しない程度の解像度の高解像度カメラ又はＰＴＺ（パン・チルト・ズーム）カメラ（ズーム画像カメラ）からなる撮影部２１と、画像処理装置１０との間で画像データやコマンドの送信を行うための通信部２２とを有している。
【００１２】
図２は、本発明の実施形態に係る画像処理装置１０の制御部１１を示すブロック図である。
本画像処理装置１０は、撮影装置２０の撮影部２１で全景画像（広角画像）及び注視部分画像（ズーム画像）を取得し、それをそのまま記録するのではなく、粗い解像度の全景画像（広角画像）と、高解像度であるが小領域に限定される注視部分画像の組合わせと、それに両画像の空間的関係情報、並びに全景画像における注視部分画像の時間軸上の変化情報、つまり両画像の時間的関係情報を付加して上記画像記憶部１３に記録する。
また、記録した上記画像情報は、上記各関係情報を検索キーとして検索する。
【００１３】
画像処理装置１０の制御部１１は、上記処理の制御を行うため、上記撮影部２１のカメラを制御するカメラ制御部１１１と、全景画像中に注視領域を設定する注視領域設定部１１２と、注視領域内の注視したい対象物（移動体）を検知するため、例えば全景画像の前後のフレーム毎にパターンマッチングにより差分画像を作成する等の処理を行う画像解析部１１３と、検知した移動体が注視部分画像であるか否かを判断するための条件を設定する条件設定部１１４と、設定条件に合致したとき注視部分画像としてその画像を取得する注視部分画像取得部１１５と、全景画像（広角画像）のフレーム内における注視部分画像のフレームの空間的な関係を記録する空間関係情報作成部１１６と、時間軸上の注視部分画像の各イベント、即ち、移動体画像の発生点、所定程度以上に変化する変化時点（大きな変化点という）、消失時点を記録して時間関係情報を作成する時間関係情報作成部１１７と、記録した画像情報を検索する画像検索部１１８と、表示部１４を制御する画像表示制御部１１９とを有している。
【００１４】
また、上記制御部１１は、制御部１１の動作のための一時的な記憶手段となるＲＡＭ１２０と、画像処理装置１０における画像処理を行うためのプログラムを格納したＲＯＭ１２１とを備えている。
【００１５】
注視領域の設定は、例えば、画像取得時に表示部１４で画像をモニタしている操作者が、モニタ画面上において注視領域をポインティングデバイスなどで指定する。
ここで、注視部分画像を取得する注視部分画像取得部１１５が、上記のように設定した画像内の注視領域において、監視対象物、例えば侵入者などの移動体を検知したときは、カメラ制御部１１１により撮影装置２０の撮影部２１の注視部分画像取得カメラ（ズームカメラ）を作動する。
【００１６】
また、注視部分画像取得部１１５は、注視部分画像内で移動体を検知したとき、これを注視部分画像候補として、これも前記条件設定部１１４で設定した移動体の経路や動線、注視領域での動作などを前記画像解析部１１３により自動判別して、前記の注視部分画像候補を注視部分画像か否かを決定する。注視部分画像と決定した場合、前記の取得開始（注視部分画像の発生）から条件設定部１１４で設定した特定の取得停止条件（例えば、注視領域から出る等）に至るまで記録対象とする。
他方、注視部分画像でないと決定した場合は、注視部分画像候補として取得した内容を記録対象から外す（或いは優先度が付されていれば、優先度を下げる）処理を行う。
【００１７】
注視部分画像と全景画像との時間的関係情報を作成する時間関係情報作成部１１７は、例えば、１５フレーム／秒で記録すると仮定したとき、注視部分画像の各フレームが全景画像のどのフレームに対応するかの情報（時間軸上の対応関係情報）を作成する。注視部分画像と全景画像との空間的関係情報を作成する空間関係情報作成部１１６は、注視部分画像のフレームが全景画像フレーム内のどの領域に対応するかの空間関係情報を作成し、密なデータ組として画像記憶部１３に記録（保存）する。或いは、疎なデータ組とデータ組間を補間する特性式若しくはデータテーブルとして記録してもよい。
本実施形態では、この対応関係情報を後に検索時における検索手掛かり（検索キー）として利用する。
【００１８】
ここで、密なデータ組は、例えば１５フレーム／秒の各フレームについて対応情報をデータとして用意して組み込むという意味であり、疎なデータ組では、例えば１５フレーム／秒の画像の場合、１秒に１フレームだけデータ組を保存し、残りの１４フレームについては、補間テーブルを構成するデータであるパラメータ或いは補間特性式による算出のためのパラメータを組み込む。
【００１９】
時間関係情報作成部１１７は、注視部分画像発生時点、大きな変化時点、注視部分画像の消失時点、記録注視時点の各時点を記録し、基準となる時間軸上のある時点から、どの程度偏移しているかを表現するデータ組形式で記録する。
例えば、基準とする時点（基準時点）が０時０分００秒で、注視部分画像候補発生時点が、０時５分２０秒５０だったとすると、この「注視部分画像候補発生時点」というイベントに付随するデータ組に「基準時点からの偏移：５分２０秒５０」を含める。
【００２０】
図３は、注視領域及び判断条件の設定を説明するための図である。
図は、全景画面３０中における注視部分画像（移動体）３２を示している。ここでは例えば室内の全景画像内で予め設定された通路などの注視領域Ｒにおいて、移動体を検知したときこれを追跡して注視部分画像を取得する場合について説明する。
即ち、移動体３２を時問ｔ１で検知したときは、注視部分画像取得部１１５は、移動体３２を注視部分画像候補として画像の取得を開始し、空間関係情報作成部１１６は、注視部分画像と全景画像（広角画像）との空間位置の対応関係情報を作成してその記録を開始し、時間関係情報作成部１１７は、時間軸上の注視部分画像候補の発生時点、上記大きな変化時点、消失時点について画像記憶部１３への記録を開始する。
【００２１】
図３において、移動体３２が注視領域Ｒを移動している間は、注視部分画像取得部１１５は、移動体３２を注視部分画像候補として画像の取得を継続し、かつ空間関係情報作成部１１６及び時間関係情報作成部１１７は、上記時間軸上の対応関係情報と、空間位置の対応関係情報の作成及び記録を継続し、時間ｔ３で移動体３２が全景画像３０から消失したときは、注視部分画像取得部１１５は、移動体３２を注視部分画像と判断して、画像記憶部１３に記録（保存）する。
【００２２】
他方、上記注視部分画像候補である移動体３２が表示された全景画像中において、往視領域Ｒの途中で外れて消失したときは、注視部分画像取得部１１５は、上記移動体３２は注視部分画像でないと判断して、それまで継続して取得及び記録していた注視部分画像データ及び関連情報を全て記録対象から外す処理を行うか、又はデータに優先度を付けて保存する場合には、その優先度を下げて保存を行う。
なお、これとは逆に、移動体３２が注視領域Ｒをそのまま通過して全景画像から消えたときは、上記注視部分画像候補は注視部分画像でないと判断し、注視領域Ｒの途中で外れて時間ｔ２で消失したときは、注視部分画像と判断して、それを関連情報と共に画像記憶部１３に登録するようにしてもよい。
【００２３】
次に、以上の構成からなる画像処理装置の動作について説明する。
図４は本実施形態に係る画像処理装置の画像データの処理手順を示すフロー図である。
本処理手順を実施するに当たり、まず、注視領域及び判断条件（移動体の移動経路、動線、動作など）を事前に設定しておく。
その状態で、映像取得処理を開始し（Ｓｌ０１）、まず、広角画像カメラによる録画を開始する（Ｓ１０２）。ここで、設定した注視領域に移動体３２があれば（Ｓ１０３、Ｙｅｓ）、カメラ制御部１１１の制御によりズーム画像カメラの録画を開始し（Ｓ１０４）、ズーム画像カメラにより移動体３２を追跡する（Ｓ１０５）。その移動体３２の追跡中に、空間関係情報作成部１１６及び時間関係情報作成部１１７は、広角（全景）画像とズーム画像との空間的な関係情報と、時間軸上における変化点情報を作成する（Ｓ１０６）。その後、例えば移動体３２が注視領域外に出たり、或いは移動体３２の動作画像が顕著に変化したなど、注視領域設定部１１２で設定した判断条件にしたがって録画を区切るべきイベントが発生したときは（Ｓ１０７、Ｙｅｓ）、イベントや移動体３２について、条件設定部１１４で予め設定した判断条件（事前設定条件）に合致しているか否か判断し（Ｓ１０８）、合致しているときは（Ｓ１０８、Ｙｅｓ）、検索手掛かり（注視部分画像と全景画像（広角画像）との関係付け情報、時間軸上での注視部分画像候補の発生時点、上記大きな変化時点、消失時点発生情報）と注視部分画像（ズーム画像）とを組にして画像記憶部１３に保存して、ステップＳｌ０３に戻り次の移動体の監視を開始する。
【００２４】
ステップＳ１０８において、経路、動線、注視領域内での動作等が事前設定条件に合致しないときは（Ｓ１０８、Ｎｏ）、ズーム画像カメラの録画を停止し（Ｓ１０９）、ズーム画像カメラ画像の消去又は優先度の格下げを行う（Ｓ１１０）。
以上のようにして、予め設定した注視領域の移動体を監視して、事前に設定した判断条件に合致した注視部分画像を上記検索手掛かりと共に画像記憶部１３に記憶する。
【００２５】
次に、上記のように画像記憶部１３に記憶した画像の検索手順について図５のフロー図を参照して説明する。
検索に当たり、まず、検索で読み出す順番、時点、場所などの検索条件を設定し（Ｓ２０１）、検索を開始すると（Ｓ２０２）、まず、記録画像中の、指定された順番の検索手掛かり（検索キー）に飛ぶか、又は指定された時点の過去例の最近検索手掛かり時点に飛ぶか、又は指定された場所の近傍に関係付けられる検索手掛かりの時点に飛ぶ（Ｓ２０３）。そこで広角画像カメラ記録画像再生を開始し（Ｓ２０４）、検索手掛かり情報を用いてズーム画像カメラ記録画像を再生すると共に、広角画像カメラ記録画像と画像カメラ記録画像との空間的関係を表示部１４に表示する（Ｓ２０５）。ここで、ユーザが入力部１５から、サーチ、巻き戻し、停止等の操作を行ったとき（Ｓ２０６、Ｙｅｓ）、かつその操作が停止操作でない場合は（Ｓ２０７、Ｎｏ）、ユーザによって指定された操作にしたがって、時間関係情報を検索手掛かり（検索キー）にして時点を移動して（Ｓ２０８）、ステップ（Ｓ２０３）に戻る。ステップＳ２０７の操作が停止操作である場合は（Ｓ２０７、Ｙｅｓ）、ズーム画像カメラの記録画像の再生を停止し（Ｓ２０９）、広角画像カメラ記録画像の再生を停止し（Ｓ２１０）、検索処理を終了する。
【００２６】
本実施形態によれば蓄積されたズームカメラの記録画像及び広角画像カメラ記録画像と、検索手掛かり情報に基づき、任意の時点、任意の場所における移動体の画像を、それぞれの画像蓄積時に付与した検索手掛かり情報に基づき無駄なく効率的に検索することができる。
【符号の説明】
【００２７】
１０・・・画像処理装置、１２・・・通信部、２０・・・撮影装置、２１・・・撮影部、２２・・・通信部、１１１・・・カメラ制御部、１１２・・・注視領域設定部、１１３・・・画像解析部、１１４・・・条件設定部、１１５・・・注視部分画像取得部、１１７・・・時間関係情報作成部、１１８・・・画像検索部、１１９・・・画像表示制御部、１２０・・・ＲＡＭ、１２１・・・ＲＯＭ。
【技術分野】
【０００１】
本発明は、画像処理装置に関し、とくに、広角画像とズーム画像とを関係情報と共に保存すると共に、前記関係情報を手掛かりに保存した画像を検索することができる画像処理装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
例えば、防犯システムなどにおいて監視カメラの画像で監視する場合、全方位カメラと、ズームカメラを用いて撮影した画像、即ち、全方位画像と、ズーム画像とを同じ視野内で確認できるように画像を重ね合わせて表示するものが知られている（特許文献１参照）。
この従来の監視システムは、図６に示すように、ズームカメラ１と、光学系２ａを介して最大周囲３６０°の視野を有する全方位画像を撮影する全方位カメラ２と、全方位画像を表示する表示部３ｅと、全方位画像の所定範囲を監視領域として設定し、監視領域内に存在する被写体の動きを検知する検知部３５ａと、一つの監視領域を検知部３５ａの検知結果または手動により指定する指定部３２ａと、この指定監視領域に対して予めズームカメラ１の位置・倍率が設定された制御情報に基づいてズーム撮影するようズームカメラ１を制御するズームカメラ制御ユニット４とから構成されている。
【０００３】
これにより、全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することができる。
ところで、このようにして撮影された画像情報は後に利用できるように記憶装置に記憶させておくが、そのデータ量は膨大であるため、その検索を効率よく行うことが喫緊の課題となっている。
【０００４】
従来の検索手法としては、特許文献に記載されたものではないが、（１）単純なモーションディテクト（動き検知）機能を用いてリアルタイムでイベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うもの、（２）画像記録後に、画像を解析し、画像の場面が大きく変わる部分を推定して、イベント情報を拾い上げ、記録画像にそのメタ情報を付加して、そのメタ情報により検索を行うものが知られている。
【０００５】
しかしながら、（１）の手法では、ノイズ的なイベントを拾い上げる結果、検索時にノイズが多くなる。また、（２）の画像記録後に画像を解析する手法は現在のところ、監視現場で日常的に使用出来るレベルには到達していない。
また、従来の手法では、注視した対象が小さくしか捉えられず、したがって情報が十分に得られず、或いは注視した対象が他の対象に埋もれてしまい、追跡し難いことがある。そこで、上記欠点を補うため注視した対象の画像を高解像度化することが考えられるが、その場合には、データ処理量が大きくなるため処理負担が重くなり過ぎて実用的ではない等の問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２５９３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、画像検索手段における上記従来の問題に鑑みてなされたものであって、その目的は、情報処理負担を増大させずに、広角カメラ画像である全景画像と全景画像内の注視領域を撮影したズームカメラ画像である注視部分画像を、対応関係を付けて保存し、保存画像から、保存時に入力した全景画像と注視部分画像の対応関係を規定する関係情報に基づき所望の画像を、確実かつ効率よく検索できるようにすることである。
【課題を解決するための手段】
【０００８】
請求項１の発明は、監視領域の全景画像内に注視領域を設定する注視領域設定部と、設定した注視領域の画像を解析して対象物を検出する画像解析部と、前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、前記撮影した注視部分画像を取得する注視部分画像取得部と、前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置である。
請求項２の発明は、請求項１に記載された画像処理装置において、対象物の判断条件を設定する条件設定部を有し、前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置である。
請求項３の発明は、請求項２に記載された画像処理装置において、前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置である。
請求項４の発明は、請求項１ないし３の何れかに記載された画像処理装置において、前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置である。
請求項５の発明は、コンピュータにより、請求項１ないし４の何れかに記載された画像処理装置の各部の機能を実現するためのプログラムである。
請求項６の発明は、請求項１ないし４の何れかに記載された画像処理装置と、全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システムである。
【発明の効果】
【０００９】
本発明によれば、全景画像中に注視領域を設定することで監視のための情報処理負担を軽減できる。また、注視部分画像であるための判断条件を設定しておくことで、ノイズを低減しつつ全景画像と注視部分画像を記録・保存することができる。
検索時には、全景画像と注視部分領域画像を保存する際に用いた両画像の対応関係情報を検索キー（検索手掛かり）として、蓄積した前記画像から、所望の画像を効率よく確実に検索することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理システム構成を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置の制御部の構成を示すブロック図である。
【図３】全景画像と注視部分画像との関係を説明するための図である。
【図４】画像データの蓄積手順を説明するフロー図である。
【図５】蓄積した画像データの検索手順を説明するためのフロー図である。
【図６】従来の監視システムを示すブロック図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施形態に係る画像処理システム構成を示すブロック図である。
本実施形態に係る画像処理システムは、互いに通信可能に接続された画像処理装置１０と撮影装置２０とからなっている。
画像処理装置１０は、画像処理装置１０全体を制御する制御部１１と、撮影装置２０との有線又は無線で通信を行う通信部１２と、例えば、ＤＶＤ―ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＢＤ（Blue-ray Disc）―ＲＯＭなど画像を記録する任意の記憶媒体で構成された画像記憶部１３と，画像表示可能な例えば液晶（ＬＣ）やＥＬ（エレクトロルミネッセンス）等の表示装置からなる表示部１４と、設定などの操作のための入力部１５と、を有している。
撮影装置２０は、広角画像カメラと、全景画像（広角画像）中の注視した部分情報が不足しない程度の解像度の高解像度カメラ又はＰＴＺ（パン・チルト・ズーム）カメラ（ズーム画像カメラ）からなる撮影部２１と、画像処理装置１０との間で画像データやコマンドの送信を行うための通信部２２とを有している。
【００１２】
図２は、本発明の実施形態に係る画像処理装置１０の制御部１１を示すブロック図である。
本画像処理装置１０は、撮影装置２０の撮影部２１で全景画像（広角画像）及び注視部分画像（ズーム画像）を取得し、それをそのまま記録するのではなく、粗い解像度の全景画像（広角画像）と、高解像度であるが小領域に限定される注視部分画像の組合わせと、それに両画像の空間的関係情報、並びに全景画像における注視部分画像の時間軸上の変化情報、つまり両画像の時間的関係情報を付加して上記画像記憶部１３に記録する。
また、記録した上記画像情報は、上記各関係情報を検索キーとして検索する。
【００１３】
画像処理装置１０の制御部１１は、上記処理の制御を行うため、上記撮影部２１のカメラを制御するカメラ制御部１１１と、全景画像中に注視領域を設定する注視領域設定部１１２と、注視領域内の注視したい対象物（移動体）を検知するため、例えば全景画像の前後のフレーム毎にパターンマッチングにより差分画像を作成する等の処理を行う画像解析部１１３と、検知した移動体が注視部分画像であるか否かを判断するための条件を設定する条件設定部１１４と、設定条件に合致したとき注視部分画像としてその画像を取得する注視部分画像取得部１１５と、全景画像（広角画像）のフレーム内における注視部分画像のフレームの空間的な関係を記録する空間関係情報作成部１１６と、時間軸上の注視部分画像の各イベント、即ち、移動体画像の発生点、所定程度以上に変化する変化時点（大きな変化点という）、消失時点を記録して時間関係情報を作成する時間関係情報作成部１１７と、記録した画像情報を検索する画像検索部１１８と、表示部１４を制御する画像表示制御部１１９とを有している。
【００１４】
また、上記制御部１１は、制御部１１の動作のための一時的な記憶手段となるＲＡＭ１２０と、画像処理装置１０における画像処理を行うためのプログラムを格納したＲＯＭ１２１とを備えている。
【００１５】
注視領域の設定は、例えば、画像取得時に表示部１４で画像をモニタしている操作者が、モニタ画面上において注視領域をポインティングデバイスなどで指定する。
ここで、注視部分画像を取得する注視部分画像取得部１１５が、上記のように設定した画像内の注視領域において、監視対象物、例えば侵入者などの移動体を検知したときは、カメラ制御部１１１により撮影装置２０の撮影部２１の注視部分画像取得カメラ（ズームカメラ）を作動する。
【００１６】
また、注視部分画像取得部１１５は、注視部分画像内で移動体を検知したとき、これを注視部分画像候補として、これも前記条件設定部１１４で設定した移動体の経路や動線、注視領域での動作などを前記画像解析部１１３により自動判別して、前記の注視部分画像候補を注視部分画像か否かを決定する。注視部分画像と決定した場合、前記の取得開始（注視部分画像の発生）から条件設定部１１４で設定した特定の取得停止条件（例えば、注視領域から出る等）に至るまで記録対象とする。
他方、注視部分画像でないと決定した場合は、注視部分画像候補として取得した内容を記録対象から外す（或いは優先度が付されていれば、優先度を下げる）処理を行う。
【００１７】
注視部分画像と全景画像との時間的関係情報を作成する時間関係情報作成部１１７は、例えば、１５フレーム／秒で記録すると仮定したとき、注視部分画像の各フレームが全景画像のどのフレームに対応するかの情報（時間軸上の対応関係情報）を作成する。注視部分画像と全景画像との空間的関係情報を作成する空間関係情報作成部１１６は、注視部分画像のフレームが全景画像フレーム内のどの領域に対応するかの空間関係情報を作成し、密なデータ組として画像記憶部１３に記録（保存）する。或いは、疎なデータ組とデータ組間を補間する特性式若しくはデータテーブルとして記録してもよい。
本実施形態では、この対応関係情報を後に検索時における検索手掛かり（検索キー）として利用する。
【００１８】
ここで、密なデータ組は、例えば１５フレーム／秒の各フレームについて対応情報をデータとして用意して組み込むという意味であり、疎なデータ組では、例えば１５フレーム／秒の画像の場合、１秒に１フレームだけデータ組を保存し、残りの１４フレームについては、補間テーブルを構成するデータであるパラメータ或いは補間特性式による算出のためのパラメータを組み込む。
【００１９】
時間関係情報作成部１１７は、注視部分画像発生時点、大きな変化時点、注視部分画像の消失時点、記録注視時点の各時点を記録し、基準となる時間軸上のある時点から、どの程度偏移しているかを表現するデータ組形式で記録する。
例えば、基準とする時点（基準時点）が０時０分００秒で、注視部分画像候補発生時点が、０時５分２０秒５０だったとすると、この「注視部分画像候補発生時点」というイベントに付随するデータ組に「基準時点からの偏移：５分２０秒５０」を含める。
【００２０】
図３は、注視領域及び判断条件の設定を説明するための図である。
図は、全景画面３０中における注視部分画像（移動体）３２を示している。ここでは例えば室内の全景画像内で予め設定された通路などの注視領域Ｒにおいて、移動体を検知したときこれを追跡して注視部分画像を取得する場合について説明する。
即ち、移動体３２を時問ｔ１で検知したときは、注視部分画像取得部１１５は、移動体３２を注視部分画像候補として画像の取得を開始し、空間関係情報作成部１１６は、注視部分画像と全景画像（広角画像）との空間位置の対応関係情報を作成してその記録を開始し、時間関係情報作成部１１７は、時間軸上の注視部分画像候補の発生時点、上記大きな変化時点、消失時点について画像記憶部１３への記録を開始する。
【００２１】
図３において、移動体３２が注視領域Ｒを移動している間は、注視部分画像取得部１１５は、移動体３２を注視部分画像候補として画像の取得を継続し、かつ空間関係情報作成部１１６及び時間関係情報作成部１１７は、上記時間軸上の対応関係情報と、空間位置の対応関係情報の作成及び記録を継続し、時間ｔ３で移動体３２が全景画像３０から消失したときは、注視部分画像取得部１１５は、移動体３２を注視部分画像と判断して、画像記憶部１３に記録（保存）する。
【００２２】
他方、上記注視部分画像候補である移動体３２が表示された全景画像中において、往視領域Ｒの途中で外れて消失したときは、注視部分画像取得部１１５は、上記移動体３２は注視部分画像でないと判断して、それまで継続して取得及び記録していた注視部分画像データ及び関連情報を全て記録対象から外す処理を行うか、又はデータに優先度を付けて保存する場合には、その優先度を下げて保存を行う。
なお、これとは逆に、移動体３２が注視領域Ｒをそのまま通過して全景画像から消えたときは、上記注視部分画像候補は注視部分画像でないと判断し、注視領域Ｒの途中で外れて時間ｔ２で消失したときは、注視部分画像と判断して、それを関連情報と共に画像記憶部１３に登録するようにしてもよい。
【００２３】
次に、以上の構成からなる画像処理装置の動作について説明する。
図４は本実施形態に係る画像処理装置の画像データの処理手順を示すフロー図である。
本処理手順を実施するに当たり、まず、注視領域及び判断条件（移動体の移動経路、動線、動作など）を事前に設定しておく。
その状態で、映像取得処理を開始し（Ｓｌ０１）、まず、広角画像カメラによる録画を開始する（Ｓ１０２）。ここで、設定した注視領域に移動体３２があれば（Ｓ１０３、Ｙｅｓ）、カメラ制御部１１１の制御によりズーム画像カメラの録画を開始し（Ｓ１０４）、ズーム画像カメラにより移動体３２を追跡する（Ｓ１０５）。その移動体３２の追跡中に、空間関係情報作成部１１６及び時間関係情報作成部１１７は、広角（全景）画像とズーム画像との空間的な関係情報と、時間軸上における変化点情報を作成する（Ｓ１０６）。その後、例えば移動体３２が注視領域外に出たり、或いは移動体３２の動作画像が顕著に変化したなど、注視領域設定部１１２で設定した判断条件にしたがって録画を区切るべきイベントが発生したときは（Ｓ１０７、Ｙｅｓ）、イベントや移動体３２について、条件設定部１１４で予め設定した判断条件（事前設定条件）に合致しているか否か判断し（Ｓ１０８）、合致しているときは（Ｓ１０８、Ｙｅｓ）、検索手掛かり（注視部分画像と全景画像（広角画像）との関係付け情報、時間軸上での注視部分画像候補の発生時点、上記大きな変化時点、消失時点発生情報）と注視部分画像（ズーム画像）とを組にして画像記憶部１３に保存して、ステップＳｌ０３に戻り次の移動体の監視を開始する。
【００２４】
ステップＳ１０８において、経路、動線、注視領域内での動作等が事前設定条件に合致しないときは（Ｓ１０８、Ｎｏ）、ズーム画像カメラの録画を停止し（Ｓ１０９）、ズーム画像カメラ画像の消去又は優先度の格下げを行う（Ｓ１１０）。
以上のようにして、予め設定した注視領域の移動体を監視して、事前に設定した判断条件に合致した注視部分画像を上記検索手掛かりと共に画像記憶部１３に記憶する。
【００２５】
次に、上記のように画像記憶部１３に記憶した画像の検索手順について図５のフロー図を参照して説明する。
検索に当たり、まず、検索で読み出す順番、時点、場所などの検索条件を設定し（Ｓ２０１）、検索を開始すると（Ｓ２０２）、まず、記録画像中の、指定された順番の検索手掛かり（検索キー）に飛ぶか、又は指定された時点の過去例の最近検索手掛かり時点に飛ぶか、又は指定された場所の近傍に関係付けられる検索手掛かりの時点に飛ぶ（Ｓ２０３）。そこで広角画像カメラ記録画像再生を開始し（Ｓ２０４）、検索手掛かり情報を用いてズーム画像カメラ記録画像を再生すると共に、広角画像カメラ記録画像と画像カメラ記録画像との空間的関係を表示部１４に表示する（Ｓ２０５）。ここで、ユーザが入力部１５から、サーチ、巻き戻し、停止等の操作を行ったとき（Ｓ２０６、Ｙｅｓ）、かつその操作が停止操作でない場合は（Ｓ２０７、Ｎｏ）、ユーザによって指定された操作にしたがって、時間関係情報を検索手掛かり（検索キー）にして時点を移動して（Ｓ２０８）、ステップ（Ｓ２０３）に戻る。ステップＳ２０７の操作が停止操作である場合は（Ｓ２０７、Ｙｅｓ）、ズーム画像カメラの記録画像の再生を停止し（Ｓ２０９）、広角画像カメラ記録画像の再生を停止し（Ｓ２１０）、検索処理を終了する。
【００２６】
本実施形態によれば蓄積されたズームカメラの記録画像及び広角画像カメラ記録画像と、検索手掛かり情報に基づき、任意の時点、任意の場所における移動体の画像を、それぞれの画像蓄積時に付与した検索手掛かり情報に基づき無駄なく効率的に検索することができる。
【符号の説明】
【００２７】
１０・・・画像処理装置、１２・・・通信部、２０・・・撮影装置、２１・・・撮影部、２２・・・通信部、１１１・・・カメラ制御部、１１２・・・注視領域設定部、１１３・・・画像解析部、１１４・・・条件設定部、１１５・・・注視部分画像取得部、１１７・・・時間関係情報作成部、１１８・・・画像検索部、１１９・・・画像表示制御部、１２０・・・ＲＡＭ、１２１・・・ＲＯＭ。
【特許請求の範囲】
【請求項１】
監視領域の全景画像内に注視領域を設定する注視領域設定部と、
設定した注視領域の画像を解析して対象物を検出する画像解析部と、
前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、
前記撮影した注視部分画像を取得する注視部分画像取得部と、
前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、
全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、
前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
対象物の判断条件を設定する条件設定部を有し、
前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３の何れかに記載された画像処理装置において、
前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置。
【請求項５】
コンピュータにより、請求項１ないし４の何れかに記載された画像処理装置の各部の機能を実現するためのプログラム。
【請求項６】
請求項１ないし４の何れかに記載された画像処理装置と、
全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システム。
【請求項１】
監視領域の全景画像内に注視領域を設定する注視領域設定部と、
設定した注視領域の画像を解析して対象物を検出する画像解析部と、
前記対象物を検出したとき当該対象物を撮影する注視部分画像撮影カメラを動作制御するカメラ制御部と、
前記撮影した注視部分画像を取得する注視部分画像取得部と、
前記注視部分画像取得部で取得した注視部分画像と全景画像との空間的な関係情報を作成する空間関係情報作成部と、
全景画像内における注視部分画像の時間軸上の遷移を示す時間関係情報を作成する時間関係情報作成部と、
前記全景画像を記録すると共に、注視部分画像に前記各関係情報を付加して記録する画像記憶部を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
対象物の判断条件を設定する条件設定部を有し、
前記注視部分画像取得部は、対象物を検出したとき前記対象物が上記設定された判断条件に合致したと判断したときのみ、前記注視部分画像及び前記各関係情報を前記画像記憶部に記録することを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記判断条件は、移動体の経路、動線、或いは予め設定された動作と異なる動作であることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３の何れかに記載された画像処理装置において、
前記空間的及び時間的関係情報に基づき、前記蓄積された全景画像及び注視部分画像を検索する画像検索部と、検索した各画像を重ねて表示させる画像表示制御部を有することを特徴とする画像処理装置。
【請求項５】
コンピュータにより、請求項１ないし４の何れかに記載された画像処理装置の各部の機能を実現するためのプログラム。
【請求項６】
請求項１ないし４の何れかに記載された画像処理装置と、
全景撮影用の広角画像撮影カメラ及び注視部分画像撮影カメラを備えた撮影装置と、を有することを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２３３１８５（Ｐ２０１０−２３３１８５Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−８１４８５（Ｐ２００９−８１４８５）
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（３０４０２０４９８）サクサ株式会社 (678)
【Ｆターム（参考）】
[ Back to top ]