画像処理装置
【課題】画像を処理する画像処理装置において、ユーザによる設定を視覚的に容易化する。
【解決手段】画像を処理する画像処理装置において、変換手段３が撮像時の座標系である第１座標系の画像を基準となる平面上に設けられた第２座標系の画像へ変換し、表示手段１０が変換手段３により変換された画像を表示し、受付手段９が表示手段１０による画像の表示に応じてユーザにより入力される設定情報を受け付ける。例えば、このような画像処理装置において、受付手段９は、設定情報として、画像処理に使用される情報を受け付ける。
【解決手段】画像を処理する画像処理装置において、変換手段３が撮像時の座標系である第１座標系の画像を基準となる平面上に設けられた第２座標系の画像へ変換し、表示手段１０が変換手段３により変換された画像を表示し、受付手段９が表示手段１０による画像の表示に応じてユーザにより入力される設定情報を受け付ける。例えば、このような画像処理装置において、受付手段９は、設定情報として、画像処理に使用される情報を受け付ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置などに関し、特に座標変換を利用することで画像処理に必要な設定を視覚的に容易化した画像処理装置などに関する。
【背景技術】
【０００２】
例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって監視領域を撮像した画像（入力画像）を、画像処理部によって処理し、入力画像に写りこんだ所定の物体を自動的に検出するような監視装置が、従来広く用いられている。このような入力画像中の所定の物体を自動的に検出する方法の一例として、差分法（背景差分法）と呼ばれる方法が使用されている。
【０００３】
背景差分法による物体検出方法では、撮像装置等から得られる入力画像と検出すべき物体が映っていないときに撮像した背景画像（基準画像）との輝度（或いは、画素値）の差分を算出し、当該差分画像を所定の閾値で２値化した画像中で所定の大きさに達した領域（変化領域）に、検出すべき物体が存在するあるいはその可能性があるとして監視を行う。
【０００４】
図７は、背景差分法の模式図である。
入力画像５１には人型の物体の画像５２が含まれている。また、背景画像５３が予め用意されている。差分器５４により、入力画像５１と背景画像５３との間で画素毎の差分を計算し、その結果である差分画像５５を算出する。ここで、入力画像５１に映る人型の物体の画像５２は、差分画像５５中で、差分が生じた画素群５６として検出される。
【０００５】
次に、二値化器５７により、差分画像５５の各画素の値と所定のしきい値（例えば２０、なお１画素８ビットを仮定）とを比較し、しきい値以上となる画素を“２５５”とする一方、しきい値未満となる画素を“０”とする変換を行う。これにより、二値化画像５８を得る。ここで、差分画像５５において差分が生じた領域５６は、二値化された画素群５９として検出される。なお、図７では理想的な人型の画素群として検出されているが、本来１つの物体が複数の画素群になったり、複数の物体が１つの画素群になることもある。
【０００６】
更に、（前回検出されたかたまりの位置や大きさなどを参考にして）二値化された画素５９のかたまりを適切にグルーピングし、前回と同じ物体に同じ番号を付ける、グルーピングやラベリングなどの処理を経て、物体検出が達成される。検出結果は、物体が領域６０のように特定の幅と高さを持った矩形の枠でマークされた画像として得られたり、あるいは物体の位置や大きさ（高さ、幅）などを表す数値として得られる。
なお、背景差分のほか、フレーム間差分法やオプティカルフロー法など、各種の検出方法が知られる。
【０００７】
ところで無人の監視システムでは、誤報を減らすために、撮像した画像から前記のような方法によって検出された物体が、本当に検出すべき物体（侵入者等）であるか否かを確認すること、例えば基準となる情報と入力画像から抽出した物体の情報とを比較して判定（判断）することが行われる。基準となる情報（パラメータ）とは、例えば、検出すべき物体の位置や大きさに関する情報である。
すなわち、予め、撮像する入力画像中で、いずれの領域に存在する物体を検出すべき物体とするかというパラメータを設定しておき、物体の位置（例えば接地位置）がその領域内にあるか否かを判断する。この領域を定めるパラメータを領域パラメータと呼ぶ。また検出したい物体（例えば人）の大きさに合わせて、検出すべき物体の大きさの範囲を指定する。これを大きさパラメータと呼ぶ。
領域パラメータの設定を行うために、例えば、入力画像を表示装置に表示し、マウス等の操作部を用いて多角形の頂点を表示画面中で設定することで、所望の領域を指定する。
【０００８】
ここで、図９には、入力画像７１の一例を示してある。
例えば、入力画像７１中の建物７２に近づく物体を検出する場合には、所定の指示装置を用いて、図示されるように、入力画像７１中に例えば多角形（ポリゴン）７３の領域（図中で点線の部分）を指定する。
このようにして指定された多角形の中に、差分法などの方法により、大きさパラメータに合致する大きさの物体が検出されるか否かを判断することで、建物７２に近づく特定の物体（侵入者等）を検出することができる。
【０００９】
【特許文献１】特開２００６−２１１６９６号公報
【特許文献２】特開２００５−５７７４３号公報
【特許文献３】特開２００１−２７３５００号公報
【特許文献４】特開平７−３７０６３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、図９に示されるような監視装置における設定の方法では、同じ大きさの物体（建物、侵入者等）であっても、カメラ（撮像装置）からの距離によって、入力画像中での大きさが異なる。従って、入力画像をそのまま表示する表示装置の画像では、カメラから離れている場所が小さく表示されるため、マウスによる操作では、そのような遠方に多角形７３のような所望の領域を正確に設定するのが困難になるという問題があった。例えば、特定の建物から何メートル以内に近付く物体を検出したい場合に、カメラからの距離に応じて、建物と領域との間隔を画面上で精度良く指定するのは困難である。
また、大きさパラメータも画像内で変化しうる。従って、画像上の少なくとも２つの位置において検出すべき物体の画像上での大きさを指定し、その他の位置に存在する物体の画像上の大きさについては、指定された２つの位置の大きさを補間して定める方法や、領域を複数に分割し分割された領域毎に大きさパラメータを設定する方法が採られる。
【００１１】
この方法では、原理上は、正確な補間式が得られれば、画像上の任意の位置における大きさの情報を補間することができるが、入力画像のみに基づいて、そのような補間式を人手で精度よく生成するのは極めて困難である。すなわち、誤差を減らすために、画像上で指定する物体の位置の数を増やすことになるが、真の大きさの判っている十分な数の物体が画像内に常に映っているとは限らない。理想的には、現地に赴くことなく、カメラの設置状態などの情報の必要とせず、入力画像を見て遠隔から設定できることが望ましい。
領域を分割する方法においても、各領域で真の大きさが判っていて、かつ誤差がばらつかないように適切に分割するには、高度の熟練を要する。
【００１２】
本発明は、このような従来の事情に鑑み為されたもので、画像処理に必要なパラメータの設定などにおいて、ユーザによる設定を視覚的に容易化することができる画像処理装置などを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明では、画像を処理する画像処理装置において、次のような構成とした。
すなわち、カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、撮像時の座標系である第１座標系の画像を、基準となる平面上に設けられた第２座標系の画像へ変換する変換手段と、前記変換手段により変換された画像を表示する表示手段と、前記表示手段による画像の表示に応じてユーザにより入力される設定情報を受け付ける受付手段と、前記受け付けた設定情報を用いて、前記撮影された画像もしくは／及び検出するためのパラメータを変換してから、前記撮影された画像から前記パラメータを用いて物体を検出する検出手段と、を備えた。
また、前記第１座標系の画像と前記第２座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されるようにした。
【００１４】
従って、例えば地表面が距離に無関係にほぼ同じ大きさに映る第２座標系で画像が表示されて、それを見たユーザから設定情報を受け付けるため、例えば領域の設定などにおいて、ユーザによる設定を視覚的に容易化することができる。
なお、画像を撮像する撮像手段が画像処理装置に備えられてもよく、あるいは、撮像手段が画像処理装置の外部に備えられて、撮像手段により撮像された画像が画像処理装置に入力されてもよい。
【００１５】
また実施例３のように、前記変換手段は、撮像時の座標系である第１座標系の画像を、第２座標系とは異なる第３座標系の画像へも変換し、前記受付手段は、設定情報を、第１座標系、第２座標系、第３座標系のいずれかの値として受け付け、前記検出手段は、大きさパラメータと、領域パラメータとで、前記第１ないし第１座標系のうち異なる座標系を用いて物体を検出するように構成することもできる。
【００１６】
ここで、画像処理とは、例えば、画像に映る物体の検出処理であるが、計量や、単なる人へ表示を目的とするものでも良い。
また、撮像時の座標系である第１座標系としては、例えば、撮像手段（例えば、カメラ）の視点で見た座標系であり、例えば、撮像対象が焦点を中心に撮像面に中心投影されたときの、撮像面上の座標系である。第１座標系は、実施例におけるカメラ座標系（ｘ−ｙ座標）に対応する。
また、距離に無関係にほぼ同じ大きさに映る第２座標系としては、例えば、水平な地表面を基準平面として、当該地表面（地面）内に２つの軸を有する正規直交座標系（及びそれに近似する非線形や非直交の座標系も含む）である。第２座標系は、鉛直（高さ）方向の情報を無視すれば、当該地表面を鉛直方向に正投影した２次元の座標系として扱える。第２座標系は、実施例におけるシーン座標系（ξ−ψ−Ｚ）、マップ座標系（Ｘ−Ｙ−Ｚ）、グローバル座標系（ＸG−ＹG−ＺG）に対応する。
【００１７】
なお、第２座標系は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、例えば、地面を真上から見た当該地面の平面が用いられる。ただし、地面は完全には平らではないことや、必ずしも完全に地面に一致させなくてもよい場合もあることなどから、実用上で問題にならない程度のずれがあってもよい。
【００１８】
画像処理装置では、例えば、第１座標系と第２座標系との間で、設置された撮像装置（例えば、カメラ）の配置や焦点距離などに基づく変換式（数式）などを用いて、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、ユーザにより画像処理装置に設定されてもよく、あるいは、画像処理装置が撮像装置などからの情報に基づいて（自動的に）検出してもよく、あるいは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。
【００１９】
また、ユーザにより入力される情報を受け付ける手段としては、例えば、ユーザにより操作されるマウスやキーボードなどの操作部を用いて構成することができる。
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第２座標系の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。
【００２０】
なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
【発明の効果】
【００２１】
本発明に係る画像処理装置などによると、基準となる平面の座標系で画像が表示されて、それを見たユーザから設定情報を受け付けるようにしたため、ユーザによる設定を視覚的に容易化することができる。
【発明を実施するための最良の形態】
【００２２】
本発明に係る実施例を図面を参照して説明する。
【実施例１】
【００２３】
図１には、本発明の実施例１に係る監視装置の構成例を示してある。
本例の監視装置は、例えばカメラを用いて構成された撮像装置１と、映像入力回路２と、画像処理プロセッサ３と、プログラムメモリ４と、ワークメモリ５と、外部Ｉ／Ｆ（インタフェース）回路６と、映像出力回路７と、データバス８と、例えば人により操作されるマウスやキーボードなどを用いて構成された指示装置９と、表示装置１０を備えている。
ここで、映像入力回路２と、画像処理プロセッサ３と、プログラムメモリ４と、ワークメモリ５と、外部Ｉ／Ｆ回路６と、映像出力回路７は、データバス８に接続されている。
なお、撮像装置１としては、例えば、撮像装置１を制御するための装置や、各種の外部記録装置等を有するものが用いられてもよい。
【００２４】
本実施例１の監視装置において行われる概略的な動作の一例を示す。
撮像装置１は、例えばテレビカメラ等であり、図２のような監視の対象となる領域（監視対象領域）を含む画像（映像）を撮像する。画像は、所定のレートで撮影されて映像入力回路２に出力されてもよく、あるいは映像入力回路２からの要求を受けてその都度最新のものが出力されてもよい。
ワークメモリ５は、撮像装置１により撮像された画像（入力画像２１や背景画像Ｔ１）を映像入力回路２を介して取得し、記憶する。また、領域パラメータＴ２や大きさパラメータＴ３のような画像処理に必要な各種パラメータも記憶する。
画像処理プロセッサ３は、プログラムメモリ４に記録されているプログラムに従って、ワークメモリ５内に記録された入力画像を処理し、その処理結果を映像出力回路７を介して表示装置１０の画面に表示する。
また、指示装置９を使用して受け付けられるオペレータ（ユーザ）からの指示が外部Ｉ／Ｆ回路６を介して入力される。画像処理プロセッサ３は、入力された指示に基づいて、前記したパラメータの変更や修正を行って、入力画像を処理する。
【００２５】
図８は、本実施例１の画像処理プロセッサ３により実行される定常時の物体検出処理の手順のフローチャートである。なお、図８では、説明を分かり易くするために、処理ステップＳ１〜Ｓ９以外に、ワークメモリ５に記録される背景画像Ｔ１（例えば図７に示される背景画像５３に相当するもの）及び領域情報Ｔ２と、指示装置９と表示装置１０を示してある。また、点線で示す矢印は、データの流れを表している。
【００２６】
画像入力ステップ（Ｓ１）では、撮像装置１により撮像した画像を、映像入力回路２を介してワークメモリ５へ転送する。
設定判定ステップ（Ｓ２）では、指示装置９から外部Ｉ／Ｆ回路６を介してオペレータによる設定指示があった場合には設定処理ステップ（Ｓ１０）へ分岐し、設定指示がなかった場合には差分処理ステップ（Ｓ３）へ分岐する。
【００２７】
設定判定ステップ（Ｓ２）において、指示装置９からの設定指示がなかった場合、差分処理ステップ（Ｓ３）では、画像入力ステップ（Ｓ１）で入力した入力画像２１とワークメモリ５内に記録されている背景画像Ｔ１との間で画素毎の差分を計算して差分画像（例えば図７に示される差分画像５５に相当するもの）を得る。
二値化処理ステップ（Ｓ４）では、差分画像の各画素の値と所定のしきい値とを比較して、しきい値以上の画素を“２５５”とし、しきい値未満の画素を“０”とする変換を行い、これにより、二値化画像（例えば図７に示される二値化画像５８に相当するもの）を得る。
【００２８】
ラベリング処理ステップ（Ｓ５）では、二値化画像中の“２５５”画素のかたまりに番号を付け、各かたまりを区別して処理できるようにする。
背景更新処理ステップ（Ｓ６）では、画像入力ステップ（Ｓ１）で得られた入力画像２１を用いて、ワークメモリ５内に記録されている背景画像Ｔ１を更新する。背景画像Ｔ１の更新としては、例えば、入力画像２１の画素毎（物体が検出された領域は除く）の時間平均などの方法を用いて新たな背景画像Ｔ１を作成することができ、監視環境（天候）の変化などによる照度変化に追従して背景画像Ｔ１を常に最新の状態に保つことができる。
【００２９】
座標系変換ステップ（Ｓ７）では、ラベリングされたかたまりのそれぞれの位置、長さ（高さ）、幅を、座標変換パラメータＴ４を用いてカメラ座標系からマップ座標系に変換する。なお“２５５”画素のかたまりの下端において、物体が接地していると推定されることから、かたまりの位置は当該下端の位置と定義する。また、マップ座標系とは、地表面を斜めからではなく鉛直方向に正投影したような（２次元）座標系であり、場所に因らず同じ大きさのものは同じ大きさに表される。座標系変換の詳細は後述する。
領域判定処理ステップ（Ｓ８）では、ワークメモリ５内に記録された領域パラメータＴ２等に基づいて、例えば、領域パラメータＴ２で指定された領域３２内に、大きさパラメータＴ３に該当する長さ（高さ）、幅の有する、ラベリングされたかたまりが存在する場合には、当該かたまりを侵入物体と判断する。なお、領域パラメータＴ２や大きさパラメータＴ３も、マップ座標系等で表現される値である。
処理結果表示ステップ（Ｓ９）では、領域判定処理ステップ（Ｓ７）の判定結果を、表示装置１０の画面に表示する。
処理結果表示ステップ（Ｓ９）が終了すると、画像入力ステップ（Ｓ１）へ戻り、画像入力がある度に（例えば入力画像のフレームレートの周期で）、Ｓ１からＳ９が繰り返される。
【００３０】
また、設定判定ステップ（Ｓ２）において、指示装置９から外部Ｉ／Ｆ回路６を介してオペレータによる設定指示があったと判定された場合、設定処理ステップ（Ｓ１０）では、ワークメモリ５内に記録されるパラメータの設定のための処理を行う。
例えば、カメラ座標系からマップ（シーン）座標系への変換に必要な座標変換パラメータＴ４（撮像装置１の撮像角度、取り付けの高さ、焦点距離の３つ、もしくはこれらから派生する値）を入力を受け付ける。また図３に示されるように、座標変換パラメータＴ４を用いて入力画像２１を地面に対して平行な平面に投影したようなシーン画像３１を作成して表示装置１０の画面に表示し、これを見たオペレータが指示装置９を操作することに応じて、多角形３２などの所望の領域の指定等を受け付け、領域パラメータＴ２や大きさパラメータＴ３としてをワークメモリ５に記録する。これらの詳細は後述する。
設定処理ステップ（Ｓ１０）が終了すると、画像入力ステップ（Ｓ１）へ戻る。
【００３１】
図２には、撮像装置１により撮像され図８の物体検出処理に用いられる入力画像２１の一例を示してある。この入力画像２１には、建物２２の画像などが含まれている。また、この入力画像２１を表示装置１０の画面に表示することが可能である。
図３には、入力画像２１をシーン（マップ）座標系に変換した画像であるシーン（マップ）画像３１の一例を示してある。このシーン画像３１を表示装置１０の画面に表示することが可能である。
【００３２】
このシーン画像３１は、監視対象領域の地図とほぼ相似している。なお、本明細書では、基準となる地表面を厳密に正投影したシーン座標系を完全シーン座標系と称することにする。完全シーン座標系では、基準にした地表面内に限れば、画像中に写る建物の直角部分は直角に、幅が一定の道路などは平行な線として表示される。本例では、オペレータが表示装置１０の画面に表示されたシーン画像３１を見ながら指示装置９を操作することにより、このシーン画像３１上で、例えば多角形３２などにより領域を指定する。本例で用いるシーン座標系は、完全シーン座標系である必要はなく、多少誤差を持ってよい。後述するように、物体の大きさのうち、特に高さが等しく映るように、あえて完全シーン座標系にしない場合もある。
【００３３】
次に、撮像装置１の視点での画像の座標系（本例では、カメラ座標系と言うが、スクリーン座標系、画面座標系、画像座標系などとも呼ばれる）と、地面に対して平行な平面に投影した画像の座標系（シーン座標系、マップ座標系、ワールド（グローバル）座標系と）との間の変換処理について説明する。なお、後者の座標系は、原点をカメラの光軸が地表面と交わる点に置くものをシーン座標系、カメラ設置位置に置くものをマップ座標系、任意位置に置くものをワールド座標系と呼び、区別することにする。
【００３４】
図４には、地面に対して水平な方向で（真横から）撮像装置１を見た場合の様子の一例を示してある。図５には、地面に対して垂直な方向で（真上から）撮像装置１を見た場合の様子の一例を示してある。
図４及び図５では、マップ座標系の原点を撮像装置１の真下の基準となる地面（水平面）とし、その地面上にＸ軸及びＹ軸を設けて、鉛直（高さ）方向にＺ軸を設けてあり、撮像装置１が向いているパン方向（Ｘ−Ｙ面内）にｒ軸を設けてある。
【００３５】
ここで、撮像装置１の設置の高さ（正確には撮像装置１の焦点の、地面からの高さ）をＨとしてあり、撮像装置１の俯角をθTとしてあり、撮像装置１の縦方向の視野角をθＶ、横方向の視野角をθＨとしてある。なお、撮像装置１の縦方向の視野角θＶは、撮像素子のアスペクト比（例えば４：３）を用いて撮像装置１の横方向の視野角θＨから算出することができる。
また、撮像装置１により撮像される画像の視野の中で、撮像装置１から最も近い所までの水平距離をＬNとしてあり、撮像装置１から最も遠い所までの水平距離をＬFとしてある。
【００３６】
まず、例えば、撮像装置１の位置や方向を変更するための雲台（パン−チルト）の現在の方向（例えば、雲台の正面を原点とし、パン角θＰ、チルト角θT）を取得し、撮像装置１の撮像レンズの現在の焦点距離ｆ（正確には焦点距離と繰り出し量の和である像距離）を取得する。これら取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸がないとする。
撮像装置１の横方向の視野角（画角）θＨと横方向の視野角（画角）θＨは、それぞれ（式１）（式２）により求められる。
【００３７】
【数１】
【数２】
【００３８】
ここで、ｗは撮像装置１の撮像素子である例えばＣＣＤ素子の横幅、ｈは縦幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍ、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置１の画角は、θH＝３３．４°、θV＝２５．４°となる。すなわち、撮像装置１の視野は横方向に３３．４°の範囲を有する。なお本来は、焦点距離ｆではなく、像距離（後側主点と撮像面との距離であり、焦点距離と繰り出し量の和）を用いるべきであるが、レンズの公式の通り被写体距離が像距離より十分大きければ、像距離は焦点距離ｆとほぼ等しくなる。また焦点距離ｆはズームにより変換する。
【００３９】
通常、撮像装置１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θTに応じて、撮像装置１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置１の真下から視線方向ＬNの範囲に現れる。距離ＬNと距離ＬFとの間の領域が、撮像装置１の視野に入ることになる。
これらの距離ＬN、ＬFについて説明する。
距離ＬN及び距離ＬFは、（式３）により求められる。
【００４０】
【数３】
【００４１】
上記の結果、撮像装置１により撮像することができる範囲は、図４に示される撮像装置１と距離ＬNの点と距離ＬFの点で囲まれる三角形の領域の内部であり、図５に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθT＝３０°とし、撮像装置１の設置高をＨ＝５．０ｍとした場合には、ＬN＝５．４２ｍ、ＬF＝１６．１ｍとなる。
【００４２】
上記のように、撮像装置１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、図５に示される視野範囲の各頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のマップ座標は、Ｐ１＝（ｘ１、ｙ１）、Ｐ２＝（ｘ２、ｙ２）、Ｐ３＝（ｘ３、ｙ３）、Ｐ４＝（ｘ４、ｙ４）として、（式４）〜（式７）により求められる。
【００４３】
【数４】
【００４４】
【数５】
【００４５】
【数６】
【００４６】
【数７】
【００４７】
ここで、θＰは、撮像装置１のパン角であり、本例では、Ｘ軸と撮像装置１の光軸とのなす角を示す。このように、Ｐ１〜Ｐ４で囲まれた台形の領域が、その形のまま表示できればよいのである。
【００４８】
表示装置１０の画面には、撮像装置１の視野範囲の各位置について入力画像をシーン座標へ変換した画像が表示される。
図６には、画面４１に表示されるシーン座標の画像の一例を示してある。なお図５、図６は作図技術上の問題で精密さは不十分であり、あくまで模式的に示すものである。
本例では、図６に示される４点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’がそれぞれ図５に示される４点Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応している。この対応とは、例えばＰ１〜Ｐ４で示される台形が、その形のままＰ１’〜Ｐ４’に変換されるような対応である。また、点Ｐ３’、Ｐ４’が画面４１の上部に位置し、点Ｐ１’、Ｐ２’が画面４１の下部に位置するように表示されている。
【００４９】
なお、画面４１に表示される画像の奥行きの距離ＬFに制限を設けて画像を表示することも可能であり、一例として、奥行きを２５［ｍ］までに制限した場合には、変換後の画素のｒ座標が２５［ｍ］以上になる部分については画面４１に表示されないようにする。
同様に、画面４１に表示される画像の手前までの距離ＬNに制限を設けて画像を表示することも可能であり、一例として、手前までの距離を１０［ｍ］までに制限した場合には、変換後の画素のｒ座標が１０［ｍ］未満になる部分については画面４１に表示されないようにする。
【００５０】
座標変換パラメータＴ４が適切に設定されると、画面４１は、図６に示すものから図３に示すものに近付く。そして図３に示したように、領域パラメータＴ３が地表面上での多角形としてマップ（シーン）座標系で設定され、更に各領域毎に大きさパラメータが設定されうる。
【００５１】
ここで、領域としては、多角形以外にも種々な形を用いて指定が行われてもよい。また、例えば、画面の領域を複数のブロックに分割して、各ブロック毎に対象領域とするか否か（オンかオフか）を設定するような態様が用いられてもよい。
また、シーン画像３１で設定する情報としては、特に限定はなく、例えば、距離や、移動速度あるいは加速度や、人であるかあるいは動物であるかを判定するための大きさの条件（例えば、しきい値）などのように、人にとって地図のような平面図上で設定すると分かり易いような種々な情報を用いることができる。例えば、実際の寸法（実際の長さや速度など）を用いて設定を受け付けるような構成とすることも可能である。また、移動速度や加速度などは、最新、１回前、２回前のラベリングされたかたまりの位置から演算でき、物体の種類を判定するのに有用な場合がある。
【００５２】
また、本例では、撮像装置１により撮像された画像２１をシーン画像３１の座標へ変換して表示する態様を示したが、他の例として、監視対象領域を含む領域の地図の情報として、設計図あるいは市販の地図あるいは航空写真などの情報を予めメモリに記憶しておいて、撮像装置１により撮像された画像２１に対応した領域の地図情報を当該メモリから読み出して表示するような態様を用いることも可能である。
また、画像処理は、例えば、カメラ座標系で行われてもよく、あるいは、シーン座標系で行われてもよいが、通常は、撮像装置１により得られる画像がカメラ座標系であるため、（本例では、領域の設定以外は、）カメラ座標系で行われる方が効率的であると考えられる。
【００５３】
以上説明したように、本実施例１の監視装置（画像処理装置の一例）では、撮像装置１の機能により撮像手段が構成されており、画像処理プロセッサ３が第１座標系（カメラ座標系）の画像を第２座標系（シーン座標系）の画像へ変換する機能により変換手段が構成されており、表示装置１０の画面に画像を表示する機能により表示手段が構成されており、指示装置９を操作するユーザにより入力される情報を受け付ける機能により受付手段が構成されている。
また、距離に無関係にほぼ同じ大きさに映る第２座標系としては、例えば、水平な地表面を基準平面として、当該地表面（地面）内に２つの軸を有する正規直交座標系（及びそれに近似する非線形や非直交の座標系も含む）である。第２座標系は、鉛直（高さ）方向の情報を無視すれば、当該地表面を鉛直方向に正投影した２次元の座標系として扱える。第２座標系は、実施例におけるシーン座標系（ξ−ψ−Ｚ）、マップ座標系（Ｘ−Ｙ−Ｚ）、グローバル座標系（ＸG−ＹG−ＺG）に対応する。
これにより、例えば、画像上部と画像下部とで見かけの大きさが違うといったように画像上の位置によって見かけの大きさが違ってしまう問題を解消することができ、建物から一定距離の領域を指定するような場合においても、オペレータはマップ画像等に基づいて容易に領域を指定できる。
【実施例２】
【００５４】
本実施例２は、先の実施例１の監視装置における領域パラメータを、基準となる検出物体に基づいて適応的に設定し、例えばその基準となる物体に近付いてくる物体を検出するようにしたものである。本実施例２の監視装置のハードウェア構成や大まかな処理手順は、特に言及しない限り図１や図８に示す実施例１のものと同様である。同一ではないが対応する構成には、２００を足した符号（図示しない）を付して以下説明する。
【００５５】
図１０には、画像入力ステップＳ２０１で取得される入力画像２２１が示されている。この入力画像２２１は、処理結果表示ステップＳ２０９で表示装置１０に表示される。図１０の入力画像２２１には、例えば、護衛を要する要人や、薬物の密売人などの物体２２２が写っている。
【００５６】
オペレータが、指示装置９を用いてこの物体２２２を選択し、さらに所定の半径（例えば１０ｍ）を指定すると、画像処理プロセッサ３は、設定処理ステップＳ２１０において、その物体２２２の位置（接地位置）を中心とする楕円形の領域２２３を、入力画像２２１にオーバーレイ表示する。また、物体２２２のラベル番号と、領域２２３の半径（及び位置）が、領域パラメータとして設定される。更にオペレータが選択したときの物体２２２の大きさに基づいて、物体２２２用の大きさパラメータが設定される。なお領域２２３は、その後の処理結果表示ステップＳ２０９でも、物体２２２の最新の位置と前記半径に基づいて、入力画像２２１にオーバーレイ表示される。
【００５７】
図１１には、図１０の入力画像２２１をシーン（マップ）座標変換して得られるシーン画像２３１が示されている。
円形領域２３２は、領域２２３に対応し、シーン（マップ）座標系では物体２３３の接地位置を中心とする円形となる。円形領域２３２の半径は、オペレータが指定した半径である。
【００５８】
物体２２３は、実施例１と同様に、差分処理ステップ（Ｓ３）から座標変換ステップ（Ｓ７）及び領域判定処理ステップ（Ｓ２０８）の処理により検出され、常に最新の位置が把握されている。
物体２２３の検出には、テンプレートマッチングなどの他のアルゴリズムを用いても良く、また。物体２２３が画像の中央に写るように、パンチルト制御（トラッキング）を行っても良い。
【００５９】
領域判定処理ステップＳ２０８において、画像処理プロセッサ３はまず、領域パラメータに設定されている物体２２２のラベル番号と同じラベル番号を付されたかたまりが、大きさパラメータを満たすか判定する。大きさパラメータを満たすと判定されたら、そのかたまりを物体２２３として検出し、その物体２２２の位置と領域パラメータに基づいて、監視領域を更新する。そして更新された監視領域内に、所定の大きさパラメータを満たす他の物体があるか探索し、他の物体が検出された場合、所定の出力をする。
監視領域内かどうかは、マップ（シーン）座標系における物体２２２と他の物体との距離を、指定された半径と比べることで判断できる。もし物体２２２を見失ったとき、つまり同じラベルの大きさパラメータを満たすかたまりが所定回数連続して検出できなかったときは、物体２２３に対応する領域パラメータを消去する。
【００６０】
処理結果表示ステップＳ２０９において、画像処理プロセッサ３は、領域判定処理ステップＳ２０８での所定の出力に応じ、検出された他の物体を画面上に目立たせて表示したり、警報を発したりする。
【００６１】
本例では監視領域は、基本的に水平方向に長軸を持つ楕円となり、中心となる物体と半径のみ指定すればよいので、領域の設定自体はカメラ座標でも困難はない。
また監視領域をカメラ座標系で楕円形の領域２２３として設定し、領域２２３内の物体検出もカメラ座標系のまま行うようにしてもよい。つまり領域２２３を多角形に近似してその頂点の座標を領域パラメータＴ３として記憶しておき、後は実施例１と同様に多角形領域の内外判定を行う。
【００６２】
以上説明したように、本例の監視装置では、監視領域を適宜更新するようにしたので、移動する物体に対しても、その物体のカメラからの距離によらずに、監視領域を適切に設定し維持することができる。
【実施例３】
【００６３】
本実施例３は、先の実施例１や２の監視装置における座標系変換を、検出すべき物体の大きさ（大きさパラメータ）の指定に好適になるように若干改良したものである。またそのような座標系変換に必要な座標変換パラメータを、ユーザが対話形式で入力できるようにしたものである。
【００６４】
図１２には、本例に係る監視システムの構成例を示してある。
本例の監視システムは、撮像装置３０１と、物体検出装置３０２と、表示装置３０３と、設定装置３０４と、撮像装置１と物体検出装置２とを接続するアクセスライン３１１と、物体検出装置３０２と表示装置３０３とを接続するアクセスライン３１２と、物体検出装置３０２と設定装置３０４とを接続するアクセスライン３１３を備えている。
【００６５】
撮像装置３０１は、例えば、画像（映像）を撮像するカメラから構成されており、監視の対象となる領域（監視対象領域）の画像を撮像し、撮像した画像のデータや、カメラの状態（パン、チルト、ズーム（焦点距離）の値やＣＣＤサイズ等）を、アクセスライン１１を介して物体検出装置３０２へ送信する。以後、カメラにおける実際のパン、チルト、ズームの値を、実カメラパラメータと呼ぶ。
物体検出装置３０２は、撮像装置３０１から送信された画像のデータを受信して入力し、入力した画像のデータと、物体の検出のために設定された情報に基づいて、監視対象領域内に侵入する物体を検出し、表示用の情報を、アクセスライン３１２を介して表示装置３０３へ送信する。
ここで、物体検出装置３０２から表示装置３０３へ送信する情報としては、種々な情報が用いられてもよく、例えば、物体の検出を行った画像の情報（画像データ）や、物体の検出結果を示す情報や、設定装置３０４により予め設定されたカメラパラメータの情報や、撮像装置３０１の実カメラパラメータなどの情報や、これら２つ以上の情報に基づいて得られた情報などを用いることができる。これらの情報は、（要求があれば）設定装置３０４にも送信される。
【００６６】
また、物体検出装置３０２は、撮像装置３０１から受信した画像のデータあるいはそれを加工した画像のデータなどを、アクセスライン１３を介して設定装置３０４へ送信する。
表示装置３０３は、物体検出装置３０２から送信された情報を受信して入力し、入力した情報あるいはそれを加工したものを画面に表示する。
【００６７】
設定装置３０４は、例えば、オペレータ（人）により操作されるキーボードやマウスなどからなる操作部を有しており、オペレータによる操作の内容に応じて各種の設定情報を受け付け、受け付けた設定情報を、アクセスライン３１３を介して物体検出装置３０２へ送信する。
また、設定装置３０４は、現在の設定情報や規定の設定情報を記憶するメモリや、オペレータに対して情報を表示する画面を有しており、物体検出装置２から受信した画像のデータや、オペレータにより各種の設定を行うために参照される情報などを画面に表示出力する。
【００６８】
各アクセスライン１１〜１３としては、種々な通信線が用いられてもよく、例えば、アナログ電話網、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）網、デジタル専用線網、ＩＰネットワーク（インターネット）などが用いられる。
【００６９】
次に、本例の設定装置３０４により行われる動作について説明する。
図１３には、設定装置３０４により表示される操作画面（設定画面）２１の一例を示してある。
本例の操作画面３２１は、画像を表示する画像表示部３３１と、ライブ映像を表示させるためのライブボタン３３２と、ファイルを選択するためのファイル選択ボタン３３３と、俯角のパラメータを設定するための俯角パラメータ設定テキストボックス（ＴＢ）３３４と、高さのパラメータを設定するための高さパラメータ設定ＴＢ３３５と、視野角のパラメータを設定するための視野角パラメータ設定ＴＢ３３６と、パラメータ設定を指示するためのパラメータ設定ボタン３３７、座標系選択ラジオボックス３３８、復元ボタン３３９を有しており、これらが表示される。
【００７０】
ここで、俯角パラメータ設定ＴＢ３３４、高さパラメータ設定ＴＢ３３５、視野角パラメータ設定ＴＢ３３６の各テキストボックスへ入力される３つの値は、それぞれ、撮像装置３０１（本例では、例えば、カメラ）の俯角、高さ、視野角（水平方向）のパラメータの値である。本例では、これらのパラメータをカメラパラメータと言う。
【００７１】
設定装置３０４は、第１座標系（本例では、カメラ座標系）の画像のデータを、第２座標系（本例では、完全シーン座標系）と第３座標系（本例では、准シーン座標系）の画像のデータへ変換する機能を有している。
本例では、カメラ座標系の画像は、撮像装置３０１により撮像された画像そのものであり、また、完全シーン座標系の画像は、監視対象領域の地図に相似する画像であり、准シーン座標系の画像は、物体の鉛直方向の高さが、撮像装置３０１からの距離に無関係に実際の高さに比例するような画像（それに近い画像も含む）である。第１座標系と第２座標系とは、カメラパラメータに基づいて、互いに変換される。また第１座標系と第３座標系とは、カメラパラメータを修正した修正カメラパラメータに基づいて、互いに変換される。
オペレータは、どちらのカメラパラメータを入力するのかを、座標系選択ラジオボックス３３８を用いて選択する。
【００７２】
画像表示部３３１には、撮像装置３０１によって得られた入力画像（図２と同じ）を、各テキストボックス３３４〜３３６に現在入力されているカメラパラメータに基づいて座標系変換した画像が表示される。
なお、カメラパラメータは、設定装置３０４に予め記憶させておいた値や、実カメラパラメータから算出した値をデフォルト値とし、各テキストボックス３３４〜３３６に自動的に入力しておくことができる。ただし、撮像装置３０１がパンやズームが固定のものの場合のパンズーム値や、高さパラメータは、設定装置３０４に予め記憶させておくか、デフォルト値無しとする。デフォルト値の一例として、俯角パラメータが４５［Ｄｅｇ］、高さパラメータが１．０［Ｍ］、視野角パラメータが４５［Ｄｅｇ］の値を取りうる。
また、各テキストボックスの右側には、直前のパラメータが表示されており、オペレータが復元ボタン３３９を押すと、表示されている直前のパラメータがテキストボックスに自動的に入力される。
【００７３】
ここで、画像表示部３３１に画像を表示する２つの方法について説明する。
（第１の方法）では、オペレータの操作により画面上でライブボタン３３２を押下すると、設定装置３０４から物体検出装置３０２に対して画像の要求が送信され、これを物体検出装置３０２が受信したことに応じて、撮像装置３０１により撮像された最新の画像のデータが物体検出装置３０２から設定装置３０４に対して送信され、これにより、設定装置３０４は、取得した当該画像のデータを、各テキストボックス３３４〜３３６に入力されているカメラパラメータもしくは修正カメラパラメータに基づいて座標系変換して表示する。
【００７４】
（第２の方法）では、予め撮像装置３０１により撮像された静止画像を用意しておき、オペレータの操作により画面上でファイル選択ボタン３３３を押下すると、選択可能なファイルを示すファイル選択ダイアログを画面上に表示し、オペレータの操作により画面上で表示する画像（例えば、画像のファイル名など）を選択すると、該当する画像のデータをワールド座標系の画像のデータへ変換して表示する。
【００７５】
第１及び第２の方法は、例えば、動画像を使用して表示を行ってもよい。動画像を使用する場合には、例えば、動画像を再生するためのボタンや一時停止するためのボタンを操作画面３２１に追加して表示し、動画像を一時停止させた状態でオペレータによりカメラパラメータの設定を行うことができる。
【００７６】
なお、撮像装置３０１の縦方向の視野角θVは、使用する撮像装置３０１の撮像素子のアスペクト比（縦横比）によって決定され、例えば、縦３に対して横４の比率の素子を使用する場合には、縦方向の視野角θVは横方向の視野角θHの７５％になる。このように、撮像装置１の縦方向の視野角θVと横方向の視野角θHは本質的に１つの情報になるため、本例では、撮像装置３０１の視野角を横方向の視野角θHで代表して設定する。
【００７７】
オペレータは、設置した撮像装置３０１の俯角θT、高さＨ、視野角θHの各パラメータを、各設定テキストボックス３３４〜３３６を用いて設定する。
設定装置３０４は、各テキストボックス３４、３５、３６のパラメータが変更されるたびに、変更後のパラメータに基づいて画像表示部３３１に表示されるワールド座標系の画像を更新するとともに、変更前のパラメータを記憶し、各テキストボックスの右側に薄い色で表示する。
【００７８】
オペレータは、画像表示部３３１に表示されるワールド座標系の画像を見ながら、各テキストボックス３３４〜３３６の数値を調節する。
例えば、オペレータが、画像表示部３３１に表示された画像を見ながら、地表面上の所定の物（例えば道路や駐車場の白線）について撮像装置３０１からの距離画像に係らずに長さや幅や角度が実物に相似するように調整すると、完全シーン座標系のカメラパラメータとして最適化される。また、所定の高さを有する物体について撮像装置３０１からの距離画像に係らずに高さが実物に相似するように調整すると、准シーン座標系の修正カメラパラメータとして最適化される。
【００７９】
カメラパラメータが適切に設定されると、完全シーン座標系の画像では、監視対象領域の地図と相似の関係にあり、例えば、画像中に映る道路などは平行な線として表示され、建物の角部分は直角に表示される、などの特徴がある。
このため、例えば、図４に示される画像表示部３３１の画像のように、道路などについては、画面上の手前と奥とで幅（道幅など）を一定にして、画面上で平行な線にするように、オペレータは、各テキストボックス３４〜３６を調節すればよい。
【００８０】
一方、修正カメラパラメータは、准シーン座標系の画像では、建物の窓、フェンス、橋の欄干、ポールなどのように、高さが一定であるとみなせる構造物が、画像表示部３３１に表示される座標変換後の画像上で同じ高さになっているか否かをオペレータにより視覚的に確認することで、設定が容易になる。
また、現実に全く同一の形状を有する複数の三角コーン（trafficconeあるいはpylon）が画面上の異なる位置に映っている場合に、画面上において、これら複数の三角コーンの形状（幅や高さなど）が一致するように調節するようなこともできる。
【００８１】
また、設定装置３０４は、上記のようなパラメータの調節が行われるに際して、画像表示部３３１に補助線を描画して表示する機能を備えていてもよい。
補助線としては、例えば、縦線や横線などを用いることができ、また、目盛り付きの線を用いることもでき、また、線の長さを数値で表示する態様が用いられてもよい。また、補助線の追加や削除、コピー、長さの変更、位置の移動などがオペレータの操作により可能な構成とすることもできる。
このような補助線は、例えば、道路などが画面上で平行な線となっているか否かなどを確認するために役立ち、また、画面上における長さ（高さなど）を測定するためにも役立つ。
【００８２】
設定装置３０４により設定したカメラパラメータの保存方法について説明する。
本例では、オペレータの操作により画面上でパラメータ設定ボタン３３７を押下すると、各テキストボックス３３４〜３３６により設定された３つのパラメータが、座標系選択ラジオボタンで選択されている座標系用のカメラパラメータとして、現在の実カメラパラメータと一緒に設定装置３０４のメモリやファイルなどに保存されるとともに、アクセスライン３１３を介して物体検出装置３０２へ送信される。
【００８３】
設定装置３０４は、カメラパラメータの他、実施例１同様の背景画像Ｔ１、領域パラメータＴ２、大きさパラメータＴ３の入力も受け付けて、物体検出装置３０２へ送信してもよい。
領域パラメータＴ２の入力の受け付けは、画像表示部３３１上でユーザが複数の点を指定することで成される。その際の座標系選択ラジオボックスの状態により、完全シーン座標系若しくは准シーン座標系のどちらで領域パラメータＴ２が受け付けられたかを判断し、その座標系の情報と一緒に物体検出装置３０２へ送信する。
大きさパラメータＴ３の入力は、座標系に依存しない、何メートル等の絶対値で受け付けるか、あるいは領域パラメータＴ２と同様に画面上で指定された高さや幅を、指定に用いた座標系の情報と共に受け付けることで成される。
なお、カメラパラメータ、修正カメラパラメータ及び実カメラパラメータは、実施例１の座標変換パラメータＴ４の一種であるとして、以下説明する。
【００８４】
次に、本例の物体検出装置３０２により行われる動作について説明する。
物体検出装置３０２は、図８に示される実施例１の画像処理とほぼ同様に動作する。ただし、座標系変換処理Ｓ７、領域判定処理Ｓ８、領域設定処理Ｓ１０に代えて、座標系変換処理Ｓ７’、領域判定処理Ｓ８’、パラメータ設定処理Ｓ１０’を実行する。
【００８５】
パラメータ設定処理Ｓ１０’は、設定装置３０４からそれぞれ受信したカメラパラメータ若しくは修正カメラパラメータを、座標変換パラメータＴ４として実カメラパラメータと対応付けて格納する。あるいは、カメラパラメータ若しくは修正カメラパラメータと、実カメラパラメータとの差、比、あるいは所定の関数で表現される関係を、記憶するように下も良い。その他のパラメータを受信したときは、単純に記憶する。
【００８６】
座標系変換処理Ｓ７’は、ラベリングされたかたまりについて、それぞれの位置と高さと幅を、第２座標系（完全シーン座標系）、第３座標系（准シーン座標系）それぞれで変換する。第２及び第３座標系への変換には、パラメータ設定処理Ｓ１０’で格納されたカメラパラメータ及び修正カメラパラメータをそれぞれ用いる。
ただし、撮像素子３０１のチルトやズームが変化している場合は、設定装置３０４から受信した（修正）カメラパラメータと実カメラパラメータとの差、比、あるいは所定の関数で表現される関係を保つように、当該かたまりの元になった画像が撮影されたときの撮像装置の実カメラパラメータに基づいて変換された（修正）カメラパラメータを用いる。
【００８７】
領域判定処理Ｓ８’では、領域パラメータＴ２で指定された領域内に、大きさパラメータＴ３に該当する長さ（高さ）、幅の有する、ラベリングされたかたまりが存在する場合には、当該かたまりを侵入物体と判断する。その際、座標系変換処理Ｓ７’で変換された位置と高さと幅は、各パラメータの指定に使われた座標系と同じ座標系の方を選んで用いる。
本実施例の意図するところでは、領域パラメータＴ２と大きさパラメータＴ３の幅に関しては第２座標系で、大きさパラメータＴ３の高さに関しては第３座標系で指定されていることが望ましい。本実施例の構成では、オペレータが任意に選べるようにしている。
【００８８】
次に、座標系変換処理Ｓ７’で行う座標変換を一般的に説明する。なお、これは座標系変換処理Ｓ７にも適合できるものである。
図１４には、カメラ座標軸と、シーン座標軸と、撮像装置３０１を示す斜視図が示されている。
点Ｍは、撮像装置３０１のレンズの光学主点であり、光学主点からレンズの光軸を延長し、基準となる地平面に交わる点がＰ0である。点Ｍから点Ｐ0へ向かうベクトルをＣとする。また光学主点から後方の光軸上には、撮像素子１０１がある。
シーン座標（ξ−ψ−Ｚ座標）は、Ｐ0を原点とし、基準となる地平面上のξ軸及びψ軸と、地平面に鉛直なＺ軸（図示しない）とを有する。ξ軸は、ベクトルＣと直交する。
カメラ座標（ｘ−ｙ座標）は、Ｐ0を原点とし、ベクトルＣに垂直な面の上のｘ軸、ｙ軸で定められる。ｘ軸は、ξ軸と同じである。ｘ−ｙ平面上でのカメラ座標が、撮像素子上の座標と完全に相似することは、容易に理解できる。
なお、シーン座標としては完全シーン座標を想定し、カメラ座標、シーン座標は、ともに正規直交座標系とする。
ベクトルＣは、シーン座標（ξ−ψ−Ｚ）では、Ｃ＝[0 −Ｌ Ｈ]Tである。
【００８９】
ここで、点Ｍから任意点ＰAへ向かうベクトルをＳとする。また点Ｐ０からＰAへ向かうベクトルをＡとする。また点Ｐ0から、ベクトルＳがｘ−ｙ平面と交差する点へ向かうベクトルをＢとする。
カメラ座標（ｘ−ｙ）は、シーン座標（ξ−ψ−Ｚ）を、ξ軸を中心にｔａｎ-1(Ｌ／Ｈ)だけ回転させたものだから、以下の２式が成り立つ。
【数８】
【数９】
【００９０】
このとき、Ａ、Ｂ、Ｃの各ベクトルの間には、以下のような関係が成り立つ。
【数１０】
【数１１】
ただし、αは撮影倍率である。
【００９１】
（式１０）をベクトルＢについて整理し、シーン座標で行列表記すれば、
【数１２】
となる。（式１２）に（式９）を適用すれば、
【数１３】
となる。特にＡZ＝０とすれば、αは
【数１４】
と、ベクトルＡで簡単に表せるので、（式１３）は、
【数１５】
となる。
【００９２】
同様に（式１０）をベクトルＡについて解けば、
【数１６】
となる。
（式１０）から（式１６）に用いたパラメータのうち、Ｌは俯角に相当し（すなわち、Ｌ＝Ｈ・cotθT）、αは視野角に相当する（すなわちα∝１／θH）。
【００９３】
以上を踏まえれば、カメラ画像のピクセル値ＰC（ｘ，ｙ）から、シーン座標に変換された画像のピクセル値ＰS（ξ，ψ）を、
【数１７】
と求められることが理解できる。すなわち、（式１７）を所定の範囲のξ，ψについて１ピクセルずつ計算すれば、シーン画像が得られる。逆に、シーン画像上で指定した領域などの点は、（式１５）を使えばカメラ座標に戻すことも出来る。
【００９４】
なお、准シーン座標系への変換は、上で述べた完全シーン座標系への変換パラメータを修正する（例えば、俯角θTを若干大きくする）ことで、行うことが出来る。俯角θTを若干大きくすると、カメラ画像と、完全シーン座標の画像の中間のような画像になる。あるいは、全く別の変換式を用いても良く、特に広角レンズを用いた際はレンズの収差を補正するような式を用いても良い。
【００９５】
また、シーン座標系（ξ−ψ−Ｚ）から、マップ座標系（Ｘ−Ｙ−Ｚ）への変換は、撮像装置３０１のパン角に応じた座標回転を施せば、容易に行える。更に、マップ座標系（Ｘ−Ｙ−Ｚ）から、グローバル座標系（ＸG−ＹG−ＺG）への変換は、単に撮像装置３０１の設置位置に相当する座標のオフセットを施せば、容易に行える。従って、これらのマップ座標系やグローバル座標系も、座標系変換処理Ｓ７’や領域判定処理Ｓ８’で用いる第２及び第３座標系に含まれうる。特に、マップ座標系は、撮像装置３０１がパンチルト制御できる場合に好適であり、グローバル座標系は、監視対象領域（画角）が一部重複するような複数の撮像装置を有し、複数の撮像装置で侵入者を追跡するようなシステムに好適である。
【００９６】
以上のように、本例の監視システムでは、監視対象領域を撮像する撮像装置３０１と、撮像装置３０１により撮像された画像を処理して監視対象領域の物体（物体の画像）を抽出し、抽出した物体が検出すべき物体であるか否かを検出すべき物体の情報に基づいて判定して、監視対象領域中の物体を検出する物体検出装置３０２と、物体検出装置３０２による物体検出の結果に基づく画像などを表示する表示装置３０３と、オペレータにより調節される各種のパラメータを設定する設定装置３０４を備え、監視対象領域中の検出すべき物体を検出する。
【００９７】
具体的には、本例では、撮像装置３０１により得られた入力画像の座標系（第１座標系）を、撮像装置３０１の設置の高さと、撮像装置３０１の設置の高さから見下ろす俯角と、撮像装置１の視野角といった少なくとも３つのパラメータに基づいて、異なる座標系（第２及び第３座標系）へ変換する。
ここで、第２座標系（完全シーン座標系）は、例えば、監視対象領域の実際の地図上の座標に相似する座標系であり、抽出した物体の位置を判断するときに好適である。
また、第３座標系（准シーン座標系）は、例えば、監視対象領域において、物体の見かけの高さが距離になるべく依存しないよう見せる座標系であり、抽出した物体の高さを判断するときに好適である。
【００９８】
そして、本例の監視システムは、第１座標系から第２及び第３座標系へ変換するためのカメラパラメータをオペレータにより任意に設定して設定できる構成を有している。特に、オペレータが座標変換された表示画像を見ながらそれらのパラメータを調節するようにしたので、オペレータはパラメータが妥当かどうか視覚的に容易に判断できる。
【００９９】
また、本例では、物体検出のための画像処理はカメラ座標系のまま行う態様を示したが、変換後の画像をオペレータが監視したい場合などは、撮像装置の画像を全て第２若しくは第３座標系（シーン座標系等）に変換して、画像処理や物体検出を行うようにしても良い。
また、本例では、物体検出のための閾値などの情報（領域パラメータＴ２、大きさパラメータＴ３）を第２あるいは第３座標系で設定する態様としたが、領域を図９のように３次元的に設定する際に、第２あるいは第３座標系では却って領域の境界線が歪んでしまうような場合は、カメラ座標系のまま設定するようにしてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施例１に係る監視装置の構成例を示す図である。
【図２】撮像装置により撮像される画像（入力画像）の一例を示す図である。
【図３】シーン画像の一例及び領域の設定の一例を示す図である。
【図４】座標変換を説明するための図である。
【図５】座標変換を説明するための図である。
【図６】座標変換を説明するための図である。
【図７】差分法の基本的な処理の様子の一例を示す図である。
【図８】画像処理に関する処理の手順の一例を示す図である。
【図９】撮像装置により撮像される画像（入力画像）の一例及び領域の設定の一例を示す図である。
【図１０】実施例２の画像入力ステップＳ２０１で取得される入力画像の一例。
【図１１】図１０の入力画像を座標変換して得られるシーン画像。
【図１２】実施例３に係る監視システムの構成例
【図１３】実施例３の設定装置３０４により表示される操作画面の一例
【図１４】カメラ座標軸と、シーン座標軸と、撮像素子３０１を示す斜視図
【符号の説明】
【０１０１】
１・・撮像装置、 ２・・映像入力回路、 ３・・画像処理プロセッサ、 ４・・プログラムメモリ、 ５・・ワークメモリ、 ６・・外部Ｉ／Ｆ回路、 ７・・映像出力回路、 ８・・データバス、 ９・・指示装置、 １０・・表示装置、 ２１、５１、７１・・入力画像、 ２２、７２・・建物の画像、 ３１・・シーン画像、 ３２、７３・・多角形（領域）、 ４１・・画面、 ５２・・人型の物体の画像、 ５３・・背景画像、 ５４・・差分器、 ５５・・差分画像、 ５６・・差分が生じた領域、 ５７・・二値化器、 ５８・・二値化画像、 ５９・・二値化された画素、 ６０・・物体が存在する領域、１０１・・撮像素子、
３０１・・撮像装置、３０２・・物体検出装置、３０３・・表示装置、３０４・・設定装置、３１１〜３１３・・アクセスライン。
【技術分野】
【０００１】
本発明は、画像処理装置などに関し、特に座標変換を利用することで画像処理に必要な設定を視覚的に容易化した画像処理装置などに関する。
【背景技術】
【０００２】
例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などといった固体撮像素子を搭載した撮像装置によって監視領域を撮像した画像（入力画像）を、画像処理部によって処理し、入力画像に写りこんだ所定の物体を自動的に検出するような監視装置が、従来広く用いられている。このような入力画像中の所定の物体を自動的に検出する方法の一例として、差分法（背景差分法）と呼ばれる方法が使用されている。
【０００３】
背景差分法による物体検出方法では、撮像装置等から得られる入力画像と検出すべき物体が映っていないときに撮像した背景画像（基準画像）との輝度（或いは、画素値）の差分を算出し、当該差分画像を所定の閾値で２値化した画像中で所定の大きさに達した領域（変化領域）に、検出すべき物体が存在するあるいはその可能性があるとして監視を行う。
【０００４】
図７は、背景差分法の模式図である。
入力画像５１には人型の物体の画像５２が含まれている。また、背景画像５３が予め用意されている。差分器５４により、入力画像５１と背景画像５３との間で画素毎の差分を計算し、その結果である差分画像５５を算出する。ここで、入力画像５１に映る人型の物体の画像５２は、差分画像５５中で、差分が生じた画素群５６として検出される。
【０００５】
次に、二値化器５７により、差分画像５５の各画素の値と所定のしきい値（例えば２０、なお１画素８ビットを仮定）とを比較し、しきい値以上となる画素を“２５５”とする一方、しきい値未満となる画素を“０”とする変換を行う。これにより、二値化画像５８を得る。ここで、差分画像５５において差分が生じた領域５６は、二値化された画素群５９として検出される。なお、図７では理想的な人型の画素群として検出されているが、本来１つの物体が複数の画素群になったり、複数の物体が１つの画素群になることもある。
【０００６】
更に、（前回検出されたかたまりの位置や大きさなどを参考にして）二値化された画素５９のかたまりを適切にグルーピングし、前回と同じ物体に同じ番号を付ける、グルーピングやラベリングなどの処理を経て、物体検出が達成される。検出結果は、物体が領域６０のように特定の幅と高さを持った矩形の枠でマークされた画像として得られたり、あるいは物体の位置や大きさ（高さ、幅）などを表す数値として得られる。
なお、背景差分のほか、フレーム間差分法やオプティカルフロー法など、各種の検出方法が知られる。
【０００７】
ところで無人の監視システムでは、誤報を減らすために、撮像した画像から前記のような方法によって検出された物体が、本当に検出すべき物体（侵入者等）であるか否かを確認すること、例えば基準となる情報と入力画像から抽出した物体の情報とを比較して判定（判断）することが行われる。基準となる情報（パラメータ）とは、例えば、検出すべき物体の位置や大きさに関する情報である。
すなわち、予め、撮像する入力画像中で、いずれの領域に存在する物体を検出すべき物体とするかというパラメータを設定しておき、物体の位置（例えば接地位置）がその領域内にあるか否かを判断する。この領域を定めるパラメータを領域パラメータと呼ぶ。また検出したい物体（例えば人）の大きさに合わせて、検出すべき物体の大きさの範囲を指定する。これを大きさパラメータと呼ぶ。
領域パラメータの設定を行うために、例えば、入力画像を表示装置に表示し、マウス等の操作部を用いて多角形の頂点を表示画面中で設定することで、所望の領域を指定する。
【０００８】
ここで、図９には、入力画像７１の一例を示してある。
例えば、入力画像７１中の建物７２に近づく物体を検出する場合には、所定の指示装置を用いて、図示されるように、入力画像７１中に例えば多角形（ポリゴン）７３の領域（図中で点線の部分）を指定する。
このようにして指定された多角形の中に、差分法などの方法により、大きさパラメータに合致する大きさの物体が検出されるか否かを判断することで、建物７２に近づく特定の物体（侵入者等）を検出することができる。
【０００９】
【特許文献１】特開２００６−２１１６９６号公報
【特許文献２】特開２００５−５７７４３号公報
【特許文献３】特開２００１−２７３５００号公報
【特許文献４】特開平７−３７０６３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、図９に示されるような監視装置における設定の方法では、同じ大きさの物体（建物、侵入者等）であっても、カメラ（撮像装置）からの距離によって、入力画像中での大きさが異なる。従って、入力画像をそのまま表示する表示装置の画像では、カメラから離れている場所が小さく表示されるため、マウスによる操作では、そのような遠方に多角形７３のような所望の領域を正確に設定するのが困難になるという問題があった。例えば、特定の建物から何メートル以内に近付く物体を検出したい場合に、カメラからの距離に応じて、建物と領域との間隔を画面上で精度良く指定するのは困難である。
また、大きさパラメータも画像内で変化しうる。従って、画像上の少なくとも２つの位置において検出すべき物体の画像上での大きさを指定し、その他の位置に存在する物体の画像上の大きさについては、指定された２つの位置の大きさを補間して定める方法や、領域を複数に分割し分割された領域毎に大きさパラメータを設定する方法が採られる。
【００１１】
この方法では、原理上は、正確な補間式が得られれば、画像上の任意の位置における大きさの情報を補間することができるが、入力画像のみに基づいて、そのような補間式を人手で精度よく生成するのは極めて困難である。すなわち、誤差を減らすために、画像上で指定する物体の位置の数を増やすことになるが、真の大きさの判っている十分な数の物体が画像内に常に映っているとは限らない。理想的には、現地に赴くことなく、カメラの設置状態などの情報の必要とせず、入力画像を見て遠隔から設定できることが望ましい。
領域を分割する方法においても、各領域で真の大きさが判っていて、かつ誤差がばらつかないように適切に分割するには、高度の熟練を要する。
【００１２】
本発明は、このような従来の事情に鑑み為されたもので、画像処理に必要なパラメータの設定などにおいて、ユーザによる設定を視覚的に容易化することができる画像処理装置などを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明では、画像を処理する画像処理装置において、次のような構成とした。
すなわち、カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、撮像時の座標系である第１座標系の画像を、基準となる平面上に設けられた第２座標系の画像へ変換する変換手段と、前記変換手段により変換された画像を表示する表示手段と、前記表示手段による画像の表示に応じてユーザにより入力される設定情報を受け付ける受付手段と、前記受け付けた設定情報を用いて、前記撮影された画像もしくは／及び検出するためのパラメータを変換してから、前記撮影された画像から前記パラメータを用いて物体を検出する検出手段と、を備えた。
また、前記第１座標系の画像と前記第２座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されるようにした。
【００１４】
従って、例えば地表面が距離に無関係にほぼ同じ大きさに映る第２座標系で画像が表示されて、それを見たユーザから設定情報を受け付けるため、例えば領域の設定などにおいて、ユーザによる設定を視覚的に容易化することができる。
なお、画像を撮像する撮像手段が画像処理装置に備えられてもよく、あるいは、撮像手段が画像処理装置の外部に備えられて、撮像手段により撮像された画像が画像処理装置に入力されてもよい。
【００１５】
また実施例３のように、前記変換手段は、撮像時の座標系である第１座標系の画像を、第２座標系とは異なる第３座標系の画像へも変換し、前記受付手段は、設定情報を、第１座標系、第２座標系、第３座標系のいずれかの値として受け付け、前記検出手段は、大きさパラメータと、領域パラメータとで、前記第１ないし第１座標系のうち異なる座標系を用いて物体を検出するように構成することもできる。
【００１６】
ここで、画像処理とは、例えば、画像に映る物体の検出処理であるが、計量や、単なる人へ表示を目的とするものでも良い。
また、撮像時の座標系である第１座標系としては、例えば、撮像手段（例えば、カメラ）の視点で見た座標系であり、例えば、撮像対象が焦点を中心に撮像面に中心投影されたときの、撮像面上の座標系である。第１座標系は、実施例におけるカメラ座標系（ｘ−ｙ座標）に対応する。
また、距離に無関係にほぼ同じ大きさに映る第２座標系としては、例えば、水平な地表面を基準平面として、当該地表面（地面）内に２つの軸を有する正規直交座標系（及びそれに近似する非線形や非直交の座標系も含む）である。第２座標系は、鉛直（高さ）方向の情報を無視すれば、当該地表面を鉛直方向に正投影した２次元の座標系として扱える。第２座標系は、実施例におけるシーン座標系（ξ−ψ−Ｚ）、マップ座標系（Ｘ−Ｙ−Ｚ）、グローバル座標系（ＸG−ＹG−ＺG）に対応する。
【００１７】
なお、第２座標系は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、例えば、地面を真上から見た当該地面の平面が用いられる。ただし、地面は完全には平らではないことや、必ずしも完全に地面に一致させなくてもよい場合もあることなどから、実用上で問題にならない程度のずれがあってもよい。
【００１８】
画像処理装置では、例えば、第１座標系と第２座標系との間で、設置された撮像装置（例えば、カメラ）の配置や焦点距離などに基づく変換式（数式）などを用いて、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、ユーザにより画像処理装置に設定されてもよく、あるいは、画像処理装置が撮像装置などからの情報に基づいて（自動的に）検出してもよく、あるいは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。
【００１９】
また、ユーザにより入力される情報を受け付ける手段としては、例えば、ユーザにより操作されるマウスやキーボードなどの操作部を用いて構成することができる。
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第２座標系の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。
【００２０】
なお、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。本発明に係るプログラムでは、装置やシステムを構成するコンピュータに実行させるものであって、各種の機能を当該コンピュータにより実現する。
【発明の効果】
【００２１】
本発明に係る画像処理装置などによると、基準となる平面の座標系で画像が表示されて、それを見たユーザから設定情報を受け付けるようにしたため、ユーザによる設定を視覚的に容易化することができる。
【発明を実施するための最良の形態】
【００２２】
本発明に係る実施例を図面を参照して説明する。
【実施例１】
【００２３】
図１には、本発明の実施例１に係る監視装置の構成例を示してある。
本例の監視装置は、例えばカメラを用いて構成された撮像装置１と、映像入力回路２と、画像処理プロセッサ３と、プログラムメモリ４と、ワークメモリ５と、外部Ｉ／Ｆ（インタフェース）回路６と、映像出力回路７と、データバス８と、例えば人により操作されるマウスやキーボードなどを用いて構成された指示装置９と、表示装置１０を備えている。
ここで、映像入力回路２と、画像処理プロセッサ３と、プログラムメモリ４と、ワークメモリ５と、外部Ｉ／Ｆ回路６と、映像出力回路７は、データバス８に接続されている。
なお、撮像装置１としては、例えば、撮像装置１を制御するための装置や、各種の外部記録装置等を有するものが用いられてもよい。
【００２４】
本実施例１の監視装置において行われる概略的な動作の一例を示す。
撮像装置１は、例えばテレビカメラ等であり、図２のような監視の対象となる領域（監視対象領域）を含む画像（映像）を撮像する。画像は、所定のレートで撮影されて映像入力回路２に出力されてもよく、あるいは映像入力回路２からの要求を受けてその都度最新のものが出力されてもよい。
ワークメモリ５は、撮像装置１により撮像された画像（入力画像２１や背景画像Ｔ１）を映像入力回路２を介して取得し、記憶する。また、領域パラメータＴ２や大きさパラメータＴ３のような画像処理に必要な各種パラメータも記憶する。
画像処理プロセッサ３は、プログラムメモリ４に記録されているプログラムに従って、ワークメモリ５内に記録された入力画像を処理し、その処理結果を映像出力回路７を介して表示装置１０の画面に表示する。
また、指示装置９を使用して受け付けられるオペレータ（ユーザ）からの指示が外部Ｉ／Ｆ回路６を介して入力される。画像処理プロセッサ３は、入力された指示に基づいて、前記したパラメータの変更や修正を行って、入力画像を処理する。
【００２５】
図８は、本実施例１の画像処理プロセッサ３により実行される定常時の物体検出処理の手順のフローチャートである。なお、図８では、説明を分かり易くするために、処理ステップＳ１〜Ｓ９以外に、ワークメモリ５に記録される背景画像Ｔ１（例えば図７に示される背景画像５３に相当するもの）及び領域情報Ｔ２と、指示装置９と表示装置１０を示してある。また、点線で示す矢印は、データの流れを表している。
【００２６】
画像入力ステップ（Ｓ１）では、撮像装置１により撮像した画像を、映像入力回路２を介してワークメモリ５へ転送する。
設定判定ステップ（Ｓ２）では、指示装置９から外部Ｉ／Ｆ回路６を介してオペレータによる設定指示があった場合には設定処理ステップ（Ｓ１０）へ分岐し、設定指示がなかった場合には差分処理ステップ（Ｓ３）へ分岐する。
【００２７】
設定判定ステップ（Ｓ２）において、指示装置９からの設定指示がなかった場合、差分処理ステップ（Ｓ３）では、画像入力ステップ（Ｓ１）で入力した入力画像２１とワークメモリ５内に記録されている背景画像Ｔ１との間で画素毎の差分を計算して差分画像（例えば図７に示される差分画像５５に相当するもの）を得る。
二値化処理ステップ（Ｓ４）では、差分画像の各画素の値と所定のしきい値とを比較して、しきい値以上の画素を“２５５”とし、しきい値未満の画素を“０”とする変換を行い、これにより、二値化画像（例えば図７に示される二値化画像５８に相当するもの）を得る。
【００２８】
ラベリング処理ステップ（Ｓ５）では、二値化画像中の“２５５”画素のかたまりに番号を付け、各かたまりを区別して処理できるようにする。
背景更新処理ステップ（Ｓ６）では、画像入力ステップ（Ｓ１）で得られた入力画像２１を用いて、ワークメモリ５内に記録されている背景画像Ｔ１を更新する。背景画像Ｔ１の更新としては、例えば、入力画像２１の画素毎（物体が検出された領域は除く）の時間平均などの方法を用いて新たな背景画像Ｔ１を作成することができ、監視環境（天候）の変化などによる照度変化に追従して背景画像Ｔ１を常に最新の状態に保つことができる。
【００２９】
座標系変換ステップ（Ｓ７）では、ラベリングされたかたまりのそれぞれの位置、長さ（高さ）、幅を、座標変換パラメータＴ４を用いてカメラ座標系からマップ座標系に変換する。なお“２５５”画素のかたまりの下端において、物体が接地していると推定されることから、かたまりの位置は当該下端の位置と定義する。また、マップ座標系とは、地表面を斜めからではなく鉛直方向に正投影したような（２次元）座標系であり、場所に因らず同じ大きさのものは同じ大きさに表される。座標系変換の詳細は後述する。
領域判定処理ステップ（Ｓ８）では、ワークメモリ５内に記録された領域パラメータＴ２等に基づいて、例えば、領域パラメータＴ２で指定された領域３２内に、大きさパラメータＴ３に該当する長さ（高さ）、幅の有する、ラベリングされたかたまりが存在する場合には、当該かたまりを侵入物体と判断する。なお、領域パラメータＴ２や大きさパラメータＴ３も、マップ座標系等で表現される値である。
処理結果表示ステップ（Ｓ９）では、領域判定処理ステップ（Ｓ７）の判定結果を、表示装置１０の画面に表示する。
処理結果表示ステップ（Ｓ９）が終了すると、画像入力ステップ（Ｓ１）へ戻り、画像入力がある度に（例えば入力画像のフレームレートの周期で）、Ｓ１からＳ９が繰り返される。
【００３０】
また、設定判定ステップ（Ｓ２）において、指示装置９から外部Ｉ／Ｆ回路６を介してオペレータによる設定指示があったと判定された場合、設定処理ステップ（Ｓ１０）では、ワークメモリ５内に記録されるパラメータの設定のための処理を行う。
例えば、カメラ座標系からマップ（シーン）座標系への変換に必要な座標変換パラメータＴ４（撮像装置１の撮像角度、取り付けの高さ、焦点距離の３つ、もしくはこれらから派生する値）を入力を受け付ける。また図３に示されるように、座標変換パラメータＴ４を用いて入力画像２１を地面に対して平行な平面に投影したようなシーン画像３１を作成して表示装置１０の画面に表示し、これを見たオペレータが指示装置９を操作することに応じて、多角形３２などの所望の領域の指定等を受け付け、領域パラメータＴ２や大きさパラメータＴ３としてをワークメモリ５に記録する。これらの詳細は後述する。
設定処理ステップ（Ｓ１０）が終了すると、画像入力ステップ（Ｓ１）へ戻る。
【００３１】
図２には、撮像装置１により撮像され図８の物体検出処理に用いられる入力画像２１の一例を示してある。この入力画像２１には、建物２２の画像などが含まれている。また、この入力画像２１を表示装置１０の画面に表示することが可能である。
図３には、入力画像２１をシーン（マップ）座標系に変換した画像であるシーン（マップ）画像３１の一例を示してある。このシーン画像３１を表示装置１０の画面に表示することが可能である。
【００３２】
このシーン画像３１は、監視対象領域の地図とほぼ相似している。なお、本明細書では、基準となる地表面を厳密に正投影したシーン座標系を完全シーン座標系と称することにする。完全シーン座標系では、基準にした地表面内に限れば、画像中に写る建物の直角部分は直角に、幅が一定の道路などは平行な線として表示される。本例では、オペレータが表示装置１０の画面に表示されたシーン画像３１を見ながら指示装置９を操作することにより、このシーン画像３１上で、例えば多角形３２などにより領域を指定する。本例で用いるシーン座標系は、完全シーン座標系である必要はなく、多少誤差を持ってよい。後述するように、物体の大きさのうち、特に高さが等しく映るように、あえて完全シーン座標系にしない場合もある。
【００３３】
次に、撮像装置１の視点での画像の座標系（本例では、カメラ座標系と言うが、スクリーン座標系、画面座標系、画像座標系などとも呼ばれる）と、地面に対して平行な平面に投影した画像の座標系（シーン座標系、マップ座標系、ワールド（グローバル）座標系と）との間の変換処理について説明する。なお、後者の座標系は、原点をカメラの光軸が地表面と交わる点に置くものをシーン座標系、カメラ設置位置に置くものをマップ座標系、任意位置に置くものをワールド座標系と呼び、区別することにする。
【００３４】
図４には、地面に対して水平な方向で（真横から）撮像装置１を見た場合の様子の一例を示してある。図５には、地面に対して垂直な方向で（真上から）撮像装置１を見た場合の様子の一例を示してある。
図４及び図５では、マップ座標系の原点を撮像装置１の真下の基準となる地面（水平面）とし、その地面上にＸ軸及びＹ軸を設けて、鉛直（高さ）方向にＺ軸を設けてあり、撮像装置１が向いているパン方向（Ｘ−Ｙ面内）にｒ軸を設けてある。
【００３５】
ここで、撮像装置１の設置の高さ（正確には撮像装置１の焦点の、地面からの高さ）をＨとしてあり、撮像装置１の俯角をθTとしてあり、撮像装置１の縦方向の視野角をθＶ、横方向の視野角をθＨとしてある。なお、撮像装置１の縦方向の視野角θＶは、撮像素子のアスペクト比（例えば４：３）を用いて撮像装置１の横方向の視野角θＨから算出することができる。
また、撮像装置１により撮像される画像の視野の中で、撮像装置１から最も近い所までの水平距離をＬNとしてあり、撮像装置１から最も遠い所までの水平距離をＬFとしてある。
【００３６】
まず、例えば、撮像装置１の位置や方向を変更するための雲台（パン−チルト）の現在の方向（例えば、雲台の正面を原点とし、パン角θＰ、チルト角θT）を取得し、撮像装置１の撮像レンズの現在の焦点距離ｆ（正確には焦点距離と繰り出し量の和である像距離）を取得する。これら取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸がないとする。
撮像装置１の横方向の視野角（画角）θＨと横方向の視野角（画角）θＨは、それぞれ（式１）（式２）により求められる。
【００３７】
【数１】
【数２】
【００３８】
ここで、ｗは撮像装置１の撮像素子である例えばＣＣＤ素子の横幅、ｈは縦幅であり、一例として、１／３インチ（素子サイズ４．８ｍｍ×３．６ｍｍ）の撮像素子を使用した場合には、ｗ＝４．８ｍｍ、ｈ＝３．６ｍｍである。また、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとした場合には、撮像装置１の画角は、θH＝３３．４°、θV＝２５．４°となる。すなわち、撮像装置１の視野は横方向に３３．４°の範囲を有する。なお本来は、焦点距離ｆではなく、像距離（後側主点と撮像面との距離であり、焦点距離と繰り出し量の和）を用いるべきであるが、レンズの公式の通り被写体距離が像距離より十分大きければ、像距離は焦点距離ｆとほぼ等しくなる。また焦点距離ｆはズームにより変換する。
【００３９】
通常、撮像装置１は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θTに応じて、撮像装置１の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置１の真下から視線方向ＬNの範囲に現れる。距離ＬNと距離ＬFとの間の領域が、撮像装置１の視野に入ることになる。
これらの距離ＬN、ＬFについて説明する。
距離ＬN及び距離ＬFは、（式３）により求められる。
【００４０】
【数３】
【００４１】
上記の結果、撮像装置１により撮像することができる範囲は、図４に示される撮像装置１と距離ＬNの点と距離ＬFの点で囲まれる三角形の領域の内部であり、図５に示される点Ｐ１、Ｐ２、Ｐ３、Ｐ４で囲まれる台形の領域の内部となる。
一例として、１／３インチの撮像素子を使用して、撮像レンズの焦点距離をｆ＝８．００ｍｍとし、雲台の現在の方向をθT＝３０°とし、撮像装置１の設置高をＨ＝５．０ｍとした場合には、ＬN＝５．４２ｍ、ＬF＝１６．１ｍとなる。
【００４２】
上記のように、撮像装置１の視野範囲の位置は、（式１）〜（式３）により演算される。
この結果に基づいて、図５に示される視野範囲の各頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４のマップ座標は、Ｐ１＝（ｘ１、ｙ１）、Ｐ２＝（ｘ２、ｙ２）、Ｐ３＝（ｘ３、ｙ３）、Ｐ４＝（ｘ４、ｙ４）として、（式４）〜（式７）により求められる。
【００４３】
【数４】
【００４４】
【数５】
【００４５】
【数６】
【００４６】
【数７】
【００４７】
ここで、θＰは、撮像装置１のパン角であり、本例では、Ｘ軸と撮像装置１の光軸とのなす角を示す。このように、Ｐ１〜Ｐ４で囲まれた台形の領域が、その形のまま表示できればよいのである。
【００４８】
表示装置１０の画面には、撮像装置１の視野範囲の各位置について入力画像をシーン座標へ変換した画像が表示される。
図６には、画面４１に表示されるシーン座標の画像の一例を示してある。なお図５、図６は作図技術上の問題で精密さは不十分であり、あくまで模式的に示すものである。
本例では、図６に示される４点Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’がそれぞれ図５に示される４点Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応している。この対応とは、例えばＰ１〜Ｐ４で示される台形が、その形のままＰ１’〜Ｐ４’に変換されるような対応である。また、点Ｐ３’、Ｐ４’が画面４１の上部に位置し、点Ｐ１’、Ｐ２’が画面４１の下部に位置するように表示されている。
【００４９】
なお、画面４１に表示される画像の奥行きの距離ＬFに制限を設けて画像を表示することも可能であり、一例として、奥行きを２５［ｍ］までに制限した場合には、変換後の画素のｒ座標が２５［ｍ］以上になる部分については画面４１に表示されないようにする。
同様に、画面４１に表示される画像の手前までの距離ＬNに制限を設けて画像を表示することも可能であり、一例として、手前までの距離を１０［ｍ］までに制限した場合には、変換後の画素のｒ座標が１０［ｍ］未満になる部分については画面４１に表示されないようにする。
【００５０】
座標変換パラメータＴ４が適切に設定されると、画面４１は、図６に示すものから図３に示すものに近付く。そして図３に示したように、領域パラメータＴ３が地表面上での多角形としてマップ（シーン）座標系で設定され、更に各領域毎に大きさパラメータが設定されうる。
【００５１】
ここで、領域としては、多角形以外にも種々な形を用いて指定が行われてもよい。また、例えば、画面の領域を複数のブロックに分割して、各ブロック毎に対象領域とするか否か（オンかオフか）を設定するような態様が用いられてもよい。
また、シーン画像３１で設定する情報としては、特に限定はなく、例えば、距離や、移動速度あるいは加速度や、人であるかあるいは動物であるかを判定するための大きさの条件（例えば、しきい値）などのように、人にとって地図のような平面図上で設定すると分かり易いような種々な情報を用いることができる。例えば、実際の寸法（実際の長さや速度など）を用いて設定を受け付けるような構成とすることも可能である。また、移動速度や加速度などは、最新、１回前、２回前のラベリングされたかたまりの位置から演算でき、物体の種類を判定するのに有用な場合がある。
【００５２】
また、本例では、撮像装置１により撮像された画像２１をシーン画像３１の座標へ変換して表示する態様を示したが、他の例として、監視対象領域を含む領域の地図の情報として、設計図あるいは市販の地図あるいは航空写真などの情報を予めメモリに記憶しておいて、撮像装置１により撮像された画像２１に対応した領域の地図情報を当該メモリから読み出して表示するような態様を用いることも可能である。
また、画像処理は、例えば、カメラ座標系で行われてもよく、あるいは、シーン座標系で行われてもよいが、通常は、撮像装置１により得られる画像がカメラ座標系であるため、（本例では、領域の設定以外は、）カメラ座標系で行われる方が効率的であると考えられる。
【００５３】
以上説明したように、本実施例１の監視装置（画像処理装置の一例）では、撮像装置１の機能により撮像手段が構成されており、画像処理プロセッサ３が第１座標系（カメラ座標系）の画像を第２座標系（シーン座標系）の画像へ変換する機能により変換手段が構成されており、表示装置１０の画面に画像を表示する機能により表示手段が構成されており、指示装置９を操作するユーザにより入力される情報を受け付ける機能により受付手段が構成されている。
また、距離に無関係にほぼ同じ大きさに映る第２座標系としては、例えば、水平な地表面を基準平面として、当該地表面（地面）内に２つの軸を有する正規直交座標系（及びそれに近似する非線形や非直交の座標系も含む）である。第２座標系は、鉛直（高さ）方向の情報を無視すれば、当該地表面を鉛直方向に正投影した２次元の座標系として扱える。第２座標系は、実施例におけるシーン座標系（ξ−ψ−Ｚ）、マップ座標系（Ｘ−Ｙ−Ｚ）、グローバル座標系（ＸG−ＹG−ＺG）に対応する。
これにより、例えば、画像上部と画像下部とで見かけの大きさが違うといったように画像上の位置によって見かけの大きさが違ってしまう問題を解消することができ、建物から一定距離の領域を指定するような場合においても、オペレータはマップ画像等に基づいて容易に領域を指定できる。
【実施例２】
【００５４】
本実施例２は、先の実施例１の監視装置における領域パラメータを、基準となる検出物体に基づいて適応的に設定し、例えばその基準となる物体に近付いてくる物体を検出するようにしたものである。本実施例２の監視装置のハードウェア構成や大まかな処理手順は、特に言及しない限り図１や図８に示す実施例１のものと同様である。同一ではないが対応する構成には、２００を足した符号（図示しない）を付して以下説明する。
【００５５】
図１０には、画像入力ステップＳ２０１で取得される入力画像２２１が示されている。この入力画像２２１は、処理結果表示ステップＳ２０９で表示装置１０に表示される。図１０の入力画像２２１には、例えば、護衛を要する要人や、薬物の密売人などの物体２２２が写っている。
【００５６】
オペレータが、指示装置９を用いてこの物体２２２を選択し、さらに所定の半径（例えば１０ｍ）を指定すると、画像処理プロセッサ３は、設定処理ステップＳ２１０において、その物体２２２の位置（接地位置）を中心とする楕円形の領域２２３を、入力画像２２１にオーバーレイ表示する。また、物体２２２のラベル番号と、領域２２３の半径（及び位置）が、領域パラメータとして設定される。更にオペレータが選択したときの物体２２２の大きさに基づいて、物体２２２用の大きさパラメータが設定される。なお領域２２３は、その後の処理結果表示ステップＳ２０９でも、物体２２２の最新の位置と前記半径に基づいて、入力画像２２１にオーバーレイ表示される。
【００５７】
図１１には、図１０の入力画像２２１をシーン（マップ）座標変換して得られるシーン画像２３１が示されている。
円形領域２３２は、領域２２３に対応し、シーン（マップ）座標系では物体２３３の接地位置を中心とする円形となる。円形領域２３２の半径は、オペレータが指定した半径である。
【００５８】
物体２２３は、実施例１と同様に、差分処理ステップ（Ｓ３）から座標変換ステップ（Ｓ７）及び領域判定処理ステップ（Ｓ２０８）の処理により検出され、常に最新の位置が把握されている。
物体２２３の検出には、テンプレートマッチングなどの他のアルゴリズムを用いても良く、また。物体２２３が画像の中央に写るように、パンチルト制御（トラッキング）を行っても良い。
【００５９】
領域判定処理ステップＳ２０８において、画像処理プロセッサ３はまず、領域パラメータに設定されている物体２２２のラベル番号と同じラベル番号を付されたかたまりが、大きさパラメータを満たすか判定する。大きさパラメータを満たすと判定されたら、そのかたまりを物体２２３として検出し、その物体２２２の位置と領域パラメータに基づいて、監視領域を更新する。そして更新された監視領域内に、所定の大きさパラメータを満たす他の物体があるか探索し、他の物体が検出された場合、所定の出力をする。
監視領域内かどうかは、マップ（シーン）座標系における物体２２２と他の物体との距離を、指定された半径と比べることで判断できる。もし物体２２２を見失ったとき、つまり同じラベルの大きさパラメータを満たすかたまりが所定回数連続して検出できなかったときは、物体２２３に対応する領域パラメータを消去する。
【００６０】
処理結果表示ステップＳ２０９において、画像処理プロセッサ３は、領域判定処理ステップＳ２０８での所定の出力に応じ、検出された他の物体を画面上に目立たせて表示したり、警報を発したりする。
【００６１】
本例では監視領域は、基本的に水平方向に長軸を持つ楕円となり、中心となる物体と半径のみ指定すればよいので、領域の設定自体はカメラ座標でも困難はない。
また監視領域をカメラ座標系で楕円形の領域２２３として設定し、領域２２３内の物体検出もカメラ座標系のまま行うようにしてもよい。つまり領域２２３を多角形に近似してその頂点の座標を領域パラメータＴ３として記憶しておき、後は実施例１と同様に多角形領域の内外判定を行う。
【００６２】
以上説明したように、本例の監視装置では、監視領域を適宜更新するようにしたので、移動する物体に対しても、その物体のカメラからの距離によらずに、監視領域を適切に設定し維持することができる。
【実施例３】
【００６３】
本実施例３は、先の実施例１や２の監視装置における座標系変換を、検出すべき物体の大きさ（大きさパラメータ）の指定に好適になるように若干改良したものである。またそのような座標系変換に必要な座標変換パラメータを、ユーザが対話形式で入力できるようにしたものである。
【００６４】
図１２には、本例に係る監視システムの構成例を示してある。
本例の監視システムは、撮像装置３０１と、物体検出装置３０２と、表示装置３０３と、設定装置３０４と、撮像装置１と物体検出装置２とを接続するアクセスライン３１１と、物体検出装置３０２と表示装置３０３とを接続するアクセスライン３１２と、物体検出装置３０２と設定装置３０４とを接続するアクセスライン３１３を備えている。
【００６５】
撮像装置３０１は、例えば、画像（映像）を撮像するカメラから構成されており、監視の対象となる領域（監視対象領域）の画像を撮像し、撮像した画像のデータや、カメラの状態（パン、チルト、ズーム（焦点距離）の値やＣＣＤサイズ等）を、アクセスライン１１を介して物体検出装置３０２へ送信する。以後、カメラにおける実際のパン、チルト、ズームの値を、実カメラパラメータと呼ぶ。
物体検出装置３０２は、撮像装置３０１から送信された画像のデータを受信して入力し、入力した画像のデータと、物体の検出のために設定された情報に基づいて、監視対象領域内に侵入する物体を検出し、表示用の情報を、アクセスライン３１２を介して表示装置３０３へ送信する。
ここで、物体検出装置３０２から表示装置３０３へ送信する情報としては、種々な情報が用いられてもよく、例えば、物体の検出を行った画像の情報（画像データ）や、物体の検出結果を示す情報や、設定装置３０４により予め設定されたカメラパラメータの情報や、撮像装置３０１の実カメラパラメータなどの情報や、これら２つ以上の情報に基づいて得られた情報などを用いることができる。これらの情報は、（要求があれば）設定装置３０４にも送信される。
【００６６】
また、物体検出装置３０２は、撮像装置３０１から受信した画像のデータあるいはそれを加工した画像のデータなどを、アクセスライン１３を介して設定装置３０４へ送信する。
表示装置３０３は、物体検出装置３０２から送信された情報を受信して入力し、入力した情報あるいはそれを加工したものを画面に表示する。
【００６７】
設定装置３０４は、例えば、オペレータ（人）により操作されるキーボードやマウスなどからなる操作部を有しており、オペレータによる操作の内容に応じて各種の設定情報を受け付け、受け付けた設定情報を、アクセスライン３１３を介して物体検出装置３０２へ送信する。
また、設定装置３０４は、現在の設定情報や規定の設定情報を記憶するメモリや、オペレータに対して情報を表示する画面を有しており、物体検出装置２から受信した画像のデータや、オペレータにより各種の設定を行うために参照される情報などを画面に表示出力する。
【００６８】
各アクセスライン１１〜１３としては、種々な通信線が用いられてもよく、例えば、アナログ電話網、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）網、デジタル専用線網、ＩＰネットワーク（インターネット）などが用いられる。
【００６９】
次に、本例の設定装置３０４により行われる動作について説明する。
図１３には、設定装置３０４により表示される操作画面（設定画面）２１の一例を示してある。
本例の操作画面３２１は、画像を表示する画像表示部３３１と、ライブ映像を表示させるためのライブボタン３３２と、ファイルを選択するためのファイル選択ボタン３３３と、俯角のパラメータを設定するための俯角パラメータ設定テキストボックス（ＴＢ）３３４と、高さのパラメータを設定するための高さパラメータ設定ＴＢ３３５と、視野角のパラメータを設定するための視野角パラメータ設定ＴＢ３３６と、パラメータ設定を指示するためのパラメータ設定ボタン３３７、座標系選択ラジオボックス３３８、復元ボタン３３９を有しており、これらが表示される。
【００７０】
ここで、俯角パラメータ設定ＴＢ３３４、高さパラメータ設定ＴＢ３３５、視野角パラメータ設定ＴＢ３３６の各テキストボックスへ入力される３つの値は、それぞれ、撮像装置３０１（本例では、例えば、カメラ）の俯角、高さ、視野角（水平方向）のパラメータの値である。本例では、これらのパラメータをカメラパラメータと言う。
【００７１】
設定装置３０４は、第１座標系（本例では、カメラ座標系）の画像のデータを、第２座標系（本例では、完全シーン座標系）と第３座標系（本例では、准シーン座標系）の画像のデータへ変換する機能を有している。
本例では、カメラ座標系の画像は、撮像装置３０１により撮像された画像そのものであり、また、完全シーン座標系の画像は、監視対象領域の地図に相似する画像であり、准シーン座標系の画像は、物体の鉛直方向の高さが、撮像装置３０１からの距離に無関係に実際の高さに比例するような画像（それに近い画像も含む）である。第１座標系と第２座標系とは、カメラパラメータに基づいて、互いに変換される。また第１座標系と第３座標系とは、カメラパラメータを修正した修正カメラパラメータに基づいて、互いに変換される。
オペレータは、どちらのカメラパラメータを入力するのかを、座標系選択ラジオボックス３３８を用いて選択する。
【００７２】
画像表示部３３１には、撮像装置３０１によって得られた入力画像（図２と同じ）を、各テキストボックス３３４〜３３６に現在入力されているカメラパラメータに基づいて座標系変換した画像が表示される。
なお、カメラパラメータは、設定装置３０４に予め記憶させておいた値や、実カメラパラメータから算出した値をデフォルト値とし、各テキストボックス３３４〜３３６に自動的に入力しておくことができる。ただし、撮像装置３０１がパンやズームが固定のものの場合のパンズーム値や、高さパラメータは、設定装置３０４に予め記憶させておくか、デフォルト値無しとする。デフォルト値の一例として、俯角パラメータが４５［Ｄｅｇ］、高さパラメータが１．０［Ｍ］、視野角パラメータが４５［Ｄｅｇ］の値を取りうる。
また、各テキストボックスの右側には、直前のパラメータが表示されており、オペレータが復元ボタン３３９を押すと、表示されている直前のパラメータがテキストボックスに自動的に入力される。
【００７３】
ここで、画像表示部３３１に画像を表示する２つの方法について説明する。
（第１の方法）では、オペレータの操作により画面上でライブボタン３３２を押下すると、設定装置３０４から物体検出装置３０２に対して画像の要求が送信され、これを物体検出装置３０２が受信したことに応じて、撮像装置３０１により撮像された最新の画像のデータが物体検出装置３０２から設定装置３０４に対して送信され、これにより、設定装置３０４は、取得した当該画像のデータを、各テキストボックス３３４〜３３６に入力されているカメラパラメータもしくは修正カメラパラメータに基づいて座標系変換して表示する。
【００７４】
（第２の方法）では、予め撮像装置３０１により撮像された静止画像を用意しておき、オペレータの操作により画面上でファイル選択ボタン３３３を押下すると、選択可能なファイルを示すファイル選択ダイアログを画面上に表示し、オペレータの操作により画面上で表示する画像（例えば、画像のファイル名など）を選択すると、該当する画像のデータをワールド座標系の画像のデータへ変換して表示する。
【００７５】
第１及び第２の方法は、例えば、動画像を使用して表示を行ってもよい。動画像を使用する場合には、例えば、動画像を再生するためのボタンや一時停止するためのボタンを操作画面３２１に追加して表示し、動画像を一時停止させた状態でオペレータによりカメラパラメータの設定を行うことができる。
【００７６】
なお、撮像装置３０１の縦方向の視野角θVは、使用する撮像装置３０１の撮像素子のアスペクト比（縦横比）によって決定され、例えば、縦３に対して横４の比率の素子を使用する場合には、縦方向の視野角θVは横方向の視野角θHの７５％になる。このように、撮像装置１の縦方向の視野角θVと横方向の視野角θHは本質的に１つの情報になるため、本例では、撮像装置３０１の視野角を横方向の視野角θHで代表して設定する。
【００７７】
オペレータは、設置した撮像装置３０１の俯角θT、高さＨ、視野角θHの各パラメータを、各設定テキストボックス３３４〜３３６を用いて設定する。
設定装置３０４は、各テキストボックス３４、３５、３６のパラメータが変更されるたびに、変更後のパラメータに基づいて画像表示部３３１に表示されるワールド座標系の画像を更新するとともに、変更前のパラメータを記憶し、各テキストボックスの右側に薄い色で表示する。
【００７８】
オペレータは、画像表示部３３１に表示されるワールド座標系の画像を見ながら、各テキストボックス３３４〜３３６の数値を調節する。
例えば、オペレータが、画像表示部３３１に表示された画像を見ながら、地表面上の所定の物（例えば道路や駐車場の白線）について撮像装置３０１からの距離画像に係らずに長さや幅や角度が実物に相似するように調整すると、完全シーン座標系のカメラパラメータとして最適化される。また、所定の高さを有する物体について撮像装置３０１からの距離画像に係らずに高さが実物に相似するように調整すると、准シーン座標系の修正カメラパラメータとして最適化される。
【００７９】
カメラパラメータが適切に設定されると、完全シーン座標系の画像では、監視対象領域の地図と相似の関係にあり、例えば、画像中に映る道路などは平行な線として表示され、建物の角部分は直角に表示される、などの特徴がある。
このため、例えば、図４に示される画像表示部３３１の画像のように、道路などについては、画面上の手前と奥とで幅（道幅など）を一定にして、画面上で平行な線にするように、オペレータは、各テキストボックス３４〜３６を調節すればよい。
【００８０】
一方、修正カメラパラメータは、准シーン座標系の画像では、建物の窓、フェンス、橋の欄干、ポールなどのように、高さが一定であるとみなせる構造物が、画像表示部３３１に表示される座標変換後の画像上で同じ高さになっているか否かをオペレータにより視覚的に確認することで、設定が容易になる。
また、現実に全く同一の形状を有する複数の三角コーン（trafficconeあるいはpylon）が画面上の異なる位置に映っている場合に、画面上において、これら複数の三角コーンの形状（幅や高さなど）が一致するように調節するようなこともできる。
【００８１】
また、設定装置３０４は、上記のようなパラメータの調節が行われるに際して、画像表示部３３１に補助線を描画して表示する機能を備えていてもよい。
補助線としては、例えば、縦線や横線などを用いることができ、また、目盛り付きの線を用いることもでき、また、線の長さを数値で表示する態様が用いられてもよい。また、補助線の追加や削除、コピー、長さの変更、位置の移動などがオペレータの操作により可能な構成とすることもできる。
このような補助線は、例えば、道路などが画面上で平行な線となっているか否かなどを確認するために役立ち、また、画面上における長さ（高さなど）を測定するためにも役立つ。
【００８２】
設定装置３０４により設定したカメラパラメータの保存方法について説明する。
本例では、オペレータの操作により画面上でパラメータ設定ボタン３３７を押下すると、各テキストボックス３３４〜３３６により設定された３つのパラメータが、座標系選択ラジオボタンで選択されている座標系用のカメラパラメータとして、現在の実カメラパラメータと一緒に設定装置３０４のメモリやファイルなどに保存されるとともに、アクセスライン３１３を介して物体検出装置３０２へ送信される。
【００８３】
設定装置３０４は、カメラパラメータの他、実施例１同様の背景画像Ｔ１、領域パラメータＴ２、大きさパラメータＴ３の入力も受け付けて、物体検出装置３０２へ送信してもよい。
領域パラメータＴ２の入力の受け付けは、画像表示部３３１上でユーザが複数の点を指定することで成される。その際の座標系選択ラジオボックスの状態により、完全シーン座標系若しくは准シーン座標系のどちらで領域パラメータＴ２が受け付けられたかを判断し、その座標系の情報と一緒に物体検出装置３０２へ送信する。
大きさパラメータＴ３の入力は、座標系に依存しない、何メートル等の絶対値で受け付けるか、あるいは領域パラメータＴ２と同様に画面上で指定された高さや幅を、指定に用いた座標系の情報と共に受け付けることで成される。
なお、カメラパラメータ、修正カメラパラメータ及び実カメラパラメータは、実施例１の座標変換パラメータＴ４の一種であるとして、以下説明する。
【００８４】
次に、本例の物体検出装置３０２により行われる動作について説明する。
物体検出装置３０２は、図８に示される実施例１の画像処理とほぼ同様に動作する。ただし、座標系変換処理Ｓ７、領域判定処理Ｓ８、領域設定処理Ｓ１０に代えて、座標系変換処理Ｓ７’、領域判定処理Ｓ８’、パラメータ設定処理Ｓ１０’を実行する。
【００８５】
パラメータ設定処理Ｓ１０’は、設定装置３０４からそれぞれ受信したカメラパラメータ若しくは修正カメラパラメータを、座標変換パラメータＴ４として実カメラパラメータと対応付けて格納する。あるいは、カメラパラメータ若しくは修正カメラパラメータと、実カメラパラメータとの差、比、あるいは所定の関数で表現される関係を、記憶するように下も良い。その他のパラメータを受信したときは、単純に記憶する。
【００８６】
座標系変換処理Ｓ７’は、ラベリングされたかたまりについて、それぞれの位置と高さと幅を、第２座標系（完全シーン座標系）、第３座標系（准シーン座標系）それぞれで変換する。第２及び第３座標系への変換には、パラメータ設定処理Ｓ１０’で格納されたカメラパラメータ及び修正カメラパラメータをそれぞれ用いる。
ただし、撮像素子３０１のチルトやズームが変化している場合は、設定装置３０４から受信した（修正）カメラパラメータと実カメラパラメータとの差、比、あるいは所定の関数で表現される関係を保つように、当該かたまりの元になった画像が撮影されたときの撮像装置の実カメラパラメータに基づいて変換された（修正）カメラパラメータを用いる。
【００８７】
領域判定処理Ｓ８’では、領域パラメータＴ２で指定された領域内に、大きさパラメータＴ３に該当する長さ（高さ）、幅の有する、ラベリングされたかたまりが存在する場合には、当該かたまりを侵入物体と判断する。その際、座標系変換処理Ｓ７’で変換された位置と高さと幅は、各パラメータの指定に使われた座標系と同じ座標系の方を選んで用いる。
本実施例の意図するところでは、領域パラメータＴ２と大きさパラメータＴ３の幅に関しては第２座標系で、大きさパラメータＴ３の高さに関しては第３座標系で指定されていることが望ましい。本実施例の構成では、オペレータが任意に選べるようにしている。
【００８８】
次に、座標系変換処理Ｓ７’で行う座標変換を一般的に説明する。なお、これは座標系変換処理Ｓ７にも適合できるものである。
図１４には、カメラ座標軸と、シーン座標軸と、撮像装置３０１を示す斜視図が示されている。
点Ｍは、撮像装置３０１のレンズの光学主点であり、光学主点からレンズの光軸を延長し、基準となる地平面に交わる点がＰ0である。点Ｍから点Ｐ0へ向かうベクトルをＣとする。また光学主点から後方の光軸上には、撮像素子１０１がある。
シーン座標（ξ−ψ−Ｚ座標）は、Ｐ0を原点とし、基準となる地平面上のξ軸及びψ軸と、地平面に鉛直なＺ軸（図示しない）とを有する。ξ軸は、ベクトルＣと直交する。
カメラ座標（ｘ−ｙ座標）は、Ｐ0を原点とし、ベクトルＣに垂直な面の上のｘ軸、ｙ軸で定められる。ｘ軸は、ξ軸と同じである。ｘ−ｙ平面上でのカメラ座標が、撮像素子上の座標と完全に相似することは、容易に理解できる。
なお、シーン座標としては完全シーン座標を想定し、カメラ座標、シーン座標は、ともに正規直交座標系とする。
ベクトルＣは、シーン座標（ξ−ψ−Ｚ）では、Ｃ＝[0 −Ｌ Ｈ]Tである。
【００８９】
ここで、点Ｍから任意点ＰAへ向かうベクトルをＳとする。また点Ｐ０からＰAへ向かうベクトルをＡとする。また点Ｐ0から、ベクトルＳがｘ−ｙ平面と交差する点へ向かうベクトルをＢとする。
カメラ座標（ｘ−ｙ）は、シーン座標（ξ−ψ−Ｚ）を、ξ軸を中心にｔａｎ-1(Ｌ／Ｈ)だけ回転させたものだから、以下の２式が成り立つ。
【数８】
【数９】
【００９０】
このとき、Ａ、Ｂ、Ｃの各ベクトルの間には、以下のような関係が成り立つ。
【数１０】
【数１１】
ただし、αは撮影倍率である。
【００９１】
（式１０）をベクトルＢについて整理し、シーン座標で行列表記すれば、
【数１２】
となる。（式１２）に（式９）を適用すれば、
【数１３】
となる。特にＡZ＝０とすれば、αは
【数１４】
と、ベクトルＡで簡単に表せるので、（式１３）は、
【数１５】
となる。
【００９２】
同様に（式１０）をベクトルＡについて解けば、
【数１６】
となる。
（式１０）から（式１６）に用いたパラメータのうち、Ｌは俯角に相当し（すなわち、Ｌ＝Ｈ・cotθT）、αは視野角に相当する（すなわちα∝１／θH）。
【００９３】
以上を踏まえれば、カメラ画像のピクセル値ＰC（ｘ，ｙ）から、シーン座標に変換された画像のピクセル値ＰS（ξ，ψ）を、
【数１７】
と求められることが理解できる。すなわち、（式１７）を所定の範囲のξ，ψについて１ピクセルずつ計算すれば、シーン画像が得られる。逆に、シーン画像上で指定した領域などの点は、（式１５）を使えばカメラ座標に戻すことも出来る。
【００９４】
なお、准シーン座標系への変換は、上で述べた完全シーン座標系への変換パラメータを修正する（例えば、俯角θTを若干大きくする）ことで、行うことが出来る。俯角θTを若干大きくすると、カメラ画像と、完全シーン座標の画像の中間のような画像になる。あるいは、全く別の変換式を用いても良く、特に広角レンズを用いた際はレンズの収差を補正するような式を用いても良い。
【００９５】
また、シーン座標系（ξ−ψ−Ｚ）から、マップ座標系（Ｘ−Ｙ−Ｚ）への変換は、撮像装置３０１のパン角に応じた座標回転を施せば、容易に行える。更に、マップ座標系（Ｘ−Ｙ−Ｚ）から、グローバル座標系（ＸG−ＹG−ＺG）への変換は、単に撮像装置３０１の設置位置に相当する座標のオフセットを施せば、容易に行える。従って、これらのマップ座標系やグローバル座標系も、座標系変換処理Ｓ７’や領域判定処理Ｓ８’で用いる第２及び第３座標系に含まれうる。特に、マップ座標系は、撮像装置３０１がパンチルト制御できる場合に好適であり、グローバル座標系は、監視対象領域（画角）が一部重複するような複数の撮像装置を有し、複数の撮像装置で侵入者を追跡するようなシステムに好適である。
【００９６】
以上のように、本例の監視システムでは、監視対象領域を撮像する撮像装置３０１と、撮像装置３０１により撮像された画像を処理して監視対象領域の物体（物体の画像）を抽出し、抽出した物体が検出すべき物体であるか否かを検出すべき物体の情報に基づいて判定して、監視対象領域中の物体を検出する物体検出装置３０２と、物体検出装置３０２による物体検出の結果に基づく画像などを表示する表示装置３０３と、オペレータにより調節される各種のパラメータを設定する設定装置３０４を備え、監視対象領域中の検出すべき物体を検出する。
【００９７】
具体的には、本例では、撮像装置３０１により得られた入力画像の座標系（第１座標系）を、撮像装置３０１の設置の高さと、撮像装置３０１の設置の高さから見下ろす俯角と、撮像装置１の視野角といった少なくとも３つのパラメータに基づいて、異なる座標系（第２及び第３座標系）へ変換する。
ここで、第２座標系（完全シーン座標系）は、例えば、監視対象領域の実際の地図上の座標に相似する座標系であり、抽出した物体の位置を判断するときに好適である。
また、第３座標系（准シーン座標系）は、例えば、監視対象領域において、物体の見かけの高さが距離になるべく依存しないよう見せる座標系であり、抽出した物体の高さを判断するときに好適である。
【００９８】
そして、本例の監視システムは、第１座標系から第２及び第３座標系へ変換するためのカメラパラメータをオペレータにより任意に設定して設定できる構成を有している。特に、オペレータが座標変換された表示画像を見ながらそれらのパラメータを調節するようにしたので、オペレータはパラメータが妥当かどうか視覚的に容易に判断できる。
【００９９】
また、本例では、物体検出のための画像処理はカメラ座標系のまま行う態様を示したが、変換後の画像をオペレータが監視したい場合などは、撮像装置の画像を全て第２若しくは第３座標系（シーン座標系等）に変換して、画像処理や物体検出を行うようにしても良い。
また、本例では、物体検出のための閾値などの情報（領域パラメータＴ２、大きさパラメータＴ３）を第２あるいは第３座標系で設定する態様としたが、領域を図９のように３次元的に設定する際に、第２あるいは第３座標系では却って領域の境界線が歪んでしまうような場合は、カメラ座標系のまま設定するようにしてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施例１に係る監視装置の構成例を示す図である。
【図２】撮像装置により撮像される画像（入力画像）の一例を示す図である。
【図３】シーン画像の一例及び領域の設定の一例を示す図である。
【図４】座標変換を説明するための図である。
【図５】座標変換を説明するための図である。
【図６】座標変換を説明するための図である。
【図７】差分法の基本的な処理の様子の一例を示す図である。
【図８】画像処理に関する処理の手順の一例を示す図である。
【図９】撮像装置により撮像される画像（入力画像）の一例及び領域の設定の一例を示す図である。
【図１０】実施例２の画像入力ステップＳ２０１で取得される入力画像の一例。
【図１１】図１０の入力画像を座標変換して得られるシーン画像。
【図１２】実施例３に係る監視システムの構成例
【図１３】実施例３の設定装置３０４により表示される操作画面の一例
【図１４】カメラ座標軸と、シーン座標軸と、撮像素子３０１を示す斜視図
【符号の説明】
【０１０１】
１・・撮像装置、 ２・・映像入力回路、 ３・・画像処理プロセッサ、 ４・・プログラムメモリ、 ５・・ワークメモリ、 ６・・外部Ｉ／Ｆ回路、 ７・・映像出力回路、 ８・・データバス、 ９・・指示装置、 １０・・表示装置、 ２１、５１、７１・・入力画像、 ２２、７２・・建物の画像、 ３１・・シーン画像、 ３２、７３・・多角形（領域）、 ４１・・画面、 ５２・・人型の物体の画像、 ５３・・背景画像、 ５４・・差分器、 ５５・・差分画像、 ５６・・差分が生じた領域、 ５７・・二値化器、 ５８・・二値化画像、 ５９・・二値化された画素、 ６０・・物体が存在する領域、１０１・・撮像素子、
３０１・・撮像装置、３０２・・物体検出装置、３０３・・表示装置、３０４・・設定装置、３１１〜３１３・・アクセスライン。
【特許請求の範囲】
【請求項１】
カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、
撮像時の座標系である第１座標系の画像を、基準となる平面上に設けられた第２座標系の画像へ変換する変換手段と、
前記変換手段により変換された画像を表示する表示手段と、
前記表示手段による画像の表示に応じてユーザにより入力される設定情報を受け付ける受付手段と、
前記受け付けた設定情報を用いて、前記撮影された画像もしくは／及び検出するためのパラメータを変換してから、前記撮影された画像から前記パラメータを用いて物体を検出する検出手段と、
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記第１座標系の画像と前記第２座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、前記パラメータは、物体を検出すべき領域を定める領域パラメータか、検出すべき物体の大きさの範囲を定める大きさパラメータの少なくとも一方を有することを特徴とする画像処理装置。
【請求項４】
前記設定情報は、前記領域パラメータか、前記大きさパラメータの少なくとも一方を有することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、前記領域パラメータは、基準となる物体が検出される都度、当該基準となる物体の周囲を領域とするように更新されるものであって、
前記基準となる物体以外の物体が当該領域の中にあること第２座標系において判断することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、前記領域パラメータは、基準となる物体が検出される都度、当該基準となる物体の周囲を領域とするように更新されるものであって、
第２座標系で指定された前記領域パラメータを、前記基準となる物体の位置に応じて第１座標系に変換し、
前記基準となる物体以外の物体が当該領域の中にあること第１座標系の画像上で判断することを特徴とする画像処理装置。
【請求項７】
請求項３に記載の画像処理装置において、
前記変換手段は、撮像時の座標系である第１座標系の画像を、第２座標系とは異なる第３座標系の画像へも変換し、
前記受付手段は、設定情報を、第１座標系、第２座標系、第３座標系のいずれかの値として受け付け、
前記検出手段は、大きさパラメータと、領域パラメータとで、前記第１ないし第１座標系のうち異なる座標系を用いて物体を検出する、
を備えた画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記設定情報は、第１座標系を第２座標系もしくは第３座標系に変換するための座標変換パラメータを有することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記設定情報は、第１座標系を第２座標系もしくは第３座標系に変換するための座標変換パラメータを有することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記座標変換パラメータは、前記カメラの俯角と、設置高さと、視野角とに相当する、３つの独立パラメータからなることを特徴とする画像処理装置。
【請求項１】
カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、
撮像時の座標系である第１座標系の画像を、基準となる平面上に設けられた第２座標系の画像へ変換する変換手段と、
前記変換手段により変換された画像を表示する表示手段と、
前記表示手段による画像の表示に応じてユーザにより入力される設定情報を受け付ける受付手段と、
前記受け付けた設定情報を用いて、前記撮影された画像もしくは／及び検出するためのパラメータを変換してから、前記撮影された画像から前記パラメータを用いて物体を検出する検出手段と、
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記第１座標系の画像と前記第２座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、前記パラメータは、物体を検出すべき領域を定める領域パラメータか、検出すべき物体の大きさの範囲を定める大きさパラメータの少なくとも一方を有することを特徴とする画像処理装置。
【請求項４】
前記設定情報は、前記領域パラメータか、前記大きさパラメータの少なくとも一方を有することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、前記領域パラメータは、基準となる物体が検出される都度、当該基準となる物体の周囲を領域とするように更新されるものであって、
前記基準となる物体以外の物体が当該領域の中にあること第２座標系において判断することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、前記領域パラメータは、基準となる物体が検出される都度、当該基準となる物体の周囲を領域とするように更新されるものであって、
第２座標系で指定された前記領域パラメータを、前記基準となる物体の位置に応じて第１座標系に変換し、
前記基準となる物体以外の物体が当該領域の中にあること第１座標系の画像上で判断することを特徴とする画像処理装置。
【請求項７】
請求項３に記載の画像処理装置において、
前記変換手段は、撮像時の座標系である第１座標系の画像を、第２座標系とは異なる第３座標系の画像へも変換し、
前記受付手段は、設定情報を、第１座標系、第２座標系、第３座標系のいずれかの値として受け付け、
前記検出手段は、大きさパラメータと、領域パラメータとで、前記第１ないし第１座標系のうち異なる座標系を用いて物体を検出する、
を備えた画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記設定情報は、第１座標系を第２座標系もしくは第３座標系に変換するための座標変換パラメータを有することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記設定情報は、第１座標系を第２座標系もしくは第３座標系に変換するための座標変換パラメータを有することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記座標変換パラメータは、前記カメラの俯角と、設置高さと、視野角とに相当する、３つの独立パラメータからなることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−１７６７６８（Ｐ２００８−１７６７６８Ａ）
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願番号】特願２００７−２８４７１９（Ｐ２００７−２８４７１９）
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２０年７月３１日（２００８．７．３１）
【国際特許分類】
【出願日】平成１９年１１月１日（２００７．１１．１）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]