監視装置及び監視プログラム
【課題】 ２つのカメラを用いて動物体の位置や大きさを簡易な構成により正確に求める監視装置を提供する。
【解決手段】 監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリ１４と、複数のカメラ１１ａ〜１１ｃで取得した画像を取得画像として取得画像用メモリ１３に記憶する画像取得制御部１２ａと、取得画像と背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部１５と、抽出された動物体領域が重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部１９と、抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部１８とを有する。
【解決手段】 監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリ１４と、複数のカメラ１１ａ〜１１ｃで取得した画像を取得画像として取得画像用メモリ１３に記憶する画像取得制御部１２ａと、取得画像と背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部１５と、抽出された動物体領域が重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部１９と、抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部１８とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラを用いて動物体を検出し、検出した動物体の位置や大きさを特定できる監視装置及び監視プログラムに関する。
【背景技術】
【０００２】
従来、不審者の侵入等を監視するため、公園、店舗内又は金融機関等において、監視装置を備えていることがある。このような監視装置には、単に画像を取得して記憶するのみでなく、取得された画像から動物体を抽出しその動物体の位置又は動向を決定し、動物体の大きさを特定して不審者の特定をするものもある。
【０００３】
単一のカメラにより取得された画像から動物体を抽出してその位置を求める場合、たとえば、差分画像から動物体の位置や大きさを特定する下記の方法がある。まず、取得画像について、適当なワールド座標系ＸＹＺが設定される。このとき、地面を平面に近似できるとして地面上の適当な点を原点とし、地面上にＸ軸及びＹ軸が、地面と垂直にＺ軸が設定される。次に、取得画像についてカメラの視点を原点とするカメラ座標系ｘｙｚが設定される。ここでは、ｘ軸は撮像面の水平方向、ｙ軸は垂直方向、ｚ軸は光軸に設定される。また、ワールド座標とカメラ座標との関係として、回転行列及び並進行列が求められる。さらに、取得画像に対して、適当な座標系ｕｖが設定される。この座標系ｕｖは、光軸と画像との交点を原点とし、水平方向をｕ軸、垂直方向をｖ軸とされる。
【０００４】
その後、取得画像から、背景差分又はフレーム間差分等の差分により、画像中の動物体領域が抽出される。動物体領域が求められると、画像中に存在する動物体が地面に接している点の画像座標を接地点座標と設定される。具体的には、抽出した動物体領域の最下部の座標を接地点座標とする。続いて、接地点座標とワールド座標系とカメラ座標系との関係として、回転行列及び並進行列から動物体のワールド座標を計算し、動物体の位置や大きさが求められる。
【０００５】
また、２つのカメラを１組としてこの２つのカメラから取得された画像から動物体の位置を求める場合にも、たとえば、差分画像から動物体の位置や大きさを特定する方法がある。この方法では、１組のカメラは完全に重複する画像を撮影したステレオカメラの原理を利用している。
【０００６】
具体的には、まず、取得画像について、上述した単一のカメラを用いる場合と同様に、適当なワールド座標系ＸＹＺが設定される。次に、１組の各カメラに対して、カメラの視点を原点とするカメラ座標系ｘiｙiｚi（i＝０，１）が設定される。ここで、ｘi軸は撮像面の水平方向、ｙi軸は垂直方向、ｚi軸は光軸に設定される。また、ワールド座標系とカメラ座標系との関係である、回転行列及び並進行列が求められる。さらに、カメラ画像に対して、適当な座標系ｕiｖiが設定される。この座標系ｕiｖiは、光軸と画像との交点を原点とし、水平方向をｕi軸、垂直方向をｖi軸とする。
【０００７】
続いて、１組のカメラのうち、どちらか一方のカメラで取得された画像について、背景差分又はフレーム間差分を用いて画像中の動物体領域が抽出される。後に、抽出された動物体領域に含まれる画素に対して対応する画素を、もう一方のカメラで取得された画像から求められる。さらに、動物体領域の対応する画素の座標とワールド座標とカメラ座標との関係である回転行列及び並進行列から、動物体のワールド座標を計算し、動物体の位置や大きさが求められている。
【０００８】
従来の物体監視装置は、予め取得された背景画像と新たに取得した画像との差分から動物体領域を抽出して動物体と地面との接点を設定し、その画像座標から計算により動物体のワールド座標を求めていた。たとえば、特許文献１には、予め登録されている背景画像と入力画像との差分で侵入物体を検出する背景差分を利用し、所定フレームごとに同様に求められた差分から移動物体を抽出する物体監視装置が記載されている。また、特許文献１に記載の物体監視装置では、抽出した移動物体を追尾して威嚇することが記載されている。
【特許文献１】特開平９−２６５５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の物体監視装置では、地面との接点が遮蔽物によって足元が遮られている場合にはワールド座標を正確に求めることができない。そのため、このようにして求められたワールド座標値の信頼性が低くなってしまう問題がある。
【００１０】
また、従来の物体監視装置によって求められる動物体の大きさは、動物体領域の縦、横の画素数と、上述した従来の方法により求めたワールド座標から、決定されている。しかしながら、たとえば、従来の物体監視装置では、影の影響などにより動物体領域が動物体のシルエットを忠実に表現することができない場合もある。そのため、求めたワールド座標値の信頼性が低くなってしまう問題がある。
【００１１】
２つのカメラを用いて三角測量の原理を用いたワールド座標の算出方法は、座標の信頼性は高い。しかしながら、１台のカメラから取得した画像を用いて実施する場合と比較して、カメラの台数は２倍必要になる。そのため、距離計算をする回数が増えることにより計算量も増えるので、計算能力の高いコンピュータが必要となる。このように、カメラの台数も増え、計算能力の高いコンピュータを利用するため、システムの規模が大きくなり設計コストがかかる問題がある。また、２つのカメラで取得した画像が完全に重複した画像でない場合、正確な距離情報を得ることができない。
【００１２】
上記課題に鑑み本発明は、コストも抑え、かつ、信頼性の高い動物体の追尾を可能とする監視装置を容易な構成で実現することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決するため請求項１に記載の本発明によれば、各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラを用いて監視を行なう監視装置において、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリと、複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶する画像取得制御部と、取得画像と背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部と、抽出された動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部と、抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部とを有することを特徴としている。
【００１４】
また、請求項２に記載の本発明によれば、カメラで取得した画像を用いて監視を行なう監視プログラムにおいて、各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラで、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリに記憶させるステップと、複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶させるステップと、取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定するステップと、抽出された動物体領域が重複する領域内にある場合、動く物体の位置検出を３次元で行なうステップと、抽出された動物体領域が重複する領域内にない場合、動く物体の位置検出を２次元で行なうステップとを有することを特徴としている。
【００１５】
上述した本発明によれば、設計コストも抑え、かつ、信頼性の高い動物体の位置検出や追尾を可能とする。
【発明の効果】
【００１６】
本発明の監視装置では、２つのカメラを用いて動物体の位置や大きさを簡易な構成により正確に求めることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る監視装置の最良の形態について図面を用いて説明する。
【００１８】
［物体監視装置］
図１に示すように、本発明に係る物体監視装置１は、画像取得部１１と、画像取得制御部１２ａと、背景画像取得制御部１２ｂと、取得画像用メモリ１３と、背景画像用メモリ１４と、動物体領域抽出部１５と、重複ワールド座標算出部１６と、重複ワールド座標メモリ１７と、単眼動物体位置検出部１８と、２眼動物体位置検出部１９及び出力部２０を有している。
【００１９】
本発明に係る物体監視装置１は、例えば図２に示すように複数のカメラが配置されている。たとえば、画像取得部１１で３台のカメラを有している場合、各カメラ１１ａ〜１１ｃは図２に示すように、複数のカメラの撮像領域の周辺部が互いに重なり合うように配置されている。ここで、動物体が時刻ｔ0からｔ1に移動したと仮定する。動物体は時刻ｔ0ではカメラ１１ｂで取得した画像にのみ写されており、時刻ｔ1ではカメラ１１ｂとカメラ１１ｃで取得された画像の両方に写っているとする。この時刻ｔ1においては、動物体はカメラ１１ｂ及びカメラ１１ｃで取得された画像の重複部分Ｂに存在する。図２では、カメラは３台備えているが、３台でなく、２台であっても４台であっても、各カメラの取得領域の周辺部が互いに重なり合うように配置されていれば良い。
【００２０】
画像取得部１１は、取得する画像の一部が重複する重複部分Ｂができるように配置される複数のカメラを備えている。図１に示す物体監視装置１の画像取得部１１は、３台のカメラ１１ａ〜１１ｃを有している。図２に示すように、本実施例においては、カメラ１１ａとカメラ１１ｂ、また、カメラ１１ｂとカメラ１１ｃは取得される画像の一部がそれぞれ重複される構成となっている。なお、図１では画像取得部１１は物体監視装置１において備えられているが、物体監視装置１に備えられていない構成であっても良い。すなわち、画像取得部１１は、物体監視装置１の外部に備えられ、画像取得部１２ａと接続されて画像を取得する構成であっても良い。
【００２１】
画像取得制御部１２ａは、画像取得部１１で周期的に取得した画像を取得画像として取得画像用メモリ１３に記憶させる。ここで、対応する各取得画像は周期的に画像取得部１１の各カメラ１１ａ〜１１ｃから同時刻に一斉に取得される。この取得画像には、必ずしも動物体が存在するものではなく、背景画像と比較して動物体の存在を確認するために用いられる。
【００２２】
背景画像取得制御部１２ｂは、画像取得部１１で予め画像視野に動物体の存在しない状態で取得した画像を背景画像として背景画像用メモリ１４に記憶させる。ここで、対応する各背景画像は、予め、画像取得部１１の各カメラ１１ａ〜１１ｃから同時刻に一斉に画像を取得される。
【００２３】
取得画像用メモリ１３は、画像取得制御部１２ａのカメラ１１ａ〜１１ｃにより周期的に取得された画像が取得画像として順次記憶される。
【００２４】
背景画像用メモリ１４は、予め各カメラ１１ａ〜１１ｃに動物体が写っていないときに取得された画像が背景画像として記憶されている。
【００２５】
動物体領域抽出部１５は、新たに取得されて取得画像用メモリ１３に記憶される取得画像と背景画像用メモリ１４に記憶される背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出する。対応する取得画像と背景画像とは、同一のカメラ１１ａ〜１１ｃで取得されたものであるため、取得されたそれぞれの画像の視野も同一である。そのため、動物体領域抽出部１５は、差分を求め、その差分が予め定められている閾値以上の領域を抽出することで、動物体の存在する部分である動物体領域Ｆを決定できる。
【００２６】
重複ワールド座標算出部１６は、背景画像用メモリ１４に記憶される各カメラ１１ａ〜１１ｃで取得された対応する背景画像を読出し、重複部分Ｂのワールド座標を算出する。
【００２７】
重複ワールド座標メモリ１７は、重複ワールド座標算出部１６で算出された重複部分Ｂのワールド座標を記憶する。
【００２８】
単眼動物体位置検出部１８は、抽出された動物体領域Ｆが重複部分Ｂにない場合、この動物体の位置検出を行なう。すなわち、動物体が１つのカメラにしか写っていない場合、求められた動物体領域Ｆの座標から動物体の位置を求める。
【００２９】
２眼動物体位置検出部１９は、抽出された動物体領域Ｆが前記重複部分Ｂにある場合、この動物体の位置検出を行なう。すなわち、動物体が２つのカメラの撮像範囲が重なっている領域にいる場合、ステレオカメラの原理を用いてその位置を求める。２眼動物体位置検出部１９は、重複ワールド座標メモリ１７に記憶している重複部分Ｂのワールド座標を利用して、動物体の位置検出を行なう。
【００３０】
出力部２０は、単眼動物体位置検出部１８または２眼動物体位置検出部１９で求めた動物体の位置を示す座標や動物体の高さを出力する。
【００３１】
図３に示すフローチャートを用いて、本発明に係る物体監視装置１における処理の流れを説明する。
【００３２】
本発明に係る物体監視装置１では、画像取得部１１のカメラ１１ａ〜１１ｃで、画像取得制御部１２ａの制御により周期的に同時に画像が取得される（Ｓ０１）。なお、必ずしも周期的に画像を取得するのではなく、不定期に発せられる何らかの画像取得指示信号に基づいて取得される構成であっても良い。
【００３３】
続いて、各カメラ１１ａ〜１１ｃで取得された画像が取得画像として、取得画像用メモリ１３に記憶される（Ｓ０２）。
【００３４】
その後、取得画像用メモリ１３に記憶されている取得画像と、予め背景画像用メモリ１４で記憶されている背景画像とが動物体領域抽出部１５に入力され、動物体領域抽出部１５で動物体領域Ｆが抽出される（Ｓ０３）。動物体抽出の具体的な処理については後述するが、取得画像と背景画像との差分を求め、その差分が予め定められている閾値よりも大きい値となった領域を動物体領域Ｆとする。
【００３５】
動物体領域抽出部１５で動物体が存在することが確認されると（Ｓ０４でＹＥＳ）、抽出された動物体領域Ｆが重複部分Ｂに存在するか否かが判断される（Ｓ０５）。動物体が重複部分Ｂでない部分に存在する場合、背景画像及び取得画像が単眼動物体位置検出部１８に入力され、単眼動物体位置の検出処理がされる（Ｓ０６）。単眼動物体の位置検出については、後に詳述する。
【００３６】
一方、動物体が重複部分Ｂに存在する場合、背景画像及び取得画像が２眼動物体位置検出部１９に入力され、２眼動物体位置検出の処理がされる（Ｓ０７）。２眼動物体位置の検出については、後に詳述する。
【００３７】
その後、出力部２０において、ステップＳ０５又はＳ０６で処理された結果が出力される（Ｓ０８）。
【００３８】
［動物体領域抽出］
続いて、図４及び図５を用いて、上述したステップＳ０３における動物体領域抽出部１５における動物体領域Ｆの抽出処理について説明する。図４に示すのは、動物体領域抽出の一連の処理を説明する画像の一例である。また、図５に示すのは動物体抽出処理を説明するフローチャートである。
【００３９】
まず、動物体領域抽出部１５から入力した背景画像について、背景ワールド座標を設定する（Ｓ１１）。図４（ａ）に示すのは、カメラ１１ａにより取得された背景画像に対し、背景ワールド座標が設定された背景画像の一例である。ここで、背景画像のワールド座標は画像と光軸が交わる点を原点０iとし、水平方向にｕ軸、垂直方向にｖ軸をとる。図４（ａ）に示す背景画像の座標（ｕ，ｖ）における画素の輝度値を、ＩN（ｕ，ｖ）とする。
【００４０】
図４（ｂ）に示すのは、カメラ１１ａにより時刻ｔ0に取り込まれた取得画像の一例であり、動物体が存在している。図４（ｂ）に示す時刻ｔ0に取り込まれた取得画像の座標（ｕ，ｖ）における画素の輝度値をＪN（ｕ，ｖ）とする。
【００４１】
ステップＳ１１において背景ワールド座標が設定されると、取得画像のカメラ座標を設定する（Ｓ１２）。続いて、取得画像と背景画像との差分を求める（Ｓ１３）。対応する画素において、輝度の差分を求め、差分の大きな画素を動物体領域Ｆとする（Ｓ１４）。すなわち、下記の（１）式を満足する画素を１、それ以外を０として２値画像を求める。この２値画像は、画像取得部１１で取得された画像の全ての画素について１又は０が決定されることで求められる。
【数１】
【００４２】
（ａ：適当な閾値）
たとえば、背景画像が図４（ａ）に示す画像であり、取得画像が図４（ｂ）に示す画像である場合、上記の（１）式を用いて求められた２値画像は図４（ｃ）に示す画像となる。図４（ｃ）の例では、値が１（図４（ｃ）で黒色）の画素で構成される領域が動物体領域Ｆである。また、（１）式における適当な閾値ａは、予め定められる値である。
【００４３】
なお、ステップＳ１４において、動物体領域Ｆが抽出されない場合には、取得された取得画像中に動物体は存在しないとする。
【００４４】
［単眼動物体位置検出］
次に、図６を用いて、上述した図５のステップＳ０６の単眼動物体位置検出部１８における動物体の位置検出について説明する。図６に示すのは、画像の座標の一例である。
【００４５】
まず、背景画像について、ワールド座標系ＸＹＺを設定される。ワールド座標系ＸＹＺは、図６（ａ）に示すように、原点０は地面上の適当な位置に設定する。また、Ｘ軸とＹ軸は地面上に含まれる互いに直行する適当な直線に設定し、Ｚ軸は地面と垂直で上方をプラスとなるように設定する。
【００４６】
次に、図６（ｂ）にカメラ１１ａで取得した画像を例として説明する。図６（ｂ）に示すように、カメラ１１ａにより取得される画像のカメラ座標系をｘNｙNｚNと設定する。原点０Nはカメラの視点とする。また、ｘN軸は撮像面の水平方向に、ｙN軸は撮像面の垂直方向に一致するように設定し、ｚN軸は光軸方向に設定する。続いて、画像の座標系ｕNｖNが設定される。ｕN軸は撮像面の水平方向に、ｕN軸は撮像面の垂直方向に一致するように設定する。
【００４７】
カメラ座標が設定されると、検出された動物体が地面と接する点（接地点）及び動物体の最も高い点（最高点）を求める。具体的には、検出された動物体領域Ｆを含む最小の長方形Ｅを求めて、その下辺と上辺の中点をそれぞれ接地点Ｐ0（ｕ0，ｖ0）、最高点Ｐ1（ｕ1，ｖ1）とすることで、接地点及び最高点を求めることができる。
【００４８】
ここで、カメラ座標系ｕｖとワールド座標系ＸＹＺとの関係は一般的に、下記の（２）式の定義式で表される。
【数２】
【００４９】
Ａ：カメラ内部のパラメータに関する行列（３×３行列）
Ｒ：回転行列（３×３行列）
Ｔ：並進ベクトル（３次元）
また、上記の（２）式でｗはカメラ毎に定められる定数である。
【００５０】
（２）式から、接地点のワールド座標を（Ｘ0，Ｙ0，０）と仮定すると、画像座標との関係は、下記の（３）式で表される。
【数３】
【００５１】
ここで、
【数４】
【００５２】
とおくと、（３）式は、下記の（４）式で表すことができる。
【数５】
【００５３】
また、Ｐ’の逆行列Ｐ’-1を（５）式とする。
【数６】
【００５４】
また、このときＸ0及びＹ0は、（６）式で表される。
【数７】
【００５５】
上述した手順により、接地点のワールド座標を求めることができる。
【００５６】
接地点のワールド座標が求められると次に、動物体の高さＺ1を求める。最高点のワールド座標を（Ｘ0，Ｙ0，Ｚ1）とすると、下記の（７）式の関係が成り立つ。
【数８】
【００５７】
（７）式を展開すると、（８）式となる。
【数９】
【００５８】
この（８）式からＺ1を（９）式のように求める。
【数１０】
【００５９】
上記のように、最高点のワールド座標（Ｘ0，Ｙ0，Ｚ1）を求めることができる。上述した処理により、動物体の位置及び動物体の高さＺ1を求めることができる。また、このようにして求められた動物体の位置及び動物体の高さが動物体の監視結果として出力部２０により出力される。
【００６０】
［２眼動物体位置検出］
次に、図７を用いて、図５のステップＳ０７の２眼動物体位置検出部１９における動物体の位置検出について説明する。図７（ａ）に示すのは、カメラ１１ａにより取得された画像であり、図７（ｂ）に示すのはカメラ１１ｂにより取得された画像である。図７（ａ）及び図７（ｂ）では、重なり合う重複部分Ｂについて斜線を用いて表している。
【００６１】
２眼動物体位置検出を行なうために、重複ワールド座標算出部１６は、カメラ１１ａにより取得された背景画像ＩN+1とカメラ１１ｂにより取得された背景画像ＩNを用いて、背景画像ＩN+1と背景画像ＩNが重なり合う領域の各画素におけるワールド座標を重複ワールド座標ＷNとして求める。また、重複ワールド座標メモリ１７は、重複ワールド座標算出部１６により求められた重複ワールド座標ＷNを記憶している。
【００６２】
まず、カメラ１１ａにより取得される画像のカメラ座標系をｘN+1ｙN+1ｚN+1とする。また、カメラ１１ａ内部のパラメータ行列をＡN+1、カメラ座標系とワールド座標系の回転行列をＲN+1、並進ベクトルをＴN+1とする。さらに、カメラ１１ｂにより取得される画像についても同様に、カメラ１１ｂのカメラ座標系をｘNｙNｚN、カメラ内部のパラメータ行列をＡN、カメラ座標系とワールド座標系の回転行列をＲN、並進ベクトルをＴNとする。
【００６３】
背景画像ＩNにおける座標（ｕ，ｖ）の画素ＰN（ｕ，ｖ）に対応する被写体のワールド座標を求めるには、まず、画素ＰN（ｕ，ｖ）に対応する背景画像ＩN+1上の画素ＰN+1（ｕ’，ｖ’）を求める必要がある。そのために、２眼動物体位置検出部１９では、画素ＰN（ｕ，ｖ）を中心に水平、垂直方向に±Ｋ画素の矩形領域ＤNを設定するとともに、画素ＰN（ｕ，ｖ）に対応するＩN+1上のエピ極線を求める。一般的に、背景画像ＩNにおける画素ＰN（ｕ，ｖ）の背景画像ＩN+1上の対応点である画素ＰN+1（ｕ’，ｖ’）は、エピ極線上にあることが理論から分かっている。そのため、画素ＰN+1（ｕ’，ｖ’）は、エピ極線をａ1ｕ’＋ｂ1ｖ’＋ｃ1＝０とすると（１０）式から求めることができる。
【数１１】
【００６４】
Ｆ：基礎行列
エピ極線上の各画素上の各画素を中心にして矩形領域ＤNを設定してＤN+1との相関を求める。相関Ｒは（１１）式で求めることができる。
【数１２】
【００６５】
ＩN（ｕ，ｖ）：背景画像ＩNの座標における輝度値
ＩN+1（ｕ，ｖ）：背景画像ＩN+1の座標における輝度値
最も相関の高い矩形領域の中心画素が対応する画素となる。
【００６６】
次に、画素ＰN+1（ｕ，ｖ）と対応する画素ＰN（ｕ，ｖ）とからワールド座標（Ｘ，Ｙ，Ｚ）を求める。カメラ座標（ｕ，ｖ）、（ｕ’，ｖ’）とワールド座標（Ｘ，Ｙ，Ｚ）との関係は（１２）式で表される。
【数１３】
【数１４】
【数１５】
【００６７】
上記の（１４）式から、たとえば最小二乗法を用いてワールド座標（Ｘ，Ｙ，Ｚ）を求める。
【００６８】
図７（ｃ）及び図７（ｄ）に示すのは、カメラ１１ａ及びカメラ１１ｂの重なり合う重複部分Ｂに動物体が存在する場合の取得画像の一例である。図７（ｃ）に示す画像は、時刻ｔ1にカメラ１１ａで撮影された取得画像ＪN+1であり、図７（ｄ）に示す画像は、時刻ｔ1にカメラ１１ｂで撮影された取得画像ＪNである。動物体が重複部分Ｂに存在する場合、動物体の位置と大きさを求める手順を以下に説明する。
【００６９】
取得画像ＪNにおいて、単眼動物体位置検出部１８と同様に、取得画像ＪNと背景画像ＩNの差分を抽出して得られた動物体領域Ｆから、その領域を含む最小の長方形ＥNを設定する。
【００７０】
長方形内ＥNのすべての画素ＰN（ｕ，ｖ）に対して、背景画像のワールド座標ＷNを求めたときと同様の方法で、各画素に対応するワールド座標（Ｘ，Ｙ，Ｚ）を求める。これを、動物体ワールド座標ＷFとする。長方形内の画素において、背景画像のワールド座標ＷBと動物体のワールド座標ＷFとの差分を求め、差分が予め設定されていた閾値よりも大きい値となる画素で形成される領域を、新たに動物体領域Ｆ’とする。また、この領域のワールド座標をＷF’とする。
【数１６】
【００７１】
ＷF’内のワールド座標のＸ及びＹの平均値を動物体の位置を表すワールド座標を（Ｘ0，Ｙ0，Ｚ0）とすると、Ｘ0，Ｙ0，Ｚ0は（１６）式で求まる。
【数１７】
【００７２】
ｎ：W F’に含まれる画素の総数
また、ＷF’内のワールド座標（Ｘ，Ｙ，Ｚ）のＺの最小値Ｚmin と最大値Ｚmaxとの差を高さＨとする。
【数１８】
【００７３】
上記のように、最高点のワールド座標を求めることができ、これにより、動物体の位置及び動物体の高さを検出することができる。このようにして検出された動物体位置及び動物体の高さが動物体の監視結果として出力部２０により出力される。
【００７４】
本発明は、中央処理制御装置、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及び入出力インタフェースなどを有する通常のコンピュータに、上述した監視装置を実現する為にインストールされる監視プログラムを含むものとする。
【００７５】
上述したように、本発明に係る監視装置では、複数のカメラを用いて動物体の検出をする場合、撮影範囲が一部において互いに重なり合うように設置される２つのカメラを利用することにより、カメラの個数の増加やコンピュータの計算能力の向上を必要とせずに、動物体の位置と大きさを正確に求めて動物体を追尾することができる。
【００７６】
本発明は、ここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【００７７】
【図１】本発明に係る物体監視装置を示すブロック図である。
【図２】本発明に係る物体監視装置のカメラの配置を説明する図である。
【図３】本発明に係る物体監視装置における処理を説明する図である。
【図４】本発明に係る物体監視装置で動物体領域を抽出する場合の画像の一例である。
【図５】本発明に係る物体監視装置で動物体領域を抽出する処理を説明する図である。
【図６】本発明に係る物体監視装置の単眼動物体位置検出部における動物体位置検出を説明する図である。
【図７】本発明に係る物体監視装置の２眼動物体位置検出部における動物体位置検出を説明する図である。
【符号の説明】
【００７８】
１…物体監視装置
１１…画像取得部
１１ａ〜１１ｃ…カメラ
１２ａ…画像取得制御部
１２ｂ…背景画像取得制御部
１３…取得画像用メモリ
１４…背景画像用メモリ
１５…動物体領域抽出部
１６…重複ワールド座標算出部
１７…重複ワールド座標メモリ
１８…単眼動物体位置検出部
１９…２眼動物体位置検出部
２０…出力部
【技術分野】
【０００１】
本発明は、複数のカメラを用いて動物体を検出し、検出した動物体の位置や大きさを特定できる監視装置及び監視プログラムに関する。
【背景技術】
【０００２】
従来、不審者の侵入等を監視するため、公園、店舗内又は金融機関等において、監視装置を備えていることがある。このような監視装置には、単に画像を取得して記憶するのみでなく、取得された画像から動物体を抽出しその動物体の位置又は動向を決定し、動物体の大きさを特定して不審者の特定をするものもある。
【０００３】
単一のカメラにより取得された画像から動物体を抽出してその位置を求める場合、たとえば、差分画像から動物体の位置や大きさを特定する下記の方法がある。まず、取得画像について、適当なワールド座標系ＸＹＺが設定される。このとき、地面を平面に近似できるとして地面上の適当な点を原点とし、地面上にＸ軸及びＹ軸が、地面と垂直にＺ軸が設定される。次に、取得画像についてカメラの視点を原点とするカメラ座標系ｘｙｚが設定される。ここでは、ｘ軸は撮像面の水平方向、ｙ軸は垂直方向、ｚ軸は光軸に設定される。また、ワールド座標とカメラ座標との関係として、回転行列及び並進行列が求められる。さらに、取得画像に対して、適当な座標系ｕｖが設定される。この座標系ｕｖは、光軸と画像との交点を原点とし、水平方向をｕ軸、垂直方向をｖ軸とされる。
【０００４】
その後、取得画像から、背景差分又はフレーム間差分等の差分により、画像中の動物体領域が抽出される。動物体領域が求められると、画像中に存在する動物体が地面に接している点の画像座標を接地点座標と設定される。具体的には、抽出した動物体領域の最下部の座標を接地点座標とする。続いて、接地点座標とワールド座標系とカメラ座標系との関係として、回転行列及び並進行列から動物体のワールド座標を計算し、動物体の位置や大きさが求められる。
【０００５】
また、２つのカメラを１組としてこの２つのカメラから取得された画像から動物体の位置を求める場合にも、たとえば、差分画像から動物体の位置や大きさを特定する方法がある。この方法では、１組のカメラは完全に重複する画像を撮影したステレオカメラの原理を利用している。
【０００６】
具体的には、まず、取得画像について、上述した単一のカメラを用いる場合と同様に、適当なワールド座標系ＸＹＺが設定される。次に、１組の各カメラに対して、カメラの視点を原点とするカメラ座標系ｘiｙiｚi（i＝０，１）が設定される。ここで、ｘi軸は撮像面の水平方向、ｙi軸は垂直方向、ｚi軸は光軸に設定される。また、ワールド座標系とカメラ座標系との関係である、回転行列及び並進行列が求められる。さらに、カメラ画像に対して、適当な座標系ｕiｖiが設定される。この座標系ｕiｖiは、光軸と画像との交点を原点とし、水平方向をｕi軸、垂直方向をｖi軸とする。
【０００７】
続いて、１組のカメラのうち、どちらか一方のカメラで取得された画像について、背景差分又はフレーム間差分を用いて画像中の動物体領域が抽出される。後に、抽出された動物体領域に含まれる画素に対して対応する画素を、もう一方のカメラで取得された画像から求められる。さらに、動物体領域の対応する画素の座標とワールド座標とカメラ座標との関係である回転行列及び並進行列から、動物体のワールド座標を計算し、動物体の位置や大きさが求められている。
【０００８】
従来の物体監視装置は、予め取得された背景画像と新たに取得した画像との差分から動物体領域を抽出して動物体と地面との接点を設定し、その画像座標から計算により動物体のワールド座標を求めていた。たとえば、特許文献１には、予め登録されている背景画像と入力画像との差分で侵入物体を検出する背景差分を利用し、所定フレームごとに同様に求められた差分から移動物体を抽出する物体監視装置が記載されている。また、特許文献１に記載の物体監視装置では、抽出した移動物体を追尾して威嚇することが記載されている。
【特許文献１】特開平９−２６５５８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の物体監視装置では、地面との接点が遮蔽物によって足元が遮られている場合にはワールド座標を正確に求めることができない。そのため、このようにして求められたワールド座標値の信頼性が低くなってしまう問題がある。
【００１０】
また、従来の物体監視装置によって求められる動物体の大きさは、動物体領域の縦、横の画素数と、上述した従来の方法により求めたワールド座標から、決定されている。しかしながら、たとえば、従来の物体監視装置では、影の影響などにより動物体領域が動物体のシルエットを忠実に表現することができない場合もある。そのため、求めたワールド座標値の信頼性が低くなってしまう問題がある。
【００１１】
２つのカメラを用いて三角測量の原理を用いたワールド座標の算出方法は、座標の信頼性は高い。しかしながら、１台のカメラから取得した画像を用いて実施する場合と比較して、カメラの台数は２倍必要になる。そのため、距離計算をする回数が増えることにより計算量も増えるので、計算能力の高いコンピュータが必要となる。このように、カメラの台数も増え、計算能力の高いコンピュータを利用するため、システムの規模が大きくなり設計コストがかかる問題がある。また、２つのカメラで取得した画像が完全に重複した画像でない場合、正確な距離情報を得ることができない。
【００１２】
上記課題に鑑み本発明は、コストも抑え、かつ、信頼性の高い動物体の追尾を可能とする監視装置を容易な構成で実現することを目的とする。
【課題を解決するための手段】
【００１３】
上述した課題を解決するため請求項１に記載の本発明によれば、各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラを用いて監視を行なう監視装置において、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリと、複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶する画像取得制御部と、取得画像と背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部と、抽出された動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部と、抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部とを有することを特徴としている。
【００１４】
また、請求項２に記載の本発明によれば、カメラで取得した画像を用いて監視を行なう監視プログラムにおいて、各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラで、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリに記憶させるステップと、複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶させるステップと、取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、動物体領域が重複する領域内にあるか否かを判定するステップと、抽出された動物体領域が重複する領域内にある場合、動く物体の位置検出を３次元で行なうステップと、抽出された動物体領域が重複する領域内にない場合、動く物体の位置検出を２次元で行なうステップとを有することを特徴としている。
【００１５】
上述した本発明によれば、設計コストも抑え、かつ、信頼性の高い動物体の位置検出や追尾を可能とする。
【発明の効果】
【００１６】
本発明の監視装置では、２つのカメラを用いて動物体の位置や大きさを簡易な構成により正確に求めることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る監視装置の最良の形態について図面を用いて説明する。
【００１８】
［物体監視装置］
図１に示すように、本発明に係る物体監視装置１は、画像取得部１１と、画像取得制御部１２ａと、背景画像取得制御部１２ｂと、取得画像用メモリ１３と、背景画像用メモリ１４と、動物体領域抽出部１５と、重複ワールド座標算出部１６と、重複ワールド座標メモリ１７と、単眼動物体位置検出部１８と、２眼動物体位置検出部１９及び出力部２０を有している。
【００１９】
本発明に係る物体監視装置１は、例えば図２に示すように複数のカメラが配置されている。たとえば、画像取得部１１で３台のカメラを有している場合、各カメラ１１ａ〜１１ｃは図２に示すように、複数のカメラの撮像領域の周辺部が互いに重なり合うように配置されている。ここで、動物体が時刻ｔ0からｔ1に移動したと仮定する。動物体は時刻ｔ0ではカメラ１１ｂで取得した画像にのみ写されており、時刻ｔ1ではカメラ１１ｂとカメラ１１ｃで取得された画像の両方に写っているとする。この時刻ｔ1においては、動物体はカメラ１１ｂ及びカメラ１１ｃで取得された画像の重複部分Ｂに存在する。図２では、カメラは３台備えているが、３台でなく、２台であっても４台であっても、各カメラの取得領域の周辺部が互いに重なり合うように配置されていれば良い。
【００２０】
画像取得部１１は、取得する画像の一部が重複する重複部分Ｂができるように配置される複数のカメラを備えている。図１に示す物体監視装置１の画像取得部１１は、３台のカメラ１１ａ〜１１ｃを有している。図２に示すように、本実施例においては、カメラ１１ａとカメラ１１ｂ、また、カメラ１１ｂとカメラ１１ｃは取得される画像の一部がそれぞれ重複される構成となっている。なお、図１では画像取得部１１は物体監視装置１において備えられているが、物体監視装置１に備えられていない構成であっても良い。すなわち、画像取得部１１は、物体監視装置１の外部に備えられ、画像取得部１２ａと接続されて画像を取得する構成であっても良い。
【００２１】
画像取得制御部１２ａは、画像取得部１１で周期的に取得した画像を取得画像として取得画像用メモリ１３に記憶させる。ここで、対応する各取得画像は周期的に画像取得部１１の各カメラ１１ａ〜１１ｃから同時刻に一斉に取得される。この取得画像には、必ずしも動物体が存在するものではなく、背景画像と比較して動物体の存在を確認するために用いられる。
【００２２】
背景画像取得制御部１２ｂは、画像取得部１１で予め画像視野に動物体の存在しない状態で取得した画像を背景画像として背景画像用メモリ１４に記憶させる。ここで、対応する各背景画像は、予め、画像取得部１１の各カメラ１１ａ〜１１ｃから同時刻に一斉に画像を取得される。
【００２３】
取得画像用メモリ１３は、画像取得制御部１２ａのカメラ１１ａ〜１１ｃにより周期的に取得された画像が取得画像として順次記憶される。
【００２４】
背景画像用メモリ１４は、予め各カメラ１１ａ〜１１ｃに動物体が写っていないときに取得された画像が背景画像として記憶されている。
【００２５】
動物体領域抽出部１５は、新たに取得されて取得画像用メモリ１３に記憶される取得画像と背景画像用メモリ１４に記憶される背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出する。対応する取得画像と背景画像とは、同一のカメラ１１ａ〜１１ｃで取得されたものであるため、取得されたそれぞれの画像の視野も同一である。そのため、動物体領域抽出部１５は、差分を求め、その差分が予め定められている閾値以上の領域を抽出することで、動物体の存在する部分である動物体領域Ｆを決定できる。
【００２６】
重複ワールド座標算出部１６は、背景画像用メモリ１４に記憶される各カメラ１１ａ〜１１ｃで取得された対応する背景画像を読出し、重複部分Ｂのワールド座標を算出する。
【００２７】
重複ワールド座標メモリ１７は、重複ワールド座標算出部１６で算出された重複部分Ｂのワールド座標を記憶する。
【００２８】
単眼動物体位置検出部１８は、抽出された動物体領域Ｆが重複部分Ｂにない場合、この動物体の位置検出を行なう。すなわち、動物体が１つのカメラにしか写っていない場合、求められた動物体領域Ｆの座標から動物体の位置を求める。
【００２９】
２眼動物体位置検出部１９は、抽出された動物体領域Ｆが前記重複部分Ｂにある場合、この動物体の位置検出を行なう。すなわち、動物体が２つのカメラの撮像範囲が重なっている領域にいる場合、ステレオカメラの原理を用いてその位置を求める。２眼動物体位置検出部１９は、重複ワールド座標メモリ１７に記憶している重複部分Ｂのワールド座標を利用して、動物体の位置検出を行なう。
【００３０】
出力部２０は、単眼動物体位置検出部１８または２眼動物体位置検出部１９で求めた動物体の位置を示す座標や動物体の高さを出力する。
【００３１】
図３に示すフローチャートを用いて、本発明に係る物体監視装置１における処理の流れを説明する。
【００３２】
本発明に係る物体監視装置１では、画像取得部１１のカメラ１１ａ〜１１ｃで、画像取得制御部１２ａの制御により周期的に同時に画像が取得される（Ｓ０１）。なお、必ずしも周期的に画像を取得するのではなく、不定期に発せられる何らかの画像取得指示信号に基づいて取得される構成であっても良い。
【００３３】
続いて、各カメラ１１ａ〜１１ｃで取得された画像が取得画像として、取得画像用メモリ１３に記憶される（Ｓ０２）。
【００３４】
その後、取得画像用メモリ１３に記憶されている取得画像と、予め背景画像用メモリ１４で記憶されている背景画像とが動物体領域抽出部１５に入力され、動物体領域抽出部１５で動物体領域Ｆが抽出される（Ｓ０３）。動物体抽出の具体的な処理については後述するが、取得画像と背景画像との差分を求め、その差分が予め定められている閾値よりも大きい値となった領域を動物体領域Ｆとする。
【００３５】
動物体領域抽出部１５で動物体が存在することが確認されると（Ｓ０４でＹＥＳ）、抽出された動物体領域Ｆが重複部分Ｂに存在するか否かが判断される（Ｓ０５）。動物体が重複部分Ｂでない部分に存在する場合、背景画像及び取得画像が単眼動物体位置検出部１８に入力され、単眼動物体位置の検出処理がされる（Ｓ０６）。単眼動物体の位置検出については、後に詳述する。
【００３６】
一方、動物体が重複部分Ｂに存在する場合、背景画像及び取得画像が２眼動物体位置検出部１９に入力され、２眼動物体位置検出の処理がされる（Ｓ０７）。２眼動物体位置の検出については、後に詳述する。
【００３７】
その後、出力部２０において、ステップＳ０５又はＳ０６で処理された結果が出力される（Ｓ０８）。
【００３８】
［動物体領域抽出］
続いて、図４及び図５を用いて、上述したステップＳ０３における動物体領域抽出部１５における動物体領域Ｆの抽出処理について説明する。図４に示すのは、動物体領域抽出の一連の処理を説明する画像の一例である。また、図５に示すのは動物体抽出処理を説明するフローチャートである。
【００３９】
まず、動物体領域抽出部１５から入力した背景画像について、背景ワールド座標を設定する（Ｓ１１）。図４（ａ）に示すのは、カメラ１１ａにより取得された背景画像に対し、背景ワールド座標が設定された背景画像の一例である。ここで、背景画像のワールド座標は画像と光軸が交わる点を原点０iとし、水平方向にｕ軸、垂直方向にｖ軸をとる。図４（ａ）に示す背景画像の座標（ｕ，ｖ）における画素の輝度値を、ＩN（ｕ，ｖ）とする。
【００４０】
図４（ｂ）に示すのは、カメラ１１ａにより時刻ｔ0に取り込まれた取得画像の一例であり、動物体が存在している。図４（ｂ）に示す時刻ｔ0に取り込まれた取得画像の座標（ｕ，ｖ）における画素の輝度値をＪN（ｕ，ｖ）とする。
【００４１】
ステップＳ１１において背景ワールド座標が設定されると、取得画像のカメラ座標を設定する（Ｓ１２）。続いて、取得画像と背景画像との差分を求める（Ｓ１３）。対応する画素において、輝度の差分を求め、差分の大きな画素を動物体領域Ｆとする（Ｓ１４）。すなわち、下記の（１）式を満足する画素を１、それ以外を０として２値画像を求める。この２値画像は、画像取得部１１で取得された画像の全ての画素について１又は０が決定されることで求められる。
【数１】
【００４２】
（ａ：適当な閾値）
たとえば、背景画像が図４（ａ）に示す画像であり、取得画像が図４（ｂ）に示す画像である場合、上記の（１）式を用いて求められた２値画像は図４（ｃ）に示す画像となる。図４（ｃ）の例では、値が１（図４（ｃ）で黒色）の画素で構成される領域が動物体領域Ｆである。また、（１）式における適当な閾値ａは、予め定められる値である。
【００４３】
なお、ステップＳ１４において、動物体領域Ｆが抽出されない場合には、取得された取得画像中に動物体は存在しないとする。
【００４４】
［単眼動物体位置検出］
次に、図６を用いて、上述した図５のステップＳ０６の単眼動物体位置検出部１８における動物体の位置検出について説明する。図６に示すのは、画像の座標の一例である。
【００４５】
まず、背景画像について、ワールド座標系ＸＹＺを設定される。ワールド座標系ＸＹＺは、図６（ａ）に示すように、原点０は地面上の適当な位置に設定する。また、Ｘ軸とＹ軸は地面上に含まれる互いに直行する適当な直線に設定し、Ｚ軸は地面と垂直で上方をプラスとなるように設定する。
【００４６】
次に、図６（ｂ）にカメラ１１ａで取得した画像を例として説明する。図６（ｂ）に示すように、カメラ１１ａにより取得される画像のカメラ座標系をｘNｙNｚNと設定する。原点０Nはカメラの視点とする。また、ｘN軸は撮像面の水平方向に、ｙN軸は撮像面の垂直方向に一致するように設定し、ｚN軸は光軸方向に設定する。続いて、画像の座標系ｕNｖNが設定される。ｕN軸は撮像面の水平方向に、ｕN軸は撮像面の垂直方向に一致するように設定する。
【００４７】
カメラ座標が設定されると、検出された動物体が地面と接する点（接地点）及び動物体の最も高い点（最高点）を求める。具体的には、検出された動物体領域Ｆを含む最小の長方形Ｅを求めて、その下辺と上辺の中点をそれぞれ接地点Ｐ0（ｕ0，ｖ0）、最高点Ｐ1（ｕ1，ｖ1）とすることで、接地点及び最高点を求めることができる。
【００４８】
ここで、カメラ座標系ｕｖとワールド座標系ＸＹＺとの関係は一般的に、下記の（２）式の定義式で表される。
【数２】
【００４９】
Ａ：カメラ内部のパラメータに関する行列（３×３行列）
Ｒ：回転行列（３×３行列）
Ｔ：並進ベクトル（３次元）
また、上記の（２）式でｗはカメラ毎に定められる定数である。
【００５０】
（２）式から、接地点のワールド座標を（Ｘ0，Ｙ0，０）と仮定すると、画像座標との関係は、下記の（３）式で表される。
【数３】
【００５１】
ここで、
【数４】
【００５２】
とおくと、（３）式は、下記の（４）式で表すことができる。
【数５】
【００５３】
また、Ｐ’の逆行列Ｐ’-1を（５）式とする。
【数６】
【００５４】
また、このときＸ0及びＹ0は、（６）式で表される。
【数７】
【００５５】
上述した手順により、接地点のワールド座標を求めることができる。
【００５６】
接地点のワールド座標が求められると次に、動物体の高さＺ1を求める。最高点のワールド座標を（Ｘ0，Ｙ0，Ｚ1）とすると、下記の（７）式の関係が成り立つ。
【数８】
【００５７】
（７）式を展開すると、（８）式となる。
【数９】
【００５８】
この（８）式からＺ1を（９）式のように求める。
【数１０】
【００５９】
上記のように、最高点のワールド座標（Ｘ0，Ｙ0，Ｚ1）を求めることができる。上述した処理により、動物体の位置及び動物体の高さＺ1を求めることができる。また、このようにして求められた動物体の位置及び動物体の高さが動物体の監視結果として出力部２０により出力される。
【００６０】
［２眼動物体位置検出］
次に、図７を用いて、図５のステップＳ０７の２眼動物体位置検出部１９における動物体の位置検出について説明する。図７（ａ）に示すのは、カメラ１１ａにより取得された画像であり、図７（ｂ）に示すのはカメラ１１ｂにより取得された画像である。図７（ａ）及び図７（ｂ）では、重なり合う重複部分Ｂについて斜線を用いて表している。
【００６１】
２眼動物体位置検出を行なうために、重複ワールド座標算出部１６は、カメラ１１ａにより取得された背景画像ＩN+1とカメラ１１ｂにより取得された背景画像ＩNを用いて、背景画像ＩN+1と背景画像ＩNが重なり合う領域の各画素におけるワールド座標を重複ワールド座標ＷNとして求める。また、重複ワールド座標メモリ１７は、重複ワールド座標算出部１６により求められた重複ワールド座標ＷNを記憶している。
【００６２】
まず、カメラ１１ａにより取得される画像のカメラ座標系をｘN+1ｙN+1ｚN+1とする。また、カメラ１１ａ内部のパラメータ行列をＡN+1、カメラ座標系とワールド座標系の回転行列をＲN+1、並進ベクトルをＴN+1とする。さらに、カメラ１１ｂにより取得される画像についても同様に、カメラ１１ｂのカメラ座標系をｘNｙNｚN、カメラ内部のパラメータ行列をＡN、カメラ座標系とワールド座標系の回転行列をＲN、並進ベクトルをＴNとする。
【００６３】
背景画像ＩNにおける座標（ｕ，ｖ）の画素ＰN（ｕ，ｖ）に対応する被写体のワールド座標を求めるには、まず、画素ＰN（ｕ，ｖ）に対応する背景画像ＩN+1上の画素ＰN+1（ｕ’，ｖ’）を求める必要がある。そのために、２眼動物体位置検出部１９では、画素ＰN（ｕ，ｖ）を中心に水平、垂直方向に±Ｋ画素の矩形領域ＤNを設定するとともに、画素ＰN（ｕ，ｖ）に対応するＩN+1上のエピ極線を求める。一般的に、背景画像ＩNにおける画素ＰN（ｕ，ｖ）の背景画像ＩN+1上の対応点である画素ＰN+1（ｕ’，ｖ’）は、エピ極線上にあることが理論から分かっている。そのため、画素ＰN+1（ｕ’，ｖ’）は、エピ極線をａ1ｕ’＋ｂ1ｖ’＋ｃ1＝０とすると（１０）式から求めることができる。
【数１１】
【００６４】
Ｆ：基礎行列
エピ極線上の各画素上の各画素を中心にして矩形領域ＤNを設定してＤN+1との相関を求める。相関Ｒは（１１）式で求めることができる。
【数１２】
【００６５】
ＩN（ｕ，ｖ）：背景画像ＩNの座標における輝度値
ＩN+1（ｕ，ｖ）：背景画像ＩN+1の座標における輝度値
最も相関の高い矩形領域の中心画素が対応する画素となる。
【００６６】
次に、画素ＰN+1（ｕ，ｖ）と対応する画素ＰN（ｕ，ｖ）とからワールド座標（Ｘ，Ｙ，Ｚ）を求める。カメラ座標（ｕ，ｖ）、（ｕ’，ｖ’）とワールド座標（Ｘ，Ｙ，Ｚ）との関係は（１２）式で表される。
【数１３】
【数１４】
【数１５】
【００６７】
上記の（１４）式から、たとえば最小二乗法を用いてワールド座標（Ｘ，Ｙ，Ｚ）を求める。
【００６８】
図７（ｃ）及び図７（ｄ）に示すのは、カメラ１１ａ及びカメラ１１ｂの重なり合う重複部分Ｂに動物体が存在する場合の取得画像の一例である。図７（ｃ）に示す画像は、時刻ｔ1にカメラ１１ａで撮影された取得画像ＪN+1であり、図７（ｄ）に示す画像は、時刻ｔ1にカメラ１１ｂで撮影された取得画像ＪNである。動物体が重複部分Ｂに存在する場合、動物体の位置と大きさを求める手順を以下に説明する。
【００６９】
取得画像ＪNにおいて、単眼動物体位置検出部１８と同様に、取得画像ＪNと背景画像ＩNの差分を抽出して得られた動物体領域Ｆから、その領域を含む最小の長方形ＥNを設定する。
【００７０】
長方形内ＥNのすべての画素ＰN（ｕ，ｖ）に対して、背景画像のワールド座標ＷNを求めたときと同様の方法で、各画素に対応するワールド座標（Ｘ，Ｙ，Ｚ）を求める。これを、動物体ワールド座標ＷFとする。長方形内の画素において、背景画像のワールド座標ＷBと動物体のワールド座標ＷFとの差分を求め、差分が予め設定されていた閾値よりも大きい値となる画素で形成される領域を、新たに動物体領域Ｆ’とする。また、この領域のワールド座標をＷF’とする。
【数１６】
【００７１】
ＷF’内のワールド座標のＸ及びＹの平均値を動物体の位置を表すワールド座標を（Ｘ0，Ｙ0，Ｚ0）とすると、Ｘ0，Ｙ0，Ｚ0は（１６）式で求まる。
【数１７】
【００７２】
ｎ：W F’に含まれる画素の総数
また、ＷF’内のワールド座標（Ｘ，Ｙ，Ｚ）のＺの最小値Ｚmin と最大値Ｚmaxとの差を高さＨとする。
【数１８】
【００７３】
上記のように、最高点のワールド座標を求めることができ、これにより、動物体の位置及び動物体の高さを検出することができる。このようにして検出された動物体位置及び動物体の高さが動物体の監視結果として出力部２０により出力される。
【００７４】
本発明は、中央処理制御装置、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及び入出力インタフェースなどを有する通常のコンピュータに、上述した監視装置を実現する為にインストールされる監視プログラムを含むものとする。
【００７５】
上述したように、本発明に係る監視装置では、複数のカメラを用いて動物体の検出をする場合、撮影範囲が一部において互いに重なり合うように設置される２つのカメラを利用することにより、カメラの個数の増加やコンピュータの計算能力の向上を必要とせずに、動物体の位置と大きさを正確に求めて動物体を追尾することができる。
【００７６】
本発明は、ここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【図面の簡単な説明】
【００７７】
【図１】本発明に係る物体監視装置を示すブロック図である。
【図２】本発明に係る物体監視装置のカメラの配置を説明する図である。
【図３】本発明に係る物体監視装置における処理を説明する図である。
【図４】本発明に係る物体監視装置で動物体領域を抽出する場合の画像の一例である。
【図５】本発明に係る物体監視装置で動物体領域を抽出する処理を説明する図である。
【図６】本発明に係る物体監視装置の単眼動物体位置検出部における動物体位置検出を説明する図である。
【図７】本発明に係る物体監視装置の２眼動物体位置検出部における動物体位置検出を説明する図である。
【符号の説明】
【００７８】
１…物体監視装置
１１…画像取得部
１１ａ〜１１ｃ…カメラ
１２ａ…画像取得制御部
１２ｂ…背景画像取得制御部
１３…取得画像用メモリ
１４…背景画像用メモリ
１５…動物体領域抽出部
１６…重複ワールド座標算出部
１７…重複ワールド座標メモリ
１８…単眼動物体位置検出部
１９…２眼動物体位置検出部
２０…出力部
【特許請求の範囲】
【請求項１】
各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラを用いて監視を行なう監視装置において、
監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリと、
前記複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶する画像取得制御部と、
前記取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、前記動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部と、
抽出された前記動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部と、
抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部と、
を有することを特徴とする監視装置。
【請求項２】
カメラで取得した画像を用いて監視を行なう監視プログラムにおいて、
各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラで、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリに記憶させるステップと、
前記複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶させるステップと、
前記取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、前記動物体領域が重複する領域内にあるか否かを判定するステップと、
抽出された前記動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なうステップと、
抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なうステップと、
を有することを特徴とする監視プログラム。
【請求項１】
各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラを用いて監視を行なう監視装置において、
監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリと、
前記複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶する画像取得制御部と、
前記取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、前記動物体領域が重複する領域内にあるか否かを判定する動物体領域抽出部と、
抽出された前記動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なう２眼動物体位置検出部と、
抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なう単眼動物体位置検出部と、
を有することを特徴とする監視装置。
【請求項２】
カメラで取得した画像を用いて監視を行なう監視プログラムにおいて、
各カメラでそれぞれ撮像する画像の一部が互いに重複するように配置される複数のカメラで、監視する視野に動く物体が存在しない状態で取得した画像を背景画像として予め記憶する背景画像用メモリに記憶させるステップと、
前記複数のカメラで取得した画像を取得画像として取得画像用メモリに記憶させるステップと、
前記取得画像と前記背景画像との差分により、求められた差分が予め定められた閾値よりも大きい領域を動物体領域として抽出し、前記動物体領域が重複する領域内にあるか否かを判定するステップと、
抽出された前記動物体領域が前記重複する領域内にある場合、動く物体の位置検出を３次元で行なうステップと、
抽出された動物体領域が前記重複する領域内にない場合、動く物体の位置検出を２次元で行なうステップと、
を有することを特徴とする監視プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−４１９３９（Ｐ２００６−４１９３９Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１９０４３（Ｐ２００４−２１９０４３）
【出願日】平成１６年７月２７日（２００４．７．２７）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２７日（２００４．７．２７）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]