説明

画像処理装置および画像処理方法

【課題】画像に基づいて所定の条件を満たした物体を検出する画像処理装置において、侵入物を効果的に検知し、誤検出を低減する。
【解決手段】画像処理装置では、第1のライン設定手段が、ユーザにより行われる操作に応じて、処理対象となる画像に対して、第1のラインA1、A2を設定する。第2のライン設定手段が、第1のライン設定手段により設定された第1のラインに応じてそれとは離隔した第2のラインB1、B2−1、B2−2を前記処理対象となる画像に対して設定する。物体検出手段が、第1のライン設定手段により設定された第1のラインを横切るとともに第2のライン設定手段により設定された第2のラインを横切った物体を検出する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像(映像)に基づいて侵入物(或いは、侵入者である場合もある、以下も同様)を監視する監視用のCCTV(Closed Circuit Television)装置などの画像処理装置に関し、特に、侵入物を効果的に検知(検出)する画像処理装置に関する。
【背景技術】
【0002】
図4には、画像処理装置により行われる侵入物の検知条件設定方法のフローチャートの一例を示してある。
図5には、侵入物の監視対象エリアの一例を示してある。
監視場所にカメラを設置し、カメラにより撮像された監視映像201が画像処理装置の入力映像として与えられる。監視映像201には、敷地内エリア202と、敷地外エリア211が存在する。敷地外エリア211から敷地内エリア202へ移動した物体の検知を行いたい場合を考える。
【0003】
図4に示される手順で検知条件を設定する。
まず、方向検知ライン・検知方向設定ステップ(ステップS11)で、方向検知ラインD1と検知方向(判定方向)E1を設定する。同様に、方向検知ライン・検知方向設定ステップ(ステップS12)で、方向検知ラインD2と検知方向(判定方向)E2を設定する。
これらのステップS11、S12の設定は、ユーザ(人)の操作により人為的に行われる。
【0004】
設定された条件を元に画像処理装置が検知を行う。
すなわち、物体221−1の軌跡222−1が方向検知ラインD1を、設定した検知方向E1にまたいだ場合に、それを検知する。
しかしながら、敷地内の物体221−2の軌跡222−2が、ノイズ等の影響で一瞬敷地外に入ってしまい、方向検知ラインD1を、設定した検知方向E1にまたいだ場合も、それを検知してしまう。
このように、本例の検知方法では、一瞬でも方向検知ラインをまたいだ物体を検知してしまうため、誤検知が多い。
【0005】
【特許文献1】特開2001−155263号公報
【特許文献2】特開2005−57743号公報
【特許文献3】特開2008−176768号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上述のように、画像処理装置において、方向検知ラインを用いた侵入物の検知を行う場合には、例えば即時検知が求められるが、その結果、一瞬でも方向検知ラインを横切った物体を検知してしまうため、誤報(誤検出)につながってしまうといった問題があった。 本発明は、このような従来の課題を解決するために為されたもので、侵入物を効果的に検知することができ、例えば、誤検出を低減することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明では、画像に基づいて所定の条件を満たした物体を検出する画像処理装置において、次のような構成とした。
すなわち、第1のライン設定手段が、ユーザ(人)により行われる操作に応じて、処理対象となる画像に対して、第1のラインを設定する。第2のライン設定手段が、前記第1のライン設定手段により設定された第1のラインに応じて、それ(第1のライン)とは離隔した第2のラインを前記処理対象となる画像に対して設定する。物体検出手段が、前記第1のライン設定手段により設定された第1のラインを横切るとともに前記第2のライン設定手段により設定された第2のラインを横切った物体を検出する。なお、この場合、前記所定の条件は、「第1のラインを横切るとともに第2のラインを横切った物体を検出する条件」となり、但し、他の条件があればそれも考慮される。
【0008】
従って、画像に基づいて画像処理を行って、所定の条件を満たした物体(画像上の物体)を検出するに際して、ユーザにより第1のラインが設定されると、第2のラインが設定され、これら両方のラインを横切った物体が検出され、例えば、第1のラインのみを横切った物体は検出されないため、侵入物を効果的に検知(検出)することができ、誤検出を低減することができる。
【0009】
ここで、画像(映像)としては、種々なものが用いられてもよく、例えば、動画像を用いることができる。
また、検出対象とする物体としては、例えば、物や人や動物など、任意のものが用いられてもよく、また、大きさや速度などに基づいて所定のものだけ(例えば、人だけ、等)が検出対象とされてもよい。
また、物体を検出するための条件としては、種々なものが用いられてもよく、複数の条件が組み合わされて用いられてもよい。
また、第1のラインや第2のラインとしては、種々なものが用いられてもよく、例えば、直線(線分)や、折れ線や、曲線などを用いることができる。
【0010】
また、第1のラインに応じて第2のラインを設定する方法としては、種々なものが用いられてもよく、例えば、第1のラインに対して所定の距離(例えば、実際の距離、或いは、画像上の見かけの距離、など)だけ離隔して平行に離れた位置に第2のラインを設定する方法を用いることができ、また、例えば、検出対象とする物体の移動方向が設定されているような場合には、第1のラインに対してその方向にずれた第2のラインを設定することができる。
また、第1のラインに応じて第2のラインを設定する方法は、例えば、予め画像処理装置のメモリに設定されて記憶されるが、他の構成例として、離隔距離などのように第2のラインを設定するために必要な情報の一部又は全部をユーザから受け付けるような態様が用いられてもよい。
【0011】
[以下、他の構成例]
以下で、他の構成例を示す。
(1)前記所定の条件には、物体の移動方向の条件が含まれる。この場合、設定された移動方向の条件に適合した方向に移動する物体を検出する。移動方向としては、一方向であってもよく、或いは、両方向であってもよい。また、移動方向としては、一例として、ラインを横切るときに、ラインのどちら側からどちら側(反対側)へ横切るかという方向(ラインを横切る方向)を用いることができる。
また、この場合、例えば、第2のラインは、設定された移動方向の条件に適合した方向に所定の距離だけ第1のラインから離れた位置に設定される。一方向の場合には1本設定され、両方向の場合には2本設定される。
また、両方向の場合には、2本の第2のラインのうち、例えば、第1のラインと1本の第2のラインを横切れば物体を検出する条件を用いることや、或いは、第1のラインと2本の第2のラインの全てを横切れば物体を検出する条件を用いることができる。
【0012】
(2)前記所定の条件には、エリア(領域)の条件が含まれる。例えば、除外エリアの条件では、除外エリアの中に存在していた物体については検出しない。
具体例として、ユーザにより行われる操作に応じて処理対象となる画像に対して第1のエリアを設定する第1のエリア設定手段と、前記第1のエリア設定手段により設定された第1のエリアに応じてそのエリア(第1のエリア)を縮小した第2のエリアを前記処理対象となる画像に対して設定する第2のエリア設定手段と、前記第2のエリア設定手段により設定された第2のエリアに基づく所定の条件(例えば、除外エリアの条件など)を用いて物体を検出する物体検出手段と、を備える。
ここで、第1のエリアを縮小した第2のエリアを設定する方法としては、種々なものが用いられてもよく、例えば、第1のエリア(一例として、除外エリア)のうちで他のエリア(一例として、除外しないエリア)と接する境界の所を縮小した(他のエリアから離隔した)第2のエリアを設定するようなことができる。
【0013】
(3)例えば、ラインの条件とエリアの条件の両方(組み合わせ)を満たした場合に物体を検出するようなことができる。
また、ラインの条件やエリアの条件などが複数存在する場合に、それぞれの条件毎に、使用する条件の組み合わせをユーザにより設定することが可能な構成とすることもできる。
[以上、他の構成例]
【発明の効果】
【0014】
以上説明したように、本発明に係る画像処理装置によると、侵入物を効果的に検知することができ、例えば、誤検出を低減することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施例に係る検知条件設定方法の処理の手順の一例を示す図である。
【図2】本発明の一実施例に係る監視対象エリアの一例を示す図である。
【図3】本発明の一実施例に係る検知条件組み合わせ設定のための画面の一例を示す図である。
【図4】背景技術に係る検知条件設定方法の処理の手順の一例を示す図である。
【図5】背景技術に係る監視対象エリアの一例を示す図である。
【図6】本発明の一実施例に係る画像処理装置の構成例を示す図である。
【図7】(a)は第1の撮像装置により撮像される入力画像の一例を示す図であり、(b)は第2の撮像装置により撮像される入力画像の一例を示す図であり、(c)は第3の撮像装置により撮像される入力画像の一例を示す図であり、(d)は第1の監視装置によるシーン画像の一例を示す図であり、(e)は第2の監視装置によるシーン画像の一例を示す図であり、(f)は第3の監視装置によるシーン画像の一例を示す図である。
【図8】(a)は座標変換を説明するための図であり、(b)は座標変換を説明するための図である。
【図9】(a)は領域指定の方法を説明するための図であり、(b)は領域指定の方法を説明するための図である。
【発明を実施するための形態】
【0016】
本発明に係る実施例を、図面を参照して説明する。
図6には、本発明の一実施例に係る画像処理装置1の構成例を示してある。
本例の画像処理装置1は、入力部11と、出力部12と、記憶部13と、制御部14を備えている。
入力部11は、外部のカメラなどから監視対象となる映像(画像)を入力する機能や、ユーザ(人)の操作により各種の指示(制御)や情報を入力するためのキーやマウスなどの機能や、外部の装置から各種の指示(制御)や情報の信号を入力する機能などを有している。
出力部12は、ユーザに対して映像や各種の情報を画面に表示する機能や、ユーザに対して各種の音(音声)を出力する機能や、外部の装置に対して各種の指示(制御)や情報の信号を出力する機能などを有している。
【0017】
記憶部13は、メモリを用いて構成されており、処理対象となる映像や検知条件などの各種の情報を記憶する機能や、各種の処理に使用されるプログラムを記憶する機能などを有している。
制御部14は、画像処理装置1において行われる各種の処理を制御する機能を有している。制御部14は、例えば、CPU(Central Processing Unit)を有しており、各種のプログラムを実行することにより各種の処理を実行する。
【0018】
本例の画像処理装置1により行われる侵入物の検知処理の一例を示す。
図1には、本例の画像処理装置1により行われる侵入物の検知条件設定方法のフローチャートの一例を示してある。
図2には、侵入物の監視対象エリアの一例を示してある。
本例では、特定の移動方向へ移動した物体を検知する際に用いる、方向検知ラインを自動的に二重化する処理を行う。
【0019】
監視場所にカメラを設置し、カメラにより撮像された監視映像101が画像処理装置1に入力映像として与えられる。
監視映像101で、敷地外エリア111から敷地内エリアZ1へ移動した物体のみを検知し、敷地内エリアZ1に存在する物体や、敷地内エリアZ1から敷地外エリア111へ移動した物体は検知しない、という条件で、侵入物(上述のように、或いは、侵入者である場合もある、以下も同様)の検知を行う。
【0020】
まず、方向検知ライン・検知方向設定ステップ(ステップS1)で、敷地外エリア111から敷地内エリアZ1へ移動する物体を検知するための方向検知ラインA1及び検知方向(判定方向)C1を設定する。なお、この検知方向C1は一方向となっている。設定すると、判定用方向検知ライン算出ステップ(ステップS2)が自動的に実行され、判定用方向検知ラインB1が設定される。
ここで、判定用方向検知ラインB1は、設定された方向検知ラインA1の始点、終点から、検知方向C1(本例の場合には、設定された方向検知ラインA1の上方向)に数m奥(例えば、1m奥)の位置を算出することによって得られる。判定用方向検知ラインB1を設定する仕方(例えば、計算式等)は、本例では、予め装置に設定されて記憶されており、他の構成例として、ユーザによって指定されてもよい。
【0021】
なお、この判定用方向検知ラインB1の算出は、例えば、予め設定されたカメラ設置条件(例えば、カメラの俯角、カメラの高さ、水平方向の視野角、CCDサイズ、焦点距離などの1つ以上)などを用いて行うことができる(例えば、特許文献2、特許文献3や特願2007−176039号を参照。)。すなわち、カメラの設置条件によってカメラにより撮像される映像の見え方は変化し、実際の撮像対象(映像に映っているもの)の配置や大きさ(長さや幅や距離など)等とは異なるものとなるため、例えば、これらの違い(座標の違い)を考慮して、判定用方向検知ラインB1を設定することができる。
また、m(メートル)等の実際の長さと画面上での画素数とを変換する算出についても、同様に行うことが可能である(例えば、特許文献2や特願2007−176039号を参照。)。
【0022】
同様に、方向検知ライン・検知方向設定ステップ(ステップS3)で、方向検知ラインA2及び検知方向(判定方向)C2を設定する。なお、この検知方向C2は両方向となっている。設定すると、判定用方向検知ライン算出ステップ(ステップS4)が自動的に実行され、2本の判定用方向検知ラインB2−1、B2−2が設定される。ここで、この判定用方向検知ラインB2−1、B2−2は、上記した判定用方向検知ラインB1と同様の方法で計算されるが、方向検知ラインA2の検知方向C2は両方向となっているため、設定した方向検知ラインA2の両側(例えば、左右)にそれぞれ、判定用方法検知ラインB2−1、B2−2が自動的に設定される。
【0023】
次に、敷地内エリアZ1に存在する物体を確実に排除するために、検知除外エリア設定ステップ(ステップS5)で、検知除外エリアZ1(本例では、敷地内エリアZ1と同一のエリア)を設定する。例えば、検知除外エリアZ1で検知された物体については、方向検知ラインA1及び判定用方向検知ラインB1を横切った場合でも検知しない、といった判定方法を用いることができる。
【0024】
検知除外エリアZ1は、例えば、ユーザにより複数の点を指定することにより設定し、具体例として、点131a、点131b、点131c、点131d、点131eと順番に指定することにより設定する。本例では、これら複数の点で囲まれる内側のエリアを検知除外エリアZ1として設定する。設定すると、判定用検知除外エリア算出ステップ(ステップS6)が実行され、検知除外エリアZ1を構成する点131a、点131b、点131c、点131d、点131eのうち、敷地外エリア111と隣接する点131c、点131d、点131eに対して、数m奥(例えば、1m奥)の位置の点132c、点132d、点132eが算出され、判定用検知除外エリアZ2が設定される。本例では、奥に新たな位置が算出されなかった点131a、点131bと奥に新たな位置が算出された点132c、点132d、点132eで囲まれる内側のエリアを判定用検知除外エリアZ2として設定する。
【0025】
ここで、点132c、点132d、点132eを数m奥にする理由は、敷地外エリア111に存在する物体の足元位置が正確に得られなかった場合における検知もれを少なくするためである。このような点(判定用検知除外エリアZ2を構成する点)を設定する仕方(例えば、計算式等)は、本例では、予め装置に設定されて記憶されており、他の構成例として、ユーザによって指定されてもよい。
なお、点132c、点132d、点132eの算出方法としては、例えば、判定用方向検知ラインB1、B2−1、B2−2の算出方法と同様な方法(例えば、カメラによる見え方と実際の配置等との違いを考慮した方法)を用いることができる。
ステップS1、S3、S5の設定は、ユーザ(人)の操作により人為的に行われ、また、ステップS2、S4、S6の算出(ラインやエリアの作成)は、装置により自動的に行われる。
【0026】
画像処理装置1では、監視映像101について画像処理を行うことにより、設定された条件を元に侵入物の検知を行う。
すなわち、監視映像101において、物体121−1の軌跡122−1が、設定した検知方向C1に、方向検知ラインA1及び判定用方向検知ラインB1の両方を横切った場合に、侵入物(本例では、侵入者)があったとして検知する。また、敷地内エリアZ1の物体121−2の軌跡122−2は、設定した検知方向C1に、方向検知ラインA1を横切っているが、判定用方向検知ラインB1を横切っていないため、侵入物として検知しない。
【0027】
次に、検知エリアと方向検知ラインを組み合わせて判定する際における設定方法について説明する。
図3には、検知条件組み合わせ設定のための画面141の一例を示してある。
まず、検知設定領域151で、それぞれのラインやエリアについて、検知条件として使用するか否かをオン又はオフ(ON/OFF)を選択して設定する。ここで、オンは検知することを示し、オフは検知しないことを示す。
【0028】
本例では、敷地外エリア111から敷地内Z1へ移動する物体を検知するために、方向検知ラインA1、方向検知ラインA2について、両方とも、オンに設定する。このため、方向検知ラインA1、A2のいずれかを(所定の方向で、判定用方向検知ラインも含めて)横切ったら検知する。
また、検知除外エリアZ1は、本例では、敷地内の物体を確実に排除するために設定したものであり、検知除外エリアZ1(本例では、判定用検知除外エリアZ2)に物体がいても検知はしないため、検知条件としてはオフに設定する。
【0029】
検知設定領域151でオンに設定されたものに対して、検知条件組み合わせ設定領域152で、組み合わせて判断する条件を設定することができる。例えば、方向検知ラインA1と組み合わせて使用する条件として、検知除外エリアZ1で「未検知」と設定する。この設定をすることにより、方向検知ラインA1を(所定の方向で、判定用方向検知ラインも含めて)横切った物体が、過去に検知除外エリアZ1(本例では、判定用検知除外エリアZ2)で検知されていたら、その物体は検知しない。また、方向検知ラインA1を(所定の方向で、判定用方向検知ラインも含めて)横切った物体が、過去に検知除外エリアZ1(本例では、判定用検知除外エリアZ2)で検知されていなかった場合には、侵入物として検知する。これにより、敷地内エリアZ1に存在する物体(例えば、物や人)を確実に検知対象から排除することができる。
また、方向検知ラインA2については、組み合わせて使用する条件を設けないため、本例では、「−」を設定してある。
【0030】
ここで、それぞれの物体が検知除外エリアZ1(本例では、判定用検知除外エリアZ2)に存在するか否かは、例えば、監視映像101の画像処理を行うことにより検出することができる。また、各物体については、例えば、その大きさや形状などに基づいて識別することができる。そして、本例では、過去に検知除外エリアZ1(本例では、判定用検知除外エリアZ2)に存在した物体の情報がメモリに記憶される。
【0031】
以上のように、本例の画像処理装置1(或いは、それに設けられた画像処理ソフトウエア)では、例えば、監視領域内を撮像する複数のテレビジョンカメラから得られた映像信号を処理し、指定した方向に移動する侵入物を検知するに際して、方向検知ラインを自動的に二重化し、ヒステリシスを設ける機能を有する。
また、本例の画像処理装置1(或いは、それに設けられた画像処理ソフトウエア)では、例えば、検知エリアや方向検知ライン等の複数の検知条件を有しており、検知エリアや方向検知ライン等による検知/未検知の状態を組み合わせて、最終的な判定を行う機能を有する。
【0032】
従って、本例の画像処理装置1(或いは、それに設けられた画像処理ソフトウエア)では、移動方向による検知を行う場合に、方向検知ラインが設定されると、自動的に方向検知ラインの設定を二重化して、ヒステリシスを持たせた検知(判定)を行うことにより、物体の誤検出を低減させて、安定に判定することを可能とすることができる。
具体例として、方向検知ラインや検知方向が設定された際に、設定された方向検知ラインや検知方向を元に、検知方向に数m離れた位置に判定用の方向検知ラインを自動的に算出して設定し、これら2つの方向検知ラインの両方を横切った(超えた)物体を検知することで、誤検知を低減することができ、例えば、一瞬だけ1つの方向検知ラインをまたいだような物体の誤検知を防ぐことができる。
また、エリアや方向検知ライン等を用いた検知状況(検知/未検知の設定)を組み合わせて検知を行うことで、より現場に合わせた設定を行うことが可能である。
【0033】
なお、本例の画像処理装置1では、ユーザにより行われる操作に応じて第1のライン(本例では、方向検知ラインA1、A2)を設定する機能により第1のライン設定手段が構成されており、第1のラインに応じて第2のライン(本例では、判定用方向検知ラインB1、B2−1、B2−2)を設定する機能により第2のライン設定手段が構成されており、第1のラインと第2のラインの両方を用いて画像上の物体(画像に映る物体)を検出する機能により物体検出手段が構成されている。
【0034】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがROM(Read Only Memory)に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクやCD(Compact Disc)−ROM等のコンピュータにより読み取り可能な記録媒体や当該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【0035】
[以下、特願2007−176039号の開示内容の一部]
以下で、参考として、特願2007−176039号の開示内容の一部(出願内容そのままではない箇所もある)を示しておく。以下の内容は、主に、カメラから見た映像と実際のもの(映像に映っているもの)との座標変換や、ユーザによる領域等(本実施例では、例えば、ラインや点など)の設定などに関する事項である。必要に応じて、本願発明に利用することが可能である。
なお、以下の説明は参考であり、本願発明の内容は、以上の説明で十分に理解や実施することが可能であると思料するが、必要であれば、以下の内容が参考とされてもよい。
【0036】
まず、技術思想の概念(1)〜(3)を示す。
(1)画像を処理する画像処理装置において、撮像装置(例えば、カメラ)による撮像時の座標系である第1の座標系(この例では、カメラ座標系と言う)の画像が当該撮像装置の配置に基づいて基準となる平面上に設けられた第2の座標系(この例では、シーン座標系と言う)の画像へ変換された当該画像(第2の座標系の画像)を表示する表示手段と、前記表示手段により表示された画像に関する設定情報をユーザから受け付ける受付手段と、前記受付手段により受け付けられた設定情報を第2の座標系の情報から撮像装置の配置によらない基準となる平面上に設けられた第3の座標系(この例では、ワールド座標系と言う)の情報へ変換する座標系変換手段と、を備えたことを特徴とする画像処理装置。 従って、各撮像装置の配置に応じた画像を見ることができて遠近による見かけ上の大きさの違いが無い第2の座標系の画像を見て、ユーザ(人)により設定情報を入力することにより、ユーザにとって設定情報の設定を感覚的に(例えば、視覚的に)分かり易く容易に行うことができ、また、第2の座標系の設定情報が撮像装置の配置によらない第3の座標系の設定情報へ変換されることにより、配置が異なる撮像装置においても設定情報の共有を可能とすることができる。
これにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。また、撮像装置を追加する場合や、設定情報を追加或いは変更する場合などにおいても、設定情報を効率的に設定することができる。
【0037】
(2)前記(1)に記載の画像処理装置において、前記座標系変換手段は、所定の配置を有する一の撮像装置により撮像された画像に基づいて取得された第3の座標系の設定情報を、前記所定の配置とは異なる配置に対応した第2の座標系の情報へ変換し、当該画像処理装置は、前記座標系変換手段により変換された情報(第2の座標系の設定情報)を、前記所定の配置とは異なる配置を有する前記一の撮像装置とは異なる撮像装置又は配置が変更された前記一の撮像装置により得られる画像に関して設定する変換情報設定手段を備えた、ことを特徴とする画像処理装置。
従って、第3の座標系の設定情報を取得して、その情報を任意の配置(撮像装置の配置)に対応した第2の座標系の情報へ変換することにより、例えば、異なる配置を有する複数の撮像装置を用いる場合や或いは撮像装置の配置を変更するような場合においても、撮像装置により撮像される画像に対する領域などの情報の設定に要する作業の負担を低減することができる。
【0038】
(3)前記(1)又は前記(2)に記載の画像処理装置において、前記画像に関する設定情報として、監視する領域を指定する情報又は検出の対象に関する情報のうちの少なくとも一方が用いられる、ことを特徴とする画像処理装置。
従って、これらの情報を、異なる配置を有する同一又は異なる撮像装置の間で共有することができる。
なお、検出の対象に関する情報としては、種々な情報が用いられてもよく、例えば、対象の大きさや幅や高さや長さなどに関する閾値の情報を用いることができる。一例として、対象の大きさ等がその閾値以上である場合(又は、その閾値以下や、ある範囲(範囲を表す閾値)内などでもよい)に、その対象を検出するような処理を行うことができる。
【0039】
ここで、撮像時の座標系である第1の座標系(カメラ座標系)としては、例えば、撮像装置(例えば、カメラ)の視点で見た座標系が用いられる。
また、基準となる平面上に設けられた第2の座標系(シーン座標系)としては、例えば、地面の平面を基準となる平面として、当該平面(地面)に対して真上から見た座標系が用いられる。第2の座標系は、撮像装置の配置に依存して異なり得る。
また、基準となる平面上に設けられた第3の座標系(ワールド座標系)としては、例えば、地面の平面を基準となる平面として、当該平面(地面)に対して真上から見た座標系が用いられる。第3の座標系は、撮像装置の配置に依存せずに一定である。
【0040】
なお、基準となる平面の座標系(第2の座標系や第3の座標系)は、例えば、予めユーザにより設定されて、画像処理装置のメモリに記憶されている。基準となる平面としては、一例として、地面を真上から見た当該地面の平面が用いられるが、地面は完全には平らではないことや、必ずしも完全に地面の平面にしなくてもよい場合もあることなどから、実用上で有効な程度で、ずれがあってもよい。
具体例として、第2の座標系は、撮像装置毎に、設置位置を原点として、高さ方向をz軸として、初期的な視点方向(或いは、雲台の方向などのように所定の方向)に応じて予め決められた直交するx軸及びy軸から構成され、また、第3の座標系は、高さ方向をZ軸として、予め決められた直交するX軸及びY軸から構成される。
【0041】
また、第1の座標系(カメラ座標系)と第2の座標系(シーン座標系)との座標変換は、例えば、撮像装置(例えば、カメラ)の設置状況や撮像状況に応じたパラメータを用いて行うことができる。
また、第2の座標系(シーン座標系)と第3の座標系(ワールド座標系)とは、例えば、同一の基準となる平面上に設けられるため、これらの座標変換は、回転や平行移動により行うことができる。具体的には、第2の座標系の原点と第3の座標系の原点との差異(位置の差異)を補正するために平行移動し、第2の座標系の平面上の座標軸(例えば、直交するx軸及びy軸)と第3の座標系の平面上の座標軸との差異(角度の差異)を補正するために回転する。なお、第2の座標系と第3の座標系とで、基準となる平面が異なっていて平行である(つまり、高さ方向のみ異なる)場合には、高さ方向の移動の処理を加えて、これらの座標変換を行うことができる。
また、必要に応じて、第1の座標系と第3の座標系との間で直接的に座標変換が行われてもよい。
【0042】
具体的には、画像処理装置では、例えば、設定された基準となる平面の座標系(第2の座標系や第3の座標系)と、設置された撮像装置(例えば、カメラ)の配置や焦点距離などに基づく座標系(第1の座標系)との間で、変換式(数式)などを用いて、直接的に或いは間接的に、互いに座標変換を行うことが可能である。
撮像装置の配置や焦点距離などの情報は、例えば、ユーザにより画像処理装置に設定されてもよく、或いは、画像処理装置が撮像装置などからの情報に基づいて(自動的に)検出してもよく、或いは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。
【0043】
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第2の座標系(或いは、他の構成例として、他の座標系)の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。
【0044】
次に、具体例を示しておく。なお、監視装置は、例えば、画像処理装置を構成する装置となる。
図7(a)〜図7(f)を参照して、領域設定処理(なお、ラインや点の設定処理などにも適用可能である)の流れを説明する。
図7(a)には、画像入力処理ステップにおいて第1の撮像装置により撮像された入力画像1121の一例を示してある。また、多角形の監視領域(点線)1122の一例を示してある。
図7(b)には、画像入力処理ステップにおいて第2の撮像装置により撮像された入力画像1131の一例を示してある。また、多角形の監視領域(点線)1132の一例を示してある。
図7(c)には、画像入力処理ステップにおいて第3の撮像装置により撮像された入力画像1141の一例を示してある。また、多角形の監視領域(点線)1142の一例を示してある。
【0045】
図7(d)には、第1の監視装置について、第1の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像1121を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像1151の一例を示してある。また、監視領域(点線)1152の一例を示してある。
図7(e)には、第2の監視装置について、第2の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像1131を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像1161の一例を示してある。
図7(f)には、第3の監視装置について、第3の撮像装置の位置や撮像角度や焦点距離などの情報に基づいて、入力画像1141を撮像装置が設置された地面に対して平行な平面に投影したシーン座標系のシーン画像1171の一例を示してある。
【0046】
本例では、領域設定処理は、最初に、各撮像装置の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像1121、1131、1141を、各撮像装置の位置や撮像角度などに依存するシーン座標系で表現されたシーン画像1151、1161、1171へ変換し、そして、シーン座標系上に表現されたシーン画像(例えば、シーン画像1151)上で所望する監視領域1152を設定することで実現する。この場合、各撮像装置毎に、その位置や撮像角度に応じて見える画像を用いて、監視領域を設定することができるため、人にとって監視領域の設定が感覚的に分かり易く容易となり、また、遠近による見かけ上の大きさの違いも無く設定を行い易い。なお、この場合、監視領域の設定作業は、例えば、表示装置の画面に表示されたシーン座標系のシーン画像を人が見ながら行われる。
また、この場合、シーン座標系で設定された領域情報は、ワールド座標系の情報へ変換されて記憶される。
【0047】
他の例として、領域設定処理は、最初に、各撮像装置の位置や撮像角度などによって座標軸が異なるカメラ座標系で表現される入力画像1121、1131、1141を、各撮像装置の位置や撮像角度などに依存せずに常に座標軸が一定となるワールド座標系で表現できるシーン画像(シーン画像1151、1161、1171に対応するもの)へ変換し、そして、ワールド座標系上に表現したシーン画像(例えば、シーン画像1151に対応するもの)上で所望する監視領域(監視領域1152に対応するもの)を設定することで実現する。なお、この場合、監視領域の設定作業は、例えば、表示装置の画面に表示されたワールド座標系のシーン画像を人が見ながら行われる。
【0048】
ここで、どのような条件で撮像された入力画像についても、シーン座標系又はワールド座標系のシーン画像へ変換すれば全て同一のワールド座標系で表現することが可能であるため、シーン座標系上又はワールド座標系上で設定した監視領域(例えば、監視領域1152に対応するもの)を、同じ領域を一部分でも撮像する全ての監視装置に対して適用することができる利点がある。
【0049】
次に、カメラ座標系の座標とワールド座標系の座標との間の変換処理方法の一例を示す。本例では、この変換処理は、例えば、画像処理プロセッサ(CPUなどでもよい)により行われる。
なお、本例では、カメラ座標系からワールド座標系への直接的な座標変換は場合によっては計算が複雑となることや、シーン座標系が領域などの設定に役立つことなどから、最初に、ワールド座標系を回転や並行移動した座標系であって撮像装置21の鉛直下向きベクトルと地面との交点を原点とするシーン座標系へカメラ座標系から変換し、その後に、シーン座標系からワールド座標系へ変換する処理を示す。
つまり、本例では、カメラ座標系とシーン座標系との変換や、シーン座標系とワールド座標系との変換を行う。
【0050】
具体的には、本例では、撮像装置21により撮像されたカメラ座標系で表現される入力画像1121から、地面に対して平行な平面に投影したワールド座標系で表現することが可能なシーン画像(シーン画像1151に対応するもの)への変換処理について説明する。なお、この変換の逆変換を行うことで、ワールド座標系の座標からカメラ座標系の座標へ変換することもできる。
本例では、カメラ座標系の入力画像1121からシーン画像1151への変換はカメラ座標系からシーン座標系への座標変換により行う。また、シーン座標系はワールド座標系を単純に回転や平行移動した直交座標系であるため、シーン画像1151は、その回転や平行移動の逆変換を行うことにより、ワールド座標系上で表現することができる。
【0051】
図8(a)には、地面に対して水平な方向で(真横から)撮像装置21を見た場合の様子の一例を示してある。
図8(b)には、地面に対して垂直な方向で(真上から)撮像装置21を見た場合の様子の一例を示してある。
図8(a)及び図8(b)は、シーン座標系で表現されている。本例では、シーン座標系は、原点Oを撮像装置21の鉛直下向き(z方向)で基準となる平面(地面)と交差する点として、地面の平面上にx軸及びy軸を取り、高さ方向にz軸を取る直交座標系である。また、撮像装置21が向いている視線方向(光軸方向)にr軸を設けてある。
【0052】
本例では、撮像装置21の設置の高さをHで表しており、撮像装置21の俯角をθTで表しており、撮像装置21の縦方向の視野角をθVで表している。
また、撮像装置21の横方向の視野角をθHで表している。なお、撮像装置21の縦方向の視野角θVは、撮像装置21の横方向の視野角θHから撮像素子のアスペクト比(縦横比)によって算出することができる。
また、撮像装置21により撮像される画像の視野の中で、撮像装置21から最も近い所までの水平距離をLNで表しており、撮像装置21から最も遠い所までの水平距離をLFで表している。
【0053】
まず、例えば、撮像装置21の位置や方向を変更するための電動台座(カメラ雲台)の現在の方向(例えば、雲台の正面を原点として、パン角θP、チルト角θT)を取得し、撮像装置21の撮像レンズの現在の焦点距離fを取得する。これらの取得した情報に基づいて、撮像範囲の位置を算出する。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸が無いとする。
撮像装置21の横方向の視野角である画角θHは(式1)により求められる。
【0054】
【数1】

【0055】
ここで、wは、撮像装置21の撮像素子である例えばCCD素子の横幅であり、一例として、1/3インチ(素子サイズ4.8mm×3.6mm)の撮像素子を使用した場合には、w=4.8mmである。また、1/3インチの撮像素子を使用して、撮像レンズの焦点距離をf=8.00mmとした場合には、撮像装置21の画角は、θH=33.4°となる。すなわち、撮像装置21の視野は横方向に33.4°の範囲を有する。
【0056】
通常、撮像装置21は、監視対象領域と比べて、高い位置に設置される場合が多い。このため、雲台の現在の方向θTに応じて、撮像装置21の真下の領域には撮像することができない領域が発生する。この領域は、撮像装置21から視線方向LNの範囲に現れる。それ以上の所定の領域(距離LNと距離LFとの間の領域)は、撮像装置21の視野に入る。
これらの距離LN、LFについて説明する。
撮像装置21の縦方向の視野角である画角θVは(式2)により求められる。
【0057】
【数2】

【0058】
ここで、hは、撮像装置21の撮像素子である例えばCCD素子の縦幅であり、一例として、1/3インチの撮像素子を使用した場合には、h=3.6mmである。また、1/3インチの撮像素子を使用して、撮像レンズの焦点距離をf=8.00mmとした場合には、撮像装置21の画角は、θV=25.4°となる。すなわち、撮像装置21の視野は、縦方向に25.4°の範囲を有する。
距離LN及び距離LFは、(式3)により求められる。
【0059】
【数3】

【0060】
この結果、撮像装置21により撮像することができる範囲は、図8(a)に示される撮像装置21と距離LNの点と距離LFの点で囲まれる三角形の領域の内部と、図8(b)に示される点P1、P2、P3、P4で囲まれる台形の領域の内部となる。
一例として、1/3インチの撮像素子を使用して、撮像レンズの焦点距離をf=8.00mmとし、雲台の現在の方向をθT=30°とし、撮像装置21の設置高をH=5.0mとした場合には、LN=5.42m、LF=16.1mとなる。
【0061】
上述のように、撮像装置21の視野範囲の位置は、(式1)〜(式3)により演算される。
この結果に基づいて、視野範囲に含まれるカメラ座標系の画像上の各位置(x’、y’)をシーン座標系の(x、y)座標へ変換することができる。
例えば、画像上(x’、y’)で表される画素が図8(a)における点Cの位置を撮像したものである場合、入力画像1121の縦方向の画素数を480画素とすると、点Cを撮像する俯角θyは(式4)により表される。
【0062】
【数4】

【0063】
また、カメラ座標における画素(x’、y’)が、例えば、図8(b)における点Dの位置(空間的な位置は図8(a)における点Cの位置と同じもの)を撮像したものである場合、入力画像1121の横方向の画素数を640とすると、点Dを撮像する回転角θxは(式5)により表される。
【0064】
【数5】

【0065】
ここで、θPは、撮像装置21のパン角であり、本例では、x軸と撮像装置21の光軸とのなす角を示す。従って、カメラ座標系の入力画像1121上の(x’、y’)で表される任意の位置の画素は、シーン座標系のシーン画像1151の座標(x、y)として、(式6)により求められる。
【0066】
【数6】

【0067】
すなわち、シーン画像1151は、入力画像1121を(式1)〜(式6)に従って座標変換することで得られる。なお、視野範囲の位置の座標は、撮像装置21のパンやチルトやズームにより変化し得る。また、シーン座標系に変換した画像は、(式4)〜(式6)で表される変換の逆変換を行うことで、カメラ座標系に戻すことができる。
ここでは、第1の撮像装置(撮像装置21)について説明したが、他の撮像装置により撮影されたカメラ座標における入力画像1131、1141についても、(式1)〜(式6)と同様な座標変換を行うことで、シーン座標系上で表現されるシーン画像1161、1171へ変換することができる。
【0068】
ここで、上述した座標変換法で得られるシーン座標系は、各撮像装置の位置からの鉛直
方向と地面との交点に原点を取る座標系であるため、それぞれのシーン画像1151、1161、1171の座標系は異なる。
このため、全ての監視装置(全ての撮像装置)から得られたシーン画像1151、1161、1171を統一された座標系で見るためには、各シーン座標系から唯一の座標系であるワールド座標系への座標変換が必要となる。
【0069】
例えば、ワールド座標系が、その原点Owに対して、地面の平面上から鉛直上向きにzw軸を取り、地面の平面上にxw軸及びyw軸を取る直交座標系であるとすると、各シーン座標系が地面の平面上にx軸及びy軸を取って各撮像装置の鉛直方向にz軸を取る直交座標系であることから、各シーン座標系はワールド座標系を回転や平行移動した座標系となる。このため、各シーン座標系の座標(x、y、z)は、ワールド座標系上におけるシーン座標系の原点O’の位置ベクトルをOwO’=(qx、qy)Tとし、ワールド座標系とシーン座標系との回転角をθとすると、ワールド座標系の座標(xw、yw、zw)としては(式7)により表現される。
【0070】
【数7】

【0071】
(式7)により、図9(a)に示されるように、シーン画像1151をワールド座標系上で表現することができる。
図9(a)には、シーン画像1151をワールド座標系上で表現したもの(シーン画像1181)と、多角形の監視領域(点線)1182(図7(d)における監視領域1152に対応するもの)を示してある。
【0072】
特に、このようにして得られるワールド座標系上のシーン画像1181(及びシーン画像系上のシーン画像1151)は、監視領域の地図と相似の関係にあり、例えば、道路などは平行な線として表示される。また、画像中に写る植木の大きさや、標識の大きさなどは、実際の大きさ(例えば、メートル法による単位)に比例したものとなる。
例えば、カメラ座標系の画像を用いた従来の領域指定方法では、建物から一定距離の領域を指定するような場合に、画像上の位置によって見かけの大きさが異なってしまう問題があったが、本例のように、(各撮像装置毎に個別のシーン座標系における、又は、全ての撮像装置に共通なワールド座標系における)シーン画像を用いて領域を指定する場合には、画像上の位置によって見かけの大きさが異なる問題は発生しない。
【0073】
次に、以上で述べた各手法によって、シーン座標(或いは、ワールド座標でもよい)を用いて監視領域を設定する方法及び監視装置間で監視領域の情報を共有する方法について説明する。
監視領域の設定や共有を行うために、まず、各監視装置において撮像した入力画像1121、1131、1141を、(式1)〜(式6)によって、それぞれ、シーン座標系のシーン画像1151、1161、1171へ変換する。次に、例えば1つの監視装置において、入力装置を用いて、そのシーン座標系のシーン画像1151上で監視を所望する領域を例えば多角形1152で設定する。そして、(式7)により、各シーン座標系のシーン画像1151、1161、1171及び設定された監視領域1152の座標系をワールド座標系へ変換する。
【0074】
図9(b)には、ワールド座標系上で表現した各シーン画像1191、1192、1193(それぞれシーン画像1151、1161、1171に対応するもの)及び監視領域(点線)1194(監視領域1152に対応するもの)の一例を示してある。
監視装置では、ワールド座標系で表現される監視領域1194の情報を、例えば記憶装置に保存するなどして、他の監視装置と共有できるように保持しておく。そして、監視装置は、当該監視装置上で定めた監視領域1194のワールド座標の情報を、必要に応じて、他の監視装置に対してネットワークを介して伝送する。
【0075】
なお、本例では、例えば外部I/F回路により接続するネットワークを介して監視領域1194のワールド座標の情報を伝送する場合を示したが、他の構成例として、外部I/F回路などに接続されるCD−RAMなどの可搬な媒体を利用して伝送を行うことも可能である。
【0076】
次に、例えば、各監視装置に対して、入力装置などを用いて、受信された監視領域1194のワールド座標の情報に基づいて監視領域を設定するように指示を出す。これに応じて、各監視装置では、それぞれの監視装置が持つ画像処理プロセッサにより、受信された監視領域1194の情報に基づく領域設定を行う。
具体的には、監視領域1194と各シーン画像1192、1193は、ワールド座標系上では図9(b)に示されるように表現できるため、それぞれのシーン画像1192、1193と監視領域1194とが重複する領域の座標を、各監視装置における監視領域として設定する。つまり、1つの監視装置上で決定した監視領域1194(監視領域1152に対応するもの)と同等な監視領域を、他の監視装置で共有して設定することができる。また、ワールド座標系上での監視領域の設定情報をそれぞれの監視装置に対応するシーン座標系の情報やカメラ座標系の情報へ変換して設定することができる。
【0077】
例えば、従来の方法で複数台の監視装置に対して監視領域を設定する場合には、監視する全ての撮像装置により撮像された画像のそれぞれ毎に対して、マウスなどの入力装置を用いて、手動で直接的に、その監視領域を例えば図7(a)、図7(b)、図7(c)における多角形1122、1132、1142のように設定する必要があり、監視装置の数が増えるほど、領域の設定作業に時間と労力がかかっていた。
これに対して、本例の場合には、1つの監視装置によって得られたシーン座標系(或いは、ワールド座標系)のシーン画像に対して、例えば図7(d)における多角形1152のように監視領域の設定を行えば、監視装置の台数に係らず、他の全ての監視装置に対して、前記監視領域と等しい監視領域を自動的且つ瞬時に設定することが可能である。
[以上、特願2007−176039号の開示内容の一部]
【符号の説明】
【0078】
1・・画像処理装置、 11・・入力部、 12・・出力部、 13・・記憶部、 14・・制御部、
101・・監視映像、 111・・敷地外エリア、 121−1、121−2・・物体、 122−1、122−2・・物体の軌跡、 131a〜131e、132c〜132d・・点、 A1、A2・・方向検知ライン、 B1、B2−1、B2−2・・判定用方向検知ライン、 C1、C2・・検知方向(判定方向)、 Z1・・敷地内エリア(本実施例では、検知除外エリアと同一)、 Z2・・判定用検知除外エリア、
141・・画面、 151・・検知設定領域、 152・・検知条件組み合わせ設定領域、
201・・監視映像、 202・・敷地内エリア、 211・・敷地外エリア、 221−1、221−2・・物体、 222−1、222−2・・物体の軌跡、 D1、D2・・方向検知ライン、 E1、E2・・検知方向(判定方向)、

【特許請求の範囲】
【請求項1】
ユーザにより行われる操作に応じて処理対象となる画像に対して第1のラインを設定する第1のライン設定手段と、
前記第1のラインがいずれか1方向にのみ移動する物体を検知するように設定された場合には、前記第1のライン設定手段により設定された第1のラインに付随してそれとは移動方向へ所定の距離離れた位置に第2のラインを前記処理対象となる画像に対して設定し、前記第1のラインがいずれの方向に移動する物体も検知するように設定された場合には、前記第1のライン設定手段により設定された第1のラインに付随して両方向へ所定の距離離れた位置にそれぞれ第2のラインを前記処理対象となる画像に対して設定する第2のライン設定手段と、
前記第1のライン設定手段により設定された第1のラインを横切るとともに前記第2のライン設定手段により設定された物体の移動方向側の第2のラインを横切った物体を検出する物体検出手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
ユーザにより行われる操作に応じて処理対象となる画像に対して検出除外エリアを設定する検出除外エリア設定手段をさらに備え、
前記物体検出手段は、前記検出除外エリア設定手段により設定された検出除外エリアで検出した物体に対しては、前記第1のライン設定手段により設定された第1のラインとともに物体の移動方向側の前記第2のライン設定手段により設定された第2のラインを横切った物体であっても検出と判定しないことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
ユーザにより行われる操作に応じて処理対象となる画像に対して第1のラインを設定するステップと、
前記第1のラインがいずれか1方向にのみ移動する物体を検知するように設定された場合には、前記第1のラインに付随してそれとは移動方向へ所定の距離離れた位置に第2のラインを前記処理対象となる画像に対して設定し、前記第1のラインがいずれの方向に移動する物体も検知するように設定された場合には、前記第1のラインに付随して両方向へ所定の距離離れた位置にそれぞれ第2のラインを前記処理対象となる画像に対して設定するステップと、
前記第1のラインを横切るとともに物体の移動方向側の前記第2のラインを横切った物体を検出するステップと、
を備えることを特徴とする画像処理方法。
【請求項4】
ユーザにより行われる操作に応じて処理対象となる画像に対して検出除外エリアを設定するステップをさらに備え、
前記検出除外エリアで検出した物体に対しては、前記第1のラインとともに物体の移動方向側の前記第2のラインを横切った物体であっても検出と判定しないことを特徴とする請求項3に記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2013−65351(P2013−65351A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2012−273389(P2012−273389)
【出願日】平成24年12月14日(2012.12.14)
【分割の表示】特願2008−301809(P2008−301809)の分割
【原出願日】平成20年11月27日(2008.11.27)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】