画像信号処理装置及びセンシング装置
【課題】侵入者の検出確度を高めた画像信号処理装置を提供する。
【解決手段】監視空間を撮像した入力画像データを取得する画像取得部１２と、新規入力画像データと背景画像データとに基づいて変動領域の特徴量を求める画像処理部１４と、を備える画像信号処理装置において、画像処理部１４は、新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出部２２と、背景差分データに基づいて変動領域を抽出するラベリング処理部２４と、変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像に取り込まれた結果生ずる偽領域と、に分割し、真領域に対する特徴量又は偽領域に対する特徴量に基づいて変動領域に対する特徴量を求める属性値演算部２６とを備えることによって上記課題を解決できる。
【解決手段】監視空間を撮像した入力画像データを取得する画像取得部１２と、新規入力画像データと背景画像データとに基づいて変動領域の特徴量を求める画像処理部１４と、を備える画像信号処理装置において、画像処理部１４は、新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出部２２と、背景差分データに基づいて変動領域を抽出するラベリング処理部２４と、変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像に取り込まれた結果生ずる偽領域と、に分割し、真領域に対する特徴量又は偽領域に対する特徴量に基づいて変動領域に対する特徴量を求める属性値演算部２６とを備えることによって上記課題を解決できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視空間を撮像した画像中の変動領域から移動物体を検出するための画像信号処理装置及びそれを用いたセンシング装置に関する。
【背景技術】
【０００２】
近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。画像センサを用いたシステムでは、監視対象となる監視空間を撮像するカメラ部と、カメラ部で撮像された画像を受ける画像取得部と、処理に利用される画像データを格納及び保持する記憶部と、画像データを処理して監視空間内に存在する移動物体を検出する処理部と、を備える。処理部では、入力画像とそれより過去に撮像された背景画像との差分からなる差分画像に基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像の領域の属性値が検出対象物に特有の性質を有する場合に、検出対象物が監視空間内に存在するものとして処理を行う。例えば、検出対象が「侵入者」である場合には、変動領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして警報を発する等の処理を行う。
【０００３】
【特許文献１】特開平０５−２８４５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の画像センシング技術では、入力画像と背景画像との差分画像から抽出された変動領域の「検出対象物らしさ」を表す属性値が所定の条件を満たすか否かが検出のポイントとなる。すなわち、変動領域が検出対象物に起因しない場合においても「検出対象物らしさ」の条件が満されるときには検出誤り（誤報）を発することとなる。逆に、変動領域が検出対象物に起因する場合においても「検出対象物らしさ」の条件が満たされないときには検出漏れ（失報）となる。このような誤報や失報は、侵入者を検出するセキュリティシステムでは特に問題となる。
【０００５】
一方、外部光の変化等による監視空間の環境の変化があった場合においても検出の確度を高めるために、変動領域を抽出する基準となる背景画像の更新処理が行われる。更新処理を行う場合、監視空間に物体が長時間静止すると、その物体の画像が背景画像内に取り込まれる。その後、物体が移動を再開すると、入力画像と背景画像との差分画像には、「移動物体が現在の入力画像に取り込まれた領域」に該当する変動領域（以下、「真領域」という）と「移動物体が過去の背景画像に取り込まれた領域」に該当する変動領域（以下、「偽領域」という）とが部分的に重畳された変動領域が現れる。このように、真領域と偽領域とを含む変動領域全体から「検出対象物らしさ」を表す属性値を抽出した場合、「検出対象物らしさ」が相対的に低下してしまい、誤報や失報の原因となることがある。
【０００６】
本発明は、上記従来技術の問題を鑑み、検出対象物の検出確度を高めた画像信号処理装置及びセンシング装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、監視空間を撮像した入力画像データを取得する画像取得部と、前記画像取得部において過去に取得された入力画像データに基づいて生成された背景画像データを用いて、背景画像データと前記画像取得部において新たに取得された新規入力画像データとの間の変動領域の属性値を求める画像処理部と、を備え、前記変動領域の属性値に基づいて前記監視空間に存在する移動物体を検出する画像信号処理装置において、前記画像処理部は、新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出手段と、前記背景差分データに基づいて前記変動領域を抽出する領域抽出手段と、前記変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像データに取り込まれた結果生ずる偽領域と、に分割する領域分割手段と、前記真領域に対する特徴量を求め、前記真領域に対する特徴量に基づいて前記変動領域に対する属性値を求める特徴量抽出手段と、を備えることを特徴とする。
【０００８】
さらに、前記特徴量抽出手段は、前記偽領域に対する特徴量を求め、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることが好適である。
【０００９】
前記変動領域が前記真領域と前記偽領域との一部が重なり合った領域を含む場合、前記変動領域を１つの領域としてその特徴量から検出対象物であるか否かを判定すると検出誤りを生ずる可能性が高くなるが、前記変動領域を前記真領域と前記偽領域とに分割し、前記真領域に対する特徴量から検出対象物であるか否かを判定することにより検出誤りの発生を低減することができる。また、判定に前記偽領域に対する特徴量をさらに利用することにより検出誤りをさらに低減することができる。
【００１０】
具体的には、前記領域分割手段は、新規入力画像データと前記画像取得部において新規入力画像データより所定時間前に取得された過去画像データとの差分を演算して過去差分データとして求め、前記背景差分データと前記過去差分データとに基づいて、前記変動領域を前記真領域と前記偽領域とに分割する手段であることが好適である。背景差分データと過去差分データとを用いることにより、前記変動領域を前記真領域と前記偽領域とに分割することができる。
【００１１】
また、前記特徴量抽出手段は、前記真領域に対する特徴量が所定の条件を満たし、かつ、前記偽領域に対する特徴量が所定の条件を満たす場合には、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることが好適である。
【００１２】
このような画像信号処理装置を含み、前記監視空間に存在する移動物体が検出された場合に警報信号を出力する出力部を備えるセンシング装置とすることが好適である。
【発明の効果】
【００１３】
本発明によれば、差分画像から「真領域」と「偽領域」とを分離して抽出することが可能となる。分離された「真領域」及び「偽領域」に対して検出対象物の検出処理を行うことによって、移動物体の検出をより高い確度で行うことができる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施の形態におけるセンシング装置１００は、図１に示すように、監視空間の撮像を行う撮像部１０を備えた画像信号処理装置１０２から構成される。画像信号処理装置１０２は、画像取得部１２、画像処理部１４、記憶部１６及び出力部１８を含み、以下に説明する処理を実行するためのプログラムを実行可能なコンピュータで構成することができる。
【００１５】
撮像部１０は、監視空間を２次元画像データとして取得可能なＣＣＤ素子又はＣ−ＭＯＳ素子等の光電変換素子を備えたカメラ、撮像された画像に対してアナログ／デジタル変換等の処理を行う処理部、及び、画像データを出力するインターフェースを含んで構成される。撮像部１０は、所定の時間周期Ｔｉ（例えば、０．１秒）で監視空間の画像を撮像して画像データとして出力する。
【００１６】
画像取得部１２は、画像データを取得する入力インターフェースを含んで構成される。画像取得部１２は、撮像部１０の出力用インターフェースと接続され、撮像部１０から所定の時間周期Ｔｉで入力画像データを取得する。取得された入力画像データは画像処理部１４へ受け渡される。
【００１７】
画像処理部１４は、図１に示すように、背景画像更新部２０、背景差分演算部２２、ラベリング処理部２４、属性値演算部２６、過去差分演算部２８及び判定部３０を含んで構成される。これらの構成部における処理については後述する。画像処理部１４は、画像信号処理プログラムを実行するコンピュータのＣＰＵに相当する。
【００１８】
記憶部１６は、半導体メモリ、ハードディクス装置、光ディスク装置等から構成することができる。記憶部１６は、背景差分画像を算出するために必要な背景画像、及び、過去差分画像を算出するために必要な過去画像を格納及び保持する。なお、過去画像は、最も新しい入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）に撮像された画像データとされる。
【００１９】
出力部１８は、画像処理部１４において監視空間に検出対象物が存在すると判定された場合に装置外部へ警報信号等を出力するために用いられる。例えば、警報ランプや警報ブザーを含む警報装置としても良いし、遠方の監視室に警報信号を送信するためのネットワーク・インターフェースとすることも好適である。
【００２０】
＜画像信号処理＞
次に、画像処理部１４で行われる画像データに対する処理について説明する。画像処理部１４で行われる以下の各部の処理は、図２に示すフローチャートに沿って実行される。なお、以下の画像信号処理は記憶部１６等に予め格納されている画像信号処理プログラムを実行することによって実現することができる。
【００２１】
ステップＳ１０では、最新の入力画像データが取得される。撮像部１０において撮像された監視空間の最新の画像データが画像取得部１２へ入力され、入力画像データとして画像処理部１４へ渡される。
【００２２】
ステップＳ１２では、最新の入力画像データと背景画像データとに基づいて背景差分データが生成される。背景差分演算部２２は、記憶部１６から背景画像データを読み出し、画像取得部１２で取得された最新の画像データと背景画像データとの差分を算出することによって背景差分データを生成する。具体的には、最新の入力画像データに含まれる各画素を順に着目画素として、その画素の輝度値からその画素に対応する背景画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。この差分データが所定の閾値以上の値であれば着目画素に対応する背景差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する背景差分データの画素の画素値を“０”として２値化された背景差分データを生成する。すなわち、入力画像データと背景画像データとにおいて変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。生成された背景差分データはラベリング処理部２４に渡される。
【００２３】
ステップＳ１４では、ラベリング処理が行われる。ラベリング処理部２４は、背景差分データに含まれる画素値“１”を有する画素のうち連続する画素群で構成される領域を纏めて一つの変動領域としてラベリングする。例えば、画素値“１”を有する８つの連続する画素群が含まれていた場合、それらの画素群を１つの変動領域としてラベリングする。また、近接する複数の変動領域に対しては、一定の大きさや位置関係にあるものを同一物体に対応する画像領域であるとみなして１つの変動領域としてラベリングすることも好適である。ラベリング処理についは既存の画像処理方法を用いることができるので詳細な説明は省略する。ラベリングされた変動領域のデータは属性値演算部２６に渡される。
【００２４】
ステップＳ１６では、最新の入力画像データと過去画像データとに基づいて過去差分データが生成される。過去差分演算部２８は、記憶部１６から例えば過去画像データを読み出し、画像取得部１２で取得された最新の入力画像データと過去画像データとの差分を算出することによって過去差分データを生成する。具体的には、最新の入力画像データの着目画素の輝度値からその着目画素に対応する過去画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。この差分データが所定の閾値以上の値であれば着目画素に対応する過去差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する過去差分データの画素の画素値を“０”として２値化された過去差分データを生成する。すなわち、入力画像データと過去画像データとにおいて変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。生成された過去差分データは属性値演算部２６に渡される。
【００２５】
ステップＳ１８では、変動領域に対応する属性値が算出される。属性値演算部２６は、図３に示すサブルーチンに従って処理を行う。サブルーチンは抽出された総ての変動領域に対して実行され、変動領域毎に「検出対象物らしさ」を表す属性値が算出される。
【００２６】
ステップＳ１８−１では、変動領域の分割処理が行われる。ステップＳ１４でラベリングされた変動領域に「移動物体が現在の入力画像に取り込まれた領域」に該当する変動領域（真領域）と「移動物体が過去の背景画像に取り込まれた領域」に該当する変動領域（偽領域）とが重畳されている場合には真領域と偽領域とに分割する。
【００２７】
図４に示すように、背景差分データと過去差分データとの論理積を算出し、算出された画像データのうち変動領域と重複する画素を真領域候補画素として抽出する。すなわち、変動領域とされた領域ついて、背景差分データと過去画像データとの両方において画素値“１”である画素のみを真領域候補画素として抽出する。
【００２８】
次に、真領域候補画素のうち連続する画素群で構成される領域を纏めて一つの真領域としてラベリングする。例えば、画素値“１”を有する８つの連続する真領域画素群が存在していた場合、それらの画素群を１つの真領域としてラベリングする。これによって、背景画像データに取り込まれてしまった移動物体の画像によって生ずる偽領域を変動領域から取り除き、入力画像データに映された実際に移動を続けている移動物体の画像のみを変動領域として抽出する。
【００２９】
さらに、変動領域のうち真領域とされなかった領域を偽領域としてラベリングする。例えば、図５に示すように、過去差分データの反転値と背景差分データとの論理積を算出し、算出された画像データのうち変動領域と重複する画素を偽領域候補画素として抽出し、偽領域候補画素のうち連続する画素群で構成される領域を纏めて一つの偽領域としてラベリングする。
【００３０】
この方法は、特に高輝度や低輝度で映り込むと予想されない検出対象物、例えば人や車等、について検出を行う場合に好適である。
【００３１】
また、本実施の形態では、背景差分データと過去差分データとを用いて変動領域を真領域と偽領域とに分割したが、これに限定されるものではない。例えば、入力画像データと背景画像データとの差分画像データにおいて差分値が正であるか負であるかに基づいて真領域と偽領域とを分割することも好適である。
【００３２】
この方法は、入力画像データ中に特に高輝度で映り込むことが予想される検出対象物、逆に特に低輝度で映り込むことが予想される検出対象物を検出する際に有効である。高輝度で映り込むことが予想される検出対象物としては、例えば、撮像部１０の近傍に存在する蜘蛛の糸、蜘蛛の糸にぶら下がる蜘蛛、窓から差し込む太陽光等が挙げられる。この場合、背景画像データよりも入力画像データの輝度が増加した画素を真領域とし、輝度が減少した画素を偽領域とする。また、低輝度で映り込むことが予想される検出対象物としては、例えば、窓から差し込む太陽光による柱や家具等の影、屋外の建物の影等が挙げられる。この場合、背景画像データよりも入力画像データの輝度が減少した画素を真領域とし、輝度が増加した画素を偽領域とする。
【００３３】
ステップＳ１８−２では、真領域に対応する入力画像データの領域から特徴量を抽出し、抽出された特徴量に基づいて「検出対象物らしさ」を表す属性値を算出する。「検出対象物らしさ」は入力画像データにおける真領域に対応する領域が検出対象物毎に特有の特徴量を備えるか否かに基づいて検出対象物毎に算出される。
【００３４】
検出対象物が人や車である場合、真領域の大きさ、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「人らしさ」又は「車らしさ」を表す属性値を算出することができる。真領域の大きさが監視空間と撮像部１０との相対的な位置関係等が想定される一定の範囲内の大きさであれば「人らしさ」又は「車らしさ」を表す属性値を高くする。また、入力画像データ中の真領域に対応する領域の正規化相関が低いほど「人らしさ」又は「車らしさ」を表す属性値を高くする。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致しないほど「人らしさ」又は「車らしさ」を表す属性値を高くする。
【００３５】
検出対象物が撮像部１０の近傍に存在する蜘蛛の糸である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、エッジ変化の空間周波数、楕円近似した場合の短軸の長さ、及び、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度の少なくとも１つを用いて「蜘蛛の糸らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、撮像部１０の近くに存在する蜘蛛の糸に照明光を当てると特に高輝度で画像データに取り込まれるからである。また、照明を当てて撮像した入力画像データにおける真領域に対応する領域に含まれるエッジを所定の条件により抽出し、真領域の大きさに対するエッジ数の比が高いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、蜘蛛の糸が一様な輝度で画像データに写り込まず、真領域内における輝度の空間周波数が高くなることを利用するものである。また、照明を当てて撮像した入力画像データにおける真領域に対応する領域を楕円近似した場合の短軸の長さが短いほど蜘蛛の糸らしさ」を表す属性値を高くする。これは、蜘蛛の糸が細長いためである。また、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、照明を当てない場合には蜘蛛の糸は極めて低輝度でしか取り込まれないためである。
【００３６】
検出対象物が撮像部１０の近傍において蜘蛛の糸にぶら下がった蜘蛛である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、照明を弱めて撮像した入力画像データにおける真領域に対応する領域の平均輝度、及び、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度の少なくとも１つを用いて「蜘蛛らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛らしさ」を表す属性値を高くする。これは、撮像部１０の近くに存在する蜘蛛に照明光を当てると特に高輝度で画像データに取り込まれるからである。また、照明を弱めて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛らしさ」を表す属性値を高くする。これは、照明の強度を可変にできる場合に、照明光を弱くしても撮像部１０の近くに存在する蜘蛛は高輝度で画像データに取り込まれるからである。また、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「蜘蛛らしさ」を表す属性値を高くする。これは、照明を当てない場合には蜘蛛は極めて低輝度でしか取り込まれないためである。
【００３７】
検出対象物が窓から差し込む太陽光である場合、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「太陽光らしさ」を表す属性値を算出することができる。照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「太陽光らしさ」を表す属性値を高くする。これは、照明がなくとも太陽光は入力画像データに高輝度で映り込むからである。また、入力画像データ中の真領域に対応する領域の正規化相関が高いほど「太陽光らしさ」を表す属性値を高くする。これは、無体物である太陽光は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致するほど「太陽光らしさ」を表す属性値を高くする。これも、太陽光は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。
【００３８】
検出対象物が柱や家具等の常駐物の影である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「常駐物の影らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「常駐物の影らしさ」を表す属性値を高くする。これは、照明から一定以上の距離にある常駐物の影は照明によっても輝度は大きく変化しないからである。また、入力画像データ中の真領域に対応する領域の正規化相関が高いほど「常駐物の影らしさ」を表す属性値を高くする。これは、無体物である影は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致するほど「常駐物の影らしさ」を表す属性値を高くする。これも、影は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。
【００３９】
以上のように、それぞれの検出対象物に応じた特有の特徴量から「検出対象物らしさ」を表す属性値を算出する。属性値を算出する際には、１つの検出対象物についてその「検出対象物らしさ」を表す複数の特徴量を求め、それらの複数の特徴量に基づいてその「検出対象物らしさ」を表す属性値を算出することが好適である。例えば、検出対象物毎に求められた複数の特徴量の単純平均値、重み付けされた加重平均値をその検出対象物の属性値とすることが好適である。また、複数の特徴量を所定の関数によって正規化し、正規化された属性値の加算値を検出対象物の属性値とすることも好適である。なお、変動領域内に真領域が存在しない場合には属性値は０とする。
【００４０】
例えば、真領域の「蜘蛛の糸らしさ」を表す属性値を算出する際に、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度から求められた特徴量Ｔ１、エッジ変化の空間周波数から求められた特徴量Ｔ２、楕円近似した場合の短軸の長さから求められた特徴量Ｔ３及び照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度から求められた特徴量Ｔ４に基づいて、その真領域の「蜘蛛の糸らしさ」を表す属性値ＲをＲ＝Ｔ１×Ｔ２×（１／Ｔ３）×（１／Ｔ４）として求めることができる。ただし、Ｔ１，Ｔ２は「蜘蛛の糸らしさ」が増すにつれ大きくなり、Ｔ３，Ｔ４は「蜘蛛の糸らしさ」が増すにつれて小さくなるとする。
【００４１】
また、図６に示すように、各特徴量Ｔ１〜Ｔ４を変数とした関数を定義し、その特徴量を正規化した出力値Ｓ１〜Ｓ４を用いて属性値を算出することもできる。すなわち、真領域の「蜘蛛の糸らしさ」を表す属性値ＲをＲ＝Ｓ１×Ｓ２×Ｓ３×Ｓ４とする。また、適切な係数Ａ１〜Ａ４を用いて、属性値ＲをＲ＝Ｓ１×Ａ１＋Ｓ２×Ａ２＋Ｓ３×Ａ３＋Ｓ４×Ａ４としても良い。
【００４２】
ステップＳ１８−３では、偽領域に対応する背景画像データの領域から特徴量を抽出し、抽出された特徴量に基づいて「検出対象物らしさ」を表す属性値を算出する。「検出対象物らしさ」は背景画像データにおける偽領域に対応する領域が検出対象物毎に特有の特徴量を備えるか否かに基づいて検出対象毎に算出される。検出対象物毎の特有の特徴量と属性値との関係はステップＳ１８−２と同様であるので説明は省略する。なお、変動領域内に偽領域が存在しない場合には属性値は０とする。
【００４３】
なお、本実施の形態では、偽領域に対する特徴量を抽出して属性値を算出しているが、監視空間に移動体として検出対象物以外が入らない場合などにおいては、真領域に対しての特徴量の抽出及び真領域に対する特徴量に基づく属性値の算出処理としても良い。これにより、確実に真領域として偽領域を除けるような場合に、処理負荷の軽減が図れることになる。
【００４４】
ステップＳ１８−４では、変動領域毎に、その変動領域に含まれる真領域に対する「検出対象物らしさ」を表す属性値と、その変動領域に含まれる偽領域に対する「検出対象物らしさ」を表す属性値とを用いて、真領域と偽領域のそれぞれが検出対象物であるか否かの判定を行う。
【００４５】
例えば、真領域に対する「検出対象物らしさ」を表す属性値＞真領域に対する検出対象物以外の「物体らしさ」を表す属性値、かつ、偽領域に対する「検出対象物らしさ」を表す属性値＞偽領域に対する検出対象物以外の「物体らしさ」を表す属性値である場合にその変動領域が「検出対象物」による画像であると判定する。具体的には、蜘蛛の糸を検出対象物とする場合、真領域に対する「蜘蛛の糸らしさ」を表す属性値＞真領域に対する蜘蛛の糸以外の「物体らしさ」を表す属性値、かつ、偽領域に対する「蜘蛛の糸らしさ」を表す属性値＞偽領域に対する蜘蛛の糸以外の「物体らしさ」を表す属性値である場合にその変動領域が「蜘蛛の糸」による画像であると判定する。
【００４６】
また、所定の閾値ＴＨ１，ＴＨ２を予め定めておき、真領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ１、かつ、偽領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ２である場合にその変動領域が「検出対象物」による画像であると判定する。
【００４７】
真領域及び偽領域が共に「検出対象物」による画像であると判定された場合にはステップＳ１８−５に処理を移行させ、「検出対象物」による画像でないと判定された場合にはステップＳ１８−６に処理を移行させる。
【００４８】
ステップＳ１８−５では、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値とを用いて、その真領域と偽領域に対応する変動領域の「検出対象物らしさ」を表す属性値を算出する。例えば、変動領域の「検出対象物らしさ」を表す属性値は、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値とのいずれか大きい値とする。なお、これに限定されるものではなく、例えば、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値や平均値や加重平均値等としても良い。
【００４９】
本実施の形態では、真領域に対する属性値と偽領域に対する属性値の両方を用いているが、真領域に対する属性値のみを用いても良い。これは、検出対象物以外の移動体が監視空間に入らない環境が整った場合において処理負担を低減できる利点がある。
【００５０】
ステップＳ１８−６では、真領域と偽領域とに分割していない変動領域全体に対応する入力画像データの領域から特徴量を抽出し、抽出された特徴量に基づいてその変動領域に対する「検出対象物らしさ」を表す属性値を算出する。すなわち、１つの変動領域を１つの領域として扱って変動領域全体としての特徴量を求め、その特徴量に基づいて属性値を決定する。検出対象物毎の特徴量と属性値との関係はステップＳ１８−２と同様であるので説明は省略する。
【００５１】
また、ステップＳ１８−５及びステップＳ１８−６では、検出対象物以外の「物体らしさ」を表す属性値も変動領域毎に算出しておくことも好適である。これらの属性値はステップＳ２０の判定で用いることができる。
【００５２】
抽出された総ての変動領域について「検出対象物らしさ」を表す属性値を算出するまでステップＳ１８−１〜ステップＳ１８−６を繰り返す。総ての変動領域について「検出対象物らしさ」を表す属性値が算出されたらメインルーチンのステップＳ２０へ処理を戻す。
【００５３】
ステップＳ２０では、ステップＳ１８で算出された「検出対象物らしさ」を表す属性値に基づいて変動領域毎に「検出対象物」による画像か否かを判定する。判定部３０は、例えば、変動領域に対する「検出対象物らしさ」を表す属性値＞検出対象物以外の「物体らしさ」を表す属性値である場合にその変動領域が「検出対象物」による画像であると判定する。具体的には、検出対象物が蜘蛛の糸である場合、変動領域に対する「蜘蛛の糸らしさ」を表す属性値＞蜘蛛の糸以外の「物体らしさ」を表す属性値である場合にその変動領域が「蜘蛛の糸」による画像であると判定する。
【００５４】
また、所定の閾値ＴＨ３を予め設定しておき、変動領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ３である場合にその変動領域が「検出対象物」による画像であると判定しても良い。具体的には、検出対象物が蜘蛛の糸である場合、蜘蛛の糸と判定するための閾値ＴＨ３を設定しおき、変動領域に対する「蜘蛛の糸らしさ」を表す属性値＞閾値ＴＨ３である場合にその変動領域が「蜘蛛の糸」による画像であると判定しても良い。
【００５５】
変動領域の少なくとも１つが「検出対象物」による画像であると判定された場合にはステップＳ２２に処理を移行させ、総ての変動領域が「検出対象物」による画像でないと判定された場合にはステップＳ２４に処理を移行させる。
【００５６】
ステップＳ２２では、警報が発報される。画像処理部１４は、出力部１８から警報信号を出力させる。出力部１８が警報ランプや警報ブザーを含む警報装置である場合にはランプを点灯させたり、ブザー音を発したりさせる。また、出力部１８がネットワーク・インターフェースである場合には、インターネットや専用回線を介して遠方の監視室に警報信号を送信させることもできる。
【００５７】
ステップＳ２４では、背景画像データの更新処理が行われる。背景画像更新部２０は、所定の背景更新周期Ｔｒ（例えば１０秒周期）で記憶部１６に保持されている背景画像データを最新の入力画像データで更新する。更新周期Ｔｒは、監視空間に対する日照の変動等を考慮して決定することが好適である。
【００５８】
また、ステップＳ２０において、「検出対象物」が存在しないと判定された場合に背景画像データを入力画像データで更新することも好適である。さらに、過去に取得された複数の入力画像データの移動平均画像データにより背景画像データを更新することも好適である。
【００５９】
ステップＳ２６では、過去画像データの更新処理が行われる。過去画像データは、背景画像データよりも新しく取得された入力画像データである。例えば、過去画像データを最新の入力画像データで更新する。これにより、次の検出処理では１フレーム前に撮像された画像データが過去画像データとして用いられる。
【００６０】
以上のように、本実施の形態によれば、抽出された変動領域を「移動物体が現在の入力画像に取り込まれた領域」に該当する真領域と、「移動物体が過去の背景画像に取り込まれた領域」に該当する偽領域と、に分割して処理することによって検出対象物の検出確度を高めることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態におけるセンシング装置の構成を示すブロック図である。
【図２】本発明の実施の形態におけるセンシング処理のフローチャートを示す図である。
【図３】本発明の実施の形態における変動領域に対する属性値を算出する処理のフローチャートを示す図である。
【図４】本発明の実施の形態における真領域の求め方を説明する図である。
【図５】本発明の実施の形態における偽領域の求め方を説明する図である。
【図６】本発明の実施の形態における特徴量を変数とする関数の例を示す図である。
【符号の説明】
【００６２】
１０ 撮像部、１２ 画像取得部、１４ 画像処理部、１６ 記憶部、１８ 出力部、２０ 背景画像更新部、２２ 背景差分演算部、２４ ラベリング処理部、２６ 属性値演算部、２８ 過去差分演算部、３０ 判定部、１００ センシング装置、１０２ 画像信号処理装置。
【技術分野】
【０００１】
本発明は、監視空間を撮像した画像中の変動領域から移動物体を検出するための画像信号処理装置及びそれを用いたセンシング装置に関する。
【背景技術】
【０００２】
近年、監視空間に侵入した侵入者等を検出するセキュリティシステムが広く使用されている。画像センサを用いたシステムでは、監視対象となる監視空間を撮像するカメラ部と、カメラ部で撮像された画像を受ける画像取得部と、処理に利用される画像データを格納及び保持する記憶部と、画像データを処理して監視空間内に存在する移動物体を検出する処理部と、を備える。処理部では、入力画像とそれより過去に撮像された背景画像との差分からなる差分画像に基づいて画像内の変動領域を抽出し、その変動領域に対応する入力画像の領域の属性値が検出対象物に特有の性質を有する場合に、検出対象物が監視空間内に存在するものとして処理を行う。例えば、検出対象が「侵入者」である場合には、変動領域の大きさ、縦横比、輝度情報等の「人らしさ」を表す属性値が所定の条件を満たす場合に侵入者が存在するものとして警報を発する等の処理を行う。
【０００３】
【特許文献１】特開平０５−２８４５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の画像センシング技術では、入力画像と背景画像との差分画像から抽出された変動領域の「検出対象物らしさ」を表す属性値が所定の条件を満たすか否かが検出のポイントとなる。すなわち、変動領域が検出対象物に起因しない場合においても「検出対象物らしさ」の条件が満されるときには検出誤り（誤報）を発することとなる。逆に、変動領域が検出対象物に起因する場合においても「検出対象物らしさ」の条件が満たされないときには検出漏れ（失報）となる。このような誤報や失報は、侵入者を検出するセキュリティシステムでは特に問題となる。
【０００５】
一方、外部光の変化等による監視空間の環境の変化があった場合においても検出の確度を高めるために、変動領域を抽出する基準となる背景画像の更新処理が行われる。更新処理を行う場合、監視空間に物体が長時間静止すると、その物体の画像が背景画像内に取り込まれる。その後、物体が移動を再開すると、入力画像と背景画像との差分画像には、「移動物体が現在の入力画像に取り込まれた領域」に該当する変動領域（以下、「真領域」という）と「移動物体が過去の背景画像に取り込まれた領域」に該当する変動領域（以下、「偽領域」という）とが部分的に重畳された変動領域が現れる。このように、真領域と偽領域とを含む変動領域全体から「検出対象物らしさ」を表す属性値を抽出した場合、「検出対象物らしさ」が相対的に低下してしまい、誤報や失報の原因となることがある。
【０００６】
本発明は、上記従来技術の問題を鑑み、検出対象物の検出確度を高めた画像信号処理装置及びセンシング装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、監視空間を撮像した入力画像データを取得する画像取得部と、前記画像取得部において過去に取得された入力画像データに基づいて生成された背景画像データを用いて、背景画像データと前記画像取得部において新たに取得された新規入力画像データとの間の変動領域の属性値を求める画像処理部と、を備え、前記変動領域の属性値に基づいて前記監視空間に存在する移動物体を検出する画像信号処理装置において、前記画像処理部は、新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出手段と、前記背景差分データに基づいて前記変動領域を抽出する領域抽出手段と、前記変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像データに取り込まれた結果生ずる偽領域と、に分割する領域分割手段と、前記真領域に対する特徴量を求め、前記真領域に対する特徴量に基づいて前記変動領域に対する属性値を求める特徴量抽出手段と、を備えることを特徴とする。
【０００８】
さらに、前記特徴量抽出手段は、前記偽領域に対する特徴量を求め、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることが好適である。
【０００９】
前記変動領域が前記真領域と前記偽領域との一部が重なり合った領域を含む場合、前記変動領域を１つの領域としてその特徴量から検出対象物であるか否かを判定すると検出誤りを生ずる可能性が高くなるが、前記変動領域を前記真領域と前記偽領域とに分割し、前記真領域に対する特徴量から検出対象物であるか否かを判定することにより検出誤りの発生を低減することができる。また、判定に前記偽領域に対する特徴量をさらに利用することにより検出誤りをさらに低減することができる。
【００１０】
具体的には、前記領域分割手段は、新規入力画像データと前記画像取得部において新規入力画像データより所定時間前に取得された過去画像データとの差分を演算して過去差分データとして求め、前記背景差分データと前記過去差分データとに基づいて、前記変動領域を前記真領域と前記偽領域とに分割する手段であることが好適である。背景差分データと過去差分データとを用いることにより、前記変動領域を前記真領域と前記偽領域とに分割することができる。
【００１１】
また、前記特徴量抽出手段は、前記真領域に対する特徴量が所定の条件を満たし、かつ、前記偽領域に対する特徴量が所定の条件を満たす場合には、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることが好適である。
【００１２】
このような画像信号処理装置を含み、前記監視空間に存在する移動物体が検出された場合に警報信号を出力する出力部を備えるセンシング装置とすることが好適である。
【発明の効果】
【００１３】
本発明によれば、差分画像から「真領域」と「偽領域」とを分離して抽出することが可能となる。分離された「真領域」及び「偽領域」に対して検出対象物の検出処理を行うことによって、移動物体の検出をより高い確度で行うことができる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施の形態におけるセンシング装置１００は、図１に示すように、監視空間の撮像を行う撮像部１０を備えた画像信号処理装置１０２から構成される。画像信号処理装置１０２は、画像取得部１２、画像処理部１４、記憶部１６及び出力部１８を含み、以下に説明する処理を実行するためのプログラムを実行可能なコンピュータで構成することができる。
【００１５】
撮像部１０は、監視空間を２次元画像データとして取得可能なＣＣＤ素子又はＣ−ＭＯＳ素子等の光電変換素子を備えたカメラ、撮像された画像に対してアナログ／デジタル変換等の処理を行う処理部、及び、画像データを出力するインターフェースを含んで構成される。撮像部１０は、所定の時間周期Ｔｉ（例えば、０．１秒）で監視空間の画像を撮像して画像データとして出力する。
【００１６】
画像取得部１２は、画像データを取得する入力インターフェースを含んで構成される。画像取得部１２は、撮像部１０の出力用インターフェースと接続され、撮像部１０から所定の時間周期Ｔｉで入力画像データを取得する。取得された入力画像データは画像処理部１４へ受け渡される。
【００１７】
画像処理部１４は、図１に示すように、背景画像更新部２０、背景差分演算部２２、ラベリング処理部２４、属性値演算部２６、過去差分演算部２８及び判定部３０を含んで構成される。これらの構成部における処理については後述する。画像処理部１４は、画像信号処理プログラムを実行するコンピュータのＣＰＵに相当する。
【００１８】
記憶部１６は、半導体メモリ、ハードディクス装置、光ディスク装置等から構成することができる。記憶部１６は、背景差分画像を算出するために必要な背景画像、及び、過去差分画像を算出するために必要な過去画像を格納及び保持する。なお、過去画像は、最も新しい入力画像の撮像時刻から所定の時間だけ前（例えば、１フレーム前）に撮像された画像データとされる。
【００１９】
出力部１８は、画像処理部１４において監視空間に検出対象物が存在すると判定された場合に装置外部へ警報信号等を出力するために用いられる。例えば、警報ランプや警報ブザーを含む警報装置としても良いし、遠方の監視室に警報信号を送信するためのネットワーク・インターフェースとすることも好適である。
【００２０】
＜画像信号処理＞
次に、画像処理部１４で行われる画像データに対する処理について説明する。画像処理部１４で行われる以下の各部の処理は、図２に示すフローチャートに沿って実行される。なお、以下の画像信号処理は記憶部１６等に予め格納されている画像信号処理プログラムを実行することによって実現することができる。
【００２１】
ステップＳ１０では、最新の入力画像データが取得される。撮像部１０において撮像された監視空間の最新の画像データが画像取得部１２へ入力され、入力画像データとして画像処理部１４へ渡される。
【００２２】
ステップＳ１２では、最新の入力画像データと背景画像データとに基づいて背景差分データが生成される。背景差分演算部２２は、記憶部１６から背景画像データを読み出し、画像取得部１２で取得された最新の画像データと背景画像データとの差分を算出することによって背景差分データを生成する。具体的には、最新の入力画像データに含まれる各画素を順に着目画素として、その画素の輝度値からその画素に対応する背景画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。この差分データが所定の閾値以上の値であれば着目画素に対応する背景差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する背景差分データの画素の画素値を“０”として２値化された背景差分データを生成する。すなわち、入力画像データと背景画像データとにおいて変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。生成された背景差分データはラベリング処理部２４に渡される。
【００２３】
ステップＳ１４では、ラベリング処理が行われる。ラベリング処理部２４は、背景差分データに含まれる画素値“１”を有する画素のうち連続する画素群で構成される領域を纏めて一つの変動領域としてラベリングする。例えば、画素値“１”を有する８つの連続する画素群が含まれていた場合、それらの画素群を１つの変動領域としてラベリングする。また、近接する複数の変動領域に対しては、一定の大きさや位置関係にあるものを同一物体に対応する画像領域であるとみなして１つの変動領域としてラベリングすることも好適である。ラベリング処理についは既存の画像処理方法を用いることができるので詳細な説明は省略する。ラベリングされた変動領域のデータは属性値演算部２６に渡される。
【００２４】
ステップＳ１６では、最新の入力画像データと過去画像データとに基づいて過去差分データが生成される。過去差分演算部２８は、記憶部１６から例えば過去画像データを読み出し、画像取得部１２で取得された最新の入力画像データと過去画像データとの差分を算出することによって過去差分データを生成する。具体的には、最新の入力画像データの着目画素の輝度値からその着目画素に対応する過去画像データの画素の輝度値を引くことによって、着目画素に対する差分データを算出する。この差分データが所定の閾値以上の値であれば着目画素に対応する過去差分データの画素の画素値を“１”とし、差分データが所定の閾値より小さければ着目画素に対応する過去差分データの画素の画素値を“０”として２値化された過去差分データを生成する。すなわち、入力画像データと過去画像データとにおいて変動があった画像領域の画素値は“１”となり、変動がなかった画像領域の画素値は“０”となる。生成された過去差分データは属性値演算部２６に渡される。
【００２５】
ステップＳ１８では、変動領域に対応する属性値が算出される。属性値演算部２６は、図３に示すサブルーチンに従って処理を行う。サブルーチンは抽出された総ての変動領域に対して実行され、変動領域毎に「検出対象物らしさ」を表す属性値が算出される。
【００２６】
ステップＳ１８−１では、変動領域の分割処理が行われる。ステップＳ１４でラベリングされた変動領域に「移動物体が現在の入力画像に取り込まれた領域」に該当する変動領域（真領域）と「移動物体が過去の背景画像に取り込まれた領域」に該当する変動領域（偽領域）とが重畳されている場合には真領域と偽領域とに分割する。
【００２７】
図４に示すように、背景差分データと過去差分データとの論理積を算出し、算出された画像データのうち変動領域と重複する画素を真領域候補画素として抽出する。すなわち、変動領域とされた領域ついて、背景差分データと過去画像データとの両方において画素値“１”である画素のみを真領域候補画素として抽出する。
【００２８】
次に、真領域候補画素のうち連続する画素群で構成される領域を纏めて一つの真領域としてラベリングする。例えば、画素値“１”を有する８つの連続する真領域画素群が存在していた場合、それらの画素群を１つの真領域としてラベリングする。これによって、背景画像データに取り込まれてしまった移動物体の画像によって生ずる偽領域を変動領域から取り除き、入力画像データに映された実際に移動を続けている移動物体の画像のみを変動領域として抽出する。
【００２９】
さらに、変動領域のうち真領域とされなかった領域を偽領域としてラベリングする。例えば、図５に示すように、過去差分データの反転値と背景差分データとの論理積を算出し、算出された画像データのうち変動領域と重複する画素を偽領域候補画素として抽出し、偽領域候補画素のうち連続する画素群で構成される領域を纏めて一つの偽領域としてラベリングする。
【００３０】
この方法は、特に高輝度や低輝度で映り込むと予想されない検出対象物、例えば人や車等、について検出を行う場合に好適である。
【００３１】
また、本実施の形態では、背景差分データと過去差分データとを用いて変動領域を真領域と偽領域とに分割したが、これに限定されるものではない。例えば、入力画像データと背景画像データとの差分画像データにおいて差分値が正であるか負であるかに基づいて真領域と偽領域とを分割することも好適である。
【００３２】
この方法は、入力画像データ中に特に高輝度で映り込むことが予想される検出対象物、逆に特に低輝度で映り込むことが予想される検出対象物を検出する際に有効である。高輝度で映り込むことが予想される検出対象物としては、例えば、撮像部１０の近傍に存在する蜘蛛の糸、蜘蛛の糸にぶら下がる蜘蛛、窓から差し込む太陽光等が挙げられる。この場合、背景画像データよりも入力画像データの輝度が増加した画素を真領域とし、輝度が減少した画素を偽領域とする。また、低輝度で映り込むことが予想される検出対象物としては、例えば、窓から差し込む太陽光による柱や家具等の影、屋外の建物の影等が挙げられる。この場合、背景画像データよりも入力画像データの輝度が減少した画素を真領域とし、輝度が増加した画素を偽領域とする。
【００３３】
ステップＳ１８−２では、真領域に対応する入力画像データの領域から特徴量を抽出し、抽出された特徴量に基づいて「検出対象物らしさ」を表す属性値を算出する。「検出対象物らしさ」は入力画像データにおける真領域に対応する領域が検出対象物毎に特有の特徴量を備えるか否かに基づいて検出対象物毎に算出される。
【００３４】
検出対象物が人や車である場合、真領域の大きさ、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「人らしさ」又は「車らしさ」を表す属性値を算出することができる。真領域の大きさが監視空間と撮像部１０との相対的な位置関係等が想定される一定の範囲内の大きさであれば「人らしさ」又は「車らしさ」を表す属性値を高くする。また、入力画像データ中の真領域に対応する領域の正規化相関が低いほど「人らしさ」又は「車らしさ」を表す属性値を高くする。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致しないほど「人らしさ」又は「車らしさ」を表す属性値を高くする。
【００３５】
検出対象物が撮像部１０の近傍に存在する蜘蛛の糸である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、エッジ変化の空間周波数、楕円近似した場合の短軸の長さ、及び、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度の少なくとも１つを用いて「蜘蛛の糸らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、撮像部１０の近くに存在する蜘蛛の糸に照明光を当てると特に高輝度で画像データに取り込まれるからである。また、照明を当てて撮像した入力画像データにおける真領域に対応する領域に含まれるエッジを所定の条件により抽出し、真領域の大きさに対するエッジ数の比が高いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、蜘蛛の糸が一様な輝度で画像データに写り込まず、真領域内における輝度の空間周波数が高くなることを利用するものである。また、照明を当てて撮像した入力画像データにおける真領域に対応する領域を楕円近似した場合の短軸の長さが短いほど蜘蛛の糸らしさ」を表す属性値を高くする。これは、蜘蛛の糸が細長いためである。また、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「蜘蛛の糸らしさ」を表す属性値を高くする。これは、照明を当てない場合には蜘蛛の糸は極めて低輝度でしか取り込まれないためである。
【００３６】
検出対象物が撮像部１０の近傍において蜘蛛の糸にぶら下がった蜘蛛である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、照明を弱めて撮像した入力画像データにおける真領域に対応する領域の平均輝度、及び、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度の少なくとも１つを用いて「蜘蛛らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛らしさ」を表す属性値を高くする。これは、撮像部１０の近くに存在する蜘蛛に照明光を当てると特に高輝度で画像データに取り込まれるからである。また、照明を弱めて撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「蜘蛛らしさ」を表す属性値を高くする。これは、照明の強度を可変にできる場合に、照明光を弱くしても撮像部１０の近くに存在する蜘蛛は高輝度で画像データに取り込まれるからである。また、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「蜘蛛らしさ」を表す属性値を高くする。これは、照明を当てない場合には蜘蛛は極めて低輝度でしか取り込まれないためである。
【００３７】
検出対象物が窓から差し込む太陽光である場合、照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「太陽光らしさ」を表す属性値を算出することができる。照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度が高いほど「太陽光らしさ」を表す属性値を高くする。これは、照明がなくとも太陽光は入力画像データに高輝度で映り込むからである。また、入力画像データ中の真領域に対応する領域の正規化相関が高いほど「太陽光らしさ」を表す属性値を高くする。これは、無体物である太陽光は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致するほど「太陽光らしさ」を表す属性値を高くする。これも、太陽光は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。
【００３８】
検出対象物が柱や家具等の常駐物の影である場合、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度、入力画像データ中の真領域に対応する領域の正規化相関、エッジの抽出位置の少なくとも１つを用いて「常駐物の影らしさ」を表す属性値を算出することができる。照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度が低いほど「常駐物の影らしさ」を表す属性値を高くする。これは、照明から一定以上の距離にある常駐物の影は照明によっても輝度は大きく変化しないからである。また、入力画像データ中の真領域に対応する領域の正規化相関が高いほど「常駐物の影らしさ」を表す属性値を高くする。これは、無体物である影は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。また、入力画像データ中の真領域に対応する領域のエッジの抽出位置が背景画像データ中の真領域に対応する領域のエッジの抽出位置と一致するほど「常駐物の影らしさ」を表す属性値を高くする。これも、影は真領域の輝度を変化させるだけであり、そのテクスチャは類似するからである。
【００３９】
以上のように、それぞれの検出対象物に応じた特有の特徴量から「検出対象物らしさ」を表す属性値を算出する。属性値を算出する際には、１つの検出対象物についてその「検出対象物らしさ」を表す複数の特徴量を求め、それらの複数の特徴量に基づいてその「検出対象物らしさ」を表す属性値を算出することが好適である。例えば、検出対象物毎に求められた複数の特徴量の単純平均値、重み付けされた加重平均値をその検出対象物の属性値とすることが好適である。また、複数の特徴量を所定の関数によって正規化し、正規化された属性値の加算値を検出対象物の属性値とすることも好適である。なお、変動領域内に真領域が存在しない場合には属性値は０とする。
【００４０】
例えば、真領域の「蜘蛛の糸らしさ」を表す属性値を算出する際に、照明を当てて撮像した入力画像データにおける真領域に対応する領域の平均輝度から求められた特徴量Ｔ１、エッジ変化の空間周波数から求められた特徴量Ｔ２、楕円近似した場合の短軸の長さから求められた特徴量Ｔ３及び照明を当てないで撮像した入力画像データにおける真領域に対応する領域の平均輝度から求められた特徴量Ｔ４に基づいて、その真領域の「蜘蛛の糸らしさ」を表す属性値ＲをＲ＝Ｔ１×Ｔ２×（１／Ｔ３）×（１／Ｔ４）として求めることができる。ただし、Ｔ１，Ｔ２は「蜘蛛の糸らしさ」が増すにつれ大きくなり、Ｔ３，Ｔ４は「蜘蛛の糸らしさ」が増すにつれて小さくなるとする。
【００４１】
また、図６に示すように、各特徴量Ｔ１〜Ｔ４を変数とした関数を定義し、その特徴量を正規化した出力値Ｓ１〜Ｓ４を用いて属性値を算出することもできる。すなわち、真領域の「蜘蛛の糸らしさ」を表す属性値ＲをＲ＝Ｓ１×Ｓ２×Ｓ３×Ｓ４とする。また、適切な係数Ａ１〜Ａ４を用いて、属性値ＲをＲ＝Ｓ１×Ａ１＋Ｓ２×Ａ２＋Ｓ３×Ａ３＋Ｓ４×Ａ４としても良い。
【００４２】
ステップＳ１８−３では、偽領域に対応する背景画像データの領域から特徴量を抽出し、抽出された特徴量に基づいて「検出対象物らしさ」を表す属性値を算出する。「検出対象物らしさ」は背景画像データにおける偽領域に対応する領域が検出対象物毎に特有の特徴量を備えるか否かに基づいて検出対象毎に算出される。検出対象物毎の特有の特徴量と属性値との関係はステップＳ１８−２と同様であるので説明は省略する。なお、変動領域内に偽領域が存在しない場合には属性値は０とする。
【００４３】
なお、本実施の形態では、偽領域に対する特徴量を抽出して属性値を算出しているが、監視空間に移動体として検出対象物以外が入らない場合などにおいては、真領域に対しての特徴量の抽出及び真領域に対する特徴量に基づく属性値の算出処理としても良い。これにより、確実に真領域として偽領域を除けるような場合に、処理負荷の軽減が図れることになる。
【００４４】
ステップＳ１８−４では、変動領域毎に、その変動領域に含まれる真領域に対する「検出対象物らしさ」を表す属性値と、その変動領域に含まれる偽領域に対する「検出対象物らしさ」を表す属性値とを用いて、真領域と偽領域のそれぞれが検出対象物であるか否かの判定を行う。
【００４５】
例えば、真領域に対する「検出対象物らしさ」を表す属性値＞真領域に対する検出対象物以外の「物体らしさ」を表す属性値、かつ、偽領域に対する「検出対象物らしさ」を表す属性値＞偽領域に対する検出対象物以外の「物体らしさ」を表す属性値である場合にその変動領域が「検出対象物」による画像であると判定する。具体的には、蜘蛛の糸を検出対象物とする場合、真領域に対する「蜘蛛の糸らしさ」を表す属性値＞真領域に対する蜘蛛の糸以外の「物体らしさ」を表す属性値、かつ、偽領域に対する「蜘蛛の糸らしさ」を表す属性値＞偽領域に対する蜘蛛の糸以外の「物体らしさ」を表す属性値である場合にその変動領域が「蜘蛛の糸」による画像であると判定する。
【００４６】
また、所定の閾値ＴＨ１，ＴＨ２を予め定めておき、真領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ１、かつ、偽領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ２である場合にその変動領域が「検出対象物」による画像であると判定する。
【００４７】
真領域及び偽領域が共に「検出対象物」による画像であると判定された場合にはステップＳ１８−５に処理を移行させ、「検出対象物」による画像でないと判定された場合にはステップＳ１８−６に処理を移行させる。
【００４８】
ステップＳ１８−５では、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値とを用いて、その真領域と偽領域に対応する変動領域の「検出対象物らしさ」を表す属性値を算出する。例えば、変動領域の「検出対象物らしさ」を表す属性値は、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値とのいずれか大きい値とする。なお、これに限定されるものではなく、例えば、真領域に対する「検出対象物らしさ」を表す属性値と偽領域に対する「検出対象物らしさ」を表す属性値や平均値や加重平均値等としても良い。
【００４９】
本実施の形態では、真領域に対する属性値と偽領域に対する属性値の両方を用いているが、真領域に対する属性値のみを用いても良い。これは、検出対象物以外の移動体が監視空間に入らない環境が整った場合において処理負担を低減できる利点がある。
【００５０】
ステップＳ１８−６では、真領域と偽領域とに分割していない変動領域全体に対応する入力画像データの領域から特徴量を抽出し、抽出された特徴量に基づいてその変動領域に対する「検出対象物らしさ」を表す属性値を算出する。すなわち、１つの変動領域を１つの領域として扱って変動領域全体としての特徴量を求め、その特徴量に基づいて属性値を決定する。検出対象物毎の特徴量と属性値との関係はステップＳ１８−２と同様であるので説明は省略する。
【００５１】
また、ステップＳ１８−５及びステップＳ１８−６では、検出対象物以外の「物体らしさ」を表す属性値も変動領域毎に算出しておくことも好適である。これらの属性値はステップＳ２０の判定で用いることができる。
【００５２】
抽出された総ての変動領域について「検出対象物らしさ」を表す属性値を算出するまでステップＳ１８−１〜ステップＳ１８−６を繰り返す。総ての変動領域について「検出対象物らしさ」を表す属性値が算出されたらメインルーチンのステップＳ２０へ処理を戻す。
【００５３】
ステップＳ２０では、ステップＳ１８で算出された「検出対象物らしさ」を表す属性値に基づいて変動領域毎に「検出対象物」による画像か否かを判定する。判定部３０は、例えば、変動領域に対する「検出対象物らしさ」を表す属性値＞検出対象物以外の「物体らしさ」を表す属性値である場合にその変動領域が「検出対象物」による画像であると判定する。具体的には、検出対象物が蜘蛛の糸である場合、変動領域に対する「蜘蛛の糸らしさ」を表す属性値＞蜘蛛の糸以外の「物体らしさ」を表す属性値である場合にその変動領域が「蜘蛛の糸」による画像であると判定する。
【００５４】
また、所定の閾値ＴＨ３を予め設定しておき、変動領域に対する「検出対象物らしさ」を表す属性値＞閾値ＴＨ３である場合にその変動領域が「検出対象物」による画像であると判定しても良い。具体的には、検出対象物が蜘蛛の糸である場合、蜘蛛の糸と判定するための閾値ＴＨ３を設定しおき、変動領域に対する「蜘蛛の糸らしさ」を表す属性値＞閾値ＴＨ３である場合にその変動領域が「蜘蛛の糸」による画像であると判定しても良い。
【００５５】
変動領域の少なくとも１つが「検出対象物」による画像であると判定された場合にはステップＳ２２に処理を移行させ、総ての変動領域が「検出対象物」による画像でないと判定された場合にはステップＳ２４に処理を移行させる。
【００５６】
ステップＳ２２では、警報が発報される。画像処理部１４は、出力部１８から警報信号を出力させる。出力部１８が警報ランプや警報ブザーを含む警報装置である場合にはランプを点灯させたり、ブザー音を発したりさせる。また、出力部１８がネットワーク・インターフェースである場合には、インターネットや専用回線を介して遠方の監視室に警報信号を送信させることもできる。
【００５７】
ステップＳ２４では、背景画像データの更新処理が行われる。背景画像更新部２０は、所定の背景更新周期Ｔｒ（例えば１０秒周期）で記憶部１６に保持されている背景画像データを最新の入力画像データで更新する。更新周期Ｔｒは、監視空間に対する日照の変動等を考慮して決定することが好適である。
【００５８】
また、ステップＳ２０において、「検出対象物」が存在しないと判定された場合に背景画像データを入力画像データで更新することも好適である。さらに、過去に取得された複数の入力画像データの移動平均画像データにより背景画像データを更新することも好適である。
【００５９】
ステップＳ２６では、過去画像データの更新処理が行われる。過去画像データは、背景画像データよりも新しく取得された入力画像データである。例えば、過去画像データを最新の入力画像データで更新する。これにより、次の検出処理では１フレーム前に撮像された画像データが過去画像データとして用いられる。
【００６０】
以上のように、本実施の形態によれば、抽出された変動領域を「移動物体が現在の入力画像に取り込まれた領域」に該当する真領域と、「移動物体が過去の背景画像に取り込まれた領域」に該当する偽領域と、に分割して処理することによって検出対象物の検出確度を高めることができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態におけるセンシング装置の構成を示すブロック図である。
【図２】本発明の実施の形態におけるセンシング処理のフローチャートを示す図である。
【図３】本発明の実施の形態における変動領域に対する属性値を算出する処理のフローチャートを示す図である。
【図４】本発明の実施の形態における真領域の求め方を説明する図である。
【図５】本発明の実施の形態における偽領域の求め方を説明する図である。
【図６】本発明の実施の形態における特徴量を変数とする関数の例を示す図である。
【符号の説明】
【００６２】
１０ 撮像部、１２ 画像取得部、１４ 画像処理部、１６ 記憶部、１８ 出力部、２０ 背景画像更新部、２２ 背景差分演算部、２４ ラベリング処理部、２６ 属性値演算部、２８ 過去差分演算部、３０ 判定部、１００ センシング装置、１０２ 画像信号処理装置。
【特許請求の範囲】
【請求項１】
監視空間を撮像した入力画像データを取得する画像取得部と、
前記画像取得部において過去に取得された入力画像データに基づいて生成された背景画像データを用いて、背景画像データと前記画像取得部において新たに取得された新規入力画像データとの間の変動領域の属性値を求める画像処理部と、
を備え、前記変動領域の属性値に基づいて前記監視空間に存在する移動物体を検出する画像信号処理装置において、
前記画像処理部は、
新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出手段と、
前記背景差分データに基づいて前記変動領域を抽出する領域抽出手段と、
前記変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像データに取り込まれた結果生ずる偽領域と、に分割する領域分割手段と、
前記真領域に対する特徴量を求め、前記真領域に対する特徴量に基づいて前記変動領域に対する属性値を求める特徴量抽出手段と、
を備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記特徴量抽出手段は、前記偽領域に対する特徴量を求め、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることを特徴とする画像信号処理装置。
【請求項３】
請求項１又は２に記載の画像信号処理装置において、
前記領域分割手段は、新規入力画像データと前記画像取得部において新規入力画像データより所定時間前に取得された過去画像データとの差を演算して過去差分データとして求め、前記背景差分データと前記過去差分データとに基づいて、前記変動領域を前記真領域と前記偽領域とに分割する手段であることを特徴とする画像信号処理装置。
【請求項４】
請求項１〜３のいずれか１つに記載の画像信号処理装置において、
前記特徴量抽出手段は、前記真領域に対する特徴量が所定の条件を満たし、かつ、前記偽領域に対する特徴量が所定の条件を満たす場合には、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることを特徴とする画像信号処理装置。
【請求項５】
請求項１〜４のいずれか１つの画像信号処理装置を含み、
前記監視空間に存在する移動物体が検出された場合に警報信号を出力する出力部を備えることを特徴とするセンシング装置。
【請求項１】
監視空間を撮像した入力画像データを取得する画像取得部と、
前記画像取得部において過去に取得された入力画像データに基づいて生成された背景画像データを用いて、背景画像データと前記画像取得部において新たに取得された新規入力画像データとの間の変動領域の属性値を求める画像処理部と、
を備え、前記変動領域の属性値に基づいて前記監視空間に存在する移動物体を検出する画像信号処理装置において、
前記画像処理部は、
新規入力画像データと背景画像データとの差分を演算して背景差分データを求める背景差分算出手段と、
前記背景差分データに基づいて前記変動領域を抽出する領域抽出手段と、
前記変動領域を、移動物体が新規入力画像データに取り込まれた結果生ずる真領域と、移動物体が背景画像データに取り込まれた結果生ずる偽領域と、に分割する領域分割手段と、
前記真領域に対する特徴量を求め、前記真領域に対する特徴量に基づいて前記変動領域に対する属性値を求める特徴量抽出手段と、
を備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記特徴量抽出手段は、前記偽領域に対する特徴量を求め、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることを特徴とする画像信号処理装置。
【請求項３】
請求項１又は２に記載の画像信号処理装置において、
前記領域分割手段は、新規入力画像データと前記画像取得部において新規入力画像データより所定時間前に取得された過去画像データとの差を演算して過去差分データとして求め、前記背景差分データと前記過去差分データとに基づいて、前記変動領域を前記真領域と前記偽領域とに分割する手段であることを特徴とする画像信号処理装置。
【請求項４】
請求項１〜３のいずれか１つに記載の画像信号処理装置において、
前記特徴量抽出手段は、前記真領域に対する特徴量が所定の条件を満たし、かつ、前記偽領域に対する特徴量が所定の条件を満たす場合には、前記真領域に対する特徴量及び前記偽領域に対する特徴量に基づいて前記変動領域に対する属性値を求めることを特徴とする画像信号処理装置。
【請求項５】
請求項１〜４のいずれか１つの画像信号処理装置を含み、
前記監視空間に存在する移動物体が検出された場合に警報信号を出力する出力部を備えることを特徴とするセンシング装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−１８６４５８（Ｐ２００６−１８６４５８Ａ）
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願番号】特願２００４−３７５３４３（Ｐ２００４−３７５３４３）
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成１８年７月１３日（２００６．７．１３）
【国際特許分類】
【出願日】平成１６年１２月２７日（２００４．１２．２７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]