画像処理方法および監視装置
【課題】監視環境が時々刻々と変化するような場面でも、検出すべき物体の位置や速度と言った属性を正しく計測する。
【解決手段】撮像装置において撮像した入力画像を処理して、入力画像のエッジ情報を抽出し、エッジ情報に基づいてテンプレート画像を作成して記憶し、記憶されたテンプレート画像とその位置情報に基づいてテンプレートマッチング処理を実行し、マッチングに成功したテンプレートはその位置座標を更新し、マッチングに失敗したテンプレートは削除し、テンプレートマッチング処理の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測し、検出された物体の危険度を判定するようにする。
【解決手段】撮像装置において撮像した入力画像を処理して、入力画像のエッジ情報を抽出し、エッジ情報に基づいてテンプレート画像を作成して記憶し、記憶されたテンプレート画像とその位置情報に基づいてテンプレートマッチング処理を実行し、マッチングに成功したテンプレートはその位置座標を更新し、マッチングに失敗したテンプレートは削除し、テンプレートマッチング処理の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測し、検出された物体の危険度を判定するようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる領域で撮影された物体を監視する監視装置に関し、特に、監視対象となる物体の位置、移動方向、移動速度などを検出して効果的に監視が行えるようにするための画像処理方法及び監視装置に関する。
【背景技術】
【０００２】
従来の監視装置では、例えば、テレビカメラなどに代表される撮像装置によって監視領域を撮像した画像（入力画像）を画像処理手段によって処理し、入力画像中の所定の物体を自動的に検出し、該物体の位置や速度といった属性を基に監視領域を監視するような方法が広く用いられている。
【０００３】
このような入力画像中の所定の物体を自動的に検出するような方法の一例として、従来から、入力画像と背景画像との間で、あるいは所定の時間差で撮像した２枚の画像との間で、画素ごとの差分を計算し、入力画像の明るさ変化部分を検出する差分法（特に、前者は背景差分法、後者はフレーム間差分法と呼ばれる）や、画像内の局所的な動きの分布を求め、その動きの中で非零のベクトルを持つ領域のかたまりを見つけるオプティカルフロー法と呼ばれる方法が使用されている。これらの方法については、例えば、非特許文献１の２３８〜２４５ページに詳しく解説されている。
【０００４】
このような入力画像中の所定の物体を自動的に検出する方法は、監視する対象に応じて適切に選択する必要がある。例えば、背景差分法であれば、入力画像と背景画像との差分を取るため、入力画像中で背景画像に写っていない物体を、動く物体や静止物体に関わらず検出できるが、背景画像をあらかじめ推測しなければならず、さらに、例えば、木々の揺れ、水面の揺らぎなど、検出すべき物体以外の背景物が動いている場合、これらの物体も検出されてしまい、誤った警報、いわゆる誤報が発生する可能性がある。
【０００５】
一方、フレーム間差分法やオプティカルフロー法では、背景画像をあらかじめ推測する必要がないが、検出すべき物体が静止した場合にはその検出ができなくなる。さらに、検出すべき物体の動きと、木々の揺れや水面の揺らぎなどの動きとを区別することが必要となり、検出すべき物体以外の物体の動きはノイズとして検出すべき物体の検出の妨げとなる。このように、フレーム間差分法やオプティカルフロー法では、検出すべき物体の以外のノイズが多い場合には、検出すべき物体とノイズとを正確に区別することが困難となり、ノイズを誤って検出物体と判定した場合には誤報が発生する。
【０００６】
以上のように、従来法である差分法やオプティカルフロー法は、時々刻々監視環境が変化するような背景部分に動きのある場面、特に、潮位変化があるような水上、水流によりゴミなどが流れているような水中、雲の流れなどがある空中などでは、背景画像をあらかじめ推測することが困難であることや、動きの分布の中から特定の検出すべき物体の動きのみを抽出することが困難であるため、このような監視環境に対しては、上記の従来法を搭載した監視装置を適用することができなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３７２５２０７号公報
【特許文献２】特開２００５−２３６５０８号公報
【特許文献３】特開平８−２７９０４４号公報
【特許文献４】特開２００８−２６９２５８号公報
【特許文献５】特開２００５−９８８１６号公報
【特許文献６】特許第３５６０３２６号公報
【非特許文献】
【０００８】
【非特許文献１】江尻正員 ほか、「ディジタル画像処理」、財団法人画像情報教育振興協会発行、２００４年７月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の映像監視装置においては、前述の通り、監視環境が時々刻々と変化するような場面で背景画像をあらかじめ用意しておくことは困難であり、適用範囲が限定されていた。例えば、水上、水中、空中などでの適用を考えると、潮位の変化、水泡や浮遊物の存在、雲の動きなども、差分法であれば画像の変化として現れたり、オプティカルフロー法であれば検出すべき物体以外の動きとして検出されたりして、検出すべき物体なのか、背景物の変化なのかを区別することを困難とさせていた。したがって、このような場面では、従来の映像監視装置を適用することができないという問題があった。
【００１０】
本発明は、このような従来の事情に鑑みなされたもので、撮像装置によって監視領域を撮像した画像から、検出すべき物体の位置や速度と言った属性を計測し、該物体を監視するようにした画像処理方法及び監視装置を提供することを目的とする。
さらに具体的には、監視環境が時々刻々と変化するような場面において、検出すべき物体と、背景領域の背景物とを区別できるようにして、監視領域を効果的に監視できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明に係る画像処理方法及び監視装置は、監視領域を撮像する撮像装置と、該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置を有し、次のようにして、監視領域内の物体を検出する。
【００１２】
すなわち、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出手段と、前記エッジ抽出手段によって得られたエッジ情報に基づいてテンプレート画像を作成するテンプレート作成手段と、前記テンプレート作成手段によって作成された少なくともテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する画像を入力画像中から探索する処理（テンプレートマッチング処理）を実行するテンプレートマッチング手段と、前記テンプレートマッチング処理の結果に基づいて前記テンプレートメモリに記憶されたテンプレートを更新するテンプレート更新手段と、前記エッジ抽出手段と前記テンプレートマッチング処理の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出手段と、前記位置検出手段の結果に基づいて検出された物体の危険度を判定する危険度判定手段と、前記危険度判定手段に基づいて前記表示装置に判定結果を表示するようにして、監視領域を効果的に監視できるようにした。
【００１３】
さらに、前記テンプレート作成手段は、前記エッジ抽出手段によって得られたエッジ情報に基づいてエッジが多い領域を判定し、エッジが多いと判定した場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することで、テンプレートマッチング処理の精度を高めた。
【００１４】
さらにまた、前記テンプレート作成手段は、エッジが多い領域かつ前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度が小さい領域の画像に基づいてテンプレート画像を作成することで、テンプレートマッチング処理に使用するテンプレート画像の数を適切に調整するようにした。
【００１５】
さらに、前記テンプレート更新手段は、前記テンプレートマッチング手段において、探索された領域とテンプレート画像との類似度を判定し、類似度が所定の値よりも高い場合に、該探索された領域の位置情報を前記テンプレートメモリに記憶されたテンプレートの位置情報と置き換えることで、テンプレートマッチング処理の結果に基づき信頼性の高いテンプレートのみを更新するようにした。
【００１６】
さらにまた、前記テンプレート更新手段は、前記テンプレートマッチング手段において、探索された領域とテンプレート画像との類似度を判定し、類似度が所定の値よりも低い場合に、前記テンプレートメモリに記憶されたテンプレートを削除することで、テンプレートマッチング処理の結果に基づき信頼性の低いテンプレートをテンプレートメモリから削除するようにした。
【００１７】
さらに、前記テンプレートマッチング手段は、テンプレートメモリに記憶したテンプレート画像と類似する画像を入力画像中から探索する際に、探索範囲を限定することで、特定方向へ移動する物体のみを検出するようにした。
【００１８】
さらに、前記位置検出手段は、前記テンプレートメモリ内に記憶されたテンプレート、或いは、前記テンプレートマッチングステップにおいて類似度が所定値以上となるテンプレートに相当する領域において、前記入力画像のエッジ量を所定の座標軸に沿って投影し、検出すべき物体の位置または速度の少なくとも一つの属性を計測することで、テンプレートマッチング処理によって得られた信頼性の高いテンプレートの中から物体の属性を計測するようにした。
【発明の効果】
【００１９】
本発明によれば、抽出されたエッジ量から信頼性の高いテンプレートを新規登録し、信頼性の低いテンプレートを逐次削除しながらテンプレートの数を適切に調整し、検出すべき物体の位置や速度と言った属性を計測できるようにしたため、従来の画像処理方法及び監視装置の適用範囲をさらに広げることができる。
【図面の簡単な説明】
【００２０】
【図１】撮像装置による監視装置の一例を示す図である。
【図２】本発明の実施例の動作を説明するフローチャートである。
【図３】本発明の実施例における入力画像の一例を説明する図である。
【図４】本発明のエッジ抽出及びエッジ量に基づくテンプレート画像の作成処理の動作を説明する図である。
【図５】本発明のテンプレートメモリに記憶されたテンプレートを説明する模式図である。
【図６】本発明のテンプレートマッチング処理の動作を説明する図である。
【図７】本発明の信頼性の低いテンプレートを削除する動作を説明する図である。
【図８】本発明のエッジ抽出及びエッジ量に基づくテンプレート画像の追加して作成する処理の動作を説明する図である。
【図９】本発明のテンプレートメモリに記憶された更新されたテンプレートを説明する図である。
【図１０】本発明の物体位置検出処理を説明する図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の実施形態に係る、撮像装置による監視装置の一例を示す図である。本実施形態の監視装置は、撮像装置１０１と、画像処理装置１０２と、表示装置１０３によって構成される。
撮像装置１０１は、監視対象となる領域を可視光、赤外光などの波長を持つ電磁波の強度として撮像し、２次元画像として画像処理装置１０２に逐次出力する。
画像処理装置１０２は、撮像装置１０１から入力した画像に対して後述する処理を実行し、入力画像から所定の物体を抽出し、その結果を表示装置１０３に出力する。
表示装置１０３は、画像処理装置１０２の結果に基づき所定の表示を行う。
【００２２】
本実施形態で使用される画像処理装置１０２は、例えばプロセッサやメモリなどを備えたコンピュータ、あるいはそれに類する装置によって実現される。また、監視装置の構成として、本構成の他にも、従来より、撮像装置制御のための装置や、各種外部記録装置、伝送機器等の構成要素を持つものも存在するが、説明を簡単にするため、本例では省略している。
以下、画像処理装置１０２の動作の具体例を実施例として説明する。
【実施例１】
【００２３】
本発明の実施例を、図１を用いて説明する。前述の通り、本発明の監視装置は、撮像装置１０１と、画像処理装置１０２と、表示装置１０３によって構成される。
画像処理装置１０２は、エッジ抽出部１０４と、テンプレート作成部１０５と、テンプレートメモリ１０６と、テンプレートマッチング部１０７と、位置検出部１０８と、危険度判定部１０９とによって構成される。
エッジ抽出部１０４は、撮像装置１０１から入力された入力画像処理しエッジ画像を生成して、テンプレート作成部１０５及び位置検出部１０８に出力する。
テンプレート作成部１０５は、撮像装置１０１から入力した入力画像とエッジ抽出部１０４から得られたエッジ画像に基づいてテンプレートを生成してテンプレートメモリ１０６に書き込む。
テンプレートメモリ１０６は、テンプレート生成部１０５やテンプレートマッチング部１０７からの出力に基づいてテンプレート画像や該テンプレート画像の位置情報などを記憶する。
テンプレートマッチング部１０７は、テンプレートメモリ１０６に記憶したテンプレート画像及び位置情報に基づいてテンプレートマッチング処理を行い、その結果を位置検出部１０８に出力する。
位置検出部１０８は、テンプレートマッチング１０８のテンプレートマッチング処理の結果及びエッジ抽出部１０４のエッジ画像を用いて検出すべき物体の位置や速度等の属性を検出して、その結果を危険度判定部１０９へ出力する。
危険度判定部１０９は、位置検出部１０８の検出結果に基づいて監視領域の危険度を判定して、その結果を出力装置１０３へ出力する。
【００２４】
次に、前記画像処理装置１０２の動作を、図２のフローチャート、及び図３から図１０の補足図を用い、河川を往来する船舶がゲート（水門）に近付く例を以って、詳細に説明する。
図２は、画像処理装置１０２における構成要素１０４から１０９までの処理を順を追って説明したものである。
先ず、画像入力ステップ２０１では、撮像装置１０１から、例えば、画像入力Ｉ／Ｆ（図示しない）などを介して、横６４０画素、縦４８０画素、１画素８ビットの画像を入力画像として入力する。
【００２５】
次に、エッジ抽出ステップ２０２では、画像入力ステップ２０１で得られた入力画像に対して微分フィルタを適用して、入力画像のエッジ画像を得る。この微分フィルタの例として、従来のソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）やプリューウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）などが使用できる。これらのフィルタの詳細については、例えば、非特許文献１の１１４〜１２１ページに詳しく記載されている。この処理によって、入力画像全体の輝度レベルの変動に依存せず、例えば図３の画像３０１のような入力画像に写る構成物の輪郭やパターン等の情報が抽出できる。
【００２６】
次に、ブロック走査ループ開始ステップ２０３は、前記エッジ抽出ステップ２０２で得られたエッジ画像をいくつかのブロックに分割して、各ブロックに対してステップ２０４からステップ２０６までを実行する。このブロックの分割では、 図４に示すように、入力画像全体を所定の大きさ（例えば、横３２画素、縦３２画素）で縦横等間隔に分割する。このとき、隣接するブロック同士を一定の割合で重なるようにブロックを設定しても良い。
【００２７】
次に、ブロック内エッジ量算出ステップ２０４では、注目するブロックのエッジの総量を計算する。エッジ抽出ステップ２０２において、エッジ情報はエッジ画像として得られているため、エッジの総量は、注目するブロック内での画素値（エッジ強度）の累積値として表わされる。或いはエッジを示す画素の個数でもよい。
【００２８】
次に、エッジ量判定ステップ２０５では、この累積値が所定のしきい値ＥTh（例えば、ブロックサイズ横３２画素、縦３２画素の場合、５０００（１画素あたりの平均エッジ量は約５レベル））以上である場合には、エッジが多いと判断し、テンプレート作成・登録ステップ２０６へ分岐し、しきい値未満の場合は、ブロック走査ループ終了ステップ２０７へ分岐し、次のブロックを走査する。図４において、斜線で塗潰したブロックは、エッジ量判定ステップ２０５によって、エッジが多いと判定されたブロックを表わす。ブロック内に、検出すべき物体や背景構造物、揺れる波などのパターンを持った画像があった場合、その輪郭やパターンがエッジとなって抽出されるため、この判定により、被写体の候補となるブロックが抽出される。
【００２９】
次に、テンプレート作成・登録ステップ２０６では、エッジ量判定ステップ２０５でエッジが多いと判定されたブロック（図４における斜線で塗潰したブロック）のテンプレートを作成し、テンプレートメモリ１０６に記憶する。テンプレートは、少なくともテンプレート画像と、テンプレートの位置座標との２つの情報を有し、テンプレート画像は入力画像の当該ブロックの位置の部分画像、テンプレートの位置座標（xT，yT）は当該ブロックの（入力画像中での）位置となる。テンプレートは、それが何フレーム前の入力画像で登録されたかを示す世代情報、直前に検出された移動ベクトル（後述）等の情報を更に保持してもよい。
【００３０】
図２のフローチャートの２サイクル目以降においては、前記テンプレート作成・登録ステップ２０６は、エッジが多いと判定されたブロックの全てを登録するのではなく、テンプレートメモリ１０６内に記録されたテンプレートと当該ブロックとの重複度を判定して、画像同士が２／３（約６７％）以上重複している場合には、テンプレートの登録を行わないようにする。重複度は、記録されたテンプレートの位置座標と当該ブロックの位置座標から容易に計算できる。
【００３１】
次に、ブロック走査ループ終了ステップ２０７では、以上のようなステップ２０４からステップ２０６までのステップを、すべてのブロックの走査が終わるまで繰返す。図５は、テンプレートメモリ１０６に確保されたテンプレート領域５００と、そこに記憶されたテンプレートを表わしており、ステップ２０３からステップ２０７までの処理（ブロック走査ループ）が終了すると、図４においてエッジが多いと判定された合計４３個のブロックについてテンプレート画像とその位置座標（図示せず）がテンプレート５０１からテンプレート５４３として登録される。
【００３２】
次に、登録テンプレートループ開始ステップ２０８では、前記テンプレートメモリ１０６に登録された各テンプレートに対してステップ２０９からステップ２１３までを実行する。この処理されるテンプレートは、メモリ上の並び順や、登録された順（世代情報順）など、任意の順番で行ってよい。なお、直前のブロック走査ループで登録されたばかり（世代情報が０）のテンプレートは処理の対象から除いてよい。
【００３３】
まず、テンプレートマッチングステップ２０９では、前記テンプレートメモリ１０６に登録された注目しているテンプレートに対してテンプレートマッチング処理を実行する。テンプレートマッチング処理は、テンプレート画像に類似する画像を入力画像中から探索する処理で、非特許文献１の２０２〜２０７ページに詳しく記載されている。ここで、テンプレートマッチング処理を実行する範囲を、例えば、元の位置（xT，yT）を中心に上下６４画素、左右６４画素などとし、マッチングの指標としては、例えば、式１に示すような相互相関係数を用いれば良い。
【００３４】
【数１】
【００３５】
ここで、 Ｔ（ｉ，ｊ）はテンプレート画像、 Ｉ（x，y）は入力画像、ＭとＮは夫々テンプレート画像の幅と高さ（例えば３２）である。相互相関係数Ｒは、類似度と呼ばれ、テンプレート画像と、入力画像中の探索範囲内で類似度が最も高い部分画像が、完全に一致する場合には、１．０となり、差が大きくなるにつれて小さな値となる。
【００３６】
このテンプレートマッチング処理によって、テンプレートがどの位置（x，y）にマッチしたか、すなわち、各テンプレートに写る物体がどのような位置に動いた可能性があるかが分かる。
図６は、テンプレートマッチング処理の結果によって、テンプレートがどのような位置にマッチしたかを表示したものである。図中、矢印で示されるのは、テンプレートの位置と異なる位置にマッチしたものですなわち、これはテンプレートに写る物体の移動ベクトルを表わす。矢印を表示していないテンプレートは移動していないか探索範囲内での移動を検出できなかったことを表わす。このようにテンプレートマッチング処理によって、物体の移動方向が分かる。なお、本実施例では、テンプレートマッチング処理を実行する範囲を、正方領域として例示したが、これを例えば横長（例えば、上下４画素、左右６４画素）に設定すれば、横方向の動きのみを検出することができる。
【００３７】
次に、マッチング成否判定ステップ２１０では、例えば上記例では、マッチングによって算出された類似度を判定し、例えば、類似度が所定のしきい値ＲTh（例えば０．９）以上であれば、テンプレートマッチング処理が成功した（入力画像中でテンプレート画像に類似する画像が見つかった）とみなしテンプレート更新ステップ２１１に分岐し、類似度が所定のしきい値未満であれば、テンプレートマッチング処理が失敗した（入力画像中でテンプレート画像に類似する画像が見つからなかった）とみなしテンプレート削除ステップ２１３へ分岐する。
【００３８】
テンプレート更新ステップ２１１では、登録されたテンプレートの位置座標（xT，yT）を、新たにマッチングした位置座標で上書きして更新する。すなわち、テンプレートに写る物体の位置が最新の情報に更新される。
【００３９】
次に、近接テンプレート削除ステップ２１２では、テンプレートメモリ１０６に記憶されたテンプレートと、注目しているテンプレートの位置を比較し、例えば、テンプレート画像同士が所定量ＯTh（例えば６７％）以上重複している場合には、片方（例えば、テンプレートマッチング処理の際の類似度が小さい方）のテンプレートを、テンプレートメモリ１０６から削除する。これは、テンプレートメモリ１０６に登録されているテンプレートの内、重複しているテンプレートは、それぞれ独立にテンプレートマッチングを行ったとしても検出すべき物体に対して同様の情報が得られるため、片方を削除しても、得られる情報が変わりない上、処理時間が短縮できるという利点があるからである。
【００４０】
一方、テンプレート削除ステップ２１３では、テンプレートマッチング処理に失敗したテンプレートをテンプレートメモリ１０６から削除する。これは、入力画像中でテンプレート画像に類似する画像が見つからなかったため、テンプレート自体の信頼性が低いと判断するためである。図６の例では、点線で囲まれたテンプレートで示している。このようなテンプレートは、ブロック内エッジ量算出ステップ２０４及びエッジ量判定ステップ２０５でエッジが多いと判定されテンプレート作成・登録ステップ２０６でテンプレートとして登録されたが、このエッジは、例えば、波などによって生じたものであり、このようなエッジは、時々刻々、その形状が変化することから、テンプレートマッチング処理によって高い類似度とならない。すなわち、テンプレートマッチング処理によって算出される類似度によって、テンプレートが監視環境が時々刻々と変化するような背景部分を指し示す場合でも、それをテンプレートメモリ１０６から除外することができる。
なお、このテンプレート削除ステップ２１３において、検出すべき被写体を映すテンプレートが削除されてしまった場合でも、撮像装置１０１から得られる入力画像を逐次処理していることから、次の入力画像が得られた段階で、新たにテンプレートとしてテンプレートメモリ１０６に登録される。
【００４１】
次に、登録テンプレートループ終了ステップ２１４では、以上のようなステップ２０９からステップ２１３までの処理（登録テンプレートループ）を、テンプレートメモリ１０６に登録されたテンプレートのすべての処理が終わるまで繰返す。
図７は、登録テンプレートループ終了ステップ２１４の直後における、テンプレートメモリ１０６に確保されたテンプレート画像７００と、そこに記憶されたテンプレートを表わしており、テンプレートマッチング処理によって算出された類似度が小さく、信頼性が低いと判断されたテンプレート５１０、５１１、５２０、５２１、５３０、５３８、５４９、５４０、５４１、５４２，５４３が削除され、残りのテンプレートが、テンプレート７０１からテンプレート７３２として更新される。
【００４２】
次に、エッジ投影ステップ２１５では、テンプレートメモリ１０６に記録されたテンプレートの内、移動ベクトルがゼロでないものについて、テンプレート位置に該当するエッジ画像をＸ軸方向に投影する。これを図１０を用いて説明する。
図１０のエッジ画像１０００において、移動ベクトルがゼロでないテンプレートに相当する領域を斜線で表わしている。なお図１０では、テンプレートが存在しない部分においても、ブロック走査開始ステップ２０３でのブロック分割と同様の格子を便宜的に図示してある。また実際には、更新されたテンプレートは整然と並ばず、多少の重なりやずれがある。
【００４３】
その下の投影グラフ１００１では、斜線で表わされるテンプレート該当領域内の各エッジ量（エッジ画像の各画素値）をＸ軸に沿ってＹ軸方向（縦方向）に投影したグラフを表わしている。この投影グラフ１００１から、斜線で表わされるテンプレートに写る物体の存在する範囲を推定することができる。
【００４４】
ここで、移動ベクトルがゼロでないテンプレートのみを使った理由として、監視する対象物体は、何らかの動きを持っていると仮定しているためである。すなわち、本実施例は、動きのない物体（地面に固定された硬質の物体など）は異常な動きなどを示さず、本来監視する必要のないものであるという、従来からの監視装置としての使用目的に合わせて構成されている。また、背景物が動く場合（本実施例では、ゲート（水門）の開閉など）は、あらかじめその位置、移動方向などが特定でき、検出すべき物体と区別することは容易であるため、本実施例では特に言及していない。
【００４５】
また投影の対象は、テンプレート該当領域内ではなく、移動ベクトルがゼロでないテンプレートに十分近い分割ブロックとしてもよい。十分近い分割ブロックの定義を、その内部にテンプレートの中心を含むようなブロックであるとすれば、任意のテンプレートの位置座標（xT，yT）に対して、ブロックの位置座標（xB，yB）がxT−Ｍ／２＜xB＜xT＋Ｍ／２、及びｙT−Ｎ／２＜ｙB＜ｙT＋Ｎ／２を満たすブロックを探せばよい。
【００４６】
次に、位置検出ステップ２１５では、エッジ投影ステップで算出した投影グラフ１００１を、一定のレベルでしきい値処理し、物体の存在するｘ軸上での位置を検出する。さらに、物体の存在する位置の時間的な変化を計測することで物体のｘ軸方向の速度も計測することができる。なお、投影をテンプレート毎にその領域内で行ってから合成して得る場合、テンプレート同士の重なった部分が投影値に重複して反映されることになるが、物体の位置検出には影響ない。物体の速度は、斜線で表わされるテンプレートが保持している移動ベクトルの平均として算出してもよい。
【００４７】
次に、危険度判定ステップ２１７では、例えば、検出した物体の速度が所定の値を超えたか否かや、物体がゲートに所定の位置以下になるまで接近しているか否かなど、を判定し、その度合いを危険度として算出する。
次に、危険判断ステップ２１８では、危険度判定ステップ２１７で算出された危険度に対して、危険度が大きければ、警報発報ステップ２１９へ分岐し、危険度が小さければ画像入力ステップ２０１へ分岐する。
【００４８】
最後に、警報発報ステップ２１９では、例えば信号出力Ｉ／Ｆ（図示しない）などを介して、表示装置１０３に危険な状態であることを表示させ、処理を画像入力ステップ２０１に戻す。
【００４９】
このようにして、本実施例１の画像処理装置１０３は、画像入力ステップ２０１から警報発報ステップ２１９までを処理の１サイクルとし、連続的に処理サイクル実行する。その過程で、テンプレートメモリ１０６に記憶されるテンプレートが逐次更新される。
２サイクル目以降、前記テンプレート作成・登録ステップ２０６は、エッジが多いブロックであっても、登録済みのテンプレートと領域の重複が多い場合には、テンプレートの登録を行わないようにした。これは、前記近接テンプレート削除ステップ２１２でテンプレートを削除した理由と同様に、当該ブロックによって作成されるテンプレートをテンプレートメモリ１０６に記録したとしても、検出すべき物体に対して既存のテンプレートでも同様の情報が得られるため、登録の必要がないからである。これにより、２サイクル目以降は、テンプレートメモリ１０６に新規登録されるテンプレートの数は減少する。
【００５０】
図８は、図７で示されるテンプレートメモリ１０６の状態で、既存のテンプレートと重複しない位置のブロックのみを斜線で示している。そして、テンプレート作成・登録ステップ２０６によって、図９のテンプレート９３３から９４１までが新たに登録される（テンプレート９０１から９３２は、図７のテンプレート７０１から７３２に対応する）。したがって、このように、連続的に処理サイクルを実行することで、監視環境が時々刻々変化するような背景部分をテンプレート画像として捉えているような信頼性の低いテンプレート（テンプレートマッチング処理で類似度が小さいテンプレート）は淘汰され、信頼性の高いテンプレートのみがテンプレートメモリ１０６に記憶され続けることになり、正確な物体の検出が行える。
【００５１】
本実施例１では、テンプレートの追加は、唯一テンプレート作成・登録ステップ２０６で行われ、追加されるテンプレートはメッシュ状に等分割されたブロックを基にしているためサイズは一定である。またテンプレート画像の更新はせず、一旦登録された以後、削除されるまでテンプレート画像は保たれる。これらの特徴により、処理がシンプルになっている。
なおテンプレートは、被写体の遠近に応じて拡大・縮小してから一定サイズになるようしてもよい。
また、テンプレートメモリ１０６中のテンプレート数は、近接テンプレート削除ステップ２１２の働きにより分割ブロック数の２倍以下に収まるようになっているが、より少ない数に保つために、エッジ量の閾値ＥTh重複度の閾値ＯTh等をテンプレート数に応じて適応的に制御したり、古いテンプレートの強制削除をしてもよい。
また、ブロック走査プールと登録テンプレートループの順序は入れ替えてもよい。
また、エッジ画像をブロック走査ループ（テンプレート登録すべきブロックの抽出）と、位置検出ステップ２１６でのみ用いているが、テンプレートマッチング自体をエッジ画像で行うようにしてもよい。
【００５２】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等のハードウエア資源を備えたコンピュータが、コンピュータ読み取り可能な記録媒体に永続的に格納されたプログラムを実行することにより、制御される構成が用いられてもよい。また、当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
【符号の説明】
【００５３】
１０１…撮像装置、１０２…画像処理装置、１０３…出力装置、１０４…エッジ抽出部、１０５…テンプレート作成部、１０６…テンプレートメモリ、１０７…テンプレートマッチング部、１０８…位置検出部、１０９…危険度判定部、
２０１…画像入力ステップ、２０２…エッジ抽出部、２０３…ブロック走査ループ開始ステップ、２０４…ブロック内エッジ量算出ステップ、２０５…エッジ量判定ステップ、２０６…テンプレート作成・登録ステップ、２０７…ブロック走査ループ終了ステップ、２０８…登録テンプレートループ開始ステップ、２０９…テンプレートマッチングステップ、２１０…マッチング成否判定ステップ、２１１…テンプレート更新ステップ、２１２…近接テンプレート削除ステップ、２１３…テンプレート削除ステップ、２１４…登録テンプレートループ終了ステップ、２１５…エッジ投影ステップ、２１６…位置検出ステップ、２１７…危険度判定ステップ、２１８…危険判断ステップ、２１９…警報発報ステップ。
【技術分野】
【０００１】
本発明は、監視対象となる領域で撮影された物体を監視する監視装置に関し、特に、監視対象となる物体の位置、移動方向、移動速度などを検出して効果的に監視が行えるようにするための画像処理方法及び監視装置に関する。
【背景技術】
【０００２】
従来の監視装置では、例えば、テレビカメラなどに代表される撮像装置によって監視領域を撮像した画像（入力画像）を画像処理手段によって処理し、入力画像中の所定の物体を自動的に検出し、該物体の位置や速度といった属性を基に監視領域を監視するような方法が広く用いられている。
【０００３】
このような入力画像中の所定の物体を自動的に検出するような方法の一例として、従来から、入力画像と背景画像との間で、あるいは所定の時間差で撮像した２枚の画像との間で、画素ごとの差分を計算し、入力画像の明るさ変化部分を検出する差分法（特に、前者は背景差分法、後者はフレーム間差分法と呼ばれる）や、画像内の局所的な動きの分布を求め、その動きの中で非零のベクトルを持つ領域のかたまりを見つけるオプティカルフロー法と呼ばれる方法が使用されている。これらの方法については、例えば、非特許文献１の２３８〜２４５ページに詳しく解説されている。
【０００４】
このような入力画像中の所定の物体を自動的に検出する方法は、監視する対象に応じて適切に選択する必要がある。例えば、背景差分法であれば、入力画像と背景画像との差分を取るため、入力画像中で背景画像に写っていない物体を、動く物体や静止物体に関わらず検出できるが、背景画像をあらかじめ推測しなければならず、さらに、例えば、木々の揺れ、水面の揺らぎなど、検出すべき物体以外の背景物が動いている場合、これらの物体も検出されてしまい、誤った警報、いわゆる誤報が発生する可能性がある。
【０００５】
一方、フレーム間差分法やオプティカルフロー法では、背景画像をあらかじめ推測する必要がないが、検出すべき物体が静止した場合にはその検出ができなくなる。さらに、検出すべき物体の動きと、木々の揺れや水面の揺らぎなどの動きとを区別することが必要となり、検出すべき物体以外の物体の動きはノイズとして検出すべき物体の検出の妨げとなる。このように、フレーム間差分法やオプティカルフロー法では、検出すべき物体の以外のノイズが多い場合には、検出すべき物体とノイズとを正確に区別することが困難となり、ノイズを誤って検出物体と判定した場合には誤報が発生する。
【０００６】
以上のように、従来法である差分法やオプティカルフロー法は、時々刻々監視環境が変化するような背景部分に動きのある場面、特に、潮位変化があるような水上、水流によりゴミなどが流れているような水中、雲の流れなどがある空中などでは、背景画像をあらかじめ推測することが困難であることや、動きの分布の中から特定の検出すべき物体の動きのみを抽出することが困難であるため、このような監視環境に対しては、上記の従来法を搭載した監視装置を適用することができなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３７２５２０７号公報
【特許文献２】特開２００５−２３６５０８号公報
【特許文献３】特開平８−２７９０４４号公報
【特許文献４】特開２００８−２６９２５８号公報
【特許文献５】特開２００５−９８８１６号公報
【特許文献６】特許第３５６０３２６号公報
【非特許文献】
【０００８】
【非特許文献１】江尻正員 ほか、「ディジタル画像処理」、財団法人画像情報教育振興協会発行、２００４年７月
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の映像監視装置においては、前述の通り、監視環境が時々刻々と変化するような場面で背景画像をあらかじめ用意しておくことは困難であり、適用範囲が限定されていた。例えば、水上、水中、空中などでの適用を考えると、潮位の変化、水泡や浮遊物の存在、雲の動きなども、差分法であれば画像の変化として現れたり、オプティカルフロー法であれば検出すべき物体以外の動きとして検出されたりして、検出すべき物体なのか、背景物の変化なのかを区別することを困難とさせていた。したがって、このような場面では、従来の映像監視装置を適用することができないという問題があった。
【００１０】
本発明は、このような従来の事情に鑑みなされたもので、撮像装置によって監視領域を撮像した画像から、検出すべき物体の位置や速度と言った属性を計測し、該物体を監視するようにした画像処理方法及び監視装置を提供することを目的とする。
さらに具体的には、監視環境が時々刻々と変化するような場面において、検出すべき物体と、背景領域の背景物とを区別できるようにして、監視領域を効果的に監視できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明に係る画像処理方法及び監視装置は、監視領域を撮像する撮像装置と、該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置を有し、次のようにして、監視領域内の物体を検出する。
【００１２】
すなわち、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出手段と、前記エッジ抽出手段によって得られたエッジ情報に基づいてテンプレート画像を作成するテンプレート作成手段と、前記テンプレート作成手段によって作成された少なくともテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する画像を入力画像中から探索する処理（テンプレートマッチング処理）を実行するテンプレートマッチング手段と、前記テンプレートマッチング処理の結果に基づいて前記テンプレートメモリに記憶されたテンプレートを更新するテンプレート更新手段と、前記エッジ抽出手段と前記テンプレートマッチング処理の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出手段と、前記位置検出手段の結果に基づいて検出された物体の危険度を判定する危険度判定手段と、前記危険度判定手段に基づいて前記表示装置に判定結果を表示するようにして、監視領域を効果的に監視できるようにした。
【００１３】
さらに、前記テンプレート作成手段は、前記エッジ抽出手段によって得られたエッジ情報に基づいてエッジが多い領域を判定し、エッジが多いと判定した場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することで、テンプレートマッチング処理の精度を高めた。
【００１４】
さらにまた、前記テンプレート作成手段は、エッジが多い領域かつ前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度が小さい領域の画像に基づいてテンプレート画像を作成することで、テンプレートマッチング処理に使用するテンプレート画像の数を適切に調整するようにした。
【００１５】
さらに、前記テンプレート更新手段は、前記テンプレートマッチング手段において、探索された領域とテンプレート画像との類似度を判定し、類似度が所定の値よりも高い場合に、該探索された領域の位置情報を前記テンプレートメモリに記憶されたテンプレートの位置情報と置き換えることで、テンプレートマッチング処理の結果に基づき信頼性の高いテンプレートのみを更新するようにした。
【００１６】
さらにまた、前記テンプレート更新手段は、前記テンプレートマッチング手段において、探索された領域とテンプレート画像との類似度を判定し、類似度が所定の値よりも低い場合に、前記テンプレートメモリに記憶されたテンプレートを削除することで、テンプレートマッチング処理の結果に基づき信頼性の低いテンプレートをテンプレートメモリから削除するようにした。
【００１７】
さらに、前記テンプレートマッチング手段は、テンプレートメモリに記憶したテンプレート画像と類似する画像を入力画像中から探索する際に、探索範囲を限定することで、特定方向へ移動する物体のみを検出するようにした。
【００１８】
さらに、前記位置検出手段は、前記テンプレートメモリ内に記憶されたテンプレート、或いは、前記テンプレートマッチングステップにおいて類似度が所定値以上となるテンプレートに相当する領域において、前記入力画像のエッジ量を所定の座標軸に沿って投影し、検出すべき物体の位置または速度の少なくとも一つの属性を計測することで、テンプレートマッチング処理によって得られた信頼性の高いテンプレートの中から物体の属性を計測するようにした。
【発明の効果】
【００１９】
本発明によれば、抽出されたエッジ量から信頼性の高いテンプレートを新規登録し、信頼性の低いテンプレートを逐次削除しながらテンプレートの数を適切に調整し、検出すべき物体の位置や速度と言った属性を計測できるようにしたため、従来の画像処理方法及び監視装置の適用範囲をさらに広げることができる。
【図面の簡単な説明】
【００２０】
【図１】撮像装置による監視装置の一例を示す図である。
【図２】本発明の実施例の動作を説明するフローチャートである。
【図３】本発明の実施例における入力画像の一例を説明する図である。
【図４】本発明のエッジ抽出及びエッジ量に基づくテンプレート画像の作成処理の動作を説明する図である。
【図５】本発明のテンプレートメモリに記憶されたテンプレートを説明する模式図である。
【図６】本発明のテンプレートマッチング処理の動作を説明する図である。
【図７】本発明の信頼性の低いテンプレートを削除する動作を説明する図である。
【図８】本発明のエッジ抽出及びエッジ量に基づくテンプレート画像の追加して作成する処理の動作を説明する図である。
【図９】本発明のテンプレートメモリに記憶された更新されたテンプレートを説明する図である。
【図１０】本発明の物体位置検出処理を説明する図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の実施形態に係る、撮像装置による監視装置の一例を示す図である。本実施形態の監視装置は、撮像装置１０１と、画像処理装置１０２と、表示装置１０３によって構成される。
撮像装置１０１は、監視対象となる領域を可視光、赤外光などの波長を持つ電磁波の強度として撮像し、２次元画像として画像処理装置１０２に逐次出力する。
画像処理装置１０２は、撮像装置１０１から入力した画像に対して後述する処理を実行し、入力画像から所定の物体を抽出し、その結果を表示装置１０３に出力する。
表示装置１０３は、画像処理装置１０２の結果に基づき所定の表示を行う。
【００２２】
本実施形態で使用される画像処理装置１０２は、例えばプロセッサやメモリなどを備えたコンピュータ、あるいはそれに類する装置によって実現される。また、監視装置の構成として、本構成の他にも、従来より、撮像装置制御のための装置や、各種外部記録装置、伝送機器等の構成要素を持つものも存在するが、説明を簡単にするため、本例では省略している。
以下、画像処理装置１０２の動作の具体例を実施例として説明する。
【実施例１】
【００２３】
本発明の実施例を、図１を用いて説明する。前述の通り、本発明の監視装置は、撮像装置１０１と、画像処理装置１０２と、表示装置１０３によって構成される。
画像処理装置１０２は、エッジ抽出部１０４と、テンプレート作成部１０５と、テンプレートメモリ１０６と、テンプレートマッチング部１０７と、位置検出部１０８と、危険度判定部１０９とによって構成される。
エッジ抽出部１０４は、撮像装置１０１から入力された入力画像処理しエッジ画像を生成して、テンプレート作成部１０５及び位置検出部１０８に出力する。
テンプレート作成部１０５は、撮像装置１０１から入力した入力画像とエッジ抽出部１０４から得られたエッジ画像に基づいてテンプレートを生成してテンプレートメモリ１０６に書き込む。
テンプレートメモリ１０６は、テンプレート生成部１０５やテンプレートマッチング部１０７からの出力に基づいてテンプレート画像や該テンプレート画像の位置情報などを記憶する。
テンプレートマッチング部１０７は、テンプレートメモリ１０６に記憶したテンプレート画像及び位置情報に基づいてテンプレートマッチング処理を行い、その結果を位置検出部１０８に出力する。
位置検出部１０８は、テンプレートマッチング１０８のテンプレートマッチング処理の結果及びエッジ抽出部１０４のエッジ画像を用いて検出すべき物体の位置や速度等の属性を検出して、その結果を危険度判定部１０９へ出力する。
危険度判定部１０９は、位置検出部１０８の検出結果に基づいて監視領域の危険度を判定して、その結果を出力装置１０３へ出力する。
【００２４】
次に、前記画像処理装置１０２の動作を、図２のフローチャート、及び図３から図１０の補足図を用い、河川を往来する船舶がゲート（水門）に近付く例を以って、詳細に説明する。
図２は、画像処理装置１０２における構成要素１０４から１０９までの処理を順を追って説明したものである。
先ず、画像入力ステップ２０１では、撮像装置１０１から、例えば、画像入力Ｉ／Ｆ（図示しない）などを介して、横６４０画素、縦４８０画素、１画素８ビットの画像を入力画像として入力する。
【００２５】
次に、エッジ抽出ステップ２０２では、画像入力ステップ２０１で得られた入力画像に対して微分フィルタを適用して、入力画像のエッジ画像を得る。この微分フィルタの例として、従来のソーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）やプリューウィットフィルタ（Ｐｒｅｗｉｔｔ Ｆｉｌｔｅｒ）などが使用できる。これらのフィルタの詳細については、例えば、非特許文献１の１１４〜１２１ページに詳しく記載されている。この処理によって、入力画像全体の輝度レベルの変動に依存せず、例えば図３の画像３０１のような入力画像に写る構成物の輪郭やパターン等の情報が抽出できる。
【００２６】
次に、ブロック走査ループ開始ステップ２０３は、前記エッジ抽出ステップ２０２で得られたエッジ画像をいくつかのブロックに分割して、各ブロックに対してステップ２０４からステップ２０６までを実行する。このブロックの分割では、 図４に示すように、入力画像全体を所定の大きさ（例えば、横３２画素、縦３２画素）で縦横等間隔に分割する。このとき、隣接するブロック同士を一定の割合で重なるようにブロックを設定しても良い。
【００２７】
次に、ブロック内エッジ量算出ステップ２０４では、注目するブロックのエッジの総量を計算する。エッジ抽出ステップ２０２において、エッジ情報はエッジ画像として得られているため、エッジの総量は、注目するブロック内での画素値（エッジ強度）の累積値として表わされる。或いはエッジを示す画素の個数でもよい。
【００２８】
次に、エッジ量判定ステップ２０５では、この累積値が所定のしきい値ＥTh（例えば、ブロックサイズ横３２画素、縦３２画素の場合、５０００（１画素あたりの平均エッジ量は約５レベル））以上である場合には、エッジが多いと判断し、テンプレート作成・登録ステップ２０６へ分岐し、しきい値未満の場合は、ブロック走査ループ終了ステップ２０７へ分岐し、次のブロックを走査する。図４において、斜線で塗潰したブロックは、エッジ量判定ステップ２０５によって、エッジが多いと判定されたブロックを表わす。ブロック内に、検出すべき物体や背景構造物、揺れる波などのパターンを持った画像があった場合、その輪郭やパターンがエッジとなって抽出されるため、この判定により、被写体の候補となるブロックが抽出される。
【００２９】
次に、テンプレート作成・登録ステップ２０６では、エッジ量判定ステップ２０５でエッジが多いと判定されたブロック（図４における斜線で塗潰したブロック）のテンプレートを作成し、テンプレートメモリ１０６に記憶する。テンプレートは、少なくともテンプレート画像と、テンプレートの位置座標との２つの情報を有し、テンプレート画像は入力画像の当該ブロックの位置の部分画像、テンプレートの位置座標（xT，yT）は当該ブロックの（入力画像中での）位置となる。テンプレートは、それが何フレーム前の入力画像で登録されたかを示す世代情報、直前に検出された移動ベクトル（後述）等の情報を更に保持してもよい。
【００３０】
図２のフローチャートの２サイクル目以降においては、前記テンプレート作成・登録ステップ２０６は、エッジが多いと判定されたブロックの全てを登録するのではなく、テンプレートメモリ１０６内に記録されたテンプレートと当該ブロックとの重複度を判定して、画像同士が２／３（約６７％）以上重複している場合には、テンプレートの登録を行わないようにする。重複度は、記録されたテンプレートの位置座標と当該ブロックの位置座標から容易に計算できる。
【００３１】
次に、ブロック走査ループ終了ステップ２０７では、以上のようなステップ２０４からステップ２０６までのステップを、すべてのブロックの走査が終わるまで繰返す。図５は、テンプレートメモリ１０６に確保されたテンプレート領域５００と、そこに記憶されたテンプレートを表わしており、ステップ２０３からステップ２０７までの処理（ブロック走査ループ）が終了すると、図４においてエッジが多いと判定された合計４３個のブロックについてテンプレート画像とその位置座標（図示せず）がテンプレート５０１からテンプレート５４３として登録される。
【００３２】
次に、登録テンプレートループ開始ステップ２０８では、前記テンプレートメモリ１０６に登録された各テンプレートに対してステップ２０９からステップ２１３までを実行する。この処理されるテンプレートは、メモリ上の並び順や、登録された順（世代情報順）など、任意の順番で行ってよい。なお、直前のブロック走査ループで登録されたばかり（世代情報が０）のテンプレートは処理の対象から除いてよい。
【００３３】
まず、テンプレートマッチングステップ２０９では、前記テンプレートメモリ１０６に登録された注目しているテンプレートに対してテンプレートマッチング処理を実行する。テンプレートマッチング処理は、テンプレート画像に類似する画像を入力画像中から探索する処理で、非特許文献１の２０２〜２０７ページに詳しく記載されている。ここで、テンプレートマッチング処理を実行する範囲を、例えば、元の位置（xT，yT）を中心に上下６４画素、左右６４画素などとし、マッチングの指標としては、例えば、式１に示すような相互相関係数を用いれば良い。
【００３４】
【数１】
【００３５】
ここで、 Ｔ（ｉ，ｊ）はテンプレート画像、 Ｉ（x，y）は入力画像、ＭとＮは夫々テンプレート画像の幅と高さ（例えば３２）である。相互相関係数Ｒは、類似度と呼ばれ、テンプレート画像と、入力画像中の探索範囲内で類似度が最も高い部分画像が、完全に一致する場合には、１．０となり、差が大きくなるにつれて小さな値となる。
【００３６】
このテンプレートマッチング処理によって、テンプレートがどの位置（x，y）にマッチしたか、すなわち、各テンプレートに写る物体がどのような位置に動いた可能性があるかが分かる。
図６は、テンプレートマッチング処理の結果によって、テンプレートがどのような位置にマッチしたかを表示したものである。図中、矢印で示されるのは、テンプレートの位置と異なる位置にマッチしたものですなわち、これはテンプレートに写る物体の移動ベクトルを表わす。矢印を表示していないテンプレートは移動していないか探索範囲内での移動を検出できなかったことを表わす。このようにテンプレートマッチング処理によって、物体の移動方向が分かる。なお、本実施例では、テンプレートマッチング処理を実行する範囲を、正方領域として例示したが、これを例えば横長（例えば、上下４画素、左右６４画素）に設定すれば、横方向の動きのみを検出することができる。
【００３７】
次に、マッチング成否判定ステップ２１０では、例えば上記例では、マッチングによって算出された類似度を判定し、例えば、類似度が所定のしきい値ＲTh（例えば０．９）以上であれば、テンプレートマッチング処理が成功した（入力画像中でテンプレート画像に類似する画像が見つかった）とみなしテンプレート更新ステップ２１１に分岐し、類似度が所定のしきい値未満であれば、テンプレートマッチング処理が失敗した（入力画像中でテンプレート画像に類似する画像が見つからなかった）とみなしテンプレート削除ステップ２１３へ分岐する。
【００３８】
テンプレート更新ステップ２１１では、登録されたテンプレートの位置座標（xT，yT）を、新たにマッチングした位置座標で上書きして更新する。すなわち、テンプレートに写る物体の位置が最新の情報に更新される。
【００３９】
次に、近接テンプレート削除ステップ２１２では、テンプレートメモリ１０６に記憶されたテンプレートと、注目しているテンプレートの位置を比較し、例えば、テンプレート画像同士が所定量ＯTh（例えば６７％）以上重複している場合には、片方（例えば、テンプレートマッチング処理の際の類似度が小さい方）のテンプレートを、テンプレートメモリ１０６から削除する。これは、テンプレートメモリ１０６に登録されているテンプレートの内、重複しているテンプレートは、それぞれ独立にテンプレートマッチングを行ったとしても検出すべき物体に対して同様の情報が得られるため、片方を削除しても、得られる情報が変わりない上、処理時間が短縮できるという利点があるからである。
【００４０】
一方、テンプレート削除ステップ２１３では、テンプレートマッチング処理に失敗したテンプレートをテンプレートメモリ１０６から削除する。これは、入力画像中でテンプレート画像に類似する画像が見つからなかったため、テンプレート自体の信頼性が低いと判断するためである。図６の例では、点線で囲まれたテンプレートで示している。このようなテンプレートは、ブロック内エッジ量算出ステップ２０４及びエッジ量判定ステップ２０５でエッジが多いと判定されテンプレート作成・登録ステップ２０６でテンプレートとして登録されたが、このエッジは、例えば、波などによって生じたものであり、このようなエッジは、時々刻々、その形状が変化することから、テンプレートマッチング処理によって高い類似度とならない。すなわち、テンプレートマッチング処理によって算出される類似度によって、テンプレートが監視環境が時々刻々と変化するような背景部分を指し示す場合でも、それをテンプレートメモリ１０６から除外することができる。
なお、このテンプレート削除ステップ２１３において、検出すべき被写体を映すテンプレートが削除されてしまった場合でも、撮像装置１０１から得られる入力画像を逐次処理していることから、次の入力画像が得られた段階で、新たにテンプレートとしてテンプレートメモリ１０６に登録される。
【００４１】
次に、登録テンプレートループ終了ステップ２１４では、以上のようなステップ２０９からステップ２１３までの処理（登録テンプレートループ）を、テンプレートメモリ１０６に登録されたテンプレートのすべての処理が終わるまで繰返す。
図７は、登録テンプレートループ終了ステップ２１４の直後における、テンプレートメモリ１０６に確保されたテンプレート画像７００と、そこに記憶されたテンプレートを表わしており、テンプレートマッチング処理によって算出された類似度が小さく、信頼性が低いと判断されたテンプレート５１０、５１１、５２０、５２１、５３０、５３８、５４９、５４０、５４１、５４２，５４３が削除され、残りのテンプレートが、テンプレート７０１からテンプレート７３２として更新される。
【００４２】
次に、エッジ投影ステップ２１５では、テンプレートメモリ１０６に記録されたテンプレートの内、移動ベクトルがゼロでないものについて、テンプレート位置に該当するエッジ画像をＸ軸方向に投影する。これを図１０を用いて説明する。
図１０のエッジ画像１０００において、移動ベクトルがゼロでないテンプレートに相当する領域を斜線で表わしている。なお図１０では、テンプレートが存在しない部分においても、ブロック走査開始ステップ２０３でのブロック分割と同様の格子を便宜的に図示してある。また実際には、更新されたテンプレートは整然と並ばず、多少の重なりやずれがある。
【００４３】
その下の投影グラフ１００１では、斜線で表わされるテンプレート該当領域内の各エッジ量（エッジ画像の各画素値）をＸ軸に沿ってＹ軸方向（縦方向）に投影したグラフを表わしている。この投影グラフ１００１から、斜線で表わされるテンプレートに写る物体の存在する範囲を推定することができる。
【００４４】
ここで、移動ベクトルがゼロでないテンプレートのみを使った理由として、監視する対象物体は、何らかの動きを持っていると仮定しているためである。すなわち、本実施例は、動きのない物体（地面に固定された硬質の物体など）は異常な動きなどを示さず、本来監視する必要のないものであるという、従来からの監視装置としての使用目的に合わせて構成されている。また、背景物が動く場合（本実施例では、ゲート（水門）の開閉など）は、あらかじめその位置、移動方向などが特定でき、検出すべき物体と区別することは容易であるため、本実施例では特に言及していない。
【００４５】
また投影の対象は、テンプレート該当領域内ではなく、移動ベクトルがゼロでないテンプレートに十分近い分割ブロックとしてもよい。十分近い分割ブロックの定義を、その内部にテンプレートの中心を含むようなブロックであるとすれば、任意のテンプレートの位置座標（xT，yT）に対して、ブロックの位置座標（xB，yB）がxT−Ｍ／２＜xB＜xT＋Ｍ／２、及びｙT−Ｎ／２＜ｙB＜ｙT＋Ｎ／２を満たすブロックを探せばよい。
【００４６】
次に、位置検出ステップ２１５では、エッジ投影ステップで算出した投影グラフ１００１を、一定のレベルでしきい値処理し、物体の存在するｘ軸上での位置を検出する。さらに、物体の存在する位置の時間的な変化を計測することで物体のｘ軸方向の速度も計測することができる。なお、投影をテンプレート毎にその領域内で行ってから合成して得る場合、テンプレート同士の重なった部分が投影値に重複して反映されることになるが、物体の位置検出には影響ない。物体の速度は、斜線で表わされるテンプレートが保持している移動ベクトルの平均として算出してもよい。
【００４７】
次に、危険度判定ステップ２１７では、例えば、検出した物体の速度が所定の値を超えたか否かや、物体がゲートに所定の位置以下になるまで接近しているか否かなど、を判定し、その度合いを危険度として算出する。
次に、危険判断ステップ２１８では、危険度判定ステップ２１７で算出された危険度に対して、危険度が大きければ、警報発報ステップ２１９へ分岐し、危険度が小さければ画像入力ステップ２０１へ分岐する。
【００４８】
最後に、警報発報ステップ２１９では、例えば信号出力Ｉ／Ｆ（図示しない）などを介して、表示装置１０３に危険な状態であることを表示させ、処理を画像入力ステップ２０１に戻す。
【００４９】
このようにして、本実施例１の画像処理装置１０３は、画像入力ステップ２０１から警報発報ステップ２１９までを処理の１サイクルとし、連続的に処理サイクル実行する。その過程で、テンプレートメモリ１０６に記憶されるテンプレートが逐次更新される。
２サイクル目以降、前記テンプレート作成・登録ステップ２０６は、エッジが多いブロックであっても、登録済みのテンプレートと領域の重複が多い場合には、テンプレートの登録を行わないようにした。これは、前記近接テンプレート削除ステップ２１２でテンプレートを削除した理由と同様に、当該ブロックによって作成されるテンプレートをテンプレートメモリ１０６に記録したとしても、検出すべき物体に対して既存のテンプレートでも同様の情報が得られるため、登録の必要がないからである。これにより、２サイクル目以降は、テンプレートメモリ１０６に新規登録されるテンプレートの数は減少する。
【００５０】
図８は、図７で示されるテンプレートメモリ１０６の状態で、既存のテンプレートと重複しない位置のブロックのみを斜線で示している。そして、テンプレート作成・登録ステップ２０６によって、図９のテンプレート９３３から９４１までが新たに登録される（テンプレート９０１から９３２は、図７のテンプレート７０１から７３２に対応する）。したがって、このように、連続的に処理サイクルを実行することで、監視環境が時々刻々変化するような背景部分をテンプレート画像として捉えているような信頼性の低いテンプレート（テンプレートマッチング処理で類似度が小さいテンプレート）は淘汰され、信頼性の高いテンプレートのみがテンプレートメモリ１０６に記憶され続けることになり、正確な物体の検出が行える。
【００５１】
本実施例１では、テンプレートの追加は、唯一テンプレート作成・登録ステップ２０６で行われ、追加されるテンプレートはメッシュ状に等分割されたブロックを基にしているためサイズは一定である。またテンプレート画像の更新はせず、一旦登録された以後、削除されるまでテンプレート画像は保たれる。これらの特徴により、処理がシンプルになっている。
なおテンプレートは、被写体の遠近に応じて拡大・縮小してから一定サイズになるようしてもよい。
また、テンプレートメモリ１０６中のテンプレート数は、近接テンプレート削除ステップ２１２の働きにより分割ブロック数の２倍以下に収まるようになっているが、より少ない数に保つために、エッジ量の閾値ＥTh重複度の閾値ＯTh等をテンプレート数に応じて適応的に制御したり、古いテンプレートの強制削除をしてもよい。
また、ブロック走査プールと登録テンプレートループの順序は入れ替えてもよい。
また、エッジ画像をブロック走査ループ（テンプレート登録すべきブロックの抽出）と、位置検出ステップ２１６でのみ用いているが、テンプレートマッチング自体をエッジ画像で行うようにしてもよい。
【００５２】
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等のハードウエア資源を備えたコンピュータが、コンピュータ読み取り可能な記録媒体に永続的に格納されたプログラムを実行することにより、制御される構成が用いられてもよい。また、当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
【符号の説明】
【００５３】
１０１…撮像装置、１０２…画像処理装置、１０３…出力装置、１０４…エッジ抽出部、１０５…テンプレート作成部、１０６…テンプレートメモリ、１０７…テンプレートマッチング部、１０８…位置検出部、１０９…危険度判定部、
２０１…画像入力ステップ、２０２…エッジ抽出部、２０３…ブロック走査ループ開始ステップ、２０４…ブロック内エッジ量算出ステップ、２０５…エッジ量判定ステップ、２０６…テンプレート作成・登録ステップ、２０７…ブロック走査ループ終了ステップ、２０８…登録テンプレートループ開始ステップ、２０９…テンプレートマッチングステップ、２１０…マッチング成否判定ステップ、２１１…テンプレート更新ステップ、２１２…近接テンプレート削除ステップ、２１３…テンプレート削除ステップ、２１４…登録テンプレートループ終了ステップ、２１５…エッジ投影ステップ、２１６…位置検出ステップ、２１７…危険度判定ステップ、２１８…危険判断ステップ、２１９…警報発報ステップ。
【特許請求の範囲】
【請求項１】
監視領域を撮像する撮像装置と、
該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置からなる監視装置において、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出ステップと、前記エッジ情報に基づいてテンプレート画像を作成するテンプレート作成ステップと、前記作成されたテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート登録ステップと、前記記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する部分画像を入力画像中から探索するテンプレートマッチングステップと、前記探索の結果に基づいて前記記憶されたテンプレートを更新するテンプレート更新ステップと、前記エッジ抽出ステップと前記テンプレートマッチングステップの結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出ステップと、前記計測の結果に基づいて検出された物体の危険度を判定する危険度判定ステップと、前記危険度の判定結果に基づいて前記表示装置に判定結果を表示することを特徴とする画像処理方法。
【請求項２】
前記テンプレート作成ステップは、前記エッジ抽出ステップによって得られたエッジ情報に基づいてエッジが多い領域を判定し、該エッジが多いと判定した領域について、前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度を算出し、該重複度が所定の閾値より小さい場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記テンプレート作成ステップは、エッジが多い領域かつ前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度が小さい領域の画像に基づいてテンプレート画像を作成することを特徴とする請求項１乃至請求項２記載の画像処理方法。
【請求項４】
前記テンプレート更新ステップは、前記テンプレートマッチングステップにおいて、探索された領域とテンプレート画像との類似度を判定し、該類似度が所定の値よりも高い場合に、該探索された領域の位置情報を前記テンプレートメモリに記憶されたテンプレートの位置情報と置き換え、該類似度が所定の値よりも低い場合に、前記テンプレートメモリに記憶されたテンプレートを削除することを特徴とする請求項１乃至請求項３記載の画像処理方法。
【請求項５】
前記テンプレートマッチングステップは、テンプレートメモリに記憶したテンプレート画像と類似する画像を入力画像中から探索する際に、検出すべき物体の検出すべき方向に基づいて探索範囲を限定することを特徴とする請求項１乃至３記載の画像処理方法。
【請求項６】
前記位置検出ステップは、前記テンプレートメモリ内に記憶されたテンプレート、或いは、前記テンプレートマッチングステップにおいて類似度が所定値以上となるテンプレートに相当する領域において、前記入力画像のエッジ量を所定の座標軸に沿って投影し、検出すべき物体の位置または速度を計測することを特徴とする請求項１記載の画像処理方法。
【請求項７】
監視領域を撮像する撮像装置と、該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置からなる監視装置において、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出手段と、前記エッジ抽出手段によって得られたエッジ情報に基づいてテンプレート画像を作成するテンプレート作成手段と、前記テンプレート作成手段によって作成された少なくともテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する画像を入力画像中から探索するテンプレートマッチング手段と、前記テンプレートマッチング手段の結果に基づいて前記テンプレートメモリに記憶されたテンプレートを更新するテンプレート更新手段と、前記エッジ抽出手段と前記テンプレートマッチング手段の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出手段と、前記位置検出手段の結果に基づいて検出された物体の危険度を判定する危険度判定手段と、前記危険度判定手段に基づいて前記表示装置に判定結果を表示することを特徴とする監視装置。
【請求項１】
監視領域を撮像する撮像装置と、
該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置からなる監視装置において、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出ステップと、前記エッジ情報に基づいてテンプレート画像を作成するテンプレート作成ステップと、前記作成されたテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート登録ステップと、前記記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する部分画像を入力画像中から探索するテンプレートマッチングステップと、前記探索の結果に基づいて前記記憶されたテンプレートを更新するテンプレート更新ステップと、前記エッジ抽出ステップと前記テンプレートマッチングステップの結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出ステップと、前記計測の結果に基づいて検出された物体の危険度を判定する危険度判定ステップと、前記危険度の判定結果に基づいて前記表示装置に判定結果を表示することを特徴とする画像処理方法。
【請求項２】
前記テンプレート作成ステップは、前記エッジ抽出ステップによって得られたエッジ情報に基づいてエッジが多い領域を判定し、該エッジが多いと判定した領域について、前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度を算出し、該重複度が所定の閾値より小さい場合に、前記入力画像の該領域の画像に基づいてテンプレート画像を作成することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記テンプレート作成ステップは、エッジが多い領域かつ前記テンプレートメモリに記憶されたテンプレートの位置情報から算出したテンプレート画像の範囲との重複度が小さい領域の画像に基づいてテンプレート画像を作成することを特徴とする請求項１乃至請求項２記載の画像処理方法。
【請求項４】
前記テンプレート更新ステップは、前記テンプレートマッチングステップにおいて、探索された領域とテンプレート画像との類似度を判定し、該類似度が所定の値よりも高い場合に、該探索された領域の位置情報を前記テンプレートメモリに記憶されたテンプレートの位置情報と置き換え、該類似度が所定の値よりも低い場合に、前記テンプレートメモリに記憶されたテンプレートを削除することを特徴とする請求項１乃至請求項３記載の画像処理方法。
【請求項５】
前記テンプレートマッチングステップは、テンプレートメモリに記憶したテンプレート画像と類似する画像を入力画像中から探索する際に、検出すべき物体の検出すべき方向に基づいて探索範囲を限定することを特徴とする請求項１乃至３記載の画像処理方法。
【請求項６】
前記位置検出ステップは、前記テンプレートメモリ内に記憶されたテンプレート、或いは、前記テンプレートマッチングステップにおいて類似度が所定値以上となるテンプレートに相当する領域において、前記入力画像のエッジ量を所定の座標軸に沿って投影し、検出すべき物体の位置または速度を計測することを特徴とする請求項１記載の画像処理方法。
【請求項７】
監視領域を撮像する撮像装置と、該撮像装置で撮像した入力画像を処理して該監視領域の中の物体を検出する画像処理装置と、該画像処理装置の物体の検出結果に基づき出力画像を表示する表示装置からなる監視装置において、前記画像処理装置は、前記撮像装置で得られた入力画像のエッジ情報を抽出するエッジ抽出手段と、前記エッジ抽出手段によって得られたエッジ情報に基づいてテンプレート画像を作成するテンプレート作成手段と、前記テンプレート作成手段によって作成された少なくともテンプレート画像とその位置情報をテンプレートメモリに記憶するテンプレート記憶手段と、前記テンプレート記憶手段に記憶されたテンプレート画像とその位置情報に基づいて該テンプレート画像と類似する画像を入力画像中から探索するテンプレートマッチング手段と、前記テンプレートマッチング手段の結果に基づいて前記テンプレートメモリに記憶されたテンプレートを更新するテンプレート更新手段と、前記エッジ抽出手段と前記テンプレートマッチング手段の結果に基づいて検出すべき物体の位置や速度の少なくとも一つの属性を計測する位置検出手段と、前記位置検出手段の結果に基づいて検出された物体の危険度を判定する危険度判定手段と、前記危険度判定手段に基づいて前記表示装置に判定結果を表示することを特徴とする監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２２１０４３（Ｐ２０１２−２２１０４３Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３７０１（Ｐ２０１１−８３７０１）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]