画像処理装置、画像処理方法及び画像処理プログラム
【課題】遠方の海などの周期的な揺らぎを伴うと共に、距離に応じて特徴が変わる監視対象から不審物等を検出するのは困難である。
【解決手段】静止画像データを水平方向の領域に分割する。水平分割領域毎に背景か不審物かを判別処理する。
【解決手段】静止画像データを水平方向の領域に分割する。水平分割領域毎に背景か不審物かを判別処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像処理方法及び画像処理プログラムに関する。
より詳細には、監視カメラが所定の監視場所を撮像して得られた映像から、不審物や不審者を検出するために適用して好適な技術に関する。
【背景技術】
【０００２】
従来より、監視カメラによって撮像された映像を所定の監視モニタを介して視認することにより、所定の監視対象を監視する監視システムが知られている。
このような監視カメラにおいては、監視対象となる場所が多くなるにつれ、２４時間監視者がモニタを監視し続けることは困難である。また、監視カメラに接続されるビデオレコーダにおいても、必要最低限の映像のみ記録する等、実稼働時間を短縮する必要に迫られている。
このため、機械が入力画像から不審物或は不審者を検出する技術の確立が求められている。
例えば銀行のＡＴＭ等においては、人体を検出するセンサさえあれば比較的容易に上述のような要求を満たすことができる。
ところが、海辺のような、遠くの景色から不審船等を検出する場合は、このようなセンサは使用できない。
【特許文献１】特開２００６−１４２１５号公報
【特許文献２】特開平１０−３２８２２６号公報
【特許文献３】特開平８−２９７０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来、このような状況においては、特許文献１に記載されているような、直前の画像データとの比較を行う、という手法が多く採用されていた。
映像中に物体が進入すると、映像データ中におけるその物体の部分は、明るさが変わる。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで、物体の検知が可能になる。ところが、海、砂漠、草原、空等の自然の風景の場合、検知対象である物体以外の水、砂、草、雲なども動いている。このため、これらを直前の画像データと比較して異なっているとして、誤って検知してしまう、という問題があった。
【０００４】
この問題を解決する一つの方法として、例えば特許文献２に記載される技術が挙げられる。
特許文献２には、現在の時刻に撮影された画像と、過去に撮影された画像との差分値を作成し、閾値処理によって二値化する。その際に、過去の差分値の累積結果を基に閾値を変動させた背景画像を作成する。こうして、背景画像中に存在する木や水面による揺らぎの誤検出の低減を試みている。
しかしながら、この技術では、木の揺らぎ等による輝度値の変化が大きいときには、閾値が大きくなりすぎる場合が十分考えられる。そのような場合、肝心の侵入者等が侵入してきたときに検出漏れが生じてしまう虞がある。
【０００５】
特に、海辺から水平線を含む空等、遠方の風景の場合、同じ背景であるにもかかわらず、現れる特徴が画像の場所によって異なる。例えば、海の手前の画像データと水平線近傍の画像データとを比較すると、海面上に生じている波しぶきは、手前のものは大きく、遠方のものは小さく見える。すなわち、撮影された静止画像データ上に海が全体では一様な模様を構成していない。
このように画像データ上に現れる特徴が場所によって異なる、遠方の風景の場合に、全て同一の背景であるとみなして処理をすると、不審物の検出性能が著しく低下する。何故なら、背景の特徴が均一でないにもかかわらず同一であるとみなすと、背景の特徴に大きな幅が生じてしまうからである。
【０００６】
本発明はかかる点に鑑みてなされたものであり、海、砂漠、草原等、主に自然現象等によって撮影画像に揺らぎが生じるような場所を監視対象とする監視カメラによって得られる画像データから、不審者或は不審物等の侵入を安定して行うことのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、入力画像データを一旦保存した後、水平方向に複数の領域に分割する。そして、作成した各々の水平分割領域を一つの入力画像データとみなして、水平分割領域毎に不審物の有無を検出する。
【０００８】
本発明によると、入力画像データは水平方向に複数の領域に分割される。これら水平分割領域が一つの画像データとして扱われ、その中で背景と不審物との判別処理を行う。
【発明の効果】
【０００９】
本発明により、海や草原等の、一定の揺らぎを伴う風景を監視する監視装置において、特に遠方の風景を監視する際に、距離によって異なる画像データの特徴を正しく捉えた上で、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を、図１〜図３１を参照して説明する。
以下に説明する実施形態は、大きく二つに分類される。
第１、第２及び第３の実施形態は、入力画像を細分化し、細分化された小領域毎に特徴量を算出する。
第４、第５、第６、第７の実施形態は、入力画像から同時生起確率行列を作成し、これを基に背景領域の特定を行う。
いずれの実施形態も、その上位概念として、処理の最初に入力画像を水平方向に複数分割する、水平分割領域を設定し、それらの水平分割領域を一つの入力画像とみなして、処理を行う。
【００１１】
［１．実施形態の共通概念］
図１（ａ）及び（ｂ）は、本発明の実施形態よりなる監視装置の動作の概略を例示して示すイメージ図である。
図１（ａ）において、入力画像データ１０１には、海１０２と空１０３と、海に浮かぶ不審物としての船１０４が存在する。この海１０２は遠方を撮影した風景であり、入力画像データ１０１中の海の部分の下の方と水平線近傍とでは、実際の距離は大きく異なる。このために、海面上に生じている波しぶきは、手前のものは大きく、遠方のものは小さく見える。すなわち、撮影された静止画像データ上に海が全体では一様な模様を構成していない。
このような入力画像データ１０１を、全体を対象として評価すると、精緻な結果を得難い。
そこで、図１（ｂ）に示すように、入力画像データ１０１を水平線方向に複数に分割し、水平分割領域１０５、１０６、１０７、１０８、１０９及び１１０を作成する。
この、分割した画像データのそれぞれの水平分割領域に対して、不審物の有無の判定を行う。
【００１２】
この技術思想を実現するためのブロック図を図２（ａ）及び（ｂ）に示す。図２は、本発明の実施形態の共通概念よりなる、監視装置の全体ブロック図である。図２（ａ）は実際の装置の中身に即したブロック図であり、図２（ｂ）は機能を中心に見た仮想的なブロック図である。
図２（ａ）において、監視装置２０１は撮像カメラ２０２から得られる画像データから不審物の存在の有無を検出し、不審物の有無を知らせる二値信号（アラーム出力）か、または所定の処理を施した画像信号を出力するものである。撮像カメラ２０２は例えばＣＣＤ撮像素子等からなる、画像信号を出力する周知のカメラである。出力される画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等で他のホスト装置へ送出される。
監視装置２０１は主にマイクロコンピュータよりなる。マイクロコンピュータを構成するＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５とバス２０６は、撮像カメラ２０２から得られる画像データに所定の処理を行って、出力インターフェース２０７を通じて所定の信号等を出力する。
なお、図２（ａ）の構成は、この後詳述する各実施形態全てに共通の構成である。
【００１３】
図２（ｂ）において、実体がＲＡＭ２０５である画像保存部２１２を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムによって実現される機能である。これらソフトウェアはＲＯＭ２０４に格納されている。
撮像カメラ２０２から得られる画像信号は、入力静止画像データとして画像保存部２１２に保存される。
水平領域分割部２１３は画像保存部２１２内の入力静止画像データに対し、横方向に分割した水平分割領域を与える。
領域判定処理部２１４は、水平領域分割部２１３によって水平方向に分割された画像保存部２１２内の入力静止画像データの各領域毎に、異物の有無及び位置、形状、面積等を算出し、得られた結果を二値のアラーム、或は画像データとしてストレージやネットワーク等に出力する。
なお、図２（ｂ）の構成は、この後詳述する各実施形態全てに共通の概念である。
【００１４】
図２（ｃ）は、図２（ｂ）の監視装置の動作を示すフローチャートである。
監視装置２０１が処理を開始すると（Ｓ２２１）、水平領域分割部２１３が入力画像データ１０１をｎ個（ｎは２以上の整数）に分割する（Ｓ２２２）。実際には、プログラムにて入力画像データ１０１が格納されるＲＡＭ２０５内の相対アドレス範囲を指定することとなる。
次に、ループ処理の制御のため、カウンタ変数ｉを１に初期化する（Ｓ２２３）。そして、ｉ番目の水平分割領域、すなわち水平分割された入力画像データの一部に対して、領域判定処理部２１４にて領域判定処理（前述の異物の有無の判定等）を行う（Ｓ２２４）。
領域判定処理部２１４の領域判定処理が終わったら、カウンタｉをインクリメントし（Ｓ２２５）、カウンタｉが領域の数ｎを超えたか否か見て（Ｓ２２６）、カウンタｉがｎを超えるまで水平分割領域に対して領域判定処理を行う。
全ての水平分割領域に対する領域判定処理が完了したら、終了する（Ｓ２２７）。
【００１５】
これより説明する第１から第７の実施形態では、領域判定処理部２１４の具体的な処理を説明する。
各実施形態は入力画像データを水平分割しなくても、単独で自然の風景等に対して良好な不審物検出性能を示す。
しかし、前述のような遠方の風景を処理する場合は、単独では必ずしも最適とはいえない。そこで、遠方の風景の処理に際しては、これから説明する種々の領域判定処理に先立ち、入力画像データに対して水平に分割した領域を設定し、それら個々の水平分割領域を一つの画像データとみなして、領域判定処理を行う。このような前処理を施すことは、遠方の風景における不審物検出性能の向上に寄与する。
【００１６】
［２．特徴量］
実施形態の説明に先立ち、第１、第２及び第３の実施形態にて判断の根拠となる、特徴量を説明する。
特徴量とは、画像の模様、或は質感である。一般的な描画ソフトウェア等において「テクスチャ（texture）」と呼ばれるものとほぼ同義である。
草原であれば、緑色の濃淡が斜め方向に放物線状に多数存在する。
穏やかな海面であれば、濃青色を基調として、日光を反射する水平線に平行な細かい模様や、波しぶき等の白色の部分が一面に多数存在する。
これら自然の風景は、人工的に作成されたタイル等の、機械的に一定の模様を形成しているものではない。しかし、ランダムなばらつきを有するものの、一定の類似する模様のような特徴を形成していると認められる。草原に波しぶきは存在しないし、穏やかな海面に斜め方向の濃淡は存在しないのである。
これら自然の風景は時刻と共に自然現象によって動く。したがって、従来技術のように単純に時間差を伴う複数の静止画像を比較しただけでは、本来的に背景であるにもかかわらずそれが動いているもの、すなわち不審物であると誤認識してしまう。
本実施形態においては、この「動く背景」に対し、「背景のテクスチャ」を捉えることにより、時間軸上の変化に惑わされず、背景を背景としっかり認識する技術を提供する。
背景のテクスチャ或は背景の模様を捉える、ということは、背景の中に存在する異物の特徴も捉えることができることを意味する。これが特徴量の算出である。
入力画像データを均等な細かい領域に分割し、それぞれの分割領域毎に特徴量を算出する。算出した各々の分割領域毎の特徴量のうち、背景の特徴量から逸脱した値を示すものは、不審物が存在する領域であると判断する。このために、サンプルの特徴量と目的とする分割領域の特徴量がどれだけ似ているか、似ていないかを計算する。これが「距離の計算」である。最終的には、得られた距離を所定の閾値と比較する等して、背景であるか否かを判定する。これは、従来より周知である、単一の画素同士の輝度の差を計算する技術思想の延長である。
以上が、全実施形態における共通の概念である。
特徴量とはどのように得るのか、特徴量同士の距離計算とはどのように行うのかについては、後述する。
【００１７】
［３．第１の実施形態］
これより第１の実施形態を説明する。始めに本実施形態の概略を説明する。本実施形態では、予めサンプルの画像データを与え、そこから背景部分を手作業で指定し、その特徴量を保持しておく。そして、その後装置が本稼動すると入力画像データの分割領域毎に保持している背景サンプルの特徴量データと比較する。
図３は、本発明の第１の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。
撮像カメラ２０２から得られる入力静止画像データは、一旦画像保存部２１２に保存される。
領域分割部３１３は、水平領域分割部３１３ａと小領域分割部３１３ｂよりなる。先ず、水平領域分割部３１３ａにて処理単位としての水平領域の情報が与えられた後、小領域分割部３１３ｂは更に均等な形状の矩形状領域に分割する。
特徴量算出部３１４は分割された各々の画像データの特徴量計算を行う。
一方、背景特徴量保存部３１５は、予め操作者の操作によって特定された背景領域の特徴量を保存している。
距離計算部３１６は、特徴量算出部３１４から得られる各分割領域毎の特徴量と、背景特徴量保存部３１５内に保存されている背景特徴量との距離を計算する。距離計算部３１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。
【００１８】
背景特徴量保存部３１５には、表示部３０３と入力部３０４が接続されている。
表示部３０３は例えばＬＣＤ等の、周知のディスプレイ装置である。
入力部３０４は例えばマウス等の、周知のポインティングデバイスである。
背景特徴量保存部３１５は、サンプルとなる背景の特徴量を保存するものである。本装置の本稼動の前に、予めサンプルとなる入力画像データを表示部３０３にて表示し、そこに入力部３０４によって背景を取得する範囲を入力する。そして、特徴量算出部３１４にて特徴量を算出し、これを保存する。
【００１９】
図４（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第１の実施形態による監視装置の動作の概略を示すイメージ図である。
図４（ａ）において、入力画像データとして、海４０２と空４０３と不審物である船４０４を含む画像データ４０１がある。これは画像保存部２１２に保存されている。
図４（ｂ）において、背景特徴量保存部３１５では、操作者の操作により、入力画像データを表示部３０３にて表示し、入力部３０４にて背景部分を囲む。図４（ａ）の点線で囲まれている範囲が、操作者による入力部３０４の操作によって入力された背景部分領域である。この領域を、特徴量算出部３１４にて算出し、背景特徴量保存部３１５に保存しておく。図４（ａ）では、空の部分と海の部分とで二つの背景サンプルＢ（１）とＢ（２）が保存されている。
図４（ｃ）において、入力画像データは領域分割部３１３にて細かく分割され、それぞれの領域に対して特徴量算出部３１４が特徴量を算出する。図４（ｃ）では、Ｓ（１）〜Ｓ（２５）迄の２５個の分割領域が設けられている。
距離計算部３１６は、背景サンプルと小分割領域の距離を計算する。この計算は一つずつ順番に行われる。つまり、
背景サンプルＢ（１）と小分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（１）と小分割領域Ｓ（２）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に
背景サンプルＢ（１）と小分割領域Ｓ（２５）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（２５）との距離を計算して終了する。
【００２０】
以上は、画面全体を対象に特徴量を算出する説明である。
本実施形態では、予め入力画像データを水平方向に複数の領域に分割してから、前述の処理を行う。したがって、背景領域の指定は、これら水平分割領域を跨るように指定しなければならない。
図５は、表示部３０３に表示される画面を示す。
表示される画面には水平分割線５０２を明示的に表示する。使用者は背景領域を指定する際に、水平分割線５０２を意識して、背景の指定に抜けがないように、背景領域設定範囲５０３を設定する。
【００２１】
図６は、第１の実施形態にかかる監視装置の、実稼動に先立つ前処理を示すフローチャートである。
処理を開始すると（Ｓ６０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ６０２）。
次に、入力静止画像データを表示部３０３にて表示する（Ｓ６０３）。
操作者はこれを目視で確認しながら、入力部３０４を操作して背景領域のアドレス範囲を入力する（Ｓ６０４）。
入力が確定されると、指定されたアドレス範囲をＲＡＭ等に保存する（Ｓ６０５）。
そして、サンプルの入力静止画像データから指定されたアドレス範囲のピクセルを抜き出し、特徴量を算出し、保存し（Ｓ６０６）、終了する（Ｓ６０７）。
【００２２】
図７と図８は、第１の実施形態にかかる監視装置の、実稼動状態を示すフローチャートである。
処理を開始すると（Ｓ７０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ７０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ７０３）。
これ以降は、算出した各小領域毎の特徴量と背景サンプルとの距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ７０４）。変数ｉは各小領域毎の特徴量を特定する変数である。
次に変数ｊを１に初期化する（Ｓ７０５）。変数ｊは背景サンプルを特定する変数である。
そして、背景サンプルＢ（ｊ）と、分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ７０６）。
次に、距離計算の結果得られた距離を、予め別途保持している閾値と比較する（Ｓ７０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ７０８）。フラグ変数ｆ（ｉ）は、小分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。なお、距離が閾値以上でなければ、フラグｆ（ｉ）を０に下げる（Ｓ７０９）。
【００２３】
次に、変数ｊが最大値に達したか否かを検証する（Ｓ８１０）。図８の場合であれば、背景サンプルは二つなので、ｊが２に達したか否かを見ることとなる。ｊが最大値であれば、全ての背景サンプルと現在検証対象としている小分割領域との距離の計算が終わったことになるので、変数ｉをインクリメントする（Ｓ８１１）。つまり、次の小分割領域の評価に移行する。ｊが最大値でなければ、まだ距離の計算が残っている背景サンプルがあるので、ｊをインクリメントする（Ｓ８１２）。
フラグを下ろした後、変数ｉを検証する（Ｓ８１３）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ８１４）。これは、フラグを下ろした、ということは、距離計算による検証の結果、当該小分割領域が背景であるものと判断されたことに因る。図８の例では、最初に空の背景サンプルとの距離を計算した結果、それが空であるものと判断されたら、次に海の背景サンプルとの距離を計算する必要はない。このため、次の背景サンプルとの距離計算処理をスキップするためにこの処理を行うものである。
変数ｉが最大値に達していれば、全ての小分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ８１５）。
検証の結果、フラグが全く上がっていなければ、全ての小分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該小分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力して（Ｓ８１６）、終了する（Ｓ８１７）。
【００２４】
本実施形態においては、予め背景のサンプルを手作業で指定する。このため、背景の特徴量が変化すると、これに追従できない、という欠点がある。例えば海を監視する場合においては、海が天候によって荒れたり、撮像カメラ２０２が撮影角度を移動したりして空と海との配置関係が変わったりすると、誤認識を引き起こしてしまうだろう。
しかしながら、これら特徴を十分に把握した上で、適切な監視対象に対して適切な設置を行えば、本実施形態は十分にその機能を発揮し得る。背景特徴量があまり変わらない監視対象であったり、撮像カメラ２０２を固定して運用する場合、あるいは背景特徴量が変わった際に再度背景サンプルを入力し直してもよいような場合には、この方法を用いてもよい。
【００２５】
ところで、小分割領域の大きさをどう決定するかは、監視対象によって若干異なる。例えば、複雑な模様を形成する背景に対してあまり小さ過ぎる小分割領域を設定しても、特徴量を適切に演算できるとはいえない。しかし、検出したい不審物の大きさが小さい場合には、あまり大き過ぎる小分割領域を設定しても、得られる特徴量にその変化が現れ難くなってしまう。したがって、最適な小分割領域面積は監視対象に応じて変更する必要がある。このため、監視装置を実稼動させる前に予め試験的に小分割領域面積を変更しながら試験運転を行い、最適値を決定するとよいだろう。
【００２６】
以上に説明したことをまとめる。
本実施形態の監視装置３０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置３０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。次に、得られた特徴量データを、予め手入力により範囲を設定され、演算処理後保持されている所定値１１５との距離を計算し、得られた「距離」を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された小分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００２７】
［４．特徴量の演算方法］
ここで、特徴量の演算方法を説明する。
特徴量とは、一定の範囲の画像データを読み込み、その画像データに現れている特長を数値化したものである。
画像データの特徴とは様々なものが考えられる。色度、彩度、模様等多岐に渡る。したがって、単一のスカラ量であることはあり得ず、沢山の要素よりなる行列で表される。
図９（ａ）、（ｂ）及び（ｃ）は本発明にて説明する第１、第２及び第３の実施形態に共通に利用可能である特徴量演算方法の一つ、色ヒストグラムを説明する概略図である。
図９（ａ）は入力画像データのサンプルを示す。入力画像データ９０１には、海９０２が全体に広がっており、その中に不審物である船９０３が存在する。不審物は黒色のピクセルよりなる。
図９（ｂ）は図９（ａ）に示した入力画像データのサンプルのうち、海の部分を拡大したものを示す。海９０２には波しぶき９０４が生じている。海水９０５の部分は青色のピクセルにて、波しぶき９０４の部分は白色のピクセルにてなる。
図９（ｃ）は全ての色成分を行列にしたものである。図９（ａ）の入力画像データに存在する各ピクセルを、この行列９０６に該当する箇所の要素に一つずつ加算していく。すると、波しぶきを表現する白色の領域９０７と、海水を表現する青色の領域９０８と、不審物である船を表現する黒色の領域９０９に累積点が集中する。つまり、この三箇所において、周知のガウス曲面のような曲面が形成されるものと思っていただければよいだろう。
以上説明したように、色ヒストグラムは、カラー画像データ中の各ピクセル毎に、色の出現頻度を計数したものである。画像を構成する色の粒をばらばらにして、同じ色素毎にかき集めたと考えても良いだろう。このため、生成したデータには模様の概念が失われることとなる。
【００２８】
図１０（ａ）、（ｂ）、（ｃ）及び（ｄ）は本発明にて説明する第１、第２及び第３の実施形態に共通に利用可能である特徴量演算方法の一つ、周波数解析を説明する概略図である。
図１０（ａ）は、入力画像データの一部１００１を示す。これは図９（ｂ）で示したものと同じ、入力画像データのサンプルのうち、海の部分を拡大したものを示す。図１０（ｂ）はその一部分を更に拡大して、波しぶきの一部を示す。波しぶきに該当するピクセルは明るく、海水に該当するピクセルは暗い。この、各ピクセル１００２の輝度を取得する。
図１０（ｃ）は、入力画像データを構成する各ピクセルの明度を左側から右側へ順番にプロットしたものの一例を示す。海水に該当する箇所は輝度が低く、波しぶきに該当する箇所は輝度が高いことがわかる。そして、このようにして得られる図形を、あたかも信号のようにみなし、その周波数成分を解析するのが、周波数解析である。
図１０（ｄ）は、その周波数解析の結果の一例を示す。図１０（ｃ）でプロットした波形をフーリエ解析し、横軸に周波数、縦軸にレベルを取る。最終的には、このようにして得られたデータを行列とする。つまり、画像データの輝度を波形化したものの周波数成分よりなる行列である。
以上説明したように、周波数解析は、画像データ中の各ピクセル毎に、輝度の変化を波形と見立てて周波数成分を分析すべく、フーリエ変換したものである。このため、濃淡のパターン、転じて所定の模様のパターンが周波数成分となって表現されることとなる。
【００２９】
図１１は、同時生起確率行列の概要を説明するための図である。
図１１（ａ）において、Ｐ１とＰ２は画像データ中の任意の二つのピクセルである。ピクセルＰ１からピクセルＰ２へは、距離ｒと角度θだけ離れている。このｒとθを相対位置関数δとする。δ＝（ｒ，θ）と表す。
図１１（ｂ）において、δ１＝（１，０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う次のピクセルを指し示す。
図１１（ｃ）において、δ１＝（１，９０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う真上のピクセルを指し示す。
同時生起確率行列は、この一定の相対位置関数δだけ離れている二点のピクセルの輝度の組み合わせを、輝度を要素数とする正方行列に加算する仕組みである。
【００３０】
図１２に、説明のために簡素化した画像データと簡素化した同時生起確率行列を示す。
図１２（ａ）において、４×４の１６ピクセルよりなる画像データ内の各ピクセルは、０〜３迄の４段階の輝度を有する。
図１２（ｂ）は、４段階の輝度よりなる４×４の正方行列である同時生起確率行列である。ここで、相対位置関数δ＝（ｒ，θ）＝（１，０°）の関係にて、図１２（ａ）の画像データから同時生起確率行列を作成する手順を以下に示す。
図１２（ａ）の（ｘ，ｙ）＝（０，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（１，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは０である。したがって、（ｉ，ｊ）＝（０，０）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（０，０）に１を加える。
図１２（ａ）の（ｘ，ｙ）＝（１，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（２，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは１である。したがって、（ｉ，ｊ）＝（０，１）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（１，０）に１を加える。
以上のように、相対位置関数δだけ離れている各ピクセルの輝度の組み合わせに相当する行列の要素をカウントアップする動作を、全てのピクセルに対して行う。つまり、この正方行列は、二つのピクセルの輝度の組み合わせの出現回数を示す、カウンタの行列である。
なお、往復カウントをするか否かは設計者の任意である。
【００３１】
同時生起確率行列はその性質上、相対位置関数を複数取って、それぞれに複数の行列を生成することが望まれる。画像を構成する模様が水平や垂直とは限らないからである。最低でも縦と横の相対位置関数は取ることが望ましい。
【００３２】
これら特徴量演算方法により、沢山の数値データよりなる行列よりなる特徴量が、入力画像データの分割領域毎に作成される。
得られた特徴量を、予め保持している所定のサンプル値や他の特徴量と比較して、「距離」を算出する。この演算を特徴量距離計算といい、後述する。
なお、以上に例示列挙した特徴量演算方法のいずれを採用するかは、得られる特徴量の精度と演算量とのトレードオフにて、設計者が決定する。
【００３３】
［５．特徴量距離計算方法］
以上説明した特徴量演算方法により、入力画像データの分割領域毎に特徴量が作成される。これらは全て沢山の数値データよりなる行列である。
行列データ同士を比較するにはどうするか。ここで、求めたい値とは、二つの行列データの類似度である。前述の第１の実施形態にあっては、サンプル背景データの特徴量を構成する行列データと、分割領域の特徴量を構成する行列データである。
行列データの類似度を得るための方法は従来より様々な方法知られている。以下に例示列挙する。
（１）行列の各要素毎に差を取り、得られた行列の各要素の総和を取る方法（ＳＡＤ: Sum of Absolute Difference)。
（２）行列の各要素毎に差を取り、得られた行列の各要素を二乗し、その後各要素の総和を取る方法（ＳＳＤ: Sum of Squared Difference）。
（３）行列の各要素をベクトルの成分として捉え、行列同士の内積を取る方法。すなわち、行列の各要素同士の積を取り、得られた行列の各要素の総和を取る方法（内積: Normalization）。
【００３４】
これら特徴量の比較演算により、最終的には単一のスカラ値よりなる「距離」が得られる。
得られた距離を予め保持している所定の閾値と比較して、所定の判断を行う。
なお、例示列挙した特徴量距離計算方法のいずれを採用するかは、得られる距離の精度と演算量とのトレードオフにて、設計者が決定する。
【００３５】
以上に述べた特徴量演算方法と特徴量距離計算方法は、前述の第１の実施形態、そして後述する第２及び第３の実施形態において共通に選択して利用可能な技術である。すなわち、いずれの実施形態においても、特徴量演算方法として色ヒストグラム、周波数解析、同時生起確率行列のいずれを採用してもよいし、特徴量距離計算方法としてＳＡＤ、ＳＳＤ、内積のいずれを採用してもよい。
【００３６】
［６．第２の実施形態］
図１３は、本発明の第２の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。なお、第１の実施形態を説明した図３と共通の部分については、重複を避けるために説明を割愛する。
第２の実施形態の、第１の実施形態と異なる部分は、背景特徴量保存部２０２の代わりに平均値保存部１３０２が設けられている点である。
平均値保存部１３０２は、特徴量算出部３１４から得られる各小分割領域毎の特徴量の平均値を保存する。
距離計算部３１６は、特徴量算出部３１４から得られる各小分割領域毎の特徴量と、平均値保存部１３０２内に保存されている平均値との距離を計算する。距離計算部３１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。
【００３７】
図１４（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第２の実施形態による監視装置の動作の概略を示すイメージ図である。
図１４（ａ）において、入力画像データとして、海１４０２と不審物である船１４０４を含む画像データ１２０１がある。
図１４（ｂ）において、平均値保存部１３０２には、特徴量算出部３１４にて算出された、各小分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）の平均値が格納される。つまり、全ての分割領域の特徴量の総和を、分割領域の数で割った値である。
距離計算部３１６は、平均値と分割領域との距離を計算する。この距離計算は一つずつ順番に行われる。つまり、
平均値Ｂと分割領域Ｓ（１）との距離を計算し、
平均値Ｂと分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に、
平均値Ｂと分割領域Ｓ（２５）との距離を計算して終了する。
【００３８】
図１５と図１６は、第２の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１５０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１５０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ１５０３）。
そして、得られた全ての各小分割領域毎の特徴量から、平均値を算出する（Ｓ１５０４）。
これ以降は、算出した各小分割領域毎の特徴量と平均値との距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ１５０５）。変数ｉは各小分割領域毎の特徴量を特定する変数である。
そして、平均値Ｂと、小分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ１５０６）。
次に、距離計算の結果を、予め別途保持している閾値と比較する（Ｓ１５０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ１５０８）。フラグ変数ｆ（ｉ）は、小分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。
【００３９】
次に、変数ｉを検証する（Ｓ１６０９）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ１６１０）。変数ｉが最大値に達していれば、全ての小分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ１６１１）。
検証の結果、フラグが全く上がっていなければ、全ての分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該小分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１６１２）、終了する（Ｓ１６１３）。
【００４０】
以上に説明したことをまとめる。
本実施形態の監視装置１３０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１３０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。その後、全分割領域の特徴量データの平均を算出し、平均値保持部１３０２（実体はＲＡＭ２０５）内に保存する。次に、得られた特徴量データと、平均値保持部１３０２内の平均値との距離を計算し、この結果得られた距離を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００４１】
［７．第３の実施形態］
図１７（ａ）及び（ｂ）は、本発明の第３の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。なお、第２の実施形態を説明した図１３と共通の部分については、重複を避けるために説明を割愛する。
図１７（ａ）において、第３の実施形態の、第２の実施形態と異なる部分は、特徴量算出部３１４と比較部１７０４との間にクラスタリング処理部１７０３が設けられ、比較部１７０４はこのクラスタリング処理部１７０３と閾値１７０２とを比較している点である。
クラスタリング処理部１７０３は、特徴量算出部３１４から得られる各小分割領域毎の特徴量同士の距離を計算し、距離が近いと判断できる小分割領域同士、すなわち類似すると判断できる小分割領域同士を類似する画像であるとみなしてグルーピング化する、「クラスタリング」という処理を行う。この処理により、各々の類似する小分割領域は同じ画像部分に属する集合として分類される。
比較部１７０４は、クラスタリング処理部１７０３から得られる各小分割領域の集合の要素数と閾値１７０２とを比較する。比較部１７０４による比較の結果、背景でないと判断された小分割領域の集合は、不審物が存在するものと判断し、アラーム出力をする。
【００４２】
図１７（ｂ）は図１７（ａ）のクラスタリング処理部１７０３の内部構成を示すブロック図である。
距離計算対象設定部１７１３は、特徴量算出部３１４から得られた特徴量１７１２の、どの特徴量同士を距離計算の対象とするか、決定する。
距離計算部１７１４は、距離計算対象設定部１７１３によって選択された二つの特徴量同士の距離を計算する。
比較部１７１６は、距離計算部１７１４より得られた距離を、閾値１７１５と比較する。この比較結果は、二つの小分割領域を併合するか否かの判定に繋がる。
グルーピング処理部１７１７は、比較部１７１６の比較結果に応じて、二つの小分割領域を併合し、或は併合せずそのままにする。
以上、一連の処理を通じて、小分割領域毎の特徴量は幾つかの類似する特徴量同士の群に分類される。この処理の後、特徴量の群の数を表すデータは、比較部１７０４にて閾値１７０２と比較され、背景であるか否かの判定に繋がる。
【００４３】
図１８（ａ）、(ｂ)、(ｃ)及び（ｄ）は、入力画像データを例示して第３の実施形態による監視装置の動作の概略を示すイメージ図である。なお、この図１８では説明の便宜上水平領域分割を行わない場合の説明を行う。
入力画像データとして、海と不審物である船を含む画像データ１８０１がある。
クラスタリング処理部１７０３は、特徴量算出部３１４にて算出された、各分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）を全て見比べて、類似する分割領域をまとめる処理を行う。
先ず、図１８（ａ）の、画像データ１８０１を分割した領域の一番左上の領Ｓ（１）と、その隣の領域Ｓ（２）との距離を、距離計算部１７１４にて計算する。距離計算の結果得られた二つの特徴量の距離を、別途予め用意している閾値１７０２と比較して、互いの分割領域が類似するものであるか否かを判断する。図１８（ａ）では、領域Ｓ（１）とＳ（２）は両方とも海の部分であるので、その特徴量は類似するため、距離は近い。そこで、同じ模様であるとみなし、一つにまとめる。これが図１８（ｂ）に示す処理である。つまり、領域Ｓ（１）とＳ（２）を一つにして、境界線を消去する概念である。
図１８（ｂ）から更に隣り合う領域同士の距離計算と、得られた距離と閾値１７０２との比較による類似判断を進めていく。すなわち、図１８（ｃ）に示すように、類似する画像の分割領域の境界線が次々と消去されるイメージである。
最後には、図１８（ｄ）に示すように、他の分割領域とは特徴量が大きく異なり、距離が遠いと認められる分割領域Ｓ（１２）、Ｓ（１３）及びＳ（１４）が残る。これが、不審物が存在する領域となる。
【００４４】
図１９は、第３の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１９０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１９０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ１９０３）。
そして、得られた全ての各小分割領域毎の特徴量を基に、クラスタリング処理を行う（Ｓ１９０４）。クラスタリング処理の結果、小分割領域は類似する領域同士にまとめられる。
次に、領域の面積、すなわち類似する領域を構成する小分割領域の数と、閾値１７０２とを比較し、背景と認められない狭い領域があるか否かを検証する（Ｓ１９０５）。
検証の結果、全ての領域を構成する小分割領域の数が閾値１７０２以上であれば、全ての小分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、特定の領域を構成する小分割領域の数が閾値１７０２に満たないものがあれば、当該領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１９０６）、終了する（Ｓ１９０７）。
【００４５】
以上に説明したことをまとめる。
本実施形態の監視装置１５０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１５０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。
その後、クラスタリング処理部１７０３にて、全小分割領域の特徴量データ同士の距離を計算し、得られた距離が小さい小分割領域同士を同じ模様の領域であると判断し、それらを統合する、クラスタリング処理を行う。こうして、複数の小分割領域が幾つかの領域の集合体に分類される。
次に、分類された複数の小分割領域の集合体を構成する小分割領域の数を、所定の閾値１７０２と比較する。閾値１７０２以上の数の小分割領域よりなる集合は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と比較演算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００４６】
［８．第４の実施形態］
図２０は、本発明の第４の実施形態にかかる画像処理装置の全体ブロック図である。
図２０において、実体がＲＡＭ２０５である画像保存部２１２を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムである。これらソフトウェアはＲＯＭ２０４に格納されている。
撮像カメラ２０２から得られる画像信号は、一旦静止画像として画像保存部２１２に保持される。
水平領域分割部２１３は画像保存部２１２内の入力静止画像データに対し、横方向に分割した水平分割領域を与える。
特徴量算出部２０１３は、画像保存部２１２内の静止画像データと、水平領域分割部２１３から得られる水平分割領域の情報を得て、水平分割領域毎に特徴量データを作成する。これは後述する同時生起確率行列によって作成される、画像データの相対アドレスよりなる配列データである。
画素判定部２０１４は、特徴量算出部２０１３にて作成された配列データを基に、静止画像データ中の不審物を特定するビットマップデータを作成する。
画素集合決定部２０１５は、作成されたビットマップデータから、静止画像データ中に占める不審物と思しき画像部分の総面積と、中心座標を算出する。
【００４７】
なお、本実施形態にかかる画像処理装置２００１は、撮像カメラ２０２と併せて、主に沿岸に設置される目的で作られている。撮像カメラ２０２は図示しないモータ等の駆動機構によって沿岸周辺海域を広く見渡すように往復駆動される。
遠くの海辺の不審物を察知するためには、カメラの倍率を上げなければならない。カメラの倍率を上げることは、撮影角度が小さくなることを意味し、このためにカメラを往復駆動する必要が生じる。
カメラを往復駆動する、ということは、直前の静止画像と現在の静止画像とを比較して、画像データ同士の相違点から不審物等を見つける、という手法が取り辛い。本実施形態にかかる発明は、このような背景事情に基づいている。
【００４８】
図２１は、ＲＡＭ２０５の内部を模式的に図示するものである。ＲＡＭ２０５の内部には、画像保存部２１２ともいえる入力画像ビットマップデータ保存領域２１０２と、同時生起確率行列のための配列データ領域２１０３と、画像フラグビットマップデータ領域２１０４の三つが存在する。
図２２はＲＡＭ２０５の内部に格納されているデータを図示するものである。
図２２（ａ）は、ＲＡＭ２０５の入力画像ビットマップデータ保存領域２１０２に格納されている、入力画像ビットマップデータである。つまり、撮像カメラ２０２にて撮影された静止画像データそのものである。各々のピクセルは例えば０〜２５５迄の輝度を表すデータである。図２２（ａ）では、海２２０２と空２２０３と不審物である船２２０４が写っている。
図２２（ｂ）は、ＲＡＭ２０５の画像フラグビットマップデータ領域２１０４に格納される、画像フラグビットマップデータである。後述する処理にて、入力画像ビットマップデータから不審物の領域を検出したものである。この図では、船２２０４に相当する領域のビットが立っている。
図２２（ｃ）は、画像フラグビットマップデータの一部を拡大したものである。各ピクセルは１ビットよりなり、ビットが立っていれば（ビットの値が１であれば）、そこは不審物と思しきピクセルを示し、ビットが下りていれば（ビットの値が０であれば）、そこは背景と思しきピクセルを示す。
【００４９】
図２３は、ＲＡＭ２０５の配列データ領域２１０３に格納される、配列データを模式的に示すものである。実際にＲＡＭ２０５の中身がこのような形状になっている訳ではないが、ソフトウェアプログラムにて仮想的にこのような形状に構築されていると思って頂きたい。
図２３（ａ）において、配列データ２３０１は同時生起確率行列をベースとする、可変長の配列データの集合体である。同時生起確率行列は、縦ｋと横ｌがそれぞれ０〜２５５迄の２５６個の要素よりなる正方行列である。この縦ｋと横ｌは画像データの輝度に相当する。この行列上の各々の要素に立方体が積み上がっている。この立方体は一つに画像データの１ピクセルを示す相対アドレスが格納されている。
【００５０】
図２３（ａ）の（ｋ、ｌ）［１］とは、ｋ番目の行でｌ番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ）［２］とは、ｋ行ｌ列の行列要素よりなる配列データの、２番目の配列要素である。
配列データ（ｋ、ｌ）は５個の配列要素を持ち、（ｋ、ｌ）［５］まで存在している。
図２３（ａ）の（ｋ、ｌ−１）［１］とは、ｋ番目の行でｌ−１番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ−５）［１］とは、ｋ行ｌ−５列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ−３、ｌ）［１］とは、ｋ−３行ｌ列の行列要素よりなる配列データの、１番目の配列要素である。
このように積み上がっている立方体には、入力画像ビットマップデータ領域２１０２に格納されている画像データの、１ピクセルを示す相対アドレスがそれぞれ格納されている。
【００５１】
図２３（ａ）は紙面の都合上、うず高く積み上がる配列データの一部分しか図示できていない。しかし、実際には図２３（ｂ）に示すような、周知のガウス曲面に近い形状になることが推測できる。
なお、この同時生起確率行列をベースとする配列データの詳細な作成方法は、後述する。
【００５２】
図２４は、ＲＡＭ２０５と、ＲＡＭ２０５内に格納されている各々のデータの関係を模式的に示す図である。
入力画像ビットマップデータ領域２１０２中の、広い面積を示す背景部分は、同時生起確率行列を構成する配列データ領域２１０３の、要素の多い箇所に集中する。その、集中している部分の配列要素として格納されている画像データの相対アドレスが、画像フラグビットマップデータ領域２１０４の背景部分の相対アドレスに該当し、その箇所のフラグを下ろすこととなる。
図２４においては、入力画像ビットマップデータ領域２１０２の一部を示す画像の、点線で囲んだ部分、すなわち空の一部分に該当する画像データが、配列データ領域２１０３の、積み上がっている立方体にそれぞれ対応している。つまり、これら立方体をなす配列変数には、その要素として画像データ中の点線部分にて囲まれたピクセルの相対アドレスが格納されている。そして、それら相対アドレスは画像フラグビットマップデータ領域２１０４の該当箇所のフラグを１から０へ下ろす。
【００５３】
先に、図１１及び図１２にて説明した同時生起確率行列の作成手法にて、図２４において入力画像ビットマップデータから配列データを作成するものである。
但し、本実施形態は従来より周知の同時生起確率行列の取り扱いとは異なるアプローチを取っている。
従来技術では、同時生起確率行列は例えば特許文献３にて開示されているように、製造工程中に良品と不良品とを比較するための手法として使われている。予め良品を撮影して同時生起確率行列を保持しておき、製造ラインに流れてきた製品を撮影する。撮影画像データから同時生起確率行列を作成し、これを保持している良品の行列と比較して、相違点から製品の傷や汚れ等の異常を判別する。これが、従来より良く知られている同時生起確率行列の利用である。
本実施形態は、この同時生起確率行列に対して、所定の閾値を用いて各行列要素を比較する。そして、閾値以上の行列要素は、画像データ内にて広い面積を占める領域、すなわち背景であるものと判断する。そして、背景に該当する画像データ内の領域を除外する。
このために、行列要素を配列データとし、配列の要素に画像データ内のピクセルの相対アドレスを格納する必要がある。
全ての処理が終わった後に、画像フラグデータ内にてフラグが下りていない部分が、画像データ内にて背景とは異なる輝度を示す狭い部分、つまり不審物を示す領域であると判断する。
イメージとしては、図２３（ｂ）のガウス曲面を、閾値を示すｘｙ平面と平行の平面にて真横に切断するようなものだと思って頂ければよいだろう。閾値平面によって切断された、つまり閾値平面に触れた行列要素に該当する画像データの相対アドレスは、背景である。
【００５４】
図２５及び図２６は、本実施形態の画像処理装置２００１の動作を示すフローチャートである。
処理を開始すると（Ｓ２５０１）、最初に同時生起確率行列を作成する際のルールである、相対位置関数δを設定する（Ｓ２５０２）。次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ２５０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
次に、相対アドレスａから相対位置関数δだけ離れている地点にピクセルが存在するか否かを検証する（Ｓ２５０４）。例えば、相対位置関数δ＝（１，０°）の場合、相対アドレスａが入力画像ビットマップデータの右端であれば、相対アドレスｂ＝δ（ａ）は存在しない。
相対アドレスｂ＝δ（ａ）があれば、相対アドレスａの輝度をｋに代入し、相対アドレスｂの輝度をｌに代入する。そして、配列データ領域２０３内の行列要素（ｋ，ｌ）の配列に、相対アドレスａを追加する（Ｓ２５０５）。つまり、図２３（ａ）の、立方体を一つ積み上げて、そこに相対アドレスａを格納する。なお、ステップＳ２５０４にて、ｂ＝δ（ａ）がない場合は、同時生起確率行列の追加処理ができないので、ステップＳ２５０５の処理を飛ばす。
次に、相対アドレスａを一つ進める（Ｓ２５０６）。次に、相対アドレスａが存在するか否かを検証する（Ｓ２５０７）。あれば、再びステップＳ２５０４から処理を繰り返す。なければ、それは入力画像ビットマップデータの終端であり、同時生起確率行列の処理が終わったので、次の処理に進む。
【００５５】
全ての入力画像ビットマップデータについて同時生起確率行列の処理が終わったら、その行列要素を用いて閾値の演算を行う（Ｓ２５０８）。閾値の計算方法は様々な方法が考えられる。例えば、予め設定済みの固定値を用いるとか、１以上の行列要素の全ての平均を取る等が考えられる。
閾値を得たら、配列データ領域２０３内の、評価対象とする行列要素の初期値を設定する（Ｓ２６０９）。
次に、行列要素の要素数と閾値を比較する(Ｓ２６１０）。もし、要素数が閾値以上であれば、その行列要素に属する配列要素内の、入力画像ビットマップデータの相対アドレスに対応する画像フラグビットマップデータ領域２１０４内の該当アドレスのフラグを下ろす（Ｓ２６１１）。つまり、そこは背景である、という判断である。もし、要素数が閾値未満であれば、何もしない。つまり、そこは不審物である、という判断である。
そして、評価対象となる行列要素を一つ進める（Ｓ２６１２）。
次に、評価対象となる行列要素があるか否か検証する（Ｓ２６１３）。あれば、再び評価を行う（Ｓ２６１０）。なければそれは処理の終わりを意味する。
最後に、画像フラグビットマップデータ領域２１０４内に残っている、フラグが立っている領域、つまり不審物を示す領域の面積と中心座標を算出して（Ｓ２６１４）、終了する（Ｓ２６１５）。
【００５６】
図２５において、ステップＳ２５０２、Ｓ２５０３、Ｓ２５０４、Ｓ２５０５、Ｓ２５０６及びＳ２５０７よりなる処理は、図２０の特徴量算出部２０１３の処理に相当する。つまり、同時生起確率行列の算出処理である。
図２５において、ステップＳ２５０８、そして図２６において、ステップＳ２６０９、Ｓ２６１０、Ｓ２６１１、Ｓ２６１２及びＳ２６１３よりなる処理は、図２０の画素判定部２０１４の処理に相当する。つまり、不審物のアドレスを決定する処理である。
図２６において、ステップＳ２６１４よりなる処理は、図２０の画素集合決定部２０１５の処理に相当する。つまり、不審物のアドレスの数をカウントし、不審物のアドレスを示す領域の中心を算出する処理である。
【００５７】
［９．第５の実施形態］
次に、本発明の第５の実施形態を説明する。
図２７は、第５の実施形態にかかる画像処理装置にて用いる相対位置関数δを示す概略図である。
本実施形態では、画像処理装置の内部の構成は、第４の実施の形態で説明した図２０のブロック図の構成と殆ど変わらないが、相対位置関数δを複数取り、それに基づいて複数の同時生起確率行列を作成する構成である。
先に説明した第４の実施形態では、相対位置関数δ＝(１,０°）を例に説明した。ところで、従来技術においても同時生起確率行列を複数の相対位置関数δにて取ることは周知である。これは、一定の模様よりなる画像データの特徴をより正確に数値化するための措置である。
図２７において、あるピクセルの近傍にあるピクセルだけでも８つのピクセルが存在することがわかる。
δ１は距離が１であり、角度が０°である。
δ２は距離が√２であり、角度が４５°である。
以下同様に、δ３＝（１，９０°）、δ４＝（√２，１３５°）、δ５＝（１，１８０°）、δ６＝（√２，２２５°）、δ７＝（１，２７０°）、δ８＝（√２，３１５°）となる。
すなわち、８つの相対位置関数δ１〜δ８が作成し得る。
これら８つの相対位置関数δ１〜δ８を用いて、８つの同時生起確率行列を作成することができる。
【００５８】
図２８は、本実施形態にかかる画像処理装置のフローチャートである。
処理を開始すると（Ｓ２８０１）、最初にカウンタ変数ｉを０に初期化する（Ｓ２８０２）。次に、同時生起確率行列を作成する際のルールである、相対位置関数δ（ｉ）の存在を確認する（Ｓ２８０３）。
δ（ｉ）があればこれを設定し（Ｓ２８０４）、これに基づいて同時生起確率行列に基づく特徴量算出処理を行う（Ｓ２８０５）。次に、得られた同時生起確率行列の配列データを用いて、画素判定処理を行う（Ｓ２８０６）。
ここで、ステップＳ２８０５は、図２５のステップＳ２５０３、Ｓ２５０４、Ｓ２５０５、Ｓ２５０６そしてＳ２５０７に等しい。
また、ステップＳ２８０６は、図２５のステップＳ２５０８と、図２６のステップＳ２６０９、Ｓ２６１０、Ｓ２６１１、Ｓ２６１２そしてＳ２６１３に等しい。
次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ２５０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
つまり、ステップＳ２８０５及びＳ２８０６は、図２５の点線で囲むサブルーチンＲ２５２２と等しい。これが、同時生起確率行列よりなる配列データを作成し、そこから画像フラグビットマップデータ領域２１０４にて不審物の画素を判定する処理である。
【００５９】
処理が終わったら、カウンタ変数ｉを進める（Ｓ２８０７）。そして、次の相対位置関数δ（ｉ）の有無を確認し（Ｓ２８０３）、あれば設定し（Ｓ２８０４）、処理を続行する。なければ全ての相対位置関数δ（ｉ）について処理を終えたこととなる。
全ての相対位置関数δ（ｉ）についてｉ個の画像フラグビットマップデータが得られたら、これらを統合演算する（Ｓ２８０８）。演算は全てのビットの論理積でも、全てのビットを加算して適当な閾値と比較するのでもよい。この演算処理によって、不審物領域の決定の精度が増す。
最後に不審物領域の面積と中心座標を算出して（Ｓ２８０９）、終了する（Ｓ２８１０）。
【００６０】
以上に説明したことをまとめる。
本実施形態の画像処理装置２００１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
静止画像データが画像処理装置２００１に入力されると、これをＲＡＭ１０５内の入力画像ビットマップデータ領域２０２に展開する。その後、同時生起確率行列のアルゴリズムにて配列データを配列データ領域２０３に作成する。次に、得られた配列データから閾値を算出し、この閾値を満たす数の行列に該当する画像のピクセルを、背景であるものと判断する。背景と判断された画像のピクセルの相対アドレスを、配列データから読み出して、画像フラグビットマップデータ領域２１０４内の、該当アドレスのフラグを下ろす。
以上の処理により、静止画像データから生成した同時生起確率行列から、背景とそれ以外の部分とを判別することができる。
【００６１】
［１０．第６の実施形態］
次に、本発明の第６の実施形態を説明する。
図２９は、撮像カメラ２０２によって撮影された静止画像の一例である。
図２２（ａ）の画像と比較して頂きたい。図２２（ａ）では船である不審物３０４が写っているが、図２９では岸辺２９０２と、その上に灯台２９０３が写っている。これらが不審物ではないことは明らかであるが、第４の実施形態のままではこれらを不審物と誤認してしまう可能性が高い。なぜなら、これらは画像データ全体から見たらその占める面積が少ないので、背景と認識されないからである。そこで、このように不審物と誤認されるであろう箇所を、予め同時生起確率行列の作成処理の対象から外す処理が必要になる。
【００６２】
図３０（ａ）は、第６の実施形態にかかる画像処理装置の全体ブロック図である。図３０（ａ）に示す画像処理装置３００１は、第４の実施形態における図２０の画像処理装置２００１とほぼ同じである。図３０（ａ）において、図２０と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置３００１は、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。このために、図２０に示される第４の実施形態と比較すると、処理領域設定部３００２と、表示装置３００３と、入力装置３００４が新たに設けられている。
表示装置３００３は例えば周知のＬＣＤディスプレイである。入力装置３００４は例えば周知のマウスである。
処理領域設定部３００２は、画素判定部３０１４から得られた結果に基づき、不審物と思しき領域を画像保存部１１２に保持されている画像データとオーバーラップさせて、表示装置３００３へ表示する。使用者は入力装置３００４を操作して、表示装置３００３に表示されている静止画像と、その上にオーバーラップされた状態にて表示されている除外領域を修正する。
以上のようにして、処理領域設定部３００２によって特徴量算出部３０１３に設定された除外領域は、特徴量算出部３０１３において行われる同時生起確率行列の演算の対象外となる。
図２９を例にするならば、岸辺２９０２と灯台２９０３を囲むような除外領域が処理領域設定部３００２にて作成され、特徴量算出部３０１３に保持される。特徴量算出部３０１３は、画像データの各ピクセルのうち、除外領域に該当するものは同時生起確率行列の演算を行わず、強制的に背景とみなす。
【００６３】
［１１．第７の実施形態］
次に、本発明の第７の実施形態を説明する。
図３０（ｂ）は、第７の実施形態にかかる画像処理装置の全体ブロック図である。図３０（ｂ）に示す画像処理装置３０１１は、第６の実施形態における図３０（ａ）の画像処理装置３００１とほぼ同じである。図３０（ｂ）において、図３０（ａ）と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置３０１１は、図３０（ａ）と同様に、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。第６の実施形態と異なる点は、操作者による除外領域の修正処理を行わず、自動で設定する点にある。このために、図３０（ａ）に示される第６の実施形態と比較すると、表示装置３００３と、入力装置３００４がない。また、処理領域設定部３００３は、画素集合決定部３０１５に接続されている。
処理領域設定部３００３は、画素集合決定部３０１５から得られた結果を、除外領域とみなし、特徴量算出部３０１３に設定する。
設定された除外領域は、特徴量算出部３０１３において行われる同時生起確率行列の演算の対象外となる。
【００６４】
以上、第１、第２、第３、第４、第５、第６及び第７の実施形態にて説明した画像処理装置は、図２２（ａ）や図２９にて説明したように、海のような単一の背景を監視する際に、特に好適である。このため、撮像カメラは広い範囲を監視するために回転させる場合が多い。
図３１（ａ）は本実施形態における撮像カメラの外観図を示す。また、図３１（ｂ）は、図３１（ａ）における撮像カメラと画像処理装置との組み合わせを示すブロック図を示す。
図３１（ａ）において、撮像カメラ２０２は広い範囲を監視するために、旋回装置３１０２に設置され、左右に回転駆動される。
図３１（ｂ）において、旋回装置３１０２の内部には撮像カメラ２０２を回転駆動させるためのモータ３１０３と、モータのシャフト３１０４に取り付けられ、撮像カメラ２０２と共に回転駆動される角度検出器３１０５が設けられている。角度検出器３１０５は例えば光学検出や磁気検出等によるタコジェネレータ等が挙げられる。
角度検出器３１０５の検出信号は画像処理装置２０１の主要構成部分をなすマイクロコンピュータのバス１０６に入力され、予め設定された所定の角度毎に、撮像カメラ２０２から得られる静止画像をＲＡＭ１０５に取り込み、前述の処理を行う。
また、第６及び第７の実施形態においては、撮像カメラ２０２の撮影角度毎に除外領域の設定を予め行うこととなる。
【００６５】
本実施形態には、以下のような応用例が考えられる。
（１）マイクロコンピュータによる実装の代わりに、プログラマブル・ロジック・デバイス（Programmable Logic Device: ＰＬＤ）を用いてもよい。
（２）前述の第１、第２及び第３の実施形態において、不審物と誤認識し易い背景部分を特徴量計算処理の対象から外す、除外処理を追加することができる。
（３）前述の第１、第２、第３、第４、第５、第６及び第７の実施形態を、単一の監視装置内で同時に複数稼動させることもできる。演算処理の結果得られた、各領域毎のフラグの集合は、全て論理積にて併合したり、或いは加算処理の後所定の閾値にて比較することができる。
【００６６】
（４）前述の第６及び第７の実施形態においては、処理領域設定部３００２及び３００３にて設定した除外領域を特徴量算出部３０１３に反映させていた。この代わりに、除外領域を画素集合決定部２０１５或は画素集合決定部３０１５に反映させても、同等の効果が得られる。すなわち、除外領域に該当する部分は背景であるものとみなし、画像フラグビットマップデータ領域２１０４内の該当部分のフラグを下ろす。
（５）図２１において、ＲＡＭ２０５内部では入力画像ビットマップデータ領域２１０２と画像フラグビットマップデータ領域２１０４は異なる領域として記述されているが、これを一体化することもできる。
例えば、画像データを構成するピクセル毎に、輝度データとフラグデータを格納する構造体を構成する。こうすれば、ピクセル毎の絶対アドレスを直接配列データ２３０１に格納することができるので、相対アドレスを変換する演算処理が不要になる。
（６）配列データ領域２１０３にて構成される同時生起確率行列を表現する手法は様々なものが考えられる。例えば、リレーショナルデータベースを用いたり、周知のインタプリタ言語処理系であるｐｅｒｌ等にて実装されている、連想配列を用いて実現できる。
【００６７】
（７）基本的に、水平分割領域をどのように決定するかは、入力画像データに応じて任意である。しかし、水平分割領域の決定手順を自動化できれば理想である。そこで、第３の実施形態にて説明したクラスタリングの技術を入力画像データ全体に適用し、類似する領域が水平方向に複数分布することが判明したら、その領域を網羅するべく水平分割領域を決定する、という手法が考えられる。
この実施形態では、クラスタリングの分割領域を小さく取ることで、水平分割線を沿岸の水平線と合致させることが期待できる。このことは、水平分割領域内における背景としての認識対象の数を減らすことに繋がり、ひいては背景認識率の向上が期待できる。
【００６８】
本実施形態においては、遠方の自然風景に代表される、水平方向に均一で、垂直方向に変化する静止画像データから、背景とは異なる物体を判別することができる。この処理は従来技術において周知の、直前の画像データとの比較による手法とは異なり、入力された画像データのみを用いて判別する。このため、撮像カメラを旋回装置に設置して左右に回転駆動する監視の形態において特に好適である。
本実施形態では水平分割領域に対して種々の判別方法を開示した。それら実施形態は、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
したがって、本実施形態の画像処理装置を撮像カメラと組み合わせることによって、従来技術と比べると、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた監視装置を提供できる。
【００６９】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態に共通する技術思想による画像処理装置の動作を概略的に示すイメージ図である。
【図２】本発明の実施の形態に共通する技術思想による画像処理装置の全体ブロック図と、その動作を示すフローチャートである。
【図３】第１の実施の形態による画像処理装置の全体ブロック図である。
【図４】第１の実施の形態の動作を概略的に示すイメージ図である。
【図５】第１の実施の形態における背景領域を指定する方法を概略的に示すイメージ図である。
【図６】第１の実施の形態の監視装置の処理内容のうち、前処理を示すフローチャートである。
【図７】第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。
【図８】第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。
【図９】特徴量演算方法の一つである、色ヒストグラムを説明する概略図である。
【図１０】特徴量演算方法の一つである、周波数解析を説明する概略図である。
【図１１】特徴量演算方法の一つである、同時生起確率行列を説明する概略図である。
【図１２】画像データと同時生起確率行列との関係を説明する概略図である。
【図１３】第２の実施の形態による画像処理装置の全体ブロック図である。
【図１４】第２の実施の形態の動作を概略的に示すイメージ図である。
【図１５】第２の実施の形態の監視装置の処理内容を示すフローチャートである。
【図１６】第２の実施の形態の監視装置の処理内容を示すフローチャートである。
【図１７】第３の実施の形態による画像処理装置の全体ブロック図である。
【図１８】第３の実施の形態の動作を概略的に示すイメージ図である。
【図１９】第３の実施の形態の監視装置の処理内容を示すフローチャートである。
【図２０】第４の実施の形態による画像処理装置の全体ブロック図である。
【図２１】第４の実施の形態のＲＡＭの内部を示す概略図である。
【図２２】第４の実施の形態のＲＡＭ内に構成される入力画像ビットマップデータ及び画像フラグビットマップデータを概略的に示すイメージ図である。
【図２３】第４の実施の形態のＲＡＭ内に構成される同時生起確率行列を概略的に示すイメージ図である。
【図２４】第４の実施の形態のＲＡＭ内に格納される各データの対応関係を概略的に示すイメージ図である。
【図２５】第４の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２６】第４の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２７】第５の実施の形態による画像データのピクセルと相対位置関数δ（ｉ）の対応関係を示すイメージ図である。
【図２８】第５の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２９】第６の実施の形態によるＲＡＭ内に構成される入力画像ビットマップデータを概略的に示すイメージ図である。
【図３０】本発明の第６及び第７の実施の形態による画像処理装置の全体ブロック図である。
【図３１】撮像カメラの一例と、これと組み合わせられる本発明の各実施の形態に適用される画像処理装置の全体ブロック図である。
【符号の説明】
【００７１】
２０１…監視装置、２０２…撮像カメラ、２０３…ＣＰＵ、２０４…ＲＯＭ、２０５…ＲＡＭ、２０６…バス、２０７…出力インターフェース、２１２…画像保存部、２１３…水平領域分割部、２１４…領域判定処理部
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像処理方法及び画像処理プログラムに関する。
より詳細には、監視カメラが所定の監視場所を撮像して得られた映像から、不審物や不審者を検出するために適用して好適な技術に関する。
【背景技術】
【０００２】
従来より、監視カメラによって撮像された映像を所定の監視モニタを介して視認することにより、所定の監視対象を監視する監視システムが知られている。
このような監視カメラにおいては、監視対象となる場所が多くなるにつれ、２４時間監視者がモニタを監視し続けることは困難である。また、監視カメラに接続されるビデオレコーダにおいても、必要最低限の映像のみ記録する等、実稼働時間を短縮する必要に迫られている。
このため、機械が入力画像から不審物或は不審者を検出する技術の確立が求められている。
例えば銀行のＡＴＭ等においては、人体を検出するセンサさえあれば比較的容易に上述のような要求を満たすことができる。
ところが、海辺のような、遠くの景色から不審船等を検出する場合は、このようなセンサは使用できない。
【特許文献１】特開２００６−１４２１５号公報
【特許文献２】特開平１０−３２８２２６号公報
【特許文献３】特開平８−２９７０２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来、このような状況においては、特許文献１に記載されているような、直前の画像データとの比較を行う、という手法が多く採用されていた。
映像中に物体が進入すると、映像データ中におけるその物体の部分は、明るさが変わる。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで、物体の検知が可能になる。ところが、海、砂漠、草原、空等の自然の風景の場合、検知対象である物体以外の水、砂、草、雲なども動いている。このため、これらを直前の画像データと比較して異なっているとして、誤って検知してしまう、という問題があった。
【０００４】
この問題を解決する一つの方法として、例えば特許文献２に記載される技術が挙げられる。
特許文献２には、現在の時刻に撮影された画像と、過去に撮影された画像との差分値を作成し、閾値処理によって二値化する。その際に、過去の差分値の累積結果を基に閾値を変動させた背景画像を作成する。こうして、背景画像中に存在する木や水面による揺らぎの誤検出の低減を試みている。
しかしながら、この技術では、木の揺らぎ等による輝度値の変化が大きいときには、閾値が大きくなりすぎる場合が十分考えられる。そのような場合、肝心の侵入者等が侵入してきたときに検出漏れが生じてしまう虞がある。
【０００５】
特に、海辺から水平線を含む空等、遠方の風景の場合、同じ背景であるにもかかわらず、現れる特徴が画像の場所によって異なる。例えば、海の手前の画像データと水平線近傍の画像データとを比較すると、海面上に生じている波しぶきは、手前のものは大きく、遠方のものは小さく見える。すなわち、撮影された静止画像データ上に海が全体では一様な模様を構成していない。
このように画像データ上に現れる特徴が場所によって異なる、遠方の風景の場合に、全て同一の背景であるとみなして処理をすると、不審物の検出性能が著しく低下する。何故なら、背景の特徴が均一でないにもかかわらず同一であるとみなすと、背景の特徴に大きな幅が生じてしまうからである。
【０００６】
本発明はかかる点に鑑みてなされたものであり、海、砂漠、草原等、主に自然現象等によって撮影画像に揺らぎが生じるような場所を監視対象とする監視カメラによって得られる画像データから、不審者或は不審物等の侵入を安定して行うことのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、入力画像データを一旦保存した後、水平方向に複数の領域に分割する。そして、作成した各々の水平分割領域を一つの入力画像データとみなして、水平分割領域毎に不審物の有無を検出する。
【０００８】
本発明によると、入力画像データは水平方向に複数の領域に分割される。これら水平分割領域が一つの画像データとして扱われ、その中で背景と不審物との判別処理を行う。
【発明の効果】
【０００９】
本発明により、海や草原等の、一定の揺らぎを伴う風景を監視する監視装置において、特に遠方の風景を監視する際に、距離によって異なる画像データの特徴を正しく捉えた上で、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた画像処理装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を、図１〜図３１を参照して説明する。
以下に説明する実施形態は、大きく二つに分類される。
第１、第２及び第３の実施形態は、入力画像を細分化し、細分化された小領域毎に特徴量を算出する。
第４、第５、第６、第７の実施形態は、入力画像から同時生起確率行列を作成し、これを基に背景領域の特定を行う。
いずれの実施形態も、その上位概念として、処理の最初に入力画像を水平方向に複数分割する、水平分割領域を設定し、それらの水平分割領域を一つの入力画像とみなして、処理を行う。
【００１１】
［１．実施形態の共通概念］
図１（ａ）及び（ｂ）は、本発明の実施形態よりなる監視装置の動作の概略を例示して示すイメージ図である。
図１（ａ）において、入力画像データ１０１には、海１０２と空１０３と、海に浮かぶ不審物としての船１０４が存在する。この海１０２は遠方を撮影した風景であり、入力画像データ１０１中の海の部分の下の方と水平線近傍とでは、実際の距離は大きく異なる。このために、海面上に生じている波しぶきは、手前のものは大きく、遠方のものは小さく見える。すなわち、撮影された静止画像データ上に海が全体では一様な模様を構成していない。
このような入力画像データ１０１を、全体を対象として評価すると、精緻な結果を得難い。
そこで、図１（ｂ）に示すように、入力画像データ１０１を水平線方向に複数に分割し、水平分割領域１０５、１０６、１０７、１０８、１０９及び１１０を作成する。
この、分割した画像データのそれぞれの水平分割領域に対して、不審物の有無の判定を行う。
【００１２】
この技術思想を実現するためのブロック図を図２（ａ）及び（ｂ）に示す。図２は、本発明の実施形態の共通概念よりなる、監視装置の全体ブロック図である。図２（ａ）は実際の装置の中身に即したブロック図であり、図２（ｂ）は機能を中心に見た仮想的なブロック図である。
図２（ａ）において、監視装置２０１は撮像カメラ２０２から得られる画像データから不審物の存在の有無を検出し、不審物の有無を知らせる二値信号（アラーム出力）か、または所定の処理を施した画像信号を出力するものである。撮像カメラ２０２は例えばＣＣＤ撮像素子等からなる、画像信号を出力する周知のカメラである。出力される画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等で他のホスト装置へ送出される。
監視装置２０１は主にマイクロコンピュータよりなる。マイクロコンピュータを構成するＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５とバス２０６は、撮像カメラ２０２から得られる画像データに所定の処理を行って、出力インターフェース２０７を通じて所定の信号等を出力する。
なお、図２（ａ）の構成は、この後詳述する各実施形態全てに共通の構成である。
【００１３】
図２（ｂ）において、実体がＲＡＭ２０５である画像保存部２１２を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムによって実現される機能である。これらソフトウェアはＲＯＭ２０４に格納されている。
撮像カメラ２０２から得られる画像信号は、入力静止画像データとして画像保存部２１２に保存される。
水平領域分割部２１３は画像保存部２１２内の入力静止画像データに対し、横方向に分割した水平分割領域を与える。
領域判定処理部２１４は、水平領域分割部２１３によって水平方向に分割された画像保存部２１２内の入力静止画像データの各領域毎に、異物の有無及び位置、形状、面積等を算出し、得られた結果を二値のアラーム、或は画像データとしてストレージやネットワーク等に出力する。
なお、図２（ｂ）の構成は、この後詳述する各実施形態全てに共通の概念である。
【００１４】
図２（ｃ）は、図２（ｂ）の監視装置の動作を示すフローチャートである。
監視装置２０１が処理を開始すると（Ｓ２２１）、水平領域分割部２１３が入力画像データ１０１をｎ個（ｎは２以上の整数）に分割する（Ｓ２２２）。実際には、プログラムにて入力画像データ１０１が格納されるＲＡＭ２０５内の相対アドレス範囲を指定することとなる。
次に、ループ処理の制御のため、カウンタ変数ｉを１に初期化する（Ｓ２２３）。そして、ｉ番目の水平分割領域、すなわち水平分割された入力画像データの一部に対して、領域判定処理部２１４にて領域判定処理（前述の異物の有無の判定等）を行う（Ｓ２２４）。
領域判定処理部２１４の領域判定処理が終わったら、カウンタｉをインクリメントし（Ｓ２２５）、カウンタｉが領域の数ｎを超えたか否か見て（Ｓ２２６）、カウンタｉがｎを超えるまで水平分割領域に対して領域判定処理を行う。
全ての水平分割領域に対する領域判定処理が完了したら、終了する（Ｓ２２７）。
【００１５】
これより説明する第１から第７の実施形態では、領域判定処理部２１４の具体的な処理を説明する。
各実施形態は入力画像データを水平分割しなくても、単独で自然の風景等に対して良好な不審物検出性能を示す。
しかし、前述のような遠方の風景を処理する場合は、単独では必ずしも最適とはいえない。そこで、遠方の風景の処理に際しては、これから説明する種々の領域判定処理に先立ち、入力画像データに対して水平に分割した領域を設定し、それら個々の水平分割領域を一つの画像データとみなして、領域判定処理を行う。このような前処理を施すことは、遠方の風景における不審物検出性能の向上に寄与する。
【００１６】
［２．特徴量］
実施形態の説明に先立ち、第１、第２及び第３の実施形態にて判断の根拠となる、特徴量を説明する。
特徴量とは、画像の模様、或は質感である。一般的な描画ソフトウェア等において「テクスチャ（texture）」と呼ばれるものとほぼ同義である。
草原であれば、緑色の濃淡が斜め方向に放物線状に多数存在する。
穏やかな海面であれば、濃青色を基調として、日光を反射する水平線に平行な細かい模様や、波しぶき等の白色の部分が一面に多数存在する。
これら自然の風景は、人工的に作成されたタイル等の、機械的に一定の模様を形成しているものではない。しかし、ランダムなばらつきを有するものの、一定の類似する模様のような特徴を形成していると認められる。草原に波しぶきは存在しないし、穏やかな海面に斜め方向の濃淡は存在しないのである。
これら自然の風景は時刻と共に自然現象によって動く。したがって、従来技術のように単純に時間差を伴う複数の静止画像を比較しただけでは、本来的に背景であるにもかかわらずそれが動いているもの、すなわち不審物であると誤認識してしまう。
本実施形態においては、この「動く背景」に対し、「背景のテクスチャ」を捉えることにより、時間軸上の変化に惑わされず、背景を背景としっかり認識する技術を提供する。
背景のテクスチャ或は背景の模様を捉える、ということは、背景の中に存在する異物の特徴も捉えることができることを意味する。これが特徴量の算出である。
入力画像データを均等な細かい領域に分割し、それぞれの分割領域毎に特徴量を算出する。算出した各々の分割領域毎の特徴量のうち、背景の特徴量から逸脱した値を示すものは、不審物が存在する領域であると判断する。このために、サンプルの特徴量と目的とする分割領域の特徴量がどれだけ似ているか、似ていないかを計算する。これが「距離の計算」である。最終的には、得られた距離を所定の閾値と比較する等して、背景であるか否かを判定する。これは、従来より周知である、単一の画素同士の輝度の差を計算する技術思想の延長である。
以上が、全実施形態における共通の概念である。
特徴量とはどのように得るのか、特徴量同士の距離計算とはどのように行うのかについては、後述する。
【００１７】
［３．第１の実施形態］
これより第１の実施形態を説明する。始めに本実施形態の概略を説明する。本実施形態では、予めサンプルの画像データを与え、そこから背景部分を手作業で指定し、その特徴量を保持しておく。そして、その後装置が本稼動すると入力画像データの分割領域毎に保持している背景サンプルの特徴量データと比較する。
図３は、本発明の第１の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。
撮像カメラ２０２から得られる入力静止画像データは、一旦画像保存部２１２に保存される。
領域分割部３１３は、水平領域分割部３１３ａと小領域分割部３１３ｂよりなる。先ず、水平領域分割部３１３ａにて処理単位としての水平領域の情報が与えられた後、小領域分割部３１３ｂは更に均等な形状の矩形状領域に分割する。
特徴量算出部３１４は分割された各々の画像データの特徴量計算を行う。
一方、背景特徴量保存部３１５は、予め操作者の操作によって特定された背景領域の特徴量を保存している。
距離計算部３１６は、特徴量算出部３１４から得られる各分割領域毎の特徴量と、背景特徴量保存部３１５内に保存されている背景特徴量との距離を計算する。距離計算部３１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。
【００１８】
背景特徴量保存部３１５には、表示部３０３と入力部３０４が接続されている。
表示部３０３は例えばＬＣＤ等の、周知のディスプレイ装置である。
入力部３０４は例えばマウス等の、周知のポインティングデバイスである。
背景特徴量保存部３１５は、サンプルとなる背景の特徴量を保存するものである。本装置の本稼動の前に、予めサンプルとなる入力画像データを表示部３０３にて表示し、そこに入力部３０４によって背景を取得する範囲を入力する。そして、特徴量算出部３１４にて特徴量を算出し、これを保存する。
【００１９】
図４（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第１の実施形態による監視装置の動作の概略を示すイメージ図である。
図４（ａ）において、入力画像データとして、海４０２と空４０３と不審物である船４０４を含む画像データ４０１がある。これは画像保存部２１２に保存されている。
図４（ｂ）において、背景特徴量保存部３１５では、操作者の操作により、入力画像データを表示部３０３にて表示し、入力部３０４にて背景部分を囲む。図４（ａ）の点線で囲まれている範囲が、操作者による入力部３０４の操作によって入力された背景部分領域である。この領域を、特徴量算出部３１４にて算出し、背景特徴量保存部３１５に保存しておく。図４（ａ）では、空の部分と海の部分とで二つの背景サンプルＢ（１）とＢ（２）が保存されている。
図４（ｃ）において、入力画像データは領域分割部３１３にて細かく分割され、それぞれの領域に対して特徴量算出部３１４が特徴量を算出する。図４（ｃ）では、Ｓ（１）〜Ｓ（２５）迄の２５個の分割領域が設けられている。
距離計算部３１６は、背景サンプルと小分割領域の距離を計算する。この計算は一つずつ順番に行われる。つまり、
背景サンプルＢ（１）と小分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（１）との距離を計算し、
背景サンプルＢ（１）と小分割領域Ｓ（２）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に
背景サンプルＢ（１）と小分割領域Ｓ（２５）との距離を計算し、
背景サンプルＢ（２）と小分割領域Ｓ（２５）との距離を計算して終了する。
【００２０】
以上は、画面全体を対象に特徴量を算出する説明である。
本実施形態では、予め入力画像データを水平方向に複数の領域に分割してから、前述の処理を行う。したがって、背景領域の指定は、これら水平分割領域を跨るように指定しなければならない。
図５は、表示部３０３に表示される画面を示す。
表示される画面には水平分割線５０２を明示的に表示する。使用者は背景領域を指定する際に、水平分割線５０２を意識して、背景の指定に抜けがないように、背景領域設定範囲５０３を設定する。
【００２１】
図６は、第１の実施形態にかかる監視装置の、実稼動に先立つ前処理を示すフローチャートである。
処理を開始すると（Ｓ６０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ６０２）。
次に、入力静止画像データを表示部３０３にて表示する（Ｓ６０３）。
操作者はこれを目視で確認しながら、入力部３０４を操作して背景領域のアドレス範囲を入力する（Ｓ６０４）。
入力が確定されると、指定されたアドレス範囲をＲＡＭ等に保存する（Ｓ６０５）。
そして、サンプルの入力静止画像データから指定されたアドレス範囲のピクセルを抜き出し、特徴量を算出し、保存し（Ｓ６０６）、終了する（Ｓ６０７）。
【００２２】
図７と図８は、第１の実施形態にかかる監視装置の、実稼動状態を示すフローチャートである。
処理を開始すると（Ｓ７０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ７０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ７０３）。
これ以降は、算出した各小領域毎の特徴量と背景サンプルとの距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ７０４）。変数ｉは各小領域毎の特徴量を特定する変数である。
次に変数ｊを１に初期化する（Ｓ７０５）。変数ｊは背景サンプルを特定する変数である。
そして、背景サンプルＢ（ｊ）と、分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ７０６）。
次に、距離計算の結果得られた距離を、予め別途保持している閾値と比較する（Ｓ７０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ７０８）。フラグ変数ｆ（ｉ）は、小分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。なお、距離が閾値以上でなければ、フラグｆ（ｉ）を０に下げる（Ｓ７０９）。
【００２３】
次に、変数ｊが最大値に達したか否かを検証する（Ｓ８１０）。図８の場合であれば、背景サンプルは二つなので、ｊが２に達したか否かを見ることとなる。ｊが最大値であれば、全ての背景サンプルと現在検証対象としている小分割領域との距離の計算が終わったことになるので、変数ｉをインクリメントする（Ｓ８１１）。つまり、次の小分割領域の評価に移行する。ｊが最大値でなければ、まだ距離の計算が残っている背景サンプルがあるので、ｊをインクリメントする（Ｓ８１２）。
フラグを下ろした後、変数ｉを検証する（Ｓ８１３）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ８１４）。これは、フラグを下ろした、ということは、距離計算による検証の結果、当該小分割領域が背景であるものと判断されたことに因る。図８の例では、最初に空の背景サンプルとの距離を計算した結果、それが空であるものと判断されたら、次に海の背景サンプルとの距離を計算する必要はない。このため、次の背景サンプルとの距離計算処理をスキップするためにこの処理を行うものである。
変数ｉが最大値に達していれば、全ての小分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ８１５）。
検証の結果、フラグが全く上がっていなければ、全ての小分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該小分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力して（Ｓ８１６）、終了する（Ｓ８１７）。
【００２４】
本実施形態においては、予め背景のサンプルを手作業で指定する。このため、背景の特徴量が変化すると、これに追従できない、という欠点がある。例えば海を監視する場合においては、海が天候によって荒れたり、撮像カメラ２０２が撮影角度を移動したりして空と海との配置関係が変わったりすると、誤認識を引き起こしてしまうだろう。
しかしながら、これら特徴を十分に把握した上で、適切な監視対象に対して適切な設置を行えば、本実施形態は十分にその機能を発揮し得る。背景特徴量があまり変わらない監視対象であったり、撮像カメラ２０２を固定して運用する場合、あるいは背景特徴量が変わった際に再度背景サンプルを入力し直してもよいような場合には、この方法を用いてもよい。
【００２５】
ところで、小分割領域の大きさをどう決定するかは、監視対象によって若干異なる。例えば、複雑な模様を形成する背景に対してあまり小さ過ぎる小分割領域を設定しても、特徴量を適切に演算できるとはいえない。しかし、検出したい不審物の大きさが小さい場合には、あまり大き過ぎる小分割領域を設定しても、得られる特徴量にその変化が現れ難くなってしまう。したがって、最適な小分割領域面積は監視対象に応じて変更する必要がある。このため、監視装置を実稼動させる前に予め試験的に小分割領域面積を変更しながら試験運転を行い、最適値を決定するとよいだろう。
【００２６】
以上に説明したことをまとめる。
本実施形態の監視装置３０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置３０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。次に、得られた特徴量データを、予め手入力により範囲を設定され、演算処理後保持されている所定値１１５との距離を計算し、得られた「距離」を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された小分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００２７】
［４．特徴量の演算方法］
ここで、特徴量の演算方法を説明する。
特徴量とは、一定の範囲の画像データを読み込み、その画像データに現れている特長を数値化したものである。
画像データの特徴とは様々なものが考えられる。色度、彩度、模様等多岐に渡る。したがって、単一のスカラ量であることはあり得ず、沢山の要素よりなる行列で表される。
図９（ａ）、（ｂ）及び（ｃ）は本発明にて説明する第１、第２及び第３の実施形態に共通に利用可能である特徴量演算方法の一つ、色ヒストグラムを説明する概略図である。
図９（ａ）は入力画像データのサンプルを示す。入力画像データ９０１には、海９０２が全体に広がっており、その中に不審物である船９０３が存在する。不審物は黒色のピクセルよりなる。
図９（ｂ）は図９（ａ）に示した入力画像データのサンプルのうち、海の部分を拡大したものを示す。海９０２には波しぶき９０４が生じている。海水９０５の部分は青色のピクセルにて、波しぶき９０４の部分は白色のピクセルにてなる。
図９（ｃ）は全ての色成分を行列にしたものである。図９（ａ）の入力画像データに存在する各ピクセルを、この行列９０６に該当する箇所の要素に一つずつ加算していく。すると、波しぶきを表現する白色の領域９０７と、海水を表現する青色の領域９０８と、不審物である船を表現する黒色の領域９０９に累積点が集中する。つまり、この三箇所において、周知のガウス曲面のような曲面が形成されるものと思っていただければよいだろう。
以上説明したように、色ヒストグラムは、カラー画像データ中の各ピクセル毎に、色の出現頻度を計数したものである。画像を構成する色の粒をばらばらにして、同じ色素毎にかき集めたと考えても良いだろう。このため、生成したデータには模様の概念が失われることとなる。
【００２８】
図１０（ａ）、（ｂ）、（ｃ）及び（ｄ）は本発明にて説明する第１、第２及び第３の実施形態に共通に利用可能である特徴量演算方法の一つ、周波数解析を説明する概略図である。
図１０（ａ）は、入力画像データの一部１００１を示す。これは図９（ｂ）で示したものと同じ、入力画像データのサンプルのうち、海の部分を拡大したものを示す。図１０（ｂ）はその一部分を更に拡大して、波しぶきの一部を示す。波しぶきに該当するピクセルは明るく、海水に該当するピクセルは暗い。この、各ピクセル１００２の輝度を取得する。
図１０（ｃ）は、入力画像データを構成する各ピクセルの明度を左側から右側へ順番にプロットしたものの一例を示す。海水に該当する箇所は輝度が低く、波しぶきに該当する箇所は輝度が高いことがわかる。そして、このようにして得られる図形を、あたかも信号のようにみなし、その周波数成分を解析するのが、周波数解析である。
図１０（ｄ）は、その周波数解析の結果の一例を示す。図１０（ｃ）でプロットした波形をフーリエ解析し、横軸に周波数、縦軸にレベルを取る。最終的には、このようにして得られたデータを行列とする。つまり、画像データの輝度を波形化したものの周波数成分よりなる行列である。
以上説明したように、周波数解析は、画像データ中の各ピクセル毎に、輝度の変化を波形と見立てて周波数成分を分析すべく、フーリエ変換したものである。このため、濃淡のパターン、転じて所定の模様のパターンが周波数成分となって表現されることとなる。
【００２９】
図１１は、同時生起確率行列の概要を説明するための図である。
図１１（ａ）において、Ｐ１とＰ２は画像データ中の任意の二つのピクセルである。ピクセルＰ１からピクセルＰ２へは、距離ｒと角度θだけ離れている。このｒとθを相対位置関数δとする。δ＝（ｒ，θ）と表す。
図１１（ｂ）において、δ１＝（１，０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う次のピクセルを指し示す。
図１１（ｃ）において、δ１＝（１，９０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う真上のピクセルを指し示す。
同時生起確率行列は、この一定の相対位置関数δだけ離れている二点のピクセルの輝度の組み合わせを、輝度を要素数とする正方行列に加算する仕組みである。
【００３０】
図１２に、説明のために簡素化した画像データと簡素化した同時生起確率行列を示す。
図１２（ａ）において、４×４の１６ピクセルよりなる画像データ内の各ピクセルは、０〜３迄の４段階の輝度を有する。
図１２（ｂ）は、４段階の輝度よりなる４×４の正方行列である同時生起確率行列である。ここで、相対位置関数δ＝（ｒ，θ）＝（１，０°）の関係にて、図１２（ａ）の画像データから同時生起確率行列を作成する手順を以下に示す。
図１２（ａ）の（ｘ，ｙ）＝（０，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（１，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは０である。したがって、（ｉ，ｊ）＝（０，０）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（０，０）に１を加える。
図１２（ａ）の（ｘ，ｙ）＝（１，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（２，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは１である。したがって、（ｉ，ｊ）＝（０，１）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（１，０）に１を加える。
以上のように、相対位置関数δだけ離れている各ピクセルの輝度の組み合わせに相当する行列の要素をカウントアップする動作を、全てのピクセルに対して行う。つまり、この正方行列は、二つのピクセルの輝度の組み合わせの出現回数を示す、カウンタの行列である。
なお、往復カウントをするか否かは設計者の任意である。
【００３１】
同時生起確率行列はその性質上、相対位置関数を複数取って、それぞれに複数の行列を生成することが望まれる。画像を構成する模様が水平や垂直とは限らないからである。最低でも縦と横の相対位置関数は取ることが望ましい。
【００３２】
これら特徴量演算方法により、沢山の数値データよりなる行列よりなる特徴量が、入力画像データの分割領域毎に作成される。
得られた特徴量を、予め保持している所定のサンプル値や他の特徴量と比較して、「距離」を算出する。この演算を特徴量距離計算といい、後述する。
なお、以上に例示列挙した特徴量演算方法のいずれを採用するかは、得られる特徴量の精度と演算量とのトレードオフにて、設計者が決定する。
【００３３】
［５．特徴量距離計算方法］
以上説明した特徴量演算方法により、入力画像データの分割領域毎に特徴量が作成される。これらは全て沢山の数値データよりなる行列である。
行列データ同士を比較するにはどうするか。ここで、求めたい値とは、二つの行列データの類似度である。前述の第１の実施形態にあっては、サンプル背景データの特徴量を構成する行列データと、分割領域の特徴量を構成する行列データである。
行列データの類似度を得るための方法は従来より様々な方法知られている。以下に例示列挙する。
（１）行列の各要素毎に差を取り、得られた行列の各要素の総和を取る方法（ＳＡＤ: Sum of Absolute Difference)。
（２）行列の各要素毎に差を取り、得られた行列の各要素を二乗し、その後各要素の総和を取る方法（ＳＳＤ: Sum of Squared Difference）。
（３）行列の各要素をベクトルの成分として捉え、行列同士の内積を取る方法。すなわち、行列の各要素同士の積を取り、得られた行列の各要素の総和を取る方法（内積: Normalization）。
【００３４】
これら特徴量の比較演算により、最終的には単一のスカラ値よりなる「距離」が得られる。
得られた距離を予め保持している所定の閾値と比較して、所定の判断を行う。
なお、例示列挙した特徴量距離計算方法のいずれを採用するかは、得られる距離の精度と演算量とのトレードオフにて、設計者が決定する。
【００３５】
以上に述べた特徴量演算方法と特徴量距離計算方法は、前述の第１の実施形態、そして後述する第２及び第３の実施形態において共通に選択して利用可能な技術である。すなわち、いずれの実施形態においても、特徴量演算方法として色ヒストグラム、周波数解析、同時生起確率行列のいずれを採用してもよいし、特徴量距離計算方法としてＳＡＤ、ＳＳＤ、内積のいずれを採用してもよい。
【００３６】
［６．第２の実施形態］
図１３は、本発明の第２の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。なお、第１の実施形態を説明した図３と共通の部分については、重複を避けるために説明を割愛する。
第２の実施形態の、第１の実施形態と異なる部分は、背景特徴量保存部２０２の代わりに平均値保存部１３０２が設けられている点である。
平均値保存部１３０２は、特徴量算出部３１４から得られる各小分割領域毎の特徴量の平均値を保存する。
距離計算部３１６は、特徴量算出部３１４から得られる各小分割領域毎の特徴量と、平均値保存部１３０２内に保存されている平均値との距離を計算する。距離計算部３１６による距離計算の結果、背景でないと判断された分割領域は、不審物が存在するものと判断し、アラーム出力をする。
【００３７】
図１４（ａ）、（ｂ）及び（ｃ）は、入力画像データを例示して第２の実施形態による監視装置の動作の概略を示すイメージ図である。
図１４（ａ）において、入力画像データとして、海１４０２と不審物である船１４０４を含む画像データ１２０１がある。
図１４（ｂ）において、平均値保存部１３０２には、特徴量算出部３１４にて算出された、各小分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）の平均値が格納される。つまり、全ての分割領域の特徴量の総和を、分割領域の数で割った値である。
距離計算部３１６は、平均値と分割領域との距離を計算する。この距離計算は一つずつ順番に行われる。つまり、
平均値Ｂと分割領域Ｓ（１）との距離を計算し、
平均値Ｂと分割領域Ｓ（２）との距離を計算し、
という演算作業を順番に行い、最後に、
平均値Ｂと分割領域Ｓ（２５）との距離を計算して終了する。
【００３８】
図１５と図１６は、第２の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１５０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１５０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ１５０３）。
そして、得られた全ての各小分割領域毎の特徴量から、平均値を算出する（Ｓ１５０４）。
これ以降は、算出した各小分割領域毎の特徴量と平均値との距離を順番に計算する処理である。
最初に変数ｉを１に初期化する（Ｓ１５０５）。変数ｉは各小分割領域毎の特徴量を特定する変数である。
そして、平均値Ｂと、小分割領域特徴量Ｓ（ｉ）との距離を計算する（Ｓ１５０６）。
次に、距離計算の結果を、予め別途保持している閾値と比較する（Ｓ１５０７）。距離が閾値以上であれば、フラグ変数ｆ（ｉ）を１に上げる（Ｓ１５０８）。フラグ変数ｆ（ｉ）は、小分割領域と同じ数だけ設けられている変数であり、１でフラグが上がっているものとされ、０でフラグが下りているものとされる。
【００３９】
次に、変数ｉを検証する（Ｓ１６０９）。検証の結果、最大値でなければ、ｉをインクリメントする（Ｓ１６１０）。変数ｉが最大値に達していれば、全ての小分割領域に対して距離計算が終了したことを意味する。そこで、フラグ変数ｆ（ｉ）を全て見て、フラグが上がっている変数があるか否かを検証する（Ｓ１６１１）。
検証の結果、フラグが全く上がっていなければ、全ての分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、フラグが一つでも上がっているものがあれば、当該小分割領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１６１２）、終了する（Ｓ１６１３）。
【００４０】
以上に説明したことをまとめる。
本実施形態の監視装置１３０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１３０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。その後、全分割領域の特徴量データの平均を算出し、平均値保持部１３０２（実体はＲＡＭ２０５）内に保存する。次に、得られた特徴量データと、平均値保持部１３０２内の平均値との距離を計算し、この結果得られた距離を所定の閾値と比較する。閾値に満たない距離の領域は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と距離計算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００４１】
［７．第３の実施形態］
図１７（ａ）及び（ｂ）は、本発明の第３の実施形態よりなる監視装置のブロック図である。図２（ｂ）の内容に基づくものである。なお、第２の実施形態を説明した図１３と共通の部分については、重複を避けるために説明を割愛する。
図１７（ａ）において、第３の実施形態の、第２の実施形態と異なる部分は、特徴量算出部３１４と比較部１７０４との間にクラスタリング処理部１７０３が設けられ、比較部１７０４はこのクラスタリング処理部１７０３と閾値１７０２とを比較している点である。
クラスタリング処理部１７０３は、特徴量算出部３１４から得られる各小分割領域毎の特徴量同士の距離を計算し、距離が近いと判断できる小分割領域同士、すなわち類似すると判断できる小分割領域同士を類似する画像であるとみなしてグルーピング化する、「クラスタリング」という処理を行う。この処理により、各々の類似する小分割領域は同じ画像部分に属する集合として分類される。
比較部１７０４は、クラスタリング処理部１７０３から得られる各小分割領域の集合の要素数と閾値１７０２とを比較する。比較部１７０４による比較の結果、背景でないと判断された小分割領域の集合は、不審物が存在するものと判断し、アラーム出力をする。
【００４２】
図１７（ｂ）は図１７（ａ）のクラスタリング処理部１７０３の内部構成を示すブロック図である。
距離計算対象設定部１７１３は、特徴量算出部３１４から得られた特徴量１７１２の、どの特徴量同士を距離計算の対象とするか、決定する。
距離計算部１７１４は、距離計算対象設定部１７１３によって選択された二つの特徴量同士の距離を計算する。
比較部１７１６は、距離計算部１７１４より得られた距離を、閾値１７１５と比較する。この比較結果は、二つの小分割領域を併合するか否かの判定に繋がる。
グルーピング処理部１７１７は、比較部１７１６の比較結果に応じて、二つの小分割領域を併合し、或は併合せずそのままにする。
以上、一連の処理を通じて、小分割領域毎の特徴量は幾つかの類似する特徴量同士の群に分類される。この処理の後、特徴量の群の数を表すデータは、比較部１７０４にて閾値１７０２と比較され、背景であるか否かの判定に繋がる。
【００４３】
図１８（ａ）、(ｂ)、(ｃ)及び（ｄ）は、入力画像データを例示して第３の実施形態による監視装置の動作の概略を示すイメージ図である。なお、この図１８では説明の便宜上水平領域分割を行わない場合の説明を行う。
入力画像データとして、海と不審物である船を含む画像データ１８０１がある。
クラスタリング処理部１７０３は、特徴量算出部３１４にて算出された、各分割領域毎の特徴量Ｓ（１）〜Ｓ（２５）を全て見比べて、類似する分割領域をまとめる処理を行う。
先ず、図１８（ａ）の、画像データ１８０１を分割した領域の一番左上の領Ｓ（１）と、その隣の領域Ｓ（２）との距離を、距離計算部１７１４にて計算する。距離計算の結果得られた二つの特徴量の距離を、別途予め用意している閾値１７０２と比較して、互いの分割領域が類似するものであるか否かを判断する。図１８（ａ）では、領域Ｓ（１）とＳ（２）は両方とも海の部分であるので、その特徴量は類似するため、距離は近い。そこで、同じ模様であるとみなし、一つにまとめる。これが図１８（ｂ）に示す処理である。つまり、領域Ｓ（１）とＳ（２）を一つにして、境界線を消去する概念である。
図１８（ｂ）から更に隣り合う領域同士の距離計算と、得られた距離と閾値１７０２との比較による類似判断を進めていく。すなわち、図１８（ｃ）に示すように、類似する画像の分割領域の境界線が次々と消去されるイメージである。
最後には、図１８（ｄ）に示すように、他の分割領域とは特徴量が大きく異なり、距離が遠いと認められる分割領域Ｓ（１２）、Ｓ（１３）及びＳ（１４）が残る。これが、不審物が存在する領域となる。
【００４４】
図１９は、第３の実施形態にかかる監視装置の動作を示すフローチャートである。
処理を開始すると（Ｓ１９０１）、サンプルとなる入力静止画像データをＲＡＭに取り込む（Ｓ１９０２）。
次に、水平領域分割部３１３ａにて水平領域分割を行い、その後小領域分割部３１３ｂにて分割した各小分割領域毎の特徴量を、特徴量算出部３１４にて算出する（Ｓ１９０３）。
そして、得られた全ての各小分割領域毎の特徴量を基に、クラスタリング処理を行う（Ｓ１９０４）。クラスタリング処理の結果、小分割領域は類似する領域同士にまとめられる。
次に、領域の面積、すなわち類似する領域を構成する小分割領域の数と、閾値１７０２とを比較し、背景と認められない狭い領域があるか否かを検証する（Ｓ１９０５）。
検証の結果、全ての領域を構成する小分割領域の数が閾値１７０２以上であれば、全ての小分割領域は背景であり、不審物は存在しないと判断できる。
逆に検証の結果、特定の領域を構成する小分割領域の数が閾値１７０２に満たないものがあれば、当該領域は背景ではなく、不審物はそこに存在するものと判断できる。
不審物の存在が認められたら、アラームを出力し（Ｓ１９０６）、終了する（Ｓ１９０７）。
【００４５】
以上に説明したことをまとめる。
本実施形態の監視装置１５０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
入力静止画像データが監視装置１５０１に入力されると、これを画像保存部２１２（実体はＲＡＭ２０５）内に保存する。次に、水平領域分割部３１３ａにて水平分割領域に分割する。そして、小領域分割部３１３ｂにて均等な面積形状に分割された後、特徴量算出部３１４にて特徴量データを小分割領域毎に作成する。
その後、クラスタリング処理部１７０３にて、全小分割領域の特徴量データ同士の距離を計算し、得られた距離が小さい小分割領域同士を同じ模様の領域であると判断し、それらを統合する、クラスタリング処理を行う。こうして、複数の小分割領域が幾つかの領域の集合体に分類される。
次に、分類された複数の小分割領域の集合体を構成する小分割領域の数を、所定の閾値１７０２と比較する。閾値１７０２以上の数の小分割領域よりなる集合は、背景であるものと判断する。そして、背景と判断された分割領域を示すフラグを下ろす。
以上の処理は、水平領域分割部３１３ａにて作成された水平分割領域毎に行われる。
以上の処理により、入力静止画像データから特徴量演算と比較演算を経て、背景の領域とそれ以外の部分の領域とを判別することができる。
【００４６】
［８．第４の実施形態］
図２０は、本発明の第４の実施形態にかかる画像処理装置の全体ブロック図である。
図２０において、実体がＲＡＭ２０５である画像保存部２１２を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムである。これらソフトウェアはＲＯＭ２０４に格納されている。
撮像カメラ２０２から得られる画像信号は、一旦静止画像として画像保存部２１２に保持される。
水平領域分割部２１３は画像保存部２１２内の入力静止画像データに対し、横方向に分割した水平分割領域を与える。
特徴量算出部２０１３は、画像保存部２１２内の静止画像データと、水平領域分割部２１３から得られる水平分割領域の情報を得て、水平分割領域毎に特徴量データを作成する。これは後述する同時生起確率行列によって作成される、画像データの相対アドレスよりなる配列データである。
画素判定部２０１４は、特徴量算出部２０１３にて作成された配列データを基に、静止画像データ中の不審物を特定するビットマップデータを作成する。
画素集合決定部２０１５は、作成されたビットマップデータから、静止画像データ中に占める不審物と思しき画像部分の総面積と、中心座標を算出する。
【００４７】
なお、本実施形態にかかる画像処理装置２００１は、撮像カメラ２０２と併せて、主に沿岸に設置される目的で作られている。撮像カメラ２０２は図示しないモータ等の駆動機構によって沿岸周辺海域を広く見渡すように往復駆動される。
遠くの海辺の不審物を察知するためには、カメラの倍率を上げなければならない。カメラの倍率を上げることは、撮影角度が小さくなることを意味し、このためにカメラを往復駆動する必要が生じる。
カメラを往復駆動する、ということは、直前の静止画像と現在の静止画像とを比較して、画像データ同士の相違点から不審物等を見つける、という手法が取り辛い。本実施形態にかかる発明は、このような背景事情に基づいている。
【００４８】
図２１は、ＲＡＭ２０５の内部を模式的に図示するものである。ＲＡＭ２０５の内部には、画像保存部２１２ともいえる入力画像ビットマップデータ保存領域２１０２と、同時生起確率行列のための配列データ領域２１０３と、画像フラグビットマップデータ領域２１０４の三つが存在する。
図２２はＲＡＭ２０５の内部に格納されているデータを図示するものである。
図２２（ａ）は、ＲＡＭ２０５の入力画像ビットマップデータ保存領域２１０２に格納されている、入力画像ビットマップデータである。つまり、撮像カメラ２０２にて撮影された静止画像データそのものである。各々のピクセルは例えば０〜２５５迄の輝度を表すデータである。図２２（ａ）では、海２２０２と空２２０３と不審物である船２２０４が写っている。
図２２（ｂ）は、ＲＡＭ２０５の画像フラグビットマップデータ領域２１０４に格納される、画像フラグビットマップデータである。後述する処理にて、入力画像ビットマップデータから不審物の領域を検出したものである。この図では、船２２０４に相当する領域のビットが立っている。
図２２（ｃ）は、画像フラグビットマップデータの一部を拡大したものである。各ピクセルは１ビットよりなり、ビットが立っていれば（ビットの値が１であれば）、そこは不審物と思しきピクセルを示し、ビットが下りていれば（ビットの値が０であれば）、そこは背景と思しきピクセルを示す。
【００４９】
図２３は、ＲＡＭ２０５の配列データ領域２１０３に格納される、配列データを模式的に示すものである。実際にＲＡＭ２０５の中身がこのような形状になっている訳ではないが、ソフトウェアプログラムにて仮想的にこのような形状に構築されていると思って頂きたい。
図２３（ａ）において、配列データ２３０１は同時生起確率行列をベースとする、可変長の配列データの集合体である。同時生起確率行列は、縦ｋと横ｌがそれぞれ０〜２５５迄の２５６個の要素よりなる正方行列である。この縦ｋと横ｌは画像データの輝度に相当する。この行列上の各々の要素に立方体が積み上がっている。この立方体は一つに画像データの１ピクセルを示す相対アドレスが格納されている。
【００５０】
図２３（ａ）の（ｋ、ｌ）［１］とは、ｋ番目の行でｌ番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ）［２］とは、ｋ行ｌ列の行列要素よりなる配列データの、２番目の配列要素である。
配列データ（ｋ、ｌ）は５個の配列要素を持ち、（ｋ、ｌ）［５］まで存在している。
図２３（ａ）の（ｋ、ｌ−１）［１］とは、ｋ番目の行でｌ−１番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ−５）［１］とは、ｋ行ｌ−５列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ−３、ｌ）［１］とは、ｋ−３行ｌ列の行列要素よりなる配列データの、１番目の配列要素である。
このように積み上がっている立方体には、入力画像ビットマップデータ領域２１０２に格納されている画像データの、１ピクセルを示す相対アドレスがそれぞれ格納されている。
【００５１】
図２３（ａ）は紙面の都合上、うず高く積み上がる配列データの一部分しか図示できていない。しかし、実際には図２３（ｂ）に示すような、周知のガウス曲面に近い形状になることが推測できる。
なお、この同時生起確率行列をベースとする配列データの詳細な作成方法は、後述する。
【００５２】
図２４は、ＲＡＭ２０５と、ＲＡＭ２０５内に格納されている各々のデータの関係を模式的に示す図である。
入力画像ビットマップデータ領域２１０２中の、広い面積を示す背景部分は、同時生起確率行列を構成する配列データ領域２１０３の、要素の多い箇所に集中する。その、集中している部分の配列要素として格納されている画像データの相対アドレスが、画像フラグビットマップデータ領域２１０４の背景部分の相対アドレスに該当し、その箇所のフラグを下ろすこととなる。
図２４においては、入力画像ビットマップデータ領域２１０２の一部を示す画像の、点線で囲んだ部分、すなわち空の一部分に該当する画像データが、配列データ領域２１０３の、積み上がっている立方体にそれぞれ対応している。つまり、これら立方体をなす配列変数には、その要素として画像データ中の点線部分にて囲まれたピクセルの相対アドレスが格納されている。そして、それら相対アドレスは画像フラグビットマップデータ領域２１０４の該当箇所のフラグを１から０へ下ろす。
【００５３】
先に、図１１及び図１２にて説明した同時生起確率行列の作成手法にて、図２４において入力画像ビットマップデータから配列データを作成するものである。
但し、本実施形態は従来より周知の同時生起確率行列の取り扱いとは異なるアプローチを取っている。
従来技術では、同時生起確率行列は例えば特許文献３にて開示されているように、製造工程中に良品と不良品とを比較するための手法として使われている。予め良品を撮影して同時生起確率行列を保持しておき、製造ラインに流れてきた製品を撮影する。撮影画像データから同時生起確率行列を作成し、これを保持している良品の行列と比較して、相違点から製品の傷や汚れ等の異常を判別する。これが、従来より良く知られている同時生起確率行列の利用である。
本実施形態は、この同時生起確率行列に対して、所定の閾値を用いて各行列要素を比較する。そして、閾値以上の行列要素は、画像データ内にて広い面積を占める領域、すなわち背景であるものと判断する。そして、背景に該当する画像データ内の領域を除外する。
このために、行列要素を配列データとし、配列の要素に画像データ内のピクセルの相対アドレスを格納する必要がある。
全ての処理が終わった後に、画像フラグデータ内にてフラグが下りていない部分が、画像データ内にて背景とは異なる輝度を示す狭い部分、つまり不審物を示す領域であると判断する。
イメージとしては、図２３（ｂ）のガウス曲面を、閾値を示すｘｙ平面と平行の平面にて真横に切断するようなものだと思って頂ければよいだろう。閾値平面によって切断された、つまり閾値平面に触れた行列要素に該当する画像データの相対アドレスは、背景である。
【００５４】
図２５及び図２６は、本実施形態の画像処理装置２００１の動作を示すフローチャートである。
処理を開始すると（Ｓ２５０１）、最初に同時生起確率行列を作成する際のルールである、相対位置関数δを設定する（Ｓ２５０２）。次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ２５０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
次に、相対アドレスａから相対位置関数δだけ離れている地点にピクセルが存在するか否かを検証する（Ｓ２５０４）。例えば、相対位置関数δ＝（１，０°）の場合、相対アドレスａが入力画像ビットマップデータの右端であれば、相対アドレスｂ＝δ（ａ）は存在しない。
相対アドレスｂ＝δ（ａ）があれば、相対アドレスａの輝度をｋに代入し、相対アドレスｂの輝度をｌに代入する。そして、配列データ領域２０３内の行列要素（ｋ，ｌ）の配列に、相対アドレスａを追加する（Ｓ２５０５）。つまり、図２３（ａ）の、立方体を一つ積み上げて、そこに相対アドレスａを格納する。なお、ステップＳ２５０４にて、ｂ＝δ（ａ）がない場合は、同時生起確率行列の追加処理ができないので、ステップＳ２５０５の処理を飛ばす。
次に、相対アドレスａを一つ進める（Ｓ２５０６）。次に、相対アドレスａが存在するか否かを検証する（Ｓ２５０７）。あれば、再びステップＳ２５０４から処理を繰り返す。なければ、それは入力画像ビットマップデータの終端であり、同時生起確率行列の処理が終わったので、次の処理に進む。
【００５５】
全ての入力画像ビットマップデータについて同時生起確率行列の処理が終わったら、その行列要素を用いて閾値の演算を行う（Ｓ２５０８）。閾値の計算方法は様々な方法が考えられる。例えば、予め設定済みの固定値を用いるとか、１以上の行列要素の全ての平均を取る等が考えられる。
閾値を得たら、配列データ領域２０３内の、評価対象とする行列要素の初期値を設定する（Ｓ２６０９）。
次に、行列要素の要素数と閾値を比較する(Ｓ２６１０）。もし、要素数が閾値以上であれば、その行列要素に属する配列要素内の、入力画像ビットマップデータの相対アドレスに対応する画像フラグビットマップデータ領域２１０４内の該当アドレスのフラグを下ろす（Ｓ２６１１）。つまり、そこは背景である、という判断である。もし、要素数が閾値未満であれば、何もしない。つまり、そこは不審物である、という判断である。
そして、評価対象となる行列要素を一つ進める（Ｓ２６１２）。
次に、評価対象となる行列要素があるか否か検証する（Ｓ２６１３）。あれば、再び評価を行う（Ｓ２６１０）。なければそれは処理の終わりを意味する。
最後に、画像フラグビットマップデータ領域２１０４内に残っている、フラグが立っている領域、つまり不審物を示す領域の面積と中心座標を算出して（Ｓ２６１４）、終了する（Ｓ２６１５）。
【００５６】
図２５において、ステップＳ２５０２、Ｓ２５０３、Ｓ２５０４、Ｓ２５０５、Ｓ２５０６及びＳ２５０７よりなる処理は、図２０の特徴量算出部２０１３の処理に相当する。つまり、同時生起確率行列の算出処理である。
図２５において、ステップＳ２５０８、そして図２６において、ステップＳ２６０９、Ｓ２６１０、Ｓ２６１１、Ｓ２６１２及びＳ２６１３よりなる処理は、図２０の画素判定部２０１４の処理に相当する。つまり、不審物のアドレスを決定する処理である。
図２６において、ステップＳ２６１４よりなる処理は、図２０の画素集合決定部２０１５の処理に相当する。つまり、不審物のアドレスの数をカウントし、不審物のアドレスを示す領域の中心を算出する処理である。
【００５７】
［９．第５の実施形態］
次に、本発明の第５の実施形態を説明する。
図２７は、第５の実施形態にかかる画像処理装置にて用いる相対位置関数δを示す概略図である。
本実施形態では、画像処理装置の内部の構成は、第４の実施の形態で説明した図２０のブロック図の構成と殆ど変わらないが、相対位置関数δを複数取り、それに基づいて複数の同時生起確率行列を作成する構成である。
先に説明した第４の実施形態では、相対位置関数δ＝(１,０°）を例に説明した。ところで、従来技術においても同時生起確率行列を複数の相対位置関数δにて取ることは周知である。これは、一定の模様よりなる画像データの特徴をより正確に数値化するための措置である。
図２７において、あるピクセルの近傍にあるピクセルだけでも８つのピクセルが存在することがわかる。
δ１は距離が１であり、角度が０°である。
δ２は距離が√２であり、角度が４５°である。
以下同様に、δ３＝（１，９０°）、δ４＝（√２，１３５°）、δ５＝（１，１８０°）、δ６＝（√２，２２５°）、δ７＝（１，２７０°）、δ８＝（√２，３１５°）となる。
すなわち、８つの相対位置関数δ１〜δ８が作成し得る。
これら８つの相対位置関数δ１〜δ８を用いて、８つの同時生起確率行列を作成することができる。
【００５８】
図２８は、本実施形態にかかる画像処理装置のフローチャートである。
処理を開始すると（Ｓ２８０１）、最初にカウンタ変数ｉを０に初期化する（Ｓ２８０２）。次に、同時生起確率行列を作成する際のルールである、相対位置関数δ（ｉ）の存在を確認する（Ｓ２８０３）。
δ（ｉ）があればこれを設定し（Ｓ２８０４）、これに基づいて同時生起確率行列に基づく特徴量算出処理を行う（Ｓ２８０５）。次に、得られた同時生起確率行列の配列データを用いて、画素判定処理を行う（Ｓ２８０６）。
ここで、ステップＳ２８０５は、図２５のステップＳ２５０３、Ｓ２５０４、Ｓ２５０５、Ｓ２５０６そしてＳ２５０７に等しい。
また、ステップＳ２８０６は、図２５のステップＳ２５０８と、図２６のステップＳ２６０９、Ｓ２６１０、Ｓ２６１１、Ｓ２６１２そしてＳ２６１３に等しい。
次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ２５０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
つまり、ステップＳ２８０５及びＳ２８０６は、図２５の点線で囲むサブルーチンＲ２５２２と等しい。これが、同時生起確率行列よりなる配列データを作成し、そこから画像フラグビットマップデータ領域２１０４にて不審物の画素を判定する処理である。
【００５９】
処理が終わったら、カウンタ変数ｉを進める（Ｓ２８０７）。そして、次の相対位置関数δ（ｉ）の有無を確認し（Ｓ２８０３）、あれば設定し（Ｓ２８０４）、処理を続行する。なければ全ての相対位置関数δ（ｉ）について処理を終えたこととなる。
全ての相対位置関数δ（ｉ）についてｉ個の画像フラグビットマップデータが得られたら、これらを統合演算する（Ｓ２８０８）。演算は全てのビットの論理積でも、全てのビットを加算して適当な閾値と比較するのでもよい。この演算処理によって、不審物領域の決定の精度が増す。
最後に不審物領域の面積と中心座標を算出して（Ｓ２８０９）、終了する（Ｓ２８１０）。
【００６０】
以上に説明したことをまとめる。
本実施形態の画像処理装置２００１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
静止画像データが画像処理装置２００１に入力されると、これをＲＡＭ１０５内の入力画像ビットマップデータ領域２０２に展開する。その後、同時生起確率行列のアルゴリズムにて配列データを配列データ領域２０３に作成する。次に、得られた配列データから閾値を算出し、この閾値を満たす数の行列に該当する画像のピクセルを、背景であるものと判断する。背景と判断された画像のピクセルの相対アドレスを、配列データから読み出して、画像フラグビットマップデータ領域２１０４内の、該当アドレスのフラグを下ろす。
以上の処理により、静止画像データから生成した同時生起確率行列から、背景とそれ以外の部分とを判別することができる。
【００６１】
［１０．第６の実施形態］
次に、本発明の第６の実施形態を説明する。
図２９は、撮像カメラ２０２によって撮影された静止画像の一例である。
図２２（ａ）の画像と比較して頂きたい。図２２（ａ）では船である不審物３０４が写っているが、図２９では岸辺２９０２と、その上に灯台２９０３が写っている。これらが不審物ではないことは明らかであるが、第４の実施形態のままではこれらを不審物と誤認してしまう可能性が高い。なぜなら、これらは画像データ全体から見たらその占める面積が少ないので、背景と認識されないからである。そこで、このように不審物と誤認されるであろう箇所を、予め同時生起確率行列の作成処理の対象から外す処理が必要になる。
【００６２】
図３０（ａ）は、第６の実施形態にかかる画像処理装置の全体ブロック図である。図３０（ａ）に示す画像処理装置３００１は、第４の実施形態における図２０の画像処理装置２００１とほぼ同じである。図３０（ａ）において、図２０と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置３００１は、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。このために、図２０に示される第４の実施形態と比較すると、処理領域設定部３００２と、表示装置３００３と、入力装置３００４が新たに設けられている。
表示装置３００３は例えば周知のＬＣＤディスプレイである。入力装置３００４は例えば周知のマウスである。
処理領域設定部３００２は、画素判定部３０１４から得られた結果に基づき、不審物と思しき領域を画像保存部１１２に保持されている画像データとオーバーラップさせて、表示装置３００３へ表示する。使用者は入力装置３００４を操作して、表示装置３００３に表示されている静止画像と、その上にオーバーラップされた状態にて表示されている除外領域を修正する。
以上のようにして、処理領域設定部３００２によって特徴量算出部３０１３に設定された除外領域は、特徴量算出部３０１３において行われる同時生起確率行列の演算の対象外となる。
図２９を例にするならば、岸辺２９０２と灯台２９０３を囲むような除外領域が処理領域設定部３００２にて作成され、特徴量算出部３０１３に保持される。特徴量算出部３０１３は、画像データの各ピクセルのうち、除外領域に該当するものは同時生起確率行列の演算を行わず、強制的に背景とみなす。
【００６３】
［１１．第７の実施形態］
次に、本発明の第７の実施形態を説明する。
図３０（ｂ）は、第７の実施形態にかかる画像処理装置の全体ブロック図である。図３０（ｂ）に示す画像処理装置３０１１は、第６の実施形態における図３０（ａ）の画像処理装置３００１とほぼ同じである。図３０（ｂ）において、図３０（ａ）と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置３０１１は、図３０（ａ）と同様に、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。第６の実施形態と異なる点は、操作者による除外領域の修正処理を行わず、自動で設定する点にある。このために、図３０（ａ）に示される第６の実施形態と比較すると、表示装置３００３と、入力装置３００４がない。また、処理領域設定部３００３は、画素集合決定部３０１５に接続されている。
処理領域設定部３００３は、画素集合決定部３０１５から得られた結果を、除外領域とみなし、特徴量算出部３０１３に設定する。
設定された除外領域は、特徴量算出部３０１３において行われる同時生起確率行列の演算の対象外となる。
【００６４】
以上、第１、第２、第３、第４、第５、第６及び第７の実施形態にて説明した画像処理装置は、図２２（ａ）や図２９にて説明したように、海のような単一の背景を監視する際に、特に好適である。このため、撮像カメラは広い範囲を監視するために回転させる場合が多い。
図３１（ａ）は本実施形態における撮像カメラの外観図を示す。また、図３１（ｂ）は、図３１（ａ）における撮像カメラと画像処理装置との組み合わせを示すブロック図を示す。
図３１（ａ）において、撮像カメラ２０２は広い範囲を監視するために、旋回装置３１０２に設置され、左右に回転駆動される。
図３１（ｂ）において、旋回装置３１０２の内部には撮像カメラ２０２を回転駆動させるためのモータ３１０３と、モータのシャフト３１０４に取り付けられ、撮像カメラ２０２と共に回転駆動される角度検出器３１０５が設けられている。角度検出器３１０５は例えば光学検出や磁気検出等によるタコジェネレータ等が挙げられる。
角度検出器３１０５の検出信号は画像処理装置２０１の主要構成部分をなすマイクロコンピュータのバス１０６に入力され、予め設定された所定の角度毎に、撮像カメラ２０２から得られる静止画像をＲＡＭ１０５に取り込み、前述の処理を行う。
また、第６及び第７の実施形態においては、撮像カメラ２０２の撮影角度毎に除外領域の設定を予め行うこととなる。
【００６５】
本実施形態には、以下のような応用例が考えられる。
（１）マイクロコンピュータによる実装の代わりに、プログラマブル・ロジック・デバイス（Programmable Logic Device: ＰＬＤ）を用いてもよい。
（２）前述の第１、第２及び第３の実施形態において、不審物と誤認識し易い背景部分を特徴量計算処理の対象から外す、除外処理を追加することができる。
（３）前述の第１、第２、第３、第４、第５、第６及び第７の実施形態を、単一の監視装置内で同時に複数稼動させることもできる。演算処理の結果得られた、各領域毎のフラグの集合は、全て論理積にて併合したり、或いは加算処理の後所定の閾値にて比較することができる。
【００６６】
（４）前述の第６及び第７の実施形態においては、処理領域設定部３００２及び３００３にて設定した除外領域を特徴量算出部３０１３に反映させていた。この代わりに、除外領域を画素集合決定部２０１５或は画素集合決定部３０１５に反映させても、同等の効果が得られる。すなわち、除外領域に該当する部分は背景であるものとみなし、画像フラグビットマップデータ領域２１０４内の該当部分のフラグを下ろす。
（５）図２１において、ＲＡＭ２０５内部では入力画像ビットマップデータ領域２１０２と画像フラグビットマップデータ領域２１０４は異なる領域として記述されているが、これを一体化することもできる。
例えば、画像データを構成するピクセル毎に、輝度データとフラグデータを格納する構造体を構成する。こうすれば、ピクセル毎の絶対アドレスを直接配列データ２３０１に格納することができるので、相対アドレスを変換する演算処理が不要になる。
（６）配列データ領域２１０３にて構成される同時生起確率行列を表現する手法は様々なものが考えられる。例えば、リレーショナルデータベースを用いたり、周知のインタプリタ言語処理系であるｐｅｒｌ等にて実装されている、連想配列を用いて実現できる。
【００６７】
（７）基本的に、水平分割領域をどのように決定するかは、入力画像データに応じて任意である。しかし、水平分割領域の決定手順を自動化できれば理想である。そこで、第３の実施形態にて説明したクラスタリングの技術を入力画像データ全体に適用し、類似する領域が水平方向に複数分布することが判明したら、その領域を網羅するべく水平分割領域を決定する、という手法が考えられる。
この実施形態では、クラスタリングの分割領域を小さく取ることで、水平分割線を沿岸の水平線と合致させることが期待できる。このことは、水平分割領域内における背景としての認識対象の数を減らすことに繋がり、ひいては背景認識率の向上が期待できる。
【００６８】
本実施形態においては、遠方の自然風景に代表される、水平方向に均一で、垂直方向に変化する静止画像データから、背景とは異なる物体を判別することができる。この処理は従来技術において周知の、直前の画像データとの比較による手法とは異なり、入力された画像データのみを用いて判別する。このため、撮像カメラを旋回装置に設置して左右に回転駆動する監視の形態において特に好適である。
本実施形態では水平分割領域に対して種々の判別方法を開示した。それら実施形態は、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
したがって、本実施形態の画像処理装置を撮像カメラと組み合わせることによって、従来技術と比べると、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた監視装置を提供できる。
【００６９】
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態に共通する技術思想による画像処理装置の動作を概略的に示すイメージ図である。
【図２】本発明の実施の形態に共通する技術思想による画像処理装置の全体ブロック図と、その動作を示すフローチャートである。
【図３】第１の実施の形態による画像処理装置の全体ブロック図である。
【図４】第１の実施の形態の動作を概略的に示すイメージ図である。
【図５】第１の実施の形態における背景領域を指定する方法を概略的に示すイメージ図である。
【図６】第１の実施の形態の監視装置の処理内容のうち、前処理を示すフローチャートである。
【図７】第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。
【図８】第１の実施の形態の監視装置の処理内容のうち、実稼動時の処理を示すフローチャートである。
【図９】特徴量演算方法の一つである、色ヒストグラムを説明する概略図である。
【図１０】特徴量演算方法の一つである、周波数解析を説明する概略図である。
【図１１】特徴量演算方法の一つである、同時生起確率行列を説明する概略図である。
【図１２】画像データと同時生起確率行列との関係を説明する概略図である。
【図１３】第２の実施の形態による画像処理装置の全体ブロック図である。
【図１４】第２の実施の形態の動作を概略的に示すイメージ図である。
【図１５】第２の実施の形態の監視装置の処理内容を示すフローチャートである。
【図１６】第２の実施の形態の監視装置の処理内容を示すフローチャートである。
【図１７】第３の実施の形態による画像処理装置の全体ブロック図である。
【図１８】第３の実施の形態の動作を概略的に示すイメージ図である。
【図１９】第３の実施の形態の監視装置の処理内容を示すフローチャートである。
【図２０】第４の実施の形態による画像処理装置の全体ブロック図である。
【図２１】第４の実施の形態のＲＡＭの内部を示す概略図である。
【図２２】第４の実施の形態のＲＡＭ内に構成される入力画像ビットマップデータ及び画像フラグビットマップデータを概略的に示すイメージ図である。
【図２３】第４の実施の形態のＲＡＭ内に構成される同時生起確率行列を概略的に示すイメージ図である。
【図２４】第４の実施の形態のＲＡＭ内に格納される各データの対応関係を概略的に示すイメージ図である。
【図２５】第４の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２６】第４の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２７】第５の実施の形態による画像データのピクセルと相対位置関数δ（ｉ）の対応関係を示すイメージ図である。
【図２８】第５の実施の形態の画像処理装置の処理内容を示すフローチャートである。
【図２９】第６の実施の形態によるＲＡＭ内に構成される入力画像ビットマップデータを概略的に示すイメージ図である。
【図３０】本発明の第６及び第７の実施の形態による画像処理装置の全体ブロック図である。
【図３１】撮像カメラの一例と、これと組み合わせられる本発明の各実施の形態に適用される画像処理装置の全体ブロック図である。
【符号の説明】
【００７１】
２０１…監視装置、２０２…撮像カメラ、２０３…ＣＰＵ、２０４…ＲＯＭ、２０５…ＲＡＭ、２０６…バス、２０７…出力インターフェース、２１２…画像保存部、２１３…水平領域分割部、２１４…領域判定処理部
【特許請求の範囲】
【請求項１】
入力画像データが保存される画像保存部と、
前記画像保存部中の前記入力画像データを水平方向に分割する水平領域分割部と、
前記水平領域分割部にて分割された水平分割領域毎に不審物の有無を検出する領域判定処理部と
よりなることを特徴とする画像処理装置。
【請求項２】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、サンプルの背景特徴量との距離を計算し、得られた距離に基づいて背景か否かを決定する距離計算部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、前記水平領域の特徴量の平均値との距離を計算し、得られた距離に基づいて背景か否かを決定する距離計算部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項４】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、前記隣接する小分割領域毎の特徴量との距離を計算し、得られた距離に基づいて前記小分割領域同士が類似するか否かを判定してグルーピング処理するクラスタリング処理部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項５】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域の同時生起確率行列を算出する特徴量算出部と、
前記特徴量算出部によって得られた同時生起確率行列を所定の閾値と比較して、背景か否かを決定する画素判定部と、
前記画素判定部によって得られた判定結果に基づいて、不審物等の存在の有無を出力する画素集合決定部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項６】
前記特徴量算出部は、前記水平領域分割部から得られた水平分割領域中の画像データを構成する各ピクセルを示すアドレスを要素とする配列にて、同時生起確率行列を構成することを特徴とする請求項５記載の画像処理装置。
【請求項７】
入力画像データを水平方向に分割して複数の水平分割領域を得るステップと、
前記水平分割領域毎に不審物の有無を判定するステップと
よりなることを特徴とする画像処理方法。
【請求項８】
前記不審物の有無を判定するステップは、
前記水平分割領域を更に均等な面積且つ一定の形状の小分割領域に分割するステップと、
前記小分割領域から特徴量を計算するステップと、
前記小分割領域毎の特徴量と所定値との距離を計算するステップと、
距離計算にて得られた距離に基づいて、前記小分割領域毎に背景か否かを判定するステップと
よりなることを特徴とする、請求項７記載の画像処理方法。
【請求項９】
前記不審物の有無を判定するステップは、
前記水平分割領域内の各ピクセルを所定の相対位置関数にて評価するステップと、
前記評価ステップにて同時生起確率行列の該当する行列要素に、当該ピクセルのアドレスを格納するステップと、
作成を終了した前記同時生起確率行列を、所定の閾値にて比較するステップと、
前記比較の結果、背景か否かを判定するステップと
よりなることを特徴とする、請求項７記載の画像処理方法。
【請求項１０】
入力画像データを水平方向に分割して複数の水平分割領域を得る機能と、
前記水平分割領域毎に不審物の有無を判定する機能と
よりなることを特徴とする画像処理プログラム。
【請求項１１】
前記不審物の有無を判定する機能は、
前記水平分割領域を更に均等な面積且つ一定の形状の小分割領域に分割する機能と、
前記小分割領域から特徴量を計算する機能と、
前記小分割領域毎の特徴量と所定値との距離を計算する機能と、
距離計算にて得られた距離に基づいて、前記小分割領域毎に背景か否かを判定する機能と
よりなることを特徴とする、請求項１０記載の画像処理プログラム。
【請求項１２】
前記不審物の有無を判定する機能は、
少なくとも一つ以上の相対位置関数を用意する機能と、
前記少なくとも一つ以上の相対位置関数を用いて、前記水平分割領域内の各ピクセルのアドレスを要素とする配列データを構成する同時生起確率行列を作成する機能と、
前記作成した同時生起確率行列を閾値と比較し、閾値に達する行列要素に含まれる入力画像データのピクセルを背景と判定する機能と
よりなることを特徴とする、請求項１０記載の画像処理プログラム。
【請求項１】
入力画像データが保存される画像保存部と、
前記画像保存部中の前記入力画像データを水平方向に分割する水平領域分割部と、
前記水平領域分割部にて分割された水平分割領域毎に不審物の有無を検出する領域判定処理部と
よりなることを特徴とする画像処理装置。
【請求項２】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、サンプルの背景特徴量との距離を計算し、得られた距離に基づいて背景か否かを決定する距離計算部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項３】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、前記水平領域の特徴量の平均値との距離を計算し、得られた距離に基づいて背景か否かを決定する距離計算部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項４】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域を更に均等な面積且つ一定の形状に分割する小領域分割部と、
前記小領域分割部にて分割された小分割領域毎に特徴量を算出する特徴量算出部と、
前記特徴量算出部によって得られた前記小分割領域毎の特徴量と、前記隣接する小分割領域毎の特徴量との距離を計算し、得られた距離に基づいて前記小分割領域同士が類似するか否かを判定してグルーピング処理するクラスタリング処理部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項５】
前記領域判定処理部は、
前記水平領域分割部から得られた水平分割領域の同時生起確率行列を算出する特徴量算出部と、
前記特徴量算出部によって得られた同時生起確率行列を所定の閾値と比較して、背景か否かを決定する画素判定部と、
前記画素判定部によって得られた判定結果に基づいて、不審物等の存在の有無を出力する画素集合決定部と
よりなることを特徴とする、請求項１記載の画像処理装置。
【請求項６】
前記特徴量算出部は、前記水平領域分割部から得られた水平分割領域中の画像データを構成する各ピクセルを示すアドレスを要素とする配列にて、同時生起確率行列を構成することを特徴とする請求項５記載の画像処理装置。
【請求項７】
入力画像データを水平方向に分割して複数の水平分割領域を得るステップと、
前記水平分割領域毎に不審物の有無を判定するステップと
よりなることを特徴とする画像処理方法。
【請求項８】
前記不審物の有無を判定するステップは、
前記水平分割領域を更に均等な面積且つ一定の形状の小分割領域に分割するステップと、
前記小分割領域から特徴量を計算するステップと、
前記小分割領域毎の特徴量と所定値との距離を計算するステップと、
距離計算にて得られた距離に基づいて、前記小分割領域毎に背景か否かを判定するステップと
よりなることを特徴とする、請求項７記載の画像処理方法。
【請求項９】
前記不審物の有無を判定するステップは、
前記水平分割領域内の各ピクセルを所定の相対位置関数にて評価するステップと、
前記評価ステップにて同時生起確率行列の該当する行列要素に、当該ピクセルのアドレスを格納するステップと、
作成を終了した前記同時生起確率行列を、所定の閾値にて比較するステップと、
前記比較の結果、背景か否かを判定するステップと
よりなることを特徴とする、請求項７記載の画像処理方法。
【請求項１０】
入力画像データを水平方向に分割して複数の水平分割領域を得る機能と、
前記水平分割領域毎に不審物の有無を判定する機能と
よりなることを特徴とする画像処理プログラム。
【請求項１１】
前記不審物の有無を判定する機能は、
前記水平分割領域を更に均等な面積且つ一定の形状の小分割領域に分割する機能と、
前記小分割領域から特徴量を計算する機能と、
前記小分割領域毎の特徴量と所定値との距離を計算する機能と、
距離計算にて得られた距離に基づいて、前記小分割領域毎に背景か否かを判定する機能と
よりなることを特徴とする、請求項１０記載の画像処理プログラム。
【請求項１２】
前記不審物の有無を判定する機能は、
少なくとも一つ以上の相対位置関数を用意する機能と、
前記少なくとも一つ以上の相対位置関数を用いて、前記水平分割領域内の各ピクセルのアドレスを要素とする配列データを構成する同時生起確率行列を作成する機能と、
前記作成した同時生起確率行列を閾値と比較し、閾値に達する行列要素に含まれる入力画像データのピクセルを背景と判定する機能と
よりなることを特徴とする、請求項１０記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２００８−７８９２６（Ｐ２００８−７８９２６Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−２５４８１７（Ｐ２００６−２５４８１７）
【出願日】平成１８年９月２０日（２００６．９．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年９月２０日（２００６．９．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]