画像処理装置及びその方法並びに画像処理プログラム
【課題】照明変動に頑健であり、かつ、背景変動に対しても頑健な変化領域検出を行うこと。
【解決手段】画像処理装置の参照画素探索部１０１は、学習画像中の注目画素から複数方向に学習参照画素を探索し、参照画素符号算出部１０２は、特徴量比較値から学習参照画素符号を算出し、参照画素統計量算出部１０３は、複数の学習画像から得られる学習参照画素の参照画素統計量を事象毎に算出し、入力画素符号算出部１０５は、入力画像中の注目画素と、入力画像中で前記探索方向に存在する入力参照画素との特徴量比較値から入力画素符号を算出し、事象判定部１０６は、入力画素符号と参照画素統計量との比較に基づいて、入力画像の注目画素における事象の発生を判定する。
【解決手段】画像処理装置の参照画素探索部１０１は、学習画像中の注目画素から複数方向に学習参照画素を探索し、参照画素符号算出部１０２は、特徴量比較値から学習参照画素符号を算出し、参照画素統計量算出部１０３は、複数の学習画像から得られる学習参照画素の参照画素統計量を事象毎に算出し、入力画素符号算出部１０５は、入力画像中の注目画素と、入力画像中で前記探索方向に存在する入力参照画素との特徴量比較値から入力画素符号を算出し、事象判定部１０６は、入力画素符号と参照画素統計量との比較に基づいて、入力画像の注目画素における事象の発生を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習画像と入力画像を比較して、変動などの事象が発生している領域を検出する画像処理装置及びその方法並びに画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、変動などの事象が発生している領域（以下「変化領域」という。）を検出する技術としては、以下のようなものが挙げられる。
【０００３】
第１には、学習された平均背景画像と入力画像との輝度差に基づいて、変化領域を検出する背景差分手法に対して、学習背景を確率化することによって木の揺れなどの背景変動に対して頑健にした確率的背景差分方法がある（特許文献１参照）。
【０００４】
第２には、周辺画素との輝度差の大小関係によって符号化を行い、その符号の変化を見ることで照明変動に頑健にした増分符号相関法に対して、学習増分符号を確率化することによって背景変動に対して頑健にした確率的増分符号相関法がある（特許文献２参照）。
【０００５】
第３には、注目画素との輝度差が一定以上ある参照画素を放射状に８方向に探索し、その輝度差の正負が入力画像でも保存されているかに基づいて変化領域を検出することによって、テクスチャの少ない領域にも対応できるようにしたＲＲＣ法（非特許文献１参照）、ＢＰＲＲＣ法（周辺増分符号相関法、非特許文献２参照）及びその参照画素の位置を複数の背景画像から安定に決定する方法（非特許文献３参照）がある。
【特許文献１】特許第３４８６２２９号公報
【特許文献２】特許第４０１２２００号公報
【非特許文献１】佐藤雄隆，金子俊一，丹羽義典，山本和彦．Radial reach filter(rrf)によるロバストな物体検出．電子情報通信学会論文誌，Vol. J86-D-II, No. 5, pp. 616-624, May 2003.
【非特許文献２】佐藤雄隆，坂上勝彦．Bi-polar reach correlationによるロバスト背景差分．信学技報 PRMU2004-224, PP. 73-78, March 2005.
【非特許文献３】岩田健司，佐藤雄隆，坂上勝彦．確率的背景推定を導入した増分符号相関に基づく背景差分．動的画像処理実利用化ワークショップ2008(DIA2008), 01-3, PP. 13-16, March 2008.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に監視用途などでは雲によるかげりなどで生じる照明変動は変化として検出したくないことが多いが、特許文献１の確率的背景差分方法は照明変動を変化として検出してしまうため、照明変動に対して不安定だという問題点がある。
【０００７】
特許文献２の確率的増分符号相関法は、照明変動に対して頑健だが、テクスチャの少ない領域で誤検出が発生しやすいという問題点がある。
【０００８】
非特許文献１〜３のＲＲＣ／ＢＰＲＲＣ法は、テクスチャの少ない領域でも誤検出が発生しにくいが、背景に木の揺れなどの変動がある場合にそれを変化として検出してしまうため、木の揺れなどの定常的な変動を変化として検出したくない場合には背景変動に対して不安定だという問題点がある。
【０００９】
そこで、本発明は、上記問題点に鑑みて、照明変動に頑健であり、かつ、背景変動に対しても頑健な変化領域検出を行うことができる画像処理装置及びその方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索部と、前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出部と、複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出部と、一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出部と、前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定部と、を有する画像処理装置である。
【発明の効果】
【００１１】
本発明によれば、照明変動に頑健であり、かつ、背景変動に対しても頑健な変化領域検出を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態の画像処理装置について図１から図４を参照して説明する。本実施形態の画像処理装置は、例えば、画像監視において侵入者の領域を検出したり、モーションキャプチャ・ジェスチャ認識のために人物の領域を検出したりするために用いられる。
【００１３】
図１は、本実施形態の画像処理装置の全体構成を示すブロック図である。
【００１４】
図１に示すように、画像処理装置は、参照画素探索部１０１、参照画素符号算出部１０２、参照画素統計量算出部１０３、参照画素統計量記憶部１０４、入力画素符号算出部１０５、事象判定部１０６を備える。図１において、矢印は処理の流れを示す。
【００１５】
参照画素探索部１０１は、複数の学習画像のそれぞれの中の一つの注目画素を中心として複数方向に学習参照画素を探索する。ここで、「学習参照画素」とは、注目画素の特徴量とその画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する画素をいう。
【００１６】
参照画素符号算出部１０２は、各学習参照画素に対応する特徴量比較値を符号化して学習参照画素符号を算出する。
【００１７】
参照画素統計量算出部１０３は、複数の学習画像のそれぞれについて、各学習画像の探索した各学習参照画素に基づいて、任意の事象が与えられたときの、注目画素に対する学習参照画素の相対位置と学習参照画素の学習参照画素符号が出現する条件付き確率とを算出する。そして、参照画素統計量算出部１０３は、各条件付き確率に基づいて、上記の事象と相対位置と学習参照画素符号とに基づいて、条件付き確率を出力する統計量対応関係を算出する。複数の学習画像から得られる学習参照画素の参照画素統計量を事象毎に算出する。参照画素統計量記憶部１０４は、その参照画素統計量を記憶する。
【００１８】
入力画素符号算出部１０５は、一つの入力画像中であって、学習画像の注目画素と対応関係にある一つの注目画素を中心として、学習画像の注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、入力画像の注目画素に対する入力参照画素の特徴量比較値を算出する。そして、入力画素符号算出部１０５は、各入力参照画素に対応する特徴量比較値を符号化して入力画素符号を算出する。
【００１９】
事象判定部１０６は、事象毎に、統計量対応関係に基づいて、入力参照画素の相対位置と入力画素符号とから事象毎の条件付き確率を算出し、条件付き確率が閾値以上である事象を、入力画像の注目画素の事象であると判定するか、又は、最も大きい条件付き確率の事象を、入力画像の注目画素における事象であると判定する。
【００２０】
画像処理装置の各部１０１〜１０６の機能は、コンピュータ記憶又は伝送されたコンピュータ読み取り可能なプログラムによってコンピュータに実現させることが可能である。
【００２１】
本実施形態の画像処理方法は、学習処理と検出処理に分けられる。
【００２２】
まず、学習処理について説明する。この学習処理は、複数の学習画像のそれぞれについて行う。
【００２３】
参照画素探索部１０１は、各学習画像の中の一つの画素を注目画素として、その注目画素を中心として複数の探索方向に沿って学習参照画素を探索する。そして、この注目画素として、例えば、学習画像中の全ての画素を順番に割り当てて学習処理を行う。
【００２４】
具体的には、図２に示すように、学習画像の注目画素から放射状に伸びる複数の探索方向（図２では８方向）に沿って画素を探索し、注目画素の特徴量と、その探索した画素の特徴量とから、特徴量比較値Ｄを算出する。その特徴量比較値Ｄが予め定められた範囲であるような画素を学習参照画素として選択する。なお、探索方向の数は、８方向に限定されず、任意の数に設定されうる。
【００２５】
ここで画素の特徴量及びその特徴量比較値Ｄとしては、画素の輝度値及びその輝度差であってもよいし、画素のカラーＲＧＢ値及びその色差値であってもよいし、Ｓｏｂｅｌ・Ｌａｐｌａｃｉａｎ・ＳＩＦＴ・フロー方向などの特徴量及びその差であってもよい。
【００２６】
そして、それらの特徴量比較値Ｄが、例えば、閾値ＴＨ以上であれば学習参照画素として選択して次の処理に進み、そうでなければ学習参照画素の探索を続ける処理を行う。
【００２７】
なお、非特許文献２では、輝度差が閾値Ｔｐ以上である場合と、−Ｔｐ以下である場合とで別々に学習参照画素を探索しており、このように閾値で異なる学習参照画素セットを探索してもよい。
【００２８】
また、探索は必ずしも放射状に直線に沿って行う必要はなく、注目画素からｒの距離にある画素全てを候補として探索するなどしてもよい。
【００２９】
次に、参照画素符号算出部１０２は、学習参照画素の特徴量比較値Ｄに基づいて学習参照画素符号ｃを算出する学習参照画素符号算出部として機能する。
【００３０】
これは例えば、次の方法から一つの方法を行う。
【００３１】
第１の方法は、学習参照画素としてある画素が選択された場合に、その学習参照画素の学習参照画素符号ｃを１とする。
【００３２】
第２の方法は、特徴量比較値Ｄが閾値ＴＨ１以上であれば学習参照画素符号ｃを１とし、そうでなければ学習参照画素符号ｃを０とする。
【００３３】
第３は、特徴量比較値Ｄが閾値ＴＨ２未満であれば学習参照画素符号ｃを−１とし、特徴量比較値ＤがＴＨ２以上ＴＨ３未満であればｃを０とし、特徴量比較値ＤがＴＨ３以上であればｃを１とするという多値の出力を行う。
【００３４】
第４は、学習参照画素符号ｃを特徴量比較値Ｄとする。
【００３５】
次に、参照画素統計量算出部１０３は、得られた学習参照画素について位置や学習参照画素符号などに関する参照画素統計量を算出し、その参照画素統計量を学習参照画素統計量記憶部１０４に記憶する。
【００３６】
ここで、「参照画素統計量」は、以下のような条件付き確率を用いて算出することができる。
【００３７】
学習画像中の注目画素の位置をｐ、探索方向をｄ、注目画素から学習参照画素までの距離（以下「リーチ」という。）をｒ、学習参照画素符号をｃ、画素の属する事象（変化のあり／なし）をθとする。なお、学習画像中の注目画素の位置ｐは、学習画像中の画素位置であるため、ｐ（ｘ、ｙ）で表現でき、ｘは縦方向の画面上の位置、ｙは横方向の画面上の位置を示す。
【００３８】
事象θについて、注目画素の位置ｐ、探索方向ｄにおいて、リーチｒで学習参照画素符号ｃとなる条件付き確率Ｐｐ，ｄ（ｒ，ｃ｜θｊ）は、以下の式（１）のように定義できる。
【数１】
【００３９】
ここで、Ｏｐ，ｄ（ｒ，ｃ｜θｊ）は、事象θｊにおいてリーチｒで学習参照画素符号ｃとなる条件付き事象の発生を示し、Ｃｏｕｎｔ｛Ｏ｝は、イベントＯの発生回数を示す。
【００４０】
例えば、事象θとして、変化なしθ０と変化ありθ１があったときの条件付き確率は、変化なしの学習画像Ｎ０枚と変化ありの学習画像Ｎ１枚から以下の式２のように計算できる。
【数２】
【００４１】
以上のようにして、複数の学習画像から参照画素統計量Ｐｐ，ｄ（ｒ，ｃ｜θ）を学習する。
【００４２】
すなわち、学習処理において、任意の事象θが与えられたときの注目画素の位置ｐ、学習参照画素の探索方向ｄ、リーチｒ、特徴量比較値Ｄが出現する条件付き確率（参照画素統計量）Ｐｐ，ｄ（ｒ，ｃ｜θ）を式（１）から求め、これをテーブル化した統計量対応関係を求める。
【００４３】
そして、このテーブル化した統計量対応関係を参照画素統計量記憶部１０４に記憶しておく。
【００４４】
従来のＲＲＣ／ＢＰＲＲＣ法（非特許文献１、非特許文献２参照）では、あるｐ，ｄに対して１つ又は輝度差の正負毎に１つずつのｒ，ｃを学習し記憶していたが、本実施形態では様々なｒ，ｃに対して、条件付き確率として確率的統計量を学習して記憶する。
【００４５】
非特許文献１、非特許文献２ではｒを１つに固定するため、学習背景に木の揺れや歩行者などの混入があってｒが様々に変動する場合にｒを決定することが困難であるという問題点がある。
【００４６】
また、非特許文献３では、複数の学習画像のうちの多くのもの（例えば９０％以上）で同一リーチｒとなるものを選択することで安定化しているが、この場合もやはり学習背景に木の揺れや歩行者などの混入があると、ｒを一意に決定することが困難になる。仮に多数決などでリーチｒを一意に決定したとしても、次の検出処理の際に背景変動の影響を受けやすくなるという問題点がある。
【００４７】
これに対し本実施形態では、上記各問題点を解決することができる。
【００４８】
次に、検出処理について説明する。
【００４９】
まず、入力画素符号算出部１０５は、入力画像中の注目画素の特徴量と、入力画像中で前記探索方向に存在する入力参照画素の特徴量とから求まる特徴量比較値Ｄから、上記の学習処理と同様に入力画素符号ｃｉを算出する。
【００５０】
ここで、「入力参照画素」とは、入力画像中の注目画素を中心として探索方向ｄにおいて、リーチｒｉを選んだときに対応する画素をいう。また、入力画像の注目画素と学習画像の注目画素とは、対応した画像中の位置が同じである。また、入力参照画素と学習参照画素とは、入力画像の注目画素からの探索方向と、学習画像の注目画素からの探索方向が同一である。また、リーチｒｉは、全てのリーチｒを含むものとする。
【００５１】
そして、事象判定部１０６は、リーチｒｉと入力画素符号ｃｉの情報と、参照画素統計量記憶部１０４が記憶している統計量対応関係に基づいて、どの事象θに属するかの判定を行う。判定は以下のように行う。
【００５２】
ベイズ決定理論により、事象判定の誤り確率を最小化するには、入力画像においてリーチｒで入力画素符号ｃとなったときに、それが事象θｊである事後確率Ｐｐ，ｄ（θｊ｜ｒ，ｃ）が最大となるθｊと判定すればよい。
【００５３】
例えば、変化なしθ０と変化ありθ１のどちらであるかを判定する場合は、
【数３】
【００５４】
であれば変化なしθ０、そうでなければ変化ありθ１とすればよい。
【００５５】
式（２）は、
【数４】
【００５６】
と書き換えられ、さらにベイズの定理から
【数５】
【００５７】
であるので、式（３）は
【数６】
【００５８】
となる。Ｐｐ，ｄ（θ０）とＰｐ，ｄ（θ１）は、それぞれ変化なしと変化ありの事象が発生する確率を示しており、学習画像から発生確率を学習するか、又は対象動画像のドメインに基づいて先験的に与えるなどする。その値は、
【数７】
【００５９】
となる。
【００６０】
ここで、この式（４）の実際の処理方法としては次のように行う。
【００６１】
まず、学習処理において、上記したように、変化なしθ０と変化ありθ１の事象毎にテーブル化した統計量対応関係が参照画素統計量記憶部１０４に記憶されている。
【００６２】
そして、検出処理において、参照画素統計量記憶部１０４に記憶した統計量対応関係を用いて、逆に、各事象θ０、θ１のそれぞれについて、入力画像の注目画素の位置ｐ、入力参照画素の探索方向ｄ、リーチｒ及び特徴量比較値Ｄから、条件付き確率Ｐｐ，ｄ（ｒ，ｃ｜θ０）とＰｐ，ｄ（ｒ，ｃ｜θ１）とを算出する。そして、式（４）にこれら値を代入して、式（４）が成立すれば変化なしθ０と判定できる。
【００６３】
しかし、監視画像で変化ありθ１の事例を収集するのが困難で、Ｐｐ，ｄ（ｒ，ｃ｜θ１）の学習ができない場合は、Ｐｐ，ｄ（ｒ，ｃ｜θ１）を定数ｋ’として、
【数８】
【００６４】
とすればよい。
【００６５】
この場合も式（４）と同様に処理して、式（５）が成立すれば変化なしθ０と判定できる。
【００６６】
本実施形態では、学習処理において、式（１）のリーチｒを一意に決定せずに学習するため、式（４）と式（５）で用いるリーチｒも一意に特定できない。代わりに、式（４）、式（５）ではリーチｒについて周辺化（ｍａｒｇｉｎａｌｉｚａｔｉｏｎ）を行う。具体的には、以下のように任意のリーチｒｉについて合計をとる。
【数９】
【００６７】
このようにしてリーチｒを一意に決定せずに確率的に扱うことにより、学習画像や入力画像の背景に木の揺れなど変化として検出したくない変動が含まれる場合にも、安定した判定を行うことができる。
【００６８】
このことを模式的に示したのが図３である。
【００６９】
図３（ａ）に示すように、事象が変化なしθ０であるような学習画像において、Ｄ１０１のような画像が９０％、Ｄ１０２のような画像が１０％含まれていたとする。このとき、従来のＲＲＣ／ＢＰＲＲＣ法では、多く（９０％）の学習画像が得られるリーチｒ１が点ｐにおけるθ０のリーチとして選択される。
【００７０】
図３（ｂ）に示すように、ここでＤ１０３とＤ１０４のような入力画像が入力されたとする。
【００７１】
図３（ｃ）に示すように、例えば、ＲＲＣ／ＢＰＲＲＣ法ではＤ１０５のようにリーチｒ１における符号（輝度差）を調べ、θ０の学習時から変化がないことから、入力画像Ｄ１０３の点ｐも変化なしθ０と判定する。
【００７２】
一方、Ｄ１０６ではリーチｒ１での符号はＤ１０１で学習した符号（輝度差）とは異なるため、入力画像Ｄ１０４の点ｐを変化ありと判定してしまう。なお、実際は様々な方向の符号変化から総合的に判断するが、複数の方向でこのような現象が生じていると、誤って変化ありと判定してしまう可能性が高まる。
【００７３】
図３（ｄ）に示すように、本実施形態では、Ｄ１０１からθ０に対してリーチｒ１となる条件付き確率が０．９であり、Ｄ１０２からθ０に対してリーチｒ２となる条件付き確率が０．１であり、その他のリーチでの条件付き確率が０であると学習する。
【００７４】
そして、Ｄ１０３のような入力画像が入力されたとき、式（６）に基づいて条件付き確率をリーチｒについて周辺化した条件付き確率を算出し、Ｄ１０７のようにリーチｒ１とリーチｒ２で入力画素符号ｃが学習結果とマッチするのでリーチｒ１とリーチｒ２の条件付き確率０．９と０．１が加算され、式（４）、式（５）の左辺は１．０となり、点ｐは変化なしθ０と判定される。
【００７５】
また、Ｄ１０４のような入力画像が入力されたときも同様に周辺化するとＤ１０８のようにリーチｒ１については、入力画素符号ｃが学習結果とマッチしないが、リーチｒ２については入力画素符号ｃがマッチするので、リーチｒ２の条件付き確率０．１が加算され、式（４）、式（５）の左辺は０．１となり、点ｐは変化なし（θ０）と判定される。なお、ｋやＫの設定は厳しくないとする。
【００７６】
本発明は上記各実施形態に限られず、その主旨を逸脱しない限り種々に変更することができる。
【００７７】
（１）変更例１
変更例１では、３以上の事象θへも適用できるようにする。すなわち、上記実施形態では、事象θとして、θ０（変化なし）とθ１（変化あり）の２クラスを判定する例を示したが、事象のクラスタリングが３以上のクラスの場合でも同様に処理することができる。
【００７８】
例えば、式（４）、式（５）において、事象θ０とその他のクラスの事象をまとめたθｏｔｈｅｒ０を比較することで事象θ０であるかそうでないかを判定することができる。次に、事象θ１とその他のクラスの事象をまとめた事象θｏｔｈｅｒ１を比較することで事象θ１であるかそうでないかを判定することができ、事象θ２以降に対しても同様の処理を繰り返せばよい。
【００７９】
これにより、例えば事象θ０として道路領域が見えている場合、事象θ１として人物が入ってきた場合、事象θ２として車両が入ってきた場合として、変化領域をクラス分類の事象θと共に判定できる。
【００８０】
（２）変更例２
上記実施形態の式（６）ではリーチｒの周辺化を行った。しかし、変更例２では、以下の式（７）のように入力画素符号ｃについて周辺化を行う。
【数１０】
【００８１】
これにより、例えば入力画素符号ｃとして多値の値を用いる場合などでｃの決定が不安定になる場合において、リーチｒと同様に周辺化による安定化の効果が得られる。
【００８２】
（３）変更例３
変更例３では、リーチｒについて周辺化を行う代わりに、以下のような処理を行う。
【００８３】
事象判定部１０８は、入力画像中の注目画素と、前記探索方向ｄに存在する画素の特徴量比較値Ｄを算出し、その特徴量比較値Ｄが学習処理で用いたものと同じ範囲に属するような入力参照画素を選択し、その入力参照画素のもつリーチｒを用いて式（４）、式（５）の判定を行う。
【００８４】
（４）変更例４
変更例４では、入力参照画素及び学習参照画素（以下、まとめて「参照画素」という）の時間方向への探索も行う。
【００８５】
すなわち、上記実施形態の学習処置と検出処理のように同一時刻の画像内で行う必要はなく、参照画素を注目画素が属する画像とは異なる時刻の画像から探索してもよい。
【００８６】
例えば、図４のように、時系列画像中において注目画素がｔ＝０の画像に属する画素であって、参照画素をＴ１０１の方向に探索して参照画素Ｔ１０２（ｔ＝ｔ１の画像に属する）を選択し、Ｔ１０３の方向に探索して参照画素Ｔ１０４（ｔ＝ｔ２の画像に属する）を選択してもよい。
【００８７】
方向Ｔ１０１、Ｔ１０３は、画素位置と時間の少なくとも一方が変化するような探索方向である。
【００８８】
このように同じ時刻の画像内だけでなく、時間方向にも広げて参照画素を探索することにより、時系列画像中の動きを反映した参照画素統計量を学習することができる。
【００８９】
例えば、エスカレーターの段差領域の画素を観測するとき、画素値は時間の経過と共に常に変化し、また周辺の画素値との輝度差も変動するため、様々なｒ、ｃが発生しうる。
【００９０】
しかし、探索方向が段差の時空間的な移動方向と一致している場合は、同じ段差部分を観測し続けることになって画素値が一定となり、異なるｒ、ｃの分布をもつことから、そのような時空間的方向の運動の特性を抽出できる。
【００９１】
（５）変更例５
上記実施形態では、一つの探索方向ｄは、直線上に一定であったが、これに限らず探索方向ｄを任意の角度を振らして探索してもよい。
【００９２】
また、探索方法として、リーチｒで探索方向を３６０度回転させて探索し、次に、リーチ（ｒ＋Δｒ）として、３６０度回転して探索してもよい。
【００９３】
そして、注目画素の位置ｐに対する参照画素の相対位置は、探索方向ｄとリーチｒで決定できるので、これら探索方向ｄとリーチｒのどちらか一方、又は、両方を変化させて探索すればよい。
【図面の簡単な説明】
【００９４】
【図１】本発明の一実施形態の画像処理装置の全体構成図である。
【図２】学習参照画素の探索を示す図である。
【図３】検出処理の比較を示す図である。
【図４】異なる画像間での参照画素の探索を示す図である。
【符号の説明】
【００９５】
１０１ 参照画素探索部
１０２ 参照画素符号算出部
１０３ 参照画素統計量算出部
１０４ 参照画素統計量記憶部
１０５ 入力画素符号算出部
１０６ 事象判定部
【技術分野】
【０００１】
本発明は、学習画像と入力画像を比較して、変動などの事象が発生している領域を検出する画像処理装置及びその方法並びに画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、変動などの事象が発生している領域（以下「変化領域」という。）を検出する技術としては、以下のようなものが挙げられる。
【０００３】
第１には、学習された平均背景画像と入力画像との輝度差に基づいて、変化領域を検出する背景差分手法に対して、学習背景を確率化することによって木の揺れなどの背景変動に対して頑健にした確率的背景差分方法がある（特許文献１参照）。
【０００４】
第２には、周辺画素との輝度差の大小関係によって符号化を行い、その符号の変化を見ることで照明変動に頑健にした増分符号相関法に対して、学習増分符号を確率化することによって背景変動に対して頑健にした確率的増分符号相関法がある（特許文献２参照）。
【０００５】
第３には、注目画素との輝度差が一定以上ある参照画素を放射状に８方向に探索し、その輝度差の正負が入力画像でも保存されているかに基づいて変化領域を検出することによって、テクスチャの少ない領域にも対応できるようにしたＲＲＣ法（非特許文献１参照）、ＢＰＲＲＣ法（周辺増分符号相関法、非特許文献２参照）及びその参照画素の位置を複数の背景画像から安定に決定する方法（非特許文献３参照）がある。
【特許文献１】特許第３４８６２２９号公報
【特許文献２】特許第４０１２２００号公報
【非特許文献１】佐藤雄隆，金子俊一，丹羽義典，山本和彦．Radial reach filter(rrf)によるロバストな物体検出．電子情報通信学会論文誌，Vol. J86-D-II, No. 5, pp. 616-624, May 2003.
【非特許文献２】佐藤雄隆，坂上勝彦．Bi-polar reach correlationによるロバスト背景差分．信学技報 PRMU2004-224, PP. 73-78, March 2005.
【非特許文献３】岩田健司，佐藤雄隆，坂上勝彦．確率的背景推定を導入した増分符号相関に基づく背景差分．動的画像処理実利用化ワークショップ2008(DIA2008), 01-3, PP. 13-16, March 2008.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に監視用途などでは雲によるかげりなどで生じる照明変動は変化として検出したくないことが多いが、特許文献１の確率的背景差分方法は照明変動を変化として検出してしまうため、照明変動に対して不安定だという問題点がある。
【０００７】
特許文献２の確率的増分符号相関法は、照明変動に対して頑健だが、テクスチャの少ない領域で誤検出が発生しやすいという問題点がある。
【０００８】
非特許文献１〜３のＲＲＣ／ＢＰＲＲＣ法は、テクスチャの少ない領域でも誤検出が発生しにくいが、背景に木の揺れなどの変動がある場合にそれを変化として検出してしまうため、木の揺れなどの定常的な変動を変化として検出したくない場合には背景変動に対して不安定だという問題点がある。
【０００９】
そこで、本発明は、上記問題点に鑑みて、照明変動に頑健であり、かつ、背景変動に対しても頑健な変化領域検出を行うことができる画像処理装置及びその方法並びに画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索部と、前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出部と、複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出部と、一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出部と、前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定部と、を有する画像処理装置である。
【発明の効果】
【００１１】
本発明によれば、照明変動に頑健であり、かつ、背景変動に対しても頑健な変化領域検出を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態の画像処理装置について図１から図４を参照して説明する。本実施形態の画像処理装置は、例えば、画像監視において侵入者の領域を検出したり、モーションキャプチャ・ジェスチャ認識のために人物の領域を検出したりするために用いられる。
【００１３】
図１は、本実施形態の画像処理装置の全体構成を示すブロック図である。
【００１４】
図１に示すように、画像処理装置は、参照画素探索部１０１、参照画素符号算出部１０２、参照画素統計量算出部１０３、参照画素統計量記憶部１０４、入力画素符号算出部１０５、事象判定部１０６を備える。図１において、矢印は処理の流れを示す。
【００１５】
参照画素探索部１０１は、複数の学習画像のそれぞれの中の一つの注目画素を中心として複数方向に学習参照画素を探索する。ここで、「学習参照画素」とは、注目画素の特徴量とその画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する画素をいう。
【００１６】
参照画素符号算出部１０２は、各学習参照画素に対応する特徴量比較値を符号化して学習参照画素符号を算出する。
【００１７】
参照画素統計量算出部１０３は、複数の学習画像のそれぞれについて、各学習画像の探索した各学習参照画素に基づいて、任意の事象が与えられたときの、注目画素に対する学習参照画素の相対位置と学習参照画素の学習参照画素符号が出現する条件付き確率とを算出する。そして、参照画素統計量算出部１０３は、各条件付き確率に基づいて、上記の事象と相対位置と学習参照画素符号とに基づいて、条件付き確率を出力する統計量対応関係を算出する。複数の学習画像から得られる学習参照画素の参照画素統計量を事象毎に算出する。参照画素統計量記憶部１０４は、その参照画素統計量を記憶する。
【００１８】
入力画素符号算出部１０５は、一つの入力画像中であって、学習画像の注目画素と対応関係にある一つの注目画素を中心として、学習画像の注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、入力画像の注目画素に対する入力参照画素の特徴量比較値を算出する。そして、入力画素符号算出部１０５は、各入力参照画素に対応する特徴量比較値を符号化して入力画素符号を算出する。
【００１９】
事象判定部１０６は、事象毎に、統計量対応関係に基づいて、入力参照画素の相対位置と入力画素符号とから事象毎の条件付き確率を算出し、条件付き確率が閾値以上である事象を、入力画像の注目画素の事象であると判定するか、又は、最も大きい条件付き確率の事象を、入力画像の注目画素における事象であると判定する。
【００２０】
画像処理装置の各部１０１〜１０６の機能は、コンピュータ記憶又は伝送されたコンピュータ読み取り可能なプログラムによってコンピュータに実現させることが可能である。
【００２１】
本実施形態の画像処理方法は、学習処理と検出処理に分けられる。
【００２２】
まず、学習処理について説明する。この学習処理は、複数の学習画像のそれぞれについて行う。
【００２３】
参照画素探索部１０１は、各学習画像の中の一つの画素を注目画素として、その注目画素を中心として複数の探索方向に沿って学習参照画素を探索する。そして、この注目画素として、例えば、学習画像中の全ての画素を順番に割り当てて学習処理を行う。
【００２４】
具体的には、図２に示すように、学習画像の注目画素から放射状に伸びる複数の探索方向（図２では８方向）に沿って画素を探索し、注目画素の特徴量と、その探索した画素の特徴量とから、特徴量比較値Ｄを算出する。その特徴量比較値Ｄが予め定められた範囲であるような画素を学習参照画素として選択する。なお、探索方向の数は、８方向に限定されず、任意の数に設定されうる。
【００２５】
ここで画素の特徴量及びその特徴量比較値Ｄとしては、画素の輝度値及びその輝度差であってもよいし、画素のカラーＲＧＢ値及びその色差値であってもよいし、Ｓｏｂｅｌ・Ｌａｐｌａｃｉａｎ・ＳＩＦＴ・フロー方向などの特徴量及びその差であってもよい。
【００２６】
そして、それらの特徴量比較値Ｄが、例えば、閾値ＴＨ以上であれば学習参照画素として選択して次の処理に進み、そうでなければ学習参照画素の探索を続ける処理を行う。
【００２７】
なお、非特許文献２では、輝度差が閾値Ｔｐ以上である場合と、−Ｔｐ以下である場合とで別々に学習参照画素を探索しており、このように閾値で異なる学習参照画素セットを探索してもよい。
【００２８】
また、探索は必ずしも放射状に直線に沿って行う必要はなく、注目画素からｒの距離にある画素全てを候補として探索するなどしてもよい。
【００２９】
次に、参照画素符号算出部１０２は、学習参照画素の特徴量比較値Ｄに基づいて学習参照画素符号ｃを算出する学習参照画素符号算出部として機能する。
【００３０】
これは例えば、次の方法から一つの方法を行う。
【００３１】
第１の方法は、学習参照画素としてある画素が選択された場合に、その学習参照画素の学習参照画素符号ｃを１とする。
【００３２】
第２の方法は、特徴量比較値Ｄが閾値ＴＨ１以上であれば学習参照画素符号ｃを１とし、そうでなければ学習参照画素符号ｃを０とする。
【００３３】
第３は、特徴量比較値Ｄが閾値ＴＨ２未満であれば学習参照画素符号ｃを−１とし、特徴量比較値ＤがＴＨ２以上ＴＨ３未満であればｃを０とし、特徴量比較値ＤがＴＨ３以上であればｃを１とするという多値の出力を行う。
【００３４】
第４は、学習参照画素符号ｃを特徴量比較値Ｄとする。
【００３５】
次に、参照画素統計量算出部１０３は、得られた学習参照画素について位置や学習参照画素符号などに関する参照画素統計量を算出し、その参照画素統計量を学習参照画素統計量記憶部１０４に記憶する。
【００３６】
ここで、「参照画素統計量」は、以下のような条件付き確率を用いて算出することができる。
【００３７】
学習画像中の注目画素の位置をｐ、探索方向をｄ、注目画素から学習参照画素までの距離（以下「リーチ」という。）をｒ、学習参照画素符号をｃ、画素の属する事象（変化のあり／なし）をθとする。なお、学習画像中の注目画素の位置ｐは、学習画像中の画素位置であるため、ｐ（ｘ、ｙ）で表現でき、ｘは縦方向の画面上の位置、ｙは横方向の画面上の位置を示す。
【００３８】
事象θについて、注目画素の位置ｐ、探索方向ｄにおいて、リーチｒで学習参照画素符号ｃとなる条件付き確率Ｐｐ，ｄ（ｒ，ｃ｜θｊ）は、以下の式（１）のように定義できる。
【数１】
【００３９】
ここで、Ｏｐ，ｄ（ｒ，ｃ｜θｊ）は、事象θｊにおいてリーチｒで学習参照画素符号ｃとなる条件付き事象の発生を示し、Ｃｏｕｎｔ｛Ｏ｝は、イベントＯの発生回数を示す。
【００４０】
例えば、事象θとして、変化なしθ０と変化ありθ１があったときの条件付き確率は、変化なしの学習画像Ｎ０枚と変化ありの学習画像Ｎ１枚から以下の式２のように計算できる。
【数２】
【００４１】
以上のようにして、複数の学習画像から参照画素統計量Ｐｐ，ｄ（ｒ，ｃ｜θ）を学習する。
【００４２】
すなわち、学習処理において、任意の事象θが与えられたときの注目画素の位置ｐ、学習参照画素の探索方向ｄ、リーチｒ、特徴量比較値Ｄが出現する条件付き確率（参照画素統計量）Ｐｐ，ｄ（ｒ，ｃ｜θ）を式（１）から求め、これをテーブル化した統計量対応関係を求める。
【００４３】
そして、このテーブル化した統計量対応関係を参照画素統計量記憶部１０４に記憶しておく。
【００４４】
従来のＲＲＣ／ＢＰＲＲＣ法（非特許文献１、非特許文献２参照）では、あるｐ，ｄに対して１つ又は輝度差の正負毎に１つずつのｒ，ｃを学習し記憶していたが、本実施形態では様々なｒ，ｃに対して、条件付き確率として確率的統計量を学習して記憶する。
【００４５】
非特許文献１、非特許文献２ではｒを１つに固定するため、学習背景に木の揺れや歩行者などの混入があってｒが様々に変動する場合にｒを決定することが困難であるという問題点がある。
【００４６】
また、非特許文献３では、複数の学習画像のうちの多くのもの（例えば９０％以上）で同一リーチｒとなるものを選択することで安定化しているが、この場合もやはり学習背景に木の揺れや歩行者などの混入があると、ｒを一意に決定することが困難になる。仮に多数決などでリーチｒを一意に決定したとしても、次の検出処理の際に背景変動の影響を受けやすくなるという問題点がある。
【００４７】
これに対し本実施形態では、上記各問題点を解決することができる。
【００４８】
次に、検出処理について説明する。
【００４９】
まず、入力画素符号算出部１０５は、入力画像中の注目画素の特徴量と、入力画像中で前記探索方向に存在する入力参照画素の特徴量とから求まる特徴量比較値Ｄから、上記の学習処理と同様に入力画素符号ｃｉを算出する。
【００５０】
ここで、「入力参照画素」とは、入力画像中の注目画素を中心として探索方向ｄにおいて、リーチｒｉを選んだときに対応する画素をいう。また、入力画像の注目画素と学習画像の注目画素とは、対応した画像中の位置が同じである。また、入力参照画素と学習参照画素とは、入力画像の注目画素からの探索方向と、学習画像の注目画素からの探索方向が同一である。また、リーチｒｉは、全てのリーチｒを含むものとする。
【００５１】
そして、事象判定部１０６は、リーチｒｉと入力画素符号ｃｉの情報と、参照画素統計量記憶部１０４が記憶している統計量対応関係に基づいて、どの事象θに属するかの判定を行う。判定は以下のように行う。
【００５２】
ベイズ決定理論により、事象判定の誤り確率を最小化するには、入力画像においてリーチｒで入力画素符号ｃとなったときに、それが事象θｊである事後確率Ｐｐ，ｄ（θｊ｜ｒ，ｃ）が最大となるθｊと判定すればよい。
【００５３】
例えば、変化なしθ０と変化ありθ１のどちらであるかを判定する場合は、
【数３】
【００５４】
であれば変化なしθ０、そうでなければ変化ありθ１とすればよい。
【００５５】
式（２）は、
【数４】
【００５６】
と書き換えられ、さらにベイズの定理から
【数５】
【００５７】
であるので、式（３）は
【数６】
【００５８】
となる。Ｐｐ，ｄ（θ０）とＰｐ，ｄ（θ１）は、それぞれ変化なしと変化ありの事象が発生する確率を示しており、学習画像から発生確率を学習するか、又は対象動画像のドメインに基づいて先験的に与えるなどする。その値は、
【数７】
【００５９】
となる。
【００６０】
ここで、この式（４）の実際の処理方法としては次のように行う。
【００６１】
まず、学習処理において、上記したように、変化なしθ０と変化ありθ１の事象毎にテーブル化した統計量対応関係が参照画素統計量記憶部１０４に記憶されている。
【００６２】
そして、検出処理において、参照画素統計量記憶部１０４に記憶した統計量対応関係を用いて、逆に、各事象θ０、θ１のそれぞれについて、入力画像の注目画素の位置ｐ、入力参照画素の探索方向ｄ、リーチｒ及び特徴量比較値Ｄから、条件付き確率Ｐｐ，ｄ（ｒ，ｃ｜θ０）とＰｐ，ｄ（ｒ，ｃ｜θ１）とを算出する。そして、式（４）にこれら値を代入して、式（４）が成立すれば変化なしθ０と判定できる。
【００６３】
しかし、監視画像で変化ありθ１の事例を収集するのが困難で、Ｐｐ，ｄ（ｒ，ｃ｜θ１）の学習ができない場合は、Ｐｐ，ｄ（ｒ，ｃ｜θ１）を定数ｋ’として、
【数８】
【００６４】
とすればよい。
【００６５】
この場合も式（４）と同様に処理して、式（５）が成立すれば変化なしθ０と判定できる。
【００６６】
本実施形態では、学習処理において、式（１）のリーチｒを一意に決定せずに学習するため、式（４）と式（５）で用いるリーチｒも一意に特定できない。代わりに、式（４）、式（５）ではリーチｒについて周辺化（ｍａｒｇｉｎａｌｉｚａｔｉｏｎ）を行う。具体的には、以下のように任意のリーチｒｉについて合計をとる。
【数９】
【００６７】
このようにしてリーチｒを一意に決定せずに確率的に扱うことにより、学習画像や入力画像の背景に木の揺れなど変化として検出したくない変動が含まれる場合にも、安定した判定を行うことができる。
【００６８】
このことを模式的に示したのが図３である。
【００６９】
図３（ａ）に示すように、事象が変化なしθ０であるような学習画像において、Ｄ１０１のような画像が９０％、Ｄ１０２のような画像が１０％含まれていたとする。このとき、従来のＲＲＣ／ＢＰＲＲＣ法では、多く（９０％）の学習画像が得られるリーチｒ１が点ｐにおけるθ０のリーチとして選択される。
【００７０】
図３（ｂ）に示すように、ここでＤ１０３とＤ１０４のような入力画像が入力されたとする。
【００７１】
図３（ｃ）に示すように、例えば、ＲＲＣ／ＢＰＲＲＣ法ではＤ１０５のようにリーチｒ１における符号（輝度差）を調べ、θ０の学習時から変化がないことから、入力画像Ｄ１０３の点ｐも変化なしθ０と判定する。
【００７２】
一方、Ｄ１０６ではリーチｒ１での符号はＤ１０１で学習した符号（輝度差）とは異なるため、入力画像Ｄ１０４の点ｐを変化ありと判定してしまう。なお、実際は様々な方向の符号変化から総合的に判断するが、複数の方向でこのような現象が生じていると、誤って変化ありと判定してしまう可能性が高まる。
【００７３】
図３（ｄ）に示すように、本実施形態では、Ｄ１０１からθ０に対してリーチｒ１となる条件付き確率が０．９であり、Ｄ１０２からθ０に対してリーチｒ２となる条件付き確率が０．１であり、その他のリーチでの条件付き確率が０であると学習する。
【００７４】
そして、Ｄ１０３のような入力画像が入力されたとき、式（６）に基づいて条件付き確率をリーチｒについて周辺化した条件付き確率を算出し、Ｄ１０７のようにリーチｒ１とリーチｒ２で入力画素符号ｃが学習結果とマッチするのでリーチｒ１とリーチｒ２の条件付き確率０．９と０．１が加算され、式（４）、式（５）の左辺は１．０となり、点ｐは変化なしθ０と判定される。
【００７５】
また、Ｄ１０４のような入力画像が入力されたときも同様に周辺化するとＤ１０８のようにリーチｒ１については、入力画素符号ｃが学習結果とマッチしないが、リーチｒ２については入力画素符号ｃがマッチするので、リーチｒ２の条件付き確率０．１が加算され、式（４）、式（５）の左辺は０．１となり、点ｐは変化なし（θ０）と判定される。なお、ｋやＫの設定は厳しくないとする。
【００７６】
本発明は上記各実施形態に限られず、その主旨を逸脱しない限り種々に変更することができる。
【００７７】
（１）変更例１
変更例１では、３以上の事象θへも適用できるようにする。すなわち、上記実施形態では、事象θとして、θ０（変化なし）とθ１（変化あり）の２クラスを判定する例を示したが、事象のクラスタリングが３以上のクラスの場合でも同様に処理することができる。
【００７８】
例えば、式（４）、式（５）において、事象θ０とその他のクラスの事象をまとめたθｏｔｈｅｒ０を比較することで事象θ０であるかそうでないかを判定することができる。次に、事象θ１とその他のクラスの事象をまとめた事象θｏｔｈｅｒ１を比較することで事象θ１であるかそうでないかを判定することができ、事象θ２以降に対しても同様の処理を繰り返せばよい。
【００７９】
これにより、例えば事象θ０として道路領域が見えている場合、事象θ１として人物が入ってきた場合、事象θ２として車両が入ってきた場合として、変化領域をクラス分類の事象θと共に判定できる。
【００８０】
（２）変更例２
上記実施形態の式（６）ではリーチｒの周辺化を行った。しかし、変更例２では、以下の式（７）のように入力画素符号ｃについて周辺化を行う。
【数１０】
【００８１】
これにより、例えば入力画素符号ｃとして多値の値を用いる場合などでｃの決定が不安定になる場合において、リーチｒと同様に周辺化による安定化の効果が得られる。
【００８２】
（３）変更例３
変更例３では、リーチｒについて周辺化を行う代わりに、以下のような処理を行う。
【００８３】
事象判定部１０８は、入力画像中の注目画素と、前記探索方向ｄに存在する画素の特徴量比較値Ｄを算出し、その特徴量比較値Ｄが学習処理で用いたものと同じ範囲に属するような入力参照画素を選択し、その入力参照画素のもつリーチｒを用いて式（４）、式（５）の判定を行う。
【００８４】
（４）変更例４
変更例４では、入力参照画素及び学習参照画素（以下、まとめて「参照画素」という）の時間方向への探索も行う。
【００８５】
すなわち、上記実施形態の学習処置と検出処理のように同一時刻の画像内で行う必要はなく、参照画素を注目画素が属する画像とは異なる時刻の画像から探索してもよい。
【００８６】
例えば、図４のように、時系列画像中において注目画素がｔ＝０の画像に属する画素であって、参照画素をＴ１０１の方向に探索して参照画素Ｔ１０２（ｔ＝ｔ１の画像に属する）を選択し、Ｔ１０３の方向に探索して参照画素Ｔ１０４（ｔ＝ｔ２の画像に属する）を選択してもよい。
【００８７】
方向Ｔ１０１、Ｔ１０３は、画素位置と時間の少なくとも一方が変化するような探索方向である。
【００８８】
このように同じ時刻の画像内だけでなく、時間方向にも広げて参照画素を探索することにより、時系列画像中の動きを反映した参照画素統計量を学習することができる。
【００８９】
例えば、エスカレーターの段差領域の画素を観測するとき、画素値は時間の経過と共に常に変化し、また周辺の画素値との輝度差も変動するため、様々なｒ、ｃが発生しうる。
【００９０】
しかし、探索方向が段差の時空間的な移動方向と一致している場合は、同じ段差部分を観測し続けることになって画素値が一定となり、異なるｒ、ｃの分布をもつことから、そのような時空間的方向の運動の特性を抽出できる。
【００９１】
（５）変更例５
上記実施形態では、一つの探索方向ｄは、直線上に一定であったが、これに限らず探索方向ｄを任意の角度を振らして探索してもよい。
【００９２】
また、探索方法として、リーチｒで探索方向を３６０度回転させて探索し、次に、リーチ（ｒ＋Δｒ）として、３６０度回転して探索してもよい。
【００９３】
そして、注目画素の位置ｐに対する参照画素の相対位置は、探索方向ｄとリーチｒで決定できるので、これら探索方向ｄとリーチｒのどちらか一方、又は、両方を変化させて探索すればよい。
【図面の簡単な説明】
【００９４】
【図１】本発明の一実施形態の画像処理装置の全体構成図である。
【図２】学習参照画素の探索を示す図である。
【図３】検出処理の比較を示す図である。
【図４】異なる画像間での参照画素の探索を示す図である。
【符号の説明】
【００９５】
１０１ 参照画素探索部
１０２ 参照画素符号算出部
１０３ 参照画素統計量算出部
１０４ 参照画素統計量記憶部
１０５ 入力画素符号算出部
１０６ 事象判定部
【特許請求の範囲】
【請求項１】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索部と、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出部と、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出部と、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出部と、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定部と、
を有する画像処理装置。
【請求項２】
前記事象判定部は、
前記注目画素を中心として存在する複数の前記入力参照画素に関して、前記各入力参照画素の条件付き確率を前記事象毎に合計して周辺化した条件付き確率を算出し、前記周辺化した前記条件付き確率が前記閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記周辺化した前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する、
請求項１記載の画像処理装置。
【請求項３】
前記参照画素探索部は、前記学習画像の前記注目画素を中心として複数の探索方向に沿って前記学習参照画素を探索し、
前記注目画素と前記学習参照画素の前記相対位置は、一つの前記探索方向と、前記注目画素と前記学習参照画素との距離で決定される、
請求項１記載の画像処理装置。
【請求項４】
前記注目画素と前記学習参照画素とが、時系列画像中の異なる画像にそれぞれ属し、前記探索を前記時系列画像中の異なる画像に対して行う、
請求項１記載の画像処理装置。
【請求項５】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索ステップと、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出ステップと、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出ステップと、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出ステップと、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定ステップと、
を有する画像処理方法。
【請求項６】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索機能と、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符算出機能と、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出機能と、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出機能と、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定機能と、
をコンピュータに実現させるための画像処理プログラム。
【請求項１】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索部と、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出部と、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出部と、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出部と、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定部と、
を有する画像処理装置。
【請求項２】
前記事象判定部は、
前記注目画素を中心として存在する複数の前記入力参照画素に関して、前記各入力参照画素の条件付き確率を前記事象毎に合計して周辺化した条件付き確率を算出し、前記周辺化した前記条件付き確率が前記閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記周辺化した前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する、
請求項１記載の画像処理装置。
【請求項３】
前記参照画素探索部は、前記学習画像の前記注目画素を中心として複数の探索方向に沿って前記学習参照画素を探索し、
前記注目画素と前記学習参照画素の前記相対位置は、一つの前記探索方向と、前記注目画素と前記学習参照画素との距離で決定される、
請求項１記載の画像処理装置。
【請求項４】
前記注目画素と前記学習参照画素とが、時系列画像中の異なる画像にそれぞれ属し、前記探索を前記時系列画像中の異なる画像に対して行う、
請求項１記載の画像処理装置。
【請求項５】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索ステップと、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符号算出ステップと、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出ステップと、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出ステップと、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定ステップと、
を有する画像処理方法。
【請求項６】
複数の学習画像のそれぞれの中の一つの注目画素を中心として複数の画素を探索するものであって、前記注目画素の特徴量と前記画素の特徴量とを比較した値である特徴量比較値が予め設定された範囲に属する前記画素を、学習参照画素として選択する参照画素探索機能と、
前記各学習参照画素に対応する前記特徴量比較値を符号化して学習参照画素符号を算出する学習参照画素符算出機能と、
複数の前記学習画像のそれぞれについて、前記各学習画像の前記探索した各学習参照画素に基づいて、任意の事象が与えられたときの、前記注目画素に対する前記学習参照画素の相対位置と前記学習参照画素の前記学習参照画素符号が出現する条件付き確率とを算出し、前記各条件付き確率に基づいて、前記事象と前記相対位置と前記学習参照画素符号とから前記条件付き確率を出力する統計量対応関係を算出する参照画素統計量算出機能と、
一つの入力画像中であって、前記学習画像の前記注目画素と対応関係にある一つの注目画素を中心として、前記学習画像の前記注目画素の相対位置と同じ相対位置に存在する入力参照画素を検出し、前記入力画像の前記注目画素に対する前記入力参照画素の前記特徴量比較値を算出し、前記各入力参照画素に対応する前記特徴量比較値を符号化して入力画素符号を算出する入力画素符号算出機能と、
前記事象毎に、前記統計量対応関係に基づいて、前記入力参照画素の前記相対位置と前記入力画素符号とから前記事象毎の前記条件付き確率を算出し、前記条件付き確率が閾値以上である前記事象を、前記入力画像の前記注目画素の事象であると判定するか、又は、最も大きい前記条件付き確率の前記事象を、前記入力画像の前記注目画素における事象であると判定する事象判定機能と、
をコンピュータに実現させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−３０１０８８（Ｐ２００９−３０１０８８Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５１４９２（Ｐ２００８−１５１４９２）
【出願日】平成２０年６月１０日（２００８．６．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１０日（２００８．６．１０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]