画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
【課題】 背景差分と色検出の統合により、画像中における複数の領域を正確に識別することができる画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体を提供する。
【解決手段】 まず、カメラ３により背景領域１のみが撮像された背景画像データが得られる。そして、構造化データ記憶部１３に、背景画像データの画素の座標と画素の色階調値とが識別空間内に構造化されて記憶され、背景色領域が形成される。続いて、カメラ３により背景領域１および対象領域２が撮像された入力画像データが得られる。そして、クラス識別部１４において、各画素の色階調値と背景色領域との識別空間内における距離が計算される。その計算された距離に基づき、クラス識別部１４において、各画素の色階調値が、背景色領域とそれ以外の背景外色領域のいずれに属するかが識別される。
【解決手段】 まず、カメラ３により背景領域１のみが撮像された背景画像データが得られる。そして、構造化データ記憶部１３に、背景画像データの画素の座標と画素の色階調値とが識別空間内に構造化されて記憶され、背景色領域が形成される。続いて、カメラ３により背景領域１および対象領域２が撮像された入力画像データが得られる。そして、クラス識別部１４において、各画素の色階調値と背景色領域との識別空間内における距離が計算される。その計算された距離に基づき、クラス識別部１４において、各画素の色階調値が、背景色領域とそれ以外の背景外色領域のいずれに属するかが識別される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる複数の領域を識別する画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
観測画像中から移動物体などの対象（ターゲット）を検出する問題は、コンピュータビジョンの中でも重要な課題の一つとして挙げられる。その解決のために開発された方法の中でも、画像中の特定の色を検出する色検出と、あらかじめ用意した背景画像から変化した領域を検出する背景差分は、ターゲット検出の基本的な技術として用いられている。
【０００３】
色検出は、ターゲット色ごとに適切な閾値を設定できるので、微妙な色の違いを識別することが可能である。
【０００４】
また、背景差分は、ターゲットに関する事前知識を必要とせず、任意のターゲットを検出可能であり、かつ画素ごとに背景色の変化をモデル化可能な方法である。このような利点を有するため、背景差分は、静止領域の検出が不可能なフレーム間差分や、事前に定義されたターゲットしか検出できない顔検出・肌色検出と比較して、多くの視覚システムで利用されている。特に、十分な背景情報を事前に学習可能な環境下であれば、優れた結果を期待することができる。
【０００５】
さらに最近は、背景変動に対してロバスト（頑健）であり、かつ背景と任意のターゲットの微妙な色の差を検出可能とするために、これら背景差分と最近傍識別による色検出を有機的に統合することも行われている（例えば、非特許文献１参照）。
【０００６】
この非特許文献１に開示された方法においては、図１２に示したように、画素の色（色階調値）が６次元のＹＵＶ色空間（識別空間）で表現される。具体的には、背景領域を撮像した背景画像データの座標（ｘp，ｙp）における画素の３次元色が（Ｙｂp，Ｕｂp，Ｖｂp）であるとき、その背景色は、識別空間において（Ｙｂp，Ｕｂp，Ｖｂp，Ｙｂp，Ｕｂp，Ｖｂp）Tという６次元ベクトルで表現される（Ｔは、ベクトルの転置を表す。）。同様に、背景画像データの座標（ｘq，ｙq）における画素の３次元色が（Ｙｂq，Ｕｂq，Ｖｂq）であるとき、その背景色は、識別空間において（Ｙｂq，Ｕｂq，Ｖｂq，Ｙｂq，Ｕｂq，Ｖｂq）Tという６次元ベクトルで表現される。このように識別空間における６次元ベクトルで表された背景画像データ（背景色ベクトル）は、背景色領域を形成する。
【０００７】
また、背景領域および対象領域を撮像した入力画像データの座標（ｘs，ｙs）における画素の３次元色が（Ｙｉs，Ｕｉs，Ｖｉs）であるとき、その入力された色は、識別空間において（Ｙｂs，Ｕｂs，Ｖｂs，Ｙｉs，Ｕｉs，Ｖｉs）Tという６次元ベクトルで表現される。このようにして得られた６次元ベクトルに対して、６次元空間における最近傍識別を用いることで、入力された色が背景色領域または対象色（ターゲット色）領域に識別される。対象色領域に識別された６次元ベクトル（Ｙｂs，Ｕｂs，Ｖｂs，Ｙｉs，Ｕｉs，Ｖｉs）Tは対象色ベクトルと呼ばれ、背景色領域と対象色領域との境界は決定境界と呼ばれる。
【０００８】
この方法では、通常（３次元）に比べて次元数が大きいため、処理時間はかかるが、最近傍識別のためのキャッシュの効率的利用により実時間動作が可能となっている。
【非特許文献１】加藤丈和、柴田智行、和田俊和：「最近傍識別器を用いた背景差分と色検出の統合」、情処研報 CVIM-142-5, Vol. 145, no. 5, pp. 31-36, Jan. 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、背景差分は、照明変化（照明強度や照明色の変化）や影による背景物体の見えの変化、または、背景内に、例えば葉や旗の揺らぎなどの非静止領域がある場合には、背景とターゲットを正確に識別することができない。さらに、背景差分には、背景に似た色を有するターゲットの検出が困難であるという課題がある。
【００１０】
また、色検出は、背景画像の全画素に含まれる色集合と各ターゲット色の間の識別を行う方法であるため、膨大な種類の色集合を扱う識別問題となる。そのため、必然的に異なるクラス間の距離は小さくなり、識別性能が低下する（位置情報の欠落）。さらに、ターゲット色は人手により与えられているので、自律動作するターゲット検出システムにはそのまま適用することができない（非自律性）という課題を有する。
【００１１】
背景差分と色検出を統合した非特許文献１に開示された方法においては、参照する背景画像が１枚だけなので、照明変化に対応できないという課題がある。例え、様々な照明条件下における背景画像集合を記録していたとしても、現状の方法では、逐次参照する背景画像を選択する基準がない。また、背景情報は独立なＹＵＶ値として表現されているため、位置情報が欠落している。すなわち、近接画素間の共起性などは全く考慮されていない。さらに、適切なターゲット色を指定するために人手を要しているという課題もある。
【００１２】
本発明は、上記課題に鑑みてなされたものであり、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１記載の発明は、画像処理装置であって、所定の領域を撮像し、画像データに変換する撮像手段と、前記撮像手段により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶手段と、前記撮像手段により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別手段と、前記クラス識別手段により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶手段と、を備えることを特徴とする。
【００１４】
この構成によれば、まず、撮像手段により背景領域のみが撮像された背景画像データが得られる。そして、背景色記憶手段により、背景画像データの画素の座標と前記画素の色階調値とが識別空間内に構造化されて記憶される。この識別空間内における背景画像データの集合は、背景色領域と呼ばれる。続いて、撮像手段により背景領域および対象領域が撮像された入力画像データが得られる。そして、入力画像データの各画素の色階調値と背景色領域との識別空間内における距離が計算される。その計算された距離に基づき、クラス識別手段により、入力画像データの各画素の色階調値が、背景色領域とそれ以外の背景外色領域のいずれに属するかが識別される。このクラス識別手段により各画素の色階調値が背景外色領域に属すると判断された場合には、対象色記憶手段により、各画素の色階調値と各画素の座標とが識別空間内に構造化して記憶される。
【００１５】
請求項２記載の発明は、請求項１記載の画像処理装置であって、画像データの色階調値はＹＵＶ方式で表されていることを特徴とする。
【００１６】
この構成によれば、輝度信号であるＹと、色信号であるＵおよびＶで画像データの色を表現する。
【００１７】
請求項３記載の発明は、請求項１記載の画像処理装置であって、画像データの色階調値はＲＧＢ方式で表されていることを特徴とする。
【００１８】
この構成によれば、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現する。
【００１９】
請求項４記載の発明は、請求項１記載の画像処理装置であって、グレースケールで表されていることを特徴とする。
【００２０】
この構成によれば、明度差に基づいたグレースケールで画像データの色を表現する。
【００２１】
請求項５記載の発明は、請求項１乃至４のいずれかに記載の画像処理装置であって、クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、最近傍識別を用いることを特徴とする。
【００２２】
この構成によれば、識別空間において、背景領域と背景外領域のいずれが、各画素の色階調値から最も近い点を有するのかが、最近傍識別により判断される。
【００２３】
請求項６記載の発明は、請求項１乃至５のいずれかに記載の画像処理装置であって、クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、ハッシュ表を用いることを特徴とする。
【００２４】
この構成によれば、キーとなるオブジェクトから対応するオブジェクトへの直接的なアクセスが可能となる。
【００２５】
請求項７記載の発明は、請求項１乃至６のいずれかに記載の画像処理装置であって、クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合、前記各画素の色階調値と前記背景色領域の識別空間内における距離が所定の閾値より大きいときに、前記各画素の色階調値が前記背景外色領域に含まれると判断し、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶することを特徴とする。
【００２６】
この構成によれば、クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合であっても、各画素の色階調値と背景色領域の識別空間内における距離が所定の閾値より大きいときには、背景外色領域に含まれると判断し直される。
【００２７】
請求項８記載の発明は、請求項１乃至７のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、近接する複数の画素の色階調値をまとめて一つの画素の座標に記憶することを特徴とする。
【００２８】
この構成によれば、識別空間において、近接する複数の画素の色階調値をまとめて一つの画素の座標に構造化して記憶するので、画素の座標に関する情報をほとんど減らすことなく、１箇所に集約する。
【００２９】
請求項９記載の発明は、請求項１乃至８のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、色階調値に所定の値を掛けて記憶することを特徴とする。
【００３０】
この構成によれば、色階調に関する情報をほとんど減らすことなく、各画素の色階調値が圧縮される。
【００３１】
請求項１０記載の発明は、請求項１乃至９のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、画素の座標を指定する座標軸に所定の重みを掛けて得られた画素の座標を用い、該画素の座標と前記各画素の色階調値とを識別空間内に構造化して記憶することを特徴とする。
【００３２】
この構成によれば、画素の座標を指定する座標軸に所定の重みを掛けて、空間座標における距離を変更する。これにより、識別空間における、空間座標と色階調空間の距離の関係が修正される。
【００３３】
請求項１１記載の発明は、画像処理方法であって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、を含むことを特徴とする。
【００３４】
請求項１２記載の発明は、記録媒体であって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能であることを特徴とする。
【００３５】
請求項１３記載の発明は、プログラムであって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００３６】
請求項１記載の発明によれば、複数枚の背景画像データを利用することができ、かつ画像データにおける画素の座標と画素の色階調値とが識別空間内に構造化して記憶されている。そのため、色情報だけでなく、位置情報も取り込まれている。その結果、定常的な背景変動だけでなく急激かつ大きな照明変化に対しても対応でき、かつ背景色とターゲット色との小さな差分の検出も可能である。
【００３７】
請求項２記載の発明によれば、輝度信号（Ｙ）により多くのデータ量を割り当てることで、少ない画質の劣化で高いデータ圧縮率を得ることができる。
【００３８】
請求項３記載の発明によれば、ＲＧＢ方式はスキャナ、モニタ、デジタルカメラ、カラーテレビなどに使用されているので、汎用性が高い。また、例えば、フルカラーであれば、ＲＧＢをそれぞれ２５６階調に分けて色を表現するので、１６７７万７２１６色の色調表現が可能である。
【００３９】
請求項４記載の発明によれば、画像を白から黒までの明暗だけで表現するため、カラー画像に比べて色を指定するための情報量が少なくて済む。その結果、色を識別する処理が高速に行える。
【００４０】
請求項５記載の発明によれば、識別問題で典型的に用いられている最近傍識別により識別を行うので、これまでに開発された効率的なアルゴリズムなどを有効に活用することができる。
【００４１】
請求項６記載の発明によれば、データ量が大きくなっても、キーとなるオブジェクトから対応するオブジェクトへ高速にアクセスできるため、高速な処理が可能となる。
【００４２】
請求項７記載の発明によれば、閾値を変えることにより、識別の基準を制御することができる。そのため、背景領域の変動などがあった場合にも、閾値を調整することで、容易に最適な識別を行うことができる。
【００４３】
請求項８記載の発明によれば、画素の座標に関する情報をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。
【００４４】
請求項９記載の発明によれば、色階調に関する情報をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。
【００４５】
請求項１０記載の発明によれば、画像座標ｘｙと色階調ＹＵＶという異なる情報量による各軸間の距離に重みを与えて調整しているので、適切な識別が行われる。
【００４６】
請求項１１記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法を提供することができる。
【００４７】
請求項１２記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法に関する、コンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体を提供することができる。
【００４８】
請求項１３記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法に関するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００５０】
［本実施形態の概略］
本発明は背景差分を基本とした方法であり、ターゲット検出時に起こりうる背景変動はすべて事前に撮影された背景画像中の色分布そのものによって表現される。したがって、ターゲット検出性能を上げるためには、起こりうる背景変動を可能な限りもれなく観測・収集しておく必要がある。しかし、すべての移動対象物の写り込みや雲の移動による細かな影の変化なども含めた背景の見えのパターンは膨大であり、それらすべてを事前に観測することは不可能である。
【００５１】
したがって、背景情報のみに基づくターゲット検出時は、背景情報が不完全であることを考慮して、確実に背景外領域と見なせる領域を検出する。また、背景色とターゲット色を考慮したターゲット検出時は、ターゲット色学習後に、背景色とターゲット色が似通っていても、最近傍識別によって双方の等方的な誤差・変動に対してロバストな識別を行うことを可能とする。
【００５２】
［背景色領域形成］
図１は、本発明に係る画像処理装置の一実施形態における機能ブロック図である。所定の位置に固定されたカメラ３は、矩形の点線で示された背景領域１、または背景領域１および対象領域２からなる領域を撮像する。このカメラ３は、制御部４に接続され、制御部４によって制御されるとともに、撮像した画像データなどを制御部４に出力する。また、制御部４にはドライブ５が接続されており、制御部４から出力された画像データなどを記録媒体に記録する。
【００５３】
背景領域１および対象領域２は、本発明を高度道路交通システム（ＩＴＳ：Intelligent Transport System）に適用する場合には、例えば、高速道路を含めた所定の領域が背景領域１であり、その道路を走行している車が対象領域２に対応する。また、本発明を監視システムに適用する場合には、例えば、住居の入り口やエレベータホールなどが背景領域１であり、その背景領域１内を通過する人物が対象領域２に対応する。
【００５４】
カメラ３は、静止画撮影の場合には、例えばデジタルスチルカメラであり、動画撮影の場合には、例えばデジタルビデオカメラである。また、カメラ３は、ＣＣＤ（Charge Coupled Devices）を撮像素子として備えるものである。カメラ３は、制御部４の指示に従って画像を撮像し、画素値Ｉ（ｘ，ｙ）からなる画像データを制御部４に出力する。本実施形態においては、この画素値Ｉ（ｘ，ｙ）は、カラーデータであり、画像データの色階調値はＹＵＶ方式で表されているとする。ＹＵＶ方式は、輝度信号であるＹと、色信号であるＵおよびＶとで画像データの色を表現するものである。このようにＹＵＶ方式では輝度と色の信号を分けているため、輝度信号（Ｙ）により多くのデータ量を割り当てることで、少ない画質の劣化で高いデータ圧縮率を得ることができる。また、このＹＵＶ値（色階調値）は、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現するＲＧＢ方式におけるＲＧＢ値や、それ以外の色表現形式に容易に変換することができる。
【００５５】
また、本実施形態においては、ＣＣＤは単板式であり、各画素にＹＵＶ値が与えられているとして説明するが、カメラ３のＣＣＤは、３板式であっても、単板式であっても構わない。３板式は、撮像された画像データの色を、例えばＲ、Ｇ、Ｂの三原色に分けて、それぞれにＣＣＤを割り当てる方式である。それに対して、単板式は、ＲＧＢなどの色をまとめて、それに１つのＣＣＤを割り当てる方式である。
【００５６】
制御部４は、カメラ３で撮像された画像データを取り込み、その画像データに基づいて所定の処理を施す機能部である。また、制御部４は、ドライブ５に対して画像データなどのデータを出力する。さらに、制御部４は、ドライブ５を介して、種々の画像データやプログラムなどが記録された記録媒体から必要な情報をインストールし、その機能を実行することができる。
【００５７】
この制御部４は、主制御部１０、背景画像データ記憶部１１、入力画像データ記憶部１２、構造化データ記憶部１３、クラス識別部１４、閾値比較部１５および周辺機器制御部１６を備える。
【００５８】
主制御部１０は、背景画像データ記憶部１１、入力画像データ記憶部１２、構造化データ記憶部１３、クラス識別部１４、閾値比較部１５および周辺機器制御部１６に接続され、これらの処理を制御するものである。
【００５９】
背景画像データ記憶部１１は、カメラ３で撮像された背景領域１のみの画像データ（背景画像データ）を記憶する機能部である。この背景画像データ記憶部１１においては、画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００６０】
入力画像データ記憶部１２は、カメラ３で撮像された背景領域１および対象領域２からなる画像データを記憶する機能部である。この入力画像データ記憶部１２においても、背景画像データ記憶部１１と同様、画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００６１】
構造化データ記憶部１３は、画素の座標（ｘ，ｙ）に対応して、背景画像データのＹＵＶ値を記憶する。ただし、背景画像データ記憶部１１とは異なり、画素の座標一つに対応して背景画像データ枚数分のＹＵＶ値を構造化して記憶する。さらに、構造化データ記憶部１３は、入力画像データの各画素において、対象色領域に含まれると判断された画素の座標（ｘ，ｙ）とＹＵＶ値とを構造化して記憶する。この画素の座標に対応してＹＵＶ値が構造化されている色空間を、以後、識別空間と呼ぶ。また、構造化データ記憶部１３は、背景色記憶手段および対象色記憶手段として機能する。
【００６２】
クラス識別部１４は、入力画像データ記憶部１２に記憶された入力画像データの各画素のＹＵＶ値が、識別空間において背景色領域と対象色領域のいずれに属するかを判別する機能部である。そして、ＹＵＶ値が対象色領域に属すると判別された場合に、クラス識別部１４は、そのＹＵＶ値を構造化データ記憶部１３に記憶させる。また、同時に、クラス識別部１４は、識別空間において各画素のＹＵＶ値と背景色領域の最近傍点までの距離とを求める。また、クラス識別部１４は、クラス識別手段として機能する。
【００６３】
閾値比較部１５は、クラス識別部１４で求められた、各画素のＹＵＶ値と背景色領域の最近傍点までの距離と閾値Ｔｈbとを比較する機能部である。
【００６４】
周辺機器制御部１６は、例えば静止画撮影の場合に、カメラ３に撮像信号を送出し、画像を撮像させるなど、カメラ３を制御する機能を有する。また、周辺機器制御部１６は、画像データやプログラムをドライブ５に出力し記録媒体に記録させ、逆に記録媒体に記録された画像データやプログラムをドライブ５を介して入力するなど、ドライブ５を制御する機能を有する。
【００６５】
ドライブ５は、制御部４から出力された画像データなどのデータを受け取り、そのデータを種々の記録媒体に出力する。また、ドライブ５は、記録媒体に記録された種々の画像データやプログラムなどを制御部４に出力する。この記録媒体は、磁気ディスク（フロッピー（登録商標）ディスクを含む）２１、光ディスク（ＣＤ：Compact Disk、ＤＶＤ：Digital Versatile Diskを含む）２２、光磁気ディスク（ＭＤ：Mini-Diskを含む）２３または半導体メモリ２４などにより構成される。
【００６６】
図２は、本発明に係る画像処理装置の一実施形態における処理の流れを示すフローチャートである。以下、この図１および図２を参照しながら、本発明に係る画像処理装置の一実施形態における機能および処理の流れを説明する。
【００６７】
まず、背景画像データに基づいて、背景色領域形成を行う処理（図２のＳ１０およびＳ１１）について説明する。
【００６８】
最初に、照明条件などを変化させながら、背景領域１のみがカメラ３で複数枚撮像される（Ｓ１０）。得られた背景画像データは、制御部４内の背景画像データ記憶部１１に出力され、そこに記憶される。このとき、背景画像データ記憶部１１においては、背景画像データの各画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。また、背景画像データは複数枚撮像されているので、同じ画素の座標に複数個のＹＵＶ値が存在している。これを表現するために、本実施形態においては、ｘｙ−ＹＵＶ５次元空間（識別空間）を考え、その空間内にＹＵＶ値を記憶させる（Ｓ１１）。
【００６９】
図３は、本発明の一実施形態における識別空間を表す模式図である。この図は、複数枚の背景画像データおよび入力画像データにおける、画素の座標とＹＵＶ値とをどのように識別空間に配置させるかを示している。例えば、背景画像データにおける座標が（ｘq，ｙq）である画素のＹＵＶ値が（Ｙq，Ｕq，Ｖq）のとき、このｘｙ座標とＹＵＶ値とを合わせて５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）T（背景色ベクトル）が構成される。そして、この５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）Tが、識別空間において「背景」とラベル付けされる。このとき、模式的には、各（ｘ，ｙ）座標点にそれぞれＹＵＶ軸が備わっていると考えることができる。つまり、背景画像データの画素の座標（ｘq，ｙq）と画素のＹＵＶ値（色階調値）（Ｙq，Ｕq，Ｖq）とが識別空間内に構造化（（ｘq，ｙq，Ｙq，Ｕq，Ｖq）T）され、背景色領域とラベル付けされることになる。この構造化された５次元ベクトルは、構造化データ記憶部１３に記憶される。
【００７０】
［対象領域検出］
前述した識別空間における背景色領域形成（背景学習）が終了すると、対象領域検出の準備が整ったことになる。対象領域中の色情報が未知の場合には、背景色情報のみから対象領域検出を行う。
【００７１】
以下、入力画像データが、背景色領域と対象色領域とのいずれに属するかを判別する処理（図２のＳ２０〜Ｓ２６）について説明する。
【００７２】
最初に、背景領域１と対象領域２とが重なった入力画像がカメラ３で撮像される（Ｓ２０）。得られた入力画像データは、制御部４内の入力画像データ記憶部１２に出力され、そこに記憶される。このとき、入力画像データ記憶部１２においては、入力画像データの各画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００７３】
続いて、入力画像データの画素（ｘq，ｙq）が選択され（Ｓ２１）、その画素のｘｙ−ＹＵＶ値が識別空間に投影される（Ｓ２２）。これは、クラス識別部１４が、入力画像データ記憶部１２から座標（ｘq，ｙq）の画素のＹＵＶ値を受け取り、さらに構造化データ記憶部１３から同じ座標（ｘq，ｙq）の画素のすべてのＹＵＶ値を受け取り、これらを比較することに相当する。
【００７４】
次に、クラス識別部１４において、画素（ｘq，ｙq）のＹＵＶ値に対して、最近傍識別が行われる（Ｓ２３）。本実施形態においては、簡単のため、識別すべきクラスは背景とターゲットの２つだけとする。したがって、最近傍識別の結果、入力画像データのＹＵＶ値は、背景かターゲットかのいずれかのクラスに分けられる。また、クラス識別部１４において、最近接クラスが決定されると同時に、背景色領域に属する最近傍点までの距離が求められる。求められた最近傍点までの距離は、閾値比較部１５に出力される。
【００７５】
識別空間にターゲット色が全く記録されていない初期状態では、最近傍識別はすべてのｘｙ−ＹＵＶ値を背景として識別してしまう。そこで、通常の背景差分のように閾値Ｔｈb（定数）を導入し、最近傍点までの距離が閾値Ｔｈbより大きいｘｙ−ＹＵＶ値を背景外色領域（本実施形態においては対象色領域）として検出するように構成する。
【００７６】
まず、図２の最近傍識別（Ｓ２３）において、入力画像データの座標（ｘq，ｙq）の画素のＹＵＶ値が背景色領域に属すると識別された場合を説明する。まず、閾値比較部１５において、クラス識別部１４で求められた最近傍点までの距離と閾値Ｔｈbとが比較される（Ｓ２４）。そして、最近傍点までの距離が閾値Ｔｈbより小さければ（Ｓ２４でＮＯ）、その入力画像データのＹＵＶ値は背景色領域に属すると識別され、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００７７】
それに対して、閾値比較部１５において、最近傍点までの距離が閾値Ｔｈbより大きいと判断されれば（Ｓ２４でＹＥＳ）、その入力画像データのＹＵＶ値は対象色領域に属すると識別される。また、このときの５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）Tを、対象色ベクトルと呼ぶ。そして、識別空間の全画素のｘｙ座標において、そのＹＵＶ値が対象色領域として記憶され（Ｓ２６）、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００７８】
このようにして、順次、対象色ベクトルが記憶されていくと、背景色領域と対象色領域とを分けている決定境界の形状も、それに応じて変化していく。
【００７９】
次に、図２の最近傍識別（Ｓ２３）において、入力画像データの座標（ｘq，ｙq）の画素のＹＵＶ値が対象色領域に属すると識別された場合を説明する。まず、閾値比較部１５において、クラス識別部１４で求められた最近傍点までの距離と閾値Ｔｈbとが比較される（Ｓ２５）。そして、最近傍点までの距離が閾値Ｔｈbより小さければ（Ｓ２５でＮＯ）、その入力画像データのＹＵＶ値は背景色領域にも近いことになるために、識別空間内に記憶させることはせず、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００８０】
つまり、本実施形態においては、「確実に背景外領域である」と判断された領域のみを切り出し、その領域中の色をターゲット色として記録し、以降の識別処理に利用する。
【００８１】
それに対して、閾値比較部１５において、最近傍点までの距離が閾値Ｔｈbより大きいと判断されれば（Ｓ２５でＹＥＳ）、その入力画像データのＹＵＶ値は確実に対象色領域に属すると識別される。そして、識別空間の全画素の座標において、そのＹＵＶ値が対象色領域として記憶され、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００８２】
以上の処理を繰り返していくことにより、背景領域の中から対象領域を識別することができる。
【００８３】
以上説明したように本実施形態においては、入力画像データのＹＵＶ値が対象色領域に属すると識別されると、そのＹＵＶ値が識別空間に記憶される。そのため、この識別に不具合が生ずると、以降の最近傍識別による誤検出が増加してしまう。これを避けるためには、識別時の閾値Ｔｈbを十分に大きくすることが好ましい。
【００８４】
この閾値Ｔｈbを十分に大きく取ってよい理由は以下の通りである。ある背景領域の色とそれに似た色の対象領域が重なったとき、閾値Ｔｈbが大きいと、その対象領域が全く検出されなくなってしまう。しかし、閾値Ｔｈbによる背景差分は、背景とターゲットの色が大きく異なる領域において確実に対象領域を検出し、その検出領域中の色をターゲット色として識別空間に記録するための処理であり、類似した背景・ターゲット色間の識別は最近傍識別によって行われる。したがって、閾値Ｔｈbは適当に十分大きな値でよい。
【００８５】
また、本実施形態においては、閾値Ｔｈbを定数として説明したが、これは識別処理を高速化するためである。これにより、識別の実時間処理が可能となる。しかし、本発明はこれに限られることなく、背景領域の変動に応じた適切な閾値設定も可能である。
【００８６】
上記の識別処理においては、例えば（ｘp，ｙp，Ｙp，Ｕp，Ｖp）Tが背景外色領域として識別されると、この（Ｙp，Ｕp，Ｖp）が他のｘｙ座標で観測されてもターゲット色として識別されるように、全ｘｙ座標の（Ｙp，Ｕp，Ｖp）をターゲット色にクラス分類する。しかし、他のｘｙ座標（ｘq，ｙq）では、（ｘq，ｙq，Ｙp，Ｕp，Ｖp）Tが背景色領域に分類されている可能性がある。このとき、（ｘq，ｙq，Ｙp，Ｕp，Ｖp）Tのクラスをターゲットに変更してしまうと、座標（ｘq，ｙq）を頻繁に誤検出してしまう。そこで、以下のターゲット色登録処理によってこの問題を回避することも可能である。
【００８７】
まず、ターゲット色として識別されたＹＵＶ値（Ｙi，Ｕi，Ｖi）を色成分に持つ全ｘｙ−ＹＵＶ値｛（ｘi，ｙi，Ｙi，Ｕi，Ｖi）T｝（ただし、ｉは全画像座標を要素に持つ集合の要素）の最近傍識別を行う。
【００８８】
次に、最近傍識別の結果、最近傍点までの距離が閾値Ｔｈtより大きい場合のみ背景色との重なりがないとみなし、そのｘｙ−ＹＵＶ値をターゲットにクラス分類する。
【００８９】
ここで導入した閾値Ｔｈtは、識別空間における背景色領域が信頼できる場合は、０（ゼロ）でよい。つまり、ＹＵＶ値が完全に一致した場合のみ、ターゲットにクラス分類するように構成してもよい。それは、本発明においては、背景領域の観測・学習はオフライン処理であるため、この処理の段階で識別空間における背景色領域の信頼性を十分に高めておくことが可能であるからである。
【００９０】
［対象色領域の逐次更新］
ターゲット色が学習されると、閾値Ｔｈbによる閾値処理によってだけでなく、最近傍識別によってターゲットに識別されるｘｙ−ＹＵＶ値（ｘp，ｙp，Ｙp，Ｕp，Ｖp）Tが現れる。図４（ａ）に、十分な背景学習が行われたため、識別空間における背景色領域は信頼できるが、ターゲット色学習が不十分な時点（時刻Ｔpとする）の、画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す。この時刻Ｔpにおいても、図４（ａ）のＶ1のように、最近傍識別によるターゲット色検出結果は信頼性が高い。したがって、画素（ｘp，ｙp）を対象領域として検出する。しかし、逆に、図４（ａ）のＶ2のように、最近傍識別により背景色と識別されたｘｙ−ＹＵＶ値が実際に背景に対応している可能性は必ずしも高くない。
【００９１】
図４（ａ）の例では、ターゲット色学習が不十分な時刻Ｔpにおいて、少ないながらも学習済の対象色領域ＴTpとの距離が小さいＶ1はターゲットとして識別されている。しかしながら、本来はターゲットに識別されるべきＶ2は、背景に識別されている。この問題は、ターゲット色学習が進むにつれて自動的に解決できる。図４（ｂ）に、十分なターゲット色学習が行われた時刻Ｔqの、画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す。この図からわかるように、Ｖ1、Ｖ2ともにターゲットとして識別されることになる。
【００９２】
これは、言い換えれば、背景領域と対象色領域を分けている境界である、決定境界の位置に依存する。図４（ａ）に示したように、不十分な学習しか行われていなければ、対象色領域に属するベクトルが少ないために、決定境界（不十分な学習）ＤＢTpは、対象色領域側に近いところに位置している。そのため、本来はターゲットに識別されるべきＶ2は、背景に識別されている。それに対して、学習が進んでいき時刻Ｔqになると、決定境界（十分な学習）ＤＢTqは、より背景色領域側に近いところに移動している。これにより、Ｖ2もターゲットとして識別されることになる。
【００９３】
また、最近傍識別によりあるｘｙ−ＹＵＶ値がターゲット色に識別されても、最近傍背景色領域との距離が大きい（確実にターゲット色であると確認できる）ことは保証されていない。そこで、最近傍識別によってターゲットに識別されたｘｙ−ＹＵＶ値を、識別空間内にターゲット色として記憶する際にも、前述したターゲット色登録処理を実行することが好ましい。
【００９４】
［他の好ましい実施形態］
前述した実施形態においては、画像データの色階調値はＹＵＶ方式で表されているとして説明した。しかし、本発明はそれに限られることなく、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現するＲＧＢ方式におけるＲＧＢ値や、それ以外の色表現形式で表してもよい。また、例えばカメラから出力されたＹＵＶ値をＲＧＢ値など、他の色表現形式に変換して本発明に係る画像処理を行ってもよいし、逆に、カメラから出力されたＲＧＢ値など、他の色表現形式のものをＹＵＶ値に変換して本発明に係る画像処理を行うように構成することも可能である。
【００９５】
また、本発明はカラー画像に限られることなく、例えば、８ビット２５６階調のグレースケールで表された画像データに対しても、適用可能である。
【００９６】
さらに、本発明は、画素の座標を表すｘｙ２次元座標と色階調を表すＹＵＶ３次元ベクトルとの組み合わせに限られることなく、画素の座標と色階調を表すベクトルとの他の任意の組み合わせに対しても適応可能である。例えば、画素が３次元的に配列されている場合であれば、画素の座標を表すｘｙｚ３次元座標と色階調を表す任意の次元のベクトルとを組み合わせることも可能である。
【００９７】
また、以上の説明においては、識別すべきクラスは背景とターゲットの２つだけとしたが、本発明はそれに限られることなく、３つ以上のクラスの識別においても有効である。
【００９８】
前述した実施形態においては、１画素ごとにそのＹＵＶ値を識別空間に投影し、ターゲット色検出を行った。しかし、近接画素間においては、ＹＵＶ値の生起確率には高い相関があり、またカメラの量子化誤差の影響で各ＹＵＶ値の下位ビットの値は信頼性が低い。そのため、ｘｙ−ＹＵＶ軸をそれぞれ観測可能な最大解像度（すなわち、ｘｙ軸を１画素ごと、ＹＵＶ軸を１階調ごと）でサンプリングしても冗長性が高く、識別空間の巨大化に伴う識別の高精度化は期待できない。そこで、識別性能と計算コストとのトレードオフを考慮して、各軸のサンプリングレートを決めることが好ましい。
【００９９】
図５は、ｘｙ軸の画素、およびＹＵＶ軸の階調をリサンプリングする一実施形態を示した模式図である。図５（ａ）は画像データの画素を表しており、（ｂ）はｘｙ各軸をリサンプリングして得たＹＵＶ集合である（空間リサンプリング）。図５（ａ）では、ｘｙ各軸をそれぞれ１／ｂにリサンプリングして、図５（ｂ）のＹＵＶ集合ＳSを作製している。ここで、この例においては、ｂ＝４である。すなわち、４×４ピクセルのブロック中の全ＹＵＶ値を識別空間中の一つのｘｙ値（例えば、４×４ピクセルの最も左上の座標など）に対応させている。
【０１００】
続いて、ＹＵＶ軸の各階調を１／ｃにリサンプリングして、図５（ｃ）に示したＹＵＶ集合ＳCを得ている（階調リサンプリング）。図中の記号［ｘ］は、ｘを超えない最大の整数を表す。
【０１０１】
本発明においては、画像座標ｘｙと色階調ＹＵＶという異なる情報量によって、識別空間が構成されている。そのため、識別空間中の距離によって色を識別する際に、全軸間の距離を均一に評価してしまうことは、識別結果に悪影響を及ぼす可能性がある。そこで、前述のサンプリングレートを考慮した上で、各軸間の距離に重みを与えることにより、適切な識別が行われるように調整する。
【０１０２】
図５（ｄ）では、画像中の（ｘ＝ｎ，ｙ＝ｎ）番目のブロックからサンプリングされたＹＵＶ集合ＳCが、ｘｙ−ＹＵＶ空間のｘｙ軸方向単位長にｗ倍の重みを与えられて、（ｘ＝ｗｎ，ｙ＝ｗｎ）に投影されている。この重みは、厳密には入力画像の複雑さによって変化させるべきであるが、一般的にはｘｙ−ＹＵＶ軸のサンプリングレートのみに応じて決定しても識別結果に大きな影響はない。
【０１０３】
また、このリサンプリングは、識別空間のサイズを調整しているだけで、入力画像データのサイズを縮小している訳ではない。それでありながら、情報量をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。さらに、空間リサンプリングにおいては、例えある画素の色階調値がノイズにより本来の値から変動させられたとしても、隣接する画素と合わせたブロックに対して処理が行われるため、その変動の影響をほとんど受けずに済む。
【０１０４】
ターゲット検出時は、全画素に対応するｘｙ−ＹＵＶ値が上記の背景学習と同様のルールで識別空間に投影され、それぞれ独立に、例えば画像が６４０×４８０ピクセルであれば、６４０×４８０回の最近傍識別が行われる。
【０１０５】
以上説明した一連の画像処理は、ソフトウェアにより実行することができる。例えば、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータで実現される。これは、図１において、制御部４およびドライブ５をコンピュータとし、主制御部１０を専用のハードウェアとすることに相当する。
【０１０６】
または、一連の画像処理は、記録媒体からソフトウェアを構成するプログラムがインストールされることにより、各種の機能を実行することが可能な汎用のコンピュータで実現される。これは、例えば、図１において、制御部４およびドライブ５を汎用のコンピュータとし、磁気ディスク２１、光ディスク２２、光磁気ディスク２３または半導体メモリ２４などを、プログラムを記録した記録媒体としたことに相当する。
【実施例１】
【０１０７】
以下、照明の変化、背景物体の動きなどの背景領域の変動に対する、本発明の有効性を確認するための一実施例について説明する。
【０１０８】
本実施例では、図１の制御部４およびドライブ５としてＰｅｎｔｉｕｍ（登録商標）４ ２．４ＧＨｚのＰＣ（パーソナルコンピュータ）と、図１のカメラ３としてＳＯＮＹ製ＩＥＥＥ１３９４カメラＤＦＷ−ＶＬ５００とを用いた画像処理の一例を示す。入力画像データは、６４０×４８０ピクセルのＹＵＶ画像である。
【０１０９】
図６に、実験を行った背景領域を示す。図６（ａ）は照明がオンの場合であり、図６（ｂ）は照明がオフの場合である。日照変化により壁や床の陰影は微妙に変化している。また、画面左上のカーテンは風のため揺れている。
【０１１０】
図７および図８は、定数閾値による背景差分の検出結果を示す。ただし、図７（ｂ）および図８（ｂ）、（ｄ）は、「極力全対象領域が検出されるように」手動で決められる閾値を小さく取った場合の検出結果である。また、図７（ｃ）および図８（ｃ）、（ｅ）は、逆に、「極力誤検出が小さくなるように」手動で決められる閾値を大きく取った場合の検出結果である。そして、全結果の閾値は互いに異なる値である。
【０１１１】
図７（ｂ）、（ｃ）は、図６（ａ）（照明オン）と図７（ａ）の差分結果において、閾値を変えた結果である。適切な閾値によって、図７（ｃ）のように比較的良好な結果を得ることもできるが、図６（ａ）と図７（ａ）において、カーテンが移動した分は誤検出されている。また、図８（ｂ）、（ｃ）は、図６（ａ）（照明オン）と図８（ａ）の差分結果において、閾値を変えた結果である。入力画像の照明条件が急激に変化しているため、閾値を調節しても大きな誤検出が生じている。
【０１１２】
一方、図８（ｄ）、（ｅ）は、図６（ｂ）（照明オフ）と図８（ａ）の差分結果において、閾値を変えた結果である。このように、仮に入力画像に適した静止背景画像が与えられたとしても、照明が消えて画像全体が暗い場合、背景色とターゲット色との差分が小さいため、閾値の小さな違いが検出結果に大きな影響を与えてしまう。
【０１１３】
次に、図９に、ガウス混合モデルを用いた背景差分の検出結果を示す。図９（ａ）は、図７（ａ）（照明オン）からの検出結果であり、照明状況に対して十分に背景モデルが適応した後の検出結果を示している。この図９（ａ）に示した結果は、全画素に対して定数の閾値処理が行われた図７（ｂ）、（ｃ）と比べて、非静止背景物体の誤検出がほとんどない。しかし、図９（ｂ）に示すように、照明オンに適応した背景モデルにより、図８（ａ）（照明オフ）からの検出を行うと、誤検出が生じてしまう。
【０１１４】
これは、照明オフ直後には背景モデル更新が間に合わないために誤検出が生じることを意味する。照明オフの背景画像集合に合わせて十分に更新された背景モデルから検出閾値を決定すると、図９（ｃ）に示すように単純な背景差分の結果（図８（ｂ）、（ｃ）、（ｄ）、（ｅ））と比べて良好な結果を得ることができる。
【０１１５】
最後に、図１０（照明オン）および図１１（照明オフ）に、本発明に係る画像処理方法による検出結果を示す。ｘｙ−ＹＵＶ空間での最近傍識別には、ハッシュ表を用いた効率的キャッシングによる高速化を施した。ハッシュ表を用いると、データ量が大きくなっても、キーとなるオブジェクトから対応するオブジェクトへ高速にアクセスできるため、高速な処理が可能となる。
【０１１６】
また、ｘ、ｙ軸をそれぞれ１／８に（ｘ軸：６４０ピクセル→８０ピクセル、ｙ軸：４８０ピクセル→６０ピクセル）、ＹＵＶ軸はそれぞれ階調を半分（２５６→１２８）にリサンプリングし、ｘｙ軸とＹＵＶ軸の単位長の比が２：１になるようにｘｙ軸に２倍の重みを与えた。つまり、前述のｂ、ｃおよびｗは、ｂ＝８、ｃ＝２およびｗ＝２である。
【０１１７】
本実施例では、まず図６に示したような照明オン・オフ時の背景画像をそれぞれ５種類ずつ事前に撮影し、計１０枚の画像中の全ｘｙ−ＹＵＶ値を一つの識別空間中に記録した。これらの画像において、壁や床の上の陰影は微妙に変化し、風で揺れるカーテンは様々な形状で撮影された。
【０１１８】
本実施例においては、ターゲットは画像内を数往復し、その間に十分なターゲット色学習が行われた。また、ターゲット色学習量に応じた検出結果の変化を確認するため、ある１枚の入力画像に対して、（ａ）ターゲット色学習なし、（ｂ）ターゲット色学習量小、および（ｃ）ターゲット色学習量大、という３つの異なる条件でターゲット検出を行った。その結果が、それぞれ、図１０ならびに図１１の（ａ）、（ｂ）および（ｃ）である。すなわち、図１０（ａ）と図１１（ａ）、図１０（ｂ）と図１１（ｂ）、および図１０（ｃ）と図１１（ｃ）は、それぞれ同一の背景色・ターゲット色データによる検出結果であり、照明オン・オフ時のそれぞれに適した識別データを用意している訳ではない。
【０１１９】
図７（ａ）（照明オン）と図８（ａ）（照明オフ）からの検出結果を、それぞれ図１０および図１１に示す。ただし、本発明に係る画像処理方法には、図７および図８に示した単純な背景差分のように、人間が適切な閾値を定めるような手動処理は一切含まれていない。つまり、本実施例においては自律動作によりターゲット検出を行わせている。
【０１２０】
図１０（ａ）、（ｂ）や図１１（ａ）、（ｂ）に示すように、ターゲット色の学習量が十分ではないときは、背景色と対象領域中の色が似ている領域（カーテンとシャツが重なる領域）での検出洩れが多い。しかし、図１０（ｃ）、図１１（ｃ）に示したように、十分な量のターゲット色を学習した後の検出結果では、背景色と類似した色の対象領域の検出率も向上し、他の方法と比べて極めて優れた結果が得られている。
【０１２１】
また、図１０（ｃ）における検出洩れのほとんどは、照明によりターゲット色が完全に飽和している領域であり、色情報のみを参照して同じく色が完全に飽和した背景領域と識別することは不可能である。また、ターゲット色学習後の動作速度は、ＰＣの性能に依存するが、現状１０ｆｐｓに近い値が得られており、十分に実時間ターゲット検出が可能である。
【０１２２】
以上説明したように、本発明によれば、背景差分とターゲット色検出を統合した、任意の対象領域における実時間ターゲット検出が可能な画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体を提供できる。本発明においては、画像のｘｙ軸と色のＹＵＶ軸からなる５次元空間における最近傍識別によって、背景画像色の空間的分布とターゲット色の分布との両方を考慮した識別空間を構成することにより、背景差分の適切な閾値設定を実現している。その結果、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である。
【図面の簡単な説明】
【０１２３】
【図１】本発明に係る画像処理装置の一実施形態における機能ブロック図である。
【図２】本発明に係る画像処理装置の一実施形態における処理の流れを示すフローチャートである。（ａ）は背景色領域形成、（ｂ）は対象領域検出の処理に関するものである。
【図３】本発明の一実施形態におけるｘｙ−ＹＵＶ５次元空間を表す模式図である。
【図４】画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す模式図である。（ａ）はターゲット色学習時間が不十分、（ｂ）はターゲット色学習時間が十分行われた場合の結果である。
【図５】ｘｙ軸の画素、およびＹＵＶ軸の階調をリサンプリングする一実施形態を示した模式図である。（ａ）は画像データの画素、（ｂ）は空間リサンプリング後、（ｃ）は階調リサンプリング後、（ｄ）は空間重み付け後を表す。
【図６】実験を行った背景領域である。（ａ）は照明オン時、（ｂ）は照明オフ時である。
【図７】背景差分による、照明オン時の入力画像を用いたターゲット検出結果である。（ａ）は入力画像、（ｂ）は差分閾値小、（ｃ）は差分閾値大の場合の結果である。
【図８】背景差分による、照明オフ時の入力画像を用いたターゲット検出結果である。（ａ）は入力画像、（ｂ）は差分閾値小、（ｃ）は差分閾値大、（ｄ）は差分閾値小、（ｅ）は差分閾値大の場合の結果である。
【図９】ガウス混合モデルを用いた背景差分によるターゲット検出結果である。（ａ）は照明オン時、（ｂ）は照明オフ直後、（ｃ）は照明オフ時の場合の結果である。
【図１０】本発明に係る画像処理方法による、照明オン時のターゲット検出結果である。（ａ）はターゲット色未学習、（ｂ）はターゲット色学習量小、（ｃ）はターゲット色学習量大の場合の結果である。
【図１１】本発明に係る画像処理方法による、照明オフ時のターゲット検出結果である。（ａ）はターゲット色未学習、（ｂ）はターゲット色学習量小、（ｃ）はターゲット色学習量大の場合の結果である。
【図１２】従来の画像処理方法におけるＹＵＶ−ＹＵＶ６次元空間を表す模式図である。
【符号の説明】
【０１２４】
１ 背景領域
２ 対象領域
３ カメラ
４ 制御部
５ ドライブ
１０ 主制御部
１１ 背景画像データ記憶部
１２ 入力画像データ記憶部
１３ 構造化データ記憶部
１４ クラス識別部
１５ 閾値比較部
１６ 周辺機器制御部
【技術分野】
【０００１】
本発明は、画像中に含まれる複数の領域を識別する画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
観測画像中から移動物体などの対象（ターゲット）を検出する問題は、コンピュータビジョンの中でも重要な課題の一つとして挙げられる。その解決のために開発された方法の中でも、画像中の特定の色を検出する色検出と、あらかじめ用意した背景画像から変化した領域を検出する背景差分は、ターゲット検出の基本的な技術として用いられている。
【０００３】
色検出は、ターゲット色ごとに適切な閾値を設定できるので、微妙な色の違いを識別することが可能である。
【０００４】
また、背景差分は、ターゲットに関する事前知識を必要とせず、任意のターゲットを検出可能であり、かつ画素ごとに背景色の変化をモデル化可能な方法である。このような利点を有するため、背景差分は、静止領域の検出が不可能なフレーム間差分や、事前に定義されたターゲットしか検出できない顔検出・肌色検出と比較して、多くの視覚システムで利用されている。特に、十分な背景情報を事前に学習可能な環境下であれば、優れた結果を期待することができる。
【０００５】
さらに最近は、背景変動に対してロバスト（頑健）であり、かつ背景と任意のターゲットの微妙な色の差を検出可能とするために、これら背景差分と最近傍識別による色検出を有機的に統合することも行われている（例えば、非特許文献１参照）。
【０００６】
この非特許文献１に開示された方法においては、図１２に示したように、画素の色（色階調値）が６次元のＹＵＶ色空間（識別空間）で表現される。具体的には、背景領域を撮像した背景画像データの座標（ｘp，ｙp）における画素の３次元色が（Ｙｂp，Ｕｂp，Ｖｂp）であるとき、その背景色は、識別空間において（Ｙｂp，Ｕｂp，Ｖｂp，Ｙｂp，Ｕｂp，Ｖｂp）Tという６次元ベクトルで表現される（Ｔは、ベクトルの転置を表す。）。同様に、背景画像データの座標（ｘq，ｙq）における画素の３次元色が（Ｙｂq，Ｕｂq，Ｖｂq）であるとき、その背景色は、識別空間において（Ｙｂq，Ｕｂq，Ｖｂq，Ｙｂq，Ｕｂq，Ｖｂq）Tという６次元ベクトルで表現される。このように識別空間における６次元ベクトルで表された背景画像データ（背景色ベクトル）は、背景色領域を形成する。
【０００７】
また、背景領域および対象領域を撮像した入力画像データの座標（ｘs，ｙs）における画素の３次元色が（Ｙｉs，Ｕｉs，Ｖｉs）であるとき、その入力された色は、識別空間において（Ｙｂs，Ｕｂs，Ｖｂs，Ｙｉs，Ｕｉs，Ｖｉs）Tという６次元ベクトルで表現される。このようにして得られた６次元ベクトルに対して、６次元空間における最近傍識別を用いることで、入力された色が背景色領域または対象色（ターゲット色）領域に識別される。対象色領域に識別された６次元ベクトル（Ｙｂs，Ｕｂs，Ｖｂs，Ｙｉs，Ｕｉs，Ｖｉs）Tは対象色ベクトルと呼ばれ、背景色領域と対象色領域との境界は決定境界と呼ばれる。
【０００８】
この方法では、通常（３次元）に比べて次元数が大きいため、処理時間はかかるが、最近傍識別のためのキャッシュの効率的利用により実時間動作が可能となっている。
【非特許文献１】加藤丈和、柴田智行、和田俊和：「最近傍識別器を用いた背景差分と色検出の統合」、情処研報 CVIM-142-5, Vol. 145, no. 5, pp. 31-36, Jan. 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、背景差分は、照明変化（照明強度や照明色の変化）や影による背景物体の見えの変化、または、背景内に、例えば葉や旗の揺らぎなどの非静止領域がある場合には、背景とターゲットを正確に識別することができない。さらに、背景差分には、背景に似た色を有するターゲットの検出が困難であるという課題がある。
【００１０】
また、色検出は、背景画像の全画素に含まれる色集合と各ターゲット色の間の識別を行う方法であるため、膨大な種類の色集合を扱う識別問題となる。そのため、必然的に異なるクラス間の距離は小さくなり、識別性能が低下する（位置情報の欠落）。さらに、ターゲット色は人手により与えられているので、自律動作するターゲット検出システムにはそのまま適用することができない（非自律性）という課題を有する。
【００１１】
背景差分と色検出を統合した非特許文献１に開示された方法においては、参照する背景画像が１枚だけなので、照明変化に対応できないという課題がある。例え、様々な照明条件下における背景画像集合を記録していたとしても、現状の方法では、逐次参照する背景画像を選択する基準がない。また、背景情報は独立なＹＵＶ値として表現されているため、位置情報が欠落している。すなわち、近接画素間の共起性などは全く考慮されていない。さらに、適切なターゲット色を指定するために人手を要しているという課題もある。
【００１２】
本発明は、上記課題に鑑みてなされたものであり、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１記載の発明は、画像処理装置であって、所定の領域を撮像し、画像データに変換する撮像手段と、前記撮像手段により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶手段と、前記撮像手段により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別手段と、前記クラス識別手段により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶手段と、を備えることを特徴とする。
【００１４】
この構成によれば、まず、撮像手段により背景領域のみが撮像された背景画像データが得られる。そして、背景色記憶手段により、背景画像データの画素の座標と前記画素の色階調値とが識別空間内に構造化されて記憶される。この識別空間内における背景画像データの集合は、背景色領域と呼ばれる。続いて、撮像手段により背景領域および対象領域が撮像された入力画像データが得られる。そして、入力画像データの各画素の色階調値と背景色領域との識別空間内における距離が計算される。その計算された距離に基づき、クラス識別手段により、入力画像データの各画素の色階調値が、背景色領域とそれ以外の背景外色領域のいずれに属するかが識別される。このクラス識別手段により各画素の色階調値が背景外色領域に属すると判断された場合には、対象色記憶手段により、各画素の色階調値と各画素の座標とが識別空間内に構造化して記憶される。
【００１５】
請求項２記載の発明は、請求項１記載の画像処理装置であって、画像データの色階調値はＹＵＶ方式で表されていることを特徴とする。
【００１６】
この構成によれば、輝度信号であるＹと、色信号であるＵおよびＶで画像データの色を表現する。
【００１７】
請求項３記載の発明は、請求項１記載の画像処理装置であって、画像データの色階調値はＲＧＢ方式で表されていることを特徴とする。
【００１８】
この構成によれば、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現する。
【００１９】
請求項４記載の発明は、請求項１記載の画像処理装置であって、グレースケールで表されていることを特徴とする。
【００２０】
この構成によれば、明度差に基づいたグレースケールで画像データの色を表現する。
【００２１】
請求項５記載の発明は、請求項１乃至４のいずれかに記載の画像処理装置であって、クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、最近傍識別を用いることを特徴とする。
【００２２】
この構成によれば、識別空間において、背景領域と背景外領域のいずれが、各画素の色階調値から最も近い点を有するのかが、最近傍識別により判断される。
【００２３】
請求項６記載の発明は、請求項１乃至５のいずれかに記載の画像処理装置であって、クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、ハッシュ表を用いることを特徴とする。
【００２４】
この構成によれば、キーとなるオブジェクトから対応するオブジェクトへの直接的なアクセスが可能となる。
【００２５】
請求項７記載の発明は、請求項１乃至６のいずれかに記載の画像処理装置であって、クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合、前記各画素の色階調値と前記背景色領域の識別空間内における距離が所定の閾値より大きいときに、前記各画素の色階調値が前記背景外色領域に含まれると判断し、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶することを特徴とする。
【００２６】
この構成によれば、クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合であっても、各画素の色階調値と背景色領域の識別空間内における距離が所定の閾値より大きいときには、背景外色領域に含まれると判断し直される。
【００２７】
請求項８記載の発明は、請求項１乃至７のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、近接する複数の画素の色階調値をまとめて一つの画素の座標に記憶することを特徴とする。
【００２８】
この構成によれば、識別空間において、近接する複数の画素の色階調値をまとめて一つの画素の座標に構造化して記憶するので、画素の座標に関する情報をほとんど減らすことなく、１箇所に集約する。
【００２９】
請求項９記載の発明は、請求項１乃至８のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、色階調値に所定の値を掛けて記憶することを特徴とする。
【００３０】
この構成によれば、色階調に関する情報をほとんど減らすことなく、各画素の色階調値が圧縮される。
【００３１】
請求項１０記載の発明は、請求項１乃至９のいずれかに記載の画像処理装置であって、背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、画素の座標を指定する座標軸に所定の重みを掛けて得られた画素の座標を用い、該画素の座標と前記各画素の色階調値とを識別空間内に構造化して記憶することを特徴とする。
【００３２】
この構成によれば、画素の座標を指定する座標軸に所定の重みを掛けて、空間座標における距離を変更する。これにより、識別空間における、空間座標と色階調空間の距離の関係が修正される。
【００３３】
請求項１１記載の発明は、画像処理方法であって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、を含むことを特徴とする。
【００３４】
請求項１２記載の発明は、記録媒体であって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能であることを特徴とする。
【００３５】
請求項１３記載の発明は、プログラムであって、所定の領域を撮像し、画像データに変換する撮像ステップと、前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００３６】
請求項１記載の発明によれば、複数枚の背景画像データを利用することができ、かつ画像データにおける画素の座標と画素の色階調値とが識別空間内に構造化して記憶されている。そのため、色情報だけでなく、位置情報も取り込まれている。その結果、定常的な背景変動だけでなく急激かつ大きな照明変化に対しても対応でき、かつ背景色とターゲット色との小さな差分の検出も可能である。
【００３７】
請求項２記載の発明によれば、輝度信号（Ｙ）により多くのデータ量を割り当てることで、少ない画質の劣化で高いデータ圧縮率を得ることができる。
【００３８】
請求項３記載の発明によれば、ＲＧＢ方式はスキャナ、モニタ、デジタルカメラ、カラーテレビなどに使用されているので、汎用性が高い。また、例えば、フルカラーであれば、ＲＧＢをそれぞれ２５６階調に分けて色を表現するので、１６７７万７２１６色の色調表現が可能である。
【００３９】
請求項４記載の発明によれば、画像を白から黒までの明暗だけで表現するため、カラー画像に比べて色を指定するための情報量が少なくて済む。その結果、色を識別する処理が高速に行える。
【００４０】
請求項５記載の発明によれば、識別問題で典型的に用いられている最近傍識別により識別を行うので、これまでに開発された効率的なアルゴリズムなどを有効に活用することができる。
【００４１】
請求項６記載の発明によれば、データ量が大きくなっても、キーとなるオブジェクトから対応するオブジェクトへ高速にアクセスできるため、高速な処理が可能となる。
【００４２】
請求項７記載の発明によれば、閾値を変えることにより、識別の基準を制御することができる。そのため、背景領域の変動などがあった場合にも、閾値を調整することで、容易に最適な識別を行うことができる。
【００４３】
請求項８記載の発明によれば、画素の座標に関する情報をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。
【００４４】
請求項９記載の発明によれば、色階調に関する情報をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。
【００４５】
請求項１０記載の発明によれば、画像座標ｘｙと色階調ＹＵＶという異なる情報量による各軸間の距離に重みを与えて調整しているので、適切な識別が行われる。
【００４６】
請求項１１記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法を提供することができる。
【００４７】
請求項１２記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法に関する、コンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体を提供することができる。
【００４８】
請求項１３記載の発明によれば、背景差分と色検出の統合により、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である画像処理方法に関するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００４９】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【００５０】
［本実施形態の概略］
本発明は背景差分を基本とした方法であり、ターゲット検出時に起こりうる背景変動はすべて事前に撮影された背景画像中の色分布そのものによって表現される。したがって、ターゲット検出性能を上げるためには、起こりうる背景変動を可能な限りもれなく観測・収集しておく必要がある。しかし、すべての移動対象物の写り込みや雲の移動による細かな影の変化なども含めた背景の見えのパターンは膨大であり、それらすべてを事前に観測することは不可能である。
【００５１】
したがって、背景情報のみに基づくターゲット検出時は、背景情報が不完全であることを考慮して、確実に背景外領域と見なせる領域を検出する。また、背景色とターゲット色を考慮したターゲット検出時は、ターゲット色学習後に、背景色とターゲット色が似通っていても、最近傍識別によって双方の等方的な誤差・変動に対してロバストな識別を行うことを可能とする。
【００５２】
［背景色領域形成］
図１は、本発明に係る画像処理装置の一実施形態における機能ブロック図である。所定の位置に固定されたカメラ３は、矩形の点線で示された背景領域１、または背景領域１および対象領域２からなる領域を撮像する。このカメラ３は、制御部４に接続され、制御部４によって制御されるとともに、撮像した画像データなどを制御部４に出力する。また、制御部４にはドライブ５が接続されており、制御部４から出力された画像データなどを記録媒体に記録する。
【００５３】
背景領域１および対象領域２は、本発明を高度道路交通システム（ＩＴＳ：Intelligent Transport System）に適用する場合には、例えば、高速道路を含めた所定の領域が背景領域１であり、その道路を走行している車が対象領域２に対応する。また、本発明を監視システムに適用する場合には、例えば、住居の入り口やエレベータホールなどが背景領域１であり、その背景領域１内を通過する人物が対象領域２に対応する。
【００５４】
カメラ３は、静止画撮影の場合には、例えばデジタルスチルカメラであり、動画撮影の場合には、例えばデジタルビデオカメラである。また、カメラ３は、ＣＣＤ（Charge Coupled Devices）を撮像素子として備えるものである。カメラ３は、制御部４の指示に従って画像を撮像し、画素値Ｉ（ｘ，ｙ）からなる画像データを制御部４に出力する。本実施形態においては、この画素値Ｉ（ｘ，ｙ）は、カラーデータであり、画像データの色階調値はＹＵＶ方式で表されているとする。ＹＵＶ方式は、輝度信号であるＹと、色信号であるＵおよびＶとで画像データの色を表現するものである。このようにＹＵＶ方式では輝度と色の信号を分けているため、輝度信号（Ｙ）により多くのデータ量を割り当てることで、少ない画質の劣化で高いデータ圧縮率を得ることができる。また、このＹＵＶ値（色階調値）は、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現するＲＧＢ方式におけるＲＧＢ値や、それ以外の色表現形式に容易に変換することができる。
【００５５】
また、本実施形態においては、ＣＣＤは単板式であり、各画素にＹＵＶ値が与えられているとして説明するが、カメラ３のＣＣＤは、３板式であっても、単板式であっても構わない。３板式は、撮像された画像データの色を、例えばＲ、Ｇ、Ｂの三原色に分けて、それぞれにＣＣＤを割り当てる方式である。それに対して、単板式は、ＲＧＢなどの色をまとめて、それに１つのＣＣＤを割り当てる方式である。
【００５６】
制御部４は、カメラ３で撮像された画像データを取り込み、その画像データに基づいて所定の処理を施す機能部である。また、制御部４は、ドライブ５に対して画像データなどのデータを出力する。さらに、制御部４は、ドライブ５を介して、種々の画像データやプログラムなどが記録された記録媒体から必要な情報をインストールし、その機能を実行することができる。
【００５７】
この制御部４は、主制御部１０、背景画像データ記憶部１１、入力画像データ記憶部１２、構造化データ記憶部１３、クラス識別部１４、閾値比較部１５および周辺機器制御部１６を備える。
【００５８】
主制御部１０は、背景画像データ記憶部１１、入力画像データ記憶部１２、構造化データ記憶部１３、クラス識別部１４、閾値比較部１５および周辺機器制御部１６に接続され、これらの処理を制御するものである。
【００５９】
背景画像データ記憶部１１は、カメラ３で撮像された背景領域１のみの画像データ（背景画像データ）を記憶する機能部である。この背景画像データ記憶部１１においては、画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００６０】
入力画像データ記憶部１２は、カメラ３で撮像された背景領域１および対象領域２からなる画像データを記憶する機能部である。この入力画像データ記憶部１２においても、背景画像データ記憶部１１と同様、画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００６１】
構造化データ記憶部１３は、画素の座標（ｘ，ｙ）に対応して、背景画像データのＹＵＶ値を記憶する。ただし、背景画像データ記憶部１１とは異なり、画素の座標一つに対応して背景画像データ枚数分のＹＵＶ値を構造化して記憶する。さらに、構造化データ記憶部１３は、入力画像データの各画素において、対象色領域に含まれると判断された画素の座標（ｘ，ｙ）とＹＵＶ値とを構造化して記憶する。この画素の座標に対応してＹＵＶ値が構造化されている色空間を、以後、識別空間と呼ぶ。また、構造化データ記憶部１３は、背景色記憶手段および対象色記憶手段として機能する。
【００６２】
クラス識別部１４は、入力画像データ記憶部１２に記憶された入力画像データの各画素のＹＵＶ値が、識別空間において背景色領域と対象色領域のいずれに属するかを判別する機能部である。そして、ＹＵＶ値が対象色領域に属すると判別された場合に、クラス識別部１４は、そのＹＵＶ値を構造化データ記憶部１３に記憶させる。また、同時に、クラス識別部１４は、識別空間において各画素のＹＵＶ値と背景色領域の最近傍点までの距離とを求める。また、クラス識別部１４は、クラス識別手段として機能する。
【００６３】
閾値比較部１５は、クラス識別部１４で求められた、各画素のＹＵＶ値と背景色領域の最近傍点までの距離と閾値Ｔｈbとを比較する機能部である。
【００６４】
周辺機器制御部１６は、例えば静止画撮影の場合に、カメラ３に撮像信号を送出し、画像を撮像させるなど、カメラ３を制御する機能を有する。また、周辺機器制御部１６は、画像データやプログラムをドライブ５に出力し記録媒体に記録させ、逆に記録媒体に記録された画像データやプログラムをドライブ５を介して入力するなど、ドライブ５を制御する機能を有する。
【００６５】
ドライブ５は、制御部４から出力された画像データなどのデータを受け取り、そのデータを種々の記録媒体に出力する。また、ドライブ５は、記録媒体に記録された種々の画像データやプログラムなどを制御部４に出力する。この記録媒体は、磁気ディスク（フロッピー（登録商標）ディスクを含む）２１、光ディスク（ＣＤ：Compact Disk、ＤＶＤ：Digital Versatile Diskを含む）２２、光磁気ディスク（ＭＤ：Mini-Diskを含む）２３または半導体メモリ２４などにより構成される。
【００６６】
図２は、本発明に係る画像処理装置の一実施形態における処理の流れを示すフローチャートである。以下、この図１および図２を参照しながら、本発明に係る画像処理装置の一実施形態における機能および処理の流れを説明する。
【００６７】
まず、背景画像データに基づいて、背景色領域形成を行う処理（図２のＳ１０およびＳ１１）について説明する。
【００６８】
最初に、照明条件などを変化させながら、背景領域１のみがカメラ３で複数枚撮像される（Ｓ１０）。得られた背景画像データは、制御部４内の背景画像データ記憶部１１に出力され、そこに記憶される。このとき、背景画像データ記憶部１１においては、背景画像データの各画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。また、背景画像データは複数枚撮像されているので、同じ画素の座標に複数個のＹＵＶ値が存在している。これを表現するために、本実施形態においては、ｘｙ−ＹＵＶ５次元空間（識別空間）を考え、その空間内にＹＵＶ値を記憶させる（Ｓ１１）。
【００６９】
図３は、本発明の一実施形態における識別空間を表す模式図である。この図は、複数枚の背景画像データおよび入力画像データにおける、画素の座標とＹＵＶ値とをどのように識別空間に配置させるかを示している。例えば、背景画像データにおける座標が（ｘq，ｙq）である画素のＹＵＶ値が（Ｙq，Ｕq，Ｖq）のとき、このｘｙ座標とＹＵＶ値とを合わせて５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）T（背景色ベクトル）が構成される。そして、この５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）Tが、識別空間において「背景」とラベル付けされる。このとき、模式的には、各（ｘ，ｙ）座標点にそれぞれＹＵＶ軸が備わっていると考えることができる。つまり、背景画像データの画素の座標（ｘq，ｙq）と画素のＹＵＶ値（色階調値）（Ｙq，Ｕq，Ｖq）とが識別空間内に構造化（（ｘq，ｙq，Ｙq，Ｕq，Ｖq）T）され、背景色領域とラベル付けされることになる。この構造化された５次元ベクトルは、構造化データ記憶部１３に記憶される。
【００７０】
［対象領域検出］
前述した識別空間における背景色領域形成（背景学習）が終了すると、対象領域検出の準備が整ったことになる。対象領域中の色情報が未知の場合には、背景色情報のみから対象領域検出を行う。
【００７１】
以下、入力画像データが、背景色領域と対象色領域とのいずれに属するかを判別する処理（図２のＳ２０〜Ｓ２６）について説明する。
【００７２】
最初に、背景領域１と対象領域２とが重なった入力画像がカメラ３で撮像される（Ｓ２０）。得られた入力画像データは、制御部４内の入力画像データ記憶部１２に出力され、そこに記憶される。このとき、入力画像データ記憶部１２においては、入力画像データの各画素の座標（ｘ，ｙ）に対応して、ＹＵＶ値が記憶されている。
【００７３】
続いて、入力画像データの画素（ｘq，ｙq）が選択され（Ｓ２１）、その画素のｘｙ−ＹＵＶ値が識別空間に投影される（Ｓ２２）。これは、クラス識別部１４が、入力画像データ記憶部１２から座標（ｘq，ｙq）の画素のＹＵＶ値を受け取り、さらに構造化データ記憶部１３から同じ座標（ｘq，ｙq）の画素のすべてのＹＵＶ値を受け取り、これらを比較することに相当する。
【００７４】
次に、クラス識別部１４において、画素（ｘq，ｙq）のＹＵＶ値に対して、最近傍識別が行われる（Ｓ２３）。本実施形態においては、簡単のため、識別すべきクラスは背景とターゲットの２つだけとする。したがって、最近傍識別の結果、入力画像データのＹＵＶ値は、背景かターゲットかのいずれかのクラスに分けられる。また、クラス識別部１４において、最近接クラスが決定されると同時に、背景色領域に属する最近傍点までの距離が求められる。求められた最近傍点までの距離は、閾値比較部１５に出力される。
【００７５】
識別空間にターゲット色が全く記録されていない初期状態では、最近傍識別はすべてのｘｙ−ＹＵＶ値を背景として識別してしまう。そこで、通常の背景差分のように閾値Ｔｈb（定数）を導入し、最近傍点までの距離が閾値Ｔｈbより大きいｘｙ−ＹＵＶ値を背景外色領域（本実施形態においては対象色領域）として検出するように構成する。
【００７６】
まず、図２の最近傍識別（Ｓ２３）において、入力画像データの座標（ｘq，ｙq）の画素のＹＵＶ値が背景色領域に属すると識別された場合を説明する。まず、閾値比較部１５において、クラス識別部１４で求められた最近傍点までの距離と閾値Ｔｈbとが比較される（Ｓ２４）。そして、最近傍点までの距離が閾値Ｔｈbより小さければ（Ｓ２４でＮＯ）、その入力画像データのＹＵＶ値は背景色領域に属すると識別され、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００７７】
それに対して、閾値比較部１５において、最近傍点までの距離が閾値Ｔｈbより大きいと判断されれば（Ｓ２４でＹＥＳ）、その入力画像データのＹＵＶ値は対象色領域に属すると識別される。また、このときの５次元ベクトル（ｘq，ｙq，Ｙq，Ｕq，Ｖq）Tを、対象色ベクトルと呼ぶ。そして、識別空間の全画素のｘｙ座標において、そのＹＵＶ値が対象色領域として記憶され（Ｓ２６）、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００７８】
このようにして、順次、対象色ベクトルが記憶されていくと、背景色領域と対象色領域とを分けている決定境界の形状も、それに応じて変化していく。
【００７９】
次に、図２の最近傍識別（Ｓ２３）において、入力画像データの座標（ｘq，ｙq）の画素のＹＵＶ値が対象色領域に属すると識別された場合を説明する。まず、閾値比較部１５において、クラス識別部１４で求められた最近傍点までの距離と閾値Ｔｈbとが比較される（Ｓ２５）。そして、最近傍点までの距離が閾値Ｔｈbより小さければ（Ｓ２５でＮＯ）、その入力画像データのＹＵＶ値は背景色領域にも近いことになるために、識別空間内に記憶させることはせず、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００８０】
つまり、本実施形態においては、「確実に背景外領域である」と判断された領域のみを切り出し、その領域中の色をターゲット色として記録し、以降の識別処理に利用する。
【００８１】
それに対して、閾値比較部１５において、最近傍点までの距離が閾値Ｔｈbより大きいと判断されれば（Ｓ２５でＹＥＳ）、その入力画像データのＹＵＶ値は確実に対象色領域に属すると識別される。そして、識別空間の全画素の座標において、そのＹＵＶ値が対象色領域として記憶され、入力画像データの次の画素の識別に移る（Ｓ２１）。
【００８２】
以上の処理を繰り返していくことにより、背景領域の中から対象領域を識別することができる。
【００８３】
以上説明したように本実施形態においては、入力画像データのＹＵＶ値が対象色領域に属すると識別されると、そのＹＵＶ値が識別空間に記憶される。そのため、この識別に不具合が生ずると、以降の最近傍識別による誤検出が増加してしまう。これを避けるためには、識別時の閾値Ｔｈbを十分に大きくすることが好ましい。
【００８４】
この閾値Ｔｈbを十分に大きく取ってよい理由は以下の通りである。ある背景領域の色とそれに似た色の対象領域が重なったとき、閾値Ｔｈbが大きいと、その対象領域が全く検出されなくなってしまう。しかし、閾値Ｔｈbによる背景差分は、背景とターゲットの色が大きく異なる領域において確実に対象領域を検出し、その検出領域中の色をターゲット色として識別空間に記録するための処理であり、類似した背景・ターゲット色間の識別は最近傍識別によって行われる。したがって、閾値Ｔｈbは適当に十分大きな値でよい。
【００８５】
また、本実施形態においては、閾値Ｔｈbを定数として説明したが、これは識別処理を高速化するためである。これにより、識別の実時間処理が可能となる。しかし、本発明はこれに限られることなく、背景領域の変動に応じた適切な閾値設定も可能である。
【００８６】
上記の識別処理においては、例えば（ｘp，ｙp，Ｙp，Ｕp，Ｖp）Tが背景外色領域として識別されると、この（Ｙp，Ｕp，Ｖp）が他のｘｙ座標で観測されてもターゲット色として識別されるように、全ｘｙ座標の（Ｙp，Ｕp，Ｖp）をターゲット色にクラス分類する。しかし、他のｘｙ座標（ｘq，ｙq）では、（ｘq，ｙq，Ｙp，Ｕp，Ｖp）Tが背景色領域に分類されている可能性がある。このとき、（ｘq，ｙq，Ｙp，Ｕp，Ｖp）Tのクラスをターゲットに変更してしまうと、座標（ｘq，ｙq）を頻繁に誤検出してしまう。そこで、以下のターゲット色登録処理によってこの問題を回避することも可能である。
【００８７】
まず、ターゲット色として識別されたＹＵＶ値（Ｙi，Ｕi，Ｖi）を色成分に持つ全ｘｙ−ＹＵＶ値｛（ｘi，ｙi，Ｙi，Ｕi，Ｖi）T｝（ただし、ｉは全画像座標を要素に持つ集合の要素）の最近傍識別を行う。
【００８８】
次に、最近傍識別の結果、最近傍点までの距離が閾値Ｔｈtより大きい場合のみ背景色との重なりがないとみなし、そのｘｙ−ＹＵＶ値をターゲットにクラス分類する。
【００８９】
ここで導入した閾値Ｔｈtは、識別空間における背景色領域が信頼できる場合は、０（ゼロ）でよい。つまり、ＹＵＶ値が完全に一致した場合のみ、ターゲットにクラス分類するように構成してもよい。それは、本発明においては、背景領域の観測・学習はオフライン処理であるため、この処理の段階で識別空間における背景色領域の信頼性を十分に高めておくことが可能であるからである。
【００９０】
［対象色領域の逐次更新］
ターゲット色が学習されると、閾値Ｔｈbによる閾値処理によってだけでなく、最近傍識別によってターゲットに識別されるｘｙ−ＹＵＶ値（ｘp，ｙp，Ｙp，Ｕp，Ｖp）Tが現れる。図４（ａ）に、十分な背景学習が行われたため、識別空間における背景色領域は信頼できるが、ターゲット色学習が不十分な時点（時刻Ｔpとする）の、画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す。この時刻Ｔpにおいても、図４（ａ）のＶ1のように、最近傍識別によるターゲット色検出結果は信頼性が高い。したがって、画素（ｘp，ｙp）を対象領域として検出する。しかし、逆に、図４（ａ）のＶ2のように、最近傍識別により背景色と識別されたｘｙ−ＹＵＶ値が実際に背景に対応している可能性は必ずしも高くない。
【００９１】
図４（ａ）の例では、ターゲット色学習が不十分な時刻Ｔpにおいて、少ないながらも学習済の対象色領域ＴTpとの距離が小さいＶ1はターゲットとして識別されている。しかしながら、本来はターゲットに識別されるべきＶ2は、背景に識別されている。この問題は、ターゲット色学習が進むにつれて自動的に解決できる。図４（ｂ）に、十分なターゲット色学習が行われた時刻Ｔqの、画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す。この図からわかるように、Ｖ1、Ｖ2ともにターゲットとして識別されることになる。
【００９２】
これは、言い換えれば、背景領域と対象色領域を分けている境界である、決定境界の位置に依存する。図４（ａ）に示したように、不十分な学習しか行われていなければ、対象色領域に属するベクトルが少ないために、決定境界（不十分な学習）ＤＢTpは、対象色領域側に近いところに位置している。そのため、本来はターゲットに識別されるべきＶ2は、背景に識別されている。それに対して、学習が進んでいき時刻Ｔqになると、決定境界（十分な学習）ＤＢTqは、より背景色領域側に近いところに移動している。これにより、Ｖ2もターゲットとして識別されることになる。
【００９３】
また、最近傍識別によりあるｘｙ−ＹＵＶ値がターゲット色に識別されても、最近傍背景色領域との距離が大きい（確実にターゲット色であると確認できる）ことは保証されていない。そこで、最近傍識別によってターゲットに識別されたｘｙ−ＹＵＶ値を、識別空間内にターゲット色として記憶する際にも、前述したターゲット色登録処理を実行することが好ましい。
【００９４】
［他の好ましい実施形態］
前述した実施形態においては、画像データの色階調値はＹＵＶ方式で表されているとして説明した。しかし、本発明はそれに限られることなく、光の三原色であるＲ（赤）、Ｇ（緑）およびＢ（青）で画像データの色を表現するＲＧＢ方式におけるＲＧＢ値や、それ以外の色表現形式で表してもよい。また、例えばカメラから出力されたＹＵＶ値をＲＧＢ値など、他の色表現形式に変換して本発明に係る画像処理を行ってもよいし、逆に、カメラから出力されたＲＧＢ値など、他の色表現形式のものをＹＵＶ値に変換して本発明に係る画像処理を行うように構成することも可能である。
【００９５】
また、本発明はカラー画像に限られることなく、例えば、８ビット２５６階調のグレースケールで表された画像データに対しても、適用可能である。
【００９６】
さらに、本発明は、画素の座標を表すｘｙ２次元座標と色階調を表すＹＵＶ３次元ベクトルとの組み合わせに限られることなく、画素の座標と色階調を表すベクトルとの他の任意の組み合わせに対しても適応可能である。例えば、画素が３次元的に配列されている場合であれば、画素の座標を表すｘｙｚ３次元座標と色階調を表す任意の次元のベクトルとを組み合わせることも可能である。
【００９７】
また、以上の説明においては、識別すべきクラスは背景とターゲットの２つだけとしたが、本発明はそれに限られることなく、３つ以上のクラスの識別においても有効である。
【００９８】
前述した実施形態においては、１画素ごとにそのＹＵＶ値を識別空間に投影し、ターゲット色検出を行った。しかし、近接画素間においては、ＹＵＶ値の生起確率には高い相関があり、またカメラの量子化誤差の影響で各ＹＵＶ値の下位ビットの値は信頼性が低い。そのため、ｘｙ−ＹＵＶ軸をそれぞれ観測可能な最大解像度（すなわち、ｘｙ軸を１画素ごと、ＹＵＶ軸を１階調ごと）でサンプリングしても冗長性が高く、識別空間の巨大化に伴う識別の高精度化は期待できない。そこで、識別性能と計算コストとのトレードオフを考慮して、各軸のサンプリングレートを決めることが好ましい。
【００９９】
図５は、ｘｙ軸の画素、およびＹＵＶ軸の階調をリサンプリングする一実施形態を示した模式図である。図５（ａ）は画像データの画素を表しており、（ｂ）はｘｙ各軸をリサンプリングして得たＹＵＶ集合である（空間リサンプリング）。図５（ａ）では、ｘｙ各軸をそれぞれ１／ｂにリサンプリングして、図５（ｂ）のＹＵＶ集合ＳSを作製している。ここで、この例においては、ｂ＝４である。すなわち、４×４ピクセルのブロック中の全ＹＵＶ値を識別空間中の一つのｘｙ値（例えば、４×４ピクセルの最も左上の座標など）に対応させている。
【０１００】
続いて、ＹＵＶ軸の各階調を１／ｃにリサンプリングして、図５（ｃ）に示したＹＵＶ集合ＳCを得ている（階調リサンプリング）。図中の記号［ｘ］は、ｘを超えない最大の整数を表す。
【０１０１】
本発明においては、画像座標ｘｙと色階調ＹＵＶという異なる情報量によって、識別空間が構成されている。そのため、識別空間中の距離によって色を識別する際に、全軸間の距離を均一に評価してしまうことは、識別結果に悪影響を及ぼす可能性がある。そこで、前述のサンプリングレートを考慮した上で、各軸間の距離に重みを与えることにより、適切な識別が行われるように調整する。
【０１０２】
図５（ｄ）では、画像中の（ｘ＝ｎ，ｙ＝ｎ）番目のブロックからサンプリングされたＹＵＶ集合ＳCが、ｘｙ−ＹＵＶ空間のｘｙ軸方向単位長にｗ倍の重みを与えられて、（ｘ＝ｗｎ，ｙ＝ｗｎ）に投影されている。この重みは、厳密には入力画像の複雑さによって変化させるべきであるが、一般的にはｘｙ−ＹＵＶ軸のサンプリングレートのみに応じて決定しても識別結果に大きな影響はない。
【０１０３】
また、このリサンプリングは、識別空間のサイズを調整しているだけで、入力画像データのサイズを縮小している訳ではない。それでありながら、情報量をほとんど減らすことなく、効率的な処理が行えるため、計算の高速化が可能となる。また、必要なメモリ量も少なくて済む。さらに、空間リサンプリングにおいては、例えある画素の色階調値がノイズにより本来の値から変動させられたとしても、隣接する画素と合わせたブロックに対して処理が行われるため、その変動の影響をほとんど受けずに済む。
【０１０４】
ターゲット検出時は、全画素に対応するｘｙ−ＹＵＶ値が上記の背景学習と同様のルールで識別空間に投影され、それぞれ独立に、例えば画像が６４０×４８０ピクセルであれば、６４０×４８０回の最近傍識別が行われる。
【０１０５】
以上説明した一連の画像処理は、ソフトウェアにより実行することができる。例えば、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータで実現される。これは、図１において、制御部４およびドライブ５をコンピュータとし、主制御部１０を専用のハードウェアとすることに相当する。
【０１０６】
または、一連の画像処理は、記録媒体からソフトウェアを構成するプログラムがインストールされることにより、各種の機能を実行することが可能な汎用のコンピュータで実現される。これは、例えば、図１において、制御部４およびドライブ５を汎用のコンピュータとし、磁気ディスク２１、光ディスク２２、光磁気ディスク２３または半導体メモリ２４などを、プログラムを記録した記録媒体としたことに相当する。
【実施例１】
【０１０７】
以下、照明の変化、背景物体の動きなどの背景領域の変動に対する、本発明の有効性を確認するための一実施例について説明する。
【０１０８】
本実施例では、図１の制御部４およびドライブ５としてＰｅｎｔｉｕｍ（登録商標）４ ２．４ＧＨｚのＰＣ（パーソナルコンピュータ）と、図１のカメラ３としてＳＯＮＹ製ＩＥＥＥ１３９４カメラＤＦＷ−ＶＬ５００とを用いた画像処理の一例を示す。入力画像データは、６４０×４８０ピクセルのＹＵＶ画像である。
【０１０９】
図６に、実験を行った背景領域を示す。図６（ａ）は照明がオンの場合であり、図６（ｂ）は照明がオフの場合である。日照変化により壁や床の陰影は微妙に変化している。また、画面左上のカーテンは風のため揺れている。
【０１１０】
図７および図８は、定数閾値による背景差分の検出結果を示す。ただし、図７（ｂ）および図８（ｂ）、（ｄ）は、「極力全対象領域が検出されるように」手動で決められる閾値を小さく取った場合の検出結果である。また、図７（ｃ）および図８（ｃ）、（ｅ）は、逆に、「極力誤検出が小さくなるように」手動で決められる閾値を大きく取った場合の検出結果である。そして、全結果の閾値は互いに異なる値である。
【０１１１】
図７（ｂ）、（ｃ）は、図６（ａ）（照明オン）と図７（ａ）の差分結果において、閾値を変えた結果である。適切な閾値によって、図７（ｃ）のように比較的良好な結果を得ることもできるが、図６（ａ）と図７（ａ）において、カーテンが移動した分は誤検出されている。また、図８（ｂ）、（ｃ）は、図６（ａ）（照明オン）と図８（ａ）の差分結果において、閾値を変えた結果である。入力画像の照明条件が急激に変化しているため、閾値を調節しても大きな誤検出が生じている。
【０１１２】
一方、図８（ｄ）、（ｅ）は、図６（ｂ）（照明オフ）と図８（ａ）の差分結果において、閾値を変えた結果である。このように、仮に入力画像に適した静止背景画像が与えられたとしても、照明が消えて画像全体が暗い場合、背景色とターゲット色との差分が小さいため、閾値の小さな違いが検出結果に大きな影響を与えてしまう。
【０１１３】
次に、図９に、ガウス混合モデルを用いた背景差分の検出結果を示す。図９（ａ）は、図７（ａ）（照明オン）からの検出結果であり、照明状況に対して十分に背景モデルが適応した後の検出結果を示している。この図９（ａ）に示した結果は、全画素に対して定数の閾値処理が行われた図７（ｂ）、（ｃ）と比べて、非静止背景物体の誤検出がほとんどない。しかし、図９（ｂ）に示すように、照明オンに適応した背景モデルにより、図８（ａ）（照明オフ）からの検出を行うと、誤検出が生じてしまう。
【０１１４】
これは、照明オフ直後には背景モデル更新が間に合わないために誤検出が生じることを意味する。照明オフの背景画像集合に合わせて十分に更新された背景モデルから検出閾値を決定すると、図９（ｃ）に示すように単純な背景差分の結果（図８（ｂ）、（ｃ）、（ｄ）、（ｅ））と比べて良好な結果を得ることができる。
【０１１５】
最後に、図１０（照明オン）および図１１（照明オフ）に、本発明に係る画像処理方法による検出結果を示す。ｘｙ−ＹＵＶ空間での最近傍識別には、ハッシュ表を用いた効率的キャッシングによる高速化を施した。ハッシュ表を用いると、データ量が大きくなっても、キーとなるオブジェクトから対応するオブジェクトへ高速にアクセスできるため、高速な処理が可能となる。
【０１１６】
また、ｘ、ｙ軸をそれぞれ１／８に（ｘ軸：６４０ピクセル→８０ピクセル、ｙ軸：４８０ピクセル→６０ピクセル）、ＹＵＶ軸はそれぞれ階調を半分（２５６→１２８）にリサンプリングし、ｘｙ軸とＹＵＶ軸の単位長の比が２：１になるようにｘｙ軸に２倍の重みを与えた。つまり、前述のｂ、ｃおよびｗは、ｂ＝８、ｃ＝２およびｗ＝２である。
【０１１７】
本実施例では、まず図６に示したような照明オン・オフ時の背景画像をそれぞれ５種類ずつ事前に撮影し、計１０枚の画像中の全ｘｙ−ＹＵＶ値を一つの識別空間中に記録した。これらの画像において、壁や床の上の陰影は微妙に変化し、風で揺れるカーテンは様々な形状で撮影された。
【０１１８】
本実施例においては、ターゲットは画像内を数往復し、その間に十分なターゲット色学習が行われた。また、ターゲット色学習量に応じた検出結果の変化を確認するため、ある１枚の入力画像に対して、（ａ）ターゲット色学習なし、（ｂ）ターゲット色学習量小、および（ｃ）ターゲット色学習量大、という３つの異なる条件でターゲット検出を行った。その結果が、それぞれ、図１０ならびに図１１の（ａ）、（ｂ）および（ｃ）である。すなわち、図１０（ａ）と図１１（ａ）、図１０（ｂ）と図１１（ｂ）、および図１０（ｃ）と図１１（ｃ）は、それぞれ同一の背景色・ターゲット色データによる検出結果であり、照明オン・オフ時のそれぞれに適した識別データを用意している訳ではない。
【０１１９】
図７（ａ）（照明オン）と図８（ａ）（照明オフ）からの検出結果を、それぞれ図１０および図１１に示す。ただし、本発明に係る画像処理方法には、図７および図８に示した単純な背景差分のように、人間が適切な閾値を定めるような手動処理は一切含まれていない。つまり、本実施例においては自律動作によりターゲット検出を行わせている。
【０１２０】
図１０（ａ）、（ｂ）や図１１（ａ）、（ｂ）に示すように、ターゲット色の学習量が十分ではないときは、背景色と対象領域中の色が似ている領域（カーテンとシャツが重なる領域）での検出洩れが多い。しかし、図１０（ｃ）、図１１（ｃ）に示したように、十分な量のターゲット色を学習した後の検出結果では、背景色と類似した色の対象領域の検出率も向上し、他の方法と比べて極めて優れた結果が得られている。
【０１２１】
また、図１０（ｃ）における検出洩れのほとんどは、照明によりターゲット色が完全に飽和している領域であり、色情報のみを参照して同じく色が完全に飽和した背景領域と識別することは不可能である。また、ターゲット色学習後の動作速度は、ＰＣの性能に依存するが、現状１０ｆｐｓに近い値が得られており、十分に実時間ターゲット検出が可能である。
【０１２２】
以上説明したように、本発明によれば、背景差分とターゲット色検出を統合した、任意の対象領域における実時間ターゲット検出が可能な画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体を提供できる。本発明においては、画像のｘｙ軸と色のＹＵＶ軸からなる５次元空間における最近傍識別によって、背景画像色の空間的分布とターゲット色の分布との両方を考慮した識別空間を構成することにより、背景差分の適切な閾値設定を実現している。その結果、定常的な背景変動だけでなく急激かつ大きな照明変化などに対しても対応でき、かつ背景色とターゲット色の小さな差分の検出も可能である。
【図面の簡単な説明】
【０１２３】
【図１】本発明に係る画像処理装置の一実施形態における機能ブロック図である。
【図２】本発明に係る画像処理装置の一実施形態における処理の流れを示すフローチャートである。（ａ）は背景色領域形成、（ｂ）は対象領域検出の処理に関するものである。
【図３】本発明の一実施形態におけるｘｙ−ＹＵＶ５次元空間を表す模式図である。
【図４】画素（ｘp，ｙp）における３次元ＹＵＶ空間を示す模式図である。（ａ）はターゲット色学習時間が不十分、（ｂ）はターゲット色学習時間が十分行われた場合の結果である。
【図５】ｘｙ軸の画素、およびＹＵＶ軸の階調をリサンプリングする一実施形態を示した模式図である。（ａ）は画像データの画素、（ｂ）は空間リサンプリング後、（ｃ）は階調リサンプリング後、（ｄ）は空間重み付け後を表す。
【図６】実験を行った背景領域である。（ａ）は照明オン時、（ｂ）は照明オフ時である。
【図７】背景差分による、照明オン時の入力画像を用いたターゲット検出結果である。（ａ）は入力画像、（ｂ）は差分閾値小、（ｃ）は差分閾値大の場合の結果である。
【図８】背景差分による、照明オフ時の入力画像を用いたターゲット検出結果である。（ａ）は入力画像、（ｂ）は差分閾値小、（ｃ）は差分閾値大、（ｄ）は差分閾値小、（ｅ）は差分閾値大の場合の結果である。
【図９】ガウス混合モデルを用いた背景差分によるターゲット検出結果である。（ａ）は照明オン時、（ｂ）は照明オフ直後、（ｃ）は照明オフ時の場合の結果である。
【図１０】本発明に係る画像処理方法による、照明オン時のターゲット検出結果である。（ａ）はターゲット色未学習、（ｂ）はターゲット色学習量小、（ｃ）はターゲット色学習量大の場合の結果である。
【図１１】本発明に係る画像処理方法による、照明オフ時のターゲット検出結果である。（ａ）はターゲット色未学習、（ｂ）はターゲット色学習量小、（ｃ）はターゲット色学習量大の場合の結果である。
【図１２】従来の画像処理方法におけるＹＵＶ−ＹＵＶ６次元空間を表す模式図である。
【符号の説明】
【０１２４】
１ 背景領域
２ 対象領域
３ カメラ
４ 制御部
５ ドライブ
１０ 主制御部
１１ 背景画像データ記憶部
１２ 入力画像データ記憶部
１３ 構造化データ記憶部
１４ クラス識別部
１５ 閾値比較部
１６ 周辺機器制御部
【特許請求の範囲】
【請求項１】
所定の領域を撮像し、画像データに変換する撮像手段と、
前記撮像手段により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶手段と、
前記撮像手段により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別手段と、
前記クラス識別手段により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
画像データの色階調値はＹＵＶ方式で表されていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像データの色階調値はＲＧＢ方式で表されていることを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像データの色階調値はグレースケールで表されていることを特徴とする請求項１記載の画像処理装置。
【請求項５】
クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、最近傍識別を用いることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、ハッシュ表を用いることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合、前記各画素の色階調値と前記背景色領域の識別空間内における距離が所定の閾値より大きいときに、前記各画素の色階調値が前記背景外色領域に含まれると判断し、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、近接する複数の画素の色階調値をまとめて一つの画素の座標に記憶することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、色階調値に所定の値を掛けて記憶することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、画素の座標を指定する座標軸に所定の重みを掛けて得られた画素の座標を用い、該画素の座標と前記各画素の色階調値とを識別空間内に構造化して記憶することを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
【請求項１１】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
を含むことを特徴とする画像処理方法。
【請求項１２】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１３】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１】
所定の領域を撮像し、画像データに変換する撮像手段と、
前記撮像手段により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶手段と、
前記撮像手段により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別手段と、
前記クラス識別手段により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
画像データの色階調値はＹＵＶ方式で表されていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像データの色階調値はＲＧＢ方式で表されていることを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像データの色階調値はグレースケールで表されていることを特徴とする請求項１記載の画像処理装置。
【請求項５】
クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、最近傍識別を用いることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
クラス識別手段において、前記各画素の色階調値が前記背景領域と前記背景外領域のいずれに属するかを識別する際に、ハッシュ表を用いることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
【請求項７】
クラス識別手段により前記各画素の色階調値が前記背景色領域に属すると判断された場合、前記各画素の色階調値と前記背景色領域の識別空間内における距離が所定の閾値より大きいときに、前記各画素の色階調値が前記背景外色領域に含まれると判断し、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、近接する複数の画素の色階調値をまとめて一つの画素の座標に記憶することを特徴とする請求項１乃至７のいずれかに記載の画像処理装置。
【請求項９】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、色階調値に所定の値を掛けて記憶することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
【請求項１０】
背景色記憶手段または対象色記憶手段において、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する際、画素の座標を指定する座標軸に所定の重みを掛けて得られた画素の座標を用い、該画素の座標と前記各画素の色階調値とを識別空間内に構造化して記憶することを特徴とする請求項１乃至９のいずれかに記載の画像処理装置。
【請求項１１】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
を含むことを特徴とする画像処理方法。
【請求項１２】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
をコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１３】
所定の領域を撮像し、画像データに変換する撮像ステップと、
前記撮像ステップの処理により撮像された背景領域のみからなる背景画像データにおける各画素の座標と、前記各画素の色階調値とを識別空間内に構造化して記憶し、背景色領域を形成する背景色記憶ステップと、
前記撮像ステップの処理により撮像された、背景領域および対象領域からなる入力画像データにおける、各画素の色階調値と前記背景色領域との識別空間内における距離を計算し、その計算された距離に基づき前記入力画像データの前記各画素の色階調値が、前記背景色領域とそれ以外の背景外色領域のいずれに属するかを識別するクラス識別ステップと、
前記クラス識別ステップの処理により前記各画素の色階調値が前記背景外色領域に属すると判断された場合、前記各画素の色階調値と前記各画素の座標とを識別空間内に構造化して記憶する対象色記憶ステップと、
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図１２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図１２】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−３９６８９（Ｐ２００６−３９６８９Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２１４９２０（Ｐ２００４−２１４９２０）
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２２日（２００４．７．２２）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]