画像信号分離方法及び装置

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は画像信号分離方法及び装置に関し、特に、カラー撮像装置からのカラー画像信号から得られた２つのデジタル色ベクトル信号を基に対象信号を分離抽出するための新規な改良に関する。
【０００２】
【従来の技術】従来、用いられていたこの種の画像信号分離方法としては種々あるが、その中で代表的なものについて述べると、図９において符号Ｇｄで示されるものは、ビデオ信号をＡ／Ｄコンバータ（図示せず）で変換したデジタルビデオ信号であり、このデジタルビデオ信号Ｇｄは、ウィンドウコンパレータ回路１、ＭＡＸ回路２、ＭＩＮ回路３及び平均値計算回路４に入力されており、これらの各回路２、３には第１ゲート信号ＴＧＡＴＥが入力されている。
【０００３】前記平均値計算回路４には、第２ゲート信号ＢＧＡＴＥ、ドットクロック信号２０ｆ及びビデオ信号ＶＤが遅延回路５を介して入力されており、このビデオ信号ＶＤは、前記各回路２、３、４に接続されたラッチ回路６、７、８に入力されている。
【０００４】前記各ラッチ回路６、７からの出力ＧＨＩ、ＧＬＯは第１、第２引算回路９、１０及び前記ウィンドウコンパレータ回路１に入力され、前記ラッチ回路８からの出力ＧＡＶは、第１、第２引算回路９、１０及び第１加算回路１１及び第３引算回路１２に入力され、前記各引算回路９、１０の出力９ａ、１０ａは、第１引算回路１１及び第３引算回路１２に入力され、前記各回路１１、１２の出力１１ａ、１２ａは前記ウィンドウコンパレータ回路１に入力されている。
【０００５】すなわち、デジタルビデオ信号Ｇｄは、背景ウィンドウ内の平均明度を計算する平均値計算回路４、対象ウィンドウ内の最大明度をとるＭＡＸ回路２及び最低値を得るＭＩＮ回路３により、１フィールドもしくは１フレームごとに前記出力ＧＨＩ、ＧＬＯ、ＧＡＶを得ると共に、その後、ウィンドウコンパレータ回路１のコンパレータ設定値を設定している。
【０００６】前述の各出力ＧＡＶ、ＧＬＯ、ＧＨＩは、図１０、図１１に示されており、前記コンパレータ設定値は次の式で与えられる。
ＣＢＬ＝ＧＬＯ、ＣＢＨ＝ＧＡＶ−Ｋ２×（ＧＡＶ−ＧＬＯ）、ＣＷＬ＝ＧＡＶ＋Ｋ２×（ＧＨＩ−ＧＡＶ）、ＣＷＨ＝ＧＨＩを設定し、図９のウィンドウコンパレータ回路１により、デジタルビデオ信号Ｇｄを変換して２値化し、対象信号である出力Ｇｂを得ている。
【０００７】すなわち、Ｇｂ＝ｆｂ（Ｇｄ）なる処理を施すもので、このことにより、対象信号（対象画像）のみが抽出される。なお、ウィンドウコンパレータ回路１に入力される白黒選択信号Ａは、背景信号に比べて暗い対象信号を取り出すか又は明るい対象信号を取り出すかの選択を行うものである。
【０００８】
【発明が解決しようとする課題】従来の画像信号分離方法は、以上のように構成されていたため、次のような課題が存在していた。すなわち、背景信号が図１２のように単純である場合には、図１３に示すように対象信号を抽出することができる。しかし、図１４、１５に示すように、背景信号のヒストグラムが双峰性を示すように複雑で、かつ、対象信号が背景信号の間に存在する場合には、従来技術では背景信号の方を抽出し、誤認識することになっていた。従って、従来技術を適用する場合、背景信号の分布が単純で、かつ、対象信号の分布が背景信号の外側にある場合でないと抽出は不可能であった。また、撮像装置が白黒カメラであったため、背景と対象の明度分布に差がない場合には、背景から対象を分離抽出することは不可能であった。
【０００９】本発明は、以上のような課題を解決するためになされたもので、特に、カラー撮像装置から得られる２つのデジタル色ベクトル信号を基に対象信号を分離抽出するようにした画像信号分離方法及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】本発明による画像信号分離方法は、カラー撮像装置により得られたＲカラー画像信号、Ｇカラー画像信号及びＢカラー画像信号を得ると共に、前記各カラー画像信号を変換して２つのデジタル色ベクトル信号ＩｒとＩｇを作成し、前記各デジタル色ベクトル信号ＩｒとＩｇ及び前記カラー画像信号に基づいて画像前処理回路から得られ背景領域を示すＢＧＡＴＥ信号、水平同期信号、垂直同期信号及びドットクロック信号により背景ウィンドウ内の２次元ヒストグラムをとり、このヒストグラムを処理して対象ウィンドウ内の背景信号分を除去し、対象信号のみを分離抽出する方法である。
【００１１】さらに詳細には、前記画像前処理回路から得られた水平同期信号、垂直同期信号、Ｘ方向カウンタ値、Ｙ方向カウンタ値、対象領域を示すＴＧＡＴＥ信号及びドットクロック信号に基づいて重心検出回路によって前記対象ウィンドウ内における前記対象信号の重心位置を算出する方法である。
【００１２】本発明による画像信号分離装置は、カラー撮像装置から得られたＲカラー画像信号、Ｇカラー画像信号及びＢカラー画像信号を入力するための画像前処理回路と、前記画像前処理回路から得られた２つのデジタル色ベクトル信号ＩｒとＩｇ及び画像前処理回路から得られたＢＧＡＴＥ信号、水平同期信号、垂直同期信号及びドットクロック信号を入力するための演算部及び第１記憶部を有するヒストグラム処理回路と、前記ヒストグラム処理回路に接続され前記各デジタル色ベクトル信号ＩｒとＩｇ及び前記ヒストグラム処理回路からの背景除去関数データを入力し、第２記憶部を有すると共に対象信号を出力するためのルックアップテーブル回路とを備え、前記ルックアップテーブル回路は、前記各デジタル色ベクトル信号ＩｒとＩｇの背景信号を除去するようにした構成である。
【００１３】さらに詳細には、前記ルックアップテーブル回路には前記画像前処理回路からの水平同期信号、垂直同期信号、Ｘ方向カウンタ値、Ｙ方向カウンタ値及びＴＧＡＴＥ信号及びドットクロック信号に基づいて、対象信号の重心位置を算出するための重心検出回路が接続されている構成である。
【００１４】
【作用】本発明による画像信号分離方法及び装置においては、カラー撮像装置からのＲ、Ｇ、Ｂカラー画像信号は、画像前処理回路にて２つのデジタル色ベクトル信号に変換され、この各信号は同時に発生したタイミング信号等と共にヒストグラム処理回路に入力され、このヒストグラム処理回路で背景ウィンドウ内の２次元ヒストグラムを作成し、続いて背景除去関数データが作成されてルックアップテーブル回路に入力される。このルックアップテーブルには、前記各デジタル色ベクトル信号も入力され、このルックアップテーブルでは、前記各デジタル色ベクトル信号から背景信号が除去された対象信号が分離抽出される。
【００１５】
【実施例】以下、図面と共に本発明による画像信号分離方法及び装置の好適な実施例について詳細に説明する。図１から図８迄は、本発明による画像信号分離方法及び装置を示すためのもので、図１はブロック図、図２は図１R>１の要部の詳細ブロック図、図３は背景除去関数の作成方法を示す説明図、図４は対象信号の抽出を示す説明図、図５は対象信号の重心位置を検出するブロック図、図６は第１画像信号を示す説明図、図７は第２画像信号を示す説明図、図８はターゲット信号の画像を示す説明図である。
【００１６】まず、図１において符号２０で示されるものは、カラー撮像装置２１からのＲカラー画像信号２１ａ、Ｇカラー画像信号２１ｂ及びＢカラー画像信号２１ｃ（図６、７で示すように、白黒レベルと同じトーン）が入力され、前記カラー撮像装置２１に外部同期信号２０ａを出力するための画像前処理回路であり、この画像前処理回路２０は、前記各画像信号２１ａ、２１ｂ、２１ｃをデジタル色ベクトル信号Ｉｒ及びデジタル色ベクトル信号Ｉｇとしてヒストグラム処理回路２３に入力している。
【００１７】前記画像前処理回路２０から出力される複数のタイミング信号である周知の背景領域（バックゲート）を示すＢＧＡＴＥ信号２０ｂ、水平同期信号２０ｃ、垂直同期信号２０ｄ及びドットクロック信号２０ｆは、前記ヒストグラム処理回路２３に入力されている。
【００１８】前記ヒストグラム処理回路２３からの背景除去関数データ２３ａ及び前記デジタル色ベクトル信号Ｉｒ、Ｉｇは周知のＤＲＡＭで構成されたルックアップテーブル（略称ＬＵＴ）回路２４に入力され、同時に、前記ドットクロック信号２０ｆは、このルックアップテーブル回路２４に入力されている。前記ルックアップテーブル回路２４は、Ｄ型フリップフロップ７０、７１と第２記憶部３２とによって構成されており、Ｄ型フリップフロップ７０にはＤＯＴＣＬＫ信号２０ｆとデジタル色ベクトル信号Ｉｒが入力されてＤＯＴＣＬＫ信号２０ｆのタイミングに合わせてデジタル色ベクトル信号Ｉｒを一時記憶し、必要に応じて、第２記憶部３２にアドレスを入力し、Ｄ型フリップフロップ７１にはＤＯＴＣＬＫ信号２０ｆとデジタル色ベクトル信号Ｉｇが入力されて、Ｄ型フリップフロップ７０と同様に第２記憶部３２にアドレスを入力している。また、第２記憶部３２にはヒストグラム処理回路２３内の演算部３０から出力される背景除去関数データ２３ａが入力されて、この背景除去関数データ２３ａの転送データに応じて、Ｄ型フリップフロップ７０、７１のアドレスに対応するデータを対象信号２４ａとして出力するものである。
【００１９】前述のヒストグラム処理回路２３及びルックアップテーブル回路２４は図２に示すように構成されており、前記ヒストグラム処理回路２３は、ＣＰＵシステムからなる演算部３０及びこの演算部３０に接続されたＳＲＡＭからなる第１記憶部３１より構成されている。
【００２０】前記ヒストグラム処理回路２３の演算部３０は、２ポートＲＡＭからなるルックアップテーブル回路２４の第２記憶部３２に接続され、このルックアップテーブル回路２４から対象信号２４ａが出力されるように構成されている。
【００２１】次に、前述の構成による画像信号分離装置を用いて画像信号の分離を行う場合について説明する。まず、カラー撮像装置２１により撮像し、得られたＲ、Ｇ、Ｂカラー画像信号２１ａ，２１ｂ、２１ｃは画像前処理回路２０に入力される。
【００２２】前記各画像信号２１ａ〜２１ｃは、図示しないＡ／ＤコンバータによりＡ／Ｄ変換されて、デジタル色ベクトル信号Ｉｒ及びデジタル色ベクトル信号Ｉｇとしてヒストグラム処理回路２３及びルックアップテーブル回路２４に入力される。同時に、各タイミング信号であるＢＧＡＴＥ信号２０ｂ、水平同期信号２０ｃ、垂直同期信号２０ｄ、ドットクロック信号２０ｆがヒストグラム処理回路２３に入力され、このドットクロック信号２０ｆは前記ルックアップテーブル回路２４に入力されている。
【００２３】前記ドットクロック信号２０ｆの周期は１画素を示している。また、各デジタル色ベクトル信号Ｉｒ、Ｉｇは、Ｉｒ＝２５５・Ｒ／（Ｒ＋Ｇ＋Ｂ）
Ｉｇ＝２５５・Ｇ／（Ｒ＋Ｇ＋Ｂ）
で与えられる。前述の各信号Ｉｒ、Ｉｇ、２０ｂ、２０ｃ、２０ｄ、２０ｆは、ヒストグラム処理回路２３内で、図４、図６〜８で示す背景ウィンドウ４０内の２次元ヒストグラムを作成し、その結果得られた背景除去関数データ２３ａはルックアップテーブル回路２４に転送して入力されている。
【００２４】このルックアップテーブル回路２４は、リアルタイムで図４で示す背景信号２４Ａを除去する働きを有している。
【００２５】次に、前記各デジタル色ベクトル画像信号Ｉｒ、Ｉｇは、ヒストグラム処理回路２３の各Ｄ型フリップフロップ３５、３６により、ドットクロック信号２０ｆに同期してラッチされ、ラッチされた各デジタル色ベクトル画像信号Ｉｒ、Ｉｇは演算部３０からの演算出力３０ａと共に、各マルチプレクサ５０及び５１によってマルチプレクサ処理され、クリアー端子３１ａを有する第１記憶部３１のアドレスバスＡＯ〜ＡＦに接続される。
【００２６】前記第１記憶部３１のデータ出力Ｄ０Ｏ〜Ｄ０Ｆは＋１回路５４及びマルチプレクサ５５を経て、データ入力Ｄ１Ｏ〜Ｄ１Ｆに接続される。前記マルチプレクサ５５は、ＢＧＡＴＥ信号２０ｂが能動であるとき、すなわち背景ウィンドウ４０内であるときには＋１された結果が接続される。また、それ以外の場合は、出力がそのまま接続される。
【００２７】前述の範囲内において、ＭＷ／信号３１ｂをドットクロック信号２０ｆに接続することにより、ＢＧＡＴＥ信号２０ｂが能動である場合にかぎり、２次元ヒストグラムを作成することができる。この２次元ヒストグラムは、演算部３０によりアクセスすることができ、この演算部３０は背景除去関数６０（図４で示す）を作成する。
【００２８】次に、前記ヒストグラム処理回路２３内の演算部３０からヒストグラムを加工して得られた背景除去関数データ２３ａが第２記憶部３２に転送され、この関数データにより各Ｄ型フリップフロップ７０、７１でラッチされたデジタル色ベクトル信号Ｉｒ、Ｉｇは変換され、背景信号２４Ａが除去された対象信号２４ａが出力される。
【００２９】次に、前記背景除去関数６０の作成方法について説明する。
まず、第１段階：ヒストグラム作成図３のＡに背景ウィンドウ４０内の２次元ヒストグラムを示す。
ＮＢ＝ＮＢ（Ｉｒ、Ｉｇ）
第２段階：αＣＵＴ処理図３のＢに示すようにαＣＵＴ処理を施す。ここで、ＢＳは背景ウィンドウ４０内の全画素数（面積）であり、αは０〜１.０までの範囲をもつ係数とする。
ＮＢ１＝α・ＢＳ：ＮＢ≧α・ＢＳ＝ＮＢ：ＮＢ＜α・ＢＳ第３段階：図３のＣに示すように２次元に圧縮するために正規化を行う。例えば最大値が２５５に正規化するために以下の処理を行う。
ＮＢ２＝２５５・ＮＢ１／（α・ＢＳ）
この数値の意味はＩｒ、Ｉｇが背景信号である度合いを示す。第４段階：図３のＤに示すように、反転処理を行う。
ＮＢ３＝２５５−ＮＢ２この数値の意味はＩｒ、Ｉｇが背景信号でない度合いを示す。
第５段階：図３のＥに示すように、次の数１の(1)式によるｍｉｎ処理を行い背景除去関数ＦＴを作成する。
【００３０】
【数１】

【００３１】ここでｍｉｎは与えられた領域中の最小値をとるものとする。
【００３２】次に、図４において背景信号２４Ａを除去し、対象信号２４ａのみを抽出する場合について説明する。図４のＡに背景ウィンドウ４０内の背景信号２４Ａの２次元ヒストグラムを示す。そのヒストグラムにより作成された背景除去関数６０（背景除去関数ＦＴに相当）を図４のＢに示す。図４のＣに対象ウィンドウ９０内のヒストグラムを示す。このヒストグラムは双峰性の背景信号２４Ａと対象信号２４ａの混在したものである。図４のＤに本発明の効果が分かりやすいように図４のＢと図４のＣを重ねたグラフを示す。ここで分かるように背景信号２４Ａは除去され、対象信号２４ａのみが明確に抽出される事が分かる。
【００３３】次に、図５は図１に重心検出回路により対象信号の重心位置を検出する機能を付加したものであり、前述の各デジタル色ベクトル信号Ｉｒ、Ｉｇ、ＢＧＡＴＥ信号２０ｂ、水平同期信号２０ｃ、垂直同期信号２０ｄ、Ｘ方向カウンタ値ＱＸ、Ｙ方向カウンタ値ＱＹ、周知の対象領域（ターゲットゲート）を示すＴＧＡＴＥ信号２０ｅ及びドットクロック信号２０ｆがヒストグラム処理回路２３に入力されると共に前記ルックアップテーブル回路２４に接続された重心検出回路８０に入力され、また、前記Ｘ方向カウンタ値ＱＸ、Ｙ方向カウンタ値ＱＹ、ＴＧＡＴＥ信号２０ｅ、水平同期信号２０ｃ、垂直同期信号２０ｄ、ドットクロック信号２０ｆ及びルックアップテーブル回路２４より出力された対象信号２４ａも前記重心検出回路８０に入力される。この重心検出回路８０によって、図８のように対象ウィンドウ９０内の対象（ターゲット）１００のＸ方向、Ｙ方向の重心位置△ｘ、△ｙを算出することができる。
【００３４】
【発明の効果】本発明による画像信号分離方法及び装置は、以上のように構成されているため、次のような効果を得ることができる。すなわち、カラー撮像装置から得られたデジタル色ベクトル信号により背景ウィンドウ内の２次元ヒストグラムを取り、そのヒストグラムを処理して対象ウィンドウ内の背景信号分を除去しているため、背景と対象の明度分布に差がない場合でも、カラーヒストグラムを用いて背景から対象を極めて容易に得ることができる。
【図面の簡単な説明】
【図１】本発明による画像信号分離方法及び装置を示すブロック図である。
【図２】図１の詳細ブロック図である。
【図３】背景除去関数の作成方法を示す説明図である。
【図４】対象信号の抽出を示す説明図である。
【図５】図１に重心検出回路により対象信号の重心位置を検出する機能を付加したブロック図である。
【図６】第１画像信号を示す説明図である。
【図７】第２画像信号を示す説明図である。
【図８】ターゲット信号の画像を示す説明図である。
【図９】従来方法によるブロック図である。
【図１０】従来の背景ウィンドウ内の平均明度ＧＡＶをとった画像構成図である。
【図１１】従来の対象ウィンドウ内の最大明度ＧＨＩ、最小明度ＧＬＯを算出しウィンドウコンパレータを設定した画像構成図である。
【図１２】従来の背景ウィンドウ内ヒストグラムを示す画像構成図である。
【図１３】従来の背景ウィンドウ内平均値計算、対象ウィンドウ内ヒストグラム、ウィンドウコンパレータ設定値を示す画像構成図である。
【図１４】従来の背景ウィンドウ内ヒストグラムを示す画像構成図である。
【図１５】従来の背景ウィンドウ内平均値計算、対象ウィンドウ内ヒストグラム、ウィンドウコンパレータ設定値設定を示す画像構成図である。
【符号の説明】
２０画像前処理回路
２１カラー撮像装置
２１ａ〜２１ｃＲ、Ｇ、Ｂカラー画像信号
Ｉｒ、Ｉｇデジタル色ベクトル信号
２３ヒストグラム処理回路
２３ａ背景除去関数データ
２４ルックアップテーブル回路
２４ａ対象信号
４０背景ウィンドウ
９０対象ウィンドウ

【特許請求の範囲】
【請求項１】カラー撮像装置(21)により得られたＲカラー画像信号(21a)、Ｇカラー画像信号(21b)及びＢカラー画像信号(21c)を得ると共に、前記各カラー画像信号(21a〜21c)を変換して２つのデジタル色ベクトル信号ＩｒとＩｇを作成し、前記各デジタル色ベクトル信号ＩｒとＩｇ及び前記カラー画像信号(21a〜21c)に基づいて画像前処理回路(20)から得られ背景領域を示すＢＧＡＴＥ信号(20b)、水平同期信号(20c)、垂直同期信号(20d)及びドットクロック信号(20f)により背景ウィンドウ(40)内の２次元ヒストグラムをとり、このヒストグラムを処理して対象ウィンドウ(90)内の背景信号(24A)分を除去し、対象信号(24a)のみを分離抽出することを特徴とする画像信号分離方法。
【請求項２】前記画像前処理回路(20)から得られた水平同期信号(20c)、垂直同期信号(20d)、Ｘ方向カウンタ値(QX)、Ｙ方向カウンタ値(QY)、対象領域を示すＴＧＡＴＥ信号(20e)及びドットクロック信号(20f)に基づいて重心検出回路(80)によって前記対象ウィンドウ(90)内における前記対象信号(24a)の重心位置を算出することを特徴とする請求項１記載の画像信号分離方法。
【請求項３】カラー撮像装置(21)から得られたＲカラー画像信号(21a)、Ｇカラー画像信号(21b)及びＢカラー画像信号(21c)を入力するための画像前処理回路(20)と、前記画像前処理回路(20)から得られた２つのデジタル色ベクトル信号ＩｒとＩｇ及び画像前処理回路(20)から得られたＢＧＡＴＥ信号(20b)、水平同期信号(20c)、垂直同期信号(20d)及びドットクロック信号(20f)を入力するための演算部(30)及び第１記憶部(31)を有するヒストグラム処理回路(23)と、前記ヒストグラム処理回路(23)に接続され前記各デジタル色ベクトル信号ＩｒとＩｇ及び前記ヒストグラム処理回路(23)からの背景除去関数データ(23a)を入力し、第２記憶部(32)を有すると共に対象信号(24a)を出力するためのルックアップテーブル回路(24)とを備え、前記ルックアップテーブル回路(24)は、前記各デジタル色ベクトル信号ＩｒとＩｇの背景信号(24A)を背景除去関数データ(23a)の信号に基づいて前記第２記憶部(32)によって処理して除去するように構成したことを特徴とする画像信号分離装置。
【請求項４】前記ルックアップテーブル回路(24)には前記画像前処理回路(20)からの水平同期信号(20c)、垂直同期信号(20d)、Ｘ方向カウンタ値(QX)、Ｙ方向カウンタ値(QY)及びＴＧＡＴＥ信号(20e)及びドットクロック信号(20f)に基づいて、対象信号(24a)の重心位置を算出するための重心検出回路(80)が接続されていることを特徴とする請求項３記載の画像信号分離装置。

【図３】