繰り返しオブジェクト検出装置及び方法
【課題】繰り返しオブジェクトを精度よく検出することができる繰り返しオブジェクト検出装置を提供する。
【解決手段】データ保持・差分演算部200〜202は、複数の画素データの内の端部に位置する画素データを基準画素データとし、基準画素データとk画素(kは2〜最大まで)離れた画素データとの差分を演算し、離間画素数k毎の差分データを求める処理を複数のラインに対して行う。加算部3は複数のラインの差分データを離間画素数k毎に加算する。水平方向積算部4は離間画素数k毎の加算データを水平方向に積算する。大小比較部5は離間画素数k毎の水平積算値を大小比較することによって、基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する。
【解決手段】データ保持・差分演算部200〜202は、複数の画素データの内の端部に位置する画素データを基準画素データとし、基準画素データとk画素(kは2〜最大まで)離れた画素データとの差分を演算し、離間画素数k毎の差分データを求める処理を複数のラインに対して行う。加算部3は複数のラインの差分データを離間画素数k毎に加算する。水平方向積算部4は離間画素数k毎の加算データを水平方向に積算する。大小比較部5は離間画素数k毎の水平積算値を大小比較することによって、基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、縞模様のように、所定の階調や色の画素データが水平方向または垂直方向に繰り返し現れるパターンである繰り返しオブジェクトを検出する繰り返しオブジェクト検出装置及び方法に関する。
【背景技術】
【0002】
映像信号表示装置においては、インターレース信号の映像信号をプログレッシブ信号に変換するI/P変換や、映像信号のフレーム周波数を2倍等の複数倍に増大させるフレーム周波数変換等の映像信号処理の際に、動きベクトルを利用している。映像信号表示装置に表示させる映像が、例えば縞模様のような所定の階調や色の画素データが水平方向または垂直方向に繰り返し現れる繰り返しオブジェクトを含む場合、繰り返しオブジェクトを含まない映像と比較して、I/P変換回路やフレーム周波数変換回路内の動きベクトル検出部は動きベクトルを誤検出してしまう可能性が高い。
【0003】
そこで、映像に含まれる繰り返しオブジェクトの有無を検出し、繰り返しオブジェクトが存在する場合には動きベクトルの検出方法に工夫を施すことによって、動きベクトルの誤検出を低減させることが可能となる。映像が繰り返しオブジェクトを含む場合に動きベクトルの誤検出が多くなること、及び、繰り返しオブジェクトが存在する場合に動きベクトルの誤検出を低減させるための一手法が特許文献1に記載されている。
【特許文献1】特開2007−235403号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
動きベクトルの誤検出を低減させるためには、繰り返しオブジェクトを精度よく検出することが必要となる。所定の階調や色の画素データの繰り返し周期は映像によって異なるので、複数の繰り返しパターンのいずれであっても繰り返しオブジェクトを精度よく検出することができる繰り返しオブジェクト検出装置及び方法が望まれる。
【0005】
本発明はこのような要望に対応すべくなされたものであり、繰り返しオブジェクトを精度よく検出することができる繰り返しオブジェクト検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上述した従来の技術の課題を解決するため、映像信号の1ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数のラインに対して行う差分演算部(200〜202)と、前記差分演算部で前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して離間画素数毎の加算データを求める加算部(3)と、前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平方向積算部(4)と、前記水平方向積算部で求められた前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部(5)とを備えることを特徴とする繰り返しオブジェクト検出装置を提供する。
【0007】
ここで、前記大小比較部(5)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の比較部(522010〜520402)と、前記複数の比較部の出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部(54)とを有することが好ましい。
また、前記大小比較部(5)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の第1の比較部(522010〜520402)と、前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する複数の第2の比較部(522019〜520403)と、前記第1の比較部の出力と前記第2の比較部の出力との論理積をとる複数のAND回路(5320〜5304)と、前記複数のAND回路からの出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部(54)とを有することが好ましい。
【0008】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることが好ましい。
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とする複数の加算器(5120〜5104)を有することが好ましい。
前記判定部(54)は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することが好ましい。
【0009】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる複数のデータ保持部(6110n〜6101n,6100,6101p〜6109p)と、前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部(62)とを有する水平方向繰り返し判定部(6)をさらに備えることが好ましい。
【0010】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることが好ましい。
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることが好ましい。
前記差分演算部(200〜202)は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを用いることが好ましい。
前記差分演算部(200〜202)は、前記複数のラインとして、前記映像信号が有する連続したライン内の1または複数ライン離間したラインを用いることが好ましい。
【0011】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する抽出ステップ(S101)と、前記複数のラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップ(S102)と、前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップ(S103)と、前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平積算ステップ(S104)と、前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップ(S105)とを含むことを特徴とする繰り返しオブジェクト検出方法を提供する。
【0012】
ここで、前記判定ステップ(S105)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことが好ましい。
また、前記判定ステップ(S105)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する第1の比較ステップと、前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する第2の比較ステップと、前記第1の比較ステップによる比較結果と前記第2の比較ステップによる比較結果との論理積をとる論理積演算ステップと、前記論理積演算ステップによる演算結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことが好ましい。
【0013】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることが好ましい。
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とすることが好ましい。
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することが好ましい。
【0014】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる遅延ステップ(S106)と、前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップ(S107)とをさらに含むことが好ましい。
【0015】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることが好ましい。
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることが好ましい。
前記抽出ステップ(S101)は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを抽出することが好ましい。
前記抽出ステップ(S101)は、前記映像信号が有する連続したライン内の1または複数ライン離間した前記複数のラインそれぞれから前記複数の画素データを抽出することが好ましい。
【0016】
さらに、本発明は、上述した従来の技術の課題を解決するため、映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数の垂直ラインで行う差分演算部(1200〜1202)と、前記差分演算部で求められた差分データを前記複数の垂直ラインの離間画素数毎に加算して離間画素数毎の加算データを求める加算部(13)と、前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直方向積算部(14)と、前記垂直方向積算部で求められた前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部(15)とを備えることを特徴とする繰り返しオブジェクト検出装置を提供する。
【0017】
ここで、前記大小比較部(15)は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる複数のデータ保持部と、前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部とを有する水平方向繰り返し判定部をさらに備えることが好ましい。
【0018】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データを複数の垂直ラインで抽出する抽出ステップと、前記複数の垂直ラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、前記複数の垂直ラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直積算ステップと、前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことを特徴とする繰り返しオブジェクト検出方法を提供する。
【0019】
ここで、前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる遅延ステップと、前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップとをさらに含むことが好ましい。
【発明の効果】
【0020】
本発明の繰り返しオブジェクト検出装置及び方法によれば、繰り返し周期が異なる複数の繰り返しパターンのいずれであっても繰り返しオブジェクトを精度よく検出することが可能となる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の繰り返しオブジェクト検出装置及び方法について、添付図面を参照して説明する。本発明の繰り返しオブジェクト検出装置及び方法の第1実施形態は、所定の階調や色の画素データを水平方向に繰り返す繰り返しオブジェクトを検出するものであり、第2実施形態は所定の階調や色の画素データを垂直方向に繰り返す繰り返しオブジェクトを検出するものである。
【0022】
<第1実施形態>
図1は本発明の第1実施形態の繰り返しオブジェクト検出装置の全体構成を示すブロック図である。図1において、映像信号は2ラインメモリ100及びデータ保持・差分演算部200に入力される。なお、映像信号としては、輝度信号,色信号(色差信号),コンポジット信号のいずれでもよい。本実施形態では入力映像信号を輝度信号として説明する。一例として、この輝度信号は、図2(A)に示すように、ハッチングを付した丸で示す黒の8画素と白抜きの丸で示す白の8画素が水平方向に交互に繰り返し、この繰り返しパターンを有するラインが垂直方向に複数ライン繰り返す、いわゆる縦縞模様を有する輝度信号であるとする。ここでは水平方向の黒の画素数と白の画素数とが同じ縦縞模様を例として示したが、両者の画素数が異なる縦縞模様の場合もある。
【0023】
図2(A)では、水平方向に画素データPo00〜Po40の41画素のデータが並んだラインをラインL1〜L5の5ライン分示している。繰り返しパターンの周期をM画素幅(Mは2以上の整数)と称することとする。図2(A)に示す例は、水平方向16画素幅の繰り返しパターンである。画素幅とは繰り返しパターンの1周期に含まれる画素数である。
【0024】
図1において、2ラインメモリ100は、順次入力される輝度信号の画素データを2ライン分遅延させる。2ラインメモリ100より出力された画素データは2ラインメモリ101及びデータ保持・差分演算部201に入力される。2ラインメモリ101は、入力された画素データをさらに2ライン分遅延させる。2ラインメモリ101より出力された画素データはデータ保持・差分演算部202に入力される。従って、2ラインメモリ100及びデータ保持・差分演算部200に入力される画素データが図2(A)におけるラインL1内の画素データであるとすると、データ保持・差分演算部201に入力される画素データはラインL1よりも2ライン過去のラインL3内の画素データとなり、データ保持・差分演算部202に入力される画素データはラインL3よりも2ライン過去のラインL5内の画素データとなる。
【0025】
後述するように、データ保持・差分演算部200〜202は入力された画素データを水平方向に順次遅延させて複数の画素データを保持するようになっているので、本実施形態の繰り返しオブジェクト検出装置及び方法は、図2(B)に示すように、垂直方向の2ラインに1ラインを抽出した3ラインの画素データを用いて繰り返しオブジェクトを検出する。図1においては、理解を容易とするために2ラインメモリ100,101を用いる構成としたが、1ライン分遅延させるラインメモリを用い、ラインメモリに対する書き込み及び読み出しを2ラインに1回更新することによって、入力された画素データを実質的に2ラインずつ遅延させるように構成してもよい。
【0026】
さらに、ここでは垂直方向に1ライン飛ばしの3ラインの画素データを用いて繰り返しオブジェクトを検出するようにしているが、2またはそれ以上の複数ライン飛ばしの複数ラインとしてもよく、あるいは連続した複数ラインとしてもよい。また、検出に用いるライン数は3ラインに限定されるものではなく、適宜に設定した複数ラインとすればよい。検出に用いるライン数を多くすれば誤検出を少なくすることができる。ラインメモリに対する書き込み及び読み出しをnライン(nは1以上の整数)に1回更新するようにして、(n−1)ライン飛ばしの複数ラインとした場合には、ラインメモリの数を比較的多くすることなく、垂直方向の所定の範囲に含まれる複数ラインの画素データを用いて繰り返しオブジェクトを検出することができる。
【0027】
図3は、データ保持・差分演算部200〜202の具体的構成例を示している。データ保持・差分演算部200〜202は互いに同一の構成となっており、図3ではデータ保持・差分演算部200の内部構成のみ示している。図3において、データ保持部2100〜2119は、それぞれ入力された画素データを2画素分の時間(2クロック分)保持して出力するものである。従って、図2(B)におけるラインL1,L3,L5の画素データPo00〜Po40は、データ保持部2100〜2119によって、水平方向の2画素に1画素の画素データが抽出されることになる。添え字を付していないデータ保持部21は、データ保持部2100〜2119のいずれかを特定しないデータ保持部とする。図3の例では20個のデータ保持部21を備えているので、データ保持部2100〜2119からはデータ保持部2100に入力された画素データを2画素から40画素まで順次2画素ずつ遅延させた20画素の画素データが得られることになる。
【0028】
データ保持部2100に入力される画素データをP00とし、データ保持部2100〜2119から出力される画素データをP01〜P20と称することとする。図2(C)に示すように、データ保持・差分演算部200はラインL1の画素データP00〜P20を、データ保持・差分演算部201はラインL3の画素データP00〜P20を、データ保持・差分演算部202はラインL5の画素データP00〜P20をそれぞれ用いて後述する差分演算を行う。なお、図2(A)と図2(C)とを比較すれば分かるように、繰り返しオブジェクト検出装置に入力される間引き前の画素データPo00,Po02,Po04…がデータ保持・差分演算部200〜202によって間引いた後の画素データP00,P01,P02…となる。
【0029】
ここでは、入力された画素データP00と、水平方向に1画素飛ばしの20個の画素データP01〜P20とを用いて繰り返しオブジェクトを検出するようにしているが、連続した複数画素としてもよい。検出に用いる水平方向の画素数は特に限定されるものではなく、適宜に設定した複数画素とすればよい。検出に用いる画素数を多くすれば、画素幅が広い(周期が長い)繰り返しパターンを検出することができる。検出すべき画素幅に応じて水平方向の画素数を設定すればよい。本実施形態では1画素飛ばしの複数画素を用いるので、データ保持・差分演算部200〜202内の回路の数を比較的多くすることなく、繰り返しオブジェクトを検出することができる。
【0030】
図3に示すように、データ保持・差分演算部200〜202は、差分データ生成部2200〜2218を備える。差分データ生成部2200〜2218は減算器221と絶対値化部(ABS)222とを備える。まず、データ保持・差分演算部200内の差分データ生成部2200〜2218の動作について説明する。差分データ生成部2200内の減算器221は、基準画素データである画素データP20と、画素データP20に対して図2(C)における20画素分将来の画素データである画素データP00との差分を取る。差分データ生成部2200内の絶対値化部222は減算器221の出力を絶対値化して差分データD20L1を出力する。差分データD20L1は図2(C)におけるラインL1の画素データの配列における20画素分離れた画素データ間の差分である。
【0031】
差分データ生成部2201は差分データ生成部2200と同様、画素データP20と画素データP01との差分を取り、絶対値化して差分データD19L1を出力する。差分データD19L1は、図2(C)におけるラインL1の画素データの配列における19画素分離れた画素データ間の差分である。同様にして、差分データ生成部2202〜2218は、画素データP20と画素データP02〜P18とのそれぞれの差分を取り、絶対値化して差分データD18L1〜D02L1を出力する。差分データD18L1〜D02L1は、図2(C)におけるラインL1の画素データの配列における18画素〜2画素分離れた画素データ間の差分である。本実施形態では、画素データP20と画素データP19との差分データを用いない。
【0032】
データ保持・差分演算部201内の差分データ生成部2200〜2218は、データ保持・差分演算部200と同様に、図2(C)におけるラインL3の画素データの配列における20画素〜2画素分離れた画素データ間の差分である差分データD20L3〜D02L3を出力する。データ保持・差分演算部202の差分データ生成部2200〜2218は、データ保持・差分演算部200と同様に、図2(C)におけるラインL5の画素データの配列における20画素〜2画素分離れた画素データ間の差分である差分データD20L5〜D02L5を出力する。
【0033】
図2の例では、例えば画素データP20と画素データP00との差分データD20L1,D20L3,D20L5や画素データP20と画素データP18との差分データD02L1,D02L3,D02L5は比較的大きな値となり、画素データP20と画素データP12との差分データD08L1,D08L3,D08L5は比較的小さな値となる。例えば、黒の画素が全て同一輝度(輝度0)、白の画素が全て同一輝度であれば、黒の画素どうしの差分データと、白の画素どうしの差分データは0となる。
【0034】
図1に戻り、データ保持・差分演算部200より出力された差分データD20L1〜D02L1と、データ保持・差分演算部201より出力された差分データD20L3〜D02L3と、データ保持・差分演算部202より出力された差分データD20L5〜D02L5は、加算部3に入力される。図4に示すように、加算部3は加算器3102〜3120を備えている。加算器3102は、差分データD02L1と差分データD02L3と差分データD02L5とを加算して、加算データD02sumを出力する。同様に、加算器3103〜3120は、差分データD03L1,D03L3,D03L5〜D20L1,D02L3,D20L5をそれぞれ加算して、加算データD03sum〜D20sumを出力する。
【0035】
このように、加算部3は、図2(C)のラインL1,L3,L5における20画素〜2画素分離れた画素データ間の差分データを、それぞれの画素間隔毎に加算する。加算部3は各ラインの差分データをそれぞれの画素間隔毎に加算するので、映像信号が図2の縞模様のような繰り返しオブジェクトを有する場合には、加算データD20sum〜D02sumは大きな値を有するデータと小さな値を有するデータとを含むことになる。
【0036】
再び図1に戻り、加算部3より出力された加算データD20sum〜D02sumは、水平方向積算部4に入力される。図4に示すように、水平方向積算部4は積算部4102〜4120を備えている。積算部4102は、入力された加算データD02sumを図2(A),(B)における2画素分の時間(2クロック分)保持して出力するデータ保持部411と、加算データD02sumとデータ保持部411の出力とを加算する加算器412とを備える。即ち、積算部4102は、加算部3より出力された現時点の加算データD02sumと、図2(C)における1画素分過去の時点における加算データD02sumとを加算した水平積算値Acc02を出力する。
【0037】
積算部4103は、入力された加算データD03sumを図2(A),(B)における2画素分の時間(2クロック分)保持して出力するデータ保持部413,415と、加算データD03sumとデータ保持部413の出力とを加算する加算器414と、加算器414の出力とデータ保持部415の出力とを加算する加算器416とを備える。即ち、積算部4103は、加算部3より出力された現時点の加算データD03sumと、図2(C)における1画素分過去の時点における加算データD03sumと、図2(C)における2画素分過去の時点における加算データD03sumとを加算した水平積算値Acc03を出力する。添え字を付していない積算部41は、積算部4102〜4120のいずれかを特定しない積算部とする。
【0038】
積算部41に入力される加算部3からの加算データを、図2(C)におけるk画素分離れた画素データ間の差分データをラインL1,L3,L5で加算したものであるとすると、積算部41は、現時点の加算データから(k−1)画素分過去の時点までの加算データを全て加算した水平積算値を出力するものである。例えば、積算部4119は、加算部3より出力された現時点の加算データD19sumと、1画素分過去から18画素分過去までの時点における加算データD19sumとの合計19の加算データD19sumを加算した水平積算値Acc19を出力する。また、積算部4120は、加算部3より出力された現時点の加算データD20sumと、1画素分過去から19画素分過去までの時点における加算データD20sumとの合計20の加算データD20sumを加算した水平積算値Acc20を出力する。
【0039】
ここで、図5を用いて、図2(C)の場合の水平積算値Acc20〜Acc02の具体的な数値例について説明する。ここでは計算を簡略化するため、黒の画素データと白の画素データとの差分が“10”なる値であるとする。図2(C)に示す画素データの配列では、例えば差分データD02L1は“10”であり、加算データD02sumは“30”となる。画素データP00が最新の画素データである現時点での加算データD20sum〜D02sumそれぞれの値は図5(A)に示す通りとなる。図2(C)における1画素分過去の時点では、画素データP01から画素データP20の右隣に位置する図示していない画素データまでの21個の画素データが、画素データP00〜P20として図3及び図4の回路によって処理されることになる。従って、1画素分過去の時点での加算データD20sum〜D02sumそれぞれの値は図5(B)に示す通りとなる。同様にして、2画素分過去から19画素分過去までのそれぞれの時点での加算データD20sum〜D02sumの値は図5(C)〜(T)に示す通りとなる。
【0040】
水平積算値Acc20〜Acc02は、加算データD20sum〜D02sumそれぞれについて、図5(A)〜(T)における網掛けを施した範囲の値を縦方向に積算したものであるので、図5(U)に示す値となる。この水平積算値Acc20〜Acc02の値は、図2(A)におけるM画素幅のMの値に応じて小さな値となったり、大きな値となったりする。具体的には、図2(C)の画素データの水平方向の配列は図2(A)の画素データの水平方向の配列を1/2に間引いたものであるので、水平積算値Accの添え字がM/2である水平積算値で最も小さな値を示すこととなる。図2(A)は完全な16画素幅の繰り返しオブジェクトを示しているので、図5(U)に示すように水平積算値Acc08は“0”となる。なお、水平積算値Accの添え字が(M/2)×2である水平積算値Acc16でも同様に“0”となる。
【0041】
ここでは水平方向及び垂直方向に画素幅が完全に揃った繰り返しオブジェクトを例にしているので、水平積算値Accの添え字がM/2である水平積算値は“0”となる。一般的には、画素幅が完全に揃うことはまれであるので、実際には“0”を超えた値となることが多い。画素幅が完全に揃っていない繰り返しオブジェクトであっても、概ね所定の画素幅を繰り返す繰り返しパターンを有する場合には、繰り返しパターンの画素幅に対応した水平積算値Accが最小の値を示すこととなる。従って、本実施形態の繰り返しオブジェクト検出装置及び方法によれば、水平積算値Acc20〜Acc02を用いることにより、注目画素が繰り返しオブジェクト内に位置している画素であるか否か、また、繰り返しオブジェクトが有する繰り返しパターンの画素幅を求めることができる。
【0042】
再び図1に戻り、以上のようにして得られた水平積算値Acc20〜Acc02は大小比較部5に入力される。大小比較部5は、入力された水平積算値Acc20〜Acc02を用いて繰り返しオブジェクトが何画素幅の繰り返しパターンであるのかを検出する。以下においては、画素幅を図2(C)の画素データの配列に基づいて表現するものとし、画素幅N(Nは2以上の整数)とする。即ち、図2(C)に示す例は、8画素幅の繰り返しパターンであるとする。
【0043】
図6を用いて大小比較部5の具体的構成及び動作について説明する。図6において、20画素幅の水平積算値Acc20は加算器5120及び比較部522019に入力される。加算器5120は水平積算値Acc20とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部522010に供給する。比較部522010には入力信号bとして20画素幅の1/2である10画素幅の水平積算値Acc10が入力される。比較部522010は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。なお、比較部52に付している添え字は比較の対象となっている2つの水平積算値Accの添え字に対応している。添え字“2010”は水平積算値Acc20と水平積算値Acc10を比較することを意味し、添え字“2019”は水平積算値Acc20と水平積算値Acc19を比較することを意味している。以下、全ての比較部52で同様である。
【0044】
比較部522019には入力信号cとして20画素幅の水平積算値Acc20が入力され、入力信号dとして20画素幅の次に画素幅の狭い19画素幅の水平積算値Acc19が入力される。比較部522019は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5320は、比較部522010及び比較部522019双方の出力が“1”であれば出力値F20として“1”を出力し、いずれか一方でも“0”であれば出力値F20として“0”を出力する。
【0045】
加算器5119は19画素幅の水平積算値Acc19とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部521909に供給する。比較部521909には入力信号bとして19画素幅から1画素幅を引いて1/2にした9画素幅の水平積算値Acc09が入力される。比較部521909は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。比較部521918には入力信号cとして19画素幅の水平積算値Acc19が入力され、入力信号dとして19画素幅の次に画素幅の狭い18画素幅の水平積算値Acc18が入力される。比較部521918は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5319は、比較部521909及び比較部521918双方の出力が“1”であれば出力値F19として“1”を出力し、いずれか一方でも“0”であれば出力値F19として“0”を出力する。
【0046】
水平積算値Acc18〜Acc05に対しても同様にして、N画素幅(ここではNは18〜5)の水平積算値にオフセット値Ofsを加算した値である入力信号aと、Nが偶数であればN/2画素幅の水平積算値、Nが奇数であれば(N−1)/2画素幅の水平積算値である入力信号bとを比較する比較部と、N画素幅の水平積算値である入力信号cと(N−1)画素幅の水平積算値である入力信号dとを比較する比較部が設けられている。また、それらの2つの比較部の出力の論理積をとるAND回路が設けられている。そして、それぞれのAND回路は出力値F18〜F05として“1”または“0”を出力する。
【0047】
加算器5104は4画素幅の水平積算値Acc04とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部520402に供給する。比較部520402には入力信号bとして2画素幅の水平積算値Acc02が入力される。比較部520402は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。比較部520403には入力信号cとして水平積算値Acc04が入力され、入力信号dとして3画素幅の水平積算値Acc03が入力される。比較部520403は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5304は、比較部520402及び比較部520403双方の出力が“1”であれば出力値F04として“1”を出力し、いずれか一方でも“0”であれば出力値F04として“0”を出力する。
【0048】
図6の例では、N画素幅(ここではNは20〜4)のNが奇数であれば(N−1)/2画素幅の水平積算値を入力信号bとしたが、(N+1)/2画素幅の水平積算値を入力信号bとしてもよい。即ち、入力信号aと入力信号bとを比較する比較部は、N画素幅の水平積算値にオフセット値Ofsを加算した値とN/2画素幅近傍の水平積算値とを比較すればよい。
【0049】
図7は、水平積算値Acc20〜Acc02が図5(U)に示す値の場合の比較部522010〜520402及び比較部522019〜520403の出力値と、AND回路5320〜5304の出力値F20〜F04とを示している。画素幅が完全に揃った繰り返しオブジェクトであれば、図7に示すように、繰り返しパターンの画素幅を示す水平積算値Acc08に対応したAND回路5308の出力値F08のみ“1”となる。
【0050】
比較部522010,521909,…,520402によって、N画素幅の水平積算値にオフセット値Ofsを加算しているのは次の理由による。図5(U)より分かるように、繰り返しパターンの画素幅を示す水平積算値(ここでは水平積算値Acc08)と、その画素幅の2倍の画素幅を示す水平積算値(ここでは水平積算値Acc16)とは、ほぼ同じ程度の値を示すことになる。水平積算値Acc20〜Acc02内に繰り返しパターンの画素幅を示す水平積算値の3倍,4倍等、2倍を超える倍数の画素幅を示す水平積算値を含む場合も同様である。そこで、本実施形態においては、比較部522010,521909,…,520402によって、N画素幅の水平積算値にオフセット値Ofsを加算した値と、N/2画素幅近傍の水平積算値とを比較することによって、本来の繰り返しパターンの画素幅を示す水平積算値の整数倍の画素幅を示す水平積算値を誤って繰り返しパターンの画素幅を示す水平積算値であると判定することを回避している。
【0051】
図6において、オフセット値Ofsは全て同一の値であってもよく、それぞれで最適な値とするよう加算器5120〜5104個々に設定してもよい。オフセット値Ofsを加算器5120〜5104の全てで異なる値としてもよいし、一部のみ異なる値としてもよい。画素幅の狭い繰り返しパターンの方が動きベクトルの誤検出が発生しやすいため、できるだけ画素幅の狭い繰り返しパターンを検出することが好ましい。そこで、オフセット値Ofsを加算器5120〜5104個々に設定する場合は、画素幅の広い水平積算値ほどオフセット値Ofsを大きくし、画素幅の狭い水平積算値ほどオフセット値Ofsを小さくすることが好ましい。
【0052】
さらに図6において、判定部54にはAND回路5320〜5304からの出力値F20〜F04が入力される。判定部54は、AND回路5320〜5304からの出力値F20〜F04に基づいて画素幅の判定値Fを出力する。具体的には、判定部54は、1つのAND回路53からのみ出力値が“1”が出力される場合に、そのAND回路53に対応した画素幅の値を判定値Fとして出力する。図7に示す例では、AND回路5308からの出力値F08のみが“1”であるので、判定値Fとして“8”を出力する。入力された映像信号が繰り返しオブジェクトを有し、繰り返しパターンの画素幅を検出した場合、判定値Fは“4”〜“20”のいずれかの値となる。この“4”〜“20”なる判定値Fは、基準画素データである画素データP20が繰り返しオブジェクト内に位置している画素データであることを示すと共に、繰り返しパターンの画素幅を示している。
【0053】
AND回路5320〜5304からの出力値F20〜F04のいずれも“0”である場合は、繰り返しパターンの画素幅を検出していない状態である。この場合、繰り返しオブジェクトを有さないことを示す値、例えば“0”を判定値Fとして出力する。画素幅が完全に揃った繰り返しオブジェクトでない場合には、AND回路5320〜5304からの出力値F20〜F04の内、複数が“1”となることがあり得る。このような場合は、基準画素データである画素データP20が繰り返しオブジェクト内に位置している画素データであるということを検出している状態である。複数が“1”となった場合には、最も画素幅の小さい出力値を、画素幅を示す判定値Fとして出力してもよい。
【0054】
このように、大小比較部5では、データ保持・差分演算部200〜202での基準画素データが繰り返しオブジェクト検出の注目画素データとなる。本実施形態の繰り返しオブジェクト検出装置に対して画素データが入力される毎に基準画素データが更新され、個々の基準画素データに対して判定値Fが出力されることとなる。
【0055】
以上の説明より分かるように、本実施形態においては、N画素幅の水平積算値にオフセット値Ofsを加算した入力信号aと、N/2画素幅近傍の水平積算値である入力信号bとを比較する比較部を設けているので、画素データP20と画素データP19との差分に基づく1画素幅の差分データや加算データ、さらにはその加算データに基づく水平積算値を生成しても、図6の大小比較部5では使用されないことになる。そこで、上記のように、図3では画素データP20と画素データP19との差分データを用いていない。
【0056】
以上説明した図6に示す大小比較部5は、注目画素データが繰り返しオブジェクト内に位置している画素データであるか否か、また、繰り返しパターンの画素幅を極めて高精度に検出することができるよう構成したものである。大小比較部5の具体的構成は図6に示す例に限定されるものではない。図6においては、第1の比較部である比較部522010〜520402と第2の比較部である比較部522019〜520403との双方を設け、両者の論理積をとるAND回路5320〜5304を設けているが、判定部54に比較部522010〜520402の出力のみを供給して注目画素データが繰り返しオブジェクト内に位置している画素データであるか否か及び繰り返しパターンの画素幅を判定するように構成してもよい。
【0057】
比較部522010〜520402のみとした場合には若干検出精度が悪くなるので、図6の構成と比較して、比較部522010〜520402の出力の内、複数が“1”となる状態が発生しやすくなる。判定部54は、比較部522010〜520402の出力の少なくとも1つが“1”であれば、注目画素データが繰り返しオブジェクト内に位置している画素データであることを示す判定値Fを出力すればよい。複数の“1”が発生した場合には、最も画素幅の小さい出力値が画素幅を示す値である可能性が高いので、上記と同様、最も画素幅の小さい出力値を、画素幅を示す判定値Fとして出力してもよい。
【0058】
さらには、図6では、比較部522019〜520403はN画素幅の水平積算値である入力信号cと(N−1)画素幅の水平積算値である入力信号dとを比較しているが、比較部522019を除き、N画素幅の水平積算値である入力信号cと(N+1)画素幅の水平積算値である入力信号dとを比較してもよい。このように、大小比較部5の内部構成は種々考えられ、水平方向積算部4で求められた離間画素数毎の水平積算値Acc20〜Acc02を大小比較することによって、注目画素データ(基準画素データ)が所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定するものであればよい。
【0059】
以上説明した大小比較部5までの処理によって、入力された映像信号が繰り返しオブジェクトを有するか否か、繰り返しオブジェクトを有する場合は繰り返しパターンの画素幅を求めることができる。本実施形態ではさらに誤検出を少なくするため、図1に示すように、大小比較部5の後段に水平方向繰り返し判定部6を設けている。水平方向繰り返し判定部6を設けることは必須ではないが、誤検出を少なくするためには設ける方が好ましい。図8を用いて水平方向繰り返し判定部6の具体的構成及び動作について説明する。
【0060】
図8に示すように、水平方向繰り返し判定部6は、入力された判定値Fをそれぞれ図2(A)における2画素分の時間(2クロック分)保持して出力するデータ保持部6110n〜6101n,6100,6101p〜6109pなる20個のデータ保持部61を備える。データ保持部6110nに入力される判定値FをF10nとする。データ保持部6109nからデータ保持部6101nまでのそれぞれのデータ保持部61に入力される判定値FをF09n〜F01nとする。判定値F09n〜F01nはデータ保持部6110nに入力された判定値F10nを図2(C)における1画素分の時間ずつ順次遅延したものである。
【0061】
データ保持部6100に入力される判定値FをF00とする。この判定値F00は、データ保持部6110nに入力される判定値F10nに対して図2(C)における10画素分過去に得られた判定値Fである。水平方向繰り返し判定部6においては、データ保持部6100に入力される判定値F00を注目画素データに対する判定値Fとする。判定値F10n〜F01nは判定値F00に対して未来の判定値Fである。データ保持部6101pからデータ保持部6109pまでのそれぞれのデータ保持部61に入力される判定値FをF01p〜F09pとする。データ保持部6109pより出力される判定値FをF10pとする。判定値F01p〜F10pは判定値F00に対して過去の判定値Fである。
【0062】
比較判定部62には、注目画素データの判定値F00と、判定値F00に対して未来の図2(C)における10画素分将来までの判定値F10n〜F01nと、判定値F00に対して過去の図2(C)における10画素分過去までの判定値F01p〜F10pが入力される。比較判定部62は、N画素幅であることを示す判定値F00と、判定値F00に対してN/2画素分将来の判定値と、判定値F00に対してN/2画素分過去の判定値との3つの判定値を比較して、比較結果に基づいて最終的に繰り返しパターンの画素幅をN画素幅と決定する。なお、Nが奇数であれば、図6の場合と同様、(N−1)/2または(N+1)/2画素分将来及び過去の判定値を用いればよい。即ち、N画素幅であることを示す判定値F00とN/2画素分将来及び過去近傍の判定値とを用いればよい。ここでは簡略化のためN/2画素分将来及びN/2画素分過去として説明する。
【0063】
例えば、図2の場合のように、判定値F00が“8”の場合、比較判定部62は、判定値F00と、4画素分将来の判定値であるデータ保持部6105nより出力された判定値F04nと、4画素分過去の判定値であるデータ保持部6103pより出力された判定値F04pとを用いて繰り返しパターンの画素幅を決定する。
【0064】
繰り返しオブジェクトは注目画素の時点で瞬間的に発生するものではなく、所定時間継続して発生するのが通常である。従って、注目画素の時点でN画素幅であれば、N/2画素分将来及びN/2画素分過去でもN画素幅またはそれに近い画素幅となっているはずである。図2に示すような画素幅が完全に揃った繰り返しオブジェクトであれば、注目画素の判定値F00が“8”であれば、4画素分将来及び4画素分過去の判定値F04n,F04pも“8”となる。実際には画素幅が完全に揃わないこともあるので、判定値F00が“8”の場合、判定値F04n,F04pが“7”や“9”のように誤差の範囲で変動することがあり得る。
【0065】
そこで、比較判定部62は、上記のように、注目画素の判定値F00と、判定値F00が示すN画素幅に応じて選択したN/2画素分将来及びN/2画素分過去の判定値との3つの判定値が予め定めた範囲内にあれば、判定値F00が示す値を繰り返しパターンの画素幅と最終決定する。そして、繰り返しオブジェクトの検出信号Sdetとして、画素幅を示す値である判定値F00を出力する。一方、比較判定部62は、3つの判定値が予め定めた範囲内になければ、繰り返しパターンではないと決定する。そして、検出信号Sdetとして、繰り返しオブジェクトを有さないことを示す値、例えば“0”を出力する。大小比較部5からの判定値Fが“0”であれば、水平方向繰り返し判定部6の出力は“0”となる。
【0066】
判定値F00からのずれの許容量を大きくすれば、繰り返しパターンであると判定することが多くなる。即ち、画素幅が比較的不揃いのパターンであっても繰り返しパターンであると判定しやすくなる。ずれの許容量を小さくすれば繰り返しパターンであると判定することが少なくなる。即ち、画素幅がある程度揃ったパターンでなければ繰り返しパターンであると判定しにくくなる。判定値F00からのずれの許容量は、どの程度のパターンまで繰り返しパターンであると判定させるべきかに応じて適宜に設定すればよい。例えば、ずれの許容量を±2とし、N/2画素分将来及びN/2画素分過去の判定値が注目画素の判定値F00から±2以内であるか否かによって繰り返しオブジェクトの有無を決定すればよい。
【0067】
本実施形態では、N画素幅であることを示す判定値F00と、N/2画素分将来及びN/2画素分過去の判定値との3つの判定値とを用いたが、これに限定されるものではなく、判定値F00と所定画素数分将来及び所定画素数分過去の判定値との3つの判定値とを用いればよい。但し、N/2画素分将来及びN/2画素分過去の判定値を用いることが好ましい。これは次の理由による。図2(C)の例のように、注目画素が黒の画素であれば、N/2画素分将来及びN/2画素分過去の判定値は白の画素を注目画素とする判定値であり、注目画素が白の画素であれば、N/2画素分将来及びN/2画素分過去の判定値は黒の画素を注目画素とする判定値である。従って、N/2画素分将来及びN/2画素分過去の判定値を用いれば、繰り返しパターンにおける2種類の画素(2種類の輝度値や2種類の色)の双方を用いて繰り返しオブジェクトの有無や画素幅を決定することができる。従って、誤検出を大幅に少なくすることができる。
【0068】
本実施形態においては、比較判定部62が3つの判定値を用いて繰り返しオブジェクトの有無や画素幅を決定するようにしたが、注目画素の判定値F00とN/2画素分将来との2つの判定値を用いて決定してもよいし、注目画素の判定値F00とN/2画素分過去との2つの判定値を用いて決定してもよい。また、比較判定部62において、注目画素の判定値F00とN/2画素分将来及びN/2画素分過去との3つの判定値を用いて決定する第1のモードと、注目画素の判定値F00とN/2画素分将来との2つの判定値を用いて決定する第2のモードと、注目画素の判定値F00とN/2画素分過去との2つの判定値を用いて決定する第3の決定モードとの3つのモードを切り換えるように構成してもよい。この第1〜第3のモードに、注目画素の判定値F00のみで決定する第4のモードを加えて、4つのモードを切り換えるように構成してもよい。なお、第4のモードは水平方向繰り返し判定部6を省略した構成と等価である。
【0069】
このように、3つまたは4つのモードを切り換えるように構成すれば、繰り返しパターンであると判定する程度を可変することができ、最適な状態を選択しやすくなるので好ましい。モードを切り換える場合には、比較判定部62に対して図示していない制御部から切り換えのための制御信号を入力するように構成すればよい。
【0070】
ところで、本実施形態においては、入力された映像信号が繰り返しオブジェクトを有するか否かを検出すると共に、映像信号が繰り返しオブジェクトを有すると判定した場合に、繰り返しパターンの画素幅を検出するように構成しているが、入力された映像信号が繰り返しオブジェクトを有するか否かのみを検出する構成としてもよい。この場合、図8における比較判定部62は、繰り返しオブジェクトを有すると判定した場合に、判定値F00が示すN画素幅の値がいずれの値であっても検出信号Sdetとして例えば“1”を出力すればよい。水平方向繰り返し判定部6より出力された検出信号Sdetが“1”であれば注目画素は繰り返しオブジェクト内の画素であると判定された状態であり、“0”であれば注目画素は繰り返しオブジェクト外の画素であると判定された状態である。
【0071】
また、水平方向繰り返し判定部6を省略した構成で、入力された映像信号が繰り返しオブジェクトを有するか否かのみを検出する場合には、図6における判定部54は、AND回路5320〜5304からの出力値F20〜F04に基づいて求めた画素幅の判定値が“4”〜“20”のいずれであっても、例えば“1”を判定値Fとして出力すればよい。大小比較部5(判定部54)の出力が“1”であれば注目画素は繰り返しオブジェクト内の画素であると判定された状態であり、“0”であれば注目画素は繰り返しオブジェクト外の画素であると判定された状態である。
【0072】
ここで、図9を用いて、以上説明した本実施形態の繰り返しオブジェクト検出装置で行われる繰り返しオブジェクト検出方法について改めて説明する。図9において、繰り返しオブジェクト検出方法の処理が開始すると、ステップS101にて、映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する。このステップS101は、2ラインメモリ100,101及びデータ保持・差分演算部200〜202で行われる。ステップS102にて、複数のラインそれぞれで、複数の画素データの内の端部に位置する画素データを基準画素データとし、基準画素データと、複数の画素データ内の基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数k毎の差分データを生成する。このステップS102はデータ保持・差分演算部200〜202で行われる。
【0073】
ステップS103にて、複数のラインに対して求められた差分データを離間画素数k毎に加算して、離間画素数k毎の加算データを求める。このステップS103は加算部3で行われる。ステップS104にて、離間画素数k毎の加算データそれぞれを、1画素分の時間から、離間画素数kから画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算する。これによって、離間画素数k毎の加算データそれぞれを水平方向に積算した離間画素数k毎の水平積算値を求める。このステップS104は水平方向積算部4で行われる。ステップS105にて、離間画素数k毎の水平積算値を大小比較することによって、基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する。このとき、ステップS105は、基準画素データが繰り返しオブジェクト内に位置する画素データであると判定した場合に、繰り返しパターンの1周期の画素数を示す画素数値を出力してもよい。このステップS105は大小比較部5で行われる。
【0074】
誤検出を少なくするために、好ましくは次のステップS106,S107が行われる。ステップS106にて、画素数値を複数の画素データの1画素分の時間ずつ順次遅延させる。そして、ステップS107にて、遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較する。比較結果に基づいて、注目画素データが繰り返しオブジェクト内に位置する画素データであるか否か、画素数値を最終決定して終了する。なお、ここでの注目画素データは基準画素データを遅延させたものに相当する。このステップS106,S107は水平方向繰り返し判定部6で行われる。
【0075】
次に、図10を用いて、以上説明した本実施形態の繰り返しオブジェクト検出装置による繰り返しオブジェクトの検出結果を動きベクトル検出の際に利用する一構成例について説明する。図10は、本実施形態の繰り返しオブジェクト検出装置を、映像信号のフレーム周波数を2倍に増大させるフレーム周波数変換装置に用いた例を示している。
【0076】
図10において、映像信号S0は、画像メモリ101,相関検出部103,繰り返しオブジェクト検出部104,補間フレーム生成部106,フレーム周波数変換メモリ107に入力される。繰り返しオブジェクト検出部104は図1に示す本実施形態の繰り返しオブジェクト検出装置に相当する。画像メモリ101は入力された映像信号S0の各フレームを1フレーム期間遅延して映像信号S1として出力する。画像メモリ101より出力された映像信号S1は、画像メモリ102,相関検出部103,補間フレーム生成部に入力される。画像メモリ102は入力された映像信号S1の各フレームをさらに1フレーム期間遅延して映像信号S2として出力する。画像メモリ102より出力された映像信号S2は、相関検出部103に入力される。
【0077】
相関検出部103は、現フレームである映像信号S0と、画像メモリ101より出力された1フレーム遅延の映像信号S1と、画像メモリ102より出力された2フレーム遅延の映像信号S2とを用いて相関を検出する。図11を用いて、相関検出部103の動作を説明する。図11は、映像信号のフレームF1,F2,F3の同一ラインを示している。フレームF3からフレームF1へと時間が経過している。フレームF1は映像信号S0のフレームに相当し、フレームF2は映像信号S1のフレームに相当し、フレームF3は映像信号S2のフレームに相当する。ここではフレームF2のハッチングを付した丸で示す画素Piが注目画素である。
【0078】
相関検出部103は、動きベクトルを求めたい注目画素Piを中心とした複数の方向で、注目画素Piと、フレームF1,F3内の複数の画素との差分を求めて、複数の方向の相関値を検出する。白抜きの丸は差分を求める画素位置を示す。ハッチングを付した丸が水平方向に移動する物体であるとすれば、実線で示す方向の差分値が最小となり、最も相関が高いことになる。ここでは簡略化のため1ラインしか示していないが、相関検出部103は異なるライン間の複数の画素に対しても差分を求めて相関値を検出する。なお、画素単位で差分を求めるのではなく、複数の画素を含むブロック単位で差分を求めることもある。
【0079】
相関検出部103で検出した複数の方向の相関値は動きベクトル検出部105に入力される。繰り返しオブジェクト検出部104は、上述のように注目画素が繰り返しオブジェクト内の画素であると判定した場合には“1”なる検出信号Sdetを、繰り返しオブジェクト外の画素であると判定した場合には“0”なる検出信号Sdetを動きベクトル検出部105に供給する。
【0080】
動きベクトル検出部105は、検出信号Sdetが“0”であれば、通常のように、相関値が最も小さい方向を動きベクトルMV1として補間フレーム生成部106に出力する。一方、動きベクトル検出部105は、検出信号Sdetが“1”であれば、相関値が最も小さい方向の動きベクトルMV1は誤検出された動きベクトルの可能性が高いので、動きベクトルの検出方法を異ならせて動きベクトルMV2を求めて補間フレーム生成部106に出力する。検出信号Sdetが“1”である場合の動きベクトルの検出方法は特に限定されるものではない。補間フレーム生成部106は、映像信号S0,S1と動きベクトルMV1またはMV2とを用いて映像信号S0における隣接する2つのフレーム間に内挿するための補間フレームSiを生成する。
【0081】
フレーム周波数変換メモリ107は、映像信号S0のフレームと補間フレームSiとを記憶する。そして、フレーム周波数変換メモリ107は、映像信号S0のフレームと補間フレームSiとを読み出す際に、映像信号S0の隣接する2つのフレーム間に補間フレームSiを内挿することによりフレーム数を映像信号S0のフレーム数に対して2倍にすると共に、フレーム周波数を映像信号S0のフレーム周波数の2倍にして、フレーム周波数変換された映像信号Srcを出力する。
【0082】
ここでは、本実施形態の繰り返しオブジェクト検出装置を、映像信号のフレーム周波数を2倍に増大させるフレーム周波数変換装置に用い例を示したが、映像信号のフレーム周波数を3倍以上に増大させるフレーム周波数変換装置や、I/P変換装置に用いることもできる。
【0083】
<第2実施形態>
次に、所定の階調や色の画素データを垂直方向に繰り返す繰り返しパターンを有する繰り返しオブジェクトを検出することができる第2実施形態について説明する。図12は本発明の第2実施形態の繰り返しオブジェクト検出装置の全体構成を示すブロック図である。図12に示す第2実施形態において、第1実施形態と同様の動作をする部分については説明を適宜省略することとする。
【0084】
図12において、映像信号は2ラインメモリ1100及びデータ保持・差分演算部1200に入力される。一例として、入力される映像信号は、図13(A)に示すように、ハッチングを付した丸で示す黒の画素が水平方向に複数画素連続したラインが垂直方向に8ライン連続し、白抜きの丸で示す白の画素が水平方向に複数画素連続したラインが垂直方向に8ライン連続し、さらに、この黒の8ラインと白の8ラインとが垂直方向に交互に繰り返す繰り返しパターンである、いわゆる横縞模様を有する輝度信号であるとする。
【0085】
図13(A)では、ラインL00〜L40の41ラインを部分的に省略しつつ示している。垂直方向の繰り返しパターンの周期をM画素幅(Mは2以上の整数)と称することとする。図13(A)に示す例は、垂直方向16画素幅の繰り返しパターンである。画素幅とは垂直方向の繰り返しパターンの1周期に含まれる画素数である。
【0086】
2ラインメモリ1100は、順次入力される輝度信号の画素データを2ライン分遅延させる。本実施形態においては、2ラインメモリ1100の後段に2ラインメモリ1101〜1119が縦列接続されている。2ラインメモリ1100〜1119は、入力される画素データをそれぞれ2ライン分遅延させる。データ保持・差分演算部1200〜1202には、入力される映像信号の画素データと、この画素データを2ラインメモリ1100〜1119によってそれぞれ遅延した画素データとの合計21個の画素データが組として入力される。
【0087】
2ラインメモリ1100及びデータ保持・差分演算部1200に入力される画素データが、例えば図13(A)におけるラインL00の水平位置H1の画素データであるとすると、データ保持・差分演算部1200〜1202には、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データが入力されることになる。第1実施形態と同様、2ラインメモリ1100〜1119の代わりに、1ライン分遅延させるラインメモリを用い、ラインメモリに対する書き込み及び読み出しを2ラインに1回更新することによって、入力された画素データを実質的に2ラインずつ遅延させるように構成してもよい。また、ここでは垂直方向に1ライン飛ばしで画素データを抽出するようにしているが、連続したラインで画素データを抽出するようにしてもよい。
【0088】
データ保持・差分演算部1201は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データを2画素分の時間(2クロック分)保持して出力するデータ保持部を有する。従って、データ保持・差分演算部1201は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H3の画素データを保持することになる。データ保持・差分演算部1202は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データを4画素分の時間(4クロック分)保持して出力するデータ保持部を有する。従って、データ保持・差分演算部1202は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H5の画素データを保持することになる。
【0089】
図13(C)に示すように、水平位置H1,H3,H5におけるラインL00,L02,…L38,L40の画素データをP00〜P20と称することとする。水平位置H1,H3,H5における破線で囲んだ画素データP00〜P20を、便宜上、垂直ラインVL1,VL3,VL5と称することとする。データ保持・差分演算部1200は、垂直ラインVL1の画素データP00〜P20を用いて差分演算し、データ保持・差分演算部1201は、垂直ラインVL3の画素データP00〜P20を用いて差分演算し、データ保持・差分演算部1202は、垂直ラインVL5の画素データP00〜P20を用いて差分演算する。
【0090】
このように考えると、図13(C)の垂直ラインVL1,VL3,VL5は、図2(C)の水平方向のラインL1,L3,L5を垂直に立てた状態と等価である。ここでは水平方向に1画素飛ばしの3垂直ラインの画素データを用いるようにしているが、2またはそれ以上の複数画素飛ばしの複数垂直ラインとしてもよく、あるいは連続した複数垂直ラインとしてもよい。また、検出に用いる垂直ライン数は3ラインに限定されるものではなく、適宜に設定した複数垂直ラインとすればよい。検出に用いる垂直ライン数を多くすれば誤検出を少なくすることができる。
【0091】
以下では、図13(C)の間引いた状態の画素数,ライン数,画素幅を用いて説明する。データ保持・差分演算部1200〜1202は、図3と同様、19個の差分データ生成部を備えている。この19個の差分データ生成部は、画素データP00〜P20を用いて図3と同様の差分演算を行う。即ち、差分データ生成部は、垂直ラインVL1,VL3,VL5それぞれで画素データP20を基準画素データとして、図13(C)における垂直方向に20画素〜2画素分(即ち、20ライン〜2ライン分)離れた画素データ間の差分データを生成する。データ保持・差分演算部1200〜1202より出力される差分データをD20VL1〜D02VL1,D20VL3〜D02VL3,D20VL5〜D02VL5と称することとする。
【0092】
加算部13は垂直方向に20画素〜2画素分離れた画素データ間の差分データD20VL1〜D02VL1,D20VL3〜D02VL3,D20VL5〜D02VL5をそれぞれの画素間隔k毎に加算する。ここでの画素間隔kは垂直ラインVL1,VL3,VL5における垂直方向の画素間隔である。画素間隔k毎の加算データD20Vsum〜D02Vsumは垂直方向積算部14に入力される。垂直方向積算部14は、図4の水平方向積算部4と同様の構成を有する。但し、垂直方向積算部14の各積算部内のデータ保持部は、入力されたデータを図13(C)における垂直方向の1画素分(即ち、1ライン分)保持するものである。垂直方向積算部14は、加算部13より入力された現時点の加算データD20Vsum〜D02Vsumから垂直方向に(k−1)画素分(即ち(k−1)ライン)過去の時点までの加算データを全て加算して画素間隔k毎の垂直積算値AccV20〜AccV02を出力する。
【0093】
垂直方向の画素間隔k毎の垂直積算値AccV20〜AccV02は、第1実施形態の場合と同様、垂直方向の繰り返しパターンの画素幅に対応した垂直積算値が最小の値を示す。
【0094】
第2実施形態においても、20画素幅〜2画素幅の垂直積算値AccV20〜AccV02を用いることにより、注目画素が垂直方向の繰り返しオブジェクト内に位置している画素であるか否か、また、繰り返しオブジェクトが有する垂直方向の繰り返しパターンの画素幅を求めることができる。大小比較部15は、図6と同様の構成を有し、垂直方向積算部14から入力された20画素幅〜2画素幅の垂直積算値AccV20〜AccV02を用いて繰り返しオブジェクトが何画素幅の繰り返しパターンであるのかを判定し、判定値Fvを出力する。垂直方向繰り返し判定部16は図8と同様の構成を有し、判定値Fvを最終的な繰り返しパターンの画素幅と決定すべきか否かを判定して、検出信号Sdetを出力する。
【0095】
この第2実施形態の繰り返しオブジェクト検出装置を、図10における繰り返しオブジェクト検出部104として用いてもよい。また、第1及び第2実施形態双方の繰り返しオブジェクト検出装置を図10における繰り返しオブジェクト検出部104として用いてもよい。第1及び第2実施形態双方の繰り返しオブジェクト検出装置を用いれば、水平方向及び垂直方向双方の繰り返しオブジェクトの検出信号Sdetを参照しながら動きベクトルを検出することができるので、動きベクトルの誤検出を大幅に少なくすることが可能となる。
【0096】
本発明は以上説明した第1及び第2実施形態の構成に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【図面の簡単な説明】
【0097】
【図1】第1実施形態の全体構成を示すブロック図である。
【図2】水平方向の繰り返しオブジェクトの画素データの配列例を示す図である。
【図3】図1におけるデータ保持・差分演算部200〜202の具体的構成例を示すブロック図である。
【図4】図1における加算部3及び水平方向積算部4の具体的構成例を示すブロック図である。
【図5】図2の画素データの配列例における加算データD20sum〜D02sum及び水平積算値Acc20〜Acc02の具体的な数値例を示す図である。
【図6】図1における大小比較部5の具体的構成例を示すブロック図である。
【図7】図6における各比較部と各AND回路の出力値を示す図である。
【図8】図1における水平方向繰り返し判定部6の具体的構成例を示すブロック図である。
【図9】第1実施形態の動作を説明するためのフローチャートである。
【図10】繰り返しオブジェクト検出装置をフレーム周波数変換装置に用いた構成例を示すブロック図である。
【図11】動きベクトルを検出する際の動作を説明するための図である。
【図12】第2実施形態の全体構成を示すブロック図である。
【図13】垂直方向の繰り返しオブジェクトの画素データの配列例を示す図である。
【符号の説明】
【0098】
100,101, 1100〜1119 2ラインメモリ
200〜202,1200〜1202 データ保持・差分演算部
3,13 加算部
4 水平方向積算部
5,15 大小比較部
6 水平方向繰り返し判定部
14 垂直方向積算部
16 垂直方向繰り返し判定部
5120〜5104 加算器
522010〜520402,522019〜520403 比較部
5320〜5304 AND回路
54 判定部
6110n〜6101n,6100,6101p〜6109p データ保持部
62 比較判定部
【技術分野】
【0001】
本発明は、縞模様のように、所定の階調や色の画素データが水平方向または垂直方向に繰り返し現れるパターンである繰り返しオブジェクトを検出する繰り返しオブジェクト検出装置及び方法に関する。
【背景技術】
【0002】
映像信号表示装置においては、インターレース信号の映像信号をプログレッシブ信号に変換するI/P変換や、映像信号のフレーム周波数を2倍等の複数倍に増大させるフレーム周波数変換等の映像信号処理の際に、動きベクトルを利用している。映像信号表示装置に表示させる映像が、例えば縞模様のような所定の階調や色の画素データが水平方向または垂直方向に繰り返し現れる繰り返しオブジェクトを含む場合、繰り返しオブジェクトを含まない映像と比較して、I/P変換回路やフレーム周波数変換回路内の動きベクトル検出部は動きベクトルを誤検出してしまう可能性が高い。
【0003】
そこで、映像に含まれる繰り返しオブジェクトの有無を検出し、繰り返しオブジェクトが存在する場合には動きベクトルの検出方法に工夫を施すことによって、動きベクトルの誤検出を低減させることが可能となる。映像が繰り返しオブジェクトを含む場合に動きベクトルの誤検出が多くなること、及び、繰り返しオブジェクトが存在する場合に動きベクトルの誤検出を低減させるための一手法が特許文献1に記載されている。
【特許文献1】特開2007−235403号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
動きベクトルの誤検出を低減させるためには、繰り返しオブジェクトを精度よく検出することが必要となる。所定の階調や色の画素データの繰り返し周期は映像によって異なるので、複数の繰り返しパターンのいずれであっても繰り返しオブジェクトを精度よく検出することができる繰り返しオブジェクト検出装置及び方法が望まれる。
【0005】
本発明はこのような要望に対応すべくなされたものであり、繰り返しオブジェクトを精度よく検出することができる繰り返しオブジェクト検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上述した従来の技術の課題を解決するため、映像信号の1ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数のラインに対して行う差分演算部(200〜202)と、前記差分演算部で前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して離間画素数毎の加算データを求める加算部(3)と、前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平方向積算部(4)と、前記水平方向積算部で求められた前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部(5)とを備えることを特徴とする繰り返しオブジェクト検出装置を提供する。
【0007】
ここで、前記大小比較部(5)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の比較部(522010〜520402)と、前記複数の比較部の出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部(54)とを有することが好ましい。
また、前記大小比較部(5)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の第1の比較部(522010〜520402)と、前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する複数の第2の比較部(522019〜520403)と、前記第1の比較部の出力と前記第2の比較部の出力との論理積をとる複数のAND回路(5320〜5304)と、前記複数のAND回路からの出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部(54)とを有することが好ましい。
【0008】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることが好ましい。
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とする複数の加算器(5120〜5104)を有することが好ましい。
前記判定部(54)は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することが好ましい。
【0009】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる複数のデータ保持部(6110n〜6101n,6100,6101p〜6109p)と、前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部(62)とを有する水平方向繰り返し判定部(6)をさらに備えることが好ましい。
【0010】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることが好ましい。
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることが好ましい。
前記差分演算部(200〜202)は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを用いることが好ましい。
前記差分演算部(200〜202)は、前記複数のラインとして、前記映像信号が有する連続したライン内の1または複数ライン離間したラインを用いることが好ましい。
【0011】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する抽出ステップ(S101)と、前記複数のラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップ(S102)と、前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップ(S103)と、前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平積算ステップ(S104)と、前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップ(S105)とを含むことを特徴とする繰り返しオブジェクト検出方法を提供する。
【0012】
ここで、前記判定ステップ(S105)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する比較ステップと、前記比較ステップによる比較結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことが好ましい。
また、前記判定ステップ(S105)は、前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する第1の比較ステップと、前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する第2の比較ステップと、前記第1の比較ステップによる比較結果と前記第2の比較ステップによる比較結果との論理積をとる論理積演算ステップと、前記論理積演算ステップによる演算結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことが好ましい。
【0013】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることが好ましい。
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とすることが好ましい。
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することが好ましい。
【0014】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる遅延ステップ(S106)と、前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップ(S107)とをさらに含むことが好ましい。
【0015】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることが好ましい。
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることが好ましい。
前記抽出ステップ(S101)は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを抽出することが好ましい。
前記抽出ステップ(S101)は、前記映像信号が有する連続したライン内の1または複数ライン離間した前記複数のラインそれぞれから前記複数の画素データを抽出することが好ましい。
【0016】
さらに、本発明は、上述した従来の技術の課題を解決するため、映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数の垂直ラインで行う差分演算部(1200〜1202)と、前記差分演算部で求められた差分データを前記複数の垂直ラインの離間画素数毎に加算して離間画素数毎の加算データを求める加算部(13)と、前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直方向積算部(14)と、前記垂直方向積算部で求められた前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部(15)とを備えることを特徴とする繰り返しオブジェクト検出装置を提供する。
【0017】
ここで、前記大小比較部(15)は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる複数のデータ保持部と、前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部とを有する水平方向繰り返し判定部をさらに備えることが好ましい。
【0018】
また、本発明は、上述した従来の技術の課題を解決するため、映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データを複数の垂直ラインで抽出する抽出ステップと、前記複数の垂直ラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、前記複数の垂直ラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直積算ステップと、前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップとを含むことを特徴とする繰り返しオブジェクト検出方法を提供する。
【0019】
ここで、前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる遅延ステップと、前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップとをさらに含むことが好ましい。
【発明の効果】
【0020】
本発明の繰り返しオブジェクト検出装置及び方法によれば、繰り返し周期が異なる複数の繰り返しパターンのいずれであっても繰り返しオブジェクトを精度よく検出することが可能となる。
【発明を実施するための最良の形態】
【0021】
以下、本発明の繰り返しオブジェクト検出装置及び方法について、添付図面を参照して説明する。本発明の繰り返しオブジェクト検出装置及び方法の第1実施形態は、所定の階調や色の画素データを水平方向に繰り返す繰り返しオブジェクトを検出するものであり、第2実施形態は所定の階調や色の画素データを垂直方向に繰り返す繰り返しオブジェクトを検出するものである。
【0022】
<第1実施形態>
図1は本発明の第1実施形態の繰り返しオブジェクト検出装置の全体構成を示すブロック図である。図1において、映像信号は2ラインメモリ100及びデータ保持・差分演算部200に入力される。なお、映像信号としては、輝度信号,色信号(色差信号),コンポジット信号のいずれでもよい。本実施形態では入力映像信号を輝度信号として説明する。一例として、この輝度信号は、図2(A)に示すように、ハッチングを付した丸で示す黒の8画素と白抜きの丸で示す白の8画素が水平方向に交互に繰り返し、この繰り返しパターンを有するラインが垂直方向に複数ライン繰り返す、いわゆる縦縞模様を有する輝度信号であるとする。ここでは水平方向の黒の画素数と白の画素数とが同じ縦縞模様を例として示したが、両者の画素数が異なる縦縞模様の場合もある。
【0023】
図2(A)では、水平方向に画素データPo00〜Po40の41画素のデータが並んだラインをラインL1〜L5の5ライン分示している。繰り返しパターンの周期をM画素幅(Mは2以上の整数)と称することとする。図2(A)に示す例は、水平方向16画素幅の繰り返しパターンである。画素幅とは繰り返しパターンの1周期に含まれる画素数である。
【0024】
図1において、2ラインメモリ100は、順次入力される輝度信号の画素データを2ライン分遅延させる。2ラインメモリ100より出力された画素データは2ラインメモリ101及びデータ保持・差分演算部201に入力される。2ラインメモリ101は、入力された画素データをさらに2ライン分遅延させる。2ラインメモリ101より出力された画素データはデータ保持・差分演算部202に入力される。従って、2ラインメモリ100及びデータ保持・差分演算部200に入力される画素データが図2(A)におけるラインL1内の画素データであるとすると、データ保持・差分演算部201に入力される画素データはラインL1よりも2ライン過去のラインL3内の画素データとなり、データ保持・差分演算部202に入力される画素データはラインL3よりも2ライン過去のラインL5内の画素データとなる。
【0025】
後述するように、データ保持・差分演算部200〜202は入力された画素データを水平方向に順次遅延させて複数の画素データを保持するようになっているので、本実施形態の繰り返しオブジェクト検出装置及び方法は、図2(B)に示すように、垂直方向の2ラインに1ラインを抽出した3ラインの画素データを用いて繰り返しオブジェクトを検出する。図1においては、理解を容易とするために2ラインメモリ100,101を用いる構成としたが、1ライン分遅延させるラインメモリを用い、ラインメモリに対する書き込み及び読み出しを2ラインに1回更新することによって、入力された画素データを実質的に2ラインずつ遅延させるように構成してもよい。
【0026】
さらに、ここでは垂直方向に1ライン飛ばしの3ラインの画素データを用いて繰り返しオブジェクトを検出するようにしているが、2またはそれ以上の複数ライン飛ばしの複数ラインとしてもよく、あるいは連続した複数ラインとしてもよい。また、検出に用いるライン数は3ラインに限定されるものではなく、適宜に設定した複数ラインとすればよい。検出に用いるライン数を多くすれば誤検出を少なくすることができる。ラインメモリに対する書き込み及び読み出しをnライン(nは1以上の整数)に1回更新するようにして、(n−1)ライン飛ばしの複数ラインとした場合には、ラインメモリの数を比較的多くすることなく、垂直方向の所定の範囲に含まれる複数ラインの画素データを用いて繰り返しオブジェクトを検出することができる。
【0027】
図3は、データ保持・差分演算部200〜202の具体的構成例を示している。データ保持・差分演算部200〜202は互いに同一の構成となっており、図3ではデータ保持・差分演算部200の内部構成のみ示している。図3において、データ保持部2100〜2119は、それぞれ入力された画素データを2画素分の時間(2クロック分)保持して出力するものである。従って、図2(B)におけるラインL1,L3,L5の画素データPo00〜Po40は、データ保持部2100〜2119によって、水平方向の2画素に1画素の画素データが抽出されることになる。添え字を付していないデータ保持部21は、データ保持部2100〜2119のいずれかを特定しないデータ保持部とする。図3の例では20個のデータ保持部21を備えているので、データ保持部2100〜2119からはデータ保持部2100に入力された画素データを2画素から40画素まで順次2画素ずつ遅延させた20画素の画素データが得られることになる。
【0028】
データ保持部2100に入力される画素データをP00とし、データ保持部2100〜2119から出力される画素データをP01〜P20と称することとする。図2(C)に示すように、データ保持・差分演算部200はラインL1の画素データP00〜P20を、データ保持・差分演算部201はラインL3の画素データP00〜P20を、データ保持・差分演算部202はラインL5の画素データP00〜P20をそれぞれ用いて後述する差分演算を行う。なお、図2(A)と図2(C)とを比較すれば分かるように、繰り返しオブジェクト検出装置に入力される間引き前の画素データPo00,Po02,Po04…がデータ保持・差分演算部200〜202によって間引いた後の画素データP00,P01,P02…となる。
【0029】
ここでは、入力された画素データP00と、水平方向に1画素飛ばしの20個の画素データP01〜P20とを用いて繰り返しオブジェクトを検出するようにしているが、連続した複数画素としてもよい。検出に用いる水平方向の画素数は特に限定されるものではなく、適宜に設定した複数画素とすればよい。検出に用いる画素数を多くすれば、画素幅が広い(周期が長い)繰り返しパターンを検出することができる。検出すべき画素幅に応じて水平方向の画素数を設定すればよい。本実施形態では1画素飛ばしの複数画素を用いるので、データ保持・差分演算部200〜202内の回路の数を比較的多くすることなく、繰り返しオブジェクトを検出することができる。
【0030】
図3に示すように、データ保持・差分演算部200〜202は、差分データ生成部2200〜2218を備える。差分データ生成部2200〜2218は減算器221と絶対値化部(ABS)222とを備える。まず、データ保持・差分演算部200内の差分データ生成部2200〜2218の動作について説明する。差分データ生成部2200内の減算器221は、基準画素データである画素データP20と、画素データP20に対して図2(C)における20画素分将来の画素データである画素データP00との差分を取る。差分データ生成部2200内の絶対値化部222は減算器221の出力を絶対値化して差分データD20L1を出力する。差分データD20L1は図2(C)におけるラインL1の画素データの配列における20画素分離れた画素データ間の差分である。
【0031】
差分データ生成部2201は差分データ生成部2200と同様、画素データP20と画素データP01との差分を取り、絶対値化して差分データD19L1を出力する。差分データD19L1は、図2(C)におけるラインL1の画素データの配列における19画素分離れた画素データ間の差分である。同様にして、差分データ生成部2202〜2218は、画素データP20と画素データP02〜P18とのそれぞれの差分を取り、絶対値化して差分データD18L1〜D02L1を出力する。差分データD18L1〜D02L1は、図2(C)におけるラインL1の画素データの配列における18画素〜2画素分離れた画素データ間の差分である。本実施形態では、画素データP20と画素データP19との差分データを用いない。
【0032】
データ保持・差分演算部201内の差分データ生成部2200〜2218は、データ保持・差分演算部200と同様に、図2(C)におけるラインL3の画素データの配列における20画素〜2画素分離れた画素データ間の差分である差分データD20L3〜D02L3を出力する。データ保持・差分演算部202の差分データ生成部2200〜2218は、データ保持・差分演算部200と同様に、図2(C)におけるラインL5の画素データの配列における20画素〜2画素分離れた画素データ間の差分である差分データD20L5〜D02L5を出力する。
【0033】
図2の例では、例えば画素データP20と画素データP00との差分データD20L1,D20L3,D20L5や画素データP20と画素データP18との差分データD02L1,D02L3,D02L5は比較的大きな値となり、画素データP20と画素データP12との差分データD08L1,D08L3,D08L5は比較的小さな値となる。例えば、黒の画素が全て同一輝度(輝度0)、白の画素が全て同一輝度であれば、黒の画素どうしの差分データと、白の画素どうしの差分データは0となる。
【0034】
図1に戻り、データ保持・差分演算部200より出力された差分データD20L1〜D02L1と、データ保持・差分演算部201より出力された差分データD20L3〜D02L3と、データ保持・差分演算部202より出力された差分データD20L5〜D02L5は、加算部3に入力される。図4に示すように、加算部3は加算器3102〜3120を備えている。加算器3102は、差分データD02L1と差分データD02L3と差分データD02L5とを加算して、加算データD02sumを出力する。同様に、加算器3103〜3120は、差分データD03L1,D03L3,D03L5〜D20L1,D02L3,D20L5をそれぞれ加算して、加算データD03sum〜D20sumを出力する。
【0035】
このように、加算部3は、図2(C)のラインL1,L3,L5における20画素〜2画素分離れた画素データ間の差分データを、それぞれの画素間隔毎に加算する。加算部3は各ラインの差分データをそれぞれの画素間隔毎に加算するので、映像信号が図2の縞模様のような繰り返しオブジェクトを有する場合には、加算データD20sum〜D02sumは大きな値を有するデータと小さな値を有するデータとを含むことになる。
【0036】
再び図1に戻り、加算部3より出力された加算データD20sum〜D02sumは、水平方向積算部4に入力される。図4に示すように、水平方向積算部4は積算部4102〜4120を備えている。積算部4102は、入力された加算データD02sumを図2(A),(B)における2画素分の時間(2クロック分)保持して出力するデータ保持部411と、加算データD02sumとデータ保持部411の出力とを加算する加算器412とを備える。即ち、積算部4102は、加算部3より出力された現時点の加算データD02sumと、図2(C)における1画素分過去の時点における加算データD02sumとを加算した水平積算値Acc02を出力する。
【0037】
積算部4103は、入力された加算データD03sumを図2(A),(B)における2画素分の時間(2クロック分)保持して出力するデータ保持部413,415と、加算データD03sumとデータ保持部413の出力とを加算する加算器414と、加算器414の出力とデータ保持部415の出力とを加算する加算器416とを備える。即ち、積算部4103は、加算部3より出力された現時点の加算データD03sumと、図2(C)における1画素分過去の時点における加算データD03sumと、図2(C)における2画素分過去の時点における加算データD03sumとを加算した水平積算値Acc03を出力する。添え字を付していない積算部41は、積算部4102〜4120のいずれかを特定しない積算部とする。
【0038】
積算部41に入力される加算部3からの加算データを、図2(C)におけるk画素分離れた画素データ間の差分データをラインL1,L3,L5で加算したものであるとすると、積算部41は、現時点の加算データから(k−1)画素分過去の時点までの加算データを全て加算した水平積算値を出力するものである。例えば、積算部4119は、加算部3より出力された現時点の加算データD19sumと、1画素分過去から18画素分過去までの時点における加算データD19sumとの合計19の加算データD19sumを加算した水平積算値Acc19を出力する。また、積算部4120は、加算部3より出力された現時点の加算データD20sumと、1画素分過去から19画素分過去までの時点における加算データD20sumとの合計20の加算データD20sumを加算した水平積算値Acc20を出力する。
【0039】
ここで、図5を用いて、図2(C)の場合の水平積算値Acc20〜Acc02の具体的な数値例について説明する。ここでは計算を簡略化するため、黒の画素データと白の画素データとの差分が“10”なる値であるとする。図2(C)に示す画素データの配列では、例えば差分データD02L1は“10”であり、加算データD02sumは“30”となる。画素データP00が最新の画素データである現時点での加算データD20sum〜D02sumそれぞれの値は図5(A)に示す通りとなる。図2(C)における1画素分過去の時点では、画素データP01から画素データP20の右隣に位置する図示していない画素データまでの21個の画素データが、画素データP00〜P20として図3及び図4の回路によって処理されることになる。従って、1画素分過去の時点での加算データD20sum〜D02sumそれぞれの値は図5(B)に示す通りとなる。同様にして、2画素分過去から19画素分過去までのそれぞれの時点での加算データD20sum〜D02sumの値は図5(C)〜(T)に示す通りとなる。
【0040】
水平積算値Acc20〜Acc02は、加算データD20sum〜D02sumそれぞれについて、図5(A)〜(T)における網掛けを施した範囲の値を縦方向に積算したものであるので、図5(U)に示す値となる。この水平積算値Acc20〜Acc02の値は、図2(A)におけるM画素幅のMの値に応じて小さな値となったり、大きな値となったりする。具体的には、図2(C)の画素データの水平方向の配列は図2(A)の画素データの水平方向の配列を1/2に間引いたものであるので、水平積算値Accの添え字がM/2である水平積算値で最も小さな値を示すこととなる。図2(A)は完全な16画素幅の繰り返しオブジェクトを示しているので、図5(U)に示すように水平積算値Acc08は“0”となる。なお、水平積算値Accの添え字が(M/2)×2である水平積算値Acc16でも同様に“0”となる。
【0041】
ここでは水平方向及び垂直方向に画素幅が完全に揃った繰り返しオブジェクトを例にしているので、水平積算値Accの添え字がM/2である水平積算値は“0”となる。一般的には、画素幅が完全に揃うことはまれであるので、実際には“0”を超えた値となることが多い。画素幅が完全に揃っていない繰り返しオブジェクトであっても、概ね所定の画素幅を繰り返す繰り返しパターンを有する場合には、繰り返しパターンの画素幅に対応した水平積算値Accが最小の値を示すこととなる。従って、本実施形態の繰り返しオブジェクト検出装置及び方法によれば、水平積算値Acc20〜Acc02を用いることにより、注目画素が繰り返しオブジェクト内に位置している画素であるか否か、また、繰り返しオブジェクトが有する繰り返しパターンの画素幅を求めることができる。
【0042】
再び図1に戻り、以上のようにして得られた水平積算値Acc20〜Acc02は大小比較部5に入力される。大小比較部5は、入力された水平積算値Acc20〜Acc02を用いて繰り返しオブジェクトが何画素幅の繰り返しパターンであるのかを検出する。以下においては、画素幅を図2(C)の画素データの配列に基づいて表現するものとし、画素幅N(Nは2以上の整数)とする。即ち、図2(C)に示す例は、8画素幅の繰り返しパターンであるとする。
【0043】
図6を用いて大小比較部5の具体的構成及び動作について説明する。図6において、20画素幅の水平積算値Acc20は加算器5120及び比較部522019に入力される。加算器5120は水平積算値Acc20とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部522010に供給する。比較部522010には入力信号bとして20画素幅の1/2である10画素幅の水平積算値Acc10が入力される。比較部522010は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。なお、比較部52に付している添え字は比較の対象となっている2つの水平積算値Accの添え字に対応している。添え字“2010”は水平積算値Acc20と水平積算値Acc10を比較することを意味し、添え字“2019”は水平積算値Acc20と水平積算値Acc19を比較することを意味している。以下、全ての比較部52で同様である。
【0044】
比較部522019には入力信号cとして20画素幅の水平積算値Acc20が入力され、入力信号dとして20画素幅の次に画素幅の狭い19画素幅の水平積算値Acc19が入力される。比較部522019は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5320は、比較部522010及び比較部522019双方の出力が“1”であれば出力値F20として“1”を出力し、いずれか一方でも“0”であれば出力値F20として“0”を出力する。
【0045】
加算器5119は19画素幅の水平積算値Acc19とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部521909に供給する。比較部521909には入力信号bとして19画素幅から1画素幅を引いて1/2にした9画素幅の水平積算値Acc09が入力される。比較部521909は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。比較部521918には入力信号cとして19画素幅の水平積算値Acc19が入力され、入力信号dとして19画素幅の次に画素幅の狭い18画素幅の水平積算値Acc18が入力される。比較部521918は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5319は、比較部521909及び比較部521918双方の出力が“1”であれば出力値F19として“1”を出力し、いずれか一方でも“0”であれば出力値F19として“0”を出力する。
【0046】
水平積算値Acc18〜Acc05に対しても同様にして、N画素幅(ここではNは18〜5)の水平積算値にオフセット値Ofsを加算した値である入力信号aと、Nが偶数であればN/2画素幅の水平積算値、Nが奇数であれば(N−1)/2画素幅の水平積算値である入力信号bとを比較する比較部と、N画素幅の水平積算値である入力信号cと(N−1)画素幅の水平積算値である入力信号dとを比較する比較部が設けられている。また、それらの2つの比較部の出力の論理積をとるAND回路が設けられている。そして、それぞれのAND回路は出力値F18〜F05として“1”または“0”を出力する。
【0047】
加算器5104は4画素幅の水平積算値Acc04とオフセット値Ofsとを加算して、加算した値を入力信号aとして比較部520402に供給する。比較部520402には入力信号bとして2画素幅の水平積算値Acc02が入力される。比較部520402は、入力信号aと入力信号bとを比較し、a<bであれば“1”を出力し、a<bでなければ“0”を出力する。比較部520403には入力信号cとして水平積算値Acc04が入力され、入力信号dとして3画素幅の水平積算値Acc03が入力される。比較部520403は、入力信号cと入力信号dとを比較し、c<dであれば“1”を出力し、c<dでなければ“0”を出力する。AND回路5304は、比較部520402及び比較部520403双方の出力が“1”であれば出力値F04として“1”を出力し、いずれか一方でも“0”であれば出力値F04として“0”を出力する。
【0048】
図6の例では、N画素幅(ここではNは20〜4)のNが奇数であれば(N−1)/2画素幅の水平積算値を入力信号bとしたが、(N+1)/2画素幅の水平積算値を入力信号bとしてもよい。即ち、入力信号aと入力信号bとを比較する比較部は、N画素幅の水平積算値にオフセット値Ofsを加算した値とN/2画素幅近傍の水平積算値とを比較すればよい。
【0049】
図7は、水平積算値Acc20〜Acc02が図5(U)に示す値の場合の比較部522010〜520402及び比較部522019〜520403の出力値と、AND回路5320〜5304の出力値F20〜F04とを示している。画素幅が完全に揃った繰り返しオブジェクトであれば、図7に示すように、繰り返しパターンの画素幅を示す水平積算値Acc08に対応したAND回路5308の出力値F08のみ“1”となる。
【0050】
比較部522010,521909,…,520402によって、N画素幅の水平積算値にオフセット値Ofsを加算しているのは次の理由による。図5(U)より分かるように、繰り返しパターンの画素幅を示す水平積算値(ここでは水平積算値Acc08)と、その画素幅の2倍の画素幅を示す水平積算値(ここでは水平積算値Acc16)とは、ほぼ同じ程度の値を示すことになる。水平積算値Acc20〜Acc02内に繰り返しパターンの画素幅を示す水平積算値の3倍,4倍等、2倍を超える倍数の画素幅を示す水平積算値を含む場合も同様である。そこで、本実施形態においては、比較部522010,521909,…,520402によって、N画素幅の水平積算値にオフセット値Ofsを加算した値と、N/2画素幅近傍の水平積算値とを比較することによって、本来の繰り返しパターンの画素幅を示す水平積算値の整数倍の画素幅を示す水平積算値を誤って繰り返しパターンの画素幅を示す水平積算値であると判定することを回避している。
【0051】
図6において、オフセット値Ofsは全て同一の値であってもよく、それぞれで最適な値とするよう加算器5120〜5104個々に設定してもよい。オフセット値Ofsを加算器5120〜5104の全てで異なる値としてもよいし、一部のみ異なる値としてもよい。画素幅の狭い繰り返しパターンの方が動きベクトルの誤検出が発生しやすいため、できるだけ画素幅の狭い繰り返しパターンを検出することが好ましい。そこで、オフセット値Ofsを加算器5120〜5104個々に設定する場合は、画素幅の広い水平積算値ほどオフセット値Ofsを大きくし、画素幅の狭い水平積算値ほどオフセット値Ofsを小さくすることが好ましい。
【0052】
さらに図6において、判定部54にはAND回路5320〜5304からの出力値F20〜F04が入力される。判定部54は、AND回路5320〜5304からの出力値F20〜F04に基づいて画素幅の判定値Fを出力する。具体的には、判定部54は、1つのAND回路53からのみ出力値が“1”が出力される場合に、そのAND回路53に対応した画素幅の値を判定値Fとして出力する。図7に示す例では、AND回路5308からの出力値F08のみが“1”であるので、判定値Fとして“8”を出力する。入力された映像信号が繰り返しオブジェクトを有し、繰り返しパターンの画素幅を検出した場合、判定値Fは“4”〜“20”のいずれかの値となる。この“4”〜“20”なる判定値Fは、基準画素データである画素データP20が繰り返しオブジェクト内に位置している画素データであることを示すと共に、繰り返しパターンの画素幅を示している。
【0053】
AND回路5320〜5304からの出力値F20〜F04のいずれも“0”である場合は、繰り返しパターンの画素幅を検出していない状態である。この場合、繰り返しオブジェクトを有さないことを示す値、例えば“0”を判定値Fとして出力する。画素幅が完全に揃った繰り返しオブジェクトでない場合には、AND回路5320〜5304からの出力値F20〜F04の内、複数が“1”となることがあり得る。このような場合は、基準画素データである画素データP20が繰り返しオブジェクト内に位置している画素データであるということを検出している状態である。複数が“1”となった場合には、最も画素幅の小さい出力値を、画素幅を示す判定値Fとして出力してもよい。
【0054】
このように、大小比較部5では、データ保持・差分演算部200〜202での基準画素データが繰り返しオブジェクト検出の注目画素データとなる。本実施形態の繰り返しオブジェクト検出装置に対して画素データが入力される毎に基準画素データが更新され、個々の基準画素データに対して判定値Fが出力されることとなる。
【0055】
以上の説明より分かるように、本実施形態においては、N画素幅の水平積算値にオフセット値Ofsを加算した入力信号aと、N/2画素幅近傍の水平積算値である入力信号bとを比較する比較部を設けているので、画素データP20と画素データP19との差分に基づく1画素幅の差分データや加算データ、さらにはその加算データに基づく水平積算値を生成しても、図6の大小比較部5では使用されないことになる。そこで、上記のように、図3では画素データP20と画素データP19との差分データを用いていない。
【0056】
以上説明した図6に示す大小比較部5は、注目画素データが繰り返しオブジェクト内に位置している画素データであるか否か、また、繰り返しパターンの画素幅を極めて高精度に検出することができるよう構成したものである。大小比較部5の具体的構成は図6に示す例に限定されるものではない。図6においては、第1の比較部である比較部522010〜520402と第2の比較部である比較部522019〜520403との双方を設け、両者の論理積をとるAND回路5320〜5304を設けているが、判定部54に比較部522010〜520402の出力のみを供給して注目画素データが繰り返しオブジェクト内に位置している画素データであるか否か及び繰り返しパターンの画素幅を判定するように構成してもよい。
【0057】
比較部522010〜520402のみとした場合には若干検出精度が悪くなるので、図6の構成と比較して、比較部522010〜520402の出力の内、複数が“1”となる状態が発生しやすくなる。判定部54は、比較部522010〜520402の出力の少なくとも1つが“1”であれば、注目画素データが繰り返しオブジェクト内に位置している画素データであることを示す判定値Fを出力すればよい。複数の“1”が発生した場合には、最も画素幅の小さい出力値が画素幅を示す値である可能性が高いので、上記と同様、最も画素幅の小さい出力値を、画素幅を示す判定値Fとして出力してもよい。
【0058】
さらには、図6では、比較部522019〜520403はN画素幅の水平積算値である入力信号cと(N−1)画素幅の水平積算値である入力信号dとを比較しているが、比較部522019を除き、N画素幅の水平積算値である入力信号cと(N+1)画素幅の水平積算値である入力信号dとを比較してもよい。このように、大小比較部5の内部構成は種々考えられ、水平方向積算部4で求められた離間画素数毎の水平積算値Acc20〜Acc02を大小比較することによって、注目画素データ(基準画素データ)が所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定するものであればよい。
【0059】
以上説明した大小比較部5までの処理によって、入力された映像信号が繰り返しオブジェクトを有するか否か、繰り返しオブジェクトを有する場合は繰り返しパターンの画素幅を求めることができる。本実施形態ではさらに誤検出を少なくするため、図1に示すように、大小比較部5の後段に水平方向繰り返し判定部6を設けている。水平方向繰り返し判定部6を設けることは必須ではないが、誤検出を少なくするためには設ける方が好ましい。図8を用いて水平方向繰り返し判定部6の具体的構成及び動作について説明する。
【0060】
図8に示すように、水平方向繰り返し判定部6は、入力された判定値Fをそれぞれ図2(A)における2画素分の時間(2クロック分)保持して出力するデータ保持部6110n〜6101n,6100,6101p〜6109pなる20個のデータ保持部61を備える。データ保持部6110nに入力される判定値FをF10nとする。データ保持部6109nからデータ保持部6101nまでのそれぞれのデータ保持部61に入力される判定値FをF09n〜F01nとする。判定値F09n〜F01nはデータ保持部6110nに入力された判定値F10nを図2(C)における1画素分の時間ずつ順次遅延したものである。
【0061】
データ保持部6100に入力される判定値FをF00とする。この判定値F00は、データ保持部6110nに入力される判定値F10nに対して図2(C)における10画素分過去に得られた判定値Fである。水平方向繰り返し判定部6においては、データ保持部6100に入力される判定値F00を注目画素データに対する判定値Fとする。判定値F10n〜F01nは判定値F00に対して未来の判定値Fである。データ保持部6101pからデータ保持部6109pまでのそれぞれのデータ保持部61に入力される判定値FをF01p〜F09pとする。データ保持部6109pより出力される判定値FをF10pとする。判定値F01p〜F10pは判定値F00に対して過去の判定値Fである。
【0062】
比較判定部62には、注目画素データの判定値F00と、判定値F00に対して未来の図2(C)における10画素分将来までの判定値F10n〜F01nと、判定値F00に対して過去の図2(C)における10画素分過去までの判定値F01p〜F10pが入力される。比較判定部62は、N画素幅であることを示す判定値F00と、判定値F00に対してN/2画素分将来の判定値と、判定値F00に対してN/2画素分過去の判定値との3つの判定値を比較して、比較結果に基づいて最終的に繰り返しパターンの画素幅をN画素幅と決定する。なお、Nが奇数であれば、図6の場合と同様、(N−1)/2または(N+1)/2画素分将来及び過去の判定値を用いればよい。即ち、N画素幅であることを示す判定値F00とN/2画素分将来及び過去近傍の判定値とを用いればよい。ここでは簡略化のためN/2画素分将来及びN/2画素分過去として説明する。
【0063】
例えば、図2の場合のように、判定値F00が“8”の場合、比較判定部62は、判定値F00と、4画素分将来の判定値であるデータ保持部6105nより出力された判定値F04nと、4画素分過去の判定値であるデータ保持部6103pより出力された判定値F04pとを用いて繰り返しパターンの画素幅を決定する。
【0064】
繰り返しオブジェクトは注目画素の時点で瞬間的に発生するものではなく、所定時間継続して発生するのが通常である。従って、注目画素の時点でN画素幅であれば、N/2画素分将来及びN/2画素分過去でもN画素幅またはそれに近い画素幅となっているはずである。図2に示すような画素幅が完全に揃った繰り返しオブジェクトであれば、注目画素の判定値F00が“8”であれば、4画素分将来及び4画素分過去の判定値F04n,F04pも“8”となる。実際には画素幅が完全に揃わないこともあるので、判定値F00が“8”の場合、判定値F04n,F04pが“7”や“9”のように誤差の範囲で変動することがあり得る。
【0065】
そこで、比較判定部62は、上記のように、注目画素の判定値F00と、判定値F00が示すN画素幅に応じて選択したN/2画素分将来及びN/2画素分過去の判定値との3つの判定値が予め定めた範囲内にあれば、判定値F00が示す値を繰り返しパターンの画素幅と最終決定する。そして、繰り返しオブジェクトの検出信号Sdetとして、画素幅を示す値である判定値F00を出力する。一方、比較判定部62は、3つの判定値が予め定めた範囲内になければ、繰り返しパターンではないと決定する。そして、検出信号Sdetとして、繰り返しオブジェクトを有さないことを示す値、例えば“0”を出力する。大小比較部5からの判定値Fが“0”であれば、水平方向繰り返し判定部6の出力は“0”となる。
【0066】
判定値F00からのずれの許容量を大きくすれば、繰り返しパターンであると判定することが多くなる。即ち、画素幅が比較的不揃いのパターンであっても繰り返しパターンであると判定しやすくなる。ずれの許容量を小さくすれば繰り返しパターンであると判定することが少なくなる。即ち、画素幅がある程度揃ったパターンでなければ繰り返しパターンであると判定しにくくなる。判定値F00からのずれの許容量は、どの程度のパターンまで繰り返しパターンであると判定させるべきかに応じて適宜に設定すればよい。例えば、ずれの許容量を±2とし、N/2画素分将来及びN/2画素分過去の判定値が注目画素の判定値F00から±2以内であるか否かによって繰り返しオブジェクトの有無を決定すればよい。
【0067】
本実施形態では、N画素幅であることを示す判定値F00と、N/2画素分将来及びN/2画素分過去の判定値との3つの判定値とを用いたが、これに限定されるものではなく、判定値F00と所定画素数分将来及び所定画素数分過去の判定値との3つの判定値とを用いればよい。但し、N/2画素分将来及びN/2画素分過去の判定値を用いることが好ましい。これは次の理由による。図2(C)の例のように、注目画素が黒の画素であれば、N/2画素分将来及びN/2画素分過去の判定値は白の画素を注目画素とする判定値であり、注目画素が白の画素であれば、N/2画素分将来及びN/2画素分過去の判定値は黒の画素を注目画素とする判定値である。従って、N/2画素分将来及びN/2画素分過去の判定値を用いれば、繰り返しパターンにおける2種類の画素(2種類の輝度値や2種類の色)の双方を用いて繰り返しオブジェクトの有無や画素幅を決定することができる。従って、誤検出を大幅に少なくすることができる。
【0068】
本実施形態においては、比較判定部62が3つの判定値を用いて繰り返しオブジェクトの有無や画素幅を決定するようにしたが、注目画素の判定値F00とN/2画素分将来との2つの判定値を用いて決定してもよいし、注目画素の判定値F00とN/2画素分過去との2つの判定値を用いて決定してもよい。また、比較判定部62において、注目画素の判定値F00とN/2画素分将来及びN/2画素分過去との3つの判定値を用いて決定する第1のモードと、注目画素の判定値F00とN/2画素分将来との2つの判定値を用いて決定する第2のモードと、注目画素の判定値F00とN/2画素分過去との2つの判定値を用いて決定する第3の決定モードとの3つのモードを切り換えるように構成してもよい。この第1〜第3のモードに、注目画素の判定値F00のみで決定する第4のモードを加えて、4つのモードを切り換えるように構成してもよい。なお、第4のモードは水平方向繰り返し判定部6を省略した構成と等価である。
【0069】
このように、3つまたは4つのモードを切り換えるように構成すれば、繰り返しパターンであると判定する程度を可変することができ、最適な状態を選択しやすくなるので好ましい。モードを切り換える場合には、比較判定部62に対して図示していない制御部から切り換えのための制御信号を入力するように構成すればよい。
【0070】
ところで、本実施形態においては、入力された映像信号が繰り返しオブジェクトを有するか否かを検出すると共に、映像信号が繰り返しオブジェクトを有すると判定した場合に、繰り返しパターンの画素幅を検出するように構成しているが、入力された映像信号が繰り返しオブジェクトを有するか否かのみを検出する構成としてもよい。この場合、図8における比較判定部62は、繰り返しオブジェクトを有すると判定した場合に、判定値F00が示すN画素幅の値がいずれの値であっても検出信号Sdetとして例えば“1”を出力すればよい。水平方向繰り返し判定部6より出力された検出信号Sdetが“1”であれば注目画素は繰り返しオブジェクト内の画素であると判定された状態であり、“0”であれば注目画素は繰り返しオブジェクト外の画素であると判定された状態である。
【0071】
また、水平方向繰り返し判定部6を省略した構成で、入力された映像信号が繰り返しオブジェクトを有するか否かのみを検出する場合には、図6における判定部54は、AND回路5320〜5304からの出力値F20〜F04に基づいて求めた画素幅の判定値が“4”〜“20”のいずれであっても、例えば“1”を判定値Fとして出力すればよい。大小比較部5(判定部54)の出力が“1”であれば注目画素は繰り返しオブジェクト内の画素であると判定された状態であり、“0”であれば注目画素は繰り返しオブジェクト外の画素であると判定された状態である。
【0072】
ここで、図9を用いて、以上説明した本実施形態の繰り返しオブジェクト検出装置で行われる繰り返しオブジェクト検出方法について改めて説明する。図9において、繰り返しオブジェクト検出方法の処理が開始すると、ステップS101にて、映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する。このステップS101は、2ラインメモリ100,101及びデータ保持・差分演算部200〜202で行われる。ステップS102にて、複数のラインそれぞれで、複数の画素データの内の端部に位置する画素データを基準画素データとし、基準画素データと、複数の画素データ内の基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数k毎の差分データを生成する。このステップS102はデータ保持・差分演算部200〜202で行われる。
【0073】
ステップS103にて、複数のラインに対して求められた差分データを離間画素数k毎に加算して、離間画素数k毎の加算データを求める。このステップS103は加算部3で行われる。ステップS104にて、離間画素数k毎の加算データそれぞれを、1画素分の時間から、離間画素数kから画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算する。これによって、離間画素数k毎の加算データそれぞれを水平方向に積算した離間画素数k毎の水平積算値を求める。このステップS104は水平方向積算部4で行われる。ステップS105にて、離間画素数k毎の水平積算値を大小比較することによって、基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する。このとき、ステップS105は、基準画素データが繰り返しオブジェクト内に位置する画素データであると判定した場合に、繰り返しパターンの1周期の画素数を示す画素数値を出力してもよい。このステップS105は大小比較部5で行われる。
【0074】
誤検出を少なくするために、好ましくは次のステップS106,S107が行われる。ステップS106にて、画素数値を複数の画素データの1画素分の時間ずつ順次遅延させる。そして、ステップS107にて、遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較する。比較結果に基づいて、注目画素データが繰り返しオブジェクト内に位置する画素データであるか否か、画素数値を最終決定して終了する。なお、ここでの注目画素データは基準画素データを遅延させたものに相当する。このステップS106,S107は水平方向繰り返し判定部6で行われる。
【0075】
次に、図10を用いて、以上説明した本実施形態の繰り返しオブジェクト検出装置による繰り返しオブジェクトの検出結果を動きベクトル検出の際に利用する一構成例について説明する。図10は、本実施形態の繰り返しオブジェクト検出装置を、映像信号のフレーム周波数を2倍に増大させるフレーム周波数変換装置に用いた例を示している。
【0076】
図10において、映像信号S0は、画像メモリ101,相関検出部103,繰り返しオブジェクト検出部104,補間フレーム生成部106,フレーム周波数変換メモリ107に入力される。繰り返しオブジェクト検出部104は図1に示す本実施形態の繰り返しオブジェクト検出装置に相当する。画像メモリ101は入力された映像信号S0の各フレームを1フレーム期間遅延して映像信号S1として出力する。画像メモリ101より出力された映像信号S1は、画像メモリ102,相関検出部103,補間フレーム生成部に入力される。画像メモリ102は入力された映像信号S1の各フレームをさらに1フレーム期間遅延して映像信号S2として出力する。画像メモリ102より出力された映像信号S2は、相関検出部103に入力される。
【0077】
相関検出部103は、現フレームである映像信号S0と、画像メモリ101より出力された1フレーム遅延の映像信号S1と、画像メモリ102より出力された2フレーム遅延の映像信号S2とを用いて相関を検出する。図11を用いて、相関検出部103の動作を説明する。図11は、映像信号のフレームF1,F2,F3の同一ラインを示している。フレームF3からフレームF1へと時間が経過している。フレームF1は映像信号S0のフレームに相当し、フレームF2は映像信号S1のフレームに相当し、フレームF3は映像信号S2のフレームに相当する。ここではフレームF2のハッチングを付した丸で示す画素Piが注目画素である。
【0078】
相関検出部103は、動きベクトルを求めたい注目画素Piを中心とした複数の方向で、注目画素Piと、フレームF1,F3内の複数の画素との差分を求めて、複数の方向の相関値を検出する。白抜きの丸は差分を求める画素位置を示す。ハッチングを付した丸が水平方向に移動する物体であるとすれば、実線で示す方向の差分値が最小となり、最も相関が高いことになる。ここでは簡略化のため1ラインしか示していないが、相関検出部103は異なるライン間の複数の画素に対しても差分を求めて相関値を検出する。なお、画素単位で差分を求めるのではなく、複数の画素を含むブロック単位で差分を求めることもある。
【0079】
相関検出部103で検出した複数の方向の相関値は動きベクトル検出部105に入力される。繰り返しオブジェクト検出部104は、上述のように注目画素が繰り返しオブジェクト内の画素であると判定した場合には“1”なる検出信号Sdetを、繰り返しオブジェクト外の画素であると判定した場合には“0”なる検出信号Sdetを動きベクトル検出部105に供給する。
【0080】
動きベクトル検出部105は、検出信号Sdetが“0”であれば、通常のように、相関値が最も小さい方向を動きベクトルMV1として補間フレーム生成部106に出力する。一方、動きベクトル検出部105は、検出信号Sdetが“1”であれば、相関値が最も小さい方向の動きベクトルMV1は誤検出された動きベクトルの可能性が高いので、動きベクトルの検出方法を異ならせて動きベクトルMV2を求めて補間フレーム生成部106に出力する。検出信号Sdetが“1”である場合の動きベクトルの検出方法は特に限定されるものではない。補間フレーム生成部106は、映像信号S0,S1と動きベクトルMV1またはMV2とを用いて映像信号S0における隣接する2つのフレーム間に内挿するための補間フレームSiを生成する。
【0081】
フレーム周波数変換メモリ107は、映像信号S0のフレームと補間フレームSiとを記憶する。そして、フレーム周波数変換メモリ107は、映像信号S0のフレームと補間フレームSiとを読み出す際に、映像信号S0の隣接する2つのフレーム間に補間フレームSiを内挿することによりフレーム数を映像信号S0のフレーム数に対して2倍にすると共に、フレーム周波数を映像信号S0のフレーム周波数の2倍にして、フレーム周波数変換された映像信号Srcを出力する。
【0082】
ここでは、本実施形態の繰り返しオブジェクト検出装置を、映像信号のフレーム周波数を2倍に増大させるフレーム周波数変換装置に用い例を示したが、映像信号のフレーム周波数を3倍以上に増大させるフレーム周波数変換装置や、I/P変換装置に用いることもできる。
【0083】
<第2実施形態>
次に、所定の階調や色の画素データを垂直方向に繰り返す繰り返しパターンを有する繰り返しオブジェクトを検出することができる第2実施形態について説明する。図12は本発明の第2実施形態の繰り返しオブジェクト検出装置の全体構成を示すブロック図である。図12に示す第2実施形態において、第1実施形態と同様の動作をする部分については説明を適宜省略することとする。
【0084】
図12において、映像信号は2ラインメモリ1100及びデータ保持・差分演算部1200に入力される。一例として、入力される映像信号は、図13(A)に示すように、ハッチングを付した丸で示す黒の画素が水平方向に複数画素連続したラインが垂直方向に8ライン連続し、白抜きの丸で示す白の画素が水平方向に複数画素連続したラインが垂直方向に8ライン連続し、さらに、この黒の8ラインと白の8ラインとが垂直方向に交互に繰り返す繰り返しパターンである、いわゆる横縞模様を有する輝度信号であるとする。
【0085】
図13(A)では、ラインL00〜L40の41ラインを部分的に省略しつつ示している。垂直方向の繰り返しパターンの周期をM画素幅(Mは2以上の整数)と称することとする。図13(A)に示す例は、垂直方向16画素幅の繰り返しパターンである。画素幅とは垂直方向の繰り返しパターンの1周期に含まれる画素数である。
【0086】
2ラインメモリ1100は、順次入力される輝度信号の画素データを2ライン分遅延させる。本実施形態においては、2ラインメモリ1100の後段に2ラインメモリ1101〜1119が縦列接続されている。2ラインメモリ1100〜1119は、入力される画素データをそれぞれ2ライン分遅延させる。データ保持・差分演算部1200〜1202には、入力される映像信号の画素データと、この画素データを2ラインメモリ1100〜1119によってそれぞれ遅延した画素データとの合計21個の画素データが組として入力される。
【0087】
2ラインメモリ1100及びデータ保持・差分演算部1200に入力される画素データが、例えば図13(A)におけるラインL00の水平位置H1の画素データであるとすると、データ保持・差分演算部1200〜1202には、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データが入力されることになる。第1実施形態と同様、2ラインメモリ1100〜1119の代わりに、1ライン分遅延させるラインメモリを用い、ラインメモリに対する書き込み及び読み出しを2ラインに1回更新することによって、入力された画素データを実質的に2ラインずつ遅延させるように構成してもよい。また、ここでは垂直方向に1ライン飛ばしで画素データを抽出するようにしているが、連続したラインで画素データを抽出するようにしてもよい。
【0088】
データ保持・差分演算部1201は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データを2画素分の時間(2クロック分)保持して出力するデータ保持部を有する。従って、データ保持・差分演算部1201は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H3の画素データを保持することになる。データ保持・差分演算部1202は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H1の画素データを4画素分の時間(4クロック分)保持して出力するデータ保持部を有する。従って、データ保持・差分演算部1202は、図13(B)におけるラインL00,L02,…L38,L40それぞれの水平位置H5の画素データを保持することになる。
【0089】
図13(C)に示すように、水平位置H1,H3,H5におけるラインL00,L02,…L38,L40の画素データをP00〜P20と称することとする。水平位置H1,H3,H5における破線で囲んだ画素データP00〜P20を、便宜上、垂直ラインVL1,VL3,VL5と称することとする。データ保持・差分演算部1200は、垂直ラインVL1の画素データP00〜P20を用いて差分演算し、データ保持・差分演算部1201は、垂直ラインVL3の画素データP00〜P20を用いて差分演算し、データ保持・差分演算部1202は、垂直ラインVL5の画素データP00〜P20を用いて差分演算する。
【0090】
このように考えると、図13(C)の垂直ラインVL1,VL3,VL5は、図2(C)の水平方向のラインL1,L3,L5を垂直に立てた状態と等価である。ここでは水平方向に1画素飛ばしの3垂直ラインの画素データを用いるようにしているが、2またはそれ以上の複数画素飛ばしの複数垂直ラインとしてもよく、あるいは連続した複数垂直ラインとしてもよい。また、検出に用いる垂直ライン数は3ラインに限定されるものではなく、適宜に設定した複数垂直ラインとすればよい。検出に用いる垂直ライン数を多くすれば誤検出を少なくすることができる。
【0091】
以下では、図13(C)の間引いた状態の画素数,ライン数,画素幅を用いて説明する。データ保持・差分演算部1200〜1202は、図3と同様、19個の差分データ生成部を備えている。この19個の差分データ生成部は、画素データP00〜P20を用いて図3と同様の差分演算を行う。即ち、差分データ生成部は、垂直ラインVL1,VL3,VL5それぞれで画素データP20を基準画素データとして、図13(C)における垂直方向に20画素〜2画素分(即ち、20ライン〜2ライン分)離れた画素データ間の差分データを生成する。データ保持・差分演算部1200〜1202より出力される差分データをD20VL1〜D02VL1,D20VL3〜D02VL3,D20VL5〜D02VL5と称することとする。
【0092】
加算部13は垂直方向に20画素〜2画素分離れた画素データ間の差分データD20VL1〜D02VL1,D20VL3〜D02VL3,D20VL5〜D02VL5をそれぞれの画素間隔k毎に加算する。ここでの画素間隔kは垂直ラインVL1,VL3,VL5における垂直方向の画素間隔である。画素間隔k毎の加算データD20Vsum〜D02Vsumは垂直方向積算部14に入力される。垂直方向積算部14は、図4の水平方向積算部4と同様の構成を有する。但し、垂直方向積算部14の各積算部内のデータ保持部は、入力されたデータを図13(C)における垂直方向の1画素分(即ち、1ライン分)保持するものである。垂直方向積算部14は、加算部13より入力された現時点の加算データD20Vsum〜D02Vsumから垂直方向に(k−1)画素分(即ち(k−1)ライン)過去の時点までの加算データを全て加算して画素間隔k毎の垂直積算値AccV20〜AccV02を出力する。
【0093】
垂直方向の画素間隔k毎の垂直積算値AccV20〜AccV02は、第1実施形態の場合と同様、垂直方向の繰り返しパターンの画素幅に対応した垂直積算値が最小の値を示す。
【0094】
第2実施形態においても、20画素幅〜2画素幅の垂直積算値AccV20〜AccV02を用いることにより、注目画素が垂直方向の繰り返しオブジェクト内に位置している画素であるか否か、また、繰り返しオブジェクトが有する垂直方向の繰り返しパターンの画素幅を求めることができる。大小比較部15は、図6と同様の構成を有し、垂直方向積算部14から入力された20画素幅〜2画素幅の垂直積算値AccV20〜AccV02を用いて繰り返しオブジェクトが何画素幅の繰り返しパターンであるのかを判定し、判定値Fvを出力する。垂直方向繰り返し判定部16は図8と同様の構成を有し、判定値Fvを最終的な繰り返しパターンの画素幅と決定すべきか否かを判定して、検出信号Sdetを出力する。
【0095】
この第2実施形態の繰り返しオブジェクト検出装置を、図10における繰り返しオブジェクト検出部104として用いてもよい。また、第1及び第2実施形態双方の繰り返しオブジェクト検出装置を図10における繰り返しオブジェクト検出部104として用いてもよい。第1及び第2実施形態双方の繰り返しオブジェクト検出装置を用いれば、水平方向及び垂直方向双方の繰り返しオブジェクトの検出信号Sdetを参照しながら動きベクトルを検出することができるので、動きベクトルの誤検出を大幅に少なくすることが可能となる。
【0096】
本発明は以上説明した第1及び第2実施形態の構成に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【図面の簡単な説明】
【0097】
【図1】第1実施形態の全体構成を示すブロック図である。
【図2】水平方向の繰り返しオブジェクトの画素データの配列例を示す図である。
【図3】図1におけるデータ保持・差分演算部200〜202の具体的構成例を示すブロック図である。
【図4】図1における加算部3及び水平方向積算部4の具体的構成例を示すブロック図である。
【図5】図2の画素データの配列例における加算データD20sum〜D02sum及び水平積算値Acc20〜Acc02の具体的な数値例を示す図である。
【図6】図1における大小比較部5の具体的構成例を示すブロック図である。
【図7】図6における各比較部と各AND回路の出力値を示す図である。
【図8】図1における水平方向繰り返し判定部6の具体的構成例を示すブロック図である。
【図9】第1実施形態の動作を説明するためのフローチャートである。
【図10】繰り返しオブジェクト検出装置をフレーム周波数変換装置に用いた構成例を示すブロック図である。
【図11】動きベクトルを検出する際の動作を説明するための図である。
【図12】第2実施形態の全体構成を示すブロック図である。
【図13】垂直方向の繰り返しオブジェクトの画素データの配列例を示す図である。
【符号の説明】
【0098】
100,101, 1100〜1119 2ラインメモリ
200〜202,1200〜1202 データ保持・差分演算部
3,13 加算部
4 水平方向積算部
5,15 大小比較部
6 水平方向繰り返し判定部
14 垂直方向積算部
16 垂直方向繰り返し判定部
5120〜5104 加算器
522010〜520402,522019〜520403 比較部
5320〜5304 AND回路
54 判定部
6110n〜6101n,6100,6101p〜6109p データ保持部
62 比較判定部
【特許請求の範囲】
【請求項1】
映像信号の1ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数のラインに対して行う差分演算部と、
前記差分演算部で前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して離間画素数毎の加算データを求める加算部と、
前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平方向積算部と、
前記水平方向積算部で求められた前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部と
を備えることを特徴とする繰り返しオブジェクト検出装置。
【請求項2】
前記大小比較部は、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の比較部と、
前記複数の比較部の出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部と
を有することを特徴とする請求項1に記載の繰り返しオブジェクト検出装置。
【請求項3】
前記大小比較部は、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の第1の比較部と、
前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する複数の第2の比較部と、
前記第1の比較部の出力と前記第2の比較部の出力との論理積をとる複数のAND回路と、
前記複数のAND回路からの出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部と
を有することを特徴とする請求項1に記載の繰り返しオブジェクト検出装置。
【請求項4】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることを特徴とする請求項2または3に記載の繰り返しオブジェクト検出装置。
【請求項5】
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とする複数の加算器を有することを特徴とする請求項2ないし4のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項6】
前記判定部は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することを特徴とする請求項2ないし5のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項7】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる複数のデータ保持部と、
前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部と
を有する水平方向繰り返し判定部をさらに備えることを特徴とする請求項6に記載の繰り返しオブジェクト検出装置。
【請求項8】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることを特徴とする請求項7に記載の繰り返しオブジェクト検出装置。
【請求項9】
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることを特徴とする請求項8に記載の繰り返しオブジェクト検出装置。
【請求項10】
前記差分演算部は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを用いることを特徴とする請求項1ないし9のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項11】
前記差分演算部は、前記複数のラインとして、前記映像信号が有する連続したライン内の1または複数ライン離間したラインを用いることを特徴とする請求項1ないし10のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項12】
映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する抽出ステップと、
前記複数のラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、
前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、
前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平積算ステップと、
前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする繰り返しオブジェクト検出方法。
【請求項13】
前記判定ステップは、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする請求項12に記載の繰り返しオブジェクト検出方法。
【請求項14】
前記判定ステップは、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する第1の比較ステップと、
前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する第2の比較ステップと、
前記第1の比較ステップによる比較結果と前記第2の比較ステップによる比較結果との論理積をとる論理積演算ステップと、
前記論理積演算ステップによる演算結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする請求項12に記載の繰り返しオブジェクト検出方法。
【請求項15】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることを特徴とする請求項13または14に記載の繰り返しオブジェクト検出方法。
【請求項16】
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とすることを特徴とする請求項13ないし15のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項17】
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することを特徴とする請求項13ないし16のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項18】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる遅延ステップと、
前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップと
をさらに含むことを特徴とする請求項17に記載の繰り返しオブジェクト検出方法。
【請求項19】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることを特徴とする請求項18に記載の繰り返しオブジェクト検出方法。
【請求項20】
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることを特徴とする請求項19に記載の繰り返しオブジェクト検出方法。
【請求項21】
前記抽出ステップは、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを抽出することを特徴とする請求項12ないし20のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項22】
前記抽出ステップは、前記映像信号が有する連続したライン内の1または複数ライン離間した前記複数のラインそれぞれから前記複数の画素データを抽出することを特徴とする請求項12ないし21のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項23】
映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数の垂直ラインで行う差分演算部と、
前記差分演算部で求められた差分データを前記複数の垂直ラインの離間画素数毎に加算して離間画素数毎の加算データを求める加算部と、
前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直方向積算部と、
前記垂直方向積算部で求められた前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部と
を備えることを特徴とする繰り返しオブジェクト検出装置。
【請求項24】
前記大小比較部は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、
前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる複数のデータ保持部と、
前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部と
を有する水平方向繰り返し判定部をさらに備えることを特徴とする請求項23に記載の繰り返しオブジェクト検出装置。
【請求項25】
映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データを複数の垂直ラインで抽出する抽出ステップと、
前記複数の垂直ラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、
前記複数の垂直ラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、
前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直積算ステップと、
前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする繰り返しオブジェクト検出方法。
【請求項26】
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、
前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる遅延ステップと、
前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップと
をさらに含むことを特徴とする請求項25に記載の繰り返しオブジェクト検出方法。
【請求項1】
映像信号の1ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数のラインに対して行う差分演算部と、
前記差分演算部で前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して離間画素数毎の加算データを求める加算部と、
前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平方向積算部と、
前記水平方向積算部で求められた前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部と
を備えることを特徴とする繰り返しオブジェクト検出装置。
【請求項2】
前記大小比較部は、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の比較部と、
前記複数の比較部の出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部と
を有することを特徴とする請求項1に記載の繰り返しオブジェクト検出装置。
【請求項3】
前記大小比較部は、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する複数の第1の比較部と、
前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する複数の第2の比較部と、
前記第1の比較部の出力と前記第2の比較部の出力との論理積をとる複数のAND回路と、
前記複数のAND回路からの出力値に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定部と
を有することを特徴とする請求項1に記載の繰り返しオブジェクト検出装置。
【請求項4】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることを特徴とする請求項2または3に記載の繰り返しオブジェクト検出装置。
【請求項5】
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とする複数の加算器を有することを特徴とする請求項2ないし4のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項6】
前記判定部は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することを特徴とする請求項2ないし5のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項7】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる複数のデータ保持部と、
前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部と
を有する水平方向繰り返し判定部をさらに備えることを特徴とする請求項6に記載の繰り返しオブジェクト検出装置。
【請求項8】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることを特徴とする請求項7に記載の繰り返しオブジェクト検出装置。
【請求項9】
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることを特徴とする請求項8に記載の繰り返しオブジェクト検出装置。
【請求項10】
前記差分演算部は、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを用いることを特徴とする請求項1ないし9のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項11】
前記差分演算部は、前記複数のラインとして、前記映像信号が有する連続したライン内の1または複数ライン離間したラインを用いることを特徴とする請求項1ないし10のいずれか1項に記載の繰り返しオブジェクト検出装置。
【請求項12】
映像信号の1ライン内に配列した所定の範囲における複数の画素データを複数のラインで抽出する抽出ステップと、
前記複数のラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、
前記複数のラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、
前記離間画素数毎の加算データそれぞれを、1画素分の時間から、前記離間画素数から画素数1を減じた画素数分の時間までの範囲で1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを水平方向に積算した前記離間画素数毎の水平積算値を求める水平積算ステップと、
前記離間画素数毎の水平積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする繰り返しオブジェクト検出方法。
【請求項13】
前記判定ステップは、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する比較ステップと、
前記比較ステップによる比較結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする請求項12に記載の繰り返しオブジェクト検出方法。
【請求項14】
前記判定ステップは、
前記離間画素数毎の水平積算値の内、最大の離間画素数の水平積算値から離間画素数4の水平積算値までのそれぞれの水平積算値で、それぞれの離間画素数の水平積算値に基づいた第1の値と前記それぞれの離間画素数の1/2の離間画素数近傍の水平積算値に基づいた第2の値とを比較する第1の比較ステップと、
前記それぞれの離間画素数の水平積算値に基づいた第3の値と前記それぞれの離間画素数より離間画素数が1少ない離間画素数または1多い離間画素数の水平積算値に基づいた第4の値とを比較する第2の比較ステップと、
前記第1の比較ステップによる比較結果と前記第2の比較ステップによる比較結果との論理積をとる論理積演算ステップと、
前記論理積演算ステップによる演算結果に基づいて、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする請求項12に記載の繰り返しオブジェクト検出方法。
【請求項15】
前記離間画素数の1/2の離間画素数近傍の水平積算値は、前記離間画素数が偶数であれば前記離間画素数の1/2の離間画素数の水平積算値であり、前記離間画素数が奇数であれば(前記離間画素数−1)の1/2の離間画素数または(前記離間画素数+1)の1/2の離間画素数の水平積算値であることを特徴とする請求項13または14に記載の繰り返しオブジェクト検出方法。
【請求項16】
前記それぞれの離間画素数の水平積算値に所定のオフセット値を加算して前記第1の値とすることを特徴とする請求項13ないし15のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項17】
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力することを特徴とする請求項13ないし16のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項18】
前記画素数値を前記複数の画素データの1画素分の時間ずつ順次遅延させる遅延ステップと、
前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップと
をさらに含むことを特徴とする請求項17に記載の繰り返しオブジェクト検出方法。
【請求項19】
前記第2の画素数値は、前記第1の画素数値の1/2近傍の画素数値であることを特徴とする請求項18に記載の繰り返しオブジェクト検出方法。
【請求項20】
前記第2の画素数値は、前記第1の画素数値が偶数であれば前記第1の画素数値の1/2の画素数値であり、前記第1の画素数値が奇数であれば(前記第1の画素数値−1)の1/2または(前記第1の画素数値+1)の1/2の画素数値であることを特徴とする請求項19に記載の繰り返しオブジェクト検出方法。
【請求項21】
前記抽出ステップは、前記複数の画素データとして、前記映像信号が前記所定の範囲に有する画素データを1/2に間引いた画素データを抽出することを特徴とする請求項12ないし20のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項22】
前記抽出ステップは、前記映像信号が有する連続したライン内の1または複数ライン離間した前記複数のラインそれぞれから前記複数の画素データを抽出することを特徴とする請求項12ないし21のいずれか1項に記載の繰り返しオブジェクト検出方法。
【請求項23】
映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める処理を、複数の垂直ラインで行う差分演算部と、
前記差分演算部で求められた差分データを前記複数の垂直ラインの離間画素数毎に加算して離間画素数毎の加算データを求める加算部と、
前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直方向積算部と、
前記垂直方向積算部で求められた前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する大小比較部と
を備えることを特徴とする繰り返しオブジェクト検出装置。
【請求項24】
前記大小比較部は、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、
前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる複数のデータ保持部と、
前記複数のデータ保持部より出力された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する比較判定部と
を有する水平方向繰り返し判定部をさらに備えることを特徴とする請求項23に記載の繰り返しオブジェクト検出装置。
【請求項25】
映像信号の所定の水平位置に垂直方向に配列した画素データ列を垂直ラインとし、1垂直ライン内に配列した所定の範囲における複数の画素データを複数の垂直ラインで抽出する抽出ステップと、
前記複数の垂直ラインそれぞれで、前記複数の画素データの内の端部に位置する画素データを基準画素データとし、前記基準画素データと、前記複数の画素データ内の前記基準画素データと垂直方向に2画素離れた画素データから最大の画素数離れた画素データまでのそれぞれの画素データとの差分を演算してそれぞれの離間画素数毎の差分データを求める差分演算ステップと、
前記複数の垂直ラインに対して求められた前記差分データを離間画素数毎に加算して、離間画素数毎の加算データを求める加算ステップと、
前記離間画素数毎の加算データそれぞれを、垂直方向の1画素分の時間から、前記離間画素数から画素数1を減じた垂直方向の画素数分の時間までの範囲で垂直方向の1画素分の時間ずつ順次遅延させ、遅延させる前の加算データと全ての遅延させた加算データとを加算することによって、前記離間画素数毎の加算データそれぞれを垂直方向に積算した前記離間画素数毎の垂直積算値を求める垂直積算ステップと、
前記離間画素数毎の垂直積算値を大小比較することによって、前記基準画素データが所定の繰り返しパターンを含む繰り返しオブジェクト内に位置する画素データであるか否かを判定する判定ステップと
を含むことを特徴とする繰り返しオブジェクト検出方法。
【請求項26】
前記判定ステップは、前記基準画素データが前記繰り返しオブジェクト内に位置する画素データであると判定した場合に、前記繰り返しパターンの1周期の画素数を示す画素数値を出力し、
前記画素数値を前記複数の画素データの1ライン分の時間ずつ順次遅延させる遅延ステップと、
前記遅延ステップによって遅延された複数の画素数値のいずれかを注目画素データの第1の画素数値とし、この第1の画素数値と、前記第1の画素数値に対して過去または将来の少なくとも一方の第2の画素数値とを比較することによって、前記注目画素データが前記繰り返しオブジェクト内に位置する画素データであるか否かを決定する決定ステップと
をさらに含むことを特徴とする請求項25に記載の繰り返しオブジェクト検出方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2010−130430(P2010−130430A)
【公開日】平成22年6月10日(2010.6.10)
【国際特許分類】
【出願番号】特願2008−303804(P2008−303804)
【出願日】平成20年11月28日(2008.11.28)
【特許番号】特許第4406892号(P4406892)
【特許公報発行日】平成22年2月3日(2010.2.3)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
【公開日】平成22年6月10日(2010.6.10)
【国際特許分類】
【出願日】平成20年11月28日(2008.11.28)
【特許番号】特許第4406892号(P4406892)
【特許公報発行日】平成22年2月3日(2010.2.3)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】
[ Back to top ]