説明

補間信号処理回路

【課題】精度の高い補間位相にて補間信号を生成することにより、斜め線のギザギザの改善度が高くジャギーを改善することができる補間信号処理回路を提供することである。
【解決手段】帯域成分算出手段10は、入力画素信号からフィルタによる帯域制限した画素信号を算出する。パターン生成手段20は、得られた画素信号のライン毎のパターンを生成する。パターン判定手段30は、得られた複数ラインのパターン類似性を判定する。補間方向決定手段40は、パターン判定手段より得られた情報により補間信号を生成するための補間方向を決定する。水平オーバーサンプリング画素信号生成手段50は、入力画素信号をライン毎に水平方向にフィルタによるオーバーサンプリング画素信号を生成する。補間信号生成手段60は、得られた補間方向に従い、水平オーバーサンプリング画素信号を用いて補間信号を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、隣接する走査線間に補間信号を生成する補間信号処理回路に関するものである。
【背景技術】
【0002】
プラズマディスプレイ装置や液晶表示装置等においては、画素単位の映像情報が表示装置の画面水平方向の走査線上に順次表示されることにより映像が画面上に表示される。このような走査線上に表示される映像情報の画質を向上させるために、隣接する2つの走査線の間に補間走査線を生成してこの補間走査線上に補間信号を生成することが行われている。このような走査線補間の技術は、例えば、インターレース方式の映像信号を順次走査方式の映像信号に変換する際に用いられる。
【0003】
この補間信号を生成する方法として、隣接する走査線の画素から補間すべき画素を中心とした垂直方向および複数の斜め方向の中から画素値の相関が最も高い方向を検出し、その方向の画素の画素値の平均を補間信号の画素値とする補間信号生成方法が提案されている(例えば、特許文献1参照)。
【0004】
ここで、以下に使用する相関と位相の用語について説明する。補間点を中心としその上下の2本の走査線上に実際に存在する2点画素の値を用いて補間方向を決める場合を相関方向又は単に相関といい、補間点を中心としその上下の2本の走査線上に実際に存在する画素のほかに、走査線上に実際に存在する画素間を複数に分割した点に仮想的に配置される仮想点画素をも含めた2点画素の値を用いてより正確な補間方向を決める場合を位相方向又は単に位相という。相関は表示パネルの実際に存在する画素のみを用いた補間方向を意味するので真の補間方向に対して誤差があるが、位相は実際に存在する画素から予想される仮想点画素を用いたより高い解像度での真の補間方向に近いものになるので真の補間方向に対して誤差が少ない。
【0005】
しかし、上述のような最も相関の高い画素の画素値の平均を補間画素値とする場合、補間点を中心とした相関方向においては、相関判定が実際に存在する画素の2点間値にのみ依存する為に誤判定が多く発生し、必ずしも補間点を中心とした本来の位相方向(例えば絵柄方向)であることは少なく、其の場合、前述の補間点中心による補間位相は正しい補間位相からずれていることになり、絵柄によっては斜め線のギザギザの改善度が低く、ジャギーが目立つ画像となる場合がある。
【特許文献1】特開2003−230109号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
そこで、本発明は上記の問題に鑑み、精度の高い補間位相にて補間信号を生成することにより、斜め線のギザギザの改善度が高くジャギーを改善することができる補間信号処理回路を提供することを目的とするものである。
【課題を解決するための手段】
【0007】
本願発明の一態様によれば、入力する画素信号の絵柄のパターンを抽出する為に、入力画素信号からフィルタによる帯域制限した画素信号を算出する帯域成分算出手段と、前記帯域成分算出手段より得られた帯域制限した画素信号のライン毎のパターンを生成するパターン生成手段と、前記パターン生成手段にて得られた複数ラインのパターン類似性を判定するパターン判定手段と、前記パターン判定手段より得られた情報により補間信号を生成するための補間方向を決定する補間方向決定手段と、入力画素信号をライン毎に水平方向にフィルタによるオーバーサンプリング画素信号を生成する水平オーバーサンプリング画素信号生成手段と、前記補間方向決定手段より得られた補間方向に従い、前記水平オーバーサンプリング画素信号生成手段により算出された水平オーバーサンプリング画素信号を用いて補間信号を生成する補間信号生成手段と、を備えることを特徴とする補間信号処理回路が提供される。
【発明の効果】
【0008】
本発明によれば、精度の高い補間位相にて補間信号を生成することにより、斜め線のギザギザの改善度が高くジャギーを改善することができる補間信号処理回路を提供することである。
【発明を実施するための最良の形態】
【0009】
発明の実施の形態について図面を参照して説明する。
本発明の実施形態を説明する前に、図7乃至図9を参照して本発明に至る背景を説明する。
【0010】
図7は、入力画素の画素パターン例を示す図である。入力される各走査線上のサンプル画素と、絵柄に対応した画素レベルに基づく各走査線上の画像の理想波形とを示している。
【0011】
3ラインの第1,第2,第3の走査線L1,L2,L3上にある点○は入力画素を表しており、画素点○の濃淡は画素値(画素レベルの高低)を表現し、黒から白になるに従って画素値が高くなる状態を表している。
【0012】
この例の場合は、第1の走査線(L1)のA3の画素値が白のピークであり、第2の走査線(L2)のB4のおよそ左側に白のピークがあり、また、第3の走査線(L3)のC5の画素値のおよそ左側に白のピークがある画素領域を表している。この場合、白のピークであるA3,B4,C5を結ぶ方向が本来の絵柄方向であることが視覚的に分かる。
【0013】
図8は、図7の様な入力映像信号における従来の補間画素の生成例を示す図である。
従来の補間位相の算出は、例えば、第1の補間走査線(HL1)の補間点H3は、補間点を中心とした相関判定により(A4,B2)の方向が位相方向と選ばれやすい。また、補間点H4も(A5,B3)の方向が位相方向と選ばれやすい。このように位相方向を選ぶと、斜め線のギザギザの改善度は低く、ジャギーが目立つ画像となる。つまり、補間点H3の位相方向は白ピークである(A3,B4)方向の左側の画素同士から補間すべきであり、また、補間点H4の位相方向は(A3,B4)方向の右側の画素同士から補間すべきである。従って、白ピークを絵柄に対応した山とすると、図8の補間位相の算出は絵柄方向に対応しない間違った斜面同士を結んで位相方向としていることになり、斜め線の劣化を起こす原因となっていることが分かる。
【0014】
そこで、本発明の実施形態では、図9のように隣接ラインを含む複数ラインにわたる領域において、複数ラインにわたる最大値(ピーク)または最小値を中心に結ぶ方向をパターン方向とし、そのパターン方向から補間点の位相方向を算出することにより、本来の絵柄方向に対応した正しい位相による補間画素の生成を行うことで、斜め線のギザギザの改善効果を上げることができる。
【0015】
[第1の実施形態]
図1は本発明の一実施形態の補間信号処理回路が適用される映像信号処理装置のブロック図を示している。
図1において、映像信号処理装置100は、補間信号処理回路70と、合成回路80とを備えている。
補間信号処理回路70は、ラインメモリ12と、帯域成分算出手段10と、パターン生成手段20と、パターン判定手段30と、補間方向決定手段40と、水平オーバーサンプリング画素信号生成手段50と、補間信号生成手段60と、を備えている。
【0016】
補間信号処理回路70は、入力端子11から入力した映像信号をラインメモリ12で1水平走査期間(水平期間)遅延した現在より1水平ライン前の映像信号L1と、入力端子11から入力した現在の水平ライン(以下、単にライン)の映像信号L2との2ライン分の映像信号を用いて、映像信号の絵柄のパターンを抽出し、2ライン分の映像信号のパターン類似性を判定することにより、2つのラインの間に設ける予定の補間ライン上の画素信号を生成するための補間方向を決定し、予め2ライン分の入力映像信号についてライン毎に水平方向にオーバーサンプリングして各ラインにつき画素間に仮想点画素が設けられた映像信号により補間信号を生成する。なお、2ライン分以上の映像信号を用いて補間信号を作成するようにしてもよい。
【0017】
ライン選択手段80は、入力端子11より入力した現在の1ライン分の映像信号と、補間信号処理回路70で生成された補間信号とを入力し、ライン毎に交互に切り替えて出力することによって、水平ラインが補間された映像信号を出力する。
【0018】
以下、補間信号処理回路70の各部の回路につき更に具体的に説明する。
ラインメモリ12は、入力された1ライン(水平期間)分の映像信号を記憶することにより、1水平期間遅延した映像信号を出力する。
帯域成分算出手段10は、入力された画素信号の絵柄のパターンを抽出する為に、入力画素信号からフィルタによる帯域制限した画素信号を算出する。
帯域成分算出手段10は、水平および垂直のフィルタを備え、そのフィルタは外部からフィルタ係数を与えることで任意に帯域制限した画素信号を生成する為のフィルタ特性を変えることが可能である。例えば、水平高域成分のみに帯域制限するフィルタ係数を与えた場合、図2のような入力画素信号に対して図3のような高域(輪郭又はエッジ)成分に帯域制限された画素信号が算出される。
【0019】
図2は物体の画像の一部を拡大して示しており、図3は図2より水平高域成分を抽出した例を示している。図3で、高域成分以外の画素点は、ある閾値以下のレベルを一定レベルとするコアリング処理により、DC(直流)レベルにしてある。これにより、高域成分のみが抽出され、それ以外の画素点の部分は一定レベルとされているので、判定精度を向上させることができ、絵柄のパターン判定に有効となる。なお、図3では、物体のエッジ(輪郭)が抽出され、その抽出された部分だけが黒っぽくなっている。小さな正方形の区切りが画素を示しており、小さな正方形の画素が水平方向に並んでラインを形成している。このラインの黒色部分は物体のエッジ部分に相当するが、黒色のエッジ部分の両端には階調が段階的に増加した(即ち順次に白っぽくなった)部分があり、この部分に一部が重なるようにして次のラインのエッジ部分の黒色が表出している。このときの黒色のレベルは画素信号のレベルの最小値又はそれに近い値に相当し、谷が形成されていると言える。従って、物体のエッジ(輪郭)部分に斜め線部分があると、ライン毎に現れるエッジ部分の谷と谷が斜め方向に離散的且つ連続的に続いていくことになる。なお、図2及び図3では物体のエッジ部分が最もレベルの低い黒色で表されているが、最もレベルの高い白色で表されてもよい。白色で表される場合には、ライン毎に現れるエッジ部分の山(ピーク)と山が斜め方向に離散的且つ連続的に続いていくことになる。
【0020】
なお、図2及び図3では、帯域成分算出手段10は、水平高域成分のみに帯域制限された画素信号を算出しているが、水平高域成分と垂直高域成分に帯域制限された画素信号を算出するようにしてもよい。また、帯域成分算出手段10が垂直高域等のフィルタの場合は、最低3ライン分の映像信号が必要となるので、ラインメモリ12は複数個あってもよい。
【0021】
パターン生成手段20は、帯域成分算出手段10のライン毎のパターンを生成する。
パターン生成手段20は、帯域成分算出手段10にて高域成分に帯域制限された画素信号を用いて、画素値の最大値または最小値を例えば水平方向に検出する。図3のような水平高域成分のみに帯域制限された画素信号は、図4のように各ラインごとの画素レベルの変化する波形として表すことができる。
【0022】
図4で、L1,L2,L3は入力走査線(ライン)であり、各ライン上の黒点は画素を表現し、垂直方向の上方位置に画素点があるほど、画素値が高いことを表している。図4の場合、ラインL1の画素A3がA1〜A6間の中での最大値である。また、ラインL2の最大値がB4であり、ラインL3の最大値がC5と表現している。
パターン生成手段20では、例えばラインL1に注目すると、最大値である画素A3をピークであると判断し、その隣接する画素A2およびA4の画素値の差(|A3-A2|および|A3-A4|)をそれぞれ算出する。
また、ラインL2では同様に、画素B4がピークでありB4の隣接画素B3およびB5の画素値の差(|B4-B3|,|B4-B5|)を算出する。同様にして、ラインL3では画素C5がピークであり画素値の差|C5-C4|および|C5-C6|を算出する。
【0023】
つまり、パターン生成手段20は、帯域成分算出手段10の出力である画素信号の画素値の最大値または最小値を見つけ、最大値または最小値である画素点を中心とした隣接領域の画素信号の傾きを算出し一つのパターンとする。
なお、ピーク画素からの隣接画素値の差算出は、さらに遠くの画素を含めても良い。
【0024】
ピークの画素とその両側に隣接する画素との画素間の画素値の差により、ピークを中心とする山形パターン(ピークパターン)の傾斜が形成されている。ラインL1,L2,L3それぞれのピークA3,B4,C5を中心として形成されている山形パターンの傾斜部分の傾斜は、ラインL1,L2,L3についてほぼ同様であれば、ピークA3,B4,C5を結ぶラインは互いに相関があり、絵柄を形成している可能性がある。
【0025】
図5で、例えばラインL1における画素点A2,A3,A4がピークA3を中心とする山形のパターンを有している場合、ピークA3がピークらしいピークであるためには、ピークA3の両側の隣接する画素A2,A4についてこれらの画素レベルの範囲にそれぞれ許容範囲(しきい値)a,bを設ける必要がある。つまり、ピーク画素の両側に隣接する隣接画素については、ピーク値からある傾きを持っている範囲にであるかどうかで、山形パターンであるか、言い換えれば、山形パターンのピークであるかを判定する。
【0026】
ピーク画素A3に隣接する画素A2,A4であれば、ある程度の画素レベル(図示の梨地部分の縦方向)範囲a,bの誤差を有していてもよいとする。A3=200であるとすると、左隣の画素A2のレベルの許容範囲aは、例えばa=30であり、150≦A2≦180 である。また、ピーク画素A3に隣接する画素A4については、A3=200であるとすると、右隣の画素A4のレベルの許容範囲bは、例えばb=30であり、160≦A4≦190 である。また、ピーク画素A3についても、画素レベルに許容範囲cの制限を持たせる。例えばc=20であり、190≦A3≦210 である。なお、図示の梨地部分の上下範囲は画素レベルの高低の許容範囲を示しているが、梨地部分の左右範囲には何ら意味がない。
ラインL2についても、ラインL1と同様にピーク画素B4に対してその両側の隣接する画素B3,B5についてある傾きを持っている範囲にであるかどうかで、パターン判定する。これによって、一つのラインにおけるピーク画素の存在を検出する。
【0027】
なお、ピークであることを検出するには、前述したように隣の画像同士の差分をとることで、ある程度の信頼性のあるピークであることを検出できる。これに代えて、ピークの画素値に対する左右の隣接画素値の組み合わせがをテーブルとして幾通りも用意しておくようにしてもよい。つまり、ピーク画素値とその両側の隣接画素値の3つの画素値の組み合わせのパターンを基本的な画像(絵柄等)につきテーブルとして設けておいて、かつそれをピークとしての信頼性のある順番に設けておくようにしてもよい。
【0028】
パターン判定手段30は、図5に示すように、パターン生成手段20によって算出された複数ラインの各ライン間のパターン情報の類似性を判断する。パターンの類似性を判断するには、先ず、各ラインの最大値間または最小値間の画素値差を算出し、その画素値差が閾値TH1以内であることを判断する。閾値TH1は、参照する最大値の画素値を二次元方程式に代入して算出する場合と、変数として外部から任意に与えても良い。例えば、図4の例では、パターンの類似性を判断するには、ラインL1,L2について言えば、ラインL1のピーク値A3とラインL2のピーク値B4の差分値|A3-B4|が、|A3-B4| < TH1であることを判断する。TH1は、閾値方程式 aX^2+bX+cとして、X=Aを代入して得る。「^」は「べき乗」を表す。ここでの係数a,b,cは外部から代入される定数であり、画像情報によりダイナミックに変更が可能である。また、ライン毎のピーク画素に隣接する画素値間の差が、類似性があると判断できる閾値THi(i=1,2..)以内であれば、そのピーク間は絵柄のパターンの一部であると判断する。絵柄のパターンであると判断するには、例えば、|A2-B3| < THi1 であり、|A4-B5| < THi2である必要がある。この閾値THi1はTH1から得られる係数にA2またはB3の画素値を二次元方程式に代入して算出する場合と、変数として外部から任意に与えても良い。THi1は、閾値方程式 dX^2+eX+f (d=d1*TH1+d2, e=e1*TH1+e2, f=f1*TH1+f2) 各係数d1,d2,e1,e2,f1,f2は外部から代入される定数であり、画像情報によりダイナミックに変更が可能である。「*」は「乗算」を表す。
【0029】
パターン判定手段30は、パターン生成手段20にて算出した一つのパターンが、隣接ラインを含む複数ラインにわたる領域にて一致を含む近似的なパターンが存在するかを判定し、存在した場合は、複数ラインの最大値または最小値を中心に結ぶ方向をパターンとする情報を生成する。
また、パターン判定手段30においては、最大値同士のパターン方向と最小値同士のパターン方向が交差してある場合は、その最大値および最小値によるパターン方向は無いと判断する。最大値のパターン方向が(A3,B4)、最小値パターン方向が例えば(A4,B3)方向であった場合である。
また、最大値同士、最小値同士でも同様である。つまり、パターン判定手段30においては、複数の最大値パターン同士が交差するか、または、複数の最小値パターン同士が交差する場合、その最大値または最小値パターンによるパターンではないとする。
【0030】
補間方向決定手段40は、パターン判定手段30より得られた情報により補間信号を生成するための補間方向を決定する。補間方向決定手段40は、補間点の隣接領域にあるパターン判定手段30によるパターン方向から補間点の位相方向を算出し、補間点の隣接領域にパターン判定手段30にて位相方向が無かった場合、従来の補間点を中心とした補間位相とする。
【0031】
補間方向決定手段40は、補間点に隣接するパターン方向を補間画素点の位相方向と判断し、その方向を算出するが、その場合の方向精度は、例えば水平オーバーサンプリング数と同等の分解能でもよいし、それ前後の分解能でもよい。
【0032】
図6はパターン判定例と補間画素生成例であり、パターン方向による補間点の位相方向の算出例を示している。
例えば、パターン判定手段30にて得られる、(A3,B4)がピークであり、(A2,B3)および(A4,B5)もピークと同じ位相方向という情報により(A2〜A4)および(B3〜B5)の領域に隣接する補間点H3,H4,H5を同じ位相方向とする。図6では、位相の分解能を水平4倍オーバーサンプリングによる画素点(A21,A22,A23)等にて最も近い画素番号を選ぶ。例えば、補間画素H3の画素番号は(A22,B32)、H4の画素番号は(A32,B42)、H5の画素番号は(A42,B52)を出力する。自明な通り位相の分解能が高いほど精度の良い位相方向を算出することが可能である。
【0033】
水平オーバーサンプリング画素信号生成手段50は、入力画素信号をライン毎に水平方向にフィルタによるオーバーサンプリング画素信号を生成する。
水平オーバーサンプリング画素信号生成手段50は、多タップフィルタで構成され、複数の画素点のレベルをそれぞれ複数のタップに取り込み、それらの画素点レベルを参照してフィルタリング演算を行うと、画素間に実際の画素点にはなかった仮想的な画素点に山(ピーク)や谷のある高周波的に変化する曲線を求めることができる。
【0034】
多タップフィルタは、オーバーサンプリングフィルタとも呼ばれ、画素間を例えば2,4,8,16,32……,又は128分割して仮想的に水平方向に画素の数を2倍,4倍,8倍,16倍,32倍……,又は128倍と増やすことができ、それぞれ水平2倍,4倍,8倍,16倍,32倍……,又は128倍オーバーサンプリングフィルタと呼ばれている。これにより、画像の水平方向の解像度を増加させることができる。
【0035】
補間信号生成手段60は、補間方向決定手段40より得られた補間方向に従い、水平オーバーサンプリング画素信号生成手段50により算出された水平オーバーサンプリング画素信号を用いて補間信号を生成する。
補間信号生成手段60は、補間方向決定手段40で得られた補間点の位相方向に対して、複数ライン(図6では2ライン)の水平オーバーサンプリング画素信号生成手段50にて得られた画素信号を用いて補間信号を生成する。例えば、図6の補間点H4では、(A32,B42)の画素の距離の比に応じて重み付けをした画素値とすることができる。補間点H4がA32とB42の中心点であれば、その平均値をH4の画素値とする。また、補間点H4の生成画素は(A32,B42)だけでなく、隣接画素データを用いて作成してもよい。
【0036】
本発明の実施形態によれば、精度の高い補間位相にて補間信号を生成することにより、斜め線のギザギザの改善度が高くジャギーを改善することができる補間信号処理回路を実現することができる。
【図面の簡単な説明】
【0037】
【図1】本発明の一実施形態の補間信号処理回路が適用される映像信号処理装置の構成を示すブロック図。
【図2】入力画素信号を示す図。
【図3】本発明の実施形態における図2の信号を高域成分に帯域制限した画素信号を示す図。
【図4】本発明の実施形態におけるパターン生成例を示す図。
【図5】本発明の実施形態におけるパターン判定例を示す図。
【図6】本発明の実施形態におけるパターン判定例及び補間画素生成例を示す図。
【図7】入力画像の画素パターン例及び画像の理想波形を示す図。
【図8】従来の補間画素の生成例を示す図。
【図9】本発明による正しい位相による補間画素の生成例を示す図。
【符号の説明】
【0038】
10…帯域成分算出手段
11…映像信号入力端子
20…パターン生成手段
30…パターン判定手段
40…補間方向決定手段
50…水平オーバーサンプリング画素信号生成手段
60…補間信号生成手段
70…補間信号処理回路

【特許請求の範囲】
【請求項1】
入力する画素信号の絵柄のパターンを抽出する為に、入力画素信号からフィルタによる帯域制限した画素信号を算出する帯域成分算出手段と、
前記帯域成分算出手段より得られた帯域制限した画素信号のライン毎のパターンを生成するパターン生成手段と、
前記パターン生成手段にて得られた複数ラインのパターン類似性を判定するパターン判定手段と、
前記パターン判定手段より得られた情報により補間信号を生成するための補間方向を決定する補間方向決定手段と、
入力画素信号をライン毎に水平方向にフィルタによるオーバーサンプリング画素信号を生成する水平オーバーサンプリング画素信号生成手段と、
前記補間方向決定手段より得られた補間方向に従い、前記水平オーバーサンプリング画素信号生成手段により算出された水平オーバーサンプリング画素信号を用いて補間信号を生成する補間信号生成手段と、
を備えること特徴とする補間信号処理回路。
【請求項2】
前記帯域成分算出手段は、フィルタにより入力画素信号から水平高域成分及び/又は垂直高域成分である画素信号を出力することを特徴とする請求項1に記載の補間信号処理回路。
【請求項3】
前記パターン生成手段は、前記帯域成分算出手段の出力である画素信号の画素値の最大値または最小値をみつけ、前記最大値または最小値である画素点を中心とした隣接領域の画素信号の傾きを算出し一つのパターンとすることを特徴とする請求項1又は2に記載の補間信号処理回路。
【請求項4】
前記パターン判定手段は、前記パターン生成手段にて算出した一つのパターンが、隣接ラインを含む複数ラインの領域にて一致を含む近似的なパターンが存在するかを判定し、存在した場合は、複数ラインの最大値または最小値を中心に結ぶ方向をパターンとする情報を生成することを特徴とする請求項1乃至3のいずれか1つに記載の補間信号処理回路。
【請求項5】
前記補間方向決定手段は、補間点の隣接領域にある前記パターン判定手段によるパターン方向から補間点の位相方向を算出することを特徴とする請求項1乃至4のいずれか1つに記載の補間信号処理回路。

【図1】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2009−147636(P2009−147636A)
【公開日】平成21年7月2日(2009.7.2)
【国際特許分類】
【出願番号】特願2007−322360(P2007−322360)
【出願日】平成19年12月13日(2007.12.13)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(390010308)東芝デジタルメディアエンジニアリング株式会社 (192)
【Fターム(参考)】