映像信号処理装置及び映像信号処理方法
【課題】ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現する。
【解決手段】ステップＳ１では、輝度信号の予め設定した複数の画素からなる画素群を、補間画素の生成時に用いる近傍画素群として決定する。ステップＳ２では、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつける。ステップＳ３では、被補間位置における補間画素の順位を、その補間画素の近傍に位置するソーティングされた一部の画素の順位を内挿で演算して求める。ステップＳ４〜Ｓ６では、近傍画素群を構成する複数の画素のうち、補間画素の順位の値に応じた画素位置にある画素の画素値に基づいて、その補間画素の補間値候補を算出する。ステップＳ７、Ｓ８では算出された補間値候補を、所定範囲内の値に制限して補間画素の補間値として出力する。
【解決手段】ステップＳ１では、輝度信号の予め設定した複数の画素からなる画素群を、補間画素の生成時に用いる近傍画素群として決定する。ステップＳ２では、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつける。ステップＳ３では、被補間位置における補間画素の順位を、その補間画素の近傍に位置するソーティングされた一部の画素の順位を内挿で演算して求める。ステップＳ４〜Ｓ６では、近傍画素群を構成する複数の画素のうち、補間画素の順位の値に応じた画素位置にある画素の画素値に基づいて、その補間画素の補間値候補を算出する。ステップＳ７、Ｓ８では算出された補間値候補を、所定範囲内の値に制限して補間画素の補間値として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号処理装置及び映像信号処理方法に係り、特に階調画像を扱う映像表示装置、映像記録装置、映像処理装置、コンピュータ装置などにおいて画像の拡大・解像度変換を施した出力画像を得るための映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
近年の映像機器のディジタル化及びパーソナルコンピュータやデジタルカメラの普及、さらに超高解像度映像機器の導入により、既存の映像ソースの高品質な高解像度化の重要性が高まっている。この高解像度化には、例えば、既存の映像ソースの映像信号の画素間を補間して画像を拡大する手法が用いられる。
【０００３】
広く知られている補間手法としては、ニアレストネイバー（最近隣補間）法、バイリニア（線形補間）法、バイキュービック（３次元畳み込み補間）法などがある（例えば、特許文献１〜５参照）。ニアレストネイバー法は、変換画像の最も近いサンプル点の値を補間値とする方法であり、画像のエッジに鈍りが少ない（所謂キレの良い）画質で、アルゴリズムが簡単に実現できる特長がある一方、ジャギーが目立つという欠点がある。なお、「エッジ」とは、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。
【０００４】
バイリニア法は、変換画像の補間位置の周囲４点の画素からの距離の比を求め、その比率に応じて周囲４点の画素値から補間していく方法であり、ニアレストネイバー法よりは画像が滑らかになる特長がある一方、補間画素がボケる傾向があるという欠点がある。
【０００５】
バイキュービック法は、ｓｉｎｃ関数を近似した三次関数を用いて、補間位置の周辺１６点の画素値から、畳み込んで計算していく方法であり、バイリニア法と比較して画像が滑らかになるのと同時に鮮鋭化の効果もあるという特長がある一方、乗算器等の計算コストでの欠点もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１６４４６８号公報
【特許文献２】特開２００４−０１５１７０号公報
【特許文献３】特開２００４−３４１６２０号公報
【特許文献４】特開２００５−２３６８６４号公報
【特許文献５】特開２００７−２３２８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の３つの補間手法の特長、欠点の記載はやや過去の見解であるという側面もある。例えば、現状のプロセッサの処理能力においてはバイキュービック法の計算コストは重要ではあるが、かつてほどの問題ではない。一方で、バイキュービック法は上記３つの補間手法の中では理想的な画質であると言われるものの、一定のボケやエイリアシングは回避できず、ニアレストネイバー法のキレの良い画質が好まれる事態も存在する。
【０００８】
ニアレストネイバー法のキレの良い画質という特長は複数の画素値を演算（平均）することなく、補間処理を行うサンプリング点の最近傍の画素の画素値をそのまま利用することによるものであるが、ジャギーが目立つという欠点も同じ原因によるものと考えられている。しかし、厳密には上記の特長は“画素値をそのまま利用すること”に起因し、上記の欠点は“最近傍の画素”の画素値を利用することに起因する。
【０００９】
よって、最近傍以外の近傍画素の画素値を候補としてその中から補間値としてもっともらしいものを選択して、そのままもしくは２画素の平均（バイリニア法のような４画素の平均でなく）程度に留めて解像度の劣化を回避することにより特長と欠点のバランスをとることができる。
【００１０】
本発明は上記課題を鑑みてなされたものであり、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現する映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の映像信号処理装置は、映像信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段と、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理手段と、近傍画素群を構成する複数の画素のうち一部の画素により囲まれた被補間位置における補間画素の順位を、ソーティング処理手段によりつけられた一部の画素の順位を内挿で演算して求める内挿手段と、近傍画素群を構成する複数の画素のうち、内挿手段により演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出手段と、補間値候補算出手段により算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を補間画素の補間値として出力する閾値処理手段とを有することを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の映像信号処理装置は、補間値候補算出手段が、内挿手段により演算して得られた補間画素の順位の値が整数であるか否かを判定する判定手段と、判定手段により補間画素の順位の値が整数であると判定されたときは、近傍画素群を構成する複数の画素のうちその整数で示される画素位置にある単一の画素の画素値を補間値候補として決定する第１の決定手段と、判定手段により補間画素の順位の値が整数でないと判定されたときは、近傍画素群を構成する複数の画素のうち、順位の値を切り上げた第１の値で示される画素位置にある第１の画素の画素値と、順位の値を切り上げた第２の値で示される画素位置にある第２の画素の画素値とを用いた演算結果を、補間値候補として決定する第２の決定手段とからなることを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の映像信号処理装置は、補間値候補算出手段が、近傍画素群を構成する複数の画素のうち、内挿手段により演算して得られた補間画素の順位の値を四捨五入した値で示される画素位置にある単一の画素を補間値候補として算出することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の映像信号処理装置は、閾値処理手段が、近傍画素群を構成する複数の画素のうち、補間画素に隣接する複数の画素の各画素値のうち最大の画素値を上限閾値とし、最小の画素値を下限閾値として、補間値候補の値を制限することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の映像信号処理方法は、映像信号の予め設定した複数の画素からなる画素群を、映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定ステップと、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理ステップと、近傍画素群を構成する複数の画素のうち一部の画素により囲まれた被補間位置における補間画素の順位を、ソーティング処理ステップによりつけられた一部の画素の順位を内挿で演算して求める内挿ステップと、近傍画素群を構成する複数の画素のうち、内挿ステップにより演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出ステップと、補間値候補算出ステップにより算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を補間画素の補間値として出力する閾値処理ステップとを含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の映像信号処理装置の第１の実施の形態のブロック図である。
【図２】本発明の映像信号処理方法の第１の実施の形態のフローチャートである。
【図３】入力画素と補間画素の位置関係を示す図である。
【図４】本発明の映像信号処理装置の第２の実施の形態のブロック図である。
【図５】本発明の映像信号処理方法の第２の実施の形態のフローチャートである。
【発明を実施するための形態】
【００１８】
次に、本発明の各実施の形態について図面を参照して説明する。
【００１９】
《第１の実施の形態》
図１は、本発明になる映像信号処理装置の第１の実施の形態のブロック図、図２は、本発明になる映像信号処理方法の第１の実施の形態のフローチャートを示す。図１に示すように、第１の実施の形態の映像信号処理装置１０は、一例として輝度信号をラスタースキャンで入力して、入力画素の中間に補間画素を生成して水平・垂直それぞれ２倍サイズの拡大を行った信号を出力するもので、近傍画素群決定部１１、ソーティング処理部１２、内挿部１３、補間値候補算出部１４、及び閾値処理部１５から構成される。
【００２０】
近傍画素群決定部１１は、入力された輝度信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、輝度信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段を構成している。ソーティング部１２は、入力された近傍画素群を構成する複数の入力画素を、その画素値（輝度値）の大小に応じて昇順（降順でも構わない）に順位をつけるソーティング処理を行うソーティング処理手段を構成している。
【００２１】
内挿部１３は、ソーティング処理後の近傍画素群を構成する複数の入力画素のうち２以上の一部の入力画素により囲まれた被補間位置における補間画素の順位を、補間画素の近傍の一部の入力画素の順位を内挿で演算して求める内挿手段を構成している。
【００２２】
補間値候補算出部１４は、近傍画素群を構成する複数の入力画素のうち、内挿部１３により演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補値算出手段を構成している。
【００２３】
閾値処理部１５は、補間値候補算出部１４により生成された候補値を、補間画素に隣接する複数の入力画素の画素値のうち最大値と最小値など、予め定めた所定の上限閾値と下限閾値との範囲内の値となるように制限し、この制限された候補値を補間画素の補間値として出力する補間値出力手段を構成している。
【００２４】
次に、本実施の形態の映像信号処理装置１０の動作について、図２のフローチャート及び図３の入力画素と補間画素との位置関係を示す図を併せ参照して説明する。
【００２５】
まず、近傍画素群決定部１１は、ラスタースキャンで入力された輝度信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、輝度信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する（ステップＳ１）。ここで、輝度信号の上記入力画素の画素群は、例えば図３に白丸で示すような、縦方向４画素、横方向４画素からなる計１６画素からなり、それらの画素位置は図３に番号を付して示すように特定されている。また、上記の複数の補間画素は、入力画素の画素群の中心付近にあるハッチングを付した丸で示す、５つの画素o0、o1、o2、o3、o4からなる。ここで、入力画素の画素値（輝度値）をＹ{i}（ｉは図３に示した番号の画素位置で、整数０〜１５）とし、補間画素o0、o1、o2、o3、o4の画素値をそれぞれV[o0]、V[01]、V[o2]、V[03]、V[o4]とする。
【００２６】
ソーティング処理部１２は、近傍画素群決定部１１から入力された近傍画素群のうち、１６個の入力画素の各画素値に応じて昇順（降順でも構わない）に順位をつけるソーティング処理を行う（ステップＳ２）。ここで、画素位置ｉにおける入力画素の順位はrank[i](0≦rank[i]≦15)と表記するものとする。
【００２７】
内挿部１３は、被補間位置での順位の内挿を行う（ステップＳ３）。すなわち、内挿部１３は、補間画素o0、o1、o2、o3、o4が存在する被補間位置において、rank[i]を次式のように１次内挿で実数計算して補間画素の順位P0, P1, P2, P3, P4を得る。なお、以降はＣ言語的表記を行うものとする。
【００２８】
P0＝(rank[5]＋rank[6]＋rank[9]＋rank[10])/4.0 (1a)
P1＝(rank[5]＋rank[6])/2.0 (1b)
P2＝(rank[5]＋rank[9])/2.0 (1c)
P3＝(rank[6]＋rank[10])/2.0 (1d)
P4＝(rank[9]＋rank[10])/2.0 (1e)
次に、補間値候補算出部１４は、図２のステップＳ４〜Ｓ６の処理を行う。すなわち、補間値候補算出部１４は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)が整数か否かの判定を行う（ステップＳ４）。続いて、補間値候補算出部１４は、Pxが整数の場合はその画素位置の画素値Y[Px]をそのまま補間値候補とする（ステップＳ５）。また、補間値候補算出部１４は、Pxが整数でない場合は、Pxを切り下げて整数にした値(int)Pxの画素位置の画素値Ｙ[(int)Px]と、Pxを切り上げて整数にした値(int)(Px+1.0)の画素位置の画素値Ｙ[(int)(Px+1.0)]とを内挿して補間値候補とする（ステップＳ６）。
【００２９】
例えば、P1＝8.5のとき、Ｙ[(int)Px]＝Ｙ[8]、Ｙ[(int)(Px+1.0)]＝Ｙ[9]であり、また8.5は(8+9)/2で求められるから、図３の２つの入力画素８，９の画素値Y[8}及び画素Y[9]とを内挿して、補間画素o1における補間値候補が(Y[8]+Y[9]+1)/2により求められる。なお、この数式中「＋1」は四捨五入のための値である。また、P0＝6.25の場合、Ｙ[(int)Px]＝Ｙ[6]、Ｙ[(int)(Px+1.0)]＝Ｙ[7]であり、また6.25は(3*6+7)/4で求められるから、図３の２つの入力画素６，７の画素値Y[6}及びY[7]とを内挿して、補間画素o0における補間値候補が(3*Y[6]+Y[7]+2)/4により求められる。なお、この数式中「＋2」は四捨五入のための値である。この方法によれば、画素値間の演算処理において４画素以上の平均値を補間値候補とすることが回避される。
【００３０】
閾値処理部１５は、ステップＳ５により得られた補間値候補Ｙ[Px]を閾値処理により制限し（ステップＳ７）、あるいはステップＳ６により得られた補間値候補を閾値処理により制限して補間画素の補間値として出力する（ステップＳ８）。これは補間処理のエラーを制限するためである。上記の閾値処理は、例えば補間画素o0〜o4に隣接する４つの入力画素の画素値Y[5], Y[6], Y[9], Y[10]の最小値と最大値を閾値の最小値と閾値の最大値とし、その最大値と最小値の範囲内の値に補間値候補の値を制限する処理である。なお、閾値処理における上限閾値と下限閾値との間の範囲は処理画質により適宜拡大・縮小して決定することも可能である。
【００３１】
このように、本実施の形態によれば、補間画素の複数の近傍画素の画素値の順位をもとに、単一の入力画素または２つの入力画素の平均値などを補間画素の画素値として決定するようにしたため、ニアレストネイバー方式よりジャギーの面で改善し、バイリニア方式などよりボケが少なく、バイキュービック方式と異なり乗算器が不要な画像拡大を実現することができる。
【００３２】
すなわち、本実施の形態によれば、補間画素の生成において複数の画素値を演算するフィルタリング処理ではなく、近傍画素群を構成する複数の画素を各画素値の大小に応じてソーティングした順位について演算した結果をフィードバックして、補間画素の画素値を決定することにより、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現することができる。
【００３３】
《第２の実施の形態》
次に、本発明の第２の実施の形態について説明する。図４は、本発明になる映像信号処理装置の第２の実施の形態のブロック図、図５は、本発明になる映像信号処理方法の第２の実施の形態のフローチャートを示す。図４中、図１と同一構成部分には同一符号を付し、また、図５中、図２と同一処理ステップには同一符号を付し、それぞれその説明を省略する。
【００３４】
図４に示す第２の実施の形態の映像信号処理装置２０は、一例として輝度信号をラスタースキャンで入力して、入力画素の中間に補間画素を生成して水平・垂直それぞれ２倍サイズの拡大を行った信号を出力するもので、近傍画素群決定部１１、ソーティング処理部１２、内挿部１３、補間値候補算出部２１、及び閾値処理部２２から構成される。
【００３５】
補間値候補算出部２１は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)を整数にした値の画素位置の画素値を補間値候補に決定する補間値候補生成手段を構成している。閾値処理部２２は、補間値候補算出部２１により決定された補間値候補を、補間画素に隣接する複数の入力画素の画素値のうち最大値と最小値など、予め定めた所定の上限閾値と下限閾値との範囲内の値となるように制限し、この制限された候補値を補間画素の補間値として出力する補間値出力手段を構成している。
【００３６】
次に、本実施の形態の動作について、図５のフローチャートを併せ参照して説明する。補間値候補算出部２１は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)を四捨五入して整数にした値(int)(Px+0.5)を画素位置とする画素値Ｙ[(int)(Px+0.5)]を補間値候補とする（ステップＳ１１）。
【００３７】
例えば、P1＝8.5のとき、Ｙ[(int)(Px+0.5)]＝Ｙ[9]であるので、補間値候補算出部２１は、図３の画素位置９にある入力画素の画素値Y[9]を補間画素o1の補間値候補として決定する。また、P0＝6.25のとき、Ｙ[(int)(Px+0.5)]＝Ｙ[6]であるので、補間値候補算出部２１は、図３の画素位置６にある入力画素の画素値Y[6]を補間画素o0の補間値候補として決定する。
【００３８】
閾値処理部２２は、ステップＳ１１により得られた補間値候補を閾値処理により制限して、補間画素の補間値として出力する（ステップＳ１２）。これは補間処理のエラーを制限するためである。上記の閾値処理は、例えば補間画素o0〜o4に隣接する４つの入力画素の画素値Y[5], Y[6], Y[9], Y[10]の最小値と最大値を閾値の最小値と閾値の最大値とし、その最大値と最小値の範囲内の値に補間値候補の値を制限する処理である。なお、閾値処理における上限閾値は最大値以外でもよく、また下限閾値は最小値以外でもよく、それらの間の範囲は処理画質により適宜拡大・縮小して決定することも可能である。
【００３９】
このように、本実施の形態によれば、第１の実施の形態のステップＳ６のような画素値間の演算処理そのものが回避されるため、より一層簡単な演算処理により所望の補間画素の画素値を得ることができる。
【符号の説明】
【００４０】
１０、２０ 映像信号処理装置
１１ 近傍画素群決定部
１２ ソーティング処理部
１３ 内挿部
１４、２１ 補間値候補算出部
１５、２２ 閾値処理部
【技術分野】
【０００１】
本発明は映像信号処理装置及び映像信号処理方法に係り、特に階調画像を扱う映像表示装置、映像記録装置、映像処理装置、コンピュータ装置などにおいて画像の拡大・解像度変換を施した出力画像を得るための映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【０００２】
近年の映像機器のディジタル化及びパーソナルコンピュータやデジタルカメラの普及、さらに超高解像度映像機器の導入により、既存の映像ソースの高品質な高解像度化の重要性が高まっている。この高解像度化には、例えば、既存の映像ソースの映像信号の画素間を補間して画像を拡大する手法が用いられる。
【０００３】
広く知られている補間手法としては、ニアレストネイバー（最近隣補間）法、バイリニア（線形補間）法、バイキュービック（３次元畳み込み補間）法などがある（例えば、特許文献１〜５参照）。ニアレストネイバー法は、変換画像の最も近いサンプル点の値を補間値とする方法であり、画像のエッジに鈍りが少ない（所謂キレの良い）画質で、アルゴリズムが簡単に実現できる特長がある一方、ジャギーが目立つという欠点がある。なお、「エッジ」とは、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。
【０００４】
バイリニア法は、変換画像の補間位置の周囲４点の画素からの距離の比を求め、その比率に応じて周囲４点の画素値から補間していく方法であり、ニアレストネイバー法よりは画像が滑らかになる特長がある一方、補間画素がボケる傾向があるという欠点がある。
【０００５】
バイキュービック法は、ｓｉｎｃ関数を近似した三次関数を用いて、補間位置の周辺１６点の画素値から、畳み込んで計算していく方法であり、バイリニア法と比較して画像が滑らかになるのと同時に鮮鋭化の効果もあるという特長がある一方、乗算器等の計算コストでの欠点もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１６４４６８号公報
【特許文献２】特開２００４−０１５１７０号公報
【特許文献３】特開２００４−３４１６２０号公報
【特許文献４】特開２００５−２３６８６４号公報
【特許文献５】特開２００７−２３２８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の３つの補間手法の特長、欠点の記載はやや過去の見解であるという側面もある。例えば、現状のプロセッサの処理能力においてはバイキュービック法の計算コストは重要ではあるが、かつてほどの問題ではない。一方で、バイキュービック法は上記３つの補間手法の中では理想的な画質であると言われるものの、一定のボケやエイリアシングは回避できず、ニアレストネイバー法のキレの良い画質が好まれる事態も存在する。
【０００８】
ニアレストネイバー法のキレの良い画質という特長は複数の画素値を演算（平均）することなく、補間処理を行うサンプリング点の最近傍の画素の画素値をそのまま利用することによるものであるが、ジャギーが目立つという欠点も同じ原因によるものと考えられている。しかし、厳密には上記の特長は“画素値をそのまま利用すること”に起因し、上記の欠点は“最近傍の画素”の画素値を利用することに起因する。
【０００９】
よって、最近傍以外の近傍画素の画素値を候補としてその中から補間値としてもっともらしいものを選択して、そのままもしくは２画素の平均（バイリニア法のような４画素の平均でなく）程度に留めて解像度の劣化を回避することにより特長と欠点のバランスをとることができる。
【００１０】
本発明は上記課題を鑑みてなされたものであり、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現する映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の映像信号処理装置は、映像信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段と、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理手段と、近傍画素群を構成する複数の画素のうち一部の画素により囲まれた被補間位置における補間画素の順位を、ソーティング処理手段によりつけられた一部の画素の順位を内挿で演算して求める内挿手段と、近傍画素群を構成する複数の画素のうち、内挿手段により演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出手段と、補間値候補算出手段により算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を補間画素の補間値として出力する閾値処理手段とを有することを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の映像信号処理装置は、補間値候補算出手段が、内挿手段により演算して得られた補間画素の順位の値が整数であるか否かを判定する判定手段と、判定手段により補間画素の順位の値が整数であると判定されたときは、近傍画素群を構成する複数の画素のうちその整数で示される画素位置にある単一の画素の画素値を補間値候補として決定する第１の決定手段と、判定手段により補間画素の順位の値が整数でないと判定されたときは、近傍画素群を構成する複数の画素のうち、順位の値を切り上げた第１の値で示される画素位置にある第１の画素の画素値と、順位の値を切り上げた第２の値で示される画素位置にある第２の画素の画素値とを用いた演算結果を、補間値候補として決定する第２の決定手段とからなることを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の映像信号処理装置は、補間値候補算出手段が、近傍画素群を構成する複数の画素のうち、内挿手段により演算して得られた補間画素の順位の値を四捨五入した値で示される画素位置にある単一の画素を補間値候補として算出することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の映像信号処理装置は、閾値処理手段が、近傍画素群を構成する複数の画素のうち、補間画素に隣接する複数の画素の各画素値のうち最大の画素値を上限閾値とし、最小の画素値を下限閾値として、補間値候補の値を制限することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の映像信号処理方法は、映像信号の予め設定した複数の画素からなる画素群を、映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定ステップと、近傍画素群を構成する複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理ステップと、近傍画素群を構成する複数の画素のうち一部の画素により囲まれた被補間位置における補間画素の順位を、ソーティング処理ステップによりつけられた一部の画素の順位を内挿で演算して求める内挿ステップと、近傍画素群を構成する複数の画素のうち、内挿ステップにより演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出ステップと、補間値候補算出ステップにより算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を補間画素の補間値として出力する閾値処理ステップとを含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の映像信号処理装置の第１の実施の形態のブロック図である。
【図２】本発明の映像信号処理方法の第１の実施の形態のフローチャートである。
【図３】入力画素と補間画素の位置関係を示す図である。
【図４】本発明の映像信号処理装置の第２の実施の形態のブロック図である。
【図５】本発明の映像信号処理方法の第２の実施の形態のフローチャートである。
【発明を実施するための形態】
【００１８】
次に、本発明の各実施の形態について図面を参照して説明する。
【００１９】
《第１の実施の形態》
図１は、本発明になる映像信号処理装置の第１の実施の形態のブロック図、図２は、本発明になる映像信号処理方法の第１の実施の形態のフローチャートを示す。図１に示すように、第１の実施の形態の映像信号処理装置１０は、一例として輝度信号をラスタースキャンで入力して、入力画素の中間に補間画素を生成して水平・垂直それぞれ２倍サイズの拡大を行った信号を出力するもので、近傍画素群決定部１１、ソーティング処理部１２、内挿部１３、補間値候補算出部１４、及び閾値処理部１５から構成される。
【００２０】
近傍画素群決定部１１は、入力された輝度信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、輝度信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段を構成している。ソーティング部１２は、入力された近傍画素群を構成する複数の入力画素を、その画素値（輝度値）の大小に応じて昇順（降順でも構わない）に順位をつけるソーティング処理を行うソーティング処理手段を構成している。
【００２１】
内挿部１３は、ソーティング処理後の近傍画素群を構成する複数の入力画素のうち２以上の一部の入力画素により囲まれた被補間位置における補間画素の順位を、補間画素の近傍の一部の入力画素の順位を内挿で演算して求める内挿手段を構成している。
【００２２】
補間値候補算出部１４は、近傍画素群を構成する複数の入力画素のうち、内挿部１３により演算して得られた補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補値算出手段を構成している。
【００２３】
閾値処理部１５は、補間値候補算出部１４により生成された候補値を、補間画素に隣接する複数の入力画素の画素値のうち最大値と最小値など、予め定めた所定の上限閾値と下限閾値との範囲内の値となるように制限し、この制限された候補値を補間画素の補間値として出力する補間値出力手段を構成している。
【００２４】
次に、本実施の形態の映像信号処理装置１０の動作について、図２のフローチャート及び図３の入力画素と補間画素との位置関係を示す図を併せ参照して説明する。
【００２５】
まず、近傍画素群決定部１１は、ラスタースキャンで入力された輝度信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、輝度信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する（ステップＳ１）。ここで、輝度信号の上記入力画素の画素群は、例えば図３に白丸で示すような、縦方向４画素、横方向４画素からなる計１６画素からなり、それらの画素位置は図３に番号を付して示すように特定されている。また、上記の複数の補間画素は、入力画素の画素群の中心付近にあるハッチングを付した丸で示す、５つの画素o0、o1、o2、o3、o4からなる。ここで、入力画素の画素値（輝度値）をＹ{i}（ｉは図３に示した番号の画素位置で、整数０〜１５）とし、補間画素o0、o1、o2、o3、o4の画素値をそれぞれV[o0]、V[01]、V[o2]、V[03]、V[o4]とする。
【００２６】
ソーティング処理部１２は、近傍画素群決定部１１から入力された近傍画素群のうち、１６個の入力画素の各画素値に応じて昇順（降順でも構わない）に順位をつけるソーティング処理を行う（ステップＳ２）。ここで、画素位置ｉにおける入力画素の順位はrank[i](0≦rank[i]≦15)と表記するものとする。
【００２７】
内挿部１３は、被補間位置での順位の内挿を行う（ステップＳ３）。すなわち、内挿部１３は、補間画素o0、o1、o2、o3、o4が存在する被補間位置において、rank[i]を次式のように１次内挿で実数計算して補間画素の順位P0, P1, P2, P3, P4を得る。なお、以降はＣ言語的表記を行うものとする。
【００２８】
P0＝(rank[5]＋rank[6]＋rank[9]＋rank[10])/4.0 (1a)
P1＝(rank[5]＋rank[6])/2.0 (1b)
P2＝(rank[5]＋rank[9])/2.0 (1c)
P3＝(rank[6]＋rank[10])/2.0 (1d)
P4＝(rank[9]＋rank[10])/2.0 (1e)
次に、補間値候補算出部１４は、図２のステップＳ４〜Ｓ６の処理を行う。すなわち、補間値候補算出部１４は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)が整数か否かの判定を行う（ステップＳ４）。続いて、補間値候補算出部１４は、Pxが整数の場合はその画素位置の画素値Y[Px]をそのまま補間値候補とする（ステップＳ５）。また、補間値候補算出部１４は、Pxが整数でない場合は、Pxを切り下げて整数にした値(int)Pxの画素位置の画素値Ｙ[(int)Px]と、Pxを切り上げて整数にした値(int)(Px+1.0)の画素位置の画素値Ｙ[(int)(Px+1.0)]とを内挿して補間値候補とする（ステップＳ６）。
【００２９】
例えば、P1＝8.5のとき、Ｙ[(int)Px]＝Ｙ[8]、Ｙ[(int)(Px+1.0)]＝Ｙ[9]であり、また8.5は(8+9)/2で求められるから、図３の２つの入力画素８，９の画素値Y[8}及び画素Y[9]とを内挿して、補間画素o1における補間値候補が(Y[8]+Y[9]+1)/2により求められる。なお、この数式中「＋1」は四捨五入のための値である。また、P0＝6.25の場合、Ｙ[(int)Px]＝Ｙ[6]、Ｙ[(int)(Px+1.0)]＝Ｙ[7]であり、また6.25は(3*6+7)/4で求められるから、図３の２つの入力画素６，７の画素値Y[6}及びY[7]とを内挿して、補間画素o0における補間値候補が(3*Y[6]+Y[7]+2)/4により求められる。なお、この数式中「＋2」は四捨五入のための値である。この方法によれば、画素値間の演算処理において４画素以上の平均値を補間値候補とすることが回避される。
【００３０】
閾値処理部１５は、ステップＳ５により得られた補間値候補Ｙ[Px]を閾値処理により制限し（ステップＳ７）、あるいはステップＳ６により得られた補間値候補を閾値処理により制限して補間画素の補間値として出力する（ステップＳ８）。これは補間処理のエラーを制限するためである。上記の閾値処理は、例えば補間画素o0〜o4に隣接する４つの入力画素の画素値Y[5], Y[6], Y[9], Y[10]の最小値と最大値を閾値の最小値と閾値の最大値とし、その最大値と最小値の範囲内の値に補間値候補の値を制限する処理である。なお、閾値処理における上限閾値と下限閾値との間の範囲は処理画質により適宜拡大・縮小して決定することも可能である。
【００３１】
このように、本実施の形態によれば、補間画素の複数の近傍画素の画素値の順位をもとに、単一の入力画素または２つの入力画素の平均値などを補間画素の画素値として決定するようにしたため、ニアレストネイバー方式よりジャギーの面で改善し、バイリニア方式などよりボケが少なく、バイキュービック方式と異なり乗算器が不要な画像拡大を実現することができる。
【００３２】
すなわち、本実施の形態によれば、補間画素の生成において複数の画素値を演算するフィルタリング処理ではなく、近傍画素群を構成する複数の画素を各画素値の大小に応じてソーティングした順位について演算した結果をフィードバックして、補間画素の画素値を決定することにより、ボケやエイリアシングを低減した、キレのある画質の画像拡大をシンプルなアルゴリズムで実現することができる。
【００３３】
《第２の実施の形態》
次に、本発明の第２の実施の形態について説明する。図４は、本発明になる映像信号処理装置の第２の実施の形態のブロック図、図５は、本発明になる映像信号処理方法の第２の実施の形態のフローチャートを示す。図４中、図１と同一構成部分には同一符号を付し、また、図５中、図２と同一処理ステップには同一符号を付し、それぞれその説明を省略する。
【００３４】
図４に示す第２の実施の形態の映像信号処理装置２０は、一例として輝度信号をラスタースキャンで入力して、入力画素の中間に補間画素を生成して水平・垂直それぞれ２倍サイズの拡大を行った信号を出力するもので、近傍画素群決定部１１、ソーティング処理部１２、内挿部１３、補間値候補算出部２１、及び閾値処理部２２から構成される。
【００３５】
補間値候補算出部２１は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)を整数にした値の画素位置の画素値を補間値候補に決定する補間値候補生成手段を構成している。閾値処理部２２は、補間値候補算出部２１により決定された補間値候補を、補間画素に隣接する複数の入力画素の画素値のうち最大値と最小値など、予め定めた所定の上限閾値と下限閾値との範囲内の値となるように制限し、この制限された候補値を補間画素の補間値として出力する補間値出力手段を構成している。
【００３６】
次に、本実施の形態の動作について、図５のフローチャートを併せ参照して説明する。補間値候補算出部２１は、内挿部１３で得られた演算結果である補間画素の順位Px(x＝0〜4)を四捨五入して整数にした値(int)(Px+0.5)を画素位置とする画素値Ｙ[(int)(Px+0.5)]を補間値候補とする（ステップＳ１１）。
【００３７】
例えば、P1＝8.5のとき、Ｙ[(int)(Px+0.5)]＝Ｙ[9]であるので、補間値候補算出部２１は、図３の画素位置９にある入力画素の画素値Y[9]を補間画素o1の補間値候補として決定する。また、P0＝6.25のとき、Ｙ[(int)(Px+0.5)]＝Ｙ[6]であるので、補間値候補算出部２１は、図３の画素位置６にある入力画素の画素値Y[6]を補間画素o0の補間値候補として決定する。
【００３８】
閾値処理部２２は、ステップＳ１１により得られた補間値候補を閾値処理により制限して、補間画素の補間値として出力する（ステップＳ１２）。これは補間処理のエラーを制限するためである。上記の閾値処理は、例えば補間画素o0〜o4に隣接する４つの入力画素の画素値Y[5], Y[6], Y[9], Y[10]の最小値と最大値を閾値の最小値と閾値の最大値とし、その最大値と最小値の範囲内の値に補間値候補の値を制限する処理である。なお、閾値処理における上限閾値は最大値以外でもよく、また下限閾値は最小値以外でもよく、それらの間の範囲は処理画質により適宜拡大・縮小して決定することも可能である。
【００３９】
このように、本実施の形態によれば、第１の実施の形態のステップＳ６のような画素値間の演算処理そのものが回避されるため、より一層簡単な演算処理により所望の補間画素の画素値を得ることができる。
【符号の説明】
【００４０】
１０、２０ 映像信号処理装置
１１ 近傍画素群決定部
１２ ソーティング処理部
１３ 内挿部
１４、２１ 補間値候補算出部
１５、２２ 閾値処理部
【特許請求の範囲】
【請求項１】
映像信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、前記映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段と、
前記近傍画素群を構成する前記複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理手段と、
前記近傍画素群を構成する前記複数の画素のうち一部の画素により囲まれた被補間位置における前記補間画素の順位を、前記ソーティング処理手段によりつけられた前記一部の画素の順位を内挿で演算して求める内挿手段と、
前記近傍画素群を構成する前記複数の画素のうち、前記内挿手段により演算して得られた前記補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出手段と、
前記補間値候補算出手段により算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を前記補間画素の補間値として出力する補間値出力手段と
を有することを特徴とする映像信号処理装置。
【請求項２】
前記補間値候補算出手段は、
前記内挿手段により演算して得られた前記補間画素の順位の値が整数であるか否かを判定する判定手段と、
前記判定手段により前記補間画素の順位の値が整数であると判定されたときは、前記近傍画素群を構成する前記複数の画素のうちその整数で示される画素位置にある単一の画素の画素値を前記補間値候補として決定する第１の決定手段と、
前記判定手段により前記補間画素の順位の値が整数でないと判定されたときは、前記近傍画素群を構成する前記複数の画素のうち、前記順位の値を切り上げた第１の値で示される画素位置にある第１の画素の画素値と、前記順位の値を切り上げた第２の値で示される画素位置にある第２の画素の画素値とを用いた演算結果を、前記補間値候補として決定する第２の決定手段と
からなることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記補間値候補算出手段は、前記近傍画素群を構成する前記複数の画素のうち、前記内挿手段により演算して得られた前記補間画素の順位の値を四捨五入した値で示される画素位置にある単一の画素を前記補間値候補として算出することを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
前記閾値処理手段は、前記近傍画素群を構成する前記複数の画素のうち、前記補間画素に隣接する複数の画素の各画素値のうち最大の画素値を前記上限閾値とし、最小の画素値を前記下限閾値として、前記補間値候補の値を制限することを特徴とする請求項１記載の映像信号処理装置。
【請求項５】
映像信号の予め設定した複数の画素からなる画素群を、前記映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定ステップと、
前記近傍画素群を構成する前記複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理ステップと、
前記近傍画素群を構成する前記複数の画素のうち一部の画素により囲まれた被補間位置における前記補間画素の順位を、前記ソーティング処理ステップによりつけられた前記一部の画素の順位を内挿で演算して求める内挿ステップと、
前記近傍画素群を構成する前記複数の画素のうち、前記内挿ステップにより演算して得られた前記補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出ステップと、
前記補間値候補算出ステップにより算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を前記補間画素の補間値として出力する閾値処理ステップと
を含むことを特徴とする映像信号処理方法。
【請求項１】
映像信号の予め設定した、画素位置がそれぞれ特定された複数の画素からなる画素群を、前記映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定手段と、
前記近傍画素群を構成する前記複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理手段と、
前記近傍画素群を構成する前記複数の画素のうち一部の画素により囲まれた被補間位置における前記補間画素の順位を、前記ソーティング処理手段によりつけられた前記一部の画素の順位を内挿で演算して求める内挿手段と、
前記近傍画素群を構成する前記複数の画素のうち、前記内挿手段により演算して得られた前記補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出手段と、
前記補間値候補算出手段により算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を前記補間画素の補間値として出力する補間値出力手段と
を有することを特徴とする映像信号処理装置。
【請求項２】
前記補間値候補算出手段は、
前記内挿手段により演算して得られた前記補間画素の順位の値が整数であるか否かを判定する判定手段と、
前記判定手段により前記補間画素の順位の値が整数であると判定されたときは、前記近傍画素群を構成する前記複数の画素のうちその整数で示される画素位置にある単一の画素の画素値を前記補間値候補として決定する第１の決定手段と、
前記判定手段により前記補間画素の順位の値が整数でないと判定されたときは、前記近傍画素群を構成する前記複数の画素のうち、前記順位の値を切り上げた第１の値で示される画素位置にある第１の画素の画素値と、前記順位の値を切り上げた第２の値で示される画素位置にある第２の画素の画素値とを用いた演算結果を、前記補間値候補として決定する第２の決定手段と
からなることを特徴とする請求項１記載の映像信号処理装置。
【請求項３】
前記補間値候補算出手段は、前記近傍画素群を構成する前記複数の画素のうち、前記内挿手段により演算して得られた前記補間画素の順位の値を四捨五入した値で示される画素位置にある単一の画素を前記補間値候補として算出することを特徴とする請求項１記載の映像信号処理装置。
【請求項４】
前記閾値処理手段は、前記近傍画素群を構成する前記複数の画素のうち、前記補間画素に隣接する複数の画素の各画素値のうち最大の画素値を前記上限閾値とし、最小の画素値を前記下限閾値として、前記補間値候補の値を制限することを特徴とする請求項１記載の映像信号処理装置。
【請求項５】
映像信号の予め設定した複数の画素からなる画素群を、前記映像信号の高解像度化のための補間画素の生成時に用いる近傍画素群として決定する近傍画素群決定ステップと、
前記近傍画素群を構成する前記複数の画素を、その画素値の大小に応じて順位をつけるソーティング処理ステップと、
前記近傍画素群を構成する前記複数の画素のうち一部の画素により囲まれた被補間位置における前記補間画素の順位を、前記ソーティング処理ステップによりつけられた前記一部の画素の順位を内挿で演算して求める内挿ステップと、
前記近傍画素群を構成する前記複数の画素のうち、前記内挿ステップにより演算して得られた前記補間画素の順位の値に応じた画素位置にある２以下の画素の画素値に基づいて、その補間画素の補間値候補を算出する補間値候補算出ステップと、
前記補間値候補算出ステップにより算出された補間値候補を、所定の上限閾値及び下限閾値の範囲内の値に制限し、この制限された補間候補値を前記補間画素の補間値として出力する閾値処理ステップと
を含むことを特徴とする映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１１５７９１（Ｐ２０１３−１１５７９１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６３２１０（Ｐ２０１１−２６３２１０）
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１２月１日（２０１１．１２．１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]