自己相関値算出方法及び補間画素生成方法、それらの装置並びにそれらのプログラム
【課題】 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む指定された範囲内の指定された方向に沿った自己相関値を精度良く算出する。
【解決手段】 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、複数の入力サンプルのうちの、対象位置又はその近傍を通過して指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、複数の入力サンプルのうちの、指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、第1の自己相関値と第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備える。
【解決手段】 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、複数の入力サンプルのうちの、対象位置又はその近傍を通過して指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、複数の入力サンプルのうちの、指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、第1の自己相関値と第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法及びその方法により算出された画像についての自己相関値を参照して補間画素を生成するための補間画素生成方法、それらの方法を行なうための装置並びにそれらの方法をコンピュータに行なわせるためのプログラムに関する。
【背景技術】
【0002】
従来、パーソナルコンピュータで、テレビを視聴する場合、NTSC(National Television Standards Committee)方式、PAL(Phase Alternation by Line)方式又はSECAM(SEquential Couleur A Memoire)方式のインターレス映像信号をパーソナルコンピュータのノンインターレス(プログレッシブ)・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームに、コーミング(combing)除去処理を施していた。
【0003】
上記処理をした場合、1秒間に表示されるフレーム数は、約30又は約25であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。
【0004】
このような、問題を改善するための方法として、例えば、NTSC信号の各フィールドをそれぞれ1つのフレームに変換して、1秒間に約60フレーム表示できるようにするインターレス/プログレッシブ変換方法がある。このインターレス/プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。
【0005】
補間画素を生成するべき位置である対象位置が動き部分に含まれると判断された場合には、その対象位置を含むフィールド内の実在する画素を用いて補間画素を生成する。そのためには、例えば、フレームにおいて対象位置の上隣にある画素と下隣にある画素との平均値を補間画素の値とする。しかし、このように補間画素を生成すると、対象位置が物体の輪郭付近にある場合には、その輪郭がぼやけてしまう。
【0006】
そこで、対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法がある(例えば、特許文献1第53〜54段落参照。)。
【0007】
図1及び図2は、このような方法により生成された補間画素を示すものである。図1及び図2において、垂直方向に並ぶ数字はフレームにおける走査線の番号を表し、水平方向に並ぶ数字は走査線に並ぶ画素の番号を表す。第2走査線は、補間されるべき走査線である。また、画像の内容は、レベルが100の白の背景の前に、レベルが0の黒の物体があるものとしている。
【0008】
図1(a)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が1画素ずれている場合のものである。画素(1、5)と画素(3、5)とを結ぶ直線の方向(垂直方向)の自己相関値を例えば両画素の絶対差分により表し、画素(1、6)と画素(3、4)とを結ぶ直線の方向(第1斜め方向)の自己相関値を同様に両画素の絶対差分により表し、画素(1、7)と画素(3、3)とを結ぶ直線の方向(第2斜め方向)の自己相関値を同様に両画素の絶対差分により表し、画素(1、8)と画素(3、2)とを結ぶ直線の方向(第3斜め方向)の自己相関値を同様に両画素の絶対差分により表すと、全ての方向の自己相関値が等しくなってしまうが、自己相関値を算出するために利用した2つの画素の平均値を補間画素の値とするならば、どの方向が選択されても、補間画素の値は50となる。
【0009】
図1(b)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が2画素ずれている場合のものである。第1斜め方向の自己相関値が最も高く(絶対差分が小さいことは、自己相関値が大きいことを示す。)、この方向に対応した補間フィルタ(画素(1、6)と画素(3、4)の平均値を補間値とするフィルタ)によりレベル100の補間値が生成される。仮に、単純に上下の画素(画素(1、5)と画素(3、5))の平均値を補間値とすると補間値は50となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。
【0010】
図1(c)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が3画素ずれている場合のものである。画素(2、4)については、第1斜め方向及び第2斜め方向の自己相関値が最も高く、これらのうちの何れかの方向に対応した補間フィルタ(画素(1、5)と画素(3、3)の平均値を補間値とするフィルタ、又は、画素(1、6)と画素(3、2)の平均値を補間値とするフィルタ)によりレベル50の補間値が生成される。同様な処理により対象位置(2、5)のレベルは50となり、対象位置(2、6)のレベルは0となる。仮に、単純に上下の画素の平均値を補間値とするとこれらの3つの対象位置の補間値は50となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。
【0011】
図1(d)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が4画素ずれている場合のものである。
【0012】
図2(a)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が5画素ずれている場合のものである。
【0013】
図2(b)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が6画素ずれている場合のものである。
【0014】
従って、第1走査線と第3走査線との間で、物体の輪郭が何画素ずれていようと、自己相関値が最も高い方向(そのずれ量に応じて変化する)を検出し、その方向に対応した補間フィルタを用いて補間画素の値を算出することにより、物体の輪郭を明確にさせることができる。
【特許文献1】特開2001−352525号公報
【発明の開示】
【発明が解決しようとする課題】
【0015】
しかし、上記の対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法には、次に説明するような問題点がある。
【0016】
図3(a)を参照すると、第1走査線、第3走査線、第5走査線及び第7走査線には実在画素が存在する。また、白地の背景に水平方向に約4〜5画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第n走査線から第(n+2)走査線の間では、約4画素シフトしている。
【0017】
図3(a)は、正しく補間された場合の第4走査線の画素の明度(レベル)を示す。第4走査線の画素は、第2斜め方向の補間フィルタ(例えば、対象画素をx(i,j)とした場合、その値を((x(i−1、j+2)+x(i+1、j−2))/2とするフィルタ)により補間されている。特に、対象位置(4、6)の画素は、位置(3、8)の画素(レベルが50)と位置(5、4)(レベルが0)の画素により補間され、対象位置(4、6)の画素のレベルは、25となっている。
【0018】
しかし、例えば、自己相関値が最大である方向の候補として選択される複数の方向が第(−3)斜め方向(対象位置を(i,j)とした場合、位置(i−1、j−3)と位置(i+1、j+3)とを結ぶ方向)から第3斜め方向(対象位置を(i,j)とした場合、位置(i−1、j+3)と位置(i+1、j−3)とを結ぶ方向)までの範囲にある場合、図3(b)に示すように、対象位置(4、6)に関しては、第(−3)斜め方向の自己相関値が最大となるため、位置(3、3)の画素(レベルが100)と位置(5、9)(レベルが100)の画素により補間され、対象位置(4、6)の画素のレベルは、100となっている。つまり、対象位置(4、6)の補間画素のレベルは、正しく補間された場合には図3(a)に示すように25になるのに対し、自己相関値の誤検出により100となってしまう。
【0019】
第4走査線にある他の画素は正しく補間されたとしても、図3(b)に示すように、第4走査線における物体の水平方向の幅は3.5画素となってしまい、他の走査線における物体の幅4〜5画素と異なってしまう。
【0020】
図4(a)を参照すると、第1走査線、第3走査線、第5走査線及び第7走査線には実在画素が存在する。また、白地の背景に水平方向に約1画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第n走査線から第(n+2)走査線の間では、約1/2画素シフトしている。
【0021】
図4(a)は、正しく補間された場合の第2走査線、第4走査線及び第6走査線の画素の明度(レベル)を示す。しかし、従来は、このような正しい補間をすることができなかった。
【0022】
図4(b)を参照すると、自己相関値が最大である方向の候補として選択される複数の方向が第(−D)斜め方向(対象位置を(i,j)とした場合、位置(i−1、j−D)と位置(i+1、j+D)とを結ぶ方向)(Dは3以上)から第D斜め方向(対象位置を(i,j)とした場合、位置(i−1、j+D)と位置(i+1、j−D)とを結ぶ方向)(Dは3以上)までの範囲にある場合には次のようになる。
【0023】
すなわち、図3(b)に示すように、対象位置(2、5)に関しては、全ての方向の自己相関値が同一となるため、どの方向の補間フィルタにより補間画素を生成するべきであるのか決定することができなくなる。垂直方向の補間フィルタを用いれば補間画素のレベルは正しく0となるが、例えば、複数の方向の自己相関値が同一である場合にはそれらの方向のうちの最も垂直に近い方向を選択するというような優先順位を設けていない限り、垂直方向の補間フィルタを必ず選択するようなことはできない。垂直方向以外の方向の補間フィルタを用いると補間画素のレベルは100となってしまう。
【0024】
対象位置(6、4)に関しては、対象位置(2、5)と同様であり、対象位置(6、4)の補間画素のレベルも0となることが確実ではなく、100となってしまう場合がある。
【0025】
対象位置(4、4)に関しては、垂直方向及び第1斜め方向の自己相関値が最小となり、この2つの方向以外の方向の自己相関値が相互に等しく、且つ、最大となる。従って、垂直方向及び第1斜め方向の補間フィルタを利用しない。例えば、第(−1)斜め方向を用いると、対象位置(4、4)の補間画素のレベルは100となってしまう。
【0026】
対象位置(4、5)に関しては、対象位置(4、4)と同様であり、対象位置(4、5)の補間画素のレベルも100となってしまう。
【0027】
従って、第2走査線、第4走査線及び第6走査線の全補間画素のレベルが100となる。従って、正しく補間された場合には、図4(a)に示すように一直線に繋がる黒い物体が、自己相関値の誤検出により、図4(b)に示すように、破線状の物体に化けてしまう。
【0028】
そこで本発明は、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を正しく算出するための自己相関値算出方法、その装置及びそのプログラムを提供することを目的とする。
【0029】
また、本発明は、そのような自己相関値算出方法、その装置及びそのプログラムを利用した補間画素生成方法、その装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0030】
図3(a)、(b)を参照して説明した問題点は、図3(b)の例を用いて説明すると、位置(3、3)と位置(5、9)とを結ぶ線分における画像の自己相関値が、正しく算出されたとするならば、黒い物体の存在により小さくなるべきであるのに、位置(3、3)にある実在画素と位置(5、9)にある実在画素のみに基づいて算出されるので、大きくなってしまうということである。
【0031】
すなわち、位置(3、3)と位置(5、9)とを結ぶ線分の方向の相関値が最大である場合には、これらの位置に実在する画素を利用して対象位置(4、6)の補間画素を生成するのであるから、これらの位置の実在する画素を基にこの方向の自己相関値を算出することは、基本的には間違っていない。
【0032】
しかし、対象位置(4、6)と位置(3、3)との間には約3.16画素分の距離(=1(=4−1)の自乗と3(=6−3)の自乗の和の平方根)があり、同様に、対象位置(4、6)と位置(5、9)との間にも約3.16画素分の距離がある。両者を併せて、自己相関値を算出するために用いた2画素の間には約6.32画素分の距離がある。従って、この距離の範囲にある画像の内容は無視されている。従来技術では、この長い距離の範囲にある画像の内容を無視することに起因して、自己相関値が誤って算出されていた。
【0033】
従って、この長い距離の範囲にある画像の内容も考慮して、当該方向の自己相関値を算出すればよいのであるが、対象位置を通過し、且つ、当該方向に伸びる方向の直線には、実在する画素がない。
【0034】
そこで、対象位置(4、6)を通過し、且つ、当該方向(位置(3、3)から位置(5、9)までを結ぶ方向)に伸びる直線のうちの位置(3、3)から位置(5、9)までの範囲にある線分における画像に近似した画像を表すような実在画素も利用して、対象位置(4、6)から見た当該方向の当該範囲の自己相関値を算出する。
【0035】
そして、このような実在画素として位置(3、3)から位置(3、9)までの範囲にある実在画素と位置(5、3)から位置(5、9)までの範囲にある実在画素を選択する。すなわち、対象位置を含む複数画素群線(補間されるべき走査線(第4走査線))に隣接する第1の複数画素群線(実在する走査線(第3走査線))に含まれる複数の画素のうちの当該方向の直線に乗る画素(位置(3、3)の画素)を第1画素とする。また、対象位置を含む複数画素群線に隣接する第2の複数画素群線(実在する走査線(第5走査線))に含まれる複数の画素のうちの当該方向の直線に乗る画素(位置(5、9)の画素)を第2の画素とする。そして、第1の複数画素群線に含まれる複数の画素のうちの第1の複数画素群線に沿った方向(水平方向)で見て第1の画素から第2の画素までの範囲にある複数の画素と、第2の複数画素群線に含まれる複数の画素のうちの第2の複数画素群線に沿った方向(水平方向)で見て第1の画素から第2の画素までの範囲にある複数の画素も利用して、対象位置から見た当該方向の当該範囲の自己相関値を算出する。
【0036】
こうすることにより、サンプル抜けによる自己相関値の誤りを減らすことができる。
【0037】
図4(a)、(b)を参照して説明した第1の問題点は、図4(b)の例を用いて説明すると、例えば、対象位置(2、5)から見た場合、本来、垂直方向の自己相関値が最大であるべきであるのに対し、他の方向の自己相関値も垂直方向の自己相関値と同一となってしまうことである。この問題点も、垂直方向以外の方向の自己相関値を算出するためには、当該方向の当該範囲の両端にある画素(例えば、第(−1)方向であれば、位置(1、4)にある画素と位置(3、6)にある画素)の間にある画素も自己相関値を算出するための基礎としなければならないのに、当該方向の当該範囲の両端にある画素のみに基づいて自己相関値を算出することにより生じている。しかし、当該方向の当該範囲の両端にある画素の間に実在する画素はない(例えば、対象位置(2、5)には実在画素はないし、他の中間位置にも画素がない。)。
【0038】
この問題も、上記と同様な方法により解決することができる。すなわち、この例では、位置(1、4)から位置(1、6)までの範囲にある実在画素と位置(3、4)から位置(3、6)までの範囲にある実在画素にも基づいて自己相関値を算出する。
【0039】
図4(a)、(b)を参照して説明した第2の問題点は、図4(b)の例を用いて説明すると、例えば、対象位置(4、4)から見た場合、本来、第(1/4)方向(位置(3、4.25)と位置(5、3.75)を結ぶ方向)の自己相関値が最大であるべきであるのに対し、第(−1)方向、第(−2)方向等の自己相関値が最大となってしまうことである。これは、第(1/4)方向を無視して候補にしていないことに起因する。従って、第(1/4)方向も候補として、第(1/4)方向の自己相関値も算出することにより解決することができる。しかし、隣接走査線(第3走査線と第5走査線)上に第(1/4)方向の実在画素がない。そこで、隣接走査線(第3走査線と第5走査線)上に第(1/4)方向の補間画素を生成し、その補間画素を基にこの方向の自己相関値を算出する。
【0040】
図4の例でいえば、位置(3、4)の実在画素と位置(3、5)の位置の実在画素を基に、位置(3、4.25)の補間画素を生成し、位置(5、3)の実在画素と位置(5、4)の位置の実在画素を基に、位置(5、3.75)の補間画素を生成し、これらの補間画素を基に第(1/4)方向の自己相関値を算出する。
【0041】
そうすると、位置(3、4.25)の補間画素の値は75となり、位置(5、3.75)の補間画素の値は25となり両者の絶対差分は50となる。これが、第(1/4)方向の自己相関値の指標を表す(但し、絶対差分が小さいほど、自己相関値が大きいことを示す)。他方、第0方向の絶対差分値は100である。また、第1方向の絶対差分値は100である。第(−1)方向の絶対差分値は、単純に2画素の絶対差分から求めると0であるが、上述したように、隣接走査線の実在画素も基にして適切に算出すれば、50を上回る。そうすると、第(1/4)方向の自己相関値が最大となる。
【0042】
また、実施形態で説明する方法により第1方向の自己相関値及び第(−1)方向の自己相関値を算出すると、それらの値は、それぞれ、100及び50となる。そうすると、第(1/4)方向の自己相関値と第(−1)方向の自己相関値が等しくなってしまう。しかし、第0方向と第1方向の間で候補に入れる方向を第(1/2)方向のみとし、第0方向と第(−1方向)の間で候補に入れる方向を第(−1/2)方向のみとし、第(1/2)方向が第q方向(qは、0を超え、1未満の任意の数)を代表し、第(-1/2)方向が第(−q)方向(qは、0を超え、1未満の任意の数)を代表するようにした場合には、図4(a)、(b)の例の対象位置(4、4)については、位置(3、4.5)の補間画素の値は50となり、位置(5、3.5)の補間画素の値は50となる。従って、第(1/4)方向を代表する方向である第(1/2)方向の相関値を表す数値として、両補間画素の絶対差分を計算すると0となる。そうすると、実施形態で説明する方法により第1方向の自己相関値及び第(−1)方向の自己相関値を算出した場合であっても、第(1/2)方向が自己相関値が最大である方向となる。これに応じて、第(1/2)方向に対応した方向性を有する補間フィルタで補間値を生成する。
【0043】
本発明の第1の観点によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備えることを特徴とする自己相関値算出方法が提供される。
【0044】
本発明の第1の観点による自己相関値算出方法において、前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であるようにしてもよい。
【0045】
本発明の第1の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であるようにしてもよい。
【0046】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。
【0047】
本発明の第1の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであるようにしてもよい。
【0048】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであるようにしてもよい。
【0049】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。
【0050】
本発明の第1の観点による自己相関値算出方法において、前記第2算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出するようにしてもよい。
【0051】
本発明の第2の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップでは、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、本発明の第1の観点による自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法が提供される。
【0052】
本発明の第2の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であるようにしてもよい。
【0053】
本発明の第2の観点による補間画素生成方法において、前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0054】
本発明の第2の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。
【0055】
本発明の第2の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。
【0056】
本発明の第2の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。
【0057】
本発明の第3の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法が提供される。
【0058】
本発明の第3の観点による補間画素生成方法において、前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0059】
本発明の第4の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップは、前記複数の方向のうちの少なくとも1つの方向について、入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブステップと、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブステップと、前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブステップと、を備えることを特徴とする補間画素生成方法が提供される。
【0060】
本発明の第4の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であるようにしてもよい。
【0061】
本発明の第4の観点による補間画素生成方法において、記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0062】
本発明の第4の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。
【0063】
本発明の第4の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。
【0064】
本発明の第4の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。
【発明の効果】
【0065】
本発明によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備えるので、正しい相関値を算出することができる。
【発明を実施するための最良の形態】
【0066】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【0067】
図5は、本発明の実施形態によるインターレス/プログレッシブ変換装置の構成を示すブロック図である。
【0068】
第1のフィールド・メモリ101−1は、処理対象となっているフィールドの1つ先のフィールドの画像データを格納する。第2のフィールド・メモリ101−2は、処理対象となっているフィールドの画像データを格納する。第3のフィールド・メモリ101−3は、処理対象となっているフィールドの1つ前のフィールドの画像データを格納する。
【0069】
画像データ書込部103は、第1乃至第3のフィールド・メモリ101−1、101−2及び101−3に画像データを書き込む。なお、第1乃至第3のフィールド・メモリ101−1、101−2及び101−3をリング・バッファ構成とし、循環的に、3つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【0070】
動画補間画素生成部105は、第2のフィールド・メモリ101−2に格納されている画像データを基に、動画補間画素を生成する。
【0071】
動画補間画素生成部105は、基本的には、例えば、現在処理の対象となっているフィールドの番号をn、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をi、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をjとした場合、式(1)に従って、動画補間画素A(n,i,j)を生成する。ここで、iは、実在する走査線と補間するべき走査線とを合わせて数えた場合の位置である。
【0072】
【数1】
ここで、x(n,i−1,j)は、処理の対象となっているフィールドの処理の対象となっている画素の1つ上の画素の値であり、x(n,i+1,j)は、処理の対象となっているフィールドの処理の対象となっている画素の1つ下の画素の値である。上記では、これらの2つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの2つの画素のうちの1つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【0073】
また、動画補間画素生成部105は、処理の対象となっているフィールドの補間するべき位置にある各画素について、その画素の動き量(動き量計算部121から入力する。)が所定のしきい値以上である場合には、斜め線補正の処理を行なう。しきい値としては、典型的には、静止を表すゼロを用いたり、非常に小さい動きを表す値を用いたりするが、他の値を用いてもよい。そして、式(1)等により求めたA(n,i,j)を破棄して、斜め線補正の処理により得られた値を新たな動画補間画素A(n,i,j)とする。斜め線補正の処理については後述する。
【0074】
静止画補間画素生成部107は、第1のフィールド・メモリ101−1に格納されている画素データ及び第3のフィールド・メモリ101−3に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をn、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をi、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をjとした場合、式(2)に従って、動画補間画素B(n,i,j)を生成する。
【0075】
【数2】
ここで、x(n−1,i,j)は、処理の対象となっているフィールドの1つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値であり、x(n+1,i,j)は、処理の対象となっているフィールドの1つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値である。上記では、これらの2つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの2つの画素のうちの1つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【0076】
差分計算部109は、処理の対象となっているフィールドの処理の対象となっている画素についての差分C(n,i,j)を式(3)に従って求める。
【0077】
【数3】
ここで、x(n−1,i,j)は、処理の対象となっているフィールドの1つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値であり、x(n+1,i,j)は、処理の対象となっているフィールドの1つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値である。差分C(n,i,j)は、動き量の基本となる。
【0078】
差分補正部111は、式(4)に従って、Cを補正することにより、補正された差分D(n,i,j)を求める。
【0079】
【数4】
ここで、Δcの値は、ノイズのレベル等により決定され、補正値保持部113に格納されている。
【0080】
差分累積部115は、累積動き量メモリ117に格納されている累積動き量m(i,j)を式(5)に従って更新する。
【0081】
【数5】
ここで、THの値は、視覚特性等により決定され、しきい値保持部119に格納されている。THの値は、例えば、16である。
【0082】
上式に従って、累積動き量m(i,j)を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量m(i,j)は、その前のフィールドでの累積動き量にその動きの量を加算してから1引いた値又は、動き量が大きい場合には、しきい値THとなり、それから1フィールド経過する度に1ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式(5)を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式(5)を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、その部分から動きが検出されることがないので、式(5)を導入しても、間違って、動画部であると判断されることはない。
【0083】
動き量計算部121は、式(6)に従って動き量M(i,j)を算出する。
【0084】
【数6】
合成補間画素生成部123は、式(7)に従って合成補間画素x’(n,i,j)を計算する。
【0085】
【数7】
選択部125は、ライン毎に実在画素x(n,i,j)と補間画素x’(n,i,j)を切り換えて、プログレッシブ走査の画像データを出力する。
【0086】
なお、図5に示すインターレス/プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図5に示すインターレス/プログレッシブ変換装置として機能させるためのプログラムをコンピュータが記録媒体から読み込んで実行することによっても実現することができる。
【0087】
次に、式(6)に従って動き量M(i,j)を計算することの効果について説明する。
【0088】
図6に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量m(i,j)を式(8)に従って計算するものとする。
【0089】
【数8】
そうすると、式(6)を用いずに、仮に、式(9)に従って、動き量M(i,j)を計算することとすると、図6に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【0090】
【数9】
すなわち、図6において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素134と画素334との差分の絶対値が画素234の動き量となるが、この値はゼロであるため、画素234は、静止画画素であると間違って判断される。そうすると、画素134と画素334の平均値が画素234の補間値となり、画素234は白となってしまう。画素214、254についても同様である。そうすると、画素224、244、264が正しく黒であるのに対し、画素214、234、254は間違って白となってしまい、コーミングが発生する。
【0091】
一方、本発明に従って、式(6)に従って、動き量M(i,j)を計算することとすると、図7に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【0092】
すなわち、図7において、図6の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素134と画素334との差分の絶対値に画素044と画素244との差分の絶対値の和としきい値THのうちの大きい方が画素234の動き量となるが、この大きい方の値はしきい値THであるため、画素234は、動画画素であると正しく判断される。そうすると、画素224と画素244の平均値が画素234の補間値となり、画素234は黒となる。画素214、254についても同様である。そうすると、画素224、244、264が正しく黒であり、且つ、画素214、234、254も正しく黒であるため、コーミングは発生しない。
【0093】
このように、式(6)に従って動き量M(i,j)を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【0094】
次に、図5に示すインターレス/プログレッシブ変換装置により行われるインターレス/プログレッシブ変換方法について説明する。
【0095】
図8を参照すると、まず、動画補間画素生成部105は、式(1)に従って、動画補間画素を生成する(ステップS201)。次に、静止画補間画素生成部107は、式(2)に従って、静止画補間画素を生成する(ステップS203)。次に、差分計算部109は、式(3)に従って、差分を計算する(ステップS205)。次に、差分補正部111は、式(4)に従って、差分を補正する(ステップS207)。次に、差分累積部115は、式(5)に従って、累積動き量を更新する(ステップS209)。次に、動き量計算部121は、式(6)に従って、動き量を計算する(ステップS211)。次に、動画補間画素生成部105は、動き量計算部121が計算した動き量が所定のしきい値以上であるか否かを判断する(ステップS213)。そうである場合には、動画補間画素生成部105は、斜め線補正の処理を行なう(ステップS215)。次に、合成補間画素生成部123は、式(7)に従って、合成補間画素を生成する(ステップS213)。
【0096】
次に、動画補間画素生成部105が行なう斜め線補正処理について説明する。斜め線補正処理は、現在処理の対象となっているフィールド内の全ての補間画素について行なう。
【0097】
なお、計算を簡単にするために、相関値を表す数値として、ある画素のレベルと他のある画素のレベルとの絶対差分又はこの絶対差分を基に算出した数値を利用するが、このような絶対差分と数値は、相関値が大きい場合に小さくなるため、このような数値に相関値という用語を適用すると大小関係において誤解を招くおそれがあるので、このような数値に変化度という用語を適用することとする。従って、変化度が大きければ相関値が小さいことを示し、逆に、変化度が小さければ相関値が大きいことを示す。また、変化度が最小であれば相関値が最大であることを示す。以下では、相関値という用語の代わりに変化度という用語を用いて説明を行なう。
【0098】
図9を参照すると、現在、処理対象位置にある対象画素がエッジ部にあるか否かを判断する(ステップS301)。例えば、対象画素の上下の画素の絶対差分値が所定のしきい値以上である場合に、対象画素がエッジ部にあると判断する。対象画素がエッジ部にない場合には(ステップS301でNO)、斜め線処理を対象画素に対して行なっても画質改善の効果が薄いため、演算装置の負荷を軽減することも考慮して、斜め線処理をスキップする。
【0099】
対象画素がエッジ部にある場合には(ステップS301でYES)、垂直方向の変化度と補間値を算出する(ステップS303)。
【0100】
図10を参照すると、ステップS303では、まず、垂直方向の変化度V(0)を算出する(ステップS303−1)。例えば、対象画素の直上にある実在画素と直下にある実在画素との絶対差分を、垂直方向の変化度V(0)とする。次に、補間方向として垂直方向を選択した場合に用いられるべき補間値C(0)を垂直方向に対応した補間フィルタにより算出する(ステップS303−3)。例えば、対象画素の直上にある実在画素と直下にある実在画素との平均値を、補間方向として垂直方向を選択した場合に用いられるべき補間値C(0)とするが、これに限られるわけではない。次に、変化度V(0)を暫定の最終的な変化度V(FIN)に代入して(ステップS303−5)、補間値C(0)を対象画素の暫定の最終的な補間値C(FIN)に代入する(ステップS303−7)。
【0101】
図9に戻り、ステップS303の次に、第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値を算出する(ステップS305)。
【0102】
図11を参照すると、ステップS305では、まず、4つの中間画素の値を算出する(ステップS305−1)。4つの中間画素とは、図13に示すような四角と丸を重ねた図形で表す画素X’(−1、−1/2)、画素X’(−1、+1/2)、画素X’(+1、−1/2)及び画素X’(+1、+1/2)である。なお、図13において、左側に縦方向に並ぶ数字−1、0、+1は、フレームで見た場合の対象画素が含まれる走査線を基準とした相対的な走査線番号であり、上側に横方向に並ぶ数字−2〜+2は、対象画素を基準とした相対的な走査線内画素番号である。四角で表す画素は実在画素である。丸で表す画素は対象画素である。
【0103】
次に、第(1/2)斜め方向の変化度V(1/2)を算出する(ステップS305−3)。例えば、中間画素X’(−1、+1/2)と中間画素X’(+1、−1/2)の絶対差分を、第(1/2)斜め方向の変化度V(1/2)とする。次に、第(1/2)斜め方向を補間方向として選択した場合に用いられるべき補間値C(1/2)をこの方向に対応した補間フィルタにより算出する(ステップS305−5)。例えば、中間画素X’(−1、+1/2)と中間画素X’(+1、−1/2)の平均値を補間値C(1/2)とするが、これに限られるわけではない。
【0104】
次に、第(−1/2)斜め方向の変化度V(−1/2)を算出する(ステップS305−7)。例えば、中間画素X’(−1、−1/2)と中間画素X’(+1、+1/2)の絶対差分を、第(−1/2)斜め方向の変化度V(−1/2)とする。次に、第(−1/2)斜め方向を補間方向として選択した場合に用いられるべき補間値C(−1/2)をこの方向に対応した補間フィルタにより算出する(ステップS305−9)。例えば、中間画素X’(−1、−1/2)と中間画素X’(+1、+1/2)の平均値を補間値C(−1/2)とするが、これに限られるわけではない。
【0105】
図12を参照すると、次に、第(1/2)斜め方向の変化度V(1/2)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS305−11)。これは、第(1/2)斜め方向の相関値R(1/2)が暫定の最終的な相関値R(FIN)よりも大きいか否かを判断することに対応する。ステップS305−11の判断結果が肯定的である場合には、第(1/2)斜め方向の変化度V(1/2)を、暫定の最終的な変化度V(FIN)に代入して(ステップS305−13)、第(1/2)斜め方向の補間値C(1/2)を暫定の最終的な補間値C(FIN)に代入する(ステップS305−15)。
【0106】
次に、第(−1/2)斜め方向の変化度V(−1/2)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS305−17)。これは、第(−1/2)斜め方向の相関値R(−1/2)が暫定の最終的な相関値R(FIN)よりも大きいか否かを判断することに対応する。ステップS305−17の判断結果が肯定的である場合には、第(−1/2)斜め方向の変化度V(−1/2)を、暫定の最終的な変化度V(FIN)に代入して(ステップS305−19)、第(−1/2)斜め方向の補間値C(−1/2)を暫定の最終的な補間値C(FIN)に代入する(ステップS305−21)。
【0107】
図9に戻り、ステップS305の次に、第1斜め方向と第(−1)斜め方向の変化度と補間値を算出する(ステップS307)。
【0108】
図14を参照すると、ステップS307では、まず、第1斜め方向の離散変化度VD(1)を算出する(ステップS307−1)。ここで、「離散」とは、この変化度を算出するために用いる画素が離れていることを示す。例えば、対象位置から垂直方向に1、水平方向に−1離れた実在画素X(1、−1)と対象位置から垂直方向に−1、水平方向に1離れた実在画素X(−1、1)の絶対差分を、第1斜め方向の離散変化度VD(1)とする。次に、第1斜め方向を補間方向として選択した場合に用いられるべき補間値C(1)をこの方向に対応した補間フィルタにより算出する(ステップS307−3)。例えば、実在画素X(1、−1)と実在画素X(−1、1)の平均値を補間値C(1)とするが、これに限られるわけではない。
【0109】
次に、第(−1)斜め方向の離散変化度VD(−1)を算出する(ステップS307−5)。例えば、対象位置から垂直方向に1、水平方向に1離れた実在画素X(1、1)と対象位置から垂直方向に−1、水平方向に−1離れた実在画素X(−1、−1)の絶対差分を、第(−1)斜め方向の離散変化度VD(−1)とする。次に、第(−1)斜め方向を補間方向として選択した場合に用いられるべき補間値C(−1)をこの方向に対応した補間フィルタにより算出する(ステップS307−7)。例えば、実在画素X(1、1)と実在画素X(−1、−1)の平均値を補間値C(−1)とするが、これに限られるわけではない。
【0110】
次に、第1斜め方向の離散変化度VD(1)と第(−1)斜め方向の離散変化度VD(−1)の最小値を第(±1)斜め方向の離散変化度VD(±1)として設定する(ステップS307−9)。従って、第(±1)斜め方向の離散変化度VD(±1)は、第1斜め方向と第(−1)斜め方向のうち離散変化度が小さい方向の離散変化度を表すこととなる。また、第(±1)斜め方向の離散変化度VD(±1)は、第1斜め方向と第(−1)斜め方向のうち離散自己相関値が大きい方向の離散自己相関値に対応した離散変化度を表すこととなる。
【0111】
次に、対象位置の上側隣接線での隣接線方向の変化度VU(±1)を算出する(ステップS307−11)。例えば、図16(a)を、N=1として見ればわかるように、実在画素X(−1、−1)と実在画素X(−1、0)との絶対差分と実在画素X(−1、0)と実在画素X(−1、1)との絶対差分のうちの最大値を変化度VU(±1)とする。従って、上側隣接線の実在画素のうちの対象位置から見て水平方向に−1画素ずれた位置から+1画素ずれた位置までの範囲にある3つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度VU(±1)となる。従って、この範囲における最大の変化を変化度VU(±1)が表すこととなる。従って、上側隣接線での隣接線方向の変化度VU(±1)は、第1斜め方向の離散変化度VD(1)や第(−1)斜め方向の離散変化度VD(−1)で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。
【0112】
次に、対象位置の下側隣接線での隣接線方向の変化度VL(±1)を算出する(ステップS307−13)。例えば、図16(b)を、N=1として見ればわかるように、実在画素X(1、−1)と実在画素X(+1、0)との絶対差分と実在画素X(1、0)と実在画素X(1、1)との絶対差分のうちの最大値を変化度VL(±1)とする。従って、下側隣接線の実在画素のうちの対象位置から見て水平方向に−1画素ずれた位置から+1画素ずれた位置までの範囲にある3つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度VL(±1)となる。従って、この範囲における最大の変化を変化度VL(±1)が表すこととなる。従って、下側隣接線での隣接線方向の変化度VL(±1)は、上側隣接線での隣接線方向の変化度VU(±1)と同様に、第1斜め方向の離散変化度VD(1)や第(−1)斜め方向の離散変化度VD(−1)で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。
【0113】
次に、対象位置の上側隣接線での隣接線方向の変化度VU(±1)と対象位置の下側隣接線での隣接線方向の変化度VL(±1)の最小値を第(±1)隣接線方向変化度VH(±1)として設定する(ステップS307−15)。従って、第(±1)隣接線方向変化度VH(±1)は、上側隣接線における隣接線方向の変化度VU(±1)と下側隣接線における隣接線方向の変化度VL(±1)のうちの小さい方の変化度を表すこととなる。すなわち、第(±1)隣接線方向変化度VH(±1)は、上側隣接線における自己相関値と下側隣接線における自己相関値のうちの大きい方の自己相関値に対応した変化度を表すこととなる。
【0114】
上記の処理において、VH(±1)=f(VU(±1)、VL(±1))とした場合、関数fとしてMINを選択する理由は次の通りである。すなわち、VU(±1)、VL(±1)は一定の範囲内(ここの時点での説明では横方向3画素の範囲内)で横方向の変化の最大を示すが、これらの値が小さいと、この範囲での画像は変化の少ないなだらかなものであることを示し、これらの値が大きいとこの範囲での画像は変化の大きいものであることを示す。斜め線補正処理では複数の斜め方向の候補から一番変化の少ない方向を補間方向とするので、ここではMINを選択する必要がある。
【0115】
例えば、対象位置を通り、1つの画素の幅を有する縦線状の黒い物体(レベル0)が白い背景(レベル100)の前にあるとすると、第1斜め方向の離散変化度VD(−1)と第(−1)斜め方向の離散変化度VD(1)は、共にゼロ(=100−100)となるため、黒い物体の存在がこれらの変化度に反映されないが、上側隣接線での隣接線方向の変化度VU(±N)と下側隣接線の隣接線方向の変化度VL(±N)は、共に100(=MAX(ABS(0−100)、ABS(100−0)))となり、黒い物体の存在がこれらの変化度に反映される。また、第(±1)斜め方向の離散変化度VD(±1)はゼロ(=MIN(0、0))となり、第(±1)隣接線方向の変化度VB(±1)は100(=MIN(100、100))となる。
【0116】
次に、第(±1)斜め方向の離散変化度VD(±1)と第(±1)隣接線方向変化度VH(±1)を基に、最終的な第(±1)斜め方向変化度V(±1)を算出する(ステップS307−17)。例えば、下式のように第(±1)斜め方向の離散変化度VD(±1)と第(±1)隣接線方向変化度VH(±1)の加重平均値を最終的な第(±1)斜め方向変化度V(±1)として設定する。
【0117】
V(±1)=α×VD(±1)+(1−α)×VH(±1)
但し、
0<α<1
または、V(0)やV(±1/2)では、VH(0)やVH(±1/2)を含めないことを考慮して、下式のように第(±1)斜め方向の離散変化度VD(±1)に第(±1)隣接線方向変化度VH(±1)の要素を加算しても良い。
【0118】
V(±1)=VD(±1)+α×VH(±1)
但し、
0<α<1
従って、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さい(従って、第1斜め方向の離散自己相関値が第(−1)斜め方向の離散自己相関値よりも大きい)場合には、最終的な第(±1)斜め方向変化度V(±1)は、第(−1)斜め方向の離散変化度VD(−1)には基づかず、第1斜め方向の離散変化度VD(1)と第(±1)隣接線方向変化度VH(±1)に基づいて算出されるようになる。従って、第(±1)隣接線方向変化度VH(±1)を第1斜め方向の離散変化度VD(1)の誤りを補正する因子としてみれば、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さい場合には、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向変化度V(1)を表すこととなる。
【0119】
同様に、第(−1)斜め方向の離散変化度VD(−1)が第1斜めの離散方向変化度VD(1)よりも小さい(従って、第(−1)斜め方向の離散自己相関値が第1斜め方向の離散自己相関値よりも大きい)場合には、最終的な第(±1)斜め方向変化度V(±1)は、第(−1)斜め方向変化度V(−1)を表すこととなる。
【0120】
従って、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向と第(−1)斜め方向のうち変化度が小さい方向の変化度V(1)又はV(−1)を表すこととなる。また、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向と第(−1)斜め方向のうち自己相関値が大きい方向の自己相関値に対応した変化度V(1)又はV(−1)を表すこととなる。
【0121】
図15を参照すると、次に、第(±1)斜め方向の変化度V(±1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS307−19)。これは、第1斜め方向又は第(−1)斜め方向のうちの変化度が小さい方向の変化度V(1)又はV(−1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断することに対応し、また、第1斜め方向又は第(−1)斜め方向のうちの自己相関値が大きい方向の自己相関値に対応した変化度V(1)又はV(−1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断することにも対応する。
【0122】
ステップS307−19の判断結果が肯定的である場合には、第(±1)斜め方向の変化度V(±1)を、暫定の最終的な変化度V(FIN)に代入する(ステップS307−21)。
【0123】
ステップS307−21の次に、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さいか否かを判断する(ステップS307−23)。
【0124】
ステップS307−23の判断結果が肯定的である場合には、第1斜め方向の補間値C(1)を暫定の最終的な補間値C(FIN)に代入し(ステップS307−25)、ステップS307−23の判断結果が否定的である場合には、第(−1)斜め方向の補間値C(−1)を暫定の最終的な補間値C(FIN)に代入する(ステップS307−27)。
【0125】
従って、ステップS307では、第1斜め方向の変化度V(1)が第(−1)斜め方向の変化度V(−1)よりも小さく、且つ、第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)よりも小さい場合(従って、第1斜め方向の自己相関値が第(−1)斜め方向の自己相関値よりも大きく、且つ、第1斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合)には、第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)として設定され、第1斜め方向に対応した補間値C(1)が暫定の最終的な補間値C(FIN)として設定される。他方、第(−1)斜め方向の変化度V(−1)が第1斜め方向の変化度V(1)よりも小さく、且つ、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)よりも小さい場合(従って、第(−1)斜め方向の自己相関値が第1斜め方向の自己相関値よりも大きく、且つ、第(−1)斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合)には、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)として設定され、第(−1)斜め方向に対応した補間値C(−1)が暫定の最終的な補間値C(FIN)として設定される。他の場合(第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)以上であり、且つ、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)以上である場合)には、暫定の最終的な変化度V(FIN)と暫定の最終的な補間値C(FIN)は更新されない。
【0126】
図9に戻り、ステップS307の次に、CPUの現在の負荷はA1パーセント以上であるか否かを判断する(ステップS309)。そうである場合には(ステップS309でYES)、ステップS311、S313及びS315をスキップして、ステップS317に進む。
【0127】
そうでない場合には(ステップS309でNO)、ステップS311に進む。ステップS311では、第2斜め方向と第(−2)斜め方向について、ステップS307と同様な処理を行なう。従って、図14及び図15を参照して、N=1として、すでに説明したステップS307−1〜S307−27を、N=2として、行なう。
【0128】
次に、CPUの現在の負荷はA2パーセント以上であるか否かを判断する(ステップS313)。但し、A2<A1である。そうである場合には(ステップS313でYES)、ステップS315をスキップして、ステップS317に進む。
【0129】
そうでない場合には(ステップS313でNO)、ステップS315に進む。ステップS315では、第3斜め方向及び第(−3)斜め方向について、ステップS307と同様な処理を行なう。従って、図14及び図15を参照して、N=1として、すでに説明したステップS307−1〜S307−27を、N=3として、行なう。
【0130】
ステップS307、S311及びS315は、全て、図14及び図15に示すステップS307−1〜S307−27を含む。これらのステップの間の違いは、Nの値である。Nの値が大きいほど、例えば、ステップS307−11、S307−13の演算量が増える。従って、ステップS307よりもステップS311の方が演算量が多く、ステップS311よりもステップS315の方が演算量が多い。例えば、ステップS307、S311及びS315の演算量の比率が1:2:3であれば、ステップS307のみを行う場合の演算量を1とすると、ステップS307及びS311を行う場合の演算量は3(=1+2)となり、ステップS307、S311及びS315を行なう場合の演算量は6(=1+2+3)となる。
【0131】
本実施形態によるインターレス/プログレッシブ変換装置をパーソナルコンピュータのソフトウェアにより実現する場合、パーソナルコンピュータの発売時期やグレードにより、CPUの能力が異なり、CPUによっては、ステップS307、S311及びS315を全て行なうと過負荷となることがあり得る。
【0132】
また、斜め線補正処理は、上述したように、斜め線が水平に近づくほど処理量が増える。そして、斜め線補正処理を、垂直からある傾きの範囲までのみについて行なったとしても、それに応じた画質改善効果が奏される。従って、演算量が少ない方向である垂直に近い方向から優先して処理を行ない、より多い演算量を必要とする水平に近い方向の処理を行なうための余力がCPUに残っているかどうかを判断し、そうであれば、その処理を行なう。このために、ステップS303、S305、S307、S311及びS315をこの順に並べ、ステップS309及びS313の判断を入れている。これにより、CPUに無理な負荷をかけず、また、演算能力の高いCPUを最大限利用することが可能となっている。
【0133】
なお、上記では、正方格子状に並ぶ複数の実在画素より構成されるフィールド画像を基にフィールド内補間を行なうことによりフレーム画像を生成する場合における斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を例に取り説明したが、本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法はこのような場合におけるものに限定されない。例えば、フィールド画像がライン間オフセットサンプリングされている実在画素又はハニカム状にサンプリングされている実在画素により構成されている場合にも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用できる。JPEG等の静止画において、任意の位置の補間画素を得るためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用することができる。また、動画像において、時間軸方向、縦方向及び横方向に成分を持つ斜め線について本発明の斜め方向補間処理及びこれにおいて利用する自己相関値算出方法をすることもできる。更に、二次元又は三次元の物体に含まれるある成分の濃度や二次元又は三次元に分布する物理量の強度がサンプリングされている場合に、サンプリングされた濃度や強度を基に補間位置での濃度や強度を求めるためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を利用することができる。
【0134】
また、サンプルは、必ずしも直線上に並んでいる必要な無く、曲線上に並んでいても良い。例えば、3次元物体の表面のサンプルなどは一般に曲線上に並ぶ。
【0135】
また、垂直方向又は斜め方向の離散変化度VD(N)を求めるために利用するサンプルを結んだ第N方向の線は、上記の説明では対象画素を通過するとしていたが、必ずしもこれに限られるのではなく、例えば、第N方向の線が対象画素の近傍を通過するようにしてもよい。例えば、対象画素を通過し第N方向に伸びた線に乗るサンプルがない場合には、対象画素に近接してその線に近接するサンプルを基に垂直又は斜め方向の離散変化度VD(N)を求めるようにしてもよいが、このような場合には、その基とされたサンプルを結んだ線は、対象画素を通過せずに、その代わりに、対象画素の近傍を通過するようになる。
【図面の簡単な説明】
【0136】
【図1】従来例による斜め方向補間処理を説明するための第1の図である。
【図2】従来例による斜め方向補間処理を説明するための第2の図である。
【図3】従来例による斜め方向補間処理の問題点を説明するための第1の図である。
【図4】従来例による斜め方向補間処理の問題点を説明するための第2の図である。
【図5】本発明の実施形態によるインターレス/プログレッシブ変換装置の構成を示すブロック図である。
【図6】本発明の実施形態の効果を説明するための第1の図である。
【図7】本発明の実施形態の効果を説明するための第2の図である。
【図8】図5に示すインターレス/プログレッシブ変換装置により行われるインターレス/プログレッシブ変換方法について説明するためのフローチャートである。
【図9】図8に示す斜め線補正処理のステップの詳細を示すフローチャートである。
【図10】図9に示す垂直方向の変化度と補間値の算出のステップの詳細を示すフローチャートである。
【図11】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップの詳細を示す第1のフローチャートである。
【図12】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップの詳細を示す第2のフローチャートである。
【図13】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップを説明するための図である。
【図14】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップの詳細を示す第1のフローチャートである(N=1、2、3)。
【図15】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップの詳細を示す第2のフローチャートである(N=1、2、3)。
【図16】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップを説明するための図である(N=1、2、3)。
【符号の説明】
【0137】
101−1〜101−3 フィールド・メモリ
103 画像データ書込部
105 動画補間画素生成部
107 静止画補間画素生成部
109 差分計算部
111 差分補正部
113 補正値保持部
115 差分累積部
117 累積動き量メモリ
119 しきい値保持部
121 動き量計算部
123 合成補間画素生成部
125 選択部
【技術分野】
【0001】
本発明は、対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法及びその方法により算出された画像についての自己相関値を参照して補間画素を生成するための補間画素生成方法、それらの方法を行なうための装置並びにそれらの方法をコンピュータに行なわせるためのプログラムに関する。
【背景技術】
【0002】
従来、パーソナルコンピュータで、テレビを視聴する場合、NTSC(National Television Standards Committee)方式、PAL(Phase Alternation by Line)方式又はSECAM(SEquential Couleur A Memoire)方式のインターレス映像信号をパーソナルコンピュータのノンインターレス(プログレッシブ)・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームに、コーミング(combing)除去処理を施していた。
【0003】
上記処理をした場合、1秒間に表示されるフレーム数は、約30又は約25であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。
【0004】
このような、問題を改善するための方法として、例えば、NTSC信号の各フィールドをそれぞれ1つのフレームに変換して、1秒間に約60フレーム表示できるようにするインターレス/プログレッシブ変換方法がある。このインターレス/プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。
【0005】
補間画素を生成するべき位置である対象位置が動き部分に含まれると判断された場合には、その対象位置を含むフィールド内の実在する画素を用いて補間画素を生成する。そのためには、例えば、フレームにおいて対象位置の上隣にある画素と下隣にある画素との平均値を補間画素の値とする。しかし、このように補間画素を生成すると、対象位置が物体の輪郭付近にある場合には、その輪郭がぼやけてしまう。
【0006】
そこで、対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法がある(例えば、特許文献1第53〜54段落参照。)。
【0007】
図1及び図2は、このような方法により生成された補間画素を示すものである。図1及び図2において、垂直方向に並ぶ数字はフレームにおける走査線の番号を表し、水平方向に並ぶ数字は走査線に並ぶ画素の番号を表す。第2走査線は、補間されるべき走査線である。また、画像の内容は、レベルが100の白の背景の前に、レベルが0の黒の物体があるものとしている。
【0008】
図1(a)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が1画素ずれている場合のものである。画素(1、5)と画素(3、5)とを結ぶ直線の方向(垂直方向)の自己相関値を例えば両画素の絶対差分により表し、画素(1、6)と画素(3、4)とを結ぶ直線の方向(第1斜め方向)の自己相関値を同様に両画素の絶対差分により表し、画素(1、7)と画素(3、3)とを結ぶ直線の方向(第2斜め方向)の自己相関値を同様に両画素の絶対差分により表し、画素(1、8)と画素(3、2)とを結ぶ直線の方向(第3斜め方向)の自己相関値を同様に両画素の絶対差分により表すと、全ての方向の自己相関値が等しくなってしまうが、自己相関値を算出するために利用した2つの画素の平均値を補間画素の値とするならば、どの方向が選択されても、補間画素の値は50となる。
【0009】
図1(b)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が2画素ずれている場合のものである。第1斜め方向の自己相関値が最も高く(絶対差分が小さいことは、自己相関値が大きいことを示す。)、この方向に対応した補間フィルタ(画素(1、6)と画素(3、4)の平均値を補間値とするフィルタ)によりレベル100の補間値が生成される。仮に、単純に上下の画素(画素(1、5)と画素(3、5))の平均値を補間値とすると補間値は50となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。
【0010】
図1(c)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が3画素ずれている場合のものである。画素(2、4)については、第1斜め方向及び第2斜め方向の自己相関値が最も高く、これらのうちの何れかの方向に対応した補間フィルタ(画素(1、5)と画素(3、3)の平均値を補間値とするフィルタ、又は、画素(1、6)と画素(3、2)の平均値を補間値とするフィルタ)によりレベル50の補間値が生成される。同様な処理により対象位置(2、5)のレベルは50となり、対象位置(2、6)のレベルは0となる。仮に、単純に上下の画素の平均値を補間値とするとこれらの3つの対象位置の補間値は50となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。
【0011】
図1(d)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が4画素ずれている場合のものである。
【0012】
図2(a)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が5画素ずれている場合のものである。
【0013】
図2(b)は、対象位置(2、5)の近傍において、第1走査線と第3走査線との間で、物体の輪郭が6画素ずれている場合のものである。
【0014】
従って、第1走査線と第3走査線との間で、物体の輪郭が何画素ずれていようと、自己相関値が最も高い方向(そのずれ量に応じて変化する)を検出し、その方向に対応した補間フィルタを用いて補間画素の値を算出することにより、物体の輪郭を明確にさせることができる。
【特許文献1】特開2001−352525号公報
【発明の開示】
【発明が解決しようとする課題】
【0015】
しかし、上記の対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法には、次に説明するような問題点がある。
【0016】
図3(a)を参照すると、第1走査線、第3走査線、第5走査線及び第7走査線には実在画素が存在する。また、白地の背景に水平方向に約4〜5画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第n走査線から第(n+2)走査線の間では、約4画素シフトしている。
【0017】
図3(a)は、正しく補間された場合の第4走査線の画素の明度(レベル)を示す。第4走査線の画素は、第2斜め方向の補間フィルタ(例えば、対象画素をx(i,j)とした場合、その値を((x(i−1、j+2)+x(i+1、j−2))/2とするフィルタ)により補間されている。特に、対象位置(4、6)の画素は、位置(3、8)の画素(レベルが50)と位置(5、4)(レベルが0)の画素により補間され、対象位置(4、6)の画素のレベルは、25となっている。
【0018】
しかし、例えば、自己相関値が最大である方向の候補として選択される複数の方向が第(−3)斜め方向(対象位置を(i,j)とした場合、位置(i−1、j−3)と位置(i+1、j+3)とを結ぶ方向)から第3斜め方向(対象位置を(i,j)とした場合、位置(i−1、j+3)と位置(i+1、j−3)とを結ぶ方向)までの範囲にある場合、図3(b)に示すように、対象位置(4、6)に関しては、第(−3)斜め方向の自己相関値が最大となるため、位置(3、3)の画素(レベルが100)と位置(5、9)(レベルが100)の画素により補間され、対象位置(4、6)の画素のレベルは、100となっている。つまり、対象位置(4、6)の補間画素のレベルは、正しく補間された場合には図3(a)に示すように25になるのに対し、自己相関値の誤検出により100となってしまう。
【0019】
第4走査線にある他の画素は正しく補間されたとしても、図3(b)に示すように、第4走査線における物体の水平方向の幅は3.5画素となってしまい、他の走査線における物体の幅4〜5画素と異なってしまう。
【0020】
図4(a)を参照すると、第1走査線、第3走査線、第5走査線及び第7走査線には実在画素が存在する。また、白地の背景に水平方向に約1画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第n走査線から第(n+2)走査線の間では、約1/2画素シフトしている。
【0021】
図4(a)は、正しく補間された場合の第2走査線、第4走査線及び第6走査線の画素の明度(レベル)を示す。しかし、従来は、このような正しい補間をすることができなかった。
【0022】
図4(b)を参照すると、自己相関値が最大である方向の候補として選択される複数の方向が第(−D)斜め方向(対象位置を(i,j)とした場合、位置(i−1、j−D)と位置(i+1、j+D)とを結ぶ方向)(Dは3以上)から第D斜め方向(対象位置を(i,j)とした場合、位置(i−1、j+D)と位置(i+1、j−D)とを結ぶ方向)(Dは3以上)までの範囲にある場合には次のようになる。
【0023】
すなわち、図3(b)に示すように、対象位置(2、5)に関しては、全ての方向の自己相関値が同一となるため、どの方向の補間フィルタにより補間画素を生成するべきであるのか決定することができなくなる。垂直方向の補間フィルタを用いれば補間画素のレベルは正しく0となるが、例えば、複数の方向の自己相関値が同一である場合にはそれらの方向のうちの最も垂直に近い方向を選択するというような優先順位を設けていない限り、垂直方向の補間フィルタを必ず選択するようなことはできない。垂直方向以外の方向の補間フィルタを用いると補間画素のレベルは100となってしまう。
【0024】
対象位置(6、4)に関しては、対象位置(2、5)と同様であり、対象位置(6、4)の補間画素のレベルも0となることが確実ではなく、100となってしまう場合がある。
【0025】
対象位置(4、4)に関しては、垂直方向及び第1斜め方向の自己相関値が最小となり、この2つの方向以外の方向の自己相関値が相互に等しく、且つ、最大となる。従って、垂直方向及び第1斜め方向の補間フィルタを利用しない。例えば、第(−1)斜め方向を用いると、対象位置(4、4)の補間画素のレベルは100となってしまう。
【0026】
対象位置(4、5)に関しては、対象位置(4、4)と同様であり、対象位置(4、5)の補間画素のレベルも100となってしまう。
【0027】
従って、第2走査線、第4走査線及び第6走査線の全補間画素のレベルが100となる。従って、正しく補間された場合には、図4(a)に示すように一直線に繋がる黒い物体が、自己相関値の誤検出により、図4(b)に示すように、破線状の物体に化けてしまう。
【0028】
そこで本発明は、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を正しく算出するための自己相関値算出方法、その装置及びそのプログラムを提供することを目的とする。
【0029】
また、本発明は、そのような自己相関値算出方法、その装置及びそのプログラムを利用した補間画素生成方法、その装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【0030】
図3(a)、(b)を参照して説明した問題点は、図3(b)の例を用いて説明すると、位置(3、3)と位置(5、9)とを結ぶ線分における画像の自己相関値が、正しく算出されたとするならば、黒い物体の存在により小さくなるべきであるのに、位置(3、3)にある実在画素と位置(5、9)にある実在画素のみに基づいて算出されるので、大きくなってしまうということである。
【0031】
すなわち、位置(3、3)と位置(5、9)とを結ぶ線分の方向の相関値が最大である場合には、これらの位置に実在する画素を利用して対象位置(4、6)の補間画素を生成するのであるから、これらの位置の実在する画素を基にこの方向の自己相関値を算出することは、基本的には間違っていない。
【0032】
しかし、対象位置(4、6)と位置(3、3)との間には約3.16画素分の距離(=1(=4−1)の自乗と3(=6−3)の自乗の和の平方根)があり、同様に、対象位置(4、6)と位置(5、9)との間にも約3.16画素分の距離がある。両者を併せて、自己相関値を算出するために用いた2画素の間には約6.32画素分の距離がある。従って、この距離の範囲にある画像の内容は無視されている。従来技術では、この長い距離の範囲にある画像の内容を無視することに起因して、自己相関値が誤って算出されていた。
【0033】
従って、この長い距離の範囲にある画像の内容も考慮して、当該方向の自己相関値を算出すればよいのであるが、対象位置を通過し、且つ、当該方向に伸びる方向の直線には、実在する画素がない。
【0034】
そこで、対象位置(4、6)を通過し、且つ、当該方向(位置(3、3)から位置(5、9)までを結ぶ方向)に伸びる直線のうちの位置(3、3)から位置(5、9)までの範囲にある線分における画像に近似した画像を表すような実在画素も利用して、対象位置(4、6)から見た当該方向の当該範囲の自己相関値を算出する。
【0035】
そして、このような実在画素として位置(3、3)から位置(3、9)までの範囲にある実在画素と位置(5、3)から位置(5、9)までの範囲にある実在画素を選択する。すなわち、対象位置を含む複数画素群線(補間されるべき走査線(第4走査線))に隣接する第1の複数画素群線(実在する走査線(第3走査線))に含まれる複数の画素のうちの当該方向の直線に乗る画素(位置(3、3)の画素)を第1画素とする。また、対象位置を含む複数画素群線に隣接する第2の複数画素群線(実在する走査線(第5走査線))に含まれる複数の画素のうちの当該方向の直線に乗る画素(位置(5、9)の画素)を第2の画素とする。そして、第1の複数画素群線に含まれる複数の画素のうちの第1の複数画素群線に沿った方向(水平方向)で見て第1の画素から第2の画素までの範囲にある複数の画素と、第2の複数画素群線に含まれる複数の画素のうちの第2の複数画素群線に沿った方向(水平方向)で見て第1の画素から第2の画素までの範囲にある複数の画素も利用して、対象位置から見た当該方向の当該範囲の自己相関値を算出する。
【0036】
こうすることにより、サンプル抜けによる自己相関値の誤りを減らすことができる。
【0037】
図4(a)、(b)を参照して説明した第1の問題点は、図4(b)の例を用いて説明すると、例えば、対象位置(2、5)から見た場合、本来、垂直方向の自己相関値が最大であるべきであるのに対し、他の方向の自己相関値も垂直方向の自己相関値と同一となってしまうことである。この問題点も、垂直方向以外の方向の自己相関値を算出するためには、当該方向の当該範囲の両端にある画素(例えば、第(−1)方向であれば、位置(1、4)にある画素と位置(3、6)にある画素)の間にある画素も自己相関値を算出するための基礎としなければならないのに、当該方向の当該範囲の両端にある画素のみに基づいて自己相関値を算出することにより生じている。しかし、当該方向の当該範囲の両端にある画素の間に実在する画素はない(例えば、対象位置(2、5)には実在画素はないし、他の中間位置にも画素がない。)。
【0038】
この問題も、上記と同様な方法により解決することができる。すなわち、この例では、位置(1、4)から位置(1、6)までの範囲にある実在画素と位置(3、4)から位置(3、6)までの範囲にある実在画素にも基づいて自己相関値を算出する。
【0039】
図4(a)、(b)を参照して説明した第2の問題点は、図4(b)の例を用いて説明すると、例えば、対象位置(4、4)から見た場合、本来、第(1/4)方向(位置(3、4.25)と位置(5、3.75)を結ぶ方向)の自己相関値が最大であるべきであるのに対し、第(−1)方向、第(−2)方向等の自己相関値が最大となってしまうことである。これは、第(1/4)方向を無視して候補にしていないことに起因する。従って、第(1/4)方向も候補として、第(1/4)方向の自己相関値も算出することにより解決することができる。しかし、隣接走査線(第3走査線と第5走査線)上に第(1/4)方向の実在画素がない。そこで、隣接走査線(第3走査線と第5走査線)上に第(1/4)方向の補間画素を生成し、その補間画素を基にこの方向の自己相関値を算出する。
【0040】
図4の例でいえば、位置(3、4)の実在画素と位置(3、5)の位置の実在画素を基に、位置(3、4.25)の補間画素を生成し、位置(5、3)の実在画素と位置(5、4)の位置の実在画素を基に、位置(5、3.75)の補間画素を生成し、これらの補間画素を基に第(1/4)方向の自己相関値を算出する。
【0041】
そうすると、位置(3、4.25)の補間画素の値は75となり、位置(5、3.75)の補間画素の値は25となり両者の絶対差分は50となる。これが、第(1/4)方向の自己相関値の指標を表す(但し、絶対差分が小さいほど、自己相関値が大きいことを示す)。他方、第0方向の絶対差分値は100である。また、第1方向の絶対差分値は100である。第(−1)方向の絶対差分値は、単純に2画素の絶対差分から求めると0であるが、上述したように、隣接走査線の実在画素も基にして適切に算出すれば、50を上回る。そうすると、第(1/4)方向の自己相関値が最大となる。
【0042】
また、実施形態で説明する方法により第1方向の自己相関値及び第(−1)方向の自己相関値を算出すると、それらの値は、それぞれ、100及び50となる。そうすると、第(1/4)方向の自己相関値と第(−1)方向の自己相関値が等しくなってしまう。しかし、第0方向と第1方向の間で候補に入れる方向を第(1/2)方向のみとし、第0方向と第(−1方向)の間で候補に入れる方向を第(−1/2)方向のみとし、第(1/2)方向が第q方向(qは、0を超え、1未満の任意の数)を代表し、第(-1/2)方向が第(−q)方向(qは、0を超え、1未満の任意の数)を代表するようにした場合には、図4(a)、(b)の例の対象位置(4、4)については、位置(3、4.5)の補間画素の値は50となり、位置(5、3.5)の補間画素の値は50となる。従って、第(1/4)方向を代表する方向である第(1/2)方向の相関値を表す数値として、両補間画素の絶対差分を計算すると0となる。そうすると、実施形態で説明する方法により第1方向の自己相関値及び第(−1)方向の自己相関値を算出した場合であっても、第(1/2)方向が自己相関値が最大である方向となる。これに応じて、第(1/2)方向に対応した方向性を有する補間フィルタで補間値を生成する。
【0043】
本発明の第1の観点によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備えることを特徴とする自己相関値算出方法が提供される。
【0044】
本発明の第1の観点による自己相関値算出方法において、前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であるようにしてもよい。
【0045】
本発明の第1の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であるようにしてもよい。
【0046】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。
【0047】
本発明の第1の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであるようにしてもよい。
【0048】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであるようにしてもよい。
【0049】
本発明の第1の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。
【0050】
本発明の第1の観点による自己相関値算出方法において、前記第2算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出するようにしてもよい。
【0051】
本発明の第2の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップでは、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、本発明の第1の観点による自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法が提供される。
【0052】
本発明の第2の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であるようにしてもよい。
【0053】
本発明の第2の観点による補間画素生成方法において、前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0054】
本発明の第2の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。
【0055】
本発明の第2の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。
【0056】
本発明の第2の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。
【0057】
本発明の第3の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法が提供される。
【0058】
本発明の第3の観点による補間画素生成方法において、前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0059】
本発明の第4の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップは、前記複数の方向のうちの少なくとも1つの方向について、入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブステップと、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブステップと、前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブステップと、を備えることを特徴とする補間画素生成方法が提供される。
【0060】
本発明の第4の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であるようにしてもよい。
【0061】
本発明の第4の観点による補間画素生成方法において、記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。
【0062】
本発明の第4の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。
【0063】
本発明の第4の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。
【0064】
本発明の第4の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。
【発明の効果】
【0065】
本発明によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、を備えるので、正しい相関値を算出することができる。
【発明を実施するための最良の形態】
【0066】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【0067】
図5は、本発明の実施形態によるインターレス/プログレッシブ変換装置の構成を示すブロック図である。
【0068】
第1のフィールド・メモリ101−1は、処理対象となっているフィールドの1つ先のフィールドの画像データを格納する。第2のフィールド・メモリ101−2は、処理対象となっているフィールドの画像データを格納する。第3のフィールド・メモリ101−3は、処理対象となっているフィールドの1つ前のフィールドの画像データを格納する。
【0069】
画像データ書込部103は、第1乃至第3のフィールド・メモリ101−1、101−2及び101−3に画像データを書き込む。なお、第1乃至第3のフィールド・メモリ101−1、101−2及び101−3をリング・バッファ構成とし、循環的に、3つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。
【0070】
動画補間画素生成部105は、第2のフィールド・メモリ101−2に格納されている画像データを基に、動画補間画素を生成する。
【0071】
動画補間画素生成部105は、基本的には、例えば、現在処理の対象となっているフィールドの番号をn、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をi、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をjとした場合、式(1)に従って、動画補間画素A(n,i,j)を生成する。ここで、iは、実在する走査線と補間するべき走査線とを合わせて数えた場合の位置である。
【0072】
【数1】
ここで、x(n,i−1,j)は、処理の対象となっているフィールドの処理の対象となっている画素の1つ上の画素の値であり、x(n,i+1,j)は、処理の対象となっているフィールドの処理の対象となっている画素の1つ下の画素の値である。上記では、これらの2つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの2つの画素のうちの1つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【0073】
また、動画補間画素生成部105は、処理の対象となっているフィールドの補間するべき位置にある各画素について、その画素の動き量(動き量計算部121から入力する。)が所定のしきい値以上である場合には、斜め線補正の処理を行なう。しきい値としては、典型的には、静止を表すゼロを用いたり、非常に小さい動きを表す値を用いたりするが、他の値を用いてもよい。そして、式(1)等により求めたA(n,i,j)を破棄して、斜め線補正の処理により得られた値を新たな動画補間画素A(n,i,j)とする。斜め線補正の処理については後述する。
【0074】
静止画補間画素生成部107は、第1のフィールド・メモリ101−1に格納されている画素データ及び第3のフィールド・メモリ101−3に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をn、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をi、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をjとした場合、式(2)に従って、動画補間画素B(n,i,j)を生成する。
【0075】
【数2】
ここで、x(n−1,i,j)は、処理の対象となっているフィールドの1つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値であり、x(n+1,i,j)は、処理の対象となっているフィールドの1つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値である。上記では、これらの2つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの2つの画素のうちの1つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。
【0076】
差分計算部109は、処理の対象となっているフィールドの処理の対象となっている画素についての差分C(n,i,j)を式(3)に従って求める。
【0077】
【数3】
ここで、x(n−1,i,j)は、処理の対象となっているフィールドの1つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値であり、x(n+1,i,j)は、処理の対象となっているフィールドの1つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置(i,j)にある画素の値である。差分C(n,i,j)は、動き量の基本となる。
【0078】
差分補正部111は、式(4)に従って、Cを補正することにより、補正された差分D(n,i,j)を求める。
【0079】
【数4】
ここで、Δcの値は、ノイズのレベル等により決定され、補正値保持部113に格納されている。
【0080】
差分累積部115は、累積動き量メモリ117に格納されている累積動き量m(i,j)を式(5)に従って更新する。
【0081】
【数5】
ここで、THの値は、視覚特性等により決定され、しきい値保持部119に格納されている。THの値は、例えば、16である。
【0082】
上式に従って、累積動き量m(i,j)を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量m(i,j)は、その前のフィールドでの累積動き量にその動きの量を加算してから1引いた値又は、動き量が大きい場合には、しきい値THとなり、それから1フィールド経過する度に1ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式(5)を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式(5)を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、その部分から動きが検出されることがないので、式(5)を導入しても、間違って、動画部であると判断されることはない。
【0083】
動き量計算部121は、式(6)に従って動き量M(i,j)を算出する。
【0084】
【数6】
合成補間画素生成部123は、式(7)に従って合成補間画素x’(n,i,j)を計算する。
【0085】
【数7】
選択部125は、ライン毎に実在画素x(n,i,j)と補間画素x’(n,i,j)を切り換えて、プログレッシブ走査の画像データを出力する。
【0086】
なお、図5に示すインターレス/プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図5に示すインターレス/プログレッシブ変換装置として機能させるためのプログラムをコンピュータが記録媒体から読み込んで実行することによっても実現することができる。
【0087】
次に、式(6)に従って動き量M(i,j)を計算することの効果について説明する。
【0088】
図6に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量m(i,j)を式(8)に従って計算するものとする。
【0089】
【数8】
そうすると、式(6)を用いずに、仮に、式(9)に従って、動き量M(i,j)を計算することとすると、図6に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。
【0090】
【数9】
すなわち、図6において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素134と画素334との差分の絶対値が画素234の動き量となるが、この値はゼロであるため、画素234は、静止画画素であると間違って判断される。そうすると、画素134と画素334の平均値が画素234の補間値となり、画素234は白となってしまう。画素214、254についても同様である。そうすると、画素224、244、264が正しく黒であるのに対し、画素214、234、254は間違って白となってしまい、コーミングが発生する。
【0091】
一方、本発明に従って、式(6)に従って、動き量M(i,j)を計算することとすると、図7に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。
【0092】
すなわち、図7において、図6の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素134と画素334との差分の絶対値に画素044と画素244との差分の絶対値の和としきい値THのうちの大きい方が画素234の動き量となるが、この大きい方の値はしきい値THであるため、画素234は、動画画素であると正しく判断される。そうすると、画素224と画素244の平均値が画素234の補間値となり、画素234は黒となる。画素214、254についても同様である。そうすると、画素224、244、264が正しく黒であり、且つ、画素214、234、254も正しく黒であるため、コーミングは発生しない。
【0093】
このように、式(6)に従って動き量M(i,j)を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。
【0094】
次に、図5に示すインターレス/プログレッシブ変換装置により行われるインターレス/プログレッシブ変換方法について説明する。
【0095】
図8を参照すると、まず、動画補間画素生成部105は、式(1)に従って、動画補間画素を生成する(ステップS201)。次に、静止画補間画素生成部107は、式(2)に従って、静止画補間画素を生成する(ステップS203)。次に、差分計算部109は、式(3)に従って、差分を計算する(ステップS205)。次に、差分補正部111は、式(4)に従って、差分を補正する(ステップS207)。次に、差分累積部115は、式(5)に従って、累積動き量を更新する(ステップS209)。次に、動き量計算部121は、式(6)に従って、動き量を計算する(ステップS211)。次に、動画補間画素生成部105は、動き量計算部121が計算した動き量が所定のしきい値以上であるか否かを判断する(ステップS213)。そうである場合には、動画補間画素生成部105は、斜め線補正の処理を行なう(ステップS215)。次に、合成補間画素生成部123は、式(7)に従って、合成補間画素を生成する(ステップS213)。
【0096】
次に、動画補間画素生成部105が行なう斜め線補正処理について説明する。斜め線補正処理は、現在処理の対象となっているフィールド内の全ての補間画素について行なう。
【0097】
なお、計算を簡単にするために、相関値を表す数値として、ある画素のレベルと他のある画素のレベルとの絶対差分又はこの絶対差分を基に算出した数値を利用するが、このような絶対差分と数値は、相関値が大きい場合に小さくなるため、このような数値に相関値という用語を適用すると大小関係において誤解を招くおそれがあるので、このような数値に変化度という用語を適用することとする。従って、変化度が大きければ相関値が小さいことを示し、逆に、変化度が小さければ相関値が大きいことを示す。また、変化度が最小であれば相関値が最大であることを示す。以下では、相関値という用語の代わりに変化度という用語を用いて説明を行なう。
【0098】
図9を参照すると、現在、処理対象位置にある対象画素がエッジ部にあるか否かを判断する(ステップS301)。例えば、対象画素の上下の画素の絶対差分値が所定のしきい値以上である場合に、対象画素がエッジ部にあると判断する。対象画素がエッジ部にない場合には(ステップS301でNO)、斜め線処理を対象画素に対して行なっても画質改善の効果が薄いため、演算装置の負荷を軽減することも考慮して、斜め線処理をスキップする。
【0099】
対象画素がエッジ部にある場合には(ステップS301でYES)、垂直方向の変化度と補間値を算出する(ステップS303)。
【0100】
図10を参照すると、ステップS303では、まず、垂直方向の変化度V(0)を算出する(ステップS303−1)。例えば、対象画素の直上にある実在画素と直下にある実在画素との絶対差分を、垂直方向の変化度V(0)とする。次に、補間方向として垂直方向を選択した場合に用いられるべき補間値C(0)を垂直方向に対応した補間フィルタにより算出する(ステップS303−3)。例えば、対象画素の直上にある実在画素と直下にある実在画素との平均値を、補間方向として垂直方向を選択した場合に用いられるべき補間値C(0)とするが、これに限られるわけではない。次に、変化度V(0)を暫定の最終的な変化度V(FIN)に代入して(ステップS303−5)、補間値C(0)を対象画素の暫定の最終的な補間値C(FIN)に代入する(ステップS303−7)。
【0101】
図9に戻り、ステップS303の次に、第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値を算出する(ステップS305)。
【0102】
図11を参照すると、ステップS305では、まず、4つの中間画素の値を算出する(ステップS305−1)。4つの中間画素とは、図13に示すような四角と丸を重ねた図形で表す画素X’(−1、−1/2)、画素X’(−1、+1/2)、画素X’(+1、−1/2)及び画素X’(+1、+1/2)である。なお、図13において、左側に縦方向に並ぶ数字−1、0、+1は、フレームで見た場合の対象画素が含まれる走査線を基準とした相対的な走査線番号であり、上側に横方向に並ぶ数字−2〜+2は、対象画素を基準とした相対的な走査線内画素番号である。四角で表す画素は実在画素である。丸で表す画素は対象画素である。
【0103】
次に、第(1/2)斜め方向の変化度V(1/2)を算出する(ステップS305−3)。例えば、中間画素X’(−1、+1/2)と中間画素X’(+1、−1/2)の絶対差分を、第(1/2)斜め方向の変化度V(1/2)とする。次に、第(1/2)斜め方向を補間方向として選択した場合に用いられるべき補間値C(1/2)をこの方向に対応した補間フィルタにより算出する(ステップS305−5)。例えば、中間画素X’(−1、+1/2)と中間画素X’(+1、−1/2)の平均値を補間値C(1/2)とするが、これに限られるわけではない。
【0104】
次に、第(−1/2)斜め方向の変化度V(−1/2)を算出する(ステップS305−7)。例えば、中間画素X’(−1、−1/2)と中間画素X’(+1、+1/2)の絶対差分を、第(−1/2)斜め方向の変化度V(−1/2)とする。次に、第(−1/2)斜め方向を補間方向として選択した場合に用いられるべき補間値C(−1/2)をこの方向に対応した補間フィルタにより算出する(ステップS305−9)。例えば、中間画素X’(−1、−1/2)と中間画素X’(+1、+1/2)の平均値を補間値C(−1/2)とするが、これに限られるわけではない。
【0105】
図12を参照すると、次に、第(1/2)斜め方向の変化度V(1/2)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS305−11)。これは、第(1/2)斜め方向の相関値R(1/2)が暫定の最終的な相関値R(FIN)よりも大きいか否かを判断することに対応する。ステップS305−11の判断結果が肯定的である場合には、第(1/2)斜め方向の変化度V(1/2)を、暫定の最終的な変化度V(FIN)に代入して(ステップS305−13)、第(1/2)斜め方向の補間値C(1/2)を暫定の最終的な補間値C(FIN)に代入する(ステップS305−15)。
【0106】
次に、第(−1/2)斜め方向の変化度V(−1/2)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS305−17)。これは、第(−1/2)斜め方向の相関値R(−1/2)が暫定の最終的な相関値R(FIN)よりも大きいか否かを判断することに対応する。ステップS305−17の判断結果が肯定的である場合には、第(−1/2)斜め方向の変化度V(−1/2)を、暫定の最終的な変化度V(FIN)に代入して(ステップS305−19)、第(−1/2)斜め方向の補間値C(−1/2)を暫定の最終的な補間値C(FIN)に代入する(ステップS305−21)。
【0107】
図9に戻り、ステップS305の次に、第1斜め方向と第(−1)斜め方向の変化度と補間値を算出する(ステップS307)。
【0108】
図14を参照すると、ステップS307では、まず、第1斜め方向の離散変化度VD(1)を算出する(ステップS307−1)。ここで、「離散」とは、この変化度を算出するために用いる画素が離れていることを示す。例えば、対象位置から垂直方向に1、水平方向に−1離れた実在画素X(1、−1)と対象位置から垂直方向に−1、水平方向に1離れた実在画素X(−1、1)の絶対差分を、第1斜め方向の離散変化度VD(1)とする。次に、第1斜め方向を補間方向として選択した場合に用いられるべき補間値C(1)をこの方向に対応した補間フィルタにより算出する(ステップS307−3)。例えば、実在画素X(1、−1)と実在画素X(−1、1)の平均値を補間値C(1)とするが、これに限られるわけではない。
【0109】
次に、第(−1)斜め方向の離散変化度VD(−1)を算出する(ステップS307−5)。例えば、対象位置から垂直方向に1、水平方向に1離れた実在画素X(1、1)と対象位置から垂直方向に−1、水平方向に−1離れた実在画素X(−1、−1)の絶対差分を、第(−1)斜め方向の離散変化度VD(−1)とする。次に、第(−1)斜め方向を補間方向として選択した場合に用いられるべき補間値C(−1)をこの方向に対応した補間フィルタにより算出する(ステップS307−7)。例えば、実在画素X(1、1)と実在画素X(−1、−1)の平均値を補間値C(−1)とするが、これに限られるわけではない。
【0110】
次に、第1斜め方向の離散変化度VD(1)と第(−1)斜め方向の離散変化度VD(−1)の最小値を第(±1)斜め方向の離散変化度VD(±1)として設定する(ステップS307−9)。従って、第(±1)斜め方向の離散変化度VD(±1)は、第1斜め方向と第(−1)斜め方向のうち離散変化度が小さい方向の離散変化度を表すこととなる。また、第(±1)斜め方向の離散変化度VD(±1)は、第1斜め方向と第(−1)斜め方向のうち離散自己相関値が大きい方向の離散自己相関値に対応した離散変化度を表すこととなる。
【0111】
次に、対象位置の上側隣接線での隣接線方向の変化度VU(±1)を算出する(ステップS307−11)。例えば、図16(a)を、N=1として見ればわかるように、実在画素X(−1、−1)と実在画素X(−1、0)との絶対差分と実在画素X(−1、0)と実在画素X(−1、1)との絶対差分のうちの最大値を変化度VU(±1)とする。従って、上側隣接線の実在画素のうちの対象位置から見て水平方向に−1画素ずれた位置から+1画素ずれた位置までの範囲にある3つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度VU(±1)となる。従って、この範囲における最大の変化を変化度VU(±1)が表すこととなる。従って、上側隣接線での隣接線方向の変化度VU(±1)は、第1斜め方向の離散変化度VD(1)や第(−1)斜め方向の離散変化度VD(−1)で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。
【0112】
次に、対象位置の下側隣接線での隣接線方向の変化度VL(±1)を算出する(ステップS307−13)。例えば、図16(b)を、N=1として見ればわかるように、実在画素X(1、−1)と実在画素X(+1、0)との絶対差分と実在画素X(1、0)と実在画素X(1、1)との絶対差分のうちの最大値を変化度VL(±1)とする。従って、下側隣接線の実在画素のうちの対象位置から見て水平方向に−1画素ずれた位置から+1画素ずれた位置までの範囲にある3つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度VL(±1)となる。従って、この範囲における最大の変化を変化度VL(±1)が表すこととなる。従って、下側隣接線での隣接線方向の変化度VL(±1)は、上側隣接線での隣接線方向の変化度VU(±1)と同様に、第1斜め方向の離散変化度VD(1)や第(−1)斜め方向の離散変化度VD(−1)で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。
【0113】
次に、対象位置の上側隣接線での隣接線方向の変化度VU(±1)と対象位置の下側隣接線での隣接線方向の変化度VL(±1)の最小値を第(±1)隣接線方向変化度VH(±1)として設定する(ステップS307−15)。従って、第(±1)隣接線方向変化度VH(±1)は、上側隣接線における隣接線方向の変化度VU(±1)と下側隣接線における隣接線方向の変化度VL(±1)のうちの小さい方の変化度を表すこととなる。すなわち、第(±1)隣接線方向変化度VH(±1)は、上側隣接線における自己相関値と下側隣接線における自己相関値のうちの大きい方の自己相関値に対応した変化度を表すこととなる。
【0114】
上記の処理において、VH(±1)=f(VU(±1)、VL(±1))とした場合、関数fとしてMINを選択する理由は次の通りである。すなわち、VU(±1)、VL(±1)は一定の範囲内(ここの時点での説明では横方向3画素の範囲内)で横方向の変化の最大を示すが、これらの値が小さいと、この範囲での画像は変化の少ないなだらかなものであることを示し、これらの値が大きいとこの範囲での画像は変化の大きいものであることを示す。斜め線補正処理では複数の斜め方向の候補から一番変化の少ない方向を補間方向とするので、ここではMINを選択する必要がある。
【0115】
例えば、対象位置を通り、1つの画素の幅を有する縦線状の黒い物体(レベル0)が白い背景(レベル100)の前にあるとすると、第1斜め方向の離散変化度VD(−1)と第(−1)斜め方向の離散変化度VD(1)は、共にゼロ(=100−100)となるため、黒い物体の存在がこれらの変化度に反映されないが、上側隣接線での隣接線方向の変化度VU(±N)と下側隣接線の隣接線方向の変化度VL(±N)は、共に100(=MAX(ABS(0−100)、ABS(100−0)))となり、黒い物体の存在がこれらの変化度に反映される。また、第(±1)斜め方向の離散変化度VD(±1)はゼロ(=MIN(0、0))となり、第(±1)隣接線方向の変化度VB(±1)は100(=MIN(100、100))となる。
【0116】
次に、第(±1)斜め方向の離散変化度VD(±1)と第(±1)隣接線方向変化度VH(±1)を基に、最終的な第(±1)斜め方向変化度V(±1)を算出する(ステップS307−17)。例えば、下式のように第(±1)斜め方向の離散変化度VD(±1)と第(±1)隣接線方向変化度VH(±1)の加重平均値を最終的な第(±1)斜め方向変化度V(±1)として設定する。
【0117】
V(±1)=α×VD(±1)+(1−α)×VH(±1)
但し、
0<α<1
または、V(0)やV(±1/2)では、VH(0)やVH(±1/2)を含めないことを考慮して、下式のように第(±1)斜め方向の離散変化度VD(±1)に第(±1)隣接線方向変化度VH(±1)の要素を加算しても良い。
【0118】
V(±1)=VD(±1)+α×VH(±1)
但し、
0<α<1
従って、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さい(従って、第1斜め方向の離散自己相関値が第(−1)斜め方向の離散自己相関値よりも大きい)場合には、最終的な第(±1)斜め方向変化度V(±1)は、第(−1)斜め方向の離散変化度VD(−1)には基づかず、第1斜め方向の離散変化度VD(1)と第(±1)隣接線方向変化度VH(±1)に基づいて算出されるようになる。従って、第(±1)隣接線方向変化度VH(±1)を第1斜め方向の離散変化度VD(1)の誤りを補正する因子としてみれば、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さい場合には、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向変化度V(1)を表すこととなる。
【0119】
同様に、第(−1)斜め方向の離散変化度VD(−1)が第1斜めの離散方向変化度VD(1)よりも小さい(従って、第(−1)斜め方向の離散自己相関値が第1斜め方向の離散自己相関値よりも大きい)場合には、最終的な第(±1)斜め方向変化度V(±1)は、第(−1)斜め方向変化度V(−1)を表すこととなる。
【0120】
従って、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向と第(−1)斜め方向のうち変化度が小さい方向の変化度V(1)又はV(−1)を表すこととなる。また、最終的な第(±1)斜め方向変化度V(±1)は、第1斜め方向と第(−1)斜め方向のうち自己相関値が大きい方向の自己相関値に対応した変化度V(1)又はV(−1)を表すこととなる。
【0121】
図15を参照すると、次に、第(±1)斜め方向の変化度V(±1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断する(ステップS307−19)。これは、第1斜め方向又は第(−1)斜め方向のうちの変化度が小さい方向の変化度V(1)又はV(−1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断することに対応し、また、第1斜め方向又は第(−1)斜め方向のうちの自己相関値が大きい方向の自己相関値に対応した変化度V(1)又はV(−1)が暫定の最終的な変化度V(FIN)よりも小さいか否かを判断することにも対応する。
【0122】
ステップS307−19の判断結果が肯定的である場合には、第(±1)斜め方向の変化度V(±1)を、暫定の最終的な変化度V(FIN)に代入する(ステップS307−21)。
【0123】
ステップS307−21の次に、第1斜め方向の離散変化度VD(1)が第(−1)斜め方向の離散変化度VD(−1)よりも小さいか否かを判断する(ステップS307−23)。
【0124】
ステップS307−23の判断結果が肯定的である場合には、第1斜め方向の補間値C(1)を暫定の最終的な補間値C(FIN)に代入し(ステップS307−25)、ステップS307−23の判断結果が否定的である場合には、第(−1)斜め方向の補間値C(−1)を暫定の最終的な補間値C(FIN)に代入する(ステップS307−27)。
【0125】
従って、ステップS307では、第1斜め方向の変化度V(1)が第(−1)斜め方向の変化度V(−1)よりも小さく、且つ、第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)よりも小さい場合(従って、第1斜め方向の自己相関値が第(−1)斜め方向の自己相関値よりも大きく、且つ、第1斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合)には、第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)として設定され、第1斜め方向に対応した補間値C(1)が暫定の最終的な補間値C(FIN)として設定される。他方、第(−1)斜め方向の変化度V(−1)が第1斜め方向の変化度V(1)よりも小さく、且つ、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)よりも小さい場合(従って、第(−1)斜め方向の自己相関値が第1斜め方向の自己相関値よりも大きく、且つ、第(−1)斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合)には、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)として設定され、第(−1)斜め方向に対応した補間値C(−1)が暫定の最終的な補間値C(FIN)として設定される。他の場合(第1斜め方向の変化度V(1)が暫定の最終的な変化度V(FIN)以上であり、且つ、第(−1)斜め方向の変化度V(−1)が暫定の最終的な変化度V(FIN)以上である場合)には、暫定の最終的な変化度V(FIN)と暫定の最終的な補間値C(FIN)は更新されない。
【0126】
図9に戻り、ステップS307の次に、CPUの現在の負荷はA1パーセント以上であるか否かを判断する(ステップS309)。そうである場合には(ステップS309でYES)、ステップS311、S313及びS315をスキップして、ステップS317に進む。
【0127】
そうでない場合には(ステップS309でNO)、ステップS311に進む。ステップS311では、第2斜め方向と第(−2)斜め方向について、ステップS307と同様な処理を行なう。従って、図14及び図15を参照して、N=1として、すでに説明したステップS307−1〜S307−27を、N=2として、行なう。
【0128】
次に、CPUの現在の負荷はA2パーセント以上であるか否かを判断する(ステップS313)。但し、A2<A1である。そうである場合には(ステップS313でYES)、ステップS315をスキップして、ステップS317に進む。
【0129】
そうでない場合には(ステップS313でNO)、ステップS315に進む。ステップS315では、第3斜め方向及び第(−3)斜め方向について、ステップS307と同様な処理を行なう。従って、図14及び図15を参照して、N=1として、すでに説明したステップS307−1〜S307−27を、N=3として、行なう。
【0130】
ステップS307、S311及びS315は、全て、図14及び図15に示すステップS307−1〜S307−27を含む。これらのステップの間の違いは、Nの値である。Nの値が大きいほど、例えば、ステップS307−11、S307−13の演算量が増える。従って、ステップS307よりもステップS311の方が演算量が多く、ステップS311よりもステップS315の方が演算量が多い。例えば、ステップS307、S311及びS315の演算量の比率が1:2:3であれば、ステップS307のみを行う場合の演算量を1とすると、ステップS307及びS311を行う場合の演算量は3(=1+2)となり、ステップS307、S311及びS315を行なう場合の演算量は6(=1+2+3)となる。
【0131】
本実施形態によるインターレス/プログレッシブ変換装置をパーソナルコンピュータのソフトウェアにより実現する場合、パーソナルコンピュータの発売時期やグレードにより、CPUの能力が異なり、CPUによっては、ステップS307、S311及びS315を全て行なうと過負荷となることがあり得る。
【0132】
また、斜め線補正処理は、上述したように、斜め線が水平に近づくほど処理量が増える。そして、斜め線補正処理を、垂直からある傾きの範囲までのみについて行なったとしても、それに応じた画質改善効果が奏される。従って、演算量が少ない方向である垂直に近い方向から優先して処理を行ない、より多い演算量を必要とする水平に近い方向の処理を行なうための余力がCPUに残っているかどうかを判断し、そうであれば、その処理を行なう。このために、ステップS303、S305、S307、S311及びS315をこの順に並べ、ステップS309及びS313の判断を入れている。これにより、CPUに無理な負荷をかけず、また、演算能力の高いCPUを最大限利用することが可能となっている。
【0133】
なお、上記では、正方格子状に並ぶ複数の実在画素より構成されるフィールド画像を基にフィールド内補間を行なうことによりフレーム画像を生成する場合における斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を例に取り説明したが、本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法はこのような場合におけるものに限定されない。例えば、フィールド画像がライン間オフセットサンプリングされている実在画素又はハニカム状にサンプリングされている実在画素により構成されている場合にも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用できる。JPEG等の静止画において、任意の位置の補間画素を得るためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用することができる。また、動画像において、時間軸方向、縦方向及び横方向に成分を持つ斜め線について本発明の斜め方向補間処理及びこれにおいて利用する自己相関値算出方法をすることもできる。更に、二次元又は三次元の物体に含まれるある成分の濃度や二次元又は三次元に分布する物理量の強度がサンプリングされている場合に、サンプリングされた濃度や強度を基に補間位置での濃度や強度を求めるためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を利用することができる。
【0134】
また、サンプルは、必ずしも直線上に並んでいる必要な無く、曲線上に並んでいても良い。例えば、3次元物体の表面のサンプルなどは一般に曲線上に並ぶ。
【0135】
また、垂直方向又は斜め方向の離散変化度VD(N)を求めるために利用するサンプルを結んだ第N方向の線は、上記の説明では対象画素を通過するとしていたが、必ずしもこれに限られるのではなく、例えば、第N方向の線が対象画素の近傍を通過するようにしてもよい。例えば、対象画素を通過し第N方向に伸びた線に乗るサンプルがない場合には、対象画素に近接してその線に近接するサンプルを基に垂直又は斜め方向の離散変化度VD(N)を求めるようにしてもよいが、このような場合には、その基とされたサンプルを結んだ線は、対象画素を通過せずに、その代わりに、対象画素の近傍を通過するようになる。
【図面の簡単な説明】
【0136】
【図1】従来例による斜め方向補間処理を説明するための第1の図である。
【図2】従来例による斜め方向補間処理を説明するための第2の図である。
【図3】従来例による斜め方向補間処理の問題点を説明するための第1の図である。
【図4】従来例による斜め方向補間処理の問題点を説明するための第2の図である。
【図5】本発明の実施形態によるインターレス/プログレッシブ変換装置の構成を示すブロック図である。
【図6】本発明の実施形態の効果を説明するための第1の図である。
【図7】本発明の実施形態の効果を説明するための第2の図である。
【図8】図5に示すインターレス/プログレッシブ変換装置により行われるインターレス/プログレッシブ変換方法について説明するためのフローチャートである。
【図9】図8に示す斜め線補正処理のステップの詳細を示すフローチャートである。
【図10】図9に示す垂直方向の変化度と補間値の算出のステップの詳細を示すフローチャートである。
【図11】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップの詳細を示す第1のフローチャートである。
【図12】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップの詳細を示す第2のフローチャートである。
【図13】図9に示す第(1/2)斜め方向と第(−1/2)斜め方向の変化度と補間値の算出のステップを説明するための図である。
【図14】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップの詳細を示す第1のフローチャートである(N=1、2、3)。
【図15】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップの詳細を示す第2のフローチャートである(N=1、2、3)。
【図16】図9に示す第N斜め方向と第(−N)斜め方向の変化度と補間値の算出のステップを説明するための図である(N=1、2、3)。
【符号の説明】
【0137】
101−1〜101−3 フィールド・メモリ
103 画像データ書込部
105 動画補間画素生成部
107 静止画補間画素生成部
109 差分計算部
111 差分補正部
113 補正値保持部
115 差分累積部
117 累積動き量メモリ
119 しきい値保持部
121 動き量計算部
123 合成補間画素生成部
125 選択部
【特許請求の範囲】
【請求項1】
複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、
前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、
を備えることを特徴とする自己相関値算出方法。
【請求項2】
請求項1に記載の自己相関値算出方法において、
前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出方法。
【請求項3】
請求項1に記載の自己相関値算出方法において、
前記入力対象物は、テレビ画像であり、
前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出方法。
【請求項4】
請求項1に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
【請求項5】
請求項1に記載の自己相関値算出方法において、
前記入力対象物は、テレビ画像であり、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであることを特徴とする自己相関値算出方法。
【請求項6】
請求項5に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであることを特徴とする自己相関値算出方法。
【請求項7】
請求項1に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
【請求項8】
請求項1に記載の自己相関値算出方法において、
前記第2算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出することを特徴とする自己相関値算出方法。
【請求項9】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記算出ステップでは、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項1乃至8の何れか1項に記載の自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法。
【請求項10】
請求項9に記載の補間画素生成方法において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項11】
請求項10に記載の補間画素生成方法において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項12】
請求項9に記載の補間画素生成方法において、
前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
【請求項13】
請求項9に記載の補間画素生成方法において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
【請求項14】
請求項13に記載の補間画素生成方法において、
前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
【請求項15】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項16】
請求項15に記載の補間画素生成方法において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項17】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記算出ステップは、前記複数の方向のうちの少なくとも1つの方向について、
入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブステップと、
前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブステップと、
前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブステップと、
を備えることを特徴とする補間画素生成方法。
【請求項18】
請求項17に記載の補間画素生成方法において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項19】
請求項18に記載の補間画素生成方法において、
前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項20】
請求項17に記載の補間画素生成方法において、
前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
【請求項21】
請求項17に記載の補間画素生成方法において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
【請求項22】
請求項21に記載の補間画素生成方法において、
前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
【請求項23】
複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出手段と、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出手段と、
前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出手段と、
を備えることを特徴とする自己相関値算出装置。
【請求項24】
請求項23に記載の自己相関値算出装置において、
前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出装置。
【請求項25】
請求項23に記載の自己相関値算出装置において、
前記入力対象物は、テレビ画像であり、
前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出装置。
【請求項26】
請求項23に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
【請求項27】
請求項23に記載の自己相関値算出装置において、
前記入力対象物は、テレビ画像であり、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであることを特徴とする自己相関値算出装置。
【請求項28】
請求項27に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであることを特徴とする自己相関値算出装置。
【請求項29】
請求項23に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
【請求項30】
請求項23に記載の自己相関値算出装置において、
前記第2算出手段では、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出することを特徴とする自己相関値算出装置。
【請求項31】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記算出手段は、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項1乃至8の何れか1項に記載の自己相関値算出装置を備えることを特徴とする補間画素生成装置。
【請求項32】
請求項31に記載の補間画素生成装置において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項33】
請求項32に記載の補間画素生成装置において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項34】
請求項31に記載の補間画素生成装置において、
前記生成手段により生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
【請求項35】
請求項31に記載の補間画素生成装置において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
【請求項36】
請求項35に記載の補間画素生成装置において、
前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出手段は、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
【請求項37】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項38】
請求項37に記載の補間画素生成装置において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項39】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記算出手段は、前記複数の方向のうちの少なくとも1つの方向について、
入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブ手段と、
前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブ手段と、
前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブ手段と、
を備えることを特徴とする補間画素生成装置。
【請求項40】
請求項39に記載の補間画素生成装置において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項41】
請求項40に記載の補間画素生成装置において、
前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項42】
請求項39に記載の補間画素生成装置において、
前記生成手段により生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
【請求項43】
請求項39に記載の補間画素生成装置において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
【請求項44】
請求項43に記載の補間画素生成装置において、
前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出手段を、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
【請求項45】
コンピュータに請求項1乃至22の何れか1項に記載の方法を行わせるためのプログラム。
【請求項46】
請求項45に記載のプログラムを記録した、コンピュータ読取り可能な記録媒体。
【請求項1】
複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出ステップと、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出ステップと、
前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出ステップと、
を備えることを特徴とする自己相関値算出方法。
【請求項2】
請求項1に記載の自己相関値算出方法において、
前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出方法。
【請求項3】
請求項1に記載の自己相関値算出方法において、
前記入力対象物は、テレビ画像であり、
前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出方法。
【請求項4】
請求項1に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
【請求項5】
請求項1に記載の自己相関値算出方法において、
前記入力対象物は、テレビ画像であり、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであることを特徴とする自己相関値算出方法。
【請求項6】
請求項5に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであることを特徴とする自己相関値算出方法。
【請求項7】
請求項1に記載の自己相関値算出方法において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
【請求項8】
請求項1に記載の自己相関値算出方法において、
前記第2算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出することを特徴とする自己相関値算出方法。
【請求項9】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記算出ステップでは、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項1乃至8の何れか1項に記載の自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法。
【請求項10】
請求項9に記載の補間画素生成方法において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項11】
請求項10に記載の補間画素生成方法において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項12】
請求項9に記載の補間画素生成方法において、
前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
【請求項13】
請求項9に記載の補間画素生成方法において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
【請求項14】
請求項13に記載の補間画素生成方法において、
前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
【請求項15】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項16】
請求項15に記載の補間画素生成方法において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項17】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
を備え、
前記算出ステップは、前記複数の方向のうちの少なくとも1つの方向について、
入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブステップと、
前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブステップと、
前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブステップと、
を備えることを特徴とする補間画素生成方法。
【請求項18】
請求項17に記載の補間画素生成方法において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成方法。
【請求項19】
請求項18に記載の補間画素生成方法において、
前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
【請求項20】
請求項17に記載の補間画素生成方法において、
前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
【請求項21】
請求項17に記載の補間画素生成方法において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
【請求項22】
請求項21に記載の補間画素生成方法において、
前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
【請求項23】
複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第1の自己相関値を算出する第1算出手段と、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第2の自己相関値を算出する第2算出手段と、
前記第1の自己相関値と前記第2の自己相関値を基に、最終的な自己相関値を算出する第3算出手段と、
を備えることを特徴とする自己相関値算出装置。
【請求項24】
請求項23に記載の自己相関値算出装置において、
前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出装置。
【請求項25】
請求項23に記載の自己相関値算出装置において、
前記入力対象物は、テレビ画像であり、
前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出装置。
【請求項26】
請求項23に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
【請求項27】
請求項23に記載の自己相関値算出装置において、
前記入力対象物は、テレビ画像であり、
前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第1の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第1サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第2の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第2サンプルであることを特徴とする自己相関値算出装置。
【請求項28】
請求項27に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する2つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第1サンプルと前記複数の第2サンプルの間にあるサンプルであることを特徴とする自己相関値算出装置。
【請求項29】
請求項23に記載の自己相関値算出装置において、
前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
【請求項30】
請求項23に記載の自己相関値算出装置において、
前記第2算出手段では、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第2の自己相関値を算出することを特徴とする自己相関値算出装置。
【請求項31】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記算出手段は、前記複数の方向のうちの少なくとも1つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項1乃至8の何れか1項に記載の自己相関値算出装置を備えることを特徴とする補間画素生成装置。
【請求項32】
請求項31に記載の補間画素生成装置において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項33】
請求項32に記載の補間画素生成装置において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項34】
請求項31に記載の補間画素生成装置において、
前記生成手段により生成された前記補間画素の値が前記対象位置に隣接する第1入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第2入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
【請求項35】
請求項31に記載の補間画素生成装置において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
【請求項36】
請求項35に記載の補間画素生成装置において、
前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出手段は、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
【請求項37】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第1入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第2入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項38】
請求項37に記載の補間画素生成装置において、
前記第1入力画素群線上に前記補間方向に対応した第1補間画素を生成し、前記第2入力画素群線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項39】
複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
を備え、
前記算出手段は、前記複数の方向のうちの少なくとも1つの方向について、
入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第1画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第2画素を基に、第1の自己相関値を算出する第1サブ手段と、
前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第1画素から前記第2画素までの範囲にある複数の画素を基に、第2の自己相関値を算出する第2サブ手段と、
前記第1の自己相関値と前記第2の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第3サブ手段と、
を備えることを特徴とする補間画素生成装置。
【請求項40】
請求項39に記載の補間画素生成装置において、
前記複数の方向のうちの少なくとも1つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向(以下、「補間方向」という。)であることを特徴とする補間画素生成装置。
【請求項41】
請求項40に記載の補間画素生成装置において、
前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第1補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第2補間画素を生成し、前記第1補間画素と前記第2補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
【請求項42】
請求項39に記載の補間画素生成装置において、
前記生成手段により生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
【請求項43】
請求項39に記載の補間画素生成装置において、
演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
【請求項44】
請求項43に記載の補間画素生成装置において、
前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第1の所定値以上である場合には、前記算出手段を、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第1の所定値よりも少ない第2の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
【請求項45】
コンピュータに請求項1乃至22の何れか1項に記載の方法を行わせるためのプログラム。
【請求項46】
請求項45に記載のプログラムを記録した、コンピュータ読取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2007−60104(P2007−60104A)
【公開日】平成19年3月8日(2007.3.8)
【国際特許分類】
【出願番号】特願2005−241146(P2005−241146)
【出願日】平成17年8月23日(2005.8.23)
【出願人】(302069930)NECパーソナルプロダクツ株式会社 (738)
【Fターム(参考)】
【公開日】平成19年3月8日(2007.3.8)
【国際特許分類】
【出願日】平成17年8月23日(2005.8.23)
【出願人】(302069930)NECパーソナルプロダクツ株式会社 (738)
【Fターム(参考)】
[ Back to top ]