映像信号のデインタレース
【課題】インタレース画像フィールドをデインタレースしてノンインターレース画像フレームを得るデインタレース構成の実現を大幅に簡素化する。
【解決手段】各画像フィールドの空白線を除去し（１１０）、かつ各画像フィールドの残りの線の画素の２分の１を除去し（１２０）、それによって、半数の線（つまり約２分の１の垂直解像度）および半数の画素（つまり約２分の１の水平解像度）を持つ画像フレームを得る。空白線の除去は、空白線の位置の線の画素値を隣接する線の画素値から補間し、補間された線を維持し、隣接する線を除去し、それによって隣接する画像フィールド間の２分の１の線位置差によって生じる垂直ジッタを実質的に減少することを含むことができる。
【解決手段】各画像フィールドの空白線を除去し（１１０）、かつ各画像フィールドの残りの線の画素の２分の１を除去し（１２０）、それによって、半数の線（つまり約２分の１の垂直解像度）および半数の画素（つまり約２分の１の水平解像度）を持つ画像フレームを得る。空白線の除去は、空白線の位置の線の画素値を隣接する線の画素値から補間し、補間された線を維持し、隣接する線を除去し、それによって隣接する画像フィールド間の２分の１の線位置差によって生じる垂直ジッタを実質的に減少することを含むことができる。
【発明の詳細な説明】
【優先権】
【０００１】
本出願は、１９９９年４月１９日に出願された米国仮出願第６０／１２９，９３４号の特典を請求する。
【技術分野】
【０００２】
本発明は、映像信号のデインタレース(de-interlacing)に関する。
【背景技術】
【０００３】
動画像は、フィルムから生成されるか、電子映像情報から生成されるかにかかわらず、順次投影される一連のフレームの画像情報、つまり制御された速度で進行する一連の静止画像を備えている。映像は、視聴者が個々のフレーム映像のちらつきを知覚しないように充分高い速度で、例えば毎秒６０フレームで表示される。
【０００４】
技術、帯域幅、またはその他の制限のため、情報を全速で伝送することができない場合、映像を受入れ不可能な程度にまでは劣化しない、低い速度で情報を伝送する方法が使用される。歴史的にテレビジョン信号は、画像の情報の視聴者の知覚を高めるために、インタレース形式で符号化されてきた。例えば、ＮＴＳＣ方式で伝送されるテレビジョン信号は、毎秒６０のインタレースフィールドを含み、連続する２つのフィールドで、一般的に４：３の横対縦のアスペクト比の１つの完全なフレームの画像情報を形成する。インタレース形式とは、図１の２つの連続インタレースフィールドの簡略図にあるように、画像情報の各フレームが２フィールドの画像情報に分割され、各フィールドがフレーム内の画像情報の線の半分を含むことを意味する。例えばＮＴＳＣ方式では、各フレームは４８０本の水平線で捕捉され、各フィールドで２４０本が伝送される。つまり、１つのフィールドで偶数番号の線が伝送され、次の連続フィールドで奇数番号の線が伝送され、等々となる。図解のため、図１にはより少数の線を示す。
【０００５】
デジタルビデオ用のＡＴＳＣ標準をはじめ、多くの新しい映像標準は、それが提供する表示品質上の利点のため、インタレース画像を利用する。他方、コンピュータモニタおよび特定の高品位テレビジョンなど現代のディスプレイ装置は、画像が線またはフィールドをインタレースすることなく一連のフレームとして表示される、順次走査を採用している。つまり、各フレームが映像の全ての水平線を含む。したがって、順次ディスプレイは、同等のインタレースディスプレイの２倍の数である、毎秒６０フレームの速度で１フレームにつき４８０本の水平線を表示する。
【０００６】
インタレース画像符号化形式で受信した映像を順次走査ディスプレイに表示するには、インタレース映像信号の順次映像信号への変換、つまりインタレース画像から一連の順次画像を形成することが必要である。全解像度での（つまり画像の細部の損失がない）そのような変換に関連する問題は、結果的に得られる順次画像がインタレース画像に含まれる情報の２倍の量の情報を必要とすること、およびフィールドの映像情報（フィールドメモリ）およびフレームの映像情報（フレームメモリ）を格納するために、厖大なメモリが必要なことである。また、映像データの１つの形式から他の形式への変換は計算集約的であり、映像データの様々な補間およびその他の組合せを、一般的に１フィールドにつき数百万回行なわなければならない。
【０００７】
そのような全解像度変換を実行する装置は、非常に複雑かつ高価である。変換計算によって処理したときに、しばしば不快なアーチファクトつまり２つの場所に現れる物体あるいはスミアパターンまたは擾乱パターンを発生させるフィールド間の画像の移動のため、追加的問題も起こる。従来の解決策は、これらの問題を克服しようと試みるにあたって変換プロセスの複雑さを増加させ、したがってその費用を増大させる傾向がある。
【０００８】
主要ソフトウェア会社によって提案された“ｂｏｂ”デインタレース技術の例のように、いわゆる“簡素化”デインタレース方式が提案された場合でさえも、プロセスが計算集約的であることに変わりはない。“ｂｏｂ”技術では、各フィールドの空白線は消去されるが、その後、線の半数の消去により失われた垂直解像度および縦横比を回復する試みの中で“欠落した”線を埋めるために、“２倍ズーム（ｔｉｍｅｓ-ｔｗｏ ｚｏｏｍ）”プロセスによって復元することが事実上求められる。これは、“欠落した”線の各画素をそれに隣接する２本の線の画素値から計算する、計算集約的プロセスを必要とする。さらに、各水平線の全画素内容が維持され、それによって、各水平線の全画素内容のためのメモリストレージを含めて少なくとも全フィールドメモリ、あるいは高速実時間補間計算が提供されない場合には全フレームメモリが要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、インタレース画像フィールドをノンインターレース画像フレームに変換するための簡素化された方法が必要である。結果的に得られる画像フレームの解像度が低下しても、そのような方法は計算の簡素化という利点をもたらすことが望ましい。
【課題を解決するための手段】
【００１０】
この目的のために、本発明の一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法は、各画像フィールドの各空白線を除去し、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持することと、各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去することと、を備える。
【００１１】
本発明の別の態様によると、一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する機械可読コンピュータ命令で符号化される記憶媒体は、コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持する手段と、コンピュータに各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去させる手段と、を備える。
【００１２】
本発明の好適な実施形態の詳細な記述は、図面と併せて読むと、いっそう容易に、かつより深く理解されるであろう。
【図面の簡単な説明】
【００１３】
【図１】２つの連続するインタレース画像フィールドを示す線図である。
【図２】本発明に係るデインタレース構成の略ブロック図である。
【図３】２つの連続する画像フィールドの一部の一連の線の相対的空間位置を示す線図である。
【図４】画像フィールドの一部の一連の線およびその変換の相対的空間位置を示す線図である。
【図５】図４の画像フィールドの変換に関連する変換プロセスの表現を示す線図である。
【図６】Ａは、コンピュータを用いた本発明の実現のブロック図である。Ｂは、コンピュータを用いた本発明の実現のブロック図である。
【図７】本発明に係る流れ図である。
【発明を実施するための形態】
【００１４】
図２は、本発明に係るデインタレース構成の略ブロック図であり、これは、簡素化された計算プロセスを実現することが望ましく、かつ全フィールド格納メモリまたは全フレーム格納メモリの必要性を避けることが望ましい。プロセスは、交互に存在し、合わせて１つの画像フレームを構成する、インタレース画像フィールドＡおよびインタレース画像フィールドＢと識別される一連の画像フィールドを含む、インタレース原画像信号１００で始まる。例えば図１に示すように、インタレース画像フィールドＡは画像の奇数番号の線を含み、インタレース画像フィールドＢは画像の偶数番号の線を含む。完全な画像は、例えば交互の画像フィールドＡ−Ｂ−Ａ−Ｂ−Ａ−Ｂ・・・の連続によって提供される。インタレース画像フィールドＡおよびＢの各々の交互の線だけが実際に映像または画像情報、つまり値を持つ画素を含むので、それらの間の線は映像または画像情報、つまり画素値を含まず、空白線と呼ばれる。空白線（つまりフィールドＡの偶数番号の線およびフィールドＢの奇数番号の線）は除去または消去され１１０、画素情報を含む線だけが残る。全解像度で完全な線に対して全画素数を含む残りの線は、２分の１に収縮される１２０。線がアナログ映像画素を含む場合、線の“収縮”は、アナログ信号が通常標本化される率の２分の１の標本化率で規則的な時間間隔で、アナログ信号を標本化することによって行われる。線がデジタル映像画素を含む場合、つまり線が画素値を表す一連のデジタル語である場合、デジタル語の２分の１が除去または消去される。１つおきのアナログ標本またはデジタル語、つまり交互の画素を維持することが好ましい。
【００１５】
例えば、毎秒６０フィールドの速度で線２４０本×７２０画素の２つのインタレースフィールドから形成される標準精細度ＮＴＳＣインタレース画像は、毎秒３０フレームの速度で線４８０本×７２０画素のインタレースフレームを生成する。従来のノンインターレースまたは順次走査への完全変換では、標準精細度ＮＴＳＣインタレースフィールドは、毎秒６０フレームの速度で順次走査される線４８０本×７２０画素のフレームに変換される。本発明による上述の変換では、標準精細度ＮＴＳＣインタレースフィールドは、毎秒６０フレームの速度で線２４０本×３６０画素のフレームに、つまり標準ＮＴＳＣ画像より高いフレーム速度であるが、縮小された解像度で変換される。
【００１６】
ここで使用する場合、画像および／または情報は、画像フィールドまたはフレームとしてインタレース形式であるかノンインターレース形式であるかにかかわらず、ディスプレイ装置に表示されるものに関して相互に置換可能に使用され、静止画像か動画像かにかかわらず、カメラ、コンピュータ、またはその他の発生源のいずれによって生成されたかにかかわらず、真実か、具象か抽象か、あるいは随意かにかかわらず、英数字または数学的表記法などの記号または文字を含むか否かにかかわらず、白黒、モノクローム、ポリクローム、またはフルカラーのいずれで表示されるかにかかわらず、視覚的イメージおよび映像を含み、ただしそれのみに限定されず、ユーザが希望する幅広い様々なディスプレイの全てを包含するように意図されている。
【００１７】
一般的に、画像に不快なアーチファクトを引き起こす望ましくないエーリアシングを生じることなく、垂直および水平方向の各々で画像を適切に縮小するために、垂直および水平方向の両方で画像の低域フィルタリングを実行して、そのようなエーリアシングを発生させる信号の高周波数成分を除去する必要がある。しかし、今日生成される映像の大部分は、そのようなフィルタリングを行うことなく、容認される品質の画像を得ることができる。高い時間周波数および空間周波数が存在する場合、例えば非常に高速で移動する尖鋭なエッジが発生するときには、フィルタリングされていない画像にアーチファクトが形成されることがある。相対的に低い周波数が存在する画像、例えば、動きの遅いまたは静止した物体の画像では、エーリアシングは最小限である。
【００１８】
前述の方法は、一連のインタレース画像フィールドを、原インタレース画像または同等の順次走査画像の約２分の１の垂直解像度および２分の１の水平解像度を有する一連のノンインターレースまたは順次走査画像フレームに充分に変換する。結果的に得られる連続したノンインターレース画像フレームは、テレビジョンまたはテレビジョン型ディスプレイ、あるいはコンピュータモニタまたはディスプレイ、あるいは類似物のいずれにおけるかにかかわらず、特定のテレビジョンで行われるような、ときどき“ピックス−イン−ピックス（ｐｉｘ−ｉｎ−ｐｉｘ）”と呼ばれる、より小さい画像をずっと大きい画像のディスプレイに挿入するなどの特定の適用分野に、またはコンピュータディスプレイまたは安価なビデオカムコーダのビューファインダに見られるような小型スクリーンディスプレイにおけるテキストページ内の画像に適しており、垂直ジッタが視聴者にとって明らかとなるような他の適用分野には適さないかもしれない。この理由は、２つの連続するインタレース画像フィールドＡおよびＢの一部分の連続する線の相対的空間位置を示す線図である、図３を考察することによって理解することができる。
【００１９】
図３で、奇数番号の線だけを含むフィールドＡは画素情報を含む線ａ、ｂ、ｃ、ｄ、ｅを含み、画素情報を含むフィールドＢの対応する偶数番号の線ａ、ｂ、ｃ、ｄ、ｅから垂直方向にわずかにずれている。インタレース画像として表示されたとき、フィールドＡの線はフィールドＢの空白を埋め、フィールドＢの線はフィールドＢの空白を埋め、画像フレームを完成する。空白線の除去１１０によって収縮し、画像フレームとして表示した場合、フィールドＡおよびＢの線は事実上、線の２分の１づつ偏移または位置ずれし、したがってフレーム画像は、フレーム間で、例えば毎秒６０回といったフレーム速度で、線の２分の１の寸法だけ上下に移動する。この垂直移動が観察者に知覚されるほどディスプレイが大きい場合、その移動は不快とみなされるかもしれず、したがって除去することが望ましい。
【００２０】
図４は、１つの画像フィールドの一部の一連の画素を含む線、また上述の垂直ジッタを引き起こす線の約２分の１の空間偏移または位置ずれを除去する、その変換の相対的空間位置を示す線図である。適切な変換（またはフィルタリング）は、簡単な平均化などによって、２つのＮＴＳＣインタレースフィールドのうちの一方の２つの隣接する線の画素を補間し、それらの代わりに平均線を使用するものである。変換が例えば図４のようにフィールドＢの線で行われる場合、平均化による補間は、フィールドＢの隣接する線ａおよびｂの値を加算し、和を２で割ることによって行われ、その結果が、変換またはフィルタリング後のフィールドＢの平均線ａ´である。同様に、フィールドＢの線ｂおよびｃは同じく平均化されて、変換フィールドＢの平均線ｂ´を生じる。
【００２１】
線の各々に沿って対応する水平方向の位置における画素の値が変換されて、変換後の線のその特定位置における画素の画素値を生じることが好ましい。また、画素値の変換は、水平線に沿った画素数を削減し、それによって変換される画素値の数を削減した後で行うことが好ましい。アナログ映像情報の場合、隣接する線の画素値は、入力信号の和を２分の１に減衰したものを出力として提供する、抵抗器ネットワークなどの加算ネットワークによって平均化することができるが、各隣接線の画素値からの貢献が均等に加重される限り、減衰は２または特定の値である必要はない。デジタル映像情報の場合、隣接する線の対応する水平方向の位置における画素を表すデジタル語の画素値をデジタル加算し、次いで２で割る。また、空白線の除去は、各線の画素数の削減より先に行うことが好ましい。
【００２２】
したがって、画素情報を含む隣接する線、つまり交互インタレースフィールドの交互の線に対応する画素の値は、補間などによって、例えば平均化によって変換され、非変換フィールドの線から垂直方向の線間隔の約２分の１だけ垂直方向に偏移された、画素情報を含む新しい線が生成される。交互に１つおきのインタレースフィールドから導出された変換後の線を含むフレームが、残りのインタレースフィールドから導出された非変換フレームと交互に表示されたとき、各フレームは、水平方向および垂直方向の両方で、先行フレームおよび後続フレームと適切に整列する。適切に整列した線により、映像は、原インタレース映像信号のフィールド速度（例えば毎秒６０）で、ただし、水平方向および垂直方向に２分の１の解像度で、ノンインターレース（つまり順次走査）画像フレームとして表示することができる。
【００２３】
インタレース画像フィールドをノンインターレース画像フレームに変換する際に実行する演算の回数が実質的に削減されることと、削減された画素数にこれらの演算を実行することと、また必要な演算が非常に簡単であることによって、本発明から特定の利点が得られる。先行技術のデインタレース方式は、水平方向に全ての画素を維持し、全てのインタレースフィールドの全ての空白線を補間線で埋めて垂直方向に補間して、“ズームした”または全解像度のノンインターレースのフレームを生成するので、これらの利点をもたらすことができない。例えば、結果的に得られる画像は、先行技術の“ｂｏｂ”方式で“補間重複方法を用いて垂直方向に２倍（２×）にズームしなければならない”。
【００２４】
本発明のこれらの利点は、本発明を、従来のマイクロプロセッサのアーキテクチャの一部に見られるような、単一命令複数データ（ＳＩＭＤ）コンピュータアーキテクチャを利用して実現するのに特にふさわしいものにする。ＳＩＭＤプロセッサ（コンピュータ）は、他の並列プロセッサと同様に、複数のデジタルデータに同時並列演算を実行するように構成される。したがって、本書で交互のインタレース画像フィールドの隣接する線の画素値のフィルタリングまたは変換について述べたように、インタレース映像情報のデインタレースにおける複数の画素値の変換は、複数の画素に同時に行われる。
【００２５】
例えば、８バイトのデジタル情報に対し同時に並列演算を実行するプロセッサは、各々７２０画素を含む２本の線を、わずか９０回の演算サイクルで３６０画素を含む単一の線に変換（例えば平均化）することができる。この場合、画素数の２分の１の削減１２０は変換演算の前に生ずる。変換演算では、プロセッサは、各プロセッサ演算サイクル中に８個の画素に平行して演算を行うので、各組の画素に２サイクル（例えば１サイクルをＡＤＤ演算、１サイクルをＳＨＩＦＴ演算）を行うと、結果的に１本の線につき必要な演算サイクルは９０回となる。この変換を、毎秒、３０の交互フィールドの２４０本の線に実行するためには、毎秒２４０×３０×９０＝６４８，０００回の演算が必要なだけであり、これは毎秒数億回の演算サイクルで作動するプロセッサにとっては、非常に小さい演算数であり、したがって本発明は、例えばコンピュータまたはデジタルテレビ受像機内のマイクロプロセッサなど、他の作業に従事するプロセッサの背景処理として実行するのに有利である。パイプラインアーキテクチャの各変換を処理するためには、４つのサイクル、例えばＦＥＴＣＨ（取り出し）、ＡＤＤ（加算）、ＳＨＩＦＴ（桁移動）、およびＳＴＯＲＥ（格納）が必要になるかもしれず、これらは、変換データが４つのサイクルに利用可能になる時間を遅らせるが、計算サイクル数は増加させないことが注目される。
【００２６】
図５は、図４の画像フィールドＢなど、インタレース画像フィールドの２つの隣接する画素包含線を変換する処理演算の表現を示す線図である。図５に示す画素情報を含む線の部分において、各方形は水平方向の画素数の削減１２０後の画素値を表しており、したがって交互位置の画素のみ、例えば偶数番号の画素が残っている。したがって、線ａおよびｂは各々、偶数番号の画素４０ａ、４２ａ、４４ａ．．．、５４ａおよび４０ｂ、４２ｂ、４４ｂ．．．、５４ｂを含む。特に、８個の画素が８バイト並列プロセッサによって並列で処理される状態が示されている。
【００２７】
線ａおよびｂの各々の８個の画素の画素値は一つに加算されて、それらの８個の和を生成し、それらは、線ａおよびｂの画素値が８ビットデジタル語の場合、オーバフロービット位置が必要であるため、８個の９ビットの和を生成する。８個の和は次に、例えば純粋（８−４−２−１）または変形バイナリ、２の補数、２進化１０進数、グレイコード等々、利用される特定の形式の２進符号化に適した方法で、各々２で除算される。２による除算は、例えば値が純粋バイナリ（つまり８−４−２−１）ビット加重で表される場合、各和を１ビットづつ右に桁移動するのと同様に簡単である。１ビット右に桁移動することは、単純に、各値の最下位ビット（ＬＳＢ）が脱落し、９ビット語のうちの残りの８個の最上位ビット（ＭＳＢ）を８ビットの商として使用することであることに注意されたい。その結果は、インタレース画像フィールドの２つの隣接線のそれぞれの８バイト部分から並列して生成された、処理後または変換後の画素値４０´、４２´、４４´．．．、５４´の最終線の８バイト部分である。
【００２８】
本発明は、コンピュータ実現プロセス（単数または複数）として、および／またはそのようなコンピュータ実現プロセス（単数または複数）を実現する装置として具現化することができ、またコンピュータプログラム又はその他の機械可読命令（ここでは“コンピュータプログラム”という）を含む有形記憶媒体の形で具現化することもでき、ここでコンピュータプログラムがコンピュータまたはその他のプロセッサ（ここでは“コンピュータ”という）にロードされ、かつ／またはコンピュータによって実行されるときに、コンピュータは本発明を実施する装置になる。そのようなコンピュータプログラムを含む記憶媒体として、例えば、フロッピー（登録商標）ディスクおよびディスケット、コンパクトディスク（ＣＤ）−ＲＯＭ（書込み可能か否かにかかわらず）、ＤＶＤデジタルディスク、ＲＡＭおよびＲＯＭメモリ、コンピュータハードドライブおよびバックアップドライブ、ならびにコンピュータによって読取り可能なその他の任意の記憶媒体がある。本発明はまた、例えば記憶媒体に格納されるか、それとも導電体、光ファイバ、またはその他の光伝導体などの伝送媒体により、または電磁放射によって伝送されるかにかかわらず、コンピュータプログラムの形で具現化することもでき、その場合、コンピュータプログラムはコンピュータにロードされ、かつ／またはコンピュータによって実行されるときに、コンピュータは、本発明を実施する装置になる。本発明は、特に本発明を実施するように構成された汎用マイクロプロセッサまたはデジタルプロセッサ上に実現することができる。汎用マイクロプロセッサを使用する場合、コンピュータプログラムコードは、特定の論理回路構成を形成するようにマイクロプロセッサの回路を構成する。
【００２９】
図６Ａは、コンピュータまたはプロセッサ２１０を使用する実施形態２００における本発明の実現のブロック図である。全てコンピュータ２１０の制御下で、６０Ｈｚのフィールド速度で入力するインタレース映像信号は、アナログ・デジタル（Ａ／Ｄ）変換器２２０に加えられ、これは一連のデジタル語を含むそれらの標本化されたデジタル表現を生成し、これはアドレス指定可能なメモリ２４０に格納される。コンピュータ２１０は、中央処理装置（ＣＰＵ）２１２および従来通り並列データ処理を行う演算論理回路（ＡＬＵ）２１４を含む。図６Ａの細い矢印は、制御のためにコンピュータ２１０のＣＰＵ２１２によって生成されるクロック信号、制御信号、およびメモリアドレスのための信号路を表し、太い両端矢印は、メモリ２４０によって生成され、コンピュータ２１０のＡＬＵ２１４に提供されるデジタルデータ語、およびＡＬＵ２１４によって生成され、格納するためにアドレス指定可能なメモリ２４０に提供されるデジタルデータ語のためのデータバスを表す。選択された画素値を表す処理後のデジタル語は、全て本発明に従って、ＣＰＵ２１２によって呼び出されるアドレス指定可能なメモリ２４０のメモリアドレス場所から生成され、アナログ順次映像信号出力をそこから生成するデジタル・アナログ（Ｄ／Ａ）変換器２３０に加えられる。
【００３０】
ＳＩＭＤ並列処理能力を含むコアを有する市販のプロセッサとして、インテル・ペンティアム(登録商標）ＩＩ及びインテル・ペンティアム(登録商標）ＩＩＩマイクロプロセッサ、並びにＭＭＸ命令セットを実行する同等のプロセッサのみならず、モトローラＧ４パワーＰＣ型のマイクロプロセッサ、およびその他の任意のプロセッサがあるが、背景で並列処理演算を実行するデジタル信号処理エンジンを含むものが好ましい。各プロセッサにおいて、本発明によるデインタレース処理は、本発明の方法を実行するようにプロセッサを構成するソフトウェアプログラムの制御下で実行することができる。実際、本発明の演算は、計算集約性が先行技術のデインタレース方式よりずっと低いので、本発明によるデインタレースは、プロセッサの主要機能の背景操作として有利に実行されることができ、したがって追加ハードウェアが必要なく、それによって追加の複雑さ及びコストが回避される。
【００３１】
図６Ｂは、デジタル映像データの処理を示す、図６Ａのコンピュータ実施形態２００のメモリ２４０の実現の概念的ブロック図である。Ａ／Ｄ変換器２２０からのインタレース映像信号の画素値を表すデジタル語は、インタレースフィールドＡからのものである場合にはフィールドメモリ２４２ａに、インタレースフィールドＢからのものである場合にはフィールドメモリ２４２ｂに格納される。フィールドメモリ２４２ａ、２４２ｂは、例えばＮＴＳＣビデオシステムでは、各々７２０個の８ビット画素の水平線４８０本を格納するのに充分なアドレス指定可能な記憶場所を有する、各々アドレス指定可能なランダムアクセスメモリ（ＲＡＭ）である。インタレースフィールドの線は１つおきに空白であり、つまり画素情報が含まれないので、空白線は無視され、非空白線からの画素値が、インタレースフィールドＡからのものである場合には、半フィールドメモリ２４４ａに、インタレースフィールドＢからのものである場合には、半フィールドメモリ２４４ｂに転送される。各半フィールドメモリ２４４ａ、２４４ｂは、ＮＴＳＣビデオの場合、各々７２０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。
【００３２】
メモリ２４４ａ、２４４ｂに格納された各線の映像画素は、それぞれ水平方向のフィルタリングが行われて、半分の画素数を持つ映像データの線を生成し、インタレースフィールドＡからのものである場合には１／４フィールドメモリ２４６ａに、インタレースフィールドＢからのものである場合には１／４フィールドメモリ２４６ｂに格納される。各１／４フィールドメモリ２４６ａ、２４６ｂは、ＮＴＳＣビデオの場合、各々３６０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。さらに、上述の１／２線の垂直ジッタを解消するために、フィールドの１つからの線に垂直方向のフィルタリングも行う。図６Ｂで、インタレースフィールドＢからの隣接線が１／４フィールドメモリ２４６ｂから検索され、垂直方向のフィルタリングが行われて置換線が生成され、これは１／４フィールドメモリ２４８に格納される。図６Ｂのデータの流れを表す矢印は、メモリ２００内の１つのメモリから次のメモリを直接指し示しているが、１つのメモリによって生成されたデジタル画素データは、実際にはＡＬＵ２１４に転送され、そこで水平または垂直フィルタリングが行われ、それから再びメモリ２００内の次のメモリに転送されて格納されることがある。１／４フィールドメモリ２４８は、ＮＴＳＣビデオの場合、各々３６０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。最後に、インタレースフィールドＡおよびＢから導出された処理後の線は、メモリ２４６ａおよび２４８から交互に結合ノード２５０に生成される。結合ノードは、メモリ２４６ａおよび２４８の出力がいわゆるトライステート型である場合には単純接続とすることができ、トライステート型でない場合には、一緒に合わせて順次映像信号出力を提供するために、マルチプレクサとすることができる。例えばＮＴＳＣビデオでは、各々３６０画素の線２４０本を有する順次映像フレームは、６０Ｈｚのフレーム速度で生成される。
【００３３】
メモリ２００の現実的実現では、より少量のメモリが利用されることに注意されたい。例えば、コンピュータ２１０がメモリ２００をアドレス指定して制御し、Ａ／Ｄ変換器２２０からの入力デジタル画像データの線を１つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線のみを半フィールドメモリ２４４ａ、２４４ｂに直接格納する場合、フィールドメモリ２４２ａ、２４２ｂは除去することができる。さらに、水平方向のフィルタリングが画素を１つおきに除去することを含む場合にも、半フィールドメモリ２４４ａ、２４４ｂを除去することができ、その場合コンピュータ２１０がメモリ２００をアドレス指定して制御し、Ａ／Ｄ変換器２２０からの入力デジタル画像データの線を１つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線の１つおきの画素のみを１／４フィールドメモリ２４６ａ、２４６ｂに格納する。したがって、メモリ２００の機能は、各々３６０画素の線２４０本、つまり合計して３６０個の８ビットの画素の線７２０本の３／４フィールドメモリのみによって提供することができ、これは従来のデインタレース構成に要求されるよりかなり小さいメモリである。実際には、より洗練されたメモリ制御およびアドレス指定により、メモリ２４６ｂおよび２４８の機能は、２つの１／４フィールドメモリおよび幾つかの線メモリのみによって、つまり合計して各々３６０画素の線４８４本のみによって提供することができる。垂直方向のフィルタリングまたは両方でより洗練されたフィルタリングが使用される場合、追加メモリ及び／又はより洗練されたメモリアドレス指定および制御が使用される。
【００３４】
図７は、本発明の方法を示す流れ図である。この方法は、デジタル映像形式であることが好ましいが、アナログ映像かデジタル映像形式かにかかわらず、インタレース映像フィールドを受け取り３００、かつ各インタレース映像フィールドから空白線を除去する３１０のことを含む。空白線の除去３１０は、１つおきの線つまり空白線を単に脱落することを含むか、あるいは隣接する非空白線のフィルタリングを含むことができ、そうしたフィルタリングは線の補間、平均化、脱落、および類似物を含むことができる。したがって、各々４８０本の線のインタレースフィールドは、ＮＴＳＣ形式では、各々２４０本の線のフィールドに削減される。各インタレースフィールドの維持された非空白線をフィルタリングして３２０、水平方向のその画素の数を２分の１だけ減少することは、１つおきの画素つまり偶数番号または奇数番号の画素を単に脱落することを含むか、または隣接する画素をフィルタリングすることを含み、そのようなフィルタリングは、交互の画素の補間、平均化、脱落、および類似物を含むことができる。維持すべき画素の値、ならびに直前および直後の画素の値を例えば平均化によって補間して、維持する画素の値を入手し、それによって１つおきの画素を単に脱落することによって得られる結果より大幅に細部を保持し易くすることが好ましい。したがって、各々７２０画素のＮＴＳＣ線は、各々３６０画素の線に削減される。１つのインタレースフィールド、例えばフィールドＢをフィルタリングして３３０、それらの線を他のフィールド、例えばフィールドＡの対応する線と整列させ、それによって、インタレースフィールドの線の交互に現れる性質によって生じる1／２線の垂直ジッタを除去することにより、受け取ったインタレース映像のフィールド速度と同一フレーム速度で、順次またはノンインターレース映像フレームが生成される３４０。フィルタリング３３０は、１つのインタレースフィールドの２つの隣接する非空白線に沿った同様の位置の画素の値を補間して、同じフィールドで補間される２つの線の間に位置する１本の線に沿った同じ位置の画素の値を生成することが好ましい。そのような補間が、隣接する線に沿って対応する位置の２つの画素の値を平均化することを含むことも、また好ましい。
【００３５】
本発明を、上記の例示的な実施形態に関連して説明したが、請求の範囲によって規定する本発明の範囲および精神内の変形は当業者には明らかであろう。例えば、各フィールドからの空白線の除去は、２本またはそれ以上の線の画素値を格納し、各線に沿った画素値の半分を除去し、かつ加算または平均化、またはその他の方法でフィルタリングまたは補間するなどによって、交互のフィールドの隣接する線の画素値を変換するように構成された特定のハードウェアのみならず、そのような機能を提供するように構成された特定のハードウェアでも実行することができる。特に、画素値の格納および各線の交互の画素値の除去は単に、特定の水平線の８ビット画素値をそのデータ入力で受け取り、かつ入力データ語をそのようなデータ語がその入力に加えられた速度の２分の１の速度で格納するようにクロックが発信される８ビット幅のシフトレジスタによって達成することができる。
【００３６】
さらに、１本の線の画素またはそのような線の画素を表現する一連のデジタル語の画素の２分の１を除去する演算は、付近の画素の値をフィルタリングまたは補間することによって達成され、この用語は相互に置換可能であり、かつ１つおきの画素を脱落したり、２つまたはそれ以上の隣接または付近の画素の値を平均化するなど（２つの画素の平均または３つの画素の平均など）の演算を含むことをも意図している。
【優先権】
【０００１】
本出願は、１９９９年４月１９日に出願された米国仮出願第６０／１２９，９３４号の特典を請求する。
【技術分野】
【０００２】
本発明は、映像信号のデインタレース(de-interlacing)に関する。
【背景技術】
【０００３】
動画像は、フィルムから生成されるか、電子映像情報から生成されるかにかかわらず、順次投影される一連のフレームの画像情報、つまり制御された速度で進行する一連の静止画像を備えている。映像は、視聴者が個々のフレーム映像のちらつきを知覚しないように充分高い速度で、例えば毎秒６０フレームで表示される。
【０００４】
技術、帯域幅、またはその他の制限のため、情報を全速で伝送することができない場合、映像を受入れ不可能な程度にまでは劣化しない、低い速度で情報を伝送する方法が使用される。歴史的にテレビジョン信号は、画像の情報の視聴者の知覚を高めるために、インタレース形式で符号化されてきた。例えば、ＮＴＳＣ方式で伝送されるテレビジョン信号は、毎秒６０のインタレースフィールドを含み、連続する２つのフィールドで、一般的に４：３の横対縦のアスペクト比の１つの完全なフレームの画像情報を形成する。インタレース形式とは、図１の２つの連続インタレースフィールドの簡略図にあるように、画像情報の各フレームが２フィールドの画像情報に分割され、各フィールドがフレーム内の画像情報の線の半分を含むことを意味する。例えばＮＴＳＣ方式では、各フレームは４８０本の水平線で捕捉され、各フィールドで２４０本が伝送される。つまり、１つのフィールドで偶数番号の線が伝送され、次の連続フィールドで奇数番号の線が伝送され、等々となる。図解のため、図１にはより少数の線を示す。
【０００５】
デジタルビデオ用のＡＴＳＣ標準をはじめ、多くの新しい映像標準は、それが提供する表示品質上の利点のため、インタレース画像を利用する。他方、コンピュータモニタおよび特定の高品位テレビジョンなど現代のディスプレイ装置は、画像が線またはフィールドをインタレースすることなく一連のフレームとして表示される、順次走査を採用している。つまり、各フレームが映像の全ての水平線を含む。したがって、順次ディスプレイは、同等のインタレースディスプレイの２倍の数である、毎秒６０フレームの速度で１フレームにつき４８０本の水平線を表示する。
【０００６】
インタレース画像符号化形式で受信した映像を順次走査ディスプレイに表示するには、インタレース映像信号の順次映像信号への変換、つまりインタレース画像から一連の順次画像を形成することが必要である。全解像度での（つまり画像の細部の損失がない）そのような変換に関連する問題は、結果的に得られる順次画像がインタレース画像に含まれる情報の２倍の量の情報を必要とすること、およびフィールドの映像情報（フィールドメモリ）およびフレームの映像情報（フレームメモリ）を格納するために、厖大なメモリが必要なことである。また、映像データの１つの形式から他の形式への変換は計算集約的であり、映像データの様々な補間およびその他の組合せを、一般的に１フィールドにつき数百万回行なわなければならない。
【０００７】
そのような全解像度変換を実行する装置は、非常に複雑かつ高価である。変換計算によって処理したときに、しばしば不快なアーチファクトつまり２つの場所に現れる物体あるいはスミアパターンまたは擾乱パターンを発生させるフィールド間の画像の移動のため、追加的問題も起こる。従来の解決策は、これらの問題を克服しようと試みるにあたって変換プロセスの複雑さを増加させ、したがってその費用を増大させる傾向がある。
【０００８】
主要ソフトウェア会社によって提案された“ｂｏｂ”デインタレース技術の例のように、いわゆる“簡素化”デインタレース方式が提案された場合でさえも、プロセスが計算集約的であることに変わりはない。“ｂｏｂ”技術では、各フィールドの空白線は消去されるが、その後、線の半数の消去により失われた垂直解像度および縦横比を回復する試みの中で“欠落した”線を埋めるために、“２倍ズーム（ｔｉｍｅｓ-ｔｗｏ ｚｏｏｍ）”プロセスによって復元することが事実上求められる。これは、“欠落した”線の各画素をそれに隣接する２本の線の画素値から計算する、計算集約的プロセスを必要とする。さらに、各水平線の全画素内容が維持され、それによって、各水平線の全画素内容のためのメモリストレージを含めて少なくとも全フィールドメモリ、あるいは高速実時間補間計算が提供されない場合には全フレームメモリが要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、インタレース画像フィールドをノンインターレース画像フレームに変換するための簡素化された方法が必要である。結果的に得られる画像フレームの解像度が低下しても、そのような方法は計算の簡素化という利点をもたらすことが望ましい。
【課題を解決するための手段】
【００１０】
この目的のために、本発明の一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法は、各画像フィールドの各空白線を除去し、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持することと、各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去することと、を備える。
【００１１】
本発明の別の態様によると、一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する機械可読コンピュータ命令で符号化される記憶媒体は、コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で空白線と交互に存在し一連の画素を含む各画像フィールドの各線を維持する手段と、コンピュータに各画像フィールドの各維持線の前記一連の画素のうち半数の画素を除去させる手段と、を備える。
【００１２】
本発明の好適な実施形態の詳細な記述は、図面と併せて読むと、いっそう容易に、かつより深く理解されるであろう。
【図面の簡単な説明】
【００１３】
【図１】２つの連続するインタレース画像フィールドを示す線図である。
【図２】本発明に係るデインタレース構成の略ブロック図である。
【図３】２つの連続する画像フィールドの一部の一連の線の相対的空間位置を示す線図である。
【図４】画像フィールドの一部の一連の線およびその変換の相対的空間位置を示す線図である。
【図５】図４の画像フィールドの変換に関連する変換プロセスの表現を示す線図である。
【図６】Ａは、コンピュータを用いた本発明の実現のブロック図である。Ｂは、コンピュータを用いた本発明の実現のブロック図である。
【図７】本発明に係る流れ図である。
【発明を実施するための形態】
【００１４】
図２は、本発明に係るデインタレース構成の略ブロック図であり、これは、簡素化された計算プロセスを実現することが望ましく、かつ全フィールド格納メモリまたは全フレーム格納メモリの必要性を避けることが望ましい。プロセスは、交互に存在し、合わせて１つの画像フレームを構成する、インタレース画像フィールドＡおよびインタレース画像フィールドＢと識別される一連の画像フィールドを含む、インタレース原画像信号１００で始まる。例えば図１に示すように、インタレース画像フィールドＡは画像の奇数番号の線を含み、インタレース画像フィールドＢは画像の偶数番号の線を含む。完全な画像は、例えば交互の画像フィールドＡ−Ｂ−Ａ−Ｂ−Ａ−Ｂ・・・の連続によって提供される。インタレース画像フィールドＡおよびＢの各々の交互の線だけが実際に映像または画像情報、つまり値を持つ画素を含むので、それらの間の線は映像または画像情報、つまり画素値を含まず、空白線と呼ばれる。空白線（つまりフィールドＡの偶数番号の線およびフィールドＢの奇数番号の線）は除去または消去され１１０、画素情報を含む線だけが残る。全解像度で完全な線に対して全画素数を含む残りの線は、２分の１に収縮される１２０。線がアナログ映像画素を含む場合、線の“収縮”は、アナログ信号が通常標本化される率の２分の１の標本化率で規則的な時間間隔で、アナログ信号を標本化することによって行われる。線がデジタル映像画素を含む場合、つまり線が画素値を表す一連のデジタル語である場合、デジタル語の２分の１が除去または消去される。１つおきのアナログ標本またはデジタル語、つまり交互の画素を維持することが好ましい。
【００１５】
例えば、毎秒６０フィールドの速度で線２４０本×７２０画素の２つのインタレースフィールドから形成される標準精細度ＮＴＳＣインタレース画像は、毎秒３０フレームの速度で線４８０本×７２０画素のインタレースフレームを生成する。従来のノンインターレースまたは順次走査への完全変換では、標準精細度ＮＴＳＣインタレースフィールドは、毎秒６０フレームの速度で順次走査される線４８０本×７２０画素のフレームに変換される。本発明による上述の変換では、標準精細度ＮＴＳＣインタレースフィールドは、毎秒６０フレームの速度で線２４０本×３６０画素のフレームに、つまり標準ＮＴＳＣ画像より高いフレーム速度であるが、縮小された解像度で変換される。
【００１６】
ここで使用する場合、画像および／または情報は、画像フィールドまたはフレームとしてインタレース形式であるかノンインターレース形式であるかにかかわらず、ディスプレイ装置に表示されるものに関して相互に置換可能に使用され、静止画像か動画像かにかかわらず、カメラ、コンピュータ、またはその他の発生源のいずれによって生成されたかにかかわらず、真実か、具象か抽象か、あるいは随意かにかかわらず、英数字または数学的表記法などの記号または文字を含むか否かにかかわらず、白黒、モノクローム、ポリクローム、またはフルカラーのいずれで表示されるかにかかわらず、視覚的イメージおよび映像を含み、ただしそれのみに限定されず、ユーザが希望する幅広い様々なディスプレイの全てを包含するように意図されている。
【００１７】
一般的に、画像に不快なアーチファクトを引き起こす望ましくないエーリアシングを生じることなく、垂直および水平方向の各々で画像を適切に縮小するために、垂直および水平方向の両方で画像の低域フィルタリングを実行して、そのようなエーリアシングを発生させる信号の高周波数成分を除去する必要がある。しかし、今日生成される映像の大部分は、そのようなフィルタリングを行うことなく、容認される品質の画像を得ることができる。高い時間周波数および空間周波数が存在する場合、例えば非常に高速で移動する尖鋭なエッジが発生するときには、フィルタリングされていない画像にアーチファクトが形成されることがある。相対的に低い周波数が存在する画像、例えば、動きの遅いまたは静止した物体の画像では、エーリアシングは最小限である。
【００１８】
前述の方法は、一連のインタレース画像フィールドを、原インタレース画像または同等の順次走査画像の約２分の１の垂直解像度および２分の１の水平解像度を有する一連のノンインターレースまたは順次走査画像フレームに充分に変換する。結果的に得られる連続したノンインターレース画像フレームは、テレビジョンまたはテレビジョン型ディスプレイ、あるいはコンピュータモニタまたはディスプレイ、あるいは類似物のいずれにおけるかにかかわらず、特定のテレビジョンで行われるような、ときどき“ピックス−イン−ピックス（ｐｉｘ−ｉｎ−ｐｉｘ）”と呼ばれる、より小さい画像をずっと大きい画像のディスプレイに挿入するなどの特定の適用分野に、またはコンピュータディスプレイまたは安価なビデオカムコーダのビューファインダに見られるような小型スクリーンディスプレイにおけるテキストページ内の画像に適しており、垂直ジッタが視聴者にとって明らかとなるような他の適用分野には適さないかもしれない。この理由は、２つの連続するインタレース画像フィールドＡおよびＢの一部分の連続する線の相対的空間位置を示す線図である、図３を考察することによって理解することができる。
【００１９】
図３で、奇数番号の線だけを含むフィールドＡは画素情報を含む線ａ、ｂ、ｃ、ｄ、ｅを含み、画素情報を含むフィールドＢの対応する偶数番号の線ａ、ｂ、ｃ、ｄ、ｅから垂直方向にわずかにずれている。インタレース画像として表示されたとき、フィールドＡの線はフィールドＢの空白を埋め、フィールドＢの線はフィールドＢの空白を埋め、画像フレームを完成する。空白線の除去１１０によって収縮し、画像フレームとして表示した場合、フィールドＡおよびＢの線は事実上、線の２分の１づつ偏移または位置ずれし、したがってフレーム画像は、フレーム間で、例えば毎秒６０回といったフレーム速度で、線の２分の１の寸法だけ上下に移動する。この垂直移動が観察者に知覚されるほどディスプレイが大きい場合、その移動は不快とみなされるかもしれず、したがって除去することが望ましい。
【００２０】
図４は、１つの画像フィールドの一部の一連の画素を含む線、また上述の垂直ジッタを引き起こす線の約２分の１の空間偏移または位置ずれを除去する、その変換の相対的空間位置を示す線図である。適切な変換（またはフィルタリング）は、簡単な平均化などによって、２つのＮＴＳＣインタレースフィールドのうちの一方の２つの隣接する線の画素を補間し、それらの代わりに平均線を使用するものである。変換が例えば図４のようにフィールドＢの線で行われる場合、平均化による補間は、フィールドＢの隣接する線ａおよびｂの値を加算し、和を２で割ることによって行われ、その結果が、変換またはフィルタリング後のフィールドＢの平均線ａ´である。同様に、フィールドＢの線ｂおよびｃは同じく平均化されて、変換フィールドＢの平均線ｂ´を生じる。
【００２１】
線の各々に沿って対応する水平方向の位置における画素の値が変換されて、変換後の線のその特定位置における画素の画素値を生じることが好ましい。また、画素値の変換は、水平線に沿った画素数を削減し、それによって変換される画素値の数を削減した後で行うことが好ましい。アナログ映像情報の場合、隣接する線の画素値は、入力信号の和を２分の１に減衰したものを出力として提供する、抵抗器ネットワークなどの加算ネットワークによって平均化することができるが、各隣接線の画素値からの貢献が均等に加重される限り、減衰は２または特定の値である必要はない。デジタル映像情報の場合、隣接する線の対応する水平方向の位置における画素を表すデジタル語の画素値をデジタル加算し、次いで２で割る。また、空白線の除去は、各線の画素数の削減より先に行うことが好ましい。
【００２２】
したがって、画素情報を含む隣接する線、つまり交互インタレースフィールドの交互の線に対応する画素の値は、補間などによって、例えば平均化によって変換され、非変換フィールドの線から垂直方向の線間隔の約２分の１だけ垂直方向に偏移された、画素情報を含む新しい線が生成される。交互に１つおきのインタレースフィールドから導出された変換後の線を含むフレームが、残りのインタレースフィールドから導出された非変換フレームと交互に表示されたとき、各フレームは、水平方向および垂直方向の両方で、先行フレームおよび後続フレームと適切に整列する。適切に整列した線により、映像は、原インタレース映像信号のフィールド速度（例えば毎秒６０）で、ただし、水平方向および垂直方向に２分の１の解像度で、ノンインターレース（つまり順次走査）画像フレームとして表示することができる。
【００２３】
インタレース画像フィールドをノンインターレース画像フレームに変換する際に実行する演算の回数が実質的に削減されることと、削減された画素数にこれらの演算を実行することと、また必要な演算が非常に簡単であることによって、本発明から特定の利点が得られる。先行技術のデインタレース方式は、水平方向に全ての画素を維持し、全てのインタレースフィールドの全ての空白線を補間線で埋めて垂直方向に補間して、“ズームした”または全解像度のノンインターレースのフレームを生成するので、これらの利点をもたらすことができない。例えば、結果的に得られる画像は、先行技術の“ｂｏｂ”方式で“補間重複方法を用いて垂直方向に２倍（２×）にズームしなければならない”。
【００２４】
本発明のこれらの利点は、本発明を、従来のマイクロプロセッサのアーキテクチャの一部に見られるような、単一命令複数データ（ＳＩＭＤ）コンピュータアーキテクチャを利用して実現するのに特にふさわしいものにする。ＳＩＭＤプロセッサ（コンピュータ）は、他の並列プロセッサと同様に、複数のデジタルデータに同時並列演算を実行するように構成される。したがって、本書で交互のインタレース画像フィールドの隣接する線の画素値のフィルタリングまたは変換について述べたように、インタレース映像情報のデインタレースにおける複数の画素値の変換は、複数の画素に同時に行われる。
【００２５】
例えば、８バイトのデジタル情報に対し同時に並列演算を実行するプロセッサは、各々７２０画素を含む２本の線を、わずか９０回の演算サイクルで３６０画素を含む単一の線に変換（例えば平均化）することができる。この場合、画素数の２分の１の削減１２０は変換演算の前に生ずる。変換演算では、プロセッサは、各プロセッサ演算サイクル中に８個の画素に平行して演算を行うので、各組の画素に２サイクル（例えば１サイクルをＡＤＤ演算、１サイクルをＳＨＩＦＴ演算）を行うと、結果的に１本の線につき必要な演算サイクルは９０回となる。この変換を、毎秒、３０の交互フィールドの２４０本の線に実行するためには、毎秒２４０×３０×９０＝６４８，０００回の演算が必要なだけであり、これは毎秒数億回の演算サイクルで作動するプロセッサにとっては、非常に小さい演算数であり、したがって本発明は、例えばコンピュータまたはデジタルテレビ受像機内のマイクロプロセッサなど、他の作業に従事するプロセッサの背景処理として実行するのに有利である。パイプラインアーキテクチャの各変換を処理するためには、４つのサイクル、例えばＦＥＴＣＨ（取り出し）、ＡＤＤ（加算）、ＳＨＩＦＴ（桁移動）、およびＳＴＯＲＥ（格納）が必要になるかもしれず、これらは、変換データが４つのサイクルに利用可能になる時間を遅らせるが、計算サイクル数は増加させないことが注目される。
【００２６】
図５は、図４の画像フィールドＢなど、インタレース画像フィールドの２つの隣接する画素包含線を変換する処理演算の表現を示す線図である。図５に示す画素情報を含む線の部分において、各方形は水平方向の画素数の削減１２０後の画素値を表しており、したがって交互位置の画素のみ、例えば偶数番号の画素が残っている。したがって、線ａおよびｂは各々、偶数番号の画素４０ａ、４２ａ、４４ａ．．．、５４ａおよび４０ｂ、４２ｂ、４４ｂ．．．、５４ｂを含む。特に、８個の画素が８バイト並列プロセッサによって並列で処理される状態が示されている。
【００２７】
線ａおよびｂの各々の８個の画素の画素値は一つに加算されて、それらの８個の和を生成し、それらは、線ａおよびｂの画素値が８ビットデジタル語の場合、オーバフロービット位置が必要であるため、８個の９ビットの和を生成する。８個の和は次に、例えば純粋（８−４−２−１）または変形バイナリ、２の補数、２進化１０進数、グレイコード等々、利用される特定の形式の２進符号化に適した方法で、各々２で除算される。２による除算は、例えば値が純粋バイナリ（つまり８−４−２−１）ビット加重で表される場合、各和を１ビットづつ右に桁移動するのと同様に簡単である。１ビット右に桁移動することは、単純に、各値の最下位ビット（ＬＳＢ）が脱落し、９ビット語のうちの残りの８個の最上位ビット（ＭＳＢ）を８ビットの商として使用することであることに注意されたい。その結果は、インタレース画像フィールドの２つの隣接線のそれぞれの８バイト部分から並列して生成された、処理後または変換後の画素値４０´、４２´、４４´．．．、５４´の最終線の８バイト部分である。
【００２８】
本発明は、コンピュータ実現プロセス（単数または複数）として、および／またはそのようなコンピュータ実現プロセス（単数または複数）を実現する装置として具現化することができ、またコンピュータプログラム又はその他の機械可読命令（ここでは“コンピュータプログラム”という）を含む有形記憶媒体の形で具現化することもでき、ここでコンピュータプログラムがコンピュータまたはその他のプロセッサ（ここでは“コンピュータ”という）にロードされ、かつ／またはコンピュータによって実行されるときに、コンピュータは本発明を実施する装置になる。そのようなコンピュータプログラムを含む記憶媒体として、例えば、フロッピー（登録商標）ディスクおよびディスケット、コンパクトディスク（ＣＤ）−ＲＯＭ（書込み可能か否かにかかわらず）、ＤＶＤデジタルディスク、ＲＡＭおよびＲＯＭメモリ、コンピュータハードドライブおよびバックアップドライブ、ならびにコンピュータによって読取り可能なその他の任意の記憶媒体がある。本発明はまた、例えば記憶媒体に格納されるか、それとも導電体、光ファイバ、またはその他の光伝導体などの伝送媒体により、または電磁放射によって伝送されるかにかかわらず、コンピュータプログラムの形で具現化することもでき、その場合、コンピュータプログラムはコンピュータにロードされ、かつ／またはコンピュータによって実行されるときに、コンピュータは、本発明を実施する装置になる。本発明は、特に本発明を実施するように構成された汎用マイクロプロセッサまたはデジタルプロセッサ上に実現することができる。汎用マイクロプロセッサを使用する場合、コンピュータプログラムコードは、特定の論理回路構成を形成するようにマイクロプロセッサの回路を構成する。
【００２９】
図６Ａは、コンピュータまたはプロセッサ２１０を使用する実施形態２００における本発明の実現のブロック図である。全てコンピュータ２１０の制御下で、６０Ｈｚのフィールド速度で入力するインタレース映像信号は、アナログ・デジタル（Ａ／Ｄ）変換器２２０に加えられ、これは一連のデジタル語を含むそれらの標本化されたデジタル表現を生成し、これはアドレス指定可能なメモリ２４０に格納される。コンピュータ２１０は、中央処理装置（ＣＰＵ）２１２および従来通り並列データ処理を行う演算論理回路（ＡＬＵ）２１４を含む。図６Ａの細い矢印は、制御のためにコンピュータ２１０のＣＰＵ２１２によって生成されるクロック信号、制御信号、およびメモリアドレスのための信号路を表し、太い両端矢印は、メモリ２４０によって生成され、コンピュータ２１０のＡＬＵ２１４に提供されるデジタルデータ語、およびＡＬＵ２１４によって生成され、格納するためにアドレス指定可能なメモリ２４０に提供されるデジタルデータ語のためのデータバスを表す。選択された画素値を表す処理後のデジタル語は、全て本発明に従って、ＣＰＵ２１２によって呼び出されるアドレス指定可能なメモリ２４０のメモリアドレス場所から生成され、アナログ順次映像信号出力をそこから生成するデジタル・アナログ（Ｄ／Ａ）変換器２３０に加えられる。
【００３０】
ＳＩＭＤ並列処理能力を含むコアを有する市販のプロセッサとして、インテル・ペンティアム(登録商標）ＩＩ及びインテル・ペンティアム(登録商標）ＩＩＩマイクロプロセッサ、並びにＭＭＸ命令セットを実行する同等のプロセッサのみならず、モトローラＧ４パワーＰＣ型のマイクロプロセッサ、およびその他の任意のプロセッサがあるが、背景で並列処理演算を実行するデジタル信号処理エンジンを含むものが好ましい。各プロセッサにおいて、本発明によるデインタレース処理は、本発明の方法を実行するようにプロセッサを構成するソフトウェアプログラムの制御下で実行することができる。実際、本発明の演算は、計算集約性が先行技術のデインタレース方式よりずっと低いので、本発明によるデインタレースは、プロセッサの主要機能の背景操作として有利に実行されることができ、したがって追加ハードウェアが必要なく、それによって追加の複雑さ及びコストが回避される。
【００３１】
図６Ｂは、デジタル映像データの処理を示す、図６Ａのコンピュータ実施形態２００のメモリ２４０の実現の概念的ブロック図である。Ａ／Ｄ変換器２２０からのインタレース映像信号の画素値を表すデジタル語は、インタレースフィールドＡからのものである場合にはフィールドメモリ２４２ａに、インタレースフィールドＢからのものである場合にはフィールドメモリ２４２ｂに格納される。フィールドメモリ２４２ａ、２４２ｂは、例えばＮＴＳＣビデオシステムでは、各々７２０個の８ビット画素の水平線４８０本を格納するのに充分なアドレス指定可能な記憶場所を有する、各々アドレス指定可能なランダムアクセスメモリ（ＲＡＭ）である。インタレースフィールドの線は１つおきに空白であり、つまり画素情報が含まれないので、空白線は無視され、非空白線からの画素値が、インタレースフィールドＡからのものである場合には、半フィールドメモリ２４４ａに、インタレースフィールドＢからのものである場合には、半フィールドメモリ２４４ｂに転送される。各半フィールドメモリ２４４ａ、２４４ｂは、ＮＴＳＣビデオの場合、各々７２０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。
【００３２】
メモリ２４４ａ、２４４ｂに格納された各線の映像画素は、それぞれ水平方向のフィルタリングが行われて、半分の画素数を持つ映像データの線を生成し、インタレースフィールドＡからのものである場合には１／４フィールドメモリ２４６ａに、インタレースフィールドＢからのものである場合には１／４フィールドメモリ２４６ｂに格納される。各１／４フィールドメモリ２４６ａ、２４６ｂは、ＮＴＳＣビデオの場合、各々３６０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。さらに、上述の１／２線の垂直ジッタを解消するために、フィールドの１つからの線に垂直方向のフィルタリングも行う。図６Ｂで、インタレースフィールドＢからの隣接線が１／４フィールドメモリ２４６ｂから検索され、垂直方向のフィルタリングが行われて置換線が生成され、これは１／４フィールドメモリ２４８に格納される。図６Ｂのデータの流れを表す矢印は、メモリ２００内の１つのメモリから次のメモリを直接指し示しているが、１つのメモリによって生成されたデジタル画素データは、実際にはＡＬＵ２１４に転送され、そこで水平または垂直フィルタリングが行われ、それから再びメモリ２００内の次のメモリに転送されて格納されることがある。１／４フィールドメモリ２４８は、ＮＴＳＣビデオの場合、各々３６０個の８ビット画素の水平線２４０本を格納するのに充分なアドレス指定可能な記憶場所を有するアドレス指定可能なＲＡＭである。最後に、インタレースフィールドＡおよびＢから導出された処理後の線は、メモリ２４６ａおよび２４８から交互に結合ノード２５０に生成される。結合ノードは、メモリ２４６ａおよび２４８の出力がいわゆるトライステート型である場合には単純接続とすることができ、トライステート型でない場合には、一緒に合わせて順次映像信号出力を提供するために、マルチプレクサとすることができる。例えばＮＴＳＣビデオでは、各々３６０画素の線２４０本を有する順次映像フレームは、６０Ｈｚのフレーム速度で生成される。
【００３３】
メモリ２００の現実的実現では、より少量のメモリが利用されることに注意されたい。例えば、コンピュータ２１０がメモリ２００をアドレス指定して制御し、Ａ／Ｄ変換器２２０からの入力デジタル画像データの線を１つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線のみを半フィールドメモリ２４４ａ、２４４ｂに直接格納する場合、フィールドメモリ２４２ａ、２４２ｂは除去することができる。さらに、水平方向のフィルタリングが画素を１つおきに除去することを含む場合にも、半フィールドメモリ２４４ａ、２４４ｂを除去することができ、その場合コンピュータ２１０がメモリ２００をアドレス指定して制御し、Ａ／Ｄ変換器２２０からの入力デジタル画像データの線を１つおきにのみ格納し、それによって、空白線の画素位置のデータを単に格納しないことにより空白線を除去し、希望する線の１つおきの画素のみを１／４フィールドメモリ２４６ａ、２４６ｂに格納する。したがって、メモリ２００の機能は、各々３６０画素の線２４０本、つまり合計して３６０個の８ビットの画素の線７２０本の３／４フィールドメモリのみによって提供することができ、これは従来のデインタレース構成に要求されるよりかなり小さいメモリである。実際には、より洗練されたメモリ制御およびアドレス指定により、メモリ２４６ｂおよび２４８の機能は、２つの１／４フィールドメモリおよび幾つかの線メモリのみによって、つまり合計して各々３６０画素の線４８４本のみによって提供することができる。垂直方向のフィルタリングまたは両方でより洗練されたフィルタリングが使用される場合、追加メモリ及び／又はより洗練されたメモリアドレス指定および制御が使用される。
【００３４】
図７は、本発明の方法を示す流れ図である。この方法は、デジタル映像形式であることが好ましいが、アナログ映像かデジタル映像形式かにかかわらず、インタレース映像フィールドを受け取り３００、かつ各インタレース映像フィールドから空白線を除去する３１０のことを含む。空白線の除去３１０は、１つおきの線つまり空白線を単に脱落することを含むか、あるいは隣接する非空白線のフィルタリングを含むことができ、そうしたフィルタリングは線の補間、平均化、脱落、および類似物を含むことができる。したがって、各々４８０本の線のインタレースフィールドは、ＮＴＳＣ形式では、各々２４０本の線のフィールドに削減される。各インタレースフィールドの維持された非空白線をフィルタリングして３２０、水平方向のその画素の数を２分の１だけ減少することは、１つおきの画素つまり偶数番号または奇数番号の画素を単に脱落することを含むか、または隣接する画素をフィルタリングすることを含み、そのようなフィルタリングは、交互の画素の補間、平均化、脱落、および類似物を含むことができる。維持すべき画素の値、ならびに直前および直後の画素の値を例えば平均化によって補間して、維持する画素の値を入手し、それによって１つおきの画素を単に脱落することによって得られる結果より大幅に細部を保持し易くすることが好ましい。したがって、各々７２０画素のＮＴＳＣ線は、各々３６０画素の線に削減される。１つのインタレースフィールド、例えばフィールドＢをフィルタリングして３３０、それらの線を他のフィールド、例えばフィールドＡの対応する線と整列させ、それによって、インタレースフィールドの線の交互に現れる性質によって生じる1／２線の垂直ジッタを除去することにより、受け取ったインタレース映像のフィールド速度と同一フレーム速度で、順次またはノンインターレース映像フレームが生成される３４０。フィルタリング３３０は、１つのインタレースフィールドの２つの隣接する非空白線に沿った同様の位置の画素の値を補間して、同じフィールドで補間される２つの線の間に位置する１本の線に沿った同じ位置の画素の値を生成することが好ましい。そのような補間が、隣接する線に沿って対応する位置の２つの画素の値を平均化することを含むことも、また好ましい。
【００３５】
本発明を、上記の例示的な実施形態に関連して説明したが、請求の範囲によって規定する本発明の範囲および精神内の変形は当業者には明らかであろう。例えば、各フィールドからの空白線の除去は、２本またはそれ以上の線の画素値を格納し、各線に沿った画素値の半分を除去し、かつ加算または平均化、またはその他の方法でフィルタリングまたは補間するなどによって、交互のフィールドの隣接する線の画素値を変換するように構成された特定のハードウェアのみならず、そのような機能を提供するように構成された特定のハードウェアでも実行することができる。特に、画素値の格納および各線の交互の画素値の除去は単に、特定の水平線の８ビット画素値をそのデータ入力で受け取り、かつ入力データ語をそのようなデータ語がその入力に加えられた速度の２分の１の速度で格納するようにクロックが発信される８ビット幅のシフトレジスタによって達成することができる。
【００３６】
さらに、１本の線の画素またはそのような線の画素を表現する一連のデジタル語の画素の２分の１を除去する演算は、付近の画素の値をフィルタリングまたは補間することによって達成され、この用語は相互に置換可能であり、かつ１つおきの画素を脱落したり、２つまたはそれ以上の隣接または付近の画素の値を平均化するなど（２つの画素の平均または３つの画素の平均など）の演算を含むことをも意図している。
【特許請求の範囲】
【請求項１】
第一フレームレートを有する一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法であって、
各画像フィールドの各空白線を除去し、各画像フィールド内で前記空白線と交互に存在していた、一連の画素を含む各画像フィールドの各線を維持することと、
各画像フィールドの各維持線の前記一連の画素のうち１つおきの画素を除去することであって、前記維持線がアナログ画素を含む場合、当該除去は、前記第一フレームレートの２分の１の標本化率で且つ規則的な時間間隔で、アナログ信号を標本化することを含み、前記維持線が前記画素値を表すデジタル語を含む場合、当該除去は、前記デジタル語の２分の１を消去することを含む、各画像フィールドの各維持線の前記一連の画素のうち１つおきの画素を除去することと、
１つおきの画像フィールドの各維持線の残りの画素の各々を、各維持線について、隣接する維持線の対応する残りの画素を加算して和を平均化することでフィルタリングし、フィルタリングされた維持線を該フィルタリングにより得られた結果線で置き換えて、前記結果線が、前記１つおきの画像フィールドにおける非補間画像フィールドの維持線から垂直方向の線間隔の２分の１だけ垂直方向に偏移された画素値を含み、且つ前記１つおきの画像フィールド内の前記結果線が、対応する交互の画像フィールド内の対応する維持線と整列するようにすることで、前記第一フレームレートにおける前記一連のノンインターレース画像フレームを生成することと、を備える方法。
【請求項２】
前記１つおきの画素の除去が、前記一連の画素のうち少なくとも２つの隣接する画素を補間することを含む、請求項１に記載の方法。
【請求項３】
前記各空白線の除去が、画素を含む２つの隣接する線の対応する画素の値から画素値を補間し、前記補間した画素値を維持し、画素値を含む２つの隣接線を除去することを含む、請求項１に記載の方法。
【請求項４】
前記１つおきの画素の除去が、前記画素値の補間に先行する、請求項３に記載の方法。
【請求項５】
内部に記録されたプログラムを含むコンピュータ読取り可能な記録媒体であって、前記プログラムは、同時にｎビットのデジタル情報の並列演算を実行可能なコンピュータに、第一フレームレートを有する一連のインタレース画像フィールドを前記第一フレームレートを有する一連のノンインターレース画像フレームに変換させるプログラムであり、
コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で前記空白線と交互に存在していた、一連のｎ個の画素を含む各画像フィールドの各ｎビット線を維持する手段と、
前記コンピュータに、各画像フィールドの各維持ｎビット線の前記一連の画素のうち１つおきの画素を除去させる手段と、
前記コンピュータに、１つおきの画像フィールドの各維持ｎビット線の残りの画素の各々を、隣接する維持ｎビット線の対応する残りの画素を用いてフィルタリングさせ、結果的に得られるｎビット線でフィルタリングされた維持ｎビット線を置き換えて、前記１つおきの画像フィールド内の前記結果的に得られるｎビット線が、対応する交互の画像フィールド内の対応する維持線と整列されるようにさせる手段とを備え、
前記コンピュータにフィルタリングさせる手段は、ｎ＋１ビットを有するビット線を得るために、前記コンピュータに、第一レジスタにおける第一維持ｎビット線と、第二レジスタにおける隣接する維持ｎビット線とを加算させる手段と、前記結果的に得られるｎビット線を得るために、前記コンピュータに、前記ｎ＋１ビット線における前記ビットを１ビット右に桁移動する手段とを更に含む、コンピュータ読取り可能な記憶媒体。
【請求項６】
前記コンピュータに各空白線を除去させる前記手段が、前記コンピュータに、画素を含む２つの隣接する線の対応する画素の値から画素値を補間させて、１行の画素値を入手させる手段と、前記コンピュータに、前記入手した画素値を維持させる手段と、前記コンピュータに、画素を含む前記２つの隣接する線を除去させる手段とを含む、請求項５に記載のコンピュータ読取り可能な記憶媒体。
【請求項７】
前記残りの画素の各々の前記フィルタリングは、前記一連の画素のうち少なくとも２つの隣接する画素を補間することを含む、請求項１に記載の方法。
【請求項８】
前記維持線が前記アナログ画素を含む場合、前記平均化は加算ネットワークによってなされる、請求項１に記載の方法。
【請求項１】
第一フレームレートを有する一連のインタレース画像フィールドを一連のノンインターレース画像フレームに変換する方法であって、
各画像フィールドの各空白線を除去し、各画像フィールド内で前記空白線と交互に存在していた、一連の画素を含む各画像フィールドの各線を維持することと、
各画像フィールドの各維持線の前記一連の画素のうち１つおきの画素を除去することであって、前記維持線がアナログ画素を含む場合、当該除去は、前記第一フレームレートの２分の１の標本化率で且つ規則的な時間間隔で、アナログ信号を標本化することを含み、前記維持線が前記画素値を表すデジタル語を含む場合、当該除去は、前記デジタル語の２分の１を消去することを含む、各画像フィールドの各維持線の前記一連の画素のうち１つおきの画素を除去することと、
１つおきの画像フィールドの各維持線の残りの画素の各々を、各維持線について、隣接する維持線の対応する残りの画素を加算して和を平均化することでフィルタリングし、フィルタリングされた維持線を該フィルタリングにより得られた結果線で置き換えて、前記結果線が、前記１つおきの画像フィールドにおける非補間画像フィールドの維持線から垂直方向の線間隔の２分の１だけ垂直方向に偏移された画素値を含み、且つ前記１つおきの画像フィールド内の前記結果線が、対応する交互の画像フィールド内の対応する維持線と整列するようにすることで、前記第一フレームレートにおける前記一連のノンインターレース画像フレームを生成することと、を備える方法。
【請求項２】
前記１つおきの画素の除去が、前記一連の画素のうち少なくとも２つの隣接する画素を補間することを含む、請求項１に記載の方法。
【請求項３】
前記各空白線の除去が、画素を含む２つの隣接する線の対応する画素の値から画素値を補間し、前記補間した画素値を維持し、画素値を含む２つの隣接線を除去することを含む、請求項１に記載の方法。
【請求項４】
前記１つおきの画素の除去が、前記画素値の補間に先行する、請求項３に記載の方法。
【請求項５】
内部に記録されたプログラムを含むコンピュータ読取り可能な記録媒体であって、前記プログラムは、同時にｎビットのデジタル情報の並列演算を実行可能なコンピュータに、第一フレームレートを有する一連のインタレース画像フィールドを前記第一フレームレートを有する一連のノンインターレース画像フレームに変換させるプログラムであり、
コンピュータに各画像フィールドの各空白線を除去させ、それによって、各画像フィールド内で前記空白線と交互に存在していた、一連のｎ個の画素を含む各画像フィールドの各ｎビット線を維持する手段と、
前記コンピュータに、各画像フィールドの各維持ｎビット線の前記一連の画素のうち１つおきの画素を除去させる手段と、
前記コンピュータに、１つおきの画像フィールドの各維持ｎビット線の残りの画素の各々を、隣接する維持ｎビット線の対応する残りの画素を用いてフィルタリングさせ、結果的に得られるｎビット線でフィルタリングされた維持ｎビット線を置き換えて、前記１つおきの画像フィールド内の前記結果的に得られるｎビット線が、対応する交互の画像フィールド内の対応する維持線と整列されるようにさせる手段とを備え、
前記コンピュータにフィルタリングさせる手段は、ｎ＋１ビットを有するビット線を得るために、前記コンピュータに、第一レジスタにおける第一維持ｎビット線と、第二レジスタにおける隣接する維持ｎビット線とを加算させる手段と、前記結果的に得られるｎビット線を得るために、前記コンピュータに、前記ｎ＋１ビット線における前記ビットを１ビット右に桁移動する手段とを更に含む、コンピュータ読取り可能な記憶媒体。
【請求項６】
前記コンピュータに各空白線を除去させる前記手段が、前記コンピュータに、画素を含む２つの隣接する線の対応する画素の値から画素値を補間させて、１行の画素値を入手させる手段と、前記コンピュータに、前記入手した画素値を維持させる手段と、前記コンピュータに、画素を含む前記２つの隣接する線を除去させる手段とを含む、請求項５に記載のコンピュータ読取り可能な記憶媒体。
【請求項７】
前記残りの画素の各々の前記フィルタリングは、前記一連の画素のうち少なくとも２つの隣接する画素を補間することを含む、請求項１に記載の方法。
【請求項８】
前記維持線が前記アナログ画素を含む場合、前記平均化は加算ネットワークによってなされる、請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−４１３０６（Ｐ２０１１−４１３０６Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−２１５９６８（Ｐ２０１０−２１５９６８）
【出願日】平成２２年９月２７日（２０１０．９．２７）
【分割の表示】特願２０００−６１３２０５（Ｐ２０００−６１３２０５）の分割
【原出願日】平成１２年４月１９日（２０００．４．１９）
【出願人】（５０５１３１５５５）メディアテック インコーポレイション (4)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−２１５９６８（Ｐ２０１０−２１５９６８）
【出願日】平成２２年９月２７日（２０１０．９．２７）
【分割の表示】特願２０００−６１３２０５（Ｐ２０００−６１３２０５）の分割
【原出願日】平成１２年４月１９日（２０００．４．１９）
【出願人】（５０５１３１５５５）メディアテック インコーポレイション (4)
【Ｆターム（参考）】
[ Back to top ]