ビデオ映像形式の変換方法および対応する装置
【課題】ビデオ映像形式を変換する方法および装置を提供すること。
【解決手段】本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。本発明によれば、入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点について、入力映像におけるエッジの方向を表す距離を、出力映像の画素のグリッドとは独立して計算する。このゾーンに位置する出力映像の少なくとも１つの画素について、距離から、およびこのゾーンの出力映像の上記画素の位置から、入力映像において画素の第２の組を決定する。次に画素の上記第２の組の画素の値から、この出力画素の値が決定される。この方法により、この形式変換のための計算の数を削減することができる。
【解決手段】本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。本発明によれば、入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点について、入力映像におけるエッジの方向を表す距離を、出力映像の画素のグリッドとは独立して計算する。このゾーンに位置する出力映像の少なくとも１つの画素について、距離から、およびこのゾーンの出力映像の上記画素の位置から、入力映像において画素の第２の組を決定する。次に画素の上記第２の組の画素の値から、この出力画素の値が決定される。この方法により、この形式変換のための計算の数を削減することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ映像形式を変換する方法および装置に関する。本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。
【背景技術】
【０００２】
現在、標準的なＨＤＴＶ（高精細ＴＶ）と関連する２つの形式がある。こうした２つの形式は、７２０ｐ形式と１０８０ｉ形式である。７２０ｐ形式は、７２０ラインと１２８０カラムで構成されるプログレッシブ映像を作り出し、１０８０ｉ形式は、１０８０ラインと１９２０カラムで構成されるインタレース映像を作り出す。これらの形式のそれぞれには、それぞれに特有の利点がある。７２０ｐ形式は、より優れた時間分解能を示して、速い動きの物体がぼやけることなく再生され、１０８０ｉ形式は、より優れた空間分解能を示す。番組放送会社は、これらの形式を両方共ではなく、一方または他方を使用する選択をした。したがって実際には、表示する前に放送番組の形式を処理して、上記番組を表示するために使用する表示装置でサポートされている形式に変換する必要がある。
【０００３】
まず入力映像の中の局所的なエッジの方向の検出を行い、次に検出された方向に基づいて補間を行うことによってビデオ映像の形式を変更する技術が知られている。エッジの方向を表す距離は、補間される出力映像の画素と同じ空間的位置（すなわち同じ空間的座標）を有する入力映像の点で計算され、次にこの距離を使用して、出力映像のこの画素の値を計算する。この方法は、比較的複雑であって、演算リソースを消費するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、この方法を改善することである。
【課題を解決するための手段】
【０００５】
本発明は、入力映像の形式を出力映像の形式に変換する方法に関し、この方法は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算するステップと、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの点に関して計算された距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定するステップと、
画素の第２の組の画素の値から出力映像の画素の値を決定するステップと
を含む。
【０００６】
特定の実施形態によれば、第１の組の隣接する画素は、入力映像の画素の少なくとも２つの連続したラインまたはカラムに属する。
【０００７】
エッジの方向を表す距離の計算を、入力映像のゾーンのただ１つの点で行って、計算の数を削減する。したがってこの点は、有利には上記ゾーンの中心に位置する。
【０００８】
本発明によれば、入力映像のある点におけるエッジの方向を表す距離は、上記点における入力映像のビデオ成分の局所勾配（ｌｏｃａｌ ｇｒａｄｉｅｎｔ）によって決まる。
【０００９】
特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離は最大値に制限される。
【００１０】
別の特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離はヌル値に調整される。
【００１１】
本発明によれば、出力映像の画素の値は、有利には第２の組の画素の双線形補間によって決定される。
【００１２】
本発明はまた、入力映像の形式を出力映像の形式に変換する装置であって、入力映像および出力映像は画素を含む、装置に関し、この装置は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算する計算回路と、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの１つまたは複数の点について計算された１つまたは複数の距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定し、入力映像の画素の第２の組の画素の値から出力映像の画素の値を決定する補間回路と
を含む。
【００１３】
本発明は、非限定的な実施例として提供する次の説明を読んで、また添付の図面を参照してよりよく理解されるであろう。
【発明を実施するための最良の形態】
【００１４】
本発明の方法は、入力映像の形式変換を行うために使用される。この方法は、入力映像より多いまたは少ない数のラインおよび／またはカラムを含む、入力映像の形式とは異なる形式を有する出力映像を作り出す。出力映像のラインおよび／またはカラムは、入力映像のラインおよび／またはカラムの補間によって生成される。
【００１５】
本発明によれば、この補間は、「エッジの方向による補間」である。この補間は、詳細には入力映像において局所的なエッジの方向を検出することに基づくときに実現される。この検出は、こうしたエッジの方向を表す距離を計算することによって実行される。この距離の計算の一例については、後に説明する。
【００１６】
図１は、本発明による方法の第１の実施形態におけるステップを示す。この方法は、入力映像の全部または一部に適用されて、異なる形式の出力映像を生成する。図１を参照すると、この方法は、エッジの方向を表す距離および入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点を計算する第１のステップ１１０を含む。このゾーンは、例えば入力映像の２つの連続するラインと２つの連続するカラムに属する４つの隣接したピクセルによって定められる。本発明によれば、入力映像のこのゾーンのある点について計算した距離を使用して、映像のこのゾーンにある出力映像の画素の値を計算する。
【００１７】
入力映像のある点におけるエッジの方向を表す距離ｄの計算例を、以下に記載する。この距離ｄは、図２に示すように入力映像の点Ｐにおいて計算する。図２は、入力映像の２つの連続するラインｙｎおよびｙｎ＋１上に広がった入力映像の８つの画素を示す。これらの画素は、入力映像のｘｍ−１、ｘｍ、ｘｍ＋１、およびｘｍ＋２という番号を付けられた画素のカラムにある。入力映像の画素は、図上では黒い点で表している。座標（ｘｍ，ｙｎ）、（ｘｍ＋１、ｙｎ）、（ｘｍ＋１、ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）で定められるゾーンの内側に位置する点Ｐにおいて、この距離を計算する。画素Ｐは、入力映像の座標（ｘ’，ｙ’）で識別される。この例では、点Ｐは、座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）にある画素で定められるゾーンの中心に位置している。この点Ｐにおける輝度のビデオ成分（色空間［Ｙ，Ｃｂ，Ｃｒ］または［Ｙ，Ｕ，Ｖ］の中のＹ）を求めるために、ｌｘ（ｘ’，ｙ’）と示す水平勾配およびｌｙ（ｘ’，ｙ’）と示す垂直勾配を計算する。
【００１８】
【数１】
【００１９】
ただし、ｌ（ｘ，ｙ）は、座標（ｘ，ｙ）における画素の輝度成分を示す。
【００２０】
そこで点Ｐまでの距離ｄは、次のようになる。
【００２１】
【数２】
【００２２】
画素Ｐについて計算した距離ｄを図２に示す。線分Ｓは、座標（ｘ’＋ｄ，ｙｎ）の点と座標（ｘ’−ｄ，ｙｎ＋１）の点とを結ぶ。
【００２３】
本発明によれば、点Ｐにおいて計算した距離ｄを使用して、入力映像の座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）の点によって定められるゾーンに対応する出力映像のゾーンに属する出力映像のすべての画素の値を決定する。座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、（ｘｍ，ｙｎ＋１）は、入力映像における座標であるということに注意されたい。出力映像は、入力映像のものとは異なるいくつかのカラムおよびいくつかのラインを有するため、このゾーンを定める画素は、出力映像では異なる座標を有する。当然ながら、このゾーンを異なる大きさおよび／または形を有する、点Ｐを囲むいかなるゾーンに拡大することも可能である。
【００２４】
形式変換は、映像の画素のラインおよび／またはカラムの数および位置を変更する。例えば出力映像では、画素のラインｙ”は入力映像のラインｙｎとラインｙｎ＋１との間にあり、画素ｘ”のカラムは入力映像の画素ｘｍのカラムとｘｍ＋１のカラムとの間にある。出力映像の画素Ｐｏｕｔは、図３に示すように、ラインｙ”とカラムｘ”の交点にある。座標（ｘ”，ｙ”）は、入力映像における画素Ｐｏｕｔの座標である。出力映像は、入力映像のものとは異なるカラムおよび／またはラインの数を有するため、画素Ｐｏｕｔは出力映像においては（ｘｏｕｔ，ｙｏｕｔ）と示す異なる座標を有する。点Ｐについて計算した距離ｄを使用して、座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）の点によって定められるゾーンにあるすべての画素Ｐｏｕｔの値を決定する。
【００２５】
再び図１を参照すると、この方法はまた、このゾーンに位置する出力映像の少なくとも１つの画素について、前もって計算された距離ｄから、またこのゾーンにある出力映像のこの画素の位置から、入力映像における画素の第２の組を決定するステップ１２０を含む。例えば画素Ｐｏｕｔに対する入力映像の画素の第２の組が、このように計算される。図３を参照して、このステップについて説明する。このステップの理解を高めるために、次の表記を使用する。
【００２６】
νは、入力映像のライン数と出力映像のライン数の比である。
【００２７】
γは、入力映像のカラム数と出力映像のカラム数の比である。
【００２８】
出力映像中の座標（ｘｏｕｔ，ｙｏｕｔ）の画素Ｐｏｕｔについて、ラインｙｏｕｔに最も近い入力映像の画素のラインｙｎおよびｙｎ＋１を決定する。
ｙ”＝ν．ｙｏｕｔ
ｙｎ＝Ｅ（ｙ”）
ただし、Ｅ（ｘ）は、変数ｘの整数部分を示す。
【００２９】
画素Ｐｏｕｔのラインｙ”と入力映像のラインｙｎとの間の距離を表す垂直位相ψ＝｜ｙ”−ｙｎ｜が定義される。ψは、０と１の間に含まれる。
【００３０】
カラムｘｏｕｔに最も近い入力映像の画素のカラムｘｍおよびｘｍ＋１もまた、定義される。
ｘ”＝γ．ｘｏｕｔ
ｘｍ＝Ｅ（ｘ”）
【００３１】
画素Ｐｏｕｔのラインｘ”と入力映像の画素Ｐとの間の距離を表す水平位相θ＝ｘ”−ｘｍ−０．５が定義される。θは、−０．５と０．５の間に含まれる。
【００３２】
線分Ｓが、画素Ｐｏｕｔを通るように水平に移動されると、この線分は座標（ｘｙｎ，ｙｎ）の点と座標（ｘｙｎ＋１，ｙｎ＋１）の点を結ぶ。
【００３３】
このとき、ｘｙｎ＝ｘ”＋２・ψ・ｄ＋θ＝ｘ”＋ｄｓｕｐおよびｘｙｎ＋１＝ｘ”＋２・（１−ψ）・ｄ＋θ＝ｘ”−ｄｉｎｆが得られる。
｜ｄｉｎｆ＋ｄｓｕｐ｜＝２ｄであることに注意されたい。
【００３４】
ステップ１２０において決定される画素の第２の組は、例えば次のようになる。
座標（Ｅ（ｘｙｎ），ｙｎ）の画素、
座標（Ｅ（ｘｙｎ）＋ｓｉｇｎ（ｄ），ｙｎ）の画素、
座標（Ｅ（ｘｙｎ＋１），ｙｎ＋１）の画素、
座標（Ｅ（ｘｙｎ＋１）−ｓｉｇｎ（ｄ），ｙｎ＋１）の画素、
ただし、ｓｉｇｎ（ｘ）はｘの符号関数である。
【００３５】
【数３】
【００３６】
図３の例では、座標（Ｅ（ｘｙｎ），ｙｎ）の画素は座標（ｘｍ＋１，ｙｎ）の画素であり、座標（Ｅ（ｘｙｎ）＋ｓｉｇｎ（ｄ），ｙｎ）の画素は座標（ｘｍ＋２，ｙｎ）の画素であり、座標（Ｅ（ｘｙｎ＋１），ｙｎ＋１）の画素は座標（ｘｍ−１，ｙｎ＋１）の画素であり、座標（Ｅ（ｘｙｎ＋１）−ｓｉｇｎ（ｄ），ｙｎ＋１）の画素は座標（ｘｍ−１，ｙｎ＋１）の画素である。
【００３７】
再び図１を参照すると、次のステップはステップ１３０であり、これはステップ１２０で決定された組の画素値から、出力映像中の座標ｘｏｕｔおよびｙｏｕｔの出力画素Ｐｏｕｔの値を計算することにある。この計算ステップについては、パラメータαおよびβは次のように定義される。
α＝｜Ｅ（ｘｙｎ）−ｘｙｎ｜
β＝｜Ｅ（ｘｙｎ＋１）−ｘｙｎ＋１｜
【００３８】
そこで出力映像の座標（ｘｏｕｔ，ｙｏｕｔ）の画素Ｐの値は、双線形補間に対応する次の式を使用して計算される。
【００３９】
【数４】
【００４０】
ただし、ｌｉｎ（ｘ，ｙ）は、入力映像における座標（ｘ，ｙ）の画素の値を示し、ｌｏｕｔ（ｘ，ｙ）は、出力映像における座標（ｘ，ｙ）の画素の値を示す。
【００４１】
この計算は、画素の各ビデオ成分で実行される。輝度のビデオ成分について計算された距離ｄは、出力映像からの画素のすべてのビデオ成分の計算に使用される。
【００４２】
出力映像の画素のビデオ成分を計算する他の式を考えることができる。上記の例では、補間は双線形である。線形補間、または最も近いものの選択による補間、または線形もしくは双線形補間の組合せを使用することを、想定することができる。こうした補間は、当業者にはよく知られている。もっと多くの数のラインまたはカラムを使用することも、想定することができる。最終的には、距離モジュールｄにより補間の式を変更することを行うことができる。
【００４３】
図４は、本発明の方法を実施することができる装置４００を示している。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙｏｕｔ、Ｃｂｏｕｔ、およびＣｒｏｕｔは装置の出力映像のビデオ成分を示す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表す成分については、距離の計算に必要である局所の勾配を決定するために輝度成分Ｙを計算し直す。装４００置は、
本発明の方法のステップ１１０を実施し、距離図を配信する、入力映像の点におけるエッジの方向を表す距離の計算回路４１０と、
入力映像および回路４１０によって配信される距離図から、本発明の方法のステップ１２０および１３０を実施し、このフィルタが出力映像を配信する補間回路４２０と
を含む。
【００４４】
図５は、本発明の第２の実施形態を示す。この第２の実施形態は、ステップ５０１、５１０、５２０、および５３０を含む。ステップ５１０乃至５３０は、図１で示す第１の実施形態のステップ１１０乃至１３０と同一である。この第２の実施形態は、参照５０１と関連する、入力映像をフィルタリングする追加ステップを含む。このフィルタリングの目的は、入力映像のエッジの方向の距離の計算を向上させることである。使用されるフィルタは、ガウシアンカーネルに基づく。このフィルタは、入力映像信号の輝度成分Ｙに適用される。以下、ｌｊｆは、フィルタをかけられた成分ｌｊを示す。そこで、フィルタをかけられた成分は、次のようになる。
【００４５】
【数５】
【００４６】
ただし、
【００４７】
【数６】
【００４８】
σ２は、ガウシアンカーネルの平方偏差である。
【００４９】
使用されるフィルタは、例えば次のような５×５の係数のフィルタである。
【００５０】
【数７】
【００５１】
図６は、本発明の方法の第２の実施形態を実施することができる装置６００を示している。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙｏｕｔ、Ｃｂｏｕｔ、およびＣｒｏｕｔは装置の出力映像のビデオ成分を示す。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表される成分については、距離の計算に必要とされる局所の勾配を決定するために、輝度成分Ｙを計算し直す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。装置６００は、
入力映像の信号の１つまたは全部のビデオ成分に適用される第１のフィルタリングステップ５０１を実行する第１のフィルタ６０１と、
本発明の方法の第２の実施形態のステップ５１０を実行し、距離図を配信する、入力映像のエッジの方向を表す距離の計算回路６１０と、
入力映像およびフィルタ６１０により配信される距離図から本発明の方法のステップ５２０および５３０を実行し、出力映像を配信する補間回路６２０と
を含む。
【００５２】
これまでに定義した本発明の方法では、ステップ１１０または５１０で計算された距離は、第２の組の画素を決定するために使用される。変形例としては、計算された距離が所定の最大値を超える場合、この距離はこの最大値に制限される。この最大値は、例えばＳＤ（標準画質）映像では４ピクセルに等しい。実際には、この最大値を超えると、距離ｄの値を低くすることができず、したがって補間に誤りをもたらす。別の変形例によれば、計算された距離がこの最大値を超える場合、距離はヌル値に調整される。この第２の変形例により、誤りの危険性をさらに削減することができるが、一部のエッジの補間では精度が低下する。
【００５３】
当然ながら、本発明は、上記の実施形態に限定されない。出力映像のグリッドとは独立した入力映像の点であって、それぞれ映像のあるゾーンと関連付けられる点において、エッジの方向を表す距離が計算され、また出力映像のあるゾーンの中の画素の値が、このゾーンについて計算された距離から、および入力映像の点に対するこれらの出力画素の位置から計算されるいかなる形式変換方法または装置も、本発明の範囲に入る。
【図面の簡単な説明】
【００５４】
【図１】本発明による方法の第１の実施形態におけるステップを示す図である。
【図２】エッジの方向を表す距離で計算される入力映像の点Ｐの位置を示す図である。
【図３】図２に示す入力映像の画素Ｐと同じ映像のゾーンに位置する出力映像の画素Ｐｏｕｔの値を計算するために使用するパラメータを示す図である。
【図４】図１の方法を実行することができる装置を示す図である。
【図５】本発明による方法の第２の実施形態におけるステップを示す図である。
【図６】図５の方法を実行することができる装置を示す図である。
【技術分野】
【０００１】
本発明は、ビデオ映像形式を変換する方法および装置に関する。本発明は、ビデオコーダもしくはデコーダに、または直接いかなるタイプのディスプレイ装置にも実装することができる。
【背景技術】
【０００２】
現在、標準的なＨＤＴＶ（高精細ＴＶ）と関連する２つの形式がある。こうした２つの形式は、７２０ｐ形式と１０８０ｉ形式である。７２０ｐ形式は、７２０ラインと１２８０カラムで構成されるプログレッシブ映像を作り出し、１０８０ｉ形式は、１０８０ラインと１９２０カラムで構成されるインタレース映像を作り出す。これらの形式のそれぞれには、それぞれに特有の利点がある。７２０ｐ形式は、より優れた時間分解能を示して、速い動きの物体がぼやけることなく再生され、１０８０ｉ形式は、より優れた空間分解能を示す。番組放送会社は、これらの形式を両方共ではなく、一方または他方を使用する選択をした。したがって実際には、表示する前に放送番組の形式を処理して、上記番組を表示するために使用する表示装置でサポートされている形式に変換する必要がある。
【０００３】
まず入力映像の中の局所的なエッジの方向の検出を行い、次に検出された方向に基づいて補間を行うことによってビデオ映像の形式を変更する技術が知られている。エッジの方向を表す距離は、補間される出力映像の画素と同じ空間的位置（すなわち同じ空間的座標）を有する入力映像の点で計算され、次にこの距離を使用して、出力映像のこの画素の値を計算する。この方法は、比較的複雑であって、演算リソースを消費するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、この方法を改善することである。
【課題を解決するための手段】
【０００５】
本発明は、入力映像の形式を出力映像の形式に変換する方法に関し、この方法は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算するステップと、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの点に関して計算された距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定するステップと、
画素の第２の組の画素の値から出力映像の画素の値を決定するステップと
を含む。
【０００６】
特定の実施形態によれば、第１の組の隣接する画素は、入力映像の画素の少なくとも２つの連続したラインまたはカラムに属する。
【０００７】
エッジの方向を表す距離の計算を、入力映像のゾーンのただ１つの点で行って、計算の数を削減する。したがってこの点は、有利には上記ゾーンの中心に位置する。
【０００８】
本発明によれば、入力映像のある点におけるエッジの方向を表す距離は、上記点における入力映像のビデオ成分の局所勾配（ｌｏｃａｌ ｇｒａｄｉｅｎｔ）によって決まる。
【０００９】
特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離は最大値に制限される。
【００１０】
別の特定の実施形態によれば、計算された距離が所定の最大値を超える場合、この距離はヌル値に調整される。
【００１１】
本発明によれば、出力映像の画素の値は、有利には第２の組の画素の双線形補間によって決定される。
【００１２】
本発明はまた、入力映像の形式を出力映像の形式に変換する装置であって、入力映像および出力映像は画素を含む、装置に関し、この装置は、
入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、この点におけるエッジの方向を表す距離を計算する計算回路と、
入力映像の隣接する画素の第１の組によって定められるゾーンに対応する出力映像のゾーンに位置する少なくとも１つの画素について、このゾーンの１つまたは複数の点について計算された１つまたは複数の距離から、および出力映像のこのゾーンにおける出力映像の画素の位置から、入力映像における画素の第２の組を決定し、入力映像の画素の第２の組の画素の値から出力映像の画素の値を決定する補間回路と
を含む。
【００１３】
本発明は、非限定的な実施例として提供する次の説明を読んで、また添付の図面を参照してよりよく理解されるであろう。
【発明を実施するための最良の形態】
【００１４】
本発明の方法は、入力映像の形式変換を行うために使用される。この方法は、入力映像より多いまたは少ない数のラインおよび／またはカラムを含む、入力映像の形式とは異なる形式を有する出力映像を作り出す。出力映像のラインおよび／またはカラムは、入力映像のラインおよび／またはカラムの補間によって生成される。
【００１５】
本発明によれば、この補間は、「エッジの方向による補間」である。この補間は、詳細には入力映像において局所的なエッジの方向を検出することに基づくときに実現される。この検出は、こうしたエッジの方向を表す距離を計算することによって実行される。この距離の計算の一例については、後に説明する。
【００１６】
図１は、本発明による方法の第１の実施形態におけるステップを示す。この方法は、入力映像の全部または一部に適用されて、異なる形式の出力映像を生成する。図１を参照すると、この方法は、エッジの方向を表す距離および入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点を計算する第１のステップ１１０を含む。このゾーンは、例えば入力映像の２つの連続するラインと２つの連続するカラムに属する４つの隣接したピクセルによって定められる。本発明によれば、入力映像のこのゾーンのある点について計算した距離を使用して、映像のこのゾーンにある出力映像の画素の値を計算する。
【００１７】
入力映像のある点におけるエッジの方向を表す距離ｄの計算例を、以下に記載する。この距離ｄは、図２に示すように入力映像の点Ｐにおいて計算する。図２は、入力映像の２つの連続するラインｙｎおよびｙｎ＋１上に広がった入力映像の８つの画素を示す。これらの画素は、入力映像のｘｍ−１、ｘｍ、ｘｍ＋１、およびｘｍ＋２という番号を付けられた画素のカラムにある。入力映像の画素は、図上では黒い点で表している。座標（ｘｍ，ｙｎ）、（ｘｍ＋１、ｙｎ）、（ｘｍ＋１、ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）で定められるゾーンの内側に位置する点Ｐにおいて、この距離を計算する。画素Ｐは、入力映像の座標（ｘ’，ｙ’）で識別される。この例では、点Ｐは、座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）にある画素で定められるゾーンの中心に位置している。この点Ｐにおける輝度のビデオ成分（色空間［Ｙ，Ｃｂ，Ｃｒ］または［Ｙ，Ｕ，Ｖ］の中のＹ）を求めるために、ｌｘ（ｘ’，ｙ’）と示す水平勾配およびｌｙ（ｘ’，ｙ’）と示す垂直勾配を計算する。
【００１８】
【数１】
【００１９】
ただし、ｌ（ｘ，ｙ）は、座標（ｘ，ｙ）における画素の輝度成分を示す。
【００２０】
そこで点Ｐまでの距離ｄは、次のようになる。
【００２１】
【数２】
【００２２】
画素Ｐについて計算した距離ｄを図２に示す。線分Ｓは、座標（ｘ’＋ｄ，ｙｎ）の点と座標（ｘ’−ｄ，ｙｎ＋１）の点とを結ぶ。
【００２３】
本発明によれば、点Ｐにおいて計算した距離ｄを使用して、入力映像の座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）の点によって定められるゾーンに対応する出力映像のゾーンに属する出力映像のすべての画素の値を決定する。座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、（ｘｍ，ｙｎ＋１）は、入力映像における座標であるということに注意されたい。出力映像は、入力映像のものとは異なるいくつかのカラムおよびいくつかのラインを有するため、このゾーンを定める画素は、出力映像では異なる座標を有する。当然ながら、このゾーンを異なる大きさおよび／または形を有する、点Ｐを囲むいかなるゾーンに拡大することも可能である。
【００２４】
形式変換は、映像の画素のラインおよび／またはカラムの数および位置を変更する。例えば出力映像では、画素のラインｙ”は入力映像のラインｙｎとラインｙｎ＋１との間にあり、画素ｘ”のカラムは入力映像の画素ｘｍのカラムとｘｍ＋１のカラムとの間にある。出力映像の画素Ｐｏｕｔは、図３に示すように、ラインｙ”とカラムｘ”の交点にある。座標（ｘ”，ｙ”）は、入力映像における画素Ｐｏｕｔの座標である。出力映像は、入力映像のものとは異なるカラムおよび／またはラインの数を有するため、画素Ｐｏｕｔは出力映像においては（ｘｏｕｔ，ｙｏｕｔ）と示す異なる座標を有する。点Ｐについて計算した距離ｄを使用して、座標（ｘｍ，ｙｎ）、（ｘｍ＋１，ｙｎ）、（ｘｍ＋１，ｙｎ＋１）、および（ｘｍ，ｙｎ＋１）の点によって定められるゾーンにあるすべての画素Ｐｏｕｔの値を決定する。
【００２５】
再び図１を参照すると、この方法はまた、このゾーンに位置する出力映像の少なくとも１つの画素について、前もって計算された距離ｄから、またこのゾーンにある出力映像のこの画素の位置から、入力映像における画素の第２の組を決定するステップ１２０を含む。例えば画素Ｐｏｕｔに対する入力映像の画素の第２の組が、このように計算される。図３を参照して、このステップについて説明する。このステップの理解を高めるために、次の表記を使用する。
【００２６】
νは、入力映像のライン数と出力映像のライン数の比である。
【００２７】
γは、入力映像のカラム数と出力映像のカラム数の比である。
【００２８】
出力映像中の座標（ｘｏｕｔ，ｙｏｕｔ）の画素Ｐｏｕｔについて、ラインｙｏｕｔに最も近い入力映像の画素のラインｙｎおよびｙｎ＋１を決定する。
ｙ”＝ν．ｙｏｕｔ
ｙｎ＝Ｅ（ｙ”）
ただし、Ｅ（ｘ）は、変数ｘの整数部分を示す。
【００２９】
画素Ｐｏｕｔのラインｙ”と入力映像のラインｙｎとの間の距離を表す垂直位相ψ＝｜ｙ”−ｙｎ｜が定義される。ψは、０と１の間に含まれる。
【００３０】
カラムｘｏｕｔに最も近い入力映像の画素のカラムｘｍおよびｘｍ＋１もまた、定義される。
ｘ”＝γ．ｘｏｕｔ
ｘｍ＝Ｅ（ｘ”）
【００３１】
画素Ｐｏｕｔのラインｘ”と入力映像の画素Ｐとの間の距離を表す水平位相θ＝ｘ”−ｘｍ−０．５が定義される。θは、−０．５と０．５の間に含まれる。
【００３２】
線分Ｓが、画素Ｐｏｕｔを通るように水平に移動されると、この線分は座標（ｘｙｎ，ｙｎ）の点と座標（ｘｙｎ＋１，ｙｎ＋１）の点を結ぶ。
【００３３】
このとき、ｘｙｎ＝ｘ”＋２・ψ・ｄ＋θ＝ｘ”＋ｄｓｕｐおよびｘｙｎ＋１＝ｘ”＋２・（１−ψ）・ｄ＋θ＝ｘ”−ｄｉｎｆが得られる。
｜ｄｉｎｆ＋ｄｓｕｐ｜＝２ｄであることに注意されたい。
【００３４】
ステップ１２０において決定される画素の第２の組は、例えば次のようになる。
座標（Ｅ（ｘｙｎ），ｙｎ）の画素、
座標（Ｅ（ｘｙｎ）＋ｓｉｇｎ（ｄ），ｙｎ）の画素、
座標（Ｅ（ｘｙｎ＋１），ｙｎ＋１）の画素、
座標（Ｅ（ｘｙｎ＋１）−ｓｉｇｎ（ｄ），ｙｎ＋１）の画素、
ただし、ｓｉｇｎ（ｘ）はｘの符号関数である。
【００３５】
【数３】
【００３６】
図３の例では、座標（Ｅ（ｘｙｎ），ｙｎ）の画素は座標（ｘｍ＋１，ｙｎ）の画素であり、座標（Ｅ（ｘｙｎ）＋ｓｉｇｎ（ｄ），ｙｎ）の画素は座標（ｘｍ＋２，ｙｎ）の画素であり、座標（Ｅ（ｘｙｎ＋１），ｙｎ＋１）の画素は座標（ｘｍ−１，ｙｎ＋１）の画素であり、座標（Ｅ（ｘｙｎ＋１）−ｓｉｇｎ（ｄ），ｙｎ＋１）の画素は座標（ｘｍ−１，ｙｎ＋１）の画素である。
【００３７】
再び図１を参照すると、次のステップはステップ１３０であり、これはステップ１２０で決定された組の画素値から、出力映像中の座標ｘｏｕｔおよびｙｏｕｔの出力画素Ｐｏｕｔの値を計算することにある。この計算ステップについては、パラメータαおよびβは次のように定義される。
α＝｜Ｅ（ｘｙｎ）−ｘｙｎ｜
β＝｜Ｅ（ｘｙｎ＋１）−ｘｙｎ＋１｜
【００３８】
そこで出力映像の座標（ｘｏｕｔ，ｙｏｕｔ）の画素Ｐの値は、双線形補間に対応する次の式を使用して計算される。
【００３９】
【数４】
【００４０】
ただし、ｌｉｎ（ｘ，ｙ）は、入力映像における座標（ｘ，ｙ）の画素の値を示し、ｌｏｕｔ（ｘ，ｙ）は、出力映像における座標（ｘ，ｙ）の画素の値を示す。
【００４１】
この計算は、画素の各ビデオ成分で実行される。輝度のビデオ成分について計算された距離ｄは、出力映像からの画素のすべてのビデオ成分の計算に使用される。
【００４２】
出力映像の画素のビデオ成分を計算する他の式を考えることができる。上記の例では、補間は双線形である。線形補間、または最も近いものの選択による補間、または線形もしくは双線形補間の組合せを使用することを、想定することができる。こうした補間は、当業者にはよく知られている。もっと多くの数のラインまたはカラムを使用することも、想定することができる。最終的には、距離モジュールｄにより補間の式を変更することを行うことができる。
【００４３】
図４は、本発明の方法を実施することができる装置４００を示している。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙｏｕｔ、Ｃｂｏｕｔ、およびＣｒｏｕｔは装置の出力映像のビデオ成分を示す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表す成分については、距離の計算に必要である局所の勾配を決定するために輝度成分Ｙを計算し直す。装４００置は、
本発明の方法のステップ１１０を実施し、距離図を配信する、入力映像の点におけるエッジの方向を表す距離の計算回路４１０と、
入力映像および回路４１０によって配信される距離図から、本発明の方法のステップ１２０および１３０を実施し、このフィルタが出力映像を配信する補間回路４２０と
を含む。
【００４４】
図５は、本発明の第２の実施形態を示す。この第２の実施形態は、ステップ５０１、５１０、５２０、および５３０を含む。ステップ５１０乃至５３０は、図１で示す第１の実施形態のステップ１１０乃至１３０と同一である。この第２の実施形態は、参照５０１と関連する、入力映像をフィルタリングする追加ステップを含む。このフィルタリングの目的は、入力映像のエッジの方向の距離の計算を向上させることである。使用されるフィルタは、ガウシアンカーネルに基づく。このフィルタは、入力映像信号の輝度成分Ｙに適用される。以下、ｌｊｆは、フィルタをかけられた成分ｌｊを示す。そこで、フィルタをかけられた成分は、次のようになる。
【００４５】
【数５】
【００４６】
ただし、
【００４７】
【数６】
【００４８】
σ２は、ガウシアンカーネルの平方偏差である。
【００４９】
使用されるフィルタは、例えば次のような５×５の係数のフィルタである。
【００５０】
【数７】
【００５１】
図６は、本発明の方法の第２の実施形態を実施することができる装置６００を示している。Ｙｉｎ、Ｃｂｉｎ、およびＣｒｉｎは装置の入力で利用される映像のビデオ成分を示し、Ｙｏｕｔ、Ｃｂｏｕｔ、およびＣｒｏｕｔは装置の出力映像のビデオ成分を示す。当然ながら、色空間［Ｙ，Ｕ，Ｖ］または［Ｒ，Ｇ，Ｂ］のような他の色空間を使用することもできる。色空間［Ｒ，Ｇ，Ｂ］で表される成分については、距離の計算に必要とされる局所の勾配を決定するために、輝度成分Ｙを計算し直す。これらの成分は、色空間［Ｙ，Ｃｂ，Ｃｒ］で表される。装置６００は、
入力映像の信号の１つまたは全部のビデオ成分に適用される第１のフィルタリングステップ５０１を実行する第１のフィルタ６０１と、
本発明の方法の第２の実施形態のステップ５１０を実行し、距離図を配信する、入力映像のエッジの方向を表す距離の計算回路６１０と、
入力映像およびフィルタ６１０により配信される距離図から本発明の方法のステップ５２０および５３０を実行し、出力映像を配信する補間回路６２０と
を含む。
【００５２】
これまでに定義した本発明の方法では、ステップ１１０または５１０で計算された距離は、第２の組の画素を決定するために使用される。変形例としては、計算された距離が所定の最大値を超える場合、この距離はこの最大値に制限される。この最大値は、例えばＳＤ（標準画質）映像では４ピクセルに等しい。実際には、この最大値を超えると、距離ｄの値を低くすることができず、したがって補間に誤りをもたらす。別の変形例によれば、計算された距離がこの最大値を超える場合、距離はヌル値に調整される。この第２の変形例により、誤りの危険性をさらに削減することができるが、一部のエッジの補間では精度が低下する。
【００５３】
当然ながら、本発明は、上記の実施形態に限定されない。出力映像のグリッドとは独立した入力映像の点であって、それぞれ映像のあるゾーンと関連付けられる点において、エッジの方向を表す距離が計算され、また出力映像のあるゾーンの中の画素の値が、このゾーンについて計算された距離から、および入力映像の点に対するこれらの出力画素の位置から計算されるいかなる形式変換方法または装置も、本発明の範囲に入る。
【図面の簡単な説明】
【００５４】
【図１】本発明による方法の第１の実施形態におけるステップを示す図である。
【図２】エッジの方向を表す距離で計算される入力映像の点Ｐの位置を示す図である。
【図３】図２に示す入力映像の画素Ｐと同じ映像のゾーンに位置する出力映像の画素Ｐｏｕｔの値を計算するために使用するパラメータを示す図である。
【図４】図１の方法を実行することができる装置を示す図である。
【図５】本発明による方法の第２の実施形態におけるステップを示す図である。
【図６】図５の方法を実行することができる装置を示す図である。
【特許請求の範囲】
【請求項１】
入力映像の形式を出力映像の形式に変換する方法であって、
前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算するステップと、
前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記点について計算された距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定するステップと、
画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定するステップと
を含むことを特徴とする方法。
【請求項２】
前記第１の組の前記隣接する画素は、前記入力映像の画素の少なくとも２つの連続したラインまたはカラムに属することを特徴とする請求項１に記載の方法。
【請求項３】
前記エッジの方向を表す前記距離の計算は、前記入力映像の前記ゾーンのただ１つの点で実行されることを特徴とする請求項１または２に記載の方法。
【請求項４】
前記点は、前記ゾーンの中心に位置していることを特徴とする請求項３に記載の方法。
【請求項５】
前記入力映像のある点における前記エッジの方向を表す前記距離は、前記点における前記入力映像の輝度のビデオ成分の局所勾配によって決まることを特徴とする請求項２から４のいずれか一項に記載の方法。
【請求項６】
前記計算した距離が所定の最大値を超える場合、前記距離は前記最大値で制限されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
前記計算した距離が所定の最大値を超える場合、前記距離はヌル値に調整されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
【請求項８】
前記出力映像の前記少なくとも１つの画素の値は、前記第２の組の画素の双線形補間によって決定されることを特徴とする請求項２乃至７のいずれか一項に記載の方法。
【請求項９】
入力映像の形式を出力映像の形式に変換する装置であって、前記入力映像および前記出力映像は画素を含む、装置において、
前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算する計算回路と、
前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記少なくとも１つの点について計算した距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定し、画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定する補間回路と
を含むことを特徴とする装置。
【請求項１】
入力映像の形式を出力映像の形式に変換する方法であって、
前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算するステップと、
前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記点について計算された距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定するステップと、
画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定するステップと
を含むことを特徴とする方法。
【請求項２】
前記第１の組の前記隣接する画素は、前記入力映像の画素の少なくとも２つの連続したラインまたはカラムに属することを特徴とする請求項１に記載の方法。
【請求項３】
前記エッジの方向を表す前記距離の計算は、前記入力映像の前記ゾーンのただ１つの点で実行されることを特徴とする請求項１または２に記載の方法。
【請求項４】
前記点は、前記ゾーンの中心に位置していることを特徴とする請求項３に記載の方法。
【請求項５】
前記入力映像のある点における前記エッジの方向を表す前記距離は、前記点における前記入力映像の輝度のビデオ成分の局所勾配によって決まることを特徴とする請求項２から４のいずれか一項に記載の方法。
【請求項６】
前記計算した距離が所定の最大値を超える場合、前記距離は前記最大値で制限されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
前記計算した距離が所定の最大値を超える場合、前記距離はヌル値に調整されることを特徴とする請求項２乃至５のいずれか一項に記載の方法。
【請求項８】
前記出力映像の前記少なくとも１つの画素の値は、前記第２の組の画素の双線形補間によって決定されることを特徴とする請求項２乃至７のいずれか一項に記載の方法。
【請求項９】
入力映像の形式を出力映像の形式に変換する装置であって、前記入力映像および前記出力映像は画素を含む、装置において、
前記入力映像の隣接する画素の第１の組によって定められるゾーンの内側に位置する少なくとも１つの点において、前記点におけるエッジの方向を表す距離を計算する計算回路と、
前記入力映像の隣接する画素の前記第１の組によって定められる前記ゾーンに対応する前記出力映像のゾーンに位置する少なくとも１つの画素について、前記ゾーンの前記少なくとも１つの点について計算した距離から、および前記出力映像の前記ゾーンにおける前記出力映像の前記画素の位置から、前記入力映像における画素の第２の組を決定し、画素の前記第２の組の画素の値から前記出力映像の前記少なくとも１つの画素の値を決定する補間回路と
を含むことを特徴とする装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１４７９３８（Ｐ２００９−１４７９３８Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００８−３１５７８４（Ｐ２００８−３１５７８４）
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】４６ Ｑｕａｉ Ａ． Ｌｅ Ｇａｌｌｏ， Ｆ−９２１００ Ｂｏｕｌｏｇｎｅ−Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]