ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
エンハンスド・ダイナミックレンジは、画素の単一色成分に関して８よりも多いビット表現を要求する。このために、標準の色分解能の画像及び高い色分解能の画像が適用可能である。下位互換性は、カラーエンハンスメント層、及びカラーベース層としての従来の画像を用いる階層化アプローチによって達成され得る。いずれの層も同じ空間的及び時間的な分解能を有する。カラーエンハンスメント層のエンコードは、予測及び残余を用いる。最適化されたカラーエンハンスメント予測のための方法が開示される。色ビット深さの予測は、ブロックの１つの色成分の全ての画素についてカラーベース層からカラーエンハンスメント層を近似する多項式を組み立てることによって行われる。高色分解能画像の予測されたバージョン、及び残余が生成され、残余によって更新される。係数は、データストリームへメタデータとして圧縮及び付加される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理及びビデオ圧縮の分野に関する。具体的に、色ビット深さを拡張可能な符号化において重大な問題である色ビット深さの予測のための解決法が提供される。
【背景技術】
【０００２】
デジタル処理の利点は、従来のフィルムを用いたイメージング技術に取って代わるために、高いダイナミックレンジを可能とするデジタルイメージングシステムでの取り組みの動機付けとなっている。最も幅広く用いられているビデオ符号化標準規格は、色情報を特定するために３つの色成分（赤、緑、青）を利用する。画像における一画素の単一色成分のための従来の８ビット表現と比べて、エンハンスド・ダイナミックレンジは、１つの画素の１つの色成分を表すために８よりも多いビットを必要とする。高ビット深さ色技術の発展に伴って、既存の８ビット深さへの下位互換性の問題が持ち上がっている。８ビット深さ及び高ビット深さのための新しい圧縮及び記憶の技術、送信方法、再生装置、及び表示装置が必要とされているために、この問題に対する解決法が極めて望まれている。
【０００３】
更に、単一ビットストリーム内で単一ビデオコンテンツの様々な色ビット深さを与える能力は、マルチメディアコンテンツの伝送中に様々な端末表示機能にとって特に重要である。８ビット深さへの下位互換性に関する１つの解決法は、色ビット深さの拡張性（scalability）である。色ビット深さを拡張可能なビデオ符号化のための可能なフレームワークが図１に示されている。２つの入力ビデオシーケンスは同じ場面を表すが、異なる色ビット深さを有する。すなわち、通常はＭ＝８であり、一方、Ｎ＝１０、１２又は１６である。Ｍビット入力はベース層としてエンコードされる。端末で、標準的な表示装置（標準ディスプレイ）は、表示のために、デコードされたベース層を使用することができる。
【０００４】
Ｎビット入力のより視覚的な情報は、エンハンスメント層でエンコードされる。端末が高品位表示装置（ＨＱディスプレイ）を有する場合は、デコードされたエンハンスメント層は、デコードされたベース層と共に、Ｎビットビデオシーケンスを表示するよう完全な情報を提供する。この場合に、図１に示されるような層間予測は符号化効率に有意に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、この場合に色ビット深さ予測、すなわち、色ビット深さの拡張のための層間予測を行う方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の１つの様相に従って、多項式近似による色ビット深さ予測のための空間的に局部的なアプローチが用いられる。２つのビデオシーケンスが考えられる。これらは同じ場面を表し且つ同数のフレームを有する。夫々２つのシーケンスから生じ且つ同じピクチャ・オーダー・カウント（ＰＯＣ）、すなわち同じタイムスタンプを有する２つのフレームは、ここでは同期フレーム対と呼ばれる。各同期フレーム対について、対応する画素（夫々２つのフレームに属するが、画像座標系で同じ座標を有する２つの画素を意味する。）同じ場面ロケーション又は現実世界のロケーションを表す。この対応する画素の間の差は、色分解能に対応する色ビット深さである。図１での表記に従って、一方のシーケンスはＭビットの色深さを有し、一方、他方のシーケンスはＮビットの色深さを有する。なおＭ＜Ｎである。色ビット深さ予測のタスクは、予測されるＮビットシーケンスと元のＮビットシーケンスとの間の差が最小限とされる規準に従って、ＭビットシーケンスからＮビットシーケンスの予測されるバージョンを生成することである。
【０００７】
一実施形態で、ＰＳＮＲは差分測定として使用される。これには２つの利点がある。第１に、ＰＳＮＲはビデオ圧縮分野で幅広く受け入れられて使用されている。第２に、この場合に、どのように予測画像がその後の残余データ圧縮に有効であるかが、どのように予測画像が見えるかよりも重要であると考えられる。
【０００８】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）を生成し又は受け取るステップと、
前記第１カラー層を第１のブロック（ＢＮｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭｉ，ＩＮｉ）内の同じ位置を有するステップと、
前記第１カラー層（ＩＮｉ）の第１のブロック（ＢＮｉ，ｌ）に関して、前記第２カラー層（ＩＭｉ）の対応する第２のブロック（ＢＭｉ，ｌ）を決定するステップと、
前記第１のブロック（ＢＮｉ，ｌ）と予測される第３のブロック（ＢＮｐｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭｉ，ｌ）の画素の値を前記第３のブロック（ＢＮｐｉ，ｌ）の画素の値に変換するステップと、
前記予測される第３のブロック（ＢＮｐｉ，ｌ）と前記第１のブロック（ＢＮｉ，ｌ）との間の前記差を計算するステップと、
前記第２のブロック（ＢＭｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））、及び前記差をエンコードするステップと
を有する。
【０００９】
一実施形態で、ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である。
【００１０】
一実施形態で、前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃｎ，ｃｎ−１，．．．，ｃ０である係数を有する
【数１】
に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される。
【００１１】
一実施形態で、前記線形変換関数は、最小二乗法によって決定される。
【００１２】
一実施形態で、当該方法は、前記係数をメタデータとしてフォーマットするステップと、前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップとを更に有する。
【００１３】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）をデコードするステップと、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））をデコードするステップと、
残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）をデコードするステップと、
前記デコードされた係数（Ｃｏｅｆｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´ｉ）が取得されるステップと、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´ｉ）を前記残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）により更新するステップと
を有する。
【００１４】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）を生成し又は受け取る手段と、
前記第１カラー層を第１のブロック（ＢＮｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭｉ，ＩＮｉ）の同じ位置を有する手段と、
前記第１カラー層（ＩＮｉ）の第１のブロック（ＢＮｉ，ｌ）に関して、前記第２カラー層（ＩＭｉ）の対応する第２のブロック（ＢＭｉ，ｌ）を決定する手段と、
前記第１のブロック（ＢＮｉ，ｌ）と予測される第３のブロック（ＢＮｐｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭｉ，ｌ）の画素の値を前記第３のブロック（ＢＮｐｉ，ｌ）の画素の値に変換する手段と、
前記予測される第３のブロック（ＢＮｐｉ，ｌ）と前記第１のブロック（ＢＮｉ，ｌ）との間の前記差を計算する手段と、
前記第２のブロック（ＢＭｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））、及び前記差をエンコードする手段と
を有する。
【００１５】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）をデコードする手段と、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））をデコードする手段と、
残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）をデコードする手段と、
前記デコードされた係数（Ｃｏｅｆｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´ｉ）が取得される手段と、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´ｉ）を前記残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）により更新する手段と
を有する。
【００１６】
本発明の有利な実施形態は、従属請求項、以下の記載及び図面において開示される。
【図面の簡単な説明】
【００１７】
【図１】色ビット深さを拡張可能なビデオ符号化のためのフレームワーク
【図２】多項式近似を用いる局部的な色ビット深さ予測のためのブロック図
【図３】ブロックレベルの多項式近似のブロック図
【図４】メタデータのエンコード及びデコードのブロック図
【発明を実施するための形態】
【００１８】
本発明の例となる実施形態について、添付の図面を参照して記載する。
【００１９】
以下の例では、一般性を喪失することなく、各フレームが３つの色成分Ｃ１、Ｃ２及びＣ３を有するとする。これらの色成分は、実際の実施では、例えば、赤、緑及び青として特定される。本発明に従って、以下で記載される処理は、夫々の個々の色成分Ｃ１、Ｃ２及びＣ３で用いられる。
【００２０】
以下注釈は、本明細書の残りの部分で用いられる：
Ｋ − ２つの入力ビデオシーケンスの総フレーム数；
Ｗ − 各フレームの画像幅；
Ｈ − 各フレームの画像高さ；
ＩＭｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＭビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。強調されるべきは、実際のエンコード／デコード処理で、ＩＭｉ（ｕ，ｖ）はエンコーダでＭビットシーケンスの再構成されたバージョンであるべき点である。以下で、語「ＩＭｉ（ｕ，ｖ）」は、Ｍビットの再構成バージョンを表すために使用される；及び
ＩＮｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＮビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。
【００２１】
図２は、同期フレーム対の各色成分について色ビット深さの予測のための空間的に局部的な多項式近似を実行するエンコーダを示す。入力される同期フレーム対ＩＭｉ、ＩＮｉは、局部多項式近似（ＬＰＡ）モジュールに供給される。ＬＰＡモジュールについては、以下でより詳細に記載する。ＬＰＡモジュールは局部近似多項式を決定し、この決定された局部近似多項式の係数を有するメタデータＣｏｅｆｉを出力する。更に、ＬＰＡモジュールは、Ｎビット入力フレームＩＮｉの予測されるバージョンＩＮｉｐを出力する。これは、予測される高ビット深さ画像と実際の高ビット深さ画像との間の差を定める残余ＩＮＲＥＳｉを生成するために層間予測によって使用される。残余データは、エンハンスメント層データストリームにおいて送信される。
【００２２】
メタデータのデータサイズを低減するよう、メタデータＣｏｅｆｉは圧縮される。圧縮されたメタデータは、サイド情報として多重ビットストリーム（ベース層ビットストリーム及びエンハンスメント層ビットストリーム）とともに送信され得る。
【００２３】
デコーダで、ベース層画像ＩＭｉ´は通常デコードされ、圧縮されたメタデータは、局部近似多項式の係数を再構成すべく解凍される。次いで、予測された高ビット深さ画像ＩＮｉｐは、デコードされたベース層画像ＩＭｉ´で近似多項式を適用することによって生成される。デコードされた高ビット深さエンハンスメント層画像ＩＮｉは、最終的に、層間予測を予測画像ＩＮｉｐへ適用し且つその結果をデコードされたエンハンスメント層データのデコードされた残余により更新することによって、再構成される。
【００２４】
以下、局部多項式近似モジュール及びメタデータ圧縮モジュールについて詳細に記載する。
【００２５】
局部多項式近似モジュールでは、同期フレーム対の画像は、空間的に多数のブロックに分割される。そのブロックサイズは一定又は可変である。多項式近似は、夫々２つのフレームから取り出され且つ同じブロックインデックス番号を有する各２つの対応するブロックの間で行われる。以下注釈は、この項の残りの部分で用いられる：
ｂＳｉｚｅは、ブロックサイズに関するパラメータである。各ブロックは、ｂＳｉｚｅ×ｂＳｉｚｅの画素を有することができる。実際のエンコード／デコード処理のために、ｂＳｉｚｅは８の倍数であり、マクロブロックレベルの層間予測にとって都合がよい。画像サイズは、ｂＳｉｚｅ×ｂＳｉｚｅの倍数であっても良い。これより、言い換えると、Ｗ及びＨはいずれもｂＳｉｚｅの倍数である。また、Ｗ及びＨをｂＳｉｚｅの倍数とするようパディング（padding）を用いて前処理を行うことも可能である。
ＢＭｉ，ｌは、ｉ番目のフレームＩＭｉの１つのブロックである。ｌはブロックインデックス番号を表す。
ＢＮｉ，ｌは、ｉ番目のフレームＩＮｉの１つのブロックである。ｌはブロックインデックス番号を表す。
【００２６】
図３は、図２に対応する、同期フレーム対の画像の間のブロックレベルの多項式近似を示す。異なる色ビット深さを有する対応する画像ＩＭｉ、ＩＮｉの中の同じ場所からの２つのブロックＢＭｉ，ｌ、ＢＮｉ，ｌは多項式近似へ供給され、出力される係数Ｃｏｅｆｉ（ｌ）の組は、図３にベクトルで表されているように生成され、上述されるようにメタデータとしてフォーマットされ得る。出力されるメタデータＣｏｅｆｉ（ｌ）は、ＢＮｉ，ｌに関して決定された近似多項式の係数を含む。出力ＢＮｉ，ｌｐは、図２に示される予測画像ＩＮｉｐに対応するＢＮｉ，ｌの予測されるバージョンである。
【００２７】
近似多項式の各項の順序及び累乗は、本発明では決定されない。一般に、それらは、実際の実施に従って特定されるべきである。しかし、分数乗の項を含む多項式の任意のフォームに関して、多項式係数Ｃｏｅｆｉ（ｌ）を得る一般的な解決法は、以下で記載されるように、一次方程式の系を解くことによって提供される。
【００２８】
フォーム
【数２】
の一般多項式を鑑みて、式（１）
【数３】
は、ＢＭｉ，ｌをＢＮｉ，ｌに関連付ける一次方程式である。
【００２９】
式（１）は、ブロックＢＭｉ，ｌ及びＢＮｉ，ｌのあらゆる画素に適用され得る。全部で、各対応するブロック対ＢＭｉ，ｌ及びＢＮｉ，ｌについてｂＳｉｚｅ×ｂＳｉｚｅ個の一次方程式が存在する。各式は、高ビット深さブロックにおける画素と低ビット深さブロックにおける対応する画素との間の関係を表す。これより、高ビット深さブロックにおける画素の値は、低ビット深さブロックにおける対応する画素の値の多項式関数に等しい。画素位置（ｕ，ｖ）について、式（１）は、
【数４】
として理解され得る。
【００３０】
変換係数ｃｎ，ｃｎ−１，・・・，ｃ１，ｃ１／２，・・・，ｃ１／ｍ，ｃ０は、例えば最小二乗法等のいずれかの標準的な方法によって取得され得る。係数に対する一意の解を得るよう、前提条件ｂＳｉｚｅ×ｂＳｉｚｅ≧ｎ＋ｍが満たされるべきである。しかし、実際には、この制約は通常満足される。デコーダで、ブロックの予測されるバージョンＢＮｉ，ｌｐは、次いで、
【数５】
に従って、デコードされるベース層画素ＢＭｉ，ｌから得られる。
【００３１】
実際には、ＩＮをＩＭに関連付ける切り捨て又は対数のような変換が存在する可能性が極めて高い。切り捨ては、低ビット深さバージョンを生成するよう高ビット深さバージョンの右ビットシフトを意味する。すなわち、１０ビットビデオシーケンスを有するとすると、８ビットビデオシーケンスへの切り捨ては、１０ビットバージョンの各サンプル値が右ビットシフトをされて、少なくとも２つのビットが無視されることを意味する。このような切り捨て又は対数のような変換が存在する場合に、近似多項式の以下のフォーム
【数６】
は、近似精度、計算複雑性及び多項式係数のオーバーヘッドの間の良好なトレードオフである。
【００３２】
実際の用途のために、ＢＭｉ，ｌ及びＢＮｉ，ｌは、式（２）の生成より前に範囲［０，１］の中にある値に正規化され得る。正規化の利点は、第１に、数値解析の観点から、より正確な近似結果が正規化によって達成され得ること、第２に、多項式係数が実際のエンコード／デコード処理において更に圧縮されること、である。ＢＭｉ，ｌ及びＢＮｉ，ｌの正規化は、通常、Ｃｏｅｆｉ（ｌ）のダイナミックレンジを低減する。これより、それに続く量子化はより正確である。言い換えると、ＢＮｉ，ｌ（ｕ，ｖ）は、位置ｕ，ｖにある単一画素を表し、浮動小数点値（すなわち、［０，１］に正規化された画素のＮビット整数値）である。ＢＭｉ，ｌ（ｕ，ｖ）も浮動小数点値（すなわち、［０，１］に正規化された画素のＭビット整数値）である。有利に、本発明は、ＢＭｉ，ｌ（ｕ，ｖ）からＢＮｉ，ｌ（ｕ，ｖ）を予測する方法について記載する。
【００３３】
係数Ｃｏｅｆｉ（ｌ）はブロックレベルを表す。それは、各ブロックについて唯ひと組の係数が存在することを意味する。これより、ブロック内の全ての画素は同じ係数を共有する。
【００３４】
本発明の１つの様相は、インターコーディング（inter-coding）の同じ考えを使用する方法でメタデータ（少なくとも係数）を符号化することである。すなわち、時間的に連続するブロックの間の残余は量子化されて、エントロピ符号化される。実際のエンコード／デコード処理では、（ここでは多項式係数を意味する）メタデータのオーバーヘッドは相当である。式（４）が用いられる場合に、各同期フレーム対ＩＭｉ、ＩＮｉのメタデータのデータサイズは、４×［Ｗ／ｂＳｉｚｅ］×［Ｈ／ｂＳｉｚｅ］個の浮動小数点値である。加えて、かかる値の量子化は、極めて高い予測を有するべきである。このようにして、メタデータの圧縮スキームは符号化効率全体を改善するのに有利である。
【００３５】
シーケンスの連続するフレームの間には高い相関関係があるので、連続するフレームのメタデータの間にも高い相関関係が存在する。従って、直接にＣｏｅｆｉをエンコードすることに代えて連続するＣｏｅｆｉの間の差をエンコードすることは、符号化効率を著しく改善しうる。メタデータをエンコード／デコードする一般的な方法が図４に示されている。
【００３６】
図４の上側は、係数Ｃｏｅｆｉについての符号化処理を示す。最初に、ビデオ符号化の分野で残余（residual）と通常呼ばれる、ＣｏｅｆｉとＣｏｅｆ´ｉ−１（再構成されたＣｏｅｆｉ−１）との間の差が量子化される。量子化された残余はエントロピ符号化を受ける。第１のフレーム対の係数の組は、独立して量子化され、エントロピ符号化を受ける。
【００３７】
デコーダでは、逆の処理が行われる。すなわち、最初に、圧縮されたメタデータは、Ｃｏｅｆｉの残余を生成するよう、エントロピ復号化を受け、次いで逆量子化される。第２に、Ｃｏｅｆｉの残余は、Ｃｏｅｆｉを得るよう、予めデコードされているＣｏｅｆｉ−１に加えられる。第１のフレーム対の係数の組は、独立して逆量子化され、エントロピ復号化を受ける。この例では係数がメタデータとしてフォーマット及び送信をなされるが、これは、単なる例示としての可能性である。
【００３８】
メタデータの中から係数を利用する他の方法も、メタデータ圧縮のために用いられ得る。
【００３９】
本発明の１つの様相は、高ビット深さビデオシーケンスと同じビジュアルコンテンツを有する低ビット深さビデオシーケンスから高ビット深さビデオシーケンスを予測する方法であって、
高ビット深さフレームと同じ時間スタンプを表す低ビット深さフレームで多項式の関数を適用することによる前記高ビット深さフレームの局部近似のためのモジュールであって、該局部近似は２つの考えられているビデオシーケンスの各色成分で用いられるモジュールと、
全体の符号化効率を改善するようメタデータをエンコード／デコードするモジュールであって、メタデータのエンコード／デコードは各色成分のメタデータについて用いられるべきであるモジュールと
を有する方法である。
【００４０】
一実施形態で、前記局部近似モジュールは、色ビット深さを拡張可能な符号化の層間予測のために高ビット深さビデオシーケンスの予測されるバージョンをもたらし、前記多項式係数はメタデータとして送信される。
【００４１】
一実施形態で、各色成分についての局部的な多項式近似のための方法は、
前記２つの考えられているフレームを多数の一定サイズのブロックに分割するステップと、
一般的に整数乗項、分数乗項及び定数項を含んでいる近似多項式のフォームを選択するステップと、
以下の２つのステップで前記多項式近似のより正確な評価結果を達成し且つメタデータ圧縮モジュールでより効率的な量子化を達成するよう、前記２つの考えられているフレームの値をレンジ［０，１］へ正規化するステップと、
各対応するブロック対について一次方程式の系を確立する（これは、２つの連続するブロックが高ビット深さフレーム及び低ビット深さフレームから夫々選択されることを意味する。）ステップであって、各方程式は、高ビット深さブロックの中の画素の値が低ビット深さブロックの中の対応する画素の値の多項式関数に等しいところの、高ビット深さブロック内の画素と低ビット深さブロック内の対応する画素との間の関係を表すステップと、
最上二乗法によって前記確立された一次方程式の系を解くステップと
を有する。
【技術分野】
【０００１】
本発明は、デジタル画像処理及びビデオ圧縮の分野に関する。具体的に、色ビット深さを拡張可能な符号化において重大な問題である色ビット深さの予測のための解決法が提供される。
【背景技術】
【０００２】
デジタル処理の利点は、従来のフィルムを用いたイメージング技術に取って代わるために、高いダイナミックレンジを可能とするデジタルイメージングシステムでの取り組みの動機付けとなっている。最も幅広く用いられているビデオ符号化標準規格は、色情報を特定するために３つの色成分（赤、緑、青）を利用する。画像における一画素の単一色成分のための従来の８ビット表現と比べて、エンハンスド・ダイナミックレンジは、１つの画素の１つの色成分を表すために８よりも多いビットを必要とする。高ビット深さ色技術の発展に伴って、既存の８ビット深さへの下位互換性の問題が持ち上がっている。８ビット深さ及び高ビット深さのための新しい圧縮及び記憶の技術、送信方法、再生装置、及び表示装置が必要とされているために、この問題に対する解決法が極めて望まれている。
【０００３】
更に、単一ビットストリーム内で単一ビデオコンテンツの様々な色ビット深さを与える能力は、マルチメディアコンテンツの伝送中に様々な端末表示機能にとって特に重要である。８ビット深さへの下位互換性に関する１つの解決法は、色ビット深さの拡張性（scalability）である。色ビット深さを拡張可能なビデオ符号化のための可能なフレームワークが図１に示されている。２つの入力ビデオシーケンスは同じ場面を表すが、異なる色ビット深さを有する。すなわち、通常はＭ＝８であり、一方、Ｎ＝１０、１２又は１６である。Ｍビット入力はベース層としてエンコードされる。端末で、標準的な表示装置（標準ディスプレイ）は、表示のために、デコードされたベース層を使用することができる。
【０００４】
Ｎビット入力のより視覚的な情報は、エンハンスメント層でエンコードされる。端末が高品位表示装置（ＨＱディスプレイ）を有する場合は、デコードされたエンハンスメント層は、デコードされたベース層と共に、Ｎビットビデオシーケンスを表示するよう完全な情報を提供する。この場合に、図１に示されるような層間予測は符号化効率に有意に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、この場合に色ビット深さ予測、すなわち、色ビット深さの拡張のための層間予測を行う方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の１つの様相に従って、多項式近似による色ビット深さ予測のための空間的に局部的なアプローチが用いられる。２つのビデオシーケンスが考えられる。これらは同じ場面を表し且つ同数のフレームを有する。夫々２つのシーケンスから生じ且つ同じピクチャ・オーダー・カウント（ＰＯＣ）、すなわち同じタイムスタンプを有する２つのフレームは、ここでは同期フレーム対と呼ばれる。各同期フレーム対について、対応する画素（夫々２つのフレームに属するが、画像座標系で同じ座標を有する２つの画素を意味する。）同じ場面ロケーション又は現実世界のロケーションを表す。この対応する画素の間の差は、色分解能に対応する色ビット深さである。図１での表記に従って、一方のシーケンスはＭビットの色深さを有し、一方、他方のシーケンスはＮビットの色深さを有する。なおＭ＜Ｎである。色ビット深さ予測のタスクは、予測されるＮビットシーケンスと元のＮビットシーケンスとの間の差が最小限とされる規準に従って、ＭビットシーケンスからＮビットシーケンスの予測されるバージョンを生成することである。
【０００７】
一実施形態で、ＰＳＮＲは差分測定として使用される。これには２つの利点がある。第１に、ＰＳＮＲはビデオ圧縮分野で幅広く受け入れられて使用されている。第２に、この場合に、どのように予測画像がその後の残余データ圧縮に有効であるかが、どのように予測画像が見えるかよりも重要であると考えられる。
【０００８】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）を生成し又は受け取るステップと、
前記第１カラー層を第１のブロック（ＢＮｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭｉ，ＩＮｉ）内の同じ位置を有するステップと、
前記第１カラー層（ＩＮｉ）の第１のブロック（ＢＮｉ，ｌ）に関して、前記第２カラー層（ＩＭｉ）の対応する第２のブロック（ＢＭｉ，ｌ）を決定するステップと、
前記第１のブロック（ＢＮｉ，ｌ）と予測される第３のブロック（ＢＮｐｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭｉ，ｌ）の画素の値を前記第３のブロック（ＢＮｐｉ，ｌ）の画素の値に変換するステップと、
前記予測される第３のブロック（ＢＮｐｉ，ｌ）と前記第１のブロック（ＢＮｉ，ｌ）との間の前記差を計算するステップと、
前記第２のブロック（ＢＭｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））、及び前記差をエンコードするステップと
を有する。
【０００９】
一実施形態で、ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である。
【００１０】
一実施形態で、前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃｎ，ｃｎ−１，．．．，ｃ０である係数を有する
【数１】
に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される。
【００１１】
一実施形態で、前記線形変換関数は、最小二乗法によって決定される。
【００１２】
一実施形態で、当該方法は、前記係数をメタデータとしてフォーマットするステップと、前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップとを更に有する。
【００１３】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該方法は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）をデコードするステップと、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））をデコードするステップと、
残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）をデコードするステップと、
前記デコードされた係数（Ｃｏｅｆｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´ｉ）が取得されるステップと、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´ｉ）を前記残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）により更新するステップと
を有する。
【００１４】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）を生成し又は受け取る手段と、
前記第１カラー層を第１のブロック（ＢＮｉ，ｌ）に及び前記第２カラー層を第２のブロック（ＢＭｉ，ｌ）に分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像（ＩＭｉ，ＩＮｉ）の同じ位置を有する手段と、
前記第１カラー層（ＩＮｉ）の第１のブロック（ＢＮｉ，ｌ）に関して、前記第２カラー層（ＩＭｉ）の対応する第２のブロック（ＢＭｉ，ｌ）を決定する手段と、
前記第１のブロック（ＢＮｉ，ｌ）と予測される第３のブロック（ＢＮｐｉ，ｌ）との間の差を最小限とする線形変換関数を用いて、前記第２のブロック（ＢＭｉ，ｌ）の画素の値を前記第３のブロック（ＢＮｐｉ，ｌ）の画素の値に変換する手段と、
前記予測される第３のブロック（ＢＮｐｉ，ｌ）と前記第１のブロック（ＢＮｉ，ｌ）との間の前記差を計算する手段と、
前記第２のブロック（ＢＭｉ，ｌ）、前記線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））、及び前記差をエンコードする手段と
を有する。
【００１５】
本発明の１つの様相に従って、ビデオ画像の第１カラー層（ＩＮｉ）をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さ（Ｎ）の色値を有し、当該装置は、
前記第１の深さ（Ｎ）よりも小さい第２の深さ（Ｍ）の色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層（ＩＭｉ）をデコードする手段と、
線形変換関数（ＬＰＡ）の係数（Ｃｏｅｆｉ（ｌ））をデコードする手段と、
残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）をデコードする手段と、
前記デコードされた係数（Ｃｏｅｆｉ（ｌ））を有する前記変換関数（ＬＰＡ）を前記ビデオ画像の前記デコードされた第２カラー層（ＩＭｉ）に適用するステップであって、前記ビデオ画像の予測される第１カラー層（ＩＮ´ｉ）が取得される手段と、
前記ビデオ画像の前記予測される第１カラー層（ＩＮ´ｉ）を前記残余ブロック又は画像（ＩＮＲＥＳｉ，ｌ）により更新する手段と
を有する。
【００１６】
本発明の有利な実施形態は、従属請求項、以下の記載及び図面において開示される。
【図面の簡単な説明】
【００１７】
【図１】色ビット深さを拡張可能なビデオ符号化のためのフレームワーク
【図２】多項式近似を用いる局部的な色ビット深さ予測のためのブロック図
【図３】ブロックレベルの多項式近似のブロック図
【図４】メタデータのエンコード及びデコードのブロック図
【発明を実施するための形態】
【００１８】
本発明の例となる実施形態について、添付の図面を参照して記載する。
【００１９】
以下の例では、一般性を喪失することなく、各フレームが３つの色成分Ｃ１、Ｃ２及びＣ３を有するとする。これらの色成分は、実際の実施では、例えば、赤、緑及び青として特定される。本発明に従って、以下で記載される処理は、夫々の個々の色成分Ｃ１、Ｃ２及びＣ３で用いられる。
【００２０】
以下注釈は、本明細書の残りの部分で用いられる：
Ｋ − ２つの入力ビデオシーケンスの総フレーム数；
Ｗ − 各フレームの画像幅；
Ｈ − 各フレームの画像高さ；
ＩＭｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＭビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。強調されるべきは、実際のエンコード／デコード処理で、ＩＭｉ（ｕ，ｖ）はエンコーダでＭビットシーケンスの再構成されたバージョンであるべき点である。以下で、語「ＩＭｉ（ｕ，ｖ）」は、Ｍビットの再構成バージョンを表すために使用される；及び
ＩＮｉ（ｕ，ｖ） − ＰＯＣ（ｉ＝１，２，・・・Ｋ）を表す下付き文字ｉ、及び画素座標（ｕ＝０，１，・・・Ｗ−１、ｖ＝ｕ＝０，１，・・・Ｈ−１）を表す（ｕ，ｖ）を有するＮビットシーケンスの１つの色成分（Ｃ１、Ｃ２又はＣ３）。
【００２１】
図２は、同期フレーム対の各色成分について色ビット深さの予測のための空間的に局部的な多項式近似を実行するエンコーダを示す。入力される同期フレーム対ＩＭｉ、ＩＮｉは、局部多項式近似（ＬＰＡ）モジュールに供給される。ＬＰＡモジュールについては、以下でより詳細に記載する。ＬＰＡモジュールは局部近似多項式を決定し、この決定された局部近似多項式の係数を有するメタデータＣｏｅｆｉを出力する。更に、ＬＰＡモジュールは、Ｎビット入力フレームＩＮｉの予測されるバージョンＩＮｉｐを出力する。これは、予測される高ビット深さ画像と実際の高ビット深さ画像との間の差を定める残余ＩＮＲＥＳｉを生成するために層間予測によって使用される。残余データは、エンハンスメント層データストリームにおいて送信される。
【００２２】
メタデータのデータサイズを低減するよう、メタデータＣｏｅｆｉは圧縮される。圧縮されたメタデータは、サイド情報として多重ビットストリーム（ベース層ビットストリーム及びエンハンスメント層ビットストリーム）とともに送信され得る。
【００２３】
デコーダで、ベース層画像ＩＭｉ´は通常デコードされ、圧縮されたメタデータは、局部近似多項式の係数を再構成すべく解凍される。次いで、予測された高ビット深さ画像ＩＮｉｐは、デコードされたベース層画像ＩＭｉ´で近似多項式を適用することによって生成される。デコードされた高ビット深さエンハンスメント層画像ＩＮｉは、最終的に、層間予測を予測画像ＩＮｉｐへ適用し且つその結果をデコードされたエンハンスメント層データのデコードされた残余により更新することによって、再構成される。
【００２４】
以下、局部多項式近似モジュール及びメタデータ圧縮モジュールについて詳細に記載する。
【００２５】
局部多項式近似モジュールでは、同期フレーム対の画像は、空間的に多数のブロックに分割される。そのブロックサイズは一定又は可変である。多項式近似は、夫々２つのフレームから取り出され且つ同じブロックインデックス番号を有する各２つの対応するブロックの間で行われる。以下注釈は、この項の残りの部分で用いられる：
ｂＳｉｚｅは、ブロックサイズに関するパラメータである。各ブロックは、ｂＳｉｚｅ×ｂＳｉｚｅの画素を有することができる。実際のエンコード／デコード処理のために、ｂＳｉｚｅは８の倍数であり、マクロブロックレベルの層間予測にとって都合がよい。画像サイズは、ｂＳｉｚｅ×ｂＳｉｚｅの倍数であっても良い。これより、言い換えると、Ｗ及びＨはいずれもｂＳｉｚｅの倍数である。また、Ｗ及びＨをｂＳｉｚｅの倍数とするようパディング（padding）を用いて前処理を行うことも可能である。
ＢＭｉ，ｌは、ｉ番目のフレームＩＭｉの１つのブロックである。ｌはブロックインデックス番号を表す。
ＢＮｉ，ｌは、ｉ番目のフレームＩＮｉの１つのブロックである。ｌはブロックインデックス番号を表す。
【００２６】
図３は、図２に対応する、同期フレーム対の画像の間のブロックレベルの多項式近似を示す。異なる色ビット深さを有する対応する画像ＩＭｉ、ＩＮｉの中の同じ場所からの２つのブロックＢＭｉ，ｌ、ＢＮｉ，ｌは多項式近似へ供給され、出力される係数Ｃｏｅｆｉ（ｌ）の組は、図３にベクトルで表されているように生成され、上述されるようにメタデータとしてフォーマットされ得る。出力されるメタデータＣｏｅｆｉ（ｌ）は、ＢＮｉ，ｌに関して決定された近似多項式の係数を含む。出力ＢＮｉ，ｌｐは、図２に示される予測画像ＩＮｉｐに対応するＢＮｉ，ｌの予測されるバージョンである。
【００２７】
近似多項式の各項の順序及び累乗は、本発明では決定されない。一般に、それらは、実際の実施に従って特定されるべきである。しかし、分数乗の項を含む多項式の任意のフォームに関して、多項式係数Ｃｏｅｆｉ（ｌ）を得る一般的な解決法は、以下で記載されるように、一次方程式の系を解くことによって提供される。
【００２８】
フォーム
【数２】
の一般多項式を鑑みて、式（１）
【数３】
は、ＢＭｉ，ｌをＢＮｉ，ｌに関連付ける一次方程式である。
【００２９】
式（１）は、ブロックＢＭｉ，ｌ及びＢＮｉ，ｌのあらゆる画素に適用され得る。全部で、各対応するブロック対ＢＭｉ，ｌ及びＢＮｉ，ｌについてｂＳｉｚｅ×ｂＳｉｚｅ個の一次方程式が存在する。各式は、高ビット深さブロックにおける画素と低ビット深さブロックにおける対応する画素との間の関係を表す。これより、高ビット深さブロックにおける画素の値は、低ビット深さブロックにおける対応する画素の値の多項式関数に等しい。画素位置（ｕ，ｖ）について、式（１）は、
【数４】
として理解され得る。
【００３０】
変換係数ｃｎ，ｃｎ−１，・・・，ｃ１，ｃ１／２，・・・，ｃ１／ｍ，ｃ０は、例えば最小二乗法等のいずれかの標準的な方法によって取得され得る。係数に対する一意の解を得るよう、前提条件ｂＳｉｚｅ×ｂＳｉｚｅ≧ｎ＋ｍが満たされるべきである。しかし、実際には、この制約は通常満足される。デコーダで、ブロックの予測されるバージョンＢＮｉ，ｌｐは、次いで、
【数５】
に従って、デコードされるベース層画素ＢＭｉ，ｌから得られる。
【００３１】
実際には、ＩＮをＩＭに関連付ける切り捨て又は対数のような変換が存在する可能性が極めて高い。切り捨ては、低ビット深さバージョンを生成するよう高ビット深さバージョンの右ビットシフトを意味する。すなわち、１０ビットビデオシーケンスを有するとすると、８ビットビデオシーケンスへの切り捨ては、１０ビットバージョンの各サンプル値が右ビットシフトをされて、少なくとも２つのビットが無視されることを意味する。このような切り捨て又は対数のような変換が存在する場合に、近似多項式の以下のフォーム
【数６】
は、近似精度、計算複雑性及び多項式係数のオーバーヘッドの間の良好なトレードオフである。
【００３２】
実際の用途のために、ＢＭｉ，ｌ及びＢＮｉ，ｌは、式（２）の生成より前に範囲［０，１］の中にある値に正規化され得る。正規化の利点は、第１に、数値解析の観点から、より正確な近似結果が正規化によって達成され得ること、第２に、多項式係数が実際のエンコード／デコード処理において更に圧縮されること、である。ＢＭｉ，ｌ及びＢＮｉ，ｌの正規化は、通常、Ｃｏｅｆｉ（ｌ）のダイナミックレンジを低減する。これより、それに続く量子化はより正確である。言い換えると、ＢＮｉ，ｌ（ｕ，ｖ）は、位置ｕ，ｖにある単一画素を表し、浮動小数点値（すなわち、［０，１］に正規化された画素のＮビット整数値）である。ＢＭｉ，ｌ（ｕ，ｖ）も浮動小数点値（すなわち、［０，１］に正規化された画素のＭビット整数値）である。有利に、本発明は、ＢＭｉ，ｌ（ｕ，ｖ）からＢＮｉ，ｌ（ｕ，ｖ）を予測する方法について記載する。
【００３３】
係数Ｃｏｅｆｉ（ｌ）はブロックレベルを表す。それは、各ブロックについて唯ひと組の係数が存在することを意味する。これより、ブロック内の全ての画素は同じ係数を共有する。
【００３４】
本発明の１つの様相は、インターコーディング（inter-coding）の同じ考えを使用する方法でメタデータ（少なくとも係数）を符号化することである。すなわち、時間的に連続するブロックの間の残余は量子化されて、エントロピ符号化される。実際のエンコード／デコード処理では、（ここでは多項式係数を意味する）メタデータのオーバーヘッドは相当である。式（４）が用いられる場合に、各同期フレーム対ＩＭｉ、ＩＮｉのメタデータのデータサイズは、４×［Ｗ／ｂＳｉｚｅ］×［Ｈ／ｂＳｉｚｅ］個の浮動小数点値である。加えて、かかる値の量子化は、極めて高い予測を有するべきである。このようにして、メタデータの圧縮スキームは符号化効率全体を改善するのに有利である。
【００３５】
シーケンスの連続するフレームの間には高い相関関係があるので、連続するフレームのメタデータの間にも高い相関関係が存在する。従って、直接にＣｏｅｆｉをエンコードすることに代えて連続するＣｏｅｆｉの間の差をエンコードすることは、符号化効率を著しく改善しうる。メタデータをエンコード／デコードする一般的な方法が図４に示されている。
【００３６】
図４の上側は、係数Ｃｏｅｆｉについての符号化処理を示す。最初に、ビデオ符号化の分野で残余（residual）と通常呼ばれる、ＣｏｅｆｉとＣｏｅｆ´ｉ−１（再構成されたＣｏｅｆｉ−１）との間の差が量子化される。量子化された残余はエントロピ符号化を受ける。第１のフレーム対の係数の組は、独立して量子化され、エントロピ符号化を受ける。
【００３７】
デコーダでは、逆の処理が行われる。すなわち、最初に、圧縮されたメタデータは、Ｃｏｅｆｉの残余を生成するよう、エントロピ復号化を受け、次いで逆量子化される。第２に、Ｃｏｅｆｉの残余は、Ｃｏｅｆｉを得るよう、予めデコードされているＣｏｅｆｉ−１に加えられる。第１のフレーム対の係数の組は、独立して逆量子化され、エントロピ復号化を受ける。この例では係数がメタデータとしてフォーマット及び送信をなされるが、これは、単なる例示としての可能性である。
【００３８】
メタデータの中から係数を利用する他の方法も、メタデータ圧縮のために用いられ得る。
【００３９】
本発明の１つの様相は、高ビット深さビデオシーケンスと同じビジュアルコンテンツを有する低ビット深さビデオシーケンスから高ビット深さビデオシーケンスを予測する方法であって、
高ビット深さフレームと同じ時間スタンプを表す低ビット深さフレームで多項式の関数を適用することによる前記高ビット深さフレームの局部近似のためのモジュールであって、該局部近似は２つの考えられているビデオシーケンスの各色成分で用いられるモジュールと、
全体の符号化効率を改善するようメタデータをエンコード／デコードするモジュールであって、メタデータのエンコード／デコードは各色成分のメタデータについて用いられるべきであるモジュールと
を有する方法である。
【００４０】
一実施形態で、前記局部近似モジュールは、色ビット深さを拡張可能な符号化の層間予測のために高ビット深さビデオシーケンスの予測されるバージョンをもたらし、前記多項式係数はメタデータとして送信される。
【００４１】
一実施形態で、各色成分についての局部的な多項式近似のための方法は、
前記２つの考えられているフレームを多数の一定サイズのブロックに分割するステップと、
一般的に整数乗項、分数乗項及び定数項を含んでいる近似多項式のフォームを選択するステップと、
以下の２つのステップで前記多項式近似のより正確な評価結果を達成し且つメタデータ圧縮モジュールでより効率的な量子化を達成するよう、前記２つの考えられているフレームの値をレンジ［０，１］へ正規化するステップと、
各対応するブロック対について一次方程式の系を確立する（これは、２つの連続するブロックが高ビット深さフレーム及び低ビット深さフレームから夫々選択されることを意味する。）ステップであって、各方程式は、高ビット深さブロックの中の画素の値が低ビット深さブロックの中の対応する画素の値の多項式関数に等しいところの、高ビット深さブロック内の画素と低ビット深さブロック内の対応する画素との間の関係を表すステップと、
最上二乗法によって前記確立された一次方程式の系を解くステップと
を有する。
【特許請求の範囲】
【請求項１】
ビデオ画像の第１カラー層をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取るステップと、
前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有するステップと、
前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定するステップと、
前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換するステップと、
前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算するステップと、
前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードするステップと
を有する方法。
【請求項２】
ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である、請求項１記載の方法。
【請求項３】
前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃｎ，ｃｎ−１，．．．，ｃ０である係数を有する
【数７】
に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される、請求項１又は２記載の方法。
【請求項４】
前記線形変換関数は、最小二乗法によって決定される、請求項１乃至３のうちいずれか一項記載の方法。
【請求項５】
前記係数をメタデータとしてフォーマットするステップと、
前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップと
を更に有する、請求項１乃至４のうちいずれか一項記載の方法。
【請求項６】
前記メタデータはフレーム間符号化をなされる、請求項５記載の方法。
【請求項７】
ビデオ画像の第１カラー層をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードするステップと、
線形変換関数の係数をデコードするステップと、
残余ブロック又は画像をデコードするステップと、
前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得されるステップと、
前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新するステップと
を有する方法。
【請求項８】
残余ブロック又は画像をデコードする前記ステップは、フレーム間デコードを有する、請求項７記載の方法。
【請求項９】
ビデオ画像の第１カラー層をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取る手段と、
前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有する手段と、
前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定する手段と、
前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換する手段と、
前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算する手段と、
前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードする手段と
を有する装置。
【請求項１０】
ビデオ画像の第１カラー層をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードする手段と、
線形変換関数の係数をデコードする手段と、
残余ブロック又は画像をデコードする手段と、
前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得される手段と、
前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新する手段と
を有する装置。
【請求項１】
ビデオ画像の第１カラー層をエンコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取るステップと、
前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有するステップと、
前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定するステップと、
前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換するステップと、
前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算するステップと、
前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードするステップと
を有する方法。
【請求項２】
ブロックの全ての画素は同じ変換を用い、該変換は、第１のブロック及びその対応する第２のブロックの各対について個別である、請求項１記載の方法。
【請求項３】
前記第１のブロックにおける位置ｕ，ｖでの画素は、ｃｎ，ｃｎ−１，．．．，ｃ０である係数を有する
【数７】
に従って、前記第２のブロックにおける同じ位置での対応する画素から取得される、請求項１又は２記載の方法。
【請求項４】
前記線形変換関数は、最小二乗法によって決定される、請求項１乃至３のうちいずれか一項記載の方法。
【請求項５】
前記係数をメタデータとしてフォーマットするステップと、
前記エンコードされた第２のブロック及び前記差に添付して前記メタデータを送信するステップと
を更に有する、請求項１乃至４のうちいずれか一項記載の方法。
【請求項６】
前記メタデータはフレーム間符号化をなされる、請求項５記載の方法。
【請求項７】
ビデオ画像の第１カラー層をデコードする方法であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該方法は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードするステップと、
線形変換関数の係数をデコードするステップと、
残余ブロック又は画像をデコードするステップと、
前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得されるステップと、
前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新するステップと
を有する方法。
【請求項８】
残余ブロック又は画像をデコードする前記ステップは、フレーム間デコードを有する、請求項７記載の方法。
【請求項９】
ビデオ画像の第１カラー層をエンコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層を生成し又は受け取る手段と、
前記第１カラー層を第１のブロックに及び前記第２カラー層を第２のブロックに分けるステップであって、前記第１のブロックは前記第２のブロックと同数の画素及びそれらの各自の画像内の同じ位置を有する手段と、
前記第１カラー層の第１のブロックに関して、前記第２カラー層の対応する第２のブロックを決定する手段と、
前記第１のブロックと予測される第３のブロックとの間の差を最小限とする線形変換関数を用いて、前記第２のブロックの画素の値を前記第３のブロックの画素の値に変換する手段と、
前記予測される第３のブロックと前記第１のブロックとの間の前記差を計算する手段と、
前記第２のブロック、前記線形変換関数の係数、及び前記差をエンコードする手段と
を有する装置。
【請求項１０】
ビデオ画像の第１カラー層をデコードする装置であって、該第１カラー層は所与の色の画素を有し、該画素の夫々は第１の深さの色値を有し、当該装置は、
前記第１の深さよりも小さい第２の深さの色値を夫々が有する前記所与の色の画素を有する前記ビデオ画像の第２カラー層をデコードする手段と、
線形変換関数の係数をデコードする手段と、
残余ブロック又は画像をデコードする手段と、
前記デコードされた係数を有する前記変換関数を前記ビデオ画像の前記デコードされた第２カラー層に適用するステップであって、前記ビデオ画像の予測される第１カラー層が取得される手段と、
前記ビデオ画像の前記予測される第１カラー層を前記残余ブロック又は画像により更新する手段と
を有する装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１０−５０６４４０（Ｐ２０１０−５０６４４０Ａ）
【公表日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００９−５２９４９１（Ｐ２００９−５２９４９１）
【出願日】平成１８年９月３０日（２００６．９．３０）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２５９３
【国際公開番号】ＷＯ２００８／０４３１９８
【国際公開日】平成２０年４月１７日（２００８．４．１７）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成１８年９月３０日（２００６．９．３０）
【国際出願番号】ＰＣＴ／ＣＮ２００６／００２５９３
【国際公開番号】ＷＯ２００８／０４３１９８
【国際公開日】平成２０年４月１７日（２００８．４．１７）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]