多層映像配信のための適応補間フィルタ
多層映像配信のための適応補間フィルタが記載される。フレーム又は2Dコンパチブル3D及び2Dスケーラブル映像配信システムに関して、このような適応フィルタと他の前処理ステップとの組み合わせも扱われる。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、2009年4月20日に出願された米国仮出願第61/170,995号、2009年7月4日に出願された米国仮出願第61/223,027号、2010年1月14日に出願された米国仮出願第61/295,034号、及び2010年2月1日に出願された米国仮出願第61/300,427号の優先権を主張し、これらの全ての内容を援用する。
【０００２】
この開示は、画像処理及び映像圧縮に関する。より具体的には、この開示の実施例は、多層（multi-layered）映像配信に関する。多層映像配信の例示的な実施例は、2Dスケーラブル符号化、2Dコンパチブル3D（2D compatible 3D）及びフレームコンパチブル3D（frame compatible 3D）を含むが、これらに限定されない。
【背景技術】
【０００３】
消費者の間での立体的（3D）コンテンツの急速な採用を容易にするために、理想的な家庭内3Dシステムは、既存の再生装置（セットトップボックス、DVD、Blu-rayディスクプレイヤ等）への最小の変更又は変更なしで実装され得るものであるべきである。これらはまた、既存の3D可能ディスプレイ（Samsung及びMitsubishiによるDLPディスプレイ（非特許文献１参照、非特許文献１の全ての内容を援用する）、或るプラズマディスプレイ、偏光に基づくフレーム順次式LCDディスプレイ等）と最大限に互換性があるべきである。
【０００４】
全解像度の3Dコンテンツへの要望は、１つのビューを表す基本レイヤ（下位レイヤ）と更なるビューを表すそれぞれの拡張レイヤ（上位レイヤ）とを有する２つ以上の階層を利用するMPEG-4のAVC/H.264映像符号化標準のMVC（Multiview Video Coding）拡張のような、いくつかのシステムに導いている（非特許文献３参照、非特許文献３の全ての内容を援用する）。これらのレイヤの全ては元の解像度内にある。
【０００５】
H.264/AVCへのSVC（Scalable Video Coding）の拡張（非特許文献２のAnnex G）は、2D映像符号化について多層映像符号化システムを規定している。SVC拡張は、様々な種類のスケーラビリティ（空間スケーラビリティ、品質スケーラビリティ、時間スケーラビリティ、又はこれらのいずれかの組み合わせ）を提供する。例えば、空間スケーラビリティでは、基本レイヤのビットストリームは、低空間解像度の映像信号を伝達し、拡張レイヤのビットストリームは、更なる情報を伝達することにより、基本レイヤのビットストリームと共に復号化された場合、高空間解像度の映像信号が取得できる。他の例として、品質スケーラビリティでは、拡張レイヤのビットストリームは、基本レイヤのビットストリームにより伝達される映像信号の品質を改善し得る更なる情報を伝達する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D. C. Hutchison, “Introducing DLP 3-D TV”, http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf
【非特許文献２】Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264, March 2003
【非特許文献３】Y. Vatis and J. Ostermann, “Comparison of complexity between two-dimensional non-separable adaptive interpolation filter and standard wiener filter”, ITU-T SGI 6/Q.6 Doc. VCEG-AA11, Nice, France, Oct. 2005
【非特許文献４】S. Wittmann, T. Wedi, “Separable Adaptive Interpolation Filter for Video Coding,” Proc. ICIP 2008, IEEE International Conference on Image Processing, San Diego, California, Oct. 2008
【非特許文献５】D. Rusanovskyy, K. Ugur, J. Lainema, “Adaptive Interpolation with Directional Filters,” ITU-T SGI 6/Q.6 Doc. VCEG-AG21, Shenzhen, China, Oct. 2007
【非特許文献６】Y. Ye and M. Karczewicz, “Enhanced Adaptive Interpolation Filter,” ITU-T/SG16/Q.6 document C.464, Geneva, Switzerland, Apr. 2008
【非特許文献７】Y. Vatis, B. Edler, D. T. Nguyen, and J. Ostermann, “Two-dimensional non-separable adaptive Wiener interpolation filter for H.264/AVC”, ITU-T SGI 6/Q.6 Doc. VCEG-Z17, Busan, Korea, April 2005
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以下の説明から明らかになるように、本願の教示は、SVCシステムのような2Dスケーラブル映像システムの符号化性能を更に改善することができる。
【図面の簡単な説明】
【０００８】
【図１】立体的データの配信のための水平サンプリング／サイドバイサイド配置を示す図
【図２】フレームコンパチブル3Dシステムアーキテクチャを示す図
【図３】符号化側でのフレームコンパチブル3Dシステムの図
【図４】復号化側でのフレームコンパチブル3Dシステムの図
【図５】水平サンプリング＋サイドバイサイド・パッキング配置の基本レイヤを前提とした拡張レイヤの予測処理を示す図
【図６】1D適応フィルタの例を示す図
【図７】この開示の実施例による拡張参照処理を示す図
【図８】符号化器での選択的参照処理を示す図
【図９】基本レイヤ映像のフィルタリングを示す図
【図１０】多層フレームコンパチブル3D映像システムを示す図
【発明を実施するための形態】
【０００９】
この明細書の一部に組み込まれ、この明細書の一部を構成する添付図面は、この開示の１つ以上の実施例を示しており、例示的な実施例の説明と共に、この開示の原理及び実装を説明するのに役立つ。
【００１０】
この開示の実施例は、画像処理及び映像圧縮に関する。
【００１１】
全ての内容を援用する米国仮出願第61/170,995号は、映像圧縮又は後処理の用途に利用され得る画像又は映像信号の誘導処理（guided processing）を可能にするシステムを開示している。処理は、例えば、特定の所望の性能又は動作を生じ得る特定のフィルタ又は機構を用いたフィルタリング又は映像の補間（スケーリング）でもよい。
【００１２】
全ての内容を援用する米国仮出願61/223,027号は、FCFR（frame-compatible full-resolution）3Dシステムを開示している。様々なフィルタリング、サンプリング及び配置方法を使用して、フレームコンパチブル構成の様々な方法が可能になる。サンプリングは、例えば、水平、垂直又は５の目型（quincunx）でもよい。同様に、配置はサイドバイサイド（side-by-side）、オーバーアンダー（over-under）、ラインインターリーブ（line-interleaved）、チェッカーボード・パッキング（checkerboard packing）等でもよい。例示的なフレーム構成（水平サンプリング／サイドバイサイド配置）が図１に示されている。図１では、左ビューフレーム及び右ビューフレームが水平にサブサンプリングされ、サイドバイサイドで１つの映像フレームにパッキングされる。フレームサンプリング／配置の更なる例は、以下の選択肢を含む。更に、ビューはまた、非対称的にサブサンプリングされてもよい。
・５の目型サンプリング／チェッカーボード・インターリーブ配置（Checkerboard Interleaved Arrangement）
・水平サンプリング／列インターリーブ配置
・垂直サンプリング／行インターリーブ配置
・垂直サンプリング／オーバーアンダー配置
・５の目型サンプリング／サイドバイサイド配置
サブサンプリングは、フレーム解像度を低減するため、高品質3Dコンテンツのユーザ経験を低下させる可能性がある。サブサンプリングの間にフィルタリングが適用され、いくつかの潜在的な問題（例えば、エイリアシング（aliasing））を低減し、映像品質を改善してもよい。それにも拘らず、全解像度の立体的データ（立体的素材）の配信は、多くの用途における3Dシステムの高速の採用及び展開に関連している。
【００１３】
米国仮出願第61/233,027号（図２〜５参照）に記載のフレームコンパチブル3D（frame compatible 3D）システムの或る態様によれば、基本レイヤは、以前にサブサンプリングされて前述の様々なサンプリング方法及び配置のいずれかを使用して多重された２つのビューに対応する。全解像度の映像配信を実現するため、双方のビューについて高解像度に関する欠落した映像情報（例えば、いくつかの高周波数情報）を伝達するために、拡張レイヤが使用される。
【００１４】
基本及び拡張レイヤにより表される映像信号は、非常に相関している。従って、拡張レイヤの効率的な圧縮を促進するため、拡張レイヤの映像を符号化する際の予測として、基本レイヤで再構成された映像が使用されてもよい。更に、図２〜４に示すように、拡張レイヤの潜在的な予測として利用する前に、基本レイヤの情報を処理するための前処理段階が導入されてもよい。このような前処理は、グローバルな動き補償の訂正、システムにより使用されるサンプリング及び配置方法の特性を考慮した固定又は適応補間機構等を含んでもよい。
【００１５】
例えば、処理は、分離型又は非分離型の補間フィルタ、エッジ適応補間機構、ウェーブレット（wavelet）、バンドレット（bandlet）又はリッジレット（ridgelet）方法に基づくフィルタ等を含んでもよい。前処理方法の設計及び選択は、符号化器の判定の一部でもよく、コスト、複雑性及び符号化／品質性能のような様々な検討事項によるユーザ入力に基づいてもよい。
【００１６】
明瞭にするため且つ読みやすくするため、前述の米国仮出願第61/223,027号による3Dシステムアーキテクチャのハイレベルなブロック図が図２に示されている。参照処理ユニット（RPU：reference processing unit）（210）（例えば、3D RPU）は、符号化側に基本レイヤ映像符号化器（220）と拡張レイヤ映像符号化器（230）との間に示されており、RPU（240）（例えば、3D RPU）は、復号化側に基本レイヤ映像復号化器（250）と拡張レイヤ映像復号化器（260）との間に示されている。また、全ての内容を援用する米国仮出願第61/170,995をも参照のこと。参照処理ユニット（210）は、参照画像と、符号化される現在の画像とを取得し、参照画像の指示された処理を実行し、参照画像をできるだけ現在の画像に類似させる。このように、これらの２つの画像に存在し得る相関が利用される。
【００１７】
図２に示すように、3D RPU（210）は、以下に更に説明するメタデータ情報を生成する。概して、この前処理段階の役目は、基本レイヤの映像の特性を拡張レイヤの映像の特性により良く一致させるように処理及び調整することである。これは、例えば、フィルタリング（例えば、シャープニング、低域通過フィルタ）又は他の高度な方法（グローバル／領域の動き補償／テクスチャマッピング等）のような前処理機構を考慮することにより行われてもよい。この開示を通じて記載する方法はまた、１つより多くの拡張レイヤを有する3D映像システム及び2Dスケーラブル映像システムにも適用可能であることを、当業者は理解する。図１０は、このようなシステムの例（例えば、２つの拡張レイヤを有するフレームコンパチブル3D映像システム）を示している。
【００１８】
この開示の残りでは、補間フィルタに基づく技術について説明する。更に、補間と他の前処理ステップとを組み合わせる検討事項についても扱う。
【００１９】
第１の態様によれば、多層映像符号化システムが提供され、基本レイヤ映像符号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールとを有する。
【００２０】
第２の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、拡張レイヤを再構成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールとを有する。
【００２１】
第３の態様によれば、多層映像復号化システムが提供され、基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
【００２２】
第４の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
【００２３】
第５の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタ（最も良く実行するフィルタ）を選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２４】
第６の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２５】
第７の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ映像復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２６】
第８の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２７】
第９の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２８】
第１０の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２９】
第１１の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する。
【００３０】
第１２の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００３１】
第１３の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００３２】
この開示の更なる態様は、この出願の詳細な説明、図面及び特許請求の範囲に示されている。
【００３３】
以下に、適応補間フィルタの導出処理の簡単な検討が行われる。これに続いて、フレーム若しくは2Dコンパチブル3D（2D compatible 3D）（立体又は複数ビュー）又は2Dスケーラブル配信システムの例示的なコンテクスト内で適応フィルタを適用する詳細について説明する。
【００３４】
1.適応補間フィルタの概要
以前から、動き予測処理の精度を広く改善するために、適応補間フィルタ（AIF：adaptive interpolation filter）が研究されている（非特許文献４〜７参照、非特許文献４〜７の全ての内容を援用する）。動き予測処理は、H.264/AVCのような多くの映像符号化システムにおいて時間的冗長度を低減するために使用されている（非特許文献３参照、非特許文献３の全ての内容を援用する）。この開示を通じて、適応フィルタはフィルタとして定義され、その係数は、所定の符号化基準に基づいて適応的に推定される。適応フィルタ係数は入来する映像信号の統計に基づいて導かれるため、これらは、基本レイヤから補間することにより、拡張レイヤの正確な予測信号を取得するために適用されてもよい。
【００３５】
一例として図６を参照すると、基本レイヤ（陰付きの画素）から拡張レイヤ（白色の画素）を補間するために1-Dフィルタが使用されることが仮定される。しかし、以下の処理は、如何なるタップ長の2-D非分離フィルタを導くために容易に拡張可能である。この開示を通じて、‘タップ長（tap length）’という用語は、フィルタタップの数を意味する。
【００３６】
【数１】
ただし、h(n)は第nのフィルタ係数であり、Lはフィルタタップ長であり、FO=L/2-1はフィルタオフセットであり、
【数２】
及びB(x,y)はそれぞれ位置（x,y）での補間された拡張レイヤの画素及び基本レイヤを示す。
【００３７】
フィルタ係数h(n)は、所定の歪み尺度を最小化することに基づいて適応的に導かれる。２乗誤差の和（Sum of Squared Error）が歪み尺度として使用されることを仮定すると、フィルタ係数は次の式を最小化することにより導かれる。
【００３８】
【数３】
ただし、E(x,y)及び
【数４】
はそれぞれ位置(x,y)での拡張レイヤの映像を表す実際の画素値及び補完された画素値（例えば、式(1)を用いる）である。
【００３９】
限定ではなく一例として、hopt(n)を導くため、符号化器は、予測誤差SSE（又は他の歪み尺度）を最小化するために線形最適化処理を使用してもよい。最終的に、最適なフィルタ係数は、次の式を解くことにより見つけられてもよい。
【００４０】
【数５】
ただし
【数６】
換言すると、RT・Rは、補間処理に関与する基本レイヤの映像フレームの全ての画素（
【数７】
で示す）の間の自己相関行列であり、RT・Oは補間処理に関与する基本レイヤの映像の全ての画素（
【数８】
で示す）と予測される全ての拡張レイヤの画素（
【数９】
で示す）との間の相互相関である。
【００４１】
2.多層アプリケーションでのAIF及びその用途
適応補間フィルタ処理は、拡張レイヤの符号化のための予測を改善するために多層（multi-layered）システムにおいて使用されてもよい。この開示の実施例によれば、適応フィルタの最適な係数hopt(n)が導かれると、量子化され、符号化され、例えば、RPUユニットにおける予測処理を支援及び指示するためにシグナリングされるメタデータ情報の一部として、ビットストリームで送信される。この開示を通じて、“シグナリング（signaling）”という用語は、送信されるビットストリームの一部として符号化することを意味する。図２に示すように、このようなメタデータは、符号化器の参照処理ユニット（210）により導かれて送信され、復号化器の参照処理ユニット（240）により受信されて解釈される。他の実施例では、適応フィルタ係数はまた、周辺区画に使用されるフィルタを前提として、量子化の前に予測されてもよい。この開示を通じて、区画（partition）という用語は、画素のセグメントを示すことを意図しており、このセグメントのパラメータは、ビットストリームの画像の他のセグメントのものとは別々にシグナリングされてもよい。
【００４２】
適応フィルタのhopt(n)がフレーム（又は関心のある領域）で導かれた場合、これは全体フレームには最適であるが、フレームの全ての領域（関心のある領域内の全ての小領域）には最適でない可能性がある。更に、量子化は、最適な適応フィルタ係数hopt(n)に歪みを導入する。或る場合には、これは、適応フィルタに対して、特定の領域で特定の固定フィルタより大きい歪みを受けさせる。この開示を通じて、固定フィルタは、固定の係数を有するフィルタとして規定される。更に、適応フィルタ係数の送信に関連するビットオーバーヘッドは、些細なものではなくなる可能性があり、固定フィルタが（フィルタインデックスのみを示すことにより）かなり効率的にシグナリングされ得る。
【００４３】
図２を参照すると、この開示の実施例によれば、符号化器（220）は、以下のラグランジュレート歪みコスト（Lagrangian rate-distortion cost）のような所定の符号化基準に基づいて、使用する最善のフィルタを選択する。
【００４４】
【数１０】
ただし、Dadapt及びDfixはそれぞれ適応フィルタ及び固定フィルタを使用した場合の補間された拡張レイヤ信号と元の拡張レイヤ信号との間の歪み（例えば、２乗誤差の和、絶対差分の和、主観的品質尺度等）であり、radapt及びrfixはそれぞれ適応フィルタ係数及び固定フィルタインデックスを送信するために使用されるビットレート（すなわち、ビット数）であり、λはラグランジュ・ラムダファクタである。符号化器（220）は、Jfix≦Jadaptである場合に固定フィルタを使用することを判定してもよく、Jadapt＜Jfixである場合に適応フィルタを使用することを判定してもよい。判定はビットストリームでシグナリングされる。映像符号化の当業者は、式(7)及び(8)が単に一例としてレート歪みコストを使用しており、その代わりに又は追加でシステムの複雑性、主観的品質等を考慮したもののような他の符号化基準も使用されてもよいことを認識する。
【００４５】
この開示の更なる実施例によれば、様々な特性を有する複数の適応フィルタを含むフィルタ選択方法が提供される。限定ではなく一例として、1-D及び2-D適応フィルタが導かれ、フィルタ選択処理に含まれてもよい。他の実施例も考えられ、異なるタップ長及び／又は異なるフィルタ係数の対称性（以下に説明する）を有する適応フィルタも考慮されてもよい。更に他の実施例では、これらのフィルタの特定の１次結合が考慮されてもよい。
【００４６】
図２のフレームコンパチブル3Dシステムでは、基本レイヤ及び拡張レイヤは、双方のビューについての情報を含む。このような情報は、ルマ（luma）成分と２つのクロマ（chroma）成分とを含んでもよい。或る実施例によれば、適応補間フィルタは、個々のビュー及び個々の成分毎に導かれて別々にシグナリングされてもよく、双方のビュー及び／又は色成分の全て若しくは一部で併せて導かれてもよい（特に２つのクロマ成分は同じフィルタを共有してもよい）。更に、更なる実施例によれば、このような処理はまた、必要に応じて、RGBドメイン又は他の色空間で生じてもよい。また、このような処理は、映像コンテンツがプログレッシブであるかインターレースであるかに拘らず適用してもよい。
【００４７】
ビュー及び／又は色成分の間で同じ適応フィルタが共有され、その結果、係数のシグナリングに関連するビットオーバーヘッドが低減される実施例が考えられ得る。更に図２を参照すると、実施例によれば、符号化器（220）は、適応フィルタを或るビュー及び／又は色成分に適用し（これらは同じフィルタでもよく、異なるフィルタでもよい）、固定フィルタを残りのビュー及び／又は色成分に適用する（同様に、これらは同じフィルタでもよく、異なるフィルタでもよい）。このような判定（同じフィルタを共有するか異なるフィルタを使うか、適応フィルタを使用するか固定フィルタを使用するか等）は、符号化器（220）により行われ、復号化器（250）にシグナリングされてもよい。
【００４８】
一例として、２つのビューでのフィルタの判定について検討することができる。映像符号化の当業者は、同じ概念が複数の色成分にも同様に容易に拡張可能であることを認識する。同じフィルタ（適応又は固定）が双方のビューで使用される場合、レート歪みコスト（又は他の符号化基準）は、式(9)の形式になる。ただし、ビットオーバーヘッドは唯一のフィルタを送信するためのものである。或いは、異なるフィルタが２つのビューに適用されてもよい（双方のビューが異なる適応フィルタを使用する、双方のビューが異なる固定フィルタを使用する、又は１つのビューが適応フィルタを使用して他のビューが固定フィルタを使用する等）。後者の場合のレート歪みコストは、式(10)の形式になる。
【００４９】
【数１１】
更に図２を参照すると、符号化器（220）は、所望のレート歪みコストを提供するフィルタ構成を選択する。このような符号化器の判定がシーケンスレベル、画像レベル又は領域レベルで行われ得る実施例が考えられ得る。例えば、同じ適応フィルタは、１つの画像の双方のビュー及び／又は複数の色成分或いは１つの画像の１つの領域に使用されてもよく、異なる適応フィルタは、他の画像の各ビュー及び／又は各色成分或いは１つの画像の他の領域に使用されてもよい。
【００５０】
この開示の実施例によれば、フィルタ係数の送信に関連するビットオーバーヘッドを低減する更なる方法は、フィルタの対称性を実現することである。一例として、Lタップの1-D適応フィルタが使用される場合、以下の式は、固有のフィルタ係数の数を50%だけ低減する。
【００５１】
【数１２】
タップL×Kを有する2-D適応フィルタでは、フィルタの対称性は、とりわけ、横軸のみ（式(12)）、縦軸のみ（式(13)）、横軸及び縦軸の双方（式(14)）、対角線（式(15)）でもよい。3Dシステムでは、フィルタの対称性は、シーケンスレベル、画像レベル又は領域レベルで判定されてもよい。更に、１つのビューは１つの種類のフィルタの対称性を使用し、他のビューが他の種類のフィルタの対称性を使用してもよい。
【００５２】
【数１３】
この開示の或る実施例によれば、適切な補間フィルタ（固定又は適応）を選択する処理を高速化するための複数の方法が使用されてもよい。例えば、全体の基本レイヤフレーム又は関心のある全体の領域（映像フレームの一部でもよい）で適応フィルタ係数を導く代わりに、基本レイヤの映像の小領域又は複数の小領域が使用されてもよい。これは、式(3)の自己相関及び相互相関行列を取得するために必要な計算を低減する。他の例として、図２を参照すると、符号化器（220）は、まず、特定の固定フィルタを使用して予測品質を検査してもよい。固定フィルタの予測が十分正確である場合（例えば、予測誤差エネルギーが所定の閾値より小さい場合）、符号化器は、固定フィルタを直接使用し、適応フィルタを導いて適応フィルタ及び固定フィルタから最善のフィルタを選択する処理を完全に迂回してもよい。
【００５３】
更に図２を参照すると、この開示の他の実施例によれば、異なるフィルタリング方式が映像フレームの異なる領域に別々に適用される場合、符号化器（220）は、現在の領域についてフィルタの選択肢を絞るための指針として、周辺領域を使用してもよい。例えば、符号化器（220）は、特定の低い複雑性の画像分析を実行し、領域の特性を理解してもよい。現在の領域がその周辺と同様の特性を有する場合、周辺と同じフィルタが使用されてもよい。或いは、周辺領域で使用されるフィルタと同様のフィルタ特性を有する複数のフィルタが、現在の領域のフィルタの候補として評価されてもよい。周辺領域の識別に関して、空間的周辺（例えば、同じ映像の現在の領域の上、左、又は左上にある領域）と、時間的周辺（例えば、時間的に隣接する同じ位置にある領域であるが異なる映像の画像）との双方がこの目的のために考慮されてもよい。
【００５４】
“Buffered Adaptive Filters”という題で2010年1月14日に出願された前述の米国仮出願第61/295,034号に、バッファ適応フィルタ（BAF：buffered adaptive filter）方式について説明されている。この全ての内容を援用する。BAF方式では、前に送信されたフィルタがフィルタバッファに格納され、将来の映像信号の符号化のために使用される。どのようにフィルタバッファの容量を判定するか、フィルタバッファが一杯になった場合にどのように既存のフィルタを新たなフィルタと交換するか、どのようにフィルタバッファのフィルタの順序を配置するか等を含み、様々な動的バッファ管理方法の検討も説明されている。BAF方式の概念は、3D及びスケーラブル映像システムに直接拡張され得る。
【００５５】
この開示の実施例によれば、前に送信された適応補間フィルタは、１つ以上のフィルタバッファに格納され、将来の映像信号の符号化のための潜在的なフィルタの候補として選択されてもよい。更に、特定の固定フィルタもまた、フィルタバッファに格納されてもよい。フィルタバッファは、最大符号化効率及び／又は補間の複雑性の低減の検討事項に基づいて、フィルタの追加、削除、並び替え等が行われるように動的に管理される。フィルタバッファ管理コマンド（例えば、フィルタ追加／削除／並び替え）は、符号化器により明示的にシグナリングされてもよい。
【００５６】
或いは、図２を参照すると、符号化器（220）及び復号化器（250）は、フィルタバッファを管理するために前に合意したルールを使用してもよい。例えば、これらの双方は、フィルタ使用カウントに従って定期的にバッファ内のフィルタを並び替えてもよく（例えば、頻繁に使用されるフィルタが小さいインデックスを与えられる）、これらの双方は、バッファが一杯の場合に最後に使用されたフィルタを削除してもよい等である。フィルタバッファは、各ビュー及び／又は各色成分について併せて又は別々に維持管理されてもよい。また、フィルタバッファが基本レイヤ及び拡張レイヤについて併せて又は別々に維持管理される他の実施例も考えられ得る。
【００５７】
この開示の他の実施例によれば、拡張レイヤの予測の品質を改善するために、基本レイヤと拡張レイヤとの間で他の種類の処理が実行されてもよい。例えば、図７に示すように、補間フィルタ（720）及び動き予測（710）が、参照処理（705）の一部として実行されてもよい。例えば、3D映像システムでは、動き予測（710）は、場合によっては２つのビューの間の不一致を考慮するために使用される。説明を容易にするために、この拡張された参照処理方式は、図４の復号化器（400）の一部（405）として示されているが、同じ方式は、図３の符号化器（300）に示す参照処理ユニット（305）にも存在する。また、動き予測は、グローバルに（全体の画像で）実行されてもよく、ローカルに（画像の領域で）実行されてもよい。これらの処理ステップ（710、720）の順序は交換可能である。適応補間フィルタ（720）が導かれる前に動き予測（710）が適用される場合（図７に示す）、式(5)の画素値は
【数１４】
になる。これらは、動き予測（又は他の前処理ステップ）が実行される前の基本レイヤ映像信号を表す。換言すると、以下のようになる。
【００５８】
【数１５】
ただし、(mvx,mvy)は動きベクトルである。
【００５９】
動き予測が使用される場合、式(1)は式(17)に変更される。式(1)と同様に、一例として、1-Dフィルタが使用されることを仮定する。この開示の実施例によれば、参照処理ユニット（705）の中の動き予測はまた、サブピクセルの精度で実行されてもよい。この場合、動き補間は、サブピクセル値を取得するために使用される。動き補間の間に、簡単な固定フィルタ（H.264/AVC 6タップフィルタ、バイリニア・フィルタ等）が最初に使用されてもよい。動き予測の後に、式(17)及び式(2)〜(10)で前述した処理に従って、前述の適応フィルタ及びフィルタ選択処理が実行されてもよい。選択されたフィルタが変化しないまで、所定の品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこのような基準のいずれかの組み合わせで、動き予測処理とフィルタ選択処理との組み合わせが繰り返し実行されてもよい。更なる実施例では、符号化処理、事前符号化処理又は他の前処理からの完全な動き情報（例えば、動きベクトル、重み付けパラメータ、異なる予測参照を利用する区画についての情報）もまた、適応フィルタの計算で利用されてもよい。換言すると、動き補償されて補完された拡張レイヤの適応フィルタを導くために、式(17)は式(1)の代わりに検討される。
【００６０】
【数１６】
高度な映像符号化器は、符号化が実行される前に入力映像信号をより良く理解するために、しばしば画像及び映像分析を実行する。図２Ａ〜Ｂを参照すると、映像符号化器（220）が、入力画像を複数の領域に分割する画像セグメンテーションを適用し得る更なる実施例が考えられ得る。複数の領域のそれぞれは、特定の同様の特徴を処理する。次に、前述の適応フィルタ及びフィルタ選択処理は、領域に基づいて実行される。各領域は、使用する最善のフィルタを独立して選択してもよい。一例として、画像、ビュー又は色成分が４つの領域に区分され、領域0及び領域1が適応フィルタを選択し、領域2及び領域3が固定フィルタを選択することを仮定する。フィルタ選択が実行された後に、領域0及び領域1での映像信号のみを使用して適応フィルタを洗練することが有利になり得る。この理由は、適応フィルタがこれらの２つの領域内のみに適用されるからである。
【００６１】
この開示の実施例によれば、図３のフレームコンパチブル3Dシステム（300）を検討すると、拡張レイヤ映像ブロックを実際に符号化する間に、拡張レイヤ映像ブロックの予測ブロックは、RPU予測器（図３に示す参照処理ユニット（305）の出力であるアップサンプリングされた基本レイヤ）に基づいてもよく、拡張レイヤ内の時間予測器（すなわち、拡張レイヤ参照画像記憶装置（320）に格納された前に符号化された拡張レイヤの映像）に基づいてもよい。現在の拡張レイヤの画像が符号化された後に、ブロックに基づく符号化判定が、参照プロセッサ（305）にフィードバックされてもよい。参照プロセッサは、RPU予測器よりも時間予測器を使用するように選択したブロックをフィルタ計算処理から除外することにより、適応フィルタを洗練してもよい。洗練されたフィルタは、再び拡張レイヤの映像を符号化するために使用されてもよい。このような繰り返し処理は、実現可能な符号化利得が所定の閾値Tより小さくなるまで、若しくは最大数の繰り返しが実行されるまで、又は他の符号化基準が満たされるまで続いてもよい。この開示の更なる実施例によれば、前述の繰り返し処理を使用した2Dコンパチブル3Dシステム及び2Dスケーラブルシステムもまた考えられ得る。このような繰り返し処理の速度及び複雑性を改善する更に他の実施例について、以下に説明する。
【００６２】
前述の繰り返し処理は、適応フィルタの計算と、拡張レイヤの映像の完全な符号化との間に繰り返す。他の実施例では、拡張レイヤの完全な符号化を実行する代わりに、RPU予測器ではなく時間予測器を使用する可能性が高いブロック又は領域を識別するために、繰り返し処理の間に事前分析及び／又は高速モード判定が使用されてもよい。これらのブロック又は領域は、適応フィルタの計算から除外されてもよい。一例として、拡張レイヤの画像の２つの領域を識別するために事前分析が使用され、領域0は時間予測器を使用する可能性が高く、領域1はRPU予測器を使用する可能性が高いことを仮定する。次に、適応フィルタを計算するために、領域1からの映像信号のみが使用されてもよい。これらの適応フィルタは、レート歪み最適化に基づく全モード判定の代わりに高速モード判定が使用される“軽量（light-weight）”拡張レイヤ符号化パスを実行するために使用されてもよい。“軽量”符号化パスの符号化結果に基づいて、領域1は、RPU予測器を使用する可能性がある映像信号のより正確な推定を含むように洗練されてもよい。次に、適応フィルタはまた、洗練された領域1に基づいて洗練されてもよい。これらの洗練された適応フィルタは、より高度のモード判定を使用した他の符号化パスにフィードバックされる。繰り返し処理は、前述の１つ以上の基準が満たされるまで続いてもよい。図８は、選択的参照処理方法を示しており、参照処理で使用される選択されたブロック／領域は、事前分析又は高速モード判定（830）を実行することにより判定されてもよく、矢印（806）により示すようにレート歪み最適化ユニット（840）の出力を参照処理モジュール（805）に取り入れることにより判定されてもよい。
【００６３】
図９に示すようなこの開示の更なる実施例によれば、これまでに前述した適応フィルタ機構の全てはまた、基本レイヤの映像品質を改善するために基本レイヤの映像に適用されてもよい。このようなフィルタリングは、RPU（903）処理ループ（矢印（901）で示す）の外側に適用されてもよく、或いは、RPU（903）処理ループ（矢印（902）で示す）の内側に適用されてもよい。これにより、拡張レイヤの符号化のための予測信号を取得するために、フィルタリングされた基本レイヤの映像（より良い品質を有する）が補間の間に使用される。基本レイヤの映像がフィルタリングされると、拡張レイヤをフィルタリングする前述の検討事項の全て（符号化側のフィルタ選択及びシグナリング、バッファ適応フィルタ等）が同様に適用されてもよい。他の実施例では、RPU（903）処理で使用された適応フィルタの計算及びフィルタ（904）での適応フィルタの計算は、繰り返し判定されてもよい。
【００６４】
この開示の様々な実施例は、基本レイヤ及び拡張レイヤの双方の映像が第１のビュー及び第２のビューに関する映像信号を含むフレームコンパチブルの全解像度の3Dシステムの例を使用して説明されているが、この開示の教示は、他の3Dスケーラブルシステムにも2Dスケーラブルシステムにも容易に適用可能である。例えば、基本レイヤが第１のビューに関する映像信号を含み、拡張レイヤが第２のビューに関する映像信号を含む2Dコンパチブル3Dシステムでは、参照処理ユニットはまた、適応及び／又は固定フィルタリングを符号化された基本レイヤの映像に適用するために使用されてもよい。処理された基本レイヤの映像（第１のビューを表す）は、拡張レイヤの映像（第２のビューを表す）の符号化のための予測として使用されてもよい。2Dスケーラブルシステムでは、基本レイヤは、特定の解像度の2D画像についての情報を含んでもよく、拡張レイヤは、その解像度の増加を可能にする更なる情報を含んでもよく、参照処理ユニットは、3Dの場合に前述したものと同様の機構を使用して基本レイヤのサンプルから拡張レイヤのサンプルを予測する機構を提供してもよい。符号化基準に基づく最も性能の良いフィルタの選択、異なる色成分について別々に及び／又は併せて固定及び／又は適応フィルタを適用すること、適応フィルタのバッファ、符号化された基本レイヤの映像への動き予測（例えば、ビューの不一致の補償）の適用、適応フィルタの計算及び拡張レイヤの映像の符号化の繰り返し等を含むこの開示の様々な教示は、このようなシステムに容易に拡張可能である。更に、この開示の教示は、２つより多くのビューを含むマルチビュー符号化システムにも拡張可能である。例えば、複数のビューがフレームコンパチブルフォーマットに存在する場合、この教示が適用されてもよい。この教示はまた、米国仮出願61/223,027に記載のような、１つより多くの拡張レイヤが存在し得る3D立体及びマルチビュー符号化システムにも適用可能である。この場合、この開示に記載した教示を含む参照処理ユニットは、前に符号化されたレイヤから拡張レイヤ毎の予測を取得するために使用されてもよい。この開示の教示はまた、１つより多くの拡張レイヤを有する様々な3D映像システム及び2Dスケーラブル映像システムにも適用可能である。１つより多くの拡張レイヤを有するフレームコンパチブル3D立体システムの例は、図１０に示されている。
【００６５】
この開示の方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで実装されてもよい。ブロック、モジュール又はコンポーネントとして前述した特徴は、一緒に実装されてもよく（例えば、統合論理装置のような論理装置）、別々に実装されてもよい（例えば、別々の接続された論理装置）。この開示の方法のソフトウェアの部分は、実行されたときに、少なくとも部分的に前述の方法を実行する命令を有するコンピュータ可読媒体を有してもよい。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（RAM）及び／又は読み取り専用メモリ（ROM）を有してもよい。命令は、プロセッサ（例えば、デジタルシグナルプロセッサ（DSP）、特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA））により実行されてもよい。
【００６６】
本発明の実施例は、以下に示す１つ以上の例示的な実施例に関してもよい。
【００６７】
１．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと
を有する多層映像符号化システム。
【００６８】
２．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールと
を有する多層映像システム。
【００６９】
３．前記符号化器処理モジュールは、前記基本レイヤ映像の出力をフィルタリングし、前記拡張レイヤ映像信号を推定する適応フィルタを有する、上記の実施例１又は２に記載の多層映像システム。
【００７０】
４．前記適応フィルタの係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、上記の実施例３に記載の多層映像システム。
【００７１】
５．前記適応フィルタの係数は、前記拡張レイヤ映像信号と推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、上記の実施例３に記載の多層映像システム。
【００７２】
６．前記歪み尺度は、２乗誤差の和、絶対差分の和、主観的品質尺度又はこれらの組み合わせから選択される、上記の実施例５に記載の多層映像システム。
【００７３】
７．入力映像信号の区画に対応するフィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、上記の実施例３に記載の多層映像システム。
【００７４】
８．前記適応フィルタの係数は、フレーム、関心のある領域、前記フレーム内の領域又は前記関心のある領域の一部で導かれる、上記の実施例３に記載の多層映像システム。
【００７５】
９．前記符号化器処理モジュールは、適応フィルタと固定フィルタとを有する、上記の実施例１又は２に記載の多層映像システム。
【００７６】
１０．前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例９に記載の多層映像システム。
【００７７】
１１．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例１０に記載の多層映像システム。
【００７８】
１２．前記符号化基準は、システムの複雑性、主観的品質又はこれらの組み合わせに基づく、上記の実施例１０に記載の多層映像システム。
【００７９】
１３．前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、上記の実施例３に記載の多層映像システム。
【００８０】
１４．前記符号化器処理モジュールは、符号化基準に基づいて、前記１次元適応フィルタ、前記２次元適応フィルタ、前記異なるタップ長を有する適応フィルタ、前記異なる係数の対称性を有する適応フィルタ及びこれらの一次結合の中から、最も性能の良いフィルタを選択する、上記の実施例１３に記載の多層映像システム。
【００８１】
１５．前記適応フィルタは、フィルタ係数の対称性を有する１次元である、上記の実施例３に記載の多層映像システム。
【００８２】
１６．前記適応フィルタは、フィルタ係数の対称性を有する２次元である、上記の実施例３に記載の多層映像システム。
【００８３】
１７．前記フィルタの対称性は、横軸のみ、縦軸のみ、横軸及び縦軸の双方、又は対角線のうち１つである、上記の実施例１６に記載の多層映像システム。
【００８４】
１８．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、上記の実施例１又は２に記載の多層映像システム。
【００８５】
１９．適応フィルタを更に有し、
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、上記の実施例１８に記載の多層映像システム。
【００８６】
２０．前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、上記の実施例１８に記載の多層映像システム。
【００８７】
２１．前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、上記の実施例１８に記載の多層映像システム。
【００８８】
２２．前記符号化器処理モジュールは、固定フィルタを更に有する、上記の実施例１８に記載の多層映像システム。
【００８９】
２３．前記第１のビュー、前記第２のビュー、及び／又は前記第１のビュー及び前記第２のビューの各色成分のそれぞれについて、前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例２２に記載の多層映像システム。
【００９０】
２４．前記固定フィルタの性能が所定の閾値を満たす場合、前記適応フィルタの計算及び評価は、スキップされる、上記の実施例２３に記載の多層映像システム。
【００９１】
２５．前記最も性能の良いフィルタの選択は、シーケンスレベル、画像レベル及び領域レベルのうち１つ以上から選択されたレベルで実行される、上記の実施例２３に記載の多層映像システム。
【００９２】
２６．前記符号化基準は、レート歪みコスト関数である、上記の実施例２３に記載の多層映像システム。
【００９３】
２７．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと
を有する多層映像符号化システム。
【００９４】
２８．基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像復号化システム。
【００９５】
２９．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前記前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像システム。
【００９６】
３０．前記１つ以上の符号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２７又は２９に記載の多層映像システム。
【００９７】
３１．前記１つ以上の復号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２８又は２９に記載の多層映像システム。
【００９８】
３２．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、動的に管理されるフィルタバッファである、上記の実施例２７、２８又は２９に記載の多層映像システム。
【００９９】
３３．前記動的フィルタバッファは、フィルタの追加、フィルタの削除及びフィルタの並び替えのうち少なくとも１つを通じて動的に管理される、上記の実施例３２に記載の多層映像システム。
【０１００】
３４．フィルタバッファ管理コマンドは、前記基本レイヤ映像符号化器及び／又は前記拡張レイヤ映像符号化器によりシグナリングされる、上記の実施例３２又は３３に記載の多層映像システム。
【０１０１】
３５．動的なフィルタバッファの管理は、前記符号化器処理モジュールと前記復号化器処理モジュールとの間で合意されたフィルタバッファ管理ルールに基づく、上記の実施例３２又は３３に記載の多層映像システム。
【０１０２】
３６．前記フィルタバッファ管理ルールは、フィルタ使用カウントに従って符号化器のフィルタバッファ及び復号化器のフィルタバッファ内でフィルタの並び替えを有する、上記の実施例３５に記載の多層映像システム。
【０１０３】
３７．より頻繁に使用されるフィルタが小さいインデックスを与えられる、上記の実施例３６に記載の多層映像システム。
【０１０４】
３８．対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファが一杯になった場合、最後に使用されたフィルタが対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファから削除される、上記の実施例３３に記載の多層映像システム。
【０１０５】
３９．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０６】
４０．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０７】
４１．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０８】
４２．前記基本レイヤ映像信号は、処理された基本レイヤ映像信号を形成するように処理され、
前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、上記の実施例１ないし４１のうちいずれか１つに記載の多層映像システム。
【０１０９】
４３．前記処理された基本レイヤ映像信号は、前記基本レイヤ映像信号の動き予測である、上記の実施例４２に記載の多層映像システム。
【０１１０】
４４．前記動き予測は、グローバル及び／又はローカルに実行される、上記の実施例４３に記載の多層映像システム。
【０１１１】
４５．前記動き予測は、サブピクセルの精度で実行される、上記の実施例４３に記載の多層映像システム。
【０１１２】
４６．得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行される、上記の実施例４３に記載の多層映像システム。
【０１１３】
４７．前記拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の時間予測器を更に有する、上記の実施例４に記載の多層映像システム。
【０１１４】
４８．前記拡張レイヤの推定は、映像ブロックに基づき、或るブロックはRPU予測器に基づいて予測され、或るブロックは時間予測器に基づいて予測され、或るブロックはこれらの組み合わせに基づいて予測される、上記の実施例４７に記載の多層映像システム。
【０１１５】
４９．繰り返しの拡張レイヤの符号化が実行され、
前記適応フィルタは、少なくとも部分的に、時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から除外することにより計算され、
計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、上記の実施例４８に記載の多層映像システム。
【０１１６】
５０．時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行される、上記の実施例４８に記載の多層映像システム。
【０１１７】
５１．時間予測器を使用して予測される可能性のある前記識別された拡張ブロックは、少なくとも部分的に、前記適応フィルタの導出から除外される、上記の実施例５０に記載の多層映像システム。
【０１１８】
５２．適応フィルタリングが前記基本レイヤの映像に適用され、
対応する適応フィルタの係数がシグナリングされる、上記の実施例３ないし５１のうちいずれか１つに記載の多層映像システム。
【０１１９】
５３．前記基本レイヤの映像フィルタリングは、RPU処理ループの外側又は内側に適用される、上記の実施例５２に記載の多層映像システム。
【０１２０】
５４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２１】
５５．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２２】
５６．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２３】
５７．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ映像復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２４】
５８．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２５】
５９．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２６】
６０．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例５４ないし５９のうちいずれか１つに記載の多層映像方法。
【０１２７】
６１．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２８】
６２．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する多層映像方法。
【０１２９】
６３．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１３０】
６４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１３１】
６５．前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、上記の実施例６１ないし６４のうちいずれか１つに記載の多層映像方法。
【０１３２】
６６．前記基本レイヤ映像信号及び前記拡張レイヤ映像信号のそれぞれは、第１のビュー及び第２のビューを有する、上記の実施例５５、５７、６０、６２又は６４に記載の多層映像方法。
【０１３３】
６７．前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、上記の実施例１ないし２７又は２９ないし５３のうちいずれか１つに記載の多層映像システム。
【０１３４】
６８．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する符号化器。
【０１３５】
６９．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する装置。
【０１３６】
７０．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化するシステム。
【０１３７】
７１．コンピュータに対して上記の実施例５４ないし６８のうち１つ以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
【０１３８】
７２．映像信号を符号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
【０１３９】
７３．映像信号を復号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
【０１４０】
前述の例は、どのようにフレームコンパチブル3D配信のための適応補間フィルタの実施例を作って使用するかについて、当業者に完全な開示及び説明を与えるために提供されており、発明者がこの開示として考えるものの範囲を限定することを意図しない。この開示を実施する前述のモードの変更は、映像技術の当業者により使用されてもよく、特許請求の範囲内にあることを意図する。明細書に記載の全ての特許及び刊行物は、この開示が関係する当業者のレベルを示し得る。この開示で引用された全ての参考文献は、各参考文献の全てが個々に援用されるように、同じ程度まで援用する。
【０１４１】
この開示は特定の方法又はシステムに限定されないことがわかる。特定の方法又はシステムは、当然に変更されてもよい。ここで用いられる用語は、特定の実施例を説明するためのもののみであり、限定を意図しないことがわかる。この明細書及び特許請求の範囲で用いられる単数形は、明確に別のものとして示さない限り、複数の指示対象を含む。“複数”という用語は、明確に別のものとして示されない限り、２つ以上の指示対象を含む。特に言及しない限り、ここで用いられる全ての技術及び科学用語は、この開示が関係する当業者により一般的に理解されるものと同じ意味を有する。
【０１４２】
この開示の複数の実施例について説明した。それにも拘らず、この開示の要旨及び範囲から逸脱することなく、様々な変更が行われてもよいことがわかる。従って、他の実施例も、特許請求の範囲内にある。
【技術分野】
【０００１】
この出願は、2009年4月20日に出願された米国仮出願第61/170,995号、2009年7月4日に出願された米国仮出願第61/223,027号、2010年1月14日に出願された米国仮出願第61/295,034号、及び2010年2月1日に出願された米国仮出願第61/300,427号の優先権を主張し、これらの全ての内容を援用する。
【０００２】
この開示は、画像処理及び映像圧縮に関する。より具体的には、この開示の実施例は、多層（multi-layered）映像配信に関する。多層映像配信の例示的な実施例は、2Dスケーラブル符号化、2Dコンパチブル3D（2D compatible 3D）及びフレームコンパチブル3D（frame compatible 3D）を含むが、これらに限定されない。
【背景技術】
【０００３】
消費者の間での立体的（3D）コンテンツの急速な採用を容易にするために、理想的な家庭内3Dシステムは、既存の再生装置（セットトップボックス、DVD、Blu-rayディスクプレイヤ等）への最小の変更又は変更なしで実装され得るものであるべきである。これらはまた、既存の3D可能ディスプレイ（Samsung及びMitsubishiによるDLPディスプレイ（非特許文献１参照、非特許文献１の全ての内容を援用する）、或るプラズマディスプレイ、偏光に基づくフレーム順次式LCDディスプレイ等）と最大限に互換性があるべきである。
【０００４】
全解像度の3Dコンテンツへの要望は、１つのビューを表す基本レイヤ（下位レイヤ）と更なるビューを表すそれぞれの拡張レイヤ（上位レイヤ）とを有する２つ以上の階層を利用するMPEG-4のAVC/H.264映像符号化標準のMVC（Multiview Video Coding）拡張のような、いくつかのシステムに導いている（非特許文献３参照、非特許文献３の全ての内容を援用する）。これらのレイヤの全ては元の解像度内にある。
【０００５】
H.264/AVCへのSVC（Scalable Video Coding）の拡張（非特許文献２のAnnex G）は、2D映像符号化について多層映像符号化システムを規定している。SVC拡張は、様々な種類のスケーラビリティ（空間スケーラビリティ、品質スケーラビリティ、時間スケーラビリティ、又はこれらのいずれかの組み合わせ）を提供する。例えば、空間スケーラビリティでは、基本レイヤのビットストリームは、低空間解像度の映像信号を伝達し、拡張レイヤのビットストリームは、更なる情報を伝達することにより、基本レイヤのビットストリームと共に復号化された場合、高空間解像度の映像信号が取得できる。他の例として、品質スケーラビリティでは、拡張レイヤのビットストリームは、基本レイヤのビットストリームにより伝達される映像信号の品質を改善し得る更なる情報を伝達する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】D. C. Hutchison, “Introducing DLP 3-D TV”, http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf
【非特許文献２】Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264, March 2003
【非特許文献３】Y. Vatis and J. Ostermann, “Comparison of complexity between two-dimensional non-separable adaptive interpolation filter and standard wiener filter”, ITU-T SGI 6/Q.6 Doc. VCEG-AA11, Nice, France, Oct. 2005
【非特許文献４】S. Wittmann, T. Wedi, “Separable Adaptive Interpolation Filter for Video Coding,” Proc. ICIP 2008, IEEE International Conference on Image Processing, San Diego, California, Oct. 2008
【非特許文献５】D. Rusanovskyy, K. Ugur, J. Lainema, “Adaptive Interpolation with Directional Filters,” ITU-T SGI 6/Q.6 Doc. VCEG-AG21, Shenzhen, China, Oct. 2007
【非特許文献６】Y. Ye and M. Karczewicz, “Enhanced Adaptive Interpolation Filter,” ITU-T/SG16/Q.6 document C.464, Geneva, Switzerland, Apr. 2008
【非特許文献７】Y. Vatis, B. Edler, D. T. Nguyen, and J. Ostermann, “Two-dimensional non-separable adaptive Wiener interpolation filter for H.264/AVC”, ITU-T SGI 6/Q.6 Doc. VCEG-Z17, Busan, Korea, April 2005
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以下の説明から明らかになるように、本願の教示は、SVCシステムのような2Dスケーラブル映像システムの符号化性能を更に改善することができる。
【図面の簡単な説明】
【０００８】
【図１】立体的データの配信のための水平サンプリング／サイドバイサイド配置を示す図
【図２】フレームコンパチブル3Dシステムアーキテクチャを示す図
【図３】符号化側でのフレームコンパチブル3Dシステムの図
【図４】復号化側でのフレームコンパチブル3Dシステムの図
【図５】水平サンプリング＋サイドバイサイド・パッキング配置の基本レイヤを前提とした拡張レイヤの予測処理を示す図
【図６】1D適応フィルタの例を示す図
【図７】この開示の実施例による拡張参照処理を示す図
【図８】符号化器での選択的参照処理を示す図
【図９】基本レイヤ映像のフィルタリングを示す図
【図１０】多層フレームコンパチブル3D映像システムを示す図
【発明を実施するための形態】
【０００９】
この明細書の一部に組み込まれ、この明細書の一部を構成する添付図面は、この開示の１つ以上の実施例を示しており、例示的な実施例の説明と共に、この開示の原理及び実装を説明するのに役立つ。
【００１０】
この開示の実施例は、画像処理及び映像圧縮に関する。
【００１１】
全ての内容を援用する米国仮出願第61/170,995号は、映像圧縮又は後処理の用途に利用され得る画像又は映像信号の誘導処理（guided processing）を可能にするシステムを開示している。処理は、例えば、特定の所望の性能又は動作を生じ得る特定のフィルタ又は機構を用いたフィルタリング又は映像の補間（スケーリング）でもよい。
【００１２】
全ての内容を援用する米国仮出願61/223,027号は、FCFR（frame-compatible full-resolution）3Dシステムを開示している。様々なフィルタリング、サンプリング及び配置方法を使用して、フレームコンパチブル構成の様々な方法が可能になる。サンプリングは、例えば、水平、垂直又は５の目型（quincunx）でもよい。同様に、配置はサイドバイサイド（side-by-side）、オーバーアンダー（over-under）、ラインインターリーブ（line-interleaved）、チェッカーボード・パッキング（checkerboard packing）等でもよい。例示的なフレーム構成（水平サンプリング／サイドバイサイド配置）が図１に示されている。図１では、左ビューフレーム及び右ビューフレームが水平にサブサンプリングされ、サイドバイサイドで１つの映像フレームにパッキングされる。フレームサンプリング／配置の更なる例は、以下の選択肢を含む。更に、ビューはまた、非対称的にサブサンプリングされてもよい。
・５の目型サンプリング／チェッカーボード・インターリーブ配置（Checkerboard Interleaved Arrangement）
・水平サンプリング／列インターリーブ配置
・垂直サンプリング／行インターリーブ配置
・垂直サンプリング／オーバーアンダー配置
・５の目型サンプリング／サイドバイサイド配置
サブサンプリングは、フレーム解像度を低減するため、高品質3Dコンテンツのユーザ経験を低下させる可能性がある。サブサンプリングの間にフィルタリングが適用され、いくつかの潜在的な問題（例えば、エイリアシング（aliasing））を低減し、映像品質を改善してもよい。それにも拘らず、全解像度の立体的データ（立体的素材）の配信は、多くの用途における3Dシステムの高速の採用及び展開に関連している。
【００１３】
米国仮出願第61/233,027号（図２〜５参照）に記載のフレームコンパチブル3D（frame compatible 3D）システムの或る態様によれば、基本レイヤは、以前にサブサンプリングされて前述の様々なサンプリング方法及び配置のいずれかを使用して多重された２つのビューに対応する。全解像度の映像配信を実現するため、双方のビューについて高解像度に関する欠落した映像情報（例えば、いくつかの高周波数情報）を伝達するために、拡張レイヤが使用される。
【００１４】
基本及び拡張レイヤにより表される映像信号は、非常に相関している。従って、拡張レイヤの効率的な圧縮を促進するため、拡張レイヤの映像を符号化する際の予測として、基本レイヤで再構成された映像が使用されてもよい。更に、図２〜４に示すように、拡張レイヤの潜在的な予測として利用する前に、基本レイヤの情報を処理するための前処理段階が導入されてもよい。このような前処理は、グローバルな動き補償の訂正、システムにより使用されるサンプリング及び配置方法の特性を考慮した固定又は適応補間機構等を含んでもよい。
【００１５】
例えば、処理は、分離型又は非分離型の補間フィルタ、エッジ適応補間機構、ウェーブレット（wavelet）、バンドレット（bandlet）又はリッジレット（ridgelet）方法に基づくフィルタ等を含んでもよい。前処理方法の設計及び選択は、符号化器の判定の一部でもよく、コスト、複雑性及び符号化／品質性能のような様々な検討事項によるユーザ入力に基づいてもよい。
【００１６】
明瞭にするため且つ読みやすくするため、前述の米国仮出願第61/223,027号による3Dシステムアーキテクチャのハイレベルなブロック図が図２に示されている。参照処理ユニット（RPU：reference processing unit）（210）（例えば、3D RPU）は、符号化側に基本レイヤ映像符号化器（220）と拡張レイヤ映像符号化器（230）との間に示されており、RPU（240）（例えば、3D RPU）は、復号化側に基本レイヤ映像復号化器（250）と拡張レイヤ映像復号化器（260）との間に示されている。また、全ての内容を援用する米国仮出願第61/170,995をも参照のこと。参照処理ユニット（210）は、参照画像と、符号化される現在の画像とを取得し、参照画像の指示された処理を実行し、参照画像をできるだけ現在の画像に類似させる。このように、これらの２つの画像に存在し得る相関が利用される。
【００１７】
図２に示すように、3D RPU（210）は、以下に更に説明するメタデータ情報を生成する。概して、この前処理段階の役目は、基本レイヤの映像の特性を拡張レイヤの映像の特性により良く一致させるように処理及び調整することである。これは、例えば、フィルタリング（例えば、シャープニング、低域通過フィルタ）又は他の高度な方法（グローバル／領域の動き補償／テクスチャマッピング等）のような前処理機構を考慮することにより行われてもよい。この開示を通じて記載する方法はまた、１つより多くの拡張レイヤを有する3D映像システム及び2Dスケーラブル映像システムにも適用可能であることを、当業者は理解する。図１０は、このようなシステムの例（例えば、２つの拡張レイヤを有するフレームコンパチブル3D映像システム）を示している。
【００１８】
この開示の残りでは、補間フィルタに基づく技術について説明する。更に、補間と他の前処理ステップとを組み合わせる検討事項についても扱う。
【００１９】
第１の態様によれば、多層映像符号化システムが提供され、基本レイヤ映像符号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールとを有する。
【００２０】
第２の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤの推定として拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、拡張レイヤを再構成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールとを有する。
【００２１】
第３の態様によれば、多層映像復号化システムが提供され、基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
【００２２】
第４の態様によれば、多層映像システムが提供され、基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、処理された符号化器の出力を拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、処理された復号化器の出力を拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファとを有する。
【００２３】
第５の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタ（最も良く実行するフィルタ）を選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２４】
第６の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２５】
第７の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、予測された基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準を定め、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ映像復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされた最も性能の良いフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２６】
第８の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２７】
第９の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して拡張レイヤ映像信号を推定し、拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、符号化基準が固定フィルタリングにより満たされる場合、固定フィルタをシグナリングし、拡張レイヤ映像符号化のために固定フィルタと処理された基本レイヤ映像信号とを採用し、他の場合、基本レイヤ映像信号を適応フィルタリングし、拡張レイヤ映像信号を推定し、符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、定められた推定の品質に基づいて最も性能の良いフィルタを選択し、最も性能の良いフィルタをシグナリングし、拡張レイヤ映像符号化のために最も性能の良いフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００２８】
第１０の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００２９】
第１１の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択されたフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する。
【００３０】
第１２の態様によれば、多層映像符号化方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用することを有する。
【００３１】
第１３の態様によれば、多層映像方法が提供され、基本レイヤ映像信号を基本レイヤ映像符号化し、基本レイヤ映像信号を処理し、拡張レイヤ映像信号を拡張レイヤ映像符号化し、１つ以上の画像特性基準を定め、拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、１つ以上のフィルタ特性基準を定め、一式のフィルタから、同じ１つ以上の画像特性基準を満たす複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、拡張レイヤ映像の画像の現在の領域について選択し、選択された複数のフィルタをシグナリングし、拡張レイヤ映像符号化のために選択されたフィルタと処理された基本レイヤ映像信号とを採用し、基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、基本レイヤ復号化された映像信号を処理し、拡張レイヤ映像復号化のために処理された基本レイヤ復号化された映像信号とシグナリングされたフィルタとを採用し、拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する。
【００３２】
この開示の更なる態様は、この出願の詳細な説明、図面及び特許請求の範囲に示されている。
【００３３】
以下に、適応補間フィルタの導出処理の簡単な検討が行われる。これに続いて、フレーム若しくは2Dコンパチブル3D（2D compatible 3D）（立体又は複数ビュー）又は2Dスケーラブル配信システムの例示的なコンテクスト内で適応フィルタを適用する詳細について説明する。
【００３４】
1.適応補間フィルタの概要
以前から、動き予測処理の精度を広く改善するために、適応補間フィルタ（AIF：adaptive interpolation filter）が研究されている（非特許文献４〜７参照、非特許文献４〜７の全ての内容を援用する）。動き予測処理は、H.264/AVCのような多くの映像符号化システムにおいて時間的冗長度を低減するために使用されている（非特許文献３参照、非特許文献３の全ての内容を援用する）。この開示を通じて、適応フィルタはフィルタとして定義され、その係数は、所定の符号化基準に基づいて適応的に推定される。適応フィルタ係数は入来する映像信号の統計に基づいて導かれるため、これらは、基本レイヤから補間することにより、拡張レイヤの正確な予測信号を取得するために適用されてもよい。
【００３５】
一例として図６を参照すると、基本レイヤ（陰付きの画素）から拡張レイヤ（白色の画素）を補間するために1-Dフィルタが使用されることが仮定される。しかし、以下の処理は、如何なるタップ長の2-D非分離フィルタを導くために容易に拡張可能である。この開示を通じて、‘タップ長（tap length）’という用語は、フィルタタップの数を意味する。
【００３６】
【数１】
ただし、h(n)は第nのフィルタ係数であり、Lはフィルタタップ長であり、FO=L/2-1はフィルタオフセットであり、
【数２】
及びB(x,y)はそれぞれ位置（x,y）での補間された拡張レイヤの画素及び基本レイヤを示す。
【００３７】
フィルタ係数h(n)は、所定の歪み尺度を最小化することに基づいて適応的に導かれる。２乗誤差の和（Sum of Squared Error）が歪み尺度として使用されることを仮定すると、フィルタ係数は次の式を最小化することにより導かれる。
【００３８】
【数３】
ただし、E(x,y)及び
【数４】
はそれぞれ位置(x,y)での拡張レイヤの映像を表す実際の画素値及び補完された画素値（例えば、式(1)を用いる）である。
【００３９】
限定ではなく一例として、hopt(n)を導くため、符号化器は、予測誤差SSE（又は他の歪み尺度）を最小化するために線形最適化処理を使用してもよい。最終的に、最適なフィルタ係数は、次の式を解くことにより見つけられてもよい。
【００４０】
【数５】
ただし
【数６】
換言すると、RT・Rは、補間処理に関与する基本レイヤの映像フレームの全ての画素（
【数７】
で示す）の間の自己相関行列であり、RT・Oは補間処理に関与する基本レイヤの映像の全ての画素（
【数８】
で示す）と予測される全ての拡張レイヤの画素（
【数９】
で示す）との間の相互相関である。
【００４１】
2.多層アプリケーションでのAIF及びその用途
適応補間フィルタ処理は、拡張レイヤの符号化のための予測を改善するために多層（multi-layered）システムにおいて使用されてもよい。この開示の実施例によれば、適応フィルタの最適な係数hopt(n)が導かれると、量子化され、符号化され、例えば、RPUユニットにおける予測処理を支援及び指示するためにシグナリングされるメタデータ情報の一部として、ビットストリームで送信される。この開示を通じて、“シグナリング（signaling）”という用語は、送信されるビットストリームの一部として符号化することを意味する。図２に示すように、このようなメタデータは、符号化器の参照処理ユニット（210）により導かれて送信され、復号化器の参照処理ユニット（240）により受信されて解釈される。他の実施例では、適応フィルタ係数はまた、周辺区画に使用されるフィルタを前提として、量子化の前に予測されてもよい。この開示を通じて、区画（partition）という用語は、画素のセグメントを示すことを意図しており、このセグメントのパラメータは、ビットストリームの画像の他のセグメントのものとは別々にシグナリングされてもよい。
【００４２】
適応フィルタのhopt(n)がフレーム（又は関心のある領域）で導かれた場合、これは全体フレームには最適であるが、フレームの全ての領域（関心のある領域内の全ての小領域）には最適でない可能性がある。更に、量子化は、最適な適応フィルタ係数hopt(n)に歪みを導入する。或る場合には、これは、適応フィルタに対して、特定の領域で特定の固定フィルタより大きい歪みを受けさせる。この開示を通じて、固定フィルタは、固定の係数を有するフィルタとして規定される。更に、適応フィルタ係数の送信に関連するビットオーバーヘッドは、些細なものではなくなる可能性があり、固定フィルタが（フィルタインデックスのみを示すことにより）かなり効率的にシグナリングされ得る。
【００４３】
図２を参照すると、この開示の実施例によれば、符号化器（220）は、以下のラグランジュレート歪みコスト（Lagrangian rate-distortion cost）のような所定の符号化基準に基づいて、使用する最善のフィルタを選択する。
【００４４】
【数１０】
ただし、Dadapt及びDfixはそれぞれ適応フィルタ及び固定フィルタを使用した場合の補間された拡張レイヤ信号と元の拡張レイヤ信号との間の歪み（例えば、２乗誤差の和、絶対差分の和、主観的品質尺度等）であり、radapt及びrfixはそれぞれ適応フィルタ係数及び固定フィルタインデックスを送信するために使用されるビットレート（すなわち、ビット数）であり、λはラグランジュ・ラムダファクタである。符号化器（220）は、Jfix≦Jadaptである場合に固定フィルタを使用することを判定してもよく、Jadapt＜Jfixである場合に適応フィルタを使用することを判定してもよい。判定はビットストリームでシグナリングされる。映像符号化の当業者は、式(7)及び(8)が単に一例としてレート歪みコストを使用しており、その代わりに又は追加でシステムの複雑性、主観的品質等を考慮したもののような他の符号化基準も使用されてもよいことを認識する。
【００４５】
この開示の更なる実施例によれば、様々な特性を有する複数の適応フィルタを含むフィルタ選択方法が提供される。限定ではなく一例として、1-D及び2-D適応フィルタが導かれ、フィルタ選択処理に含まれてもよい。他の実施例も考えられ、異なるタップ長及び／又は異なるフィルタ係数の対称性（以下に説明する）を有する適応フィルタも考慮されてもよい。更に他の実施例では、これらのフィルタの特定の１次結合が考慮されてもよい。
【００４６】
図２のフレームコンパチブル3Dシステムでは、基本レイヤ及び拡張レイヤは、双方のビューについての情報を含む。このような情報は、ルマ（luma）成分と２つのクロマ（chroma）成分とを含んでもよい。或る実施例によれば、適応補間フィルタは、個々のビュー及び個々の成分毎に導かれて別々にシグナリングされてもよく、双方のビュー及び／又は色成分の全て若しくは一部で併せて導かれてもよい（特に２つのクロマ成分は同じフィルタを共有してもよい）。更に、更なる実施例によれば、このような処理はまた、必要に応じて、RGBドメイン又は他の色空間で生じてもよい。また、このような処理は、映像コンテンツがプログレッシブであるかインターレースであるかに拘らず適用してもよい。
【００４７】
ビュー及び／又は色成分の間で同じ適応フィルタが共有され、その結果、係数のシグナリングに関連するビットオーバーヘッドが低減される実施例が考えられ得る。更に図２を参照すると、実施例によれば、符号化器（220）は、適応フィルタを或るビュー及び／又は色成分に適用し（これらは同じフィルタでもよく、異なるフィルタでもよい）、固定フィルタを残りのビュー及び／又は色成分に適用する（同様に、これらは同じフィルタでもよく、異なるフィルタでもよい）。このような判定（同じフィルタを共有するか異なるフィルタを使うか、適応フィルタを使用するか固定フィルタを使用するか等）は、符号化器（220）により行われ、復号化器（250）にシグナリングされてもよい。
【００４８】
一例として、２つのビューでのフィルタの判定について検討することができる。映像符号化の当業者は、同じ概念が複数の色成分にも同様に容易に拡張可能であることを認識する。同じフィルタ（適応又は固定）が双方のビューで使用される場合、レート歪みコスト（又は他の符号化基準）は、式(9)の形式になる。ただし、ビットオーバーヘッドは唯一のフィルタを送信するためのものである。或いは、異なるフィルタが２つのビューに適用されてもよい（双方のビューが異なる適応フィルタを使用する、双方のビューが異なる固定フィルタを使用する、又は１つのビューが適応フィルタを使用して他のビューが固定フィルタを使用する等）。後者の場合のレート歪みコストは、式(10)の形式になる。
【００４９】
【数１１】
更に図２を参照すると、符号化器（220）は、所望のレート歪みコストを提供するフィルタ構成を選択する。このような符号化器の判定がシーケンスレベル、画像レベル又は領域レベルで行われ得る実施例が考えられ得る。例えば、同じ適応フィルタは、１つの画像の双方のビュー及び／又は複数の色成分或いは１つの画像の１つの領域に使用されてもよく、異なる適応フィルタは、他の画像の各ビュー及び／又は各色成分或いは１つの画像の他の領域に使用されてもよい。
【００５０】
この開示の実施例によれば、フィルタ係数の送信に関連するビットオーバーヘッドを低減する更なる方法は、フィルタの対称性を実現することである。一例として、Lタップの1-D適応フィルタが使用される場合、以下の式は、固有のフィルタ係数の数を50%だけ低減する。
【００５１】
【数１２】
タップL×Kを有する2-D適応フィルタでは、フィルタの対称性は、とりわけ、横軸のみ（式(12)）、縦軸のみ（式(13)）、横軸及び縦軸の双方（式(14)）、対角線（式(15)）でもよい。3Dシステムでは、フィルタの対称性は、シーケンスレベル、画像レベル又は領域レベルで判定されてもよい。更に、１つのビューは１つの種類のフィルタの対称性を使用し、他のビューが他の種類のフィルタの対称性を使用してもよい。
【００５２】
【数１３】
この開示の或る実施例によれば、適切な補間フィルタ（固定又は適応）を選択する処理を高速化するための複数の方法が使用されてもよい。例えば、全体の基本レイヤフレーム又は関心のある全体の領域（映像フレームの一部でもよい）で適応フィルタ係数を導く代わりに、基本レイヤの映像の小領域又は複数の小領域が使用されてもよい。これは、式(3)の自己相関及び相互相関行列を取得するために必要な計算を低減する。他の例として、図２を参照すると、符号化器（220）は、まず、特定の固定フィルタを使用して予測品質を検査してもよい。固定フィルタの予測が十分正確である場合（例えば、予測誤差エネルギーが所定の閾値より小さい場合）、符号化器は、固定フィルタを直接使用し、適応フィルタを導いて適応フィルタ及び固定フィルタから最善のフィルタを選択する処理を完全に迂回してもよい。
【００５３】
更に図２を参照すると、この開示の他の実施例によれば、異なるフィルタリング方式が映像フレームの異なる領域に別々に適用される場合、符号化器（220）は、現在の領域についてフィルタの選択肢を絞るための指針として、周辺領域を使用してもよい。例えば、符号化器（220）は、特定の低い複雑性の画像分析を実行し、領域の特性を理解してもよい。現在の領域がその周辺と同様の特性を有する場合、周辺と同じフィルタが使用されてもよい。或いは、周辺領域で使用されるフィルタと同様のフィルタ特性を有する複数のフィルタが、現在の領域のフィルタの候補として評価されてもよい。周辺領域の識別に関して、空間的周辺（例えば、同じ映像の現在の領域の上、左、又は左上にある領域）と、時間的周辺（例えば、時間的に隣接する同じ位置にある領域であるが異なる映像の画像）との双方がこの目的のために考慮されてもよい。
【００５４】
“Buffered Adaptive Filters”という題で2010年1月14日に出願された前述の米国仮出願第61/295,034号に、バッファ適応フィルタ（BAF：buffered adaptive filter）方式について説明されている。この全ての内容を援用する。BAF方式では、前に送信されたフィルタがフィルタバッファに格納され、将来の映像信号の符号化のために使用される。どのようにフィルタバッファの容量を判定するか、フィルタバッファが一杯になった場合にどのように既存のフィルタを新たなフィルタと交換するか、どのようにフィルタバッファのフィルタの順序を配置するか等を含み、様々な動的バッファ管理方法の検討も説明されている。BAF方式の概念は、3D及びスケーラブル映像システムに直接拡張され得る。
【００５５】
この開示の実施例によれば、前に送信された適応補間フィルタは、１つ以上のフィルタバッファに格納され、将来の映像信号の符号化のための潜在的なフィルタの候補として選択されてもよい。更に、特定の固定フィルタもまた、フィルタバッファに格納されてもよい。フィルタバッファは、最大符号化効率及び／又は補間の複雑性の低減の検討事項に基づいて、フィルタの追加、削除、並び替え等が行われるように動的に管理される。フィルタバッファ管理コマンド（例えば、フィルタ追加／削除／並び替え）は、符号化器により明示的にシグナリングされてもよい。
【００５６】
或いは、図２を参照すると、符号化器（220）及び復号化器（250）は、フィルタバッファを管理するために前に合意したルールを使用してもよい。例えば、これらの双方は、フィルタ使用カウントに従って定期的にバッファ内のフィルタを並び替えてもよく（例えば、頻繁に使用されるフィルタが小さいインデックスを与えられる）、これらの双方は、バッファが一杯の場合に最後に使用されたフィルタを削除してもよい等である。フィルタバッファは、各ビュー及び／又は各色成分について併せて又は別々に維持管理されてもよい。また、フィルタバッファが基本レイヤ及び拡張レイヤについて併せて又は別々に維持管理される他の実施例も考えられ得る。
【００５７】
この開示の他の実施例によれば、拡張レイヤの予測の品質を改善するために、基本レイヤと拡張レイヤとの間で他の種類の処理が実行されてもよい。例えば、図７に示すように、補間フィルタ（720）及び動き予測（710）が、参照処理（705）の一部として実行されてもよい。例えば、3D映像システムでは、動き予測（710）は、場合によっては２つのビューの間の不一致を考慮するために使用される。説明を容易にするために、この拡張された参照処理方式は、図４の復号化器（400）の一部（405）として示されているが、同じ方式は、図３の符号化器（300）に示す参照処理ユニット（305）にも存在する。また、動き予測は、グローバルに（全体の画像で）実行されてもよく、ローカルに（画像の領域で）実行されてもよい。これらの処理ステップ（710、720）の順序は交換可能である。適応補間フィルタ（720）が導かれる前に動き予測（710）が適用される場合（図７に示す）、式(5)の画素値は
【数１４】
になる。これらは、動き予測（又は他の前処理ステップ）が実行される前の基本レイヤ映像信号を表す。換言すると、以下のようになる。
【００５８】
【数１５】
ただし、(mvx,mvy)は動きベクトルである。
【００５９】
動き予測が使用される場合、式(1)は式(17)に変更される。式(1)と同様に、一例として、1-Dフィルタが使用されることを仮定する。この開示の実施例によれば、参照処理ユニット（705）の中の動き予測はまた、サブピクセルの精度で実行されてもよい。この場合、動き補間は、サブピクセル値を取得するために使用される。動き補間の間に、簡単な固定フィルタ（H.264/AVC 6タップフィルタ、バイリニア・フィルタ等）が最初に使用されてもよい。動き予測の後に、式(17)及び式(2)〜(10)で前述した処理に従って、前述の適応フィルタ及びフィルタ選択処理が実行されてもよい。選択されたフィルタが変化しないまで、所定の品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこのような基準のいずれかの組み合わせで、動き予測処理とフィルタ選択処理との組み合わせが繰り返し実行されてもよい。更なる実施例では、符号化処理、事前符号化処理又は他の前処理からの完全な動き情報（例えば、動きベクトル、重み付けパラメータ、異なる予測参照を利用する区画についての情報）もまた、適応フィルタの計算で利用されてもよい。換言すると、動き補償されて補完された拡張レイヤの適応フィルタを導くために、式(17)は式(1)の代わりに検討される。
【００６０】
【数１６】
高度な映像符号化器は、符号化が実行される前に入力映像信号をより良く理解するために、しばしば画像及び映像分析を実行する。図２Ａ〜Ｂを参照すると、映像符号化器（220）が、入力画像を複数の領域に分割する画像セグメンテーションを適用し得る更なる実施例が考えられ得る。複数の領域のそれぞれは、特定の同様の特徴を処理する。次に、前述の適応フィルタ及びフィルタ選択処理は、領域に基づいて実行される。各領域は、使用する最善のフィルタを独立して選択してもよい。一例として、画像、ビュー又は色成分が４つの領域に区分され、領域0及び領域1が適応フィルタを選択し、領域2及び領域3が固定フィルタを選択することを仮定する。フィルタ選択が実行された後に、領域0及び領域1での映像信号のみを使用して適応フィルタを洗練することが有利になり得る。この理由は、適応フィルタがこれらの２つの領域内のみに適用されるからである。
【００６１】
この開示の実施例によれば、図３のフレームコンパチブル3Dシステム（300）を検討すると、拡張レイヤ映像ブロックを実際に符号化する間に、拡張レイヤ映像ブロックの予測ブロックは、RPU予測器（図３に示す参照処理ユニット（305）の出力であるアップサンプリングされた基本レイヤ）に基づいてもよく、拡張レイヤ内の時間予測器（すなわち、拡張レイヤ参照画像記憶装置（320）に格納された前に符号化された拡張レイヤの映像）に基づいてもよい。現在の拡張レイヤの画像が符号化された後に、ブロックに基づく符号化判定が、参照プロセッサ（305）にフィードバックされてもよい。参照プロセッサは、RPU予測器よりも時間予測器を使用するように選択したブロックをフィルタ計算処理から除外することにより、適応フィルタを洗練してもよい。洗練されたフィルタは、再び拡張レイヤの映像を符号化するために使用されてもよい。このような繰り返し処理は、実現可能な符号化利得が所定の閾値Tより小さくなるまで、若しくは最大数の繰り返しが実行されるまで、又は他の符号化基準が満たされるまで続いてもよい。この開示の更なる実施例によれば、前述の繰り返し処理を使用した2Dコンパチブル3Dシステム及び2Dスケーラブルシステムもまた考えられ得る。このような繰り返し処理の速度及び複雑性を改善する更に他の実施例について、以下に説明する。
【００６２】
前述の繰り返し処理は、適応フィルタの計算と、拡張レイヤの映像の完全な符号化との間に繰り返す。他の実施例では、拡張レイヤの完全な符号化を実行する代わりに、RPU予測器ではなく時間予測器を使用する可能性が高いブロック又は領域を識別するために、繰り返し処理の間に事前分析及び／又は高速モード判定が使用されてもよい。これらのブロック又は領域は、適応フィルタの計算から除外されてもよい。一例として、拡張レイヤの画像の２つの領域を識別するために事前分析が使用され、領域0は時間予測器を使用する可能性が高く、領域1はRPU予測器を使用する可能性が高いことを仮定する。次に、適応フィルタを計算するために、領域1からの映像信号のみが使用されてもよい。これらの適応フィルタは、レート歪み最適化に基づく全モード判定の代わりに高速モード判定が使用される“軽量（light-weight）”拡張レイヤ符号化パスを実行するために使用されてもよい。“軽量”符号化パスの符号化結果に基づいて、領域1は、RPU予測器を使用する可能性がある映像信号のより正確な推定を含むように洗練されてもよい。次に、適応フィルタはまた、洗練された領域1に基づいて洗練されてもよい。これらの洗練された適応フィルタは、より高度のモード判定を使用した他の符号化パスにフィードバックされる。繰り返し処理は、前述の１つ以上の基準が満たされるまで続いてもよい。図８は、選択的参照処理方法を示しており、参照処理で使用される選択されたブロック／領域は、事前分析又は高速モード判定（830）を実行することにより判定されてもよく、矢印（806）により示すようにレート歪み最適化ユニット（840）の出力を参照処理モジュール（805）に取り入れることにより判定されてもよい。
【００６３】
図９に示すようなこの開示の更なる実施例によれば、これまでに前述した適応フィルタ機構の全てはまた、基本レイヤの映像品質を改善するために基本レイヤの映像に適用されてもよい。このようなフィルタリングは、RPU（903）処理ループ（矢印（901）で示す）の外側に適用されてもよく、或いは、RPU（903）処理ループ（矢印（902）で示す）の内側に適用されてもよい。これにより、拡張レイヤの符号化のための予測信号を取得するために、フィルタリングされた基本レイヤの映像（より良い品質を有する）が補間の間に使用される。基本レイヤの映像がフィルタリングされると、拡張レイヤをフィルタリングする前述の検討事項の全て（符号化側のフィルタ選択及びシグナリング、バッファ適応フィルタ等）が同様に適用されてもよい。他の実施例では、RPU（903）処理で使用された適応フィルタの計算及びフィルタ（904）での適応フィルタの計算は、繰り返し判定されてもよい。
【００６４】
この開示の様々な実施例は、基本レイヤ及び拡張レイヤの双方の映像が第１のビュー及び第２のビューに関する映像信号を含むフレームコンパチブルの全解像度の3Dシステムの例を使用して説明されているが、この開示の教示は、他の3Dスケーラブルシステムにも2Dスケーラブルシステムにも容易に適用可能である。例えば、基本レイヤが第１のビューに関する映像信号を含み、拡張レイヤが第２のビューに関する映像信号を含む2Dコンパチブル3Dシステムでは、参照処理ユニットはまた、適応及び／又は固定フィルタリングを符号化された基本レイヤの映像に適用するために使用されてもよい。処理された基本レイヤの映像（第１のビューを表す）は、拡張レイヤの映像（第２のビューを表す）の符号化のための予測として使用されてもよい。2Dスケーラブルシステムでは、基本レイヤは、特定の解像度の2D画像についての情報を含んでもよく、拡張レイヤは、その解像度の増加を可能にする更なる情報を含んでもよく、参照処理ユニットは、3Dの場合に前述したものと同様の機構を使用して基本レイヤのサンプルから拡張レイヤのサンプルを予測する機構を提供してもよい。符号化基準に基づく最も性能の良いフィルタの選択、異なる色成分について別々に及び／又は併せて固定及び／又は適応フィルタを適用すること、適応フィルタのバッファ、符号化された基本レイヤの映像への動き予測（例えば、ビューの不一致の補償）の適用、適応フィルタの計算及び拡張レイヤの映像の符号化の繰り返し等を含むこの開示の様々な教示は、このようなシステムに容易に拡張可能である。更に、この開示の教示は、２つより多くのビューを含むマルチビュー符号化システムにも拡張可能である。例えば、複数のビューがフレームコンパチブルフォーマットに存在する場合、この教示が適用されてもよい。この教示はまた、米国仮出願61/223,027に記載のような、１つより多くの拡張レイヤが存在し得る3D立体及びマルチビュー符号化システムにも適用可能である。この場合、この開示に記載した教示を含む参照処理ユニットは、前に符号化されたレイヤから拡張レイヤ毎の予測を取得するために使用されてもよい。この開示の教示はまた、１つより多くの拡張レイヤを有する様々な3D映像システム及び2Dスケーラブル映像システムにも適用可能である。１つより多くの拡張レイヤを有するフレームコンパチブル3D立体システムの例は、図１０に示されている。
【００６５】
この開示の方法及びシステムは、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで実装されてもよい。ブロック、モジュール又はコンポーネントとして前述した特徴は、一緒に実装されてもよく（例えば、統合論理装置のような論理装置）、別々に実装されてもよい（例えば、別々の接続された論理装置）。この開示の方法のソフトウェアの部分は、実行されたときに、少なくとも部分的に前述の方法を実行する命令を有するコンピュータ可読媒体を有してもよい。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（RAM）及び／又は読み取り専用メモリ（ROM）を有してもよい。命令は、プロセッサ（例えば、デジタルシグナルプロセッサ（DSP）、特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA））により実行されてもよい。
【００６６】
本発明の実施例は、以下に示す１つ以上の例示的な実施例に関してもよい。
【００６７】
１．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと
を有する多層映像符号化システム。
【００６８】
２．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールと
を有する多層映像システム。
【００６９】
３．前記符号化器処理モジュールは、前記基本レイヤ映像の出力をフィルタリングし、前記拡張レイヤ映像信号を推定する適応フィルタを有する、上記の実施例１又は２に記載の多層映像システム。
【００７０】
４．前記適応フィルタの係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、上記の実施例３に記載の多層映像システム。
【００７１】
５．前記適応フィルタの係数は、前記拡張レイヤ映像信号と推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、上記の実施例３に記載の多層映像システム。
【００７２】
６．前記歪み尺度は、２乗誤差の和、絶対差分の和、主観的品質尺度又はこれらの組み合わせから選択される、上記の実施例５に記載の多層映像システム。
【００７３】
７．入力映像信号の区画に対応するフィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、上記の実施例３に記載の多層映像システム。
【００７４】
８．前記適応フィルタの係数は、フレーム、関心のある領域、前記フレーム内の領域又は前記関心のある領域の一部で導かれる、上記の実施例３に記載の多層映像システム。
【００７５】
９．前記符号化器処理モジュールは、適応フィルタと固定フィルタとを有する、上記の実施例１又は２に記載の多層映像システム。
【００７６】
１０．前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例９に記載の多層映像システム。
【００７７】
１１．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例１０に記載の多層映像システム。
【００７８】
１２．前記符号化基準は、システムの複雑性、主観的品質又はこれらの組み合わせに基づく、上記の実施例１０に記載の多層映像システム。
【００７９】
１３．前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、上記の実施例３に記載の多層映像システム。
【００８０】
１４．前記符号化器処理モジュールは、符号化基準に基づいて、前記１次元適応フィルタ、前記２次元適応フィルタ、前記異なるタップ長を有する適応フィルタ、前記異なる係数の対称性を有する適応フィルタ及びこれらの一次結合の中から、最も性能の良いフィルタを選択する、上記の実施例１３に記載の多層映像システム。
【００８１】
１５．前記適応フィルタは、フィルタ係数の対称性を有する１次元である、上記の実施例３に記載の多層映像システム。
【００８２】
１６．前記適応フィルタは、フィルタ係数の対称性を有する２次元である、上記の実施例３に記載の多層映像システム。
【００８３】
１７．前記フィルタの対称性は、横軸のみ、縦軸のみ、横軸及び縦軸の双方、又は対角線のうち１つである、上記の実施例１６に記載の多層映像システム。
【００８４】
１８．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、上記の実施例１又は２に記載の多層映像システム。
【００８５】
１９．適応フィルタを更に有し、
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、上記の実施例１８に記載の多層映像システム。
【００８６】
２０．前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、上記の実施例１８に記載の多層映像システム。
【００８７】
２１．前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、上記の実施例１８に記載の多層映像システム。
【００８８】
２２．前記符号化器処理モジュールは、固定フィルタを更に有する、上記の実施例１８に記載の多層映像システム。
【００８９】
２３．前記第１のビュー、前記第２のビュー、及び／又は前記第１のビュー及び前記第２のビューの各色成分のそれぞれについて、前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、上記の実施例２２に記載の多層映像システム。
【００９０】
２４．前記固定フィルタの性能が所定の閾値を満たす場合、前記適応フィルタの計算及び評価は、スキップされる、上記の実施例２３に記載の多層映像システム。
【００９１】
２５．前記最も性能の良いフィルタの選択は、シーケンスレベル、画像レベル及び領域レベルのうち１つ以上から選択されたレベルで実行される、上記の実施例２３に記載の多層映像システム。
【００９２】
２６．前記符号化基準は、レート歪みコスト関数である、上記の実施例２３に記載の多層映像システム。
【００９３】
２７．基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと
を有する多層映像符号化システム。
【００９４】
２８．基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像復号化システム。
【００９５】
２９．基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前記前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像システム。
【００９６】
３０．前記１つ以上の符号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２７又は２９に記載の多層映像システム。
【００９７】
３１．前記１つ以上の復号化フィルタバッファは、固定フィルタを更に有する、上記の実施例２８又は２９に記載の多層映像システム。
【００９８】
３２．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、動的に管理されるフィルタバッファである、上記の実施例２７、２８又は２９に記載の多層映像システム。
【００９９】
３３．前記動的フィルタバッファは、フィルタの追加、フィルタの削除及びフィルタの並び替えのうち少なくとも１つを通じて動的に管理される、上記の実施例３２に記載の多層映像システム。
【０１００】
３４．フィルタバッファ管理コマンドは、前記基本レイヤ映像符号化器及び／又は前記拡張レイヤ映像符号化器によりシグナリングされる、上記の実施例３２又は３３に記載の多層映像システム。
【０１０１】
３５．動的なフィルタバッファの管理は、前記符号化器処理モジュールと前記復号化器処理モジュールとの間で合意されたフィルタバッファ管理ルールに基づく、上記の実施例３２又は３３に記載の多層映像システム。
【０１０２】
３６．前記フィルタバッファ管理ルールは、フィルタ使用カウントに従って符号化器のフィルタバッファ及び復号化器のフィルタバッファ内でフィルタの並び替えを有する、上記の実施例３５に記載の多層映像システム。
【０１０３】
３７．より頻繁に使用されるフィルタが小さいインデックスを与えられる、上記の実施例３６に記載の多層映像システム。
【０１０４】
３８．対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファが一杯になった場合、最後に使用されたフィルタが対応する符号化器のフィルタバッファ及び対応する復号化器のフィルタバッファから削除される、上記の実施例３３に記載の多層映像システム。
【０１０５】
３９．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０６】
４０．前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０７】
４１．前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、上記の実施例２９に記載の多層映像システム。
【０１０８】
４２．前記基本レイヤ映像信号は、処理された基本レイヤ映像信号を形成するように処理され、
前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、上記の実施例１ないし４１のうちいずれか１つに記載の多層映像システム。
【０１０９】
４３．前記処理された基本レイヤ映像信号は、前記基本レイヤ映像信号の動き予測である、上記の実施例４２に記載の多層映像システム。
【０１１０】
４４．前記動き予測は、グローバル及び／又はローカルに実行される、上記の実施例４３に記載の多層映像システム。
【０１１１】
４５．前記動き予測は、サブピクセルの精度で実行される、上記の実施例４３に記載の多層映像システム。
【０１１２】
４６．得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行される、上記の実施例４３に記載の多層映像システム。
【０１１３】
４７．前記拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の時間予測器を更に有する、上記の実施例４に記載の多層映像システム。
【０１１４】
４８．前記拡張レイヤの推定は、映像ブロックに基づき、或るブロックはRPU予測器に基づいて予測され、或るブロックは時間予測器に基づいて予測され、或るブロックはこれらの組み合わせに基づいて予測される、上記の実施例４７に記載の多層映像システム。
【０１１５】
４９．繰り返しの拡張レイヤの符号化が実行され、
前記適応フィルタは、少なくとも部分的に、時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から除外することにより計算され、
計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、上記の実施例４８に記載の多層映像システム。
【０１１６】
５０．時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行される、上記の実施例４８に記載の多層映像システム。
【０１１７】
５１．時間予測器を使用して予測される可能性のある前記識別された拡張ブロックは、少なくとも部分的に、前記適応フィルタの導出から除外される、上記の実施例５０に記載の多層映像システム。
【０１１８】
５２．適応フィルタリングが前記基本レイヤの映像に適用され、
対応する適応フィルタの係数がシグナリングされる、上記の実施例３ないし５１のうちいずれか１つに記載の多層映像システム。
【０１１９】
５３．前記基本レイヤの映像フィルタリングは、RPU処理ループの外側又は内側に適用される、上記の実施例５２に記載の多層映像システム。
【０１２０】
５４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２１】
５５．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２２】
５６．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２３】
５７．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ映像復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２４】
５８．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２５】
５９．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１２６】
６０．前記符号化基準は、ラグランジュレート歪みコストである、上記の実施例５４ないし５９のうちいずれか１つに記載の多層映像方法。
【０１２７】
６１．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１２８】
６２．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する多層映像方法。
【０１２９】
６３．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【０１３０】
６４．基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【０１３１】
６５．前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、上記の実施例６１ないし６４のうちいずれか１つに記載の多層映像方法。
【０１３２】
６６．前記基本レイヤ映像信号及び前記拡張レイヤ映像信号のそれぞれは、第１のビュー及び第２のビューを有する、上記の実施例５５、５７、６０、６２又は６４に記載の多層映像方法。
【０１３３】
６７．前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、上記の実施例１ないし２７又は２９ないし５３のうちいずれか１つに記載の多層映像システム。
【０１３４】
６８．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する符号化器。
【０１３５】
６９．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化する装置。
【０１３６】
７０．上記の実施例５４、５６、５８、６０、６１、６３、６５又は６６のうち１つ以上に記載の方法に従って映像信号を符号化するシステム。
【０１３７】
７１．コンピュータに対して上記の実施例５４ないし６８のうち１つ以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
【０１３８】
７２．映像信号を符号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
【０１３９】
７３．映像信号を復号化するための上記の実施例５５、５６、５７、５９、６０、６２、６４、６５又は６６のうち１つ以上に記載の方法の使用。
【０１４０】
前述の例は、どのようにフレームコンパチブル3D配信のための適応補間フィルタの実施例を作って使用するかについて、当業者に完全な開示及び説明を与えるために提供されており、発明者がこの開示として考えるものの範囲を限定することを意図しない。この開示を実施する前述のモードの変更は、映像技術の当業者により使用されてもよく、特許請求の範囲内にあることを意図する。明細書に記載の全ての特許及び刊行物は、この開示が関係する当業者のレベルを示し得る。この開示で引用された全ての参考文献は、各参考文献の全てが個々に援用されるように、同じ程度まで援用する。
【０１４１】
この開示は特定の方法又はシステムに限定されないことがわかる。特定の方法又はシステムは、当然に変更されてもよい。ここで用いられる用語は、特定の実施例を説明するためのもののみであり、限定を意図しないことがわかる。この明細書及び特許請求の範囲で用いられる単数形は、明確に別のものとして示さない限り、複数の指示対象を含む。“複数”という用語は、明確に別のものとして示されない限り、２つ以上の指示対象を含む。特に言及しない限り、ここで用いられる全ての技術及び科学用語は、この開示が関係する当業者により一般的に理解されるものと同じ意味を有する。
【０１４２】
この開示の複数の実施例について説明した。それにも拘らず、この開示の要旨及び範囲から逸脱することなく、様々な変更が行われてもよいことがわかる。従って、他の実施例も、特許請求の範囲内にある。
【特許請求の範囲】
【請求項１】
基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと
を有する多層映像符号化システム。
【請求項２】
基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールと
を有する多層映像システム。
【請求項３】
前記符号化器処理モジュールは、前記基本レイヤ映像の出力をフィルタリングし、前記拡張レイヤ映像信号を推定する適応フィルタを有する、請求項１又は２に記載の多層映像システム。
【請求項４】
前記適応フィルタの係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、請求項３に記載の多層映像システム。
【請求項５】
前記適応フィルタの係数は、前記拡張レイヤ映像信号と推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、請求項３に記載の多層映像システム。
【請求項６】
入力映像信号の区画に対応するフィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、請求項３に記載の多層映像システム。
【請求項７】
前記符号化器処理モジュールは、適応フィルタと固定フィルタとを有する、請求項１又は２に記載の多層映像システム。
【請求項８】
前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、請求項７に記載の多層映像システム。
【請求項９】
前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、請求項３に記載の多層映像システム。
【請求項１０】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、請求項１又は２に記載の多層映像システム。
【請求項１１】
適応フィルタを更に有し、
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、請求項１０に記載の多層映像システム。
【請求項１２】
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、請求項１０に記載の多層映像システム。
【請求項１３】
前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、請求項１０に記載の多層映像システム。
【請求項１４】
基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと
を有する多層映像符号化システム。
【請求項１５】
基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像復号化システム。
【請求項１６】
基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前記前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像システム。
【請求項１７】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項１８】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項１９】
前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項２０】
前記基本レイヤ映像信号は、処理された基本レイヤ映像信号を形成するように処理され、
前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、請求項４ないし１９のうちいずれか１項に記載の多層映像システム。
【請求項２１】
前記処理された基本レイヤ映像信号は、前記基本レイヤ映像信号の動き予測である、請求項２０に記載の多層映像システム。
【請求項２２】
前記動き予測は、グローバル及び／又はローカルに実行される、請求項２１に記載の多層映像システム。
【請求項２３】
得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行される、請求項２１に記載の多層映像システム。
【請求項２４】
前記拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の時間予測器を更に有する、請求項４に記載の多層映像システム。
【請求項２５】
前記拡張レイヤの推定は、映像ブロックに基づき、或るブロックはRPU予測器に基づいて予測され、或るブロックは時間予測器に基づいて予測され、或るブロックはこれらの組み合わせに基づいて予測される、請求項２４に記載の多層映像システム。
【請求項２６】
繰り返しの拡張レイヤの符号化が実行され、
前記適応フィルタは、少なくとも部分的に、時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から除外することにより計算され、
計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、請求項２５に記載の多層映像システム。
【請求項２７】
時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行される、請求項２５に記載の多層映像システム。
【請求項２８】
適応フィルタリングが前記基本レイヤの映像に適用され、
対応する適応フィルタの係数がシグナリングされる、請求項３ないし２７のうちいずれか１項に記載の多層映像システム。
【請求項２９】
前記基本レイヤの映像フィルタリングは、RPU処理ループの外側又は内側に適用される、請求項２８に記載の多層映像システム。
【請求項３０】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３１】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３２】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３３】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ映像復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３４】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３５】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３６】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３７】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する多層映像方法。
【請求項３８】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３９】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項４０】
前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、請求項３６ないし３９のうちいずれか１項に記載の多層映像方法。
【請求項４１】
前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、請求項１ないし１４又は１６ないし２９のうちいずれか１項に記載の多層映像システム。
【請求項４２】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化する符号化器。
【請求項４３】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化する装置。
【請求項４４】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化するシステム。
【請求項４５】
コンピュータに対して請求項３０ないし４２のうち１項以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
【請求項４６】
映像信号を符号化するための請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法の使用。
【請求項４７】
映像信号を復号化するための請求項３１、３２、３３、３５、３７、３９又は４０のうち１項以上に記載の方法の使用。
【請求項１】
基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと
を有する多層映像符号化システム。
【請求項２】
基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力をフィルタリングし、処理された符号化器の出力を形成して、前記処理された符号化器の出力を拡張レイヤの推定として前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成し、前記拡張レイヤを再構成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールと
を有する多層映像システム。
【請求項３】
前記符号化器処理モジュールは、前記基本レイヤ映像の出力をフィルタリングし、前記拡張レイヤ映像信号を推定する適応フィルタを有する、請求項１又は２に記載の多層映像システム。
【請求項４】
前記適応フィルタの係数は、前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器に入力される入力映像信号の統計に基づいて導かれる、請求項３に記載の多層映像システム。
【請求項５】
前記適応フィルタの係数は、前記拡張レイヤ映像信号と推定された拡張レイヤ映像信号との間の歪み尺度に基づいて導かれる、請求項３に記載の多層映像システム。
【請求項６】
入力映像信号の区画に対応するフィルタ係数は、前記区画の周辺区画について導かれたフィルタを使用して予測される、請求項３に記載の多層映像システム。
【請求項７】
前記符号化器処理モジュールは、適応フィルタと固定フィルタとを有する、請求項１又は２に記載の多層映像システム。
【請求項８】
前記符号化器処理モジュールは、符号化基準に基づいて、前記適応フィルタと前記固定フィルタとの中から最も性能の良いフィルタを選択する、請求項７に記載の多層映像システム。
【請求項９】
前記符号化器処理モジュールは、１次元適応フィルタ、２次元適応フィルタ、異なるタップ長を有する適応フィルタ及び異なる係数の対称性を有する適応フィルタのうち１つ以上を有する、請求項３に記載の多層映像システム。
【請求項１０】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信する、請求項１又は２に記載の多層映像システム。
【請求項１１】
適応フィルタを更に有し、
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューのそれぞれについて、並びに前記第１のビュー及び前記第２のビューの各色成分について別々に導かれる、請求項１０に記載の多層映像システム。
【請求項１２】
前記適応フィルタの係数は、前記第１のビュー及び前記第２のビューの双方について、及び／又は前記第１のビュー及び前記第２のビューの色成分の全て又は一部について併せて導かれる、請求項１０に記載の多層映像システム。
【請求項１３】
前記第１のビュー及び前記第２のビューのそれぞれ又は双方の２つのクロマ成分について同じフィルタが使用される、請求項１０に記載の多層映像システム。
【請求項１４】
基本レイヤ映像符号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと
を有する多層映像符号化システム。
【請求項１５】
基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像復号化システム。
【請求項１６】
基本レイヤ映像符号化器及び基本レイヤ映像復号化器を有する基本レイヤと、
前記基本レイヤに関連し、拡張レイヤ映像符号化器及び拡張レイヤ映像復号化器を有する少なくとも１つの拡張レイヤと、
前記基本レイヤ映像符号化器の出力を処理し、処理された符号化器の出力を形成して、前記処理された符号化器の出力を前記拡張レイヤ映像符号化器に入力する符号化器処理モジュールであり、基本レイヤ映像信号に基づいて拡張レイヤ映像信号を推定する適応フィルタを有する符号化器処理モジュールと、
前記前記基本レイヤ映像復号化器の出力を処理し、処理された復号化器の出力を形成して、前記処理された復号化器の出力を前記拡張レイヤ映像復号化器に入力する復号化器処理モジュールであり、前記基本レイヤ映像信号に基づいて前記拡張レイヤ映像信号を再構成する適応フィルタを有する復号化器処理モジュールと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の符号化に使用される１つ以上の符号化フィルタバッファと、
前の信号について導かれた適応フィルタが格納されて将来の映像信号の復号化に使用される１つ以上の復号化フィルタバッファと
を有する多層映像システム。
【請求項１７】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、第１のビュー及び第２のビューを示す２つの入力を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記第１のビュー又は前記第２のビューのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項１８】
前記基本レイヤ映像符号化器及び前記拡張レイヤ映像符号化器のそれぞれは、１つ以上の色成分を示す映像信号を受信し、前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記１つ以上の色成分のそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項１９】
前記１つ以上の符号化フィルタバッファ及び前記１つ以上の復号化フィルタバッファは、前記基本レイヤ及び前記少なくとも１つの拡張レイヤのそれぞれで別々に又は併せて維持管理される、請求項１６に記載の多層映像システム。
【請求項２０】
前記基本レイヤ映像信号は、処理された基本レイヤ映像信号を形成するように処理され、
前記適応フィルタは、前記処理された基本レイヤ映像信号に基づいて導かれる、請求項４ないし１９のうちいずれか１項に記載の多層映像システム。
【請求項２１】
前記処理された基本レイヤ映像信号は、前記基本レイヤ映像信号の動き予測である、請求項２０に記載の多層映像システム。
【請求項２２】
前記動き予測は、グローバル及び／又はローカルに実行される、請求項２１に記載の多層映像システム。
【請求項２３】
得られたフィルタが変化しないまで、品質基準が満たされるまで、特定の数の繰り返しが完了するまで、又はこれらの組み合わせで、適応フィルタリングと動き予測との組み合わせが繰り返し実行される、請求項２１に記載の多層映像システム。
【請求項２４】
前記拡張レイヤは、前に符号化された拡張レイヤの映像に基づく現在の拡張レイヤの映像の時間予測器を更に有する、請求項４に記載の多層映像システム。
【請求項２５】
前記拡張レイヤの推定は、映像ブロックに基づき、或るブロックはRPU予測器に基づいて予測され、或るブロックは時間予測器に基づいて予測され、或るブロックはこれらの組み合わせに基づいて予測される、請求項２４に記載の多層映像システム。
【請求項２６】
繰り返しの拡張レイヤの符号化が実行され、
前記適応フィルタは、少なくとも部分的に、時間予測器に基づいて予測された拡張レイヤのブロック及び対応する基本レイヤのブロックを計算から除外することにより計算され、
計算された適応フィルタは、再び前記拡張レイヤを符号化するために使用され、
拡張レイヤの符号化は、実現可能な符号化利得が所定の閾値より小さくなるまで、又は特定の数の繰り返しが実行されるまで、再び繰り返される、請求項２５に記載の多層映像システム。
【請求項２７】
時間予測器を使用して予測される可能性のある拡張レイヤの映像ブロックを識別するために、事前分析が実行される、請求項２５に記載の多層映像システム。
【請求項２８】
適応フィルタリングが前記基本レイヤの映像に適用され、
対応する適応フィルタの係数がシグナリングされる、請求項３ないし２７のうちいずれか１項に記載の多層映像システム。
【請求項２９】
前記基本レイヤの映像フィルタリングは、RPU処理ループの外側又は内側に適用される、請求項２８に記載の多層映像システム。
【請求項３０】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３１】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３２】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３３】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号で動き予測を実行し、予測された基本レイヤ映像信号を形成し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記予測された基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
符号化基準を定め、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ映像復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされた最も性能の良いフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３４】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３５】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
前記基本レイヤ映像信号をフィルタリングし、固定フィルタを使用して前記拡張レイヤ映像信号を推定し、
拡張レイヤ映像信号の推定の品質を評価する符号化基準を定め、
前記符号化基準が固定フィルタリングにより満たされる場合、
前記固定フィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記固定フィルタと前記処理された基本レイヤ映像信号とを採用し、
他の場合、
前記基本レイヤ映像信号を適応フィルタリングし、前記拡張レイヤ映像信号を推定し、
前記符号化基準に基づいて、適応フィルタリング及び固定フィルタリングの双方について拡張レイヤ映像信号の推定の品質を定め、
前記定められた推定の品質に基づいて最も性能の良いフィルタを選択し、
前記最も性能の良いフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記最も性能の良いフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項３６】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の前記画像の現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３７】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択されたフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、基本レイヤ復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化し、復号化された第２のビューを形成することを有する多層映像方法。
【請求項３８】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用することを有する多層映像符号化方法。
【請求項３９】
基本レイヤ映像信号を基本レイヤ映像符号化し、
前記基本レイヤ映像信号を処理し、
拡張レイヤ映像信号を拡張レイヤ映像符号化し、
１つ以上の画像特性基準を定め、
拡張レイヤ映像の画像の現在の領域と同じ１つ以上の画像特性基準を満たす拡張レイヤ映像の画像の現在の領域の複数の周辺領域を識別し、
１つ以上のフィルタ特性基準を定め、
一式のフィルタから、同じ１つ以上の画像特性基準を満たす前記複数の周辺領域をフィルタリングするために採用されたフィルタと同じ１つ以上のフィルタ特性基準を満たす複数のフィルタを、前記拡張レイヤ映像の画像の前記現在の領域について選択し、
前記選択された複数のフィルタをシグナリングし、
前記拡張レイヤ映像符号化のために前記選択されたフィルタと前記処理された基本レイヤ映像信号とを採用し、
前記基本レイヤ映像信号を基本レイヤ映像復号化し、復号化された映像信号を形成し、
前記基本レイヤ復号化された映像信号を処理し、
拡張レイヤ映像復号化のために前記処理された基本レイヤ復号化された映像信号と前記シグナリングされたフィルタとを採用し、
前記拡張レイヤ映像信号を拡張レイヤ映像復号化することを有する多層映像方法。
【請求項４０】
前記周辺領域は、時間的周辺、空間的周辺又は時間的及び空間的周辺である、請求項３６ないし３９のうちいずれか１項に記載の多層映像方法。
【請求項４１】
前記基本レイヤ及び前記少なくとも１つの拡張レイヤは、フレームコンパチブル3D映像信号、2Dコンパチブル3D映像信号又は2Dスケーラブル映像信号を受信する、請求項１ないし１４又は１６ないし２９のうちいずれか１項に記載の多層映像システム。
【請求項４２】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化する符号化器。
【請求項４３】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化する装置。
【請求項４４】
請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法に従って映像信号を符号化するシステム。
【請求項４５】
コンピュータに対して請求項３０ないし４２のうち１項以上に記載の方法を実行させる一式の命令を含むコンピュータ可読媒体。
【請求項４６】
映像信号を符号化するための請求項３０、３２、３４、３６、３８又は４０のうち１項以上に記載の方法の使用。
【請求項４７】
映像信号を復号化するための請求項３１、３２、３３、３５、３７、３９又は４０のうち１項以上に記載の方法の使用。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１２−５２１７３５（Ｐ２０１２−５２１７３５Ａ）
【公表日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１２−５０２３２７（Ｐ２０１２−５０２３２７）
【出願日】平成２２年４月２０日（２０１０．４．２０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３１７０１
【国際公開番号】ＷＯ２０１０／１２３８６２
【国際公開日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５０７２３６２９２）ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Ｆターム（参考）】
【公表日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２２年４月２０日（２０１０．４．２０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０３１７０１
【国際公開番号】ＷＯ２０１０／１２３８６２
【国際公開日】平成２２年１０月２８日（２０１０．１０．２８）
【出願人】（５０７２３６２９２）ドルビー ラボラトリーズ ライセンシング コーポレイション (82)
【Ｆターム（参考）】
[ Back to top ]