ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置
ビデオ符号化および復号においてインプリシットなブロック分割を行う方法および装置が提供される。装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対するブロック分割処理を使用することによって符号化する符号化器（１００）を備える。符号化器（１００）は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願とのクロスリファレンス
本出願は、２００８年２月５日付で出願された米国仮出願第６１／０２６,２７５号（代理人整理番号ＰＵ０８００１２）の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。
【０００２】
本発明には、一般的には、ビデオ符号化およびビデオ復号に関し、より具体的には、ビデオ符号化および復号におけるインプリシットな（ｉｍｐｌｉｃｉｔ）ブロック分割のための方法および装置に関する。
【背景技術】
【０００３】
マクロブロック内の相異なる領域のために相異なる予測を提供することにより、より正確な動き補償を提供する多くの手法が提案されている。例として、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＥＰＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４） Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と呼ぶ）において使用されている技術や階層的四分木（ＱＴ：ｑｕａｄｔｒｅｅ）手法が挙げられる。
【０００４】
これらの手法においては、マクロブロックがより小さなブロックに分割され、各ブロックに最良に一致するものを見つけるためのサーチが行われる。マクロブロック内のブロックの数が増加すると、オリジナルのマクロブロックと一致するマクロブロックとの間の歪み（ｄｉｓｔｏｒｔｉｏｎ）が減少する一方で、オーバーヘッドが増加する。従って、最小のレート歪みポイントが存在し、最良のブロック・モードが、通常、ラグランジュ・ツール（Ｌａｎｇｒａｎｇｉａｎ ｔｏｏｌ）によって決定される。
【０００５】
四分木手法において方形または矩形のブロック形状を使用して一致させる能力を向上させるために、ジオメトリーに基づく手法（ＧＥＯ）が提案されている。ジオメトリーに基づく手法においては、ブロックが、スロープによって描かれるラインおよび変換パラメータにより、ウエッジと呼ばれる２つのより小さなブロックに分割される。最良のパラメータおよび一致するウエッジは、一緒にサーチされる。ジオメトリーに基づく手法は、四分木法手法よりも良好にオブジェクトの境界を捉えるが、このジオメトリーに基づく手法は、依然として、直線の分割またはパーティションの制約を受ける。
【０００６】
遮蔽（ｏｃｃｌｕｓｉｏｎ）の問題を解決するために、オブジェクトに基づく動き分割方法が提案されている。オブジェクトに基づく動き分割方法に従えば、ブロックにおける相異なる動きを捉えるために、ブロック分割の後に隣接ブロックからの動きベクトルがコピーされる。分割情報を送信することを回避するために、時点（ｔ−１）および時点（ｔ−２）において前に符号化されたフレームが使用されて時点（ｔ）での現在のフレームのための分割を推定する。
【０００７】
動き補償された予測符号化（ＭＣＰＣ： ｍｏｔｉｏｎ―ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ）は、フレーム間相関を利用するのに最も有効であることが判明している。動き補償された予測符号化スキームにおいては、オリジナルの入力フレームと復号されたフレームからの予測と間の差分が符号化される。この差分フレームは、通常、予測エラー・フレームとして知られている。
【０００８】
予測値を利用する目的は、予測エラー・フレームのエネルギーを低減することにより、変換後の予測エラー・フレームがより低いエントロピーを有するようにし、低ビット・レートで符号化できるようにすることである。ビデオ圧縮における主要な設計チャレンジの１つは、どのように予測の質を高めるかであり、換言すると、どのように現在の信号に可能な限り近い予測子を得るかである。
【０００９】
現在のブロックに基づく動き補償、または、ディスパリティ補償においては、オリジナルのブロック・コンテキストは、どのような形状をとる場合もあるため、固定サイズの矩形ブロックを用いると、良好な予測子を見つける能力が制限されてしまう。ブロックに基づくサーチ手法は、ブロック内の支配的な部分との一致を見つけるものであり、遮蔽されたオブジェクトは、良好には予測されない。予測の精度を考慮すると、最適な方法は、オリジナルのブロックを複数の異なるオブジェクトに分割し、セグメント毎に一致するものをサーチすることである。しかしながら、これには、符号化器が分割情報を復号器に送信することが必要となり、この余分なオーバーヘッドは、拡張された予測子による利点を上回ってしまうものである。
【発明の概要】
【００１０】
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置によって対処される。
【００１１】
本願の原理の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化器を備える。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
【００１２】
本願の原理の別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化ステップを含む。符号化ステップは、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信するステップを含む。
【００１３】
本発明のさらに別の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号器を備える。この復号器は、インプリシットにブロック分割情報を決定する。
【００１４】
本発明のさらに別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号ステップを含む。復号ステップは、インプリシットにブロック分割情報を決定するステップを含む。
【００１５】
本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
【００１６】
本願の原理は、以下の例示的な図面に従って、良好に理解されるであろう。
【図面の簡単な説明】
【００１７】
【図１】本願の原理に係る実施の形態に従った、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な符号化器のブロック図である。
【図２】本願の原理に係る実施の形態に従った、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な復号器のブロック図である。
【図３】本願の原理が適用されるピクチャ分割のための一次元ｋ平均（ｋ−ｍｅａｎｓ）法によるクラスタリングに関して行われる後処理の例を示す図である。
【図４】本願の原理の実施の形態に従った、画像ブロックのための、予測子のペア、さらに、関連する重みインデックスのサーチを決定する例示的な方法のフロー図である。
【図５】本願の原理の実施の形態に従った、画像ブロックのための、インプリシットなブロック分割（ＩＢＳ）予測子を算出する例示的な方法のフロー図である。
【発明を実施するための形態】
【００１８】
本願の原理は、ビデオ符号化および復号におけるインプリシットな（ｉｍｐｌｉｃｉｔ）ブロック分割（セグメント化）のための方法および装置に関する。
【００１９】
本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。
【００２０】
本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
【００２１】
また、本明細書における本願の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
【００２２】
従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
【００２３】
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ： ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ： ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性の記憶装置を暗黙的に含むことがある。
【００２４】
また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。
【００２５】
請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。
【００２６】
明細書において、本願の原理の「一実施の形態」、「実施の形態」、またはこの類の記載が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、またはこの類の記載は、必ずしも、全てが同一の実施の形態について言及するものではない。
【００２７】
用語「／」、「および／または」、さらに、「〜のうちの少なくとも１つ」のうちのいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、さらに、「ＡおよびＢのうちの少なくとも１つ」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含すると意図される。別の例として、「Ａ、Ｂ、および／またはＣ」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、１番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみの選択、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含すると意図される。列挙された多くの項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
【００２８】
さらに、本願の原理の１つ以上の実施の形態を本明細書中でＭＰＥＧ−４ ＡＶＣ規格のマルチビュー・ビデオ符号化に関連させて説明しているが、本願の原理は、この規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、ＭＰＥＧ−４規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。例えば、本明細書中に提供された本願の原理の開示内容を考慮して、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、スケーラブルなビデオ符号化（ＳＶＣ： ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）およびマルチビュー・ビデオ符号化（ＭＶＣ：ｍｕｌｔｉ−ｖｉｅｗ ｃｏｄｉｎｇ）環境に本願の原理を容易に適用することができる。マルチビュー・ビデオ符号化（ＭＶＣ）は、マルチビュー・シーケンスの符号化のための圧縮フレームワークである。マルチビュー・ビデオ符号化（ＭＶＣ）シーケンスは、異なるビュー・ポイント（視点）から同じシーンを捉えた２つ以上のビデオ・シーケンスのセット（集合）である。スケーラブルなビデオ符号化（ＳＶＣ）は、基本レイヤーおよび１つ以上の拡張レイヤーを有するビットストリームにビデオ・シーケンスを符号化することを指す。
【００２９】
さらに、本明細書において使用する「クロスビュー」および「インタービュー」は、同じ意味で使用され、双方とも、現在のビューではないビューに属するピクチャを指す。
【００３０】
さらに、本明細書において使用する記載「ブロック分割情報」は、現在のピクチャの一つの部分を符号化および／または復号するために使用される少なくとも１つ以上の参照ピクチャ、または、その部分の分割を記述した情報を指す。一実施の形態においては、このようなブロック分割情報は、少なくとも２つの予測子の間の差分に適用される分割に関する。一実施の形態においては、このようなブロック分割情報は、特定の参照ピクチャのどの画素がブロック分割処理に従って分割された特定の参照ピクチャのどのセグメントに属するかを示す情報に関する。なお、このようなブロック分割情報は、対応する復号器に対してエクスプリシットには（ｅｘｐｌｉｃｉｔｌｙ）信号送信されない。むしろ、このようなブロック分割情報は、限定するものではないが、ハイレベル・シンタックス要素を含む１つ以上のシンタックス要素を用いて、対応する復号器に対してインプリシットに信号送信されることがある。
【００３１】
さらに、本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）・レベル、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）・レベル、さらに、ネットワーク抽象化層（ＮＡＬ：ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。
【００３２】
上述したように、本願の原理は、ビデオ符号化および復号においてインプリシットなブロック分割を行うための方法および装置に関する。
【００３３】
図１を参照すると、インプリシットなブロック分割（ＩＢＳ： ｉｍｐｌｉｃｉｔ ｂｌｏｃｋ ｓｅｇｍｅｎｔａｔｉｏｎ）ブロック・モードを有する例示的な符号化器が概ね参照符号１００によって示されている。
【００３４】
結合器１０５の出力部は、変換器１１０の入力部と信号通信するように結合されている。変換器１１０の出力部は、量子化器１１５の入力部と信号通信するように結合されている。量子化器１１５の出力部は、エントロピー符号化器１２０の第１の入力部および逆量子化器１２５の入力部と信号通信するように結合されている。逆量子化器１２５の出力部は、逆変換器１３０の入力部と信号通信するように結合されている。逆変換器１３０の出力部は、結合器１３２の第１の非反転入力部と信号通信するように結合されている。デブロッキング・フィルタ１３５の出力部は、復号済参照ピクチャ・バッファ１４０の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ１４０の出力部は、分割デバイス１４５の入力部およびスイッチ１６０の第２の入力部と信号通信するように結合されている。
【００３５】
分割デバイス１４５の出力部は、重みインデックス決定デバイス１５０の入力部と信号通信するように結合されている。重みインデックス決定デバイス１５０の第１の出力部は、予測子結合器１５５の入力部と信号通信するように結合されている。予測子結合器１５５の第１の出力部は、スイッチ１６０の第１の入力部と信号通信するように結合されている。スイッチ１６０の出力部は、結合器１０５の反転入力部と信号通信するように結合されている。予測子結合器１５５の第２の出力部は、結合器１３２の第２の非反転入力部と信号通信するように結合されている。結合器１３２の出力部は、デブロッキング・フィルタ１３５の入力部と信号通信するように結合されている。
【００３６】
重みインデックス決定デバイス１５０の第２の出力部は、スイッチ１６５の第１の入力部と信号通信するように結合されている。スイッチ１６５の第２の入力部は、未結合の状態である。スイッチ１６５の出力部は、エントロピー符号化器１２０の第２の入力部と信号通信するように結合されている。
【００３７】
結合器１０５の非反転入力部は、入力されたビデオを受信するため、符号化器１００の入力部として利用可能である。エントロピー符号化器１２０の出力部は、ビットストリームを出力するため、符号化器１００の出力部として利用可能である。
【００３８】
重みインデックス決定デバイス１５０は、（分割デバイス１４５によって決定された）各セグメントの重みインデックスを見つける。予測子結合器１５５は、各セグメントの予測子を結合する。
【００３９】
図１において、スイッチ１６０の第１の入力部およびスイッチ１６５の第１の入力部の双方が使用されると、ＩＢＳモードが有効となる。
【００４０】
図２を参照すると、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な復号器が概ね参照符号２００によって示されている。
【００４１】
エントロピー復号器２０５の出力部は、逆量子化器２１０の入力部、復号済参照ピクチャ・バッファ２４０の第１の入力部、さらに、スイッチ２４５の第１の入力部と信号通信可能に結合されている。スイッチ２４５の第２の入力部は、未結合の状態である。逆量子化器２１０の出力部は、逆変換器２１５の入力部と信号通信するように結合されている。逆変換器２１５の出力部は、結合器２２０の第１の非反転入力部と信号通信するように結合されている。結合器２２０の出力部は、デブロッキング・フィルタ２２５の入力部と信号通信するように結合されている。デブロッキング・フィルタ２２５の出力部は、復号済参照ピクチャ・バッファ２４０の第２の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ２４０の出力部は、分割デバイス２３５の入力部とスイッチ２５０の第２の入力部と信号通信するように結合されている。分割デバイス２３５の出力部は、予測子結合器２３０の第１の入力部と信号通信するように結合されている。予測子結合器２３０の出力部は、スイッチ２５０の第１の入力部と信号通信するように結合されている。スイッチ２５０の出力部は、結合器２２０の第２の非反転入力部と信号通信するように結合されている。スイッチ２４５の出力部は、予測子結合器２３０の第２の入力部と信号通信するように結合されている。
【００４２】
エントロピー復号器２０５の入力部は、ビットストリームを受信するために、復号器２００の入力部として利用可能である。デブロッキング・フィルタ２２５の出力部は、ピクチャのシーケンスを出力するために、復号器２００の出力部として利用可能である。
【００４３】
図２において、スイッチ２４５の第１の入力部およびスイッチ２５０の第１の入力部が使用されると、ＩＢＳモードが有効となる。
【００４４】
よって、本願の原理に従えば、オリジナルのブロックが分割されないビデオ符号化および復号の方法および装置が提供される。この代わりに、復号器の側で利用可能な参照ブロックに対して分割を行い、分割を記述する余分なオーバーヘッドが復号器に送信される必要性を取り除く。本願の原理に従って、候補となる予測子を組み合わせることにより、予測子を推定する。これにより、既存のビデオ符号化規格において予測信号が形成される方法が拡張される。本願の原理は、エクスプリシットな信号の送信を行わないブロック分割を使用し、余分なオーバーヘッド無しに、ローカル信号特性に適応できるようにする点において、既存の手法とは異なる。一実施の形態においては、我々は、ＭＰＥＧ−４ ＡＶＣ規格環境において、インプリシットな分割を適用する。しかしながら、上述したように、本願の原理は、ＭＰＥＧ−４ ＡＶＣ規格のみに限定されるものではない。
【００４５】
＜インプリシットなブロック分割（ＩＢＳ）のための符号化アルゴリズム＞
例示的な目的のため、所与のマクロブロックには、２つの予測子ｐ０、ｐ１（例えば、隣接フレームからの２つの１６×１６のブロック）が利用可能であるものとし、ｐ０、ｐ１をそれぞれ基本予測子と呼ぶ。２つの予測子ｐ０、ｐ１は、符号化器によって選択されており、これらの２つの予測子ｐ０、ｐ１の位置が復号器に信号送信される。予測のための最適な分割は、オリジナルのマクロブロックにおける各画素が最良の近似を提供する予測子ｐ０またはｐ１に割り当てられるように行われる。しかしながら、これは、その決定がオリジナルのブロック自体に依存しているため、インプリシットに（副情報を送信することなく）行うことはできない。予測子間の差分に依存する予期される利得についての観察に基づいて、我々は、各予測子の差分（ｐｄ＝ｐ０−ｐ１）のブロックに対して分割を適用する。予測子の差分のノイズ特性のため、エッジに基づく分割方法は、１６×１６のマクロブロックで単純な境界を効率的に検出するものではない。
【００４６】
従来技術の手法、以下、「ｋ平均法（ｋ−ｍｅａｎｓ）によるクラスタリングの従来技術手法と呼ぶ」においては、一次元（１−Ｄ）ｋ平均法によるクラスタリングが基本的な分割アルゴリズムとして使用される。ｋ平均法によるクラスタリングの従来技術手法に従えば、Ｎ０重心が、ｐｄの最大値と最小値の間の均一な距離で初期化される。最大ラン（すなわち、繰り返し回数）は、２０に設定される。一次元ｋ平均法によるクラスタリングにおいては、空間連結性（ｓｐａｔｉａｌ ｃｏｎｎｅｃｔｉｖｉｔｙ）は考慮されないため、ｋ平均法によるクラスタリングの後、同一のセグメントにおいて、分断された画素が存在する。空間情報を考慮して、２ステップの後処理が適用される。図３を参照すると、ピクチャ分割のための一次元ｋ平均法によるクラスタリングに関して行われる後処理の例が概ね参照符号３００によって示されている。２ステップの後処理における最初のステップとして、同一のセグメント３１０に割り当てられる分断された画素３０５は、結合された成分のラベル付けを用いて、複数の異なるセグメントに分類される。従って、図３の左端のブロック３０１に関し、ブロック３０１の右上隅は、真ん中のブロック３０２におけるセグメント３２０となる。第２に、ノイズを含むセグメントを回避するために、セグメント３３０の画素の数がＮｐｉｘよりも小さい場合、セグメント３３０は、現在のセグメント３３０とのセグメント平均差分が最小である隣接セグメント（たとえば、セグメント３１０およびセグメント３２０のいずれか）と結合される。なお、セグメントの数は、基本予測子と拡張予測子との間のディスパリティに依存する。実験的には、ｋ平均法によるクラスタリングの従来技術手法においては、Ｎ０およびＮｐｉｘは、それぞれ、２および１０に設定される。
【００４７】
各セグメントの最適な重みは、差分の二乗和を最小にすることによって算出される。しかしながら、符号化されるブロックからの情報を用いて最適な重みが算出された後、選択された値を信号送信しなければならない。１６×１６のブロックでは、このような信号送信のオーバーヘッドは、残差エラーの全体としての減少を考慮すれば、受け入れられない場合がある。オーバーヘッドを制限するために、一実施の形態においては、各重みは、予測のために使用する｛ｐ０、ｐ１、（ｐ０＋ｐ１）／２｝に対応する所定のセット（集合）Ｗ＝｛（１，０）、（０，１）、（１／２，１／２）｝からそれぞれ選択される。従って、３つの値｛０、１、２｝のみを有する重みインデックスが信号送信される。要するに、符号化されるべきブロックの予測は、各セグメントに使用されるべき２つの予測子ｐ０およびｐ１と重みを信号送信することによって達成される。分割情報自体は、復号された予測子と同様に、符号化器および復号器によって生成され、そのため、副情報が送信される必要はない。
【００４８】
＜他の符号化アルゴリズムおよびバリエーション＞
インプリシットなブロック分割のための上述した符号化アルゴリズムに加え、インプリシットなブロック分割の効率性を高めるために、以下に説明するもののうちの１つあるいはそれ以上を適用することもできる。
【００４９】
ａ．分割方法
ｉ）エッジに基づく分割方法を使用することができる。例えば、キャニー・エッジ（Ｃａｎｎｙ ｅｄｇｅ）検出器および／または、ソーベル・エッジ（Ｓｏｂｅｌ ｅｄｇｅ）検出器を分割のために使用することができ、分断されたエッジをハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）を使用して結合させることができる。
【００５０】
ｂ．分割対象
ｉ）基本レイヤー予測子を分割のために使用することができる。例えば、基本レイヤー予測子と拡張レイヤー予測子との間の予測子の差分に対して分割処理を適用する代わりに、インプリシットなブロック分割のために、利用可能な参照値からの基本レイヤー予測子のみを使用することができる。各参照値は、復号器の側でも利用可能であるため、分割情報は信号送信されない。
ｉｉ）深度マップを分割のために使用することができる。例えば、深度マップをマルチビュー・ビデオ・シーケンスにおいて利用可能である場合には、この深度マップを分割のために使用することができる。なぜならば、オブジェクト深度は正確であり、オブジェクト境界を推定するための鍵となるからである。分割をインプリシットに行うために、同一の深度マップを復号器の側で利用可能である。
【００５１】
ｃ．サーチ方法
ｉ）拡張予測子の候補の限られたセットを使用することができる。例えば、分割に関わるサーチの演算量を低減するために、基本レイヤー予測子の候補の限られたセットを使用することができる。演算量をさらに低減するために、フルサーチを行う代わりに、拡張レイヤーの候補の限られたセットを使用することができる。拡張レイヤー予測子の候補として、基本レイヤー予測子の候補の同じセットを使用することができる。
ｉｉ）基本レイヤー予測子と拡張レイヤー予測子の双方のために、フルサーチを行うことができる。例えば、基本レイヤーと拡張レイヤー予測子の双方がフルサーチ範囲でサーチされる場合には、最高の符号化効率を得ることができる。この手法により、インプリシットなブロック分割の符号化効率が最高となる。
【００５２】
ｄ．エラー・メトリック
分割境界は、ＭＰＥＧ−４ ＡＶＣ規格における４×４、または、８×８の離散コサイン変換（ＤＣＴ： ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）境界と一致しないため、残差のＤＣレベルが相異なるセグメントで異なる場合には、高周波数成分は、離散コサイン変換の後、増加する。差分絶対値和（ＳＡＤ）や差分二乗和（ＳＳＤ）では、ＡＣの増加を測定することができない。従って、ＡＣの増加量を測定するための異なるエラー・メトリックを使用してより良好に一致するものを見つけることができる。例えば、アダマール（Ｈａｄａｍａｒｄ）・エラー・メトリックを使用して重みインデックスを選択することができる。
【００５３】
ｅ．追加重みインデックス
最適な重みの信号送信が、１６×１６のマクロブロックの各セグメントにおいて得られる利得を上回ってしまうことがあるため、代わりに、所定の重みのセット（集合）Ｗが使用される。（１，０）および（０，１）の基本的なセットから拡張されるものをセットＷにおける重みとすることができる。各インデックスは、重みの発生頻度に基づいて割り当てられる。重みが頻繁に選択される場合には、小さなインデックスが割り当てられる。例えば、追加重み（３／４，１／４）（１／４，３／４）をセットＷに追加し、それぞれを、‘３’および‘４’にマッピングすることができる。２値算術符号化（ＢＡＣ：ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）または、可変長符号化（ＶＬＣ：ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）は、十分な符号化利得があるときにのみ、これらのインデックスが選択されるようにする。
【００５４】
＜インプリシットなブロック分割（ＩＢＳ）のための復号アルゴリズム＞
復号器において、符号化処理からの追加情報には、マクロブロックにおいて使用される予測子のタイプが含まれることがある。例えば、２つの予測子が使用される場合、即ち、基本レイヤー予測子および拡張レイヤー予測子が使用される場合、この情報は、最終的には、復号器に伝達される。さらに、このような追加情報には、各セグメントの重みインデックスが含まれることがある。
【００５５】
この情報を利用して、インプリシットなブロック分割（ＩＢＳ）のために、以下のアルゴリズムが適用される。
【００５６】
１．シンタックスを復号する
２．基本レイヤー予測子（ｐ０）および拡張レイヤー予測子（ｐ１）を取得する。２つの予測子より、予測子の差分が以下のように算出される。
ｐｄ＝ｐ０−ｐ１
３．基本レイヤー予測子ｐ０および拡張レイヤー予測子ｐ１のコンテキストに基づいて、予測子の差分ｐｄに対して、符号化器側で適用されたものと同じ分割方法を適用する。例えば、限定するものではないが、一次元（１−Ｄ）ｋ平均法によるクラスタリング、エッジに基づく分割などを含む分割処理を後処理と共に適用することができる。
４．各セグメントにつき、符号化器から送信された重みインデックスを使用して、各セグメントの重み付けされた予測子の和が算出される。
【００５７】
上述したアルゴリズムにおいては、拡張予測子の数は１つに限定されているが、本技術分野および関連する技術分野の当業者であれば、拡張予測子のために複数の予測子を使用できることが容易に理解できよう。さらに、符号化器および復号器によって重みインデックスが共有される場合、重みインデックスを任意の組み合わせで定義することができる。即ち、符号化器および復号器が同じ情報を共有する限り、重みマトリックスを定義することができる。従って、「任意の組み合わせ」は、Ｗ＝｛（１，０）、（０，１）、（１／２，１／２）、（１／３，２／３）、（１／６，５／６）｝など、「任意の有用な組み合わせ」を意味する。勿論、本願の原理の精神を逸脱することなく、他の組み合わせを使用することもできる。
【００５８】
＜ＭＰＥＧ−４ ＡＶＣ規格のためのインプリシットなブロック分割の実施＞
インプリシットなブロック分割（ＩＢＳ）は、どのようなビデオ符号化器および復号器においても実施することができる。一実施の形態においては、本願の原理は、ＭＰＥＧ−４ ＡＶＣ規格に関して実施される。現在のインター・ブロック・モードは、インター１６×１６モードとインター１６×８モードとの間にインター１６×１６＿ＩＢＳを挿入することによって拡張される。表１は、ＰスライスおよびＳＰスライスのためのマクロブロック・タイプの値０〜５を示している。
【表１】
【００５９】
サーチの演算量を低減するために、基本レイヤーの予測子ｐ０の候補には限られたセットを使用し、拡張レイヤー予測子ｐ１にはフルサーチを行う。基本予測子の最良の候補は、インター１６×１６、インター１６×８、インター８×１６、およびインター８×８のモードのモードによって最良に一致したものから収集される。さらに、オリジナルのマクロブロック・セグメントに最良に一致したものが基本レイヤー予測子の候補のセットに追加される。オリジナル・マクロブロック・セグメントに最良に一致したものは、インター１６×１６の動きサーチ・ステップを用いて見つけられる。
【００６０】
インター１６×１６＿ＩＢＳのための最良の予測子のペア（ｐ０、ｐ１）を選択するために、一実施の形態においては、３つの異なるエラー・メトリックが使用される。各基本レイヤー予測子の候補につき、サーチ範囲内で、最良の相補的な拡張レイヤー予測子がサーチされる。第１のエラー・メトリックは、差分絶対値和であり、これは、各セグメントの重みインデックスを決定するのに使用される。各セグメントの差分絶対値和は、セット（集合）Ｗにおける全ての重みについて算出され、最小の差分絶対値和を有する重みインデックスが選択される。第２に、所与の基本レイヤー予測子のための最良の拡張レイヤー予測子の選択において、簡略化されたレート歪み（Ｒ−Ｄ：ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）コスト、即ち、Ｊが以下のように規定される。
【数１】
ここで、Ｎは、ｐｄにおけるセグメントの数であり、Ｂは、Ｂ＝ｌｏｇ２｜Ｗ｜として規定されるセグメント毎の重みインデックスのビット数であり、ＭＶｃｏｓｔ（ｐ１）は、拡張レイヤー予測子ｐ１の動きベクトルのコストである。ＭＶｃｏｓｔ（）およびλは、ジョイント・モデル参照ソフトウエアにおける符号化方法に従っている。Ｍ個の基本レイヤー予測子の候補に対し、同じ数の一致する拡張レイヤー予測子が見つけられる。最後に、Ｍ個の基本レイヤー予測子および拡張レイヤー予測子のペアのレート歪みコスト（ＲＤ）が算出され、（例えば、レート歪みモード決定を使用して、）ＭＰＥＧ−４ ＡＶＣ規格における他の各ブロック・モードのレート歪みコストと比較される。インター１６×１６＿ＩＢＳにおける符号化された情報には、基本レイヤー予測子および拡張レイヤー予測子の参照インデックスおよび動きベクトル、さらに、各セグメントの重みインデックスが含まれる。重みインデックスは、例えば、レート歪みモード決定における可変長符号、さらに、ビットストリーム符号化における２値算術符号によって符号化される。勿論、本願の原理の精神を逸脱することなく、他の符号化技術を使用してもよい。
【００６１】
例示的なスライス・ヘッダ・シンタックスを表２に示す。
【表２】
【００６２】
例示的なマクロブロック予測シンタックスを表３に示す。
【表３】
【００６３】
表３に関し、ｅｘｔｒａｃｔＳｅｇｍｅｎｔ（）は、ｒｅｆ＿ｉｄｘｌ０、ｒｅｆ＿ｉｄｘｌ１、ｍｖｄ＿ｌ０、およびｍｖｄ＿ｌ１により予測子から信号送信された各セグメントを算出し、見つかった数のセグメントを返す関数である。
【００６４】
図４を参照すると、予測子のペアおよび関連する重みインデックス・サーチを決定する方法が概ね参照符号４００によって示されている。方法４００は、例えば、ビデオ符号化器において実施することができる。
【００６５】
方法４００は、制御をループ・リミット・ブロック４０６に受け渡す開始ブロック４０５を含む。ループ・リミット・ブロック４０６は、基本レイヤー予測子および拡張レイヤー予測子の最良のペア（ｐ０、ｐ１）のためのループを開始し、制御を機能ブロック４０８に受け渡す。機能ブロック４０８は、セグメントの初期数をＮ０に設定し、制御を機能ブロック４１０に受け渡す。機能ブロック４１０は、予測子の差分ｐｄを基本レイヤー予測子｛ｐ０｝４６６および拡張レイヤー予測子｛ｐ１｝４７７を使用してｐｄ＝ｐ０−ｐ１により算出し、制御を機能ブロック４１５に受け渡す。機能ブロック４１５は、一次元（１−Ｄ）ｋ平均法によるクラスタリングおよび後処理を予測子の差分ｐｄに適用し、制御を機能ブロック４２０に受け渡す。機能ブロック４２０は、各セグメントにおいて最良の重みインデックスを見つけ、制御を決定ブロック４２５に受け渡す。判定ブロック４２５は、現在のセグメントのレート歪み（Ｒ−Ｄ）のコストｊが最低であるかどうかを判定する。現在のセグメントのレート歪み（Ｒ−Ｄ）のコストｊが最低である場合には、制御が機能ブロック４３０に受け渡される。そうでない場合には、制御が判定ブロック４３５に受け渡される。
【００６６】
機能ブロック４３０は、所与の基本レイヤー予測子ｐ０について、重みインデックスおよび拡張レイヤー予測子ｐ１を更新し、制御を判定ブロック４３５に受け渡す。
【００６７】
判定ブロック４３５は、全ての拡張レイヤー予測子ｐ１がサーチされたかどうかを判定する。全ての拡張レイヤー予測子ｐ１がサーチされた場合には、制御が判定ブロック４４０に受け渡される。そうでない場合には、制御が機能ブロック４１０に戻され、拡張レイヤー予測子４７７のうち、次のもの｛ｐ１｝を使用して予測子の差分ｐｄを算出する。
【００６８】
判定ブロック４４０は、（ｐ０，ｐ１）のレート歪み（Ｒ−Ｄ）コストが最低であるかどうかを判定する。（ｐ０，ｐ１）のレート歪み（Ｒ−Ｄ）コストが最低である場合には、制御が機能ブロック４４５に受け渡される。そうでない場合には、制御が判定ブロック４５０に受け渡される。
【００６９】
機能ブロック４４５は、重みインデックスおよびペア（ｐ０，ｐ１）を更新し、制御を判定ブロック４５０に受け渡す。
【００７０】
判定ブロック４５０は、全ての基本レイヤー予測子ｐ０がサーチされたかどうかを判定する。全ての基本レイヤー予測子ｐ０がサーチされた場合には、制御がループ・リミット・ブロック４５５に受け渡される。そうでない場合には、制御が機能ブロック４１０に戻され、基本レイヤー予測子４６６のうち、次のもの｛ｐ０｝を使用して予測子の差分ｐｄを算出する。
【００７１】
機能ブロック４５５は、（ｐ０，ｐ１）の最良のペアのためのループを終了し、制御を機能ブロック４５８に受け渡す。機能ブロック４５８は、（ｐ０，ｐ１）の最良のペアを返し、制御を終了ブロック４９９に受け渡す。
【００７２】
図５を参照すると、画像ブロックのためのインプリシットなブロック分割（ＩＢＳ）予測子を算出する例示的な方法が概ね参照符号５００によって示されている。方法５００は、例えば、ビデオ復号器において実施することができる。
【００７３】
方法５００は、制御を機能ブロック５０８に受け渡す開始ブロック５０５を含む。機能ブロック５０８は、セグメントの初期数をＮ０に設定し、制御を機能ブロック５１０に受け渡す。機能ブロック５１０は、予測子の差分ｐｄを基本レイヤー予測子｛ｐ０｝５６６および拡張レイヤー予測子｛ｐ１｝５７７を使用してｐｄ＝ｐ０−ｐ１により算出し、制御を機能ブロック５１５に受け渡す。機能ブロック５１５は、一次元（１−Ｄ）ｋ平均法によるクラスタリングおよび後処理を予測子の差分ｐｄに適用し、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、重みインデックス５８８を使用して、各セグメントにおいて予測子の重み付けされた和を算出し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、各セグメントについて、予測子を組み合わせ、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、インプリシットなブロック分割（ＩＢＳ）予測子を返し、制御を終了ブロック５９９に受け渡す。
【００７４】
＜不一致補償ツールとの組み合わせ＞
ＭＰＥＧ−４ ＡＶＣ規格における４×４または８×８のブロック離散コサイン変換により、離散コサイン変換ブロック内にセグメント境界が存在するとき、異なる予測子による残差エラーは、ＡＣ成分を増加させやすい。クロスビュー符号化において照射の不一致が存在すると、これは、深刻である。本願の原理に従って提案されるインプリシットなブロック分割（ＩＢＳ）に照射補償ツールを組み合わせることにより、クロスビュー予測の符号化効率が向上するであろう。
【００７５】
本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対するブロック分割処理を使用することによって符号化する符号化器を備える装置である。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
【００７６】
別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための少なくとも２つの予測子を信号送信する、この装置である。
【００７７】
また、別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための重みインデックスを信号送信する、この装置である。
【００７８】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、この装置である。
【００７９】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、この装置である。
【００８０】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割の後に、符号化器は、少なくとも２つの予測子の画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、この装置である。
【００８１】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、各セグメントにつき、符号化器は、少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、上記部分のための最終的な予測子を算出する、この装置である。
【００８２】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、この装置である。
【００８３】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じ、または、類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つである、この装置である。ピクチャは、複数の異なる視点のうちの現在の視点を表す。少なくとも２つの予測子のうちの少なくとも一方は、複数の異なる視点のうちの現在の視点ではない、複数の異なる視点のうちの特定の視点に対応するインタービュー予測値である。少なくとも２つの予測子のうちの少なくとも他方は、複数の異なる視点のうちの現在の視点に対応する時間的な予測値である。
【００８４】
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
【００８５】
より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
【００８６】
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
【００８７】
添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるべきものと解釈するべきである。
【技術分野】
【０００１】
関連出願とのクロスリファレンス
本出願は、２００８年２月５日付で出願された米国仮出願第６１／０２６,２７５号（代理人整理番号ＰＵ０８００１２）の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。
【０００２】
本発明には、一般的には、ビデオ符号化およびビデオ復号に関し、より具体的には、ビデオ符号化および復号におけるインプリシットな（ｉｍｐｌｉｃｉｔ）ブロック分割のための方法および装置に関する。
【背景技術】
【０００３】
マクロブロック内の相異なる領域のために相異なる予測を提供することにより、より正確な動き補償を提供する多くの手法が提案されている。例として、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＥＰＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４） Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と呼ぶ）において使用されている技術や階層的四分木（ＱＴ：ｑｕａｄｔｒｅｅ）手法が挙げられる。
【０００４】
これらの手法においては、マクロブロックがより小さなブロックに分割され、各ブロックに最良に一致するものを見つけるためのサーチが行われる。マクロブロック内のブロックの数が増加すると、オリジナルのマクロブロックと一致するマクロブロックとの間の歪み（ｄｉｓｔｏｒｔｉｏｎ）が減少する一方で、オーバーヘッドが増加する。従って、最小のレート歪みポイントが存在し、最良のブロック・モードが、通常、ラグランジュ・ツール（Ｌａｎｇｒａｎｇｉａｎ ｔｏｏｌ）によって決定される。
【０００５】
四分木手法において方形または矩形のブロック形状を使用して一致させる能力を向上させるために、ジオメトリーに基づく手法（ＧＥＯ）が提案されている。ジオメトリーに基づく手法においては、ブロックが、スロープによって描かれるラインおよび変換パラメータにより、ウエッジと呼ばれる２つのより小さなブロックに分割される。最良のパラメータおよび一致するウエッジは、一緒にサーチされる。ジオメトリーに基づく手法は、四分木法手法よりも良好にオブジェクトの境界を捉えるが、このジオメトリーに基づく手法は、依然として、直線の分割またはパーティションの制約を受ける。
【０００６】
遮蔽（ｏｃｃｌｕｓｉｏｎ）の問題を解決するために、オブジェクトに基づく動き分割方法が提案されている。オブジェクトに基づく動き分割方法に従えば、ブロックにおける相異なる動きを捉えるために、ブロック分割の後に隣接ブロックからの動きベクトルがコピーされる。分割情報を送信することを回避するために、時点（ｔ−１）および時点（ｔ−２）において前に符号化されたフレームが使用されて時点（ｔ）での現在のフレームのための分割を推定する。
【０００７】
動き補償された予測符号化（ＭＣＰＣ： ｍｏｔｉｏｎ―ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇ）は、フレーム間相関を利用するのに最も有効であることが判明している。動き補償された予測符号化スキームにおいては、オリジナルの入力フレームと復号されたフレームからの予測と間の差分が符号化される。この差分フレームは、通常、予測エラー・フレームとして知られている。
【０００８】
予測値を利用する目的は、予測エラー・フレームのエネルギーを低減することにより、変換後の予測エラー・フレームがより低いエントロピーを有するようにし、低ビット・レートで符号化できるようにすることである。ビデオ圧縮における主要な設計チャレンジの１つは、どのように予測の質を高めるかであり、換言すると、どのように現在の信号に可能な限り近い予測子を得るかである。
【０００９】
現在のブロックに基づく動き補償、または、ディスパリティ補償においては、オリジナルのブロック・コンテキストは、どのような形状をとる場合もあるため、固定サイズの矩形ブロックを用いると、良好な予測子を見つける能力が制限されてしまう。ブロックに基づくサーチ手法は、ブロック内の支配的な部分との一致を見つけるものであり、遮蔽されたオブジェクトは、良好には予測されない。予測の精度を考慮すると、最適な方法は、オリジナルのブロックを複数の異なるオブジェクトに分割し、セグメント毎に一致するものをサーチすることである。しかしながら、これには、符号化器が分割情報を復号器に送信することが必要となり、この余分なオーバーヘッドは、拡張された予測子による利点を上回ってしまうものである。
【発明の概要】
【００１０】
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置によって対処される。
【００１１】
本願の原理の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化器を備える。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
【００１２】
本願の原理の別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって符号化する符号化ステップを含む。符号化ステップは、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信するステップを含む。
【００１３】
本発明のさらに別の態様によれば、装置が提供され、この装置は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号器を備える。この復号器は、インプリシットにブロック分割情報を決定する。
【００１４】
本発明のさらに別の態様によれば、方法が提供され、この方法は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号ステップを含む。復号ステップは、インプリシットにブロック分割情報を決定するステップを含む。
【００１５】
本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
【００１６】
本願の原理は、以下の例示的な図面に従って、良好に理解されるであろう。
【図面の簡単な説明】
【００１７】
【図１】本願の原理に係る実施の形態に従った、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な符号化器のブロック図である。
【図２】本願の原理に係る実施の形態に従った、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な復号器のブロック図である。
【図３】本願の原理が適用されるピクチャ分割のための一次元ｋ平均（ｋ−ｍｅａｎｓ）法によるクラスタリングに関して行われる後処理の例を示す図である。
【図４】本願の原理の実施の形態に従った、画像ブロックのための、予測子のペア、さらに、関連する重みインデックスのサーチを決定する例示的な方法のフロー図である。
【図５】本願の原理の実施の形態に従った、画像ブロックのための、インプリシットなブロック分割（ＩＢＳ）予測子を算出する例示的な方法のフロー図である。
【発明を実施するための形態】
【００１８】
本願の原理は、ビデオ符号化および復号におけるインプリシットな（ｉｍｐｌｉｃｉｔ）ブロック分割（セグメント化）のための方法および装置に関する。
【００１９】
本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。
【００２０】
本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
【００２１】
また、本明細書における本願の原理、態様、および、実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
【００２２】
従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
【００２３】
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ： ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ： ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ランダム・アクセス・メモリ（ＲＡＭ： ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、および不揮発性の記憶装置を暗黙的に含むことがある。
【００２４】
また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。
【００２５】
請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、出願人は、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなす。
【００２６】
明細書において、本願の原理の「一実施の形態」、「実施の形態」、またはこの類の記載が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、またはこの類の記載は、必ずしも、全てが同一の実施の形態について言及するものではない。
【００２７】
用語「／」、「および／または」、さらに、「〜のうちの少なくとも１つ」のうちのいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、さらに、「ＡおよびＢのうちの少なくとも１つ」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含すると意図される。別の例として、「Ａ、Ｂ、および／またはＣ」、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、１番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみの選択、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含すると意図される。列挙された多くの項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
【００２８】
さらに、本願の原理の１つ以上の実施の形態を本明細書中でＭＰＥＧ−４ ＡＶＣ規格のマルチビュー・ビデオ符号化に関連させて説明しているが、本願の原理は、この規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、ＭＰＥＧ−４規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。例えば、本明細書中に提供された本願の原理の開示内容を考慮して、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、スケーラブルなビデオ符号化（ＳＶＣ： ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）およびマルチビュー・ビデオ符号化（ＭＶＣ：ｍｕｌｔｉ−ｖｉｅｗ ｃｏｄｉｎｇ）環境に本願の原理を容易に適用することができる。マルチビュー・ビデオ符号化（ＭＶＣ）は、マルチビュー・シーケンスの符号化のための圧縮フレームワークである。マルチビュー・ビデオ符号化（ＭＶＣ）シーケンスは、異なるビュー・ポイント（視点）から同じシーンを捉えた２つ以上のビデオ・シーケンスのセット（集合）である。スケーラブルなビデオ符号化（ＳＶＣ）は、基本レイヤーおよび１つ以上の拡張レイヤーを有するビットストリームにビデオ・シーケンスを符号化することを指す。
【００２９】
さらに、本明細書において使用する「クロスビュー」および「インタービュー」は、同じ意味で使用され、双方とも、現在のビューではないビューに属するピクチャを指す。
【００３０】
さらに、本明細書において使用する記載「ブロック分割情報」は、現在のピクチャの一つの部分を符号化および／または復号するために使用される少なくとも１つ以上の参照ピクチャ、または、その部分の分割を記述した情報を指す。一実施の形態においては、このようなブロック分割情報は、少なくとも２つの予測子の間の差分に適用される分割に関する。一実施の形態においては、このようなブロック分割情報は、特定の参照ピクチャのどの画素がブロック分割処理に従って分割された特定の参照ピクチャのどのセグメントに属するかを示す情報に関する。なお、このようなブロック分割情報は、対応する復号器に対してエクスプリシットには（ｅｘｐｌｉｃｉｔｌｙ）信号送信されない。むしろ、このようなブロック分割情報は、限定するものではないが、ハイレベル・シンタックス要素を含む１つ以上のシンタックス要素を用いて、対応する復号器に対してインプリシットに信号送信されることがある。
【００３１】
さらに、本明細書において使用される「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）・レベル、シーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）・レベル、さらに、ネットワーク抽象化層（ＮＡＬ：ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。
【００３２】
上述したように、本願の原理は、ビデオ符号化および復号においてインプリシットなブロック分割を行うための方法および装置に関する。
【００３３】
図１を参照すると、インプリシットなブロック分割（ＩＢＳ： ｉｍｐｌｉｃｉｔ ｂｌｏｃｋ ｓｅｇｍｅｎｔａｔｉｏｎ）ブロック・モードを有する例示的な符号化器が概ね参照符号１００によって示されている。
【００３４】
結合器１０５の出力部は、変換器１１０の入力部と信号通信するように結合されている。変換器１１０の出力部は、量子化器１１５の入力部と信号通信するように結合されている。量子化器１１５の出力部は、エントロピー符号化器１２０の第１の入力部および逆量子化器１２５の入力部と信号通信するように結合されている。逆量子化器１２５の出力部は、逆変換器１３０の入力部と信号通信するように結合されている。逆変換器１３０の出力部は、結合器１３２の第１の非反転入力部と信号通信するように結合されている。デブロッキング・フィルタ１３５の出力部は、復号済参照ピクチャ・バッファ１４０の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ１４０の出力部は、分割デバイス１４５の入力部およびスイッチ１６０の第２の入力部と信号通信するように結合されている。
【００３５】
分割デバイス１４５の出力部は、重みインデックス決定デバイス１５０の入力部と信号通信するように結合されている。重みインデックス決定デバイス１５０の第１の出力部は、予測子結合器１５５の入力部と信号通信するように結合されている。予測子結合器１５５の第１の出力部は、スイッチ１６０の第１の入力部と信号通信するように結合されている。スイッチ１６０の出力部は、結合器１０５の反転入力部と信号通信するように結合されている。予測子結合器１５５の第２の出力部は、結合器１３２の第２の非反転入力部と信号通信するように結合されている。結合器１３２の出力部は、デブロッキング・フィルタ１３５の入力部と信号通信するように結合されている。
【００３６】
重みインデックス決定デバイス１５０の第２の出力部は、スイッチ１６５の第１の入力部と信号通信するように結合されている。スイッチ１６５の第２の入力部は、未結合の状態である。スイッチ１６５の出力部は、エントロピー符号化器１２０の第２の入力部と信号通信するように結合されている。
【００３７】
結合器１０５の非反転入力部は、入力されたビデオを受信するため、符号化器１００の入力部として利用可能である。エントロピー符号化器１２０の出力部は、ビットストリームを出力するため、符号化器１００の出力部として利用可能である。
【００３８】
重みインデックス決定デバイス１５０は、（分割デバイス１４５によって決定された）各セグメントの重みインデックスを見つける。予測子結合器１５５は、各セグメントの予測子を結合する。
【００３９】
図１において、スイッチ１６０の第１の入力部およびスイッチ１６５の第１の入力部の双方が使用されると、ＩＢＳモードが有効となる。
【００４０】
図２を参照すると、インプリシットなブロック分割（ＩＢＳ）ブロック・モードを有する例示的な復号器が概ね参照符号２００によって示されている。
【００４１】
エントロピー復号器２０５の出力部は、逆量子化器２１０の入力部、復号済参照ピクチャ・バッファ２４０の第１の入力部、さらに、スイッチ２４５の第１の入力部と信号通信可能に結合されている。スイッチ２４５の第２の入力部は、未結合の状態である。逆量子化器２１０の出力部は、逆変換器２１５の入力部と信号通信するように結合されている。逆変換器２１５の出力部は、結合器２２０の第１の非反転入力部と信号通信するように結合されている。結合器２２０の出力部は、デブロッキング・フィルタ２２５の入力部と信号通信するように結合されている。デブロッキング・フィルタ２２５の出力部は、復号済参照ピクチャ・バッファ２４０の第２の入力部と信号通信するように結合されている。復号済参照ピクチャ・バッファ２４０の出力部は、分割デバイス２３５の入力部とスイッチ２５０の第２の入力部と信号通信するように結合されている。分割デバイス２３５の出力部は、予測子結合器２３０の第１の入力部と信号通信するように結合されている。予測子結合器２３０の出力部は、スイッチ２５０の第１の入力部と信号通信するように結合されている。スイッチ２５０の出力部は、結合器２２０の第２の非反転入力部と信号通信するように結合されている。スイッチ２４５の出力部は、予測子結合器２３０の第２の入力部と信号通信するように結合されている。
【００４２】
エントロピー復号器２０５の入力部は、ビットストリームを受信するために、復号器２００の入力部として利用可能である。デブロッキング・フィルタ２２５の出力部は、ピクチャのシーケンスを出力するために、復号器２００の出力部として利用可能である。
【００４３】
図２において、スイッチ２４５の第１の入力部およびスイッチ２５０の第１の入力部が使用されると、ＩＢＳモードが有効となる。
【００４４】
よって、本願の原理に従えば、オリジナルのブロックが分割されないビデオ符号化および復号の方法および装置が提供される。この代わりに、復号器の側で利用可能な参照ブロックに対して分割を行い、分割を記述する余分なオーバーヘッドが復号器に送信される必要性を取り除く。本願の原理に従って、候補となる予測子を組み合わせることにより、予測子を推定する。これにより、既存のビデオ符号化規格において予測信号が形成される方法が拡張される。本願の原理は、エクスプリシットな信号の送信を行わないブロック分割を使用し、余分なオーバーヘッド無しに、ローカル信号特性に適応できるようにする点において、既存の手法とは異なる。一実施の形態においては、我々は、ＭＰＥＧ−４ ＡＶＣ規格環境において、インプリシットな分割を適用する。しかしながら、上述したように、本願の原理は、ＭＰＥＧ−４ ＡＶＣ規格のみに限定されるものではない。
【００４５】
＜インプリシットなブロック分割（ＩＢＳ）のための符号化アルゴリズム＞
例示的な目的のため、所与のマクロブロックには、２つの予測子ｐ０、ｐ１（例えば、隣接フレームからの２つの１６×１６のブロック）が利用可能であるものとし、ｐ０、ｐ１をそれぞれ基本予測子と呼ぶ。２つの予測子ｐ０、ｐ１は、符号化器によって選択されており、これらの２つの予測子ｐ０、ｐ１の位置が復号器に信号送信される。予測のための最適な分割は、オリジナルのマクロブロックにおける各画素が最良の近似を提供する予測子ｐ０またはｐ１に割り当てられるように行われる。しかしながら、これは、その決定がオリジナルのブロック自体に依存しているため、インプリシットに（副情報を送信することなく）行うことはできない。予測子間の差分に依存する予期される利得についての観察に基づいて、我々は、各予測子の差分（ｐｄ＝ｐ０−ｐ１）のブロックに対して分割を適用する。予測子の差分のノイズ特性のため、エッジに基づく分割方法は、１６×１６のマクロブロックで単純な境界を効率的に検出するものではない。
【００４６】
従来技術の手法、以下、「ｋ平均法（ｋ−ｍｅａｎｓ）によるクラスタリングの従来技術手法と呼ぶ」においては、一次元（１−Ｄ）ｋ平均法によるクラスタリングが基本的な分割アルゴリズムとして使用される。ｋ平均法によるクラスタリングの従来技術手法に従えば、Ｎ０重心が、ｐｄの最大値と最小値の間の均一な距離で初期化される。最大ラン（すなわち、繰り返し回数）は、２０に設定される。一次元ｋ平均法によるクラスタリングにおいては、空間連結性（ｓｐａｔｉａｌ ｃｏｎｎｅｃｔｉｖｉｔｙ）は考慮されないため、ｋ平均法によるクラスタリングの後、同一のセグメントにおいて、分断された画素が存在する。空間情報を考慮して、２ステップの後処理が適用される。図３を参照すると、ピクチャ分割のための一次元ｋ平均法によるクラスタリングに関して行われる後処理の例が概ね参照符号３００によって示されている。２ステップの後処理における最初のステップとして、同一のセグメント３１０に割り当てられる分断された画素３０５は、結合された成分のラベル付けを用いて、複数の異なるセグメントに分類される。従って、図３の左端のブロック３０１に関し、ブロック３０１の右上隅は、真ん中のブロック３０２におけるセグメント３２０となる。第２に、ノイズを含むセグメントを回避するために、セグメント３３０の画素の数がＮｐｉｘよりも小さい場合、セグメント３３０は、現在のセグメント３３０とのセグメント平均差分が最小である隣接セグメント（たとえば、セグメント３１０およびセグメント３２０のいずれか）と結合される。なお、セグメントの数は、基本予測子と拡張予測子との間のディスパリティに依存する。実験的には、ｋ平均法によるクラスタリングの従来技術手法においては、Ｎ０およびＮｐｉｘは、それぞれ、２および１０に設定される。
【００４７】
各セグメントの最適な重みは、差分の二乗和を最小にすることによって算出される。しかしながら、符号化されるブロックからの情報を用いて最適な重みが算出された後、選択された値を信号送信しなければならない。１６×１６のブロックでは、このような信号送信のオーバーヘッドは、残差エラーの全体としての減少を考慮すれば、受け入れられない場合がある。オーバーヘッドを制限するために、一実施の形態においては、各重みは、予測のために使用する｛ｐ０、ｐ１、（ｐ０＋ｐ１）／２｝に対応する所定のセット（集合）Ｗ＝｛（１，０）、（０，１）、（１／２，１／２）｝からそれぞれ選択される。従って、３つの値｛０、１、２｝のみを有する重みインデックスが信号送信される。要するに、符号化されるべきブロックの予測は、各セグメントに使用されるべき２つの予測子ｐ０およびｐ１と重みを信号送信することによって達成される。分割情報自体は、復号された予測子と同様に、符号化器および復号器によって生成され、そのため、副情報が送信される必要はない。
【００４８】
＜他の符号化アルゴリズムおよびバリエーション＞
インプリシットなブロック分割のための上述した符号化アルゴリズムに加え、インプリシットなブロック分割の効率性を高めるために、以下に説明するもののうちの１つあるいはそれ以上を適用することもできる。
【００４９】
ａ．分割方法
ｉ）エッジに基づく分割方法を使用することができる。例えば、キャニー・エッジ（Ｃａｎｎｙ ｅｄｇｅ）検出器および／または、ソーベル・エッジ（Ｓｏｂｅｌ ｅｄｇｅ）検出器を分割のために使用することができ、分断されたエッジをハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）を使用して結合させることができる。
【００５０】
ｂ．分割対象
ｉ）基本レイヤー予測子を分割のために使用することができる。例えば、基本レイヤー予測子と拡張レイヤー予測子との間の予測子の差分に対して分割処理を適用する代わりに、インプリシットなブロック分割のために、利用可能な参照値からの基本レイヤー予測子のみを使用することができる。各参照値は、復号器の側でも利用可能であるため、分割情報は信号送信されない。
ｉｉ）深度マップを分割のために使用することができる。例えば、深度マップをマルチビュー・ビデオ・シーケンスにおいて利用可能である場合には、この深度マップを分割のために使用することができる。なぜならば、オブジェクト深度は正確であり、オブジェクト境界を推定するための鍵となるからである。分割をインプリシットに行うために、同一の深度マップを復号器の側で利用可能である。
【００５１】
ｃ．サーチ方法
ｉ）拡張予測子の候補の限られたセットを使用することができる。例えば、分割に関わるサーチの演算量を低減するために、基本レイヤー予測子の候補の限られたセットを使用することができる。演算量をさらに低減するために、フルサーチを行う代わりに、拡張レイヤーの候補の限られたセットを使用することができる。拡張レイヤー予測子の候補として、基本レイヤー予測子の候補の同じセットを使用することができる。
ｉｉ）基本レイヤー予測子と拡張レイヤー予測子の双方のために、フルサーチを行うことができる。例えば、基本レイヤーと拡張レイヤー予測子の双方がフルサーチ範囲でサーチされる場合には、最高の符号化効率を得ることができる。この手法により、インプリシットなブロック分割の符号化効率が最高となる。
【００５２】
ｄ．エラー・メトリック
分割境界は、ＭＰＥＧ−４ ＡＶＣ規格における４×４、または、８×８の離散コサイン変換（ＤＣＴ： ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）境界と一致しないため、残差のＤＣレベルが相異なるセグメントで異なる場合には、高周波数成分は、離散コサイン変換の後、増加する。差分絶対値和（ＳＡＤ）や差分二乗和（ＳＳＤ）では、ＡＣの増加を測定することができない。従って、ＡＣの増加量を測定するための異なるエラー・メトリックを使用してより良好に一致するものを見つけることができる。例えば、アダマール（Ｈａｄａｍａｒｄ）・エラー・メトリックを使用して重みインデックスを選択することができる。
【００５３】
ｅ．追加重みインデックス
最適な重みの信号送信が、１６×１６のマクロブロックの各セグメントにおいて得られる利得を上回ってしまうことがあるため、代わりに、所定の重みのセット（集合）Ｗが使用される。（１，０）および（０，１）の基本的なセットから拡張されるものをセットＷにおける重みとすることができる。各インデックスは、重みの発生頻度に基づいて割り当てられる。重みが頻繁に選択される場合には、小さなインデックスが割り当てられる。例えば、追加重み（３／４，１／４）（１／４，３／４）をセットＷに追加し、それぞれを、‘３’および‘４’にマッピングすることができる。２値算術符号化（ＢＡＣ：ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）または、可変長符号化（ＶＬＣ：ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）は、十分な符号化利得があるときにのみ、これらのインデックスが選択されるようにする。
【００５４】
＜インプリシットなブロック分割（ＩＢＳ）のための復号アルゴリズム＞
復号器において、符号化処理からの追加情報には、マクロブロックにおいて使用される予測子のタイプが含まれることがある。例えば、２つの予測子が使用される場合、即ち、基本レイヤー予測子および拡張レイヤー予測子が使用される場合、この情報は、最終的には、復号器に伝達される。さらに、このような追加情報には、各セグメントの重みインデックスが含まれることがある。
【００５５】
この情報を利用して、インプリシットなブロック分割（ＩＢＳ）のために、以下のアルゴリズムが適用される。
【００５６】
１．シンタックスを復号する
２．基本レイヤー予測子（ｐ０）および拡張レイヤー予測子（ｐ１）を取得する。２つの予測子より、予測子の差分が以下のように算出される。
ｐｄ＝ｐ０−ｐ１
３．基本レイヤー予測子ｐ０および拡張レイヤー予測子ｐ１のコンテキストに基づいて、予測子の差分ｐｄに対して、符号化器側で適用されたものと同じ分割方法を適用する。例えば、限定するものではないが、一次元（１−Ｄ）ｋ平均法によるクラスタリング、エッジに基づく分割などを含む分割処理を後処理と共に適用することができる。
４．各セグメントにつき、符号化器から送信された重みインデックスを使用して、各セグメントの重み付けされた予測子の和が算出される。
【００５７】
上述したアルゴリズムにおいては、拡張予測子の数は１つに限定されているが、本技術分野および関連する技術分野の当業者であれば、拡張予測子のために複数の予測子を使用できることが容易に理解できよう。さらに、符号化器および復号器によって重みインデックスが共有される場合、重みインデックスを任意の組み合わせで定義することができる。即ち、符号化器および復号器が同じ情報を共有する限り、重みマトリックスを定義することができる。従って、「任意の組み合わせ」は、Ｗ＝｛（１，０）、（０，１）、（１／２，１／２）、（１／３，２／３）、（１／６，５／６）｝など、「任意の有用な組み合わせ」を意味する。勿論、本願の原理の精神を逸脱することなく、他の組み合わせを使用することもできる。
【００５８】
＜ＭＰＥＧ−４ ＡＶＣ規格のためのインプリシットなブロック分割の実施＞
インプリシットなブロック分割（ＩＢＳ）は、どのようなビデオ符号化器および復号器においても実施することができる。一実施の形態においては、本願の原理は、ＭＰＥＧ−４ ＡＶＣ規格に関して実施される。現在のインター・ブロック・モードは、インター１６×１６モードとインター１６×８モードとの間にインター１６×１６＿ＩＢＳを挿入することによって拡張される。表１は、ＰスライスおよびＳＰスライスのためのマクロブロック・タイプの値０〜５を示している。
【表１】
【００５９】
サーチの演算量を低減するために、基本レイヤーの予測子ｐ０の候補には限られたセットを使用し、拡張レイヤー予測子ｐ１にはフルサーチを行う。基本予測子の最良の候補は、インター１６×１６、インター１６×８、インター８×１６、およびインター８×８のモードのモードによって最良に一致したものから収集される。さらに、オリジナルのマクロブロック・セグメントに最良に一致したものが基本レイヤー予測子の候補のセットに追加される。オリジナル・マクロブロック・セグメントに最良に一致したものは、インター１６×１６の動きサーチ・ステップを用いて見つけられる。
【００６０】
インター１６×１６＿ＩＢＳのための最良の予測子のペア（ｐ０、ｐ１）を選択するために、一実施の形態においては、３つの異なるエラー・メトリックが使用される。各基本レイヤー予測子の候補につき、サーチ範囲内で、最良の相補的な拡張レイヤー予測子がサーチされる。第１のエラー・メトリックは、差分絶対値和であり、これは、各セグメントの重みインデックスを決定するのに使用される。各セグメントの差分絶対値和は、セット（集合）Ｗにおける全ての重みについて算出され、最小の差分絶対値和を有する重みインデックスが選択される。第２に、所与の基本レイヤー予測子のための最良の拡張レイヤー予測子の選択において、簡略化されたレート歪み（Ｒ−Ｄ：ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）コスト、即ち、Ｊが以下のように規定される。
【数１】
ここで、Ｎは、ｐｄにおけるセグメントの数であり、Ｂは、Ｂ＝ｌｏｇ２｜Ｗ｜として規定されるセグメント毎の重みインデックスのビット数であり、ＭＶｃｏｓｔ（ｐ１）は、拡張レイヤー予測子ｐ１の動きベクトルのコストである。ＭＶｃｏｓｔ（）およびλは、ジョイント・モデル参照ソフトウエアにおける符号化方法に従っている。Ｍ個の基本レイヤー予測子の候補に対し、同じ数の一致する拡張レイヤー予測子が見つけられる。最後に、Ｍ個の基本レイヤー予測子および拡張レイヤー予測子のペアのレート歪みコスト（ＲＤ）が算出され、（例えば、レート歪みモード決定を使用して、）ＭＰＥＧ−４ ＡＶＣ規格における他の各ブロック・モードのレート歪みコストと比較される。インター１６×１６＿ＩＢＳにおける符号化された情報には、基本レイヤー予測子および拡張レイヤー予測子の参照インデックスおよび動きベクトル、さらに、各セグメントの重みインデックスが含まれる。重みインデックスは、例えば、レート歪みモード決定における可変長符号、さらに、ビットストリーム符号化における２値算術符号によって符号化される。勿論、本願の原理の精神を逸脱することなく、他の符号化技術を使用してもよい。
【００６１】
例示的なスライス・ヘッダ・シンタックスを表２に示す。
【表２】
【００６２】
例示的なマクロブロック予測シンタックスを表３に示す。
【表３】
【００６３】
表３に関し、ｅｘｔｒａｃｔＳｅｇｍｅｎｔ（）は、ｒｅｆ＿ｉｄｘｌ０、ｒｅｆ＿ｉｄｘｌ１、ｍｖｄ＿ｌ０、およびｍｖｄ＿ｌ１により予測子から信号送信された各セグメントを算出し、見つかった数のセグメントを返す関数である。
【００６４】
図４を参照すると、予測子のペアおよび関連する重みインデックス・サーチを決定する方法が概ね参照符号４００によって示されている。方法４００は、例えば、ビデオ符号化器において実施することができる。
【００６５】
方法４００は、制御をループ・リミット・ブロック４０６に受け渡す開始ブロック４０５を含む。ループ・リミット・ブロック４０６は、基本レイヤー予測子および拡張レイヤー予測子の最良のペア（ｐ０、ｐ１）のためのループを開始し、制御を機能ブロック４０８に受け渡す。機能ブロック４０８は、セグメントの初期数をＮ０に設定し、制御を機能ブロック４１０に受け渡す。機能ブロック４１０は、予測子の差分ｐｄを基本レイヤー予測子｛ｐ０｝４６６および拡張レイヤー予測子｛ｐ１｝４７７を使用してｐｄ＝ｐ０−ｐ１により算出し、制御を機能ブロック４１５に受け渡す。機能ブロック４１５は、一次元（１−Ｄ）ｋ平均法によるクラスタリングおよび後処理を予測子の差分ｐｄに適用し、制御を機能ブロック４２０に受け渡す。機能ブロック４２０は、各セグメントにおいて最良の重みインデックスを見つけ、制御を決定ブロック４２５に受け渡す。判定ブロック４２５は、現在のセグメントのレート歪み（Ｒ−Ｄ）のコストｊが最低であるかどうかを判定する。現在のセグメントのレート歪み（Ｒ−Ｄ）のコストｊが最低である場合には、制御が機能ブロック４３０に受け渡される。そうでない場合には、制御が判定ブロック４３５に受け渡される。
【００６６】
機能ブロック４３０は、所与の基本レイヤー予測子ｐ０について、重みインデックスおよび拡張レイヤー予測子ｐ１を更新し、制御を判定ブロック４３５に受け渡す。
【００６７】
判定ブロック４３５は、全ての拡張レイヤー予測子ｐ１がサーチされたかどうかを判定する。全ての拡張レイヤー予測子ｐ１がサーチされた場合には、制御が判定ブロック４４０に受け渡される。そうでない場合には、制御が機能ブロック４１０に戻され、拡張レイヤー予測子４７７のうち、次のもの｛ｐ１｝を使用して予測子の差分ｐｄを算出する。
【００６８】
判定ブロック４４０は、（ｐ０，ｐ１）のレート歪み（Ｒ−Ｄ）コストが最低であるかどうかを判定する。（ｐ０，ｐ１）のレート歪み（Ｒ−Ｄ）コストが最低である場合には、制御が機能ブロック４４５に受け渡される。そうでない場合には、制御が判定ブロック４５０に受け渡される。
【００６９】
機能ブロック４４５は、重みインデックスおよびペア（ｐ０，ｐ１）を更新し、制御を判定ブロック４５０に受け渡す。
【００７０】
判定ブロック４５０は、全ての基本レイヤー予測子ｐ０がサーチされたかどうかを判定する。全ての基本レイヤー予測子ｐ０がサーチされた場合には、制御がループ・リミット・ブロック４５５に受け渡される。そうでない場合には、制御が機能ブロック４１０に戻され、基本レイヤー予測子４６６のうち、次のもの｛ｐ０｝を使用して予測子の差分ｐｄを算出する。
【００７１】
機能ブロック４５５は、（ｐ０，ｐ１）の最良のペアのためのループを終了し、制御を機能ブロック４５８に受け渡す。機能ブロック４５８は、（ｐ０，ｐ１）の最良のペアを返し、制御を終了ブロック４９９に受け渡す。
【００７２】
図５を参照すると、画像ブロックのためのインプリシットなブロック分割（ＩＢＳ）予測子を算出する例示的な方法が概ね参照符号５００によって示されている。方法５００は、例えば、ビデオ復号器において実施することができる。
【００７３】
方法５００は、制御を機能ブロック５０８に受け渡す開始ブロック５０５を含む。機能ブロック５０８は、セグメントの初期数をＮ０に設定し、制御を機能ブロック５１０に受け渡す。機能ブロック５１０は、予測子の差分ｐｄを基本レイヤー予測子｛ｐ０｝５６６および拡張レイヤー予測子｛ｐ１｝５７７を使用してｐｄ＝ｐ０−ｐ１により算出し、制御を機能ブロック５１５に受け渡す。機能ブロック５１５は、一次元（１−Ｄ）ｋ平均法によるクラスタリングおよび後処理を予測子の差分ｐｄに適用し、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、重みインデックス５８８を使用して、各セグメントにおいて予測子の重み付けされた和を算出し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、各セグメントについて、予測子を組み合わせ、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、インプリシットなブロック分割（ＩＢＳ）予測子を返し、制御を終了ブロック５９９に受け渡す。
【００７４】
＜不一致補償ツールとの組み合わせ＞
ＭＰＥＧ−４ ＡＶＣ規格における４×４または８×８のブロック離散コサイン変換により、離散コサイン変換ブロック内にセグメント境界が存在するとき、異なる予測子による残差エラーは、ＡＣ成分を増加させやすい。クロスビュー符号化において照射の不一致が存在すると、これは、深刻である。本願の原理に従って提案されるインプリシットなブロック分割（ＩＢＳ）に照射補償ツールを組み合わせることにより、クロスビュー予測の符号化効率が向上するであろう。
【００７５】
本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャの少なくとも一つの部分を、この部分のための少なくとも２つの予測子の画素の差分に対するブロック分割処理を使用することによって符号化する符号化器を備える装置である。符号化器は、復号器によるこの部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する。
【００７６】
別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための少なくとも２つの予測子を信号送信する、この装置である。
【００７７】
また、別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、復号器による上記部分の復号に使用するための重みインデックスを信号送信する、この装置である。
【００７８】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、この装置である。
【００７９】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、この装置である。
【００８０】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ブロック分割の後に、符号化器は、少なくとも２つの予測子の画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、この装置である。
【００８１】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、各セグメントにつき、符号化器は、少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、上記部分のための最終的な予測子を算出する、この装置である。
【００８２】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、符号化器は、少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、この装置である。
【００８３】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じ、または、類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つである、この装置である。ピクチャは、複数の異なる視点のうちの現在の視点を表す。少なくとも２つの予測子のうちの少なくとも一方は、複数の異なる視点のうちの現在の視点ではない、複数の異なる視点のうちの特定の視点に対応するインタービュー予測値である。少なくとも２つの予測子のうちの少なくとも他方は、複数の異なる視点のうちの現在の視点に対応する時間的な予測値である。
【００８４】
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
【００８５】
より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
【００８６】
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
【００８７】
添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるべきものと解釈するべきである。
【特許請求の範囲】
【請求項１】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して符号化する符号化器（１００）を備え、
前記符号化器（１００）は、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する、装置。
【請求項２】
前記符号化器（１００）は、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を信号送信する、請求項１に記載の装置。
【請求項３】
前記符号化器（１００）は、前記復号器による前記部分の復号に使用するための重みインデックスを信号送信する、請求項１に記載の装置。
【請求項４】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１に記載の装置。
【請求項５】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項１に記載の装置。
【請求項６】
前記ブロック分割の後に、前記符号化器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項１に記載の装置。
【請求項７】
各セグメントにつき、前記符号化器（１００）は、前記少なくとも２つの予測子のうちの少なくとも２つの予測子の各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出する、請求項１に記載の装置。
【請求項８】
前記符号化器（１００）は、前記少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、請求項１に記載の装置。
【請求項９】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１に記載の装置。
【請求項１０】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して符号化するステップを含み、
前記符号化ステップは、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信すること（４１５、５１５）を含む、方法。
【請求項１１】
前記符号化ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を信号送信するステップ（４５８）を含む、請求項１０に記載の方法。
【請求項１２】
前記符号化ステップは、前記復号器による前記部分の復号に使用するための重みインデックスを信号送信するステップ（４４５）を含む、請求項１０に記載の方法。
【請求項１３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１０に記載の方法。
【請求項１４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる（４１５）、請求項１０に記載の方法。
【請求項１５】
前記ブロック分割の後に、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップ（４１５）をさらに含む、請求項１０に記載の方法。
【請求項１６】
各セグメントにつき、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出するステップ（４４５）を含む、請求項１０に記載の方法。
【請求項１７】
前記符号化ステップは、前記少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信するステップを含む、請求項１０に記載の方法。
【請求項１８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１０に記載の方法。
【請求項１９】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して復号する復号器（２００）を備え、
前記復号器は、インプリシットにブロック分割情報を決定する、装置。
【請求項２０】
前記ブロック分割情報は、少なくとも１つのシンタックス要素からインプリシットに決定される、請求項１９に記載の装置。
【請求項２１】
前記復号器（２００）は、当該復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を示す信号を受信する、請求項１９に記載の装置。
【請求項２２】
前記復号器（２００）は、当該復号器による前記部分の復号に使用するための重みインデックスを受信する、請求項１９に記載の装置。
【請求項２３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１９に記載の装置。
【請求項２４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項１９に記載の装置。
【請求項２５】
前記ブロック分割の後に、前記復号器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項１９に記載の装置。
【請求項２６】
各セグメントにつき、前記復号器は、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出する、請求項１９に記載の装置。
【請求項２７】
前記復号器は、前記部分の復号に使用する前記少なくとも２つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信する、請求項１９に記載の装置。
【請求項２８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１９に記載の装置。
【請求項２９】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号ステップを含み、
前記復号ステップは、インプリシットにブロック分割情報を決定すること（５１５）を含む、方法。
【請求項３０】
前記ブロック分割情報は、少なくとも１つのシンタックス要素からインプリシットに決定される、請求項２９に記載の方法。
【請求項３１】
前記復号ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を示す信号を受信するステップ（５６６、５７７）を含む、請求項２９に記載の方法。
【請求項３２】
前記復号ステップは、前記復号器による前記部分の復号に使用するための重みインデックスを受信するステップ（５８８）を含む、請求項２９に記載の方法。
【請求項３３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項２９に記載の方法。
【請求項３４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる（５１５）、請求項２９に記載の方法。
【請求項３５】
前記ブロック分割の後に、前記復号器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップ（５１５）を含む、請求項２９に記載の方法。
【請求項３６】
各セグメントにつき、前記復号ステップは、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出するステップ（５２０）を含む、請求項２９に記載の方法。
【請求項３７】
前記復号ステップは、前記部分の復号に使用する前記少なくとも２つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信するステップを含む、請求項２９に記載の方法。
【請求項３８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項２９に記載の方法。
【請求項１】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して符号化する符号化器（１００）を備え、
前記符号化器（１００）は、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信する、装置。
【請求項２】
前記符号化器（１００）は、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を信号送信する、請求項１に記載の装置。
【請求項３】
前記符号化器（１００）は、前記復号器による前記部分の復号に使用するための重みインデックスを信号送信する、請求項１に記載の装置。
【請求項４】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１に記載の装置。
【請求項５】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項１に記載の装置。
【請求項６】
前記ブロック分割の後に、前記符号化器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項１に記載の装置。
【請求項７】
各セグメントにつき、前記符号化器（１００）は、前記少なくとも２つの予測子のうちの少なくとも２つの予測子の各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出する、請求項１に記載の装置。
【請求項８】
前記符号化器（１００）は、前記少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信する、請求項１に記載の装置。
【請求項９】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１に記載の装置。
【請求項１０】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して符号化するステップを含み、
前記符号化ステップは、復号器による前記部分の復号に使用するためのブロック分割情報をインプリシットに信号送信すること（４１５、５１５）を含む、方法。
【請求項１１】
前記符号化ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を信号送信するステップ（４５８）を含む、請求項１０に記載の方法。
【請求項１２】
前記符号化ステップは、前記復号器による前記部分の復号に使用するための重みインデックスを信号送信するステップ（４４５）を含む、請求項１０に記載の方法。
【請求項１３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１０に記載の方法。
【請求項１４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる（４１５）、請求項１０に記載の方法。
【請求項１５】
前記ブロック分割の後に、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップ（４１５）をさらに含む、請求項１０に記載の方法。
【請求項１６】
各セグメントにつき、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出するステップ（４４５）を含む、請求項１０に記載の方法。
【請求項１７】
前記符号化ステップは、前記少なくとも２つの動き情報の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を信号送信するステップを含む、請求項１０に記載の方法。
【請求項１８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１０に記載の方法。
【請求項１９】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用して復号する復号器（２００）を備え、
前記復号器は、インプリシットにブロック分割情報を決定する、装置。
【請求項２０】
前記ブロック分割情報は、少なくとも１つのシンタックス要素からインプリシットに決定される、請求項１９に記載の装置。
【請求項２１】
前記復号器（２００）は、当該復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を示す信号を受信する、請求項１９に記載の装置。
【請求項２２】
前記復号器（２００）は、当該復号器による前記部分の復号に使用するための重みインデックスを受信する、請求項１９に記載の装置。
【請求項２３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項１９に記載の装置。
【請求項２４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる、請求項１９に記載の装置。
【請求項２５】
前記ブロック分割の後に、前記復号器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用する、請求項１９に記載の装置。
【請求項２６】
各セグメントにつき、前記復号器は、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出する、請求項１９に記載の装置。
【請求項２７】
前記復号器は、前記部分の復号に使用する前記少なくとも２つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信する、請求項１９に記載の装置。
【請求項２８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項１９に記載の装置。
【請求項２９】
ピクチャの少なくとも一つの部分を、当該部分のための少なくとも２つの予測子の画素の差分に対して行われるブロック分割処理を使用することによって復号する復号ステップを含み、
前記復号ステップは、インプリシットにブロック分割情報を決定すること（５１５）を含む、方法。
【請求項３０】
前記ブロック分割情報は、少なくとも１つのシンタックス要素からインプリシットに決定される、請求項２９に記載の方法。
【請求項３１】
前記復号ステップは、前記復号器による前記部分の復号に使用するための前記少なくとも２つの予測子を示す信号を受信するステップ（５６６、５７７）を含む、請求項２９に記載の方法。
【請求項３２】
前記復号ステップは、前記復号器による前記部分の復号に使用するための重みインデックスを受信するステップ（５８８）を含む、請求項２９に記載の方法。
【請求項３３】
前記ブロック分割は、少なくとも１つの参照ピクチャにおける少なくとも１つのブロックに対して行われる、請求項２９に記載の方法。
【請求項３４】
前記ブロック分割は、エッジに基づく分割およびｋ平均法によるクラスタリングの少なくとも一方を使用して行われる（５１５）、請求項２９に記載の方法。
【請求項３５】
前記ブロック分割の後に、前記復号器は、前記少なくとも２つの予測子の前記画素の差分に対して後処理を適用してノイズを有するセグメントを除去し、空間情報を利用するステップ（５１５）を含む、請求項２９に記載の方法。
【請求項３６】
各セグメントにつき、前記復号ステップは、前記少なくとも２つの予測子のうちの各々のための対応する重みを算出し、さらに、重み付けされた予測子の和として、前記部分のための最終的な予測子を算出するステップ（５２０）を含む、請求項２９に記載の方法。
【請求項３７】
前記復号ステップは、前記部分の復号に使用する前記少なくとも２つの予測子の各々に関連付けられた動き情報とディスパリティ情報の少なくとも一方を受信するステップを含む、請求項２９に記載の方法。
【請求項３８】
前記ピクチャは、マルチビュー・ビデオ・コンテンツに対応し、同じまたは類似のシーンに関して複数の異なる視点を有するピクチャのセットのうちの１つであり、前記ピクチャは、前記複数の異なる視点のうちの現在の視点を表し、前記少なくとも２つの予測子のうちの少なくとも一方は、前記複数の異なる視点のうちの現在の視点ではない、前記複数の異なる視点のうちの特定の視点に対応するインタービュー予測値であり、前記少なくとも２つの予測子のうちの少なくとも他方は、前記複数の異なる視点のうちの現在の視点に対応する時間的な予測値である、請求項２９に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１１−５１１５９７（Ｐ２０１１−５１１５９７Ａ）
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願番号】特願２０１０−５４５８５９（Ｐ２０１０−５４５８５９）
【出願日】平成２１年１月１５日（２００９．１．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０００２６３
【国際公開番号】ＷＯ２００９／０９９５１０
【国際公開日】平成２１年８月１３日（２００９．８．１３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２３年４月７日（２０１１．４．７）
【国際特許分類】
【出願日】平成２１年１月１５日（２００９．１．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０００２６３
【国際公開番号】ＷＯ２００９／０９９５１０
【国際公開日】平成２１年８月１３日（２００９．８．１３）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]