立体ビデオ配信システムのエンコーダ最適化
１つより多い画像を表わす画像パターンの領域用のエンコーディングプロセスの特徴をコントロールすることであって、その領域は、その特徴でエンコードされると表される画像間の二次汚染となるであろう表わされる画像の視差の量を含む。そのコントロールは、たとえば、そのエンコーディング特徴を停止すること、単一の画像を表わす画像パターンをエンコードするときよりも少なくそのエンコーディング特徴を用いること、そのエンコーディング特徴に反対にバイアスを掛けること、および、ゼロまたはゼロ日回視差を有すると判定された領域でそのエンコーディング特徴を有効として他の全ての領域でその特徴を向こうとすることのいずれかでもよい。表わされた画像は、たとえば、立体表示、複数の立体表示、同じ場面の複数表示および複数の無関係な表示のいずれかを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
［著作権の注記］
本特許書類の開示の一部には、著作権保護を受ける資料を含んでいる。著作権者は、特許商標庁の特許ファイルあるいは記録で掲載されるならば、いかなる者の本特許書類あるいは特許開示の複製に対し異議を唱えないが、それ以外については全ての著作権を維持する。
【０００２】
［関連出願への相互参照］
本出願は、２００８年7月２０日出願の米国特許仮出願第６１／０８２，２２０号に基づく優先権を主張し、本書にその全体を参照して組み込む。
【０００３】
［発明の背景］
［技術分野］
本発明は、ビデオコーディングに関し、より詳しくは、複数画像および立体ビデオコーディングに関する。
【背景技術】
【０００４】
ここ数年、コンテンツプロバイダは、立体（３Ｄ）コンテンツを家庭に送信することに興味を示すようになってきている。この興味は、３Ｄ資料の人気や製造が増加することだけではなく、消費者が既に入手可能な多くの立体装置の出現によっても、促進されている。特定のビデオ表示「配列」フォーマットを、主として、ＩＳＯ ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４やＶＣ−１等の既存のビデオ圧縮技術と組み合わせる立体素材を家庭に送信する多くのシステムが提案されているが、これらのシステムはビデオ符号化処理をどのように行うかという情報を提供しない。このことは、結果として、平均以下の性能の、上手ではない設計のステレオビデオエンコーディング解法となり、そのようなシステムの採用において不利であった。
【発明の概要】
【０００５】
本発明者らは、複数画像ビデオ（たとえば、複数表示および立体または３Ｄビデオ）や他の新しい特徴用の効果的なコーディングシステムを開発することと、標準ビデオコーデック（たとえば、モノスコープのビデオ準拠コーデック）に準拠することの必要性を理解した。一実施の形態では、本発明は、画像をエンコードする方法を提供し、その方法は、エンコーディングプロセスでエンコードされる１つより多くの画像を表わす画像パターンの領域のエンコーディングプロセスのエンコーディング特徴をコントロールするステップを備え、そのエンコーディング特徴でエンコードされるならばその表わされる画像の間の二次汚染となるであろう表わされる画像中の視差の量をその領域が含む時に、エンコーディング特徴をコントロールする。エンコーディング特徴をコントロールするステップは、たとえば、エンコーディング特徴を停止すること、単一画像を表わす画像パターンをエンコーディングするときよりもエンコーディング特徴を少なく用いること、エンコーディング特徴を反対にバイアスすること、相対的な変化の度合いが視差に基づくときエンコーディング特徴の相対的な変化の度合いを制定すること、ゼロあるいはゼロに近い視差を有するように決定された領域についてエンコーディング特徴を少なくとも部分的に有効にして他の全ての領域でエンコーディング特徴を無効にすること、そのパターンの他の画像の対応する領域と比較して相対的に低いあるいは無の立体視差を有する領域についてのエンコーディング特徴を有効にすること、相対的に高い立体視差を有する領域についてのエンコーディング特徴を無効にすること、背景位置の領域のエンコーディング特徴を有効にして前景位置の領域のエンコーディング特徴を無効にすること、および、ゼロあるいはゼロに近い視差を有するように決定された領域についてエンコーディング特徴を少なくとも部分的に有効にして他の全ての領域でエンコーディング特徴を無効にすることの少なくとも１つを備える。
【０００６】
表わされた画像は、たとえば、立体表示、複数立体表示、同じ場面の複数表示、および複数の無関係な表示の少なくとも１つを備えることができる。
【０００７】
一実施の形態では、その方法は、領域の視差を高視差、低視差およびゼロ視差の1つであると分類し、視差分類を用いてコントロールするステップを指示するステップをさらに備える。一実施の形態では、視差の量は、表わされた画像の隣接する領域間の視差の量を備える。一実施の形態では、視差の量は、立体視差の量を備える。一実施の形態では、視差は、画像をバンドパスフィルタリングすることにより決定され、バンドパスフィルタリングは、垂直と水平の両方向で適用される。一実施の形態では、視差は、領域の位置の差を備える。一実施の形態では、視差の量は、対応する領域での照明変化の量を備え、ここで対応する領域は、たとえば、画像の立体用ペアの対応する領域を備える。一実施の形態では、視差の量は、画像間の動き予測の量を備える。
【０００８】
一実施の形態では、視差の量は、１つより多い画像の対応する領域での動き予測の量を備える。動き予測は、たとえば、特徴ベースの動き予測（たとえば、拡張予測区域検索Enhanced Predictive Zonal Search（ＥＰＺＳ））、ピクセルベースの動き予測、ブロックベースの動き予測、フェーズベースの動き予測、周波数領域ベースの動き予測、ピクセルリカーシブ動き予測、トゥルーモーション領域動き予測およびベイジアンベース動き予測の少なくとも１つを備える。
【０００９】
種々の実施の形態では、エンコーディング特徴は、デブロッキング、変換および量子化の少なくとも１つ、動き補正、フレーム間予測、フレーム内予測、カラーフォーマットおよびサンプリング構成を備える。エンコーディングプロセスは、たとえば、ビデオエンコーディングプロセスを備える。一実施の形態では、エンコーディングプロセスは、ハイデフィニッション（High Definition（ＨＤ））ビデオエンコーディングを備える。一実施の形態では、エンコーディングプロセスは、スケーラブルビデオコーディングを備える。スケーラブルビデオコーディングは、たとえば、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張機能を備える。種々の実施の形態では、エンコーディングプロセスは、ＭＰＥＧ−１／ＭＰＥＧ−２、ＭＰＥＧ−４パート２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、他の独自コーデックＡＶＣ、ＶＣ１、リアルビデオ（RealVideo）、Ｏｎ２ ＶＰ６／ＶＰ７、ＡＶＣの複数表示コーディングビデオ拡張機能やモーションＪＰＥＧ、モーションＪＰＥＧ−２０００を含むたのコーディング技術を含むＭＰＥＧコーデックなどのビデオコーディングを備える。
【００１０】
画像パターンは、たとえば、「黒」と「白」のピクセルの格子配列を含み、「黒」ピクセルは立体表示の第１チャンネルの画像のピクセルを備え、「白」ピクセルは立体表示の第２チャンネルのピクセルを備える。本質的に、たとえば、画像パターンは、ピクセルの「多色」、「格子」配列を備え、ここで「格子」の各それぞれの「色」は、１つより多い画像の個々の１つのピクセルを備える。「多色」「格子」は、たとえば、２つより多い「色」を備える。より一般的には、画像パターンは、ピクセルの「多色」配列を備え、その配列の各それぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える。その配列は、たとえば、各「色」／画像に割り当てられた列と行の少なくとも１つ、および、各「色」／画像に割り当てられた位置でのモジュラス空間配列を備える。
【００１１】
種々の実施の形態では、たとえば、エンコーディングプロセスは、フィールドベースのエンコーディングの１つ以上を備え、フィールドベースのエンコーディングはピクチャレベルおよびマクロブロックレベルの少なくとも１つで実行される。
【００１２】
視差の量は、たとえば、ピクチャレベル解析、スライス解析、領域レベル解析、マクロブロック、マクロブロック解析の少なくとも１つを備えるプロセスにより計算することができる。一つの代替として、視差の量は、ゆがみを算定することを備えるステップにて決定することができる。ゆがみを算定することは、たとえば、立体表示サンプルを分離して分離したサンプルの３Ｄ表示に基づいてゆがみを計算すること、オリジナル画像をデコードした後の「格子」で表わされる画像と比較すること、オリジナルの原像パターン画像をデコードした後の画像パターンで表わされる画像と比較することの少なくとも１つを備えてもよい。計算されたゆがみは、たとえば、輝度と色度の少なくとも１つの、画像パターンで表わされる前の画像との比較を備える。さらに別の代替では、視差そのものがゆがみを計算することを備えるステップで決定され、ここでゆがみは、その後に画像パターンにエンコードされ、それから画像のオリジナルペアを画像パターンからデコードされた画像と比較する３Ｄ画像のオリジナルペアから計算される。
【００１３】
その方法は、たとえば、表わされた画像の少なくとも１つの画像セットの品質を低下するステップを含んでもよい。品質を低下することは、たとえば、低下される画像セットのコンテンツに基づき、および／または、画像セットの品質の所望のそして許容できるレベルを考慮する価格決定モデルに基づいて実行されてもよい。種々の実施の形態では、表わされた画像中の画像セットは、所望の品質に基づいて優先順位をつけられ、品質を低下するステップは、画像セットについて実行されるならば、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように画像セットの優先順位にしたがって調整される。品質を低下することでのさらなる知恵を利用することもでき、たとえば、表わされた画像中の画像セットは所望の品質に基づいて優先順位付けされ、品質を低下するステップは、画像セットについて実行されるならば、高い優先順位の画像セットが大きすぎて画像セットの全てを搬送するのに追加のスペースやバンド幅が必要になることがなければ、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように画像セットの優先順位と画像セットのサイズにしたがって調整される。品質の低下は、画像セットにわたって均一である必要はなく、すなわち、画像セットの領域あるいはマクロブロック／ブロックに対してのみ実行してもよく、たとえば、立体画像セットの一つの表示について実行することもできる。
【００１４】
さらに、品質の低下は、画像全体ではなく、画像のサブ領域で実行されてもよい。たとえば、高品質のテクスチャの領域だけで、他の位置はどこも行わないこともできる。あるいは、同じ画像内で高品質の領域の表示／サブ画像にピクセルを対応させ、他の領域では逆にすることもできるであろう。
【００１５】
本発明はまた、画像の立体ペアを受信するステップと、その画像を画像パターンに組み合わせるステップと、画像パターンをエンコードする少なくとも１つのツールを評価するステップと、エンコーディングまたは対応するデコーディングプロセスでの画像間の二次汚染量が所定の二次汚染閾値よりも低いならばエンコードするツールの少なくとも１つをエンコーディングプロセスで適用するステップとを備え、ここで、エンコーディングプロセスは既存のビデオフォーマットを備える方法で実施してもよい。少なくとも１つのエンコードするツールを適用するステップは、たとえば、画像の領域に優先順位を付けることと、優先順位に応じて各領域にエンコードするツールを適用することとを備える。優先順位を付けることは、たとえば、少なくとも１つのエンコードするツールが適用される高優先順位の領域と、コーディングするツールが必ずしも適用されない低優先順位の領域とを備える。一実施の形態では、優先順位を付けることは、少なくとも１つの所定の閾値を通過する領域に基づく。少なくとも１つの所定の閾値は、たとえば、立体視差、動きの検知、輝度差、色度差閾値の少なくとも１つを備える。閾値（単数および複数）は、エンコーディングプロセスのアプリケーションまたは特徴、アプリケーションが付与されたランダム（または疑似ランダム）ゲイン、または、コンテンツまたは実行された早期の決定が付与されたアダプティブにより固定／事前に定義されてもよい。決定は、複雑さ、品質、そしてもちろん隣接（時間的にも空間的にも）サンプルの相関により進めることができる。既存のビデオフォーマットは、たとえば、立体画像をエンコードするようには開発されていないビデオフォーマットを備え、たとえば、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張機能である。
【００１６】
評価するステップは、たとえば、立体視差解析、動き予測解析、明度解析、マルチパスエンコーディングからの解析、プレプロセスおよび前のパスからの解析、および、動き補正時間フィルタリング（Motion Compensation Temporal Filtering（ＭＣＴＦ））の少なくとも１つを備える。少なくとも１つのツールは、デブロッキングツールおよび予測ツールの少なくとも１つを備える。
【００１７】
この方法は、エンコードするツールの少なくとも１つを適用するステップをさらに備えてもよく、また、二次汚染量が許容できる所定の二次汚染範囲内であれば低減したレベルで少なくとも１つのエンコードするツールを適用することをさらに備えてもよい。二次汚染は、たとえば、輝度、色度、ブロッキング、立体表示汚染の少なくとも１つを備える。
【００１８】
評価するステップは、たとえば、コスト評価プロセスを備える。コスト評価プロセスは、たとえば、計算のコスト評価と汚染のコスト評価の作用を備える。コスト評価プロセスは、ラグランジュのコスト評価プロセスまたはコスティングプロセスを備えてもよい。
【００１９】
この方法は、μLV＞μRVまたはμLV＜μRVがある表示の品質への高いバイアスとなるような場合にエンコーディングプロセスでエンコードするツールの少なくとも１つを適用することにより立体表示マスキング（Stereo View Masking（ＳＶＭ））を利用するステップをさらに備えてもよい。一つの代替として、立体表示マスキング（ＳＶＭ）を利用することは、画像の立体ペアの１つの低品質版を提供し、画像の立体表示のその後の左表示と右表示間で低品質版を入れ替えることにより実施してもよい。さらに別の代替では、立体表示マスキング（ＳＶＭ）を利用することは、画像の立体ペアの少なくとも１つを、画像の優先順位に基づいて選択された品質である、変化する品質で提供することにより実施してもよい。さらに別の代替では、立体表示マスキング（ＳＶＭ）を利用することは、エンコーディングプロセスまたは対応するデコーディングプロセスのいずれかでの画像の１つの二次汚染量が第１の所定のＳＶＭ二次汚染閾値より大きく、エンコーディングプロセスまたは対応するデコーディングプロセスのいずれかでの他の画像の二次汚染量が第２の所定のＳＶＭ二次汚染閾値より小さければ、エンコーディングプロセスでエンコードするツールの少なくとも１つを適用することにより実施されてもよい。
【００２０】
本発明は、エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと、エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと、デコードされる画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、その評価に基づきツールの少なくとも１つの使用量を調整するようになされた評価プロセッサとを備えるエンコーディング装置として実施することもできる。ファクタは、たとえば、視差、輝度、色度、動き予測の少なくとも１つを備える。ツールの組は、たとえば、デブロッキングツール、動き予測ツールの少なくとも１つを備える。エンコーダは、たとえば、スケーラブルビデオエンコーダを備え、既存のビデオフォーマットの拡張機能をさらに備えてもよい。
【００２１】
一実施の形態では、ビデオフォーマットはＡＶＣ／Ｈ．２６４を備える。別の実施の形態では、ビデオフォーマットはＡＶＳ、ＶＣ１の１つを備える。
【００２２】
評価プロセッサによる調整は、たとえば、評価されたファクタの少なくとも１つが所定の閾値を超えるならば、ツールの少なくとも１つで反対にバイアスを掛けることを備えてもよい。ある代替では、評価プロセッサによる調整は、その評価されたファクタに関連する優先順位レベルにより変化する量でツールの少なくとも１つで反対にバイアスを掛けることを備える。別の代替では、評価プロセッサによる調整は、評価されたファクタの少なくとも１つが所定の閾値を超えるならば、ツールの少なくとも１つの使用の影響を低減することを備える。
【００２３】
一実施の形態では、画像の組は、立体表示、複数の立体表示、同じ場面の複数の表示、複数の無関係な表示の１つを備える。
【００２４】
装置と方法の双方の一部および他の実施の形態は、汎用コンピュータまたはネットワークコンピュータでプログラミングされることで従来のように実行でき、その結果は、汎用コンピュータ、ネットワークコンピュータのいずれかに接続されたアウトプット装置で表示され、または出力または表示のための離れた装置に送信されてもよい。さらに、コンピュータプログラム、データシーケンスおよび／またはコントロール信号で表わされた本発明のいずれかの構成は、無線放送、銅線での通信、光ケーブル、同軸ケーブル等を含むがこれらには限定されない、いかなる媒体で、いかなる周波数で、放送（または送信）される電子信号として実施してもよい。
【００２５】
本発明のより完全な理解と本発明による利点の多くは、添付の図面と関連して考えるとき以下の詳細な説明を参照することでよりよく理解されるにつれ、容易に得られるであろう。
【図面の簡単な説明】
【００２６】
【図１】図１は、立体素材配信の列シーケンシャル／フィールドインターリーブ配列を示す図である。
【図２】図２は、フィールドインターリーブピクチャの立体表示再構成を示す図である。
【図３】図３は、本発明の実施の形態による立体素材配信の格子インターリーブ配列を示す図である。
【図４】図４は、本発明の実施の形態による格子インターリーブピクチャの立体表示再構成を示す図である。
【図５】図５は、本発明の実施の形態により構成されたビデオエンコーダ（すなわち、ＡＶＣエンコーダ）の図である。
【図６】図６は、本発明の実施の形態による差異的にコーディングされた画像／ビデオをデコーディングできるビデオデコーダ（すなわち、ＡＶＣデコーダ）の図である。
【図７】図７は、本発明の実施の形態による動き予測を用いた表示視差解析と分類を示す図である。
【図８】図８は、本発明の実施の形態によるバンドパスフィルタを用いたＣＢインターリーブピクチャの表示視差解析と分類を示す図である。
【図９】図９は、本発明の実施の形態によるバンドパスフィルタを用いた表示視差解析と分類を示す図である。
【図１０】図１０は、本発明の実施の形態による動き予測を用いたＣＢインターリーブピクチャの例示の表示視差解析と分類を示す図である。
【図１１】図１１は、本発明の実施の形態によるデブロッキングパラメータ決定を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態による４：２：０コンテンツを示す図である。図は、モジュロ４の整数サンプルが動き予測および補正のために二次表示汚染を有さないことを示す。動き予測をこれらの位置に限定することは、コーディング効率と複雑さの双方に大きな影響を有する。
【図１３】図１３は、本発明の実施の形態によるフィールドベースのエンコーディングを示す図である。
【図１４】図１４は、本発明の実施の形態によるコーディングモード決定を示すブロック図である。
【発明を実施するための形態】
【００２７】
立体ビデオフォーマットは、列インターリーブ（フィールドシーケンシャル）、格子、ピクセル／行インターリーブ、サイドバイサイドおよび他のものを含んでもよく、それらは、生来、通常の画像と比較して非常に変わった画像特性となり、そのような一般的なビデオコーデックは本来最適化される。ＡＶＣ／Ｈ．２６４などの一般的なビデオコーデックは、エンコードされたピクチャ内の全ピクセルは同じ画像（あるいはこの場合には表示）に属し、動き予測と内部予測、変換と量子化、および他のもののデブロッキング等の空間時間予測などの技術を用いて利用できる、ある空間時間特性を有するものと仮定される。
【００２８】
しかしこれらの特性は、そのようなツールのパフォーマンスを悪化させたり制限したりする立体画像フォーマット内に常に存在するとは限らない。特に、図１に示すように、列インターリーブアプローチは、圧縮前に適切な垂直フィルタとデシメーションの使用により、２つの立体表示画像を１つの画像に配列する。
【００２９】
同様に、再構成プロセスは、組み合わせた画像からのそれぞれの表示から対応するピクセルを抽出することと、図２に示すように適切なフィルタを用いて見えないサンプルを生成することを含む。このことは、垂直に隣接するピクセル間の空間的相関はかなり低く、１つの表示の情報を他の表示の情報で汚染しないようにピクチャをエンコードするときに空間的な配慮がなされなければならないことを示唆する。エンコーディングソリューションがそのような規則を遵守しないならば、このことは、コンテンツを適切な立体ディスプレイで表示するときにかなり見えるアーティファクトとなるであろう。
【００３０】
格子インターリーブ法（たとえば、図３および図４）は、同様のまたはさらに強調された問題となるであろう。しかし、格子法は、他のフォーマットに比較して改良された分解のために、また入手可能なディスプレイ装置で現在サポートされているので、特に興味深い。本発明者らは、しかし、許容範囲の品質性能を有する適切なビデオエンコードシステムの創造を想定して、消費者のアプリケーション用の立体ビデオフォーマットの創造と採用の必要性を理解している。しかしピクセル配列は、エンコーディングプロセス中に考慮すべき現存のビデオエンコーダに対するチャレンジを増加させる。
【００３１】
本発明は、様々なやり方で実施される多くの方法、装置および構造で達成され、そのやり方のそれぞれは、エンコーディングプロセス中に考慮され、固定ビットレートまたは固定品質目標を付与された同等低減ビットレート（equivalently reduced bit-rate）を付与された品質向上で計測された、および／または、コーディング効率への影響があるならわずかなエンコーディング分解の複雑さの低減で計測された、いずれかのコーディング効率の改善となる。ここで提供する方法は、ＡＶＣ／Ｈ．２６４のスケーラブルビデオコーディング拡張（ＳＶＣ）等のスケーラブルソリューションを含め、現在または将来のビデオコーデックに適用できるが、２以上の表示の単一ピクチャ内の、すなわちマルチ表示ビデオコーディング用の、配列を記述する他の配列にも適用できる。
【００３２】
ここで提供する方法は、全ての利用できるエンコードするツールが他からの表示のサンプルの可能性のある汚染を評価するやり方で考慮するという原則に基本的に基づいている。特にデブロッキングは、隣接したサンプルにわたってフィルタリングプロセスを普通に実行し、フィールドおよび格子インターリーブ法などのある立体配列を与えられると、立体体験をかなり損なうことがある。したがって、そのような素材または大きな立体表示視差の領域ではデブロッキングを無効にしまたは適切にコントロールすることを提案する。たとえば、図１１はデブロッキングパラメータ決定を示すフローチャートである。
【００３３】
立体表示視差の大きさの決定は、たとえば、２つの表示間の基本的動き予測テストを用いて実行される。そのテストは、ブロックベースの動き予測スキームを用いて実行することができ、拡張予測区域探索（Enhanced Predictive Zonal Search（ＥＰＺＳ））プロセスのような照明変化特性評価、または特にピクセルリカーシブ、フェーズベース、およびトゥルーモーション領域ベースの動き予測を含む他の方法を用いて実行される（たとえば、図７は、本発明の実施の形態による表示視差解析を図解する線図である）。このようなプロセスを用いて、ゼロまたはほとんどゼロの動きを有すると決定された領域は、ゼロ立体表示視差または低立体表示視差領域と分類され、他の全ては高立体表示視差領域と分類される。パラメータは、たとえば、付与された視差分類プロセスに基づいて決定される。
【００３４】
一実施の形態では、デブロッキングはゼロまたは低視差領域でのみ許容され適切に調整され、高視差の領域では、許容されずまたは低強度デブロッキングメカニズムで適切に調整される。このことは、例えば、画像中で適切に配列されたスライスを用いて、それぞれを必要なデブロッキング信号と結びつけること行われる。領域はまた、Ｍ．Ｌａｔｚｅｌ、Ｊ．Ｋ．Ｔｓｏｔｓｏｓ「A robust motion detection and estimation filter for video signals」２００１年ＩＥＥＥ画像処理国際会議（ＩＣＩＰ’０１）第１巻３８１〜３８４頁（２００１年１０月）に示されたもの、Ｐ．Ｙｉｎ、Ａ．Ｍ．Ｔｏｕｒａｐｉｓ、Ｊ． Ｂｏｙｃｅ「Fast decision on picture adaptive frame/field coding for H.264」ＶＣＩＰ２００５で述べられたものの１つのようなバンドパスフィルタの使用など他のメカニズムを用いて特徴付けることもできる。しかし、立体表示配列とすると、そのようなフィルタを鉛直方向だけに適用する代わりに、同じフィルタを垂直と水平の両方に適用して、その領域が高または低またはゼロ視差領域に分類されるのかを決定することもできる。たとえば、図８は、本発明の実施の形態によるバンドパスフィルタを用いた表示視差分析とＣＢインターリーブピクチャの分類を図示する。
【００３５】
一実施の形態では、これらの方法を２Ｄフィルタをサポートするのに拡張することにより実行される。これらのフィルタはまた、画像を水平方向および／または垂直方向にサブサンプリングすること、および、サブサンプリングプロセスの方向を与えられた適切なフィルタを適用することによっても適用することができる。たとえば、オリジナル立体多重放送画像の２つのサブサンプル版、水平サブサンプルを用いた第１のものと垂直サブサンプリングを用いた第２のものとを生成してもよい。それから、第１のものは、垂直バンドパスフィルタを用いて処理し、第２のものは水平バンドパスフィルタを用いて処理する。両画像のサンプルは、これらのフィルタの挙動を与えられて特徴付けされ、その結果は全体画像を分類するのに累積される。たとえば、図９は、本発明の実施の形態による２段バンドパスフィルタを用いた例示の表示視差解析とＣＢインターリーブピクチャの分類を図示する線図である。
【００３６】
Ａｄａｍｓの「Interlace motion artifact detection using vertical frequency detection and analysis」米国特許第６，９０９，４６９号で説明されるような視差を分類する他の方法を用いることもでき、米国特許第６，９０９，４６９号の内容の全てを本書に参照して組み込む。動きベース解析が、最終的な全ての解像度表示を分解し再構築することにより解析を実施するか、１つの表示だけからのサンプルを含む低解像度のサブ画像を生成しこれらのサブ画像を特徴付けすることにより、既にインターリーブされたピクチャの配列に対しても使用できるということは重要である。たとえば、図１０は本発明の実施の形態による動き予測を用いる例示の表示視差解析とＣＢインターリーブピクチャの分類を図示する線図である。対応するプロセスは表示分解ステージを用い、表示分解ステージは例えば、整列したサンプルだけ（すなわち、画像の偶数または奇数の列だけからのサンプル）をフィルタまたは考慮することを含む。
【００３７】
上記の視差解析は、画像の各領域に適用されるデブロッキングメカニズムの選定に有用なだけではなく、動き予測のようなコーディングツールの決定が領域をエンコードするのに考慮される、エンコーディングの複雑さを減じるのにかなり有益である、他の目的にも有用であることは重要である。
【００３８】
一実施の形態では、エンコーダが最初に画像の視差解析を行う。領域が高立体表示視差領域と分類されると、一表示のサンプルの他の表示のサンプルによる汚染となるであろうツールが使用不能にされ、または、エンコーディングの決定プロセスの間優先順位を考えるのに低位とされる。たとえば、現存するコーデックでのサブサンプル動き補正は、画像を超えて適用される種々のフィルタを用いて実行される。特に、ＡＶＣ／Ｈ．２６４では、βタップを半サンプル位置に用い、バイナリフィルタを４分の１サンプルと色度サンプル位置に用いる。バイキュービック、２Ｄ非分離、対角線等を含む他のフィルタを用いてもよい。
【００３９】
高立体表示視差領域では、サブサンプル補間の尤度がかなり低く、実際、もし用いるならば、残りのコーディングプロセスで修正が必要になるかなりのコーディングアーティファクトを生ずるであろう。したがって、エンコーダは、このような領域ではこのようなツールを考慮する必要がないと判断してもよく、複雑さとコーディングアーティファクトを生ずる可能性をかなり低下する。画像中のある整数サンプル位置の考慮について同様の結論とすることもできる。特に、４：２：０コンテンツ、および、ＣＢインターリーブパターン、現在位置との比較でモジュロ４整数サンプル位置だけは、他の表示からの汚染を回避することが分かる。例えば、本発明の実施の形態による４：２：０コンテンツを説明する図である図１２を参照。その図は、モジュロ４整数サンプルが、動き予測と補償の目的については二次表示汚染を有さないことを示す。動き予測をこれらの位置に限定することは、コーディング効率と複雑さとの双方に大きな影響を有する。
【００４０】
特に、水平または垂直方向の距離１の位置は、輝度成分の明白な予測汚染となるが、色度成分の部分的汚染ともなる（色度に対しバイナリフィルタを用いるため）。同様に、水平または垂直方向の距離２の位置についても、輝度サンプル予測が適切になされても、色度サンプルの適切でない予測の影響を受ける。
【００４１】
一実施の形態では、また、サブサンプルの場合に類似して、エンコーダは、エンコーディングプロセスの間に二次表示汚染となるサンプルの考慮優先順位（すなわち、ＥＰＺＳのような速い動き予測スキーム内で）を考慮しない、または、低下する。考慮優先順位は、最初にモジュラ４整数位置を考慮したような方法で、設計され得る。これらのサンプルを用いる最適位置が、たとえばＳＡＤなどのゆがみがある値Ｔ１より小さいという、ある閾値基準を満たさないならば、他のすべての位置も調べられる。残りの位置は、立体表示サンプル汚染影響に基づく段階で、すなわち最初にモジュロ２距離位置（色度汚染だけからの品質の影響）、続いて奇数距離位置（輝度と色度サンプルの双方からの汚染）を、調べることでもよい。
【００４２】
一実施の形態では、この考慮は、事前解析／最初のエンコーディングパス段階、すなわち、多重パスエンコーディングスキームにおける、事前解析統計が量子化パラメータなどのエンコーディングパラメータの決定に必要な時にのみ適用され得る。別の実施の形態では、この方法は、ある参照ピクチャまたはあるサイズのブロックサイズ（すなわち、ＡＶＣ／Ｈ．２６４について８×８以下のブロックサイズだけ）に対してのみ考慮され、全サンプルが調べられるより大きな部分については考慮されない。
【００４３】
この方法は、全てのピクチャにサブサンプリングを交互に行うことを考慮する立体表示マルチプレキシングスキームに展開することもできる。この技術分野に親しんでいる者にとっては、この方法が他のカラー及び／または色度サブサンプリングフォーマットに容易に展開できることは明らかであろう。さらに、上記の説明は、内部予測にも展開できる。
【００４４】
フィールドベースコーディングは、立体表示サンプルが列インターリーブ（フィールドシーケンス）アプローチで配列されていなくても、エンコーディングには有用であり、さらなる利点も提供する。特に、格子インターリーブアプローチについて、ピクチャレベルおよびマクロブロックレベルの双方でのフィールドコーディングは、圧縮効率を改善する垂直立体表示対応を満たす画像となるであろう。このことは、垂直補間の信頼性も改善し、前述のように、動きと内部予測についてより有用に、そしてより信頼性高くなる（すなわち、垂直内部予測の効率を改善）。立体表示の品質への影響も、フレームとフィールドコーディング配列についての量子化マトリックスの設計と選定をしている間に考慮することができる。
【００４５】
図１３は、本発明の実施の形態によるフィールドベースのエンコーディングを図解する図である。フィールドベースコーディングは、ピクチャレベルとマクロブロックレベルの双方において、格子インターリーブのような立体表示ミキシングの種々のタイプに有用である。図示の例示の配列では、水平サンプル汚染のみが存在し、コーディング効率を潜在的に改善する。
【００４６】
一実施の形態では、コーディング効率は、与えられた決定のゆがみを評価するのに最終的出力フォーマット、すなわち適切な補間を含む最終的立体表示画像を考慮することによりエンコーディング決定を実行することにより、かなり改善できる。決定は、あるブロックコーディングモード、参照、動きベクトルおよび／または照明変化パラメータ、他の間での内部予測モードの選定のような、ピクチャおよびマクロブロックレベル決定を含んでもよい。差の絶対値の合計（ＳＡＤ）または残差平方和（ＳＳＥ）のようなゆがみは、オリジナル非インターリーブ立体表示、あるいはオリジナル、非エンコード立体インターリーブ画像を用いる再構築立体表示と比較して算定できる。各コーディングモードに対し、ゆがみは、（低い複雑さまたは基本的動き予測についての）予測または（高い複雑さについての）最終的再構築サンプルを考慮し、表示をデマルチプレクシング（逆多重化）し適切に内挿することにより評価される。
【００４７】
補間は、基本的補間プロセス（すなわち、隣接する同じ表示サンプルの全てを平均する）を用いてもよく、または、ディスプレイの前および／または間に実行されるプロセスをエミュレートするより複雑なプロセス（例えば、本発明の実施の形態によるコーディングモード決定を図解するブロック図である図１４参照。モード決定および／または動き予測のコーディング効率は、ゆがみが立体表示サンプルを分離して３Ｄ表示履歴を計算することにより算定されるならば、改善できる）を用いて行ってもよい。特にラグランジュ最適化を用いることを仮定して、ビデオコーディング決定は、以下の色のラグランジュコストを用いて実行できる。
Ｊ（λ）＝μＬＶＤＬＶ（Ｒ）+μＲＶＤＲＶ（Ｒ）＋λ・Ｒ （１）
ここで、ＤＬＶとＤＲＶはそれぞれ左および右表示のゆがみ値であり、μＬＶとμＲＶはそれぞれの表示に関連するラグランジュ乗数であり、Ｒはそのコーディングモードを選定するための予測または実際ビットレートである。
【００４８】
λは、レートパラメータに対するラグランジュパラメータである。μＬＶ＞μＲＶの一実施の形態では、他のもの（すなわち右）に対して一表示（すなわち左）の品質に高いバイアスを掛けることは、立体表示マスキング特性を利用することを助長する。この方法は、前記の視差領域解析方法を考慮する間に行うこともできる。特に、例えば、ゼロまたは低立体視差領域について、追加のプロセスを実行する必要なしで全表示のゆがみを一緒に考慮し、高立体視差領域についてこの方法を考慮するだけ、よって顕著に複雑さを減じることができる。
【００４９】
本開示に基づき、能力と効率を変化させる種々の装置を構築できる。例示のそのような装置は、例えば図５に示される。図５は、本発明の実施の形態により構成されたビデオエンコーダ（すなわちＡＶＣエンコーダ）の図であり、たとえば、1つ以上のまたはいかなる上記の視差決定のための設備、および、種々の説明したエンコーディング特徴（あるいは将来開発されるエンコーディング特徴）の１つ以上を調整し、コントロールし、停止する施設を含む。
【００５０】
図６は、本発明の実施の形態に従う、最適コードされた画像／ビデオをデコーディングすることができるビデオデコーダ（すなわち、ＡＶＣデコーダ）の図である。デコーダは包括的であるが、本発明にしたがってエンコードされたビットストリーム経由で信号または他のアクセスデータを供給される。本発明は特に、本発明によるいかなる局面、特徴、装置あるいはプロセスによりエンコードされたアクセスデータ（ビットストリームで伝達されても記憶装置（例えばメモリスティック、ハードドライブ、Ｉポッド［登録商標］等）から読まれても）を供給されまたは意図する、専用のあるいは包括的な、いかなるデコーダを含む。
【００５１】
図面に示された本発明の好適な実施の形態を説明するのに、明確化のため特定の用語を用いる。しかし、本発明は、そのように選定された特定の用語に制限する意図はなく、各特定の要素は、同様に動作する技術的な均等物の全てを含むということは理解されなければならない。さらに、発明者らは、現在は知られていない新たに開発された技術もまた、説明する部分にとって代わることができ、本発明の範囲から逸脱しないことを認識している。エンコーダ、デコーダ、比較器（comparitor）、マルチプレクサ、プロセス、プロセッサ、ブルーレイプレーヤを含むハードウェアの配列、パターン等を含むがこれらには限定されない、他の全ての説明した項目は、いかなる全ての入手可能な均等物の観点で考慮される。
【００５２】
本発明の一部は、コンピュータ分野の当業者には明らかなように、従来の汎用または専用デジタルコンピュータまたは本開示の教示によりプログラムされたマイクロプロセッサを用いて適切に実行される。
【００５３】
適切なソフトウェアコーディングは、ソフトウェア分野の当業者には明らかなように、本開示の教示に基づいて、熟練したプログラマにより容易に作成できる。本発明はまた、本開示に基づいて当業者には明白なように、特定用途向け集積回路の作成により、または、従来の部品回路の適切なネットワークを接続することにより実行できる。
【００５４】
本発明は、本発明のいずれかを実行するようにコンピュータをコントロールしまたはコンピュータに実行させるのに用いられる、そこに記憶された命令を有する記憶媒体であるコンピュータプログラム製品を含む。記憶媒体には、フロッピーディスク、ミニディスク（ＭＤ）、光ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ，ＣＤまたはＤＶＤ ＲＷ＋／−、マイクロドライブ、及び、光磁気ディスクを含むいかなるタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯM、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置（フラッシュカード、メモリスティックを含む）、磁気または光カード、ＳＩＭカード、ナノスティック（モレキュラメモリＩＣを含む）、ＲＡＩＤ装置、リモートデータ記憶／アーカイブ／ウェアハウジング、あるいは、命令および／またはデータを記憶するのに適切ないかなるタイプの媒体または装置を含むが、それらには限定されない。
【００５５】
コンピュータ可読媒体のいずれかに記憶され、本発明は、汎用／専用双方のコンピュータまたはマイクロプロセッサのハードウェアのコントロールし、コンピュータまたはマイクロプロセッサにユーザあるいは本発明の結果を利用する他の機構と情報のやり取りを行えるようにするソフトウェアを含む。そのようなソフトウェアには、装置ドライバ、オペレーティングシステムおよびユーザアプリケーションを含むが、それらには限定されない。最後に、そのようなコンピュータ可読媒体は、上記のように、本発明を実行するソフトウェアをさらに含む。
【００５６】
本発明の教示を実行するソフトウェアモジュールは、汎用／専用コンピュータまたはマイクロプロセッサのプログラム（ソフトウェア）に含まれ、本発明の教示には、1つより多い画像からピクセルの格子を準備すること、格子をビデオフォーマットのフレームとしてエンコードすること、格子をビデオフォーマットのフレームとしてエンコードし、１つより多い画像を表わす格子の画像パターンの領域についての少なくとも１つのエンコーディング特徴をコントロールすることであって、１つより多い画像の領域では、その特徴をコントロールせずにエンコードすると表わされた画像間の二次汚染となる表わされた画像の視差の量を含むことと、画像の格子エンコードされたセットを転送フォーマットにパッケージすること、画像の格子エンコードされたセットを含む転送フォーマットをデコードすること、少なくとも１つのフレームの画像のパターン付けされたセットを含むビデオフォーマットをデコードすること、画像用データの格子パターンを含むビデオフォーマットをデコーディングすること、３Ｄ画像の第１および第２チャンネル画像データを表わす画像データの格子パターンを含むビデオフォーマットをデコーディングすること、少なくとも１つのフレームの少なくとも１つのフレーム画像の画像のパターン付けされたセットを認識すること、および、本発明のプロセスによる結果の表示、記憶あるいは情報伝達を含むが、これらには限定されない。
【００５７】
よって、本発明の実施の形態は、以下の列挙例実施形態（ＥＥＥ）の１つ以上に関連し、各ＥＥＥは例示であり、上記の他の関連説明と共に、現状あるいは後で補正され置き換えられ追加されるように、以下に示される請求項を限定するものと解釈してはならない。同様に、これらの例示は、関連する特許および／または特許出願（外国または国際対応出願および／または特許、分割出願、継続出願、再発行特許、等を含む）の請求項に関して限定するものと考えてはならない。
【００５８】
［例示］
列挙例実施形態１（ＥＥＥ１）
１つより多い画像を表わす画像パターンの領域のエンコーディングプロセスのエンコーディング特徴をコントロールするステップであって、前記１つより多い画像は、前記特徴なしでエンコードされると表わされた画像間の二次汚染となる表わされた画像中の視差の量を前記領域が含む時に前記エンコーディングプロセスによりエンコードされるステップを備える、画像をエンコードする方法。
【００５９】
ＥＥＥ２
前記エンコーディング特徴をコントロールするステップは、エンコーディング特徴を停止することを備える、ＥＥＥ１の方法。
【００６０】
ＥＥＥ３
前記エンコーディング特徴をコントロールするステップは、単一画像を表す画像パターンをエンコードするときよりも少なく前記エンコーディング特徴を用いることを備える、ＥＥＥ１の方法。
【００６１】
ＥＥＥ４
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を反対にバイアスすることを備える、ＥＥＥ１の方法。
【００６２】
ＥＥＥ５
前記表される画像は、１つの立体表示、複数の立体表示、同じ場面の複数の表示および複数の無関係な表示の１つを備える、ＥＥＥ１の方法。
【００６３】
ＥＥＥ６
前記コントロールするステップは、前記エンコーディング特徴の相対的な変化の度合いを備え、該相対的な変化の度合いは視差に基づく、ＥＥＥ１の方法。
【００６４】
ＥＥＥ７
前記コントロールするステップは、ゼロまたはゼロに近い視差を有すると判断された領域に対し前記エンコーディング特徴を少なくとも部分的に有効とし、他の全ての領域について前記エンコーディング特徴を無効とすることを備える、ＥＥＥ１の方法。
【００６５】
ＥＥＥ８
前記画像をバンドパスフィルタすることにより視差を決定するステップをさらに備える、ＥＥＥ１の方法。
【００６６】
ＥＥＥ９
前記バンドパスフィルタは垂直方向にも水平方向にも適用される、ＥＥＥ８の方法。
【００６７】
ＥＥＥ１０
前記視差を、高視差、低視差およびゼロ視差の１つとして分類し、該視差分類を用いて前記コントロールするステップを指示するステップをさらに備える、ＥＥＥ１の方法。
【００６８】
ＥＥＥ１１
前記視差の量は、表される画像の隣接領域間の視差の量を備える、ＥＥＥ１の方法。
【００６９】
ＥＥＥ１２
前記視差の量は、表される画像の対応する領域間の視差の量を備える、ＥＥＥ１の方法。
【００７０】
ＥＥＥ１３
前記視差の量は、立体視差の量を備える、ＥＥＥ１２の方法。
【００７１】
ＥＥＥ１４
前記コントロールするステップは、パターン中の他の画像の対応する領域と比較したときに、相対的に低い立体視差あるいは立体視差のない領域についてのエンコーディング特徴を有効にし、相対的に高い立体視差を有する領域についてのエンコーディング特徴を無効にすることを備える、ＥＥＥ１３の方法。
【００７２】
ＥＥＥ１５
前記視差は、領域の位置の差を備える、ＥＥＥ１の方法。
【００７３】
ＥＥＥ１６
前記コントロールするステップは、背景位置の領域について前記エンコーディング特徴を有効にし、前景位置の領域について前記エンコーディング特徴を無効にする、ＥＥＥ１５の方法。
【００７４】
ＥＥＥ１７
前記視差の量は、前記１つより多い画像の対応する領域における予測された動きの量を備える、ＥＥＥ１の方法。
【００７５】
ＥＥＥ１８
前記予測された動きは特徴ベースの動き予測を備える、ＥＥＥ１７の方法。
【００７６】
ＥＥＥ１９
前記予測された動きはピクセルベースの動き予測を備える、ＥＥＥ１７の方法。
【００７７】
ＥＥＥ２０
前記予測された動きは、ブロックベースの動き予測、フェーズベースの動き予測、周波数領域ベースの動き予測、ピクセルリカーシブ動き予測、トゥルーモーション領域動き予測およびベイジアンベース動き予測の少なくとも１つを備える、ＥＥＥ１７の方法。
【００７８】
ＥＥＥ２１
前記予測された動きは拡張予測区域検索（ＥＰＺＳ）を備える、ＥＥＥ１７の方法。
【００７９】
ＥＥＥ２２
前記コントロールするステップは、ゼロまたはゼロに近い動きを有すると決定された領域に対て前記特徴を少なくとも部分的に有効にし、他の全ての領域に対して前記特徴を無効にすることを備える、ＥＥＥ１７の方法。
【００８０】
ＥＥＥ２３
前記視差の量は、対応する領域の照明変化の量を備える、ＥＥＥ１７の方法。
【００８１】
ＥＥＥ２４
前記対応する領域は画像の立体ペアの対応する領域を備える、ＥＥＥ２３の方法。
【００８２】
ＥＥＥ２５
前記視差の量は画像の画像間の動き予測の量を備える、ＥＥＥ１の方法。
【００８３】
ＥＥＥ２６
前記動き予測は、拡張予測区域検索（ＥＰＺＳ）を備える検索経由で決定される、ＥＥＥ２５の方法。
【００８４】
ＥＥＥ２７
前記エンコーディング特徴は、デブロッキング、変換および量子化の１つを備える、ＥＥＥ１の方法。
【００８５】
ＥＥＥ２８
前記エンコーディング特徴は動き補正を備える、ＥＥＥ１の方法。
【００８６】
ＥＥＥ２９
前記エンコーディング特徴は、フレーム間予測およびフレーム内予測の少なくとも１つを備える、ＥＥＥ１の方法。
【００８７】
ＥＥＥ３０
前記エンコーディング特徴は変換を備える、ＥＥＥ１の方法。
【００８８】
ＥＥＥ３１
前記エンコーディング特徴は量子化をさらに備える、ＥＥＥ３０の方法。
【００８９】
ＥＥＥ３２
前記エンコーディング特徴はカラーフォーマットとサンプリング構成の少なくとも１つを備える、ＥＥＥ１の方法。
【００９０】
ＥＥＥ３３
前記エンコーディングプロセスはビデオエンコーディングプロセスを備える、ＥＥＥ１の方法。
【００９１】
ＥＥＥ３４
前記ビデオエンコーディングプロセスは、ハイデフィニッションビデオエンコーディングを備える、ＥＥＥ３３の方法。
【００９２】
ＥＥＥ３５
前記エンコーディングプロセスは、スケーラブルビデオコーディングを備える、ＥＥＥ１の方法。
【００９３】
ＥＥＥ３６
前記スケーラブルビデオコーディングは、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張を備える、ＥＥＥ３５の方法。
【００９４】
ＥＥＥ３７
前記エンコーディングプロセスはビデオを備える、ＥＥＥ１の方法。
【００９５】
ＥＥＥ３８
前記エンコーディングプロセスは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４Ｐａｒｔ２およびＭＰＥＧ−４ＡＶＣ／Ｈ．２６４を含むＭＰＥＧコーデックのいずれか、ＶＣ１、ＲｅａｌＶｉｄｅｏ（登録商標）、Ｏｎ２テクノロジー社のＶＰ６／ＶＰ７のような他のコーデック、あるいは、ＡＶＣのＭｕｌｔｉ−ｖｉｅｗ Vｉｄｅｏ Cｏｄｉｎｇ拡張のいずれかを備える、ＥＥＥ１の方法。
【００９６】
ＥＥＥ３９
前記画像パターンは、ピクセルの「白」および「黒」格子配列を備え、ここで、「黒」ピクセルは立体表示の第１チャンネルのピクセルを備え、「白」ピクセルは立体表示の第２チャンネルのピクセルを備える、ＥＥＥ１の方法。
【００９７】
ＥＥＥ４０
前記画像パターンは、ピクセルの「多色」「格子」配列を備え、ここで、「格子」のそれぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える、ＥＥＥ１の方法。
【００９８】
ＥＥＥ４１
前記「多色」「格子」は、２つより多い「色」を備える、ＥＥＥ４０の方法。
【００９９】
ＥＥＥ４２
前記画像パターンは、ピクセルの「多色」配列を備え、ここで、前記配列のそれぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える、ＥＥＥ１の方法。
【０１００】
ＥＥＥ４３
前記配列は、各「色」／画像に割り当てられた列および行の少なくとも１つの配列を備える、ＥＥＥ４２の方法。
【０１０１】
ＥＥＥ４４
前記配列は、各「色」／画像に割り当てられた位置のに割り当てられた位置でのモジュラス空間配列を備える、ＥＥＥ４２の方法。
【０１０２】
ＥＥＥ４５
前記エンコーディングプロセスは、フィールドベースのエンコーディングを備える、ＥＥＥ１の方法。
【０１０３】
ＥＥＥ４６
前記エンコーディングプロセスは、ピクチャレベルおよびマクロブロックレベルの少なくとも１つで実行されるフィールドベースのエンコーディングを備える、ＥＥＥ１の方法。
【０１０４】
ＥＥＥ４７
前記視差の量は、ピクチャレベル解析、スライスの解析、領域レベル解析、マクロブロック解析およびブロックレベル解析の少なくとも１つを備える、ＥＥＥ１の方法。
【０１０５】
ＥＥＥ４８
前記視差の量は、ゆがみを算定するステップで決定される、ＥＥＥ１の方法。
【０１０６】
ＥＥＥ４９
前記ゆがみを算定するステップは、立体表示サンプルを分離し、分離されたサンプルの３D表示に基づいてゆがみを算定することを備える、ＥＥＥ４８の方法。
【０１０７】
ＥＥＥ５０
前記算定されたゆがみは、輝度と色度の少なくとも１つを備える、ＥＥＥ４８の方法。
【０１０８】
ＥＥＥ５１
前記算定されたゆがみは、画像パターンで表される前の少なくとも１つの画像との比較を備える、ＥＥＥ４８の方法。
【０１０９】
ＥＥＥ５２
前記視差の量は、オリジナル画像をデコードされた後の「格子」で表される画像と比較することにより算定されるゆがみを算定することを備えるステップで決定される、ＥＥＥ４０の方法。
【０１１０】
ＥＥＥ５３
前記視差の量は、ゆがみを算定することを備えるステップで決定され、前記ゆがみは、オリジナル原像パターン画像をデコードされた後の画像パターンで表される画像と比較することにより算定される、ＥＥＥ１の方法。
【０１１１】
ＥＥＥ５４
前記視差の量は、ゆがみを算定し、前記ゆがみは実質的に画像パターンにエンコードされた３Ｄ画像のオリジナルペアから算定されることと、前記画像のオリジナルペアを画像パターンからデコードされた画像とを比較することとを備えるステップで決定される、ＥＥＥ１の方法。
【０１１２】
ＥＥＥ５５
前記視差の量は、実質的に画像パターンにエンコードされた３Ｄ画像のオリジナルペアから算定されるゆがみを算定することと、その後に前記画像のオリジナルペアを画像パターンからデコードされた画像とを比較することとを備えるステップで決定される、ＥＥＥ１の方法。
【０１１３】
ＥＥＥ５６
低減された画像セットのコンテンツに基づき品質を低下するステップが実行される、ＥＥＥ５５の方法。
【０１１４】
ＥＥＥ５７
前記画像セットの所望の許容できるレベルの品質を考慮する価格決定モデルに基づき品質を低下するステップが実行される、ＥＥＥ５５の方法。
【０１１５】
ＥＥＥ５８
前記表された画像中の画像セットは所望の品質に基づき優先順位が決められ、前記品質を低下するステップは、該画像セットに実行されるならば、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように前記画像セットの優先順位にしたがって調整される、ＥＥＥ５５の方法。
【０１１６】
ＥＥＥ５９
前記表された画像中の画像セットは所望の品質に基づき優先順位が決められ、前記品質を低下するステップは、該画像セットに実行されるならば、高い優先順位の画像セットが大きすぎ画像セットの全てを搬送するのに追加のスペースまたはバンド幅が必要にならない限り、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように前記画像セットの優先順位とサイズにしたがって調整される、ＥＥＥ５５の方法。
【０１１７】
ＥＥＥ６０
前記品質を低下するステップは、立体画像セットの表示上で実行される、ＥＥＥ５５の方法。
【０１１８】
ＥＥＥ６１
画像の立体ペアを受け取るステップと；
前記画像を画像パターンに組み合わせるステップと；
前記画像パターンをエンコードする少なくとも１つのツールを評価するステップと；
エンコーディングまたは対応するデコーディングプロセスでの画像間の二次汚染量が所定の二次汚染閾値よりも低ければ、エンコーディングプロセスで少なくとも１つのエンコードするツールを適用するステップとを備え；
前記エンコーディングプロセスは既存のビデオフォーマットを備える；
方法。
【０１１９】
ＥＥＥ６２
前記少なくとも１つのエンコードするツールを適用するステップは、画像の領域を優先順位を付けることと、前記エンコードするツールを前記優先順位に従って各領域に適用することを備える、ＥＥＥ６１の方法。
【０１２０】
ＥＥＥ６３
前記優先順位を付けることは、少なくとも１つのエンコードするツールが適用される高優先順位の領域と、前記コーディングツールが必ずしも適用されない低優先順位の領域を備える、ＥＥＥ６２の方法。
【０１２１】
ＥＥＥ６４
前記優先順位を付けることは、少なくとも１つの所定の閾値を通過する領域に基づく、ＥＥＥ６２の方法。
【０１２２】
ＥＥＥ６５
前記少なくとも１つの所定の閾値は、少なくとも１つの立体視差、動きの検知、輝度差、および色度差閾値を備える、ＥＥＥ６４の方法。
【０１２３】
ＥＥＥ６６
前記既存のビデオフォーマットは、立体画像をエンコードするように開発されてはいないビデオフォーマットを備える、ＥＥＥ６１の方法。
【０１２４】
ＥＥＥ６７
前記既存のビデオフォーマットは、スケーラブルビデオコーディング拡張を備える、ＥＥＥ６１の方法。
【０１２５】
ＥＥＥ６８
前記評価するステップは、立体視差解析、動き予測解析、明度解析、多重パスエンコーディングからの解析、事前プロセスおよび早期プロセスからの解析、および動き補正時間フィルタ（ＭＣＴＦ）解析の少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２６】
ＥＥＥ６９
前記少なくとも１つのツールは、デブロッキングおよび予測ツールの少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２７】
ＥＥＥ７０
前記エンコードするツールの少なくとも１つを適用するステップをさらに備え、二次汚染の量が許容できる所定の二次汚染の範囲内であれば低減したレベルで前記エンコードするツールの少なくとも１つを適用することを備える、ＥＥＥ６１の方法。
【０１２８】
ＥＥＥ７１
前記二次汚染は、輝度、色度、ブロッキングおよび立体表示汚染の少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２９】
ＥＥＥ７２
前記評価するステップは、コストプロセスを備える、ＥＥＥ６１の方法。
【０１３０】
ＥＥＥ７３
前記コストプロセスは、算定コストと汚染コストの関数を備える、ＥＥＥ７２の方法。
【０１３１】
ＥＥＥ７４
前記コストプロセスは、下記のラグランジュコストを備える、ＥＥＥ７２の方法。
Ｊ（λ）＝μＬＶＤＬＶ（Ｒ）+μＲＶＤＲＶ（Ｒ）＋λ・Ｒ
ここで、ＤＬＶとＤＲＶは画像ペアの左および右画像のゆがみ値であり、μＬＶとμＲＶは各画像に関連するラグランジュ乗数であり、Ｒは前記エンコーディングツールを備えるコーディングモードを選定するための予測または実際ビットレートであり、λはレートパラメータ用のラグランジュパラメータである。
【０１３２】
ＥＥＥ７５
μＬＶ＞μＲＶまたはμＬＶ＜μＲＶが一表示の品質に対し高いバイアスとなる場合には、エンコーディングプロセスで前記エンコードするツールの少なくとも１つを適用することにより立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ７４の方法。
【０１３３】
ＥＥＥ７６
前記画像の立体ペアの１つの低品質版を提供し、前記画像の立体ペアのその後の左表示と右表示間で前記低品質版を交互に入れ替えることにより、立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３４】
ＥＥＥ７７
前記画像の立体ペアの少なくとも１つの品質を変化させ、前記品質は前記画像の優先順位に基づいて選定されることにより、立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３５】
ＥＥＥ７８
エンコーディングあるいは対応するデコーディングプロセスにおける前記画像の1つの二次汚染の量が第１の所定のＳＶＭ二次汚染閾値より大きく、前記エンコーディングあるいは対応するデコーディングプロセスにおける他の画像の二次汚染の量が第２の所定のＳＶＭ二次汚染閾値より小さければ、エンコーディングプロセスにおいて少なくとも１つのエンコーディングツールを適用することにより立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３６】
ＥＥＥ７９
エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと；
前記エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと；
デコードされる前記画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、前記評価に基づいて前記ツールの少なくとも１つの使用の量を調整するようになされた評価プロセッサとを備える；
エンコーディング装置。
【０１３７】
ＥＥＥ８０
前記ファクタは視差、輝度、色度および動き予測の少なくとも１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１３８】
ＥＥＥ８１
前記１組のツールは、デブロッキングツールと動き予測ツールの少なくとも１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１３９】
ＥＥＥ８２
前記エンコーダは、スケーラブルビデオエンコーダを備える、ＥＥＥ７９のエンコーディング装置。
【０１４０】
ＥＥＥ８３
前記スケーラブルビデオエンコーダは既存のビデオフォーマットの拡張を備える、ＥＥＥ８２のエンコーディング装置。
【０１４１】
ＥＥＥ８４
前記ビデオフォーマットはＡＶＣ／Ｈ．２６４を備える、ＥＥＥ８３のエンコーディング装置。
【０１４２】
ＥＥＥ８５
前記ビデオフォーマットはＡＶＣおよびＶＣ１の１つを備える、ＥＥＥ８３のエンコーディング装置。
【０１４３】
ＥＥＥ８６
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えた場合に前記ツールの少なくとも１つに反対にバイアスを掛けることを備える、ＥＥＥ７９のエンコーディング装置。
【０１４４】
ＥＥＥ８７
前記評価プロセッサによる調整は、前記評価されたファクタに関連する優先順位レベルに応じて変化する量で前記ツールの少なくとも１つに反対にバイアスを掛けることを備える、ＥＥＥ７９のエンコーディング装置。
【０１４５】
ＥＥＥ８８
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えた場合に前記ツールの少なくとも１つの使用の影響を低減することを備える、ＥＥＥ７９のエンコーディング装置。
【０１４６】
ＥＥＥ８９
前記１組の画像は、立体表示、複数の立体表示、同じ場面の複数の表示、および複数の無関係な表示の１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１４７】
ＥＥＥ９０
デコードされたビデオ入力ポートと複数表示信号出力ポートを備えるアドオン装置であって、デコードされた各フレーム複数表示ビデオを備える入力ポートで受信するビデオを処理し、出力ポートにより送信される複数表示信号を生成するようになされた、アドオン装置。
【０１４８】
ＥＥＥ９１
前記デコードされた各フレーム複数表示ビデオは、前記ビデオの各フレームに埋め込まれた左表示と右表示を有する３Dビデオを備える、ＥＥＥ９０のアドオン装置。
【０１４９】
ＥＥＥ９２
前記入力ポートと出力ポートの少なくとも１つはワイヤレスポートを備える、ＥＥＥ９１のアドオン装置。
【０１５０】
ＥＥＥ９３
前記デコードされた各フレーム複数表示ビデオは、格子パターンから解凍されたビデオを備える、ＥＥＥ９０のアドオン装置。
【０１５１】
ＥＥＥ９４
前記デコードされた各フレーム複数表示ビデオは、格子パターンから解凍され、オリジナルビデオの表示の少なくとも２つの間の視差に基づき少なくとも１つのエンコーディング特徴をコントロールするステップを含む方法で前記格子パターンでエンコードされ、該エンコードは該オリジナルビデオから作られた、ＥＥＥ９０のアドオン装置。
【０１５２】
本発明は、本書で説明したいかなる要素（本発明の種々の部分または特徴）およびそれらの均等物を適切に備え、それらから構成され、あるいは、それらから実質的に構成されてもよい。さらに、本書で説明的に開示された本発明は、本書で具体的にに開示したか否かに関わらず、ある要素なしでも実施可能であろう。明らかに、本発明の多くの改変や変更は、上記の教示を考慮すれば可能である。したがって、後で出願された特許出願に含まれるべき請求項の範囲内で、本発明は本書で具体的に説明した以外別の方法で実施してもよいことが理解されるべきである。
【技術分野】
【０００１】
［著作権の注記］
本特許書類の開示の一部には、著作権保護を受ける資料を含んでいる。著作権者は、特許商標庁の特許ファイルあるいは記録で掲載されるならば、いかなる者の本特許書類あるいは特許開示の複製に対し異議を唱えないが、それ以外については全ての著作権を維持する。
【０００２】
［関連出願への相互参照］
本出願は、２００８年7月２０日出願の米国特許仮出願第６１／０８２，２２０号に基づく優先権を主張し、本書にその全体を参照して組み込む。
【０００３】
［発明の背景］
［技術分野］
本発明は、ビデオコーディングに関し、より詳しくは、複数画像および立体ビデオコーディングに関する。
【背景技術】
【０００４】
ここ数年、コンテンツプロバイダは、立体（３Ｄ）コンテンツを家庭に送信することに興味を示すようになってきている。この興味は、３Ｄ資料の人気や製造が増加することだけではなく、消費者が既に入手可能な多くの立体装置の出現によっても、促進されている。特定のビデオ表示「配列」フォーマットを、主として、ＩＳＯ ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４やＶＣ−１等の既存のビデオ圧縮技術と組み合わせる立体素材を家庭に送信する多くのシステムが提案されているが、これらのシステムはビデオ符号化処理をどのように行うかという情報を提供しない。このことは、結果として、平均以下の性能の、上手ではない設計のステレオビデオエンコーディング解法となり、そのようなシステムの採用において不利であった。
【発明の概要】
【０００５】
本発明者らは、複数画像ビデオ（たとえば、複数表示および立体または３Ｄビデオ）や他の新しい特徴用の効果的なコーディングシステムを開発することと、標準ビデオコーデック（たとえば、モノスコープのビデオ準拠コーデック）に準拠することの必要性を理解した。一実施の形態では、本発明は、画像をエンコードする方法を提供し、その方法は、エンコーディングプロセスでエンコードされる１つより多くの画像を表わす画像パターンの領域のエンコーディングプロセスのエンコーディング特徴をコントロールするステップを備え、そのエンコーディング特徴でエンコードされるならばその表わされる画像の間の二次汚染となるであろう表わされる画像中の視差の量をその領域が含む時に、エンコーディング特徴をコントロールする。エンコーディング特徴をコントロールするステップは、たとえば、エンコーディング特徴を停止すること、単一画像を表わす画像パターンをエンコーディングするときよりもエンコーディング特徴を少なく用いること、エンコーディング特徴を反対にバイアスすること、相対的な変化の度合いが視差に基づくときエンコーディング特徴の相対的な変化の度合いを制定すること、ゼロあるいはゼロに近い視差を有するように決定された領域についてエンコーディング特徴を少なくとも部分的に有効にして他の全ての領域でエンコーディング特徴を無効にすること、そのパターンの他の画像の対応する領域と比較して相対的に低いあるいは無の立体視差を有する領域についてのエンコーディング特徴を有効にすること、相対的に高い立体視差を有する領域についてのエンコーディング特徴を無効にすること、背景位置の領域のエンコーディング特徴を有効にして前景位置の領域のエンコーディング特徴を無効にすること、および、ゼロあるいはゼロに近い視差を有するように決定された領域についてエンコーディング特徴を少なくとも部分的に有効にして他の全ての領域でエンコーディング特徴を無効にすることの少なくとも１つを備える。
【０００６】
表わされた画像は、たとえば、立体表示、複数立体表示、同じ場面の複数表示、および複数の無関係な表示の少なくとも１つを備えることができる。
【０００７】
一実施の形態では、その方法は、領域の視差を高視差、低視差およびゼロ視差の1つであると分類し、視差分類を用いてコントロールするステップを指示するステップをさらに備える。一実施の形態では、視差の量は、表わされた画像の隣接する領域間の視差の量を備える。一実施の形態では、視差の量は、立体視差の量を備える。一実施の形態では、視差は、画像をバンドパスフィルタリングすることにより決定され、バンドパスフィルタリングは、垂直と水平の両方向で適用される。一実施の形態では、視差は、領域の位置の差を備える。一実施の形態では、視差の量は、対応する領域での照明変化の量を備え、ここで対応する領域は、たとえば、画像の立体用ペアの対応する領域を備える。一実施の形態では、視差の量は、画像間の動き予測の量を備える。
【０００８】
一実施の形態では、視差の量は、１つより多い画像の対応する領域での動き予測の量を備える。動き予測は、たとえば、特徴ベースの動き予測（たとえば、拡張予測区域検索Enhanced Predictive Zonal Search（ＥＰＺＳ））、ピクセルベースの動き予測、ブロックベースの動き予測、フェーズベースの動き予測、周波数領域ベースの動き予測、ピクセルリカーシブ動き予測、トゥルーモーション領域動き予測およびベイジアンベース動き予測の少なくとも１つを備える。
【０００９】
種々の実施の形態では、エンコーディング特徴は、デブロッキング、変換および量子化の少なくとも１つ、動き補正、フレーム間予測、フレーム内予測、カラーフォーマットおよびサンプリング構成を備える。エンコーディングプロセスは、たとえば、ビデオエンコーディングプロセスを備える。一実施の形態では、エンコーディングプロセスは、ハイデフィニッション（High Definition（ＨＤ））ビデオエンコーディングを備える。一実施の形態では、エンコーディングプロセスは、スケーラブルビデオコーディングを備える。スケーラブルビデオコーディングは、たとえば、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張機能を備える。種々の実施の形態では、エンコーディングプロセスは、ＭＰＥＧ−１／ＭＰＥＧ−２、ＭＰＥＧ−４パート２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、他の独自コーデックＡＶＣ、ＶＣ１、リアルビデオ（RealVideo）、Ｏｎ２ ＶＰ６／ＶＰ７、ＡＶＣの複数表示コーディングビデオ拡張機能やモーションＪＰＥＧ、モーションＪＰＥＧ−２０００を含むたのコーディング技術を含むＭＰＥＧコーデックなどのビデオコーディングを備える。
【００１０】
画像パターンは、たとえば、「黒」と「白」のピクセルの格子配列を含み、「黒」ピクセルは立体表示の第１チャンネルの画像のピクセルを備え、「白」ピクセルは立体表示の第２チャンネルのピクセルを備える。本質的に、たとえば、画像パターンは、ピクセルの「多色」、「格子」配列を備え、ここで「格子」の各それぞれの「色」は、１つより多い画像の個々の１つのピクセルを備える。「多色」「格子」は、たとえば、２つより多い「色」を備える。より一般的には、画像パターンは、ピクセルの「多色」配列を備え、その配列の各それぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える。その配列は、たとえば、各「色」／画像に割り当てられた列と行の少なくとも１つ、および、各「色」／画像に割り当てられた位置でのモジュラス空間配列を備える。
【００１１】
種々の実施の形態では、たとえば、エンコーディングプロセスは、フィールドベースのエンコーディングの１つ以上を備え、フィールドベースのエンコーディングはピクチャレベルおよびマクロブロックレベルの少なくとも１つで実行される。
【００１２】
視差の量は、たとえば、ピクチャレベル解析、スライス解析、領域レベル解析、マクロブロック、マクロブロック解析の少なくとも１つを備えるプロセスにより計算することができる。一つの代替として、視差の量は、ゆがみを算定することを備えるステップにて決定することができる。ゆがみを算定することは、たとえば、立体表示サンプルを分離して分離したサンプルの３Ｄ表示に基づいてゆがみを計算すること、オリジナル画像をデコードした後の「格子」で表わされる画像と比較すること、オリジナルの原像パターン画像をデコードした後の画像パターンで表わされる画像と比較することの少なくとも１つを備えてもよい。計算されたゆがみは、たとえば、輝度と色度の少なくとも１つの、画像パターンで表わされる前の画像との比較を備える。さらに別の代替では、視差そのものがゆがみを計算することを備えるステップで決定され、ここでゆがみは、その後に画像パターンにエンコードされ、それから画像のオリジナルペアを画像パターンからデコードされた画像と比較する３Ｄ画像のオリジナルペアから計算される。
【００１３】
その方法は、たとえば、表わされた画像の少なくとも１つの画像セットの品質を低下するステップを含んでもよい。品質を低下することは、たとえば、低下される画像セットのコンテンツに基づき、および／または、画像セットの品質の所望のそして許容できるレベルを考慮する価格決定モデルに基づいて実行されてもよい。種々の実施の形態では、表わされた画像中の画像セットは、所望の品質に基づいて優先順位をつけられ、品質を低下するステップは、画像セットについて実行されるならば、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように画像セットの優先順位にしたがって調整される。品質を低下することでのさらなる知恵を利用することもでき、たとえば、表わされた画像中の画像セットは所望の品質に基づいて優先順位付けされ、品質を低下するステップは、画像セットについて実行されるならば、高い優先順位の画像セットが大きすぎて画像セットの全てを搬送するのに追加のスペースやバンド幅が必要になることがなければ、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように画像セットの優先順位と画像セットのサイズにしたがって調整される。品質の低下は、画像セットにわたって均一である必要はなく、すなわち、画像セットの領域あるいはマクロブロック／ブロックに対してのみ実行してもよく、たとえば、立体画像セットの一つの表示について実行することもできる。
【００１４】
さらに、品質の低下は、画像全体ではなく、画像のサブ領域で実行されてもよい。たとえば、高品質のテクスチャの領域だけで、他の位置はどこも行わないこともできる。あるいは、同じ画像内で高品質の領域の表示／サブ画像にピクセルを対応させ、他の領域では逆にすることもできるであろう。
【００１５】
本発明はまた、画像の立体ペアを受信するステップと、その画像を画像パターンに組み合わせるステップと、画像パターンをエンコードする少なくとも１つのツールを評価するステップと、エンコーディングまたは対応するデコーディングプロセスでの画像間の二次汚染量が所定の二次汚染閾値よりも低いならばエンコードするツールの少なくとも１つをエンコーディングプロセスで適用するステップとを備え、ここで、エンコーディングプロセスは既存のビデオフォーマットを備える方法で実施してもよい。少なくとも１つのエンコードするツールを適用するステップは、たとえば、画像の領域に優先順位を付けることと、優先順位に応じて各領域にエンコードするツールを適用することとを備える。優先順位を付けることは、たとえば、少なくとも１つのエンコードするツールが適用される高優先順位の領域と、コーディングするツールが必ずしも適用されない低優先順位の領域とを備える。一実施の形態では、優先順位を付けることは、少なくとも１つの所定の閾値を通過する領域に基づく。少なくとも１つの所定の閾値は、たとえば、立体視差、動きの検知、輝度差、色度差閾値の少なくとも１つを備える。閾値（単数および複数）は、エンコーディングプロセスのアプリケーションまたは特徴、アプリケーションが付与されたランダム（または疑似ランダム）ゲイン、または、コンテンツまたは実行された早期の決定が付与されたアダプティブにより固定／事前に定義されてもよい。決定は、複雑さ、品質、そしてもちろん隣接（時間的にも空間的にも）サンプルの相関により進めることができる。既存のビデオフォーマットは、たとえば、立体画像をエンコードするようには開発されていないビデオフォーマットを備え、たとえば、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張機能である。
【００１６】
評価するステップは、たとえば、立体視差解析、動き予測解析、明度解析、マルチパスエンコーディングからの解析、プレプロセスおよび前のパスからの解析、および、動き補正時間フィルタリング（Motion Compensation Temporal Filtering（ＭＣＴＦ））の少なくとも１つを備える。少なくとも１つのツールは、デブロッキングツールおよび予測ツールの少なくとも１つを備える。
【００１７】
この方法は、エンコードするツールの少なくとも１つを適用するステップをさらに備えてもよく、また、二次汚染量が許容できる所定の二次汚染範囲内であれば低減したレベルで少なくとも１つのエンコードするツールを適用することをさらに備えてもよい。二次汚染は、たとえば、輝度、色度、ブロッキング、立体表示汚染の少なくとも１つを備える。
【００１８】
評価するステップは、たとえば、コスト評価プロセスを備える。コスト評価プロセスは、たとえば、計算のコスト評価と汚染のコスト評価の作用を備える。コスト評価プロセスは、ラグランジュのコスト評価プロセスまたはコスティングプロセスを備えてもよい。
【００１９】
この方法は、μLV＞μRVまたはμLV＜μRVがある表示の品質への高いバイアスとなるような場合にエンコーディングプロセスでエンコードするツールの少なくとも１つを適用することにより立体表示マスキング（Stereo View Masking（ＳＶＭ））を利用するステップをさらに備えてもよい。一つの代替として、立体表示マスキング（ＳＶＭ）を利用することは、画像の立体ペアの１つの低品質版を提供し、画像の立体表示のその後の左表示と右表示間で低品質版を入れ替えることにより実施してもよい。さらに別の代替では、立体表示マスキング（ＳＶＭ）を利用することは、画像の立体ペアの少なくとも１つを、画像の優先順位に基づいて選択された品質である、変化する品質で提供することにより実施してもよい。さらに別の代替では、立体表示マスキング（ＳＶＭ）を利用することは、エンコーディングプロセスまたは対応するデコーディングプロセスのいずれかでの画像の１つの二次汚染量が第１の所定のＳＶＭ二次汚染閾値より大きく、エンコーディングプロセスまたは対応するデコーディングプロセスのいずれかでの他の画像の二次汚染量が第２の所定のＳＶＭ二次汚染閾値より小さければ、エンコーディングプロセスでエンコードするツールの少なくとも１つを適用することにより実施されてもよい。
【００２０】
本発明は、エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと、エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと、デコードされる画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、その評価に基づきツールの少なくとも１つの使用量を調整するようになされた評価プロセッサとを備えるエンコーディング装置として実施することもできる。ファクタは、たとえば、視差、輝度、色度、動き予測の少なくとも１つを備える。ツールの組は、たとえば、デブロッキングツール、動き予測ツールの少なくとも１つを備える。エンコーダは、たとえば、スケーラブルビデオエンコーダを備え、既存のビデオフォーマットの拡張機能をさらに備えてもよい。
【００２１】
一実施の形態では、ビデオフォーマットはＡＶＣ／Ｈ．２６４を備える。別の実施の形態では、ビデオフォーマットはＡＶＳ、ＶＣ１の１つを備える。
【００２２】
評価プロセッサによる調整は、たとえば、評価されたファクタの少なくとも１つが所定の閾値を超えるならば、ツールの少なくとも１つで反対にバイアスを掛けることを備えてもよい。ある代替では、評価プロセッサによる調整は、その評価されたファクタに関連する優先順位レベルにより変化する量でツールの少なくとも１つで反対にバイアスを掛けることを備える。別の代替では、評価プロセッサによる調整は、評価されたファクタの少なくとも１つが所定の閾値を超えるならば、ツールの少なくとも１つの使用の影響を低減することを備える。
【００２３】
一実施の形態では、画像の組は、立体表示、複数の立体表示、同じ場面の複数の表示、複数の無関係な表示の１つを備える。
【００２４】
装置と方法の双方の一部および他の実施の形態は、汎用コンピュータまたはネットワークコンピュータでプログラミングされることで従来のように実行でき、その結果は、汎用コンピュータ、ネットワークコンピュータのいずれかに接続されたアウトプット装置で表示され、または出力または表示のための離れた装置に送信されてもよい。さらに、コンピュータプログラム、データシーケンスおよび／またはコントロール信号で表わされた本発明のいずれかの構成は、無線放送、銅線での通信、光ケーブル、同軸ケーブル等を含むがこれらには限定されない、いかなる媒体で、いかなる周波数で、放送（または送信）される電子信号として実施してもよい。
【００２５】
本発明のより完全な理解と本発明による利点の多くは、添付の図面と関連して考えるとき以下の詳細な説明を参照することでよりよく理解されるにつれ、容易に得られるであろう。
【図面の簡単な説明】
【００２６】
【図１】図１は、立体素材配信の列シーケンシャル／フィールドインターリーブ配列を示す図である。
【図２】図２は、フィールドインターリーブピクチャの立体表示再構成を示す図である。
【図３】図３は、本発明の実施の形態による立体素材配信の格子インターリーブ配列を示す図である。
【図４】図４は、本発明の実施の形態による格子インターリーブピクチャの立体表示再構成を示す図である。
【図５】図５は、本発明の実施の形態により構成されたビデオエンコーダ（すなわち、ＡＶＣエンコーダ）の図である。
【図６】図６は、本発明の実施の形態による差異的にコーディングされた画像／ビデオをデコーディングできるビデオデコーダ（すなわち、ＡＶＣデコーダ）の図である。
【図７】図７は、本発明の実施の形態による動き予測を用いた表示視差解析と分類を示す図である。
【図８】図８は、本発明の実施の形態によるバンドパスフィルタを用いたＣＢインターリーブピクチャの表示視差解析と分類を示す図である。
【図９】図９は、本発明の実施の形態によるバンドパスフィルタを用いた表示視差解析と分類を示す図である。
【図１０】図１０は、本発明の実施の形態による動き予測を用いたＣＢインターリーブピクチャの例示の表示視差解析と分類を示す図である。
【図１１】図１１は、本発明の実施の形態によるデブロッキングパラメータ決定を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態による４：２：０コンテンツを示す図である。図は、モジュロ４の整数サンプルが動き予測および補正のために二次表示汚染を有さないことを示す。動き予測をこれらの位置に限定することは、コーディング効率と複雑さの双方に大きな影響を有する。
【図１３】図１３は、本発明の実施の形態によるフィールドベースのエンコーディングを示す図である。
【図１４】図１４は、本発明の実施の形態によるコーディングモード決定を示すブロック図である。
【発明を実施するための形態】
【００２７】
立体ビデオフォーマットは、列インターリーブ（フィールドシーケンシャル）、格子、ピクセル／行インターリーブ、サイドバイサイドおよび他のものを含んでもよく、それらは、生来、通常の画像と比較して非常に変わった画像特性となり、そのような一般的なビデオコーデックは本来最適化される。ＡＶＣ／Ｈ．２６４などの一般的なビデオコーデックは、エンコードされたピクチャ内の全ピクセルは同じ画像（あるいはこの場合には表示）に属し、動き予測と内部予測、変換と量子化、および他のもののデブロッキング等の空間時間予測などの技術を用いて利用できる、ある空間時間特性を有するものと仮定される。
【００２８】
しかしこれらの特性は、そのようなツールのパフォーマンスを悪化させたり制限したりする立体画像フォーマット内に常に存在するとは限らない。特に、図１に示すように、列インターリーブアプローチは、圧縮前に適切な垂直フィルタとデシメーションの使用により、２つの立体表示画像を１つの画像に配列する。
【００２９】
同様に、再構成プロセスは、組み合わせた画像からのそれぞれの表示から対応するピクセルを抽出することと、図２に示すように適切なフィルタを用いて見えないサンプルを生成することを含む。このことは、垂直に隣接するピクセル間の空間的相関はかなり低く、１つの表示の情報を他の表示の情報で汚染しないようにピクチャをエンコードするときに空間的な配慮がなされなければならないことを示唆する。エンコーディングソリューションがそのような規則を遵守しないならば、このことは、コンテンツを適切な立体ディスプレイで表示するときにかなり見えるアーティファクトとなるであろう。
【００３０】
格子インターリーブ法（たとえば、図３および図４）は、同様のまたはさらに強調された問題となるであろう。しかし、格子法は、他のフォーマットに比較して改良された分解のために、また入手可能なディスプレイ装置で現在サポートされているので、特に興味深い。本発明者らは、しかし、許容範囲の品質性能を有する適切なビデオエンコードシステムの創造を想定して、消費者のアプリケーション用の立体ビデオフォーマットの創造と採用の必要性を理解している。しかしピクセル配列は、エンコーディングプロセス中に考慮すべき現存のビデオエンコーダに対するチャレンジを増加させる。
【００３１】
本発明は、様々なやり方で実施される多くの方法、装置および構造で達成され、そのやり方のそれぞれは、エンコーディングプロセス中に考慮され、固定ビットレートまたは固定品質目標を付与された同等低減ビットレート（equivalently reduced bit-rate）を付与された品質向上で計測された、および／または、コーディング効率への影響があるならわずかなエンコーディング分解の複雑さの低減で計測された、いずれかのコーディング効率の改善となる。ここで提供する方法は、ＡＶＣ／Ｈ．２６４のスケーラブルビデオコーディング拡張（ＳＶＣ）等のスケーラブルソリューションを含め、現在または将来のビデオコーデックに適用できるが、２以上の表示の単一ピクチャ内の、すなわちマルチ表示ビデオコーディング用の、配列を記述する他の配列にも適用できる。
【００３２】
ここで提供する方法は、全ての利用できるエンコードするツールが他からの表示のサンプルの可能性のある汚染を評価するやり方で考慮するという原則に基本的に基づいている。特にデブロッキングは、隣接したサンプルにわたってフィルタリングプロセスを普通に実行し、フィールドおよび格子インターリーブ法などのある立体配列を与えられると、立体体験をかなり損なうことがある。したがって、そのような素材または大きな立体表示視差の領域ではデブロッキングを無効にしまたは適切にコントロールすることを提案する。たとえば、図１１はデブロッキングパラメータ決定を示すフローチャートである。
【００３３】
立体表示視差の大きさの決定は、たとえば、２つの表示間の基本的動き予測テストを用いて実行される。そのテストは、ブロックベースの動き予測スキームを用いて実行することができ、拡張予測区域探索（Enhanced Predictive Zonal Search（ＥＰＺＳ））プロセスのような照明変化特性評価、または特にピクセルリカーシブ、フェーズベース、およびトゥルーモーション領域ベースの動き予測を含む他の方法を用いて実行される（たとえば、図７は、本発明の実施の形態による表示視差解析を図解する線図である）。このようなプロセスを用いて、ゼロまたはほとんどゼロの動きを有すると決定された領域は、ゼロ立体表示視差または低立体表示視差領域と分類され、他の全ては高立体表示視差領域と分類される。パラメータは、たとえば、付与された視差分類プロセスに基づいて決定される。
【００３４】
一実施の形態では、デブロッキングはゼロまたは低視差領域でのみ許容され適切に調整され、高視差の領域では、許容されずまたは低強度デブロッキングメカニズムで適切に調整される。このことは、例えば、画像中で適切に配列されたスライスを用いて、それぞれを必要なデブロッキング信号と結びつけること行われる。領域はまた、Ｍ．Ｌａｔｚｅｌ、Ｊ．Ｋ．Ｔｓｏｔｓｏｓ「A robust motion detection and estimation filter for video signals」２００１年ＩＥＥＥ画像処理国際会議（ＩＣＩＰ’０１）第１巻３８１〜３８４頁（２００１年１０月）に示されたもの、Ｐ．Ｙｉｎ、Ａ．Ｍ．Ｔｏｕｒａｐｉｓ、Ｊ． Ｂｏｙｃｅ「Fast decision on picture adaptive frame/field coding for H.264」ＶＣＩＰ２００５で述べられたものの１つのようなバンドパスフィルタの使用など他のメカニズムを用いて特徴付けることもできる。しかし、立体表示配列とすると、そのようなフィルタを鉛直方向だけに適用する代わりに、同じフィルタを垂直と水平の両方に適用して、その領域が高または低またはゼロ視差領域に分類されるのかを決定することもできる。たとえば、図８は、本発明の実施の形態によるバンドパスフィルタを用いた表示視差分析とＣＢインターリーブピクチャの分類を図示する。
【００３５】
一実施の形態では、これらの方法を２Ｄフィルタをサポートするのに拡張することにより実行される。これらのフィルタはまた、画像を水平方向および／または垂直方向にサブサンプリングすること、および、サブサンプリングプロセスの方向を与えられた適切なフィルタを適用することによっても適用することができる。たとえば、オリジナル立体多重放送画像の２つのサブサンプル版、水平サブサンプルを用いた第１のものと垂直サブサンプリングを用いた第２のものとを生成してもよい。それから、第１のものは、垂直バンドパスフィルタを用いて処理し、第２のものは水平バンドパスフィルタを用いて処理する。両画像のサンプルは、これらのフィルタの挙動を与えられて特徴付けされ、その結果は全体画像を分類するのに累積される。たとえば、図９は、本発明の実施の形態による２段バンドパスフィルタを用いた例示の表示視差解析とＣＢインターリーブピクチャの分類を図示する線図である。
【００３６】
Ａｄａｍｓの「Interlace motion artifact detection using vertical frequency detection and analysis」米国特許第６，９０９，４６９号で説明されるような視差を分類する他の方法を用いることもでき、米国特許第６，９０９，４６９号の内容の全てを本書に参照して組み込む。動きベース解析が、最終的な全ての解像度表示を分解し再構築することにより解析を実施するか、１つの表示だけからのサンプルを含む低解像度のサブ画像を生成しこれらのサブ画像を特徴付けすることにより、既にインターリーブされたピクチャの配列に対しても使用できるということは重要である。たとえば、図１０は本発明の実施の形態による動き予測を用いる例示の表示視差解析とＣＢインターリーブピクチャの分類を図示する線図である。対応するプロセスは表示分解ステージを用い、表示分解ステージは例えば、整列したサンプルだけ（すなわち、画像の偶数または奇数の列だけからのサンプル）をフィルタまたは考慮することを含む。
【００３７】
上記の視差解析は、画像の各領域に適用されるデブロッキングメカニズムの選定に有用なだけではなく、動き予測のようなコーディングツールの決定が領域をエンコードするのに考慮される、エンコーディングの複雑さを減じるのにかなり有益である、他の目的にも有用であることは重要である。
【００３８】
一実施の形態では、エンコーダが最初に画像の視差解析を行う。領域が高立体表示視差領域と分類されると、一表示のサンプルの他の表示のサンプルによる汚染となるであろうツールが使用不能にされ、または、エンコーディングの決定プロセスの間優先順位を考えるのに低位とされる。たとえば、現存するコーデックでのサブサンプル動き補正は、画像を超えて適用される種々のフィルタを用いて実行される。特に、ＡＶＣ／Ｈ．２６４では、βタップを半サンプル位置に用い、バイナリフィルタを４分の１サンプルと色度サンプル位置に用いる。バイキュービック、２Ｄ非分離、対角線等を含む他のフィルタを用いてもよい。
【００３９】
高立体表示視差領域では、サブサンプル補間の尤度がかなり低く、実際、もし用いるならば、残りのコーディングプロセスで修正が必要になるかなりのコーディングアーティファクトを生ずるであろう。したがって、エンコーダは、このような領域ではこのようなツールを考慮する必要がないと判断してもよく、複雑さとコーディングアーティファクトを生ずる可能性をかなり低下する。画像中のある整数サンプル位置の考慮について同様の結論とすることもできる。特に、４：２：０コンテンツ、および、ＣＢインターリーブパターン、現在位置との比較でモジュロ４整数サンプル位置だけは、他の表示からの汚染を回避することが分かる。例えば、本発明の実施の形態による４：２：０コンテンツを説明する図である図１２を参照。その図は、モジュロ４整数サンプルが、動き予測と補償の目的については二次表示汚染を有さないことを示す。動き予測をこれらの位置に限定することは、コーディング効率と複雑さとの双方に大きな影響を有する。
【００４０】
特に、水平または垂直方向の距離１の位置は、輝度成分の明白な予測汚染となるが、色度成分の部分的汚染ともなる（色度に対しバイナリフィルタを用いるため）。同様に、水平または垂直方向の距離２の位置についても、輝度サンプル予測が適切になされても、色度サンプルの適切でない予測の影響を受ける。
【００４１】
一実施の形態では、また、サブサンプルの場合に類似して、エンコーダは、エンコーディングプロセスの間に二次表示汚染となるサンプルの考慮優先順位（すなわち、ＥＰＺＳのような速い動き予測スキーム内で）を考慮しない、または、低下する。考慮優先順位は、最初にモジュラ４整数位置を考慮したような方法で、設計され得る。これらのサンプルを用いる最適位置が、たとえばＳＡＤなどのゆがみがある値Ｔ１より小さいという、ある閾値基準を満たさないならば、他のすべての位置も調べられる。残りの位置は、立体表示サンプル汚染影響に基づく段階で、すなわち最初にモジュロ２距離位置（色度汚染だけからの品質の影響）、続いて奇数距離位置（輝度と色度サンプルの双方からの汚染）を、調べることでもよい。
【００４２】
一実施の形態では、この考慮は、事前解析／最初のエンコーディングパス段階、すなわち、多重パスエンコーディングスキームにおける、事前解析統計が量子化パラメータなどのエンコーディングパラメータの決定に必要な時にのみ適用され得る。別の実施の形態では、この方法は、ある参照ピクチャまたはあるサイズのブロックサイズ（すなわち、ＡＶＣ／Ｈ．２６４について８×８以下のブロックサイズだけ）に対してのみ考慮され、全サンプルが調べられるより大きな部分については考慮されない。
【００４３】
この方法は、全てのピクチャにサブサンプリングを交互に行うことを考慮する立体表示マルチプレキシングスキームに展開することもできる。この技術分野に親しんでいる者にとっては、この方法が他のカラー及び／または色度サブサンプリングフォーマットに容易に展開できることは明らかであろう。さらに、上記の説明は、内部予測にも展開できる。
【００４４】
フィールドベースコーディングは、立体表示サンプルが列インターリーブ（フィールドシーケンス）アプローチで配列されていなくても、エンコーディングには有用であり、さらなる利点も提供する。特に、格子インターリーブアプローチについて、ピクチャレベルおよびマクロブロックレベルの双方でのフィールドコーディングは、圧縮効率を改善する垂直立体表示対応を満たす画像となるであろう。このことは、垂直補間の信頼性も改善し、前述のように、動きと内部予測についてより有用に、そしてより信頼性高くなる（すなわち、垂直内部予測の効率を改善）。立体表示の品質への影響も、フレームとフィールドコーディング配列についての量子化マトリックスの設計と選定をしている間に考慮することができる。
【００４５】
図１３は、本発明の実施の形態によるフィールドベースのエンコーディングを図解する図である。フィールドベースコーディングは、ピクチャレベルとマクロブロックレベルの双方において、格子インターリーブのような立体表示ミキシングの種々のタイプに有用である。図示の例示の配列では、水平サンプル汚染のみが存在し、コーディング効率を潜在的に改善する。
【００４６】
一実施の形態では、コーディング効率は、与えられた決定のゆがみを評価するのに最終的出力フォーマット、すなわち適切な補間を含む最終的立体表示画像を考慮することによりエンコーディング決定を実行することにより、かなり改善できる。決定は、あるブロックコーディングモード、参照、動きベクトルおよび／または照明変化パラメータ、他の間での内部予測モードの選定のような、ピクチャおよびマクロブロックレベル決定を含んでもよい。差の絶対値の合計（ＳＡＤ）または残差平方和（ＳＳＥ）のようなゆがみは、オリジナル非インターリーブ立体表示、あるいはオリジナル、非エンコード立体インターリーブ画像を用いる再構築立体表示と比較して算定できる。各コーディングモードに対し、ゆがみは、（低い複雑さまたは基本的動き予測についての）予測または（高い複雑さについての）最終的再構築サンプルを考慮し、表示をデマルチプレクシング（逆多重化）し適切に内挿することにより評価される。
【００４７】
補間は、基本的補間プロセス（すなわち、隣接する同じ表示サンプルの全てを平均する）を用いてもよく、または、ディスプレイの前および／または間に実行されるプロセスをエミュレートするより複雑なプロセス（例えば、本発明の実施の形態によるコーディングモード決定を図解するブロック図である図１４参照。モード決定および／または動き予測のコーディング効率は、ゆがみが立体表示サンプルを分離して３Ｄ表示履歴を計算することにより算定されるならば、改善できる）を用いて行ってもよい。特にラグランジュ最適化を用いることを仮定して、ビデオコーディング決定は、以下の色のラグランジュコストを用いて実行できる。
Ｊ（λ）＝μＬＶＤＬＶ（Ｒ）+μＲＶＤＲＶ（Ｒ）＋λ・Ｒ （１）
ここで、ＤＬＶとＤＲＶはそれぞれ左および右表示のゆがみ値であり、μＬＶとμＲＶはそれぞれの表示に関連するラグランジュ乗数であり、Ｒはそのコーディングモードを選定するための予測または実際ビットレートである。
【００４８】
λは、レートパラメータに対するラグランジュパラメータである。μＬＶ＞μＲＶの一実施の形態では、他のもの（すなわち右）に対して一表示（すなわち左）の品質に高いバイアスを掛けることは、立体表示マスキング特性を利用することを助長する。この方法は、前記の視差領域解析方法を考慮する間に行うこともできる。特に、例えば、ゼロまたは低立体視差領域について、追加のプロセスを実行する必要なしで全表示のゆがみを一緒に考慮し、高立体視差領域についてこの方法を考慮するだけ、よって顕著に複雑さを減じることができる。
【００４９】
本開示に基づき、能力と効率を変化させる種々の装置を構築できる。例示のそのような装置は、例えば図５に示される。図５は、本発明の実施の形態により構成されたビデオエンコーダ（すなわちＡＶＣエンコーダ）の図であり、たとえば、1つ以上のまたはいかなる上記の視差決定のための設備、および、種々の説明したエンコーディング特徴（あるいは将来開発されるエンコーディング特徴）の１つ以上を調整し、コントロールし、停止する施設を含む。
【００５０】
図６は、本発明の実施の形態に従う、最適コードされた画像／ビデオをデコーディングすることができるビデオデコーダ（すなわち、ＡＶＣデコーダ）の図である。デコーダは包括的であるが、本発明にしたがってエンコードされたビットストリーム経由で信号または他のアクセスデータを供給される。本発明は特に、本発明によるいかなる局面、特徴、装置あるいはプロセスによりエンコードされたアクセスデータ（ビットストリームで伝達されても記憶装置（例えばメモリスティック、ハードドライブ、Ｉポッド［登録商標］等）から読まれても）を供給されまたは意図する、専用のあるいは包括的な、いかなるデコーダを含む。
【００５１】
図面に示された本発明の好適な実施の形態を説明するのに、明確化のため特定の用語を用いる。しかし、本発明は、そのように選定された特定の用語に制限する意図はなく、各特定の要素は、同様に動作する技術的な均等物の全てを含むということは理解されなければならない。さらに、発明者らは、現在は知られていない新たに開発された技術もまた、説明する部分にとって代わることができ、本発明の範囲から逸脱しないことを認識している。エンコーダ、デコーダ、比較器（comparitor）、マルチプレクサ、プロセス、プロセッサ、ブルーレイプレーヤを含むハードウェアの配列、パターン等を含むがこれらには限定されない、他の全ての説明した項目は、いかなる全ての入手可能な均等物の観点で考慮される。
【００５２】
本発明の一部は、コンピュータ分野の当業者には明らかなように、従来の汎用または専用デジタルコンピュータまたは本開示の教示によりプログラムされたマイクロプロセッサを用いて適切に実行される。
【００５３】
適切なソフトウェアコーディングは、ソフトウェア分野の当業者には明らかなように、本開示の教示に基づいて、熟練したプログラマにより容易に作成できる。本発明はまた、本開示に基づいて当業者には明白なように、特定用途向け集積回路の作成により、または、従来の部品回路の適切なネットワークを接続することにより実行できる。
【００５４】
本発明は、本発明のいずれかを実行するようにコンピュータをコントロールしまたはコンピュータに実行させるのに用いられる、そこに記憶された命令を有する記憶媒体であるコンピュータプログラム製品を含む。記憶媒体には、フロッピーディスク、ミニディスク（ＭＤ）、光ディスク、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ、ＣＤ−ＲＯＭ，ＣＤまたはＤＶＤ ＲＷ＋／−、マイクロドライブ、及び、光磁気ディスクを含むいかなるタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯM、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ装置（フラッシュカード、メモリスティックを含む）、磁気または光カード、ＳＩＭカード、ナノスティック（モレキュラメモリＩＣを含む）、ＲＡＩＤ装置、リモートデータ記憶／アーカイブ／ウェアハウジング、あるいは、命令および／またはデータを記憶するのに適切ないかなるタイプの媒体または装置を含むが、それらには限定されない。
【００５５】
コンピュータ可読媒体のいずれかに記憶され、本発明は、汎用／専用双方のコンピュータまたはマイクロプロセッサのハードウェアのコントロールし、コンピュータまたはマイクロプロセッサにユーザあるいは本発明の結果を利用する他の機構と情報のやり取りを行えるようにするソフトウェアを含む。そのようなソフトウェアには、装置ドライバ、オペレーティングシステムおよびユーザアプリケーションを含むが、それらには限定されない。最後に、そのようなコンピュータ可読媒体は、上記のように、本発明を実行するソフトウェアをさらに含む。
【００５６】
本発明の教示を実行するソフトウェアモジュールは、汎用／専用コンピュータまたはマイクロプロセッサのプログラム（ソフトウェア）に含まれ、本発明の教示には、1つより多い画像からピクセルの格子を準備すること、格子をビデオフォーマットのフレームとしてエンコードすること、格子をビデオフォーマットのフレームとしてエンコードし、１つより多い画像を表わす格子の画像パターンの領域についての少なくとも１つのエンコーディング特徴をコントロールすることであって、１つより多い画像の領域では、その特徴をコントロールせずにエンコードすると表わされた画像間の二次汚染となる表わされた画像の視差の量を含むことと、画像の格子エンコードされたセットを転送フォーマットにパッケージすること、画像の格子エンコードされたセットを含む転送フォーマットをデコードすること、少なくとも１つのフレームの画像のパターン付けされたセットを含むビデオフォーマットをデコードすること、画像用データの格子パターンを含むビデオフォーマットをデコーディングすること、３Ｄ画像の第１および第２チャンネル画像データを表わす画像データの格子パターンを含むビデオフォーマットをデコーディングすること、少なくとも１つのフレームの少なくとも１つのフレーム画像の画像のパターン付けされたセットを認識すること、および、本発明のプロセスによる結果の表示、記憶あるいは情報伝達を含むが、これらには限定されない。
【００５７】
よって、本発明の実施の形態は、以下の列挙例実施形態（ＥＥＥ）の１つ以上に関連し、各ＥＥＥは例示であり、上記の他の関連説明と共に、現状あるいは後で補正され置き換えられ追加されるように、以下に示される請求項を限定するものと解釈してはならない。同様に、これらの例示は、関連する特許および／または特許出願（外国または国際対応出願および／または特許、分割出願、継続出願、再発行特許、等を含む）の請求項に関して限定するものと考えてはならない。
【００５８】
［例示］
列挙例実施形態１（ＥＥＥ１）
１つより多い画像を表わす画像パターンの領域のエンコーディングプロセスのエンコーディング特徴をコントロールするステップであって、前記１つより多い画像は、前記特徴なしでエンコードされると表わされた画像間の二次汚染となる表わされた画像中の視差の量を前記領域が含む時に前記エンコーディングプロセスによりエンコードされるステップを備える、画像をエンコードする方法。
【００５９】
ＥＥＥ２
前記エンコーディング特徴をコントロールするステップは、エンコーディング特徴を停止することを備える、ＥＥＥ１の方法。
【００６０】
ＥＥＥ３
前記エンコーディング特徴をコントロールするステップは、単一画像を表す画像パターンをエンコードするときよりも少なく前記エンコーディング特徴を用いることを備える、ＥＥＥ１の方法。
【００６１】
ＥＥＥ４
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を反対にバイアスすることを備える、ＥＥＥ１の方法。
【００６２】
ＥＥＥ５
前記表される画像は、１つの立体表示、複数の立体表示、同じ場面の複数の表示および複数の無関係な表示の１つを備える、ＥＥＥ１の方法。
【００６３】
ＥＥＥ６
前記コントロールするステップは、前記エンコーディング特徴の相対的な変化の度合いを備え、該相対的な変化の度合いは視差に基づく、ＥＥＥ１の方法。
【００６４】
ＥＥＥ７
前記コントロールするステップは、ゼロまたはゼロに近い視差を有すると判断された領域に対し前記エンコーディング特徴を少なくとも部分的に有効とし、他の全ての領域について前記エンコーディング特徴を無効とすることを備える、ＥＥＥ１の方法。
【００６５】
ＥＥＥ８
前記画像をバンドパスフィルタすることにより視差を決定するステップをさらに備える、ＥＥＥ１の方法。
【００６６】
ＥＥＥ９
前記バンドパスフィルタは垂直方向にも水平方向にも適用される、ＥＥＥ８の方法。
【００６７】
ＥＥＥ１０
前記視差を、高視差、低視差およびゼロ視差の１つとして分類し、該視差分類を用いて前記コントロールするステップを指示するステップをさらに備える、ＥＥＥ１の方法。
【００６８】
ＥＥＥ１１
前記視差の量は、表される画像の隣接領域間の視差の量を備える、ＥＥＥ１の方法。
【００６９】
ＥＥＥ１２
前記視差の量は、表される画像の対応する領域間の視差の量を備える、ＥＥＥ１の方法。
【００７０】
ＥＥＥ１３
前記視差の量は、立体視差の量を備える、ＥＥＥ１２の方法。
【００７１】
ＥＥＥ１４
前記コントロールするステップは、パターン中の他の画像の対応する領域と比較したときに、相対的に低い立体視差あるいは立体視差のない領域についてのエンコーディング特徴を有効にし、相対的に高い立体視差を有する領域についてのエンコーディング特徴を無効にすることを備える、ＥＥＥ１３の方法。
【００７２】
ＥＥＥ１５
前記視差は、領域の位置の差を備える、ＥＥＥ１の方法。
【００７３】
ＥＥＥ１６
前記コントロールするステップは、背景位置の領域について前記エンコーディング特徴を有効にし、前景位置の領域について前記エンコーディング特徴を無効にする、ＥＥＥ１５の方法。
【００７４】
ＥＥＥ１７
前記視差の量は、前記１つより多い画像の対応する領域における予測された動きの量を備える、ＥＥＥ１の方法。
【００７５】
ＥＥＥ１８
前記予測された動きは特徴ベースの動き予測を備える、ＥＥＥ１７の方法。
【００７６】
ＥＥＥ１９
前記予測された動きはピクセルベースの動き予測を備える、ＥＥＥ１７の方法。
【００７７】
ＥＥＥ２０
前記予測された動きは、ブロックベースの動き予測、フェーズベースの動き予測、周波数領域ベースの動き予測、ピクセルリカーシブ動き予測、トゥルーモーション領域動き予測およびベイジアンベース動き予測の少なくとも１つを備える、ＥＥＥ１７の方法。
【００７８】
ＥＥＥ２１
前記予測された動きは拡張予測区域検索（ＥＰＺＳ）を備える、ＥＥＥ１７の方法。
【００７９】
ＥＥＥ２２
前記コントロールするステップは、ゼロまたはゼロに近い動きを有すると決定された領域に対て前記特徴を少なくとも部分的に有効にし、他の全ての領域に対して前記特徴を無効にすることを備える、ＥＥＥ１７の方法。
【００８０】
ＥＥＥ２３
前記視差の量は、対応する領域の照明変化の量を備える、ＥＥＥ１７の方法。
【００８１】
ＥＥＥ２４
前記対応する領域は画像の立体ペアの対応する領域を備える、ＥＥＥ２３の方法。
【００８２】
ＥＥＥ２５
前記視差の量は画像の画像間の動き予測の量を備える、ＥＥＥ１の方法。
【００８３】
ＥＥＥ２６
前記動き予測は、拡張予測区域検索（ＥＰＺＳ）を備える検索経由で決定される、ＥＥＥ２５の方法。
【００８４】
ＥＥＥ２７
前記エンコーディング特徴は、デブロッキング、変換および量子化の１つを備える、ＥＥＥ１の方法。
【００８５】
ＥＥＥ２８
前記エンコーディング特徴は動き補正を備える、ＥＥＥ１の方法。
【００８６】
ＥＥＥ２９
前記エンコーディング特徴は、フレーム間予測およびフレーム内予測の少なくとも１つを備える、ＥＥＥ１の方法。
【００８７】
ＥＥＥ３０
前記エンコーディング特徴は変換を備える、ＥＥＥ１の方法。
【００８８】
ＥＥＥ３１
前記エンコーディング特徴は量子化をさらに備える、ＥＥＥ３０の方法。
【００８９】
ＥＥＥ３２
前記エンコーディング特徴はカラーフォーマットとサンプリング構成の少なくとも１つを備える、ＥＥＥ１の方法。
【００９０】
ＥＥＥ３３
前記エンコーディングプロセスはビデオエンコーディングプロセスを備える、ＥＥＥ１の方法。
【００９１】
ＥＥＥ３４
前記ビデオエンコーディングプロセスは、ハイデフィニッションビデオエンコーディングを備える、ＥＥＥ３３の方法。
【００９２】
ＥＥＥ３５
前記エンコーディングプロセスは、スケーラブルビデオコーディングを備える、ＥＥＥ１の方法。
【００９３】
ＥＥＥ３６
前記スケーラブルビデオコーディングは、ＡＶＣ／Ｈ．２６４規格のスケーラブルビデオコーディング拡張を備える、ＥＥＥ３５の方法。
【００９４】
ＥＥＥ３７
前記エンコーディングプロセスはビデオを備える、ＥＥＥ１の方法。
【００９５】
ＥＥＥ３８
前記エンコーディングプロセスは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４Ｐａｒｔ２およびＭＰＥＧ−４ＡＶＣ／Ｈ．２６４を含むＭＰＥＧコーデックのいずれか、ＶＣ１、ＲｅａｌＶｉｄｅｏ（登録商標）、Ｏｎ２テクノロジー社のＶＰ６／ＶＰ７のような他のコーデック、あるいは、ＡＶＣのＭｕｌｔｉ−ｖｉｅｗ Vｉｄｅｏ Cｏｄｉｎｇ拡張のいずれかを備える、ＥＥＥ１の方法。
【００９６】
ＥＥＥ３９
前記画像パターンは、ピクセルの「白」および「黒」格子配列を備え、ここで、「黒」ピクセルは立体表示の第１チャンネルのピクセルを備え、「白」ピクセルは立体表示の第２チャンネルのピクセルを備える、ＥＥＥ１の方法。
【００９７】
ＥＥＥ４０
前記画像パターンは、ピクセルの「多色」「格子」配列を備え、ここで、「格子」のそれぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える、ＥＥＥ１の方法。
【００９８】
ＥＥＥ４１
前記「多色」「格子」は、２つより多い「色」を備える、ＥＥＥ４０の方法。
【００９９】
ＥＥＥ４２
前記画像パターンは、ピクセルの「多色」配列を備え、ここで、前記配列のそれぞれの「色」は、１つより多い画像のそれぞれ１つのピクセルを備える、ＥＥＥ１の方法。
【０１００】
ＥＥＥ４３
前記配列は、各「色」／画像に割り当てられた列および行の少なくとも１つの配列を備える、ＥＥＥ４２の方法。
【０１０１】
ＥＥＥ４４
前記配列は、各「色」／画像に割り当てられた位置のに割り当てられた位置でのモジュラス空間配列を備える、ＥＥＥ４２の方法。
【０１０２】
ＥＥＥ４５
前記エンコーディングプロセスは、フィールドベースのエンコーディングを備える、ＥＥＥ１の方法。
【０１０３】
ＥＥＥ４６
前記エンコーディングプロセスは、ピクチャレベルおよびマクロブロックレベルの少なくとも１つで実行されるフィールドベースのエンコーディングを備える、ＥＥＥ１の方法。
【０１０４】
ＥＥＥ４７
前記視差の量は、ピクチャレベル解析、スライスの解析、領域レベル解析、マクロブロック解析およびブロックレベル解析の少なくとも１つを備える、ＥＥＥ１の方法。
【０１０５】
ＥＥＥ４８
前記視差の量は、ゆがみを算定するステップで決定される、ＥＥＥ１の方法。
【０１０６】
ＥＥＥ４９
前記ゆがみを算定するステップは、立体表示サンプルを分離し、分離されたサンプルの３D表示に基づいてゆがみを算定することを備える、ＥＥＥ４８の方法。
【０１０７】
ＥＥＥ５０
前記算定されたゆがみは、輝度と色度の少なくとも１つを備える、ＥＥＥ４８の方法。
【０１０８】
ＥＥＥ５１
前記算定されたゆがみは、画像パターンで表される前の少なくとも１つの画像との比較を備える、ＥＥＥ４８の方法。
【０１０９】
ＥＥＥ５２
前記視差の量は、オリジナル画像をデコードされた後の「格子」で表される画像と比較することにより算定されるゆがみを算定することを備えるステップで決定される、ＥＥＥ４０の方法。
【０１１０】
ＥＥＥ５３
前記視差の量は、ゆがみを算定することを備えるステップで決定され、前記ゆがみは、オリジナル原像パターン画像をデコードされた後の画像パターンで表される画像と比較することにより算定される、ＥＥＥ１の方法。
【０１１１】
ＥＥＥ５４
前記視差の量は、ゆがみを算定し、前記ゆがみは実質的に画像パターンにエンコードされた３Ｄ画像のオリジナルペアから算定されることと、前記画像のオリジナルペアを画像パターンからデコードされた画像とを比較することとを備えるステップで決定される、ＥＥＥ１の方法。
【０１１２】
ＥＥＥ５５
前記視差の量は、実質的に画像パターンにエンコードされた３Ｄ画像のオリジナルペアから算定されるゆがみを算定することと、その後に前記画像のオリジナルペアを画像パターンからデコードされた画像とを比較することとを備えるステップで決定される、ＥＥＥ１の方法。
【０１１３】
ＥＥＥ５６
低減された画像セットのコンテンツに基づき品質を低下するステップが実行される、ＥＥＥ５５の方法。
【０１１４】
ＥＥＥ５７
前記画像セットの所望の許容できるレベルの品質を考慮する価格決定モデルに基づき品質を低下するステップが実行される、ＥＥＥ５５の方法。
【０１１５】
ＥＥＥ５８
前記表された画像中の画像セットは所望の品質に基づき優先順位が決められ、前記品質を低下するステップは、該画像セットに実行されるならば、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように前記画像セットの優先順位にしたがって調整される、ＥＥＥ５５の方法。
【０１１６】
ＥＥＥ５９
前記表された画像中の画像セットは所望の品質に基づき優先順位が決められ、前記品質を低下するステップは、該画像セットに実行されるならば、高い優先順位の画像セットが大きすぎ画像セットの全てを搬送するのに追加のスペースまたはバンド幅が必要にならない限り、低い優先順位の画像セットは高い優先順位の画像セットよりも品質をさらに低下するように前記画像セットの優先順位とサイズにしたがって調整される、ＥＥＥ５５の方法。
【０１１７】
ＥＥＥ６０
前記品質を低下するステップは、立体画像セットの表示上で実行される、ＥＥＥ５５の方法。
【０１１８】
ＥＥＥ６１
画像の立体ペアを受け取るステップと；
前記画像を画像パターンに組み合わせるステップと；
前記画像パターンをエンコードする少なくとも１つのツールを評価するステップと；
エンコーディングまたは対応するデコーディングプロセスでの画像間の二次汚染量が所定の二次汚染閾値よりも低ければ、エンコーディングプロセスで少なくとも１つのエンコードするツールを適用するステップとを備え；
前記エンコーディングプロセスは既存のビデオフォーマットを備える；
方法。
【０１１９】
ＥＥＥ６２
前記少なくとも１つのエンコードするツールを適用するステップは、画像の領域を優先順位を付けることと、前記エンコードするツールを前記優先順位に従って各領域に適用することを備える、ＥＥＥ６１の方法。
【０１２０】
ＥＥＥ６３
前記優先順位を付けることは、少なくとも１つのエンコードするツールが適用される高優先順位の領域と、前記コーディングツールが必ずしも適用されない低優先順位の領域を備える、ＥＥＥ６２の方法。
【０１２１】
ＥＥＥ６４
前記優先順位を付けることは、少なくとも１つの所定の閾値を通過する領域に基づく、ＥＥＥ６２の方法。
【０１２２】
ＥＥＥ６５
前記少なくとも１つの所定の閾値は、少なくとも１つの立体視差、動きの検知、輝度差、および色度差閾値を備える、ＥＥＥ６４の方法。
【０１２３】
ＥＥＥ６６
前記既存のビデオフォーマットは、立体画像をエンコードするように開発されてはいないビデオフォーマットを備える、ＥＥＥ６１の方法。
【０１２４】
ＥＥＥ６７
前記既存のビデオフォーマットは、スケーラブルビデオコーディング拡張を備える、ＥＥＥ６１の方法。
【０１２５】
ＥＥＥ６８
前記評価するステップは、立体視差解析、動き予測解析、明度解析、多重パスエンコーディングからの解析、事前プロセスおよび早期プロセスからの解析、および動き補正時間フィルタ（ＭＣＴＦ）解析の少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２６】
ＥＥＥ６９
前記少なくとも１つのツールは、デブロッキングおよび予測ツールの少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２７】
ＥＥＥ７０
前記エンコードするツールの少なくとも１つを適用するステップをさらに備え、二次汚染の量が許容できる所定の二次汚染の範囲内であれば低減したレベルで前記エンコードするツールの少なくとも１つを適用することを備える、ＥＥＥ６１の方法。
【０１２８】
ＥＥＥ７１
前記二次汚染は、輝度、色度、ブロッキングおよび立体表示汚染の少なくとも１つを備える、ＥＥＥ６１の方法。
【０１２９】
ＥＥＥ７２
前記評価するステップは、コストプロセスを備える、ＥＥＥ６１の方法。
【０１３０】
ＥＥＥ７３
前記コストプロセスは、算定コストと汚染コストの関数を備える、ＥＥＥ７２の方法。
【０１３１】
ＥＥＥ７４
前記コストプロセスは、下記のラグランジュコストを備える、ＥＥＥ７２の方法。
Ｊ（λ）＝μＬＶＤＬＶ（Ｒ）+μＲＶＤＲＶ（Ｒ）＋λ・Ｒ
ここで、ＤＬＶとＤＲＶは画像ペアの左および右画像のゆがみ値であり、μＬＶとμＲＶは各画像に関連するラグランジュ乗数であり、Ｒは前記エンコーディングツールを備えるコーディングモードを選定するための予測または実際ビットレートであり、λはレートパラメータ用のラグランジュパラメータである。
【０１３２】
ＥＥＥ７５
μＬＶ＞μＲＶまたはμＬＶ＜μＲＶが一表示の品質に対し高いバイアスとなる場合には、エンコーディングプロセスで前記エンコードするツールの少なくとも１つを適用することにより立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ７４の方法。
【０１３３】
ＥＥＥ７６
前記画像の立体ペアの１つの低品質版を提供し、前記画像の立体ペアのその後の左表示と右表示間で前記低品質版を交互に入れ替えることにより、立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３４】
ＥＥＥ７７
前記画像の立体ペアの少なくとも１つの品質を変化させ、前記品質は前記画像の優先順位に基づいて選定されることにより、立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３５】
ＥＥＥ７８
エンコーディングあるいは対応するデコーディングプロセスにおける前記画像の1つの二次汚染の量が第１の所定のＳＶＭ二次汚染閾値より大きく、前記エンコーディングあるいは対応するデコーディングプロセスにおける他の画像の二次汚染の量が第２の所定のＳＶＭ二次汚染閾値より小さければ、エンコーディングプロセスにおいて少なくとも１つのエンコーディングツールを適用することにより立体表示マスキング（ＳＶＭ）を利用するステップをさらに備える、ＥＥＥ６１の方法。
【０１３６】
ＥＥＥ７９
エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと；
前記エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと；
デコードされる前記画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、前記評価に基づいて前記ツールの少なくとも１つの使用の量を調整するようになされた評価プロセッサとを備える；
エンコーディング装置。
【０１３７】
ＥＥＥ８０
前記ファクタは視差、輝度、色度および動き予測の少なくとも１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１３８】
ＥＥＥ８１
前記１組のツールは、デブロッキングツールと動き予測ツールの少なくとも１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１３９】
ＥＥＥ８２
前記エンコーダは、スケーラブルビデオエンコーダを備える、ＥＥＥ７９のエンコーディング装置。
【０１４０】
ＥＥＥ８３
前記スケーラブルビデオエンコーダは既存のビデオフォーマットの拡張を備える、ＥＥＥ８２のエンコーディング装置。
【０１４１】
ＥＥＥ８４
前記ビデオフォーマットはＡＶＣ／Ｈ．２６４を備える、ＥＥＥ８３のエンコーディング装置。
【０１４２】
ＥＥＥ８５
前記ビデオフォーマットはＡＶＣおよびＶＣ１の１つを備える、ＥＥＥ８３のエンコーディング装置。
【０１４３】
ＥＥＥ８６
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えた場合に前記ツールの少なくとも１つに反対にバイアスを掛けることを備える、ＥＥＥ７９のエンコーディング装置。
【０１４４】
ＥＥＥ８７
前記評価プロセッサによる調整は、前記評価されたファクタに関連する優先順位レベルに応じて変化する量で前記ツールの少なくとも１つに反対にバイアスを掛けることを備える、ＥＥＥ７９のエンコーディング装置。
【０１４５】
ＥＥＥ８８
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えた場合に前記ツールの少なくとも１つの使用の影響を低減することを備える、ＥＥＥ７９のエンコーディング装置。
【０１４６】
ＥＥＥ８９
前記１組の画像は、立体表示、複数の立体表示、同じ場面の複数の表示、および複数の無関係な表示の１つを備える、ＥＥＥ７９のエンコーディング装置。
【０１４７】
ＥＥＥ９０
デコードされたビデオ入力ポートと複数表示信号出力ポートを備えるアドオン装置であって、デコードされた各フレーム複数表示ビデオを備える入力ポートで受信するビデオを処理し、出力ポートにより送信される複数表示信号を生成するようになされた、アドオン装置。
【０１４８】
ＥＥＥ９１
前記デコードされた各フレーム複数表示ビデオは、前記ビデオの各フレームに埋め込まれた左表示と右表示を有する３Dビデオを備える、ＥＥＥ９０のアドオン装置。
【０１４９】
ＥＥＥ９２
前記入力ポートと出力ポートの少なくとも１つはワイヤレスポートを備える、ＥＥＥ９１のアドオン装置。
【０１５０】
ＥＥＥ９３
前記デコードされた各フレーム複数表示ビデオは、格子パターンから解凍されたビデオを備える、ＥＥＥ９０のアドオン装置。
【０１５１】
ＥＥＥ９４
前記デコードされた各フレーム複数表示ビデオは、格子パターンから解凍され、オリジナルビデオの表示の少なくとも２つの間の視差に基づき少なくとも１つのエンコーディング特徴をコントロールするステップを含む方法で前記格子パターンでエンコードされ、該エンコードは該オリジナルビデオから作られた、ＥＥＥ９０のアドオン装置。
【０１５２】
本発明は、本書で説明したいかなる要素（本発明の種々の部分または特徴）およびそれらの均等物を適切に備え、それらから構成され、あるいは、それらから実質的に構成されてもよい。さらに、本書で説明的に開示された本発明は、本書で具体的にに開示したか否かに関わらず、ある要素なしでも実施可能であろう。明らかに、本発明の多くの改変や変更は、上記の教示を考慮すれば可能である。したがって、後で出願された特許出願に含まれるべき請求項の範囲内で、本発明は本書で具体的に説明した以外別の方法で実施してもよいことが理解されるべきである。
【特許請求の範囲】
【請求項１】
エンコードされる１つより多い画像を表わす画像パターンの領域用のエンコーディングプロセスのエンコーディング特徴をコントロールするステップであって、前記領域が、前記特徴でエンコードされると前記表わされる画像間の二次汚染となる表わされる画像の視差の量を含むときに前記エンコーディングプロセスでエンコードされる、ステップを備える；
画像をエンコードする方法。
【請求項２】
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を停止することを備える；
請求項１の画像をエンコードする方法。
【請求項３】
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を反対にバイアスすることを備える；
請求項１の画像をエンコードする方法。
【請求項４】
前記視差の量は、前記画像の対応する領域の予測動きの量と、前記画像の対応する領域の照明変化の量のすくなくとも１つを備える；
請求項１の画像をエンコードする方法。
【請求項５】
エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと;
前記エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと；
デコードされる前記画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、前記評価に基づき前記ツールの少なくとも１つの使用量を調整するようになされた評価プロセッサとを備える；
エンコーディング装置
【請求項６】
前記ファクタは、視差、輝度、色度、動き予測の少なくとも１つを備える；
請求項５のエンコーディング装置
【請求項７】
前記１組のツールは、デブロッキングツールおよび動き予測ツールの少なくとも１つを備える；
請求項５のエンコーディング装置
【請求項８】
前記エンコーダは、スケーラブルビデオエンコーダを備える；
請求項５のエンコーディング装置
【請求項９】
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えたときには前記ツールの少なくとも１つの使用の効果を低減することを備える；
請求項５のエンコーディング装置
【請求項１０】
前記画像は、立体表示、複数の立体表示、同じ場面の複数表示および複数の無関係な表示の１つを備える；
請求項５のエンコーディング装置
【請求項１１】
デコードされたビデオ入力ポートと複数表示信号出力ポートとを備えるアドオン装置の使用であって、
前記アドオン装置は、前記入力ポートで受信し、デコードされた各フレーム複数表示ビデオを備えるビデオを処理し、前記出力ポートにより送信される複数表示信号を生成するようになされ；
前記デコードされた各フレーム複数表示ビデオが、前記ビデオの各フレームに埋め込まれた左表示と右表示を有する３Ｄビデオを備えて、前記ビデオは前記左表示と右表示の間のファクタの評価に基づき少なくとも１つのエンコーディング特徴をコントロールすることによりエンコードされるとき、前記アドオン装置は、前記出力ポートに接続されたディスプレイにより認識されるフォーマットで立体複数表示信号を生成する；
アドオン装置の使用。
【請求項１２】
前記アドオン装置は、メディアプレーヤに埋め込まれる：
請求項１１のアドオン装置。
【請求項１３】
前記アドオン装置は、請求項５のエンコーダを含むシステムの一部である：
請求項１１または１２のアドオン装置。
【請求項１４】
前記デコードされた各フレーム複数表示ビデオは、エンコーディングがなされたオリジナルビデオの表示の少なくとも２つの間の視差を備える前記ファクタの評価に際し前記エンコーディング特徴をコントロールする間に、多重化パターンから解凍された立体ビデオを備える：
請求項１１のアドオン装置。
【請求項１５】
記憶された命令を有する電子的可読媒体であって、
処理装置にロードされて実行されると、前記処理装置に請求項１ないし４のいずれかの前記ステップを実行させ、あるいは請求項５ないし１０のいずれかのエンコーダを含むシステムで動作し、あるいは請求項１１ないし１４のいずれかの各フレーム複数表示ビデオを生成し、あるいは請求項１１ないし１４のいずれかのアドオン装置のいずれかの部分を動作させる：
電子的可読媒体。
【請求項１】
エンコードされる１つより多い画像を表わす画像パターンの領域用のエンコーディングプロセスのエンコーディング特徴をコントロールするステップであって、前記領域が、前記特徴でエンコードされると前記表わされる画像間の二次汚染となる表わされる画像の視差の量を含むときに前記エンコーディングプロセスでエンコードされる、ステップを備える；
画像をエンコードする方法。
【請求項２】
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を停止することを備える；
請求項１の画像をエンコードする方法。
【請求項３】
前記エンコーディング特徴をコントロールするステップは、前記エンコーディング特徴を反対にバイアスすることを備える；
請求項１の画像をエンコードする方法。
【請求項４】
前記視差の量は、前記画像の対応する領域の予測動きの量と、前記画像の対応する領域の照明変化の量のすくなくとも１つを備える；
請求項１の画像をエンコードする方法。
【請求項５】
エンコードされる画像データを備えるビットパターンを受信するようになされた入力ポートと;
前記エンコードされる画像データのアスペクトをエンコードするようになされた１組のツールを備えるエンコーダと；
デコードされる前記画像のビットパターンに埋め込まれた１組の画像の対応する領域間の少なくとも１つのファクタを評価し、前記評価に基づき前記ツールの少なくとも１つの使用量を調整するようになされた評価プロセッサとを備える；
エンコーディング装置
【請求項６】
前記ファクタは、視差、輝度、色度、動き予測の少なくとも１つを備える；
請求項５のエンコーディング装置
【請求項７】
前記１組のツールは、デブロッキングツールおよび動き予測ツールの少なくとも１つを備える；
請求項５のエンコーディング装置
【請求項８】
前記エンコーダは、スケーラブルビデオエンコーダを備える；
請求項５のエンコーディング装置
【請求項９】
前記評価プロセッサによる調整は、前記評価されたファクタの少なくとも１つが所定の閾値を超えたときには前記ツールの少なくとも１つの使用の効果を低減することを備える；
請求項５のエンコーディング装置
【請求項１０】
前記画像は、立体表示、複数の立体表示、同じ場面の複数表示および複数の無関係な表示の１つを備える；
請求項５のエンコーディング装置
【請求項１１】
デコードされたビデオ入力ポートと複数表示信号出力ポートとを備えるアドオン装置の使用であって、
前記アドオン装置は、前記入力ポートで受信し、デコードされた各フレーム複数表示ビデオを備えるビデオを処理し、前記出力ポートにより送信される複数表示信号を生成するようになされ；
前記デコードされた各フレーム複数表示ビデオが、前記ビデオの各フレームに埋め込まれた左表示と右表示を有する３Ｄビデオを備えて、前記ビデオは前記左表示と右表示の間のファクタの評価に基づき少なくとも１つのエンコーディング特徴をコントロールすることによりエンコードされるとき、前記アドオン装置は、前記出力ポートに接続されたディスプレイにより認識されるフォーマットで立体複数表示信号を生成する；
アドオン装置の使用。
【請求項１２】
前記アドオン装置は、メディアプレーヤに埋め込まれる：
請求項１１のアドオン装置。
【請求項１３】
前記アドオン装置は、請求項５のエンコーダを含むシステムの一部である：
請求項１１または１２のアドオン装置。
【請求項１４】
前記デコードされた各フレーム複数表示ビデオは、エンコーディングがなされたオリジナルビデオの表示の少なくとも２つの間の視差を備える前記ファクタの評価に際し前記エンコーディング特徴をコントロールする間に、多重化パターンから解凍された立体ビデオを備える：
請求項１１のアドオン装置。
【請求項１５】
記憶された命令を有する電子的可読媒体であって、
処理装置にロードされて実行されると、前記処理装置に請求項１ないし４のいずれかの前記ステップを実行させ、あるいは請求項５ないし１０のいずれかのエンコーダを含むシステムで動作し、あるいは請求項１１ないし１４のいずれかの各フレーム複数表示ビデオを生成し、あるいは請求項１１ないし１４のいずれかのアドオン装置のいずれかの部分を動作させる：
電子的可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１１−５２８８８９（Ｐ２０１１−５２８８８９Ａ）
【公表日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１１−５２０１００（Ｐ２０１１−５２０１００）
【出願日】平成２１年７月１６日（２００９．７．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５０８１５
【国際公開番号】ＷＯ２０１０／０１１５５７
【国際公開日】平成２２年１月２８日（２０１０．１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９１１０２６３７）ドルビー・ラボラトリーズ・ライセンシング・コーポレーション (111)
【氏名又は名称原語表記】ＤＯＬＢＹ ＬＡＢＯＲＡＴＯＲＩＥＳ ＬＩＣＥＮＳＩＮＧ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公表日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２１年７月１６日（２００９．７．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０５０８１５
【国際公開番号】ＷＯ２０１０／０１１５５７
【国際公開日】平成２２年１月２８日（２０１０．１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９１１０２６３７）ドルビー・ラボラトリーズ・ライセンシング・コーポレーション (111)
【氏名又は名称原語表記】ＤＯＬＢＹ ＬＡＢＯＲＡＴＯＲＩＥＳ ＬＩＣＥＮＳＩＮＧ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]