説明

拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステム

CRTの色空間を超える表示機能を有する複数の異なる表示装置(対象色空間)のために拡張された色空間コンテンツのマスタリングおよび配信を行うための方法およびシステムが提供される。コンテンツ・クリエータは、各対象色空間のために、ベース、または基準色空間、さらに拡張された色空間データを設定する。拡張された色空間データは、メタデータとして記憶され、ベース/基準色空間とは別個の拡張された色チャンネルを介して伝送される。ベース/基準データおよびメタデータの双方は、伝送前に符号化され、消費者の側で専用の復号器または、復号器が組み込まれた表示装置を用いて復号化される。本発明の他の態様においては、例えば、輝度、ルミナンス、コントラスト、さらに、他の表示設定項目など、対象色空間に関する補助データが拡張された色チャンネルを介して伝送され、対象色空間の各設定項目(即ち、各表示設定項目)を制御するために復号化される。色調節メタデータは、所望の実施態様に依存して、補助データの中に含まれる場合もあれば、補助データとは別個に保存される場合もある。

【発明の詳細な説明】
【技術分野】
【0001】
本出願は、2004年11月1日付で出願された米国仮特許出願第60/623,882号の優先権を主張する。
【背景技術】
【0002】
1.発明の分野
本発明は、コンテンツの作成および配信に関する。より具体的には、本発明は、CRTに基づかない新たに出現した表示技術と共に使用されるコンテンツの作成および配信を改良する(enhancing)方法およびシステムに関する。
【0003】
2.従来技術の説明
今日の、現状の技術では、家庭用ビデオ表示装置上で、芸術的な(即ち、色(color:カラー)に関する)意図を再現することが、不可能ではないにしても、困難である。一般的に、このような再現が可能である場所は、フィルムやディジタル・シネマの劇場の中のみである。この色に関する「コンテンツ・クリエータの芸術的な意図」は、本明細書において、コンテンツの「色空間(color space:カラー・スペース)」と言及される。
【0004】
消費者用の色空間は、常に、従来のCRT(Catode Ray Tube)表示装置の対象となってきた。色空間を異なる表示装置に拡張する思想は、研究や出版物の対象となっている。幾つかの企業は、自社の表示装置における色域やダイナミック・レンジを改良する方法を提案しているが、今日に至るまで、後方互換性(backwards compatibility)を提供するエンドツーエンドのシステムは知られていない。
【0005】
新たな表示技術に対する開発が続けられ、消費者市場に投入されつつある。このような新たな表示技術は、従来のCRTに基づく表示装置を用いた場合よりも、より優れた画質再現性を提供する。しかしながら、今日のビデオ・コンテンツのマスタリング処理、配信システム、符号化システム、および信号伝達は、CRTのみに基づいている。
【0006】
高ダイナミック・レンジ(HDR:High Dynamic Range)、拡張色域(ECG:Enhanced Color Gamut:エンハンスド・カラー・ガモット)およびその他の特徴を使用した新たな表示技術が消費者市場に投入されており、これらの表示技術の潜在能力を最大限にするための新たなコンテンツのプロダクション・チェインを構築する必要が生じている。これらのタイプの新たな表示技術の例として、限定するものではないが、液晶表示装置(LCD:Liquid Crystal Display)、LCOS(Liquid Crystal on Silicon)、プラズマ・ディプレイ・パネル(PDP:Plasma Display Panel)、有機発光ダイオード(OLED:Organic Light Emitting Diode)、高ダイナミック・レンジ(HDR)および拡張色域(ECG)の表示装置が挙げられる。
【0007】
図1は、今日のポスト・プロダクション処理における色空間の関係100を示している。この例においては、3つの別個の色調整(106、108、110)が実施される(即ち、1つはフィルム106用、1つはディジタル・シネマ108用、1つはビデオ110用)。熟練したカラリストによってディジタル・コース・コンテンツ(digital course content)の色が調節される(104)。フィルム・マスタ106(本明細書において色空間Xと言及する)には、フィルム・プロジェクション用のコンテンツを作成するために、シーン毎の調節が必要となる。ディジタル・シネマ・マスタ108(本明細書において色空間Yと言及する)には、ディジタル・シネマのためにシーン毎の調節が必要となり、ビデオ・マスタ110(色空間Zと言及する)には、家庭用のビデオ環境のためにシーン毎の調節が必要となる。
【0008】
各バリエーションの特性の間には大きな差異が存在するため、これらの色調整(color adjustment:カラー・アジャストメント)は、大変クリエイティブな処理であり、簡単に自動化することはできなかった。今日まで、これらバージョンの1つを別のものに変換することが可能な、広く利用可能な数学的な変換は存在していない。従って、新たな表示のタイプや技術の追加に伴い、図示したものから大きな分岐が生じているため、これらの新たな表示機能に対応する追加のバリアント・マスタ(variant master)を作成することが必要となっている。
【発明の開示】
【0009】
(発明の概要)
従って、本原理の一つの態様によれば、新たな解像度表示画面の潜在的可能性を利用した拡張された色空間のマスタリングおよび配信を行うためのシステムが提供される。
【0010】
本原理の別の態様によれば、コンテンツ・クリエータの当初のクリエイティブな意図を視聴者に伝えるように設計されたシステムおよび方法が提供される。さらに、本原理の別の態様によれば、新たな表示のタイプの潜在能力を十分に利用してコンテンツを作成し、バリエーションが増えた効率的な作成のための需要に対応するシステムが定義される。
【0011】
本原理に従ったこれらの態様およびその他の態様においては、対象表示装置の対象色空間のために拡張された演色(enhanced color rendition)が得られるようにコンテンツを修正する方法は、コンテンツを少なくとも部分的に、少なくとも1つのコンテンツ・クリエータの意図に従ってマスタリングするステップを含んでいる。マスタリングするステップは、基準色空間に関し、各対象色空間のためにコンテンツの中で演色を調節するステップを含んでいる。対象表示装置上で拡張された演色を用いてコンテンツを表示することを可能にするために、対象色空間に対して特に行われる演色の調節についての情報に従ってマスタリングされたコンテンツを符号化する。
【0012】
本発明の一態様によれば、調節するステップは、各対象色空間に対して特に調節された情報をメタデータとして記憶するステップを含んでいる。
【0013】
符号化するステップは、ベース・バンド基準コンテンツを識別するステップと、ベース・バンド基準コンテンツを圧縮するステップと、圧縮されていないベース・バンド基準コンテンツおよび圧縮されたベース・バンド基準コンテンツとの間の色差を判定するステップと、によって拡張された色チャンネルを作成するステップを含んでいる。
【0014】
コンテンツが符号化されると、この符号化されたコンテンツは、拡張された色伝送チャンネルを介して伝送される。調節された演色を示す色情報を有する符号化されたコンテンツが受信されると、復号化された演色情報に従って対象表示装置の色表示特性が調節される。結果として得られたコンテンツは、視聴者の対象表示装置上で表示される。
【0015】
復号化されたコンテンツには、ベース・バンド基準データと、対象色空間に特有の、対象表示装置の表示機能に従ってトゥルー・カラーを再現するように適合された色調節データとを含めることができる。
【0016】
本原理の別の態様によれば、コンテンツをマスタリングするステップは、各対象色空間に関する補助データを識別し、当該補助データを記憶するステップを含んでいる。本原理の別の態様によれば、伝送前にメタデータが補助データと組み合わされる。メタデータおよび補助データの一方は、対象表示装置の各設定項目に対して行われる各調節に関するダイナミック表示情報データを含んでいる。例として、このような表示装置の各設定項目は、輝度、コントラスト、およびルミナンスを含んでいる。
【0017】
本原理のさらに別の態様によれば、対象表示装置の非標準システムの対象色空間のために拡張された演色が得られるようにコンテンツを修正する方法は、標準システムのコンテンツに対してなされる必要のある非標準システムの対象色空間に対して特に行われる各調節を識別して、非標準システムの対象色空間に再現するステップを含んでいる。各調節は、少なくとも部分的に、少なくとも1つのコンテンツ・クリエータの意図に従って行われる。各対象色空間のための識別された各調節についてのデータは、メモリに記憶され、対象色空間に対応する対象表示装置上の拡張された演色を用いてコンテンツを表示することを可能にするために、記憶された対象色空間のための各調節についてのデータに従ってベース/基準データが記憶された調節についてのデータと共に符号化される。
【0018】
符号化するステップは、ベース・バンド基準コンテンツを圧縮するステップと、ベース・バンド基準コンテンツを圧縮するステップと、圧縮されていないベース・バンド/基準コンテンツおよび圧縮されたベース・バンド/基準コンテンツとの間の色差を判定するステップとによって拡張された色チャンネルを作成するステップを含んでいる。
【0019】
対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正するシステムは、少なくとも部分的に、少なくとも1つのクリエータの意図に従って、基準色空間に関して各対象色空間のためにコンテンツ内で演色を調節する手段と、対象装置上で拡張された演色を用いてコンテンツの表示を可能にするために、調節された演色を示す色情報を有するコンテンツを符号化する手段とを含んでいる。
【0020】
符号化されたビデオは、拡張された色チャンネルを介して伝送される。拡張された色チャンネルは、圧縮されたベース・バンド/基準コンテンツと、圧縮されていないベース・バンド/基準コンテンツおよび圧縮されたベース・バンド/基準コンテンツとの間の色差に関する色差情報とを含んでいる。
【0021】
本発明のその他の目的および特徴は、添付図面と併せて以下の詳細な説明を考慮することによって明らかになる。しかしながら、各図面は、例示的な目的のためだけのものであり、本発明の範囲を定義するものではない。発明の範囲については、請求の範囲を参照すべきである。さらに、図面は、必ずしも実際の寸法に合わせて描かれたものではなく、特別に示されていない限り、本明細書中で説明する構造よび処理を単に概念的に例示するように意図されている。
【0022】
各図面において、同様の構成要素については、同様の参照符号を用いて表している。
【発明を実施するための最良の形態】
【0023】
本願において説明するビデオなどの拡張された色空間コンテンツのマスタリングおよび配信を行うためのシステムおよび方法は、従来のCRTに基づくカラー・テレビジョン・システムなどの従来の表示装置よりも優れたピクチャの再現性を提供する新たな表示技術が利用可能になったことを理由として実現されるものである。画像の再生品質が向上し、コンテンツ・クリエータの当初の意図から犠牲にしなくてはならないものが少なくなる。しかしながら、新たな表示技術の数の増加に伴い、このような新たな表示技術の各々は、異なる表示特性を有するため、各表示技術の個々の特性に対応するように、コンテンツのバリエーションの数を増加させる必要がある。
【0024】
上記の「コンセプト(concept)」は、視聴者に対し、色に関し、または、テクスチャ、強度、ノイズなど想定される他の画像特性に関し、コンテンツ・クリエータの芸術的な意図を表示装置上で観察できるようにする能力を提供するものとして説明される。本発明のシステムおよび方法は、本明細書に渡って、「ディレクターズ・ビジョン(Directers Vision)」として参照され、本明細書において、この用語は、本発明のシステムよび方法と同じ意味で使用されている。
【0025】
ピクチャ(映画)の再生品質が向上し、コンテンツ・クリエータの当初の意図から犠牲にしなくてはならないものが少なくなる。しかしながら新たな表示技術の数の増加に伴い、このような新たな表示技術の各々は、異なる表示特性を有するため、各表示技術の個々の特性に対応するように、コンテンツのバリエーションの数を増加させる必要がある。本発明は、これらの増加したバリエーションを効率的に作成するための需要に対応し、各表示タイプの潜在能力を十分に活用したコンテンツの作成および配信を行うシステムを定義する。
【0026】
以下の説明は、「標準のビデオ・システム(standard video system)」について言及したものである。この「標準のビデオ・システム」は、本明細書において、標準の解像度または高解像度(例えば、NTSC、PAL、SECAM、CCIR−601、ITU−R bt.709など)を有する、色空間が従来のCRT蛍光体技術に基づく既存のビデオ・システム、または、ビデオ・シグナリング・フォーマットを意味するように定義される。以下の記載より明らかになるであろうが、本原理の技術は、他のタイプのコンテンツ配信システムにも適用することができる。
【0027】
以下の説明は、理論的なメディア・ソース(例えば、「プレイヤー」)にも言及している。メディア・ソースは、パーソナル・コンピュータおよびゲーム・コンソールを含み、DVD、HDブルーレイ・ディスク(HD Blu‐Ray Disc)、衛星を利用した装置、または他の装置など、表示装置にコンテンツを提供可能などのような装置をも含むように解釈される。
【0028】
本発明のディレクターズ・ビジョン・システムは、例えば、HDR表示などのような表示が可能な表示装置のためにより良好な画像を提供する。このコンテンツを配信するためのシステムの1つとして以下のものが想定される。
ディレクターズ・ビジョンのオーサリングがなされたHD光学ディスク→ディレクターズ・ビジョンが可能なプレイヤー→HDRテレビジョン
他の配信経路も想定され、実際の復号器を幾つかの場所に存在させることもできる。いずれの場合においても、コンテンツは、既知の色空間、または基準の色空間を用いて作成されなければならない。
【0029】
本原理の技術は、ハードウエア、ソフトウエア、ファームウエア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実施可能である。本発明は、ハードウエアとソフトウエアとを組み合わせることによって実施されることが好ましい。さらに、ソフトウエアは、プログラム記憶装置に具体的な形態に実装されたアプリケーション・プログラムとして実行されることが好ましい。アプリケーション・プログラムは、好適なアーキテクチャーを有するマシンに対してアップロードされ、このマシンによって実行可能なものであってもよい。好ましくは、マシンは、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、入出力(I/O)インタフェースを備えるコンピュータ・プラットフォーム上で実施される。このコンピュータ・プラットフォームは、オペレーション・システムとマイクロ命令コードを更に備えるものであってもよい。本明細書において記載された様々な処理および機能は、マイクロ命令コードの一部であってもよいし、アプリケーション・プログラムの一部であってもよいし、これらを組み合わせたものであってもよいし、また、オペレーティング・システム(OS)に介して実行されるものであってもよい。さらに、コンピュータ・プラットフォームには、追加のデータ記憶装置や、印刷機等、様々な周辺機器を接続するようにしてもよい。
【0030】
添付図面に描かれた構成要素としてのシステム・コンポーネントや方法の各ステップの幾つかは、好ましくは、ソフトウエアの形態で実施されるため、システム・コンポーネント(または処理ステップ)間の実際の結合は、本発明のプログラムの仕方によって異なる場合があるであろう。本明細書の開示内容に基づいて、関連する技術分野の当業者であれば、本発明の構成で実施すること、また、同様の構成で実施することが可能であろう。
【0031】
本発明の説明は、1)コンテンツ作成、2)コンテンツ・パッケージング、3)コンテンツ符号化、および4)コンテンツ表示の4つの領域に分けられる。
【0032】
図2は、本発明の一態様に係る拡張された色空間コンテンツのマスタリングおよび配信を行う方法およびシステムのためのハイレベル・ブロック図を示している。図示するように、まずコンテンツのマスタリングが行われ(202)、次に、パッケージングが行われる(204)。パッケージングされたコンテンツは、チャンネル(206)を介して伝送され、復号器(208)によって受信され、消費者の表示装置上での表示のために復号化される。
【0033】
I.コンテンツ作成/マスタリング
図3は、図2のコンテンツ作成/マスタリングのステップ202の間に実行される主要なステップの幾つかを示すブロック図である。カラリストは、高解像度のディジタル・ソース・コンテンツ(DSC:Digital Source Content)から始め、較正された表示装置(例えば、P7V2ディジタル・シネマ色空間に較正されているディジタル・プロジェクタ)上で示されているように、コンテンツ・クリエータの意図に沿うように、ステップ304において色表示を調節する。表示装置の各タイプは、大幅に異なる特性を有するため、各々のために異なるマスタを作成することが本質的にクリエイティブな処理である。視覚機能を拡張することが可能な新たな表示技術が市場に投入され、これらの技術を十分に活用するために、追加のコンテンツ・バリエーションが作成されなければならない。本明細書中で説明するディレクターズ・ビジョン・システムは、これらの異なるマスタの各々を破壊的でない方法で作成するためのメカニズムを定義する。これは、ステップ302でフィルム要素をディジタル・スキャンしたものなどのディジタル・ソース・コンテンツ(DSC)から開始することによって行われる。その後、ステップ304の間に個々のマスタのために色調整を実行し、ステップ306において、ディジタル・スキャンのためのメタデータとして色調整についてのデータ(即ち、色判定リスト(Color Decision List))を記憶する。あるバリアント・マスタ(variant master)が別のものと同様である場合、例えば、ディジタル・シネマ・マスタがフィルム・マスタと同様である場合、この同様であるマスタをバリアント・コンテンツを派生させるための基礎として使用可能である。メタデータは、適切な既知のタイプのメモリ・デバイス308(例えば、ROM、RAM、光学メディア、磁気メディアなど)に記憶される。
【0034】
例として、コンテンツのマスタリングには、以下の1)〜4)が含まれる。1)ステップ302で、フィルムのオリジナルを編集した要素がディジタル的にスキャンされて、
ディジタル・ソース・コンテンツ(DSC)として利用される。図3のステップ304および306で(対象色空間の各タイプのため、即ち、表示装置の各タイプのため)一連の調整が行われてフィルム・マスタが作成され、メタデータ(即ち、色判定リスト)として記憶される。3)フィルム・マスタの色判定リストは、次に、ディジタル・シネマ・マスタ(再び、オリジナルのディジタル・ソース・データに色判定リストのメタデータを加えたものから構成される)を派生させるための基礎として使用される。4)ビデオ・マスタを後になって作成する際には(ビデオ・マスタは、他の2つのものとは大幅に異なる)、既存の色判定リスト(メタデータ)の1つを基準として使用する場合もあれば、ビデオ・マスタが最初から作成される場合もある。
【0035】
他の想定される実施の形態に従えば、メタデータには、表示装置の対象色空間内のコンテンツの表示を制御するための他の情報を含めることができる。例として、メタデータは、画像のコントラストおよび/または輝度を制御することができ、さらに、テクスチャ、ノイズ、および/または強度などの他のパラメータを制御することもできる。従って、コンテンツを作成する間、コンテンツ・クリエータは、従うべき表示装置のための各設定項目を定義する。なお、表示装置がこのような情報を利用する機能を有すると仮定する。これらの設定項目は、例えば、「対象」の表示装置が所在する場所の環境的な照明の条件に基づく場合もあり、さらに、時間の経過に伴うこれらの条件の変化(例えば、日中に見る場合と、夜間に見る場合の違い)により自動的に調節される場合がある。
【0036】
メタデータを使用可能な別の領域は、ダイナミック・レンジの向上である。出力装置のダイナミック・レンジを完全に使用しない場合が多い。さらに、より広いダイナミック・レンジを有する新たな表示装置が出現してきている。後述するように、本原理のディレクターズ・ビジョンの特定の実施態様に依存して、メタデータの代わり、または、メタデータに追加して、補助データがダイナミック・レンジ情報を保持することができる。
【0037】
II.コンテンツ・パッケージング
コンテンツ・パッケージングは、パッケージ化されたメディア上で配布され(または、限られた帯域幅のチャンネルを介して配信され)、標準のビデオ・システムおよび拡張されたビデオ・システムの双方で再生できるようにコンテンツを符号化することを含んでいる。さらに、コンテンツ・パッケージングは、拡張された色チャンネルの作成を含んでいる。図4および図5は、本原理の実施の形態に係るコンテンツ・パッケージング204表すブロック図である。
【0038】
コンテンツを符号化する(即ち、パッケージングする)ための想定可能な2つの方法を説明する。当業者であれば、ストレージ・メディアまたはその他の可変の要因に依存して、ある方法が他のものよりも実用的であることが理解できるであろうが、そのような方法は、本発明の精神から逸脱することなく使用することができる。
【0039】
以下の2つの方法AおよびBが提案される。
【0040】
A.オリジナルの圧縮されていない、または、損失無しに圧縮されているディジタル・ソース・コンテンツ(DSC)に対し、各タイプのビデオ・システム上で最良に表されるようにオリジナル・コンテンツをどのように扱うかを記載した追加のメタデータを含む特別のディレクターズ・ビジョン符号化フォーマット。このフォーマットの潜在的な欠点は、メディア上のデータ・サイズが非常に大きく、各システムのために複雑な色処理が必要となることである。この符号化技術は、コンテンツの作成段階では最も有用であることが判るであろう。
【0041】
B.標準的なビデオ・システム上に正しく表示可能なベース・バンド・コンテンツと共に補助ストリームとして送信される拡張された色表現メタデータ(Extended color representation metadata)。メタデータは、拡張された対象表示装置を「セットアップ(設定)」するためにどのようにベース・バンド・コンテンツを取り扱うかを記載するであろう。
【0042】
図4〜図5を参照すると、いずれのアプローチにおいても、色空間データを適切に符号化するためには、まず、コンテンツを符号化するために使用される原色を設定する(402)ことが必要である。この情報は、CIE色空間座標を用いて最も簡単に表さすことができる。コンテンツのオリジナルのマスタリングが行われた場合、適切に較正された表示装置を使用しなければならない。原色の値および最大輝度の値は、既知、または測定されていなければならない(402)。さらに、基準表示が少ないミリCIE内でリニア色トラッキングを有すること、さらに、基準「ゼロ」ルミナンス値が既知でなければならないことが重要である(404)。この情報により、オリジナルの色の正確かつ移植可能な再現が可能となる。この情報が得られると、コンテンツ(ベース・バンド)データ410および補助データおよび/またはメタデータ412がチャンネルを介した伝送のために符号化される。当業者であれば、基準表示が移植可能なスタンダード(portable standard)の基本的な動作要素(fundamental working element)であることが理解できるであろう。
【0043】
本発明に従ってデータを符号化するために、基準色空間および各「対象」色空間との間の関係を判定することが必要である(ステップ406)。一般に、「対象」色空間は、基準色空間よりも小さい。「対象」色空間は、予期される表示媒体(フィルム、CRT,または他の表示装置など)に基づく。今日では、「対象」表示装置はCRTであろうが、これは現在の業界の標準である。対象装置の色域の範囲外の色は、「補助」データ・ストリームとして符号化されるであろう。
【0044】
当業者であれば理解できるであろうが、基準色空間を対象色空間に変換する際に実施可能な多くの異なるアルゴリズムが存在する。そのうちの幾つかについては、独占的な権利を有する者もいるが、他のものは、皆が利用可能である。例えば、「対象」から外れる基準空間からの色は、単に「対象」色空間の境界に最も近い色に設定されることがある。
【0045】
図4は、符号化された出力がベース・バンド・データ410、各表示装置のタイプに関連する記憶されたメタデータ412、および/または補助データ414を含むことを示している。本原理の他に想定される態様では、伝送チャンネルを介してコンテンツを伝送するのに必要なサイズおよび/または帯域幅を最小限にするために、メタデータ412を補助データ414の一部に含めることができる。
【0046】
本原理の方法の1つの利点は、補助データ(および/またはメタデータのサイズ)が基準色空間および「対象」の表示装置または色空間との差異によって決定されることである。この差異が零である場合もあるがオリジナルのディジタル・ソース・コンテンツを表すのに必要なだけ大きい場合がある。しかしながら、この原理は、3つの原色を超える基準表示装置に適用することができるが原色の数はどのような数でもよい。
【0047】
方法A
1つの想定可能な実施の形態によれば、上記に定義した色情報を記憶するための第1の方法は、オリジナルのデータ・ソース・コンテンツ全体(恐らく、損失は無い圧縮であるが、損失が大きい圧縮の場合もある)と共に、サポートされる表示装置の各タイプのために追加のメタデータを記憶することによって開始される。例えば、標準のビデオ・システム(NTSC)および、ある拡張されたビデオ・システム(例えば、高ダイナミック・レンジ(High Dynamic Range)表示装置)を取り扱う場合には、オリジナルのディジタル・ソース・コンテンツは、標準のビデオ・システムのカラー・メタデータおよび拡張されたビデオ・システムのメタデータと共に記憶されるであろう(即ち、DSC+NTSCメタデータ+HDRメタデータ)。このように、パッケージに対して追加メタデータを単に追加することによってサポートされる表示装置のタイプの幅が広がる(一般的に、メタデータは、ディジタル・ソース・コンテンツ自体よりもはるかにコンパクトであると想定される)。しかしながら、このアプローチの1つの大きな欠点は、ディレクターズ・ビジョンが可能でない既存のビデオ・フォーマットとは一般的に互換性がない点である。
【0048】
方法B
上記に定義された第2の方法は、標準的なビデオ・システムと互換性のあるベース・バンド符号化ディジタル・ソース・コンテンツを用いて開始することによって、互換性の問題に対応するものである。このコンテンツ作成のために、オリジナルのディジタル・ソース・コンテンツは、標準的なビデオ・フォーマットのために必要な調節に従って処理されなければならない。次に、結果として得られた修正済のソース・コンテンツは、パッケージ内に(圧縮されて、または、圧縮無しに)記憶されている内容の基礎を形成するであろう。修正無しに直接再生が行われる場合には、コンテンツは、標準のビデオ・システム上で適切に再生されるであろう。拡張されたビデオ・システムをサポートするためには、拡張されたシステムをどのように「セットアップ」するかを記載する追加メタデータが盛り込まれるであろう。このメタデータは、拡張されたビデオ・システムの「対象」装置および標準的なビデオ・システムの装置との間の色空間の差を考慮することによって得られる。これらの差の値により、標準的なビデオ・システムのコンテンツを拡張されたビデオ・システムに適したコンテンツに変換するのに必要な情報が提供される。上記に挙げた例をとると、パッケージは、NTSCコンテンツおよびNTSCを拡張されたビデオ・システムに変換するためのメタデータ(即ち、NTSCコンテンツ+NTSCからHDRへのメタデータ)を含んでいる。これにより、既存のコンテンツを標準のビデオ・システムで適切に再生することを可能にしながら(既存のパッケージ・メディア形式との互換性を保ちながら)、特別のディレクターズ・ビジョンが可能なプレイヤーが、追加のメタデータを使用して拡張されたビデオ・システムをもサポートできるようにするメカニズムを提供する。
【0049】
図5は、本発明の符号化および復号化の部分の態様に従った拡張された色空間の作成を表すブロック図である。マスタリングされたコンテンツ502(色空間A)が上述したように作成される。このマスタリングされたコンテンツ502は、上述した表示装置の各タイプのためのメタデータを含むマスタの圧縮版が作成される。従って、色空間Aは、変換および圧縮の両方の処理を施され、コンテンツ圧縮(色空間B)504によって表される。マスター・コンテンツを圧縮することにより、色差506が得られる。この色差506は、必要であれば、圧縮される(508)。色差506に色空間Bを加えたものが使用され、より正確な新たな色空間Cが再作成される。
【0050】
III.コンテンツ復号化
以下の記載により理解できるであろうが、コンテンツの復号化は、幾つかの形態を取り、最終的には、チャンネル伝送のためにコンテンツをパッケージするのに使用される符号化技術に依存している。
【0051】
図6aおよび図6bは、受信した伝送データを符号化する側を示しており、復号化された色差および(メタデータを有する)復号化されたマスター・コンテンツが組み合わされて、対象色空間(即ち、消費者の表示装置)の色空間Cの色の拡張(color expansion)または色空間Cを再作成する。色空間Cは、特定のクラスの表示装置(例えば、プラズマ、LCD、DLPなど)を指定、または対象としている。当業者にとっては明らかであろうが、色空間Cは、圧縮された色空間Bを単純に解凍したものよりも、色空間Aに近似させたものにより近い。
【0052】
図6aは、本発明に係る復号化600の一実施の形態を示している。図示し、説明するように、復号化されたコンテンツ606と、対象色空間のための復号化された色差604が再度組み合わされ、これに対応する色空間Cが形成される。復号化されたコンテンツ内の、表示装置に対して特に提供されるメタデータは、特定の消費者の表示装置(例えば、対象色空間)のための新たな色空間Cをフォーマットするために、復号化の際にも使用される。表示装置のタイプおよびダイナミック・レンジなどに関連する他のデータに依存して、補助データ608が復号化の際に使用されることもあり、使用されないこともある。
【0053】
以下は、本発明に従って提案される例示的な復号化の方法の幾つかを示したものである。
【0054】
(a)全ての色判定を実行する特別なディレクターズ・ビジョンが可能なプレイヤー。このフォーマットにおいては、プレイヤーは、復号化および色判定の全てを実行する。プレイヤーは、標準および拡張されたビデオ出力を提供する機能を有する。
【0055】
(b)ディレクターズ・ビジョン情報を特別のディレクターズ・ビジョンが可能なディスプレイに渡す特別のプレイヤー。このフォーマットにおいては、プレイヤーは、符号化を実行するが色情報(符号化されたビデオおよび追加の色メタデータ、および/または補助データを含んでいる)を処理のために表示装置に渡す(なお、メタデータは、イーサーネット・ポートを介するなど、表示装置への代替的な経路またはコネクションを介して転送される場合がある)。機能が無い(即ち、標準のビデオ・システムの)表示装置に結合される場合には、この表示装置のために適したベース・バンドのコンテンツ色情報のみ表示装置に配信される。提案された方法の両方において、キーとなる目標は、常に標準のビデオ・システムおよび拡張されたビデオ・システムの新たな特徴の両方が完全にサポートされることを維持することである。
【0056】
コンテンツのマスタリングが適切に行われ、符号化が行われると、復号化もまた単純なものとなる。色域が符号化されたコンテンツのための基準に一致する色域の「対象」の装置では、復号化の間に補助データが無視される。しかしながら、符号化されたコンテンツのソース基準から色域が異なる「対象」の装置では、補助データ608を復号化し、復号化したものをディスプレイによって許容されるフォーマット(例えば、RGBまたはYUV)に変換することが必要である。表示装置の固有の色表現に依存して、表示には、まず、復号化を行って、理論的な色モデル内で補助データを適用し、得られたものを表示装置の固有の色表現に変換することが必要となる場合がある。これは例えば、表示装置の固有の色表現がオリジナルのソースの各色値の全てを表現することができない場合に必要となるであろう。例えば、全てのディレクターズ・ビジョンの色符号化およびYUV色空間における操作を実行し、最終的な値を表示装置への伝送のためにRGBに変換することが望ましい。
【0057】
IV.コンテンツ表示
コンテンツの表示は、本原理の方法の最後のステップ(210)である。図7aおよび図7bは、本原理の態様に係る2つの異なる表示装置の2つの例示的な相互のコネクションを示している。コンテンツ表示の場合、再び、表示装置および復号器が基準空間のものに対して利用可能な色機能についての情報(例えば、基準空間および表示空間との間の原色の差異)を共有することができることが必要である。この情報から表示装置のための色情報を解釈するための適切なアルゴリズムが選択される。これは、復号器および表示装置との間でデータを交換するのと同様に単純であり、適切な色の値が補間される。しかしながら、より良好な結果を確実に生み出すためには、より洗練された処理が必要となる場合がある(人間のサイコビジュアル・システム(psycho−vidual system)および表示色空間におけるノンリニアのバリエーションが複雑であるため、単純に色値をリニアに補完しただけでは必ずしも常に十分なエンド・ユーザ体験を得ることができない)。
【0058】
図7aは、ディレクターズ・ビジョン復号器702が、通常は、DVIコネクション706によって拡張されたカラー表示装置704に結合されたシステム700aを示している。さらに、表示装置704は、DVIコネクション706を介して復号器706と通信し、あるいは、別個の適切な通信コネクション708を用いることができる。
【0059】
基準色空間および「対象」表示装置が異なる数の原色を有する場合がある。例えば、基準色空間には、3つの原色が存在し、白レベルと黒レベルが定義されている一方、「対象」装置は、7つの原色、さらに、白レベルと黒レベルが存在する場合がある。このような場合には、適切なトランスコーディング処理が実施されなければならない。さらに、表示装置は、サポートされる色空間の範囲外にある色を取り扱うために、(エラーが最小限の)合理的なアルゴリズムを有する必要がある。
【0060】
出力装置は、入力ビデオに対して必要な計算を実行することができるが、これは演算が多大となる場合がある。演算負荷の大部分がコンテンツ作成およびパッケージングの段階の間に扱われ、データ・ポイントとしてディレクターズ・ビジョンが可能なプレイヤーまたは表示装置に送信される代替的なアプローチを使用することもできるであろう。このように、メタデータは、ピクチャの全てのためのものでもよいし、ピクチャの部分のみのためのものでもよく、アーティストの意図を正確に取り込み、これは、単に画像プロセッサをビデオ・パイプラインの側で使用したのでは実現できないものである。図7bは、本原理の復号化の部分を表示装置が取り扱う場合の発明の実施の形態を示している。コネクション700bは、ディレクターズ・ビジョン受信機712を含んでいる。ディレクターズ・ビジョン受信機712は、ディレクターズ・ビジョン復号器を備えていないが、例えば、IEEE1394や、他の適切なディジタル通信媒体など、ディジタル・リンク716を介してディレクターズ・ビジョンが可能な表示装置714に結合されている。
【0061】
好ましい実施の形態に適用される本発明の基本的な新規な各特徴について図示し、説明し、指摘したが、本発明の精神を逸脱することなく、当業者であれば、説明した方法および図示した装置の形式および詳細、さらに、その動作に対し、様々な省略、置換、変更を行うことが可能であることを理解できよう。例えば、概ね同一の機能を概ね同一の方法で実行する要素および/または方法の組み合わせは全て、本発明の範囲内となることが、はっきりと意図されている。さらに、本発明の開示された態様または実施形態に関して図示し、さらに、または、説明した構造および/または要素、および/または方法は、他の開示され、記載され、または示唆された形態または態様に盛り込むことが可能であることは、設計選択の一般的な問題として理解できるであろう。従って本発明は、請求の範囲によって示されているようにのみ、制限されるものである。
【図面の簡単な説明】
【0062】
【図1】図1は、今日のポスト・プロダクション処理における色空間の関係を示すブロック図である。
【図2】図2は、本原理の実施の形態に従った消費者の家庭に対して拡張された色空間コンテンツのマスタリングおよび配信を行う方法を示すエンドツーエンドブロック図である。
【図3】図3は、本原理の実施の形態に従ったコンテンツのマスタリングのブロック図である。
【図4】図4は、本原理の実施の形態に係るコンテンツのパッケージング/符号化を表すブロック図である
【図5】図5は、本原理の実施の形態に係るコンテンツのパッケージングの態様の部分としての拡張された色チャンネルの作成を表すブロック図である。
【図6a】図6aは、本原理の実施の形態に係る色空間ビデオのマスタリングおよび改良(拡張)を行うためのシステムおよび方法において実施される復号化のブロック図である。
【図6b】図6bは、本原理の別の実施の形態に係る色空間ビデオのマスタリングおよび改良を行うためのシステムおよび方法において実施される復号化のブロック図である。
【図7a】図7aは、本原理のシステムおよび方法を実施するための、消費者のコネクションのタイプを例示するブロック図である。
【図7b】図7bは、本原理のシステムおよび方法を実施するための、消費者のコネクションのタイプを例示するブロック図である。

【特許請求の範囲】
【請求項1】
対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正する方法であって、
前記コンテンツを少なくとも部分的に、少なくとも1つのコンテンツ・クリエータの意図に従ってマスタリングするステップを含み、
前記マスタリングするステップは、基準色空間に関し、各対象色空間のためにコンテンツの中で前記演色を調節するステップを含み、
さらに、前記方法は、
前記対象表示装置上で前記拡張された演色を用いて前記コンテンツを表示することを可能にするために、前記対象色空間に対して特に行われる演色の調節についての情報に従って前記マスタリングされたコンテンツを符号化するステップを含む、前記方法。
【請求項2】
前記調節するステップがさらに、各対象色空間に対して特に行われる調節についての情報をメタデータとして記憶するステップを含む、請求項1に記載の方法。
【請求項3】
前記符号化するステップがさらに、
ベース・バンド基準コンテンツを識別するステップと、
前記ベース・バンド基準コンテンツを圧縮するステップと、
圧縮されていないベース・バンド基準コンテンツおよび圧縮されたベース・バンド基準コンテンツとの間の色差を判定するステップと、
によって拡張された色チャンネルを作成するステップを含む、請求項1に記載の方法。
【請求項4】
拡張された色伝送チャンネルを介して前記符号化されたコンテンツを伝送するステップと、
前記調節された演色を示す色情報を有する前記コンテンツを復号化するステップと、
前記復号化された演色情報に従って対象表示装置の色表示特性を調節するステップと、
前記対象表示装置上の前記対象色空間内に前記復号化されたコンテンツを表示するステップと、をさらに含む、請求項1に記載の方法。
【請求項5】
前記マスタリングするステップがさらに、各対象色空間に関する補助データを識別し、当該補助データを記憶するステップを含む、請求項2に記載の方法。
【請求項6】
前記判定された色差を圧縮するステップをさらに含む、請求項3に記載の方法。
【請求項7】
伝送前に前記メタデータが前記補助データと組み合わされる、請求項5に記載の方法。
【請求項8】
前記復号化されたコンテンツが、ベース・バンド基準データと、対象色空間に特有の、前記対象表示装置の表示機能に従ってトゥルー・カラーを再現するように適合された色調節データとを含む、請求項4に記載の方法。
【請求項9】
前記メタデータおよび前記補助データの一方が対象表示装置の各設定項目に対して行われる各調節に関するダイナミック表示情報データを含む、請求項5に記載の方法。
【請求項10】
前記ダイナミック表示情報が輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも1つを含む、請求項9に記載の方法。
【請求項11】
対象表示装置の非標準システムの対象色空間のために拡張された演色が得られるように標準システムのコンテンツを修正する方法であって、
前記非標準システムの対象色空間に再現するために、前記非標準システムの対象色空間に対して特に行われる必要のある前記標準システムのコンテンツの各調節を識別するステップを含み、
前記各調節は、少なくとも部分的に、少なくとも1つのコンテンツ・クリエータの意図に従って行われ、
さらに、前記方法は、
各対象色空間のための前記識別された各調節についてのデータをメモリに記憶するステップと、
前記対象色空間に対応する前記対象表示装置上で拡張された演色を用いて前記コンテンツを表示することを可能にするために、前記記憶された対象色空間のための各調節についてのデータに従って前記コンテンツを符号化するステップと、
を含む、前記方法。
【請求項12】
前記符号化するステップが、
前記ベース・バンド基準コンテンツを圧縮するステップと、
圧縮されていないベース・バンド/基準コンテンツおよび圧縮されたベース・バンド/基準コンテンツとの間の色差を判定するステップと、
によって拡張された色チャンネルを作成するステップを含む、請求項11に記載の方法。
【請求項13】
前記拡張された演色を示す色情報を有する前記符号化されたコンテンツを復号化するステップと、
前記復号化されたコンテンツに従って対象表示装置の色表示特性を調節するステップと、
前記対象表示装置上で拡張された演色を用いて前記復号化されたコンテンツを表示するステップと、
をさらに含む、請求項11に記載の方法。
【請求項14】
前記色表示特性を調節するステップがさらに、前記対象表示装置のダイナミック表示の各制御項目を調節するステップを含む、請求項13に記載の方法。
【請求項15】
前記ダイナミック表示の各制御項目が、輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも1つを含む、請求項14に記載の方法。
【請求項16】
前記対象色空間に関する補助データを識別するステップをさらに含む、請求項11に記載の方法。
【請求項17】
前記調節についてのデータが前記補助データの中に含まれる、請求項16に記載の方法。
【請求項18】
対象表示装置の対象色空間のために拡張された演色が得られるようにコンテンツを修正するシステムであって、
少なくとも部分的に、少なくとも1つのクリエータの意図に従って、基準色空間に関して各対象色空間のためにコンテンツ内で前記演色を調節する手段と、
前記対象装置上で拡張された演色を用いて前記コンテンツの表示を可能にするために、前記調節された演色を示す色情報を有するコンテンツを符号化する手段と、
を含む、前記システム。
【請求項19】
前記調節する手段がさらに、
基準色空間に関して各対象色空間のために前記コンテンツの前記演色を調節する手段と、
各対象色空間に特有の調節についてのデータを記憶するメモリと、
を含む、請求項18に記載のシステム。
【請求項20】
前記調節された演色を示す色情報を有する符号化されたコンテンツの伝送を可能にするための拡張された色チャンネルをさらに含む、請求項18に記載のシステム。
【請求項21】
前記拡張された色チャンネルが、
圧縮されたベース・バンド/基準コンテンツと、
圧縮されていないベース・バンド/基準コンテンツおよび前記圧縮されたベース・バンド/基準コンテンツとの間の色差に関する色差情報と、
を含む、請求項20に記載のシステム。
【請求項22】
前記調節された演色を示す色情報を有するコンテンツを復号化する復号化手段と、
前記対象表示装置上で前記調節された演色を用いて前記復号化されたコンテンツを表示する手段と、を含む、請求項18に記載のシステム。
【請求項23】
前記調節された演色に従って前記対象表示装置の表示特性を調節するための対象表示の調節についてのデータを含む、請求項18に記載のシステム。
【請求項24】
前記対象表示の調節についてのデータが、輝度、コントラスト、およびルミナンスからなる群から選択された少なくとも1つを含む、請求項23に記載のシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6a】
image rotate

【図6b】
image rotate

【図7a】
image rotate

【図7b】
image rotate


【公表番号】特表2008−519497(P2008−519497A)
【公表日】平成20年6月5日(2008.6.5)
【国際特許分類】
【出願番号】特願2007−539270(P2007−539270)
【出願日】平成17年10月27日(2005.10.27)
【国際出願番号】PCT/US2005/039352
【国際公開番号】WO2006/050305
【国際公開日】平成18年5月11日(2006.5.11)
【出願人】(506351710)テクニカラー インコーポレイテツド (3)
【Fターム(参考)】