説明

カラーデシジョンのメタデータ生成の方法及び装置

【課題】色補正演算で使用するメタデータを生成する方法を提供する。
【解決手段】本方法は、色補正手段により実行されるべき複数の色補正演算を記述する第一のメタデータからなるセグメントを生成するステップ、色補正手段により実行されるべき複数の色補正演算を規定する第二のメタデータからなるセグメントを生成するステップ、及び動画像の系列を表す画像データに複数の色補正演算を色補正手段に何時実行させるかを示す時間情報を規定する第三のメタデータからなるセグメントを生成するステップ、を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ処理の分野に関し、より詳細には、ビデオセグメントの色補正に関する。
本出願は、2004年9月29日に提出された米国仮出願60/614,110号の利益を特許請求するものである。
【背景技術】
【0002】
映画又はテレビ産業で使用されるようなポストプロダクションの分野では、ビデオエディタを動作している人物は、芸術的な目的のためにディレクタにより望まれる特別の作用を可能にするため、ビデオコンテンツの色を処理する。たとえば、ビデオコンテンツは、パステル作用を表現するためにビデオコンテンツの色を明るくするか、又は、「ザラザラした」色作用を表現するために色相を暗くすることで修正される。
【0003】
ビデオコンテンツの色が修正されたとき、かかる変化にとって、編集装置から、ビデオモニタ又はフィルムプロジェクタのようなデバイスコンテンツを表示するために使用される装置に保持されることは困難である。さらに、ビデオコンテンツがエディティングワークフローで多数の装置に向けられる場合、かかる装置は、異なる装置が色補正を扱う異なる機能を有するとき、ビデオコンテンツの色に対してどのような変化がなされるかを効果的に示すため、互いに通信する手段を有さない場合がある。
【発明の概要】
【課題を解決するための手段】
【0004】
上述した問題は、従来技術の他の関連した問題と同様に、本発明により解決される。
本発明の態様によれば、画像系列を表す画像データに実行される色補正動作の順序、及びかかる画像データに実行されるかかる動作の数に関連するメタデータを送信し、使用する方法に関連する。
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、好適な実施の形態の以下の詳細な説明から明らかとなり、この好適な実施の形態は、添付図面と共に読まれる。
【図面の簡単な説明】
【0005】
【図1】ビジュアル情報取得及び編集システムの例示的な実施の形態を説明する図である。
【図2】色補正動作を説明する図である。
【図3】画像データの異なる系列に実行される各種の色補正動作の動作を説明する図である。
【図4】色補正動作に使用されるサンプルリフト曲線である。
【図5】色補正動作に使用されるサンプルゲイン曲線である。
【図6】色補正動作に使用されるサンプルガンマ曲線である。
【図7】画像の系列としてレンダリング可能なデータに色補正動作を適用する方法の実施の形態を説明する図である。
【発明を実施するための形態】
【0006】
本発明の例示的な実施の形態は、ビデオコンテンツを作成、編集及び表示するために使用されるビデオ取得/編集のワークフローに向けられる。図1に示されるように、システム100は、取得装置105を使用してビデオコンテンツを取得する例示的なビジュアル情報の取得/編集のワークフローである。取得装置105は、ビデオカメラ、フィルムカメラ、フィルムデジタイザ、ビデオ捕捉装置、又はビデオセグメントの形式で後に視覚的に再生されるビジュアル情報を記憶可能な他のタイプの装置のような装置である。用語「ビデオセグメント」とは、時間的、空間的、又は時間ラインに沿った画像系列の空間−時間的なセグメント化を意味する。用語「ビジュアル情報(又は画像データ)」は、画像を表現可能な任意のタイプの情報である。本発明の好適な実施の形態では、ビジュアル情報は、たとえば、ビデオ系列として提供されるか、又は一連のフレームとしてフィルム上に示される、画像の系列(動画像)を生成するために使用される情報である。
【0007】
取得装置105は、フィルム、コンピュータメモリ、フラッシュカード、ハードドライブ、デジタルバーサティルディスク(DVD)、コンピュータディスク、デジタルストレージ装置、アーカイバルストレージテープ等のような記憶媒体に取得された視覚情報を記憶する。かかるビジュアル情報がデジタル形式で典型的に記憶されるとき、取得装置は、記憶された視覚情報を、記憶されたビデオ情報の色の属性を定義する色空間として知られる変換に従属させる。International Commission on Illumination (CIE 1931, L*a*b*), International Telecommunication Union (ITU REC 601), Red Green Blue (RGB) 等により定義されるような、異なるタイプの色空間が当該技術分野で知られている。当該技術分野においてとりわけ、これらの規格は、記憶されて、(ビデオ又はフィルムの形式で)かかるビジュアル情報が再生されたとき、ビジュアル情報の色属性を定義している。
【0008】
取得装置105からのビジュアル情報は、ノンリニアエディタ、コンピュータ等の形式を取る編集装置110により修正されることが意図される。本発明の好適な実施の形態では、編集装置110は、カラーマネージメントについて使用され、取得装置105から記憶されたビジュアル情報は検索され(スキャンされ、記憶装置から読み取られ、ネットワークコネクションを通して送信される等)、2k DA VINCI及びDISCREET LUSTRE 4kのようなソフトウェアにより修正可能であり、色修正は、カラーリスト又はディレクタのような人物によりなされる創作的なチョイスを表す。
【0009】
任意に、色修正は、装置の特徴とのコンポートに関してビジュアル情報が修正される、自動的な動作を表す。たとえば、取得装置105により記憶されるビジュアル情報は、編集装置110により使用されるのとは異なる色空間を有する。したがって、システムは、ルックアップテーブル、カラー変換情報、ソフトウェア翻訳等を介して編集装置110について使用される色空間にビジュアル情報が修正される、システムがコンフィギュアされる。
【0010】
本発明の取得/編集のワークフローシステムが取得装置105及び編集装置110に関して説明されるが、他の装置もビデオ編集ワークフローで使用されることが理解される。たとえば、取得装置105は、ホームユーザにより使用されるビデオカメラを表し、編集装置110は、デジタルビデオ(DV)編集ソフトウェアを実行するホームコンピュータ、及び他の装置を表す。さらに、編集装置110は、それぞれの装置がビジュアル情報を編集するために使用される、一連の装置を任意に表す。たとえば、1つの編集装置110は、ある初期の色修正のチョイスをなすことをディレクタにより制御され、レンダリング装置115により画像フレームの系列としてフィルムストックにプリントされる前に、第二の編集装置は、かかるビジュアル情報を色補正することをオペレータにより制御される。
【0011】
レンダリング装置115は、モニタ、フィルムプロジェクタ、デジタル光処理(DLP)、液晶ディスプレイ、フィルムプリンタ等のような装置を使用するディスプレイに関して、ビジュアル情報をレンダリングするか、又は、ビジュアルフォームでビジュアル情報を最終的にレンダリングするために使用されるフィルム、CD−ROM、DVD、コンピュータテープ、フラッシュカード等としてかかる情報をレンダリングするために使用される。好ましくは、ビジュアル情報は、(ビデオテープ、DVD、ストリーミングビデオ等のための)ビデオ系列のようなもの及び画像フレームをフィルムに形成するために使用される動画の系列として構成される。
【0012】
以下に説明されるように、本発明の原理は、(取得装置705のプロキシとして作用する)ブロードキャスタ又はコンテンツプロデューサが画像系列を表す画像データを提供する家庭用電子機器にも適用することができる。ブロードキャスタは、第一の色補正技術が第一のタイプの装置(プラズマディスプレイ装置)に適用され、第二の色補正が第二のタイプの装置(陰極線管ディスプレイ装置)に適用される、(特定のタイプのディスプレイ装置のような)特定のタイプの装置を規定する。他のディスプレイ装置は、本発明の原理に従って規定される場合がある。本発明の原理は、色補正動作を実行するとき、一貫した結果のために編集機器を較正するために使用される。
【0013】
本出願で先に述べたように、デバイス装置は、異なる色空間を利用するか、又はビジュアル情報の色に関して実行される修正を有している。本出願は、フレームワークを表すメタデータを生成するシステムを提供するものであり、なされる色修正は、ベンダにより使用及び/又は提供される異なる装置とソフトウェアとの間で送信される。好ましくは、このメタデータは、画像の系列とのXMLスキーマに関連される色補正メタデータに基づかない。本発明は、色補正メタデータが画像の系列に一時的に関連付けされる場合があることを前提として収容しており、2つの時間の間について、2つの異なるセットの色補正メタデータが使用される。
【0014】
さらに、本発明は、異なる色補正手段がビジュアルデータ用に使用される前提を含む。異なるタイプの色補正及び色補正動作は、赤、緑及び青(RGB)出力による一連の3つの1次元のルックアップテーブル、ルマ及びクロマ(YC)を使用した一連の3つの1次元テーブル、3次元ルックアップテーブル、前もって計算されたマトリクス変換、リフトゲインガンマ関数の仕様等を使用するような、当該技術分野で知られている。色補正の応用は、異なる時間期間について異なるオーダで順序付けされる。
【0015】
たとえば、画像の系列について1時間周期の間、画像は、はじめにRGBベースの色補正を受け、次いでリフト ゲイン ガンマ色補正動作により影響される色補正を受ける。第二の時間期間の間、第二の画像系列は、3次元ルックアップテーブルに向けられ、次いで、RGBベースの色補正動作に向けられる。本発明の原理に従って他の色補正プロセスが使用される場合がある。
【0016】
表1は、画像系列への色補正動作を実行するために使用される記述ツールの例示的な実施の形態を表している。これら動作は、画像系列で供給されるメタデータで反映される。好ましくは、色補正オペレータの記述された態様は、MPEG−7(Moving Picture Experts Group)Visual Standard(ISO/IEC 15938−3:2002)の一部として定義される用語を利用している。
【0017】
【表1】


色補正の応用は、システム100内の何れかでも適用することができ、多数の色補正手段は、特定のデバイスについて、又はビデオ画像の系列について異なる回数で行われる。図3は、何時及び何処で異なる色補正プロセスが実行されるかに関する例示的な実施の形態を示している。ビデオ系列300として与えられる画像系列について、系列は、一連の3つのタイムセグメントT1,T2及びT3に分解される。T1について、ビデオ系列は、2つの異なるビデオセグメントV10,V11に分解され、第一の色補正動作C10は、V10について実行され、第二の色補正動作C11は、V11について実行される。
【0018】
時間T2は、カラーコレクタC20とC22の印加の間の時間のギャップが何処に存在するかを表す。図示されるように、ビデオセグメントV20及びV22は、C20及びC22にそれぞれ向けられる。V21は、色補正動作に向けられない。時間T3は、ビデオ系列V30がカラーコレクタC30に向けられ、ビデオ系列V32がカラーコレクタC32に向けられる状況を表す。ビデオ系列V31について、色補正動作C30及びC32の両者は、アプリケーションのそれらの時間の間のオーバラップに関して、ビデオ系列に適用されることが明らかである。
【0019】
表2は、カラーデシジョンリストの形式で色補正メタデータを示すメタデータを生成するために使用されるXMLスキーマの例示的な実施の形態を表す。
【0020】
【表2】


表3は、画像のセグメントを色補正するために使用される色補正処理を示すメタデータを生成するために使用されるXMLスキーマの例示的な実施の形態を表す。
【0021】
【表3】


表4は、画像の系列を色補正するために使用される特定の色補正動作の仕様を示すメタデータを生成するために使用されるXMLスキーマの例示的な実施の形態を表す。
【0022】
【表4】


先に示された、ColorLookup1D色補正動作は、それぞれの色成分について3つの1次元のルックアップテーブルからなることが好ましい。典型的に、入力の色空間の量子化は、ルックアップテーブルにおけるエントリ数に等しい。このケースでは、補間が必要とされない。しかし、1次元のカラールックアップテーブルについて、入力の色空間よりも少ないエントリ数を含むことができる。たとえば、6ビットカラー量子化によるRGB入力色空間及びそれぞれの色成分の16エントリルックアップテーブルを考える。入力値は、当該技術分野で知られているように補間技術を使用して、有限数の出力値に整合するために制限される。
【0023】
ColorLookup3Dカラーコレクタは、色空間の間の変換を実行するために3次元のカラールックアップテーブルを使用する。たとえば、RGB入力及び出力の色空間をもつ3次元ルックアップテーブルは、RGBトリプルを受け、それを補間により、出力R’G’B’トリプルにマッピングし、潜在的に固有の出力値は、それぞれRGBの入力トリプルに対応する。正確な表現のため、入力色空間における色成分のそれぞれの組み合わせは、それぞれの色成分をルックアップテーブルのディメンジョンとして使用して、出力の色成分にマッピングされる。たとえば、10ビットRGB入力及び出力カラーについて、1024×1024(又は10億のエントリにわたる)による3次元キューブを作ることが考えられる。したがって、このタイプの色補正を使用するため、幾つかの制約により、トリリニア(trilinear)又はテトラヘドラル(tetrahedral)補間のようなタイプの補間を使用することが好ましい(より多くの情報のため、Kasson, Nin, Plouffe, Hafner, “Performing Color Space Conversions with Three Dimensional Interpolation”, Journal of Electronic Imaging, July 1995, Vol. 4(4) を参照されたい)。
【0024】
ColorLookupPrecomputedMatrixカラーコレクタは、以下の形式での線形行列変換を使用する。
【0025】
【数1】


ColorLookupPrecomputedMatrix動作は、3×3変換行列におけるそれぞれの係数のルックアップ値のリストを計算する。それぞれの出力値(R’,G’,B’)について、処理は、3つのルックアップ動作(R,G,Bのそれぞれにおいて1つ)からなる。9つの1次元のルックアップテーブル(L’xx)が全体として必要とされる。
【0026】
【数2】


ColorFunctionLGGカラーコレクタは、アナログビデオ処理から導出された制御を使用して行われ、すなわち、(ブラックレベル、ペデスタル又はセットアップとして知られる)リフト、ゲイン、及びそれぞれの色成分の入力出力の伝達特性のガンマを変化させて行われる。カラーコレクタは、ルックアップ値を数え上げるよりはむしろ、色補正機能を規定する機能を提供する。正式には、リフト、ゲイン、及びガンマは、シグナルからコンポーネントRの観点で割り当てられる。
【0027】
リフトとは、入力−出力伝達特性のy−インターセプトを上昇させる。この場合、以下が成り立つ。
【0028】
【数3】


出力値R’は、正規化された出力インターバル[0,1]により制限され、リフトLift=±.25によるサンプルリフトカーブについて図4を参照されたい。
【0029】
ゲインについて、以下が成り立つ。
【0030】
【数4】


図5又はサンプルゲインカーブを参照されたい。ここでゲインGain=.364(=20)であり、Gain=1.73(60)である。
【0031】
ガンマについて、以下が成り立つ。
【0032】
【数5】


図6を参照されたい。ここでy=.333及びy−1=3.0である。
先に列挙された関数の応用は、リフト、ゲイン及び次いでガンマの順序である。又は、R’=[G(R+L)]
好ましくは、それぞれの画像系列(ビデオセグメント)について、カラーコレクタの適用(又は非適用)を示すメディアタイム(開始時間、瞬間、及び期間)により記述されるべきである。MPEG−7MDSのセクション6.4は、記述されるメディアタイムに対する多数の異なるメタデータのセットを提供する。時間の記述は、好ましくはISO(International Standards Organization)規格の辞書的な表現の制約されたセットに基づいている。さらに、MediaTimePoint functionのフォーマットにおける値を使用し、かつMediaTimeDuration function(両方の関数はMPEG−7で定義される)のフォーマットにおける値を使用して、SMPTE(Society of Motion Picture Television Engineers)タイムコードのような画像系列についての他の時間の表現が使用される場合がある。
【0033】
本発明の原理はビデオ画像の系列に関して記載されたが、本発明は、異なる領域の画像系列に対する色補正の適用をサポートする。(MPEG−7 MDS ISO/IEC 15938−5(11.4.9)に記載される)ビデオセグメントのデコンポジションツールは、それぞれの空間及び時間値に一連のビデオフレームをどのように分解するかを記述する。代替的に、画像系列から画像を受け、かかる画像を矩形又は多角形のサブ領域のいずれかに分解する場合がある(MPEG−7 MDS ISO/IEC 15938−5(11.4)を参照されたい)。次いで、色補正は、それぞれの画像のそれぞれのサブ領域に適用される場合がある。
【0034】
特定の領域がフレームにわたり移動する場合、MPEG−7 MDS ISO/IEC 15938−5(11.4)及びMPEG−7 Visual 15938−3(5.6,9.4,及び10.3)が適用される。MPEG−7ツールムービング領域を使用することで、色補正は、そのアウトラインが矩形、楕円又は任意の多角形のリストにより定義される1以上の移動する領域に適用される。領域の形状は、(時間にわたり互いに相対的に移動する多角形の頂点のように)リジッド又はノンリジッドである。領域の動きは、(リジッドな変換のための2つの速度パラメータ、回転及びスケーリングのための4つのパラメータ、アファイン変換のための6つのパラメータ等のような)モデルパラメータの頂点のリニア又はクアドラティックな時間補間によりモデル化することができる。
【0035】
図7は、先に説明された原理に従う、補正メタデータの受信の観点で、色補正を実行する方法の例示的な実施の形態を与える。ステップ705で、レンダリング装置115は、動画像の系列として視覚的にレンダリングすることができる情報を表すデータを受ける。ステップ710では、レンダリング装置115は、視覚的にレンダリングされるべき情報を表すデータが色補正されるべきかを示す、色補正のメタデータが受信されたかを判定する。このステップで、どの位多くの異なる色補正動作がどの順序で実行されるべきであるかに関する判定が行われる。好ましくは、実行されるべき異なる色演算の数は3である。
【0036】
任意にステップ710で、先に説明されたように、特定の色補正演算が何時行われるべきかを示すメタデータと含まれる時間的な情報が存在する。代替的に、(ビジュアル情報から生成される)画像の系列の所定の領域は、特定の長さの時間について特定の技術を使用して色補正されるべきことを示すメタデータが存在する場合がある。他の画像系列又は画像領域は、本発明の原理に係る、同じ又は異なる色補正の演算を受ける。
【0037】
ステップ715は、受信されたメタデータに従って色補正動作を実行するレンダリング装置115を有する。このことが当てはまることを色補正メタデータが示す場合に、幾つかの異なる色補正動作が実行される場合がある。さらに、メタデータは、どの位長く及び/又はビジュアル情報のどの部分が選択された色補正の動作により影響されるべきかについて制御する。ステップ720では、色補正されたデータは、ディスプレイ装置に出力され、フィルムプリンタにプリントされる一連の画像としてレンダリングされるか、又は、色補正動作の観点でビジュアル情報(画像データ)をレンダリング可能な他のタイプの装置に出力される一連の画像としてレンダリングされる。なお、取得装置105及び編集装置110を含むシステム100におけるいずれかの装置は、先に示されたステップを実行する場合がある。さらに、実行されるべき色補正演算の数を示すメタデータを生成する態様は、実行されるべき特定の色演算、及びかかる演算の順序は、図7に示される逆の方法ステップを適用することで、システム100の任意に装置により実行される場合がある。
【0038】
本発明は、ハードウェア、ソフトウェア、ファームウェア、特定用途のプロセッサ、又はその組み合わせの各種形式で実現される場合があることを理解されたい。好ましくは、本発明は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージ装置に実現されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、任意の適切なアーキテクチャを有するコンピュータにアップロードされるか、該マシンにより実行される場合がある。好ましくは、コンピュータは、1以上の中央処理ユニット(CPU)、ランダムアクセスメモリ(RAM)、及び入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本明細書で記載される様々な処理及び機能は、オペレーティングシステムを介して実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部のいずれか(若しくはその組み合わせ)である場合がある。さらに、様々な他の周辺装置は、更なるデータストレージ装置及びプリンティング装置のようなコンピュータプラットフォームに接続される。
【0039】
例示的な実施の形態が添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、様々な他の変形及び変更が本発明の範囲又は精神から逸脱することなしに当業者により実施される場合があることが理解される。全ての係る変形及び変更は、特許請求の範囲により定義されるように本発明の範囲に含まれることが意図される。

【特許請求の範囲】
【請求項1】
色補正演算で使用するメタデータを生成する方法であって、
プロセッサが、色補正手段により実行されるべき複数の色補正演算を記述する第一のメタデータからなるセグメントを生成するステップと、
前記プロセッサが、前記色補正手段により実行されるべき複数の色補正演算を規定する第二のメタデータからなるセグメントを生成するステップと、
前記プロセッサが、動画像の系列を表す画像データに前記複数の色補正演算を前記色補正手段に何時実行させるかを示す時間情報を規定する第三のメタデータからなるセグメントを生成するステップと、
を含む方法。
【請求項2】
更なる画像系列に第二の色補正演算を実行する更なる時間情報であって、前記色補正手段により使用される時間情報を規定する第四のメタデータからなるセグメントを生成するステップを更に含む、
請求項2記載の方法。
【請求項3】
前記色補正演算の適用と前記第二の色補正演算の適用とは、前記動画像の系列及び前記更なる画像系列に適用されたときにオーバラップする、
請求項2記載の方法。
【請求項4】
色補正演算で使用するメタデータを生成する方法であって、
プロセッサが、色補正手段により実行されるべき複数の色補正演算を規定する第一のメタデータからなるセグメントを生成するステップと、
前記プロセッサが、前記色補正手段により実行されるべき前記複数の色補正演算を規定する第二のメタデータからなるセグメントを生成するステップと、
前記プロセッサが、動画像の系列を表す画像データに前記複数の色補正演算を前記色補正手段に何時実行させるかを示す時間情報を規定する第三のメタデータからなるセグメントを生成するステップと、
を含む方法。
【請求項5】
前記メタデータは、前記色補正演算が画像系列を表す画像データから選択された2つの画像の同じ領域に適用されることを示す、
請求項4記載の方法。
【請求項6】
前記色補正演算は、1次元の色変換、3次元の色変換、予め決定されたマトリクス、並びに、リフト、ゲイン及びガンマ関数のうちの少なくとも1つから選択される、
請求項1記載の方法。
【請求項7】
色補正演算を実行する方法であって、
色補正手段のプロセッサが、受信したメタデータに応答して実行されるべき複数の色補正演算を決定するステップと、
前記色補正手段のプロセッサが、前のステップで決定された色補正演算を画像データに実行するステップとを含み、
前記色補正演算は、前記画像データから選択された領域で実行される、
方法。
【請求項8】
前記色補正演算は、1次元の色変換、3次元の色変換、予め決定されたマトリクス、並びに、リフト、ゲイン及びガンマ関数のうちの少なくとも1つから選択される、
請求項7記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−70432(P2013−70432A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2013−153(P2013−153)
【出願日】平成25年1月4日(2013.1.4)
【分割の表示】特願2007−534739(P2007−534739)の分割
【原出願日】平成17年9月29日(2005.9.29)
【出願人】(500110991)テクニカラー・インコーポレイテッド (5)
【Fターム(参考)】