画像シーケンス用自動色補正
【課題】画像シーケンスの自動色補正システムを提供する。
【解決手段】動画における一連の画像を含む場面またはクリップ（１０２）に自動色補正を適用する。このとき、場面の代表的画像（１０４）を選択し（１０６）、画像を分析し（１０８）、色補正動作のパラメータを調節し（１１２，１１４）、場面に含まれる画像シーケンスに対して、色補正動作を実行する（１１６）。この動作は、動画における全場面または選択した場面に対して自動的に繰り返すことができる。
【解決手段】動画における一連の画像を含む場面またはクリップ（１０２）に自動色補正を適用する。このとき、場面の代表的画像（１０４）を選択し（１０６）、画像を分析し（１０８）、色補正動作のパラメータを調節し（１１２，１１４）、場面に含まれる画像シーケンスに対して、色補正動作を実行する（１１６）。この動作は、動画における全場面または選択した場面に対して自動的に繰り返すことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンス用自動色補正に関する。
【背景技術】
【０００２】
カメラを用いて取り込んだ画像には、一般に、数種類の色に関する問題がある。例えば、カメラのホワイト・バランスが適正でない場合、画像には赤味（赤キャスト）または青味（青キャスト）がかかることが多い。場面に十分な光がない場合、画像は暗くなり、コントラストが殆ど見えなくなることが多い。また、場面において物体から光が反射すると、他の物体は、反射光に伴う色キャスト（color cast）をもつことが多い。
【０００３】
これらおよびその他の色に関する問題を解決するには、コンピュータ・ワークステーション上においては通常色補正ツールを用いている。これらのツールによって、ユーザは、画像に適用する１つ以上の画像処理機能を選択し、これらの機能のパラメータを調節することができる。現在入手可能な色補正ツールは強力であるが、急激な学習曲線を有する傾向がある。
【０００４】
学習曲線を緩やかにし、画像処理機能を操作するために要する時間を短縮するために、色補正用自動ツールもいくつかある。このようなツールは、画像を分析し、色補正動作のパラメータを調節して、画像における色を改善する。このようなツールの一例に、カリフォルニア州Menlo Parkの Adobe Systems Incorporated（アドビ・システムズ社）のPHOTOSHOPがある。一例として、設けることができる機能の一種に、自動色バランス調整がある。自動色バランス調整を用いると、赤、青および緑チャネルのヒストグラムが作成される。次に、このヒストグラムを引き延ばし、チャネル毎の値の範囲の終点、即ち、赤、緑および青チャネルの中からの最小値および最大値値と一致させる。このような自動色バランス調整は、全体的には画像のコントラストを改善し、概ね望ましいものである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像のシーケンスであるビデオ用の色補正は一層複雑である。画像シーケンスにおけるそれぞれの画像を別個に分析し補正することは可能ではあるが、このような分析および補正は多大な処理資源を消費する。一方、画像毎の分析によって得られたコントラスト修正を適用することは、望ましくない場合がある。ある画像におけるコントラスト変化が、他の画像に適用するのに適していない可能性がある。また、他の画像に対するコントラスト変化が、その品質に悪影響を及ぼす虞れもある。
【課題を解決するための手段】
【０００６】
動画における画像シーケンスを含む場面即ちクリップに自動色補正を適用する際に、場面の代表的画像を選択し、この画像を分析し、この場面を含む画像シーケンスに対して実行する色補正動作のパラメータを調節する。この動作は、動画において全ての場面または選択した場面に対して自動的に繰り返すことができる。パラメータを調節すると、コントラストをほぼ一定に維持しながら、画像の色バランスを自動的に調整することができる。
【０００７】
代表的画像の分析には、当該代表画像における色の二次元ヒストグラムにおけるピークの白点からのオフセットを識別することを含むとよい。色補正動作のパラメータは、このオフセットに応じて調節する。代表的画像の陰影、中間トーン、および強調領域に対して、別個のヒストグラムおよびオフセットを決定することもできる。
【０００８】
代表的画像の分析は、当該代表的画像における輝度情報の一次元ヒストグラムを求めることを含むとよい。画像における最も暗いレベルおよび最も明るいレベルを用いて、画像のバランスを調整する。即ち、赤、緑および青のような、画像における色チャネルのヒストグラムを調節し、輝度ヒストグラムによって識別される最も暗いレベルおよび最も明るいレベルと一致させる。
【０００９】
したがって、一形態では、画像シーケンスの自動色補正方法、ならびにそのコンピュータ・プログラム製品およびシステムを提供する。画像シーケンスにおける１つ以上の代表的画像の指示を受ける。１つ以上の代表画像の特性を分析する。色補正動作用パラメータを、１つ以上の代表的画像の特性分析に基づいて決定する。色補正動作には、画像シーケンスに対して求めたパラメータを適用する。
【００１０】
別の形態では、画像シーケンスの１つ以上の代表的画像の特性を分析する方法、コンピュータ・プログラム製品およびシステムを提供する。代表的画像における色の二次元ヒストグラムを生成する。二次元ヒストグラムは白点を含む。二次元ヒストグラムにおけるピーク値と白点との間のオフセットを決定する。
【００１１】
別の形態において、画像シーケンスから１つ以上の代表的画像の特性を分析する方法、コンピュータ・プログラム製品およびシステムを提供する。代表的画像における輝度のヒストグラムを生成することにより、最も暗い値および最も明るい値をヒストグラムによって示す。代表的画像における色のヒストグラムに対する調節を決定し、各色毎の最も暗い値および最も明るい値を、輝度の最も暗い値および最も明るい値と一致させる。
【００１２】
別の形態において、画像シーケンスの自動色補正システムを提供する。このシステムは、画像シーケンスにおける１つ以上の代表的画像の指示を受ける入力と、１つ以上の代表的画像の特性を示す情報を提供する出力とを有する画像分析部を含む。パラメータ計算部は、１つ以上の代表的画像の特性を示す情報を受ける入力と、１つ以上の代表的画像の特性分析に応じて色補正動作用パラメータを与える出力とを含む。色補正部は、パラメータを受ける第１入力と、画像シーケンスを受ける第２入力と、決定したパラメータにしたがって補正した画像シーケンスを供給する出力とを有する。
【００１３】
別の形態において、ビデオ情報のクリップ・シーケンスの自動色補正方法、コンピュータ・プログラム製品およびシステムを提供する。シーケンスにおけるクリップ毎の代表的画像の指示を受ける。クリップ毎の代表的画像の特性を分析する。クリップ毎の色補正動作のために、当該クリップに対して分析した代表画像の特性に応じてパラメータを決定する。クリップに対して求めたパラメータを用いて、色補正動作を各クリップに適用する。
【発明を実施するための最良の形態】
【００１４】
これより図１を参照しながら、動画のクリップに対して自動色補正を行うシステム１００の一例のデータ・フロー図についてここで説明する。クリップ１０２は、画像シーケンスを表す。通例では、画像シーケンスをデータ・ファイルに格納する。クリップは、データ・ファイル、およびデータ・ファイル内にある画像の範囲を参照して、どの画像が動画におけるクリップの一部であるか規定する。動画は、一般に、このようなクリップのシーケンスによって規定される。
【００１５】
クリップ１０２に対して自動色補正を行うには、クリップ１０２における画像の中から、画像選択部１０６によって１つ以上の代表的画像１０４を選択する。画像選択部１０６によって代表的画像１０４を選択できるようにするには、種々の方法がある。例えば、クリップの中間から画像を選択することもできる。シーケンスにおいてｎ枚目毎の画像を選択することもできる。また、クリップ内の各画像を選択することもできる。尚、選択の方法は、これらの例に限定される訳ではない。
【００１６】
代表的画像を画像分析部１０８に入力する。画像分析部１０８は結果１１０を生成し、これをパラメータ計算部１１２が用いて、どのパラメータ１１４を色補正に用いるか決定する。画像分析部１０８は、例えば、二次元クロミナンス・ヒストグラム（以下で説明する）または一次元輝度ヒストグラム（以下で説明する）を生成することができるが、これらに限定されるわけではない。パラメータ計算部１１２は、例えば、クロミナンス・ヒストグラムにおけるピークと白点との間のオフセットを決定し、これから、色補正動作のために、対応するオフセットを決定することができる（以下で説明するように）が、これに限定される訳ではない。
【００１７】
適切な色補正動作に対してパラメータ１１４が与えられると、色補正部１１６は、これらのパラメータを用い、色補正動作をクリップ１０２における画像全てに適用する。こうして、色補正部は色補正クリップ１１８を生成する。
【００１８】
次に図２を参照して、クリップ・シーケンスまたは選択した１組のクリップのような、１組のクリップに対してどのように自動色補正を行うかについて記述したフロー・チャートの説明を行う。このプロセスは、１組のクリップを受ける（２００）ことから開始する。クリップの内１つを選択する（２０２）。図１に関して説明したプロセスを用いて、選択したクリップを自動的に補正する（２０４）。選択したクリップを補正した後、受けた１組の中に未だいずれかのクリップが残っていると２０６において判定した場合、次のクリップを選択し（２０２）、処理を繰り返す。このように１組のクリップに自動補正を行うことによって、例えば、編集システムは、クリップ・シーケンス、恐らくは、編集最中のプログラムにおける全てのクリップでさえも、自動的に処理し補正することが可能となる。
【００１９】
次に、図３から図７に関連付けて、画像を分析し色補正パラメータを生成する技法の一例についてこれより説明する。この技法は、代表的画像の二次元クロミナンス・ヒストグラムを用いて、ヒストグラムにおけるピークの白点からのオフセットを決定する。このオフセットの逆数を、例えば、画像の陰影、中間トーンおよび強調領域の各々のカラー・ホイール(color wheel)によって入力し、表示することができる。尚、入力および表示は、カラー・ホイールに限定される訳ではない。
【００２０】
図３は、入力画像のベクトルスコープ(vectorscope)ヒストグラム画像を示す。この表示では、ベクトルスコープ３００は、表示の中央に白点３０２を有する。ベクトルスコープによって、３０４で示すように、画像における色の二次元ヒストグラムが得られる。しかし、このヒストグラムの適当な中心は、ベクトルスコープの中心３０２とは顕著にオフセットしており、これは、画像におけるある色キャストを表している。この画像を補正すると、補正画像のベクトルスコープ・ヒストグラムは図４に示すようになるはずである。尚、図４におけるベクトルスコープ４００のヒストグラム４０２は、ほぼ白点４０４を中心としていることがわかる。
【００２１】
画像を補正する方法の１つは、図５のカラー・ホイール・インターフェース５００に示すような、色相オフセット（カラー・ホイールを用いて指定する）を用いることである。このインターフェースは、画像の陰影領域用のカラー・ホイール５０２、画像の中間トーン領域用のカラー・ホイール５０４、および画像の強調領域用のカラー・ホイール５０６を含む。陰影、中間トーンおよび強調領域を指定するには種々の方法があり、本発明はそれによって限定されることはない。図５に示すカラー・ホイール上における色相オフセットの初期設定値は、０、即ちオフセットなし、ならびにそれぞれのカラー・ホイール５０２、５０４、および５０６の中心における十字線５０８、５１０および５１２となっている。
【００２２】
図６は、図４のベクトルスコープ・ディスプレイによって示す、補正を与えるために設定した色補正パラメータと共に、カラー・ホイール・インターフェース６００を示す。図６に示すカラー・ホイール上の色相オフセットの補正設定値は、十字線６０８、６１０および６１２によって表されており、それぞれのホイール６０２、６０４および６０６の中心からあるオフセットのところに位置する。尚、図３のベクトルスコープにおけるヒストグラムの中心と白点との間のオフセットは、図６に示す色相オフセットとは、ほぼ逆方向であり、同じ大きさであることがわかる。このような色相オフセットをどのようにして決定したかについて、これより図７と関連付けて説明する。
【００２３】
図７は、画像の二次元クロミナンス・ヒストグラムを用いて、どのように色補正パラメータを決定するかについて記述したフロー・チャートを示す。実験によって、中間トーン値のヒストグラムは信頼性が低い可能性があることが判明した。作成したヒストグラムは、陰影および強調値についてのみであり、中間トーンに対する補正パラメータは、陰影および強調の補正パラメータから求める。
【００２４】
図７において、陰影および強調ヒストグラムを０に初期化する（７００）。即ち、画素のＣｒ、Ｃｂ値によってインデックスされた二次元アレイにおける各値を０に設定する。２つのこのようなアレイ、１つは陰影用、もう１つは強調用、を初期化する。次いで、画像からの画素値を、各ヒストグラムに注入する(populate) （７０２）。各画素値をＹ、Ｃｒ、Ｃｂ成分に変換し、Ｃｒ、Ｃｂ成分を用いて、陰影および強調双方のアレイにアクセスする。一般に、ヒストグラムは、単なる値のカウントに過ぎない。画素のＣｒ、Ｃｂ値のカウントを単に増分する代わりに、輝度成分（ｙ）を用いて、ヒストグラムに追加する値に重み付けする。一般に、重みは、陰影、中間トーンおよび強調の各々に対する輝度値ｙ毎に割り当てることができる。輝度値ｙが、陰影、中間トーンまたは強調領域において画素が強いことを示す場合には、重みを高い値にするとよい。輝度値ｙが、画素が陰影、中間トーンまたは強調領域において強くないことを示す場合、重みを低い値にするとよい。一実現例では、陰影ヒストグラムの重みは２５５−ｙであり、強調ヒストグラムの重みはｙである。
【００２５】
代表的画像に対して陰影および強調ヒストグラムを作成した後、これらをフィルタ処理し（７０４）、ノイズがオフセットの判定に影響を及ぼす尤度を低下させることもできる。このようなフィルタは、例えば、３×３テント・フィルタ(tent filter)のような、ロー・パス・フィルタとするとよいが、これに限定される訳ではない。また、フィルタ処理は、中心からの画素の距離に基づいて行うこともできる。例えば、各二次元ヒストグラムにおけるセル毎の各値を、中心からの距離を減算したものの和によってスケーリングすることもできる。このようなフィルタ処理は、ヒストグラム上における画像の大きな有色物体の影響を抑えるのに役立つ。
【００２６】
陰影および強調ヒストグラムをフィルタ処理した後、各ヒストグラムにおける最大値に対応するＣｒおよびＣｂ値を特定する（７０６）。これらの値の対（ここでは、Ｃｒ＿陰影、Ｃｂ＿陰影、およびＣｒ＿強調、Ｃｂ＿強調と呼ぶ）は、画像の陰影および強調領域について、白点からの画像における色のオフセットを表す。中間トーン・オフセット（Ｃｒ＿中間トーン、Ｃｂ＿中間トーン）は、陰影および強調のオフセットから推定することができる。このオフセットを推定するには、例えば、限定ではないが、陰影のオフセットを強調のオフセットと加算すればよい。即ち、Ｃｒ＿中間トーン＝Ｃｒ＿陰影＋Ｃｒ＿強調、およびＣｂ＿中間トーン＝Ｃｂ＿陰影＋Ｃｂ＿強調となる。
【００２７】
次に、これらのオフセットを、実行する色補正動作に応じて、色補正パラメータに変換する。例えば、この例に限定するのではないが、色補正動作は、陰影、中間トーンおよび強調の輝度領域の各々に適用する色相オフセットとすることもできる。このようなオフセットは、例えば、限定ではないが、図５および図６に示すようなカラー・ホイール・インターフェースによって適用し、それに加えて／その代わりに、その中に表示することもできる。多数のクリップの自動色補正では、カラー・ホイールのようなユーザ・インターフェースをユーザから隠すとよい。オフセットを色相および彩度調節値に変換するには、オフセットをまず極座標に変換し（７１０）、ＣｒおよびＣｂオフセット値の各対に対応する色相（角度）および彩度（大きさ）を得る。次に、色相を反転させる（７１２）。例えば、色相が度単位で表されている場合、色相に１８０を加算する。次に、色補正動作のオフセットを、計算した彩度および反転した色相に設定する（７１４）。
【００２８】
この色補正の特定の形態により、輝度をほぼ一定に維持する。輝度領域上において色相オフセットを用いて行われる色補正動作の非線形性が、輝度に多少の変化を混入させる可能性がある。
【００２９】
画像を分析し色補正パラメータを生成する別の技法の例について、これより図８から図１２と関連付けながら説明する。この技法は、代表的画像の一次元輝度ヒストグラムを用い、最大および最小輝度値を判定する。次に、赤、緑および青チャネル値を伸張し、変換して、赤、緑および青チャネルの最小値が、最小および最大輝度値と一致するようにする。これらの値を、例えば、限定ではないが、赤、緑おおび青チャネル、あるいはレベル・インターフェース（図示せず）上で動作する曲線インターフェースによって、適用および／または表示することができる。
【００３０】
図８は、入力画像の一例の赤、緑および青チャネル・ヒストグラムを示す。この表示では、赤、緑および青チャネルの各々について、ヒストグラム８００、８０２および８０４がそれぞれ設けられている。このヒストグラムは、画像を規定する各チャネルの一次元ヒストグラムを提示する。各ヒストグラムは、対応する成分に対して特定の値（ｘ−軸）を有する画素の数を（ｙ−軸によって）示す。図８の緑および青ヒストグラムでは、かなりの数の値が法定の値(legal value)を超過し、しかも赤の値よりも遥かに高い。したがって、青および緑の色キャストを予想することができる。
【００３１】
この図において色バランスのみを補正し、コントラストを修正しないようにするには、各チャネル９００、９０２および９０４のヒストグラムは、図９に示すような形状となる。図９は、自動補正後における出力画像の赤、緑および青チャネル・ヒストグラムを示す。尚、図９における各ヒストグラムの最大値および最小値は、９０６および９０８にそれぞれ示すように、同一であることがわかる。以下で更に詳しく説明するが、これら最小値および最大値９０６および９０８は、画像の輝度ヒストグラムの最小値および最大値に応じて決定する。
【００３２】
このような画像を補正する方法の１つは、例えば、図１０に示すような曲線インターフェース１０００を用いることによって、チャネルの入力値を同じチャネルの新たな出力値にマップする曲線を用いることである。このインターフェースは、赤チャネル用曲線１００２、緑チャネル用曲線１００４、および青チャネル用曲線１００６を含む。図１０に示す曲線の初期設定値によって、同一性マッピング(identity mapping)が得られる。
【００３３】
曲線によって、ユーザは、赤、緑、青成分のような、画像の画素の個々の成分を調節する１つ以上の関数曲線を操作することができる。１つ以上の点を曲線に追加するか、または移動させれば、曲線が実行する関数を修正することができる。このように、曲線によって、ユーザは色成分に対して数学的に非線形的な調節を行うことが可能となる。これらの曲線は、特に色補正には有用である。何故なら、画像における色の問題の大多数が、画像の取得時に生ずる非線形の問題であるからであり、これらの問題は、通例、画像の画素の赤、緑および青成分に混入するからでる。
【００３４】
図１１は、図１０におけるヒストグラムによって示した補正を行うために色補正パラメータを設定した、図１０の曲線パラメータを示す。図１１に示すヒストグラムの補正設定値は、それぞれ、曲線１１０２、１１０４および１１０６の点１１０８、１１１０および１１１２によって表されており、これらは、図１０におけるこれらの曲線の元の終点からあるオフセットのところに位置する。曲線に対するこのような修正をどのように決定するかについて、これより図１２に関連付けて説明する。
【００３５】
図１２は、画像の一次元輝度ヒストグラムを用いて、色補正パラメータを設定するプロセスの一例を記述したフロー・チャートを示す。赤、緑および青チャネル、ならびに輝度のヒストグラムを初期化する（１２００）。即ち、各チャネル、または輝度に対して可能な値によってインデックスされた、一次元アレイにおける各値に０を設定する。４つのこのようなアレイを初期化する。１つは赤チャネル、１つは緑チャネル、１つは青チャネル、そして１つは輝度に対応する。次に、各ヒストグラムに、画像からの画素値を注入する（１２０２）。赤、緑および青値を用いて入力画像を表す場合、輝度値を各画素毎に計算する。これらのヒストグラムは、赤、緑、青および輝度に対して特定の値を有する各画素のカウントを表し、重み付けされていない。
【００３６】
ヒストグラムを生成した後、ヒストグラム毎に最小値および最大値を決定する（１２０４）。即ち、画素がある最低の赤、緑、青、および輝度値を特定する。また、画素がある最大の赤、緑、青および輝度値も特定する。最小値および最大値を、画素のある最小数に対応させると、異常な画素によって正しくない最小値または最大値が得られることを回避することができる。
【００３７】
赤、緑および青チャネルならびに輝度の各々に最小値および最大値が得られたなら、色補正パラメータを決定することができる（１２０６）。例えば、曲線を用いて色補正動作を実行する場合、各チャネルの曲線を規定する傾斜およびオフセットを、当該チャネルの最小値および最大値、ならびに最小および最大輝度値を用いて決定する。即ち、以下の１組の式（式１）を用いればよい。
【００３８】
【数１】
【００３９】
これらの値を用いれば、色補正動作を行うための参照表を作成することができる。
図７および図１２の処理において、画像を分析し、例えば、画像データの一部のみを用いてヒストグラムを生成することが望ましい場合もある。例えば、ある空間または色範囲における画像データを除外するとよい場合がある。検査を実施すれば、ある画素は除外した空間または色範囲のものであるか否か判定することができ、その画素が分析から除外すべきものである場合、図７または図１２で用いるヒストグラムにこれを加算しない。除外するとよい色範囲は、限定ではないが、不適正な値またはクリップされた値を含むこともできる。ユーザによる手作業による指定によってまたは画像処理動作を指定することによって選択する色範囲も、分析から除外することもできる。除外するとよい空間範囲には、限定ではないが、画像の左、上、右および下の８画素境界のような、画像の縁端を含む。このような境界は、上下における黒線、ならびに通例多数のビデオ・フォーマットにおいて見られる、画像の左および右側における傾斜値(ramped value)を排除する。ユーザによる手作業による指定によってまたは画像処理動作を指定することによって選択する空間エリアも、分析から除外することもできる。このような空間および色範囲は、分析だけでなく、色補正からも除外することもできる。
【００４０】
０パーセントおよび１００パーセントの間のパーセント値を用いて、自動バランス調整による変化の度合いを制御することができる。ユーザ・インターフェースを設ければ、ユーザは、実施するバランス調整のパーセント量を指定することができる。パーセント値は、色補正パラメータとして計算される、色相オフセットおよび彩度、または曲線の傾斜およびオフセットを制限する。例えば、RedMin、RedMax、GreenMin、GreenMax、BlueMinおよびBluMax値は、前述の式１を利用する前に、以下の１組の式（式２）によって、調節することができる。尚、値(AB)は０および１の間とする。
【００４１】
【数２】
【００４２】
自動バランス調整にこれらの種類の演算を用いることによって、画像における輝度、したがってコントラストをほぼ同一のままにする。このように、コントラスト調節用の別個の制御を、この自動バランス調整と組み合わせることもできる。
【００４３】
一例として、図１０および図１１のインターフェースに、マスタ曲線インターフェースを設けることもできる。マスタ曲線は、ユーザに、画像の全成分を、単一の関数曲線によって操作することを可能にする。赤、青および緑チャネル・ヒストグラム全ての幅を最大化する結果をもたらすように、マスタ曲線を変更すると、画像のコントラストが最大化する。したがって、赤、緑および青曲線に対する変化を計算することに加えて、マスタ曲線に対する変化を計算することができる。パーセント値を用いると、この変化の量を、０パーセントと１００パーセントとの間で制御することができる。このパーセンテージは、例えば５０％コントラスト変化とすることができる。ユーザ・インターフェースを設けると、ユーザはコントラスト変化量をパーセントで指定することができる。例えば、０と１との間で変化するパーセント値（ＡＣ）を用いると、前述の式１および式２において用いたLumaMinおよびLumaMax値を、以下の１組の式（式３）を用いて変更することができる。
【００４４】
【数３】
【００４５】
ここで、LumaMinLimitおよびLumaMaxLimitは、輝度に対する適正値の範囲の限界を表し、通例では、それぞれ１６および２３５である。
ユーザ・インターフェースを用いると、ユーザは、自動バランス調整および自動コントラスト調節双方に対してパーセントを設定することができる。これらは、自動補正動作のデフォルト値として扱うこともできる。
【００４６】
また、ユーザ・インターフェースを用いると、ユーザは、異なる量のバランス調整および／またはコントラストを用いてクリップを一巡して見ることができる。例えば、ユーザ・インターフェースが、自動補正機能を実行するためのボタンを有することもできる。同一クリップ上でボタンを多数回押下すると、押下する毎に、異なる補正パーセントで自動補正機能を実施する。例えば、自動補正は、１００％、７５％、５０％、２５％、そして補正無しで巡回して行うことができる。
【００４７】
ここに記載したシステムの種々の構成要素は、汎用コンピュータ・システムを用いたコンピュータ・プログラムとして実装することもできる。このようなコンピュータ・システムは、通例、情報をユーザに表示する出力デバイス、およびユーザから入力を受け取る入力デバイス双方に接続された主ユニットを含む。一般に、主ユニットは、相互接続機構を通じて、メモリ・システムに接続されているプロセッサを含む。また、入力デバイスおよび出力デバイスも、相互接続機構を通じて、プロセッサおよびメモリ・システムに接続されている。
【００４８】
１つ以上の出力デバイスをコンピュータ・システムに接続してもよい。出力デバイスの例には、限定としてではなく、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）およびその他のビデオ出力デバイス、プリンタ、モデムのような通信機器、ならびにディスクまたはテープのような記憶装置が含まれる。１つ以上の入力デバイスをコンピュータ・システムに接続してもよい。入力デバイスの例には、限定としてではなく、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、通信機器、ならびにデータ入力デバイスが含まれる。本発明は、コンピュータ・システムと組み合わせて用いられる特定の入力または出力デバイスにも、ここに記載されたものにも限定されることはない。
【００４９】
コンピュータ・システムは、「Ｃ＋＋」、Visual Basic、Java（登録商標）のようなコンピュータ・プログラミング言語、あるいはスクリプト言語やアセンブリ言語といったようなその他の言語を用いてプログラム可能な、汎用コンピュータ・システムとすることができる。また、コンピュータ・システムは、特別にプログラムされた、特殊目的ハードウエアとすることもできる。汎用コンピュータ・システムでは、プロセッサは、通例、Intel、AMD、Cyrix、Motorola、およびIBMから入手可能な種々のプロセッサのような、市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを有し、他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッグ、入出力制御、アカウンティング、コンパイル、ストレージ割り当て、データ管理およびメモリ管理、ならびに通信制御および関連サービスを提供する。オペレーティング・システムの例には、限定ではないが、UNIX（登録商標）オペレーティング・システム、ならびにMicrosoftおよびApple Computerから入手可能なオペレーティング・システムが含まれる。
【００５０】
メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または再書き込み可能または再書き込み不可能の場合もある。メモリ・システムは、通例、二進形態でデータを格納する。このようなデータは、マイクロプロセッサが実行するアプリケーション・プログラム、またはアプリケーション・プログラムが処理するためにディスク上に格納されている情報を規定することができる。本発明は、特定のメモリ・システムに限定されることはない。
【００５１】
ここに記載したようなシステムは、ソフトウエアまたはハードウエアまたはファームウエア、あるいはこれら３つの組み合わせで実現することもできる。システムの種々のエレメントは、個別でもあるいは組み合わせでも、１つ以上のコンピュータ・プログラム製品として実現することができ、この場合、コンピュータ・プログラムの命令は、コンピュータ読み取り可能媒体上に格納され、コンピュータによって実行される。プロセスの種々のステップは、コンピュータがこのようなコンピュータ・プログラム命令を実行することによって、実行することができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムとすることもでき、またはコンピュータ・ネットワークを通じて接続された多数のコンピュータを含むこともできる。図１に示す構成要素は、コンピュータ・プログラムの別個のモジュールとすることができ、あるいは別個のコンピュータ・プログラムとすれば、別個のコンピュータ上で動作可能となる。これらの構成要素によって生成されるデータは、メモリ・システムに格納することや、コンピュータ・システム間で送信することができる。
【００５２】
以上、実施形態の例について説明してきたが、これまでの説明は単なる例示であって限定ではなく、一例として提示したに過ぎないことは、当業者には当然明白なはずである。多数の変更も、当業者の能力の範囲内であり、本発明の範囲に該当するものと見なす。
【図面の簡単な説明】
【００５３】
【図１】図１は、動画のクリップに対して自動色補正を行うシステム例のデータ・フロー図である。
【図２】図２は、１組のクリップに対してどのように自動色補正を行うことができるかを示すフロー・チャートである。
【図３】図３は、入力画像例のベクトルスコープ・ヒストグラム表示を示す。
【図４】図４は、自動補正後の出力画像のベクトルスコープ・ヒストグラム表示を示す。
【図５】図５は、色補正パラメータを設定するためのカラー・ホイール・インターフェースを示す。
【図６】図６は、色補正パラメータを設定した、図５のカラー・ホイール・インターフェースを示す。
【図７】図７は、どのようにして画像の二次元クロミナンス・ヒストグラムを用いて、色補正パラメータを設定することができるかを示すフロー・チャートである。
【図８】図８は、入力画像例の赤、緑および青チャネルのヒストグラムを示す。
【図９】図９は、自動補正後における出力画像の赤、緑および赤チャネル・ヒストグラムを示す。
【図１０】図１０は、色補正パラメータを設定するための曲線インターフェースを示す。
【図１１】図１１は、色補正パラメータを設定した、図１０の曲線インターフェースを示す。
【図１２】図１２は、画像の一次元輝度ヒストグラムを用いて、どのように色補正パラメータを設定することができるかを説明するフロー・チャートを示す。
【符号の説明】
【００５４】
１０２ クリップ
１０６ 画像選択部
１０４ 代表画像
１０８ 画像分析部
１１０ 結果
１１２ パラメータ計算部
１１４ パラメータ
１１６ 色補正部
１１８ 色補正クリップ
３００ ベクトルスコープ
３０２ 白点
３０４ 二次元ヒストグラム
５０２、５０４、５０６ カラー・ホイール
６００ カラー・ホイール・インターフェース
６０８、６１０、６１２ 十字線
８００、８０２、８０４ ヒストグラム
９００、９０２、９０４ チャンネル
１０００ 曲線インターフェース
１００２ 赤チャネル用曲線
１００４ 緑チャネル用曲線
１００６ 青チャネル用曲線
【技術分野】
【０００１】
本発明は、画像シーケンス用自動色補正に関する。
【背景技術】
【０００２】
カメラを用いて取り込んだ画像には、一般に、数種類の色に関する問題がある。例えば、カメラのホワイト・バランスが適正でない場合、画像には赤味（赤キャスト）または青味（青キャスト）がかかることが多い。場面に十分な光がない場合、画像は暗くなり、コントラストが殆ど見えなくなることが多い。また、場面において物体から光が反射すると、他の物体は、反射光に伴う色キャスト（color cast）をもつことが多い。
【０００３】
これらおよびその他の色に関する問題を解決するには、コンピュータ・ワークステーション上においては通常色補正ツールを用いている。これらのツールによって、ユーザは、画像に適用する１つ以上の画像処理機能を選択し、これらの機能のパラメータを調節することができる。現在入手可能な色補正ツールは強力であるが、急激な学習曲線を有する傾向がある。
【０００４】
学習曲線を緩やかにし、画像処理機能を操作するために要する時間を短縮するために、色補正用自動ツールもいくつかある。このようなツールは、画像を分析し、色補正動作のパラメータを調節して、画像における色を改善する。このようなツールの一例に、カリフォルニア州Menlo Parkの Adobe Systems Incorporated（アドビ・システムズ社）のPHOTOSHOPがある。一例として、設けることができる機能の一種に、自動色バランス調整がある。自動色バランス調整を用いると、赤、青および緑チャネルのヒストグラムが作成される。次に、このヒストグラムを引き延ばし、チャネル毎の値の範囲の終点、即ち、赤、緑および青チャネルの中からの最小値および最大値値と一致させる。このような自動色バランス調整は、全体的には画像のコントラストを改善し、概ね望ましいものである。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像のシーケンスであるビデオ用の色補正は一層複雑である。画像シーケンスにおけるそれぞれの画像を別個に分析し補正することは可能ではあるが、このような分析および補正は多大な処理資源を消費する。一方、画像毎の分析によって得られたコントラスト修正を適用することは、望ましくない場合がある。ある画像におけるコントラスト変化が、他の画像に適用するのに適していない可能性がある。また、他の画像に対するコントラスト変化が、その品質に悪影響を及ぼす虞れもある。
【課題を解決するための手段】
【０００６】
動画における画像シーケンスを含む場面即ちクリップに自動色補正を適用する際に、場面の代表的画像を選択し、この画像を分析し、この場面を含む画像シーケンスに対して実行する色補正動作のパラメータを調節する。この動作は、動画において全ての場面または選択した場面に対して自動的に繰り返すことができる。パラメータを調節すると、コントラストをほぼ一定に維持しながら、画像の色バランスを自動的に調整することができる。
【０００７】
代表的画像の分析には、当該代表画像における色の二次元ヒストグラムにおけるピークの白点からのオフセットを識別することを含むとよい。色補正動作のパラメータは、このオフセットに応じて調節する。代表的画像の陰影、中間トーン、および強調領域に対して、別個のヒストグラムおよびオフセットを決定することもできる。
【０００８】
代表的画像の分析は、当該代表的画像における輝度情報の一次元ヒストグラムを求めることを含むとよい。画像における最も暗いレベルおよび最も明るいレベルを用いて、画像のバランスを調整する。即ち、赤、緑および青のような、画像における色チャネルのヒストグラムを調節し、輝度ヒストグラムによって識別される最も暗いレベルおよび最も明るいレベルと一致させる。
【０００９】
したがって、一形態では、画像シーケンスの自動色補正方法、ならびにそのコンピュータ・プログラム製品およびシステムを提供する。画像シーケンスにおける１つ以上の代表的画像の指示を受ける。１つ以上の代表画像の特性を分析する。色補正動作用パラメータを、１つ以上の代表的画像の特性分析に基づいて決定する。色補正動作には、画像シーケンスに対して求めたパラメータを適用する。
【００１０】
別の形態では、画像シーケンスの１つ以上の代表的画像の特性を分析する方法、コンピュータ・プログラム製品およびシステムを提供する。代表的画像における色の二次元ヒストグラムを生成する。二次元ヒストグラムは白点を含む。二次元ヒストグラムにおけるピーク値と白点との間のオフセットを決定する。
【００１１】
別の形態において、画像シーケンスから１つ以上の代表的画像の特性を分析する方法、コンピュータ・プログラム製品およびシステムを提供する。代表的画像における輝度のヒストグラムを生成することにより、最も暗い値および最も明るい値をヒストグラムによって示す。代表的画像における色のヒストグラムに対する調節を決定し、各色毎の最も暗い値および最も明るい値を、輝度の最も暗い値および最も明るい値と一致させる。
【００１２】
別の形態において、画像シーケンスの自動色補正システムを提供する。このシステムは、画像シーケンスにおける１つ以上の代表的画像の指示を受ける入力と、１つ以上の代表的画像の特性を示す情報を提供する出力とを有する画像分析部を含む。パラメータ計算部は、１つ以上の代表的画像の特性を示す情報を受ける入力と、１つ以上の代表的画像の特性分析に応じて色補正動作用パラメータを与える出力とを含む。色補正部は、パラメータを受ける第１入力と、画像シーケンスを受ける第２入力と、決定したパラメータにしたがって補正した画像シーケンスを供給する出力とを有する。
【００１３】
別の形態において、ビデオ情報のクリップ・シーケンスの自動色補正方法、コンピュータ・プログラム製品およびシステムを提供する。シーケンスにおけるクリップ毎の代表的画像の指示を受ける。クリップ毎の代表的画像の特性を分析する。クリップ毎の色補正動作のために、当該クリップに対して分析した代表画像の特性に応じてパラメータを決定する。クリップに対して求めたパラメータを用いて、色補正動作を各クリップに適用する。
【発明を実施するための最良の形態】
【００１４】
これより図１を参照しながら、動画のクリップに対して自動色補正を行うシステム１００の一例のデータ・フロー図についてここで説明する。クリップ１０２は、画像シーケンスを表す。通例では、画像シーケンスをデータ・ファイルに格納する。クリップは、データ・ファイル、およびデータ・ファイル内にある画像の範囲を参照して、どの画像が動画におけるクリップの一部であるか規定する。動画は、一般に、このようなクリップのシーケンスによって規定される。
【００１５】
クリップ１０２に対して自動色補正を行うには、クリップ１０２における画像の中から、画像選択部１０６によって１つ以上の代表的画像１０４を選択する。画像選択部１０６によって代表的画像１０４を選択できるようにするには、種々の方法がある。例えば、クリップの中間から画像を選択することもできる。シーケンスにおいてｎ枚目毎の画像を選択することもできる。また、クリップ内の各画像を選択することもできる。尚、選択の方法は、これらの例に限定される訳ではない。
【００１６】
代表的画像を画像分析部１０８に入力する。画像分析部１０８は結果１１０を生成し、これをパラメータ計算部１１２が用いて、どのパラメータ１１４を色補正に用いるか決定する。画像分析部１０８は、例えば、二次元クロミナンス・ヒストグラム（以下で説明する）または一次元輝度ヒストグラム（以下で説明する）を生成することができるが、これらに限定されるわけではない。パラメータ計算部１１２は、例えば、クロミナンス・ヒストグラムにおけるピークと白点との間のオフセットを決定し、これから、色補正動作のために、対応するオフセットを決定することができる（以下で説明するように）が、これに限定される訳ではない。
【００１７】
適切な色補正動作に対してパラメータ１１４が与えられると、色補正部１１６は、これらのパラメータを用い、色補正動作をクリップ１０２における画像全てに適用する。こうして、色補正部は色補正クリップ１１８を生成する。
【００１８】
次に図２を参照して、クリップ・シーケンスまたは選択した１組のクリップのような、１組のクリップに対してどのように自動色補正を行うかについて記述したフロー・チャートの説明を行う。このプロセスは、１組のクリップを受ける（２００）ことから開始する。クリップの内１つを選択する（２０２）。図１に関して説明したプロセスを用いて、選択したクリップを自動的に補正する（２０４）。選択したクリップを補正した後、受けた１組の中に未だいずれかのクリップが残っていると２０６において判定した場合、次のクリップを選択し（２０２）、処理を繰り返す。このように１組のクリップに自動補正を行うことによって、例えば、編集システムは、クリップ・シーケンス、恐らくは、編集最中のプログラムにおける全てのクリップでさえも、自動的に処理し補正することが可能となる。
【００１９】
次に、図３から図７に関連付けて、画像を分析し色補正パラメータを生成する技法の一例についてこれより説明する。この技法は、代表的画像の二次元クロミナンス・ヒストグラムを用いて、ヒストグラムにおけるピークの白点からのオフセットを決定する。このオフセットの逆数を、例えば、画像の陰影、中間トーンおよび強調領域の各々のカラー・ホイール(color wheel)によって入力し、表示することができる。尚、入力および表示は、カラー・ホイールに限定される訳ではない。
【００２０】
図３は、入力画像のベクトルスコープ(vectorscope)ヒストグラム画像を示す。この表示では、ベクトルスコープ３００は、表示の中央に白点３０２を有する。ベクトルスコープによって、３０４で示すように、画像における色の二次元ヒストグラムが得られる。しかし、このヒストグラムの適当な中心は、ベクトルスコープの中心３０２とは顕著にオフセットしており、これは、画像におけるある色キャストを表している。この画像を補正すると、補正画像のベクトルスコープ・ヒストグラムは図４に示すようになるはずである。尚、図４におけるベクトルスコープ４００のヒストグラム４０２は、ほぼ白点４０４を中心としていることがわかる。
【００２１】
画像を補正する方法の１つは、図５のカラー・ホイール・インターフェース５００に示すような、色相オフセット（カラー・ホイールを用いて指定する）を用いることである。このインターフェースは、画像の陰影領域用のカラー・ホイール５０２、画像の中間トーン領域用のカラー・ホイール５０４、および画像の強調領域用のカラー・ホイール５０６を含む。陰影、中間トーンおよび強調領域を指定するには種々の方法があり、本発明はそれによって限定されることはない。図５に示すカラー・ホイール上における色相オフセットの初期設定値は、０、即ちオフセットなし、ならびにそれぞれのカラー・ホイール５０２、５０４、および５０６の中心における十字線５０８、５１０および５１２となっている。
【００２２】
図６は、図４のベクトルスコープ・ディスプレイによって示す、補正を与えるために設定した色補正パラメータと共に、カラー・ホイール・インターフェース６００を示す。図６に示すカラー・ホイール上の色相オフセットの補正設定値は、十字線６０８、６１０および６１２によって表されており、それぞれのホイール６０２、６０４および６０６の中心からあるオフセットのところに位置する。尚、図３のベクトルスコープにおけるヒストグラムの中心と白点との間のオフセットは、図６に示す色相オフセットとは、ほぼ逆方向であり、同じ大きさであることがわかる。このような色相オフセットをどのようにして決定したかについて、これより図７と関連付けて説明する。
【００２３】
図７は、画像の二次元クロミナンス・ヒストグラムを用いて、どのように色補正パラメータを決定するかについて記述したフロー・チャートを示す。実験によって、中間トーン値のヒストグラムは信頼性が低い可能性があることが判明した。作成したヒストグラムは、陰影および強調値についてのみであり、中間トーンに対する補正パラメータは、陰影および強調の補正パラメータから求める。
【００２４】
図７において、陰影および強調ヒストグラムを０に初期化する（７００）。即ち、画素のＣｒ、Ｃｂ値によってインデックスされた二次元アレイにおける各値を０に設定する。２つのこのようなアレイ、１つは陰影用、もう１つは強調用、を初期化する。次いで、画像からの画素値を、各ヒストグラムに注入する(populate) （７０２）。各画素値をＹ、Ｃｒ、Ｃｂ成分に変換し、Ｃｒ、Ｃｂ成分を用いて、陰影および強調双方のアレイにアクセスする。一般に、ヒストグラムは、単なる値のカウントに過ぎない。画素のＣｒ、Ｃｂ値のカウントを単に増分する代わりに、輝度成分（ｙ）を用いて、ヒストグラムに追加する値に重み付けする。一般に、重みは、陰影、中間トーンおよび強調の各々に対する輝度値ｙ毎に割り当てることができる。輝度値ｙが、陰影、中間トーンまたは強調領域において画素が強いことを示す場合には、重みを高い値にするとよい。輝度値ｙが、画素が陰影、中間トーンまたは強調領域において強くないことを示す場合、重みを低い値にするとよい。一実現例では、陰影ヒストグラムの重みは２５５−ｙであり、強調ヒストグラムの重みはｙである。
【００２５】
代表的画像に対して陰影および強調ヒストグラムを作成した後、これらをフィルタ処理し（７０４）、ノイズがオフセットの判定に影響を及ぼす尤度を低下させることもできる。このようなフィルタは、例えば、３×３テント・フィルタ(tent filter)のような、ロー・パス・フィルタとするとよいが、これに限定される訳ではない。また、フィルタ処理は、中心からの画素の距離に基づいて行うこともできる。例えば、各二次元ヒストグラムにおけるセル毎の各値を、中心からの距離を減算したものの和によってスケーリングすることもできる。このようなフィルタ処理は、ヒストグラム上における画像の大きな有色物体の影響を抑えるのに役立つ。
【００２６】
陰影および強調ヒストグラムをフィルタ処理した後、各ヒストグラムにおける最大値に対応するＣｒおよびＣｂ値を特定する（７０６）。これらの値の対（ここでは、Ｃｒ＿陰影、Ｃｂ＿陰影、およびＣｒ＿強調、Ｃｂ＿強調と呼ぶ）は、画像の陰影および強調領域について、白点からの画像における色のオフセットを表す。中間トーン・オフセット（Ｃｒ＿中間トーン、Ｃｂ＿中間トーン）は、陰影および強調のオフセットから推定することができる。このオフセットを推定するには、例えば、限定ではないが、陰影のオフセットを強調のオフセットと加算すればよい。即ち、Ｃｒ＿中間トーン＝Ｃｒ＿陰影＋Ｃｒ＿強調、およびＣｂ＿中間トーン＝Ｃｂ＿陰影＋Ｃｂ＿強調となる。
【００２７】
次に、これらのオフセットを、実行する色補正動作に応じて、色補正パラメータに変換する。例えば、この例に限定するのではないが、色補正動作は、陰影、中間トーンおよび強調の輝度領域の各々に適用する色相オフセットとすることもできる。このようなオフセットは、例えば、限定ではないが、図５および図６に示すようなカラー・ホイール・インターフェースによって適用し、それに加えて／その代わりに、その中に表示することもできる。多数のクリップの自動色補正では、カラー・ホイールのようなユーザ・インターフェースをユーザから隠すとよい。オフセットを色相および彩度調節値に変換するには、オフセットをまず極座標に変換し（７１０）、ＣｒおよびＣｂオフセット値の各対に対応する色相（角度）および彩度（大きさ）を得る。次に、色相を反転させる（７１２）。例えば、色相が度単位で表されている場合、色相に１８０を加算する。次に、色補正動作のオフセットを、計算した彩度および反転した色相に設定する（７１４）。
【００２８】
この色補正の特定の形態により、輝度をほぼ一定に維持する。輝度領域上において色相オフセットを用いて行われる色補正動作の非線形性が、輝度に多少の変化を混入させる可能性がある。
【００２９】
画像を分析し色補正パラメータを生成する別の技法の例について、これより図８から図１２と関連付けながら説明する。この技法は、代表的画像の一次元輝度ヒストグラムを用い、最大および最小輝度値を判定する。次に、赤、緑および青チャネル値を伸張し、変換して、赤、緑および青チャネルの最小値が、最小および最大輝度値と一致するようにする。これらの値を、例えば、限定ではないが、赤、緑おおび青チャネル、あるいはレベル・インターフェース（図示せず）上で動作する曲線インターフェースによって、適用および／または表示することができる。
【００３０】
図８は、入力画像の一例の赤、緑および青チャネル・ヒストグラムを示す。この表示では、赤、緑および青チャネルの各々について、ヒストグラム８００、８０２および８０４がそれぞれ設けられている。このヒストグラムは、画像を規定する各チャネルの一次元ヒストグラムを提示する。各ヒストグラムは、対応する成分に対して特定の値（ｘ−軸）を有する画素の数を（ｙ−軸によって）示す。図８の緑および青ヒストグラムでは、かなりの数の値が法定の値(legal value)を超過し、しかも赤の値よりも遥かに高い。したがって、青および緑の色キャストを予想することができる。
【００３１】
この図において色バランスのみを補正し、コントラストを修正しないようにするには、各チャネル９００、９０２および９０４のヒストグラムは、図９に示すような形状となる。図９は、自動補正後における出力画像の赤、緑および青チャネル・ヒストグラムを示す。尚、図９における各ヒストグラムの最大値および最小値は、９０６および９０８にそれぞれ示すように、同一であることがわかる。以下で更に詳しく説明するが、これら最小値および最大値９０６および９０８は、画像の輝度ヒストグラムの最小値および最大値に応じて決定する。
【００３２】
このような画像を補正する方法の１つは、例えば、図１０に示すような曲線インターフェース１０００を用いることによって、チャネルの入力値を同じチャネルの新たな出力値にマップする曲線を用いることである。このインターフェースは、赤チャネル用曲線１００２、緑チャネル用曲線１００４、および青チャネル用曲線１００６を含む。図１０に示す曲線の初期設定値によって、同一性マッピング(identity mapping)が得られる。
【００３３】
曲線によって、ユーザは、赤、緑、青成分のような、画像の画素の個々の成分を調節する１つ以上の関数曲線を操作することができる。１つ以上の点を曲線に追加するか、または移動させれば、曲線が実行する関数を修正することができる。このように、曲線によって、ユーザは色成分に対して数学的に非線形的な調節を行うことが可能となる。これらの曲線は、特に色補正には有用である。何故なら、画像における色の問題の大多数が、画像の取得時に生ずる非線形の問題であるからであり、これらの問題は、通例、画像の画素の赤、緑および青成分に混入するからでる。
【００３４】
図１１は、図１０におけるヒストグラムによって示した補正を行うために色補正パラメータを設定した、図１０の曲線パラメータを示す。図１１に示すヒストグラムの補正設定値は、それぞれ、曲線１１０２、１１０４および１１０６の点１１０８、１１１０および１１１２によって表されており、これらは、図１０におけるこれらの曲線の元の終点からあるオフセットのところに位置する。曲線に対するこのような修正をどのように決定するかについて、これより図１２に関連付けて説明する。
【００３５】
図１２は、画像の一次元輝度ヒストグラムを用いて、色補正パラメータを設定するプロセスの一例を記述したフロー・チャートを示す。赤、緑および青チャネル、ならびに輝度のヒストグラムを初期化する（１２００）。即ち、各チャネル、または輝度に対して可能な値によってインデックスされた、一次元アレイにおける各値に０を設定する。４つのこのようなアレイを初期化する。１つは赤チャネル、１つは緑チャネル、１つは青チャネル、そして１つは輝度に対応する。次に、各ヒストグラムに、画像からの画素値を注入する（１２０２）。赤、緑および青値を用いて入力画像を表す場合、輝度値を各画素毎に計算する。これらのヒストグラムは、赤、緑、青および輝度に対して特定の値を有する各画素のカウントを表し、重み付けされていない。
【００３６】
ヒストグラムを生成した後、ヒストグラム毎に最小値および最大値を決定する（１２０４）。即ち、画素がある最低の赤、緑、青、および輝度値を特定する。また、画素がある最大の赤、緑、青および輝度値も特定する。最小値および最大値を、画素のある最小数に対応させると、異常な画素によって正しくない最小値または最大値が得られることを回避することができる。
【００３７】
赤、緑および青チャネルならびに輝度の各々に最小値および最大値が得られたなら、色補正パラメータを決定することができる（１２０６）。例えば、曲線を用いて色補正動作を実行する場合、各チャネルの曲線を規定する傾斜およびオフセットを、当該チャネルの最小値および最大値、ならびに最小および最大輝度値を用いて決定する。即ち、以下の１組の式（式１）を用いればよい。
【００３８】
【数１】
【００３９】
これらの値を用いれば、色補正動作を行うための参照表を作成することができる。
図７および図１２の処理において、画像を分析し、例えば、画像データの一部のみを用いてヒストグラムを生成することが望ましい場合もある。例えば、ある空間または色範囲における画像データを除外するとよい場合がある。検査を実施すれば、ある画素は除外した空間または色範囲のものであるか否か判定することができ、その画素が分析から除外すべきものである場合、図７または図１２で用いるヒストグラムにこれを加算しない。除外するとよい色範囲は、限定ではないが、不適正な値またはクリップされた値を含むこともできる。ユーザによる手作業による指定によってまたは画像処理動作を指定することによって選択する色範囲も、分析から除外することもできる。除外するとよい空間範囲には、限定ではないが、画像の左、上、右および下の８画素境界のような、画像の縁端を含む。このような境界は、上下における黒線、ならびに通例多数のビデオ・フォーマットにおいて見られる、画像の左および右側における傾斜値(ramped value)を排除する。ユーザによる手作業による指定によってまたは画像処理動作を指定することによって選択する空間エリアも、分析から除外することもできる。このような空間および色範囲は、分析だけでなく、色補正からも除外することもできる。
【００４０】
０パーセントおよび１００パーセントの間のパーセント値を用いて、自動バランス調整による変化の度合いを制御することができる。ユーザ・インターフェースを設ければ、ユーザは、実施するバランス調整のパーセント量を指定することができる。パーセント値は、色補正パラメータとして計算される、色相オフセットおよび彩度、または曲線の傾斜およびオフセットを制限する。例えば、RedMin、RedMax、GreenMin、GreenMax、BlueMinおよびBluMax値は、前述の式１を利用する前に、以下の１組の式（式２）によって、調節することができる。尚、値(AB)は０および１の間とする。
【００４１】
【数２】
【００４２】
自動バランス調整にこれらの種類の演算を用いることによって、画像における輝度、したがってコントラストをほぼ同一のままにする。このように、コントラスト調節用の別個の制御を、この自動バランス調整と組み合わせることもできる。
【００４３】
一例として、図１０および図１１のインターフェースに、マスタ曲線インターフェースを設けることもできる。マスタ曲線は、ユーザに、画像の全成分を、単一の関数曲線によって操作することを可能にする。赤、青および緑チャネル・ヒストグラム全ての幅を最大化する結果をもたらすように、マスタ曲線を変更すると、画像のコントラストが最大化する。したがって、赤、緑および青曲線に対する変化を計算することに加えて、マスタ曲線に対する変化を計算することができる。パーセント値を用いると、この変化の量を、０パーセントと１００パーセントとの間で制御することができる。このパーセンテージは、例えば５０％コントラスト変化とすることができる。ユーザ・インターフェースを設けると、ユーザはコントラスト変化量をパーセントで指定することができる。例えば、０と１との間で変化するパーセント値（ＡＣ）を用いると、前述の式１および式２において用いたLumaMinおよびLumaMax値を、以下の１組の式（式３）を用いて変更することができる。
【００４４】
【数３】
【００４５】
ここで、LumaMinLimitおよびLumaMaxLimitは、輝度に対する適正値の範囲の限界を表し、通例では、それぞれ１６および２３５である。
ユーザ・インターフェースを用いると、ユーザは、自動バランス調整および自動コントラスト調節双方に対してパーセントを設定することができる。これらは、自動補正動作のデフォルト値として扱うこともできる。
【００４６】
また、ユーザ・インターフェースを用いると、ユーザは、異なる量のバランス調整および／またはコントラストを用いてクリップを一巡して見ることができる。例えば、ユーザ・インターフェースが、自動補正機能を実行するためのボタンを有することもできる。同一クリップ上でボタンを多数回押下すると、押下する毎に、異なる補正パーセントで自動補正機能を実施する。例えば、自動補正は、１００％、７５％、５０％、２５％、そして補正無しで巡回して行うことができる。
【００４７】
ここに記載したシステムの種々の構成要素は、汎用コンピュータ・システムを用いたコンピュータ・プログラムとして実装することもできる。このようなコンピュータ・システムは、通例、情報をユーザに表示する出力デバイス、およびユーザから入力を受け取る入力デバイス双方に接続された主ユニットを含む。一般に、主ユニットは、相互接続機構を通じて、メモリ・システムに接続されているプロセッサを含む。また、入力デバイスおよび出力デバイスも、相互接続機構を通じて、プロセッサおよびメモリ・システムに接続されている。
【００４８】
１つ以上の出力デバイスをコンピュータ・システムに接続してもよい。出力デバイスの例には、限定としてではなく、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）およびその他のビデオ出力デバイス、プリンタ、モデムのような通信機器、ならびにディスクまたはテープのような記憶装置が含まれる。１つ以上の入力デバイスをコンピュータ・システムに接続してもよい。入力デバイスの例には、限定としてではなく、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、通信機器、ならびにデータ入力デバイスが含まれる。本発明は、コンピュータ・システムと組み合わせて用いられる特定の入力または出力デバイスにも、ここに記載されたものにも限定されることはない。
【００４９】
コンピュータ・システムは、「Ｃ＋＋」、Visual Basic、Java（登録商標）のようなコンピュータ・プログラミング言語、あるいはスクリプト言語やアセンブリ言語といったようなその他の言語を用いてプログラム可能な、汎用コンピュータ・システムとすることができる。また、コンピュータ・システムは、特別にプログラムされた、特殊目的ハードウエアとすることもできる。汎用コンピュータ・システムでは、プロセッサは、通例、Intel、AMD、Cyrix、Motorola、およびIBMから入手可能な種々のプロセッサのような、市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを有し、他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッグ、入出力制御、アカウンティング、コンパイル、ストレージ割り当て、データ管理およびメモリ管理、ならびに通信制御および関連サービスを提供する。オペレーティング・システムの例には、限定ではないが、UNIX（登録商標）オペレーティング・システム、ならびにMicrosoftおよびApple Computerから入手可能なオペレーティング・システムが含まれる。
【００５０】
メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または再書き込み可能または再書き込み不可能の場合もある。メモリ・システムは、通例、二進形態でデータを格納する。このようなデータは、マイクロプロセッサが実行するアプリケーション・プログラム、またはアプリケーション・プログラムが処理するためにディスク上に格納されている情報を規定することができる。本発明は、特定のメモリ・システムに限定されることはない。
【００５１】
ここに記載したようなシステムは、ソフトウエアまたはハードウエアまたはファームウエア、あるいはこれら３つの組み合わせで実現することもできる。システムの種々のエレメントは、個別でもあるいは組み合わせでも、１つ以上のコンピュータ・プログラム製品として実現することができ、この場合、コンピュータ・プログラムの命令は、コンピュータ読み取り可能媒体上に格納され、コンピュータによって実行される。プロセスの種々のステップは、コンピュータがこのようなコンピュータ・プログラム命令を実行することによって、実行することができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムとすることもでき、またはコンピュータ・ネットワークを通じて接続された多数のコンピュータを含むこともできる。図１に示す構成要素は、コンピュータ・プログラムの別個のモジュールとすることができ、あるいは別個のコンピュータ・プログラムとすれば、別個のコンピュータ上で動作可能となる。これらの構成要素によって生成されるデータは、メモリ・システムに格納することや、コンピュータ・システム間で送信することができる。
【００５２】
以上、実施形態の例について説明してきたが、これまでの説明は単なる例示であって限定ではなく、一例として提示したに過ぎないことは、当業者には当然明白なはずである。多数の変更も、当業者の能力の範囲内であり、本発明の範囲に該当するものと見なす。
【図面の簡単な説明】
【００５３】
【図１】図１は、動画のクリップに対して自動色補正を行うシステム例のデータ・フロー図である。
【図２】図２は、１組のクリップに対してどのように自動色補正を行うことができるかを示すフロー・チャートである。
【図３】図３は、入力画像例のベクトルスコープ・ヒストグラム表示を示す。
【図４】図４は、自動補正後の出力画像のベクトルスコープ・ヒストグラム表示を示す。
【図５】図５は、色補正パラメータを設定するためのカラー・ホイール・インターフェースを示す。
【図６】図６は、色補正パラメータを設定した、図５のカラー・ホイール・インターフェースを示す。
【図７】図７は、どのようにして画像の二次元クロミナンス・ヒストグラムを用いて、色補正パラメータを設定することができるかを示すフロー・チャートである。
【図８】図８は、入力画像例の赤、緑および青チャネルのヒストグラムを示す。
【図９】図９は、自動補正後における出力画像の赤、緑および赤チャネル・ヒストグラムを示す。
【図１０】図１０は、色補正パラメータを設定するための曲線インターフェースを示す。
【図１１】図１１は、色補正パラメータを設定した、図１０の曲線インターフェースを示す。
【図１２】図１２は、画像の一次元輝度ヒストグラムを用いて、どのように色補正パラメータを設定することができるかを説明するフロー・チャートを示す。
【符号の説明】
【００５４】
１０２ クリップ
１０６ 画像選択部
１０４ 代表画像
１０８ 画像分析部
１１０ 結果
１１２ パラメータ計算部
１１４ パラメータ
１１６ 色補正部
１１８ 色補正クリップ
３００ ベクトルスコープ
３０２ 白点
３０４ 二次元ヒストグラム
５０２、５０４、５０６ カラー・ホイール
６００ カラー・ホイール・インターフェース
６０８、６１０、６１２ 十字線
８００、８０２、８０４ ヒストグラム
９００、９０２、９０４ チャンネル
１０００ 曲線インターフェース
１００２ 赤チャネル用曲線
１００４ 緑チャネル用曲線
１００６ 青チャネル用曲線
【特許請求の範囲】
【請求項１】
画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における色の二次元ヒストグラムを発生するステップであって、前記二次元が白点を含む、前記のステップと、
前記二次元ヒストグラムにおけるピーク値と前記白点との間のオフセットを決定するステップと、
を備えた特性分析方法。
【請求項２】
請求項１記載の方法において、前記二次元ヒストグラムを生成するステップは、
画素毎に、当該画素のその陰影または強調としての分類に関する重みを決定するステップと、
画素毎に前記決定した前記重みを用いて、陰影および強調の各々に対して二次元ヒストグラムを生成するステップと、
を含むことを特徴とする方法。
【請求項３】
コンピュータ・プログラム製品であって、
コンピュータ読み取り可能媒体と、
前記コンピュータ読み取り可能媒体上に格納されたコンピュータ・プログラム命令であって、コンピュータによって実行されたときに、画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における色の二次元ヒストグラムを発生するステップであって、前記二次元が白点を含む、前記のステップと、
前記二次元ヒストグラムにおけるピーク値と前記白点との間のオフセットを決定するステップと、
を備えた前記の特性分析方法を、前記コンピュータに実行するように命令する、前記のコンピュータ・プログラム命令と、
を備えたコンピュータ・プログラム製品。
【請求項４】
請求項３記載のコンピュータ・プログラム製品において、前記二次元ヒストグラムを生成するステップは、
画素毎に、当該画素のその陰影、中間トーンまたは強調としての分類に関する重みを決定するステップと、
画素毎に前記決定した重みを用いて、陰影、中間トーンおよび強調の各々に対して二次元ヒストグラムを生成するステップと、
を含むこと、を特徴とするコンピュータ・プログラム製品。
【請求項５】
画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における輝度のヒストグラムを生成することにより、該ヒストグラムによって最も暗い値および最も明るい値を示す、前記のステップと、
前記代表的画像における色のヒストグラムに対する調節値を決定して、各色の最も暗い値および最も明るい値を、前記輝度の最も暗い値および最も明るい値に一致させるステップと、
を備えた特性分析方法。
【請求項６】
コンピュータ・プログラム製品であって、
コンピュータ読み取り可能媒体と、
前記コンピュータ読み取り可能媒体上に格納されたコンピュータ・プログラム命令であって、コンピュータによって実行されたときに、画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における輝度のヒストグラムを生成することにより、該ヒストグラムによって最も暗い値および最も明るい値を示す、前記のステップと、
前記代表的画像における色のヒストグラムに対する調節値を決定して、各色の最も暗い値および最も明るい値を、前記輝度の最も暗い値および最も明るい値に一致させるステップと、
から成る前記の特性分析方法を、前記コンピュータに実行するように命令する、前記のコンピュータ・プログラム命令と、
を備えたコンピュータ・プログラム製品。
【請求項１】
画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における色の二次元ヒストグラムを発生するステップであって、前記二次元が白点を含む、前記のステップと、
前記二次元ヒストグラムにおけるピーク値と前記白点との間のオフセットを決定するステップと、
を備えた特性分析方法。
【請求項２】
請求項１記載の方法において、前記二次元ヒストグラムを生成するステップは、
画素毎に、当該画素のその陰影または強調としての分類に関する重みを決定するステップと、
画素毎に前記決定した前記重みを用いて、陰影および強調の各々に対して二次元ヒストグラムを生成するステップと、
を含むことを特徴とする方法。
【請求項３】
コンピュータ・プログラム製品であって、
コンピュータ読み取り可能媒体と、
前記コンピュータ読み取り可能媒体上に格納されたコンピュータ・プログラム命令であって、コンピュータによって実行されたときに、画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における色の二次元ヒストグラムを発生するステップであって、前記二次元が白点を含む、前記のステップと、
前記二次元ヒストグラムにおけるピーク値と前記白点との間のオフセットを決定するステップと、
を備えた前記の特性分析方法を、前記コンピュータに実行するように命令する、前記のコンピュータ・プログラム命令と、
を備えたコンピュータ・プログラム製品。
【請求項４】
請求項３記載のコンピュータ・プログラム製品において、前記二次元ヒストグラムを生成するステップは、
画素毎に、当該画素のその陰影、中間トーンまたは強調としての分類に関する重みを決定するステップと、
画素毎に前記決定した重みを用いて、陰影、中間トーンおよび強調の各々に対して二次元ヒストグラムを生成するステップと、
を含むこと、を特徴とするコンピュータ・プログラム製品。
【請求項５】
画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における輝度のヒストグラムを生成することにより、該ヒストグラムによって最も暗い値および最も明るい値を示す、前記のステップと、
前記代表的画像における色のヒストグラムに対する調節値を決定して、各色の最も暗い値および最も明るい値を、前記輝度の最も暗い値および最も明るい値に一致させるステップと、
を備えた特性分析方法。
【請求項６】
コンピュータ・プログラム製品であって、
コンピュータ読み取り可能媒体と、
前記コンピュータ読み取り可能媒体上に格納されたコンピュータ・プログラム命令であって、コンピュータによって実行されたときに、画像のシーケンスから１つ以上の代表的画像の特性を分析する方法であって、
前記代表的画像における輝度のヒストグラムを生成することにより、該ヒストグラムによって最も暗い値および最も明るい値を示す、前記のステップと、
前記代表的画像における色のヒストグラムに対する調節値を決定して、各色の最も暗い値および最も明るい値を、前記輝度の最も暗い値および最も明るい値に一致させるステップと、
から成る前記の特性分析方法を、前記コンピュータに実行するように命令する、前記のコンピュータ・プログラム命令と、
を備えたコンピュータ・プログラム製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−１４００８（Ｐ２００７−１４００８Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【外国語出願】
【出願番号】特願２００６−２２６９６０（Ｐ２００６−２２６９６０）
【出願日】平成１８年８月２３日（２００６．８．２３）
【分割の表示】特願２００４−１０３６５６（Ｐ２００４−１０３６５６）の分割
【原出願日】平成１６年３月３１日（２００４．３．３１）
【出願人】（５０００３５８２３）アビッド テクノロジー インコーポレイテッド (35)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００６−２２６９６０（Ｐ２００６−２２６９６０）
【出願日】平成１８年８月２３日（２００６．８．２３）
【分割の表示】特願２００４−１０３６５６（Ｐ２００４−１０３６５６）の分割
【原出願日】平成１６年３月３１日（２００４．３．３１）
【出願人】（５０００３５８２３）アビッド テクノロジー インコーポレイテッド (35)
【Ｆターム（参考）】
[ Back to top ]