複数のカラー値によって定義される少なくとも1つのピクセルを含むカラー画像の少なくとも1部分を処理する方法
【課題】カラー値の利用可能なダイナミックレンジをより有効に使用して、ハイライト時にカメラのダイナミックレンジを改善すること。
【解決手段】各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含むカラー画像の少なくとも1部分を処理する方法において、上記のカラークリップ値のうちの最小値を共通クリップ値として定め、各カラー値に対してこの共通クリップ値を上回るカラー値の量を定め、この量の線形結合を計算し、少なくとも1つのカラー値に対して、このカラー値が上記の共通クリップ値を下回る場合にはこのカラー値と上記の線形結合との和を、またこのカラー値が上記の共通クリップ値を上回る場合には共通クリップ値と上記の線形結合との和を、処理したカラー値として出力する。
【解決手段】各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含むカラー画像の少なくとも1部分を処理する方法において、上記のカラークリップ値のうちの最小値を共通クリップ値として定め、各カラー値に対してこの共通クリップ値を上回るカラー値の量を定め、この量の線形結合を計算し、少なくとも1つのカラー値に対して、このカラー値が上記の共通クリップ値を下回る場合にはこのカラー値と上記の線形結合との和を、またこのカラー値が上記の共通クリップ値を上回る場合には共通クリップ値と上記の線形結合との和を、処理したカラー値として出力する。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法に関する。
【0002】
【従来の技術】
現在ではカメラに対して3つのCCDアレイを使用してカラー画像を捕捉するのが通例である。各アレイにより、所定のカラーフィルタを通して画像がセンシングされる。この目的に対して通例使用される3色は、赤(R)、緑(G)および青(B)である。
【0003】
各CCDアレイはビデオ信号を出力し、ここでこのビデオ信号にはそのピクセルの各々によって受光した光についての情報が含まれている。つぎにこの3つのビデオ信号は、一般にディジタル化され、1ディジタルストリームとしてまとめられる。
【0004】
したがってこのようなカメラによって受光した所定の方向からの光は、3つのカラー値によって定義され、これらは例えば12ビットで符号化される場合には0〜4095の間の値をとる。これらのデータはつぎにさらに処理されて利用可能なビデオストリームが得られる。このさらなる処理ステップは、カメラそれ自体か、またはスタジオで行うことが可能である。
【0005】
このような処理ステップの1つがホワイトバランスの適用である。ホワイトバランスの目標は、相異なる色の重み付けを決定して、所望の見栄えの画像、一般的にはできる限り自然な画像を得ることである。これは、色に固有のゲインを各カラー値に対して適用することである。
【0006】
CCDアレイから出力されるカラー値が変化する範囲は3つの色に共通であるが、ホワイトバランスに対するゲインは一般的に(色に依存して)それぞれ異なるため、ホワイトバランスの後のカラー値の範囲も各色に固有である。
【0007】
換言すると、ホワイトバランスの後の最大値(CCDアレイの飽和に相応し、一般にクリッピングレベルと称される)は一般的に色毎に異なる。
【0008】
重要となり得るこの違い(例えば、赤に対して14のゲイン、緑に対して5のゲイン、青に対して8のゲイン)に起因して、最大のクリッピングレベルを有する色の(ホワイトバランスの後の)ダインミックレンジの大部分が使用されないままになってしまうのである。
【0009】
【発明が解決しようとする課題】
本発明の課題は、カラー値の利用可能なダイナミックレンジをより有効に使用して、ハイライト時にカメラのダイナミックレンジを改善することである。
【0010】
【課題を解決するための手段】
上記課題は本発明により、各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法において、前記カラークリップ値のうちの最小値を共通クリップ値として定め、各カラー値に対してこの共通クリップ値を上回るカラー値の量を定め、この量の線形結合を計算し、少なくとも1つのカラー値に対して、このカラー値が上記の共通クリップ値を下回る場合にはこのカラー値と上記の線形結合との和を、またこのカラー値が上記の共通クリップ値を上回る場合には共通クリップ値と上記の線形結合との和を、処理したカラー値として出力することによって解決される。
【0011】
【発明の実施の形態】
考えられ得る解決手段によれば、この方法は各カラー値に適用される。
【0012】
考えられ得る別の解決手段によれば、この方法はG値だけに適用され、R値およびB値はそのままである。
【0013】
有利な実施形態によれば、上記の線形結合は上記の量の平均値である。
【0014】
本発明のさらなる特徴は以下の実施例の説明に記載されている。
【0015】
【実施例】
ここで提案される方法は一般に、ホワイトバランス後のピクセル(i,j)を定義するカラー値(Rin,Gin,Bin)に適用される。
【0016】
ピクセル(i,j)に対してCCDアレイによって出力されかつディジタル化された値を(RCCD,GCCD,BCCD)i,jと称すると、各ピクセル(i,j)に対するホワイトバランスの影響はつぎのように表される。すなわち、
(Rin)i,j = Rgain・(RCCD)i,j
(Gin)i,j = Ggain・(GCCD)i,j
(Bin)i,j = Bgain・(BCCD)i,j
である。
【0017】
例えば、Rgain = 14,Ggain = 5,Bgain = 8を使用可能である。
【0018】
各値(RCCD)i,j,(GCCD)i,jおよび(BCCD)i,jは、例えば、12ビットで符号化され、したがって0〜4095の間の値をとりうる。これらの値はCCDアレイから直接出力されることが可能であるが、CCDアレイからのrawデータ出力の記録データから取り出すことも可能である。後者の場合、記録データに伝達特性曲線(transfer curve)を適用することができる(記録媒体において10ビットの値だけが得られるようにする)。この場合には取り出し時に逆伝達特性曲線(inverse transfer curve)を適用する。
【0019】
したがって以下ではカラークリップ値と称される、各カラーに対する制限レベルは、
Rmax = Rgain・4095
Gmax = Ggain・4095
Bmax = Bgain・4095
である。
【0020】
上記から明らかであるのは、Rmax,GmaxおよびBmaxが一般的に互いに異なることである。
【0021】
これらのクリップレベルまたはカラークリップ値の最小値は、以下で共通クリップ値と称され、したがって
CLIP = min(Rmax,Gmax,Bmax)
と定義される。
【0022】
この共通クリップ値CLIPを上回ると、カラー情報は信頼性が損なわれてしまう。共通クリップ値CLIPを上回る情報は、以下に説明するように無色エンハンスメント信号として使用される。
【0023】
本発明の方法の第1実施形態では、各ピクセル(i,j)に対する、処理されたカラー値(Renhanced)i,j,(Genhanced)i,jおよび(Benhanced)i,jは、ホワイトバランスステップによって出力されるカラー値からつぎのようにして計算される。
【0024】
(Rin)i,j < CLIP ならば (Rclipped)i,j = (Rin)i,j
そうでなければ (Rclipped)i,j = CLIP
(Gin)i,j < CLIP ならば (Gclipped)i,j = (Gin)i,j
そうでなければ (Gclipped)i,j = CLIP
(Bin)i,j < CLIP ならば (Bclipped)i,j = (Bin)i,j
そうでなければ (Bclipped)i,j = CLIP
値(Rclipped)i,j,(Gclipped)i,jおよび(Bclipped)i,jは、クリッピングされたRGBデータと称することができる。
【0025】
各ピクセルに対する無色エンハンスメント信号は、線形結合
(ENH_nocolour)i,j = 0.5・{(Rin i,j−Rclipped i,j)+(Gin i,j−Gclipped i,j)+(Bin i,j−Bclipped i,j)}
である。
【0026】
各ピクセルに対して、無色エンハンスメント信号(ENH_nocolour)i,jが、クリッピングされたRGB信号に加算されて、処理され(かつエンハンスされた)たカラー値
(Renhanced)i,j = (Rclipped)i,j+(ENH_nocolour)i,j
(Renhanced)i,j = (Gclipped)i,j+(ENH_nocolour)i,j
(Benhanced)i,j = (Bclipped)i,j+(ENH_nocolour)i,j
が得られる。
【0027】
明らかであるのは、この無色エンハンスメント信号(ENH_nocolour)i,jにより、低いクリッピングレベルを有する色(上記の例では緑または青)が、カラークリップレベルよりも高い値をとることができ、これによってダイナミックレンジが広がることである。
【0028】
この処理されたカラー値(Renhanced)i,j,(Renhanced)i,jおよび(Benhanced)i,jは、つぎに(Rin, Gin, Bin)i,jの代わりにさらなる処理のために使用可能である。
【0029】
本発明の方法の以下に示す第2実施形態は、殊に白雲を有する青空を表す画像に適用される。青空と白雲との間の差分は、基本的に赤信号における変調である。青空を維持するために、緑のチャネルにおけるクリッピングによって生じた緑の信号の欠如だけを補償する。上記の無色エンハンスメント信号を使用することによって、この実施形態における処理されたカラー値は、
(Renhanced)i,j = (Rin)i,j
(Genhanced)i,j = (Gclipped)i,j+(ENH_nocolour)i,j
(Benhanced)i,j = (Bin)i,j
である。
【0030】
ここでは緑信号だけが補正されており、赤および青信号はそのままである。
【0031】
上記のように、処理の後に緑信号のダイナミックレンジを広げることによって、このカメラのダイナミックレンジが全体として改善される。
【0001】
【発明の属する技術分野】
本発明は、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法に関する。
【0002】
【従来の技術】
現在ではカメラに対して3つのCCDアレイを使用してカラー画像を捕捉するのが通例である。各アレイにより、所定のカラーフィルタを通して画像がセンシングされる。この目的に対して通例使用される3色は、赤(R)、緑(G)および青(B)である。
【0003】
各CCDアレイはビデオ信号を出力し、ここでこのビデオ信号にはそのピクセルの各々によって受光した光についての情報が含まれている。つぎにこの3つのビデオ信号は、一般にディジタル化され、1ディジタルストリームとしてまとめられる。
【0004】
したがってこのようなカメラによって受光した所定の方向からの光は、3つのカラー値によって定義され、これらは例えば12ビットで符号化される場合には0〜4095の間の値をとる。これらのデータはつぎにさらに処理されて利用可能なビデオストリームが得られる。このさらなる処理ステップは、カメラそれ自体か、またはスタジオで行うことが可能である。
【0005】
このような処理ステップの1つがホワイトバランスの適用である。ホワイトバランスの目標は、相異なる色の重み付けを決定して、所望の見栄えの画像、一般的にはできる限り自然な画像を得ることである。これは、色に固有のゲインを各カラー値に対して適用することである。
【0006】
CCDアレイから出力されるカラー値が変化する範囲は3つの色に共通であるが、ホワイトバランスに対するゲインは一般的に(色に依存して)それぞれ異なるため、ホワイトバランスの後のカラー値の範囲も各色に固有である。
【0007】
換言すると、ホワイトバランスの後の最大値(CCDアレイの飽和に相応し、一般にクリッピングレベルと称される)は一般的に色毎に異なる。
【0008】
重要となり得るこの違い(例えば、赤に対して14のゲイン、緑に対して5のゲイン、青に対して8のゲイン)に起因して、最大のクリッピングレベルを有する色の(ホワイトバランスの後の)ダインミックレンジの大部分が使用されないままになってしまうのである。
【0009】
【発明が解決しようとする課題】
本発明の課題は、カラー値の利用可能なダイナミックレンジをより有効に使用して、ハイライト時にカメラのダイナミックレンジを改善することである。
【0010】
【課題を解決するための手段】
上記課題は本発明により、各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法において、前記カラークリップ値のうちの最小値を共通クリップ値として定め、各カラー値に対してこの共通クリップ値を上回るカラー値の量を定め、この量の線形結合を計算し、少なくとも1つのカラー値に対して、このカラー値が上記の共通クリップ値を下回る場合にはこのカラー値と上記の線形結合との和を、またこのカラー値が上記の共通クリップ値を上回る場合には共通クリップ値と上記の線形結合との和を、処理したカラー値として出力することによって解決される。
【0011】
【発明の実施の形態】
考えられ得る解決手段によれば、この方法は各カラー値に適用される。
【0012】
考えられ得る別の解決手段によれば、この方法はG値だけに適用され、R値およびB値はそのままである。
【0013】
有利な実施形態によれば、上記の線形結合は上記の量の平均値である。
【0014】
本発明のさらなる特徴は以下の実施例の説明に記載されている。
【0015】
【実施例】
ここで提案される方法は一般に、ホワイトバランス後のピクセル(i,j)を定義するカラー値(Rin,Gin,Bin)に適用される。
【0016】
ピクセル(i,j)に対してCCDアレイによって出力されかつディジタル化された値を(RCCD,GCCD,BCCD)i,jと称すると、各ピクセル(i,j)に対するホワイトバランスの影響はつぎのように表される。すなわち、
(Rin)i,j = Rgain・(RCCD)i,j
(Gin)i,j = Ggain・(GCCD)i,j
(Bin)i,j = Bgain・(BCCD)i,j
である。
【0017】
例えば、Rgain = 14,Ggain = 5,Bgain = 8を使用可能である。
【0018】
各値(RCCD)i,j,(GCCD)i,jおよび(BCCD)i,jは、例えば、12ビットで符号化され、したがって0〜4095の間の値をとりうる。これらの値はCCDアレイから直接出力されることが可能であるが、CCDアレイからのrawデータ出力の記録データから取り出すことも可能である。後者の場合、記録データに伝達特性曲線(transfer curve)を適用することができる(記録媒体において10ビットの値だけが得られるようにする)。この場合には取り出し時に逆伝達特性曲線(inverse transfer curve)を適用する。
【0019】
したがって以下ではカラークリップ値と称される、各カラーに対する制限レベルは、
Rmax = Rgain・4095
Gmax = Ggain・4095
Bmax = Bgain・4095
である。
【0020】
上記から明らかであるのは、Rmax,GmaxおよびBmaxが一般的に互いに異なることである。
【0021】
これらのクリップレベルまたはカラークリップ値の最小値は、以下で共通クリップ値と称され、したがって
CLIP = min(Rmax,Gmax,Bmax)
と定義される。
【0022】
この共通クリップ値CLIPを上回ると、カラー情報は信頼性が損なわれてしまう。共通クリップ値CLIPを上回る情報は、以下に説明するように無色エンハンスメント信号として使用される。
【0023】
本発明の方法の第1実施形態では、各ピクセル(i,j)に対する、処理されたカラー値(Renhanced)i,j,(Genhanced)i,jおよび(Benhanced)i,jは、ホワイトバランスステップによって出力されるカラー値からつぎのようにして計算される。
【0024】
(Rin)i,j < CLIP ならば (Rclipped)i,j = (Rin)i,j
そうでなければ (Rclipped)i,j = CLIP
(Gin)i,j < CLIP ならば (Gclipped)i,j = (Gin)i,j
そうでなければ (Gclipped)i,j = CLIP
(Bin)i,j < CLIP ならば (Bclipped)i,j = (Bin)i,j
そうでなければ (Bclipped)i,j = CLIP
値(Rclipped)i,j,(Gclipped)i,jおよび(Bclipped)i,jは、クリッピングされたRGBデータと称することができる。
【0025】
各ピクセルに対する無色エンハンスメント信号は、線形結合
(ENH_nocolour)i,j = 0.5・{(Rin i,j−Rclipped i,j)+(Gin i,j−Gclipped i,j)+(Bin i,j−Bclipped i,j)}
である。
【0026】
各ピクセルに対して、無色エンハンスメント信号(ENH_nocolour)i,jが、クリッピングされたRGB信号に加算されて、処理され(かつエンハンスされた)たカラー値
(Renhanced)i,j = (Rclipped)i,j+(ENH_nocolour)i,j
(Renhanced)i,j = (Gclipped)i,j+(ENH_nocolour)i,j
(Benhanced)i,j = (Bclipped)i,j+(ENH_nocolour)i,j
が得られる。
【0027】
明らかであるのは、この無色エンハンスメント信号(ENH_nocolour)i,jにより、低いクリッピングレベルを有する色(上記の例では緑または青)が、カラークリップレベルよりも高い値をとることができ、これによってダイナミックレンジが広がることである。
【0028】
この処理されたカラー値(Renhanced)i,j,(Renhanced)i,jおよび(Benhanced)i,jは、つぎに(Rin, Gin, Bin)i,jの代わりにさらなる処理のために使用可能である。
【0029】
本発明の方法の以下に示す第2実施形態は、殊に白雲を有する青空を表す画像に適用される。青空と白雲との間の差分は、基本的に赤信号における変調である。青空を維持するために、緑のチャネルにおけるクリッピングによって生じた緑の信号の欠如だけを補償する。上記の無色エンハンスメント信号を使用することによって、この実施形態における処理されたカラー値は、
(Renhanced)i,j = (Rin)i,j
(Genhanced)i,j = (Gclipped)i,j+(ENH_nocolour)i,j
(Benhanced)i,j = (Bin)i,j
である。
【0030】
ここでは緑信号だけが補正されており、赤および青信号はそのままである。
【0031】
上記のように、処理の後に緑信号のダイナミックレンジを広げることによって、このカメラのダイナミックレンジが全体として改善される。
【特許請求の範囲】
【請求項1】
各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法において、
前記カラークリップ値のうちの最小値を共通クリップ値として定め、
各カラー値に対して当該共通クリップ値を上回るカラー値の量を定め、
当該量の線形結合を計算し、
少なくとも1つのカラー値に対して、
当該カラー値が前記共通クリップ値を下回る場合には当該カラー値と前記線形結合との和を、また
当該カラー値が前記共通クリップ値を上回る場合には該共通クリップ値と前記線形結合との和を、処理したカラー値として出力することを特徴とする、
カラー画像の少なくとも1部分を処理する方法。
【請求項2】
各カラー値に対して、
当該カラー値が前記共通クリップ値を下回る場合には当該カラー値と前記線形結合との和を、また
当該カラー値が前記共通クリップ値を上回る場合には該共通クリップ値と前記線形結合との和を、処理されたカラー値として出力する、
請求項1に記載の方法。
【請求項3】
前記カラー値は、R値、G値およびB値であり、
処理されたG値として、
当該G値が前記共通クリップ値を下回る場合には当該G値と前記線形結合との和を出力し、
当該G値が前記共通クリップ値を上回る場合には前記共通クリップ値と前記線形結合との和を出力し、
処理されたR値として前記R値を出力し、
処理されたB値として前記B値を出力する、
請求項1に記載の方法。
【請求項4】
前記線形結合は前記量の平均値である、
請求項1から3までのいずれか1項に記載の方法。
【請求項5】
前記カラー値をホワイトバランスステップにて形成する、
請求項1から4までのいずれか1項に記載の方法。
【請求項6】
CCDアレイからの信号をディジタル化してホワイトバランスを適用し、これによって前記カラー値を形成する、
請求項1から4までのいずれか1項に記載の方法。
【請求項7】
前記カラー値を以前の記録データから取り出す、
請求項1から4までのいずれか1項に記載の方法。
【請求項8】
逆伝達特性曲線を適用して前記カラー値を形成する、
請求項7に記載の方法。
【請求項1】
各カラー値が黒とカラークリップ値との間で変化し、複数のカラー値によって定義される少なくとも1つのピクセルを含む、カラー画像の少なくとも1部分を処理する方法において、
前記カラークリップ値のうちの最小値を共通クリップ値として定め、
各カラー値に対して当該共通クリップ値を上回るカラー値の量を定め、
当該量の線形結合を計算し、
少なくとも1つのカラー値に対して、
当該カラー値が前記共通クリップ値を下回る場合には当該カラー値と前記線形結合との和を、また
当該カラー値が前記共通クリップ値を上回る場合には該共通クリップ値と前記線形結合との和を、処理したカラー値として出力することを特徴とする、
カラー画像の少なくとも1部分を処理する方法。
【請求項2】
各カラー値に対して、
当該カラー値が前記共通クリップ値を下回る場合には当該カラー値と前記線形結合との和を、また
当該カラー値が前記共通クリップ値を上回る場合には該共通クリップ値と前記線形結合との和を、処理されたカラー値として出力する、
請求項1に記載の方法。
【請求項3】
前記カラー値は、R値、G値およびB値であり、
処理されたG値として、
当該G値が前記共通クリップ値を下回る場合には当該G値と前記線形結合との和を出力し、
当該G値が前記共通クリップ値を上回る場合には前記共通クリップ値と前記線形結合との和を出力し、
処理されたR値として前記R値を出力し、
処理されたB値として前記B値を出力する、
請求項1に記載の方法。
【請求項4】
前記線形結合は前記量の平均値である、
請求項1から3までのいずれか1項に記載の方法。
【請求項5】
前記カラー値をホワイトバランスステップにて形成する、
請求項1から4までのいずれか1項に記載の方法。
【請求項6】
CCDアレイからの信号をディジタル化してホワイトバランスを適用し、これによって前記カラー値を形成する、
請求項1から4までのいずれか1項に記載の方法。
【請求項7】
前記カラー値を以前の記録データから取り出す、
請求項1から4までのいずれか1項に記載の方法。
【請求項8】
逆伝達特性曲線を適用して前記カラー値を形成する、
請求項7に記載の方法。
【公開番号】特開2004−5685(P2004−5685A)
【公開日】平成16年1月8日(2004.1.8)
【国際特許分類】
【出願番号】特願2003−148064(P2003−148064)
【出願日】平成15年5月26日(2003.5.26)
【出願人】(501263810)トムソン ライセンシング ソシエテ アノニム (2,848)
【氏名又は名称原語表記】Thomson Licensing S.A.
【公開日】平成16年1月8日(2004.1.8)
【国際特許分類】
【出願日】平成15年5月26日(2003.5.26)
【出願人】(501263810)トムソン ライセンシング ソシエテ アノニム (2,848)
【氏名又は名称原語表記】Thomson Licensing S.A.
[ Back to top ]