画像処理装置、画像処理方法およびプログラム
【課題】色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供すること
【解決手段】画像処理装置は、色にじみが軽減される前のカラー画像の注目画素に対応する色度図における点P(a0,b0)と、色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図におけるQ1(a1,b1)の間の色相角度の差または色度変化の方向を制限する2つ以上の直線C//1およびC//2またはLBおよびLRによって色にじみ発生領域Fを制限することによって形成された制限領域G内に、各色成分の色にじみ推定量が収まるように推定手段151によって推定された各色成分の色にじみ推定量を補正する補正手段152と、補正手段で補正された各色成分の色にじみ推定量を色成分毎にカラー画像から減じて色にじみを軽減する軽減手段153と、を有する。
【解決手段】画像処理装置は、色にじみが軽減される前のカラー画像の注目画素に対応する色度図における点P(a0,b0)と、色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図におけるQ1(a1,b1)の間の色相角度の差または色度変化の方向を制限する2つ以上の直線C//1およびC//2またはLBおよびLRによって色にじみ発生領域Fを制限することによって形成された制限領域G内に、各色成分の色にじみ推定量が収まるように推定手段151によって推定された各色成分の色にじみ推定量を補正する補正手段152と、補正手段で補正された各色成分の色にじみ推定量を色成分毎にカラー画像から減じて色にじみを軽減する軽減手段153と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラー画像に対して色にじみを軽減する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。色にじみは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーティファクトがにじみ状に生じ、色にじみやパープルフリンジと呼ばれる。近年、アーティファクトを低減する画像処理方法が提案されている。
【0003】
例えば、特許文献1、2は、色にじみの色成分ごとに空間演算を行うことで色にじみ領域および色にじみ強度を算出し、色成分ごとのにじみ推定量を入力カラー画像から減算することにより色にじみを軽減する画像処理方法を提案している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−147980号公報
【特許文献2】特開2008−147981号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1、2に記載されている画像処理方法では、色にじみ成分が2成分以上になると、異なる色のにじみに変化したり、色相反転が発生したりするなど、色味が不自然な画像となる。色にじみ成分毎に個別に色相反転が生じないように除去量を制限しているが、カラー画像として合成された際に除去量が合成されて過剰な除去となって色相反転は発生する。また、異なる色のにじみを防止するためには、補正対象となる色成分を切り換える必要があり、その情報がなければ補正できないという問題がある。特に、特許文献1に開示された色成分毎の隣接画素間の画像強度傾斜によって色にじみの補正量を推定する推定手段を使用する場合には推定精度が必ずしも高くないために、上記の問題が発生し易い。
【0006】
本発明は、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置は、カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、を有し、前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線から前記原点と前記第1の点との距離の半分以下の距離だけ離れた前記第1の直線と平行な2つの第3の直線または前記原点を通り、前記第1の直線となす角度の絶対値が45度以下である2つの第4の直線に挟まれた領域に挟まれた領域であることを特徴とする。
【発明の効果】
【0008】
本発明によれば、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の撮像装置のブロック図である。(実施例1)
【図2】図2(a)は、高輝度な被写体に対するR成分、B成分及びG成分の典型的なプロファイルを示す図であり、図2(b)は非線形変換の特性を示す図である。(実施例1)
【図3】図1に示す色にじみ軽減部の全体の動作を説明するためのフローチャートである。(実施例1)
【図4】図1に示す推定手段の動作を説明するためのフローチャートである。(実施例1)
【図5】図1に示す補正手段の動作を説明するためのフローチャートである。(実施例1)
【図6】ab色度図の図である。(実施例1)
【図7】ab色度図における制限領域を示す図である。(実施例1)
【図8】R成分とB成分を同時に補正した場合の色度座標上の変化方向を示す図である。(実施例1)
【図9】色度座標において色相角度で制限する領域の算出を説明するための図である。(実施例2)
【図10】色度座標において色相角度変化を制限角度内に抑える補正量算出ステップを説明する図である。(実施例3)
【図11】本発明の撮像装置のブロック図である。(実施例4)
【図12】図11に示す推定手段の動作を説明するためのフローチャートである。(実施例4)
【図13】飽和画素から周囲の各画素までの距離を示す図である。(実施例4)
【図14】色度図の図である。(実施例4)
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明の実施例について説明する。
【実施例1】
【0011】
図1は、カラー画像に対して色にじみを軽減する実施例1の画像処理装置を有する撮像装置100のブロック図である。撮像装置100は、結像光学系110、イメージセンサ(撮像素子)120、AD変換部130、デモザイク部140、色にじみ軽減部150、視覚補正部160、圧縮部170、記録部180を有する。
【0012】
図1において、写野(被写体)fは、結像光学系110を経てイメージセンサ120上に結像する。本実施例の結像光学系110は全ての波長域においてある程度の色収差が補正されているが、特にG波長域での色収差が良好に補正されており、他波長ではG波長域より色収差が残存している。色収差の補正基準を下げることにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【0013】
イメージセンサ120は、被写体像を光電変換し、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサとする。原色カラーフィルタ系は、特許文献1の図4に示すように、各々650nm、550nm、450nm近傍に透過主波長帯を持つ3種類の色フィルタからなり、各々R、G、Bの各バンドに対応する色成分を撮影する。単板カラーイメージセンサでは、この色フィルタは、特許文献1の図5に示すように、画素毎に空間的に配列し、各画素に対しては各々単一の色成分における強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。或いは、色分解プリズムを用いてR、G、Bの波長域に分け、それぞれ異なるイメージセンサで結像する3板式カラーイメージセンサを用いてもよい。この場合、デモザイク部140は不要となる。
【0014】
AD変換部130では、イメージセンサからからアナログ電圧として出力される色モザイク画像を画像処理に適するデジタルデータへと変換する。
【0015】
デモザイク部140では、色モザイク画像を補間することによって、全ての画素においてRGBの色情報が揃ったカラー画像を生成する。なお、補間手法は限定されない。生成されたカラー画像は結像光学系110の色収差によって、G成分に比してRやB成分の解像度が劣る画像となる。
【0016】
このため明暗の境界部では、特許文献1の図6に示すように、赤や青がぼやけ、明部の周囲に赤や青、両者が混じった紫の縁取りのようなアーティファクトが生じる。ここで、結像光学系の特性及び画像中の光源の分光分布等によりR、Bのにじみの程度が異なる。なお、イメージセンサ120が補色系カラーフィルタの場合でも、色変換処理によって同様にR、G、Bの色成分からなるカラー画像が得られる。
【0017】
色にじみ軽減部150は、後述するように、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する画像処理装置を構成する。
【0018】
次に、視覚補正部160により、主として画像の見栄えを改善するための処理(例えば、トーンカーブ(ガンマ)補正、彩度強調、色相補正、エッジ強調)がカラー画像に対して行われる。
【0019】
次に、圧縮部170が、補正されたカラー画像をJPEG等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【0020】
これらイメージセンサ120から記録部180は実際には別体のデバイスとは限らず、単一のマイクロプロセッサ(マイクロコンピュータ)が複数の部に係る処理を行うこともある。圧縮処理が行われたデジタル画像信号は、記録部180にてフラッシュメモリ等の記録媒体に記録される。
【0021】
図2(a)は、高輝度な被写体に対するR、G及びB成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はR、G及びB成分の強度である。図2(a)では中央部に飽和レベルを超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体からにじんだ光によって、プロファイルの裾が拡がる。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。
【0022】
特許文献1に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくR、G、B成分が飽和し、白く飽和した領域ができる。R成分とB成分はほぼ同じプロファイルとする。この先、G成分は減衰していくがR及びB成分の飽和半径は更に広いため、徐々にG成分とR及びB成分の画像強度差は大きくなり、マゼンタとなり色味を増していく。
【0023】
しかし、飽和半径に達するとR、B成分も減衰を始め、この先ではG成分とR、B成分の画像強度差は小さくなっていき、紫のにじみとなっていく。あるところで、G成分の裾の端に達すると、その先はR、B成分のみが強度を持ち、より彩度の高い紫のにじみへと変化していく。
【0024】
このマゼンタや紫のにじみ本来存在しない色にじみであり、輝度飽和領域周辺の色として不自然なものとなる。本実施例は、このようなR、B成分によって発生する、本来は存在しない紫のにじみ、あるいは赤にじみ、青にじみを軽減対象の色にじみとする。これらの不自然な色にじみを色にじみ軽減部150で軽減し自然な色味に補正する。
【0025】
図3は、色にじみ軽減部150による画像処理のフローチャートであり、「S」はステップの略である。図3に示すフローチャートは、コンピュータを各ステップ(手段)として機能させるためのプログラムとして具現化可能であり、これは後述する他のフローチャートにも当てはまる。
【0026】
色にじみ軽減部150は、推定手段151、補正手段152、軽減手段153を有し、R成分、B成分を軽減対象とし、基準成分としてG成分を用いる。
【0027】
図3に示すように、色にじみ軽減部150は、入力画像においてある座標(x,y)=(0,0)の画素を注目画素として画像処理を開始する(S2)。そして、その画素に対して、推定手段151による推定処理(S10)、色にじみ判定(S4)、補正手段153による補正処理(S20)、軽減手段153による軽減処理(S30)が行われる。続いて、x、yを最大値までインクリメントして(S6、s8)出力画像を出力する。なお、以下の説明では色にじみ判定S4を補正処理S20の一部(S21)としているが、推定処理S10の一部でもよいし、図3に示すように、両者から独立していてもよい。
【0028】
図4は、色にじみ軽減部150の推定手段151の動作を説明するためのフローチャートであり、「S」はステップの略である。
【0029】
図4を参照すると、推定手段151では、まず、注目画素(x,y)が色にじみ画素かどうか、具体的には、注目画素の色相(赤や黄などの色味の違い)を算出し、色相が色にじみと考えられる色相であるかどうかの簡易的な判定を行う(S11)。
【0030】
ここで、「色にじみと判定する色相」は、2つの色相角度hmin、hmaxで指定する。注目画素の色相角度をhとすると、次式を満足すれば色にじみと考えられる色相であると判定する。例えば、赤(0°)、黄(60°)、緑(120°)、水色(180°)、青(240°)、紫(300°)において、本来存在しない紫の色相角度にhmin、hmaxを設定する。
【0031】
【数1】
【0032】
更に、色にじみ画素の判定として、注目画素(x,y)において基準となるG成分の画像強度に注目し、飽和していると考えられる場合は色にじみ領域ではないと判定する。これは、高輝度被写体において基準となる色成分が飽和していれば、他の色成分も飽和している可能性が高いため色にじみが発生しないと考えられるためである。ここで飽和とは、画像強度を0〜1の値を持つとすると閾値を0.9程度にし、閾値以上の強度を持つ場合とする。
【0033】
S11で色にじみ画素でないと判定されれば、注目画素の色にじみ推定量ER、EBを0として処理を終了して次の画素へと進む。
【0034】
S11で色にじみと判定された画素に対してRGB各色成分に対する信号強度の傾き(画像強度傾斜)を算出する(S12)。飽和輝度周辺においては、画像の色成分毎に減衰に着目してみるとG成分の減衰が収束しているが、R、B成分の減衰が収束していないことでにじみが発生する。
【0035】
減衰が収束している場合は強度傾斜が小さく、減衰が収束していない場合は強度傾斜が大きくなるため、減衰が収束しているかどうかは、色成分毎の画像強度傾斜でおおよそ判断することができる。このように、色にじみ領域の特定および色にじみ量の推定には画像強度および画像強度傾斜が有益であるため、推定手段151は隣接画素間の色成分毎の信号強度の傾き(勾配)を用いて色にじみ量を画素ごとに(領域ごとに)推定する。なお、従来技術に記載された他の方法を利用して推定してもよい。
【0036】
各色成分の画像強度傾斜をそれぞれ∇R、∇G、∇Bとすると、∇R、∇G、∇Bは次式で与えられる。
【0037】
【数2】
【0038】
ここで、R(x+1,y)、G(x+1,y)、B(x+1,y)は、R、G、B成分における注目画素右隣の画素値、R(x−1,y)、G(x−1,y)、B(x−1,y)は、RGB成分における注目画素左隣の画素値とする。また、R(x,y+1)、G(x,y+1)、B(x,y+1)は、R、G、B成分における注目画素下隣の画素値、R(x,y−1)、G(x,y−1)、B(x,y−1)は、R、G、B成分における注目画素上隣の画素値とする。また、画像強度傾斜の演算にあたって算出範囲をより大きくしたり、斜め画素も使うなど他の方法でも良いが、演算量の観点や効果の観点からも前述の画像強度傾斜の算出方法が好適である。
【0039】
次に、RGB成分の画像強度傾斜∇R、∇G、∇Bの絶対値に係数kR、kG、kBを乗じて、次式に示すように、色にじみ推定量ER、EG、EBを算出する(S13)。
【0040】
【数3】
【0041】
ここで、係数kR、kG、kBは正値であり、3前後が好適である。RB成分が飽和している領域では画像強度傾斜が0になり、飽和していない場合の画像強度傾斜を得ることができない。そこで、そのような領域に対する画像強度傾斜をG成分の画像強度傾斜により算出する。このため、数式3では色にじみ推定量EGを算出している。この色にじみ推定量EGは以降の補正手段152で使用する。
【0042】
以上で色にじみ画素における色にじみ推定量ER、EBが算出され、推定手段151の推定処理S10が終了し補正手段152の処理へ移る。
【0043】
図5は、色にじみ軽減部150の補正手段152の動作を説明するためのフローチャートであり、「S」はステップの略である。補正手段152は、推定手段151で算出された色にじみ推定量ERおよびEBを用いて、色にじみ軽減後の色が自然な色になるように各色にじみ推定量の補正を行う。
【0044】
図5を参照すると、補正手段152は、まず、色にじみ領域をS11で算出した画像強度傾斜を用いて、基準色成分(G成分)と色にじみ色成分の画像強度傾斜の比を用いて色にじみ判定を行う(S21)。
【0045】
色にじみ判定では、色にじみ領域を信号強度の傾きで判断し、傾き量がある値以上の場合は色にじみであると判定する。この際にR、Bの信号強度の傾きのみではなく、基準成分であるGの信号強度の傾きも算出して比較することにより、より正確に色にじみ領域を特定することができる。例えば、Gの信号強度の傾きに対してR、Bの信号強度の傾きが大きい場合、色にじみである可能性が高いと判断する。本実施例の推定方法は計算が単純であるものの誤差が生じやすいため、推定手段による推定量は後述するように補正する必要がある。
【0046】
色にじみでないと判定された場合は、推定手段151で求めた色にじみ推定量を0とする。なお、色にじみの判定は推定手段151が行ってもよい。
【0047】
R成分のG成分に対する画像強度傾斜の比の閾値をαRGとすると、補正された色にじみ推定量ER’は次式で表すことができる。
【0048】
【数4】
【0049】
B成分についても同様に次式で表すことができる。
【0050】
【数5】
【0051】
ここで、画像強度傾斜の比の閾値αRG、αBGは結像光学系の特性などに依存するが、2前後が好適である。
【0052】
次に、補正手段152はR成分の強度に対する非線形変換を行い、飽和度SRを生成する(S22)。この非線形変換はR成分が飽和しているかどうかを示すものであり、R成分の強度が飽和している領域では1を、R成分の強度が飽和していない場合は0となる。このように飽和度SRは0/1の2値でもよいが、図2(b)に示すように、0〜1にかけて連続的に変化する値としてもよい。この場合、飽和度SRは次式で表すことができる。
【0053】
【数6】
【0054】
飽和度SRによって算出した色にじみ推定量ER又はEGを選択する。すなわち、飽和度SRが0/1の2値であれば新たな色にじみ推定量ER”を次式のように定義する。
【0055】
【数7】
【0056】
また、飽和度SRが0〜1にかけて連続的に変化する値であれば、新たな推定量ER”を次式のように定義する。
【0057】
【数8】
【0058】
同様にB成分の色にじみ推定量EB”は、飽和度をSBとすると次式のように定義する。
【0059】
【数9】
【0060】
もしくは、SBが0〜1にかけて連続的に変化する値であれば次式のように定義する。
【0061】
【数10】
【0062】
これにより、S21において色にじみと判定されてもRB成分が飽和しており、色にじみと判定されなかった画素も補正対象とすることになる。
【0063】
次に、補正手段152は注目画素(x,y)の色度およびS22において補正された色にじみ推定量ER”、EB”を各色成分から減算した値による色度を計算する(S23)。色度は色相と彩度を合わせた情報を有する。まず、色度算出はR、G、Bの各成分の強度に対し、特許文献2の数式1、2にあるように行う。
【0064】
【数11】
【0065】
数式11の係数は、RGB座標をxyz表色系に変換するためのディスプレイ用の一般的な係数である。また、xyz表色系から簡略化したLab表色系への変換には次式を用いる。ここでは計算コストを減らすために簡略化したLab表色系を用いているが、より人間の感覚と一致させるため簡略化しない本来のLab表色系でもよい。
【0066】
【数12】
【0067】
ここで、このab色度図およびab色度図とR、B成分の対応を説明する。ab色度図を図6(a)に示す。同図において、青色は第4象限にあり、第1象限に向かうに従って赤味を増して紫、マゼンタになっていく。第1象限は、第2象限に向かうに従って、マゼンタから赤そして黄色となる。
【0068】
よって、RB成分の影響によって発生する色にじみは、ab色度図上ではおおよそ図6(a)の斜線部Fで表される領域(色にじみ発生領域)の色味となる。この領域Fは、色にじみによって変化するもので、必ずしも斜線で表される領域に限定されるものではなく、例えば、第3象限の一部の色相に対しても青にじみとして捉えてもよい。
【0069】
このab色度図においてB成分から色にじみ推定量EB”を除去すると、図6(b)に示す点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が色にじみ推定量EB”を除去した後の色度である。同様に、R成分から色にじみ推定量ER”を除去すると、図6(b)に示す実線矢印のように左下方向へ移動する。
【0070】
次に、補正手段152は制限領域を算出する(S24)。図7は、色度座標における制限領域を示す図である。まず、色にじみが軽減される前の入力カラー画像の注目画素がab色度図上で対応する点(第1の点)をP(a0,b0)とすると、点Pと原点Oを通る直線(第1の直線)をCとする。直線Cは次式で表現される。
【0071】
【数13】
【0072】
次に、点Pを通り直線Cと垂直に交わる直線(第2の直線)をC⊥とし、点Pから等距離d離れた直線C⊥上の2点であるQ1(a1,b1)とQ2(a2,b2)を通り、直線Cと平行な2つの直線(第3の直線)をそれぞれC//1、C//2とする。直線C⊥は次式で表現される。
【0073】
【数14】
【0074】
2つの直線C//1、C//2は、次式で表現されて直線Cから等距離にあり、直線Cは2つの平行な直線C//1、C//2に挟まれる。
【0075】
【数15】
【0076】
また、ab色度図において、R成分のみ除去した場合の色度変化の軌跡を表す直線(第5の直線)をLR、同様にB成分のみ除去した場合の色度変化の軌跡を表す直線(第5の直線)をLBとする。R、B成分をそれぞれ独立に除去した場合の色度変化方向は一定であり、これら2つ以上の直線(第5の直線)の傾きは数式7、数式8より、
LRの傾き=0.38
LBの傾き=−3.2
となる。直線LR、LBは点Pを通るので、次式が成立する。
【0077】
【数16】
【0078】
以上より、制限領域は、4つの直線であるC⊥、C//1、C//2、LR、LBおよびS10で用いた色にじみ発生領域Fを制限する直線で囲まれた領域(即ち、図7の斜線で囲まれた領域G)となる。
【0079】
即ち、制限領域は、まず、色にじみ発生領域Fにおいて、直線C⊥よりも原点側にある領域であって、かつ、2つの直線C//1、C//2で挟まれた領域であり、本実施例では、更に2つの直線LR、LBで挟まれた領域である。
【0080】
ここで、領域Fを形成する直線は、図7ではa=0の直線と第1象限にある直線Lの2つの直線であり、一般的には色相角度hを用いて次式で表される。
【0081】
【数17】
【0082】
距離dは大きくすると制限領域が広くなり大きな色相変化を許容することになる。反対に距離dを小さくすると最終的には制限領域は直線Cに一致し、彩度低減処理と同様になる。また、除去後の点が原点周辺であれば色相変化がある程度大きくとも彩度が低いため違和感が少ないが、原点から離れた点の場合は彩度が高いため色相変化が目立ち違和感が生じる。よって、距離dは大きな値では制限効果がなくなり好ましくない。また、彩度に応じて決定するのが好ましい。このため、距離dは0よりも大きく原点Oから点Pの距離の半分以下の値とするのが好適である。なお、本実施例では、点Pからの色相変化を等しくするために2つの直線C//1、C//2の直線Cからの距離を等しくしているが、数式18を満足する限り等距離でなくてもよい。
【0083】
【数18】
【0084】
次に、色にじみ推定量ER”、EB”が制限領域内に収まるように色にじみ推定量を補正する(S25)。即ち、制限範囲を超えた色にじみ推定量は制限範囲の輪郭の値で置き換える。ここで、S22までで算出された色にじみ推定量ER”、EB”を互いの関連を考慮せず別々に除去した場合を考える。この場合、個々には色にじみ推定量が大きくなりすぎないよう制限を行ったとしても、総合してみると色にじみ推定量を個別に除去した変化方向の合成方向への変化となって現れる。
【0085】
よって、個々の合成により、図8に示すように色にじみと考えられる色相領域を超えるほど除去してしまう場合がある。このように色にじみとする色相領域を超えるような場合、色相が反転してしまい紫にじみが緑になるなど見た目に違和感のある画像となる。また、色にじみ色相領域内であっても青紫にじみが赤にじみに変化してしまうことも発生する。
【0086】
このような変化を防ぐため、除去後の色度がS24で算出した領域内に納まるように、色にじみ推定量ER”、EB”の同倍率だけ縮小するなどして補正をし、最終的な色にじみ推定量ER’’’、EB’’’を得る。以上で補正手段152の処理が終了する。
【0087】
軽減手段153では、補正手段152で補正された色にじみ推定量ER’’’、EB’’’をそれぞれR、B成分の強度から差し引き、新たなR成分およびB成分の強度を次式のように定義する。
【0088】
【数19】
【0089】
このように、RB成分を修正したカラー画像を色にじみ軽減部150の出力として視覚補正部160に渡す。
【0090】
本実施例は結像光学系110から記録部180までを備えたカラー撮像装置について説明しているが、色にじみ軽減部150を除く一部或いは全部を別の装置として設け、本実施例を色にじみ軽減を行う画像処理装置を構成してもよい。この場合、本実施例と別体のカラー撮像装置で撮影され、半導体メモリ、磁気/光ディスクなとの記録媒体に格納されたカラー画像を画像処理装置で読み込み(入力)可能とするようにしてもよい。これは他の実施例にも当てはまる。
【0091】
本実施例によれば、2つ以上の色成分からなる色にじみを色相反転などの違和感のある結果を生じることなしに補正することができる。また、色にじみの対象となる色成分を切り換えることなしに様々な色にじみに対応することが可能となる。更には、大きな色相変化が発生しないように制限をかけるため、自然な色にじみ軽減画像を得ることができる。
【実施例2】
【0092】
実施例2の画像処理装置は、実施例1の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例1と同様に、RB成分を軽減対象とし、基準成分としてG成分を用いる。また、本実施例の色にじみ軽減部は、実施例1と同様に、推定手段、補正手段、軽減手段を有するが、補正手段152が行う領域算出(S24)が実施例1と異なる。
【0093】
本実施例の推定手段は、入力したカラー画像に対してR、B成分の色にじみ推定量ER、EBを推定する。なお、色にじみ量の推定方法は、実施例1の画像強度傾斜、特許文献1、2に記載された他の推定方法など特に限定されないが、入力されたカラー画像の各色成分の色にじみ推定量を推定する。
【0094】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ERおよびEBを用いて、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例1と同様に、図5に示す各ステップを実行するが、領域算出方法が異なる。本実施例の領域算出ステップでは、色にじみ推定量除去前後の色相変化がより少ないようにするために色相角度で領域を制限する。
【0095】
まず、入力カラー画像の注目画素をab色度図上で表した点P(a0,b0)の色相角度hを算出する。色相角度hは次式で算出する。
【0096】
【数20】
【0097】
色相制限角度をΔhとすると、原点Oを通り色相角度h±Δh上の直線をC+Δh、C−Δhとし、この2直線により色相を制限する。ここで直線C+Δh、C−Δhは次式で与えられ、直線Cを原点Oに関して等しい角度だけ回転することによって形成された直線(第4の直線)である。
【0098】
【数21】
【0099】
最終的に制限領域は、図9に示すように、2つの直線C+Δh、C−Δhと実施例1で示した直線LR、LBで囲まれた領域(図9において斜線で囲まれた領域G)となる。即ち、制限領域Gは、色にじみ発生領域Fにおいて、直線C⊥よりも原点側にある領域であって、かつ、2つの直線C+Δh、C−Δhに挟まれた領域であり、本実施例では更に2つの直線LR、LBで挟まれた領域である。
【0100】
ここで、2つの直線C+Δh、C−Δhと直線Cとがなす角の絶対値である色相制限角度Δhは0〜180度までの値を用いることができ、色相変化の許容を表すパラメータとして設定する値であるが、大きすぎる値では色相制限の効果がなくなる。このため、実際は90度よりも小さい角度、例えば、0度よりも大きく45度以下とする。更に、色にじみ軽減後の違和感のない色相を考慮すると、20〜30度前後が好適である。なお、本実施例では、点Pからの色相変化を等しくするために2つの直線C+Δh、C−Δhの直線Cからの原点周りの角度を等しくしているが、上記角度を満足する限り等角度でなくてもよい。
【0101】
S25に対応する補正量算出ステップでは、色にじみ推定量ER’、EB’が領域算出ステップで算出された領域内に納まるように補正を行う。
【0102】
軽減手段は、補正手段で補正された色にじみ推定量ER’、EB’をそれぞれR、B成分の強度から差し引き、このようにR、B成分を修正したカラー画像を視覚補正部に出力する。
【0103】
実施例2では、実施例1に比べより色相変化が少ないように制限領域を指定することで、色にじみの彩度を低下させることで自然な色にじみ軽減が可能となる。
【実施例3】
【0104】
実施例3の画像処理装置は、実施例1、2の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例1、2と同様に、RB成分を軽減対象とし、基準成分としてG成分を用いる。また、本実施例の色にじみ軽減部は、実施例2と同様に、推定手段、補正手段、軽減手段を有するが、補正手段152が行う領域算出(S24)が実施例2と異なる。推定手段と軽減手段は実施例2の者と同様であるので説明を省略する。
【0105】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ERおよびEBによる除去結果を合成した上で、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例2と同様に、図5に示す各ステップを実行するが、領域算出(S24)と補正量算出(S25)の間に変化方向算出ステップを更に有し、補正量算出(S25)の内容も実施例2と異なっている。
【0106】
まず、実施例2同様に、補正手段は、色度算出(S23)で注目画素(x,y)の色度を計算し、領域算出(S24)で色度座標上での制限領域を算出する。実施例2では、この領域内に限定した補正であれば良かったが、本実施例ではより厳しい制約を課している。
【0107】
即ち、補正手段は、推定手段で推定された色にじみ推定量ER、EBの除去前後の変化方向を算出し、その方向を変えずに補正を行う。これは、色にじみ推定量ER、EBは、推定手段において入力カラー画像の特性に基づいて算出されたものであるため、変化方向を保存することによって画像の特性を考慮した補正とするためである。
【0108】
図10は、色相角度変化を制限角度内に抑えることを説明するための色度図である。同図に示すように、変化方向算出ステップにおいて、色にじみ推定量を除去する前の点P(a0,b0)と除去後の点(第2の点)Q1(a1,b1)を結ぶ直線Ckが算出される。
【0109】
次に、補正手段は、補正量算出(S25)において、直線Ckと、原点を通る制限色相角度を表す直線C−Δhとの交点Q2(a2,b2)を算出する。ここで、原点Oを通る制限色相角度を表す直線は2つあるため交点も2つ存在するが(図10では、直線Ckと直線C+Δhの不図示の交点が存在する)色にじみを軽減する方向にある交点Q2(a2,b2)を選択する。
【0110】
次に、点P(a0,b0)から点Q1(a1,b1)までの距離d0と、点P(a0,b0)から交点Q2(a2,b2)までの距離d1の比rを算出する。この時、距離d0が距離d1より短い場合は色にじみ推定量を補正する必要がないため比rは次式のようにd1/d0になる。
【0111】
【数22】
【0112】
求めた比rを次式のように色にじみ推定量ER、EBの値に乗じることにより、色相制限角度を超えない新たな色にじみ推定量ER’、EB’が算出される。
【0113】
【数23】
【0114】
以上より、補正手段は、除去後の色度が制限領域内であった場合は補正を行わず、色度が制限領域外になる場合にのみ補正を行う。色度が制限領域を超える場合は、領域算出(S24)で算出された領域を制限する直線との交点までしか色度が変化しないように補正量が制限されることになる。
【0115】
本実施例では、各色の色にじみ補正量を色にじみ軽減後の合成方向を表す直線上に制限することで、補正後の画像を入力カラー画像の特性により適合させている。また、画像中のノイズ等の影響による色にじみ補正量の推定エラーがあった場合でも、色相領域制限によりエラーを抑制し安定した色にじみ軽減結果が得られる。
【実施例4】
【0116】
図11は、カラー画像に対して色にじみを軽減する実施例4の画像処理装置を有するカラー撮像装置400のブロック図である。カラー撮像装置400は、結像光学系410、色分解プリズム415、イメージセンサ420、AD変換部430、色にじみ軽減部450、視覚補正部460、圧縮部470、記録部480を有する。
【0117】
イメージセンサ420は実施例1と異なり3板式であり、それに伴い色分解プリズム415が追加され、実施例1に存在したデモザイク部140は不要となる。
【0118】
被写体からの光線は結像光学系410及び色分解プリズム415を経てイメージセンサ420上に結像する。色分解プリズムでは光の波長によって光線の進行方向が異なるためR、G、Bの波長域によって異なるイメージセンサ420に到達する。このため、イメージセンサ420はカラーフィルタを備えず、各々RGBの各色成分に対応する像を得る。
【0119】
結像光学系410は、実施例1と同様に、G波長域においてのみ色収差が良好に補正され、R波長域およびB波長域では色収差が残存するものとする。
【0120】
3板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施例ではそのような調整は考慮しない。このため、G成分に比してR、B成分の解像度が劣り、3つの色成分を合成したカラー画像においては実施例1と同様に紫の縁取りのようなアーティファクトが生じる。
【0121】
AD変換部430では三枚のイメージセンサからアナログ電圧として出力されるRGB各色成分の画像を、以降の画像処理に適するデジタルデータへと変換する。
【0122】
色変換部435では色表現をRGBからYUVに変換する。これにはマトリクス演算が用いられ、次式のように、Y、U、Vの3つの成分が得られる。このY成分は輝度を、U成分は青みを、V成分は赤みを示す。
【0123】
【数24】
【0124】
色にじみ軽減部450では画像処理により入力カラー画像よりこのアーティファクトを除去する。色にじみ軽減部450は、後述するように、推定手段451、補正手段452、軽減手段453を有し、U、V成分を除去対象とし、基準成分としてY成分を用いる。視覚補正部460、圧縮部470、記録部480は実施例1の視覚補正部160、圧縮部170、記録部180と同様である。
【0125】
図12は、推定手段451の動作を説明するためのフローチャートであり、「S」はステップの略である。
【0126】
まず、推定手段451は、実施例1の色相判定151aと同様の処理を行い(S14)、
次に、飽和画素からの距離を算出する(S15)。
【0127】
ここで、距離を算出する理由を説明する。色にじみは図2(a)の典型的なプロファイルに示したように、高輝度被写体周辺に発生する。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。つまり、高輝度被写体を探索し、そこからの距離に応じて色にじみ量を推定することができる。
【0128】
高輝度被写体の探索は輝度を表すY成分が飽和しているか否かで行うことができ、探索された飽和画素からの距離に応じてU、V成分のにじみ量を推定することが可能となる。従って、S15では、Y成分の強度が閾値(Y≧0.8)以上となる飽和画素から色にじみ画素までの距離dYを画素幅単位で算出する。
【0129】
例えば、図13に示すように、左上の領域(斜線部分)が飽和画素だとすれば、距離は各画素に記した数値のようになる。ここで飽和画素内は距離0とする。
【0130】
Y成分強度の閾値としては、AD変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド(quansi−Euclidean)距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は0、非飽和画素は正値となる。
【0131】
次に、推定手段451は、飽和画素からの距離が閾値以内の画素であるかの判定を行う(S16)。ここで、閾値は色にじみの広がりによって決定されるもので、結像光学系やイメージセンサの画素ピッチ、または被写体の輝度によって左右される。このため、結像光学系やイメージセンサの特性に応じて決定してもよいし、様々な結像光学系やイメージセンサに対応できるよう閾値を大きい値に設定しておいてもよいし、隣接する飽和画素の面積に応じてその周囲の距離閾値を可変にするのもよい。
【0132】
次に、推定手段451は、S16で色にじみと判定された画素に対して色にじみとなっている余分なU、V成分の強度を推定する(S17)。前述のように、軽減すべきU、V成分の画像強度はY成分の飽和画素からの距離によって算出することができる。よって色にじみ推定量EU、EVを次式のように算出し、補正手段452に渡す。
【0133】
【数25】
【0134】
kU0、kU1、kV0、kV1は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から色にじみ量を近似するのに好適な値を求めるのが望ましい。厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置やはてまたレンズ交換といった状態や像高によって変化するため、これらに従い定数kU0、kU1、kV0、kV1を変えてもよい。或いは、後述の補正手段452の存在を考慮し、結像光学系の特性変化に対応できるように、過大な色にじみ量を推定する定数を設定してもよい。結果として、色にじみ量を近似するのに好適な値より過大な色にじみ量を推定する定数を設定するのが好適である。
【0135】
次に、補正手段452は、推定手段451で算出された色にじみ推定量EUおよびEVに対して相互関係を考慮して補正を行い、U、V成分において実際に除去する色にじみ推定量EU’、EV’を決める。補正手段452は、UV色度図を使用する。
【0136】
図14(a)は、UV色度図の一例を示している。青色はU>0、赤色はV>0の領域となる。U、V成分から色にじみ推定量EU、EVを除去すると、点線矢印のように左方向から下方向の範囲で移動する。この向きは色にじみ推定量EU、EVの比率で変化する。矢印の始点が除去前の色度であり、先端が色にじみ推定量EU、EV除去後の色度である。ここで、U≦0の画素では青味が少ないのでEU’=0とし、EVによって赤味のみを除去する。
【0137】
このとき、EVによってV成分が負の値になるのを防ぐため次式のように設定する。
【0138】
【数26】
【0139】
同様に、V≦0の画素では赤味が少ないのでEV’=0とし、EUは次式のように設定して青味のみを除去する。
【0140】
【数27】
【0141】
U>0かつV>0の画素に対しては、色相角度hを算出し、色相角度によって色にじみ推定量EU、EVの割合を変化させ、除去後の値が原点方向に向かうようにする。例えば、色相角度hがU=0を基準としたとき45度であれば、色にじみ推定量EU、EVの割合は1:1になるように制限される。同様に、30度であればEU:EV=√3:1の割合とする。よって補正後の色にじみ推定量EU’、EV’は0°<h<45°のときは次式のようになる。
【0142】
【数28】
【0143】
また、45°<h<90°のときは次式のようになる。
【0144】
【数29】
【0145】
これにより、色相を変化させることなしに青味および赤味を軽減することができる。しかし、色にじみ推定量が大きいと除去後の値が第1象限から外れ、第3象限にいってしまい色相反転が発生する。
【0146】
そこで、U≧0かつV≧0に納まるような大きさにEU’、EV’を補正する必要がある。制限方法としては実施例1、2と同様の色相角度および色相制限角度を用いるのが有効である。
【0147】
具体的には、図14(b)に示すように、色相角度hが0°<h<45°の時は、h−Δhの直線かV=0の直線との交点のうち除去前の座標から近いほうの交点までの距離をEUとして式を計算し、色にじみ推定量EU’およびEV’を算出する。
【0148】
同様に、色相角度hが45°<h<90°の時は、h+Δhの直線かU=0の直線との交点のうち除去前の座標から近いほうの交点までの距離をEVとして式を計算し、色にじみ推定量EU’およびEV’を算出する。
【0149】
これにより、除去前の値が第1象限にある画素の場合も、除去後にU≧0かつV≧0に納まる大きさの色にじみ推定量EU’、EV’を算出することができる。
【0150】
このEU’、EV’の除去による色度変化は図14(a)に実線矢印で記したように、各象限内で留まるようになる。第2象限ではVのみが変化し、第4象限ではUのみが変化、第3象限では無変化となる。これは、R、Bの強度が輝度Yを下回って減少することはなく、また、元々Yの下にあるR、Bは変化しないことを表している。
【0151】
以上のように補正された色にじみ推定量EU’、EV’を最終的な色にじみ推定量として軽減手段453に渡す。軽減手段453では、補正手段452で補正された色にじみ推定量EU’、EV’をU、V成分の強度から差し引き、新たなU、V成分の強度を設定する。
【0152】
【数30】
【0153】
このようにU、V成分を修正したカラー画像を本色にじみ軽減部の出力として視覚補正部460に渡す。
【0154】
本実施例においては、Y成分にB成分やR成分のにじみが混入するため、白く残るにじみの量はG成分を基準成分とした場合に比べやや大きくなるが、主な計算を高い精度が不要なU、V成分において行うことで処理装置のコストを抑えることができる。
【0155】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施例ではR、B成分によって生じる色にじみを軽減しているがG成分によって生じる色にじみを更に軽減してもよい。
【産業上の利用可能性】
【0156】
画像処理装置は画像処理の用途に適用することができる。
【符号の説明】
【0157】
151、451…推定手段、152、452…補正手段、153、453…軽減手段
【技術分野】
【0001】
本発明は、カラー画像に対して色にじみを軽減する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。色にじみは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーティファクトがにじみ状に生じ、色にじみやパープルフリンジと呼ばれる。近年、アーティファクトを低減する画像処理方法が提案されている。
【0003】
例えば、特許文献1、2は、色にじみの色成分ごとに空間演算を行うことで色にじみ領域および色にじみ強度を算出し、色成分ごとのにじみ推定量を入力カラー画像から減算することにより色にじみを軽減する画像処理方法を提案している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−147980号公報
【特許文献2】特開2008−147981号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1、2に記載されている画像処理方法では、色にじみ成分が2成分以上になると、異なる色のにじみに変化したり、色相反転が発生したりするなど、色味が不自然な画像となる。色にじみ成分毎に個別に色相反転が生じないように除去量を制限しているが、カラー画像として合成された際に除去量が合成されて過剰な除去となって色相反転は発生する。また、異なる色のにじみを防止するためには、補正対象となる色成分を切り換える必要があり、その情報がなければ補正できないという問題がある。特に、特許文献1に開示された色成分毎の隣接画素間の画像強度傾斜によって色にじみの補正量を推定する推定手段を使用する場合には推定精度が必ずしも高くないために、上記の問題が発生し易い。
【0006】
本発明は、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置は、カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、を有し、前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線から前記原点と前記第1の点との距離の半分以下の距離だけ離れた前記第1の直線と平行な2つの第3の直線または前記原点を通り、前記第1の直線となす角度の絶対値が45度以下である2つの第4の直線に挟まれた領域に挟まれた領域であることを特徴とする。
【発明の効果】
【0008】
本発明によれば、色にじみが軽減された画像の色味が自然となるようにすることが可能な画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の撮像装置のブロック図である。(実施例1)
【図2】図2(a)は、高輝度な被写体に対するR成分、B成分及びG成分の典型的なプロファイルを示す図であり、図2(b)は非線形変換の特性を示す図である。(実施例1)
【図3】図1に示す色にじみ軽減部の全体の動作を説明するためのフローチャートである。(実施例1)
【図4】図1に示す推定手段の動作を説明するためのフローチャートである。(実施例1)
【図5】図1に示す補正手段の動作を説明するためのフローチャートである。(実施例1)
【図6】ab色度図の図である。(実施例1)
【図7】ab色度図における制限領域を示す図である。(実施例1)
【図8】R成分とB成分を同時に補正した場合の色度座標上の変化方向を示す図である。(実施例1)
【図9】色度座標において色相角度で制限する領域の算出を説明するための図である。(実施例2)
【図10】色度座標において色相角度変化を制限角度内に抑える補正量算出ステップを説明する図である。(実施例3)
【図11】本発明の撮像装置のブロック図である。(実施例4)
【図12】図11に示す推定手段の動作を説明するためのフローチャートである。(実施例4)
【図13】飽和画素から周囲の各画素までの距離を示す図である。(実施例4)
【図14】色度図の図である。(実施例4)
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明の実施例について説明する。
【実施例1】
【0011】
図1は、カラー画像に対して色にじみを軽減する実施例1の画像処理装置を有する撮像装置100のブロック図である。撮像装置100は、結像光学系110、イメージセンサ(撮像素子)120、AD変換部130、デモザイク部140、色にじみ軽減部150、視覚補正部160、圧縮部170、記録部180を有する。
【0012】
図1において、写野(被写体)fは、結像光学系110を経てイメージセンサ120上に結像する。本実施例の結像光学系110は全ての波長域においてある程度の色収差が補正されているが、特にG波長域での色収差が良好に補正されており、他波長ではG波長域より色収差が残存している。色収差の補正基準を下げることにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【0013】
イメージセンサ120は、被写体像を光電変換し、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサとする。原色カラーフィルタ系は、特許文献1の図4に示すように、各々650nm、550nm、450nm近傍に透過主波長帯を持つ3種類の色フィルタからなり、各々R、G、Bの各バンドに対応する色成分を撮影する。単板カラーイメージセンサでは、この色フィルタは、特許文献1の図5に示すように、画素毎に空間的に配列し、各画素に対しては各々単一の色成分における強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。或いは、色分解プリズムを用いてR、G、Bの波長域に分け、それぞれ異なるイメージセンサで結像する3板式カラーイメージセンサを用いてもよい。この場合、デモザイク部140は不要となる。
【0014】
AD変換部130では、イメージセンサからからアナログ電圧として出力される色モザイク画像を画像処理に適するデジタルデータへと変換する。
【0015】
デモザイク部140では、色モザイク画像を補間することによって、全ての画素においてRGBの色情報が揃ったカラー画像を生成する。なお、補間手法は限定されない。生成されたカラー画像は結像光学系110の色収差によって、G成分に比してRやB成分の解像度が劣る画像となる。
【0016】
このため明暗の境界部では、特許文献1の図6に示すように、赤や青がぼやけ、明部の周囲に赤や青、両者が混じった紫の縁取りのようなアーティファクトが生じる。ここで、結像光学系の特性及び画像中の光源の分光分布等によりR、Bのにじみの程度が異なる。なお、イメージセンサ120が補色系カラーフィルタの場合でも、色変換処理によって同様にR、G、Bの色成分からなるカラー画像が得られる。
【0017】
色にじみ軽減部150は、後述するように、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する画像処理装置を構成する。
【0018】
次に、視覚補正部160により、主として画像の見栄えを改善するための処理(例えば、トーンカーブ(ガンマ)補正、彩度強調、色相補正、エッジ強調)がカラー画像に対して行われる。
【0019】
次に、圧縮部170が、補正されたカラー画像をJPEG等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【0020】
これらイメージセンサ120から記録部180は実際には別体のデバイスとは限らず、単一のマイクロプロセッサ(マイクロコンピュータ)が複数の部に係る処理を行うこともある。圧縮処理が行われたデジタル画像信号は、記録部180にてフラッシュメモリ等の記録媒体に記録される。
【0021】
図2(a)は、高輝度な被写体に対するR、G及びB成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はR、G及びB成分の強度である。図2(a)では中央部に飽和レベルを超える高輝度被写体が存在する。そして、本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体からにじんだ光によって、プロファイルの裾が拡がる。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。
【0022】
特許文献1に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくR、G、B成分が飽和し、白く飽和した領域ができる。R成分とB成分はほぼ同じプロファイルとする。この先、G成分は減衰していくがR及びB成分の飽和半径は更に広いため、徐々にG成分とR及びB成分の画像強度差は大きくなり、マゼンタとなり色味を増していく。
【0023】
しかし、飽和半径に達するとR、B成分も減衰を始め、この先ではG成分とR、B成分の画像強度差は小さくなっていき、紫のにじみとなっていく。あるところで、G成分の裾の端に達すると、その先はR、B成分のみが強度を持ち、より彩度の高い紫のにじみへと変化していく。
【0024】
このマゼンタや紫のにじみ本来存在しない色にじみであり、輝度飽和領域周辺の色として不自然なものとなる。本実施例は、このようなR、B成分によって発生する、本来は存在しない紫のにじみ、あるいは赤にじみ、青にじみを軽減対象の色にじみとする。これらの不自然な色にじみを色にじみ軽減部150で軽減し自然な色味に補正する。
【0025】
図3は、色にじみ軽減部150による画像処理のフローチャートであり、「S」はステップの略である。図3に示すフローチャートは、コンピュータを各ステップ(手段)として機能させるためのプログラムとして具現化可能であり、これは後述する他のフローチャートにも当てはまる。
【0026】
色にじみ軽減部150は、推定手段151、補正手段152、軽減手段153を有し、R成分、B成分を軽減対象とし、基準成分としてG成分を用いる。
【0027】
図3に示すように、色にじみ軽減部150は、入力画像においてある座標(x,y)=(0,0)の画素を注目画素として画像処理を開始する(S2)。そして、その画素に対して、推定手段151による推定処理(S10)、色にじみ判定(S4)、補正手段153による補正処理(S20)、軽減手段153による軽減処理(S30)が行われる。続いて、x、yを最大値までインクリメントして(S6、s8)出力画像を出力する。なお、以下の説明では色にじみ判定S4を補正処理S20の一部(S21)としているが、推定処理S10の一部でもよいし、図3に示すように、両者から独立していてもよい。
【0028】
図4は、色にじみ軽減部150の推定手段151の動作を説明するためのフローチャートであり、「S」はステップの略である。
【0029】
図4を参照すると、推定手段151では、まず、注目画素(x,y)が色にじみ画素かどうか、具体的には、注目画素の色相(赤や黄などの色味の違い)を算出し、色相が色にじみと考えられる色相であるかどうかの簡易的な判定を行う(S11)。
【0030】
ここで、「色にじみと判定する色相」は、2つの色相角度hmin、hmaxで指定する。注目画素の色相角度をhとすると、次式を満足すれば色にじみと考えられる色相であると判定する。例えば、赤(0°)、黄(60°)、緑(120°)、水色(180°)、青(240°)、紫(300°)において、本来存在しない紫の色相角度にhmin、hmaxを設定する。
【0031】
【数1】
【0032】
更に、色にじみ画素の判定として、注目画素(x,y)において基準となるG成分の画像強度に注目し、飽和していると考えられる場合は色にじみ領域ではないと判定する。これは、高輝度被写体において基準となる色成分が飽和していれば、他の色成分も飽和している可能性が高いため色にじみが発生しないと考えられるためである。ここで飽和とは、画像強度を0〜1の値を持つとすると閾値を0.9程度にし、閾値以上の強度を持つ場合とする。
【0033】
S11で色にじみ画素でないと判定されれば、注目画素の色にじみ推定量ER、EBを0として処理を終了して次の画素へと進む。
【0034】
S11で色にじみと判定された画素に対してRGB各色成分に対する信号強度の傾き(画像強度傾斜)を算出する(S12)。飽和輝度周辺においては、画像の色成分毎に減衰に着目してみるとG成分の減衰が収束しているが、R、B成分の減衰が収束していないことでにじみが発生する。
【0035】
減衰が収束している場合は強度傾斜が小さく、減衰が収束していない場合は強度傾斜が大きくなるため、減衰が収束しているかどうかは、色成分毎の画像強度傾斜でおおよそ判断することができる。このように、色にじみ領域の特定および色にじみ量の推定には画像強度および画像強度傾斜が有益であるため、推定手段151は隣接画素間の色成分毎の信号強度の傾き(勾配)を用いて色にじみ量を画素ごとに(領域ごとに)推定する。なお、従来技術に記載された他の方法を利用して推定してもよい。
【0036】
各色成分の画像強度傾斜をそれぞれ∇R、∇G、∇Bとすると、∇R、∇G、∇Bは次式で与えられる。
【0037】
【数2】
【0038】
ここで、R(x+1,y)、G(x+1,y)、B(x+1,y)は、R、G、B成分における注目画素右隣の画素値、R(x−1,y)、G(x−1,y)、B(x−1,y)は、RGB成分における注目画素左隣の画素値とする。また、R(x,y+1)、G(x,y+1)、B(x,y+1)は、R、G、B成分における注目画素下隣の画素値、R(x,y−1)、G(x,y−1)、B(x,y−1)は、R、G、B成分における注目画素上隣の画素値とする。また、画像強度傾斜の演算にあたって算出範囲をより大きくしたり、斜め画素も使うなど他の方法でも良いが、演算量の観点や効果の観点からも前述の画像強度傾斜の算出方法が好適である。
【0039】
次に、RGB成分の画像強度傾斜∇R、∇G、∇Bの絶対値に係数kR、kG、kBを乗じて、次式に示すように、色にじみ推定量ER、EG、EBを算出する(S13)。
【0040】
【数3】
【0041】
ここで、係数kR、kG、kBは正値であり、3前後が好適である。RB成分が飽和している領域では画像強度傾斜が0になり、飽和していない場合の画像強度傾斜を得ることができない。そこで、そのような領域に対する画像強度傾斜をG成分の画像強度傾斜により算出する。このため、数式3では色にじみ推定量EGを算出している。この色にじみ推定量EGは以降の補正手段152で使用する。
【0042】
以上で色にじみ画素における色にじみ推定量ER、EBが算出され、推定手段151の推定処理S10が終了し補正手段152の処理へ移る。
【0043】
図5は、色にじみ軽減部150の補正手段152の動作を説明するためのフローチャートであり、「S」はステップの略である。補正手段152は、推定手段151で算出された色にじみ推定量ERおよびEBを用いて、色にじみ軽減後の色が自然な色になるように各色にじみ推定量の補正を行う。
【0044】
図5を参照すると、補正手段152は、まず、色にじみ領域をS11で算出した画像強度傾斜を用いて、基準色成分(G成分)と色にじみ色成分の画像強度傾斜の比を用いて色にじみ判定を行う(S21)。
【0045】
色にじみ判定では、色にじみ領域を信号強度の傾きで判断し、傾き量がある値以上の場合は色にじみであると判定する。この際にR、Bの信号強度の傾きのみではなく、基準成分であるGの信号強度の傾きも算出して比較することにより、より正確に色にじみ領域を特定することができる。例えば、Gの信号強度の傾きに対してR、Bの信号強度の傾きが大きい場合、色にじみである可能性が高いと判断する。本実施例の推定方法は計算が単純であるものの誤差が生じやすいため、推定手段による推定量は後述するように補正する必要がある。
【0046】
色にじみでないと判定された場合は、推定手段151で求めた色にじみ推定量を0とする。なお、色にじみの判定は推定手段151が行ってもよい。
【0047】
R成分のG成分に対する画像強度傾斜の比の閾値をαRGとすると、補正された色にじみ推定量ER’は次式で表すことができる。
【0048】
【数4】
【0049】
B成分についても同様に次式で表すことができる。
【0050】
【数5】
【0051】
ここで、画像強度傾斜の比の閾値αRG、αBGは結像光学系の特性などに依存するが、2前後が好適である。
【0052】
次に、補正手段152はR成分の強度に対する非線形変換を行い、飽和度SRを生成する(S22)。この非線形変換はR成分が飽和しているかどうかを示すものであり、R成分の強度が飽和している領域では1を、R成分の強度が飽和していない場合は0となる。このように飽和度SRは0/1の2値でもよいが、図2(b)に示すように、0〜1にかけて連続的に変化する値としてもよい。この場合、飽和度SRは次式で表すことができる。
【0053】
【数6】
【0054】
飽和度SRによって算出した色にじみ推定量ER又はEGを選択する。すなわち、飽和度SRが0/1の2値であれば新たな色にじみ推定量ER”を次式のように定義する。
【0055】
【数7】
【0056】
また、飽和度SRが0〜1にかけて連続的に変化する値であれば、新たな推定量ER”を次式のように定義する。
【0057】
【数8】
【0058】
同様にB成分の色にじみ推定量EB”は、飽和度をSBとすると次式のように定義する。
【0059】
【数9】
【0060】
もしくは、SBが0〜1にかけて連続的に変化する値であれば次式のように定義する。
【0061】
【数10】
【0062】
これにより、S21において色にじみと判定されてもRB成分が飽和しており、色にじみと判定されなかった画素も補正対象とすることになる。
【0063】
次に、補正手段152は注目画素(x,y)の色度およびS22において補正された色にじみ推定量ER”、EB”を各色成分から減算した値による色度を計算する(S23)。色度は色相と彩度を合わせた情報を有する。まず、色度算出はR、G、Bの各成分の強度に対し、特許文献2の数式1、2にあるように行う。
【0064】
【数11】
【0065】
数式11の係数は、RGB座標をxyz表色系に変換するためのディスプレイ用の一般的な係数である。また、xyz表色系から簡略化したLab表色系への変換には次式を用いる。ここでは計算コストを減らすために簡略化したLab表色系を用いているが、より人間の感覚と一致させるため簡略化しない本来のLab表色系でもよい。
【0066】
【数12】
【0067】
ここで、このab色度図およびab色度図とR、B成分の対応を説明する。ab色度図を図6(a)に示す。同図において、青色は第4象限にあり、第1象限に向かうに従って赤味を増して紫、マゼンタになっていく。第1象限は、第2象限に向かうに従って、マゼンタから赤そして黄色となる。
【0068】
よって、RB成分の影響によって発生する色にじみは、ab色度図上ではおおよそ図6(a)の斜線部Fで表される領域(色にじみ発生領域)の色味となる。この領域Fは、色にじみによって変化するもので、必ずしも斜線で表される領域に限定されるものではなく、例えば、第3象限の一部の色相に対しても青にじみとして捉えてもよい。
【0069】
このab色度図においてB成分から色にじみ推定量EB”を除去すると、図6(b)に示す点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が色にじみ推定量EB”を除去した後の色度である。同様に、R成分から色にじみ推定量ER”を除去すると、図6(b)に示す実線矢印のように左下方向へ移動する。
【0070】
次に、補正手段152は制限領域を算出する(S24)。図7は、色度座標における制限領域を示す図である。まず、色にじみが軽減される前の入力カラー画像の注目画素がab色度図上で対応する点(第1の点)をP(a0,b0)とすると、点Pと原点Oを通る直線(第1の直線)をCとする。直線Cは次式で表現される。
【0071】
【数13】
【0072】
次に、点Pを通り直線Cと垂直に交わる直線(第2の直線)をC⊥とし、点Pから等距離d離れた直線C⊥上の2点であるQ1(a1,b1)とQ2(a2,b2)を通り、直線Cと平行な2つの直線(第3の直線)をそれぞれC//1、C//2とする。直線C⊥は次式で表現される。
【0073】
【数14】
【0074】
2つの直線C//1、C//2は、次式で表現されて直線Cから等距離にあり、直線Cは2つの平行な直線C//1、C//2に挟まれる。
【0075】
【数15】
【0076】
また、ab色度図において、R成分のみ除去した場合の色度変化の軌跡を表す直線(第5の直線)をLR、同様にB成分のみ除去した場合の色度変化の軌跡を表す直線(第5の直線)をLBとする。R、B成分をそれぞれ独立に除去した場合の色度変化方向は一定であり、これら2つ以上の直線(第5の直線)の傾きは数式7、数式8より、
LRの傾き=0.38
LBの傾き=−3.2
となる。直線LR、LBは点Pを通るので、次式が成立する。
【0077】
【数16】
【0078】
以上より、制限領域は、4つの直線であるC⊥、C//1、C//2、LR、LBおよびS10で用いた色にじみ発生領域Fを制限する直線で囲まれた領域(即ち、図7の斜線で囲まれた領域G)となる。
【0079】
即ち、制限領域は、まず、色にじみ発生領域Fにおいて、直線C⊥よりも原点側にある領域であって、かつ、2つの直線C//1、C//2で挟まれた領域であり、本実施例では、更に2つの直線LR、LBで挟まれた領域である。
【0080】
ここで、領域Fを形成する直線は、図7ではa=0の直線と第1象限にある直線Lの2つの直線であり、一般的には色相角度hを用いて次式で表される。
【0081】
【数17】
【0082】
距離dは大きくすると制限領域が広くなり大きな色相変化を許容することになる。反対に距離dを小さくすると最終的には制限領域は直線Cに一致し、彩度低減処理と同様になる。また、除去後の点が原点周辺であれば色相変化がある程度大きくとも彩度が低いため違和感が少ないが、原点から離れた点の場合は彩度が高いため色相変化が目立ち違和感が生じる。よって、距離dは大きな値では制限効果がなくなり好ましくない。また、彩度に応じて決定するのが好ましい。このため、距離dは0よりも大きく原点Oから点Pの距離の半分以下の値とするのが好適である。なお、本実施例では、点Pからの色相変化を等しくするために2つの直線C//1、C//2の直線Cからの距離を等しくしているが、数式18を満足する限り等距離でなくてもよい。
【0083】
【数18】
【0084】
次に、色にじみ推定量ER”、EB”が制限領域内に収まるように色にじみ推定量を補正する(S25)。即ち、制限範囲を超えた色にじみ推定量は制限範囲の輪郭の値で置き換える。ここで、S22までで算出された色にじみ推定量ER”、EB”を互いの関連を考慮せず別々に除去した場合を考える。この場合、個々には色にじみ推定量が大きくなりすぎないよう制限を行ったとしても、総合してみると色にじみ推定量を個別に除去した変化方向の合成方向への変化となって現れる。
【0085】
よって、個々の合成により、図8に示すように色にじみと考えられる色相領域を超えるほど除去してしまう場合がある。このように色にじみとする色相領域を超えるような場合、色相が反転してしまい紫にじみが緑になるなど見た目に違和感のある画像となる。また、色にじみ色相領域内であっても青紫にじみが赤にじみに変化してしまうことも発生する。
【0086】
このような変化を防ぐため、除去後の色度がS24で算出した領域内に納まるように、色にじみ推定量ER”、EB”の同倍率だけ縮小するなどして補正をし、最終的な色にじみ推定量ER’’’、EB’’’を得る。以上で補正手段152の処理が終了する。
【0087】
軽減手段153では、補正手段152で補正された色にじみ推定量ER’’’、EB’’’をそれぞれR、B成分の強度から差し引き、新たなR成分およびB成分の強度を次式のように定義する。
【0088】
【数19】
【0089】
このように、RB成分を修正したカラー画像を色にじみ軽減部150の出力として視覚補正部160に渡す。
【0090】
本実施例は結像光学系110から記録部180までを備えたカラー撮像装置について説明しているが、色にじみ軽減部150を除く一部或いは全部を別の装置として設け、本実施例を色にじみ軽減を行う画像処理装置を構成してもよい。この場合、本実施例と別体のカラー撮像装置で撮影され、半導体メモリ、磁気/光ディスクなとの記録媒体に格納されたカラー画像を画像処理装置で読み込み(入力)可能とするようにしてもよい。これは他の実施例にも当てはまる。
【0091】
本実施例によれば、2つ以上の色成分からなる色にじみを色相反転などの違和感のある結果を生じることなしに補正することができる。また、色にじみの対象となる色成分を切り換えることなしに様々な色にじみに対応することが可能となる。更には、大きな色相変化が発生しないように制限をかけるため、自然な色にじみ軽減画像を得ることができる。
【実施例2】
【0092】
実施例2の画像処理装置は、実施例1の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例1と同様に、RB成分を軽減対象とし、基準成分としてG成分を用いる。また、本実施例の色にじみ軽減部は、実施例1と同様に、推定手段、補正手段、軽減手段を有するが、補正手段152が行う領域算出(S24)が実施例1と異なる。
【0093】
本実施例の推定手段は、入力したカラー画像に対してR、B成分の色にじみ推定量ER、EBを推定する。なお、色にじみ量の推定方法は、実施例1の画像強度傾斜、特許文献1、2に記載された他の推定方法など特に限定されないが、入力されたカラー画像の各色成分の色にじみ推定量を推定する。
【0094】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ERおよびEBを用いて、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例1と同様に、図5に示す各ステップを実行するが、領域算出方法が異なる。本実施例の領域算出ステップでは、色にじみ推定量除去前後の色相変化がより少ないようにするために色相角度で領域を制限する。
【0095】
まず、入力カラー画像の注目画素をab色度図上で表した点P(a0,b0)の色相角度hを算出する。色相角度hは次式で算出する。
【0096】
【数20】
【0097】
色相制限角度をΔhとすると、原点Oを通り色相角度h±Δh上の直線をC+Δh、C−Δhとし、この2直線により色相を制限する。ここで直線C+Δh、C−Δhは次式で与えられ、直線Cを原点Oに関して等しい角度だけ回転することによって形成された直線(第4の直線)である。
【0098】
【数21】
【0099】
最終的に制限領域は、図9に示すように、2つの直線C+Δh、C−Δhと実施例1で示した直線LR、LBで囲まれた領域(図9において斜線で囲まれた領域G)となる。即ち、制限領域Gは、色にじみ発生領域Fにおいて、直線C⊥よりも原点側にある領域であって、かつ、2つの直線C+Δh、C−Δhに挟まれた領域であり、本実施例では更に2つの直線LR、LBで挟まれた領域である。
【0100】
ここで、2つの直線C+Δh、C−Δhと直線Cとがなす角の絶対値である色相制限角度Δhは0〜180度までの値を用いることができ、色相変化の許容を表すパラメータとして設定する値であるが、大きすぎる値では色相制限の効果がなくなる。このため、実際は90度よりも小さい角度、例えば、0度よりも大きく45度以下とする。更に、色にじみ軽減後の違和感のない色相を考慮すると、20〜30度前後が好適である。なお、本実施例では、点Pからの色相変化を等しくするために2つの直線C+Δh、C−Δhの直線Cからの原点周りの角度を等しくしているが、上記角度を満足する限り等角度でなくてもよい。
【0101】
S25に対応する補正量算出ステップでは、色にじみ推定量ER’、EB’が領域算出ステップで算出された領域内に納まるように補正を行う。
【0102】
軽減手段は、補正手段で補正された色にじみ推定量ER’、EB’をそれぞれR、B成分の強度から差し引き、このようにR、B成分を修正したカラー画像を視覚補正部に出力する。
【0103】
実施例2では、実施例1に比べより色相変化が少ないように制限領域を指定することで、色にじみの彩度を低下させることで自然な色にじみ軽減が可能となる。
【実施例3】
【0104】
実施例3の画像処理装置は、実施例1、2の画像処理装置と同様の構成をとるが、色にじみ軽減部が異なる。本実施例の色にじみ軽減部は、実施例1、2と同様に、RB成分を軽減対象とし、基準成分としてG成分を用いる。また、本実施例の色にじみ軽減部は、実施例2と同様に、推定手段、補正手段、軽減手段を有するが、補正手段152が行う領域算出(S24)が実施例2と異なる。推定手段と軽減手段は実施例2の者と同様であるので説明を省略する。
【0105】
本実施例の補正手段は、推定手段で算出された色にじみ推定量ERおよびEBによる除去結果を合成した上で、色にじみ軽減後の色が違和感のない色になるように各色にじみ推定量の補正を行う。補正手段は、実施例2と同様に、図5に示す各ステップを実行するが、領域算出(S24)と補正量算出(S25)の間に変化方向算出ステップを更に有し、補正量算出(S25)の内容も実施例2と異なっている。
【0106】
まず、実施例2同様に、補正手段は、色度算出(S23)で注目画素(x,y)の色度を計算し、領域算出(S24)で色度座標上での制限領域を算出する。実施例2では、この領域内に限定した補正であれば良かったが、本実施例ではより厳しい制約を課している。
【0107】
即ち、補正手段は、推定手段で推定された色にじみ推定量ER、EBの除去前後の変化方向を算出し、その方向を変えずに補正を行う。これは、色にじみ推定量ER、EBは、推定手段において入力カラー画像の特性に基づいて算出されたものであるため、変化方向を保存することによって画像の特性を考慮した補正とするためである。
【0108】
図10は、色相角度変化を制限角度内に抑えることを説明するための色度図である。同図に示すように、変化方向算出ステップにおいて、色にじみ推定量を除去する前の点P(a0,b0)と除去後の点(第2の点)Q1(a1,b1)を結ぶ直線Ckが算出される。
【0109】
次に、補正手段は、補正量算出(S25)において、直線Ckと、原点を通る制限色相角度を表す直線C−Δhとの交点Q2(a2,b2)を算出する。ここで、原点Oを通る制限色相角度を表す直線は2つあるため交点も2つ存在するが(図10では、直線Ckと直線C+Δhの不図示の交点が存在する)色にじみを軽減する方向にある交点Q2(a2,b2)を選択する。
【0110】
次に、点P(a0,b0)から点Q1(a1,b1)までの距離d0と、点P(a0,b0)から交点Q2(a2,b2)までの距離d1の比rを算出する。この時、距離d0が距離d1より短い場合は色にじみ推定量を補正する必要がないため比rは次式のようにd1/d0になる。
【0111】
【数22】
【0112】
求めた比rを次式のように色にじみ推定量ER、EBの値に乗じることにより、色相制限角度を超えない新たな色にじみ推定量ER’、EB’が算出される。
【0113】
【数23】
【0114】
以上より、補正手段は、除去後の色度が制限領域内であった場合は補正を行わず、色度が制限領域外になる場合にのみ補正を行う。色度が制限領域を超える場合は、領域算出(S24)で算出された領域を制限する直線との交点までしか色度が変化しないように補正量が制限されることになる。
【0115】
本実施例では、各色の色にじみ補正量を色にじみ軽減後の合成方向を表す直線上に制限することで、補正後の画像を入力カラー画像の特性により適合させている。また、画像中のノイズ等の影響による色にじみ補正量の推定エラーがあった場合でも、色相領域制限によりエラーを抑制し安定した色にじみ軽減結果が得られる。
【実施例4】
【0116】
図11は、カラー画像に対して色にじみを軽減する実施例4の画像処理装置を有するカラー撮像装置400のブロック図である。カラー撮像装置400は、結像光学系410、色分解プリズム415、イメージセンサ420、AD変換部430、色にじみ軽減部450、視覚補正部460、圧縮部470、記録部480を有する。
【0117】
イメージセンサ420は実施例1と異なり3板式であり、それに伴い色分解プリズム415が追加され、実施例1に存在したデモザイク部140は不要となる。
【0118】
被写体からの光線は結像光学系410及び色分解プリズム415を経てイメージセンサ420上に結像する。色分解プリズムでは光の波長によって光線の進行方向が異なるためR、G、Bの波長域によって異なるイメージセンサ420に到達する。このため、イメージセンサ420はカラーフィルタを備えず、各々RGBの各色成分に対応する像を得る。
【0119】
結像光学系410は、実施例1と同様に、G波長域においてのみ色収差が良好に補正され、R波長域およびB波長域では色収差が残存するものとする。
【0120】
3板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施例ではそのような調整は考慮しない。このため、G成分に比してR、B成分の解像度が劣り、3つの色成分を合成したカラー画像においては実施例1と同様に紫の縁取りのようなアーティファクトが生じる。
【0121】
AD変換部430では三枚のイメージセンサからアナログ電圧として出力されるRGB各色成分の画像を、以降の画像処理に適するデジタルデータへと変換する。
【0122】
色変換部435では色表現をRGBからYUVに変換する。これにはマトリクス演算が用いられ、次式のように、Y、U、Vの3つの成分が得られる。このY成分は輝度を、U成分は青みを、V成分は赤みを示す。
【0123】
【数24】
【0124】
色にじみ軽減部450では画像処理により入力カラー画像よりこのアーティファクトを除去する。色にじみ軽減部450は、後述するように、推定手段451、補正手段452、軽減手段453を有し、U、V成分を除去対象とし、基準成分としてY成分を用いる。視覚補正部460、圧縮部470、記録部480は実施例1の視覚補正部160、圧縮部170、記録部180と同様である。
【0125】
図12は、推定手段451の動作を説明するためのフローチャートであり、「S」はステップの略である。
【0126】
まず、推定手段451は、実施例1の色相判定151aと同様の処理を行い(S14)、
次に、飽和画素からの距離を算出する(S15)。
【0127】
ここで、距離を算出する理由を説明する。色にじみは図2(a)の典型的なプロファイルに示したように、高輝度被写体周辺に発生する。このにじみの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数的に弱くなる。つまり、高輝度被写体を探索し、そこからの距離に応じて色にじみ量を推定することができる。
【0128】
高輝度被写体の探索は輝度を表すY成分が飽和しているか否かで行うことができ、探索された飽和画素からの距離に応じてU、V成分のにじみ量を推定することが可能となる。従って、S15では、Y成分の強度が閾値(Y≧0.8)以上となる飽和画素から色にじみ画素までの距離dYを画素幅単位で算出する。
【0129】
例えば、図13に示すように、左上の領域(斜線部分)が飽和画素だとすれば、距離は各画素に記した数値のようになる。ここで飽和画素内は距離0とする。
【0130】
Y成分強度の閾値としては、AD変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド(quansi−Euclidean)距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は0、非飽和画素は正値となる。
【0131】
次に、推定手段451は、飽和画素からの距離が閾値以内の画素であるかの判定を行う(S16)。ここで、閾値は色にじみの広がりによって決定されるもので、結像光学系やイメージセンサの画素ピッチ、または被写体の輝度によって左右される。このため、結像光学系やイメージセンサの特性に応じて決定してもよいし、様々な結像光学系やイメージセンサに対応できるよう閾値を大きい値に設定しておいてもよいし、隣接する飽和画素の面積に応じてその周囲の距離閾値を可変にするのもよい。
【0132】
次に、推定手段451は、S16で色にじみと判定された画素に対して色にじみとなっている余分なU、V成分の強度を推定する(S17)。前述のように、軽減すべきU、V成分の画像強度はY成分の飽和画素からの距離によって算出することができる。よって色にじみ推定量EU、EVを次式のように算出し、補正手段452に渡す。
【0133】
【数25】
【0134】
kU0、kU1、kV0、kV1は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から色にじみ量を近似するのに好適な値を求めるのが望ましい。厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置やはてまたレンズ交換といった状態や像高によって変化するため、これらに従い定数kU0、kU1、kV0、kV1を変えてもよい。或いは、後述の補正手段452の存在を考慮し、結像光学系の特性変化に対応できるように、過大な色にじみ量を推定する定数を設定してもよい。結果として、色にじみ量を近似するのに好適な値より過大な色にじみ量を推定する定数を設定するのが好適である。
【0135】
次に、補正手段452は、推定手段451で算出された色にじみ推定量EUおよびEVに対して相互関係を考慮して補正を行い、U、V成分において実際に除去する色にじみ推定量EU’、EV’を決める。補正手段452は、UV色度図を使用する。
【0136】
図14(a)は、UV色度図の一例を示している。青色はU>0、赤色はV>0の領域となる。U、V成分から色にじみ推定量EU、EVを除去すると、点線矢印のように左方向から下方向の範囲で移動する。この向きは色にじみ推定量EU、EVの比率で変化する。矢印の始点が除去前の色度であり、先端が色にじみ推定量EU、EV除去後の色度である。ここで、U≦0の画素では青味が少ないのでEU’=0とし、EVによって赤味のみを除去する。
【0137】
このとき、EVによってV成分が負の値になるのを防ぐため次式のように設定する。
【0138】
【数26】
【0139】
同様に、V≦0の画素では赤味が少ないのでEV’=0とし、EUは次式のように設定して青味のみを除去する。
【0140】
【数27】
【0141】
U>0かつV>0の画素に対しては、色相角度hを算出し、色相角度によって色にじみ推定量EU、EVの割合を変化させ、除去後の値が原点方向に向かうようにする。例えば、色相角度hがU=0を基準としたとき45度であれば、色にじみ推定量EU、EVの割合は1:1になるように制限される。同様に、30度であればEU:EV=√3:1の割合とする。よって補正後の色にじみ推定量EU’、EV’は0°<h<45°のときは次式のようになる。
【0142】
【数28】
【0143】
また、45°<h<90°のときは次式のようになる。
【0144】
【数29】
【0145】
これにより、色相を変化させることなしに青味および赤味を軽減することができる。しかし、色にじみ推定量が大きいと除去後の値が第1象限から外れ、第3象限にいってしまい色相反転が発生する。
【0146】
そこで、U≧0かつV≧0に納まるような大きさにEU’、EV’を補正する必要がある。制限方法としては実施例1、2と同様の色相角度および色相制限角度を用いるのが有効である。
【0147】
具体的には、図14(b)に示すように、色相角度hが0°<h<45°の時は、h−Δhの直線かV=0の直線との交点のうち除去前の座標から近いほうの交点までの距離をEUとして式を計算し、色にじみ推定量EU’およびEV’を算出する。
【0148】
同様に、色相角度hが45°<h<90°の時は、h+Δhの直線かU=0の直線との交点のうち除去前の座標から近いほうの交点までの距離をEVとして式を計算し、色にじみ推定量EU’およびEV’を算出する。
【0149】
これにより、除去前の値が第1象限にある画素の場合も、除去後にU≧0かつV≧0に納まる大きさの色にじみ推定量EU’、EV’を算出することができる。
【0150】
このEU’、EV’の除去による色度変化は図14(a)に実線矢印で記したように、各象限内で留まるようになる。第2象限ではVのみが変化し、第4象限ではUのみが変化、第3象限では無変化となる。これは、R、Bの強度が輝度Yを下回って減少することはなく、また、元々Yの下にあるR、Bは変化しないことを表している。
【0151】
以上のように補正された色にじみ推定量EU’、EV’を最終的な色にじみ推定量として軽減手段453に渡す。軽減手段453では、補正手段452で補正された色にじみ推定量EU’、EV’をU、V成分の強度から差し引き、新たなU、V成分の強度を設定する。
【0152】
【数30】
【0153】
このようにU、V成分を修正したカラー画像を本色にじみ軽減部の出力として視覚補正部460に渡す。
【0154】
本実施例においては、Y成分にB成分やR成分のにじみが混入するため、白く残るにじみの量はG成分を基準成分とした場合に比べやや大きくなるが、主な計算を高い精度が不要なU、V成分において行うことで処理装置のコストを抑えることができる。
【0155】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施例ではR、B成分によって生じる色にじみを軽減しているがG成分によって生じる色にじみを更に軽減してもよい。
【産業上の利用可能性】
【0156】
画像処理装置は画像処理の用途に適用することができる。
【符号の説明】
【0157】
151、451…推定手段、152、452…補正手段、153、453…軽減手段
【特許請求の範囲】
【請求項1】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線から前記原点と前記第1の点との距離の半分以下の距離だけ離れた前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項2】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記原点を通り、前記第1の直線となす角度の絶対値が45度以下である2つの第4の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項3】
前記角度は20〜30度であることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記制限領域は、前記第1の点から前記2つ以上の色成分のそれぞれを除去した場合の色度変化を表す2つ以上の第5の直線で更に挟まれた領域であることを特徴とする請求項1乃至3のうちいずれか1項に記載の画像処理装置。
【請求項5】
前記補正手段は、各色成分の色にじみ推定量を合成した色度が前記制限領域に更に収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正することを特徴とする請求項1乃至4のうちいずれか1項に記載の画像処理装置。
【請求項6】
前記補正手段は、前記第1の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第2の点までの距離d0が、前記原点と前記第2の直線との間にある前記2つの第4の直線の一つと前記第1の点と前記第2の点を結ぶ直線との交点と前記第1の点までの距離d1よりも大きい場合に、d1/d0で算出される比を前記推定手段によって推定された各色成分の色にじみ推定量に乗じることによって補正を行うことを特徴とする請求項2項に記載の画像処理装置。
【請求項7】
前記補正手段は、前記第1の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第2の点に向かう方向が前記原点を通るように補正を行うことを特徴とする請求項1または2に記載の画像処理装置。
【請求項8】
前記推定手段は、色成分毎の隣接画素間の信号強度の傾きを利用して前記色にじみの補正量を推定することを特徴とする請求項1または2に記載の画像処理装置。
【請求項9】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線と等距離にあって前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項10】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を前記原点に関して等しい角度だけ回転することによって形成された2つの第4の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項11】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線と等距離にあって前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とするプログラム。
【請求項12】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を前記原点に関して等しい角度だけ回転することによって形成された2つの第4の直線に挟まれた領域であることを特徴とするプログラム。
【請求項13】
請求項1乃至8のうちいずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。
【請求項1】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線から前記原点と前記第1の点との距離の半分以下の距離だけ離れた前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項2】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段と、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段と、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段と、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直で前記第1の点を通る第2の直線よりも原点側にある領域であって、かつ、前記原点を通り、前記第1の直線となす角度の絶対値が45度以下である2つの第4の直線に挟まれた領域であることを特徴とする画像処理装置。
【請求項3】
前記角度は20〜30度であることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記制限領域は、前記第1の点から前記2つ以上の色成分のそれぞれを除去した場合の色度変化を表す2つ以上の第5の直線で更に挟まれた領域であることを特徴とする請求項1乃至3のうちいずれか1項に記載の画像処理装置。
【請求項5】
前記補正手段は、各色成分の色にじみ推定量を合成した色度が前記制限領域に更に収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正することを特徴とする請求項1乃至4のうちいずれか1項に記載の画像処理装置。
【請求項6】
前記補正手段は、前記第1の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第2の点までの距離d0が、前記原点と前記第2の直線との間にある前記2つの第4の直線の一つと前記第1の点と前記第2の点を結ぶ直線との交点と前記第1の点までの距離d1よりも大きい場合に、d1/d0で算出される比を前記推定手段によって推定された各色成分の色にじみ推定量に乗じることによって補正を行うことを特徴とする請求項2項に記載の画像処理装置。
【請求項7】
前記補正手段は、前記第1の点から前記色にじみが軽減された後の前記カラー画像の注目画素に対応する前記色度図における第2の点に向かう方向が前記原点を通るように補正を行うことを特徴とする請求項1または2に記載の画像処理装置。
【請求項8】
前記推定手段は、色成分毎の隣接画素間の信号強度の傾きを利用して前記色にじみの補正量を推定することを特徴とする請求項1または2に記載の画像処理装置。
【請求項9】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線と等距離にあって前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項10】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定するステップと、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定するステップによって推定された各色成分の色にじみ推定量を補正するステップと、
前記補正するステップで補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減するステップと、
を有し、
前記制限領域は、前記色にじみ発生領域において、
色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を前記原点に関して等しい角度だけ回転することによって形成された2つの第4の直線に挟まれた領域であることを特徴とする画像処理方法。
【請求項11】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を挟み、前記第1の直線と等距離にあって前記第1の直線と平行な2つの第3の直線に挟まれた領域であることを特徴とするプログラム。
【請求項12】
カラー画像に対して色にじみを軽減する処理に使用され、コンピュータを、
2つ以上の色成分によって発生する色にじみに対して各色成分の色にじみ推定量を推定する推定手段、
前記色にじみが発生する領域として色度図に設定された色にじみ発生領域を制限することによって形成された制限領域内に各色成分の色にじみ推定量が収まるように前記推定手段によって推定された各色成分の色にじみ推定量を補正する補正手段、
前記補正手段で補正された各色成分の色にじみ推定量を色成分毎に前記カラー画像から減じて色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記制限領域は、前記色にじみ発生領域において、色にじみが軽減される前の前記カラー画像の注目画素に対応する前記色度図における第1の点と前記色度図の原点を通る第1の直線に垂直な第2の直線よりも原点側にある領域であって、かつ、前記第1の直線を前記原点に関して等しい角度だけ回転することによって形成された2つの第4の直線に挟まれた領域であることを特徴とするプログラム。
【請求項13】
請求項1乃至8のうちいずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−46380(P2013−46380A)
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願番号】特願2011−185066(P2011−185066)
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年3月4日(2013.3.4)
【国際特許分類】
【出願日】平成23年8月26日(2011.8.26)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]