画素補間方法
【課題】画素補間処理における偽色の発生を低減させることを課題とする。
【解決手段】画像処理回路３は、ＲＧＢベイヤ配列の画素を入力する。彩度値算出回路３１は、注目画素の周辺領域の彩度を評価する彩度係数ＫＬを算出する。相関値算出回路３２は、グレー画像用とカラー画像用の相関値を算出する。彩度係数ＫＬが閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とが選択され、彩度係数ＫＬが閾値ＴＨ１以下で閾値ＴＨ２より大きい場合には、グレー画像用・カラー画像用の相関値から総合判断して得られた相関値を用いた相関判定方法と、カラー画像用の画素補間方法とが選択され、彩度係数ＫＬが閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とが選択される。
【解決手段】画像処理回路３は、ＲＧＢベイヤ配列の画素を入力する。彩度値算出回路３１は、注目画素の周辺領域の彩度を評価する彩度係数ＫＬを算出する。相関値算出回路３２は、グレー画像用とカラー画像用の相関値を算出する。彩度係数ＫＬが閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とが選択され、彩度係数ＫＬが閾値ＴＨ１以下で閾値ＴＨ２より大きい場合には、グレー画像用・カラー画像用の相関値から総合判断して得られた相関値を用いた相関判定方法と、カラー画像用の画素補間方法とが選択され、彩度係数ＫＬが閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とが選択される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等に備えられる画像処理回路で実行される画素補間技術に関する。
【背景技術】
【０００２】
デジタルカメラ等で利用されるＣＣＤ，ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。
【０００３】
このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。そして、この補間処理に様々なアルゴリズムが用いられている。たとえば、水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。あるいは、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。
【０００４】
下記特許文献１においては、画像の中のグレー領域とカラー領域を判別し、領域の特性に応じた画素補間を適用させるようにしている。特に、グレー領域とカラー領域の境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、グレー領域とカラー領域の境界にある領域について、相関方向についてはグレー画像としての判定を行い、画素補間についてはカラー画像用のものを適用させるようにしている。
【０００５】
【特許文献１】特開２００６−１８６９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の画素補間方法を用いることで、画素補間による偽色を低減させることが可能である。つまり、グレー領域とカラー領域の境界にある領域では、ＲＧＢの各色成分の画素値が近似していることに着目し、ＲＧＢを区別することなく、注目画素により近い画素を用いて相関方向を判定する。これに対して、画素補間はＲＧＢを区別して処理することで、より精度の高い補間結果を得るように工夫している。
【０００７】
このように、グレー画像とカラー画像の境界にある領域で、特に画素補間の工夫を必要としているのは、この領域において水平あるいは垂直方向の細線など、高周波成分について偽色が発生することがあるためである。
【０００８】
そこで、本発明は、グレー画像とカラー画像の境界にある領域において、画素補間による偽色の低減をさらに有効に実現する技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１記載の画素補間方法は、ａ）所定の色空間の画素信号を入力する工程と、ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備え、前記工程ｃ）は、所定の２つの閾値ＴＨ１，ＴＨ２（ただし、ＴＨ１≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする。
【００１０】
請求項２記載の発明は、請求項１に記載の画素補間方法において、前記工程ｃ）は、ｃ−１）前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、を含むことを特徴とする。
【００１１】
請求項３記載の画素補間方法は、ａ）所定の色空間の画素信号を入力する工程と、ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備え、前記工程ｃ）は、所定の３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ただし、ＴＨ１≧ＴＨＭ≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨＭ以下の場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする。
【００１２】
請求項４記載の発明は、請求項３に記載の画素補間方法において、前記工程ｃ）は、ｃ−１）前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、を含むことを特徴とする。
【００１３】
請求項５記載の発明は、請求項２または請求項４に記載の画素補間方法において、前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡ以下であるとき、第１の方向および第２の方向については、グレー画像用とカラー画像用の相関値のうち、それぞれ相関の高い方の相関値を用いることを特徴とする。
【００１４】
請求項６記載の発明は、請求項２または請求項４に記載の画素補間方法において、前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡより大きいとき、差分絶対値Ａ１の方が大きい場合には、第１の方向および第２の方向について、グレー画像用の相関値を用い、差分絶対値Ａ２の方が大きい場合には、第１の方向および第２の方向について、カラー画像用の相関値を用いることを特徴とする。
【００１５】
請求項７記載の発明は、請求項５または請求項６に記載の画素補間方法において、前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする。
【００１６】
請求項８記載の発明は、請求項５または請求項６に記載の画素補間方法において、前記第１の方向は水平方向に対して４５度の傾きのある方向であることを特徴とする。
【００１７】
請求項９記載の発明は、請求項１ないし請求項８のいずれかに記載の画素補間方法において、前記工程ｂ）は、ｂ−１）前記注目画素及び前記周辺画素を用いて、色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、ｂ−２）前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、ｂ−３）前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
を備えることを特徴とする。
【００１８】
請求項１０記載の発明は、請求項９に記載の画素補間方法において、前記工程ｂ−２）は、ｂ−２−１）前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、ｂ−２−２）前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、を含み、前記工程ｂ−３）は、ｂ−３−１）前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明は、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。具体的には、グレー領域とカラー領域の境界に位置する領域については、グレー画像用とカラー画像用の相関値を総合判断することで得られた相関値を用いて相関判定を行う。また、グレー領域とカラー領域の境界に位置する領域については、カラー画像用の画素補間処理を実行する。これにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能である。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２１】
｛第１の実施の形態｝
＜１．デジタルカメラの全体概略構成＞
図１は、本発明に係るデジタルカメラ１０を示すブロック図である。デジタルカメラ１０は、撮像素子１、信号処理回路２、画像処理回路３、メモリ５を備えている。撮像素子１は、ＲＧＢベイヤ配列の色フィルタアレイを備えた単板式のＣＣＤであり、１画素からはＲＧＢいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがＧ→Ｒ→Ｇ→Ｒ→・・・とＧ信号とＲ信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、Ｂ→Ｇ→Ｂ→Ｇ→・・・とＢ信号とＧ信号とが交互に出力されるラインである。なお、撮像素子１として、ＣＭＯＳセンサを用いても良い。
【００２２】
撮像素子１から出力される画素信号は、信号処理回路２に入力される。信号処理回路２において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路２から出力された画素信号は、画像処理回路３に入力される。画像処理回路３は、彩度値算出回路３１、相関値算出回路３２、選択回路３３、第１・第２相関判定回路３４１，３４２、第１・第２補間回路３５１，３５２、第１・第２色空間変換回路３６１，３６２を備えている。
【００２３】
彩度値算出回路３１は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。
【００２４】
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。
【００２５】
選択回路３３は、彩度値算出回路３１により算出された彩度値に基づき、相関判定処理および画素補間処理において、グレー画像用の処理を実行するのか、カラー画像用の処理を実行するのかを選択する。
【００２６】
第１相関判定回路３４１、第２相関判定回路３４２は、それぞれ、相関値算出回路３２で算出され、選択回路３３において選択された相関値を利用して、相関方向を判定する。
【００２７】
第１補間回路３５１は、第１相関判定回路３４１の判定結果に基づいて、注目画素の画素補間処理を実行し、第２補間回路３５２は、第２相関判定回路３４２の判定結果に基づいて、注目画素の画素補間処理を実行する。
【００２８】
第１色空間変換回路３６１は、第１補間回路３５１において補間されたＲＧＢの画素信号を、色空間変換し、Ｙ信号を生成する。第２色空間変換回路３６２は、第２補間回路３５２において補間されたＲＧＢの画素信号を、色空間変換し、Ｃｂ，Ｃｒ信号を生成する。
【００２９】
なお、彩度値算出回路３１、相関値算出回路３２および第１・第２補間回路３５１，３５２は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、Ｍ×Ｎのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路３１，３２，３５１，３５２でレジスタを共用するようにしてもよい。
【００３０】
第１・第２補間回路３５１，３５２において画素補間処理が行われると、各画素はＲＧＢ全ての色成分を持つ信号となり、さらに、第１・第２色空間変換回路３６１，３６２により、ＹＣｂＣｒ信号に変換される。そして、この画素信号がメモリ５に格納される。
【００３１】
＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面におけるベイヤ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。これに対して、図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２および図５〜図１６において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。
【００３２】
また、記号Ｐ，Ｒ，Ｇ，Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号Ｐ，Ｒ，Ｇ，Ｂは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。
【００３３】
図２（ｂ）および図２（ｅ）は、注目画素Ｐ２２がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素Ｐ２２がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素Ｐ２２がＢ画素である場合の画素配列である。上述したように、彩度値算出回路３１、相関値算出回路３２、第１・第２補間回路３５１，３５２においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ２２を中心とした９個の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３を利用することになり、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。
【００３４】
＜３．彩度値算出処理＞
次に、彩度値算出回路３１により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路３１は、注目画素を含むマトリクス領域（これは注目画素及びその周辺画素で構成される）の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像（以下、カラー画像とする。）であるか、彩度の低い画像（以下、グレー画像とする。）であるかを判定するために利用される。
【００３５】
彩度評価値は、注目画素を含むマトリクス領域において、Ｇ画素のレベルとＲ画素のレベルとの色差成分およびＧ画素のレベルとＢ画素のレベルとの色差成分に基づいて算出される。そして、本実施の形態においては、彩度評価値を決定するために、２つの色差成分評価値が算出される。すなわち、彩度値算出回路３１は、「第１の色差成分評価値」および「第２の色差成分評価値」を算出する。「第１の色差成分評価値」とは、マトリクス領域内にある各画素の位置は考慮することなく、領域内に存在する各画素の色成分別の画素平均値に基づく色差成分値から求めた評価値である。「第２の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。
【００３６】
このように、２種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第１の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、２種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。
【００３７】
(３−１)第１の色差成分評価値
まず、第１の色差成分評価値の算出方法について説明する。第１の色差成分評価値は、青空や模様のない壁等、平坦部分（低周波領域）の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第１の色差成分評価値を算出するために、まず、注目画素を中心とする３×３のマトリクス領域に含まれるＲＧＢ各色の画素値の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅは、一般的には、数１式のように表される。数１式中、ＮＲ、ＮＧ、ＮＢは、それぞれマトリクス領域内に存在するＲ，Ｇ，Ｂ画素の数であり、Σの項は、各色成分の累積画素値を示している。
【００３８】
【数１】
【００３９】
ただし、図２（ｂ）〜（ｅ）で示したように、画素配列には４つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がＧ画素であり、図２（ｂ）の画素配列に対応する場合、数２式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４０】
【数２】
【００４１】
中心画素がＲ画素であり、図２（ｃ）の画素配列に対応する場合、数３式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４２】
【数３】
【００４３】
中心画素がＢ画素であり、図２（ｄ）の画素配列に対応する場合、数４式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４４】
【数４】
【００４５】
中心画素がＧ画素であり、図２（ｅ）の画素配列に対応する場合、数５式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４６】
【数５】
【００４７】
彩度値算出回路３１は、マトリクス領域の画素配列が、図２（ｂ）〜（ｅ）のいずれのパターンであるかに応じて、数２式から数５式のいずれかの数式に従った演算処理を実行し、平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。さらに、彩度値算出回路３１は、算出した平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを用いて、数６式で表した演算処理を実行することにより、第１の色差成分評価値Ｌｇｌｏｂａｌを算出する。つまり、色差成分評価値Ｌｇｌｏｂａｌは、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。
【００４８】
【数６】
【００４９】
（３−２）第２の色差成分評価値
次に、第２の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、（３−１）で求めた第１の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。
【００５０】
彩度値算出回路３１は、３×３のマトリクス領域の画素信号を用いて、数７式および数８式で表された演算処理を実行する。すなわち、数７式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Ｌｖｅｒｔｉｃａｌを算出している。また、数８式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Ｌｈｏｒｉｚｏｎｔａｌを算出している。つまり、数７式、数８式で表される演算は、垂直方向あるいは水平方向について、それぞれＧ画素とＲ画素との色差成分値及びＧ画素とＢ画素との色差成分値を累積するものである。色差成分評価値Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌはいずれも上述の第２の色差成分評価値である。
【００５１】
【数７】
【００５２】
【数８】
【００５３】
なお、数７式および数８式において、係数２が乗算されている項があるが、これは、Ｇ−Ｒ画素の色差成分累積数とＧ−Ｂ画素の色差成分累積数とを一致させるためである。なお、この実施例では、異なる色差成分同士の累積数を一致させるための係数２を乗算するようにしているが、この値は適宜設定可能である。
【００５４】
また、この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素Ｐ２２について水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向についての色差成分評価値ＬｄＡ，ＬｄＢは数９式及び数１０式で求められる。但し数９式は注目画素Ｐ２２がＧ画素である場合に用いられる式であり、数１０式は注目画素Ｐ２２がＲ画素あるいはＢ画素である場合に用いられる式である。
【００５５】
【数９】
【００５６】
【数１０】
【００５７】
（３−３）彩度係数の計算
彩度値算出回路３１は、以上、（３−１），（３−２）で示した演算方法により３つの色差成分評価値Ｌｇｌｏｂａｌ，Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌを算出すると、さらに、数１１式で表される演算処理を実行することにより、色差成分評価値Ｌｇｌｏｂａｌ，Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌの最小値（つまり、色差成分のレベルが最小のもの）を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Ｌとして採用される。言い換えると、この彩度評価値Ｌは、各注目画素に対応して決定される彩度値である。なお、数１１式中、ｍｉｎ（ｘ，ｙ，ｚ）は、ｘ，ｙ，ｚの最小値を表している。また、上述したように、第２の色差成分評価値としてＬｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。
【００５８】
【数１１】
【００５９】
彩度値算出回路３１において以上の演算処理が実行されることにより、注目画素についての彩度評価値Ｌが求められると、次に、彩度値算出回路３１は、彩度評価値Ｌを正規化して彩度係数ＫＬを算出する。具体的には、２つの閾値Ｔ１、Ｔ２を用いて、数１２式に示すような正規化処理を行う。図３は、彩度評価値Ｌと彩度係数ＫＬの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度係数ＫＬが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値Ｔ１、Ｔ２間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。
【００６０】
【数１２】
【００６１】
なお、２つの閾値Ｔ１、Ｔ２はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、ＣＣＤの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数ＫＬが、後工程である選択工程において利用される。
【００６２】
＜４．相関値算出処理＞
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における４つの方向の相関値を算出する。ここでは、図４に示すように、水平方向、垂直方向、水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向について、相関値を算出する。具体的には、注目画素とこれら４つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。
【００６３】
また、本実施の形態において、相関値算出回路３２は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択処理において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。あるいは、カラー画像用とグレー画像用の両方の相関値を総合判断することで選択された相関値を用いて相関方向が決定される。
【００６４】
（４−１）彩度の高いカラー画像用の相関値
（４−１−１）中心画素がＧの場合
まず、注目画素がＧ画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図２（ｂ）あるいは図２（ｅ）である場合の相関値算出方法である。垂直方向の相関値は、数１３式により算出される。また、図５は、垂直方向の相関値の算出方法を図示したものであり、図５（ａ）は、Ｇ画素に関する相関算出方法、図５（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図５〜図１６において、図中の矢印で結ばれた２つの画素は、画素差分値を算出する対象であることを示している。
【００６５】
【数１３】
【００６６】
水平方向の相関値は、数１４式により算出される。また、図６は、水平方向の相関値の算出方法を図示したものであり、図６（ａ）は、Ｇ画素に関する相関算出方法、図６（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００６７】
【数１４】
【００６８】
斜めＡ方向の相関値は、数１５式により算出される。また、図７は、斜めＡ方向の相関値の算出方法を図示したものであり、図７（ａ）は、Ｇ画素に関する相関算出方法、図７（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００６９】
【数１５】
【００７０】
なお、図７で表したように、Ｇ画素に関する場合とＲ画素あるいはＢ画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数１５式においては、画素間の距離の狭いＧ画素に関する差分値には２を乗算するようにしている。これは、Ｇ画素についてはＲ画素あるいはＢ画素に比べて演算対象となる画素間の距離が１／２となっているため、画素差分値については２倍の変化量に対応するためである。ただし、乗算値の２は一例であり、適宜選択可能である。
【００７１】
斜めＢ方向の相関値は、数１６式により算出される。また、図８は、斜めＢ方向の相関値の算出方法を図示したものであり、図８（ａ）は、Ｇ画素に関する相関算出方法、図８（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００７２】
【数１６】
【００７３】
数１６式においても、数１５式の場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図７（ｂ），（ｃ）および図８（ｂ），（ｃ）における場合の画素間距離と図５および図６における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【００７４】
（４−１−２）中心画素がＢあるいはＲの場合
次に、注目画素がＢまたはＲ画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図２（ｃ）あるいは図２（ｄ）である場合の相関値算出方法である。垂直方向の相関値は、数１７式により算出される。また、図９は、垂直方向の相関値の算出方法を図示したものであり、図９（ａ）は、Ｇ画素に関する相関算出方法、図９（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００７５】
【数１７】
【００７６】
水平方向の相関値は、数１８式により算出される。また、図１０は、水平方向の相関値の算出方法を図示したものであり、図１０（ａ）は、Ｇ画素に関する相関算出方法、図１０（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００７７】
【数１８】
【００７８】
斜めＡ方向の相関値は、数１９式により算出される。また、図１１は、斜めＡ方向の相関値の算出方法を図示したものであり、図１１（ａ）は、Ｇ画素に関する相関算出方法、図１１（ｂ）および図１１（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００７９】
【数１９】
【００８０】
斜めＢ方向の相関値は、数２０式により算出される。また、図１２は、斜めＢ方向の相関値の算出方法を図示したものであり、図１２（ａ）は、Ｇ画素に関する相関算出方法、図１２（ｂ）および図１２（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００８１】
【数２０】
【００８２】
なお、数１９式および数２０式においても、数１３式において説明した場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図１１（ｂ），（ｃ）および図１２（ｂ），（ｃ）における場合の画素間距離と図９および図１０における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【００８３】
（４−２）彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がＲＧＢいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図２（ｂ）〜図２（ｅ）のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数２１式により算出される。また、図１３は、垂直方向の相関値の算出方法を図示したものである。
【００８４】
【数２１】
【００８５】
水平方向の相関値は、数２２式により算出される。また、図１４は、水平方向の相関値の算出方法を図示したものである。
【００８６】
【数２２】
【００８７】
斜めＡ方向の相関値は、数２３式により算出される。また、図１５は、斜めＡ方向の相関値の算出方法を図示したものである。
【００８８】
【数２３】
【００８９】
斜めＢ方向の相関値は、数２４式により算出される。また、図１６は、斜めＢ方向の相関値の算出方法を図示したものである。
【００９０】
【数２４】
【００９１】
なお、図１３および図１４における場合と図１５および図１６における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数１５式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数２１式および数２２式における画素差分値については、２の２乗根を乗算するようにしてもよい。
【００９２】
また、数２１式〜数２４式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１３〜図１６で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数２１式〜数２４式においては、各画素差分値に２を乗算してスケールを合わせた結果、各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。
【００９３】
＜５．相関判定方法と画素補間方法の選択＞
選択回路３３は、彩度値算出回路３１が算出した彩度係数ＫＬと閾値ＴＨ１，ＴＨ２（ＴＨ１≧ＴＨ２）との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関方向を判定するのか、カラー画像用の相関値を採用して相関方向を判定するのか、あるいは、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。
【００９４】
図１７は、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、以下の（ａ）〜（ｃ）の組み合わせに分類される。
【００９５】
（ａ）ＫＬ＞ＴＨ１の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【００９６】
（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【００９７】
（ｃ）ＴＨ２≧ＫＬの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【００９８】
数１３式から数２０式を用いてカラー画像用の４方向の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃ，ＣｄＡ＿ｃ，ＣｄＢ＿ｃを算出した。また、数２１式から数２４式を用いてグレー画像用の４方向の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍ，ＣｄＡ＿ｍ，ＣｄＢ＿ｍを算出した。選択回路３３は、このグレー画像用とカラー画像用の算出された相関値から、次のように、実際に相関方向の判定に用いる判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【００９９】
（５−１）（ａ）ＫＬ＞ＴＨ１の場合の判定用相関値
数２５式に示すように、カラー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢとして用いる。
【０１００】
【数２５】
【０１０１】
（５−２）（ｃ）ＴＨ２≧ＫＬの場合の判定用相関値
数２６式に示すように、グレー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢとして用いる。
【０１０２】
【数２６】
【０１０３】
（５−３）（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合の判定用相関値
グレー画像用の相関値とカラー画像用の相関値を総合判断して、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを決定する。この判断方法について、以下詳述する。
【０１０４】
まず、数２７式に示すように、カラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃの差分絶対値ｄ＿Ｃｖ＿ｃを求める。
【０１０５】
【数２７】
【０１０６】
また、数２８式に示すように、グレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍの差分絶対値ｄ＿Ｃｖ＿ｍを求める。
【０１０７】
【数２８】
【０１０８】
さらに、数２９式に示すように、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの差分絶対値ｄ＿Ｃｖと、閾値ＴＨｖとの大小を比較する。
【０１０９】
【数２９】
【０１１０】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たすとき、さらに、数３０式の条件を満たすかどうかを判断する。
【０１１１】
【数３０】
【０１１２】
もし、数３０式の条件を満たすならば、判定用相関値Ｃｖとしてカラー画像用の相関値Ｃｖ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
となる。
【０１１３】
もし、数３０式の条件を満たさないならば、判定用相関値Ｃｖとしてグレー画像用の相関値Ｃｖ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
となる。
【０１１４】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たすとき、さらに、数３１式の条件を満たすかどうかを判断する。
【０１１５】
【数３１】
【０１１６】
もし、数３１式の条件を満たすならば、判定用相関値Ｃｈとしてカラー画像用の相関値Ｃｈ＿ｃを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｃ
となる。
【０１１７】
もし、数３１式の条件を満たさないならば、判定用相関値Ｃｈとしてグレー画像用の相関値Ｃｈ＿ｍを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｍ
となる。
【０１１８】
このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより小さい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が小さいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られない場合が想定される。このような場合には、垂直方向、水平方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【０１１９】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たさないとき、さらに、数３２式の条件を満たすかどうかを判断する。
【０１２０】
【数３２】
【０１２１】
数３２式の関係を満たすとき、相関判定用としてカラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
Ｃｈ＝Ｃｈ＿ｃ
となる。
【０１２２】
数３２式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
Ｃｈ＝Ｃｈ＿ｍ
となる。
【０１２３】
このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより大きい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が大きいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【０１２４】
続いて、数３３式に示すように、カラー画像用の相関値ＣｄＡ＿ｃ，ＣｄＢ＿ｃの差分絶対値ｄ＿Ｃｄｇ＿ｃを求める。
【０１２５】
【数３３】
【０１２６】
また、数３４式に示すように、グレー画像用の相関値ＣｄＡ＿ｍ，ＣｄＢ＿ｍの差分絶対値ｄ＿Ｃｄｇ＿ｍを求める。
【０１２７】
【数３４】
【０１２８】
さらに、数３５式に示すように、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの差分絶対値ｄ＿Ｃｄｇと、閾値ＴＨｄｇとの大小を比較する。
【０１２９】
【数３５】
【０１３０】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たすとき、さらに、数３６式の条件を満たすかどうかを判断する。
【０１３１】
【数３６】
【０１３２】
もし、数３６式の条件を満たすならば、判定用相関値ＣｄＡとしてカラー画像用の相関値ＣｄＡ＿ｃを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｃ
となる。
【０１３３】
もし、数３６式の条件を満たさないならば、判定用相関値ＣｄＡとしてグレー画像用の相関値ＣｄＡ＿ｍを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｍ
となる。
【０１３４】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たすとき、さらに、数３７式の条件を満たすかどうかを判断する。
【０１３５】
【数３７】
【０１３６】
もし、数３７式の条件を満たすならば、判定用相関値ＣｄＢとしてカラー画像用の相関値ＣｄＢ＿ｃを採用する。つまり、
ＣｄＢ＝ＣｄＢ＿ｃ
となる。
【０１３７】
もし、数３７式の条件を満たさないならば、判定用相関値ＣｄＢとしてグレー画像用の相関値ＣｄＢ＿ｍを採用する。つまり、
ＣｄＢ＝ＣｄＢ＿ｍ
となる。
【０１３８】
このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより小さい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が小さいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られない場合が想定される。このような場合には、斜めＡ方向、斜めＢ方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【０１３９】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たさないとき、さらに、数３８式の条件を満たすかどうかを判断する。
【０１４０】
【数３８】
【０１４１】
数３８式の関係を満たすとき、相関判定用としてカラー画像用の相関値ＣｄＡ＿ｃ，ＣｄＢ＿ｃを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｃ
ＣｄＢ＝ＣｄＢ＿ｃ
となる。
【０１４２】
数３８式の関係を満たさないとき、相関判定用としてグレー画像用の相関値ＣｄＡ＿ｍ，ＣｄＢ＿ｍを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｍ
ＣｄＢ＝ＣｄＢ＿ｍ
となる。
【０１４３】
このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより大きい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が大きいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【０１４４】
以上の処理を実行することで、上記（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合には、グレー画像用の相関値とカラー画像用の相関値を総合判断して判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【０１４５】
選択回路３３は以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）それぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【０１４６】
このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。
【０１４７】
つまり、グレー画像とカラー画像の境界付近に位置する画像は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させるのである。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。
【０１４８】
なお、この実施の形態においては、彩度評価値Ｌを正規化した彩度係数ＫＬを用い、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路３３は、相関判定方法と画素補間方法とを選択すると、この選択情報を第１相関判定回路３４１および第２相関判定回路３４２に与える。選択情報には、相関判定方法および画素補間方法として、グレー画像用・カラー画像用いずれのタイプを用いるのかを示す情報と、選択された判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを示す情報が含まれる。
【０１４９】
＜６．各画素における相関方向の判定＞
上述したように、選択回路３３において判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢが選択されると、画素信号と、判定用相関値に関する情報を含む選択情報とが、第１相関判定回路３４１および第２相関判定回路３４２に出力される。つまり、選択回路３３で算出された判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢの値が、第１・第２相関判定回路３４１，３４２の両方に出力され、信号処理回路２から入力した画素信号も、第１・第２相関判定回路３４１，３４２の両方に出力される。第１相関判定回路３４１および第２相関判定回路３４２は、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢに基づいて、注目画素における相関関係を判定する処理部である。第１相関判定回路３４１は、注目画素における相関関係を高く評価して相関方向を判定する。第２相関判定回路３４２は、第１相関判定回路３４１と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。
【０１５０】
図１８は、第１相関判定回路３４１が相関方向の判定に利用する相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。
【０１５１】
判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ１の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ２の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ３の領域に存在するとき、第１相関判定回路３４１は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ４の領域に存在するとき、第１相関判定回路３４１は、注目画素は垂直、水平両方向について相関が高いと判定する。
【０１５２】
第１相関判定回路３４１は、図１８で示した対応関係図とあわせて、図１９で示す対応関係図を利用する。図１９で示す対応関係図は、判定用相関値ＣｄＡ，ＣｄＢと相関方向との対応関係を示す図である。図１９の縦軸は判定用相関値ＣｄＡであり、横軸は判定用相関値ＣｄＢである。領域Ｂ１は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ２は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ３は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ４は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。
【０１５３】
第１相関判定回路３４１は、４つの判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図１８の関係図を利用する。そして、判定用相関値の対応関係がＡ１〜Ａ４のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値ＣｄＡあるいは判定用相関値ＣｄＢの値が最も小さい場合には、図２０の関係図を利用する。そして、相関値の対応関係がＢ１〜Ｂ４のいずれの領域に該当するかによって相関方向を決定する。
【０１５４】
相関方向が決定すると、後述するように、第１補間回路３５１において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ１にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ２にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ１にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ２にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ３またはＢ３の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ４またはＢ４の領域にあれば平均値補間を行う。
【０１５５】
一方、図２０は、第２相関判定回路３４２が相関方向の判定に利用する判定用相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。
【０１５６】
判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ５の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ６の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ７の領域に存在するとき、第２相関判定回路３４２は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ８の領域に存在するとき、第２相関判定回路３４２は、注目画素は垂直、水平両方向について相関が高いと判定する。
【０１５７】
また、第２相関判定回路３４２は、図２０で示した対応関係図とあわせて、図２１で示す対応関係図を利用する。図２１で示す対応関係図は、判定用相関値ＣｄＡ，ＣｄＢと相関方向との対応関係を示す図である。図２１の縦軸は判定用相関値ＣｄＡであり、横軸は判定用相関値ＣｄＢである。領域Ｂ５は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ６は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ７は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ８は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。
【０１５８】
第２相関判定回路３４２は、４つの判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図２０の関係図を利用する。そして、判定用相関値の対応関係がＡ５〜Ａ８のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値ＣｄＡあるいは判定用相関値ＣｄＢの値が最も小さい場合には、図２１の関係図を利用する。そして、判定用相関値の対応関係がＢ５〜Ｂ８のいずれの領域に該当するかによって相関方向を決定する。
【０１５９】
相関方向が決定すると、後述するように、第２補間回路３５２において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ５にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ６にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ５にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ６にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ７またはＢ７の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ８またはＢ８の領域にあれば平均値補間を行う。
【０１６０】
このように、第１相関判定回路３４１と第２相関判定回路３４２は、それぞれ図１８〜図２１で示す判定用相関値の対応関係を利用して相関方向を決定する。この結果、第１相関判定回路３４１は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。つまり、相関方向の画素を積極的に利用して補間を行う。一方、第２相関判定回路３４２は、第１相関判定回路３４１に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。言い換えると、第２補間回路３５２は、積極的に、メディアン補間や平均値補間を採用する補間回路である。
【０１６１】
図１８で示す領域Ａ１と図２０で示す領域Ａ５は、ともに水平方向に相関が高いと判定される領域である。そして、図１８と図２０を比較して分かるように、領域Ａ１を定める直線Ｆ１よりも、領域Ａ５を定める直線Ｆ４の傾きが大きくなっている。さらに、直線Ｆ１が縦軸と交わる点よりも、直線Ｆ４が縦軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値Ｃｈが判定用相関値Ｃｖよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｈが、判定用相関値Ｃｖよりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。
【０１６２】
また、領域Ａ２を定める直線Ｆ２よりも、領域Ａ６を定める直線Ｆ５の傾きが小さくなっている。さらに、直線Ｆ２が横軸と交わる点よりも、直線Ｆ５が横軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値Ｃｖが判定用相関値Ｃｈよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して垂直方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｖが判定用相関値Ｃｈよりも十分小さい値をとる関係にある場合に、垂直方向の相関が高いと判定する。
【０１６３】
なお、領域Ａ３と領域Ａ４との境界を定める直線Ｆ３、領域Ａ７と領域Ａ８との境界を定める直線Ｆ６については、図１８、図２０に示した関係は一例である。つまり、直線Ｆ６と軸との交点は、直線Ｆ３と軸との交点よりも大きな値となっているが、このような関係に限定されるものではない。
【０１６４】
図１９および図２１の関係も同様である。領域Ｂ１を定める直線Ｆ１１よりも、領域Ｂ５を定める直線Ｆ１４の傾きが大きくなっている。さらに、直線Ｆ１１が縦軸と交わる点よりも、直線Ｆ１４が縦軸と交わる点の方が大きな値となっている。第１相関判定回路３４１は、判定用相関値ＣｄＢが判定用相関値ＣｄＡよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めＢ方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値ＣｄＢが、判定用相関値ＣｄＡよりも十分小さい値をとる関係にある場合に、斜めＢ方向の相関が高いと判定する。
【０１６５】
また、領域Ｂ２を定める直線Ｆ１２よりも、領域Ｂ６を定める直線Ｆ１５の傾きが小さくなっている。さらに、直線Ｆ１２が横軸と交わる点よりも、直線Ｆ１５が横軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値ＣｄＡが判定用相関値ＣｄＢよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めＡ方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値ＣｄＡが判定用相関値ＣｄＢよりも十分小さい値をとる関係にある場合に、斜めＡ方向の相関が高いと判定する。
【０１６６】
なお、領域Ｂ３と領域Ｂ４との境界を定める直線Ｆ１３、領域Ｂ７と領域Ｂ８との境界を定める直線Ｆ１６については、図１９、図２１に示した関係は一例である。つまり、直線Ｆ１６と軸との交点は、直線Ｆ１３と軸との交点よりも大きな値となっているが、このような関係に限定されるものではない。
【０１６７】
＜７．画素補間処理＞
第１補間回路３５１および第２補間回路３５２において実行される画素補間処理について説明する。第１補間回路３５１および第２補間回路３５２は、上述したように、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について画素補間処理を行う。そして、第１補間回路３５１および第２補間回路３５２は、選択回路３３から出力された選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行する。つまり、選択回路３３において、上記（ｃ）のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する（＜５．相関判定方法と画素補間方法の選択＞の項を参照）。
【０１６８】
（７−１）グレー画像用画素補間
選択回路３３において上記（ｃ）のパターンが選択されている場合には、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、グレー画像用の画素補間処理が実行される。グレー画像用の画素補間は注目画素がＲＧＢいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がＲＧＢいずれの画素であるか、注目画素の周辺の画素がＲＧＢいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。
【０１６９】
具体的には、垂直方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ２に属する判定された場合、第１補間回路３５１は、数３９式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ６に属すると判定された場合、第２補間回路３５２は、数３９式に示す演算式により画素補間処理を実行する。
【０１７０】
【数３９】
【０１７１】
また、水平方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ１に属する判定された場合、第１補間回路３５１は、数４０式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ５に属すると判定された場合、第２補間回路３５２は、数４０式に示す演算式により画素補間処理を実行する。
【０１７２】
【数４０】
【０１７３】
また、斜めＡ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ２に属する判定された場合、第１補間回路３５１は、数４１式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ６に属すると判定された場合、第２補間回路３５２は、数４１式に示す演算式により画素補間処理を実行する。
【０１７４】
【数４１】
【０１７５】
また、斜めＢ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ１に属する判定された場合、第１補間回路３５１は、数４２式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ５に属すると判定された場合、第２補間回路３５２は、数４２式に示す演算式により画素補間処理を実行する。
【０１７６】
【数４２】
【０１７７】
なお、数３９式から数４２式においては、Ｐ２２の項に係数２が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、いずれの方向にも相関が高いと判定されている場合（領域Ａ４，Ｂ４，Ａ８，Ｂ８と判定された場合）、たとえば、平均値補間値を行う。また、いずれの方向にも相関がないと判断された場合（領域Ａ３，Ｂ３，Ａ７，Ｂ７と判定された場合）には、たとえばメディアン補間を用いる。
【０１７８】
（７−２）カラー画像用画素補間
選択回路３３において、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、第１補間回路３５１・第２補間回路３５２は、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がＲＧＢいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。
【０１７９】
たとえば、注目画素がＧ画素である場合であって、垂直方向の相関が高いと判定されている場合（領域Ａ２，Ａ６と判定された場合）には、垂直方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、水平方向の相関が高いと判定されている場合（領域Ａ１，Ａ５と判定された場合）には、水平方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。
【０１８０】
あるいは、注目画素がＧ画素である場合であって、斜めＡ方向の相関が高いと判定されている場合（領域Ｂ２，Ｂ６と判定された場合）には、斜めＡ方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、斜めＢ方向の相関が高いと判定されている場合（領域Ｂ１，Ｂ５と判定された場合）には、斜めＢ方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。
【０１８１】
なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。
【０１８２】
このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。
【０１８３】
このように、本実施の形態における画像処理回路３は、マトリクス領域の彩度評価値Ｌを求め、この彩度評価値Ｌに基づいて、当該領域における着目画素についての相関判定方法と画素補間方法とを選択する。そして、彩度評価値Ｌに基づいてグレー画像とカラー画像とを判定するために２つの閾値ＴＨ１，ＴＨ２を用いる。グレー画像とカラー画像の境界に位置する領域に対しては、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定し、カラー画像用の画素補間方法を用いることにより、偽色の軽減や解像感の改善を図ることができる。
【０１８４】
＜８．色空間変換処理＞
第１補間回路３５１は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第１色空間変換回路３６１に出力する。つまり、第１色空間変換回路３６１が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。また、第２補間回路３５２は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第２色空間変換回路３６２に出力する。つまり、第２色空間変換回路３６２が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。
【０１８５】
そして、第１色空間変換回路３６１は、各画素について、ＲＧＢの画素信号から輝度信号（Ｙ信号）を生成する。一方、第２色空間変換回路３６２は、各画素について、ＲＧＢの画素信号から色差信号（Ｃｂ、Ｃｒ信号）を生成する。このようにして、撮像素子１から出力されたベイヤ配列のＲＧＢ信号は、輝度信号（Ｙ信号）および色差信号（Ｃｂ、Ｃｒ信号）に変換されるのである。
【０１８６】
このように、第１色空間変換回路３６１から出力された輝度信号は、第１補間回路３５１において補間されたＲＧＢ信号から生成される信号である。第１補間回路３５１において補間されたＲＧＢ信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるＹＵＶ信号の解像感を高く維持することが可能である。
【０１８７】
一方、第２色空間変換回路３６２から出力された色差信号は、第２補間回路３５２において補間されたＲＧＢ信号から生成される信号である。第２補間回路３５２において補間されたＲＧＢ信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、ＬＰＦ（Ｌａｗ Ｐａｓｓ Ｆｉｌｔｅｒ）が適用された状態の信号である。これにより、撮像素子１からノイズの多いＲＡＷ画像が出力された場合であっても、生成されるＹＵＶ信号のノイズを抑圧することができる。
【０１８８】
第１色空間変換回路３６１から出力された輝度信号（Ｙ信号）と、第２色空間変換回路３６２から出力された色差信号（Ｃｂ，Ｃｒ信号）は、メモリ５に格納される。
【０１８９】
｛第２の実施の形態｝
図２２は、第２の実施の形態における相関判定方法と画素補間方法の判定基準を示す図である。第１の実施の形態においては、図１７に示したように、選択回路３３は、２つの閾値ＴＨ１，ＴＨ２を用いて相関判定方法と画素補間方法とを選択した。第２の実施の形態においては、図２２に示すように、選択回路３３は、３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ＴＨ１≧ＴＨＭ≧ＴＨ２）を用いて次のように、相関判定方法と画素補間方法とを選択する。
【０１９０】
（ａ’）ＫＬ＞ＴＨ１の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９１】
（ｂ’）ＴＨ１≧ＫＬ＞ＴＨＭの場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９２】
（ｂ”）ＴＨＭ≧ＫＬ＞ＴＨ２の場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９３】
（ｃ’）ＴＨ２≧ＫＬの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【０１９４】
このように、選択回路３３は、３つの閾値を利用し、４つのパターンで、相関判定方法および画素補間方法を選択するのである。第１の実施の形態におけるパターン（ｂ）が、さらに、２つのパターン（ｂ’），（ｂ”）に分けられている。パターン（ｂ’）は、第１の実施の形態におけるパターン（ｂ）と同様である。パターン（ｂ”）を利用することで、よりグレー領域に近い領域については、ＲＧＢを区別することなく相関判定を行うことで、相関方向を高い精度で判定することを可能としている。この閾値ＴＨＭを、閾値ＴＨ１と閾値ＴＨ２内で自由に設定すればよい。閾値ＴＨＭを閾値ＴＨ２と一致させた状態が第１の実施の形態である。
【図面の簡単な説明】
【０１９５】
【図１】本発明にかかるデジタルカメラを示すブロック図である。
【図２】ＲＧＢベイヤ配列の画素の配列パターンを示す図である。
【図３】彩度値と彩度係数との関係を示す図である。
【図４】４つの相関方向を示す図である。
【図５】注目画素がＧ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図６】注目画素がＧ画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図７】注目画素がＧ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。
【図８】注目画素がＧ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。
【図９】注目画素がＲまたはＢ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図１０】注目画素がＲまたはＢ画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図１１】注目画素がＲまたはＢ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。
【図１２】注目画素がＲまたはＢ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。
【図１３】グレー領域における垂直方向の相関値算出方法を示す図である。
【図１４】グレー領域における水平方向の相関値算出方法を示す図である。
【図１５】グレー領域における斜めＡ方向の相関値算出方法を示す図である。
【図１６】グレー領域における斜めＢ方向の相関値算出方法を示す図である。
【図１７】相関判定方法および画素補間方法の判定基準を示す図である。
【図１８】垂直方向・水平方向に関して相関関係を高く評価する対応関係を示す図である。
【図１９】斜めＡ方向・斜めＢ方向に関して相関関係を高く評価する対応関係を示す図である。
【図２０】垂直方向・水平方向に関して相関関係を低く評価する対応関係を示す図である。
【図２１】斜めＡ方向・斜めＢ方向に関して相関関係を低く評価する対応関係を示す図である。
【図２２】第２の実施の形態における相関判定方法および画素補間方法の判定基準を示す図である。
【符号の説明】
【０１９６】
３１ 彩度値算出回路
３２ 相関値算出回路
３３ 選択回路
３４１ 第１相関判定回路
３４２ 第２相関判定回路
３５１ 第１補間回路
３５２ 第２補間回路
３６１ 第１色空間回路
３６２ 第２色空間回路
【技術分野】
【０００１】
本発明は、デジタルカメラ等に備えられる画像処理回路で実行される画素補間技術に関する。
【背景技術】
【０００２】
デジタルカメラ等で利用されるＣＣＤ，ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。
【０００３】
このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。そして、この補間処理に様々なアルゴリズムが用いられている。たとえば、水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。あるいは、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。
【０００４】
下記特許文献１においては、画像の中のグレー領域とカラー領域を判別し、領域の特性に応じた画素補間を適用させるようにしている。特に、グレー領域とカラー領域の境界に位置する領域について偽色の発生を抑える工夫がなされている。具体的には、グレー領域とカラー領域の境界にある領域について、相関方向についてはグレー画像としての判定を行い、画素補間についてはカラー画像用のものを適用させるようにしている。
【０００５】
【特許文献１】特開２００６−１８６９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の画素補間方法を用いることで、画素補間による偽色を低減させることが可能である。つまり、グレー領域とカラー領域の境界にある領域では、ＲＧＢの各色成分の画素値が近似していることに着目し、ＲＧＢを区別することなく、注目画素により近い画素を用いて相関方向を判定する。これに対して、画素補間はＲＧＢを区別して処理することで、より精度の高い補間結果を得るように工夫している。
【０００７】
このように、グレー画像とカラー画像の境界にある領域で、特に画素補間の工夫を必要としているのは、この領域において水平あるいは垂直方向の細線など、高周波成分について偽色が発生することがあるためである。
【０００８】
そこで、本発明は、グレー画像とカラー画像の境界にある領域において、画素補間による偽色の低減をさらに有効に実現する技術を提供することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１記載の画素補間方法は、ａ）所定の色空間の画素信号を入力する工程と、ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備え、前記工程ｃ）は、所定の２つの閾値ＴＨ１，ＴＨ２（ただし、ＴＨ１≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする。
【００１０】
請求項２記載の発明は、請求項１に記載の画素補間方法において、前記工程ｃ）は、ｃ−１）前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、を含むことを特徴とする。
【００１１】
請求項３記載の画素補間方法は、ａ）所定の色空間の画素信号を入力する工程と、ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備え、前記工程ｃ）は、所定の３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ただし、ＴＨ１≧ＴＨＭ≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨＭ以下の場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする。
【００１２】
請求項４記載の発明は、請求項３に記載の画素補間方法において、前記工程ｃ）は、ｃ−１）前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、を含むことを特徴とする。
【００１３】
請求項５記載の発明は、請求項２または請求項４に記載の画素補間方法において、前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡ以下であるとき、第１の方向および第２の方向については、グレー画像用とカラー画像用の相関値のうち、それぞれ相関の高い方の相関値を用いることを特徴とする。
【００１４】
請求項６記載の発明は、請求項２または請求項４に記載の画素補間方法において、前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡより大きいとき、差分絶対値Ａ１の方が大きい場合には、第１の方向および第２の方向について、グレー画像用の相関値を用い、差分絶対値Ａ２の方が大きい場合には、第１の方向および第２の方向について、カラー画像用の相関値を用いることを特徴とする。
【００１５】
請求項７記載の発明は、請求項５または請求項６に記載の画素補間方法において、前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする。
【００１６】
請求項８記載の発明は、請求項５または請求項６に記載の画素補間方法において、前記第１の方向は水平方向に対して４５度の傾きのある方向であることを特徴とする。
【００１７】
請求項９記載の発明は、請求項１ないし請求項８のいずれかに記載の画素補間方法において、前記工程ｂ）は、ｂ−１）前記注目画素及び前記周辺画素を用いて、色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、ｂ−２）前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、ｂ−３）前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
を備えることを特徴とする。
【００１８】
請求項１０記載の発明は、請求項９に記載の画素補間方法において、前記工程ｂ−２）は、ｂ−２−１）前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、ｂ−２−２）前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、を含み、前記工程ｂ−３）は、ｂ−３−１）前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明は、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。具体的には、グレー領域とカラー領域の境界に位置する領域については、グレー画像用とカラー画像用の相関値を総合判断することで得られた相関値を用いて相関判定を行う。また、グレー領域とカラー領域の境界に位置する領域については、カラー画像用の画素補間処理を実行する。これにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能である。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２１】
｛第１の実施の形態｝
＜１．デジタルカメラの全体概略構成＞
図１は、本発明に係るデジタルカメラ１０を示すブロック図である。デジタルカメラ１０は、撮像素子１、信号処理回路２、画像処理回路３、メモリ５を備えている。撮像素子１は、ＲＧＢベイヤ配列の色フィルタアレイを備えた単板式のＣＣＤであり、１画素からはＲＧＢいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがＧ→Ｒ→Ｇ→Ｒ→・・・とＧ信号とＲ信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、Ｂ→Ｇ→Ｂ→Ｇ→・・・とＢ信号とＧ信号とが交互に出力されるラインである。なお、撮像素子１として、ＣＭＯＳセンサを用いても良い。
【００２２】
撮像素子１から出力される画素信号は、信号処理回路２に入力される。信号処理回路２において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路２から出力された画素信号は、画像処理回路３に入力される。画像処理回路３は、彩度値算出回路３１、相関値算出回路３２、選択回路３３、第１・第２相関判定回路３４１，３４２、第１・第２補間回路３５１，３５２、第１・第２色空間変換回路３６１，３６２を備えている。
【００２３】
彩度値算出回路３１は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。
【００２４】
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。
【００２５】
選択回路３３は、彩度値算出回路３１により算出された彩度値に基づき、相関判定処理および画素補間処理において、グレー画像用の処理を実行するのか、カラー画像用の処理を実行するのかを選択する。
【００２６】
第１相関判定回路３４１、第２相関判定回路３４２は、それぞれ、相関値算出回路３２で算出され、選択回路３３において選択された相関値を利用して、相関方向を判定する。
【００２７】
第１補間回路３５１は、第１相関判定回路３４１の判定結果に基づいて、注目画素の画素補間処理を実行し、第２補間回路３５２は、第２相関判定回路３４２の判定結果に基づいて、注目画素の画素補間処理を実行する。
【００２８】
第１色空間変換回路３６１は、第１補間回路３５１において補間されたＲＧＢの画素信号を、色空間変換し、Ｙ信号を生成する。第２色空間変換回路３６２は、第２補間回路３５２において補間されたＲＧＢの画素信号を、色空間変換し、Ｃｂ，Ｃｒ信号を生成する。
【００２９】
なお、彩度値算出回路３１、相関値算出回路３２および第１・第２補間回路３５１，３５２は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、Ｍ×Ｎのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路３１，３２，３５１，３５２でレジスタを共用するようにしてもよい。
【００３０】
第１・第２補間回路３５１，３５２において画素補間処理が行われると、各画素はＲＧＢ全ての色成分を持つ信号となり、さらに、第１・第２色空間変換回路３６１，３６２により、ＹＣｂＣｒ信号に変換される。そして、この画素信号がメモリ５に格納される。
【００３１】
＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面におけるベイヤ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。これに対して、図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２および図５〜図１６において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。
【００３２】
また、記号Ｐ，Ｒ，Ｇ，Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ２２を含む２５個の画素Ｐ００〜Ｐ４４からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号Ｐ，Ｒ，Ｇ，Ｂは、画素値を表す場合もある。たとえば、記号Ｐ１１は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。
【００３３】
図２（ｂ）および図２（ｅ）は、注目画素Ｐ２２がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素Ｐ２２がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素Ｐ２２がＢ画素である場合の画素配列である。上述したように、彩度値算出回路３１、相関値算出回路３２、第１・第２補間回路３５１，３５２においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ２２を中心とした９個の画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３を利用することになり、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。
【００３４】
＜３．彩度値算出処理＞
次に、彩度値算出回路３１により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路３１は、注目画素を含むマトリクス領域（これは注目画素及びその周辺画素で構成される）の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像（以下、カラー画像とする。）であるか、彩度の低い画像（以下、グレー画像とする。）であるかを判定するために利用される。
【００３５】
彩度評価値は、注目画素を含むマトリクス領域において、Ｇ画素のレベルとＲ画素のレベルとの色差成分およびＧ画素のレベルとＢ画素のレベルとの色差成分に基づいて算出される。そして、本実施の形態においては、彩度評価値を決定するために、２つの色差成分評価値が算出される。すなわち、彩度値算出回路３１は、「第１の色差成分評価値」および「第２の色差成分評価値」を算出する。「第１の色差成分評価値」とは、マトリクス領域内にある各画素の位置は考慮することなく、領域内に存在する各画素の色成分別の画素平均値に基づく色差成分値から求めた評価値である。「第２の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。
【００３６】
このように、２種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第１の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、２種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。
【００３７】
(３−１)第１の色差成分評価値
まず、第１の色差成分評価値の算出方法について説明する。第１の色差成分評価値は、青空や模様のない壁等、平坦部分（低周波領域）の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第１の色差成分評価値を算出するために、まず、注目画素を中心とする３×３のマトリクス領域に含まれるＲＧＢ各色の画素値の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅは、一般的には、数１式のように表される。数１式中、ＮＲ、ＮＧ、ＮＢは、それぞれマトリクス領域内に存在するＲ，Ｇ，Ｂ画素の数であり、Σの項は、各色成分の累積画素値を示している。
【００３８】
【数１】
【００３９】
ただし、図２（ｂ）〜（ｅ）で示したように、画素配列には４つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がＧ画素であり、図２（ｂ）の画素配列に対応する場合、数２式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４０】
【数２】
【００４１】
中心画素がＲ画素であり、図２（ｃ）の画素配列に対応する場合、数３式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４２】
【数３】
【００４３】
中心画素がＢ画素であり、図２（ｄ）の画素配列に対応する場合、数４式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４４】
【数４】
【００４５】
中心画素がＧ画素であり、図２（ｅ）の画素配列に対応する場合、数５式により平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。
【００４６】
【数５】
【００４７】
彩度値算出回路３１は、マトリクス領域の画素配列が、図２（ｂ）〜（ｅ）のいずれのパターンであるかに応じて、数２式から数５式のいずれかの数式に従った演算処理を実行し、平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを算出する。さらに、彩度値算出回路３１は、算出した平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅを用いて、数６式で表した演算処理を実行することにより、第１の色差成分評価値Ｌｇｌｏｂａｌを算出する。つまり、色差成分評価値Ｌｇｌｏｂａｌは、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。
【００４８】
【数６】
【００４９】
（３−２）第２の色差成分評価値
次に、第２の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、（３−１）で求めた第１の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。
【００５０】
彩度値算出回路３１は、３×３のマトリクス領域の画素信号を用いて、数７式および数８式で表された演算処理を実行する。すなわち、数７式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Ｌｖｅｒｔｉｃａｌを算出している。また、数８式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Ｌｈｏｒｉｚｏｎｔａｌを算出している。つまり、数７式、数８式で表される演算は、垂直方向あるいは水平方向について、それぞれＧ画素とＲ画素との色差成分値及びＧ画素とＢ画素との色差成分値を累積するものである。色差成分評価値Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌはいずれも上述の第２の色差成分評価値である。
【００５１】
【数７】
【００５２】
【数８】
【００５３】
なお、数７式および数８式において、係数２が乗算されている項があるが、これは、Ｇ−Ｒ画素の色差成分累積数とＧ−Ｂ画素の色差成分累積数とを一致させるためである。なお、この実施例では、異なる色差成分同士の累積数を一致させるための係数２を乗算するようにしているが、この値は適宜設定可能である。
【００５４】
また、この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素Ｐ２２について水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向についての色差成分評価値ＬｄＡ，ＬｄＢは数９式及び数１０式で求められる。但し数９式は注目画素Ｐ２２がＧ画素である場合に用いられる式であり、数１０式は注目画素Ｐ２２がＲ画素あるいはＢ画素である場合に用いられる式である。
【００５５】
【数９】
【００５６】
【数１０】
【００５７】
（３−３）彩度係数の計算
彩度値算出回路３１は、以上、（３−１），（３−２）で示した演算方法により３つの色差成分評価値Ｌｇｌｏｂａｌ，Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌを算出すると、さらに、数１１式で表される演算処理を実行することにより、色差成分評価値Ｌｇｌｏｂａｌ，Ｌｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌの最小値（つまり、色差成分のレベルが最小のもの）を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Ｌとして採用される。言い換えると、この彩度評価値Ｌは、各注目画素に対応して決定される彩度値である。なお、数１１式中、ｍｉｎ（ｘ，ｙ，ｚ）は、ｘ，ｙ，ｚの最小値を表している。また、上述したように、第２の色差成分評価値としてＬｖｅｒｔｉｃａｌ，Ｌｈｏｒｉｚｏｎｔａｌに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。
【００５８】
【数１１】
【００５９】
彩度値算出回路３１において以上の演算処理が実行されることにより、注目画素についての彩度評価値Ｌが求められると、次に、彩度値算出回路３１は、彩度評価値Ｌを正規化して彩度係数ＫＬを算出する。具体的には、２つの閾値Ｔ１、Ｔ２を用いて、数１２式に示すような正規化処理を行う。図３は、彩度評価値Ｌと彩度係数ＫＬの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度係数ＫＬが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値Ｔ１、Ｔ２間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。
【００６０】
【数１２】
【００６１】
なお、２つの閾値Ｔ１、Ｔ２はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、ＣＣＤの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数ＫＬが、後工程である選択工程において利用される。
【００６２】
＜４．相関値算出処理＞
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における４つの方向の相関値を算出する。ここでは、図４に示すように、水平方向、垂直方向、水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向について、相関値を算出する。具体的には、注目画素とこれら４つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。
【００６３】
また、本実施の形態において、相関値算出回路３２は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択処理において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。あるいは、カラー画像用とグレー画像用の両方の相関値を総合判断することで選択された相関値を用いて相関方向が決定される。
【００６４】
（４−１）彩度の高いカラー画像用の相関値
（４−１−１）中心画素がＧの場合
まず、注目画素がＧ画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図２（ｂ）あるいは図２（ｅ）である場合の相関値算出方法である。垂直方向の相関値は、数１３式により算出される。また、図５は、垂直方向の相関値の算出方法を図示したものであり、図５（ａ）は、Ｇ画素に関する相関算出方法、図５（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図５〜図１６において、図中の矢印で結ばれた２つの画素は、画素差分値を算出する対象であることを示している。
【００６５】
【数１３】
【００６６】
水平方向の相関値は、数１４式により算出される。また、図６は、水平方向の相関値の算出方法を図示したものであり、図６（ａ）は、Ｇ画素に関する相関算出方法、図６（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００６７】
【数１４】
【００６８】
斜めＡ方向の相関値は、数１５式により算出される。また、図７は、斜めＡ方向の相関値の算出方法を図示したものであり、図７（ａ）は、Ｇ画素に関する相関算出方法、図７（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００６９】
【数１５】
【００７０】
なお、図７で表したように、Ｇ画素に関する場合とＲ画素あるいはＢ画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数１５式においては、画素間の距離の狭いＧ画素に関する差分値には２を乗算するようにしている。これは、Ｇ画素についてはＲ画素あるいはＢ画素に比べて演算対象となる画素間の距離が１／２となっているため、画素差分値については２倍の変化量に対応するためである。ただし、乗算値の２は一例であり、適宜選択可能である。
【００７１】
斜めＢ方向の相関値は、数１６式により算出される。また、図８は、斜めＢ方向の相関値の算出方法を図示したものであり、図８（ａ）は、Ｇ画素に関する相関算出方法、図８（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００７２】
【数１６】
【００７３】
数１６式においても、数１５式の場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図７（ｂ），（ｃ）および図８（ｂ），（ｃ）における場合の画素間距離と図５および図６における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【００７４】
（４−１−２）中心画素がＢあるいはＲの場合
次に、注目画素がＢまたはＲ画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図２（ｃ）あるいは図２（ｄ）である場合の相関値算出方法である。垂直方向の相関値は、数１７式により算出される。また、図９は、垂直方向の相関値の算出方法を図示したものであり、図９（ａ）は、Ｇ画素に関する相関算出方法、図９（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００７５】
【数１７】
【００７６】
水平方向の相関値は、数１８式により算出される。また、図１０は、水平方向の相関値の算出方法を図示したものであり、図１０（ａ）は、Ｇ画素に関する相関算出方法、図１０（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。
【００７７】
【数１８】
【００７８】
斜めＡ方向の相関値は、数１９式により算出される。また、図１１は、斜めＡ方向の相関値の算出方法を図示したものであり、図１１（ａ）は、Ｇ画素に関する相関算出方法、図１１（ｂ）および図１１（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００７９】
【数１９】
【００８０】
斜めＢ方向の相関値は、数２０式により算出される。また、図１２は、斜めＢ方向の相関値の算出方法を図示したものであり、図１２（ａ）は、Ｇ画素に関する相関算出方法、図１２（ｂ）および図１２（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。
【００８１】
【数２０】
【００８２】
なお、数１９式および数２０式においても、数１３式において説明した場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図１１（ｂ），（ｃ）および図１２（ｂ），（ｃ）における場合の画素間距離と図９および図１０における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【００８３】
（４−２）彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がＲＧＢいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図２（ｂ）〜図２（ｅ）のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数２１式により算出される。また、図１３は、垂直方向の相関値の算出方法を図示したものである。
【００８４】
【数２１】
【００８５】
水平方向の相関値は、数２２式により算出される。また、図１４は、水平方向の相関値の算出方法を図示したものである。
【００８６】
【数２２】
【００８７】
斜めＡ方向の相関値は、数２３式により算出される。また、図１５は、斜めＡ方向の相関値の算出方法を図示したものである。
【００８８】
【数２３】
【００８９】
斜めＢ方向の相関値は、数２４式により算出される。また、図１６は、斜めＢ方向の相関値の算出方法を図示したものである。
【００９０】
【数２４】
【００９１】
なお、図１３および図１４における場合と図１５および図１６における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数１５式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数２１式および数２２式における画素差分値については、２の２乗根を乗算するようにしてもよい。
【００９２】
また、数２１式〜数２４式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１３〜図１６で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数２１式〜数２４式においては、各画素差分値に２を乗算してスケールを合わせた結果、各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。
【００９３】
＜５．相関判定方法と画素補間方法の選択＞
選択回路３３は、彩度値算出回路３１が算出した彩度係数ＫＬと閾値ＴＨ１，ＴＨ２（ＴＨ１≧ＴＨ２）との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関方向を判定するのか、カラー画像用の相関値を採用して相関方向を判定するのか、あるいは、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。
【００９４】
図１７は、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、以下の（ａ）〜（ｃ）の組み合わせに分類される。
【００９５】
（ａ）ＫＬ＞ＴＨ１の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【００９６】
（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【００９７】
（ｃ）ＴＨ２≧ＫＬの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【００９８】
数１３式から数２０式を用いてカラー画像用の４方向の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃ，ＣｄＡ＿ｃ，ＣｄＢ＿ｃを算出した。また、数２１式から数２４式を用いてグレー画像用の４方向の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍ，ＣｄＡ＿ｍ，ＣｄＢ＿ｍを算出した。選択回路３３は、このグレー画像用とカラー画像用の算出された相関値から、次のように、実際に相関方向の判定に用いる判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【００９９】
（５−１）（ａ）ＫＬ＞ＴＨ１の場合の判定用相関値
数２５式に示すように、カラー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢとして用いる。
【０１００】
【数２５】
【０１０１】
（５−２）（ｃ）ＴＨ２≧ＫＬの場合の判定用相関値
数２６式に示すように、グレー画像用の相関値を判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢとして用いる。
【０１０２】
【数２６】
【０１０３】
（５−３）（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合の判定用相関値
グレー画像用の相関値とカラー画像用の相関値を総合判断して、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを決定する。この判断方法について、以下詳述する。
【０１０４】
まず、数２７式に示すように、カラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃの差分絶対値ｄ＿Ｃｖ＿ｃを求める。
【０１０５】
【数２７】
【０１０６】
また、数２８式に示すように、グレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍの差分絶対値ｄ＿Ｃｖ＿ｍを求める。
【０１０７】
【数２８】
【０１０８】
さらに、数２９式に示すように、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの差分絶対値ｄ＿Ｃｖと、閾値ＴＨｖとの大小を比較する。
【０１０９】
【数２９】
【０１１０】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たすとき、さらに、数３０式の条件を満たすかどうかを判断する。
【０１１１】
【数３０】
【０１１２】
もし、数３０式の条件を満たすならば、判定用相関値Ｃｖとしてカラー画像用の相関値Ｃｖ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
となる。
【０１１３】
もし、数３０式の条件を満たさないならば、判定用相関値Ｃｖとしてグレー画像用の相関値Ｃｖ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
となる。
【０１１４】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たすとき、さらに、数３１式の条件を満たすかどうかを判断する。
【０１１５】
【数３１】
【０１１６】
もし、数３１式の条件を満たすならば、判定用相関値Ｃｈとしてカラー画像用の相関値Ｃｈ＿ｃを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｃ
となる。
【０１１７】
もし、数３１式の条件を満たさないならば、判定用相関値Ｃｈとしてグレー画像用の相関値Ｃｈ＿ｍを採用する。つまり、
Ｃｈ＝Ｃｈ＿ｍ
となる。
【０１１８】
このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより小さい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が小さいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られない場合が想定される。このような場合には、垂直方向、水平方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【０１１９】
差分絶対値ｄ＿Ｃｖと閾値ＴＨｖとの関係が、数２９式の関係を満たさないとき、さらに、数３２式の条件を満たすかどうかを判断する。
【０１２０】
【数３２】
【０１２１】
数３２式の関係を満たすとき、相関判定用としてカラー画像用の相関値Ｃｖ＿ｃ，Ｃｈ＿ｃを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｃ
Ｃｈ＝Ｃｈ＿ｃ
となる。
【０１２２】
数３２式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Ｃｖ＿ｍ，Ｃｈ＿ｍを採用する。つまり、
Ｃｖ＝Ｃｖ＿ｍ
Ｃｈ＝Ｃｈ＿ｍ
となる。
【０１２３】
このように、差分絶対値ｄ＿Ｃｖが閾値ＴＨｖより大きい場合とは、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍとの差が大きいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｖ＿ｃと差分絶対値ｄ＿Ｃｖ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【０１２４】
続いて、数３３式に示すように、カラー画像用の相関値ＣｄＡ＿ｃ，ＣｄＢ＿ｃの差分絶対値ｄ＿Ｃｄｇ＿ｃを求める。
【０１２５】
【数３３】
【０１２６】
また、数３４式に示すように、グレー画像用の相関値ＣｄＡ＿ｍ，ＣｄＢ＿ｍの差分絶対値ｄ＿Ｃｄｇ＿ｍを求める。
【０１２７】
【数３４】
【０１２８】
さらに、数３５式に示すように、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの差分絶対値ｄ＿Ｃｄｇと、閾値ＴＨｄｇとの大小を比較する。
【０１２９】
【数３５】
【０１３０】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たすとき、さらに、数３６式の条件を満たすかどうかを判断する。
【０１３１】
【数３６】
【０１３２】
もし、数３６式の条件を満たすならば、判定用相関値ＣｄＡとしてカラー画像用の相関値ＣｄＡ＿ｃを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｃ
となる。
【０１３３】
もし、数３６式の条件を満たさないならば、判定用相関値ＣｄＡとしてグレー画像用の相関値ＣｄＡ＿ｍを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｍ
となる。
【０１３４】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たすとき、さらに、数３７式の条件を満たすかどうかを判断する。
【０１３５】
【数３７】
【０１３６】
もし、数３７式の条件を満たすならば、判定用相関値ＣｄＢとしてカラー画像用の相関値ＣｄＢ＿ｃを採用する。つまり、
ＣｄＢ＝ＣｄＢ＿ｃ
となる。
【０１３７】
もし、数３７式の条件を満たさないならば、判定用相関値ＣｄＢとしてグレー画像用の相関値ＣｄＢ＿ｍを採用する。つまり、
ＣｄＢ＝ＣｄＢ＿ｍ
となる。
【０１３８】
このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより小さい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が小さいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られない場合が想定される。このような場合には、斜めＡ方向、斜めＢ方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【０１３９】
差分絶対値ｄ＿Ｃｄｇと閾値ＴＨｄｇとの関係が、数３５式の関係を満たさないとき、さらに、数３８式の条件を満たすかどうかを判断する。
【０１４０】
【数３８】
【０１４１】
数３８式の関係を満たすとき、相関判定用としてカラー画像用の相関値ＣｄＡ＿ｃ，ＣｄＢ＿ｃを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｃ
ＣｄＢ＝ＣｄＢ＿ｃ
となる。
【０１４２】
数３８式の関係を満たさないとき、相関判定用としてグレー画像用の相関値ＣｄＡ＿ｍ，ＣｄＢ＿ｍを採用する。つまり、
ＣｄＡ＝ＣｄＡ＿ｍ
ＣｄＢ＝ＣｄＢ＿ｍ
となる。
【０１４３】
このように、差分絶対値ｄ＿Ｃｄｇが閾値ＴＨｄｇより大きい場合とは、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍとの差が大きいときである。つまり、斜めＡ方向、斜めＢ方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値ｄ＿Ｃｄｇ＿ｃと差分絶対値ｄ＿Ｃｄｇ＿ｍの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【０１４４】
以上の処理を実行することで、上記（ｂ）ＴＨ１≧ＫＬ＞ＴＨ２の場合には、グレー画像用の相関値とカラー画像用の相関値を総合判断して判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【０１４５】
選択回路３３は以上の演算処理を実行することにより、上記（ａ），（ｂ），（ｃ）それぞれの場合について、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを選択する。
【０１４６】
このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。
【０１４７】
つまり、グレー画像とカラー画像の境界付近に位置する画像は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、ＲＧＢ各成分が多少なりともばらついていることに注目して、ＲＧＢを区別して相関値を算出する。このような２つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させるのである。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。
【０１４８】
なお、この実施の形態においては、彩度評価値Ｌを正規化した彩度係数ＫＬを用い、彩度係数ＫＬと閾値ＴＨ１，ＴＨ２との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｌと２つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路３３は、相関判定方法と画素補間方法とを選択すると、この選択情報を第１相関判定回路３４１および第２相関判定回路３４２に与える。選択情報には、相関判定方法および画素補間方法として、グレー画像用・カラー画像用いずれのタイプを用いるのかを示す情報と、選択された判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを示す情報が含まれる。
【０１４９】
＜６．各画素における相関方向の判定＞
上述したように、選択回路３３において判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢが選択されると、画素信号と、判定用相関値に関する情報を含む選択情報とが、第１相関判定回路３４１および第２相関判定回路３４２に出力される。つまり、選択回路３３で算出された判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢの値が、第１・第２相関判定回路３４１，３４２の両方に出力され、信号処理回路２から入力した画素信号も、第１・第２相関判定回路３４１，３４２の両方に出力される。第１相関判定回路３４１および第２相関判定回路３４２は、判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢに基づいて、注目画素における相関関係を判定する処理部である。第１相関判定回路３４１は、注目画素における相関関係を高く評価して相関方向を判定する。第２相関判定回路３４２は、第１相関判定回路３４１と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。
【０１５０】
図１８は、第１相関判定回路３４１が相関方向の判定に利用する相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。
【０１５１】
判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ１の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ２の領域に存在するとき、第１相関判定回路３４１は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ３の領域に存在するとき、第１相関判定回路３４１は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ４の領域に存在するとき、第１相関判定回路３４１は、注目画素は垂直、水平両方向について相関が高いと判定する。
【０１５２】
第１相関判定回路３４１は、図１８で示した対応関係図とあわせて、図１９で示す対応関係図を利用する。図１９で示す対応関係図は、判定用相関値ＣｄＡ，ＣｄＢと相関方向との対応関係を示す図である。図１９の縦軸は判定用相関値ＣｄＡであり、横軸は判定用相関値ＣｄＢである。領域Ｂ１は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ２は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ３は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ４は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。
【０１５３】
第１相関判定回路３４１は、４つの判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図１８の関係図を利用する。そして、判定用相関値の対応関係がＡ１〜Ａ４のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値ＣｄＡあるいは判定用相関値ＣｄＢの値が最も小さい場合には、図２０の関係図を利用する。そして、相関値の対応関係がＢ１〜Ｂ４のいずれの領域に該当するかによって相関方向を決定する。
【０１５４】
相関方向が決定すると、後述するように、第１補間回路３５１において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ１にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ２にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ１にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ２にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ３またはＢ３の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ４またはＢ４の領域にあれば平均値補間を行う。
【０１５５】
一方、図２０は、第２相関判定回路３４２が相関方向の判定に利用する判定用相関値の対応関係図である。縦軸が判定用相関値Ｃｖであり、横軸が判定用相関値Ｃｈである。
【０１５６】
判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ５の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は水平方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ６の領域に存在するとき、第２相関判定回路３４２は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ７の領域に存在するとき、第２相関判定回路３４２は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Ｃｖと判定用相関値Ｃｈの関係が、Ａ８の領域に存在するとき、第２相関判定回路３４２は、注目画素は垂直、水平両方向について相関が高いと判定する。
【０１５７】
また、第２相関判定回路３４２は、図２０で示した対応関係図とあわせて、図２１で示す対応関係図を利用する。図２１で示す対応関係図は、判定用相関値ＣｄＡ，ＣｄＢと相関方向との対応関係を示す図である。図２１の縦軸は判定用相関値ＣｄＡであり、横軸は判定用相関値ＣｄＢである。領域Ｂ５は、相関方向が斜めＢ方向と判定される領域であり、領域Ｂ６は、相関方向が斜めＡ方向と判定される領域である。また、領域Ｂ７は、いずれの方向にも相関がないと判定される領域であり、領域Ｂ８は、斜めＡ方向と斜めＢ方向の両方向について相関が高いと判定される領域である。
【０１５８】
第２相関判定回路３４２は、４つの判定用相関値Ｃｖ，Ｃｈ，ＣｄＡ，ＣｄＢを比較する。そして、判定用相関値Ｃｖあるいは判定用相関値Ｃｈの値が最も小さい場合には、図２０の関係図を利用する。そして、判定用相関値の対応関係がＡ５〜Ａ８のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値ＣｄＡあるいは判定用相関値ＣｄＢの値が最も小さい場合には、図２１の関係図を利用する。そして、判定用相関値の対応関係がＢ５〜Ｂ８のいずれの領域に該当するかによって相関方向を決定する。
【０１５９】
相関方向が決定すると、後述するように、第２補間回路３５２において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域Ａ５にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ａ６にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ５にあれば斜めＢ方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域Ｂ６にあれば斜めＡ方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がＡ７またはＢ７の領域にあれば、たとえばメディアン補間を行い、対応関係がＡ８またはＢ８の領域にあれば平均値補間を行う。
【０１６０】
このように、第１相関判定回路３４１と第２相関判定回路３４２は、それぞれ図１８〜図２１で示す判定用相関値の対応関係を利用して相関方向を決定する。この結果、第１相関判定回路３４１は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。つまり、相関方向の画素を積極的に利用して補間を行う。一方、第２相関判定回路３４２は、第１相関判定回路３４１に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。言い換えると、第２補間回路３５２は、積極的に、メディアン補間や平均値補間を採用する補間回路である。
【０１６１】
図１８で示す領域Ａ１と図２０で示す領域Ａ５は、ともに水平方向に相関が高いと判定される領域である。そして、図１８と図２０を比較して分かるように、領域Ａ１を定める直線Ｆ１よりも、領域Ａ５を定める直線Ｆ４の傾きが大きくなっている。さらに、直線Ｆ１が縦軸と交わる点よりも、直線Ｆ４が縦軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値Ｃｈが判定用相関値Ｃｖよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｈが、判定用相関値Ｃｖよりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。
【０１６２】
また、領域Ａ２を定める直線Ｆ２よりも、領域Ａ６を定める直線Ｆ５の傾きが小さくなっている。さらに、直線Ｆ２が横軸と交わる点よりも、直線Ｆ５が横軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値Ｃｖが判定用相関値Ｃｈよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して垂直方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値Ｃｖが判定用相関値Ｃｈよりも十分小さい値をとる関係にある場合に、垂直方向の相関が高いと判定する。
【０１６３】
なお、領域Ａ３と領域Ａ４との境界を定める直線Ｆ３、領域Ａ７と領域Ａ８との境界を定める直線Ｆ６については、図１８、図２０に示した関係は一例である。つまり、直線Ｆ６と軸との交点は、直線Ｆ３と軸との交点よりも大きな値となっているが、このような関係に限定されるものではない。
【０１６４】
図１９および図２１の関係も同様である。領域Ｂ１を定める直線Ｆ１１よりも、領域Ｂ５を定める直線Ｆ１４の傾きが大きくなっている。さらに、直線Ｆ１１が縦軸と交わる点よりも、直線Ｆ１４が縦軸と交わる点の方が大きな値となっている。第１相関判定回路３４１は、判定用相関値ＣｄＢが判定用相関値ＣｄＡよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めＢ方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値ＣｄＢが、判定用相関値ＣｄＡよりも十分小さい値をとる関係にある場合に、斜めＢ方向の相関が高いと判定する。
【０１６５】
また、領域Ｂ２を定める直線Ｆ１２よりも、領域Ｂ６を定める直線Ｆ１５の傾きが小さくなっている。さらに、直線Ｆ１２が横軸と交わる点よりも、直線Ｆ１５が横軸と交わる点の方が大きな値となっている。つまり、第１相関判定回路３４１は、判定用相関値ＣｄＡが判定用相関値ＣｄＢよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めＡ方向の相関が高いと判定する。これに対して、第２相関判定回路３４２は、判定用相関値ＣｄＡが判定用相関値ＣｄＢよりも十分小さい値をとる関係にある場合に、斜めＡ方向の相関が高いと判定する。
【０１６６】
なお、領域Ｂ３と領域Ｂ４との境界を定める直線Ｆ１３、領域Ｂ７と領域Ｂ８との境界を定める直線Ｆ１６については、図１９、図２１に示した関係は一例である。つまり、直線Ｆ１６と軸との交点は、直線Ｆ１３と軸との交点よりも大きな値となっているが、このような関係に限定されるものではない。
【０１６７】
＜７．画素補間処理＞
第１補間回路３５１および第２補間回路３５２において実行される画素補間処理について説明する。第１補間回路３５１および第２補間回路３５２は、上述したように、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について画素補間処理を行う。そして、第１補間回路３５１および第２補間回路３５２は、選択回路３３から出力された選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行する。つまり、選択回路３３において、上記（ｃ）のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する（＜５．相関判定方法と画素補間方法の選択＞の項を参照）。
【０１６８】
（７−１）グレー画像用画素補間
選択回路３３において上記（ｃ）のパターンが選択されている場合には、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、グレー画像用の画素補間処理が実行される。グレー画像用の画素補間は注目画素がＲＧＢいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がＲＧＢいずれの画素であるか、注目画素の周辺の画素がＲＧＢいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。
【０１６９】
具体的には、垂直方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ２に属する判定された場合、第１補間回路３５１は、数３９式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ６に属すると判定された場合、第２補間回路３５２は、数３９式に示す演算式により画素補間処理を実行する。
【０１７０】
【数３９】
【０１７１】
また、水平方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ａ１に属する判定された場合、第１補間回路３５１は、数４０式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ａ５に属すると判定された場合、第２補間回路３５２は、数４０式に示す演算式により画素補間処理を実行する。
【０１７２】
【数４０】
【０１７３】
また、斜めＡ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ２に属する判定された場合、第１補間回路３５１は、数４１式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ６に属すると判定された場合、第２補間回路３５２は、数４１式に示す演算式により画素補間処理を実行する。
【０１７４】
【数４１】
【０１７５】
また、斜めＢ方向の相関値が高いと判定されている場合、つまり、第１相関判定回路３４１において相関方向が領域Ｂ１に属する判定された場合、第１補間回路３５１は、数４２式に示す演算式により画素補間処理を実行する。あるいは、第２相関判定回路３４２において、相関方向が領域Ｂ５に属すると判定された場合、第２補間回路３５２は、数４２式に示す演算式により画素補間処理を実行する。
【０１７６】
【数４２】
【０１７７】
なお、数３９式から数４２式においては、Ｐ２２の項に係数２が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、いずれの方向にも相関が高いと判定されている場合（領域Ａ４，Ｂ４，Ａ８，Ｂ８と判定された場合）、たとえば、平均値補間値を行う。また、いずれの方向にも相関がないと判断された場合（領域Ａ３，Ｂ３，Ａ７，Ｂ７と判定された場合）には、たとえばメディアン補間を用いる。
【０１７８】
（７−２）カラー画像用画素補間
選択回路３３において、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、第１補間回路３５１・第２補間回路３５２は、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がＲＧＢいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、第１相関判定回路３４１・第２相関判定回路３４２において決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。
【０１７９】
たとえば、注目画素がＧ画素である場合であって、垂直方向の相関が高いと判定されている場合（領域Ａ２，Ａ６と判定された場合）には、垂直方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、水平方向の相関が高いと判定されている場合（領域Ａ１，Ａ５と判定された場合）には、水平方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。
【０１８０】
あるいは、注目画素がＧ画素である場合であって、斜めＡ方向の相関が高いと判定されている場合（領域Ｂ２，Ｂ６と判定された場合）には、斜めＡ方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、斜めＢ方向の相関が高いと判定されている場合（領域Ｂ１，Ｂ５と判定された場合）には、斜めＢ方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。
【０１８１】
なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。
【０１８２】
このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。
【０１８３】
このように、本実施の形態における画像処理回路３は、マトリクス領域の彩度評価値Ｌを求め、この彩度評価値Ｌに基づいて、当該領域における着目画素についての相関判定方法と画素補間方法とを選択する。そして、彩度評価値Ｌに基づいてグレー画像とカラー画像とを判定するために２つの閾値ＴＨ１，ＴＨ２を用いる。グレー画像とカラー画像の境界に位置する領域に対しては、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定し、カラー画像用の画素補間方法を用いることにより、偽色の軽減や解像感の改善を図ることができる。
【０１８４】
＜８．色空間変換処理＞
第１補間回路３５１は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第１色空間変換回路３６１に出力する。つまり、第１色空間変換回路３６１が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。また、第２補間回路３５２は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第２色空間変換回路３６２に出力する。つまり、第２色空間変換回路３６２が入力する信号は、各画素がＲＧＢ全ての色成分の信号を備えている。
【０１８５】
そして、第１色空間変換回路３６１は、各画素について、ＲＧＢの画素信号から輝度信号（Ｙ信号）を生成する。一方、第２色空間変換回路３６２は、各画素について、ＲＧＢの画素信号から色差信号（Ｃｂ、Ｃｒ信号）を生成する。このようにして、撮像素子１から出力されたベイヤ配列のＲＧＢ信号は、輝度信号（Ｙ信号）および色差信号（Ｃｂ、Ｃｒ信号）に変換されるのである。
【０１８６】
このように、第１色空間変換回路３６１から出力された輝度信号は、第１補間回路３５１において補間されたＲＧＢ信号から生成される信号である。第１補間回路３５１において補間されたＲＧＢ信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるＹＵＶ信号の解像感を高く維持することが可能である。
【０１８７】
一方、第２色空間変換回路３６２から出力された色差信号は、第２補間回路３５２において補間されたＲＧＢ信号から生成される信号である。第２補間回路３５２において補間されたＲＧＢ信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、ＬＰＦ（Ｌａｗ Ｐａｓｓ Ｆｉｌｔｅｒ）が適用された状態の信号である。これにより、撮像素子１からノイズの多いＲＡＷ画像が出力された場合であっても、生成されるＹＵＶ信号のノイズを抑圧することができる。
【０１８８】
第１色空間変換回路３６１から出力された輝度信号（Ｙ信号）と、第２色空間変換回路３６２から出力された色差信号（Ｃｂ，Ｃｒ信号）は、メモリ５に格納される。
【０１８９】
｛第２の実施の形態｝
図２２は、第２の実施の形態における相関判定方法と画素補間方法の判定基準を示す図である。第１の実施の形態においては、図１７に示したように、選択回路３３は、２つの閾値ＴＨ１，ＴＨ２を用いて相関判定方法と画素補間方法とを選択した。第２の実施の形態においては、図２２に示すように、選択回路３３は、３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ＴＨ１≧ＴＨＭ≧ＴＨ２）を用いて次のように、相関判定方法と画素補間方法とを選択する。
【０１９０】
（ａ’）ＫＬ＞ＴＨ１の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９１】
（ｂ’）ＴＨ１≧ＫＬ＞ＴＨＭの場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９２】
（ｂ”）ＴＨＭ≧ＫＬ＞ＴＨ２の場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【０１９３】
（ｃ’）ＴＨ２≧ＫＬの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【０１９４】
このように、選択回路３３は、３つの閾値を利用し、４つのパターンで、相関判定方法および画素補間方法を選択するのである。第１の実施の形態におけるパターン（ｂ）が、さらに、２つのパターン（ｂ’），（ｂ”）に分けられている。パターン（ｂ’）は、第１の実施の形態におけるパターン（ｂ）と同様である。パターン（ｂ”）を利用することで、よりグレー領域に近い領域については、ＲＧＢを区別することなく相関判定を行うことで、相関方向を高い精度で判定することを可能としている。この閾値ＴＨＭを、閾値ＴＨ１と閾値ＴＨ２内で自由に設定すればよい。閾値ＴＨＭを閾値ＴＨ２と一致させた状態が第１の実施の形態である。
【図面の簡単な説明】
【０１９５】
【図１】本発明にかかるデジタルカメラを示すブロック図である。
【図２】ＲＧＢベイヤ配列の画素の配列パターンを示す図である。
【図３】彩度値と彩度係数との関係を示す図である。
【図４】４つの相関方向を示す図である。
【図５】注目画素がＧ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図６】注目画素がＧ画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図７】注目画素がＧ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。
【図８】注目画素がＧ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。
【図９】注目画素がＲまたはＢ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図１０】注目画素がＲまたはＢ画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図１１】注目画素がＲまたはＢ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。
【図１２】注目画素がＲまたはＢ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。
【図１３】グレー領域における垂直方向の相関値算出方法を示す図である。
【図１４】グレー領域における水平方向の相関値算出方法を示す図である。
【図１５】グレー領域における斜めＡ方向の相関値算出方法を示す図である。
【図１６】グレー領域における斜めＢ方向の相関値算出方法を示す図である。
【図１７】相関判定方法および画素補間方法の判定基準を示す図である。
【図１８】垂直方向・水平方向に関して相関関係を高く評価する対応関係を示す図である。
【図１９】斜めＡ方向・斜めＢ方向に関して相関関係を高く評価する対応関係を示す図である。
【図２０】垂直方向・水平方向に関して相関関係を低く評価する対応関係を示す図である。
【図２１】斜めＡ方向・斜めＢ方向に関して相関関係を低く評価する対応関係を示す図である。
【図２２】第２の実施の形態における相関判定方法および画素補間方法の判定基準を示す図である。
【符号の説明】
【０１９６】
３１ 彩度値算出回路
３２ 相関値算出回路
３３ 選択回路
３４１ 第１相関判定回路
３４２ 第２相関判定回路
３５１ 第１補間回路
３５２ 第２補間回路
３６１ 第１色空間回路
３６２ 第２色空間回路
【特許請求の範囲】
【請求項１】
ａ）所定の色空間の画素信号を入力する工程と、
ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、
ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
を備え、
前記工程ｃ）は、所定の２つの閾値ＴＨ１，ＴＨ２（ただし、ＴＨ１≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする画素補間方法。
【請求項２】
請求項１に記載の画素補間方法において、
前記工程ｃ）は、
ｃ−１）前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、
を含むことを特徴とする画素補間方法。
【請求項３】
ａ）所定の色空間の画素信号を入力する工程と、
ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、
ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
を備え、
前記工程ｃ）は、所定の３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ただし、ＴＨ１≧ＴＨＭ≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨＭ以下の場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする画素補間方法。
【請求項４】
請求項３に記載の画素補間方法において、
前記工程ｃ）は、
ｃ−１）前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、
を含むことを特徴とする画素補間方法。
【請求項５】
請求項２または請求項４に記載の画素補間方法において、
前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡ以下であるとき、第１の方向および第２の方向については、グレー画像用とカラー画像用の相関値のうち、それぞれ相関の高い方の相関値を用いることを特徴とする画素補間方法。
【請求項６】
請求項２または請求項４に記載の画素補間方法において、
前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡより大きいとき、差分絶対値Ａ１の方が大きい場合には、第１の方向および第２の方向について、グレー画像用の相関値を用い、差分絶対値Ａ２の方が大きい場合には、第１の方向および第２の方向について、カラー画像用の相関値を用いることを特徴とする画素補間方法。
【請求項７】
請求項５または請求項６に記載の画素補間方法において、
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする画素補間方法。
【請求項８】
請求項５または請求項６に記載の画素補間方法において、
前記第１の方向は水平方向に対して４５度の傾きのある方向であることを特徴とする画素補間方法。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画素補間方法において、
前記工程ｂ）は、
ｂ−１）前記注目画素及び前記周辺画素を用いて、色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、
ｂ−２）前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、
ｂ−３）前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
を備えることを特徴とする画素補間方法。
【請求項１０】
請求項９に記載の画素補間方法において、
前記工程ｂ−２）は、
ｂ−２−１）前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、
ｂ−２−２）前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、
を含み、
前記工程ｂ−３）は、
ｂ−３−１）前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、
を含むことを特徴とする画素補間方法。
【請求項１】
ａ）所定の色空間の画素信号を入力する工程と、
ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、
ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
を備え、
前記工程ｃ）は、所定の２つの閾値ＴＨ１，ＴＨ２（ただし、ＴＨ１≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする画素補間方法。
【請求項２】
請求項１に記載の画素補間方法において、
前記工程ｃ）は、
ｃ−１）前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、
を含むことを特徴とする画素補間方法。
【請求項３】
ａ）所定の色空間の画素信号を入力する工程と、
ｂ）注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
ｃ）前記彩度評価値に基づいて前記注目画素における相関判定方法と画素補間方法とを選択する工程と、
ｄ）選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
を備え、
前記工程ｃ）は、所定の３つの閾値ＴＨ１，ＴＨＭ，ＴＨ２（ただし、ＴＨ１≧ＴＨＭ≧ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２以下の場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨＭ以下の場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値から選択された相関値を用いた相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする画素補間方法。
【請求項４】
請求項３に記載の画素補間方法において、
前記工程ｃ）は、
ｃ−１）前記彩度評価値が閾値ＴＨＭより大きく閾値ＴＨ１以下の場合には、グレー画像用およびカラー画像用の相関値のうち、前記注目画素における相関をより高く反映していると判定される相関値を用いた相関判定方法を選択する工程、
を含むことを特徴とする画素補間方法。
【請求項５】
請求項２または請求項４に記載の画素補間方法において、
前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡ以下であるとき、第１の方向および第２の方向については、グレー画像用とカラー画像用の相関値のうち、それぞれ相関の高い方の相関値を用いることを特徴とする画素補間方法。
【請求項６】
請求項２または請求項４に記載の画素補間方法において、
前記工程ｃ−１）は、互いに直交する第１の方向と第２の方向について、グレー画像用の第１の方向に関する相関値とグレー画像用の第２の方向に関する相関値との差分絶対値Ａ１と、カラー画像用の第１の方向に関する相関値とカラー画像用の第２の方向に関する相関値との差分絶対値Ａ２とを算出し、差分絶対値Ａ１と差分絶対値Ａ２との差分絶対値Ａ３が所定の閾値ＴＨＡより大きいとき、差分絶対値Ａ１の方が大きい場合には、第１の方向および第２の方向について、グレー画像用の相関値を用い、差分絶対値Ａ２の方が大きい場合には、第１の方向および第２の方向について、カラー画像用の相関値を用いることを特徴とする画素補間方法。
【請求項７】
請求項５または請求項６に記載の画素補間方法において、
前記第１の方向は垂直方向であり、前記第２の方向は水平方向であることを特徴とする画素補間方法。
【請求項８】
請求項５または請求項６に記載の画素補間方法において、
前記第１の方向は水平方向に対して４５度の傾きのある方向であることを特徴とする画素補間方法。
【請求項９】
請求項１ないし請求項８のいずれかに記載の画素補間方法において、
前記工程ｂ）は、
ｂ−１）前記注目画素及び前記周辺画素を用いて、色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、
ｂ−２）前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、
ｂ−３）前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
を備えることを特徴とする画素補間方法。
【請求項１０】
請求項９に記載の画素補間方法において、
前記工程ｂ−２）は、
ｂ−２−１）前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、
ｂ−２−２）前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、
を含み、
前記工程ｂ−３）は、
ｂ−３−１）前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、
を含むことを特徴とする画素補間方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００９−１３０７６４（Ｐ２００９−１３０７６４Ａ）
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願番号】特願２００７−３０５３４７（Ｐ２００７−３０５３４７）
【出願日】平成１９年１１月２７日（２００７．１１．２７）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２１年６月１１日（２００９．６．１１）
【国際特許分類】
【出願日】平成１９年１１月２７日（２００７．１１．２７）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]