画素補間方法
【課題】画素補間精度を向上させることを課題とする。
【解決手段】ＲＧＢベイヤ配列の画素信号について、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の相関値を求める。相関値は、Ｇ信号を用いて算出される。垂直方向と水平方向を第１の組とし、斜めＡ,Ｂ方向を第２の組とし、相関値の偏りの大きい組を選択する。そして、偏りの大きい組の中で相関度の高い方向を選択し、当該方向について画素補間を行う。あるいは、偏りの大きい組に属する２つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う。
【解決手段】ＲＧＢベイヤ配列の画素信号について、垂直方向、水平方向、斜めＡ方向、斜めＢ方向の相関値を求める。相関値は、Ｇ信号を用いて算出される。垂直方向と水平方向を第１の組とし、斜めＡ,Ｂ方向を第２の組とし、相関値の偏りの大きい組を選択する。そして、偏りの大きい組の中で相関度の高い方向を選択し、当該方向について画素補間を行う。あるいは、偏りの大きい組に属する２つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等に用いられる画素補間方法に関する。
【背景技術】
【０００２】
デジタルカメラ等で利用されるＣＣＤ撮像素子は、色フィルタを介して受光する光を光電変換して画素データを出力する。この色フィルタには、ＲＧＢ系フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の色フィルタにおいては、１画素について１色の画素データが出力される。たとえば、ＲＧＢ系色フィルタであれば、１画素についてＲ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分の画素データが出力される。
【０００３】
このため、単板式の色フィルタを備えるＣＣＤ撮像素子から出力された画素データについては、各画素について単一色の画像データしか出力されないため、他の色成分の画像データについては補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。
【０００４】
しかし、補間処理は注目画素の画素データを周囲の画素データから推測する処理であるから、画像の内容次第では誤った補間を行う場合がある。そこで、上下方向のＧ信号の差分と左右方向のＧ信号の差分を算出することにより、垂直方向および水平方向の相関度を求め、この相関度に応じた画素補間を行うなど、補間精度を向上させるための技術が存在する。
【０００５】
また、下記特許文献においては、垂直方向に加えて斜め方向の相関度を評価して、画素補間を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−１５３５６２号公報
【特許文献２】特開２００１−９４９５１号公報
【特許文献３】特開２００３−２３０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の方法では、斜め方向の相関度を評価することで画素の補間精度を向上させているが、垂直、水平方向の相関度を用いた補間方法をそのまま拡張しているだけであるので、誤った補間を行うケースも発生する。
【０００８】
そこで、本発明は前記問題点に鑑み、複数の相関度を用いた画素補間技術において、補間精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１記載の発明は、所定の色空間の画素データを入力する第１工程と、注目画素の周辺画素を用いて、第１の方向における画素の相関度と、前記第１の方向と直交する第２の方向における画素の相関度と、前記第１および第２の方向とは異なる第３の方向における画素の相関度と、前記第３の方向と直交する第４の方向における画素の相関度と、を求める第２工程と、前記第２工程で求められた相関度に基づいて、前記第１〜第４の４つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、を備えることを特徴とする。
【００１０】
請求項２記載の発明は、請求項１に記載の画素補間方法において、前記所定の色空間の画素データは、前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、を含むことを特徴とする。
【００１１】
請求項３記載の発明は、請求項１または請求項２に記載の画素補間方法において、前記第１の方向は垂直方向あるいは水平方向であり、前記第３の方向は垂直方向に対して４５度の傾きを持った方向であることを特徴とする。
【００１２】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画素補間方法において、前記第２工程は、前記画素データがＲＧＢ色空間の画素データである場合にはＧ信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする。
【発明の効果】
【００１３】
本発明は、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関度を求め、この相関度を判定基準として補間処理を実行するので、より精度の高い補間処理を実行することが可能である。
【００１４】
また、本発明は複数の斜め方向の相関度を考慮することとしているので、今後撮像素子に、８角形、１２角形のように斜め方向に画素が配列される形態のものが増加した場合においても有効である。
【図面の簡単な説明】
【００１５】
【図１】実施の形態に係るデジタルカメラのブロック図である。
【図２】一般的なＲＧＢベイヤ配列を示す図である。
【図３】相関度を算出する４つの方向を示す図である。
【図４】注目画素をＧ信号とする場合の４方向の相関度算出方法を示す図である。
【図５】注目画素をＲ信号とする場合の４方向の相関度算出方法を示す図である。
【図６】ＲＧＢベイヤ配列が４５度回転した配列を示す図である。
【図７】図６で示す画素信号の出力配列を示す図である。
【図８】注目画素をＧ信号とする場合の４方向の相関度算出方法を示す図である。
【図９】注目画素をＢ信号とする場合の４方向の相関度算出方法を示す図である。
【図１０】重み付け係数を算出する関数を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の画素補間方法をデジタルカメラにおいて適用させた場合の実施の形態について説明する。図１は、実施の形態に係るデジタルカメラ１の機能ブロック図である。デジタルカメラ１は、撮像センサであるＣＣＤ２と、Ａ／Ｄ変換回路３と、画像処理回路４と、メモリ６と、ＬＣＤ７とを備えている。画像処理回路４は、本発明の画素補間方法が適用される色補間回路５を備えている。
【００１７】
この実施の形態において、ＣＣＤ２はＲＧＢベイヤ配列の色フィルタアレイを備えている。したがって、被写体から入射した光は、ＲＧＢベイヤ配列の色フィルタによって、ＲＧＢ各色の光に分解される。そして、ＲＧＢ各色の光は、ＣＣＤ２の各画素において光電変換され、電荷情報として蓄積される。ＣＣＤ２は、蓄積した電荷情報をアナログの画像信号として出力する。このアナログの画像信号は、Ａ／Ｄ変換回路３においてデジタル変換され、Ａ／Ｄ変換回路３は、ＲＧＢベイヤ配列の画像信号をデジタル信号として出力する。Ａ／Ｄ変換回路３から出力される画像信号は、図２に示すように、Ｒ（赤色）信号とＧ（緑色）信号が交互に出力される水平ラインと、Ｇ（緑色）信号とＢ（青色）信号が交互に出力される水平ラインとが交互に出力される信号である。
【００１８】
なお、この実施の形態においては、ＣＣＤ２から出力される画像信号をＲＧＢベイヤ配列の画像信号としているが、本発明の画素補間方法は、補色系の色フィルタアレイを備えた撮像センサから出力された画像信号など、様々な画像信号に適用可能である。
【００１９】
Ａ／Ｄ変換回路３から出力されたベイヤ配列の画像信号は、画像処理回路４に入力され、色補間回路５において色補間処理が施される。この色補間処理において本発明の特徴である画素補間方法が実行される。これにより、１画素がＲＧＢ３つの色成分の信号をもつ画像信号へと変換される。そして、その他の補正処理、圧縮処理等が施された後、画像信号は、メモリ６に格納される。あるいは、ＬＣＤ７に対して出力される。
【００２０】
｛実施の形態１｝：一般的なＲＧＢベイヤ配列の画素配列に対する処理
本発明の実施の形態１に係る画素補間方法について説明する。実施の形態１においては、ＣＣＤ２から出力される画素信号は、図２に示すような一般的なＲＧＢベイヤ配列の画素信号である。
【００２１】
図２において、色成分を表す記号Ｒ（赤色）,Ｇ（緑色）,Ｂ（青色）に続く２桁の数字は、１桁目が画素配列の行数、２桁目が画素配列の列数を示している。この例では、偶数行のラインは、Ｒ→Ｇ→Ｒ→Ｇ・・・というように、ＲとＧが交互に読み出されるラインであり、奇数行のラインは、Ｇ→Ｂ→Ｇ→Ｂ・・・というように、ＧとＢの画素が交互に読み出されるラインである。
【００２２】
図３は、図２で示した画素配列に対して相関度を評価する４つの方向を示している。本実施の形態においては、互いに直交する２方向の組が２組利用される。１組目は、互いに直交する垂直方向と水平方向の組であり、２組目は、互いに直行する斜めＡ方向と斜めＢ方向の組である。また、この実施の形態において、斜めＡ方向は、垂直方向から左４５度に傾いた方向であり、斜めＢ方向は、垂直方向から右４５度に傾いた方向である。
【００２３】
なお、図２,図４〜図９において、太実線で描かれた円はＧ信号であり、細実線で描かれた円はＲ信号であり、破線で描かれた円はＢ信号を示している。また、各図面においてＲ００,Ｇ０１等の表記は、画素を識別する名称として使用しているが、数１式〜数２０式において、Ｒ００,Ｇ０１等の表記は、各画素の画素値を示すものとする。
【００２４】
＜相関値計算方法＞
図４（Ａ）〜（Ｄ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも７×７領域などを利用してもよい。
【００２５】
図４（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１式となる。
【００２６】
【数１】
【００２７】
つまり、７つのＧ信号（Ｇ１１,Ｇ３１,Ｇ０２,Ｇ２２,Ｇ４２,Ｇ１３,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向への相関度が高いことを示している。
【００２８】
図４（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数２式となる。
【００２９】
【数２】
【００３０】
つまり、７つのＧ信号（Ｇ１１,Ｇ１３,Ｇ２０,Ｇ２２,Ｇ２４,Ｇ３１,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向への相関度が高いことを示している。
【００３１】
図４（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数３式となる。
【００３２】
【数３】
【００３３】
つまり、５つのＧ信号（Ｇ００,Ｇ１１,Ｇ２２,Ｇ３３,Ｇ４４）の画素値を用いて、斜めＡ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向への相関度が高いことを示している。
【００３４】
図４（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数４式となる。
【００３５】
【数４】
【００３６】
つまり、５つのＧ信号（Ｇ０４,Ｇ１３,Ｇ２２,Ｇ３１,Ｇ４０）の画素値を用いて、斜めＢ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００３７】
図５（Ａ）〜（Ｄ）は、注目画素がＲ信号（ここではＲ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも３×３領域や７×７領域を利用してもよい。
【００３８】
図５（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数５式となる。
【００３９】
【数５】
【００４０】
つまり、８つのＧ信号（Ｇ０１,Ｇ２１,Ｇ４１,Ｇ１２,Ｇ３２,Ｇ０３,Ｇ２３,Ｇ４３）の画素値を用いて、垂直方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００４１】
図５（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数６式となる。
【００４２】
【数６】
【００４３】
つまり、８つのＧ信号（Ｇ１０,Ｇ１２,Ｇ１４,Ｇ２１,Ｇ２３,Ｇ３０,Ｇ３２,Ｇ３４）の画素値を用いて、水平方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【００４４】
図５（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数７式となる。
【００４５】
【数７】
【００４６】
つまり、８つのＧ信号（Ｇ１０,Ｇ２１,Ｇ３２,Ｇ４３,Ｇ０１,Ｇ１２,Ｇ２３,Ｇ３４）の画素値を用いて、斜めＡ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【００４７】
図５（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数８式となる。
【００４８】
【数８】
【００４９】
つまり、８つのＧ信号（Ｇ０３,Ｇ１２,Ｇ２１,Ｇ３０,Ｇ１４,Ｇ２３,Ｇ３２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００５０】
Ｂ信号が注目画素である場合の画素補間方法については、Ｒ信号が注目画素である場合と同様である。つまり、図５において、Ｒ信号とＢ信号とを入れ替え、同様に、数５式〜数８式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出し、各方向についての相関度を評価することが可能である。
【００５１】
次に、上述した方法により求めた４方向の相関値から４方向の相関度を評価し、画素の補間を行う３つの方法について説明する。
【００５２】
＜第１の画素補間方法＞
まず、第１の画素補間方法について説明する。第１の方法では、垂直方向、水平方向、斜めＡ方向、斜めＢ方向のうち、垂直方向と水平方向とからなる組を第１の組とし、斜めＡ方向と斜めＢ方向とからなる組を第２の組として、相関度の評価を行い、相関度の偏りの大きい組を選択する。
【００５３】
つまり、第１の組において垂直方向の相関値（Ｃvertical）と水平方向の相関値（Ｃhorizontal）の差分絶対値｜Ｃvertical−Ｃhorizontal|を算出し、第２の組においては斜めＡ方向の相関値（ＣdiagonalＡ）と斜めＢ方向の相関値（ＣdiagonalＢ）の差分絶対値｜ＣdiagonalＡ−ＣdiagonalＢ｜を算出する。そして、２つの差分絶対値の大小を評価し、差分絶対値の大きい組を相関度の偏りの大きい組として選択するのである。
【００５４】
たとえば、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、斜めＡ方向の相関値（ＣdiagonalＡ）＝１０、斜めＢ方向の相関値（ＣdiagonalＢ）＝５である場合であれば、｜２０−１０｜＞｜１０−５｜となり、相関度の偏りが大きい第１の組が選択される。
【００５５】
相関度の偏りの大きい組が決定すると、次に、相関度の偏りの大きい組の中で、相関度の大きい方向が選択される。上で示した例であれば、第１の組が選択されているが、その中で、垂直方向の相関値（Ｃvertical）＝２０、水平方向の相関値（Ｃhorizontal）＝１０であるので、相関度の大きい方向、つまり、相関値の小さい水平方向が選択されるのである。
【００５６】
このようにして、相関度の偏りが大きい組が選択され、さらに、相関度の偏りの大きい組の中で、相関度の大きい方向が選択されると、この相関度の大きい方向について画素補間を行うのである。具体的には、図４で示したように、Ｇ信号が注目画素の場合であれば、この注目画素についてＲ信号あるいはＢ信号を、選択された方向の同色画素を用いて画素補間するのである。図５で示したように、Ｒ信号が注目画素の場合であれば、この注目画素についてＧ信号あるいはＢ信号を、選択された方向の同色画素を用いて画素補間するのである。同様に、注目画素がＢの場合であれば、この注目画素についてＧ信号あるいはＲ信号を、選択された方向の同色画素を用いて画素補間するのである。
【００５７】
また、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、平均値を算出することやリニア補間を行うで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。ただし、本発明における上記の相関度の評価が考慮されていれば、特に、補間方法については限定されるものではない。
【００５８】
上述した例、つまり、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、斜めＡ方向の相関値（ＣdiagonalＡ）＝１０、斜めＢ方向の相関値（ＣdiagonalＢ）＝５の場合であれば、第１の組が選択され、さらに、水平方向が選択されるので、Ｇ信号が注目画素である場合には、水平方向のＲ信号を用いて注目画素のＲ信号を画素補間し、水平方向のＢ信号（水平ライン上にＢ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＢ信号）を用いて注目画素のＢ信号を画素補間するのである。同様に、Ｒ信号が注目画素である場合には、水平方向のＢ信号（水平ライン上にＢ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＢ信号）を用いて注目画素のＢ信号を画素補間し、水平方向のＧ信号を用いて注目画素のＧ信号を画素補間し、Ｂ信号が注目画素である場合には、水平方向のＲ信号（水平ライン上にＲ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＲ信号）を用いて注目画素のＲ信号を画素補間し、水平方向のＧ信号を用いて注目画素のＧ信号を画素補間するのである。
【００５９】
＜第２の画素補間方法＞
次に、第２の画素補間方法について説明する。上述した第１の画素補間方法と同様に、この第２の方法においても、第１の組および第２の組のうち相関度の偏りの大きい組が選択される。そして、第２の方法では、この選択された相関度の大きい組に含まれる２方向の相関度を利用する。具体的には、選択された相関度の大きい組に含まれる２方向について、相関度に応じた比率で重み付けを行い、２方向の画素変化を考慮した画素補間を行うのである。
【００６０】
上記の例であれば、選択された相関度の偏りの大きい第１の組において、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０であり、相関値の比は２／３：１／３となるので、相関度の比は、１／３：２／３となる。ここで、注目画素について垂直方向において画素補間を行った画素値をＰ１、水平方向に画素補間を行った画素値をＰ２とすると、相関度の比率に応じて重み付けをした「Ｐ１×１／３＋Ｐ２×２／３」の値を注目画素の画素値とするのである。これにより、垂直、水平２方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
【００６１】
一般的には、選択された相関度の偏りの大きい組に含まれる２つの方向Ｘ,Ｙの相関値をＣＸ,ＣＹ（ＣＸ,ＣＹの算出方法は、数１式〜数８式で示した方法と同様。）とし、Ｘ,Ｙ方向において画素補間を行った画素値をＰＸ,ＰＹとすると、２つの方向Ｘ,Ｙに対する相関度の比は、数９式のようになる。
【００６２】
【数９】
【００６３】
従って、２つの方向Ｘ,Ｙの相関度の比率に応じて重み付けされた画素補間値は、数１０式で表される。
【００６４】
【数１０】
【００６５】
また、上記の例では、相関度の比をそのまま重み付け係数として利用し、相関度に応じて単純比例配分するようにしたが、図１０（ａ）,（ｂ）に示すような関数を用いて重み付け係数を算出するようにしてもよい。図中、横軸は相関度の比率（単純比例配分を行う場合の重み付け係数に対応する。）、縦軸は各関数によって決定される重み付け係数の値を示している。
【００６６】
図に示すように、この重み付け係数を求める関数は、単純なリニア関数ではなく、相関度の比率の領域によって、その傾きが異なるように設定されている。つまり、相関度の比率によって異なる関数を適用させるようにしている。図１０に示した各領域における関数の傾きは一例であるが、このように、各領域における関数を自由に設定できるようにしている。
【００６７】
図１０で示したような関数を用いる場合、ルックアップテーブル（ＬＵＴ）として関数の値を予めＲＯＭに格納するようにしてもよいし、関数の計算式をソフトウェア処理として実行するようにしてもよい。
【００６８】
＜第３の画素補間方法＞
次に、第３の画素補間方法について説明する。この方法は、上記の方法で求められた４つの方向の相関度に応じて、４つの全ての方向について相関度の比率に応じた重み付けを行って画素補間を行う方法である。
【００６９】
上記の例であれば、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、相関値（ＣdiagonalＡ）＝１０、相関値（ＣdiagonalＢ）＝５であり、相関値の比率は２０／４５：１０／４５：１０／４５：５／４５となるので、相関度の比率は、２５／４５：３５／４５：３５／４５：４０／４５となる。この相関度比の算出方法は一例であり、他の例については後述する。
【００７０】
そして、注目画素について垂直方向において画素補間を行った画素値をＰ１、水平方向に画素補間を行った画素値をＰ２、斜めＡ方向に画素補間を行った画素値をＰ３、斜めＢ方向に画素補間を行った画素値をＰ４とすると、相関度の比率に応じて重み付けされた画素値「Ｐ１×２５／４５＋Ｐ２×３５／４５＋Ｐ３×３５／４５＋Ｐ４×４０／４５」を注目画素の画素値とするのである。これにより、垂直、水平、斜めＡ、斜めＢの４方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
【００７１】
一般的には、Ｘ,Ｙ,Ｚ,Ω方向における相関度をＣＸ,ＣＹ,ＣＺ,ＣΩ（ＣＸ,ＣＹ,ＣＺ,ＣΩの算出方法は、数１式〜数８式で示した方法と同様。）とし、Ｘ,Ｙ,Ｚ,Ω方向において画素補間を行った画素値をＰＸ,ＰＹ,ＰＺ,ＰΩとすると、４つの方向Ｘ,Ｙ,Ｚ,Ωに対する相関度の比は、数１１式のようになる。
【００７２】
【数１１】
【００７３】
従って、４つの方向Ｘ,Ｙ,Ｚ,Ωの相関度の比率に応じて重み付けされた画素補間値は、数１２式で表される。
【００７４】
【数１２】
【００７５】
また、重み付け係数を算出する方法として、この第３の方法においても、図１０に示すような関数を用いることが可能である。
【００７６】
また、別の相関度比率の求め方として、相関値の逆比を用いるようにしてもよい。つまり、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、相関値（ＣdiagonalＡ）＝１０、相関値（ＣdiagonalＢ）＝５であり、相関値の比率は２０：１０：１０：５であるので、相関度の比率をこれらの逆比、１／２０：１／１０：１／１０：１／５すなわち１／９：２／９：２／９：４／９とする方法である。
【００７７】
あるいは、また別の相関度比率の求め方として、相関度乖離率を考慮するようにしてもよい。つまり、それそれの組における相関度の比が、１０／３０：２０／３０と５／１５：１０／１５であり、それぞれの組についての相関度乖離率が、｜２０−１０｜：｜１０−５｜すなわち２／３：１／３であるので、各組の相関度の比率に相関度乖離率を乗じることにより、相関度の比率を１０／３０×２／３：２０／３０×２／３：５／１５×１／３：１０／１５×１／３、すなわち、２／９：４／９：１／９：２／９とするのである。また、この方法において、相関係数、相関乖離率それぞれについて図１０に示す非線形な特性を適用することもできる。
【００７８】
｛実施の形態２｝：ＲＧＢベイヤ配列を４５度回転させた画素配列に対する処理
本発明の実施の形態２に係る画素補間方法について説明する。実施の形態２におけるＣＣＤ２は、図６に示すような画素配列となっている。つまり、図２で示した一般的なＲＧＢベイヤ配列を４５度回転させた画素配列となっている。たとえば、このような画素配列のＣＣＤとしてハニカムＣＣＤが知られている。
【００７９】
そして、このようなＣＣＤ２から出力される画素信号は、図７に示すような配列の画素信号である。この例では、偶数行（偶数ライン）は、Ｒ→Ｂ→Ｒ→Ｂ・・・とＲ（赤色）とＢ（青色）が交互に読み出され、奇数行（奇数ライン）はＧ→Ｇ→Ｇ→Ｇ・・・のようにＧ（緑色）の画素が連続的に読み出される。このように出力信号の配列が実施の形態１とは異なるため、実施の形態１で説明した方法とは異なる方法を用いる。
【００８０】
この実施の形態においても図３で示したように、互いに直交する相関方向の組が２組利用される。
【００８１】
＜相関値計算方法＞
図８（Ａ）〜（Ｄ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした３×３の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも５×５領域や７×７領域のＧ信号を利用してもよい。
【００８２】
図８（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１３式となる。
【００８３】
【数１３】
【００８４】
つまり、３つのＧ信号（Ｇ０２,Ｇ２２,Ｇ４２）の画素値を用いて、垂直方向の画素差分絶対値を２組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００８５】
図８（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数１４式となる。
【００８６】
【数１４】
【００８７】
つまり、３つのＧ信号（Ｇ３２,Ｇ２２,Ｇ２３）の画素値を用いて、水平方向の画素差分絶対値を２組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【００８８】
図８（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数１５式となる。
【００８９】
【数１５】
【００９０】
つまり、３つのＧ信号（Ｇ０１,Ｇ２２,Ｇ４３）の画素値を用いて、斜めＡ方向の画素差分絶対値を２組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【００９１】
図８（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数１６式となる。
【００９２】
【数１６】
【００９３】
つまり、３つのＧ信号（Ｇ０３,Ｇ２２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を２組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００９４】
図９（Ａ）〜（Ｄ）は、注目画素がＢ信号（ここではＢ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした２×４の周辺領域のＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。
【００９５】
図９（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１７式となる。
【００９６】
【数１７】
【００９７】
つまり、８つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００９８】
図９（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数１８式となる。
【００９９】
【数１８】
【０１００】
つまり、８つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を６組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【０１０１】
図９（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数１９式となる。
【０１０２】
【数１９】
【０１０３】
つまり、６つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、斜めＡ方向の画素差分絶対値を３組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【０１０４】
図９（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数２０式となる。
【０１０５】
【数２０】
【０１０６】
つまり、６つのＧ信号（Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２）の画素値を用いて、斜めＢ方向の画素差分絶対値を３組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【０１０７】
Ｒ信号が注目画素である場合の画素補間方法については、Ｂ信号が注目画素である場合と同様である。つまり、図９において、Ｂ信号とＲ信号とを入れ替え、同様に数１７式〜数２０式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出することが可能である。
【０１０８】
以上の方法により、水平、垂直、斜めＡ、斜めＢ方向について４つの相関値（Ｃvertical,Ｃhorizontal,ＣdiagonalＡ,ＣdiagonalＢ）が算出されると、第１の実施の形態で説明した３つの画素補間方法と同様の方法により、画素補間を行うことが可能である。つまり、第１の方法は、相関度の偏りの大きい組を選択し、さらに、相関度の偏りの大きい組の中で相関度の高い方向を選択する。そして、当該方向について画素補間を行う方法である。第２の方法は、相関度の偏りの大きい組を選択し、相関度の偏りの大きい組に含まれる２つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。また、第３の方法は、４つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。
【０１０９】
｛変形例｝
上記実施の形態においては、斜めＡ方向および斜めＢ方向は、それぞれ垂直方向から４５度の傾きをもつ組を選択したが、これは一例である。斜めＡ方向と斜めＢ方向が互い直交する関係を持っていれば、垂直方向に対する傾きとして他の角度を選択するようにしてもよい。
【０１１０】
また、上記実施の形態においては、Ｇ信号について相関値を算出するようにしたが、入力する画素データが、たとえば、輝度信号を含むデータである場合には、輝度信号を用いて相関値を求めるようにすることが好ましい。ただし、本発明の画素補間方法において相関値を求める画素成分は、Ｇ信号や輝度信号に限定されるものではなく、他の色を用いて相関値を求めるようにしてもよい。
【０１１１】
また、相関値を評価する際に、閾値との評価を行うようにしてもよい。上述の如く、本実施の形態においては、垂直、水平、斜めＡ、斜めＢ方向について相関値を算出した。そして、それぞれの相関値を所定の閾値と比較評価するのである。そして、たとえば、４つの方向において画素補間を行う上記第３の画素補間方法において、閾値を下回る相関値を有する方向のみ（つまり、相関度の高い方向のみ）について画素補間を行うようにしてもよい。また、いずれの方向についても相関値が閾値を上回る場合（つまり、いずれの方向についても相関度が高くない場合）には、メディアン補間あるいは平均値補間のどちらを使うかを選択するなど、状況に応じて補間方法を切り替えるようにしてもよい。
【符号の説明】
【０１１２】
４ 画像処理回路
５ 色補間回路
【技術分野】
【０００１】
本発明は、デジタルカメラ等に用いられる画素補間方法に関する。
【背景技術】
【０００２】
デジタルカメラ等で利用されるＣＣＤ撮像素子は、色フィルタを介して受光する光を光電変換して画素データを出力する。この色フィルタには、ＲＧＢ系フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の色フィルタにおいては、１画素について１色の画素データが出力される。たとえば、ＲＧＢ系色フィルタであれば、１画素についてＲ（赤色）成分、または、Ｇ（緑色）成分、または、Ｂ（青色）成分の画素データが出力される。
【０００３】
このため、単板式の色フィルタを備えるＣＣＤ撮像素子から出力された画素データについては、各画素について単一色の画像データしか出力されないため、他の色成分の画像データについては補間処理を行うようにしている。そして、この補間処理については様々なアルゴリズムが用いられている。
【０００４】
しかし、補間処理は注目画素の画素データを周囲の画素データから推測する処理であるから、画像の内容次第では誤った補間を行う場合がある。そこで、上下方向のＧ信号の差分と左右方向のＧ信号の差分を算出することにより、垂直方向および水平方向の相関度を求め、この相関度に応じた画素補間を行うなど、補間精度を向上させるための技術が存在する。
【０００５】
また、下記特許文献においては、垂直方向に加えて斜め方向の相関度を評価して、画素補間を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−１５３５６２号公報
【特許文献２】特開２００１−９４９５１号公報
【特許文献３】特開２００３−２３０１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の方法では、斜め方向の相関度を評価することで画素の補間精度を向上させているが、垂直、水平方向の相関度を用いた補間方法をそのまま拡張しているだけであるので、誤った補間を行うケースも発生する。
【０００８】
そこで、本発明は前記問題点に鑑み、複数の相関度を用いた画素補間技術において、補間精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１記載の発明は、所定の色空間の画素データを入力する第１工程と、注目画素の周辺画素を用いて、第１の方向における画素の相関度と、前記第１の方向と直交する第２の方向における画素の相関度と、前記第１および第２の方向とは異なる第３の方向における画素の相関度と、前記第３の方向と直交する第４の方向における画素の相関度と、を求める第２工程と、前記第２工程で求められた相関度に基づいて、前記第１〜第４の４つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、を備えることを特徴とする。
【００１０】
請求項２記載の発明は、請求項１に記載の画素補間方法において、前記所定の色空間の画素データは、前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、を含むことを特徴とする。
【００１１】
請求項３記載の発明は、請求項１または請求項２に記載の画素補間方法において、前記第１の方向は垂直方向あるいは水平方向であり、前記第３の方向は垂直方向に対して４５度の傾きを持った方向であることを特徴とする。
【００１２】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画素補間方法において、前記第２工程は、前記画素データがＲＧＢ色空間の画素データである場合にはＧ信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする。
【発明の効果】
【００１３】
本発明は、注目画素の周辺領域の画素データを用いて、直角に交わる２方向の複数組の相関度を求め、この相関度を判定基準として補間処理を実行するので、より精度の高い補間処理を実行することが可能である。
【００１４】
また、本発明は複数の斜め方向の相関度を考慮することとしているので、今後撮像素子に、８角形、１２角形のように斜め方向に画素が配列される形態のものが増加した場合においても有効である。
【図面の簡単な説明】
【００１５】
【図１】実施の形態に係るデジタルカメラのブロック図である。
【図２】一般的なＲＧＢベイヤ配列を示す図である。
【図３】相関度を算出する４つの方向を示す図である。
【図４】注目画素をＧ信号とする場合の４方向の相関度算出方法を示す図である。
【図５】注目画素をＲ信号とする場合の４方向の相関度算出方法を示す図である。
【図６】ＲＧＢベイヤ配列が４５度回転した配列を示す図である。
【図７】図６で示す画素信号の出力配列を示す図である。
【図８】注目画素をＧ信号とする場合の４方向の相関度算出方法を示す図である。
【図９】注目画素をＢ信号とする場合の４方向の相関度算出方法を示す図である。
【図１０】重み付け係数を算出する関数を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ本発明の画素補間方法をデジタルカメラにおいて適用させた場合の実施の形態について説明する。図１は、実施の形態に係るデジタルカメラ１の機能ブロック図である。デジタルカメラ１は、撮像センサであるＣＣＤ２と、Ａ／Ｄ変換回路３と、画像処理回路４と、メモリ６と、ＬＣＤ７とを備えている。画像処理回路４は、本発明の画素補間方法が適用される色補間回路５を備えている。
【００１７】
この実施の形態において、ＣＣＤ２はＲＧＢベイヤ配列の色フィルタアレイを備えている。したがって、被写体から入射した光は、ＲＧＢベイヤ配列の色フィルタによって、ＲＧＢ各色の光に分解される。そして、ＲＧＢ各色の光は、ＣＣＤ２の各画素において光電変換され、電荷情報として蓄積される。ＣＣＤ２は、蓄積した電荷情報をアナログの画像信号として出力する。このアナログの画像信号は、Ａ／Ｄ変換回路３においてデジタル変換され、Ａ／Ｄ変換回路３は、ＲＧＢベイヤ配列の画像信号をデジタル信号として出力する。Ａ／Ｄ変換回路３から出力される画像信号は、図２に示すように、Ｒ（赤色）信号とＧ（緑色）信号が交互に出力される水平ラインと、Ｇ（緑色）信号とＢ（青色）信号が交互に出力される水平ラインとが交互に出力される信号である。
【００１８】
なお、この実施の形態においては、ＣＣＤ２から出力される画像信号をＲＧＢベイヤ配列の画像信号としているが、本発明の画素補間方法は、補色系の色フィルタアレイを備えた撮像センサから出力された画像信号など、様々な画像信号に適用可能である。
【００１９】
Ａ／Ｄ変換回路３から出力されたベイヤ配列の画像信号は、画像処理回路４に入力され、色補間回路５において色補間処理が施される。この色補間処理において本発明の特徴である画素補間方法が実行される。これにより、１画素がＲＧＢ３つの色成分の信号をもつ画像信号へと変換される。そして、その他の補正処理、圧縮処理等が施された後、画像信号は、メモリ６に格納される。あるいは、ＬＣＤ７に対して出力される。
【００２０】
｛実施の形態１｝：一般的なＲＧＢベイヤ配列の画素配列に対する処理
本発明の実施の形態１に係る画素補間方法について説明する。実施の形態１においては、ＣＣＤ２から出力される画素信号は、図２に示すような一般的なＲＧＢベイヤ配列の画素信号である。
【００２１】
図２において、色成分を表す記号Ｒ（赤色）,Ｇ（緑色）,Ｂ（青色）に続く２桁の数字は、１桁目が画素配列の行数、２桁目が画素配列の列数を示している。この例では、偶数行のラインは、Ｒ→Ｇ→Ｒ→Ｇ・・・というように、ＲとＧが交互に読み出されるラインであり、奇数行のラインは、Ｇ→Ｂ→Ｇ→Ｂ・・・というように、ＧとＢの画素が交互に読み出されるラインである。
【００２２】
図３は、図２で示した画素配列に対して相関度を評価する４つの方向を示している。本実施の形態においては、互いに直交する２方向の組が２組利用される。１組目は、互いに直交する垂直方向と水平方向の組であり、２組目は、互いに直行する斜めＡ方向と斜めＢ方向の組である。また、この実施の形態において、斜めＡ方向は、垂直方向から左４５度に傾いた方向であり、斜めＢ方向は、垂直方向から右４５度に傾いた方向である。
【００２３】
なお、図２,図４〜図９において、太実線で描かれた円はＧ信号であり、細実線で描かれた円はＲ信号であり、破線で描かれた円はＢ信号を示している。また、各図面においてＲ００,Ｇ０１等の表記は、画素を識別する名称として使用しているが、数１式〜数２０式において、Ｒ００,Ｇ０１等の表記は、各画素の画素値を示すものとする。
【００２４】
＜相関値計算方法＞
図４（Ａ）〜（Ｄ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象領域としているが、周辺領域の範囲は特には限定されるものではない。他にも７×７領域などを利用してもよい。
【００２５】
図４（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１式となる。
【００２６】
【数１】
【００２７】
つまり、７つのＧ信号（Ｇ１１,Ｇ３１,Ｇ０２,Ｇ２２,Ｇ４２,Ｇ１３,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど垂直方向への相関度が高いことを示している。
【００２８】
図４（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数２式となる。
【００２９】
【数２】
【００３０】
つまり、７つのＧ信号（Ｇ１１,Ｇ１３,Ｇ２０,Ｇ２２,Ｇ２４,Ｇ３１,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど水平方向への相関度が高いことを示している。
【００３１】
図４（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数３式となる。
【００３２】
【数３】
【００３３】
つまり、５つのＧ信号（Ｇ００,Ｇ１１,Ｇ２２,Ｇ３３,Ｇ４４）の画素値を用いて、斜めＡ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど斜めＡ方向への相関度が高いことを示している。
【００３４】
図４（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数４式となる。
【００３５】
【数４】
【００３６】
つまり、５つのＧ信号（Ｇ０４,Ｇ１３,Ｇ２２,Ｇ３１,Ｇ４０）の画素値を用いて、斜めＢ方向の画素差分絶対値を４組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００３７】
図５（Ａ）〜（Ｄ）は、注目画素がＲ信号（ここではＲ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした５×５の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも３×３領域や７×７領域を利用してもよい。
【００３８】
図５（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数５式となる。
【００３９】
【数５】
【００４０】
つまり、８つのＧ信号（Ｇ０１,Ｇ２１,Ｇ４１,Ｇ１２,Ｇ３２,Ｇ０３,Ｇ２３,Ｇ４３）の画素値を用いて、垂直方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００４１】
図５（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数６式となる。
【００４２】
【数６】
【００４３】
つまり、８つのＧ信号（Ｇ１０,Ｇ１２,Ｇ１４,Ｇ２１,Ｇ２３,Ｇ３０,Ｇ３２,Ｇ３４）の画素値を用いて、水平方向の画素差分絶対値を５組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【００４４】
図５（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数７式となる。
【００４５】
【数７】
【００４６】
つまり、８つのＧ信号（Ｇ１０,Ｇ２１,Ｇ３２,Ｇ４３,Ｇ０１,Ｇ１２,Ｇ２３,Ｇ３４）の画素値を用いて、斜めＡ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【００４７】
図５（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数８式となる。
【００４８】
【数８】
【００４９】
つまり、８つのＧ信号（Ｇ０３,Ｇ１２,Ｇ２１,Ｇ３０,Ｇ１４,Ｇ２３,Ｇ３２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を６組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００５０】
Ｂ信号が注目画素である場合の画素補間方法については、Ｒ信号が注目画素である場合と同様である。つまり、図５において、Ｒ信号とＢ信号とを入れ替え、同様に、数５式〜数８式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出し、各方向についての相関度を評価することが可能である。
【００５１】
次に、上述した方法により求めた４方向の相関値から４方向の相関度を評価し、画素の補間を行う３つの方法について説明する。
【００５２】
＜第１の画素補間方法＞
まず、第１の画素補間方法について説明する。第１の方法では、垂直方向、水平方向、斜めＡ方向、斜めＢ方向のうち、垂直方向と水平方向とからなる組を第１の組とし、斜めＡ方向と斜めＢ方向とからなる組を第２の組として、相関度の評価を行い、相関度の偏りの大きい組を選択する。
【００５３】
つまり、第１の組において垂直方向の相関値（Ｃvertical）と水平方向の相関値（Ｃhorizontal）の差分絶対値｜Ｃvertical−Ｃhorizontal|を算出し、第２の組においては斜めＡ方向の相関値（ＣdiagonalＡ）と斜めＢ方向の相関値（ＣdiagonalＢ）の差分絶対値｜ＣdiagonalＡ−ＣdiagonalＢ｜を算出する。そして、２つの差分絶対値の大小を評価し、差分絶対値の大きい組を相関度の偏りの大きい組として選択するのである。
【００５４】
たとえば、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、斜めＡ方向の相関値（ＣdiagonalＡ）＝１０、斜めＢ方向の相関値（ＣdiagonalＢ）＝５である場合であれば、｜２０−１０｜＞｜１０−５｜となり、相関度の偏りが大きい第１の組が選択される。
【００５５】
相関度の偏りの大きい組が決定すると、次に、相関度の偏りの大きい組の中で、相関度の大きい方向が選択される。上で示した例であれば、第１の組が選択されているが、その中で、垂直方向の相関値（Ｃvertical）＝２０、水平方向の相関値（Ｃhorizontal）＝１０であるので、相関度の大きい方向、つまり、相関値の小さい水平方向が選択されるのである。
【００５６】
このようにして、相関度の偏りが大きい組が選択され、さらに、相関度の偏りの大きい組の中で、相関度の大きい方向が選択されると、この相関度の大きい方向について画素補間を行うのである。具体的には、図４で示したように、Ｇ信号が注目画素の場合であれば、この注目画素についてＲ信号あるいはＢ信号を、選択された方向の同色画素を用いて画素補間するのである。図５で示したように、Ｒ信号が注目画素の場合であれば、この注目画素についてＧ信号あるいはＢ信号を、選択された方向の同色画素を用いて画素補間するのである。同様に、注目画素がＢの場合であれば、この注目画素についてＧ信号あるいはＲ信号を、選択された方向の同色画素を用いて画素補間するのである。
【００５７】
また、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、平均値を算出することやリニア補間を行うで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。ただし、本発明における上記の相関度の評価が考慮されていれば、特に、補間方法については限定されるものではない。
【００５８】
上述した例、つまり、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、斜めＡ方向の相関値（ＣdiagonalＡ）＝１０、斜めＢ方向の相関値（ＣdiagonalＢ）＝５の場合であれば、第１の組が選択され、さらに、水平方向が選択されるので、Ｇ信号が注目画素である場合には、水平方向のＲ信号を用いて注目画素のＲ信号を画素補間し、水平方向のＢ信号（水平ライン上にＢ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＢ信号）を用いて注目画素のＢ信号を画素補間するのである。同様に、Ｒ信号が注目画素である場合には、水平方向のＢ信号（水平ライン上にＢ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＢ信号）を用いて注目画素のＢ信号を画素補間し、水平方向のＧ信号を用いて注目画素のＧ信号を画素補間し、Ｂ信号が注目画素である場合には、水平方向のＲ信号（水平ライン上にＲ信号はないので、上記で示したように、垂直方向の変化率を考慮して推測されたＲ信号）を用いて注目画素のＲ信号を画素補間し、水平方向のＧ信号を用いて注目画素のＧ信号を画素補間するのである。
【００５９】
＜第２の画素補間方法＞
次に、第２の画素補間方法について説明する。上述した第１の画素補間方法と同様に、この第２の方法においても、第１の組および第２の組のうち相関度の偏りの大きい組が選択される。そして、第２の方法では、この選択された相関度の大きい組に含まれる２方向の相関度を利用する。具体的には、選択された相関度の大きい組に含まれる２方向について、相関度に応じた比率で重み付けを行い、２方向の画素変化を考慮した画素補間を行うのである。
【００６０】
上記の例であれば、選択された相関度の偏りの大きい第１の組において、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０であり、相関値の比は２／３：１／３となるので、相関度の比は、１／３：２／３となる。ここで、注目画素について垂直方向において画素補間を行った画素値をＰ１、水平方向に画素補間を行った画素値をＰ２とすると、相関度の比率に応じて重み付けをした「Ｐ１×１／３＋Ｐ２×２／３」の値を注目画素の画素値とするのである。これにより、垂直、水平２方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
【００６１】
一般的には、選択された相関度の偏りの大きい組に含まれる２つの方向Ｘ,Ｙの相関値をＣＸ,ＣＹ（ＣＸ,ＣＹの算出方法は、数１式〜数８式で示した方法と同様。）とし、Ｘ,Ｙ方向において画素補間を行った画素値をＰＸ,ＰＹとすると、２つの方向Ｘ,Ｙに対する相関度の比は、数９式のようになる。
【００６２】
【数９】
【００６３】
従って、２つの方向Ｘ,Ｙの相関度の比率に応じて重み付けされた画素補間値は、数１０式で表される。
【００６４】
【数１０】
【００６５】
また、上記の例では、相関度の比をそのまま重み付け係数として利用し、相関度に応じて単純比例配分するようにしたが、図１０（ａ）,（ｂ）に示すような関数を用いて重み付け係数を算出するようにしてもよい。図中、横軸は相関度の比率（単純比例配分を行う場合の重み付け係数に対応する。）、縦軸は各関数によって決定される重み付け係数の値を示している。
【００６６】
図に示すように、この重み付け係数を求める関数は、単純なリニア関数ではなく、相関度の比率の領域によって、その傾きが異なるように設定されている。つまり、相関度の比率によって異なる関数を適用させるようにしている。図１０に示した各領域における関数の傾きは一例であるが、このように、各領域における関数を自由に設定できるようにしている。
【００６７】
図１０で示したような関数を用いる場合、ルックアップテーブル（ＬＵＴ）として関数の値を予めＲＯＭに格納するようにしてもよいし、関数の計算式をソフトウェア処理として実行するようにしてもよい。
【００６８】
＜第３の画素補間方法＞
次に、第３の画素補間方法について説明する。この方法は、上記の方法で求められた４つの方向の相関度に応じて、４つの全ての方向について相関度の比率に応じた重み付けを行って画素補間を行う方法である。
【００６９】
上記の例であれば、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、相関値（ＣdiagonalＡ）＝１０、相関値（ＣdiagonalＢ）＝５であり、相関値の比率は２０／４５：１０／４５：１０／４５：５／４５となるので、相関度の比率は、２５／４５：３５／４５：３５／４５：４０／４５となる。この相関度比の算出方法は一例であり、他の例については後述する。
【００７０】
そして、注目画素について垂直方向において画素補間を行った画素値をＰ１、水平方向に画素補間を行った画素値をＰ２、斜めＡ方向に画素補間を行った画素値をＰ３、斜めＢ方向に画素補間を行った画素値をＰ４とすると、相関度の比率に応じて重み付けされた画素値「Ｐ１×２５／４５＋Ｐ２×３５／４５＋Ｐ３×３５／４５＋Ｐ４×４０／４５」を注目画素の画素値とするのである。これにより、垂直、水平、斜めＡ、斜めＢの４方向の相関度を考慮した精度の高い補間処理を実行することが可能である。
【００７１】
一般的には、Ｘ,Ｙ,Ｚ,Ω方向における相関度をＣＸ,ＣＹ,ＣＺ,ＣΩ（ＣＸ,ＣＹ,ＣＺ,ＣΩの算出方法は、数１式〜数８式で示した方法と同様。）とし、Ｘ,Ｙ,Ｚ,Ω方向において画素補間を行った画素値をＰＸ,ＰＹ,ＰＺ,ＰΩとすると、４つの方向Ｘ,Ｙ,Ｚ,Ωに対する相関度の比は、数１１式のようになる。
【００７２】
【数１１】
【００７３】
従って、４つの方向Ｘ,Ｙ,Ｚ,Ωの相関度の比率に応じて重み付けされた画素補間値は、数１２式で表される。
【００７４】
【数１２】
【００７５】
また、重み付け係数を算出する方法として、この第３の方法においても、図１０に示すような関数を用いることが可能である。
【００７６】
また、別の相関度比率の求め方として、相関値の逆比を用いるようにしてもよい。つまり、相関値（Ｃvertical）＝２０、相関値（Ｃhorizontal）＝１０、相関値（ＣdiagonalＡ）＝１０、相関値（ＣdiagonalＢ）＝５であり、相関値の比率は２０：１０：１０：５であるので、相関度の比率をこれらの逆比、１／２０：１／１０：１／１０：１／５すなわち１／９：２／９：２／９：４／９とする方法である。
【００７７】
あるいは、また別の相関度比率の求め方として、相関度乖離率を考慮するようにしてもよい。つまり、それそれの組における相関度の比が、１０／３０：２０／３０と５／１５：１０／１５であり、それぞれの組についての相関度乖離率が、｜２０−１０｜：｜１０−５｜すなわち２／３：１／３であるので、各組の相関度の比率に相関度乖離率を乗じることにより、相関度の比率を１０／３０×２／３：２０／３０×２／３：５／１５×１／３：１０／１５×１／３、すなわち、２／９：４／９：１／９：２／９とするのである。また、この方法において、相関係数、相関乖離率それぞれについて図１０に示す非線形な特性を適用することもできる。
【００７８】
｛実施の形態２｝：ＲＧＢベイヤ配列を４５度回転させた画素配列に対する処理
本発明の実施の形態２に係る画素補間方法について説明する。実施の形態２におけるＣＣＤ２は、図６に示すような画素配列となっている。つまり、図２で示した一般的なＲＧＢベイヤ配列を４５度回転させた画素配列となっている。たとえば、このような画素配列のＣＣＤとしてハニカムＣＣＤが知られている。
【００７９】
そして、このようなＣＣＤ２から出力される画素信号は、図７に示すような配列の画素信号である。この例では、偶数行（偶数ライン）は、Ｒ→Ｂ→Ｒ→Ｂ・・・とＲ（赤色）とＢ（青色）が交互に読み出され、奇数行（奇数ライン）はＧ→Ｇ→Ｇ→Ｇ・・・のようにＧ（緑色）の画素が連続的に読み出される。このように出力信号の配列が実施の形態１とは異なるため、実施の形態１で説明した方法とは異なる方法を用いる。
【００８０】
この実施の形態においても図３で示したように、互いに直交する相関方向の組が２組利用される。
【００８１】
＜相関値計算方法＞
図８（Ａ）〜（Ｄ）は、注目画素がＧ信号（ここではＧ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした３×３の周辺領域に含まれるＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。他にも５×５領域や７×７領域のＧ信号を利用してもよい。
【００８２】
図８（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１３式となる。
【００８３】
【数１３】
【００８４】
つまり、３つのＧ信号（Ｇ０２,Ｇ２２,Ｇ４２）の画素値を用いて、垂直方向の画素差分絶対値を２組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００８５】
図８（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数１４式となる。
【００８６】
【数１４】
【００８７】
つまり、３つのＧ信号（Ｇ３２,Ｇ２２,Ｇ２３）の画素値を用いて、水平方向の画素差分絶対値を２組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【００８８】
図８（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数１５式となる。
【００８９】
【数１５】
【００９０】
つまり、３つのＧ信号（Ｇ０１,Ｇ２２,Ｇ４３）の画素値を用いて、斜めＡ方向の画素差分絶対値を２組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【００９１】
図８（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数１６式となる。
【００９２】
【数１６】
【００９３】
つまり、３つのＧ信号（Ｇ０３,Ｇ２２,Ｇ４１）の画素値を用いて、斜めＢ方向の画素差分絶対値を２組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【００９４】
図９（Ａ）〜（Ｄ）は、注目画素がＢ信号（ここではＢ２２）である場合の相関値計算方法について示している。この実施の形態においては、注目画素を中心とした２×４の周辺領域のＧ信号を相関値計算の対象画素としているが、周辺領域の範囲は特には限定されるものではない。
【００９５】
図９（Ａ）は垂直方向の相関値（Ｃvertical）を算出する方法を示しており、その計算式は、数１７式となる。
【００９６】
【数１７】
【００９７】
つまり、８つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、垂直方向の画素差分絶対値を４組計算し、これらの平均値を相関値（Ｃvertical）とするのである。そして、相関値（Ｃvertical）の値が小さいほど相関度が高いことを示している。
【００９８】
図９（Ｂ）は水平方向の相関値（Ｃhorizontal）を算出する方法を示しており、その計算式は、数１８式となる。
【００９９】
【数１８】
【０１００】
つまり、８つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、水平方向の画素差分絶対値を６組計算し、これらの平均値を相関値（Ｃhorizontal）とするのである。そして、相関値（Ｃhorizontal）の値が小さいほど相関度が高いことを示している。
【０１０１】
図９（Ｃ）は斜めＡ方向の相関値（ＣdiagonalＡ）を算出する方法を示しており、その計算式は、数１９式となる。
【０１０２】
【数１９】
【０１０３】
つまり、６つのＧ信号（Ｇ１０,Ｇ１１,Ｇ１２,Ｇ３１,Ｇ３２,Ｇ３３）の画素値を用いて、斜めＡ方向の画素差分絶対値を３組計算し、これらの平均値を相関値（ＣdiagonalＡ）とするのである。そして、相関値（ＣdiagonalＡ）の値が小さいほど相関度が高いことを示している。
【０１０４】
図９（Ｄ）は斜めＢ方向の相関値（ＣdiagonalＢ）を算出する方法を示しており、その計算式は、数２０式となる。
【０１０５】
【数２０】
【０１０６】
つまり、６つのＧ信号（Ｇ１１,Ｇ１２,Ｇ１３,Ｇ３０,Ｇ３１,Ｇ３２）の画素値を用いて、斜めＢ方向の画素差分絶対値を３組計算し、これらの平均値を相関値（ＣdiagonalＢ）とするのである。そして、相関値（ＣdiagonalＢ）の値が小さいほど相関度が高いことを示している。
【０１０７】
Ｒ信号が注目画素である場合の画素補間方法については、Ｂ信号が注目画素である場合と同様である。つまり、図９において、Ｂ信号とＲ信号とを入れ替え、同様に数１７式〜数２０式を用いることにより、水平、垂直、斜めＡ、斜めＢ方向の相関値を算出することが可能である。
【０１０８】
以上の方法により、水平、垂直、斜めＡ、斜めＢ方向について４つの相関値（Ｃvertical,Ｃhorizontal,ＣdiagonalＡ,ＣdiagonalＢ）が算出されると、第１の実施の形態で説明した３つの画素補間方法と同様の方法により、画素補間を行うことが可能である。つまり、第１の方法は、相関度の偏りの大きい組を選択し、さらに、相関度の偏りの大きい組の中で相関度の高い方向を選択する。そして、当該方向について画素補間を行う方法である。第２の方法は、相関度の偏りの大きい組を選択し、相関度の偏りの大きい組に含まれる２つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。また、第３の方法は、４つの方向について、相関度の比率に応じた重み付けを行って画素補間を行う方法である。
【０１０９】
｛変形例｝
上記実施の形態においては、斜めＡ方向および斜めＢ方向は、それぞれ垂直方向から４５度の傾きをもつ組を選択したが、これは一例である。斜めＡ方向と斜めＢ方向が互い直交する関係を持っていれば、垂直方向に対する傾きとして他の角度を選択するようにしてもよい。
【０１１０】
また、上記実施の形態においては、Ｇ信号について相関値を算出するようにしたが、入力する画素データが、たとえば、輝度信号を含むデータである場合には、輝度信号を用いて相関値を求めるようにすることが好ましい。ただし、本発明の画素補間方法において相関値を求める画素成分は、Ｇ信号や輝度信号に限定されるものではなく、他の色を用いて相関値を求めるようにしてもよい。
【０１１１】
また、相関値を評価する際に、閾値との評価を行うようにしてもよい。上述の如く、本実施の形態においては、垂直、水平、斜めＡ、斜めＢ方向について相関値を算出した。そして、それぞれの相関値を所定の閾値と比較評価するのである。そして、たとえば、４つの方向において画素補間を行う上記第３の画素補間方法において、閾値を下回る相関値を有する方向のみ（つまり、相関度の高い方向のみ）について画素補間を行うようにしてもよい。また、いずれの方向についても相関値が閾値を上回る場合（つまり、いずれの方向についても相関度が高くない場合）には、メディアン補間あるいは平均値補間のどちらを使うかを選択するなど、状況に応じて補間方法を切り替えるようにしてもよい。
【符号の説明】
【０１１２】
４ 画像処理回路
５ 色補間回路
【特許請求の範囲】
【請求項１】
所定の色空間の画素データを入力する第１工程と、
注目画素の周辺画素を用いて、第１の方向における画素の相関度と、前記第１の方向と直交する第２の方向における画素の相関度と、前記第１および第２の方向とは異なる第３の方向における画素の相関度と、前記第３の方向と直交する第４の方向における画素の相関度と、を求める第２工程と、
前記第２工程で求められた相関度に基づいて、前記第１〜第４の４つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、
を備えることを特徴とする画素補間方法。
【請求項２】
請求項１に記載の画素補間方法において、
前記所定の色空間の画素データは、
前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、
を含むことを特徴とする画素補間方法。
【請求項３】
請求項１または請求項２に記載の画素補間方法において、
前記第１の方向は垂直方向あるいは水平方向であり、前記第３の方向は垂直方向に対して４５度の傾きを持った方向であることを特徴とする画素補間方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画素補間方法において、
前記第２工程は、前記画素データがＲＧＢ色空間の画素データである場合にはＧ信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする画素補間方法。
【請求項１】
所定の色空間の画素データを入力する第１工程と、
注目画素の周辺画素を用いて、第１の方向における画素の相関度と、前記第１の方向と直交する第２の方向における画素の相関度と、前記第１および第２の方向とは異なる第３の方向における画素の相関度と、前記第３の方向と直交する第４の方向における画素の相関度と、を求める第２工程と、
前記第２工程で求められた相関度に基づいて、前記第１〜第４の４つの方向に関して、相関度の比率に応じた重み付けを行って画素補間を行う工程、
を備えることを特徴とする画素補間方法。
【請求項２】
請求項１に記載の画素補間方法において、
前記所定の色空間の画素データは、
前記所定の色空間に含まれる各色成分の画素がベイヤ配列されたデータ、
を含むことを特徴とする画素補間方法。
【請求項３】
請求項１または請求項２に記載の画素補間方法において、
前記第１の方向は垂直方向あるいは水平方向であり、前記第３の方向は垂直方向に対して４５度の傾きを持った方向であることを特徴とする画素補間方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画素補間方法において、
前記第２工程は、前記画素データがＲＧＢ色空間の画素データである場合にはＧ信号について、あるいは、前記画素データが輝度信号を含む所定の色空間の画素データである場合には輝度信号について相関度を求めることを特徴とする画素補間方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１０４０１９（Ｐ２０１０−１０４０１９Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００９−２８６２２９（Ｐ２００９−２８６２２９）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【分割の表示】特願２００４−１９９２３３（Ｐ２００４−１９９２３３）の分割
【原出願日】平成１６年７月６日（２００４．７．６）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【分割の表示】特願２００４−１９９２３３（Ｐ２００４−１９９２３３）の分割
【原出願日】平成１６年７月６日（２００４．７．６）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]