画像処理装置
【課題】ジャギーが少なく滑らかで、かつ、偽色の少ない画素補間を行うことができる画像処理装置を提供する。
【解決手段】輪郭の有無・方向性評価部１２〜１５は、入力されたＲ画素、Ｂ画素、Ｇ＿ａ画素、Ｇ＿ｂ画素をそれぞれ中心とする複数の画素範囲を評価領域とし、その評価領域のＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価と、存在する輪郭の方向性の評価を行う。内挿・高域加算処理部１６〜１９は、Ｇ信号の方向性とＢ／Ｒ信号の方向性とが予め設定した角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を中心画素における二つの色要素の画素値として内挿する。
【解決手段】輪郭の有無・方向性評価部１２〜１５は、入力されたＲ画素、Ｂ画素、Ｇ＿ａ画素、Ｇ＿ｂ画素をそれぞれ中心とする複数の画素範囲を評価領域とし、その評価領域のＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価と、存在する輪郭の方向性の評価を行う。内挿・高域加算処理部１６〜１９は、Ｇ信号の方向性とＢ／Ｒ信号の方向性とが予め設定した角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を中心画素における二つの色要素の画素値として内挿する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に係り、特にベイヤ配列の画像データに対して画素補間を行う画像処理装置に関する。
【背景技術】
【０００２】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子が知られている。このベイヤ配列の色フィルタは、図２１に模式的に示すように、赤色光を透過させる１画素分の赤色フィルタ部Ｒと、緑色光を透過させる１画素分の緑色フィルタ部Ｇと、青色光を透過させる１画素分の青色フィルタ部Ｂとが配置された構成である。図２１に示すベイヤ配列の色フィルタは、上記の色フィルタ部Ｒ，Ｇ，Ｂのうち、輝度信号の寄与する割合の高い緑色光を透過させる緑色フィルタ部Ｇを１画素ピッチおき毎に市松状に配置し、残りの箇所に赤色フィルタ部Ｒと青色フィルタ部Ｂとを１画素ピッチおき毎に市松状に配置した構成である。
【０００３】
このように、ベイヤ配列の色フィルタは、同一の色要素の色フィルタ部が幾何学的に飛び飛びの画素位置に存在するため、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を処理する画像処理装置は、全画素について三原色の色要素の揃った信号にするために、この飛び飛びの画素位置に存在する色を補間する補間処理を行う。
【０００４】
ここで、上記の画像処理装置が、上記の補間処理を単純な近傍画素の平均を計算することによって行うと、エッジ部分のジャギーや偽色（原画像に存在しない色彩）が発生することが広く知られている。そのため、従来から、これらのジャギーや偽色を軽減するための各種の画像処理装置が提案されている。その提案の多くは、色の連続性や相関性をもとに補間の条件を制御するような処理を行っている。
【０００５】
例えば、斜め方向の相関性にポイントをおいた技術が従来、提案されている（例えば、特許文献１、特許文献２参照）。特許文献１には，画素値の複数の方向の勾配を算出し、それをもとに各方向の重みを変えて補間を行う画像処理装置が開示されている。また、特許文献２には、処理対象の画素の上下左右の画素の各値との相関性をもとに補間係数を決定して補間を行う画像処理装置が開示されている。
【０００６】
また、偽色の問題のうちで、赤色信号Ｒ，青色信号Ｂの狭帯域を原因とするものに対する対策処理を行う従来の画像処理装置が知られている（例えば、特許文献３参照）。この特許文献３記載の画像処理装置では、高域におけるＲＧＢ相関性を利用して、緑色信号Ｇの高域を赤色信号Ｒ，青色信号Ｂにそれぞれ加算することにより広帯域化して、偽色を軽減している。
【０００７】
【特許文献１】特開平１０−１６４６０２号公報
【特許文献２】特開平１１−１７７９９４号公報
【特許文献３】特開２０００−５０２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、これらの先行技術においては、ＲＧＢの各原色の相関性が一般に高いなどといった経験則や一般的性質などを利用していないため、ＲＧＢの各原色のそれぞれが独立に相関性推定と補間係数が決定され、エッジ部のジャギーや偽色の抑圧が不十分であることがある。
【０００９】
また、特許文献３における高域におけるＲＧＢ相関性は常に成立するものではなく、無相関の場合も逆相関の場合もあり、それらの場合は単純な加算処理は画質に悪影善を及ぼす。
【００１０】
本発明は以上の点に鑑みなされたもので、ジャギーが少なく滑らかでかつ偽色の少ない画素補間を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、第１の発明は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する色要素が三原色のうちいずれか一の原色である既知の各画素において、その既知の色要素以外の他の二つの色要素の原色信号を周辺の画素の値に基づいて補間する画像処理を行う画像処理装置であって、
入力された撮像信号の画素が、その画素の色要素とその画素を中心画素としたときの周辺の画素の色要素との関係に基づいて、複数の種類の画素タイプのいずれであるかを分類する画素タイプ分類手段と、画素タイプ分類手段により分類された各画素タイプ毎に、入力された撮像信号の画素と、その画素を中心とする複数の周辺の画素とからなる予め設定された画素領域内で、その画素領域内の各画素の値を用いて所定の演算式により演算して、三原色全ての原色信号について輪郭成分の最も大きな方向性を検出する検出手段と、画素タイプ分類手段により分類された各画素タイプのそれぞれについて、検出手段により検出した方向性が示す方向のうち、基準とする所定の一の原色信号の方向性が示す方向と残りの二つの原色信号の方向性が示す方向との間の角度が予め設定した角度範囲以内にあるか否かをそれぞれ判定する判定手段と、判定手段により角度が角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を中心画素における二つの色要素の画素値として内挿する内挿手段と、を有することを特徴とする。
【００１２】
また、上記の目的を達成するため、第２の発明は、第１の発明の構成に加えて、角度が前記角度範囲以内にあると判定した前記方向性が示す方向に配置された前記中心画素と同一の色要素の前記画素領域内の複数の画素の値に基づいて算出した、該中心画素と同一の色要素の原色信号の高周波数成分を、前記二つの色要素の画素値に、これらの画素値を求める際に用いた前記所定の演算式の演算結果に付される正負いずれかの符号に応じて加減算する加減算手段を有する。
【００１３】
更に、上記の目的を達成するため、第３の発明は、上記発明の内挿手段を、判定手段により角度が角度範囲以内にあると判定した方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値を、二つの色要素毎に加重平均し、更にその加重平均値を中心画素の周辺のその色要素の複数の画素の最大値と最小値により決定される値によって制限された補間値とする手段であることを特徴とする。本発明は、広義の連続性や相関性を利用したものであり、斜め方向の補間に重点を置いた画素値のエッジ方向性を利用している。
【発明の効果】
【００１４】
本発明によれば、三原色の画素の相関性を生かしたジャギーが少なく滑らかでかつ偽色の少ない画素補間を行うことができる。また、本発明によれば、画素補間に際して順相関・無相関・逆相関に配慮することで補間後の映像信号の広帯域化を実現することができる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の一実施の形態について図面と共に詳細に説明する。
図１は、本発明になる画像処理装置の一実施の形態のブロック図を示す。この実施の形態の画像処理装置１０は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を処理する画像処理装置であって、固体撮像素子から出力されたベイヤ配列の撮像信号を入力として受ける中心画素タイプ分類部１１と、中心画素タイプ分類部１１により分類されて振り分け出力された撮像信号による表示映像に輪郭が含まれているか否かの輪郭の有無と、その輪郭の表示映像における方向を示す方向性とを互いに独立してそれぞれ評価する輪郭の有無・方向性評価部１２、１３、１４、１５と、輪郭の有無・方向性評価部１２、１３、１４、１５の出力信号に対して内挿・高域加算処理をそれぞれ別々に行う内挿・高域加算処理部１６、１７、１８、１９と、内挿・高域加算処理部１６、１７、１８、１９の各出力信号に対して無彩色化処理を行う無彩色化処理部２０、２１、２２、２３とより構成される。
【００１６】
中心画素タイプ分類部１１は、固体撮像素子から入力されたベイヤ配列の撮像信号の色フィルタ部の位置にある既知の中心画素が後述する４種類の画素タイプのうちどの画素タイプであるかを判別して分類し、分類した画素タイプに応じてその中心画素を振り分け出力する。
【００１７】
輪郭の有無・方向性評価部１２、１３、１４、１５は、入力された画像信号の輪郭の有無を評価し、更にその輪郭の有無の評価結果に基づいて輪郭の方向性を評価する。
内挿・高域加算処理部１６、１７、１８、１９は、輪郭の有無・方向性評価部１２、１３、１４、１５に１対１に対応して設けられており、輪郭の有無・方向性評価部１２、１３、１４、１５から出力された輪郭の方向性の評価結果に基づいて、所定の２つの色要素の画素の内挿と高域加算の補間処理を行う。
【００１８】
無彩色化処理部２０、２１、２２、２３は、内挿・高域加算処理部１６、１７、１８、１９に１対１に対応して設けられており、内挿・高域加算処理部１６、１７、１８、１９から出力された処理結果に対して、後述する条件を満足するときに無彩色化処理を行って、それぞれ所定の２つの色要素の画素の補間処理信号を出力する。
【００１９】
次に、本実施の形態の動作について、図２Ａ及び図２Ｂのフローチャートと図３乃至図２０と共に詳細に説明する。中心画素タイプ分類部１１は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を入力として受ける（図２ＡのステップＳ１）。この入力撮像信号の各画素信号は、図２１に示したベイヤ配列に基づいて、赤色信号Ｒ、緑色信号Ｇ、及び青色信号Ｂのどれかである。また、入力撮像信号の縦方向３画素、横方向３画素の中心画素の色要素がＲ、Ｂ、Ｇのどれであるかによって、図３（Ａ）〜（Ｄ）に示す４種類に分類することができる。ここで、中心画素は、ベイヤ配列の色フィルタの色フィルタ部に対応した既知の画素である。
【００２０】
図３（Ａ）は、図２１に示した色フィルタ部Ｒの位置にある中心画素が三原色のうちの色要素Ｒの画素（以下、Ｒ画素ともいう）の場合であり、上下左右の画素が三原色のうちの色要素Ｇの画素（以下、Ｇ画素ともいう）であり、左右の斜め方向の画素が三原色のうちの色要素Ｂの画素（以下、Ｂ画素ともいう）である。また、図３（Ｂ）は、図２１に示した色フィルタ部Ｂの位置にある中心画素がＢ画素の場合であり、上下左右の画素がＧ画素であり、左右の斜め方向の画素がＲ画素である。
【００２１】
図２１に示した色フィルタ部Ｇの位置にある既知の中心画素がＧ画素の場合は、上下左右の画素に応じて、図３（Ｃ）、（Ｄ）に示す２種類ある。図３（Ｃ）、（Ｄ）に示す画素配列は、いずれも中心画素がＧ画素で、左右の斜め方向の画素もＧ画素である点で共通するが、図３（Ｃ）の画素配列は、上下の画素がＢ画素、左右の画素がＲ画素であるのに対し、図３（Ｄ）の画素配列は、上下の画素がＲ画素、左右の画素がＢ画素である点で相違する。ここでは、図３（Ｃ）の画素配列における中心画素をＧ＿ａ画素、図３（Ｄ）の画素配列における中心画素をＧ＿ｂ画素と呼んで区別するものとする。
【００２２】
中心画素タイプ分類部１１は、入力されたベイヤ配列の撮像信号の画素が、図３（Ａ）〜（Ｄ）に示した４種類のどのタイプであるかを判別し、判別した入力画素がＲ画素の場合は、輪郭の有無・方向性評価部１２に入力画素信号を供給する。同様に、中心画素タイプ分類部１１は、判別した入力画素がＢ画素の場合は、輪郭の有無・方向性評価部１３に、判別した入力画素がＧ＿ａ画素の場合は、輪郭の有無・方向性評価部１４に、判別した入力画素がＧ＿ｂ画素の場合は、輪郭の有無・方向性評価部１５に、それぞれ入力画素信号を供給する（以上、図２ＡのステップＳ２）。
【００２３】
輪郭の有無・方向性評価部１２は、入力されたＲ画素を中心とする縦方向７画素、横方向７画素の図４（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図４（Ａ）に太丸で示すＲ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ３）と、図４（Ｂ）に太丸で示すＢ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ４）と、図４（Ｃ）に太丸で示すＧ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ５）とを行う。続いて、輪郭の有無・方向性評価部１２は、ステップＳ３〜Ｓ５において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ１５〜Ｓ１７）。
【００２４】
同様に、輪郭の有無・方向性評価部１３は、入力されたＢ画素を中心とする縦方向７画素、横方向７画素の図５（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図５（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ６〜Ｓ８）。続いて、輪郭の有無・方向性評価部１３は、ステップＳ６〜Ｓ８において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ１８〜Ｓ２０）。
【００２５】
また、輪郭の有無・方向性評価部１４は、入力されたＧ＿ａ画素を中心とする縦方向７画素、横方向７画素程度の図６（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図６（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ９〜Ｓ１１）。続いて、輪郭の有無・方向性評価部１５は、ステップＳ９〜Ｓ１１において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ２１〜Ｓ２３）。
【００２６】
同様に、輪郭の有無・方向性評価部１５も、入力されたＧ＿ｂ画素を中心とする縦方向７画素、横方向７画素程度の図７（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図７（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ１２〜Ｓ１４）。続いて、輪郭の有無・方向性評価部１５は、ステップＳ１２〜Ｓ１４において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ２４〜Ｓ２６）。
【００２７】
事実上、輪郭の有無・方向性評価部１２〜１５による輪郭の有無の評価と方向性の評価とは同時に行われる。また、輪郭の有無の評価と方向性の評価は、図４〜図７に示した太丸で示された画素について行われるが、各画素タイプと評価をしようとしている色要素によって画素配置が異なるため、その評価のために複数の演算子型を用意しなければならない。
【００２８】
具体的には、Ｒ画素におけるＲ信号の評価においては、図８に示す３行３列の演算子型ＯＰ０を用い、Ｒ画素におけるＢ信号の評価においては、図９に示す４行４列の演算子型ＯＰ１を用い、Ｒ画素におけるＧ信号の評価においては、図１０に示す演算子型ＯＰ２を用いる。また、Ｂ画素におけるＲ信号の評価においては、図９に示す演算子型ＯＰ１を用い、Ｂ画素におけるＢ信号の評価においては図８に示す清算子型ＯＰ０を用い、Ｂ画素におけるＧ信号の評価においては図１０に示す演算子型ＯＰ２を用いる。
【００２９】
また、Ｇ＿ａ画素におけるＲ信号の評価においては図１１に示す３行４列の演算子型ＯＰ３を用い、Ｇ＿ａ画素におけるＢ信号の詳価においては図１２に示す４行３列の演算子型０Ｐ４を用い、Ｇ＿ａ画素におけるＧ信号の評価においては図１３に示す演算子型ＯＰ５を用いる。更に、Ｇ＿ｂ画素におけるＲ信号の評価においては図１２に示す演算子型ＯＰ４を用い、Ｇ＿ｂ画素におけるＢ信号の評価においては図１１に示す演算子型ＯＰ３を用い、Ｇ＿ｂ画素におけるＧ信号の評価においては図１３に示す演算子型ＯＰ５を用いる。
【００３０】
そして、上記の演算子型ＯＰ０〜ＯＰ５のそれぞれについて０°，２２.５°，４５°，６７.５°，９０°，１１２.５°，１３５°，１５７.５°の８方向のエッジ方向性を評価する微分演算子を構築する。図１４〜図１９は、演算子型ＯＰ０〜ＯＰ５についての８方向の微分演算子群を示す。また、図１４〜図１９において、丸は微分演算子としての画素を示し、また、各画素の右肩の数字は画素番号を示す。また、図１４〜図１９における各図（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）に示す直線は、それぞれ０°，２２.５°，４５°，６７.５°，９０°，１１２.５°，１３５°，１５７.５°の方向性を示す。
【００３１】
ここで、図１４〜図１９における画素番号ｉの画素値をＸ［ｉ］とし、演算子の係数ｃ［ｉ］を白丸の画素についてｃ［ｉ］＝１、黒丸の画素についてｃ［ｉ］＝−１、斜線の画素についてｃ［ｉ］＝０とし、演算子の全画素数をＮｏ、白丸の画素の数をＮｗ、黒丸の画素の数をＮｂとして、その演算子における相関性を（１）式により正規化した形で評価することにする。
【００３２】
【数１】
【００３３】
方向性評価では、（１）式の演算式による計算を上記の８つの角度のそれぞれについて行い、その中の最大値を示す角度をもってその角度の方向性を有するものと評価する。（１）式の値は、同一オペレータを使用する条件では、ある方向性における相対的な画素値の傾斜を表している。
【００３４】
なお、（１）式の計算結果がどの角度においても所定の閾値を超えない場合は“輪郭なし”と判定する。以上で上記のステップＳ１５〜Ｓ１７、Ｓ１８〜Ｓ２０、Ｓ２１〜Ｓ２３、Ｓ２４〜Ｓ２６の処理が終了する。
【００３５】
続いて、輪郭の有無・方向性評価部１２〜１５は、同一画素タイプ内での色による２つの方向性を比較して、近いかどうかを判定する（図２ＡのステップＳ２７〜Ｓ２８、Ｓ２９〜Ｓ３０、Ｓ３１〜Ｓ３２、Ｓ３４〜Ｓ３５）。ここでは、「方向性が近い」とは、比較する２つの方向性が同一の場合か、又は±２２．５°以内の場合をいうものとする。
【００３６】
すなわち、画素タイプＲ画素用の輪郭の有無・方向性評価部１２は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２７）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２８）とを行う。また、画素タイプＢ画素用の輪郭の有無・方向性評価部１３は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２９）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３０）とを行う。また、画素タイプＧ＿ａ画素用の輪郭の有無・方向性評価部１４は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３１）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３２）とを行う。また、画素タイプＧ＿ｂ画素用の輪郭の有無・方向性評価部１５は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３４）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３５）とを行う。
【００３７】
以上のような輪郭の有無の情報及び方向性の比較判定結果をもとに、以降のプロセスでの判断が行われる。ここで、以下“ＸをＹの方向性で内挿”という場合には、ＹについてＹに適合した演算子を使って算出した上記の方向性を、ＸについてＸに適合した演算子型の下記のＣ言語的表記された演算を行った結果を補間値とするということを意味するものにする。
【００３８】
ここで、前記の演算子型ＯＰ１〜ＯＰ４のそれぞれについて、前記の８つの方向性における中心画素の未知の色要素の補間値は、以下のように、方向性に沿った画素の値を加重平均し、更にその加重平均値を中心画素の複数の周辺画素の最大値と最小値とにより決定される値によって制限された制限値で表される。
【００３９】
なお、以下の説明において、p[i]は画素番号ｉを示しており、これは図１４〜図１９におけるものと同じである。また、ｍａｘ（，，，）は括弧内の最大値、ｍｉｎ（，，，）は括弧内の最小値を示す。また、ｌｉｍｉｔ＿ｍｉｎ＿ｍａｘ（Ｘ，ｍｉｎ１，ｍａｘ１）は、Ｘをｍｉｎ１を下限、ｍａｘ１を上限として制限することを意味するものとする。更に、補間値は「ｉｎｔｐ」とする。
【００４０】
（１）ＯＰ１について
max1=max(p[5],p[6],p[9],p[10])；min1=min(p[5],p[6],p[9],p[10])；thr=max1-min1；
//OP1-0°：最近傍４画素の単純平均
intp＝(p[5]+p[6]+p[9]+p[10]+2)/4；
//OP1-22.5°：
if(abs(p[6]-p[7])<thr && abs(p[8]-p[9])<thr)
intp＝limit_min_max((p[6]+p[7]+p[8]+p[9]+2)/4,min1,max1)；
else
intp＝(p[6]+p[9]+1)/2；
//OP1-45°：斜め２画素の単純平均
intp＝(p[6]+p[9]+1)/2；
//OP1-67.5°：
if(abs(p[2]-p[6])<thr && abs(p[9]-p[13])<thr)
intp＝limit_min_max((p[2]+p[6]+p[9]+p[13]+2)/4,min1,max1)；
else
intp＝(p[6]+p[9]+1)/2；
//OP1-90°：最近傍４画素の単純平均
intp＝(p[5]+p[6]+p[9]+p[10]+2)/4；
//OP1-112.5°：
if(abs(p[1]-p[5])<thr && abs(p[10]-p[14])<thr)
intp＝limit_min_max((p[1]+p[5]+p[10]+p[14]+2)/4,min1,max1)；
else
intp＝(p[5]+p[10]+1)/2；
//OP1-135°：斜め２画素の単純平均
intp＝(p[5]+p[10]+1)/2；
//OP1-157.5°：
if(abs(p[4]-p[5])<thr && abs(p[10]-p[11])<thr)
intp＝limit_min_max((p[4]+ p[5]+ p[10]+ p[11]+2)/4,min1,max1)；
else
intp＝(p[5]+p[10]+1)/2；
（２）ＯＰ２について
max1＝max(p[8],p[11],p[12],p[15])；min1＝min(p[8],p[11],p[12],p[15])；
thr＝max1-min1；
//OP2-0°：左右２画素の単純平均
intp＝(p[11]+p[12]+1)/2；
//OP2-22.5°：
if(abs(p[9]-p[12])<thr && abs(p[11]-p[14])<thr)
intp＝limit_min_max((p[9]+ p[11]+ p[12]+ p[14]+2)/4,min1,max1)；
else
intp＝(p[11]+p[12]+1)/2；
//OP2-45°：最近傍４画素の単純平均
intp＝(p[8]+p[11]+p[12]+p[15]+2)/4；
//OP2-67.5°：
if(abs(p[5]-p[8])<thr && abs(p[15]-p[18])<thr)
intp＝limit_min_max((p[5]+ p[8]+ p[15]+ p[18]+2)/4,min1,max1)；
else
intp＝(p[8]+p[15]+1)/2；
//OP2-90°：上下２画素の単純平均
intp＝(p[8]+p[15]+1)/2；
//OP2-112.5°：
if(abs(p[4]-p[8])<thr && abs(p[15]-p[19])<thr)
intp＝limit_min_max((p[4]+p[8]+p[15]+p[19]+2)/4,min1,max1)；
else
intp＝(p[8]+p[15]+1)/2；
//OP2-135°：最近傍４画素の単純平均
intp＝(p[8]+p[11]+p[12]+p[15] +2)/4；
//OP2-157.5°：
if(abs(p[7]-p[11])<thr && abs(p[12]-p[16])<thr)
intp＝limit_min_max((p[7]+p[11]+p[12]+p[16]+2)/4,min1,max1)；
else
intp＝(p[11]+p[12]+1)/2；
（３）ＯＰ３について
max1＝max(p[5],p[6])；min1＝min(p[5],p[6])；thr＝max1-min1；
//OP3-0°：左右２画素の単純平均
intp＝(p[5]+p[6]+1)/2；
//OP3-22.5°：
if(abs(p[3]-p[6])<thr && abs(p[5]-p[8])<thr)
intp＝limit_min_max((p[3]+p[6]+p[5]+p[8]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-45°：最近傍４画素の単純平均
if(abs(p[2]-p[6])<thr && abs(p[5]-p[9])<thr)
intp＝limit_min_max((p[2]+p[6]+p[5]+p[9]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-67.5°：
intp＝limit_min_max((p[2]+p[9]+1)/2,min1,max1)；
//OP3-90°：左右２画素の単純平均
intp＝(p[5]+p[6]+1)/2；
//OP3-112.5°：
intp＝limit_min_max((p[1]+p[10]+1)/2,min1,max1)；
//OP3-135°：最近傍４画素の単純平均
if(abs(p[1]-p[5])<thr && abs(p[6]-p[10])<thr)
intp＝limit_min_max((p[1]+p[5]+p[6]+ p[10]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-157.5°：
if(abs(p[0]-p[5])<thr && abs(p[6]-p[11])<thr)
intp＝limit_min_max((p[0]+p[5]+p[6]+p[11]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
（４）ＯＰ４について
max1＝max(p[4],p[7])；min1＝min(p[4],p[7])；thr＝max1-min1；
//OP4-0°：上下２画素の単純平均
intp＝ (p[4]+p[7]+1)/2；
//OP4-22.5°：
intp＝limit_min_max((p[5]+p[6]+1)/2,min1,max1)；
//OP4-45°：
if(abs(p[4]-p[5])<thr && abs(p[6]-p[7])<thr)
intp＝limit_min_max((p[4]+p[5]+p[6]+p[7]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-67.5°：
if(abs(p[2]-p[4])<thr && abs(p[7]-p[9])<thr)
intp＝limit_min_max((p[2]+p[4]+p[7]+p[9]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-90°：上下２画素の単純平均
intp＝(p[4]+p[7]+1)/2；
//OP4-112.5°：
if(abs(p[0]-p[4])<thr && abs(p[7]-p[11])<thr)
intp＝limit_min_max((p[0]+p[4]+p[7]+p[11]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-135°：
if(abs(p[3]-p[4])<thr && abs(p[7]-p[8])<thr)
intp＝limit_min_max((p[3]+p[4]+p[7]+p[8]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-157.5°：
intp＝limit_min_max((p[3]+p[8]+1)/2,min1,max1)；
ここで、演算子型ＯＰ１，ＯＰ２については被補間画素（中心画素）の最近傍４画素で、また、演算子型ＯＰ３，ＯＰ４については被補間画素（中心画素）の最近傍２画素の画素値で最大値・最小値を制限しているが、これは補間値が突出することを防止するためのものである。ただし、最近傍画素の画素値の最大値・最小値を用いることに限定されず、他の制限値を使用することも可能である。
【００４１】
また、ＯＰ１−２２.５°、ＯＰ１−６７.５゜、ＯＰ１−１１２.５°、ＯＰ１−１５７.５°、ＯＰ２−２２.５°、ＯＰ２−６７.５°、ＯＰ２−１１２.５°、ＯＰ２−１５７.５°、ＯＰ３−２２.５°、ＯＰ３−４５°、ＯＰ３−１３５°、ＯＰ３−１５７.５°、ＯＰ４−４５°、ＯＰ４−６７.５°、ＯＰ４−１１２.５°、ＯＰ４−１３５°における４値の加重平均にあたって使用する画素値の輪郭方向両側のペアについても差が上記最大値・最小値の差を超える場合は突出値によって補間値が乱れる危険が大として最近傍画素平均による補間に切り替える。これについても最近傍画素の画素値の最大値・最小値を用いることに限定されず、他の制限値を使用することも可能である。なお、演算子型ＯＰ０とＯＰ５とは、既に中心画素の画素値が既知であるので、上記のような加重平均の計算で中央画素における未知の色要素の補間値を求めるプロセスは不要である。
【００４２】
再び輪郭の有無の情報及び方向性の比較結果をもとにした判定プロセスの説明に戻る。図１の内挿・高域加算処理部１６〜１９は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすかどうかを判定し（図２ＢのステップＳ３７、Ｓ４８、Ｓ５９、Ｓ６６）、その判定結果に応じて、内挿処理と高域加算処理とを行う（図２ＢのステップＳ３８〜Ｓ４５、Ｓ４９〜Ｓ５６、Ｓ６０〜Ｓ６３、Ｓ６７〜Ｓ７０）。
【００４３】
例えば、画素タイプＲ画素用の内挿・高域加算処理部１６は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ３７のＹ）、Ｇ信号の方向性を優先的に採用し、まずＧ信号をＧ信号の方向性で内挿する（ステップＳ３８）。ここで、上記のステップＳ３７での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。
【００４４】
続いて、内挿・高域加算処理部１６は、Ｂ−Ｇ信号を同じくＧ信号の方向性で内挿する（ステップＳ３９）。なお、Ｇ信号については演算子型ＯＰ２を用い内挿し、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ１を用いて内挿する。続いて、内挿・高域加算処理部１６は、Ｇ信号の内挿結果に対してＲ信号の高域成分を加算する（ステップＳ４０）。これについては後述する。同様に、内挿・高域加算処理部１６は、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ４１）。
【００４５】
一方、内挿・高域加算処理部１６は、ステップＳ３７の４つの判定条件のいずれも満たさないときには（ステップＳ３７のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ画素の最近傍画素の画素値の平均値でＧ信号とＢ−Ｇ信号の内挿を行う（ステップＳ４２、Ｓ４３）。続いて、内挿・高域加算処理部１６は、このＧ信号の内挿結果に対してＲ信号の高域成分を加算し（ステップＳ４４）、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に対して、Ｇ信号の高域成分を加算する（ステップＳ４５）。そして、内挿・高域加算処理部１６は、ステップＳ４１又はＳ４５の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２０へ出力して無彩色化処理させる（図２ＢのステップＳ４６）。
【００４６】
また、画素タイプＢ画素用の内挿・高域加算処理部１７は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ４８のＹ）、Ｇ信号の方向性を優先的に採用し、まずＧ信号をＧ信号の方向性で内挿する（ステップＳ４９）。ここで、上記のステップＳ４８での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。
【００４７】
続いて、内挿・高域加算処理部１７は、Ｒ−Ｇ信号を同じくＧ信号の方向性で内挿する（ステップＳ５０）。なお、Ｇ信号については演算子型ＯＰ２を用い内挿し、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ１を用いて内挿する。続いて、内挿・高域加算処理部１７は、Ｇ信号の内挿結果に対してＢ信号の高域成分を加算する（ステップＳ５１）。これについては後述する。同様に、内挿・高域加算処理部１７は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算する（ステップＳ５２）。
【００４８】
一方、内挿・高域加算処理部１７は、ステップＳ４８の４つの判定条件のいずれも満たさないときには（ステップＳ４８のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｂ画素の最近傍画素の画素平均値でＧ信号とＲ−Ｇ信号の内挿を行う（ステップＳ５３、Ｓ５４）。続いて、内挿・高域加算処理部１７は、このＧ信号の内挿結果に対してＢ信号の高域成分を加算し（ステップＳ５５）、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に対して、Ｇ信号の高域成分を加算する（ステップＳ５６）。そして、内挿・高域加算処理部１７は、ステップＳ５２又はＳ５６の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２１へ出力して無彩色化処理させる（図２ＢのステップＳ５７）。
【００４９】
また、画素タイプＧ＿ａ画素用の内挿・高域加算処理部１８は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ５９のＹ）、Ｇ信号の方向性を優先的に採用し、Ｒ−Ｇ信号とＢ−Ｇ信号ともにＧ信号の方向性で内挿する（ステップＳ６０）。ここで、上記のステップＳ５９での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。なお、内挿は、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ３を用いて、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ４を用いて計算する。
【００５０】
続いて、内挿・高域加算処理部１８は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算すると共に、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ６１）。これについては後述する。
【００５１】
一方、内挿・高域加算処理部１８は、ステップＳ５９の４つの判定条件のいずれも満たさないときには（ステップＳ５９のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ−Ｇ信号については中心画素であるＧ画素の左右のＲ画素の平均値で内挿を行い、Ｂ−Ｇ信号については中心画素であるＧ画素の上下のＢ画素の平均値で内挿を行う（ステップＳ６２）。続いて、内挿・高域加算処理部１８は、この内挿結果であるＲ信号、Ｂ信号に対してＧ信号の高域成分を加算する（ステップＳ６３）。そして、内挿・高域加算処理部１８は、ステップＳ６１又はＳ６３の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２２へ出力して無彩色化処理させる（図２ＢのステップＳ６４）。
【００５２】
また、画素タイプＧ＿ｂ画素用の内挿・高域加算処理部１９は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ６６のＹ）、Ｇ信号の方向性を優先的に採用し、Ｒ−Ｇ信号とＢ−Ｇ信号ともにＧ信号の方向性で内挿する（ステップＳ６７）。ここで、上記のステップＳ６６での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。なお、内挿は、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ４を用いて、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ３を用いて計算する。
【００５３】
続いて、内挿・高域加算処理部１９は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算すると共に、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ６８）。これについては後述する。
【００５４】
一方、内挿・高域加算処理部１９は、ステップＳ６６の４つの判定条件のいずれも満たさないときには（ステップＳ６６のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ−Ｇ信号については中心画素であるＧ画素の上下のＲ画素の平均値で内挿を行い、Ｂ−Ｇ信号については中心画素であるＧ画素の左右のＢ画素の平均値で内挿を行う（ステップＳ６９）。続いて、内挿・高域加算処理部１９は、この内挿結果であるＲ信号、Ｂ信号に対してＧ信号の高域成分を加算する（ステップＳ７０）。そして、内挿・高域加算処理部１９は、ステップＳ６８又はＳ７０の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２３へ出力して無彩色化処理させる（図２ＢのステップＳ７１）。
【００５５】
次に、ステップＳ４０、Ｓ４１、Ｓ４４、Ｓ４５、Ｓ５１、Ｓ５２、Ｓ５５、Ｓ５６、Ｓ６１、Ｓ６３、Ｓ６８、Ｓ７０の高域加算処理について説明する。
【００５６】
未知色と既知色の輪郭方向性が一致している場合（相関がある場合）、それぞれの高域相関性が高いと判断し、既に求められた補間値（Ｐ［ｊ］［ｉ］とする）に、下記のように高域成分を加算する。ここで、（１）式の分子の絶対値記号をはずした下記の（２）式を定義する。この（２）式の符号により、順相関か逆相関かの相関性を判定できる。
【００５７】
【数２】
【００５８】
（ａ）Ｒ画素，Ｂ画素の場合
Ｒ画素におけるＲ信号の評価、及びＢ画素におけるＢ信号の評価に用いる演算子型ＯＰ０と、Ｒ画素におけるＧ信号の評価、及びＢ画素におけるＧ信号の評価に用いる演算子型ＯＰ２についての（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。順相関の場合は、未知のＧ信号に既知の色要素のＲ／Ｂ画素のＲ／Ｂ信号の高域成分を加算する。逆相関の場合は、未知のＧ信号から既知の色要素のＲ／Ｂ画素のＲ／Ｂ信号の高域成分を減算する（Ｒ／Ｂ信号の逆位相の高域成分を加算する）（ステップＳ４０、Ｓ４４、Ｓ５１、Ｓ５５）。
【００５９】
高域成分ｈｐの導出にあたっては内挿の方向性に応じて、図１４のＯＰ０の微分演算子型群中の画素番号ｉの画素値をp[i]として以下のように計算する。
【００６０】
0°：hp＝(2*p[4] - p[3] - p[5]+1)/2；
22.5°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
45°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
67.5°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
90°：hp＝(2*p[4] - p[1] - p[7]+1)/2；
112.5°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
135°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
157.5°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
以上のように得られたＧ信号についても同様な高域抽出を行い、Ｂ／Ｒ信号に加算する（ステップＳ４１、Ｓ４５、Ｓ５２、Ｓ５６）。
【００６１】
（ｂ）Ｇ＿ａ画素，Ｇ＿ｂ画素の場合
Ｇ＿ａ画素におけるＲ信号の評価、及びＧ＿ｂ画素におけるＢ信号の評価に用いる演算子型ＯＰ３と、Ｇ＿ａ画素におけるＢ信号の評価、及びＧ＿ｂ画素におけるＲ信号の評価に用いる演算子型ＯＰ４と、Ｇ＿ａ画素におけるＧ信号の評価、及びＧ＿ｂ画素におけるＧ信号の評価に用いる演算子型ＯＰ５についての（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。順相関の場合は、未知色のＲ／Ｂ信号に既知の色要素のＧ画素のＧ信号の高域成分を加算する。逆相関の場合は未知色のＲ／Ｂ信号から既知の色要素のＧ画素のＧ信号の高域成分を減算する（Ｇ信号の逆位相の高域成分を加算する）（ステップＳ６１、Ｓ６３、Ｓ６８、Ｓ７０）。
【００６２】
高域成分ｈｐの導出にあたっては内挿の方向性に応じて、図１９のＯＰ５の微分演算子型群中の画素番号ｉの画素値をp[i]として以下のように計算する。
【００６３】
0°：hp＝(2*p[10] - p[9] - p[11]+1)/2；
22.5°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
45°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
67.5°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
90°：hp＝(2*p[10] - p[3] - p[17]+1)/2；
112.5°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
135°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
157.5°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
また、方向性に基づく補間が行われない場合は、補間を最近傍の線形補間で行うこととしているので、線形フィルタを使用して近傍画素の値から高域成分を取得する。
【００６４】
次に、無彩色化処理部２０〜２３によるステップＳ４６、Ｓ５７、Ｓ６４、Ｓ７１での偽色の無彩色化処理について説明する。
【００６５】
Ｇ信号中にはベイヤ配列の色フィルタにより水平・垂直方向の縞状の高域変動パターンが含まれ、これが偽色発生の原因になるので、無彩色化処理部２０〜２３はこの偽色を無彩色化する処理を行う。
【００６６】
具体的には、無彩色化処理部２０、２１は、図２０（Ａ）、（Ｂ）に示すように、中心画素がＲ画素又はＢ画素であるときの演算子型ＯＰ２におけるＧ画素につき水平方向、垂直方向にそれぞれ３画素分又は４画素分の画素値の平均値を算出する。また、無彩色化処理部２２、２３は、図２０（Ｃ）、（Ｄ）に示すように、中心画素がＧ＿ａ画素又はＧ＿ｂ画素であるときの演算子型ＯＰ５におけるＧ画素につき水平方向、垂直方向にそれぞれ３画素分又は４画素分の画素値の平均値を算出する。そして、無彩色化処理部２０〜２３は、これらの平均値の変動が一定値を超える場合に、縞状の高域変動パターンであると判断して既に定まっているＲ画素、Ｇ画素、Ｂ画素の各画素値Ｒ，Ｇ，Ｂをもとに、次式
Ｙ＝０.７１５Ｇ＋０.０７７２Ｂ＋０.２１２６Ｒ （３）
により信号Ｙを生成し、これを新しいＲ画素、Ｇ画素、Ｂ画素の画素値とすることで無彩色化する。
【００６７】
このようにして、無彩色化処理部２０は、無彩色化処理して得たＧ信号及びＢ信号を出力する（図２ＢのステップＳ４７）。また、無彩色化処理部２１は、無彩色化処理して得たＧ信号及びＲ信号を出力する（図２ＢのステップＳ５８）。また、無彩色化処理部２２及び２３は、それぞれ無彩色化処理して得たＲ信号及びＢ信号を出力する（図２ＢのステップＳ６５、Ｓ７２）。
【００６８】
以上説明したように、本実施の形態によれば、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を４種類の画素タイプに分類し、分類したそれぞれの画素タイプの撮像信号におけるＲ画素、Ｇ画素、Ｂ画素とその周囲の近傍画素の各値に基づいてそれぞれの信号の輪郭の方向性を検出し、検出した方向性につき、Ｒ信号またはＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合には、Ｇ信号の方向性を優先的に採用し、更にＲ信号またはＢ信号の画素値補間にも利用することによって、Ｒ信号、Ｇ信号、Ｂ信号の相関性を生かしたジャギーが少なく滑らかで、かつ、偽色の少ない画素補間を行うことができる。
【００６９】
また、本実施の形態によれば、輪郭の有無・方向性評価部１２〜１５によって検出された方向性に沿った画素値の加重平均を補間値とする際に、加重平均値を所定の複数の周辺画素の最大値と最小値により決定される値によって制限することにより補間値の突出を避けることができる。
【００７０】
更に、本実施の形態によれば、（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。そして、方向性が示す方向に配置された中心画素と同一の色要素の画素領域内の複数の画素の値に基づいて算出した、中心画素と同一の色要素の原色信号の高周波数成分を、Ｂ画素、Ｒ画素の画素値に、順相関の場合は、これらの画素値を求める際に用いた加算し、逆相関の場合は減算し、画素補間に際して順相関・無相関・逆相関に配慮することで補間後の映像信号の広帯域化を実現することができる。
【００７１】
なお、本発明は、ハードウェアのベイヤ画像補間処理を行う画像処理装置に限定されるものでなく、図１のブロック図の構成をコンピュータにより実行させるコンピュータプログラムも包含する。この場合のコンビュータプログラムである画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の画像処理装置の一実施の形態のブロック図である。
【図２Ａ】図１の動作説明用フローチャート（その１）である。
【図２Ｂ】図１の動作説明用フローチャート（その２）である。
【図３】本発明における画素タイプの分類を説明する図である。
【図４】Ｒ画素近傍のＲＧＢ画素配置を示す図である。
【図５】Ｂ画素近傍のＲＧＢ画素配置を示す図である。
【図６】Ｇ＿ａ画素近傍のＲＧＢ画素配置を示す図である。
【図７】Ｇ＿ｂ画素近傍のＲＧＢ画素配置を示す図である。
【図８】演算子型ＯＰ０の画素配置を示す図である。
【図９】演算子型ＯＰ１の画素配置を示す図である。
【図１０】演算子型ＯＰ２の画素配置を示す図である。
【図１１】演算子型ＯＰ３の画素配置を示す図である。
【図１２】演算子型ＯＰ４の画素配置を示す図である。
【図１３】演算子型ＯＰ５の画素配置を示す図である。
【図１４】演算子型ＯＰ０の画素配置を用いた微分演算子型群を示す図である。
【図１５】演算子型ＯＰ１の画素配置を用いた微分演算子型群を示す図である。
【図１６】演算子型ＯＰ２の画素配置を用いた微分演算子型群を示す図である。
【図１７】演算子型ＯＰ３の画素配置を用いた微分演算子型群を示す図である。
【図１８】演算子型ＯＰ４の画素配置を用いた微分演算子型群を示す図である。
【図１９】演算子型ＯＰ５の画素配置を用いた微分演算子型群を示す図である。
【図２０】偽色除去のための無彩色化すべき領域の検出法を説明するための図である。
【図２１】ベイヤ配列の一例を示す図である。
【符号の説明】
【００７３】
１０ 画像処理装置
１１ 中心画素タイプ分類部
１２〜１５ 輪郭の有無・方向性評価部
１６〜１９ 内挿・高域加算処理部
２０〜２３ 無彩色化処理部
【技術分野】
【０００１】
本発明は画像処理装置に係り、特にベイヤ配列の画像データに対して画素補間を行う画像処理装置に関する。
【背景技術】
【０００２】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子が知られている。このベイヤ配列の色フィルタは、図２１に模式的に示すように、赤色光を透過させる１画素分の赤色フィルタ部Ｒと、緑色光を透過させる１画素分の緑色フィルタ部Ｇと、青色光を透過させる１画素分の青色フィルタ部Ｂとが配置された構成である。図２１に示すベイヤ配列の色フィルタは、上記の色フィルタ部Ｒ，Ｇ，Ｂのうち、輝度信号の寄与する割合の高い緑色光を透過させる緑色フィルタ部Ｇを１画素ピッチおき毎に市松状に配置し、残りの箇所に赤色フィルタ部Ｒと青色フィルタ部Ｂとを１画素ピッチおき毎に市松状に配置した構成である。
【０００３】
このように、ベイヤ配列の色フィルタは、同一の色要素の色フィルタ部が幾何学的に飛び飛びの画素位置に存在するため、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を処理する画像処理装置は、全画素について三原色の色要素の揃った信号にするために、この飛び飛びの画素位置に存在する色を補間する補間処理を行う。
【０００４】
ここで、上記の画像処理装置が、上記の補間処理を単純な近傍画素の平均を計算することによって行うと、エッジ部分のジャギーや偽色（原画像に存在しない色彩）が発生することが広く知られている。そのため、従来から、これらのジャギーや偽色を軽減するための各種の画像処理装置が提案されている。その提案の多くは、色の連続性や相関性をもとに補間の条件を制御するような処理を行っている。
【０００５】
例えば、斜め方向の相関性にポイントをおいた技術が従来、提案されている（例えば、特許文献１、特許文献２参照）。特許文献１には，画素値の複数の方向の勾配を算出し、それをもとに各方向の重みを変えて補間を行う画像処理装置が開示されている。また、特許文献２には、処理対象の画素の上下左右の画素の各値との相関性をもとに補間係数を決定して補間を行う画像処理装置が開示されている。
【０００６】
また、偽色の問題のうちで、赤色信号Ｒ，青色信号Ｂの狭帯域を原因とするものに対する対策処理を行う従来の画像処理装置が知られている（例えば、特許文献３参照）。この特許文献３記載の画像処理装置では、高域におけるＲＧＢ相関性を利用して、緑色信号Ｇの高域を赤色信号Ｒ，青色信号Ｂにそれぞれ加算することにより広帯域化して、偽色を軽減している。
【０００７】
【特許文献１】特開平１０−１６４６０２号公報
【特許文献２】特開平１１−１７７９９４号公報
【特許文献３】特開２０００−５０２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、これらの先行技術においては、ＲＧＢの各原色の相関性が一般に高いなどといった経験則や一般的性質などを利用していないため、ＲＧＢの各原色のそれぞれが独立に相関性推定と補間係数が決定され、エッジ部のジャギーや偽色の抑圧が不十分であることがある。
【０００９】
また、特許文献３における高域におけるＲＧＢ相関性は常に成立するものではなく、無相関の場合も逆相関の場合もあり、それらの場合は単純な加算処理は画質に悪影善を及ぼす。
【００１０】
本発明は以上の点に鑑みなされたもので、ジャギーが少なく滑らかでかつ偽色の少ない画素補間を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、第１の発明は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する色要素が三原色のうちいずれか一の原色である既知の各画素において、その既知の色要素以外の他の二つの色要素の原色信号を周辺の画素の値に基づいて補間する画像処理を行う画像処理装置であって、
入力された撮像信号の画素が、その画素の色要素とその画素を中心画素としたときの周辺の画素の色要素との関係に基づいて、複数の種類の画素タイプのいずれであるかを分類する画素タイプ分類手段と、画素タイプ分類手段により分類された各画素タイプ毎に、入力された撮像信号の画素と、その画素を中心とする複数の周辺の画素とからなる予め設定された画素領域内で、その画素領域内の各画素の値を用いて所定の演算式により演算して、三原色全ての原色信号について輪郭成分の最も大きな方向性を検出する検出手段と、画素タイプ分類手段により分類された各画素タイプのそれぞれについて、検出手段により検出した方向性が示す方向のうち、基準とする所定の一の原色信号の方向性が示す方向と残りの二つの原色信号の方向性が示す方向との間の角度が予め設定した角度範囲以内にあるか否かをそれぞれ判定する判定手段と、判定手段により角度が角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を中心画素における二つの色要素の画素値として内挿する内挿手段と、を有することを特徴とする。
【００１２】
また、上記の目的を達成するため、第２の発明は、第１の発明の構成に加えて、角度が前記角度範囲以内にあると判定した前記方向性が示す方向に配置された前記中心画素と同一の色要素の前記画素領域内の複数の画素の値に基づいて算出した、該中心画素と同一の色要素の原色信号の高周波数成分を、前記二つの色要素の画素値に、これらの画素値を求める際に用いた前記所定の演算式の演算結果に付される正負いずれかの符号に応じて加減算する加減算手段を有する。
【００１３】
更に、上記の目的を達成するため、第３の発明は、上記発明の内挿手段を、判定手段により角度が角度範囲以内にあると判定した方向性が示す方向に配置された中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値を、二つの色要素毎に加重平均し、更にその加重平均値を中心画素の周辺のその色要素の複数の画素の最大値と最小値により決定される値によって制限された補間値とする手段であることを特徴とする。本発明は、広義の連続性や相関性を利用したものであり、斜め方向の補間に重点を置いた画素値のエッジ方向性を利用している。
【発明の効果】
【００１４】
本発明によれば、三原色の画素の相関性を生かしたジャギーが少なく滑らかでかつ偽色の少ない画素補間を行うことができる。また、本発明によれば、画素補間に際して順相関・無相関・逆相関に配慮することで補間後の映像信号の広帯域化を実現することができる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の一実施の形態について図面と共に詳細に説明する。
図１は、本発明になる画像処理装置の一実施の形態のブロック図を示す。この実施の形態の画像処理装置１０は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を処理する画像処理装置であって、固体撮像素子から出力されたベイヤ配列の撮像信号を入力として受ける中心画素タイプ分類部１１と、中心画素タイプ分類部１１により分類されて振り分け出力された撮像信号による表示映像に輪郭が含まれているか否かの輪郭の有無と、その輪郭の表示映像における方向を示す方向性とを互いに独立してそれぞれ評価する輪郭の有無・方向性評価部１２、１３、１４、１５と、輪郭の有無・方向性評価部１２、１３、１４、１５の出力信号に対して内挿・高域加算処理をそれぞれ別々に行う内挿・高域加算処理部１６、１７、１８、１９と、内挿・高域加算処理部１６、１７、１８、１９の各出力信号に対して無彩色化処理を行う無彩色化処理部２０、２１、２２、２３とより構成される。
【００１６】
中心画素タイプ分類部１１は、固体撮像素子から入力されたベイヤ配列の撮像信号の色フィルタ部の位置にある既知の中心画素が後述する４種類の画素タイプのうちどの画素タイプであるかを判別して分類し、分類した画素タイプに応じてその中心画素を振り分け出力する。
【００１７】
輪郭の有無・方向性評価部１２、１３、１４、１５は、入力された画像信号の輪郭の有無を評価し、更にその輪郭の有無の評価結果に基づいて輪郭の方向性を評価する。
内挿・高域加算処理部１６、１７、１８、１９は、輪郭の有無・方向性評価部１２、１３、１４、１５に１対１に対応して設けられており、輪郭の有無・方向性評価部１２、１３、１４、１５から出力された輪郭の方向性の評価結果に基づいて、所定の２つの色要素の画素の内挿と高域加算の補間処理を行う。
【００１８】
無彩色化処理部２０、２１、２２、２３は、内挿・高域加算処理部１６、１７、１８、１９に１対１に対応して設けられており、内挿・高域加算処理部１６、１７、１８、１９から出力された処理結果に対して、後述する条件を満足するときに無彩色化処理を行って、それぞれ所定の２つの色要素の画素の補間処理信号を出力する。
【００１９】
次に、本実施の形態の動作について、図２Ａ及び図２Ｂのフローチャートと図３乃至図２０と共に詳細に説明する。中心画素タイプ分類部１１は、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を入力として受ける（図２ＡのステップＳ１）。この入力撮像信号の各画素信号は、図２１に示したベイヤ配列に基づいて、赤色信号Ｒ、緑色信号Ｇ、及び青色信号Ｂのどれかである。また、入力撮像信号の縦方向３画素、横方向３画素の中心画素の色要素がＲ、Ｂ、Ｇのどれであるかによって、図３（Ａ）〜（Ｄ）に示す４種類に分類することができる。ここで、中心画素は、ベイヤ配列の色フィルタの色フィルタ部に対応した既知の画素である。
【００２０】
図３（Ａ）は、図２１に示した色フィルタ部Ｒの位置にある中心画素が三原色のうちの色要素Ｒの画素（以下、Ｒ画素ともいう）の場合であり、上下左右の画素が三原色のうちの色要素Ｇの画素（以下、Ｇ画素ともいう）であり、左右の斜め方向の画素が三原色のうちの色要素Ｂの画素（以下、Ｂ画素ともいう）である。また、図３（Ｂ）は、図２１に示した色フィルタ部Ｂの位置にある中心画素がＢ画素の場合であり、上下左右の画素がＧ画素であり、左右の斜め方向の画素がＲ画素である。
【００２１】
図２１に示した色フィルタ部Ｇの位置にある既知の中心画素がＧ画素の場合は、上下左右の画素に応じて、図３（Ｃ）、（Ｄ）に示す２種類ある。図３（Ｃ）、（Ｄ）に示す画素配列は、いずれも中心画素がＧ画素で、左右の斜め方向の画素もＧ画素である点で共通するが、図３（Ｃ）の画素配列は、上下の画素がＢ画素、左右の画素がＲ画素であるのに対し、図３（Ｄ）の画素配列は、上下の画素がＲ画素、左右の画素がＢ画素である点で相違する。ここでは、図３（Ｃ）の画素配列における中心画素をＧ＿ａ画素、図３（Ｄ）の画素配列における中心画素をＧ＿ｂ画素と呼んで区別するものとする。
【００２２】
中心画素タイプ分類部１１は、入力されたベイヤ配列の撮像信号の画素が、図３（Ａ）〜（Ｄ）に示した４種類のどのタイプであるかを判別し、判別した入力画素がＲ画素の場合は、輪郭の有無・方向性評価部１２に入力画素信号を供給する。同様に、中心画素タイプ分類部１１は、判別した入力画素がＢ画素の場合は、輪郭の有無・方向性評価部１３に、判別した入力画素がＧ＿ａ画素の場合は、輪郭の有無・方向性評価部１４に、判別した入力画素がＧ＿ｂ画素の場合は、輪郭の有無・方向性評価部１５に、それぞれ入力画素信号を供給する（以上、図２ＡのステップＳ２）。
【００２３】
輪郭の有無・方向性評価部１２は、入力されたＲ画素を中心とする縦方向７画素、横方向７画素の図４（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図４（Ａ）に太丸で示すＲ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ３）と、図４（Ｂ）に太丸で示すＢ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ４）と、図４（Ｃ）に太丸で示すＧ画素の画素信号についての輪郭の有無の評価（図２ＡのステップＳ５）とを行う。続いて、輪郭の有無・方向性評価部１２は、ステップＳ３〜Ｓ５において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ１５〜Ｓ１７）。
【００２４】
同様に、輪郭の有無・方向性評価部１３は、入力されたＢ画素を中心とする縦方向７画素、横方向７画素の図５（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図５（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ６〜Ｓ８）。続いて、輪郭の有無・方向性評価部１３は、ステップＳ６〜Ｓ８において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ１８〜Ｓ２０）。
【００２５】
また、輪郭の有無・方向性評価部１４は、入力されたＧ＿ａ画素を中心とする縦方向７画素、横方向７画素程度の図６（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図６（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ９〜Ｓ１１）。続いて、輪郭の有無・方向性評価部１５は、ステップＳ９〜Ｓ１１において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ２１〜Ｓ２３）。
【００２６】
同様に、輪郭の有無・方向性評価部１５も、入力されたＧ＿ｂ画素を中心とする縦方向７画素、横方向７画素程度の図７（Ａ）〜（Ｃ）に示す画素範囲を評価領域とし、その評価領域の図７（Ａ）、（Ｂ）、（Ｃ）に太丸で示すＲ画素、Ｂ画素、Ｇ画素の画素信号についての輪郭の有無の評価を行う（図２ＡのステップＳ１２〜Ｓ１４）。続いて、輪郭の有無・方向性評価部１５は、ステップＳ１２〜Ｓ１４において輪郭が存在すると評価した場合に、その存在する輪郭の方向性の評価を行う（図２ＡのステップＳ２４〜Ｓ２６）。
【００２７】
事実上、輪郭の有無・方向性評価部１２〜１５による輪郭の有無の評価と方向性の評価とは同時に行われる。また、輪郭の有無の評価と方向性の評価は、図４〜図７に示した太丸で示された画素について行われるが、各画素タイプと評価をしようとしている色要素によって画素配置が異なるため、その評価のために複数の演算子型を用意しなければならない。
【００２８】
具体的には、Ｒ画素におけるＲ信号の評価においては、図８に示す３行３列の演算子型ＯＰ０を用い、Ｒ画素におけるＢ信号の評価においては、図９に示す４行４列の演算子型ＯＰ１を用い、Ｒ画素におけるＧ信号の評価においては、図１０に示す演算子型ＯＰ２を用いる。また、Ｂ画素におけるＲ信号の評価においては、図９に示す演算子型ＯＰ１を用い、Ｂ画素におけるＢ信号の評価においては図８に示す清算子型ＯＰ０を用い、Ｂ画素におけるＧ信号の評価においては図１０に示す演算子型ＯＰ２を用いる。
【００２９】
また、Ｇ＿ａ画素におけるＲ信号の評価においては図１１に示す３行４列の演算子型ＯＰ３を用い、Ｇ＿ａ画素におけるＢ信号の詳価においては図１２に示す４行３列の演算子型０Ｐ４を用い、Ｇ＿ａ画素におけるＧ信号の評価においては図１３に示す演算子型ＯＰ５を用いる。更に、Ｇ＿ｂ画素におけるＲ信号の評価においては図１２に示す演算子型ＯＰ４を用い、Ｇ＿ｂ画素におけるＢ信号の評価においては図１１に示す演算子型ＯＰ３を用い、Ｇ＿ｂ画素におけるＧ信号の評価においては図１３に示す演算子型ＯＰ５を用いる。
【００３０】
そして、上記の演算子型ＯＰ０〜ＯＰ５のそれぞれについて０°，２２.５°，４５°，６７.５°，９０°，１１２.５°，１３５°，１５７.５°の８方向のエッジ方向性を評価する微分演算子を構築する。図１４〜図１９は、演算子型ＯＰ０〜ＯＰ５についての８方向の微分演算子群を示す。また、図１４〜図１９において、丸は微分演算子としての画素を示し、また、各画素の右肩の数字は画素番号を示す。また、図１４〜図１９における各図（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）に示す直線は、それぞれ０°，２２.５°，４５°，６７.５°，９０°，１１２.５°，１３５°，１５７.５°の方向性を示す。
【００３１】
ここで、図１４〜図１９における画素番号ｉの画素値をＸ［ｉ］とし、演算子の係数ｃ［ｉ］を白丸の画素についてｃ［ｉ］＝１、黒丸の画素についてｃ［ｉ］＝−１、斜線の画素についてｃ［ｉ］＝０とし、演算子の全画素数をＮｏ、白丸の画素の数をＮｗ、黒丸の画素の数をＮｂとして、その演算子における相関性を（１）式により正規化した形で評価することにする。
【００３２】
【数１】
【００３３】
方向性評価では、（１）式の演算式による計算を上記の８つの角度のそれぞれについて行い、その中の最大値を示す角度をもってその角度の方向性を有するものと評価する。（１）式の値は、同一オペレータを使用する条件では、ある方向性における相対的な画素値の傾斜を表している。
【００３４】
なお、（１）式の計算結果がどの角度においても所定の閾値を超えない場合は“輪郭なし”と判定する。以上で上記のステップＳ１５〜Ｓ１７、Ｓ１８〜Ｓ２０、Ｓ２１〜Ｓ２３、Ｓ２４〜Ｓ２６の処理が終了する。
【００３５】
続いて、輪郭の有無・方向性評価部１２〜１５は、同一画素タイプ内での色による２つの方向性を比較して、近いかどうかを判定する（図２ＡのステップＳ２７〜Ｓ２８、Ｓ２９〜Ｓ３０、Ｓ３１〜Ｓ３２、Ｓ３４〜Ｓ３５）。ここでは、「方向性が近い」とは、比較する２つの方向性が同一の場合か、又は±２２．５°以内の場合をいうものとする。
【００３６】
すなわち、画素タイプＲ画素用の輪郭の有無・方向性評価部１２は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２７）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２８）とを行う。また、画素タイプＢ画素用の輪郭の有無・方向性評価部１３は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ２９）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３０）とを行う。また、画素タイプＧ＿ａ画素用の輪郭の有無・方向性評価部１４は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３１）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３２）とを行う。また、画素タイプＧ＿ｂ画素用の輪郭の有無・方向性評価部１５は、Ｒ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３４）と、Ｂ信号の方向性とＧ信号の方向性とが近いか否かの判定（ステップＳ３５）とを行う。
【００３７】
以上のような輪郭の有無の情報及び方向性の比較判定結果をもとに、以降のプロセスでの判断が行われる。ここで、以下“ＸをＹの方向性で内挿”という場合には、ＹについてＹに適合した演算子を使って算出した上記の方向性を、ＸについてＸに適合した演算子型の下記のＣ言語的表記された演算を行った結果を補間値とするということを意味するものにする。
【００３８】
ここで、前記の演算子型ＯＰ１〜ＯＰ４のそれぞれについて、前記の８つの方向性における中心画素の未知の色要素の補間値は、以下のように、方向性に沿った画素の値を加重平均し、更にその加重平均値を中心画素の複数の周辺画素の最大値と最小値とにより決定される値によって制限された制限値で表される。
【００３９】
なお、以下の説明において、p[i]は画素番号ｉを示しており、これは図１４〜図１９におけるものと同じである。また、ｍａｘ（，，，）は括弧内の最大値、ｍｉｎ（，，，）は括弧内の最小値を示す。また、ｌｉｍｉｔ＿ｍｉｎ＿ｍａｘ（Ｘ，ｍｉｎ１，ｍａｘ１）は、Ｘをｍｉｎ１を下限、ｍａｘ１を上限として制限することを意味するものとする。更に、補間値は「ｉｎｔｐ」とする。
【００４０】
（１）ＯＰ１について
max1=max(p[5],p[6],p[9],p[10])；min1=min(p[5],p[6],p[9],p[10])；thr=max1-min1；
//OP1-0°：最近傍４画素の単純平均
intp＝(p[5]+p[6]+p[9]+p[10]+2)/4；
//OP1-22.5°：
if(abs(p[6]-p[7])<thr && abs(p[8]-p[9])<thr)
intp＝limit_min_max((p[6]+p[7]+p[8]+p[9]+2)/4,min1,max1)；
else
intp＝(p[6]+p[9]+1)/2；
//OP1-45°：斜め２画素の単純平均
intp＝(p[6]+p[9]+1)/2；
//OP1-67.5°：
if(abs(p[2]-p[6])<thr && abs(p[9]-p[13])<thr)
intp＝limit_min_max((p[2]+p[6]+p[9]+p[13]+2)/4,min1,max1)；
else
intp＝(p[6]+p[9]+1)/2；
//OP1-90°：最近傍４画素の単純平均
intp＝(p[5]+p[6]+p[9]+p[10]+2)/4；
//OP1-112.5°：
if(abs(p[1]-p[5])<thr && abs(p[10]-p[14])<thr)
intp＝limit_min_max((p[1]+p[5]+p[10]+p[14]+2)/4,min1,max1)；
else
intp＝(p[5]+p[10]+1)/2；
//OP1-135°：斜め２画素の単純平均
intp＝(p[5]+p[10]+1)/2；
//OP1-157.5°：
if(abs(p[4]-p[5])<thr && abs(p[10]-p[11])<thr)
intp＝limit_min_max((p[4]+ p[5]+ p[10]+ p[11]+2)/4,min1,max1)；
else
intp＝(p[5]+p[10]+1)/2；
（２）ＯＰ２について
max1＝max(p[8],p[11],p[12],p[15])；min1＝min(p[8],p[11],p[12],p[15])；
thr＝max1-min1；
//OP2-0°：左右２画素の単純平均
intp＝(p[11]+p[12]+1)/2；
//OP2-22.5°：
if(abs(p[9]-p[12])<thr && abs(p[11]-p[14])<thr)
intp＝limit_min_max((p[9]+ p[11]+ p[12]+ p[14]+2)/4,min1,max1)；
else
intp＝(p[11]+p[12]+1)/2；
//OP2-45°：最近傍４画素の単純平均
intp＝(p[8]+p[11]+p[12]+p[15]+2)/4；
//OP2-67.5°：
if(abs(p[5]-p[8])<thr && abs(p[15]-p[18])<thr)
intp＝limit_min_max((p[5]+ p[8]+ p[15]+ p[18]+2)/4,min1,max1)；
else
intp＝(p[8]+p[15]+1)/2；
//OP2-90°：上下２画素の単純平均
intp＝(p[8]+p[15]+1)/2；
//OP2-112.5°：
if(abs(p[4]-p[8])<thr && abs(p[15]-p[19])<thr)
intp＝limit_min_max((p[4]+p[8]+p[15]+p[19]+2)/4,min1,max1)；
else
intp＝(p[8]+p[15]+1)/2；
//OP2-135°：最近傍４画素の単純平均
intp＝(p[8]+p[11]+p[12]+p[15] +2)/4；
//OP2-157.5°：
if(abs(p[7]-p[11])<thr && abs(p[12]-p[16])<thr)
intp＝limit_min_max((p[7]+p[11]+p[12]+p[16]+2)/4,min1,max1)；
else
intp＝(p[11]+p[12]+1)/2；
（３）ＯＰ３について
max1＝max(p[5],p[6])；min1＝min(p[5],p[6])；thr＝max1-min1；
//OP3-0°：左右２画素の単純平均
intp＝(p[5]+p[6]+1)/2；
//OP3-22.5°：
if(abs(p[3]-p[6])<thr && abs(p[5]-p[8])<thr)
intp＝limit_min_max((p[3]+p[6]+p[5]+p[8]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-45°：最近傍４画素の単純平均
if(abs(p[2]-p[6])<thr && abs(p[5]-p[9])<thr)
intp＝limit_min_max((p[2]+p[6]+p[5]+p[9]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-67.5°：
intp＝limit_min_max((p[2]+p[9]+1)/2,min1,max1)；
//OP3-90°：左右２画素の単純平均
intp＝(p[5]+p[6]+1)/2；
//OP3-112.5°：
intp＝limit_min_max((p[1]+p[10]+1)/2,min1,max1)；
//OP3-135°：最近傍４画素の単純平均
if(abs(p[1]-p[5])<thr && abs(p[6]-p[10])<thr)
intp＝limit_min_max((p[1]+p[5]+p[6]+ p[10]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
//OP3-157.5°：
if(abs(p[0]-p[5])<thr && abs(p[6]-p[11])<thr)
intp＝limit_min_max((p[0]+p[5]+p[6]+p[11]+2)/4,min1,max1)；
else
intp＝(p[5]+p[6]+1)/2；
（４）ＯＰ４について
max1＝max(p[4],p[7])；min1＝min(p[4],p[7])；thr＝max1-min1；
//OP4-0°：上下２画素の単純平均
intp＝ (p[4]+p[7]+1)/2；
//OP4-22.5°：
intp＝limit_min_max((p[5]+p[6]+1)/2,min1,max1)；
//OP4-45°：
if(abs(p[4]-p[5])<thr && abs(p[6]-p[7])<thr)
intp＝limit_min_max((p[4]+p[5]+p[6]+p[7]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-67.5°：
if(abs(p[2]-p[4])<thr && abs(p[7]-p[9])<thr)
intp＝limit_min_max((p[2]+p[4]+p[7]+p[9]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-90°：上下２画素の単純平均
intp＝(p[4]+p[7]+1)/2；
//OP4-112.5°：
if(abs(p[0]-p[4])<thr && abs(p[7]-p[11])<thr)
intp＝limit_min_max((p[0]+p[4]+p[7]+p[11]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-135°：
if(abs(p[3]-p[4])<thr && abs(p[7]-p[8])<thr)
intp＝limit_min_max((p[3]+p[4]+p[7]+p[8]+2)/4,min1,max1)；
else
intp＝(p[4]+p[7]+1)/2；
//OP4-157.5°：
intp＝limit_min_max((p[3]+p[8]+1)/2,min1,max1)；
ここで、演算子型ＯＰ１，ＯＰ２については被補間画素（中心画素）の最近傍４画素で、また、演算子型ＯＰ３，ＯＰ４については被補間画素（中心画素）の最近傍２画素の画素値で最大値・最小値を制限しているが、これは補間値が突出することを防止するためのものである。ただし、最近傍画素の画素値の最大値・最小値を用いることに限定されず、他の制限値を使用することも可能である。
【００４１】
また、ＯＰ１−２２.５°、ＯＰ１−６７.５゜、ＯＰ１−１１２.５°、ＯＰ１−１５７.５°、ＯＰ２−２２.５°、ＯＰ２−６７.５°、ＯＰ２−１１２.５°、ＯＰ２−１５７.５°、ＯＰ３−２２.５°、ＯＰ３−４５°、ＯＰ３−１３５°、ＯＰ３−１５７.５°、ＯＰ４−４５°、ＯＰ４−６７.５°、ＯＰ４−１１２.５°、ＯＰ４−１３５°における４値の加重平均にあたって使用する画素値の輪郭方向両側のペアについても差が上記最大値・最小値の差を超える場合は突出値によって補間値が乱れる危険が大として最近傍画素平均による補間に切り替える。これについても最近傍画素の画素値の最大値・最小値を用いることに限定されず、他の制限値を使用することも可能である。なお、演算子型ＯＰ０とＯＰ５とは、既に中心画素の画素値が既知であるので、上記のような加重平均の計算で中央画素における未知の色要素の補間値を求めるプロセスは不要である。
【００４２】
再び輪郭の有無の情報及び方向性の比較結果をもとにした判定プロセスの説明に戻る。図１の内挿・高域加算処理部１６〜１９は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすかどうかを判定し（図２ＢのステップＳ３７、Ｓ４８、Ｓ５９、Ｓ６６）、その判定結果に応じて、内挿処理と高域加算処理とを行う（図２ＢのステップＳ３８〜Ｓ４５、Ｓ４９〜Ｓ５６、Ｓ６０〜Ｓ６３、Ｓ６７〜Ｓ７０）。
【００４３】
例えば、画素タイプＲ画素用の内挿・高域加算処理部１６は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ３７のＹ）、Ｇ信号の方向性を優先的に採用し、まずＧ信号をＧ信号の方向性で内挿する（ステップＳ３８）。ここで、上記のステップＳ３７での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。
【００４４】
続いて、内挿・高域加算処理部１６は、Ｂ−Ｇ信号を同じくＧ信号の方向性で内挿する（ステップＳ３９）。なお、Ｇ信号については演算子型ＯＰ２を用い内挿し、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ１を用いて内挿する。続いて、内挿・高域加算処理部１６は、Ｇ信号の内挿結果に対してＲ信号の高域成分を加算する（ステップＳ４０）。これについては後述する。同様に、内挿・高域加算処理部１６は、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ４１）。
【００４５】
一方、内挿・高域加算処理部１６は、ステップＳ３７の４つの判定条件のいずれも満たさないときには（ステップＳ３７のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ画素の最近傍画素の画素値の平均値でＧ信号とＢ−Ｇ信号の内挿を行う（ステップＳ４２、Ｓ４３）。続いて、内挿・高域加算処理部１６は、このＧ信号の内挿結果に対してＲ信号の高域成分を加算し（ステップＳ４４）、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に対して、Ｇ信号の高域成分を加算する（ステップＳ４５）。そして、内挿・高域加算処理部１６は、ステップＳ４１又はＳ４５の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２０へ出力して無彩色化処理させる（図２ＢのステップＳ４６）。
【００４６】
また、画素タイプＢ画素用の内挿・高域加算処理部１７は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ４８のＹ）、Ｇ信号の方向性を優先的に採用し、まずＧ信号をＧ信号の方向性で内挿する（ステップＳ４９）。ここで、上記のステップＳ４８での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。
【００４７】
続いて、内挿・高域加算処理部１７は、Ｒ−Ｇ信号を同じくＧ信号の方向性で内挿する（ステップＳ５０）。なお、Ｇ信号については演算子型ＯＰ２を用い内挿し、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ１を用いて内挿する。続いて、内挿・高域加算処理部１７は、Ｇ信号の内挿結果に対してＢ信号の高域成分を加算する（ステップＳ５１）。これについては後述する。同様に、内挿・高域加算処理部１７は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算する（ステップＳ５２）。
【００４８】
一方、内挿・高域加算処理部１７は、ステップＳ４８の４つの判定条件のいずれも満たさないときには（ステップＳ４８のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｂ画素の最近傍画素の画素平均値でＧ信号とＲ−Ｇ信号の内挿を行う（ステップＳ５３、Ｓ５４）。続いて、内挿・高域加算処理部１７は、このＧ信号の内挿結果に対してＢ信号の高域成分を加算し（ステップＳ５５）、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に対して、Ｇ信号の高域成分を加算する（ステップＳ５６）。そして、内挿・高域加算処理部１７は、ステップＳ５２又はＳ５６の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２１へ出力して無彩色化処理させる（図２ＢのステップＳ５７）。
【００４９】
また、画素タイプＧ＿ａ画素用の内挿・高域加算処理部１８は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ５９のＹ）、Ｇ信号の方向性を優先的に採用し、Ｒ−Ｇ信号とＢ−Ｇ信号ともにＧ信号の方向性で内挿する（ステップＳ６０）。ここで、上記のステップＳ５９での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。なお、内挿は、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ３を用いて、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ４を用いて計算する。
【００５０】
続いて、内挿・高域加算処理部１８は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算すると共に、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ６１）。これについては後述する。
【００５１】
一方、内挿・高域加算処理部１８は、ステップＳ５９の４つの判定条件のいずれも満たさないときには（ステップＳ５９のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ−Ｇ信号については中心画素であるＧ画素の左右のＲ画素の平均値で内挿を行い、Ｂ−Ｇ信号については中心画素であるＧ画素の上下のＢ画素の平均値で内挿を行う（ステップＳ６２）。続いて、内挿・高域加算処理部１８は、この内挿結果であるＲ信号、Ｂ信号に対してＧ信号の高域成分を加算する（ステップＳ６３）。そして、内挿・高域加算処理部１８は、ステップＳ６１又はＳ６３の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２２へ出力して無彩色化処理させる（図２ＢのステップＳ６４）。
【００５２】
また、画素タイプＧ＿ｂ画素用の内挿・高域加算処理部１９は、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合の条件を満たすと判断したときは（ステップＳ６６のＹ）、Ｇ信号の方向性を優先的に採用し、Ｒ−Ｇ信号とＢ−Ｇ信号ともにＧ信号の方向性で内挿する（ステップＳ６７）。ここで、上記のステップＳ６６での条件は、Ｒ信号の輪郭が無く、かつ、Ｇ信号とＢ信号の輪郭が有り方向性が近い場合、又はＢ信号の輪郭が無く、かつ、Ｇ信号とＲ信号の輪郭が有り方向性が近い場合、又はＲ信号、Ｇ信号及びＢ信号の輪郭が有り、かつ、Ｒ信号とＧ信号の方向性及びＢ信号とＧ信号の方向性が近い場合、又はＲ信号とＢ信号の輪郭が無くＧ信号の輪郭が有る場合である。なお、内挿は、Ｒ−Ｇ信号については近傍の画素のＲの値から相当するＧの結果を減じたものについて演算子型ＯＰ４を用いて、Ｂ−Ｇ信号については近傍の画素のＢの値から相当するＧの結果を減じたものについて演算子型ＯＰ３を用いて計算する。
【００５３】
続いて、内挿・高域加算処理部１９は、Ｒ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＲ信号に、Ｇ信号の高域成分を加算すると共に、Ｂ−Ｇ信号の内挿結果とＧ信号の内挿結果の和として得られたＢ信号に、Ｇ信号の高域成分を加算する（ステップＳ６８）。これについては後述する。
【００５４】
一方、内挿・高域加算処理部１９は、ステップＳ６６の４つの判定条件のいずれも満たさないときには（ステップＳ６６のＮ）、Ｒ信号又はＢ信号の方向性がＧ信号の方向性と大きく矛盾すると判断し、Ｒ−Ｇ信号については中心画素であるＧ画素の上下のＲ画素の平均値で内挿を行い、Ｂ−Ｇ信号については中心画素であるＧ画素の左右のＢ画素の平均値で内挿を行う（ステップＳ６９）。続いて、内挿・高域加算処理部１９は、この内挿結果であるＲ信号、Ｂ信号に対してＧ信号の高域成分を加算する（ステップＳ７０）。そして、内挿・高域加算処理部１９は、ステップＳ６８又はＳ７０の処理結果を、後述の偽色を無彩色化する処理のために無彩色化処理部２３へ出力して無彩色化処理させる（図２ＢのステップＳ７１）。
【００５５】
次に、ステップＳ４０、Ｓ４１、Ｓ４４、Ｓ４５、Ｓ５１、Ｓ５２、Ｓ５５、Ｓ５６、Ｓ６１、Ｓ６３、Ｓ６８、Ｓ７０の高域加算処理について説明する。
【００５６】
未知色と既知色の輪郭方向性が一致している場合（相関がある場合）、それぞれの高域相関性が高いと判断し、既に求められた補間値（Ｐ［ｊ］［ｉ］とする）に、下記のように高域成分を加算する。ここで、（１）式の分子の絶対値記号をはずした下記の（２）式を定義する。この（２）式の符号により、順相関か逆相関かの相関性を判定できる。
【００５７】
【数２】
【００５８】
（ａ）Ｒ画素，Ｂ画素の場合
Ｒ画素におけるＲ信号の評価、及びＢ画素におけるＢ信号の評価に用いる演算子型ＯＰ０と、Ｒ画素におけるＧ信号の評価、及びＢ画素におけるＧ信号の評価に用いる演算子型ＯＰ２についての（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。順相関の場合は、未知のＧ信号に既知の色要素のＲ／Ｂ画素のＲ／Ｂ信号の高域成分を加算する。逆相関の場合は、未知のＧ信号から既知の色要素のＲ／Ｂ画素のＲ／Ｂ信号の高域成分を減算する（Ｒ／Ｂ信号の逆位相の高域成分を加算する）（ステップＳ４０、Ｓ４４、Ｓ５１、Ｓ５５）。
【００５９】
高域成分ｈｐの導出にあたっては内挿の方向性に応じて、図１４のＯＰ０の微分演算子型群中の画素番号ｉの画素値をp[i]として以下のように計算する。
【００６０】
0°：hp＝(2*p[4] - p[3] - p[5]+1)/2；
22.5°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
45°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
67.5°：hp＝(2*p[4] - p[2] - p[6]+1)/2；
90°：hp＝(2*p[4] - p[1] - p[7]+1)/2；
112.5°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
135°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
157.5°：hp＝(2*p[4] - p[0] - p[8]+1)/2；
以上のように得られたＧ信号についても同様な高域抽出を行い、Ｂ／Ｒ信号に加算する（ステップＳ４１、Ｓ４５、Ｓ５２、Ｓ５６）。
【００６１】
（ｂ）Ｇ＿ａ画素，Ｇ＿ｂ画素の場合
Ｇ＿ａ画素におけるＲ信号の評価、及びＧ＿ｂ画素におけるＢ信号の評価に用いる演算子型ＯＰ３と、Ｇ＿ａ画素におけるＢ信号の評価、及びＧ＿ｂ画素におけるＲ信号の評価に用いる演算子型ＯＰ４と、Ｇ＿ａ画素におけるＧ信号の評価、及びＧ＿ｂ画素におけるＧ信号の評価に用いる演算子型ＯＰ５についての（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。順相関の場合は、未知色のＲ／Ｂ信号に既知の色要素のＧ画素のＧ信号の高域成分を加算する。逆相関の場合は未知色のＲ／Ｂ信号から既知の色要素のＧ画素のＧ信号の高域成分を減算する（Ｇ信号の逆位相の高域成分を加算する）（ステップＳ６１、Ｓ６３、Ｓ６８、Ｓ７０）。
【００６２】
高域成分ｈｐの導出にあたっては内挿の方向性に応じて、図１９のＯＰ５の微分演算子型群中の画素番号ｉの画素値をp[i]として以下のように計算する。
【００６３】
0°：hp＝(2*p[10] - p[9] - p[11]+1)/2；
22.5°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
45°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
67.5°：hp＝(2*p[10] - p[7] - p[13]+1)/2；
90°：hp＝(2*p[10] - p[3] - p[17]+1)/2；
112.5°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
135°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
157.5°：hp＝(2*p[10] - p[6] - p[14]+1)/2；
また、方向性に基づく補間が行われない場合は、補間を最近傍の線形補間で行うこととしているので、線形フィルタを使用して近傍画素の値から高域成分を取得する。
【００６４】
次に、無彩色化処理部２０〜２３によるステップＳ４６、Ｓ５７、Ｓ６４、Ｓ７１での偽色の無彩色化処理について説明する。
【００６５】
Ｇ信号中にはベイヤ配列の色フィルタにより水平・垂直方向の縞状の高域変動パターンが含まれ、これが偽色発生の原因になるので、無彩色化処理部２０〜２３はこの偽色を無彩色化する処理を行う。
【００６６】
具体的には、無彩色化処理部２０、２１は、図２０（Ａ）、（Ｂ）に示すように、中心画素がＲ画素又はＢ画素であるときの演算子型ＯＰ２におけるＧ画素につき水平方向、垂直方向にそれぞれ３画素分又は４画素分の画素値の平均値を算出する。また、無彩色化処理部２２、２３は、図２０（Ｃ）、（Ｄ）に示すように、中心画素がＧ＿ａ画素又はＧ＿ｂ画素であるときの演算子型ＯＰ５におけるＧ画素につき水平方向、垂直方向にそれぞれ３画素分又は４画素分の画素値の平均値を算出する。そして、無彩色化処理部２０〜２３は、これらの平均値の変動が一定値を超える場合に、縞状の高域変動パターンであると判断して既に定まっているＲ画素、Ｇ画素、Ｂ画素の各画素値Ｒ，Ｇ，Ｂをもとに、次式
Ｙ＝０.７１５Ｇ＋０.０７７２Ｂ＋０.２１２６Ｒ （３）
により信号Ｙを生成し、これを新しいＲ画素、Ｇ画素、Ｂ画素の画素値とすることで無彩色化する。
【００６７】
このようにして、無彩色化処理部２０は、無彩色化処理して得たＧ信号及びＢ信号を出力する（図２ＢのステップＳ４７）。また、無彩色化処理部２１は、無彩色化処理して得たＧ信号及びＲ信号を出力する（図２ＢのステップＳ５８）。また、無彩色化処理部２２及び２３は、それぞれ無彩色化処理して得たＲ信号及びＢ信号を出力する（図２ＢのステップＳ６５、Ｓ７２）。
【００６８】
以上説明したように、本実施の形態によれば、ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力した撮像信号を４種類の画素タイプに分類し、分類したそれぞれの画素タイプの撮像信号におけるＲ画素、Ｇ画素、Ｂ画素とその周囲の近傍画素の各値に基づいてそれぞれの信号の輪郭の方向性を検出し、検出した方向性につき、Ｒ信号またはＢ信号の方向性がＧ信号の方向性と大きく矛盾しない場合には、Ｇ信号の方向性を優先的に採用し、更にＲ信号またはＢ信号の画素値補間にも利用することによって、Ｒ信号、Ｇ信号、Ｂ信号の相関性を生かしたジャギーが少なく滑らかで、かつ、偽色の少ない画素補間を行うことができる。
【００６９】
また、本実施の形態によれば、輪郭の有無・方向性評価部１２〜１５によって検出された方向性に沿った画素値の加重平均を補間値とする際に、加重平均値を所定の複数の周辺画素の最大値と最小値により決定される値によって制限することにより補間値の突出を避けることができる。
【００７０】
更に、本実施の形態によれば、（２）式の計算結果の符号がそれぞれ同一な場合は、輪郭が一致し、かつ、輪郭に垂直な方向についての画素値の増減が一致している順相関とし、符号が不一致な場合は逆相関とする。そして、方向性が示す方向に配置された中心画素と同一の色要素の画素領域内の複数の画素の値に基づいて算出した、中心画素と同一の色要素の原色信号の高周波数成分を、Ｂ画素、Ｒ画素の画素値に、順相関の場合は、これらの画素値を求める際に用いた加算し、逆相関の場合は減算し、画素補間に際して順相関・無相関・逆相関に配慮することで補間後の映像信号の広帯域化を実現することができる。
【００７１】
なお、本発明は、ハードウェアのベイヤ画像補間処理を行う画像処理装置に限定されるものでなく、図１のブロック図の構成をコンピュータにより実行させるコンピュータプログラムも包含する。この場合のコンビュータプログラムである画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の画像処理装置の一実施の形態のブロック図である。
【図２Ａ】図１の動作説明用フローチャート（その１）である。
【図２Ｂ】図１の動作説明用フローチャート（その２）である。
【図３】本発明における画素タイプの分類を説明する図である。
【図４】Ｒ画素近傍のＲＧＢ画素配置を示す図である。
【図５】Ｂ画素近傍のＲＧＢ画素配置を示す図である。
【図６】Ｇ＿ａ画素近傍のＲＧＢ画素配置を示す図である。
【図７】Ｇ＿ｂ画素近傍のＲＧＢ画素配置を示す図である。
【図８】演算子型ＯＰ０の画素配置を示す図である。
【図９】演算子型ＯＰ１の画素配置を示す図である。
【図１０】演算子型ＯＰ２の画素配置を示す図である。
【図１１】演算子型ＯＰ３の画素配置を示す図である。
【図１２】演算子型ＯＰ４の画素配置を示す図である。
【図１３】演算子型ＯＰ５の画素配置を示す図である。
【図１４】演算子型ＯＰ０の画素配置を用いた微分演算子型群を示す図である。
【図１５】演算子型ＯＰ１の画素配置を用いた微分演算子型群を示す図である。
【図１６】演算子型ＯＰ２の画素配置を用いた微分演算子型群を示す図である。
【図１７】演算子型ＯＰ３の画素配置を用いた微分演算子型群を示す図である。
【図１８】演算子型ＯＰ４の画素配置を用いた微分演算子型群を示す図である。
【図１９】演算子型ＯＰ５の画素配置を用いた微分演算子型群を示す図である。
【図２０】偽色除去のための無彩色化すべき領域の検出法を説明するための図である。
【図２１】ベイヤ配列の一例を示す図である。
【符号の説明】
【００７３】
１０ 画像処理装置
１１ 中心画素タイプ分類部
１２〜１５ 輪郭の有無・方向性評価部
１６〜１９ 内挿・高域加算処理部
２０〜２３ 無彩色化処理部
【特許請求の範囲】
【請求項１】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する色要素が三原色のうちいずれか一の原色である既知の各画素において、その既知の色要素以外の他の二つの色要素の原色信号を周辺の画素の値に基づいて補間する画像処理を行う画像処理装置であって、
入力された前記撮像信号の画素が、その画素の色要素とその画素を中心画素としたときの周辺の画素の色要素との関係に基づいて、複数の種類の画素タイプのいずれであるかを分類する画素タイプ分類手段と、
前記画素タイプ分類手段により分類された各画素タイプ毎に、入力された前記撮像信号の画素と、その画素を中心とする複数の周辺の画素とからなる予め設定された画素領域内で、その画素領域内の各画素の値を用いて所定の演算式により演算して、三原色全ての原色信号について輪郭成分の最も大きな方向性を検出する検出手段と、
前記画素タイプ分類手段により分類された各画素タイプのそれぞれについて、前記検出手段により検出した前記方向性が示す方向のうち、基準とする所定の一の原色信号の方向性が示す方向と残りの二つの原色信号の方向性が示す方向との間の角度が予め設定した角度範囲以内にあるか否かをそれぞれ判定する判定手段と、
前記判定手段により前記角度が前記角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された前記中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、該二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を前記中心画素における前記二つの色要素の画素値として内挿する内挿手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記角度が前記角度範囲以内にあると判定した前記方向性が示す方向に配置された前記中心画素と同一の色要素の前記画素領域内の複数の画素の値に基づいて算出した、該中心画素と同一の色要素の原色信号の高周波数成分を、前記二つの色要素の画素値に、これらの画素値を求める際に用いた前記所定の演算式の演算結果に付される正負いずれかの符号に応じて加減算する加減算手段を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記内挿手段は、
前記判定手段により前記角度が前記角度範囲以内にあると判定した方向性が示す方向に配置された前記中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値を、該二つの色要素毎に加重平均し、更にその加重平均値を前記中心画素の周辺のその色要素の複数の画素の最大値と最小値により決定される値によって制限した値を前記補間値とする手段であることを特徴とする請求項１又は２記載の画像処理装置。
【請求項１】
ベイヤ配列の色フィルタを受光面上に設けた固体撮像素子から出力された撮像信号を構成する色要素が三原色のうちいずれか一の原色である既知の各画素において、その既知の色要素以外の他の二つの色要素の原色信号を周辺の画素の値に基づいて補間する画像処理を行う画像処理装置であって、
入力された前記撮像信号の画素が、その画素の色要素とその画素を中心画素としたときの周辺の画素の色要素との関係に基づいて、複数の種類の画素タイプのいずれであるかを分類する画素タイプ分類手段と、
前記画素タイプ分類手段により分類された各画素タイプ毎に、入力された前記撮像信号の画素と、その画素を中心とする複数の周辺の画素とからなる予め設定された画素領域内で、その画素領域内の各画素の値を用いて所定の演算式により演算して、三原色全ての原色信号について輪郭成分の最も大きな方向性を検出する検出手段と、
前記画素タイプ分類手段により分類された各画素タイプのそれぞれについて、前記検出手段により検出した前記方向性が示す方向のうち、基準とする所定の一の原色信号の方向性が示す方向と残りの二つの原色信号の方向性が示す方向との間の角度が予め設定した角度範囲以内にあるか否かをそれぞれ判定する判定手段と、
前記判定手段により前記角度が前記角度範囲以内にあると判定したときは、判定された方向性が示す方向に配置された前記中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値に基づいて、該二つの色要素の補間値を算出し、この算出した二つの色要素の補間値を前記中心画素における前記二つの色要素の画素値として内挿する内挿手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記角度が前記角度範囲以内にあると判定した前記方向性が示す方向に配置された前記中心画素と同一の色要素の前記画素領域内の複数の画素の値に基づいて算出した、該中心画素と同一の色要素の原色信号の高周波数成分を、前記二つの色要素の画素値に、これらの画素値を求める際に用いた前記所定の演算式の演算結果に付される正負いずれかの符号に応じて加減算する加減算手段を更に有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記内挿手段は、
前記判定手段により前記角度が前記角度範囲以内にあると判定した方向性が示す方向に配置された前記中心画素におけるその中心画素とは異なる二つの色要素の複数の画素の値を、該二つの色要素毎に加重平均し、更にその加重平均値を前記中心画素の周辺のその色要素の複数の画素の最大値と最小値により決定される値によって制限した値を前記補間値とする手段であることを特徴とする請求項１又は２記載の画像処理装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２０６５５２（Ｐ２００９−２０６５５２Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４４００２（Ｐ２００８−４４００２）
【出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]