画像拡大方法
【課題】画像処理回路において取得した情報を有効に利用し、拡大処理により生成される画像の品質を向上させることを課題とする。
【解決手段】相関値算出回路32は、カラー画像用およびグレー画像用の各画素の4方向の相関値を算出する。選択回路33は、彩度評価値に基づき、4方向の相関値Cv,Ch,CdA,CdBを決定する。第1相関判定回路341は、相関値Cv,Ch,CdA,CdBから注目画素の相関方向を判定する。第1補間回路351は判定された相関方向に基づいて色補間処理を実行する。色補間された画像は拡大回路37において拡大される。相関方向補間回路38は、第1相関判定回路341が決定した相関方向を拡大補間する。フィルタ39は拡大された画像の各画素について拡大補間された相関方向を利用してフィルタ処理を行う。
【解決手段】相関値算出回路32は、カラー画像用およびグレー画像用の各画素の4方向の相関値を算出する。選択回路33は、彩度評価値に基づき、4方向の相関値Cv,Ch,CdA,CdBを決定する。第1相関判定回路341は、相関値Cv,Ch,CdA,CdBから注目画素の相関方向を判定する。第1補間回路351は判定された相関方向に基づいて色補間処理を実行する。色補間された画像は拡大回路37において拡大される。相関方向補間回路38は、第1相関判定回路341が決定した相関方向を拡大補間する。フィルタ39は拡大された画像の各画素について拡大補間された相関方向を利用してフィルタ処理を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理回路で実行される画像拡大技術に関する。
【背景技術】
【0002】
デジタルカメラ等で利用されるCCD,CMOSなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。色フィルタには、RGB系色フィルタやYMCK系色フィルタなどがある。単板式の撮像素子からは1画素について1色の画素信号が出力される。たとえば、RGB系色フィルタを用いた場合、1画素についてR(赤色)、G(緑色)、B(青色)いずれかの色成分の画素信号が出力される。
【0003】
このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。補間処理には様々なアルゴリズムが用いられているが、その中に相関値を利用するものがある。水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行うのである。下記特許文献1においても、相関方向を考慮した画素補間処理が行われている。
【0004】
【特許文献1】特開2006−186965号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
デジタルカメラ等の画像処理回路は、画像の拡大処理も実行する。画像処理回路は、バイリニア補間などを利用して画像を拡大する。拡大処理にも様々なアルゴリズムがあるが、補間とは予測に基づく処理であることには変わりはない。したがって、拡大補間した画像に対しては、フィルタリング処理を施し、画像の品質を向上させる必要がある。
【0006】
画像処理回路においては、上述したように画素補間処理など様々な処理が実行されているが、それら処理で取得された情報は、それらの処理の中での利用に限られている。画像拡大後のフィルタリング処理においても、それらの処理で取得された情報が利用できれば、画像の品質向上に役立てることができると考えられる。
【0007】
そこで、本発明は画像拡大処理において、画像処理回路の他の処理で取得された情報を有効利用し、画像の品質を向上させるための技術を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、請求項1記載の発明は、画像拡大方法であって、a)1画素につき1色の成分を持つ所定の色空間の画素信号を入力する入力工程と、b)各画素の相関方向を求める相関方向算出工程と、c)各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、d)画素信号を拡大補間し拡大画像を生成する画像拡大工程と、e)拡大補間により生成された各画素に対して、前記相関方向算出工程b)で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、f)前記画像拡大工程d)の前から存在する画素については前記相関方向算出工程b)で求められた相関方向を考慮して、あるいは前記画像拡大工程d)で生成された画素については前記相関方向補間工程e)で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、を備えることを特徴とする。
【0009】
請求項2記載の発明は、請求項1に記載の画像拡大方法において、前記相関方向補間工程e)は、e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、e−2)前記第1工程e−1)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第2工程と、を含み、前記第2工程e−2)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)を繰り返し実行することを特徴とする。
【0010】
請求項3記載の発明は、請求項1に記載の画像拡大方法において、前記相関方向補間工程e)は、e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第1ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、e−2)前記第1工程e−1)において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第1工程e−1)で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第2ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第2工程と、e−3)前記第1工程e−1)および前記第2工程e−2)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第3工程と、を含み、前記第3工程e−3)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)および前記第2工程e−2)を繰り返し実行することを特徴とする。
【0011】
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、相関方向に沿う方向についてノイズ除去処理を実行する工程と、相関方向と直交する方向についてエッジ強調処理を実行する工程と、を含むことを特徴とする。
【0012】
請求項5記載の発明は、請求項1ないし請求項4のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする。
【0013】
請求項6記載の発明は、請求項1ないし請求項4のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする。
【0014】
請求項7記載の発明は、請求項1ないし請求項6のいずれかに記載の画像拡大方法において、前記画像拡大工程d)において、画像が水平方向、垂直方向にそれぞれ2倍に拡大され、前記相関方向補間工程e)において、前記相関方向算出工程b)において求められた相関方向が水平方向、垂直方向にそれぞれ2倍に拡大補間されることを特徴とする。
【0015】
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載の画像拡大方法において、さらに、g)前記フィルタリング工程f)においてフィルタリング処理された拡大画像を縮小する画像縮小工程、を備えることを特徴とする。
【発明の効果】
【0016】
本発明によれば、画像の色補間処理のために利用した相関方向の情報を利用し、拡大された画像のフィルタイリング処理を実行する。これにより、拡大補間された画像の品質を向上させることができる。本発明の方法を利用することで、たとえばデジタルカメラであれば、撮影画像を高品質のまま拡大処理することができる。
【発明を実施するための最良の形態】
【0017】
{第1の実施の形態}
<1.デジタルカメラの全体概略構成>
図1は、本実施の形態に係るデジタルカメラ10を示すブロック図である。デジタルカメラ10は、撮像素子1、信号処理回路2、画像処理回路3、メモリ5を備えている。撮像素子1は、RGBベイヤ配列の色フィルタアレイを備えた単板式のCCDであり、1画素からはRGBいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがG→R→G→R→・・・とG信号とR信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、B→G→B→G→・・・とB信号とG信号とが交互に出力されるラインである。なお、撮像素子1として、CMOSセンサを用いても良い。
【0018】
撮像素子1から出力される画素信号は、信号処理回路2に入力される。信号処理回路2において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路2から出力された画素信号は、画像処理回路3に入力される。画像処理回路3は、彩度値算出回路31、相関値算出回路32、選択回路33、第1・第2相関判定回路341,342、第1・第2補間回路351,352、第1・第2色空間変換回路361,362を備えている。さらに、画像処理回路3は、拡大回路37、相関方向補間回路38、フィルタ39を備えている。
【0019】
彩度値算出回路31は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。
【0020】
相関値算出回路32は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。
【0021】
選択回路33は、彩度値算出回路31により算出された彩度値に基づき、相関判定処理および画素補間処理において、グレー画像用の処理を実行するのか、カラー画像用の処理を実行するのかを選択する。
【0022】
第1相関判定回路341、第2相関判定回路342は、それぞれ、相関値算出回路32で算出され、選択回路33において選択された相関値を利用して、相関方向を判定する。
【0023】
第1補間回路351は、第1相関判定回路341の判定結果に基づいて、注目画素の画素補間処理を実行し、第2補間回路352は、第2相関判定回路342の判定結果に基づいて、注目画素の画素補間処理を実行する。
【0024】
第1色空間変換回路361は、第1補間回路351において補間されたRGBの画素信号を、色空間変換し、Y信号(輝度信号)を生成する。第2色空間変換回路362は、第2補間回路352において補間されたRGBの画素信号を、色空間変換し、Cb,Cr信号(色差信号)を生成する。
【0025】
なお、彩度値算出回路31、相関値算出回路32および第1・第2補間回路351,352、相関方向補間回路38、フィルタ39は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、M×Nのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路でレジスタを共用してもよい。
【0026】
第1・第2補間回路351,352において画素補間処理が行われると、各画素はRGB全ての色成分を持つ信号となり、さらに、第1・第2色空間変換回路361,362により、YCbCr信号に変換される。そして、この画素信号が拡大回路37において拡大処理される。
【0027】
拡大回路37において、たとえば水平方向、垂直方向にそれぞれ2倍拡大された画像は、フィルタ39においてフィルタ処理が施される。相関方向補間回路38は、拡大補間された画素信号のそれぞれに対して相関方向を補間する。フィルタ39は、相関方向補間回路38において補間された相関方向を利用して、各画素信号に対してエッジ強調処理やノイズ除去処理を実行する。フィルタ処理後の画素信号は、メモリ5に格納される。
【0028】
<2.ベイヤ配列の画素の表記方法>
次に、以下の説明および図面において使用するベイヤ配列の画素の表記方法について説明する。5×5のマトリクス領域の画素を図2(a)のように表す。図2(a)における記号Pは、画素がRGBいずれの色成分であるかを考慮しない表記である。図2(b)〜(e)においては各画素の色成分を区別して表記している。記号Rは赤色画素、記号Gは緑色画素、記号Bは青色画素であることを示している。また、図2および図5〜図12において、G画素は実線の円で描き、R画素およびB画素は破線の円で描いている。
【0029】
また、記号P,R,G,Bの添え字のうち、1桁目はマトリクス領域の画素の行番号、2桁目はマトリクス領域の画素の列番号を示している。図2(a)〜(e)は、注目画素P22を含む25個の画素P00〜P44からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号P,R,G,Bは、画素値を表す場合もある。たとえば記号P11は、1行1列目の画素を示す符号であるとともに、特に数式においては1行1列目の画素の画素値をも表す。
【0030】
図2(b)および図2(e)は、注目画素P22がG画素である場合の画素配列である。図2(c)は、注目画素P22がR画素である場合の画素配列である。図2(d)は、注目画素P22がB画素である場合の画素配列である。上述したように、彩度値算出回路31、相関値算出回路32、第1・第2補間回路351,352においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。5×5のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図2(b)〜図2(e)の4つのパターンが存在することになる。また、3×3のマトリクス領域の画素を処理対象とする場合には、注目画素P22を中心とした9個の画素P11,P12,P13,P21,P22,P23,P31,P32,P33を利用することになり、画素信号のパターンは、同様に、図2(b)〜図2(e)の4パターンである。
【0031】
<3.彩度値算出処理>
次に、彩度値算出回路31により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路31は、注目画素を含むマトリクス領域(これは注目画素及びその周辺画素で構成される)の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像(以下、カラー画像とする。)であるか、彩度の低い画像(以下、グレー画像とする。)であるかを判定するために利用される。
【0032】
彩度評価値は、注目画素を含むマトリクス領域において、G画素のレベルとR画素のレベルとの色差成分およびG画素のレベルとB画素のレベルとの色差成分に基づいて算出される。本実施の形態においては、彩度評価値を決定するために、2つの色差成分評価値が算出される。彩度値算出回路31は、「第1の色差成分評価値」および「第2の色差成分評価値」を算出する。「第1の色差成分評価値」とは、画素平均値に基づく色差成分値から求めた評価値である。画素平均値に基づく色差成分値とは、マトリクス領域内にある画素の位置は考慮することなく、領域内に存在する画素の色成分別の画素平均値から求めた色差成分値である。「第2の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。
【0033】
このように、2種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第1の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、2種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。
【0034】
(3−1)第1の色差成分評価値
まず、第1の色差成分評価値の算出方法について説明する。第1の色差成分評価値は、青空や模様のない壁等、平坦部分(低周波領域)の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第1の色差成分評価値を算出するために、まず、注目画素を中心とする3×3のマトリクス領域に含まれるRGB各色の画素値の平均値Rave,Gave,Baveを算出する。平均値Rave,Gave,Baveは、一般的には、数(1)式のように表される。数(1)式中、NR、NG、NBは、それぞれマトリクス領域内に存在するR,G,B画素の数であり、Σの項は、各色成分の累積画素値を示している。
【0035】
【数1】
【0036】
ただし、図2(b)〜(e)で示したように、画素配列には4つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がG画素であり、図2(b)の画素配列に対応する場合、数(2)式により平均値Rave,Gave,Baveを算出する。
【0037】
【数2】
【0038】
中心画素がR画素であり、図2(c)の画素配列に対応する場合、数(3)式により平均値Rave,Gave,Baveを算出する。
【0039】
【数3】
【0040】
中心画素がB画素であり、図2(d)の画素配列に対応する場合、数(4)式により平均値Rave,Gave,Baveを算出する。
【0041】
【数4】
【0042】
中心画素がG画素であり、図2(e)の画素配列に対応する場合、数(5)式により平均値Rave,Gave,Baveを算出する。
【0043】
【数5】
【0044】
彩度値算出回路31は、マトリクス領域の画素配列が、図2(b)〜(e)のいずれのパターンであるかに応じて、数(2)式から数(5)式のいずれかの数式に従った演算処理を実行し、平均値Rave,Gave,Baveを算出する。さらに、彩度値算出回路31は、算出した平均値Rave,Gave,Baveを用いて、数(6)式で表した演算処理を実行することにより、第1の色差成分評価値Lglobalを算出する。つまり、色差成分評価値Lglobalは、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。
【0045】
【数6】
【0046】
(3−2)第2の色差成分評価値
次に、第2の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、(3−1)で求めた第1の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。
【0047】
彩度値算出回路31は、3×3のマトリクス領域の画素信号を用いて、数(7)式および数(8)式で表された演算処理を実行する。すなわち、数(7)式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Lverticalを算出している。また、数(8)式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Lhorizontalを算出している。つまり、数(7)式、数(8)式で表される演算は、垂直方向あるいは水平方向について、それぞれG画素とR画素との色差成分値及びG画素とB画素との色差成分値を累積するものである。色差成分評価値Lvertical,Lhorizontalはいずれも上述の第2の色差成分評価値である。
【0048】
【数7】
【0049】
【数8】
【0050】
数(7)式および数(8)式において、係数2が乗算されている項があるが、これは、G−R画素の色差成分累積数とG−B画素の色差成分累積数とを一致させるためである。この実施の形態では、異なる色差成分同士の累積数を一致させるための係数2を乗算するようにしているが、この値は適宜設定可能である。
【0051】
この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素P22について水平方向から時計回りに45度傾いた斜めA方向、斜めA方向と直交する斜めB方向についての色差成分評価値LdA,LdBは数(9)式及び数(10)式で求められる。ただし、数(9)式は注目画素P22がG画素である場合に用いられる式であり、数(10)式は注目画素P22がR画素あるいはB画素である場合に用いられる式である。
【0052】
【数9】
【0053】
【数10】
【0054】
(3−3)彩度係数の計算
彩度値算出回路31は、以上、(3−1),(3−2)で示した演算方法により3つの色差成分評価値Lglobal,Lvertical,Lhorizontalを算出すると、さらに、数(11)式で表される演算処理を実行することにより、色差成分評価値Lglobal,Lvertical,Lhorizontalの最小値(つまり、色差成分のレベルが最小のもの)を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Lとして採用される。言い換えると、この彩度評価値Lは、各注目画素に対応して決定される彩度値である。なお、数(11)式中、min(x,y,z)は、x,y,zの最小値を表している。上述したように、第2の色差成分評価値としてLvertical,Lhorizontalに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。
【0055】
【数11】
【0056】
彩度値算出回路31において以上の演算処理が実行されることにより、注目画素についての彩度評価値Lが求められると、次に、彩度値算出回路31は、彩度評価値Lを正規化して彩度係数KLを算出する。具体的には、2つの閾値T1、T2を用いて、数(12)式に示すような正規化処理を行う。図3は、彩度評価値Lと彩度係数KLの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度係数KLが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値T1、T2間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。
【0057】
【数12】
【0058】
なお、2つの閾値T1、T2はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、CCDの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数KLが、後工程である選択工程において利用される。
【0059】
<4.相関値算出処理>
相関値算出回路32は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における4つの方向の相関値を算出する。ここでは、図4に示すように、水平方向、垂直方向、水平方向から時計回りに45度傾いた斜めA方向、斜めA方向と直交する斜めB方向について、相関値を算出する。具体的には、注目画素とこれら4つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。
【0060】
また、本実施の形態において、相関値算出回路32は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択工程において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。あるいは、カラー画像用とグレー画像用の両方の相関値を総合判断することで選択された相関値を用いて相関方向が決定される。
【0061】
(4−1)彩度の高いカラー画像用の相関値
(4−1−1)中心画素がGの場合
まず、注目画素がG画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図2(b)あるいは図2(e)である場合の相関値算出方法である。垂直方向の相関値は、数(13)式により算出される。また、図5は、垂直方向の相関値の算出方法を図示したものであり、図5(a)は、G画素に関する相関算出方法、図5(b)は、R画素およびB画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図5〜図16において、図中の矢印で結ばれた2つの画素は、画素差分値を算出する対象であることを示している。
【0062】
【数13】
【0063】
水平方向の相関値は、数(14)式により算出される。また、図6は、水平方向の相関値の算出方法を図示したものであり、図6(a)は、G画素に関する相関算出方法、図6(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0064】
【数14】
【0065】
斜めA方向の相関値は、数(15)式により算出される。また、図7は、斜めA方向の相関値の算出方法を図示したものであり、図7(a)は、G画素に関する相関算出方法、図7(b)および(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0066】
【数15】
【0067】
なお、図7で表したように、G画素に関する場合とR画素あるいはB画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数(15)式においては、画素間の距離の狭いG画素に関する差分値には2を乗算するようにしている。これは、G画素についてはR画素あるいはB画素に比べて演算対象となる画素間の距離が1/2となっているため、画素差分値については2倍の変化量に対応するためである。ただし、乗算値の2は一例であり、適宜選択可能である。
【0068】
斜めB方向の相関値は、数(16)式により算出される。また、図8は、斜めB方向の相関値の算出方法を図示したものであり、図8(a)は、G画素に関する相関算出方法、図8(b)および(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0069】
【数16】
【0070】
数(16)式においても、数(15)式の場合と同様、G画素の差分値については、2を乗算するようにしている。なお、図7(b),(c)および図8(b),(c)における場合の画素間距離と図5および図6における場合の画素間距離も異なるが、ここでは、いずれも1つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【0071】
(4−1−2)中心画素がBあるいはRの場合
次に、注目画素がBまたはR画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図2(c)あるいは図2(d)である場合の相関値算出方法である。垂直方向の相関値は、数(17)式により算出される。また、図9は、垂直方向の相関値の算出方法を図示したものであり、図9(a)は、G画素に関する相関算出方法、図9(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0072】
【数17】
【0073】
水平方向の相関値は、数(18)式により算出される。また、図10は、水平方向の相関値の算出方法を図示したものであり、図10(a)は、G画素に関する相関算出方法、図10(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0074】
【数18】
【0075】
斜めA方向の相関値は、数(19)式により算出される。また、図11は、斜めA方向の相関値の算出方法を図示したものであり、図11(a)は、G画素に関する相関算出方法、図11(b)および図11(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0076】
【数19】
【0077】
斜めB方向の相関値は、数(20)式により算出される。また、図12は、斜めB方向の相関値の算出方法を図示したものであり、図12(a)は、G画素に関する相関算出方法、図12(b)および図12(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0078】
【数20】
【0079】
なお、数(19)式および数(20)式においても、数(13)式において説明した場合と同様、G画素の差分値については、2を乗算するようにしている。なお、図11(b),(c)および図12(b),(c)における場合の画素間距離と図9および図10における場合の画素間距離も異なるが、ここでは、いずれも1つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【0080】
(4−2)彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がRGBいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図2(b)〜図2(e)のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数(21)式により算出される。また、図13は、垂直方向の相関値の算出方法を図示したものである。
【0081】
【数21】
【0082】
水平方向の相関値は、数(22)式により算出される。また、図14は、水平方向の相関値の算出方法を図示したものである。
【0083】
【数22】
【0084】
斜めA方向の相関値は、数(23)式により算出される。また、図15は、斜めA方向の相関値の算出方法を図示したものである。
【0085】
【数23】
【0086】
斜めB方向の相関値は、数(24)式により算出される。また、図16は、斜めB方向の相関値の算出方法を図示したものである。
【0087】
【数24】
【0088】
なお、図13および図14における場合と図15および図16における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数(15)式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数(21)式および数(22)式における画素差分値については、2の2乗根を乗算するようにしてもよい。
【0089】
また、数(21)式〜数(24)式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図13〜図16で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数(21)式〜数(24)式においては、各画素差分値に2を乗算してスケールを合わせた結果、各式における最後の乗算値(1/6と1/5)が累積数の逆数の2倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。
【0090】
<5.相関判定方法と画素補間方法の選択>
選択回路33は、彩度値算出回路31が算出した彩度係数KLと閾値TH1,TH2(TH1≧TH2)との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関方向を判定するのか、カラー画像用の相関値を採用して相関方向を判定するのか、あるいは、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。
【0091】
図17は、彩度係数KLと閾値TH1,TH2との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、以下の(a)〜(c)の組み合わせに分類される。
【0092】
(a)KL>TH1の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
【0093】
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【0094】
(b)TH1≧KL>TH2の場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
【0095】
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【0096】
(c)TH2≧KLの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
【0097】
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【0098】
数(13)式から数(20)式を用いてカラー画像用の4方向の相関値Cv_c,Ch_c,CdA_c,CdB_cを算出した。また、数(21)式から数(24)式を用いてグレー画像用の4方向の相関値Cv_m,Ch_m,CdA_m,CdB_mを算出した。選択回路33は、このグレー画像用とカラー画像用の算出された相関値から、次のように、実際に相関方向の判定に用いる判定用相関値Cv,Ch,CdA,CdBを選択する。
【0099】
(5−1)(a)KL>TH1の場合の判定用相関値
数(25)式に示すように、カラー画像用の相関値を判定用相関値Cv,Ch,CdA,CdBとして用いる。
【0100】
【数25】
【0101】
(5−2)(c)TH2≧KLの場合の判定用相関値
数(26)式に示すように、グレー画像用の相関値を判定用相関値Cv,Ch,CdA,CdBとして用いる。
【0102】
【数26】
【0103】
(5−3)(b)TH1≧KL>TH2の場合の判定用相関値
グレー画像用の相関値とカラー画像用の相関値を総合判断して、判定用相関値Cv,Ch,CdA,CdBを決定する。この判断方法について、以下詳述する。
【0104】
まず、数(27)式に示すように、カラー画像用の相関値Cv_c,Ch_cの差分絶対値d_Cv_cを求める。
【0105】
【数27】
【0106】
また、数(28)式に示すように、グレー画像用の相関値Cv_m,Ch_mの差分絶対値d_Cv_mを求める。
【0107】
【数28】
【0108】
さらに、数(29)式に示すように、差分絶対値d_Cv_cと差分絶対値d_Cv_mの差分絶対値d_Cvと、閾値THvとの大小を比較する。
【0109】
【数29】
【0110】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たすとき、さらに、数(30)式の条件を満たすかどうかを判断する。
【0111】
【数30】
【0112】
もし、数(30)式の条件を満たすならば、判定用相関値Cvとしてカラー画像用の相関値Cv_cを採用する。つまり、
Cv=Cv_c
となる。
【0113】
もし、数(30)式の条件を満たさないならば、判定用相関値Cvとしてグレー画像用の相関値Cv_mを採用する。つまり、
Cv=Cv_m
となる。
【0114】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たすとき、さらに、数(31)式の条件を満たすかどうかを判断する。
【0115】
【数31】
【0116】
もし、数(31)式の条件を満たすならば、判定用相関値Chとしてカラー画像用の相関値Ch_cを採用する。つまり、
Ch=Ch_c
となる。
【0117】
もし、数(31)式の条件を満たさないならば、判定用相関値Chとしてグレー画像用の相関値Ch_mを採用する。つまり、
Ch=Ch_m
となる。
【0118】
このように、差分絶対値d_Cvが閾値THvより小さい場合とは、差分絶対値d_Cv_cと差分絶対値d_Cv_mとの差が小さいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られない場合が想定される。このような場合には、垂直方向、水平方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【0119】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たさないとき、さらに、数(32)式の条件を満たすかどうかを判断する。
【0120】
【数32】
【0121】
数(32)式の関係を満たすとき、相関判定用としてカラー画像用の相関値Cv_c,Ch_cを採用する。つまり、
Cv=Cv_c
Ch=Ch_c
となる。
【0122】
数(32)式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Cv_m,Ch_mを採用する。つまり、
Cv=Cv_m
Ch=Ch_m
となる。
【0123】
このように、差分絶対値d_Cvが閾値THvより大きい場合とは、差分絶対値d_Cv_cと差分絶対値d_Cv_mとの差が大きいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値d_Cv_cと差分絶対値d_Cv_mの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【0124】
続いて、数(33)式に示すように、カラー画像用の相関値CdA_c,CdB_cの差分絶対値d_Cdg_cを求める。
【0125】
【数33】
【0126】
また、数(34)式に示すように、グレー画像用の相関値CdA_m,CdB_mの差分絶対値d_Cdg_mを求める。
【0127】
【数34】
【0128】
さらに、数(35)式に示すように、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mの差分絶対値d_Cdgと、閾値THdgとの大小を比較する。
【0129】
【数35】
【0130】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たすとき、さらに、数(36)式の条件を満たすかどうかを判断する。
【0131】
【数36】
【0132】
もし、数(36)式の条件を満たすならば、判定用相関値CdAとしてカラー画像用の相関値CdA_cを採用する。つまり、
CdA=CdA_c
となる。
【0133】
もし、数(36)式の条件を満たさないならば、判定用相関値CdAとしてグレー画像用の相関値CdA_mを採用する。つまり、
CdA=CdA_m
となる。
【0134】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たすとき、さらに、数(37)式の条件を満たすかどうかを判断する。
【0135】
【数37】
【0136】
もし、数(37)式の条件を満たすならば、判定用相関値CdBとしてカラー画像用の相関値CdB_cを採用する。つまり、
CdB=CdB_c
となる。
【0137】
もし、数(37)式の条件を満たさないならば、判定用相関値CdBとしてグレー画像用の相関値CdB_mを採用する。つまり、
CdB=CdB_m
となる。
【0138】
このように、差分絶対値d_Cdgが閾値THdgより小さい場合とは、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mとの差が小さいときである。つまり、斜めA方向、斜めB方向のいずれかに強い相関が見られない場合が想定される。このような場合には、斜めA方向、斜めB方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【0139】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たさないとき、さらに、数(38)式の条件を満たすかどうかを判断する。
【0140】
【数38】
【0141】
数(38)式の関係を満たすとき、相関判定用としてカラー画像用の相関値CdA_c,CdB_cを採用する。つまり、
CdA=CdA_c
CdB=CdB_c
となる。
【0142】
数(38)式の関係を満たさないとき、相関判定用としてグレー画像用の相関値CdA_m,CdB_mを採用する。つまり、
CdA=CdA_m
CdB=CdB_m
となる。
【0143】
このように、差分絶対値d_Cdgが閾値THdgより大きい場合とは、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mとの差が大きいときである。つまり、斜めA方向、斜めB方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【0144】
以上の処理を実行することで、上記(b)TH1≧KL>TH2の場合には、グレー画像用の相関値とカラー画像用の相関値を総合判断して判定用相関値Cv,Ch,CdA,CdBを選択する。
【0145】
選択回路33は以上の演算処理を実行することにより、上記(a),(b),(c)それぞれの場合について、判定用相関値Cv,Ch,CdA,CdBを選択する。
【0146】
このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数KLと閾値TH1,TH2との関係により3パターンに分類される。つまり、1つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、2つの閾値TH1とTH2を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。
【0147】
つまり、グレー画像とカラー画像の境界付近に位置する画像は、RGBの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、RGB各成分のばらつきが小さいことに着目して、RGBを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、RGB各成分が多少なりともばらついていることに注目して、RGBを区別して相関値を算出する。このような2つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させるのである。これに対して、RGB各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。
【0148】
この実施の形態においては、彩度評価値Lを正規化した彩度係数KLを用い、彩度係数KLと閾値TH1,TH2との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Lと2つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路33は、相関判定方法と画素補間方法とを選択すると、この選択情報を第1相関判定回路341および第2相関判定回路342に与える。選択情報には、相関判定方法および画素補間方法として、グレー画像用・カラー画像用いずれのタイプを用いるのかを示す情報と、選択された判定用相関値Cv,Ch,CdA,CdBを示す情報が含まれる。
【0149】
<6.各画素における相関方向の判定>
上述したように、選択回路33において判定用相関値Cv,Ch,CdA,CdBが選択されると、画素信号と、判定用相関値に関する情報を含む選択情報とが、第1相関判定回路341および第2相関判定回路342に出力される。つまり、選択回路33で算出された判定用相関値Cv,Ch,CdA,CdBの値が、第1・第2相関判定回路341,342の両方に出力され、信号処理回路2から入力した画素信号も、第1・第2相関判定回路341,342の両方に出力される。第1相関判定回路341および第2相関判定回路342は、判定用相関値Cv,Ch,CdA,CdBに基づいて、注目画素における相関関係を判定する処理部である。第1相関判定回路341は、注目画素における相関関係を高く評価して相関方向を判定する。第2相関判定回路342は、第1相関判定回路341と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。
【0150】
図18は、第1相関判定回路341が相関方向の判定に利用する相関値の対応関係図である。縦軸が判定用相関値Cvであり、横軸が判定用相関値Chである。
【0151】
判定用相関値Cvと判定用相関値Chの関係が、A1の領域に存在するとき、第1相関判定回路341は、注目画素の相関方向は水平方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A2の領域に存在するとき、第1相関判定回路341は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A3の領域に存在するとき、第1相関判定回路341は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Cvと判定用相関値Chの関係が、A4の領域に存在するとき、第1相関判定回路341は、注目画素は垂直、水平両方向について相関が高いと判定する。
【0152】
第1相関判定回路341は、図18で示した対応関係図とあわせて、図19で示す対応関係図を利用する。図19で示す対応関係図は、判定用相関値CdA,CdBと相関方向との対応関係を示す図である。図19の縦軸は判定用相関値CdAであり、横軸は判定用相関値CdBである。領域B1は、相関方向が斜めB方向と判定される領域であり、領域B2は、相関方向が斜めA方向と判定される領域である。また、領域B3は、いずれの方向にも相関がないと判定される領域であり、領域B4は、斜めA方向と斜めB方向の両方向について相関が高いと判定される領域である。
【0153】
第1相関判定回路341は、4つの判定用相関値Cv,Ch,CdA,CdBを比較する。そして、判定用相関値Cvあるいは判定用相関値Chの値が最も小さい場合には、図18の関係図を利用する。そして、判定用相関値の対応関係がA1〜A4のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値CdAあるいは判定用相関値CdBの値が最も小さい場合には、図19の関係図を利用する。そして、相関値の対応関係がB1〜B4のいずれの領域に該当するかによって相関方向を決定する。
【0154】
相関方向が決定すると、後述するように、第1補間回路351において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域A1にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域A2にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B1にあれば斜めB方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B2にあれば斜めA方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がA3またはB3の領域にあれば、たとえばメディアン補間を行い、対応関係がA4またはB4の領域にあれば平均値補間を行う。
【0155】
一方、図20は、第2相関判定回路342が相関方向の判定に利用する判定用相関値の対応関係図である。縦軸が判定用相関値Cvであり、横軸が判定用相関値Chである。
【0156】
判定用相関値Cvと判定用相関値Chの関係が、A5の領域に存在するとき、第2相関判定回路342は、注目画素の相関方向は水平方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A6の領域に存在するとき、第2相関判定回路342は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A7の領域に存在するとき、第2相関判定回路342は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Cvと判定用相関値Chの関係が、A8の領域に存在するとき、第2相関判定回路342は、注目画素は垂直、水平両方向について相関が高いと判定する。
【0157】
また、第2相関判定回路342は、図20で示した対応関係図とあわせて、図21で示す対応関係図を利用する。図21で示す対応関係図は、判定用相関値CdA,CdBと相関方向との対応関係を示す図である。図21の縦軸は判定用相関値CdAであり、横軸は判定用相関値CdBである。領域B5は、相関方向が斜めB方向と判定される領域であり、領域B6は、相関方向が斜めA方向と判定される領域である。また、領域B7は、いずれの方向にも相関がないと判定される領域であり、領域B8は、斜めA方向と斜めB方向の両方向について相関が高いと判定される領域である。
【0158】
第2相関判定回路342は、4つの判定用相関値Cv,Ch,CdA,CdBを比較する。そして、判定用相関値Cvあるいは判定用相関値Chの値が最も小さい場合には、図20の関係図を利用する。そして、判定用相関値の対応関係がA5〜A8のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値CdAあるいは判定用相関値CdBの値が最も小さい場合には、図21の関係図を利用する。そして、判定用相関値の対応関係がB5〜B8のいずれの領域に該当するかによって相関方向を決定する。
【0159】
相関方向が決定すると、後述するように、第2補間回路352において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域A5にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域A6にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B5にあれば斜めB方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B6にあれば斜めA方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がA7またはB7の領域にあれば、たとえばメディアン補間を行い、対応関係がA8またはB8の領域にあれば平均値補間を行う。
【0160】
このように、第1相関判定回路341と第2相関判定回路342は、それぞれ図18〜図21で示す判定用相関値の対応関係を利用して相関方向を決定する。この結果、第1相関判定回路341は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。つまり、相関方向の画素を積極的に利用して補間を行う。一方、第2相関判定回路342は、第1相関判定回路341に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。言い換えると、第2補間回路352は、積極的に、メディアン補間や平均値補間を採用する補間回路である。
【0161】
たとえば、第1相関判定回路341は、判定用相関値Chが判定用相関値Cvよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第2相関判定回路342は、判定用相関値Chが、判定用相関値Cvよりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。
【0162】
あるいは、第1相関判定回路341は、判定用相関値CdBが判定用相関値CdAよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めB方向の相関が高いと判定する。これに対して、第2相関判定回路342は、判定用相関値CdBが、判定用相関値CdAよりも十分小さい値をとる関係にある場合に、斜めB方向の相関が高いと判定する。
【0163】
<7.画素補間処理>
第1補間回路351および第2補間回路352において実行される画素補間処理について説明する。第1補間回路351および第2補間回路352は、上述したように、第1相関判定回路341・第2相関判定回路342において決定された相関方向について画素補間処理を行う。そして、第1補間回路351および第2補間回路352は、選択回路33から出力された選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行する。つまり、選択回路33において、上記(c)のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記(a)あるいは(b)のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する(<5.相関判定方法と画素補間方法の選択>の項を参照)。
【0164】
(7−1)グレー画像用画素補間
選択回路33において上記(c)のパターンが選択されている場合には、第1相関判定回路341・第2相関判定回路342において決定された相関方向について、グレー画像用の画素補間処理が実行される。グレー画像用の画素補間は注目画素がRGBいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がRGBいずれの画素であるか、注目画素の周辺の画素がRGBいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。
【0165】
具体的には、垂直方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域A2に属する判定された場合、第1補間回路351は、数(39)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域A6に属すると判定された場合、第2補間回路352は、数(39)式に示す演算式により画素補間処理を実行する。
【0166】
【数39】
【0167】
また、水平方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域A1に属する判定された場合、第1補間回路351は、数(40)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域A5に属すると判定された場合、第2補間回路352は、数(40)式に示す演算式により画素補間処理を実行する。
【0168】
【数40】
【0169】
また、斜めA方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域B2に属する判定された場合、第1補間回路351は、数(41)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域B6に属すると判定された場合、第2補間回路352は、数(41)式に示す演算式により画素補間処理を実行する。
【0170】
【数41】
【0171】
また、斜めB方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域B1に属する判定された場合、第1補間回路351は、数(42)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域B5に属すると判定された場合、第2補間回路352は、数(42)式に示す演算式により画素補間処理を実行する。
【0172】
【数42】
【0173】
なお、数(39)式から数(42)式においては、P22の項に係数2が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、いずれの方向にも相関が高いと判定されている場合(領域A4,B4,A8,B8と判定された場合)、たとえば、平均値補間値を行う。また、いずれの方向にも相関がないと判断された場合(領域A3,B3,A7,B7と判定された場合)には、たとえばメディアン補間を用いる。
【0174】
(7−2)カラー画像用画素補間
選択回路33において、上記(a)あるいは(b)のパターンが選択されている場合には、第1補間回路351・第2補間回路352は、第1相関判定回路341・第2相関判定回路342において決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がRGBいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、第1相関判定回路341・第2相関判定回路342において決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。
【0175】
たとえば、注目画素がG画素である場合であって、垂直方向の相関が高いと判定されている場合(領域A2,A6と判定された場合)には、垂直方向に存在するR画素及びB画素を用いて注目画素のそれぞれR色成分及びB色成分を補間する。また、注目画素がG画素である場合であって、水平方向の相関が高いと判定されている場合(領域A1,A5と判定された場合)には、水平方向に存在するB画素及びR画素を用いて注目画素のそれぞれB色成分及びR色成分を補間する。
【0176】
あるいは、注目画素がG画素である場合であって、斜めA方向の相関が高いと判定されている場合(領域B2,B6と判定された場合)には、斜めA方向に存在するR画素及びB画素を用いて注目画素のそれぞれR色成分及びB色成分を補間する。また、注目画素がG画素である場合であって、斜めB方向の相関が高いと判定されている場合(領域B1,B5と判定された場合)には、斜めB方向に存在するB画素及びR画素を用いて注目画素のそれぞれB色成分及びR色成分を補間する。
【0177】
なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率(ラプラシアン)から補間対象となる画素の画素値を推測するなどの方法をとればよい。
【0178】
このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。
【0179】
<8.色空間変換処理>
第1補間回路351は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第1色空間変換回路361に出力する。つまり、第1色空間変換回路361が入力する信号は、各画素がRGB全ての色成分の信号を備えている。また、第2補間回路352は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第2色空間変換回路362に出力する。つまり、第2色空間変換回路362が入力する信号は、各画素がRGB全ての色成分の信号を備えている。
【0180】
そして、第1色空間変換回路361は、各画素について、RGBの画素信号から輝度信号(Y信号)を生成する。一方、第2色空間変換回路362は、各画素について、RGBの画素信号から色差信号(Cb、Cr信号)を生成する。このようにして、撮像素子1から出力されたベイヤ配列のRGB信号は、輝度信号(Y信号)および色差信号(Cb、Cr信号)に変換されるのである。
【0181】
第1色空間変換回路361から出力された輝度信号は、第1補間回路351において補間されたRGB信号から生成される信号である。第1補間回路351において補間されたRGB信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるYUV信号の解像感を高く維持することが可能である。
【0182】
一方、第2色空間変換回路362から出力された色差信号は、第2補間回路352において補間されたRGB信号から生成される信号である。第2補間回路352において補間されたRGB信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、LPF(Law Pass Filter)が適用された状態の信号である。これにより、撮像素子1からノイズの多いRAW画像が出力された場合であっても、生成されるYUV信号のノイズを抑圧することができる。
【0183】
第1色空間変換回路361から出力された輝度信号(Y信号)と、第2色空間変換回路362から出力された色差信号(Cb,Cr信号)は、拡大回路37に入力される。
【0184】
<9.拡大処理>
拡大回路37は、撮像画像のサイズを拡大する処理を実行する。拡大率は適宜設定可能であるが、ここでは、拡大回路37は、入力画像を水平方向に2倍、垂直方向に2倍、それぞれ拡大する場合を例に説明する。
【0185】
図22は、拡大後の画素配列を示す図である。図において、砂地の画素は、拡大処理前から存在した画素であり、白抜きの画素は、拡大処理によって生成された画素、つまり拡大補間された画素を示している。図22の例であれば、P00,P02,P04・・・などが拡大処理前から存在した画素であり、P01,P03・・・などが拡大処理によって生成された画素である。
【0186】
拡大回路37は、数(43)式に示す演算を行い、バイリニア補間により画素信号の拡大補間を行う。
【0187】
【数43】
【0188】
この実施の形態においては、拡大回路37は、相関方向を考慮することなく、バイリニア補間により画像拡大を行っているが、他にも、Bスプライン補間やバイキュービック補間などを利用してもよい。
【0189】
<10.相関方向の補間処理>
次に、相関方向補間回路38において実行される相関方向の補間処理について説明する。相関方向補間回路38は、第1相関判定回路341で決定された相関方向を入力する。第1相関判定回路341で決定された相関方向は、拡大回路37において拡大処理される前から存在する画素について決定されたものである。つまり、図22において砂地の画素については、相関方向が対応付けられているが、拡大処理で生成された画素(白抜きの画素)については、相関方向が対応付けられていない。そこで、相関方向補間回路38は、以下に説明するアルゴリズムにより、拡大処理により生成された画素信号に対して相関方向を補間するのである。
【0190】
図23は、初期状態(つまり相関方向の補間を行う前の状態)において、5×5の画素配列パターンを示している。初期状態においては、注目画素周辺の画素配列パターンは、図23におけるパターンT1〜T4のいずれかに該当することになる。図23においても、砂地の画素は拡大処理前から存在する画素を示し、白抜きの画素は拡大処理により生成された画素を示している。
【0191】
パターンT4では、注目画素(中心画素)の相関方向が決定済みである。したがって、以下、パターンT1〜T3において注目画素の相関方向を補間する。相関方向の補間処理は、ステップ1とステップ2から構成される。
【0192】
以下の説明で参照する図24〜図33には、画素に網掛けがされている。この網掛けされた画素は、相関方向が対応付けられている画素を示す。相関値が対応付けられている画素とは、第1には、拡大処理前から存在する画素であり、第1相関判定回路341において相関方向が決定された画素である。第2には、拡大処理によって生成された画素であり、相関方向補間回路38によって相関方向が補間された画素である。したがって、相関方向を補間する前の状態では、図22、図23で示した砂地の画素と一致することになる。
【0193】
本実施の形態においては、相関方向補間回路38は、第1相関判定回路341において決定された相関方向を補間用に利用している。つまり、相関関係を積極的に採用することで決定された相関方向を用いている。ただし、第2相関判定回路342で決定された相関方向を補間用に利用してもよい。
【0194】
また、図24〜図33において、V,H,DA,DB,M,Sの記号は、第1相関判定回路341において決定された相関方向、あるいは補間により決定された相関方向を示している。Vは垂直方向、Hは水平方向、DAは斜めA方向、DBは斜めB方向を示している。Mは全ての方向にも相関がある画素を示す記号であり、Sは全ての方向に相関がない孤立点の画素を示す記号である。また、図面では一部を除いて図示省略しているが、相関方向が決定していない画素を適宜Nの記号を用いて示す。図24〜図33において、相関方向を補間する対象画像(注目画素)を太枠の円で描いている。
【0195】
<10−1.ステップ1>
図24は、パターンT1において、注目画素の周辺の4画素が全て同じ相関方向を示している場合を示している。この場合、図24(a)、図24(b)、図24(c)、図24(d)の注目画素には、相関方向としてそれぞれ垂直方向(V)、水平方向(H)、斜めA方向(DA)、斜めB方向(DB)が補間される。また、図24(e)、図24(f)の注目画素には、それぞれ全方向相関(M)と相関方向なし(S)が対応付けられる。
【0196】
図25は、パターンT1において、注目画素の周辺の2画素が同じ相関方向を示している場合を示している。この場合、図25(a)、図25(b)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)、斜めB方向(DB)が補間される。ただし、図25(c)のように、斜めA方向と斜めB方向の相関方向が交錯している場合には、注目画素の相関方向は決定せず、未決定(N)のままにしておく。
【0197】
図26は、パターンT1において、注目画素の周辺の3画素が同じ相関方向を示している場合を示している。この場合、図26(a)、図26(b)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)が補間される。図26(c)、図26(d)の注目画素には、相関方向としてそれぞれ斜めB方向(DB)が補間される。
【0198】
図27は、パターンT2,T3において、注目画素の周辺の複数の画素が同じ相関方向を示している場合を示している。具体的には、ある画素の相関方向が示す方向に同じ相関方向を持つ画素が存在するようなパターンである。
【0199】
この場合、図27(a)、図27(c)、図27(d)の注目画素には、相関方向としてそれぞれ垂直方向(V)が補間される。図27(b)、図27(e)、図27(f)の注目画素には、相関方向としてそれぞれ水平方向(H)が補間される。
【0200】
相関方向補間回路38は、図24、図25、図26、図27で示した相関方向の決定方法を利用してステップ1を実行する。ステップ1では、第1相関判定回路341において決定された相関方向のみを利用して相関方向の補間が行われる。
【0201】
<10−2.ステップ2>
続いて、ステップ2を説明する。ステップ2では、第1相関判定回路341において決定された相関方向に加えて、ステップ1で補間された相関方向も利用して相関方向の補間を行う。
【0202】
図28は、注目画素の上下、左右の周辺4画素が同じ相関方向を示している場合を示している。図28においてXは、V,H,DA,DB,M,Sのいずれかを示している。この場合、注目画素には、相関方向として周辺4画素と同じ相関方向が補間される。
【0203】
図29は、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図29(a)、図29(b)、図29(c)、図29(d)、図29(e)、図29(f)、図29(g)、図29(h)、図29(i)、図29(j)の注目画素には、相関方向としてそれぞれ垂直方向(V)が補間される。
【0204】
図30についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図30(a)、図30(b)、図30(c)、図30(d)、図30(e)、図30(f)、図30(g)、図30(h)、図30(i)、図30(j)の注目画素には、相関方向としてそれぞれ水平方向(H)が補間される。
【0205】
図31についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図31(a)、図31(b)、図31(c)、図31(d)、図31(e)、図31(f)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)が補間される。
【0206】
図32についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図32(a)、図32(b)、図32(c)、図32(d)、図32(e)、図32(f)の注目画素には、相関方向としてそれぞれ斜めB方向(DB)が補間される。
【0207】
図33についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図33(a)、図33(b)、図33(c)、図33(d)の注目画素には、相関方向としてそれぞれ全方向相関(M)が対応付けられる。
【0208】
<10−3.最終決定ステップ>
上述したステップ1、ステップ2を実行することにより、相関方向が補間される。ステップ2が終了した時点で、図34に示すように、相関方向が決定されなかった未定画素(N)の個数を計算する。さらに、ステップ2を繰り返し実行する。そして、相関方向が決定されなかった未定画素(N)の個数が収束した時点で、相関方向の補間処理を終了するのである。最終的に、相関方向が決定されなかった未定画素(N)については、未定画素(N)であることを示す情報を保持しておく。
【0209】
なお、この実施の形態においては、未定画素(N)の個数が収束することを、補間処理の終了条件としているが、未定画素(N)の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像(N)の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。
【0210】
<11.フィルタ処理>
相関方向補間回路38において拡大された画素における相関方向が決定すると、相関方向補間回路38は、フィルタ39に対して全画素の相関方向の情報を出力する。つまり、拡大画像の全画素には、V,H,DA,DB,M,S,Nのいずれかの情報が対応付けられている。
【0211】
また、フィルタ39は、選択回路33から各画素について選択された判定用相関値Cv,Ch,CdA,CdBを入力する。ただし、拡大補間された画素については、判定用相関値Cv,Ch,CdA,CdBは、存在しないので、周辺の画素の判定用相関値をリニア補間することで取得する。あるいは、判定用相関値を別のアルゴリズムにより補間してもよい。
【0212】
フィルタ39は、処理対象となる注目画素の4方向の判定用相関値、および、相関方向補間回路38から入力した相関方向に応じてフィルタ係数を決定し、フィルタ係数を各タップに設定する。フィルタ39は、単一のフィルタ回路で構成されており、フィルタ係数をリアルタイムで書き換えることにより、異なる特性を有するフィルタとして、切り替えて動作する。
【0213】
また、以下で説明するフィルタリング処理は、Y,Cb,Crの各画素信号に対して共通に実行される処理である。
【0214】
(垂直方向のエッジ上に注目画素があると判定される場合)
注目画素についての相関方向が垂直方向(V)であり、かつ、他の方向についての相関が小さい場合、注目画素は、垂直方向のエッジ上の画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、水平方向、斜めA方向、斜めB方向についての相関値(Ch,CdA,CdB)が所定の閾値よりも大きい場合である。つまり、垂直方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、垂直方向のエッジ上に存在すると判定される。たとえば注目画素が、垂直方向のラインの境界上にある場合などが想定される。
【0215】
この場合、注目画素については、図35に示すように、垂直方向の3画素を用いてノイズ除去処理を行う。つまり、フィルタ39は、数(44)式で示されるフィルタリング処理を実行する。
【0216】
【数44】
【0217】
さらに、フィルタ39は、数(45)式で示されるエッジ強調処理を実行する。数(45)式中、(P21+P23−2*P22)はラプラシアン成分であり、この成分を原信号から減算することによりエッジ成分が強調されるのである。また、数(45)式中、kは0以上1以下の実数であり、エッジ強調の度合いを調整する係数である。係数kが大きい方が、よりエッジ成分が強調される。
【0218】
【数45】
【0219】
フィルタ39は、数(44)式および数(45)式で示される2種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数(46)式で示されるパターンと、数(47)式で示されるパターンが考えられる。
【0220】
【数46】
【0221】
数(46)式では、垂直方向の1ラインについて、ノイズ除去処理を行った後、水平方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「2*P22」の値を減算するようにしているが、「2*Q22」を減算するようにしてもよい。
【0222】
【数47】
【0223】
数(47)式では、垂直方向の3ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、水平方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0224】
このように注目画素が垂直方向のエッジ上の画素であると判定された場合には、垂直方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。
【0225】
また、水平方向のエッジ上に注目画素があると判定される場合の処理も同様である。水平方向の1ラインあるいは3ラインについて、水平方向の画素を用いてノイズ除去処理を実行した後、垂直方向の画素を用いてエッジ強調処理を行うようにすればよい。
【0226】
(斜めA方向のエッジ上に注目画素があると判定される場合)
注目画素についての相関方向が斜めA方向(DA)であり、かつ、他の方向について相関が小さい場合、注目画素は、斜めA方向のエッジ上に画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、垂直方向、水平方向、斜めB方向についての相関値(Cv,Ch,CdB)が所定の閾値よりも大きい場合である。つまり、斜めA方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、斜めA方向のエッジ上に存在すると判定される。たとえば、注目画素が斜めA方向のラインの境界上にある場合などが想定される。
【0227】
この場合、注目画素については、図36に示すように、斜めA方向の3画素を用いてノイズ除去処理を行う。つまり、フィルタ39は、数(48)式で示されるフィルタリング処理を実行する。
【0228】
【数48】
【0229】
さらに、フィルタ39は、数(49)式で示されるエッジ強調処理を実行する。数(49)式中、(P13+P31−2*P22)はラプラシアン成分である。また、数(49)式中、kは0以上1以下の実数であり、エッジ強調の度合いを調整する係数である。
【0230】
【数49】
【0231】
フィルタ39は、数(48)式および数(49)式で示される2種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数(50)式で示されるパターンと、数(51)式で示されるパターンと、数(52)式で示されるパターンが考えられる。
【0232】
【数50】
【0233】
数(50)式では、斜めA方向の1ラインについて、ノイズ除去処理を行った後、斜めB方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「2*P22」の値を減算するようにしているが、「2*Q22」を減算するようにしてもよい。
【0234】
【数51】
【0235】
数(51)式では、斜めA方向の3ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、斜めB方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0236】
【数52】
【0237】
数(52)式においても、斜めA方向の3ラインについて、ノイズ除去処理を行う。ただし、数(52)式で示すフィルタは、数(51)式で示すフィルタに比べて、注目画素から少し離れた画素を利用している。そして、斜めB方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0238】
このように注目画素が斜めA方向のエッジ上の画素であると判定された場合には、斜めA方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、斜めB方向の画素を用いてエッジ強調処理を行うので、より鮮明な画像を得ることが可能である。
【0239】
また、斜めB方向のエッジ上に注目画素があると判定される場合の処理も同様である。斜めB方向の1ラインあるいは3ラインについて、斜めB方向の画素を用いたノイズ除去処理を実行した後、斜めA方向の画素を用いてエッジ強調処理を行うようにすればよい。
【0240】
(注目画素が相関方向が決定しない未定画素(N)である場合)
相関方向補間回路38において相関方向が決定しなかった未定画素(N)については、数(53)式に示すようなフィルタを実行する。つまり、8方向のラプラシアン成分Lapを算出し、元の画素値からラプラシアン成分を減算する。数(53)式中、kは正の係数である。
【0241】
【数53】
【0242】
あるいは、相関方向が決定しなかった未定画素(N)については、数(54)式に示すようなフィルタを実行する。数(54)式中のラプラシアン成分Lapは、より広い領域の画素を利用して算出されている。
【0243】
【数54】
【0244】
以上、説明したように、本実施の形態の画像処理回路3は、画素補間処理のために決定した相関方向を、拡大した画素にまで補間するようにしている。したがって、拡大画像に対してフィルタ処理を行う場合に、拡大処理により生成された画素についても、適切なフィルタ処理を施すことが可能である。
【0245】
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態においては、第1の実施の形態と相関方向の補間処理方法が異なる。
【0246】
図37は、第2の実施の形態に係る相関方向の補間処理フローチャートである。ステップAから順にステップFまでの相関方向の決定ステップを実行した後、最後に、未定画素(N)の個数をチェックする。未定画素(N)の個数が収束していれば、処理を終了し、未定画素(N)の個数が収束していない場合は、さらに、ステップAからステップFまでのステップを繰り返す。
【0247】
図34で示した第1の実施の形態では、ステップ1が終了した後、ステップ1で補間された相関方向をも利用してステップ2を実行した。これに対して、第2の実施の形態においては、ステップAからステップFまでの1つの処理セットを実行する間は、上位のステップで補間された相関方向を下位のステップで利用することはない。ある処理セットで補間された相関方向は、次の処理セットで利用される。
【0248】
<ステップA>
ステップAは、第1の実施の形態における図24で示した決定方法と同じである。周辺4画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺4画素の相関方向と同じ相関方向を補間する。
【0249】
<ステップB>
ステップBは、第1の実施の形態における図28で示した決定方法と同じである。上下左右の周辺4画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺4画素の相関方向と同じ相関方向を補間する。
【0250】
<ステップC>
ステップCは、第1の実施の形態における図25、図26、図27で示した決定方法と同じである。周辺の複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。
【0251】
<ステップD>
ステップDは、第1の実施の形態における図29、図30、図31、図32、図33で示した決定方法と同じである。周辺の隣接する複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。
【0252】
<ステップE>
ステップEは、第1の実施の形態では用いられなかった決定方法である。ステップEの決定方法を図38に示す。図38(a)、図38(b)に示すように上下の一方のみに連続して垂直方向の相関方向が対応付けられている画素が存在する場合、注目画素についても垂直方向(V)を補間する。図38(c)、図38(d)に示すように左右の一方のみに、連続して水平方向の相関方向が対応付けられている画素が存在する場合、注目画素についても水平方向(H)を補間する。図38(e)、図38(f)に示すように斜めA方向の一方のみに、連続して斜めA方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めA方向(DA)を補間する。図38(g)、図38(h)に示すように斜めB方向の一方のみに、連続して斜めB方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めB方向(DB)を補間する。
【0253】
このように、ステップEについては、上下の一方や左右の一方など、注目画素の周辺領域の一部の領域の状況に基づいて相関方向を補間する。したがって、ステップEについては、第1の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。
【0254】
<ステップF>
ステップFは、第1の実施の形態では用いられなかった決定方法である。ステップFの決定方法を図39に示す。図39(a)、図39(b)、図39(c)、図39(d)に示すように、左右方向、上下方向、斜めA方向、斜めB方向のいずれかについて注目画素を挟む2つの画素の相関方向が同じ場合には、注目画素についても両側と同じ相関方向を補間する。
【0255】
図39(e)、図39(f)、図39(g)、図39(h)に示すように、注目画素を含む隣接する2×2の画素領域に注目した場合、残る3つの画素の相関方向が同じであれば、注目画素についても同じ相関方向を補間する。
【0256】
図39(i)、図39(j)、図39(k)、図39(l)に示すように、上下方向あるいは左右方向に連続する3つの画素の相関方向が同じ場合、注目画素についても同じ相関方向を補間する。
【0257】
図39(a)〜図39(l)の12のパターンについては、いずれも網掛けされた画素の相関方向が同じであればよく、相関方向の種別は問わない。このように、ステップEについても、第1の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。
【0258】
<最終ステップ>
ステップA〜ステップFまでの1セットの相関方向の決定処理を終えると、未定画素(N)の個数をチェックする。そして、未定画素(N)の個数が収束していない場合には、ステップAに戻り、次の1セットの相関方向の決定処理を行う。このときには、前回までに補間された相関方向も利用してステップA〜ステップFを実行する。未定画素(N)の個数が収束した場合には処理を終了する。
【0259】
なお、この実施の形態においても、未定画素(N)の個数が収束することを、補間処理の終了条件としているが、未定画素(N)の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像(N)の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。
【0260】
以上の処理により相関方向の補間処理が行われると、第1の実施の形態と同様、フィルタ39において相関方向を考慮したフィルタ処理が実行される。第2の実施の形態の相関方向の補間処理は、比較的緩い評価で相関方向を補間する。したがって、未定画素(N)をなるべく発生させないようコントロールする方法であると言える。
【0261】
また、第2の実施の形態においては、ステップAからステップFまでの1セットの処理を終えるまで上位のステップで補間された相関方向を利用せずに下位のステップを実行する。たとえば第1回目の処理セットであれば、第1相関判定回路341で決定された相関方向だけを用いて相関方向の補間を行うことになる。これにより、特に第1回目のセットでは、正確性の高い相関方向を用いて補間を行うことができる。ただし、未定画素(N)の減少速度を速めるためには、第2の実施の形態においても、上位のステップで補間された相関方向を利用して、下位のステップを実行するようにしてもよい。
【0262】
{第3の実施の形態}
次に、本発明の第3の実施の形態について説明する。図40は、第3の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3とは、フィルタの構成が異なる。
【0263】
図に示すように、フィルタ391には、拡大回路37から出力された輝度信号(Y信号)だけが入力される。フィルタ391は、相関方向補間回路38から入力した相関方向と、選択回路33から入力した4方向の相関値に基づき、輝度信号に対してフィルタ処理を実行する。フィルタ処理の内容は第1の実施の形態と同様であり、輝度信号はノイズ除去処理を施された上でエッジ強調される。
【0264】
このように、第3の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対してのみ、相関方向を考慮したフィルタリングを実行する。第1の実施の形態と比べてフィルタの回路規模を小さくすることができる。
【0265】
{第4の実施の形態}
次に、本発明の第4の実施の形態について説明する。図41は、第4の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3とは、フィルタの構成が異なる。
【0266】
図に示すように、フィルタ391には、拡大回路37から出力された輝度信号(Y信号)だけが入力される。フィルタ391の処理内容は第3の実施の形態と同様である。
【0267】
色ノイズ除去フィルタ392には、拡大回路37から出力された色差信号(Cr信号、Cb信号)が入力される。色ノイズ除去フィルタ392は、相関方向補間回路38が入力した相関方向を考慮して色差成分中のノイズ除去処理を実行する。
【0268】
このように、第4の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対して、相関方向を考慮したエッジ強調処理を実行し、さらに、色差成分に対しては相関方向を考慮したノイズ除去フィルタを実行する。これにより、画像の鮮明度を向上させるとともに、色ノイズを抑圧することもできる。
【0269】
{第5の実施の形態}
上記第1および第2の実施の形態においては、相関方向補間回路38は、全方向相関(M)と相関方向なし(S)についても区別して処理した。第5の実施の形態においては、全方向相関(M)と相関方向なし(S)を区別せず、同一の相関種別として扱う。これにより、処理の簡略化を行うことができ、処理速度の向上と回路規模の縮小を図ることができる。
【0270】
{第6の実施の形態}
次に、本発明の第6の実施の形態について説明する。図42は、第6の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3と異なる点は、フィルタ39の後段に縮小回路310が設けられている点である。
【0271】
縮小回路390は、フィルタ39においてフィルタリング処理された後の拡大画像を縮小する。たとえば、拡大回路37において2倍拡大されていた画像を1/2に縮小し、元の画像と同じサイズの画像を生成する。画像のサイズは拡大した後に縮小されることになるが、この間、拡大補間された相関方向を利用したフィルタリング処理が施されている。これにより、元のRGB画像に比べて、より良好な画質の画像を得ることができる。
【図面の簡単な説明】
【0272】
【図1】本実施の形態にかかるデジタルカメラを示すブロック図である。
【図2】RGBベイヤ配列の画素の配列パターンを示す図である。
【図3】彩度値と彩度係数との関係を示す図である。
【図4】4つの相関方向を示す図である。
【図5】注目画素がG画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図6】注目画素がG画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図7】注目画素がG画素であるカラー領域における斜めA方向の相関値算出方法を示す図である。
【図8】注目画素がG画素であるカラー領域における斜めB方向の相関値算出方法を示す図である。
【図9】注目画素がRまたはB画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図10】注目画素がRまたはB画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図11】注目画素がRまたはB画素であるカラー領域における斜めA方向の相関値算出方法を示す図である。
【図12】注目画素がRまたはB画素であるカラー領域における斜めB方向の相関値算出方法を示す図である。
【図13】グレー領域における垂直方向の相関値算出方法を示す図である。
【図14】グレー領域における水平方向の相関値算出方法を示す図である。
【図15】グレー領域における斜めA方向の相関値算出方法を示す図である。
【図16】グレー領域における斜めB方向の相関値算出方法を示す図である。
【図17】相関判定方法および画素補間方法の判定基準を示す図である。
【図18】垂直方向・水平方向に関して相関関係を高く評価する対応関係を示す図である。
【図19】斜めA方向・斜めB方向に関して相関関係を高く評価する対応関係を示す図である。
【図20】垂直方向・水平方向に関して相関関係を低く評価する対応関係を示す図である。
【図21】斜めA方向・斜めB方向に関して相関関係を低く評価する対応関係を示す図である。
【図22】拡大された画素信号の配列を示す図である。
【図23】拡大された画素信号の4つの配列パターンを示す図である。
【図24】ステップ1における相関方向の補間方法を示す図である。
【図25】ステップ1における相関方向の補間方法を示す図である。
【図26】ステップ1における相関方向の補間方法を示す図である。
【図27】ステップ1における相関方向の補間方法を示す図である。
【図28】ステップ2における相関方向の補間方法を示す図である。
【図29】ステップ2における相関方向の補間方法を示す図である。
【図30】ステップ2における相関方向の補間方法を示す図である。
【図31】ステップ2における相関方向の補間方法を示す図である。
【図32】ステップ2における相関方向の補間方法を示す図である。
【図33】ステップ2における相関方向の補間方法を示す図である。
【図34】第1の実施の形態に係る相関方向の補間フローチャートを示す図である。
【図35】フィルタ処理の対象画素を示す図である。
【図36】フィルタ処理の対象画素を示す図である。
【図37】第2の実施の形態に係る相関方向の補間フローチャートを示す図である。
【図38】ステップEにおける相関方向の補間方法を示す図である。
【図39】ステップFにおける相関方向の補間方法を示す図である。
【図40】第3の実施の形態に係る画像処理回路のブロック図である。
【図41】第4の実施の形態に係る画像処理回路のブロック図である。
【図42】第6の実施の形態に係る画像処理回路のブロック図である。
【符号の説明】
【0273】
31 彩度値算出回路
32 相関値算出回路
33 選択回路
341 第1相関判定回路
342 第2相関判定回路
351 第1補間回路
352 第2補間回路
361 第1色空間回路
362 第2色空間回路
37 拡大回路
38 相関方向補間回路
39 フィルタ
【技術分野】
【0001】
本発明は、画像処理回路で実行される画像拡大技術に関する。
【背景技術】
【0002】
デジタルカメラ等で利用されるCCD,CMOSなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。色フィルタには、RGB系色フィルタやYMCK系色フィルタなどがある。単板式の撮像素子からは1画素について1色の画素信号が出力される。たとえば、RGB系色フィルタを用いた場合、1画素についてR(赤色)、G(緑色)、B(青色)いずれかの色成分の画素信号が出力される。
【0003】
このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。補間処理には様々なアルゴリズムが用いられているが、その中に相関値を利用するものがある。水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行うのである。下記特許文献1においても、相関方向を考慮した画素補間処理が行われている。
【0004】
【特許文献1】特開2006−186965号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
デジタルカメラ等の画像処理回路は、画像の拡大処理も実行する。画像処理回路は、バイリニア補間などを利用して画像を拡大する。拡大処理にも様々なアルゴリズムがあるが、補間とは予測に基づく処理であることには変わりはない。したがって、拡大補間した画像に対しては、フィルタリング処理を施し、画像の品質を向上させる必要がある。
【0006】
画像処理回路においては、上述したように画素補間処理など様々な処理が実行されているが、それら処理で取得された情報は、それらの処理の中での利用に限られている。画像拡大後のフィルタリング処理においても、それらの処理で取得された情報が利用できれば、画像の品質向上に役立てることができると考えられる。
【0007】
そこで、本発明は画像拡大処理において、画像処理回路の他の処理で取得された情報を有効利用し、画像の品質を向上させるための技術を提供することを課題とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、請求項1記載の発明は、画像拡大方法であって、a)1画素につき1色の成分を持つ所定の色空間の画素信号を入力する入力工程と、b)各画素の相関方向を求める相関方向算出工程と、c)各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、d)画素信号を拡大補間し拡大画像を生成する画像拡大工程と、e)拡大補間により生成された各画素に対して、前記相関方向算出工程b)で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、f)前記画像拡大工程d)の前から存在する画素については前記相関方向算出工程b)で求められた相関方向を考慮して、あるいは前記画像拡大工程d)で生成された画素については前記相関方向補間工程e)で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、を備えることを特徴とする。
【0009】
請求項2記載の発明は、請求項1に記載の画像拡大方法において、前記相関方向補間工程e)は、e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、e−2)前記第1工程e−1)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第2工程と、を含み、前記第2工程e−2)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)を繰り返し実行することを特徴とする。
【0010】
請求項3記載の発明は、請求項1に記載の画像拡大方法において、前記相関方向補間工程e)は、e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第1ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、e−2)前記第1工程e−1)において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第1工程e−1)で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第2ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第2工程と、e−3)前記第1工程e−1)および前記第2工程e−2)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第3工程と、を含み、前記第3工程e−3)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)および前記第2工程e−2)を繰り返し実行することを特徴とする。
【0011】
請求項4記載の発明は、請求項1ないし請求項3のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、相関方向に沿う方向についてノイズ除去処理を実行する工程と、相関方向と直交する方向についてエッジ強調処理を実行する工程と、を含むことを特徴とする。
【0012】
請求項5記載の発明は、請求項1ないし請求項4のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする。
【0013】
請求項6記載の発明は、請求項1ないし請求項4のいずれかに記載の画像拡大方法において、前記フィルタリング工程f)は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする。
【0014】
請求項7記載の発明は、請求項1ないし請求項6のいずれかに記載の画像拡大方法において、前記画像拡大工程d)において、画像が水平方向、垂直方向にそれぞれ2倍に拡大され、前記相関方向補間工程e)において、前記相関方向算出工程b)において求められた相関方向が水平方向、垂直方向にそれぞれ2倍に拡大補間されることを特徴とする。
【0015】
請求項8記載の発明は、請求項1ないし請求項7のいずれかに記載の画像拡大方法において、さらに、g)前記フィルタリング工程f)においてフィルタリング処理された拡大画像を縮小する画像縮小工程、を備えることを特徴とする。
【発明の効果】
【0016】
本発明によれば、画像の色補間処理のために利用した相関方向の情報を利用し、拡大された画像のフィルタイリング処理を実行する。これにより、拡大補間された画像の品質を向上させることができる。本発明の方法を利用することで、たとえばデジタルカメラであれば、撮影画像を高品質のまま拡大処理することができる。
【発明を実施するための最良の形態】
【0017】
{第1の実施の形態}
<1.デジタルカメラの全体概略構成>
図1は、本実施の形態に係るデジタルカメラ10を示すブロック図である。デジタルカメラ10は、撮像素子1、信号処理回路2、画像処理回路3、メモリ5を備えている。撮像素子1は、RGBベイヤ配列の色フィルタアレイを備えた単板式のCCDであり、1画素からはRGBいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがG→R→G→R→・・・とG信号とR信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、B→G→B→G→・・・とB信号とG信号とが交互に出力されるラインである。なお、撮像素子1として、CMOSセンサを用いても良い。
【0018】
撮像素子1から出力される画素信号は、信号処理回路2に入力される。信号処理回路2において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路2から出力された画素信号は、画像処理回路3に入力される。画像処理回路3は、彩度値算出回路31、相関値算出回路32、選択回路33、第1・第2相関判定回路341,342、第1・第2補間回路351,352、第1・第2色空間変換回路361,362を備えている。さらに、画像処理回路3は、拡大回路37、相関方向補間回路38、フィルタ39を備えている。
【0019】
彩度値算出回路31は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。
【0020】
相関値算出回路32は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。
【0021】
選択回路33は、彩度値算出回路31により算出された彩度値に基づき、相関判定処理および画素補間処理において、グレー画像用の処理を実行するのか、カラー画像用の処理を実行するのかを選択する。
【0022】
第1相関判定回路341、第2相関判定回路342は、それぞれ、相関値算出回路32で算出され、選択回路33において選択された相関値を利用して、相関方向を判定する。
【0023】
第1補間回路351は、第1相関判定回路341の判定結果に基づいて、注目画素の画素補間処理を実行し、第2補間回路352は、第2相関判定回路342の判定結果に基づいて、注目画素の画素補間処理を実行する。
【0024】
第1色空間変換回路361は、第1補間回路351において補間されたRGBの画素信号を、色空間変換し、Y信号(輝度信号)を生成する。第2色空間変換回路362は、第2補間回路352において補間されたRGBの画素信号を、色空間変換し、Cb,Cr信号(色差信号)を生成する。
【0025】
なお、彩度値算出回路31、相関値算出回路32および第1・第2補間回路351,352、相関方向補間回路38、フィルタ39は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、M×Nのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路でレジスタを共用してもよい。
【0026】
第1・第2補間回路351,352において画素補間処理が行われると、各画素はRGB全ての色成分を持つ信号となり、さらに、第1・第2色空間変換回路361,362により、YCbCr信号に変換される。そして、この画素信号が拡大回路37において拡大処理される。
【0027】
拡大回路37において、たとえば水平方向、垂直方向にそれぞれ2倍拡大された画像は、フィルタ39においてフィルタ処理が施される。相関方向補間回路38は、拡大補間された画素信号のそれぞれに対して相関方向を補間する。フィルタ39は、相関方向補間回路38において補間された相関方向を利用して、各画素信号に対してエッジ強調処理やノイズ除去処理を実行する。フィルタ処理後の画素信号は、メモリ5に格納される。
【0028】
<2.ベイヤ配列の画素の表記方法>
次に、以下の説明および図面において使用するベイヤ配列の画素の表記方法について説明する。5×5のマトリクス領域の画素を図2(a)のように表す。図2(a)における記号Pは、画素がRGBいずれの色成分であるかを考慮しない表記である。図2(b)〜(e)においては各画素の色成分を区別して表記している。記号Rは赤色画素、記号Gは緑色画素、記号Bは青色画素であることを示している。また、図2および図5〜図12において、G画素は実線の円で描き、R画素およびB画素は破線の円で描いている。
【0029】
また、記号P,R,G,Bの添え字のうち、1桁目はマトリクス領域の画素の行番号、2桁目はマトリクス領域の画素の列番号を示している。図2(a)〜(e)は、注目画素P22を含む25個の画素P00〜P44からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号P,R,G,Bは、画素値を表す場合もある。たとえば記号P11は、1行1列目の画素を示す符号であるとともに、特に数式においては1行1列目の画素の画素値をも表す。
【0030】
図2(b)および図2(e)は、注目画素P22がG画素である場合の画素配列である。図2(c)は、注目画素P22がR画素である場合の画素配列である。図2(d)は、注目画素P22がB画素である場合の画素配列である。上述したように、彩度値算出回路31、相関値算出回路32、第1・第2補間回路351,352においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。5×5のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図2(b)〜図2(e)の4つのパターンが存在することになる。また、3×3のマトリクス領域の画素を処理対象とする場合には、注目画素P22を中心とした9個の画素P11,P12,P13,P21,P22,P23,P31,P32,P33を利用することになり、画素信号のパターンは、同様に、図2(b)〜図2(e)の4パターンである。
【0031】
<3.彩度値算出処理>
次に、彩度値算出回路31により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路31は、注目画素を含むマトリクス領域(これは注目画素及びその周辺画素で構成される)の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像(以下、カラー画像とする。)であるか、彩度の低い画像(以下、グレー画像とする。)であるかを判定するために利用される。
【0032】
彩度評価値は、注目画素を含むマトリクス領域において、G画素のレベルとR画素のレベルとの色差成分およびG画素のレベルとB画素のレベルとの色差成分に基づいて算出される。本実施の形態においては、彩度評価値を決定するために、2つの色差成分評価値が算出される。彩度値算出回路31は、「第1の色差成分評価値」および「第2の色差成分評価値」を算出する。「第1の色差成分評価値」とは、画素平均値に基づく色差成分値から求めた評価値である。画素平均値に基づく色差成分値とは、マトリクス領域内にある画素の位置は考慮することなく、領域内に存在する画素の色成分別の画素平均値から求めた色差成分値である。「第2の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。
【0033】
このように、2種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第1の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、2種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。
【0034】
(3−1)第1の色差成分評価値
まず、第1の色差成分評価値の算出方法について説明する。第1の色差成分評価値は、青空や模様のない壁等、平坦部分(低周波領域)の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第1の色差成分評価値を算出するために、まず、注目画素を中心とする3×3のマトリクス領域に含まれるRGB各色の画素値の平均値Rave,Gave,Baveを算出する。平均値Rave,Gave,Baveは、一般的には、数(1)式のように表される。数(1)式中、NR、NG、NBは、それぞれマトリクス領域内に存在するR,G,B画素の数であり、Σの項は、各色成分の累積画素値を示している。
【0035】
【数1】
【0036】
ただし、図2(b)〜(e)で示したように、画素配列には4つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がG画素であり、図2(b)の画素配列に対応する場合、数(2)式により平均値Rave,Gave,Baveを算出する。
【0037】
【数2】
【0038】
中心画素がR画素であり、図2(c)の画素配列に対応する場合、数(3)式により平均値Rave,Gave,Baveを算出する。
【0039】
【数3】
【0040】
中心画素がB画素であり、図2(d)の画素配列に対応する場合、数(4)式により平均値Rave,Gave,Baveを算出する。
【0041】
【数4】
【0042】
中心画素がG画素であり、図2(e)の画素配列に対応する場合、数(5)式により平均値Rave,Gave,Baveを算出する。
【0043】
【数5】
【0044】
彩度値算出回路31は、マトリクス領域の画素配列が、図2(b)〜(e)のいずれのパターンであるかに応じて、数(2)式から数(5)式のいずれかの数式に従った演算処理を実行し、平均値Rave,Gave,Baveを算出する。さらに、彩度値算出回路31は、算出した平均値Rave,Gave,Baveを用いて、数(6)式で表した演算処理を実行することにより、第1の色差成分評価値Lglobalを算出する。つまり、色差成分評価値Lglobalは、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。
【0045】
【数6】
【0046】
(3−2)第2の色差成分評価値
次に、第2の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、(3−1)で求めた第1の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。
【0047】
彩度値算出回路31は、3×3のマトリクス領域の画素信号を用いて、数(7)式および数(8)式で表された演算処理を実行する。すなわち、数(7)式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Lverticalを算出している。また、数(8)式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Lhorizontalを算出している。つまり、数(7)式、数(8)式で表される演算は、垂直方向あるいは水平方向について、それぞれG画素とR画素との色差成分値及びG画素とB画素との色差成分値を累積するものである。色差成分評価値Lvertical,Lhorizontalはいずれも上述の第2の色差成分評価値である。
【0048】
【数7】
【0049】
【数8】
【0050】
数(7)式および数(8)式において、係数2が乗算されている項があるが、これは、G−R画素の色差成分累積数とG−B画素の色差成分累積数とを一致させるためである。この実施の形態では、異なる色差成分同士の累積数を一致させるための係数2を乗算するようにしているが、この値は適宜設定可能である。
【0051】
この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素P22について水平方向から時計回りに45度傾いた斜めA方向、斜めA方向と直交する斜めB方向についての色差成分評価値LdA,LdBは数(9)式及び数(10)式で求められる。ただし、数(9)式は注目画素P22がG画素である場合に用いられる式であり、数(10)式は注目画素P22がR画素あるいはB画素である場合に用いられる式である。
【0052】
【数9】
【0053】
【数10】
【0054】
(3−3)彩度係数の計算
彩度値算出回路31は、以上、(3−1),(3−2)で示した演算方法により3つの色差成分評価値Lglobal,Lvertical,Lhorizontalを算出すると、さらに、数(11)式で表される演算処理を実行することにより、色差成分評価値Lglobal,Lvertical,Lhorizontalの最小値(つまり、色差成分のレベルが最小のもの)を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Lとして採用される。言い換えると、この彩度評価値Lは、各注目画素に対応して決定される彩度値である。なお、数(11)式中、min(x,y,z)は、x,y,zの最小値を表している。上述したように、第2の色差成分評価値としてLvertical,Lhorizontalに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。
【0055】
【数11】
【0056】
彩度値算出回路31において以上の演算処理が実行されることにより、注目画素についての彩度評価値Lが求められると、次に、彩度値算出回路31は、彩度評価値Lを正規化して彩度係数KLを算出する。具体的には、2つの閾値T1、T2を用いて、数(12)式に示すような正規化処理を行う。図3は、彩度評価値Lと彩度係数KLの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度係数KLが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値T1、T2間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。
【0057】
【数12】
【0058】
なお、2つの閾値T1、T2はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、CCDの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数KLが、後工程である選択工程において利用される。
【0059】
<4.相関値算出処理>
相関値算出回路32は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における4つの方向の相関値を算出する。ここでは、図4に示すように、水平方向、垂直方向、水平方向から時計回りに45度傾いた斜めA方向、斜めA方向と直交する斜めB方向について、相関値を算出する。具体的には、注目画素とこれら4つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。
【0060】
また、本実施の形態において、相関値算出回路32は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択工程において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。あるいは、カラー画像用とグレー画像用の両方の相関値を総合判断することで選択された相関値を用いて相関方向が決定される。
【0061】
(4−1)彩度の高いカラー画像用の相関値
(4−1−1)中心画素がGの場合
まず、注目画素がG画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図2(b)あるいは図2(e)である場合の相関値算出方法である。垂直方向の相関値は、数(13)式により算出される。また、図5は、垂直方向の相関値の算出方法を図示したものであり、図5(a)は、G画素に関する相関算出方法、図5(b)は、R画素およびB画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図5〜図16において、図中の矢印で結ばれた2つの画素は、画素差分値を算出する対象であることを示している。
【0062】
【数13】
【0063】
水平方向の相関値は、数(14)式により算出される。また、図6は、水平方向の相関値の算出方法を図示したものであり、図6(a)は、G画素に関する相関算出方法、図6(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0064】
【数14】
【0065】
斜めA方向の相関値は、数(15)式により算出される。また、図7は、斜めA方向の相関値の算出方法を図示したものであり、図7(a)は、G画素に関する相関算出方法、図7(b)および(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0066】
【数15】
【0067】
なお、図7で表したように、G画素に関する場合とR画素あるいはB画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数(15)式においては、画素間の距離の狭いG画素に関する差分値には2を乗算するようにしている。これは、G画素についてはR画素あるいはB画素に比べて演算対象となる画素間の距離が1/2となっているため、画素差分値については2倍の変化量に対応するためである。ただし、乗算値の2は一例であり、適宜選択可能である。
【0068】
斜めB方向の相関値は、数(16)式により算出される。また、図8は、斜めB方向の相関値の算出方法を図示したものであり、図8(a)は、G画素に関する相関算出方法、図8(b)および(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0069】
【数16】
【0070】
数(16)式においても、数(15)式の場合と同様、G画素の差分値については、2を乗算するようにしている。なお、図7(b),(c)および図8(b),(c)における場合の画素間距離と図5および図6における場合の画素間距離も異なるが、ここでは、いずれも1つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【0071】
(4−1−2)中心画素がBあるいはRの場合
次に、注目画素がBまたはR画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図2(c)あるいは図2(d)である場合の相関値算出方法である。垂直方向の相関値は、数(17)式により算出される。また、図9は、垂直方向の相関値の算出方法を図示したものであり、図9(a)は、G画素に関する相関算出方法、図9(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0072】
【数17】
【0073】
水平方向の相関値は、数(18)式により算出される。また、図10は、水平方向の相関値の算出方法を図示したものであり、図10(a)は、G画素に関する相関算出方法、図10(b)は、R画素およびB画素に関する相関算出方法を図示したものである。
【0074】
【数18】
【0075】
斜めA方向の相関値は、数(19)式により算出される。また、図11は、斜めA方向の相関値の算出方法を図示したものであり、図11(a)は、G画素に関する相関算出方法、図11(b)および図11(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0076】
【数19】
【0077】
斜めB方向の相関値は、数(20)式により算出される。また、図12は、斜めB方向の相関値の算出方法を図示したものであり、図12(a)は、G画素に関する相関算出方法、図12(b)および図12(c)は、R画素あるいはB画素に関する相関算出方法を図示したものである。
【0078】
【数20】
【0079】
なお、数(19)式および数(20)式においても、数(13)式において説明した場合と同様、G画素の差分値については、2を乗算するようにしている。なお、図11(b),(c)および図12(b),(c)における場合の画素間距離と図9および図10における場合の画素間距離も異なるが、ここでは、いずれも1つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。
【0080】
(4−2)彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がRGBいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図2(b)〜図2(e)のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数(21)式により算出される。また、図13は、垂直方向の相関値の算出方法を図示したものである。
【0081】
【数21】
【0082】
水平方向の相関値は、数(22)式により算出される。また、図14は、水平方向の相関値の算出方法を図示したものである。
【0083】
【数22】
【0084】
斜めA方向の相関値は、数(23)式により算出される。また、図15は、斜めA方向の相関値の算出方法を図示したものである。
【0085】
【数23】
【0086】
斜めB方向の相関値は、数(24)式により算出される。また、図16は、斜めB方向の相関値の算出方法を図示したものである。
【0087】
【数24】
【0088】
なお、図13および図14における場合と図15および図16における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数(15)式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数(21)式および数(22)式における画素差分値については、2の2乗根を乗算するようにしてもよい。
【0089】
また、数(21)式〜数(24)式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図13〜図16で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数(21)式〜数(24)式においては、各画素差分値に2を乗算してスケールを合わせた結果、各式における最後の乗算値(1/6と1/5)が累積数の逆数の2倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。
【0090】
<5.相関判定方法と画素補間方法の選択>
選択回路33は、彩度値算出回路31が算出した彩度係数KLと閾値TH1,TH2(TH1≧TH2)との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関方向を判定するのか、カラー画像用の相関値を採用して相関方向を判定するのか、あるいは、グレー画像用とカラー画像用の相関値を総合判断して選択された相関値を用いて相関方向を判定するかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。
【0091】
図17は、彩度係数KLと閾値TH1,TH2との関係により選択される相関判定方法および画素補間方法の種別を示している。具体的には、以下の(a)〜(c)の組み合わせに分類される。
【0092】
(a)KL>TH1の場合
相関判定方法・・・カラー画像用の相関値を用いて相関方向を判定する。
【0093】
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【0094】
(b)TH1≧KL>TH2の場合
相関判定方法・・・カラー画像用の相関値とグレー画像用の相関値とを総合判断して選択された相関値を用いて相関方向を判定する。
【0095】
画素補間方法・・・カラー画像用の画素補間方法を用いる。
【0096】
(c)TH2≧KLの場合
相関判定方法・・・グレー画像用の相関値を用いて相関方向を判定する。
【0097】
画素補間方法・・・グレー画像用の画素補間方法を用いる。
【0098】
数(13)式から数(20)式を用いてカラー画像用の4方向の相関値Cv_c,Ch_c,CdA_c,CdB_cを算出した。また、数(21)式から数(24)式を用いてグレー画像用の4方向の相関値Cv_m,Ch_m,CdA_m,CdB_mを算出した。選択回路33は、このグレー画像用とカラー画像用の算出された相関値から、次のように、実際に相関方向の判定に用いる判定用相関値Cv,Ch,CdA,CdBを選択する。
【0099】
(5−1)(a)KL>TH1の場合の判定用相関値
数(25)式に示すように、カラー画像用の相関値を判定用相関値Cv,Ch,CdA,CdBとして用いる。
【0100】
【数25】
【0101】
(5−2)(c)TH2≧KLの場合の判定用相関値
数(26)式に示すように、グレー画像用の相関値を判定用相関値Cv,Ch,CdA,CdBとして用いる。
【0102】
【数26】
【0103】
(5−3)(b)TH1≧KL>TH2の場合の判定用相関値
グレー画像用の相関値とカラー画像用の相関値を総合判断して、判定用相関値Cv,Ch,CdA,CdBを決定する。この判断方法について、以下詳述する。
【0104】
まず、数(27)式に示すように、カラー画像用の相関値Cv_c,Ch_cの差分絶対値d_Cv_cを求める。
【0105】
【数27】
【0106】
また、数(28)式に示すように、グレー画像用の相関値Cv_m,Ch_mの差分絶対値d_Cv_mを求める。
【0107】
【数28】
【0108】
さらに、数(29)式に示すように、差分絶対値d_Cv_cと差分絶対値d_Cv_mの差分絶対値d_Cvと、閾値THvとの大小を比較する。
【0109】
【数29】
【0110】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たすとき、さらに、数(30)式の条件を満たすかどうかを判断する。
【0111】
【数30】
【0112】
もし、数(30)式の条件を満たすならば、判定用相関値Cvとしてカラー画像用の相関値Cv_cを採用する。つまり、
Cv=Cv_c
となる。
【0113】
もし、数(30)式の条件を満たさないならば、判定用相関値Cvとしてグレー画像用の相関値Cv_mを採用する。つまり、
Cv=Cv_m
となる。
【0114】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たすとき、さらに、数(31)式の条件を満たすかどうかを判断する。
【0115】
【数31】
【0116】
もし、数(31)式の条件を満たすならば、判定用相関値Chとしてカラー画像用の相関値Ch_cを採用する。つまり、
Ch=Ch_c
となる。
【0117】
もし、数(31)式の条件を満たさないならば、判定用相関値Chとしてグレー画像用の相関値Ch_mを採用する。つまり、
Ch=Ch_m
となる。
【0118】
このように、差分絶対値d_Cvが閾値THvより小さい場合とは、差分絶対値d_Cv_cと差分絶対値d_Cv_mとの差が小さいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られない場合が想定される。このような場合には、垂直方向、水平方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【0119】
差分絶対値d_Cvと閾値THvとの関係が、数(29)式の関係を満たさないとき、さらに、数(32)式の条件を満たすかどうかを判断する。
【0120】
【数32】
【0121】
数(32)式の関係を満たすとき、相関判定用としてカラー画像用の相関値Cv_c,Ch_cを採用する。つまり、
Cv=Cv_c
Ch=Ch_c
となる。
【0122】
数(32)式の関係を満たさないとき、相関判定用としてグレー画像用の相関値Cv_m,Ch_mを採用する。つまり、
Cv=Cv_m
Ch=Ch_m
となる。
【0123】
このように、差分絶対値d_Cvが閾値THvより大きい場合とは、差分絶対値d_Cv_cと差分絶対値d_Cv_mとの差が大きいときである。つまり、垂直方向、水平方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値d_Cv_cと差分絶対値d_Cv_mの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【0124】
続いて、数(33)式に示すように、カラー画像用の相関値CdA_c,CdB_cの差分絶対値d_Cdg_cを求める。
【0125】
【数33】
【0126】
また、数(34)式に示すように、グレー画像用の相関値CdA_m,CdB_mの差分絶対値d_Cdg_mを求める。
【0127】
【数34】
【0128】
さらに、数(35)式に示すように、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mの差分絶対値d_Cdgと、閾値THdgとの大小を比較する。
【0129】
【数35】
【0130】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たすとき、さらに、数(36)式の条件を満たすかどうかを判断する。
【0131】
【数36】
【0132】
もし、数(36)式の条件を満たすならば、判定用相関値CdAとしてカラー画像用の相関値CdA_cを採用する。つまり、
CdA=CdA_c
となる。
【0133】
もし、数(36)式の条件を満たさないならば、判定用相関値CdAとしてグレー画像用の相関値CdA_mを採用する。つまり、
CdA=CdA_m
となる。
【0134】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たすとき、さらに、数(37)式の条件を満たすかどうかを判断する。
【0135】
【数37】
【0136】
もし、数(37)式の条件を満たすならば、判定用相関値CdBとしてカラー画像用の相関値CdB_cを採用する。つまり、
CdB=CdB_c
となる。
【0137】
もし、数(37)式の条件を満たさないならば、判定用相関値CdBとしてグレー画像用の相関値CdB_mを採用する。つまり、
CdB=CdB_m
となる。
【0138】
このように、差分絶対値d_Cdgが閾値THdgより小さい場合とは、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mとの差が小さいときである。つまり、斜めA方向、斜めB方向のいずれかに強い相関が見られない場合が想定される。このような場合には、斜めA方向、斜めB方向それぞれについて、グレー画像用とカラー画像用の相関値の大小を比較し、相関値の小さい方、つまり、相関の高い方を選択するのである。
【0139】
差分絶対値d_Cdgと閾値THdgとの関係が、数(35)式の関係を満たさないとき、さらに、数(38)式の条件を満たすかどうかを判断する。
【0140】
【数38】
【0141】
数(38)式の関係を満たすとき、相関判定用としてカラー画像用の相関値CdA_c,CdB_cを採用する。つまり、
CdA=CdA_c
CdB=CdB_c
となる。
【0142】
数(38)式の関係を満たさないとき、相関判定用としてグレー画像用の相関値CdA_m,CdB_mを採用する。つまり、
CdA=CdA_m
CdB=CdB_m
となる。
【0143】
このように、差分絶対値d_Cdgが閾値THdgより大きい場合とは、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mとの差が大きいときである。つまり、斜めA方向、斜めB方向のいずれかに強い相関が見られる場合が想定される。このような場合には、差分絶対値d_Cdg_cと差分絶対値d_Cdg_mの大小を比較し、差分絶対値が大きい方の相関値を選択するのである。
【0144】
以上の処理を実行することで、上記(b)TH1≧KL>TH2の場合には、グレー画像用の相関値とカラー画像用の相関値を総合判断して判定用相関値Cv,Ch,CdA,CdBを選択する。
【0145】
選択回路33は以上の演算処理を実行することにより、上記(a),(b),(c)それぞれの場合について、判定用相関値Cv,Ch,CdA,CdBを選択する。
【0146】
このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数KLと閾値TH1,TH2との関係により3パターンに分類される。つまり、1つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、2つの閾値TH1とTH2を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。
【0147】
つまり、グレー画像とカラー画像の境界付近に位置する画像は、RGBの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、RGB各成分のばらつきが小さいことに着目して、RGBを区別することなく、なるべく近接する画素を用いて相関値を算出する。あるいは、RGB各成分が多少なりともばらついていることに注目して、RGBを区別して相関値を算出する。このような2つの考え方を総合的に判断して、最適な相関値を選択することで、相関方向の判定精度を向上させるのである。これに対して、RGB各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。
【0148】
この実施の形態においては、彩度評価値Lを正規化した彩度係数KLを用い、彩度係数KLと閾値TH1,TH2との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Lと2つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路33は、相関判定方法と画素補間方法とを選択すると、この選択情報を第1相関判定回路341および第2相関判定回路342に与える。選択情報には、相関判定方法および画素補間方法として、グレー画像用・カラー画像用いずれのタイプを用いるのかを示す情報と、選択された判定用相関値Cv,Ch,CdA,CdBを示す情報が含まれる。
【0149】
<6.各画素における相関方向の判定>
上述したように、選択回路33において判定用相関値Cv,Ch,CdA,CdBが選択されると、画素信号と、判定用相関値に関する情報を含む選択情報とが、第1相関判定回路341および第2相関判定回路342に出力される。つまり、選択回路33で算出された判定用相関値Cv,Ch,CdA,CdBの値が、第1・第2相関判定回路341,342の両方に出力され、信号処理回路2から入力した画素信号も、第1・第2相関判定回路341,342の両方に出力される。第1相関判定回路341および第2相関判定回路342は、判定用相関値Cv,Ch,CdA,CdBに基づいて、注目画素における相関関係を判定する処理部である。第1相関判定回路341は、注目画素における相関関係を高く評価して相関方向を判定する。第2相関判定回路342は、第1相関判定回路341と比較すると、注目画素における相関関係を低く評価して相関方向を判定する。
【0150】
図18は、第1相関判定回路341が相関方向の判定に利用する相関値の対応関係図である。縦軸が判定用相関値Cvであり、横軸が判定用相関値Chである。
【0151】
判定用相関値Cvと判定用相関値Chの関係が、A1の領域に存在するとき、第1相関判定回路341は、注目画素の相関方向は水平方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A2の領域に存在するとき、第1相関判定回路341は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A3の領域に存在するとき、第1相関判定回路341は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Cvと判定用相関値Chの関係が、A4の領域に存在するとき、第1相関判定回路341は、注目画素は垂直、水平両方向について相関が高いと判定する。
【0152】
第1相関判定回路341は、図18で示した対応関係図とあわせて、図19で示す対応関係図を利用する。図19で示す対応関係図は、判定用相関値CdA,CdBと相関方向との対応関係を示す図である。図19の縦軸は判定用相関値CdAであり、横軸は判定用相関値CdBである。領域B1は、相関方向が斜めB方向と判定される領域であり、領域B2は、相関方向が斜めA方向と判定される領域である。また、領域B3は、いずれの方向にも相関がないと判定される領域であり、領域B4は、斜めA方向と斜めB方向の両方向について相関が高いと判定される領域である。
【0153】
第1相関判定回路341は、4つの判定用相関値Cv,Ch,CdA,CdBを比較する。そして、判定用相関値Cvあるいは判定用相関値Chの値が最も小さい場合には、図18の関係図を利用する。そして、判定用相関値の対応関係がA1〜A4のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値CdAあるいは判定用相関値CdBの値が最も小さい場合には、図19の関係図を利用する。そして、相関値の対応関係がB1〜B4のいずれの領域に該当するかによって相関方向を決定する。
【0154】
相関方向が決定すると、後述するように、第1補間回路351において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域A1にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域A2にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B1にあれば斜めB方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B2にあれば斜めA方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がA3またはB3の領域にあれば、たとえばメディアン補間を行い、対応関係がA4またはB4の領域にあれば平均値補間を行う。
【0155】
一方、図20は、第2相関判定回路342が相関方向の判定に利用する判定用相関値の対応関係図である。縦軸が判定用相関値Cvであり、横軸が判定用相関値Chである。
【0156】
判定用相関値Cvと判定用相関値Chの関係が、A5の領域に存在するとき、第2相関判定回路342は、注目画素の相関方向は水平方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A6の領域に存在するとき、第2相関判定回路342は、注目画素の相関方向は垂直方向であると判定する。判定用相関値Cvと判定用相関値Chの関係が、A7の領域に存在するとき、第2相関判定回路342は、注目画素はいずれの方向にも相関がないと判定する。判定用相関値Cvと判定用相関値Chの関係が、A8の領域に存在するとき、第2相関判定回路342は、注目画素は垂直、水平両方向について相関が高いと判定する。
【0157】
また、第2相関判定回路342は、図20で示した対応関係図とあわせて、図21で示す対応関係図を利用する。図21で示す対応関係図は、判定用相関値CdA,CdBと相関方向との対応関係を示す図である。図21の縦軸は判定用相関値CdAであり、横軸は判定用相関値CdBである。領域B5は、相関方向が斜めB方向と判定される領域であり、領域B6は、相関方向が斜めA方向と判定される領域である。また、領域B7は、いずれの方向にも相関がないと判定される領域であり、領域B8は、斜めA方向と斜めB方向の両方向について相関が高いと判定される領域である。
【0158】
第2相関判定回路342は、4つの判定用相関値Cv,Ch,CdA,CdBを比較する。そして、判定用相関値Cvあるいは判定用相関値Chの値が最も小さい場合には、図20の関係図を利用する。そして、判定用相関値の対応関係がA5〜A8のいずれの領域に該当するかによって相関方向を決定する。これに対して、判定用相関値CdAあるいは判定用相関値CdBの値が最も小さい場合には、図21の関係図を利用する。そして、判定用相関値の対応関係がB5〜B8のいずれの領域に該当するかによって相関方向を決定する。
【0159】
相関方向が決定すると、後述するように、第2補間回路352において相関方向の画素を用いて画素補間処理が行われる。つまり、判定用相関値の対応関係が領域A5にあれば水平方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域A6にあれば垂直方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B5にあれば斜めB方向の画素を用いて画素補間を行い、判定用相関値の対応関係が領域B6にあれば斜めA方向の画素を用いて画素補間を行う。また、判定用相関値の対応関係がA7またはB7の領域にあれば、たとえばメディアン補間を行い、対応関係がA8またはB8の領域にあれば平均値補間を行う。
【0160】
このように、第1相関判定回路341と第2相関判定回路342は、それぞれ図18〜図21で示す判定用相関値の対応関係を利用して相関方向を決定する。この結果、第1相関判定回路341は、注目画素における周辺画素との相関関係をより高く評価して相関方向を判定することになる。つまり、相関方向の画素を積極的に利用して補間を行う。一方、第2相関判定回路342は、第1相関判定回路341に比べると注目画素における周辺画素との相関関係を低く評価して相関方向を決定することになる。言い換えると、第2補間回路352は、積極的に、メディアン補間や平均値補間を採用する補間回路である。
【0161】
たとえば、第1相関判定回路341は、判定用相関値Chが判定用相関値Cvよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して水平方向の相関が高いと判定する。これに対して、第2相関判定回路342は、判定用相関値Chが、判定用相関値Cvよりも十分小さい値をとる関係にある場合に、水平方向の相関が高いと判定する。
【0162】
あるいは、第1相関判定回路341は、判定用相関値CdBが判定用相関値CdAよりも少し小さい値をとる関係にある場合には、その関係を積極的に採用して斜めB方向の相関が高いと判定する。これに対して、第2相関判定回路342は、判定用相関値CdBが、判定用相関値CdAよりも十分小さい値をとる関係にある場合に、斜めB方向の相関が高いと判定する。
【0163】
<7.画素補間処理>
第1補間回路351および第2補間回路352において実行される画素補間処理について説明する。第1補間回路351および第2補間回路352は、上述したように、第1相関判定回路341・第2相関判定回路342において決定された相関方向について画素補間処理を行う。そして、第1補間回路351および第2補間回路352は、選択回路33から出力された選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行する。つまり、選択回路33において、上記(c)のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記(a)あるいは(b)のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する(<5.相関判定方法と画素補間方法の選択>の項を参照)。
【0164】
(7−1)グレー画像用画素補間
選択回路33において上記(c)のパターンが選択されている場合には、第1相関判定回路341・第2相関判定回路342において決定された相関方向について、グレー画像用の画素補間処理が実行される。グレー画像用の画素補間は注目画素がRGBいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がRGBいずれの画素であるか、注目画素の周辺の画素がRGBいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。
【0165】
具体的には、垂直方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域A2に属する判定された場合、第1補間回路351は、数(39)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域A6に属すると判定された場合、第2補間回路352は、数(39)式に示す演算式により画素補間処理を実行する。
【0166】
【数39】
【0167】
また、水平方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域A1に属する判定された場合、第1補間回路351は、数(40)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域A5に属すると判定された場合、第2補間回路352は、数(40)式に示す演算式により画素補間処理を実行する。
【0168】
【数40】
【0169】
また、斜めA方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域B2に属する判定された場合、第1補間回路351は、数(41)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域B6に属すると判定された場合、第2補間回路352は、数(41)式に示す演算式により画素補間処理を実行する。
【0170】
【数41】
【0171】
また、斜めB方向の相関値が高いと判定されている場合、つまり、第1相関判定回路341において相関方向が領域B1に属する判定された場合、第1補間回路351は、数(42)式に示す演算式により画素補間処理を実行する。あるいは、第2相関判定回路342において、相関方向が領域B5に属すると判定された場合、第2補間回路352は、数(42)式に示す演算式により画素補間処理を実行する。
【0172】
【数42】
【0173】
なお、数(39)式から数(42)式においては、P22の項に係数2が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、いずれの方向にも相関が高いと判定されている場合(領域A4,B4,A8,B8と判定された場合)、たとえば、平均値補間値を行う。また、いずれの方向にも相関がないと判断された場合(領域A3,B3,A7,B7と判定された場合)には、たとえばメディアン補間を用いる。
【0174】
(7−2)カラー画像用画素補間
選択回路33において、上記(a)あるいは(b)のパターンが選択されている場合には、第1補間回路351・第2補間回路352は、第1相関判定回路341・第2相関判定回路342において決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がRGBいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、第1相関判定回路341・第2相関判定回路342において決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。
【0175】
たとえば、注目画素がG画素である場合であって、垂直方向の相関が高いと判定されている場合(領域A2,A6と判定された場合)には、垂直方向に存在するR画素及びB画素を用いて注目画素のそれぞれR色成分及びB色成分を補間する。また、注目画素がG画素である場合であって、水平方向の相関が高いと判定されている場合(領域A1,A5と判定された場合)には、水平方向に存在するB画素及びR画素を用いて注目画素のそれぞれB色成分及びR色成分を補間する。
【0176】
あるいは、注目画素がG画素である場合であって、斜めA方向の相関が高いと判定されている場合(領域B2,B6と判定された場合)には、斜めA方向に存在するR画素及びB画素を用いて注目画素のそれぞれR色成分及びB色成分を補間する。また、注目画素がG画素である場合であって、斜めB方向の相関が高いと判定されている場合(領域B1,B5と判定された場合)には、斜めB方向に存在するB画素及びR画素を用いて注目画素のそれぞれB色成分及びR色成分を補間する。
【0177】
なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率(ラプラシアン)から補間対象となる画素の画素値を推測するなどの方法をとればよい。
【0178】
このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。
【0179】
<8.色空間変換処理>
第1補間回路351は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第1色空間変換回路361に出力する。つまり、第1色空間変換回路361が入力する信号は、各画素がRGB全ての色成分の信号を備えている。また、第2補間回路352は、各画素について画素補間処理を実行すると、補間された完全な画素信号を第2色空間変換回路362に出力する。つまり、第2色空間変換回路362が入力する信号は、各画素がRGB全ての色成分の信号を備えている。
【0180】
そして、第1色空間変換回路361は、各画素について、RGBの画素信号から輝度信号(Y信号)を生成する。一方、第2色空間変換回路362は、各画素について、RGBの画素信号から色差信号(Cb、Cr信号)を生成する。このようにして、撮像素子1から出力されたベイヤ配列のRGB信号は、輝度信号(Y信号)および色差信号(Cb、Cr信号)に変換されるのである。
【0181】
第1色空間変換回路361から出力された輝度信号は、第1補間回路351において補間されたRGB信号から生成される信号である。第1補間回路351において補間されたRGB信号は、相関関係を高く評価することで画素補間された信号であり、解像度を高く保った信号である。これにより、生成されるYUV信号の解像感を高く維持することが可能である。
【0182】
一方、第2色空間変換回路362から出力された色差信号は、第2補間回路352において補間されたRGB信号から生成される信号である。第2補間回路352において補間されたRGB信号は、相関関係を比較的低く評価することで画素補間された信号であり、ノイズが抑圧された信号である。言い換えると、LPF(Law Pass Filter)が適用された状態の信号である。これにより、撮像素子1からノイズの多いRAW画像が出力された場合であっても、生成されるYUV信号のノイズを抑圧することができる。
【0183】
第1色空間変換回路361から出力された輝度信号(Y信号)と、第2色空間変換回路362から出力された色差信号(Cb,Cr信号)は、拡大回路37に入力される。
【0184】
<9.拡大処理>
拡大回路37は、撮像画像のサイズを拡大する処理を実行する。拡大率は適宜設定可能であるが、ここでは、拡大回路37は、入力画像を水平方向に2倍、垂直方向に2倍、それぞれ拡大する場合を例に説明する。
【0185】
図22は、拡大後の画素配列を示す図である。図において、砂地の画素は、拡大処理前から存在した画素であり、白抜きの画素は、拡大処理によって生成された画素、つまり拡大補間された画素を示している。図22の例であれば、P00,P02,P04・・・などが拡大処理前から存在した画素であり、P01,P03・・・などが拡大処理によって生成された画素である。
【0186】
拡大回路37は、数(43)式に示す演算を行い、バイリニア補間により画素信号の拡大補間を行う。
【0187】
【数43】
【0188】
この実施の形態においては、拡大回路37は、相関方向を考慮することなく、バイリニア補間により画像拡大を行っているが、他にも、Bスプライン補間やバイキュービック補間などを利用してもよい。
【0189】
<10.相関方向の補間処理>
次に、相関方向補間回路38において実行される相関方向の補間処理について説明する。相関方向補間回路38は、第1相関判定回路341で決定された相関方向を入力する。第1相関判定回路341で決定された相関方向は、拡大回路37において拡大処理される前から存在する画素について決定されたものである。つまり、図22において砂地の画素については、相関方向が対応付けられているが、拡大処理で生成された画素(白抜きの画素)については、相関方向が対応付けられていない。そこで、相関方向補間回路38は、以下に説明するアルゴリズムにより、拡大処理により生成された画素信号に対して相関方向を補間するのである。
【0190】
図23は、初期状態(つまり相関方向の補間を行う前の状態)において、5×5の画素配列パターンを示している。初期状態においては、注目画素周辺の画素配列パターンは、図23におけるパターンT1〜T4のいずれかに該当することになる。図23においても、砂地の画素は拡大処理前から存在する画素を示し、白抜きの画素は拡大処理により生成された画素を示している。
【0191】
パターンT4では、注目画素(中心画素)の相関方向が決定済みである。したがって、以下、パターンT1〜T3において注目画素の相関方向を補間する。相関方向の補間処理は、ステップ1とステップ2から構成される。
【0192】
以下の説明で参照する図24〜図33には、画素に網掛けがされている。この網掛けされた画素は、相関方向が対応付けられている画素を示す。相関値が対応付けられている画素とは、第1には、拡大処理前から存在する画素であり、第1相関判定回路341において相関方向が決定された画素である。第2には、拡大処理によって生成された画素であり、相関方向補間回路38によって相関方向が補間された画素である。したがって、相関方向を補間する前の状態では、図22、図23で示した砂地の画素と一致することになる。
【0193】
本実施の形態においては、相関方向補間回路38は、第1相関判定回路341において決定された相関方向を補間用に利用している。つまり、相関関係を積極的に採用することで決定された相関方向を用いている。ただし、第2相関判定回路342で決定された相関方向を補間用に利用してもよい。
【0194】
また、図24〜図33において、V,H,DA,DB,M,Sの記号は、第1相関判定回路341において決定された相関方向、あるいは補間により決定された相関方向を示している。Vは垂直方向、Hは水平方向、DAは斜めA方向、DBは斜めB方向を示している。Mは全ての方向にも相関がある画素を示す記号であり、Sは全ての方向に相関がない孤立点の画素を示す記号である。また、図面では一部を除いて図示省略しているが、相関方向が決定していない画素を適宜Nの記号を用いて示す。図24〜図33において、相関方向を補間する対象画像(注目画素)を太枠の円で描いている。
【0195】
<10−1.ステップ1>
図24は、パターンT1において、注目画素の周辺の4画素が全て同じ相関方向を示している場合を示している。この場合、図24(a)、図24(b)、図24(c)、図24(d)の注目画素には、相関方向としてそれぞれ垂直方向(V)、水平方向(H)、斜めA方向(DA)、斜めB方向(DB)が補間される。また、図24(e)、図24(f)の注目画素には、それぞれ全方向相関(M)と相関方向なし(S)が対応付けられる。
【0196】
図25は、パターンT1において、注目画素の周辺の2画素が同じ相関方向を示している場合を示している。この場合、図25(a)、図25(b)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)、斜めB方向(DB)が補間される。ただし、図25(c)のように、斜めA方向と斜めB方向の相関方向が交錯している場合には、注目画素の相関方向は決定せず、未決定(N)のままにしておく。
【0197】
図26は、パターンT1において、注目画素の周辺の3画素が同じ相関方向を示している場合を示している。この場合、図26(a)、図26(b)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)が補間される。図26(c)、図26(d)の注目画素には、相関方向としてそれぞれ斜めB方向(DB)が補間される。
【0198】
図27は、パターンT2,T3において、注目画素の周辺の複数の画素が同じ相関方向を示している場合を示している。具体的には、ある画素の相関方向が示す方向に同じ相関方向を持つ画素が存在するようなパターンである。
【0199】
この場合、図27(a)、図27(c)、図27(d)の注目画素には、相関方向としてそれぞれ垂直方向(V)が補間される。図27(b)、図27(e)、図27(f)の注目画素には、相関方向としてそれぞれ水平方向(H)が補間される。
【0200】
相関方向補間回路38は、図24、図25、図26、図27で示した相関方向の決定方法を利用してステップ1を実行する。ステップ1では、第1相関判定回路341において決定された相関方向のみを利用して相関方向の補間が行われる。
【0201】
<10−2.ステップ2>
続いて、ステップ2を説明する。ステップ2では、第1相関判定回路341において決定された相関方向に加えて、ステップ1で補間された相関方向も利用して相関方向の補間を行う。
【0202】
図28は、注目画素の上下、左右の周辺4画素が同じ相関方向を示している場合を示している。図28においてXは、V,H,DA,DB,M,Sのいずれかを示している。この場合、注目画素には、相関方向として周辺4画素と同じ相関方向が補間される。
【0203】
図29は、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図29(a)、図29(b)、図29(c)、図29(d)、図29(e)、図29(f)、図29(g)、図29(h)、図29(i)、図29(j)の注目画素には、相関方向としてそれぞれ垂直方向(V)が補間される。
【0204】
図30についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図30(a)、図30(b)、図30(c)、図30(d)、図30(e)、図30(f)、図30(g)、図30(h)、図30(i)、図30(j)の注目画素には、相関方向としてそれぞれ水平方向(H)が補間される。
【0205】
図31についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図31(a)、図31(b)、図31(c)、図31(d)、図31(e)、図31(f)の注目画素には、相関方向としてそれぞれ斜めA方向(DA)が補間される。
【0206】
図32についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図32(a)、図32(b)、図32(c)、図32(d)、図32(e)、図32(f)の注目画素には、相関方向としてそれぞれ斜めB方向(DB)が補間される。
【0207】
図33についても、注目画素の近接領域の複数の画素が同じ相関方向を示している場合を示している。図33(a)、図33(b)、図33(c)、図33(d)の注目画素には、相関方向としてそれぞれ全方向相関(M)が対応付けられる。
【0208】
<10−3.最終決定ステップ>
上述したステップ1、ステップ2を実行することにより、相関方向が補間される。ステップ2が終了した時点で、図34に示すように、相関方向が決定されなかった未定画素(N)の個数を計算する。さらに、ステップ2を繰り返し実行する。そして、相関方向が決定されなかった未定画素(N)の個数が収束した時点で、相関方向の補間処理を終了するのである。最終的に、相関方向が決定されなかった未定画素(N)については、未定画素(N)であることを示す情報を保持しておく。
【0209】
なお、この実施の形態においては、未定画素(N)の個数が収束することを、補間処理の終了条件としているが、未定画素(N)の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像(N)の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。
【0210】
<11.フィルタ処理>
相関方向補間回路38において拡大された画素における相関方向が決定すると、相関方向補間回路38は、フィルタ39に対して全画素の相関方向の情報を出力する。つまり、拡大画像の全画素には、V,H,DA,DB,M,S,Nのいずれかの情報が対応付けられている。
【0211】
また、フィルタ39は、選択回路33から各画素について選択された判定用相関値Cv,Ch,CdA,CdBを入力する。ただし、拡大補間された画素については、判定用相関値Cv,Ch,CdA,CdBは、存在しないので、周辺の画素の判定用相関値をリニア補間することで取得する。あるいは、判定用相関値を別のアルゴリズムにより補間してもよい。
【0212】
フィルタ39は、処理対象となる注目画素の4方向の判定用相関値、および、相関方向補間回路38から入力した相関方向に応じてフィルタ係数を決定し、フィルタ係数を各タップに設定する。フィルタ39は、単一のフィルタ回路で構成されており、フィルタ係数をリアルタイムで書き換えることにより、異なる特性を有するフィルタとして、切り替えて動作する。
【0213】
また、以下で説明するフィルタリング処理は、Y,Cb,Crの各画素信号に対して共通に実行される処理である。
【0214】
(垂直方向のエッジ上に注目画素があると判定される場合)
注目画素についての相関方向が垂直方向(V)であり、かつ、他の方向についての相関が小さい場合、注目画素は、垂直方向のエッジ上の画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、水平方向、斜めA方向、斜めB方向についての相関値(Ch,CdA,CdB)が所定の閾値よりも大きい場合である。つまり、垂直方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、垂直方向のエッジ上に存在すると判定される。たとえば注目画素が、垂直方向のラインの境界上にある場合などが想定される。
【0215】
この場合、注目画素については、図35に示すように、垂直方向の3画素を用いてノイズ除去処理を行う。つまり、フィルタ39は、数(44)式で示されるフィルタリング処理を実行する。
【0216】
【数44】
【0217】
さらに、フィルタ39は、数(45)式で示されるエッジ強調処理を実行する。数(45)式中、(P21+P23−2*P22)はラプラシアン成分であり、この成分を原信号から減算することによりエッジ成分が強調されるのである。また、数(45)式中、kは0以上1以下の実数であり、エッジ強調の度合いを調整する係数である。係数kが大きい方が、よりエッジ成分が強調される。
【0218】
【数45】
【0219】
フィルタ39は、数(44)式および数(45)式で示される2種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数(46)式で示されるパターンと、数(47)式で示されるパターンが考えられる。
【0220】
【数46】
【0221】
数(46)式では、垂直方向の1ラインについて、ノイズ除去処理を行った後、水平方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「2*P22」の値を減算するようにしているが、「2*Q22」を減算するようにしてもよい。
【0222】
【数47】
【0223】
数(47)式では、垂直方向の3ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、水平方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0224】
このように注目画素が垂直方向のエッジ上の画素であると判定された場合には、垂直方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、エッジ強調処理を行うので、より鮮明な画像を得ることが可能である。
【0225】
また、水平方向のエッジ上に注目画素があると判定される場合の処理も同様である。水平方向の1ラインあるいは3ラインについて、水平方向の画素を用いてノイズ除去処理を実行した後、垂直方向の画素を用いてエッジ強調処理を行うようにすればよい。
【0226】
(斜めA方向のエッジ上に注目画素があると判定される場合)
注目画素についての相関方向が斜めA方向(DA)であり、かつ、他の方向について相関が小さい場合、注目画素は、斜めA方向のエッジ上に画素であると判定される。注目画素について、他の方向の相関が小さい場合とは、垂直方向、水平方向、斜めB方向についての相関値(Cv,Ch,CdB)が所定の閾値よりも大きい場合である。つまり、斜めA方向については、相関が高く、その他の方向については相関が小さい場合、注目画素は、斜めA方向のエッジ上に存在すると判定される。たとえば、注目画素が斜めA方向のラインの境界上にある場合などが想定される。
【0227】
この場合、注目画素については、図36に示すように、斜めA方向の3画素を用いてノイズ除去処理を行う。つまり、フィルタ39は、数(48)式で示されるフィルタリング処理を実行する。
【0228】
【数48】
【0229】
さらに、フィルタ39は、数(49)式で示されるエッジ強調処理を実行する。数(49)式中、(P13+P31−2*P22)はラプラシアン成分である。また、数(49)式中、kは0以上1以下の実数であり、エッジ強調の度合いを調整する係数である。
【0230】
【数49】
【0231】
フィルタ39は、数(48)式および数(49)式で示される2種類のフィルタリング処理を実行するが、その組み合わせとしては、たとえば数(50)式で示されるパターンと、数(51)式で示されるパターンと、数(52)式で示されるパターンが考えられる。
【0232】
【数50】
【0233】
数(50)式では、斜めA方向の1ラインについて、ノイズ除去処理を行った後、斜めB方向についてエッジ強調処理を実行する。ここで、ラプラシアン成分中、「2*P22」の値を減算するようにしているが、「2*Q22」を減算するようにしてもよい。
【0234】
【数51】
【0235】
数(51)式では、斜めA方向の3ラインについて、ノイズ除去処理を行う。つまり、エッジと判定されたラインに近接するラインについてもノイズ除去処理を行う。そして、斜めB方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0236】
【数52】
【0237】
数(52)式においても、斜めA方向の3ラインについて、ノイズ除去処理を行う。ただし、数(52)式で示すフィルタは、数(51)式で示すフィルタに比べて、注目画素から少し離れた画素を利用している。そして、斜めB方向についてエッジ強調処理を行うのである。ここで、ラプラシアン成分中、「2*Q22」の値を減算するようにしているが、「2*P22」を減算するようにしてもよい。
【0238】
このように注目画素が斜めA方向のエッジ上の画素であると判定された場合には、斜めA方向のライン上の点を用いてノイズ除去処理を行うので、エッジ領域に対して適切な画素を用いてノイズ除去することができる。そして、適切な画素を用いてノイズ除去した上で、斜めB方向の画素を用いてエッジ強調処理を行うので、より鮮明な画像を得ることが可能である。
【0239】
また、斜めB方向のエッジ上に注目画素があると判定される場合の処理も同様である。斜めB方向の1ラインあるいは3ラインについて、斜めB方向の画素を用いたノイズ除去処理を実行した後、斜めA方向の画素を用いてエッジ強調処理を行うようにすればよい。
【0240】
(注目画素が相関方向が決定しない未定画素(N)である場合)
相関方向補間回路38において相関方向が決定しなかった未定画素(N)については、数(53)式に示すようなフィルタを実行する。つまり、8方向のラプラシアン成分Lapを算出し、元の画素値からラプラシアン成分を減算する。数(53)式中、kは正の係数である。
【0241】
【数53】
【0242】
あるいは、相関方向が決定しなかった未定画素(N)については、数(54)式に示すようなフィルタを実行する。数(54)式中のラプラシアン成分Lapは、より広い領域の画素を利用して算出されている。
【0243】
【数54】
【0244】
以上、説明したように、本実施の形態の画像処理回路3は、画素補間処理のために決定した相関方向を、拡大した画素にまで補間するようにしている。したがって、拡大画像に対してフィルタ処理を行う場合に、拡大処理により生成された画素についても、適切なフィルタ処理を施すことが可能である。
【0245】
{第2の実施の形態}
次に、本発明の第2の実施の形態について説明する。第2の実施の形態においては、第1の実施の形態と相関方向の補間処理方法が異なる。
【0246】
図37は、第2の実施の形態に係る相関方向の補間処理フローチャートである。ステップAから順にステップFまでの相関方向の決定ステップを実行した後、最後に、未定画素(N)の個数をチェックする。未定画素(N)の個数が収束していれば、処理を終了し、未定画素(N)の個数が収束していない場合は、さらに、ステップAからステップFまでのステップを繰り返す。
【0247】
図34で示した第1の実施の形態では、ステップ1が終了した後、ステップ1で補間された相関方向をも利用してステップ2を実行した。これに対して、第2の実施の形態においては、ステップAからステップFまでの1つの処理セットを実行する間は、上位のステップで補間された相関方向を下位のステップで利用することはない。ある処理セットで補間された相関方向は、次の処理セットで利用される。
【0248】
<ステップA>
ステップAは、第1の実施の形態における図24で示した決定方法と同じである。周辺4画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺4画素の相関方向と同じ相関方向を補間する。
【0249】
<ステップB>
ステップBは、第1の実施の形態における図28で示した決定方法と同じである。上下左右の周辺4画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺4画素の相関方向と同じ相関方向を補間する。
【0250】
<ステップC>
ステップCは、第1の実施の形態における図25、図26、図27で示した決定方法と同じである。周辺の複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。
【0251】
<ステップD>
ステップDは、第1の実施の形態における図29、図30、図31、図32、図33で示した決定方法と同じである。周辺の隣接する複数の画素に同じ相関方向が対応付けられている場合に、注目画素についても周辺の画素の相関方向と同じ相関方向を補間する。
【0252】
<ステップE>
ステップEは、第1の実施の形態では用いられなかった決定方法である。ステップEの決定方法を図38に示す。図38(a)、図38(b)に示すように上下の一方のみに連続して垂直方向の相関方向が対応付けられている画素が存在する場合、注目画素についても垂直方向(V)を補間する。図38(c)、図38(d)に示すように左右の一方のみに、連続して水平方向の相関方向が対応付けられている画素が存在する場合、注目画素についても水平方向(H)を補間する。図38(e)、図38(f)に示すように斜めA方向の一方のみに、連続して斜めA方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めA方向(DA)を補間する。図38(g)、図38(h)に示すように斜めB方向の一方のみに、連続して斜めB方向の相関方向が対応付けられている画素が存在する場合、注目画素についても斜めB方向(DB)を補間する。
【0253】
このように、ステップEについては、上下の一方や左右の一方など、注目画素の周辺領域の一部の領域の状況に基づいて相関方向を補間する。したがって、ステップEについては、第1の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。
【0254】
<ステップF>
ステップFは、第1の実施の形態では用いられなかった決定方法である。ステップFの決定方法を図39に示す。図39(a)、図39(b)、図39(c)、図39(d)に示すように、左右方向、上下方向、斜めA方向、斜めB方向のいずれかについて注目画素を挟む2つの画素の相関方向が同じ場合には、注目画素についても両側と同じ相関方向を補間する。
【0255】
図39(e)、図39(f)、図39(g)、図39(h)に示すように、注目画素を含む隣接する2×2の画素領域に注目した場合、残る3つの画素の相関方向が同じであれば、注目画素についても同じ相関方向を補間する。
【0256】
図39(i)、図39(j)、図39(k)、図39(l)に示すように、上下方向あるいは左右方向に連続する3つの画素の相関方向が同じ場合、注目画素についても同じ相関方向を補間する。
【0257】
図39(a)〜図39(l)の12のパターンについては、いずれも網掛けされた画素の相関方向が同じであればよく、相関方向の種別は問わない。このように、ステップEについても、第1の実施の形態に比べると、緩い評価方法で注目画素の相関方向を補間する。
【0258】
<最終ステップ>
ステップA〜ステップFまでの1セットの相関方向の決定処理を終えると、未定画素(N)の個数をチェックする。そして、未定画素(N)の個数が収束していない場合には、ステップAに戻り、次の1セットの相関方向の決定処理を行う。このときには、前回までに補間された相関方向も利用してステップA〜ステップFを実行する。未定画素(N)の個数が収束した場合には処理を終了する。
【0259】
なお、この実施の形態においても、未定画素(N)の個数が収束することを、補間処理の終了条件としているが、未定画素(N)の個数が所定の閾値を下回った場合を終了条件としてもよい。あるいは、未定画像(N)の全画素に対する割合が所定の閾値を下回った場合を終了条件としてもよい。
【0260】
以上の処理により相関方向の補間処理が行われると、第1の実施の形態と同様、フィルタ39において相関方向を考慮したフィルタ処理が実行される。第2の実施の形態の相関方向の補間処理は、比較的緩い評価で相関方向を補間する。したがって、未定画素(N)をなるべく発生させないようコントロールする方法であると言える。
【0261】
また、第2の実施の形態においては、ステップAからステップFまでの1セットの処理を終えるまで上位のステップで補間された相関方向を利用せずに下位のステップを実行する。たとえば第1回目の処理セットであれば、第1相関判定回路341で決定された相関方向だけを用いて相関方向の補間を行うことになる。これにより、特に第1回目のセットでは、正確性の高い相関方向を用いて補間を行うことができる。ただし、未定画素(N)の減少速度を速めるためには、第2の実施の形態においても、上位のステップで補間された相関方向を利用して、下位のステップを実行するようにしてもよい。
【0262】
{第3の実施の形態}
次に、本発明の第3の実施の形態について説明する。図40は、第3の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3とは、フィルタの構成が異なる。
【0263】
図に示すように、フィルタ391には、拡大回路37から出力された輝度信号(Y信号)だけが入力される。フィルタ391は、相関方向補間回路38から入力した相関方向と、選択回路33から入力した4方向の相関値に基づき、輝度信号に対してフィルタ処理を実行する。フィルタ処理の内容は第1の実施の形態と同様であり、輝度信号はノイズ除去処理を施された上でエッジ強調される。
【0264】
このように、第3の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対してのみ、相関方向を考慮したフィルタリングを実行する。第1の実施の形態と比べてフィルタの回路規模を小さくすることができる。
【0265】
{第4の実施の形態}
次に、本発明の第4の実施の形態について説明する。図41は、第4の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3とは、フィルタの構成が異なる。
【0266】
図に示すように、フィルタ391には、拡大回路37から出力された輝度信号(Y信号)だけが入力される。フィルタ391の処理内容は第3の実施の形態と同様である。
【0267】
色ノイズ除去フィルタ392には、拡大回路37から出力された色差信号(Cr信号、Cb信号)が入力される。色ノイズ除去フィルタ392は、相関方向補間回路38が入力した相関方向を考慮して色差成分中のノイズ除去処理を実行する。
【0268】
このように、第4の実施の形態においては、画像の鮮明度に影響力の強い輝度信号に対して、相関方向を考慮したエッジ強調処理を実行し、さらに、色差成分に対しては相関方向を考慮したノイズ除去フィルタを実行する。これにより、画像の鮮明度を向上させるとともに、色ノイズを抑圧することもできる。
【0269】
{第5の実施の形態}
上記第1および第2の実施の形態においては、相関方向補間回路38は、全方向相関(M)と相関方向なし(S)についても区別して処理した。第5の実施の形態においては、全方向相関(M)と相関方向なし(S)を区別せず、同一の相関種別として扱う。これにより、処理の簡略化を行うことができ、処理速度の向上と回路規模の縮小を図ることができる。
【0270】
{第6の実施の形態}
次に、本発明の第6の実施の形態について説明する。図42は、第6の実施の形態に係る画像処理回路3の一部を示すブロック図である。図1で示した画像処理回路3と異なる点は、フィルタ39の後段に縮小回路310が設けられている点である。
【0271】
縮小回路390は、フィルタ39においてフィルタリング処理された後の拡大画像を縮小する。たとえば、拡大回路37において2倍拡大されていた画像を1/2に縮小し、元の画像と同じサイズの画像を生成する。画像のサイズは拡大した後に縮小されることになるが、この間、拡大補間された相関方向を利用したフィルタリング処理が施されている。これにより、元のRGB画像に比べて、より良好な画質の画像を得ることができる。
【図面の簡単な説明】
【0272】
【図1】本実施の形態にかかるデジタルカメラを示すブロック図である。
【図2】RGBベイヤ配列の画素の配列パターンを示す図である。
【図3】彩度値と彩度係数との関係を示す図である。
【図4】4つの相関方向を示す図である。
【図5】注目画素がG画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図6】注目画素がG画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図7】注目画素がG画素であるカラー領域における斜めA方向の相関値算出方法を示す図である。
【図8】注目画素がG画素であるカラー領域における斜めB方向の相関値算出方法を示す図である。
【図9】注目画素がRまたはB画素であるカラー領域における垂直方向の相関値算出方法を示す図である。
【図10】注目画素がRまたはB画素であるカラー領域における水平方向の相関値算出方法を示す図である。
【図11】注目画素がRまたはB画素であるカラー領域における斜めA方向の相関値算出方法を示す図である。
【図12】注目画素がRまたはB画素であるカラー領域における斜めB方向の相関値算出方法を示す図である。
【図13】グレー領域における垂直方向の相関値算出方法を示す図である。
【図14】グレー領域における水平方向の相関値算出方法を示す図である。
【図15】グレー領域における斜めA方向の相関値算出方法を示す図である。
【図16】グレー領域における斜めB方向の相関値算出方法を示す図である。
【図17】相関判定方法および画素補間方法の判定基準を示す図である。
【図18】垂直方向・水平方向に関して相関関係を高く評価する対応関係を示す図である。
【図19】斜めA方向・斜めB方向に関して相関関係を高く評価する対応関係を示す図である。
【図20】垂直方向・水平方向に関して相関関係を低く評価する対応関係を示す図である。
【図21】斜めA方向・斜めB方向に関して相関関係を低く評価する対応関係を示す図である。
【図22】拡大された画素信号の配列を示す図である。
【図23】拡大された画素信号の4つの配列パターンを示す図である。
【図24】ステップ1における相関方向の補間方法を示す図である。
【図25】ステップ1における相関方向の補間方法を示す図である。
【図26】ステップ1における相関方向の補間方法を示す図である。
【図27】ステップ1における相関方向の補間方法を示す図である。
【図28】ステップ2における相関方向の補間方法を示す図である。
【図29】ステップ2における相関方向の補間方法を示す図である。
【図30】ステップ2における相関方向の補間方法を示す図である。
【図31】ステップ2における相関方向の補間方法を示す図である。
【図32】ステップ2における相関方向の補間方法を示す図である。
【図33】ステップ2における相関方向の補間方法を示す図である。
【図34】第1の実施の形態に係る相関方向の補間フローチャートを示す図である。
【図35】フィルタ処理の対象画素を示す図である。
【図36】フィルタ処理の対象画素を示す図である。
【図37】第2の実施の形態に係る相関方向の補間フローチャートを示す図である。
【図38】ステップEにおける相関方向の補間方法を示す図である。
【図39】ステップFにおける相関方向の補間方法を示す図である。
【図40】第3の実施の形態に係る画像処理回路のブロック図である。
【図41】第4の実施の形態に係る画像処理回路のブロック図である。
【図42】第6の実施の形態に係る画像処理回路のブロック図である。
【符号の説明】
【0273】
31 彩度値算出回路
32 相関値算出回路
33 選択回路
341 第1相関判定回路
342 第2相関判定回路
351 第1補間回路
352 第2補間回路
361 第1色空間回路
362 第2色空間回路
37 拡大回路
38 相関方向補間回路
39 フィルタ
【特許請求の範囲】
【請求項1】
a)1画素につき1色の成分を持つ所定の色空間の画素信号を入力する入力工程と、
b)各画素の相関方向を求める相関方向算出工程と、
c)各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、
d)画素信号を拡大補間し拡大画像を生成する画像拡大工程と、
e)拡大補間により生成された各画素に対して、前記相関方向算出工程b)で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、
f)前記画像拡大工程d)の前から存在する画素については前記相関方向算出工程b)で求められた相関方向を考慮して、あるいは前記画像拡大工程d)で生成された画素については前記相関方向補間工程e)で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、
を備えることを特徴とする画像拡大方法。
【請求項2】
請求項1に記載の画像拡大方法において、
前記相関方向補間工程e)は、
e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、
e−2)前記第1工程e−1)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第2工程と、
を含み、
前記第2工程e−2)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)を繰り返し実行することを特徴とする画像拡大方法。
【請求項3】
請求項1に記載の画像拡大方法において、
前記相関方向補間工程e)は、
e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第1ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、
e−2)前記第1工程e−1)において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第1工程e−1)で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第2ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第2工程と、
e−3)前記第1工程e−1)および前記第2工程e−2)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第3工程と、
を含み、
前記第3工程e−3)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)および前記第2工程e−2)を繰り返し実行することを特徴とする画像拡大方法。
【請求項4】
請求項1ないし請求項3のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、
相関方向に沿う方向についてノイズ除去処理を実行する工程と、
相関方向と直交する方向についてエッジ強調処理を実行する工程と、
を含むことを特徴とする画像拡大方法。
【請求項5】
請求項1ないし請求項4のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする画像拡大方法。
【請求項6】
請求項1ないし請求項4のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする画像拡大方法。
【請求項7】
請求項1ないし請求項6のいずれかに記載の画像拡大方法において、
前記画像拡大工程d)において、画像が水平方向、垂直方向にそれぞれ2倍に拡大され、前記相関方向補間工程e)において、前記相関方向算出工程b)において求められた相関方向が水平方向、垂直方向にそれぞれ2倍に拡大補間されることを特徴とする画像拡大方法。
【請求項8】
請求項1ないし請求項7のいずれかに記載の画像拡大方法において、さらに、
g)前記フィルタリング工程f)においてフィルタリング処理された拡大画像を縮小する画像縮小工程、
を備えることを特徴とする画像拡大方法。
【請求項1】
a)1画素につき1色の成分を持つ所定の色空間の画素信号を入力する入力工程と、
b)各画素の相関方向を求める相関方向算出工程と、
c)各画素について、相関方向に関わる画素を用いて、前記所定の色空間の他の色成分の信号を補間する色成分補間工程と、
d)画素信号を拡大補間し拡大画像を生成する画像拡大工程と、
e)拡大補間により生成された各画素に対して、前記相関方向算出工程b)で求められた相関方向を利用して相関方向を補間する相関方向補間工程と、
f)前記画像拡大工程d)の前から存在する画素については前記相関方向算出工程b)で求められた相関方向を考慮して、あるいは前記画像拡大工程d)で生成された画素については前記相関方向補間工程e)で補間された相関方向を考慮してフィルタリング処理を実行するフィルタリング工程と、
を備えることを特徴とする画像拡大方法。
【請求項2】
請求項1に記載の画像拡大方法において、
前記相関方向補間工程e)は、
e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が所定のルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、
e−2)前記第1工程e−1)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第2工程と、
を含み、
前記第2工程e−2)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)を繰り返し実行することを特徴とする画像拡大方法。
【請求項3】
請求項1に記載の画像拡大方法において、
前記相関方向補間工程e)は、
e−1)前記画像拡大工程d)により生成された画素の中から対象画像を特定し、前記対象画像の周辺画素のうち、同じ相関方向が対応付けられている画素の配置が第1ルールとマッチングする場合には、前記対象画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第1工程と、
e−2)前記第1工程e−1)において相関方向が対応付けられなかった画素の中から残存画素を特定し、前記第1工程e−1)で相関方向が対応付けられた画像を含め同じ相関方向が対応付けられている画素の配置が第2ルールとマッチングする場合には、前記残存画素の相関方向として周辺画素の相関方向と同じ相関方向を対応付ける第2工程と、
e−3)前記第1工程e−1)および前記第2工程e−2)により相関方向が決定されなかった画素の個数が所定の基準に満たすか否かを判定する第3工程と、
を含み、
前記第3工程e−3)において、所定の基準を満たすと判定されるまで、前記第1工程e−1)および前記第2工程e−2)を繰り返し実行することを特徴とする画像拡大方法。
【請求項4】
請求項1ないし請求項3のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、
相関方向に沿う方向についてノイズ除去処理を実行する工程と、
相関方向と直交する方向についてエッジ強調処理を実行する工程と、
を含むことを特徴とする画像拡大方法。
【請求項5】
請求項1ないし請求項4のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、拡大画像のうち輝度信号に対してのみフィルタリング処理を実行することを特徴とする画像拡大方法。
【請求項6】
請求項1ないし請求項4のいずれかに記載の画像拡大方法において、
前記フィルタリング工程f)は、拡大画像のうち色差信号に対してはノイズ除去処理を実行することを特徴とする画像拡大方法。
【請求項7】
請求項1ないし請求項6のいずれかに記載の画像拡大方法において、
前記画像拡大工程d)において、画像が水平方向、垂直方向にそれぞれ2倍に拡大され、前記相関方向補間工程e)において、前記相関方向算出工程b)において求められた相関方向が水平方向、垂直方向にそれぞれ2倍に拡大補間されることを特徴とする画像拡大方法。
【請求項8】
請求項1ないし請求項7のいずれかに記載の画像拡大方法において、さらに、
g)前記フィルタリング工程f)においてフィルタリング処理された拡大画像を縮小する画像縮小工程、
を備えることを特徴とする画像拡大方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【公開番号】特開2010−103736(P2010−103736A)
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2008−272927(P2008−272927)
【出願日】平成20年10月23日(2008.10.23)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
【公開日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願日】平成20年10月23日(2008.10.23)
【出願人】(591128453)株式会社メガチップス (322)
【Fターム(参考)】
[ Back to top ]