画像処理装置及び画像処理方法、画像処理プログラム
【課題】単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減すると共に、高品位なカラー画像を生成する。
【解決手段】色モザイク画像から低域周波数帯のGrL、GbL、RL、BL信号を生成する低域周波数画像生成手段11、中周波数帯のGrM、GbM信号を生成する中周波数画像生成手段12、BL及びRLの夫々からGrLとGbLとの平均値を減じて第一の色差UL及び第二の色差VLを生成する低周波数色差信号生成手段14、BL、GrL、GbL、RLの和を求めて輝度信号YLを生成する低周波数輝度信号生成手段15、GrMとGbMとの和により中周波数輝度信号YMを生成する中周波数輝度信号生成手段16、YLとYMとを合成して、輝度信号Yを生成する輝度合成手段18、YとUL及びVLとを用いて、画素毎のカラー情報を生成する色空間変換手段19、等を備える。
【解決手段】色モザイク画像から低域周波数帯のGrL、GbL、RL、BL信号を生成する低域周波数画像生成手段11、中周波数帯のGrM、GbM信号を生成する中周波数画像生成手段12、BL及びRLの夫々からGrLとGbLとの平均値を減じて第一の色差UL及び第二の色差VLを生成する低周波数色差信号生成手段14、BL、GrL、GbL、RLの和を求めて輝度信号YLを生成する低周波数輝度信号生成手段15、GrMとGbMとの和により中周波数輝度信号YMを生成する中周波数輝度信号生成手段16、YLとYMとを合成して、輝度信号Yを生成する輝度合成手段18、YとUL及びVLとを用いて、画素毎のカラー情報を生成する色空間変換手段19、等を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、固体撮像素子を用いたデジタル撮像装置の、画像処理装置及び画像処理方法、画像処理プログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラなどの撮像装置において、レンズを介して固体撮像素子に被写体像を結像して、この固体撮像素子(例えば、CCD:Charga Coupled DeviceやCMOS:Complementary Metal−Oxide Semiconductorである。以下、撮像素子という)によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。
【0003】
そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共にその前面にカラーフィルタを備え、このカラーフィルタを介して出力された各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。
【0004】
撮像素子を1つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤(R)、緑(G)、青(B)の色フィルタが設けられている。本願では、Rの色フィルタが設けられた画素をR画素(赤画素)、Gの色フィルタが設けられた画素をG画素(緑画素)、Bの色フィルタが設けられた画素をB画素(青画素)と称する。
【0005】
また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にRとGが交互に配置された行と水平方向にGとBが交互に配置された行とが垂直方向に交互に配列され、水平方向2画素×垂直方向2画素(2×2画素)を1単位(1ユニット)とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、2つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。本願では、水平方向において、Rの隣に位置するGをGr、Bの隣に位置するGをGbと称する。
【0006】
そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある。
【0007】
詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色(R)、緑色(G)、青色(B)の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がR、G、B成分のうちの何れかのみを有する色モザイク画像にもとづいて、デモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれR、G、B成分の全てを有するカラー画像を生成する処理(所謂、色補間処理である)である(例えば、特許文献1、2、3、4、5参照)。
【0008】
さらに、デモザイクの方法として、撮像信号から画素毎に輝度情報を備えた輝度画像信号を生成し、輝度画像信号を用いることによって画像信号の変化の様子を検出し、この検出結果をデモザイク画像に反映させることにより、解像度を高める画像処理方法が知られている(例えば、特許文献6参照)。
【0009】
また、一般に、高画質を目的として提案されている画像処理方法は、注目画素に隣接する隣接画素の振る舞い(画像信号の変化の様子)を判定することにより、水平方向及び垂直方向の相関度(類似度)を算出し、その算出結果に応じて、水平成分抽出フィルタ及び垂直成分抽出フィルタにより生成された信号成分を切り替えたり合成したりして色信号成分の補間を行っている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特表2004−534429号公報
【特許文献2】特開2000−270294号公報
【特許文献3】特開平9−84031号公報
【特許文献4】特開平10−108209号公報
【特許文献5】特開平11−275373号公報
【特許文献6】特開2000−87810号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
近年、静止画像の高解像度化やHD(High Definition)動画像の高精細化に伴って、画像処理に要する処理負荷が増大している。
即ち、前述のデモザイク処理をハードウェアで実現する際には、処理量の増加に応じて回路規模が増大し、コストUPにつながり生産性を損なうという問題がある。また、高精細なHD動画像を生成する際には、消費電力の増大が生じてバッテリ駆動時間が低下したり、発熱による温度上昇などが生じて信頼性が低下したりする虞があった。
【0012】
また、前述のデモザイク処理をDSP(Digital Signal Processor)でソフトウェアを用いて実現する際にも、演算量の増化に応じて、DSPに要求される処理能力が増加し、高精細なHD動画を扱う際に処理能力が不足する虞があった。
【0013】
そこで、本発明は、単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に、高品位なカラー画像を生成できる画像処理装置及び画像処理方法、画像処理プログラムを提供することを目的とする。さらには、デモザイク処理において、偽色やジッパーアーチファクトなどの画質劣化を低減できる画像処理装置及び画像処理方法、画像処理プログラムを提供する。
【課題を解決するための手段】
【0014】
かかる目的を達成するためになされた請求項1に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成手段と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段と、前記低域周波数画像生成手段を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、前記低域周波数画像生成手段で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、前記中周波数画像生成手段で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号Yを生成する輝度合成手段と、前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、を備えることを特徴とする。
【0015】
請求項1に記載の画像処理装置によれば、色モザイク画像から低域周波数帯のR、Gr、Gb、B信号を生成する低周波数画像生成手段、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段、低周波数帯のB信号及びR信号の夫々から低周波数帯GrとGbとの平均値を減じて第一の色差信号及び第二の色差信号を生成する低周波数色差信号生成手段、低周波数帯のR、Gr、Gb、Bの和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段、中周波数帯のGrとGbとの和により中周波数輝度信号を生成する中周波数輝度信号生成手段、低周波数輝度信号と中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手段、輝度合成手段で生成された輝度信号と低周波数色差信号生成手段で生成された輝度信号と第一色差信号及び第2色差信号とを用いて、画素毎のカラー情報を生成する色空間変換手段、等を備えることにより、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0016】
請求項1に記載の画像処理装置によれば、低周波数画像生成手段と中周波数画像生成手段においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においてはデモザイクの補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。また、低周波数輝度信号では、中周波数から高周波数の輝度変化成分による偽色が少なくて、色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、R信号及びB信号を用いていないので、色境界におけるアーチファクトが発生しないものとなる。
【0017】
さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理(加減算)で生成することができる。
【0018】
また、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。
【0019】
次に、請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、前記第二低周波数色差信号生成手段が、前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0020】
請求項2に記載の画像処理装置によれば、彩度を損なうことなく偽色を抑制できる。偽色と呼ばれる現象には2種類がある。ひとつは画像エッジ部分に現れる色フリンジ(色収差)であり、これは低周波フィルタにより除去される。もうひとつは細かい繰り返し模様に対し、高周波の折り返しモワレ(干渉縞)が色毎に異なるため色づいて見られる現象であり、例えばワイシャツや遠方の建築物などの細かい縞模様を撮影する際に顕著に現れて、撮影画面の広い範囲に色がつく。そして、偽色を抑制するために、偽色の量を(GrL−GbL)の絶対値で推定し、第一の色差信号及び第二の色差信号を(GrL−GbL)の絶対値の分だけ減じて生成する手段が知られている。しかしながら、この方法によれば、(GrL−GbL)が偽色発生箇所の他に画像に高周波信号を含む場合にも大きくなるので、色モワレの抑制によって偽色を発生していない高周波領域の部分の彩度を損なう虞がある。
そこで本願発明の発明者は、色モワレの抑制とともに彩度を損なうことがなく第一の色差及び第二の色差を生成する手段を見出した。詳しくは、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0021】
次に、請求項3に記載の発明は、請求項1又は請求項2に記載の画像処理装置において、前記低域周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0022】
請求項3に記載の画像処理装置によれば、低域周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、第一の色差信号と第二の色差信号の夫々に対して、絶対値が0に近づくように偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、色空間変換手段が、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層偽色の少ない高品位のカラー画像を生成できる。
【0023】
次に、請求項4に記載の発明は、請求項1乃至請求項3の何れかに記載の画像処理装置において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであるように構成されていることを特徴とする。
【0024】
請求項4に記載の画像処理装置によれば、低周波数信号の通過帯域が、0〜略(1/4)Fsであるように構成されることにより、低周波数画像信号の生成における、中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0025】
次に、請求項5に記載の発明は、請求項1乃至請求項4の何れか記載の画像処理装置において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0になるように構成されていることが好ましい。これにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0026】
次に、請求項6に記載の発明は、請求項1乃至請求項5の何れか記載の画像処理装置において、前記低周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0027】
請求項6に記載の画像処理装置によれば、R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができる。
【0028】
次に、請求項7に記載の発明は、請求項1乃至請求項6の何れか記載の画像処理装置において、前記中周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成することを特徴する。
【0029】
請求項7に記載の画像処理装置によれば、Gr、Gb、R、Bの画素位置において、Gr及びGbの中周波数信号を生成することにより、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【0030】
次に、請求項8に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成手順と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手順と、前記低域周波数画像生成手順を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、前記低域周波数画像生成手順で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、前記中周波数画像生成手順で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手順と、前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、を用いることを特徴とする。
【0031】
請求項8に記載の画像処理方法によれば、請求項1に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0032】
次に、請求項9に記載の発明は、請求項8に記載の画像処理方法において、前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、前記第二低周波数色差信号生成手順が、前記低周波数画像生成手順を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手順を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0033】
請求項9に記載の画像処理方法によれば、請求項2に記載の発明と同様に、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0034】
次に、請求項10に記載の発明は、請求項8又は請求項9に記載の画像処理方法において、前記低域周波数画像生成手順を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、を用い、前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0035】
請求項10に記載の画像処理方法によれば、請求項3に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。
【0036】
次に、請求項11に記載の発明は、請求項8乃至請求項10の何れかに記載の画像処理方法において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであることを特徴とする。
【0037】
請求項11に記載の画像処理方法によれば、請求項4に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0038】
次に、請求項12に記載の発明は、請求項8乃至請求項11の何れか記載の画像処理方法において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることを特徴とする。
【0039】
請求項12に記載の画像処理方法によれば、請求項5に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0040】
次に、請求項13に記載の発明は、請求項8乃至請求項12の何れか記載の画像処理方法の前記低周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0041】
請求項13に記載の画像処理方法によれば、請求項6に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。
【0042】
次に、請求項14に記載の発明は、請求項8乃至請求項13の何れか記載の画像処理方法の前記中周波数画像生成手順において、前記Gr、Gb、R、Bの画素位置毎に、Gr及びGbの中周波数信号を生成することを特徴とする。
【0043】
請求項14に記載の画像処理方法によれば、請求項7に記載の発明と同様に、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【0044】
次に、請求項15に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成ステップと、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成ステップと、前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、前記低域周波数画像生成ステップで得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、前記中周波数画像生成ステップで得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成ステップと、前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、をコンピュータに実行させることを特徴とする。
【0045】
請求項15に記載の画像処理プログラムによれば、請求項1に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0046】
次に、請求項16に記載の発明は、請求項15に記載の画像処理プログラムにおいて、前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、前記第二低周波数色差信号生成ステップが、前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0047】
請求項16に記載の画像処理プログラムによれば、請求項2に記載の発明と同様に、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0048】
次に、請求項17に記載の発明は、請求項15に記載の画像処理プログラムにおいて、
前記低域周波数画像生成ステップを介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、を用い前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0049】
請求項17に記載の画像処理プログラムによれば、請求項3に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。
【0050】
次に、請求項18に記載の発明は、請求項15乃至請求項17の何れかに記載の画像処理プログラムにおいて、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が、0〜略(1/4)Fsであることを特徴とする。
【0051】
請求項18に記載の画像処理プログラムによれば、請求項4に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0052】
次に、請求項19に記載の発明は、請求項15乃至請求項18の何れか記載の画像処理プログラムにおいて、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることを特徴とする。
【0053】
請求項19に記載の画像処理プログラムによれば、請求項5に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0054】
次に、請求項20に記載の発明は、請求項15乃至請求項19の何れか記載の画像処理プログラムの前記低周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0055】
請求項20に記載の画像処理プログラムによれば、請求項6に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。
【0056】
次に、請求項21に記載の発明は、請求項15乃至請求項20の何れか記載の画像処理プログラムの前記中周波数画像生成ステップにおいて、前記Gr、Gb、R、Bの画素位置毎に、Gr及びGbの中周波数信号を生成することを特徴とする。
【0057】
請求項21に記載の画像処理プログラムによれば、請求項7に記載の発明と同様に、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【発明の効果】
【0058】
本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数画像生成手段と中周波数画像生成手段において、デモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際の処理負荷を低減できる。また、低周波数輝度信号には、中周波数から高周波数の輝度変化成分による偽色が少なくて色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、R信号及びB信号を用いていないので色境界におけるアーチファクトが発生しないものとなる。
【0059】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0060】
さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理(加減算)で生成することができる。そして、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。
【0061】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低域周波数画像におけるGr信号とGb信号との差分を求めて偽色発生推定量信号を生成し、第一の色差信号と第二の色差信号の夫々に対して、絶対値が0に近づくように偽色発生推定量信号を加減算して第三の色差信号及び第四の色差信号を生成し、次いで、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層、偽色の少ない高品位のカラー画像を生成できる。
【0062】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数信号の通過帯域が0〜略(1/4)Fsであることにより、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分を遮断の侵入を抑制できて偽色を抑制でき、且つ、中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0063】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、Gr、Gb、R、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができ、且つ、R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成することにより、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【図面の簡単な説明】
【0064】
【図1】本発明の第1の実施形態における、画像処理装置を備えた撮像装置の構成を表したブロック図である。
【図2】同第1の実施形態の画像処理装置における、低周波数画像生成の説明図である。
【図3】同第1の実施形態の画像処理装置における、中周波数画像生成の説明図である。
【図4】同第1の実施形態の画像処理装置における、低周波数画像生成の際の低域フィルタの特性図である。
【図5】同第1の実施形態の画像処理装置における、中周波数画像生成の際の帯域フィルタの特性図である。
【図6】本発明の第1の実施形態の画像処理方法の手順を表したフローチャートである。
【図7】本発明の第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の構成を表す図である。
【図8】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、BL及びRLの夫々からGrLとGbLの平均値を減算して生成した低周波数色差信号UL及びVLの特性図である。
【図9】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、BL及びRLの夫々からGrL又はGbLの何れかを減算して生成した低周波数色差信号UL及びVLの特性図である。
【図10】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、GrLからGbLを減算して発現する特性図である。
【図11】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、BLからRLを減算して発現する特性図である。
【発明を実施するための形態】
【0065】
(第1の実施形態)
次に、本発明の第1の実施形態における画像処理装置及び画像処理方法、画像処理プログラムを図面に基づいて説明する。
【0066】
図1に表したように、撮像装置300は、光学像をイメージセンサ2に導いてデジタル画像信号を出力する撮像部100と、撮像部から出力されたデジタル画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像データを生成する画像処理装置200を備えている。
【0067】
撮像部100は、撮影された光学像をイメージセンサに導く結像光学系1と、結像光学系1を介して結像した光学像を光電変換して増幅しデジタル信号に変換して出力するイメージセンサ2とによって構成されている。
【0068】
結像光学系1は、被写体光を集光してイメージセンサ2に導く撮像レンズ1a、開口径が開閉可能に構成されて、撮像レンズ1aを介して入射した入射光量を調整するアイリス(絞り)1b、等によって構成されている。
【0069】
イメージセンサ2は、結像光学系1を介して結像した光学像を受光量に対応付けてアナログ電気信号に変換する撮像素子2a、撮像素子2aから出力されたアナログ電気信号を増幅する可変利得増幅器(AGC:Automatic Gain Control)2b、可変利得増幅器2から出力されたアナログ電気信号をデジタル信号に変換するAD変換器(ADC:Analog Digital Converter)2c、等によって構成されている。また、撮像素子2aは、マトリクス状に複数の光電変換素子が配置されて、その前面に光電変換素子に対応付けられてR(赤)、G(緑)、B(青)3色のベイヤー配列からなるカラーフィルタ(図示せず)が配置され、各色のフィルタ部を通過した光量を電気信号に変換する。そして、撮像部100から出力される電気信号によって、画素毎に一つの色情報のみをもつ色モザイク画像が生成される。
【0070】
次に、画像処理装置200は、撮像部100を介して入力された色モザイク画像を記憶するモザイク画像記憶手段10、色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯の画Gr信号、Gb信号、R信号、B信号を生成する低域周波数画像生成手段11、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号、Gb信号を生成する中周波数画像生成手段12、等を備えている。
【0071】
モザイク画像記憶手段10は、図2(a)に表したベイヤー配列に対応付けられて、Rの画素信号、Grの画素信号、Gbの画素信号、Bの画素信号を記憶するように構成されている。
【0072】
低周波数画像生成手段11は、図2に表したように、注目画素の低周波数画素信号を周囲の画素(5×5の画素範囲)に低域フィルタを掛けてフィルタリングすることにより補間生成する。図2(b)が、Grの低周波数信号GrLを補間生成する際の低域フィルタの係数配置図、図2(c)が、Gbの低周波数信号GbLを補間生成する際の低域フィルタの係数配置図、図2(d)が、Rの低周波数信号RLを補間生成する際の低域フィルタの係数配置図、図2(e)が、Bの低周波数信号BLを補間生成する際の低域フィルタの係数配置図である。この際、注目画素を中心とした5×5のフィルタ係数配列を用い、このフィルタ係数配列に図2(b)〜(d)に表した係数を配置して各画素信号に重み付けし、注目画素の低周波数信号を求めることができる。
【0073】
詳しくは、図2(b)に表したように、Grの画素位置におけるGrの低周波数信号GrLを、その周囲のGr信号及び注目画素のGr信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。
【0074】
また、図2(c)に表したように、Grの画素位置におけるGbの低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号GbLを、その周囲のGb信号及び注目画素のGb信号に低域フィルタを掛けて生成する。
【0075】
また、図2(d)に表したように、Grの画素位置におけるRの低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号RLを、その周囲のR信号及び注目画素のR信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。
【0076】
また、図2(e)に表したように、Grの画素位置におけるBの低周波数信号BLを、その周囲のB信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号BLを、その周囲のB信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号BLを、その周囲のB信号及び注目画素のB信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号BLを、その周囲のGb信号に低域フィルタを掛けて生成する。
【0077】
図4は、低周波数画像生成手段に用いられる低域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図4(a)〜(d)において、fv軸が画素配列の垂直方向の空間周波数(サンプリング周波数Fs)、fh軸が画素配列の水平方向の空間周波数(サンプリング周波数Fs)、縦軸が出力値(信号通過量)を表している。また、縦軸方向の上から下に向かって、RL、GrL及びGbL、BLの順に分布している。
【0078】
図4(a)は、Rの画素位置におけるRLの周波数特性、Grの画素位置におけるGrLの周波数特性、Gbの画素位置におけるGbLの周波数特性、Bの画素位置におけるBLの周波数特性である。図4(b)は、Rの画素位置におけるGrLの周波数特性、Grの画素位置におけるRLの周波数特性、Gbの画素位置におけるBLの周波数特性、Bの画素位置におけるGbLの周波数特性である。図4(c)は、Rの画素位置におけるGbLの周波数特性、Grの画素位置におけるBLの周波数特性、Gbの画素位置におけるRLの周波数特性、Bの画素位置におけるGrLの周波数特性である。図4(d)は、Rの画素位置におけるBLの周波数特性、Grの画素位置におけるGbLの周波数特性、Gbの画素位置におけるGrLの周波数特性、Bの画素位置におけるRLの周波数特性である。
【0079】
図4(a)〜(d)に表したように、各低周波数信号の通過帯域が、fv方向及びfh方向において0〜略(1/4)Fsの範囲であるように構成されている。
【0080】
次に、中周波数画像生成手段12は、図3に表したように、注目画素毎の中周波数画素信号を、周囲の画素(5×5の画素範囲)に帯域フィルタを掛けてフィルタリングすることにより補間生成する。図3(a)が、Grの中周波数信号GrMを補間生成する際の帯域フィルタの係数配置図であって、図3(b)が、Gbの中周波数信号GbMを補間生成する際の帯域フィルタの係数配置図である。
【0081】
詳しくは、図3(a)に表したように、Grの画素位置におけるGrの中周波数信号GrMを、その周囲のGr信号及び注目画素のGr信号に帯域フィルタを掛けて生成する。Rの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。Bの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。Gbの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。
【0082】
また、図3(b)に表したように、Grの画素位置におけるGbの中周波数信号GbMを、その周囲のGb信号に帯域フィルタを掛けて生成する。Rの画素位置における中周波数信号GbMを、その周囲のGb信号に対して帯域フィルタを掛けて生成する。Bの画素位置における中周波数信号GbMを、その周囲のGb信号に対して帯域フィルタを掛けて生成する。Gbの画素位置における中周波数信号GbMを、その周囲のGb信号及び注目画素のGb信号に帯域フィルタを掛けて生成する。
【0083】
図5は、中周波数画像生成手段に用いられる帯域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図5(a)〜(c)において、fv軸が画素配列の垂直方向の空間周波数(サンプリング周波数Fs)、fh軸が画素配列の水平方向の空間周波数(サンプリング周波数Fs)、縦軸が出力値(信号通過量)を表している。また、縦軸方向の上から下に向かって、RM、GrM及びGbM、BMの順に分布している。
【0084】
図5(a)は、Rの画素位置におけるRMの周波数特性、Grの画素位置におけるGrMの周波数特性、Gbの画素位置におけるGbMの周波数特性、Bの画素位置におけるBMの周波数特性である。図5(b)は、Rの画素位置におけるGrMの周波数特性、Grの画素位置におけるRMの周波数特性、Gbの画素位置におけるBMの周波数特性、Bの画素位置におけるGbMの周波数特性である。図5(c)は、Rの画素位置におけるGbMの周波数特性、Grの画素位置におけるBMの周波数特性、Gbの画素位置におけるRMの周波数特性、Bの画素位置におけるGrMの周波数特性である。なお、Gbの画素位置におけるGrM、Grの画素位置におけるGbM、Bの画素位置におけるRM、Rの画素位置におけるBM等の周波数特性は、全ての空間周波数で通過量が0であって、図5中には表れていない。
【0085】
図5(a)〜(c)に表したように、GrM及びGbMの通過帯域が、fv方向及びfh方向において中心が(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が0になるように構成されている。
【0086】
次に、画像処理装置200は、図1に表したように、低域周波数画像生成手段11を介して得られた低周波数信号を用いて偽色発生推定量信号(FCS)を生成する偽色発生量推定手段13、第一の色差信号(UL)及び第二の色差信号(VL)を生成する低周波数色差信号生成手段14、低周波数輝度信号(YL)を生成する低周波数輝度信号生成手段15、等を備えている。
【0087】
また、画像処理装置200は、中域周波数画像生成手段12を介して得られた中周波数信号を用いて中周波数輝度信号(YM)を生成する中周波数輝度信号生成手段16、第一の色差信号(UL)と第二の色差信号(VL)の夫々に対して偽色発生推定量信号(FCS)を加減算して第三の色差信号(U)及び第四の色差信号(V)を生成する偽色抑制手段17、低周波数輝度信号生成手段15を介して得られた低域周波数輝度信号(YL)と中周波数輝度信号生成手段16を介して得られた中周波数輝度信号(YM)とを合成して輝度信号(Y)を生成する輝度合成手段18、輝度信号(Y)と第三の色差信号(U)及び第四の色差信号(V)とを用いて画素毎のカラー情報を生成する色空間変換手段19、CPU(Central Processing Unit)20、ROM(Read Only Memory)21等を備え、CPU20がROM21に格納された制御用プログラムに従って当該画像処理装置200及び撮像装置300の各処理を制御する。
【0088】
偽色発生量推定手段13は、(式1)に表したように、低周波数画像生成手段11で生成されたGrLとGbL信号との差分を求めて、偽色発生推定量信号FCSを生成する。
FCS=abs(GrL−GbL)/2 … (1)
この際、必要に応じて、偽色発生量推定手段13で生成する偽色発生推定量信号FCSに対して、上限を設定したり、適切な係数を掛けて可変できるようにしたりしてもよい。
【0089】
低周波数色差信号生成手段14は、(式2)、(式3)に表したように、低周波数画像生成手段11で生成された低周波数信号GrLと低周波数信号GbLとの平均値を求め、この平均値を低周波数信号BLから減算して第一の色差ULを生成すると共に、この平均値を低周波数信号RLから減算して第二の色差VLを生成する。
UL=BL−(GrL+GbL)/2 … (式2)
VL=RL−(GrL+GbL)/2 … (式3)
【0090】
低周波数輝度信号生成手段15は、(式4)に表したように、低周波数画像生成手段11で生成された低周波数信号RLと、低周波数信号GrLと、低周波数信号GbLと、低周波数信号BLとの和を求めて低周波数輝度信号YLを生成する。
YL=RL+GrL+GbL+BL … (式4)
【0091】
中周波数輝度信号生成手段16は、(式5)に表したように、中周波数画像生成手段12で生成された中周波数信号GrMと中周波数信号GbMとの和を求め、これをL倍して中周波数輝度信号YMを生成する。
YM=(GrM+GbM)×L … (式5)
(式5)において、Lは、R及びBの中周波数帯の信号をGの中周波数で推定する係数であって、必要に応じて略1〜4の間で調整する。
【0092】
偽色抑制手段17は、(式6)及び(式7)に表したように、第一の色差信号(UL)と第二の色差信号(VL)の夫々に対して、絶対値が0に近づくように偽色発生推定量信号(FCS)を加減算し、第三の色差信号(U)及び第四の色差信号(V)を生成する
U=sign(UL)*max(0,abs(UL)−FCS) … (式6)
V=sign(VL)*max(0,abs(UL)−FCS) … (式7)
【0093】
輝度合成手段18は、(式8)に表したように、低周波数輝度信号生成手段15で生成された低周波数輝度信号(YL)と、中周波数輝度信号生成手段16で生成された中周波数輝度信号(YM)とを合成して輝度信号(Y)を生成する。
Y=YL+YM … (式8)
この際、必要に応じて、YMに対して任意の係数を掛けて全体の輝度周波数特性を可変させてもよい。
【0094】
色空間変換手段19は、(式9)、(式10)、(式11)に表したように、輝度合成手段18で生成された輝度信号(Y)と、偽色抑制手段17で生成された第三の色差信号(U)及び第四の色差信号(V)とを用いてカラー画像の画素毎のカラー情報(R、G、B)を生成する。
R=Y−U+3*V … (式9)
G=Y−U−V … (式10)
B=Y+3*U−V … (式11)
この際、必要に応じて、RGBの色空間に変換せずにYUVの形式で出力したり、他の色空間に変換して出力したりしてもよい。
【0095】
次に、図6に基づいて、画像処理方法の手順を説明する。この手順は、CPU20がROM21に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図6におけるSは、ステップを表している。
【0096】
まず、この手順は、ユーザによって画像処理装置200及び撮像装置300に起動信号が入力された際にスタートする。
【0097】
次いで、S100において、撮像部100を介して画像信号(色モザイク画像)を画像処理装置200に読み込み、モザイク画像記憶手段10を用いてベイヤー配列に対応付けてR、Gr、Gb、B信号毎に記憶し、その後、S110及びS120に移る。
【0098】
次いで、S110において、低周波数画像生成手段11を用い、色モザイク画像に低域フィルタを掛けてフィルタリングし、低周波数帯のRL信号、GrL信号、GbL信号、BL信号を生成し、その後、S130、S140、S150に移る。
【0099】
次いで、S130において、偽色発生量推定手段13を用い、S110で生成された低周波数信号のGrLとGbL信号との差分を求めて偽色発生量推定信号FCSを生成する。
【0100】
また、S140において、低周波数色差信号生成手段14を用い、S110で生成された低周波数信号の、GrL信号とGbL信号との平均値を求め、BL信号から前記平均値を減じて第一の色差信号ULを生成すると共に、RL信号から前記平均値を減じて第二の色差信号VLを生成する。
【0101】
また、S150において、低周波数輝度信号生成手段15を用い、S110生成されたRL信号、GrL信号、GbL信号、BL信号の和を求めて低周波数輝度信号YLを生成する。
【0102】
次いで、S130及びS140からS170に移り、S170において、偽色抑制手段17を用い、第一の色差信号ULと第二の色差信号VLの夫々に対して、絶対値が0に近づくように偽色発生推定量信号FCSを加減算し、第三の色差信号U及び第四の色差信号Vを生成し、その後、S190に移る。
【0103】
一方、S120において、中周波数画像生成手段12を用い、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGrM信号、GbM信号を生成し、その後、S160に移る。
【0104】
次いで、S160において、中周波数輝度信号生成手段16を用い、S120で生成されたGrM信号とGbM信号との和を求め、この和に対応付けて中周波数輝度信号YMを生成し、その後、S180に移る。
【0105】
次いで、S180において、輝度合成手段18を用い、S150で生成された低周波数輝度信号YLとS160で生成された中周波数輝度信号YMとを合成して輝度信号Yを生成し、その後、S190に移る。
【0106】
次いで、S190において、色空間変換手段190を用い、S170で生成された色差信号(U、L)とS180で生成された輝度信号Yを、カラー画像の画素毎のカラー情報(R、G、B)に変換し、その後、本処理を終了する。
【0107】
なお、本発明の低周波数画像生成ステップがS110に相当し、本発明の中周波数画像生成ステップがS120に相当し、本発明の偽色発生量推定ステップがS130に相当し、本発明の低周波数色差信号生成ステップがS140に相当し、本発明の低周波数輝度信号生成ステップがS150に相当し、本発明の中周波数輝度信号生成ステップがS160に相当し、本発明の偽色抑制ステップがS170に相当し、本発明の輝度合成ステップがS180に相当し、本発明の色空間変換ステップがS190に相当する。
【0108】
以上のように、第一の実施形態における画像処理装置200及び画像処理方法、画像処理プログラムによれば、低周波数画像生成手段11と中周波数画像生成手段12においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号Y及び色差信号U、Vを生成する際の画素信号の生成が行われ、色空間変換手段19に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。
【0109】
また、図2及び図3に表したように、低周波数画像を補間生成する際の低域フィルタ及び中周波数画像を補間生成する際の帯域フィルタが5×5の画素範囲のフィルタサイズで実現できるので、注目画素の周辺画素を保持するためのメモリ容量が削減できて、演算量の削減ができる。
【0110】
(第2の実施形態)
次に、本発明の第2の実施形態を図7〜図11に基づいて説明する。第2の実施形態の基本的な構成は、第1の実施形態と共通するので、第1の実施形態と異なる部分について詳細に説明し、第1の実施形態と共通する構成部分については同じ符号を付与して詳細な説明を省く。
【0111】
第2の実施形態は、第1の実施形態における低周波数色差信号生成手段14の構成のみが異なるものであって、第2の実施形態における低周波数色差信号生成手段には符号14Aを付与し、第二低周波数色差信号生成手段14Aとして説明する。
【0112】
図7に表したように、第二低周波数色差信号生成手段14Aは、低周波数画像生成手段11で生成された画像信号GrL、GbL、RL、BLに基づいて第1の色差信号UL及び第2の色差信号VLを生成する。
【0113】
詳しくは、第二低周波数色差信号生成手段14Aは、図7(a)に表したように、低周波数画像生成手段11で生成された画像信号GrLからGbLを減じて正又は負の差分値を算出する第一の減算手段14b及び第一の減算手段14bで得られた差分値の正又は負の符号を取得する第一の符号取得手段14c、低周波数画像生成手段11で生成された画像信号BLからRLを減じて正又は負の差分値を算出する第二の減算手段14d及び第二の減算手段14dで得られた差分値の正又は負の符号を取得する第二の符号取得手段14e、第一の符号取得手段14cで取得した正又は負の符号と第二の符号取得手段14eで取得した正又は負の符号とを乗算してその乗算結果としての正又は負の符号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一、第二の指令信号を出力するXOR演算手段14f、XOR演算手段14fで得られた指令信号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一の色差信号演算切り換え手段14g及び第二の色差色差信号切り換え手段14h、第一の色差信号演算切り換え手段14gで切り換えられた演算式を用いて第一の色差信号ULを算出する第一の色差信号算出手段14j、第二の色差信号演算切り換え手段14hで切り換えられた演算式を用いて第二の色差信号VLを算出する第二の色差信号算出手段14k、等によって構成されている。
【0114】
XOR演算手段14fは、乗算結果が正の場合には、第一の演算式を指令する第一の指令信号を出力し、乗算結果が負の場合には、第二の演算式を指令する第二の指令信号を出力する。
第一の色差信号演算切り換え手段14gは、XOR演算手段14fから第一の指令信号が入力された場合には第一の色差信号算出手段14jにGrLを出力し、XOR演算手段14fから第二の指令信号が入力された場合には第一の色差信号算出手段14jにGbLを出力する。
【0115】
一方、第二の色差信号演算切り換え手段14hは、XOR演算手段14fから第一の指令信号を入力された場合には第二の色差信号算出手段14kにGbLを出力し、XOR演算手段14fから第二の指令信号が入力された場合には第二の色差信号算出手段14kにGrLを出力する。
【0116】
第一の色差信号算出手段14jは、BL信号から第一の色差信号演算切り換え手段14gを介して出力されたGrL信号又はGbL信号を減じて第一の色差信号ULを算出する。具体的には、第一の色差信号算出手段14jは、第一の色差信号演算切り換え手段14gを介してGrL信号が出力された際には、第一の色差信号ULをUL=BL−GrLの演算式で算出し、第一の色差信号演算切り換え手段14gを介してGbL信号が出力された際には、第一の色差信号ULをUL=BL−GbLの演算式で算出する。
【0117】
第二の色差信号算出手段14kは、RL信号から第二の色差信号演算切り換え手段14hを介して出力されたGbL信号又はGrL信号を減じて第二の色差信号VLを算出する。具体的には、第二の色差信号算出手段14kは、第二の色差信号演算切り換え手段14hを介してGbL信号が出力された際には、第二の色差信号VLをVL=RL−GbLの演算式で算出し、第二の色差信号演算切り換え手段14hを介してGrL信号が出力された際には、第二の色差信号VLをVL=RL−GrLの演算式で算出する。
【0118】
前述の構成により、(GrL-GbL)×(BL-RL)の演算式で得られる正又は負の演算符号に応じて第一の色差信号UL及び第二の色差信号VL算出の演算式が切り換えられる。
つまり、(GrL-GbL)×(BL-RL)の演算式で正の符号が得られた場合には、第一の色差信号ULがUL=BL-GrLの演算式で算出され、第二の色差信号VLがVL=RL-GbLの演算式で算出される。
【0119】
また、前述の構成により、(GrL-GbL)×(BL-RL)の演算式で負の符号が得られた場合には、第一の色差信号ULがUL=BL-GbLの演算式で算出され、第二の色差信号VLがVL=RL-GrLの演算式で算出される。
【0120】
前述した第2の実施形態による低周波数色差信号生成手段14Aによれば、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。以下に、第2の実施形態の第二低周波数色差信号生成手段14Aの作用効果を説明する。
【0121】
図8は、第一の色差UL及び第二の色差VLを、第1の実施形態中の(式2)、(式3)で算出して得られたUL及びVLの特性図である。(式2)及び(式3)ではUL及びVLを算出する際に、BL及びRLの夫々からGrLとGbLとの平均を減算している。
【0122】
図8において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図8(a)がRの画素位置におけるUL特性、図8(b)がRの画素位置におけるVL特性、図8(c)がGrの画素位置におけるUL特性、図8(d)がGrの画素位置におけるVL特性を表している。
【0123】
原色RGBのベイヤー配列では、色情報が、(fh,fV)=(±fs/2,±fs/2)の周波数で変調されているので、この周波数成分を取り出して復調すれば色情報が得られる。この際、fs/2はナイキスト周波数である。
【0124】
色情報を生成する際に理想的には、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数を拾わない方が良いが、図8の特性から分るように、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数において0.5程度の通過帯域を有しているため、この部分が偽色となって本来色のない領域に色がついてしまう。
【0125】
そして、第1の実施形態中の(式6)及び(式7)を用いて色差信号U、Vを生成すれば、偽色発生量推定手段13で生成される偽色発生推定量信号(FCS)が、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数において発生している偽色と相関が高いが、画像に高周波数を多く含む場合には、偽色が発生していない箇所でも偽色発生推定量信号が大きな値となって、カラー画像の彩度が低下することがある。
【0126】
そこで、本願発明者は、カラー画像の彩度が低下をすることなく偽色を低減する手段として、第二低周波数色差信号生成手段14Aに表したように、第一の色差信号UL及び第二の色差信号VLを生成する際に、GrLとGbLの平均値を用いずにどちらか一方を用いる方法を発明した。
【0127】
つまり、第一の色差信号UL及び第二の色差信号VLを生成する際に、GrLとGbLの何れかを用いるとすれば、(式12)及び(式13)を用いる第一の演算式と(式14)及び(式15)を用いる第二の演算式とがある。そして、本実施形態では、(GrL−GbL)で得られる正又は負の符号と(BL−RL)で有られる正又は負の符号との組み合わせによって第一の演算方法と第二の演算方法とを切り換える。
「第一の演算式」
UL=BL−GrL … (式12)
VL=RL−GbL … (式13)
「第二の演算式」
UL=BL−GbL … (式14)
VL=RL−GrL … (式15)
【0128】
第一、第二の演算式の夫々につき偽色の発生をCZP(Circular Zone Plate)で観察した結果、第一の演算式では(fh,fV)=(±fs/2,0)で発生する偽色(縦縞)が減少し、(fh,fV)=(0,±fs/2)で発生する偽色(横縞)が増加する。また、第二の演算式では、第一の演算式とは逆となり、(fh,fV)=(0,±fs/2)で発生する偽色(横縞)が減少し、(fh,fV)=(±fs/2,0)で発生する偽色(縦縞)が増加する。そして、本願発明者は、偽色の発生エリアが(fh,fV)=(±fs/2,0)と(fh,fV)=(0,±fs/2)との何れに近いか、つまり、縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算方法を切り換えることにより、偽色を抑制できることを見出した。
【0129】
次に、図9は、第一の演算式を適用して得られたR画素及びGr画素における色差信号の周波数特性である。図9において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図9(a)がRの画素位置におけるUL特性、図9(b)がRの画素位置におけるVL特性、図9(c)がGrの画素位置におけるUL特性、図9(d)がGrの画素位置におけるVL特性を表している。
【0130】
図9において、ULとVLともに、(fh,fV)=(±fs/2,0)の周波数に
おいては、信号通過量が0となって、この周波数における偽色が発生しないが、(fh,fV)=(0,±fs/2)の周波数においては、信号通過量が1となっているため偽色が発生する。また、第二の演算式を用いれば、図9においてfhとfvが入れ替わった特性となる。
【0131】
従って、図9の周波数特性に基づいて、偽色発生エリアが(±fs/2,0)(0,±fs/2)の何れに近いか、つまり縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算式を切り換えることにより、偽色を抑制できる。
【0132】
次に、縦縞と横縞との方向判定の手段を図10及び図11を用いて説明する。
図10において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図10(a)がGrの画素位置における(GrL−GbL)の出力特性、図10(b)がRの画素位置における(GrL−GbL)の出力特性、図10(c)がBの画素位置における(GrL−GbL)の出力特性、図10(d)がGbの画素位置における(GrL−GbL)の出力特性を表している。
【0133】
図10(b)に表したようにRの画素位置において(GrL−GbL)の演算結果が正(+)ならば横縞、負(−)ならば縦縞と推定でき、図10(c)に表したようにBの画素位置において(GrL−GbL)の演算結果が正(+)ならば縦縞、負(−)ならば横縞と推定できることが分った。しかしながら、図10(a)及び図10(d)に表したようにGr及びGbの画素位置においては、(GrL−GbL)の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。
【0134】
一方、図11(a)に表したようにGrの画素位置の画素位置において(BL−RL)の演算結果が正(+)ならば縦縞、負(−)ならば横縞と推定でき、図11(d)に表したようにGbの画素位置の画素位置において(BL−RL)の演算結果が正(+)ならば横縞、負(−)ならば縦縞と推定できることが分った。しかしながら、図11(b)及び図11(c)に表したようにRの画素位置及びBの画素位置においては、(BL−RL)の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。
【0135】
したがって、図7(b)に表したように、Gr、R、B、Gbの画素位置における(GrL−GbL)及び(BL−RL)の演算結果で得られる符号に関連つけて縦縞と横縞との方向判定ができ、(GrL−GbL)×(BL−RL)の演算結果で得られる数値が、正(+)ならば縦縞、負(−)ならば横縞と判定できる。
【0136】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。例えば、図2及び図3において低域フィルタ及び帯域フィルタを5×5画素範囲としたが、演算量及び回路規模に余裕があれば更に広い画素範囲としてもよい。これにより、より急峻な特性を得ることができる。
【産業上の利用可能性】
【0137】
本発明に係る画像処理装置及び画像処理方法、画像処理プログラムは、単板式の撮像素子を介して得られた色モザイク画像から画素毎に複数の色成分を備えたカラー画像を生成する際に好適である。
【符号の説明】
【0138】
1…結像光学系、1a…撮像レンズ、1b…Iris(絞り)、2…イメージセンサ、2a…撮像素子、2b…可変利得増幅器(AGC:Automatic Gain Control)、2c…A/D変換器、10…モザイク画像記憶手段、11…低周波数画像生成手段、12…中周波数画像生成手段、13…偽色発生量推定手段、14…低周波数色差信号生成手段、14A…第二低周波数色差信号生成手段、15…低周波数輝度信号生成手段、16…中周波数輝度信号生成手段、17…偽色抑制手段、18…輝度合成手段、19…色空間変換手段、20…CPU(Central Processing Unit)、21…ROM(Read Only Memory)、100…撮像部、200…画像処理装置、300…撮像装置。
【技術分野】
【0001】
本発明は、固体撮像素子を用いたデジタル撮像装置の、画像処理装置及び画像処理方法、画像処理プログラムに関する。
【背景技術】
【0002】
従来、デジタルカメラなどの撮像装置において、レンズを介して固体撮像素子に被写体像を結像して、この固体撮像素子(例えば、CCD:Charga Coupled DeviceやCMOS:Complementary Metal−Oxide Semiconductorである。以下、撮像素子という)によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。
【0003】
そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共にその前面にカラーフィルタを備え、このカラーフィルタを介して出力された各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。
【0004】
撮像素子を1つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤(R)、緑(G)、青(B)の色フィルタが設けられている。本願では、Rの色フィルタが設けられた画素をR画素(赤画素)、Gの色フィルタが設けられた画素をG画素(緑画素)、Bの色フィルタが設けられた画素をB画素(青画素)と称する。
【0005】
また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にRとGが交互に配置された行と水平方向にGとBが交互に配置された行とが垂直方向に交互に配列され、水平方向2画素×垂直方向2画素(2×2画素)を1単位(1ユニット)とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、2つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。本願では、水平方向において、Rの隣に位置するGをGr、Bの隣に位置するGをGbと称する。
【0006】
そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある。
【0007】
詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色(R)、緑色(G)、青色(B)の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がR、G、B成分のうちの何れかのみを有する色モザイク画像にもとづいて、デモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれR、G、B成分の全てを有するカラー画像を生成する処理(所謂、色補間処理である)である(例えば、特許文献1、2、3、4、5参照)。
【0008】
さらに、デモザイクの方法として、撮像信号から画素毎に輝度情報を備えた輝度画像信号を生成し、輝度画像信号を用いることによって画像信号の変化の様子を検出し、この検出結果をデモザイク画像に反映させることにより、解像度を高める画像処理方法が知られている(例えば、特許文献6参照)。
【0009】
また、一般に、高画質を目的として提案されている画像処理方法は、注目画素に隣接する隣接画素の振る舞い(画像信号の変化の様子)を判定することにより、水平方向及び垂直方向の相関度(類似度)を算出し、その算出結果に応じて、水平成分抽出フィルタ及び垂直成分抽出フィルタにより生成された信号成分を切り替えたり合成したりして色信号成分の補間を行っている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特表2004−534429号公報
【特許文献2】特開2000−270294号公報
【特許文献3】特開平9−84031号公報
【特許文献4】特開平10−108209号公報
【特許文献5】特開平11−275373号公報
【特許文献6】特開2000−87810号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
近年、静止画像の高解像度化やHD(High Definition)動画像の高精細化に伴って、画像処理に要する処理負荷が増大している。
即ち、前述のデモザイク処理をハードウェアで実現する際には、処理量の増加に応じて回路規模が増大し、コストUPにつながり生産性を損なうという問題がある。また、高精細なHD動画像を生成する際には、消費電力の増大が生じてバッテリ駆動時間が低下したり、発熱による温度上昇などが生じて信頼性が低下したりする虞があった。
【0012】
また、前述のデモザイク処理をDSP(Digital Signal Processor)でソフトウェアを用いて実現する際にも、演算量の増化に応じて、DSPに要求される処理能力が増加し、高精細なHD動画を扱う際に処理能力が不足する虞があった。
【0013】
そこで、本発明は、単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に、高品位なカラー画像を生成できる画像処理装置及び画像処理方法、画像処理プログラムを提供することを目的とする。さらには、デモザイク処理において、偽色やジッパーアーチファクトなどの画質劣化を低減できる画像処理装置及び画像処理方法、画像処理プログラムを提供する。
【課題を解決するための手段】
【0014】
かかる目的を達成するためになされた請求項1に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成手段と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段と、前記低域周波数画像生成手段を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、前記低域周波数画像生成手段で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、前記中周波数画像生成手段で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号Yを生成する輝度合成手段と、前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、を備えることを特徴とする。
【0015】
請求項1に記載の画像処理装置によれば、色モザイク画像から低域周波数帯のR、Gr、Gb、B信号を生成する低周波数画像生成手段、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段、低周波数帯のB信号及びR信号の夫々から低周波数帯GrとGbとの平均値を減じて第一の色差信号及び第二の色差信号を生成する低周波数色差信号生成手段、低周波数帯のR、Gr、Gb、Bの和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段、中周波数帯のGrとGbとの和により中周波数輝度信号を生成する中周波数輝度信号生成手段、低周波数輝度信号と中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手段、輝度合成手段で生成された輝度信号と低周波数色差信号生成手段で生成された輝度信号と第一色差信号及び第2色差信号とを用いて、画素毎のカラー情報を生成する色空間変換手段、等を備えることにより、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0016】
請求項1に記載の画像処理装置によれば、低周波数画像生成手段と中周波数画像生成手段においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においてはデモザイクの補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。また、低周波数輝度信号では、中周波数から高周波数の輝度変化成分による偽色が少なくて、色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、R信号及びB信号を用いていないので、色境界におけるアーチファクトが発生しないものとなる。
【0017】
さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理(加減算)で生成することができる。
【0018】
また、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。
【0019】
次に、請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、前記第二低周波数色差信号生成手段が、前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0020】
請求項2に記載の画像処理装置によれば、彩度を損なうことなく偽色を抑制できる。偽色と呼ばれる現象には2種類がある。ひとつは画像エッジ部分に現れる色フリンジ(色収差)であり、これは低周波フィルタにより除去される。もうひとつは細かい繰り返し模様に対し、高周波の折り返しモワレ(干渉縞)が色毎に異なるため色づいて見られる現象であり、例えばワイシャツや遠方の建築物などの細かい縞模様を撮影する際に顕著に現れて、撮影画面の広い範囲に色がつく。そして、偽色を抑制するために、偽色の量を(GrL−GbL)の絶対値で推定し、第一の色差信号及び第二の色差信号を(GrL−GbL)の絶対値の分だけ減じて生成する手段が知られている。しかしながら、この方法によれば、(GrL−GbL)が偽色発生箇所の他に画像に高周波信号を含む場合にも大きくなるので、色モワレの抑制によって偽色を発生していない高周波領域の部分の彩度を損なう虞がある。
そこで本願発明の発明者は、色モワレの抑制とともに彩度を損なうことがなく第一の色差及び第二の色差を生成する手段を見出した。詳しくは、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0021】
次に、請求項3に記載の発明は、請求項1又は請求項2に記載の画像処理装置において、前記低域周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0022】
請求項3に記載の画像処理装置によれば、低域周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、第一の色差信号と第二の色差信号の夫々に対して、絶対値が0に近づくように偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段とを備え、色空間変換手段が、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層偽色の少ない高品位のカラー画像を生成できる。
【0023】
次に、請求項4に記載の発明は、請求項1乃至請求項3の何れかに記載の画像処理装置において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであるように構成されていることを特徴とする。
【0024】
請求項4に記載の画像処理装置によれば、低周波数信号の通過帯域が、0〜略(1/4)Fsであるように構成されることにより、低周波数画像信号の生成における、中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0025】
次に、請求項5に記載の発明は、請求項1乃至請求項4の何れか記載の画像処理装置において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0になるように構成されていることが好ましい。これにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0026】
次に、請求項6に記載の発明は、請求項1乃至請求項5の何れか記載の画像処理装置において、前記低周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0027】
請求項6に記載の画像処理装置によれば、R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができる。
【0028】
次に、請求項7に記載の発明は、請求項1乃至請求項6の何れか記載の画像処理装置において、前記中周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成することを特徴する。
【0029】
請求項7に記載の画像処理装置によれば、Gr、Gb、R、Bの画素位置において、Gr及びGbの中周波数信号を生成することにより、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【0030】
次に、請求項8に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成手順と、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手順と、前記低域周波数画像生成手順を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、前記低域周波数画像生成手順で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、前記中周波数画像生成手順で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成手順と、前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、を用いることを特徴とする。
【0031】
請求項8に記載の画像処理方法によれば、請求項1に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0032】
次に、請求項9に記載の発明は、請求項8に記載の画像処理方法において、前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、前記第二低周波数色差信号生成手順が、前記低周波数画像生成手順を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手順を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0033】
請求項9に記載の画像処理方法によれば、請求項2に記載の発明と同様に、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0034】
次に、請求項10に記載の発明は、請求項8又は請求項9に記載の画像処理方法において、前記低域周波数画像生成手順を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、を用い、前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0035】
請求項10に記載の画像処理方法によれば、請求項3に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。
【0036】
次に、請求項11に記載の発明は、請求項8乃至請求項10の何れかに記載の画像処理方法において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであることを特徴とする。
【0037】
請求項11に記載の画像処理方法によれば、請求項4に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0038】
次に、請求項12に記載の発明は、請求項8乃至請求項11の何れか記載の画像処理方法において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることを特徴とする。
【0039】
請求項12に記載の画像処理方法によれば、請求項5に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0040】
次に、請求項13に記載の発明は、請求項8乃至請求項12の何れか記載の画像処理方法の前記低周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0041】
請求項13に記載の画像処理方法によれば、請求項6に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。
【0042】
次に、請求項14に記載の発明は、請求項8乃至請求項13の何れか記載の画像処理方法の前記中周波数画像生成手順において、前記Gr、Gb、R、Bの画素位置毎に、Gr及びGbの中周波数信号を生成することを特徴とする。
【0043】
請求項14に記載の画像処理方法によれば、請求項7に記載の発明と同様に、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【0044】
次に、請求項15に記載の発明は、R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成ステップと、前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成ステップと、前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、前記低域周波数画像生成ステップで得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、前記中周波数画像生成ステップで得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、前記低域周波数輝度信号と前記中周波数輝度信号とを合成して、輝度信号を生成する輝度合成ステップと、前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、をコンピュータに実行させることを特徴とする。
【0045】
請求項15に記載の画像処理プログラムによれば、請求項1に記載の発明と同様に、単板式撮像素子を介して得られた色モザイク画像からカラー画像を生成する際に、処理負荷を低減できると共に高品位なカラー画像を生成でき、さらには、偽色やジッパーアーチファクトなどの色補間の際に生じる画質劣化を低減できる。
【0046】
次に、請求項16に記載の発明は、請求項15に記載の画像処理プログラムにおいて、前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、前記第二低周波数色差信号生成ステップが、前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、ことを特徴とする。
【0047】
請求項16に記載の画像処理プログラムによれば、請求項2に記載の発明と同様に、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0048】
次に、請求項17に記載の発明は、請求項15に記載の画像処理プログラムにおいて、
前記低域周波数画像生成ステップを介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、を用い前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成することを特徴とする。
【0049】
請求項17に記載の画像処理プログラムによれば、請求項3に記載の発明と同様に、一層、偽色の少ない高品位のカラー画像を生成できる。
【0050】
次に、請求項18に記載の発明は、請求項15乃至請求項17の何れかに記載の画像処理プログラムにおいて、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が、0〜略(1/4)Fsであることを特徴とする。
【0051】
請求項18に記載の画像処理プログラムによれば、請求項4に記載の発明と同様に、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分の侵入を抑制できて偽色を抑制できる。
【0052】
次に、請求項19に記載の発明は、請求項15乃至請求項18の何れか記載の画像処理プログラムにおいて、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることを特徴とする。
【0053】
請求項19に記載の画像処理プログラムによれば、請求項5に記載の発明と同様に、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0054】
次に、請求項20に記載の発明は、請求項15乃至請求項19の何れか記載の画像処理プログラムの前記低周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することを特徴とする。
【0055】
請求項20に記載の画像処理プログラムによれば、請求項6に記載の発明と同様に、画素毎に複数色の色成分を備えることができる。
【0056】
次に、請求項21に記載の発明は、請求項15乃至請求項20の何れか記載の画像処理プログラムの前記中周波数画像生成ステップにおいて、前記Gr、Gb、R、Bの画素位置毎に、Gr及びGbの中周波数信号を生成することを特徴とする。
【0057】
請求項21に記載の画像処理プログラムによれば、請求項7に記載の発明と同様に、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【発明の効果】
【0058】
本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数画像生成手段と中周波数画像生成手段において、デモザイク処理に係る補間処理が同時に行われると共に、輝度信号及び色差信号を生成する際の画素信号の生成が行われ、色空間変換手段に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際の処理負荷を低減できる。また、低周波数輝度信号には、中周波数から高周波数の輝度変化成分による偽色が少なくて色境界におけるジッパーアーチファクトが抑制され、且つ、中周波数輝度信号では、R信号及びB信号を用いていないので色境界におけるアーチファクトが発生しないものとなる。
【0059】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。
【0060】
さらに、低周波数画像生成手段及び中周波数画像生成手段で生成された各色の補間信号から、ジッパーアーチファクトの少ない輝度信号や偽色の少ない色差信号を簡素な処理(加減算)で生成することができる。そして、低周波数輝度信号と中周波数輝度信号とを合成することにより、解像度の高い輝度信号を得ることができる。
【0061】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低域周波数画像におけるGr信号とGb信号との差分を求めて偽色発生推定量信号を生成し、第一の色差信号と第二の色差信号の夫々に対して、絶対値が0に近づくように偽色発生推定量信号を加減算して第三の色差信号及び第四の色差信号を生成し、次いで、第一の色差信号及び第二の色差信号に代えて、第三の色差信号及び第四の色差信号を用いてカラー情報を生成することにより、一層、偽色の少ない高品位のカラー画像を生成できる。
【0062】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、低周波数信号の通過帯域が0〜略(1/4)Fsであることにより、低周波数画像信号には中周波数から高周波数の輝度変化成分及び色高周波成分を遮断の侵入を抑制できて偽色を抑制でき、且つ、中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0であることにより、中周波数輝度信号と低周波数輝度信号とを合成して、解像度の良好な輝度信号を生成できる。
【0063】
また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、Gr、Gb、R、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成することにより、画素毎に複数色の色成分を備えることができ、且つ、R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成することにより、画素毎に中周波数帯のG信号を生成できて解像度を向上できる。
【図面の簡単な説明】
【0064】
【図1】本発明の第1の実施形態における、画像処理装置を備えた撮像装置の構成を表したブロック図である。
【図2】同第1の実施形態の画像処理装置における、低周波数画像生成の説明図である。
【図3】同第1の実施形態の画像処理装置における、中周波数画像生成の説明図である。
【図4】同第1の実施形態の画像処理装置における、低周波数画像生成の際の低域フィルタの特性図である。
【図5】同第1の実施形態の画像処理装置における、中周波数画像生成の際の帯域フィルタの特性図である。
【図6】本発明の第1の実施形態の画像処理方法の手順を表したフローチャートである。
【図7】本発明の第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の構成を表す図である。
【図8】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、BL及びRLの夫々からGrLとGbLの平均値を減算して生成した低周波数色差信号UL及びVLの特性図である。
【図9】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成の説明図であって、BL及びRLの夫々からGrL又はGbLの何れかを減算して生成した低周波数色差信号UL及びVLの特性図である。
【図10】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、GrLからGbLを減算して発現する特性図である。
【図11】同第2の実施形態の画像処理装置における、第二低周波数色差信号生成手段の作用効果の説明図であって、BLからRLを減算して発現する特性図である。
【発明を実施するための形態】
【0065】
(第1の実施形態)
次に、本発明の第1の実施形態における画像処理装置及び画像処理方法、画像処理プログラムを図面に基づいて説明する。
【0066】
図1に表したように、撮像装置300は、光学像をイメージセンサ2に導いてデジタル画像信号を出力する撮像部100と、撮像部から出力されたデジタル画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像データを生成する画像処理装置200を備えている。
【0067】
撮像部100は、撮影された光学像をイメージセンサに導く結像光学系1と、結像光学系1を介して結像した光学像を光電変換して増幅しデジタル信号に変換して出力するイメージセンサ2とによって構成されている。
【0068】
結像光学系1は、被写体光を集光してイメージセンサ2に導く撮像レンズ1a、開口径が開閉可能に構成されて、撮像レンズ1aを介して入射した入射光量を調整するアイリス(絞り)1b、等によって構成されている。
【0069】
イメージセンサ2は、結像光学系1を介して結像した光学像を受光量に対応付けてアナログ電気信号に変換する撮像素子2a、撮像素子2aから出力されたアナログ電気信号を増幅する可変利得増幅器(AGC:Automatic Gain Control)2b、可変利得増幅器2から出力されたアナログ電気信号をデジタル信号に変換するAD変換器(ADC:Analog Digital Converter)2c、等によって構成されている。また、撮像素子2aは、マトリクス状に複数の光電変換素子が配置されて、その前面に光電変換素子に対応付けられてR(赤)、G(緑)、B(青)3色のベイヤー配列からなるカラーフィルタ(図示せず)が配置され、各色のフィルタ部を通過した光量を電気信号に変換する。そして、撮像部100から出力される電気信号によって、画素毎に一つの色情報のみをもつ色モザイク画像が生成される。
【0070】
次に、画像処理装置200は、撮像部100を介して入力された色モザイク画像を記憶するモザイク画像記憶手段10、色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯の画Gr信号、Gb信号、R信号、B信号を生成する低域周波数画像生成手段11、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号、Gb信号を生成する中周波数画像生成手段12、等を備えている。
【0071】
モザイク画像記憶手段10は、図2(a)に表したベイヤー配列に対応付けられて、Rの画素信号、Grの画素信号、Gbの画素信号、Bの画素信号を記憶するように構成されている。
【0072】
低周波数画像生成手段11は、図2に表したように、注目画素の低周波数画素信号を周囲の画素(5×5の画素範囲)に低域フィルタを掛けてフィルタリングすることにより補間生成する。図2(b)が、Grの低周波数信号GrLを補間生成する際の低域フィルタの係数配置図、図2(c)が、Gbの低周波数信号GbLを補間生成する際の低域フィルタの係数配置図、図2(d)が、Rの低周波数信号RLを補間生成する際の低域フィルタの係数配置図、図2(e)が、Bの低周波数信号BLを補間生成する際の低域フィルタの係数配置図である。この際、注目画素を中心とした5×5のフィルタ係数配列を用い、このフィルタ係数配列に図2(b)〜(d)に表した係数を配置して各画素信号に重み付けし、注目画素の低周波数信号を求めることができる。
【0073】
詳しくは、図2(b)に表したように、Grの画素位置におけるGrの低周波数信号GrLを、その周囲のGr信号及び注目画素のGr信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号GrLを、その周囲のGr信号に低域フィルタを掛けて生成する。
【0074】
また、図2(c)に表したように、Grの画素位置におけるGbの低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号GbLを、その周囲のGb信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号GbLを、その周囲のGb信号及び注目画素のGb信号に低域フィルタを掛けて生成する。
【0075】
また、図2(d)に表したように、Grの画素位置におけるRの低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号RLを、その周囲のR信号及び注目画素のR信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号RLを、その周囲のR信号に低域フィルタを掛けて生成する。
【0076】
また、図2(e)に表したように、Grの画素位置におけるBの低周波数信号BLを、その周囲のB信号に低域フィルタを掛けて生成する。Rの画素位置における低周波数信号BLを、その周囲のB信号に低域フィルタを掛けて生成する。Bの画素位置における低周波数信号BLを、その周囲のB信号及び注目画素のB信号に低域フィルタを掛けて生成する。Gbの画素位置における低周波数信号BLを、その周囲のGb信号に低域フィルタを掛けて生成する。
【0077】
図4は、低周波数画像生成手段に用いられる低域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図4(a)〜(d)において、fv軸が画素配列の垂直方向の空間周波数(サンプリング周波数Fs)、fh軸が画素配列の水平方向の空間周波数(サンプリング周波数Fs)、縦軸が出力値(信号通過量)を表している。また、縦軸方向の上から下に向かって、RL、GrL及びGbL、BLの順に分布している。
【0078】
図4(a)は、Rの画素位置におけるRLの周波数特性、Grの画素位置におけるGrLの周波数特性、Gbの画素位置におけるGbLの周波数特性、Bの画素位置におけるBLの周波数特性である。図4(b)は、Rの画素位置におけるGrLの周波数特性、Grの画素位置におけるRLの周波数特性、Gbの画素位置におけるBLの周波数特性、Bの画素位置におけるGbLの周波数特性である。図4(c)は、Rの画素位置におけるGbLの周波数特性、Grの画素位置におけるBLの周波数特性、Gbの画素位置におけるRLの周波数特性、Bの画素位置におけるGrLの周波数特性である。図4(d)は、Rの画素位置におけるBLの周波数特性、Grの画素位置におけるGbLの周波数特性、Gbの画素位置におけるGrLの周波数特性、Bの画素位置におけるRLの周波数特性である。
【0079】
図4(a)〜(d)に表したように、各低周波数信号の通過帯域が、fv方向及びfh方向において0〜略(1/4)Fsの範囲であるように構成されている。
【0080】
次に、中周波数画像生成手段12は、図3に表したように、注目画素毎の中周波数画素信号を、周囲の画素(5×5の画素範囲)に帯域フィルタを掛けてフィルタリングすることにより補間生成する。図3(a)が、Grの中周波数信号GrMを補間生成する際の帯域フィルタの係数配置図であって、図3(b)が、Gbの中周波数信号GbMを補間生成する際の帯域フィルタの係数配置図である。
【0081】
詳しくは、図3(a)に表したように、Grの画素位置におけるGrの中周波数信号GrMを、その周囲のGr信号及び注目画素のGr信号に帯域フィルタを掛けて生成する。Rの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。Bの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。Gbの画素位置における中周波数信号GrMを、その周囲のGr信号に帯域フィルタを掛けて生成する。
【0082】
また、図3(b)に表したように、Grの画素位置におけるGbの中周波数信号GbMを、その周囲のGb信号に帯域フィルタを掛けて生成する。Rの画素位置における中周波数信号GbMを、その周囲のGb信号に対して帯域フィルタを掛けて生成する。Bの画素位置における中周波数信号GbMを、その周囲のGb信号に対して帯域フィルタを掛けて生成する。Gbの画素位置における中周波数信号GbMを、その周囲のGb信号及び注目画素のGb信号に帯域フィルタを掛けて生成する。
【0083】
図5は、中周波数画像生成手段に用いられる帯域フィルタの特性図であって、各画素位置における各信号の周波数特性を表している。図5(a)〜(c)において、fv軸が画素配列の垂直方向の空間周波数(サンプリング周波数Fs)、fh軸が画素配列の水平方向の空間周波数(サンプリング周波数Fs)、縦軸が出力値(信号通過量)を表している。また、縦軸方向の上から下に向かって、RM、GrM及びGbM、BMの順に分布している。
【0084】
図5(a)は、Rの画素位置におけるRMの周波数特性、Grの画素位置におけるGrMの周波数特性、Gbの画素位置におけるGbMの周波数特性、Bの画素位置におけるBMの周波数特性である。図5(b)は、Rの画素位置におけるGrMの周波数特性、Grの画素位置におけるRMの周波数特性、Gbの画素位置におけるBMの周波数特性、Bの画素位置におけるGbMの周波数特性である。図5(c)は、Rの画素位置におけるGbMの周波数特性、Grの画素位置におけるBMの周波数特性、Gbの画素位置におけるRMの周波数特性、Bの画素位置におけるGrMの周波数特性である。なお、Gbの画素位置におけるGrM、Grの画素位置におけるGbM、Bの画素位置におけるRM、Rの画素位置におけるBM等の周波数特性は、全ての空間周波数で通過量が0であって、図5中には表れていない。
【0085】
図5(a)〜(c)に表したように、GrM及びGbMの通過帯域が、fv方向及びfh方向において中心が(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が0になるように構成されている。
【0086】
次に、画像処理装置200は、図1に表したように、低域周波数画像生成手段11を介して得られた低周波数信号を用いて偽色発生推定量信号(FCS)を生成する偽色発生量推定手段13、第一の色差信号(UL)及び第二の色差信号(VL)を生成する低周波数色差信号生成手段14、低周波数輝度信号(YL)を生成する低周波数輝度信号生成手段15、等を備えている。
【0087】
また、画像処理装置200は、中域周波数画像生成手段12を介して得られた中周波数信号を用いて中周波数輝度信号(YM)を生成する中周波数輝度信号生成手段16、第一の色差信号(UL)と第二の色差信号(VL)の夫々に対して偽色発生推定量信号(FCS)を加減算して第三の色差信号(U)及び第四の色差信号(V)を生成する偽色抑制手段17、低周波数輝度信号生成手段15を介して得られた低域周波数輝度信号(YL)と中周波数輝度信号生成手段16を介して得られた中周波数輝度信号(YM)とを合成して輝度信号(Y)を生成する輝度合成手段18、輝度信号(Y)と第三の色差信号(U)及び第四の色差信号(V)とを用いて画素毎のカラー情報を生成する色空間変換手段19、CPU(Central Processing Unit)20、ROM(Read Only Memory)21等を備え、CPU20がROM21に格納された制御用プログラムに従って当該画像処理装置200及び撮像装置300の各処理を制御する。
【0088】
偽色発生量推定手段13は、(式1)に表したように、低周波数画像生成手段11で生成されたGrLとGbL信号との差分を求めて、偽色発生推定量信号FCSを生成する。
FCS=abs(GrL−GbL)/2 … (1)
この際、必要に応じて、偽色発生量推定手段13で生成する偽色発生推定量信号FCSに対して、上限を設定したり、適切な係数を掛けて可変できるようにしたりしてもよい。
【0089】
低周波数色差信号生成手段14は、(式2)、(式3)に表したように、低周波数画像生成手段11で生成された低周波数信号GrLと低周波数信号GbLとの平均値を求め、この平均値を低周波数信号BLから減算して第一の色差ULを生成すると共に、この平均値を低周波数信号RLから減算して第二の色差VLを生成する。
UL=BL−(GrL+GbL)/2 … (式2)
VL=RL−(GrL+GbL)/2 … (式3)
【0090】
低周波数輝度信号生成手段15は、(式4)に表したように、低周波数画像生成手段11で生成された低周波数信号RLと、低周波数信号GrLと、低周波数信号GbLと、低周波数信号BLとの和を求めて低周波数輝度信号YLを生成する。
YL=RL+GrL+GbL+BL … (式4)
【0091】
中周波数輝度信号生成手段16は、(式5)に表したように、中周波数画像生成手段12で生成された中周波数信号GrMと中周波数信号GbMとの和を求め、これをL倍して中周波数輝度信号YMを生成する。
YM=(GrM+GbM)×L … (式5)
(式5)において、Lは、R及びBの中周波数帯の信号をGの中周波数で推定する係数であって、必要に応じて略1〜4の間で調整する。
【0092】
偽色抑制手段17は、(式6)及び(式7)に表したように、第一の色差信号(UL)と第二の色差信号(VL)の夫々に対して、絶対値が0に近づくように偽色発生推定量信号(FCS)を加減算し、第三の色差信号(U)及び第四の色差信号(V)を生成する
U=sign(UL)*max(0,abs(UL)−FCS) … (式6)
V=sign(VL)*max(0,abs(UL)−FCS) … (式7)
【0093】
輝度合成手段18は、(式8)に表したように、低周波数輝度信号生成手段15で生成された低周波数輝度信号(YL)と、中周波数輝度信号生成手段16で生成された中周波数輝度信号(YM)とを合成して輝度信号(Y)を生成する。
Y=YL+YM … (式8)
この際、必要に応じて、YMに対して任意の係数を掛けて全体の輝度周波数特性を可変させてもよい。
【0094】
色空間変換手段19は、(式9)、(式10)、(式11)に表したように、輝度合成手段18で生成された輝度信号(Y)と、偽色抑制手段17で生成された第三の色差信号(U)及び第四の色差信号(V)とを用いてカラー画像の画素毎のカラー情報(R、G、B)を生成する。
R=Y−U+3*V … (式9)
G=Y−U−V … (式10)
B=Y+3*U−V … (式11)
この際、必要に応じて、RGBの色空間に変換せずにYUVの形式で出力したり、他の色空間に変換して出力したりしてもよい。
【0095】
次に、図6に基づいて、画像処理方法の手順を説明する。この手順は、CPU20がROM21に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図6におけるSは、ステップを表している。
【0096】
まず、この手順は、ユーザによって画像処理装置200及び撮像装置300に起動信号が入力された際にスタートする。
【0097】
次いで、S100において、撮像部100を介して画像信号(色モザイク画像)を画像処理装置200に読み込み、モザイク画像記憶手段10を用いてベイヤー配列に対応付けてR、Gr、Gb、B信号毎に記憶し、その後、S110及びS120に移る。
【0098】
次いで、S110において、低周波数画像生成手段11を用い、色モザイク画像に低域フィルタを掛けてフィルタリングし、低周波数帯のRL信号、GrL信号、GbL信号、BL信号を生成し、その後、S130、S140、S150に移る。
【0099】
次いで、S130において、偽色発生量推定手段13を用い、S110で生成された低周波数信号のGrLとGbL信号との差分を求めて偽色発生量推定信号FCSを生成する。
【0100】
また、S140において、低周波数色差信号生成手段14を用い、S110で生成された低周波数信号の、GrL信号とGbL信号との平均値を求め、BL信号から前記平均値を減じて第一の色差信号ULを生成すると共に、RL信号から前記平均値を減じて第二の色差信号VLを生成する。
【0101】
また、S150において、低周波数輝度信号生成手段15を用い、S110生成されたRL信号、GrL信号、GbL信号、BL信号の和を求めて低周波数輝度信号YLを生成する。
【0102】
次いで、S130及びS140からS170に移り、S170において、偽色抑制手段17を用い、第一の色差信号ULと第二の色差信号VLの夫々に対して、絶対値が0に近づくように偽色発生推定量信号FCSを加減算し、第三の色差信号U及び第四の色差信号Vを生成し、その後、S190に移る。
【0103】
一方、S120において、中周波数画像生成手段12を用い、色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGrM信号、GbM信号を生成し、その後、S160に移る。
【0104】
次いで、S160において、中周波数輝度信号生成手段16を用い、S120で生成されたGrM信号とGbM信号との和を求め、この和に対応付けて中周波数輝度信号YMを生成し、その後、S180に移る。
【0105】
次いで、S180において、輝度合成手段18を用い、S150で生成された低周波数輝度信号YLとS160で生成された中周波数輝度信号YMとを合成して輝度信号Yを生成し、その後、S190に移る。
【0106】
次いで、S190において、色空間変換手段190を用い、S170で生成された色差信号(U、L)とS180で生成された輝度信号Yを、カラー画像の画素毎のカラー情報(R、G、B)に変換し、その後、本処理を終了する。
【0107】
なお、本発明の低周波数画像生成ステップがS110に相当し、本発明の中周波数画像生成ステップがS120に相当し、本発明の偽色発生量推定ステップがS130に相当し、本発明の低周波数色差信号生成ステップがS140に相当し、本発明の低周波数輝度信号生成ステップがS150に相当し、本発明の中周波数輝度信号生成ステップがS160に相当し、本発明の偽色抑制ステップがS170に相当し、本発明の輝度合成ステップがS180に相当し、本発明の色空間変換ステップがS190に相当する。
【0108】
以上のように、第一の実施形態における画像処理装置200及び画像処理方法、画像処理プログラムによれば、低周波数画像生成手段11と中周波数画像生成手段12においてデモザイク処理に係る補間処理が同時に行われると共に、輝度信号Y及び色差信号U、Vを生成する際の画素信号の生成が行われ、色空間変換手段19に至る以降の工程においては補間処理が不要になるので、色モザイク画像からカラー画像を生成する際に処理負荷を低減できる。
【0109】
また、図2及び図3に表したように、低周波数画像を補間生成する際の低域フィルタ及び中周波数画像を補間生成する際の帯域フィルタが5×5の画素範囲のフィルタサイズで実現できるので、注目画素の周辺画素を保持するためのメモリ容量が削減できて、演算量の削減ができる。
【0110】
(第2の実施形態)
次に、本発明の第2の実施形態を図7〜図11に基づいて説明する。第2の実施形態の基本的な構成は、第1の実施形態と共通するので、第1の実施形態と異なる部分について詳細に説明し、第1の実施形態と共通する構成部分については同じ符号を付与して詳細な説明を省く。
【0111】
第2の実施形態は、第1の実施形態における低周波数色差信号生成手段14の構成のみが異なるものであって、第2の実施形態における低周波数色差信号生成手段には符号14Aを付与し、第二低周波数色差信号生成手段14Aとして説明する。
【0112】
図7に表したように、第二低周波数色差信号生成手段14Aは、低周波数画像生成手段11で生成された画像信号GrL、GbL、RL、BLに基づいて第1の色差信号UL及び第2の色差信号VLを生成する。
【0113】
詳しくは、第二低周波数色差信号生成手段14Aは、図7(a)に表したように、低周波数画像生成手段11で生成された画像信号GrLからGbLを減じて正又は負の差分値を算出する第一の減算手段14b及び第一の減算手段14bで得られた差分値の正又は負の符号を取得する第一の符号取得手段14c、低周波数画像生成手段11で生成された画像信号BLからRLを減じて正又は負の差分値を算出する第二の減算手段14d及び第二の減算手段14dで得られた差分値の正又は負の符号を取得する第二の符号取得手段14e、第一の符号取得手段14cで取得した正又は負の符号と第二の符号取得手段14eで取得した正又は負の符号とを乗算してその乗算結果としての正又は負の符号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一、第二の指令信号を出力するXOR演算手段14f、XOR演算手段14fで得られた指令信号に応じて第一の色差信号及び第二の色差信号の演算式を切り換える第一の色差信号演算切り換え手段14g及び第二の色差色差信号切り換え手段14h、第一の色差信号演算切り換え手段14gで切り換えられた演算式を用いて第一の色差信号ULを算出する第一の色差信号算出手段14j、第二の色差信号演算切り換え手段14hで切り換えられた演算式を用いて第二の色差信号VLを算出する第二の色差信号算出手段14k、等によって構成されている。
【0114】
XOR演算手段14fは、乗算結果が正の場合には、第一の演算式を指令する第一の指令信号を出力し、乗算結果が負の場合には、第二の演算式を指令する第二の指令信号を出力する。
第一の色差信号演算切り換え手段14gは、XOR演算手段14fから第一の指令信号が入力された場合には第一の色差信号算出手段14jにGrLを出力し、XOR演算手段14fから第二の指令信号が入力された場合には第一の色差信号算出手段14jにGbLを出力する。
【0115】
一方、第二の色差信号演算切り換え手段14hは、XOR演算手段14fから第一の指令信号を入力された場合には第二の色差信号算出手段14kにGbLを出力し、XOR演算手段14fから第二の指令信号が入力された場合には第二の色差信号算出手段14kにGrLを出力する。
【0116】
第一の色差信号算出手段14jは、BL信号から第一の色差信号演算切り換え手段14gを介して出力されたGrL信号又はGbL信号を減じて第一の色差信号ULを算出する。具体的には、第一の色差信号算出手段14jは、第一の色差信号演算切り換え手段14gを介してGrL信号が出力された際には、第一の色差信号ULをUL=BL−GrLの演算式で算出し、第一の色差信号演算切り換え手段14gを介してGbL信号が出力された際には、第一の色差信号ULをUL=BL−GbLの演算式で算出する。
【0117】
第二の色差信号算出手段14kは、RL信号から第二の色差信号演算切り換え手段14hを介して出力されたGbL信号又はGrL信号を減じて第二の色差信号VLを算出する。具体的には、第二の色差信号算出手段14kは、第二の色差信号演算切り換え手段14hを介してGbL信号が出力された際には、第二の色差信号VLをVL=RL−GbLの演算式で算出し、第二の色差信号演算切り換え手段14hを介してGrL信号が出力された際には、第二の色差信号VLをVL=RL−GrLの演算式で算出する。
【0118】
前述の構成により、(GrL-GbL)×(BL-RL)の演算式で得られる正又は負の演算符号に応じて第一の色差信号UL及び第二の色差信号VL算出の演算式が切り換えられる。
つまり、(GrL-GbL)×(BL-RL)の演算式で正の符号が得られた場合には、第一の色差信号ULがUL=BL-GrLの演算式で算出され、第二の色差信号VLがVL=RL-GbLの演算式で算出される。
【0119】
また、前述の構成により、(GrL-GbL)×(BL-RL)の演算式で負の符号が得られた場合には、第一の色差信号ULがUL=BL-GbLの演算式で算出され、第二の色差信号VLがVL=RL-GrLの演算式で算出される。
【0120】
前述した第2の実施形態による低周波数色差信号生成手段14Aによれば、(GrL−GbL)×(BL−RL)の演算式で得られる正又は負の符号に対応付けてモワレ(干渉縞)の方向を推定して、その推定結果に応じて第一の色差信号及び第二の色差信号生成の演算式を切り換えることにより、彩度を損なうことなく色モワレの発生を低減できる。以下に、第2の実施形態の第二低周波数色差信号生成手段14Aの作用効果を説明する。
【0121】
図8は、第一の色差UL及び第二の色差VLを、第1の実施形態中の(式2)、(式3)で算出して得られたUL及びVLの特性図である。(式2)及び(式3)ではUL及びVLを算出する際に、BL及びRLの夫々からGrLとGbLとの平均を減算している。
【0122】
図8において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図8(a)がRの画素位置におけるUL特性、図8(b)がRの画素位置におけるVL特性、図8(c)がGrの画素位置におけるUL特性、図8(d)がGrの画素位置におけるVL特性を表している。
【0123】
原色RGBのベイヤー配列では、色情報が、(fh,fV)=(±fs/2,±fs/2)の周波数で変調されているので、この周波数成分を取り出して復調すれば色情報が得られる。この際、fs/2はナイキスト周波数である。
【0124】
色情報を生成する際に理想的には、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数を拾わない方が良いが、図8の特性から分るように、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数において0.5程度の通過帯域を有しているため、この部分が偽色となって本来色のない領域に色がついてしまう。
【0125】
そして、第1の実施形態中の(式6)及び(式7)を用いて色差信号U、Vを生成すれば、偽色発生量推定手段13で生成される偽色発生推定量信号(FCS)が、(fh,fV)=(0,±fs/2)、(±fs/2,0)の周波数において発生している偽色と相関が高いが、画像に高周波数を多く含む場合には、偽色が発生していない箇所でも偽色発生推定量信号が大きな値となって、カラー画像の彩度が低下することがある。
【0126】
そこで、本願発明者は、カラー画像の彩度が低下をすることなく偽色を低減する手段として、第二低周波数色差信号生成手段14Aに表したように、第一の色差信号UL及び第二の色差信号VLを生成する際に、GrLとGbLの平均値を用いずにどちらか一方を用いる方法を発明した。
【0127】
つまり、第一の色差信号UL及び第二の色差信号VLを生成する際に、GrLとGbLの何れかを用いるとすれば、(式12)及び(式13)を用いる第一の演算式と(式14)及び(式15)を用いる第二の演算式とがある。そして、本実施形態では、(GrL−GbL)で得られる正又は負の符号と(BL−RL)で有られる正又は負の符号との組み合わせによって第一の演算方法と第二の演算方法とを切り換える。
「第一の演算式」
UL=BL−GrL … (式12)
VL=RL−GbL … (式13)
「第二の演算式」
UL=BL−GbL … (式14)
VL=RL−GrL … (式15)
【0128】
第一、第二の演算式の夫々につき偽色の発生をCZP(Circular Zone Plate)で観察した結果、第一の演算式では(fh,fV)=(±fs/2,0)で発生する偽色(縦縞)が減少し、(fh,fV)=(0,±fs/2)で発生する偽色(横縞)が増加する。また、第二の演算式では、第一の演算式とは逆となり、(fh,fV)=(0,±fs/2)で発生する偽色(横縞)が減少し、(fh,fV)=(±fs/2,0)で発生する偽色(縦縞)が増加する。そして、本願発明者は、偽色の発生エリアが(fh,fV)=(±fs/2,0)と(fh,fV)=(0,±fs/2)との何れに近いか、つまり、縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算方法を切り換えることにより、偽色を抑制できることを見出した。
【0129】
次に、図9は、第一の演算式を適用して得られたR画素及びGr画素における色差信号の周波数特性である。図9において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図9(a)がRの画素位置におけるUL特性、図9(b)がRの画素位置におけるVL特性、図9(c)がGrの画素位置におけるUL特性、図9(d)がGrの画素位置におけるVL特性を表している。
【0130】
図9において、ULとVLともに、(fh,fV)=(±fs/2,0)の周波数に
おいては、信号通過量が0となって、この周波数における偽色が発生しないが、(fh,fV)=(0,±fs/2)の周波数においては、信号通過量が1となっているため偽色が発生する。また、第二の演算式を用いれば、図9においてfhとfvが入れ替わった特性となる。
【0131】
従って、図9の周波数特性に基づいて、偽色発生エリアが(±fs/2,0)(0,±fs/2)の何れに近いか、つまり縦縞と横縞の方向判定ができれば、その方向判定に基づいて色差信号の演算式を切り換えることにより、偽色を抑制できる。
【0132】
次に、縦縞と横縞との方向判定の手段を図10及び図11を用いて説明する。
図10において、fv軸が画素配列の垂直方向の空間周波数、fh軸が画素配列の水平方向の空間周波数、縦軸が出力値を表している。また、図10(a)がGrの画素位置における(GrL−GbL)の出力特性、図10(b)がRの画素位置における(GrL−GbL)の出力特性、図10(c)がBの画素位置における(GrL−GbL)の出力特性、図10(d)がGbの画素位置における(GrL−GbL)の出力特性を表している。
【0133】
図10(b)に表したようにRの画素位置において(GrL−GbL)の演算結果が正(+)ならば横縞、負(−)ならば縦縞と推定でき、図10(c)に表したようにBの画素位置において(GrL−GbL)の演算結果が正(+)ならば縦縞、負(−)ならば横縞と推定できることが分った。しかしながら、図10(a)及び図10(d)に表したようにGr及びGbの画素位置においては、(GrL−GbL)の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。
【0134】
一方、図11(a)に表したようにGrの画素位置の画素位置において(BL−RL)の演算結果が正(+)ならば縦縞、負(−)ならば横縞と推定でき、図11(d)に表したようにGbの画素位置の画素位置において(BL−RL)の演算結果が正(+)ならば横縞、負(−)ならば縦縞と推定できることが分った。しかしながら、図11(b)及び図11(c)に表したようにRの画素位置及びBの画素位置においては、(BL−RL)の演算結果の符合によって縦縞と横縞との方向判定ができないことが分った。
【0135】
したがって、図7(b)に表したように、Gr、R、B、Gbの画素位置における(GrL−GbL)及び(BL−RL)の演算結果で得られる符号に関連つけて縦縞と横縞との方向判定ができ、(GrL−GbL)×(BL−RL)の演算結果で得られる数値が、正(+)ならば縦縞、負(−)ならば横縞と判定できる。
【0136】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものでなく、各種の態様をとることができる。例えば、図2及び図3において低域フィルタ及び帯域フィルタを5×5画素範囲としたが、演算量及び回路規模に余裕があれば更に広い画素範囲としてもよい。これにより、より急峻な特性を得ることができる。
【産業上の利用可能性】
【0137】
本発明に係る画像処理装置及び画像処理方法、画像処理プログラムは、単板式の撮像素子を介して得られた色モザイク画像から画素毎に複数の色成分を備えたカラー画像を生成する際に好適である。
【符号の説明】
【0138】
1…結像光学系、1a…撮像レンズ、1b…Iris(絞り)、2…イメージセンサ、2a…撮像素子、2b…可変利得増幅器(AGC:Automatic Gain Control)、2c…A/D変換器、10…モザイク画像記憶手段、11…低周波数画像生成手段、12…中周波数画像生成手段、13…偽色発生量推定手段、14…低周波数色差信号生成手段、14A…第二低周波数色差信号生成手段、15…低周波数輝度信号生成手段、16…中周波数輝度信号生成手段、17…偽色抑制手段、18…輝度合成手段、19…色空間変換手段、20…CPU(Central Processing Unit)、21…ROM(Read Only Memory)、100…撮像部、200…画像処理装置、300…撮像装置。
【特許請求の範囲】
【請求項1】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低周波数画像生成手段と、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段と、
前記低周波数画像生成手段を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、
前記低周波数画像生成手段で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、
前記中周波数画像生成手段で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、
前記低周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号Yを生成する輝度合成手段と、
前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、
を備えた画像処理装置。
【請求項2】
前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、
前記第二低周波数色差信号生成手段が、
前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記低周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段と、
を備え
前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記低周波数画像生成手段において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであるように構成されている、
請求項1乃至請求項3の何れかに記載の画像処理装置。
【請求項5】
前記中周波数画像生成手段において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0になるように構成されている、
請求項1乃至請求項4の何れかに記載の画像処理装置。
【請求項6】
前記低周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項1乃至請求項5の何れかに記載の画像処理装置。
【請求項7】
前記中周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成する、
請求項1乃至請求項6の何れかに記載の画像処理装置。
【請求項8】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低周波数画像生成手順と、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手順と、
前記低周波数画像生成手順を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、
前記低周波数画像生成手順で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、
前記中周波数画像生成手順で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、
前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成手順と、
前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順14で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、
を用いる画像処理方法。
【請求項9】
前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、
前記第二低周波数色差信号生成手順が、
前記低周波数画像生成手順を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手順を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項8に記載の画像処理方法。
【請求項10】
前記低域周波数画像生成手順を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、
を用い、
前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項8又は請求項9に記載の画像処理方法。
【請求項11】
前記低周波数画像生成手順において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsである、
請求項8乃至請求項10の何れかに記載の画像処理方法。
【請求項12】
前記中周波数画像生成手順において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0である、
請求項8乃至請求項11の何れかに記載の画像処理方法。
【請求項13】
前記低周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項8乃至請求項12の何れかに記載の画像処理方法。
【請求項14】
前記中周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、Gr及びGbの中周波数信号を生成する、
請求項8乃至請求項13の何れかに記載の画像処理方法。
【請求項15】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成ステップと、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成ステップと、
前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、
前記低域周波数画像生成ステップで得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、
前記中周波数画像生成ステップで得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、
前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成ステップと、
前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項16】
前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、
前記第二低周波数色差信号生成ステップが、
前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項15に記載の画像処理プログラム。
【請求項17】
前記低域周波数画像生成ステップを介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、
を用い
前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項15又は請求項16に記載の画像処理プログラム。
【請求項18】
前記低周波数画像生成ステップにおいて、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が、0〜略(1/4)Fsである、
請求項15乃至請求項17の何れかに記載の画像処理プログラム。
【請求項19】
前記中周波数画像生成ステップにおいて、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0である、
請求項15乃至請求項18の何れかに記載の画像処理プログラム。
【請求項20】
前記低周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項15乃至請求項19の何れかに記載の画像処理プログラム。
【請求項21】
前記中周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、Gr及びGbの中周波数信号を生成する、
請求項15乃至請求項20の何れかに記載の画像処理プログラム。
【請求項1】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理装置であって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低周波数画像生成手段と、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手段と、
前記低周波数画像生成手段を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手段と、
前記低周波数画像生成手段で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手段と、
前記中周波数画像生成手段で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手段と、
前記低周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号Yを生成する輝度合成手段と、
前記輝度合成手段で生成された輝度信号と前記低周波数色差信号生成手段で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手段と、
を備えた画像処理装置。
【請求項2】
前記低周波数色差信号生成手段に代えて第二低周波数色差信号生成手段を備え、
前記第二低周波数色差信号生成手段が、
前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記低周波数画像生成手段を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手段と、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手段と、
を備え
前記色空間変換手段が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記低周波数画像生成手段において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsであるように構成されている、
請求項1乃至請求項3の何れかに記載の画像処理装置。
【請求項5】
前記中周波数画像生成手段において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0になるように構成されている、
請求項1乃至請求項4の何れかに記載の画像処理装置。
【請求項6】
前記低周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項1乃至請求項5の何れかに記載の画像処理装置。
【請求項7】
前記中周波数画像生成手段が、前記R、Gr、Gb、Bの画素位置において、Gr及びGbの中周波数信号を生成する、
請求項1乃至請求項6の何れかに記載の画像処理装置。
【請求項8】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理方法であって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低周波数画像生成手順と、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成手順と、
前記低周波数画像生成手順を介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成手順と、
前記低周波数画像生成手順で得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成手順と、
前記中周波数画像生成手順で得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成手順と、
前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成手順と、
前記輝度合成手順で生成された輝度信号と前記低周波数色差信号生成手順14で生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換手順と、
を用いる画像処理方法。
【請求項9】
前記低周波数色差信号生成手順に代えて第二低周波数色差信号生成手順を用い、
前記第二低周波数色差信号生成手順が、
前記低周波数画像生成手順を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手順を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項8に記載の画像処理方法。
【請求項10】
前記低域周波数画像生成手順を介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定手順と、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制手順と、
を用い、
前記色空間変換手順が、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項8又は請求項9に記載の画像処理方法。
【請求項11】
前記低周波数画像生成手順において、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が0〜略(1/4)Fsである、
請求項8乃至請求項10の何れかに記載の画像処理方法。
【請求項12】
前記中周波数画像生成手順において、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0である、
請求項8乃至請求項11の何れかに記載の画像処理方法。
【請求項13】
前記低周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波数信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項8乃至請求項12の何れかに記載の画像処理方法。
【請求項14】
前記中周波数画像生成手順において、前記R、Gr、Gb、Bの画素位置毎に、Gr及びGbの中周波数信号を生成する、
請求項8乃至請求項13の何れかに記載の画像処理方法。
【請求項15】
R(赤)G(緑)B(青)3色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力され各画素が単一色の色情報を有する色モザイク画像を用いて、各画素が複数色の色情報を備えたカラー画像を生成する画像処理プログラムであって、
前記ベイヤー配列において、Rの横に位置するGの画素をGr、Bの横に位置するGの画素をGbと表した際に、
前記色モザイク画像に低域フィルタを掛けてフィルタリングし、低域周波数帯のR信号、Gr信号、Gb信号、B信号を生成する低域周波数画像生成ステップと、
前記色モザイク画像に帯域フィルタを掛けてフィルタリングし、中周波数帯のGr信号及びGb信号を生成する中周波数画像生成ステップと、
前記低域周波数画像生成ステップを介して得られた低周波数信号を用いて、Gr信号とGb信号との平均値を求め、B信号から前記平均値を減じて第一の色差信号を生成すると共に、R信号から前記平均値を減じて第二の色差信号を生成する低周波数色差信号生成ステップと、
前記低域周波数画像生成ステップで得られたR信号、Gr信号、Gb信号、B信号の和を求めて低周波数輝度信号を生成する低周波数輝度信号生成ステップと、
前記中周波数画像生成ステップで得られたGr信号とGb信号との和を求め、この和に対応付けて中周波数輝度信号を生成する中周波数輝度信号生成ステップと、
前記低域周波数輝度信号と前記中周波数輝度信号とを合成して輝度信号を生成する輝度合成ステップと、
前記輝度合成ステップで生成された輝度信号と前記低周波数色差信号生成ステップで生成された第一の色差信号及び第二の色差信号とを用いて、前記カラー画像の画素毎のカラー情報を生成する色空間変換ステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項16】
前記低周波数色差信号生成ステップに代えて第二低周波数色差信号生成ステップを備え、
前記第二低周波数色差信号生成ステップが、
前記低周波数画像生成手段を介して得られた低周波数信号の、Gr信号からGb信号を減じて得られた差分値の正(+)又は負(-)の符号と、B信号からR信号を減じて得られた差分値の正又は負の符号とを乗算し、
前記前記低周波数画像生成手段を介して得られた低周波数信号のGr信号、Gb信号、B信号、R信号を夫々GrL、GbL、BL、RLと表し、前記第一の色差信号をUL、前記第二の色差信号をVLと表した際に、
前記乗算の結果が正(+)の際には、前記第一の色差信号ULをUL=BL-GrLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GbLの演算式を用いて算出し、
前記乗算の結果が負(-)の際には、前記第一の色差信号ULをUL=BL-GbLの演算式を用いて算出する共に、前記第二の色差信号VLをVL=RL-GrLの演算式を用いて算出する、
ことを特徴とする請求項15に記載の画像処理プログラム。
【請求項17】
前記低域周波数画像生成ステップを介して生成されたGr信号とGb信号との差分を求めて、偽色発生推定量信号を生成する偽色発生量推定ステップと、
前記第一の色差信号と前記第二の色差信号の夫々に対して、絶対値が0に近づくように前記偽色発生推定量信号を加減算し、第三の色差信号及び第四の色差信号を生成する偽色抑制ステップと、
を用い
前記色空間変換ステップが、前記第一の色差信号及び第二の色差信号に代えて、前記第三の色差信号及び第四の色差信号を用いて前記カラー情報を生成する、
請求項15又は請求項16に記載の画像処理プログラム。
【請求項18】
前記低周波数画像生成ステップにおいて、サンプリング周波数をFsと表した際に、前記低周波数信号の通過帯域が、0〜略(1/4)Fsである、
請求項15乃至請求項17の何れかに記載の画像処理プログラム。
【請求項19】
前記中周波数画像生成ステップにおいて、サンプリング周波数をFsと表した際に、前記中周波数信号の通過帯域が、中心が略(1/4)Fsであって、(0)Fs及び(1/2)Fsでは通過量が略0である、
請求項15乃至請求項18の何れかに記載の画像処理プログラム。
【請求項20】
前記低周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、夫々に対応付けられた色の低周波信号を生成すると共に、この対応付けられた色を除く他の全ての色の低周波数信号を生成する、
請求項15乃至請求項19の何れかに記載の画像処理プログラム。
【請求項21】
前記中周波数画像生成ステップにおいて、前記R、Gr、Gb、Bの画素位置毎に、Gr及びGbの中周波数信号を生成する、
請求項15乃至請求項20の何れかに記載の画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−35893(P2011−35893A)
【公開日】平成23年2月17日(2011.2.17)
【国際特許分類】
【出願番号】特願2010−110429(P2010−110429)
【出願日】平成22年5月12日(2010.5.12)
【特許番号】特許第4585045号(P4585045)
【特許公報発行日】平成22年11月24日(2010.11.24)
【出願人】(501324524)アキュートロジック株式会社 (53)
【Fターム(参考)】
【公開日】平成23年2月17日(2011.2.17)
【国際特許分類】
【出願日】平成22年5月12日(2010.5.12)
【特許番号】特許第4585045号(P4585045)
【特許公報発行日】平成22年11月24日(2010.11.24)
【出願人】(501324524)アキュートロジック株式会社 (53)
【Fターム(参考)】
[ Back to top ]