画像処理装置及び画像処理方法、画像処理プログラム
【課題】モザイク画像からカラー画像を生成する際に、ジッパーアーチファクトやジャギーを抑制する。
【解決手段】色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成するサンプリング手段と、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成手段とを備える。
【解決手段】色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成するサンプリング手段と、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像から、カラー画像を生成する画像処理装置及び画像処理方法に関し、特に、撮像素子を介して出力された出力信号から輝度信号を生成する技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像系において、レンズを介して撮像素子に被写体像を結像して、この撮像素子によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。
【０００３】
そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共に、その前面にカラーフィルタを備え、このカラーフィルタを介して出力した各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。
【０００４】
撮像素子を１つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。通常、Ｒの色フィルタが設けられた画素をＲ画素（赤画素）、Ｇの色フィルタが設けられた画素をＧ画素（緑画素）、Ｂの色フィルタが設けられた画素をＢ画素（青画素）と呼ぶ。
【０００５】
また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にＲとＧが交互に配置された行と水平方向にＧとＢが交互に配置された行とが垂直方向に交互に配列され、水平方向２画素×垂直方向２画素（２×２画素）を１単位（１ユニット）とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、２つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。
【０００６】
そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある（例えば、特許文献１参照）。
【０００７】
詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、いわゆるデモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理である（所謂、色補間処理である）。
【０００８】
また、輝度信号を生成する際の簡素な方法としては、撮像素子から出力された色モザイク画像に対して、例えば（式１）に表したローパスフィルタを用いてフィルタリングを直接することで色キャリア成分を除去し、フィルタを介して得られた画素信号を用いて輝度を生成する方法が知られている（例えば、特許文献２参照）。つまり、色モザイク画像に対して一様なローパスフィルタを介して出力された画素信号を輝度信号としている（以下、ＳｗｉｔｃｈＹ輝度生成法という）。
【数１】
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−３４１７０２号公報
【特許文献２】特開２０００−２８７２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来のように注目画素を中心として、所定の画素範囲にローパスフィルタを掛けて輝度を生成する方法によれば、特に斜めの赤画像と青画像との画像境界に沿って、明暗がギザギザ模様のジッパーアーチファクト（Ｚｉｐｐｅｒ Ａｒｔｉｆａｃｔ）が発生し、さらに改善の余地があった。ここで、ジッパーアーチファクトとは、デモザイク処理によって、本来の画像にない明暗が画像境界に沿ってジッパー状（所謂、スライドファスナー状である）に現れる現象をいう。
【００１１】
詳しくは、図９（ａ）に表したように、画像境界Ｌを介して、右上領域（図中のＲＵ）に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持つ青画像が結像し、左下領域（図中のＬＤ）に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つ赤画像が結像した際に、色モザイク画像は、図９（ｂ）に表したように、右上領域の画像範囲ではＢ画素が１、左下領域の画像範囲ではＲ画素が１となり、他の画素は全て０になる。
【００１２】
そして、図９（ｂ）に表した画像信号に対して、色キャリア成分除去のために（式１）のローパスフィルタを掛けると、図９（ｃ）に表したように、境界線Ｌに沿って好ましくない画素値３／１６、５／１６が交互に生成され、ジッパーアーチファクトと呼ばれる明暗のパターンが発生する。また、このような画像境界における輝度の不整合は、赤と青との境界に限らず、赤と青の色差が変化する領域で生じ易く、カラー画像にジャギー（ｊａｇｇｉｅｓ）となって現れる。
【００１３】
そこで、本発明は、原色ベイヤー配列の単板式撮像装置から出力されたモザイク画像からカラー画像を生成する際に、赤と青との画像境界に沿って発生するジッパーアーチファクトやジャギーを抑制し、高品位なカラー画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
かかる目的を達成するためになされた請求項１に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えていることを特徴とする。
【００１５】
請求項１に記載の画像処理装置によれば、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００１６】
また、請求項１に記載の発明は、請求項２に記載の発明のように、前記輝度生成手段が、前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００１７】
また、請求項１に記載の発明は、請求項３に記載の発明のように、前記輝度生成手段が、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００１８】
次に、請求項４に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、を用いることを特徴とする。
【００１９】
請求項４に記載の画像処理方法によれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、を用いていることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２０】
次に、請求項４に記載の画像処理方法は、請求項５に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項２に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２１】
また、請求項４に記載の発明は、請求項６に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項３に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２２】
次に、請求項７に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることを特徴とする。
【００２３】
請求項７に記載の画像処理プログラムによれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２４】
また、請求項７に記載の画像処理プログラムは、請求項８に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項２に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２５】
また、請求項７に記載の発明は、請求項９に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項３に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【発明の効果】
【００２６】
本発明の画像処理装置、画像処理方法及び画像処理プログラムは、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２７】
また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、輝度を生成する際に、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができ、Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明が適用された第１の実施形態における、撮像装置の構成を表したブロック図である。
【図２】ベイヤー配列の構成を表した図である。
【図３】同第１の実施形態における、各画素の輝度を生成する説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ０を表し、（ｂ）が輝度Ｙ０を補正すべく生成された輝度補正値Ｄを表し、（ｃ）が仮の輝度Ｙ０から輝度補正値Ｄの所定量を減じて補正された輝度Ｙ１を表した図である。
【図４】同第１の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【図５】本発明が適用された第２の実施形態における、撮像装置の構成を表したブロック図である。
【図６】同第２の実施形態における、Ｂ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図である。
【図７】同第２の実施形態における、サンプリングの説明図である。
【図８】同第２の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【図９】従来例における、ジッパーアーチファクトの発生原理を説明する図であって、（ａ）がベイヤー配列における青と赤の画像境界を表した図、（ｂ）が（ａ）に対応付けて各画素位置に画素値を付与した図、（ｃ）が画素毎に輝度値が生成された図である。
【発明を実施するための形態】
【００２９】
（第１の実施形態）
次に、本発明の画像処理装置、画像処理方法及び画像処理プログラムの一実施例を図面にもとづいて説明する。
【００３０】
図１は本発明が適用された第１の実施形態における撮像装置の構成を表したブロック図、図２は同実施形態におけるベイヤー配列の色モザイク画像の構成を表した図、図３は同実施形態における輝度生成の説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ０を表し、（ｂ）が輝度Ｙ０を補正すべく生成された補正値Ｄを表し、（ｃ）が仮の輝度Ｙ０から補正値Ｄの所定量を減じて補正された輝度Ｙ１を表した図である。また、図４は、同実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【００３１】
図１に表したように、撮像装置１は、被写体像を撮像素子５に導いてデジタル画像信号Ｃ（モザイク状の画像信号である）として出力する撮像ユニット２と、撮像ユニット２を介して出力されたデジタル画像信号Ｃに基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。
【００３２】
撮像ユニット２には、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（例えばＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（図３中のＺ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のＺ方向のスライド量を検出する検出部１０等が備えられている。なお、本発明は、撮像レンズ３、レンズ駆動部１２、センサ１１、検出部１０等の有無に限定されるものではなく、後述のように、ＲＧＢ３色のベイヤー配列のカラーフィルタを有する撮像素子５を介して出力される色モザイク画像の画像処理に係るものである。
【００３３】
撮像素子５は、複数の光電変換素子がマトリクス状に並設されて構成され、夫々の光電変換素子毎に撮像信号を光電変換してアナログ画像信号を出力するように構成されている。
【００３４】
また、撮像素子５は、光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した光量を電気信号に変換する。
【００３５】
ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器９を介して入力された撮像素子５からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、光電変換素子に対応付けてデジタル画像信号Ｃに変換して画像処理装置１００に出力する。
【００３６】
なお、撮像ユニット２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット２から画像処理装置１００に、モザイク状の画像信号が出力される。
【００３７】
次に、画像処理装置１００は、撮像ユニット２から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離する色プレーン分解部２１、色プレーン分解部２１から出力された画素信号にもとづいてカラー画像の画素位置におけるカラー画像信号としての輝度を生成する輝度生成部２５及び色差を生成する色差生成部３０を備えている。
【００３８】
また、画像処理装置１００は、輝度生成部２５及び色差生成部３０から出力されたカラー画像信号に対してカラー画像の見栄えを良くするために公知のガンマ補正や彩度補正、エッジ強調を行う視覚補正部３４、視覚補正部３４を介して出力されたカラー画像を例えばＪＰＥＧ等の方法で圧縮する圧縮部３５、圧縮部３５を介して出力されたカラー画像を例えばフラッシュメモリ等の記録媒体に記憶する記録部３６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等によって構成され、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該画像処理装置１００及び撮像装置１の各処理を制御する。
【００３９】
色プレーン分解部２１は、図２に表したベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒ（一方向においてＲに隣接するＲ）の画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂ（一方向においてＢに隣接するＲ）の画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ１８からの指令に基づき、これらの画素信号を輝度生成部２５及び色差生成部３０に出力する。なお、各色フィールドメモリは、仮想的な物であり、実際には各色フィールドが単一のメモリ上で区別可能なように各色フィールドをアドレスによって振り分けてもよい。
【００４０】
次に、輝度生成部２５は、色モザイク画像の配列におけるＲ、Ｇ、Ｂ毎に対象点（注目画素）を包含する画素範囲が設定されて、この画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて対象点の輝度を生成する。
【００４１】
輝度生成部２５は、注目画素及び注目画素の周囲の画素の画素値に所定の係数を掛けて合計し仮の輝度Ｙ０を生成するＳｗｉｔｃｈＹ生成部２６、色モザイク画像からＧの画素を除いてＲ及びＢの画素値のみからなるＲＢプレーンを生成するＲＢプレーン生成部２７、ＲＢプレーンに対して所定の帯域フィルタを掛けて輝度の補正値Ｄを生成する輝度補正値生成部２８、仮の輝度Ｙ０から補正値Ｄに所定の係数を乗じた量を減じて第二の輝度Ｙ１を生成する輝度補正部２９等によって構成されている。
【００４２】
詳しくは、ＳｗｉｔｃｈＹ生成部２６において、色モザイク画像における注目画素を中心として３×３の画素範囲内に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ０が求められる。つまり、注目画素を中心としたｕｖ方向３画素を設定して各画素位置に応じた重み付けをし、これらの和を注目画素の仮の輝度Ｙ０としている。なお、本実施例では、図９（ａ）に表したように、色モザイク画像が、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとし、以下に説明する。
【００４３】
ＳｗｉｔｃｈＹ生成部２６では、図３（ａ）に表したように仮の輝度Ｙ０が求められる。図３（ａ）において、各画素位置に記入された画素値の１／１６が仮の輝度Ｙ０（所謂、本発明における第一の輝度である）である。例えば、図３（ａ）における（ｕ，ｖ）＝（１，１）に位置する画素Ａ１１の輝度Ｙ０は、Ｙ０＝（Ａ０0×１＋Ａ１０×２＋Ａ２０×１＋Ａ０１×２＋Ａ１１×４＋Ａ２１×２＋Ａ０２×１＋Ａ１２×２＋Ａ２２×１）／１６の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ０0＝０、Ａ１０＝０、Ａ２０＝０、Ａ０１＝０、Ａ１１＝０、Ａ２１＝１、Ａ０２＝０、Ａ１２＝１、Ａ２２＝０、を代入すると、Ｙ０＝４／１６が得られる。
【００４４】
そして、ＲＢプレーン生成部２７では、色モザイク画像におけるＧの画素に位置する画素値が０となるので、図９（ｂ）と同じ様に画像境界Ｌを介して右上領域域のＢ画素と左下領域のＲ画素の位置に画素値を有するＲＢプレーンが生成される。
【００４５】
次に、輝度補正値生成部２８では、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の画素範囲内に位置する各画素値に（式２）で表した帯域フィルタを掛けて画素値を合計し、注目画素における輝度の補正値Ｄを求める。つまり、注目画素を中心としたｕｖ方向５画素を設定して画素位置に応じた重み付けをし、これらの和を注目画素の補正値Ｄとしている。
【数２】
【００４６】
そして、図３（ｂ）に表したようにＢの画素とＲの画素に補正値Ｄが生成される。図３（ｂ）において、各画素位置に記入された数値の１／６４が補正値Ｄである。例えば、図３（ａ）における（ｕ，ｖ）＝（３，２）に位置する画素Ａ３２の補正値Ｄは、Ｄ＝（Ａ１0×（−１）＋Ａ２０×（−２）＋Ａ３０×（−２）＋Ａ４０×（−２）＋Ａ５０×（−１）＋Ａ１1×（−２）＋Ａ２1×（０）＋Ａ３1×（４）＋Ａ４1×（０）＋Ａ５1×（−２）＋Ａ１２×（−２）＋Ａ２２×（４）＋Ａ３２×（１２）＋Ａ４２×（４）＋Ａ５２×（−２）＋Ａ１３×（−２）＋Ａ２３×（０）＋Ａ３３×（４）＋Ａ４３×（０）＋Ａ５３×（−２）＋Ａ１４×（−１）＋Ａ２４×（２）＋Ａ３４×（２）＋Ａ４４×（−２）＋Ａ５４×（−１））／６４の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ２１、Ａ４１、Ａ１２、Ａ４３、Ａ１４、Ａ３４の画素位置の画素値を１としてその他の画素位置の画素値を０として代入すると、数値（−５）／６４が得られる。
【００４７】
この際、（式２）で表した帯域フィルタは、（式３）に表したように２段階のフィルタに分けて適用しても良い。
【数３】
【００４８】
次に、輝度補正部２９では、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ０から補正値に係数ｋ＝２／３を乗じた量を減じて、図３（ｃ）に表したように第二の輝度Ｙ１を求める。
【００４９】
図３（ｃ）において、各画素位置に記入された数値の１／９６が第二の輝度Ｙ１である。ここで、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ０（図３（ａ））と輝度補正部２９で補正されて生成された第二の輝度Ｙ１（図３（ｃ））とを比較すると、画像境界Ｌに沿って、仮の輝度Ｙ０よりも輝度Ｙ１の輝度変化が少なくて、ジッパーアーチファクトが抑制されていることが判る。
【００５０】
係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、０＜ｋ＜（４／３）の範囲であれば、ジッパーアーチファクト抑制の効果を得ることができる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。
【００５１】
また、輝度生成部２５では、ＲＢプレーンに対して（式２）を用いて補正値Ｄを求め、この補正値Ｄに係数を乗じた量を仮の輝度Ｙ０から減じて第二の輝度Ｙ１を算出したが、これらの代わりに、色モザイクのＧの画素位置に対しては（式４）を用いて第二の輝度Ｙ１を算出し、Ｂ及びＲの画素位置に対しては（式５）を用いて第二の輝度Ｙ１を算出してもよい。これにより、輝度補正部２９で算出される第二の輝度Ｙ１と（式４）及び（式５）で算出される第二の輝度Ｙ１が同じ値をもつことになる。
【数４】
【数５】
【００５２】
また、（式４）及び（式５）において、左辺の５×５の行列はＧ画素に位置する値を０にしたものであって、この０の画素を無視すれば、注目画素を中心として周辺３×３の画素内に存在する４または５つのＧ画素と、周辺５×５画素内に存在する４または９つのＲ及びＢ画素が、第二の輝度Ｙ１の算出に用いられている。
【００５３】
また、第二の輝度Ｙ１を算出する際に、Ｇ画素のみを取り出したＧプレーンに（式１）のフィルタを掛け、一方、Ｒ及びＢ画素のみを取り出したＲＢプレーンに対しては（式６）のフィルタを掛け、両フィルタを介して出力された画素値の和を第二の輝度Ｙ１としてもよい。
【数６】
【００５４】
また、（式６）のフィルタは、（式７）に表したように２段階のフィルタで構成してもよい。
【数７】
【００５５】
次に、色差生成部３０は、注目画素を中心とする所定の画素範囲に含まれる各画素値を用いて、注目画素の色成分となる色差Ｃ１及び色差Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値を表し、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。具体的には、所定の画素範囲において、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるようにＣ１を生成し、一方、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるようにＣ２を生成する。
【００５６】
Ｃ１、Ｃ２の生成の一例として、以下に記載する。まず、注目画素を中心とする画素範囲において、注目画素がＧ画素の際には色モザイク画像に（式８）のフィルタを施し、注目画像がＢ、Ｒ画素の際には色モザイク画像に（式９）のフィルタを施し、その結果を注目画素位置における色差Ｃ１とする。
【数８】
【数９】
【００５７】
また、注目画素を中心とする画素範囲において、Ｒ画素に対しては色モザイク画像に（式１０）のフィルタを施し、Ｇｒ画素に対しては色モザイク画像に（式１１）のフィルタを施し、Ｇｂ画素に対しては色モザイク画像に（式１２）のフィルタを施し、Ｂ画素に対しては色モザイク画像に（式１３）のフィルタを施し、その結果を注目画素位置における色差Ｃ２とする。なお、本発明は輝度生成に係る発明であって、色差の生成に制限されるものではない。
【数１０】
【数１１】
【数１２】
【数１３】
【００５８】
次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ１及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して偽色や色ノイズを低減したり、輝度信号Ｙ１に対して高周波強調を行うことで解像感を強調したりする。
【００５９】
なお、本発明の実施例によって生成される輝度信号Ｙ１は、ＳｗｉｔｃｈＹ方式で生成あれる輝度信号Ｙ０に較べて、白黒被写体におけるｆｓ／４（ｆｓは、サンプリング周波数である）付近の変調度が低減するので、視覚補正部３４を介してｆｓ／４付近の変調度を高めるように高周波強調を行うことが望ましい。
【００６０】
また視覚補正部３４は、圧縮部３５で画像信号を圧縮する際に、標準的なカラー画像の色空間座標としてＹＵＶ色度座標が用いられるので、輝度生成部２５で生成された輝度信号Ｙ０及び色差生成部３５で生成された色差Ｃ１、Ｃ２をＹＵＶ値へ変換する（Ｙが画素の輝度、Ｕが輝度Ｙと青（Ｂ）との色差、Ｖが輝度Ｙと赤（Ｒ）との色差である）。詳しくは、輝度生成部２５で生成された輝度信号Ｙ０及び色差生成部３０で生成された色差Ｃ１、Ｃ２から（式１４）の関係があるため、（式１５）を用いてＹＵＶ値へ変換を行う。
【数１４】
【数１５】
【００６１】
次に、図４を用いて、前記第１の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図４におけるＳはステップを表している。
【００６２】
まず、この手順は、オペレータによって撮像装置１又は画像処理装置１００に起動信号が入力された際にスタートする。
【００６３】
次いで、Ｓ１００において、撮像ユニット２を介して画像信号（色モザイク画像）を画像処理装置１００に読み込み、色プレーン分解部２１で、ベイヤー配列に対応付けて、Ｒ画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ２００に移る。
【００６４】
次いで、Ｓ２００において、色モザイク画像の画素配列に対応して対象点（注目画素）を設定し、その後、Ｓ３００に移る。この際、設定される対象点は、色モザイク画像のいずれかの画素であり、ＲＯＭ１９に格納されたプログラムにより決定される。
【００６５】
次いで、Ｓ３００において、対象点（注目画素）の輝度を生成する。詳しくは、図４（ｂ）に表したように、Ｓ３１０において、ＳｗｉｔｃｈＹ生成部２６を用い、色モザイク画像における注目画素を中心として３×３の行列に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ０を求め、その後、Ｓ３４０に移る。
【００６６】
一方、Ｓ３２０において、ＲＢプレーン生成部２７を用い、色モザイク画像におけるＧ画素に位置する画素値を０とし、Ｒ及びＢ画素のみが画素値を有するＲＢプレーンを生成し、その後、Ｓ３３０に移る。
【００６７】
次いで、Ｓ３３０において、輝度補正値生成部２８を用い、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の行列に位置する各画素値に（式２）で表した帯域フィルタを掛けて注目画素における補正値Ｄを生成し、その後、Ｓ３４０に移る。
【００６８】
次いで、Ｓ３４０において、輝度補正部２９を用い、Ｓ３１０で生成した仮の輝度Ｙ０からＳ３３０で生成した補正値Ｄに所定の係数ｋを乗算した量を減じて輝度Ｙ１を求め、その後、図４（ａ）のＳ５００に移る。
【００６９】
次いで、Ｓ５００において、輝度を生成する次の対象点（注目画素）が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ２００〜５００を繰り返し、次の対象点（注目画素）が無い（Ｎｏ）となった際に、Ｓ６００に移る。
【００７０】
次いで、Ｓ６００において、視覚補正部３４を用い、輝度生成部２５及び色差生成部３０で生成されたカラー画像信号（輝度Ｙ１、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ７００に移る。
【００７１】
次いで、Ｓ７００において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ８００に移る。
【００７２】
次いで、Ｓ８００において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。
【００７３】
以上のように、第１の実施形態に記載の画像処理装置１００及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、ＳｗｉｔｃｈＹ生成部２６を用いて仮の輝度Ｙ０を生成するとともに、ＲＢプレーン生成部２７及び輝度補正値生成部２８を用いて補正値Ｄを生成し、次いで、輝度補正部２９を用いて、輝度Ｙ０から補正値を減算し、ジッパーアーチファクトを抑制した輝度Ｙ１を生成でき、高品位なカラー画像を得ることができる。
【００７４】
（第２の実施形態）
次に、図５〜図８を用いて、本発明の第２の実施形態を説明する。図５は、本発明の画像処理装置及び画像処理方法、画像処理プログラムが適用された一実施例の、撮像装置１Ａの構成を表したブロック図である。
【００７５】
また、図６は同第２の実施形態におけるＢ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図、図７は同第２の実施形態における色生成の際のサンプリングの説明図、図８は同第２の実施形態における画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【００７６】
尚、第２の実施形態における撮像装置１Ａは、基本的に第１の実施形態で表した撮像装置１と同じ構成なので、共通と成る構成部分につては同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。
【００７７】
本発明における撮像ユニット２Ａでは、レンズ駆動部１２を介して、撮像レンズ３が光軸方向にスライド自在に構成され、撮像レンズ３の焦点距離や撮像レンズ３から被写体までの被写体距離といったレンズステートを可変可能に構成されている。
【００７８】
図５に表したように、撮像ユニット２Ａには、当該撮像装置１Ａのブレを検知し、そのブレ量に応じた電気信号（以下、ブレ信号という）を出力する角速度センサ（例えば、ジャイロ）１５が備えられ、画像処理装置１００Ａには角速度センサ１５を介して撮像装置１Ａのブレ量を検出するブレ検出部４０が備えられている。
【００７９】
また、画像処理装置１００Ａは、撮像ユニット２Ａから出力された入力画像（モザイク画像）を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離して記憶する色プレーン分解部２１、焦点距離や被写体との距離といった撮像レンズ３のレンズステートを検出するレンズステート検出部３７、撮像レンズ３のレンズステートに対応付けて歪曲収差係数を記憶した収差係数記憶テーブル３８、レンズステート検出部３７及び収差係数記録部３８からの情報に基づいて歪曲収差のパラメータを設定する収差係数設定部３９、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えている。
【００８０】
また、画像処理装置１００Ａは、Ｂの画素配置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置（以下、Ｒ＠Ｂと記す）として補間生成するＲ＠Ｂプレーン生成部５１、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置（以下、Ｂ＠Ｒと記す）として補間生成するＢ＠Ｒプレーン生成部５２、モザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング部５３と、サンプリング部５３で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して画素毎に複数の色成分を備えた色情報を生成する色生成部５４等を備えている。
【００８１】
色プレーン分解部２１は、図７に表したように、（ａ）のベイヤー配列の色モザイク画像から、Ｒ画素のみを取り出したＲプレーン（ｂ）、Ｇｒ画素のみを取り出したＧｒプレーン（ｃ）、Ｇｂ画素のみを取り出したＧｂプレーン（ｄ）、Ｂ画素のみを取り出したＢプレーン（ｅ）の、４つのプレーンに分解する。この際、Ｒ画素に対して横方向に並ぶＧ画素をＧｒとし、Ｂ画素に対して横方向に並ぶＧ画素をＧｂとしている。また、ここでは、色モザイク画像が、第１の実施形態において引用したように、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとする。
【００８２】
次に、Ｂ＠Ｒプレーン生成部５１は、図６（ａ）〜（ｃ）に表したように、図（ａ）の色モザイク画像のＲ画素の位置におけるＢ画素の値を生成する。詳しくは、Ｂ＠Ｒプレーンは、ＢプレーンをＲ画素の位置において再サンプリングした輝度信号であり、Ｂプレーンに対して（式１６）のフィルタを施して生成される。
【数１６】
【００８３】
例えば、Ａ３２の画素位置におけるＢ＠ＲプレーンのＢの輝度信号は、Ａ３２の画素を中心とするＡ２１、Ａ４１、Ａ２３、Ａ４３の画素値を用い、（Ａ２１×１＋Ａ４１×１＋Ａ２３×１＋Ａ４３×１）／４の演算式で算出され、図６（ｂ）を参照してこの演算式に、Ａ２１、Ａ４１、Ａ４３の画素値を１、Ａ２３の画素値を０として代入すると、輝度信号３／４が得られる。
【００８４】
この結果、図６（ｃ）に表したように、Ｂ＠Ｒプレーンは、Ｒの画素位置で値を持ち、Ｒの画素位置を除く他の画素位置では値が０となる。
【００８５】
次に、Ｒ＠Ｂプレーン生成部５２は、図６（ａ）、（ｄ）、（ｅ）に表したように、図（ａ）の色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する。詳しくは、Ｒ＠Ｂプレーンは、ＲプレーンをＢ画素の位置において再サンプリングした輝度信号であり、Ｒプレーンに対して（式１６）のフィルタを施して生成される。
【００８６】
例えば、Ａ４３の画素位置におけるＲ＠ＢプレーンのＲの輝度信号は、Ａ４３の画素を中心とするＡ３２、Ａ５２、Ａ３４、Ａ５４の画素値を用い、（Ａ３２×１＋Ａ５２×１＋Ａ３４×１＋Ａ５４×１）／４の演算式で算出され、図６（ｄ）を参照してこの演算式に、Ａ３２、Ａ５２、Ａ５４の画素値を０、Ａ３４の画素値を１として代入すると、輝度信号１／４が得られる。
【００８７】
この結果、図６（ｅ）に表したように、Ｒ＠Ｂプレーンは、Ｂの画素位置で値を持ち、Ｂ画素を除く他の画素位置では値が０となる。
【００８８】
次に、サンプリング座標設定部４１は、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定する。
【００８９】
ここでは、色モザイク画像における（式１７）に表した画素位置を、（式１８）に表した出力画像上の画素位置に変形させるものとする。なお、（式１８）において、（ｕｓ，ｖｓ）が出力画像の画素位置の座標を表し、ｆが画像変形の変形関数を表す。
【数１７】
【数１８】
【００９０】
例えば、出力するカラー画像の画素位置が、ズーム倍率がＺ倍であれば（式１９）であり、回転角度θの画像変形であれば（式２０）である。この際、サンプリング座標設定部４１において、（式２１）に表した出力画素に対して、変形前のモザイク画像上におけるサンプリング座標（式２２）を算出する。なお、画素位置は、（ｕ，ｖ）座標系における整数格子上に設定されているが、（式２２）で算出されたサンプリング座標の値は、整数とは限らず実数となる。
【数１９】
【数２０】
【数２１】
【数２２】
【００９１】
また、サンプリング座標設定部４１において色収差補正を行う際には、変形関数ｆがＲ、Ｇ、Ｂの色毎に異なる関数ｆＲ、ｆＧ、ｆＢとなって、サンプリング座標がＲ、Ｇ、Ｂ毎に、（式２３）、（式２４）、（式２５）となる。また、ｆを（式２６）で表した恒等変換とすれば、実施形態１と同じ結果が得られる。
【数２３】
【数２４】
【数２５】
【数２６】
【００９２】
次に、サンプリング部５３は、図７に表したように、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５１で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出する。
【００９３】
つまり、サンプリング座標として、Ｒプレーンからは（ｕｓＲ，ｖｓＲ）、Ｇｒプレーンからは（ｕｓＧ，ｖｓＧ）、Ｇｂプレーンからは（ｕｓＧ，ｖｓＧ）、Ｂプレーンからは（ｕｓＢ，ｖｓＢ）、Ｒ＠Ｂプレーンからは（ｕｓＲ，ｖｓＲ）、Ｂ＠Ｒプレーンからは（ｕｓＢ，ｖｓＢ）が算出される。
【００９４】
この際、サンプリング座標（ｕｓ，ｖｓ）が整数と限らない（つまり、（ｕｓ，ｖｓ）が一つの画素中心に一致するとは限らない）ので、サンプリング値は、（ｕｓ，ｖｓ）を囲む４つの有値画素（各色プレーンが元々もっている同一色の画素値）から線形補間して算出する。この補間は、好ましくは、バイリニア補間によって行う。
【００９５】
図７（ｈ）に表したように、各色プレーンが縦横の格子点状に４つの有値画素を持つため、サンプリング座標４０１〜４０６を囲む４つの有値画素は、当該サンプリング座標が（１００．８，１０１．４）であれば、サンプリング座標を囲んで一辺の長さが２の正方形の頂点に位置する。
【００９６】
つまり、例えばＲプレーンに対するサンプリング座標（ｕｓＲ，ｖｓＲ）が（１００．８，１０１．４）であれば、これを囲む４つの有値画素の座標（ｕ，ｖ）が、（１００，１００）、（１００，１０２）、（１０２，１００）、（１０２，１０２）となる。
【００９７】
そこで、サンプリング座標を介して対向する有値画素間の距離の比（ここでは、ｕ方向が０．４：０．６、ｖ方向が０．７：０．３である）を求め、４つの有値画素の画素値を用いて、サンプリング位置（１００．８，１０１．４）におけるＲの画素値を補間によって算出する。
【００９８】
そして、４つの有値画素の画素値をＲ（１００，１００）、Ｒ（１００，１０２）、Ｒ（１０２，１００）、Ｒ（１０２，１０２）で表し、サンプリング位置（１００．８，１０１．４）のＲの画素値をＲ（１００．８，１０１．４）で表すと、Ｒプレーン上でのサンプリング座標４０１の画素値Ｒ（１００．８，１０１．４）を、Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）、の演算式によって算出できる。
【００９９】
Ｇｒプレーン上でのサンプリング座標４０２におけるＧｒの画素値、Ｇｂプレーン上でのサンプリング座標４０３におけるＧｂの画素値、Ｂプレーン上でのサンプリング座標４０４におけるＢの画素値、Ｒ＠Ｂプレーン上でのサンプリング座標４０５におけるＲの画素値、Ｂ＠Ｒプレーン上でのサンプリング座標におけるＢの画素値等も、Ｒプレーンと同様に、サンプリング座標を囲む４つの有値画素の画素値から補間によって算出できる。
【０１００】
なお、サンプリング座標設定部４１では、出力カラー画像における全画素に対応付けてサンプリング座標を設定し、サンプリング部５３では、これらの全サンプリング座標におけるサンプリング値を算出する。そして、このサンプリング値を出力カラー画像の対応する画素位置に配置することにより画像信号と見なせる。
【０１０１】
次に、色生成部５４は、出力カラー画像の各画素における輝度を生成する輝度生成部５４Ａと色差を生成する色差生成部５４Ｂと、によって構成されている。なお、本発明の請求項１における輝度生成手段が輝度生成部５４Ａによってその機能が発現される。
【０１０２】
輝度生成部５４Ａは、出力カラー画像の各画素において、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度信号Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、とする。この際、輝度信号の構成比率は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【０１０３】
輝度Ｙを求める際に用いた係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、ｋ＝２／３の近傍であればジッパーアーチファクト抑制の効果が得られる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。
【０１０４】
また、輝度ＹにおけるＲとＲ＠Ｂの和Ｒｔｏｔは、Ｒｔｏｔ＝（１−ｋ）Ｒ＋ｋＲ＠Ｂの演算式で表されるが、Ｒ＠Ｂの出自を組み入れて次式のように変形できる。
【０１０５】
つまり、ＲとＲ＠Ｂの和Ｒｔｏｔ（ｕｓＲ，ｖｓＲ）は、Ｒｔｏｔ（ｕｓＲ，ｖｓＲ）＝（１−ｋ）＊Ｒ（ｕｓＲ，ｖｓＲ）＋ｋ＊Ｒ＠Ｂ（ｕｓＲ，ｖｓＲ）＝（１−ｋ）＊Ｒ（ｕｓＲ，ｖｓＲ）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ−１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ−１）、となる。
【０１０６】
例えば、図７に表したように（ｕｓＲ，ｖｓＲ）＝（１００．８，１０１．４）での値を例にすると、Ｒｔｏｔ（１００．８，１０１．４）＝（１−ｋ）（０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１００）＋０．１＊０．２＊Ｒ（９８，１０２）＋０．９＊０．８＊Ｒ（１００，１００）＋０．９＊０．２＊Ｒ（１００，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１０２）＋０．１＊０．２＊Ｒ（９８，１０４）＋０．９＊０．８＊Ｒ（１００，１０２）＋０．９＊０．２＊Ｒ（１００，１０４））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１００）＋０．１＊０．２＊Ｒ（１００，１０２）＋０．９＊０．８＊Ｒ（１０２，１００）＋０．９＊０．２＊Ｒ（１０２，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１０２）＋０．１＊０．２＊Ｒ（１００，１０４）＋０．９＊０．８＊Ｒ（１０２，１０２）＋０．９＊０．２＊Ｒ（１０２，１０４））＝０．１＊０．８＊（ｋ／４）＊Ｒ（９８，１００）＋０．１＊（ｋ／４）＊Ｒ（９８，１０２）＋０．１＊０．２＊（ｋ／４）＊Ｒ（９８，１０４）＋（０．８＊（ｋ／４）＋０．６＊０．３＊（１−ｋ））＊Ｒ（１００，１００）＋（（ｋ／４）＋０．６＊０．７＊（１−ｋ））＊Ｒ（１００，１０２）＋０．２＊（ｋ／４）＊Ｒ（１００，１０４）＋（０．９＊０．８＊（ｋ／４）＋０．４＊０．３＊（１−ｋ））＊Ｒ（１０２，１００）＋（０．９＊（ｋ／４）＋０．４＊０．７＊（１−ｋ））＊Ｒ（１０２，１０２）＋０．９＊０．２＊（ｋ／４）＊Ｒ（１０２，１０４）、となる。
【０１０７】
これにより、Ｒ＠Ｂを演算式に明示しなくても、（ｕｓＲ，ｖｓＲ）＝（１００．８，１０１．４）の周辺５×５画素内の９つのＲ画素の値からＲのサンプリング値を算出できることが分かる。但し、例外的にＲのサンプリング座標（ｕｓＲ，ｖｓＲ）がＢ画素と同一の水平及び垂直位置にある際には、６つまたは４つのＲの画素値からサンプリング値が算出される。
【０１０８】
次に、色差生成部５４Ｂは、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値であって、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。
【０１０９】
また、Ｃ１の生成の際には、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの各画素値を（−１）：１：１：（−１）の比で合成し、Ｃ１＝（−Ｒ＋Ｇｒ＋Ｇｂ−Ｂ）／４を算出する。一方、Ｃ２の生成の際には、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値を２：０：０：（−２）の比で合成し、Ｃ２＝（２Ｒ−２Ｂ）／４を算出する。
【０１１０】
さらに、色差生成部５４Ｂでは、前記のように生成された色差に対して偽色抑制のための補正を行う。偽色抑制の一例として、まず、ｆｓ／２（ナイキスト周波数）付近の高周波成分Ｋを、Ｋ＝（２Ｇｒ−２Ｇｂ）／４の演算式で算出する。次いで、下記式を用いてＣ２の絶対値からＫ２の絶対値を減じることにより高周波部に発生する赤及び青の偽色を抑制することができる。Ｃ２→ｓｉｇｎ（Ｃ２）ｍａｘ（０，ａｂｓ（Ｃ２）−ａｂｓ（Ｋ））
【０１１１】
次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して色ノイズを低減したり、輝度信号Ｙに対して高周波強調を行うことで解像感を強調したりする。
【０１１２】
次に、図８を用いて、前記第２の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図８におけるＳはステップを表している。
【０１１３】
まず、この手順は、オペレータによって撮像装置１Ａ又は画像処理装置１００Ａに起動信号が入力された際にスタートし、その後、Ｓ１０１及びＳ１０２に移る。
【０１１４】
次いで、Ｓ１０１において、撮像ユニット２Ａを介して画像信号（色モザイク画像）を画像処理装置１００Ａに読み込み、その後、Ｓ２０１に移る。
【０１１５】
次いで、Ｓ２０１において、色プレーン分解部２１を用いて、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ３０１に移る。
【０１１６】
次いで、Ｓ３０１において、Ｒ＠Ｂ生成部５１及びＢ＠Ｒ生成部５２を用いて、色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する（Ｒ＠Ｂプレーンを生成する）と共に、色モザイク画像のＲ画素の位置におけるＢ画素の値を生成し（Ｂ＠Ｒプレーンを生成し）、その後、Ｓ４０１に移る。
【０１１７】
一方、Ｓ１０２において、サンプリング座標設定部４１を用いて、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定し、その後、Ｓ４０１に移る。
【０１１８】
次いで、Ｓ４０１において、サンプリング部５３を用いて、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部５１で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５２で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出し、その後、Ｓ５０１及びＳ５０２に移る。
【０１１９】
次いで、Ｓ５０１において、輝度生成部５４Ａを用いて、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、の演算式で算出し、その後、Ｓ６０１に移る。
【０１２０】
一方、Ｓ５０２において、色差生成部５４Ｂを用いて、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成し、その後、Ｓ６０１に移る。
【０１２１】
次いで、Ｓ６０１において、輝度Ｙ及び色差Ｃ１、Ｃ２を生成する次のサンプリング座標が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ４０１〜６０１を繰り返し、次のサンプリング座標が無い（Ｎｏ）となった際に、Ｓ７０１に移る。
【０１２２】
次いで、Ｓ７０１において、視覚補正部３４を用い、輝度生成部５４Ａ及び色差生成部５４Ｂで生成されたカラー画像信号（輝度Ｙ、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ８０１に移る。
【０１２３】
次いで、Ｓ８０１において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ９０１に移る。
【０１２４】
次いで、Ｓ９０１において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。
【０１２５】
以上のように、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、色プレーン分解部２１を介して、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解し、次いで、Ｒ＠Ｂプレーン生成部５１を介して、Ｂの画素位置おいて該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成すると共に、Ｂ＠Ｒプレーン生成部５２を介して、Ｒの画素位置おいて該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成し、次いで、サンプリング部５３を介して、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ画素値＠Ｂ画素位置プレーン、Ｂ画素値＠Ｒ画素位置プレーンの夫々毎に画素値を補間生成してプレーン毎のサンプリング値を生成し、次いで、輝度生成部５４Ａを介して、各色プレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成しているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【０１２６】
また、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えているので、色モザイク画像と出力カラー画像の各画素を１：１に対応させる必要がなく、解像度変換や各種の画像変形を同時に適用できて利便性を向上できる。つまり、本実施形態の輝度信号生成方法を用いた画像処理によれば、ジッパーアーチファクトやジャギーの発生を抑制して高品位な輝度信号を得ることができると共に、所望の画像変形を行うことができ、高品質なカラー画像を生成できる。
【０１２７】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものではなく、種々の態様を取ることができる。
【符号の説明】
【０１２８】
１，１Ａ…撮像装置、２，２Ａ…撮像ユニット、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２１…色プレーン分解部、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…輝度生成部、２６…ＳｗｉｔｃｈＹ生成部、２７…ＲＢプレーン生成部、２８…輝度補正値生成部、２９…輝度補正部、３０…色差生成部、３１…Ｃ１生成部、３２…Ｃ２生成部、３４…視覚補正部、３５…圧縮部、３６…記録部、３７…レンジステート検出部、３８…収差係数記憶テーブル、３９…収差係数設定部、４０…ブレ検出部、４１…サンプリング座標設定部、５１…Ｒ＠Ｂ生成部、５２…Ｂ＠Ｒ生成部、５３…サンプリング部、５４…色生成部、５４Ａ…輝度生成部、５４Ｂ…色差生成部、１００，１００Ａ…画像処理装置。
【技術分野】
【０００１】
本発明は、Ｒ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力された色モザイク画像から、カラー画像を生成する画像処理装置及び画像処理方法に関し、特に、撮像素子を介して出力された出力信号から輝度信号を生成する技術に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像系において、レンズを介して撮像素子に被写体像を結像して、この撮像素子によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。
【０００３】
そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子を備えると共に、その前面にカラーフィルタを備え、このカラーフィルタを介して出力した各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。
【０００４】
撮像素子を１つだけ用いた、いわゆる単板式の撮像素子においては、撮像素子上の各画素に対応して特定の色フィルタ、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられている。通常、Ｒの色フィルタが設けられた画素をＲ画素（赤画素）、Ｇの色フィルタが設けられた画素をＧ画素（緑画素）、Ｂの色フィルタが設けられた画素をＢ画素（青画素）と呼ぶ。
【０００５】
また、単板式の撮像素子における代表的な色フィルタとして、原色ベイヤー配列と呼ばれる色フィルタが用いられている。原色ベイヤー配列の色フィルタは、水平方向にＲとＧが交互に配置された行と水平方向にＧとＢが交互に配置された行とが垂直方向に交互に配列され、水平方向２画素×垂直方向２画素（２×２画素）を１単位（１ユニット）とする複数の基本ブロックが周期的に配置されている。また、各基本ブロックは、２つの緑画素が一方の対角上に配置され、赤画素と青画素とが他方の対角上に配置された構造となっている。
【０００６】
そして、画像処理装置において、単板式撮像素子を介して出力された画像信号から輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画像信号を生成しているものがある（例えば、特許文献１参照）。
【０００７】
詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、いわゆるデモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理である（所謂、色補間処理である）。
【０００８】
また、輝度信号を生成する際の簡素な方法としては、撮像素子から出力された色モザイク画像に対して、例えば（式１）に表したローパスフィルタを用いてフィルタリングを直接することで色キャリア成分を除去し、フィルタを介して得られた画素信号を用いて輝度を生成する方法が知られている（例えば、特許文献２参照）。つまり、色モザイク画像に対して一様なローパスフィルタを介して出力された画素信号を輝度信号としている（以下、ＳｗｉｔｃｈＹ輝度生成法という）。
【数１】
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０００−３４１７０２号公報
【特許文献２】特開２０００−２８７２１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来のように注目画素を中心として、所定の画素範囲にローパスフィルタを掛けて輝度を生成する方法によれば、特に斜めの赤画像と青画像との画像境界に沿って、明暗がギザギザ模様のジッパーアーチファクト（Ｚｉｐｐｅｒ Ａｒｔｉｆａｃｔ）が発生し、さらに改善の余地があった。ここで、ジッパーアーチファクトとは、デモザイク処理によって、本来の画像にない明暗が画像境界に沿ってジッパー状（所謂、スライドファスナー状である）に現れる現象をいう。
【００１１】
詳しくは、図９（ａ）に表したように、画像境界Ｌを介して、右上領域（図中のＲＵ）に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持つ青画像が結像し、左下領域（図中のＬＤ）に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つ赤画像が結像した際に、色モザイク画像は、図９（ｂ）に表したように、右上領域の画像範囲ではＢ画素が１、左下領域の画像範囲ではＲ画素が１となり、他の画素は全て０になる。
【００１２】
そして、図９（ｂ）に表した画像信号に対して、色キャリア成分除去のために（式１）のローパスフィルタを掛けると、図９（ｃ）に表したように、境界線Ｌに沿って好ましくない画素値３／１６、５／１６が交互に生成され、ジッパーアーチファクトと呼ばれる明暗のパターンが発生する。また、このような画像境界における輝度の不整合は、赤と青との境界に限らず、赤と青の色差が変化する領域で生じ易く、カラー画像にジャギー（ｊａｇｇｉｅｓ）となって現れる。
【００１３】
そこで、本発明は、原色ベイヤー配列の単板式撮像装置から出力されたモザイク画像からカラー画像を生成する際に、赤と青との画像境界に沿って発生するジッパーアーチファクトやジャギーを抑制し、高品位なカラー画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
かかる目的を達成するためになされた請求項１に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えていることを特徴とする。
【００１５】
請求項１に記載の画像処理装置によれば、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００１６】
また、請求項１に記載の発明は、請求項２に記載の発明のように、前記輝度生成手段が、前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００１７】
また、請求項１に記載の発明は、請求項３に記載の発明のように、前記輝度生成手段が、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００１８】
次に、請求項４に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、を用いることを特徴とする。
【００１９】
請求項４に記載の画像処理方法によれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、を用いていることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２０】
次に、請求項４に記載の画像処理方法は、請求項５に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項２に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２１】
また、請求項４に記載の発明は、請求項６に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項３に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２２】
次に、請求項７に記載の発明は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることを特徴とする。
【００２３】
請求項７に記載の画像処理プログラムによれば、色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、Ｂの画素位置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、Ｒの画素位置おいて、Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、サンプリングステップを介して生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成する輝度生成ステップと、をコンピュータに実行させることにより、請求項６に記載の発明と同様に、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２４】
また、請求項７に記載の画像処理プログラムは、請求項８に記載の発明のように、輝度生成ステップにおいて、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項２に記載の発明と同様に、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【００２５】
また、請求項７に記載の発明は、請求項９に記載の発明のように、前記輝度生成ステップが、前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、請求項３に記載の発明と同様に、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【発明の効果】
【００２６】
本発明の画像処理装置、画像処理方法及び画像処理プログラムは、色モザイク画像を、Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、を備えているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【００２７】
また、本発明の画像処理装置、画像処理方法及び画像処理プログラムは、輝度を生成する際に、Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成することにより、赤系画像境界に現れるジッパーアーチファクトを効果的に抑制することができ、Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成することにより、青系画像境界に現れるジッパーアーチファクトを効果的に抑制することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明が適用された第１の実施形態における、撮像装置の構成を表したブロック図である。
【図２】ベイヤー配列の構成を表した図である。
【図３】同第１の実施形態における、各画素の輝度を生成する説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ０を表し、（ｂ）が輝度Ｙ０を補正すべく生成された輝度補正値Ｄを表し、（ｃ）が仮の輝度Ｙ０から輝度補正値Ｄの所定量を減じて補正された輝度Ｙ１を表した図である。
【図４】同第１の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【図５】本発明が適用された第２の実施形態における、撮像装置の構成を表したブロック図である。
【図６】同第２の実施形態における、Ｂ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図である。
【図７】同第２の実施形態における、サンプリングの説明図である。
【図８】同第２の実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【図９】従来例における、ジッパーアーチファクトの発生原理を説明する図であって、（ａ）がベイヤー配列における青と赤の画像境界を表した図、（ｂ）が（ａ）に対応付けて各画素位置に画素値を付与した図、（ｃ）が画素毎に輝度値が生成された図である。
【発明を実施するための形態】
【００２９】
（第１の実施形態）
次に、本発明の画像処理装置、画像処理方法及び画像処理プログラムの一実施例を図面にもとづいて説明する。
【００３０】
図１は本発明が適用された第１の実施形態における撮像装置の構成を表したブロック図、図２は同実施形態におけるベイヤー配列の色モザイク画像の構成を表した図、図３は同実施形態における輝度生成の説明図であって、（ａ）がＳｗｉｔｃｈＹ生成部で生成された仮の輝度Ｙ０を表し、（ｂ）が輝度Ｙ０を補正すべく生成された補正値Ｄを表し、（ｃ）が仮の輝度Ｙ０から補正値Ｄの所定量を減じて補正された輝度Ｙ１を表した図である。また、図４は、同実施形態における、画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【００３１】
図１に表したように、撮像装置１は、被写体像を撮像素子５に導いてデジタル画像信号Ｃ（モザイク状の画像信号である）として出力する撮像ユニット２と、撮像ユニット２を介して出力されたデジタル画像信号Ｃに基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。
【００３２】
撮像ユニット２には、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（例えばＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（図３中のＺ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のＺ方向のスライド量を検出する検出部１０等が備えられている。なお、本発明は、撮像レンズ３、レンズ駆動部１２、センサ１１、検出部１０等の有無に限定されるものではなく、後述のように、ＲＧＢ３色のベイヤー配列のカラーフィルタを有する撮像素子５を介して出力される色モザイク画像の画像処理に係るものである。
【００３３】
撮像素子５は、複数の光電変換素子がマトリクス状に並設されて構成され、夫々の光電変換素子毎に撮像信号を光電変換してアナログ画像信号を出力するように構成されている。
【００３４】
また、撮像素子５は、光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した光量を電気信号に変換する。
【００３５】
ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器９を介して入力された撮像素子５からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、光電変換素子に対応付けてデジタル画像信号Ｃに変換して画像処理装置１００に出力する。
【００３６】
なお、撮像ユニット２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット２から画像処理装置１００に、モザイク状の画像信号が出力される。
【００３７】
次に、画像処理装置１００は、撮像ユニット２から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離する色プレーン分解部２１、色プレーン分解部２１から出力された画素信号にもとづいてカラー画像の画素位置におけるカラー画像信号としての輝度を生成する輝度生成部２５及び色差を生成する色差生成部３０を備えている。
【００３８】
また、画像処理装置１００は、輝度生成部２５及び色差生成部３０から出力されたカラー画像信号に対してカラー画像の見栄えを良くするために公知のガンマ補正や彩度補正、エッジ強調を行う視覚補正部３４、視覚補正部３４を介して出力されたカラー画像を例えばＪＰＥＧ等の方法で圧縮する圧縮部３５、圧縮部３５を介して出力されたカラー画像を例えばフラッシュメモリ等の記録媒体に記憶する記録部３６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等によって構成され、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該画像処理装置１００及び撮像装置１の各処理を制御する。
【００３９】
色プレーン分解部２１は、図２に表したベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒ（一方向においてＲに隣接するＲ）の画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂ（一方向においてＢに隣接するＲ）の画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ１８からの指令に基づき、これらの画素信号を輝度生成部２５及び色差生成部３０に出力する。なお、各色フィールドメモリは、仮想的な物であり、実際には各色フィールドが単一のメモリ上で区別可能なように各色フィールドをアドレスによって振り分けてもよい。
【００４０】
次に、輝度生成部２５は、色モザイク画像の配列におけるＲ、Ｇ、Ｂ毎に対象点（注目画素）を包含する画素範囲が設定されて、この画素範囲に位置するＲ、Ｇ、Ｂの画素値にもとづいて対象点の輝度を生成する。
【００４１】
輝度生成部２５は、注目画素及び注目画素の周囲の画素の画素値に所定の係数を掛けて合計し仮の輝度Ｙ０を生成するＳｗｉｔｃｈＹ生成部２６、色モザイク画像からＧの画素を除いてＲ及びＢの画素値のみからなるＲＢプレーンを生成するＲＢプレーン生成部２７、ＲＢプレーンに対して所定の帯域フィルタを掛けて輝度の補正値Ｄを生成する輝度補正値生成部２８、仮の輝度Ｙ０から補正値Ｄに所定の係数を乗じた量を減じて第二の輝度Ｙ１を生成する輝度補正部２９等によって構成されている。
【００４２】
詳しくは、ＳｗｉｔｃｈＹ生成部２６において、色モザイク画像における注目画素を中心として３×３の画素範囲内に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ０が求められる。つまり、注目画素を中心としたｕｖ方向３画素を設定して各画素位置に応じた重み付けをし、これらの和を注目画素の仮の輝度Ｙ０としている。なお、本実施例では、図９（ａ）に表したように、色モザイク画像が、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとし、以下に説明する。
【００４３】
ＳｗｉｔｃｈＹ生成部２６では、図３（ａ）に表したように仮の輝度Ｙ０が求められる。図３（ａ）において、各画素位置に記入された画素値の１／１６が仮の輝度Ｙ０（所謂、本発明における第一の輝度である）である。例えば、図３（ａ）における（ｕ，ｖ）＝（１，１）に位置する画素Ａ１１の輝度Ｙ０は、Ｙ０＝（Ａ０0×１＋Ａ１０×２＋Ａ２０×１＋Ａ０１×２＋Ａ１１×４＋Ａ２１×２＋Ａ０２×１＋Ａ１２×２＋Ａ２２×１）／１６の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ０0＝０、Ａ１０＝０、Ａ２０＝０、Ａ０１＝０、Ａ１１＝０、Ａ２１＝１、Ａ０２＝０、Ａ１２＝１、Ａ２２＝０、を代入すると、Ｙ０＝４／１６が得られる。
【００４４】
そして、ＲＢプレーン生成部２７では、色モザイク画像におけるＧの画素に位置する画素値が０となるので、図９（ｂ）と同じ様に画像境界Ｌを介して右上領域域のＢ画素と左下領域のＲ画素の位置に画素値を有するＲＢプレーンが生成される。
【００４５】
次に、輝度補正値生成部２８では、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の画素範囲内に位置する各画素値に（式２）で表した帯域フィルタを掛けて画素値を合計し、注目画素における輝度の補正値Ｄを求める。つまり、注目画素を中心としたｕｖ方向５画素を設定して画素位置に応じた重み付けをし、これらの和を注目画素の補正値Ｄとしている。
【数２】
【００４６】
そして、図３（ｂ）に表したようにＢの画素とＲの画素に補正値Ｄが生成される。図３（ｂ）において、各画素位置に記入された数値の１／６４が補正値Ｄである。例えば、図３（ａ）における（ｕ，ｖ）＝（３，２）に位置する画素Ａ３２の補正値Ｄは、Ｄ＝（Ａ１0×（−１）＋Ａ２０×（−２）＋Ａ３０×（−２）＋Ａ４０×（−２）＋Ａ５０×（−１）＋Ａ１1×（−２）＋Ａ２1×（０）＋Ａ３1×（４）＋Ａ４1×（０）＋Ａ５1×（−２）＋Ａ１２×（−２）＋Ａ２２×（４）＋Ａ３２×（１２）＋Ａ４２×（４）＋Ａ５２×（−２）＋Ａ１３×（−２）＋Ａ２３×（０）＋Ａ３３×（４）＋Ａ４３×（０）＋Ａ５３×（−２）＋Ａ１４×（−１）＋Ａ２４×（２）＋Ａ３４×（２）＋Ａ４４×（−２）＋Ａ５４×（−１））／６４の演算式で算出され、図９（ｂ）を参照してこの演算式にＡ２１、Ａ４１、Ａ１２、Ａ４３、Ａ１４、Ａ３４の画素位置の画素値を１としてその他の画素位置の画素値を０として代入すると、数値（−５）／６４が得られる。
【００４７】
この際、（式２）で表した帯域フィルタは、（式３）に表したように２段階のフィルタに分けて適用しても良い。
【数３】
【００４８】
次に、輝度補正部２９では、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ０から補正値に係数ｋ＝２／３を乗じた量を減じて、図３（ｃ）に表したように第二の輝度Ｙ１を求める。
【００４９】
図３（ｃ）において、各画素位置に記入された数値の１／９６が第二の輝度Ｙ１である。ここで、ＳｗｉｔｃｈＹ生成部２６で生成された仮の輝度Ｙ０（図３（ａ））と輝度補正部２９で補正されて生成された第二の輝度Ｙ１（図３（ｃ））とを比較すると、画像境界Ｌに沿って、仮の輝度Ｙ０よりも輝度Ｙ１の輝度変化が少なくて、ジッパーアーチファクトが抑制されていることが判る。
【００５０】
係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、０＜ｋ＜（４／３）の範囲であれば、ジッパーアーチファクト抑制の効果を得ることができる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。
【００５１】
また、輝度生成部２５では、ＲＢプレーンに対して（式２）を用いて補正値Ｄを求め、この補正値Ｄに係数を乗じた量を仮の輝度Ｙ０から減じて第二の輝度Ｙ１を算出したが、これらの代わりに、色モザイクのＧの画素位置に対しては（式４）を用いて第二の輝度Ｙ１を算出し、Ｂ及びＲの画素位置に対しては（式５）を用いて第二の輝度Ｙ１を算出してもよい。これにより、輝度補正部２９で算出される第二の輝度Ｙ１と（式４）及び（式５）で算出される第二の輝度Ｙ１が同じ値をもつことになる。
【数４】
【数５】
【００５２】
また、（式４）及び（式５）において、左辺の５×５の行列はＧ画素に位置する値を０にしたものであって、この０の画素を無視すれば、注目画素を中心として周辺３×３の画素内に存在する４または５つのＧ画素と、周辺５×５画素内に存在する４または９つのＲ及びＢ画素が、第二の輝度Ｙ１の算出に用いられている。
【００５３】
また、第二の輝度Ｙ１を算出する際に、Ｇ画素のみを取り出したＧプレーンに（式１）のフィルタを掛け、一方、Ｒ及びＢ画素のみを取り出したＲＢプレーンに対しては（式６）のフィルタを掛け、両フィルタを介して出力された画素値の和を第二の輝度Ｙ１としてもよい。
【数６】
【００５４】
また、（式６）のフィルタは、（式７）に表したように２段階のフィルタで構成してもよい。
【数７】
【００５５】
次に、色差生成部３０は、注目画素を中心とする所定の画素範囲に含まれる各画素値を用いて、注目画素の色成分となる色差Ｃ１及び色差Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値を表し、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。具体的には、所定の画素範囲において、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるようにＣ１を生成し、一方、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるようにＣ２を生成する。
【００５６】
Ｃ１、Ｃ２の生成の一例として、以下に記載する。まず、注目画素を中心とする画素範囲において、注目画素がＧ画素の際には色モザイク画像に（式８）のフィルタを施し、注目画像がＢ、Ｒ画素の際には色モザイク画像に（式９）のフィルタを施し、その結果を注目画素位置における色差Ｃ１とする。
【数８】
【数９】
【００５７】
また、注目画素を中心とする画素範囲において、Ｒ画素に対しては色モザイク画像に（式１０）のフィルタを施し、Ｇｒ画素に対しては色モザイク画像に（式１１）のフィルタを施し、Ｇｂ画素に対しては色モザイク画像に（式１２）のフィルタを施し、Ｂ画素に対しては色モザイク画像に（式１３）のフィルタを施し、その結果を注目画素位置における色差Ｃ２とする。なお、本発明は輝度生成に係る発明であって、色差の生成に制限されるものではない。
【数１０】
【数１１】
【数１２】
【数１３】
【００５８】
次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ１及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して偽色や色ノイズを低減したり、輝度信号Ｙ１に対して高周波強調を行うことで解像感を強調したりする。
【００５９】
なお、本発明の実施例によって生成される輝度信号Ｙ１は、ＳｗｉｔｃｈＹ方式で生成あれる輝度信号Ｙ０に較べて、白黒被写体におけるｆｓ／４（ｆｓは、サンプリング周波数である）付近の変調度が低減するので、視覚補正部３４を介してｆｓ／４付近の変調度を高めるように高周波強調を行うことが望ましい。
【００６０】
また視覚補正部３４は、圧縮部３５で画像信号を圧縮する際に、標準的なカラー画像の色空間座標としてＹＵＶ色度座標が用いられるので、輝度生成部２５で生成された輝度信号Ｙ０及び色差生成部３５で生成された色差Ｃ１、Ｃ２をＹＵＶ値へ変換する（Ｙが画素の輝度、Ｕが輝度Ｙと青（Ｂ）との色差、Ｖが輝度Ｙと赤（Ｒ）との色差である）。詳しくは、輝度生成部２５で生成された輝度信号Ｙ０及び色差生成部３０で生成された色差Ｃ１、Ｃ２から（式１４）の関係があるため、（式１５）を用いてＹＵＶ値へ変換を行う。
【数１４】
【数１５】
【００６１】
次に、図４を用いて、前記第１の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図４におけるＳはステップを表している。
【００６２】
まず、この手順は、オペレータによって撮像装置１又は画像処理装置１００に起動信号が入力された際にスタートする。
【００６３】
次いで、Ｓ１００において、撮像ユニット２を介して画像信号（色モザイク画像）を画像処理装置１００に読み込み、色プレーン分解部２１で、ベイヤー配列に対応付けて、Ｒ画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ２００に移る。
【００６４】
次いで、Ｓ２００において、色モザイク画像の画素配列に対応して対象点（注目画素）を設定し、その後、Ｓ３００に移る。この際、設定される対象点は、色モザイク画像のいずれかの画素であり、ＲＯＭ１９に格納されたプログラムにより決定される。
【００６５】
次いで、Ｓ３００において、対象点（注目画素）の輝度を生成する。詳しくは、図４（ｂ）に表したように、Ｓ３１０において、ＳｗｉｔｃｈＹ生成部２６を用い、色モザイク画像における注目画素を中心として３×３の行列に位置する各画素値に（式１）で表したローパスフィルタを掛けて画素値を合計し、注目画素の仮の輝度Ｙ０を求め、その後、Ｓ３４０に移る。
【００６６】
一方、Ｓ３２０において、ＲＢプレーン生成部２７を用い、色モザイク画像におけるＧ画素に位置する画素値を０とし、Ｒ及びＢ画素のみが画素値を有するＲＢプレーンを生成し、その後、Ｓ３３０に移る。
【００６７】
次いで、Ｓ３３０において、輝度補正値生成部２８を用い、ＲＢプレーン生成部２７で生成されたＲＢプレーンにおいて、注目画素を中心として５×５の行列に位置する各画素値に（式２）で表した帯域フィルタを掛けて注目画素における補正値Ｄを生成し、その後、Ｓ３４０に移る。
【００６８】
次いで、Ｓ３４０において、輝度補正部２９を用い、Ｓ３１０で生成した仮の輝度Ｙ０からＳ３３０で生成した補正値Ｄに所定の係数ｋを乗算した量を減じて輝度Ｙ１を求め、その後、図４（ａ）のＳ５００に移る。
【００６９】
次いで、Ｓ５００において、輝度を生成する次の対象点（注目画素）が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ２００〜５００を繰り返し、次の対象点（注目画素）が無い（Ｎｏ）となった際に、Ｓ６００に移る。
【００７０】
次いで、Ｓ６００において、視覚補正部３４を用い、輝度生成部２５及び色差生成部３０で生成されたカラー画像信号（輝度Ｙ１、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ７００に移る。
【００７１】
次いで、Ｓ７００において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ８００に移る。
【００７２】
次いで、Ｓ８００において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。
【００７３】
以上のように、第１の実施形態に記載の画像処理装置１００及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、ＳｗｉｔｃｈＹ生成部２６を用いて仮の輝度Ｙ０を生成するとともに、ＲＢプレーン生成部２７及び輝度補正値生成部２８を用いて補正値Ｄを生成し、次いで、輝度補正部２９を用いて、輝度Ｙ０から補正値を減算し、ジッパーアーチファクトを抑制した輝度Ｙ１を生成でき、高品位なカラー画像を得ることができる。
【００７４】
（第２の実施形態）
次に、図５〜図８を用いて、本発明の第２の実施形態を説明する。図５は、本発明の画像処理装置及び画像処理方法、画像処理プログラムが適用された一実施例の、撮像装置１Ａの構成を表したブロック図である。
【００７５】
また、図６は同第２の実施形態におけるＢ＠Ｒプレーン及びＲ＠Ｂプレーン生成する説明図、図７は同第２の実施形態における色生成の際のサンプリングの説明図、図８は同第２の実施形態における画像処理方法及び画像処理プラグラムの手順を表したフローチャートである。
【００７６】
尚、第２の実施形態における撮像装置１Ａは、基本的に第１の実施形態で表した撮像装置１と同じ構成なので、共通と成る構成部分につては同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。
【００７７】
本発明における撮像ユニット２Ａでは、レンズ駆動部１２を介して、撮像レンズ３が光軸方向にスライド自在に構成され、撮像レンズ３の焦点距離や撮像レンズ３から被写体までの被写体距離といったレンズステートを可変可能に構成されている。
【００７８】
図５に表したように、撮像ユニット２Ａには、当該撮像装置１Ａのブレを検知し、そのブレ量に応じた電気信号（以下、ブレ信号という）を出力する角速度センサ（例えば、ジャイロ）１５が備えられ、画像処理装置１００Ａには角速度センサ１５を介して撮像装置１Ａのブレ量を検出するブレ検出部４０が備えられている。
【００７９】
また、画像処理装置１００Ａは、撮像ユニット２Ａから出力された入力画像（モザイク画像）を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離して記憶する色プレーン分解部２１、焦点距離や被写体との距離といった撮像レンズ３のレンズステートを検出するレンズステート検出部３７、撮像レンズ３のレンズステートに対応付けて歪曲収差係数を記憶した収差係数記憶テーブル３８、レンズステート検出部３７及び収差係数記録部３８からの情報に基づいて歪曲収差のパラメータを設定する収差係数設定部３９、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えている。
【００８０】
また、画像処理装置１００Ａは、Ｂの画素配置おいて、Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置（以下、Ｒ＠Ｂと記す）として補間生成するＲ＠Ｂプレーン生成部５１、Ｒの画素位置おいて、Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置（以下、Ｂ＠Ｒと記す）として補間生成するＢ＠Ｒプレーン生成部５２、モザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング部５３と、サンプリング部５３で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して画素毎に複数の色成分を備えた色情報を生成する色生成部５４等を備えている。
【００８１】
色プレーン分解部２１は、図７に表したように、（ａ）のベイヤー配列の色モザイク画像から、Ｒ画素のみを取り出したＲプレーン（ｂ）、Ｇｒ画素のみを取り出したＧｒプレーン（ｃ）、Ｇｂ画素のみを取り出したＧｂプレーン（ｄ）、Ｂ画素のみを取り出したＢプレーン（ｅ）の、４つのプレーンに分解する。この際、Ｒ画素に対して横方向に並ぶＧ画素をＧｒとし、Ｂ画素に対して横方向に並ぶＧ画素をＧｂとしている。また、ここでは、色モザイク画像が、第１の実施形態において引用したように、画像境界Ｌを介して、右上領域に（Ｒ，Ｇ，Ｂ）＝（０，０，１）の輝度を持ち、左下領域に（Ｒ，Ｇ，Ｂ）＝（１，０，０）の輝度を持つように、青と赤の画像が画成されて結像しているものとする。
【００８２】
次に、Ｂ＠Ｒプレーン生成部５１は、図６（ａ）〜（ｃ）に表したように、図（ａ）の色モザイク画像のＲ画素の位置におけるＢ画素の値を生成する。詳しくは、Ｂ＠Ｒプレーンは、ＢプレーンをＲ画素の位置において再サンプリングした輝度信号であり、Ｂプレーンに対して（式１６）のフィルタを施して生成される。
【数１６】
【００８３】
例えば、Ａ３２の画素位置におけるＢ＠ＲプレーンのＢの輝度信号は、Ａ３２の画素を中心とするＡ２１、Ａ４１、Ａ２３、Ａ４３の画素値を用い、（Ａ２１×１＋Ａ４１×１＋Ａ２３×１＋Ａ４３×１）／４の演算式で算出され、図６（ｂ）を参照してこの演算式に、Ａ２１、Ａ４１、Ａ４３の画素値を１、Ａ２３の画素値を０として代入すると、輝度信号３／４が得られる。
【００８４】
この結果、図６（ｃ）に表したように、Ｂ＠Ｒプレーンは、Ｒの画素位置で値を持ち、Ｒの画素位置を除く他の画素位置では値が０となる。
【００８５】
次に、Ｒ＠Ｂプレーン生成部５２は、図６（ａ）、（ｄ）、（ｅ）に表したように、図（ａ）の色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する。詳しくは、Ｒ＠Ｂプレーンは、ＲプレーンをＢ画素の位置において再サンプリングした輝度信号であり、Ｒプレーンに対して（式１６）のフィルタを施して生成される。
【００８６】
例えば、Ａ４３の画素位置におけるＲ＠ＢプレーンのＲの輝度信号は、Ａ４３の画素を中心とするＡ３２、Ａ５２、Ａ３４、Ａ５４の画素値を用い、（Ａ３２×１＋Ａ５２×１＋Ａ３４×１＋Ａ５４×１）／４の演算式で算出され、図６（ｄ）を参照してこの演算式に、Ａ３２、Ａ５２、Ａ５４の画素値を０、Ａ３４の画素値を１として代入すると、輝度信号１／４が得られる。
【００８７】
この結果、図６（ｅ）に表したように、Ｒ＠Ｂプレーンは、Ｂの画素位置で値を持ち、Ｂ画素を除く他の画素位置では値が０となる。
【００８８】
次に、サンプリング座標設定部４１は、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定する。
【００８９】
ここでは、色モザイク画像における（式１７）に表した画素位置を、（式１８）に表した出力画像上の画素位置に変形させるものとする。なお、（式１８）において、（ｕｓ，ｖｓ）が出力画像の画素位置の座標を表し、ｆが画像変形の変形関数を表す。
【数１７】
【数１８】
【００９０】
例えば、出力するカラー画像の画素位置が、ズーム倍率がＺ倍であれば（式１９）であり、回転角度θの画像変形であれば（式２０）である。この際、サンプリング座標設定部４１において、（式２１）に表した出力画素に対して、変形前のモザイク画像上におけるサンプリング座標（式２２）を算出する。なお、画素位置は、（ｕ，ｖ）座標系における整数格子上に設定されているが、（式２２）で算出されたサンプリング座標の値は、整数とは限らず実数となる。
【数１９】
【数２０】
【数２１】
【数２２】
【００９１】
また、サンプリング座標設定部４１において色収差補正を行う際には、変形関数ｆがＲ、Ｇ、Ｂの色毎に異なる関数ｆＲ、ｆＧ、ｆＢとなって、サンプリング座標がＲ、Ｇ、Ｂ毎に、（式２３）、（式２４）、（式２５）となる。また、ｆを（式２６）で表した恒等変換とすれば、実施形態１と同じ結果が得られる。
【数２３】
【数２４】
【数２５】
【数２６】
【００９２】
次に、サンプリング部５３は、図７に表したように、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５１で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出する。
【００９３】
つまり、サンプリング座標として、Ｒプレーンからは（ｕｓＲ，ｖｓＲ）、Ｇｒプレーンからは（ｕｓＧ，ｖｓＧ）、Ｇｂプレーンからは（ｕｓＧ，ｖｓＧ）、Ｂプレーンからは（ｕｓＢ，ｖｓＢ）、Ｒ＠Ｂプレーンからは（ｕｓＲ，ｖｓＲ）、Ｂ＠Ｒプレーンからは（ｕｓＢ，ｖｓＢ）が算出される。
【００９４】
この際、サンプリング座標（ｕｓ，ｖｓ）が整数と限らない（つまり、（ｕｓ，ｖｓ）が一つの画素中心に一致するとは限らない）ので、サンプリング値は、（ｕｓ，ｖｓ）を囲む４つの有値画素（各色プレーンが元々もっている同一色の画素値）から線形補間して算出する。この補間は、好ましくは、バイリニア補間によって行う。
【００９５】
図７（ｈ）に表したように、各色プレーンが縦横の格子点状に４つの有値画素を持つため、サンプリング座標４０１〜４０６を囲む４つの有値画素は、当該サンプリング座標が（１００．８，１０１．４）であれば、サンプリング座標を囲んで一辺の長さが２の正方形の頂点に位置する。
【００９６】
つまり、例えばＲプレーンに対するサンプリング座標（ｕｓＲ，ｖｓＲ）が（１００．８，１０１．４）であれば、これを囲む４つの有値画素の座標（ｕ，ｖ）が、（１００，１００）、（１００，１０２）、（１０２，１００）、（１０２，１０２）となる。
【００９７】
そこで、サンプリング座標を介して対向する有値画素間の距離の比（ここでは、ｕ方向が０．４：０．６、ｖ方向が０．７：０．３である）を求め、４つの有値画素の画素値を用いて、サンプリング位置（１００．８，１０１．４）におけるＲの画素値を補間によって算出する。
【００９８】
そして、４つの有値画素の画素値をＲ（１００，１００）、Ｒ（１００，１０２）、Ｒ（１０２，１００）、Ｒ（１０２，１０２）で表し、サンプリング位置（１００．８，１０１．４）のＲの画素値をＲ（１００．８，１０１．４）で表すと、Ｒプレーン上でのサンプリング座標４０１の画素値Ｒ（１００．８，１０１．４）を、Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）、の演算式によって算出できる。
【００９９】
Ｇｒプレーン上でのサンプリング座標４０２におけるＧｒの画素値、Ｇｂプレーン上でのサンプリング座標４０３におけるＧｂの画素値、Ｂプレーン上でのサンプリング座標４０４におけるＢの画素値、Ｒ＠Ｂプレーン上でのサンプリング座標４０５におけるＲの画素値、Ｂ＠Ｒプレーン上でのサンプリング座標におけるＢの画素値等も、Ｒプレーンと同様に、サンプリング座標を囲む４つの有値画素の画素値から補間によって算出できる。
【０１００】
なお、サンプリング座標設定部４１では、出力カラー画像における全画素に対応付けてサンプリング座標を設定し、サンプリング部５３では、これらの全サンプリング座標におけるサンプリング値を算出する。そして、このサンプリング値を出力カラー画像の対応する画素位置に配置することにより画像信号と見なせる。
【０１０１】
次に、色生成部５４は、出力カラー画像の各画素における輝度を生成する輝度生成部５４Ａと色差を生成する色差生成部５４Ｂと、によって構成されている。なお、本発明の請求項１における輝度生成手段が輝度生成部５４Ａによってその機能が発現される。
【０１０２】
輝度生成部５４Ａは、出力カラー画像の各画素において、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度信号Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、とする。この際、輝度信号の構成比率は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【０１０３】
輝度Ｙを求める際に用いた係数ｋについては、ｋ＝２／３がジッパーアーチファクトの抑制のために最適であるが、ｋ＝２／３の近傍であればジッパーアーチファクト抑制の効果が得られる。また、数値２／３が、２進数において０．１０１０１０…ｂと表現されるので、ｋを、１／２（２進数では０．１ｂ）〜３／４（２進数では０．１１ｂ）の範囲において、２進数が簡素な数値になるように設定しても良い。
【０１０４】
また、輝度ＹにおけるＲとＲ＠Ｂの和Ｒｔｏｔは、Ｒｔｏｔ＝（１−ｋ）Ｒ＋ｋＲ＠Ｂの演算式で表されるが、Ｒ＠Ｂの出自を組み入れて次式のように変形できる。
【０１０５】
つまり、ＲとＲ＠Ｂの和Ｒｔｏｔ（ｕｓＲ，ｖｓＲ）は、Ｒｔｏｔ（ｕｓＲ，ｖｓＲ）＝（１−ｋ）＊Ｒ（ｕｓＲ，ｖｓＲ）＋ｋ＊Ｒ＠Ｂ（ｕｓＲ，ｖｓＲ）＝（１−ｋ）＊Ｒ（ｕｓＲ，ｖｓＲ）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ−１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ＋１）＋（ｋ／４）＊Ｒ（ｕｓＲ−１，ｖｓＲ−１）、となる。
【０１０６】
例えば、図７に表したように（ｕｓＲ，ｖｓＲ）＝（１００．８，１０１．４）での値を例にすると、Ｒｔｏｔ（１００．８，１０１．４）＝（１−ｋ）（０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１００）＋０．１＊０．２＊Ｒ（９８，１０２）＋０．９＊０．８＊Ｒ（１００，１００）＋０．９＊０．２＊Ｒ（１００，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（９８，１０２）＋０．１＊０．２＊Ｒ（９８，１０４）＋０．９＊０．８＊Ｒ（１００，１０２）＋０．９＊０．２＊Ｒ（１００，１０４））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１００）＋０．１＊０．２＊Ｒ（１００，１０２）＋０．９＊０．８＊Ｒ（１０２，１００）＋０．９＊０．２＊Ｒ（１０２，１０２））＋（ｋ／４）＊（０．１＊０．８＊Ｒ（１００，１０２）＋０．１＊０．２＊Ｒ（１００，１０４）＋０．９＊０．８＊Ｒ（１０２，１０２）＋０．９＊０．２＊Ｒ（１０２，１０４））＝０．１＊０．８＊（ｋ／４）＊Ｒ（９８，１００）＋０．１＊（ｋ／４）＊Ｒ（９８，１０２）＋０．１＊０．２＊（ｋ／４）＊Ｒ（９８，１０４）＋（０．８＊（ｋ／４）＋０．６＊０．３＊（１−ｋ））＊Ｒ（１００，１００）＋（（ｋ／４）＋０．６＊０．７＊（１−ｋ））＊Ｒ（１００，１０２）＋０．２＊（ｋ／４）＊Ｒ（１００，１０４）＋（０．９＊０．８＊（ｋ／４）＋０．４＊０．３＊（１−ｋ））＊Ｒ（１０２，１００）＋（０．９＊（ｋ／４）＋０．４＊０．７＊（１−ｋ））＊Ｒ（１０２，１０２）＋０．９＊０．２＊（ｋ／４）＊Ｒ（１０２，１０４）、となる。
【０１０７】
これにより、Ｒ＠Ｂを演算式に明示しなくても、（ｕｓＲ，ｖｓＲ）＝（１００．８，１０１．４）の周辺５×５画素内の９つのＲ画素の値からＲのサンプリング値を算出できることが分かる。但し、例外的にＲのサンプリング座標（ｕｓＲ，ｖｓＲ）がＢ画素と同一の水平及び垂直位置にある際には、６つまたは４つのＲの画素値からサンプリング値が算出される。
【０１０８】
次に、色差生成部５４Ｂは、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成する。ここで、Ｃ１は、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号とを減じた値であって、一方、Ｃ２は、Ｒの画素信号とＢの画素信号の差を表す。
【０１０９】
また、Ｃ１の生成の際には、Ｒ：Ｇ：Ｂ＝（−１）：２：（−１）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの各画素値を（−１）：１：１：（−１）の比で合成し、Ｃ１＝（−Ｒ＋Ｇｒ＋Ｇｂ−Ｂ）／４を算出する。一方、Ｃ２の生成の際には、Ｒ：Ｇ：Ｂ＝２：０：（−２）の構成比となるように、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値を２：０：０：（−２）の比で合成し、Ｃ２＝（２Ｒ−２Ｂ）／４を算出する。
【０１１０】
さらに、色差生成部５４Ｂでは、前記のように生成された色差に対して偽色抑制のための補正を行う。偽色抑制の一例として、まず、ｆｓ／２（ナイキスト周波数）付近の高周波成分Ｋを、Ｋ＝（２Ｇｒ−２Ｇｂ）／４の演算式で算出する。次いで、下記式を用いてＣ２の絶対値からＫ２の絶対値を減じることにより高周波部に発生する赤及び青の偽色を抑制することができる。Ｃ２→ｓｉｇｎ（Ｃ２）ｍａｘ（０，ａｂｓ（Ｃ２）−ａｂｓ（Ｋ））
【０１１１】
次に、視覚補正部３４は、輝度信号生成部２５で得られた輝度信号Ｙ及び色差生成部で得られた色差信号Ｃ１、Ｃ２に対して所定の処理を加え、これらの色信号からなるカラー画像の見栄えを補正する。例えば、色差信号Ｃ１、Ｃ２に対して低周波フィルタ処理を施して色ノイズを低減したり、輝度信号Ｙに対して高周波強調を行うことで解像感を強調したりする。
【０１１２】
次に、図８を用いて、前記第２の実施形態の、画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図８におけるＳはステップを表している。
【０１１３】
まず、この手順は、オペレータによって撮像装置１Ａ又は画像処理装置１００Ａに起動信号が入力された際にスタートし、その後、Ｓ１０１及びＳ１０２に移る。
【０１１４】
次いで、Ｓ１０１において、撮像ユニット２Ａを介して画像信号（色モザイク画像）を画像処理装置１００Ａに読み込み、その後、Ｓ２０１に移る。
【０１１５】
次いで、Ｓ２０１において、色プレーン分解部２１を用いて、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号毎に記憶し、その後、Ｓ３０１に移る。
【０１１６】
次いで、Ｓ３０１において、Ｒ＠Ｂ生成部５１及びＢ＠Ｒ生成部５２を用いて、色モザイク画像のＢ画素の位置におけるＲ画素の値を生成する（Ｒ＠Ｂプレーンを生成する）と共に、色モザイク画像のＲ画素の位置におけるＢ画素の値を生成し（Ｂ＠Ｒプレーンを生成し）、その後、Ｓ４０１に移る。
【０１１７】
一方、Ｓ１０２において、サンプリング座標設定部４１を用いて、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を考慮し、収差係数設定部３９及びブレ検出部４０で取得されたパラメータに基づいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定し、その後、Ｓ４０１に移る。
【０１１８】
次いで、Ｓ４０１において、サンプリング部５３を用いて、色プレーン分解部２１で生成された４つの色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）と、Ｒ＠Ｂ生成部５１で生成されたＲ＠Ｂプレーン、Ｂ＠Ｒ生成部５２で生成されたＢ＠Ｒプレーンに基づいて、サンプリング座標設定部４１で設定されたサンプリング位置におけるサンプリング値（サンプリング位置における色毎の画素値である）を算出し、その後、Ｓ５０１及びＳ５０２に移る。
【０１１９】
次いで、Ｓ５０１において、輝度生成部５４Ａを用いて、サンプリング部５３で算出されたＧｒ、Ｇｂ、Ｒ、Ｒ＠Ｂ、Ｂ、Ｂ＠Ｒの画素値を、１：１：（１−ｋ）：ｋ：（１−ｋ）：ｋ、の比率で合成するように、輝度Ｙを、Ｙ＝Ｇｒ＋Ｇｂ＋（１−ｋ）Ｒ＋ｋＲ＠Ｂ＋（１−ｋ）Ｂ＋ｋＢ＠Ｒ、の演算式で算出し、その後、Ｓ６０１に移る。
【０１２０】
一方、Ｓ５０２において、色差生成部５４Ｂを用いて、サンプリング部５３で生成されたＲ、Ｇｒ、Ｇｂ，Ｂの各画素値（サンプリング値）から、２つの色差信号Ｃ１、Ｃ２を生成し、その後、Ｓ６０１に移る。
【０１２１】
次いで、Ｓ６０１において、輝度Ｙ及び色差Ｃ１、Ｃ２を生成する次のサンプリング座標が有るか否かを判定し、次の対象点が有る（Ｙｅｓ）際には、Ｓ４０１〜６０１を繰り返し、次のサンプリング座標が無い（Ｎｏ）となった際に、Ｓ７０１に移る。
【０１２２】
次いで、Ｓ７０１において、視覚補正部３４を用い、輝度生成部５４Ａ及び色差生成部５４Ｂで生成されたカラー画像信号（輝度Ｙ、色差Ｃ１、色差Ｃ２）に対して、画像の見栄えを良くするための画像補正、標準的なカラー画像の色空間座標であるＹＵＶ色度座標への変換等を行い、その後、Ｓ８０１に移る。
【０１２３】
次いで、Ｓ８０１において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ９０１に移る。
【０１２４】
次いで、Ｓ９０１において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。
【０１２５】
以上のように、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、色モザイク画像から、色プレーン分解部２１を介して、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解し、次いで、Ｒ＠Ｂプレーン生成部５１を介して、Ｂの画素位置おいて該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成すると共に、Ｂ＠Ｒプレーン生成部５２を介して、Ｒの画素位置おいて該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成し、次いで、サンプリング部５３を介して、カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ画素値＠Ｂ画素位置プレーン、Ｂ画素値＠Ｒ画素位置プレーンの夫々毎に画素値を補間生成してプレーン毎のサンプリング値を生成し、次いで、輝度生成部５４Ａを介して、各色プレーンのサンプリング値を合成してカラー画像の各画素の輝度を生成しているので、赤系画像と青系画像との境界に現れるジッパーアーチファクトを効果的に抑制することができ、さらには、色モザイク画像の画素位置に関らず、任意の画素位置において高品位な輝度を生成できる。
【０１２６】
また、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法及び画像処理プログラムによれば、ブレ検出部４０からの検出値に基づくブレ補正や収差係数設定部３９からの設定値に基づく収差補正を行うように、入力画像におけるサンプリング位置を設定するサンプリング座標設定部４１等を備えているので、色モザイク画像と出力カラー画像の各画素を１：１に対応させる必要がなく、解像度変換や各種の画像変形を同時に適用できて利便性を向上できる。つまり、本実施形態の輝度信号生成方法を用いた画像処理によれば、ジッパーアーチファクトやジャギーの発生を抑制して高品位な輝度信号を得ることができると共に、所望の画像変形を行うことができ、高品質なカラー画像を生成できる。
【０１２７】
以上、本発明の一実施例について説明したが、本発明は前記実施例に限定されるものではなく、種々の態様を取ることができる。
【符号の説明】
【０１２８】
１，１Ａ…撮像装置、２，２Ａ…撮像ユニット、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２１…色プレーン分解部、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…輝度生成部、２６…ＳｗｉｔｃｈＹ生成部、２７…ＲＢプレーン生成部、２８…輝度補正値生成部、２９…輝度補正部、３０…色差生成部、３１…Ｃ１生成部、３２…Ｃ２生成部、３４…視覚補正部、３５…圧縮部、３６…記録部、３７…レンジステート検出部、３８…収差係数記憶テーブル、３９…収差係数設定部、４０…ブレ検出部、４１…サンプリング座標設定部、５１…Ｒ＠Ｂ生成部、５２…Ｂ＠Ｒ生成部、５３…サンプリング部、５４…色生成部、５４Ａ…輝度生成部、５４Ｂ…色差生成部、１００，１００Ａ…画像処理装置。
【特許請求の範囲】
【請求項１】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、
前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、
前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記輝度生成手段が、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度生成手段が、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
を用いることを特徴とする画像処理方法。
【請求項５】
前記輝度生成ステップにおいて、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記輝度生成ステップにおいて、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項８】
前記輝度生成ステップにおいて、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ようにコンピュータに実行させることを特徴とする請求項７に記載の画像処理プログラム。
【請求項９】
前記輝度生成ステップにおいて、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ようにコンピュータに実行させることを特徴とする請求項７に記載の画像処理プログラム。
【請求項１】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解部と、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成部と、
前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成部と、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリング手段と、
前記サンプリング手段を介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記輝度生成手段が、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度生成手段が、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
前記Ｒの画素位置おいて、該Ｒ画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
を用いることを特徴とする画像処理方法。
【請求項５】
前記輝度生成ステップにおいて、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記輝度生成ステップにおいて、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
Ｒ（赤）、Ｇ（緑）、Ｂ（青）３色のベイヤー配列のカラーフィルタを有する撮像素子を介して出力されて各画素が単一色の色情報を備えた色モザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理プログラムであって、
前記ベイヤー配列において、水平方向に前記Ｒの隣に配置される前記ＧをＧｒ、前記Ｂの隣に配置される前記ＧをＧｂとして表した際に、
前記色モザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分解する色プレーン分解ステップと、
前記Ｂの画素位置おいて、該Ｂ画素を囲むＲの画素の補間値をＢの画素値に置き換えてＲ画素値＠Ｂ画素位置として補間生成するＲ＠Ｂプレーン生成ステップと、
前記Ｒの画素位置おいて、該Ｒの画素を囲むＢの画素の補間値をＲの画素値に置き換えてＢ画素値＠Ｒ画素位置として補間生成するＢ＠Ｒプレーン生成ステップと、
前記カラー画像の画素位置に対応付けられたモザイク画像のサンプリング位置において、前記Ｒプレーン、Ｇｒプレーン、Ｇｂプｒ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンの夫々毎に画素値を補間生成し、プレーン毎のサンプリング値を生成するサンプリングステップと、
前記サンプリングステップを介して生成された前記Ｒプレーン、Ｇｒプレーン、Ｇｂプレ−ン、Ｂプレーン、Ｒ＠Ｂプレーン、Ｂ＠Ｒプレーンのサンプリング値を合成して前記カラー画像の各画素の輝度を生成する輝度生成ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項８】
前記輝度生成ステップにおいて、
前記Ｒプレーンのサンプリング値とＲ＠Ｂプレーンのサンプリング値とを略１：２の割合で合成する、
ようにコンピュータに実行させることを特徴とする請求項７に記載の画像処理プログラム。
【請求項９】
前記輝度生成ステップにおいて、
前記Ｂプレーンのサンプリング値とＢ＠Ｒプレーンのサンプリング値とを略１：２の割合で合成する、
ようにコンピュータに実行させることを特徴とする請求項７に記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６６２１４（Ｐ２０１３−６６２１４Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１２−２５３９００（Ｐ２０１２−２５３９００）
【出願日】平成２４年１１月２０日（２０１２．１１．２０）
【分割の表示】特願２００７−２６８６４５（Ｐ２００７−２６８６４５）の分割
【原出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（５０９０６６１０１）
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２４年１１月２０日（２０１２．１１．２０）
【分割の表示】特願２００７−２６８６４５（Ｐ２００７−２６８６４５）の分割
【原出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（５０９０６６１０１）
【Ｆターム（参考）】
[ Back to top ]