画像処理システム
【課題】マルチバンドのカラーフィルタを用いながら偽色の発生を抑える。
【解決手段】 画像処理システム４０は受信部４１、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５を有する。受信部４１は第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかが不足している複数の画素信号によって構成される原画像信号を受信する。微分値算出部４２は画素信号それぞれに対応する画素を挟む２画素を用いて画素信号の微分値を算出する。参照画像作成部４４は原画像信号の中で画像信号内において要素数が最大である第１の色信号成分を用いて一次参照画像を作成する。補間画像作成部４５は一次参照画像を用いて全色信号成分を補間して補間画像を作成する。一次参照画像及び補間画像の少なくとも一方は、微分値を用いて作成される
【解決手段】 画像処理システム４０は受信部４１、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５を有する。受信部４１は第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかが不足している複数の画素信号によって構成される原画像信号を受信する。微分値算出部４２は画素信号それぞれに対応する画素を挟む２画素を用いて画素信号の微分値を算出する。参照画像作成部４４は原画像信号の中で画像信号内において要素数が最大である第１の色信号成分を用いて一次参照画像を作成する。補間画像作成部４５は一次参照画像を用いて全色信号成分を補間して補間画像を作成する。一次参照画像及び補間画像の少なくとも一方は、微分値を用いて作成される
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンドのカラーフィルタが配置された撮像素子などの撮像により生成された原画像信号の色補間を行う画像処理システムに関する。
【背景技術】
【０００２】
近年、被写体の忠実な色再現を目的として、マルチスペクトル画像撮影が注目されている。従来のマルチスペクトル画像撮影では、複数のカメラを用いた撮影、または複数回の撮影を行うために専用の撮影システムが必要とされていた。そのような専用の撮影システムを用いることなく、一般のデジタルカメラを用いたマルチスペクトル画像撮影が望まれていた。そこで、マルチスペクトル画像撮影を実行可能なイメージセンサが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１２９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生するなどの問題があった。
【０００５】
従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのＣＦＡを有する撮像素子が生成する原画像信号に基づいて、偽色の発生を抑えるデモザイキングを実行する画像処理システムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した諸課題を解決すべく、本発明による画像処理システムは、
第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように色信号成分の補間を行う画像処理システムであって、
原画像信号を受信する受信部と、
画素信号それぞれに対応する画素を挟む同色の２画素を用いて画素信号の微分値を算出する微分値算出部と、
原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とするものである。
【発明の効果】
【０００７】
上記のように構成された本発明に係る画像処理システムによれば、参照画像または補間画像の作成時に微分値を用いるので、実際に撮像された画像の局所的な部位に基づいた補間が行われる。それゆえ、ＣＦＡのマルチバンド化を図りながら、偽色の発生を抑えたデモザイクが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。
【図２】ＣＦＡにおけるカラーフィルタの配置を示す配置図である。
【図３】画像信号処理部の構成を概略的に示すブロック図である。
【図４】Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。
【図５】第１の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図６】第１の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図７】第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図８】第２の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図９】第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１０】第３の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１１】第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１２】第４の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１３】第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１４】第５の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１５】第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１６】第６の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１７】色差を介して色信号成分を補間するデモザイク処理を説明するための概念図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。
【００１０】
デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。
【００１１】
撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。
【００１２】
撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。
【００１３】
受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となるＯＢ画素信号（暗電流）を出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。
【００１４】
図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。
【００１５】
ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。
【００１６】
ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。
【００１７】
また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。
【００１８】
また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び４行４列目にＯｒカラーフィルタが配置される。
【００１９】
上述のようなカラーフィルタ繰返し単位２１ｕでは、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。
【００２０】
例えば、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。
【００２１】
また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。
【００２２】
Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。
【００２３】
上述のようなＣＦＡ２１ａが設けられた撮像素子において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。
【００２４】
垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動され、１画素ずつ画素信号が出力されるように制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームの原画像信号（Ｒａｗ画像データ）に定められる。
【００２５】
撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。
【００２６】
撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。
【００２７】
画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。
【００２８】
所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６及び画像記録部１７に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタには、受信した補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。また、画像記録部１７に送信された補間画像信号及びＲＧＢ画像信号は、そこで格納される。
【００２９】
デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。
【００３０】
なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。
【００３１】
システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。
【００３２】
次に、画像信号処理部３０の構成について図３を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。
【００３３】
バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。
【００３４】
ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図４に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補完される。
【００３５】
デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される。ＮＲ処理部３２において、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は画像記録部１７に送信され、格納される。また、ノイズの除去された補間画像信号はＭＢ−ＲＧＢ変換処理部３３及び色変換処理部３４に送信される。
【００３６】
ＭＢ−ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は画像記録部１７に送信され、格納される。また、ＲＧＢ画像信号は、色・ガンマ補正処理部３５に送信される。
【００３７】
色変換処理部３４では、補間画像信号に対して色変換処理が施される。色変換処理の施された補間画像信号は多原色モニタ１６ｍｂに送信され、補間画像信号に相当する画像が表示される。
【００３８】
色・ガンマ補正処理部３５では、ＲＧＢ画像信号に対して色補正処理及びガンマ補正処理が施される。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。
【００３９】
次に、デモザイク処理について図５を用いて説明する。図５は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。
【００４０】
前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。
【００４１】
また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（ａＫ参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（ａＧＵ参照）。
【００４２】
適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。
【００４３】
Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。
【００４４】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図６を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１（受信部）、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。
【００４５】
ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。
【００４６】
微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（第１、第２の微分値）が算出される。微分値の算出のために、全画素が順番に注目画素（図示せず）に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。
【００４７】
なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。
【００４８】
適応的カーネル算出部４３では、微分値と画素信号とに基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。
【００４９】
逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。
【００５０】
【数１】
【００５１】
なお、（１）式において、Ｎｘは周囲画素の画素位置集合であり、｜Ｎｘ｜は画素位置集合の画素数である。また、Ｚｕ（ｘｊ）は、周囲画素ｘｊのｕ方向の微分値であり、Ｚｖ（ｘｊ）は周囲画素ｘｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。
【００５２】
注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμｘが算出される。パラメータμｘの算出のために、共分散行列Ｃｘの固有値λ１、λ２が算出される。固有値の積λ１×λ２が閾値Ｓと比較される。固有値の積λ１×λ２が閾値Ｓ以上である場合には、パラメータμｘは１と計算される。一方、固有値の積λ１×λ２が閾値Ｓより小さい場合には、（Ｓ／（λ１×λ２））の四乗根がパラメータμｘとして計算される。
【００５３】
パラメータμｘの算出後、注目画素に対する適応的カーネル関数が算出される。適応的カーネル関数ｋｘ（ｘｊ−ｘ）は（２）式により算出される。
【００５４】
【数２】
【００５５】
（２）式において、ｘｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。
【００５６】
全画素に対して算出された適応的カーネル関数ｋｘ（ｘｊ−ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。
【００５７】
適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
【００５８】
注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。
【００５９】
【数３】
【００６０】
なお、ωｘは（４）式により算出される。Ｍｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓｘｉは周囲画素のＧ色信号成分である。
【００６１】
【数４】
【００６２】
注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋｘ（ｘｉ−ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。
【００６３】
補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。
【００６４】
同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。
【００６５】
適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
【００６６】
注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。
【００６７】
【数５】
【００６８】
なお、（５）式において、Ｉｘｉは参照画像における周囲画素の画素値、Ｉｘは参照画像における注目画素の画素値である。ｒ（Ｉｘｉ−Ｉｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。
【００６９】
注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
【００７０】
以上のような構成の第１の実施形態の画像処理システムによれば、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像が作成される。
【００７１】
一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。従って、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。このような仮定に基づいて、参照画像および補間画像の作成において、何れの色信号成分の微分値であっても、他の色信号成分の補間に用いるための適応的カーネル関数を算出可能である。
【００７２】
第１の実施形態では、参照画像の作成においてもすべての画素において勾配情報を用いて適応的カーネル関数が用いられる。そのため、参照画像において、偽像の発生を低減化することが可能である。このように、偽像の発生が抑えられた参照画像と、適応的カーネル関数を用いて色補間を行うので、それぞれの色信号成分において偽像の発生を大幅に低減化させることが可能である。
【００７３】
それゆえ、第１の実施形態の画像処理システムによれば、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【００７４】
また、第１の実施形態では、共分散関数の固有値の積に基づいてパラメータμｘが算出され、適応的カーネル関数の算出に用いられる。パラメータμｘは前述のように、カーネル関数の大きさを表すパラメータであり、上述のように固有値の積に基づいて算出されるので、注目画素毎にカーネル関数の大きさを適切に設定することが可能である。
【００７５】
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【００７６】
第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【００７７】
第２の実施形態で実行されるデモザイク処理について図７を用いて説明する。図７は、第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【００７８】
第２の実施形態では、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第１の実施形態では原画像信号ＯＩＳの全画素信号を用いて算出した適応的カーネル関数を用いているが、第２の実施形態では参照画像信号ＲＩＳを用いて算出した適応的カーネル関数（符号Ａ参照）を用いている。
【００７９】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４００の構成及び機能を、図８を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４００は、分配部４１０、微分値算出部４２０、適応的カーネル算出部４３０、参照画像作成部４４０、及び補間画像作成部４５０によって構成される。
【００８０】
第２の実施形態では、微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０の機能の一部が第１の実施形態と異なる。微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０が第１の実施形態と同様に機能することにより、参照画像信号が作成される。
【００８１】
第１の実施形態と異なり、参照画像信号は微分値算出部４２０及び適応的カーネル算出部４３０に送信される。微分値算出部４２０では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値（第３の微分値）を算出する。また、第２の実施形態と異なり、適応的カーネル算出部４３０は、参照画像信号に基づいて算出された微分値を用いた適応的カーネル関数も算出する。
【００８２】
参照画像信号に基づいて算出された適応的カーネル関数が、原画像信号に基づいて算出された適応的カーネル関数の代わりに補間画像作成部４５０に送信される。補間画像作成部４５０では、参照画像信号に基づいて算出された適応的カーネル関数を用いて各色信号成分の補間を行う。
【００８３】
以上のような構成の第２の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像信号が作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【００８４】
次に、本発明の第３の実施形態に係る画像処理システムについて説明する。第３の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【００８５】
第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【００８６】
第３の実施形態で実行されるデモザイク処理について図９を用いて説明する。図９は、第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【００８７】
第３の実施形態では、各色信号成分の補間に適応的ジョイントバイラテラル補間法でなくガイデッドフィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ参照）を利用する点において、第１の実施形態と異なっている。なお、ガイデッドフィルタの算出には適応的カーネル関数が不要である。
【００８８】
したがって、第１の実施形態と同様に、適応的カーネル関数が算出され（ａＫ参照）、Ｇ原画像信号成分ｇＯＩＳを用いて参照画像信号ＲＩＳが生成される。次に、参照画像信号ＲＩＳに基づいてガイデッドフィルタを適用する。
【００８９】
ガイデッドフィルタを利用した補間法によりＧ色信号成分が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。Ｇ色信号成分の代わりに、Ｃｙ色信号成分を用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが作成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像ＩＩＳが作成される。
【００９０】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０１の構成及び機能を、図１０を用いて説明する。第１の実施形態と同様に、ＭＢモザイク処理部４０１は、分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、参照画像作成部４４１、および補間画像作成部４５１によって構成される。
【００９１】
分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、および参照画像作成部４４１の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
【００９２】
第１の実施形態と異なり、補間画像作成部４５１では、ガイデッドフィルタを適用してＧ色信号成分の補間が行われる。同様に、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。
【００９３】
まず、ガイデッドフィルタについて説明する。ガイデッドフィルタは、すべての画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
【００９４】
注目画素ｘｐに対して、（６）式のコスト関数Ｅ（ａｘｐ、ｂｘｐ）が最小化するように最小二乗法により係数（ａｘｐ、ｂｘｐ）が算出される。
【００９５】
【数６】
【００９６】
（６）式において、ωｋは注目画素周辺に存在する信号成分の要素数である。Ｍiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。ａｘｐ、ｂｘｐは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉｉは周囲画素に対応する参照画像の画素値である。ｐｉは信号成分の画素値である。εは所定の平滑化パラメータである。
【００９７】
全画素に対する係数（ａｘｐ、ｂｘｐ）が算出される。Ｇ色信号成分の補間を行うために、原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
【００９８】
注目画素ｘｉの色信号成分ｑｉは、（７）式により算出される。
【００９９】
【数７】
【０１００】
（７）式において、｜ω｜は注目画素および周囲画素の画素数、即ち５×５の配列において２５である。（ａｘｐ、ｂｘｐ）は、ガイデッドフィルタにおいて周囲画素に対して算出された係数である。
【０１０１】
注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補完画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
【０１０２】
以上のような構成の第３の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１０３】
次に、本発明の第４の実施形態に係る画像処理システムについて説明する。第４の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１０４】
第４の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１０５】
第４の実施形態で実行されるデモザイク処理について図１１を用いて説明する。図１１は、第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【０１０６】
第４の実施形態では、適応的ジョイントバイラテラル補間法の代わりに、適応的カーネル関数を使用しないジョイントバイラテラル補間法（ＪＢＵ参照）を用いて全色信号成分の補間を行う点において第１の実施形態と異なっている。
【０１０７】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１２を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４０２は、分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、参照画像作成部４４２、及び補間画像作成部４５２によって構成される。
【０１０８】
分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、および参照画像作成部４５２の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
【０１０９】
第１の実施形態と異なり、補完画像作成部４５２では、ジョイントバイラテラル補間法によりＧ色信号成分、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。ジョイントバイラテラル補間法では、（４）式において適応的カーネル関数の代わりに、注目画素から周囲画素までの距離に応じて小さくなる重み付けをｋ（ｘi−ｘ）として、注目画素の色信号成分が算出される。
【０１１０】
以上のような構成の第４の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能であるそれゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１１１】
なお、適応的カーネル関数を用いずにジョイントバイラテラル補間法により色信号成分を補間する構成であるため、第１の実施形態に比べて偽色の発生の抑止効果が低下する。しかし、参照画像そのものの作成に適応的カーネル関数を用いているので、前述のように参照画像の偽像の発生が低減化されている。それゆえ、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生の抑止効果を向上させることが可能である。
【０１１２】
次に、本発明の第５の実施形態に係る画像処理システムについて説明する。第５の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１１３】
第５の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１１４】
第５の実施形態で実行されるデモザイク処理について図１３を用いて説明する。図１３は、第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
【０１１５】
第５の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補完して参照画像が作成される（ＧＵ参照）。
【０１１６】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１４を用いて説明する。第５の実施形態におけるＭＢデモザイク処理部４０３は、分配部４１３、微分値算出部４２３、適応的カーネル算出部４３３、参照画像作成部４４３、及び補間画像作成部４５３によって構成される。
【０１１７】
分配部４１３、微分値算出部４２３、および補間画像作成部４５３の構成は、第１の実施形態と同じである。適応的カーネル算出部４３３は、第１の実施形態と同様に、全画素に対する適応的カーネル関数を算出する。しかし、第１の実施形態と異なり、適応的カーネル関数は参照画像作成部４４３には送信されず、補間画像作成部４５３にのみ送信される。
【０１１８】
参照画像作成部４４３では、第１の実施形態と異なり、Ｇ原画像信号成分に対してガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は補間画像作成部４５３に送信される。
【０１１９】
前述のように、補間画像作成部４５３の機能は第１の実施形態と同じであって、適応的カーネル関数、参照画像信号、および原画像信号の各色信号成分に基づいて、各色信号成分の補間を行う。各色信号成分の補間により、全色信号成分を有する画素信号が全画素に対して生成されるので、補間画像信号が生成される。
【０１２０】
以上のような構成の第５の実施形態の画像処理システムによっても、画素毎に微分値を算出し、参照画像を作成し、参照画像と微分値即ち勾配情報とに基づいて補間画像を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１２１】
なお、適応的カーネル関数を用いずに通常のガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
【０１２２】
次に、本発明の第６の実施形態に係る画像処理システムについて説明する。第６の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第６の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１２３】
第６の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１２４】
第６の実施形態で実行されるデモザイク処理について図１５を用いて説明する。図１５は、第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
【０１２５】
第６の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補間して参照画像が作成される（ＧＵ参照）。また、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第６の実施形態では、第２の実施形態と同様に、参照画像を用いて算出した適応的カーネル関数を用いている。
【０１２６】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１６を用いて説明する。第６の実施形態におけるＭＢデモザイク処理部４０４は、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４によって構成される。
【０１２７】
第６の実施形態では、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４の機能の一部が第１の実施形態と異なる。
【０１２８】
第１の実施形態と異なり、分配部４１４から微分値算出部４２４には色信号成分が送信されず、参照画像作成部４４４及び補間画像作成部４５４に色信号成分が送信される。
【０１２９】
参照画像作成部４４４では、第５の実施形態のように、適応的カーネル関数を用いずにＧ原画像信号成分に対して通常のガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は、第２の実施形態と同様に、微分値算出部４２４及び補間画像作成部４５４に送信される。
【０１３０】
第２の実施形態と同様に、微分値算出部４２４では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値を算出する。算出された微分値が適応的カーネル算出部４３４に送信される。適応的カーネル算出部４３４では、参照画像信号に基づいて算出された微分値を用いて適応的カーネル関数を算出する。算出された適応的カーネル関数が補間画像作成部４５４に送信される。
【０１３１】
補間画像作成部４５４では、通常のガウシアン補間法により生成した参照画像信号及び参照画像信号による適応的カーネル関数を用いて各色信号成分の補間を行う。
【０１３２】
以上のような構成の第６の実施形態の画像処理システムによっても、参照画像を作成し、参照画像に基づく微分値を算出し、参照画像と微分値即ち勾配情報とに基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１３３】
なお、第５の実施形態と同様に、適応的カーネル関数を用いずにガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
【０１３４】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１３５】
例えば、上記の第１〜第６の実施形態において、全色信号成分そのものが補間画像作成部４５、４５０、４５１、４５２、４５３、４５４において補間される構成であるが、一部の色信号成分においては色差を用いて補間を行うことにより色信号成分を生成してもよい。
【０１３６】
例えば、第１の実施形態において色差を利用した補間画像信号の生成について説明する。図１７に示すように、Ｇ補間画像信号成分ｇＩＩＳ、Ｃｙ補間画像信号成分ｃｙＩＩＳ、及びＯｒ補間画像信号成分ｏｒＩＩＳは、第１の実施形態と同様に生成される。
【０１３７】
生成されたＣｙ補間画像信号成分ｃｙＩＩＳの中から、Ｂ原画像信号成分ｂＯＩＳが存在する画素と同じ画素におけるＣｙ色信号成分が抽出される。減算器４６により、Ｂ原画像信号成分ｂＯＩＳから、抽出されたＣｙ色信号成分が減算され、第１の色差原画像信号成分ｄ１ＯＩＳが生成される。同様に、Ｏｒ補間画像信号成分ｏｒＩＩＳ及びＲ原画像信号成分ｒＯＩＳから第２の色差原画像信号成分ｄ２ＯＩＳが生成される。
【０１３８】
適応的カーネル関数、参照画像信号ＲＩＳ、及び第１の色差原画像信号成分ｄ１ＯＩＳを用いて、適応的ジョイントバイラテラル補間法により、生成されていない第１の色差信号成分が全画素に対して補間される。第１の色差信号成分の補間により第１の色差補間画像信号成分ｄ１ＩＩＳが生成される。同様に、適用的カーネル関数、参照画像信号ＲＩＳ、及び第２の色差原画像信号成分ｄ２ＯＩＳを用いて適応的ジョイントバイラテラル補間法により、第２の色差補間画像信号成分ｄ２ＩＩＳが生成される。
【０１３９】
加算器４７により、第１の色差補間画像信号成分ｄ１ＩＩＳに、Ｃｙ補間画像信号成分ｃｙＩＩＳが加算されることにより、Ｂ補間画像信号成分ｂＩＩＳが生成される。同様に、第２の色差補間画像信号成分ｄ２ＩＩＳに、Ｏｒ補間画像信号成分ｏｒＩＩＳが加算されることにより、Ｒ補間画像信号成分ｒＩＩＳが生成される。
【０１４０】
このように、色差を用いて補間を行うことも可能である。色差を用いて補間を行うことにより、いずれかの色信号成分のノイズ成分が多い場合であっても、当該画素における極端な色再現性の悪化を抑止することが可能である。
【０１４１】
なお、上述の説明においては、第１の実施形態の変形例において色差を利用した補間が行われているが、第２〜第６の実施形態においても、同様に色差を利用した補間を行うことは可能である。
【０１４２】
また、上述の説明においては、Ｃｙ色信号成分及びＢ色信号成分の色差と、Ｏｒ色信号成分及びＲ色信号成分の色差とが算出され、補間が行われている。色差の算出に用いる色差の互いのバンドが近くなるほど、色再現性を向上に有利である。ただし、色差の算出はこれらの組合わせに限定されない。例えば、Ｇ補間画像信号成分とＣｙ原画像信号成分とに基づく色差信号成分を補間する構成であってもよい。
【０１４３】
また、第１〜第６の実施形態において、Ｇ原画像信号成分を用いて参照画像信号を生成する構成であるが、補間画像信号のいずれかの色信号成分を生成した後に、生成した補間画像信号を参照画像信号として他の色信号成分の補間に用いても良い。
【０１４４】
上記の第１〜第６の実施形態において、Ｇ原画像信号成分に基づいて生成された参照画像信号を用いて全色信号成分そのものが補間される構成であるが、例えば、生成したＧ補間画像信号成分を参照画像信号（二次参照画像）として、Ｃｙ原画像信号成分、ＯＲ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分の補間に用いてもよい。
【０１４５】
Ｇ原画像信号成分に基づいて生成される参照画像信号よりも、補間画像信号成分の方が一般的に、色信号成分の再現性は高い。それゆえ、補間画像信号成分を参照画像信号として用いることにより、補間画像の再現性を向上させることが可能である。
【０１４６】
また、第１〜第６の実施形態において、ＣＦＡ２１ａではＧカラーフィルタの割合が最大であるが、他のバンドのカラーフィルタの割合が最大であってもよい。
【０１４７】
また、第１、第２、第４〜第６の実施形態において、（適用的）ジョイントバイラテラル補間では、注目画素と周囲画素との画素値の差分に応じた重み付けｒ（Ｉｘｉ−Ｉｘ）を用いる構成であるが、注目画素と周囲画素との類似性に応じた他の重み付けを用いてもよい。
【０１４８】
（適用的）ジョイントバイラテラル補間法では、参照画像において注目画素と周囲画素との光学情報が似ている、即ち画素値の差が近い場合に、周囲画素の重み付けが大きくなるように構成される。したがって、このような重み付けの代わりに、上述のように類似性が大きいほど、大きな重み付けをすることにより上述の実施形態と同様の効果を得ることが可能である。
【０１４９】
例えば、参照画像信号において、注目画素を中心とする３行３列の画素と、周囲画素を中心とする３行３列の画素の画素値の差の相乗平均を、注目画素と周囲画素との類似性として、相乗平均に応じて重み付けを行ってもよい。
【０１５０】
また、第１〜第４の実施形態において、最多のＧカラーフィルタの割合は５０％であるが、５０％に限定されない。参照画像信号の生成には適用的ガウシアン補間法が適用されるので、通常のガウシアン補間法に比べて色成分の精度が高い参照画像信号を生成可能である。
【０１５１】
また、第５、第６の実施形態において、ＣＦＡ２１ａの各画素に対して斜方に隣接する２画素に対応するカラーフィルタのバンドが等しい構成であるが、このような配置でなくてもよい。第５、第６の実施形態では、参照画像信号の生成に適用的カーネル関数を用いないので、上述のようなカラーフィルタ配置に限定されない。
【０１５２】
また、第１〜第６の実施形態において、ＣＦＡ２１ａには５バンドのカラーフィルタが設けられる構成であるが、３バンド以上であればよい。
【０１５３】
また、第２の実施形態において、単一の微分値算出部４２０によって、原画像信号に基づく微分値及び参照画像信号に基づく微分値が算出される構成であるが、別々の微分値算出部によって別々に算出されてもよい。
【０１５４】
また、第６の実施形態において、参照画像信号に基づいて注目画素の斜め方向に沿った微分値が算出される構成であるが、行方向及び列方向に沿った微分値を算出する構成であってもよい。参照画像信号には、欠落した画素信号が無いので行方向及び列方向に沿った微分値が算出可能である。また、上述のように第２の実施形態において、別々の微分値算出部を用いて参照画像信号に基づく微分値を算出する場合には、参照画像信号に基づく微分値の算出において行方向及び列方向に沿った微分値を算出する構成であってもよい。
【０１５５】
また、第１、第２の実施形態において、適応的カーネル関数の算出に用いる所定の設計パラメータｈには、適応的ガウシアン補間法及び適応的ジョイントバイラテラルアップサンプリングの両者ともに同一の値が用いられる構成であるが、両者の間で異なる値が用いられる構成であってもよい。
【０１５６】
また、第１〜第６の実施形態において、各色に対応する原画像信号成分において欠落した画素信号を補間することにより参照画像信号及び各色に対応する補間画像信号成分が生成される構成であるが、原画像信号成分において欠落せずに検出された画素も注目画素として補間を行ってもよい。
【０１５７】
また、第１〜第６の実施形態において、画像処理システムはデジタルカメラ１０に適用される構成であるが、一部の色信号成分が欠落するマルチバンドの画像信号を処理するいかなる機器に適用することが出来る。例えば、ビデオカメラ及び電子内視鏡に適用することも可能であり、さらには、記録メディアや接続ケーブルを介して受信する画像信号の処理を行う画像処理装置に適用することも可能である。
【符号の説明】
【０１５８】
１０ デジタルカメラ
２０ 撮像素子
２１ａ カラーフィルタアレイ（ＣＦＡ）
２１ｕ カラーフィルタ繰返し単位
３０ 画像信号処理部
４０、４００、４０１、４０２、４０３、４０４ マルチバンドデモザイク（ＭＢ）処理部
４１、４１０、４１１、４１２、４１３、４１４ 分配部
４２、４２０、４２１、４２２、４２３、４２４ 微分値算出部
４３、４３０、４３１、４３２、４３３、４３４ 適応的カーネル算出部
４４、４４０、４４１、４４２、４４３、４４４ 参照画像作成部
４５、４５０、４５１、４５２、４５３、４５４ 補間画像作成部
４６ 減算器
４７ 加算器
ＩＩＳ 補間画像信号
ｂＩＩＳ Ｂ補間画像信号成分
ｃｙＩＩＳ Ｃｙ補間画像信号成分
ｄ１ＯＩＳ、ｄ２ＯＩＳ 第１、第２の色差原画像信号成分
ｇＩＩＳ Ｇ補間画像信号成分
ｏｒＩＩＳ Ｏｒ補間画像信号成分
ｒＩＩＳ Ｒ補間画像信号成分
ＲＩＳ 参照画像信号
ＯＩＳ 原画像信号
ｂＯＩＳ Ｂ原画像信号成分
ｃｙＯＩＳ Ｃｙ原画像信号成分
ｇＯＩＳ Ｇ原画像信号成分
ｏｒＯＩＳ Ｏｒ原画像信号成分
ｒＯＩＳ Ｒ原画像信号成分
ＲＩＳ 参照画像信号
【技術分野】
【０００１】
本発明は、マルチバンドのカラーフィルタが配置された撮像素子などの撮像により生成された原画像信号の色補間を行う画像処理システムに関する。
【背景技術】
【０００２】
近年、被写体の忠実な色再現を目的として、マルチスペクトル画像撮影が注目されている。従来のマルチスペクトル画像撮影では、複数のカメラを用いた撮影、または複数回の撮影を行うために専用の撮影システムが必要とされていた。そのような専用の撮影システムを用いることなく、一般のデジタルカメラを用いたマルチスペクトル画像撮影が望まれていた。そこで、マルチスペクトル画像撮影を実行可能なイメージセンサが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２１２９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生するなどの問題があった。
【０００５】
従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのＣＦＡを有する撮像素子が生成する原画像信号に基づいて、偽色の発生を抑えるデモザイキングを実行する画像処理システムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した諸課題を解決すべく、本発明による画像処理システムは、
第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように色信号成分の補間を行う画像処理システムであって、
原画像信号を受信する受信部と、
画素信号それぞれに対応する画素を挟む同色の２画素を用いて画素信号の微分値を算出する微分値算出部と、
原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とするものである。
【発明の効果】
【０００７】
上記のように構成された本発明に係る画像処理システムによれば、参照画像または補間画像の作成時に微分値を用いるので、実際に撮像された画像の局所的な部位に基づいた補間が行われる。それゆえ、ＣＦＡのマルチバンド化を図りながら、偽色の発生を抑えたデモザイクが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。
【図２】ＣＦＡにおけるカラーフィルタの配置を示す配置図である。
【図３】画像信号処理部の構成を概略的に示すブロック図である。
【図４】Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。
【図５】第１の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図６】第１の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図７】第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図８】第２の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図９】第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１０】第３の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１１】第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１２】第４の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１３】第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１４】第５の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１５】第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【図１６】第６の実施形態のＭＢデモザイク処理部の構成を概略的に示すブロック図である。
【図１７】色差を介して色信号成分を補間するデモザイク処理を説明するための概念図である。
【発明を実施するための形態】
【０００９】
以下、本発明を適用した画像処理システムの実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理システムを有するデジタルカメラの概略構成を示すブロック図である。
【００１０】
デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。
【００１１】
撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。
【００１２】
撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。
【００１３】
受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となるＯＢ画素信号（暗電流）を出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。
【００１４】
図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。
【００１５】
ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。
【００１６】
ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。
【００１７】
また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。
【００１８】
また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び４行４列目にＯｒカラーフィルタが配置される。
【００１９】
上述のようなカラーフィルタ繰返し単位２１ｕでは、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。
【００２０】
例えば、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。
【００２１】
また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。
【００２２】
Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。
【００２３】
上述のようなＣＦＡ２１ａが設けられた撮像素子において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。
【００２４】
垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動され、１画素ずつ画素信号が出力されるように制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームの原画像信号（Ｒａｗ画像データ）に定められる。
【００２５】
撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。
【００２６】
撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。
【００２７】
画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。
【００２８】
所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６及び画像記録部１７に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタには、受信した補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。また、画像記録部１７に送信された補間画像信号及びＲＧＢ画像信号は、そこで格納される。
【００２９】
デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。
【００３０】
なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。
【００３１】
システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。
【００３２】
次に、画像信号処理部３０の構成について図３を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。
【００３３】
バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。
【００３４】
ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図４に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補完される。
【００３５】
デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される。ＮＲ処理部３２において、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は画像記録部１７に送信され、格納される。また、ノイズの除去された補間画像信号はＭＢ−ＲＧＢ変換処理部３３及び色変換処理部３４に送信される。
【００３６】
ＭＢ−ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は画像記録部１７に送信され、格納される。また、ＲＧＢ画像信号は、色・ガンマ補正処理部３５に送信される。
【００３７】
色変換処理部３４では、補間画像信号に対して色変換処理が施される。色変換処理の施された補間画像信号は多原色モニタ１６ｍｂに送信され、補間画像信号に相当する画像が表示される。
【００３８】
色・ガンマ補正処理部３５では、ＲＧＢ画像信号に対して色補正処理及びガンマ補正処理が施される。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。
【００３９】
次に、デモザイク処理について図５を用いて説明する。図５は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。
【００４０】
前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。
【００４１】
また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（ａＫ参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（ａＧＵ参照）。
【００４２】
適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。
【００４３】
Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。
【００４４】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図６を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１（受信部）、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。
【００４５】
ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。
【００４６】
微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（第１、第２の微分値）が算出される。微分値の算出のために、全画素が順番に注目画素（図示せず）に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。
【００４７】
なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。
【００４８】
適応的カーネル算出部４３では、微分値と画素信号とに基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。
【００４９】
逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。
【００５０】
【数１】
【００５１】
なお、（１）式において、Ｎｘは周囲画素の画素位置集合であり、｜Ｎｘ｜は画素位置集合の画素数である。また、Ｚｕ（ｘｊ）は、周囲画素ｘｊのｕ方向の微分値であり、Ｚｖ（ｘｊ）は周囲画素ｘｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。
【００５２】
注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμｘが算出される。パラメータμｘの算出のために、共分散行列Ｃｘの固有値λ１、λ２が算出される。固有値の積λ１×λ２が閾値Ｓと比較される。固有値の積λ１×λ２が閾値Ｓ以上である場合には、パラメータμｘは１と計算される。一方、固有値の積λ１×λ２が閾値Ｓより小さい場合には、（Ｓ／（λ１×λ２））の四乗根がパラメータμｘとして計算される。
【００５３】
パラメータμｘの算出後、注目画素に対する適応的カーネル関数が算出される。適応的カーネル関数ｋｘ（ｘｊ−ｘ）は（２）式により算出される。
【００５４】
【数２】
【００５５】
（２）式において、ｘｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。
【００５６】
全画素に対して算出された適応的カーネル関数ｋｘ（ｘｊ−ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。
【００５７】
適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
【００５８】
注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。
【００５９】
【数３】
【００６０】
なお、ωｘは（４）式により算出される。Ｍｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓｘｉは周囲画素のＧ色信号成分である。
【００６１】
【数４】
【００６２】
注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋｘ（ｘｉ−ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。
【００６３】
補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。
【００６４】
同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。
【００６５】
適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。
【００６６】
注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。
【００６７】
【数５】
【００６８】
なお、（５）式において、Ｉｘｉは参照画像における周囲画素の画素値、Ｉｘは参照画像における注目画素の画素値である。ｒ（Ｉｘｉ−Ｉｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。
【００６９】
注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
【００７０】
以上のような構成の第１の実施形態の画像処理システムによれば、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像が作成される。
【００７１】
一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。従って、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。このような仮定に基づいて、参照画像および補間画像の作成において、何れの色信号成分の微分値であっても、他の色信号成分の補間に用いるための適応的カーネル関数を算出可能である。
【００７２】
第１の実施形態では、参照画像の作成においてもすべての画素において勾配情報を用いて適応的カーネル関数が用いられる。そのため、参照画像において、偽像の発生を低減化することが可能である。このように、偽像の発生が抑えられた参照画像と、適応的カーネル関数を用いて色補間を行うので、それぞれの色信号成分において偽像の発生を大幅に低減化させることが可能である。
【００７３】
それゆえ、第１の実施形態の画像処理システムによれば、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【００７４】
また、第１の実施形態では、共分散関数の固有値の積に基づいてパラメータμｘが算出され、適応的カーネル関数の算出に用いられる。パラメータμｘは前述のように、カーネル関数の大きさを表すパラメータであり、上述のように固有値の積に基づいて算出されるので、注目画素毎にカーネル関数の大きさを適切に設定することが可能である。
【００７５】
次に、本発明の第２の実施形態に係る画像処理システムについて説明する。第２の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【００７６】
第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【００７７】
第２の実施形態で実行されるデモザイク処理について図７を用いて説明する。図７は、第２の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【００７８】
第２の実施形態では、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第１の実施形態では原画像信号ＯＩＳの全画素信号を用いて算出した適応的カーネル関数を用いているが、第２の実施形態では参照画像信号ＲＩＳを用いて算出した適応的カーネル関数（符号Ａ参照）を用いている。
【００７９】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４００の構成及び機能を、図８を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４００は、分配部４１０、微分値算出部４２０、適応的カーネル算出部４３０、参照画像作成部４４０、及び補間画像作成部４５０によって構成される。
【００８０】
第２の実施形態では、微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０の機能の一部が第１の実施形態と異なる。微分値算出部４２０、適応的カーネル算出部４３０、及び参照画像作成部４４０が第１の実施形態と同様に機能することにより、参照画像信号が作成される。
【００８１】
第１の実施形態と異なり、参照画像信号は微分値算出部４２０及び適応的カーネル算出部４３０に送信される。微分値算出部４２０では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値（第３の微分値）を算出する。また、第２の実施形態と異なり、適応的カーネル算出部４３０は、参照画像信号に基づいて算出された微分値を用いた適応的カーネル関数も算出する。
【００８２】
参照画像信号に基づいて算出された適応的カーネル関数が、原画像信号に基づいて算出された適応的カーネル関数の代わりに補間画像作成部４５０に送信される。補間画像作成部４５０では、参照画像信号に基づいて算出された適応的カーネル関数を用いて各色信号成分の補間を行う。
【００８３】
以上のような構成の第２の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像と勾配情報とに基づいて補間画像信号が作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【００８４】
次に、本発明の第３の実施形態に係る画像処理システムについて説明する。第３の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【００８５】
第２の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【００８６】
第３の実施形態で実行されるデモザイク処理について図９を用いて説明する。図９は、第３の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【００８７】
第３の実施形態では、各色信号成分の補間に適応的ジョイントバイラテラル補間法でなくガイデッドフィルタ（Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ参照）を利用する点において、第１の実施形態と異なっている。なお、ガイデッドフィルタの算出には適応的カーネル関数が不要である。
【００８８】
したがって、第１の実施形態と同様に、適応的カーネル関数が算出され（ａＫ参照）、Ｇ原画像信号成分ｇＯＩＳを用いて参照画像信号ＲＩＳが生成される。次に、参照画像信号ＲＩＳに基づいてガイデッドフィルタを適用する。
【００８９】
ガイデッドフィルタを利用した補間法によりＧ色信号成分が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。Ｇ色信号成分の代わりに、Ｃｙ色信号成分を用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが作成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像ＩＩＳが作成される。
【００９０】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０１の構成及び機能を、図１０を用いて説明する。第１の実施形態と同様に、ＭＢモザイク処理部４０１は、分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、参照画像作成部４４１、および補間画像作成部４５１によって構成される。
【００９１】
分配部４１１、微分値算出部４２１、適応的カーネル算出部４３１、および参照画像作成部４４１の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
【００９２】
第１の実施形態と異なり、補間画像作成部４５１では、ガイデッドフィルタを適用してＧ色信号成分の補間が行われる。同様に、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。
【００９３】
まず、ガイデッドフィルタについて説明する。ガイデッドフィルタは、すべての画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
【００９４】
注目画素ｘｐに対して、（６）式のコスト関数Ｅ（ａｘｐ、ｂｘｐ）が最小化するように最小二乗法により係数（ａｘｐ、ｂｘｐ）が算出される。
【００９５】
【数６】
【００９６】
（６）式において、ωｋは注目画素周辺に存在する信号成分の要素数である。Ｍiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。ａｘｐ、ｂｘｐは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉｉは周囲画素に対応する参照画像の画素値である。ｐｉは信号成分の画素値である。εは所定の平滑化パラメータである。
【００９７】
全画素に対する係数（ａｘｐ、ｂｘｐ）が算出される。Ｇ色信号成分の補間を行うために、原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の５行５列の画素が周囲画素に指定される。
【００９８】
注目画素ｘｉの色信号成分ｑｉは、（７）式により算出される。
【００９９】
【数７】
【０１００】
（７）式において、｜ω｜は注目画素および周囲画素の画素数、即ち５×５の配列において２５である。（ａｘｐ、ｂｘｐ）は、ガイデッドフィルタにおいて周囲画素に対して算出された係数である。
【０１０１】
注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補完画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。
【０１０２】
以上のような構成の第３の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１０３】
次に、本発明の第４の実施形態に係る画像処理システムについて説明する。第４の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第４の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１０４】
第４の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１０５】
第４の実施形態で実行されるデモザイク処理について図１１を用いて説明する。図１１は、第４の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。
【０１０６】
第４の実施形態では、適応的ジョイントバイラテラル補間法の代わりに、適応的カーネル関数を使用しないジョイントバイラテラル補間法（ＪＢＵ参照）を用いて全色信号成分の補間を行う点において第１の実施形態と異なっている。
【０１０７】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１２を用いて説明する。第２の実施形態におけるＭＢデモザイク処理部４０２は、分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、参照画像作成部４４２、及び補間画像作成部４５２によって構成される。
【０１０８】
分配部４１２、微分値算出部４２２、適応的カーネル算出部４３２、および参照画像作成部４５２の機能は、第１の実施形態と同じである。したがって、第１の実施形態と同様に、適応的ガウシアン補間法により参照画像信号が生成される。
【０１０９】
第１の実施形態と異なり、補完画像作成部４５２では、ジョイントバイラテラル補間法によりＧ色信号成分、Ｃｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分の補間が行われる。ジョイントバイラテラル補間法では、（４）式において適応的カーネル関数の代わりに、注目画素から周囲画素までの距離に応じて小さくなる重み付けをｋ（ｘi−ｘ）として、注目画素の色信号成分が算出される。
【０１１０】
以上のような構成の第４の実施形態の画像処理システムによっても、画素毎に微分値を算出し、微分値すなわち勾配情報に基づいて参照画像を作成し、参照画像に基づいて補間画像信号を作成可能であるそれゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１１１】
なお、適応的カーネル関数を用いずにジョイントバイラテラル補間法により色信号成分を補間する構成であるため、第１の実施形態に比べて偽色の発生の抑止効果が低下する。しかし、参照画像そのものの作成に適応的カーネル関数を用いているので、前述のように参照画像の偽像の発生が低減化されている。それゆえ、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生の抑止効果を向上させることが可能である。
【０１１２】
次に、本発明の第５の実施形態に係る画像処理システムについて説明する。第５の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第５の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１１３】
第５の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１１４】
第５の実施形態で実行されるデモザイク処理について図１３を用いて説明する。図１３は、第５の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
【０１１５】
第５の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補完して参照画像が作成される（ＧＵ参照）。
【０１１６】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１４を用いて説明する。第５の実施形態におけるＭＢデモザイク処理部４０３は、分配部４１３、微分値算出部４２３、適応的カーネル算出部４３３、参照画像作成部４４３、及び補間画像作成部４５３によって構成される。
【０１１７】
分配部４１３、微分値算出部４２３、および補間画像作成部４５３の構成は、第１の実施形態と同じである。適応的カーネル算出部４３３は、第１の実施形態と同様に、全画素に対する適応的カーネル関数を算出する。しかし、第１の実施形態と異なり、適応的カーネル関数は参照画像作成部４４３には送信されず、補間画像作成部４５３にのみ送信される。
【０１１８】
参照画像作成部４４３では、第１の実施形態と異なり、Ｇ原画像信号成分に対してガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は補間画像作成部４５３に送信される。
【０１１９】
前述のように、補間画像作成部４５３の機能は第１の実施形態と同じであって、適応的カーネル関数、参照画像信号、および原画像信号の各色信号成分に基づいて、各色信号成分の補間を行う。各色信号成分の補間により、全色信号成分を有する画素信号が全画素に対して生成されるので、補間画像信号が生成される。
【０１２０】
以上のような構成の第５の実施形態の画像処理システムによっても、画素毎に微分値を算出し、参照画像を作成し、参照画像と微分値即ち勾配情報とに基づいて補間画像を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１２１】
なお、適応的カーネル関数を用いずに通常のガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
【０１２２】
次に、本発明の第６の実施形態に係る画像処理システムについて説明する。第６の実施形態はデモザイク処理及びＭＢデモザイク処理部の構成において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第６の実施形態について説明する。なお、第１の実施形態と同じ機能及び構成を有する部位には同じ符号を付す。
【０１２３】
第６の実施形態では、ＭＢデモザイク処理部以外のデジタルカメラの各部位の構成及び機能は第１の実施形態と同じである。
【０１２４】
第６の実施形態で実行されるデモザイク処理について図１５を用いて説明する。図１５は、第６の実施形態のＭＢデモザイク処理部によって実行されるデモザイク処理の処理を説明するための概念図である。
【０１２５】
第６の実施形態では、適応的カーネル関数を用いずに通常のガウシアン補間法によりＧ信号成分を補間して参照画像が作成される（ＧＵ参照）。また、適応的ジョイントバイラテラル補間法に用いる適応的カーネル関数が第１の実施形態と異なっている。第６の実施形態では、第２の実施形態と同様に、参照画像を用いて算出した適応的カーネル関数を用いている。
【０１２６】
次に、このようなデモザイク処理を実行するＭＢデモザイク処理部の構成及び機能を、図１６を用いて説明する。第６の実施形態におけるＭＢデモザイク処理部４０４は、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４によって構成される。
【０１２７】
第６の実施形態では、分配部４１４、微分値算出部４２４、適応的カーネル算出部４３４、参照画像作成部４４４、及び補間画像作成部４５４の機能の一部が第１の実施形態と異なる。
【０１２８】
第１の実施形態と異なり、分配部４１４から微分値算出部４２４には色信号成分が送信されず、参照画像作成部４４４及び補間画像作成部４５４に色信号成分が送信される。
【０１２９】
参照画像作成部４４４では、第５の実施形態のように、適応的カーネル関数を用いずにＧ原画像信号成分に対して通常のガウシアン補間法によりＧ色信号成分を補間し、参照画像信号を生成する。生成した参照画像信号は、第２の実施形態と同様に、微分値算出部４２４及び補間画像作成部４５４に送信される。
【０１３０】
第２の実施形態と同様に、微分値算出部４２４では、参照画像信号を構成するＧ色信号成分を用いて画素毎の２方向の微分値を算出する。算出された微分値が適応的カーネル算出部４３４に送信される。適応的カーネル算出部４３４では、参照画像信号に基づいて算出された微分値を用いて適応的カーネル関数を算出する。算出された適応的カーネル関数が補間画像作成部４５４に送信される。
【０１３１】
補間画像作成部４５４では、通常のガウシアン補間法により生成した参照画像信号及び参照画像信号による適応的カーネル関数を用いて各色信号成分の補間を行う。
【０１３２】
以上のような構成の第６の実施形態の画像処理システムによっても、参照画像を作成し、参照画像に基づく微分値を算出し、参照画像と微分値即ち勾配情報とに基づいて補間画像信号を作成可能である。それゆえ、マルチバンドの色信号成分によって構成される原画像信号から偽色の発生を抑えた補間画像信号を生成することが可能である。
【０１３３】
なお、第５の実施形態と同様に、適応的カーネル関数を用いずにガウシアン補間法により参照画像を作成する構成であるため、第１の実施形態に比べて偽色発生の低減化効果は低下する。しかし、適応的カーネル関数を用いて補間画像を作成するため、従来公知の線形補間により補間画像を作成することに比べて、偽色の発生を低下させることが可能である。
【０１３４】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【０１３５】
例えば、上記の第１〜第６の実施形態において、全色信号成分そのものが補間画像作成部４５、４５０、４５１、４５２、４５３、４５４において補間される構成であるが、一部の色信号成分においては色差を用いて補間を行うことにより色信号成分を生成してもよい。
【０１３６】
例えば、第１の実施形態において色差を利用した補間画像信号の生成について説明する。図１７に示すように、Ｇ補間画像信号成分ｇＩＩＳ、Ｃｙ補間画像信号成分ｃｙＩＩＳ、及びＯｒ補間画像信号成分ｏｒＩＩＳは、第１の実施形態と同様に生成される。
【０１３７】
生成されたＣｙ補間画像信号成分ｃｙＩＩＳの中から、Ｂ原画像信号成分ｂＯＩＳが存在する画素と同じ画素におけるＣｙ色信号成分が抽出される。減算器４６により、Ｂ原画像信号成分ｂＯＩＳから、抽出されたＣｙ色信号成分が減算され、第１の色差原画像信号成分ｄ１ＯＩＳが生成される。同様に、Ｏｒ補間画像信号成分ｏｒＩＩＳ及びＲ原画像信号成分ｒＯＩＳから第２の色差原画像信号成分ｄ２ＯＩＳが生成される。
【０１３８】
適応的カーネル関数、参照画像信号ＲＩＳ、及び第１の色差原画像信号成分ｄ１ＯＩＳを用いて、適応的ジョイントバイラテラル補間法により、生成されていない第１の色差信号成分が全画素に対して補間される。第１の色差信号成分の補間により第１の色差補間画像信号成分ｄ１ＩＩＳが生成される。同様に、適用的カーネル関数、参照画像信号ＲＩＳ、及び第２の色差原画像信号成分ｄ２ＯＩＳを用いて適応的ジョイントバイラテラル補間法により、第２の色差補間画像信号成分ｄ２ＩＩＳが生成される。
【０１３９】
加算器４７により、第１の色差補間画像信号成分ｄ１ＩＩＳに、Ｃｙ補間画像信号成分ｃｙＩＩＳが加算されることにより、Ｂ補間画像信号成分ｂＩＩＳが生成される。同様に、第２の色差補間画像信号成分ｄ２ＩＩＳに、Ｏｒ補間画像信号成分ｏｒＩＩＳが加算されることにより、Ｒ補間画像信号成分ｒＩＩＳが生成される。
【０１４０】
このように、色差を用いて補間を行うことも可能である。色差を用いて補間を行うことにより、いずれかの色信号成分のノイズ成分が多い場合であっても、当該画素における極端な色再現性の悪化を抑止することが可能である。
【０１４１】
なお、上述の説明においては、第１の実施形態の変形例において色差を利用した補間が行われているが、第２〜第６の実施形態においても、同様に色差を利用した補間を行うことは可能である。
【０１４２】
また、上述の説明においては、Ｃｙ色信号成分及びＢ色信号成分の色差と、Ｏｒ色信号成分及びＲ色信号成分の色差とが算出され、補間が行われている。色差の算出に用いる色差の互いのバンドが近くなるほど、色再現性を向上に有利である。ただし、色差の算出はこれらの組合わせに限定されない。例えば、Ｇ補間画像信号成分とＣｙ原画像信号成分とに基づく色差信号成分を補間する構成であってもよい。
【０１４３】
また、第１〜第６の実施形態において、Ｇ原画像信号成分を用いて参照画像信号を生成する構成であるが、補間画像信号のいずれかの色信号成分を生成した後に、生成した補間画像信号を参照画像信号として他の色信号成分の補間に用いても良い。
【０１４４】
上記の第１〜第６の実施形態において、Ｇ原画像信号成分に基づいて生成された参照画像信号を用いて全色信号成分そのものが補間される構成であるが、例えば、生成したＧ補間画像信号成分を参照画像信号（二次参照画像）として、Ｃｙ原画像信号成分、ＯＲ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分の補間に用いてもよい。
【０１４５】
Ｇ原画像信号成分に基づいて生成される参照画像信号よりも、補間画像信号成分の方が一般的に、色信号成分の再現性は高い。それゆえ、補間画像信号成分を参照画像信号として用いることにより、補間画像の再現性を向上させることが可能である。
【０１４６】
また、第１〜第６の実施形態において、ＣＦＡ２１ａではＧカラーフィルタの割合が最大であるが、他のバンドのカラーフィルタの割合が最大であってもよい。
【０１４７】
また、第１、第２、第４〜第６の実施形態において、（適用的）ジョイントバイラテラル補間では、注目画素と周囲画素との画素値の差分に応じた重み付けｒ（Ｉｘｉ−Ｉｘ）を用いる構成であるが、注目画素と周囲画素との類似性に応じた他の重み付けを用いてもよい。
【０１４８】
（適用的）ジョイントバイラテラル補間法では、参照画像において注目画素と周囲画素との光学情報が似ている、即ち画素値の差が近い場合に、周囲画素の重み付けが大きくなるように構成される。したがって、このような重み付けの代わりに、上述のように類似性が大きいほど、大きな重み付けをすることにより上述の実施形態と同様の効果を得ることが可能である。
【０１４９】
例えば、参照画像信号において、注目画素を中心とする３行３列の画素と、周囲画素を中心とする３行３列の画素の画素値の差の相乗平均を、注目画素と周囲画素との類似性として、相乗平均に応じて重み付けを行ってもよい。
【０１５０】
また、第１〜第４の実施形態において、最多のＧカラーフィルタの割合は５０％であるが、５０％に限定されない。参照画像信号の生成には適用的ガウシアン補間法が適用されるので、通常のガウシアン補間法に比べて色成分の精度が高い参照画像信号を生成可能である。
【０１５１】
また、第５、第６の実施形態において、ＣＦＡ２１ａの各画素に対して斜方に隣接する２画素に対応するカラーフィルタのバンドが等しい構成であるが、このような配置でなくてもよい。第５、第６の実施形態では、参照画像信号の生成に適用的カーネル関数を用いないので、上述のようなカラーフィルタ配置に限定されない。
【０１５２】
また、第１〜第６の実施形態において、ＣＦＡ２１ａには５バンドのカラーフィルタが設けられる構成であるが、３バンド以上であればよい。
【０１５３】
また、第２の実施形態において、単一の微分値算出部４２０によって、原画像信号に基づく微分値及び参照画像信号に基づく微分値が算出される構成であるが、別々の微分値算出部によって別々に算出されてもよい。
【０１５４】
また、第６の実施形態において、参照画像信号に基づいて注目画素の斜め方向に沿った微分値が算出される構成であるが、行方向及び列方向に沿った微分値を算出する構成であってもよい。参照画像信号には、欠落した画素信号が無いので行方向及び列方向に沿った微分値が算出可能である。また、上述のように第２の実施形態において、別々の微分値算出部を用いて参照画像信号に基づく微分値を算出する場合には、参照画像信号に基づく微分値の算出において行方向及び列方向に沿った微分値を算出する構成であってもよい。
【０１５５】
また、第１、第２の実施形態において、適応的カーネル関数の算出に用いる所定の設計パラメータｈには、適応的ガウシアン補間法及び適応的ジョイントバイラテラルアップサンプリングの両者ともに同一の値が用いられる構成であるが、両者の間で異なる値が用いられる構成であってもよい。
【０１５６】
また、第１〜第６の実施形態において、各色に対応する原画像信号成分において欠落した画素信号を補間することにより参照画像信号及び各色に対応する補間画像信号成分が生成される構成であるが、原画像信号成分において欠落せずに検出された画素も注目画素として補間を行ってもよい。
【０１５７】
また、第１〜第６の実施形態において、画像処理システムはデジタルカメラ１０に適用される構成であるが、一部の色信号成分が欠落するマルチバンドの画像信号を処理するいかなる機器に適用することが出来る。例えば、ビデオカメラ及び電子内視鏡に適用することも可能であり、さらには、記録メディアや接続ケーブルを介して受信する画像信号の処理を行う画像処理装置に適用することも可能である。
【符号の説明】
【０１５８】
１０ デジタルカメラ
２０ 撮像素子
２１ａ カラーフィルタアレイ（ＣＦＡ）
２１ｕ カラーフィルタ繰返し単位
３０ 画像信号処理部
４０、４００、４０１、４０２、４０３、４０４ マルチバンドデモザイク（ＭＢ）処理部
４１、４１０、４１１、４１２、４１３、４１４ 分配部
４２、４２０、４２１、４２２、４２３、４２４ 微分値算出部
４３、４３０、４３１、４３２、４３３、４３４ 適応的カーネル算出部
４４、４４０、４４１、４４２、４４３、４４４ 参照画像作成部
４５、４５０、４５１、４５２、４５３、４５４ 補間画像作成部
４６ 減算器
４７ 加算器
ＩＩＳ 補間画像信号
ｂＩＩＳ Ｂ補間画像信号成分
ｃｙＩＩＳ Ｃｙ補間画像信号成分
ｄ１ＯＩＳ、ｄ２ＯＩＳ 第１、第２の色差原画像信号成分
ｇＩＩＳ Ｇ補間画像信号成分
ｏｒＩＩＳ Ｏｒ補間画像信号成分
ｒＩＩＳ Ｒ補間画像信号成分
ＲＩＳ 参照画像信号
ＯＩＳ 原画像信号
ｂＯＩＳ Ｂ原画像信号成分
ｃｙＯＩＳ Ｃｙ原画像信号成分
ｇＯＩＳ Ｇ原画像信号成分
ｏｒＯＩＳ Ｏｒ原画像信号成分
ｒＯＩＳ Ｒ原画像信号成分
ＲＩＳ 参照画像信号
【特許請求の範囲】
【請求項１】
第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、前記原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように前記色信号成分の補間を行う画像処理システムであって、
前記原画像信号を受信する受信部と、
前記画素信号それぞれに対応する画素を挟む同色の２画素を用いて前記画素信号の微分値を算出する微分値算出部と、
前記原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
前記一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
前記一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、前記原画像信号を構成する複数の前記画素信号の中で前記第１の色信号成分の要素数が最大であり、前記補間画像のみが前記微分値を用いて作成され、前記参照画像作成部は前記第１の色信号成分を補間することにより前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第１の前記微分値を算出し、
前記参照画像作成部は、前記第１の微分値を用いて前記第１の色信号成分を補間することにより、前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成する
ことを特徴とする画像処理システム。
【請求項４】
請求項３に記載の画像処理システムであって、前記参照画像作成部は、適応的ガウシアン補間法により、前記第１の微分値を用いて前記第１の色信号成分を補間することを特徴とする画像処理システム。
【請求項５】
請求項３または請求項４に記載の画像処理システムであって、前記一次参照画像のみが前記第１の微分値を用いて作成されることを特徴とする画像処理システム。
【請求項６】
請求項５に記載の画像処理システムであって、前記補間画像作成部はガイデッドフィルタにより、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項７】
請求項５に記載の画像処理システムであって、前記補間画像作成部はジョイントバイラテラル補間により、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項８】
請求項１、請求項２、及び請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第２の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第２の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。
【請求項９】
請求項３に記載の画像処理システムであって、前記補間画像作成部は前記一次参照画像と前記第１の微分値を用いて前記補間画像を作成することを特徴とする画像処理システム。
【請求項１０】
請求項１〜請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記一次参照画像を用いて前記画素毎に第３の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第３の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。
【請求項１１】
請求項８または請求項１０に記載の画像処理システムであって、前記補間画像作成部は、適応的ジョイントバイラテラル補間によって、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項１２】
請求項１１に記載の画像処理システムであって、前記適応的ジョイントバイラテラル補間では、前記画素間の画素信号の信号強度の差に基づく重付け、或いは算出に用いる複数の前記画素の周囲の類似性に基づく重付けが用いられることを特徴とする画像処理システム。
【請求項１３】
請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第２の色信号成分の補間を行い、
前記第３の色信号成分を有する前記画素信号に対応する前記第２の色信号成分と、前記第３の色信号成分との色差を算出し、
前記一次参照画像を用いて前記色差を補間し、
補完された前記色差と補間された前記第２の色信号成分とに基づいて、前記全画素信号に対応する前記第３の色信号成分が作成する
ことを特徴とする画像処理システム。
【請求項１４】
請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第１〜第ｍの色信号成分のいずれかの補間を行い、
補間された前記色信号成分によって構成される画像を二次参照画像とし、前記二次参照画像を用いて、補間の行われていない前記色信号成分の補間を行う
ことを特徴とする画像処理システム。
【請求項１】
第１〜第ｍ（ｍは３以上の整数）の色信号成分のいずれかを有する複数の画素信号によって構成される原画像信号から、前記原画像信号を構成する全画素信号が第１〜第ｍの色信号成分を有するように前記色信号成分の補間を行う画像処理システムであって、
前記原画像信号を受信する受信部と、
前記画素信号それぞれに対応する画素を挟む同色の２画素を用いて前記画素信号の微分値を算出する微分値算出部と、
前記原画像信号の中の前記第１の色信号成分を用いて一次参照画像を作成する参照画像作成部と、
前記一次参照画像を用いて、全色信号成分を補間して補間画像を作成する補間画像作成部とを備え、
前記一次参照画像及び前記補間画像の少なくとも一方は、微分値を用いて作成される
ことを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、前記原画像信号を構成する複数の前記画素信号の中で前記第１の色信号成分の要素数が最大であり、前記補間画像のみが前記微分値を用いて作成され、前記参照画像作成部は前記第１の色信号成分を補間することにより前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成することを特徴とする画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第１の前記微分値を算出し、
前記参照画像作成部は、前記第１の微分値を用いて前記第１の色信号成分を補間することにより、前記第１の色信号成分のみを有する前記全画素信号によって構成される一次参照画像信号を作成する
ことを特徴とする画像処理システム。
【請求項４】
請求項３に記載の画像処理システムであって、前記参照画像作成部は、適応的ガウシアン補間法により、前記第１の微分値を用いて前記第１の色信号成分を補間することを特徴とする画像処理システム。
【請求項５】
請求項３または請求項４に記載の画像処理システムであって、前記一次参照画像のみが前記第１の微分値を用いて作成されることを特徴とする画像処理システム。
【請求項６】
請求項５に記載の画像処理システムであって、前記補間画像作成部はガイデッドフィルタにより、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項７】
請求項５に記載の画像処理システムであって、前記補間画像作成部はジョイントバイラテラル補間により、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項８】
請求項１、請求項２、及び請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記原画像信号を用いて前記画素毎に第２の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第２の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。
【請求項９】
請求項３に記載の画像処理システムであって、前記補間画像作成部は前記一次参照画像と前記第１の微分値を用いて前記補間画像を作成することを特徴とする画像処理システム。
【請求項１０】
請求項１〜請求項４のいずれかに記載の画像処理システムであって、
前記微分値算出部は、前記一次参照画像を用いて前記画素毎に第３の前記微分値を算出し、
前記補間画像作成部は、前記一次参照画像と前記第３の微分値を用いて前記補間画像を作成する
ことを特徴とする画像処理システム。
【請求項１１】
請求項８または請求項１０に記載の画像処理システムであって、前記補間画像作成部は、適応的ジョイントバイラテラル補間によって、前記全色信号成分を補間することを特徴とする画像処理システム。
【請求項１２】
請求項１１に記載の画像処理システムであって、前記適応的ジョイントバイラテラル補間では、前記画素間の画素信号の信号強度の差に基づく重付け、或いは算出に用いる複数の前記画素の周囲の類似性に基づく重付けが用いられることを特徴とする画像処理システム。
【請求項１３】
請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第２の色信号成分の補間を行い、
前記第３の色信号成分を有する前記画素信号に対応する前記第２の色信号成分と、前記第３の色信号成分との色差を算出し、
前記一次参照画像を用いて前記色差を補間し、
補完された前記色差と補間された前記第２の色信号成分とに基づいて、前記全画素信号に対応する前記第３の色信号成分が作成する
ことを特徴とする画像処理システム。
【請求項１４】
請求項１〜請求項１２のいずれかに記載の画像処理システムであって、
前記補間画像作成部は、
前記一次参照画像を用いて前記第１〜第ｍの色信号成分のいずれかの補間を行い、
補間された前記色信号成分によって構成される画像を二次参照画像とし、前記二次参照画像を用いて、補間の行われていない前記色信号成分の補間を行う
ことを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２３９０３８（Ｐ２０１２−２３９０３８Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０６７１７（Ｐ２０１１−１０６７１７）
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１１日（２０１１．５．１１）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]