説明

画像処理装置及び画像処理方法

【課題】輝度成分信号を用いることによって、撮像信号の解像度を高める画像処理装置及び画像処理方法を提供する。
【解決手段】入力されたデジタル撮像信号D1である、画素が持つ色以外の色情報を持つ別の画素の撮像信号を用いて、画素に対して3原色の信号を補間し、中間画像信号D2を作成する中間画像作成手段5aと、中間画像信号D2から、画像の輝度成分信号D3を作成する輝度成分算出手段5bと、デジタル撮像信号D1から、付加色成分信号D5を作成する付加色成分算出手段5eと、輝度成分算出手段5bによって得られた各画素の輝度成分信号D3と、付加色成分算出手段5eによって得られた各画素の付加色成分信号D5とを合成し、画像の各画素に対してカラー画像信号D6を作成する輝度色合成手段5fを備える。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、固体撮像素子を用いたデジタルスチールカメラ等に用いられる画像処理装置及び画像処理方法に関する。
【0002】
【従来の技術】近年、テレビジョンカメラ、ビデオカメラ、電子カメラなどの画像取込素子として、CCD(Charge Coupled Device)撮像素子を始めとする固体撮像素子が多く使われている。
【0003】テレビジョンカメラ、ビデオカメラ、電子カメラなどから得られる画像の解像度を上げる方法として、固体撮像素子から欠落した画素信号を適正に補間し、撮像信号を解析する方法を改良する方法がある。この解析方法において、適切な解析がなされないと、偽信号が発生し、色、輪郭、輝度が間違って作成されてしまい、撮影された画像とは異なる画像となってしまう可能性がある。
【0004】撮像信号の解析方法として、撮像信号処理回路(特開平9−84031号公報)が挙げられる。この撮像信号処理回路においては、緑色サンプリング出力信号を得るGサンプリング部と、緑色サンプリング出力信号における非サンプリング機関に対応する画素の近傍の画素から得られる信号を、緑色サンプリング出力信号に対する補間信号として緑色サンプリング出力信号と合成する信号合成部を備える。この撮像信号処理回路によれば、撮像信号に基づいて、解像度の高い緑色原色信号を形成することが出来る。
【0005】
【発明が解決しようとする課題】しかし、上述の撮像信号処理回路において得られる撮像信号の解像度には限界があり、より解像度の高い画像を求めているユーザのニーズに対応しきれていない。
【0006】一方、「人の目は輝度に比べて色差の解像度が鈍感である」といわれている。この性質を最大限に利用できるようにするには、何らかの手段で輝度成分信号を算出して、この輝度成分を保ったまま色差成分を付加したカラー画像信号を得る手段を構築すれば良い。
【0007】従って本発明の目的は、輝度成分信号を用いることによって、偽信号を発生させない画像処理装置及び画像処理方法を提供することである。
【0008】
【課題を解決するための手段】本発明の第1の特徴は、3原色のいずれか一の色を持つ複数の画素を配列したカラーフィルタから出力され、一つの画素に一つの色情報を持つ撮像信号に基づいて補間し、画像を処理する画像処理装置に関する。即ち、本発明の第1の特徴に関する画像処理装置は、(イ)画素が持つ色以外の色情報を持つ別の画素の撮像信号を用いて、画素に対して3原色の信号を補間し、中間画像信号を作成する中間画像作成手段、(ロ)中間画像信号から、画像の輝度成分信号を作成する輝度成分算出手段、(ハ)撮像信号から、画像の付加色成分信号を作成する付加色成分算出手段、(ニ)輝度成分算出手段によって得られた各画素の輝度成分信号と、付加色成分算出手段によって得られた各画素の付加色成分信号とを合成し、画像の各画素に対してカラー画像信号を作成する輝度色合成手段とを備える。
【0009】ここで、輝度色合成手段において、付加色成分信号から、画像の各画素に対して、該画素以外の画素の信号を用いてフィルタを掛け、輝度成分信号を除く付加色成分信号を作成しても良い。
【0010】本発明の第1の特徴における画像処理装置によれば、輝度成分算出手段によってカラー画像信号の輝度成分信号を算出し、この輝度成分信号に、付加色成分算出手段によって得られた付加色成分信号を付加して合成することによって、「人の目は輝度に比べて色差の解像度が鈍感である」という性質を最大限に生かした画像処理装置を提供することが出来る。
【0011】輝度色合成手段において得られるカラー画像信号の輝度成分信号は、輝度成分信号算出手段で得られる輝度成分信号と同じであっても良い。輝度成分信号が、被写体をより良く反映している場合、これにより、被写体により近い画像を得ることが出来る。
【0012】更に、輝度成分信号に対して、画像の輪郭を強調する輪郭強調手段を更に備えても良い。この場合、輝度色合成手段によって得られるカラー画像信号の輝度画像信号は、輪郭強調手段によって得られる輝度成分信号と同じであることが好ましい。
【0013】輝度成分信号に対して、ノイズを除去するノイズ除去手段を更に備えても良い。この場合、輝度色合成手段によって得られるカラー画像信号の輝度画像信号は、ノイズ除去手段によって得られる輝度成分信号と同じであることが好ましい。
【0014】輝度成分信号に対して、ノイズを除去するノイズ除去手段と、画像の輪郭を強調する輪郭強調手段とを更に備えても良い。この場合、輝度色合成手段によって得られるカラー画像信号の輝度画像信号は、ノイズ除去手段と輪郭強調手段とによって得られる輝度成分信号と同じであることが好ましい。
【0015】この様に、輝度成分信号に対して、ノイズを除去するノイズ除去手段、或いは画像の輪郭を強調する輪郭強調手段を備えても良い。輝度成分信号の精度を高めることによって、本発明の画像処理装置によって得られる画像の解像度を高めることが出来る。輝度成分信号の精度を高めることは、カラー画像信号の精度を高めることより、実施が容易である利点がある。
【0016】本発明の第2の特徴は、3原色のいずれか一つの色を持つ複数の画素を配列したカラーフィルタから出力され、一つの画素に一つの色情報を持つ撮像信号に基づいて補間し、画像を処理する画像処理装置に用いられる画像処理方法に関する。即ち、本発明の第2の特徴に関する画像処理方法は、(イ)画素が持つ色以外の色情報を持つ別の画素の撮像信号を用いて、画素に対して3原色の信号を補間し、中間画像信号を作成する中間画像作成ステップ、(ロ)中間画像信号から、画像の輝度成分信号を作成する輝度成分算出ステップ、(ハ)撮像信号から、画像の付加色成分信号を作成する付加色成分算出ステップ、(ニ)輝度成分算出ステップにおいて得られた各画素の輝度成分信号と、付加色成分算出ステップにおいて得られた各画素の付加色成分信号とを合成し、画像の各画素に対してカラー画像信号を作成する輝度色合成ステップとを備える。
【0017】又、輝度色合成ステップにおいて、付加色成分信号から、画像の各画素に対して、該画素以外の画素の信号を用いてフィルタを掛け、輝度成分信号を除く付加色成分信号を作成しても良い。
【0018】輝度色合成ステップにおいて得られるカラー画像信号の輝度成分信号は、輝度成分信号算出ステップで得られる輝度成分信号と同じであることが好ましい。
【0019】又、輝度成分信号に対して、ノイズを除去するノイズ除去ステップを更に備えても良い。この場合、輝度色合成ステップによって得られるカラー画像信号の輝度画像信号は、ノイズ除去ステップで得られる輝度成分信号と同じであることが好ましい。
【0020】輝度成分信号に対して、画像の輪郭を強調する輪郭強調ステップを更に備えても良い。この場合、輝度色合成ステップによって得られるカラー画像信号の輝度画像信号は、輪郭強調ステップによって得られる輝度成分信号と同じであることが好ましい。
【0021】輝度成分信号に対して、ノイズを除去するノイズ除去ステップと、画像の輪郭を強調する輪郭強調ステップとを更に備えても良い。この場合、輝度色合成ステップによって得られるカラー画像信号の輝度画像信号は、ノイズ除去ステップと輪郭強調ステップとによって得られる輝度成分信号と同じであることが好ましい。
【0022】
【発明の実施の形態】次に、図面を参照して、本発明の最良の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、システム構成を示すブロック図等は模式的なものである。
【0023】図1は、本発明の第1の実施の形態に係る画像処理装置を搭載した撮影装置である電子カメラの機能ブロック図である。
【0024】レンズ部1、カラーフィルタ2及びCCD3によって撮影部が構成される。レンズ部1は、被写体を結像面に結像させる光学系を構成し、図示しないが、マイコン7からの制御信号が供給され、自動絞り制御動作、自動焦点制御動作がなされる。CCD(Charge Coupled Device)3は、撮像素子(イメージセンサー)のことであり、所定の数の撮像素子の画素を有し、レンズ部1の結像面の位置に設けられる。カラーフィルタ2は、レンズ部1とCCD3の間に設けられる。カラーフィルタ2は、図2に示すように、赤(R)、緑(G)及び青(B)のいずれか一つの色を持つ複数の画素を市松状に配列したBayer配列と呼ばれる配列を持ち、カラーフィルタ2に入射された光は、赤(R)、緑(G)及び青(B)のいずれか一つの色の光のみ透過し、CCD3に入射される。カラーフィルタ2のそれぞれの画素は、CCD3の撮像素子に対応する。又、CCD3は、レンズ部1からカラーフィルタ2を介して入射されて得られた画像を光電変換して画像信号を生成し、出力する。即ち、CCD3から得られる画像信号は、赤(R)、緑(G)及び青(B)のいずれか一つの色の信号である。CCD3から出力された画像信号は、A/D変換部4に入力され、A/D変換部4において、1サンプル10ビットのデジタル撮影信号を発生する。A/D変換部4は、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠損画素の補償等がなされる。この時点での画像データの赤(R)、緑(G)及び青(B)の並びは、カラーフィルタ2に対応した並びになる。
【0025】A/D変換部4から出力されたデジタル撮影信号は、カメラ信号処理部5に入力される。カメラ信号処理部5は、本発明に係る画像処理装置である。又、カメラ信号処理部5は、デジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路等が含まれる。カメラ信号処理部5は、A/D変換部5から出力されたデジタル撮影信号であるRGB信号から変換された輝度信号及び色差信号等からなるコンポーネント信号の形式でデジタル画像信号を生成し、出力する。カメラ信号処理部5から出力されたデジタル撮影信号は、図示しないが、記憶装置等に出力され、記憶装置に記憶される。
【0026】タイミングジェネレータ6は、CCD3の読み出しタイミングパルスを発生すると同時に、A/D変換部4のクロック及びカメラ信号処理部5への取込クロックを生成している。更に、同期処理して行うための、水平同期信号HDと垂直同期信号VDを発生する。タイミングジェネレータ6から発生されたこれらの信号は、CCD部3、A/D変換部4、カメラ信号処理部5に供給される。マイコン7は、タイミングジェネレータ6及びカメラ信号処理部5の制御を行う。
【0027】図3は、本発明の実施の形態のカメラ信号処理部5(画像処理装置)における処理手段とデータフローを示した図である。
【0028】カメラ信号処理部5は、中間画像作成手段5a、輝度成分算出手段5b、ノイズ除去手段5c、輪郭強調手段5d、付加色成分算出手段5e、輝度色合成手段5fを備える。
【0029】中間画像作成手段5aは、レンズ部1からカラーフィルタ2を介して入射されて得られた画像を光電変換し、A/D変換部4を介して入力されたデジタル撮像信号D1を用いて、中間画像を作成し、中間画像信号D2を出力する。中間画像作成手段5aは、対象画素が持つ色以外の色情報を持つ別の画素のデジタル撮像信号を用いて、この画素に対して3原色の信号を補間する。これを全ての画素に対して行うことによって、中間画像信号D2を作成する。この中間画像作成手段5aにおいては、輝度成分信号を重視して、中間画像信号D2が作成されるのが好ましい。
【0030】輝度成分算出手段5bは、中間画像信号D2のうち、各画素の輝度成分信号D3を算出する。ここで、輝度成分信号D3の輝度は、以下のように定義される。
【0031】Y=kr・R+kg・G+kb・Bここで、kr、kg及びkbは定数で、kr+kg+kb=1を満たす定数とする。更に、kr=1/4、kg=1/2、kb=1/4であることが好ましい。この様に、kr、kg及びkbとして、1/2、1/2の二乗で表される数値を採用することにより、数値を2ビットとして扱う場合に、左シフトで実現することが出来るので、カメラ信号処理部5の回路チップにおいて、簡略化することが出来る。
【0032】ノイズ除去手段5cは、ローパスフィルタを介して、ノイズを除去する手段である。輪郭強調手段5dは、撮影した被写体の輪郭を強調する手段である。具体的には、図4に示すように、例えば輝度が低く暗い信号から、輝度が高く明るい信号に移行する部分に輪郭が存在する場合、輪郭前後の信号を、実線のように強調する手段である。輝度成分算出手段5bから出力された輝度成分信号D3は、ノイズ除去手段5c及び輪郭強調手段5dを介して、調整された輝度成分信号D4が出力される。
【0033】一方、付加色成分算出手段5eは、デジタル撮像信号D1から、それぞれの画素に対して、R(赤)、G(緑)及びB(青)の信号を補間し、付加色成分信号D5を作成する。
【0034】輪郭強調手段5dから出力された調整された輝度成分信号D4、及び付加色成分算出手段5eから出力された付加色成分信号D5は、輝度色合成手段5fに入力される。輝度色合成手段5fは、調整された輝度成分信号D4と付加色成分信号D5を合成し、画像の各画素に対してカラー画像信号D6を作成する。
【0035】輝度色合成手段5fにおいては、カラー画像信号D6のカラー信号R’、G’、B’を算出する。ここで、輝度色合成手段5fは、偽色の軽減のため、フィルタを掛けても良い。フィルタは、例えば図5に示すようなもので、輝度色合成手段5fによって信号を算出する該当画素の、周囲のそれぞれの画素の信号に対して、その信号の1/8倍の大きさの信号を算出し、それぞれの和で得られた信号を、該当画素の信号とする。
【0036】輝度色合成手段5fは、以下の計算式に基づいて、カラー信号R’、G’、B’を算出する。
【0037】[R−G]及び[B−G]について、次のようなフィルタを掛け、図5の様なフィルタを掛けた結果を得られるカラー信号をR’、G’、B’とする。
【0038】R’−G’=Σ{Wi・[Ri−Gi]}
B’−G’=Σ{Mi・[Bi−Gi]}
ここで、iは、処理を行う当該画素と、その近傍の画素を示し、Wi及びMiは、図5に示すようなフィルタで、ΣWi=ΣMi=1を満たす定数である。
【0039】これにより、以下のようなカラー信号R’、G’及びB’を得る。
【0040】
【数1】R’=Y+(1−kr)・Σ{Wi・Ri}−(1−kr)・Σ{Wi・Gi}+kb・Σ{Mi・Gi}−kb・Σ{Mi・Bi}
G’=Y−kr・Σ{Wi・Ri}+kr・Σ{Wi・Gi}+kb・Σ{Mi・Gi}−kb・Σ{Mi・Bi}
B’=Y−kr・Σ{Wi・Ri}+kr・Σ{Wi・Gi}+(1−kb)・Σ{Mi・Gi}+(1−kb)・Σ{Mi・Bi}
この様にして、輝度成分信号D4及び付加色成分信号D5を入力として、R’、G’及びB’で表されるカラー画像信号D6を算出することが出来る。
【0041】これにより、カラー画像信号D6における輝度成分信号と、調整された輝度成分信号D4は等しくすることが出来る。
【0042】本発明の実施の形態によれば、色差に対してフィルタが掛けるので、色差に対する解像度が減少する。これによって、偽信号が抑制される。
【0043】又、本発明の実施の形態によれば、輝度色合成手段による輝度の変化がないので、輝度成分の解像度に影響が及ばない。この様に、本発明によれば、「人の目は輝度に比べて色差の解像度が鈍感である」という性質を生かして、偽信号を発生させない画像処理を行うことが出来る。
【0044】(その他の実施の形態)上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【0045】本発明の実施の形態においては、輝度成分信号に対して、ノイズ除去、輪郭強調を行ったが、カラー画像信号、付加色成分信号或いは中間画像信号に対して行っても良い。ノイズ除去、輪郭強調は、本発明の実施の形態で出力される適切な信号に対して行われれば良い。この場合、輝度色合成手段に入力される信号における輝度成分信号と、輝度色合成手段から出力されるカラー画像信号における輝度成分信号は等しいことが好ましい。
【0046】又、本発明に用いられるカラーフィルタは、Bayer配列でなくても良い。カラーフィルタの形状、色の配列等は、どのようなものでも構わない。
【0047】又、輝度色合成手段においては、図5に示すようなフィルタを用いたが、このフィルタに限らない。例えば、該当画素を1/2、その他の周囲の画素を1/16として加算しても良い。又、フィルタは、3*3の大きさでなく、5*5、或いは7*7等のフィルタを用いても構わない。
【0048】この様に、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【0049】
【発明の効果】本発明によれば、輝度成分信号を用いることによって、偽信号を発生させない画像処理装置及び画像処理方法を提供することが出来る。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る撮影装置の1種である電子カメラの機能ブロック図である。
【図2】本発明の実施の形態に係る撮影装置のカラーフィルタを示した図である。
【図3】本発明の実施の形態のカメラ信号処理部における処理手段とデータフローを示した図である。
【図4】本発明の実施の形態に係る輪郭強調手段による輪郭強調方法を説明する図である。
【図5】本発明の実施の形態に係る輝度色合成手段によるフィルタを説明する図である。
【符号の説明】
1 レンズ部
2 カラーフィルタ
3 CCD
4 A/D変換部
5 カメラ信号処理部
5a 中間画像作成手段
5b 輝度成分算出手段
5c ノイズ除去手段
5d 輪郭強調手段
5e 付加色成分算出手段
5f 輝度色合成手段
6 タイミングジェネレータ
7 マイコン

【特許請求の範囲】
【請求項1】 3原色のいずれか一つの色を持つ複数の画素を配列したカラーフィルタから出力され、一つの画素に一つの色情報を持つ撮像信号に基づいて補間し、画像を処理する画像処理装置であって、前記画素が持つ色以外の色情報を持つ別の画素の前記撮像信号を用いて、前記画素に対して3原色の信号を補間し、中間画像信号を作成する中間画像作成手段と、前記中間画像信号から、前記画像の輝度成分信号を作成する輝度成分算出手段と、前記撮像信号から、前記画像の付加色成分信号を作成する付加色成分算出手段と、前記輝度成分算出手段によって得られた前記各画素の前記輝度成分信号と、前記付加色成分算出手段によって得られた前記各画素の前記付加色成分信号とを合成し、前記画像の各画素に対してカラー画像信号を作成する輝度色合成手段とを備えることを特徴とする画像処理装置。
【請求項2】 前記輝度色合成手段において、前記付加色成分信号から、前記画像の各画素に対して、該画素以外の画素の信号を用いてフィルタを掛け、前記輝度成分信号を除く付加色成分信号を作成することを特徴とする請求項1に記載の画像処理装置。
【請求項3】 前記輝度色合成手段において得られる前記カラー画像信号の輝度成分信号は、前記輝度成分信号算出手段で得られる前記輝度成分信号と同じであることを特徴とする請求項1或いは2に記載の画像処理装置。
【請求項4】 前記輝度成分信号に対して、ノイズを除去するノイズ除去手段を更に備え、前記輝度色合成手段によって得られる前記カラー画像信号の輝度画像信号は、前記ノイズ除去手段で得られる輝度成分信号と同じであることを特徴とする請求項1或いは2に記載の画像処理装置。
【請求項5】 前記輝度成分信号に対して、前記画像の輪郭を強調する輪郭強調手段を更に備え、前記輝度色合成手段によって得られる前記カラー画像信号の輝度画像信号は、前記輪郭強調手段によって得られる輝度成分信号と同じであることを特徴とする請求項1或いは2に記載の画像処理装置。
【請求項6】 前記輝度成分信号に対して、ノイズを除去するノイズ除去手段と、前記画像の輪郭を強調する輪郭強調手段とを更に備え、前記輝度色合成手段によって得られる前記カラー画像信号の輝度画像信号は、前記ノイズ除去手段と前記輪郭強調手段とによって得られる輝度成分信号と同じであることを特徴とする請求校1或いは2に記載の画像処理装置。
【請求項7】 3原色のいずれか一つの色を持つ複数の画素を配列したカラーフィルタから出力され、一つの画素に一つの色情報を持つ撮像信号に基づいて補間し、画像を処理する画像処理装置に用いられる画像処理方法であって、前記画素が持つ色以外の色情報を持つ別の画素の前記撮像信号を用いて、前記画素に対して3原色の信号を補間し、中間画像信号を作成する中間画像作成ステップと、前記中間画像信号から、前記画像の輝度成分信号を作成する輝度成分算出ステップと、前記撮像信号から、前記画像の付加色成分信号を作成する付加色成分算出ステップと、前記輝度成分算出ステップにおいて得られた前記各画素の前記輝度成分信号と、前記付加色成分算出ステップにおいて得られた前記各画素の前記付加色成分信号とを合成し、前記画像の各画素に対してカラー画像信号を作成する輝度色合成ステップとを備えることを特徴とする画像処理方法。
【請求項8】 前記輝度色合成ステップにおいて、前記付加色成分信号から、前記画像の各画素に対して、該画素以外の画素の信号を用いてフィルタを掛け、前記輝度成分信号を除く付加色成分信号を作成することを特徴とする請求項7に記載の画像処理方法。
【請求項9】 前記輝度色合成ステップにおいて得られる前記カラー画像信号の輝度成分信号は、前記輝度成分信号算出ステップで得られる前記輝度成分信号と同じであることを特徴とする請求項7或いは8に記載の画像処理方法。
【請求項10】 前記輝度成分信号に対して、ノイズを除去するノイズ除去ステップを更に備え、前記輝度色合成ステップによって得られる前記カラー画像信号の輝度画像信号は、前記ノイズ除去ステップで得られる輝度成分信号と同じであることを特徴とする請求項7或いは8に記載の画像処理方法。
【請求項11】 前記輝度成分信号に対して、前記画像の輪郭を強調する輪郭強調ステップを更に備え、前記輝度色合成ステップによって得られる前記カラー画像信号の輝度画像信号は、前記輪郭強調ステップによって得られる輝度成分信号と同じであることを特徴とする請求項7或いは8に記載の画像処理方法。
【請求項12】 前記輝度成分信号に対して、ノイズを除去するノイズ除去ステップと、前記画像の輪郭を強調する輪郭強調ステップとを更に備え、前記輝度色合成ステップによって得られる前記カラー画像信号の輝度画像信号は、前記ノイズ除去ステップと前記輪郭強調ステップとによって得られる輝度成分信号と同じであることを特徴とする請求校7或いは8に記載の画像処理方法。

【図1】
image rotate


【図2】
image rotate


【図4】
image rotate


【図5】
image rotate


【図3】
image rotate


【公開番号】特開2003−87809(P2003−87809A)
【公開日】平成15年3月20日(2003.3.20)
【国際特許分類】
【出願番号】特願2001−274733(P2001−274733)
【出願日】平成13年9月11日(2001.9.11)
【出願人】(501324524)アキュートロジック株式会社 (53)
【Fターム(参考)】