撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
【課題】リソースに依存することなく、複数の色の色信号からなる画像信号から色ノイズ成分を迅速かつ最も効果的に低減させる。
【解決手段】撮像素子部を通じて取り込まれた複数の色の色信号からなるＲａｗ画像データがデモザイク処理部１０６３に供給されるが、デモザイク処理部１０６３において、まず、色差生成部６３２において、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を形成し、これらＲ−Ｇ信号、Ｂ−Ｇ信号に対して、例えばεフィルタなどが用いられて構成されるノイズ低減処理部６３５において色ノイズの低減処理を施す。
【解決手段】撮像素子部を通じて取り込まれた複数の色の色信号からなるＲａｗ画像データがデモザイク処理部１０６３に供給されるが、デモザイク処理部１０６３において、まず、色差生成部６３２において、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を形成し、これらＲ−Ｇ信号、Ｂ−Ｇ信号に対して、例えばεフィルタなどが用いられて構成されるノイズ低減処理部６３５において色ノイズの低減処理を施す。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を１つ備えたいわゆる単板の撮像装置、いわゆる単板の撮像素子を通じて取り込まれた画像信号の色ノイズを低減させる方法及びプログラムに関する。
【背景技術】
【０００２】
複数の色の画素が所定の順序に従って配列された色フィルタを備えたＣＣＤやＣＭＯＳセンサなどの固体撮像素子が１つ用いられた、いわゆる単板のデジタルスチルカメラやデジタルビデオカメラなどの撮像装置では、通常、固体撮像素子からの画像信号に対していくつかの処理を行って画像を生成する。
【０００３】
例えば、固体撮像素子のカラーフィルタの色コーディングがベイヤー（Bayer）配列のとき、各画素はＲ（赤）／Ｇ（緑）／Ｂ（青）のうち１つの色情報しか持っていない。すなわち、ベイヤー配列は、水平方向にＲＧＲＧ…のように、ＲとＧとが交互に並べられたラインと、水平方向にＧＢＧＢ…のように、ＧとＢとが交互に並べられたラインとが、垂直方向に交互に配置にされたものであり、Ｇ：Ｂ：Ｒの比率が２：１：１とされたものである。
【０００４】
そのため、画像を構成する全ての画素毎に、Ｒ／Ｇ／Ｂの３原色信号が必要になるが、各画素において、存在しない色情報（色信号）については、周囲の画素から補間して、各画素毎にＲ／Ｇ／Ｂそれぞれの色情報を生成する必要がある。このように、画素毎に１つの色情報しか存在しないＲａｗ画像データ（撮像素子から得られた状態の画像データ）から、各画素毎にＲ／Ｇ／Ｂの３つの色情報（３原色信号）を生成する処理をデモザイク処理（同時化処理）と呼ぶ。
【０００５】
そして、デモザイク処理後に全画素について揃ったＲ／Ｇ／Ｂ信号を、Ｙ／Ｃ変換することにより、輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）へと変換し、これら輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）からなる画像信号から表示用の画像が形成されたり、これら輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）からなる画像信号が記録媒体に記録されたりすることになる。
【０００６】
近年の固体撮像素子の画素サイズの微小化に伴いＳ／Ｎ（Signal to Noise ratio）が悪化し、画像上のノイズが問題になってきている。カラー画像のノイズは、輝度信号成分のノイズである輝度ノイズと色差信号成分のノイズである色ノイズに分類され、色ノイズを低減することで画質を向上できることが知られている。
【０００７】
例えば、デジタルスチルカメラに関して、後に記す特許文献１には、ノイズリダクション処理に適切な画素範囲を選択し、この選択した周辺画素を用いてノイズリダクション処理することにより、Ｒａｗ画像データの段階で効率よくノイズを除去する方法が開示さている。
【０００８】
また、後に記す特許文献２には、エッジの延長方向に沿った所定範囲の画素値を用いて注目画素の画素値を補間演算処理することにより、デモザイク処理等において、エッジを精度良く再現する方法が開示されている。
【０００９】
しかし、Ｒａｗ画像データの段階で色ノイズを除去するようにすると、輝度信号成分にまで影響を与え、各色信号の輝度値までも変化してしまうという問題がある。その結果、エッジ部分等が誤った色で表示され、著しく画質が劣化する場合があると考えられる。
【００１０】
このため、色を表す色差信号はＹ（輝度）／Ｃ（色）変換後に生成されるので、色ノイズ低減処理をＹ／Ｃ変換後に行う手法が一般的に行われている。しかし、デモザイク処理前にはインパルス状だった色ノイズが、デモザイク処理での補間処理やアパーチャ補正などその他の処理によって複雑なフィルタを通るため、Ｙ／Ｃ変換された信号では色ノイズの特性が変化してしまう（インパルス状で無くなる）。このようにノイズ信号の特性が変化すると、ノイズ信号成分と絵柄信号成分の分離が難しくなり、色ノイズをきれいに消すことができないという問題が生じている。
【００１１】
なお、上述した特許文献１、２の所在は以下の通りである。
【特許文献１】特開２００５−３１１４５５号公報
【特許文献２】特開２００４−２２１８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したデモザイク処理後にＹ／Ｃ変換された信号では色ノイズの特性が変化してしまい、色ノイズをきれいに消すことができないという問題を解決する手法として、本出願人の他の特許出願である特願２００６−３３８２３３号において、色ノイズの特性が変化する可能性のあるデモザイク処理前に色ノイズ低減処理を行う手法が提案されている。
【００１３】
この出願に係る手法は、固体撮像素子の出力信号であるＲａｗ状態の画像信号（Ｒａｗ画像信号）から色ノイズの特性が変化しないように、画像の相関のある方向などの判別を行わない簡易的なデモザイク処理を行って色差信号を生成し、生成された色差信号に対してノイズ低減処理を行った後、再びＲａｗ状態の画像信号に戻し、その後画像の相関のある方向などの判別を行う通常のデモザイク処理を行うというものである。
【００１４】
当該手法を用いることにより、通常のデモザイク処理（本来行われるべきデモザイク処理）の前に色ノイズを除去することが可能となり、当該手法は、画質の向上を図る上で非常に有効なものである。しかしながら、当該手法の場合、通常のカメラ信号処理に対して、簡易的なデモザイク処理と、輝度信号と色ノイズ低減処理後の色差信号とをＲａｗ状態の信号へ戻す処理が余分に必要となる。
【００１５】
すなわち、当該手法は、ハードウェア資源の機能、性能、容量などのいわゆるリソースに余裕のある高性能の撮像装置においては特に有効な手法である。しかし、できれば、リソースを考慮することなく、種々の撮像装置においても適切かつ迅速に色ノイズを低減させることができるようにしたいとする要求がある。
【００１６】
また、当該手法の場合、ノイズ低減前に追加された簡易的なデモザイク処理で生成された色差信号と、ノイズ低減後に存在する通常のデモザイク処理後に生成された色差信号とが異なる。このため、理論的に考えると、簡易的なデモザイク後の色差信号で色ノイズ低減を行っても、最終的な画像の色差信号となる通常のデモザイク処理後の色差信号で見ると色ノイズが十分に抑圧されていないということが発生する可能性あると考えられる。このため、より精度良く、色ノイズを低減できるようにしたいとする要求がある。
【００１７】
以上のことに鑑み、この発明は、リソースに依存することなく、複数の色の色信号からなる画像信号から色ノイズ成分を迅速かつ効果的に低減させることを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子と、前記撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理手段とを備えた撮像装置であって、
前記デモザイク処理手段は、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成部と、
前記生成部により生成された前記色関連信号に対してノイズ低減処理を施すノイズ低減部と
を備えることを特徴とする。
【００１９】
この請求項１に記載の発明の撮像装置によれば、撮像素子を通じて取り込まれた複数の色の色信号からなる画像信号（Ｒａｗ画像信号）が、デモザイク処理手段によりデモザイク処理されることにより、画像を形成する全ての画素毎に、複数の色のそれぞれの色信号が形成するようにされる。
【００２０】
当該デモザイク処理手段においては、まず、生成部において、処理対象の画像信号の目的色信号（例えば、Ｒ（赤）色信号、Ｂ（青）色信号）と、他の色信号（例えば、Ｇ（緑）色信号）と演算することにより、色関連信号（例えば、色差信号あるいは色比信号）が生成される。この生成手段により生成された色関連信号に対して、ノイズ低減部においてノイズ低減処理（色ノイズの低減処理）が施される。このようにして、色ノイズが低減するようにされた色関連信号が用いられて、デモザイク処理がなされる。
【００２１】
これにより、デモザイク処理の過程において生成される色関連信号に対してノイズ低減処理を施すことができるので、ノイズ低減部を除いては、新たなに追加すべきハードウェアは必要なく、迅速に色ノイズの低減を行うことができるようにされる。しかも、デモザイク処理の過程において色ノイズの低減処理を行うことができるので、最も効果的に色ノイズを低減させることができるようにされる。
【発明の効果】
【００２２】
複数の色の色信号からなる画像信号から色ノイズ成分を迅速かつ最も効果的に低減させることができる。すなわち、色ノイズを効果的に抑圧できる。
【発明を実施するための最良の形態】
【００２３】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの種々の画像処理装置に適用可能なものである。
【００２４】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ（撮像装置）に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【００２５】
［第１の実施の形態］
［撮像装置の構成例について］
図１は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。図１に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部（図１においてはアナログゲインと記載。）１０３、Ａ／Ｄ（Analog/Digital）変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８を備えると共に、制御部１１０、キー操作部１２１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２２、外部入出力端子１２３、記録再生処理部１２４、記録媒体１２５を備えたものである。
【００２６】
制御部１１０は、この実施の形態の撮像装置１００の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１１４が、ＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。
【００２７】
ここで、ＣＰＵ１１１は、後述もするＲＯＭ１１２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１１２は、上述もしたように、ＣＰＵ１１１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【００２８】
ＲＡＭ１１３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１１４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【００２９】
また、キー操作部１２１は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部１１０に供給することができるものである。これにより、制御部１１０は、キー操作部１２１を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置１００の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【００３０】
外部Ｉ／Ｆ１２２及び入出力端子１２３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格やＵＳＢ（Universal Serial Bus）規格等に合致したものである。これら外部Ｉ／Ｆ１２２及び入出力端子１２３に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやＰＶＲ（Personal Video Recorder）等の外部機器を接続することができるようにされる。
【００３１】
記録再生処理部１２４は、制御部１１０の制御に応じて、これに供給された画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録されている画像データを読み出して、制御部１１０を通じて表示処理部１０７に供給して再生するようにしたりするなどのことができるものである。
【００３２】
また、記録媒体１２５は、この実施の形態の撮像装置１００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置１００において、記録媒体１２５は、例えば、内蔵された小型のハードディスクである。
【００３３】
なお、記録媒体１２５に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体１２５から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮／伸張処理部において行うようにされる。また、このような、画像データの圧縮／伸張機能を、記録再生処理部１２４に設けるようにすることも可能である。
【００３４】
そして、この実施の形態の撮像装置１００においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部１０８の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号（動画像信号）を記録媒体１２５に記録する記録機能と、記録媒体１２５に記録されている画像信号を読み出して、これを表示部１０８の表示素子の表示画面に表示するようにしたり、あるいは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて外部機器に供給したりする再生機能とを有するものである。
【００３５】
［記録機能（撮影機能）および再生機能について］
まず、この実施の形態の撮像装置１００の記録機能について説明する。図１に示すように、画像信号の処理系を構成する、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部１０３、Ａ／Ｄ変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８のそれぞれは、共通のＣＰＵバス１１５を通じて接続されている。
【００３６】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のＣＰＵバス１１５を通じて行われる。ただし、ＣＰＵバス１１５を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＣＰＵバス１１５を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【００３７】
そして、キー操作部１２１を通じて、動画像の撮影を行うことが指示されると、制御部１１０が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部１０１を通じて撮像素子部１０２の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号（アナログ動画像信号）に変換されて、アナログゲイン調整部１０３に供給される。ここで撮像素子部１０２に設けられている固体撮像素子は、例えばＣＣＤセンサやＣＭＯＳセンサなどである。
【００３８】
アナログゲイン調整部１０３供給されたアナログ動画像信号は、ここで当該アナログ動画像信号のゲイン（利得）が所定のレベルとなるようにゲイン調整された後に、Ａ／Ｄ変換記１０４に供給される。そして、Ａ／Ｄ変換器１０４に供給されたアナログ動画像信号は、ここでデジタル動画像信号（デジタルＲａｗ動画像データ）に変換され、検波処理部１０５に供給される。なお、デジタルＲａｗ動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部２からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【００３９】
検波処理部１０５は、これに供給されたＲａｗ動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）Ｐｍを生成し、この生成した現像パラメータ群を、制御部１１０を通じてカメラ信号処理部１０６に供給すると共に、Ｒａｗ動画像データも、カメラ信号処理部１０６に供給する。
【００４０】
カメラ信号処理部１０６では、詳しくは後述するが、黒レベル合わせ処理、ホワイトバランス調整処理、画素毎にＲＧＢデータ（３原色データ）を生成するデモザイク処理（同時化処理）、アパーチャ補正処理、ガンマ（γ）補正処理、輝度信号（Ｙ）と色差信号（Ｃ）への変換処理（Ｙ／Ｃ変換処理）、解像度変換処理などを行って、輝度信号および色差信号（以下、ＹＣ信号と略称する）を形成する。
【００４１】
カメラ信号処理部１０６で形成されたＹＣ信号は、表示処理部１０７に供給され、ここで表示部１０８に供給する形式の動画像信号に変換されて表示部１０８に供給される。これにより表示部１０８の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【００４２】
同時に、カメラ信号処理部１０６で形成されたＹＣ信号は、例えば図示しない圧縮／伸張処理部において、圧縮処理された後、記録再生処理部１２４に供給される。記録再生処理部１２４は、これに供給された画像データを、自機に搭載されている記録媒体１２５に読み出し可能なように記録する。
【００４３】
なお、表示部１０８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【００４４】
このように、この実施の形態の撮像装置１００は、表示部１０８に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体１２５に記録することができるものである。なお、撮影することにより得た動画像データを記録媒体１２５に記録する場合には、上述もしたように、当該動画像データは、例えば図示しない圧縮／伸張処理部においてデータ圧縮された後に、記録再生処理部１２４を通じて記録媒体１２５に記録される。
【００４５】
次に、この実施の形態の撮像装置１００の再生機能について説明する。キー操作部１２１を通じて、記録媒体１２５に記録された動画像データを再生することの指示入力を受け付けると、制御部１１０は、記録再生処理部１２４を制御し、再生するように指示された動画像データを読み出し、例えば図示しない圧縮／伸張処理部に供給する。そして、当該圧縮／伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。
【００４６】
そして、表示処理部１０７においては、伸張処理されて復元された動画像データを、表示部１０８に供給する形式の動画像信号に変換して表示部１０８に供給する。これにより表示部１０８の表示素子の表示画面には、記録媒体１２５から読み出された動画像データに応じた動画像が表示するようにされる。
【００４７】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮／伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【００４８】
このように、この実施の形態の撮像装置１００は、撮影することにより得た動画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録した動画像データを再生して利用したりすることができるものである。そして、この実施の形態の撮像装置１００は、色ノイズを効果的に低減させるようにするために、ノイズ低減専用のデモザイク処理等の負荷の大きな処理を増加させること無く、既存のカメラ信号処理の中で、最も効果的に色ノイズを低減させることができるようにしている。
【００４９】
［カメラ信号処理部１０６について］
次に、図１に示したこの実施の形態の撮像装置１００のカメラ信号処理部１０６の構成例について説明する。図２は、この実施の形態の撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【００５０】
図２に示すように、この実施の形態のカメラ信号処理部１０６は、黒レベル合わせ部１０６１、ＷＢ（ホワイトバランス）調整部１０６２、デモザイク処理部１０６３、アパーチャ補正部１０６４、ガンマ補正部１０６５、Ｙ／Ｃ変換部１０６６、解像度変換部１０６７を備えたものである。
【００５１】
上述もしたように、検波処理部１０５からのＲａｗ動画像データは、カメラ信号処理部１０６の黒レベル合わせ部１０６１に供給される。撮像装置における黒レベルは、撮像素子の撮像面を完全に遮光した場合の当該撮像素子からの画像出力を意味する。しかし、例えば、撮像素子より後段の回路の影響等により、オフセット成分が混入するなどして、黒レベルが正確に表現できなくなり、画像が適切に形成できなくなる場合がある。このような場合を防止するために、黒レベル合わせ部１０６１は、検波処理部１０５からの出力値に基づいて、これに供給されるＲａｗ動画像データの黒レベルの調整処理を行う。黒レベルが調整されたＲａｗ画像データは、ＷＢ調整部１０６２に供給される。
【００５２】
撮像装置を用いて被写体を撮影する場合、撮影時における光の種類（例えば、太陽光や蛍光灯など）により同じ被写体であってもその色合いは異なったものとなる。しかし、人間の目には白いものを常に白として認識しようとする習性が有る。そこで、ＷＢ調整部１０６２は、検波処理部１０５からのパラメータに基づいて、画像全体の色のバランス（具体的には、Ｒ（赤）とＢ（青）のバランス）を調整し、白いものは常に白いものとして表現できるようにしている。ホワイトバランスが調整されたＲａｗ動画像データは、デモザイク処理部１０６３に供給される。
【００５３】
デモザイク処理部１０６３は、撮像素子で用いられている色フィルタに応じて、画素毎に異なる色信号が用いられて形成されたＲａｗ動画像データから、画像を形成する画素毎に必要となる色信号の全部、この実施の形態の撮像装置の場合には、Ｒ、Ｇ、Ｂの３原色信号を形成する処理を行うものである。
【００５４】
そして、この実施の形態のデモザイク処理部１０６３は、詳しくは後述するが、デモザイク処理の過程において、色ノイズの低減処理を行うようにし、上述もしたように、ノイズ低減専用のデモザイク処理等の負荷の大きな処理を増加させること無く、既存のカメラ信号処理の中で、最も効果的に色ノイズを低減させることができるようにしている。そして、デモザイク処理部１０６３において形成されたＲ、Ｇ、Ｂの３原色信号（３原色データ）は、アパーチャ補正部１０６４に供給される。
【００５５】
アパーチャ補正部１０６４は、これに供給される３原色データに対して、輪郭強調処理を施すことにより、画像をはっきりとシャープなものとなるようにする処理を行う。この実施の形態の撮像装置の場合には、例えば操作部１２１を通じて受け付けるユーザーからの指示入力に応じた制御部１１０からの制御信号により、輪郭強調の度合い（レベル）を調整することができ、画像をシャープなイメージに形成することも、また、ソフトなイメージに形成することもできるようにしている。アパーチャ補正部１０６４からの３原色データは、ガンマ補正部１０６５に供給される。
【００５６】
ガンマ補正部１０６５は、これに供給された動画像データ（３原色データ）と、これが実際に出力される際の信号の相対関係を調節して、より自然に近い色合いの画像を得るようにする処理を行う。すなわち、ガンマ（γ）値は、画像の明るさの変化に対する電圧換算値の変化の比を意味し、これが値「１」に近づくのが理想であるが、用いられる素子の特性等により変化してしまう場合がある。このため、ガンマ補正部１０６５において、これに供給される動画像データのガンマ値の誤差を補正し、当該ガンマ値が値「１」に近くなるように補正する処理を行う。ガンマ補正部１０６５において処理された動画像データ（３原色データ）は、Ｙ／Ｃ変換部１０６６に供給される。
【００５７】
Ｙ／Ｃ変換部１０６６は、これに供給された動画像データ（３原色データ）を、所定の計算式に従って、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換し、変換後の輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）からなるＹＣ信号（ＹＣデータ）を解像度変換部１０６７に供給する。
【００５８】
解像度変換部１０６７は、これに供給されたＹＣデータに対して画像のスケーリングを行う。すなわち、解像度変換部１０６７は、これに供給されたＹＣデータについて間引き処理や補間処理を施すことにより、所定の解像度のＹＣデータを形成し、これを出力する。この解像度変換部１０６７から出力されたＹＣデータに応じた画像が、図１に示した表示処理部１０７を通じて表示部１０８に表示され、また、データ圧縮処理された後に、記録再生処理部１２４を通じて記録媒体１２５に記録されることになる。
【００５９】
このように、カメラ信号処理部１０６においては、撮像素子部１０２を通じて撮影するようにした被写体のＲａｗ動画像データに対して、上述したように種々の信号処理を施し、最終的に、表示や記録の対象となる目的とする解像度のＹＣデータを形成して出力することができるようにしている。そして、この実施の形態のカメラ信号処理部１０６のデモザイク処理部１０６３においては、以下に詳述するように、色ノイズの低減処理をも行うようにしている。
【００６０】
［デモザイク処理部１０６３の第１の構成例と処理概要（ベイヤー配列の場合）］
図３は、この実施の形態の図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例とその処理の概要とを説明するためのブロック図である。図３に示すように、この例のデモザイク処理部１０６３は、Ｇ（緑）信号補間部（図３においてはＧ補間部と記載。）６３１と、色差生成部６３２と、色差補間部６３３と、Ｇ（緑）信号足し戻し部（図３においてはＧ足し戻し部と記載。）６３４とを備えたものである。
【００６１】
なお、ここでは、撮像素子部１０２の固体撮像素子の色フィルタ（カラーフィルタ）の色コーディングがベイヤー配列である場合を例にして説明する。したがって、デモザイク処理部１０６３には、図３（１）に示すように、水平方向にＲＧＲＧ…のように、水平方向の画素毎にＲとＧとが交互に並べられたラインと、水平方向にＧＢＧＢ…のように、水平方向の画素毎に、ＧとＢとが交互に並べられたラインとが、垂直方向に交互に配置にされたベイヤー配列にしたがったＲａｗ動画像データが供給される。より具体的には、図３（１）のような配列のＲａｗ動画像データが、各画面（フレーム）毎に、各画素Ｒ（赤）／Ｇ（緑）／Ｂ（青）のいずれか一色ずつの色信号（色データ）としてデモザイク処理部１０６３に入力され、Ｇ補間部６３１と、色差生成部６３２に供給される。
【００６２】
図３（１）に示したように、ベイヤー配列の場合に市松状に存在するＧ信号に関しては、Ｇ補間部６３１により、Ｇ信号が存在しない画素上に周辺のＧ信号の存在する画素から相関を見てＧ信号を補間生成する。これにより、Ｇ補間部６３１からは、図３（２）に示すように、画像を構成する画素毎にＧ信号が形成されて出力される。
【００６３】
また、Ｒ信号とＢ信号とに関しては、色差生成部６３２により、周辺の画素の色信号を用いて、Ｒ信号の画素上に色差信号であるＲ−Ｇ信号を生成し、Ｂ信号の画素上に色差信号であるＢ−Ｇ信号を生成する。これにより、色差生成部６３２からは、図３（３）に示すように、Ｒ信号の画素上に生成されたＲ−Ｇ信号と、Ｂ信号の画素上に生成されたＢ−Ｇ信号とが出力される。
【００６４】
そして、色差生成部６３２から出力されたＲ−Ｇ信号とＢ−Ｇ信号とは、色差補間部６３３に供給される。色差補間部６３３は、これに供給されたＲ−Ｇ信号とＢ−Ｇ信号とから、既にＲ−Ｇ信号、Ｂ−Ｇ信号が生成されていない画素に、図３（４Ａ）、（４Ｂ）に示すように、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とを補間生成する。
【００６５】
これにより、色差補間部６３３からは、図３（４Ａ）、（４Ｂ）に示すように、画像を形成する各画素毎に形成されたＲ−Ｇ信号とＢ−Ｇ信号が出力される。そして、色差補間部６３３から出力されたＲ−Ｇ信号、Ｂ−Ｇ信号は、Ｇ足し戻し部６３４に供給される。
【００６６】
Ｇ足し戻し部６３４は、色差補間部６３３から出力された全画素揃った色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）に対して、Ｇ補間部６３１から出力されたＧ信号を加算処理することにより、全画素揃ったＲ信号とＢ信号とが生成される。これにより、Ｇ足し戻し部６３４からは、図３（５Ａ）、（５Ｂ）に示すように、画像を構成する画素毎に形成されたＲ信号とＢ信号とが出力される。
【００６７】
これにより、デモザイク処理部１０６３からは、Ｇ補間部６３１からの全画素揃ったＧ信号と、Ｇ足し戻し部６３４からの全画素揃ったＲ信号とＢ信号とが出力される。すなわち、画像を構成する全画素のそれぞれ毎に、ＲＧＢの３原色信号が出力するようにされる。そして、このようなデモザイク処理が、フレーム毎に行われ、Ｒａｗ動画像データが、ＲＧＢ動画像データに変換されることになる。
【００６８】
なお、Ｇ補間部６３１での補間処理、色差生成部６３２での色差生成処理、色差補間部６３３での補間処理については、目的とする信号を生成可能な種々の方法を用いることができる。すなわち、目的とする信号を生成するために、用いる周辺画素の範囲や、目的する信号を生成するための計算ロジックなどについては、種々のものを用いることができる。
【００６９】
そして、上述したように、この実施の形態のデモザイク処理部１０６３においては、Ｒ信号とＢ信号とを直接生成せず、色差信号を介在させてＲ信号とＢ信号とを生成するようにしている。このようにするのは、Ｇ信号をも考慮できるようにして、より正確に画像の色彩を再現できるようにするためである。すなわち、間違った色を作らないようにするためである。この色差信号を用いる点について図４、図５を用いて説明する。
【００７０】
まず、ベイヤー配列のＲａｗデータから、Ｇ信号、Ｒ信号、Ｂ信号が存在しない画素について、近隣の画素の色信号から直接に補間処理によりＧ信号、Ｒ信号、Ｂ信号のそれぞれを生成する場合について考える。
【００７１】
図４は、ベイヤー配列の色フィルタの固体撮像素子を通じて取り込まれた１フレーム分のＲａｗ動画像データからＧ信号だけでなく、Ｒ信号及びＢ信号についても直接に補間処理により生成する場合について説明するための図である。ここでは、無彩色（白黒の縦縞模様）の画像を形成するＲａｗ動画像データを処理する場合を例にして説明する。
【００７２】
図４（Ａ）に示すように、ベイヤー配列の無彩色（白黒の縦縞模様）のＲａｗデータがあるとする。このＲａｗデータによって形成される画像イメージは、図４（Ｂ）に示すように、垂直方向の１ライン毎（１列毎）に白色のラインと黒色のラインとが交互に存在する画像となる。すなわち、Ｒ、Ｇ、Ｂの各色信号の割合を、「０」〜「１００」で表すものとすれば、Ｒ、Ｇ、Ｂの各色信号のそれぞれの信号の割合が値「１００」である垂直方向のラインが白色のラインであり、Ｒ、Ｇ、Ｂの各色信号のそれぞれの信号の割合が値「０」である垂直方向のラインが黒色のラインである。
【００７３】
このようなＲａｗ画像データから、画像を形成する全ての画素毎に、Ｒ、Ｇ、Ｂの各色信号をデモザイク処理により形成する。Ｇ信号については、図４（Ａ）を見ても分かるように、垂直方向の各ライン（各列）には、Ｇ信号が必ず存在するので、垂直方向の各ラインのＧ信号に基づいて、図４（Ｃ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＧ信号を適切に生成することが可能である。
【００７４】
そして、ここでは、色差信号を用いずに、Ｒ信号とＢ信号とについても直接に補間処理により形成することを考える。Ｒ信号とＢ信号とは、図４（Ａ）を見ても分かるように、垂直方向の１ラインおきにしか存在しない。
【００７５】
このため、図４（Ａ）のように色信号が存在するＲａｗデータの場合、近隣の画素に存在するＲ信号に基づいて、Ｒ信号が存在しない画素にＲ信号を補間生成すると、図４（Ｄ）に示すように、本来、Ｒ信号が存在しない垂直方向のラインの画素にまで割合が値「１００」となるＲ信号が補間生成されてしまう。
【００７６】
また、図４（Ａ）のように色信号が存在するＲａｗデータの場合、近隣の画素に存在するＢ信号に基づいて、Ｂ信号が存在しない画素にＢ信号を補間生成すると、図４（Ｅ）に示すように、割合が値「０」となるＢ信号が補間生成されてしまう。つまり、本来、割合が値「１００」としてＢ信号が生成されるべき画素についても割合が値「０」のＢ信号が補間生成されてしまう。
【００７７】
この場合、白色のライン部分について適切にＢ信号を生成することができないので、白色を本来の適正な白色として表現できなくなる。また、黒色のライン部分については割合が「１００」のＲ信号が生成されてしまうので、黒色を本来の適正な黒色として表現できなくなる。したがって、Ｒ信号やＢ信号が存在しない画素に対して、周囲の画素のＲ信号、Ｂ信号を用いてＲ信号、Ｂ信号を直接に補間処理して生成した場合には、画像を本来の色彩で表現することができなくなってしまう場合がある。
【００７８】
次に、ベイヤー配列のＲａｗデータから、Ｇ信号が存在しない画素については、近隣の画素のＧ信号から直接に補間処理によりＧ信号を生成するが、Ｒ信号、Ｂ信号が存在しない画素については、まず、色差信号を生成し、この色差信号の状態で補間処理を行った上で、Ｒ信号、Ｂ信号を生成する場合について考える。
【００７９】
図５は、ベイヤー配列の色フィルタの固体撮像素子を通じて取り込まれた１フレーム分のＲａｗ動画像データからＧ信号については直接補間処理により、Ｒ信号及びＢ信号については、色差信号を介在させて生成する場合について説明するための図である。この図５に示す場合も、図４に示した場合と同様に、無彩色（白黒の縦縞模様）の画像を形成するＲａｗ動画像データを処理する場合を例にして説明する。
【００８０】
また、色差信号を介在させてＲ信号、Ｂ信号を生成する場合、Ｒ信号については色差信号であるＲ−Ｇ信号を用い、Ｂ信号については色差信号であるＢ−Ｇ信号を用いることになるが、いずれの場合もほぼ同じ処理であるので、以下においては、説明を簡単にするため、Ｒ−Ｇ信号を用いてＲ信号を生成する場合を例にして説明する。
【００８１】
そして、図４（Ａ）、（Ｂ）を用いて説明した場合と同様に、図５（Ａ）に示すように、ベイヤー配列の無彩色（白黒の縦縞模様）のＲａｗデータがあるとする。このＲａｗデータによって形成される画像イメージは、図５（Ｂ）に示すように、垂直方向の１ライン毎（１列毎）に白色のラインと黒色のラインとが交互に存在する画像となる。
【００８２】
すなわち、図４（Ｂ）を用いて説明した場合と同様に、図５（Ｂ）の場合にも、Ｒ、Ｇ、Ｂの各色信号の割合を、「０」〜「１００」で表すものとすれば、Ｒ、Ｇ、Ｂの各色信号のそれぞれの割合が値「１００」である垂直方向のラインが白色のラインであり、Ｒ、Ｇ、Ｂの各色信号のそれぞれの割合が値「０」である垂直方向のラインが黒色のラインである。
【００８３】
このようなＲａｗ画像データから、画像を形成する全ての画素毎に、Ｒ、Ｇ、Ｂの各色信号をデモザイク処理により形成する。Ｇ信号については、図５（Ａ）を見ても分かるように、垂直方向の各ライン（各列）には、Ｇ信号が存在するので、垂直方向の各ラインのＧ信号に基づいて、図５（Ｃ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＧ信号を適切に生成することが可能である。
【００８４】
そして、Ｒ信号については、図５（Ａ）に示したように、垂直方向の１ラインおきに存在するＲ信号に基づいて、図５（Ｄ）に示すように実在するＲ信号を認識する。図５（Ｄ）において×印が付けられた部分（画素）は、Ｒ信号が存在しない部分である。そして、図５（Ｄ）に示したように認識されるＲ信号と図５（Ｃ）に示したように補間生成により適正に生成されたＧ信号とから、図５（Ｅ）に示すように、色差信号であるＲ−Ｇ信号を生成する。
【００８５】
図５（Ｅ）において、×印が付けられた部分（画素）は、Ｒ信号が存在しないために、Ｒ−Ｇ信号を直接に生成できなかった部分である。このため、図５（Ｅ）に示したように、適正に生成されたＲ−Ｇ信号から、図５（Ｆ）に示すように、×印をつけて示したＲ−Ｇ信号が直接に生成できない部分（画素）について、Ｒ−Ｇ信号を補間生成する。この場合、図５（Ｅ）に示したように、実在するＲ信号とＧ信号とに基づいて、Ｒ−Ｇ信号が生成されているので、これから補間生成される図５（Ｆ）に示すＲ−Ｇ信号も適切なものである。
【００８６】
最後に、図５（Ｆ）のように生成されたＲ−Ｇ信号に対して、図５（Ｃ）のように生成されたＧ信号を足し戻すことにより、図５（Ｇ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＲ信号を適切に生成することができる。
【００８７】
そして、図４を用いて説明したように、ベイヤー配列のＲａｗデータから、Ｇ信号だけでなく、Ｒ信号、Ｂ信号についても直接に補間処理により生成するようにした場合には、迅速にＲ信号、Ｂ信号を、画像を構成する各画素について生成することが可能であるが、色彩の正確性は損なわれてしまう。これに対して、図５を用いて説明したように、ベイヤー配列のＲａｗデータから、Ｒ信号、Ｂ信号については、色差信号を介在させて、Ｒ信号、Ｂ信号を生成するようにした場合には、処理に若干の手間がかかるが、色彩の正確性を高く保持することが可能となる。
【００８８】
このため、図３を用いて説明したように、この実施の形態の撮像装置１００のデモザイク処理部１０６３においては、ベイヤー配列のＲａｗ動画像データから、画像を構成する画素毎にＲＧＢの３原色信号を生成する場合に、Ｒ信号とＢ信号については、色差信号を用いて生成するようにしているのである。
【００８９】
そして、この実施の形態の撮像装置のデモザイク処理部１０６３においては、ベイヤー配列のＲａｗ動画像データが、Ｇ信号と、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に変換された段階で、色ノイズ成分を除去する構成を備えることにより、デモザイク処理の過程において効果的に色ノイズ成分を低減させることができるようにしている。
【００９０】
［デモザイク処理部１０６３の構成例］
図６は、この第１の実施の形態のノイズ低減処理部６３５が設けられたデモザイク処理部１０６３の第１の構成例を説明するためのブロック図である。この例のデモザイク処理部１０６３は、図３に示したデモザイク処理部１０６３の構成例の場合と同様に、Ｇ補間部６３１、色差生成部６３２、色差補間部６３３、Ｇ足し戻し部６３４を備え、図３を用いて説明したように、Ｇ信号については周辺の画素のＧ信号に基づいて直接に、また、Ｒ信号、Ｂ信号については、色差信号を介して、画像を形成する画素毎にＲＧＢの３原色信号を生成するものである。
【００９１】
そして、図６に示すように、この実施の形態の撮像装置１００のデモザイク処理部１０６３は、Ｇ補間部６３１と色差生成部６３２の直後に、ノイズ低減処理部６３５を設け、このノイズ低減処理部６３５の機能により、処理対象の画像データ（この例の場合には、補間処理されることにより生成された直後のＧ信号、及び生成直後の色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号）から色ノイズ成分を低減させることができるものである。
【００９２】
このように、Ｇ補間部６３１と色差生成部６３２との直後にノイズ低減処理部６３５を配置した場合には、詳しくは後述するが、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号が生成された直後であるため、色差信号に混入している色ノイズがデモザイク処理における補間処理による複雑なフィルタがかかっておらず、色ノイズを効果的に抑圧することができるためである。
【００９３】
［ノイズ低減処理部６３５の構成例］
図７は、図６に示したノイズ低減処理部６３５の構成例を説明するためのブロック図である。図７に示すように、この例のノイズ低減処理部６３５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３５１と、色差信号に混入しているノイズを低減させる色差ノイズ低減処理部６３５２とを備えたものである。
【００９４】
そして、Ｇ信号についてはＧノイズ低減処理部６３５１でノイズ低減処理を行い、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とについては、色差ノイズ低減処理部６３５２でノイズ低減処理を行う。Ｇノイズ低減処理部６３５１、色差ノイズ低減処理部６３５２においては、様々な方法を用いたノイズ低減処理を行うようにすることが可能であるが、ここでは、主にイプシロンフィルタ（以下、εフィルタと記載する。）を用いる場合を例にして説明する。
【００９５】
［εフィルタについて］
まず、εフィルタについて簡単に説明する。図８は、εフィルタの機能を説明するための図である。非線形フィルタの１つであるεフィルタは、絵柄のエッジ部を保持しながらノイズ抑圧を行うことができるものである。これはノイズ信号の多くは高周波で小振幅であるという性質を利用している。
【００９６】
すなわち、一般に画像データに含まれてしまうノイズ信号は高周波で小振幅の信号であり、絵柄のエッジ部のような大振幅の信号ではない。そこで、εフィルタは、画像の所定の領域内において、注目画素とその周辺画素との間でレベル差分を取り、このレベル差分と予め設定される閾値とを比較してノイズの有無を判定し、フィルタ係数に応じた演算を行うことによってノイズを平滑化するようにしている。
【００９７】
具体的に説明する。ここでは、図８（Ａ）に示すように、３画素×３画素の領域を設定し、その中央の画素を注目画素Ｔとする場合を例にして説明する。図８（Ａ）に示した領域の画素について、図８（Ｂ）に示すように、横軸に図８（Ａ）の領域にしたがった画素位置（画素ｎｏ）を取り、縦軸に信号レベル（差分レベル）をとって、図８（Ａ）に示した領域の各画素の信号レベルと注目画素Ｔの信号レベルとの差分（レベル差分）をプロットする。なお、注目画素Ｔは基準となるものであるので、差分ではなく、注目画素Ｔの信号レベルに基づいてプロットしている。
【００９８】
そして、図８（Ｂ）において、点線で示した閾値により上下方向に範囲を示したように、画像の絵柄の振幅よりも小さい閾値幅を設定し、注目画素Ｔとの信号レベルの差分が閾値により定められた範囲外となる画素については、絵柄による差分と判断し、その画素を注目画素Ｔの平滑化のためには用いないようにする。一方、注目画素Ｔとの信号レベルの差分（レベル差分）が、閾値により定められた範囲内となる画素については、ノイズで生じる差分と判断して、その画素を注目画素Ｔの平滑化のために用いるようにする。
【００９９】
すなわち、図８（Ｂ）に示した例の場合、ｎｏ．２の画素と注目画素Ｔとのレベル差分と、ｎｏ．７の画素と注目画素Ｔとのレベル差分とは、閾値により定められた範囲外となるので、ｎｏ．２の画素とｎｏ．７の画素とは、平滑化のための平均化処理の対象（加算画素の対象）としない。
【０１００】
これに対して、ｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素と注目画素Ｔとのレベル差分は、いずれも図８（Ｂ）に示したように、閾値により定められた範囲内となるので、ｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素は、平滑化のための平均処理の対象（加算画素の対象）とする。
【０１０１】
したがって、図８（Ｂ）に示したように、注目画素Ｔとの間におけるレベル差分が、予め決められる閾値の範囲内となるｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素は、注目画素Ｔの平滑化のための平均化処理の加算対象となり、注目画素Ｔを周辺の画素から平均化したレベルに置き換えるようにする。そして、各画素を同様に処理することで全ての画像について平滑化が実行され、各画素は、ノイズ成分が除去されて平滑化される。これにより、画像信号により形成される画像の絵柄には影響を及ぼすことなく、ノイズ成分を除去して滑らかな画像を形成（再生）することができるようにされる。
【０１０２】
そして、上述したように、εフィルタの場合、図８（Ｂ）を用いて説明したように、閾値に基づいて、平滑化のための平均化処理の加算対象となる画素か否かを判定するので、閾値よりも大きなエッジは保持される。すなわち、図８（Ｃ）において実線で示すように、信号レベルが大きく変化するエッジを持つ画像において、点線で示すように、ノイズレベルに合わせて閾値を設定すれば、閾値外の信号は加算対象となることは無いので、画像が持つエッジは保持して、各画素（図８（Ｃ）において黒点で示したもの）のノイズ成分のみを抑圧することができるのである。
【０１０３】
なお、εフィルタにおいては、注目画素に近い周辺画素ほど重み付けを重くするなどというように、注目画素についての平滑化のための平均化処理に用いる画素の信号レベルに重み付けをつけるようにしてもよい。
【０１０４】
［Ｇノイズ低減処理部６３５１での処理の概要］
次に、図７に示したＧノイズ低減処理部６３５１について説明する。Ｇノイズ低減処理部６３５１には、Ｇ補間部６３１において補間生成された画像を構成する画素毎のＧ信号（図７（１））が順次に供給される。そして、Ｇノイズ低減処理部６３５１においては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図７（２））を出力する。
【０１０５】
また、Ｇノイズ低減処理部６３５１におけるノイズ低減処理の他の方法として、ＬＰＦ（Low Pass Filter）と減算回路、あるいは、ＨＰＦ（High Pass Filter）と減算回路などを用いることにより、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０１０６】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。なお、この他の方法（高域側と低域側とで別々のノイズ低減処理を行う方法）については、この出願の発明者による他の出願である特願２００７−２６２８７５に詳細に説明されている。
【０１０７】
なお、Ｇ信号は、輝度成分の強い信号であり、色ノイズ成分は少ないと考えられるので、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図７に示したＧノイズ低減処理部６３５１は、ノイズ低減処理部６３５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３５２があればよい。
【０１０８】
［色差ノイズ低減処理部６３５２での処理の概要］
次に、図７に示した色差ノイズ低減処理部６３５２について説明する。色差ノイズ低減処理部６３５２には、色差生成部６３２において生成された色差信号（図７（３））が供給される。すなわち、色差生成部６３２においては、図７（３）に示したように、Ｒ信号が存在する画素に対してはＲ−Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ−Ｇ信号が生成されて、これがノイズ低減処理部６３５の色差ノイズ低減処理部６３５２に供給される。そして、色差ノイズ低減処理部６３５２においては、同色同士で上述したεフィルタを用いて、Ｒ−Ｇ信号、Ｂ−Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０１０９】
しかし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。つまり、１フレームの画像の中に、例えば、オレンジ色の部分と水色の部分が隣接して存在する場合（エッジを形成している場合）に、図７（３）に示したようなＲ−Ｇ信号、Ｂ−Ｇ信号だけでは当該２つの異なる色の隣接部分（エッジ部分）においては、考慮すべきでない画素（異なる色の部分の画素）を平滑化のために加算対象としてしまう場合があり、色の滲みや抜けを生じさせてしまう場合があると考えられる。
【０１１０】
そこで、色差ノイズ低減処理部６３５２においては、εフィルタをかける際に、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色差信号の平均化処理の対象とするようにする。
【０１１１】
図９は、色差信号についてのεフィルタによる処理を説明するための図である。図７に示した色差ノイズ低減処理部６３５２においては、基本的に、図９（Ａ）に示すように、色差生成部６３２からの色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を処理対象とすればよい。しかし、上述したエッジ部分の色の滲みや抜けの問題を解消するために、図９（Ｂ）に示すように、色差信号と同じようにＧ信号についても、色差信号を処理する場合に対応し、注目画素と周辺画素とのレベル差分を取り、当該Ｇ信号のレベル差分が所定の閾値範囲内か否かをも、平均化のために用いる画素とするか否かの判断に用いる。
【０１１２】
したがって、図７において、点線の矢印で示したように、Ｇ補間部６３１から出力されるＧ信号をも色差ノイズ低減処理部６３５２に供給するようにし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であり、かつ、当該周辺画素と当該注目画素のＧ信号のレベル差分もノイズ閾値の範囲内である場合に、当該周辺画素の色差信号を注目画素の色差信号の平滑化のために用いるようにする。
【０１１３】
逆に言えば、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であっても、当該周辺画素と当該注目画素のＧ信号のレベル差分がノイズ閾値の範囲外である場合には、当該周辺画素の色差信号を注目画素の色差信号の平滑化のためには用いないようにする。
【０１１４】
このように、色差信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０１１５】
なお、Ｇ信号を考慮することなく、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号だけを用いて色ノイズの低減処理を行うようにした場合にも、色ノイズを十分に除去することができるので、より画質を重要視する製品においてはＧ信号を考慮するようにするなど、Ｇ信号を用いるものと用いないものとを切り分けするようにしてもよい。
【０１１６】
また、色差ノイズ低減処理部６３５２において、Ｇ信号を用いるか否かを、ユーザーが選択できるようにすることもできる。この場合には、キー操作部１２１を通じてＧ信号を用いるか否かの選択入力を受け付け、これに応じて、制御部１１０がカメラ信号処理部１０６のデモザイク処理部１０６３におけるノイズ低減処理部６３５における処理を制御するようにすればよい。
【０１１７】
なお、各色のノイズの大きさは異なるため、ノイズ閾値はＲ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれで異なる値を用いるようにする。ノイズの大きさはＷＢ調整部など前段にかかるゲインの大きさに比例するため、前段ゲインの大きさを考慮してノイズ閾値を制御することが有効である。また、Ｒ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれのノイズ閾値を複数、ＲＯＭ１１２などに用意しておき、キー操作部１２１を通じてユーザーが選択できるようにしてもよい。また、Ｒ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれのノイズ閾値を、キー操作部１２１を通じてユーザーが設定、変更できるようにすることも可能である。
【０１１８】
［ノイズ低減処理部６３５を設ける位置の重要性について］
図６を用いて説明したように、この例のノイズ低減処理部６３５は、Ｇ補間部６３１と色差生成部６３２との直後に配置している。このようにするのは、上述もしたように、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号が生成された直後であるため、色差信号に混入している色ノイズがデモザイク処理における補間処理による複雑なフィルタがかかっておらず、色ノイズを効果的に抑圧することができるためである。この点について、図１０、図１１を用いて説明する。
【０１１９】
図１０は、色差補間前の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。すなわち、図１０は、図６に示した位置に配置したノイズ低減処理部６３５により、色差信号から色ノイズ成分を除去する場合の概要を説明するための図であり、絵柄の変化がない平坦な部分にノイズが乗った信号の例を示している。
【０１２０】
図１０において、上端に記載されたＲ、Ｇ、Ｒ、Ｇ、Ｒの文字は、Ｒ信号が存在する画素の位置とＧ信号が存在する画素の位置とを示している。したがって、Ｒ信号が存在する画素に対しては、Ｒ−Ｇ信号が形成されることになる。そして、上述もしたように、εフィルタを用いて色ノイズの除去を行う場合、注目画素Ｔを基準とし、その周辺の同色の色差信号とのレベル差分が、予め決められる閾値範囲内にあれば、その周辺画素は注目画素Ｔの平滑化のための処理に用いられる。
【０１２１】
したがって、図１０に示すように、注目画素Ｔの信号レベルを基準とし、当該注目画素Ｔの近隣画素とのレベル差分が閾値範囲内にあるＲ−Ｇ信号の画素である画素Ｒ１、画素Ｒ２は、注目画素Ｔの平滑化のための処理に用いられる画素である。したがって、これら画素Ｒ１、画素Ｒ２を用いて、注目画素Ｔを平滑化すると、注目画素Ｔは、比較的に信号レベルの高いレベルｈに位置していたものが、ノイズ低減後の注目画素Ｔ１に示すように、注目画素Ｔに含まれる色ノイズ成分を大幅に低減させことができる。
【０１２２】
これに対して、図１１は、色差補間後の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。すなわち、図１１は、図３、図６に示した色差補間部６３３の後段において、色差信号から色ノイズ成分を除去する場合の概要を説明するための図である。
【０１２３】
図１１において、上端に記載されたＲ、Ｇ、Ｒ、Ｇ、Ｒの文字は、Ｒ信号が存在する画素の位置とＧ信号が存在する画素の位置とを示している。したがって、Ｒ信号が存在する画素に対しては、Ｒ−Ｇ信号が形成されることになる。そして、図３を用いて説明したように、色差補間部６３３では、近隣の同色の色差信号に基づいて、Ｇ信号が存在する画素に対しても、色差信号であるＲ−Ｇ信号を補間生成する。
【０１２４】
これにより、図１１において、画素Ｈ１、Ｈ２が示すように、色ノイズの低減処理を施す前に、Ｇ信号が存在する画素に対しても、色差信号としてのＲ−Ｇ信号が補間生成される。この後に、εフィルタを用いたノイズ低減処理を行うようにすると、既に補間生成されている画素Ｈ１、Ｈ２についても、注目画素Ｔとのレベル差分が閾値範囲内のものとなり、これらを用いてεフィルタによるノイズ低減処理を行うと、図１１に示すように、補間処理された画素Ｈ１、画素Ｈ２の影響を受けて、ノイズ低減の注目画素Ｔ１からは、多くのノイズ成分を除去することができなくなってしまう。
【０１２５】
そして、図１０、図１１を比較すると分かるように、ノイズ低減後（平滑化後）の注目画素Ｔ１と、注目画素Ｔの平滑化に用いられた周辺画素と、横軸とが囲む面積は、図１０方が小さいことが分かる。当該面積は、残存するノイズ成分の大まかな量と考えることができ、色差補間前の色差信号に対してεフィルタによるノイズ低減処理を行うようにしたほうが、より多くの色ノイズ成分を抑圧できることが分かる。
【０１２６】
なお、ここでは、色差信号としてＲ−Ｇ信号を用いる場合を例にして説明したが、色差信号としてＢ−Ｇ信号を用いる場合でも同様のことが言える。
【０１２７】
このため、図６に示したように、この実施の形態の撮像装置においては、図６に示したように、この実施の形態の撮像装置においては、ノイズ低減処理部６３５を、色差生成部６３２の直後に配置するようにしているのである。
【０１２８】
［デモザイク処理部１０６３の第２の構成例と処理の概要（ベイヤー配列の場合）］
図１２は、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例とその処理概要とを説明するためのブロック図である。図１２に示すように、この例のデモザイク処理部１０６３は、第１色差補間部６３６と第２色差補間部６３７とが設けられた点を除けば、図３に示したデモザイク処理部１０６３と同様に構成されたものである。
【０１２９】
このため、以下においては、説明を簡単にするため、図１２に示した第２のデモザイク処理部においては、図３に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。また、ここでも、撮像素子部１０２の固体撮像素子の色フィルタ（カラーフィルタ）の色コーディングがベイヤー配列である場合を例にして説明することは、図３に示した第１のデモザイク処理部１０６３の場合と同様である。
【０１３０】
そして、図１２に示すデモザイク処理部１０６３の場合には、図３に示したデモザイク処理部１０６３の色差補間部６３３の機能を２つに分け、第１色差補間部６３６と、第２色差補間部６３７とによって色差補間機能を実現している。すなわち、色差信号生成部６３２においては、図１２（３）に示すように、Ｒ信号を有する画素に対してはＲ−Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ−Ｇ信号を形成して出力する。
【０１３１】
このように、色差生成部６３２で生成された色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号は、第１色差補間部６３６に供給され、ここで図１２（４Ａ）、（４Ｂ）に示すように、Ｒ−Ｇ信号が生成された画素に対しても周囲のＢ−Ｇ信号に基づいてＢ−Ｇ信号を補間生成し、また、Ｂ−Ｇ信号が生成された画素に対しても周囲のＲ−Ｇ信号に基づいてＲ−Ｇ信号を補間生成する。
【０１３２】
そして、第２色差補間部６３７では、第１色差補間部６３６において補間生成された色差信号（図４の（４Ａ）、（４Ｂ））から、色差信号が存在しない画素に対して、色差信号の存在する周辺の画素からの補間処理により、色差信号であるＲ−Ｇ信号（図１２（５Ａ））またはＢ−Ｇ信号（図１２（５Ｂ））を補間生成する。この後のＧ足し戻し部６３４の処理は、図３を用い説明した通りである。
【０１３３】
このように、色差補間部が第１色差補間部６３６と第２色差補間部６３７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部を設けるようにする。
【０１３４】
［デモザイク処理部１０６３の構成例］
図１３は、図１２を用いて説明したように構成されるデモザイク処理部１０６３において、ノイズ低減処理部６３８を設けた場合を説明するためのブロック図である。図１３に示すように、この例のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部６３８を設けるようにしたものである。
【０１３５】
図１３に示すように、Ｇ補間処理部６３１の後段には回路ブロックはないので、図１３に示すデモザイク処理部１０６３においても、Ｇ信号に対する処理は、図６に示したデモザイク処理部の場合と同様である。しかし、色差信号に対するノイズ低減処理は、図１２（４Ａ）、（４Ｂ）に示した途中まで色差信号が補間された色差信号に対して施すことになる。
【０１３６】
図１３に示した場合のノイズ低減処理部６３８においては、図６に示したノイズ低減処理部６３５における処理と比べると、補間処理による複雑なフィルタが多少かかっている色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に対してノイズ低減処理を施すことになるが、同じ画素位置に、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とが２色とも存在しているので、図６に示したノイズ低減処理部６３５の場合よりも、絵柄のエッジを劣化させることなく、色ノイズを効果的に抑圧することができる。
【０１３７】
［ノイズ低減処理部６３８の構成例］
図１４は、図１３に示したデモザイク処理部１０６３のノイズ低減処理部６３８の構成例を説明するためのブロック図である。ノイズ低減処理部６３８の構成は、図７に示したノイズ低減処理部６３５の場合と同様に、Ｇノイズ低減処理部６３８１と、色差ノイズ低減処理部６３８２とからなっている。
【０１３８】
［Ｇノイズ低減処理部６３８１での処理の概要］
Ｇノイズ低減処理部６３８１では、図７に示したＧノイズ低減処理部６３５１と同じ形態のＧ信号を処理するので、図７に示したＧノイズ低減処理部６３５１と同じ処理を行う。すなわち、εフィルタを用いてＧ信号に対してノイズ低減処理を施したり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりすることになる。
【０１３９】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３８２においては、図７に示したノイズ低減処理部６３５の色差ノイズ低減処理部６３５２の場合と同様に、色差信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図７に示した色差ノイズ低減処理部６３５２とは、その処理の内容が若干異なる。
【０１４０】
すなわち、図１４に示すノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１４１】
同様に、Ｂ−Ｇ信号のノイズを抑圧したいときに，Ｂ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ−Ｇ信号と同じ位置のＲ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１４２】
これにより、図１４（３Ａ）、（３Ｂ）に示した色差信号からは、色ノイズが抑圧された色差信号（図１４（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０１４３】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図１４において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０１４４】
すなわち、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号とＧ信号とについて、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ−Ｇ信号のノイズを抑圧する際にも、Ｂ−Ｇ信号だけでなくＲ−Ｇ信号とＧ信号とを見てεフィルタをかけるようにする。
【０１４５】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。
【０１４６】
このように、この第２の例のデモザイク処理部１０６３で用いるノイズ低減処理部６３８は、一般的には、図１５（Ａ）、（Ｂ）に示すように、同じ画素位置に基づく色差信号Ｒ−Ｇ信号、Ｂ−Ｇ信号を相互の色ノイズの低減処理により考慮すると共に、さらに、図１５（Ｃ）に示すように、同じ画素位置に基づくＧ信号をも考慮することにより、Ｒ−Ｇ信号とＢ−Ｇ信号とのいずれの信号から色ノイズを低減される場合にも、結果として、Ｒ、Ｇ、Ｂの３原色の要素を考慮して、色差信号から色ノイズを高精度に抑圧することができるよういうにされる。
【０１４７】
［ノイズ低減処理部の変形例］
図１６は、ノイズ低減処理部６３８の他の構成例を説明するためのブロック図である。図１４に示したノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、精度よく色ノイズを抑圧するために、平滑化の対象とするか否かを判断する場合に、注目画素の色差信号とその周辺の画素の色差信号とのレベル差分を用いるだけでなく、注目画素のＧ信号とその周辺のＧ信号とのレベル差分をも考慮し、両レベル差分が所定の閾値範囲内にある場合に、その周辺画素を注目画素の平滑化のための平均化処理に用いるようにした。
【０１４８】
しかし、Ｇ信号を用いた場合には、例えば黒色の部分と赤色の部分とが隣接することにより生じるエッジをエッジとして判断できない場合がある。つまり、Ｇ信号は、輝度成分が多いといっても純粋な輝度信号ではなく、黒と赤とを表現しようとすれば、Ｇ信号は同じように含まれることになり、Ｇ信号だけではエッジと判断できないのである。
【０１４９】
そこで、図１６に示す色差ノイズ低減処理部６３８の他の例においては、Ｇ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを形成し、Ｙ信号をも考慮して、色差信号Ｃｂ、Ｃｒについてノイズ低減処理を施した後に、輝度信号Ｙと色差信号Ｃｂ、Ｃｒを元のＧ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に戻すようにしている。
【０１５０】
すなわち、図１６に示すように、この例のノイズ低減処理部６３８は、Ｇ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を、輝度信号Ｙと色差信号Ｃｂ、Ｃｒとに変換するいわゆるＹ／Ｃ変換を行うＹ／Ｃ変換部６３８３と、輝度信号Ｙのノイズ低減処理を行う輝度ノイズ低減処理部６３８４と、色差信号Ｃｂ、Ｃｒのノイズ低減処理を行う色差ノイズ低減処理部６３８５と、ノイズ低減処理された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを、元のＧ信号、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に逆変換する逆Ｙ／Ｃ変換部６３８６とを備えたものである。
【０１５１】
そして、Ｇ補間部６３１からのＧ信号（図１６（１））と、色差生成部６３２からの色差信号であるＲ−Ｇ信号（図１６（４Ａ））、Ｂ−Ｇ信号（図１６（４Ｂ））とが、Ｙ／Ｃ変換部６３８３に供給され、ここで、輝度信号Ｙ（図１６（２））、色差信号Ｃｂ（図１６（５Ａ））、色差信号Ｃｒ（図１６（５Ｂ））に変換される。そして、輝度信号Ｙは、輝ノイズ低減処理部６３８４に供給され、色差信号Ｃｂ、Ｃｒは、色差ノイズ低減処理部６３８５に供給される。
【０１５２】
輝度ノイズ低減処理部６３８４は、これに供給された輝度信号Ｙに対してノイズの低減処理を施す。ここでも、εフィルタを用いてノイズ低減処理を行ったり、Ｙ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行ったりする。輝度ノイズ低減処理部６３８４でノイズの低減処理が施された輝度信号Ｙは、逆Ｙ／Ｃ変換部６３８６に供給される。
【０１５３】
色差ノイズ低減処理部６３８５においては、色差信号Ｃｂのノイズを抑圧したいときに、色差信号Ｃｂと同じ画素位置の色差信号Ｃｒと輝度信号Ｙの周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、色差信号Ｃｂの周辺画素を平均化処理の対象とする。同様に、色差信号Ｃｒのノイズを抑圧する際にも、色差信号Ｃｒだけでなく色差信号Ｃｂと輝度信号Ｙを見てεフィルタをかけるようにする。色差ノイズ低減処理部６３８５において低減処理された色差信号Ｃｂ、Ｃｒは、逆Ｙ／Ｃ変換部６３８６に供給される。
【０１５４】
そして、逆Ｙ／Ｃ変換部６３８６においては、これに供給されたノイズ低減処理が施された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号が復元されて出力するようにされる。
【０１５５】
なお、Ｙ／Ｃ変換部６３８３における変換処理は、処理対象がＳＤ（Standard Definition）画像信号とＨＤ（High Definition）画像信号とでは異なる。図１７は、画像信号に応じたＹ／Ｃ変換処理のための計算式を示す図である。すなわち、処理対象がＳＤ画像信号の場合、図１７の（１）、（２）、（３）に示した計算式に基づいて、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換する。また、処理対象がＨＤ画像信号の場合、図１７の（４）、（５）、（６）に示した計算式に基づいて、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換する。
【０１５６】
そして、図１６に示した構成のノイズ低減処理部６８３を用いた場合には、上述もしたように、色差ノイズ低減処理部６３８５におけるεフィルタによる色差ノイズの抑圧処理において、輝度信号Ｙの周辺画素と注目画素のレベル差分が見られるのでＧ信号を用いた場合に比べて、絵柄のエッジを保持しながらノイズ低減を行うようにすることができる。また、最終的に色を表す色差信号Ｃｂ、Ｃｒに対してノイズ抑圧処理を施すことができるので、色ノイズの効果的な抑圧を実現することができる。
【０１５７】
しかも、図１６に示した構成のノイズ低減処理部６８３は、上述もしたように、デモザイク処理部１０６３の内部に構成されるものであり、撮像装置の構成に大きな変更を生じさせたり、撮像装置の制御部１３０に大きな負荷を負わせたりすることもない。
【０１５８】
また、図１６に示した構成のノイズ低減処理部６８３では、輝度信号Ｙについても輝度ノイズ低減処理部６３８４において、ノイズ低減処理を施すようにしたが、輝度信号Ｙのノイズ低減処理は必須の要件ではなく、最終的にＹ／Ｃ変換を行った後に、ノイズ低減処理を施すようにしてもよい。
【０１５９】
なお、図７を用いて説明したデモザイク処理部６３５、図１４を用いて説明したデモザイク処理部６３８の構成からも分かるように、この発明においては、色ノイズ低減処理を行う位置が重要である。すなわち、少なくとも、色差補間処理が完全に終了するよりも前の段階、すなわち、図７を用いて説明したように、色差生成直後の位置、あるいは、図１４を用いて説明したように、Ｒ信号を有する画素とＢ信号を有する画素のそれぞれに対して、Ｒ−Ｇ信号とＢ−Ｇ信号とを補間処理した直後の位置において、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号からノイズを除去する処理を行うことによって、効果的に色ノイズを低減させることができる。
【０１６０】
また、上述した実施の形態においては、ノイズ低減処理にεフィルタを用いるようにした場合を例にして説明したが、これに限るものではない。例えば、ウェーブレット変換を用いたノイズ低減処理や、バイラテラルフィルタを用いたノイズ低減処理でも効果的に色ノイズの抑圧が可能である。
【０１６１】
［第２の実施の形態］
［色フィルタがクリアビッド配列の場合について］
上述した実施の形態においては、図１に示した構成の撮像装置１００において、撮像素子部１０２の固体撮像素子の色フィルタの色コーディングがベイヤー配列である場合を例にして説明した。しかし、これに限るものではない。例えば、クリアビッド（Clearvid）配列など他のコーディングの個体撮像素子を用いた場合であっても、この発明は適用可能である。
【０１６２】
図１８は、色フィルタの色コーディングについて説明するための図である。上述もし、また、図１８Ａに示すように、ベイヤー配列は、水平方向にＢＧＢＧ…のように、ＢとＧとが交互に並べられたラインと、水平方向にＧＲＧＲ…のように、ＧとＲとが交互に並べられたラインとが、垂直方向に交互に配置にされたものであり、Ｇ：Ｂ：Ｒの比率が２：１：１とされたものである。
【０１６３】
これに対して、クリアビッド配列は、図１８Ｂに示すように、ベイヤー配列の場合に比べて、１画素の面積を拡大して高感度特性を向上させると共に、画素の配列を４５度回転させるようにすることにより、ハイビジョンに必要な高解像度を実現するようにしたものであり、Ｇ：Ｂ：Ｒの比率が、例えば、６：１：１とされたものである。このようなクリアビッド配列の色フィルタを備えた固体撮像素子を通じて取り込んだ画像データを処理する場合にも、この発明を適用することができる。
【０１６４】
以下に説明する第２の実施の形態においては、図１８Ｂに示したように構成されるクリアビット配列の色フィルタが用いられた固体撮像素子を有する撮像装置のデモザイク処理部にこの発明を適用したものである。すなわち、この第２の実施の形態においても、図１、図２を用いて説明したように構成される撮像装置にこの発明が適用された場合として説明するが、撮像素子部１０２において用いられる固体撮像素子が、クリアビット配列の色フィルタが用いられたものである。
【０１６５】
［デモザイク処理部１０６３の第１の構成例と処理概要（クリアビッド配列の場合）］
図１９は、図１に示した撮像装置１００の撮像素子部１０２で用いられている固体撮像素子が、クリアビット配列の色フィルタを用いている場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。すなわち、図１９は、クリアビット配列の画像信号を処理対象とする、この第２の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【０１６６】
図１９と、図３とを比較すると分かるように、図１９に示すデモザイク処理部１０６３は、図３に示した場合と同様に構成されるものであり、Ｇ補間部６３１、色差生成部６３２、色差補間部６３３、Ｇ足し戻し部６３４とを備えたものである。そして、図１９において点線で囲んで示した位置Ａに、すなわち、Ｇ補間部６３１、及び色差生成部６３２の直後に、ノイズ低減処理部６３５を配置するようにしたものである。
【０１６７】
そして、図１９に示すように、入力される画像データがクリアビッド配列の画像データであるために、それぞれの処理部において、処理の対象となる信号の形式が図３のデモザイク処理部１０６３で処理の対象となったものと若干異なってくる。すなわち、デモザイク処理部１０６３のＧ補間部６３１と色差生成部６３２には、図１９（１）に示すように、クリアビット配列の画像データが供給される。
【０１６８】
そして、Ｇ補間部６３１においては、図１９（１）に示した配列の画像データのＧ信号に基づいて、図１９（２）に示すように、画像を構成する各画素のＧ信号を補間生成して出力する。また、色差生成部６３２においては、図１９（１）に示した配列の画像データから、図１９（３）に示すように、Ｒ信号を有する画素に色差信号であるＲ−Ｇ信号を生成し、Ｂ信号を有する画素に色差信号であるＢ−Ｇ信号を生成する。
【０１６９】
そして、Ｇ補間部６３１からのＧ信号と、色差生成部６３２からのＲ−Ｇ信号、Ｂ−Ｇ信号とは、後述するように、図１９の位置Ａに配置されるノイズ低減処理部６３５においてノイズ低減処理される。この後、ノイズ低減処理されたＲ−Ｇ信号、Ｂ−Ｇ信号は、色差補間処理部６３３に供給される。
【０１７０】
色差補間処理部６３３は、これに供給される図１９（３）に示した色差信号に基づいて、画像を構成する画素毎にＲ−Ｇ信号（図１９（４Ａ））、Ｂ−Ｇ信号（図１９（４Ｂ））を生成して、これをＧ足し戻し部６３４に供給する。Ｇ足し戻し部６３４は、色差補間部６３３からのＲ−Ｇ信号（図１９（４Ａ））、Ｂ−Ｇ信号（図１９（４Ｂ））に対して、後述するノイズ低減処理部６３５からのＧ信号が足し戻しする処理を行い、画像を構成する画素毎に、Ｒ信号、Ｂ信号を形成して出力する。これにより、図１９に示すデモザイク処理部１０６３からは、画像を形成する画素毎に形成されたＧ信号（図１９（２））、Ｒ信号（図１９（５Ａ））、Ｂ信号（図１９（５Ｂ））が出力される。
【０１７１】
［ノイズ低減処理部６３５の構成例］
図２０は、図１９に示した位置Ａに配置されるノイズ低減処理部６３５の構成例を説明するためのブロック図である。図２０に示すように、この例のノイズ低減処理部６３５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３５１と、色差信号に混入しているノイズを低減させる色差ノイズ低減処理部６３５２とを備えたものである。すなわち、この図２０に示したノイズ低減処理部６３５は、図７に示したノイズ低減処理部６３５と同様に構成されるものであるが、色差ノイズ低減処理部６３５２で処理される信号の形式が異なっている。
【０１７２】
［Ｇノイズ低減処理部６３５１での処理の概要］
Ｇノイズ低減処理部６３５１には、Ｇ補間部６３１において補間生成された画像を構成する画素毎のＧ信号（図２０（１））が順次に供給される。そして、Ｇノイズ低減処理部６３５１においては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図２０（２））を出力する。
【０１７３】
また、Ｇノイズ低減処理部６３５１におけるノイズ低減処理の他の方法として、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０１７４】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。
【０１７５】
なお、この例の場合にも、Ｇ信号については、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図７に示したノイズ低減処理部６３５１は、ノイズ低減処理部６３５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３５２があればよい。
【０１７６】
［色差ノイズ低減処理部６３５２での処理の概要］
色差ノイズ低減処理部６３５２には、色差生成部６３２において生成された色差信号（図２０（３））が供給される。すなわち、色差生成部６３２においては、図２０（３）に示したように、Ｒ信号が存在する画素に対してはＲ−Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ−Ｇ信号が生成されて、これがノイズ低減処理部６３５の色差ノイズ低減処理部６３５２に供給される。そして、色差ノイズ低減処理部６３５２においては、同色同士で上述したεフィルタを用いて、Ｒ−Ｇ信号、Ｂ−Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０１７７】
しかし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。
【０１７８】
そこで、色差ノイズ低減処理部６３５２においては、εフィルタをかける際に、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色差信号の平均化処理の対象とするようにする。
【０１７９】
このように、色差信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０１８０】
［デモザイク処理部１０６３の第２の構成例と処理の概要（クリヤビッド配列の場合）］
図２１は、図１に示した撮像装置１００の撮像素子部１０２で用いられている固体撮像素子が、クリアビット配列の色フィルタを用いている場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。すなわち、図２１は、第２の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【０１８１】
図２１に示すように、この例のデモザイク処理部１０６３は、第１色差補間部６３６と第２色差補間部６３７とが設けられ、これらの間の位置Ｂにノイズ低減処理部６３８が設けられるようにされた点を除けば、図１９に示したデモザイク処理部１０６３と同様に構成されたものである。ここでは、説明を簡単にするため、図２１に示した第２のデモザイク処理部においては、図１９に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
【０１８２】
そして、図２１に示すデモザイク処理部１０６３の場合には、図１９に示したデモザイク処理部１０６３の色差補間部６３３の機能を２つに分け、第１色差補間部６３６と、第２色差補間部６３７とによって色差補間機能を実現している。すなわち、色差信号生成部６３２においては、図２１（３）に示すように、Ｒ信号を有する画素に対してはＲ−Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ−Ｇ信号を形成して出力する。
【０１８３】
このように、色差生成部６３２で生成された色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号は、第１色差補間部６３６に供給され、ここで図２１（４Ａ）、（４Ｂ）に示すように、Ｒ−Ｇ信号が生成された画素に対しても周囲のＢ−Ｇ信号に基づいてＢ−Ｇ信号を補間生成し、また、Ｂ−Ｇ信号が生成された画素に対しても周囲のＲ−Ｇ信号に基づいてＲ−Ｇ信号を補間生成する。
【０１８４】
そして、第２色差補間部６３７では、第１色差補間部６３６において補間生成された色差信号（図２１（４Ａ）、（４Ｂ））から、色差信号が存在しない画素に対して、色差信号の存在する周辺の画素からの補間処理により、色差信号であるＲ−Ｇ信号（図２１（５Ａ））、Ｂ−Ｇ信号（図１２の（５Ｂ））を補間生成する。この後のＧ足し戻し部６３４の処理は、図１９を用い説明した通りである。
【０１８５】
このように、色差補間部が第１色差補間部６３６と第２色差補間部６３７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部６３８を設けるようにしている。
【０１８６】
［ノイズ低減処理部６３８の構成例］
図２２は、図２１に示した位置Ｂに設けられるノイズ低減処理部６３８の構成例を説明するためのブロック図である。ノイズ低減処理部６３８の構成は、図２０に示したノイズ低減処理部６３５の場合と同様に、Ｇノイズ低減処理部６３８１と、色差ノイズ低減処理部６３８２とからなっている。
【０１８７】
［Ｇノイズ低減処理部６３８１での処理の概要］
Ｇノイズ低減処理部６３８１では、図２０に示したＧノイズ低減処理部６３５１と同じＧ信号を処理するので、図２０に示したＧノイズ低減処理部６３５１と同じ処理を行う。すなわち、εフィルタを用いたり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりすることになる。
【０１８８】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３８２においては、図２０に示したノイズ低減処理部６３５の色差ノイズ低減処理部６３５２の場合と同様に、色差信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図２０に示した色差ノイズ低減処理部６３５２とは、その処理の内容が若干異なる。
【０１８９】
すなわち、図２２に示すノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１９０】
同様に、Ｂ−Ｇ信号のノイズを抑圧したいときに，Ｂ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ−Ｇ信号と同じ位置のＲ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１９１】
これにより、図２２（３Ａ）、（３Ｂ）に示した色差信号からは、色ノイズが抑圧された色差信号（図２２（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０１９２】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図２２において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０１９３】
すなわち、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号とＧ信号とについて、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ−Ｇ信号のノイズを抑圧する際にも、Ｂ−Ｇ信号だけでなくＲ−Ｇ信号とＧ信号を見てεフィルタをかけるようにする。
【０１９４】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。
【０１９５】
［カメラ信号処理部の他の構成例について］
上述した実施の形態の撮像装置１００のカメラ信号処理部１０６は、図２に示したように構成され、当該カメラ信号処理部１０６のデモザイク処理部１０６３において、色ノイズの低減処理を行うようにした。しかし、ノイズ低減処理は、デモザイク処理部１０６３だけでなく、デモザイク処理部１０６３において行う色ノイズの低減処理に加えて、当該デモザイク処理部１０６３の前段において、別のノイズ低減処理を行うようにしてもよい。
【０１９６】
図２３は、カメラ信号処理部１０６の他の例を説明するためのブロック図である。図２３において、図２に示したカメラ信号処理部１０６と同様に構成される部分には同じ参照符号を付し、その部分の説明については省略する。そして、図２３に示すようにデモザイク処理中のノイズ低減処理に加え、例えばノイズ低減処理部１０６８が示すように、デモザイク処理前の適宜の位置にノイズ低減処理を入れて、デモザイク処理部１０６３における色ノイズ低減処理と組み合わせて使用するようにしても良い。このとき、Ｇ信号はデモザイク処理部１０６３で相関を考慮したフィルタ処理が行われて絵柄成分とノイズ成分の区別が難しくなるので、その前のＲａｗ状態でＧ信号のみノイズ低減処理部１０６８でノイズ低減を行い、Ｒ信号、Ｂ信号には何も処理をしないようにしたり、Ｒ信号、Ｂ信号は弱めにノイズ低減を施すようにしたりするなどのことも可能である。
【０１９７】
［第３の実施の形態］
［色比信号の利用について］
上述した実施の形態においては、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に対してノイズ低減処理を施すことにより、色ノイズを抑制するようにしたが、色比信号を用いるようにした場合にも、色差信号を用いた場合と同様に処理可能である。以下に説明する第３の実施の形態においては、色差信号に代えて色比信号を用いるようにするものである。そして、この第３の実施の形態においても、図１、図２を用いて説明したように構成される撮像装置にこの発明が適用された場合として説明する。
【０１９８】
［デモザイク処理部１０６３の第１の構成例と処理概要（色比信号を用いる場合）］
図２４は、色差信号に代えて色比信号を用いるようにした場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。すなわち、図２４は、第３の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。なお、この第３の実施の形態においては、ベイヤー配列の画像データを処理する場合を例にして説明する。
【０１９９】
図２４に示すデモザイク処理部１０６３は、Ｇ補間処理部６３０１、色比生成部６３０２、色比補間部６３０３、Ｇ掛け戻し部６３０４とを備えたものである。そして、図２４において点線で囲んで示した位置Ａに、すなわち、Ｇ補間部６３１、及び色差生成部６３２の直後に、ノイズ低減処理部６３０５を配置するようにしたものである。
【０２００】
そして、この例のデモザイク処理部１０６３のＧ補間部６３０１と色比生成部６３０２には、図２４（１）に示すように、ベイヤー配列の画像データが供給される。そして、Ｇ補間部６３０１においては、図２４（１）に示した配列の画像データのＧ信号に基づいて、図２４（２）に示すように、画像を構成する各画素のＧ信号を補間生成して出力する。
【０２０１】
また、色比生成部６３０２においては、図２４（１）に示した配列の画像データから、図２４（３）に示すように、Ｒ信号を有する画素にＲ信号とＧ信号との比（色比信号）として表現されるＲ／Ｇ信号を生成し、Ｂ信号を有する画素にＢ信号とＧ信号との比（色比信号）として表現されるＢ／Ｇ信号を生成する。
【０２０２】
そして、Ｇ補間部６３０１からのＧ信号と、色比生成部６３０２からのＲ／Ｇ信号、Ｂ／Ｇ信号とは、後述するように、図２４の位置Ａに配置されるノイズ低減処理部６３０５においてノイズ低減処理される。この後、ノイズ低減処理されたＲ／Ｇ信号、Ｂ／Ｇ信号は、色比補間処理部６３０３に供給される。
【０２０３】
色比補間処理部６３０３は、これに供給される図２４（３）に示した色比信号に基づいて、画像を構成する画素毎にＲ／Ｇ信号（図２４（４Ａ））、Ｂ／Ｇ信号（図２４（４Ｂ））を生成して、これをＧ掛け戻し部６３０４に供給する。Ｇ掛け戻し部６３０４は、色比補間部６３０３からのＲ／Ｇ信号（図２４（４Ａ））、Ｂ／Ｇ信号（図２４（４Ｂ））に対して、後述するノイズ低減処理部６３０５からのＧ信号が掛け戻され、画像を構成する画素毎に、Ｒ信号、Ｂ信号が形成されて出力される。これにより、図２４に示すデモザイク処理部１０６３からは、画像を構成する画素毎に形成されたＧ信号（図２４（２））、Ｒ信号（図２４（５Ａ））、Ｂ信号（図２４（５Ｂ））が出力される。
【０２０４】
［ノイズ低減処理部６３５の構成例］
図２５は、図２４に示した位置Ａに配置されるノイズ低減処理部６３０５の構成例を説明するためのブロック図である。図２５に示すように、この例のノイズ低減処理部６３０５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３０５Ａと、色比信号に混入しているノイズを低減させる色比ノイズ低減処理部６３０５Ｂとを備えたものである。
【０２０５】
［Ｇノイズ低減処理部６３０５Ａでの処理の概要］
Ｇノイズ低減処理部６３０５Ａには、Ｇ補間部６３０１において補間生成された画像を構成する画素毎のＧ信号（図２５（１））が順次に供給される。そして、Ｇノイズ低減処理部６３０５Ａにおいては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図２５（２））を出力する。
【０２０６】
また、Ｇノイズ低減処理部６３０５Ａにおけるノイズ低減処理の他の方法として、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０２０７】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。
【０２０８】
なお、この例の場合にも、Ｇ信号については、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図２５に示したＧノイズ低減処理部６３０５Ａは、ノイズ低減処理部６３０５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３０５Ｂがあればよい。
【０２０９】
［色比ノイズ低減処理部６３０５Ｂでの処理の概要］
色比ノイズ低減処理部６３０５Ｂには、色比生成部６３０２において生成された色比信号（図２５（３））が供給される。すなわち、色比生成部６３０２においては、図２５（３）に示したように、Ｒ信号が存在する画素に対してはＲ／Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ／Ｇ信号が生成されて、これがノイズ低減処理部６３０５の色比ノイズ低減処理部６３０５Ｂに供給される。そして、色比ノイズ低減処理部６３０５Ｂにおいては、同色同士で上述したεフィルタを用いて、Ｒ／Ｇ信号、Ｂ／Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０２１０】
しかし、色比信号であるＲ／Ｇ信号、Ｂ／Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。
【０２１１】
そこで、色差ノイズ低減処理部６３０５Ｂにおいては、εフィルタをかける際に、色差信号であるＲ／Ｇ信号、Ｂ／Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色比信号の平均化処理の対象とするようにする。
【０２１２】
このように、色比信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０２１３】
［デモザイク処理部１０６３の第２の構成例と処理概要（色比信号を用いる場合）］
図２６は、色差信号に代えて色比信号を用いるようにした場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例と処理の概要とを説明するためのブロック図である。すなわち、図２６は、第３の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。この場合にも、ベイヤー配列の画像データを処理する場合を例にして説明する。
【０２１４】
図２６に示すように、この例のデモザイク処理部１０６３は、第１色比補間部６３０６と第２色比補間部６３０７とが設けられ、これらの間の位置Ｂにノイズ低減処理部６３０８が設けられるようにされた点を除けば、図２４に示したデモザイク処理部１０６３と同様に構成されたものである。ここでは、説明を簡単にするため、図２６に示した第２のデモザイク処理部において、図２４に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
【０２１５】
そして、図２６に示すデモザイク処理部１０６３の場合には、図２４に示したデモザイク処理部１０６３の色比補間部６３０３の機能を２つに分け、第１色比補間部６３０６と、第２色比補間部６３０７とによって色比補間機能を実現している。すなわち、色比信号生成部６３０２においては、図２６（３）に示すように、Ｒ信号を有する画素に対してはＲ／Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ／Ｇ信号を形成して出力する。
【０２１６】
このように、色比生成部６３０２で生成された色比信号であるＲ／Ｇ信号、Ｂ／Ｇ信号は、第１色比補間部６３０６に供給され、ここで図２６（４Ａ）、（４Ｂ）に示すように、Ｒ／Ｇ信号が生成された画素に対しても周囲のＢ／Ｇ信号に基づいてＢ／Ｇ信号を補間生成し、また、Ｂ／Ｇ信号が生成された画素に対しても周囲のＲ／Ｇ信号に基づいてＲ／Ｇ信号を補間生成する。
【０２１７】
そして、第２色比補間部６３０７では、第１色比補間部６３０６において補間生成された色比信号（図２６（４Ａ）、（４Ｂ））から、色比信号が存在しない画素に対して、色比信号の存在する周辺の画素からの補間処理により、色比信号であるＲ／Ｇ信号（図２６（５Ａ））、Ｂ／Ｇ信号（図２６（５Ｂ））を補間生成する。この後のＧ掛け戻し部６３０４の処理は、図２４を用い説明した通りである。
【０２１８】
このように、色比補間部が第１色比補間部６３０６と第２色比補間部６３０７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色比補間部６３０６と第２色比補間部６３０７との間にノイズ低減処理部６３０８を設けるようにしている。
【０２１９】
［ノイズ低減処理部６３０８の構成例］
図２７は、図２６に示した位置Ｂに設けられるノイズ低減処理部６３０８の構成例を説明するためのブロック図である。ノイズ低減処理部６３０８の構成は、図２５に示したノイズ低減処理部６３０５の場合と同様に、Ｇノイズ低減処理部６３０８Ａと、色差ノイズ低減処理部６３０８Ｂとからなっている。
【０２２０】
［Ｇノイズ低減処理部６３０８Ａでの処理の概要］
Ｇノイズ低減処理部６３０８Ａでは、図２５に示したＧノイズ低減処理部６３０５Ａと同じＧ信号を処理するので、図２５に示したＧノイズ低減処理部６３０５Ａと同じ処理を行う。すなわち、εフィルタを用いノイズ低減処理を行うようにしたり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりする。
【０２２１】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３０８Ｂにおいては、図２５に示したノイズ低減処理部６３０５の色比ノイズ低減処理部６３０５Ｂの場合と同様に、色比信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図２５に示した色比ノイズ低減処理部６３０５Ｂとは、その処理の内容が若干異なる。
【０２２２】
すなわち、図２７に示すノイズ低減処理部６３０８の色差ノイズ低減処理部６３０８Ｂにおいては、Ｒ／Ｇ信号のノイズを抑圧したいときに、Ｒ／Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ／Ｇ信号と同じ位置のＢ／Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ／Ｇ信号の周辺画素を平均化処理の対象とする。
【０２２３】
同様に、Ｂ／Ｇ信号のノイズを抑圧したいときに，Ｂ／Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ／Ｇ信号と同じ位置のＲ／Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ／Ｇ信号の周辺画素を平均化処理の対象とする。
【０２２４】
これにより、図２７（３Ａ）、（３Ｂ）に示した色比信号からは、色ノイズが抑圧された色比信号（図２７（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０２２５】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図２７において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０２２６】
すなわち、Ｒ／Ｇ信号のノイズを抑圧したいときに、Ｒ／Ｇ信号と同じ位置のＢ／Ｇ信号とＧ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ／Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ／Ｇ信号のノイズを抑圧する際にも、Ｂ／Ｇ信号だけでなくＲ／Ｇ信号とＧ信号を見てεフィルタをかけるようにする。
【０２２７】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。また、第３の実施の形態では、ベイヤー配列の画像データを処理する場合を例にして説明したが、これに限るものではない。クリアビッド配列の画像データを処理する場合にも、上述した第３の実施の形態の場合と同様にして色比信号を用いるようにすることもできる。
【０２２８】
［デモザイク処理部における処理のまとめ］
上述した第１〜第３の実施の形態の説明から分かるように、この出願の発明は、デモザイク処理部１０６３において、色ノイズを効果的に低減させることができるようにするもので、その方法は、大きく分けて２通りある。第１の方法は、図６、図１９、図２４を用いて説明したように、色関連信号としての色差信号や色比信号の生成直後の位置で、これら色差信号や色比信号から色ノイズの低減を図るようにするものである。
【０２２９】
第２の方法は、図１３、図２１、図２６を用いて説明したように、生成された色関連信号としての色差信号や色比信号から、画像を構成する画素毎に色差信号や色比信号を補間生成する場合に、当該補間生成を、色差信号、色比信号が生成された画素に対して、別の色の色差信号、色比信号を補間生成する第１補間処理と、第１補間処理の後、画像を構成する画素毎に色差信号、色比信号を補間生成する第２補間処理とを設け、第１補間処理後の色差信号や色比信号から色ノイズの低減を図るようにするものである。
【０２３０】
以下においては、これら第１の方法を用いたデモザイク処理と第２の方法を用いたデモザイク処理とのそれぞれについて、フローチャートを参照しながらその処理内容についてまとめる。
【０２３１】
［第１の方法が適用されたデモザイク処理について］
図２８は、上述した第１の方法が適用されたデモザイク処理について説明するためのフローチャートである。この図２８に示すフローチャートの処理は、図６、図１９、図２４に示したデモザイク処理部において用いられる方法である。なお、上述もしたように、色ノイズを低減させる信号は、色差信号の場合と、色比信号の場合とがあるが、以下においては、主に色差信号を用いる場合について説明するが、色比信号を用いる場合にも同様に処理することができる。
【０２３２】
デモザイク処理を行う場合、まず、Ｒａｗデータの形式の入力画像データから、色関連信号としての色差信号（色比信号）を生成する（ステップＳ１０１）。そして、生成された色差信号（色比信号）に対して、例えば、εフィルタなどの所定の方式を用いて、色ノイズを低減させるための処理を施す（ステップＳ１０２）。
【０２３３】
この後、色ノイズの低減処理が施された色差信号（色比信号）を用いて補間処理を行うことにより、画像を構成する画素毎に色差信号（色比信号）を補間生成する（ステップＳ１０３）。そして、ステップＳ１０３において、画像を構成する画素毎に補間生成された色差信号（色比信号）に対して、同じ画素位置のＧ信号を考慮して、Ｒ信号、Ｂ信号を生成する（ステップＳ１０４）。
【０２３４】
すなわち、ステップＳ１０４の処理は、処理対象が色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）である場合には、Ｇ信号を足し戻す処理であり、処理対象が色比信号（Ｒ／Ｇ信号、Ｂ／Ｇ信号）である場合には、Ｇ信号を掛け戻す処理である。そして、画像を構成する画素毎に形成された三原色信号であるＲ信号、Ｇ信号、Ｂ信号を出力することにより（ステップＳ１０５）、一連のデモザイク処理が行われる。
【０２３５】
なお、図２８には明記しなかったが、ステップＳ１０１の処理において、Ｇ信号の補間生成を行い、画像を構成する画素毎にＧ信号が生成される。このＧ信号に対しては、上述もしたように、ノイズ低減処理を施してもよいし、施さなくてもよい。
【０２３６】
このように、色関連信号としての色差信号や色比信号を生成した直後に、色差信号や色比信号に対して色ノイズの低減処理を行うようにした場合には、色差信号や色比信号の補間処理が行われる前であるので、補間処理の影響を受けることなく、適切に色ノイズの低減処理を行うようにすることができる。
【０２３７】
また、図２８にしたがったプログラムを作成し、これをＣＰＵにおいて実行されることにより、この発明に係るデモザイク処理部の機能をＣＰＵにおいて実現することもできる。すなわち、この発明に係るデモザイク処理はソフトウェアによっても実現することができる。
【０２３８】
［第２の方法が適用されたデモザイク処理について］
図２９は、上述した第２の方法が適用されたデモザイク処理について説明するためのフローチャートである。この図２９に示すフローチャートの処理は、図１３、図２１、図２６に示したデモザイク処理部において用いられる方法である。なお、この第２の方法の場合においても、主に色差信号を用いる場合について説明するが、色比信号を用いる場合にも同様に処理することができる。
【０２３９】
デモザイク処理を行う場合、まず、Ｒａｗデータの形式の入力画像データから、色関連信号としての色差信号（色比信号）を生成する（ステップＳ２０１）。そして、生成された式信号（色比信号）に基づいて、当該色差信号（色比信号）が生成された画素に、異なる色の色差信号（色比信号）を補間生成する（ステップＳ２０２）。
【０２４０】
すなわち、ステップＳ２０１の処理により、Ｒ信号の存在する画素にはＲ−Ｇ信号（Ｒ／Ｇ信号）が生成され、Ｂ信号の存在する画素にはＢ−Ｇ信号（Ｂ／Ｇ信号）が生成されている。そこで、ステップＳ２０２の処理においては、Ｒ−Ｇ信号（Ｒ／Ｇ信号）が生成されている画素に対して、Ｂ−Ｇ信号（Ｂ／Ｇ信号）を生成し、Ｂ−Ｇ信号（Ｂ／Ｇ信号）が生成されている画素に対して、Ｒ−Ｇ信号（Ｒ／Ｇ信号）を生成する処理であり、色差信号（色比信号）についての第１補間処理に相当する。
【０２４１】
そして、ステップＳ２０２において、第１補間処理された色差信号（色比信号）に対して、例えば、εフィルタなどの所定の方式を用いて、色ノイズを低減させるための処理を施す（ステップＳ２０３）。
【０２４２】
この後、色ノイズの低減処理が施された色差信号（色比信号）を用いて補間処理を行うことにより、画像を構成する画素毎に色差信号（色比信号）を補間生成する（ステップＳ２０４）。このステップＳ２０４の色差信号（色比信号）の補間生成処理は、第２補間処理に相当する。
【０２４３】
そして、ステップＳ２０４において、画像を構成する画素毎に補間生成された色差信号（色比信号）に対して、同じ画素位置のＧ信号を考慮して、Ｒ信号、Ｂ信号を生成する（ステップＳ２０５）。すなわち、ステップＳ２０５の処理は、処理対象が色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）である場合には、Ｇ信号を足し戻す処理であり、処理対象が色比信号（Ｒ／Ｇ信号、Ｂ／Ｇ信号）である場合には、Ｇ信号を掛け戻す処理である。そして、画像を構成する画素毎に形成された三原色信号であるＲ信号、Ｇ信号、Ｂ信号を出力することにより（ステップＳ２０６）、一連のデモザイク処理が行われる。
【０２４４】
なお、図２９には明記しなかったが、ステップＳ２０１の処理において、Ｇ信号の補間生成を行い、画像を構成する画素毎にＧ信号が生成される。このＧ信号に対しては、上述もしたように、ノイズ低減処理を施してもよいし、施さなくてもよい。
【０２４５】
このように、色関連信号としての色差信号や色比信号を生成した後、第１補間処理された色差信号（色比信号）に対して色ノイズの低減処理を行うようにした場合には、Ｒ−Ｇ信号（Ｒ／Ｇ信号）とＢ−Ｇ信号（Ｂ／Ｇ信号）との双方を用いて、精度良く色ノイズの低減処理を行うようにすることができる。
【０２４６】
また、図２９にしたがったプログラムを作成し、これをＣＰＵにおいて実行されることにより、この発明に係るデモザイク処理部の機能をＣＰＵにおいて実現することもできる。すなわち、この発明に係るデモザイク処理はソフトウェアによっても実現することができる。
【０２４７】
［その他］
なお、第１の実施の形態のノイズ低減処理部６３８の他の構成例として、図１６を用いて説明したように、Ｇ信号、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換してノイズ低減処理を施し、ノイズ低減処理後の輝度信号Ｙ、色差信号Ｃｒ、ＣｂをＧ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号に変換し直す構成について説明した。しかし、これは、第１の実施の形態のノイズ低減処理部６３８においてのみ適用可能ものではない。第１の実施の形態のノイズ低減処理部６３５にも適用可能であるし、第２の実施の形態のノイズ低減処理部６３５、６３８、第３の実施の形態のノイズ低減処理部６３０５、６３０８に適用することも可能である。
【０２４８】
また、上述もしたように、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの単板の固体撮像素子を通じて取り込んだ画像データを処理する種々の撮像装置や、単板の固体撮像素子を通じて取り込んで記憶保持するようにされたＲａｗデータを処理する種々の画像処理装置などにも適用可能なものである。
【０２４９】
また、図２において２重線で囲んで示したデモザイク処理部１０６３をＩＣ化するような場合にも、当該ＩＣ化するデモザイク処理部にこの発明を適用することができる。また、カメラ信号処理部１０６を１つの回路ブロックとして構成する場合にも、そのモザイク処理部にこの発明を適用することが可能である。
【０２５０】
また、この出願の特許請求の範囲に記載した請求項の構成要件と、上述した実施の形態の各部との対応関係を示すと以下のようになる。すなわち、請求項における撮像素子は、図１に示した撮像素子部１０２に搭載されている固体撮像素子に相当する。また、デモザイク処理手段は、図２、図３、図６、図７、図１２、図１３、図１９、図２１、図２４、図２６に示した核デモザイク処理部に相当する。
【０２５１】
そして、デモザイク処理手段の生成部は、各デモザイク処理部１０６３の色差生成部６３２、色比生成部６３０２が相当し、ノイズ低減部は、各デモザイク処理部１０６３のノイズ低減処理部６３５、６３８、６３０５、６３０８が相当する。また、請求項における目的色信号は、Ｒ信号、Ｂ信号を想定しており、所定の他の色信号は、Ｇ信号を想定している。また、第１の補間部は、第１色差補間部６３６、第１色比補間部６３０６が相当し、第２の補間部は、第２色差補間部６３７、第２色比補間部６３０７が相当する。
【０２５２】
また、請求項における色関連信号という文言は、色差信号や色比信号を包括する文言として用いている。また、請求項における変換部は、Ｙ／Ｃ変換部６３８３が相当し、逆変換部は、逆Ｙ／Ｃ変換部６３８６が相当する。
【０２５３】
また、上述した実施の形態においては、色信号として、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色信号を用いるものとして説明したが、これに限るものではない。近年においては、３原色信号に加えてエメラルド色とった色信号を用いるようにしているものもあるが、このような色信号を用いる場合にもこの発明を適用することが可能である。
【０２５４】
すなわち、少なくとも、色差信号や色比信号といった、目的色信号と所定の他の色信号とを演算することにより、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号に対して、色ノイズの低減処理を施すようにすることにより、この発明が実現される。
【図面の簡単な説明】
【０２５５】
【図１】この発明の位置実施の形態が適用された撮像装置１００を説明するためのブロック図である。
【図２】図１に示した撮像装置１００のカメラ信号処理部１０６を説明するためのブロック図である。
【図３】第１の実施の形態のデモザイク処理部１０６３の第１の構成例とその処理の概要とを説明するためのブロック図である。
【図４】ベイヤー配列のＲａｗ動画像データからＲ信号及びＢ信号についても直接に補間処理により生成する場合について説明するための図である。
【図５】ベイヤー配列のＲａｗ動画像データからＲ信号及びＢ信号については色差信号を介在させて生成する場合について説明するための図である。
【図６】ノイズ低減処理部６３５が設けられた第１の実施の形態のデモザイク処理部１０６３の第１の構成例を説明するためのブロック図である。
【図７】図６に示したノイズ低減処理部６３５の構成例を説明するためのブロック図である。
【図８】εフィルタの機能を説明するための図である。
【図９】図７に示したノイズ低減処理部６３５におけるεフィルタによる処理を説明するための図である。
【図１０】色差補間前の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。
【図１１】色差補間後の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。
【図１２】第１の実施の形態のデモザイク処理部１０６３の第２の構成例とその処理の概要とを説明するためのブロック図である。
【図１３】ノイズ低減処理部６３８が設けられた第１の実施の形態のデモザイク処理部１０６３の第２の構成例を説明するためのブロック図である。
【図１４】図１３に示したノイズ低減処理部６３８の構成例を説明するためのブロック図である。
【図１５】図１４に示したノイズ低減処理部６３８におけるεフィルタによる処理を説明するための図である。
【図１６】ノイズ低減処理部６３８の他の構成例を説明するためのブロック図である。
【図１７】画像信号に応じたＹ／Ｃ変換処理のための計算式を示す図である。
【図１８】色フィルタの色コーディングについて説明するための図である。
【図１９】第２の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【図２０】図１９に示した位置Ａに配置されるノイズ低減処理部６３５の構成例を説明するためのブロック図である。
【図２１】第２の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【図２２】図２１に示した位置Ｂに設けられるノイズ低減処理部６３８の構成例を説明するためのブロック図である。
【図２３】カメラ信号処理部１０６の他の例を説明するためのブロック図である。
【図２４】第３の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【図２５】図２４に示した位置Ａに配置されるノイズ低減処理部６３０５の構成例を説明するためのブロック図である。
【図２６】第３の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【図２７】図２６に示した位置Ｂに設けられるノイズ低減処理部６３０８の構成例を説明するためのブロック図である。
【図２８】図６、図１９、図２４に示したデモザイク処理部において行われる処理を説明するためのフローチャートである。
【図２９】図１３、図２１、図２６に示したデモザイク処理部において行われる処理を説明するためのフローチャートである。
【符号の説明】
【０２５６】
１０６３…デモザイク処理部、６３１…Ｇ補間部、６３２…色差生成部、６３３…色差補間部、６３４…Ｇ足し戻し部、６３５…ノイズ低減処理部、６３５１…Ｇノイズ低減処理部、６３５２…色差ノイズ低減処理部、６３６…第１色差補間部、６３７…第２色差補間部、６３８…ノイズ低減処理部、６３８１…Ｇノイズ低減処理部、６３８２…色差ノイズ低減処理部、６３８３…Ｙ／Ｃ変換部、６３８４…輝度ノイズ低減処理部、６３８５…色差ノイズ低減処理部、６３８６…逆Ｙ／Ｃ変換部、６３０１…Ｇ補間部、６３０２…色比生成部、６３０３…色比補間部、６３０４…Ｇ掛け戻し部、６３０５…ノイズ低減処理部、６３０６…第１色比補間部、６３０７…第２色比補間部、６３０８…ノイズ低減処理部
【技術分野】
【０００１】
この発明は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を１つ備えたいわゆる単板の撮像装置、いわゆる単板の撮像素子を通じて取り込まれた画像信号の色ノイズを低減させる方法及びプログラムに関する。
【背景技術】
【０００２】
複数の色の画素が所定の順序に従って配列された色フィルタを備えたＣＣＤやＣＭＯＳセンサなどの固体撮像素子が１つ用いられた、いわゆる単板のデジタルスチルカメラやデジタルビデオカメラなどの撮像装置では、通常、固体撮像素子からの画像信号に対していくつかの処理を行って画像を生成する。
【０００３】
例えば、固体撮像素子のカラーフィルタの色コーディングがベイヤー（Bayer）配列のとき、各画素はＲ（赤）／Ｇ（緑）／Ｂ（青）のうち１つの色情報しか持っていない。すなわち、ベイヤー配列は、水平方向にＲＧＲＧ…のように、ＲとＧとが交互に並べられたラインと、水平方向にＧＢＧＢ…のように、ＧとＢとが交互に並べられたラインとが、垂直方向に交互に配置にされたものであり、Ｇ：Ｂ：Ｒの比率が２：１：１とされたものである。
【０００４】
そのため、画像を構成する全ての画素毎に、Ｒ／Ｇ／Ｂの３原色信号が必要になるが、各画素において、存在しない色情報（色信号）については、周囲の画素から補間して、各画素毎にＲ／Ｇ／Ｂそれぞれの色情報を生成する必要がある。このように、画素毎に１つの色情報しか存在しないＲａｗ画像データ（撮像素子から得られた状態の画像データ）から、各画素毎にＲ／Ｇ／Ｂの３つの色情報（３原色信号）を生成する処理をデモザイク処理（同時化処理）と呼ぶ。
【０００５】
そして、デモザイク処理後に全画素について揃ったＲ／Ｇ／Ｂ信号を、Ｙ／Ｃ変換することにより、輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）へと変換し、これら輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）からなる画像信号から表示用の画像が形成されたり、これら輝度信号（Ｙ）と色差信号（Ｃｂ／Ｃｒ）からなる画像信号が記録媒体に記録されたりすることになる。
【０００６】
近年の固体撮像素子の画素サイズの微小化に伴いＳ／Ｎ（Signal to Noise ratio）が悪化し、画像上のノイズが問題になってきている。カラー画像のノイズは、輝度信号成分のノイズである輝度ノイズと色差信号成分のノイズである色ノイズに分類され、色ノイズを低減することで画質を向上できることが知られている。
【０００７】
例えば、デジタルスチルカメラに関して、後に記す特許文献１には、ノイズリダクション処理に適切な画素範囲を選択し、この選択した周辺画素を用いてノイズリダクション処理することにより、Ｒａｗ画像データの段階で効率よくノイズを除去する方法が開示さている。
【０００８】
また、後に記す特許文献２には、エッジの延長方向に沿った所定範囲の画素値を用いて注目画素の画素値を補間演算処理することにより、デモザイク処理等において、エッジを精度良く再現する方法が開示されている。
【０００９】
しかし、Ｒａｗ画像データの段階で色ノイズを除去するようにすると、輝度信号成分にまで影響を与え、各色信号の輝度値までも変化してしまうという問題がある。その結果、エッジ部分等が誤った色で表示され、著しく画質が劣化する場合があると考えられる。
【００１０】
このため、色を表す色差信号はＹ（輝度）／Ｃ（色）変換後に生成されるので、色ノイズ低減処理をＹ／Ｃ変換後に行う手法が一般的に行われている。しかし、デモザイク処理前にはインパルス状だった色ノイズが、デモザイク処理での補間処理やアパーチャ補正などその他の処理によって複雑なフィルタを通るため、Ｙ／Ｃ変換された信号では色ノイズの特性が変化してしまう（インパルス状で無くなる）。このようにノイズ信号の特性が変化すると、ノイズ信号成分と絵柄信号成分の分離が難しくなり、色ノイズをきれいに消すことができないという問題が生じている。
【００１１】
なお、上述した特許文献１、２の所在は以下の通りである。
【特許文献１】特開２００５−３１１４５５号公報
【特許文献２】特開２００４−２２１８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したデモザイク処理後にＹ／Ｃ変換された信号では色ノイズの特性が変化してしまい、色ノイズをきれいに消すことができないという問題を解決する手法として、本出願人の他の特許出願である特願２００６−３３８２３３号において、色ノイズの特性が変化する可能性のあるデモザイク処理前に色ノイズ低減処理を行う手法が提案されている。
【００１３】
この出願に係る手法は、固体撮像素子の出力信号であるＲａｗ状態の画像信号（Ｒａｗ画像信号）から色ノイズの特性が変化しないように、画像の相関のある方向などの判別を行わない簡易的なデモザイク処理を行って色差信号を生成し、生成された色差信号に対してノイズ低減処理を行った後、再びＲａｗ状態の画像信号に戻し、その後画像の相関のある方向などの判別を行う通常のデモザイク処理を行うというものである。
【００１４】
当該手法を用いることにより、通常のデモザイク処理（本来行われるべきデモザイク処理）の前に色ノイズを除去することが可能となり、当該手法は、画質の向上を図る上で非常に有効なものである。しかしながら、当該手法の場合、通常のカメラ信号処理に対して、簡易的なデモザイク処理と、輝度信号と色ノイズ低減処理後の色差信号とをＲａｗ状態の信号へ戻す処理が余分に必要となる。
【００１５】
すなわち、当該手法は、ハードウェア資源の機能、性能、容量などのいわゆるリソースに余裕のある高性能の撮像装置においては特に有効な手法である。しかし、できれば、リソースを考慮することなく、種々の撮像装置においても適切かつ迅速に色ノイズを低減させることができるようにしたいとする要求がある。
【００１６】
また、当該手法の場合、ノイズ低減前に追加された簡易的なデモザイク処理で生成された色差信号と、ノイズ低減後に存在する通常のデモザイク処理後に生成された色差信号とが異なる。このため、理論的に考えると、簡易的なデモザイク後の色差信号で色ノイズ低減を行っても、最終的な画像の色差信号となる通常のデモザイク処理後の色差信号で見ると色ノイズが十分に抑圧されていないということが発生する可能性あると考えられる。このため、より精度良く、色ノイズを低減できるようにしたいとする要求がある。
【００１７】
以上のことに鑑み、この発明は、リソースに依存することなく、複数の色の色信号からなる画像信号から色ノイズ成分を迅速かつ効果的に低減させることを目的とする。
【課題を解決するための手段】
【００１８】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子と、前記撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理手段とを備えた撮像装置であって、
前記デモザイク処理手段は、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成部と、
前記生成部により生成された前記色関連信号に対してノイズ低減処理を施すノイズ低減部と
を備えることを特徴とする。
【００１９】
この請求項１に記載の発明の撮像装置によれば、撮像素子を通じて取り込まれた複数の色の色信号からなる画像信号（Ｒａｗ画像信号）が、デモザイク処理手段によりデモザイク処理されることにより、画像を形成する全ての画素毎に、複数の色のそれぞれの色信号が形成するようにされる。
【００２０】
当該デモザイク処理手段においては、まず、生成部において、処理対象の画像信号の目的色信号（例えば、Ｒ（赤）色信号、Ｂ（青）色信号）と、他の色信号（例えば、Ｇ（緑）色信号）と演算することにより、色関連信号（例えば、色差信号あるいは色比信号）が生成される。この生成手段により生成された色関連信号に対して、ノイズ低減部においてノイズ低減処理（色ノイズの低減処理）が施される。このようにして、色ノイズが低減するようにされた色関連信号が用いられて、デモザイク処理がなされる。
【００２１】
これにより、デモザイク処理の過程において生成される色関連信号に対してノイズ低減処理を施すことができるので、ノイズ低減部を除いては、新たなに追加すべきハードウェアは必要なく、迅速に色ノイズの低減を行うことができるようにされる。しかも、デモザイク処理の過程において色ノイズの低減処理を行うことができるので、最も効果的に色ノイズを低減させることができるようにされる。
【発明の効果】
【００２２】
複数の色の色信号からなる画像信号から色ノイズ成分を迅速かつ最も効果的に低減させることができる。すなわち、色ノイズを効果的に抑圧できる。
【発明を実施するための最良の形態】
【００２３】
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。なお、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの種々の画像処理装置に適用可能なものである。
【００２４】
しかし、以下に説明する実施の形態においては説明を簡単にするため、動画像データの撮影が可能なデジタルビデオカメラ（撮像装置）に適用した場合を例にして説明する。また、以下に説明する撮像装置は、動画像と共に、音声についても取り込んで記録するなどすることができるものであるが、以下の実施の形態においては、説明を簡単にするため、音声信号の処理系についての説明は省略する。
【００２５】
［第１の実施の形態］
［撮像装置の構成例について］
図１は、この発明による装置、方法、プログラムの一実施の形態が適用された、この実施の形態の撮像装置１００を説明するためのブロック図である。図１に示すように、この実施の形態の撮像装置は、画像信号の処理系として、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部（図１においてはアナログゲインと記載。）１０３、Ａ／Ｄ（Analog/Digital）変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８を備えると共に、制御部１１０、キー操作部１２１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１２２、外部入出力端子１２３、記録再生処理部１２４、記録媒体１２５を備えたものである。
【００２６】
制御部１１０は、この実施の形態の撮像装置１００の各部を制御するものであり、ＣＰＵ（Central Processing Unit）１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１１４が、ＣＰＵバス１１５を通じて接続されて構成されたマイクロコンピュータである。
【００２７】
ここで、ＣＰＵ１１１は、後述もするＲＯＭ１１２に記憶保持されているプログラムを読み出して実行し、各部に供給する制御信号を形成して各部に供給したり、各部からの信号を受け付けて、これを処理したりするなど、制御の主体となるものである。ＲＯＭ１１２は、上述もしたように、ＣＰＵ１１１によって実行されるプログラムや処理に必要になる各種のデータ等が予め記録されたものである。
【００２８】
ＲＡＭ１１３は、各種の処理の途中結果を一時記憶するなど、いわゆる作業領域として用いられるものである。ＥＥＰＲＯＭ１１４は、いわゆる不揮発性メモリであり、例えば、各種の設定パラメータ、機能追加のために新たに提供されたプログラム等のこの実施の形態の撮像装置１００の電源が落とされても保持しておくべき種々の情報を記憶保持するものである。
【００２９】
また、キー操作部１２１は、例えば、録画スタンバイキー、録画開始キー、録画停止キー、望遠機能の調整キー、その他の各種の調整キーやファンクションキーなどを備え、ユーザーからの操作入力を受け付けて、当該操作入力を電気信号に変換し、これを制御部１１０に供給することができるものである。これにより、制御部１１０は、キー操作部１２１を通じて供給を受けたユーザーからの指示入力に応じて、この撮像装置１００の各部を制御し、ユーザーの意図する処理を行うことができるようにされる。
【００３０】
外部Ｉ／Ｆ１２２及び入出力端子１２３は、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers,Inc）１３９４規格やＵＳＢ（Universal Serial Bus）規格等に合致したものである。これら外部Ｉ／Ｆ１２２及び入出力端子１２３に対しては、同じ規格のインターフェースを備える例えばパーソナルコンピュータやＰＶＲ（Personal Video Recorder）等の外部機器を接続することができるようにされる。
【００３１】
記録再生処理部１２４は、制御部１１０の制御に応じて、これに供給された画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録されている画像データを読み出して、制御部１１０を通じて表示処理部１０７に供給して再生するようにしたりするなどのことができるものである。
【００３２】
また、記録媒体１２５は、この実施の形態の撮像装置１００においての主記録媒体であり、例えば、内蔵された半導体メモリ、半導体メモリが用いられ着脱可能とされたメモリカード、内蔵された小型のハードディスク、着脱可能とされた光ディスクなどのディスク記録媒体、着脱可能とされた磁気テープなどである。この実施の形態の撮像装置１００において、記録媒体１２５は、例えば、内蔵された小型のハードディスクである。
【００３３】
なお、記録媒体１２５に記録される画像データは、所定のデータ圧縮方式により圧縮処理されて記録され、また、記録媒体１２５から読み出された画像データは、当該所定のデータ圧縮方式に従って伸張処理されるが、データの圧縮処理や伸張処理は、図示しない圧縮／伸張処理部において行うようにされる。また、このような、画像データの圧縮／伸張機能を、記録再生処理部１２４に設けるようにすることも可能である。
【００３４】
そして、この実施の形態の撮像装置１００においては、画像信号の処理系を通じて、撮影することにより取り込んだ被写体の画像を表示部１０８の表示素子の表示画面に表示して確認しながら撮影を行い、撮影することにより得た画像信号（動画像信号）を記録媒体１２５に記録する記録機能と、記録媒体１２５に記録されている画像信号を読み出して、これを表示部１０８の表示素子の表示画面に表示するようにしたり、あるいは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて外部機器に供給したりする再生機能とを有するものである。
【００３５】
［記録機能（撮影機能）および再生機能について］
まず、この実施の形態の撮像装置１００の記録機能について説明する。図１に示すように、画像信号の処理系を構成する、レンズ部１０１、撮像素子部１０２、アナログゲイン調整部１０３、Ａ／Ｄ変換器１０４、検波処理部１０５、カメラ信号処理部１０６、表示処理部１０７、表示部１０８のそれぞれは、共通のＣＰＵバス１１５を通じて接続されている。
【００３６】
そして、画像信号の処理系を構成する各処理部間のデータのやり取りは、基本的には、共通のＣＰＵバス１１５を通じて行われる。ただし、ＣＰＵバス１１５を経由せず、処理部間で直接データをやり取りする場合もある。処理部同士でＣＰＵバス１１５を経由せずに直接接続しデータの転送を行う場合は、それをひとつの処理部と見做すこともできる。
【００３７】
そして、キー操作部１２１を通じて、動画像の撮影を行うことが指示されると、制御部１１０が各部を制御して動画像の撮影処理を開始する。この場合、レンズ部１０１を通じて撮像素子部１０２の固体撮像素子の結像面に結像された被写体の画像は、順次に当該固体撮像素子により電気信号（アナログ動画像信号）に変換されて、アナログゲイン調整部１０３に供給される。ここで撮像素子部１０２に設けられている固体撮像素子は、例えばＣＣＤセンサやＣＭＯＳセンサなどである。
【００３８】
アナログゲイン調整部１０３供給されたアナログ動画像信号は、ここで当該アナログ動画像信号のゲイン（利得）が所定のレベルとなるようにゲイン調整された後に、Ａ／Ｄ変換記１０４に供給される。そして、Ａ／Ｄ変換器１０４に供給されたアナログ動画像信号は、ここでデジタル動画像信号（デジタルＲａｗ動画像データ）に変換され、検波処理部１０５に供給される。なお、デジタルＲａｗ動画像データは、現像処理されていないままのデジタル動画像データを意味し、撮像素子部２からのアナログ動画像信号がデジタル信号に変換された状態の画像信号である。
【００３９】
検波処理部１０５は、これに供給されたＲａｗ動画像データに基づいて、露出調整処理のためのパラメータやホワイトバランス調整処理のためのパラメータなど、後段で行う種々の画像処理のための現像パラメータの集まり（現像パラメータ群）Ｐｍを生成し、この生成した現像パラメータ群を、制御部１１０を通じてカメラ信号処理部１０６に供給すると共に、Ｒａｗ動画像データも、カメラ信号処理部１０６に供給する。
【００４０】
カメラ信号処理部１０６では、詳しくは後述するが、黒レベル合わせ処理、ホワイトバランス調整処理、画素毎にＲＧＢデータ（３原色データ）を生成するデモザイク処理（同時化処理）、アパーチャ補正処理、ガンマ（γ）補正処理、輝度信号（Ｙ）と色差信号（Ｃ）への変換処理（Ｙ／Ｃ変換処理）、解像度変換処理などを行って、輝度信号および色差信号（以下、ＹＣ信号と略称する）を形成する。
【００４１】
カメラ信号処理部１０６で形成されたＹＣ信号は、表示処理部１０７に供給され、ここで表示部１０８に供給する形式の動画像信号に変換されて表示部１０８に供給される。これにより表示部１０８の表示素子の表示画面には、撮影するようにされた被写体の動画像が表示するようにされる。
【００４２】
同時に、カメラ信号処理部１０６で形成されたＹＣ信号は、例えば図示しない圧縮／伸張処理部において、圧縮処理された後、記録再生処理部１２４に供給される。記録再生処理部１２４は、これに供給された画像データを、自機に搭載されている記録媒体１２５に読み出し可能なように記録する。
【００４３】
なお、表示部１０８は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）、ＣＲＴ（Cathode Ray Tube）などの表示素子を備え、上述したように、表示処理部からの動画像信号の供給を受けて、これに応じた動画像を自己の表示素子の表示画面に表示することができるものである。
【００４４】
このように、この実施の形態の撮像装置１００は、表示部１０８に搭載されている表示素子の表示画面に表示される被写体の動画像を確認しながら撮影を行い、撮影することにより得た動画像データを記録媒体１２５に記録することができるものである。なお、撮影することにより得た動画像データを記録媒体１２５に記録する場合には、上述もしたように、当該動画像データは、例えば図示しない圧縮／伸張処理部においてデータ圧縮された後に、記録再生処理部１２４を通じて記録媒体１２５に記録される。
【００４５】
次に、この実施の形態の撮像装置１００の再生機能について説明する。キー操作部１２１を通じて、記録媒体１２５に記録された動画像データを再生することの指示入力を受け付けると、制御部１１０は、記録再生処理部１２４を制御し、再生するように指示された動画像データを読み出し、例えば図示しない圧縮／伸張処理部に供給する。そして、当該圧縮／伸張処理部において伸張処理することにより、データ圧縮前の元の動画像データを復元し、これを制御部１１０を通じて表示処理部１０７に供給する。
【００４６】
そして、表示処理部１０７においては、伸張処理されて復元された動画像データを、表示部１０８に供給する形式の動画像信号に変換して表示部１０８に供給する。これにより表示部１０８の表示素子の表示画面には、記録媒体１２５から読み出された動画像データに応じた動画像が表示するようにされる。
【００４７】
また、同時に、圧縮されたままの動画像データは、あるいは、図示しない圧縮／伸張処理部において伸張処理されて、データ圧縮前の元の動画像データに復元された動画像データは、外部Ｉ／Ｆ１２２及び入出力端子１２３を通じて、これに接続された外部機器に供給し、当該外部機器において利用するようにすることもできるようにされる。
【００４８】
このように、この実施の形態の撮像装置１００は、撮影することにより得た動画像データを記録媒体１２５に記録したり、また、記録媒体１２５に記録した動画像データを再生して利用したりすることができるものである。そして、この実施の形態の撮像装置１００は、色ノイズを効果的に低減させるようにするために、ノイズ低減専用のデモザイク処理等の負荷の大きな処理を増加させること無く、既存のカメラ信号処理の中で、最も効果的に色ノイズを低減させることができるようにしている。
【００４９】
［カメラ信号処理部１０６について］
次に、図１に示したこの実施の形態の撮像装置１００のカメラ信号処理部１０６の構成例について説明する。図２は、この実施の形態の撮像装置１００に搭載されたカメラ信号処理部１０６の構成例を説明するためのブロック図である。
【００５０】
図２に示すように、この実施の形態のカメラ信号処理部１０６は、黒レベル合わせ部１０６１、ＷＢ（ホワイトバランス）調整部１０６２、デモザイク処理部１０６３、アパーチャ補正部１０６４、ガンマ補正部１０６５、Ｙ／Ｃ変換部１０６６、解像度変換部１０６７を備えたものである。
【００５１】
上述もしたように、検波処理部１０５からのＲａｗ動画像データは、カメラ信号処理部１０６の黒レベル合わせ部１０６１に供給される。撮像装置における黒レベルは、撮像素子の撮像面を完全に遮光した場合の当該撮像素子からの画像出力を意味する。しかし、例えば、撮像素子より後段の回路の影響等により、オフセット成分が混入するなどして、黒レベルが正確に表現できなくなり、画像が適切に形成できなくなる場合がある。このような場合を防止するために、黒レベル合わせ部１０６１は、検波処理部１０５からの出力値に基づいて、これに供給されるＲａｗ動画像データの黒レベルの調整処理を行う。黒レベルが調整されたＲａｗ画像データは、ＷＢ調整部１０６２に供給される。
【００５２】
撮像装置を用いて被写体を撮影する場合、撮影時における光の種類（例えば、太陽光や蛍光灯など）により同じ被写体であってもその色合いは異なったものとなる。しかし、人間の目には白いものを常に白として認識しようとする習性が有る。そこで、ＷＢ調整部１０６２は、検波処理部１０５からのパラメータに基づいて、画像全体の色のバランス（具体的には、Ｒ（赤）とＢ（青）のバランス）を調整し、白いものは常に白いものとして表現できるようにしている。ホワイトバランスが調整されたＲａｗ動画像データは、デモザイク処理部１０６３に供給される。
【００５３】
デモザイク処理部１０６３は、撮像素子で用いられている色フィルタに応じて、画素毎に異なる色信号が用いられて形成されたＲａｗ動画像データから、画像を形成する画素毎に必要となる色信号の全部、この実施の形態の撮像装置の場合には、Ｒ、Ｇ、Ｂの３原色信号を形成する処理を行うものである。
【００５４】
そして、この実施の形態のデモザイク処理部１０６３は、詳しくは後述するが、デモザイク処理の過程において、色ノイズの低減処理を行うようにし、上述もしたように、ノイズ低減専用のデモザイク処理等の負荷の大きな処理を増加させること無く、既存のカメラ信号処理の中で、最も効果的に色ノイズを低減させることができるようにしている。そして、デモザイク処理部１０６３において形成されたＲ、Ｇ、Ｂの３原色信号（３原色データ）は、アパーチャ補正部１０６４に供給される。
【００５５】
アパーチャ補正部１０６４は、これに供給される３原色データに対して、輪郭強調処理を施すことにより、画像をはっきりとシャープなものとなるようにする処理を行う。この実施の形態の撮像装置の場合には、例えば操作部１２１を通じて受け付けるユーザーからの指示入力に応じた制御部１１０からの制御信号により、輪郭強調の度合い（レベル）を調整することができ、画像をシャープなイメージに形成することも、また、ソフトなイメージに形成することもできるようにしている。アパーチャ補正部１０６４からの３原色データは、ガンマ補正部１０６５に供給される。
【００５６】
ガンマ補正部１０６５は、これに供給された動画像データ（３原色データ）と、これが実際に出力される際の信号の相対関係を調節して、より自然に近い色合いの画像を得るようにする処理を行う。すなわち、ガンマ（γ）値は、画像の明るさの変化に対する電圧換算値の変化の比を意味し、これが値「１」に近づくのが理想であるが、用いられる素子の特性等により変化してしまう場合がある。このため、ガンマ補正部１０６５において、これに供給される動画像データのガンマ値の誤差を補正し、当該ガンマ値が値「１」に近くなるように補正する処理を行う。ガンマ補正部１０６５において処理された動画像データ（３原色データ）は、Ｙ／Ｃ変換部１０６６に供給される。
【００５７】
Ｙ／Ｃ変換部１０６６は、これに供給された動画像データ（３原色データ）を、所定の計算式に従って、輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換し、変換後の輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）からなるＹＣ信号（ＹＣデータ）を解像度変換部１０６７に供給する。
【００５８】
解像度変換部１０６７は、これに供給されたＹＣデータに対して画像のスケーリングを行う。すなわち、解像度変換部１０６７は、これに供給されたＹＣデータについて間引き処理や補間処理を施すことにより、所定の解像度のＹＣデータを形成し、これを出力する。この解像度変換部１０６７から出力されたＹＣデータに応じた画像が、図１に示した表示処理部１０７を通じて表示部１０８に表示され、また、データ圧縮処理された後に、記録再生処理部１２４を通じて記録媒体１２５に記録されることになる。
【００５９】
このように、カメラ信号処理部１０６においては、撮像素子部１０２を通じて撮影するようにした被写体のＲａｗ動画像データに対して、上述したように種々の信号処理を施し、最終的に、表示や記録の対象となる目的とする解像度のＹＣデータを形成して出力することができるようにしている。そして、この実施の形態のカメラ信号処理部１０６のデモザイク処理部１０６３においては、以下に詳述するように、色ノイズの低減処理をも行うようにしている。
【００６０】
［デモザイク処理部１０６３の第１の構成例と処理概要（ベイヤー配列の場合）］
図３は、この実施の形態の図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例とその処理の概要とを説明するためのブロック図である。図３に示すように、この例のデモザイク処理部１０６３は、Ｇ（緑）信号補間部（図３においてはＧ補間部と記載。）６３１と、色差生成部６３２と、色差補間部６３３と、Ｇ（緑）信号足し戻し部（図３においてはＧ足し戻し部と記載。）６３４とを備えたものである。
【００６１】
なお、ここでは、撮像素子部１０２の固体撮像素子の色フィルタ（カラーフィルタ）の色コーディングがベイヤー配列である場合を例にして説明する。したがって、デモザイク処理部１０６３には、図３（１）に示すように、水平方向にＲＧＲＧ…のように、水平方向の画素毎にＲとＧとが交互に並べられたラインと、水平方向にＧＢＧＢ…のように、水平方向の画素毎に、ＧとＢとが交互に並べられたラインとが、垂直方向に交互に配置にされたベイヤー配列にしたがったＲａｗ動画像データが供給される。より具体的には、図３（１）のような配列のＲａｗ動画像データが、各画面（フレーム）毎に、各画素Ｒ（赤）／Ｇ（緑）／Ｂ（青）のいずれか一色ずつの色信号（色データ）としてデモザイク処理部１０６３に入力され、Ｇ補間部６３１と、色差生成部６３２に供給される。
【００６２】
図３（１）に示したように、ベイヤー配列の場合に市松状に存在するＧ信号に関しては、Ｇ補間部６３１により、Ｇ信号が存在しない画素上に周辺のＧ信号の存在する画素から相関を見てＧ信号を補間生成する。これにより、Ｇ補間部６３１からは、図３（２）に示すように、画像を構成する画素毎にＧ信号が形成されて出力される。
【００６３】
また、Ｒ信号とＢ信号とに関しては、色差生成部６３２により、周辺の画素の色信号を用いて、Ｒ信号の画素上に色差信号であるＲ−Ｇ信号を生成し、Ｂ信号の画素上に色差信号であるＢ−Ｇ信号を生成する。これにより、色差生成部６３２からは、図３（３）に示すように、Ｒ信号の画素上に生成されたＲ−Ｇ信号と、Ｂ信号の画素上に生成されたＢ−Ｇ信号とが出力される。
【００６４】
そして、色差生成部６３２から出力されたＲ−Ｇ信号とＢ−Ｇ信号とは、色差補間部６３３に供給される。色差補間部６３３は、これに供給されたＲ−Ｇ信号とＢ−Ｇ信号とから、既にＲ−Ｇ信号、Ｂ−Ｇ信号が生成されていない画素に、図３（４Ａ）、（４Ｂ）に示すように、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とを補間生成する。
【００６５】
これにより、色差補間部６３３からは、図３（４Ａ）、（４Ｂ）に示すように、画像を形成する各画素毎に形成されたＲ−Ｇ信号とＢ−Ｇ信号が出力される。そして、色差補間部６３３から出力されたＲ−Ｇ信号、Ｂ−Ｇ信号は、Ｇ足し戻し部６３４に供給される。
【００６６】
Ｇ足し戻し部６３４は、色差補間部６３３から出力された全画素揃った色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）に対して、Ｇ補間部６３１から出力されたＧ信号を加算処理することにより、全画素揃ったＲ信号とＢ信号とが生成される。これにより、Ｇ足し戻し部６３４からは、図３（５Ａ）、（５Ｂ）に示すように、画像を構成する画素毎に形成されたＲ信号とＢ信号とが出力される。
【００６７】
これにより、デモザイク処理部１０６３からは、Ｇ補間部６３１からの全画素揃ったＧ信号と、Ｇ足し戻し部６３４からの全画素揃ったＲ信号とＢ信号とが出力される。すなわち、画像を構成する全画素のそれぞれ毎に、ＲＧＢの３原色信号が出力するようにされる。そして、このようなデモザイク処理が、フレーム毎に行われ、Ｒａｗ動画像データが、ＲＧＢ動画像データに変換されることになる。
【００６８】
なお、Ｇ補間部６３１での補間処理、色差生成部６３２での色差生成処理、色差補間部６３３での補間処理については、目的とする信号を生成可能な種々の方法を用いることができる。すなわち、目的とする信号を生成するために、用いる周辺画素の範囲や、目的する信号を生成するための計算ロジックなどについては、種々のものを用いることができる。
【００６９】
そして、上述したように、この実施の形態のデモザイク処理部１０６３においては、Ｒ信号とＢ信号とを直接生成せず、色差信号を介在させてＲ信号とＢ信号とを生成するようにしている。このようにするのは、Ｇ信号をも考慮できるようにして、より正確に画像の色彩を再現できるようにするためである。すなわち、間違った色を作らないようにするためである。この色差信号を用いる点について図４、図５を用いて説明する。
【００７０】
まず、ベイヤー配列のＲａｗデータから、Ｇ信号、Ｒ信号、Ｂ信号が存在しない画素について、近隣の画素の色信号から直接に補間処理によりＧ信号、Ｒ信号、Ｂ信号のそれぞれを生成する場合について考える。
【００７１】
図４は、ベイヤー配列の色フィルタの固体撮像素子を通じて取り込まれた１フレーム分のＲａｗ動画像データからＧ信号だけでなく、Ｒ信号及びＢ信号についても直接に補間処理により生成する場合について説明するための図である。ここでは、無彩色（白黒の縦縞模様）の画像を形成するＲａｗ動画像データを処理する場合を例にして説明する。
【００７２】
図４（Ａ）に示すように、ベイヤー配列の無彩色（白黒の縦縞模様）のＲａｗデータがあるとする。このＲａｗデータによって形成される画像イメージは、図４（Ｂ）に示すように、垂直方向の１ライン毎（１列毎）に白色のラインと黒色のラインとが交互に存在する画像となる。すなわち、Ｒ、Ｇ、Ｂの各色信号の割合を、「０」〜「１００」で表すものとすれば、Ｒ、Ｇ、Ｂの各色信号のそれぞれの信号の割合が値「１００」である垂直方向のラインが白色のラインであり、Ｒ、Ｇ、Ｂの各色信号のそれぞれの信号の割合が値「０」である垂直方向のラインが黒色のラインである。
【００７３】
このようなＲａｗ画像データから、画像を形成する全ての画素毎に、Ｒ、Ｇ、Ｂの各色信号をデモザイク処理により形成する。Ｇ信号については、図４（Ａ）を見ても分かるように、垂直方向の各ライン（各列）には、Ｇ信号が必ず存在するので、垂直方向の各ラインのＧ信号に基づいて、図４（Ｃ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＧ信号を適切に生成することが可能である。
【００７４】
そして、ここでは、色差信号を用いずに、Ｒ信号とＢ信号とについても直接に補間処理により形成することを考える。Ｒ信号とＢ信号とは、図４（Ａ）を見ても分かるように、垂直方向の１ラインおきにしか存在しない。
【００７５】
このため、図４（Ａ）のように色信号が存在するＲａｗデータの場合、近隣の画素に存在するＲ信号に基づいて、Ｒ信号が存在しない画素にＲ信号を補間生成すると、図４（Ｄ）に示すように、本来、Ｒ信号が存在しない垂直方向のラインの画素にまで割合が値「１００」となるＲ信号が補間生成されてしまう。
【００７６】
また、図４（Ａ）のように色信号が存在するＲａｗデータの場合、近隣の画素に存在するＢ信号に基づいて、Ｂ信号が存在しない画素にＢ信号を補間生成すると、図４（Ｅ）に示すように、割合が値「０」となるＢ信号が補間生成されてしまう。つまり、本来、割合が値「１００」としてＢ信号が生成されるべき画素についても割合が値「０」のＢ信号が補間生成されてしまう。
【００７７】
この場合、白色のライン部分について適切にＢ信号を生成することができないので、白色を本来の適正な白色として表現できなくなる。また、黒色のライン部分については割合が「１００」のＲ信号が生成されてしまうので、黒色を本来の適正な黒色として表現できなくなる。したがって、Ｒ信号やＢ信号が存在しない画素に対して、周囲の画素のＲ信号、Ｂ信号を用いてＲ信号、Ｂ信号を直接に補間処理して生成した場合には、画像を本来の色彩で表現することができなくなってしまう場合がある。
【００７８】
次に、ベイヤー配列のＲａｗデータから、Ｇ信号が存在しない画素については、近隣の画素のＧ信号から直接に補間処理によりＧ信号を生成するが、Ｒ信号、Ｂ信号が存在しない画素については、まず、色差信号を生成し、この色差信号の状態で補間処理を行った上で、Ｒ信号、Ｂ信号を生成する場合について考える。
【００７９】
図５は、ベイヤー配列の色フィルタの固体撮像素子を通じて取り込まれた１フレーム分のＲａｗ動画像データからＧ信号については直接補間処理により、Ｒ信号及びＢ信号については、色差信号を介在させて生成する場合について説明するための図である。この図５に示す場合も、図４に示した場合と同様に、無彩色（白黒の縦縞模様）の画像を形成するＲａｗ動画像データを処理する場合を例にして説明する。
【００８０】
また、色差信号を介在させてＲ信号、Ｂ信号を生成する場合、Ｒ信号については色差信号であるＲ−Ｇ信号を用い、Ｂ信号については色差信号であるＢ−Ｇ信号を用いることになるが、いずれの場合もほぼ同じ処理であるので、以下においては、説明を簡単にするため、Ｒ−Ｇ信号を用いてＲ信号を生成する場合を例にして説明する。
【００８１】
そして、図４（Ａ）、（Ｂ）を用いて説明した場合と同様に、図５（Ａ）に示すように、ベイヤー配列の無彩色（白黒の縦縞模様）のＲａｗデータがあるとする。このＲａｗデータによって形成される画像イメージは、図５（Ｂ）に示すように、垂直方向の１ライン毎（１列毎）に白色のラインと黒色のラインとが交互に存在する画像となる。
【００８２】
すなわち、図４（Ｂ）を用いて説明した場合と同様に、図５（Ｂ）の場合にも、Ｒ、Ｇ、Ｂの各色信号の割合を、「０」〜「１００」で表すものとすれば、Ｒ、Ｇ、Ｂの各色信号のそれぞれの割合が値「１００」である垂直方向のラインが白色のラインであり、Ｒ、Ｇ、Ｂの各色信号のそれぞれの割合が値「０」である垂直方向のラインが黒色のラインである。
【００８３】
このようなＲａｗ画像データから、画像を形成する全ての画素毎に、Ｒ、Ｇ、Ｂの各色信号をデモザイク処理により形成する。Ｇ信号については、図５（Ａ）を見ても分かるように、垂直方向の各ライン（各列）には、Ｇ信号が存在するので、垂直方向の各ラインのＧ信号に基づいて、図５（Ｃ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＧ信号を適切に生成することが可能である。
【００８４】
そして、Ｒ信号については、図５（Ａ）に示したように、垂直方向の１ラインおきに存在するＲ信号に基づいて、図５（Ｄ）に示すように実在するＲ信号を認識する。図５（Ｄ）において×印が付けられた部分（画素）は、Ｒ信号が存在しない部分である。そして、図５（Ｄ）に示したように認識されるＲ信号と図５（Ｃ）に示したように補間生成により適正に生成されたＧ信号とから、図５（Ｅ）に示すように、色差信号であるＲ−Ｇ信号を生成する。
【００８５】
図５（Ｅ）において、×印が付けられた部分（画素）は、Ｒ信号が存在しないために、Ｒ−Ｇ信号を直接に生成できなかった部分である。このため、図５（Ｅ）に示したように、適正に生成されたＲ−Ｇ信号から、図５（Ｆ）に示すように、×印をつけて示したＲ−Ｇ信号が直接に生成できない部分（画素）について、Ｒ−Ｇ信号を補間生成する。この場合、図５（Ｅ）に示したように、実在するＲ信号とＧ信号とに基づいて、Ｒ−Ｇ信号が生成されているので、これから補間生成される図５（Ｆ）に示すＲ−Ｇ信号も適切なものである。
【００８６】
最後に、図５（Ｆ）のように生成されたＲ−Ｇ信号に対して、図５（Ｃ）のように生成されたＧ信号を足し戻すことにより、図５（Ｇ）に示すように、白色のライン部分では割合が値「１００」となり、黒色のライン部分では割合が値「０」となるＲ信号を適切に生成することができる。
【００８７】
そして、図４を用いて説明したように、ベイヤー配列のＲａｗデータから、Ｇ信号だけでなく、Ｒ信号、Ｂ信号についても直接に補間処理により生成するようにした場合には、迅速にＲ信号、Ｂ信号を、画像を構成する各画素について生成することが可能であるが、色彩の正確性は損なわれてしまう。これに対して、図５を用いて説明したように、ベイヤー配列のＲａｗデータから、Ｒ信号、Ｂ信号については、色差信号を介在させて、Ｒ信号、Ｂ信号を生成するようにした場合には、処理に若干の手間がかかるが、色彩の正確性を高く保持することが可能となる。
【００８８】
このため、図３を用いて説明したように、この実施の形態の撮像装置１００のデモザイク処理部１０６３においては、ベイヤー配列のＲａｗ動画像データから、画像を構成する画素毎にＲＧＢの３原色信号を生成する場合に、Ｒ信号とＢ信号については、色差信号を用いて生成するようにしているのである。
【００８９】
そして、この実施の形態の撮像装置のデモザイク処理部１０６３においては、ベイヤー配列のＲａｗ動画像データが、Ｇ信号と、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に変換された段階で、色ノイズ成分を除去する構成を備えることにより、デモザイク処理の過程において効果的に色ノイズ成分を低減させることができるようにしている。
【００９０】
［デモザイク処理部１０６３の構成例］
図６は、この第１の実施の形態のノイズ低減処理部６３５が設けられたデモザイク処理部１０６３の第１の構成例を説明するためのブロック図である。この例のデモザイク処理部１０６３は、図３に示したデモザイク処理部１０６３の構成例の場合と同様に、Ｇ補間部６３１、色差生成部６３２、色差補間部６３３、Ｇ足し戻し部６３４を備え、図３を用いて説明したように、Ｇ信号については周辺の画素のＧ信号に基づいて直接に、また、Ｒ信号、Ｂ信号については、色差信号を介して、画像を形成する画素毎にＲＧＢの３原色信号を生成するものである。
【００９１】
そして、図６に示すように、この実施の形態の撮像装置１００のデモザイク処理部１０６３は、Ｇ補間部６３１と色差生成部６３２の直後に、ノイズ低減処理部６３５を設け、このノイズ低減処理部６３５の機能により、処理対象の画像データ（この例の場合には、補間処理されることにより生成された直後のＧ信号、及び生成直後の色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号）から色ノイズ成分を低減させることができるものである。
【００９２】
このように、Ｇ補間部６３１と色差生成部６３２との直後にノイズ低減処理部６３５を配置した場合には、詳しくは後述するが、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号が生成された直後であるため、色差信号に混入している色ノイズがデモザイク処理における補間処理による複雑なフィルタがかかっておらず、色ノイズを効果的に抑圧することができるためである。
【００９３】
［ノイズ低減処理部６３５の構成例］
図７は、図６に示したノイズ低減処理部６３５の構成例を説明するためのブロック図である。図７に示すように、この例のノイズ低減処理部６３５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３５１と、色差信号に混入しているノイズを低減させる色差ノイズ低減処理部６３５２とを備えたものである。
【００９４】
そして、Ｇ信号についてはＧノイズ低減処理部６３５１でノイズ低減処理を行い、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とについては、色差ノイズ低減処理部６３５２でノイズ低減処理を行う。Ｇノイズ低減処理部６３５１、色差ノイズ低減処理部６３５２においては、様々な方法を用いたノイズ低減処理を行うようにすることが可能であるが、ここでは、主にイプシロンフィルタ（以下、εフィルタと記載する。）を用いる場合を例にして説明する。
【００９５】
［εフィルタについて］
まず、εフィルタについて簡単に説明する。図８は、εフィルタの機能を説明するための図である。非線形フィルタの１つであるεフィルタは、絵柄のエッジ部を保持しながらノイズ抑圧を行うことができるものである。これはノイズ信号の多くは高周波で小振幅であるという性質を利用している。
【００９６】
すなわち、一般に画像データに含まれてしまうノイズ信号は高周波で小振幅の信号であり、絵柄のエッジ部のような大振幅の信号ではない。そこで、εフィルタは、画像の所定の領域内において、注目画素とその周辺画素との間でレベル差分を取り、このレベル差分と予め設定される閾値とを比較してノイズの有無を判定し、フィルタ係数に応じた演算を行うことによってノイズを平滑化するようにしている。
【００９７】
具体的に説明する。ここでは、図８（Ａ）に示すように、３画素×３画素の領域を設定し、その中央の画素を注目画素Ｔとする場合を例にして説明する。図８（Ａ）に示した領域の画素について、図８（Ｂ）に示すように、横軸に図８（Ａ）の領域にしたがった画素位置（画素ｎｏ）を取り、縦軸に信号レベル（差分レベル）をとって、図８（Ａ）に示した領域の各画素の信号レベルと注目画素Ｔの信号レベルとの差分（レベル差分）をプロットする。なお、注目画素Ｔは基準となるものであるので、差分ではなく、注目画素Ｔの信号レベルに基づいてプロットしている。
【００９８】
そして、図８（Ｂ）において、点線で示した閾値により上下方向に範囲を示したように、画像の絵柄の振幅よりも小さい閾値幅を設定し、注目画素Ｔとの信号レベルの差分が閾値により定められた範囲外となる画素については、絵柄による差分と判断し、その画素を注目画素Ｔの平滑化のためには用いないようにする。一方、注目画素Ｔとの信号レベルの差分（レベル差分）が、閾値により定められた範囲内となる画素については、ノイズで生じる差分と判断して、その画素を注目画素Ｔの平滑化のために用いるようにする。
【００９９】
すなわち、図８（Ｂ）に示した例の場合、ｎｏ．２の画素と注目画素Ｔとのレベル差分と、ｎｏ．７の画素と注目画素Ｔとのレベル差分とは、閾値により定められた範囲外となるので、ｎｏ．２の画素とｎｏ．７の画素とは、平滑化のための平均化処理の対象（加算画素の対象）としない。
【０１００】
これに対して、ｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素と注目画素Ｔとのレベル差分は、いずれも図８（Ｂ）に示したように、閾値により定められた範囲内となるので、ｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素は、平滑化のための平均処理の対象（加算画素の対象）とする。
【０１０１】
したがって、図８（Ｂ）に示したように、注目画素Ｔとの間におけるレベル差分が、予め決められる閾値の範囲内となるｎｏ．１、ｎｏ．３、ｎｏ．４、ｎｏ．５、ｎｏ．６、ｎｏ．８のそれぞれの画素は、注目画素Ｔの平滑化のための平均化処理の加算対象となり、注目画素Ｔを周辺の画素から平均化したレベルに置き換えるようにする。そして、各画素を同様に処理することで全ての画像について平滑化が実行され、各画素は、ノイズ成分が除去されて平滑化される。これにより、画像信号により形成される画像の絵柄には影響を及ぼすことなく、ノイズ成分を除去して滑らかな画像を形成（再生）することができるようにされる。
【０１０２】
そして、上述したように、εフィルタの場合、図８（Ｂ）を用いて説明したように、閾値に基づいて、平滑化のための平均化処理の加算対象となる画素か否かを判定するので、閾値よりも大きなエッジは保持される。すなわち、図８（Ｃ）において実線で示すように、信号レベルが大きく変化するエッジを持つ画像において、点線で示すように、ノイズレベルに合わせて閾値を設定すれば、閾値外の信号は加算対象となることは無いので、画像が持つエッジは保持して、各画素（図８（Ｃ）において黒点で示したもの）のノイズ成分のみを抑圧することができるのである。
【０１０３】
なお、εフィルタにおいては、注目画素に近い周辺画素ほど重み付けを重くするなどというように、注目画素についての平滑化のための平均化処理に用いる画素の信号レベルに重み付けをつけるようにしてもよい。
【０１０４】
［Ｇノイズ低減処理部６３５１での処理の概要］
次に、図７に示したＧノイズ低減処理部６３５１について説明する。Ｇノイズ低減処理部６３５１には、Ｇ補間部６３１において補間生成された画像を構成する画素毎のＧ信号（図７（１））が順次に供給される。そして、Ｇノイズ低減処理部６３５１においては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図７（２））を出力する。
【０１０５】
また、Ｇノイズ低減処理部６３５１におけるノイズ低減処理の他の方法として、ＬＰＦ（Low Pass Filter）と減算回路、あるいは、ＨＰＦ（High Pass Filter）と減算回路などを用いることにより、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０１０６】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。なお、この他の方法（高域側と低域側とで別々のノイズ低減処理を行う方法）については、この出願の発明者による他の出願である特願２００７−２６２８７５に詳細に説明されている。
【０１０７】
なお、Ｇ信号は、輝度成分の強い信号であり、色ノイズ成分は少ないと考えられるので、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図７に示したＧノイズ低減処理部６３５１は、ノイズ低減処理部６３５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３５２があればよい。
【０１０８】
［色差ノイズ低減処理部６３５２での処理の概要］
次に、図７に示した色差ノイズ低減処理部６３５２について説明する。色差ノイズ低減処理部６３５２には、色差生成部６３２において生成された色差信号（図７（３））が供給される。すなわち、色差生成部６３２においては、図７（３）に示したように、Ｒ信号が存在する画素に対してはＲ−Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ−Ｇ信号が生成されて、これがノイズ低減処理部６３５の色差ノイズ低減処理部６３５２に供給される。そして、色差ノイズ低減処理部６３５２においては、同色同士で上述したεフィルタを用いて、Ｒ−Ｇ信号、Ｂ−Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０１０９】
しかし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。つまり、１フレームの画像の中に、例えば、オレンジ色の部分と水色の部分が隣接して存在する場合（エッジを形成している場合）に、図７（３）に示したようなＲ−Ｇ信号、Ｂ−Ｇ信号だけでは当該２つの異なる色の隣接部分（エッジ部分）においては、考慮すべきでない画素（異なる色の部分の画素）を平滑化のために加算対象としてしまう場合があり、色の滲みや抜けを生じさせてしまう場合があると考えられる。
【０１１０】
そこで、色差ノイズ低減処理部６３５２においては、εフィルタをかける際に、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色差信号の平均化処理の対象とするようにする。
【０１１１】
図９は、色差信号についてのεフィルタによる処理を説明するための図である。図７に示した色差ノイズ低減処理部６３５２においては、基本的に、図９（Ａ）に示すように、色差生成部６３２からの色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を処理対象とすればよい。しかし、上述したエッジ部分の色の滲みや抜けの問題を解消するために、図９（Ｂ）に示すように、色差信号と同じようにＧ信号についても、色差信号を処理する場合に対応し、注目画素と周辺画素とのレベル差分を取り、当該Ｇ信号のレベル差分が所定の閾値範囲内か否かをも、平均化のために用いる画素とするか否かの判断に用いる。
【０１１２】
したがって、図７において、点線の矢印で示したように、Ｇ補間部６３１から出力されるＧ信号をも色差ノイズ低減処理部６３５２に供給するようにし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であり、かつ、当該周辺画素と当該注目画素のＧ信号のレベル差分もノイズ閾値の範囲内である場合に、当該周辺画素の色差信号を注目画素の色差信号の平滑化のために用いるようにする。
【０１１３】
逆に言えば、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であっても、当該周辺画素と当該注目画素のＧ信号のレベル差分がノイズ閾値の範囲外である場合には、当該周辺画素の色差信号を注目画素の色差信号の平滑化のためには用いないようにする。
【０１１４】
このように、色差信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０１１５】
なお、Ｇ信号を考慮することなく、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号だけを用いて色ノイズの低減処理を行うようにした場合にも、色ノイズを十分に除去することができるので、より画質を重要視する製品においてはＧ信号を考慮するようにするなど、Ｇ信号を用いるものと用いないものとを切り分けするようにしてもよい。
【０１１６】
また、色差ノイズ低減処理部６３５２において、Ｇ信号を用いるか否かを、ユーザーが選択できるようにすることもできる。この場合には、キー操作部１２１を通じてＧ信号を用いるか否かの選択入力を受け付け、これに応じて、制御部１１０がカメラ信号処理部１０６のデモザイク処理部１０６３におけるノイズ低減処理部６３５における処理を制御するようにすればよい。
【０１１７】
なお、各色のノイズの大きさは異なるため、ノイズ閾値はＲ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれで異なる値を用いるようにする。ノイズの大きさはＷＢ調整部など前段にかかるゲインの大きさに比例するため、前段ゲインの大きさを考慮してノイズ閾値を制御することが有効である。また、Ｒ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれのノイズ閾値を複数、ＲＯＭ１１２などに用意しておき、キー操作部１２１を通じてユーザーが選択できるようにしてもよい。また、Ｒ−Ｇ信号、Ｂ−Ｇ信号、Ｇ信号のそれぞれのノイズ閾値を、キー操作部１２１を通じてユーザーが設定、変更できるようにすることも可能である。
【０１１８】
［ノイズ低減処理部６３５を設ける位置の重要性について］
図６を用いて説明したように、この例のノイズ低減処理部６３５は、Ｇ補間部６３１と色差生成部６３２との直後に配置している。このようにするのは、上述もしたように、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号が生成された直後であるため、色差信号に混入している色ノイズがデモザイク処理における補間処理による複雑なフィルタがかかっておらず、色ノイズを効果的に抑圧することができるためである。この点について、図１０、図１１を用いて説明する。
【０１１９】
図１０は、色差補間前の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。すなわち、図１０は、図６に示した位置に配置したノイズ低減処理部６３５により、色差信号から色ノイズ成分を除去する場合の概要を説明するための図であり、絵柄の変化がない平坦な部分にノイズが乗った信号の例を示している。
【０１２０】
図１０において、上端に記載されたＲ、Ｇ、Ｒ、Ｇ、Ｒの文字は、Ｒ信号が存在する画素の位置とＧ信号が存在する画素の位置とを示している。したがって、Ｒ信号が存在する画素に対しては、Ｒ−Ｇ信号が形成されることになる。そして、上述もしたように、εフィルタを用いて色ノイズの除去を行う場合、注目画素Ｔを基準とし、その周辺の同色の色差信号とのレベル差分が、予め決められる閾値範囲内にあれば、その周辺画素は注目画素Ｔの平滑化のための処理に用いられる。
【０１２１】
したがって、図１０に示すように、注目画素Ｔの信号レベルを基準とし、当該注目画素Ｔの近隣画素とのレベル差分が閾値範囲内にあるＲ−Ｇ信号の画素である画素Ｒ１、画素Ｒ２は、注目画素Ｔの平滑化のための処理に用いられる画素である。したがって、これら画素Ｒ１、画素Ｒ２を用いて、注目画素Ｔを平滑化すると、注目画素Ｔは、比較的に信号レベルの高いレベルｈに位置していたものが、ノイズ低減後の注目画素Ｔ１に示すように、注目画素Ｔに含まれる色ノイズ成分を大幅に低減させことができる。
【０１２２】
これに対して、図１１は、色差補間後の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。すなわち、図１１は、図３、図６に示した色差補間部６３３の後段において、色差信号から色ノイズ成分を除去する場合の概要を説明するための図である。
【０１２３】
図１１において、上端に記載されたＲ、Ｇ、Ｒ、Ｇ、Ｒの文字は、Ｒ信号が存在する画素の位置とＧ信号が存在する画素の位置とを示している。したがって、Ｒ信号が存在する画素に対しては、Ｒ−Ｇ信号が形成されることになる。そして、図３を用いて説明したように、色差補間部６３３では、近隣の同色の色差信号に基づいて、Ｇ信号が存在する画素に対しても、色差信号であるＲ−Ｇ信号を補間生成する。
【０１２４】
これにより、図１１において、画素Ｈ１、Ｈ２が示すように、色ノイズの低減処理を施す前に、Ｇ信号が存在する画素に対しても、色差信号としてのＲ−Ｇ信号が補間生成される。この後に、εフィルタを用いたノイズ低減処理を行うようにすると、既に補間生成されている画素Ｈ１、Ｈ２についても、注目画素Ｔとのレベル差分が閾値範囲内のものとなり、これらを用いてεフィルタによるノイズ低減処理を行うと、図１１に示すように、補間処理された画素Ｈ１、画素Ｈ２の影響を受けて、ノイズ低減の注目画素Ｔ１からは、多くのノイズ成分を除去することができなくなってしまう。
【０１２５】
そして、図１０、図１１を比較すると分かるように、ノイズ低減後（平滑化後）の注目画素Ｔ１と、注目画素Ｔの平滑化に用いられた周辺画素と、横軸とが囲む面積は、図１０方が小さいことが分かる。当該面積は、残存するノイズ成分の大まかな量と考えることができ、色差補間前の色差信号に対してεフィルタによるノイズ低減処理を行うようにしたほうが、より多くの色ノイズ成分を抑圧できることが分かる。
【０１２６】
なお、ここでは、色差信号としてＲ−Ｇ信号を用いる場合を例にして説明したが、色差信号としてＢ−Ｇ信号を用いる場合でも同様のことが言える。
【０１２７】
このため、図６に示したように、この実施の形態の撮像装置においては、図６に示したように、この実施の形態の撮像装置においては、ノイズ低減処理部６３５を、色差生成部６３２の直後に配置するようにしているのである。
【０１２８】
［デモザイク処理部１０６３の第２の構成例と処理の概要（ベイヤー配列の場合）］
図１２は、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例とその処理概要とを説明するためのブロック図である。図１２に示すように、この例のデモザイク処理部１０６３は、第１色差補間部６３６と第２色差補間部６３７とが設けられた点を除けば、図３に示したデモザイク処理部１０６３と同様に構成されたものである。
【０１２９】
このため、以下においては、説明を簡単にするため、図１２に示した第２のデモザイク処理部においては、図３に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。また、ここでも、撮像素子部１０２の固体撮像素子の色フィルタ（カラーフィルタ）の色コーディングがベイヤー配列である場合を例にして説明することは、図３に示した第１のデモザイク処理部１０６３の場合と同様である。
【０１３０】
そして、図１２に示すデモザイク処理部１０６３の場合には、図３に示したデモザイク処理部１０６３の色差補間部６３３の機能を２つに分け、第１色差補間部６３６と、第２色差補間部６３７とによって色差補間機能を実現している。すなわち、色差信号生成部６３２においては、図１２（３）に示すように、Ｒ信号を有する画素に対してはＲ−Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ−Ｇ信号を形成して出力する。
【０１３１】
このように、色差生成部６３２で生成された色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号は、第１色差補間部６３６に供給され、ここで図１２（４Ａ）、（４Ｂ）に示すように、Ｒ−Ｇ信号が生成された画素に対しても周囲のＢ−Ｇ信号に基づいてＢ−Ｇ信号を補間生成し、また、Ｂ−Ｇ信号が生成された画素に対しても周囲のＲ−Ｇ信号に基づいてＲ−Ｇ信号を補間生成する。
【０１３２】
そして、第２色差補間部６３７では、第１色差補間部６３６において補間生成された色差信号（図４の（４Ａ）、（４Ｂ））から、色差信号が存在しない画素に対して、色差信号の存在する周辺の画素からの補間処理により、色差信号であるＲ−Ｇ信号（図１２（５Ａ））またはＢ−Ｇ信号（図１２（５Ｂ））を補間生成する。この後のＧ足し戻し部６３４の処理は、図３を用い説明した通りである。
【０１３３】
このように、色差補間部が第１色差補間部６３６と第２色差補間部６３７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部を設けるようにする。
【０１３４】
［デモザイク処理部１０６３の構成例］
図１３は、図１２を用いて説明したように構成されるデモザイク処理部１０６３において、ノイズ低減処理部６３８を設けた場合を説明するためのブロック図である。図１３に示すように、この例のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部６３８を設けるようにしたものである。
【０１３５】
図１３に示すように、Ｇ補間処理部６３１の後段には回路ブロックはないので、図１３に示すデモザイク処理部１０６３においても、Ｇ信号に対する処理は、図６に示したデモザイク処理部の場合と同様である。しかし、色差信号に対するノイズ低減処理は、図１２（４Ａ）、（４Ｂ）に示した途中まで色差信号が補間された色差信号に対して施すことになる。
【０１３６】
図１３に示した場合のノイズ低減処理部６３８においては、図６に示したノイズ低減処理部６３５における処理と比べると、補間処理による複雑なフィルタが多少かかっている色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に対してノイズ低減処理を施すことになるが、同じ画素位置に、色差信号であるＲ−Ｇ信号とＢ−Ｇ信号とが２色とも存在しているので、図６に示したノイズ低減処理部６３５の場合よりも、絵柄のエッジを劣化させることなく、色ノイズを効果的に抑圧することができる。
【０１３７】
［ノイズ低減処理部６３８の構成例］
図１４は、図１３に示したデモザイク処理部１０６３のノイズ低減処理部６３８の構成例を説明するためのブロック図である。ノイズ低減処理部６３８の構成は、図７に示したノイズ低減処理部６３５の場合と同様に、Ｇノイズ低減処理部６３８１と、色差ノイズ低減処理部６３８２とからなっている。
【０１３８】
［Ｇノイズ低減処理部６３８１での処理の概要］
Ｇノイズ低減処理部６３８１では、図７に示したＧノイズ低減処理部６３５１と同じ形態のＧ信号を処理するので、図７に示したＧノイズ低減処理部６３５１と同じ処理を行う。すなわち、εフィルタを用いてＧ信号に対してノイズ低減処理を施したり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりすることになる。
【０１３９】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３８２においては、図７に示したノイズ低減処理部６３５の色差ノイズ低減処理部６３５２の場合と同様に、色差信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図７に示した色差ノイズ低減処理部６３５２とは、その処理の内容が若干異なる。
【０１４０】
すなわち、図１４に示すノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１４１】
同様に、Ｂ−Ｇ信号のノイズを抑圧したいときに，Ｂ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ−Ｇ信号と同じ位置のＲ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１４２】
これにより、図１４（３Ａ）、（３Ｂ）に示した色差信号からは、色ノイズが抑圧された色差信号（図１４（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０１４３】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図１４において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０１４４】
すなわち、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号とＧ信号とについて、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ−Ｇ信号のノイズを抑圧する際にも、Ｂ−Ｇ信号だけでなくＲ−Ｇ信号とＧ信号とを見てεフィルタをかけるようにする。
【０１４５】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。
【０１４６】
このように、この第２の例のデモザイク処理部１０６３で用いるノイズ低減処理部６３８は、一般的には、図１５（Ａ）、（Ｂ）に示すように、同じ画素位置に基づく色差信号Ｒ−Ｇ信号、Ｂ−Ｇ信号を相互の色ノイズの低減処理により考慮すると共に、さらに、図１５（Ｃ）に示すように、同じ画素位置に基づくＧ信号をも考慮することにより、Ｒ−Ｇ信号とＢ−Ｇ信号とのいずれの信号から色ノイズを低減される場合にも、結果として、Ｒ、Ｇ、Ｂの３原色の要素を考慮して、色差信号から色ノイズを高精度に抑圧することができるよういうにされる。
【０１４７】
［ノイズ低減処理部の変形例］
図１６は、ノイズ低減処理部６３８の他の構成例を説明するためのブロック図である。図１４に示したノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、精度よく色ノイズを抑圧するために、平滑化の対象とするか否かを判断する場合に、注目画素の色差信号とその周辺の画素の色差信号とのレベル差分を用いるだけでなく、注目画素のＧ信号とその周辺のＧ信号とのレベル差分をも考慮し、両レベル差分が所定の閾値範囲内にある場合に、その周辺画素を注目画素の平滑化のための平均化処理に用いるようにした。
【０１４８】
しかし、Ｇ信号を用いた場合には、例えば黒色の部分と赤色の部分とが隣接することにより生じるエッジをエッジとして判断できない場合がある。つまり、Ｇ信号は、輝度成分が多いといっても純粋な輝度信号ではなく、黒と赤とを表現しようとすれば、Ｇ信号は同じように含まれることになり、Ｇ信号だけではエッジと判断できないのである。
【０１４９】
そこで、図１６に示す色差ノイズ低減処理部６３８の他の例においては、Ｇ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを形成し、Ｙ信号をも考慮して、色差信号Ｃｂ、Ｃｒについてノイズ低減処理を施した後に、輝度信号Ｙと色差信号Ｃｂ、Ｃｒを元のＧ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に戻すようにしている。
【０１５０】
すなわち、図１６に示すように、この例のノイズ低減処理部６３８は、Ｇ信号と色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を、輝度信号Ｙと色差信号Ｃｂ、Ｃｒとに変換するいわゆるＹ／Ｃ変換を行うＹ／Ｃ変換部６３８３と、輝度信号Ｙのノイズ低減処理を行う輝度ノイズ低減処理部６３８４と、色差信号Ｃｂ、Ｃｒのノイズ低減処理を行う色差ノイズ低減処理部６３８５と、ノイズ低減処理された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを、元のＧ信号、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に逆変換する逆Ｙ／Ｃ変換部６３８６とを備えたものである。
【０１５１】
そして、Ｇ補間部６３１からのＧ信号（図１６（１））と、色差生成部６３２からの色差信号であるＲ−Ｇ信号（図１６（４Ａ））、Ｂ−Ｇ信号（図１６（４Ｂ））とが、Ｙ／Ｃ変換部６３８３に供給され、ここで、輝度信号Ｙ（図１６（２））、色差信号Ｃｂ（図１６（５Ａ））、色差信号Ｃｒ（図１６（５Ｂ））に変換される。そして、輝度信号Ｙは、輝ノイズ低減処理部６３８４に供給され、色差信号Ｃｂ、Ｃｒは、色差ノイズ低減処理部６３８５に供給される。
【０１５２】
輝度ノイズ低減処理部６３８４は、これに供給された輝度信号Ｙに対してノイズの低減処理を施す。ここでも、εフィルタを用いてノイズ低減処理を行ったり、Ｙ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行ったりする。輝度ノイズ低減処理部６３８４でノイズの低減処理が施された輝度信号Ｙは、逆Ｙ／Ｃ変換部６３８６に供給される。
【０１５３】
色差ノイズ低減処理部６３８５においては、色差信号Ｃｂのノイズを抑圧したいときに、色差信号Ｃｂと同じ画素位置の色差信号Ｃｒと輝度信号Ｙの周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、色差信号Ｃｂの周辺画素を平均化処理の対象とする。同様に、色差信号Ｃｒのノイズを抑圧する際にも、色差信号Ｃｒだけでなく色差信号Ｃｂと輝度信号Ｙを見てεフィルタをかけるようにする。色差ノイズ低減処理部６３８５において低減処理された色差信号Ｃｂ、Ｃｒは、逆Ｙ／Ｃ変換部６３８６に供給される。
【０１５４】
そして、逆Ｙ／Ｃ変換部６３８６においては、これに供給されたノイズ低減処理が施された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒから、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号が復元されて出力するようにされる。
【０１５５】
なお、Ｙ／Ｃ変換部６３８３における変換処理は、処理対象がＳＤ（Standard Definition）画像信号とＨＤ（High Definition）画像信号とでは異なる。図１７は、画像信号に応じたＹ／Ｃ変換処理のための計算式を示す図である。すなわち、処理対象がＳＤ画像信号の場合、図１７の（１）、（２）、（３）に示した計算式に基づいて、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換する。また、処理対象がＨＤ画像信号の場合、図１７の（４）、（５）、（６）に示した計算式に基づいて、Ｇ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号を輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換する。
【０１５６】
そして、図１６に示した構成のノイズ低減処理部６８３を用いた場合には、上述もしたように、色差ノイズ低減処理部６３８５におけるεフィルタによる色差ノイズの抑圧処理において、輝度信号Ｙの周辺画素と注目画素のレベル差分が見られるのでＧ信号を用いた場合に比べて、絵柄のエッジを保持しながらノイズ低減を行うようにすることができる。また、最終的に色を表す色差信号Ｃｂ、Ｃｒに対してノイズ抑圧処理を施すことができるので、色ノイズの効果的な抑圧を実現することができる。
【０１５７】
しかも、図１６に示した構成のノイズ低減処理部６８３は、上述もしたように、デモザイク処理部１０６３の内部に構成されるものであり、撮像装置の構成に大きな変更を生じさせたり、撮像装置の制御部１３０に大きな負荷を負わせたりすることもない。
【０１５８】
また、図１６に示した構成のノイズ低減処理部６８３では、輝度信号Ｙについても輝度ノイズ低減処理部６３８４において、ノイズ低減処理を施すようにしたが、輝度信号Ｙのノイズ低減処理は必須の要件ではなく、最終的にＹ／Ｃ変換を行った後に、ノイズ低減処理を施すようにしてもよい。
【０１５９】
なお、図７を用いて説明したデモザイク処理部６３５、図１４を用いて説明したデモザイク処理部６３８の構成からも分かるように、この発明においては、色ノイズ低減処理を行う位置が重要である。すなわち、少なくとも、色差補間処理が完全に終了するよりも前の段階、すなわち、図７を用いて説明したように、色差生成直後の位置、あるいは、図１４を用いて説明したように、Ｒ信号を有する画素とＢ信号を有する画素のそれぞれに対して、Ｒ−Ｇ信号とＢ−Ｇ信号とを補間処理した直後の位置において、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号からノイズを除去する処理を行うことによって、効果的に色ノイズを低減させることができる。
【０１６０】
また、上述した実施の形態においては、ノイズ低減処理にεフィルタを用いるようにした場合を例にして説明したが、これに限るものではない。例えば、ウェーブレット変換を用いたノイズ低減処理や、バイラテラルフィルタを用いたノイズ低減処理でも効果的に色ノイズの抑圧が可能である。
【０１６１】
［第２の実施の形態］
［色フィルタがクリアビッド配列の場合について］
上述した実施の形態においては、図１に示した構成の撮像装置１００において、撮像素子部１０２の固体撮像素子の色フィルタの色コーディングがベイヤー配列である場合を例にして説明した。しかし、これに限るものではない。例えば、クリアビッド（Clearvid）配列など他のコーディングの個体撮像素子を用いた場合であっても、この発明は適用可能である。
【０１６２】
図１８は、色フィルタの色コーディングについて説明するための図である。上述もし、また、図１８Ａに示すように、ベイヤー配列は、水平方向にＢＧＢＧ…のように、ＢとＧとが交互に並べられたラインと、水平方向にＧＲＧＲ…のように、ＧとＲとが交互に並べられたラインとが、垂直方向に交互に配置にされたものであり、Ｇ：Ｂ：Ｒの比率が２：１：１とされたものである。
【０１６３】
これに対して、クリアビッド配列は、図１８Ｂに示すように、ベイヤー配列の場合に比べて、１画素の面積を拡大して高感度特性を向上させると共に、画素の配列を４５度回転させるようにすることにより、ハイビジョンに必要な高解像度を実現するようにしたものであり、Ｇ：Ｂ：Ｒの比率が、例えば、６：１：１とされたものである。このようなクリアビッド配列の色フィルタを備えた固体撮像素子を通じて取り込んだ画像データを処理する場合にも、この発明を適用することができる。
【０１６４】
以下に説明する第２の実施の形態においては、図１８Ｂに示したように構成されるクリアビット配列の色フィルタが用いられた固体撮像素子を有する撮像装置のデモザイク処理部にこの発明を適用したものである。すなわち、この第２の実施の形態においても、図１、図２を用いて説明したように構成される撮像装置にこの発明が適用された場合として説明するが、撮像素子部１０２において用いられる固体撮像素子が、クリアビット配列の色フィルタが用いられたものである。
【０１６５】
［デモザイク処理部１０６３の第１の構成例と処理概要（クリアビッド配列の場合）］
図１９は、図１に示した撮像装置１００の撮像素子部１０２で用いられている固体撮像素子が、クリアビット配列の色フィルタを用いている場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。すなわち、図１９は、クリアビット配列の画像信号を処理対象とする、この第２の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【０１６６】
図１９と、図３とを比較すると分かるように、図１９に示すデモザイク処理部１０６３は、図３に示した場合と同様に構成されるものであり、Ｇ補間部６３１、色差生成部６３２、色差補間部６３３、Ｇ足し戻し部６３４とを備えたものである。そして、図１９において点線で囲んで示した位置Ａに、すなわち、Ｇ補間部６３１、及び色差生成部６３２の直後に、ノイズ低減処理部６３５を配置するようにしたものである。
【０１６７】
そして、図１９に示すように、入力される画像データがクリアビッド配列の画像データであるために、それぞれの処理部において、処理の対象となる信号の形式が図３のデモザイク処理部１０６３で処理の対象となったものと若干異なってくる。すなわち、デモザイク処理部１０６３のＧ補間部６３１と色差生成部６３２には、図１９（１）に示すように、クリアビット配列の画像データが供給される。
【０１６８】
そして、Ｇ補間部６３１においては、図１９（１）に示した配列の画像データのＧ信号に基づいて、図１９（２）に示すように、画像を構成する各画素のＧ信号を補間生成して出力する。また、色差生成部６３２においては、図１９（１）に示した配列の画像データから、図１９（３）に示すように、Ｒ信号を有する画素に色差信号であるＲ−Ｇ信号を生成し、Ｂ信号を有する画素に色差信号であるＢ−Ｇ信号を生成する。
【０１６９】
そして、Ｇ補間部６３１からのＧ信号と、色差生成部６３２からのＲ−Ｇ信号、Ｂ−Ｇ信号とは、後述するように、図１９の位置Ａに配置されるノイズ低減処理部６３５においてノイズ低減処理される。この後、ノイズ低減処理されたＲ−Ｇ信号、Ｂ−Ｇ信号は、色差補間処理部６３３に供給される。
【０１７０】
色差補間処理部６３３は、これに供給される図１９（３）に示した色差信号に基づいて、画像を構成する画素毎にＲ−Ｇ信号（図１９（４Ａ））、Ｂ−Ｇ信号（図１９（４Ｂ））を生成して、これをＧ足し戻し部６３４に供給する。Ｇ足し戻し部６３４は、色差補間部６３３からのＲ−Ｇ信号（図１９（４Ａ））、Ｂ−Ｇ信号（図１９（４Ｂ））に対して、後述するノイズ低減処理部６３５からのＧ信号が足し戻しする処理を行い、画像を構成する画素毎に、Ｒ信号、Ｂ信号を形成して出力する。これにより、図１９に示すデモザイク処理部１０６３からは、画像を形成する画素毎に形成されたＧ信号（図１９（２））、Ｒ信号（図１９（５Ａ））、Ｂ信号（図１９（５Ｂ））が出力される。
【０１７１】
［ノイズ低減処理部６３５の構成例］
図２０は、図１９に示した位置Ａに配置されるノイズ低減処理部６３５の構成例を説明するためのブロック図である。図２０に示すように、この例のノイズ低減処理部６３５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３５１と、色差信号に混入しているノイズを低減させる色差ノイズ低減処理部６３５２とを備えたものである。すなわち、この図２０に示したノイズ低減処理部６３５は、図７に示したノイズ低減処理部６３５と同様に構成されるものであるが、色差ノイズ低減処理部６３５２で処理される信号の形式が異なっている。
【０１７２】
［Ｇノイズ低減処理部６３５１での処理の概要］
Ｇノイズ低減処理部６３５１には、Ｇ補間部６３１において補間生成された画像を構成する画素毎のＧ信号（図２０（１））が順次に供給される。そして、Ｇノイズ低減処理部６３５１においては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図２０（２））を出力する。
【０１７３】
また、Ｇノイズ低減処理部６３５１におけるノイズ低減処理の他の方法として、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０１７４】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。
【０１７５】
なお、この例の場合にも、Ｇ信号については、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図７に示したノイズ低減処理部６３５１は、ノイズ低減処理部６３５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３５２があればよい。
【０１７６】
［色差ノイズ低減処理部６３５２での処理の概要］
色差ノイズ低減処理部６３５２には、色差生成部６３２において生成された色差信号（図２０（３））が供給される。すなわち、色差生成部６３２においては、図２０（３）に示したように、Ｒ信号が存在する画素に対してはＲ−Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ−Ｇ信号が生成されて、これがノイズ低減処理部６３５の色差ノイズ低減処理部６３５２に供給される。そして、色差ノイズ低減処理部６３５２においては、同色同士で上述したεフィルタを用いて、Ｒ−Ｇ信号、Ｂ−Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０１７７】
しかし、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。
【０１７８】
そこで、色差ノイズ低減処理部６３５２においては、εフィルタをかける際に、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色差信号の平均化処理の対象とするようにする。
【０１７９】
このように、色差信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０１８０】
［デモザイク処理部１０６３の第２の構成例と処理の概要（クリヤビッド配列の場合）］
図２１は、図１に示した撮像装置１００の撮像素子部１０２で用いられている固体撮像素子が、クリアビット配列の色フィルタを用いている場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。すなわち、図２１は、第２の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【０１８１】
図２１に示すように、この例のデモザイク処理部１０６３は、第１色差補間部６３６と第２色差補間部６３７とが設けられ、これらの間の位置Ｂにノイズ低減処理部６３８が設けられるようにされた点を除けば、図１９に示したデモザイク処理部１０６３と同様に構成されたものである。ここでは、説明を簡単にするため、図２１に示した第２のデモザイク処理部においては、図１９に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
【０１８２】
そして、図２１に示すデモザイク処理部１０６３の場合には、図１９に示したデモザイク処理部１０６３の色差補間部６３３の機能を２つに分け、第１色差補間部６３６と、第２色差補間部６３７とによって色差補間機能を実現している。すなわち、色差信号生成部６３２においては、図２１（３）に示すように、Ｒ信号を有する画素に対してはＲ−Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ−Ｇ信号を形成して出力する。
【０１８３】
このように、色差生成部６３２で生成された色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号は、第１色差補間部６３６に供給され、ここで図２１（４Ａ）、（４Ｂ）に示すように、Ｒ−Ｇ信号が生成された画素に対しても周囲のＢ−Ｇ信号に基づいてＢ−Ｇ信号を補間生成し、また、Ｂ−Ｇ信号が生成された画素に対しても周囲のＲ−Ｇ信号に基づいてＲ−Ｇ信号を補間生成する。
【０１８４】
そして、第２色差補間部６３７では、第１色差補間部６３６において補間生成された色差信号（図２１（４Ａ）、（４Ｂ））から、色差信号が存在しない画素に対して、色差信号の存在する周辺の画素からの補間処理により、色差信号であるＲ−Ｇ信号（図２１（５Ａ））、Ｂ−Ｇ信号（図１２の（５Ｂ））を補間生成する。この後のＧ足し戻し部６３４の処理は、図１９を用い説明した通りである。
【０１８５】
このように、色差補間部が第１色差補間部６３６と第２色差補間部６３７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色差補間部６３６と第２色差補間部６３７との間にノイズ低減処理部６３８を設けるようにしている。
【０１８６】
［ノイズ低減処理部６３８の構成例］
図２２は、図２１に示した位置Ｂに設けられるノイズ低減処理部６３８の構成例を説明するためのブロック図である。ノイズ低減処理部６３８の構成は、図２０に示したノイズ低減処理部６３５の場合と同様に、Ｇノイズ低減処理部６３８１と、色差ノイズ低減処理部６３８２とからなっている。
【０１８７】
［Ｇノイズ低減処理部６３８１での処理の概要］
Ｇノイズ低減処理部６３８１では、図２０に示したＧノイズ低減処理部６３５１と同じＧ信号を処理するので、図２０に示したＧノイズ低減処理部６３５１と同じ処理を行う。すなわち、εフィルタを用いたり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりすることになる。
【０１８８】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３８２においては、図２０に示したノイズ低減処理部６３５の色差ノイズ低減処理部６３５２の場合と同様に、色差信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図２０に示した色差ノイズ低減処理部６３５２とは、その処理の内容が若干異なる。
【０１８９】
すなわち、図２２に示すノイズ低減処理部６３８の色差ノイズ低減処理部６３８２においては、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１９０】
同様に、Ｂ−Ｇ信号のノイズを抑圧したいときに，Ｂ−Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ−Ｇ信号と同じ位置のＲ−Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ−Ｇ信号の周辺画素を平均化処理の対象とする。
【０１９１】
これにより、図２２（３Ａ）、（３Ｂ）に示した色差信号からは、色ノイズが抑圧された色差信号（図２２（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０１９２】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図２２において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０１９３】
すなわち、Ｒ−Ｇ信号のノイズを抑圧したいときに、Ｒ−Ｇ信号と同じ位置のＢ−Ｇ信号とＧ信号とについて、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ−Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ−Ｇ信号のノイズを抑圧する際にも、Ｂ−Ｇ信号だけでなくＲ−Ｇ信号とＧ信号を見てεフィルタをかけるようにする。
【０１９４】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。
【０１９５】
［カメラ信号処理部の他の構成例について］
上述した実施の形態の撮像装置１００のカメラ信号処理部１０６は、図２に示したように構成され、当該カメラ信号処理部１０６のデモザイク処理部１０６３において、色ノイズの低減処理を行うようにした。しかし、ノイズ低減処理は、デモザイク処理部１０６３だけでなく、デモザイク処理部１０６３において行う色ノイズの低減処理に加えて、当該デモザイク処理部１０６３の前段において、別のノイズ低減処理を行うようにしてもよい。
【０１９６】
図２３は、カメラ信号処理部１０６の他の例を説明するためのブロック図である。図２３において、図２に示したカメラ信号処理部１０６と同様に構成される部分には同じ参照符号を付し、その部分の説明については省略する。そして、図２３に示すようにデモザイク処理中のノイズ低減処理に加え、例えばノイズ低減処理部１０６８が示すように、デモザイク処理前の適宜の位置にノイズ低減処理を入れて、デモザイク処理部１０６３における色ノイズ低減処理と組み合わせて使用するようにしても良い。このとき、Ｇ信号はデモザイク処理部１０６３で相関を考慮したフィルタ処理が行われて絵柄成分とノイズ成分の区別が難しくなるので、その前のＲａｗ状態でＧ信号のみノイズ低減処理部１０６８でノイズ低減を行い、Ｒ信号、Ｂ信号には何も処理をしないようにしたり、Ｒ信号、Ｂ信号は弱めにノイズ低減を施すようにしたりするなどのことも可能である。
【０１９７】
［第３の実施の形態］
［色比信号の利用について］
上述した実施の形態においては、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号に対してノイズ低減処理を施すことにより、色ノイズを抑制するようにしたが、色比信号を用いるようにした場合にも、色差信号を用いた場合と同様に処理可能である。以下に説明する第３の実施の形態においては、色差信号に代えて色比信号を用いるようにするものである。そして、この第３の実施の形態においても、図１、図２を用いて説明したように構成される撮像装置にこの発明が適用された場合として説明する。
【０１９８】
［デモザイク処理部１０６３の第１の構成例と処理概要（色比信号を用いる場合）］
図２４は、色差信号に代えて色比信号を用いるようにした場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。すなわち、図２４は、第３の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。なお、この第３の実施の形態においては、ベイヤー配列の画像データを処理する場合を例にして説明する。
【０１９９】
図２４に示すデモザイク処理部１０６３は、Ｇ補間処理部６３０１、色比生成部６３０２、色比補間部６３０３、Ｇ掛け戻し部６３０４とを備えたものである。そして、図２４において点線で囲んで示した位置Ａに、すなわち、Ｇ補間部６３１、及び色差生成部６３２の直後に、ノイズ低減処理部６３０５を配置するようにしたものである。
【０２００】
そして、この例のデモザイク処理部１０６３のＧ補間部６３０１と色比生成部６３０２には、図２４（１）に示すように、ベイヤー配列の画像データが供給される。そして、Ｇ補間部６３０１においては、図２４（１）に示した配列の画像データのＧ信号に基づいて、図２４（２）に示すように、画像を構成する各画素のＧ信号を補間生成して出力する。
【０２０１】
また、色比生成部６３０２においては、図２４（１）に示した配列の画像データから、図２４（３）に示すように、Ｒ信号を有する画素にＲ信号とＧ信号との比（色比信号）として表現されるＲ／Ｇ信号を生成し、Ｂ信号を有する画素にＢ信号とＧ信号との比（色比信号）として表現されるＢ／Ｇ信号を生成する。
【０２０２】
そして、Ｇ補間部６３０１からのＧ信号と、色比生成部６３０２からのＲ／Ｇ信号、Ｂ／Ｇ信号とは、後述するように、図２４の位置Ａに配置されるノイズ低減処理部６３０５においてノイズ低減処理される。この後、ノイズ低減処理されたＲ／Ｇ信号、Ｂ／Ｇ信号は、色比補間処理部６３０３に供給される。
【０２０３】
色比補間処理部６３０３は、これに供給される図２４（３）に示した色比信号に基づいて、画像を構成する画素毎にＲ／Ｇ信号（図２４（４Ａ））、Ｂ／Ｇ信号（図２４（４Ｂ））を生成して、これをＧ掛け戻し部６３０４に供給する。Ｇ掛け戻し部６３０４は、色比補間部６３０３からのＲ／Ｇ信号（図２４（４Ａ））、Ｂ／Ｇ信号（図２４（４Ｂ））に対して、後述するノイズ低減処理部６３０５からのＧ信号が掛け戻され、画像を構成する画素毎に、Ｒ信号、Ｂ信号が形成されて出力される。これにより、図２４に示すデモザイク処理部１０６３からは、画像を構成する画素毎に形成されたＧ信号（図２４（２））、Ｒ信号（図２４（５Ａ））、Ｂ信号（図２４（５Ｂ））が出力される。
【０２０４】
［ノイズ低減処理部６３５の構成例］
図２５は、図２４に示した位置Ａに配置されるノイズ低減処理部６３０５の構成例を説明するためのブロック図である。図２５に示すように、この例のノイズ低減処理部６３０５は、Ｇ信号に混入しているノイズを低減させるＧノイズ低減処理部６３０５Ａと、色比信号に混入しているノイズを低減させる色比ノイズ低減処理部６３０５Ｂとを備えたものである。
【０２０５】
［Ｇノイズ低減処理部６３０５Ａでの処理の概要］
Ｇノイズ低減処理部６３０５Ａには、Ｇ補間部６３０１において補間生成された画像を構成する画素毎のＧ信号（図２５（１））が順次に供給される。そして、Ｇノイズ低減処理部６３０５Ａにおいては、上述したεフィルタを用いて、Ｇ信号に含まれるノイズ成分を除去するように処理を行い、ノイズ低減されたＧ信号（図２５（２））を出力する。
【０２０６】
また、Ｇノイズ低減処理部６３０５Ａにおけるノイズ低減処理の他の方法として、Ｇ信号を高周波側（高周波成分）と低周波側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高周波側と低周波側とで別々のノイズ低減処理を行うようにしてもよい。
【０２０７】
この他の方法を用いることにより、例え低照度で画像信号の絵柄成分とノイズ成分の大きさが近いときであっても、処理対象の画像信号により形成される絵柄の特徴を保持しながら、孤立点を生じさせないようにノイズ抑圧（低減）を行えるようにすることができる。
【０２０８】
なお、この例の場合にも、Ｇ信号については、デモザイク処理部１０６３の中ではノイズ低減処理は行わずに、デモザイク処理前の段階においてＧ信号のノイズ低減処理を行うようにしたり、あるいは、図２に示したＹ／Ｃ変換部１０６６によるＹ／Ｃ変換の後のＹ信号（輝度信号）に対してノイズ低減処理を行うようにしたりするなどの選択もできる。すなわち、図２５に示したＧノイズ低減処理部６３０５Ａは、ノイズ低減処理部６３０５の必須の構成要件ではなく、画像信号に含まれる色ノイズを効率的に低減させるためには、以下に詳述する色差ノイズ低減処理部６３０５Ｂがあればよい。
【０２０９】
［色比ノイズ低減処理部６３０５Ｂでの処理の概要］
色比ノイズ低減処理部６３０５Ｂには、色比生成部６３０２において生成された色比信号（図２５（３））が供給される。すなわち、色比生成部６３０２においては、図２５（３）に示したように、Ｒ信号が存在する画素に対してはＲ／Ｇ信号が生成され、Ｂ信号が存在する画素に対してはＢ／Ｇ信号が生成されて、これがノイズ低減処理部６３０５の色比ノイズ低減処理部６３０５Ｂに供給される。そして、色比ノイズ低減処理部６３０５Ｂにおいては、同色同士で上述したεフィルタを用いて、Ｒ／Ｇ信号、Ｂ／Ｇ信号に含まれるノイズ成分（色ノイズ成分）を除去するように処理する。
【０２１０】
しかし、色比信号であるＲ／Ｇ信号、Ｂ／Ｇ信号のみに基づいてεフィルタをかけると、絵柄のエッジ部分で色が滲んだり、色の高周波部分で色が抜けたりする場合があると考えられる。
【０２１１】
そこで、色差ノイズ低減処理部６３０５Ｂにおいては、εフィルタをかける際に、色差信号であるＲ／Ｇ信号、Ｂ／Ｇ信号について、周辺画素と注目画素のレベル差分がノイズ閾値の範囲内であることだけでなく、色差信号についてレベル差分を取る周辺画素と注目画素との間でＧ信号についてのレベル差分をも取るようにし、当該Ｇ信号についてのレベル差分についてもノイズ閾値の範囲内にある場合に、当該周辺画素を色比信号の平均化処理の対象とするようにする。
【０２１２】
このように、色比信号からεフィルタを用いて色ノイズ成分を除去する場合に、Ｇ信号のレベルをも考慮することにより、高精度に色ノイズ成分を除去し、適切に画像の色を再現することができるようにされる。
【０２１３】
［デモザイク処理部１０６３の第２の構成例と処理概要（色比信号を用いる場合）］
図２６は、色差信号に代えて色比信号を用いるようにした場合における、図２に示したカメラ信号処理部１０６のデモザイク処理部１０６３の第２の構成例と処理の概要とを説明するためのブロック図である。すなわち、図２６は、第３の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。この場合にも、ベイヤー配列の画像データを処理する場合を例にして説明する。
【０２１４】
図２６に示すように、この例のデモザイク処理部１０６３は、第１色比補間部６３０６と第２色比補間部６３０７とが設けられ、これらの間の位置Ｂにノイズ低減処理部６３０８が設けられるようにされた点を除けば、図２４に示したデモザイク処理部１０６３と同様に構成されたものである。ここでは、説明を簡単にするため、図２６に示した第２のデモザイク処理部において、図２４に示した第１のデモザイク処理部１０６３と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
【０２１５】
そして、図２６に示すデモザイク処理部１０６３の場合には、図２４に示したデモザイク処理部１０６３の色比補間部６３０３の機能を２つに分け、第１色比補間部６３０６と、第２色比補間部６３０７とによって色比補間機能を実現している。すなわち、色比信号生成部６３０２においては、図２６（３）に示すように、Ｒ信号を有する画素に対してはＲ／Ｇ信号を形成して出力し、Ｂ信号を有する画素に対してはＢ／Ｇ信号を形成して出力する。
【０２１６】
このように、色比生成部６３０２で生成された色比信号であるＲ／Ｇ信号、Ｂ／Ｇ信号は、第１色比補間部６３０６に供給され、ここで図２６（４Ａ）、（４Ｂ）に示すように、Ｒ／Ｇ信号が生成された画素に対しても周囲のＢ／Ｇ信号に基づいてＢ／Ｇ信号を補間生成し、また、Ｂ／Ｇ信号が生成された画素に対しても周囲のＲ／Ｇ信号に基づいてＲ／Ｇ信号を補間生成する。
【０２１７】
そして、第２色比補間部６３０７では、第１色比補間部６３０６において補間生成された色比信号（図２６（４Ａ）、（４Ｂ））から、色比信号が存在しない画素に対して、色比信号の存在する周辺の画素からの補間処理により、色比信号であるＲ／Ｇ信号（図２６（５Ａ））、Ｂ／Ｇ信号（図２６（５Ｂ））を補間生成する。この後のＧ掛け戻し部６３０４の処理は、図２４を用い説明した通りである。
【０２１８】
このように、色比補間部が第１色比補間部６３０６と第２色比補間部６３０７とに分けられた構成のデモザイク処理部１０６３の場合には、第１色比補間部６３０６と第２色比補間部６３０７との間にノイズ低減処理部６３０８を設けるようにしている。
【０２１９】
［ノイズ低減処理部６３０８の構成例］
図２７は、図２６に示した位置Ｂに設けられるノイズ低減処理部６３０８の構成例を説明するためのブロック図である。ノイズ低減処理部６３０８の構成は、図２５に示したノイズ低減処理部６３０５の場合と同様に、Ｇノイズ低減処理部６３０８Ａと、色差ノイズ低減処理部６３０８Ｂとからなっている。
【０２２０】
［Ｇノイズ低減処理部６３０８Ａでの処理の概要］
Ｇノイズ低減処理部６３０８Ａでは、図２５に示したＧノイズ低減処理部６３０５Ａと同じＧ信号を処理するので、図２５に示したＧノイズ低減処理部６３０５Ａと同じ処理を行う。すなわち、εフィルタを用いノイズ低減処理を行うようにしたり、あるいは、Ｇ信号を高域側（高周波成分）と低域側（低周波成分）とに帯域分割し、高周波側はコアリング処理やリミット処理を施し、低周波側はεフィルタなどで処理することにより、高域側と低域側とで別々のノイズ低減処理を行うようにしたりする。
【０２２１】
［色差ノイズ低減処理部６３８２での処理の概要］
また、色差ノイズ低減処理部６３０８Ｂにおいては、図２５に示したノイズ低減処理部６３０５の色比ノイズ低減処理部６３０５Ｂの場合と同様に、色比信号から色ノイズの低減処理を行うようにするのであるが、以下に説明するように、図２５に示した色比ノイズ低減処理部６３０５Ｂとは、その処理の内容が若干異なる。
【０２２２】
すなわち、図２７に示すノイズ低減処理部６３０８の色差ノイズ低減処理部６３０８Ｂにおいては、Ｒ／Ｇ信号のノイズを抑圧したいときに、Ｒ／Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｒ／Ｇ信号と同じ位置のＢ／Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ／Ｇ信号の周辺画素を平均化処理の対象とする。
【０２２３】
同様に、Ｂ／Ｇ信号のノイズを抑圧したいときに，Ｂ／Ｇ信号に対して周辺画素と注目画素のレベル差がノイズ閾値の範囲内であるのをみるだけでなく、Ｂ／Ｇ信号と同じ位置のＲ／Ｇ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｂ／Ｇ信号の周辺画素を平均化処理の対象とする。
【０２２４】
これにより、図２７（３Ａ）、（３Ｂ）に示した色比信号からは、色ノイズが抑圧された色比信号（図２７（４Ａ）、（４Ｂ））を得ることができるようにされる。
【０２２５】
さらに、絵柄のエッジ部分をも考慮して、より高精度にノイズ低減処理を行うようにする場合には、図２７において点線矢印で示したように、Ｇ信号の信号レベルをも考慮するようにする。
【０２２６】
すなわち、Ｒ／Ｇ信号のノイズを抑圧したいときに、Ｒ／Ｇ信号と同じ位置のＢ／Ｇ信号とＧ信号の周辺画素と注目画素のレベル差分がノイズ閾値の範囲内である場合に、Ｒ／Ｇ信号の周辺画素を平均化処理の対象とする。同様に、Ｂ／Ｇ信号のノイズを抑圧する際にも、Ｂ／Ｇ信号だけでなくＲ／Ｇ信号とＧ信号を見てεフィルタをかけるようにする。
【０２２７】
これにより、図７に示したノイズ低減処理部６３５においても説明したように、絵柄のエッジ部分において、色彩が大きく異なる不要な画素の信号成分を画素の平滑化のための処理に入れないようにすることが可能となり、色の滲みや抜けを生じさせないようにすることができる。また、第３の実施の形態では、ベイヤー配列の画像データを処理する場合を例にして説明したが、これに限るものではない。クリアビッド配列の画像データを処理する場合にも、上述した第３の実施の形態の場合と同様にして色比信号を用いるようにすることもできる。
【０２２８】
［デモザイク処理部における処理のまとめ］
上述した第１〜第３の実施の形態の説明から分かるように、この出願の発明は、デモザイク処理部１０６３において、色ノイズを効果的に低減させることができるようにするもので、その方法は、大きく分けて２通りある。第１の方法は、図６、図１９、図２４を用いて説明したように、色関連信号としての色差信号や色比信号の生成直後の位置で、これら色差信号や色比信号から色ノイズの低減を図るようにするものである。
【０２２９】
第２の方法は、図１３、図２１、図２６を用いて説明したように、生成された色関連信号としての色差信号や色比信号から、画像を構成する画素毎に色差信号や色比信号を補間生成する場合に、当該補間生成を、色差信号、色比信号が生成された画素に対して、別の色の色差信号、色比信号を補間生成する第１補間処理と、第１補間処理の後、画像を構成する画素毎に色差信号、色比信号を補間生成する第２補間処理とを設け、第１補間処理後の色差信号や色比信号から色ノイズの低減を図るようにするものである。
【０２３０】
以下においては、これら第１の方法を用いたデモザイク処理と第２の方法を用いたデモザイク処理とのそれぞれについて、フローチャートを参照しながらその処理内容についてまとめる。
【０２３１】
［第１の方法が適用されたデモザイク処理について］
図２８は、上述した第１の方法が適用されたデモザイク処理について説明するためのフローチャートである。この図２８に示すフローチャートの処理は、図６、図１９、図２４に示したデモザイク処理部において用いられる方法である。なお、上述もしたように、色ノイズを低減させる信号は、色差信号の場合と、色比信号の場合とがあるが、以下においては、主に色差信号を用いる場合について説明するが、色比信号を用いる場合にも同様に処理することができる。
【０２３２】
デモザイク処理を行う場合、まず、Ｒａｗデータの形式の入力画像データから、色関連信号としての色差信号（色比信号）を生成する（ステップＳ１０１）。そして、生成された色差信号（色比信号）に対して、例えば、εフィルタなどの所定の方式を用いて、色ノイズを低減させるための処理を施す（ステップＳ１０２）。
【０２３３】
この後、色ノイズの低減処理が施された色差信号（色比信号）を用いて補間処理を行うことにより、画像を構成する画素毎に色差信号（色比信号）を補間生成する（ステップＳ１０３）。そして、ステップＳ１０３において、画像を構成する画素毎に補間生成された色差信号（色比信号）に対して、同じ画素位置のＧ信号を考慮して、Ｒ信号、Ｂ信号を生成する（ステップＳ１０４）。
【０２３４】
すなわち、ステップＳ１０４の処理は、処理対象が色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）である場合には、Ｇ信号を足し戻す処理であり、処理対象が色比信号（Ｒ／Ｇ信号、Ｂ／Ｇ信号）である場合には、Ｇ信号を掛け戻す処理である。そして、画像を構成する画素毎に形成された三原色信号であるＲ信号、Ｇ信号、Ｂ信号を出力することにより（ステップＳ１０５）、一連のデモザイク処理が行われる。
【０２３５】
なお、図２８には明記しなかったが、ステップＳ１０１の処理において、Ｇ信号の補間生成を行い、画像を構成する画素毎にＧ信号が生成される。このＧ信号に対しては、上述もしたように、ノイズ低減処理を施してもよいし、施さなくてもよい。
【０２３６】
このように、色関連信号としての色差信号や色比信号を生成した直後に、色差信号や色比信号に対して色ノイズの低減処理を行うようにした場合には、色差信号や色比信号の補間処理が行われる前であるので、補間処理の影響を受けることなく、適切に色ノイズの低減処理を行うようにすることができる。
【０２３７】
また、図２８にしたがったプログラムを作成し、これをＣＰＵにおいて実行されることにより、この発明に係るデモザイク処理部の機能をＣＰＵにおいて実現することもできる。すなわち、この発明に係るデモザイク処理はソフトウェアによっても実現することができる。
【０２３８】
［第２の方法が適用されたデモザイク処理について］
図２９は、上述した第２の方法が適用されたデモザイク処理について説明するためのフローチャートである。この図２９に示すフローチャートの処理は、図１３、図２１、図２６に示したデモザイク処理部において用いられる方法である。なお、この第２の方法の場合においても、主に色差信号を用いる場合について説明するが、色比信号を用いる場合にも同様に処理することができる。
【０２３９】
デモザイク処理を行う場合、まず、Ｒａｗデータの形式の入力画像データから、色関連信号としての色差信号（色比信号）を生成する（ステップＳ２０１）。そして、生成された式信号（色比信号）に基づいて、当該色差信号（色比信号）が生成された画素に、異なる色の色差信号（色比信号）を補間生成する（ステップＳ２０２）。
【０２４０】
すなわち、ステップＳ２０１の処理により、Ｒ信号の存在する画素にはＲ−Ｇ信号（Ｒ／Ｇ信号）が生成され、Ｂ信号の存在する画素にはＢ−Ｇ信号（Ｂ／Ｇ信号）が生成されている。そこで、ステップＳ２０２の処理においては、Ｒ−Ｇ信号（Ｒ／Ｇ信号）が生成されている画素に対して、Ｂ−Ｇ信号（Ｂ／Ｇ信号）を生成し、Ｂ−Ｇ信号（Ｂ／Ｇ信号）が生成されている画素に対して、Ｒ−Ｇ信号（Ｒ／Ｇ信号）を生成する処理であり、色差信号（色比信号）についての第１補間処理に相当する。
【０２４１】
そして、ステップＳ２０２において、第１補間処理された色差信号（色比信号）に対して、例えば、εフィルタなどの所定の方式を用いて、色ノイズを低減させるための処理を施す（ステップＳ２０３）。
【０２４２】
この後、色ノイズの低減処理が施された色差信号（色比信号）を用いて補間処理を行うことにより、画像を構成する画素毎に色差信号（色比信号）を補間生成する（ステップＳ２０４）。このステップＳ２０４の色差信号（色比信号）の補間生成処理は、第２補間処理に相当する。
【０２４３】
そして、ステップＳ２０４において、画像を構成する画素毎に補間生成された色差信号（色比信号）に対して、同じ画素位置のＧ信号を考慮して、Ｒ信号、Ｂ信号を生成する（ステップＳ２０５）。すなわち、ステップＳ２０５の処理は、処理対象が色差信号（Ｒ−Ｇ信号、Ｂ−Ｇ信号）である場合には、Ｇ信号を足し戻す処理であり、処理対象が色比信号（Ｒ／Ｇ信号、Ｂ／Ｇ信号）である場合には、Ｇ信号を掛け戻す処理である。そして、画像を構成する画素毎に形成された三原色信号であるＲ信号、Ｇ信号、Ｂ信号を出力することにより（ステップＳ２０６）、一連のデモザイク処理が行われる。
【０２４４】
なお、図２９には明記しなかったが、ステップＳ２０１の処理において、Ｇ信号の補間生成を行い、画像を構成する画素毎にＧ信号が生成される。このＧ信号に対しては、上述もしたように、ノイズ低減処理を施してもよいし、施さなくてもよい。
【０２４５】
このように、色関連信号としての色差信号や色比信号を生成した後、第１補間処理された色差信号（色比信号）に対して色ノイズの低減処理を行うようにした場合には、Ｒ−Ｇ信号（Ｒ／Ｇ信号）とＢ−Ｇ信号（Ｂ／Ｇ信号）との双方を用いて、精度良く色ノイズの低減処理を行うようにすることができる。
【０２４６】
また、図２９にしたがったプログラムを作成し、これをＣＰＵにおいて実行されることにより、この発明に係るデモザイク処理部の機能をＣＰＵにおいて実現することもできる。すなわち、この発明に係るデモザイク処理はソフトウェアによっても実現することができる。
【０２４７】
［その他］
なお、第１の実施の形態のノイズ低減処理部６３８の他の構成例として、図１６を用いて説明したように、Ｇ信号、色差信号であるＲ−Ｇ信号、Ｂ−Ｇ信号を、輝度信号Ｙ、色差信号Ｃｒ、Ｃｂに変換してノイズ低減処理を施し、ノイズ低減処理後の輝度信号Ｙ、色差信号Ｃｒ、ＣｂをＧ信号、Ｒ−Ｇ信号、Ｂ−Ｇ信号に変換し直す構成について説明した。しかし、これは、第１の実施の形態のノイズ低減処理部６３８においてのみ適用可能ものではない。第１の実施の形態のノイズ低減処理部６３５にも適用可能であるし、第２の実施の形態のノイズ低減処理部６３５、６３８、第３の実施の形態のノイズ低減処理部６３０５、６３０８に適用することも可能である。
【０２４８】
また、上述もしたように、この発明は、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話端末などの携帯電子機器に搭載されるカメラモジュール、イメージリーダ、スキャナなどの単板の固体撮像素子を通じて取り込んだ画像データを処理する種々の撮像装置や、単板の固体撮像素子を通じて取り込んで記憶保持するようにされたＲａｗデータを処理する種々の画像処理装置などにも適用可能なものである。
【０２４９】
また、図２において２重線で囲んで示したデモザイク処理部１０６３をＩＣ化するような場合にも、当該ＩＣ化するデモザイク処理部にこの発明を適用することができる。また、カメラ信号処理部１０６を１つの回路ブロックとして構成する場合にも、そのモザイク処理部にこの発明を適用することが可能である。
【０２５０】
また、この出願の特許請求の範囲に記載した請求項の構成要件と、上述した実施の形態の各部との対応関係を示すと以下のようになる。すなわち、請求項における撮像素子は、図１に示した撮像素子部１０２に搭載されている固体撮像素子に相当する。また、デモザイク処理手段は、図２、図３、図６、図７、図１２、図１３、図１９、図２１、図２４、図２６に示した核デモザイク処理部に相当する。
【０２５１】
そして、デモザイク処理手段の生成部は、各デモザイク処理部１０６３の色差生成部６３２、色比生成部６３０２が相当し、ノイズ低減部は、各デモザイク処理部１０６３のノイズ低減処理部６３５、６３８、６３０５、６３０８が相当する。また、請求項における目的色信号は、Ｒ信号、Ｂ信号を想定しており、所定の他の色信号は、Ｇ信号を想定している。また、第１の補間部は、第１色差補間部６３６、第１色比補間部６３０６が相当し、第２の補間部は、第２色差補間部６３７、第２色比補間部６３０７が相当する。
【０２５２】
また、請求項における色関連信号という文言は、色差信号や色比信号を包括する文言として用いている。また、請求項における変換部は、Ｙ／Ｃ変換部６３８３が相当し、逆変換部は、逆Ｙ／Ｃ変換部６３８６が相当する。
【０２５３】
また、上述した実施の形態においては、色信号として、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色信号を用いるものとして説明したが、これに限るものではない。近年においては、３原色信号に加えてエメラルド色とった色信号を用いるようにしているものもあるが、このような色信号を用いる場合にもこの発明を適用することが可能である。
【０２５４】
すなわち、少なくとも、色差信号や色比信号といった、目的色信号と所定の他の色信号とを演算することにより、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号に対して、色ノイズの低減処理を施すようにすることにより、この発明が実現される。
【図面の簡単な説明】
【０２５５】
【図１】この発明の位置実施の形態が適用された撮像装置１００を説明するためのブロック図である。
【図２】図１に示した撮像装置１００のカメラ信号処理部１０６を説明するためのブロック図である。
【図３】第１の実施の形態のデモザイク処理部１０６３の第１の構成例とその処理の概要とを説明するためのブロック図である。
【図４】ベイヤー配列のＲａｗ動画像データからＲ信号及びＢ信号についても直接に補間処理により生成する場合について説明するための図である。
【図５】ベイヤー配列のＲａｗ動画像データからＲ信号及びＢ信号については色差信号を介在させて生成する場合について説明するための図である。
【図６】ノイズ低減処理部６３５が設けられた第１の実施の形態のデモザイク処理部１０６３の第１の構成例を説明するためのブロック図である。
【図７】図６に示したノイズ低減処理部６３５の構成例を説明するためのブロック図である。
【図８】εフィルタの機能を説明するための図である。
【図９】図７に示したノイズ低減処理部６３５におけるεフィルタによる処理を説明するための図である。
【図１０】色差補間前の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。
【図１１】色差補間後の色差信号に対してεフィルタを用いてノイズ低減処理する場合の処理概要を説明するための図である。
【図１２】第１の実施の形態のデモザイク処理部１０６３の第２の構成例とその処理の概要とを説明するためのブロック図である。
【図１３】ノイズ低減処理部６３８が設けられた第１の実施の形態のデモザイク処理部１０６３の第２の構成例を説明するためのブロック図である。
【図１４】図１３に示したノイズ低減処理部６３８の構成例を説明するためのブロック図である。
【図１５】図１４に示したノイズ低減処理部６３８におけるεフィルタによる処理を説明するための図である。
【図１６】ノイズ低減処理部６３８の他の構成例を説明するためのブロック図である。
【図１７】画像信号に応じたＹ／Ｃ変換処理のための計算式を示す図である。
【図１８】色フィルタの色コーディングについて説明するための図である。
【図１９】第２の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【図２０】図１９に示した位置Ａに配置されるノイズ低減処理部６３５の構成例を説明するためのブロック図である。
【図２１】第２の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【図２２】図２１に示した位置Ｂに設けられるノイズ低減処理部６３８の構成例を説明するためのブロック図である。
【図２３】カメラ信号処理部１０６の他の例を説明するためのブロック図である。
【図２４】第３の実施の形態のデモザイク処理部１０６３の第１の構成例と処理概要とを説明するためのブロック図である。
【図２５】図２４に示した位置Ａに配置されるノイズ低減処理部６３０５の構成例を説明するためのブロック図である。
【図２６】第３の実施の形態のデモザイク処理部１０６３の第２の構成例と処理概要とを説明するためのブロック図である。
【図２７】図２６に示した位置Ｂに設けられるノイズ低減処理部６３０８の構成例を説明するためのブロック図である。
【図２８】図６、図１９、図２４に示したデモザイク処理部において行われる処理を説明するためのフローチャートである。
【図２９】図１３、図２１、図２６に示したデモザイク処理部において行われる処理を説明するためのフローチャートである。
【符号の説明】
【０２５６】
１０６３…デモザイク処理部、６３１…Ｇ補間部、６３２…色差生成部、６３３…色差補間部、６３４…Ｇ足し戻し部、６３５…ノイズ低減処理部、６３５１…Ｇノイズ低減処理部、６３５２…色差ノイズ低減処理部、６３６…第１色差補間部、６３７…第２色差補間部、６３８…ノイズ低減処理部、６３８１…Ｇノイズ低減処理部、６３８２…色差ノイズ低減処理部、６３８３…Ｙ／Ｃ変換部、６３８４…輝度ノイズ低減処理部、６３８５…色差ノイズ低減処理部、６３８６…逆Ｙ／Ｃ変換部、６３０１…Ｇ補間部、６３０２…色比生成部、６３０３…色比補間部、６３０４…Ｇ掛け戻し部、６３０５…ノイズ低減処理部、６３０６…第１色比補間部、６３０７…第２色比補間部、６３０８…ノイズ低減処理部
【特許請求の範囲】
【請求項１】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子と、前記撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理手段とを備えた撮像装置であって、
前記デモザイク処理手段は、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成部と、
前記生成部により生成された前記色関連信号に対してノイズ低減処理を施すノイズ低減部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記目的色信号は複数種類あり、
前記デモザイク処理手段は、
前記生成部からの前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成部からの既に生成された前記色関連情報と共に出力する第１の補間部と、
前記第１の補間部から出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間部と
を備え、
前記ノイズ低減部は、前記第１の補間部と前記第２の補間部との間に配置され、前記第１の補間部から出力される前記色関連信号に対してノイズ低減処理を施した後に、前記第２の補間部に供給することを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置であって、
前記ノイズ低減部は、前記所定の他の色信号をも考慮して、前記色関連信号に対してノイズ低減処理を施すことを特徴とする撮像装置。
【請求項４】
請求項１または請求項２に記載の撮像装置であって、
前記ノイズ低減部は、
前記色関連信号を形式の異なる他の色関連信号に変換する変換手段と、
前記他の色関連信号を元の形式の色関連信号に変換する逆変換手段と
を備え、
前記変換手段により変換された前記他の色関連信号に対してノイズ低減処理を施した後に、前記逆変換手段により元の形式の色関連信号に戻して出力することを特徴とする撮像装置。
【請求項５】
請求項１または請求項２に記載の撮像装置であって、
前記色関連信号は、前記目的色信号と前記他の色信号との差として表現される色差信号であることを特徴とする撮像装置。
【請求項６】
請求項１または請求項２に記載の撮像装置であって、
前記色関連信号は、前記目的色信号と前記他の色信号との比として表現される色比信号であることを特徴とする撮像装置。
【請求項７】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理を行う場合に用いられる色ノイズ低減方法であって、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成工程と、
前記生成工程において生成した前記色関連信号に対してノイズ低減処理を施すノイズ低減工程と
を有することを特徴とする色ノイズ低減方法。
【請求項８】
請求項７に記載の色ノイズ低減方法であって、
前記目的色信号は複数種類あり、
前記生成工程において生成した前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成工程において生成した前記色関連情報と共に出力する第１の補間工程と、
前記第１の補間工程を通じて出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間工程と、
を有し、
前記ノイズ低減工程は、前記第１の補間工程と前記第２の補間工程との間において行われ、前記第１の補間工程を通じて出力される前記色関連信号に対してノイズ低減処理を施すことを特徴とする色ノイズ低減方法。
【請求項９】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理を行う撮像装置に搭載されたコンピュータに実行させる色ノイズ低減プログラムであって、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成ステップと、
前記生成ステップにおいて生成した前記色関連信号に対してノイズ低減処理を施すノイズ低減ステップと
を前記撮像装置に搭載された前記コンピュータに実行させることを特徴とする色ノイズ低減プログラム。
【請求項１０】
請求項９に記載の色ノイズ低減プログラムであって、
前記目的色信号は複数種類あり、
前記生成ステップにおいて生成した前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成ステップにおいて生成した前記色関連情報と共に出力する第１の補間ステップと、
前記第１の補間ステップを通じて出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間ステップと
を前記撮像装置に搭載された前記コンピュータに実行させるようにしており、
前記ノイズ低減ステップは、前記第１の補間ステップと前記第２の補間ステップとの間において実行され、前記第１の補間ステップを通じて出力される前記色関連信号に対してノイズ低減処理を施すことを特徴とする色ノイズ低減プログラム。
【請求項１】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子と、前記撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理手段とを備えた撮像装置であって、
前記デモザイク処理手段は、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成部と、
前記生成部により生成された前記色関連信号に対してノイズ低減処理を施すノイズ低減部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記目的色信号は複数種類あり、
前記デモザイク処理手段は、
前記生成部からの前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成部からの既に生成された前記色関連情報と共に出力する第１の補間部と、
前記第１の補間部から出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間部と
を備え、
前記ノイズ低減部は、前記第１の補間部と前記第２の補間部との間に配置され、前記第１の補間部から出力される前記色関連信号に対してノイズ低減処理を施した後に、前記第２の補間部に供給することを特徴とする撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置であって、
前記ノイズ低減部は、前記所定の他の色信号をも考慮して、前記色関連信号に対してノイズ低減処理を施すことを特徴とする撮像装置。
【請求項４】
請求項１または請求項２に記載の撮像装置であって、
前記ノイズ低減部は、
前記色関連信号を形式の異なる他の色関連信号に変換する変換手段と、
前記他の色関連信号を元の形式の色関連信号に変換する逆変換手段と
を備え、
前記変換手段により変換された前記他の色関連信号に対してノイズ低減処理を施した後に、前記逆変換手段により元の形式の色関連信号に戻して出力することを特徴とする撮像装置。
【請求項５】
請求項１または請求項２に記載の撮像装置であって、
前記色関連信号は、前記目的色信号と前記他の色信号との差として表現される色差信号であることを特徴とする撮像装置。
【請求項６】
請求項１または請求項２に記載の撮像装置であって、
前記色関連信号は、前記目的色信号と前記他の色信号との比として表現される色比信号であることを特徴とする撮像装置。
【請求項７】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理を行う場合に用いられる色ノイズ低減方法であって、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成工程と、
前記生成工程において生成した前記色関連信号に対してノイズ低減処理を施すノイズ低減工程と
を有することを特徴とする色ノイズ低減方法。
【請求項８】
請求項７に記載の色ノイズ低減方法であって、
前記目的色信号は複数種類あり、
前記生成工程において生成した前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成工程において生成した前記色関連情報と共に出力する第１の補間工程と、
前記第１の補間工程を通じて出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間工程と、
を有し、
前記ノイズ低減工程は、前記第１の補間工程と前記第２の補間工程との間において行われ、前記第１の補間工程を通じて出力される前記色関連信号に対してノイズ低減処理を施すことを特徴とする色ノイズ低減方法。
【請求項９】
複数の色の画素が所定の順序に従って配列された色フィルタを備え、被写体の画像を取り込んで複数の色の色信号からなる画像信号を出力する撮像素子を通じて取り込まれた画像信号から、画像を形成する画素毎に複数の色のそれぞれの色信号を形成するデモザイク処理を行う撮像装置に搭載されたコンピュータに実行させる色ノイズ低減プログラムであって、
前記撮像素子を通じて取り込まれた前記画像信号に含まれる目的とする所定の色信号である目的色信号と所定の他の色信号とを演算することにより、前記目的色信号の画素に対して、前記目的色信号と前記所定の他の色信号とを関連付けた色関連信号を生成する生成ステップと、
前記生成ステップにおいて生成した前記色関連信号に対してノイズ低減処理を施すノイズ低減ステップと
を前記撮像装置に搭載された前記コンピュータに実行させることを特徴とする色ノイズ低減プログラム。
【請求項１０】
請求項９に記載の色ノイズ低減プログラムであって、
前記目的色信号は複数種類あり、
前記生成ステップにおいて生成した前記色関連信号から、各目的色信号の画素に対して異なる目的色信号を用いた異なる色関連信号を生成し、前記生成ステップにおいて生成した前記色関連情報と共に出力する第１の補間ステップと、
前記第１の補間ステップを通じて出力される前記色関連信号から、画像を構成する画素毎に、複数種類の前記色関連信号のそれぞれを用いて生成される複数種類の色関連情報を生成して出力する第２の補間ステップと
を前記撮像装置に搭載された前記コンピュータに実行させるようにしており、
前記ノイズ低減ステップは、前記第１の補間ステップと前記第２の補間ステップとの間において実行され、前記第１の補間ステップを通じて出力される前記色関連信号に対してノイズ低減処理を施すことを特徴とする色ノイズ低減プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２００９−１５３０１３（Ｐ２００９−１５３０１３Ａ）
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願番号】特願２００７−３３０５０９（Ｐ２００７−３３０５０９）
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年７月９日（２００９．７．９）
【国際特許分類】
【出願日】平成１９年１２月２１日（２００７．１２．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]