画像処理装置、画像処理方法及びコンピュータプログラム
【課題】輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去の強度を変更することで解像感の劣化を抑えることが可能な画像処理装置を提供すること。
【解決手段】所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、を含む、画像処理装置が提供される。
【解決手段】所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、を含む、画像処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの撮像素子として用いられているＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から出力されるＲＡＷデータには各種のノイズが含まれている。ノイズを効果的に除去する方法として、人間の視覚特性を考慮してノイズ除去の強度を変更する方法が知られている（例えば特許文献１参照）。
【０００３】
例えば、ＲＡＷデータから他のフォーマットの信号に変換することで画像を現像する場合には、変換後の信号に含まれるノイズを効果的に除去することが求められる。例えばＲＡＷデータから、輝度信号と色差信号からなる画像データ（例えばＹＣＣデータ）に変換する場合には、画像のノイズも輝度ノイズと色ノイズに分類される。そして、色ノイズを除去することによって画質を向上させることができることが広く知られている。
【０００４】
従来においては、色ノイズを除去するために、輝度信号と色差信号からなる画像データに変換した後、色差信号に対してノイズを除去するノイズリダクション処理を行っていた。このようにノイズリダクション処理を行うことで、輝度信号はそのままに、色ノイズだけを除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１５１９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＡＷデータから、輝度信号と色差信号からなる画像データに変換すると、一般的には被写体の解像感に影響を与える信号が輝度信号の方に分離される。しかし、被写体によっては、被写体の解像感に影響を与える信号が輝度信号ではなく色差信号の方に分離される場合がある。このような被写体を撮影した場合に色差信号に対してノイズリダクションを行うと、被写体の解像感が劣化してしまうという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去の強度を変更することで解像感の劣化を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、を含む、画像処理装置が提供される。
【０００９】
かかる構成によれば、変換部は所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換し、色判別部は前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する。そして、ノイズ除去部は色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行う。その結果、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去を実行することで、解像感の劣化を抑えながらも画像信号のノイズを除去することができる。
【００１０】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、前記色差信号および前記色差信号からノイズを除去した信号との混合比率を変化させることでノイズ除去の強度を変更してもよい。
【００１１】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる前記画像信号の領域の範囲を変化させることでノイズ除去の強度を変更してもよい。
【００１２】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる閾値を変化させることでノイズ除去の強度を変更してもよい。
【００１３】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換してもよい。
【００１４】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換してもよい。
【００１５】
前記所定の色空間はＲＧＢ色空間であってもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、を含む、画像処理方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去の強度を変更することで解像感の劣化を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。
【図２】ベイヤー配列について示す説明図である。
【図３】本発明の一実施形態にかかるノイズリダクション部１２０の構成について示す説明図である。
【図４】赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について示す説明図である。
【図５】本発明の一実施形態にかかる周辺画素参照部１２６での、対象画素の周囲の周辺画素の参照の一例について示す説明図である。
【図６】本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について示す流れ図である。
【図７】ノイズリダクション処理の前後における、ＹＣＣデータの各信号の信号レベルの変化の一例について示す説明図である。
【図８】ＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【図９】ＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【図１０】水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【図１１】図１０に示したＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【図１２】ＲＡＷデータから変換後のＹＣＣデータの色差信号に対するノイズリダクション処理を概念的に示す説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
［１−２．従来のノイズリダクション処理とその問題点］
［１−３．本発明の一実施形態にかかるノイズリダクション部の構成］
［１−４．ノイズリダクション処理］
＜２．まとめ＞
【００２２】
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。
【００２３】
撮像装置１００は、本発明の画像処理装置の一例である。撮像装置１００は、レンズを通して集光した光を、撮像素子によって電気信号に変換してＲＡＷデータを生成し、ＲＡＷデータから輝度信号と色差信号からなる画像データに変換して、画像データを記録するものである。図１に示したように、本発明の一実施形態にかかる撮像装置１００は、レンズ部１０２と、ＣＭＯＳイメージセンサ１０４と、ガンマ変換部１０８と、ＹＣＣ変換部１１０と、ノイズリダクション部１２０と、を含んで構成される。
【００２４】
レンズ部１０２は、被写体からの光を集光するものである。レンズ部１０２は、焦点距離を変化させるためのズームレンズ及び被写体にピントを合わせるためのフォーカスレンズで構成されていてもよく、フォーカスレンズのみで構成されていても良い。レンズ部１０２で集光した光は、撮影者のシャッタボタン（図示せず）の押下によって、所定の時間、ＣＭＯＳイメージセンサ１０４に照射される。
【００２５】
ＣＭＯＳイメージセンサ１０４は、レンズ部１０２が集光した光を、画素ごとに所定の波長の光を通過させるカラーフィルタに通し、光の強度に応じた電気信号に変換するものである。ＣＭＯＳイメージセンサ１０４で生成された電気信号は、色情報を有するＲＡＷデータとなる。本実施形態にかかるＣＭＯＳイメージセンサ１０４のカラーフィルタは、図２に示すような、いわゆるベイヤー配列を有するカラーフィルタである。
【００２６】
図２は、ベイヤー配列について示す説明図である。図２に示したように、ベイヤー配列は、水平方向２画素×垂直方向２画素を基本ブロックとする画素配列である。ベイヤー配列は、この基本ブロックにおいて２つの緑画素（Ｇ）が一方の対角上に配置され、赤画素（Ｒ）と青画素（Ｂ）とが残りの対角上に配置されており、この基本ブロックが周期的に配置された画素配列である。
【００２７】
ＣＭＯＳイメージセンサ１０４で、レンズ部１０２が集光した光を光の強度に応じた電気信号に変換することにより、Ｒ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成される。ＣＭＯＳイメージセンサ１０４により得られるＲＡＷデータは、ゲイン調整、Ａ／Ｄ変換等の処理が施されて、ガンマ変換部１０８に送られる。ＣＭＯＳイメージセンサ１０４によってＲ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成されることから、ＣＭＯＳイメージセンサ１０４は本発明のカラー画像信号入力部の一例である。なお、本発明においては、ＲＡＷデータは図２に示したベイヤー配列のようなモザイク状の配列を有するカラー画像信号に限られないことは言うまでも無く、その他の配列を有するものであってもよい。
【００２８】
ガンマ変換部１０８は、ＣＭＯＳイメージセンサ１０４で得られるＲＡＷデータに対してガンマ変換処理を行うものである。ガンマ変換部１０８におけるガンマ変換処理については様々な手法があり、本発明の内容と直接の関係は無いので、ここでは詳細な説明は省略する。ガンマ変換部１０８でガンマ変換処理が行われたＲＡＷデータはＹＣＣ変換部１１０に送られる。
【００２９】
ＹＣＣ変換部１１０は、ガンマ変換部１０８から伝送されるＲＡＷデータからＹＣＣ（ＹＣｒＣｂ）データに変換するものである。ＹＣＣ変換部１１０によって、ＲＡＷデータが、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換される。ＲＡＷデータからＹＣＣデータへの変換については様々な手法があり、本発明の内容と直接の関係は無いので、ここでは詳細な説明は省略する。ＹＣＣ変換部１１０によって得られたＹＣＣデータはノイズリダクション部１２０に送られる。
【００３０】
ノイズリダクション部１２０は、ＹＣＣ変換部１１０によって得られたＹＣＣデータに対してノイズリダクション処理を実行するものである。本実施形態にかかるノイズリダクション部１２０は、ＹＣＣデータの内の色差信号に対してノイズリダクション処理を実行する。輝度信号（Ｙ）はノイズリダクション部１２０の前後で変わらないが、色差信号（Ｃｒ／Ｃｂ）は、ノイズリダクション部１２０に入力されると、ノイズが除去されて（Ｃｒ´及びＣｂ´として）出力される。ノイズリダクション部１２０の内部の構成については後に詳述する。
【００３１】
以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。なお、本実施形態では撮像素子としてＣＭＯＳイメージセンサを用いているが、本発明はかかる例に限定されない。例えば、ＣＭＯＳイメージセンサの替わりにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。次に、本発明の一実施形態にかかるノイズリダクション部１２０の構成に入る前に、従来のノイズリダクション処理とその問題点について説明する。
【００３２】
［１−２．従来のノイズリダクション処理とその問題点］
ここでは、図１に示したような、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で、例えば緑色の毛糸玉のように緑一色の被写体を撮影した場合を考える。かかる場合において、ＲＡＷデータとしては、緑色のＧ信号は、他の色の信号と比較して大きな振幅を有する信号となる。一方、かかる場合において、赤色のＲ信号及び青色のＢ信号は、緑色のＧ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図８は、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で緑一色の被写体を撮影した場合に、ある位置の水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【００３３】
図８に示したように、緑色の毛糸玉のように緑一色の被写体を撮影した場合には、ＲＡＷデータとしては、緑色のＧ信号は他の色の信号と比較して大きな振幅を有する信号となる。一方、赤色のＲ信号及び青色のＢ信号は、緑色のＧ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。他の色の信号と比較して大きな振幅を有する緑色のＧ信号が緑色の解像感、すなわち、緑色の毛糸玉であれば緑色の毛糸であること認識の基になる。
【００３４】
この図８に示したような特性を有するＲＡＷデータを、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換すると、輝度信号は緑色のＧ信号と同様に、他の信号と比較して大きな振幅を有する信号となる。一方、色差信号は赤色のＲ信号及び青色のＢ信号と同様に、輝度信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図９は、図８に示したような信号レベルを有するＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【００３５】
図９に示したように、緑色の毛糸玉のように緑一色の被写体を撮影した場合のＹＣＣデータは、輝度信号は緑色のＧ信号と同様に、他の信号と比較して大きな振幅を有する信号となる。一方、色差信号は、赤色のＲ信号及び青色のＢ信号と同様に、輝度信号と比較して振幅が少なくほぼ一定の値を有する信号となる。つまり、緑色の解像感に影響を与える信号は輝度信号の方に分離され、色差信号には緑色の解像感に影響を与える信号は分離されない。
【００３６】
しかし、例えば赤色の毛糸玉のように赤一色の被写体を、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で撮影した場合には、上述したような緑一色の被写体を撮影した場合とは違った結果となる。かかる場合において、ＲＡＷデータとしては、赤色のＲ信号は他の信号と比較して大きな振幅を有する信号となるが、緑色のＧ信号及び青色のＢ信号は、Ｒ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図１０は、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で赤一色の被写体を撮影した場合に、ある位置の水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【００３７】
赤色の毛糸玉のような赤一色の被写体は、赤色の光量は多いが、緑色及び青色の光量は少ない。従って、赤色の毛糸玉のように赤一色の被写体を撮影した場合には、図１０に示したように、ＲＡＷデータとしては、赤色のＲ信号は他の信号と比較して大きな振幅を有する信号となるが、緑色のＧ信号及び青色のＢ信号は、Ｒ信号と比較して振幅が少なく、ほぼ一定の値を有する信号となる。他の信号と比較して大きな振幅を有する赤色のＲ信号が赤色の解像感、すなわち、赤色の毛糸玉であれば赤色の毛糸であるとの認識の基になる。
【００３８】
この図１０に示したような特性を有するＲＡＷデータを、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換すると、輝度信号はＣｂデータと比較して大きな振幅を有する信号となる。色差信号は、Ｃｒデータは赤色のＲ信号と同様に、Ｃｂデータと比較して振幅を有する信号となるが、Ｃｂデータは青色のＢ信号と同様に、他の信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図１１は、図１０に示したような信号レベルを有するＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。図１１に示したように、赤一色の被写体を撮影した場合のＹＣＣデータは、緑一色の被写体を撮影した場合と異なり、赤色の解像感に影響を与える信号は輝度信号の方には分離されず、色差信号の方に分離されることになる。これは赤一色の被写体を撮影した場合だけではなく、青一色の被写体を撮影した場合にも起こりうる現象である。
【００３９】
そのため、ＹＣＣデータの色差信号に対して単に色ノイズを除去するノイズリダクション処理を行うと、被写体の色によってはその色の解像感が失われてしまう場合がある。図１２は、ＲＡＷデータから変換後のＹＣＣデータの色差信号に対するノイズリダクション処理を概念的に示す説明図である。図１２（ａ）は、一般的な被写体を撮影した場合におけるＹＣＣデータに対するノイズリダクション処理について示したものである。また図１２（ｂ）は、赤い毛糸玉のような赤一色の被写体を撮影した場合におけるＹＣＣデータに対するノイズリダクション処理について示したものである。
【００４０】
図１２（ａ）に示したように、一般的な被写体を撮影した場合には、色差信号に対するノイズリダクション処理を実行すると、輝度信号の振幅を保ったまま色差信号のノイズを除去することができる。従って一般的な被写体を撮影した場合には、色差信号に対するノイズリダクション処理を実行することで解像感を保持したまま色ノイズを除去することができる。
【００４１】
しかし、図１２（ｂ）に示したように、赤い毛糸玉のような赤一色の被写体を撮影した場合には、一般的な被写体を撮影した場合と同じようにノイズリダクション処理を実行してしまうと、色差信号の振幅が無くなり、小さな振幅を有する輝度信号はそのまま残る。従って、赤色の解像感に影響を与える色差信号の振幅が無くなってしまうことで、色ノイズは除去できるが、赤色の解像感は劣化してしまう。
【００４２】
そこで、本実施形態におけるノイズリダクション部１２０によるノイズリダクション処理は、画素の色に応じてノイズリダクションの強度を変化させることを特徴とする。画素の色に応じてノイズリダクションの強度を変化させることで、その色の解像感の劣化を抑えながらも色ノイズを除去することを特徴とする。続いて、本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明する。
【００４３】
［１−３．本発明の一実施形態にかかるノイズリダクション部の構成］
図３は、本発明の一実施形態にかかるノイズリダクション部１２０の構成について示す説明図である。以下、図３を用いて本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明する。
【００４４】
図３に示したように、本発明の一実施形態にかかるノイズリダクション部１２０は、色判別部１２２と、赤ノイズリダクション部１２４ａと、青ノイズリダクション部１２４ｂと、を含んで構成される。
【００４５】
色判別部１２２は、ＹＣＣデータの輝度信号及び色差信号から各画素の色を判別するものである。色判別部１２２における各画素の色判別の結果は、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送られる。
【００４６】
色判別部１２２による色判別処理には様々な手法を用いることが可能である。例えば、色判別部１２２は、ＹＣＣデータの輝度信号及び色差信号の信号レベルから、各画素の色を判別してもよい。
【００４７】
赤ノイズリダクション部１２４ａは、ＹＣＣデータの色差信号の内、Ｃｒ信号に対するノイズリダクション処理を実行するものである。赤ノイズリダクション部１２４ａによるノイズリダクション処理が行われると、赤ノイズリダクション部１２４ａからはノイズが除去されたＣｒ´信号が出力される。赤ノイズリダクション部１２４ａは、色判別部１２２における色判別結果に応じてＣｒ信号に対するノイズリダクションの強度を変化させる。
【００４８】
青ノイズリダクション部１２４ｂは、ＹＣＣデータの色差信号の内、Ｃｂ信号に対するノイズリダクション処理を実行するものである。青ノイズリダクション部１２４ｂによるノイズリダクション処理が行われると、青ノイズリダクション部１２４ｂからはノイズが除去されたＣｂ´信号が出力される。青ノイズリダクション部１２４ｂは、赤ノイズリダクション部１２４ａと同様に色判別部１２２における色判別結果に応じてＣｂ信号に対するノイズリダクションの強度を変化させる。
【００４９】
赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂは、色判別部１２２における色判別結果に応じてそれぞれＣｒ信号及びＣｂ信号に対するノイズリダクションの強度を変化させている。赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂにおけるノイズリダクションの強度は様々な手法で変化させることができる。以下の説明においては、ノイズリダクションの前後の信号の混合比率を変化させることでノイズリダクションの強度を変化させる例を示す。
【００５０】
赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂにおけるノイズリダクション処理については種々の手法を用いることが出来る。本実施形態では、ノイズリダクション処理の一例としてノイズを除去したい画素の周辺の画素の色を識別することによってノイズを除去するノイズリダクション処理を適用する。図４は、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について示す説明図である。図４には、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに関係する構成についても併せて図示している。以下、図４を用いて赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について説明する。
【００５１】
図４に示したように、赤ノイズリダクション部１２４ａは、平均部１２８ａと、混合部１２９ａと、を含んで構成される。同様に、青ノイズリダクション部１２４ｂは、平均部１２８ｂと、混合部１２９ｂと、を含んで構成される。また、図４に示したように、ノイズリダクション部１２０は、さらに周辺画素参照部１２６を含んで構成される。
【００５２】
周辺画素参照部１２６は、ノイズを除去したい画素（以下、ノイズを除去したい画素のことを「対象画素」とも称する）の周囲の所定範囲の画素（以下、対象画素の周囲の所定範囲の画素のことを「周辺画素」とも称する）を参照するものである。そして、周辺画素参照部１２６は、参照した周辺画素の色情報を取得するものである。周辺画素参照部１２６で対象画素の周囲の周辺画素の色情報を取得すると、周辺画素参照部１２６は、取得した周辺画素の色情報を赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送る。
【００５３】
周辺画素参照部１２６には、ＹＣＣ変換部１１０によって変換されたＹＣＣデータが入力される。周辺画素参照部１２６は、ＹＣＣ変換部１１０によって変換されたＹＣＣデータを用いて、対象画素の周辺画素の色情報を取得する。周辺画素参照部１２６において周辺画素の色情報を取得することで、対象画素と色が近似する画素の位置や数を取得することができる。なお、周辺画素のある画素が対象画素と色が近似する画素であるかどうかは、例えば２つの画素のＹＣＣデータの信号レベルを比較することで判別してもよい。具体的には、例えば、対象画素のＹＣＣデータの信号レベルと当該画素のＹＣＣデータの信号レベルとの差が所定の範囲内に収まっているかどうかによって判別してもよい。
【００５４】
図５は、本発明の一実施形態にかかる周辺画素参照部１２６での、対象画素の周囲の周辺画素の参照の一例について示す説明図である。図５では、対象画素Ａ１を中心に、上下左右それぞれ５画素を周辺画素として参照する例について示している。もちろん、周辺画素参照部１２６が参照する周辺画素の範囲は図５に示した例に限られないことは言うまでも無い。
【００５５】
周辺画素参照部１２６で周辺画素の色情報を参照することで、対象画素Ａ１の周囲の色の状況を把握することができる。また、周辺画素参照部１２６で周辺画素の色情報を参照することでエッジの位置や方向を識別することができる。
【００５６】
平均部１２８ａは、周辺画素参照部１２６における周辺画素の色情報と、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｒ信号とが入力され、各Ｃｒ信号の対象画素とＣｒ信号の周辺画素の平均値を演算して出力するものである。平均部１２８ａは、対象画素と色が近似する周辺画素の画素レベルを加算し、加算された画素レベルの合計を加算数で除算することで色の平均値を演算してもよい。平均部１２８ａにおいてＣｒ信号に対して色の平均値を演算することで、Ｃｒ信号に対するノイズが除去される。平均部１２８ａが出力するノイズが除去された信号を、ここではＣｒ´´信号とする。
【００５７】
平均部１２８ｂは、周辺画素参照部１２６における周辺画素の色情報と、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｂ信号とが入力され、各Ｃｂ信号の対象画素とＣｂ信号の周辺画素の平均値を演算して出力するものである。平均部１２８ｂは、平均部１２８ａと同様に、対象画素と色が近似する周辺画素の画素レベルを加算し、加算された画素レベルの合計を加算数で除算することで色の平均値を演算してもよい。平均部１２８ｂにおいてＣｂ信号に対して色の平均値を演算することで、Ｃｂ信号に対するノイズが除去される。平均部１２８ｂが出力するノイズが除去された信号を、ここではＣｂ´´信号とする。
【００５８】
混合部１２９ａは、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｒ信号と、平均部１２８ａが出力するＣｒ´´信号とが入力され、画素単位で、所定の比率で混合して出力するものである。混合部１２９ａが出力する信号を、ここではＣｒ´信号とする。同様に、混合部１２９ｂは、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｂ信号と、平均部１２８ｂが出力するＣｂ´´信号とが入力され、画素単位で、所定の混合比率で混合して出力するものである。混合部１２９ｂが出力する信号を、ここではＣｂ´信号とする。
【００５９】
混合部１２９ａ、１２９ｂにおける所定の混合比率は、色判別部１２２における対象画素の色判別の結果に応じて変更される。例えば、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が赤色であったとする。この場合には、混合部１２９ａは、Ｃｒ信号とＣｒ´´信号とを所定の比率で混合する。所定の比率は、例えば１：１であってもよい。混合部１２９ａは、ノイズが除去されていないＣｒ信号と、ノイズが除去されたＣｒ´´信号とを所定の割合で混合すると、混合した結果得られるＣｒ´信号を出力する。一方、混合部１２９ｂはＣｂ´´信号をそのままＣｂ´信号として出力する。すなわち、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が赤色であった場合には、Ｃｒ信号に対するノイズ除去の強度を弱めてＣｒ´信号を出力する。Ｃｒ信号に対するノイズ除去の強度は、Ｃｒ´´信号の比率を増やす方向に混合することで強まっていき、Ｃｒ信号の比率を増やす方向に混合することで弱まっていく。一方、Ｃｂ信号に対してはそのままの強度でノイズを除去してＣｂ´信号を出力する。なお、対象画素の色が赤色であった場合には、混合部１２９ｂはＣｂ´´信号をそのままＣｂ´信号として出力してもよく、Ｃｂ信号とＣｂ´´信号とを混合して出力してもよい。ここで、Ｃｂ信号とＣｂ´´信号とを混合する場合には、Ｃｂ´´信号の比率が多くなるように（たとえば３：７の比率で）混合してもよい。
【００６０】
なお、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が青色であった場合には、Ｃｂ信号に対するノイズ除去の強度を弱めてＣｂ´信号を出力してもよい。Ｃｂ信号に対するノイズ除去の強度は、Ｃｂ´´信号の比率を増やす方向に混合することで強まっていき、Ｃｂ信号の比率を増やす方向に混合することで弱まっていく。一方、Ｃｒ信号に対してはそのままの強度でノイズを除去してＣｒ´信号を出力してもよい。また、混合部１２９ａ、１２９ｂは、Ｃｒ信号やＣｂ信号の信号レベルに応じて、２つの信号の混合比率を変化させてもよい。
【００６１】
このように、色判別部１２２で対象画素の色を判別し、判別結果によってノイズ除去の強度を変化させることで、解像感の劣化を抑えながらもノイズの除去を行うことができる。なお、本実施形態にかかるノイズリダクション部１２０におけるノイズリダクション処理の結果、解像感の劣化を抑えながらもノイズの除去が行われている様子については後述する。
【００６２】
以上、図４及び図５を用いて、本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明する。
【００６３】
［１−４．ノイズリダクション処理］
図６は、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について示す流れ図である。以下、図６を用いて本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明する。
【００６４】
撮影者の撮影操作によって撮像装置１００で撮像処理が行われると、レンズ部１０２を通してＣＭＯＳイメージセンサ１０４に被写体からの光が照射される。ＣＭＯＳイメージセンサ１０４で光電変換が行われ、図２に示したようなベイヤー配列を有するカラーフィルタを有する、ＣＭＯＳイメージセンサ１０４で光電変換が行われることで、Ｒ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成される。
【００６５】
生成されたＲＡＷデータは、ガンマ変換部１０８でガンマ変換処理が施された後に、ＹＣＣ変換部１１０で、ＲＡＷデータから輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）とからなるＹＣＣデータに変換する（ステップＳ１０２）。
【００６６】
ＹＣＣ変換部１１０でＲＡＷデータをＹＣＣデータに変換すると、ＹＣＣ変換部１１０は変換したＹＣＣデータをノイズリダクション部１２０に送る。ノイズリダクション部１２０は、ＹＣＣ変換部１１０からＹＣＣデータを受け取り、受け取ったＹＣＣデータに対するノイズリダクション処理を実行する。
【００６７】
ノイズリダクション部１２０は、色判別部１２２において、ノイズリダクション部１２０に入力されたＹＣＣデータを用いて、各画素の色を判別する（ステップＳ１０４）。色判別部１２２における色判別の結果は、それぞれ赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送られる。
【００６８】
図６では、赤色を表示する画素に対するノイズリダクション処理を実行する場合について示している。そこで、色判別部１２２において、ノイズリダクション処理の対象となる画素（対象画素）が赤色を表示する画素かどうかを判別する（ステップＳ１０６）。対象画素が赤色を表示する画素であるかどうかは、例えば、Ｙ信号、Ｃｒ信号、Ｃｂ信号の信号レベルが所定の範囲内にあるかどうかで判別してもよい。
【００６９】
上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素であると判断した場合には、色判別部１２２は混合部１２９ａにＣｒ信号とＣｒ´´信号との混合比率を変化させるよう指示する。すなわち、色判別部１２２は赤ノイズリダクション部１２４ａに対して、ノイズリダクションの強度を弱めるよう指示する（ステップＳ１０８）。色判別部１２２からの指示を受けた混合部１２９ａは、指示に応じてＣｒ信号とＣｒ´´信号との混合比率を、Ｃｒ信号の比率が増える方向に変化させる。色判別部１２２からの指示に応じてＣｒ信号とＣｒ´´信号との混合比率を、Ｃｒ信号の比率が増える方向に変化させることで、ノイズ除去の強度を弱めることができる。
【００７０】
また、上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素であると判断した場合には、色判別部１２２は混合部１２９ｂに対してはＣｂ´´信号をそのまま出力するよう指示する。Ｃｂ信号に対しては、平均部１２８ｂでノイズが除去された信号（Ｃｂ´´信号）をそのまま出力しても赤色の解像感には影響を与えないからである。
【００７１】
一方、上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素ではないと判断した場合には、色判別部１２２は混合部１２９ａ、１２９ｂに対してＣｒ´´信号、Ｃｂ´´信号を出力するよう指示する。すなわち、色判別部は混合部１２９ａ、１２９ｂに対して、平均部１２８ａ、１２８ｂでノイズが除去された信号（Ｃｒ´´信号、Ｃｂ´´信号）をそのままＣｒ´信号、Ｃｂ´信号として出力するよう指示する。つまり、色判別部１２２は赤ノイズリダクション部１２４ａ、青ノイズリダクション部１２４ｂに対して、通常の強度でノイズリダクションを実行するよう指示する（ステップＳ１１０）。
【００７２】
このように、ノイズリダクション処理の対象となる画素が赤色を表示する画素であるかどうかによって、赤ノイズリダクション部１２４ａにおけるノイズリダクションの強度を変化させる。画素の表示色に応じて赤ノイズリダクション部１２４ａにおけるノイズリダクションの強度を変化させることで、赤色の解像感を損なうことなくノイズを取り除くことができる。なお、上記ステップＳ１１０では、平均部１２８ａ、１２８ｂでノイズが除去された信号（Ｃｒ´´信号、Ｃｂ´´信号）をそのままＣｒ´信号、Ｃｂ´信号として出力していたが、本発明はかかる例に限定されない。例えば、Ｃｒ´´信号やＣｂ´´信号の比率が多くなるようにＣｒ信号とＣｒ´´信号とを混合部１２９ａで、Ｃｂ信号とＣｂ´´信号とを混合部１２９ｂで、それぞれ混合してもよい。
【００７３】
図７は、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理の前後における、ＹＣＣデータの各信号の信号レベルの変化の一例について示す説明図である。図７は、図１２の（ｂ）に示した場合と同じく、赤い毛糸玉のような赤一色の被写体を撮影した場合における、ノイズリダクション部１２０によるノイズリダクション処理について示したものである。
【００７４】
図７に示したように、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理を実行することで、Ｃｂ信号は図１２の（ｂ）に示した場合と同様にノイズが除去されて、どの横座標においてもフラットな信号レベルを有している。一方、Ｃｒ信号については図１２の（ｂ）とは異なり、ノイズは除去されず、信号レベルは座標によって異なる値を示している。このようにＣｒ信号の信号レベルの波形を保つことで、赤色の解像感は損なわれない。従って、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理を実行することで、画像の解像感を高めながらも、赤色の解像感は損なわれない画像を得ることができる。
【００７５】
以上、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明した。なお、上記の説明では、赤い毛糸玉のような赤一色の被写体を撮像した場合のノイズリダクション処理について説明したが、青い毛糸玉のような青一色の被写体を撮像した場合にも同様に撮像装置１００によるノイズリダクション処理を適用することができる。
【００７６】
＜２．まとめ＞
以上説明したように本発明によれば、ＹＣＣ変換部１１０でＲＡＷデータからＹＣＣデータに変換し、ＹＣＣデータをノイズリダクション部１２０に送って、ＹＣＣデータに対するノイズリダクション処理を実行する。ノイズリダクション処理の実行の際には、色判別部１２２がＹＣＣデータを用いて各画素の色を判別する。そして、色判別部１２２の色判別の結果、対象画素が赤色を表示する画素であった場合には、赤ノイズリダクション部１２４ａにおいて、ノイズリダクションの強度を弱めてＣｒ信号を出力する。その結果、本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理によれば、従来のノイズリダクション処理において失われていた赤色の解像感を損なわずに、画質の解像感を高めることができる。本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理は、ＣＭＯＳイメージセンサ１０４のＲフィルタの分光の赤、Ｂフィルタの分光の青に関して特に顕著な効果をもたらす。
【００７７】
なお、本実施形態においては、ＣＭＯＳイメージセンサ１０４のカラーフィルタはＲ、Ｇ、Ｂの三色からなるカラーフィルタを用いていたが、本発明においては、イメージセンサのカラーフィルタはかかる例に限られない。Ｒ、Ｇ、Ｂの三色からなるカラーフィルタではないカラーフィルタを用いる場合には、当該フィルタの色に応じてノイズリダクション処理を弱めることで、解像感を損なわずに画質の解像感を高めることができる。
【００７８】
なお、上述した本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理は、ハードウェアによって実行されるようにしてもよく、ソフトウェアによって実行されるようにしてもよい。ノイズリダクション処理をソフトウェアによって実行されるようにする場合には、例えばプログラムが格納された記録媒体を撮像装置１００に内蔵してもよい。そして、かかるプログラムを、撮像装置１００に内蔵したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）その他の制御装置が読み出して順次実行するようにしてもよい。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、上記実施形態では、撮像装置１００の内部にノイズリダクション部１２０を設け、撮像装置１００で撮像した画像データに対するノイズリダクション処理を撮像装置１００の内部で行うものとしたが、本発明はかかる例に限定されない。例えば、撮像装置の撮像処理によって得られるＲＡＷデータを、パーソナルコンピュータその他の情報処理装置に設けるカラー画像信号入力部に、ＲＡＷデータが保存された記録媒体を介して、またはネットワークを介して入力する。そして、ＲＡＷデータを入力した情報処理装置の内部に、上記実施形態で説明したＹＣＣ変換部１１０及びノイズリダクション部１２０を備え、当該情報処理装置においてノイズリダクション処理を実行してもよい。
【００８１】
また、例えば、上記実施形態では、ＹＣＣデータが色判別部１２２に入力され、色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、赤ノイズリダクション部１２４ａ（または青ノイズリダクション部１２４ｂ）に対して、ノイズ除去の強度を弱めるように指示していたが、本発明はかかる例に限定されない。例えば、色判別部１２２での色判別の結果、対象画素が赤色を表示する画素であった場合には、色判別部１２２は青ノイズリダクション部１２４ｂに対してノイズ除去の強度を強めるように指示してもよい。すなわち、色判別部１２２は、赤ノイズリダクション部１２４ａでのノイズ除去の強度が相対的に弱くなるように青ノイズリダクション部１２４ｂに対して指示を送出してもよい。
【００８２】
また、例えば、上記実施形態では、周辺画素参照部１２６は対象画素Ａ１を中心に、上下左右それぞれ５画素を周辺画素として参照していたが、本発明はかかる例に限定されない。例えば、色判別部１２２での色判別結果に応じて、周辺画素として参照する範囲を変化させてもよい。色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、周辺画素として参照する範囲を狭めることでノイズ除去の強度を弱めてもよい。
【００８３】
また、例えば、上記実施形態では、周辺画素参照部１２６は対象画素Ａ１の周辺の画素を参照し、平均部１２８ａ、１２８ｂにおいて対象画素Ａ１と色が近似する画素の平均値を算出していた。ここで、本発明においては、色判別部１２２での色判別結果に応じて、平均部１２８ａ、１２８ｂにおいて対象画素Ａ１と色が近似していると判別するための閾値を変化させてもよい。色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、対象画素Ａ１と色が近似していると判別するための閾値を変化させ、より色が近い画素のみを演算対象とするようにしてもよい。
【００８４】
また、例えば、上記実施形態ではＲＧＢ色空間を有するＲＡＷデータから、ＹＣｒＣｂ色空間を有するＹＣＣデータに変換し、ＹＣＣデータに対してノイズリダクション処理を実行していたが、本発明はかかる例に限定されない。例えば、ＹＣｂＣｒ以外の、ＹＵＶ、Ｌａｂその他の色空間を有するカラー画像信号に対して、対象画素の色を判別し、判別結果に応じて所定の色を弱めるようなノイズリダクション処理を実行しても良い。
【００８５】
また、例えば、上記実施形態ではＹＣＣデータが色判別部１２２に入力され、ＹＣＣデータを用いて各画素に対する色判別処理を実行していたが、本発明はかかる例に限定されない。例えば、各画素に対する色判別処理はＲＡＷデータを用いて実行してもよい。ＲＡＷデータを用いて色判別を行い、ＲＡＷデータから輝度及び色差信号からなるカラー画像信号（例えばＹＵＶの色空間を有するカラー画像信号）に変換し、当該カラー画像信号における各画素の色として、ＲＡＷデータを用いた色判別の結果を用いてもよい。
【産業上の利用可能性】
【００８６】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに適用可能であり、特にカラー画像信号に含まれるノイズを除去する画像処理装置、画像処理方法及びコンピュータプログラムに適用可能である。
【符号の説明】
【００８７】
１００ 撮像装置
１０２ レンズ部
１０４ ＣＭＯＳイメージセンサ
１０８ ガンマ変換部
１１０ ＹＣＣ変換部
１２０ ノイズリダクション部
１２２ 色判別部
１２４ａ 赤ノイズリダクション部
１２４ｂ 青ノイズリダクション部
１２６ 周辺画素参照部
１２８ａ、１２８ｂ 平均部
１２９ａ、１２９ｂ 混合部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの撮像素子として用いられているＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から出力されるＲＡＷデータには各種のノイズが含まれている。ノイズを効果的に除去する方法として、人間の視覚特性を考慮してノイズ除去の強度を変更する方法が知られている（例えば特許文献１参照）。
【０００３】
例えば、ＲＡＷデータから他のフォーマットの信号に変換することで画像を現像する場合には、変換後の信号に含まれるノイズを効果的に除去することが求められる。例えばＲＡＷデータから、輝度信号と色差信号からなる画像データ（例えばＹＣＣデータ）に変換する場合には、画像のノイズも輝度ノイズと色ノイズに分類される。そして、色ノイズを除去することによって画質を向上させることができることが広く知られている。
【０００４】
従来においては、色ノイズを除去するために、輝度信号と色差信号からなる画像データに変換した後、色差信号に対してノイズを除去するノイズリダクション処理を行っていた。このようにノイズリダクション処理を行うことで、輝度信号はそのままに、色ノイズだけを除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１５１９０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＡＷデータから、輝度信号と色差信号からなる画像データに変換すると、一般的には被写体の解像感に影響を与える信号が輝度信号の方に分離される。しかし、被写体によっては、被写体の解像感に影響を与える信号が輝度信号ではなく色差信号の方に分離される場合がある。このような被写体を撮影した場合に色差信号に対してノイズリダクションを行うと、被写体の解像感が劣化してしまうという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去の強度を変更することで解像感の劣化を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、を含む、画像処理装置が提供される。
【０００９】
かかる構成によれば、変換部は所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換し、色判別部は前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する。そして、ノイズ除去部は色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行う。その結果、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去を実行することで、解像感の劣化を抑えながらも画像信号のノイズを除去することができる。
【００１０】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、前記色差信号および前記色差信号からノイズを除去した信号との混合比率を変化させることでノイズ除去の強度を変更してもよい。
【００１１】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる前記画像信号の領域の範囲を変化させることでノイズ除去の強度を変更してもよい。
【００１２】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる閾値を変化させることでノイズ除去の強度を変更してもよい。
【００１３】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換してもよい。
【００１４】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換してもよい。
【００１５】
前記所定の色空間はＲＧＢ色空間であってもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、を含む、画像処理方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、を実行させる、コンピュータプログラムが提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、輝度信号及び色差信号からなる色空間を有する画像信号について、色差信号の色に応じて色差信号に対するノイズ除去の強度を変更することで解像感の劣化を抑えることが可能な、新規かつ改良された画像処理装置、画像処理方法及びコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。
【図２】ベイヤー配列について示す説明図である。
【図３】本発明の一実施形態にかかるノイズリダクション部１２０の構成について示す説明図である。
【図４】赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について示す説明図である。
【図５】本発明の一実施形態にかかる周辺画素参照部１２６での、対象画素の周囲の周辺画素の参照の一例について示す説明図である。
【図６】本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について示す流れ図である。
【図７】ノイズリダクション処理の前後における、ＹＣＣデータの各信号の信号レベルの変化の一例について示す説明図である。
【図８】ＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【図９】ＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【図１０】水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【図１１】図１０に示したＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【図１２】ＲＡＷデータから変換後のＹＣＣデータの色差信号に対するノイズリダクション処理を概念的に示す説明図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
また、以下の順序に従って本発明の好適な実施の形態について詳細に説明する。
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
［１−２．従来のノイズリダクション処理とその問題点］
［１−３．本発明の一実施形態にかかるノイズリダクション部の構成］
［１−４．ノイズリダクション処理］
＜２．まとめ＞
【００２２】
＜１．本発明の一実施形態＞
［１−１．撮像装置の構成］
まず、本発明の一実施形態にかかる撮像装置の構成について説明する。図１は、本発明の一実施形態にかかる撮像装置１００の構成について示す説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。
【００２３】
撮像装置１００は、本発明の画像処理装置の一例である。撮像装置１００は、レンズを通して集光した光を、撮像素子によって電気信号に変換してＲＡＷデータを生成し、ＲＡＷデータから輝度信号と色差信号からなる画像データに変換して、画像データを記録するものである。図１に示したように、本発明の一実施形態にかかる撮像装置１００は、レンズ部１０２と、ＣＭＯＳイメージセンサ１０４と、ガンマ変換部１０８と、ＹＣＣ変換部１１０と、ノイズリダクション部１２０と、を含んで構成される。
【００２４】
レンズ部１０２は、被写体からの光を集光するものである。レンズ部１０２は、焦点距離を変化させるためのズームレンズ及び被写体にピントを合わせるためのフォーカスレンズで構成されていてもよく、フォーカスレンズのみで構成されていても良い。レンズ部１０２で集光した光は、撮影者のシャッタボタン（図示せず）の押下によって、所定の時間、ＣＭＯＳイメージセンサ１０４に照射される。
【００２５】
ＣＭＯＳイメージセンサ１０４は、レンズ部１０２が集光した光を、画素ごとに所定の波長の光を通過させるカラーフィルタに通し、光の強度に応じた電気信号に変換するものである。ＣＭＯＳイメージセンサ１０４で生成された電気信号は、色情報を有するＲＡＷデータとなる。本実施形態にかかるＣＭＯＳイメージセンサ１０４のカラーフィルタは、図２に示すような、いわゆるベイヤー配列を有するカラーフィルタである。
【００２６】
図２は、ベイヤー配列について示す説明図である。図２に示したように、ベイヤー配列は、水平方向２画素×垂直方向２画素を基本ブロックとする画素配列である。ベイヤー配列は、この基本ブロックにおいて２つの緑画素（Ｇ）が一方の対角上に配置され、赤画素（Ｒ）と青画素（Ｂ）とが残りの対角上に配置されており、この基本ブロックが周期的に配置された画素配列である。
【００２７】
ＣＭＯＳイメージセンサ１０４で、レンズ部１０２が集光した光を光の強度に応じた電気信号に変換することにより、Ｒ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成される。ＣＭＯＳイメージセンサ１０４により得られるＲＡＷデータは、ゲイン調整、Ａ／Ｄ変換等の処理が施されて、ガンマ変換部１０８に送られる。ＣＭＯＳイメージセンサ１０４によってＲ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成されることから、ＣＭＯＳイメージセンサ１０４は本発明のカラー画像信号入力部の一例である。なお、本発明においては、ＲＡＷデータは図２に示したベイヤー配列のようなモザイク状の配列を有するカラー画像信号に限られないことは言うまでも無く、その他の配列を有するものであってもよい。
【００２８】
ガンマ変換部１０８は、ＣＭＯＳイメージセンサ１０４で得られるＲＡＷデータに対してガンマ変換処理を行うものである。ガンマ変換部１０８におけるガンマ変換処理については様々な手法があり、本発明の内容と直接の関係は無いので、ここでは詳細な説明は省略する。ガンマ変換部１０８でガンマ変換処理が行われたＲＡＷデータはＹＣＣ変換部１１０に送られる。
【００２９】
ＹＣＣ変換部１１０は、ガンマ変換部１０８から伝送されるＲＡＷデータからＹＣＣ（ＹＣｒＣｂ）データに変換するものである。ＹＣＣ変換部１１０によって、ＲＡＷデータが、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換される。ＲＡＷデータからＹＣＣデータへの変換については様々な手法があり、本発明の内容と直接の関係は無いので、ここでは詳細な説明は省略する。ＹＣＣ変換部１１０によって得られたＹＣＣデータはノイズリダクション部１２０に送られる。
【００３０】
ノイズリダクション部１２０は、ＹＣＣ変換部１１０によって得られたＹＣＣデータに対してノイズリダクション処理を実行するものである。本実施形態にかかるノイズリダクション部１２０は、ＹＣＣデータの内の色差信号に対してノイズリダクション処理を実行する。輝度信号（Ｙ）はノイズリダクション部１２０の前後で変わらないが、色差信号（Ｃｒ／Ｃｂ）は、ノイズリダクション部１２０に入力されると、ノイズが除去されて（Ｃｒ´及びＣｂ´として）出力される。ノイズリダクション部１２０の内部の構成については後に詳述する。
【００３１】
以上、本発明の一実施形態にかかる撮像装置１００の構成について説明した。なお、本実施形態では撮像素子としてＣＭＯＳイメージセンサを用いているが、本発明はかかる例に限定されない。例えば、ＣＭＯＳイメージセンサの替わりにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。次に、本発明の一実施形態にかかるノイズリダクション部１２０の構成に入る前に、従来のノイズリダクション処理とその問題点について説明する。
【００３２】
［１−２．従来のノイズリダクション処理とその問題点］
ここでは、図１に示したような、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で、例えば緑色の毛糸玉のように緑一色の被写体を撮影した場合を考える。かかる場合において、ＲＡＷデータとしては、緑色のＧ信号は、他の色の信号と比較して大きな振幅を有する信号となる。一方、かかる場合において、赤色のＲ信号及び青色のＢ信号は、緑色のＧ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図８は、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で緑一色の被写体を撮影した場合に、ある位置の水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【００３３】
図８に示したように、緑色の毛糸玉のように緑一色の被写体を撮影した場合には、ＲＡＷデータとしては、緑色のＧ信号は他の色の信号と比較して大きな振幅を有する信号となる。一方、赤色のＲ信号及び青色のＢ信号は、緑色のＧ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。他の色の信号と比較して大きな振幅を有する緑色のＧ信号が緑色の解像感、すなわち、緑色の毛糸玉であれば緑色の毛糸であること認識の基になる。
【００３４】
この図８に示したような特性を有するＲＡＷデータを、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換すると、輝度信号は緑色のＧ信号と同様に、他の信号と比較して大きな振幅を有する信号となる。一方、色差信号は赤色のＲ信号及び青色のＢ信号と同様に、輝度信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図９は、図８に示したような信号レベルを有するＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。
【００３５】
図９に示したように、緑色の毛糸玉のように緑一色の被写体を撮影した場合のＹＣＣデータは、輝度信号は緑色のＧ信号と同様に、他の信号と比較して大きな振幅を有する信号となる。一方、色差信号は、赤色のＲ信号及び青色のＢ信号と同様に、輝度信号と比較して振幅が少なくほぼ一定の値を有する信号となる。つまり、緑色の解像感に影響を与える信号は輝度信号の方に分離され、色差信号には緑色の解像感に影響を与える信号は分離されない。
【００３６】
しかし、例えば赤色の毛糸玉のように赤一色の被写体を、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で撮影した場合には、上述したような緑一色の被写体を撮影した場合とは違った結果となる。かかる場合において、ＲＡＷデータとしては、赤色のＲ信号は他の信号と比較して大きな振幅を有する信号となるが、緑色のＧ信号及び青色のＢ信号は、Ｒ信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図１０は、Ｒ、Ｇ、Ｂ三色のフィルタを有する撮像装置で赤一色の被写体を撮影した場合に、ある位置の水平方向に対するＲＡＷデータの信号レベルの一例についてグラフで示す説明図である。
【００３７】
赤色の毛糸玉のような赤一色の被写体は、赤色の光量は多いが、緑色及び青色の光量は少ない。従って、赤色の毛糸玉のように赤一色の被写体を撮影した場合には、図１０に示したように、ＲＡＷデータとしては、赤色のＲ信号は他の信号と比較して大きな振幅を有する信号となるが、緑色のＧ信号及び青色のＢ信号は、Ｒ信号と比較して振幅が少なく、ほぼ一定の値を有する信号となる。他の信号と比較して大きな振幅を有する赤色のＲ信号が赤色の解像感、すなわち、赤色の毛糸玉であれば赤色の毛糸であるとの認識の基になる。
【００３８】
この図１０に示したような特性を有するＲＡＷデータを、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）に変換すると、輝度信号はＣｂデータと比較して大きな振幅を有する信号となる。色差信号は、Ｃｒデータは赤色のＲ信号と同様に、Ｃｂデータと比較して振幅を有する信号となるが、Ｃｂデータは青色のＢ信号と同様に、他の信号と比較して振幅が少なくほぼ一定の値を有する信号となる。図１１は、図１０に示したような信号レベルを有するＲＡＷデータをＹＣＣデータに変換した場合の一例についてグラフで示す説明図である。図１１に示したように、赤一色の被写体を撮影した場合のＹＣＣデータは、緑一色の被写体を撮影した場合と異なり、赤色の解像感に影響を与える信号は輝度信号の方には分離されず、色差信号の方に分離されることになる。これは赤一色の被写体を撮影した場合だけではなく、青一色の被写体を撮影した場合にも起こりうる現象である。
【００３９】
そのため、ＹＣＣデータの色差信号に対して単に色ノイズを除去するノイズリダクション処理を行うと、被写体の色によってはその色の解像感が失われてしまう場合がある。図１２は、ＲＡＷデータから変換後のＹＣＣデータの色差信号に対するノイズリダクション処理を概念的に示す説明図である。図１２（ａ）は、一般的な被写体を撮影した場合におけるＹＣＣデータに対するノイズリダクション処理について示したものである。また図１２（ｂ）は、赤い毛糸玉のような赤一色の被写体を撮影した場合におけるＹＣＣデータに対するノイズリダクション処理について示したものである。
【００４０】
図１２（ａ）に示したように、一般的な被写体を撮影した場合には、色差信号に対するノイズリダクション処理を実行すると、輝度信号の振幅を保ったまま色差信号のノイズを除去することができる。従って一般的な被写体を撮影した場合には、色差信号に対するノイズリダクション処理を実行することで解像感を保持したまま色ノイズを除去することができる。
【００４１】
しかし、図１２（ｂ）に示したように、赤い毛糸玉のような赤一色の被写体を撮影した場合には、一般的な被写体を撮影した場合と同じようにノイズリダクション処理を実行してしまうと、色差信号の振幅が無くなり、小さな振幅を有する輝度信号はそのまま残る。従って、赤色の解像感に影響を与える色差信号の振幅が無くなってしまうことで、色ノイズは除去できるが、赤色の解像感は劣化してしまう。
【００４２】
そこで、本実施形態におけるノイズリダクション部１２０によるノイズリダクション処理は、画素の色に応じてノイズリダクションの強度を変化させることを特徴とする。画素の色に応じてノイズリダクションの強度を変化させることで、その色の解像感の劣化を抑えながらも色ノイズを除去することを特徴とする。続いて、本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明する。
【００４３】
［１−３．本発明の一実施形態にかかるノイズリダクション部の構成］
図３は、本発明の一実施形態にかかるノイズリダクション部１２０の構成について示す説明図である。以下、図３を用いて本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明する。
【００４４】
図３に示したように、本発明の一実施形態にかかるノイズリダクション部１２０は、色判別部１２２と、赤ノイズリダクション部１２４ａと、青ノイズリダクション部１２４ｂと、を含んで構成される。
【００４５】
色判別部１２２は、ＹＣＣデータの輝度信号及び色差信号から各画素の色を判別するものである。色判別部１２２における各画素の色判別の結果は、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送られる。
【００４６】
色判別部１２２による色判別処理には様々な手法を用いることが可能である。例えば、色判別部１２２は、ＹＣＣデータの輝度信号及び色差信号の信号レベルから、各画素の色を判別してもよい。
【００４７】
赤ノイズリダクション部１２４ａは、ＹＣＣデータの色差信号の内、Ｃｒ信号に対するノイズリダクション処理を実行するものである。赤ノイズリダクション部１２４ａによるノイズリダクション処理が行われると、赤ノイズリダクション部１２４ａからはノイズが除去されたＣｒ´信号が出力される。赤ノイズリダクション部１２４ａは、色判別部１２２における色判別結果に応じてＣｒ信号に対するノイズリダクションの強度を変化させる。
【００４８】
青ノイズリダクション部１２４ｂは、ＹＣＣデータの色差信号の内、Ｃｂ信号に対するノイズリダクション処理を実行するものである。青ノイズリダクション部１２４ｂによるノイズリダクション処理が行われると、青ノイズリダクション部１２４ｂからはノイズが除去されたＣｂ´信号が出力される。青ノイズリダクション部１２４ｂは、赤ノイズリダクション部１２４ａと同様に色判別部１２２における色判別結果に応じてＣｂ信号に対するノイズリダクションの強度を変化させる。
【００４９】
赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂは、色判別部１２２における色判別結果に応じてそれぞれＣｒ信号及びＣｂ信号に対するノイズリダクションの強度を変化させている。赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂにおけるノイズリダクションの強度は様々な手法で変化させることができる。以下の説明においては、ノイズリダクションの前後の信号の混合比率を変化させることでノイズリダクションの強度を変化させる例を示す。
【００５０】
赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂにおけるノイズリダクション処理については種々の手法を用いることが出来る。本実施形態では、ノイズリダクション処理の一例としてノイズを除去したい画素の周辺の画素の色を識別することによってノイズを除去するノイズリダクション処理を適用する。図４は、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について示す説明図である。図４には、赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに関係する構成についても併せて図示している。以下、図４を用いて赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂの構成例について説明する。
【００５１】
図４に示したように、赤ノイズリダクション部１２４ａは、平均部１２８ａと、混合部１２９ａと、を含んで構成される。同様に、青ノイズリダクション部１２４ｂは、平均部１２８ｂと、混合部１２９ｂと、を含んで構成される。また、図４に示したように、ノイズリダクション部１２０は、さらに周辺画素参照部１２６を含んで構成される。
【００５２】
周辺画素参照部１２６は、ノイズを除去したい画素（以下、ノイズを除去したい画素のことを「対象画素」とも称する）の周囲の所定範囲の画素（以下、対象画素の周囲の所定範囲の画素のことを「周辺画素」とも称する）を参照するものである。そして、周辺画素参照部１２６は、参照した周辺画素の色情報を取得するものである。周辺画素参照部１２６で対象画素の周囲の周辺画素の色情報を取得すると、周辺画素参照部１２６は、取得した周辺画素の色情報を赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送る。
【００５３】
周辺画素参照部１２６には、ＹＣＣ変換部１１０によって変換されたＹＣＣデータが入力される。周辺画素参照部１２６は、ＹＣＣ変換部１１０によって変換されたＹＣＣデータを用いて、対象画素の周辺画素の色情報を取得する。周辺画素参照部１２６において周辺画素の色情報を取得することで、対象画素と色が近似する画素の位置や数を取得することができる。なお、周辺画素のある画素が対象画素と色が近似する画素であるかどうかは、例えば２つの画素のＹＣＣデータの信号レベルを比較することで判別してもよい。具体的には、例えば、対象画素のＹＣＣデータの信号レベルと当該画素のＹＣＣデータの信号レベルとの差が所定の範囲内に収まっているかどうかによって判別してもよい。
【００５４】
図５は、本発明の一実施形態にかかる周辺画素参照部１２６での、対象画素の周囲の周辺画素の参照の一例について示す説明図である。図５では、対象画素Ａ１を中心に、上下左右それぞれ５画素を周辺画素として参照する例について示している。もちろん、周辺画素参照部１２６が参照する周辺画素の範囲は図５に示した例に限られないことは言うまでも無い。
【００５５】
周辺画素参照部１２６で周辺画素の色情報を参照することで、対象画素Ａ１の周囲の色の状況を把握することができる。また、周辺画素参照部１２６で周辺画素の色情報を参照することでエッジの位置や方向を識別することができる。
【００５６】
平均部１２８ａは、周辺画素参照部１２６における周辺画素の色情報と、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｒ信号とが入力され、各Ｃｒ信号の対象画素とＣｒ信号の周辺画素の平均値を演算して出力するものである。平均部１２８ａは、対象画素と色が近似する周辺画素の画素レベルを加算し、加算された画素レベルの合計を加算数で除算することで色の平均値を演算してもよい。平均部１２８ａにおいてＣｒ信号に対して色の平均値を演算することで、Ｃｒ信号に対するノイズが除去される。平均部１２８ａが出力するノイズが除去された信号を、ここではＣｒ´´信号とする。
【００５７】
平均部１２８ｂは、周辺画素参照部１２６における周辺画素の色情報と、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｂ信号とが入力され、各Ｃｂ信号の対象画素とＣｂ信号の周辺画素の平均値を演算して出力するものである。平均部１２８ｂは、平均部１２８ａと同様に、対象画素と色が近似する周辺画素の画素レベルを加算し、加算された画素レベルの合計を加算数で除算することで色の平均値を演算してもよい。平均部１２８ｂにおいてＣｂ信号に対して色の平均値を演算することで、Ｃｂ信号に対するノイズが除去される。平均部１２８ｂが出力するノイズが除去された信号を、ここではＣｂ´´信号とする。
【００５８】
混合部１２９ａは、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｒ信号と、平均部１２８ａが出力するＣｒ´´信号とが入力され、画素単位で、所定の比率で混合して出力するものである。混合部１２９ａが出力する信号を、ここではＣｒ´信号とする。同様に、混合部１２９ｂは、ＹＣＣ変換部１１０によって変換されたＹＣＣデータに含まれているＣｂ信号と、平均部１２８ｂが出力するＣｂ´´信号とが入力され、画素単位で、所定の混合比率で混合して出力するものである。混合部１２９ｂが出力する信号を、ここではＣｂ´信号とする。
【００５９】
混合部１２９ａ、１２９ｂにおける所定の混合比率は、色判別部１２２における対象画素の色判別の結果に応じて変更される。例えば、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が赤色であったとする。この場合には、混合部１２９ａは、Ｃｒ信号とＣｒ´´信号とを所定の比率で混合する。所定の比率は、例えば１：１であってもよい。混合部１２９ａは、ノイズが除去されていないＣｒ信号と、ノイズが除去されたＣｒ´´信号とを所定の割合で混合すると、混合した結果得られるＣｒ´信号を出力する。一方、混合部１２９ｂはＣｂ´´信号をそのままＣｂ´信号として出力する。すなわち、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が赤色であった場合には、Ｃｒ信号に対するノイズ除去の強度を弱めてＣｒ´信号を出力する。Ｃｒ信号に対するノイズ除去の強度は、Ｃｒ´´信号の比率を増やす方向に混合することで強まっていき、Ｃｒ信号の比率を増やす方向に混合することで弱まっていく。一方、Ｃｂ信号に対してはそのままの強度でノイズを除去してＣｂ´信号を出力する。なお、対象画素の色が赤色であった場合には、混合部１２９ｂはＣｂ´´信号をそのままＣｂ´信号として出力してもよく、Ｃｂ信号とＣｂ´´信号とを混合して出力してもよい。ここで、Ｃｂ信号とＣｂ´´信号とを混合する場合には、Ｃｂ´´信号の比率が多くなるように（たとえば３：７の比率で）混合してもよい。
【００６０】
なお、色判別部１２２で対象画素の色判別を実行した結果、対象画素の色が青色であった場合には、Ｃｂ信号に対するノイズ除去の強度を弱めてＣｂ´信号を出力してもよい。Ｃｂ信号に対するノイズ除去の強度は、Ｃｂ´´信号の比率を増やす方向に混合することで強まっていき、Ｃｂ信号の比率を増やす方向に混合することで弱まっていく。一方、Ｃｒ信号に対してはそのままの強度でノイズを除去してＣｒ´信号を出力してもよい。また、混合部１２９ａ、１２９ｂは、Ｃｒ信号やＣｂ信号の信号レベルに応じて、２つの信号の混合比率を変化させてもよい。
【００６１】
このように、色判別部１２２で対象画素の色を判別し、判別結果によってノイズ除去の強度を変化させることで、解像感の劣化を抑えながらもノイズの除去を行うことができる。なお、本実施形態にかかるノイズリダクション部１２０におけるノイズリダクション処理の結果、解像感の劣化を抑えながらもノイズの除去が行われている様子については後述する。
【００６２】
以上、図４及び図５を用いて、本発明の一実施形態にかかるノイズリダクション部１２０の構成について説明した。次に、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明する。
【００６３】
［１−４．ノイズリダクション処理］
図６は、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について示す流れ図である。以下、図６を用いて本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明する。
【００６４】
撮影者の撮影操作によって撮像装置１００で撮像処理が行われると、レンズ部１０２を通してＣＭＯＳイメージセンサ１０４に被写体からの光が照射される。ＣＭＯＳイメージセンサ１０４で光電変換が行われ、図２に示したようなベイヤー配列を有するカラーフィルタを有する、ＣＭＯＳイメージセンサ１０４で光電変換が行われることで、Ｒ、Ｇ、Ｂの色情報を有するＲＡＷデータが生成される。
【００６５】
生成されたＲＡＷデータは、ガンマ変換部１０８でガンマ変換処理が施された後に、ＹＣＣ変換部１１０で、ＲＡＷデータから輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）とからなるＹＣＣデータに変換する（ステップＳ１０２）。
【００６６】
ＹＣＣ変換部１１０でＲＡＷデータをＹＣＣデータに変換すると、ＹＣＣ変換部１１０は変換したＹＣＣデータをノイズリダクション部１２０に送る。ノイズリダクション部１２０は、ＹＣＣ変換部１１０からＹＣＣデータを受け取り、受け取ったＹＣＣデータに対するノイズリダクション処理を実行する。
【００６７】
ノイズリダクション部１２０は、色判別部１２２において、ノイズリダクション部１２０に入力されたＹＣＣデータを用いて、各画素の色を判別する（ステップＳ１０４）。色判別部１２２における色判別の結果は、それぞれ赤ノイズリダクション部１２４ａ及び青ノイズリダクション部１２４ｂに送られる。
【００６８】
図６では、赤色を表示する画素に対するノイズリダクション処理を実行する場合について示している。そこで、色判別部１２２において、ノイズリダクション処理の対象となる画素（対象画素）が赤色を表示する画素かどうかを判別する（ステップＳ１０６）。対象画素が赤色を表示する画素であるかどうかは、例えば、Ｙ信号、Ｃｒ信号、Ｃｂ信号の信号レベルが所定の範囲内にあるかどうかで判別してもよい。
【００６９】
上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素であると判断した場合には、色判別部１２２は混合部１２９ａにＣｒ信号とＣｒ´´信号との混合比率を変化させるよう指示する。すなわち、色判別部１２２は赤ノイズリダクション部１２４ａに対して、ノイズリダクションの強度を弱めるよう指示する（ステップＳ１０８）。色判別部１２２からの指示を受けた混合部１２９ａは、指示に応じてＣｒ信号とＣｒ´´信号との混合比率を、Ｃｒ信号の比率が増える方向に変化させる。色判別部１２２からの指示に応じてＣｒ信号とＣｒ´´信号との混合比率を、Ｃｒ信号の比率が増える方向に変化させることで、ノイズ除去の強度を弱めることができる。
【００７０】
また、上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素であると判断した場合には、色判別部１２２は混合部１２９ｂに対してはＣｂ´´信号をそのまま出力するよう指示する。Ｃｂ信号に対しては、平均部１２８ｂでノイズが除去された信号（Ｃｂ´´信号）をそのまま出力しても赤色の解像感には影響を与えないからである。
【００７１】
一方、上記ステップＳ１０６における判別の結果、ノイズリダクション処理の対象となる画素が赤色を表示する画素ではないと判断した場合には、色判別部１２２は混合部１２９ａ、１２９ｂに対してＣｒ´´信号、Ｃｂ´´信号を出力するよう指示する。すなわち、色判別部は混合部１２９ａ、１２９ｂに対して、平均部１２８ａ、１２８ｂでノイズが除去された信号（Ｃｒ´´信号、Ｃｂ´´信号）をそのままＣｒ´信号、Ｃｂ´信号として出力するよう指示する。つまり、色判別部１２２は赤ノイズリダクション部１２４ａ、青ノイズリダクション部１２４ｂに対して、通常の強度でノイズリダクションを実行するよう指示する（ステップＳ１１０）。
【００７２】
このように、ノイズリダクション処理の対象となる画素が赤色を表示する画素であるかどうかによって、赤ノイズリダクション部１２４ａにおけるノイズリダクションの強度を変化させる。画素の表示色に応じて赤ノイズリダクション部１２４ａにおけるノイズリダクションの強度を変化させることで、赤色の解像感を損なうことなくノイズを取り除くことができる。なお、上記ステップＳ１１０では、平均部１２８ａ、１２８ｂでノイズが除去された信号（Ｃｒ´´信号、Ｃｂ´´信号）をそのままＣｒ´信号、Ｃｂ´信号として出力していたが、本発明はかかる例に限定されない。例えば、Ｃｒ´´信号やＣｂ´´信号の比率が多くなるようにＣｒ信号とＣｒ´´信号とを混合部１２９ａで、Ｃｂ信号とＣｂ´´信号とを混合部１２９ｂで、それぞれ混合してもよい。
【００７３】
図７は、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理の前後における、ＹＣＣデータの各信号の信号レベルの変化の一例について示す説明図である。図７は、図１２の（ｂ）に示した場合と同じく、赤い毛糸玉のような赤一色の被写体を撮影した場合における、ノイズリダクション部１２０によるノイズリダクション処理について示したものである。
【００７４】
図７に示したように、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理を実行することで、Ｃｂ信号は図１２の（ｂ）に示した場合と同様にノイズが除去されて、どの横座標においてもフラットな信号レベルを有している。一方、Ｃｒ信号については図１２の（ｂ）とは異なり、ノイズは除去されず、信号レベルは座標によって異なる値を示している。このようにＣｒ信号の信号レベルの波形を保つことで、赤色の解像感は損なわれない。従って、本発明の一実施形態にかかるノイズリダクション部１２０によるノイズリダクション処理を実行することで、画像の解像感を高めながらも、赤色の解像感は損なわれない画像を得ることができる。
【００７５】
以上、本発明の一実施形態にかかる撮像装置１００によるノイズリダクション処理について説明した。なお、上記の説明では、赤い毛糸玉のような赤一色の被写体を撮像した場合のノイズリダクション処理について説明したが、青い毛糸玉のような青一色の被写体を撮像した場合にも同様に撮像装置１００によるノイズリダクション処理を適用することができる。
【００７６】
＜２．まとめ＞
以上説明したように本発明によれば、ＹＣＣ変換部１１０でＲＡＷデータからＹＣＣデータに変換し、ＹＣＣデータをノイズリダクション部１２０に送って、ＹＣＣデータに対するノイズリダクション処理を実行する。ノイズリダクション処理の実行の際には、色判別部１２２がＹＣＣデータを用いて各画素の色を判別する。そして、色判別部１２２の色判別の結果、対象画素が赤色を表示する画素であった場合には、赤ノイズリダクション部１２４ａにおいて、ノイズリダクションの強度を弱めてＣｒ信号を出力する。その結果、本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理によれば、従来のノイズリダクション処理において失われていた赤色の解像感を損なわずに、画質の解像感を高めることができる。本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理は、ＣＭＯＳイメージセンサ１０４のＲフィルタの分光の赤、Ｂフィルタの分光の青に関して特に顕著な効果をもたらす。
【００７７】
なお、本実施形態においては、ＣＭＯＳイメージセンサ１０４のカラーフィルタはＲ、Ｇ、Ｂの三色からなるカラーフィルタを用いていたが、本発明においては、イメージセンサのカラーフィルタはかかる例に限られない。Ｒ、Ｇ、Ｂの三色からなるカラーフィルタではないカラーフィルタを用いる場合には、当該フィルタの色に応じてノイズリダクション処理を弱めることで、解像感を損なわずに画質の解像感を高めることができる。
【００７８】
なお、上述した本発明の一実施形態にかかる撮像装置１００を用いたノイズリダクション処理は、ハードウェアによって実行されるようにしてもよく、ソフトウェアによって実行されるようにしてもよい。ノイズリダクション処理をソフトウェアによって実行されるようにする場合には、例えばプログラムが格納された記録媒体を撮像装置１００に内蔵してもよい。そして、かかるプログラムを、撮像装置１００に内蔵したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）その他の制御装置が読み出して順次実行するようにしてもよい。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、上記実施形態では、撮像装置１００の内部にノイズリダクション部１２０を設け、撮像装置１００で撮像した画像データに対するノイズリダクション処理を撮像装置１００の内部で行うものとしたが、本発明はかかる例に限定されない。例えば、撮像装置の撮像処理によって得られるＲＡＷデータを、パーソナルコンピュータその他の情報処理装置に設けるカラー画像信号入力部に、ＲＡＷデータが保存された記録媒体を介して、またはネットワークを介して入力する。そして、ＲＡＷデータを入力した情報処理装置の内部に、上記実施形態で説明したＹＣＣ変換部１１０及びノイズリダクション部１２０を備え、当該情報処理装置においてノイズリダクション処理を実行してもよい。
【００８１】
また、例えば、上記実施形態では、ＹＣＣデータが色判別部１２２に入力され、色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、赤ノイズリダクション部１２４ａ（または青ノイズリダクション部１２４ｂ）に対して、ノイズ除去の強度を弱めるように指示していたが、本発明はかかる例に限定されない。例えば、色判別部１２２での色判別の結果、対象画素が赤色を表示する画素であった場合には、色判別部１２２は青ノイズリダクション部１２４ｂに対してノイズ除去の強度を強めるように指示してもよい。すなわち、色判別部１２２は、赤ノイズリダクション部１２４ａでのノイズ除去の強度が相対的に弱くなるように青ノイズリダクション部１２４ｂに対して指示を送出してもよい。
【００８２】
また、例えば、上記実施形態では、周辺画素参照部１２６は対象画素Ａ１を中心に、上下左右それぞれ５画素を周辺画素として参照していたが、本発明はかかる例に限定されない。例えば、色判別部１２２での色判別結果に応じて、周辺画素として参照する範囲を変化させてもよい。色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、周辺画素として参照する範囲を狭めることでノイズ除去の強度を弱めてもよい。
【００８３】
また、例えば、上記実施形態では、周辺画素参照部１２６は対象画素Ａ１の周辺の画素を参照し、平均部１２８ａ、１２８ｂにおいて対象画素Ａ１と色が近似する画素の平均値を算出していた。ここで、本発明においては、色判別部１２２での色判別結果に応じて、平均部１２８ａ、１２８ｂにおいて対象画素Ａ１と色が近似していると判別するための閾値を変化させてもよい。色判別部１２２での色判別の結果、対象画素が赤色（または青色）を表示する画素であった場合には、対象画素Ａ１と色が近似していると判別するための閾値を変化させ、より色が近い画素のみを演算対象とするようにしてもよい。
【００８４】
また、例えば、上記実施形態ではＲＧＢ色空間を有するＲＡＷデータから、ＹＣｒＣｂ色空間を有するＹＣＣデータに変換し、ＹＣＣデータに対してノイズリダクション処理を実行していたが、本発明はかかる例に限定されない。例えば、ＹＣｂＣｒ以外の、ＹＵＶ、Ｌａｂその他の色空間を有するカラー画像信号に対して、対象画素の色を判別し、判別結果に応じて所定の色を弱めるようなノイズリダクション処理を実行しても良い。
【００８５】
また、例えば、上記実施形態ではＹＣＣデータが色判別部１２２に入力され、ＹＣＣデータを用いて各画素に対する色判別処理を実行していたが、本発明はかかる例に限定されない。例えば、各画素に対する色判別処理はＲＡＷデータを用いて実行してもよい。ＲＡＷデータを用いて色判別を行い、ＲＡＷデータから輝度及び色差信号からなるカラー画像信号（例えばＹＵＶの色空間を有するカラー画像信号）に変換し、当該カラー画像信号における各画素の色として、ＲＡＷデータを用いた色判別の結果を用いてもよい。
【産業上の利用可能性】
【００８６】
本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに適用可能であり、特にカラー画像信号に含まれるノイズを除去する画像処理装置、画像処理方法及びコンピュータプログラムに適用可能である。
【符号の説明】
【００８７】
１００ 撮像装置
１０２ レンズ部
１０４ ＣＭＯＳイメージセンサ
１０８ ガンマ変換部
１１０ ＹＣＣ変換部
１２０ ノイズリダクション部
１２２ 色判別部
１２４ａ 赤ノイズリダクション部
１２４ｂ 青ノイズリダクション部
１２６ 周辺画素参照部
１２８ａ、１２８ｂ 平均部
１２９ａ、１２９ｂ 混合部
【特許請求の範囲】
【請求項１】
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、
前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、
を含む、画像処理装置。
【請求項２】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、前記色差信号および前記色差信号からノイズを除去した信号との混合比率を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる前記画像信号の領域の範囲を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる閾値を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項５】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項６】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項７】
前記所定の色空間はＲＧＢ色空間である、請求項１に記載の画像処理装置。
【請求項８】
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、
前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、
を含む、画像処理方法。
【請求項９】
コンピュータに、
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、
前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、
を実行させる、コンピュータプログラム。
【請求項１】
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換部と、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別部と、
前記色差信号に対するノイズ除去の強度を前記色判別部で判別した色に応じて変更してノイズ除去を行うノイズ除去部と、
を含む、画像処理装置。
【請求項２】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、前記色差信号および前記色差信号からノイズを除去した信号との混合比率を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる前記画像信号の領域の範囲を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ除去部は、前記色判別部で判別した色に応じて、ノイズの除去に用いる閾値を変化させることでノイズ除去の強度を変更する、請求項１に記載の画像処理装置。
【請求項５】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＣｒ信号及びＣｂ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項６】
前記変換部は前記第１のカラー画像信号を、前記輝度信号としてＹ信号に、前記色差信号としてＵ信号及びＶ信号に、それぞれ変換する、請求項１に記載の画像処理装置。
【請求項７】
前記所定の色空間はＲＧＢ色空間である、請求項１に記載の画像処理装置。
【請求項８】
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、
前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、
を含む、画像処理方法。
【請求項９】
コンピュータに、
所定の色空間を有する第１のカラー画像信号を輝度信号及び色差信号からなる色空間を有する第２のカラー画像信号に変換する変換ステップと、
前記第１のカラー画像信号または前記第２のカラー画像信号の各画素の色を判別する色判別ステップと、
前記色差信号に対するノイズ除去の強度を前記色判別ステップで判別した色に応じて変更してノイズ除去を行うノイズ除去ステップと、
を実行させる、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２１３０８６（Ｐ２０１０−２１３０８６Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５８２５１（Ｐ２００９−５８２５１）
【出願日】平成２１年３月１１日（２００９．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１１日（２００９．３．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]