画像処理装置、撮像装置およびプログラム
【課題】 色差成分を平滑化しつつも、より自然な質感を有する画像を生成する手段を提供する。
【解決手段】 画像処理装置は、入力画像の色差成分に平滑化を行なう平滑化部と、抽出部と、演算部と、補正部とを備える。抽出部は、平滑化前後の色差成分を用いて、入力画像に含まれる色差の変動成分を抽出する。演算部は、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める。補正部は、質感成分を用いて、入力画像の輝度成分を補正する。
【解決手段】 画像処理装置は、入力画像の色差成分に平滑化を行なう平滑化部と、抽出部と、演算部と、補正部とを備える。抽出部は、平滑化前後の色差成分を用いて、入力画像に含まれる色差の変動成分を抽出する。演算部は、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める。補正部は、質感成分を用いて、入力画像の輝度成分を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像の解像感を向上させるために、画像の色差成分に対して平滑化を行う技術が公知である。一例として、特許文献１には、画像データの色情報から局所的な変動成分を抽出し、この変動成分から擬似的に生成された輝度の質感成分を輝度情報に加えることで、平滑化を行いつつも画像の解像感を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５９５９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像処理では、人間の視覚特性を考慮して質感成分が生成されていないため、色差成分を平滑化した後の画像の質感になお改善の余地があった。
【０００５】
上記事情に鑑み、色差成分を平滑化しつつも、より自然な質感を有する画像を生成する手段を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様の画像処理装置は、入力画像の色差成分に平滑化を行う平滑化部と、抽出部と、演算部と、補正部とを備える。抽出部は、平滑化前後の色差成分を用いて、入力画像に含まれる色差の変動成分を抽出する。演算部は、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める。補正部は、質感成分を用いて、入力画像の輝度成分を補正する。
【０００７】
上記の一態様において、演算部は、平滑化後の色差成分の色差座標から質感成分の輝度勾配を求めてもよい。また、演算部は、色差の変動成分と輝度勾配とを用いて質感成分を求めてもよい。
【０００８】
上記の輝度勾配は、色差座標との色相角が９０度から１３５度の範囲では他の範囲と比べて値が小さくなるものであってもよい。
【０００９】
上記の輝度勾配は、色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、色差座標の負方向の彩度変化に対して負方向の輝度変化を与えてもよい。
【００１０】
ここで、上記の画像処理装置を含む撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムおよびプログラム記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。
【発明の効果】
【００１１】
入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求め、この質感成分を用いて入力画像の輝度成分を補正する。これにより、色差成分を平滑化しつつも、より自然な質感を有する画像を生成できる。
【図面の簡単な説明】
【００１２】
【図１】一の実施形態での画像処理装置の構成例を示す図
【図２】Helmholtz-Kohlrausch効果を考慮したノイズの見えの説明図
【図３】第１の実験の実験結果を示す図
【図４】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝１０）
【図５】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝２０）
【図６】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝３０）
【図７】第１実施形態でのノイズ低減処理例を示す流れ図
【図８】第１実施形態でのノイズ低減処理例の概要図
【図９】輝度勾配係数のデータテーブルの一例を模式的に示す図
【図１０】輝度勾配における彩度と輝度との相関を示す図
【図１１】輝度勾配における彩度と輝度との相関を示す図
【図１２】第２実施形態でのノイズ低減処理例の概要図
【図１３】第３実施形態での撮像装置の構成例を示す図
【発明を実施するための形態】
【００１３】
＜第１実施形態の説明＞
図１は、第１実施形態での画像処理装置の構成例を示す図である。第１実施形態での画像処理装置は、入力画像に対してノイズ低減処理を施す画像処理プログラムがインストールされたパーソナルコンピュータである。
【００１４】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１５】
データ読込部１２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部１２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、有線／無線ＬＡＮモジュールなど）である。
【００１６】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置１３には、上記の画像処理プログラムや、プログラムの実行に必要となる各種データ（後述する輝度勾配係数のデータテーブルなど）が記憶されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像のデータや、画像処理プログラムでノイズ低減処理が施された画像のデータを記憶しておくこともできる。
【００１７】
ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、平滑化部２１、抽出部２２、演算部２３、補正部２４として動作する（平滑化部２１、抽出部２２、演算部２３および補正部２４の各動作については後述する）。
【００１８】
メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭである。
【００１９】
次に、第１実施形態での画像処理装置の動作例を説明する。
【００２０】
第１実施形態の画像処理装置は、入力画像の色差成分に平滑化を行うことで、画像の色ノイズを低減させる。一方で、第１実施形態の画像処理装置は、人間の視覚特性を考慮して質感成分を擬似的に生成するとともに、上記の質感成分を入力画像の輝度成分に加える補正を行う。
【００２１】
ここで、上記の処理を行う理由を説明する。一般的に、画像の輝度成分のノイズは、画像の解像感の向上や、フィルム撮影のような質感に寄与するなど、好ましい効果を生じさせることが知られている。一方、画像の色差成分のノイズ（色ノイズ）は、画像の解像感を大きく低下させるため、画像処理で抑制することが好ましい。
【００２２】
しかし、人間の視覚特性上、明るさは色に応じて異なって知覚され、かつ同じ輝度値でも彩度が高いほど明るく知覚される（Helmholtz-Kohlrausch効果）。よって、単純に画像の色差成分のみを平滑化すると、補正後の画像は輝度成分による質感も低減するように看者に知覚されてしまう。
【００２３】
図２は、Helmholtz-Kohlrausch効果を考慮したノイズの見えの説明図である。図２（ａ）に示すように、輝度（Ｌ＊）が一定であるときに色差平面（ａ＊ｂ＊）で揺らぎ（ノイズ）があった場合を考える。このとき、色差平面での揺らぎが有ると看者の明るさの感覚も変化する。よって、画像の輝度は一定であるにも拘わらず、看者には明るさの揺らぎ（ノイズ）も知覚されるようになる（図２（ｂ）参照）。
【００２４】
発明者は、上記の事項を確認するため、以下の２つの実験を行った。
【００２５】
第１の実験では、それぞれ同じ大きさの色ノイズを含み、互いに色の異なる２つの色パッチをディスプレイ上に表示した。そして、被験者にノイズが大きいと感じる方を選択させる一対比較法の心理物理実験を行った。
【００２６】
図３は、第１の実験の実験結果を示す図である。図３は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色差平面（ａ＊ｂ＊）上の各位置におけるノイズの見え方を示している。図３において、十字の中心は色パッチの色差平面上の座標を示し、ノイズが大きいと感じる被験者が多いほど色パッチに対応する十字が大きく表記される。
【００２７】
図３から、ノイズの見えやすさは背景色（色パッチ）によって異なることが分かる。また、図３から、無彩色（ａ＊＝ｂ＊＝０）ではノイズは比較的知覚されにくく、有彩色（例えば青色（色差平面の第３象限）や赤紫色（色差平面の第４象限））ではノイズが知覚されやすいことも分かる。
【００２８】
第２の実験では、無彩色の基準パッチ（Ｌ＊＝５１．５６）と、有彩色パッチとをディスプレイ上に表示した。そして、基準パッチと同じ明るさとなるように、被験者に有彩色パッチの輝度（Ｌ＊）を調整させる心理物理実験を行った。
【００２９】
図４〜図６は、第２の実験の実験結果を示す図である。図４は有彩色パッチの彩度Ｃ＊ａｂ＝１０のときの実験結果であり、図５は有彩色パッチの彩度Ｃ＊ａｂ＝２０のときの実験結果であり、図６は有彩色パッチの彩度Ｃ＊ａｂ＝３０のときの実験結果である。図４〜図６において、縦軸は輝度（Ｌ＊）を示し、横軸は色相角を示す。また、図４〜図６では、基準パッチの輝度は実線で示し、被験者によって調整された有彩色パッチの輝度変化は破線で示す。
【００３０】
図４〜図６から、基準パッチと同じ明るさと知覚される有彩色パッチの輝度Ｌ＊は、色相角に応じて異なることが分かる。色相角９０度〜１３５度の範囲においてHelmholtz-Kohlrausch効果の影響はいずれの彩度でも比較的少ない。しかし、他の色相角の範囲では、有彩色パッチの輝度Ｌ＊を基準パッチよりも小さくしないと、両者を同じ明るさとして知覚できないことが分かる。また、図４〜図６から、一般的に、同じ色相角においても彩度が高くなると、有彩色パッチの輝度Ｌ＊をより小さくしないと基準パッチと同じ明るさに知覚できないことも分かる。
【００３１】
上記のように、彩度、色相によってHelmholtz-Kohlrausch 効果の程度は異なるため、ノイズにより彩度、色相が変化すると、看者の知覚する明度も変化する。この明度の大きさの違いが第１の実験でのノイズの知覚の差に影響していると考えられる。なぜならば、人間の視覚特性において、明るさの高周波成分の知覚感度は色差のそれよりも高いためである。例えば、色相９０度〜１３５度の範囲ではHelmholtz-Kohlrausch効果がいずれの彩度でもほとんど見られない。そのため、この範囲に含まれる色はノイズで彩度や色相が変わったとしても、他の領域に比べノイズが知覚されにくいことが示唆される。このことは、第１の実験の実験結果とも整合する。
【００３２】
以上の事項から、入力画像の色差成分に平滑化を行うときに、Helmholtz-Kohlrausch効果を考慮した輝度の補正を行うことで、画像の質感をより向上できることが分かる。
【００３３】
次に、図面を参照しつつ、第１実施形態のノイズ低減処理の例を説明する。図７は、第１実施形態でのノイズ低減処理例を示す流れ図である。図８は、第１実施形態でのノイズ低減処理例の概要図である。なお、図７、図８の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４がプログラムを実行することで開始される。
【００３４】
ステップ＃１０１：ＣＰＵ１４は、ノイズ低減処理の対象となる入力画像のデータを、データ読込部１２から取得する。＃１０１で取得された入力画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、入力画像のデータが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４は＃１０１の処理を省略してもよい。
【００３５】
ここで、第１実施形態の入力画像は、色補間処理が施された後のカラー画像であって、輝度成分および色差成分からなる色空間（ＹＣｂＣｒ、ＣＩＥ Ｌ＊ａ＊ｂ＊など）で表現される。第１実施形態では、色空間がＣＩＥ Ｌ＊ａ＊ｂ＊である入力画像のデータの例を説明する。また、以下の説明では、入力画像の輝度チャンネルを輝度情報（Ｌ＊）と称し、入力画像の色差チャンネルを色差情報（ａ＊，ｂ＊）と称する。なお、＃１０１で取得した画像が他の色空間（例えばＲＧＢ）の場合、ＣＰＵ１４は色空間の変換処理を実行するものとする。
【００３６】
ステップ＃１０２：平滑化部２１は、入力画像の色差情報（＃１０１）に対して平滑化フィルタ（一例としてバイラテラルフィルタまたはイプシロンフィルタ）による平滑化処理を施す。
【００３７】
【数１】
【００３８】
上記の色差の変動成分（ｄａ＊，ｄｂ＊）は、平滑化によって画像から除去される色差のノイズ（揺らぎ）である。
【００３９】
ステップ＃１０４：演算部２３は、＃１０３で取得した色差の変動成分（ｄａ＊，ｄｂ＊）を、カルテシアン座標系(Cartesian coordinates)から極座標系に変換する。＃１０４の処理では、色差平面の座標で示された色差の変動成分（ｄａ＊，ｄｂ＊）が、彩度および色相角（ｄＣ＊，ｄｈ＊）の形式に変換される。
【００４０】
【数２】
【００４１】
上記の質感成分の輝度勾配は、Helmholtz-Kohlrausch効果に準拠して、等明度にするときの輝度の彩度依存性を示すパラメータである。一例として、質感成分の輝度勾配は、彩度の変化（ΔＣ＊ａｂ）に対する輝度の変化（ΔＬ＊）として表現できる（ΔＬ＊／ΔＣ＊ａｂ）。
【００４２】
ここで、第１実施形態での演算部２３は、予め記憶装置１３に記憶されている輝度勾配係数のデータテーブルを用いて輝度勾配を求める。図９は、輝度勾配係数のデータテーブルの一例を模式的に示す図である。
【００４３】
上記の輝度勾配係数のデータテーブルは、等明度にするための輝度の係数と色相角との対応関係が記憶されている。上記のデータテーブルでは、色相角の４５度刻みで輝度の係数が記憶されている。また、上記のデータテーブルでは、彩度０−１０の範囲と、彩度１０−２０の範囲と、彩度２０−３０の範囲とで、それぞれ輝度の係数と色相角との対応関係が変化する。なお、図９のデータテーブルは、上記した第２の実験の実験結果（図４〜図６）に基づいて、Ｌ＊＝５１．５６を基準として生成されている。
【００４４】
図９における色相角が９０−１３５度の範囲では、他の範囲と比べて輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）がいずれの彩度でも小さくなり、ほぼ０となる。また、輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）が負の値をとるときの値はいずれも小さい。そのため、ほぼ（ΔＬ＊／ΔＣ＊ａｂ）≧０であるとみなすことができる。すなわち、輝度勾配では彩度が高くなると輝度が高くなる。
【００４５】
また、＃１０６での演算部２３は、以下の要領で輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）を求めればよい。
【００４６】
【数３】
【００４７】
【数４】
【００４８】
なお、輝度勾配は、色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、色差座標の負方向の彩度変化に対して負方向の輝度変化を与える。図１０、図１１は、輝度勾配における彩度と輝度との相関を示す図である。図１０、図１１において、縦軸は輝度を示し、横軸は彩度を示す。
【００４９】
図１０は、彩度の増加方向（正方向）に揺らぎを加えた状態を示している。この場合、彩度の増加に対して等明度の線は下降するため、看者には対象が暗く知覚されるようになる。よって、輝度勾配では正方向の輝度変化を与えることでバランスをとる。
【００５０】
一方、図１１は、彩度の減少方向（負方向）に揺らぎを加えた状態を示している。この場合、彩度の減少に対して等明度の線は上昇するため、看者には対象が明るく知覚されるようになる。よって、輝度勾配では負方向の輝度変化を与えることでバランスをとる。
【００５１】
ステップ＃１０７：演算部２３は、彩度の揺らぎｄＣ＊（＃１０４）に輝度勾配（＃１０６）を乗じて質感成分（ｄＬ＊）を求める。
【００５２】
【数５】
【００５３】
ステップ＃１０８：演算部２３は、＃１０７で求めた質感成分（ｄＬ＊）に対して、キャリブレーション用の補正係数ｋを乗算する（ただし、０＜ｋ＜１）。補正係数ｋは、質感成分の過補正を防ぐためのものであって、＃１０７のｄＬ＊の値を小さくするように補正する。例えば、補正係数ｋは、入力画像を撮影したカメラの機種や画像処理のモード等に応じてそれぞれ主観評価で決定された値が採用される。
【００５４】
ステップ＃１０９：補正部２４は、＃１０１の入力画像の輝度情報（Ｌ＊）に、＃１０８の調整後の質感成分（ｄＬ＊）を加算して補正する。なお、＃１０９の補正後の輝度情報をＬ＊’と表記する。
【００５５】
【数６】
【００５６】
その後、ＣＰＵ１４は、出力画像のデータを記憶装置１３に記憶してもよく、出力画像をモニタ１９に表示させてもよい。以上で、図７、図８による説明を終了する。
【００５７】
以下、第１実施形態での作用効果を述べる。第１実施形態の画像処理装置は、色差情報に平滑化を行う（＃１０２）とともに、入力画像の色再現で色差の変動成分（＃１０３）が輝度に与える影響に相応する質感成分（＃１０７）を求める。そして、画像処理装置は、上記の質感成分を用いて入力画像の輝度成分を補正する（＃１０９）。
【００５８】
これにより、ノイズ低減処理後の出力画像（＃１１０）では、色差成分の平滑化によって色ノイズが抑制されるとともに、Helmholtz-Kohlrausch効果を考慮して輝度成分が補正されるので、より自然な質感を有する画像となる。
【００５９】
＜第２実施形態の説明＞
図１２は、第２実施形態でのノイズ低減処理例の概要図である。第２実施形態は第１実施形態の変形例であって、図１２は上記の図８に対応する。なお、以下の説明において、第１実施形態と共通する要素には同一符号を付して重複説明を省略する。
【００６０】
第２実施形態の画像処理装置では、それぞれ異なる輝度条件で生成された複数の輝度勾配係数のデータテーブルが予め記憶装置１３に記憶されている。第２実施形態での演算部２３は、上記の＃１０６に対応する処理（図１２の＃１０６’）のときに、輝度情報（Ｌ＊）の値に応じて参照する輝度勾配係数のデータテーブルを変更する。かかる第２実施形態では、上記の第１実施形態と同様の効果に加えて、Ｌ＊の値に応じてより細かく質感成分の調整が行われるので、出力画像の解像感をより向上させることができる。
【００６１】
＜第３実施形態の説明＞
図１３は、第３実施形態での撮像装置の構成例を示す図である。第３実施形態は、第１実施形態または第２実施形態の画像処理装置を電子カメラ３１に実装した例であって、電子カメラ３１の撮像部３３から画像処理装置が入力画像を取得する。
【００６２】
電子カメラ３１は、撮影レンズ３２と、撮像部３３と、画像処理エンジン３４と、第１メモリ３５および第２メモリ３６と、記録Ｉ／Ｆ３７と、操作部３８とを備えている。ここで、撮像部３３、第１メモリ３５、第２メモリ３６、記録Ｉ／Ｆ３７および操作部３８は、それぞれ画像処理エンジン３４と接続されている。
【００６３】
撮像部３３は、撮影レンズ３２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部３３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。
【００６４】
画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮影モードにおいて、ユーザの撮影指示入力に応じて、画像を撮像部３３に撮影させる。また、画像処理エンジン３４は、プログラムの実行により、一の実施形態のＣＰＵ１４（平滑化部２１、抽出部２２、演算部２３、補正部２４）と同様に動作する。
【００６５】
第１メモリ３５は、画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ３６は、画像処理エンジン３４の実行するプログラムを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリである。
【００６６】
記録Ｉ／Ｆ３７は、不揮発性の記憶媒体３９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体３９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体３９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１３では記憶媒体３９の一例としてメモリカードを図示する。
【００６７】
操作部３８は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部３８は、例えば、記録用の静止画像の撮影指示を受け付けるレリーズ釦などを含む。
【００６８】
以下、第３実施形態での電子カメラ３１の動作例を簡単に説明する。第３実施形態の電子カメラ３１では、ユーザの撮影指示入力に応じて、撮像部３３が画像を撮影する。これにより、図７の＃１０１の処理に相当する入力画像の取得が行われる。
【００６９】
そして、画像処理エンジン３４は、図７の＃１０３〜＃１１０と同様の手法で画像のデータにノイズ低減処理を施す。その後、出力画像のデータは、記録Ｉ／Ｆ３７を介して記憶媒体３９に記録される。また、画像処理エンジン３４は、不図示の表示部に出力画像を表示してもよい。かかる第３実施形態においても、第１実施形態または第２実施形態とほぼ同様の効果を得ることができる。
【００７０】
＜実施形態の補足事項＞
（補足事項１）：上記実施形態では、輝度勾配の係数と、変動成分の彩度（彩度の揺らぎ）とから質感成分を求める例を説明したが、さらに変動成分の色相（色相の揺らぎ）を考慮してもよい。
【００７１】
ここで、彩度の揺らぎをｄＣ＊とし、色相の揺らぎをｄｈとする。また、彩度による輝度勾配の係数をΔＬ＊Ｃとし、また、色相方向の輝度勾配の係数をΔＬ＊Ｈとする。なお、色相方向の輝度勾配の係数は、色差平面上の色相方向の距離に対する輝度の変化を示すものであり、色相角に対する明度の変化ではない。
【００７２】
このとき、彩度の揺らぎによる質感成分ｄＬ＊Ｃおよび色相の揺らぎによる質感成分ｄＬ＊Ｈは、下式（２）、（３）で求めることができる。そして、下式（４）のように、両者を統合することで最終的な質感成分ｄＬ＊を得ることができる。
【００７３】
【数７】
【００７４】
（補足事項２）：上記実施形態において、輝度勾配係数のデータテーブルは、カルテシアン座標系による色差平面の座標値と輝度勾配との対応関係を記憶したものであってもよい。この場合、演算部２３は、色差の変動成分および平滑化後の色差成分の極座標への変換を省略できる。
【００７５】
（補足事項３）：上記実施形態において、出力画像の輝度ノイズを微調整するために、輝度情報Ｌ＊または輝度情報Ｌ＊’に対して平滑化処理を施してもよい。
【００７６】
（補足事項４）：上記の第１実施形態および第２実施形態では、画像処理装置がパーソナルコンピュータである例を説明した。しかし、本発明の画像処理装置は、プリンタ、フォトビューア等の電子機器であってもよい。
【００７７】
（補足事項５）：上記の第３実施形態では、撮像装置の一例として電子カメラの場合を説明した。しかし、本発明の撮像装置はスキャナであってもよい。また、本発明の撮像装置は、顕微鏡や望遠鏡の光学系を備えるものであってもよい。
【００７８】
（補足事項６）：上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて縮平滑化部２１、抽出部２２、演算部２３、補正部２４の各機能をハードウエア的に実現してもかまわない。
【００７９】
（補足事項７）：上記実施形態では、色差の変動成分（ハイパス成分）が明度に与える影響を考慮することで、画像の画像処理前後の質感を補正している。しかし、本発明は上記実施形態に限定されることなく、色差の変動成分を抽出し、抽出された色差の変動成分による明度への影響を考慮して、色補正後や階調補正後の画像の解像感を補正してもよい。
【００８０】
すなわち、入力画像に含まれる色差の変動成分を抽出する抽出部と、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、上記の質感成分を用いて、入力画像のエッジを強調する補正部とを備える画像処理装置および撮像装置（または画像処理プログラム）も本発明の技術的範囲に含まれる。かかる補足事項７によれば、人間の視覚特性を考慮して入力画像のエッジが強調されるので、エッジ強調後の画像の色再現や解像感をより自然に見せることが可能となる。
【００８１】
一例として、補足事項７の特徴を上記実施形態の構成に当てはめて説明する。抽出部２２および演算部２３は上記実施形態と同様に動作する。これにより、演算部２３によって質感成分ｄＬ＊が求められる。そして、補正部２４が公知のエッジ強調処理を実行する。このとき、補正部２４は、上記の質感成分ｄＬ＊の影響が平準化されるように画像の各位置でエッジ強調の度合いを調整すればよい。かかるエッジ強調処理は、入力画像の一部または全てのチャネルを対象としてもよい。また、他の色空間に変換された入力画像にエッジ強調処理を施してもよい。なお、補足事項７において、色差の変動成分をハイパスフィルタなどで抽出すれば、入力画像の色差成分の平滑化は行わなくてもよい。
【００８２】
（補足事項８）：本明細書で開示した第１の実験及び第２の実験の実験結果は、２２型ＬＣＤをｓＲＧＢ規格に準拠して調整し、５０ｃｍの距離から観察した場合のものである。本発明を実施する場合において、異なる観察環境ではその環境に応じて実験して得られた値を使用してもよい。また、本発明を実施する場合において、画像の解像度、画素数や出力条件設定に応じて適切な値（データテーブル）を使用してもよい。
【００８３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００８４】
１１…コンピュータ，１２…データ読込部，１３…記憶装置，１４…ＣＰＵ，２１…平滑化部，２２…抽出部，２３…演算部，２４…補正部，３１…電子カメラ，３３…撮像部，３４…画像処理エンジン
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像の解像感を向上させるために、画像の色差成分に対して平滑化を行う技術が公知である。一例として、特許文献１には、画像データの色情報から局所的な変動成分を抽出し、この変動成分から擬似的に生成された輝度の質感成分を輝度情報に加えることで、平滑化を行いつつも画像の解像感を向上させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５９５９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像処理では、人間の視覚特性を考慮して質感成分が生成されていないため、色差成分を平滑化した後の画像の質感になお改善の余地があった。
【０００５】
上記事情に鑑み、色差成分を平滑化しつつも、より自然な質感を有する画像を生成する手段を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様の画像処理装置は、入力画像の色差成分に平滑化を行う平滑化部と、抽出部と、演算部と、補正部とを備える。抽出部は、平滑化前後の色差成分を用いて、入力画像に含まれる色差の変動成分を抽出する。演算部は、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める。補正部は、質感成分を用いて、入力画像の輝度成分を補正する。
【０００７】
上記の一態様において、演算部は、平滑化後の色差成分の色差座標から質感成分の輝度勾配を求めてもよい。また、演算部は、色差の変動成分と輝度勾配とを用いて質感成分を求めてもよい。
【０００８】
上記の輝度勾配は、色差座標との色相角が９０度から１３５度の範囲では他の範囲と比べて値が小さくなるものであってもよい。
【０００９】
上記の輝度勾配は、色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、色差座標の負方向の彩度変化に対して負方向の輝度変化を与えてもよい。
【００１０】
ここで、上記の画像処理装置を含む撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムおよびプログラム記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。
【発明の効果】
【００１１】
入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求め、この質感成分を用いて入力画像の輝度成分を補正する。これにより、色差成分を平滑化しつつも、より自然な質感を有する画像を生成できる。
【図面の簡単な説明】
【００１２】
【図１】一の実施形態での画像処理装置の構成例を示す図
【図２】Helmholtz-Kohlrausch効果を考慮したノイズの見えの説明図
【図３】第１の実験の実験結果を示す図
【図４】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝１０）
【図５】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝２０）
【図６】第２の実験の実験結果を示す図（Ｃ＊ａｂ＝３０）
【図７】第１実施形態でのノイズ低減処理例を示す流れ図
【図８】第１実施形態でのノイズ低減処理例の概要図
【図９】輝度勾配係数のデータテーブルの一例を模式的に示す図
【図１０】輝度勾配における彩度と輝度との相関を示す図
【図１１】輝度勾配における彩度と輝度との相関を示す図
【図１２】第２実施形態でのノイズ低減処理例の概要図
【図１３】第３実施形態での撮像装置の構成例を示す図
【発明を実施するための形態】
【００１３】
＜第１実施形態の説明＞
図１は、第１実施形態での画像処理装置の構成例を示す図である。第１実施形態での画像処理装置は、入力画像に対してノイズ低減処理を施す画像処理プログラムがインストールされたパーソナルコンピュータである。
【００１４】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１５】
データ読込部１２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部１２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、有線／無線ＬＡＮモジュールなど）である。
【００１６】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置１３には、上記の画像処理プログラムや、プログラムの実行に必要となる各種データ（後述する輝度勾配係数のデータテーブルなど）が記憶されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像のデータや、画像処理プログラムでノイズ低減処理が施された画像のデータを記憶しておくこともできる。
【００１７】
ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、平滑化部２１、抽出部２２、演算部２３、補正部２４として動作する（平滑化部２１、抽出部２２、演算部２３および補正部２４の各動作については後述する）。
【００１８】
メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭである。
【００１９】
次に、第１実施形態での画像処理装置の動作例を説明する。
【００２０】
第１実施形態の画像処理装置は、入力画像の色差成分に平滑化を行うことで、画像の色ノイズを低減させる。一方で、第１実施形態の画像処理装置は、人間の視覚特性を考慮して質感成分を擬似的に生成するとともに、上記の質感成分を入力画像の輝度成分に加える補正を行う。
【００２１】
ここで、上記の処理を行う理由を説明する。一般的に、画像の輝度成分のノイズは、画像の解像感の向上や、フィルム撮影のような質感に寄与するなど、好ましい効果を生じさせることが知られている。一方、画像の色差成分のノイズ（色ノイズ）は、画像の解像感を大きく低下させるため、画像処理で抑制することが好ましい。
【００２２】
しかし、人間の視覚特性上、明るさは色に応じて異なって知覚され、かつ同じ輝度値でも彩度が高いほど明るく知覚される（Helmholtz-Kohlrausch効果）。よって、単純に画像の色差成分のみを平滑化すると、補正後の画像は輝度成分による質感も低減するように看者に知覚されてしまう。
【００２３】
図２は、Helmholtz-Kohlrausch効果を考慮したノイズの見えの説明図である。図２（ａ）に示すように、輝度（Ｌ＊）が一定であるときに色差平面（ａ＊ｂ＊）で揺らぎ（ノイズ）があった場合を考える。このとき、色差平面での揺らぎが有ると看者の明るさの感覚も変化する。よって、画像の輝度は一定であるにも拘わらず、看者には明るさの揺らぎ（ノイズ）も知覚されるようになる（図２（ｂ）参照）。
【００２４】
発明者は、上記の事項を確認するため、以下の２つの実験を行った。
【００２５】
第１の実験では、それぞれ同じ大きさの色ノイズを含み、互いに色の異なる２つの色パッチをディスプレイ上に表示した。そして、被験者にノイズが大きいと感じる方を選択させる一対比較法の心理物理実験を行った。
【００２６】
図３は、第１の実験の実験結果を示す図である。図３は、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系の色差平面（ａ＊ｂ＊）上の各位置におけるノイズの見え方を示している。図３において、十字の中心は色パッチの色差平面上の座標を示し、ノイズが大きいと感じる被験者が多いほど色パッチに対応する十字が大きく表記される。
【００２７】
図３から、ノイズの見えやすさは背景色（色パッチ）によって異なることが分かる。また、図３から、無彩色（ａ＊＝ｂ＊＝０）ではノイズは比較的知覚されにくく、有彩色（例えば青色（色差平面の第３象限）や赤紫色（色差平面の第４象限））ではノイズが知覚されやすいことも分かる。
【００２８】
第２の実験では、無彩色の基準パッチ（Ｌ＊＝５１．５６）と、有彩色パッチとをディスプレイ上に表示した。そして、基準パッチと同じ明るさとなるように、被験者に有彩色パッチの輝度（Ｌ＊）を調整させる心理物理実験を行った。
【００２９】
図４〜図６は、第２の実験の実験結果を示す図である。図４は有彩色パッチの彩度Ｃ＊ａｂ＝１０のときの実験結果であり、図５は有彩色パッチの彩度Ｃ＊ａｂ＝２０のときの実験結果であり、図６は有彩色パッチの彩度Ｃ＊ａｂ＝３０のときの実験結果である。図４〜図６において、縦軸は輝度（Ｌ＊）を示し、横軸は色相角を示す。また、図４〜図６では、基準パッチの輝度は実線で示し、被験者によって調整された有彩色パッチの輝度変化は破線で示す。
【００３０】
図４〜図６から、基準パッチと同じ明るさと知覚される有彩色パッチの輝度Ｌ＊は、色相角に応じて異なることが分かる。色相角９０度〜１３５度の範囲においてHelmholtz-Kohlrausch効果の影響はいずれの彩度でも比較的少ない。しかし、他の色相角の範囲では、有彩色パッチの輝度Ｌ＊を基準パッチよりも小さくしないと、両者を同じ明るさとして知覚できないことが分かる。また、図４〜図６から、一般的に、同じ色相角においても彩度が高くなると、有彩色パッチの輝度Ｌ＊をより小さくしないと基準パッチと同じ明るさに知覚できないことも分かる。
【００３１】
上記のように、彩度、色相によってHelmholtz-Kohlrausch 効果の程度は異なるため、ノイズにより彩度、色相が変化すると、看者の知覚する明度も変化する。この明度の大きさの違いが第１の実験でのノイズの知覚の差に影響していると考えられる。なぜならば、人間の視覚特性において、明るさの高周波成分の知覚感度は色差のそれよりも高いためである。例えば、色相９０度〜１３５度の範囲ではHelmholtz-Kohlrausch効果がいずれの彩度でもほとんど見られない。そのため、この範囲に含まれる色はノイズで彩度や色相が変わったとしても、他の領域に比べノイズが知覚されにくいことが示唆される。このことは、第１の実験の実験結果とも整合する。
【００３２】
以上の事項から、入力画像の色差成分に平滑化を行うときに、Helmholtz-Kohlrausch効果を考慮した輝度の補正を行うことで、画像の質感をより向上できることが分かる。
【００３３】
次に、図面を参照しつつ、第１実施形態のノイズ低減処理の例を説明する。図７は、第１実施形態でのノイズ低減処理例を示す流れ図である。図８は、第１実施形態でのノイズ低減処理例の概要図である。なお、図７、図８の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４がプログラムを実行することで開始される。
【００３４】
ステップ＃１０１：ＣＰＵ１４は、ノイズ低減処理の対象となる入力画像のデータを、データ読込部１２から取得する。＃１０１で取得された入力画像のデータは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、入力画像のデータが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４は＃１０１の処理を省略してもよい。
【００３５】
ここで、第１実施形態の入力画像は、色補間処理が施された後のカラー画像であって、輝度成分および色差成分からなる色空間（ＹＣｂＣｒ、ＣＩＥ Ｌ＊ａ＊ｂ＊など）で表現される。第１実施形態では、色空間がＣＩＥ Ｌ＊ａ＊ｂ＊である入力画像のデータの例を説明する。また、以下の説明では、入力画像の輝度チャンネルを輝度情報（Ｌ＊）と称し、入力画像の色差チャンネルを色差情報（ａ＊，ｂ＊）と称する。なお、＃１０１で取得した画像が他の色空間（例えばＲＧＢ）の場合、ＣＰＵ１４は色空間の変換処理を実行するものとする。
【００３６】
ステップ＃１０２：平滑化部２１は、入力画像の色差情報（＃１０１）に対して平滑化フィルタ（一例としてバイラテラルフィルタまたはイプシロンフィルタ）による平滑化処理を施す。
【００３７】
【数１】
【００３８】
上記の色差の変動成分（ｄａ＊，ｄｂ＊）は、平滑化によって画像から除去される色差のノイズ（揺らぎ）である。
【００３９】
ステップ＃１０４：演算部２３は、＃１０３で取得した色差の変動成分（ｄａ＊，ｄｂ＊）を、カルテシアン座標系(Cartesian coordinates)から極座標系に変換する。＃１０４の処理では、色差平面の座標で示された色差の変動成分（ｄａ＊，ｄｂ＊）が、彩度および色相角（ｄＣ＊，ｄｈ＊）の形式に変換される。
【００４０】
【数２】
【００４１】
上記の質感成分の輝度勾配は、Helmholtz-Kohlrausch効果に準拠して、等明度にするときの輝度の彩度依存性を示すパラメータである。一例として、質感成分の輝度勾配は、彩度の変化（ΔＣ＊ａｂ）に対する輝度の変化（ΔＬ＊）として表現できる（ΔＬ＊／ΔＣ＊ａｂ）。
【００４２】
ここで、第１実施形態での演算部２３は、予め記憶装置１３に記憶されている輝度勾配係数のデータテーブルを用いて輝度勾配を求める。図９は、輝度勾配係数のデータテーブルの一例を模式的に示す図である。
【００４３】
上記の輝度勾配係数のデータテーブルは、等明度にするための輝度の係数と色相角との対応関係が記憶されている。上記のデータテーブルでは、色相角の４５度刻みで輝度の係数が記憶されている。また、上記のデータテーブルでは、彩度０−１０の範囲と、彩度１０−２０の範囲と、彩度２０−３０の範囲とで、それぞれ輝度の係数と色相角との対応関係が変化する。なお、図９のデータテーブルは、上記した第２の実験の実験結果（図４〜図６）に基づいて、Ｌ＊＝５１．５６を基準として生成されている。
【００４４】
図９における色相角が９０−１３５度の範囲では、他の範囲と比べて輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）がいずれの彩度でも小さくなり、ほぼ０となる。また、輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）が負の値をとるときの値はいずれも小さい。そのため、ほぼ（ΔＬ＊／ΔＣ＊ａｂ）≧０であるとみなすことができる。すなわち、輝度勾配では彩度が高くなると輝度が高くなる。
【００４５】
また、＃１０６での演算部２３は、以下の要領で輝度勾配（ΔＬ＊／ΔＣ＊ａｂ）を求めればよい。
【００４６】
【数３】
【００４７】
【数４】
【００４８】
なお、輝度勾配は、色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、色差座標の負方向の彩度変化に対して負方向の輝度変化を与える。図１０、図１１は、輝度勾配における彩度と輝度との相関を示す図である。図１０、図１１において、縦軸は輝度を示し、横軸は彩度を示す。
【００４９】
図１０は、彩度の増加方向（正方向）に揺らぎを加えた状態を示している。この場合、彩度の増加に対して等明度の線は下降するため、看者には対象が暗く知覚されるようになる。よって、輝度勾配では正方向の輝度変化を与えることでバランスをとる。
【００５０】
一方、図１１は、彩度の減少方向（負方向）に揺らぎを加えた状態を示している。この場合、彩度の減少に対して等明度の線は上昇するため、看者には対象が明るく知覚されるようになる。よって、輝度勾配では負方向の輝度変化を与えることでバランスをとる。
【００５１】
ステップ＃１０７：演算部２３は、彩度の揺らぎｄＣ＊（＃１０４）に輝度勾配（＃１０６）を乗じて質感成分（ｄＬ＊）を求める。
【００５２】
【数５】
【００５３】
ステップ＃１０８：演算部２３は、＃１０７で求めた質感成分（ｄＬ＊）に対して、キャリブレーション用の補正係数ｋを乗算する（ただし、０＜ｋ＜１）。補正係数ｋは、質感成分の過補正を防ぐためのものであって、＃１０７のｄＬ＊の値を小さくするように補正する。例えば、補正係数ｋは、入力画像を撮影したカメラの機種や画像処理のモード等に応じてそれぞれ主観評価で決定された値が採用される。
【００５４】
ステップ＃１０９：補正部２４は、＃１０１の入力画像の輝度情報（Ｌ＊）に、＃１０８の調整後の質感成分（ｄＬ＊）を加算して補正する。なお、＃１０９の補正後の輝度情報をＬ＊’と表記する。
【００５５】
【数６】
【００５６】
その後、ＣＰＵ１４は、出力画像のデータを記憶装置１３に記憶してもよく、出力画像をモニタ１９に表示させてもよい。以上で、図７、図８による説明を終了する。
【００５７】
以下、第１実施形態での作用効果を述べる。第１実施形態の画像処理装置は、色差情報に平滑化を行う（＃１０２）とともに、入力画像の色再現で色差の変動成分（＃１０３）が輝度に与える影響に相応する質感成分（＃１０７）を求める。そして、画像処理装置は、上記の質感成分を用いて入力画像の輝度成分を補正する（＃１０９）。
【００５８】
これにより、ノイズ低減処理後の出力画像（＃１１０）では、色差成分の平滑化によって色ノイズが抑制されるとともに、Helmholtz-Kohlrausch効果を考慮して輝度成分が補正されるので、より自然な質感を有する画像となる。
【００５９】
＜第２実施形態の説明＞
図１２は、第２実施形態でのノイズ低減処理例の概要図である。第２実施形態は第１実施形態の変形例であって、図１２は上記の図８に対応する。なお、以下の説明において、第１実施形態と共通する要素には同一符号を付して重複説明を省略する。
【００６０】
第２実施形態の画像処理装置では、それぞれ異なる輝度条件で生成された複数の輝度勾配係数のデータテーブルが予め記憶装置１３に記憶されている。第２実施形態での演算部２３は、上記の＃１０６に対応する処理（図１２の＃１０６’）のときに、輝度情報（Ｌ＊）の値に応じて参照する輝度勾配係数のデータテーブルを変更する。かかる第２実施形態では、上記の第１実施形態と同様の効果に加えて、Ｌ＊の値に応じてより細かく質感成分の調整が行われるので、出力画像の解像感をより向上させることができる。
【００６１】
＜第３実施形態の説明＞
図１３は、第３実施形態での撮像装置の構成例を示す図である。第３実施形態は、第１実施形態または第２実施形態の画像処理装置を電子カメラ３１に実装した例であって、電子カメラ３１の撮像部３３から画像処理装置が入力画像を取得する。
【００６２】
電子カメラ３１は、撮影レンズ３２と、撮像部３３と、画像処理エンジン３４と、第１メモリ３５および第２メモリ３６と、記録Ｉ／Ｆ３７と、操作部３８とを備えている。ここで、撮像部３３、第１メモリ３５、第２メモリ３６、記録Ｉ／Ｆ３７および操作部３８は、それぞれ画像処理エンジン３４と接続されている。
【００６３】
撮像部３３は、撮影レンズ３２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部３３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。
【００６４】
画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮影モードにおいて、ユーザの撮影指示入力に応じて、画像を撮像部３３に撮影させる。また、画像処理エンジン３４は、プログラムの実行により、一の実施形態のＣＰＵ１４（平滑化部２１、抽出部２２、演算部２３、補正部２４）と同様に動作する。
【００６５】
第１メモリ３５は、画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ３６は、画像処理エンジン３４の実行するプログラムを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリである。
【００６６】
記録Ｉ／Ｆ３７は、不揮発性の記憶媒体３９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体３９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体３９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１３では記憶媒体３９の一例としてメモリカードを図示する。
【００６７】
操作部３８は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部３８は、例えば、記録用の静止画像の撮影指示を受け付けるレリーズ釦などを含む。
【００６８】
以下、第３実施形態での電子カメラ３１の動作例を簡単に説明する。第３実施形態の電子カメラ３１では、ユーザの撮影指示入力に応じて、撮像部３３が画像を撮影する。これにより、図７の＃１０１の処理に相当する入力画像の取得が行われる。
【００６９】
そして、画像処理エンジン３４は、図７の＃１０３〜＃１１０と同様の手法で画像のデータにノイズ低減処理を施す。その後、出力画像のデータは、記録Ｉ／Ｆ３７を介して記憶媒体３９に記録される。また、画像処理エンジン３４は、不図示の表示部に出力画像を表示してもよい。かかる第３実施形態においても、第１実施形態または第２実施形態とほぼ同様の効果を得ることができる。
【００７０】
＜実施形態の補足事項＞
（補足事項１）：上記実施形態では、輝度勾配の係数と、変動成分の彩度（彩度の揺らぎ）とから質感成分を求める例を説明したが、さらに変動成分の色相（色相の揺らぎ）を考慮してもよい。
【００７１】
ここで、彩度の揺らぎをｄＣ＊とし、色相の揺らぎをｄｈとする。また、彩度による輝度勾配の係数をΔＬ＊Ｃとし、また、色相方向の輝度勾配の係数をΔＬ＊Ｈとする。なお、色相方向の輝度勾配の係数は、色差平面上の色相方向の距離に対する輝度の変化を示すものであり、色相角に対する明度の変化ではない。
【００７２】
このとき、彩度の揺らぎによる質感成分ｄＬ＊Ｃおよび色相の揺らぎによる質感成分ｄＬ＊Ｈは、下式（２）、（３）で求めることができる。そして、下式（４）のように、両者を統合することで最終的な質感成分ｄＬ＊を得ることができる。
【００７３】
【数７】
【００７４】
（補足事項２）：上記実施形態において、輝度勾配係数のデータテーブルは、カルテシアン座標系による色差平面の座標値と輝度勾配との対応関係を記憶したものであってもよい。この場合、演算部２３は、色差の変動成分および平滑化後の色差成分の極座標への変換を省略できる。
【００７５】
（補足事項３）：上記実施形態において、出力画像の輝度ノイズを微調整するために、輝度情報Ｌ＊または輝度情報Ｌ＊’に対して平滑化処理を施してもよい。
【００７６】
（補足事項４）：上記の第１実施形態および第２実施形態では、画像処理装置がパーソナルコンピュータである例を説明した。しかし、本発明の画像処理装置は、プリンタ、フォトビューア等の電子機器であってもよい。
【００７７】
（補足事項５）：上記の第３実施形態では、撮像装置の一例として電子カメラの場合を説明した。しかし、本発明の撮像装置はスキャナであってもよい。また、本発明の撮像装置は、顕微鏡や望遠鏡の光学系を備えるものであってもよい。
【００７８】
（補足事項６）：上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて縮平滑化部２１、抽出部２２、演算部２３、補正部２４の各機能をハードウエア的に実現してもかまわない。
【００７９】
（補足事項７）：上記実施形態では、色差の変動成分（ハイパス成分）が明度に与える影響を考慮することで、画像の画像処理前後の質感を補正している。しかし、本発明は上記実施形態に限定されることなく、色差の変動成分を抽出し、抽出された色差の変動成分による明度への影響を考慮して、色補正後や階調補正後の画像の解像感を補正してもよい。
【００８０】
すなわち、入力画像に含まれる色差の変動成分を抽出する抽出部と、入力画像の色再現で色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、上記の質感成分を用いて、入力画像のエッジを強調する補正部とを備える画像処理装置および撮像装置（または画像処理プログラム）も本発明の技術的範囲に含まれる。かかる補足事項７によれば、人間の視覚特性を考慮して入力画像のエッジが強調されるので、エッジ強調後の画像の色再現や解像感をより自然に見せることが可能となる。
【００８１】
一例として、補足事項７の特徴を上記実施形態の構成に当てはめて説明する。抽出部２２および演算部２３は上記実施形態と同様に動作する。これにより、演算部２３によって質感成分ｄＬ＊が求められる。そして、補正部２４が公知のエッジ強調処理を実行する。このとき、補正部２４は、上記の質感成分ｄＬ＊の影響が平準化されるように画像の各位置でエッジ強調の度合いを調整すればよい。かかるエッジ強調処理は、入力画像の一部または全てのチャネルを対象としてもよい。また、他の色空間に変換された入力画像にエッジ強調処理を施してもよい。なお、補足事項７において、色差の変動成分をハイパスフィルタなどで抽出すれば、入力画像の色差成分の平滑化は行わなくてもよい。
【００８２】
（補足事項８）：本明細書で開示した第１の実験及び第２の実験の実験結果は、２２型ＬＣＤをｓＲＧＢ規格に準拠して調整し、５０ｃｍの距離から観察した場合のものである。本発明を実施する場合において、異なる観察環境ではその環境に応じて実験して得られた値を使用してもよい。また、本発明を実施する場合において、画像の解像度、画素数や出力条件設定に応じて適切な値（データテーブル）を使用してもよい。
【００８３】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００８４】
１１…コンピュータ，１２…データ読込部，１３…記憶装置，１４…ＣＰＵ，２１…平滑化部，２２…抽出部，２３…演算部，２４…補正部，３１…電子カメラ，３３…撮像部，３４…画像処理エンジン
【特許請求の範囲】
【請求項１】
入力画像の色差成分に平滑化を行う平滑化部と、
平滑化前後の前記色差成分を用いて、前記入力画像に含まれる色差の変動成分を抽出する抽出部と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、
前記質感成分を用いて、前記入力画像の輝度成分を補正する補正部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記演算部は、平滑化後の前記色差成分の色差座標から前記質感成分の輝度勾配を求めるとともに、前記色差の変動成分と前記輝度勾配とを用いて前記質感成分を求める画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記輝度勾配は、前記色差座標との色相角が９０度から１３５度の範囲では他の範囲と比べて値が小さくなる画像処理装置。
る画像処理装置。
【請求項４】
請求項２または請求項３のいずれか１項に記載の画像処理装置において、
前記輝度勾配は、前記色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、前記色差座標の負方向の彩度変化に対して負方向の輝度変化を与える画像処理装置。
【請求項５】
入力画像に含まれる色差の変動成分を抽出する抽出部と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、
前記質感成分を用いて、前記入力画像のエッジを強調する補正部と、
を備える画像処理装置。
【請求項６】
入力画像を撮像する撮像部と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、
を備える撮像装置。
【請求項７】
コンピュータに、
入力画像の色差成分に平滑化を行なう工程と、
平滑化前後の前記色差成分を用いて、前記入力画像に含まれる色差の変動成分を抽出する工程と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める工程と、
前記質感成分を用いて、前記入力画像の輝度成分を補正する工程と、
を実行させるプログラム。
【請求項８】
コンピュータに、
入力画像に含まれる色差の変動成分を抽出する工程と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める工程と、
前記質感成分を用いて、前記入力画像のエッジを強調する工程と、
を実行させるプログラム。
【請求項１】
入力画像の色差成分に平滑化を行う平滑化部と、
平滑化前後の前記色差成分を用いて、前記入力画像に含まれる色差の変動成分を抽出する抽出部と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、
前記質感成分を用いて、前記入力画像の輝度成分を補正する補正部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記演算部は、平滑化後の前記色差成分の色差座標から前記質感成分の輝度勾配を求めるとともに、前記色差の変動成分と前記輝度勾配とを用いて前記質感成分を求める画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記輝度勾配は、前記色差座標との色相角が９０度から１３５度の範囲では他の範囲と比べて値が小さくなる画像処理装置。
る画像処理装置。
【請求項４】
請求項２または請求項３のいずれか１項に記載の画像処理装置において、
前記輝度勾配は、前記色差座標の正方向の彩度変化に対して正方向の輝度変化を与えるとともに、前記色差座標の負方向の彩度変化に対して負方向の輝度変化を与える画像処理装置。
【請求項５】
入力画像に含まれる色差の変動成分を抽出する抽出部と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める演算部と、
前記質感成分を用いて、前記入力画像のエッジを強調する補正部と、
を備える画像処理装置。
【請求項６】
入力画像を撮像する撮像部と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、
を備える撮像装置。
【請求項７】
コンピュータに、
入力画像の色差成分に平滑化を行なう工程と、
平滑化前後の前記色差成分を用いて、前記入力画像に含まれる色差の変動成分を抽出する工程と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める工程と、
前記質感成分を用いて、前記入力画像の輝度成分を補正する工程と、
を実行させるプログラム。
【請求項８】
コンピュータに、
入力画像に含まれる色差の変動成分を抽出する工程と、
前記入力画像の色再現で前記色差の変動成分が輝度に与える影響に相応する質感成分を求める工程と、
前記質感成分を用いて、前記入力画像のエッジを強調する工程と、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２２６１６（Ｐ２０１２−２２２６１６Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６４８９（Ｐ２０１１−８６４８９）
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月８日（２０１１．４．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]