画像処理装置、画像処理方法、および、画像処理プログラム
【課題】画像の質感を十分に向上させる。
【解決手段】画像処理装置は、画像を取得する画像取得部１と、画像取得部１によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部２と、画像取得部１によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部３と、画像取得部１によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部４と、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報に基づいて、画像取得部１によって取得された画像の画質を調整する画質調整部５とを備える。
【解決手段】画像処理装置は、画像を取得する画像取得部１と、画像取得部１によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部２と、画像取得部１によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部３と、画像取得部１によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部４と、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報に基づいて、画像取得部１によって取得された画像の画質を調整する画質調整部５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の質感を向上させる技術に関する。
【背景技術】
【０００２】
従来、画像のエッジ情報の分布に基づく値であるエッジ特徴量に応じた大きさのノイズを、画像に付加することによって、画像の質感を向上させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、画像のエッジ特徴量のみに基づいて、画像の質感を向上させる処理を行うため、画像の質感を十分に向上させることができなかった。
【０００５】
本発明は、画像の質感を十分に向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報に基づいて、前記画像取得部によって取得された画像の画質を調整する画質調整部と、を備える。
【０００７】
本発明の別の態様に係る画像処理方法は、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記取得した画像中の被写体表面の凹凸情報を取得するステップと、前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、を有する。
【０００８】
本発明のさらに別の態様に係る画像処理プログラムは、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記取得した画像中の被写体表面の凹凸情報を取得するステップと、前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、コンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、画像中の被写体表面の粗さ情報、凹凸情報、および、鏡面反射情報に基づいて、画像の画質を調整するので、画像の質感を十分に向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態における画像処理装置のブロック構成図である。
【図２】図２の（ａ）〜（ｃ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数αc、βc、γcの一例を示す図であり、（ｄ）〜（ｆ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数αs、βs、γsの一例を示す図であるり、（ｇ）〜（ｉ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数αn、βn、γnの一例を示す図である。
【図３】図３は、第２の実施形態における画像処理装置のブロック構成図である。
【図４】図４（ａ）は、色情報Ｗを変数とする、コントラスト調整量を算出するための関数δcの一例を示す図、図４（ｂ）は、色情報Ｗを変数とする、シャープネス調整量を算出するための関数δsの一例を示す図、図４（ｃ）は、色情報Ｗを変数とする、ノイズ量を算出するための関数δnの一例を示す図である。
【図５】図５は、階調変換処理の方法を説明するための図である。
【図６】図６（ａ）〜（ｃ）は、画像取得部によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。
【図７】図７（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。
【発明を実施するための形態】
【００１１】
−第１の実施形態−
図１は、第１の実施形態における画像処理装置のブロック構成図である。第１の実施形態における画像処理装置は、画像取得部１と、粗さ情報取得部２と、凹凸情報取得部３と、鏡面反射情報取得部４と、画質調整部５とを備える。この画像処理装置は、例えばデジタルカメラに搭載されて使用される。
【００１２】
画像取得部１は、撮影により生成された画像データを取得する。例えば、デジタルカメラでは、撮影により生成された画像データは、一時的にＲＡＭに記憶されるので、画像取得部１は、ＲＡＭから画像データを取得する。
【００１３】
粗さ情報取得部２は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の粗さ情報を取得する。粗さ情報とは、被写体表面の形状変化の細かさを示す情報であって、例えばフーリエ変換を施した画像に、コントラスト感度関数（Contrast Sensitivity Function）のような人間の視覚特性を掛け合わせて積算した情報である。また、画像データの物理的特徴とは、空間周波数、テクスチャ情報、エッジ特徴量等である。
【００１４】
凹凸情報取得部３は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の凹凸情報を取得する。凹凸情報とは、被写体表面の形状変化の深さを示す情報であって、例えば輝度ヒストグラムの最大値から最小値を減算した情報である。また、画像の物理的特徴とは、輝度ヒストグラム、空間周波数、エッジ特徴量等である。
【００１５】
鏡面反射情報取得部４は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の鏡面反射情報を取得する。鏡面反射情報とは、被写体表面での照明の反射度合いを示す情報であって、例えば輝度ヒストグラムの予め設定した閾値以上の高輝度部分の面積の情報である。また、画像の物理的特徴とは、ハイライト値、輝度ヒストグラム等である。
【００１６】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報に基づいて、画像の画質を調整（画質を向上）する処理を行う。画質の調整は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ度合い、ノイズ付加度合い、明度、彩度、色相のうちの１つ以上を補正することによって行う。
【００１７】
本実施形態では、画質調整部５は、まず、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚに基づいて、画像のコントラストを調整するためのコントラスト調整量、画像のシャープネスを調整するためのシャープネス調整量、および、画像に付加するノイズ量を決定する。そして、画像取得部１によって取得された画像データに対して、決定したコントラスト調整量に基づいたコントラスト調整、決定したシャープネス調整量に基づいたシャープネス調整、および、決定したノイズ量のノイズ付加を行う。なお、コントラストの調整には、輝度コントラストおよび色コントラストの調整が含まれる。
【００１８】
なお、画質調整部５が行う画像の画質を調整する処理は、コントラスト調整、シャープネス調整、ノイズ付加に限定されることはない。
【００１９】
画質調整部５は、次式（１）〜（３）により、コントラスト調整量、シャープネス調整量、および、ノイズ量を決定する。
コントラスト調整量＝αc（Ｘ）＋βc（Ｙ）＋γc（Ｚ） …（１）
シャープネス調整量＝αs（Ｘ）＋βs（Ｙ）＋γs（Ｚ） …（２）
ノイズ量＝αn（Ｘ）＋βn（Ｙ）＋γn（Ｚ） …（３）
【００２０】
式（１）において、αc（Ｘ）、βc（Ｙ）、γc（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数の関数値である。また、式（２）において、αs（Ｘ）、βs（Ｙ）、γs（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数の関数値である。さらに、式（３）において、αn（Ｘ）、βn（Ｙ）、γn（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数の関数値である。
【００２１】
図２（ａ）〜（ｃ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数αc、βc、γcの一例を示す図である。図２（ｄ）〜図２（ｆ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数αs、βs、γsの一例を示す図である。図２（ｇ）〜（ｉ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数αn、βn、γnの一例を示す図である。ただし、関数αc、βc、γc、αs、βs、γs、αn、βn、γnが図２（ａ）〜（ｉ）に示すものに限定されることはない。
【００２２】
画質調整部５は、また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとコントラスト調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、コントラスト調整量を算出するようにしてもよい。同様に、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとシャープネス調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、シャープネス調整量を算出するようにしてもよい。また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。
【００２３】
ルックアップテーブルを用いる場合、コントラスト調整量、シャープネス調整量、および、ノイズ量はそれぞれ、次式（４）〜（６）で表される。ただし、式（４）中の３Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、コントラスト調整量算出用のルックアップテーブルのテーブル値を意味し、式（５）中の３Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、シャープネス調整量算出用のルックアップテーブルのテーブル値を意味する。また、式（６）中の３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、ノイズ量算出用のルックアップテーブルのテーブル値を意味する。
コントラスト調整量＝３Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ） …（４）
シャープネス調整量＝３Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ） …（５）
ノイズ量＝３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ） …（６）
【００２４】
ここで、ルックアップテーブルの値は、粗さ情報Ｘが大きくなるほど（粗くなるほど）ノイズ量が大きくなるように、凹凸情報Ｙが大きくなるほど（凹凸度合いが大きくなるほど）コントラスト調整量が大きくなるように、鏡面反射情報Ｚが大きくなるほど（鏡面反射度合いが大きくなるほど）コントラスト調整量が大きくなるように設定しておく。なお、ルックアップテーブルの値として、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚに対して任意の値を設定しておいてもよい。
【００２５】
以上、第１の実施形態における画像処理装置によれば、画像中の被写体表面の粗さ情報、画像中の被写体表面の凹凸情報、および、画像中の被写体表面の鏡面反射情報を取得し、取得した粗さ情報、凹凸情報、および、鏡面反射情報に基づいて、画像の画質を調整するので、画像の質感を十分に向上させることができる。
【００２６】
−第２の実施形態−
図３は、第２の実施形態における画像処理装置のブロック構成図である。第１の実施形態における画像処理装置と同じ構成部分については、同一の符号を付して、詳しい説明は省略する。第２の実施形態における画像処理装置は、第１の実施形態における画像処理装置の構成に対して、色情報取得部１０が追加されている。
【００２７】
色情報取得部１０は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の色情報を取得する。色情報とは、例えば、Ｌ*Ｃ*ｈ*値、色コントラストの情報である。また、画像データの物理的特徴とは、ＲＧＢ信号値、輝度信号値、色差信号値等である。
【００２８】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報Ｘ、凹凸情報取得部３によって取得された凹凸情報Ｙ、鏡面反射情報取得部４によって取得された鏡面反射情報Ｚ、および、色情報取得部１０によって取得された色情報Ｗに基づいて、画像の画質を調整（画質を向上）するための画像処理を行う。具体的には、まず、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗに基づいて、画像のコントラストを調整するためのコントラスト調整量、画像のシャープネスを調整するためのシャープネス調整量、および、画像に付加するノイズ量を決定する。そして、画像取得部１によって取得された画像データに対して、決定したコントラスト調整量に基づいたコントラスト調整、決定したシャープネス調整量に基づいたシャープネス調整、および、決定したノイズ量のノイズ付加を行う。
【００２９】
なお、第１の実施形態と同様に、画質調整部５が行う画像の画質を向上するための画像処理は、コントラスト調整、シャープネス調整、ノイズ付加に限定されることはない。
【００３０】
画質調整部５は、次式（７）〜（９）により、コントラスト調整量、シャープネス調整量、および、ノイズ量を決定する。
コントラスト調整量＝αc（Ｘ）＋βc（Ｙ）＋γc（Ｚ）＋δc（Ｗ） …（７）
シャープネス調整量＝αs（Ｘ）＋βs（Ｙ）＋γs（Ｚ）＋δs（Ｗ） …（８）
ノイズ量＝αn（Ｘ）＋βn（Ｙ）＋γn（Ｚ）＋δn（Ｗ） …（９）
【００３１】
式（７）において、αc（Ｘ）、βc（Ｙ）、γc（Ｚ）、δc（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、コントラスト調整量を算出するための関数の関数値である。また、式（８）において、αs（Ｘ）、βs（Ｙ）、γs（Ｚ）、δs（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、シャープネス調整量を算出するための関数の関数値である。さらに、式（９）において、αn（Ｘ）、βn（Ｙ）、γn（Ｚ）、δn（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、ノイズ量を算出するための関数の関数値である。
【００３２】
図４（ａ）は、色情報Ｗを変数とする、コントラスト調整量を算出するための関数δcの一例を示す図、図４（ｂ）は、色情報Ｗを変数とする、シャープネス調整量を算出するための関数δsの一例を示す図、図４（ｃ）は、色情報Ｗを変数とする、ノイズ量を算出するための関数δnの一例を示す図である。図４（ａ）に示すように、色情報Ｗが大きくなるほど（例えば、彩度が高くなるほど）、δcの値を大きくする。また、δsとδnは、色情報Ｗの値に関係なく一定の値とする。ただし、関数δc、δs、δnが図４（ａ）〜（ｃ）に示すものに限定されることはない。
【００３３】
画質調整部５は、また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとコントラスト調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、コントラスト調整量を算出するようにしてもよい。同様に、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとシャープネス調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、シャープネス調整量を算出するようにしてもよい。また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。
【００３４】
ルックアップテーブルを用いる場合、コントラスト調整量、シャープネス調整量、および、ノイズ量はそれぞれ、次式（１０）〜（１２）で表される。ただし、式（１０）中の４Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするコントラスト調整量算出用のルックアップテーブルのテーブル値を意味し、式（１１）中の４Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするシャープネス調整量算出用のルックアップテーブルのテーブル値を意味する。また、式（１２）中の４Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするノイズ量算出用のルックアップテーブルのテーブル値を意味する。
コントラスト調整量＝４Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ、Ｗ） …（１０）
シャープネス調整量＝４Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ、Ｗ） …（１１）
ノイズ量＝４Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ、Ｗ） …（１２）
【００３５】
以上、第２の実施形態における画像処理装置によれば、画像中の被写体表面の粗さ情報、画像中の被写体表面の凹凸情報、画像中の被写体表面の鏡面反射情報、および、画像中の被写体表面の色情報を取得し、取得した粗さ情報、凹凸情報、鏡面反射情報、および、色情報に基づいて、画像の画質を調整するので、画像の質感をより十分に向上させることができる。
【００３６】
−第３の実施形態−
第３の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。第３の実施形態における画像処理装置において、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理およびシャープネス調整処理を行う。ここでは、トーンカーブを用いて階調変換処理を行う。
【００３７】
階調変換処理を行う際の階調調整量、および、シャープネス調整を行う際のシャープネス調整量はそれぞれ、次式（１３）および（１４）で表される。ただし、式（１３）、（１４）において、αは粗さ情報であり、所定の粗さＳ１より小さい値である。また、βは凹凸情報であり、所定の凹凸Ｓ２よりも小さい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ３より大きい値である。また、式（１３）におけるａ１、ｂ１、ｃ１、および、式（１４）におけるａ２、ｂ２、ｃ２は、任意の値である。
階調調整量Ｃｏ＝ａ１×α＋ｂ１×β＋ｃ１×γ …（１３）
シャープネス調整量Ｓｈ＝ａ２×α＋ｂ２×β−ｃ２×γ …（１４）
【００３８】
階調変換処理では、トーンカーブの任意の位置を、式（１３）により求めた階調調整量Ｃｏだけ持ち上げる処理を行う。図５は、階調変換処理の方法を説明するための図である。ここでは、図５に示すように、トーンカーブの第一四分位点の出力が階調調整量Ｃｏだけ小さくなるように、また、第三四分位点の出力が階調調整量Ｃｏだけ大きくなるように、トーンカーブを修正する。これにより、例えば、艶があり、表面の粗さや凹凸が少ない物体については、階調調整によるコントラスト上昇と、弱いシャープネス強調によって艶感が強調され、画像の質感が向上する。さらに、トーンカーブを用いてコントラストを調整することにより、暗部のつぶれと明部の白飛びがない自然な階調で質感を向上させることができる。
【００３９】
−第４の実施形態−
第４の実施形態における画像処理装置の構成は、図３に示す第２の実施形態における画像処理装置の構成と同じである。第４の実施形態における画像処理装置において、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理、シャープネス調整処理、および、色コントラスト調整処理を行う。
【００４０】
色情報取得部１０は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の色情報を取得する。色情報とは、例えば、Ｌ*Ｃ*ｈ*値、色コントラスト、色分布の情報である。また、画像データの物理的特徴とは、ＲＧＢ信号値、輝度信号値、色差信号値等である。以下では、色情報として、画素の色相別彩度分布を取得するものとして説明する。
【００４１】
画質調整部５が階調変換処理を行う際の階調調整量、シャープネス調整を行う際のシャープネス調整量、および、色コントラスト調整を行う際の色コントラスト調整量はそれぞれ、次式（１５）〜（１７）で表される。ただし、式（１５）〜（１７）において、αは粗さ情報であり、所定の粗さＳ１１より小さい値である。また、βは凹凸情報であり、所定の凹凸Ｓ１２よりも小さい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ１３より大きい値である。また、式（１５）におけるａ１１、ｂ１１、ｃ１１、および、式（１６）におけるａ１２、ｂ１２、ｃ１２、式（１７）におけるｄ３は、任意の値である。また、式（１７）において、Ｈｍは、色相別彩度分布量の最大値である。
階調調整量Ｃｏ＝ａ１１×α＋ｂ１１×β＋ｃ１１×γ …（１５）
シャープネス調整量Ｓｈ＝ａ１２×α＋ｂ１２×β−ｃ１２×γ …（１６）
色コントラスト調整量Ｃｃ＝ｄ３×Ｈｍ …（１７）
【００４２】
図６（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。図６に示す例では、画像データ中のＲ信号値の頻度が非常に高く、Ｇ信号値およびＢ信号値の頻度は低い。従って、図６に示す例では、Ｈｍは、Ｒ信号値の画素頻度の最大値となる。
【００４３】
なお、上述した例では、色相をＲ、Ｇ、Ｂの３つとしたが、Ｃｂ、Ｃｒの２つとしてもよいし、Ｌａｂ色空間のａｂ平面を８分割するようにしてもよい。
【００４４】
本実施形態によれば、例えば、艶があり、粗さと凹凸は少なく、色が赤い被写体が存在する場合に、階調調整とシャープネス調整によって艶が強調され、さらに、色コントラストが増すことにより、赤の高彩度部分はより鮮やかに、また、艶部分のように、彩度が低い部分はより彩度が低下するので、赤い艶感がより一層強調されて、画像の質感をさらに向上させることができる。
【００４５】
−第５の実施形態−
第５の実施形態における画像処理装置の構成は、図３に示す第２の実施形態における画像処理装置の構成と同じである。第５の実施形態における画像処理装置は、第４の実施形態における画像処理装置と同様に、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理、シャープネス調整処理、および、色コントラスト調整処理を行う。
【００４６】
画質調整部５が階調変換処理を行う際の階調調整量、シャープネス調整を行う際のシャープネス調整量、および、色コントラスト調整を行う際の色コントラスト調整量はそれぞれ、次式（１８）〜（２０）で表される。ただし、式（１８）〜（２０）において、αは粗さ情報であり、所定の粗さＳ２１より大きい値である。また、βは凹凸情報であり、所定の凹凸Ｓ２２よりも大きい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ２３より小さい値である。また、式（１８）におけるａ１３、ｂ１３、ｃ１３、および、式（１９）におけるａ１４、ｂ１４、ｃ１４、式（２０）におけるｄ１３は、任意の値である。また、式（２０）において、Ｈｍは、色相別彩度分布量の最大値である。
階調調整量Ｃｏ＝ａ１３×α＋ｂ１３×β＋ｃ１３×γ …（１８）
シャープネス調整量Ｓｈ＝ａ１４×α＋ｂ１４×β−ｃ１４×γ …（１９）
色コントラスト調整量Ｃｃ＝ｄ１３×Ｈｍ …（２０）
【００４７】
図７（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。図７に示す例では、画像データのＲ信号値、Ｇ信号値、Ｂ信号値のいずれも満遍なく分布しているため、色相別彩度分布量の最大値Ｈｍは、図６に示す画素頻度分布に比べて小さい値となる。この場合、画像データは複数の色を有しているため、彩度調整量を大きくすることによって、彩度を強調する。例えば、艶がなく、粗さと凹凸が多く、かつ、色数がたくさんある場合、コントラストとシャープネスを増加させて粗さと凹凸を強調し、さらに、彩度を強調することによって、複数の色を有する被写体の質感を向上させることができる。
【００４８】
なお、上述した第１〜第５の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにてソフトウェア処理を行うことも可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００４９】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【００５１】
上述した実施形態では、画像処理装置をデジタルカメラに搭載する例を挙げて説明したが、ビデオカメラやムービーカメラに搭載してもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器、プリンタ、スキャナ等に搭載するようにしてもよい。
【符号の説明】
【００５２】
１…画像取得部
２…粗さ情報取得部
３…凹凸情報取得部
４…鏡面反射情報取得部
５…画質調整部
１０…色情報取得部
【技術分野】
【０００１】
本発明は、画像の質感を向上させる技術に関する。
【背景技術】
【０００２】
従来、画像のエッジ情報の分布に基づく値であるエッジ特徴量に応じた大きさのノイズを、画像に付加することによって、画像の質感を向上させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、画像のエッジ特徴量のみに基づいて、画像の質感を向上させる処理を行うため、画像の質感を十分に向上させることができなかった。
【０００５】
本発明は、画像の質感を十分に向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報に基づいて、前記画像取得部によって取得された画像の画質を調整する画質調整部と、を備える。
【０００７】
本発明の別の態様に係る画像処理方法は、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記取得した画像中の被写体表面の凹凸情報を取得するステップと、前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、を有する。
【０００８】
本発明のさらに別の態様に係る画像処理プログラムは、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記取得した画像中の被写体表面の凹凸情報を取得するステップと、前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、コンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、画像中の被写体表面の粗さ情報、凹凸情報、および、鏡面反射情報に基づいて、画像の画質を調整するので、画像の質感を十分に向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態における画像処理装置のブロック構成図である。
【図２】図２の（ａ）〜（ｃ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数αc、βc、γcの一例を示す図であり、（ｄ）〜（ｆ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数αs、βs、γsの一例を示す図であるり、（ｇ）〜（ｉ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数αn、βn、γnの一例を示す図である。
【図３】図３は、第２の実施形態における画像処理装置のブロック構成図である。
【図４】図４（ａ）は、色情報Ｗを変数とする、コントラスト調整量を算出するための関数δcの一例を示す図、図４（ｂ）は、色情報Ｗを変数とする、シャープネス調整量を算出するための関数δsの一例を示す図、図４（ｃ）は、色情報Ｗを変数とする、ノイズ量を算出するための関数δnの一例を示す図である。
【図５】図５は、階調変換処理の方法を説明するための図である。
【図６】図６（ａ）〜（ｃ）は、画像取得部によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。
【図７】図７（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。
【発明を実施するための形態】
【００１１】
−第１の実施形態−
図１は、第１の実施形態における画像処理装置のブロック構成図である。第１の実施形態における画像処理装置は、画像取得部１と、粗さ情報取得部２と、凹凸情報取得部３と、鏡面反射情報取得部４と、画質調整部５とを備える。この画像処理装置は、例えばデジタルカメラに搭載されて使用される。
【００１２】
画像取得部１は、撮影により生成された画像データを取得する。例えば、デジタルカメラでは、撮影により生成された画像データは、一時的にＲＡＭに記憶されるので、画像取得部１は、ＲＡＭから画像データを取得する。
【００１３】
粗さ情報取得部２は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の粗さ情報を取得する。粗さ情報とは、被写体表面の形状変化の細かさを示す情報であって、例えばフーリエ変換を施した画像に、コントラスト感度関数（Contrast Sensitivity Function）のような人間の視覚特性を掛け合わせて積算した情報である。また、画像データの物理的特徴とは、空間周波数、テクスチャ情報、エッジ特徴量等である。
【００１４】
凹凸情報取得部３は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の凹凸情報を取得する。凹凸情報とは、被写体表面の形状変化の深さを示す情報であって、例えば輝度ヒストグラムの最大値から最小値を減算した情報である。また、画像の物理的特徴とは、輝度ヒストグラム、空間周波数、エッジ特徴量等である。
【００１５】
鏡面反射情報取得部４は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の鏡面反射情報を取得する。鏡面反射情報とは、被写体表面での照明の反射度合いを示す情報であって、例えば輝度ヒストグラムの予め設定した閾値以上の高輝度部分の面積の情報である。また、画像の物理的特徴とは、ハイライト値、輝度ヒストグラム等である。
【００１６】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報に基づいて、画像の画質を調整（画質を向上）する処理を行う。画質の調整は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ度合い、ノイズ付加度合い、明度、彩度、色相のうちの１つ以上を補正することによって行う。
【００１７】
本実施形態では、画質調整部５は、まず、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚに基づいて、画像のコントラストを調整するためのコントラスト調整量、画像のシャープネスを調整するためのシャープネス調整量、および、画像に付加するノイズ量を決定する。そして、画像取得部１によって取得された画像データに対して、決定したコントラスト調整量に基づいたコントラスト調整、決定したシャープネス調整量に基づいたシャープネス調整、および、決定したノイズ量のノイズ付加を行う。なお、コントラストの調整には、輝度コントラストおよび色コントラストの調整が含まれる。
【００１８】
なお、画質調整部５が行う画像の画質を調整する処理は、コントラスト調整、シャープネス調整、ノイズ付加に限定されることはない。
【００１９】
画質調整部５は、次式（１）〜（３）により、コントラスト調整量、シャープネス調整量、および、ノイズ量を決定する。
コントラスト調整量＝αc（Ｘ）＋βc（Ｙ）＋γc（Ｚ） …（１）
シャープネス調整量＝αs（Ｘ）＋βs（Ｙ）＋γs（Ｚ） …（２）
ノイズ量＝αn（Ｘ）＋βn（Ｙ）＋γn（Ｚ） …（３）
【００２０】
式（１）において、αc（Ｘ）、βc（Ｙ）、γc（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数の関数値である。また、式（２）において、αs（Ｘ）、βs（Ｙ）、γs（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数の関数値である。さらに、式（３）において、αn（Ｘ）、βn（Ｙ）、γn（Ｚ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数の関数値である。
【００２１】
図２（ａ）〜（ｃ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、コントラスト調整量を算出するための関数αc、βc、γcの一例を示す図である。図２（ｄ）〜図２（ｆ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、シャープネス調整量を算出するための関数αs、βs、γsの一例を示す図である。図２（ｇ）〜（ｉ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする、ノイズ量を算出するための関数αn、βn、γnの一例を示す図である。ただし、関数αc、βc、γc、αs、βs、γs、αn、βn、γnが図２（ａ）〜（ｉ）に示すものに限定されることはない。
【００２２】
画質調整部５は、また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとコントラスト調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、コントラスト調整量を算出するようにしてもよい。同様に、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとシャープネス調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、シャープネス調整量を算出するようにしてもよい。また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚとノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。
【００２３】
ルックアップテーブルを用いる場合、コントラスト調整量、シャープネス調整量、および、ノイズ量はそれぞれ、次式（４）〜（６）で表される。ただし、式（４）中の３Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、コントラスト調整量算出用のルックアップテーブルのテーブル値を意味し、式（５）中の３Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、シャープネス調整量算出用のルックアップテーブルのテーブル値を意味する。また、式（６）中の３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、ノイズ量算出用のルックアップテーブルのテーブル値を意味する。
コントラスト調整量＝３Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ） …（４）
シャープネス調整量＝３Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ） …（５）
ノイズ量＝３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ） …（６）
【００２４】
ここで、ルックアップテーブルの値は、粗さ情報Ｘが大きくなるほど（粗くなるほど）ノイズ量が大きくなるように、凹凸情報Ｙが大きくなるほど（凹凸度合いが大きくなるほど）コントラスト調整量が大きくなるように、鏡面反射情報Ｚが大きくなるほど（鏡面反射度合いが大きくなるほど）コントラスト調整量が大きくなるように設定しておく。なお、ルックアップテーブルの値として、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚに対して任意の値を設定しておいてもよい。
【００２５】
以上、第１の実施形態における画像処理装置によれば、画像中の被写体表面の粗さ情報、画像中の被写体表面の凹凸情報、および、画像中の被写体表面の鏡面反射情報を取得し、取得した粗さ情報、凹凸情報、および、鏡面反射情報に基づいて、画像の画質を調整するので、画像の質感を十分に向上させることができる。
【００２６】
−第２の実施形態−
図３は、第２の実施形態における画像処理装置のブロック構成図である。第１の実施形態における画像処理装置と同じ構成部分については、同一の符号を付して、詳しい説明は省略する。第２の実施形態における画像処理装置は、第１の実施形態における画像処理装置の構成に対して、色情報取得部１０が追加されている。
【００２７】
色情報取得部１０は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の色情報を取得する。色情報とは、例えば、Ｌ*Ｃ*ｈ*値、色コントラストの情報である。また、画像データの物理的特徴とは、ＲＧＢ信号値、輝度信号値、色差信号値等である。
【００２８】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報Ｘ、凹凸情報取得部３によって取得された凹凸情報Ｙ、鏡面反射情報取得部４によって取得された鏡面反射情報Ｚ、および、色情報取得部１０によって取得された色情報Ｗに基づいて、画像の画質を調整（画質を向上）するための画像処理を行う。具体的には、まず、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗに基づいて、画像のコントラストを調整するためのコントラスト調整量、画像のシャープネスを調整するためのシャープネス調整量、および、画像に付加するノイズ量を決定する。そして、画像取得部１によって取得された画像データに対して、決定したコントラスト調整量に基づいたコントラスト調整、決定したシャープネス調整量に基づいたシャープネス調整、および、決定したノイズ量のノイズ付加を行う。
【００２９】
なお、第１の実施形態と同様に、画質調整部５が行う画像の画質を向上するための画像処理は、コントラスト調整、シャープネス調整、ノイズ付加に限定されることはない。
【００３０】
画質調整部５は、次式（７）〜（９）により、コントラスト調整量、シャープネス調整量、および、ノイズ量を決定する。
コントラスト調整量＝αc（Ｘ）＋βc（Ｙ）＋γc（Ｚ）＋δc（Ｗ） …（７）
シャープネス調整量＝αs（Ｘ）＋βs（Ｙ）＋γs（Ｚ）＋δs（Ｗ） …（８）
ノイズ量＝αn（Ｘ）＋βn（Ｙ）＋γn（Ｚ）＋δn（Ｗ） …（９）
【００３１】
式（７）において、αc（Ｘ）、βc（Ｙ）、γc（Ｚ）、δc（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、コントラスト調整量を算出するための関数の関数値である。また、式（８）において、αs（Ｘ）、βs（Ｙ）、γs（Ｚ）、δs（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、シャープネス調整量を算出するための関数の関数値である。さらに、式（９）において、αn（Ｘ）、βn（Ｙ）、γn（Ｚ）、δn（Ｗ）はそれぞれ、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを変数とする、ノイズ量を算出するための関数の関数値である。
【００３２】
図４（ａ）は、色情報Ｗを変数とする、コントラスト調整量を算出するための関数δcの一例を示す図、図４（ｂ）は、色情報Ｗを変数とする、シャープネス調整量を算出するための関数δsの一例を示す図、図４（ｃ）は、色情報Ｗを変数とする、ノイズ量を算出するための関数δnの一例を示す図である。図４（ａ）に示すように、色情報Ｗが大きくなるほど（例えば、彩度が高くなるほど）、δcの値を大きくする。また、δsとδnは、色情報Ｗの値に関係なく一定の値とする。ただし、関数δc、δs、δnが図４（ａ）〜（ｃ）に示すものに限定されることはない。
【００３３】
画質調整部５は、また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとコントラスト調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、コントラスト調整量を算出するようにしてもよい。同様に、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとシャープネス調整量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、シャープネス調整量を算出するようにしてもよい。また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗとノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。
【００３４】
ルックアップテーブルを用いる場合、コントラスト調整量、シャープネス調整量、および、ノイズ量はそれぞれ、次式（１０）〜（１２）で表される。ただし、式（１０）中の４Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするコントラスト調整量算出用のルックアップテーブルのテーブル値を意味し、式（１１）中の４Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするシャープネス調整量算出用のルックアップテーブルのテーブル値を意味する。また、式（１２）中の４Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ、Ｗ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚ、色情報Ｗを入力とするノイズ量算出用のルックアップテーブルのテーブル値を意味する。
コントラスト調整量＝４Ｄ−ＬＵＴc（Ｘ、Ｙ、Ｚ、Ｗ） …（１０）
シャープネス調整量＝４Ｄ−ＬＵＴs（Ｘ、Ｙ、Ｚ、Ｗ） …（１１）
ノイズ量＝４Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ、Ｗ） …（１２）
【００３５】
以上、第２の実施形態における画像処理装置によれば、画像中の被写体表面の粗さ情報、画像中の被写体表面の凹凸情報、画像中の被写体表面の鏡面反射情報、および、画像中の被写体表面の色情報を取得し、取得した粗さ情報、凹凸情報、鏡面反射情報、および、色情報に基づいて、画像の画質を調整するので、画像の質感をより十分に向上させることができる。
【００３６】
−第３の実施形態−
第３の実施形態における画像処理装置の構成は、図１に示す第１の実施形態における画像処理装置の構成と同じである。第３の実施形態における画像処理装置において、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理およびシャープネス調整処理を行う。ここでは、トーンカーブを用いて階調変換処理を行う。
【００３７】
階調変換処理を行う際の階調調整量、および、シャープネス調整を行う際のシャープネス調整量はそれぞれ、次式（１３）および（１４）で表される。ただし、式（１３）、（１４）において、αは粗さ情報であり、所定の粗さＳ１より小さい値である。また、βは凹凸情報であり、所定の凹凸Ｓ２よりも小さい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ３より大きい値である。また、式（１３）におけるａ１、ｂ１、ｃ１、および、式（１４）におけるａ２、ｂ２、ｃ２は、任意の値である。
階調調整量Ｃｏ＝ａ１×α＋ｂ１×β＋ｃ１×γ …（１３）
シャープネス調整量Ｓｈ＝ａ２×α＋ｂ２×β−ｃ２×γ …（１４）
【００３８】
階調変換処理では、トーンカーブの任意の位置を、式（１３）により求めた階調調整量Ｃｏだけ持ち上げる処理を行う。図５は、階調変換処理の方法を説明するための図である。ここでは、図５に示すように、トーンカーブの第一四分位点の出力が階調調整量Ｃｏだけ小さくなるように、また、第三四分位点の出力が階調調整量Ｃｏだけ大きくなるように、トーンカーブを修正する。これにより、例えば、艶があり、表面の粗さや凹凸が少ない物体については、階調調整によるコントラスト上昇と、弱いシャープネス強調によって艶感が強調され、画像の質感が向上する。さらに、トーンカーブを用いてコントラストを調整することにより、暗部のつぶれと明部の白飛びがない自然な階調で質感を向上させることができる。
【００３９】
−第４の実施形態−
第４の実施形態における画像処理装置の構成は、図３に示す第２の実施形態における画像処理装置の構成と同じである。第４の実施形態における画像処理装置において、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理、シャープネス調整処理、および、色コントラスト調整処理を行う。
【００４０】
色情報取得部１０は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の色情報を取得する。色情報とは、例えば、Ｌ*Ｃ*ｈ*値、色コントラスト、色分布の情報である。また、画像データの物理的特徴とは、ＲＧＢ信号値、輝度信号値、色差信号値等である。以下では、色情報として、画素の色相別彩度分布を取得するものとして説明する。
【００４１】
画質調整部５が階調変換処理を行う際の階調調整量、シャープネス調整を行う際のシャープネス調整量、および、色コントラスト調整を行う際の色コントラスト調整量はそれぞれ、次式（１５）〜（１７）で表される。ただし、式（１５）〜（１７）において、αは粗さ情報であり、所定の粗さＳ１１より小さい値である。また、βは凹凸情報であり、所定の凹凸Ｓ１２よりも小さい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ１３より大きい値である。また、式（１５）におけるａ１１、ｂ１１、ｃ１１、および、式（１６）におけるａ１２、ｂ１２、ｃ１２、式（１７）におけるｄ３は、任意の値である。また、式（１７）において、Ｈｍは、色相別彩度分布量の最大値である。
階調調整量Ｃｏ＝ａ１１×α＋ｂ１１×β＋ｃ１１×γ …（１５）
シャープネス調整量Ｓｈ＝ａ１２×α＋ｂ１２×β−ｃ１２×γ …（１６）
色コントラスト調整量Ｃｃ＝ｄ３×Ｈｍ …（１７）
【００４２】
図６（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。図６に示す例では、画像データ中のＲ信号値の頻度が非常に高く、Ｇ信号値およびＢ信号値の頻度は低い。従って、図６に示す例では、Ｈｍは、Ｒ信号値の画素頻度の最大値となる。
【００４３】
なお、上述した例では、色相をＲ、Ｇ、Ｂの３つとしたが、Ｃｂ、Ｃｒの２つとしてもよいし、Ｌａｂ色空間のａｂ平面を８分割するようにしてもよい。
【００４４】
本実施形態によれば、例えば、艶があり、粗さと凹凸は少なく、色が赤い被写体が存在する場合に、階調調整とシャープネス調整によって艶が強調され、さらに、色コントラストが増すことにより、赤の高彩度部分はより鮮やかに、また、艶部分のように、彩度が低い部分はより彩度が低下するので、赤い艶感がより一層強調されて、画像の質感をさらに向上させることができる。
【００４５】
−第５の実施形態−
第５の実施形態における画像処理装置の構成は、図３に示す第２の実施形態における画像処理装置の構成と同じである。第５の実施形態における画像処理装置は、第４の実施形態における画像処理装置と同様に、画質調整部５は、画像の画質を向上するための画像処理として、階調変換処理、シャープネス調整処理、および、色コントラスト調整処理を行う。
【００４６】
画質調整部５が階調変換処理を行う際の階調調整量、シャープネス調整を行う際のシャープネス調整量、および、色コントラスト調整を行う際の色コントラスト調整量はそれぞれ、次式（１８）〜（２０）で表される。ただし、式（１８）〜（２０）において、αは粗さ情報であり、所定の粗さＳ２１より大きい値である。また、βは凹凸情報であり、所定の凹凸Ｓ２２よりも大きい値である。さらに、γは鏡面反射情報であり、所定の鏡面反射度合いＳ２３より小さい値である。また、式（１８）におけるａ１３、ｂ１３、ｃ１３、および、式（１９）におけるａ１４、ｂ１４、ｃ１４、式（２０）におけるｄ１３は、任意の値である。また、式（２０）において、Ｈｍは、色相別彩度分布量の最大値である。
階調調整量Ｃｏ＝ａ１３×α＋ｂ１３×β＋ｃ１３×γ …（１８）
シャープネス調整量Ｓｈ＝ａ１４×α＋ｂ１４×β−ｃ１４×γ …（１９）
色コントラスト調整量Ｃｃ＝ｄ１３×Ｈｍ …（２０）
【００４７】
図７（ａ）〜（ｃ）は、画像取得部１によって取得された画像データのＲ信号値、Ｇ信号値、Ｂ信号値の画素頻度分布の一例を示す図である。図７に示す例では、画像データのＲ信号値、Ｇ信号値、Ｂ信号値のいずれも満遍なく分布しているため、色相別彩度分布量の最大値Ｈｍは、図６に示す画素頻度分布に比べて小さい値となる。この場合、画像データは複数の色を有しているため、彩度調整量を大きくすることによって、彩度を強調する。例えば、艶がなく、粗さと凹凸が多く、かつ、色数がたくさんある場合、コントラストとシャープネスを増加させて粗さと凹凸を強調し、さらに、彩度を強調することによって、複数の色を有する被写体の質感を向上させることができる。
【００４８】
なお、上述した第１〜第５の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにてソフトウェア処理を行うことも可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００４９】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００５０】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【００５１】
上述した実施形態では、画像処理装置をデジタルカメラに搭載する例を挙げて説明したが、ビデオカメラやムービーカメラに搭載してもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器、プリンタ、スキャナ等に搭載するようにしてもよい。
【符号の説明】
【００５２】
１…画像取得部
２…粗さ情報取得部
３…凹凸情報取得部
４…鏡面反射情報取得部
５…画質調整部
１０…色情報取得部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、
前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報に基づいて、前記画像取得部によって取得された画像の画質を調整する画質調整部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像取得部によって取得された画像中の被写体表面の色情報を取得する色情報取得部をさらに備え、
前記画質調整部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、前記鏡面反射情報取得部によって取得された鏡面反射情報、および、前記色情報取得部によって取得された色情報に基づいて、前記画像取得部によって取得された画像の画質を調整する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質調整部は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ度合い、ノイズ付加度合い、明度、彩度、色相のうちの１つ以上を補正することによって、前記画像の画質を調整する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画質調整部は、前記粗さ情報を変数とする関数、前記凹凸情報を変数とする関数、および、前記鏡面反射情報を変数とする関数から、前記画像の画質を調整するための調整量を求め、求めた調整量に基づいて、前記画像の画質を調整する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記粗さ情報、前記凹凸情報、および、前記鏡面反射情報と、前記調整量との関係を定めたルックアップテーブルを記憶する記憶部をさらに備え、
前記画質調整部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報と、前記記憶部に記憶されているルックアップテーブルとに基づいて、前記調整量を算出する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画質調整部は、前記画像取得部によって取得された画像へのノイズ付加、および、輝度コントラストおよび色コントラストの調整を行うことによって、前記画像の画質を調整するものであって、前記粗さ情報取得部によって取得された粗さ情報で示される画像の粗さが大きくなるほど、前記ノイズ付加時のノイズ付加量を多くし、前記凹凸情報取得部によって取得された凹凸情報で示される画像の凹凸が大きくなるほど、前記輝度コントラストおよび色コントラストの調整量を大きくし、前記鏡面反射情報取得部によって取得された鏡面反射情報で示される鏡面反射度合いが大きくなるほど、前記輝度コントラストおよび色コントラストの調整量を大きくする、
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、
を有することを特徴とする画像処理方法。
【請求項８】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、
をコンピュータに実行させるための画像処理プログラム。
【請求項１】
画像を取得する画像取得部と、
前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、
前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報に基づいて、前記画像取得部によって取得された画像の画質を調整する画質調整部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像取得部によって取得された画像中の被写体表面の色情報を取得する色情報取得部をさらに備え、
前記画質調整部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、前記鏡面反射情報取得部によって取得された鏡面反射情報、および、前記色情報取得部によって取得された色情報に基づいて、前記画像取得部によって取得された画像の画質を調整する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質調整部は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ度合い、ノイズ付加度合い、明度、彩度、色相のうちの１つ以上を補正することによって、前記画像の画質を調整する、
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画質調整部は、前記粗さ情報を変数とする関数、前記凹凸情報を変数とする関数、および、前記鏡面反射情報を変数とする関数から、前記画像の画質を調整するための調整量を求め、求めた調整量に基づいて、前記画像の画質を調整する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記粗さ情報、前記凹凸情報、および、前記鏡面反射情報と、前記調整量との関係を定めたルックアップテーブルを記憶する記憶部をさらに備え、
前記画質調整部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報と、前記記憶部に記憶されているルックアップテーブルとに基づいて、前記調整量を算出する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画質調整部は、前記画像取得部によって取得された画像へのノイズ付加、および、輝度コントラストおよび色コントラストの調整を行うことによって、前記画像の画質を調整するものであって、前記粗さ情報取得部によって取得された粗さ情報で示される画像の粗さが大きくなるほど、前記ノイズ付加時のノイズ付加量を多くし、前記凹凸情報取得部によって取得された凹凸情報で示される画像の凹凸が大きくなるほど、前記輝度コントラストおよび色コントラストの調整量を大きくし、前記鏡面反射情報取得部によって取得された鏡面反射情報で示される鏡面反射度合いが大きくなるほど、前記輝度コントラストおよび色コントラストの調整量を大きくする、
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、
を有することを特徴とする画像処理方法。
【請求項８】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報に基づいて、前記取得した画像の画質を調整するステップと、
をコンピュータに実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１０６３１４（Ｐ２０１３−１０６３１４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０８９３（Ｐ２０１１−２５０８９３）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]