説明

画像評価装置、画像評価方法、およびプログラム

【課題】最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能な画像評価装置、画像評価方法、およびプログラムを提供する。
【解決手段】視覚特性の関数をあらかじめ複数保持する保持部と、被評価画像の画像特徴量を抽出する画像特徴量抽出部と、被評価画像の周波数特性を抽出する周波数特性抽出部と、保持部の複数の視覚特性の関数から画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択し、選択した視覚特性の関数により周波数特性抽出部で抽出された周波数特性を補正する補正部と、補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラ等の画像入力機器から得られる画像の評価を行う画像評価装置、画像評価方法、およびプログラムに関するものである。
【背景技術】
【0002】
画像入力機器から得られる画像の画質評価では、空間周波数成分が見た目に大きく影響することが知られており、先行技術ではCSF(Contrast Sensitivity Function、VTF)と呼ばれる視覚特性にかかわる関数を用いている(特許文献1参照)。
【0003】
特許文献1に開示された画像評価装置は、画像入力機器から入力した被評価画像を用いて画像表示機器に表示したときの画像情報を空間周波数分布情報に変換する。
画象評価装置は、変換して得られた空間周波数分布情報を観察パラメータに応じた人間の視覚系の空間周波数特性を表す関数によってフィルタリング処理した後、逆変換することにより得られた画像情報から画像評価値を算出する。
【0004】
観察パラメータとは、観察距離、画面平均輝度、画面周辺部の輝度に関するパラメータである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平9−284429号公報
【非特許文献】
【0006】
【非特許文献1】「画像と視覚情報科学」(映像メディア学会)P.74
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、人間の視覚系の空間周波数特性は画像のコントラスト(画像特徴量)によって大きく変わるが、上記した画像評価装置では、その点を考慮していない。従来技術で考慮されているのは「観察パラメータ」のみである。
したがって、上記した画像評価装置は、最適な視覚特性での評価を行うことは困難で、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが困難である。
【0008】
なお、視覚特性がコントラスト依存性を持つということは、非特許文献1に次のように記載されている:
「低コントラストの弁別限界(閾値)状態でのMTFは全般的に特定周波数域で感度極大を持つバンドパス型の特性を示し、高コントラストでの見かけのコントラストを求める閾上値状態ではローパス型に変化する。」
【0009】
本発明は、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能な画像評価装置、画像評価方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の第1の観点の画像評価装置は、視覚特性の関数をあらかじめ複数保持する保持部と、被評価画像の画像特徴量を抽出する画像特徴量抽出部と、被評価画像の周波数特性を抽出する周波数特性抽出部と、上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部とを有する。
【0011】
本発明の第2の観点の画像評価方法は、被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、被評価画像の周波数特性を抽出する周波数特性抽出ステップと、あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップとを有する。
【0012】
本発明の第3の観点は、被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、被評価画像の周波数特性を抽出する周波数特性抽出処理と、あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理とを有する画像評価処理をコンピュータに実行させるプログラムである。
【発明の効果】
【0013】
本発明によれば、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態に係る画像評価装置が採用される画像評価システムの全体構成の概要を示すブロック図である。
【図2】視覚系の空間周波数特性を示す図である。
【図3】本実施形態に係る画像評価装置に適用される視覚特性について説明するための図である。
【図4】本実施形態に係る画像評価装置の画質評価値処理部の構成例を示すブロック図である。
【図5】コントラストに対する視覚の空間周波数特性を示す図である。
【図6】周波数変換したパワースペクトルから最適な視覚特性を決定する方法を説明するための図である。
【図7】本実施形態に係る画像評価装置の一連の動作を示すフローチャートである。
【図8】ノイズ評価を行う場合の本実施形態に係る画像評価システムを模式的に示す図である。
【図9】解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第1図である。
【図10】解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第2図である。
【図11】図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
【図12】図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する第1の選択方法を説明するための図である。
【図13】視覚特性の関数生成のための比率算出グラフを示す図である。
【図14】図6で示した周波数成分毎に最適な関数を生成する方法を具体的に説明するための図である。
【図15】図10のチャートを用いた解像度評価における視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
【図16】図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第1の方法を示す図である。
【図17】図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第2の方法を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.画像評価システムの全体構成の概要
2.画像評価装置の構成
3.閾値による視覚特性の関数の選択方法
【0016】
<1.画像評価システムの全体構成の概要>
図1は、本実施形態に係る画像評価装置が採用される画像評価システムの全体構成の概要を示すブロック図である。
【0017】
本画像評価システム10は、画像入力機器20、画像表示部30、観察パラメータ入力部40、および画像評価装置50を含んで構成されている。
【0018】
画像評価システム10において、デジタルカメラ等の画像入力機器20で撮像されたデジタル画像やチャート画像等である被評価画像S20が画像評価装置50に入力され、液晶表示装置(LCD)等の画像表示部30に表示される。
【0019】
画像評価装置50には、画像表示部30に表示される画像入力機器20で得られた被評価画像S20および観察パラメータ入力部40から入力される観察条件を含む観察パラメータS40が入力される。
画像評価装置50は、与えられる観察条件から被評価画像の画質評価値を算出する。
ここで、観察パラメータには、観察距離(視距離)、画面平均輝度、画面周辺部の輝度に関するパラメータが含まれる。たとえば、観察パラメータには、観察者から画像表示部までの距離、画像表示部での解像度(例.96dpi)など観察条件が含まれる。
【0020】
<2.画像評価装置の構成>
画像評価装置50は、画質(画像)評価値処理部51および出力部52を有する。
画質評価値処理部51は、後で詳述するように、観察画像の画像特徴量(たとえばコントラスト)、並びに被評価画像の周波数特性を抽出する。
画質(画像)評価値処理部51は、あらかじめ与えられる複数の視覚特性(空間周波数と感度)の関数から抽出した画像特徴量に応じた視覚特性の関数を選択する。画質評価値処理部51は、選択した視覚特性の関数により抽出した周波数特性を補正し、補正した周波数特性情報に基づいて画像評価値を得る。
画像特徴量には、被評価画像のコントラスト、背景画像の輝度情報たとえば背景画像の平均輝度、あるいは、被評価画像の周波数解析結果(パワースペクトル)等が含まれる。
【0021】
本実施形態の画像評価装置50は、複数の視覚特性の関数の中から抽出した被評価画像の画像特徴量に応じた視覚特性の関数を選択し、選択した視覚特性で周波数特性の補正を行うことを特徴としている。
図2(A)、(B)および(C)は、視覚系の空間周波数特性を示す図である。
図2(A)は一般的な視覚系の空間周波数の求め方を説明するための図である。
図2(B)は本実施形態に係る視覚系の空間周波数の求め方を説明するための図である。
図2(C)は図2(A)のコントラストの検知限度(限界値)CLMから求めたCSF(=VTF)をグラフ化して示す図である。
図3は、本実施形態に係る画像評価装置に適用される視覚特性について説明するための図である。
【0022】
既存の画像評価装置では、図2(A)に示すように、CSFは黒白縞が見える限界であるコントラストの検知限度CLMより求めた関数のみを用いて周波数特性の補正を行っている。すなわち、既存の画像評価装置では、コントラストの限界値CLMを感度として視覚系の空間周波数特性を求めている。
しかし、実際には、ノイズ画像でのノイズのコントラストは検知限度におけるコントラストよりもっと高いにもかかわらず、条件の異なるコントラストの検知限度CLMから求めた視覚特性曲線(関数)を適用している。
さらに、既存の画像評価装置では、図2(B)に示すように視覚特性はコントラスト依存性を持ち、複数存在するにもかかわらず、図2(C)に示すように、一つの視覚特性曲線(関数)のみを適用している。
したがって、既存の画像評価装置では、最適な視覚特性での評価を行うことは困難で、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが困難である。
【0023】
これに対して、本画像評価装置50では、ノイズ画像は検知限度レベルのコントラストではないことを考慮して、コントラストの検知限度CLMの感度に応じた関数(CSF)ではなく、ある程度コントラストがある場合の感度関数も所持し、適用している。
すなわち、本画像評価装置50では、図2(B)に示すように、コントラストの縞の見える強度を感度として視覚系の空間周波数特性を求めている。
これに対応して、本画像評価装置50では、図3に示すように、複数(図3の例では2)の視覚特性曲線を適用している。
これにより、本実施形態に画像評価装置50は、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能となっている。
【0024】
なお、図3において、αで示す視覚特性曲線(関数)はコントラストが低いと判断した場合に選択され、βで示す視覚特性曲線(関数)はコントラストが高いと判断した場合に選択される。
図3の例では2つの視覚特性のみを用いる場合を示しているが、3あるいはそれ以上の視覚特性曲線を適用することも可能である。
【0025】
図4は、本実施形態に係る画像評価装置の画質評価値処理部の構成例を示すブロック図である。
【0026】
図4の画質評価値処理部51は、画像特徴量抽出部511、色空間変換部512、周波数特性抽出部513、保持部としてのVTF記憶部514、並びに、選択および補正部としてのフィルタリング部515を有する。
画質評価値処理部51は、逆周波数変換部516、色空間変換部517、および画質評価値取得部518を有する。
【0027】
画像特徴量抽出部511は、画像入力機器20から供給される被評価画像S20の画像特徴量、たとえばコントラストを抽出する。
画像特徴量抽出部511は、被評価画像S20から画像特徴量を自動算出する。
画像特徴量は標準偏差、DR(最大値−最小値)、ヒストグラムから算出したDR、周波数変換したパワースペクトルなどとして求められる。
【0028】
色空間変換部512は、画像入力機器20から供給される被評価画像S20に対して、通常の色空間変換処理を行い、色空間変換処理後の画像情報S512を周波数特性抽出部513に出力する。
【0029】
周波数特性抽出部513は、たとえば画像情報S512に対してFFT(Fast Fourie Transform:(高速フーリエ変換)を行って被評価画像の周波数特性である空間周波数分布情を抽出し、抽出した周波数特性情報S513をフィルタリング部515に出力する。
周波数特性抽出部513は、たとえば被評価画像S20がISO12233チャートや、スタートチャート(Start Chart)、デッドリーブスチャート(Dead Leaves Chart)等である場合は、空間周波数特性MTF(Modulation Transfer Function)を抽出する。
【0030】
VTF記憶部514は、視覚特性の関数をあらかじめ複数記憶している。
この複数の視覚特性の関数は、空間周波数特性と感度に関する関数としてあらかじめ与えられる。
【0031】
図5は、コントラストに対する視覚の空間周波数特性を示す図である。
図5において、横軸が空間周波数を、縦軸が相対的な感度を、それぞれ示している。
図3と同様に、図5中に、αで示す視覚特性曲線(関数)はコントラストが低いと判断した場合に選択され、βで示す視覚特性曲線(関数)はコントラストが高いと判断した場合に選択される。
【0032】
本実施形態においては、画像特徴量抽出部511で抽出されたこの画像特徴量によって、利用する最適な視覚特性の関数を決定する。
たとえば、標準偏差の大小、DRの大小の値などによる振幅によって、図5示したようなあらかじめ記憶部514に記憶されている複数の視覚特性の関数から最適なものを選択する。
図5および図3に示す関数は以下の数式1で示される。
【0033】
[数1]
CSF(λ)=a×Exp(−bλ)×(c−Exp(−dλ)・・・(1)
【0034】
たとえば、低コントラストの関数(α)の場合、a=5.05、b=0.138、c=1.00、d=0.10である。
高コントラストの関数(β)場合、4.4<a<5.2、0.1<b<0.2、1.2<c<1.3、0.3<d<0.06である。
ここでλは網膜上の空間周波数で、単位はcycle/degreeである。
【0035】
本実施形態においては、振幅値と関数の関係は事前に固定値として定めている。
また、関数は画像特徴量より近い2つの関数から補間することで求めることも可能である。
【0036】
さらに別の方法としては、被評価画像S20を周波数解析した結果のパワーの値で周波数成分毎に使用する最適な関数を選択することも可能である。
【0037】
図6は、周波数変換したパワースペクトルから最適な視覚特性を決定する方法を説明するための図である。
この場合、図6に示すように、パワーが大きい場合には、高コントラストの場合の関数βを選択する。
パワーが小さい場合には、低コントラストの場合の関数αを選択する。
【0038】
最適な視覚特性の関数の選択は、たとえば画像特徴量と閾値Xとの比較により行われる。この最適な視覚特性の関数の選択方法については、後でさらに詳述する。
【0039】
フィルタリング部515は、画像特徴量抽出部511で抽出された画像特徴量S511に応じた視覚特性の関数を選択する選択部として機能する。
そして、フィルタリング部515は、選択した視覚特性の関数を記憶部514から読み出し、この選択した視覚特性の関数で周波数特性抽出部513において抽出された周波数特性を補正する補正部として機能する。
フィルタリング部515は、たとえば選択した視覚特性の関数を周波数特性抽出部513において抽出された周波数特性に乗算することにより補正を行う。
【0040】
逆周波数変換部516は、フィルタリング部515で補正された出力信号に対して逆FFT(Inverse FFT)を行い、たとえば被評価画像がノイズ画像である場合にノイズの見えを数値に反映したノイズ画像を生成し、このノイズ画像を色空間変換部517に出力する。
【0041】
色空間変換部517は、逆周波数変換部516によるノイズ画像S517に対して通常の均等色変換(L*,u*,v*)を行い、その結果を画質評価値算出部518に出力する。
【0042】
画質評価値取得部518は、色空間変換部517により供給される画像情報またはフィルタリング部515から直接供給される画像周波数特性情報に基づいて画質(画像)評価値を算出する。
たとえば、色空間変換部517による情報に基づき、(σL*+0.85σu**0.3σv*)のような演算を行ってノイズ評価値を算出する。
画質評価値取得部518で算出された画質評価値は出力部52から出力される。
【0043】
図7は、本実施形態に係る画像評価装置の一連の動作を示すフローチャートである。
【0044】
画像評価装置50では、ステップST1おいて、画像入力機器20により、被評価画像が入力される。
ステップST2において、画像特徴量抽出部511により、画像入力機器20から供給される被評価画像S20の画像特徴量、たとえばコントラストが抽出され、その画像特徴量がフィルタリング部515に出力される。その他の画像特徴量としては背景色などがある。
また、ステップST3において、色空間変換部512により、画像入力機器20から供給される被評価画像S20に対して、通常の色空間変換処理が行われ、色空間変換処理後の画像情報S512が周波数特性抽出部513に出力される。
そして、ステップST4において、周波数特性抽出部513によりは、たとえば画像情報S512に対するFFTが行われて、被評価画像の周波数特性である空間周波数分布情が抽出され、抽出されたた周波数特性情報S513がフィルタリング部515に出力される。
【0045】
ステップST5において、フィルタリング部515により、画像特徴量抽出部511で抽出された画像特徴量S511に応じた視覚特性の関数が選択される。
そして、フィルタリング部515では、選択した視覚特性の関数が記憶部514から読み出され、この選択した視覚特性の関数で周波数特性抽出部513において抽出された周波数特性が補正(フィルタリング)される。
次いで、ステップST6において、逆周波数変換部516により、フィルタリング部515で補正された出力信号に対して逆FFTが行われ、たとえば被評価画像がノイズ画像である場合にノイズの見えを数値に反映したノイズ画像が生成される。このノイズ画像は色空間変換部517に出力される。
【0046】
ステップST7において、色空間変換部517により、逆周波数変換部516によるノイズ画像S517に対して通常の均等色変換(L*,u*,v*)が行われ、その結果が画質評価値算出部518に出力される。
そして、ステップST8において、画質評価値取得部518により、色空間変換部517により供給される画像情報またはフィルタリング部515から直接供給される画像周波数特性情報に基づいて画質(画像)評価値が算出される。
画質評価値取得部518で算出された画質評価値は出力部52から出力される。
【0047】
このような構成を有する本実施形態に係る画像評価システム10は、画像評価として、ノイズ評価(Visual Noise)、解像度評価、色再現性評価(S−CIELAB)などに適用可能である。
すなわち、本実施形態に係る画像評価システム10は、ノイズ評価以外では解像度評価、色再現性評価など、視覚特性(空間周波数と感度の関係)を利用したものには適用可能である。
【0048】
図7のステップST1〜ST8の処理はノイズ評価を行う場合にすべての処理が行われる。ただし、たとえば解像度評価の場合には、補正後の周数特性から解像度指標値を取得することができることから、ステップST6の逆周波数変換とステップST7の色空間処理は不要となる。
【0049】
図8は、ノイズ評価を行う場合の本実施形態に係る画像評価システムを模式的に示す図である。
図9は、解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第1図である。
図10は、解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第2図である。
【0050】
図8のノイズ評価を行う画像評価システムは、上記したと同様の処理が行われる、
図9の解像度評価では、図8のノイズ評価の場合と同様に、被評価画像に対するFFTを行っている。
図10の解像度評価では、被評価画像S20といして、ISO12233チャートや、スタートチャート(Start Chart)等を用いる場合であり、空間周波数特性MTFを抽出している。
図9および図10の解像度評価の場合、コントラスト算出は、ヒストグラムから得る例を示しており、単純に、画像の最大および最小の差をコントラストとしても良い。
また、解像度指標算出に際し、面積分等の処理を行い、単一数値を算出するようにしても良い。
【0051】
<3.閾値による視覚特性の関数の選択方法>
[3.1 視覚特性の関数(実験値)の数式化]
重複する説明となるが、図5に示す関数は以下の数式1で示される。
【0052】
[数1]
VTF(λ)=a×Exp(−bλ)×(c−Exp(−dλ)・・・(1)
【0053】
たとえば、低コントラストの関数(α)の場合、a=5.05、b=0.138、c=1.00、d=0.10である。
高コントラストの関数(β)の場合、4.4<a<5.2、0.1<b<0.2、1.2<c<1.3、0.3<d<0.06である。
ここでλは網膜上の空間周波数で、単位はcycle/degreeである。
【0054】
[3.2 閾値による視覚特性の関数の第1の選択方法]
本実施形態では、簡単のために2つの関数で行っているが、2つ以上の関数を持つ場合も対応可能である。
図11(A)および(B)は、図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
図12は、図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する第1の選択方法を説明するための図である。
図13は、視覚特性の関数生成のための比率算出グラフを示す図である。
【0055】
図11(A)および(B)に示すように、選択する視覚特性の関数は被評価画像から算出される画像特徴量aと予め定められた閾値Xによって決まる。
視覚特性の関数の選択は、図12に示すように、まず入力画像より画像特徴量aが算出される。
次に使用する視覚特性の関数を選択するために、画像特徴量aと閾値Xの比較を行う。a<Xならば、関数αを選択し、X<βを選択する。
【0056】
また別の方法として、視覚特性の関数をあらかじめ持っている関数のグラフから作成する方法がある。
作成方法は2つの関数に重みを掛けて足し込む方法がある。重みは、図13に示すような形で入力画像の画像特徴量aから求めることができる。
作成は以下の数式で行われる。
【0057】
[数2]
=(1−R)×f+R×f・・・(2)
ここで、fは生成した視覚特性関数を、fは視覚特性関数αを、fは視覚特性関数βを、それぞれ示している。
【0058】
[3.2 閾値による視覚特性の関数の第2の選択方法]
図14(A)〜(D)は、図6で示した周波数成分毎に最適な関数を生成する方法を具体的に説明するための図である。
【0059】
次に、図6で示した周波数成分毎に最適な関数を生成する第2の選択方法を具体的に説明する。
まず、被評価画像に対して、周波数解析を行う。
それによって得られる周波数成分a1のパワースペクトルP1と閾値Xの比較を行う。 ここではX<P1となり、周波数成分a1時の感度を関数βより求める。
続いて、同様に周波数成分a2のパワースペクトルP2と閾値Xの比較を行い、a2時の感度を求める。
これをすべての周波数成分で行うことで最適な関数を生成する。
ここではどちらかの関数より求める方法で説明したが、図13の画像特徴量の代わりにパワースペクトルとすることで2つの関数の比率から感度を求めることもできる。
【0060】
[3.3 閾値による視覚特性の関数の第3の選択方法]
図15は、図10のチャートを用いた解像度評価における視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
図16は、図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第1の方法を示す図である。
図17は、図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第2の方法を示す図である。
【0061】
この場合も、第1の選択方法と同様に、簡単のために2つの関数で行っているが、2つ以上の関数を持つ場合も対応可能である。
そして、図11(A)および(B)に示すように、選択する視覚特性の関数は被評価画像から算出される画像特徴量と予め定められた閾値Xによって決まる。
視覚特性の関数の選択は、図15に示すように、まず入力画像より画像特徴量aが算出される。
画像特徴量aは、たとえば、図16に示すように、画像Aから算出されたヒストグラムにおいて、最大信号値および最小信号値から全頻度(100%)の内のe%を取り除いた範囲をaと定める。
または、画像特徴量aは、図17に示すように、最大信号値および最小信号値から最も近い極大値における信号値の差をaと定めても良い。
あるいは、単純に画像内の最大信号値と最小信号値の差をaとしても良い。
【0062】
次に、使用する視覚特性の関数を選択するために、画像特徴量aと閾値Xの比較を行う。a<Xならば、関数αを選択し、X<βを選択する。
また別の方法として、視覚特性の関数をあらかじめ持っている関数のグラフから作成する方法がある。作成方法は2つの関数に重みを掛けて足し込む方法がある。重みは図13に示すような形で入力画像の画像特徴量から求めることができる。
作成は上記した数式2で行われる。
【0063】
以上説明したように、本実施形態によれば、画像評価装置50は、あらかじめ与えられる複数の視覚特性の関数から抽出した画像特徴量に応じた視覚特性の関数を選択する。そして、画像評価装置50は、選択した視覚特性の関数により抽出した周波数特性を補正し、補正した周波数特性情報に基づいて画像評価値を得る。
したがって、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが主観的評価と整合性のとれた信頼性の高い画質評価を行うことが可能になる
【0064】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【0065】
なお、本技術は以下のような構成をとることができる。
(1)視覚特性の関数をあらかじめ複数保持する保持部と、
被評価画像の画像特徴量を抽出する画像特徴量抽出部と、
被評価画像の周波数特性を抽出する周波数特性抽出部と、
上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、
上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、
上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部と
を有する画像評価装置。
(2)上記画像特徴量抽出部は、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(1)記載の画像評価装置。
(3)上記選択部は、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(2)記載の画像評価装置。
(4)上記画像特徴量抽出部は、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(1)記載の画像評価装置。
(5)上記選択部は、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(4)記載の画像評価装置。
(6)上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
上記(1)から(5)のいずれか一に記載の画像評価装置。
(7)上記被評価画像は、ノイズ評価を行うためのノイズを含むノイズ画像であり、
上記補正部の出力情報に対して周波数変換を行う周波数変換部を含み、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出し、
上記周波数変換部は、
ノイズの見えを数値に反映したノイズ画像を生成し、生成したノイズ画像に関する情報を上記画像評価値取得部に出力する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(8)上記被評価画像は、解像度評価を行うための画像であり、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(9)上記被評価画像は、解像度評価を行うためのチャート画像であり、
上記周波数特性抽出部は、
上記被評価画像の空間周波数特性(MTF)を抽出する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(10)被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、
被評価画像の周波数特性を抽出する周波数特性抽出ステップと、
あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、
上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、
上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップと
を有する画像評価方法。
(11)上記画像特徴量抽出ステップで、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(10)記載の画像評価方法。
(12)上記選択ステップでは、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(11)記載の画像評価方法。
(13)上記画像特徴量抽出ステップでは、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(10)記載の画像評価方法。
(14)上記選択ステップでは、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(13)記載の画像評価方法。
(15)上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
上記(10)から(14)のいずれか一に記載の画像評価方法。
(16)被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、
被評価画像の周波数特性を抽出する周波数特性抽出処理と、
あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、
上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、
上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理と
を有する画像評価処理をコンピュータに実行させるプログラム。
【符号の説明】
【0066】
10・・・画像評価システム、20・・・画像入力機器、30・・・画像表示部、40・・・観察パラメータ入力部、50・・・画像評価装置、51・・・画質評価値処理部、511・・・画像特徴抽出部、512・・・色空間処理部、513・・・周波数特性抽出部、514・・・・VTF記憶部(保持部)、515・・・フィルタリング部(補正部)、516・・・逆周波数変換部、517・・・色空間変換部、518・・・画質評価値取得部,52・・・出力部。

【特許請求の範囲】
【請求項1】
視覚特性の関数をあらかじめ複数保持する保持部と、
被評価画像の画像特徴量を抽出する画像特徴量抽出部と、
被評価画像の周波数特性を抽出する周波数特性抽出部と、
上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、
上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、
上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部と
を有する画像評価装置。
【請求項2】
上記画像特徴量抽出部は、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
請求項1記載の画像評価装置。
【請求項3】
上記選択部は、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
請求項2記載の画像評価装置。
【請求項4】
上記画像特徴量抽出部は、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
請求項1記載の画像評価装置。
【請求項5】
上記選択部は、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
請求項4記載の画像評価装置。
【請求項6】
上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
請求項1記載の画像評価装置。
【請求項7】
上記被評価画像は、ノイズ評価を行うためのノイズを含むノイズ画像であり、
上記補正部の出力情報に対して周波数変換を行う周波数変換部を含み、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出し、
上記周波数変換部は、
ノイズの見えを数値に反映したノイズ画像を生成し、生成したノイズ画像に関する情報を上記画像評価値取得部に出力する
請求項1記載の画像評価装置。
【請求項8】
上記被評価画像は、解像度評価を行うための画像であり、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出する
請求項1記載の画像評価装置。
【請求項9】
上記被評価画像は、解像度評価を行うためのチャート画像であり、
上記周波数特性抽出部は、
上記被評価画像の空間周波数特性(MTF)を抽出する
請求項1記載の画像評価装置。
【請求項10】
被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、
被評価画像の周波数特性を抽出する周波数特性抽出ステップと、
あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、
上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、
上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップと
を有する画像評価方法。
【請求項11】
上記画像特徴量抽出ステップで、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
請求項10記載の画像評価方法。
【請求項12】
上記選択ステップでは、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
請求項11記載の画像評価方法。
【請求項13】
上記画像特徴量抽出ステップでは、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
請求項10記載の画像評価方法。
【請求項14】
上記選択ステップでは、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
請求項13記載の画像評価方法。
【請求項15】
上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
請求項10から14のいずれか一に記載の画像評価方法。
【請求項16】
被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、
被評価画像の周波数特性を抽出する周波数特性抽出処理と、
あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、
上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、
上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理と
を有する画像評価処理をコンピュータに実行させるプログラム。

【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図2】
image rotate


【公開番号】特開2013−97463(P2013−97463A)
【公開日】平成25年5月20日(2013.5.20)
【国際特許分類】
【出願番号】特願2011−237851(P2011−237851)
【出願日】平成23年10月28日(2011.10.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】