画質評価方法、画質評価装置、及びプログラム
【課題】超解像度画像に対して主観評価により近い客観的画質評価を行う。
【解決手段】高解像度画像入力部１０１は、基準画像となる高解像度画像ＩＭＧ１０を入力する。低解像度画像生成部１０２は、低解像度画像を生成するためにランダムに生成したパラメータに従って、高解像度画像ＩＭＧ１０からｎ個の低解像度画像ＩＭＧ２０を生成する。超解像度画像生成部１０３は、ｎ個の低解像度画像ＩＭＧ２０から１枚の超解像度画像ＩＭＧ３０を生成する。超解像度画像画質評価部１０４は、超解像度画像を生成する際に発生する画素の位置のずれを考慮し、画像の輝度値を評価する評価基準と、画像特徴点からの画質を評価する評価基準と、画像領域分割からの画質を評価する評価基準とのうち、いずれか１つ、あるいはそれらを組み合わせて超解像度画像画質を評価する。
【解決手段】高解像度画像入力部１０１は、基準画像となる高解像度画像ＩＭＧ１０を入力する。低解像度画像生成部１０２は、低解像度画像を生成するためにランダムに生成したパラメータに従って、高解像度画像ＩＭＧ１０からｎ個の低解像度画像ＩＭＧ２０を生成する。超解像度画像生成部１０３は、ｎ個の低解像度画像ＩＭＧ２０から１枚の超解像度画像ＩＭＧ３０を生成する。超解像度画像画質評価部１０４は、超解像度画像を生成する際に発生する画素の位置のずれを考慮し、画像の輝度値を評価する評価基準と、画像特徴点からの画質を評価する評価基準と、画像領域分割からの画質を評価する評価基準とのうち、いずれか１つ、あるいはそれらを組み合わせて超解像度画像画質を評価する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質評価方法、画質評価装置、及びプログラムに関する。
【背景技術】
【０００２】
現在、超解像度技術の研究開発が盛んに行われている。このような超解像度技術の研究開発においては、その性能を評価すること、すなわち、超解像度画像の画質評価が不可欠である。従来においては、人間が実際に目視にて画像を評価する主観的画質評価が行われてきた。
【０００３】
しかしながら、主観的画質評価では、評価条件（例えば、ディスプレイ、評価者のその日の体調、好み等）によって評価結果が変動するため、定量的に評価することが難しい上、多大な時間と労力が必要となる。これに対して、ＰＣ（パーソナルコンピュータ）等を用いて画像データの解析を行うことによる客観的画質評価は、簡便・高速に定量化が可能である。このため、主観的画質評価結果と相関の高い客観的画質評価方法の開発研究が行われている。
【０００４】
画質を客観的に評価する方法は、大きく３種類に分類される（例えば、非特許文献１参照）。１つ目の方法は、原画像と評価対象画像とを直接比較し、画質を評価する方法（Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法）である。２つ目の方法は、原画像の特徴量のみを伝送し、この特徴量と評価対象画像とから画質を評価する方法（Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法）である。３つ目の方法は、評価対象画像のみから画質を評価する方法（Ｎｏ Ｒｅｆｅｒｅｎｃｅ法）である。一般的に、超解像度の画質評価は、上記３つ目の方法である、Ｎｏ Ｒｅｆｅｒｅｎｃｅ法が多いが、本発明は、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法とＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に該当するものである。
【０００５】
Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法とＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法における「客観的画質評価方法」とは、一般的に、基準画像と評価対象画像の特徴量あるいは画像そのものの差分値の大きさから評価値を算出し、評価対象画像を数値的に評価する手法のことである。例えば、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法であるＰＳＮＲ（peak signal-to-noise ratio）は、一般的に使われている。客観的画質評価方法において、主観的画質評価との相関を高くするためには、評価値を算出する際に得られる差分値を人間の視覚特性に応じた評価値に置き直す必要がある。人間の視覚特性の１つとして、明るさによって人間の視覚による画質劣化の見え方が変化することが知られているからである（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ITU-T Recommendation J.143,「User requirements for objective perceptual video quality measurements in digital cable television」,2000
【非特許文献２】Huynh-Thu, Q.; Ghanbari, M. (2008). "Scope of validity of PSNR in image/video quality assessment". Electronics Letters 44: 800-801.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、超解像度の画像と基準画像の間には、歪みが発生してしまうので、ＰＳＮＲのような画素対画素の差分値の大きさから評価値を算出する評価基準は、客観的に画質を評価できないという問題がある。これは、例えば、ビデオによって撮影された複数枚の連続画像を基準画像として、この連続画像に基づき超解像度画像を生成した場合、ユーザの手ブレ等により連続画像に表わされている対象が画面内において位置が変わることがある。このような連続画像に基づき超解像度画像を生成すると、超解像度画像と基準画像内の対象の位置が微妙に異なることにより、両者の間に歪みが発生する。
また、ＰＳＮＲは、画質を評価する基準である画質劣化度を、単純に画素レベルでサンプル数を集計して算出するのみの構成であるため、画像全体の画質や、ユーザの主観評価に近い評価を算出することができないという問題がある。その理由は、例えば、超解像度の画像が基準画像と比べ、全体的に画面が明るくなった場合、ＰＳＮＲとして、非常に小さい評価値になってしまい、実際にユーザが画像を見た場合、画質がよくなったように感じられ、ユーザの主観評価を画質劣化に反映できないという問題がある。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる画質評価方法、画質評価装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価方法であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを含むことを特徴とする。
【００１０】
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、いずれか１つの評価ステップを用いることを特徴とする。
【００１１】
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、少なくとも２つ以上の評価ステップを組み合わせて用いることを特徴とする。
【００１２】
本発明は、上記の画質評価方法において、前記第１の評価ステップは、前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、前記第２の評価ステップは、前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、前記第３の評価ステップは、前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価装置であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を含むことを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、上述した画質評価方法のうちいずれか一つの方法における各ステップを実行させるためのプログラムである。
【発明の効果】
【００１５】
この発明によれば、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による超解像度画像画質評価装置の略構成を示すブロック図である。
【図２】本実施形態による、低解像度画像生成部１０２での低解像度画像の生成手順を説明するためのフローチャートである。
【図３】本実施形態による、低解像度画像生成部１０２での低解像度生成動作を示す模式図である。
【図４】本実施形態による、ＭＰＳＮＲの算出手順を説明するためのフローチャートである。
【図５】ＭＰＳＮＲにおいて、ｔ＝２のときの、近傍領域を示す模式図である。
【図６】本実施形態による、ＰＲＲの算出手順を説明するためのフローチャートである。
【図７】本実施形態による、ＭＳＲＲの算出手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１８】
図１は、本発明の実施形態による超解像度画像画質評価装置の略構成を示すブロック図である。この画像画質評価装置は、高解像度画像入力部１０１、低解像度画像生成部１０２、超解像度画像生成部１０３、超解像度画像画質評価部１０４から構成されている。
【００１９】
高解像度画像入力部１０１は、基準画像となる高解像度画像ＩＭＧ１０を入力する。低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された高解像度画像ＩＭＧ１０から低解像度画像ＩＭＧ２０を生成する。超解像度画像生成部１０３は、低解像度画像生成部１０２により生成された低解像度画像ＩＭＧ２０から超解像度画像ＩＭＧ３０を生成する。超解像度画像画質評価部１０４は、高解像度画像入力部１０１に入力された基準画像ＩＭＧ１０と超解像度画像生成部１０３により生成された超解像度画像ＩＭＧ３０とを用いて、超解像度画像画質を評価し、評価結果を出力する。
【００２０】
以下、各部について詳細に説明する。
高解像度画像入力部１０１は、例えば、デジタルカメラやデジタルビデオなどから、デジタル画像情報を取得する。さらに、色画像を濃淡画像に変換して、最後の情報として出力する。例えば、高解像度画像入力部１０１は、時系列に連続する複数のデジタル画像情報をデジタルビデオから入力する。
低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された基準画像ＩＭＧ１０から低解像度画像ＩＭＧ２０を生成する。この低解像度画像生成部１０２は、本実施形態のように、低解像度画像から生成される超解像度画像の画質を評価する際に利用されるものである。また、低解像度画像生成部１０２は、ビデオカメラにより撮影された画像が手ブレ等により、画像内における対象が移動している場合を想定して、低解像度画像において想定されるずれ量や回転量、あるいはサイズ変更等を与える。
【００２１】
図２は、本実施形態による、低解像度画像生成部１０２での低解像度画像の生成手順を説明するためのフローチャートである。まず、ｎ番目の低解像度画像を取得すべく、ｎ＝１とする（ステップＳ１）。次に、低解像度画像を生成するためのパラメータΔｘ、Δｙ、ｒ、ｓをランダムに生成する（ステップＳ２）。Δｘ、Δｙは、画像横方向と縦方向のずれ量、ｒは、回転の角度、ｓは、サイズ変更のスケールとなる。Δｘ、Δｙは、次式（１）に従って算出する。
【００２２】
【数１】
【００２３】
ここで、ｓは、サイズ変更のスケールであり、αｘ、αｙは、ランダムに生成した乱数である。ｓは、０から１までの小数になり、αｘ，αｙは、一般的に−１から１まで間の数字になる。回転の角度ｒは、ランダムに生成した−１５／１８０＊πから１５／１８０＊πまで間の数字になる。
【００２４】
次に、パラメータΔｘ、Δｙを用いて、画像を、横方向にΔｘ画素、縦方向にΔｙ画素を移動する（ステップＳ３）。さらに、移動された画像を角度ｒだけ回転する（ステップＳ４）。そして、回転された画像をスケールＳにダウンサンプリングする（ステップＳ５）。次に、ｎを１インクリメントし（ステップＳ６）、ｎが終了値であるか否かを判定し（ステップＳ７）、ｎが終了値でなければ、ステップＳ２に戻り、上述した処理を、次のｎ番目の低解像度画像に対して繰り返す。そして、ｎが終了値になると当該処理を終了する。
【００２５】
図３は、本実施形態による、低解像度画像生成部１０２での低解像度生成動作を示す模式図である。低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された画像ＩＭＧ１０を、上記ステップＳ３で、横方向にΔｘ画素、縦方向にΔｙ画素を移動（位置シフト）し、画像ＩＭＧ１１とする。次に、該画像ＩＭＧ１１を、上記ステップＳ４で、角度ｒだけ回転し、画像ＩＭＧ１２とする。そして、画像ＩＭＧ１２を、上記ステップＳ５で、スケールＳにダウンサンプリングし、最終的に、低解像度画像ＩＭＧ２０とする。このように、パラメータを変更しながらｎ個の低解像画像を生成する。
【００２６】
超解像度画像生成部１０３は、低解像度画像生成部１０２にて生成した、ｎ個の低解像度画像ＩＭＧ２０から１枚の超解像度画像を生成する。なお、超解像度画像生成部１０３が用いる超解像度画像を生成するアルゴリズムが、本実施形態にかかる画像評価方法による評価の対象のアルゴリズムである。
【００２７】
超解像度画像画質評価部１０４は、高解像度画像入力部１０１に入力された基準画像ＩＭＧ１０と超解像度画像生成部１０３により生成された超解像度画像ＩＭＧ３０とを利用して、超解像度画像画質を評価する。言い換えると、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０に対して超解像度画像ＩＭＧ３０の画質を評価する評価値を算出する際、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０と間における評価対象の画素の位置のずれに応じて、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０を比較することにより、超解像度画像ＩＭＧ３０の画質を評価する評価値を算出する。なお、超解像度画像画質評価部１０４で評価する超解像度画像ＩＭＧ３０のサイズは、ｍ×ｎ［ｐｉｘｅｌ］である。
【００２８】
本実施形態では、画像の輝度値を評価するＭＰＳＮＲ（Modified Peak Signal Noise Ration）と、画像特徴点抽出の観点から画質を評価する基準ＰＲＲ（Point Reproduction Ratio）と、画像領域分割からの画質を評価する基準ＭＳＲＲ（Mean Segment Reproduction Ratio）との３つの評価基準を提案する。以下、この３つの評価基準について説明する。
【００２９】
まず、画像の輝度値を評価するＭＰＳＮＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０のうち評価対象である基準対象領域と対応する超解像度画像ＩＭＧ３０のうち、基準画像ＩＭＧ１０の輝度値を評価する基準評価値に対して、超解像度画像ＩＭＧ３０の輝度値を評価する生成評価値の誤差が最小となる超解像度画像ＩＭＧ３０の生成対象領域と基準画像ＩＭＧ１０の基準対象領域とを比較することにより、超解像度画像ＩＭＧ３０の輝度値を評価する。
以下、図４を参照して具体的に説明する。図４は、本実施形態による、ＭＰＳＮＲの算出手順を説明するためのフローチャートである。
この超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから、次式（２）に従って評価基準ＭＰＳＮＲを算出する（ステップＳ１０）。
【００３０】
【数２】
【００３１】
ここでは、ＬＭＳＥは、平均最小二乗誤差で、次式（３）のように算出する。
【００３２】
【数３】
【００３３】
ここで、ＩＨＲは、高解像度画像であり、ＩＳＲは、超解像度画像である。また、高解像度画像ＩＨＲ、超解像度画像ＩＳＲは、次式（４）で定義されている。また、ｍ、ｎは、超解像度画像ＩＭＧ３０のサイズ（ｍ×ｎ［ｐｉｘｅｌ］）である。
【００３４】
【数４】
【００３５】
ここでは、ｔは、Ａ（ｉ，ｊ）と同じ位置にあるＢ（ｉ，ｊ）の近傍領域を決める閾値であり、一般的に、０から５まで間の数値になる。
【００３６】
ここで、図５は、ＭＰＳＮＲにおいて、ｔ＝２のときの、近傍領域を示す模式図である。このＡ（ｉ，ｊ）が、基準画像ＩＭＧ１０のうち評価対象である基準対象領域であり、Ｂ（ｉ，ｊ）が、基準対象領域と対応する超解像度画像ＩＭＧ３０である。超解像度画像画質評価部１０４は、数式（４）に示すように、基準対象領域と対応する超解像度画像ＩＭＧ３０のうち、基準画像ＩＭＧ１０の輝度値を評価する基準評価値に対して、超解像度画像ＩＭＧ３０の輝度値を評価する生成評価値の誤差が最小となる超解像度画像ＩＭＧ３０の生成対象領域と基準画像ＩＭＧ１０の基準対象領域とを比較する。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
【００３７】
なお、ＭＰＳＮＲを求める数式（２）は、一例であり、ＭＰＳＮＲの評価方法の最も特徴とするところは、関数ρ（Ａ，Ｂ，ｔ）である。ρを用いたＬＭＳＥの逆数をとることで、ＭＰＳＮＲの値を算出するものであればよい。
【００３８】
次に、画像特徴点抽出観点からの画質を評価するＰＲＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０の画像特徴点と超解像度画像ＩＭＧ３０の画像特徴点の差分が閾値以下となる画像特徴点に基づき、超解像度画像ＩＭＧ３０を評価する。
以下、図６を参照して具体的に説明する。図６は、本実施形態による、ＰＲＲの算出手順を説明するためのフローチャートである。
まず、超解像度画像画質評価部１０４は、高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とからそれぞれ特徴点を抽出する（ステップＳ２０、Ｓ２１）。そして、それぞれ特徴点から評価基準ＰＲＲを算出する（ステップＳ２２）。
【００３９】
特徴点の抽出手法としては、Ｈａｒｒｉｓ特徴点検出法など、特徴点を抽出するものであれば、既存のどのような技術を用いてもよい。高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから抽出した特徴点集合は、それぞれＰ＝｛ｐ１，ｐ２，ｐ３，…，ｐｍ｝と、Ｑ＝｛ｑ１，ｑ２，ｑ３，…，ｑｎ｝とし、ｍとｎとは、それぞれ点集合Ｐと点集合Ｑとにある特徴点の数になる。ＰＲＲは、次式（５）のように定義される。
【００４０】
【数５】
【００４１】
ここでは、数式（６）として定義されている。
【００４２】
【数６】
【００４３】
τは閾値であり、一般的に、０から５まで間の数値になる。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
【００４４】
最後に、画像領域分割からの画質を評価するＭＳＲＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０の部分画像と同一位置の超解像度画像ＩＭＧ３０の部分画像において、共通する画素に基づいて評価する。
以下、図７を参照して具体的に説明する。図７は、本実施形態による、ＭＳＲＲの算出手順を説明するためのフローチャートである。まず、超解像度画像画質評価部１０４は、高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とを、それぞれ領域分割する（ステップＳ３０、Ｓ３１）。そして、それぞれの領域分割から評価基準ＭＳＲＲを算出する（ステップＳ３２）。
【００４５】
領域分割手法としては、Ｗａｔｅｒｓｈｅｄ分割法など、領域分割するものであれば、既存のどのような技術を用いてもよい。高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから領域分割した領域集合は、それぞれＳ＝｛ｓ１，ｓ２，ｓ３，…，ｓｋ｝と、Ｒ＝｛ｒ１，ｒ２，ｒ３，…，ｒｌ｝とし、ｋとｌは、それぞれ領域集合Ｓと領域集合Ｒとにある領域の数になる。ＭＳＲＲは、次式（７）、（８）のように定義される。
【００４６】
【数７】
【００４７】
【数８】
【００４８】
ここで、｜｜は、分割した領域内の画素の数である。
【００４９】
上述した実施形態によれば、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲ、それぞれの評価方法を用いることにより、従来の評価方法に比べ、超解像度化する際に発生する画素の位置のずれに対処することができ、ユーザの主観評価により近い客観的な画質評価を行うことができる。
【００５０】
なお、上述した実施形態において、上述した評価基準ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲを、それぞれ出力し、それぞれでの評価基準を用いて評価してもよいし、総合的な評価基準として評価するようにしてもよい。例えば、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲの平均値で評価するようにしてもよいし、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうち、２つ以上を組み合わせて評価を行なってもよい。この場合の組み合わせ方法は、平均でも、重み付け加算による方法でもよい。
【００５１】
また、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲは、それぞれの特長を持つので、それぞれの特長を生かして評価するようにしてもよい。例えば、ＭＰＳＮＲは、信号レベルの評価に向いている。なお、信号レベルの評価とは、評価対象である超解像度画像と評価の基準とする基準画像との信号の類似度の評価のことである。ＰＲＲは、特徴点抽出に関する応用のための超解像度技術の評価に向いている。なお、特徴点抽出に関する応用のための超解像度技術の評価とは、エッジ抽出や、コーナ検出といった特徴抽出の精度の評価のことである。ＭＳＲＲは、領域分割に関する応用のための超解像度技術の評価に向いている。なお、領域分割に関する応用のための超解像度技術の評価とは、領域分割の精度についての評価のことである。このように、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲ、それぞれの特長に応じた技術について評価すればよい。
【００５２】
なお、本発明は、上記構成に限られず、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうちいずれか１つを行う画質評価方法および画質評価装置であってもよく、また、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうち、少なくとも２つ以上の評価ステップを組み合わせて用いるものであってもよい。
【００５３】
なお、上述した実施形態において、画質評価装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００５５】
１０１ 高解像度画像入力部
１０２ 低解像度画像生成部
１０３ 超解像度画像生成部
１０４ 超解像度画像画質評価部
【技術分野】
【０００１】
本発明は、画質評価方法、画質評価装置、及びプログラムに関する。
【背景技術】
【０００２】
現在、超解像度技術の研究開発が盛んに行われている。このような超解像度技術の研究開発においては、その性能を評価すること、すなわち、超解像度画像の画質評価が不可欠である。従来においては、人間が実際に目視にて画像を評価する主観的画質評価が行われてきた。
【０００３】
しかしながら、主観的画質評価では、評価条件（例えば、ディスプレイ、評価者のその日の体調、好み等）によって評価結果が変動するため、定量的に評価することが難しい上、多大な時間と労力が必要となる。これに対して、ＰＣ（パーソナルコンピュータ）等を用いて画像データの解析を行うことによる客観的画質評価は、簡便・高速に定量化が可能である。このため、主観的画質評価結果と相関の高い客観的画質評価方法の開発研究が行われている。
【０００４】
画質を客観的に評価する方法は、大きく３種類に分類される（例えば、非特許文献１参照）。１つ目の方法は、原画像と評価対象画像とを直接比較し、画質を評価する方法（Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法）である。２つ目の方法は、原画像の特徴量のみを伝送し、この特徴量と評価対象画像とから画質を評価する方法（Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法）である。３つ目の方法は、評価対象画像のみから画質を評価する方法（Ｎｏ Ｒｅｆｅｒｅｎｃｅ法）である。一般的に、超解像度の画質評価は、上記３つ目の方法である、Ｎｏ Ｒｅｆｅｒｅｎｃｅ法が多いが、本発明は、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法とＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法に該当するものである。
【０００５】
Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法とＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法における「客観的画質評価方法」とは、一般的に、基準画像と評価対象画像の特徴量あるいは画像そのものの差分値の大きさから評価値を算出し、評価対象画像を数値的に評価する手法のことである。例えば、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法であるＰＳＮＲ（peak signal-to-noise ratio）は、一般的に使われている。客観的画質評価方法において、主観的画質評価との相関を高くするためには、評価値を算出する際に得られる差分値を人間の視覚特性に応じた評価値に置き直す必要がある。人間の視覚特性の１つとして、明るさによって人間の視覚による画質劣化の見え方が変化することが知られているからである（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】ITU-T Recommendation J.143,「User requirements for objective perceptual video quality measurements in digital cable television」,2000
【非特許文献２】Huynh-Thu, Q.; Ghanbari, M. (2008). "Scope of validity of PSNR in image/video quality assessment". Electronics Letters 44: 800-801.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、超解像度の画像と基準画像の間には、歪みが発生してしまうので、ＰＳＮＲのような画素対画素の差分値の大きさから評価値を算出する評価基準は、客観的に画質を評価できないという問題がある。これは、例えば、ビデオによって撮影された複数枚の連続画像を基準画像として、この連続画像に基づき超解像度画像を生成した場合、ユーザの手ブレ等により連続画像に表わされている対象が画面内において位置が変わることがある。このような連続画像に基づき超解像度画像を生成すると、超解像度画像と基準画像内の対象の位置が微妙に異なることにより、両者の間に歪みが発生する。
また、ＰＳＮＲは、画質を評価する基準である画質劣化度を、単純に画素レベルでサンプル数を集計して算出するのみの構成であるため、画像全体の画質や、ユーザの主観評価に近い評価を算出することができないという問題がある。その理由は、例えば、超解像度の画像が基準画像と比べ、全体的に画面が明るくなった場合、ＰＳＮＲとして、非常に小さい評価値になってしまい、実際にユーザが画像を見た場合、画質がよくなったように感じられ、ユーザの主観評価を画質劣化に反映できないという問題がある。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる画質評価方法、画質評価装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価方法であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを含むことを特徴とする。
【００１０】
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、いずれか１つの評価ステップを用いることを特徴とする。
【００１１】
本発明は、上記の画質評価方法において、前記評価ステップは、前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、少なくとも２つ以上の評価ステップを組み合わせて用いることを特徴とする。
【００１２】
本発明は、上記の画質評価方法において、前記第１の評価ステップは、前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、前記第２の評価ステップは、前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、前記第３の評価ステップは、前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする。
【００１３】
また、上述した課題を解決するために、本発明は、基準画像から生成される生成画像の画質を評価する画質評価装置であって、前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を含むことを特徴とする。
【００１４】
また、上述した課題を解決するために、本発明は、上述した画質評価方法のうちいずれか一つの方法における各ステップを実行させるためのプログラムである。
【発明の効果】
【００１５】
この発明によれば、超解像度画像に対して主観評価により近い客観的画質評価を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による超解像度画像画質評価装置の略構成を示すブロック図である。
【図２】本実施形態による、低解像度画像生成部１０２での低解像度画像の生成手順を説明するためのフローチャートである。
【図３】本実施形態による、低解像度画像生成部１０２での低解像度生成動作を示す模式図である。
【図４】本実施形態による、ＭＰＳＮＲの算出手順を説明するためのフローチャートである。
【図５】ＭＰＳＮＲにおいて、ｔ＝２のときの、近傍領域を示す模式図である。
【図６】本実施形態による、ＰＲＲの算出手順を説明するためのフローチャートである。
【図７】本実施形態による、ＭＳＲＲの算出手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を、図面を参照して説明する。
【００１８】
図１は、本発明の実施形態による超解像度画像画質評価装置の略構成を示すブロック図である。この画像画質評価装置は、高解像度画像入力部１０１、低解像度画像生成部１０２、超解像度画像生成部１０３、超解像度画像画質評価部１０４から構成されている。
【００１９】
高解像度画像入力部１０１は、基準画像となる高解像度画像ＩＭＧ１０を入力する。低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された高解像度画像ＩＭＧ１０から低解像度画像ＩＭＧ２０を生成する。超解像度画像生成部１０３は、低解像度画像生成部１０２により生成された低解像度画像ＩＭＧ２０から超解像度画像ＩＭＧ３０を生成する。超解像度画像画質評価部１０４は、高解像度画像入力部１０１に入力された基準画像ＩＭＧ１０と超解像度画像生成部１０３により生成された超解像度画像ＩＭＧ３０とを用いて、超解像度画像画質を評価し、評価結果を出力する。
【００２０】
以下、各部について詳細に説明する。
高解像度画像入力部１０１は、例えば、デジタルカメラやデジタルビデオなどから、デジタル画像情報を取得する。さらに、色画像を濃淡画像に変換して、最後の情報として出力する。例えば、高解像度画像入力部１０１は、時系列に連続する複数のデジタル画像情報をデジタルビデオから入力する。
低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された基準画像ＩＭＧ１０から低解像度画像ＩＭＧ２０を生成する。この低解像度画像生成部１０２は、本実施形態のように、低解像度画像から生成される超解像度画像の画質を評価する際に利用されるものである。また、低解像度画像生成部１０２は、ビデオカメラにより撮影された画像が手ブレ等により、画像内における対象が移動している場合を想定して、低解像度画像において想定されるずれ量や回転量、あるいはサイズ変更等を与える。
【００２１】
図２は、本実施形態による、低解像度画像生成部１０２での低解像度画像の生成手順を説明するためのフローチャートである。まず、ｎ番目の低解像度画像を取得すべく、ｎ＝１とする（ステップＳ１）。次に、低解像度画像を生成するためのパラメータΔｘ、Δｙ、ｒ、ｓをランダムに生成する（ステップＳ２）。Δｘ、Δｙは、画像横方向と縦方向のずれ量、ｒは、回転の角度、ｓは、サイズ変更のスケールとなる。Δｘ、Δｙは、次式（１）に従って算出する。
【００２２】
【数１】
【００２３】
ここで、ｓは、サイズ変更のスケールであり、αｘ、αｙは、ランダムに生成した乱数である。ｓは、０から１までの小数になり、αｘ，αｙは、一般的に−１から１まで間の数字になる。回転の角度ｒは、ランダムに生成した−１５／１８０＊πから１５／１８０＊πまで間の数字になる。
【００２４】
次に、パラメータΔｘ、Δｙを用いて、画像を、横方向にΔｘ画素、縦方向にΔｙ画素を移動する（ステップＳ３）。さらに、移動された画像を角度ｒだけ回転する（ステップＳ４）。そして、回転された画像をスケールＳにダウンサンプリングする（ステップＳ５）。次に、ｎを１インクリメントし（ステップＳ６）、ｎが終了値であるか否かを判定し（ステップＳ７）、ｎが終了値でなければ、ステップＳ２に戻り、上述した処理を、次のｎ番目の低解像度画像に対して繰り返す。そして、ｎが終了値になると当該処理を終了する。
【００２５】
図３は、本実施形態による、低解像度画像生成部１０２での低解像度生成動作を示す模式図である。低解像度画像生成部１０２は、高解像度画像入力部１０１により入力された画像ＩＭＧ１０を、上記ステップＳ３で、横方向にΔｘ画素、縦方向にΔｙ画素を移動（位置シフト）し、画像ＩＭＧ１１とする。次に、該画像ＩＭＧ１１を、上記ステップＳ４で、角度ｒだけ回転し、画像ＩＭＧ１２とする。そして、画像ＩＭＧ１２を、上記ステップＳ５で、スケールＳにダウンサンプリングし、最終的に、低解像度画像ＩＭＧ２０とする。このように、パラメータを変更しながらｎ個の低解像画像を生成する。
【００２６】
超解像度画像生成部１０３は、低解像度画像生成部１０２にて生成した、ｎ個の低解像度画像ＩＭＧ２０から１枚の超解像度画像を生成する。なお、超解像度画像生成部１０３が用いる超解像度画像を生成するアルゴリズムが、本実施形態にかかる画像評価方法による評価の対象のアルゴリズムである。
【００２７】
超解像度画像画質評価部１０４は、高解像度画像入力部１０１に入力された基準画像ＩＭＧ１０と超解像度画像生成部１０３により生成された超解像度画像ＩＭＧ３０とを利用して、超解像度画像画質を評価する。言い換えると、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０に対して超解像度画像ＩＭＧ３０の画質を評価する評価値を算出する際、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０と間における評価対象の画素の位置のずれに応じて、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０を比較することにより、超解像度画像ＩＭＧ３０の画質を評価する評価値を算出する。なお、超解像度画像画質評価部１０４で評価する超解像度画像ＩＭＧ３０のサイズは、ｍ×ｎ［ｐｉｘｅｌ］である。
【００２８】
本実施形態では、画像の輝度値を評価するＭＰＳＮＲ（Modified Peak Signal Noise Ration）と、画像特徴点抽出の観点から画質を評価する基準ＰＲＲ（Point Reproduction Ratio）と、画像領域分割からの画質を評価する基準ＭＳＲＲ（Mean Segment Reproduction Ratio）との３つの評価基準を提案する。以下、この３つの評価基準について説明する。
【００２９】
まず、画像の輝度値を評価するＭＰＳＮＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０のうち評価対象である基準対象領域と対応する超解像度画像ＩＭＧ３０のうち、基準画像ＩＭＧ１０の輝度値を評価する基準評価値に対して、超解像度画像ＩＭＧ３０の輝度値を評価する生成評価値の誤差が最小となる超解像度画像ＩＭＧ３０の生成対象領域と基準画像ＩＭＧ１０の基準対象領域とを比較することにより、超解像度画像ＩＭＧ３０の輝度値を評価する。
以下、図４を参照して具体的に説明する。図４は、本実施形態による、ＭＰＳＮＲの算出手順を説明するためのフローチャートである。
この超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから、次式（２）に従って評価基準ＭＰＳＮＲを算出する（ステップＳ１０）。
【００３０】
【数２】
【００３１】
ここでは、ＬＭＳＥは、平均最小二乗誤差で、次式（３）のように算出する。
【００３２】
【数３】
【００３３】
ここで、ＩＨＲは、高解像度画像であり、ＩＳＲは、超解像度画像である。また、高解像度画像ＩＨＲ、超解像度画像ＩＳＲは、次式（４）で定義されている。また、ｍ、ｎは、超解像度画像ＩＭＧ３０のサイズ（ｍ×ｎ［ｐｉｘｅｌ］）である。
【００３４】
【数４】
【００３５】
ここでは、ｔは、Ａ（ｉ，ｊ）と同じ位置にあるＢ（ｉ，ｊ）の近傍領域を決める閾値であり、一般的に、０から５まで間の数値になる。
【００３６】
ここで、図５は、ＭＰＳＮＲにおいて、ｔ＝２のときの、近傍領域を示す模式図である。このＡ（ｉ，ｊ）が、基準画像ＩＭＧ１０のうち評価対象である基準対象領域であり、Ｂ（ｉ，ｊ）が、基準対象領域と対応する超解像度画像ＩＭＧ３０である。超解像度画像画質評価部１０４は、数式（４）に示すように、基準対象領域と対応する超解像度画像ＩＭＧ３０のうち、基準画像ＩＭＧ１０の輝度値を評価する基準評価値に対して、超解像度画像ＩＭＧ３０の輝度値を評価する生成評価値の誤差が最小となる超解像度画像ＩＭＧ３０の生成対象領域と基準画像ＩＭＧ１０の基準対象領域とを比較する。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
【００３７】
なお、ＭＰＳＮＲを求める数式（２）は、一例であり、ＭＰＳＮＲの評価方法の最も特徴とするところは、関数ρ（Ａ，Ｂ，ｔ）である。ρを用いたＬＭＳＥの逆数をとることで、ＭＰＳＮＲの値を算出するものであればよい。
【００３８】
次に、画像特徴点抽出観点からの画質を評価するＰＲＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０の画像特徴点と超解像度画像ＩＭＧ３０の画像特徴点の差分が閾値以下となる画像特徴点に基づき、超解像度画像ＩＭＧ３０を評価する。
以下、図６を参照して具体的に説明する。図６は、本実施形態による、ＰＲＲの算出手順を説明するためのフローチャートである。
まず、超解像度画像画質評価部１０４は、高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とからそれぞれ特徴点を抽出する（ステップＳ２０、Ｓ２１）。そして、それぞれ特徴点から評価基準ＰＲＲを算出する（ステップＳ２２）。
【００３９】
特徴点の抽出手法としては、Ｈａｒｒｉｓ特徴点検出法など、特徴点を抽出するものであれば、既存のどのような技術を用いてもよい。高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから抽出した特徴点集合は、それぞれＰ＝｛ｐ１，ｐ２，ｐ３，…，ｐｍ｝と、Ｑ＝｛ｑ１，ｑ２，ｑ３，…，ｑｎ｝とし、ｍとｎとは、それぞれ点集合Ｐと点集合Ｑとにある特徴点の数になる。ＰＲＲは、次式（５）のように定義される。
【００４０】
【数５】
【００４１】
ここでは、数式（６）として定義されている。
【００４２】
【数６】
【００４３】
τは閾値であり、一般的に、０から５まで間の数値になる。これにより、超解像度化する際に発生する画素の位置のずれに対処できる。
【００４４】
最後に、画像領域分割からの画質を評価するＭＳＲＲについて説明する。
この評価において、超解像度画像画質評価部１０４は、基準画像ＩＭＧ１０の部分画像と同一位置の超解像度画像ＩＭＧ３０の部分画像において、共通する画素に基づいて評価する。
以下、図７を参照して具体的に説明する。図７は、本実施形態による、ＭＳＲＲの算出手順を説明するためのフローチャートである。まず、超解像度画像画質評価部１０４は、高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とを、それぞれ領域分割する（ステップＳ３０、Ｓ３１）。そして、それぞれの領域分割から評価基準ＭＳＲＲを算出する（ステップＳ３２）。
【００４５】
領域分割手法としては、Ｗａｔｅｒｓｈｅｄ分割法など、領域分割するものであれば、既存のどのような技術を用いてもよい。高解像度画像ＩＭＧ１０と超解像度画像ＩＭＧ３０とから領域分割した領域集合は、それぞれＳ＝｛ｓ１，ｓ２，ｓ３，…，ｓｋ｝と、Ｒ＝｛ｒ１，ｒ２，ｒ３，…，ｒｌ｝とし、ｋとｌは、それぞれ領域集合Ｓと領域集合Ｒとにある領域の数になる。ＭＳＲＲは、次式（７）、（８）のように定義される。
【００４６】
【数７】
【００４７】
【数８】
【００４８】
ここで、｜｜は、分割した領域内の画素の数である。
【００４９】
上述した実施形態によれば、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲ、それぞれの評価方法を用いることにより、従来の評価方法に比べ、超解像度化する際に発生する画素の位置のずれに対処することができ、ユーザの主観評価により近い客観的な画質評価を行うことができる。
【００５０】
なお、上述した実施形態において、上述した評価基準ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲを、それぞれ出力し、それぞれでの評価基準を用いて評価してもよいし、総合的な評価基準として評価するようにしてもよい。例えば、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲの平均値で評価するようにしてもよいし、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうち、２つ以上を組み合わせて評価を行なってもよい。この場合の組み合わせ方法は、平均でも、重み付け加算による方法でもよい。
【００５１】
また、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲは、それぞれの特長を持つので、それぞれの特長を生かして評価するようにしてもよい。例えば、ＭＰＳＮＲは、信号レベルの評価に向いている。なお、信号レベルの評価とは、評価対象である超解像度画像と評価の基準とする基準画像との信号の類似度の評価のことである。ＰＲＲは、特徴点抽出に関する応用のための超解像度技術の評価に向いている。なお、特徴点抽出に関する応用のための超解像度技術の評価とは、エッジ抽出や、コーナ検出といった特徴抽出の精度の評価のことである。ＭＳＲＲは、領域分割に関する応用のための超解像度技術の評価に向いている。なお、領域分割に関する応用のための超解像度技術の評価とは、領域分割の精度についての評価のことである。このように、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲ、それぞれの特長に応じた技術について評価すればよい。
【００５２】
なお、本発明は、上記構成に限られず、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうちいずれか１つを行う画質評価方法および画質評価装置であってもよく、また、ＭＰＳＮＲ、ＰＲＲ、ＭＳＲＲのうち、少なくとも２つ以上の評価ステップを組み合わせて用いるものであってもよい。
【００５３】
なお、上述した実施形態において、画質評価装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００５５】
１０１ 高解像度画像入力部
１０２ 低解像度画像生成部
１０３ 超解像度画像生成部
１０４ 超解像度画像画質評価部
【特許請求の範囲】
【請求項１】
基準画像から生成される生成画像の画質を評価する画質評価方法であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを
含むことを特徴とする画質評価方法。
【請求項２】
前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、いずれか１つの評価ステップを用いる
ことを特徴とする請求項１に記載の画質評価方法。
【請求項３】
前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、少なくとも２つ以上の評価ステップを組み合わせて用いる
ことを特徴とする請求項１に記載の画質評価方法。
【請求項４】
前記第１の評価ステップは、
前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、
前記第２の評価ステップは、
前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、
前記第３の評価ステップは、
前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする請求項２あるいは３に記載の画質評価方法。
【請求項５】
基準画像から生成される生成画像の画質を評価する画質評価装置であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を
含むことを特徴とする画質評価装置。
【請求項６】
コンピュータに、請求項１〜４のうちいずれか一項に記載の各ステップを実行させるためのプログラム。
【請求項１】
基準画像から生成される生成画像の画質を評価する画質評価方法であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成ステップと、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価ステップを
含むことを特徴とする画質評価方法。
【請求項２】
前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、および、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、いずれか１つの評価ステップを用いる
ことを特徴とする請求項１に記載の画質評価方法。
【請求項３】
前記評価ステップは、
前記基準画像と前記生成画像との輝度値に基づいて評価する第１の評価ステップ、前記基準画像と前記生成画像との画像特徴点に基づいて評価する第２の評価ステップ、前記基準画像と前記生成画像の領域分割により得られる部分画像に基づいて評価する第３の評価ステップのうち、少なくとも２つ以上の評価ステップを組み合わせて用いる
ことを特徴とする請求項１に記載の画質評価方法。
【請求項４】
前記第１の評価ステップは、
前記基準画像のうち評価対象である基準対象領域と対応する前記生成画像のうち、前記基準画像の輝度値を評価する基準評価値に対して、前記生成画像の輝度値を評価する生成評価値の誤差が最小となる前記生成画像の生成対象領域と前記基準対象領域とを比較することにより、前記生成画像の輝度値を評価する評価値を算出するステップであり、
前記第２の評価ステップは、
前記基準画像の画像特徴点と前記生成画像の画像特徴点の差分が閾値以下となる画像特徴点に基づき、前記生成画像を評価するステップであり、
前記第３の評価ステップは、
前記基準画像の部分画像と同一位置における前記生成画像の部分画像において、共通する画素に基づいて評価するステップであることを特徴とする請求項２あるいは３に記載の画質評価方法。
【請求項５】
基準画像から生成される生成画像の画質を評価する画質評価装置であって、
前記複数の基準画像に基づき前記基準画像よりも解像度の高い生成画像を生成する生成手段と、
前記基準画像に対して前記生成画像の画質を評価する評価値を算出する際、当該基準画像と前記生成画像間における評価対象の画素の位置のずれに応じて、前記基準画像と前記生成画像とを比較することにより、前記評価値を算出する評価手段を
含むことを特徴とする画質評価装置。
【請求項６】
コンピュータに、請求項１〜４のうちいずれか一項に記載の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−２５００１３（Ｐ２０１１−２５００１３Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１９４９８（Ｐ２０１０−１１９４９８）
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２５日（２０１０．５．２５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]