量子化コードを利用した画質評価方法及び装置
本発明は、量子化コードを利用した画質評価方法に関するものであって、原映像と劣化映像とをフィルタリングし、該フィルタリング結果からサイズ／位相量子化コードを生成させ、原映像のサイズ／位相量子化コードと劣化映像のサイズ／位相量子化コードとのハミング距離を算出した後、算出されたハミング距離を用いて劣化映像の画質を評価することを特徴とする。本発明によれば、原映像と劣化映像との画素値を量子化された複素平面にマッピングした後、二進コード演算を行うので、画質評価ハードウェア具現を容易にし、また画質評価性能に優れる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、量子化コードを利用した画質評価方法に係り、より詳細には、原映像と劣化映像との画素値を量子化された複素平面にマッピングした後、二進コード演算を行って、画質評価ハードウェア具現を容易にし、画質評価性能に優れる量子化コードを利用した画質評価方法及び装置に関する。
【背景技術】
【０００２】
画質の評価に、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）やＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が、客観的な画質評価指数として多く使われた。しかし、このような画質評価指数は、人間が感じる主観的な画質をよく反映することができなかったために、多様な画質評価指数が開発されている。ＵＱＩ（Ｕｎｉｖｅｒｓａｌ Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）、ＭＳＳＳＩＭ（Ｍｕｌｔｉ−Ｓｃａｌｅ ＳＳＩＭ）、及びＭＳＶＤのような画質評価指数が開発されたが、このような画質評価指数は、画質評価時に浮動小数点を使っているために、ハードウェアの具現が難しいだけではなく、大きなメモリサイズが必要である。したがって、効率的にハードウェアを具現することができる画質評価技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする第１の課題は、画質評価ハードウェア具現を容易にしながら、画質評価性能に優れる量子化コードを利用した画質評価方法を提供するところにある。
【０００４】
本発明が解決しようとする第２の課題は、画質評価ハードウェア具現を容易にしながら、画質評価性能に優れる量子化コードを利用した画質評価装置を提供するところにある。
【課題を解決するための手段】
【０００５】
本発明は、前記第１の課題を果たすために、原映像と劣化映像とをフィルタリングする段階と、前記フィルタリング結果から位相量子化コードを生成させる段階と、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する段階と、前記算出された差を用いて、前記劣化映像の画質を評価する段階と、を含むことを特徴とする量子化コードを利用した画質評価方法を提供する。
【０００６】
本発明の一実施形態によれば、前記差を算出する段階は、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出する段階であり、前記劣化映像の画質を評価する段階は、前記算出されたハミング距離を用いて、前記劣化映像の画質を評価する段階であり得る。
【０００７】
また、前記フィルタリング段階は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換する段階であり得る。
【０００８】
また、前記位相量子化コードを生成させる段階は、前記フィルタリング結果からサイズ量子化コードを生成させる段階をさらに含み、前記ハミング距離を算出する段階は、前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出する段階であり得る。
【０００９】
また、前記画素値は、輝度値であることが望ましい。
【００１０】
本発明の他の実施形態によれば、前記フィルタリング段階は、前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出する段階であり得る。
【００１１】
また、前記フィルタリング段階で使われるフィルターは、ガボール（Ｇａｂｏｒ）フィルターまたは複素ウェーブレット変換フィルターであることが望ましい。
【００１２】
本発明のさらに他の実施形態によれば、前記劣化映像の画質を評価する段階は、前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することができる。
【００１３】
本発明は、前記第２の課題を果たすために、原映像と劣化映像とをフィルタリングするフィルター部と、前記フィルター部の出力から位相量子化コードを生成させる量子化コード部と、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する量子化コード差算出部と、前記算出された差を用いて、前記劣化映像の画質を評価する画質評価部と、を含むことを特徴とする量子化コードを利用した画質評価装置を提供する。
【発明の効果】
【００１４】
本発明によれば、原映像と劣化映像との画素値を量子化された複素平面にマッピングした後、二進コード演算を行うので、画質評価ハードウェア具現を容易にし、画質評価性能に優れる。また、本発明によれば、フィルター出力が、１つの画素値に対応する複素値または一対の値を出力する場合に、フィルター特性によって新たな画質評価指数を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による量子化コードを利用した画質評価装置のブロック図である。
【図２】Ｋ個のサイズレベルとＬ個の位相レベルとで量子化された複素平面量子化の概念図を示す。
【図３】ビルイメージの８×８ブロック位相量子化コードを生成させる過程の例を示す。
【図４】原映像と劣化映像とのハミング距離マップと輝度値差の絶対値を示す。
【図５】本発明の一実施形態による量子化コードを利用した画質評価方法のフローチャートである。
【図６】原映像と劣化映像及び本発明の一実施形態による位相量子化コードによって得られたハミング距離マップを示す。
【図７】ＤＭＯＳ値と５種の画質評価指数をフィッティングしたグラフを示す。
【発明を実施するための形態】
【００１６】
本発明に関する具体的な内容の説明に先立って、理解の便宜上、本発明が解決しようとする課題の解決方案の概要あるいは技術的思想の核心を先に提示する。
【００１７】
本発明の一実施形態による量子化コードを利用した画質評価方法は、原映像と劣化映像とをフィルタリングした後、該フィルタリング結果から位相量子化コードを生成させ、原映像の位相量子化コードと劣化映像の位相量子化コードとの差を算出する。以後、算出された差を用いて劣化映像の画質を評価することを特徴とする。
【００１８】
以下、望ましい実施形態を挙げて本発明をさらに詳細に説明する。しかし、これら実施形態は、本発明をより具体的に説明するためのものであって、本発明の範囲が、これに制限されるものではないということは当業者に自明である。同時に、本発明と関連した公知機能あるいは構成についての具体的な説明、そして、それ以外の諸般の事項が、本発明の要旨を不明にする恐れがあると判断される場合、その詳細な説明を省略する。
【００１９】
図１は、本発明の一実施形態による量子化コードを利用した画質評価装置のブロック図である。
【００２０】
図１を参照すると、本発明の一実施形態による量子化コードを利用した画質評価装置は、輝度値変換部１１０、フィルター部１２０、量子化コード部１３０、量子化コード差算出部１４０、及び画質評価部１５０で構成される。
【００２１】
輝度値変換部１１０は、映像のＲＧＢ値を輝度値（ｌｕｍｉｎａｎｃｅ、Ｙ）に変換する。輝度値への変換は、ＲＧＢ−ＹＣｂＣｒ変換を利用できる。輝度値変換部１１０は、原映像と劣化映像とを受信し、原映像と劣化映像画素のＲＧＢ値から輝度値を生成させることが望ましい。
【００２２】
フィルター部１２０は、輝度値変換部１１０が出力した各画素別輝度値を入力として、各画素に対応する２つの値を生成させる。フィルター部１２０は、グラジエントフィルター、特に、ソーベル演算子を利用し、ガボールフィルターまたは複素ウェーブレット変換フィルターを利用することも可能である。フィルター部１２０がグラジエントフィルターである場合、フィルター部１２０が生成する２つの値は、ｘ方向グラジエントとｙ方向グラジエントとになり、フィルター部１２０がガボールフィルターである場合、コサイン（ｃｏｓｉｎｅ）関数によって特定される実数部とサイン（ｓｉｎｅ）関数によって特定される虚数部が、輝度値に対応する２つの値になりうるが、これに限定されるものではない。したがって、本発明の一実施形態によるフィルター部１２０は、各画素別輝度値を変換して複素平面に表現できるように、２つの値を生成させるフィルターをいずれも含むことが望ましい。以下、特に、フィルター部１２０が、グラジエントフィルターのうち、ソーベル演算子である場合を詳しく説明する。
【００２３】
Ｉが、イメージを表わすとするとき、イメージのｘ軸とｙ軸とによるグラジエント値であるＩｘとＩｙとが、次の数式１のように定義される。
【００２４】
【数１】
【００２５】
量子化コード部１３０は、フィルター部１２０が出力した２つの値を複素平面上にマッピングし、該マッピング結果から量子化コードを生成させる。この際、複素平面は、サイズと位相とに対して量子化されていることが望ましい。量子化コード部１３０は、量子化されている複素平面にフィルター部１２０が出力した値をマッピングし、サイズと位相とに対してコード化する。量子化コード部１３０については、図２と図３とを参照してより詳細に説明する。
【００２６】
量子化コード差算出部１４０は、原映像と劣化映像のそれぞれに対する量子化コードを比較して、コード間の差を算出する。コード間の差は、ハミング距離を算出することによって、計算することができるが、これに限定されるものではない。
【００２７】
画質評価部１５０は、算出された差に基づいて画質評価指数を生成させる。
【００２８】
本発明は、映像の構造的歪曲が映像の位相変化を発生させるという事実に基づく。したがって、映像の位相変化を測定することによって、構造的歪曲を測定することができる。但し、位相のみを利用するときよりは、サイズと位相とを利用するとき、優れた性能を表わす。
【００２９】
図２は、Ｋ個のサイズレベルとＬ個の位相レベルとで量子化された複素平面量子化の概念図を示す。
【００３０】
図２の（ａ）は、Ｋ＝４、Ｌ＝８である場合に、サイズ、位相量子化を示し、図２の（ｂ）は、Ｋ＝１、Ｌ＝４である場合に、サイズ、位相量子化を示す。
【００３１】
図２の（ａ）を参照すると、サイズと位相との量子化コード（Ａｍｐｌｉｔｕｄｅ／Ｐｈａｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｄｅ、ＡＰＱＣ）を表現するために、サイズを４個に、位相を８個に量子化したものを示す。Ｋ＝４であれば、コード化するのに２ビットが必要であり、Ｌ＝８であれば、３ビットが必要であるので、量子コード化するのに総５ビットが必要である。
【００３２】
図２の（ｂ）を参照すると、サイズは量子化せず、位相のみ４個に量子化したものを示す。位相のみ４個に量子化した場合を、特に、位相量子化コード（Ｐｈａｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｄｅ、ＰＱＣ）であると称する。以下、グラジエントフィルターを例として説明するが、他のフィルターの場合にも、同様に適用可能である。
【００３３】
グラジエントフィルターで、ＩｘとＩｙは、それぞれ複素平面での実数部と虚数部とに対応する。図２の（ｂ）を参照すると、もし、グラジエントフィルターの出力値Ｉｘが正の値、Ｉｙが負の値を有すれば、位相量子化コードは、［１０］の２ビットコードになる。すなわち、フィルター部１２０の出力値が有する実数部と虚数部との符号のみを用いても、容易に位相量子化コードを計算することができる。また、もし、フィルター部１２０の出力値が有する実数部と虚数部が、２つとも正の値であれば、位相量子化コードは、［１１］であることを確認することができる。
【００３４】
このように、位相量子化コードは、イメージ内に存在するピクセル別に計算されうるので、何れか１つのイメージの位相量子化コードは、２×Ｎビットサイズの２ビットコードシーケンスと表現される。ここで、Ｎは、イメージピクセルの総個数を表わす。位相量子化コードを利用すれば、何れか１つのイメージを２ビットコードシーケンスと表現することができるので、イメージ間の二進算術演算を計算することが容易である。また、位相量子化コードに必要なメモリサイズがピクセル当たり２ビットである一方、浮動小数点数（ｆｌｏａｔｉｎｇ−ｐｏｉｎｔ ｎｕｍｂｅｒ）と表現される特徴値間の差を測定する従来の一般的な画質評価指数のメモリサイズがピクセル当たり１バイトであるので、位相量子化コードに必要なメモリサイズが、ピクセル当たりさらに少なく必要であるということが分かる。
【００３５】
図３は、ビルイメージの８×８ブロック位相量子化コードを生成させる過程の例を示す。
【００３６】
図３の（ａ）は、拡大された８×８ブロックの原映像と、これによる輝度値を示し、図３の（ｂ）は、拡大された８×８ブロックの白色ノイズで歪曲されたイメージと、これによる輝度値を示す。図３の（ｃ）と図３の（ｄ）は、図３の（ａ）と図３の（ｂ）とに拡大されたブロックに対するグラジエント値Ｉｘ（左側）とＩｙ（右側）とをそれぞれ示す。図３の（ｅ）と図３の（ｆ）は、図３の（ｃ）と図３の（ｄ）との位相量子化コード（ＰＱＣ）をそれぞれ示す。図３を参照すると、原映像と劣化映像のそれぞれの映像に対して位相量子化コードを生成させる過程が分かる。すなわち、フィルター出力の符号をコード化した結果である原映像と劣化映像との二進コードが、図３の（ｅ）と図３の（ｆ）とに示されており、生成された二進コードは、映像の画質の評価に使われる。
【００３７】
以下、量子化コード差算出部１４０についてより詳しく説明する。
【００３８】
一般的に、画質を評価するほとんどの評価指標は、原映像と劣化映像とを表わす特徴値間の差を測定する。しかし、実質的には、目に見える差が画質評価において、特徴値間の差程度ほどに重要である。このような点から見るとき、位相量子化コードは、２つの比較対象イメージが異なるとき、２つのイメージ特徴値の符号の差をよく分かることができる。したがって、原映像と劣化映像が、フィルターを通じて出力された値の位相量子化コード間の差を計算することは、２つの映像間の画質を評価することと類似した結果を有する。
【００３９】
原映像と劣化映像との位相量子化コードを画質を評価するために比較するに当たって、本発明の一実施形態では、ハミング距離を利用する。ハミング距離は、２つの量子化コード間にどれほど異なるビットがあるかを表わす尺度である。もし、画質が劣化されれば、映像の位相量子化コードは変化する。したがって、原映像と劣化映像とのフィルター出力の位相量子化コード間のハミング距離は、映像の劣化程度をよく反映することができる。原映像と劣化映像との位相量子化コードのｎ番目のビットでのハミング距離ＨＤ（ｎ）は、次の数式２のように定義されうる。
【００４０】
【数２】
【００４１】
ここで、ｃｒとｃｄは、それぞれ原映像と劣化映像との位相量子化コードを表わし、
【００４２】
は、排他的論理積（Ｅｘｃｌｕｓｉｖｅ−ＯＲ）を意味する。位相量子化コードの代わりに、サイズ及び位相量子化コードを利用する場合にも、同様にハミング距離を算出することができる。
【００４３】
以下、画質評価部１５０についてより詳しく説明する。
【００４４】
本発明の一実施形態による量子化コードを利用した画質評価装置が利用する位相量子化コード基盤の画質評価指数（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅｍｅｎｔ、ＩＱＭ）は、次のように計算されうる。
【００４５】
【数３】
【００４６】
ここで、２Ｎは、位相量子化コードの全体ビット数を意味する。数式３によって生成された画質評価指数は、ロジスティック回帰分析（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）を用いてＤＭＯＳと比較することができる画質評価指数に変換される。
【００４７】
図４は、原映像と劣化映像とのハミング距離マップと輝度値差の絶対値を示す。
【００４８】
図４の（ａ）は、原映像と劣化映像とに対するグラジエントフィルター出力の位相量子化コードを示す。図４の（ｂ）は、図４の（ａ）に示された２つの位相量子化コード間のハミング距離マップを示す。図４の（ｃ）は、図３の（ａ）と図３の（ｂ）とに示された拡大された８×８ブロック間の輝度値差の絶対値を示す。図４の（ｃ）で、より明るい陰影は、ハミング距離ＨＤが１であり、より暗い陰影は、ハミング距離ＨＤが２である画素に対応する。
【００４９】
もし、ある劣化映像のハミング距離マップが多い白い領域を含む場合には、原映像と劣化映像との差がないということを意味するので、その劣化映像は、優れた画質であると判断することができる。
【００５０】
図４の（ｂ）と図４の（ｃ）とに示したように、ハミング距離マップは、絶対差値映像と正確に同じではないが、類似している。したがって、映像の変化が位相量子化コードの変化を生成させるという点で、位相量子化コードは、画質をよく反映しているということが分かる。
【００５１】
図５は、本発明の一実施形態による量子化コードを利用した画質評価方法のフローチャートである。
【００５２】
図５を参照すると、本発明の一実施形態による量子化コードを利用した画質評価方法は、図１に示された量子化コードを利用した画質評価装置で時系列的に処理される段階で構成される。したがって、以下、省略された内容であるとしても、図１に示された量子化コードを利用した画質評価装置に関して、前述された内容は、本実施形態による画質評価方法にも適用される。
【００５３】
Ｓ５１０段階で、画質評価装置は、原映像と劣化映像とのＲＧＢ値を輝度値（Ｙ）に変換する。
【００５４】
Ｓ５２０段階で、画質評価装置は、Ｓ５１０段階で変換された各画素別輝度値を入力として、各画素に対応する２つの値を生成させるフィルタリングを行う。この際、フィルタリングは、グラジエントフィルター、特に、ソーベル演算子を利用し、ガボールフィルターまたは複素ウェーブレット変換フィルターを利用することも可能である。グラジエントフィルターである場合、フィルタリングを行って生成する２つの値は、ｘ方向グラジエントとｙ方向グラジエントとになり、ガボールフィルターである場合、コサイン関数によって特定される実数部とサイン関数によって特定される虚数部が、輝度値に対応する２つの値になりうる。したがって、本発明の一実施形態によるフィルタリングは、各画素別輝度値を変換して複素平面に表現させるフィルターをいずれも含むことが望ましい。
【００５５】
Ｓ５３０段階で、画質評価装置は、Ｓ５２０段階でフィルタリングされた２つの値を複素平面上にマッピングし、該マッピング結果から量子化コードを生成させる。この際、複素平面は、サイズと位相とに対して量子化されていることが望ましい。
【００５６】
Ｓ５４０段階で、画質評価装置は、原映像と劣化映像のそれぞれに対する量子化コードを比較して、差を算出する。
【００５７】
Ｓ５５０段階で、画質評価装置は、算出された差に基づいて画質評価指数を生成させ、画質を評価する。
【００５８】
図６は、原映像と劣化映像及び本発明の一実施形態による位相量子化コードによって得られたハミング距離マップを示す。
【００５９】
図６の（ａ）は、原映像を示し、図６の（ｂ）と図６の（ｃ）は、標準偏差がそれぞれ１．７０８と４．９１６とであるガウスブラーで劣化された映像を示す。図６の（ｄ）と図６の（ｅ）は、それぞれ本発明の一実施形態による位相量子化コードによって生成された図６の（ｂ）と図６の（ｃ）とのハミング距離マップを示す。図６の（ｄ）と図６の（ｅ）で、白い領域、灰色領域、及び黒い領域は、それぞれ０、１、２の値を有するハミング距離値を示す。
【００６０】
したがって、もし、劣化映像のハミング距離マップが、多い白い領域を有するならば、映像は優れた画質を有することを意味する。図６の（ｃ）に示された劣化映像は、図６の（ｂ）に示された劣化映像よりさらに劣化された映像である。図６の（ｄ）と図６の（ｅ）とを説明すると、図６の（ｅ）のハミング距離マップが、図６の（ｄ）のハミング距離マップよりさらに多い黒い領域があるということが分かるので、図６の（ｃ）が、図６の（ｂ）よりさらに劣化されたということが分かる。このような結果から本発明の一実施形態による量子化コードを利用した画質評価方法が、視覚的な劣化をよく反映しているということが分かる。
【００６１】
本発明の一実施形態による量子化コードを利用した画質評価方法の性能を評価するために、ＬＩＶＥ（Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｉｍａｇｅ＆Ｖｉｄｅｏ Ｅｎｇｉｎｅｅｒｉｎｇ）データセットを利用する。ＬＩＶＥデータセットは、２９個の原映像、９８２個の劣化映像、及びＤＭＯＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｍｅａｎ ＯｐｉｎｉｏｎＳｃｏｒｅ）値が含まれている。一般的に、７６８×５１２イメージサイズを有する劣化映像は、ＪＰＥＧ、ＪＰＥＧ２０００、白色ノイズ、ガウスブラー、及びＪＰＥＧ２０００ビットストリームでの伝送エラーなどによって劣化されている。
【００６２】
数式３によって算出された本発明の一実施形態による位相量子化コード基盤の画質評価指数（ＩＱＭ）は、画質の評価に直ちに使うことができない。すなわち、ほとんどの画質評価指数は、主観的な画質評価指数であるＤＭＯＳと関連されることが必要である。なぜならば、画質評価の目的は、映像の主観的な画質を量的に表現することであるためである。
【００６３】
このために、ロジスティック回帰分析を用いてＤＭＯＳと比較するＤＭＯＳ対比画質評価指数を生成しなければならず、次の数式４のように表現される。
【００６４】
【数４】
【００６５】
ここで、ａ１、ａ２、ａ３、ａ４、及びａ５は、ロジスティック回帰分析後に得られる定数を表わす。
【００６６】
ロジスティック回帰分析方法によって画質評価指数をフィッティング（ｆｉｔｔｉｎｇ）した後に得られたＤＭＯＳ対比画質評価指数の性能を評価するために、ロジスティック回帰分析方法によってフィッティングされた結果と主観的な画質評価指数であるＤＭＯＳとを比較する。このような性能比較は、ピアソン相関係数（Ｐｅａｒｓｏｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ ＳｑｕａｒｅｄＥｒｒｏｒ）、ＳＲＯＣＣ（Ｓｐｅａｒｍａｎ ｒａｎｋ ｏｒｄｅｒ ＣＣ）を利用できる。
【００６７】
図７は、ＤＭＯＳ値と５種の画質評価指数をフィッティングしたグラフを示す。もし、ある画質評価指数が対角線に近ければ、その画質評価指数は、ＤＭＯＳと類似していることを意味する。したがって、図７に示したように、グラジエントフィルターを利用した位相量子化コード（Ｇｒａｄｉｅｎｔ−ＰＱＣ）基盤画質評価指数が、他の画質評価指数よりさらにＤＭＯＳと類似していることが分かる。
【００６８】
表１は、ピアソン相関係数を用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表１を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、最も大きなピアスン係数を有することが分かり、ピアスン係数が大きいほど、ＤＭＯＳと類似しているということを意味する。
【００６９】
【表１】
【００７０】
表２は、ＲＭＳＥを用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表２を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、他の画質評価指数と比較するとき、小さなＲＭＳＥを有することが分かり、ＲＭＳＥが小さいほど、ＤＭＯＳと類似しているということを意味する。
【００７１】
【表２】
【００７２】
表３は、ＳＲＯＣＣを用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表３を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、他の画質評価指数と比較するとき、全体的には大きなＳＲＯＣＣを有する。特に、ガウスブーラとｆａｓｔ ｆａｄｉｎｇ ｄｉｓｔｏｒｔｉｏｎとに対しては、Ｇｒａｄｉｅｎｔ−ＰＱＣが最も優れた性能を表わしている。しかし、ＪＰＥＧ２０００と白色ノイズ劣化に対しては、ＭＳＶＤが最も優れた性能を表わし、ＪＰＥＧに対しては、ＳＳＩＭが最も優れる。
【００７３】
【表３】
【００７４】
表４は、グラジエントフィルターを利用する場合に、図２で説明したサイズと位相の量子化コード（ＡＰＱＣ）及び位相量子化コード（ＰＱＣ）との性能比較を表わす。ＧＰＱＣは、グラジエントフィルターを利用したＰＱＣを意味し、ＧＡＰＱＣは、グラジエントフィルターを利用したＡＰＱＣを意味する。また、Ｋは、サイズを量子化した個数を表わし、Ｔｈは、臨界サイズを表わす。グラジエントフィルターでサイズは、ｘ軸とｙ軸とによるグラジエント値であるＩｘとＩｙとをそれぞれ二乗して加算した値から二乗根を求めた値に定める。
【００７５】
表４を参照すると、位相のみを量子化して使うＰＱＣよりも、サイズと位相いずれもを量子化して使ったＡＰＱＣの性能がさらに優れることが分かり、また、サイズ量子化レベルを多く区分するほど、性能がさらに優れることが分かる。
【００７６】
ＰＱＣは、位相を４個に量子化して一画素を二進コードで表現する場合、図２の（ｂ）で説明したように、２ビットが必要となる。また、ＡＰＱＣの場合には、サイズを２個に量子化し、位相を４個に量子化する場合、３ビットが必要となり、サイズを４個に量子化し、位相を４個に量子化すると、４ビットが必要となる。
【００７７】
【表４】
【００７８】
本発明の実施形態は、多様なコンピュータ手段を通じて行われうるプログラム命令形態で具現されてコンピュータ判読可能な媒体に記録されうる。前記コンピュータ判読可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含みうる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものなどであるか、コンピュータソフトウェア当業者に公知されて使用可能なものでもあり得る。コンピュータ判読可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して行うように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを使って、コンピュータによって実行可能な高級言語コードを含む。前記したハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。
【００７９】
以上、本発明では、具体的な構成要素のような特定事項と限定された実施形態及び図面とによって説明されたが、これは、本発明のより全般的な理解を助けるために提供されたものあり、本発明は、前記の実施形態に限定されるものではなく、当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、説明された実施形態に限って定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等であるか、等価的変形があるあらゆるものは、本発明の思想の範疇に属する。
【産業上の利用可能性】
【００８０】
本発明は、量子化コードを利用した画質評価方法及び装置に関連する技術分野に適用可能である。
【技術分野】
【０００１】
本発明は、量子化コードを利用した画質評価方法に係り、より詳細には、原映像と劣化映像との画素値を量子化された複素平面にマッピングした後、二進コード演算を行って、画質評価ハードウェア具現を容易にし、画質評価性能に優れる量子化コードを利用した画質評価方法及び装置に関する。
【背景技術】
【０００２】
画質の評価に、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）やＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が、客観的な画質評価指数として多く使われた。しかし、このような画質評価指数は、人間が感じる主観的な画質をよく反映することができなかったために、多様な画質評価指数が開発されている。ＵＱＩ（Ｕｎｉｖｅｒｓａｌ Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）、ＭＳＳＳＩＭ（Ｍｕｌｔｉ−Ｓｃａｌｅ ＳＳＩＭ）、及びＭＳＶＤのような画質評価指数が開発されたが、このような画質評価指数は、画質評価時に浮動小数点を使っているために、ハードウェアの具現が難しいだけではなく、大きなメモリサイズが必要である。したがって、効率的にハードウェアを具現することができる画質評価技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする第１の課題は、画質評価ハードウェア具現を容易にしながら、画質評価性能に優れる量子化コードを利用した画質評価方法を提供するところにある。
【０００４】
本発明が解決しようとする第２の課題は、画質評価ハードウェア具現を容易にしながら、画質評価性能に優れる量子化コードを利用した画質評価装置を提供するところにある。
【課題を解決するための手段】
【０００５】
本発明は、前記第１の課題を果たすために、原映像と劣化映像とをフィルタリングする段階と、前記フィルタリング結果から位相量子化コードを生成させる段階と、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する段階と、前記算出された差を用いて、前記劣化映像の画質を評価する段階と、を含むことを特徴とする量子化コードを利用した画質評価方法を提供する。
【０００６】
本発明の一実施形態によれば、前記差を算出する段階は、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出する段階であり、前記劣化映像の画質を評価する段階は、前記算出されたハミング距離を用いて、前記劣化映像の画質を評価する段階であり得る。
【０００７】
また、前記フィルタリング段階は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換する段階であり得る。
【０００８】
また、前記位相量子化コードを生成させる段階は、前記フィルタリング結果からサイズ量子化コードを生成させる段階をさらに含み、前記ハミング距離を算出する段階は、前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出する段階であり得る。
【０００９】
また、前記画素値は、輝度値であることが望ましい。
【００１０】
本発明の他の実施形態によれば、前記フィルタリング段階は、前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出する段階であり得る。
【００１１】
また、前記フィルタリング段階で使われるフィルターは、ガボール（Ｇａｂｏｒ）フィルターまたは複素ウェーブレット変換フィルターであることが望ましい。
【００１２】
本発明のさらに他の実施形態によれば、前記劣化映像の画質を評価する段階は、前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することができる。
【００１３】
本発明は、前記第２の課題を果たすために、原映像と劣化映像とをフィルタリングするフィルター部と、前記フィルター部の出力から位相量子化コードを生成させる量子化コード部と、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する量子化コード差算出部と、前記算出された差を用いて、前記劣化映像の画質を評価する画質評価部と、を含むことを特徴とする量子化コードを利用した画質評価装置を提供する。
【発明の効果】
【００１４】
本発明によれば、原映像と劣化映像との画素値を量子化された複素平面にマッピングした後、二進コード演算を行うので、画質評価ハードウェア具現を容易にし、画質評価性能に優れる。また、本発明によれば、フィルター出力が、１つの画素値に対応する複素値または一対の値を出力する場合に、フィルター特性によって新たな画質評価指数を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による量子化コードを利用した画質評価装置のブロック図である。
【図２】Ｋ個のサイズレベルとＬ個の位相レベルとで量子化された複素平面量子化の概念図を示す。
【図３】ビルイメージの８×８ブロック位相量子化コードを生成させる過程の例を示す。
【図４】原映像と劣化映像とのハミング距離マップと輝度値差の絶対値を示す。
【図５】本発明の一実施形態による量子化コードを利用した画質評価方法のフローチャートである。
【図６】原映像と劣化映像及び本発明の一実施形態による位相量子化コードによって得られたハミング距離マップを示す。
【図７】ＤＭＯＳ値と５種の画質評価指数をフィッティングしたグラフを示す。
【発明を実施するための形態】
【００１６】
本発明に関する具体的な内容の説明に先立って、理解の便宜上、本発明が解決しようとする課題の解決方案の概要あるいは技術的思想の核心を先に提示する。
【００１７】
本発明の一実施形態による量子化コードを利用した画質評価方法は、原映像と劣化映像とをフィルタリングした後、該フィルタリング結果から位相量子化コードを生成させ、原映像の位相量子化コードと劣化映像の位相量子化コードとの差を算出する。以後、算出された差を用いて劣化映像の画質を評価することを特徴とする。
【００１８】
以下、望ましい実施形態を挙げて本発明をさらに詳細に説明する。しかし、これら実施形態は、本発明をより具体的に説明するためのものであって、本発明の範囲が、これに制限されるものではないということは当業者に自明である。同時に、本発明と関連した公知機能あるいは構成についての具体的な説明、そして、それ以外の諸般の事項が、本発明の要旨を不明にする恐れがあると判断される場合、その詳細な説明を省略する。
【００１９】
図１は、本発明の一実施形態による量子化コードを利用した画質評価装置のブロック図である。
【００２０】
図１を参照すると、本発明の一実施形態による量子化コードを利用した画質評価装置は、輝度値変換部１１０、フィルター部１２０、量子化コード部１３０、量子化コード差算出部１４０、及び画質評価部１５０で構成される。
【００２１】
輝度値変換部１１０は、映像のＲＧＢ値を輝度値（ｌｕｍｉｎａｎｃｅ、Ｙ）に変換する。輝度値への変換は、ＲＧＢ−ＹＣｂＣｒ変換を利用できる。輝度値変換部１１０は、原映像と劣化映像とを受信し、原映像と劣化映像画素のＲＧＢ値から輝度値を生成させることが望ましい。
【００２２】
フィルター部１２０は、輝度値変換部１１０が出力した各画素別輝度値を入力として、各画素に対応する２つの値を生成させる。フィルター部１２０は、グラジエントフィルター、特に、ソーベル演算子を利用し、ガボールフィルターまたは複素ウェーブレット変換フィルターを利用することも可能である。フィルター部１２０がグラジエントフィルターである場合、フィルター部１２０が生成する２つの値は、ｘ方向グラジエントとｙ方向グラジエントとになり、フィルター部１２０がガボールフィルターである場合、コサイン（ｃｏｓｉｎｅ）関数によって特定される実数部とサイン（ｓｉｎｅ）関数によって特定される虚数部が、輝度値に対応する２つの値になりうるが、これに限定されるものではない。したがって、本発明の一実施形態によるフィルター部１２０は、各画素別輝度値を変換して複素平面に表現できるように、２つの値を生成させるフィルターをいずれも含むことが望ましい。以下、特に、フィルター部１２０が、グラジエントフィルターのうち、ソーベル演算子である場合を詳しく説明する。
【００２３】
Ｉが、イメージを表わすとするとき、イメージのｘ軸とｙ軸とによるグラジエント値であるＩｘとＩｙとが、次の数式１のように定義される。
【００２４】
【数１】
【００２５】
量子化コード部１３０は、フィルター部１２０が出力した２つの値を複素平面上にマッピングし、該マッピング結果から量子化コードを生成させる。この際、複素平面は、サイズと位相とに対して量子化されていることが望ましい。量子化コード部１３０は、量子化されている複素平面にフィルター部１２０が出力した値をマッピングし、サイズと位相とに対してコード化する。量子化コード部１３０については、図２と図３とを参照してより詳細に説明する。
【００２６】
量子化コード差算出部１４０は、原映像と劣化映像のそれぞれに対する量子化コードを比較して、コード間の差を算出する。コード間の差は、ハミング距離を算出することによって、計算することができるが、これに限定されるものではない。
【００２７】
画質評価部１５０は、算出された差に基づいて画質評価指数を生成させる。
【００２８】
本発明は、映像の構造的歪曲が映像の位相変化を発生させるという事実に基づく。したがって、映像の位相変化を測定することによって、構造的歪曲を測定することができる。但し、位相のみを利用するときよりは、サイズと位相とを利用するとき、優れた性能を表わす。
【００２９】
図２は、Ｋ個のサイズレベルとＬ個の位相レベルとで量子化された複素平面量子化の概念図を示す。
【００３０】
図２の（ａ）は、Ｋ＝４、Ｌ＝８である場合に、サイズ、位相量子化を示し、図２の（ｂ）は、Ｋ＝１、Ｌ＝４である場合に、サイズ、位相量子化を示す。
【００３１】
図２の（ａ）を参照すると、サイズと位相との量子化コード（Ａｍｐｌｉｔｕｄｅ／Ｐｈａｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｄｅ、ＡＰＱＣ）を表現するために、サイズを４個に、位相を８個に量子化したものを示す。Ｋ＝４であれば、コード化するのに２ビットが必要であり、Ｌ＝８であれば、３ビットが必要であるので、量子コード化するのに総５ビットが必要である。
【００３２】
図２の（ｂ）を参照すると、サイズは量子化せず、位相のみ４個に量子化したものを示す。位相のみ４個に量子化した場合を、特に、位相量子化コード（Ｐｈａｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｃｏｄｅ、ＰＱＣ）であると称する。以下、グラジエントフィルターを例として説明するが、他のフィルターの場合にも、同様に適用可能である。
【００３３】
グラジエントフィルターで、ＩｘとＩｙは、それぞれ複素平面での実数部と虚数部とに対応する。図２の（ｂ）を参照すると、もし、グラジエントフィルターの出力値Ｉｘが正の値、Ｉｙが負の値を有すれば、位相量子化コードは、［１０］の２ビットコードになる。すなわち、フィルター部１２０の出力値が有する実数部と虚数部との符号のみを用いても、容易に位相量子化コードを計算することができる。また、もし、フィルター部１２０の出力値が有する実数部と虚数部が、２つとも正の値であれば、位相量子化コードは、［１１］であることを確認することができる。
【００３４】
このように、位相量子化コードは、イメージ内に存在するピクセル別に計算されうるので、何れか１つのイメージの位相量子化コードは、２×Ｎビットサイズの２ビットコードシーケンスと表現される。ここで、Ｎは、イメージピクセルの総個数を表わす。位相量子化コードを利用すれば、何れか１つのイメージを２ビットコードシーケンスと表現することができるので、イメージ間の二進算術演算を計算することが容易である。また、位相量子化コードに必要なメモリサイズがピクセル当たり２ビットである一方、浮動小数点数（ｆｌｏａｔｉｎｇ−ｐｏｉｎｔ ｎｕｍｂｅｒ）と表現される特徴値間の差を測定する従来の一般的な画質評価指数のメモリサイズがピクセル当たり１バイトであるので、位相量子化コードに必要なメモリサイズが、ピクセル当たりさらに少なく必要であるということが分かる。
【００３５】
図３は、ビルイメージの８×８ブロック位相量子化コードを生成させる過程の例を示す。
【００３６】
図３の（ａ）は、拡大された８×８ブロックの原映像と、これによる輝度値を示し、図３の（ｂ）は、拡大された８×８ブロックの白色ノイズで歪曲されたイメージと、これによる輝度値を示す。図３の（ｃ）と図３の（ｄ）は、図３の（ａ）と図３の（ｂ）とに拡大されたブロックに対するグラジエント値Ｉｘ（左側）とＩｙ（右側）とをそれぞれ示す。図３の（ｅ）と図３の（ｆ）は、図３の（ｃ）と図３の（ｄ）との位相量子化コード（ＰＱＣ）をそれぞれ示す。図３を参照すると、原映像と劣化映像のそれぞれの映像に対して位相量子化コードを生成させる過程が分かる。すなわち、フィルター出力の符号をコード化した結果である原映像と劣化映像との二進コードが、図３の（ｅ）と図３の（ｆ）とに示されており、生成された二進コードは、映像の画質の評価に使われる。
【００３７】
以下、量子化コード差算出部１４０についてより詳しく説明する。
【００３８】
一般的に、画質を評価するほとんどの評価指標は、原映像と劣化映像とを表わす特徴値間の差を測定する。しかし、実質的には、目に見える差が画質評価において、特徴値間の差程度ほどに重要である。このような点から見るとき、位相量子化コードは、２つの比較対象イメージが異なるとき、２つのイメージ特徴値の符号の差をよく分かることができる。したがって、原映像と劣化映像が、フィルターを通じて出力された値の位相量子化コード間の差を計算することは、２つの映像間の画質を評価することと類似した結果を有する。
【００３９】
原映像と劣化映像との位相量子化コードを画質を評価するために比較するに当たって、本発明の一実施形態では、ハミング距離を利用する。ハミング距離は、２つの量子化コード間にどれほど異なるビットがあるかを表わす尺度である。もし、画質が劣化されれば、映像の位相量子化コードは変化する。したがって、原映像と劣化映像とのフィルター出力の位相量子化コード間のハミング距離は、映像の劣化程度をよく反映することができる。原映像と劣化映像との位相量子化コードのｎ番目のビットでのハミング距離ＨＤ（ｎ）は、次の数式２のように定義されうる。
【００４０】
【数２】
【００４１】
ここで、ｃｒとｃｄは、それぞれ原映像と劣化映像との位相量子化コードを表わし、
【００４２】
は、排他的論理積（Ｅｘｃｌｕｓｉｖｅ−ＯＲ）を意味する。位相量子化コードの代わりに、サイズ及び位相量子化コードを利用する場合にも、同様にハミング距離を算出することができる。
【００４３】
以下、画質評価部１５０についてより詳しく説明する。
【００４４】
本発明の一実施形態による量子化コードを利用した画質評価装置が利用する位相量子化コード基盤の画質評価指数（Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ｍｅａｓｕｒｅｍｅｎｔ、ＩＱＭ）は、次のように計算されうる。
【００４５】
【数３】
【００４６】
ここで、２Ｎは、位相量子化コードの全体ビット数を意味する。数式３によって生成された画質評価指数は、ロジスティック回帰分析（ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）を用いてＤＭＯＳと比較することができる画質評価指数に変換される。
【００４７】
図４は、原映像と劣化映像とのハミング距離マップと輝度値差の絶対値を示す。
【００４８】
図４の（ａ）は、原映像と劣化映像とに対するグラジエントフィルター出力の位相量子化コードを示す。図４の（ｂ）は、図４の（ａ）に示された２つの位相量子化コード間のハミング距離マップを示す。図４の（ｃ）は、図３の（ａ）と図３の（ｂ）とに示された拡大された８×８ブロック間の輝度値差の絶対値を示す。図４の（ｃ）で、より明るい陰影は、ハミング距離ＨＤが１であり、より暗い陰影は、ハミング距離ＨＤが２である画素に対応する。
【００４９】
もし、ある劣化映像のハミング距離マップが多い白い領域を含む場合には、原映像と劣化映像との差がないということを意味するので、その劣化映像は、優れた画質であると判断することができる。
【００５０】
図４の（ｂ）と図４の（ｃ）とに示したように、ハミング距離マップは、絶対差値映像と正確に同じではないが、類似している。したがって、映像の変化が位相量子化コードの変化を生成させるという点で、位相量子化コードは、画質をよく反映しているということが分かる。
【００５１】
図５は、本発明の一実施形態による量子化コードを利用した画質評価方法のフローチャートである。
【００５２】
図５を参照すると、本発明の一実施形態による量子化コードを利用した画質評価方法は、図１に示された量子化コードを利用した画質評価装置で時系列的に処理される段階で構成される。したがって、以下、省略された内容であるとしても、図１に示された量子化コードを利用した画質評価装置に関して、前述された内容は、本実施形態による画質評価方法にも適用される。
【００５３】
Ｓ５１０段階で、画質評価装置は、原映像と劣化映像とのＲＧＢ値を輝度値（Ｙ）に変換する。
【００５４】
Ｓ５２０段階で、画質評価装置は、Ｓ５１０段階で変換された各画素別輝度値を入力として、各画素に対応する２つの値を生成させるフィルタリングを行う。この際、フィルタリングは、グラジエントフィルター、特に、ソーベル演算子を利用し、ガボールフィルターまたは複素ウェーブレット変換フィルターを利用することも可能である。グラジエントフィルターである場合、フィルタリングを行って生成する２つの値は、ｘ方向グラジエントとｙ方向グラジエントとになり、ガボールフィルターである場合、コサイン関数によって特定される実数部とサイン関数によって特定される虚数部が、輝度値に対応する２つの値になりうる。したがって、本発明の一実施形態によるフィルタリングは、各画素別輝度値を変換して複素平面に表現させるフィルターをいずれも含むことが望ましい。
【００５５】
Ｓ５３０段階で、画質評価装置は、Ｓ５２０段階でフィルタリングされた２つの値を複素平面上にマッピングし、該マッピング結果から量子化コードを生成させる。この際、複素平面は、サイズと位相とに対して量子化されていることが望ましい。
【００５６】
Ｓ５４０段階で、画質評価装置は、原映像と劣化映像のそれぞれに対する量子化コードを比較して、差を算出する。
【００５７】
Ｓ５５０段階で、画質評価装置は、算出された差に基づいて画質評価指数を生成させ、画質を評価する。
【００５８】
図６は、原映像と劣化映像及び本発明の一実施形態による位相量子化コードによって得られたハミング距離マップを示す。
【００５９】
図６の（ａ）は、原映像を示し、図６の（ｂ）と図６の（ｃ）は、標準偏差がそれぞれ１．７０８と４．９１６とであるガウスブラーで劣化された映像を示す。図６の（ｄ）と図６の（ｅ）は、それぞれ本発明の一実施形態による位相量子化コードによって生成された図６の（ｂ）と図６の（ｃ）とのハミング距離マップを示す。図６の（ｄ）と図６の（ｅ）で、白い領域、灰色領域、及び黒い領域は、それぞれ０、１、２の値を有するハミング距離値を示す。
【００６０】
したがって、もし、劣化映像のハミング距離マップが、多い白い領域を有するならば、映像は優れた画質を有することを意味する。図６の（ｃ）に示された劣化映像は、図６の（ｂ）に示された劣化映像よりさらに劣化された映像である。図６の（ｄ）と図６の（ｅ）とを説明すると、図６の（ｅ）のハミング距離マップが、図６の（ｄ）のハミング距離マップよりさらに多い黒い領域があるということが分かるので、図６の（ｃ）が、図６の（ｂ）よりさらに劣化されたということが分かる。このような結果から本発明の一実施形態による量子化コードを利用した画質評価方法が、視覚的な劣化をよく反映しているということが分かる。
【００６１】
本発明の一実施形態による量子化コードを利用した画質評価方法の性能を評価するために、ＬＩＶＥ（Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｉｍａｇｅ＆Ｖｉｄｅｏ Ｅｎｇｉｎｅｅｒｉｎｇ）データセットを利用する。ＬＩＶＥデータセットは、２９個の原映像、９８２個の劣化映像、及びＤＭＯＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｍｅａｎ ＯｐｉｎｉｏｎＳｃｏｒｅ）値が含まれている。一般的に、７６８×５１２イメージサイズを有する劣化映像は、ＪＰＥＧ、ＪＰＥＧ２０００、白色ノイズ、ガウスブラー、及びＪＰＥＧ２０００ビットストリームでの伝送エラーなどによって劣化されている。
【００６２】
数式３によって算出された本発明の一実施形態による位相量子化コード基盤の画質評価指数（ＩＱＭ）は、画質の評価に直ちに使うことができない。すなわち、ほとんどの画質評価指数は、主観的な画質評価指数であるＤＭＯＳと関連されることが必要である。なぜならば、画質評価の目的は、映像の主観的な画質を量的に表現することであるためである。
【００６３】
このために、ロジスティック回帰分析を用いてＤＭＯＳと比較するＤＭＯＳ対比画質評価指数を生成しなければならず、次の数式４のように表現される。
【００６４】
【数４】
【００６５】
ここで、ａ１、ａ２、ａ３、ａ４、及びａ５は、ロジスティック回帰分析後に得られる定数を表わす。
【００６６】
ロジスティック回帰分析方法によって画質評価指数をフィッティング（ｆｉｔｔｉｎｇ）した後に得られたＤＭＯＳ対比画質評価指数の性能を評価するために、ロジスティック回帰分析方法によってフィッティングされた結果と主観的な画質評価指数であるＤＭＯＳとを比較する。このような性能比較は、ピアソン相関係数（Ｐｅａｒｓｏｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）、ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ ＳｑｕａｒｅｄＥｒｒｏｒ）、ＳＲＯＣＣ（Ｓｐｅａｒｍａｎ ｒａｎｋ ｏｒｄｅｒ ＣＣ）を利用できる。
【００６７】
図７は、ＤＭＯＳ値と５種の画質評価指数をフィッティングしたグラフを示す。もし、ある画質評価指数が対角線に近ければ、その画質評価指数は、ＤＭＯＳと類似していることを意味する。したがって、図７に示したように、グラジエントフィルターを利用した位相量子化コード（Ｇｒａｄｉｅｎｔ−ＰＱＣ）基盤画質評価指数が、他の画質評価指数よりさらにＤＭＯＳと類似していることが分かる。
【００６８】
表１は、ピアソン相関係数を用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表１を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、最も大きなピアスン係数を有することが分かり、ピアスン係数が大きいほど、ＤＭＯＳと類似しているということを意味する。
【００６９】
【表１】
【００７０】
表２は、ＲＭＳＥを用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表２を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、他の画質評価指数と比較するとき、小さなＲＭＳＥを有することが分かり、ＲＭＳＥが小さいほど、ＤＭＯＳと類似しているということを意味する。
【００７１】
【表２】
【００７２】
表３は、ＳＲＯＣＣを用いてＬＩＶＥデータセットに対する画質評価指数の性能評価を表わす。表３を参照すると、Ｇｒａｄｉｅｎｔ−ＰＱＣが、他の画質評価指数と比較するとき、全体的には大きなＳＲＯＣＣを有する。特に、ガウスブーラとｆａｓｔ ｆａｄｉｎｇ ｄｉｓｔｏｒｔｉｏｎとに対しては、Ｇｒａｄｉｅｎｔ−ＰＱＣが最も優れた性能を表わしている。しかし、ＪＰＥＧ２０００と白色ノイズ劣化に対しては、ＭＳＶＤが最も優れた性能を表わし、ＪＰＥＧに対しては、ＳＳＩＭが最も優れる。
【００７３】
【表３】
【００７４】
表４は、グラジエントフィルターを利用する場合に、図２で説明したサイズと位相の量子化コード（ＡＰＱＣ）及び位相量子化コード（ＰＱＣ）との性能比較を表わす。ＧＰＱＣは、グラジエントフィルターを利用したＰＱＣを意味し、ＧＡＰＱＣは、グラジエントフィルターを利用したＡＰＱＣを意味する。また、Ｋは、サイズを量子化した個数を表わし、Ｔｈは、臨界サイズを表わす。グラジエントフィルターでサイズは、ｘ軸とｙ軸とによるグラジエント値であるＩｘとＩｙとをそれぞれ二乗して加算した値から二乗根を求めた値に定める。
【００７５】
表４を参照すると、位相のみを量子化して使うＰＱＣよりも、サイズと位相いずれもを量子化して使ったＡＰＱＣの性能がさらに優れることが分かり、また、サイズ量子化レベルを多く区分するほど、性能がさらに優れることが分かる。
【００７６】
ＰＱＣは、位相を４個に量子化して一画素を二進コードで表現する場合、図２の（ｂ）で説明したように、２ビットが必要となる。また、ＡＰＱＣの場合には、サイズを２個に量子化し、位相を４個に量子化する場合、３ビットが必要となり、サイズを４個に量子化し、位相を４個に量子化すると、４ビットが必要となる。
【００７７】
【表４】
【００７８】
本発明の実施形態は、多様なコンピュータ手段を通じて行われうるプログラム命令形態で具現されてコンピュータ判読可能な媒体に記録されうる。前記コンピュータ判読可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含みうる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものなどであるか、コンピュータソフトウェア当業者に公知されて使用可能なものでもあり得る。コンピュータ判読可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して行うように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを使って、コンピュータによって実行可能な高級言語コードを含む。前記したハードウェア装置は、本発明の動作を行うために、１つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。
【００７９】
以上、本発明では、具体的な構成要素のような特定事項と限定された実施形態及び図面とによって説明されたが、これは、本発明のより全般的な理解を助けるために提供されたものあり、本発明は、前記の実施形態に限定されるものではなく、当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、説明された実施形態に限って定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等であるか、等価的変形があるあらゆるものは、本発明の思想の範疇に属する。
【産業上の利用可能性】
【００８０】
本発明は、量子化コードを利用した画質評価方法及び装置に関連する技術分野に適用可能である。
【特許請求の範囲】
【請求項１】
原映像と劣化映像とをフィルタリングする段階と、
前記フィルタリング結果から位相量子化コードを生成させる段階と、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する段階と、
前記算出された差を用いて、前記劣化映像の画質を評価する段階と、
を含むことを特徴とする量子化コードを利用した画質評価方法。
【請求項２】
前記差を算出する段階は、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出する段階であり、
前記劣化映像の画質を評価する段階は、
前記算出されたハミング距離を用いて、前記劣化映像の画質を評価する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項３】
前記フィルタリング段階は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項４】
前記位相量子化コードを生成させる段階は、
前記フィルタリング結果からサイズ量子化コードを生成させる段階をさらに含み、
前記ハミング距離を算出する段階は、
前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出する段階であることを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項５】
前記画素値は、輝度値であることを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項６】
前記フィルタリング段階は、
前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項７】
前記フィルタリング段階で使われるフィルターは、ガボール（Ｇａｂｏｒ）フィルターまたは複素ウェーブレット変換フィルターであることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項８】
前記劣化映像の画質を評価する段階は、
前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項９】
原映像と劣化映像とをフィルタリングするフィルター部と、
前記フィルター部の出力から位相量子化コードを生成させる量子化コード部と、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する量子化コード差算出部と、
前記算出された差を用いて、前記劣化映像の画質を評価する画質評価部と、
を含むことを特徴とする量子化コードを利用した画質評価装置。
【請求項１０】
前記量子化コード差算出部は、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出し、
前記画質評価部は、前記算出されたハミング距離を用いて、前記劣化映像の画質を評価することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１１】
前記フィルター部は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１２】
前記量子化コード部は、
前記フィルター部の出力からサイズ量子化コードをさらに生成させ、
前記量子化コード差算出部は、
前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出することを特徴とする請求項１０に記載の量子化コードを利用した画質評価装置。
【請求項１３】
前記画素値は、輝度値であることを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１４】
前記フィルター部は、
前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１５】
前記フィルター部は、ガボールフィルターまたは複素ウェーブレット変換フィルターであることを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１６】
前記画質評価部は、
前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することを特徴とする請求項１０に記載の量子化コードを利用した画質評価装置。
【請求項１７】
請求項１ないし請求項８のうち何れか一項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
原映像と劣化映像とをフィルタリングする段階と、
前記フィルタリング結果から位相量子化コードを生成させる段階と、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する段階と、
前記算出された差を用いて、前記劣化映像の画質を評価する段階と、
を含むことを特徴とする量子化コードを利用した画質評価方法。
【請求項２】
前記差を算出する段階は、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出する段階であり、
前記劣化映像の画質を評価する段階は、
前記算出されたハミング距離を用いて、前記劣化映像の画質を評価する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項３】
前記フィルタリング段階は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項４】
前記位相量子化コードを生成させる段階は、
前記フィルタリング結果からサイズ量子化コードを生成させる段階をさらに含み、
前記ハミング距離を算出する段階は、
前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出する段階であることを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項５】
前記画素値は、輝度値であることを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項６】
前記フィルタリング段階は、
前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出する段階であることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項７】
前記フィルタリング段階で使われるフィルターは、ガボール（Ｇａｂｏｒ）フィルターまたは複素ウェーブレット変換フィルターであることを特徴とする請求項１に記載の量子化コードを利用した画質評価方法。
【請求項８】
前記劣化映像の画質を評価する段階は、
前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することを特徴とする請求項２に記載の量子化コードを利用した画質評価方法。
【請求項９】
原映像と劣化映像とをフィルタリングするフィルター部と、
前記フィルター部の出力から位相量子化コードを生成させる量子化コード部と、
前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとの差を算出する量子化コード差算出部と、
前記算出された差を用いて、前記劣化映像の画質を評価する画質評価部と、
を含むことを特徴とする量子化コードを利用した画質評価装置。
【請求項１０】
前記量子化コード差算出部は、前記原映像の位相量子化コードと前記劣化映像の位相量子化コードとのハミング距離を算出し、
前記画質評価部は、前記算出されたハミング距離を用いて、前記劣化映像の画質を評価することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１１】
前記フィルター部は、前記原映像と前記劣化映像との画素値を複素平面の実数部と虚数部とにマッピング可能に変換することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１２】
前記量子化コード部は、
前記フィルター部の出力からサイズ量子化コードをさらに生成させ、
前記量子化コード差算出部は、
前記原映像と前記劣化映像のそれぞれに対応するサイズ量子化コードと位相量子化コードで構成された二進コードとのハミング距離を算出することを特徴とする請求項１０に記載の量子化コードを利用した画質評価装置。
【請求項１３】
前記画素値は、輝度値であることを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１４】
前記フィルター部は、
前記原映像と前記劣化映像との各画素別ｘ方向グラジエントとｙ方向グラジエントとを算出することを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１５】
前記フィルター部は、ガボールフィルターまたは複素ウェーブレット変換フィルターであることを特徴とする請求項９に記載の量子化コードを利用した画質評価装置。
【請求項１６】
前記画質評価部は、
前記算出されたハミング距離を用いて画質評価指数を算出し、前記画質評価指数をＤＭＯＳと比較できるように変換した後、前記変換された画質評価指数とＤＭＯＳとの類似程度によって、前記劣化映像の画質を評価することを特徴とする請求項１０に記載の量子化コードを利用した画質評価装置。
【請求項１７】
請求項１ないし請求項８のうち何れか一項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【図１】
【図２（ａ）】
【図２（ｂ）】
【図３】
【図４】
【図５】
【図６（ａ）】
【図６（ｂ）】
【図６（ｃ）】
【図６（ｄ）】
【図６（ｅ）】
【図７（ａ）】
【図７（ｂ）】
【図７（ｃ）】
【図７（ｄ）】
【図７（ｅ）】
【図２（ａ）】
【図２（ｂ）】
【図３】
【図４】
【図５】
【図６（ａ）】
【図６（ｂ）】
【図６（ｃ）】
【図６（ｄ）】
【図６（ｅ）】
【図７（ａ）】
【図７（ｂ）】
【図７（ｃ）】
【図７（ｄ）】
【図７（ｅ）】
【公表番号】特表２０１３−５１６８９０（Ｐ２０１３−５１６８９０Ａ）
【公表日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１２−５４７９７２（Ｐ２０１２−５４７９７２）
【出願日】平成２３年１月１１日（２０１１．１．１１）
【国際出願番号】ＰＣＴ／ＫＲ２０１１／０００１７７
【国際公開番号】ＷＯ２０１１／０８７２５１
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０５１６２２２７）西江大学校 産学協力団 (11)
【氏名又は名称原語表記】Ｉｎｄｕｓｔｒｙ−Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ Ｓｏｇａｎｇ Ｕｎｉｖｅｒｓｉｔｙ
【Ｆターム（参考）】
【公表日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１月１１日（２０１１．１．１１）
【国際出願番号】ＰＣＴ／ＫＲ２０１１／０００１７７
【国際公開番号】ＷＯ２０１１／０８７２５１
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０５１６２２２７）西江大学校 産学協力団 (11)
【氏名又は名称原語表記】Ｉｎｄｕｓｔｒｙ−Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ Ｓｏｇａｎｇ Ｕｎｉｖｅｒｓｉｔｙ
【Ｆターム（参考）】
[ Back to top ]