画質評価装置、符号化装置及び画質評価方法
【課題】より評価精度を向上させた画質評価装置、符号化装置及び画質評価方法を提供する。
【解決手段】本実施形態の画質評価装置１００によれば、元画像とＭＰＥＧ等のハイブリッド符号化で符合化された画像をデコードしてデコード画像との動画像データを入力し、元画像から時空間領域を抽出して、入力画像を各時空間領域に分割して、分割された時空間領域毎に画質劣化判定を行うので、時空間周波数特性を考慮に入れた画質劣化判定を行うことができ、精度の高い画質劣化判定を行うことができる。
【解決手段】本実施形態の画質評価装置１００によれば、元画像とＭＰＥＧ等のハイブリッド符号化で符合化された画像をデコードしてデコード画像との動画像データを入力し、元画像から時空間領域を抽出して、入力画像を各時空間領域に分割して、分割された時空間領域毎に画質劣化判定を行うので、時空間周波数特性を考慮に入れた画質劣化判定を行うことができ、精度の高い画質劣化判定を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ等ハイブリッド符号化特有の画質劣化を検出する画質評価装置、符号化装置及び画質評価方法に関する。
【背景技術】
【０００２】
動画像の画質を客観的に評価する手法は、従来よりあったが、評価に膨大な時間を要し、また、特定の場面にしか適用できない技術が多かった。その中でＰＳＮＲ（Peak Signal Noise Ratio）等、平均二乗誤差を用いた画質評価尺度では、少ない計算量で比較的信頼性の高い評価値を算出することができる。ＰＳＮＲについては後述する。
【０００３】
しかし、平均二乗誤差をベースとする画質の基準評価尺度は、人間の視覚特性（明るさの変化に対し色彩の変化のほうが感知しにくい、ゆるやかな明るさや色の変化の途中に不連続的な変化があると知覚しやすい反面、複雑な変化をする部分は細かく見分けにくく、多少の違いを感知することは難しい、等）を考慮していないために、映像によっては主観評価から大きく外れることがある。
【０００４】
こうした不利益を解消するための技術として、例えば特許文献１がある。
【特許文献１】特許第３４５８６００号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されているデジタル画像品質評価装置は、画質の客観評価手法の基本となる技術であるが、それほど評価精度が良くない、という不利益があった。
【０００６】
本発明は、上述した不利益を解消するために、より評価精度を向上させた画質評価装置、符号化装置及び画質評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、第１の発明の画質評価装置は、デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置であって、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に符号化済み画像の劣化判定を行う画質劣化判定部と、を有する。
【０００８】
第２の発明の符号化装置は、デジタル動画像データの符号化を行う符号化部と、前記デジタル動画像データと、前記符号化部が符号化した符号化済み動画像データを前記元画像データ及び前記符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置と、を有し、前記画質評価装置は、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う画質劣化判定部と、を有し、前記符号化部は、前記劣化判定の結果を基に、符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う。
【０００９】
第３の発明の画質評価方法は、デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価方法であって、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成する第１の工程と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する第２の工程と、前記第２の工程において分割された時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類する第３の工程と、前記第３の工程において分類された前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う第４の工程と、を有する。
【発明の効果】
【００１０】
本発明によれば、より評価精度を向上させた画質評価装置、符号化装置及び画質評価方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態の画質評価装置１００について説明する。
図１は、画質評価装置１００のブロック図である。
図１に示すように、画質評価装置１００は、ブロック分割部１、ブロック情報作成部２、フレーム情報作成部３、フレーム情報バッファ４、時空間領域分割部５、時空間領域情報作成部（フレーム情報分類部）６、時空間領域情報バッファ７、画質劣化判定部８、劣化判定結合部９を有する。
【００１２】
画質評価装置１００に入力される画像データは、ＭＰＥＧ等ハイブリッド符号化された画像データをデコードしたデータ（以下デコード画像と称する）と、元画像データであり、これらは動画像データである。これらの動画像データと、デコード時に取得されたデコード情報が画質評価装置１００に入力される。デコード情報については後述する。
ハイブリッド符号化とは、ＤＣＴ（離散コサイン変換）を使用してフレーム内の冗長情報（空間的冗長度）を削減する方法と、動き補償フレーム間予測を利用してフレーム間の冗長情報（時間的冗長度）を削減する方法を組み合わせて符号化を行う符号化方式であり、例えばＭＰＥＧ１，２，４等がある。
元画像データ及びデコード画像データは、ＹＣｂＣｒ形式の映像であり、サンプリング形式は問わない。
【００１３】
ブロック分割部１は、図２に示すように、入力されたデコード画像及び元画像の各フレームの画像データを幅、高さｍピクセルの正方形のブロックに分割する。ここで、入力されたデコード画像或いは元画像のサイズを幅ｗ、高さｈピクセルとすると、ｍはｗとｈの公約数である。
図２は、入力された画像データのフレームと、ブロック分割部１が分割したブロックとの関係を示す図である。図２に示した、フレームの画像データ中のブロックの数やブロックを構成する画素数は一例である。
ブロック分割部１が分割したブロックは、画質評価のための処理単位となるブロックであり、以後評価ブロックと呼ぶ。
ブロック分割部１に入力されたデコード画像がＭＰＥＧで符号化されたものなら、符号化の際にマクロブロック、或いはサブマクロブロック単位で符号化されているので、ブロック分割部１は、ブロック分割時にマクロブロック或いはサブマクロブロックを利用して評価ブロックに分割することも可能である。
【００１４】
ブロック情報作成部２は、評価ブロックが属するフレームのフレーム番号と、評価ブロック毎のブロック位置と、評価ブロックについての基準評価尺度と、平均輝度値を組にしたブロック情報を作成する。図３は、ブロック情報の構成を説明した図である。
図３に示すブロック情報のうち、フレーム番号はその評価ブロックが属するフレームの番号である。
ブロック位置は図２に示すように、フレーム内での評価ブロックの位置を示す情報である。
基準評価尺度は、画質の評価値であり、本実施形態ではＰＳＮＲ値を用いる。ＰＳＮＲ値については後述する。
平均輝度値は、各評価ブロック内の各画素の輝度値の平均値である。
【００１５】
ＰＳＮＲ値について説明する。
ＰＳＮＲ（Peak Signal to Noise Ratio）は、元映像と劣化画像の輝度値の差分値を用いて評価値を算出する手法であり、劣化画像の劣化度合いを評価値として表現している。
ＰＳＮＲ値は以下のようにして求める。
元画像及び劣化画像の水平方向サイズをｗ、垂直方向サイズをｈとし、映像中の画素の位置を（ｉ，ｊ）と表現する場合に、元画像の（ｉ,ｊ）における８ビットで表される輝度値を
劣化画像の（ｉ,ｊ）における８ビットで表される輝度値を
としたとき、ＰＳＮＲ値は以下の式（１）で求められる。
【００１６】
【数１】
【００１７】
ＰＳＮＲ値は、値が小さいほど劣化が大きく、値が大きいほど劣化が小さいことを示す（劣化無しで無限大）。
なお、上記説明したＰＳＮＲ値の求め方における劣化画像は、本実施形態においてはデコード画像のことである。
【００１８】
フレーム情報作成部３は、フレーム毎に、そのフレームのフレーム番号、ピクチャ情報、フレームに属するブロック情報の配列を組にしたフレーム情報を作成する。図４は、フレーム情報の構成を説明するための図である。
図４に示すフレーム情報のうち、フレーム番号は、そのフレームのフレーム番号である。
ピクチャ情報は、デコード時に取得されたデコード画像のピクチャ情報である。
ブロック情報配列は、ブロック情報作成部２が作成したそのフレームに属する全ての評価ブロックのブロック情報を例えば行列形式等に配列したものである。
【００１９】
フレーム情報バッファ４は、フレーム情報作成部３が作成したフレーム情報を保持する。フレーム情報バッファは、複数のフレーム情報を保持することができるバッファメモリである。
【００２０】
時空間領域分割部５は、フレーム情報バッファ４に蓄積されたｎフレーム（ｎは２以上の自然数）分のフレーム情報を基に、時間経過によって形状が変化するフレーム内の時空間領域を抽出する。この際、抽出する時空間領域の大きさは任意である。
【００２１】
時空間領域分割部５が行う時空間分割処理について詳しく説明する。
時空間領域分割処理は、元画像から時空間領域を抽出する処理である。
時空間分割処理は、以下の３つの工程を有する。すなわち、
（１） 評価ブロックごとのオブジェクト認定用情報の生成
（２） フレーム内オブジェクトの認定
（３） フレーム内オブジェクトのフレーム間の関連付け
である。以下、各工程について説明する。
【００２２】
まず、時空間領域分割部５は、処理の対象として元画像が入力され、元画像内のブロックごとのデコード情報を基に、オブジェクト認定用ブロック情報を作成する。
ブロック分割部１が分割した画質評価用の処理単位ブロック（評価ブロック）と、入力されたデコード画像の符号化時の処理単位ブロック（マクロブロック）とはブロックの大きさが異なる場合がある。
時空間領域分割部５に入力されたデコード時に得られたデコード情報は、符号化時のマクロブロックにおける情報であるため、画質評価用の評価ブロックに応じた情報に変換する必要がある。
【００２３】
デコード情報は、図５に示すように、ブロック位置、ピクチャタイプ、動きベクトル存在フラグ、動きベクトル値とからなる。
ピクチャタイプは、Ｉ（Intra）ピクチャ、Ｐ（Predictive）ピクチャ、Ｂ（Bi-directionally predictive）ピクチャというコーディングタイプの区別をそれぞれ表している。
動きベクトル存在フラグは、ブロック内に動きベクトルが存在するか否かを示すフラグである。
動きベクトル値は、ブロックの動きベクトルの値である。
【００２４】
時空間領域分割部５に入力される上記デコード情報は、マクロブロック単位のものであるため、時空間領域分割部５はこれを評価ブロック単位の情報に変換し、オブジェクト認定用ブロック情報を作成する。
ここで、入力されたデコード画像のマクロブロックがＭ×Ｍピクセル、ブロック分割部１が分割した評価ブロックがｍ×ｍピクセルであるとすると、時空間領域分割部５は上述したデコード情報の各要素を変換してオブジェクト認定用ブロック情報を作成する。
【００２５】
オブジェクト認定用ブロック情報は、図６に示すように、ブロック位置、平均色差値、動きベクトル存在フラグ、動きベクトル値からなる。
ブロック位置は、ブロック情報作成部２が作成したブロック位置をそのまま使用するので、変換の必要はない。
平均色差値は、元画像から取得した平均色差値である。
動きベクトル存在フラグは、評価ブロックと重なるマクロブロックの全ての動きベクトル存在フラグが「存在しない」ことを意味するフラグである場合、その評価ブロックの動きベクトル存在フラグも「存在しない」となり、そうでない場合は「存在する」を意味するフラグとなる。
【００２６】
動きベクトルは、以下の式で変換される。すなわち、評価ブロックに重なるマクロブロックの数をＮ、マクロブロックｉが評価ブロックと重なる部分の面積の割合をｐｉ、マクロブロックｉの動きベクトルをＭＶｉとすると、
【００２７】
【数２】
【００２８】
ここで、ｐｉについては、評価ブロックに重なるマクロブロックのうち、動きベクトル存在フラグが「存在しない」であるマクロブロックを除いて算出する。すなわち、例えば評価ブロックが４つのマクロブロックに重なるとして、その内の３つのマクロブロックにのみ動きベクトルが存在した場合には、これら３つのマクロブロックのｐｉは１／３になる。
【００２９】
次に、時空間領域分割部５は、上述した方法で得られたオブジェクト認定用情報を基に、フレーム内のオブジェクトを認定する。
ここで、オブジェクトとはフレーム内のグループ化された領域を意味する。
以下、評価ブロックｉのオブジェクト認定情報をＯｉとし、１フレーム分のオブジェクト認定用情報群をＯ＝｛Ｏ０，Ｏ１，…，Ｏｉ｝とする。
この場合に、時空間領域分割部５は、関連付け判定関数ｆを用いて、隣接する評価ブロックに対して関連があるか否かの判定を行う。関連付け判定関数ｆは本実施形態では限定しない。
【００３０】
例えば、２つの評価ブロックに対して、これらの評価ブロックのオブジェクト認定情報がＯｉ、Ｏｊであるとすると、ｆ（Ｏｉ，Ｏｊ）＞εを満たす場合にはこれら２つの評価ブロックには関連があると判定し、そうでない場合には関連がないと判定する。なお、εはしきい値であり、本実施形態では限定しない。例えば経験的に取得した数値を使用する。
時空間領域分割部５は、図７に示すように、上述した関連付けの判定を横方向と縦方向の２度に亘って行い、評価ブロックをグループ分けする。
図７は、時空間領域分割部５の行う関連付け判定の概念図である。図７（ａ）は横方向の関連付け判定を示す図であり、図７（ｂ）は縦方向の関連付け判定を示す図である。また、図７（ｃ）は、横方向と縦方向の判定結果を合わせた最終関連付け結果を示した図である。図７（ｃ）に示すように、最終的には隣接評価ブロックと関連があるブロックと、内ブロックとの２つのグループに分割される。これらのグループがそれぞれオブジェクトである。
【００３１】
次に、フレーム内に存在する各オブジェクトに対してフレーム内オブジェクト情報を作成する。
フレーム内オブジェクト情報は、図８に示すように、オブジェクト重心位置、色差値、動きベクトル存在フラグ、動きベクトル値からなる。
フレーム内オブジェクト情報は、上述したオブジェクト認定用ブロック情報を基に算出される。
【００３２】
オブジェクト重心位置は、オブジェクトを構成する全ての評価ブロックのブロック位置を基に算出された、幾何学における重心位置である。
色差値は、オブジェクトを構成する全ての評価ブロックの中の、最もオブジェクト重心位置に近いブロックの平均色差値をそのまま利用する。
動きベクトル存在フラグは、オブジェクトを構成する全ての評価ブロックの中から、最も重心位置に近いブロックの動きベクトル存在フラグをそのまま利用する。
動きベクトル値は、オブジェクトを構成する全ての評価ブロックの中から、最も重心位置に近いブロックの動きベクトル値をそのまま利用する。
オブジェクトに属する全ての評価ブロックは、同じフレーム内オブジェクト情報を有する。
【００３３】
次に、時空間領域分割部５は、各評価ブロックのフレーム内オブジェクト情報を基に、隣接するフレーム間でオブジェクトの関連付けを行う。
すなわち、図９に示すように、フレームｉ〜ｉ＋３の４つの領域がそれぞれ３〜４つのオブジェクトを有していた場合に、それぞれのフレームに存在するオブジェクト同士が関連付けられる。
図９は、フレームｉ〜ｉ＋３のオブジェクトの関連付けを説明するための図であり、図９（ａ）は、フレームｉ〜ｉ＋３のオブジェクトを示している。
【００３４】
具体的には、フレームｉ内に存在するｋ個のオブジェクトのオブジェクト情報をＯｂｊ１（ｉ），Ｏｂｊ２（ｉ），Ｏｂｊ３（ｉ），…，Ｏｂｊｋ（ｉ）とし、フレームｉに含まれるオブジェクトのオブジェクト情報群をＯｂｊ（ｉ）＝｛Ｏｂｊ０（ｉ），Ｏｂｊ１（ｉ），Ｏｂｊ２（ｉ），…，Ｏｂｊｋ（ｉ）｝とすると、時空間領域分割部５は、関連付け判定関数ｇを用いて、ある評価ブロックと、隣接するフレームの同じブロック位置の評価ブロックとに対して関連があるか否かの判定を行う。関連付け判定関数ｇは本実施形態では限定しない。
例えば、２つの評価ブロックに対して、これらの評価ブロックのフレーム内オブジェクト情報がＯｂｊｍ（ｉ）、Ｏｂｊｎ（ｉ＋１）であるとすると、ｇ（Ｏｂｊｍ（ｉ），Ｏｂｊｎ（ｉ＋１））＜ωを満たす場合にはこれら２つの評価ブロックには関連があると判定し、そうでない場合には関連がないと判定する。なお、ωはしきい値であり、本実施形態では限定しない。例えば経験的に取得した数値を使用する。
【００３５】
上述した処理によって、時空間領域分割部５は、図９（ｂ）に示すように、図９（ａ）に示した隣接フレームのオブジェクト同士を関連付ける。このようにして求められたオブジェクト（図９の場合３つのフレームｉ〜ｉ＋３内に４つのオブジェクトが求められた）が時空間領域として定義される。
なお、上述した時空間領域分割部５が行う時空間分割処理は、一例であり、本発明は限定しない。時空間領域分割部５が時空間分割処理を行う際には、上述した方法以外の方法を使用してもよい。
【００３６】
なお、時空間領域分割部５は、上述した説明においてはｉ〜ｉ＋３の４フレーム分に対して時空間領域分割を行ったが、本実施形態では一度に時空間領域分割部５が時空間領域分割処理を行うフレームの数は限定しない。以下では、時空間領域分割部５は一度にｎフレーム分の時空間領域分割を行うとする。
また、時空間領域分割部５は、図１０に示すように、時空間領域分割の対象となるフレームをｎ／２フレームずつずらして時空間領域分割を行う。この理由については詳しくは後述する。
【００３７】
時空間領域情報作成部６は、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出し、時空間領域分割部５によって定義された時空間領域毎に分類して時空間領域情報を作成する。なお、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出す際には、時空間領域分割部５が時空間領域分割を行う際と同様に、読み出すフレームをｎ／２フレームずつずらして読み出しを行う。
図１１は、時空間領域情報の構成を示した図である。図１１（ａ）に示すように、時空間領域情報は時空間領域ＩＤと、フレーム内領域情報の配列とからなる。
時空間領域ＩＤは、画像中の各時空間に対する識別子である。本実施形態の時空間領域ＩＤは、どのような形式でもよく、時空間領域分割部５が分割した時空間領域を識別できる物であれば良い。
【００３８】
フレーム内領域情報配列は、全てのフレームのフレーム内領域情報を行列形式等に配列したものである。
図１１（ｂ）にフレーム内領域情報の構成を示す。
フレーム内領域情報は、図１１（ｂ）に示すように、フレーム情報と領域マスク情報とからなる。
領域マスク情報は、フレーム内の各評価ブロックがどの時空間領域に属しているかを示すマスク情報である。
図１２に領域マスク情報の一例を示す。
図１２に示すように、例えばフレーム内に時空間領域１〜３が図１２（ａ）に示すように存在した場合、時空間領域１のマスク情報は、図１２（ｂ）であり、時空間領域２のマスク情報は、図１２（ｃ）であり、時空間領域３のマスク情報は、図１２（ｄ）である。
【００３９】
時空間領域情報バッファ７は、時空間領域情報作成部６が作成した時空間領域情報を一時的に保持するバッファメモリである。
画質劣化判定部８は、時空間領域情報バッファ７に記憶された時空間領域情報を基に、入力された画像のフレームごとの劣化判定を行い、フレーム内評価情報として出力する。
画質劣化判定部８は、まずフレーム内の時空間領域毎に周辺部と中心部に分割し、分割したそれぞれの領域に対して画質の劣化判定を行う。
【００４０】
画質劣化判定部８は、図１３に示すように、劣化判定のために中心部・周辺部分割部８１、画質基準値計算部８２、画質基準値評価部８３、画質基準値遷移評価部８４、評価情報作成部８５をさらに有する。
中心部・周辺部分割部８１は、図１４に示すように、入力された時空間領域情報を基に、時空間領域を中心部と周辺部に分割する。中心部であるか周辺部であるかは、その評価ブロックが隣接する空間領域と接しているか否かによって判別される。これにより、入力された時空間領域情報内の領域マスク情報も中心部と周辺部に分割される。結果として、中心部・周辺部分割部８１は、分割時空間領域情報を出力する。図１５は、分割時空間領域情報の構成を示す図である。
【００４１】
図１５（ａ）に示すように、分割時空間領域情報は時空間領域ＩＤとフレーム内領域情報の配列とで構成され、図１５（ｂ）に示すように、フレーム内領域情報は、フレーム情報と、中心部領域マスク情報と、周辺部領域マスク情報とからなる。
中心部領域マスク情報は、中心部・周辺部分割部８１が中心部だと判定した領域の領域マスク情報であり、周辺部マスク情報は、中心部・周辺部分割部８１が周辺部だと判定した領域の領域マスク情報である。
【００４２】
画質基準値計算部８２は、中心部・周辺部分割部８１が分割した中心部と周辺部のそれぞれに対して画質基準値を計算する。
画質基準値は、以下のように求める。
ｌフレーム目のブロック位置が（ｉ，ｊ）で示される評価ブロックの領域マスク値を
平均輝度値を
ＰＳＮＲ値を
とし、人間と視覚特性に応じて重み付けを行う関数をｈとすると、画質基準値Ｅｌは、
【００４３】
【数３】
【００４４】
で与えられる。画質基準値Ｅｌは、値が大きいほど高画質、値が小さいほど低画質であることを示す。
画質基準値計算部８２は、算出した画質基準値を含む時空間領域画質基準値情報を作成する。図１６（ａ）は、時空間領域画質基準値情報の構成を示す図である。図１６（ａ）に示すように、時空間領域画質基準値情報は、時空間領域ＩＤと、フレーム内領域画質基準値情報の配列とからなり、フレーム内領域画質基準値情報は、図１６（ｂ）に示すように、フレーム情報、中心部画質基準値、中心部領域マスク情報、周辺部画質基準値、周辺部領域マスク情報からなる。
【００４５】
重み付け関数ｈは、人間の視覚特性に応じて、重み付けを行う関数であり、本発明では限定しない。例えば図１７に示すように、輝度値に応じて重み付けを行うように重み付け関数ｈを設定すればよい。
【００４６】
画質基準値評価部８３は、画質基準値計算部８２が算出した時空間領域ごとの画質基準値を基に、各フレームにおいて画質基準値としきい値とを比較して、画質基準値がしきい値未満である場合は劣化あり、しきい値以上である場合は劣化なしであると評価する。なお、画質基準値評価部８３は、評価対象の時空間領域が中心部であるか周辺部であるかをフレーム内領域画質基準値情報を基に判断し、中心部であるか周辺部であるかによってしきい値を変更して評価を行い、フレーム内評価情報を作成する。中心部であるか周辺部であるかによってしきい値を変更するのは、中心部よりも周辺部の方が劣化が目立ちやすいためである。すなわち、中心部のしきい値は周辺部のしきい値よりも小さく設定すればよい。なお、ここで比較に使用されるしきい値は、本発明では限定しない。例えば、経験的に得たしきい値を使用すればよい。
図１８に、フレーム内評価情報の構成を示す。図１８（ａ）に示すように、フレーム内評価情報はフレーム番号とブロック評価値の配列によって構成され、ブロック評価値は、図１８（ｂ）に示すようにブロック位置と各評価ブロックの画質評価値によって構成される。画質評価値は、劣化しているか否かを示す値である。例えば、その評価ブロックが劣化していれば１、していなければ０というような２値的な情報である。
【００４７】
画質基準値遷移評価部８４は、フレーム情報内にあるピクチャ情報を基に、入力されたｎフレーム分の画像のＧＯＰ（Group Of Picture：イントラピクチャから次のイントラピクチャの前のピクチャまで）内の画質基準値の最小値を求め、当該最小値が予め定めた所定の範囲、例えば上限基準値と下限基準値との間に収まる部位を抽出する。
図１９にＧＯＰ内の画質基準値の最小値の遷移と時間との関係を示す。この図に描かれている折れ線の内、実線で描かれている部分が上記画質基準値遷移評価部８４に抽出される部位である。図１５中に示す折れ線の内点線の部位は、所定の画質基準値が上限基準値以上或いは下限基準値未満の部位であり、画質基準値が上限基準値以上である部位は、劣化がないことが明らかな部位、画質基準値が加減基準値未満である部位は、劣化していることが明らかな部位を示している。こうした部分においては、上述した画質基準値評価部が行った評価の信頼度が高い。しかし、上限基準値と下限基準値との間の部位は、画質基準値評価部８３が下す２値的な評価では劣化か否かを一概に決定することができない、どちらともとることができる部位であり、画質基準値遷移評価部８４は、こうした部位を抽出して当該部位の各フレームに対して劣化判定を行う。
【００４８】
画質基準値遷移評価部８４は、さらに、抽出したＧＯＰ内の画質基準値の最小値が上限基準値と加減基準値との間にある部位の中から、ＧＯＰ内の画質基準値の最小値からその１つ後の隣接ＧＯＰの画質基準値最小値までの減少方向への変化量（差分）がしきい値よりも大きい部位を劣化区間の始まりと定義し、当該ＧＯＰより画質基準値が大きくなるＧＯＰを劣化区間の終わりと定義する。
図１９において具体的に説明すると、図１９中のＡは、図１９中で画質基準値のＧＯＰ内での最小値の１つ後の隣接ＧＯＰとの変化量（差分）が最も大きく減少している部位を示している。図１９のＢは、図１９のＡに示したＧＯＰと同程度まで画質基準値が大きくなってきたＧＯＰを示しており、図１９においては、画質基準値遷移評価部８４はＡからＢまでの区間を劣化区間と決定する。
【００４９】
また、画質基準値遷移評価部８４は、抽出したＧＯＰ内の画質基準値の最小値が上限基準値と下限基準値との間にある部位のフレーム内評価情報を作成する。フレーム内評価情報については上述した画質基準値評価部８３が作成するものと同じである。
劣化区間内の各フレームに対しては画質評価値を劣化していることを示す値に設定し、劣化区間外の各フレームに対しては画質評価値を劣化していないことを示す値に設定する。
ＧＯＰ内の画質基準値の最小値のその１つ後の隣接ＧＯＰの画質基準値最小値までの減少方向への変化量（差分）がしきい値よりも大きいＧＯＰは、画質が急激に劣化していることを意味する。人間の視覚特性により、人間画質劣化が短時間で急激に起こった場合は劣化が感知されやすいため、画質基準値遷移評価部８４は、こうした急激な画質の劣化部位を検出することにより人間の視覚特性に応じた劣化検出を行うことができる。
【００５０】
上述したように、画質基準値評価部８３と画質基準値遷移評価部８４によって、フレーム内の各評価ブロックに対し異なる２つの観点からフレーム内評価情報が作成されている。画質基準値評価部８３は、単純にその評価ブロックの画質基準値がしきい値以上か以下かによって劣化しているか否かを判定し、フレーム内評価情報を作成している。画質基準値遷移評価部８４は、現フレームを含むＧＯＰ内での画質基準値の最小値から１つ後の隣接ＧＯＰ内での画質基準値の最小値への変化量を全て求め、減少方向への変化量がしきい値よりも大きいＧＯＰから、そのＧＯＰの画質基準値の最小値よりも画質基準値の最小値が大きくなるＧＯＰまでを劣化区間と判定し、当該区間の全てのフレーム・フレーム内の各評価ブロックを劣化ありと判定してフレーム内評価情報を作成している。
評価情報作成部８５は、画質基準値評価部８３と画質基準値遷移評価部８４によって作成されたフレーム内評価情報に含まれる各評価ブロック毎にブロック評価値の論理和を取ることによって全てのフレームのフレーム内評価情報を１つに決定する。
【００５１】
具体的には、評価情報作成部８５は、画質基準値評価部８３が作成したフレーム内評価情報に含まれるブロック評価値と、画質基準値遷移評価部８４が作成したフレーム内評価情報に含まれるブロック評価値とから、評価ブロックごとの画質評価値の論理和を取ることによって評価ブロックごとの画質評価値を１つに決定することによって各フレームのフレーム内評価情報を１つに決定する。
【００５２】
劣化判定結合部９は、画質劣化判定部８が出力したフレーム内評価情報を結合する。
本実施形態では、時空間領域分割部５によって時空間領域を分割する際にｎ／２フレームずつフレームをずらしながら時空間分割が行われており、時空間領域情報は時空間領域情報作成部６によってｎ／２フレームずつ読み出しフレームをずらしながら時空間領域情報が作成されている。画質劣化判定部８が出力したフレーム内評価情報はフレームごとの画質劣化情報であるため、フレームによっては、複数のフレームの画質劣化情報が重なるところが存在する（図１０参照）。これを解消するために、劣化判定結合部９が１つのフレームに複数のフレームの画質劣化情報が重なっている場合には、当該フレームのフレーム内評価情報にあるフレーム内の各評価ブロックの画質評価値の評価ブロック毎の論理和を取ることによって、フレームが重なっている部分のフレーム内評価情報を１つに結合する。
以上のようにして画質評価装置１００は、入力されたデコード画像の元画像に対する劣化情報を出力することができる。劣化情報は、上記説明したとおりフレーム毎に１つに結合されたフレーム内評価情報であり、どのフレームのどの評価ブロックが劣化しているか、を示す情報である。なお、劣化情報の表現方法については本発明では限定しない。
【００５３】
以下、本実施形態の画質評価装置１００の動作例について説明する。
図２０は、画質評価装置１００の動作例を示す図である。
ステップＳＴ１：
ブロック分割部１が、入力された画像（エンコード（符号化）前の元画像と、ＭＰＥＧ等でエンコードされデコードされたデコード画像）を評価ブロックに分割する。
ステップＳＴ２：
ブロック情報作成部２が、ステップＳＴ１においてブロック分割部１が分割した各評価ブロックに対し、ブロック情報を作成する。
【００５４】
ステップＳＴ３：
フレーム情報作成部３が、ブロック情報作成部２が作成したブロック情報を基に、フレーム情報を作成する。また、作成されたフレーム情報は、フレーム情報バッファ４に一時記憶される。
ステップＳＴ４：
時空間領域分割部５は、元画像の各フレームを時空間領域に分割する。この際、ｎフレーム分の時空間領域分割処理が終わったら、次の処理はｎ／２フレーム進んだ位置からｎフレーム分の時空間領域処理を行うことをフレームの終わりまで繰り返す。
【００５５】
ステップＳＴ５：
時空間領域情報作成部６は、ステップＳＴ３においてフレーム情報作成部３が作成したフレーム情報をｎフレーム分ずつフレーム情報バッファ４から読み出し、ステップＳＴ４において時空間領域分割部５が分割した時空間領域毎に分類し、時空間領域情報を作成する。この際、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出し時空間領域作成が終わったら、次の処理はステップＳＴ４の時空間領域分割部５と同様にｎ／２フレーム進んだ位置からｎフレーム分を読み出し、処理を行う。また、時空間領域情報作成部６が作成した時空間領域情報は、時空間領域情報バッファ７に一時記憶される。
ステップＳＴ６：
画質劣化判定部８は、ステップＳＴ５において時空間領域情報作成部６が作成した時空間領域情報を、時空間領域情報バッファ７からｎフレーム分ずつ読み出し、当該ｎフレーム分のフレーム内評価情報を作成する。
【００５６】
ステップＳＴ７：
劣化判定結合部９は、ステップＳＴ６において画質劣化判定部８が作成したフレーム内評価情報を、ｎ／２フレームずつ重なっているフレームで論理和をとって結合し、入力されたデコード画像の劣化情報を出力する。
【００５７】
以上説明したように、本実施形態の画質評価装置１００によれば、元画像とＭＰＥＧ等のハイブリッド符号化で符合化された画像をデコードしてデコード画像との動画像データを入力し、元画像から時空間領域を抽出して、入力画像を各時空間領域に分割して、分割された時空間領域毎に画質劣化判定を行うので、時空間周波数特性を考慮に入れた画質劣化判定を行うことができ、精度の高い画質劣化判定を行うことができる。
【００５８】
また、本実施形態の画質評価装置１００によれば、時空間領域分割部５が元画像から時空間領域を抽出する場合や、時空間領域情報作成部６が時空間領域情報を作成する場合、及び画質劣化判定部８が画質劣化判定を行う場合に、ｎフレーム分ずつ行うため、少ないリソースで画質劣化判定を行うことができる。具体的には、フレーム情報バッファ４や時空間領域情報バッファ７等の記憶容量を小さく抑えることが可能である。また、時空間領域分割部５や画質劣化判定部８の演算量が小さくて済む。
【００５９】
また、本実施形態の画質評価装置１００によれば、画質劣化判定部８において、画質基準値評価部８３がフレームごとの絶対的な劣化判定を行い、画質基準値遷移評価部８４がＧＯＰごとの画質の変化量を基に劣化判定を行うので、従来の客観的画質評価装置では劣化ありなのか無しなのかをはっきりと決められなかった領域に対しても、効果的に劣化判定を行うことができる。
【００６０】
＜第２実施形態＞
本第２実施形態では、符号化装置について説明する。
本実施形態の符号化装置２００は、図２１に示すように、エンコーダ２０１、デコーダ２０２、画質評価装置１００がバス２０３によって接続されている。
【００６１】
エンコーダ２０１は、入力された元画像（動画像データ）を、予め設定したビットレートやその他のパラメータに従ってエンコード（符号化）する。エンコーダ２０１は、ＭＰＥＧ等のハイブリッド符号化形式でエンコードを行うとする。
デコーダ２０２は、エンコーダ２０１がエンコードした符号化画像をデコード（復号）する。
画質評価装置１００は、第１実施形態において説明した画質評価装置であり、元画像と、元画像をエンコーダ２０１がエンコードしたものをデコーダ２０２がデコードした画像（デコード画像）とを入力して、デコード画像の画質評価を行い、劣化情報を出力する。
上述したエンコーダ２０１、デコーダ２０２、及び画質評価装置１００は、バス２０３によって接続されている。
【００６２】
本実施形態の符号化装置２００では、画質評価装置１００が出力したデコード画像の劣化情報を基に、エンコーダ２０１がビットレート等パラメータを変更して再エンコードを行う。
以下、画質評価装置１００が出力したデコード画像の劣化情報を基に、エンコーダ２０１がビットレート等パラメータを変更して再エンコードを行う場合の符号化装置２００の動作例について説明する。
【００６３】
図２２は、符号化装置２００の動作例を示すフローチャートである。
ステップＳＴ１１：
エンコーダ２０１は、入力された元画像をエンコードし、エンコード画像を出力する。
ステップＳＴ１２：
デコーダ２０２は、ステップＳＴ１１においてエンコーダ２０１がエンコードしたエンコード画像をデコードし、デコード画像を作成する。この際に、デコーダ２０２は、画質評価装置１００に入力するデコード情報を作成する。デコード情報については、第１実施形態において説明したデコード情報と同様であるので、ここでは説明を省略する。
【００６４】
ステップＳＴ１３：
元画像と、ステップＳＴ１２において作成されたデコード画像及びデコード情報とを基に、画質評価装置１００が入力画像の劣化判定を行い、劣化情報を出力する。画質評価装置１００の劣化判定については、第１実施形態と同様であるので、ここでは説明を省略する。
ステップＳＴ１４：
エンコーダ２０１は、ステップＳＴ１３において出力された劣化情報を基に、劣化した評価ブロックが存在するフレームを、ビットレート等のパラメータを再設定して（ステップＳＴ１１におけるエンコード時と異なるパラメータに設定して）再度エンコードを行う。
本ステップＳＴ１４における再エンコード時のビットレート等パラメータの設定方法については、本発明では限定しない。例えば、符号化装置２００のユーザが、画質評価装置１００が出力した劣化情報を見て、劣化したブロックが存在するフレームを実際に再生しながら劣化の度合いを確認し、これを基にユーザが再エンコード時のパラメータを設定しても良いし、予め再エンコード時に適用するパラメータを決定しておき、エンコーダ２０１が再エンコード時に自動的に当該予め決定されたパラメータを使用して再エンコードを行っても良いし、劣化情報から自動的にパラメータを決定しこれを使用して再エンコードを行っても良い。
また、再エンコード時に改めて設定するパラメータも、本発明では限定しない。例えば、パス数を変更して改めて設定する等してもよい。
【００６５】
以上説明したように、本第２実施形態の符号化装置２００によれば、画質評価装置１００が出力した劣化情報を基に、エンコーダ２０１がパラメータを改めて設定して再エンコードを行うので、最初に設定したパラメータでエンコードされたエンコード画像の劣化部分を抽出し、設定しなおしたパラメータで画質が良くなるように再エンコードすることができ、最終的に出力されるエンコード画像の画質が全体的に良くなる。
【００６６】
なお、上述した実施形態では、エンコーダ２０１が再エンコードを行う際には、劣化情報を基に、劣化した評価ブロックが存在するフレームのみ再エンコードを行うとしたが、本発明はこれには限定されない。すなわち、劣化情報により、デコード画像に劣化ありと判断された場合には、元画像から全てのフレームをエンコードしなおすようにしてもよい。
【００６７】
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【００６８】
上述した各実施形態では、ｎ／２フレームずつずらして処理を行っていたが、本発明はこれには限定されない。ｎ／ｍフレーム（ｍはｎより小さい数）ずつでも良い。すなわち、前回の処理単位とその次の処理単位とが重なるように処理を行えばよい。
【図面の簡単な説明】
【００６９】
【図１】図１は、第１実施形態の画質評価装置１００のブロック図である。
【図２】図２は、入力された画像データのフレームと、ブロック分割部１が分割した評価ブロックとの関係を示す図である。
【図３】図３は、ブロック情報の構成を説明するための図である。
【図４】図４は、フレーム情報の構成を説明するための図である。
【図５】図５は、デコード情報の構成を説明するための図である。
【図６】図６は、オブジェクト認定用ブロック情報の構成を説明するための図である。
【図７】図７は、時空間領域分割部５の行う関連付け判定の概念図である。
【図８】図８は、フレーム内オブジェクト情報の構成を説明するための図である。
【図９】図９は、フレームｉ〜ｉ＋３のオブジェクトの関連付けを説明するための図である。
【図１０】図１０は、時空間領域分割部５が時空間分割処理を行う際に、時空間領域分割の対象となるフレームをｎ／２フレームずつずらしている様子を示す概念図である。
【図１１】図１１は、時空間領域情報の構成を説明するための図である。
【図１２】図１２は、領域マスク情報の一例を示す図である。
【図１３】図１３は、画質劣化判定部８の構成を示すブロック図である。
【図１４】図１４は、中心部・周辺部分割部８１が中心と周辺とを分割する様子を示す概念図である。
【図１５】図１５は、分割時空間領域情報の構成を説明するための図である。
【図１６】図１６は、時空間領域画質基準値情報の構成を示す図である。
【図１７】図１７は、重み付け関数の一例を示す図である。
【図１８】図１８は、フレーム内評価情報の構成を説明するための図である。
【図１９】図１９は、ＧＯＰ内の画質基準値の最小値の遷移と時間との関係を示す図である。
【図２０】図２０は、画質評価装置１００の動作例を説明するためのフローチャートである。
【図２１】図２１は、第２実施形態の符号化装置２００のブロック図である。
【図２２】図２２は、第２実施形態の符号化装置２００の動作例を説明するためのフローチャートである。
【符号の説明】
【００７０】
１００…画質評価装置、１…ブロック分割部、２…ブロック情報作成部、３…フレーム情報作成部、４…フレーム情報バッファ、５…時空間領域分割部、６…時空間領域情報作成部、７…時空間領域情報バッファ、８…画質劣化判定部、８１…中心部・周辺部分割部、８２…画質基準値計算部、８３…画質基準値評価部、８４…画質基準値遷移評価部、８５…評価情報作成部、９…劣化判定結合部、２００…符号化装置、２０１…エンコーダ、２０２…デコーダ、２０３…バス
【技術分野】
【０００１】
本発明は、ＭＰＥＧ等ハイブリッド符号化特有の画質劣化を検出する画質評価装置、符号化装置及び画質評価方法に関する。
【背景技術】
【０００２】
動画像の画質を客観的に評価する手法は、従来よりあったが、評価に膨大な時間を要し、また、特定の場面にしか適用できない技術が多かった。その中でＰＳＮＲ（Peak Signal Noise Ratio）等、平均二乗誤差を用いた画質評価尺度では、少ない計算量で比較的信頼性の高い評価値を算出することができる。ＰＳＮＲについては後述する。
【０００３】
しかし、平均二乗誤差をベースとする画質の基準評価尺度は、人間の視覚特性（明るさの変化に対し色彩の変化のほうが感知しにくい、ゆるやかな明るさや色の変化の途中に不連続的な変化があると知覚しやすい反面、複雑な変化をする部分は細かく見分けにくく、多少の違いを感知することは難しい、等）を考慮していないために、映像によっては主観評価から大きく外れることがある。
【０００４】
こうした不利益を解消するための技術として、例えば特許文献１がある。
【特許文献１】特許第３４５８６００号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されているデジタル画像品質評価装置は、画質の客観評価手法の基本となる技術であるが、それほど評価精度が良くない、という不利益があった。
【０００６】
本発明は、上述した不利益を解消するために、より評価精度を向上させた画質評価装置、符号化装置及び画質評価方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、第１の発明の画質評価装置は、デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置であって、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に符号化済み画像の劣化判定を行う画質劣化判定部と、を有する。
【０００８】
第２の発明の符号化装置は、デジタル動画像データの符号化を行う符号化部と、前記デジタル動画像データと、前記符号化部が符号化した符号化済み動画像データを前記元画像データ及び前記符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置と、を有し、前記画質評価装置は、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う画質劣化判定部と、を有し、前記符号化部は、前記劣化判定の結果を基に、符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う。
【０００９】
第３の発明の画質評価方法は、デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価方法であって、フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成する第１の工程と、前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する第２の工程と、前記第２の工程において分割された時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類する第３の工程と、前記第３の工程において分類された前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う第４の工程と、を有する。
【発明の効果】
【００１０】
本発明によれば、より評価精度を向上させた画質評価装置、符号化装置及び画質評価方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態の画質評価装置１００について説明する。
図１は、画質評価装置１００のブロック図である。
図１に示すように、画質評価装置１００は、ブロック分割部１、ブロック情報作成部２、フレーム情報作成部３、フレーム情報バッファ４、時空間領域分割部５、時空間領域情報作成部（フレーム情報分類部）６、時空間領域情報バッファ７、画質劣化判定部８、劣化判定結合部９を有する。
【００１２】
画質評価装置１００に入力される画像データは、ＭＰＥＧ等ハイブリッド符号化された画像データをデコードしたデータ（以下デコード画像と称する）と、元画像データであり、これらは動画像データである。これらの動画像データと、デコード時に取得されたデコード情報が画質評価装置１００に入力される。デコード情報については後述する。
ハイブリッド符号化とは、ＤＣＴ（離散コサイン変換）を使用してフレーム内の冗長情報（空間的冗長度）を削減する方法と、動き補償フレーム間予測を利用してフレーム間の冗長情報（時間的冗長度）を削減する方法を組み合わせて符号化を行う符号化方式であり、例えばＭＰＥＧ１，２，４等がある。
元画像データ及びデコード画像データは、ＹＣｂＣｒ形式の映像であり、サンプリング形式は問わない。
【００１３】
ブロック分割部１は、図２に示すように、入力されたデコード画像及び元画像の各フレームの画像データを幅、高さｍピクセルの正方形のブロックに分割する。ここで、入力されたデコード画像或いは元画像のサイズを幅ｗ、高さｈピクセルとすると、ｍはｗとｈの公約数である。
図２は、入力された画像データのフレームと、ブロック分割部１が分割したブロックとの関係を示す図である。図２に示した、フレームの画像データ中のブロックの数やブロックを構成する画素数は一例である。
ブロック分割部１が分割したブロックは、画質評価のための処理単位となるブロックであり、以後評価ブロックと呼ぶ。
ブロック分割部１に入力されたデコード画像がＭＰＥＧで符号化されたものなら、符号化の際にマクロブロック、或いはサブマクロブロック単位で符号化されているので、ブロック分割部１は、ブロック分割時にマクロブロック或いはサブマクロブロックを利用して評価ブロックに分割することも可能である。
【００１４】
ブロック情報作成部２は、評価ブロックが属するフレームのフレーム番号と、評価ブロック毎のブロック位置と、評価ブロックについての基準評価尺度と、平均輝度値を組にしたブロック情報を作成する。図３は、ブロック情報の構成を説明した図である。
図３に示すブロック情報のうち、フレーム番号はその評価ブロックが属するフレームの番号である。
ブロック位置は図２に示すように、フレーム内での評価ブロックの位置を示す情報である。
基準評価尺度は、画質の評価値であり、本実施形態ではＰＳＮＲ値を用いる。ＰＳＮＲ値については後述する。
平均輝度値は、各評価ブロック内の各画素の輝度値の平均値である。
【００１５】
ＰＳＮＲ値について説明する。
ＰＳＮＲ（Peak Signal to Noise Ratio）は、元映像と劣化画像の輝度値の差分値を用いて評価値を算出する手法であり、劣化画像の劣化度合いを評価値として表現している。
ＰＳＮＲ値は以下のようにして求める。
元画像及び劣化画像の水平方向サイズをｗ、垂直方向サイズをｈとし、映像中の画素の位置を（ｉ，ｊ）と表現する場合に、元画像の（ｉ,ｊ）における８ビットで表される輝度値を
劣化画像の（ｉ,ｊ）における８ビットで表される輝度値を
としたとき、ＰＳＮＲ値は以下の式（１）で求められる。
【００１６】
【数１】
【００１７】
ＰＳＮＲ値は、値が小さいほど劣化が大きく、値が大きいほど劣化が小さいことを示す（劣化無しで無限大）。
なお、上記説明したＰＳＮＲ値の求め方における劣化画像は、本実施形態においてはデコード画像のことである。
【００１８】
フレーム情報作成部３は、フレーム毎に、そのフレームのフレーム番号、ピクチャ情報、フレームに属するブロック情報の配列を組にしたフレーム情報を作成する。図４は、フレーム情報の構成を説明するための図である。
図４に示すフレーム情報のうち、フレーム番号は、そのフレームのフレーム番号である。
ピクチャ情報は、デコード時に取得されたデコード画像のピクチャ情報である。
ブロック情報配列は、ブロック情報作成部２が作成したそのフレームに属する全ての評価ブロックのブロック情報を例えば行列形式等に配列したものである。
【００１９】
フレーム情報バッファ４は、フレーム情報作成部３が作成したフレーム情報を保持する。フレーム情報バッファは、複数のフレーム情報を保持することができるバッファメモリである。
【００２０】
時空間領域分割部５は、フレーム情報バッファ４に蓄積されたｎフレーム（ｎは２以上の自然数）分のフレーム情報を基に、時間経過によって形状が変化するフレーム内の時空間領域を抽出する。この際、抽出する時空間領域の大きさは任意である。
【００２１】
時空間領域分割部５が行う時空間分割処理について詳しく説明する。
時空間領域分割処理は、元画像から時空間領域を抽出する処理である。
時空間分割処理は、以下の３つの工程を有する。すなわち、
（１） 評価ブロックごとのオブジェクト認定用情報の生成
（２） フレーム内オブジェクトの認定
（３） フレーム内オブジェクトのフレーム間の関連付け
である。以下、各工程について説明する。
【００２２】
まず、時空間領域分割部５は、処理の対象として元画像が入力され、元画像内のブロックごとのデコード情報を基に、オブジェクト認定用ブロック情報を作成する。
ブロック分割部１が分割した画質評価用の処理単位ブロック（評価ブロック）と、入力されたデコード画像の符号化時の処理単位ブロック（マクロブロック）とはブロックの大きさが異なる場合がある。
時空間領域分割部５に入力されたデコード時に得られたデコード情報は、符号化時のマクロブロックにおける情報であるため、画質評価用の評価ブロックに応じた情報に変換する必要がある。
【００２３】
デコード情報は、図５に示すように、ブロック位置、ピクチャタイプ、動きベクトル存在フラグ、動きベクトル値とからなる。
ピクチャタイプは、Ｉ（Intra）ピクチャ、Ｐ（Predictive）ピクチャ、Ｂ（Bi-directionally predictive）ピクチャというコーディングタイプの区別をそれぞれ表している。
動きベクトル存在フラグは、ブロック内に動きベクトルが存在するか否かを示すフラグである。
動きベクトル値は、ブロックの動きベクトルの値である。
【００２４】
時空間領域分割部５に入力される上記デコード情報は、マクロブロック単位のものであるため、時空間領域分割部５はこれを評価ブロック単位の情報に変換し、オブジェクト認定用ブロック情報を作成する。
ここで、入力されたデコード画像のマクロブロックがＭ×Ｍピクセル、ブロック分割部１が分割した評価ブロックがｍ×ｍピクセルであるとすると、時空間領域分割部５は上述したデコード情報の各要素を変換してオブジェクト認定用ブロック情報を作成する。
【００２５】
オブジェクト認定用ブロック情報は、図６に示すように、ブロック位置、平均色差値、動きベクトル存在フラグ、動きベクトル値からなる。
ブロック位置は、ブロック情報作成部２が作成したブロック位置をそのまま使用するので、変換の必要はない。
平均色差値は、元画像から取得した平均色差値である。
動きベクトル存在フラグは、評価ブロックと重なるマクロブロックの全ての動きベクトル存在フラグが「存在しない」ことを意味するフラグである場合、その評価ブロックの動きベクトル存在フラグも「存在しない」となり、そうでない場合は「存在する」を意味するフラグとなる。
【００２６】
動きベクトルは、以下の式で変換される。すなわち、評価ブロックに重なるマクロブロックの数をＮ、マクロブロックｉが評価ブロックと重なる部分の面積の割合をｐｉ、マクロブロックｉの動きベクトルをＭＶｉとすると、
【００２７】
【数２】
【００２８】
ここで、ｐｉについては、評価ブロックに重なるマクロブロックのうち、動きベクトル存在フラグが「存在しない」であるマクロブロックを除いて算出する。すなわち、例えば評価ブロックが４つのマクロブロックに重なるとして、その内の３つのマクロブロックにのみ動きベクトルが存在した場合には、これら３つのマクロブロックのｐｉは１／３になる。
【００２９】
次に、時空間領域分割部５は、上述した方法で得られたオブジェクト認定用情報を基に、フレーム内のオブジェクトを認定する。
ここで、オブジェクトとはフレーム内のグループ化された領域を意味する。
以下、評価ブロックｉのオブジェクト認定情報をＯｉとし、１フレーム分のオブジェクト認定用情報群をＯ＝｛Ｏ０，Ｏ１，…，Ｏｉ｝とする。
この場合に、時空間領域分割部５は、関連付け判定関数ｆを用いて、隣接する評価ブロックに対して関連があるか否かの判定を行う。関連付け判定関数ｆは本実施形態では限定しない。
【００３０】
例えば、２つの評価ブロックに対して、これらの評価ブロックのオブジェクト認定情報がＯｉ、Ｏｊであるとすると、ｆ（Ｏｉ，Ｏｊ）＞εを満たす場合にはこれら２つの評価ブロックには関連があると判定し、そうでない場合には関連がないと判定する。なお、εはしきい値であり、本実施形態では限定しない。例えば経験的に取得した数値を使用する。
時空間領域分割部５は、図７に示すように、上述した関連付けの判定を横方向と縦方向の２度に亘って行い、評価ブロックをグループ分けする。
図７は、時空間領域分割部５の行う関連付け判定の概念図である。図７（ａ）は横方向の関連付け判定を示す図であり、図７（ｂ）は縦方向の関連付け判定を示す図である。また、図７（ｃ）は、横方向と縦方向の判定結果を合わせた最終関連付け結果を示した図である。図７（ｃ）に示すように、最終的には隣接評価ブロックと関連があるブロックと、内ブロックとの２つのグループに分割される。これらのグループがそれぞれオブジェクトである。
【００３１】
次に、フレーム内に存在する各オブジェクトに対してフレーム内オブジェクト情報を作成する。
フレーム内オブジェクト情報は、図８に示すように、オブジェクト重心位置、色差値、動きベクトル存在フラグ、動きベクトル値からなる。
フレーム内オブジェクト情報は、上述したオブジェクト認定用ブロック情報を基に算出される。
【００３２】
オブジェクト重心位置は、オブジェクトを構成する全ての評価ブロックのブロック位置を基に算出された、幾何学における重心位置である。
色差値は、オブジェクトを構成する全ての評価ブロックの中の、最もオブジェクト重心位置に近いブロックの平均色差値をそのまま利用する。
動きベクトル存在フラグは、オブジェクトを構成する全ての評価ブロックの中から、最も重心位置に近いブロックの動きベクトル存在フラグをそのまま利用する。
動きベクトル値は、オブジェクトを構成する全ての評価ブロックの中から、最も重心位置に近いブロックの動きベクトル値をそのまま利用する。
オブジェクトに属する全ての評価ブロックは、同じフレーム内オブジェクト情報を有する。
【００３３】
次に、時空間領域分割部５は、各評価ブロックのフレーム内オブジェクト情報を基に、隣接するフレーム間でオブジェクトの関連付けを行う。
すなわち、図９に示すように、フレームｉ〜ｉ＋３の４つの領域がそれぞれ３〜４つのオブジェクトを有していた場合に、それぞれのフレームに存在するオブジェクト同士が関連付けられる。
図９は、フレームｉ〜ｉ＋３のオブジェクトの関連付けを説明するための図であり、図９（ａ）は、フレームｉ〜ｉ＋３のオブジェクトを示している。
【００３４】
具体的には、フレームｉ内に存在するｋ個のオブジェクトのオブジェクト情報をＯｂｊ１（ｉ），Ｏｂｊ２（ｉ），Ｏｂｊ３（ｉ），…，Ｏｂｊｋ（ｉ）とし、フレームｉに含まれるオブジェクトのオブジェクト情報群をＯｂｊ（ｉ）＝｛Ｏｂｊ０（ｉ），Ｏｂｊ１（ｉ），Ｏｂｊ２（ｉ），…，Ｏｂｊｋ（ｉ）｝とすると、時空間領域分割部５は、関連付け判定関数ｇを用いて、ある評価ブロックと、隣接するフレームの同じブロック位置の評価ブロックとに対して関連があるか否かの判定を行う。関連付け判定関数ｇは本実施形態では限定しない。
例えば、２つの評価ブロックに対して、これらの評価ブロックのフレーム内オブジェクト情報がＯｂｊｍ（ｉ）、Ｏｂｊｎ（ｉ＋１）であるとすると、ｇ（Ｏｂｊｍ（ｉ），Ｏｂｊｎ（ｉ＋１））＜ωを満たす場合にはこれら２つの評価ブロックには関連があると判定し、そうでない場合には関連がないと判定する。なお、ωはしきい値であり、本実施形態では限定しない。例えば経験的に取得した数値を使用する。
【００３５】
上述した処理によって、時空間領域分割部５は、図９（ｂ）に示すように、図９（ａ）に示した隣接フレームのオブジェクト同士を関連付ける。このようにして求められたオブジェクト（図９の場合３つのフレームｉ〜ｉ＋３内に４つのオブジェクトが求められた）が時空間領域として定義される。
なお、上述した時空間領域分割部５が行う時空間分割処理は、一例であり、本発明は限定しない。時空間領域分割部５が時空間分割処理を行う際には、上述した方法以外の方法を使用してもよい。
【００３６】
なお、時空間領域分割部５は、上述した説明においてはｉ〜ｉ＋３の４フレーム分に対して時空間領域分割を行ったが、本実施形態では一度に時空間領域分割部５が時空間領域分割処理を行うフレームの数は限定しない。以下では、時空間領域分割部５は一度にｎフレーム分の時空間領域分割を行うとする。
また、時空間領域分割部５は、図１０に示すように、時空間領域分割の対象となるフレームをｎ／２フレームずつずらして時空間領域分割を行う。この理由については詳しくは後述する。
【００３７】
時空間領域情報作成部６は、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出し、時空間領域分割部５によって定義された時空間領域毎に分類して時空間領域情報を作成する。なお、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出す際には、時空間領域分割部５が時空間領域分割を行う際と同様に、読み出すフレームをｎ／２フレームずつずらして読み出しを行う。
図１１は、時空間領域情報の構成を示した図である。図１１（ａ）に示すように、時空間領域情報は時空間領域ＩＤと、フレーム内領域情報の配列とからなる。
時空間領域ＩＤは、画像中の各時空間に対する識別子である。本実施形態の時空間領域ＩＤは、どのような形式でもよく、時空間領域分割部５が分割した時空間領域を識別できる物であれば良い。
【００３８】
フレーム内領域情報配列は、全てのフレームのフレーム内領域情報を行列形式等に配列したものである。
図１１（ｂ）にフレーム内領域情報の構成を示す。
フレーム内領域情報は、図１１（ｂ）に示すように、フレーム情報と領域マスク情報とからなる。
領域マスク情報は、フレーム内の各評価ブロックがどの時空間領域に属しているかを示すマスク情報である。
図１２に領域マスク情報の一例を示す。
図１２に示すように、例えばフレーム内に時空間領域１〜３が図１２（ａ）に示すように存在した場合、時空間領域１のマスク情報は、図１２（ｂ）であり、時空間領域２のマスク情報は、図１２（ｃ）であり、時空間領域３のマスク情報は、図１２（ｄ）である。
【００３９】
時空間領域情報バッファ７は、時空間領域情報作成部６が作成した時空間領域情報を一時的に保持するバッファメモリである。
画質劣化判定部８は、時空間領域情報バッファ７に記憶された時空間領域情報を基に、入力された画像のフレームごとの劣化判定を行い、フレーム内評価情報として出力する。
画質劣化判定部８は、まずフレーム内の時空間領域毎に周辺部と中心部に分割し、分割したそれぞれの領域に対して画質の劣化判定を行う。
【００４０】
画質劣化判定部８は、図１３に示すように、劣化判定のために中心部・周辺部分割部８１、画質基準値計算部８２、画質基準値評価部８３、画質基準値遷移評価部８４、評価情報作成部８５をさらに有する。
中心部・周辺部分割部８１は、図１４に示すように、入力された時空間領域情報を基に、時空間領域を中心部と周辺部に分割する。中心部であるか周辺部であるかは、その評価ブロックが隣接する空間領域と接しているか否かによって判別される。これにより、入力された時空間領域情報内の領域マスク情報も中心部と周辺部に分割される。結果として、中心部・周辺部分割部８１は、分割時空間領域情報を出力する。図１５は、分割時空間領域情報の構成を示す図である。
【００４１】
図１５（ａ）に示すように、分割時空間領域情報は時空間領域ＩＤとフレーム内領域情報の配列とで構成され、図１５（ｂ）に示すように、フレーム内領域情報は、フレーム情報と、中心部領域マスク情報と、周辺部領域マスク情報とからなる。
中心部領域マスク情報は、中心部・周辺部分割部８１が中心部だと判定した領域の領域マスク情報であり、周辺部マスク情報は、中心部・周辺部分割部８１が周辺部だと判定した領域の領域マスク情報である。
【００４２】
画質基準値計算部８２は、中心部・周辺部分割部８１が分割した中心部と周辺部のそれぞれに対して画質基準値を計算する。
画質基準値は、以下のように求める。
ｌフレーム目のブロック位置が（ｉ，ｊ）で示される評価ブロックの領域マスク値を
平均輝度値を
ＰＳＮＲ値を
とし、人間と視覚特性に応じて重み付けを行う関数をｈとすると、画質基準値Ｅｌは、
【００４３】
【数３】
【００４４】
で与えられる。画質基準値Ｅｌは、値が大きいほど高画質、値が小さいほど低画質であることを示す。
画質基準値計算部８２は、算出した画質基準値を含む時空間領域画質基準値情報を作成する。図１６（ａ）は、時空間領域画質基準値情報の構成を示す図である。図１６（ａ）に示すように、時空間領域画質基準値情報は、時空間領域ＩＤと、フレーム内領域画質基準値情報の配列とからなり、フレーム内領域画質基準値情報は、図１６（ｂ）に示すように、フレーム情報、中心部画質基準値、中心部領域マスク情報、周辺部画質基準値、周辺部領域マスク情報からなる。
【００４５】
重み付け関数ｈは、人間の視覚特性に応じて、重み付けを行う関数であり、本発明では限定しない。例えば図１７に示すように、輝度値に応じて重み付けを行うように重み付け関数ｈを設定すればよい。
【００４６】
画質基準値評価部８３は、画質基準値計算部８２が算出した時空間領域ごとの画質基準値を基に、各フレームにおいて画質基準値としきい値とを比較して、画質基準値がしきい値未満である場合は劣化あり、しきい値以上である場合は劣化なしであると評価する。なお、画質基準値評価部８３は、評価対象の時空間領域が中心部であるか周辺部であるかをフレーム内領域画質基準値情報を基に判断し、中心部であるか周辺部であるかによってしきい値を変更して評価を行い、フレーム内評価情報を作成する。中心部であるか周辺部であるかによってしきい値を変更するのは、中心部よりも周辺部の方が劣化が目立ちやすいためである。すなわち、中心部のしきい値は周辺部のしきい値よりも小さく設定すればよい。なお、ここで比較に使用されるしきい値は、本発明では限定しない。例えば、経験的に得たしきい値を使用すればよい。
図１８に、フレーム内評価情報の構成を示す。図１８（ａ）に示すように、フレーム内評価情報はフレーム番号とブロック評価値の配列によって構成され、ブロック評価値は、図１８（ｂ）に示すようにブロック位置と各評価ブロックの画質評価値によって構成される。画質評価値は、劣化しているか否かを示す値である。例えば、その評価ブロックが劣化していれば１、していなければ０というような２値的な情報である。
【００４７】
画質基準値遷移評価部８４は、フレーム情報内にあるピクチャ情報を基に、入力されたｎフレーム分の画像のＧＯＰ（Group Of Picture：イントラピクチャから次のイントラピクチャの前のピクチャまで）内の画質基準値の最小値を求め、当該最小値が予め定めた所定の範囲、例えば上限基準値と下限基準値との間に収まる部位を抽出する。
図１９にＧＯＰ内の画質基準値の最小値の遷移と時間との関係を示す。この図に描かれている折れ線の内、実線で描かれている部分が上記画質基準値遷移評価部８４に抽出される部位である。図１５中に示す折れ線の内点線の部位は、所定の画質基準値が上限基準値以上或いは下限基準値未満の部位であり、画質基準値が上限基準値以上である部位は、劣化がないことが明らかな部位、画質基準値が加減基準値未満である部位は、劣化していることが明らかな部位を示している。こうした部分においては、上述した画質基準値評価部が行った評価の信頼度が高い。しかし、上限基準値と下限基準値との間の部位は、画質基準値評価部８３が下す２値的な評価では劣化か否かを一概に決定することができない、どちらともとることができる部位であり、画質基準値遷移評価部８４は、こうした部位を抽出して当該部位の各フレームに対して劣化判定を行う。
【００４８】
画質基準値遷移評価部８４は、さらに、抽出したＧＯＰ内の画質基準値の最小値が上限基準値と加減基準値との間にある部位の中から、ＧＯＰ内の画質基準値の最小値からその１つ後の隣接ＧＯＰの画質基準値最小値までの減少方向への変化量（差分）がしきい値よりも大きい部位を劣化区間の始まりと定義し、当該ＧＯＰより画質基準値が大きくなるＧＯＰを劣化区間の終わりと定義する。
図１９において具体的に説明すると、図１９中のＡは、図１９中で画質基準値のＧＯＰ内での最小値の１つ後の隣接ＧＯＰとの変化量（差分）が最も大きく減少している部位を示している。図１９のＢは、図１９のＡに示したＧＯＰと同程度まで画質基準値が大きくなってきたＧＯＰを示しており、図１９においては、画質基準値遷移評価部８４はＡからＢまでの区間を劣化区間と決定する。
【００４９】
また、画質基準値遷移評価部８４は、抽出したＧＯＰ内の画質基準値の最小値が上限基準値と下限基準値との間にある部位のフレーム内評価情報を作成する。フレーム内評価情報については上述した画質基準値評価部８３が作成するものと同じである。
劣化区間内の各フレームに対しては画質評価値を劣化していることを示す値に設定し、劣化区間外の各フレームに対しては画質評価値を劣化していないことを示す値に設定する。
ＧＯＰ内の画質基準値の最小値のその１つ後の隣接ＧＯＰの画質基準値最小値までの減少方向への変化量（差分）がしきい値よりも大きいＧＯＰは、画質が急激に劣化していることを意味する。人間の視覚特性により、人間画質劣化が短時間で急激に起こった場合は劣化が感知されやすいため、画質基準値遷移評価部８４は、こうした急激な画質の劣化部位を検出することにより人間の視覚特性に応じた劣化検出を行うことができる。
【００５０】
上述したように、画質基準値評価部８３と画質基準値遷移評価部８４によって、フレーム内の各評価ブロックに対し異なる２つの観点からフレーム内評価情報が作成されている。画質基準値評価部８３は、単純にその評価ブロックの画質基準値がしきい値以上か以下かによって劣化しているか否かを判定し、フレーム内評価情報を作成している。画質基準値遷移評価部８４は、現フレームを含むＧＯＰ内での画質基準値の最小値から１つ後の隣接ＧＯＰ内での画質基準値の最小値への変化量を全て求め、減少方向への変化量がしきい値よりも大きいＧＯＰから、そのＧＯＰの画質基準値の最小値よりも画質基準値の最小値が大きくなるＧＯＰまでを劣化区間と判定し、当該区間の全てのフレーム・フレーム内の各評価ブロックを劣化ありと判定してフレーム内評価情報を作成している。
評価情報作成部８５は、画質基準値評価部８３と画質基準値遷移評価部８４によって作成されたフレーム内評価情報に含まれる各評価ブロック毎にブロック評価値の論理和を取ることによって全てのフレームのフレーム内評価情報を１つに決定する。
【００５１】
具体的には、評価情報作成部８５は、画質基準値評価部８３が作成したフレーム内評価情報に含まれるブロック評価値と、画質基準値遷移評価部８４が作成したフレーム内評価情報に含まれるブロック評価値とから、評価ブロックごとの画質評価値の論理和を取ることによって評価ブロックごとの画質評価値を１つに決定することによって各フレームのフレーム内評価情報を１つに決定する。
【００５２】
劣化判定結合部９は、画質劣化判定部８が出力したフレーム内評価情報を結合する。
本実施形態では、時空間領域分割部５によって時空間領域を分割する際にｎ／２フレームずつフレームをずらしながら時空間分割が行われており、時空間領域情報は時空間領域情報作成部６によってｎ／２フレームずつ読み出しフレームをずらしながら時空間領域情報が作成されている。画質劣化判定部８が出力したフレーム内評価情報はフレームごとの画質劣化情報であるため、フレームによっては、複数のフレームの画質劣化情報が重なるところが存在する（図１０参照）。これを解消するために、劣化判定結合部９が１つのフレームに複数のフレームの画質劣化情報が重なっている場合には、当該フレームのフレーム内評価情報にあるフレーム内の各評価ブロックの画質評価値の評価ブロック毎の論理和を取ることによって、フレームが重なっている部分のフレーム内評価情報を１つに結合する。
以上のようにして画質評価装置１００は、入力されたデコード画像の元画像に対する劣化情報を出力することができる。劣化情報は、上記説明したとおりフレーム毎に１つに結合されたフレーム内評価情報であり、どのフレームのどの評価ブロックが劣化しているか、を示す情報である。なお、劣化情報の表現方法については本発明では限定しない。
【００５３】
以下、本実施形態の画質評価装置１００の動作例について説明する。
図２０は、画質評価装置１００の動作例を示す図である。
ステップＳＴ１：
ブロック分割部１が、入力された画像（エンコード（符号化）前の元画像と、ＭＰＥＧ等でエンコードされデコードされたデコード画像）を評価ブロックに分割する。
ステップＳＴ２：
ブロック情報作成部２が、ステップＳＴ１においてブロック分割部１が分割した各評価ブロックに対し、ブロック情報を作成する。
【００５４】
ステップＳＴ３：
フレーム情報作成部３が、ブロック情報作成部２が作成したブロック情報を基に、フレーム情報を作成する。また、作成されたフレーム情報は、フレーム情報バッファ４に一時記憶される。
ステップＳＴ４：
時空間領域分割部５は、元画像の各フレームを時空間領域に分割する。この際、ｎフレーム分の時空間領域分割処理が終わったら、次の処理はｎ／２フレーム進んだ位置からｎフレーム分の時空間領域処理を行うことをフレームの終わりまで繰り返す。
【００５５】
ステップＳＴ５：
時空間領域情報作成部６は、ステップＳＴ３においてフレーム情報作成部３が作成したフレーム情報をｎフレーム分ずつフレーム情報バッファ４から読み出し、ステップＳＴ４において時空間領域分割部５が分割した時空間領域毎に分類し、時空間領域情報を作成する。この際、フレーム情報バッファ４からｎフレーム分のフレーム情報を読み出し時空間領域作成が終わったら、次の処理はステップＳＴ４の時空間領域分割部５と同様にｎ／２フレーム進んだ位置からｎフレーム分を読み出し、処理を行う。また、時空間領域情報作成部６が作成した時空間領域情報は、時空間領域情報バッファ７に一時記憶される。
ステップＳＴ６：
画質劣化判定部８は、ステップＳＴ５において時空間領域情報作成部６が作成した時空間領域情報を、時空間領域情報バッファ７からｎフレーム分ずつ読み出し、当該ｎフレーム分のフレーム内評価情報を作成する。
【００５６】
ステップＳＴ７：
劣化判定結合部９は、ステップＳＴ６において画質劣化判定部８が作成したフレーム内評価情報を、ｎ／２フレームずつ重なっているフレームで論理和をとって結合し、入力されたデコード画像の劣化情報を出力する。
【００５７】
以上説明したように、本実施形態の画質評価装置１００によれば、元画像とＭＰＥＧ等のハイブリッド符号化で符合化された画像をデコードしてデコード画像との動画像データを入力し、元画像から時空間領域を抽出して、入力画像を各時空間領域に分割して、分割された時空間領域毎に画質劣化判定を行うので、時空間周波数特性を考慮に入れた画質劣化判定を行うことができ、精度の高い画質劣化判定を行うことができる。
【００５８】
また、本実施形態の画質評価装置１００によれば、時空間領域分割部５が元画像から時空間領域を抽出する場合や、時空間領域情報作成部６が時空間領域情報を作成する場合、及び画質劣化判定部８が画質劣化判定を行う場合に、ｎフレーム分ずつ行うため、少ないリソースで画質劣化判定を行うことができる。具体的には、フレーム情報バッファ４や時空間領域情報バッファ７等の記憶容量を小さく抑えることが可能である。また、時空間領域分割部５や画質劣化判定部８の演算量が小さくて済む。
【００５９】
また、本実施形態の画質評価装置１００によれば、画質劣化判定部８において、画質基準値評価部８３がフレームごとの絶対的な劣化判定を行い、画質基準値遷移評価部８４がＧＯＰごとの画質の変化量を基に劣化判定を行うので、従来の客観的画質評価装置では劣化ありなのか無しなのかをはっきりと決められなかった領域に対しても、効果的に劣化判定を行うことができる。
【００６０】
＜第２実施形態＞
本第２実施形態では、符号化装置について説明する。
本実施形態の符号化装置２００は、図２１に示すように、エンコーダ２０１、デコーダ２０２、画質評価装置１００がバス２０３によって接続されている。
【００６１】
エンコーダ２０１は、入力された元画像（動画像データ）を、予め設定したビットレートやその他のパラメータに従ってエンコード（符号化）する。エンコーダ２０１は、ＭＰＥＧ等のハイブリッド符号化形式でエンコードを行うとする。
デコーダ２０２は、エンコーダ２０１がエンコードした符号化画像をデコード（復号）する。
画質評価装置１００は、第１実施形態において説明した画質評価装置であり、元画像と、元画像をエンコーダ２０１がエンコードしたものをデコーダ２０２がデコードした画像（デコード画像）とを入力して、デコード画像の画質評価を行い、劣化情報を出力する。
上述したエンコーダ２０１、デコーダ２０２、及び画質評価装置１００は、バス２０３によって接続されている。
【００６２】
本実施形態の符号化装置２００では、画質評価装置１００が出力したデコード画像の劣化情報を基に、エンコーダ２０１がビットレート等パラメータを変更して再エンコードを行う。
以下、画質評価装置１００が出力したデコード画像の劣化情報を基に、エンコーダ２０１がビットレート等パラメータを変更して再エンコードを行う場合の符号化装置２００の動作例について説明する。
【００６３】
図２２は、符号化装置２００の動作例を示すフローチャートである。
ステップＳＴ１１：
エンコーダ２０１は、入力された元画像をエンコードし、エンコード画像を出力する。
ステップＳＴ１２：
デコーダ２０２は、ステップＳＴ１１においてエンコーダ２０１がエンコードしたエンコード画像をデコードし、デコード画像を作成する。この際に、デコーダ２０２は、画質評価装置１００に入力するデコード情報を作成する。デコード情報については、第１実施形態において説明したデコード情報と同様であるので、ここでは説明を省略する。
【００６４】
ステップＳＴ１３：
元画像と、ステップＳＴ１２において作成されたデコード画像及びデコード情報とを基に、画質評価装置１００が入力画像の劣化判定を行い、劣化情報を出力する。画質評価装置１００の劣化判定については、第１実施形態と同様であるので、ここでは説明を省略する。
ステップＳＴ１４：
エンコーダ２０１は、ステップＳＴ１３において出力された劣化情報を基に、劣化した評価ブロックが存在するフレームを、ビットレート等のパラメータを再設定して（ステップＳＴ１１におけるエンコード時と異なるパラメータに設定して）再度エンコードを行う。
本ステップＳＴ１４における再エンコード時のビットレート等パラメータの設定方法については、本発明では限定しない。例えば、符号化装置２００のユーザが、画質評価装置１００が出力した劣化情報を見て、劣化したブロックが存在するフレームを実際に再生しながら劣化の度合いを確認し、これを基にユーザが再エンコード時のパラメータを設定しても良いし、予め再エンコード時に適用するパラメータを決定しておき、エンコーダ２０１が再エンコード時に自動的に当該予め決定されたパラメータを使用して再エンコードを行っても良いし、劣化情報から自動的にパラメータを決定しこれを使用して再エンコードを行っても良い。
また、再エンコード時に改めて設定するパラメータも、本発明では限定しない。例えば、パス数を変更して改めて設定する等してもよい。
【００６５】
以上説明したように、本第２実施形態の符号化装置２００によれば、画質評価装置１００が出力した劣化情報を基に、エンコーダ２０１がパラメータを改めて設定して再エンコードを行うので、最初に設定したパラメータでエンコードされたエンコード画像の劣化部分を抽出し、設定しなおしたパラメータで画質が良くなるように再エンコードすることができ、最終的に出力されるエンコード画像の画質が全体的に良くなる。
【００６６】
なお、上述した実施形態では、エンコーダ２０１が再エンコードを行う際には、劣化情報を基に、劣化した評価ブロックが存在するフレームのみ再エンコードを行うとしたが、本発明はこれには限定されない。すなわち、劣化情報により、デコード画像に劣化ありと判断された場合には、元画像から全てのフレームをエンコードしなおすようにしてもよい。
【００６７】
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【００６８】
上述した各実施形態では、ｎ／２フレームずつずらして処理を行っていたが、本発明はこれには限定されない。ｎ／ｍフレーム（ｍはｎより小さい数）ずつでも良い。すなわち、前回の処理単位とその次の処理単位とが重なるように処理を行えばよい。
【図面の簡単な説明】
【００６９】
【図１】図１は、第１実施形態の画質評価装置１００のブロック図である。
【図２】図２は、入力された画像データのフレームと、ブロック分割部１が分割した評価ブロックとの関係を示す図である。
【図３】図３は、ブロック情報の構成を説明するための図である。
【図４】図４は、フレーム情報の構成を説明するための図である。
【図５】図５は、デコード情報の構成を説明するための図である。
【図６】図６は、オブジェクト認定用ブロック情報の構成を説明するための図である。
【図７】図７は、時空間領域分割部５の行う関連付け判定の概念図である。
【図８】図８は、フレーム内オブジェクト情報の構成を説明するための図である。
【図９】図９は、フレームｉ〜ｉ＋３のオブジェクトの関連付けを説明するための図である。
【図１０】図１０は、時空間領域分割部５が時空間分割処理を行う際に、時空間領域分割の対象となるフレームをｎ／２フレームずつずらしている様子を示す概念図である。
【図１１】図１１は、時空間領域情報の構成を説明するための図である。
【図１２】図１２は、領域マスク情報の一例を示す図である。
【図１３】図１３は、画質劣化判定部８の構成を示すブロック図である。
【図１４】図１４は、中心部・周辺部分割部８１が中心と周辺とを分割する様子を示す概念図である。
【図１５】図１５は、分割時空間領域情報の構成を説明するための図である。
【図１６】図１６は、時空間領域画質基準値情報の構成を示す図である。
【図１７】図１７は、重み付け関数の一例を示す図である。
【図１８】図１８は、フレーム内評価情報の構成を説明するための図である。
【図１９】図１９は、ＧＯＰ内の画質基準値の最小値の遷移と時間との関係を示す図である。
【図２０】図２０は、画質評価装置１００の動作例を説明するためのフローチャートである。
【図２１】図２１は、第２実施形態の符号化装置２００のブロック図である。
【図２２】図２２は、第２実施形態の符号化装置２００の動作例を説明するためのフローチャートである。
【符号の説明】
【００７０】
１００…画質評価装置、１…ブロック分割部、２…ブロック情報作成部、３…フレーム情報作成部、４…フレーム情報バッファ、５…時空間領域分割部、６…時空間領域情報作成部、７…時空間領域情報バッファ、８…画質劣化判定部、８１…中心部・周辺部分割部、８２…画質基準値計算部、８３…画質基準値評価部、８４…画質基準値遷移評価部、８５…評価情報作成部、９…劣化判定結合部、２００…符号化装置、２０１…エンコーダ、２０２…デコーダ、２０３…バス
【特許請求の範囲】
【請求項１】
デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置であって、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、
前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、
前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に符号化済み画像の劣化判定を行う画質劣化判定部と、
を有する画質評価装置。
【請求項２】
前記劣化判定部は、前記フレーム情報作成部が分類した時空間領域毎に平均二乗誤差を基にした画質基準値を算出し、当該画質基準値を所定のしきい値と比較して劣化判定を行う
請求項１に記載の画質評価装置。
【請求項３】
前記符号化済み動画像データは、画像内の時間的な冗長情報と空間的な冗長情報との両方を削減した符号化方式であるハイブリッド符号化方式によって符合化された動画像データである
請求項１に記載の画質評価装置。
【請求項４】
前記入力された前記元画像データ及び前記符号化済み動画像データの各フレームの画像データを所定の大きさのブロックに分割するブロック分割部
をさらに有する請求項３に記載の画質評価装置。
【請求項５】
前記時空間領域分割部は、第１の所定数のフレームの画像データを時空間領域に分割する際に、分割する前記第１の所定数のフレームの画像データの開始フレームの画像データを、前回分割を行った第１の所定数のフレームの画像データの開始フレームの画像データから前記第１の所定数よりも少ない第２の所定数だけずらす
請求項３に記載の画質評価装置。
【請求項６】
前記フレーム情報分類部は、前記第１の所定数のフレームの画像データ分のフレーム情報を分類する際に、分類する前記第１の所定数のフレームの画像データの開始フレームを、前回分類した第１の所定数のフレームの画像データの開始フレームから、前記第２の所定数だけずらす
請求５に記載の画質評価装置。
【請求項７】
前記画質劣化判定部は、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に、各フレームの画像データの時空間領域を中心部と周辺部とに分割する中心部・周辺部分割部を有する
請求項６に記載の画質評価装置。
【請求項８】
前記画質劣化判定部は、前記中心部・周辺部分割部が分割した各中心部及び周辺部に対して前記画質基準値を算出する画質基準値計算部をさらに有する
請求項７に記載の画質評価装置。
【請求項９】
前記画質基準値計算部が算出する前記画質基準値は、前記中心部・周辺部分割部が分割した各中心部及び周辺部に対する算出される
請求項８に記載の画質評価装置。
【請求項１０】
前記画質基準値計算部は、前記画質基準値算出時に、人間の視覚特性に応じて重み付けを行う
請求項９に記載の画質評価装置。
【請求項１１】
前記画質劣化判定部は、前記画質基準値計算部が算出した前記画質基準値が所定のしきい値以上であれば劣化なし、所定のしきい値未満であれば劣化ありと判定する画質基準値評価部をさらに有する
請求項１０に記載の画質評価装置。
【請求項１２】
前記画質劣化判定部は、前記符号化済み動画像データのＧＯＰ内での前記画質基準値の最小値を抽出し、当該最小値が所定の上限値未満所定の下限値以上の範囲に収まるＧＯＰ群を抽出して、抽出されたＧＯＰ群内で隣接ＧＯＰとの減少方向への差分が所定の画質基準差分値以上であるＧＯＰから、当該ＧＯＰの画質基準値を超えるＧＯＰまでを劣化区間を判定し、当該劣化区間内の全てのフレームの画像データを劣化あり、それ以外の区間を劣化なしと判定する画質基準値遷移評価部をさらに有する
請求項１１に記載の画質評価装置。
【請求項１３】
前記画質劣化判定部は、前記画質劣化判定部と、前記画質基準値遷移評価部とが判定した劣化判定に対し、ブロック単位で論理和をとり、すべてのブロックに対し１つの劣化判定を決定する劣化判定決定部をさらに有する
請求項１２に記載の画質評価装置。
【請求項１４】
前記第２の所定数のフレームの画像データだけ重なった、前記画質劣化判定部が出力した劣化判定を結合する劣化判定結合部
をさらに有する請求項１３に記載の画質評価装置。
【請求項１５】
デジタル動画像データの符号化を行う符号化部と、
前記デジタル動画像データと、前記符号化部が符号化した符号化済み動画像データを前記元画像データ及び前記符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置と、
を有し、
前記画質評価装置は、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、
前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、
前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う画質劣化判定部と、
を有し、
前記符号化部は、前記劣化判定の結果を基に、符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う
符号化装置。
【請求項１６】
前記符号化部は、前記画質評価装置が劣化判定を行った場合に、自動的に符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う
請求項１５に記載の符号化装置。
【請求項１７】
デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価方法であって、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成する第１の工程と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する第２の工程と、
前記第２の工程において分割された時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類する第３の工程と、
前記第３の工程において分類された前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う第４の工程と、
を有する画質評価方法。
【請求項１】
デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置であって、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、
前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、
前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に符号化済み画像の劣化判定を行う画質劣化判定部と、
を有する画質評価装置。
【請求項２】
前記劣化判定部は、前記フレーム情報作成部が分類した時空間領域毎に平均二乗誤差を基にした画質基準値を算出し、当該画質基準値を所定のしきい値と比較して劣化判定を行う
請求項１に記載の画質評価装置。
【請求項３】
前記符号化済み動画像データは、画像内の時間的な冗長情報と空間的な冗長情報との両方を削減した符号化方式であるハイブリッド符号化方式によって符合化された動画像データである
請求項１に記載の画質評価装置。
【請求項４】
前記入力された前記元画像データ及び前記符号化済み動画像データの各フレームの画像データを所定の大きさのブロックに分割するブロック分割部
をさらに有する請求項３に記載の画質評価装置。
【請求項５】
前記時空間領域分割部は、第１の所定数のフレームの画像データを時空間領域に分割する際に、分割する前記第１の所定数のフレームの画像データの開始フレームの画像データを、前回分割を行った第１の所定数のフレームの画像データの開始フレームの画像データから前記第１の所定数よりも少ない第２の所定数だけずらす
請求項３に記載の画質評価装置。
【請求項６】
前記フレーム情報分類部は、前記第１の所定数のフレームの画像データ分のフレーム情報を分類する際に、分類する前記第１の所定数のフレームの画像データの開始フレームを、前回分類した第１の所定数のフレームの画像データの開始フレームから、前記第２の所定数だけずらす
請求５に記載の画質評価装置。
【請求項７】
前記画質劣化判定部は、前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に、各フレームの画像データの時空間領域を中心部と周辺部とに分割する中心部・周辺部分割部を有する
請求項６に記載の画質評価装置。
【請求項８】
前記画質劣化判定部は、前記中心部・周辺部分割部が分割した各中心部及び周辺部に対して前記画質基準値を算出する画質基準値計算部をさらに有する
請求項７に記載の画質評価装置。
【請求項９】
前記画質基準値計算部が算出する前記画質基準値は、前記中心部・周辺部分割部が分割した各中心部及び周辺部に対する算出される
請求項８に記載の画質評価装置。
【請求項１０】
前記画質基準値計算部は、前記画質基準値算出時に、人間の視覚特性に応じて重み付けを行う
請求項９に記載の画質評価装置。
【請求項１１】
前記画質劣化判定部は、前記画質基準値計算部が算出した前記画質基準値が所定のしきい値以上であれば劣化なし、所定のしきい値未満であれば劣化ありと判定する画質基準値評価部をさらに有する
請求項１０に記載の画質評価装置。
【請求項１２】
前記画質劣化判定部は、前記符号化済み動画像データのＧＯＰ内での前記画質基準値の最小値を抽出し、当該最小値が所定の上限値未満所定の下限値以上の範囲に収まるＧＯＰ群を抽出して、抽出されたＧＯＰ群内で隣接ＧＯＰとの減少方向への差分が所定の画質基準差分値以上であるＧＯＰから、当該ＧＯＰの画質基準値を超えるＧＯＰまでを劣化区間を判定し、当該劣化区間内の全てのフレームの画像データを劣化あり、それ以外の区間を劣化なしと判定する画質基準値遷移評価部をさらに有する
請求項１１に記載の画質評価装置。
【請求項１３】
前記画質劣化判定部は、前記画質劣化判定部と、前記画質基準値遷移評価部とが判定した劣化判定に対し、ブロック単位で論理和をとり、すべてのブロックに対し１つの劣化判定を決定する劣化判定決定部をさらに有する
請求項１２に記載の画質評価装置。
【請求項１４】
前記第２の所定数のフレームの画像データだけ重なった、前記画質劣化判定部が出力した劣化判定を結合する劣化判定結合部
をさらに有する請求項１３に記載の画質評価装置。
【請求項１５】
デジタル動画像データの符号化を行う符号化部と、
前記デジタル動画像データと、前記符号化部が符号化した符号化済み動画像データを前記元画像データ及び前記符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価装置と、
を有し、
前記画質評価装置は、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成するフレーム情報作成部と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する時空間領域分割部と、
前記時空間領域分割部が分割した時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類するフレーム情報分類部と、
前記フレーム情報分類部が分類した前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う画質劣化判定部と、
を有し、
前記符号化部は、前記劣化判定の結果を基に、符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う
符号化装置。
【請求項１６】
前記符号化部は、前記画質評価装置が劣化判定を行った場合に、自動的に符号化に関する所定のパラメータを変化させて前記デジタル動画像データの再符号化を行う
請求項１５に記載の符号化装置。
【請求項１７】
デジタル動画像データと、当該デジタル動画像データを符号化処理した符号化済み動画像データの画質評価値を算出することによって前記符号化済み動画像データの客観的画質評価を行う画質評価方法であって、
フレームの画像データごとに、当該フレームの画像データに関するフレーム情報を作成する第１の工程と、
前記元画像データの第１の所定数のフレームの画像データを１または複数の時空間領域に分割する第２の工程と、
前記第２の工程において分割された時空間領域毎に、前記第１の所定数のフレームの画像データ分の前記フレーム情報を分類する第３の工程と、
前記第３の工程において分類された前記第１の所定数のフレームの画像データ分のフレーム情報を基に劣化判定を行う第４の工程と、
を有する画質評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００８−２８７０７（Ｐ２００８−２８７０７Ａ）
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願番号】特願２００６−１９９２１９（Ｐ２００６−１９９２１９）
【出願日】平成１８年７月２１日（２００６．７．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年２月７日（２００８．２．７）
【国際特許分類】
【出願日】平成１８年７月２１日（２００６．７．２１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]