画質評価装置、画質評価方法、および、コンピュータ・プログラム
【課題】劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする画質評価装置を提供すること。
【解決手段】動画像から評価対象フレームを抽出する評価対象フレーム抽出部１１と、評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部１２と、評価対象フレームに含まれる各画素集合から抽出される情報と、近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部１３と、各画素集合について算出された差分情報に基づき動画像の画質評価値を算出する画質評価部１４と、を備える。
【解決手段】動画像から評価対象フレームを抽出する評価対象フレーム抽出部１１と、評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部１２と、評価対象フレームに含まれる各画素集合から抽出される情報と、近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部１３と、各画素集合について算出された差分情報に基づき動画像の画質評価値を算出する画質評価部１４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画質を評価する画質評価装置に関し、特に、動画像の劣化の程度を評価する画質評価装置に関する。
【背景技術】
【０００２】
画像の劣化の程度を客観的に評価するには、劣化した画像（以下、劣化画像という）と、その劣化画像が劣化する前の原画像との比較を行うことが一般的である。例えば、非特許文献１には、劣化画像と原画像との直接比較により画質評価を行う画質評価装置が記載されている。
【０００３】
また、非特許文献２には、劣化画像と、原画像から抽出した特徴量とを用いて画質評価を行う画質評価装置が記載されている。
【０００４】
また、特許文献１には、原画像が取得できない場合に対応して、劣化画像単体で画質評価を行う画質評価装置が記載されている。この特許文献１に記載の画質評価装置は、符号化された劣化画像を復号する過程で得られる情報と、復号後の画像情報とを用いて、画質評価を行っている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”, ITU-T Recommendation J.144, 2003．
【非特許文献２】“Perceptual video quality measurement techniques for digital cable television in the presence of a reduced reference”， ITU-T Recommendation J.249， 2010．
【特許文献】
【０００６】
【特許文献１】ＷＯ２００８／０９３７１４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１および非特許文献２に記載の画質評価装置は、原画像との比較により画質評価を行うため、原画像の存在を必要とする。したがって、原画像が存在しない場合には、画質評価を行うことができないという課題があった。
【０００８】
また、特許文献１に記載の画質評価装置は、符号化された劣化画像を復号する過程で得られる情報を用いて画質評価を行うため、復号装置内部の情報を参照する必要がある。ところが、すでに復号が完了している場合や、復号装置がセットトップボックスなどハードウェア内部にあり内部情報を参照できない場合は、復号過程の情報を取得することができない。このように、復号過程の情報を取得できない場合には、画質評価を行うことができないという課題があった。
【０００９】
本発明は、上述の課題を解決するためになされたもので、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする画質評価装置、画像評価方法およびコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画質評価装置は、動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、を備える。
【００１１】
また、本発明の画質評価方法は、動画像から評価対象フレームを抽出し、前記評価対象フレームの近傍フレームを抽出し、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する。
【００１２】
また、本発明のコンピュータ・プログラムは、動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、をコンピュータ装置に実行させる。
【発明の効果】
【００１３】
本発明は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする画質評価装置、画像評価方法およびコンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態としての画質評価装置の機能ブロック構成図である。
【図２】本発明の第１の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図３】本発明の第２の実施の形態としての画質評価装置の機能ブロック構成図である。
【図４】本発明の第２の実施の形態におけるブロック歪量の算出方法の一例を説明する図である。
【図５】本発明の第２の実施の形態におけるボケ量の算出方法の一例を説明する図である。
【図６】本発明の第２の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図７】本発明の第３の実施の形態としての画質評価装置の機能ブロック構成図である。
【図８】本発明の第３の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図９】本発明の第４の実施の形態としての画質評価装置の機能ブロック構成図である。
【図１０】本発明の第４の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１６】
（第１の実施の形態）
本発明の第１の実施の形態としての画質評価装置１の機能ブロック構成を図１に示す。
【００１７】
図１において、画質評価装置１は、評価対象フレーム抽出部１１と、近傍フレーム抽出部１２と、差分情報算出部１３と、画質評価部１４とを備える。
【００１８】
ここで、画質評価装置１は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置１の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置１の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【００１９】
評価対象フレーム抽出部１１は、動画像を構成するフレームのうち、評価対象フレームを抽出する。具体的には、評価対象フレーム抽出部１１は、画質評価の対象となる劣化した動画像（以下、劣化画像ともいう）を取得する。そして、評価対象フレーム抽出部１１は、取得した劣化画像を構成するフレームのうち評価対象となる評価対象フレームを選択する。さらに、評価対象フレーム抽出部１１は、選択した評価対象フレームを構成する各画素の値（以下、画素値という）を抽出する。この画素値は、例えば、輝度（Ｙ）または色差（Ｃｂ、Ｃｒ）の形式で表されていてもよい。あるいは、画素値は、赤、青、緑で構成されるＲＧＢなど他の形式で表されていてもよい。
【００２０】
なお、評価対象フレーム抽出部１１は、画質評価装置１を構成するコンピュータ装置の補助記憶装置から劣化画像を取得してもよい。あるいは、評価対象フレーム抽出部１１は、周辺機器接続インタフェースやネットワークインタフェースを介して外部から劣化画像を取得してもよい。
【００２１】
また、評価対象フレーム抽出部１１は、抽出した評価対象フレームに対する他の機能ブロックによる処理終了後、劣化画像を構成する他のフレームを評価対象フレームとして抽出してもよい。例えば、評価対象フレーム抽出部１１は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして抽出してもよい。あるいは、評価対象フレーム抽出部１１は、劣化画像を構成する一部のフレームを所定の順序で評価対象フレームとして抽出してもよい。
【００２２】
近傍フレーム抽出部１２は、評価対象フレームの近傍フレームを抽出する。具体的には、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的な位置が近いフレームの各画素値を抽出する。例えば、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に後に隣接したフレームの各画素値を抽出してもよい。また、近傍フレーム抽出部１２は、１つの評価対象フレームに対して、１つ以上の近傍フレームを抽出しても構わない。例えば、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に前後に隣接する２枚の近傍フレームを抽出してもよい。あるいは、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に前後に連続する複数枚ずつの近傍フレームを抽出してもよいし、そのうちの一部のフレームを抽出してもよい。
【００２３】
差分情報算出部１３は、評価対象フレームに含まれる各画素集合から抽出される情報と、近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する。例えば、差分情報算出部１３は、評価対象フレームに含まれる所定の１つ以上の各領域内の画素集合に対して、対応画素集合との差分情報を算出してもよい。
【００２４】
具体的には、差分情報算出部１３は、評価対象フレームに含まれる各画素集合に対応する近傍フレームの対応画素集合を推定する。すなわち、差分情報算出部１３は、評価対象フレームに含まれる各画素集合に映された対象物が近傍フレームにおいて映されている対応画素集合を推定する。つまり、差分情報算出部１３は、評価対象フレームの各画素集合の動きを推定してもよい。この場合、差分情報算出部１３は、動画像における動き推定に関する一般的なアルゴリズムを用いて対応画素集合を推定可能である。
【００２５】
また、差分情報算出部１３は、評価対象フレームに含まれる画素集合ごとに、該画素集合から抽出される情報と、対応画素集合から抽出される情報との差分を表す差分情報を、算出するが、この差分情報は、次のような値であっても良い。すなわち、差分情報は、例えば、評価対象フレームの画素集合に含まれる各画素値と、対応画素集合に含まれる各画素値との差分絶対値和であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の各画素値と、対応画素集合の各画素値との差分二乗和であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の画素値の平均と、対応画素集合の画素値の平均との差分であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の画素値の分散と、対応画素集合の画素値の分散との差分であってもよい。あるいは、差分情報は、評価対象フレームの画素集合のアクティビティ値と、対応画素集合のアクティビティ値との差分であってもよい。ここで、アクティビティ値とは、例えば、次のようにして算出される値である。まず、該当する画素集合内の画素値の平均が求められる。そして、該当する画素集合内の各画素値について画素値平均との差分が求められる。そして、これらの差分の絶対値の平均が、該当する画素集合のアクティビティ値となる。なお、差分情報算出部１３は、差分情報を算出する際に用いる画素値として、各画素の輝度値、ＲＧＢを表す値、あるいは、色差を表す値を用いてもよい。
【００２６】
画質評価部１４は、評価対象フレームの各画素集合について対応画素集合との間で算出された差分情報に基づいて、画質評価値を算出する。例えば、画質評価部１４は、これらの差分情報の平均値や最大値を画質評価値としてもよい。
【００２７】
以上のように構成された画質評価装置１の動作について、図２を参照して説明する。
【００２８】
まず、評価対象フレーム抽出部１１は、画質評価の対象となる劣化画像を取得する（ステップＳ１０１）。
【００２９】
例えば、評価対象フレーム抽出部１１は、入力装置を介して指定される劣化画像を補助記憶装置から取得してもよいし、周辺機器インタフェースやネットワークを介して接続された外部の装置から取得してもよい。
【００３０】
次に、評価対象フレーム抽出部１１は、評価対象フレームを抽出する（ステップＳ１０２）。
【００３１】
例えば、評価対象フレーム抽出部１１は、動画像の先頭のフレームを評価対象フレームとして該フレームの各画素値を抽出してもよい。
【００３２】
次に、近傍フレーム抽出部１２は、ステップＳ１０２で抽出した評価対象フレームの近傍フレームを抽出する（ステップＳ１０３）。
【００３３】
例えば、近傍フレーム抽出部１２は、評価対象フレームの後に隣接するフレームを近傍フレームとして該フレームの各画素値を抽出してもよい。
【００３４】
次に、差分情報算出部１３は、評価対象フレームに含まれる画素集合の１つを処理対象として選択する（ステップＳ１０４）。
【００３５】
例えば、差分情報算出部１３は、評価対象フレームに含まれる所定の１つ以上の領域のうちの１つに対応する画素集合を処理対象として選択してもよい。
【００３６】
次に、差分情報算出部１３は、処理対象の画素集合に対応する近傍フレームの対応画素集合の位置を推定する（ステップＳ１０５）。
【００３７】
例えば、差分情報算出部１３は、処理対象の画素集合に含まれる各画素の輝度値と、近傍フレームの任意の画素集合に含まれる各画素の輝度値との差分絶対値和が最も小さくなる位置の画素集合を対応画素集合として推定してもよい。
【００３８】
次に、差分情報算出部１３は、処理対象の画素集合から抽出される情報と、対応画素集合から抽出される情報との差分を表す差分情報を算出する（ステップＳ１０６）。
【００３９】
例えば、差分情報算出部１３は、差分情報として、処理対象の画素集合のアクティビティ値と、対応画素集合のアクティビティ値の差分を算出する。
【００４０】
次に、画質評価装置１は、評価対象フレーム内で処理対象となる画素集合のうち未処理のものが存在するか否かを判断する（ステップＳ１０７）。
【００４１】
例えば、画質評価装置１は、評価対象フレームにおいて定められた所定の各領域に対応する全画素集合について処理を行ったか否かを判断してもよい。
【００４２】
ここで、未処理の画素集合が存在すると判断した場合、画質評価装置１は、次の画素集合に対してステップＳ１０４〜Ｓ１０６の処理を実行する。
【００４３】
一方、処理対象となる全画素集合に対する処理を終了した場合、画質評価装置１は、ステップＳ１０１で取得した劣化画像において、評価対象となる他のフレームが存在するか否かを判断する（ステップＳ１０８）。
【００４４】
例えば、画質評価装置１は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして処理する場合、次のフレームの１つ後の近傍フレーム（すなわち、処理を終えたフレームの２つ後のフレーム）が存在するか否かを判断してもよい。
【００４５】
ここで、評価対象となる他のフレームが存在すると判断した場合、画質評価装置１は、次の評価対象フレームについて、ステップＳ１０２からの処理を実行する。
【００４６】
一方、評価対象となる全フレームに対する処理を終了した場合、画質評価部１４は、ステップＳ１０６で画素集合ごとに算出した差分情報に基づいて画質評価値を算出する（ステップＳ１０９）。
【００４７】
例えば、画質評価部１４は、ステップＳ１０６で画素集合ごとに算出したアクティビティ差分値の平均を画質評価値として算出してもよい。これにより、画質評価値が大きいほど、画質の劣化程度が高いと判断できる。
【００４８】
以上で、画質評価装置１は動作を終了する。
【００４９】
次に、本発明の第１の実施の形態の効果について述べる。
【００５０】
本発明の第１の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする。
【００５１】
その理由は、差分情報算出部が、評価対象フレームに含まれる各画素集合と、近傍フレームにおいて対応する対応画素集合との間で、それぞれ抽出可能な情報の差分情報を求め、画質評価部が、これらの差分情報に基づいて画質評価値を算出するからである。これにより、本発明の第１の実施の形態としての画質評価装置は、各フレームに含まれる小領域と、該小領域に映された対象物が近傍フレームで映されていると推定される小領域との間で、画素値の変動が大きいほど劣化の程度が大きいことを表す画質評価値を算出することが可能となる。すなわち、フレームごとに劣化の発生仕方が異なるほど、近隣のフレームの対応する領域間でそれぞれ抽出可能な情報の差分が大きくなる。したがって、本発明の第１の実施の形態としての画質評価装置は、この差分の大小から画質の劣化を評価することが可能となる。
【００５２】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００５３】
まず、本発明の第２の実施の形態としての画質評価装置２の機能ブロック構成を図３に示す。
【００５４】
図３において、画質評価装置２は、本発明の第１の実施の形態としての画質評価装置１に対して、差分情報算出部１３に替えて差分情報算出部２３と、画質評価部１４に替えて画質評価部２４とを備える点が異なる。
【００５５】
ここで、画質評価装置２は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置２の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置２の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【００５６】
差分情報算出部２３は、評価対象フレームを１つ以上の画素集合に分割する。そして、差分情報算出部２３は、分割した各画素集合に対して、対応する対応画素集合との間で差分情報を算出する。なお、差分情報算出部２３は、分割した画素集合の全てに対して差分情報を算出しなくてもよい。例えば、差分情報算出部２３は、分割した画素集合を間引いて差分情報を算出してもよい。
【００５７】
また、差分情報算出部２３は、評価対象フレームを分割した各画素集合に基づく情報と、近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、対応画素集合の位置を推定する。例えば、差分情報算出部２３は、評価対象フレームの画素集合の各画素値と、近傍フレームにおける同サイズの任意の画素集合に含まれる各画素値との差分絶対値和を求める。そして、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の各画素値との差分絶対値和が最小となる位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合に含まれる各画素値との差分二乗和が最小となる位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の画素値の平均との差分が最小となる画素値の平均を有する位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の画素値の分散との差分が最小となる画素値の分散を有する位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合のアクティビティ値との差分が最小となるアクティビティ値を有する位置の画素集合を、対応画素集合として推定してもよい。
【００５８】
このとき、差分情報算出部２３は、評価対象フレームの各画素集合に対する相対位置が所定範囲の領域内において、対応画素集合を推定するようにしてもよい。例えば、評価対象フレームを１６画素×１６画素のサイズの画素集合に分割したことを想定する。この場合、差分情報算出部２３は、評価対象フレームの各画素集合の位置に対して、水平垂直それぞれ±３２画素の範囲の近傍フレームの領域において、上述の画素値の差分絶対値和が最小となる画素集合の位置を探してもよい。
【００５９】
また、差分情報算出部２３は、評価対象フレームの各画素集合と、対応画素集合との間で差分情報を算出する際に、所定の条件を満たす画素集合に対して差分情報を算出しなくてもよい。ここで所定の条件とは、各画素集合に対応する対応画素集合を推定する際に、各画素集合に基づく情報との差分が閾値より小さくなる画素集合を近傍フレームにおいて検出できない場合である。このような場合は、評価対象フレームの該当する画素集合に映された対象物が映されている対応画素集合が近傍フレームにないケースと考えることができる。したがって、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合に基づく情報との差分が閾値より小さくなる画素集合を検出できない場合には、該当する画素集合に対する差分情報の算出を省略してもよい。
【００６０】
なお、差分情報算出部２３は、対応画素集合を推定する際に用いる画素値、および、差分情報を算出する際に用いる画素値として、輝度値、色差を表す値、あるいは、ＲＧＢを表す値を用いてもよい。
【００６１】
画質評価部２４は、評価対象フレームの各画素集合について対応画素集合との間で算出された差分情報に、重み付けを施した上で画質評価値を算出する。これにより、画質評価部２４は、画質評価値と主観評価との相関を高くすることができる。
【００６２】
また、画質評価部２４は、この各画素集合について対応画素集合との間で算出された差分情報に対する重み付け係数を、該当する画素集合に関連する情報に基づいて算出可能である。ここで、画素集合に関連する情報とは、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報であってもよい。また、このような画素集合に関連する情報は、画素集合が含まれるフレームごとの内容に基づいて算出される情報であってもよいし、画素集合ごとの内容に基づいて算出される情報であってもよい。
【００６３】
例えば、ブロック歪、伝送エラー、あるいは、ボケは、それ自体が劣化の要因である。また、このような劣化は、フレームに一様に発生する傾向がある。このため、画質評価部２４は、ブロック歪、伝送エラー、あるいは、ボケ等の各値を、評価対象フレームについて算出し、算出した値が大きいほど大きい値の重み付け係数を決定してもよい。そして、画質評価部２４は、各画素集合について算出した差分情報に、その画素集合が含まれる評価対象フレームに基づいて算出した重み付け係数を適用して画質評価値を算出する。なお、画質評価部２４は、該当する評価対象フレームの近隣の各フレームでこれらのブロック歪、伝送エラー、あるいはボケ等の各値をさらに算出し、これら各値のフレームあたりの平均値に基づいて、重み付け係数を決定してもよい。
【００６４】
なお、ブロック歪量は、例えば、所定サイズの画素領域ごとのアクティビティ値に基づいて算出可能である。より具体的には、画質評価部２４は、図４（ａ）に示す水平方向に隣接する２つの８画素×８画素の画素集合ブロック１およびブロック２について、図４（ｂ）に示す式にしたがって、アクティビティの平均値ActAveを算出する。また、画質評価部２４は、この２つの画素集合ブロック１およびブロック２が接する部分の画素の輝度値の差分絶対値の平均値であるDiffBoundを、図４（ｃ）に示す式にしたがって算出する。そして、画質評価部２４は、平均値ActAveと平均値DiffBoundとの比を表すブロック歪量推定パラメータBlockを、図４（ｄ）に示す式にしたがって算出する。このようにして、画質評価部２４は、該当するフレームを含む近隣Ｎ個のフレームにおけるそれぞれＭ個の画素領域（ブロック１およびブロック２をあわせた領域）でブロック歪量推定パラメータBlocki,jを求める。そして、画質評価部２４は、これらの平均値BlockAveを、該当するフレームのブロック歪量として図４（ｅ）に示す式にしたがって算出すればよい。
【００６５】
また、ボケの量は、例えば、各フレームから検出されるエッジの幅に基づいて算出可能である。より具体的には、画質評価部２４は、ソーベルフィルタや高域通過フィルタ等を用いることによりエッジを検出する。そして、画質評価部２４は、エッジの幅を、エッジ領域での画素値の単調増加（または単調減少）の連続画素数として求める。ここで、図５に示すように、ボケの量は、エッジの急峻さと反比例する。すなわち、図５（ａ）では、エッジが急峻である（エッジの幅が小さい）ため、ボケが少ない。これに対して、図５（ｂ）では、エッジが急峻でない（エッジの幅が大きい）ため、ボケが多い。そこで、画質評価部２４は、フレームで検出される各エッジの幅に基づいて、該当するフレームにおけるボケの量を算出可能である。
【００６６】
また、例えば、空間周波数あるいは時間周波数が高い場合、視聴者に劣化が検知されにくい傾向にある。すなわち、映像において細かい模様の領域や動きの激しい領域では、視聴者が劣化を感じにくい。また、このような空間周波数あるいは時間周波数は、画素集合毎に異なる傾向がある。このため、画質評価部２４は、空間周波数または時間周波数の各値を画素集合ごとに算出し、算出した値が高いほど小さい値の重み付け係数を決定してもよい。もちろん、画質評価部２４は、このような空間周波数または時間周波数をフレームあたりで算出し、評価対象フレーム毎に重み付け係数を決定してもよい。なお、空間周波数および時間周波数は、例えば、離散コサイン変換により算出可能である。
【００６７】
また、特定のカラーが視聴者の劣化の感じやすさを左右する場合がある。例えば、肌色の多い領域は、人間が写っている可能性が高い。このため、肌色の多い領域は、視聴者に注視されがちとなり、劣化が視聴者に検知されやすい。また、このようなカラーも、画素集合毎に異なる傾向がある。そこで、画質評価部２４は、特定のカラー（例えば肌色）の割合を画素集合毎に算出し、特定のカラー割合の多い画素集合には、大きい値の重み付け係数を決定してもよい。もちろん、画質評価部２４は、このような特定カラーの割合をフレームあたりで算出し、評価対象フレーム毎に重み付け係数を決定してもよい。
【００６８】
以上のように構成された画質評価装置２の動作について、図６を参照して説明する。
【００６９】
まず、評価対象フレーム抽出部１１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【００７０】
次に、評価対象フレーム抽出部１１は、評価対象フレームを示すフレームポインタを、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにあわせる（ステップＳ２０２）。
【００７１】
例えば、評価対象フレーム抽出部１１は、劣化画像を構成するフレームの先頭にフレームポインタをあわせてもよい。
【００７２】
次に、評価対象フレーム抽出部１１は、フレームポインタが示す評価対象フレームの各画素値を抽出する（ステップＳ２０３）。
【００７３】
次に、近傍フレーム抽出部１２は、ステップＳ２０３で抽出した評価対象フレームの近傍フレームを抽出する（ステップＳ２０４）。
【００７４】
例えば、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的に１フレーム後のフレームの各画素値を抽出してもよい。
【００７５】
なお、ステップＳ２０３およびＳ２０４で抽出される各画素値は、輝度（Ｙ）情報であってもよい。あるいは、各画素値は、色差（Ｃｂ、Ｃｒ）を表す情報やＲＧＢを表す情報であっても良い。
【００７６】
次に、差分情報算出部２３は、評価対象フレームを所定サイズの画素集合に分割する（ステップＳ２０５）。例えば、差分情報算出部２３は、評価対象フレームを１６画素×１６画素の画素集合に分割してもよい。
【００７７】
次に、差分情報算出部２３は、処理対象の画素集合を示す画素集合ポインタを、ステップＳ２０５で分割した画素集合のうちの１つにあわせる（ステップＳ２０６）
例えば、差分情報算出部２３は、フレームの左上の画素集合にポインタを合わせてもよい。
【００７８】
次に、差分情報算出部２３は、画素集合ポインタの示す画素集合に基づく情報と、ステップＳ２０４で抽出した近傍フレームにおける任意の画素集合に基づく情報との差分を求める（ステップＳ２０７）。
【００７９】
このとき、差分情報算出部２３は、画素集合ポインタの示す画素集合に対する相対位置が、近傍フレームにおいて所定範囲の領域内の任意の画素集合に基づく情報との差分を求めるようにしてもよい。
【００８０】
例えば、差分情報算出部２３は、評価対象フレームの画素集合に含まれる各画素の輝度値と、近傍フレームの任意の画素集合に含まれる各画素の輝度値との差分絶対値の和を求めてもよい。
【００８１】
次に、差分情報算出部２３は、ステップＳ２０７で求めた差分に基づいて、近傍フレーム内の対応画素集合の位置を検出する（ステップＳ２０８）。
【００８２】
例えば、差分情報算出部２３は、ステップＳ２０７で求めた輝度値の差分絶対値和が最小となる位置の画素集合を、対応画素集合として推定してもよい。
【００８３】
次に、差分情報算出部２３は、ステップＳ２０８で推定した対応画素集合についてステップＳ２０７で算出した差分が閾値以下であるか否かを判断する（ステップＳ２０９）。
【００８４】
ここで、ステップＳ２０７で算出した差分が閾値より大きい場合、画質評価装置２は、この画素集合に対する処理を省略し、ステップＳ２１１に処理を進める。
【００８５】
一方、ステップＳ２０７で算出した差分が閾値以下である場合、差分情報算出部２３は、画素集合ポインタの示す画素集合から抽出される情報と、対応画素集合から抽出される情報との差分情報を算出する（ステップＳ２１０）。
【００８６】
例えば、差分情報算出部２３は、差分情報として、前述のアクティビティ値の差分を算出してもよい。
【００８７】
そして、画質評価装置２は、画素集合ポインタを、次の画素集合に進める（ステップＳ２１１）。
【００８８】
ここで、評価対象フレームを分割した画素集合のうち未処理のものが存在する場合（ステップＳ２１２でＹｅｓ）、画質評価装置２は、ステップＳ２０７からの処理を繰り返し実行する。
【００８９】
一方、評価対象フレームを分割した全画素集合の処理を終了した場合（ステップＳ２１２でＮｏ）、画質評価部２４は、評価対象フレームにおける重み付け係数を決定する（ステップＳ２１３）。
【００９０】
例えば、画質評価部２４は、評価対象フレームにおける、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報に基づいて重み付け係数を決定する。なお、もし、重み付け係数を画素集合毎の内容に基づいて決定する場合、画質評価部２４は、ステップＳ２１３の処理をステップＳ２１０およびＳ２１１の間に実行すればよい。
【００９１】
そして、画質評価装置２は、フレームポインタを次のフレームに進める（ステップＳ２１４）。
【００９２】
次に、劣化画像内で評価対象となるフレームのうち未処理のものが存在する場合（ステップＳ２１５でＹｅｓ）、画質評価装置２は、ステップＳ２０３からの処理を繰り返し実行する。
【００９３】
例えば、画質評価装置２は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして処理する場合、処理を終えた評価対象フレームの次のフレームの近傍フレーム（すなわち、処理を終えた評価対象フレームの２つ後のフレーム）が存在するか否かを判断してもよい。
【００９４】
一方、劣化画像で評価対象となる全フレームに対する処理を終了した場合（ステップＳ２１５でＮｏ）、画質評価部２４は、ステップＳ２１０で画素集合ごとに算出した差分情報に、ステップＳ２１３で算出した重み付け係数を適用した値に基づいて、画質評価値を算出する（ステップＳ２１６）。
【００９５】
例えば、画質評価部２４は、重み付け係数を適用した各差分情報の平均を画質評価値として算出してもよい。
【００９６】
以上で、画質評価装置２は動作を終了する。
【００９７】
次に、このような画質評価装置２の動作例について説明する。以下では、画質評価対象の画像は、ＳＤＴＶ（Standard Definition Television）サイズ（水平７２０画素×垂直４８０画素、毎秒３０フレーム）の劣化画像であるものと想定して説明する。
【００９８】
まず、評価対象フレーム抽出部１１は、この劣化画像を取得する（ステップＳ２０１）。
【００９９】
次に、評価対象フレーム抽出部１１は、まず先頭フレームを評価対象フレームとして、その輝度値を抽出する（ステップＳ２０２、Ｓ２０３）。
【０１００】
次に、近傍フレーム抽出部１２は、評価対象フレームの時間的に１つ後に隣接するフレームを抽出する（ステップＳ２０４）。
【０１０１】
次に、差分情報算出部２３は、評価対象フレームを１６画素×１６画素の画素集合に分割する。そして、差分情報算出部２３は、各画素集合に対して、近傍フレーム内の輝度値の差分絶対値和が最小となる位置の対応画素集合を、水平垂直それぞれ±３２画素の範囲で探す（ステップＳ２０５〜Ｓ２０８）。
【０１０２】
次に、差分情報算出部２３は、各画素集合のアクティビティ値と、近傍フレームの対応画素集合のアクティビティ値の差分を算出する（ステップＳ２１０）。
【０１０３】
評価対象フレームを分割した全ての画素集合についてアクティビティ差分を算出すると、画質評価部２４は、評価対象フレームを含む近隣３０フレームでそれぞれボケ量を算出し、算出したボケ量のフレームあたりの平均値に基づいて、重み付け係数を決定する（ステップＳ２１３）。
【０１０４】
次に、画質評価装置２は、フレームポインタを次の評価対象となるフレームに進め（ステップＳ２１４）、フレームポインタの示す評価対象フレームについて、ステップＳ２０４〜Ｓ２１３の処理を繰り返す。
【０１０５】
そして、劣化画像内で評価対象となる全フレームにおいて各画素集合に対する差分情報の算出を終了すると（ステップＳ２１５でＮｏ）、画質評価部２４は、ステップＳ２１０で算出した全ての差分情報に、ステップＳ２１３で算出した重み付け係数を適用した上で、画質評価値を算出する（ステップＳ２１６）。
【０１０６】
以上で、画質評価装置２の動作例の説明を終了する。
【０１０７】
次に、本発明の第２の実施の形態の効果について述べる。
【０１０８】
本発明の第２の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価をさらに高精度に行うことができる。
【０１０９】
その理由は、差分情報算出部が、評価対象フレームを分割した各画素集合との差分値が閾値より小さい対応画素集合を近傍フレームにおいて推定できない場合には、対応画素集合との間で差分情報を算出しないからである。これにより、本発明の第２の実施の形態としての画質評価装置は、各画素集合について、近傍フレームにおいて同一の対象物が映されていない可能性の高い対応画素集合との間で差分情報を算出することがない。そのような差分情報は、画質評価の有効な指標とならない可能性が高い。したがって、本発明の第２の実施の形態としての画質評価装置は、有効な指標とならない可能性が高い差分情報を画質評価値の算出に用いることがないからである。
【０１１０】
さらに、本発明の第２の実施の形態としての画質評価装置は、劣化画像単体での画質評価に視聴者の主観を反映させることができる。
【０１１１】
その理由は、画質評価部が、各画素集合について算出した差分情報について重み付けを施した上で画質評価値を算出するからである。例えば、画質評価部は、劣化そのものを左右するフレームのブロック歪、伝送エラー、あるいはボケ等の値の大きいフレームに含まれる画素集合について算出される差分情報には、より大きい重み付け係数を適用するからである。また、例えば、画質評価部は、空間周波数や時間周波数が高く、視聴者に劣化が検知されにくくなる画素集合について算出される差分情報については、より小さい重み付け係数を適用するからである。また、例えば、画質評価部は、視聴者に注視されやすいカラーの画素集合について算出される差分情報には、より大きい重み付け係数を適用するからである。
【０１１２】
なお、本実施の形態では、評価対象の劣化画像の全フレームにおいて、所定サイズに分割した全画素集合で差分情報を算出する動作例について説明した。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームや処理対象の画素集合を間引いて上述の差分情報を算出し、画質評価値を算出するようにしてもよい。
【０１１３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【０１１４】
まず、本発明の第３の実施の形態としての画質評価装置３の機能ブロック構成を図７に示す。図７において、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２に対して、評価対象フレーム抽出部１１に替えて評価対象フレーム抽出部３１を備え、さらにイントラ符号化フレーム検出部３５を備える点が異なる。
【０１１５】
ここで、画質評価装置３は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置３の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置３の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【０１１６】
イントラ符号化フレーム検出部３５は、劣化画像に含まれるフレームがイントラ符号化されたものであるか否かを調べる。なお、イントラ符号化フレーム検出部３５は、評価対象フレーム抽出部３１と共に、本発明の評価対象フレーム抽出部の一実施形態を構成している。
【０１１７】
一般に、ＭＰＥＧ−２（エムペグツー）方式等で符号化された画像の各フレームは、当該フレームのみの情報を利用して符号化されるイントラ符号化フレーム（Ｉピクチャ）と、フレーム間の予測を利用して符号化されるインター符号化フレーム（Ｐピクチャ、Ｂピクチャ）とに分類される。イントラ符号化フレーム検出部３５は、評価対象フレーム抽出部３１によって選択されたフレームがイントラ符号化フレームであるか否かを判断する。
【０１１８】
具体的には、イントラ符号化フレーム検出部３５は、フレームにあらかじめ対応付けられたフレーム種別情報を用いて、該フレームにイントラ符号化フレームであることを表す種別情報が対応付けられているか否かを判断するようにしてもよい。この場合、イントラ符号化フレーム検出部３５は、このようなフレーム種別情報を外部から取得してもよい。なお、このようなフレーム種別情報は、例えば、画像符号化装置により、画像が符号化される段階で出力されたものであってもよい。あるいは、このようなフレーム種別情報は、画像復号装置により、画像を復号する段階で出力されたものであってもよい。
【０１１９】
評価対象フレーム抽出部３１は、劣化画像を構成するフレームのうち、イントラ符号化フレームを評価対象フレームとして抽出する。具体的には、評価対象フレーム抽出部３１は、劣化画像を構成するフレームについて、イントラ符号化フレーム検出部３５を用いてイントラ符号化フレームであるか否かを判断する。
【０１２０】
以上のように構成された画質評価装置３の動作について、図８を参照して説明する。
【０１２１】
まず、評価対象フレーム抽出部３１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【０１２２】
次に、イントラ符号化フレーム検出部３５は、取得した劣化画像を構成する各フレームのフレーム種別情報を取得する（ステップＳ４０１）。
【０１２３】
次に、評価対象フレーム抽出部３１は、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにフレームポインタをあわせる（ステップＳ２０２）。
【０１２４】
例えば、評価対象フレーム抽出部３１は、劣化画像の先頭にフレームポインタをあわせてもよい。
【０１２５】
次に、イントラ符号化フレーム検出部３５は、フレーム種別情報を用いて、フレームポインタが示すフレームがイントラ符号化フレームであるか否かを判断する（ステップＳ４０２）。
【０１２６】
ここで、該当するフレームがイントラ符号化フレームでない場合、画質評価装置３は、処理をステップＳ２１４に進めて、フレームポインタを進める。
【０１２７】
一方、該当するフレームがイントラ符号化フレームである場合、評価対象フレーム抽出部３１は、フレームポインタが示すフレームを評価対象フレームとして、その各画素値を抽出する（ステップＳ２０３）。
【０１２８】
次に、近傍フレーム抽出部１２は、ステップＳ２０３で抽出した評価対象フレームの前後に連続するフレームのうち、１つ以上のフレームを近傍フレームとして抽出する（ステップ４０４）。
【０１２９】
例えば、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的に前後２フレームずつの計４フレームを抽出してもよい。
【０１３０】
そして、画質評価装置３は、各近傍フレームについて、ステップＳ２０５〜Ｓ２１２まで、本発明の第２の実施の形態としての画質評価装置２と同様に動作する。これにより、画質評価装置３は、イントラ符号化フレームと判断したフレームを分割した各画素集合と各近傍フレームにおける対応画素集合との間で差分情報を算出する。
【０１３１】
次に、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２と同様に、評価対象フレームについて重み付け係数を算出する（ステップＳ２１３）。
【０１３２】
そして、画質評価装置３は、フレームポインタを進め（ステップＳ２１４）、劣化画像を構成するフレームのうちイントラ符号化フレームと判断した全フレームについて各近傍フレームとの差分情報の算出を行う（ステップＳ４０２、Ｓ２０３〜Ｓ２１５）。
【０１３３】
次に、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２と同様に、ステップＳ２１０で算出した各差分情報に、ステップＳ２１３で算出した重み付け係数を適用し、画質評価値を算出する（ステップＳ２１６）。
【０１３４】
以上で、画質評価装置３は動作を終了する。
【０１３５】
次に、本発明の第３の実施の形態の効果について述べる。
【０１３６】
本発明の第３の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価をさらに高精度に行うことができる。
【０１３７】
その理由について説明する。一般に、イントラ符号化フレームと、インター符号化フレームでは劣化の発生仕方が異なる。例えば、イントラ符号化フレームは、劣化が小さくなるように符号化され、インター符号化フレームは劣化がやや大きくなるように符号化されている。また、インター符号化フレームでは略均一に劣化が発生することが考えられる。したがって、インター符号化フレーム間で差分情報を算出しても画質評価の有効な指標とならない可能性が高い。本発明の第３の実施の形態としての画質評価装置では、評価対象フレーム抽出部が、イントラ符号化フレーム検出部を用いて、イントラ符号化フレームを評価対象フレームとして抽出する。このとき、イントラ符号化フレームの前後にはインター符号化フレームが連続している。したがって、本発明の第３の実施の形態としての画質評価装置は、イントラ符号化フレームと、近傍フレームであるインター符号化フレームとの間で、各画素集合の差分情報を算出することになる。したがって、イントラ符号化フレームとインター符号化フレームとの間の各画素集合について算出される差分情報は、劣化の程度を評価する有効な指標となる。このように、本発明の第３の実施の形態としての画質評価装置は、有効な指標とならない可能性の高いインター符号化フレーム間の差分情報を用いずに、有効な指標となる可能性の高いイントラ符号化フレームとインター符号化フレームとの間の差分情報を用いて画質評価値を算出するからである。
【０１３８】
なお、本発明の各実施の形態では、評価対象の劣化画像における全イントラ符号化フレームにおいて、所定サイズに分割した全画素集合で、差分情報を算出する動作例について説明した。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームや分割した画素集合を間引いて上述の差分情報を算出し、画質評価値を算出するようにしてもよい。
【０１３９】
また、本発明の実施の形態において、近傍フレーム抽出部が、評価対象フレームの前後２つずつの計４フレームを近傍フレームとして抽出する例について説明したが、近傍フレームの数を限定するものではない。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームの前後にそれぞれ連続する１つ以上のフレームを近傍フレームとして抽出してもよい。また、評価対象フレームの２つ前後や３つ前後のフレームを近傍フレームとする等のように、評価対象フレームと近傍フレームとは必ずしも隣接していなくてもよい。ただし、近傍フレーム抽出部は、インター符号化フレームを近傍フレームとして抽出することが好ましい。
【０１４０】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【０１４１】
まず、本発明の第４の実施の形態としての画質評価装置４の機能ブロック構成を図９に示す。図９において、画質評価装置４は、本発明の第３の実施の形態としての画質評価装置３に対して、イントラ符号化フレーム検出部３５に替えて、イントラ符号化フレーム検出部４５を備える点が異なる。
【０１４２】
ここで、画質評価装置４は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置４の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置４の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【０１４３】
イントラ符号化フレーム検出部４５は、劣化画像に含まれるフレームの情報を解析することにより該当するフレームがイントラ符号化フレームであるか否かを判断する。
【０１４４】
例えば、イントラ符号化フレーム検出部４５は、空間周波数の高周波数成分の残存量に基づいて、イントラ符号化フレームであるか否かを判断してもよい。
【０１４５】
ここで、高周波数成分の残存量によりイントラ符号化フレームであるか否かを判断可能な理由について説明する。一般に、イントラ符号化フレームでは、輝度や色差情報の空間周波数の高周波数成分の情報を削ることで、情報量が圧縮されている。一方、インター符号化フレームでは、フレーム間の差分の情報を削ることで、情報量が圧縮されている。したがって、イントラ符号化フレームでは、高周波数成分が少ない傾向となる。そこで、イントラ符号化フレーム検出部４５は、高周波数成分の残存量が閾値よりも少ないフレームをイントラ符号化フレームと判断する。あるいは、イントラ符号化フレーム検出部４５は、評価対象フレームの直近に連続する１つ以上のフレームにおいて高周波数成分の残存量のフレームあたりの平均値を求め、求めた平均値より残存量が少ないフレームをイントラ符号化フレームと判断してもよい。
【０１４６】
なお、高周波数成分の残存量は、所定サイズ（８画素×８画素等）の画素集合ごとの離散コサイン変換の結果の交流成分の和として算出可能であるが、他の算出方法を用いてもよい。
【０１４７】
また、例えば、イントラ符号化フレーム検出部４５は、ブロック歪量に基づいて、イントラ符号化フレームであるか否かを判断してもよい。
【０１４８】
ここで、ブロック歪量によりイントラ符号化フレームであるか否かを判断可能な理由について説明する。一般に、イントラ符号化フレームは、後続フレームのフレーム間予測における予測信号となるため、画質劣化が少なくなるように符号化される。したがって、イントラ符号化フレームでは、ブロック歪量が小さい傾向となる。そこで、イントラ符号化フレーム検出部４５は、ブロック歪量が閾値よりも少ないフレームをイントラ符号化フレームと判断する。あるいは、イントラ符号化フレーム検出部４５は、評価対象フレームの直近に連続する１つ以上のフレームにおいてブロック歪量のフレームあたりの平均値を求め、求めた平均値よりブロック歪量が少ないフレームをイントラ符号化フレームと判断してもよい。
【０１４９】
以上のように構成された画質評価装置４の動作について、図１０を参照して説明する。
【０１５０】
まず、評価対象フレーム抽出部３１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【０１５１】
次に、評価対象フレーム抽出部３１は、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにフレームポインタをあわせる（ステップＳ２０２）。
【０１５２】
例えば、評価対象フレーム抽出部３１は、劣化画像を構成するフレームの先頭にフレームポインタをあわせてもよい。
【０１５３】
次に、評価対象フレーム抽出部３１は、フレームポインタが示すフレームの各画素値を抽出する（ステップＳ２０３）。
【０１５４】
次に、イントラ符号化フレーム検出部４５は、該当するフレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断する（ステップＳ６０２）。
【０１５５】
例えば、イントラ符号化フレーム検出部４５は、上述のように、該当するフレームから空間周波数の高周波数成分の残存量、あるいは、ブロック歪量を算出し、算出した値が閾値より小さい場合にイントラ符号化フレームであると判断してもよい。
【０１５６】
ここで、該当するフレームがイントラ符号化フレームでない場合、画質評価装置４は、処理をステップＳ２１４に進める。
【０１５７】
一方、該当するフレームがイントラ符号化フレームである場合、画質評価装置４は、ステップＳ４０４、Ｓ２０５〜Ｓ２１６まで、本発明の第３の実施の形態としての画質評価装置３と同様に動作することにより、画質評価値を算出する。
【０１５８】
以上で、画質評価装置４は動作を終了する。
【０１５９】
次に、本発明の第４の実施の形態の効果について述べる。
【０１６０】
本発明の第４の実施の形態としての画質評価装置は、劣化画像単体で、さらに他の外部情報を参照することなく、劣化画像の画質評価を高精度に行うことができる。
【０１６１】
その理由について説明する。本発明の第３の実施の形態では、劣化画像単体で画質評価を高精度に行うための処理であるイントラ符号化フレームの検出を、フレーム種別情報を外部から取得することにより行っていた。
【０１６２】
これに対して、本発明の第４の実施の形態としての画質評価装置は、イントラ符号化フレーム検出部が、該当するフレーム情報を解析することにより、イントラ符号化フレームであるか否かを判断している。これにより、本発明の第４の実施の形態としての画質評価装置は、他の外部情報を参照することなく、評価対象フレームとして適切なイントラ符号化フレームを検出可能となるからである。そして、本発明の第４の実施の形態としての画質評価装置は、外部情報を参照することなく検出したイントラ符号化フレームと、近傍フレームであるインター符号化フレームとの間で、各画素集合の差分情報を算出することになる。したがって、本発明の第３の実施の形態としての画質評価装置は、外部情報を参照することなくイントラ符号化フレームを検出することにより、イントラ符号化フレームとインター符号化フレームとの間の差分情報を用いて画質評価値を算出可能となるからである。
【０１６３】
なお、上述の各実施の形態において、近傍フレーム抽出部が、評価対象フレームの１つ後のフレームを抽出する例と、前後２フレームずつを抽出する例を中心について説明したが、近傍フレームの数を限定するものではない。
【０１６４】
また、上述の第２〜第４の実施の形態において、差分情報算出部が、評価対象フレームを１６画素×１６画素の画素集合に分割する例について説明したが、本発明の差分情報算出部が扱う画素集合のサイズを限定するものではない。
【０１６５】
また、上述の第２〜第４の実施の形態においても第１の実施の形態と同様に、画素値として、輝度、色差、ＲＧＢ等の情報を適用可能である。
【０１６６】
また、上述の第２〜第４の実施の形態においても第１の実施の形態と同様に、評価対象フレームの各画素集合と近傍フレームの対応画素集合との間の差分情報として、画素値間の差分絶対値和、画素値間の差分二乗和、画素値平均の差分、画素値分散の差分、アクティビティ差分等を適用可能である。
【０１６７】
また、上述の第３〜第４の実施の形態においても第２の実施の形態と同様に、対応画素集合を推定する際に利用する差分値として、画素値間の差分絶対値和、画素値間の差分二乗和、画素値平均の差分、画素値分散の差分、アクティビティ差分等を適用可能である。
【０１６８】
また、上述の第３〜第４の実施の形態においても第２の実施の形態と同様に、重み付け係数を、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報に基づいて算出可能である。
【０１６９】
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画質評価装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておき、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【０１７０】
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
【０１７１】
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
【０１７２】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、
を備えた画質評価装置。
（付記２）
前記評価対象フレーム抽出部は、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記１に記載の画質評価装置。
（付記３）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームにあらかじめ対応付けられたフレーム種別情報に基づいて、イントラ符号化フレームであることを表す種別情報が対応付けられたフレームを前記評価対象フレームとして抽出することを特徴とする付記２に記載の画質評価装置。
（付記４）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断し、イントラ符号化フレームであると判断したフレームを前記評価対象フレームとして抽出することを特徴とする付記２に記載の画質評価装置。
（付記５）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームにおける空間周波数の高周波数成分の残存量を算出し、算出した残存量に基づいて、該フレームがイントラ符号化フレームであるか否かを判断することを特徴とする付記４に記載の画質評価装置。
（付記６）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームのブロック歪量を算出し、算出したブロック歪量に基づいて、該フレームがイントラ符号化フレームであるか否かを判断することを特徴とする付記４に記載の画質評価装置。
（付記７）
前記差分情報算出部は、前記評価対象フレームを所定サイズに分割することにより得られる前記各画素集合と、前記対応画素集合との間で、前記差分情報を算出することを特徴とする付記１から付記６のいずれかに記載の画質評価装置。
（付記８）
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、前記対応画素集合の位置を推定することを特徴とする付記１から付記７のいずれかに記載の画質評価装置。
（付記９）
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記対応画素集合に基づく情報との差分が閾値よりも大きい場合には、前記差分情報の算出を行わないことを特徴とする付記８に記載の画質評価装置。
（付記１０）
前記差分情報算出部は、前記評価対象フレームの各画素集合に対する相対位置が所定範囲の領域において、前記対応画素集合の位置を推定することを特徴とする付記１から付記９のいずれかに記載の画質評価装置。
（付記１１）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値と、前記対応画素集合に含まれる画素値との差分絶対値和を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１２）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値と、前記対応画素集合に含まれる画素値との差分二乗和を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１３）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と、前記対応画素集合に含まれる画素値の平均との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１４）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の分散と、前記対応画素集合に含まれる画素値の分散との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１５）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と各画素値との差分絶対値の平均を表すアクティビティ値と、
前記対応画素集合のアクティビティ値との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１６）
前記差分情報算出部は、前記画素値として輝度値を用いることを特徴とする付記１１から付記１５のいずれかに記載の画質評価装置。
（付記１７）
前記画質評価部は、前記各画素集合について算出された前記差分情報に対して、該画素集合に関連する情報に基づく重み付けを施すことにより、重み付けされた各差分情報を用いて前記画質評価値を算出することを特徴とする付記１から付記１６のいずれかに記載の画質評価装置。
（付記１８）
前記画質評価部は、前記各画素集合が含まれるフレームごとに算出される情報を用いて、該画素集合について算出された差分情報に前記重み付けを施すことを特徴とする付記１７に記載の画質評価装置。
（付記１９）
前記画質評価部は、前記画素集合ごとに算出される情報を用いて、該画素集合について算出された差分情報に前記重み付けを施すことを特徴とする付記１７に記載の画質評価装置。
（付記２０）
前記画質評価部は、前記各画素集合に関連する空間周波数に基づいて、前記重み付けを施すことを特徴とする付記１７から付記１９のいずれかに記載の画質評価装置。
（付記２１）
前記画質評価部は、前記各画素集合に関連する時間周波数に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２０のいずれかに記載の画質評価装置。
（付記２２）
前記画質評価部は、前記各画素集合に関連するカラーに基づいて、前記重み付けを施すことを特徴とする付記１７から付記２１のいずれかに記載の画質評価装置。
（付記２３）
前記画質評価部は、前記各画素集合に関連するブロック歪量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２２のいずれかに記載の画質評価装置。
（付記２４）
前記画質評価部は、前記各画素集合に関連する伝送エラー量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２３のいずれかに記載の画質評価装置。
（付記２５）
前記画質評価部は、前記各画素集合に関連するボケの量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２４のいずれかに記載の画質評価装置。
（付記２６）
動画像から評価対象フレームを抽出し、
前記評価対象フレームの近傍フレームを抽出し、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価方法。
（付記２７）
前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記２６に記載の画質評価方法。
（付記２８）
動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
（付記２９）
前記評価対象フレーム抽出ステップにおいて、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記２８に記載のコンピュータ・プログラム。
【符号の説明】
【０１７３】
１、２、３、４ 画質評価装置
１１、３１ 評価対象フレーム抽出部
１２ 近傍フレーム抽出部
１３、２３ 差分情報算出部
１４、２４ 画質評価部
３５、４５ イントラ符号化フレーム検出部
【技術分野】
【０００１】
本発明は、画像の画質を評価する画質評価装置に関し、特に、動画像の劣化の程度を評価する画質評価装置に関する。
【背景技術】
【０００２】
画像の劣化の程度を客観的に評価するには、劣化した画像（以下、劣化画像という）と、その劣化画像が劣化する前の原画像との比較を行うことが一般的である。例えば、非特許文献１には、劣化画像と原画像との直接比較により画質評価を行う画質評価装置が記載されている。
【０００３】
また、非特許文献２には、劣化画像と、原画像から抽出した特徴量とを用いて画質評価を行う画質評価装置が記載されている。
【０００４】
また、特許文献１には、原画像が取得できない場合に対応して、劣化画像単体で画質評価を行う画質評価装置が記載されている。この特許文献１に記載の画質評価装置は、符号化された劣化画像を復号する過程で得られる情報と、復号後の画像情報とを用いて、画質評価を行っている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】“Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference”, ITU-T Recommendation J.144, 2003．
【非特許文献２】“Perceptual video quality measurement techniques for digital cable television in the presence of a reduced reference”， ITU-T Recommendation J.249， 2010．
【特許文献】
【０００６】
【特許文献１】ＷＯ２００８／０９３７１４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１および非特許文献２に記載の画質評価装置は、原画像との比較により画質評価を行うため、原画像の存在を必要とする。したがって、原画像が存在しない場合には、画質評価を行うことができないという課題があった。
【０００８】
また、特許文献１に記載の画質評価装置は、符号化された劣化画像を復号する過程で得られる情報を用いて画質評価を行うため、復号装置内部の情報を参照する必要がある。ところが、すでに復号が完了している場合や、復号装置がセットトップボックスなどハードウェア内部にあり内部情報を参照できない場合は、復号過程の情報を取得することができない。このように、復号過程の情報を取得できない場合には、画質評価を行うことができないという課題があった。
【０００９】
本発明は、上述の課題を解決するためになされたもので、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする画質評価装置、画像評価方法およびコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画質評価装置は、動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、を備える。
【００１１】
また、本発明の画質評価方法は、動画像から評価対象フレームを抽出し、前記評価対象フレームの近傍フレームを抽出し、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する。
【００１２】
また、本発明のコンピュータ・プログラムは、動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、をコンピュータ装置に実行させる。
【発明の効果】
【００１３】
本発明は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする画質評価装置、画像評価方法およびコンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態としての画質評価装置の機能ブロック構成図である。
【図２】本発明の第１の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図３】本発明の第２の実施の形態としての画質評価装置の機能ブロック構成図である。
【図４】本発明の第２の実施の形態におけるブロック歪量の算出方法の一例を説明する図である。
【図５】本発明の第２の実施の形態におけるボケ量の算出方法の一例を説明する図である。
【図６】本発明の第２の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図７】本発明の第３の実施の形態としての画質評価装置の機能ブロック構成図である。
【図８】本発明の第３の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【図９】本発明の第４の実施の形態としての画質評価装置の機能ブロック構成図である。
【図１０】本発明の第４の実施の形態としての画質評価装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１６】
（第１の実施の形態）
本発明の第１の実施の形態としての画質評価装置１の機能ブロック構成を図１に示す。
【００１７】
図１において、画質評価装置１は、評価対象フレーム抽出部１１と、近傍フレーム抽出部１２と、差分情報算出部１３と、画質評価部１４とを備える。
【００１８】
ここで、画質評価装置１は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置１の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置１の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【００１９】
評価対象フレーム抽出部１１は、動画像を構成するフレームのうち、評価対象フレームを抽出する。具体的には、評価対象フレーム抽出部１１は、画質評価の対象となる劣化した動画像（以下、劣化画像ともいう）を取得する。そして、評価対象フレーム抽出部１１は、取得した劣化画像を構成するフレームのうち評価対象となる評価対象フレームを選択する。さらに、評価対象フレーム抽出部１１は、選択した評価対象フレームを構成する各画素の値（以下、画素値という）を抽出する。この画素値は、例えば、輝度（Ｙ）または色差（Ｃｂ、Ｃｒ）の形式で表されていてもよい。あるいは、画素値は、赤、青、緑で構成されるＲＧＢなど他の形式で表されていてもよい。
【００２０】
なお、評価対象フレーム抽出部１１は、画質評価装置１を構成するコンピュータ装置の補助記憶装置から劣化画像を取得してもよい。あるいは、評価対象フレーム抽出部１１は、周辺機器接続インタフェースやネットワークインタフェースを介して外部から劣化画像を取得してもよい。
【００２１】
また、評価対象フレーム抽出部１１は、抽出した評価対象フレームに対する他の機能ブロックによる処理終了後、劣化画像を構成する他のフレームを評価対象フレームとして抽出してもよい。例えば、評価対象フレーム抽出部１１は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして抽出してもよい。あるいは、評価対象フレーム抽出部１１は、劣化画像を構成する一部のフレームを所定の順序で評価対象フレームとして抽出してもよい。
【００２２】
近傍フレーム抽出部１２は、評価対象フレームの近傍フレームを抽出する。具体的には、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的な位置が近いフレームの各画素値を抽出する。例えば、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に後に隣接したフレームの各画素値を抽出してもよい。また、近傍フレーム抽出部１２は、１つの評価対象フレームに対して、１つ以上の近傍フレームを抽出しても構わない。例えば、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に前後に隣接する２枚の近傍フレームを抽出してもよい。あるいは、近傍フレーム抽出部１２は、評価対象フレームに対して時間的に前後に連続する複数枚ずつの近傍フレームを抽出してもよいし、そのうちの一部のフレームを抽出してもよい。
【００２３】
差分情報算出部１３は、評価対象フレームに含まれる各画素集合から抽出される情報と、近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する。例えば、差分情報算出部１３は、評価対象フレームに含まれる所定の１つ以上の各領域内の画素集合に対して、対応画素集合との差分情報を算出してもよい。
【００２４】
具体的には、差分情報算出部１３は、評価対象フレームに含まれる各画素集合に対応する近傍フレームの対応画素集合を推定する。すなわち、差分情報算出部１３は、評価対象フレームに含まれる各画素集合に映された対象物が近傍フレームにおいて映されている対応画素集合を推定する。つまり、差分情報算出部１３は、評価対象フレームの各画素集合の動きを推定してもよい。この場合、差分情報算出部１３は、動画像における動き推定に関する一般的なアルゴリズムを用いて対応画素集合を推定可能である。
【００２５】
また、差分情報算出部１３は、評価対象フレームに含まれる画素集合ごとに、該画素集合から抽出される情報と、対応画素集合から抽出される情報との差分を表す差分情報を、算出するが、この差分情報は、次のような値であっても良い。すなわち、差分情報は、例えば、評価対象フレームの画素集合に含まれる各画素値と、対応画素集合に含まれる各画素値との差分絶対値和であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の各画素値と、対応画素集合の各画素値との差分二乗和であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の画素値の平均と、対応画素集合の画素値の平均との差分であってもよい。あるいは、差分情報は、評価対象フレームの画素集合の画素値の分散と、対応画素集合の画素値の分散との差分であってもよい。あるいは、差分情報は、評価対象フレームの画素集合のアクティビティ値と、対応画素集合のアクティビティ値との差分であってもよい。ここで、アクティビティ値とは、例えば、次のようにして算出される値である。まず、該当する画素集合内の画素値の平均が求められる。そして、該当する画素集合内の各画素値について画素値平均との差分が求められる。そして、これらの差分の絶対値の平均が、該当する画素集合のアクティビティ値となる。なお、差分情報算出部１３は、差分情報を算出する際に用いる画素値として、各画素の輝度値、ＲＧＢを表す値、あるいは、色差を表す値を用いてもよい。
【００２６】
画質評価部１４は、評価対象フレームの各画素集合について対応画素集合との間で算出された差分情報に基づいて、画質評価値を算出する。例えば、画質評価部１４は、これらの差分情報の平均値や最大値を画質評価値としてもよい。
【００２７】
以上のように構成された画質評価装置１の動作について、図２を参照して説明する。
【００２８】
まず、評価対象フレーム抽出部１１は、画質評価の対象となる劣化画像を取得する（ステップＳ１０１）。
【００２９】
例えば、評価対象フレーム抽出部１１は、入力装置を介して指定される劣化画像を補助記憶装置から取得してもよいし、周辺機器インタフェースやネットワークを介して接続された外部の装置から取得してもよい。
【００３０】
次に、評価対象フレーム抽出部１１は、評価対象フレームを抽出する（ステップＳ１０２）。
【００３１】
例えば、評価対象フレーム抽出部１１は、動画像の先頭のフレームを評価対象フレームとして該フレームの各画素値を抽出してもよい。
【００３２】
次に、近傍フレーム抽出部１２は、ステップＳ１０２で抽出した評価対象フレームの近傍フレームを抽出する（ステップＳ１０３）。
【００３３】
例えば、近傍フレーム抽出部１２は、評価対象フレームの後に隣接するフレームを近傍フレームとして該フレームの各画素値を抽出してもよい。
【００３４】
次に、差分情報算出部１３は、評価対象フレームに含まれる画素集合の１つを処理対象として選択する（ステップＳ１０４）。
【００３５】
例えば、差分情報算出部１３は、評価対象フレームに含まれる所定の１つ以上の領域のうちの１つに対応する画素集合を処理対象として選択してもよい。
【００３６】
次に、差分情報算出部１３は、処理対象の画素集合に対応する近傍フレームの対応画素集合の位置を推定する（ステップＳ１０５）。
【００３７】
例えば、差分情報算出部１３は、処理対象の画素集合に含まれる各画素の輝度値と、近傍フレームの任意の画素集合に含まれる各画素の輝度値との差分絶対値和が最も小さくなる位置の画素集合を対応画素集合として推定してもよい。
【００３８】
次に、差分情報算出部１３は、処理対象の画素集合から抽出される情報と、対応画素集合から抽出される情報との差分を表す差分情報を算出する（ステップＳ１０６）。
【００３９】
例えば、差分情報算出部１３は、差分情報として、処理対象の画素集合のアクティビティ値と、対応画素集合のアクティビティ値の差分を算出する。
【００４０】
次に、画質評価装置１は、評価対象フレーム内で処理対象となる画素集合のうち未処理のものが存在するか否かを判断する（ステップＳ１０７）。
【００４１】
例えば、画質評価装置１は、評価対象フレームにおいて定められた所定の各領域に対応する全画素集合について処理を行ったか否かを判断してもよい。
【００４２】
ここで、未処理の画素集合が存在すると判断した場合、画質評価装置１は、次の画素集合に対してステップＳ１０４〜Ｓ１０６の処理を実行する。
【００４３】
一方、処理対象となる全画素集合に対する処理を終了した場合、画質評価装置１は、ステップＳ１０１で取得した劣化画像において、評価対象となる他のフレームが存在するか否かを判断する（ステップＳ１０８）。
【００４４】
例えば、画質評価装置１は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして処理する場合、次のフレームの１つ後の近傍フレーム（すなわち、処理を終えたフレームの２つ後のフレーム）が存在するか否かを判断してもよい。
【００４５】
ここで、評価対象となる他のフレームが存在すると判断した場合、画質評価装置１は、次の評価対象フレームについて、ステップＳ１０２からの処理を実行する。
【００４６】
一方、評価対象となる全フレームに対する処理を終了した場合、画質評価部１４は、ステップＳ１０６で画素集合ごとに算出した差分情報に基づいて画質評価値を算出する（ステップＳ１０９）。
【００４７】
例えば、画質評価部１４は、ステップＳ１０６で画素集合ごとに算出したアクティビティ差分値の平均を画質評価値として算出してもよい。これにより、画質評価値が大きいほど、画質の劣化程度が高いと判断できる。
【００４８】
以上で、画質評価装置１は動作を終了する。
【００４９】
次に、本発明の第１の実施の形態の効果について述べる。
【００５０】
本発明の第１の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価を可能とする。
【００５１】
その理由は、差分情報算出部が、評価対象フレームに含まれる各画素集合と、近傍フレームにおいて対応する対応画素集合との間で、それぞれ抽出可能な情報の差分情報を求め、画質評価部が、これらの差分情報に基づいて画質評価値を算出するからである。これにより、本発明の第１の実施の形態としての画質評価装置は、各フレームに含まれる小領域と、該小領域に映された対象物が近傍フレームで映されていると推定される小領域との間で、画素値の変動が大きいほど劣化の程度が大きいことを表す画質評価値を算出することが可能となる。すなわち、フレームごとに劣化の発生仕方が異なるほど、近隣のフレームの対応する領域間でそれぞれ抽出可能な情報の差分が大きくなる。したがって、本発明の第１の実施の形態としての画質評価装置は、この差分の大小から画質の劣化を評価することが可能となる。
【００５２】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【００５３】
まず、本発明の第２の実施の形態としての画質評価装置２の機能ブロック構成を図３に示す。
【００５４】
図３において、画質評価装置２は、本発明の第１の実施の形態としての画質評価装置１に対して、差分情報算出部１３に替えて差分情報算出部２３と、画質評価部１４に替えて画質評価部２４とを備える点が異なる。
【００５５】
ここで、画質評価装置２は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置２の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置２の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【００５６】
差分情報算出部２３は、評価対象フレームを１つ以上の画素集合に分割する。そして、差分情報算出部２３は、分割した各画素集合に対して、対応する対応画素集合との間で差分情報を算出する。なお、差分情報算出部２３は、分割した画素集合の全てに対して差分情報を算出しなくてもよい。例えば、差分情報算出部２３は、分割した画素集合を間引いて差分情報を算出してもよい。
【００５７】
また、差分情報算出部２３は、評価対象フレームを分割した各画素集合に基づく情報と、近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、対応画素集合の位置を推定する。例えば、差分情報算出部２３は、評価対象フレームの画素集合の各画素値と、近傍フレームにおける同サイズの任意の画素集合に含まれる各画素値との差分絶対値和を求める。そして、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の各画素値との差分絶対値和が最小となる位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合に含まれる各画素値との差分二乗和が最小となる位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の画素値の平均との差分が最小となる画素値の平均を有する位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合の画素値の分散との差分が最小となる画素値の分散を有する位置の画素集合を、対応画素集合として推定してもよい。あるいは、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合のアクティビティ値との差分が最小となるアクティビティ値を有する位置の画素集合を、対応画素集合として推定してもよい。
【００５８】
このとき、差分情報算出部２３は、評価対象フレームの各画素集合に対する相対位置が所定範囲の領域内において、対応画素集合を推定するようにしてもよい。例えば、評価対象フレームを１６画素×１６画素のサイズの画素集合に分割したことを想定する。この場合、差分情報算出部２３は、評価対象フレームの各画素集合の位置に対して、水平垂直それぞれ±３２画素の範囲の近傍フレームの領域において、上述の画素値の差分絶対値和が最小となる画素集合の位置を探してもよい。
【００５９】
また、差分情報算出部２３は、評価対象フレームの各画素集合と、対応画素集合との間で差分情報を算出する際に、所定の条件を満たす画素集合に対して差分情報を算出しなくてもよい。ここで所定の条件とは、各画素集合に対応する対応画素集合を推定する際に、各画素集合に基づく情報との差分が閾値より小さくなる画素集合を近傍フレームにおいて検出できない場合である。このような場合は、評価対象フレームの該当する画素集合に映された対象物が映されている対応画素集合が近傍フレームにないケースと考えることができる。したがって、差分情報算出部２３は、近傍フレームにおいて、評価対象フレームの画素集合に基づく情報との差分が閾値より小さくなる画素集合を検出できない場合には、該当する画素集合に対する差分情報の算出を省略してもよい。
【００６０】
なお、差分情報算出部２３は、対応画素集合を推定する際に用いる画素値、および、差分情報を算出する際に用いる画素値として、輝度値、色差を表す値、あるいは、ＲＧＢを表す値を用いてもよい。
【００６１】
画質評価部２４は、評価対象フレームの各画素集合について対応画素集合との間で算出された差分情報に、重み付けを施した上で画質評価値を算出する。これにより、画質評価部２４は、画質評価値と主観評価との相関を高くすることができる。
【００６２】
また、画質評価部２４は、この各画素集合について対応画素集合との間で算出された差分情報に対する重み付け係数を、該当する画素集合に関連する情報に基づいて算出可能である。ここで、画素集合に関連する情報とは、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報であってもよい。また、このような画素集合に関連する情報は、画素集合が含まれるフレームごとの内容に基づいて算出される情報であってもよいし、画素集合ごとの内容に基づいて算出される情報であってもよい。
【００６３】
例えば、ブロック歪、伝送エラー、あるいは、ボケは、それ自体が劣化の要因である。また、このような劣化は、フレームに一様に発生する傾向がある。このため、画質評価部２４は、ブロック歪、伝送エラー、あるいは、ボケ等の各値を、評価対象フレームについて算出し、算出した値が大きいほど大きい値の重み付け係数を決定してもよい。そして、画質評価部２４は、各画素集合について算出した差分情報に、その画素集合が含まれる評価対象フレームに基づいて算出した重み付け係数を適用して画質評価値を算出する。なお、画質評価部２４は、該当する評価対象フレームの近隣の各フレームでこれらのブロック歪、伝送エラー、あるいはボケ等の各値をさらに算出し、これら各値のフレームあたりの平均値に基づいて、重み付け係数を決定してもよい。
【００６４】
なお、ブロック歪量は、例えば、所定サイズの画素領域ごとのアクティビティ値に基づいて算出可能である。より具体的には、画質評価部２４は、図４（ａ）に示す水平方向に隣接する２つの８画素×８画素の画素集合ブロック１およびブロック２について、図４（ｂ）に示す式にしたがって、アクティビティの平均値ActAveを算出する。また、画質評価部２４は、この２つの画素集合ブロック１およびブロック２が接する部分の画素の輝度値の差分絶対値の平均値であるDiffBoundを、図４（ｃ）に示す式にしたがって算出する。そして、画質評価部２４は、平均値ActAveと平均値DiffBoundとの比を表すブロック歪量推定パラメータBlockを、図４（ｄ）に示す式にしたがって算出する。このようにして、画質評価部２４は、該当するフレームを含む近隣Ｎ個のフレームにおけるそれぞれＭ個の画素領域（ブロック１およびブロック２をあわせた領域）でブロック歪量推定パラメータBlocki,jを求める。そして、画質評価部２４は、これらの平均値BlockAveを、該当するフレームのブロック歪量として図４（ｅ）に示す式にしたがって算出すればよい。
【００６５】
また、ボケの量は、例えば、各フレームから検出されるエッジの幅に基づいて算出可能である。より具体的には、画質評価部２４は、ソーベルフィルタや高域通過フィルタ等を用いることによりエッジを検出する。そして、画質評価部２４は、エッジの幅を、エッジ領域での画素値の単調増加（または単調減少）の連続画素数として求める。ここで、図５に示すように、ボケの量は、エッジの急峻さと反比例する。すなわち、図５（ａ）では、エッジが急峻である（エッジの幅が小さい）ため、ボケが少ない。これに対して、図５（ｂ）では、エッジが急峻でない（エッジの幅が大きい）ため、ボケが多い。そこで、画質評価部２４は、フレームで検出される各エッジの幅に基づいて、該当するフレームにおけるボケの量を算出可能である。
【００６６】
また、例えば、空間周波数あるいは時間周波数が高い場合、視聴者に劣化が検知されにくい傾向にある。すなわち、映像において細かい模様の領域や動きの激しい領域では、視聴者が劣化を感じにくい。また、このような空間周波数あるいは時間周波数は、画素集合毎に異なる傾向がある。このため、画質評価部２４は、空間周波数または時間周波数の各値を画素集合ごとに算出し、算出した値が高いほど小さい値の重み付け係数を決定してもよい。もちろん、画質評価部２４は、このような空間周波数または時間周波数をフレームあたりで算出し、評価対象フレーム毎に重み付け係数を決定してもよい。なお、空間周波数および時間周波数は、例えば、離散コサイン変換により算出可能である。
【００６７】
また、特定のカラーが視聴者の劣化の感じやすさを左右する場合がある。例えば、肌色の多い領域は、人間が写っている可能性が高い。このため、肌色の多い領域は、視聴者に注視されがちとなり、劣化が視聴者に検知されやすい。また、このようなカラーも、画素集合毎に異なる傾向がある。そこで、画質評価部２４は、特定のカラー（例えば肌色）の割合を画素集合毎に算出し、特定のカラー割合の多い画素集合には、大きい値の重み付け係数を決定してもよい。もちろん、画質評価部２４は、このような特定カラーの割合をフレームあたりで算出し、評価対象フレーム毎に重み付け係数を決定してもよい。
【００６８】
以上のように構成された画質評価装置２の動作について、図６を参照して説明する。
【００６９】
まず、評価対象フレーム抽出部１１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【００７０】
次に、評価対象フレーム抽出部１１は、評価対象フレームを示すフレームポインタを、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにあわせる（ステップＳ２０２）。
【００７１】
例えば、評価対象フレーム抽出部１１は、劣化画像を構成するフレームの先頭にフレームポインタをあわせてもよい。
【００７２】
次に、評価対象フレーム抽出部１１は、フレームポインタが示す評価対象フレームの各画素値を抽出する（ステップＳ２０３）。
【００７３】
次に、近傍フレーム抽出部１２は、ステップＳ２０３で抽出した評価対象フレームの近傍フレームを抽出する（ステップＳ２０４）。
【００７４】
例えば、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的に１フレーム後のフレームの各画素値を抽出してもよい。
【００７５】
なお、ステップＳ２０３およびＳ２０４で抽出される各画素値は、輝度（Ｙ）情報であってもよい。あるいは、各画素値は、色差（Ｃｂ、Ｃｒ）を表す情報やＲＧＢを表す情報であっても良い。
【００７６】
次に、差分情報算出部２３は、評価対象フレームを所定サイズの画素集合に分割する（ステップＳ２０５）。例えば、差分情報算出部２３は、評価対象フレームを１６画素×１６画素の画素集合に分割してもよい。
【００７７】
次に、差分情報算出部２３は、処理対象の画素集合を示す画素集合ポインタを、ステップＳ２０５で分割した画素集合のうちの１つにあわせる（ステップＳ２０６）
例えば、差分情報算出部２３は、フレームの左上の画素集合にポインタを合わせてもよい。
【００７８】
次に、差分情報算出部２３は、画素集合ポインタの示す画素集合に基づく情報と、ステップＳ２０４で抽出した近傍フレームにおける任意の画素集合に基づく情報との差分を求める（ステップＳ２０７）。
【００７９】
このとき、差分情報算出部２３は、画素集合ポインタの示す画素集合に対する相対位置が、近傍フレームにおいて所定範囲の領域内の任意の画素集合に基づく情報との差分を求めるようにしてもよい。
【００８０】
例えば、差分情報算出部２３は、評価対象フレームの画素集合に含まれる各画素の輝度値と、近傍フレームの任意の画素集合に含まれる各画素の輝度値との差分絶対値の和を求めてもよい。
【００８１】
次に、差分情報算出部２３は、ステップＳ２０７で求めた差分に基づいて、近傍フレーム内の対応画素集合の位置を検出する（ステップＳ２０８）。
【００８２】
例えば、差分情報算出部２３は、ステップＳ２０７で求めた輝度値の差分絶対値和が最小となる位置の画素集合を、対応画素集合として推定してもよい。
【００８３】
次に、差分情報算出部２３は、ステップＳ２０８で推定した対応画素集合についてステップＳ２０７で算出した差分が閾値以下であるか否かを判断する（ステップＳ２０９）。
【００８４】
ここで、ステップＳ２０７で算出した差分が閾値より大きい場合、画質評価装置２は、この画素集合に対する処理を省略し、ステップＳ２１１に処理を進める。
【００８５】
一方、ステップＳ２０７で算出した差分が閾値以下である場合、差分情報算出部２３は、画素集合ポインタの示す画素集合から抽出される情報と、対応画素集合から抽出される情報との差分情報を算出する（ステップＳ２１０）。
【００８６】
例えば、差分情報算出部２３は、差分情報として、前述のアクティビティ値の差分を算出してもよい。
【００８７】
そして、画質評価装置２は、画素集合ポインタを、次の画素集合に進める（ステップＳ２１１）。
【００８８】
ここで、評価対象フレームを分割した画素集合のうち未処理のものが存在する場合（ステップＳ２１２でＹｅｓ）、画質評価装置２は、ステップＳ２０７からの処理を繰り返し実行する。
【００８９】
一方、評価対象フレームを分割した全画素集合の処理を終了した場合（ステップＳ２１２でＮｏ）、画質評価部２４は、評価対象フレームにおける重み付け係数を決定する（ステップＳ２１３）。
【００９０】
例えば、画質評価部２４は、評価対象フレームにおける、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報に基づいて重み付け係数を決定する。なお、もし、重み付け係数を画素集合毎の内容に基づいて決定する場合、画質評価部２４は、ステップＳ２１３の処理をステップＳ２１０およびＳ２１１の間に実行すればよい。
【００９１】
そして、画質評価装置２は、フレームポインタを次のフレームに進める（ステップＳ２１４）。
【００９２】
次に、劣化画像内で評価対象となるフレームのうち未処理のものが存在する場合（ステップＳ２１５でＹｅｓ）、画質評価装置２は、ステップＳ２０３からの処理を繰り返し実行する。
【００９３】
例えば、画質評価装置２は、劣化画像を構成する全フレームを先頭から順に評価対象フレームとして処理する場合、処理を終えた評価対象フレームの次のフレームの近傍フレーム（すなわち、処理を終えた評価対象フレームの２つ後のフレーム）が存在するか否かを判断してもよい。
【００９４】
一方、劣化画像で評価対象となる全フレームに対する処理を終了した場合（ステップＳ２１５でＮｏ）、画質評価部２４は、ステップＳ２１０で画素集合ごとに算出した差分情報に、ステップＳ２１３で算出した重み付け係数を適用した値に基づいて、画質評価値を算出する（ステップＳ２１６）。
【００９５】
例えば、画質評価部２４は、重み付け係数を適用した各差分情報の平均を画質評価値として算出してもよい。
【００９６】
以上で、画質評価装置２は動作を終了する。
【００９７】
次に、このような画質評価装置２の動作例について説明する。以下では、画質評価対象の画像は、ＳＤＴＶ（Standard Definition Television）サイズ（水平７２０画素×垂直４８０画素、毎秒３０フレーム）の劣化画像であるものと想定して説明する。
【００９８】
まず、評価対象フレーム抽出部１１は、この劣化画像を取得する（ステップＳ２０１）。
【００９９】
次に、評価対象フレーム抽出部１１は、まず先頭フレームを評価対象フレームとして、その輝度値を抽出する（ステップＳ２０２、Ｓ２０３）。
【０１００】
次に、近傍フレーム抽出部１２は、評価対象フレームの時間的に１つ後に隣接するフレームを抽出する（ステップＳ２０４）。
【０１０１】
次に、差分情報算出部２３は、評価対象フレームを１６画素×１６画素の画素集合に分割する。そして、差分情報算出部２３は、各画素集合に対して、近傍フレーム内の輝度値の差分絶対値和が最小となる位置の対応画素集合を、水平垂直それぞれ±３２画素の範囲で探す（ステップＳ２０５〜Ｓ２０８）。
【０１０２】
次に、差分情報算出部２３は、各画素集合のアクティビティ値と、近傍フレームの対応画素集合のアクティビティ値の差分を算出する（ステップＳ２１０）。
【０１０３】
評価対象フレームを分割した全ての画素集合についてアクティビティ差分を算出すると、画質評価部２４は、評価対象フレームを含む近隣３０フレームでそれぞれボケ量を算出し、算出したボケ量のフレームあたりの平均値に基づいて、重み付け係数を決定する（ステップＳ２１３）。
【０１０４】
次に、画質評価装置２は、フレームポインタを次の評価対象となるフレームに進め（ステップＳ２１４）、フレームポインタの示す評価対象フレームについて、ステップＳ２０４〜Ｓ２１３の処理を繰り返す。
【０１０５】
そして、劣化画像内で評価対象となる全フレームにおいて各画素集合に対する差分情報の算出を終了すると（ステップＳ２１５でＮｏ）、画質評価部２４は、ステップＳ２１０で算出した全ての差分情報に、ステップＳ２１３で算出した重み付け係数を適用した上で、画質評価値を算出する（ステップＳ２１６）。
【０１０６】
以上で、画質評価装置２の動作例の説明を終了する。
【０１０７】
次に、本発明の第２の実施の形態の効果について述べる。
【０１０８】
本発明の第２の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価をさらに高精度に行うことができる。
【０１０９】
その理由は、差分情報算出部が、評価対象フレームを分割した各画素集合との差分値が閾値より小さい対応画素集合を近傍フレームにおいて推定できない場合には、対応画素集合との間で差分情報を算出しないからである。これにより、本発明の第２の実施の形態としての画質評価装置は、各画素集合について、近傍フレームにおいて同一の対象物が映されていない可能性の高い対応画素集合との間で差分情報を算出することがない。そのような差分情報は、画質評価の有効な指標とならない可能性が高い。したがって、本発明の第２の実施の形態としての画質評価装置は、有効な指標とならない可能性が高い差分情報を画質評価値の算出に用いることがないからである。
【０１１０】
さらに、本発明の第２の実施の形態としての画質評価装置は、劣化画像単体での画質評価に視聴者の主観を反映させることができる。
【０１１１】
その理由は、画質評価部が、各画素集合について算出した差分情報について重み付けを施した上で画質評価値を算出するからである。例えば、画質評価部は、劣化そのものを左右するフレームのブロック歪、伝送エラー、あるいはボケ等の値の大きいフレームに含まれる画素集合について算出される差分情報には、より大きい重み付け係数を適用するからである。また、例えば、画質評価部は、空間周波数や時間周波数が高く、視聴者に劣化が検知されにくくなる画素集合について算出される差分情報については、より小さい重み付け係数を適用するからである。また、例えば、画質評価部は、視聴者に注視されやすいカラーの画素集合について算出される差分情報には、より大きい重み付け係数を適用するからである。
【０１１２】
なお、本実施の形態では、評価対象の劣化画像の全フレームにおいて、所定サイズに分割した全画素集合で差分情報を算出する動作例について説明した。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームや処理対象の画素集合を間引いて上述の差分情報を算出し、画質評価値を算出するようにしてもよい。
【０１１３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【０１１４】
まず、本発明の第３の実施の形態としての画質評価装置３の機能ブロック構成を図７に示す。図７において、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２に対して、評価対象フレーム抽出部１１に替えて評価対象フレーム抽出部３１を備え、さらにイントラ符号化フレーム検出部３５を備える点が異なる。
【０１１５】
ここで、画質評価装置３は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置３の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置３の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【０１１６】
イントラ符号化フレーム検出部３５は、劣化画像に含まれるフレームがイントラ符号化されたものであるか否かを調べる。なお、イントラ符号化フレーム検出部３５は、評価対象フレーム抽出部３１と共に、本発明の評価対象フレーム抽出部の一実施形態を構成している。
【０１１７】
一般に、ＭＰＥＧ−２（エムペグツー）方式等で符号化された画像の各フレームは、当該フレームのみの情報を利用して符号化されるイントラ符号化フレーム（Ｉピクチャ）と、フレーム間の予測を利用して符号化されるインター符号化フレーム（Ｐピクチャ、Ｂピクチャ）とに分類される。イントラ符号化フレーム検出部３５は、評価対象フレーム抽出部３１によって選択されたフレームがイントラ符号化フレームであるか否かを判断する。
【０１１８】
具体的には、イントラ符号化フレーム検出部３５は、フレームにあらかじめ対応付けられたフレーム種別情報を用いて、該フレームにイントラ符号化フレームであることを表す種別情報が対応付けられているか否かを判断するようにしてもよい。この場合、イントラ符号化フレーム検出部３５は、このようなフレーム種別情報を外部から取得してもよい。なお、このようなフレーム種別情報は、例えば、画像符号化装置により、画像が符号化される段階で出力されたものであってもよい。あるいは、このようなフレーム種別情報は、画像復号装置により、画像を復号する段階で出力されたものであってもよい。
【０１１９】
評価対象フレーム抽出部３１は、劣化画像を構成するフレームのうち、イントラ符号化フレームを評価対象フレームとして抽出する。具体的には、評価対象フレーム抽出部３１は、劣化画像を構成するフレームについて、イントラ符号化フレーム検出部３５を用いてイントラ符号化フレームであるか否かを判断する。
【０１２０】
以上のように構成された画質評価装置３の動作について、図８を参照して説明する。
【０１２１】
まず、評価対象フレーム抽出部３１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【０１２２】
次に、イントラ符号化フレーム検出部３５は、取得した劣化画像を構成する各フレームのフレーム種別情報を取得する（ステップＳ４０１）。
【０１２３】
次に、評価対象フレーム抽出部３１は、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにフレームポインタをあわせる（ステップＳ２０２）。
【０１２４】
例えば、評価対象フレーム抽出部３１は、劣化画像の先頭にフレームポインタをあわせてもよい。
【０１２５】
次に、イントラ符号化フレーム検出部３５は、フレーム種別情報を用いて、フレームポインタが示すフレームがイントラ符号化フレームであるか否かを判断する（ステップＳ４０２）。
【０１２６】
ここで、該当するフレームがイントラ符号化フレームでない場合、画質評価装置３は、処理をステップＳ２１４に進めて、フレームポインタを進める。
【０１２７】
一方、該当するフレームがイントラ符号化フレームである場合、評価対象フレーム抽出部３１は、フレームポインタが示すフレームを評価対象フレームとして、その各画素値を抽出する（ステップＳ２０３）。
【０１２８】
次に、近傍フレーム抽出部１２は、ステップＳ２０３で抽出した評価対象フレームの前後に連続するフレームのうち、１つ以上のフレームを近傍フレームとして抽出する（ステップ４０４）。
【０１２９】
例えば、近傍フレーム抽出部１２は、評価対象フレームに対して、時間的に前後２フレームずつの計４フレームを抽出してもよい。
【０１３０】
そして、画質評価装置３は、各近傍フレームについて、ステップＳ２０５〜Ｓ２１２まで、本発明の第２の実施の形態としての画質評価装置２と同様に動作する。これにより、画質評価装置３は、イントラ符号化フレームと判断したフレームを分割した各画素集合と各近傍フレームにおける対応画素集合との間で差分情報を算出する。
【０１３１】
次に、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２と同様に、評価対象フレームについて重み付け係数を算出する（ステップＳ２１３）。
【０１３２】
そして、画質評価装置３は、フレームポインタを進め（ステップＳ２１４）、劣化画像を構成するフレームのうちイントラ符号化フレームと判断した全フレームについて各近傍フレームとの差分情報の算出を行う（ステップＳ４０２、Ｓ２０３〜Ｓ２１５）。
【０１３３】
次に、画質評価装置３は、本発明の第２の実施の形態としての画質評価装置２と同様に、ステップＳ２１０で算出した各差分情報に、ステップＳ２１３で算出した重み付け係数を適用し、画質評価値を算出する（ステップＳ２１６）。
【０１３４】
以上で、画質評価装置３は動作を終了する。
【０１３５】
次に、本発明の第３の実施の形態の効果について述べる。
【０１３６】
本発明の第３の実施の形態としての画質評価装置は、劣化画像単体で、復号過程の情報を参照することなく、劣化画像の画質評価をさらに高精度に行うことができる。
【０１３７】
その理由について説明する。一般に、イントラ符号化フレームと、インター符号化フレームでは劣化の発生仕方が異なる。例えば、イントラ符号化フレームは、劣化が小さくなるように符号化され、インター符号化フレームは劣化がやや大きくなるように符号化されている。また、インター符号化フレームでは略均一に劣化が発生することが考えられる。したがって、インター符号化フレーム間で差分情報を算出しても画質評価の有効な指標とならない可能性が高い。本発明の第３の実施の形態としての画質評価装置では、評価対象フレーム抽出部が、イントラ符号化フレーム検出部を用いて、イントラ符号化フレームを評価対象フレームとして抽出する。このとき、イントラ符号化フレームの前後にはインター符号化フレームが連続している。したがって、本発明の第３の実施の形態としての画質評価装置は、イントラ符号化フレームと、近傍フレームであるインター符号化フレームとの間で、各画素集合の差分情報を算出することになる。したがって、イントラ符号化フレームとインター符号化フレームとの間の各画素集合について算出される差分情報は、劣化の程度を評価する有効な指標となる。このように、本発明の第３の実施の形態としての画質評価装置は、有効な指標とならない可能性の高いインター符号化フレーム間の差分情報を用いずに、有効な指標となる可能性の高いイントラ符号化フレームとインター符号化フレームとの間の差分情報を用いて画質評価値を算出するからである。
【０１３８】
なお、本発明の各実施の形態では、評価対象の劣化画像における全イントラ符号化フレームにおいて、所定サイズに分割した全画素集合で、差分情報を算出する動作例について説明した。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームや分割した画素集合を間引いて上述の差分情報を算出し、画質評価値を算出するようにしてもよい。
【０１３９】
また、本発明の実施の形態において、近傍フレーム抽出部が、評価対象フレームの前後２つずつの計４フレームを近傍フレームとして抽出する例について説明したが、近傍フレームの数を限定するものではない。このような動作例の他、本実施の形態としての画質評価装置は、評価対象フレームの前後にそれぞれ連続する１つ以上のフレームを近傍フレームとして抽出してもよい。また、評価対象フレームの２つ前後や３つ前後のフレームを近傍フレームとする等のように、評価対象フレームと近傍フレームとは必ずしも隣接していなくてもよい。ただし、近傍フレーム抽出部は、インター符号化フレームを近傍フレームとして抽出することが好ましい。
【０１４０】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第３の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
【０１４１】
まず、本発明の第４の実施の形態としての画質評価装置４の機能ブロック構成を図９に示す。図９において、画質評価装置４は、本発明の第３の実施の形態としての画質評価装置３に対して、イントラ符号化フレーム検出部３５に替えて、イントラ符号化フレーム検出部４５を備える点が異なる。
【０１４２】
ここで、画質評価装置４は、ＣＰＵと、ＲＡＭと、ＲＯＭと、ハードディスクドライブ等の補助記憶装置とを含む汎用的なコンピュータ装置によって構成されている。また、画質評価装置４の各機能ブロックは、ＲＯＭまたは補助記憶装置に記憶されたコンピュータ・プログラムモジュールをＲＡＭに読み込んで実行するＣＰＵによって構成される。なお、画質評価装置４の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
【０１４３】
イントラ符号化フレーム検出部４５は、劣化画像に含まれるフレームの情報を解析することにより該当するフレームがイントラ符号化フレームであるか否かを判断する。
【０１４４】
例えば、イントラ符号化フレーム検出部４５は、空間周波数の高周波数成分の残存量に基づいて、イントラ符号化フレームであるか否かを判断してもよい。
【０１４５】
ここで、高周波数成分の残存量によりイントラ符号化フレームであるか否かを判断可能な理由について説明する。一般に、イントラ符号化フレームでは、輝度や色差情報の空間周波数の高周波数成分の情報を削ることで、情報量が圧縮されている。一方、インター符号化フレームでは、フレーム間の差分の情報を削ることで、情報量が圧縮されている。したがって、イントラ符号化フレームでは、高周波数成分が少ない傾向となる。そこで、イントラ符号化フレーム検出部４５は、高周波数成分の残存量が閾値よりも少ないフレームをイントラ符号化フレームと判断する。あるいは、イントラ符号化フレーム検出部４５は、評価対象フレームの直近に連続する１つ以上のフレームにおいて高周波数成分の残存量のフレームあたりの平均値を求め、求めた平均値より残存量が少ないフレームをイントラ符号化フレームと判断してもよい。
【０１４６】
なお、高周波数成分の残存量は、所定サイズ（８画素×８画素等）の画素集合ごとの離散コサイン変換の結果の交流成分の和として算出可能であるが、他の算出方法を用いてもよい。
【０１４７】
また、例えば、イントラ符号化フレーム検出部４５は、ブロック歪量に基づいて、イントラ符号化フレームであるか否かを判断してもよい。
【０１４８】
ここで、ブロック歪量によりイントラ符号化フレームであるか否かを判断可能な理由について説明する。一般に、イントラ符号化フレームは、後続フレームのフレーム間予測における予測信号となるため、画質劣化が少なくなるように符号化される。したがって、イントラ符号化フレームでは、ブロック歪量が小さい傾向となる。そこで、イントラ符号化フレーム検出部４５は、ブロック歪量が閾値よりも少ないフレームをイントラ符号化フレームと判断する。あるいは、イントラ符号化フレーム検出部４５は、評価対象フレームの直近に連続する１つ以上のフレームにおいてブロック歪量のフレームあたりの平均値を求め、求めた平均値よりブロック歪量が少ないフレームをイントラ符号化フレームと判断してもよい。
【０１４９】
以上のように構成された画質評価装置４の動作について、図１０を参照して説明する。
【０１５０】
まず、評価対象フレーム抽出部３１は、画質評価対象の劣化画像を取得する（ステップＳ１０１）。
【０１５１】
次に、評価対象フレーム抽出部３１は、ステップＳ１０１で取得した劣化画像を構成するフレームのうちの１つにフレームポインタをあわせる（ステップＳ２０２）。
【０１５２】
例えば、評価対象フレーム抽出部３１は、劣化画像を構成するフレームの先頭にフレームポインタをあわせてもよい。
【０１５３】
次に、評価対象フレーム抽出部３１は、フレームポインタが示すフレームの各画素値を抽出する（ステップＳ２０３）。
【０１５４】
次に、イントラ符号化フレーム検出部４５は、該当するフレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断する（ステップＳ６０２）。
【０１５５】
例えば、イントラ符号化フレーム検出部４５は、上述のように、該当するフレームから空間周波数の高周波数成分の残存量、あるいは、ブロック歪量を算出し、算出した値が閾値より小さい場合にイントラ符号化フレームであると判断してもよい。
【０１５６】
ここで、該当するフレームがイントラ符号化フレームでない場合、画質評価装置４は、処理をステップＳ２１４に進める。
【０１５７】
一方、該当するフレームがイントラ符号化フレームである場合、画質評価装置４は、ステップＳ４０４、Ｓ２０５〜Ｓ２１６まで、本発明の第３の実施の形態としての画質評価装置３と同様に動作することにより、画質評価値を算出する。
【０１５８】
以上で、画質評価装置４は動作を終了する。
【０１５９】
次に、本発明の第４の実施の形態の効果について述べる。
【０１６０】
本発明の第４の実施の形態としての画質評価装置は、劣化画像単体で、さらに他の外部情報を参照することなく、劣化画像の画質評価を高精度に行うことができる。
【０１６１】
その理由について説明する。本発明の第３の実施の形態では、劣化画像単体で画質評価を高精度に行うための処理であるイントラ符号化フレームの検出を、フレーム種別情報を外部から取得することにより行っていた。
【０１６２】
これに対して、本発明の第４の実施の形態としての画質評価装置は、イントラ符号化フレーム検出部が、該当するフレーム情報を解析することにより、イントラ符号化フレームであるか否かを判断している。これにより、本発明の第４の実施の形態としての画質評価装置は、他の外部情報を参照することなく、評価対象フレームとして適切なイントラ符号化フレームを検出可能となるからである。そして、本発明の第４の実施の形態としての画質評価装置は、外部情報を参照することなく検出したイントラ符号化フレームと、近傍フレームであるインター符号化フレームとの間で、各画素集合の差分情報を算出することになる。したがって、本発明の第３の実施の形態としての画質評価装置は、外部情報を参照することなくイントラ符号化フレームを検出することにより、イントラ符号化フレームとインター符号化フレームとの間の差分情報を用いて画質評価値を算出可能となるからである。
【０１６３】
なお、上述の各実施の形態において、近傍フレーム抽出部が、評価対象フレームの１つ後のフレームを抽出する例と、前後２フレームずつを抽出する例を中心について説明したが、近傍フレームの数を限定するものではない。
【０１６４】
また、上述の第２〜第４の実施の形態において、差分情報算出部が、評価対象フレームを１６画素×１６画素の画素集合に分割する例について説明したが、本発明の差分情報算出部が扱う画素集合のサイズを限定するものではない。
【０１６５】
また、上述の第２〜第４の実施の形態においても第１の実施の形態と同様に、画素値として、輝度、色差、ＲＧＢ等の情報を適用可能である。
【０１６６】
また、上述の第２〜第４の実施の形態においても第１の実施の形態と同様に、評価対象フレームの各画素集合と近傍フレームの対応画素集合との間の差分情報として、画素値間の差分絶対値和、画素値間の差分二乗和、画素値平均の差分、画素値分散の差分、アクティビティ差分等を適用可能である。
【０１６７】
また、上述の第３〜第４の実施の形態においても第２の実施の形態と同様に、対応画素集合を推定する際に利用する差分値として、画素値間の差分絶対値和、画素値間の差分二乗和、画素値平均の差分、画素値分散の差分、アクティビティ差分等を適用可能である。
【０１６８】
また、上述の第３〜第４の実施の形態においても第２の実施の形態と同様に、重み付け係数を、空間周波数、時間周波数、特定カラー、ブロック歪、伝送エラー、あるいはボケ等を表す情報に基づいて算出可能である。
【０１６９】
また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した画質評価装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておき、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
【０１７０】
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
【０１７１】
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
【０１７２】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、
を備えた画質評価装置。
（付記２）
前記評価対象フレーム抽出部は、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記１に記載の画質評価装置。
（付記３）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームにあらかじめ対応付けられたフレーム種別情報に基づいて、イントラ符号化フレームであることを表す種別情報が対応付けられたフレームを前記評価対象フレームとして抽出することを特徴とする付記２に記載の画質評価装置。
（付記４）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断し、イントラ符号化フレームであると判断したフレームを前記評価対象フレームとして抽出することを特徴とする付記２に記載の画質評価装置。
（付記５）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームにおける空間周波数の高周波数成分の残存量を算出し、算出した残存量に基づいて、該フレームがイントラ符号化フレームであるか否かを判断することを特徴とする付記４に記載の画質評価装置。
（付記６）
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームのブロック歪量を算出し、算出したブロック歪量に基づいて、該フレームがイントラ符号化フレームであるか否かを判断することを特徴とする付記４に記載の画質評価装置。
（付記７）
前記差分情報算出部は、前記評価対象フレームを所定サイズに分割することにより得られる前記各画素集合と、前記対応画素集合との間で、前記差分情報を算出することを特徴とする付記１から付記６のいずれかに記載の画質評価装置。
（付記８）
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、前記対応画素集合の位置を推定することを特徴とする付記１から付記７のいずれかに記載の画質評価装置。
（付記９）
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記対応画素集合に基づく情報との差分が閾値よりも大きい場合には、前記差分情報の算出を行わないことを特徴とする付記８に記載の画質評価装置。
（付記１０）
前記差分情報算出部は、前記評価対象フレームの各画素集合に対する相対位置が所定範囲の領域において、前記対応画素集合の位置を推定することを特徴とする付記１から付記９のいずれかに記載の画質評価装置。
（付記１１）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値と、前記対応画素集合に含まれる画素値との差分絶対値和を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１２）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値と、前記対応画素集合に含まれる画素値との差分二乗和を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１３）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と、前記対応画素集合に含まれる画素値の平均との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１４）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の分散と、前記対応画素集合に含まれる画素値の分散との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１５）
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と各画素値との差分絶対値の平均を表すアクティビティ値と、
前記対応画素集合のアクティビティ値との差分を算出することを特徴とする付記１から付記１０のいずれかに記載の画質評価装置。
（付記１６）
前記差分情報算出部は、前記画素値として輝度値を用いることを特徴とする付記１１から付記１５のいずれかに記載の画質評価装置。
（付記１７）
前記画質評価部は、前記各画素集合について算出された前記差分情報に対して、該画素集合に関連する情報に基づく重み付けを施すことにより、重み付けされた各差分情報を用いて前記画質評価値を算出することを特徴とする付記１から付記１６のいずれかに記載の画質評価装置。
（付記１８）
前記画質評価部は、前記各画素集合が含まれるフレームごとに算出される情報を用いて、該画素集合について算出された差分情報に前記重み付けを施すことを特徴とする付記１７に記載の画質評価装置。
（付記１９）
前記画質評価部は、前記画素集合ごとに算出される情報を用いて、該画素集合について算出された差分情報に前記重み付けを施すことを特徴とする付記１７に記載の画質評価装置。
（付記２０）
前記画質評価部は、前記各画素集合に関連する空間周波数に基づいて、前記重み付けを施すことを特徴とする付記１７から付記１９のいずれかに記載の画質評価装置。
（付記２１）
前記画質評価部は、前記各画素集合に関連する時間周波数に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２０のいずれかに記載の画質評価装置。
（付記２２）
前記画質評価部は、前記各画素集合に関連するカラーに基づいて、前記重み付けを施すことを特徴とする付記１７から付記２１のいずれかに記載の画質評価装置。
（付記２３）
前記画質評価部は、前記各画素集合に関連するブロック歪量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２２のいずれかに記載の画質評価装置。
（付記２４）
前記画質評価部は、前記各画素集合に関連する伝送エラー量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２３のいずれかに記載の画質評価装置。
（付記２５）
前記画質評価部は、前記各画素集合に関連するボケの量に基づいて、前記重み付けを施すことを特徴とする付記１７から付記２４のいずれかに記載の画質評価装置。
（付記２６）
動画像から評価対象フレームを抽出し、
前記評価対象フレームの近傍フレームを抽出し、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価方法。
（付記２７）
前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記２６に記載の画質評価方法。
（付記２８）
動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
（付記２９）
前記評価対象フレーム抽出ステップにおいて、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする付記２８に記載のコンピュータ・プログラム。
【符号の説明】
【０１７３】
１、２、３、４ 画質評価装置
１１、３１ 評価対象フレーム抽出部
１２ 近傍フレーム抽出部
１３、２３ 差分情報算出部
１４、２４ 画質評価部
３５、４５ イントラ符号化フレーム検出部
【特許請求の範囲】
【請求項１】
動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、
を備えた画質評価装置。
【請求項２】
前記評価対象フレーム抽出部は、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする請求項１に記載の画質評価装置。
【請求項３】
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断し、イントラ符号化フレームであると判断したフレームを前記評価対象フレームとして抽出することを特徴とする請求項２に記載の画質評価装置。
【請求項４】
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、前記対応画素集合の位置を推定することを特徴とする請求項１から請求項３のいずれかに記載の画質評価装置。
【請求項５】
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記対応画素集合に基づく情報との差分が閾値よりも大きい場合には、前記差分情報の算出を行わないことを特徴とする請求項４に記載の画質評価装置。
【請求項６】
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と各画素値との差分絶対値の平均を表すアクティビティ値と、
前記対応画素集合のアクティビティ値との差分を算出することを特徴とする請求項１から請求項５のいずれかに記載の画質評価装置。
【請求項７】
前記画質評価部は、前記各画素集合について算出された前記差分情報に対して、該画素集合に関連する情報に基づく重み付けを施すことにより、重み付けされた各差分情報を用いて前記画質評価値を算出することを特徴とする請求項１から請求項６のいずれかに記載の画質評価装置。
【請求項８】
前記画質評価部は、前記各画素集合に関連するブロック歪量、伝送エラー量およびボケの量のうち少なくともいずれか１つに基づいて、前記重み付けを施すことを特徴とする請求項７に記載の画質評価装置。
【請求項９】
動画像から評価対象フレームを抽出し、
前記評価対象フレームの近傍フレームを抽出し、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価方法。
【請求項１０】
動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
【請求項１】
動画像から評価対象フレームを抽出する評価対象フレーム抽出部と、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出部と、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出部と、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価部と、
を備えた画質評価装置。
【請求項２】
前記評価対象フレーム抽出部は、前記評価対象フレームとして、イントラ符号化フレームを抽出すること特徴とする請求項１に記載の画質評価装置。
【請求項３】
前記評価対象フレーム抽出部は、前記動画像に含まれる各フレームから算出される情報に基づいて、該フレームがイントラ符号化フレームであるか否かを判断し、イントラ符号化フレームであると判断したフレームを前記評価対象フレームとして抽出することを特徴とする請求項２に記載の画質評価装置。
【請求項４】
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記近傍フレームにおける任意の画素集合に基づく情報との差分に基づいて、前記対応画素集合の位置を推定することを特徴とする請求項１から請求項３のいずれかに記載の画質評価装置。
【請求項５】
前記差分情報算出部は、前記評価対象フレームの各画素集合に基づく情報と、前記対応画素集合に基づく情報との差分が閾値よりも大きい場合には、前記差分情報の算出を行わないことを特徴とする請求項４に記載の画質評価装置。
【請求項６】
前記差分情報算出部は、前記差分情報として、前記評価対象フレームの各画素集合に含まれる画素値の平均と各画素値との差分絶対値の平均を表すアクティビティ値と、
前記対応画素集合のアクティビティ値との差分を算出することを特徴とする請求項１から請求項５のいずれかに記載の画質評価装置。
【請求項７】
前記画質評価部は、前記各画素集合について算出された前記差分情報に対して、該画素集合に関連する情報に基づく重み付けを施すことにより、重み付けされた各差分情報を用いて前記画質評価値を算出することを特徴とする請求項１から請求項６のいずれかに記載の画質評価装置。
【請求項８】
前記画質評価部は、前記各画素集合に関連するブロック歪量、伝送エラー量およびボケの量のうち少なくともいずれか１つに基づいて、前記重み付けを施すことを特徴とする請求項７に記載の画質評価装置。
【請求項９】
動画像から評価対象フレームを抽出し、
前記評価対象フレームの近傍フレームを抽出し、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出し、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価方法。
【請求項１０】
動画像から評価対象フレームを抽出する評価対象フレーム抽出ステップと、
前記評価対象フレームの近傍フレームを抽出する近傍フレーム抽出ステップと、
前記評価対象フレームに含まれる各画素集合から抽出される情報と、前記近傍フレームにおいて該画素集合に対応する位置の画素集合である対応画素集合から抽出される情報との差分を表す差分情報を算出する差分情報算出ステップと、
前記各画素集合について算出された前記差分情報に基づき前記動画像の画質評価値を算出する画質評価ステップと、
をコンピュータ装置に実行させるコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１７５４１１（Ｐ２０１２−１７５４１１Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３５５４１（Ｐ２０１１−３５５４１）
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２２日（２０１１．２．２２）
【出願人】（３９４０１７４９１）株式会社ＮＥＣ情報システムズ (33)
【Ｆターム（参考）】
[ Back to top ]