映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム
主観品質推定部(11)は、劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、劣化映像信号の主観品質を推定する。特徴量算出部(12)は、基準映像信号の映像信号特徴量を算出する。補正情報格納部(13)には、主観品質を補正するための補正情報が、映像信号特徴量に対応して格納されている。補正計算部(14)は、特徴量算出部(12)から入力した基準映像信号の映像信号特徴量に対応した補正情報を、補正情報格納部(13)から取得し、補正部(15)に渡す。補正部(15)は、渡された補正情報に基づいて、主観品質推定部(11)で推定された劣化映像信号の主観品質を補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人間が実際の映像を見てその品質を評価する主観品質評価試験を行うことなく、映像信号の物理的特徴量の測定から主観品質を推定する映像品質評価装置、映像品質評価方法及び映像品質評価プログラムに関する。
【0002】
また、映像品質評価装置、映像品質評価方法及び映像品質評価プログラムにおいて、基準映像信号と符号化やネットワーク伝送等を経ることにより、その品質が劣化した劣化映像信号との空間的及び時間的な位置の整合を行う映像整合装置、映像整合方法及び映像整合プログラムに関する。
【背景技術】
【0003】
映像情報は、何らかの処理、例えば、符号化やネットワーク伝送を経ることにより、その品質が劣化するのが一般的である。かかる劣化した映像について、人間が実際に見て感じる劣化の程度を主観品質という。
【0004】
従来、その主観品質を評価する方法としては、人間が実際に映像をみることによる主観品質評価試験が行われていた。しかしながら、人間が実際に映像を見てその映像の品質を評価するのは、手間がかかり映像の品質評価に時間がかかるという問題がある。また、映像の品質評価に精通している者とその初心者では、評価が異なることが多い。
【0005】
そこで、物理測定から映像の主観品質を推定する方法として、基準映像信号と劣化した劣化映像信号との物理的特徴量の差分に基づいて、あるいは劣化映像信号の物理的特徴量のみから求められる劣化量に基づいて、客観的に品質の劣化の程度を評価する方法がある。
【0006】
しかしながら、映像の主観品質は、映像を限定すれば精度良く主観評価値を推定できる場合があるが(例えば、ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”;岡本、高橋、“映像品質客観評価技術の適用法に関する一検討”、信学ソ大、Sep.2002.;岡本、栗田、高橋、“映像品質客観評価の性能向上に関する一検討”、信学ソ大、Mar.2003.参照)、任意の映像に対しては映像の性質に大きく依存することから、劣化量の程度が同じ場合でも結果として判断される主観品質は異なることが多い。
【0007】
かかる理由から、映像主観品質を求める場合には、やはり、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行うことも多い、という技術状況が続いていた。
【0008】
そのような状況において、主観品質を、人間が見た場合と近いように評価できるようにすることを目的として、映像のエッジ領域に着目し、映像信号にSobelフィルタを適用してその劣化量を計算する客観評価法が提案された(PCT Pub.No.:WO99/45715参照)。
【0009】
しかしながら、かかる特徴量だけでは、やはり実際の主観評価を置き換えるに充分な評価精度は得られない。
【0010】
一方、映像の主観品質を推定する方法において、基準映像信号と劣化した劣化映像信号との物理的特徴量を比較する前提として、基準映像信号と劣化映像信号との空間的及び時間的な位置が整合している必要がある。つまり、基準映像信号と劣化映像信号との間で、時間方向のずれや空間位置のずれが整合している必要がある。
【0011】
元々、かかる整合処理は、手動で行われていた。しかし、やがて、整合処理を自動で行う手法を提案された。例えば、米国特許5,446,492号においては、客観評価の前処理として時間整合処理に際して遅延が発生した場合にそれに対応できるようになっている。
【0012】
この文献の技術によれば、TV放送のように、同じサイズかつ同じフレームレートの信号が対象であれば、一旦同期がとれれば、以降良好に同期を取らせることができる。
【0013】
しかしながら、近年普及し始めたインターネットなどのIPネットワークを経由した映像配信や映像コミュニケーションサービスでは、パーソナルコンピュータ(PC)端末において映像を受信するため、受け取る映像のサイズやアスペクト比がさまざまである。また、パケットのようにある程度まとまった情報が損失することもある。故に、基準映像信号と劣化映像信号の空間的な位置の対応がとり難い。一方、IPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングずれや映像表示タイミングのゆらぎやフリーズという、従来存在しなかった現象が生じることとなった。したがって、基準映像信号と劣化映像信号との間のかかる時間的なずれの整合をとる手法はなかった。
【0014】
映像の主観品質を推定する方法において、基準映像信号と劣化映像信号との空間的及び時間的な位置の整合がこのように十分にとれないのであれば、そもそも映像の主観品質の推定は不可能であり、できたとしてもその精度は低い。
【0015】
尚、先のPCT Pub.No.:WO99/45715においては、時間的整合処理の一例が記述された文献として、ITU−T Contribution COM−12−29“Draft new recommendation on multimedia communication delay,synchronization,and framerate measurement”,December 1997が挙げられている。
【発明の開示】
【0016】
本発明は、上述した従来の技術に鑑み、任意の映像に対して精度良く統一的な主観品質を推定することができる映像品質評価装置、映像品質評価方法及び映像品質評価プログラムを提供することを目的とする。
【0017】
また、本発明は、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる映像整合装置、映像整合方法及び映像整合プログラムを提供することを目的とする。
【0018】
上記目的を達成するため、第1の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を備える映像品質評価装置を要旨とする。
【0019】
第2の態様に係る発明は、第1の態様に係る発明において、前記主観品質推定部は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを要旨とする。
【0020】
第3の態様に係る発明は、第2の態様に係る発明において、前記主観品質推定部は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量(E)、及び、フレーム間での劣化量を示す動き電力量(M)の少なくとも一方を算出することを要旨とする。
【0021】
第4の態様に係る発明は、第2の態様に係る発明において、前記主観品質推定部は、ITU−R Recommendation P.910に規定されているspatial information及びtemporal informationの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを要旨とする。
【0022】
第5の態様に係る発明は、第1の態様に係る発明において、補正情報格納部は、前記主観品質を補正するための補正情報として、補正係数を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納していることを要旨とする。
【0023】
第6の態様に係る発明は、第1の態様に係る発明において、前記主観品質推定部は、前記基準映像信号と前記劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部と、を備えることを要旨とする。
【0024】
また、上記目的を達成するため、第7の態様に係る発明は、劣化していない映像信号である基準映像信号が劣化した劣化映像信号の推定された主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、前記基準映像信号と前記劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する映像品質評価方法を要旨とする。
【0025】
また、上記目的を達成するため、第8の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納する補正情報格納手段と、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納手段から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段として機能させるための映像品質評価プログラムを要旨とする。
【0026】
また、上記目的を達成するため、第9の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部と、を備える映像品質評価装置を要旨とする。
【0027】
第10の態様に係る発明は、第9の態様に係る発明において、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納部と、を更に備え、前記主観品質推定部は、前記形式変換部から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納部から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。
【0028】
第11の態様に係る発明は、第10の態様に係る発明において、前記形式変換部は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかに対応させて、最適な係数を格納していることを要旨とする。
【0029】
第12の態様に係る発明は、第9または第10の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量化する指標を前記空間特徴量として算出することを要旨とする。
【0030】
第13の態様に係る発明は、第12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、ANSI T1.801.03−1995で規定されているエッジ電力量を空間特徴量として算出することを要旨とする。
【0031】
第14の態様に係る発明は、第9、第10、または第12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標を前記空間特徴量として算出することを要旨とする。
【0032】
第15の態様に係る発明は、第9、第10、第12、または第14の態様に係る発明において、前記時間特徴量算出部は、フレーム内の1画素以上の集合であるブロックごとに基準映像のITU−R Recommendation P.910に規定されているTemporal Information値と劣化映像のITU−R Recommendation P.910に規定されているTemporal Information値の差分に基づいて映像のフレーム間での変化量を前記時間特徴量として算出することを要旨とする。
【0033】
第16の態様に係る発明は、第9または第10の態様に係る発明において、前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を更に備えることを要旨とする。
【0034】
また、上記目的を達成するため、第17の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。
【0035】
また、上記目的を達成するため、第18の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、その統一されたファイル形式に関連した情報を生成し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数と、に基づいて、前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。
【0036】
また、上記目的を達成するため、第19の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成手段と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段として機能させるための映像品質評価プログラムを要旨とする。
【0037】
第20の態様に係る発明は、第19の態様に係る発明において、前記コンピュータを、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納手段として更に機能させ、前記主観品質推定手段は、前記形式変換手段から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。
【0038】
また、上記目的を達成するため、第21の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、を備える映像整合装置を要旨とする。
【0039】
第22の態様に係る発明は、第21の態様に係る発明において、前記形式変換部は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも1つを変換して前記基準映像と合わせることを要旨とする。
【0040】
第23の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを要旨とする。
【0041】
第24の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを要旨とする。
【0042】
第25の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを要旨とする。
【0043】
第26の態様に係る発明は、第21の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを要旨とする。
【0044】
第27の態様に係る発明は、第26の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを要旨とする。
【0045】
第28の態様に係る発明は、第27の態様に係る発明において、前記同期/位置整合部は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを要旨とする。
【0046】
第29の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを要旨とする。
【0047】
第30の態様に係る発明は、第29の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを要旨とする。
【0048】
第31の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マクロ同期処理を行うことを要旨とする。
【0049】
第32の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフレームずれ状態に陥った場合、フレームのずれ数を出力することを要旨とする。
【0050】
第33の態様に係る発明は、第21の態様に係る発明において、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部を更に備えることを要旨とする。
【0051】
また、上記目的を達成するため、第34の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる映像整合方法を要旨とする。
【0052】
また、上記目的を達成するため、第35の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合手段として機能させるための映像整合プログラムを要旨とする。
【0053】
また、上記目的を達成するため、第36の態様に係る発明は、劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、前記同期/位置整合部(43)により整合がとられた前記基準映像信号(RI)及びそ前記劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、を備える映像品質評価装置を要旨とする。
【図面の簡単な説明】
【0054】
【図1】図1は、本発明の映像品質評価装置に係る第1の実施形態の構成を示すブロック図である。
【図2】図2は、図1の補正情報データベースに格納されている補正情報を示す図である。
【図3】図3は、一次推定主観品質SQに対する補正式による補正後の最終推定主観品質Qと、実測した主観品質と、の関係を示す図である。
【図4】図4は、本発明の映像品質評価装置に係る第2の実施形態の構成を示すブロック図である。
【図5】図5は、図4の空間特徴量算出部で使用される水平垂直エッジ量を計算するための図である。
【図6】図6は、本発明の映像品質評価装置に係る第3の実施形態の構成を示すブロック図である。
【図7】図7は、図6の重み付け係数データベースに格納されている複数の条件及び条件に対応する重み付け係数を示す図である。
【図8】図8は、本発明の実施形態の検証に使用した標準映像データを、学習データと検証データに分類して列挙した図である。
【図9】図9は、図8の学習データ及び検証データにより計算したSI(空間情報)値とTI(時間情報)値の分布図である。
【図10】図10は、従来のピークSN比(PSNR)による学習データの推定結果を示す図である。
【図11】図11は、従来のエッジ電力量(Ave_EE)による学習データの推定結果を示す図である。
【図12】図12は、本発明の第2及び第3の実施形態の映像品質評価装置による学習データの推定結果を示す図である。
【図13】図13は、本発明の第2及び第3の実施形態の映像品質評価装置による検証データの推定結果を示す図である。
【図14】図14は、従来のエッジ電力量(Ave_EE)のみによる学習データの推定結果を示す図である。
【図15】図15は、水平垂直エッジ量の最小値(Min_HV)と主観評価値の関係を示す図である。
【図16】図16は、ブロック平均動き電力量(Ave_MEB)と主観評価値の関係を示す図である。
【図17】図17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。
【図18】図18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。
【図19】図19は、表示タイミング整合部における処理を説明するための図である。
【図20】図20は、同期/位置整合部におけるマクロ時刻同期処理を説明するための図である。
【図21】図21は、同期/位置整合部におけるミクロ同期/位置導出処理を説明するための図である。
【発明を実施するための最良の形態】
【0055】
以下、図面を参照して、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラムに係る実施の形態を詳細に説明する。なお、第1乃至第3の実施形態は映像品質評価装置、映像品質評価方法及び映像品質評価プログラムの発明に係る実施形態であり、第4の実施形態は映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態である。
【0056】
<第1の実施形態>
本発明の映像品質評価装置に係る第1の実施形態の各装置部分を図1を参照して説明する。図1は、本発明の映像品質評価装置に係る第1の実施形態の構成を示すブロック図である。
【0057】
第1の実施形態の映像品質評価装置は、主観品質推定部11、特徴量算出部12、補正情報データベース13、補正計算部14、及び補正部15を少なくとも備えている。
【0058】
主観品質推定部11は、基準映像信号RIと劣化映像信号PIを入力する。基準映像信号RIは劣化する以前の映像信号であり、一方、劣化映像信号PIは、基準映像信号RIが、例えば符号化されたり、ネットワークを経由したりして劣化した映像信号である。
【0059】
次に、主観品質推定部11は、基準映像信号RI及び劣化映像信号PIに関し、物理的特徴量であるそれぞれの映像信号特徴量の差分を計算する。映像信号特徴量には、例えば、映像信号に含まれている映像のあるフレームでの映像状態を示す空間情報(SI)、及び、映像信号に含まれている映像のあるフレーム間での映像変化を示す時間情報(TI)がある。これら空間情報SI及び時間情報TIとしては、例えば、ITU−R Recommendation P.910の“Subjective Video Quality Assessment Methods for Multimedia Applications”のAppendix Aに規定されている、Spatial Information及びTemporal Informationがある。
【0060】
そして、主観品質推定部11は、計算された映像信号特徴量の差分から劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。すなわち、主観品質推定部11は、基準映像信号RIと劣化映像信号PIから劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。推定された主観品質は、主観品質推定部11から一次推定主観品質SQとして出力される。一次推定主観品質SQは、例えば、エッジ電力量(E)と動き電力量(M)によって定まるとすれば、一般的に、次の式(1)で示される関数で表される。
【0061】
SQ=F(M,E) ・・・(1)
この関数Fは、予め主観評価実験により求めておくものである。また、エッジ電力量(E)と動き電力量(M)は、米国ANSIが規定する映像品質客観評価尺度(ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”)に規定されている。
【0062】
特徴量算出部12は、基準映像信号RIを入力して、この基準映像信号RIに基づいて映像信号特徴量FIを算出する。この映像信号特徴量FIとしても上述したように例えば空間情報SIや時間情報TIがある。特徴量算出部12は、例えば、空間情報SI及び時間情報TIの少なくともいずれかを特定してその特徴量を定量的に算出する。
【0063】
補正情報データベース13は、映像信号特徴量に対応して補正情報を格納している。映像信号特徴量は、上述のように例えば空間情報SIや時間情報TIである。補正情報は、主観品質推定部11の出力である一次推定主観品質SQを補正するための補正式や補正係数である。後に、これら補正情報は図2を参照して詳細に説明する。これらの補正式や補正係数は、予め実験によって決定されて、補正情報データベース13に格納される。映像信号特徴量FIを有する映像に劣化が加わった場合、人間がその映像を見て主観的にどの程度の劣化として感じられるかという特性を予め主観評価実験によって統一的に算出し、この特性に基づいて映像信号特徴量FIに対応する補正式及び補正係数を算出する。
【0064】
すなわち、基準映像信号RIの物理的特徴量とその特徴を持つ映像に劣化が加わった時の主観評価特性とを予め主観評価実験によって統一的に算出し、この算出された物理的特徴量と主観評価特性との対応関係により、基準映像信号RIの映像信号特徴量から主観品質推定部11で導出される一次推定主観品質SQを補正し、精度良く統一的な客観評価値への変換を可能にする。
【0065】
補正計算部14は、特徴量算出部12から映像信号特徴量FIを入力して、この映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13から抽出する。すなわち、補正計算部14は、映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13で検索し、該当する補正式及び補正係数を補正情報データベース13から抽出する。そして、補正計算部14は、これら補正式及び補正係数を補正情報CIとして出力する。
【0066】
補正部15は、主観品質推定部11から一次推定主観品質SQを入力し、補正計算部14から補正情報CIを入力する。そして、補正部15は、一次推定主観品質SQを補正情報CIに含まれている補正係数を伴う補正式に代入して、補正された一次推定主観品質SQを最終推定主観品質Qとして出力する。最終推定主観品質Qは、劣化映像信号PIの主観品質を定量的に示した一次推定主観品質SQを補正したものである。
【0067】
次に、補正情報データベース13が格納している、映像信号特徴量に対応する補正情報を図2を参照して説明する。図2は、図1の補正情報データベース13に格納されている補正情報を示す図である。
【0068】
図2に示すように、補正情報データベース13では、映像信号特徴量のそれぞれの値に対応して、複数の補正係数がデータベース化されている。図2によると、例えば、基準映像信号RIの映像信号特徴量(空間情報SI及び時間情報TI)が特徴量算出部12によって(SI,TI)=(75,30)と算出された場合、この映像信号特徴量に対応する補正係数は(α,β)=(α2,β2)である。実際には、補正計算部14が特徴量算出部12から映像信号特徴量FIを入力し、この映像信号特徴量FIに対応する補正係数を補正情報データベース13のデータベースから補正式と共に抽出する。さらに、映像信号特徴量に応じて補正式も変化する場合は、補正情報データベース13には、補正係数だけでなく、映像信号特徴量に対応した補正式もデータベース化されている。
【0069】
最後に、補正部15が一次推定主観品質SQを補正して出力した最終推定主観品質Qについて図3を参照して説明する。図3は、一次推定主観品質SQに対する補正式による補正後の最終推定主観品質Qと、実測した主観品質と、の関係を示す図である。
【0070】
第1の実施形態では、補正式は、次の式(2)としている。
【0071】
最終推定主観品質Q=α×一次推定主観品質SQ+β ・・・(2)
ここで、α及びβは補正係数である。図3は、映像品質評価装置に入力された3種類の入力映像信号に対して計算された3つの補正式によるグラフを示している。横軸は主観品質推定部11の出力である一次推定主観品質SQを示し、縦軸は一次推定主観品質SQに対して人間が入力映像信号による映像を実際に見てその品質を評価する主観評価品質試験によって算出した主観品質を示す。図3中の丸印、四角印、三角印でそれぞれ示したものは、入力映像信号ごとに、一次推定主観品質SQに対する主観品質の評点を示している。一方、3本の線分は、それぞれ3種類の入力映像信号に対応する本実施形態による補正式であり、本実施形態により一次推定主観品質SQは、このように映像ごとに対応した補正式で補正される。
【0072】
このように、第1の実施形態によれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を推定できるようになる。
【0073】
尚、上述の実施形態においては、基準映像信号RIの映像信号特徴量を算出する構成を特徴量算出部12として論理的に別体として設けたが、かかる特徴量算出部12を特別に設けることなく、主観品質推定部11で導かれた基準映像信号RIの映像信号特徴量をそのまま利用してもよい。
【0074】
また、補正計算部14と補正部15とは物理的のみならず論理的にも一体であってもよい。即ち、補正部15が直接、基準映像信号RIの映像信号特徴量を入力すると共に、補正部15がその映像信号特徴量に対応した補正情報を補正情報データベースから入力するようにしてもよい。
【0075】
<第2の実施形態>
本発明の映像品質評価装置に係る第2の実施形態の各装置部分を図4を参照して説明する。図4は、本発明の映像品質評価装置に係る第2の実施形態の構成を示すブロック図である。
【0076】
第2の実施形態の映像品質評価装置は、図4に示すように、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、及び、主観品質推定部24を備えている。
【0077】
アライメント情報生成部21は、基準映像信号RIと劣化映像信号PIを入力して、基準映像信号RIから基準映像フレームを、劣化映像信号PIから劣化映像フレームをそれぞれ受け取り、基準映像フレームと劣化映像フレームの時間的及び空間的なフレームのずれを検出し、これらの時間的及び空間的なフレームのずれに関するアライメント情報を生成する。
【0078】
基準映像フレームと劣化映像フレームが時間的にずれているとは、アライメント情報生成部21がある時刻に受け取った基準映像フレームと劣化映像フレームの映像が時間的にずれていることである。例えば、アライメント情報生成部21がある時刻に基準映像フレームではある映像Aのフレームを受け取り、この時刻に劣化映像フレームではその映像Aのフレームよりも3フレーム前のフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが3フレーム遅れていることを検出し、この情報をアライメント情報として生成する。
【0079】
また、基準映像フレームと劣化映像フレームが空間的にずれているとは、アライメント情報生成部21がある時刻に受け取った映像の空間的位置がずれていることである。例えば、基準映像フレームと劣化映像フレームのフレームが時間的にずれていない場合に、アライメント情報生成部21がある時刻に基準映像フレームでは映像の中心にボールの中心が映っているフレームを受け取り、この時刻に劣化映像フレームでは映像の中心から右に1画素、上に2画素ずれている位置にボールの中心が映っているフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが右に1画素、上に2画素ずれていることを検出し、この情報をアライメント情報として生成する。
【0080】
空間特徴量算出部22は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて空間特徴量を計算する。この第2の実施形態では、この空間特徴量として、以下に詳述するエッジ電力量(Ave_EE)と水平垂直エッジ量の最小値(Min_HV)の指標を使用する。
【0081】
エッジ電力量(Ave_EE):
この指標は、基準映像信号RIと劣化映像信号PIに基づいてフレーム内で輝度値が急激に変化する境界(エッジと呼ばれる)に発生する劣化(例えば、ぼやけ具合)を定量化するものである。第2の実施形態では、一例として、Sobelフィルタを使用して画素の輝度値からエッジを強調させることによって、エッジ上の劣化を定量化する。また、ここで定量化するエッジ電力量(Ave_EE)は、ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”に規定されている。
【0082】
エッジ電力量(Ave_EE)は、式(3)で定量化される。
【数1】
【0083】
ここで、SIμ(m)(μ=in or out)は、式(4)で与えられる。
【数2】
【0084】
また、ここで、SIh_μ(i,j,m)、SIv_μ(i,j,m)は、それぞれ第mフレームの位置(i,j)におけるSobelフィルタを表しており、それぞれ(5)式及び(6)式で与えられる。
【0085】
SIh_μ(i,j,m)={−Yμ(i−1,j−1,m)−2Yμ(i,j−1,m)−Yμ(i+1,j−1,m)+Yμ(i−1,j+1,m)+2Yμ(i,j+1,m)+Yμ(i+1,j+1,m)}
・・・(5)
SIv_μ(i,j,m)={−Yμ(i−1,j−1,m)+Yμ(i+1,j−1,m)−2Yμ(i−1,j,m)
+2Yμ(i+1,j,m)−Yμ(i−1,j+1,m)+Yμ(i+1,j+1,m)}
・・・(6)
ここで、Yin(i,j,m)は、基準映像フレームの第mフレームの位置(i,j)における画素の輝度値(0から255まで)を表し、Yout(i,j,m)は、劣化映像フレームの第mフレームの位置(i,j)における画素の輝度値(0から255まで)を表している。
【0086】
尚、このエッジ電力量(Ave_EE)のみで推定した場合の結果を図とともに後述するが、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化する映像が存在し、このエッジ電力量(Ave_EE)のみではこれらの映像に発生する劣化を捉えきれない。
【0087】
水平垂直エッジ量の最小値(Min_HV):
この指標は、基準映像フレームと比較して、この基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界(エッジ)が水平垂直方向に発生している度合いを定量化するものである。この第2の実施形態では、一例として、フレームの水平/垂直方向の場所に発生した水平垂直エッジ量とそれ以外の方向の場所に発生するエッジ量の比から歪量を捕らえる特徴量(Min_HV)によって、水平垂直方向にエッジが発生している度合いを定量化する。この度合いは、図5に示したように定数r0=20とΔθ=0.05236によって決まる水平/垂直方向領域に入るドット部分のエッジ量(HV)とそれ以外の領域に入るエッジ量(HVバー)との比を入力映像と劣化映像によって求めるものである。かかる指標を採用した理由は、映像情報はブロック単位で符号化されることが多く、かかる符号化におけるいわゆるブロック歪みを的確に反映させるためである。
【0088】
水平垂直エッジ量の最小値(Min_HV)は、式(7)で定量化される。
【数3】
【0089】
ここで、HVRμ(m)(μ=in or out)は、式(8)で与えられる。
【数4】
【0090】
また、ここで、式(9)に示す定義がある。
【数5】
【0091】
ただし、条件として、式(10)及び式(11)を満たしている。
【0092】
SIr−μ(i,j,m)≧rmin>0 ・・・(10)
kII/2−Δθ<SIθ−μ(i,j,m)<kII/2+Δθ(k=0,1,2,3)
・・・(11)
ここで、SIθ−μ(i,j,m)=tan−1[SIv−μ(i,j,m)/SIh−μ(i,j,m)]である。
【0093】
また、式(9)のPは、図5の影がついている範囲の画素数である。
【0094】
一方、式(12)に示す定義がある。
【数6】
【0095】
ただし、条件として、式(13)及び式(14)を満たしている。
【0096】
SIr_μ(i,j,m)rmin>0 ・・・(13)
kII/2+Δθ<SIθ_μ(i,j,m)<(k+1)II/2−Δθ(k=0,1,2,3)
・・・(14)
また、式(12)のPは、式(13)及び式(14)を満たす範囲の画素数である。
【0097】
水平垂直エッジ量の最小値(Min_HV)は、エッジ電力量(Ave_EE)では捉えきれなかった劣化、具体的にはブロック歪により新たに生じたエッジを捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、ANSIに規定された指標をベースとしているが、式(7)に示すように、最小値を用いることで新たなエッジの発生分のみを感度良く捉えるよう独自に改良したものである。
【0098】
ところで、時間特徴量算出部23は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて時間特徴量を計算する。この第2の実施形態ではこの時間特徴量として、以下に詳述するTI(時間情報)値の差分に基づく指標であるブロック平均動き電力量(Ave_MEB)を使用する。TI値は映像フレーム間の画素の輝度値の差分であり、ITU−R Recommendation P.910に規定されているものである。
【0099】
このブロック平均動き電力量(Ave_MEB):
この指標は、フレーム内の幾つかの画素の集まりであるブロックごとに基準映像フレームと劣化映像フレームのTI値の差分を導出し、この差分を基準映像フレームのブロックごとのTI値によって正規化を行ったものである。
【0100】
すなわち、ブロック平均動き電力量(Ave_MEB)は、式(15)で表される。
【数7】
【0101】
ここで、TIb_μ(k,l,m)は、式(16)で表される。
【数8】
【0102】
ブロック平均動き電力量(Ave_MEB)は、エッジ電力量(Ave_EE)では捉えきれなかった劣化、具体的には領域毎の動きによる劣化の発生を捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、領域毎の動きを捉えるためブロック毎のTI値を導出し、さらに基準映像の値で正規化することにより感度良くさせた独自の尺度である。
【0103】
主観品質推定部24は、空間特徴量算出部22で計算された空間特徴量と時間特徴量算出部23で計算された時間特徴量とを入力して、基準映像信号RIに対する劣化映像信号PIの主観品質である主観評価値を推定する。この主観評価値(Y)は、式(17)で算出される。
【0104】
Y=αX1+βX2+γX3+δ ・・・(17)
ここで、X1=Ave_EE、X2=Min_HV、X3=Ave_MEBである。
【0105】
この主観評価値が最終的に得られる値である。
【0106】
ここで、α,β,γ,δは主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を決定するために予め求めた重み付け係数である。また、α,β,γ,δは、例えば、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式に基づいて決定される。したがって、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式から予めα,β,γ,δを計算しておくことができる。
【0107】
以上に説明した第2の実施形態の映像品質評価装置によれば、任意の映像に対して統一的に主観品質を推定することができる。この第2の実施形態の映像品質評価装置が従来の映像品質評価装置に対して、どの程度精度が上がるかについては後に図面を参照して詳細に説明する。
【0108】
尚、第2の実施形態で説明した図4に示した映像品質評価装置は、図1に示した映像品質評価装置の主観品質推定部11に組み込まれ、図1に示した映像品質評価装置が使用されることも可能である。すなわち、図4に示した映像品質評価装置が基準映像信号RI及び劣化映像信号PIを入力して、主観品質推定部24が出力した値を一次推定主観品質SQとして補正部15に出力する。補正部15は、補正計算部14から補正情報C1を受け取り、一次推定主観品質SQを入力して最終推定主観品質Qを計算する。
【0109】
<第3の実施形態>
本発明の映像品質評価装置に係る第3の実施形態の各装置部分を図6を参照して説明する。図6は、本発明の映像品質評価装置に係る第3の実施形態の構成を示すブロック図である。
【0110】
第3の実施形態の映像品質評価装置は、第2の実施形態の映像品質評価装置と比較して、装置に入力され基準映像信号RIと劣化映像信号PIとがそれぞれ互いに異なるファイル形式から入力される場合であり、さらに、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式が未知の場合であることが異なる。したがって、第2の実施形態の映像品質評価装置と同様な部分は同一符号を付して説明を省略する。
【0111】
第3の実施形態の映像品質評価装置は、図6に示すように、フォーマット変換部35、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、主観品質推定部34、及び、重み付け係数データベース36を備えている。
【0112】
フォーマット変換部35は、基準映像ファイルと劣化映像ファイルを入力して、劣化映像ファイルのファイル形式が基準映像ファイルのファイル形式と異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。より詳細には、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式が基準映像ファイルのものと異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。そして、フォーマット変換部35は基準映像ファイルと同じファイル形式に変換された劣化映像ファイルから劣化映像信号PIを出力する。フォーマット変換部35からの劣化映像信号PIはアライメント情報生成部21、空間特徴量算出部22、及び、時間特徴量算出部23に出力される。
【0113】
より具体的には、フォーマット変換部35は、例えば、基準映像がVGAサイズのYUV形式基準映像を想定し、基準映像と劣化映像のカラーフォーマットが異なる場合、劣化映像がRGB形式であればこの映像をRec.IUT−R BT.601“STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE−SCREEN 16:9 ASPECT RATIOS”などに載っている変換式を用いて変換する。また、フォーマット変換部35が基準映像と劣化映像のサイズやアスペクト比をこれらが同一となるように変換する場合に、単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要がある。この場合、公知の方法により任意のサイズへの変換を行う(例えば、Muramatsu S.and Kiya H.:″Scale Factor of Resolution Conversion Based on Orthogonal Transforms,″IEICE Trans.Fundamentals.,E76−A,7,pp.1150−1153(July 1993)や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌A,Vol.77−A,No.3,pp.369−378,March 1994.、参照)。また、映像信号が圧縮されている場合、予め非圧縮形式に変換する。
【0114】
さらに、映像符号化や伝送システムの特性や国による規格の違いにより劣化映像の色や明るさの分布が異なることにより、客観評価値にバイアスがかかることを避けるため、基準映像と劣化映像の輝度値などの分布を正規化する。つまり、基準映像と劣化映像の両者に対して、輝度、色差信号、又はRGB値毎に、特定フレームの画素値の分布からその最大値、最小値、平均値、分散のような統計量を導出し、その分布が同じになるよう、例えば平均値のずれた分だけ劣化映像の全画素値をシフトさせることにより、又は基準映像と劣化映像の最小値と最大値の範囲をそろえるため式(18)に示す変換式で変換することにより、基準映像と劣化映像の分布を正規化する。
【数9】
【0115】
フォーマット変換部35は、変換された劣化映像信号PIのファイル形式、すなわち基準映像信号RIと同様なファイル形式に関連する情報を主観品質推定部34に出力する。このファイル形式に関連する情報は、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式であるが、この第3の実施形態では、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を主観品質推定部34に出力する。
【0116】
重み付け係数データベース36は、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を一組の条件として、この条件を複数格納しており、各条件に対応して重み付け係数α,β,γ,δが予め設定されている。これらの重み付け係数は、主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を予め求めてあるものである。図7は、重み付け係数データベース36が格納している複数の条件及びこれら条件に対応する重み付け係数を示している。
【0117】
主観品質推定部34は、フォーマット変換部35から入力する劣化映像ファイルの信号形式、サイズ、及び、符号化方式に応じて、重み付け係数α,β,γ,δを重み付け係数データベース36から取得することが、第2の実施形態の主観品質推定部24と異なる。他は主観品質推定部24と同様である。
【0118】
尚、図6では、フォーマット変換部35とアライメント情報生成部21が別個に配置されているが、フォーマット変換部35とアライメント情報生成部21が1つの構成部として図6の映像品質評価装置に組み込まれていてもよい。
【0119】
以上に説明した第3の本実施形態によれば、劣化映像ファイルのファイル形式が基準映像ファイルと異なった場合でも劣化映像の主観品質を推定することができる。さらに、劣化映像ファイルの信号形式、サイズ、及び、符号化方式等に関し、多くのパターンに対応することができるため、様々な劣化映像ファイルの主観品質を推定することが可能となる。
【0120】
以下に、第2及び3の実施形態の映像品質評価装置が推定した映像品質評価値の推定精度についての実際の結果を、従来の映像品質評価装置と比較しつつ、図8から図16を参照して説明する。
【0121】
最初に、推定精度の検証及び重み付け係数データベース36に格納する重み付け係数を導出するために用いる主観評価データについて説明する。主観評価データは図8に示すITU−Rで選定されている標準映像(図8の映像シーケンス名)(ITU−RBT.802−1,“Test Pictures and Sequences for Subjective Assessments of Digital Codecs Conveying Signals Produced According to Recommendation ITU−RBT.601,”1994、及び、ITU−R BT.1201−2,“Test materials to be used in subjective assessment,”2001を参照)の36種類を基準映像とし、図8に示したように標準映像を映像品質評価値の推定精度を検証するための検証データと予め係数導出に用いるデータである学習データに分ける。
【0122】
推定精度を検証するために用いる主観評価データは、基準映像の特性の偏りによる影響を少なくするように選択される。すなわち、ITU−TP.910(ITU−T P.910,“Subjective video quality assessment methods for multimedia applications”Aug.1996.を参考)で示されている空間情報(SI)、時間情報(TI)の分布を考慮し、図9の領域Aから領域Dまで同数の映像を選定する。これにより、様々なSI値及びTI値を有する映像を基準映像とすることができる。また、これらの基準映像に対しMPEG4をベースとした符号化劣化を用いて256kbps〜8Mbps範囲内で4段階に割り振り劣化映像とした。
【0123】
主観品質評価法は、MPEGのベリフィケーションなどコーデックの性能評価試験でよく使われているDSCQS法(ITU−R BT.500−10,“Methodology for the subjective assessment of the quality of television pictures”March 2000.を参考)を用い、被験者数は18歳から40歳までの一般人の男女24名である。
【0124】
映像品質評価装置の目標推定精度は、主観評価における評点のばらつきの程度と同等とすることが適切である。主観評価値のばらつきの程度を片側95%信頼区間として導出したところ、全データにおいて7.24であった。そこで、映像品質評価装置の目標推定精度として平均二乗誤差(RMSE)がこの値を超えないことが目標となる。
【0125】
従来の映像品質評価装置では、一般的に使用される、PSNR(Peak Signal Noise Ratio:ピークSN比)と、ANSIのパラメータとして知られているエッジ電力量(Ave_EE)とを用いたものを使用して、学習データに対して推定した結果をそれぞれ図10及び図11に示す。図10がPSNRを使用した場合で、図11がエッジ電力量(Ave_EE)を使用した場合の推定結果である。図10及び図11によれば、PSNRでのRMSEは9.57で、エッジ電力量(Ave_EE)でのRMSEは7.47であり、PSNRに比べてエッジ電力量(Ave_EE)のほうが良好な特性を示すが、RMSEは目標値を超えており推定精度は不十分である。
【0126】
次に、エッジ電力量(Ave_EE)、水平垂直エッジ量の最小値(Min_HV)、Ave_MEB全てを用いた第2及び第3の実施形態の映像品質評価装置を使用して、学習データ、検証データに対する推定結果を図12及び図13に示す。図12及び図13によれば、学習データでのRMSEは6.43であり、検証データでのRMSEは6.49であるので、学習データだけではなく、非学習データである検証データに対しても目標とする推定精度を十分クリアしている。したがって、第2及び第3の実施形態の映像品質評価装置は、人間が実際の映像を見てその品質を評価する主観評価品質試験に代えて使用することができる推定精度を持ち、実用的に使えるレベルであることがわかる。
【0127】
また、図14は、エッジ電力量(Ave_EE)のみによる学習データの一部の推定結果を示す図である。図14に示すように、入力映像[3]、[6]、[7]、[9]において評点の傾きが大きく、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化しており、このエッジ電力量(Ave_EE)のみではこれらの映像に発生する劣化を捉えきれていないことが分かる。
【0128】
また、図15は、水平垂直エッジ量の最小値(Min_HV)と主観評価値の関係を示す図である。図15に示すように、水平垂直エッジ量の最小値(Min_HV)によれば、入力映像[3]、[7]において、敏感にその劣化を捉えていることが分かる。
【0129】
また、図16は、ブロック平均動き電力量(Ave_MEB)と主観評価値の関係を示す図である。図16に示すように、ブロック平均動き電力量(Ave_MEB)によれば、入力映像[6]、[9]において、敏感にその劣化を捉えていることが分かる。
【0130】
以上のように、本発明の第2及び第3実施形態によれば、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。
【0131】
<第4の実施形態>
次に、映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態について説明する。
【0132】
図17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。
【0133】
第4の実施形態の映像整合装置は、フォーマット変換部41、表示タイミング整合部42、同期/位置整合部43、輝度/色補正部44、及び劣化量導出部45を少なくとも備えている。
【0134】
フォーマット変換部41は、符号化やネットワークでの損失によって劣化した劣化映像信号に含まれるファイル形式を、基準映像信号に含まれる基準映像のファイル形式に合わせる。表示タイミング整合部42は、基準映像信号と劣化映像信号の映像表示のタイミングを合わせる。同期/位置整合部43は、劣化量導出部45から劣化量や同期ずれ情報を取得しつつ、基準映像信号と劣化映像信号の時間空間方向の整合をとる。また、必要に応じて、輝度/色整合部44は、基準映像信号と劣化映像信号の輝度や色分布の違いについて補正を行う。
【0135】
尚、この実施形態においては、基準映像信号及び劣化映像信号には、フレームレート情報又はフレーム表示時刻/取込時刻情報が含まれている。また、必要に応じて、信号フォーマット情報も含まれる。それにより、当該映像整合装置は、基準映像及び劣化映像について、対象フレームとその前後数フレーム分をメモリに蓄積しながら非リアルタイムに処理を進めるものとする。
【0136】
図18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。
【0137】
先ず、フォーマット変換部41は、基準映像と劣化映像の信号形式、サイズ、アスペクト比が異なる場合に、劣化映像の信号形式の変換を行う(ステップS1)。例えば、基準映像のデータ形式が非圧縮のYUV形式であり、劣化映像のデータ形式が非圧縮のRGB形式であれば、劣化映像を、Rec.IUT−R BT.601“STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE−SCREEN 16:9 ASPECT RATIOS”の変換式を用いて変換する。また、フォーマット変換部41は、そもそも劣化映像が圧縮形式の場合は事前に非圧縮形式に変換する。さらに、フォーマット変換部41は、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。ここで、例えば単純に整数倍として計算できる場合があるが、それだけでは不十分の場合は任意のサイズに変換する必要があり、この場合、公知の方法により任意のサイズへの変換を行う(例えば、Muramatsu S.and Kiya H.:″Scale Factor of Resolution Conversion Based on Orthogonal Transforms,″IEICE Trans.Fundamentals.,E76−A,7,pp.1150−1153(July 1993)や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌A,Vol.77−A,No.3,pp.369−378,March 1994.、参照)。その後、フォーマット変換部41は、基準映像信号と変換した劣化映像信号を表示タイミング整合部42に渡す。
【0138】
次に、表示タイミング整合部42は、フォーマット変換部41でフォーマット変換された劣化映像信号を基準映像信号の表示タイミングに合わせるため、フレームの補完などの処理を行う(ステップS2)。
【0139】
具体的には、図19の(a)に示すように劣化映像の表示間隔が基準映像の表示間隔より定常的に長い場合には、表示タイミング整合部42は、図19の(b)の下段に示すように、全フレームを補完することにより劣化映像に対して映像を補う。
【0140】
また、図19の(b)に示すように劣化映像の表示間隔が揺らぐ場合には、表示タイミング整合部42は、図19の(b)の下段に示すように、基準映像と同期しているタイミングで、劣化映像の直前の映像で劣化映像を補う。尚、このとき、劣化映像の直前の映像で補うのではなく、劣化映像のうち時間的に近い映像で補いようにすることもできる。即ち、例えば、図19の(b)の場合、変換劣化映像の2番目のフレームとしてフレームIが充てられているが、劣化映像のうち時間的に近い映像で補うとするならば、フレームIIが充てられることとなる。
【0141】
さらに、図19の(c)に示すように基準映像信号自体が一定のフレームレートでない場合は、基準映像信号と劣化映像信号をそれらとは別の正確な時間間隔で表示されるように補完することとする。
【0142】
その後、表示タイミング整合部42は、基準映像信号と劣化映像信号を同期/位置整合部43に渡す。
【0143】
同期/位置整合部43は、(1)評価開始状態、(2)同期状態、(3)フリーズ状態の3つの状態を想定して、その動作を規定している。
【0144】
(1)先ず、評価開始状態においては、同期/位置整合部43は、時間方向のマクロな整合をとるために、一定時間の基準映像信号と劣化映像信号に対する1フレーム全体やその特定領域の信号の輝度/色差/RGB値の平均値のような特徴量の推移を比較して整合性の最も高くなるフレーム情報を取得し、それによりマクロな時間方向のずれを導出する(ステップS3)。具体的には、図20に示すように特徴量を時間方向にずらして各時系列値の差分が最小、または相互相関係数が最大になる条件から時間方向のずれ(フレーム差)を導出する。
【0145】
また、同期/位置整合部43は、ミクロな時間空間方向の整合をとるために、劣化量導出部45より基準映像において整合がとれた映像の前後数フレームに対して図21に示すように劣化映像を上下左右に画素を動かし、差分値の最小である位置を最も整合がとれたところとして画素位置情報として受け取る(ステップS4)。
【0146】
さらに、同期/位置整合部43は、輝度/色補正を行うために整合がとられた基準映像と劣化映像を輝度/色補正部44に渡す。輝度/色補正部44は、劣化映像の輝度及び色情報の平均値、最小値及び最大値並びにそれらの分布を、基準映像のそれらと整合をとる。例えば、基準映像と劣化映像の輝度分布が異なる場合には、輝度/色補正部44は、基準映像と劣化映像の輝度分布のそれぞれの平均値と分散値に基づき、基準映像と劣化映像の輝度分布に対し線形正規化を施し、その線形正規化を行うための変換式に係る情報を補正情報として同期/位置整合部43に渡す。同期/位置整合部43は、その補正情報を受け取り、受け取った補正情報に基づいて輝度/色補正処理を行う(ステップS5)。
【0147】
以下、(2)同期状態及び(3)フリーズ状態における処理として、同期/位置整合部43は、図18に示したステップS6乃至ステップS22の処理を行う。
【0148】
基準映像対象フレーム番号iが基準映像最終フレーム数Nより小さいか、または劣化映像対象フレーム番号jが劣化映像最終フレーム数Mより小さい間は、以下のステップS7乃至ステップS22の処理を行う(ステップS6)。
【0149】
そこで、先ず、F1が“1”か否か、即ち基準映像と劣化映像とが非同期状態にあるか否かを判断する(ステップS7)。基準映像と劣化映像とが同期状態にある場合は(F1=0)、ステップS8に移行し、基準映像と劣化映像とが非同期状態にある場合は(F1=1)、ステップS16に移行する。
【0150】
先ず、基準映像と劣化映像とが同期状態にある場合(F1=0)について以下説明する。
【0151】
同期/位置整合部43は、前述の評価開始状態で得られた、時間空間方向のずれや、輝度/色情報を補正した劣化映像と、基準映像とを劣化量導出部45に渡す。劣化量導出部45は、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象にミクロ同期処理を行い(図21参照)、それにより得られる劣化量を導出すると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として導出する(ステップS8)。同期/位置整合部43は、劣化量導出部45により導出されたそれらの劣化量を受け取り、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する(ステップS9)。即ち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれが殆ど0を示していれば、同期/位置整合部43は、劣化映像がフリーズ状態であると判断する。
【0152】
劣化映像がフリーズ状態のときは、同期/位置整合部43は、非同期状態(F1=1)と設定すると共に、フリーズ数を“1”(Count=1)として(ステップS10)、ステップS22に移行する。
【0153】
一方、劣化映像がフリーズ状態ではないときは、次に、同期/位置整合部43は、ステップS8において劣化量導出部45のミクロ同期処理により得られた、劣化映像の対象フレームの劣化量が、最小か否かを判断する(ステップS11)。劣化映像の対象フレームの劣化量が最小であるときは、同期状態(F2=0)と設定し(ステップS12)、ステップS14に移行する。一方、劣化映像の対象フレームの劣化量が最小でないときは、フレームずれ状態(コマ飛び状態、コマ戻り状態等)であると判定してステップS13に移行し、劣化量が最小であるフレーム番号をj値に設定し、コマ飛びならF2=1と設定し、それ以外(コマ戻り状態等)ならF2=2と設定し、そのときのコマ(フレーム)のずれ数をCount値に設定する。
【0154】
ステップS14においては、基準映像及び劣化映像を出力すると共にF2値及びCount値を出力する。その後、Count値を0にリセットし、ステップS22に移行する。
【0155】
次に、ステップS7において、基準映像と劣化映像とが非同期状態にある(F1=1)と判断された場合について以下説明する。
【0156】
同期/位置整合部43は、ステップS16において、ステップS8と同様、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象に行われたミクロ同期処理により得られた劣化量を劣化量導出部45から受け取ると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として受け取る。同期/位置整合部43は、ステップS9と同様、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する(ステップS17)。
【0157】
劣化映像がフリーズ状態のときは、同期/位置整合部43は、フリーズ数(Count値)をインクリメントして(ステップS18)、ステップS22に移行する。
【0158】
一方、劣化映像がフリーズ状態ではないときは、同期/位置整合部43は、フリーズ状態が終了したと判断し、ステップS3と同様のマクロ時刻同期処理を行い、(ステップS19)、フリーズ数(Count値)を出力する(ステップS20)。その後、F1値及びCount値を0にリセットし、ステップS22に移行する。
【0159】
ステップS22においては、基準映像対象フレーム番号i及び劣化映像対象フレーム番号jをインクリメントし、そのi値が基準映像最終フレーム数Nに達し、かつ、そのj値が劣化映像最終フレーム数Mに達した場合には、処理を終了する。
【0160】
尚、常に一定時間、基準映像信号と劣化映像信号について、1フレーム全体または特定領域の信号の輝度/色差/RGB値の平均値のような特徴量を蓄積していることとし、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値からある閾値(3σのように標準偏差の定数倍)以上に開きが生じた場合には、(1)の評価初期状態に入ることとし、ステップS3から処理が再開される。
【0161】
以上が本発明の実施形態における映像整合処理の詳細である。
【0162】
本実施形態によれば、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。
【0163】
ところで、本発明の映像整合方法においては、同期/位置整合部43から出力した基準映像と劣化映像とその付属情報(時間方向の状態)を映像品質評価装置に入力することを想定している(例えば、第1の実施形態の映像品質評価装置の主観品質推定部11に入力される)が、劣化量導出部45において劣化量ではなく客観評価値を導出することとし、同期/位置整合部43よりその結果を出力すれば映像品質評価装置として利用するともできる。
【0164】
尚、以上に説明してきた各実施形態において、その処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、この汎用計算機システムを映像品質評価装置及び映像整合装置として機能させることができる。上述の各実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、コンピュータが上述した実施形態の映像品質評価装置及び映像整合装置として動作する。
【0165】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【0166】
本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、未知の基準映像であっても、任意の映像に対して精度良く統一的な主観品質を推定することができる。
【0167】
具体的には、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を導出できるようになる。
【0168】
また、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。
【0169】
本発明の映像整合装置、映像整合方法及び映像整合プログラムによれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる。
【0170】
具体的には、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。
【0171】
したがって、かかる映像整合装置及び方法を前提とした映像品質評価装置及び方法によれば、上述の各場合でも映像品質客観評価が可能となったり、その精度を向上させることができる。
【技術分野】
【0001】
本発明は、人間が実際の映像を見てその品質を評価する主観品質評価試験を行うことなく、映像信号の物理的特徴量の測定から主観品質を推定する映像品質評価装置、映像品質評価方法及び映像品質評価プログラムに関する。
【0002】
また、映像品質評価装置、映像品質評価方法及び映像品質評価プログラムにおいて、基準映像信号と符号化やネットワーク伝送等を経ることにより、その品質が劣化した劣化映像信号との空間的及び時間的な位置の整合を行う映像整合装置、映像整合方法及び映像整合プログラムに関する。
【背景技術】
【0003】
映像情報は、何らかの処理、例えば、符号化やネットワーク伝送を経ることにより、その品質が劣化するのが一般的である。かかる劣化した映像について、人間が実際に見て感じる劣化の程度を主観品質という。
【0004】
従来、その主観品質を評価する方法としては、人間が実際に映像をみることによる主観品質評価試験が行われていた。しかしながら、人間が実際に映像を見てその映像の品質を評価するのは、手間がかかり映像の品質評価に時間がかかるという問題がある。また、映像の品質評価に精通している者とその初心者では、評価が異なることが多い。
【0005】
そこで、物理測定から映像の主観品質を推定する方法として、基準映像信号と劣化した劣化映像信号との物理的特徴量の差分に基づいて、あるいは劣化映像信号の物理的特徴量のみから求められる劣化量に基づいて、客観的に品質の劣化の程度を評価する方法がある。
【0006】
しかしながら、映像の主観品質は、映像を限定すれば精度良く主観評価値を推定できる場合があるが(例えば、ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”;岡本、高橋、“映像品質客観評価技術の適用法に関する一検討”、信学ソ大、Sep.2002.;岡本、栗田、高橋、“映像品質客観評価の性能向上に関する一検討”、信学ソ大、Mar.2003.参照)、任意の映像に対しては映像の性質に大きく依存することから、劣化量の程度が同じ場合でも結果として判断される主観品質は異なることが多い。
【0007】
かかる理由から、映像主観品質を求める場合には、やはり、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行うことも多い、という技術状況が続いていた。
【0008】
そのような状況において、主観品質を、人間が見た場合と近いように評価できるようにすることを目的として、映像のエッジ領域に着目し、映像信号にSobelフィルタを適用してその劣化量を計算する客観評価法が提案された(PCT Pub.No.:WO99/45715参照)。
【0009】
しかしながら、かかる特徴量だけでは、やはり実際の主観評価を置き換えるに充分な評価精度は得られない。
【0010】
一方、映像の主観品質を推定する方法において、基準映像信号と劣化した劣化映像信号との物理的特徴量を比較する前提として、基準映像信号と劣化映像信号との空間的及び時間的な位置が整合している必要がある。つまり、基準映像信号と劣化映像信号との間で、時間方向のずれや空間位置のずれが整合している必要がある。
【0011】
元々、かかる整合処理は、手動で行われていた。しかし、やがて、整合処理を自動で行う手法を提案された。例えば、米国特許5,446,492号においては、客観評価の前処理として時間整合処理に際して遅延が発生した場合にそれに対応できるようになっている。
【0012】
この文献の技術によれば、TV放送のように、同じサイズかつ同じフレームレートの信号が対象であれば、一旦同期がとれれば、以降良好に同期を取らせることができる。
【0013】
しかしながら、近年普及し始めたインターネットなどのIPネットワークを経由した映像配信や映像コミュニケーションサービスでは、パーソナルコンピュータ(PC)端末において映像を受信するため、受け取る映像のサイズやアスペクト比がさまざまである。また、パケットのようにある程度まとまった情報が損失することもある。故に、基準映像信号と劣化映像信号の空間的な位置の対応がとり難い。一方、IPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングずれや映像表示タイミングのゆらぎやフリーズという、従来存在しなかった現象が生じることとなった。したがって、基準映像信号と劣化映像信号との間のかかる時間的なずれの整合をとる手法はなかった。
【0014】
映像の主観品質を推定する方法において、基準映像信号と劣化映像信号との空間的及び時間的な位置の整合がこのように十分にとれないのであれば、そもそも映像の主観品質の推定は不可能であり、できたとしてもその精度は低い。
【0015】
尚、先のPCT Pub.No.:WO99/45715においては、時間的整合処理の一例が記述された文献として、ITU−T Contribution COM−12−29“Draft new recommendation on multimedia communication delay,synchronization,and framerate measurement”,December 1997が挙げられている。
【発明の開示】
【0016】
本発明は、上述した従来の技術に鑑み、任意の映像に対して精度良く統一的な主観品質を推定することができる映像品質評価装置、映像品質評価方法及び映像品質評価プログラムを提供することを目的とする。
【0017】
また、本発明は、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる映像整合装置、映像整合方法及び映像整合プログラムを提供することを目的とする。
【0018】
上記目的を達成するため、第1の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を備える映像品質評価装置を要旨とする。
【0019】
第2の態様に係る発明は、第1の態様に係る発明において、前記主観品質推定部は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを要旨とする。
【0020】
第3の態様に係る発明は、第2の態様に係る発明において、前記主観品質推定部は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量(E)、及び、フレーム間での劣化量を示す動き電力量(M)の少なくとも一方を算出することを要旨とする。
【0021】
第4の態様に係る発明は、第2の態様に係る発明において、前記主観品質推定部は、ITU−R Recommendation P.910に規定されているspatial information及びtemporal informationの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを要旨とする。
【0022】
第5の態様に係る発明は、第1の態様に係る発明において、補正情報格納部は、前記主観品質を補正するための補正情報として、補正係数を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納していることを要旨とする。
【0023】
第6の態様に係る発明は、第1の態様に係る発明において、前記主観品質推定部は、前記基準映像信号と前記劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部と、を備えることを要旨とする。
【0024】
また、上記目的を達成するため、第7の態様に係る発明は、劣化していない映像信号である基準映像信号が劣化した劣化映像信号の推定された主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、前記基準映像信号と前記劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する映像品質評価方法を要旨とする。
【0025】
また、上記目的を達成するため、第8の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納する補正情報格納手段と、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納手段から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段として機能させるための映像品質評価プログラムを要旨とする。
【0026】
また、上記目的を達成するため、第9の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部と、を備える映像品質評価装置を要旨とする。
【0027】
第10の態様に係る発明は、第9の態様に係る発明において、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納部と、を更に備え、前記主観品質推定部は、前記形式変換部から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納部から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。
【0028】
第11の態様に係る発明は、第10の態様に係る発明において、前記形式変換部は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかに対応させて、最適な係数を格納していることを要旨とする。
【0029】
第12の態様に係る発明は、第9または第10の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量化する指標を前記空間特徴量として算出することを要旨とする。
【0030】
第13の態様に係る発明は、第12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、ANSI T1.801.03−1995で規定されているエッジ電力量を空間特徴量として算出することを要旨とする。
【0031】
第14の態様に係る発明は、第9、第10、または第12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標を前記空間特徴量として算出することを要旨とする。
【0032】
第15の態様に係る発明は、第9、第10、第12、または第14の態様に係る発明において、前記時間特徴量算出部は、フレーム内の1画素以上の集合であるブロックごとに基準映像のITU−R Recommendation P.910に規定されているTemporal Information値と劣化映像のITU−R Recommendation P.910に規定されているTemporal Information値の差分に基づいて映像のフレーム間での変化量を前記時間特徴量として算出することを要旨とする。
【0033】
第16の態様に係る発明は、第9または第10の態様に係る発明において、前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を更に備えることを要旨とする。
【0034】
また、上記目的を達成するため、第17の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。
【0035】
また、上記目的を達成するため、第18の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、その統一されたファイル形式に関連した情報を生成し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数と、に基づいて、前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。
【0036】
また、上記目的を達成するため、第19の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成手段と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段として機能させるための映像品質評価プログラムを要旨とする。
【0037】
第20の態様に係る発明は、第19の態様に係る発明において、前記コンピュータを、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納手段として更に機能させ、前記主観品質推定手段は、前記形式変換手段から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。
【0038】
また、上記目的を達成するため、第21の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部と、を備える映像整合装置を要旨とする。
【0039】
第22の態様に係る発明は、第21の態様に係る発明において、前記形式変換部は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも1つを変換して前記基準映像と合わせることを要旨とする。
【0040】
第23の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを要旨とする。
【0041】
第24の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを要旨とする。
【0042】
第25の態様に係る発明は、第21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを要旨とする。
【0043】
第26の態様に係る発明は、第21の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを要旨とする。
【0044】
第27の態様に係る発明は、第26の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを要旨とする。
【0045】
第28の態様に係る発明は、第27の態様に係る発明において、前記同期/位置整合部は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを要旨とする。
【0046】
第29の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを要旨とする。
【0047】
第30の態様に係る発明は、第29の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを要旨とする。
【0048】
第31の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マクロ同期処理を行うことを要旨とする。
【0049】
第32の態様に係る発明は、第28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフレームずれ状態に陥った場合、フレームのずれ数を出力することを要旨とする。
【0050】
第33の態様に係る発明は、第21の態様に係る発明において、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部を更に備えることを要旨とする。
【0051】
また、上記目的を達成するため、第34の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる映像整合方法を要旨とする。
【0052】
また、上記目的を達成するため、第35の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合手段として機能させるための映像整合プログラムを要旨とする。
【0053】
また、上記目的を達成するため、第36の態様に係る発明は、劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、前記同期/位置整合部(43)により整合がとられた前記基準映像信号(RI)及びそ前記劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、を備える映像品質評価装置を要旨とする。
【図面の簡単な説明】
【0054】
【図1】図1は、本発明の映像品質評価装置に係る第1の実施形態の構成を示すブロック図である。
【図2】図2は、図1の補正情報データベースに格納されている補正情報を示す図である。
【図3】図3は、一次推定主観品質SQに対する補正式による補正後の最終推定主観品質Qと、実測した主観品質と、の関係を示す図である。
【図4】図4は、本発明の映像品質評価装置に係る第2の実施形態の構成を示すブロック図である。
【図5】図5は、図4の空間特徴量算出部で使用される水平垂直エッジ量を計算するための図である。
【図6】図6は、本発明の映像品質評価装置に係る第3の実施形態の構成を示すブロック図である。
【図7】図7は、図6の重み付け係数データベースに格納されている複数の条件及び条件に対応する重み付け係数を示す図である。
【図8】図8は、本発明の実施形態の検証に使用した標準映像データを、学習データと検証データに分類して列挙した図である。
【図9】図9は、図8の学習データ及び検証データにより計算したSI(空間情報)値とTI(時間情報)値の分布図である。
【図10】図10は、従来のピークSN比(PSNR)による学習データの推定結果を示す図である。
【図11】図11は、従来のエッジ電力量(Ave_EE)による学習データの推定結果を示す図である。
【図12】図12は、本発明の第2及び第3の実施形態の映像品質評価装置による学習データの推定結果を示す図である。
【図13】図13は、本発明の第2及び第3の実施形態の映像品質評価装置による検証データの推定結果を示す図である。
【図14】図14は、従来のエッジ電力量(Ave_EE)のみによる学習データの推定結果を示す図である。
【図15】図15は、水平垂直エッジ量の最小値(Min_HV)と主観評価値の関係を示す図である。
【図16】図16は、ブロック平均動き電力量(Ave_MEB)と主観評価値の関係を示す図である。
【図17】図17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。
【図18】図18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。
【図19】図19は、表示タイミング整合部における処理を説明するための図である。
【図20】図20は、同期/位置整合部におけるマクロ時刻同期処理を説明するための図である。
【図21】図21は、同期/位置整合部におけるミクロ同期/位置導出処理を説明するための図である。
【発明を実施するための最良の形態】
【0055】
以下、図面を参照して、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラムに係る実施の形態を詳細に説明する。なお、第1乃至第3の実施形態は映像品質評価装置、映像品質評価方法及び映像品質評価プログラムの発明に係る実施形態であり、第4の実施形態は映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態である。
【0056】
<第1の実施形態>
本発明の映像品質評価装置に係る第1の実施形態の各装置部分を図1を参照して説明する。図1は、本発明の映像品質評価装置に係る第1の実施形態の構成を示すブロック図である。
【0057】
第1の実施形態の映像品質評価装置は、主観品質推定部11、特徴量算出部12、補正情報データベース13、補正計算部14、及び補正部15を少なくとも備えている。
【0058】
主観品質推定部11は、基準映像信号RIと劣化映像信号PIを入力する。基準映像信号RIは劣化する以前の映像信号であり、一方、劣化映像信号PIは、基準映像信号RIが、例えば符号化されたり、ネットワークを経由したりして劣化した映像信号である。
【0059】
次に、主観品質推定部11は、基準映像信号RI及び劣化映像信号PIに関し、物理的特徴量であるそれぞれの映像信号特徴量の差分を計算する。映像信号特徴量には、例えば、映像信号に含まれている映像のあるフレームでの映像状態を示す空間情報(SI)、及び、映像信号に含まれている映像のあるフレーム間での映像変化を示す時間情報(TI)がある。これら空間情報SI及び時間情報TIとしては、例えば、ITU−R Recommendation P.910の“Subjective Video Quality Assessment Methods for Multimedia Applications”のAppendix Aに規定されている、Spatial Information及びTemporal Informationがある。
【0060】
そして、主観品質推定部11は、計算された映像信号特徴量の差分から劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。すなわち、主観品質推定部11は、基準映像信号RIと劣化映像信号PIから劣化映像信号PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。推定された主観品質は、主観品質推定部11から一次推定主観品質SQとして出力される。一次推定主観品質SQは、例えば、エッジ電力量(E)と動き電力量(M)によって定まるとすれば、一般的に、次の式(1)で示される関数で表される。
【0061】
SQ=F(M,E) ・・・(1)
この関数Fは、予め主観評価実験により求めておくものである。また、エッジ電力量(E)と動き電力量(M)は、米国ANSIが規定する映像品質客観評価尺度(ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”)に規定されている。
【0062】
特徴量算出部12は、基準映像信号RIを入力して、この基準映像信号RIに基づいて映像信号特徴量FIを算出する。この映像信号特徴量FIとしても上述したように例えば空間情報SIや時間情報TIがある。特徴量算出部12は、例えば、空間情報SI及び時間情報TIの少なくともいずれかを特定してその特徴量を定量的に算出する。
【0063】
補正情報データベース13は、映像信号特徴量に対応して補正情報を格納している。映像信号特徴量は、上述のように例えば空間情報SIや時間情報TIである。補正情報は、主観品質推定部11の出力である一次推定主観品質SQを補正するための補正式や補正係数である。後に、これら補正情報は図2を参照して詳細に説明する。これらの補正式や補正係数は、予め実験によって決定されて、補正情報データベース13に格納される。映像信号特徴量FIを有する映像に劣化が加わった場合、人間がその映像を見て主観的にどの程度の劣化として感じられるかという特性を予め主観評価実験によって統一的に算出し、この特性に基づいて映像信号特徴量FIに対応する補正式及び補正係数を算出する。
【0064】
すなわち、基準映像信号RIの物理的特徴量とその特徴を持つ映像に劣化が加わった時の主観評価特性とを予め主観評価実験によって統一的に算出し、この算出された物理的特徴量と主観評価特性との対応関係により、基準映像信号RIの映像信号特徴量から主観品質推定部11で導出される一次推定主観品質SQを補正し、精度良く統一的な客観評価値への変換を可能にする。
【0065】
補正計算部14は、特徴量算出部12から映像信号特徴量FIを入力して、この映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13から抽出する。すなわち、補正計算部14は、映像信号特徴量FIに対応する補正式及び補正係数を補正情報データベース13で検索し、該当する補正式及び補正係数を補正情報データベース13から抽出する。そして、補正計算部14は、これら補正式及び補正係数を補正情報CIとして出力する。
【0066】
補正部15は、主観品質推定部11から一次推定主観品質SQを入力し、補正計算部14から補正情報CIを入力する。そして、補正部15は、一次推定主観品質SQを補正情報CIに含まれている補正係数を伴う補正式に代入して、補正された一次推定主観品質SQを最終推定主観品質Qとして出力する。最終推定主観品質Qは、劣化映像信号PIの主観品質を定量的に示した一次推定主観品質SQを補正したものである。
【0067】
次に、補正情報データベース13が格納している、映像信号特徴量に対応する補正情報を図2を参照して説明する。図2は、図1の補正情報データベース13に格納されている補正情報を示す図である。
【0068】
図2に示すように、補正情報データベース13では、映像信号特徴量のそれぞれの値に対応して、複数の補正係数がデータベース化されている。図2によると、例えば、基準映像信号RIの映像信号特徴量(空間情報SI及び時間情報TI)が特徴量算出部12によって(SI,TI)=(75,30)と算出された場合、この映像信号特徴量に対応する補正係数は(α,β)=(α2,β2)である。実際には、補正計算部14が特徴量算出部12から映像信号特徴量FIを入力し、この映像信号特徴量FIに対応する補正係数を補正情報データベース13のデータベースから補正式と共に抽出する。さらに、映像信号特徴量に応じて補正式も変化する場合は、補正情報データベース13には、補正係数だけでなく、映像信号特徴量に対応した補正式もデータベース化されている。
【0069】
最後に、補正部15が一次推定主観品質SQを補正して出力した最終推定主観品質Qについて図3を参照して説明する。図3は、一次推定主観品質SQに対する補正式による補正後の最終推定主観品質Qと、実測した主観品質と、の関係を示す図である。
【0070】
第1の実施形態では、補正式は、次の式(2)としている。
【0071】
最終推定主観品質Q=α×一次推定主観品質SQ+β ・・・(2)
ここで、α及びβは補正係数である。図3は、映像品質評価装置に入力された3種類の入力映像信号に対して計算された3つの補正式によるグラフを示している。横軸は主観品質推定部11の出力である一次推定主観品質SQを示し、縦軸は一次推定主観品質SQに対して人間が入力映像信号による映像を実際に見てその品質を評価する主観評価品質試験によって算出した主観品質を示す。図3中の丸印、四角印、三角印でそれぞれ示したものは、入力映像信号ごとに、一次推定主観品質SQに対する主観品質の評点を示している。一方、3本の線分は、それぞれ3種類の入力映像信号に対応する本実施形態による補正式であり、本実施形態により一次推定主観品質SQは、このように映像ごとに対応した補正式で補正される。
【0072】
このように、第1の実施形態によれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を推定できるようになる。
【0073】
尚、上述の実施形態においては、基準映像信号RIの映像信号特徴量を算出する構成を特徴量算出部12として論理的に別体として設けたが、かかる特徴量算出部12を特別に設けることなく、主観品質推定部11で導かれた基準映像信号RIの映像信号特徴量をそのまま利用してもよい。
【0074】
また、補正計算部14と補正部15とは物理的のみならず論理的にも一体であってもよい。即ち、補正部15が直接、基準映像信号RIの映像信号特徴量を入力すると共に、補正部15がその映像信号特徴量に対応した補正情報を補正情報データベースから入力するようにしてもよい。
【0075】
<第2の実施形態>
本発明の映像品質評価装置に係る第2の実施形態の各装置部分を図4を参照して説明する。図4は、本発明の映像品質評価装置に係る第2の実施形態の構成を示すブロック図である。
【0076】
第2の実施形態の映像品質評価装置は、図4に示すように、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、及び、主観品質推定部24を備えている。
【0077】
アライメント情報生成部21は、基準映像信号RIと劣化映像信号PIを入力して、基準映像信号RIから基準映像フレームを、劣化映像信号PIから劣化映像フレームをそれぞれ受け取り、基準映像フレームと劣化映像フレームの時間的及び空間的なフレームのずれを検出し、これらの時間的及び空間的なフレームのずれに関するアライメント情報を生成する。
【0078】
基準映像フレームと劣化映像フレームが時間的にずれているとは、アライメント情報生成部21がある時刻に受け取った基準映像フレームと劣化映像フレームの映像が時間的にずれていることである。例えば、アライメント情報生成部21がある時刻に基準映像フレームではある映像Aのフレームを受け取り、この時刻に劣化映像フレームではその映像Aのフレームよりも3フレーム前のフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが3フレーム遅れていることを検出し、この情報をアライメント情報として生成する。
【0079】
また、基準映像フレームと劣化映像フレームが空間的にずれているとは、アライメント情報生成部21がある時刻に受け取った映像の空間的位置がずれていることである。例えば、基準映像フレームと劣化映像フレームのフレームが時間的にずれていない場合に、アライメント情報生成部21がある時刻に基準映像フレームでは映像の中心にボールの中心が映っているフレームを受け取り、この時刻に劣化映像フレームでは映像の中心から右に1画素、上に2画素ずれている位置にボールの中心が映っているフレームを受け取った場合には、アライメント情報生成部21は基準映像フレームに対して劣化映像フレームが右に1画素、上に2画素ずれていることを検出し、この情報をアライメント情報として生成する。
【0080】
空間特徴量算出部22は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて空間特徴量を計算する。この第2の実施形態では、この空間特徴量として、以下に詳述するエッジ電力量(Ave_EE)と水平垂直エッジ量の最小値(Min_HV)の指標を使用する。
【0081】
エッジ電力量(Ave_EE):
この指標は、基準映像信号RIと劣化映像信号PIに基づいてフレーム内で輝度値が急激に変化する境界(エッジと呼ばれる)に発生する劣化(例えば、ぼやけ具合)を定量化するものである。第2の実施形態では、一例として、Sobelフィルタを使用して画素の輝度値からエッジを強調させることによって、エッジ上の劣化を定量化する。また、ここで定量化するエッジ電力量(Ave_EE)は、ANSI T1.801.03−1996,“Digital Transport of One−Way Video Signals Parameters for Objective Performance Assessment”に規定されている。
【0082】
エッジ電力量(Ave_EE)は、式(3)で定量化される。
【数1】
【0083】
ここで、SIμ(m)(μ=in or out)は、式(4)で与えられる。
【数2】
【0084】
また、ここで、SIh_μ(i,j,m)、SIv_μ(i,j,m)は、それぞれ第mフレームの位置(i,j)におけるSobelフィルタを表しており、それぞれ(5)式及び(6)式で与えられる。
【0085】
SIh_μ(i,j,m)={−Yμ(i−1,j−1,m)−2Yμ(i,j−1,m)−Yμ(i+1,j−1,m)+Yμ(i−1,j+1,m)+2Yμ(i,j+1,m)+Yμ(i+1,j+1,m)}
・・・(5)
SIv_μ(i,j,m)={−Yμ(i−1,j−1,m)+Yμ(i+1,j−1,m)−2Yμ(i−1,j,m)
+2Yμ(i+1,j,m)−Yμ(i−1,j+1,m)+Yμ(i+1,j+1,m)}
・・・(6)
ここで、Yin(i,j,m)は、基準映像フレームの第mフレームの位置(i,j)における画素の輝度値(0から255まで)を表し、Yout(i,j,m)は、劣化映像フレームの第mフレームの位置(i,j)における画素の輝度値(0から255まで)を表している。
【0086】
尚、このエッジ電力量(Ave_EE)のみで推定した場合の結果を図とともに後述するが、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化する映像が存在し、このエッジ電力量(Ave_EE)のみではこれらの映像に発生する劣化を捉えきれない。
【0087】
水平垂直エッジ量の最小値(Min_HV):
この指標は、基準映像フレームと比較して、この基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界(エッジ)が水平垂直方向に発生している度合いを定量化するものである。この第2の実施形態では、一例として、フレームの水平/垂直方向の場所に発生した水平垂直エッジ量とそれ以外の方向の場所に発生するエッジ量の比から歪量を捕らえる特徴量(Min_HV)によって、水平垂直方向にエッジが発生している度合いを定量化する。この度合いは、図5に示したように定数r0=20とΔθ=0.05236によって決まる水平/垂直方向領域に入るドット部分のエッジ量(HV)とそれ以外の領域に入るエッジ量(HVバー)との比を入力映像と劣化映像によって求めるものである。かかる指標を採用した理由は、映像情報はブロック単位で符号化されることが多く、かかる符号化におけるいわゆるブロック歪みを的確に反映させるためである。
【0088】
水平垂直エッジ量の最小値(Min_HV)は、式(7)で定量化される。
【数3】
【0089】
ここで、HVRμ(m)(μ=in or out)は、式(8)で与えられる。
【数4】
【0090】
また、ここで、式(9)に示す定義がある。
【数5】
【0091】
ただし、条件として、式(10)及び式(11)を満たしている。
【0092】
SIr−μ(i,j,m)≧rmin>0 ・・・(10)
kII/2−Δθ<SIθ−μ(i,j,m)<kII/2+Δθ(k=0,1,2,3)
・・・(11)
ここで、SIθ−μ(i,j,m)=tan−1[SIv−μ(i,j,m)/SIh−μ(i,j,m)]である。
【0093】
また、式(9)のPは、図5の影がついている範囲の画素数である。
【0094】
一方、式(12)に示す定義がある。
【数6】
【0095】
ただし、条件として、式(13)及び式(14)を満たしている。
【0096】
SIr_μ(i,j,m)rmin>0 ・・・(13)
kII/2+Δθ<SIθ_μ(i,j,m)<(k+1)II/2−Δθ(k=0,1,2,3)
・・・(14)
また、式(12)のPは、式(13)及び式(14)を満たす範囲の画素数である。
【0097】
水平垂直エッジ量の最小値(Min_HV)は、エッジ電力量(Ave_EE)では捉えきれなかった劣化、具体的にはブロック歪により新たに生じたエッジを捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、ANSIに規定された指標をベースとしているが、式(7)に示すように、最小値を用いることで新たなエッジの発生分のみを感度良く捉えるよう独自に改良したものである。
【0098】
ところで、時間特徴量算出部23は、基準映像信号RIと劣化映像信号PIとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号RIと劣化映像信号PIに基づいて時間特徴量を計算する。この第2の実施形態ではこの時間特徴量として、以下に詳述するTI(時間情報)値の差分に基づく指標であるブロック平均動き電力量(Ave_MEB)を使用する。TI値は映像フレーム間の画素の輝度値の差分であり、ITU−R Recommendation P.910に規定されているものである。
【0099】
このブロック平均動き電力量(Ave_MEB):
この指標は、フレーム内の幾つかの画素の集まりであるブロックごとに基準映像フレームと劣化映像フレームのTI値の差分を導出し、この差分を基準映像フレームのブロックごとのTI値によって正規化を行ったものである。
【0100】
すなわち、ブロック平均動き電力量(Ave_MEB)は、式(15)で表される。
【数7】
【0101】
ここで、TIb_μ(k,l,m)は、式(16)で表される。
【数8】
【0102】
ブロック平均動き電力量(Ave_MEB)は、エッジ電力量(Ave_EE)では捉えきれなかった劣化、具体的には領域毎の動きによる劣化の発生を捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、領域毎の動きを捉えるためブロック毎のTI値を導出し、さらに基準映像の値で正規化することにより感度良くさせた独自の尺度である。
【0103】
主観品質推定部24は、空間特徴量算出部22で計算された空間特徴量と時間特徴量算出部23で計算された時間特徴量とを入力して、基準映像信号RIに対する劣化映像信号PIの主観品質である主観評価値を推定する。この主観評価値(Y)は、式(17)で算出される。
【0104】
Y=αX1+βX2+γX3+δ ・・・(17)
ここで、X1=Ave_EE、X2=Min_HV、X3=Ave_MEBである。
【0105】
この主観評価値が最終的に得られる値である。
【0106】
ここで、α,β,γ,δは主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を決定するために予め求めた重み付け係数である。また、α,β,γ,δは、例えば、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式に基づいて決定される。したがって、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式から予めα,β,γ,δを計算しておくことができる。
【0107】
以上に説明した第2の実施形態の映像品質評価装置によれば、任意の映像に対して統一的に主観品質を推定することができる。この第2の実施形態の映像品質評価装置が従来の映像品質評価装置に対して、どの程度精度が上がるかについては後に図面を参照して詳細に説明する。
【0108】
尚、第2の実施形態で説明した図4に示した映像品質評価装置は、図1に示した映像品質評価装置の主観品質推定部11に組み込まれ、図1に示した映像品質評価装置が使用されることも可能である。すなわち、図4に示した映像品質評価装置が基準映像信号RI及び劣化映像信号PIを入力して、主観品質推定部24が出力した値を一次推定主観品質SQとして補正部15に出力する。補正部15は、補正計算部14から補正情報C1を受け取り、一次推定主観品質SQを入力して最終推定主観品質Qを計算する。
【0109】
<第3の実施形態>
本発明の映像品質評価装置に係る第3の実施形態の各装置部分を図6を参照して説明する。図6は、本発明の映像品質評価装置に係る第3の実施形態の構成を示すブロック図である。
【0110】
第3の実施形態の映像品質評価装置は、第2の実施形態の映像品質評価装置と比較して、装置に入力され基準映像信号RIと劣化映像信号PIとがそれぞれ互いに異なるファイル形式から入力される場合であり、さらに、劣化映像信号PIの信号形式、劣化映像信号PIにより送られてくる劣化映像の情報量(サイズ)、及び、劣化映像信号の符号化方式が未知の場合であることが異なる。したがって、第2の実施形態の映像品質評価装置と同様な部分は同一符号を付して説明を省略する。
【0111】
第3の実施形態の映像品質評価装置は、図6に示すように、フォーマット変換部35、アライメント情報生成部21、空間特徴量算出部22、時間特徴量算出部23、主観品質推定部34、及び、重み付け係数データベース36を備えている。
【0112】
フォーマット変換部35は、基準映像ファイルと劣化映像ファイルを入力して、劣化映像ファイルのファイル形式が基準映像ファイルのファイル形式と異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。より詳細には、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式が基準映像ファイルのものと異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。そして、フォーマット変換部35は基準映像ファイルと同じファイル形式に変換された劣化映像ファイルから劣化映像信号PIを出力する。フォーマット変換部35からの劣化映像信号PIはアライメント情報生成部21、空間特徴量算出部22、及び、時間特徴量算出部23に出力される。
【0113】
より具体的には、フォーマット変換部35は、例えば、基準映像がVGAサイズのYUV形式基準映像を想定し、基準映像と劣化映像のカラーフォーマットが異なる場合、劣化映像がRGB形式であればこの映像をRec.IUT−R BT.601“STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE−SCREEN 16:9 ASPECT RATIOS”などに載っている変換式を用いて変換する。また、フォーマット変換部35が基準映像と劣化映像のサイズやアスペクト比をこれらが同一となるように変換する場合に、単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要がある。この場合、公知の方法により任意のサイズへの変換を行う(例えば、Muramatsu S.and Kiya H.:″Scale Factor of Resolution Conversion Based on Orthogonal Transforms,″IEICE Trans.Fundamentals.,E76−A,7,pp.1150−1153(July 1993)や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌A,Vol.77−A,No.3,pp.369−378,March 1994.、参照)。また、映像信号が圧縮されている場合、予め非圧縮形式に変換する。
【0114】
さらに、映像符号化や伝送システムの特性や国による規格の違いにより劣化映像の色や明るさの分布が異なることにより、客観評価値にバイアスがかかることを避けるため、基準映像と劣化映像の輝度値などの分布を正規化する。つまり、基準映像と劣化映像の両者に対して、輝度、色差信号、又はRGB値毎に、特定フレームの画素値の分布からその最大値、最小値、平均値、分散のような統計量を導出し、その分布が同じになるよう、例えば平均値のずれた分だけ劣化映像の全画素値をシフトさせることにより、又は基準映像と劣化映像の最小値と最大値の範囲をそろえるため式(18)に示す変換式で変換することにより、基準映像と劣化映像の分布を正規化する。
【数9】
【0115】
フォーマット変換部35は、変換された劣化映像信号PIのファイル形式、すなわち基準映像信号RIと同様なファイル形式に関連する情報を主観品質推定部34に出力する。このファイル形式に関連する情報は、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式であるが、この第3の実施形態では、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を主観品質推定部34に出力する。
【0116】
重み付け係数データベース36は、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を一組の条件として、この条件を複数格納しており、各条件に対応して重み付け係数α,β,γ,δが予め設定されている。これらの重み付け係数は、主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を予め求めてあるものである。図7は、重み付け係数データベース36が格納している複数の条件及びこれら条件に対応する重み付け係数を示している。
【0117】
主観品質推定部34は、フォーマット変換部35から入力する劣化映像ファイルの信号形式、サイズ、及び、符号化方式に応じて、重み付け係数α,β,γ,δを重み付け係数データベース36から取得することが、第2の実施形態の主観品質推定部24と異なる。他は主観品質推定部24と同様である。
【0118】
尚、図6では、フォーマット変換部35とアライメント情報生成部21が別個に配置されているが、フォーマット変換部35とアライメント情報生成部21が1つの構成部として図6の映像品質評価装置に組み込まれていてもよい。
【0119】
以上に説明した第3の本実施形態によれば、劣化映像ファイルのファイル形式が基準映像ファイルと異なった場合でも劣化映像の主観品質を推定することができる。さらに、劣化映像ファイルの信号形式、サイズ、及び、符号化方式等に関し、多くのパターンに対応することができるため、様々な劣化映像ファイルの主観品質を推定することが可能となる。
【0120】
以下に、第2及び3の実施形態の映像品質評価装置が推定した映像品質評価値の推定精度についての実際の結果を、従来の映像品質評価装置と比較しつつ、図8から図16を参照して説明する。
【0121】
最初に、推定精度の検証及び重み付け係数データベース36に格納する重み付け係数を導出するために用いる主観評価データについて説明する。主観評価データは図8に示すITU−Rで選定されている標準映像(図8の映像シーケンス名)(ITU−RBT.802−1,“Test Pictures and Sequences for Subjective Assessments of Digital Codecs Conveying Signals Produced According to Recommendation ITU−RBT.601,”1994、及び、ITU−R BT.1201−2,“Test materials to be used in subjective assessment,”2001を参照)の36種類を基準映像とし、図8に示したように標準映像を映像品質評価値の推定精度を検証するための検証データと予め係数導出に用いるデータである学習データに分ける。
【0122】
推定精度を検証するために用いる主観評価データは、基準映像の特性の偏りによる影響を少なくするように選択される。すなわち、ITU−TP.910(ITU−T P.910,“Subjective video quality assessment methods for multimedia applications”Aug.1996.を参考)で示されている空間情報(SI)、時間情報(TI)の分布を考慮し、図9の領域Aから領域Dまで同数の映像を選定する。これにより、様々なSI値及びTI値を有する映像を基準映像とすることができる。また、これらの基準映像に対しMPEG4をベースとした符号化劣化を用いて256kbps〜8Mbps範囲内で4段階に割り振り劣化映像とした。
【0123】
主観品質評価法は、MPEGのベリフィケーションなどコーデックの性能評価試験でよく使われているDSCQS法(ITU−R BT.500−10,“Methodology for the subjective assessment of the quality of television pictures”March 2000.を参考)を用い、被験者数は18歳から40歳までの一般人の男女24名である。
【0124】
映像品質評価装置の目標推定精度は、主観評価における評点のばらつきの程度と同等とすることが適切である。主観評価値のばらつきの程度を片側95%信頼区間として導出したところ、全データにおいて7.24であった。そこで、映像品質評価装置の目標推定精度として平均二乗誤差(RMSE)がこの値を超えないことが目標となる。
【0125】
従来の映像品質評価装置では、一般的に使用される、PSNR(Peak Signal Noise Ratio:ピークSN比)と、ANSIのパラメータとして知られているエッジ電力量(Ave_EE)とを用いたものを使用して、学習データに対して推定した結果をそれぞれ図10及び図11に示す。図10がPSNRを使用した場合で、図11がエッジ電力量(Ave_EE)を使用した場合の推定結果である。図10及び図11によれば、PSNRでのRMSEは9.57で、エッジ電力量(Ave_EE)でのRMSEは7.47であり、PSNRに比べてエッジ電力量(Ave_EE)のほうが良好な特性を示すが、RMSEは目標値を超えており推定精度は不十分である。
【0126】
次に、エッジ電力量(Ave_EE)、水平垂直エッジ量の最小値(Min_HV)、Ave_MEB全てを用いた第2及び第3の実施形態の映像品質評価装置を使用して、学習データ、検証データに対する推定結果を図12及び図13に示す。図12及び図13によれば、学習データでのRMSEは6.43であり、検証データでのRMSEは6.49であるので、学習データだけではなく、非学習データである検証データに対しても目標とする推定精度を十分クリアしている。したがって、第2及び第3の実施形態の映像品質評価装置は、人間が実際の映像を見てその品質を評価する主観評価品質試験に代えて使用することができる推定精度を持ち、実用的に使えるレベルであることがわかる。
【0127】
また、図14は、エッジ電力量(Ave_EE)のみによる学習データの一部の推定結果を示す図である。図14に示すように、入力映像[3]、[6]、[7]、[9]において評点の傾きが大きく、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化しており、このエッジ電力量(Ave_EE)のみではこれらの映像に発生する劣化を捉えきれていないことが分かる。
【0128】
また、図15は、水平垂直エッジ量の最小値(Min_HV)と主観評価値の関係を示す図である。図15に示すように、水平垂直エッジ量の最小値(Min_HV)によれば、入力映像[3]、[7]において、敏感にその劣化を捉えていることが分かる。
【0129】
また、図16は、ブロック平均動き電力量(Ave_MEB)と主観評価値の関係を示す図である。図16に示すように、ブロック平均動き電力量(Ave_MEB)によれば、入力映像[6]、[9]において、敏感にその劣化を捉えていることが分かる。
【0130】
以上のように、本発明の第2及び第3実施形態によれば、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。
【0131】
<第4の実施形態>
次に、映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態について説明する。
【0132】
図17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。
【0133】
第4の実施形態の映像整合装置は、フォーマット変換部41、表示タイミング整合部42、同期/位置整合部43、輝度/色補正部44、及び劣化量導出部45を少なくとも備えている。
【0134】
フォーマット変換部41は、符号化やネットワークでの損失によって劣化した劣化映像信号に含まれるファイル形式を、基準映像信号に含まれる基準映像のファイル形式に合わせる。表示タイミング整合部42は、基準映像信号と劣化映像信号の映像表示のタイミングを合わせる。同期/位置整合部43は、劣化量導出部45から劣化量や同期ずれ情報を取得しつつ、基準映像信号と劣化映像信号の時間空間方向の整合をとる。また、必要に応じて、輝度/色整合部44は、基準映像信号と劣化映像信号の輝度や色分布の違いについて補正を行う。
【0135】
尚、この実施形態においては、基準映像信号及び劣化映像信号には、フレームレート情報又はフレーム表示時刻/取込時刻情報が含まれている。また、必要に応じて、信号フォーマット情報も含まれる。それにより、当該映像整合装置は、基準映像及び劣化映像について、対象フレームとその前後数フレーム分をメモリに蓄積しながら非リアルタイムに処理を進めるものとする。
【0136】
図18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。
【0137】
先ず、フォーマット変換部41は、基準映像と劣化映像の信号形式、サイズ、アスペクト比が異なる場合に、劣化映像の信号形式の変換を行う(ステップS1)。例えば、基準映像のデータ形式が非圧縮のYUV形式であり、劣化映像のデータ形式が非圧縮のRGB形式であれば、劣化映像を、Rec.IUT−R BT.601“STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE−SCREEN 16:9 ASPECT RATIOS”の変換式を用いて変換する。また、フォーマット変換部41は、そもそも劣化映像が圧縮形式の場合は事前に非圧縮形式に変換する。さらに、フォーマット変換部41は、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。ここで、例えば単純に整数倍として計算できる場合があるが、それだけでは不十分の場合は任意のサイズに変換する必要があり、この場合、公知の方法により任意のサイズへの変換を行う(例えば、Muramatsu S.and Kiya H.:″Scale Factor of Resolution Conversion Based on Orthogonal Transforms,″IEICE Trans.Fundamentals.,E76−A,7,pp.1150−1153(July 1993)や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌A,Vol.77−A,No.3,pp.369−378,March 1994.、参照)。その後、フォーマット変換部41は、基準映像信号と変換した劣化映像信号を表示タイミング整合部42に渡す。
【0138】
次に、表示タイミング整合部42は、フォーマット変換部41でフォーマット変換された劣化映像信号を基準映像信号の表示タイミングに合わせるため、フレームの補完などの処理を行う(ステップS2)。
【0139】
具体的には、図19の(a)に示すように劣化映像の表示間隔が基準映像の表示間隔より定常的に長い場合には、表示タイミング整合部42は、図19の(b)の下段に示すように、全フレームを補完することにより劣化映像に対して映像を補う。
【0140】
また、図19の(b)に示すように劣化映像の表示間隔が揺らぐ場合には、表示タイミング整合部42は、図19の(b)の下段に示すように、基準映像と同期しているタイミングで、劣化映像の直前の映像で劣化映像を補う。尚、このとき、劣化映像の直前の映像で補うのではなく、劣化映像のうち時間的に近い映像で補いようにすることもできる。即ち、例えば、図19の(b)の場合、変換劣化映像の2番目のフレームとしてフレームIが充てられているが、劣化映像のうち時間的に近い映像で補うとするならば、フレームIIが充てられることとなる。
【0141】
さらに、図19の(c)に示すように基準映像信号自体が一定のフレームレートでない場合は、基準映像信号と劣化映像信号をそれらとは別の正確な時間間隔で表示されるように補完することとする。
【0142】
その後、表示タイミング整合部42は、基準映像信号と劣化映像信号を同期/位置整合部43に渡す。
【0143】
同期/位置整合部43は、(1)評価開始状態、(2)同期状態、(3)フリーズ状態の3つの状態を想定して、その動作を規定している。
【0144】
(1)先ず、評価開始状態においては、同期/位置整合部43は、時間方向のマクロな整合をとるために、一定時間の基準映像信号と劣化映像信号に対する1フレーム全体やその特定領域の信号の輝度/色差/RGB値の平均値のような特徴量の推移を比較して整合性の最も高くなるフレーム情報を取得し、それによりマクロな時間方向のずれを導出する(ステップS3)。具体的には、図20に示すように特徴量を時間方向にずらして各時系列値の差分が最小、または相互相関係数が最大になる条件から時間方向のずれ(フレーム差)を導出する。
【0145】
また、同期/位置整合部43は、ミクロな時間空間方向の整合をとるために、劣化量導出部45より基準映像において整合がとれた映像の前後数フレームに対して図21に示すように劣化映像を上下左右に画素を動かし、差分値の最小である位置を最も整合がとれたところとして画素位置情報として受け取る(ステップS4)。
【0146】
さらに、同期/位置整合部43は、輝度/色補正を行うために整合がとられた基準映像と劣化映像を輝度/色補正部44に渡す。輝度/色補正部44は、劣化映像の輝度及び色情報の平均値、最小値及び最大値並びにそれらの分布を、基準映像のそれらと整合をとる。例えば、基準映像と劣化映像の輝度分布が異なる場合には、輝度/色補正部44は、基準映像と劣化映像の輝度分布のそれぞれの平均値と分散値に基づき、基準映像と劣化映像の輝度分布に対し線形正規化を施し、その線形正規化を行うための変換式に係る情報を補正情報として同期/位置整合部43に渡す。同期/位置整合部43は、その補正情報を受け取り、受け取った補正情報に基づいて輝度/色補正処理を行う(ステップS5)。
【0147】
以下、(2)同期状態及び(3)フリーズ状態における処理として、同期/位置整合部43は、図18に示したステップS6乃至ステップS22の処理を行う。
【0148】
基準映像対象フレーム番号iが基準映像最終フレーム数Nより小さいか、または劣化映像対象フレーム番号jが劣化映像最終フレーム数Mより小さい間は、以下のステップS7乃至ステップS22の処理を行う(ステップS6)。
【0149】
そこで、先ず、F1が“1”か否か、即ち基準映像と劣化映像とが非同期状態にあるか否かを判断する(ステップS7)。基準映像と劣化映像とが同期状態にある場合は(F1=0)、ステップS8に移行し、基準映像と劣化映像とが非同期状態にある場合は(F1=1)、ステップS16に移行する。
【0150】
先ず、基準映像と劣化映像とが同期状態にある場合(F1=0)について以下説明する。
【0151】
同期/位置整合部43は、前述の評価開始状態で得られた、時間空間方向のずれや、輝度/色情報を補正した劣化映像と、基準映像とを劣化量導出部45に渡す。劣化量導出部45は、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象にミクロ同期処理を行い(図21参照)、それにより得られる劣化量を導出すると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として導出する(ステップS8)。同期/位置整合部43は、劣化量導出部45により導出されたそれらの劣化量を受け取り、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する(ステップS9)。即ち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれが殆ど0を示していれば、同期/位置整合部43は、劣化映像がフリーズ状態であると判断する。
【0152】
劣化映像がフリーズ状態のときは、同期/位置整合部43は、非同期状態(F1=1)と設定すると共に、フリーズ数を“1”(Count=1)として(ステップS10)、ステップS22に移行する。
【0153】
一方、劣化映像がフリーズ状態ではないときは、次に、同期/位置整合部43は、ステップS8において劣化量導出部45のミクロ同期処理により得られた、劣化映像の対象フレームの劣化量が、最小か否かを判断する(ステップS11)。劣化映像の対象フレームの劣化量が最小であるときは、同期状態(F2=0)と設定し(ステップS12)、ステップS14に移行する。一方、劣化映像の対象フレームの劣化量が最小でないときは、フレームずれ状態(コマ飛び状態、コマ戻り状態等)であると判定してステップS13に移行し、劣化量が最小であるフレーム番号をj値に設定し、コマ飛びならF2=1と設定し、それ以外(コマ戻り状態等)ならF2=2と設定し、そのときのコマ(フレーム)のずれ数をCount値に設定する。
【0154】
ステップS14においては、基準映像及び劣化映像を出力すると共にF2値及びCount値を出力する。その後、Count値を0にリセットし、ステップS22に移行する。
【0155】
次に、ステップS7において、基準映像と劣化映像とが非同期状態にある(F1=1)と判断された場合について以下説明する。
【0156】
同期/位置整合部43は、ステップS16において、ステップS8と同様、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象に行われたミクロ同期処理により得られた劣化量を劣化量導出部45から受け取ると共に、基準映像と劣化映像各々の1つ前のフレームとの間のフレーム間の差分値を劣化量として受け取る。同期/位置整合部43は、ステップS9と同様、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する(ステップS17)。
【0157】
劣化映像がフリーズ状態のときは、同期/位置整合部43は、フリーズ数(Count値)をインクリメントして(ステップS18)、ステップS22に移行する。
【0158】
一方、劣化映像がフリーズ状態ではないときは、同期/位置整合部43は、フリーズ状態が終了したと判断し、ステップS3と同様のマクロ時刻同期処理を行い、(ステップS19)、フリーズ数(Count値)を出力する(ステップS20)。その後、F1値及びCount値を0にリセットし、ステップS22に移行する。
【0159】
ステップS22においては、基準映像対象フレーム番号i及び劣化映像対象フレーム番号jをインクリメントし、そのi値が基準映像最終フレーム数Nに達し、かつ、そのj値が劣化映像最終フレーム数Mに達した場合には、処理を終了する。
【0160】
尚、常に一定時間、基準映像信号と劣化映像信号について、1フレーム全体または特定領域の信号の輝度/色差/RGB値の平均値のような特徴量を蓄積していることとし、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値からある閾値(3σのように標準偏差の定数倍)以上に開きが生じた場合には、(1)の評価初期状態に入ることとし、ステップS3から処理が再開される。
【0161】
以上が本発明の実施形態における映像整合処理の詳細である。
【0162】
本実施形態によれば、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。
【0163】
ところで、本発明の映像整合方法においては、同期/位置整合部43から出力した基準映像と劣化映像とその付属情報(時間方向の状態)を映像品質評価装置に入力することを想定している(例えば、第1の実施形態の映像品質評価装置の主観品質推定部11に入力される)が、劣化量導出部45において劣化量ではなく客観評価値を導出することとし、同期/位置整合部43よりその結果を出力すれば映像品質評価装置として利用するともできる。
【0164】
尚、以上に説明してきた各実施形態において、その処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、この汎用計算機システムを映像品質評価装置及び映像整合装置として機能させることができる。上述の各実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、コンピュータが上述した実施形態の映像品質評価装置及び映像整合装置として動作する。
【0165】
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【0166】
本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、未知の基準映像であっても、任意の映像に対して精度良く統一的な主観品質を推定することができる。
【0167】
具体的には、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を導出できるようになる。
【0168】
また、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。
【0169】
本発明の映像整合装置、映像整合方法及び映像整合プログラムによれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる。
【0170】
具体的には、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にIPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。
【0171】
したがって、かかる映像整合装置及び方法を前提とした映像品質評価装置及び方法によれば、上述の各場合でも映像品質客観評価が可能となったり、その精度を向上させることができる。
【特許請求の範囲】
【請求項1】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、
前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部(13)と、
前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部(13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部(12,14,15)と、
を備えることを特徴とする映像品質評価装置。
【請求項2】
前記主観品質推定部(11)は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報(SI)及びフレーム間での映像変化を示す時間情報(TI)の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項3】
前記主観品質推定部(11)は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量(E)、及び、フレーム間での劣化量を示す動き電力量(M)の少なくとも一方を算出することを特徴とする請求の範囲第2項に記載の映像品質評価装置。
【請求項4】
前記主観品質推定部(11)は、ITU−R Recommendation P.910に規定されているspatial information及びtemporal informationの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを特徴とする請求の範囲第2項に記載の映像品質評価装置。
【請求項5】
補正情報格納部(13)は、前記主観品質を補正するための補正情報として、補正係数(α,β)を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報(SI)及びフレーム間での映像変化を示す時間情報(TI)に対応して格納していることを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項6】
前記主観品質推定部(11)は、
前記基準映像信号(RI)と前記劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部(24)と、
を備えることを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項7】
劣化していない映像信号である基準映像信号(RI)が劣化した劣化映像信号(PI)の推定された主観品質を補正するための補正情報(α,β)を、映像信号特徴量に対応して格納している補正情報格納部(13)を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、
前記基準映像信号と前記劣化映像信号とを入力し、
両信号の映像信号特徴量を算出し、
算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、
算出された前記基準映像信号の映像信号特徴量に対応した補正情報(α,β)を前記補正情報格納部(13)から取得し、
取得された補正情報(α,β)に基づいて前記推定された主観品質を補正することを特徴とする映像品質評価方法。
【請求項8】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段(11)と、
前記主観品質を補正するための補正情報(α,β)を、映像信号特徴量に対応して格納する補正情報格納手段(13)と、
算出された前記基準映像信号の映像信号特徴量に対応した補正情報(α,β)を前記補正情報格納手段(13)から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段(12,14,15)として機能させるための映像品質評価プログラム。
【請求項9】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部(24)と、
を備えることを特徴とする映像品質評価装置。
【請求項10】
前記劣化映像信号(PI)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号(RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部(35)と、
前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数(α,β,γ,δ)を格納している補正係数格納部(36)と、
を更に備え、
前記主観品質推定部(34)は、前記形式変換部(35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納部(36)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第9項に記載の映像品質評価装置。
【請求項11】
前記形式変換部(35)は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかに対応させて、最適な係数(α,β,γ,δ)を格納していることを特徴とする請求の範囲第10項に記載の映像品質評価装置。
【請求項12】
前記空間特徴量算出部(22)は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量化する指標を前記空間特徴量として算出することを特徴とする請求の範囲第9項または第10項に記載の映像品質評価装置。
【請求項13】
前記空間特徴量算出部(22)は、前記基準映像信号と前記劣化映像信号に基づいて、ANSI T1.801.03−1995で規定されているエッジ電力量(Ave_EE)を空間特徴量として算出することを特徴とする請求の範囲第12項に記載の映像品質評価装置。
【請求項14】
前記空間特徴量算出部(22)は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標(Min_HV)を前記空間特徴量として算出することを特徴とする請求の範囲第9項、第10項、または第12項に記載の映像品質評価装置。
【請求項15】
前記時間特徴量算出部(23)は、フレーム内の1画素以上の集合であるブロックごとに基準映像のITU−R Recommendation P.910に規定されているTemporal Information値と劣化映像のITU−R Recommendation P.910に規定されているTemporal Information値の差分に基づいて映像のフレーム間での変化量(Ave_MEB)を前記時間特徴量として算出することを特徴とする請求の範囲第9項、第10項、第12項、または第14項に記載の映像品質評価装置。
【請求項16】
前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部(13)と、
前記基準映像信号(RI)の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報(α,β)を前記補正情報格納部(13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部(12,14,15)と、
を更に備えることを特徴とする請求の範囲第9項または第10項に記載の映像品質評価装置。
【請求項17】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。
【請求項18】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、
その統一されたファイル形式に関連した情報を生成し、
前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、
前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数(α,β,γ,δ)と、に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。
【請求項19】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成手段(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段(24)として機能させるための映像品質評価プログラム。
【請求項20】
前記コンピュータを、
前記劣化映像信号(PI)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号(RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段(35)と、
前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数(α,β,γ,δ)を格納している補正係数格納手段(36)として更に機能させ、
前記主観品質推定手段(34)は、前記形式変換手段(35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段(36)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第19項に記載の映像品質評価プログラム。
【請求項21】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、
を備えることを特徴とする映像整合装置。
【請求項22】
前記形式変換部(41)は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも1つを変換して前記基準映像と合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項23】
前記表示タイミング整合部(42)は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項24】
前記表示タイミング整合部(42)は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項25】
前記表示タイミング整合部(42)は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項26】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項27】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第26項に記載の映像整合装置。
【請求項28】
前記同期/位置整合部(43)は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第27項に記載の映像整合装置。
【請求項29】
前記同期/位置整合部(43)は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項30】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを特徴とする請求の範囲第29項に記載の映像整合装置。
【請求項31】
前記同期/位置整合部(43)は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マクロ同期処理を行うことを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項32】
前記同期/位置整合部(43)は、前記劣化映像フレームがフレームずれ状態に陥った場合、フレームのずれ数を出力することを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項33】
前記同期/位置整合部(43)から前記基準映像信号(RI)及び前記劣化映像信号(PI)を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部(43)に戻す輝度/色補正部(44)を更に備えることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項34】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し(ステップS1)、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ(ステップS2)、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる(ステップS3−S22)ことを特徴とする映像整合方法。
【請求項35】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合手段(43)として機能させるための映像整合プログラム。
【請求項36】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、
前記同期/位置整合部(43)により整合がとられた前記基準映像信号(RI)及びそ前記劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、
を備えることを特徴とする映像品質評価装置。
【請求項1】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、
前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部(13)と、
前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部(13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部(12,14,15)と、
を備えることを特徴とする映像品質評価装置。
【請求項2】
前記主観品質推定部(11)は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報(SI)及びフレーム間での映像変化を示す時間情報(TI)の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項3】
前記主観品質推定部(11)は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量(E)、及び、フレーム間での劣化量を示す動き電力量(M)の少なくとも一方を算出することを特徴とする請求の範囲第2項に記載の映像品質評価装置。
【請求項4】
前記主観品質推定部(11)は、ITU−R Recommendation P.910に規定されているspatial information及びtemporal informationの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを特徴とする請求の範囲第2項に記載の映像品質評価装置。
【請求項5】
補正情報格納部(13)は、前記主観品質を補正するための補正情報として、補正係数(α,β)を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報(SI)及びフレーム間での映像変化を示す時間情報(TI)に対応して格納していることを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項6】
前記主観品質推定部(11)は、
前記基準映像信号(RI)と前記劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部(24)と、
を備えることを特徴とする請求の範囲第1項に記載の映像品質評価装置。
【請求項7】
劣化していない映像信号である基準映像信号(RI)が劣化した劣化映像信号(PI)の推定された主観品質を補正するための補正情報(α,β)を、映像信号特徴量に対応して格納している補正情報格納部(13)を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、
前記基準映像信号と前記劣化映像信号とを入力し、
両信号の映像信号特徴量を算出し、
算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、
算出された前記基準映像信号の映像信号特徴量に対応した補正情報(α,β)を前記補正情報格納部(13)から取得し、
取得された補正情報(α,β)に基づいて前記推定された主観品質を補正することを特徴とする映像品質評価方法。
【請求項8】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段(11)と、
前記主観品質を補正するための補正情報(α,β)を、映像信号特徴量に対応して格納する補正情報格納手段(13)と、
算出された前記基準映像信号の映像信号特徴量に対応した補正情報(α,β)を前記補正情報格納手段(13)から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段(12,14,15)として機能させるための映像品質評価プログラム。
【請求項9】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部(24)と、
を備えることを特徴とする映像品質評価装置。
【請求項10】
前記劣化映像信号(PI)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号(RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部(35)と、
前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数(α,β,γ,δ)を格納している補正係数格納部(36)と、
を更に備え、
前記主観品質推定部(34)は、前記形式変換部(35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納部(36)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第9項に記載の映像品質評価装置。
【請求項11】
前記形式変換部(35)は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかに対応させて、最適な係数(α,β,γ,δ)を格納していることを特徴とする請求の範囲第10項に記載の映像品質評価装置。
【請求項12】
前記空間特徴量算出部(22)は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量化する指標を前記空間特徴量として算出することを特徴とする請求の範囲第9項または第10項に記載の映像品質評価装置。
【請求項13】
前記空間特徴量算出部(22)は、前記基準映像信号と前記劣化映像信号に基づいて、ANSI T1.801.03−1995で規定されているエッジ電力量(Ave_EE)を空間特徴量として算出することを特徴とする請求の範囲第12項に記載の映像品質評価装置。
【請求項14】
前記空間特徴量算出部(22)は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標(Min_HV)を前記空間特徴量として算出することを特徴とする請求の範囲第9項、第10項、または第12項に記載の映像品質評価装置。
【請求項15】
前記時間特徴量算出部(23)は、フレーム内の1画素以上の集合であるブロックごとに基準映像のITU−R Recommendation P.910に規定されているTemporal Information値と劣化映像のITU−R Recommendation P.910に規定されているTemporal Information値の差分に基づいて映像のフレーム間での変化量(Ave_MEB)を前記時間特徴量として算出することを特徴とする請求の範囲第9項、第10項、第12項、または第14項に記載の映像品質評価装置。
【請求項16】
前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部(13)と、
前記基準映像信号(RI)の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報(α,β)を前記補正情報格納部(13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部(12,14,15)と、
を更に備えることを特徴とする請求の範囲第9項または第10項に記載の映像品質評価装置。
【請求項17】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。
【請求項18】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、
その統一されたファイル形式に関連した情報を生成し、
前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、
前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数(α,β,γ,δ)と、に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。
【請求項19】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成手段(21)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段(22)と、
前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段(23)と、
前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段(24)として機能させるための映像品質評価プログラム。
【請求項20】
前記コンピュータを、
前記劣化映像信号(PI)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号(RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段(35)と、
前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数(α,β,γ,δ)を格納している補正係数格納手段(36)として更に機能させ、
前記主観品質推定手段(34)は、前記形式変換手段(35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段(36)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第19項に記載の映像品質評価プログラム。
【請求項21】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、
を備えることを特徴とする映像整合装置。
【請求項22】
前記形式変換部(41)は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも1つを変換して前記基準映像と合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項23】
前記表示タイミング整合部(42)は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項24】
前記表示タイミング整合部(42)は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項25】
前記表示タイミング整合部(42)は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項26】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項27】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第26項に記載の映像整合装置。
【請求項28】
前記同期/位置整合部(43)は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第27項に記載の映像整合装置。
【請求項29】
前記同期/位置整合部(43)は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項30】
前記同期/位置整合部(43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを特徴とする請求の範囲第29項に記載の映像整合装置。
【請求項31】
前記同期/位置整合部(43)は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マクロ同期処理を行うことを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項32】
前記同期/位置整合部(43)は、前記劣化映像フレームがフレームずれ状態に陥った場合、フレームのずれ数を出力することを特徴とする請求の範囲第28項に記載の映像整合装置。
【請求項33】
前記同期/位置整合部(43)から前記基準映像信号(RI)及び前記劣化映像信号(PI)を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部(43)に戻す輝度/色補正部(44)を更に備えることを特徴とする請求の範囲第21項に記載の映像整合装置。
【請求項34】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、
前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し(ステップS1)、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ(ステップS2)、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる(ステップS3−S22)ことを特徴とする映像整合方法。
【請求項35】
コンピュータを、
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合手段(43)として機能させるための映像整合プログラム。
【請求項36】
劣化していない映像信号である基準映像信号(RI)とその基準映像信号が劣化した劣化映像信号(PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部(41)と、
前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部(42)と、
前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部(43)と、
前記同期/位置整合部(43)により整合がとられた前記基準映像信号(RI)及びそ前記劣化映像信号(PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部(11)と、
を備えることを特徴とする映像品質評価装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【国際公開番号】WO2005/020592
【国際公開日】平成17年3月3日(2005.3.3)
【発行日】平成19年11月1日(2007.11.1)
【国際特許分類】
【出願番号】特願2005−513306(P2005−513306)
【国際出願番号】PCT/JP2004/011992
【国際出願日】平成16年8月20日(2004.8.20)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
【国際公開日】平成17年3月3日(2005.3.3)
【発行日】平成19年11月1日(2007.11.1)
【国際特許分類】
【国際出願番号】PCT/JP2004/011992
【国際出願日】平成16年8月20日(2004.8.20)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】
[ Back to top ]