説明

主観的画像品質予測値生成方法、部分劣化測定方法、映像測定装置及び部分劣化測定装置

【課題】被試験映像信号に関する平均オピニオン評点(MOS)のような画質評価予測値を、基準映像信号なしに生成する。
【解決手段】基準映像信号の代わりに、被試験映像信号の複数の部分劣化の測定結果から疑似基準信号を生成する。複数の部分劣化を蓄積して、差分画像を生成する。差分画像を被試験映像信号から引き算して疑似基準映像信号を生成し、被試験映像信号をこの疑似基準映像信号と比較して画質予測評価点を生成する。場合によっては、部分劣化は、被試験映像信号から高周波数ノイズを分離することによって測定しても良い。分離後、ノイズを測定し、帯域幅を補償して、部分劣化の測定値を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被試験映像信号の主観的画像品質の評価に関し、特に、基準となる映像信号がなくとも、被試験映像信号の主観的画像品質を予測できる装置及び方法に関する。
【背景技術】
【0002】
ネットワーク及びケーブル・テレビジョン会社のような映像放送(配信)会社は、視聴者に再放送するため、膨大な量の映像データをコンテンツ提供会社や地方テレビジョン放送局から受け取る。こうした放送会社は、映像を自分で制作していないので、通常、それを受け取る前には、その品質はわからない。しかし、低画質の映像が配信されると、エンド・ユーザは、映像制作元の品質が悪かったかどうかに関係なく、直接的には、その放送会社に映像品質が悪いことについて苦情を言ってくることが多い。こうしたことから、放送会社などには、「目の肥えた」身内の視聴者や顧客評価に沿った主観的な品質尺度で映像を評価し、点数を付けるというニーズが継続して存在している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許6975776号公報
【特許文献2】米国特許6907143号公報
【特許文献3】米国特許6433819号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
映像産業は、映像の主観的な品質を予測するツールを制作しているが、こうしたツールには限界がある。一般に、こうしたツールは、例えば、映像を異なるパラメータで圧縮、伸張し、再度圧縮するなどの連続処理において、複数回の原因で映像劣化(video impairment)が生じたような場合では、これら連続処理された映像を比較するのは難しい。もっと重要なことは、一般的に、こうしたツールは圧縮や不完全なチャンネルでの伝送といった特定の処理における品質低下を測定するように設計されているので、比較のためにオリジナル映像と劣化映像の2つの映像を用意する必要がある。こうした処理の例は、米国特許6975776号公報に記載されている。しかし、放送会社が外部の映像提供会社から映像を受け取るという場合、1つの映像のみが手に入るのであって、これと比較する基準映像は手に入らない。
【0005】
映像を横に並べて比較するツールにおいても、元々の映像(基準映像)の品質が低くいために、高精度で複製しても低画質であるという状況においては、主観的な品質の測定を正確に行うのが難しいという問題に苦しんでいる。例えば、元々の映像に、ソフトネス(ぼんやり)、ノイズ、色の劣化又は色が無い、低コントラスト、輝度低下、などの低画質要因があると、極めて正確にコピーしたとしても低画質となり、エンド・ユーザから苦情を受けることになる。
【0006】
他の従来からあるツールでは、マクロブロック(macroblock:画素ブロック)境界が不連続になるブロック・ノイズ、ディテール消失(detail loss:細かい部分の消失)、ソフトネス(ぼんやり)、ノイズといった特定の画質劣化を測定し、これらを足して、視聴者の平均オピニオン評点(Mean Opinion Score:MOS)を生成する。しかし、これら方法では、知覚及び認識の両方において、人の目の応答を充分正確には表せないという点で正確さに限界がある。
【0007】
本発明の実施形態では、従来技術の上述した限界やその他の限界について言及する。
【課題を解決するための手段】
【0008】
本発明の第1観点は、単一の基準信号から主観的な画像品質の予測値を生成する主観的画像品質予測値生成方法であって、
1つ以上の映像フレームを1つの入力端子に受けるステップと、
1つ以上の上記映像フレーム内の連続する部分劣化(フレーム内の一部分の画像劣化)を測定するステップと、
連続する上記部分劣化を集め、1つ以上の上記映像フレームのそれぞれについて部分劣化差分画像を生成するステップと、
上記部分劣化差分画像を、元々受けた1つ以上の上記映像フレームにおけるそれぞれ対応する上記映像フレームと組み合わせて、疑似基準フレームを生成するステップと、
元々受けた1つ以上の上記映像フレームと上記疑似基準フレームとを比較し、主観的画像品質の予測値を生成するステップとを具えている。
【0009】
本発明の第2観点は、第1観点の主観的画像品質予測値生成方法において、連続する部分劣化を測定するステップが、1つ以上の上記映像フレーム内のノイズを測定するステップを有することを特徴としている。
【0010】
本発明の第3観点は、第1観点の主観的画像品質予測値生成方法において、連続する部分劣化を測定するステップが、1つ以上の上記映像フレームにおける現在のフレームの中の1ブロック内の劣化を測定するステップを有していることを特徴としている。
【0011】
本発明の第4観点は、第3観点の主観的画像品質予測値生成方法において、上記現在のフレームの中の1つ以上の画素における劣化を測定するステップを更に有することを特徴としている。
【0012】
本発明の第5観点は、第1観点の主観的画像品質予測値生成方法において、連続する上記部分劣化を集め、1つ以上の上記映像フレームのそれぞれについて上記部分劣化差分画像を生成するステップが、連続する上記部分劣化を均一な映像フレームに加えるステップを有することを特徴としている。
【0013】
本発明の第6観点は、第1観点の主観的画像品質予測値生成方法において、連続する上記部分劣化を集め、1つ以上の上記映像フレームのそれぞれについて上記部分劣化差分画像を生成するステップが、現在のフレームのノイズを測定するステップと、上記現在のフレーム中のノイズを均一な映像フレームに測定量だけ加えるステップと、上記ノイズを加えた映像フレームを元々の現在の映像フレームから引き算するステップとを有することを特徴としている。
【0014】
本発明の第7観点は、第1観点の主観的画像品質予測値生成方法において、主観的画像品質の予測値が平均オピニオン評点(MOS:Mean Opinion Score)であることを特徴としている。
【0015】
本発明の第8観点は、本発明は被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法であって、
被試験映像信号の映像データを受けるステップと、
上記映像データの一部分の高周波数部分である部分表現信号を生成するステップと、
上記映像データの上記一部分の部分平均2乗ノイズ振幅を生成するステップと、
最小部分2乗ノイズ振幅をサンプリング期間中の最小2乗ノイズ振幅として選択するステップと、
選択された上記最小部分2乗ノイズ振幅を補償するステップと、
補償された上記最小部分2乗ノイズ振幅を測上記部分劣化の測定値として提供するステップと
を具えている。
【0016】
本発明の第9観点は、第8観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、上記補償するステップの前において、1つ以上の最小部分2乗ノイズ振幅を平均化し、平均2乗ノイズ振幅を生成するステップを更に具えることを特徴としている。
【0017】
本発明の第10観点は、第8観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、補償された振幅測定値を劣化測定値として提供する前にdB測定値に変換するステップを更に具えることを特徴としている。
【0018】
本発明の第11観点は、第8観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、ノイズ振幅を補償するステップが、補償時に使用する電力スペクトラム密度を選択的に受けるステップを有することを特徴としている。
【0019】
本発明の第12観点は、第11観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、選択される電力スペクトラム密度がホワイト・ノイズの電力スペクトラム密度であることを特徴としている。
【0020】
本発明の第13観点は、第11観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、選択される電力スペクトラム密度がピンク・ノイズの電力スペクトラム密度であることを特徴としている。
【0021】
本発明の第14観点は、第8観点の被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法において、映像データの一部分の高周波数部分である部分表現信号を生成するステップが、映像データを、a1=1−b0の係数を有するIIRフィルタでフィルタ処理するステップを有することを特徴としている。
【0022】
本発明の第15観点は、映像測定装置であって、
被試験映像信号を受ける映像入力端子と、
上記被試験映像信号の1つ以上のフレーム内の1つ以上の劣化を測定するよう構成された部分劣化測定器と、
上記部分劣化測定器の出力信号及び上記被試験映像信号を組み合わせて疑似基準映像信号を生成する疑似基準映像信号生成器とを具えている。
【0023】
本発明の第16観点は、第15観点の映像測定装置において、上記被試験映像信号及び上記疑似基準映像信号を入力信号として受けて、上記被試験映像信号の主観的画像品質の予測値を生成するフル基準映像品質予測器を更に具えることを特徴としている。
【0024】
本発明の第17観点は、第16観点の映像測定装置において、主観的画像品質の上記予測値に、平均オピニオン評点が含まれることを特徴としている。
【0025】
本発明の第18観点は、第15観点の映像測定装置において、部分劣化測定器が、上記被試験映像信号の少なくとも1つのフレームにおいて、ノイズ、モスキート・ノイズ、リングング、ぶれ、ジャーキニス、フリーズ・フレーム、ジャギー及びブロック・エフェクト(block effect:画像がブロックに分けられてモザイクのように見える現象)の内の少なくとも1つを測定するよう構成されていることを特徴としている。
【0026】
本発明の第19観点は、被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する部分劣化測定装置であって、
上記被試験映像信号を受ける映像入力端子と、
上記被試験映像信号のフレームの現在の部分の高周波数成分である部分表現信号を生成するハイパス・フィルタ・ブロックと、
このハイパス・フィルタ・ブロックから変更された映像信号を受けて、上記被試験映像信号のフレームの現在の部分のノイズ振幅を生成するローパス・フィルタ・ブロックと、
ローパス・フィルタ・ブロックの出力信号から試験期間における最小ノイズ振幅を選択する最小化器と、
上記被試験映像信号のノイズの推定値出力を生成するように構成された帯域幅補償器と
を具えている。
【0027】
本発明の第20観点は、第19観点の部分劣化測定装置において、最小化器から受けた複数の最小化ノイズ振幅から平均2乗振幅を生成するよう構成された平均化プロセッサを更に具えることを特徴としている。
【0028】
本発明の第21観点は、第19観点の部分劣化測定装置において、ハイパス・フィルタ・ブロックが、ローパス水平フィルタと、このローパス水平フィルタの出力信号を上記被試験映像信号から受けた信号と結合するよう構成されたプロセッサとを有していることを特徴としている。
【0029】
本発明の第22観点は、第21観点の部分劣化測定装置において、ローパス・フィルタ・ブロックがハイパス・フィルタ・ブロックのローパス水平フィルタを有することを特徴としている。
【0030】
本発明の第23観点は、第19観点の部分劣化測定装置において、ハイパス・フィルタ・ブロックが水平、垂直及び時間フィルタを有することを特徴としている。
【0031】
本発明の第24観点は、第23観点の部分劣化測定装置において、上記水平及び垂直フィルタが、a1=1−b0の係数を有する空間双方向IIRフィルタであることを特徴としている。
【0032】
本発明の第25観点は、第23観点の部分劣化測定装置において、上記時間フィルタが、a1=1−b0の係数を有する双方向IIRフィルタであることを特徴としている。
【0033】
本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。
【図面の簡単な説明】
【0034】
【図1】図1は、コンテンツ・プロバイダ、放送会社及びユーザを含む本発明による映像配信システムのブロック図である。
【図2】図2は、本発明による実施形態による1つの入力映像信号を用いた画質予想システムの例のブロック図である。
【図3】図3は、本発明による実施形態によるもので、基準信号が利用できない場合における主観的画像品質予測方法の例のフローチャートである。
【図4】図4は、1つ以上の映像フレームにある部分劣化を測定するシステムの本発明の一例の実施形態によるブロック図である。
【図5】図5は、1つ以上の映像フレームにある部分劣化を測定する方法を示す本発明の一例の実施形態によるフローチャートである。
【図6】図6は、本発明の実施形態によるハイパス・フィルタの構成例を示すブロック図である。
【図7A】図7Aは、本発明のコンセプトを説明するための基本画像である。
【図7B】図7Bは、図7Aの画像に所定量のホワイト・ノイズを加えて得られる画像を示す。
【図7C】図7Cは、本発明の実施形態によるもので、図7Bの画像が直列の複数ハイパス・フィルタを通過したときに得られる画像を示す。
【図7D】図7Dは、本発明の実施形態によるもので、図7Cの画像が直列の複数ローパス・フィルタを通過したときに得られる画像を示す。
【発明を実施するための形態】
【0035】
本発明の実施形態は、基準映像がない場合において、主観的な画質を予測するためのシステム及び方法に関する。これは、1つの映像ストリームのみが測定に利用可能で、基準映像ストリームに対して映像ストリームを直接測定することが不可能なために、基準なし測定とも呼ばれる。
【0036】
図1は、映像配信システム100のブロック図である。この例では、映画、テレビ番組などの元々のコンテンツがコンテンツ・プロバイダ102から配信会社110へ送られる。簡単のため、コンテンツはここでは映像とするが、コンテンツはどのような形式のデジタル・データでも良い。コンテンツ・プロバイダは、1枚以上のディスクに記録した1つ以上のファイルを物理的に配達することによって、上述の映画やテレビ番組などの映像の物理的なコピーを配達しても良い。しかし、物理的に配達すると、必然的に輸送遅延が生じ、また、物理メディア制作のコストも生じるので、この配達方法はもはや広くは利用されていない。もっと一般的には、衛星送信、マイクロ波送信のような地上波ビーム、又は、プロバイダ102と配信会社の間にブロードバンド環境があればインターネットを介して、映像が配信会社110に供給される。
【0037】
配信会社110は、映像をユーザ120に配信するにあたり、映像を圧縮したり、広告を挿入してつなぎ合わせたり、その他にも配信地域(ローカル)の情報を挿入するなどした映像パッケージを制作する。そして配信会社110は、変更された映像をユーザ120に送信し、ユーザ120は、最終製品である映像をテレビ、携帯端末その他のスクリーンで視聴する。送信は、例えば、同軸ケーブル(ケーブル・テレビなどの場合)やツイスト・ペアの電話線を用いて、無線接続やインターネットを介して行われる。
【0038】
上述のように、配信会社110は、そのユーザ120が満足する品質で映像が配信されることを望んでいる。画質を判断するため、配信会社110は、多くの場合、受信した映像コンテンツと配信された映像コンテンツとを比較する。コンテンツ・プロバイダ102から受信した映像は、配信会社110が圧縮その他の処理を行っているので、ユーザ120に配信された映像と異なっているかもしれない。しかし、コンテンツ・プロバイダ102から受信した映像の品質がわからなければ、エンド・ユーザ120の画質に対する満足を高く維持するのに、どの程度まで圧縮やその他の処理をして良いかを配信会社110が判断するのは難しい。このように、配信会社110自身にも入手した映像の品質を測定するニーズがあるが、これは当然ながら比較する基準がない。
【0039】
本発明による実施形態では、単一の入力映像源から映像品質の評価点を付ける(rate:格付けする)。アナログ映像信号ではデータの無いブランキング・インターバルがあり、この間にノイズを測定できたが、デジタル映像信号ではこうしたブランキング期間が多くの場合に無く、これがデジタル映像信号の複数フレーム内のノイズ測定を難しくする要因の1つである。図2及び図3を参照すると、プロセス150において、受信した映像を評価したいと考えている配信会社その他の法人又は個人が、映像入力信号132を受ける。プロセス160では、映像信号の1フレーム内の特定部分領域(1フレーム内の一部分の領域)について、ノイズ、モスキート・ノイズ、ブロック・ノイズ、ぶれ(blur)、ジャーキネス(jerkiness:再生フレームが飛び飛びとなり、動きの滑らかさが失われる現象)、フリーズ・フレーム(動きが固まってしまう現象)、ジャギー(jaggies:線や輪郭がギザギザに見える現象)、リンギングなどのような1つ以上の画質劣化を測定する。この特定部分領域は、1つ以上の画素、1つのブロック、複数のブロック、1フレーム全体などと定義しても良い。図2を参照すると、部分劣化測定器134は、図4から図7Dを参照して以下に詳細に説明する測定システムのような画質劣化を測定するためにプログラムされたハードウェア上で動作しているプロセスとしても良い。なお、部分劣化測定器134の名称における「部分」とは、1フレーム内の一部分の領域(local:ローカル、局所、一部分)を意味し、以下の説明に現れる「部分」も同様である。ただし、上述のように、部分が1フレーム全体にまで広がることもある。
【0040】
1つ以上の部分劣化を測定した後、プロセス170において、劣化生成器138は、測定された劣化に基いて部分劣化差分画像(以下、「差分画像」とも呼ぶ)を構築する。差分画像を生成する1つの方法は、事実上ブランク(空)のスレート(slate:灰色の石版)、つまり、完全なグレー(灰色)のフレームから始まる差分画像を生成するようにしても良い。この方法を用いると、各部分劣化が測定される度に、元々のグレー・フレームに同じ量の劣化が加えられる。例えば、部分劣化測定器134が元々の映像信号のある特定領域(部分)に40dBのノイズを測定したら、グレー・フレームの同じ特定領域に関し、差分画像に40dBのノイズが加えられる。同様に、ディテールが23%損失されているのが測定されたら、23%のディテールが生成されて、グレー・フレームから引き算される。ディテール損失は、例えば、ランダム・ノイズの発生、不正確な画像複製、エッジの変換ミス(edge mis-translation)などによって生じる。部分領域の単位(ノイズに関する画素や、ブロック関係の劣化に関するブロックなど)で、発生部分おいて測定された全ての部分劣化は、フル・フレーム(1フレーム全体、略して「フル」)の差分画像(フル差分画像)を作るために集められる。
【0041】
差分画像を生成する別の方法では、グレー・フレームを全く用いず、測定された部分劣化に基いて映像入力信号132から得られたオリジナル信号を改善し、結果として得られた画像がオリジナル入力映像フレームから引き算されて差分画像が生成される。この場合も、フル・フレームの差分画像(フル差分画像)は全ての部分劣化の測定結果を統合することで生成される。
【0042】
差分画像の生成が終わると、その生成方法に関係なく、プロセス180において、オリジナル映像入力と組み合わせて、疑似基準映像が生成される。図2を参照すると、この組合せは、映像結合器140で行うようにしても良い。実際的には、結合器140は、差異を計算するプロセスでも良く、これは差分画像をオリジナル映像から差し引いて、得られる映像が疑似基準映像である。しかし、別の方法で、オリジナル映像入力132と差分画像を組み合わせることも可能である。
【0043】
疑似基準映像が生成されると、オリジナル映像及び疑似基準映像が、フル基準映像品質予測器144に供給される。フル基準映像品質予測器144は、最終的な映像品質評価点を生成するために、米国特許6975776号公報に開示されたシステム及び方法を内蔵しても良い。実施形態においては、最終的な映像品質評価点に平均オピニオン評点(MOS)が含まれる。最終出力の品質評価点は、配信会社110にとって入ってくる映像コンテンツをどのように処理するか判断するのに役立つ。例えば、もし入ってくる映像が既に劣化していれば、配信会社110は、他の映像でならば行うような圧縮をしないかもしれない。更には、もし品質が非常に悪ければ、配信会社110は、その映像の受取を拒否し、コンテンツ・プロバイダ102にもっと良い品質の映像を供給するよう要求するかもしれない。
【0044】
図4は、部分劣化測定システム200の詳細なブロック図を示し、これは図2の部分劣化測定器134の実施形態の例である。部分劣化測定システム200は、1つの映像入力を受けるか、場合によっては、1つの画像を受け、水平、垂直及び時間的周波数が共通して高い帯域における空間及び時間に関する付加ノイズの推定測定値の最小変動(minimum variance)を出力する。
【0045】
被試験映像信号の入力を受けた後、映像信号は、ハイパス・フィルタ・ブロック210中の1つ以上のハイパス・フィルタを通過し、これによって第1フィルタ処理が行われる。典型的には、フィルタ処理は、水平、垂直及び時間の3次元で、それぞれのハイパス・フィルタ212、214及び216において行われる。静止画は、時間的な変化がないので、時間的なフィルタ処理は行われない。3D(立体)映画では、フィルタ処理を4次元としても良く、X、Y及びZの各次元に1個ずつのフィルタと、これに時間フィルタを加えたものである。ハイパス・フィルタ210の出力信号は、映像の複数の画像の交流信号(AC)部分という部分を表したものである。よって、この出力信号は、平均すればゼロとなる。更に、3つのフィルタ212、214及び216それぞれのローパス・カットオフ周波数を調整することによって、測定する部分をコントロールできる。
【0046】
フィルタ・ブロック210の出力信号は、ローパス・フィルタ・ブロック230に送られる前に、2乗プロセス220において数学的に2乗される。フィルタ・ブロック230は、1つ以上のローパス・フィルタ232、234及び236を通して、2乗プロセス220の出力信号をフィルタ処理し、映像信号の部分平均2乗AC振幅を得る。この部分平均2乗AC振幅は、被試験映像信号におけるその部分の変動(local variance:部分変動又は局所変動)を表す。
【0047】
最小化プロセス240は、各サンプル期間について空間及び時間における最小部分変動を探し出すために、3次元空間内における測定サンプル当たりの最小変動を決定する。例えば、サンプル期間を0.1秒としても良く、最小化プロセス240は各期間毎に出力信号を生成する(そして、最小化プロセス240はリセットされる)。最小化プロセス240からのサンプル期間中の最小部分変動を、複数フレーム平均化プロセス250において平均化し、平均2乗ノイズ(変動)振幅を生成するようにしても良い。次に、測定した帯域幅外のノイズを推定するために、平均化プロセス250の出力信号を帯域幅補償器260で補償された帯域幅にしても良い。例えば、フレームの一部分で測定されたノイズは、フレーム全体へと拡張できる。そして、帯域幅が補償されたノイズの推定値は、プロセス270でdBに変換しても良いし、帯域幅補償器260から直接出力しても良い。上述したプロセスのそれぞれを以下で更に詳細に説明する。
【0048】
図5は、1つ以上の映像フレームにある部分劣化を測定する方法を示す本発明の一例の実施形態によるフローチャート300であり、被試験映像ストリームを受けるプロセス310から始まっている。プロセス320では、映像信号の各次元の交流(AC)成分が分離される。これは、別の見方をすれば、各次元の直流(DC)成分を除去するということである。上述のように、静止画は、フィルタ処理する時間成分がないので、時間的なフィルタ処理は行わない。直流成分の除去は、図4に示すように、直列に連続する複数のハイパス・フィルタに被試験映像信号を通すことによって行われる。単一のハイパス・フィルタ410として一般化したバージョンが、図6に示されている。ハイパス・フィルタ410は、最初、入力映像信号をローパス・フィルタ412に通し、高周波を取り除く。次に、比較/引き算器416がローパス・フィルタ412の出力信号をオリジナルの入力映像信号に対して比較し、この比較に基づいて、オリジナル入力映像信号の低周波数成分を取り除く。これによって、オリジナル入力映像信号の交流成分のみを分離したハイパス・フィルタ410の出力信号が生成される。
【0049】
実際的には、ハイパス・フィルタ212、214及び216は、双方向で固定の無限インパルス応答(IIR)によって実現しても良い。フィルタの好適な実施形態には、(a1=1−b0)IIRフィルタが含まれ、これは空間フィルタは双方向(bidirectional)だが、時間フィルタは双方方向ではない。使用できるフィルタの例としては、例えば、米国特許6907143号公報に開示されているものが含まれる。ローパス・フィルタの係数は、所望の信号を通しつつ、高周波数ノイズを除去するという組合せとなるのに最も適した通過帯域となるように選択される。具体的な値は、実施する際の仕様によるが、解像度、映像源、映像処理(アップ又はダウン・サンプリング、グラフィックの挿入など)に応じて定める。フィルタを選択するにあたっては、カットオフ周波数を最初はサンプル周波数の約4分の1とし、ここから調整しながら選択するのが良い。
【0050】
実際上、部分劣化測定システム200は、米国特許6433819号公報に開示されているようなブロック平均化処理や、FIR(有限インパルス応答)フィルタ処理又は単方向(unidirectional)IIRフィルタを用いる移動(running)ブロック平均化処理又はシステムと比較し、計算効率と精度が大幅に改善している。
【0051】
図7A、7B、7C及び7Dを参照すると、図7Aは、本発明のコンセプトを説明するための基本となるテスト画像である。図7Bは、特に、図7Aのテスト画像にある量のノイズを加えたものである。このため、部分劣化測定システム200でノイズを測定したとき、最終的な答えは、測定システムの精度テストために加えられたノイズのレベルに戻れば比較できる。−20dBを少し超えるノイズが図7Aのきれいなフレームに加えられたものが、図7Bとなる。図7Cは、図4の部分劣化測定システム200のハイパス・フィルタ210の入力信号として図7Bの画像を用いて、その結果をグレー画像に加えたときの出力信号として見える画像である。空の部分の広い範囲における輝度の差のような低周波数の変化が、図7Bの画像に比較して弱まっていることに注意されたい。
【0052】
図5を参照すると、プロセス320で交流成分が分離された後、プロセス330で交流信号部分は2乗され、次にプロセス340で直列の複数ローパス・フィルタでフィルタ処理され、映像信号の部分平均2乗交流振幅が得られる。この部分平均2乗交流振幅は、部分変動を表す。実施形態によっては、図4のローパス・フィルタ232、234及び236は、ちょうどそれぞれ対応するハイパス・フィルタ212、214及び216の一部を構成するローパス・フィルタとしても良い。繰り返しになるが、より具体的には、例えば、ローパス水平フィルタ232は、図6に示すように、ハイパス・フィルタ212の構成要素の1つである。このように、同じローパス・フィルタが、ローパス・フィルタ・ブロック230でも使用される。ローパス・フィルタ・ブロック230の出力は、映像サンプルの空間及び時間における部分変動(local variance)である。
【0053】
図7Dは、7Cの画像をサンプルし、2乗し、ハイパス・フィルタ処理した画像のローパス・フィルタ出力を視覚的に表したものである。このように、図7Dは、部分変動を視覚的に表したものである。
【0054】
プロセス350では、3次元空間における部分変動の最小値を見つけることで、最小値を決定する。最小値を決定した後、プロセス360では複数フレームが平均化される。平均化プロセス360としては、所望の更新速度に適したものが良く、移動平均(running average)、IIR、その他のフィルタ処理方法を含めても良い。適応型IIR(adaptive IIR)が、平均2乗ノイズ、つまり、変動又は振幅の推定値を生成するのに最も適しているかもしれない。静止画の場合、フレームを平均した結果は、その入力信号、つまり、1つのサンプルと同じである。
【0055】
プロセス370では、ノイズ測定値を推定するのに使われた映像信号帯域幅のパーセント(割合)に基いて測定値を補償することにより、平均化プロセスの出力を修正する。ハイパス・フィルタ210の帯域幅は、ハイパス・フィルタで遮断された映像信号中の部分を補う(補償する)ために、全映像帯域幅中における割合(比率)として計算される。このパーセント(割合)は、いくつかの既知の方法で決定しても良い。例えば、複数のフィルタそれぞれの入力に対する出力という電力出力比をかけ算して合成電力出力比を生成し、この比率を平均化プロセス360で得られる推定出力を増加させるのに用いても良い。この割合を生成するのに、ユーザがどの電力スペクトラム密度を使用するかを選択し、これが帯域幅補償器260に入力される。例えば、ホワイト・ノイズの電力スペクトラム密度は実質的に周波数応答に対して一定である一方、ピンク・ノイズ(電力が周波数に反比例するノイズ)の電力スペクトラム密度は実質的に1/fである。ホワイト・ノイズ、ピンク・ノイズ、ブラウニアン・ノイズ(電力スペクトラム密度が実質的に1/f)その他の選択された電力スペクトラム密度を用いることで、帯域幅補償器260は、正確な測定のために、測定したノイズに基いてフレーム全体にまで広げてノイズ推定値を求める(即ち、外挿する:既知のデータを基に、その既知データの範囲の外側で予想されるデータを求める)ことができる。
【0056】
最後のプロセス380(オプション:必要に応じて実施)では、プロセス370からの帯域幅補償測定値出力を、ユーザに表示するために、dBのような標準的な測定値に変換するようにしても良い。なお、図4の測定回路が、図2の画質予測システムのようなもっと大きなシステムの単に一部分に過ぎないような実施形態においては、測定値を変換せずに、劣化生成器138へ直接送るようにしても良い。
【0057】
本発明による実施形態は、特定用途向け集積回路(ASIC)のようなハードウェアとして実現しても良いし、専用又は汎用プロセッサ上で実行されるプロセスのようなソフトウェアとして実現しても良い。本発明によるシステムを実現する方法は多数あり、典型的には、ある部分はFPGAのような特定のハードウェア上で動作し、他の部分は米国インテル社製プロセッサのような汎用プロセッサ上で実行されるソフトウェアとして動作するものとなる。
【0058】
本発明は、テレビ波形モニタなどのような種々の製品において実現してもよい。こうした製品は、1つ以上の映像信号を1つ以上の入力端子で受け、信号に対して多数の測定処理を実行し、モニタ上での表示に適した出力信号や、出力ファイル中のデータといった形式の出力を生成する。同様に、本発明による実施形態は、ピクチャー・クオリティ・アナライザ(画質分析装置)の機能として実現しても良く、これは1つ以上の画像を入力信号として受けて、画像に対して多数の測定処理を実行し、モニタ上での表示に適した出力信号や、出力ファイルとして記憶される。こうした波形モニタやアナライザは、キーボード、マウス、トラックパッド(指先によるタッチ操作を実現する装置)、選択ノブ、選択ボタンなどを用いて操作や選択が可能なメニューのように、ユーザのインタクティブな操作を実現する多彩な入力機能を有している。
【0059】
これまで説明は、2次元の画像又は映像信号に関して行ってきたが、本発明の実施形態は、信号及びノイズが統計的にスペクトラムが局所に分離されるような他の応用例に用いても良い。例えば、これら技術は、音声やRF伝送のような単一チャンネルに用いても良い。同様に、これら方法及び技術は、空間的3次元と時間的次元とを組み合わせたもの、つまり、時間と共に変化する3次元(立体)画像のような任意の次元を有する信号に適用しても良い。
【0060】
このように、本願に記載した実施形態は種々の変更が可能であって、上述の詳細な説明は、実例を示したに過ぎず、本発明はこれらに限定されるものではない。
【符号の説明】
【0061】
100 映像配信システム
102 コンテンツ・プロバイダ
110 配信会社
120 ユーザ
132 映像入力信号
134 部分劣化測定器
138 劣化生成器
140 結合器
144 フル基準映像品質予測器
210 ハイパス・フィルタ・ブロック
212 水平フィルタ
214 垂直フィルタ
216 時間フィルタ
220 2乗プロセス
230 ローパス・フィルタ・ブロック
232 水平ローパス・フィルタ
234 垂直ローパス・フィルタ
236 時間ローパス・フィルタ
240 最小化プロセス
250 フレーム平均化プロセス
260 帯域補正器
270 dBへの変換器
410 ハイパス・フィルタ
412 ローパス・フィルタ
416 比較/引き算器

【特許請求の範囲】
【請求項1】
1つの基準信号から主観的な画像品質の予測値を生成する主観的画像品質予測値生成方法であって、
1つ以上の映像フレームを1つの入力端子に受けるステップと、
1つ以上の上記映像フレーム内の連続する部分劣化を測定するステップと、
連続する上記部分劣化を集め、1つ以上の上記映像フレームのそれぞれについて部分劣化差分画像を生成するステップと、
上記部分劣化差分画像を、元々受けた1つ以上の上記映像フレームにおけるそれぞれ対応する上記映像フレームと組み合わせて、疑似基準フレームを生成するステップと、
元々受けた1つ以上の上記映像フレームと上記疑似基準フレームとを比較し、主観的画像品質の予測値を生成するステップとを具える主観的画像品質予測値生成方法。
【請求項2】
被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する方法であって、
被試験映像信号の映像データを受けるステップと、
上記映像データの一部分の高周波数部分である部分表現信号を生成するステップと、
上記映像データの上記一部分の部分平均2乗ノイズ振幅を生成するステップと、
最小部分2乗ノイズ振幅をサンプリング期間中の最小2乗ノイズ振幅として選択するステップと、
選択された上記最小部分2乗ノイズ振幅を補償するステップと、
補償された上記最小部分2乗ノイズ振幅を上記部分劣化の測定値として提供するステップと
を具える部分劣化測定方法。
【請求項3】
被試験映像信号を受ける映像入力端子と、
上記被試験映像信号の1つ以上のフレーム内の1つ以上の劣化を測定するよう構成された部分劣化測定器と、
上記部分劣化測定器の出力信号及び上記被試験映像信号を組み合わせて疑似基準映像信号を生成する疑似基準映像信号生成器と
を具える映像測定装置。
【請求項4】
被試験映像信号の1つ以上の部分劣化を基準信号なしで測定する部分劣化測定装置であって、
上記被試験映像信号を受ける映像入力端子と、
上記被試験映像信号のフレームの現在の部分の高周波数成分である部分表現信号を生成するハイパス・フィルタ・ブロックと、
該ハイパス・フィルタ・ブロックから変更された映像信号を受けて、上記被試験映像信号のフレームの現在の部分のノイズ振幅を生成するローパス・フィルタ・ブロックと、
ローパス・フィルタ・ブロックの出力信号から試験期間における最小ノイズ振幅を選択する最小化器と、
上記被試験映像信号のノイズの推定値出力を生成するように構成された帯域幅補償器と
を具える部分劣化測定装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図7C】
image rotate

【図7D】
image rotate


【公開番号】特開2012−130002(P2012−130002A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【出願番号】特願2011−269006(P2011−269006)
【出願日】平成23年12月8日(2011.12.8)
【出願人】(391002340)テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】TEKTRONIX,INC.
【Fターム(参考)】