映像処理装置及び映像処理装置の制御方法
【課題】 映像のジャンルや種別又は特性などによらず、擬似解像度映像信号であるか否かを判定することができる映像処理装置及び映像処理装置の制御方法を提供する。
【解決手段】 同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度Ｎの映像信号に係る第１の周波数ヒストグラムと、第１の解像度Ｎよりも低い第２の解像度Ｎ−１の映像信号に係る第２の周波数ヒストグラムとを生成し、生成したヒストグラムの類似度を所定の数式を用いて算出する。類似度と所定の閾値とを比較することで、第１の解像度Ｎの映像信号及び第２の解像度Ｎ−１の映像信号のどちらが疑似解像度映像信号であるかを判定する。
【解決手段】 同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度Ｎの映像信号に係る第１の周波数ヒストグラムと、第１の解像度Ｎよりも低い第２の解像度Ｎ−１の映像信号に係る第２の周波数ヒストグラムとを生成し、生成したヒストグラムの類似度を所定の数式を用いて算出する。類似度と所定の閾値とを比較することで、第１の解像度Ｎの映像信号及び第２の解像度Ｎ−１の映像信号のどちらが疑似解像度映像信号であるかを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、所定の解像度の映像信号から表示可能な映像データを生成する映像処理装置及び映像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
従来のアナログ放送ではＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像が中心であったが、現在のデジタル放送では高圧縮映像符号化技術を背景にＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度で放送されることが多くなっている。このため、従来のＳＤ解像度用の機材を用いて製作されたコンテンツや、過去のＳＤ解像度のコンテンツを放送する際には、補間処理をして画素数を増加させることで、見た目の解像度だけをＨＤ解像度に変換した映像が配信されることがあった。こうした処理で生成された、実質的な解像度を有していない映像を擬似解像度映像と称する。対して、見た目の解像度を向上させる処理を施していない映像のことをオリジナル解像度映像と称することとする。
【０００３】
受信した映像の空間周波数を解析することで、擬似解像度映像であるか否かを判別する手法が知られている。ＨＤ解像度で撮影や生成された映像は、ＳＤ解像度の映像を擬似的にＨＤ解像度に変換した映像に比べて高周波成分を多く含むので、例えば、空間周波数が、ある閾値以上の値を持たなければ、擬似解像度映像であると判別することができる。
【０００４】
特許文献１では、擬似解像度映像をＳＤ解像度へダウンコンバートした後に、高画質化処理と解像度変換を行うことで高画質なＨＤ解像度の映像を得ている。この文献に開示の技術では、実質的な解像度を有していない擬似解像度映像を再びダウンコンバートする必要性があるが、上述したように、疑似解像度映像はその解像度と同じ解像度のオリジナル解像度映像と比べて高周波成分が殆ど存在していない。つまり、オリジナル解像度映像と比べると画質面で不利である疑似解像度映像を用いて、その映像をさらにダウンコンバート処理して解像度を低下させるので画質劣化が発生していた。
【０００５】
ところで、新しい映像符号化規格であるＨ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、ひとつのストリーム・データに複数の異なる解像度を多重化できるようにＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格を拡張したものである。ストリーム・データの一部を取り出すことで、所望の解像度で復号することが可能となる。
【０００６】
映像は少なくとも任意のオリジナル解像度で撮影が可能な機材で撮影される。例えば、ＨＤ解像度で撮影が可能な機材であれば、ＨＤ解像度の映像がオリジナル解像度映像となる。従って、Ｈ．２６４／ＳＶＣを用いて配信された放送において、いくつかの解像度の映像のうち、いずれか１つの解像度の映像はオリジナル解像度映像である。また、オリジナル解像度映像の解像度以外の映像は、オリジナル解像度映像から生成した疑似解像度映像やダウンコンバートした映像である。
【０００７】
そこで、Ｈ．２６４／ＳＶＣで符号化された符号化データのうち、オリジナル解像度映像を復号して高画質化処理と表示解像度への解像度変換を行うことで、従来技術のように擬似的に解像度変換された疑似解像度映像を再びダウンコンバートする過程で発生する画質劣化が避けられるようになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２８１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術の擬似解像度映像の判別方法では、映像によっては誤検出してしまうことがあった。例えば、アニメなどのように平坦部分が多く、エッジの滑らかな映像においては、元々空間周波数が低いために擬似解像度映像信号であるか否かの判別が難しい。
【００１０】
そこで、本発明は、映像のジャンルや種別又は特性などによらず、擬似解像度映像信号であるか否かを判定することができる映像処理装置及び映像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の映像処理装置は、所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置であって、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成する第１の生成手段と、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成する第２の生成手段と、前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出する算出手段と、前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定する判定手段と、を有する。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、映像のジャンルや種別又は特性などによらず、擬似解像度映像信号であるか否かを判定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した映像処理装置の構成を示すブロック図である。
【図２】空間スケーラビリティの階層構造の一例を示す図である。
【図３】本発明の実施例におけるフローチャートである。
【図４】画像の解像度に応じた度数分布の概略を示す図である。
【図５】各解像度と最大空間周波数との対応関係表を示す図である。
【図６】画像の解像度に応じた空間周波数ヒストグラムから算出される類似度を示す図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の実施例を説明する。
【００１５】
図１は、本発明を適用できる映像処理装置１００の構成を示すブロック図である。図には示していないが、これらのブロックを包括的に制御するＣＰＵが映像処理装置の各ブロックとバス（不図示）を介して接続されている。
【００１６】
デジタル放送信号１０１はチューナ部１０２に入力され、入力されたデジタル放送信号１０１の中から任意のチャンネルのＭＰＥＧ−２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）信号を抽出する。このＭＰＥＧ−２ ＴＳ信号にはＨ．２６４／ＳＶＣで符号化された映像信号およびＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で符号化された音声信号が多重化されており、チューナ部１０２において分離される。Ｈ．２６４／ＳＶＣで符号化された映像には、最大８層の空間スケーラビリティ（選択可能な解像度）が設定可能と規定されている。
【００１７】
図２には、送信されるＨ．２６４／ＳＶＣで符号化された映像の空間スケーラビリティの階層構造を示す概念図である。図２に示された空間スケーラビリティの階層ＩＤ情報とそれに対応付けられた解像度レイヤ情報とを含む階層構造情報が送信される。選択可能な解像度レイヤの情報は、レイヤ毎に用意されるＳＰＳ（シーケンス・パラメータ・セット）に含まれており、ＣＰＵがＳＰＳを参照することで得られる。本実施例では、階層ＩＤ情報Ｎ＝３の解像度レイヤが最大の解像度レイヤ８Ｋ４Ｋ（７６８０×４３２０ピクセル）とした、４階層の空間スケーラビリティを有する符号化データが送信されるものとする。
【００１８】
図１の第１映像復号部１０３と第２映像復号部１０４には、チューナ部１０２で分離された同一のＨ．２６４／ＳＶＣ符号化映像データがそれぞれ入力される。第１映像復号部１０３では、ｎ＝Ｎとなる解像度レイヤを選択して、符号化映像データを復号する。第２映像復号部１０４では、ｎ＝Ｎ−１である解像度レイヤを選択して、符号化映像データを復号する。ここで、ｎは第１映像復号部１０３及び第２映像復号部１０４で復号する解像度レイヤを示すパラメータである。ＣＰＵはこれらの映像復号部に対して、処理する階層ＩＤ情報Ｎを通知する。つまり、ＣＰＵが階層ＩＤ情報Ｎ＝３の解像度レイヤの復号をこれらの映像復号部に指示した場合、第１映像復号部１０３では、ｎ＝３となる第１の解像度レイヤを選択して符号化映像データを復号し、第２映像復号部１０４では、ｎ＝２の第２の解像度レイヤを選択して符号化映像データを復号することになる。
【００１９】
第１映像復号部１０３で復号された映像信号は、第１周波数ヒストグラム生成部１０５と、映像信号切替部１０８に入力される。同様に、第２映像復号部１０４で復号された映像信号は、第２周波数ヒストグラム生成部１０６と、映像信号切替部１０８に入力される。なお、Ｈ．２６４／ＳＶＣの映像信号を復号しているので、これらの映像信号は同一内容の映像となる。第１周波数ヒストグラム生成部１０５及び第２周波数ヒストグラム生成部１０６では、入力された映像信号の空間周波数ヒストグラムが生成される。本実施例では、第１周波数ヒストグラム生成部１０５で生成された空間周波数ヒストグラムを第１の周波数ヒストグラムと称する。また、第２周波数ヒストグラム生成部１０６で生成された空間周波数ヒストグラムを第２の周波数ヒストグラムと称する。生成されたそれぞれの周波数ヒストグラムの情報は擬似解像度映像判定部１０７に入力される。空間周波数ヒストグラムを生成する単位は映像を構成するフレーム画像単位である。
【００２０】
なお、空間周波数ヒストグラムとは、映像を構成する１枚のフレーム画像について、そのフレーム画像に含まれる周波数成分の度数分布を示すものである。画像を構成する各画素がほぼ均一の画素値を有する画像では空間周波数は低周波成分が多く存在する画像となり、結果として、ヒストグラムを生成すると、低周波側の度数が高周波側の度数に比べて多いヒストグラム形状が得られる。反対に、画素値の変動が大きいエッジ部分を多く含むテクスチャのような画像では空間周波数は高周波成分が多く存在する画像となり、高周波側の度数が多いヒストグラム形状が得られる。一般的によく知られているように、画像の空間周波数は、画像をフーリエ変換することにより取得することが可能である。
【００２１】
擬似解像度映像判定部１０７では、入力された空間周波数ヒストグラム同士の類似度を求める。これにより、ｎ＝Ｎとなる解像度レイヤで復号した映像信号、つまり、第１映像復号部から出力された映像信号が見た目の解像度だけを向上させるように生成された映像信号であるか否かを判定する。擬似解像度映像判定部１０７の判定結果は不図示のＣＰＵを介して第１映像復号部１０３と第２映像復号部１０４に入力され、その後に復号する解像度レイヤの選択に用いられる。また、擬似解像度映像判定部１０７の判定結果は映像信号切替部１０８にも入力され、第１映像復号部１０３と第２映像復号部１０４から入力された映像信号の切り替えに反映される。なお、類似度の求め方及び疑似解像度映像であるか否かの判定方法については後述する。
【００２２】
擬似解像度映像判定部１０７の判定結果をもとに、映像信号切替部１０８で選択された映像信号は解像度処理部１０９に入力される。解像度処理部１０９では、映像の空間周波数を向上させる超解像処理と、映像表示部１１０の表示解像度（表示画素数）に合わせた画像とするための解像度変換処理が行われる。こうして生成された映像信号は映像表示部１１０に送信され、表示される。なお、本実施例の映像表示部１１０の表示解像度は８Ｋ４Ｋ（７６８０×４３２０ピクセル）のスーパーハイビジョン規格とする。
【００２３】
続いて、上述したブロック図で構成される映像処理装置１００による、制御手順を図３に示したフローチャートを用いて説明する。まず、ステップＳ１０１では、チューナ部１０２が受信したデジタル放送信号１０１から任意のチャンネルのＭＰＥＧ−２ ＴＳ信号を抽出する。チューナ部１０２はさらに、抽出されたＭＰＥＧ−２ ＴＳ信号からＨ．２６４／ＳＶＣで符号化された映像信号を分離する。
【００２４】
ステップＳ１０２では、ＣＰＵはＨ．２６４／ＳＶＣで符号化された映像信号のＳＰＳを参照して、空間スケーラビリティの階層構造情報を取得する。そして、ＣＰＵは第１映像復号部１０３と第２映像復号部１０４で復号する解像度レイヤ、つまりパラメータｎを決定するために、階層ＩＤ情報Ｎの初期値を設定する。本実施例では、階層ＩＤ情報Ｎの初期値は、階層構造情報で規定された空間スケーラビリティの階層ＩＤ情報Ｎの最大値と、映像表示部１１０の表示解像度と等しい解像度レイヤに対応する階層ＩＤ情報Ｎの値とを比較する。比較した結果、ＣＰＵはより大きい方の値を階層ＩＤ情報Ｎの初期値として設定する。なお、本実施例では、階層構造情報で規定された空間スケーラビリティの階層ＩＤ情報Ｎの最大値はＮ＝３であり、表示解像度が８Ｋ４Ｋであり、その解像度レイヤに対応する階層ＩＤ情報Ｎの値も３であるので、初期値は３に決定される。
【００２５】
ステップＳ１０３では、第１映像復号部１０３及び第２映像復号部１０４が、Ｈ．２６４／ＳＶＣで符号化された符号化データの復号処理を実行する。ステップＳ１０２において、ＣＰＵが初期値をＮ＝３として決定しているので、この初期値の情報を与えられた第１映像復号部１０３はｎ＝Ｎ＝３に相当する解像度レイヤである８Ｋ４Ｋ解像度の映像を復号する。また、同様に、第２映像復号部では、ｎ＝Ｎ−１＝２に相当する解像度レイヤである４Ｋ２Ｋ解像度の映像を復号する。
【００２６】
ステップＳ１０４では、第１映像復号部１０３で復号された８Ｋ４Ｋ解像度の映像信号が第１周波数ヒストグラム生成部１０５に入力され、第１周波数ヒストグラム生成部１０５により第１の周波数ヒストグラムが生成される。この第１の周波数ヒストグラムを図４（ａ）に示す。また、第２映像復号部１０４で復号された４Ｋ２Ｋ解像度の映像信号が第２周波数ヒストグラム生成部１０６に入力され、第２周波数ヒストグラム生成部１０５により第２の周波数ヒストグラムが生成される。この第２の周波数ヒストグラムを図４（ｂ）に示す。横軸は空間周波数であり、その範囲は周波数０から各解像度に対応して予め定められた最大空間周波数までとなる。
【００２７】
ここで、図５に示すように、各解像度の画像データが取り得る最大空間周波数は解像度によって異なることが知られている。図５は、各解像度と、その解像度の画像データが取り得る最大空間周波数の対応関係表を示す図である。最大空間周波数とは、各解像度のクロック周波数から再現可能される周波数である。フレームレートが６０Ｈｚであれば、計算上は、８Ｋ４Ｋ解像度ならおよそ１０００ＭＨｚ、４Ｋ２Ｋ解像度ならおよそ２５０ＭＨｚとなる。例えば、インタレースのＨＤ解像度（１９２０×１０８０ｉ）のクロック周波数ｆｓは７４．２５ＭＨｚであるが、このクロック周波数で再現できる解像度の上限、つまり、最大空間周波数はナイキスト周波数として定義され、値はｆｓ／２となる。つまり、ナイキスト周波数はＨＤ解像度の場合、約３７ＭＨｚとなる。但し、ナイキスト周波数に対して若干の帯域制限をかけることで余裕を持たせるため、ＨＤ解像度では最大の空間周波数は約３０ＭＨｚとしているのが一般的である。
【００２８】
このＨＤ解像度の最大空間周波数を用いて、他の解像度の最大空間周波数も求めることが可能となる。例えば、４Ｋ２Ｋ解像度の場合には、ＨＤ解像度の４倍であり、さらに、プログレッシブ画像であれば、インタレースのＨＤ解像度における最大空間周波数の４倍×２倍となり、２４０ＭＨｚ程度となる。但し、本実施例では、区切りの良い数値とするため、４Ｋ２Ｋの最大空間周波数を２５０ＭＨｚとしている。同様の考え方で、８Ｋ４Ｋ解像度の場合には４Ｋ２Ｋ解像度の４倍になるので１０００ＭＨｚとしている。一般的に知られた通常の内挿補間処理などを用いた解像度変換処理では、画素数を増加させることはできても元画像のナイキスト周波数よりも高い周波数成分は得られない。
【００２９】
ステップＳ１０５では、第１周波数ヒストグラム生成部１０５と第２周波数ヒストグラム生成部１０６とで生成された第１の周波数ヒストグラム及び第２の周波数ヒストグラムが擬似解像度映像判定部１０７に入力される。そして、疑似解像度映像判定部１０７はそれぞれの周波数ヒストグラム間の類似度を算出する。空間周波数ヒストグラム間の類似度算出には、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ法を用いる。式１は類似度を算出するための数式である。
【００３０】
【数１】
【００３１】
ここで、Ｓｉｍ（Ｈｎ＝Ｎ，Ｈｎ＝Ｎ−１）はｎ＝Ｎのヒストグラム（第１の周波数ヒストグラム）とｎ＝Ｎ−１のヒストグラム（第２の周波数ヒストグラム）間の類似度を表する。そして、Ｈｎ＝Ｎ（ｍ）及びＨｎ＝Ｎ−１（ｍ）はそれぞれ空間周波数ｍにおける第１の周波数ヒストグラムと第２の周波数ヒストグラムの度数を表し、ｍｉｎ［ｘ，ｙ］はＨｎ＝Ｎ（ｍ）及びＨｎ＝Ｎ−１（ｍ）の最小値を表す。パラメータＭはヒストグラムの横軸、つまり、最大空間周波数を所定の分解能で分割した際の階級値である。例えば、分解能を８ｂｉｔとすると、パラメータＭは２５６となる。
【００３２】
以上の値を用いて、式１によって算出された類似度は、第１の周波数ヒストグラムと第２の周波数ヒストグラムが類似していれば、その値は１に近くなり、類似していなければ、値は０に近づく。
【００３３】
上述したように、所定の解像度Ｒの映像信号を、所定の解像度よりも高い解像度Ｒｕとなるように画素数を増加させたとしても、解像度Ｒｕの映像信号には、解像度Ｒが有していなかった高周波成分を多く含むようなことはない。なぜなら、解像度Ｒｕの映像信号を生成するのに利用した解像度Ｒの映像信号にはそもそも解像度Ｒの最大空間周波数を超える範囲の周波数は存在しないためである。
【００３４】
このような考え方を用いて、ステップＳ１０６では、疑似解像度映像判定部１０７は、式１によって算出された類似度から、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像であるか否かを判定する。もし、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像であった場合は、第１映像復号部１０３で復号した解像度レイヤの第１の周波数ヒストグラムは第２の周波数ヒストグラムと比較して当該解像度における高周波成分が殆ど存在しないので、類似度は低くなる。一方、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像でなかった場合、つまり、オリジナル解像度映像であった場合は、第２の周波数ヒストグラムと比較して当該解像度における高周波成分が存在し、類似度は高くなる。従って、疑似解像度映像判定部１０７は、類似度が閾値Ｔｈ以下であれば第１映像復号部で復号した映像信号は擬似解像度映像であると判定し、所定の閾値Ｔｈよりも大きければ擬似解像度映像で無いと判定する。なお、閾値Ｔｈは例えば０．８と設定される。
【００３５】
図６に８Ｋ４Ｋ解像度と４Ｋ２Ｋ解像度の空間周波数ヒストグラムから算出された類似度が閾値Ｔｈよりも小さくなることを示す。図６（ａ）は８Ｋ４Ｋ解像度の映像信号の空間周波数ヒストグラムであり、図６（ｂ）は４Ｋ２Ｋ解像度の映像信号の空間周波数ヒストグラムである。また、図６（ｃ）はＨＤ解像度の映像信号の空間周波数ヒストグラムである。図６（ｄ）の斜線部分は図６（ａ）と図６（ｂ）の空間周波数ヒストグラム間の重なり合う部分を示したものであるが、この斜線部の面積が類似度に比例する。つまり、斜線部の面積が所定の値より小さい場合、即ち、類似度が閾値Ｔｈより小さい場合は、ｎ＝Ｎ＝３、つまり８Ｋ４Ｋ解像度の映像信号は擬似解像度映像であると判定される。
【００３６】
このように、同一映像における複数の解像度の周波数ヒストグラムの類似度を比較することで、映像のジャンルや種別または特性等によらず、擬似解像度映像であるか否かを判別することができる。なお、類似度を比較するためにも、第１及び第２の周波数ヒストグラムを生成する元となるそれぞれのフレーム画像は、同一のフレーム画像であるのが望ましい。同一のフレーム画像を特定する方法は、フレーム画像に付与されたタイムスタンプの一致を判定する等の公知の技術を適用できる。
【００３７】
ステップＳ１０６で、疑似解像度映像判定部１０７が、８Ｋ４Ｋ解像度の解像度レイヤの映像信号は擬似解像度映像であると判定したので、ステップＳ１０９へ処理を移行する。ステップＳ１０９では、ＣＰＵはＮ＝１となるか否かを判定する。この説明のケースでは、Ｎ＝３であるので、Ｓ１１１へ処理を移行する。ステップＳ１１１では、ＣＰＵはＮの値を１デクリメントして、ステップＳ１０３へと戻る。
【００３８】
再び、ステップＳ１０３〜Ｓ１０６ではＮ＝２として処理が行われる。具体的には、ｎ＝２である４Ｋ２Ｋ解像度の解像度レイヤの映像信号と、ｎ＝１であるＨＤ解像度の解像度レイヤの映像信号とからそれぞれ生成した空間周波数ヒストグラム間の類似度を求める。そして、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が擬似解像度映像であるか否かを疑似解像度映像判定部１０７が判定する。図６の（ｂ）と（ｃ）に示したように、４Ｋ２Ｋ解像度の解像度レイヤの映像信号から生成した空間周波数ヒストグラムとＨＤ解像度の解像度レイヤの映像信号から生成した空間周波数ヒストグラムとの類似度は高い。つまり、４Ｋ２Ｋ解像度の映像がオリジナル解像度映像であり、ＨＤ解像度は４Ｋ２Ｋ解像度の映像からダウンコンバートして生成されたものであると判断することができる。ステップＳ１０６において、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が擬似解像度映像ではないオリジナル解像度映像であると判定されたら、次にＣＰＵはステップＳ１０７へ処理を移行する。
【００３９】
ステップＳ１０７では、疑似解像度映像判定部１０７から映像切替部１０８に対して、解像度処理部１０９に送信する映像信号を選択するための選択信号が送信される。この選択信号は、映像信号切替部１０８に入力されている第１映像復号部１０３及び第２映像復号部１０４がそれぞれ復号した映像信号のうち、どちらの映像信号を解像度処理部１０９に送信するかを制御するための信号として機能する。
【００４０】
上述した実施例では、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が疑似解像度映像ではないオリジナル解像度映像であると判定されている。従って、疑似解像度映像判定部１０７は映像信号切替部１０８に対して、第１映像復号部１０３から入力された映像信号を解像度処理部１０９に送信することを示す選択信号を送信する。
【００４１】
ステップＳ１０８では、解像度処理部１０９が映像の空間周波数を向上させる超解像処理と、映像表示部１１０の表示解像度に合わせるための解像度変換処理を実行する。処理された映像信号が映像表示部１１０に送信され、映像表示部１１０で表示されて本実施例のフローは終了となる。ただし、映像切替部１０８で選択された映像信号の解像度が映像表示部１１０の表示解像度と一致していた場合は、解像度処理部１０９では特に処理を行わずに入力された映像信号を映像表示部１１０に送信する。
【００４２】
なお、ステップＳ１０９でＮ＝１であった場合は、ｎ＝Ｎ＝１であるＨＤ解像度の映像信号が擬似解像度映像であると疑似解像度映像判定部１０７で判定されていることを意味する。これは、第２映像復号部１０４で復号した解像度レイヤの映像信号が最も低い解像度の映像信号となり、かつ、第１映像復号部１０３で復号した解像度レイヤの映像信号が疑似解像度映像である場合に相当する。従って、結果的にＮ＝０であるＳＤ解像度の解像度レイヤの映像信号がオリジナル解像度映像であると疑似解像度映像判定部１０７は判定する。その結果、ステップＳ１１０ではｎ＝Ｎ−１＝０であるＳＤ解像度で復号された映像が映像信号切替部１０８で選択される。
【００４３】
超解像処理は、上述した通常の内挿補間処理による解像度変換処理と異なり、ナイキスト周波数以上の高周波成分を復元することが可能である。しかしながら、超解像処理を施す映像信号が、疑似解像度映像の場合、本来その解像度が有している高周波成分が欠落しているので、当該映像を用いて超解像処理を施しても、大きな画質向上は望めない。一方、疑似解像度映像ではないオリジナル解像度映像は高周波成分の欠落が無いので、当該映像を用いて超解像処理を施すと、疑似解像度映像に比べて、より鮮明な映像信号を生成することが可能となる。このように、オリジナル解像度映像を精度良く判定することで、超解像処理の効果をより引き出した高画質映像をユーザに提供することが可能となる。
【００４４】
以上、本実施例の内容を説明したが、上述した本実施例の構成及び制御により、映像のジャンルや種別又は特性などによらず、擬似解像度映像であるか否かを判定することができる。疑似解像度映像であるか否か、即ち、オリジナル解像度映像であるか否かを判定することができるので、高画質化処理を行う対象映像として、疑似解像度映像より高画質化処理効果が見込めるオリジナル解像度映像を選択することが可能となる。
【００４５】
上述した実施例１では、Ｈ．２６４／ＳＶＣで符号化された映像データを前提とした説明を行ったが、本発明は、上記の符号化方式に限定されるものではない。例えば、複数種類の解像度で同一映像が送信されているような形態、例えば、放送波ではＨＤ解像度の映像が送信されており、ネットワーク経由で４Ｋ２Ｋ解像度の同一映像が送信されているような形態などでも本発明は利用可能である。
【００４６】
なお、上述した実施例では、ｎ＝Ｎと、ｎ＝Ｎ−１の解像度レイヤの比較を行っていた。つまり、比較対象は隣接した解像度同士の比較となっていた。しかし、本発明はこれに限らず、異なる解像度の映像信号を順次比較することで、結果として疑似解像度映像信号とオリジナル解像度映像信号とを判定することが可能である。
【００４７】
また、上述した実施例では、最も高い解像度の映像信号から比較判定処理を開始していたが、本発明はこれに限らず、どの解像度の映像信号から比較判定処理を開始してもよい。例えば、図２で示した解像度レイヤにおいて、ＳＤ解像度の映像信号とＨＤ解像度の映像信号との比較を最初に行うように構成することも可能である。なお、この場合には、ＳＤ解像度とＨＤ解像度のそれぞれの映像信号のヒストグラムの類似度が高いからといって、ＨＤ解像度の映像信号がオリジナル解像度映像であるとは限らない。なぜなら、例えば４Ｋ２Ｋの解像度の映像信号がオリジナル解像度映像であると想定した場合、４Ｋ２Ｋの解像度の映像信号からダウンコンバートしてそれぞれ生成したＨＤ解像度及びＳＤ解像度の映像信号のヒストグラムは類似度が高くなるためである。そのため、類似度が高い解像度の映像信号のうち、最も解像度が高い映像信号をオリジナル解像度映像であると判定する処理を実行すれば良い。例えば、ＳＤ解像度とＨＤ解像度の映像信号の類似度が高いと判定した場合には、ＨＤ解像度よりも高い解像度の映像信号が存在しているか否かを判定する。そして、高い解像度の映像信号が存在している場合には、ＨＤ解像度の映像信号と４Ｋ２Ｋ解像度の映像信号のそれぞれのヒストグラムの類似度を判定する。さらに、４Ｋ２Ｋ解像度の映像信号と８Ｋ４Ｋの解像度の映像信号のそれぞれのヒストグラムの類似度を判定する。類似度が高いと判定された映像信号のうち、最も高い解像度の映像信号は４Ｋ２Ｋの解像度の映像信号であったので、８Ｋ４Ｋ解像度の映像信号は疑似解像度映像信号であり、４Ｋ２Ｋ解像度の映像信号がオリジナル解像度映像信号であると判定することができる。
【技術分野】
【０００１】
本発明は、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、所定の解像度の映像信号から表示可能な映像データを生成する映像処理装置及び映像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
従来のアナログ放送ではＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像が中心であったが、現在のデジタル放送では高圧縮映像符号化技術を背景にＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度で放送されることが多くなっている。このため、従来のＳＤ解像度用の機材を用いて製作されたコンテンツや、過去のＳＤ解像度のコンテンツを放送する際には、補間処理をして画素数を増加させることで、見た目の解像度だけをＨＤ解像度に変換した映像が配信されることがあった。こうした処理で生成された、実質的な解像度を有していない映像を擬似解像度映像と称する。対して、見た目の解像度を向上させる処理を施していない映像のことをオリジナル解像度映像と称することとする。
【０００３】
受信した映像の空間周波数を解析することで、擬似解像度映像であるか否かを判別する手法が知られている。ＨＤ解像度で撮影や生成された映像は、ＳＤ解像度の映像を擬似的にＨＤ解像度に変換した映像に比べて高周波成分を多く含むので、例えば、空間周波数が、ある閾値以上の値を持たなければ、擬似解像度映像であると判別することができる。
【０００４】
特許文献１では、擬似解像度映像をＳＤ解像度へダウンコンバートした後に、高画質化処理と解像度変換を行うことで高画質なＨＤ解像度の映像を得ている。この文献に開示の技術では、実質的な解像度を有していない擬似解像度映像を再びダウンコンバートする必要性があるが、上述したように、疑似解像度映像はその解像度と同じ解像度のオリジナル解像度映像と比べて高周波成分が殆ど存在していない。つまり、オリジナル解像度映像と比べると画質面で不利である疑似解像度映像を用いて、その映像をさらにダウンコンバート処理して解像度を低下させるので画質劣化が発生していた。
【０００５】
ところで、新しい映像符号化規格であるＨ．２６４／ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、ひとつのストリーム・データに複数の異なる解像度を多重化できるようにＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格を拡張したものである。ストリーム・データの一部を取り出すことで、所望の解像度で復号することが可能となる。
【０００６】
映像は少なくとも任意のオリジナル解像度で撮影が可能な機材で撮影される。例えば、ＨＤ解像度で撮影が可能な機材であれば、ＨＤ解像度の映像がオリジナル解像度映像となる。従って、Ｈ．２６４／ＳＶＣを用いて配信された放送において、いくつかの解像度の映像のうち、いずれか１つの解像度の映像はオリジナル解像度映像である。また、オリジナル解像度映像の解像度以外の映像は、オリジナル解像度映像から生成した疑似解像度映像やダウンコンバートした映像である。
【０００７】
そこで、Ｈ．２６４／ＳＶＣで符号化された符号化データのうち、オリジナル解像度映像を復号して高画質化処理と表示解像度への解像度変換を行うことで、従来技術のように擬似的に解像度変換された疑似解像度映像を再びダウンコンバートする過程で発生する画質劣化が避けられるようになる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２８１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来技術の擬似解像度映像の判別方法では、映像によっては誤検出してしまうことがあった。例えば、アニメなどのように平坦部分が多く、エッジの滑らかな映像においては、元々空間周波数が低いために擬似解像度映像信号であるか否かの判別が難しい。
【００１０】
そこで、本発明は、映像のジャンルや種別又は特性などによらず、擬似解像度映像信号であるか否かを判定することができる映像処理装置及び映像処理装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の映像処理装置は、所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置であって、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成する第１の生成手段と、同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成する第２の生成手段と、前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出する算出手段と、前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定する判定手段と、を有する。
【発明の効果】
【００１２】
以上説明したように、本発明によれば、映像のジャンルや種別又は特性などによらず、擬似解像度映像信号であるか否かを判定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した映像処理装置の構成を示すブロック図である。
【図２】空間スケーラビリティの階層構造の一例を示す図である。
【図３】本発明の実施例におけるフローチャートである。
【図４】画像の解像度に応じた度数分布の概略を示す図である。
【図５】各解像度と最大空間周波数との対応関係表を示す図である。
【図６】画像の解像度に応じた空間周波数ヒストグラムから算出される類似度を示す図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の実施例を説明する。
【００１５】
図１は、本発明を適用できる映像処理装置１００の構成を示すブロック図である。図には示していないが、これらのブロックを包括的に制御するＣＰＵが映像処理装置の各ブロックとバス（不図示）を介して接続されている。
【００１６】
デジタル放送信号１０１はチューナ部１０２に入力され、入力されたデジタル放送信号１０１の中から任意のチャンネルのＭＰＥＧ−２ ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）信号を抽出する。このＭＰＥＧ−２ ＴＳ信号にはＨ．２６４／ＳＶＣで符号化された映像信号およびＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）で符号化された音声信号が多重化されており、チューナ部１０２において分離される。Ｈ．２６４／ＳＶＣで符号化された映像には、最大８層の空間スケーラビリティ（選択可能な解像度）が設定可能と規定されている。
【００１７】
図２には、送信されるＨ．２６４／ＳＶＣで符号化された映像の空間スケーラビリティの階層構造を示す概念図である。図２に示された空間スケーラビリティの階層ＩＤ情報とそれに対応付けられた解像度レイヤ情報とを含む階層構造情報が送信される。選択可能な解像度レイヤの情報は、レイヤ毎に用意されるＳＰＳ（シーケンス・パラメータ・セット）に含まれており、ＣＰＵがＳＰＳを参照することで得られる。本実施例では、階層ＩＤ情報Ｎ＝３の解像度レイヤが最大の解像度レイヤ８Ｋ４Ｋ（７６８０×４３２０ピクセル）とした、４階層の空間スケーラビリティを有する符号化データが送信されるものとする。
【００１８】
図１の第１映像復号部１０３と第２映像復号部１０４には、チューナ部１０２で分離された同一のＨ．２６４／ＳＶＣ符号化映像データがそれぞれ入力される。第１映像復号部１０３では、ｎ＝Ｎとなる解像度レイヤを選択して、符号化映像データを復号する。第２映像復号部１０４では、ｎ＝Ｎ−１である解像度レイヤを選択して、符号化映像データを復号する。ここで、ｎは第１映像復号部１０３及び第２映像復号部１０４で復号する解像度レイヤを示すパラメータである。ＣＰＵはこれらの映像復号部に対して、処理する階層ＩＤ情報Ｎを通知する。つまり、ＣＰＵが階層ＩＤ情報Ｎ＝３の解像度レイヤの復号をこれらの映像復号部に指示した場合、第１映像復号部１０３では、ｎ＝３となる第１の解像度レイヤを選択して符号化映像データを復号し、第２映像復号部１０４では、ｎ＝２の第２の解像度レイヤを選択して符号化映像データを復号することになる。
【００１９】
第１映像復号部１０３で復号された映像信号は、第１周波数ヒストグラム生成部１０５と、映像信号切替部１０８に入力される。同様に、第２映像復号部１０４で復号された映像信号は、第２周波数ヒストグラム生成部１０６と、映像信号切替部１０８に入力される。なお、Ｈ．２６４／ＳＶＣの映像信号を復号しているので、これらの映像信号は同一内容の映像となる。第１周波数ヒストグラム生成部１０５及び第２周波数ヒストグラム生成部１０６では、入力された映像信号の空間周波数ヒストグラムが生成される。本実施例では、第１周波数ヒストグラム生成部１０５で生成された空間周波数ヒストグラムを第１の周波数ヒストグラムと称する。また、第２周波数ヒストグラム生成部１０６で生成された空間周波数ヒストグラムを第２の周波数ヒストグラムと称する。生成されたそれぞれの周波数ヒストグラムの情報は擬似解像度映像判定部１０７に入力される。空間周波数ヒストグラムを生成する単位は映像を構成するフレーム画像単位である。
【００２０】
なお、空間周波数ヒストグラムとは、映像を構成する１枚のフレーム画像について、そのフレーム画像に含まれる周波数成分の度数分布を示すものである。画像を構成する各画素がほぼ均一の画素値を有する画像では空間周波数は低周波成分が多く存在する画像となり、結果として、ヒストグラムを生成すると、低周波側の度数が高周波側の度数に比べて多いヒストグラム形状が得られる。反対に、画素値の変動が大きいエッジ部分を多く含むテクスチャのような画像では空間周波数は高周波成分が多く存在する画像となり、高周波側の度数が多いヒストグラム形状が得られる。一般的によく知られているように、画像の空間周波数は、画像をフーリエ変換することにより取得することが可能である。
【００２１】
擬似解像度映像判定部１０７では、入力された空間周波数ヒストグラム同士の類似度を求める。これにより、ｎ＝Ｎとなる解像度レイヤで復号した映像信号、つまり、第１映像復号部から出力された映像信号が見た目の解像度だけを向上させるように生成された映像信号であるか否かを判定する。擬似解像度映像判定部１０７の判定結果は不図示のＣＰＵを介して第１映像復号部１０３と第２映像復号部１０４に入力され、その後に復号する解像度レイヤの選択に用いられる。また、擬似解像度映像判定部１０７の判定結果は映像信号切替部１０８にも入力され、第１映像復号部１０３と第２映像復号部１０４から入力された映像信号の切り替えに反映される。なお、類似度の求め方及び疑似解像度映像であるか否かの判定方法については後述する。
【００２２】
擬似解像度映像判定部１０７の判定結果をもとに、映像信号切替部１０８で選択された映像信号は解像度処理部１０９に入力される。解像度処理部１０９では、映像の空間周波数を向上させる超解像処理と、映像表示部１１０の表示解像度（表示画素数）に合わせた画像とするための解像度変換処理が行われる。こうして生成された映像信号は映像表示部１１０に送信され、表示される。なお、本実施例の映像表示部１１０の表示解像度は８Ｋ４Ｋ（７６８０×４３２０ピクセル）のスーパーハイビジョン規格とする。
【００２３】
続いて、上述したブロック図で構成される映像処理装置１００による、制御手順を図３に示したフローチャートを用いて説明する。まず、ステップＳ１０１では、チューナ部１０２が受信したデジタル放送信号１０１から任意のチャンネルのＭＰＥＧ−２ ＴＳ信号を抽出する。チューナ部１０２はさらに、抽出されたＭＰＥＧ−２ ＴＳ信号からＨ．２６４／ＳＶＣで符号化された映像信号を分離する。
【００２４】
ステップＳ１０２では、ＣＰＵはＨ．２６４／ＳＶＣで符号化された映像信号のＳＰＳを参照して、空間スケーラビリティの階層構造情報を取得する。そして、ＣＰＵは第１映像復号部１０３と第２映像復号部１０４で復号する解像度レイヤ、つまりパラメータｎを決定するために、階層ＩＤ情報Ｎの初期値を設定する。本実施例では、階層ＩＤ情報Ｎの初期値は、階層構造情報で規定された空間スケーラビリティの階層ＩＤ情報Ｎの最大値と、映像表示部１１０の表示解像度と等しい解像度レイヤに対応する階層ＩＤ情報Ｎの値とを比較する。比較した結果、ＣＰＵはより大きい方の値を階層ＩＤ情報Ｎの初期値として設定する。なお、本実施例では、階層構造情報で規定された空間スケーラビリティの階層ＩＤ情報Ｎの最大値はＮ＝３であり、表示解像度が８Ｋ４Ｋであり、その解像度レイヤに対応する階層ＩＤ情報Ｎの値も３であるので、初期値は３に決定される。
【００２５】
ステップＳ１０３では、第１映像復号部１０３及び第２映像復号部１０４が、Ｈ．２６４／ＳＶＣで符号化された符号化データの復号処理を実行する。ステップＳ１０２において、ＣＰＵが初期値をＮ＝３として決定しているので、この初期値の情報を与えられた第１映像復号部１０３はｎ＝Ｎ＝３に相当する解像度レイヤである８Ｋ４Ｋ解像度の映像を復号する。また、同様に、第２映像復号部では、ｎ＝Ｎ−１＝２に相当する解像度レイヤである４Ｋ２Ｋ解像度の映像を復号する。
【００２６】
ステップＳ１０４では、第１映像復号部１０３で復号された８Ｋ４Ｋ解像度の映像信号が第１周波数ヒストグラム生成部１０５に入力され、第１周波数ヒストグラム生成部１０５により第１の周波数ヒストグラムが生成される。この第１の周波数ヒストグラムを図４（ａ）に示す。また、第２映像復号部１０４で復号された４Ｋ２Ｋ解像度の映像信号が第２周波数ヒストグラム生成部１０６に入力され、第２周波数ヒストグラム生成部１０５により第２の周波数ヒストグラムが生成される。この第２の周波数ヒストグラムを図４（ｂ）に示す。横軸は空間周波数であり、その範囲は周波数０から各解像度に対応して予め定められた最大空間周波数までとなる。
【００２７】
ここで、図５に示すように、各解像度の画像データが取り得る最大空間周波数は解像度によって異なることが知られている。図５は、各解像度と、その解像度の画像データが取り得る最大空間周波数の対応関係表を示す図である。最大空間周波数とは、各解像度のクロック周波数から再現可能される周波数である。フレームレートが６０Ｈｚであれば、計算上は、８Ｋ４Ｋ解像度ならおよそ１０００ＭＨｚ、４Ｋ２Ｋ解像度ならおよそ２５０ＭＨｚとなる。例えば、インタレースのＨＤ解像度（１９２０×１０８０ｉ）のクロック周波数ｆｓは７４．２５ＭＨｚであるが、このクロック周波数で再現できる解像度の上限、つまり、最大空間周波数はナイキスト周波数として定義され、値はｆｓ／２となる。つまり、ナイキスト周波数はＨＤ解像度の場合、約３７ＭＨｚとなる。但し、ナイキスト周波数に対して若干の帯域制限をかけることで余裕を持たせるため、ＨＤ解像度では最大の空間周波数は約３０ＭＨｚとしているのが一般的である。
【００２８】
このＨＤ解像度の最大空間周波数を用いて、他の解像度の最大空間周波数も求めることが可能となる。例えば、４Ｋ２Ｋ解像度の場合には、ＨＤ解像度の４倍であり、さらに、プログレッシブ画像であれば、インタレースのＨＤ解像度における最大空間周波数の４倍×２倍となり、２４０ＭＨｚ程度となる。但し、本実施例では、区切りの良い数値とするため、４Ｋ２Ｋの最大空間周波数を２５０ＭＨｚとしている。同様の考え方で、８Ｋ４Ｋ解像度の場合には４Ｋ２Ｋ解像度の４倍になるので１０００ＭＨｚとしている。一般的に知られた通常の内挿補間処理などを用いた解像度変換処理では、画素数を増加させることはできても元画像のナイキスト周波数よりも高い周波数成分は得られない。
【００２９】
ステップＳ１０５では、第１周波数ヒストグラム生成部１０５と第２周波数ヒストグラム生成部１０６とで生成された第１の周波数ヒストグラム及び第２の周波数ヒストグラムが擬似解像度映像判定部１０７に入力される。そして、疑似解像度映像判定部１０７はそれぞれの周波数ヒストグラム間の類似度を算出する。空間周波数ヒストグラム間の類似度算出には、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ法を用いる。式１は類似度を算出するための数式である。
【００３０】
【数１】
【００３１】
ここで、Ｓｉｍ（Ｈｎ＝Ｎ，Ｈｎ＝Ｎ−１）はｎ＝Ｎのヒストグラム（第１の周波数ヒストグラム）とｎ＝Ｎ−１のヒストグラム（第２の周波数ヒストグラム）間の類似度を表する。そして、Ｈｎ＝Ｎ（ｍ）及びＨｎ＝Ｎ−１（ｍ）はそれぞれ空間周波数ｍにおける第１の周波数ヒストグラムと第２の周波数ヒストグラムの度数を表し、ｍｉｎ［ｘ，ｙ］はＨｎ＝Ｎ（ｍ）及びＨｎ＝Ｎ−１（ｍ）の最小値を表す。パラメータＭはヒストグラムの横軸、つまり、最大空間周波数を所定の分解能で分割した際の階級値である。例えば、分解能を８ｂｉｔとすると、パラメータＭは２５６となる。
【００３２】
以上の値を用いて、式１によって算出された類似度は、第１の周波数ヒストグラムと第２の周波数ヒストグラムが類似していれば、その値は１に近くなり、類似していなければ、値は０に近づく。
【００３３】
上述したように、所定の解像度Ｒの映像信号を、所定の解像度よりも高い解像度Ｒｕとなるように画素数を増加させたとしても、解像度Ｒｕの映像信号には、解像度Ｒが有していなかった高周波成分を多く含むようなことはない。なぜなら、解像度Ｒｕの映像信号を生成するのに利用した解像度Ｒの映像信号にはそもそも解像度Ｒの最大空間周波数を超える範囲の周波数は存在しないためである。
【００３４】
このような考え方を用いて、ステップＳ１０６では、疑似解像度映像判定部１０７は、式１によって算出された類似度から、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像であるか否かを判定する。もし、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像であった場合は、第１映像復号部１０３で復号した解像度レイヤの第１の周波数ヒストグラムは第２の周波数ヒストグラムと比較して当該解像度における高周波成分が殆ど存在しないので、類似度は低くなる。一方、第１映像復号部１０３で復号した解像度レイヤの映像信号が擬似解像度映像でなかった場合、つまり、オリジナル解像度映像であった場合は、第２の周波数ヒストグラムと比較して当該解像度における高周波成分が存在し、類似度は高くなる。従って、疑似解像度映像判定部１０７は、類似度が閾値Ｔｈ以下であれば第１映像復号部で復号した映像信号は擬似解像度映像であると判定し、所定の閾値Ｔｈよりも大きければ擬似解像度映像で無いと判定する。なお、閾値Ｔｈは例えば０．８と設定される。
【００３５】
図６に８Ｋ４Ｋ解像度と４Ｋ２Ｋ解像度の空間周波数ヒストグラムから算出された類似度が閾値Ｔｈよりも小さくなることを示す。図６（ａ）は８Ｋ４Ｋ解像度の映像信号の空間周波数ヒストグラムであり、図６（ｂ）は４Ｋ２Ｋ解像度の映像信号の空間周波数ヒストグラムである。また、図６（ｃ）はＨＤ解像度の映像信号の空間周波数ヒストグラムである。図６（ｄ）の斜線部分は図６（ａ）と図６（ｂ）の空間周波数ヒストグラム間の重なり合う部分を示したものであるが、この斜線部の面積が類似度に比例する。つまり、斜線部の面積が所定の値より小さい場合、即ち、類似度が閾値Ｔｈより小さい場合は、ｎ＝Ｎ＝３、つまり８Ｋ４Ｋ解像度の映像信号は擬似解像度映像であると判定される。
【００３６】
このように、同一映像における複数の解像度の周波数ヒストグラムの類似度を比較することで、映像のジャンルや種別または特性等によらず、擬似解像度映像であるか否かを判別することができる。なお、類似度を比較するためにも、第１及び第２の周波数ヒストグラムを生成する元となるそれぞれのフレーム画像は、同一のフレーム画像であるのが望ましい。同一のフレーム画像を特定する方法は、フレーム画像に付与されたタイムスタンプの一致を判定する等の公知の技術を適用できる。
【００３７】
ステップＳ１０６で、疑似解像度映像判定部１０７が、８Ｋ４Ｋ解像度の解像度レイヤの映像信号は擬似解像度映像であると判定したので、ステップＳ１０９へ処理を移行する。ステップＳ１０９では、ＣＰＵはＮ＝１となるか否かを判定する。この説明のケースでは、Ｎ＝３であるので、Ｓ１１１へ処理を移行する。ステップＳ１１１では、ＣＰＵはＮの値を１デクリメントして、ステップＳ１０３へと戻る。
【００３８】
再び、ステップＳ１０３〜Ｓ１０６ではＮ＝２として処理が行われる。具体的には、ｎ＝２である４Ｋ２Ｋ解像度の解像度レイヤの映像信号と、ｎ＝１であるＨＤ解像度の解像度レイヤの映像信号とからそれぞれ生成した空間周波数ヒストグラム間の類似度を求める。そして、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が擬似解像度映像であるか否かを疑似解像度映像判定部１０７が判定する。図６の（ｂ）と（ｃ）に示したように、４Ｋ２Ｋ解像度の解像度レイヤの映像信号から生成した空間周波数ヒストグラムとＨＤ解像度の解像度レイヤの映像信号から生成した空間周波数ヒストグラムとの類似度は高い。つまり、４Ｋ２Ｋ解像度の映像がオリジナル解像度映像であり、ＨＤ解像度は４Ｋ２Ｋ解像度の映像からダウンコンバートして生成されたものであると判断することができる。ステップＳ１０６において、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が擬似解像度映像ではないオリジナル解像度映像であると判定されたら、次にＣＰＵはステップＳ１０７へ処理を移行する。
【００３９】
ステップＳ１０７では、疑似解像度映像判定部１０７から映像切替部１０８に対して、解像度処理部１０９に送信する映像信号を選択するための選択信号が送信される。この選択信号は、映像信号切替部１０８に入力されている第１映像復号部１０３及び第２映像復号部１０４がそれぞれ復号した映像信号のうち、どちらの映像信号を解像度処理部１０９に送信するかを制御するための信号として機能する。
【００４０】
上述した実施例では、４Ｋ２Ｋ解像度の解像度レイヤの映像信号が疑似解像度映像ではないオリジナル解像度映像であると判定されている。従って、疑似解像度映像判定部１０７は映像信号切替部１０８に対して、第１映像復号部１０３から入力された映像信号を解像度処理部１０９に送信することを示す選択信号を送信する。
【００４１】
ステップＳ１０８では、解像度処理部１０９が映像の空間周波数を向上させる超解像処理と、映像表示部１１０の表示解像度に合わせるための解像度変換処理を実行する。処理された映像信号が映像表示部１１０に送信され、映像表示部１１０で表示されて本実施例のフローは終了となる。ただし、映像切替部１０８で選択された映像信号の解像度が映像表示部１１０の表示解像度と一致していた場合は、解像度処理部１０９では特に処理を行わずに入力された映像信号を映像表示部１１０に送信する。
【００４２】
なお、ステップＳ１０９でＮ＝１であった場合は、ｎ＝Ｎ＝１であるＨＤ解像度の映像信号が擬似解像度映像であると疑似解像度映像判定部１０７で判定されていることを意味する。これは、第２映像復号部１０４で復号した解像度レイヤの映像信号が最も低い解像度の映像信号となり、かつ、第１映像復号部１０３で復号した解像度レイヤの映像信号が疑似解像度映像である場合に相当する。従って、結果的にＮ＝０であるＳＤ解像度の解像度レイヤの映像信号がオリジナル解像度映像であると疑似解像度映像判定部１０７は判定する。その結果、ステップＳ１１０ではｎ＝Ｎ−１＝０であるＳＤ解像度で復号された映像が映像信号切替部１０８で選択される。
【００４３】
超解像処理は、上述した通常の内挿補間処理による解像度変換処理と異なり、ナイキスト周波数以上の高周波成分を復元することが可能である。しかしながら、超解像処理を施す映像信号が、疑似解像度映像の場合、本来その解像度が有している高周波成分が欠落しているので、当該映像を用いて超解像処理を施しても、大きな画質向上は望めない。一方、疑似解像度映像ではないオリジナル解像度映像は高周波成分の欠落が無いので、当該映像を用いて超解像処理を施すと、疑似解像度映像に比べて、より鮮明な映像信号を生成することが可能となる。このように、オリジナル解像度映像を精度良く判定することで、超解像処理の効果をより引き出した高画質映像をユーザに提供することが可能となる。
【００４４】
以上、本実施例の内容を説明したが、上述した本実施例の構成及び制御により、映像のジャンルや種別又は特性などによらず、擬似解像度映像であるか否かを判定することができる。疑似解像度映像であるか否か、即ち、オリジナル解像度映像であるか否かを判定することができるので、高画質化処理を行う対象映像として、疑似解像度映像より高画質化処理効果が見込めるオリジナル解像度映像を選択することが可能となる。
【００４５】
上述した実施例１では、Ｈ．２６４／ＳＶＣで符号化された映像データを前提とした説明を行ったが、本発明は、上記の符号化方式に限定されるものではない。例えば、複数種類の解像度で同一映像が送信されているような形態、例えば、放送波ではＨＤ解像度の映像が送信されており、ネットワーク経由で４Ｋ２Ｋ解像度の同一映像が送信されているような形態などでも本発明は利用可能である。
【００４６】
なお、上述した実施例では、ｎ＝Ｎと、ｎ＝Ｎ−１の解像度レイヤの比較を行っていた。つまり、比較対象は隣接した解像度同士の比較となっていた。しかし、本発明はこれに限らず、異なる解像度の映像信号を順次比較することで、結果として疑似解像度映像信号とオリジナル解像度映像信号とを判定することが可能である。
【００４７】
また、上述した実施例では、最も高い解像度の映像信号から比較判定処理を開始していたが、本発明はこれに限らず、どの解像度の映像信号から比較判定処理を開始してもよい。例えば、図２で示した解像度レイヤにおいて、ＳＤ解像度の映像信号とＨＤ解像度の映像信号との比較を最初に行うように構成することも可能である。なお、この場合には、ＳＤ解像度とＨＤ解像度のそれぞれの映像信号のヒストグラムの類似度が高いからといって、ＨＤ解像度の映像信号がオリジナル解像度映像であるとは限らない。なぜなら、例えば４Ｋ２Ｋの解像度の映像信号がオリジナル解像度映像であると想定した場合、４Ｋ２Ｋの解像度の映像信号からダウンコンバートしてそれぞれ生成したＨＤ解像度及びＳＤ解像度の映像信号のヒストグラムは類似度が高くなるためである。そのため、類似度が高い解像度の映像信号のうち、最も解像度が高い映像信号をオリジナル解像度映像であると判定する処理を実行すれば良い。例えば、ＳＤ解像度とＨＤ解像度の映像信号の類似度が高いと判定した場合には、ＨＤ解像度よりも高い解像度の映像信号が存在しているか否かを判定する。そして、高い解像度の映像信号が存在している場合には、ＨＤ解像度の映像信号と４Ｋ２Ｋ解像度の映像信号のそれぞれのヒストグラムの類似度を判定する。さらに、４Ｋ２Ｋ解像度の映像信号と８Ｋ４Ｋの解像度の映像信号のそれぞれのヒストグラムの類似度を判定する。類似度が高いと判定された映像信号のうち、最も高い解像度の映像信号は４Ｋ２Ｋの解像度の映像信号であったので、８Ｋ４Ｋ解像度の映像信号は疑似解像度映像信号であり、４Ｋ２Ｋ解像度の映像信号がオリジナル解像度映像信号であると判定することができる。
【特許請求の範囲】
【請求項１】
所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置であって、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成する第１の生成手段と、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成する第２の生成手段と、
前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出する算出手段と、
前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定する判定手段と、
を有することを特徴とする映像処理装置。
【請求項２】
任意の解像度の映像信号に対して、当該映像信号の空間周波数を向上させる解像度変換処理を実行する処理手段を有し、
前記判定手段は、前記類似度が前記所定の閾値より高い場合であり、かつ前記第１の解像度の映像信号よりも高い解像度の映像信号が存在しない場合には、前記第１の解像度の映像信号をオリジナル解像度映像信号であると判定し、
前記処理手段は、前記オリジナル解像度映像信号として判定された映像信号に対して空間周波数を向上させる解像度変換処理を実行することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置の制御方法であって、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成するステップと、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成するステップと、
前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出するステップと、
前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定するステップと、
を有することを特徴とする映像処理装置の制御方法。
【請求項４】
任意の解像度の映像信号に対して、当該映像信号の空間周波数を向上させる解像度変換処理を実行するステップを有し、
前記判定するステップでは、前記類似度が前記所定の閾値より高い場合であり、かつ前記第１の解像度の映像信号よりも高い解像度の映像信号が存在しない場合には、前記第１の解像度の映像信号をオリジナル解像度映像信号であると判定し、
前記処理ステップでは、前記オリジナル解像度映像信号として判定された映像信号に対して空間周波数を向上させる解像度変換処理を実行することを特徴とする請求項３に記載の映像処理装置の制御方法。
【請求項１】
所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置であって、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成する第１の生成手段と、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成する第２の生成手段と、
前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出する算出手段と、
前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定する判定手段と、
を有することを特徴とする映像処理装置。
【請求項２】
任意の解像度の映像信号に対して、当該映像信号の空間周波数を向上させる解像度変換処理を実行する処理手段を有し、
前記判定手段は、前記類似度が前記所定の閾値より高い場合であり、かつ前記第１の解像度の映像信号よりも高い解像度の映像信号が存在しない場合には、前記第１の解像度の映像信号をオリジナル解像度映像信号であると判定し、
前記処理手段は、前記オリジナル解像度映像信号として判定された映像信号に対して空間周波数を向上させる解像度変換処理を実行することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
所定の解像度の映像信号が、当該解像度よりも低い解像度の映像信号から生成された疑似解像度映像信号であるか否かを判定する映像処理装置の制御方法であって、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、第１の解像度の映像信号に係る第１の周波数ヒストグラムを生成するステップと、
同一内容の映像信号で、かつ、複数の異なる解像度の映像信号のうち、前記第１の解像度よりも低い第２の解像度の映像信号に係る第２の周波数ヒストグラムを生成するステップと、
前記第１の周波数ヒストグラムと前記第２の周波数ヒストグラムとを比較し、当該第１の周波数ヒストグラムと当該第２の周波数ヒストグラムの類似度を所定の数式を用いて算出するステップと、
前記類似度と所定の閾値とを比較し、前記類似度が前記所定の閾値以下の場合には、前記第１の解像度の映像信号は疑似解像度映像信号であると判定するステップと、
を有することを特徴とする映像処理装置の制御方法。
【請求項４】
任意の解像度の映像信号に対して、当該映像信号の空間周波数を向上させる解像度変換処理を実行するステップを有し、
前記判定するステップでは、前記類似度が前記所定の閾値より高い場合であり、かつ前記第１の解像度の映像信号よりも高い解像度の映像信号が存在しない場合には、前記第１の解像度の映像信号をオリジナル解像度映像信号であると判定し、
前記処理ステップでは、前記オリジナル解像度映像信号として判定された映像信号に対して空間周波数を向上させる解像度変換処理を実行することを特徴とする請求項３に記載の映像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−４４８６８（Ｐ２０１１−４４８６８Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９１１９４（Ｐ２００９−１９１１９４）
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]