映像データ処理装置、及び映像データ処理方法
【課題】入力映像データの拡大縮小率を容易に検出する。
【解決手段】映像データの拡大縮小率を算出する映像データ処理装置は、映像データに含まれる複数の画素列のノイズを除去する前処理部１１０と、複数の画素列について、隣接する画素間の画素値の差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定するブロックサイズ検出部１３０と、複数の各画素列について、ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録するブロックサイズ積算部１５０と、積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式のブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する拡大縮小率判定部１７０と、を備える。
【解決手段】映像データの拡大縮小率を算出する映像データ処理装置は、映像データに含まれる複数の画素列のノイズを除去する前処理部１１０と、複数の画素列について、隣接する画素間の画素値の差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定するブロックサイズ検出部１３０と、複数の各画素列について、ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録するブロックサイズ積算部１５０と、積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式のブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する拡大縮小率判定部１７０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの拡大縮小率を検出する技術に関する。
【背景技術】
【０００２】
映像データの処理、例えば、シャープネス、ノイズ・キャンセル、または超解像技術など映像処理には、入力映像データの特性に合わせて最適処理を実施する。具体的には、入力映像データの特性にあわせて、最適な処理方式を選択することや、設定値を調整することが必要となる。
例えば、オリジナル解像度を有する映像データ（カメラで取った映像そのままの解像度の映像データ）や、コンピュータグラフィックス（ＣＧ）など十分な解像度を持つ映像データに対して、シャープネス、超解像処理などの映像に対する強調処理を実行すると弊害を伴う場合が多く、強調処理を弱めに設定するのが望ましい。また、解像度が低い映像を拡大した映像、例えば、ＹｏｕＴｕｂｅ（登録商標）などによってインターネット上に公開された映像データや、標準映像（ＳＤ映像）を高精細度サイズ（ＨＤサイズ）まで拡大した映像データに対しては、拡大処理を施すと映像がボケてしまうので、強調処理を強めに調整するのが望ましい。さらに、超解像などは特定拡大率に対して最適の設定（例えば、２倍拡大には設定１、３倍拡大には設定２、４倍拡大には設定３など）があるので、映像データの拡大率に応じて、処理方式や設定などを選択する事でさらに良い効果が得られる。
【０００３】
一般的に、映像データに対する各処理内容に対して数種類の設定値を予め準備しておき、映像データが高解像度の場合に弱めの設定で処理し、低解像度の場合に強めの設定で処理する。ただし、この様な適応処理の前提としては、入力映像データが低い解像度から拡大した映像か、拡大せず元映像データその物であるかの検出が必要である。また、拡大した映像データの場合に、拡大の倍率も検出する必要がある。
例えば、図１１に示すような、地上波がアンテナ１を介してＳＴＢ（Set Top Box）２経由でテレビ３に入力される場合（図１１）に、テレビ３側は、放送映像に対してＳＴＢ２がどんな処理をしたかを把握することができない。テレビ３がＳＴＢ２によって処理された放送映像に対して、適応処理を実施するためには、入力映像データの特性（拡大倍率）を検出しなければならない。
【０００４】
同様に、図１２に示すように、ＤＶＤ（Digital Versatile Disc）プレイヤー５がＤＶＤ４若しくはＢＤ（Blu-ray Disc）素材を再生しテレビ３に入力する場合に、テレビ３はその入力信号に対して、最適処理するために、入力信号がＤＶＤ画質か、ＢＤ画質かの判定を必要とする。
さらに同様に、図１３に示すように、パーソナルコンピュータ６上のアプリケーションによって、ビデオを再生する時、例えば、ＹｏｕＴｕｂｅ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｐｌａｙｅｒ（登録商標）などによってビデオを再生する時、液晶ディスプレイなど表示機器がアプリケーションを使用する画面領域の範囲内の映像に対して映像処理したい場合に、その映像データの拡大率の検出も必要である。
【０００５】
上述したように、適切な映像データ処理には、映像データについて解像度や拡大率または縮小率の検出が必要となる。例えば、解像度検出に関する技術（特許文献１，２）や拡大率または縮小率の検出に用いるブロックサイズ検出に関する技術（特許文献３，４）が開発されている。
特許文献１には、入力映像データに対して、以下の順番で解析を行い、入力映像データの解像度を求めて後段の画質処理ブロック（超解像など）の係数を調整する技術が開示されている。
１．水平垂直周波数分解
２．周波数成分の平坦化
３．周波数成分のニ値化
４．計測
５．拡大率判定
【０００６】
特許文献２には、映像データのブロック内の空間周波数を解析し、エネルギーの分布による拡大・縮小率を計算する技術が開示されている。
特許文献３には、スケーリング映像のブロックサイズ検出方式の技術が開示され、特許文献４には、ブロックノイズ検出方式の技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１５０２５号公報
【特許文献２】特許第３０３６４９６号公報
【特許文献１】特開２０１０−１１０９４号公報
【特許文献１】特開２０００−５０２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
映像データの特性に合わせて映像処理を適切に実施するため、入力映像データに関する解像度や、拡大率または縮小率の検出が求められているが、従来技術には次のような問題がある。
特許文献１では、入力映像データが高精細度映像（ＨＤ映像）その物か、ＳＤ映像から高精細度（ＨＤ）に拡大した映像かの判断しかできない。言い換えると、拡大率の検出はできない。これは、周波数成分を分解・２値化し、閾値比較によって拡大か否かを判断している為である。
また、想定している入力前の拡大処理のモデルは、アップコンバート、理想特性のローパスフィルタ（ＬＰＦ）、及びダウンコンバートの各処理が施された映像に限定されており、入力前のＬＰＦが理想特性でない場合に正しく検出できない。また、入力前のＬＰＦの特性に起因する検出性能のバラツキが大きい。
【０００９】
特許文献２では、エネルギー分散による検出を行っているが、この技術では、絵柄やノイズの影響を受けやすい為、正確な拡大縮小率を検出することはできない。例えば、同じ拡大率であっても、滑らかな絵柄（空など）の領域では拡大と判定し、細かい絵柄（森など）に対しては拡大していないと判定するという問題がある。
【００１０】
特許文献３では、入力映像データの拡大縮小率の逆数比率で再スケーリングしてから、ブロックノイズを検出する。このため、再スケーリングの為の実装コストが大きく、且つ、入力映像データの拡大率が既知でなければならない。
また、入力映像データの拡大率が不明な場合、入力映像データに対して複数回異なる比率で再スケーリングを実施し、最もブロック境界がはっきりしている再スケーリング率の逆数を入力映像データの拡大縮小率と判定しつつ、ブロックサイズ・ブロック境界を判定する。判定結果が定まるまでに複数回再スケーリングを実施しなければならないので、実装上のコストがさらに高くなる。
加えて、ブロック検出は再スケーリング後の整数画素精度であり、ブロックサイズ検出精度が低い。例えば、入力映像データに対して再スケーリングとして３分の１縮小を適用した場合、再スケーリング後の整数画素精度は入力映像データの３画素精度に相当するので、ブロックサイズ検出精度は３分の１まで低下している。
【００１１】
特許文献４では、ブロックサイズを判定する際に、積算結果の最大値だけで判定する為、検出できるブロックサイズが整数画素サイズに限定されている。周波数特性が固定なハイパスフィルタ（ＨＰＦ）で前処理しているので、ブロック境界だけでなくブロック内部の絵柄やノイズなどまで強調してしまい、結果としてブロック検出性能が低いものであった。
【００１２】
このように、映像データの特性に合わせて映像処理を実施するための、入力映像データに関する解像度や拡大縮小率を容易に検出することが困難であった。
【課題を解決するための手段】
【００１３】
本発明の発明者は、符号化方式の拡大縮小率に着目することによって、入力映像データの拡大縮小率を容易に検出することを見出した。
本発明に係る映像データ処理装置の一態様は、映像データの拡大縮小率を算出する映像データ処理装置であって、前処理部、ブロックサイズ検出部、ブロックサイズ積算部、及び拡大縮小率判定部を備える。前処理部は、映像データに含まれる水平方向と垂直方向との少なくとも一方の複数の画素列のノイズを除去する。ブロックサイズ検出部は、前記複数の画素列について、隣接する画素間の画素値の差分を抽出し、抽出した差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定する。ブロックサイズ積算部は、前記複数の各画素列について、前記ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録する。拡大縮小率判定部は、前記ブロックサイズ積算部が記録する前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する。任意の符号化方式のブロックサイズ規定値と、映像データから検出したブロックサイズとを比較することにより、拡大縮小率を判定する。任意の符号化方式において、ブロックサイズ規定値が設定されていることを用いることにより、拡大縮小率を容易に検出することを実現する。
【００１４】
また、本発明に係る映像データ処理方法の一態様は、映像データの拡大縮小率を算出する映像データ処理装置が行う映像データ方法であって、次の工程を備える。映像データの水平方向または垂直方向の複数の画素列のノイズを除去する工程、前記複数の画素列について、隣接する画素間の画素値の差分を抽出して差分が大きくなるピーク画素を検出すること、及び隣接するピーク画素間の距離を示すピーク間距離を測定することを実施する工程、前記複数の画素列について、前記ピーク間距離を測定した回数を積算してピーク間距離毎の積算数を記録する工程、記録した前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式のブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する工程。
【発明の効果】
【００１５】
本発明によれば、入力映像データの特性に合わせた映像処理を実施する一つの手段として、精度の高い拡大縮小率を容易に得ることを可能とする。
【図面の簡単な説明】
【００１６】
【図１】本発明の映像データの処理を行う映像データ処理装置の構成例を示すブロック図である。
【図２Ａ】拡大縮小率推定部の構成例を示すブロック図である。
【図２Ｂ】前処理部の流れの一例を示す図である。
【図２Ｃ】ブロックサイズ検出部の流れの一例を示す図である。
【図３Ａ】ピーク間距離の履歴積算数の一例（拡大縮小率が等倍である場合）を示す図である。
【図３Ｂ】ピーク間距離の履歴積算数の一例（拡大縮小率が０．７５倍である場合）を示す図である。
【図３Ｃ】ピーク間距離の履歴積算数の一例（拡大縮小率が１．５倍である場合）を示す図である。
【図３Ｄ】ピーク間距離の履歴積算数の一例（拡大縮小率が不明な場合）を示す図である。
【図４】一般的な映像処理の手順を示す図である。
【図５】ブロックサイズ検出による拡大縮小率検出の仕組みを説明する図である。
【図６】非整数ブロックサイズのピーク間距離の履歴積算数の一例を示す図である。
【図７Ａ】可変ブロックサイズのピーク間距離の履歴積算数の一例（拡大縮小率が等倍である場合）を示す図である。
【図７Ｂ】可変ブロックサイズのピーク間距離の履歴積算数の一例（拡大縮小されている場合）を示す図である。
【図８】拡大されていない映像に対するブロック境界検出について説明する図である。
【図９】拡大された映像に対するブロック境界検出について説明する図である。
【図１０】直流成分、インパルス、ブロックの周波数特性について説明する図である。
【図１１】地上波がＳＴＢ経由でテレビに入力される例を示す図である。
【図１２】ＤＶＤプレイヤーがＤＶＤを再生する例を示す図である。
【図１３】パソコン上のアプリケーションの画面例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。
【００１８】
本発明の映像データ処理装置及び映像データ処理方法では、まず、スケーリング（拡大縮小）されたデジタル映像データに対して、ブロック境界を検出してブロックサイズを求める。そして、ブロックサイズに基づいて正確な拡大縮小率を検出する。
放送で主に使用されるＣｏｄｅｃ（コ―ディック）が採用する符号化方式のブロックサイズは以下である。
ＭＰＥＧ（Moving Picture Experts Group）２／Ｈ２６３：８×８
Ｈ２６４：１６×１６，１６×８，８×１６，８×８，８×４，４×８，及び４×４
ＭＰＥＧ２の場合には、映像データを８×８のブロックに分割し、それぞれエンコード、デコードを実施する。ＭＰＥＧ２のデジタル映像データをデコードしてから、特定の拡大率（縮小率）でスケーリングすると、該当ブロックサイズも該当拡大（縮小）率でスケーリングされる。例えば、映像データを１．５倍で拡大する場合には、８×８のブロックは１２×１２のブロックに拡大される。映像データを０．５倍で縮小する場合には、ブロックサイズは４×４になる。
従って、符号化方式が特定できる場合、映像データの拡大縮小に伴って、ブロックサイズも同じ倍率で拡大縮小される事を利用し、ブロックサイズを推定してから、拡大されたか、あるいは縮小されたかを検出することができる。且つ拡大縮小のいずれかが検出できるだけではなく、拡大縮小の倍率を求める事が可能である。すなわち、検出したブロックサイズをｂｓとして、拡大縮小率（α）の計算式は以下となる。
α＝ｂｓ／８・・・・・（１）
【００１９】
また、Ｈ．２６４の場合、ブロックサイズは可変だが、一定のルールがある。水平垂直のブロックサイズは４、８、１６しかない。複数のブロックサイズを検出した場合には、Ｈ．２６４と判定でき、複数のブロックサイズそれぞれと４、８、１６との割合が、Ｈ．２６４映像の拡大縮小率と判定する。例えば、入力ブロックサイズを"３，６，１２"として検出する場合、Ｈ．２６４映像を０．７５で縮小した映像と判定する。具体的には、次の式により縮小率が０．７５であることが検出できる。ブロックサイズ３：３＝４×０．７５，ブロックサイズ６：６＝８＊０．７５，ブロックサイズ１２：１２＝１６＊０．７５。
【００２０】
放送で主に用いる符号化方式は、ＭＥＰＧ２に代表されるように固定ブロックサイズを採用する方式と、Ｈ２６４に代表されるように可変ブロックサイズを採用する方式とが存在する。また、可変ブロックサイズであっても、所定のブロックサイズの組合せを採用しているため、所定のブロックサイズを用いてブロックサイズを推測することが可能となる。言い換えると、任意の符号化方式では、採用するブロックサイズが特定される。以下の説明では、任意の符号化方式が採用するブロックサイズの情報を、「ブロックサイズ規定値」とすると、符号化方式毎にブロックサイズ規定値を対応づけることができる。例えば、符号化方式がＭＰＥＧ２の場合、ブロックサイズ規定値は"８"であり、Ｈ．２６４の場合、ブロックサイズ規定値は、"４，８，１６"である。
【００２１】
映像データでは、ブロック境界を検出すると、検出したブロック境界からブロックサイズが判定できる。また、スケーリングされた映像データからブロック境界を検出する場合、拡大または縮小されたブロックサイズが検出できることになる。具体的には、入力映像データ（スケーリングされた映像データ、またはスケーリングされていない映像データ）から判定したブロックサイズ（ブロックサイズ判定値）と、各符号化方式のブロックサイズ規定値とを比較することにより、入力映像データに適用された符号化方式を判定する。ブロックサイズ判定値と、判定した符号化方式に対応づけられたブロックサイズ規定値とを比較することにより、入力映像データの拡大縮小率を判定することができる。ここで、ブロックサイズ規定値は、予め装置内に保持される情報であることを前提とする。以下、図面を参照して各実施形態を説明する。
【００２２】
実施形態１．
図１は、本発明の映像データの処理を行う映像データ処理装置の構成例を示すブロック図である。図２Ａは、拡大縮小率推定部の構成例を示すブロック図であり、図２Ｂは、前処理部の流れの一例を示す図であり、図２Ｃは、ブロックサイズ検出部の流れの一例を示す図である。
図１では、代表的な映像処理の流れを示すものである。映像データ処理装置１０は、映像入力部１１、映像処理部１２、映像出力部１３、及び、拡大縮小率推定部１００を備える。
【００２３】
映像入力部１１は、入力映像データを受け付け、映像データ処理装置１０が処理可能な映像データに変換して出力する。例えば、Ａ／Ｄ（Analog/Digital）や、ラインバッファなど、内部処理に備えるための処理を実施する。
映像処理部１２は、映像データの編集・加工等の処理を行う。映像処理部１２は、拡大縮小率推定部１００から出力された拡大縮小率に基づいて、映像データ処理の設定や、処理方式を決定する。例えば、超解像処理、ノイズリダクション（ＮＲ）、シャープネスなど映像データの処理を実施する。
映像出力部１３は、映像処理部１２が映像データを処理した出力映像を表示装置などの外部装置へ出力する。
拡大縮小率推定部１００は、映像データを解析し、水平方向、垂直方向の拡大縮小率を推定し、推定した拡大縮小率を映像処理部１２へ出力する。
【００２４】
図２に、拡大縮小率推定部１００の構成例を示す。拡大縮小率推定部１００は、前処理部１１０、ブロックサイズ検出部１３０、ブロックサイズ積算部１５０、及び、拡大縮小率判定部１７０を備える。拡大縮小率推定部１００は、上述した４つの構成要素が実施する４段階の処理を実施して、水平方向と垂直方向とのいずれかの拡大縮小率を推定する。
前処理部１１０は、映像データを処理して、ブロック境界を検出し易くする。前処理部１１０は、水平方向の拡大縮小率を推定する場合、水平方向に配置された複数の画素列について、前処理、例えば、ノイズの除去などの処理を実施する。また、垂直方向の拡大縮小率を推定する場合、垂直方向の複数の画素列について前処理を実施する。ここで、画素列は、映像データの全画面または着目領域の水平方向または垂直方向のライン上（一行または一列）に配置される複数の画素の集合である。
【００２５】
ブロックサイズ検出部１３０は、前処理部１１０が処理した複数の画素列を解析して、ブロック境界を検出し、ブロックサイズを推定する。ブロックサイズ検出部１３０は、複数の画素列それぞれについてブロックサイズを推定し、推定した結果をブロックサイズ積算部１５０へ出力する。
ブロックサイズ積算部１５０は、全画面または着目領域のブロックサイズ検出履歴を積算記録する。具体的には、ブロックサイズ検出部１３０から出力される、複数の画素列に対して推定されたブロックサイズの値について、ブロックサイズの値毎に推定された回数を積算する。
拡大縮小率判定部１７０は、全画面または着目領域の積算数の履歴（ピーク間距離の履歴積算数）を参照し、拡大縮小率を推定する。
【００２６】
次に、拡大縮小率推定部１００の４段階の処理手順について説明する。
拡大縮小率推定部１００は、４段階の処理を１回実施すると、水平方向と垂直方向とのいずれか一方の拡大縮小率を推定する。しかしながら、映像処理部１２では、水平方向と垂直方向との両方の拡大縮小率を必要とする。このため、拡大縮小率推定部１００は、４段階の処理を２回実施することによって、水平方向と垂直方向との一方の拡大縮小率を推定した後、他方の拡大縮小率を推定する。
【００２７】
前処理部１１０は、検出方向と交差する方向にローパスフィルタ（ＬＰＦ）によってノイズを除去する。具体的には、水平方向の拡大縮小率を検出する場合、垂直ＬＰＦの処理を実施し、垂直方向の拡大縮小率を検出する場合、水平ＬＰＦの処理を実施する。図２Ｂに、前処理部１１０の処理例を示す。前処理部１１０では、水平方向の拡大縮小率を推定する場合、垂直ＬＰＦ１１１、水平バンドパスフィルタ（水平ＢＰＦ）１１２、最大値と最長値とを特定するＭａｘ／Ｍｉｎ１１３、垂直ＬＰＦ１１１から出力と水平ＢＰＦ１１２から出力を加算する加算器１１４、解析する映像データを切り出すＣＬＩＰ１１５によって映像データを前処理し、水平方向の画素列を出力する。また、垂直方向の拡大縮小率を推定する場合、水平ＬＰＦ１１６、垂直ＢＰＦ１１７、Ｍａｘ／Ｍｉｎ１１８、水平ＬＰＦ１１６から出力と垂直ＢＰＦ１１７から出力を加算する加算器１１９、ＣＬＩＰ１２０によって映像データを前処理し、垂直方向の画素列を出力する。
【００２８】
ブロックサイズ検出部１３０は、前処理部１１０が出力した画素列について、隣接する画素間の画素値の差分を抽出し、差分がピークとなる画素を検出し、差分ピーク間の距離（ピーク間距離）を測定する。差分ピークは、抽出した差分が差分閾値より多くなる差分が抽出された画素を検出する。差分閾値は、差分ピークであるか否かを判定する差分の閾値であり、映像データの特性により任意の値が設定され、予め装置内に保持されている。また、差分ピークを検出する場合、画素列の任意の範囲について差分ピークを検出する処理を実施する。画素列の任意の範囲は、映像データの特性に依存する。ピーク間距離は、隣接する差分ピーク間の距離（差分ピークが検出された画素間の距離）のであり、例えば、一つの差分ピーク画素から次の差分ピークが出現するまでの画素数である。
【００２９】
ブロックサイズ積算部１５０は、測定したピーク間距離の値（画素数）毎に、同じ値が測定された回数を積算する。このとき、全画面内または着目領域内で同じ値が測定された回数を積算し、履歴を生成する。図２Ｃにブロックサイズ検出部１３０の手順を示す。水平方向の画素列が入力される場合、差分が抽出され（水平方向差分抽出１３１）、抽出された差分から差分ピークが検出され８差分ピーク検出１３２）、隣接する差分ピーク間の距離が測定され（ピーク間距離測定１３３）、測定されたピーク間距離がブロックサイズ（ブロックサイズの候補）として出力される。垂直方向の画素列が入力される場合にも水平方向と同様に、垂直方向差分抽出１３４、差分ピーク検出１３５、及びピーク間距離測定１３６の手順で処理される。
【００３０】
拡大縮小率判定部１７０は、全画面内または着目領域内で、最も多く測定されるピーク間距離（支配的なピーク間距離）を水平方向または垂直方向のブロックサイズ検出結果として出力する。ブロックサイズ積算部１５０は、履歴に含まれるピーク間距離の積算回数が少ない、若しくは支配的なピーク間距離がなければ、ブロックサイズが検出できないと判定する。例えば、拡大縮小率判定部１７０は、支配的なピーク間距離が存在するか否かは、例えば、履歴積算数の値が、所定の値（積算数閾値）より大きいピーク間距離が存在するか否かにより検出する。積算数閾値は、少なくとも一つのピーク間距離が存在することを検出できる数値が設定され、予め装置内に保持される。拡大縮小率判定部１７０は、積算数閾値より履歴積算数が大きく、かつ、最も積算数が大きいピーク間距離を、支配的なピーク間距離と判定し、積算数閾値より履歴積算数が大きいピーク間距離が存在しない場合、支配的なピーク間距離が存在しないと判定する。
図３Ａから図３Ｄは、ピーク間距離の履歴積算数の一例を示す図であり、各ピーク間距離の値が測定された回数で示している。
【００３１】
拡大縮小率判定部１７０は、ブロックサイズ（水平方向または垂直方向）検出の結果から、以下の基準で拡大縮小率（水平方向または垂直方向）を判定する。
検出したブロックサイズが"８"の場合は、等倍と判定する。（図３Ａ）。
検出したブロックサイズが"８"より小さい場合は、検出ブロックサイズと"８"との比率を縮小率と判定する（図３Ｂ）。
検出したブロックサイズが"８"より大きい場合、検出ブロックサイズと"８"との比率を拡大率と判定する（図３Ｃ）。
ブロックサイズ検出できない場合、拡大縮小率不明と判定する（図３Ｄ）。
【００３２】
このように、ブロックサイズ規定値と測定したブロックサイズとを比較することによって、映像データの拡大縮小率を推定する。実施形態１では、ピーク間距離の測定値が一つに絞られた場合であるため、固定ブロックサイズ、例えば符号化方式がＭＰＥＧ２であり、基準ブロックサイズが"８"であると特定される。以下に詳しく説明する。
【００３３】
実施形態１のメカニズムおよび効果
図４は、地上波をＳＴＢ経由し、テレビで表示する一般的な映像処理の手順を示す図である。例えば、符号化方式としてＭＰＥＧ２を用いる場合、ＳＴＢ２にＭＰＥＧ２のストリームが入力されると、デコーダにより復号されて（Ｓ１）映像データが生成される。映像データにＳＴＢ２での映像処理（Ｓ２）、解像度変換（Ｓ３）が施され、ＲＡＷ映像がＨＤＭＩ／Ｄ端子を介してテレビ３へ出力される。テレビ３では、ＲＡＷ映像が入力されると（Ｓ４）、テレビ側の映像処理（Ｓ５）、解像度変換（Ｓ６）が実施されて映像が表示される（Ｓ７）。
テレビ３では入力されたＲＡＷ映像がＨＤ映像の場合に、この信号がＳＤ映像からＨＤ映像に変換（アップコンバート）された結果か、ＨＤ映像そのものか、その他の解像度から変換したもの、例えば、７２０ｐの映像（垂直解像度７２０ラインのプログレッシブ映像）をＨＤ映像に変換、あるいは、ＷＸＧＡ（Wide eXtended Graphics Array）の映像からＨＤ映像に変換などであるかを検出し、超解像や、ＮＲなど映像処理機能に対して解像度に応じた適応処理を実施する。
【００３４】
検出の原理は以下である。Ｈ．２６４、ＭＰＥＧ２などのＣｏｄｅｃでは画面を複数ブロックに分割してから、それぞれのブロックについて符号化を行う。各ブロック間の量子化の差や、エンコード方式の違いなどの影響で、デジタル映像にはブロックノイズが生じる。また、復号では画面を固定サイズのブロックに分割して実施するので、ブロックの境界は画面の固定位置（例えば、図５の点線）に設定されることになる。ＭＰＥＧ２の場合、図５に示す様に画面が複数の８×８ブロックに分割される。画面を拡大・縮小する場合、この８×８ブロックの境界も同じ割合で拡大縮小される。解像度変換された映像の水平垂直ブロックサイズを検出した後、検出されたブロックサイズと該当符号化方式（ＭＰＥＧ２）のブロックサイズとの比率を求めれば、該当映像の拡大縮小率を導出できる。図５の様に、縮小映像の縮小率は（ｂｘ１／８，ｂｈ１／８）、拡大映像の拡大率は（ｂｘ２／８，ｂｈ２／８）である。
【００３５】
ブロックサイズを検出する際には、水平方向と垂直方向とに分けて検出する。画素差分ピーク間距離の長さごとに、画面内で測定された回数の総和を積算して履歴を作成する。全画面または着目領域の積算完了後、各距離の履歴積算数のうち支配的なものを全画面または着目領域のブロックサイズとする。以上により、水平ブロックサイズ、垂直ブロックサイズが判定できる。
判定したブロックサイズ（ブロックサイズ判定値）と規定したブロックサイズ（ブロックサイズ規定値、ＭＰＥＧ２では"８"）の比率を、映像の拡大縮小率として判定する。
【００３６】
実施形態２．
実施形態２では、実施形態１に対して、拡大縮小率判定部１７０の機能を改良した場合を説明する。これにより、拡大縮小率判定の精度が向上することが期待できる。
実施形態２の映像データ処理装置の基本的な構成は、図１、２Ａに示す実施形態１と同様である。ここでは、拡大縮小率判定部１７０の機能について、実施形態１との相違点を説明する。
【００３７】
拡大縮小率判定部１７０では、実施形態１と同様に、全画面内または着目領域内で、最も多く測定されるピーク間距離（以降適宜、「支配的ピーク間距離」という）を水平方向または垂直方向のブロックサイズ検出結果として出力するが、その後の処理が異なる。拡大縮小率判定部１７０は、支配的ピーク間距離を検出した後、検出した支配的ピーク間距離から"１"を減じた距離もしくは支配的ピーク間距離に"１"を加えた距離が、２番目に多く測定されるピーク間距離（以降適宜、「２番目に支配的なピーク間距離」という）であることを検出した場合、線形内挿法や、二次内挿法などを利用し、小数精度のブロックサイズ検出を行う。ブロックサイズ検出の実施例を以下に示す。
（実施例２−１）支配的ピーク間距離と２番目に支配的なピーク間距離が"６"と"７"の時、ブロックサイズを"６．５"と検出し、縮小率を０．８１（＝６．５／８）に判定する（図６）。
（実施例２−２）支配的ピーク間距離と２番目に支配的なピーク間距離が"６"と"７"の時、"６"と"７"それぞれの履歴積算数から、線形内挿法や二次内挿法を用いて、"６"から"７"の範囲内にブロックサイズを検出し、検出したブロックサイズｂｓから縮小率をｂｓ／８と判定する。
【００３８】
実施形態２のメカニズムおよび効果
上述した（実施例２−１）、（実施例２−２）の具体例に示すように、実施形態２では非整数のブロックサイズ検出を実現する。
元映像データに対して任意倍率で拡大・縮小され、ブロックサイズが整数ではない場合が、多くある。８×８ブロックを０．８倍で縮小する場合、ブロックサイズは６．４×６．４になる。ところが、ピーク間距離を用いる方式では、検出したピーク間距離は整数である。その結果、ブロックサイズ検出履歴には、６．４と隣接する整数である６と７に二つの支配的なピーク間距離が積算される。
かかる状況の場合に、上述した（実施例２−１）では、"６"と"７"の平均の"６．５"として検出される。（実施例２−２）は、（実施例２−１）に比べ、より検出精度を向上させるものである。検出するブロックサイズ（ブロックサイズ判定値）は隣接する二つの支配的なピーク間距離の線形内挿法や二次内挿法を用いた合成により求める。式は以下となる。式中、ブロックサイズＡが支配的ピーク間距離、ブロックサイズＢが２番目に支配的なピーク間距離である。Weight0，Weight1は、二つの支配的なピーク間距離の履歴積算数により導出する係数であり、Weight0とWeight1との和が"１"になるような値が設定される。
ブロックサイズ判定値＝Weight0×ブロックサイズＡ＋Weight1×ブロックサイズＢ
（ただし、Weight0＋Weight1＝１）・・・・・（２）
【００３９】
実施形態３．
実施形態３では、実施形態１または２に対して、拡大縮小率判定部１７０を改良した場合を説明する。これにより、ＭＰＥＧ２だけではなくＨ．２６４で圧縮された映像の拡大縮小率を検出する。
実施形態３の映像データ処理装置の基本的な構成は、図１、２Ａに示す実施形態１と同様である。ここでは、拡大縮小率判定部１７０の機能について、実施形態１、２との相違点を説明する。
【００４０】
拡大縮小率判定部１７０では、実施形態１と同様に、全画面内または着目領域内で、支配的ピーク間距離を水平方向または垂直方向のブロックサイズ検出結果として出力するが、その後の処理が異なる。拡大縮小率判定部１７０は、ブロックサイズ積算部１５０が積算したピーク間距離履歴（履歴積算数）に、複数の支配的なピーク間距離が出現する場合に、複数のピーク間距離それぞれを検出する。複数の支配的なピーク間距離が出現するか否かは、例えば、履歴積算数の値が、所定の値（積算数閾値）より大きいピーク間距離が複数あるか否かにより検出する。積算数閾値は、複数のピーク間距離が存在することを検出できる数値が設定され、予め装置内に保持される。
【００４１】
拡大縮小率判定部１７０は、複数の支配的なピーク間距離の比率が１：２：４の場合に、Ｈ．２６４のコンテンツと判定し、拡大縮小率を検出する。ブロックサイズ検出の実施例を以下に示す。
（実施例３−１）複数の支配的なピーク間距離が"４，８，１６"と検出した場合に（図７Ａ）、等倍のＨ．２６４映像として検出する。
（実施例３−１）複数の支配的なピーク間距離が"３，６，１２"と検出した場合に（図７Ｂ）、０．７５倍縮小したＨ．２６４映像として検出する。
より一般化した拡大縮小率導出方法の例を以下に説明する。支配的なピーク間距離をｂ０，ｂ１，ｂ２（ｂ０＜ｂ１＜ｂ２，ｂ０，ｂ１，ｂ２は実施形態３の構成で算出した小数精度のブロックサイズであることが望ましい）と検出し、それぞれの履歴積算数がｎ０，ｎ１，ｎ２（ｎ０：ｂ０の積算数、ｎ１：ｂ１の積算数、ｎ２：ｂ２の積算数）の場合に、Ｈ．２６４映像として検出し、拡大縮小率は式（３）、（４）のいずれかで計算する。ただし、拡大縮小率は、式（３）、（４）以外の計算式を用いて算出してもよい。
【００４２】
【数１】
【００４３】
実施形態３のメカニズムおよび効果
Ｈ．２６４様な複数のブロックサイズでエンコードされるデジタルコンテンツに対して、検出するブロックサイズも複数存在する。この特徴を利用し、複数のブロックサイズ検出する場合に、Ｈ．２６４とＭＰＥＧ２のコンテンツの判定が出来る。
Ｈ．２６４として検出する場合に、複数のブロックサイズとＨ．２６４ブロックサイズ（４，８，１６）の比率から、入力映像データの拡大縮小率の特定が可能である。
【００４４】
実施形態４．
実施形態４では、実施形態１から３に対して、前処理部の機能を強化した場合を説明する。これにより、拡大映像のブロック境界検出を高性能化する。
前処理部１１０は、元映像データに対して、検出方向と直交する方向にＬＰＦを掛けること（処理１）は、実施形態１と同様である。
その後、前処理部１１０は、検出方向にバンドパスフィルタ（ＢＰＦ）を掛けて、元映像データ（ＯＲＧ）に加算する（特定周波数強調）（処理２）。
前処理部１１０は、処理２において元映像データに加算した結果（ＯＲＧ＋ＢＰＦ）を、処理１の結果の空間位置的に近傍の最大・最小値の間にクリッピング（ＣＬＩＰ）する。
【００４５】
実施形態４のメカニズムおよび効果
例えば、図８の様な拡大縮小されていない映像に対しては、特に前処理を必要とせず、ブロック境界を感度よく検出できる。図８中、左側に示す長方形の映像において、矢印で示す方向が水平方向であり、長方形の映像中、左側半分（網かけのない部分）と右側半分（網かけ部分）の輝度が異なる。
これに対して、例えば、図９の様に拡大された映像の場合には、拡大処理によるブロック境界の変形の影響を考慮する必要がある。図９中、左側に示す長方形の映像において、長方形の映像中、左側部分（網かけのない部分）、右側部分（網かけ部分）との間に中央部分（右側部分より薄い網かけ部分）があるが、これはブロックサイズの拡大によりノイズが生じた領域である。単純な隣接差分方式では、ブロック境界の位置を特定することは困難である。実施形態１で説明した方式の前処理では、先ず入力映像データの特定周波数成分に対して強調処理を行うが、その際に生じるピーク検出に悪影響を及ぼすＲｉｎｇｉｎｇなどの問題を抑えるために、強調結果に対して、入力映像データの近傍の最大最小値範囲内に制約を掛ける。
ＢＰＦを用いる理由を図１０に示す。図１０左側は座標−色値プロット、図１０右側は周波数分解プロットである。図１０上段と中段は、理解を容易とする為の、直流成分とインパルスの例である。直流成分は低周波数にピークを持ち、インパルスの周波数は全周波数域に存在する。図１０下段は本発明の検出対象とするブロックノイズの場合である。ブロックノイズのその周波数分解結果は、ブロックサイズに相当する周波数とその高調波に複数のピークを持つ波形となる。ブロックサイズの検出精度を高める為には、検出対象とするブロックサイズにあわせて、ＢＰＦの帯域を選定する事が有効である。
【００４６】
実施形態５．
実施形態５では、実施形態４に対して、前処理部の機能をさらに改良した場合を説明する。これにより、拡大映像のブロック境界検出を高性能化する。具体的には、前処理部１１０が、検出した拡大縮小率を、ＢＰＦ帯域に動的にフィードバックする事により、拡大縮小率検出精度を向上させる。
【００４７】
実施形態５のメカニズムおよび効果
さらなる機能拡張として、検出した拡大縮小率をフィードバックしＢＰＦの通過帯域を動的に調整することも考えられる。
拡大縮小率が不明な段階では、ＢＰＦ通過帯域を広くとり概略な拡大縮小率を検出する。その上でかかる概略拡大縮小率にしたがってＢＰＦ通過帯域を狭くする。
例えば、概略検出によりＭＰＥＧ２の映像を約２倍拡大したものと検出した場合に（ブロックサイズ１６）、概略拡大縮小率に従って動的にＢＰＦの帯域を周期３２ピクセル（２×１６＝３２）に調整すれば、ブロック境界を検出精度が向上し、拡大縮小率をより正確に検出できる。
【００４８】
その他の実施形態
上記各実施形態は、図１に示す映像データ処理装置を基本構成として、相互に組み合わせることが可能である。
例えば、実施形態１では、固定ブロックサイズＣｏｄｅｃ対応、整数精度ブロックサイズ検出による拡大縮小率検出、実施形態２では、固定ブロックサイズＣｏｄｅｃ対応、小数精度ブロックサイズ検出による拡大縮小率検出、実施形態３では、可変ブロックサイズＣｏｄｅｃ対応、ブロックサイズ検出による拡大縮小率検出を説明した。図１に示す映像データ処理装置は、実施形態１から３のいずれか一つを実現する構成であってもよいし、二つ以上を実現する構成であってもよい。また、実施形態４では、拡大映像に対するブロックサイズサイズ検出高性能化、実施形態５では、拡大映像に対するブロックサイズサイズ検出高性能化（動的制御）について説明したが、実施形態４、あるいは実施形態４、５で説明した前処理を実施形態１から３の少なくとも一つを実現する構成と組み合わせることが可能である。
【００４９】
また、上記各実施形態で説明した、映像データ処理装置及び映像データ方法は、コンピュータに各手段を実行させるプログラムによって実現することができる。プログラムは、コンピュータ内のメモリにロードされ、ＣＰＵ（Central Processing Unit）の制御のもとで実行される。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００５０】
以上説明したように、上記各実施形態によれば、エントロピー圧縮・展開後に拡大縮小された映像データのブロックサイズを検出し、該当映像の拡大縮小率を検出することができる。特に、符号化方式のブロックサイズに基づいて拡大縮小率を検出するため、従来技術に比べて容易な装置、方法により実現することができる。これにより、検出した倍率に適応して後段の映像処理（画像処理）を実施する。
【００５１】
例えば、特許文献２の技術は、スケーリング後にエントロピー圧縮した映像のブロック中の空間周波数を計測して、圧縮前のスケーリングにおける拡大率を検出する。一方、本発明は、ブロックサイズ検出によって、エントロピー圧縮した映像を展開した後のスケーリングにおける拡大率を検出する。本発明では、圧縮ブロック中の絵柄ではなく、圧縮・展開・スケーリングを経た映像の圧縮ブロックの境界を検出し、ブロックサイズを推定してから、拡大率を求める方式である。従って、本発明は、ブロック内の絵柄に関わらず、検出結果に影響を及すことが無いという有利な効果がある。
【００５２】
また、特許文献３の技術は、ブロックサイズ検出に再スケーリングを必要とする。一方、本発明は、ブロックサイズ検出に再スケーリングは不要であり、また一度の処理で様々なブロックサイズの検出が可能な為、特許文献３の技術に比べて実装コストが小さいという有利な効果を奏する。また、本発明では、如何なる場合でも入力映像データの１ピクセル精度もしくは小数ピクセル精度でブロックサイズを検出できるという有利な効果を奏する。
【００５３】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【符号の説明】
【００５４】
１ アンテナ
２ ＳＴＢ
３ テレビ
４ ＤＶＤ
５ ＤＶＤプレイヤー
１０ 映像データ処理装置
１１ 映像入力部
１２ 映像処理部
１３ 映像出力部
１００ 拡大縮小率推定部
１１０ 前処理部
１１１ 垂直ＬＰＦ
１１２ 水平ＢＰＦ
１１３、１１８ Ｍａｘ／Ｍｉｎ
１１４、１１９ 加算器
１１５、１２０ ＣＬＩＰ
１１６ 水平ＬＰＦ
１１７ 垂直ＢＰＦ
１３０ ブロックサイズ検出部
１５０ ブロックサイズ積算部
１７０ 拡大縮小率判定部
【技術分野】
【０００１】
本発明は、映像データの拡大縮小率を検出する技術に関する。
【背景技術】
【０００２】
映像データの処理、例えば、シャープネス、ノイズ・キャンセル、または超解像技術など映像処理には、入力映像データの特性に合わせて最適処理を実施する。具体的には、入力映像データの特性にあわせて、最適な処理方式を選択することや、設定値を調整することが必要となる。
例えば、オリジナル解像度を有する映像データ（カメラで取った映像そのままの解像度の映像データ）や、コンピュータグラフィックス（ＣＧ）など十分な解像度を持つ映像データに対して、シャープネス、超解像処理などの映像に対する強調処理を実行すると弊害を伴う場合が多く、強調処理を弱めに設定するのが望ましい。また、解像度が低い映像を拡大した映像、例えば、ＹｏｕＴｕｂｅ（登録商標）などによってインターネット上に公開された映像データや、標準映像（ＳＤ映像）を高精細度サイズ（ＨＤサイズ）まで拡大した映像データに対しては、拡大処理を施すと映像がボケてしまうので、強調処理を強めに調整するのが望ましい。さらに、超解像などは特定拡大率に対して最適の設定（例えば、２倍拡大には設定１、３倍拡大には設定２、４倍拡大には設定３など）があるので、映像データの拡大率に応じて、処理方式や設定などを選択する事でさらに良い効果が得られる。
【０００３】
一般的に、映像データに対する各処理内容に対して数種類の設定値を予め準備しておき、映像データが高解像度の場合に弱めの設定で処理し、低解像度の場合に強めの設定で処理する。ただし、この様な適応処理の前提としては、入力映像データが低い解像度から拡大した映像か、拡大せず元映像データその物であるかの検出が必要である。また、拡大した映像データの場合に、拡大の倍率も検出する必要がある。
例えば、図１１に示すような、地上波がアンテナ１を介してＳＴＢ（Set Top Box）２経由でテレビ３に入力される場合（図１１）に、テレビ３側は、放送映像に対してＳＴＢ２がどんな処理をしたかを把握することができない。テレビ３がＳＴＢ２によって処理された放送映像に対して、適応処理を実施するためには、入力映像データの特性（拡大倍率）を検出しなければならない。
【０００４】
同様に、図１２に示すように、ＤＶＤ（Digital Versatile Disc）プレイヤー５がＤＶＤ４若しくはＢＤ（Blu-ray Disc）素材を再生しテレビ３に入力する場合に、テレビ３はその入力信号に対して、最適処理するために、入力信号がＤＶＤ画質か、ＢＤ画質かの判定を必要とする。
さらに同様に、図１３に示すように、パーソナルコンピュータ６上のアプリケーションによって、ビデオを再生する時、例えば、ＹｏｕＴｕｂｅ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｐｌａｙｅｒ（登録商標）などによってビデオを再生する時、液晶ディスプレイなど表示機器がアプリケーションを使用する画面領域の範囲内の映像に対して映像処理したい場合に、その映像データの拡大率の検出も必要である。
【０００５】
上述したように、適切な映像データ処理には、映像データについて解像度や拡大率または縮小率の検出が必要となる。例えば、解像度検出に関する技術（特許文献１，２）や拡大率または縮小率の検出に用いるブロックサイズ検出に関する技術（特許文献３，４）が開発されている。
特許文献１には、入力映像データに対して、以下の順番で解析を行い、入力映像データの解像度を求めて後段の画質処理ブロック（超解像など）の係数を調整する技術が開示されている。
１．水平垂直周波数分解
２．周波数成分の平坦化
３．周波数成分のニ値化
４．計測
５．拡大率判定
【０００６】
特許文献２には、映像データのブロック内の空間周波数を解析し、エネルギーの分布による拡大・縮小率を計算する技術が開示されている。
特許文献３には、スケーリング映像のブロックサイズ検出方式の技術が開示され、特許文献４には、ブロックノイズ検出方式の技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１５０２５号公報
【特許文献２】特許第３０３６４９６号公報
【特許文献１】特開２０１０−１１０９４号公報
【特許文献１】特開２０００−５０２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
映像データの特性に合わせて映像処理を適切に実施するため、入力映像データに関する解像度や、拡大率または縮小率の検出が求められているが、従来技術には次のような問題がある。
特許文献１では、入力映像データが高精細度映像（ＨＤ映像）その物か、ＳＤ映像から高精細度（ＨＤ）に拡大した映像かの判断しかできない。言い換えると、拡大率の検出はできない。これは、周波数成分を分解・２値化し、閾値比較によって拡大か否かを判断している為である。
また、想定している入力前の拡大処理のモデルは、アップコンバート、理想特性のローパスフィルタ（ＬＰＦ）、及びダウンコンバートの各処理が施された映像に限定されており、入力前のＬＰＦが理想特性でない場合に正しく検出できない。また、入力前のＬＰＦの特性に起因する検出性能のバラツキが大きい。
【０００９】
特許文献２では、エネルギー分散による検出を行っているが、この技術では、絵柄やノイズの影響を受けやすい為、正確な拡大縮小率を検出することはできない。例えば、同じ拡大率であっても、滑らかな絵柄（空など）の領域では拡大と判定し、細かい絵柄（森など）に対しては拡大していないと判定するという問題がある。
【００１０】
特許文献３では、入力映像データの拡大縮小率の逆数比率で再スケーリングしてから、ブロックノイズを検出する。このため、再スケーリングの為の実装コストが大きく、且つ、入力映像データの拡大率が既知でなければならない。
また、入力映像データの拡大率が不明な場合、入力映像データに対して複数回異なる比率で再スケーリングを実施し、最もブロック境界がはっきりしている再スケーリング率の逆数を入力映像データの拡大縮小率と判定しつつ、ブロックサイズ・ブロック境界を判定する。判定結果が定まるまでに複数回再スケーリングを実施しなければならないので、実装上のコストがさらに高くなる。
加えて、ブロック検出は再スケーリング後の整数画素精度であり、ブロックサイズ検出精度が低い。例えば、入力映像データに対して再スケーリングとして３分の１縮小を適用した場合、再スケーリング後の整数画素精度は入力映像データの３画素精度に相当するので、ブロックサイズ検出精度は３分の１まで低下している。
【００１１】
特許文献４では、ブロックサイズを判定する際に、積算結果の最大値だけで判定する為、検出できるブロックサイズが整数画素サイズに限定されている。周波数特性が固定なハイパスフィルタ（ＨＰＦ）で前処理しているので、ブロック境界だけでなくブロック内部の絵柄やノイズなどまで強調してしまい、結果としてブロック検出性能が低いものであった。
【００１２】
このように、映像データの特性に合わせて映像処理を実施するための、入力映像データに関する解像度や拡大縮小率を容易に検出することが困難であった。
【課題を解決するための手段】
【００１３】
本発明の発明者は、符号化方式の拡大縮小率に着目することによって、入力映像データの拡大縮小率を容易に検出することを見出した。
本発明に係る映像データ処理装置の一態様は、映像データの拡大縮小率を算出する映像データ処理装置であって、前処理部、ブロックサイズ検出部、ブロックサイズ積算部、及び拡大縮小率判定部を備える。前処理部は、映像データに含まれる水平方向と垂直方向との少なくとも一方の複数の画素列のノイズを除去する。ブロックサイズ検出部は、前記複数の画素列について、隣接する画素間の画素値の差分を抽出し、抽出した差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定する。ブロックサイズ積算部は、前記複数の各画素列について、前記ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録する。拡大縮小率判定部は、前記ブロックサイズ積算部が記録する前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する。任意の符号化方式のブロックサイズ規定値と、映像データから検出したブロックサイズとを比較することにより、拡大縮小率を判定する。任意の符号化方式において、ブロックサイズ規定値が設定されていることを用いることにより、拡大縮小率を容易に検出することを実現する。
【００１４】
また、本発明に係る映像データ処理方法の一態様は、映像データの拡大縮小率を算出する映像データ処理装置が行う映像データ方法であって、次の工程を備える。映像データの水平方向または垂直方向の複数の画素列のノイズを除去する工程、前記複数の画素列について、隣接する画素間の画素値の差分を抽出して差分が大きくなるピーク画素を検出すること、及び隣接するピーク画素間の距離を示すピーク間距離を測定することを実施する工程、前記複数の画素列について、前記ピーク間距離を測定した回数を積算してピーク間距離毎の積算数を記録する工程、記録した前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式のブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する工程。
【発明の効果】
【００１５】
本発明によれば、入力映像データの特性に合わせた映像処理を実施する一つの手段として、精度の高い拡大縮小率を容易に得ることを可能とする。
【図面の簡単な説明】
【００１６】
【図１】本発明の映像データの処理を行う映像データ処理装置の構成例を示すブロック図である。
【図２Ａ】拡大縮小率推定部の構成例を示すブロック図である。
【図２Ｂ】前処理部の流れの一例を示す図である。
【図２Ｃ】ブロックサイズ検出部の流れの一例を示す図である。
【図３Ａ】ピーク間距離の履歴積算数の一例（拡大縮小率が等倍である場合）を示す図である。
【図３Ｂ】ピーク間距離の履歴積算数の一例（拡大縮小率が０．７５倍である場合）を示す図である。
【図３Ｃ】ピーク間距離の履歴積算数の一例（拡大縮小率が１．５倍である場合）を示す図である。
【図３Ｄ】ピーク間距離の履歴積算数の一例（拡大縮小率が不明な場合）を示す図である。
【図４】一般的な映像処理の手順を示す図である。
【図５】ブロックサイズ検出による拡大縮小率検出の仕組みを説明する図である。
【図６】非整数ブロックサイズのピーク間距離の履歴積算数の一例を示す図である。
【図７Ａ】可変ブロックサイズのピーク間距離の履歴積算数の一例（拡大縮小率が等倍である場合）を示す図である。
【図７Ｂ】可変ブロックサイズのピーク間距離の履歴積算数の一例（拡大縮小されている場合）を示す図である。
【図８】拡大されていない映像に対するブロック境界検出について説明する図である。
【図９】拡大された映像に対するブロック境界検出について説明する図である。
【図１０】直流成分、インパルス、ブロックの周波数特性について説明する図である。
【図１１】地上波がＳＴＢ経由でテレビに入力される例を示す図である。
【図１２】ＤＶＤプレイヤーがＤＶＤを再生する例を示す図である。
【図１３】パソコン上のアプリケーションの画面例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。
【００１８】
本発明の映像データ処理装置及び映像データ処理方法では、まず、スケーリング（拡大縮小）されたデジタル映像データに対して、ブロック境界を検出してブロックサイズを求める。そして、ブロックサイズに基づいて正確な拡大縮小率を検出する。
放送で主に使用されるＣｏｄｅｃ（コ―ディック）が採用する符号化方式のブロックサイズは以下である。
ＭＰＥＧ（Moving Picture Experts Group）２／Ｈ２６３：８×８
Ｈ２６４：１６×１６，１６×８，８×１６，８×８，８×４，４×８，及び４×４
ＭＰＥＧ２の場合には、映像データを８×８のブロックに分割し、それぞれエンコード、デコードを実施する。ＭＰＥＧ２のデジタル映像データをデコードしてから、特定の拡大率（縮小率）でスケーリングすると、該当ブロックサイズも該当拡大（縮小）率でスケーリングされる。例えば、映像データを１．５倍で拡大する場合には、８×８のブロックは１２×１２のブロックに拡大される。映像データを０．５倍で縮小する場合には、ブロックサイズは４×４になる。
従って、符号化方式が特定できる場合、映像データの拡大縮小に伴って、ブロックサイズも同じ倍率で拡大縮小される事を利用し、ブロックサイズを推定してから、拡大されたか、あるいは縮小されたかを検出することができる。且つ拡大縮小のいずれかが検出できるだけではなく、拡大縮小の倍率を求める事が可能である。すなわち、検出したブロックサイズをｂｓとして、拡大縮小率（α）の計算式は以下となる。
α＝ｂｓ／８・・・・・（１）
【００１９】
また、Ｈ．２６４の場合、ブロックサイズは可変だが、一定のルールがある。水平垂直のブロックサイズは４、８、１６しかない。複数のブロックサイズを検出した場合には、Ｈ．２６４と判定でき、複数のブロックサイズそれぞれと４、８、１６との割合が、Ｈ．２６４映像の拡大縮小率と判定する。例えば、入力ブロックサイズを"３，６，１２"として検出する場合、Ｈ．２６４映像を０．７５で縮小した映像と判定する。具体的には、次の式により縮小率が０．７５であることが検出できる。ブロックサイズ３：３＝４×０．７５，ブロックサイズ６：６＝８＊０．７５，ブロックサイズ１２：１２＝１６＊０．７５。
【００２０】
放送で主に用いる符号化方式は、ＭＥＰＧ２に代表されるように固定ブロックサイズを採用する方式と、Ｈ２６４に代表されるように可変ブロックサイズを採用する方式とが存在する。また、可変ブロックサイズであっても、所定のブロックサイズの組合せを採用しているため、所定のブロックサイズを用いてブロックサイズを推測することが可能となる。言い換えると、任意の符号化方式では、採用するブロックサイズが特定される。以下の説明では、任意の符号化方式が採用するブロックサイズの情報を、「ブロックサイズ規定値」とすると、符号化方式毎にブロックサイズ規定値を対応づけることができる。例えば、符号化方式がＭＰＥＧ２の場合、ブロックサイズ規定値は"８"であり、Ｈ．２６４の場合、ブロックサイズ規定値は、"４，８，１６"である。
【００２１】
映像データでは、ブロック境界を検出すると、検出したブロック境界からブロックサイズが判定できる。また、スケーリングされた映像データからブロック境界を検出する場合、拡大または縮小されたブロックサイズが検出できることになる。具体的には、入力映像データ（スケーリングされた映像データ、またはスケーリングされていない映像データ）から判定したブロックサイズ（ブロックサイズ判定値）と、各符号化方式のブロックサイズ規定値とを比較することにより、入力映像データに適用された符号化方式を判定する。ブロックサイズ判定値と、判定した符号化方式に対応づけられたブロックサイズ規定値とを比較することにより、入力映像データの拡大縮小率を判定することができる。ここで、ブロックサイズ規定値は、予め装置内に保持される情報であることを前提とする。以下、図面を参照して各実施形態を説明する。
【００２２】
実施形態１．
図１は、本発明の映像データの処理を行う映像データ処理装置の構成例を示すブロック図である。図２Ａは、拡大縮小率推定部の構成例を示すブロック図であり、図２Ｂは、前処理部の流れの一例を示す図であり、図２Ｃは、ブロックサイズ検出部の流れの一例を示す図である。
図１では、代表的な映像処理の流れを示すものである。映像データ処理装置１０は、映像入力部１１、映像処理部１２、映像出力部１３、及び、拡大縮小率推定部１００を備える。
【００２３】
映像入力部１１は、入力映像データを受け付け、映像データ処理装置１０が処理可能な映像データに変換して出力する。例えば、Ａ／Ｄ（Analog/Digital）や、ラインバッファなど、内部処理に備えるための処理を実施する。
映像処理部１２は、映像データの編集・加工等の処理を行う。映像処理部１２は、拡大縮小率推定部１００から出力された拡大縮小率に基づいて、映像データ処理の設定や、処理方式を決定する。例えば、超解像処理、ノイズリダクション（ＮＲ）、シャープネスなど映像データの処理を実施する。
映像出力部１３は、映像処理部１２が映像データを処理した出力映像を表示装置などの外部装置へ出力する。
拡大縮小率推定部１００は、映像データを解析し、水平方向、垂直方向の拡大縮小率を推定し、推定した拡大縮小率を映像処理部１２へ出力する。
【００２４】
図２に、拡大縮小率推定部１００の構成例を示す。拡大縮小率推定部１００は、前処理部１１０、ブロックサイズ検出部１３０、ブロックサイズ積算部１５０、及び、拡大縮小率判定部１７０を備える。拡大縮小率推定部１００は、上述した４つの構成要素が実施する４段階の処理を実施して、水平方向と垂直方向とのいずれかの拡大縮小率を推定する。
前処理部１１０は、映像データを処理して、ブロック境界を検出し易くする。前処理部１１０は、水平方向の拡大縮小率を推定する場合、水平方向に配置された複数の画素列について、前処理、例えば、ノイズの除去などの処理を実施する。また、垂直方向の拡大縮小率を推定する場合、垂直方向の複数の画素列について前処理を実施する。ここで、画素列は、映像データの全画面または着目領域の水平方向または垂直方向のライン上（一行または一列）に配置される複数の画素の集合である。
【００２５】
ブロックサイズ検出部１３０は、前処理部１１０が処理した複数の画素列を解析して、ブロック境界を検出し、ブロックサイズを推定する。ブロックサイズ検出部１３０は、複数の画素列それぞれについてブロックサイズを推定し、推定した結果をブロックサイズ積算部１５０へ出力する。
ブロックサイズ積算部１５０は、全画面または着目領域のブロックサイズ検出履歴を積算記録する。具体的には、ブロックサイズ検出部１３０から出力される、複数の画素列に対して推定されたブロックサイズの値について、ブロックサイズの値毎に推定された回数を積算する。
拡大縮小率判定部１７０は、全画面または着目領域の積算数の履歴（ピーク間距離の履歴積算数）を参照し、拡大縮小率を推定する。
【００２６】
次に、拡大縮小率推定部１００の４段階の処理手順について説明する。
拡大縮小率推定部１００は、４段階の処理を１回実施すると、水平方向と垂直方向とのいずれか一方の拡大縮小率を推定する。しかしながら、映像処理部１２では、水平方向と垂直方向との両方の拡大縮小率を必要とする。このため、拡大縮小率推定部１００は、４段階の処理を２回実施することによって、水平方向と垂直方向との一方の拡大縮小率を推定した後、他方の拡大縮小率を推定する。
【００２７】
前処理部１１０は、検出方向と交差する方向にローパスフィルタ（ＬＰＦ）によってノイズを除去する。具体的には、水平方向の拡大縮小率を検出する場合、垂直ＬＰＦの処理を実施し、垂直方向の拡大縮小率を検出する場合、水平ＬＰＦの処理を実施する。図２Ｂに、前処理部１１０の処理例を示す。前処理部１１０では、水平方向の拡大縮小率を推定する場合、垂直ＬＰＦ１１１、水平バンドパスフィルタ（水平ＢＰＦ）１１２、最大値と最長値とを特定するＭａｘ／Ｍｉｎ１１３、垂直ＬＰＦ１１１から出力と水平ＢＰＦ１１２から出力を加算する加算器１１４、解析する映像データを切り出すＣＬＩＰ１１５によって映像データを前処理し、水平方向の画素列を出力する。また、垂直方向の拡大縮小率を推定する場合、水平ＬＰＦ１１６、垂直ＢＰＦ１１７、Ｍａｘ／Ｍｉｎ１１８、水平ＬＰＦ１１６から出力と垂直ＢＰＦ１１７から出力を加算する加算器１１９、ＣＬＩＰ１２０によって映像データを前処理し、垂直方向の画素列を出力する。
【００２８】
ブロックサイズ検出部１３０は、前処理部１１０が出力した画素列について、隣接する画素間の画素値の差分を抽出し、差分がピークとなる画素を検出し、差分ピーク間の距離（ピーク間距離）を測定する。差分ピークは、抽出した差分が差分閾値より多くなる差分が抽出された画素を検出する。差分閾値は、差分ピークであるか否かを判定する差分の閾値であり、映像データの特性により任意の値が設定され、予め装置内に保持されている。また、差分ピークを検出する場合、画素列の任意の範囲について差分ピークを検出する処理を実施する。画素列の任意の範囲は、映像データの特性に依存する。ピーク間距離は、隣接する差分ピーク間の距離（差分ピークが検出された画素間の距離）のであり、例えば、一つの差分ピーク画素から次の差分ピークが出現するまでの画素数である。
【００２９】
ブロックサイズ積算部１５０は、測定したピーク間距離の値（画素数）毎に、同じ値が測定された回数を積算する。このとき、全画面内または着目領域内で同じ値が測定された回数を積算し、履歴を生成する。図２Ｃにブロックサイズ検出部１３０の手順を示す。水平方向の画素列が入力される場合、差分が抽出され（水平方向差分抽出１３１）、抽出された差分から差分ピークが検出され８差分ピーク検出１３２）、隣接する差分ピーク間の距離が測定され（ピーク間距離測定１３３）、測定されたピーク間距離がブロックサイズ（ブロックサイズの候補）として出力される。垂直方向の画素列が入力される場合にも水平方向と同様に、垂直方向差分抽出１３４、差分ピーク検出１３５、及びピーク間距離測定１３６の手順で処理される。
【００３０】
拡大縮小率判定部１７０は、全画面内または着目領域内で、最も多く測定されるピーク間距離（支配的なピーク間距離）を水平方向または垂直方向のブロックサイズ検出結果として出力する。ブロックサイズ積算部１５０は、履歴に含まれるピーク間距離の積算回数が少ない、若しくは支配的なピーク間距離がなければ、ブロックサイズが検出できないと判定する。例えば、拡大縮小率判定部１７０は、支配的なピーク間距離が存在するか否かは、例えば、履歴積算数の値が、所定の値（積算数閾値）より大きいピーク間距離が存在するか否かにより検出する。積算数閾値は、少なくとも一つのピーク間距離が存在することを検出できる数値が設定され、予め装置内に保持される。拡大縮小率判定部１７０は、積算数閾値より履歴積算数が大きく、かつ、最も積算数が大きいピーク間距離を、支配的なピーク間距離と判定し、積算数閾値より履歴積算数が大きいピーク間距離が存在しない場合、支配的なピーク間距離が存在しないと判定する。
図３Ａから図３Ｄは、ピーク間距離の履歴積算数の一例を示す図であり、各ピーク間距離の値が測定された回数で示している。
【００３１】
拡大縮小率判定部１７０は、ブロックサイズ（水平方向または垂直方向）検出の結果から、以下の基準で拡大縮小率（水平方向または垂直方向）を判定する。
検出したブロックサイズが"８"の場合は、等倍と判定する。（図３Ａ）。
検出したブロックサイズが"８"より小さい場合は、検出ブロックサイズと"８"との比率を縮小率と判定する（図３Ｂ）。
検出したブロックサイズが"８"より大きい場合、検出ブロックサイズと"８"との比率を拡大率と判定する（図３Ｃ）。
ブロックサイズ検出できない場合、拡大縮小率不明と判定する（図３Ｄ）。
【００３２】
このように、ブロックサイズ規定値と測定したブロックサイズとを比較することによって、映像データの拡大縮小率を推定する。実施形態１では、ピーク間距離の測定値が一つに絞られた場合であるため、固定ブロックサイズ、例えば符号化方式がＭＰＥＧ２であり、基準ブロックサイズが"８"であると特定される。以下に詳しく説明する。
【００３３】
実施形態１のメカニズムおよび効果
図４は、地上波をＳＴＢ経由し、テレビで表示する一般的な映像処理の手順を示す図である。例えば、符号化方式としてＭＰＥＧ２を用いる場合、ＳＴＢ２にＭＰＥＧ２のストリームが入力されると、デコーダにより復号されて（Ｓ１）映像データが生成される。映像データにＳＴＢ２での映像処理（Ｓ２）、解像度変換（Ｓ３）が施され、ＲＡＷ映像がＨＤＭＩ／Ｄ端子を介してテレビ３へ出力される。テレビ３では、ＲＡＷ映像が入力されると（Ｓ４）、テレビ側の映像処理（Ｓ５）、解像度変換（Ｓ６）が実施されて映像が表示される（Ｓ７）。
テレビ３では入力されたＲＡＷ映像がＨＤ映像の場合に、この信号がＳＤ映像からＨＤ映像に変換（アップコンバート）された結果か、ＨＤ映像そのものか、その他の解像度から変換したもの、例えば、７２０ｐの映像（垂直解像度７２０ラインのプログレッシブ映像）をＨＤ映像に変換、あるいは、ＷＸＧＡ（Wide eXtended Graphics Array）の映像からＨＤ映像に変換などであるかを検出し、超解像や、ＮＲなど映像処理機能に対して解像度に応じた適応処理を実施する。
【００３４】
検出の原理は以下である。Ｈ．２６４、ＭＰＥＧ２などのＣｏｄｅｃでは画面を複数ブロックに分割してから、それぞれのブロックについて符号化を行う。各ブロック間の量子化の差や、エンコード方式の違いなどの影響で、デジタル映像にはブロックノイズが生じる。また、復号では画面を固定サイズのブロックに分割して実施するので、ブロックの境界は画面の固定位置（例えば、図５の点線）に設定されることになる。ＭＰＥＧ２の場合、図５に示す様に画面が複数の８×８ブロックに分割される。画面を拡大・縮小する場合、この８×８ブロックの境界も同じ割合で拡大縮小される。解像度変換された映像の水平垂直ブロックサイズを検出した後、検出されたブロックサイズと該当符号化方式（ＭＰＥＧ２）のブロックサイズとの比率を求めれば、該当映像の拡大縮小率を導出できる。図５の様に、縮小映像の縮小率は（ｂｘ１／８，ｂｈ１／８）、拡大映像の拡大率は（ｂｘ２／８，ｂｈ２／８）である。
【００３５】
ブロックサイズを検出する際には、水平方向と垂直方向とに分けて検出する。画素差分ピーク間距離の長さごとに、画面内で測定された回数の総和を積算して履歴を作成する。全画面または着目領域の積算完了後、各距離の履歴積算数のうち支配的なものを全画面または着目領域のブロックサイズとする。以上により、水平ブロックサイズ、垂直ブロックサイズが判定できる。
判定したブロックサイズ（ブロックサイズ判定値）と規定したブロックサイズ（ブロックサイズ規定値、ＭＰＥＧ２では"８"）の比率を、映像の拡大縮小率として判定する。
【００３６】
実施形態２．
実施形態２では、実施形態１に対して、拡大縮小率判定部１７０の機能を改良した場合を説明する。これにより、拡大縮小率判定の精度が向上することが期待できる。
実施形態２の映像データ処理装置の基本的な構成は、図１、２Ａに示す実施形態１と同様である。ここでは、拡大縮小率判定部１７０の機能について、実施形態１との相違点を説明する。
【００３７】
拡大縮小率判定部１７０では、実施形態１と同様に、全画面内または着目領域内で、最も多く測定されるピーク間距離（以降適宜、「支配的ピーク間距離」という）を水平方向または垂直方向のブロックサイズ検出結果として出力するが、その後の処理が異なる。拡大縮小率判定部１７０は、支配的ピーク間距離を検出した後、検出した支配的ピーク間距離から"１"を減じた距離もしくは支配的ピーク間距離に"１"を加えた距離が、２番目に多く測定されるピーク間距離（以降適宜、「２番目に支配的なピーク間距離」という）であることを検出した場合、線形内挿法や、二次内挿法などを利用し、小数精度のブロックサイズ検出を行う。ブロックサイズ検出の実施例を以下に示す。
（実施例２−１）支配的ピーク間距離と２番目に支配的なピーク間距離が"６"と"７"の時、ブロックサイズを"６．５"と検出し、縮小率を０．８１（＝６．５／８）に判定する（図６）。
（実施例２−２）支配的ピーク間距離と２番目に支配的なピーク間距離が"６"と"７"の時、"６"と"７"それぞれの履歴積算数から、線形内挿法や二次内挿法を用いて、"６"から"７"の範囲内にブロックサイズを検出し、検出したブロックサイズｂｓから縮小率をｂｓ／８と判定する。
【００３８】
実施形態２のメカニズムおよび効果
上述した（実施例２−１）、（実施例２−２）の具体例に示すように、実施形態２では非整数のブロックサイズ検出を実現する。
元映像データに対して任意倍率で拡大・縮小され、ブロックサイズが整数ではない場合が、多くある。８×８ブロックを０．８倍で縮小する場合、ブロックサイズは６．４×６．４になる。ところが、ピーク間距離を用いる方式では、検出したピーク間距離は整数である。その結果、ブロックサイズ検出履歴には、６．４と隣接する整数である６と７に二つの支配的なピーク間距離が積算される。
かかる状況の場合に、上述した（実施例２−１）では、"６"と"７"の平均の"６．５"として検出される。（実施例２−２）は、（実施例２−１）に比べ、より検出精度を向上させるものである。検出するブロックサイズ（ブロックサイズ判定値）は隣接する二つの支配的なピーク間距離の線形内挿法や二次内挿法を用いた合成により求める。式は以下となる。式中、ブロックサイズＡが支配的ピーク間距離、ブロックサイズＢが２番目に支配的なピーク間距離である。Weight0，Weight1は、二つの支配的なピーク間距離の履歴積算数により導出する係数であり、Weight0とWeight1との和が"１"になるような値が設定される。
ブロックサイズ判定値＝Weight0×ブロックサイズＡ＋Weight1×ブロックサイズＢ
（ただし、Weight0＋Weight1＝１）・・・・・（２）
【００３９】
実施形態３．
実施形態３では、実施形態１または２に対して、拡大縮小率判定部１７０を改良した場合を説明する。これにより、ＭＰＥＧ２だけではなくＨ．２６４で圧縮された映像の拡大縮小率を検出する。
実施形態３の映像データ処理装置の基本的な構成は、図１、２Ａに示す実施形態１と同様である。ここでは、拡大縮小率判定部１７０の機能について、実施形態１、２との相違点を説明する。
【００４０】
拡大縮小率判定部１７０では、実施形態１と同様に、全画面内または着目領域内で、支配的ピーク間距離を水平方向または垂直方向のブロックサイズ検出結果として出力するが、その後の処理が異なる。拡大縮小率判定部１７０は、ブロックサイズ積算部１５０が積算したピーク間距離履歴（履歴積算数）に、複数の支配的なピーク間距離が出現する場合に、複数のピーク間距離それぞれを検出する。複数の支配的なピーク間距離が出現するか否かは、例えば、履歴積算数の値が、所定の値（積算数閾値）より大きいピーク間距離が複数あるか否かにより検出する。積算数閾値は、複数のピーク間距離が存在することを検出できる数値が設定され、予め装置内に保持される。
【００４１】
拡大縮小率判定部１７０は、複数の支配的なピーク間距離の比率が１：２：４の場合に、Ｈ．２６４のコンテンツと判定し、拡大縮小率を検出する。ブロックサイズ検出の実施例を以下に示す。
（実施例３−１）複数の支配的なピーク間距離が"４，８，１６"と検出した場合に（図７Ａ）、等倍のＨ．２６４映像として検出する。
（実施例３−１）複数の支配的なピーク間距離が"３，６，１２"と検出した場合に（図７Ｂ）、０．７５倍縮小したＨ．２６４映像として検出する。
より一般化した拡大縮小率導出方法の例を以下に説明する。支配的なピーク間距離をｂ０，ｂ１，ｂ２（ｂ０＜ｂ１＜ｂ２，ｂ０，ｂ１，ｂ２は実施形態３の構成で算出した小数精度のブロックサイズであることが望ましい）と検出し、それぞれの履歴積算数がｎ０，ｎ１，ｎ２（ｎ０：ｂ０の積算数、ｎ１：ｂ１の積算数、ｎ２：ｂ２の積算数）の場合に、Ｈ．２６４映像として検出し、拡大縮小率は式（３）、（４）のいずれかで計算する。ただし、拡大縮小率は、式（３）、（４）以外の計算式を用いて算出してもよい。
【００４２】
【数１】
【００４３】
実施形態３のメカニズムおよび効果
Ｈ．２６４様な複数のブロックサイズでエンコードされるデジタルコンテンツに対して、検出するブロックサイズも複数存在する。この特徴を利用し、複数のブロックサイズ検出する場合に、Ｈ．２６４とＭＰＥＧ２のコンテンツの判定が出来る。
Ｈ．２６４として検出する場合に、複数のブロックサイズとＨ．２６４ブロックサイズ（４，８，１６）の比率から、入力映像データの拡大縮小率の特定が可能である。
【００４４】
実施形態４．
実施形態４では、実施形態１から３に対して、前処理部の機能を強化した場合を説明する。これにより、拡大映像のブロック境界検出を高性能化する。
前処理部１１０は、元映像データに対して、検出方向と直交する方向にＬＰＦを掛けること（処理１）は、実施形態１と同様である。
その後、前処理部１１０は、検出方向にバンドパスフィルタ（ＢＰＦ）を掛けて、元映像データ（ＯＲＧ）に加算する（特定周波数強調）（処理２）。
前処理部１１０は、処理２において元映像データに加算した結果（ＯＲＧ＋ＢＰＦ）を、処理１の結果の空間位置的に近傍の最大・最小値の間にクリッピング（ＣＬＩＰ）する。
【００４５】
実施形態４のメカニズムおよび効果
例えば、図８の様な拡大縮小されていない映像に対しては、特に前処理を必要とせず、ブロック境界を感度よく検出できる。図８中、左側に示す長方形の映像において、矢印で示す方向が水平方向であり、長方形の映像中、左側半分（網かけのない部分）と右側半分（網かけ部分）の輝度が異なる。
これに対して、例えば、図９の様に拡大された映像の場合には、拡大処理によるブロック境界の変形の影響を考慮する必要がある。図９中、左側に示す長方形の映像において、長方形の映像中、左側部分（網かけのない部分）、右側部分（網かけ部分）との間に中央部分（右側部分より薄い網かけ部分）があるが、これはブロックサイズの拡大によりノイズが生じた領域である。単純な隣接差分方式では、ブロック境界の位置を特定することは困難である。実施形態１で説明した方式の前処理では、先ず入力映像データの特定周波数成分に対して強調処理を行うが、その際に生じるピーク検出に悪影響を及ぼすＲｉｎｇｉｎｇなどの問題を抑えるために、強調結果に対して、入力映像データの近傍の最大最小値範囲内に制約を掛ける。
ＢＰＦを用いる理由を図１０に示す。図１０左側は座標−色値プロット、図１０右側は周波数分解プロットである。図１０上段と中段は、理解を容易とする為の、直流成分とインパルスの例である。直流成分は低周波数にピークを持ち、インパルスの周波数は全周波数域に存在する。図１０下段は本発明の検出対象とするブロックノイズの場合である。ブロックノイズのその周波数分解結果は、ブロックサイズに相当する周波数とその高調波に複数のピークを持つ波形となる。ブロックサイズの検出精度を高める為には、検出対象とするブロックサイズにあわせて、ＢＰＦの帯域を選定する事が有効である。
【００４６】
実施形態５．
実施形態５では、実施形態４に対して、前処理部の機能をさらに改良した場合を説明する。これにより、拡大映像のブロック境界検出を高性能化する。具体的には、前処理部１１０が、検出した拡大縮小率を、ＢＰＦ帯域に動的にフィードバックする事により、拡大縮小率検出精度を向上させる。
【００４７】
実施形態５のメカニズムおよび効果
さらなる機能拡張として、検出した拡大縮小率をフィードバックしＢＰＦの通過帯域を動的に調整することも考えられる。
拡大縮小率が不明な段階では、ＢＰＦ通過帯域を広くとり概略な拡大縮小率を検出する。その上でかかる概略拡大縮小率にしたがってＢＰＦ通過帯域を狭くする。
例えば、概略検出によりＭＰＥＧ２の映像を約２倍拡大したものと検出した場合に（ブロックサイズ１６）、概略拡大縮小率に従って動的にＢＰＦの帯域を周期３２ピクセル（２×１６＝３２）に調整すれば、ブロック境界を検出精度が向上し、拡大縮小率をより正確に検出できる。
【００４８】
その他の実施形態
上記各実施形態は、図１に示す映像データ処理装置を基本構成として、相互に組み合わせることが可能である。
例えば、実施形態１では、固定ブロックサイズＣｏｄｅｃ対応、整数精度ブロックサイズ検出による拡大縮小率検出、実施形態２では、固定ブロックサイズＣｏｄｅｃ対応、小数精度ブロックサイズ検出による拡大縮小率検出、実施形態３では、可変ブロックサイズＣｏｄｅｃ対応、ブロックサイズ検出による拡大縮小率検出を説明した。図１に示す映像データ処理装置は、実施形態１から３のいずれか一つを実現する構成であってもよいし、二つ以上を実現する構成であってもよい。また、実施形態４では、拡大映像に対するブロックサイズサイズ検出高性能化、実施形態５では、拡大映像に対するブロックサイズサイズ検出高性能化（動的制御）について説明したが、実施形態４、あるいは実施形態４、５で説明した前処理を実施形態１から３の少なくとも一つを実現する構成と組み合わせることが可能である。
【００４９】
また、上記各実施形態で説明した、映像データ処理装置及び映像データ方法は、コンピュータに各手段を実行させるプログラムによって実現することができる。プログラムは、コンピュータ内のメモリにロードされ、ＣＰＵ（Central Processing Unit）の制御のもとで実行される。
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００５０】
以上説明したように、上記各実施形態によれば、エントロピー圧縮・展開後に拡大縮小された映像データのブロックサイズを検出し、該当映像の拡大縮小率を検出することができる。特に、符号化方式のブロックサイズに基づいて拡大縮小率を検出するため、従来技術に比べて容易な装置、方法により実現することができる。これにより、検出した倍率に適応して後段の映像処理（画像処理）を実施する。
【００５１】
例えば、特許文献２の技術は、スケーリング後にエントロピー圧縮した映像のブロック中の空間周波数を計測して、圧縮前のスケーリングにおける拡大率を検出する。一方、本発明は、ブロックサイズ検出によって、エントロピー圧縮した映像を展開した後のスケーリングにおける拡大率を検出する。本発明では、圧縮ブロック中の絵柄ではなく、圧縮・展開・スケーリングを経た映像の圧縮ブロックの境界を検出し、ブロックサイズを推定してから、拡大率を求める方式である。従って、本発明は、ブロック内の絵柄に関わらず、検出結果に影響を及すことが無いという有利な効果がある。
【００５２】
また、特許文献３の技術は、ブロックサイズ検出に再スケーリングを必要とする。一方、本発明は、ブロックサイズ検出に再スケーリングは不要であり、また一度の処理で様々なブロックサイズの検出が可能な為、特許文献３の技術に比べて実装コストが小さいという有利な効果を奏する。また、本発明では、如何なる場合でも入力映像データの１ピクセル精度もしくは小数ピクセル精度でブロックサイズを検出できるという有利な効果を奏する。
【００５３】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【符号の説明】
【００５４】
１ アンテナ
２ ＳＴＢ
３ テレビ
４ ＤＶＤ
５ ＤＶＤプレイヤー
１０ 映像データ処理装置
１１ 映像入力部
１２ 映像処理部
１３ 映像出力部
１００ 拡大縮小率推定部
１１０ 前処理部
１１１ 垂直ＬＰＦ
１１２ 水平ＢＰＦ
１１３、１１８ Ｍａｘ／Ｍｉｎ
１１４、１１９ 加算器
１１５、１２０ ＣＬＩＰ
１１６ 水平ＬＰＦ
１１７ 垂直ＢＰＦ
１３０ ブロックサイズ検出部
１５０ ブロックサイズ積算部
１７０ 拡大縮小率判定部
【特許請求の範囲】
【請求項１】
映像データの拡大縮小率を算出する映像データ処理装置であって、
映像データに含まれる水平方向と垂直方向との少なくとも一方の複数の画素列のノイズを除去する前処理部と、
前記複数の画素列について、隣接する画素間の画素値の差分を抽出し、抽出した差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定するブロックサイズ検出部と、
前記複数の各画素列について前記ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録するブロックサイズ積算部と、
前記ブロックサイズ積算部が記録する前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する拡大縮小率判定部と、を備える映像データ処理装置。
【請求項２】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を一つ検出した場合、検出した一つのピーク間距離をブロックサイズ判定値として判定し、前記ブロックサイズ判定値が前記ブロックサイズ規定値との比率を、前記拡大縮小率と判定することを特徴とする請求項１記載の映像データ処理装置。
【請求項３】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を二つ検出し、かつ検出した二つのピーク間距離が最小単位の距離差である場合、検出した二つのピーク間距離を用いてブロックサイズ判定値を算出し、算出したブロックサイズ判定値と前記ブロックサイズ規定値とを比較して、前記拡大縮小率を判定することを特徴とする請求項１または２記載の映像データ処理装置。
【請求項４】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を二つ以上検出し、かつ検出した二つ以上のピーク間距離が任意の符号化方式のブロックサイズ規定値と対応する場合、検出した二つ以上のピーク間距離をブロックサイズ候補値として判定し、判定したブロックサイズ判定値と前記任意の符号化方式のブロックサイズ規定値とを比較して、前記拡大縮小率を判定することを特徴とする請求項１乃至３のいずれか一項に記載の映像データ処理装置。
【請求項５】
映像データの拡大縮小率を算出する映像データ処理装置が行う映像データ処理方法であって、
映像データの水平方向または垂直方向の複数の画素列のノイズを除去し、
前記複数の画素列について、隣接する画素間の画素値の差分を抽出して差分が大きくなるピーク画素を検出すること、及び隣接するピーク画素間の距離を示すピーク間距離を測定することを実施し、
前記複数の画素列について、前記ピーク間距離を測定した回数を積算してピーク間距離毎の積算数を記録し、
記録した前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する映像データ処理方法。
【請求項１】
映像データの拡大縮小率を算出する映像データ処理装置であって、
映像データに含まれる水平方向と垂直方向との少なくとも一方の複数の画素列のノイズを除去する前処理部と、
前記複数の画素列について、隣接する画素間の画素値の差分を抽出し、抽出した差分が差分閾値より大きくなる差分ピークを検出し、隣接する差分ピーク間の距離を示すピーク間距離を測定するブロックサイズ検出部と、
前記複数の各画素列について前記ピーク間距離を測定した回数を積算し、ピーク間距離毎の積算数を記録するブロックサイズ積算部と、
前記ブロックサイズ積算部が記録する前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する拡大縮小率判定部と、を備える映像データ処理装置。
【請求項２】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を一つ検出した場合、検出した一つのピーク間距離をブロックサイズ判定値として判定し、前記ブロックサイズ判定値が前記ブロックサイズ規定値との比率を、前記拡大縮小率と判定することを特徴とする請求項１記載の映像データ処理装置。
【請求項３】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を二つ検出し、かつ検出した二つのピーク間距離が最小単位の距離差である場合、検出した二つのピーク間距離を用いてブロックサイズ判定値を算出し、算出したブロックサイズ判定値と前記ブロックサイズ規定値とを比較して、前記拡大縮小率を判定することを特徴とする請求項１または２記載の映像データ処理装置。
【請求項４】
前記拡大縮小判定部は、前記積算数が積算数閾値より大きいピーク間距離を二つ以上検出し、かつ検出した二つ以上のピーク間距離が任意の符号化方式のブロックサイズ規定値と対応する場合、検出した二つ以上のピーク間距離をブロックサイズ候補値として判定し、判定したブロックサイズ判定値と前記任意の符号化方式のブロックサイズ規定値とを比較して、前記拡大縮小率を判定することを特徴とする請求項１乃至３のいずれか一項に記載の映像データ処理装置。
【請求項５】
映像データの拡大縮小率を算出する映像データ処理装置が行う映像データ処理方法であって、
映像データの水平方向または垂直方向の複数の画素列のノイズを除去し、
前記複数の画素列について、隣接する画素間の画素値の差分を抽出して差分が大きくなるピーク画素を検出すること、及び隣接するピーク画素間の距離を示すピーク間距離を測定することを実施し、
前記複数の画素列について、前記ピーク間距離を測定した回数を積算してピーク間距離毎の積算数を記録し、
記録した前記積算数が積算数閾値より大きいピーク間距離を検出した場合、検出したピーク間距離をブロックサイズ判定値として判定し、判定したブロックサイズ判定値と任意の符号化方式が採用するブロックサイズとなるブロックサイズ規定値とを比較して、映像データの水平方向または垂直方向の拡大縮小率を判定する映像データ処理方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２４７４９０（Ｐ２０１２−２４７４９０Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１６９５５（Ｐ２０１１−１１６９５５）
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２５日（２０１１．５．２５）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]