画像フィルタ回路及びフィルタリング処理方法
【課題】 高効率符号化方式の変換処理と、画像スケーリング処理を同一回路で実現する。
【解決手段】 ４：２：２フォーマットの画像データから、画像データのdeltaによって決まるphaseに基づいた補間演算処理をすることで画像データ間の補間画像データを生成する補間演算処理部１３と、第１の画像データの色差データと、第２の画像データの色差データとの所定の位相ずれ分（０．７５）を、phaseに加算する加算手段１４と、第１の画像データから第２の画像データへの変換、又は第２の画像データから第１の画像データへの変換が指示されたことに応じて、加算手段１４による出力を選択し、位相ずれ分（０．７５）が加算されたphaseを補間演算処理部１３に供給する選択手段１５とを備えることで実現する。
【解決手段】 ４：２：２フォーマットの画像データから、画像データのdeltaによって決まるphaseに基づいた補間演算処理をすることで画像データ間の補間画像データを生成する補間演算処理部１３と、第１の画像データの色差データと、第２の画像データの色差データとの所定の位相ずれ分（０．７５）を、phaseに加算する加算手段１４と、第１の画像データから第２の画像データへの変換、又は第２の画像データから第１の画像データへの変換が指示されたことに応じて、加算手段１４による出力を選択し、位相ずれ分（０．７５）が加算されたphaseを補間演算処理部１３に供給する選択手段１５とを備えることで実現する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから補間画像データを生成する画像フィルタに関し、詳しくは、４：２：２フォーマットの画像データの画像スケーリング処理、高効率符号化方式の変換処理を一つの回路で実現する画像フィルタ回路及びフィルタリング処理方法に関する。
【背景技術】
【０００２】
地上波デジタルテレビ放送の普及などに伴い、デジタル映像信号に関する技術が注目されている。映像信号は、コンポーネント信号と呼ばれる輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒによって構成されている。
【０００３】
一般に人間の視覚特性は、輝度信号Ｙと比較して、色差信号Ｃｂ，Ｃｒに対して感度が低いため、色差信号について間引いた信号を用い、符号化情報量を低減させることができる。そこで、コンポーネント信号としては、輝度信号Ｙに対して色差信号Ｃｂ，Ｃｒを間引くことなく用意した４：４：４フォーマットに対して、水平方向の色差信号Ｃｂ，Ｃｒを輝度信号Ｙの１／２のサイズとした４：２：２フォーマット、さらに垂直方向の色差信号Ｃｂ，Ｃｒを輝度信号Ｙの１／２のサイズとした４：２：０フォーマットなどが規定されている。
【０００４】
具体的には、４：２：２フォーマットでは、各走査線の輝度信号２サンプルに対して、色差信号１サンプルが配置されることになり、４：２：０フォーマットでは、垂直方向の輝度信号２サンプルに対して色差信号１サンプルが配置される。このような、コンポーネント信号をデジタル符号化することでデジタル映像信号が生成されることになる。
【０００５】
放送、通信、蓄積メディアなどで用いられるデジタル映像信号は、一般に、ＭＰＥＧ（Moving Picture Expert Group）技術によって、限られた周波数帯域幅での伝送を可能とするため高能率符号化、いわゆる圧縮符号化されている。例えば、ＭＰＥＧは、主にＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＨＤ（Hard Disk）といった１．５Ｍｂｉｔ／ｓ程度の伝送レートを有するデジタル蓄積メディア用の画像音響符号化方式であるＭＰＥＧ−１方式や、デジタル放送や、蓄積メディア、通信など汎用的に利用でき、さらに高ビットレートでの伝送を可能とした高品質の画像データを対象にしたＭＰＥＧ−２方式などが標準化され、広く普及している。
【０００６】
ところでＭＰＥＧ−２では、輝度信号（Ｙ）・色差信号（Ｃｒ、Ｃｂ）フォーマットとして、４：２：０、４：２：２、４：４：４の３つのフォーマットを使用することができる。中でも、４：２：２フォーマットは、国際電気通信連合（ＩＴＵ）の無線通信セクタ（ＩＴＵ−Ｒ）においてＩＴＵ−Ｒ勧告６０１として規定されており、スタジオ内などの業務用として用いられることが多く、４：２：０フォーマットに較べて高画質なフォーマットとなっている。テレビ信号の高能率符号化には、ＭＰＥＧ−２方式が主に利用されている。なお、ＭＰＥＧ−１では、４：２：０フォーマットの画像のみを扱うことができる。
【０００７】
ところで、デジタル映像信号は、高画質な映像を出力するためにＭＰＥＧ−２方式で高能率符号化するのが主流となっており、映像信号処理装置としても、４：２：２フォーマットのＭＰＥＧ−２方式で高能率符号化されたデジタル映像信号に対応した回路構成となっている。
【０００８】
しかしながら、ＣＤ−ＲＯＭやＨＤなどに記録された映像コンテンツなどは、ＭＰＥＧ−１方式で高能率符号化されているため、別途、ＭＰＥＧ−１方式で高能率符号化されたデジタル映像信号を処理するための回路が必要となってしまい、回路規模が増大してしまう。そこで、従来の映像信号処理装置は、４：２：０フォーマットであるＭＰＥＧ−１方式のデジタル映像信号を、４：２：２フォーマットに変換し、さらにＭＰＥＧ１方式からＭＰＥＧ−２方式に変換するＭＰＥＧ変換処理回路を備えた構成となっている。
【０００９】
具体的には、４：２：０フォーマットのＭＰＥＧ−１方式のデジタル映像信号をデコードすると、ｘｙ平面上に配置された輝度データＹ、色差データＣｂ，Ｃｒは、図１２に示すようになる。これを、まず、図１３に示すように４：２：２フォーマットに変換する。４：２：２フォーマットのＭＰＥＧ−２方式のデジタル映像信号をデコードすると、図１４に示すように、図１３に示す輝度データＹと、色差データＣｒ、Ｃｂとの位相関係と異なる位相関係になってしまう。
【００１０】
したがって、図１３に示すような輝度データＹと、色差データＣｂ，Ｃｒとの位相関係を、図１４に示すようなＭＰＥＧ−２方式のデジタル映像信号をデコードした輝度データＹと、色差データＣｂ，Ｃｒとの位相関係に揃えてやる必要がある。そこで、従来の映像信号処理装置が備えるＭＰＥＧ変換処理回路では、図１５に示すように、隣接する２点の色差データ、例えば、色差データＤ１、色差データＤ２からリニア補間を実行して色差データＤ２’を生成する。補間前輝度データ（Ｙ Source data）と、補間前色差データ（C Source data）の隣り合うデータ同士の間隔を１に正規化すると、補間後色差データ（C destination data）は、Ｄｎ’＝Ｄｎ×０．２５＋Ｄ（ｎ＋１）×０．７５ （ｎ＝１，２，３・ ・ ・）というような一般式で表すことができる。
【００１１】
このようにＭＰＥＧ変換処理回路は、輝度データＹと、色差データＣｂ，Ｃｒの位相合わせをすることで、ＭＰＥＧ−１方式のデジタル映像信号を、ＭＰＥＧ−２方式のデジタル映像信号に変換していた。
【００１２】
一方、映像信号処理装置は、上述したＭＰＥＧ変換処理回路以外に、画像処理の一機能として画像を縮小又は拡大する縮小拡大処理を実行して画像のサイズを変更する画像スケーリング回路を備えている。画像スケーリング回路は、補間フィルタを備えており、画像を縮小する場合は、元の画像データの画素数を、この補間フィルタを通して減少させ、逆に画像を拡大する場合は、元の画像データの画素数を、この補間フィルタを通して増加させる。このような画像スケーリング回路では、極力、元の画像の画質を劣化させずに縮小、拡大処理を実行するように、例えば、Ｃｕｂｉｃ関数などの近似曲線アルゴリズムを使ったポリフェーズフィルタなどを補間フィルタとして用いることが知られている（特許文献１参照。）。
【００１３】
図１６に、上述したようなＭＰＥＧ変換処理回路と、ポリフェーズフィルタである画像スケーリング回路とを備えている従来の映像信号処理装置１００の概略構成を示す。図１６に示すように、映像信号処理装置１００は、輝度データに対する処理を実行する輝度データ処理系と、色差データに対する処理を実行する色差データ処理系とがあり、補間前輝度データ（Y Source data）、補間前色差データ（C Source data）に対して画像スケーリング処理を施すポリフェーズフィルタである画像スケーリング回路１０２、１０４をそれぞれ個別に備えている。
【００１４】
また、上述したようにＭＰＥＧ変換処理は、補間前色差データに対してのみ実行すればよいので、画像スケーリング回路１０４の前段にＭＰＥＧ変換処理回路１０３が設けられている。さらに、輝度データ処理系には、色差データ処理系に、ＭＰＥＧ変換処理回路１０３が設けられていることによるレイテンシ（遅延）を調節するためのシフトレジスタ１０１が設けられている。
【００１５】
【特許文献１】特開２００３−１２２３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
このように、従来までの映像信号処理装置１００では、ＭＰＥＧ−１方式で高能率符号化されたデジタル映像信号を再生する際にＭＰＥＧ−２方式に変換するため、色差データＣｂ，Ｃｒに対しては、ＭＰＥＧ変換処理回路１０３、画像のスケーリングを変更する画像スケーリング回路１０４をそれぞれ個別に備えた構成となっていたため回路規模が増大してしまうといった問題があった。
【００１７】
そこで、本発明は、上述したような問題を解決するために案出されたものであり、上述したようなＭＰＥＧ変換処理回路が備える高効率符号化方式の変換処理機能と、画像スケーリング回路の備える画像スケーリング処理機能とを兼ね備えることで回路規模を大幅に削減した画像フィルタ回路及びフィルタリング処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述の目的を達成するために、本発明に係る画像フィルタ回路は、輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理手段と、第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。
【００１９】
また、上述の目的を達成するために本発明に係るフィルタリング処理方法は、輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理工程と、第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。
【発明の効果】
【００２０】
本発明は、画像スケーリング処理、高効率符号化方式の変換処理を、従来までの画像スケーリング回路である画像フィルタ回路にて同時に実現することができるため、大幅な回路削減が実現可能となると共に、不要になった回路分のシステムレイテンシを削減することを可能とする。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明をする。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることはいうまでもない。
【００２２】
｛映像信号処理装置の装置構成｝
図１６で示したように、従来の映像信号処理装置１００は、ＭＰＥＧ変換処理と、画像スケーリング処理を実行するために、色差データＣｂ，Ｃｒに対する処理を実行する色差データ処理系において、それぞれ専用のＭＰＥＧ変換処理回路１０３、画像スケーリング回路１０４を備えていた。また、映像信号処理装置１００は、ＭＰＥＧ変換処理回路１０３が備えられたことに応じて、輝度データＹに対する処理を実行する輝度データ処理系において、シフトレジスタ１０１を設けることが必須となってしまっており大幅な回路規模の増大を余儀なくされていた。
【００２３】
ここで、映像信号処理装置１００が備える輝度データ処理系の画像スケーリング回路１０２と、色差データ処理系の画像スケーリング回路１０４について説明をする。画像スケーリング回路１０２、１０４は、例えば、Ｃｕｂｉｃ関数を用いたポリフェーズフィルタである。このポリフェーズフィルタは、４タップ（ｔａｐ）のＦＩＲ（Finite Impulse Response）フィルタで構成されているとする。
【００２４】
ポリフェーズフィルタは、補間前データ（Source data）間の任意の位置に、補間後データ（Destination data）を生成する補間フィルタである。例えば、ポリフェーズフィルタを用いると、図１に示すように、補間前データであるデータｓｒｃ（１）と、データｓｒｃ（２）との間に、データｓｒｃ（１）からphaseで示される位相分だけずれた位置に補間後データであるデータｄｓｔ（１）を生成することができる。
【００２５】
ここで使用するポリフェーズフィルタは、４タップフィルタであることから、タップ数分、つまり４つの補間フィルタ係数（Ｃｕｂｉｃ係数）が必要となる。補間フィルタ係数は、図１に示すように、近似補間関数であるＣｕｂｉｃ関数の基準点（中心）を、補間データを生成する位置に合わせたときの、補間前データの位置におけるインパルス応答に相当する。
【００２６】
この４つの補間フィルタ係数を重みとして、４つの補間前データに重み付けをして演算を施すことで、１つの補間後データを生成することができる。
【００２７】
例えば、図２に示すように、補間フィルタ係数ｋ１は、Ｃｕｂｉｃ関数の基準点からのずれであるphaseをｘとした場合に、（｜ｘ｜−１）（｜ｘ｜２−｜ｘ｜−１｜）というＣｕｂｉｃ関数に代入することで求めることができる。同様に残りの補間フィルタ係数ｋ０、ｋ２、ｋ３もＣｕｂｉｃ関数から算出することができる。このとき、Ｃｕｂｉｃ関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を１で正規化し、phaseを求める補間後データの位相と等価にすることができる。
【００２８】
このように、phaseが求まれば、Ｃｕｂｉｃ関数を用いて補間フィルタ係数が算出され、自動的に補間後データを生成することができる。このphaseは、図１に示すように、補間前データを拡大する際の拡大率、又は縮小する際の縮小率の逆数であり、累積加算することで補間後データの画素位置を決定するdeltaと、補間前データの端部、補間後データの端部における位相のずれを示したoffsetとの関係から算出することができる。
【００２９】
なお、補間後データの画素位置は、deltaを累積加算することで算出されるため、deltaが補間前データ間のピッチよりも長い場合、補間前データの数より、生成される補間後データの数が少なくなるため縮小処理となる。一方、deltaが補間前データ間のピッチよりも短い場合、補間前データの数より、生成される補間後データの数が多くなるため拡大処理となる。
【００３０】
以上のようにして、ポリフェーズフィルタである画像スケーリング回路１０２、１０４は、４個の補間前データと、phaseにより補間後データを生成し、画像の拡大又は縮小といった画像スケーリングを実現することになる。
【００３１】
このような処理を実現するために画像スケーリング回路１０２、１０４は、それぞれ図３（ａ）、（ｂ）に示すような構成となっている。
【００３２】
図３（ａ）に示すように、ポリフェーズフィルタである画像スケーリング回路１０２は、補間前輝度データをシフトさせるシフトレジスタ１１１、deltaを累積加算してphaseを求めるデルタアキュムレータ１１２、シフトレジスタ１１１から供給される４個の補間前輝度データと、アキュムレータ１１２から供給されるphaseを用いて、キュービック関数より、補間後輝度データを生成するキュービック関数ブロック１１３とを備えている。
【００３３】
また、画像スケーリング回路１０４は、補間前色差データをシフトさせるシフトレジスタ１２１、deltaを累積加算してphaseを求めるデルタアキュムレータ１２２、シフトレジスタ１２１から供給される４個の補間前色差データと、アキュムレータ１２２から供給されるphaseを用いて、キュービック関数より、補間後色差データを生成するキュービック関数ブロック１２３とを備えている。なお、シフトレジスタ１２１は、色差データＣｂ，Ｃｒを交互に入力するため、シフトレジスタ１１１よりもフリップフロップの段数が多くなっている。
【００３４】
ところで、図１６に示したように、従来の技術の映像信号処理装置１００が備えるＭＰＥＧ変換処理回路１０３では、ＭＰＥＧ−１方式のデジタル映像信号をデコードして、４：２：０フォーマットから４：２：２フォーマットへ変換した図１３に示す画像データの色差データＣｂ，Ｃｒをリニア補間することで輝度データＹとの位相を揃えていた。
【００３５】
なお、ＭＰＥＧ−１方式では、４：２：０フォーマットしか規定されていないが、説明のため、図１２に示す４：２：０フォーマットの画像データを変換した、図１３に示す４：２：２フォーマットの画像データをＭＰＥＧ−１方式の４：２：２フォーマットと呼ぶことにする。
【００３６】
上述したように画像スケーリング回路１０４は、補間前色差データの任意の位置に、つまり任意の位相に補間後色差データを生成することができるポリフェーズフィルタである。したがって、このポリフェーズフィルタは、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データの色差データＣｂ，Ｃｒの位相を、輝度データＹの位相と揃うようにフィルタリングすることもできると考えられる。つまり、ポリフェーズフィルタによって、画像のスケーリングを実行することはもちろんのこと、従来までは、ＭＰＥＧ変換処理回路１０３で担っていたＭＰＥＧ−１方式からＭＰＥＧ−２方式へと変換させることもできると考えられる。
【００３７】
そこで、本発明を実施するための最良の形態として示す映像信号処理装置では、色差データＣｂ，Ｃｒを処理する色差データ処理系に関して、図４に示すようなＭＰＥＧ方式の変換機能を備えたポリフェーズフィルタ１０を備えるものとする。
【００３８】
図４に示すように、ポリフェーズフィルタ１０は、補間前色差データをシフトさせるシフトレジスタ１１、deltaを累積加算してphaseを求めるデルタアキュムレータ１２、シフトレジスタ１１から供給される４個の補間前色差データと、デルタアキュムレータ１２から供給されるphaseを用いて、Ｃｕｂｉｃ関数により、補間後色差データを生成するキュービック関数ブロック１３と、offsetに固定値（例えば、０．７５）を加算する加算器１４と、offset又は固定値を加算されたoffsetのいずれかをセレクトし、デルタアキュムレータ１２に供給するセレクタ１５とを備えている。このように、ポリフェーズフィルタ１０は、図３（ｂ）で示した従来の画像スケーリング回路１０４に、加算器１４と、セレクタ１５とを加えた構成となっている。
【００３９】
以下に、図３（ｂ）に示した画像スケーリング回路１０４に加算器１４と、セレクタ１５とを備えたことで、ポリフェーズフィルタ１０が、画像スケーリング機能に加え、ＭＰＥＧ方式の変換をも実行できることについて説明をする。
【００４０】
図５は、図１３に示すＭＰＥＧ−１方式の４：２：２フォーマットの画像データの水平方向の輝度データＹ、色差データＣｒ、Ｃｂを１ラインずつ抽出した様子を示している。輝度データＹを補間前輝度データとし、色差データＣｂ，Ｃｒを補間前色差データとする。このようなＭＰＥＧ−１方式の画像データを、ポリフェーズフィルタ１０にてＭＰＥＧ−２方式に変換する場合、ポリフェーズフィルタ１０を介して生成される補間後色差データを、図５に示すように、補間前輝度データと同じ位相に一つ置きで配置されるようにすればよい。
【００４１】
図１、図２を用いて説明したように、Ｃｕｂｉｃ関数を用いる場合、Ｃｕｂｉｃ関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を１で正規化し、phaseを求める補間後データの位相と等価にすることができる。したがって、補間前色差データＣ３に着目すると、輝度データＹと同一位相である補間後色差データＣ３’とするには、０．２５だけ左水平方向に位相をシフトすればよいことが分かる。
【００４２】
つまり、図２で示したphaseを０．７５とすれば、このphaseと、４個の補間前色差データＣ１、Ｃ２、Ｃ３、Ｃ４を用いれば、ポリフェーズフィルタ１０にて補間後色差データＣ３’を生成することができる。
【００４３】
図４に示すポリフェーズフィルタ１０では、加算器１４でoffsetに０．７５を加算し、ＭＰＥＧ−１方式から、ＭＰＥＧ−２方式へと変換する場合には、セレクタ１５で、０．７５を加算したoffsetを選択し、ＭＰＥＧ方式の変換をしない場合には、offsetを選択するようにしている。また、図６に示すポリフェーズフィルタ１０’のように、デルタアキュムレータ１２からの出力であるphaseに０．７５を加算するような構成とした場合でも全く同じである。
【００４４】
図５では、deltaを1として拡大処理、縮小処理を実行せずに、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換を実行している場合を示しており、図４、図６に示すポリフェーズフィルタ１０、ポリフェーズフィルタ１０’それぞれにおいてdeltaを1、offsetをゼロとし、０．７５が加算された信号をセレクタ１５で選択すれば、キュービック関数ブロック１３にはphaseとして０．７５が供給されることになる。これにより、ポリフェーズフィルタ１０を介してフィルタリングされた補間後色差データは、ＭＰＥＧ−２方式の色差データの位相に変換されることになる。
【００４５】
このように、ポリフェーズフィルタ１０は、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データへと変換することができる。
【００４６】
つまり、ポリフェーズフィルタ１０は、deltaを等倍として1を与えてやると、単にＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データに変換する。
【００４７】
また、deltaに、縮小、拡大をさせるような値を与えてやれば、上述したＭＰＥＧ−１方式からＭＰＥＧ−２方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。例えば、図７では、delta＝２を与えたため、縮小率１／２の縮小処理と同時に、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換を実行することができる。
【００４８】
｛端部処理について｝
続いて、画像スケーリングを実行する際の端部処理について説明をする。４つの補間データから１つの補間後データを生成し、画像スケーリングする際、つまり補間演算処理をする際には、画像の左端、右端、つまり有効画像データの開始点及び終了点を、どの補間前データを用いて生成するかが重要となる。この端部処理には、画像の切り出し方によって様々な手法が考案されているが、一般には、図８に示すように、最初の有効画像データを重複して用いて、輝度データＹ１，Ｙ１，Ｙ２，Ｙ３から補間後輝度データＹ１’、色差データＣ１，Ｃ１，Ｃ２，Ｃ３から補間後色差データＣ１’を生成している。図３（ａ），（ｂ）に示した従来のポリフェーズフィルタである画像スケーリング回路１０２，１０４でも画像スケーリングの際には、このような端部処理が実行されることになる。
【００４９】
ところで、本発明のポリフェーズフィルタ１０では、上述したように、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データへと変換することができるが、このときの色差データの端部処理を、図９に示すように実行する。つまり、左端にある有効画像データである色差データＣ１に対応した補間後色差データＣ１’を生成する場合には、４個の補間前色差データのうち、この色差データＣ１を３個用いた、色差データＣ１，Ｃ１，Ｃ１，Ｃ２を用いることにする。
【００５０】
｛ＭＰＥＧ−２方式→ＭＰＥＧ−１方式｝
実際には、あまり使用されることはないが、このポリフェーズフィルタ１０では、ＭＰＥＧ−２方式の４：２：２：フォーマットの画像データを、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データに変換することもできる。
【００５１】
ＭＰＥＧ−２方式からＭＰＥＧ−１方式に変換するには、輝度データを右方向に０．２５だけシフトすればよいので、図１０に示すように、ポリフェーズフィルタ１０に初期phaseとして０．２５を与えればよいことになる。端部においては、左端にある有効画像データである輝度データＣ１に対応した補間後色差データＣ１’を生成する際に、４個の補間前色差データのうち、この色差データＣ１を２個用いた、色差データＣ１，Ｃ１，Ｃ２，Ｃ３を用いることになる。
【００５２】
つまり、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換と同様に、ポリフェーズフィルタ１０に対して、deltaを等倍として1を与えてやると、単にＭＰＥＧ−２方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データに変換する。また、deltaに縮小、拡大をさせるような値を与えてやれば、上述したＭＰＥＧ−２方式からＭＰＥＧ−１方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。
【００５３】
｛ポリフェーズフィルタ１０の実装例｝
続いて、図４に示したポリフェーズフィルタ１０の実装例について説明をする。例えば、ポリフェーズフィルタ１０は、図１１に示す集積回路５０に実装される。図１１に示す集積回路５０は、アキュムレートデルタ（Accumulate Delta）５１と、データシフタ５２と、キュービックファンクション（Cubic Function）５３と、ディレイ（2ck Delay）５４と、セレクタ５５と、ディレイ（1ck Delay）５６とを備えている。
【００５４】
アキュムレートデルタ５１は、図４に示すデルタアキュムレータ１２、セレクタ１５、加算器１４に相当し、deltaとしてhppf_delta、offsetとしてhppf_offsetが入力されることでphaseであるphase_hcを生成する。このアキュムレートデルタ５１は、図示しないＣＰＵによってレジスタmpeg1_mode=1と設定されたことに応じて、図４に示したセレクタ１５を加算器１４からの出力となるように切り換えることになる。これにより、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データに変換することができる。
【００５５】
データシフタ５２は、図４に示すシフトレジスタ１１に相当し、キュービックファンクション５３は、図４に示すキュービック関数ブロック１３に相当する。また、ディレイ５４は、色差データＣｂ，Ｃｒによるレイテンシを調整し、ディレイ５６は、輝度データＹと、色差データＣｂ，Ｃｒとのレイテンシ調整する。
【００５６】
なお、図１１にポリフェーズフィルタ１０の実装例として示した集積回路５０は、一例であって、本発明を限定するものではない。
【００５７】
このようにして、ポリフェーズフィルタ１０は、ＭＰＥＧ変換処理と、画像スケーリング処理を実行するために、色差データＣｂ，Ｃｒに対する処理を実行する色差データ処理系において、図１６に示すように従来の映像信号処理装置１００が備えていたＭＰＥＧ変換処理回路１０３、画像スケーリング回路１０４で実行される機能を、ポリフェーズフィルタ１０のみにて実行することができる。
【００５８】
これにより、このようなポリフェーズフィルタ１０を備えた場合、映像信号処理装置は、ＭＰＥＧ変換処理、画像スケーリング処理が実行できることをそのままとしながら、大幅な回路削減並びに当該映像信号処理装置のシステムレイテンシを削減することができる。
【００５９】
なお、本発明は、ＭＰＥＧ−１方式、ＭＰＥＧ−２方式といった高効率符号化方式の種別に限定されるものではなく、４：２：２フォーマットにおける色差データに位相ずれがある全ての画像データ間の変換にて有効となる。
【図面の簡単な説明】
【００６０】
【図１】Ｃｕｂｉｃ関数を用いたフィルタリング処理について説明するための図である。
【図２】補間フィルタ係数について説明するための図である。
【図３】（ａ）は、輝度データ処理系における従来の画像スケーリング回路について説明するための図であり、（ｂ）は、色差データ処理系における従来の画像スケーリング回路について説明するための図である。
【図４】本発明を実施するための最良の形態として示すポリフェーズフィルタの構成について説明するための図である。
【図５】同ポリフェーズフィルタにおけるＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換処理について説明するための図である。
【図６】同ポリフェーズフィルタの別な構成について示した図である。
【図７】同ポリフェーズフィルタにおいて、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換処理を実行すると同時に、画像スケーリング処理を実行する様子を示した図である。
【図８】従来の補間演算処理に伴う端部処理について示した図である。
【図９】上記ポリフェーズフィルタによる補間演算処理に伴う端部処理について示した図である。
【図１０】同ポリフェーズフィルタにおけるＭＰＥＧ−２方式からＭＰＥＧ−１方式への変換処理について説明するための図である。
【図１１】同ポリフェーズフィルタを実装した際の実装例を示した図である。
【図１２】ＭＰＥＧ−１方式の４：２：０フォーマット、画像データを示した図である。
【図１３】ＭＰＥＧ−１方式の４：２：２フォーマット、画像データを示した図である。
【図１４】ＭＰＥＧ−２方式の４：２：２フォーマット、画像データを示した図である。
【図１５】従来のＭＰＥＧ変換処理回路におけるＭＰＥＧ−２方式から、ＭＰＥＧ−１方式への変換処理について説明するための図である。
【図１６】従来の映像信号処理装置について説明するための図である。
【符号の説明】
【００６１】
１０ ポリフェーズフィルタ、１１ シフトレジスタ、１２ デルタアキュムレータ、１３ キュービック関数ブロック、１４ 加算器、１５ セレクタ
【技術分野】
【０００１】
本発明は、画像データから補間画像データを生成する画像フィルタに関し、詳しくは、４：２：２フォーマットの画像データの画像スケーリング処理、高効率符号化方式の変換処理を一つの回路で実現する画像フィルタ回路及びフィルタリング処理方法に関する。
【背景技術】
【０００２】
地上波デジタルテレビ放送の普及などに伴い、デジタル映像信号に関する技術が注目されている。映像信号は、コンポーネント信号と呼ばれる輝度信号Ｙと、２つの色差信号Ｃｂ，Ｃｒによって構成されている。
【０００３】
一般に人間の視覚特性は、輝度信号Ｙと比較して、色差信号Ｃｂ，Ｃｒに対して感度が低いため、色差信号について間引いた信号を用い、符号化情報量を低減させることができる。そこで、コンポーネント信号としては、輝度信号Ｙに対して色差信号Ｃｂ，Ｃｒを間引くことなく用意した４：４：４フォーマットに対して、水平方向の色差信号Ｃｂ，Ｃｒを輝度信号Ｙの１／２のサイズとした４：２：２フォーマット、さらに垂直方向の色差信号Ｃｂ，Ｃｒを輝度信号Ｙの１／２のサイズとした４：２：０フォーマットなどが規定されている。
【０００４】
具体的には、４：２：２フォーマットでは、各走査線の輝度信号２サンプルに対して、色差信号１サンプルが配置されることになり、４：２：０フォーマットでは、垂直方向の輝度信号２サンプルに対して色差信号１サンプルが配置される。このような、コンポーネント信号をデジタル符号化することでデジタル映像信号が生成されることになる。
【０００５】
放送、通信、蓄積メディアなどで用いられるデジタル映像信号は、一般に、ＭＰＥＧ（Moving Picture Expert Group）技術によって、限られた周波数帯域幅での伝送を可能とするため高能率符号化、いわゆる圧縮符号化されている。例えば、ＭＰＥＧは、主にＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＨＤ（Hard Disk）といった１．５Ｍｂｉｔ／ｓ程度の伝送レートを有するデジタル蓄積メディア用の画像音響符号化方式であるＭＰＥＧ−１方式や、デジタル放送や、蓄積メディア、通信など汎用的に利用でき、さらに高ビットレートでの伝送を可能とした高品質の画像データを対象にしたＭＰＥＧ−２方式などが標準化され、広く普及している。
【０００６】
ところでＭＰＥＧ−２では、輝度信号（Ｙ）・色差信号（Ｃｒ、Ｃｂ）フォーマットとして、４：２：０、４：２：２、４：４：４の３つのフォーマットを使用することができる。中でも、４：２：２フォーマットは、国際電気通信連合（ＩＴＵ）の無線通信セクタ（ＩＴＵ−Ｒ）においてＩＴＵ−Ｒ勧告６０１として規定されており、スタジオ内などの業務用として用いられることが多く、４：２：０フォーマットに較べて高画質なフォーマットとなっている。テレビ信号の高能率符号化には、ＭＰＥＧ−２方式が主に利用されている。なお、ＭＰＥＧ−１では、４：２：０フォーマットの画像のみを扱うことができる。
【０００７】
ところで、デジタル映像信号は、高画質な映像を出力するためにＭＰＥＧ−２方式で高能率符号化するのが主流となっており、映像信号処理装置としても、４：２：２フォーマットのＭＰＥＧ−２方式で高能率符号化されたデジタル映像信号に対応した回路構成となっている。
【０００８】
しかしながら、ＣＤ−ＲＯＭやＨＤなどに記録された映像コンテンツなどは、ＭＰＥＧ−１方式で高能率符号化されているため、別途、ＭＰＥＧ−１方式で高能率符号化されたデジタル映像信号を処理するための回路が必要となってしまい、回路規模が増大してしまう。そこで、従来の映像信号処理装置は、４：２：０フォーマットであるＭＰＥＧ−１方式のデジタル映像信号を、４：２：２フォーマットに変換し、さらにＭＰＥＧ１方式からＭＰＥＧ−２方式に変換するＭＰＥＧ変換処理回路を備えた構成となっている。
【０００９】
具体的には、４：２：０フォーマットのＭＰＥＧ−１方式のデジタル映像信号をデコードすると、ｘｙ平面上に配置された輝度データＹ、色差データＣｂ，Ｃｒは、図１２に示すようになる。これを、まず、図１３に示すように４：２：２フォーマットに変換する。４：２：２フォーマットのＭＰＥＧ−２方式のデジタル映像信号をデコードすると、図１４に示すように、図１３に示す輝度データＹと、色差データＣｒ、Ｃｂとの位相関係と異なる位相関係になってしまう。
【００１０】
したがって、図１３に示すような輝度データＹと、色差データＣｂ，Ｃｒとの位相関係を、図１４に示すようなＭＰＥＧ−２方式のデジタル映像信号をデコードした輝度データＹと、色差データＣｂ，Ｃｒとの位相関係に揃えてやる必要がある。そこで、従来の映像信号処理装置が備えるＭＰＥＧ変換処理回路では、図１５に示すように、隣接する２点の色差データ、例えば、色差データＤ１、色差データＤ２からリニア補間を実行して色差データＤ２’を生成する。補間前輝度データ（Ｙ Source data）と、補間前色差データ（C Source data）の隣り合うデータ同士の間隔を１に正規化すると、補間後色差データ（C destination data）は、Ｄｎ’＝Ｄｎ×０．２５＋Ｄ（ｎ＋１）×０．７５ （ｎ＝１，２，３・ ・ ・）というような一般式で表すことができる。
【００１１】
このようにＭＰＥＧ変換処理回路は、輝度データＹと、色差データＣｂ，Ｃｒの位相合わせをすることで、ＭＰＥＧ−１方式のデジタル映像信号を、ＭＰＥＧ−２方式のデジタル映像信号に変換していた。
【００１２】
一方、映像信号処理装置は、上述したＭＰＥＧ変換処理回路以外に、画像処理の一機能として画像を縮小又は拡大する縮小拡大処理を実行して画像のサイズを変更する画像スケーリング回路を備えている。画像スケーリング回路は、補間フィルタを備えており、画像を縮小する場合は、元の画像データの画素数を、この補間フィルタを通して減少させ、逆に画像を拡大する場合は、元の画像データの画素数を、この補間フィルタを通して増加させる。このような画像スケーリング回路では、極力、元の画像の画質を劣化させずに縮小、拡大処理を実行するように、例えば、Ｃｕｂｉｃ関数などの近似曲線アルゴリズムを使ったポリフェーズフィルタなどを補間フィルタとして用いることが知られている（特許文献１参照。）。
【００１３】
図１６に、上述したようなＭＰＥＧ変換処理回路と、ポリフェーズフィルタである画像スケーリング回路とを備えている従来の映像信号処理装置１００の概略構成を示す。図１６に示すように、映像信号処理装置１００は、輝度データに対する処理を実行する輝度データ処理系と、色差データに対する処理を実行する色差データ処理系とがあり、補間前輝度データ（Y Source data）、補間前色差データ（C Source data）に対して画像スケーリング処理を施すポリフェーズフィルタである画像スケーリング回路１０２、１０４をそれぞれ個別に備えている。
【００１４】
また、上述したようにＭＰＥＧ変換処理は、補間前色差データに対してのみ実行すればよいので、画像スケーリング回路１０４の前段にＭＰＥＧ変換処理回路１０３が設けられている。さらに、輝度データ処理系には、色差データ処理系に、ＭＰＥＧ変換処理回路１０３が設けられていることによるレイテンシ（遅延）を調節するためのシフトレジスタ１０１が設けられている。
【００１５】
【特許文献１】特開２００３−１２２３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
このように、従来までの映像信号処理装置１００では、ＭＰＥＧ−１方式で高能率符号化されたデジタル映像信号を再生する際にＭＰＥＧ−２方式に変換するため、色差データＣｂ，Ｃｒに対しては、ＭＰＥＧ変換処理回路１０３、画像のスケーリングを変更する画像スケーリング回路１０４をそれぞれ個別に備えた構成となっていたため回路規模が増大してしまうといった問題があった。
【００１７】
そこで、本発明は、上述したような問題を解決するために案出されたものであり、上述したようなＭＰＥＧ変換処理回路が備える高効率符号化方式の変換処理機能と、画像スケーリング回路の備える画像スケーリング処理機能とを兼ね備えることで回路規模を大幅に削減した画像フィルタ回路及びフィルタリング処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上述の目的を達成するために、本発明に係る画像フィルタ回路は、輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理手段と、第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。
【００１９】
また、上述の目的を達成するために本発明に係るフィルタリング処理方法は、輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理工程と、第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。
【発明の効果】
【００２０】
本発明は、画像スケーリング処理、高効率符号化方式の変換処理を、従来までの画像スケーリング回路である画像フィルタ回路にて同時に実現することができるため、大幅な回路削減が実現可能となると共に、不要になった回路分のシステムレイテンシを削減することを可能とする。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明をする。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることはいうまでもない。
【００２２】
｛映像信号処理装置の装置構成｝
図１６で示したように、従来の映像信号処理装置１００は、ＭＰＥＧ変換処理と、画像スケーリング処理を実行するために、色差データＣｂ，Ｃｒに対する処理を実行する色差データ処理系において、それぞれ専用のＭＰＥＧ変換処理回路１０３、画像スケーリング回路１０４を備えていた。また、映像信号処理装置１００は、ＭＰＥＧ変換処理回路１０３が備えられたことに応じて、輝度データＹに対する処理を実行する輝度データ処理系において、シフトレジスタ１０１を設けることが必須となってしまっており大幅な回路規模の増大を余儀なくされていた。
【００２３】
ここで、映像信号処理装置１００が備える輝度データ処理系の画像スケーリング回路１０２と、色差データ処理系の画像スケーリング回路１０４について説明をする。画像スケーリング回路１０２、１０４は、例えば、Ｃｕｂｉｃ関数を用いたポリフェーズフィルタである。このポリフェーズフィルタは、４タップ（ｔａｐ）のＦＩＲ（Finite Impulse Response）フィルタで構成されているとする。
【００２４】
ポリフェーズフィルタは、補間前データ（Source data）間の任意の位置に、補間後データ（Destination data）を生成する補間フィルタである。例えば、ポリフェーズフィルタを用いると、図１に示すように、補間前データであるデータｓｒｃ（１）と、データｓｒｃ（２）との間に、データｓｒｃ（１）からphaseで示される位相分だけずれた位置に補間後データであるデータｄｓｔ（１）を生成することができる。
【００２５】
ここで使用するポリフェーズフィルタは、４タップフィルタであることから、タップ数分、つまり４つの補間フィルタ係数（Ｃｕｂｉｃ係数）が必要となる。補間フィルタ係数は、図１に示すように、近似補間関数であるＣｕｂｉｃ関数の基準点（中心）を、補間データを生成する位置に合わせたときの、補間前データの位置におけるインパルス応答に相当する。
【００２６】
この４つの補間フィルタ係数を重みとして、４つの補間前データに重み付けをして演算を施すことで、１つの補間後データを生成することができる。
【００２７】
例えば、図２に示すように、補間フィルタ係数ｋ１は、Ｃｕｂｉｃ関数の基準点からのずれであるphaseをｘとした場合に、（｜ｘ｜−１）（｜ｘ｜２−｜ｘ｜−１｜）というＣｕｂｉｃ関数に代入することで求めることができる。同様に残りの補間フィルタ係数ｋ０、ｋ２、ｋ３もＣｕｂｉｃ関数から算出することができる。このとき、Ｃｕｂｉｃ関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を１で正規化し、phaseを求める補間後データの位相と等価にすることができる。
【００２８】
このように、phaseが求まれば、Ｃｕｂｉｃ関数を用いて補間フィルタ係数が算出され、自動的に補間後データを生成することができる。このphaseは、図１に示すように、補間前データを拡大する際の拡大率、又は縮小する際の縮小率の逆数であり、累積加算することで補間後データの画素位置を決定するdeltaと、補間前データの端部、補間後データの端部における位相のずれを示したoffsetとの関係から算出することができる。
【００２９】
なお、補間後データの画素位置は、deltaを累積加算することで算出されるため、deltaが補間前データ間のピッチよりも長い場合、補間前データの数より、生成される補間後データの数が少なくなるため縮小処理となる。一方、deltaが補間前データ間のピッチよりも短い場合、補間前データの数より、生成される補間後データの数が多くなるため拡大処理となる。
【００３０】
以上のようにして、ポリフェーズフィルタである画像スケーリング回路１０２、１０４は、４個の補間前データと、phaseにより補間後データを生成し、画像の拡大又は縮小といった画像スケーリングを実現することになる。
【００３１】
このような処理を実現するために画像スケーリング回路１０２、１０４は、それぞれ図３（ａ）、（ｂ）に示すような構成となっている。
【００３２】
図３（ａ）に示すように、ポリフェーズフィルタである画像スケーリング回路１０２は、補間前輝度データをシフトさせるシフトレジスタ１１１、deltaを累積加算してphaseを求めるデルタアキュムレータ１１２、シフトレジスタ１１１から供給される４個の補間前輝度データと、アキュムレータ１１２から供給されるphaseを用いて、キュービック関数より、補間後輝度データを生成するキュービック関数ブロック１１３とを備えている。
【００３３】
また、画像スケーリング回路１０４は、補間前色差データをシフトさせるシフトレジスタ１２１、deltaを累積加算してphaseを求めるデルタアキュムレータ１２２、シフトレジスタ１２１から供給される４個の補間前色差データと、アキュムレータ１２２から供給されるphaseを用いて、キュービック関数より、補間後色差データを生成するキュービック関数ブロック１２３とを備えている。なお、シフトレジスタ１２１は、色差データＣｂ，Ｃｒを交互に入力するため、シフトレジスタ１１１よりもフリップフロップの段数が多くなっている。
【００３４】
ところで、図１６に示したように、従来の技術の映像信号処理装置１００が備えるＭＰＥＧ変換処理回路１０３では、ＭＰＥＧ−１方式のデジタル映像信号をデコードして、４：２：０フォーマットから４：２：２フォーマットへ変換した図１３に示す画像データの色差データＣｂ，Ｃｒをリニア補間することで輝度データＹとの位相を揃えていた。
【００３５】
なお、ＭＰＥＧ−１方式では、４：２：０フォーマットしか規定されていないが、説明のため、図１２に示す４：２：０フォーマットの画像データを変換した、図１３に示す４：２：２フォーマットの画像データをＭＰＥＧ−１方式の４：２：２フォーマットと呼ぶことにする。
【００３６】
上述したように画像スケーリング回路１０４は、補間前色差データの任意の位置に、つまり任意の位相に補間後色差データを生成することができるポリフェーズフィルタである。したがって、このポリフェーズフィルタは、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データの色差データＣｂ，Ｃｒの位相を、輝度データＹの位相と揃うようにフィルタリングすることもできると考えられる。つまり、ポリフェーズフィルタによって、画像のスケーリングを実行することはもちろんのこと、従来までは、ＭＰＥＧ変換処理回路１０３で担っていたＭＰＥＧ−１方式からＭＰＥＧ−２方式へと変換させることもできると考えられる。
【００３７】
そこで、本発明を実施するための最良の形態として示す映像信号処理装置では、色差データＣｂ，Ｃｒを処理する色差データ処理系に関して、図４に示すようなＭＰＥＧ方式の変換機能を備えたポリフェーズフィルタ１０を備えるものとする。
【００３８】
図４に示すように、ポリフェーズフィルタ１０は、補間前色差データをシフトさせるシフトレジスタ１１、deltaを累積加算してphaseを求めるデルタアキュムレータ１２、シフトレジスタ１１から供給される４個の補間前色差データと、デルタアキュムレータ１２から供給されるphaseを用いて、Ｃｕｂｉｃ関数により、補間後色差データを生成するキュービック関数ブロック１３と、offsetに固定値（例えば、０．７５）を加算する加算器１４と、offset又は固定値を加算されたoffsetのいずれかをセレクトし、デルタアキュムレータ１２に供給するセレクタ１５とを備えている。このように、ポリフェーズフィルタ１０は、図３（ｂ）で示した従来の画像スケーリング回路１０４に、加算器１４と、セレクタ１５とを加えた構成となっている。
【００３９】
以下に、図３（ｂ）に示した画像スケーリング回路１０４に加算器１４と、セレクタ１５とを備えたことで、ポリフェーズフィルタ１０が、画像スケーリング機能に加え、ＭＰＥＧ方式の変換をも実行できることについて説明をする。
【００４０】
図５は、図１３に示すＭＰＥＧ−１方式の４：２：２フォーマットの画像データの水平方向の輝度データＹ、色差データＣｒ、Ｃｂを１ラインずつ抽出した様子を示している。輝度データＹを補間前輝度データとし、色差データＣｂ，Ｃｒを補間前色差データとする。このようなＭＰＥＧ−１方式の画像データを、ポリフェーズフィルタ１０にてＭＰＥＧ−２方式に変換する場合、ポリフェーズフィルタ１０を介して生成される補間後色差データを、図５に示すように、補間前輝度データと同じ位相に一つ置きで配置されるようにすればよい。
【００４１】
図１、図２を用いて説明したように、Ｃｕｂｉｃ関数を用いる場合、Ｃｕｂｉｃ関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を１で正規化し、phaseを求める補間後データの位相と等価にすることができる。したがって、補間前色差データＣ３に着目すると、輝度データＹと同一位相である補間後色差データＣ３’とするには、０．２５だけ左水平方向に位相をシフトすればよいことが分かる。
【００４２】
つまり、図２で示したphaseを０．７５とすれば、このphaseと、４個の補間前色差データＣ１、Ｃ２、Ｃ３、Ｃ４を用いれば、ポリフェーズフィルタ１０にて補間後色差データＣ３’を生成することができる。
【００４３】
図４に示すポリフェーズフィルタ１０では、加算器１４でoffsetに０．７５を加算し、ＭＰＥＧ−１方式から、ＭＰＥＧ−２方式へと変換する場合には、セレクタ１５で、０．７５を加算したoffsetを選択し、ＭＰＥＧ方式の変換をしない場合には、offsetを選択するようにしている。また、図６に示すポリフェーズフィルタ１０’のように、デルタアキュムレータ１２からの出力であるphaseに０．７５を加算するような構成とした場合でも全く同じである。
【００４４】
図５では、deltaを1として拡大処理、縮小処理を実行せずに、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換を実行している場合を示しており、図４、図６に示すポリフェーズフィルタ１０、ポリフェーズフィルタ１０’それぞれにおいてdeltaを1、offsetをゼロとし、０．７５が加算された信号をセレクタ１５で選択すれば、キュービック関数ブロック１３にはphaseとして０．７５が供給されることになる。これにより、ポリフェーズフィルタ１０を介してフィルタリングされた補間後色差データは、ＭＰＥＧ−２方式の色差データの位相に変換されることになる。
【００４５】
このように、ポリフェーズフィルタ１０は、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データへと変換することができる。
【００４６】
つまり、ポリフェーズフィルタ１０は、deltaを等倍として1を与えてやると、単にＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データに変換する。
【００４７】
また、deltaに、縮小、拡大をさせるような値を与えてやれば、上述したＭＰＥＧ−１方式からＭＰＥＧ−２方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。例えば、図７では、delta＝２を与えたため、縮小率１／２の縮小処理と同時に、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換を実行することができる。
【００４８】
｛端部処理について｝
続いて、画像スケーリングを実行する際の端部処理について説明をする。４つの補間データから１つの補間後データを生成し、画像スケーリングする際、つまり補間演算処理をする際には、画像の左端、右端、つまり有効画像データの開始点及び終了点を、どの補間前データを用いて生成するかが重要となる。この端部処理には、画像の切り出し方によって様々な手法が考案されているが、一般には、図８に示すように、最初の有効画像データを重複して用いて、輝度データＹ１，Ｙ１，Ｙ２，Ｙ３から補間後輝度データＹ１’、色差データＣ１，Ｃ１，Ｃ２，Ｃ３から補間後色差データＣ１’を生成している。図３（ａ），（ｂ）に示した従来のポリフェーズフィルタである画像スケーリング回路１０２，１０４でも画像スケーリングの際には、このような端部処理が実行されることになる。
【００４９】
ところで、本発明のポリフェーズフィルタ１０では、上述したように、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データへと変換することができるが、このときの色差データの端部処理を、図９に示すように実行する。つまり、左端にある有効画像データである色差データＣ１に対応した補間後色差データＣ１’を生成する場合には、４個の補間前色差データのうち、この色差データＣ１を３個用いた、色差データＣ１，Ｃ１，Ｃ１，Ｃ２を用いることにする。
【００５０】
｛ＭＰＥＧ−２方式→ＭＰＥＧ−１方式｝
実際には、あまり使用されることはないが、このポリフェーズフィルタ１０では、ＭＰＥＧ−２方式の４：２：２：フォーマットの画像データを、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データに変換することもできる。
【００５１】
ＭＰＥＧ−２方式からＭＰＥＧ−１方式に変換するには、輝度データを右方向に０．２５だけシフトすればよいので、図１０に示すように、ポリフェーズフィルタ１０に初期phaseとして０．２５を与えればよいことになる。端部においては、左端にある有効画像データである輝度データＣ１に対応した補間後色差データＣ１’を生成する際に、４個の補間前色差データのうち、この色差データＣ１を２個用いた、色差データＣ１，Ｃ１，Ｃ２，Ｃ３を用いることになる。
【００５２】
つまり、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換と同様に、ポリフェーズフィルタ１０に対して、deltaを等倍として1を与えてやると、単にＭＰＥＧ−２方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データに変換する。また、deltaに縮小、拡大をさせるような値を与えてやれば、上述したＭＰＥＧ−２方式からＭＰＥＧ−１方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。
【００５３】
｛ポリフェーズフィルタ１０の実装例｝
続いて、図４に示したポリフェーズフィルタ１０の実装例について説明をする。例えば、ポリフェーズフィルタ１０は、図１１に示す集積回路５０に実装される。図１１に示す集積回路５０は、アキュムレートデルタ（Accumulate Delta）５１と、データシフタ５２と、キュービックファンクション（Cubic Function）５３と、ディレイ（2ck Delay）５４と、セレクタ５５と、ディレイ（1ck Delay）５６とを備えている。
【００５４】
アキュムレートデルタ５１は、図４に示すデルタアキュムレータ１２、セレクタ１５、加算器１４に相当し、deltaとしてhppf_delta、offsetとしてhppf_offsetが入力されることでphaseであるphase_hcを生成する。このアキュムレートデルタ５１は、図示しないＣＰＵによってレジスタmpeg1_mode=1と設定されたことに応じて、図４に示したセレクタ１５を加算器１４からの出力となるように切り換えることになる。これにより、ＭＰＥＧ−１方式の４：２：２フォーマットの画像データを、ＭＰＥＧ−２方式の４：２：２フォーマットの画像データに変換することができる。
【００５５】
データシフタ５２は、図４に示すシフトレジスタ１１に相当し、キュービックファンクション５３は、図４に示すキュービック関数ブロック１３に相当する。また、ディレイ５４は、色差データＣｂ，Ｃｒによるレイテンシを調整し、ディレイ５６は、輝度データＹと、色差データＣｂ，Ｃｒとのレイテンシ調整する。
【００５６】
なお、図１１にポリフェーズフィルタ１０の実装例として示した集積回路５０は、一例であって、本発明を限定するものではない。
【００５７】
このようにして、ポリフェーズフィルタ１０は、ＭＰＥＧ変換処理と、画像スケーリング処理を実行するために、色差データＣｂ，Ｃｒに対する処理を実行する色差データ処理系において、図１６に示すように従来の映像信号処理装置１００が備えていたＭＰＥＧ変換処理回路１０３、画像スケーリング回路１０４で実行される機能を、ポリフェーズフィルタ１０のみにて実行することができる。
【００５８】
これにより、このようなポリフェーズフィルタ１０を備えた場合、映像信号処理装置は、ＭＰＥＧ変換処理、画像スケーリング処理が実行できることをそのままとしながら、大幅な回路削減並びに当該映像信号処理装置のシステムレイテンシを削減することができる。
【００５９】
なお、本発明は、ＭＰＥＧ−１方式、ＭＰＥＧ−２方式といった高効率符号化方式の種別に限定されるものではなく、４：２：２フォーマットにおける色差データに位相ずれがある全ての画像データ間の変換にて有効となる。
【図面の簡単な説明】
【００６０】
【図１】Ｃｕｂｉｃ関数を用いたフィルタリング処理について説明するための図である。
【図２】補間フィルタ係数について説明するための図である。
【図３】（ａ）は、輝度データ処理系における従来の画像スケーリング回路について説明するための図であり、（ｂ）は、色差データ処理系における従来の画像スケーリング回路について説明するための図である。
【図４】本発明を実施するための最良の形態として示すポリフェーズフィルタの構成について説明するための図である。
【図５】同ポリフェーズフィルタにおけるＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換処理について説明するための図である。
【図６】同ポリフェーズフィルタの別な構成について示した図である。
【図７】同ポリフェーズフィルタにおいて、ＭＰＥＧ−１方式からＭＰＥＧ−２方式への変換処理を実行すると同時に、画像スケーリング処理を実行する様子を示した図である。
【図８】従来の補間演算処理に伴う端部処理について示した図である。
【図９】上記ポリフェーズフィルタによる補間演算処理に伴う端部処理について示した図である。
【図１０】同ポリフェーズフィルタにおけるＭＰＥＧ−２方式からＭＰＥＧ−１方式への変換処理について説明するための図である。
【図１１】同ポリフェーズフィルタを実装した際の実装例を示した図である。
【図１２】ＭＰＥＧ−１方式の４：２：０フォーマット、画像データを示した図である。
【図１３】ＭＰＥＧ−１方式の４：２：２フォーマット、画像データを示した図である。
【図１４】ＭＰＥＧ−２方式の４：２：２フォーマット、画像データを示した図である。
【図１５】従来のＭＰＥＧ変換処理回路におけるＭＰＥＧ−２方式から、ＭＰＥＧ−１方式への変換処理について説明するための図である。
【図１６】従来の映像信号処理装置について説明するための図である。
【符号の説明】
【００６１】
１０ ポリフェーズフィルタ、１１ シフトレジスタ、１２ デルタアキュムレータ、１３ キュービック関数ブロック、１４ 加算器、１５ セレクタ
【特許請求の範囲】
【請求項１】
輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理手段と、
第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、
上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、
上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とする画像フィルタ回路。
【請求項２】
上記第１の高効率符号化方式は、ＭＰＥＧ−１（Moving Picture Expert Group-1）方式であり、
上記第２の高効率符号化方式は、ＭＰＥＧ−２（Moving Picture Expert Group-2）方式であること
を特徴とする請求項１記載の画像フィルタ回路。
【請求項３】
輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理工程と、
第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、
上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、
上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とするフィルタリング処理方法。
【請求項１】
輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理手段と、
第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、
上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、
上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とする画像フィルタ回路。
【請求項２】
上記第１の高効率符号化方式は、ＭＰＥＧ−１（Moving Picture Expert Group-1）方式であり、
上記第２の高効率符号化方式は、ＭＰＥＧ−２（Moving Picture Expert Group-2）方式であること
を特徴とする請求項１記載の画像フィルタ回路。
【請求項３】
輝度データ、色差データからなる４：２：２フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理工程と、
第１の高効率符号化方式に対応する４：２：２フォーマットの第１の画像データの色差データと、第２の高効率符号化方式に対応する４：２：２フォーマットの第２の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、
上記第１の画像データから上記第２の画像データへの変換、又は上記第２の画像データから上記第１の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、
上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とするフィルタリング処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−１１５３４０（Ｐ２００６−１１５３４０Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００４−３０２０９１（Ｐ２００４−３０２０９１）
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]