超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路
【課題】圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとする。
【解決手段】映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法として、前記符号化データを復号する。前記符号化データに含まれている超解像化処理をするための情報を抽出する。前記抽出された情報を用いて前記復号された映像信号の画質を良好なものとする。
【解決手段】映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法として、前記符号化データを復号する。前記符号化データに含まれている超解像化処理をするための情報を抽出する。前記抽出された情報を用いて前記復号された映像信号の画質を良好なものとする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置等における圧縮された映像信号の復号に関し、特に超解像化制御のための圧縮復号方式に関する。
【背景技術】
【０００２】
映像信号を伝送するにあたり、伝送帯域の効率化観点で、帯域圧縮技術がある。この点、動画像を扱う圧縮技術として、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式が挙げられる。そして、ＭＰＥＧ方式として具体的にはＭＰＥＧ２やＭＰＥＧ４、最近では、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといった方式があり、これらの圧縮技術は規格化され既知のものである。
【０００３】
もっとも、これらの規格化された内容は、技術方式の規定について述べられているだけであり、本発明に関わる、高画質化を目指すものとしては決して十分ではない。なぜなら、高画質化を目指すためには、これらの規格に準拠するだけではなく、高画質化のための技術、いわゆるアルゴリズムを高性能にする必要があるからである。
【０００４】
つまり、高画質を得るためには、高性能なアルゴリズムが必要ということであるが、伝送網の発展にともない、様々なアルゴリズムが混在する現在の特に公衆回線を用いた伝送形態においては、そのような高性能なアルゴリズムを特別なものとして扱わざるを得ない状況となっている。
【０００５】
他方、高解像度の表示が可能な表示装置が一般に広く普及しつつある。そして、普及に伴い超解像化のような画質を良く見せる技術も進歩してきており、この超解像化等の技術は、家庭用テレビを初め、業務用表示機器にも導入されている。
【０００６】
これら、帯域圧縮技術や超解像化技術は、インターレース方式やプログレッシブ方式といった走査方式の違う映像信号や、輝度信号と色差信号が多重されているＮＴＳＣ（National Television System Committee）といったコンポジット映像信号、又は、輝度信号と色差信号が分離されているＲＧＢといったコンポーネント映像信号を処理するものである。
【０００７】
ここで、時間空間が推移する動画像の信号処理には、いくつかの不整合が生じる。
【０００８】
例えば、インターレース方式とプログレッシブ方式では、１画面として捉える画素データ数に違いがあるため、時間軸の変化とともに、斜めの表示精度に１画面間の粗が浮き彫りになってしまうことがある。更に、コンポジット映像信号とコンポーネント映像信号では、輝度信号と色差信号の分離状況による色にじみといった現象がある。
【０００９】
伝送帯域の効率化のための動画像圧縮技術と画質を良く見せるための超解像化技術の組み合わせが多くなってきたことにより、圧縮技術は、インターレース処理、片や超解像化技術はプログレッシブ処理のような、映像信号の扱い方も様々となり、相互の共通化も重要なものとなってきている。
【００１０】
このような背景に鑑みて、下述するような多様な画像処理技術が提案されている。
【００１１】
例えば、特許文献１の特に段落［００２２］や、図２においてＤＣＴ（Discrete Cosine Transform）変換に際しフィルタリング処理を行う技術が記載されている。
【００１２】
また、特許文献２の特に段落［００２９］、［００３０］や、図２においてフレームメモリ差分による画像処理についての技術が記載されている。
【００１３】
更に、特許文献３には超解像化処理についての技術が記載されている。また、特許文献４には符号化歪を低減するための技術が記載されている。また、特許文献５にはモスキート歪を低減するための技術が記載されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−１４１７２２号公報
【特許文献２】特開２００８−２９３３８８号公報
【特許文献３】特開２００９−２１８９６５号公報
【特許文献４】特開２００７−０６８０３６号公報
【特許文献５】特開２００４−００７２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上述したような特許文献記載の技術を用いることにより画質を改善することが可能となる。
【００１６】
しかしながら、上述したような技術は、各処理単独の内容であるものや、既存状態に単純に付与、付加するだけの内容である。そして、これらの技術を用いた場合は、以下に示すような問題が生じていた。
【００１７】
第１の問題点は、圧縮復号された映像信号を超解像化しても十分な効果が得られないことである。
【００１８】
その理由は、圧縮されたデータを復号する時点で十分な映像情報が得られていないため適切な超解像化ができないからである。
【００１９】
第２の問題点は、超解像化するための情報伝達が不足していることである。
【００２０】
その理由は、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みがないからである。
【００２１】
第３の問題点は、超解像化のような高画質化のための処理に時間がかかってしまうことである。
【００２２】
その理由は、高度な超解像化処理自体ほど時間がかかってしまうことである。
【００２３】
そこで本発明は、圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能な、超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の第１の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、前記符号化データを復号する復号ステップと、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、を備えることを特徴とする超解像化圧縮復号方法が提供される。
【００２５】
本発明の第２の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、前記符号化データを復号する復号手段と、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、を備えることを特徴とする超解像化圧縮復号回路が提供される。
【発明の効果】
【００２６】
本発明は、超解像化処理する前に超解像化するための制御を準備し、十分な映像情報が得られていない圧縮されたデータに内在する情報を用いることから圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態の基本的構成を表すブロック図である。
【図２】本発明の実施形態の基本的動作を表すフローチャート図である。
【図３】散乱度と画面制御強度について表す図である。
【図４】動きデータと部分制御領域について表す図である。
【図５】変化領域による部分制御強度について表す図である。
【発明を実施するための形態】
【００２８】
まず、本発明の実施形態の概略を説明する。
【００２９】
映像信号の伝送において、伝送帯域の効率化が必要であり、有線伝送や無線伝送と多くの伝送システムに圧縮技術が用いられている。インターネットの普及により、高い圧縮率、つまり、低レートでの伝送が蔓延している状況である。より高い圧縮率の方式が圧縮技術に求められており、画質劣化を防ぐための高度なアルゴリズムを追求する一方、低レートがゆえに、適度なアルゴリズムにて映像信号を伝送するシステムにおいて、画質を救済するというニーズも多くある。本発明の実施形態の構成として記載している超解像化技術は救済策の一つであるが、伝送されてくる映像信号そのものの情報量が不足している分、何らかの特徴を抽出することで、画質の救済具合も変わってくるものである。
【００３０】
本発明の実施形態では、圧縮処理の際に後段へ伝送する特徴のあるデータを、画質を良くする特徴のあるデータとして抽出することで、超解像化技術のような画質を良くする技術を連動させることに着目した方式発明である。
【００３１】
以上が本願発明の実施形態の概略である。
【００３２】
次に、本発明の実施形態について図面を用いて詳細に説明する。
【００３３】
図１は、本発明の実施形態の構成を示すブロック図である。本実施形態は、圧縮部１００、復号部２００、方式制御部３００及び超解像化部４００を有している。
【００３４】
次に、各部の機能について説明する。圧縮部１００は、入力映像信号を圧縮処理する機能を有する。また、復号部２００は、圧縮部１００が圧縮処理を施した信号を復号する機能を有する。更に、方式制御部３００は圧縮処理を施した信号から超解像化処理をするための情報信号を抽出する機能を有する。また、超解像化部４００は、画質を良く見せるための処理を施す機能を有する。
【００３５】
なお、図１では本実施形態全体の処理について説明するため圧縮部１００を含めたブロック図としている。もっとも、本実施形態を実装する場合は、復号部２００、方式制御部３００及び超解像化部４００の３つの部の一部又は全てを回路等（例えば、チップセット）としてもよい。すなわち、圧縮部１００も含めて単一の装置に組み込まれていてもよいが、圧縮部１００は他の装置により実現されてもよい。
【００３６】
以上のような構成からなる本発明の実施形態では、圧縮された信号（ＳＩＧ２）には、人間の視覚的に疎いとされる情報や目立ちやすいといった情報が内在していることに着目し、それらの不十分な映像情報を補助的に利用することで、画質を良く見せることが可能となる。
【００３７】
更に、圧縮された信号（ＳＩＧ２）には、人間が目に付きやすい動きの激しさを表現する情報も内在している。そこで本実施形態では、その部分に着目し、画質を良く見せる制御を実現することで、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みが可能となる。
【００３８】
加えて、本実施形態では、方式制御部３００の追加処理を施すことで、超解像化処理自体の開始を待たせてしまわぬよう、並列に組み込むことで、画質を良く見せるための追加処理による遅延増大の弊害をきたさないことが可能である。
【００３９】
次に、図１のブロック図及び図２に示すフローチャートを参照して本実施形態の信号の流れにそった動作概要について説明する。本実施形態では、アナログ映像信号やデジタル映像信号、又は、コンポジット映像信号やコンポーネント映像信号等の映像信号を入力映像信号（ＳＩＧ１）として用いる。
【００４０】
まず、入力映像信号（ＳＩＧ１）を伝送するため、圧縮部１００に入力映像信号（ＳＩＧ１）が入力される。圧縮部１００は入力された入力映像信号（ＳＩＧ１）に対して圧縮処理を行う（ステップＡ１０）。圧縮された信号（ＳＩＧ２）は、ＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといった方式により処理された信号で、発生符号数や量子化データ、動きデータなどの情報が内在している。
【００４１】
圧縮された信号（ＳＩＧ２）は、入力映像信号（ＳＩＧ１）と同様な映像信号に戻すために復号部２００に出力されるとともに、本発明の実施形態の特徴を実現するために、方式制御部３００へも出力される（ステップＡ１１）。なお、圧縮部１００から、復号部２００及び方式制御部３００への圧縮された信号（ＳＩＧ２）の出力（伝送）は、有線又は無線のネットワークを介して行われてもよいし、また、一度装置内の記憶装置に格納された後に、読み出されることにより行われてもよい。また、例えばＤＶＤ（Digital Versatile Disc）や、ＢＤ（Blu-ray Disc）といった記憶媒体に記録された後に読み込み出されることにより行われてもよい。
【００４２】
続いて、復号部２００にて、圧縮された信号（ＳＩＧ２）は復号され、この復号された信号（ＳＩＧ３）は、画質を良く見せるための超解像化部４００に出力される（ステップＡ１２）。
【００４３】
他方、ステップＡ１２における動作と同時に（つまり、復号部２００にて復号処理を行っている間に）、方式制御部３００より、超解像化処理をするために情報信号（ＳＩＧ４）が抽出される。具体的には、圧縮された信号（ＳＩＧ２）に内在している発生符号数や量子化データ、動きデータの情報が抽出される。この抽出は、後段の画質を良く見せるための超解像化部４００を動的かつ適応的にコントロールするために方式制御部３００内のロジックを通過させることにより実現される。そして、この超解像化処理をするための情報信号（ＳＩＧ４）が超解像化部４００に出力される（ステップＡ１３）。
【００４４】
超解像化部４００では、復号された信号（ＳＩＧ３）と超解像化処理をするための情報信号（ＳＩＧ４）により、画質を良く見せるための処理を施した後、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）として出力する（ステップＡ１４）。ここで、超解像化処理をするための情報信号（ＳＩＧ４）は、伝送レート内に含まれる情報数である発生符号数と圧縮規格による量子化データを掛け合わせた散乱度数と、動的変化を示す座標差異に応じた動きデータそのものを用いることとする。
【００４５】
この点、まず、散乱度数について説明する。
【００４６】
圧縮技術により生成される圧縮された信号（ＳＩＧ２）に伝送レート内に含まれる情報数である発生符号量と量子化データが内在する。高い比率で圧縮すれば発生符号量は減少するが、情報量不足により入力映像信号（ＳＩＧ１）とは違った、画質劣化の激しい情報になるだけである。そのようなことがおきないように、量子化データを変化させ複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮されるものがアルゴリズムに依存した圧縮するためのコントロール技術である。
【００４７】
具体的には、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能である。この圧縮技術により生成される圧縮された信号（ＳＩＧ２）は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、伝送レート内に含まれる情報数である発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能である。
【００４８】
次に、動きデータについて説明する。本実施形態では散乱度数に加えて、圧縮された信号（ＳＩＧ２）に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。超解像化部４００では、映像信号を１画面として捉え、散乱度数と動きデータによる超解像化処理をするための情報信号（ＳＩＧ４）より、散乱度数の多い場合は画面全体に、また、動きデータの座標差異に応じたドット単位、ライン単位、ブロック単位に画質を良くするための処理を施す。ここでは、超解像化部４００にて処理する際の映像特性情報を伝達することだけで、超解像化部４００の処理に関しては触れない。
【００４９】
これらにより、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）を出力できることになる。
【００５０】
なお、本発明は、映像信号を効率的に伝送するシステムにおいて、特に、圧縮復号する技術と画質を良く見せるといった超解像化の技術を組み合わせるシステムにおいて有効な発明につき、いくつかの他の実施形態も包括する発明である。すなわち上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００５１】
具体的に説明すると、例えば上述の説明においては、動きのある画像信号を映像信号として規定しているが、動きのない画像信号も本発明の方式にて包括されるものである。また、効率的な伝送がゆえに、圧縮復号による情報量不足は否めず、その情報量不足による画質劣化の救済策として、単なるフィルタリングなどの信号処理技術も超解像化以外の技術として包括する。さらに、圧縮データに含まれる情報のどの部分をどのように抽出し利用するかの方法は、本圧縮復号方式の一部となるため本発明にて包括する。
【００５２】
入力映像信号（ＳＩＧ１）を効率的に伝送するため、圧縮部１００にて行う処理にＤＣＴ（Discrete Cosine Transform）がある。次に、このＤＣＴについて説明する。
【００５３】
映像信号の画素位置を（ｘ，ｙ）としたときの画素領域的表現にてｇ（ｘ，ｙ）としたものから二次元周波数を（Ｘ，Ｙ）としたときの周波数領域的表現にてＧ（Ｘ，Ｙ）としたものへ順方向に変換する関数がある。
【００５４】
【数１】
但し、
【数２】
であるものとする。
【００５５】
また、逆に戻す逆方向に変換する関数は以下の通りである。
【数３】
但し、
【数４】
であるものとする。
【００５６】
上記関数式の通り、この変換は、画像データを周波数データに変換するもので、この処理により、低周波成分と高周波成分が分解できる。そしてこの分解によりデータを圧縮しやすくなるため、圧縮処理の前段にて処理する常套手段でもある。また、相互の変換にて、元情報は維持しつつ、８×８等の画素単位で圧縮処理を行う過程においては、冗長度を除くことができるため、圧縮効率を高める手助けも担っている。
【００５７】
このような基本的な前処理を経て、圧縮処理を行うが、冗長分を取り除くことで高周波成分情報不足の結果として、モスキートノイズが発生することや、８×８等の画素単位ブロックにて処理するがゆえ、細かなブロック状の塊がブロックノイズとして発生したりしてしまう。前記のようなモスキートノイズやブロックノイズは、ＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといったすべての動画像圧縮方式と切っても切れない関係である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式のように、細かな画素単位での圧縮処理やデブロッキングフィルタのような、特別な処理により、ノイズを低減させる策も投じられているが、絶対数的に情報量が不足している状況では、何らかの工夫をしなければなく、画質を良く見せるための超解像化技術相当の技術で救済せざるを得ない状況である。
【００５８】
しかし、圧縮された信号（ＳＩＧ２）処理された信号には、どのような処理をしたのかといった情報はもっているため、それらの情報を利用することに着目する。人間の視覚特性としては、動きのある部分に目が行くものである。目につくポイント、特に、動きの激しい部分の情報をもって、動きの激しい部分の画質を救済すれば、高画質化につながるものである。そのため、圧縮された信号（ＳＩＧ２）の中で、ここでは、３つの重要な情報を方式制御部３００にて抽出することを一例として挙げる。なお、ここで示すのはあくまで一例である。よってこれら３つの情報全てを用いても良いし、その一部のみを用いても良い。またこれら３つの情報に代えて、若しくはこれら３つの情報に加えて他の情報を用いるようにしても良い。
【００５９】
ここで３つの情報とは、画面全体がどの程度の符号量をもっているかを示す発生符号量と前記ＤＣＴ処理により周波数分離された画像の刻み方を示す量子化データ、さらに、どのようなブロックにて動きが生じたかを示す動きデータである。なお、動きが激しくなくとも入力映像信号（ＳＩＧ１）と同様に、出力映像信号（ＳＩＧ５）が細かな部分まで再現できるよう、方式制御部３００では、発生符号量と量子化データを掛け合わせることで表現できる散乱度を算出する。
【００６０】
この散乱度算出の狙いは次の通りである。圧縮部１００から出力される圧縮された信号（ＳＩＧ２）に、発生符号数と量子化データがある。高い比率で圧縮すれば発生符号数は減少するが、情報量不足により入力映像信号（ＳＩＧ１）とは違った、画質劣化の激しい情報になる場合もある。そのようなことがおきないように、量子化データを変化させ、複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮処理したりするコントロールをアルゴリズムとして行っている。
【００６１】
つまり、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能であるため、発生符号量と量子化データの双方を乗算することで、その画面の複雑度が散乱度として有効な情報になり得るのである。
【００６２】
圧縮された信号（ＳＩＧ２）から発生符号量や量子化データ、動きデータを抽出し、発生符号量と量子化データの乗算によって計算することを方式制御部３００にて行うとともに、復号部２００にて復号処理を施す。復号された信号（ＳＩＧ３）は、画質を良く見せるための超解像化部４００に出力する一方、方式制御部３００にて抽出、算出された超解像化処理をするための情報信号（ＳＩＧ４）により、画質を良く見せるための超解像化部４００を動的かつ適応的にコントロールし、その超解像化部４００による処理を施す。
【００６３】
生成される圧縮された信号（ＳＩＧ２）は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能であり、また、圧縮された信号（ＳＩＧ２）に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。
【００６４】
ここで、圧縮技術について改めて記載するが、圧縮技術は類似信号の省略による情報数の削減であるため、同じような量子化情報や同じような動き情報をその都度伝送している訳ではなく、差分のみ伝送しているものである。その差分対象範囲は、画面全体であったり、数ラインの帯状単位であったり、正方形や長方形のブロック単位であったりさまざまである。動きデータには、座標の差異により、移動距離や移動方向が把握できるが、周辺の動きデータから予測する圧縮方式もある。差分そのものでなく、或る差分から、その周辺の差分を予測することもでき、結果的には、差分の周辺から差分を予測した分の伝送情報数が削減できる。これにより圧縮そのものの符号化情報数を多く伝送でき、圧縮による情報量不足を少し改善できることもある。この差分の周辺から差分を予測することによる圧縮そのものの符号化情報を多くすることで、平坦なアスファルトを映す映像信号では、復号化された映像信号の再現性が良いこともある。
【００６５】
このように方式制御部３００では、圧縮された信号（ＳＩＧ２）からさまざまな方法により画質を良くみせるための制御が行える。本実施形態では、圧縮された信号（ＳＩＧ２）より、発生符号量、量子化データ、動きデータを抽出し、計算することにより、超解像化部４００を効率的に制御する方式であり、超解像化部４００では、図３の概要のように、映像信号を１画面として捉え、散乱度数による超解像化処理をするための情報信号（ＳＩＧ４）より、散乱度数の多い場合は画面全体に、画質を良くするための処理の重み付け係数情報として、画面制御強度を利用した処理を施す。
【００６６】
また、図４の概要のように、方式制御部３００にて、ある決めた画面領域毎に座標変化状況をもととした動きデータから、動きを生じた対象領域か否かの判断を行い、図５の概要のように、その変化量から部分的な制御強度に応じた、ドット単位、ライン単位、ブロック単位に画質を良くするための処理ができるような重み付け係数情報として、超解像化処理をするための情報信号（ＳＩＧ４）を超解像化部４００に渡す方式である。なお、図３〜図５の方法については、映像信号素材により、可変できる仕組みであるため、数値表現は行わない。
【００６７】
これらにより、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）を出力できることになる。
【００６８】
本発明の実施形態の具体的な活用例として、遠距離での監視システムが挙げられる。遠距離であるため、手ごろなネットワーク回線を利用することが多いが、セキュアな伝送の場合は、衛星回線を利用することもある。また、監視用途の場合は、常時接続が多いため、回線利用の効率化のためにも低レートでの伝送が必要となる。
【００６９】
しかし、見えればよいだけの監視目的はよろしくなく、見たいときの映像はきちんと見えるべきものであるため、画質を良くするシステムが必要なのである。
【００７０】
また、個々処理を行うことによる絶対遅延の短縮も有効である。監視用途の場合、遠隔操作にて見たいポイントに映像信号元のひとつであるカメラを操作することがあり、その操作による瞬時の反応を求められることが多く、多段接続にて処理ブロックを構成してしまうと、より多くの処理遅延が生じてしまうため、本発明のような並列処理による追加構成が必要なのである。
【００７１】
なお、本発明の実施形態である超解像化制御のための圧縮復号装置は、ハードウェアにより実現することもできるが、コンピュータをその超解像化制御のための圧縮復号装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００７２】
また、本発明の実施形態による超解像化制御のための圧縮復号方法は、ハードウェアにより実現することもできるが、コンピュータにその方法を実行させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００７３】
以上説明した本発明の実施形態は、以下に示すような多くの効果を奏する。
【００７４】
第１の効果は、圧縮復号された映像信号を超解像化することで、十分な高画質化といった効果が得られることである。
【００７５】
その理由は、十分な映像情報が得られていない圧縮されたデータを用いることで、適切な超解像化処理が行えるからである。
【００７６】
第２の効果は、超解像化するための制御構成が可能となることである。その理由は、圧縮された信号に内在する映像信号の特性を示す情報から、動的特性に応じた適応的な超解像化が行えることになるからである。
【００７７】
第３の効果は、超解像化となるための処理に時間がかからないことである。
【００７８】
その理由は、復号と、超解像化処理をするための情報信号の抽出を並列に行い、超解像化処理する前に超解像化するための制御を準備できるからである。
【符号の説明】
【００７９】
１００ 圧縮部
２００ 復号部
３００ 方式制御部
４００ 超解像化部
ＳＩＧ１ 入力映像信号
ＳＩＧ２ 圧縮された信号
ＳＩＧ３ 復号された信号
ＳＩＧ４ 超解像化処理をするための情報信号
ＳＩＧ５ 出力映像信号
【技術分野】
【０００１】
本発明は、映像信号処理装置等における圧縮された映像信号の復号に関し、特に超解像化制御のための圧縮復号方式に関する。
【背景技術】
【０００２】
映像信号を伝送するにあたり、伝送帯域の効率化観点で、帯域圧縮技術がある。この点、動画像を扱う圧縮技術として、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式が挙げられる。そして、ＭＰＥＧ方式として具体的にはＭＰＥＧ２やＭＰＥＧ４、最近では、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといった方式があり、これらの圧縮技術は規格化され既知のものである。
【０００３】
もっとも、これらの規格化された内容は、技術方式の規定について述べられているだけであり、本発明に関わる、高画質化を目指すものとしては決して十分ではない。なぜなら、高画質化を目指すためには、これらの規格に準拠するだけではなく、高画質化のための技術、いわゆるアルゴリズムを高性能にする必要があるからである。
【０００４】
つまり、高画質を得るためには、高性能なアルゴリズムが必要ということであるが、伝送網の発展にともない、様々なアルゴリズムが混在する現在の特に公衆回線を用いた伝送形態においては、そのような高性能なアルゴリズムを特別なものとして扱わざるを得ない状況となっている。
【０００５】
他方、高解像度の表示が可能な表示装置が一般に広く普及しつつある。そして、普及に伴い超解像化のような画質を良く見せる技術も進歩してきており、この超解像化等の技術は、家庭用テレビを初め、業務用表示機器にも導入されている。
【０００６】
これら、帯域圧縮技術や超解像化技術は、インターレース方式やプログレッシブ方式といった走査方式の違う映像信号や、輝度信号と色差信号が多重されているＮＴＳＣ（National Television System Committee）といったコンポジット映像信号、又は、輝度信号と色差信号が分離されているＲＧＢといったコンポーネント映像信号を処理するものである。
【０００７】
ここで、時間空間が推移する動画像の信号処理には、いくつかの不整合が生じる。
【０００８】
例えば、インターレース方式とプログレッシブ方式では、１画面として捉える画素データ数に違いがあるため、時間軸の変化とともに、斜めの表示精度に１画面間の粗が浮き彫りになってしまうことがある。更に、コンポジット映像信号とコンポーネント映像信号では、輝度信号と色差信号の分離状況による色にじみといった現象がある。
【０００９】
伝送帯域の効率化のための動画像圧縮技術と画質を良く見せるための超解像化技術の組み合わせが多くなってきたことにより、圧縮技術は、インターレース処理、片や超解像化技術はプログレッシブ処理のような、映像信号の扱い方も様々となり、相互の共通化も重要なものとなってきている。
【００１０】
このような背景に鑑みて、下述するような多様な画像処理技術が提案されている。
【００１１】
例えば、特許文献１の特に段落［００２２］や、図２においてＤＣＴ（Discrete Cosine Transform）変換に際しフィルタリング処理を行う技術が記載されている。
【００１２】
また、特許文献２の特に段落［００２９］、［００３０］や、図２においてフレームメモリ差分による画像処理についての技術が記載されている。
【００１３】
更に、特許文献３には超解像化処理についての技術が記載されている。また、特許文献４には符号化歪を低減するための技術が記載されている。また、特許文献５にはモスキート歪を低減するための技術が記載されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−１４１７２２号公報
【特許文献２】特開２００８−２９３３８８号公報
【特許文献３】特開２００９−２１８９６５号公報
【特許文献４】特開２００７−０６８０３６号公報
【特許文献５】特開２００４−００７２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上述したような特許文献記載の技術を用いることにより画質を改善することが可能となる。
【００１６】
しかしながら、上述したような技術は、各処理単独の内容であるものや、既存状態に単純に付与、付加するだけの内容である。そして、これらの技術を用いた場合は、以下に示すような問題が生じていた。
【００１７】
第１の問題点は、圧縮復号された映像信号を超解像化しても十分な効果が得られないことである。
【００１８】
その理由は、圧縮されたデータを復号する時点で十分な映像情報が得られていないため適切な超解像化ができないからである。
【００１９】
第２の問題点は、超解像化するための情報伝達が不足していることである。
【００２０】
その理由は、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みがないからである。
【００２１】
第３の問題点は、超解像化のような高画質化のための処理に時間がかかってしまうことである。
【００２２】
その理由は、高度な超解像化処理自体ほど時間がかかってしまうことである。
【００２３】
そこで本発明は、圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能な、超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路を提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の第１の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、前記符号化データを復号する復号ステップと、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、を備えることを特徴とする超解像化圧縮復号方法が提供される。
【００２５】
本発明の第２の観点によれば、映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、前記符号化データを復号する復号手段と、前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、を備えることを特徴とする超解像化圧縮復号回路が提供される。
【発明の効果】
【００２６】
本発明は、超解像化処理する前に超解像化するための制御を準備し、十分な映像情報が得られていない圧縮されたデータに内在する情報を用いることから圧縮処理にて情報量が不足した復号処理後の映像信号の画質を追加処理による追加遅延を生じることなくより良好なものとすることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態の基本的構成を表すブロック図である。
【図２】本発明の実施形態の基本的動作を表すフローチャート図である。
【図３】散乱度と画面制御強度について表す図である。
【図４】動きデータと部分制御領域について表す図である。
【図５】変化領域による部分制御強度について表す図である。
【発明を実施するための形態】
【００２８】
まず、本発明の実施形態の概略を説明する。
【００２９】
映像信号の伝送において、伝送帯域の効率化が必要であり、有線伝送や無線伝送と多くの伝送システムに圧縮技術が用いられている。インターネットの普及により、高い圧縮率、つまり、低レートでの伝送が蔓延している状況である。より高い圧縮率の方式が圧縮技術に求められており、画質劣化を防ぐための高度なアルゴリズムを追求する一方、低レートがゆえに、適度なアルゴリズムにて映像信号を伝送するシステムにおいて、画質を救済するというニーズも多くある。本発明の実施形態の構成として記載している超解像化技術は救済策の一つであるが、伝送されてくる映像信号そのものの情報量が不足している分、何らかの特徴を抽出することで、画質の救済具合も変わってくるものである。
【００３０】
本発明の実施形態では、圧縮処理の際に後段へ伝送する特徴のあるデータを、画質を良くする特徴のあるデータとして抽出することで、超解像化技術のような画質を良くする技術を連動させることに着目した方式発明である。
【００３１】
以上が本願発明の実施形態の概略である。
【００３２】
次に、本発明の実施形態について図面を用いて詳細に説明する。
【００３３】
図１は、本発明の実施形態の構成を示すブロック図である。本実施形態は、圧縮部１００、復号部２００、方式制御部３００及び超解像化部４００を有している。
【００３４】
次に、各部の機能について説明する。圧縮部１００は、入力映像信号を圧縮処理する機能を有する。また、復号部２００は、圧縮部１００が圧縮処理を施した信号を復号する機能を有する。更に、方式制御部３００は圧縮処理を施した信号から超解像化処理をするための情報信号を抽出する機能を有する。また、超解像化部４００は、画質を良く見せるための処理を施す機能を有する。
【００３５】
なお、図１では本実施形態全体の処理について説明するため圧縮部１００を含めたブロック図としている。もっとも、本実施形態を実装する場合は、復号部２００、方式制御部３００及び超解像化部４００の３つの部の一部又は全てを回路等（例えば、チップセット）としてもよい。すなわち、圧縮部１００も含めて単一の装置に組み込まれていてもよいが、圧縮部１００は他の装置により実現されてもよい。
【００３６】
以上のような構成からなる本発明の実施形態では、圧縮された信号（ＳＩＧ２）には、人間の視覚的に疎いとされる情報や目立ちやすいといった情報が内在していることに着目し、それらの不十分な映像情報を補助的に利用することで、画質を良く見せることが可能となる。
【００３７】
更に、圧縮された信号（ＳＩＧ２）には、人間が目に付きやすい動きの激しさを表現する情報も内在している。そこで本実施形態では、その部分に着目し、画質を良く見せる制御を実現することで、映像信号の動的特性に応じた適応的な超解像化が可能な仕組みが可能となる。
【００３８】
加えて、本実施形態では、方式制御部３００の追加処理を施すことで、超解像化処理自体の開始を待たせてしまわぬよう、並列に組み込むことで、画質を良く見せるための追加処理による遅延増大の弊害をきたさないことが可能である。
【００３９】
次に、図１のブロック図及び図２に示すフローチャートを参照して本実施形態の信号の流れにそった動作概要について説明する。本実施形態では、アナログ映像信号やデジタル映像信号、又は、コンポジット映像信号やコンポーネント映像信号等の映像信号を入力映像信号（ＳＩＧ１）として用いる。
【００４０】
まず、入力映像信号（ＳＩＧ１）を伝送するため、圧縮部１００に入力映像信号（ＳＩＧ１）が入力される。圧縮部１００は入力された入力映像信号（ＳＩＧ１）に対して圧縮処理を行う（ステップＡ１０）。圧縮された信号（ＳＩＧ２）は、ＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといった方式により処理された信号で、発生符号数や量子化データ、動きデータなどの情報が内在している。
【００４１】
圧縮された信号（ＳＩＧ２）は、入力映像信号（ＳＩＧ１）と同様な映像信号に戻すために復号部２００に出力されるとともに、本発明の実施形態の特徴を実現するために、方式制御部３００へも出力される（ステップＡ１１）。なお、圧縮部１００から、復号部２００及び方式制御部３００への圧縮された信号（ＳＩＧ２）の出力（伝送）は、有線又は無線のネットワークを介して行われてもよいし、また、一度装置内の記憶装置に格納された後に、読み出されることにより行われてもよい。また、例えばＤＶＤ（Digital Versatile Disc）や、ＢＤ（Blu-ray Disc）といった記憶媒体に記録された後に読み込み出されることにより行われてもよい。
【００４２】
続いて、復号部２００にて、圧縮された信号（ＳＩＧ２）は復号され、この復号された信号（ＳＩＧ３）は、画質を良く見せるための超解像化部４００に出力される（ステップＡ１２）。
【００４３】
他方、ステップＡ１２における動作と同時に（つまり、復号部２００にて復号処理を行っている間に）、方式制御部３００より、超解像化処理をするために情報信号（ＳＩＧ４）が抽出される。具体的には、圧縮された信号（ＳＩＧ２）に内在している発生符号数や量子化データ、動きデータの情報が抽出される。この抽出は、後段の画質を良く見せるための超解像化部４００を動的かつ適応的にコントロールするために方式制御部３００内のロジックを通過させることにより実現される。そして、この超解像化処理をするための情報信号（ＳＩＧ４）が超解像化部４００に出力される（ステップＡ１３）。
【００４４】
超解像化部４００では、復号された信号（ＳＩＧ３）と超解像化処理をするための情報信号（ＳＩＧ４）により、画質を良く見せるための処理を施した後、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）として出力する（ステップＡ１４）。ここで、超解像化処理をするための情報信号（ＳＩＧ４）は、伝送レート内に含まれる情報数である発生符号数と圧縮規格による量子化データを掛け合わせた散乱度数と、動的変化を示す座標差異に応じた動きデータそのものを用いることとする。
【００４５】
この点、まず、散乱度数について説明する。
【００４６】
圧縮技術により生成される圧縮された信号（ＳＩＧ２）に伝送レート内に含まれる情報数である発生符号量と量子化データが内在する。高い比率で圧縮すれば発生符号量は減少するが、情報量不足により入力映像信号（ＳＩＧ１）とは違った、画質劣化の激しい情報になるだけである。そのようなことがおきないように、量子化データを変化させ複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮されるものがアルゴリズムに依存した圧縮するためのコントロール技術である。
【００４７】
具体的には、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能である。この圧縮技術により生成される圧縮された信号（ＳＩＧ２）は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、伝送レート内に含まれる情報数である発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能である。
【００４８】
次に、動きデータについて説明する。本実施形態では散乱度数に加えて、圧縮された信号（ＳＩＧ２）に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。超解像化部４００では、映像信号を１画面として捉え、散乱度数と動きデータによる超解像化処理をするための情報信号（ＳＩＧ４）より、散乱度数の多い場合は画面全体に、また、動きデータの座標差異に応じたドット単位、ライン単位、ブロック単位に画質を良くするための処理を施す。ここでは、超解像化部４００にて処理する際の映像特性情報を伝達することだけで、超解像化部４００の処理に関しては触れない。
【００４９】
これらにより、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）を出力できることになる。
【００５０】
なお、本発明は、映像信号を効率的に伝送するシステムにおいて、特に、圧縮復号する技術と画質を良く見せるといった超解像化の技術を組み合わせるシステムにおいて有効な発明につき、いくつかの他の実施形態も包括する発明である。すなわち上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００５１】
具体的に説明すると、例えば上述の説明においては、動きのある画像信号を映像信号として規定しているが、動きのない画像信号も本発明の方式にて包括されるものである。また、効率的な伝送がゆえに、圧縮復号による情報量不足は否めず、その情報量不足による画質劣化の救済策として、単なるフィルタリングなどの信号処理技術も超解像化以外の技術として包括する。さらに、圧縮データに含まれる情報のどの部分をどのように抽出し利用するかの方法は、本圧縮復号方式の一部となるため本発明にて包括する。
【００５２】
入力映像信号（ＳＩＧ１）を効率的に伝送するため、圧縮部１００にて行う処理にＤＣＴ（Discrete Cosine Transform）がある。次に、このＤＣＴについて説明する。
【００５３】
映像信号の画素位置を（ｘ，ｙ）としたときの画素領域的表現にてｇ（ｘ，ｙ）としたものから二次元周波数を（Ｘ，Ｙ）としたときの周波数領域的表現にてＧ（Ｘ，Ｙ）としたものへ順方向に変換する関数がある。
【００５４】
【数１】
但し、
【数２】
であるものとする。
【００５５】
また、逆に戻す逆方向に変換する関数は以下の通りである。
【数３】
但し、
【数４】
であるものとする。
【００５６】
上記関数式の通り、この変換は、画像データを周波数データに変換するもので、この処理により、低周波成分と高周波成分が分解できる。そしてこの分解によりデータを圧縮しやすくなるため、圧縮処理の前段にて処理する常套手段でもある。また、相互の変換にて、元情報は維持しつつ、８×８等の画素単位で圧縮処理を行う過程においては、冗長度を除くことができるため、圧縮効率を高める手助けも担っている。
【００５７】
このような基本的な前処理を経て、圧縮処理を行うが、冗長分を取り除くことで高周波成分情報不足の結果として、モスキートノイズが発生することや、８×８等の画素単位ブロックにて処理するがゆえ、細かなブロック状の塊がブロックノイズとして発生したりしてしまう。前記のようなモスキートノイズやブロックノイズは、ＭＰＥＧ２やＭＰＥＧ４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣといったすべての動画像圧縮方式と切っても切れない関係である。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式のように、細かな画素単位での圧縮処理やデブロッキングフィルタのような、特別な処理により、ノイズを低減させる策も投じられているが、絶対数的に情報量が不足している状況では、何らかの工夫をしなければなく、画質を良く見せるための超解像化技術相当の技術で救済せざるを得ない状況である。
【００５８】
しかし、圧縮された信号（ＳＩＧ２）処理された信号には、どのような処理をしたのかといった情報はもっているため、それらの情報を利用することに着目する。人間の視覚特性としては、動きのある部分に目が行くものである。目につくポイント、特に、動きの激しい部分の情報をもって、動きの激しい部分の画質を救済すれば、高画質化につながるものである。そのため、圧縮された信号（ＳＩＧ２）の中で、ここでは、３つの重要な情報を方式制御部３００にて抽出することを一例として挙げる。なお、ここで示すのはあくまで一例である。よってこれら３つの情報全てを用いても良いし、その一部のみを用いても良い。またこれら３つの情報に代えて、若しくはこれら３つの情報に加えて他の情報を用いるようにしても良い。
【００５９】
ここで３つの情報とは、画面全体がどの程度の符号量をもっているかを示す発生符号量と前記ＤＣＴ処理により周波数分離された画像の刻み方を示す量子化データ、さらに、どのようなブロックにて動きが生じたかを示す動きデータである。なお、動きが激しくなくとも入力映像信号（ＳＩＧ１）と同様に、出力映像信号（ＳＩＧ５）が細かな部分まで再現できるよう、方式制御部３００では、発生符号量と量子化データを掛け合わせることで表現できる散乱度を算出する。
【００６０】
この散乱度算出の狙いは次の通りである。圧縮部１００から出力される圧縮された信号（ＳＩＧ２）に、発生符号数と量子化データがある。高い比率で圧縮すれば発生符号数は減少するが、情報量不足により入力映像信号（ＳＩＧ１）とは違った、画質劣化の激しい情報になる場合もある。そのようなことがおきないように、量子化データを変化させ、複雑な映像信号であっても、多くの情報量を割り当てられるように、圧縮処理したりするコントロールをアルゴリズムとして行っている。
【００６１】
つまり、量子化データを小さくすることで、圧縮すべき映像信号を細かく刻み、複雑な映像信号であっても、多くの情報量を得ることが可能であるため、発生符号量と量子化データの双方を乗算することで、その画面の複雑度が散乱度として有効な情報になり得るのである。
【００６２】
圧縮された信号（ＳＩＧ２）から発生符号量や量子化データ、動きデータを抽出し、発生符号量と量子化データの乗算によって計算することを方式制御部３００にて行うとともに、復号部２００にて復号処理を施す。復号された信号（ＳＩＧ３）は、画質を良く見せるための超解像化部４００に出力する一方、方式制御部３００にて抽出、算出された超解像化処理をするための情報信号（ＳＩＧ４）により、画質を良く見せるための超解像化部４００を動的かつ適応的にコントロールし、その超解像化部４００による処理を施す。
【００６３】
生成される圧縮された信号（ＳＩＧ２）は、アルゴリズムにより高度な圧縮するためのコントロールにより、発生符号量や量子化データは個々に応用することができるが、発生符号量と量子化データを掛け合わせた散乱度数を用いることで、アルゴリズムに深く依存せず、圧縮した映像信号を複雑度として判断することが可能であり、また、圧縮された信号（ＳＩＧ２）に内在している動きデータを用いることで、どのような映像信号なのかを判断することができる。
【００６４】
ここで、圧縮技術について改めて記載するが、圧縮技術は類似信号の省略による情報数の削減であるため、同じような量子化情報や同じような動き情報をその都度伝送している訳ではなく、差分のみ伝送しているものである。その差分対象範囲は、画面全体であったり、数ラインの帯状単位であったり、正方形や長方形のブロック単位であったりさまざまである。動きデータには、座標の差異により、移動距離や移動方向が把握できるが、周辺の動きデータから予測する圧縮方式もある。差分そのものでなく、或る差分から、その周辺の差分を予測することもでき、結果的には、差分の周辺から差分を予測した分の伝送情報数が削減できる。これにより圧縮そのものの符号化情報数を多く伝送でき、圧縮による情報量不足を少し改善できることもある。この差分の周辺から差分を予測することによる圧縮そのものの符号化情報を多くすることで、平坦なアスファルトを映す映像信号では、復号化された映像信号の再現性が良いこともある。
【００６５】
このように方式制御部３００では、圧縮された信号（ＳＩＧ２）からさまざまな方法により画質を良くみせるための制御が行える。本実施形態では、圧縮された信号（ＳＩＧ２）より、発生符号量、量子化データ、動きデータを抽出し、計算することにより、超解像化部４００を効率的に制御する方式であり、超解像化部４００では、図３の概要のように、映像信号を１画面として捉え、散乱度数による超解像化処理をするための情報信号（ＳＩＧ４）より、散乱度数の多い場合は画面全体に、画質を良くするための処理の重み付け係数情報として、画面制御強度を利用した処理を施す。
【００６６】
また、図４の概要のように、方式制御部３００にて、ある決めた画面領域毎に座標変化状況をもととした動きデータから、動きを生じた対象領域か否かの判断を行い、図５の概要のように、その変化量から部分的な制御強度に応じた、ドット単位、ライン単位、ブロック単位に画質を良くするための処理ができるような重み付け係数情報として、超解像化処理をするための情報信号（ＳＩＧ４）を超解像化部４００に渡す方式である。なお、図３〜図５の方法については、映像信号素材により、可変できる仕組みであるため、数値表現は行わない。
【００６７】
これらにより、入力映像信号（ＳＩＧ１）と同様な出力映像信号（ＳＩＧ５）を出力できることになる。
【００６８】
本発明の実施形態の具体的な活用例として、遠距離での監視システムが挙げられる。遠距離であるため、手ごろなネットワーク回線を利用することが多いが、セキュアな伝送の場合は、衛星回線を利用することもある。また、監視用途の場合は、常時接続が多いため、回線利用の効率化のためにも低レートでの伝送が必要となる。
【００６９】
しかし、見えればよいだけの監視目的はよろしくなく、見たいときの映像はきちんと見えるべきものであるため、画質を良くするシステムが必要なのである。
【００７０】
また、個々処理を行うことによる絶対遅延の短縮も有効である。監視用途の場合、遠隔操作にて見たいポイントに映像信号元のひとつであるカメラを操作することがあり、その操作による瞬時の反応を求められることが多く、多段接続にて処理ブロックを構成してしまうと、より多くの処理遅延が生じてしまうため、本発明のような並列処理による追加構成が必要なのである。
【００７１】
なお、本発明の実施形態である超解像化制御のための圧縮復号装置は、ハードウェアにより実現することもできるが、コンピュータをその超解像化制御のための圧縮復号装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００７２】
また、本発明の実施形態による超解像化制御のための圧縮復号方法は、ハードウェアにより実現することもできるが、コンピュータにその方法を実行させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。
【００７３】
以上説明した本発明の実施形態は、以下に示すような多くの効果を奏する。
【００７４】
第１の効果は、圧縮復号された映像信号を超解像化することで、十分な高画質化といった効果が得られることである。
【００７５】
その理由は、十分な映像情報が得られていない圧縮されたデータを用いることで、適切な超解像化処理が行えるからである。
【００７６】
第２の効果は、超解像化するための制御構成が可能となることである。その理由は、圧縮された信号に内在する映像信号の特性を示す情報から、動的特性に応じた適応的な超解像化が行えることになるからである。
【００７７】
第３の効果は、超解像化となるための処理に時間がかからないことである。
【００７８】
その理由は、復号と、超解像化処理をするための情報信号の抽出を並列に行い、超解像化処理する前に超解像化するための制御を準備できるからである。
【符号の説明】
【００７９】
１００ 圧縮部
２００ 復号部
３００ 方式制御部
４００ 超解像化部
ＳＩＧ１ 入力映像信号
ＳＩＧ２ 圧縮された信号
ＳＩＧ３ 復号された信号
ＳＩＧ４ 超解像化処理をするための情報信号
ＳＩＧ５ 出力映像信号
【特許請求の範囲】
【請求項１】
映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、
前記符号化データを復号する復号ステップと、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、
前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、
を備えることを特徴とする超解像化圧縮復号方法。
【請求項２】
請求項１に記載の超解像化圧縮復号方法において、
前記制御ステップにおいて抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が含まれており、
前記超解像化ステップでは映像信号を１画面として捉え、前記散乱度数の多い場合は前記１画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
【請求項３】
請求項１又は２に記載の超解像化圧縮復号方法において、
前記制御ステップにおいて抽出された情報には、動的変化を示す動きデータが含まれており、
前記超解像化ステップでは映像信号を１画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
【請求項４】
請求項３に記載の超解像化圧縮復号方法において、
前記符号化データを生成するための前記圧縮処理は、或る部分の差分から、その周辺の差分を予測することにより周辺の動きデータを予測することが可能な圧縮処理方式により行われていることを特徴とする超解像化圧縮復号方法。
【請求項５】
請求項１乃至４の何れか１項に記載の超解像化圧縮復号方法において、
前記復号ステップにおける復号と、前記制御ステップにおける超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号方法。
【請求項６】
映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、
前記符号化データを復号する復号手段と、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、
前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、
を備えることを特徴とする超解像化圧縮復号回路。
【請求項７】
請求項６に記載の超解像化圧縮復号回路において、
前記制御手段において抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が含まれており、
前記超解像化手段では映像信号を１画面として捉え、前記散乱度数の多い場合は前記１画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
【請求項８】
請求項６又は７に記載の超解像化圧縮復号回路において、
前記制御手段において抽出された情報には、前記映像信号の動的変化を示す動きデータが含まれており、
前記超解像化手段では映像信号を１画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
【請求項９】
請求項８に記載の超解像化圧縮復号回路において、
前記符号化データを生成するための前記圧縮処理は、或る部分の差分から、その周辺の差分を予測することにより周辺の動きデータを予測することが可能な圧縮処理方式により行われていることを特徴とする超解像化圧縮復号回路。
【請求項１０】
請求項６乃至９の何れか１項に記載の超解像化圧縮復号回路において、
前記復号手段における復号と、前記制御手段における超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号回路。
【請求項１】
映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号方法において、
前記符号化データを復号する復号ステップと、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御ステップと、
前記制御ステップにおいて抽出された情報を用いて前記復号ステップにおいて復号された映像信号の画質を良好なものとする超解像化ステップと、
を備えることを特徴とする超解像化圧縮復号方法。
【請求項２】
請求項１に記載の超解像化圧縮復号方法において、
前記制御ステップにおいて抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が含まれており、
前記超解像化ステップでは映像信号を１画面として捉え、前記散乱度数の多い場合は前記１画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
【請求項３】
請求項１又は２に記載の超解像化圧縮復号方法において、
前記制御ステップにおいて抽出された情報には、動的変化を示す動きデータが含まれており、
前記超解像化ステップでは映像信号を１画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号方法。
【請求項４】
請求項３に記載の超解像化圧縮復号方法において、
前記符号化データを生成するための前記圧縮処理は、或る部分の差分から、その周辺の差分を予測することにより周辺の動きデータを予測することが可能な圧縮処理方式により行われていることを特徴とする超解像化圧縮復号方法。
【請求項５】
請求項１乃至４の何れか１項に記載の超解像化圧縮復号方法において、
前記復号ステップにおける復号と、前記制御ステップにおける超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号方法。
【請求項６】
映像信号に圧縮処理を施して生成された符号化データを復号すると共に画質をより良好なものとする超解像化圧縮復号回路において、
前記符号化データを復号する復号手段と、
前記符号化データに含まれている超解像化処理をするための情報を抽出する制御手段と、
前記制御手段において抽出された情報を用いて前記復号手段において復号された映像信号の画質を良好なものとする超解像化手段と、
を備えることを特徴とする超解像化圧縮復号回路。
【請求項７】
請求項６に記載の超解像化圧縮復号回路において、
前記制御手段において抽出された情報には、伝送レート内に含まれる情報数である発生符号量と圧縮規格による量子化データを掛け合わせることにより算出される散乱度数が含まれており、
前記超解像化手段では映像信号を１画面として捉え、前記散乱度数の多い場合は前記１画面全体を対象として画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
【請求項８】
請求項６又は７に記載の超解像化圧縮復号回路において、
前記制御手段において抽出された情報には、前記映像信号の動的変化を示す動きデータが含まれており、
前記超解像化手段では映像信号を１画面として捉え、前記動きデータの座標差異に応じた、ドット単位、ライン単位及びブロック単位の何れか又はその組合せの単位で画質を良くするための処理を施すことを特徴とする超解像化圧縮復号回路。
【請求項９】
請求項８に記載の超解像化圧縮復号回路において、
前記符号化データを生成するための前記圧縮処理は、或る部分の差分から、その周辺の差分を予測することにより周辺の動きデータを予測することが可能な圧縮処理方式により行われていることを特徴とする超解像化圧縮復号回路。
【請求項１０】
請求項６乃至９の何れか１項に記載の超解像化圧縮復号回路において、
前記復号手段における復号と、前記制御手段における超解像化処理をするための情報の抽出とを並行して同時に行うことを特徴とする超解像化圧縮復号回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１７６４２３（Ｐ２０１１−１７６４２３Ａ）
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願番号】特願２０１０−３７２７６（Ｐ２０１０−３７２７６）
【出願日】平成２２年２月２３日（２０１０．２．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年９月８日（２０１１．９．８）
【国際特許分類】
【出願日】平成２２年２月２３日（２０１０．２．２３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]