復号化装置及び復号化方法
【課題】分散符号化の符号化効率を改善することを目的とする。
【解決手段】符号化装置から画像列を受信して復号化する復号化装置は、前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、非平坦部のデータを受信して復号化する非平坦部復号化部と、復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部とを有する。
【解決手段】符号化装置から画像列を受信して復号化する復号化装置は、前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、非平坦部のデータを受信して復号化する非平坦部復号化部と、復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号化装置及び復号化方法に関する。特に、本発明は、分散符号化のための超解像可能領域判定を実施する復号化装置及び復号化方法に関する。
【背景技術】
【０００２】
マルチメディアコンテンツの需要増加に伴い動画圧縮に関する研究が盛んに行われている。現在広く普及しているH.264/AVCなどの動画圧縮法に対し、分散映像符号化（DVC：Distributed Video Coding）という新しい手法が提案され、注目を集めている。
【０００３】
従来の動画圧縮法では符号化側で高負荷な処理を行うのに対し、DVCでは復号化側で高負荷な処理を行う。この特徴を活かして携帯電話など処理能力が低い端末でも従来の動画圧縮法と同等の符号化効率で映像を配信できるようになることが期待されている。しかしDVCの研究の歴史は浅く、まだ従来の動画圧縮法に匹敵するほどの符号化効率は達成出来ていない。
【０００４】
最初に、分散映像符号化（DVC）と超解像（SR：Super Resolution）について説明する。
【０００５】
（１）分散映像符号化（DVC）
図１に、一般的なDVC符号器・復号器のブロック図を示す（非特許文献１参照）。符号化側は映像を数フレーム置きにDCT変換や、Wavelet変換によってイントラ符号化する。この符号化されたフレームのことをKeyフレームと呼ぶ。その他のWyner-Zivフレームと呼ばれるフレームは冗長性を除去した後に量子化し、SW符号化器によりパリティシンドロームを生成し伝送する。SW復号器は、まずKeyフレームを復号した後に、復号された情報から間のフレームを動き補償によって求める。こうして得られた画像列はサイドインフォメーションと呼ばれる。SW復号器は、このサイドインフォメーションで予測しきれなかった成分を、パリティシンドロームを用いて誤り訂正を行う。訂正に失敗した場合、復号器は符号器に追加の情報を要求し、より長いパリティシンドロームを受信する。復号された信号は逆量子化され、冗長性を復元し、出力される。
【０００６】
（２）ロバスト超解像（SR）
超解像復元における画像獲得モデルは一般的に以下のように表わされる（非特許文献２参照）。このモデルを図２に示す。
【０００７】
【数１】
Ykは[H×W]ピクセルの観測画像を辞書式に並べ替えた[HW×1]のベクトル、Xは[RH×RW]ピクセルの高解像度画像を辞書式に並べ替えた[R2HW×1]のベクトルである。k、N、Rはそれぞれフレームインデックス、観測画像の枚数、観測画像と高解像度画像の解像度の比である。D、Hk、Fkはそれぞれダウンサンプル、ぶれ、位置ずれを作用させる行列を表す。Vkは付加ノイズのベクトルである。ぶれの点拡がり関数（PSF：Point Spread Function）が映像全体で一様であると仮定する時、Hk=Hと置き換えることができる。さらに位置ずれが並進動きのみと仮定すると、HFk=FkHが成立する。ここで、Z=HX（ZはXにぶれを加えた画像）とおくと、最尤推定問題は次式で表される。
【０００８】
【数２】
ここで、‖ ‖pは損失関数のノルムである。式（２）を解くことは困難であり、勾配法による反復計算を用いて近似解を求めるのが一般的な手法である。勾配法で解く場合、
【０００９】
【数３】
を考える。まずp=1のとき、
【００１０】
【数４】
となる。ここで、D、Fkの転置行列DT、FTkはそれぞれアップサンプル、Fkと反対方向のシフトを作用させる行列である。よってD、Fk、DT、FTkはZの値を変化させず、それらの高解像度格子における位置を変えるだけである。式（４）は、各画素Z(i)が、signの「+1」と「-1」の値が等しくなるときに成立し、それはすなわち解がその点に位置合わせされる画素値のメディアンであることを意味する。
【００１１】
次にp=2のとき、
【００１２】
【数５】
となる。先程と同様に、D、Fk、DT、FTkはZの値を変化させない。式（５）は各画素の差分の和が0に等しいときに成立し、式（５）の解がその点に位置合わせされる画素値の平均値であることを意味する。このように位置合わせと、平均値あるいはメディアンを採用する処理をfusionと呼ぶ。
【００１３】
図３に、高解像格子に位置合わせされる例を示す。図の左は[2×2]ピクセルの観測画像列、右は2倍の高解像度格子に位置された結果の例を示す。
【００１４】
fusionを行った後、位置合わせで該当する画素値が割り振られなかった画素値の補間とぶれ除去を同時に行うことにより、高解像度画像Xを求める。Xは次式によって求められる。
【００１５】
【数６】
AはZ(i)に位置合わせされる画素数を、その位置に対応する対角成分に持つ重み行列である。Slxはx軸方向へ画像をlピクセルシフトさせ、Smyはy軸方向へ画像をmピクセルシフトさせる。第二項は画像が平坦であることを制約に課している。αは注目画素から距離が離れる程重みを軽くする0≦α≦1の値であり、λは正則化パラメータである。式（６）は繰り返し計算によって解かれる。
【００１６】
【数７】
βはステップサイズパラメータである。
【００１７】
fusionとぶれ除去＋補間の処理の計算はともに高速に行うことができる。またfusionステップにおける平均値とメディアンでは、算出速度と外れ値に対するロバスト性において異なる。平均値のほうが高速に算出することができ、メディアン処理はアルゴリズム上、サンプル数が多くなるにつれて多くの時間を要する。外れ値に対するロバスト性はメディアンの方が優れている。平均値は外れ値の影響を受けるが、メディアンはサンプルの半分が外れ値であってもその影響を受けない。
【先行技術文献】
【非特許文献】
【００１８】
【非特許文献１】B. Girod, A.M. Aaron, S. Rane, and D. Rebollo-Monedero,"Distributed video coding", Proceedings of the IEEE, Vol. 93, No. 1, pp. 71-83, 2004.
【非特許文献２】S. Farsiu, M.D. Robinson, M. Elad, and P. Milanfar,"Fast and robust multiframe super resolution", IEEE Transactions on Image Processing, Vol. 13, No. 10, pp. 1327 -1344, 2004.
【発明の概要】
【発明が解決しようとする課題】
【００１９】
一般的な分散映像符号化（DVC）ではKeyフレームを複数枚間隔で送信をし、送信されなかったWyner-ZivフレームをKeyフレームから推定する。復号器ではWyner-Zivフレームの現信号の情報を知り得ないため、いかに推定精度を高くするかが、符号化効率の向上のために重要である。一つの方法として、低周波数から高周波数へ向け再帰的に復号し、その過程で復号されたWyner-Zivフレームの低周波数の信号を高周波数帯域の推定に利用することが考えられる。しかし、一般的に用いられているバイキュービック補間などの補間法では高周波成分の推定を伴わないため効果は乏しい。
【００２０】
本発明は、この問題点に鑑みなされたもので、超解像（SR：Super Resolution）をDVCの枠組み内で利用し、DVCの符号化効率を高めることを目的とする。超解像法は複数枚の画像から高周波成分を推定しながら画像を拡大するため、Keyフレームを縮小して送っても精度良く高解像度画像を推定できると考えられる。
【００２１】
先に述べたSRの再構成手法はある画素に位置合わせされた画素値のうち、その中央値を超解像に利用することでロバスト性を実現している。この手法は十分に多くの画像を使って超解像を行う場合は有効であるが、画像が多くない場合にはロバストであるといえない。なぜなら、ある高解像度グリッドに誤った画素値が1つだけ位置合せされてしまうとそのデータが超解像に利用されてしまうからである。この問題を解決するためには位置合わせされた画素値が信頼できるものかどうかを考えなければならない。本発明では、画像の位置合せ時に画素単位で得られた位置合せが信頼できるかどうかを判定し、その結果に応じて超解像に利用する画素とそうでない画素に分ける。さらに信頼度が高い画素ほど超解像に寄与する率を高める再構成法を提案する。
【００２２】
このように、本発明は、分散符号化の符号化効率の改善を目的とした超解像可能領域判定を実施する復号化装置及び復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明の復号化装置は、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、
非平坦部のデータを受信して復号化する非平坦部復号化部と、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部と、
を有することを特徴とする。
【００２４】
本発明の復号化方法は、
符号化装置から画像列を受信して復号化する復号化装置における復号化方法であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化ステップと、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定ステップと、
非平坦部のデータを受信して復号化する非平坦部復号化ステップと、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理ステップと、
を有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、分散符号化の符号化効率を改善することができる。
【図面の簡単な説明】
【００２６】
【図１】DVC符号器・復号器のブロック図
【図２】超解像復元における画像獲得モデルを示す図
【図３】高解像格子に位置合わせされる例を示す図
【図４】本発明の実施例に係る符号化装置・復号化装置の構成図
【図５】４近傍ラプラシアンカーネルを示す図
【図６】動画における類似度を説明するための図
【発明を実施するための形態】
【００２７】
以下、本発明の実施例について詳細に説明する。
【００２８】
図４に、本発明の実施例に係る符号化装置１０・復号化装置１５の構成図を示す。
【００２９】
本発明の実施例では、低ビットレートによる画像列の送信を対象とする。具体的には、高周波成分の大部分の情報は、圧縮の過程で削減されることを考慮し送信しないこととする。このため、符号化装置１０は、高周波成分の画像列を除去して低周波成分の画像列を取得する低周波成分画像列取得部１０１を有する。
【００３０】
低周波成分画像列取得部１０１は、伝送したい映像をローパスフィルタへかけ、低周波成分を取得する。一例として、ローパスフィルタとしてサイズが3×3、標準偏差σが0.8であるガウシアンフィルタがある。低周波成分の画像列はレートrでダウンサンプルされる。今後このダウンサンプルされた画像列を低解像度画像列Ykと呼ぶ。
【００３１】
本発明の実施例では、高周波成分の情報を補償するために、復号化装置１５でSRにより高周波成分を精度高く推定し、復号画像の品質を挙げることを行う。
【００３２】
低解像度画像列は、フレーム分割部１０３において、奇数フレームと偶数フレームとに分けられ、Keyフレーム符号化部１０５から奇数フレームであるキーフレーム（Keyフレーム）が送信される。
【００３３】
復号化装置１５では、Keyフレーム復号化部１５１においてKeyフレームを復号化し、動き推定部１５３において隣接するKeyフレーム間の動きベクトルを計算する。Y2k-1からY2k+1への動きベクトルをmfkとし、Y2k+1からY2k-1への動きベクトルをmbkとすると、次の関係が成立する。
【００３４】
【数８】
このようにして得られた動きベクトルとKeyフレームを利用して、Wyner-Zivレームを双方向動き補償により補間する。復号化装置１５で得られる低解像度画像列をY'kとすると次のようになる。
【００３５】
【数９】
以上の過程より、復号化装置１５は符号化装置１０と同じ数の画像列を取得する。次に復号化装置１５は、平坦部判定部１５５においてY'から超解像が有効となる非平坦部と、平坦部に分ける。これはテクスチャが乏しい領域である平坦部は位置合せが不正確になるからである。また、そのような領域は高周波成分が少ないため、単純補間で十分でもある。平坦部判定部１５５は非平坦部と判定した部分のデータ（偶数フレームの非平坦部に対応するデータ）を符号化装置１０に要求し、符号化装置１０の非平坦部符号化部１０７から受け取る。これは超解像を行うには正確な低解像度画像が必要となるからである。復号化装置１５は、非平坦部復号化部１５７において非平坦部のデータを復号化し、拡大処理部１５９において非平坦部に対して超解像法を適用して画像の拡大を行う。なお、拡大処理部１５９は、平坦部に対しては単純補間を行う。
【００３６】
＜レジストレーション＞
次に、動き推定部１５３におけるレジストレーションについて説明する。
【００３７】
動き推定部１５３におけるレジストレーションは、空間領域でのブロックマッチングと位相限定相関法を利用して行われる。位相限定相関法は高精度に位置ずれを推定出来る一方で計算量が多く、探索領域が小さいといった問題がある。即ち、フレーム間で物体が大きく移動する場合位相限定相関法は向かない。この問題を解決するために本発明の実施例では、まず輝度値のブロックマッチングによって大まかな動きを算出し、位相限定相関法で正確な位置ずれ量を算出する。
【００３８】
超解像に利用するK枚の画像の中から2枚の画像F(x,y)とG(x,y)を考え、G(x,y)はF(x,y)をmx(x,y)、my(x,y)だけ平行移動したものとする。すなわち
【００３９】
【数１０】
であり、Fが超解像されるフレームだと想定する。mx(x,y)、my(x,y)は実数であるが、これを整数部と小数部に分けて考える。
【００４０】
【数１１】
mintは単純な空間領域ブロックマッチングで求めることが出来る。次にサブピクセルでの位置ずれを1画素毎に求める。F、GからそれぞれN1×N2の小領域を取り出し、POC（Picture Order Count）により求める。整数レベルでの位置ずれは求められているので、
【００４１】
【数１２】
とし、f、g間のサブピクセル位置ずれを求めればよい。
【００４２】
このようにして求められた位置ずれは精度が細かいため、平坦部判定部１５５における平坦部判定において、精度の良い平坦部判定が可能になる。
【００４３】
なお、位置ずれを求めるだけであれば、画像間の類似度値αk(x,y)を計算する必要は無いが、画像間の類似度値は拡大処理部１５９で利用されるため、具体的な計算方法について説明する。G(x,y)をk枚目の画像とし、注目しているピクセルを(x,y)とし、fとgのPOC最大値をr(n1,n2)とすると、類似度値αk(x,y)は次式で与えられる。
【００４４】
【数１３】
＜平坦部判定＞
次に、平坦部判定部１５５における平坦部判定について説明する。
【００４５】
画像のテクスチャが乏しい部分は位置合せの精度良く推定することが困難であり、逆にテクスチャが豊富な領域は精度が良い。正確な位置ずれ量推定は超解像をする上で欠かせない。また、平坦な領域は単純な補間でも精度よく拡大が可能である。これらの事を考慮すると、平坦部を判定しその結果によって拡大法を切り替えることが有効となる。画像が平坦な箇所の判定には様々な手法が考えられる。従来技術として、画像ブロックの輝度値の標準偏差を計算し、閾値よりも大きい場合は非平坦部とする方法もある。しかしこの手法では、高い輝度値の部分と、低い輝度値の部分が混在した画像では、平坦部を非平坦部と判定する場合が生じる。
【００４６】
本発明の実施例では、高周波成分が少ない領域を平坦部であると定義する。即ち画像のエッジを抽出し、エネルギーが少ない領域を平坦部であるとする。平坦部判定部１５５は、Keyフレームから生成されて動き推定部１５３から入力された画像列Y'に対してハイパスフィルタをかけ、エッジ画像列Wを求める。
【００４７】
【数１４】
ここでCは図５に示す４近傍ラプラシアンカーネルである。
【００４８】
次に得られた画像列をN1×N2のブロック毎に処理する。今、エッジ画像列Wのうち注目しているブロックをw(x,y)とする。ここでx=1,...,Nかつy=1,...,Nである。注目ブロックの輝度値の絶対値の平均値を閾値処理することで平坦部、非平坦部の判定を行う。非平坦度を表す数値を、
【００４９】
【数１５】
として定義する。N1、N2は注目している領域の高さと幅である。この値が閾値よりも大きい場合は非平坦部と判定し、平坦部判定部１５５は符号化装置１０にデータを要求する。前述のように、平坦部判定部１５５は動き推定部１５３からサブピクセル位置ずれを受け取ることにより、通常の位置ずれを受け取るより高い精度の平坦部判定が可能になる。符号化装置１０の非平坦部符号化部１０７は、要求されたデータを符号化装置１５に送信する。
【００５０】
＜画素単位での選択的SR＞
次に、拡大処理部１５９における画素単位での選択的SRについて説明する。
【００５１】
時間局所的に大きく変化するシーケンスを超解像すると、好ましくない画素値が利用されてしまい、不自然な画像が生成されてしまう例が発生する。本発明の実施例では、これを回避する為に位置合せ時の類似度を利用する。上記のように、復号化装置１５は非平坦部のデータを符号化装置１０から取得するが、取得した非平坦部のデータの中で更に類似度を用いることで、超解像による効果を高めることができる。
【００５２】
図６は動画Suzieから女性が瞬きをするフレームを示した図である。目に注目すると（ａ）と（ｂ）は似ていないが、（ａ）と（ｃ）は似ている。（ａ）と（ｂ）の類似度値、（ａ）と（ｃ）の類似度値をそれぞれ式（１３）に従って計算すると、前者は8.7、後者は9.9となる。このことから類似度が高いデータは超解像に利用し、類似度が低いデータは超解像に利用しないことが好ましい。本発明の実施例では類似度が高いデータほど超解像への寄与を大きくし、類似度がしきい値よりも小さいデータは超解像へ利用しないようにする。このことは式（６）の重み付け行列であるAを変更することで達成出来る。従来手法では低解像度画像を高解像度グリッドへ位置合せしたとき、位置合せ先の画素値の位置に対応する要素A(x,y)の値を一律に増加させていたが、本発明の実施例では計算された類似度を加算することにより、類似度に比例した超解像への寄与を大きくする。
【００５３】
【数１６】
ただし、rは拡大倍率、roundは丸め関数である。
【００５４】
＜本発明の実施例の効果＞
以上のように、本発明の実施例によれば、DVCの高符号化効率を実現することができ、復元画像の品質を向上させることが可能となる。また、本発明の実施例によれば、超解像法に欠かせない正確な位置ずれ量推定が可能となり、超解像法のロバスト性を実現することができる。
【００５５】
説明の便宜上、本発明の実施例に係る符号化装置・復号化装置は機能的なブロック図を用いて説明しているが、本発明の符号化装置・復号化装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、符号化装置・復号化装置の各機能部がソフトウェアで実現され、プログラムとして符号化装置・復号化装置内に実現されてもよい。また、２以上の実施例及び実施例の各構成要素が必要に応じて組み合わせて使用されてもよい。
【００５６】
以上、本発明の実施例について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【００５７】
１０ 符号化装置
１０１ 低周波成分画像列取得部
１０３ フレーム分割部
１０５ Keyフレーム符号化部
１０７ 非平坦部符号化部
１５ 符号化装置
１５１ Keyフレーム復号化部
１５３ 動き推定部
１５５ 平坦部判定部
１５７ 非平坦部符号化部
１５９ 拡大処理部
【技術分野】
【０００１】
本発明は、復号化装置及び復号化方法に関する。特に、本発明は、分散符号化のための超解像可能領域判定を実施する復号化装置及び復号化方法に関する。
【背景技術】
【０００２】
マルチメディアコンテンツの需要増加に伴い動画圧縮に関する研究が盛んに行われている。現在広く普及しているH.264/AVCなどの動画圧縮法に対し、分散映像符号化（DVC：Distributed Video Coding）という新しい手法が提案され、注目を集めている。
【０００３】
従来の動画圧縮法では符号化側で高負荷な処理を行うのに対し、DVCでは復号化側で高負荷な処理を行う。この特徴を活かして携帯電話など処理能力が低い端末でも従来の動画圧縮法と同等の符号化効率で映像を配信できるようになることが期待されている。しかしDVCの研究の歴史は浅く、まだ従来の動画圧縮法に匹敵するほどの符号化効率は達成出来ていない。
【０００４】
最初に、分散映像符号化（DVC）と超解像（SR：Super Resolution）について説明する。
【０００５】
（１）分散映像符号化（DVC）
図１に、一般的なDVC符号器・復号器のブロック図を示す（非特許文献１参照）。符号化側は映像を数フレーム置きにDCT変換や、Wavelet変換によってイントラ符号化する。この符号化されたフレームのことをKeyフレームと呼ぶ。その他のWyner-Zivフレームと呼ばれるフレームは冗長性を除去した後に量子化し、SW符号化器によりパリティシンドロームを生成し伝送する。SW復号器は、まずKeyフレームを復号した後に、復号された情報から間のフレームを動き補償によって求める。こうして得られた画像列はサイドインフォメーションと呼ばれる。SW復号器は、このサイドインフォメーションで予測しきれなかった成分を、パリティシンドロームを用いて誤り訂正を行う。訂正に失敗した場合、復号器は符号器に追加の情報を要求し、より長いパリティシンドロームを受信する。復号された信号は逆量子化され、冗長性を復元し、出力される。
【０００６】
（２）ロバスト超解像（SR）
超解像復元における画像獲得モデルは一般的に以下のように表わされる（非特許文献２参照）。このモデルを図２に示す。
【０００７】
【数１】
Ykは[H×W]ピクセルの観測画像を辞書式に並べ替えた[HW×1]のベクトル、Xは[RH×RW]ピクセルの高解像度画像を辞書式に並べ替えた[R2HW×1]のベクトルである。k、N、Rはそれぞれフレームインデックス、観測画像の枚数、観測画像と高解像度画像の解像度の比である。D、Hk、Fkはそれぞれダウンサンプル、ぶれ、位置ずれを作用させる行列を表す。Vkは付加ノイズのベクトルである。ぶれの点拡がり関数（PSF：Point Spread Function）が映像全体で一様であると仮定する時、Hk=Hと置き換えることができる。さらに位置ずれが並進動きのみと仮定すると、HFk=FkHが成立する。ここで、Z=HX（ZはXにぶれを加えた画像）とおくと、最尤推定問題は次式で表される。
【０００８】
【数２】
ここで、‖ ‖pは損失関数のノルムである。式（２）を解くことは困難であり、勾配法による反復計算を用いて近似解を求めるのが一般的な手法である。勾配法で解く場合、
【０００９】
【数３】
を考える。まずp=1のとき、
【００１０】
【数４】
となる。ここで、D、Fkの転置行列DT、FTkはそれぞれアップサンプル、Fkと反対方向のシフトを作用させる行列である。よってD、Fk、DT、FTkはZの値を変化させず、それらの高解像度格子における位置を変えるだけである。式（４）は、各画素Z(i)が、signの「+1」と「-1」の値が等しくなるときに成立し、それはすなわち解がその点に位置合わせされる画素値のメディアンであることを意味する。
【００１１】
次にp=2のとき、
【００１２】
【数５】
となる。先程と同様に、D、Fk、DT、FTkはZの値を変化させない。式（５）は各画素の差分の和が0に等しいときに成立し、式（５）の解がその点に位置合わせされる画素値の平均値であることを意味する。このように位置合わせと、平均値あるいはメディアンを採用する処理をfusionと呼ぶ。
【００１３】
図３に、高解像格子に位置合わせされる例を示す。図の左は[2×2]ピクセルの観測画像列、右は2倍の高解像度格子に位置された結果の例を示す。
【００１４】
fusionを行った後、位置合わせで該当する画素値が割り振られなかった画素値の補間とぶれ除去を同時に行うことにより、高解像度画像Xを求める。Xは次式によって求められる。
【００１５】
【数６】
AはZ(i)に位置合わせされる画素数を、その位置に対応する対角成分に持つ重み行列である。Slxはx軸方向へ画像をlピクセルシフトさせ、Smyはy軸方向へ画像をmピクセルシフトさせる。第二項は画像が平坦であることを制約に課している。αは注目画素から距離が離れる程重みを軽くする0≦α≦1の値であり、λは正則化パラメータである。式（６）は繰り返し計算によって解かれる。
【００１６】
【数７】
βはステップサイズパラメータである。
【００１７】
fusionとぶれ除去＋補間の処理の計算はともに高速に行うことができる。またfusionステップにおける平均値とメディアンでは、算出速度と外れ値に対するロバスト性において異なる。平均値のほうが高速に算出することができ、メディアン処理はアルゴリズム上、サンプル数が多くなるにつれて多くの時間を要する。外れ値に対するロバスト性はメディアンの方が優れている。平均値は外れ値の影響を受けるが、メディアンはサンプルの半分が外れ値であってもその影響を受けない。
【先行技術文献】
【非特許文献】
【００１８】
【非特許文献１】B. Girod, A.M. Aaron, S. Rane, and D. Rebollo-Monedero,"Distributed video coding", Proceedings of the IEEE, Vol. 93, No. 1, pp. 71-83, 2004.
【非特許文献２】S. Farsiu, M.D. Robinson, M. Elad, and P. Milanfar,"Fast and robust multiframe super resolution", IEEE Transactions on Image Processing, Vol. 13, No. 10, pp. 1327 -1344, 2004.
【発明の概要】
【発明が解決しようとする課題】
【００１９】
一般的な分散映像符号化（DVC）ではKeyフレームを複数枚間隔で送信をし、送信されなかったWyner-ZivフレームをKeyフレームから推定する。復号器ではWyner-Zivフレームの現信号の情報を知り得ないため、いかに推定精度を高くするかが、符号化効率の向上のために重要である。一つの方法として、低周波数から高周波数へ向け再帰的に復号し、その過程で復号されたWyner-Zivフレームの低周波数の信号を高周波数帯域の推定に利用することが考えられる。しかし、一般的に用いられているバイキュービック補間などの補間法では高周波成分の推定を伴わないため効果は乏しい。
【００２０】
本発明は、この問題点に鑑みなされたもので、超解像（SR：Super Resolution）をDVCの枠組み内で利用し、DVCの符号化効率を高めることを目的とする。超解像法は複数枚の画像から高周波成分を推定しながら画像を拡大するため、Keyフレームを縮小して送っても精度良く高解像度画像を推定できると考えられる。
【００２１】
先に述べたSRの再構成手法はある画素に位置合わせされた画素値のうち、その中央値を超解像に利用することでロバスト性を実現している。この手法は十分に多くの画像を使って超解像を行う場合は有効であるが、画像が多くない場合にはロバストであるといえない。なぜなら、ある高解像度グリッドに誤った画素値が1つだけ位置合せされてしまうとそのデータが超解像に利用されてしまうからである。この問題を解決するためには位置合わせされた画素値が信頼できるものかどうかを考えなければならない。本発明では、画像の位置合せ時に画素単位で得られた位置合せが信頼できるかどうかを判定し、その結果に応じて超解像に利用する画素とそうでない画素に分ける。さらに信頼度が高い画素ほど超解像に寄与する率を高める再構成法を提案する。
【００２２】
このように、本発明は、分散符号化の符号化効率の改善を目的とした超解像可能領域判定を実施する復号化装置及び復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明の復号化装置は、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、
非平坦部のデータを受信して復号化する非平坦部復号化部と、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部と、
を有することを特徴とする。
【００２４】
本発明の復号化方法は、
符号化装置から画像列を受信して復号化する復号化装置における復号化方法であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化ステップと、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定ステップと、
非平坦部のデータを受信して復号化する非平坦部復号化ステップと、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理ステップと、
を有することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、分散符号化の符号化効率を改善することができる。
【図面の簡単な説明】
【００２６】
【図１】DVC符号器・復号器のブロック図
【図２】超解像復元における画像獲得モデルを示す図
【図３】高解像格子に位置合わせされる例を示す図
【図４】本発明の実施例に係る符号化装置・復号化装置の構成図
【図５】４近傍ラプラシアンカーネルを示す図
【図６】動画における類似度を説明するための図
【発明を実施するための形態】
【００２７】
以下、本発明の実施例について詳細に説明する。
【００２８】
図４に、本発明の実施例に係る符号化装置１０・復号化装置１５の構成図を示す。
【００２９】
本発明の実施例では、低ビットレートによる画像列の送信を対象とする。具体的には、高周波成分の大部分の情報は、圧縮の過程で削減されることを考慮し送信しないこととする。このため、符号化装置１０は、高周波成分の画像列を除去して低周波成分の画像列を取得する低周波成分画像列取得部１０１を有する。
【００３０】
低周波成分画像列取得部１０１は、伝送したい映像をローパスフィルタへかけ、低周波成分を取得する。一例として、ローパスフィルタとしてサイズが3×3、標準偏差σが0.8であるガウシアンフィルタがある。低周波成分の画像列はレートrでダウンサンプルされる。今後このダウンサンプルされた画像列を低解像度画像列Ykと呼ぶ。
【００３１】
本発明の実施例では、高周波成分の情報を補償するために、復号化装置１５でSRにより高周波成分を精度高く推定し、復号画像の品質を挙げることを行う。
【００３２】
低解像度画像列は、フレーム分割部１０３において、奇数フレームと偶数フレームとに分けられ、Keyフレーム符号化部１０５から奇数フレームであるキーフレーム（Keyフレーム）が送信される。
【００３３】
復号化装置１５では、Keyフレーム復号化部１５１においてKeyフレームを復号化し、動き推定部１５３において隣接するKeyフレーム間の動きベクトルを計算する。Y2k-1からY2k+1への動きベクトルをmfkとし、Y2k+1からY2k-1への動きベクトルをmbkとすると、次の関係が成立する。
【００３４】
【数８】
このようにして得られた動きベクトルとKeyフレームを利用して、Wyner-Zivレームを双方向動き補償により補間する。復号化装置１５で得られる低解像度画像列をY'kとすると次のようになる。
【００３５】
【数９】
以上の過程より、復号化装置１５は符号化装置１０と同じ数の画像列を取得する。次に復号化装置１５は、平坦部判定部１５５においてY'から超解像が有効となる非平坦部と、平坦部に分ける。これはテクスチャが乏しい領域である平坦部は位置合せが不正確になるからである。また、そのような領域は高周波成分が少ないため、単純補間で十分でもある。平坦部判定部１５５は非平坦部と判定した部分のデータ（偶数フレームの非平坦部に対応するデータ）を符号化装置１０に要求し、符号化装置１０の非平坦部符号化部１０７から受け取る。これは超解像を行うには正確な低解像度画像が必要となるからである。復号化装置１５は、非平坦部復号化部１５７において非平坦部のデータを復号化し、拡大処理部１５９において非平坦部に対して超解像法を適用して画像の拡大を行う。なお、拡大処理部１５９は、平坦部に対しては単純補間を行う。
【００３６】
＜レジストレーション＞
次に、動き推定部１５３におけるレジストレーションについて説明する。
【００３７】
動き推定部１５３におけるレジストレーションは、空間領域でのブロックマッチングと位相限定相関法を利用して行われる。位相限定相関法は高精度に位置ずれを推定出来る一方で計算量が多く、探索領域が小さいといった問題がある。即ち、フレーム間で物体が大きく移動する場合位相限定相関法は向かない。この問題を解決するために本発明の実施例では、まず輝度値のブロックマッチングによって大まかな動きを算出し、位相限定相関法で正確な位置ずれ量を算出する。
【００３８】
超解像に利用するK枚の画像の中から2枚の画像F(x,y)とG(x,y)を考え、G(x,y)はF(x,y)をmx(x,y)、my(x,y)だけ平行移動したものとする。すなわち
【００３９】
【数１０】
であり、Fが超解像されるフレームだと想定する。mx(x,y)、my(x,y)は実数であるが、これを整数部と小数部に分けて考える。
【００４０】
【数１１】
mintは単純な空間領域ブロックマッチングで求めることが出来る。次にサブピクセルでの位置ずれを1画素毎に求める。F、GからそれぞれN1×N2の小領域を取り出し、POC（Picture Order Count）により求める。整数レベルでの位置ずれは求められているので、
【００４１】
【数１２】
とし、f、g間のサブピクセル位置ずれを求めればよい。
【００４２】
このようにして求められた位置ずれは精度が細かいため、平坦部判定部１５５における平坦部判定において、精度の良い平坦部判定が可能になる。
【００４３】
なお、位置ずれを求めるだけであれば、画像間の類似度値αk(x,y)を計算する必要は無いが、画像間の類似度値は拡大処理部１５９で利用されるため、具体的な計算方法について説明する。G(x,y)をk枚目の画像とし、注目しているピクセルを(x,y)とし、fとgのPOC最大値をr(n1,n2)とすると、類似度値αk(x,y)は次式で与えられる。
【００４４】
【数１３】
＜平坦部判定＞
次に、平坦部判定部１５５における平坦部判定について説明する。
【００４５】
画像のテクスチャが乏しい部分は位置合せの精度良く推定することが困難であり、逆にテクスチャが豊富な領域は精度が良い。正確な位置ずれ量推定は超解像をする上で欠かせない。また、平坦な領域は単純な補間でも精度よく拡大が可能である。これらの事を考慮すると、平坦部を判定しその結果によって拡大法を切り替えることが有効となる。画像が平坦な箇所の判定には様々な手法が考えられる。従来技術として、画像ブロックの輝度値の標準偏差を計算し、閾値よりも大きい場合は非平坦部とする方法もある。しかしこの手法では、高い輝度値の部分と、低い輝度値の部分が混在した画像では、平坦部を非平坦部と判定する場合が生じる。
【００４６】
本発明の実施例では、高周波成分が少ない領域を平坦部であると定義する。即ち画像のエッジを抽出し、エネルギーが少ない領域を平坦部であるとする。平坦部判定部１５５は、Keyフレームから生成されて動き推定部１５３から入力された画像列Y'に対してハイパスフィルタをかけ、エッジ画像列Wを求める。
【００４７】
【数１４】
ここでCは図５に示す４近傍ラプラシアンカーネルである。
【００４８】
次に得られた画像列をN1×N2のブロック毎に処理する。今、エッジ画像列Wのうち注目しているブロックをw(x,y)とする。ここでx=1,...,Nかつy=1,...,Nである。注目ブロックの輝度値の絶対値の平均値を閾値処理することで平坦部、非平坦部の判定を行う。非平坦度を表す数値を、
【００４９】
【数１５】
として定義する。N1、N2は注目している領域の高さと幅である。この値が閾値よりも大きい場合は非平坦部と判定し、平坦部判定部１５５は符号化装置１０にデータを要求する。前述のように、平坦部判定部１５５は動き推定部１５３からサブピクセル位置ずれを受け取ることにより、通常の位置ずれを受け取るより高い精度の平坦部判定が可能になる。符号化装置１０の非平坦部符号化部１０７は、要求されたデータを符号化装置１５に送信する。
【００５０】
＜画素単位での選択的SR＞
次に、拡大処理部１５９における画素単位での選択的SRについて説明する。
【００５１】
時間局所的に大きく変化するシーケンスを超解像すると、好ましくない画素値が利用されてしまい、不自然な画像が生成されてしまう例が発生する。本発明の実施例では、これを回避する為に位置合せ時の類似度を利用する。上記のように、復号化装置１５は非平坦部のデータを符号化装置１０から取得するが、取得した非平坦部のデータの中で更に類似度を用いることで、超解像による効果を高めることができる。
【００５２】
図６は動画Suzieから女性が瞬きをするフレームを示した図である。目に注目すると（ａ）と（ｂ）は似ていないが、（ａ）と（ｃ）は似ている。（ａ）と（ｂ）の類似度値、（ａ）と（ｃ）の類似度値をそれぞれ式（１３）に従って計算すると、前者は8.7、後者は9.9となる。このことから類似度が高いデータは超解像に利用し、類似度が低いデータは超解像に利用しないことが好ましい。本発明の実施例では類似度が高いデータほど超解像への寄与を大きくし、類似度がしきい値よりも小さいデータは超解像へ利用しないようにする。このことは式（６）の重み付け行列であるAを変更することで達成出来る。従来手法では低解像度画像を高解像度グリッドへ位置合せしたとき、位置合せ先の画素値の位置に対応する要素A(x,y)の値を一律に増加させていたが、本発明の実施例では計算された類似度を加算することにより、類似度に比例した超解像への寄与を大きくする。
【００５３】
【数１６】
ただし、rは拡大倍率、roundは丸め関数である。
【００５４】
＜本発明の実施例の効果＞
以上のように、本発明の実施例によれば、DVCの高符号化効率を実現することができ、復元画像の品質を向上させることが可能となる。また、本発明の実施例によれば、超解像法に欠かせない正確な位置ずれ量推定が可能となり、超解像法のロバスト性を実現することができる。
【００５５】
説明の便宜上、本発明の実施例に係る符号化装置・復号化装置は機能的なブロック図を用いて説明しているが、本発明の符号化装置・復号化装置は、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されてもよい。例えば、符号化装置・復号化装置の各機能部がソフトウェアで実現され、プログラムとして符号化装置・復号化装置内に実現されてもよい。また、２以上の実施例及び実施例の各構成要素が必要に応じて組み合わせて使用されてもよい。
【００５６】
以上、本発明の実施例について説明したが、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々の変更・応用が可能である。
【符号の説明】
【００５７】
１０ 符号化装置
１０１ 低周波成分画像列取得部
１０３ フレーム分割部
１０５ Keyフレーム符号化部
１０７ 非平坦部符号化部
１５ 符号化装置
１５１ Keyフレーム復号化部
１５３ 動き推定部
１５５ 平坦部判定部
１５７ 非平坦部符号化部
１５９ 拡大処理部
【特許請求の範囲】
【請求項１】
符号化装置から画像列を受信して復号化する復号化装置であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、
非平坦部のデータを受信して復号化する非平坦部復号化部と、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部と、
を有する復号化装置。
【請求項２】
前記平坦部判定部は、高周波成分の大きさにより、平坦部及び非平坦部を判定する、請求項１に記載の復号化装置。
【請求項３】
前記平坦部判定部は、所定のブロックの輝度値の絶対の平均値と閾値とを比較することにより、平坦部及び非平坦部を判定する、請求項２に記載の復号化装置。
【請求項４】
前記超解像処理部は、画像間の類似度を計算し、類似度が閾値以上の画素に対して超解像法を適用する、請求項１乃至３のうちいずれか１項に記載の復号化装置
【請求項５】
空間領域でのブロックマッチングを利用して動き推定し、更に、位相限定相関法を利用して動き推定する動き推定部を更に有する、請求項１乃至４のうちいずれか１項に記載の復号化装置。
【請求項６】
符号化装置から画像列を受信して復号化する復号化装置における復号化方法であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化ステップと、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定ステップと、
非平坦部のデータを受信して復号化する非平坦部復号化ステップと、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理ステップと、
を有する復号化方法。
【請求項１】
符号化装置から画像列を受信して復号化する復号化装置であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化部と、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定部と、
非平坦部のデータを受信して復号化する非平坦部復号化部と、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理部と、
を有する復号化装置。
【請求項２】
前記平坦部判定部は、高周波成分の大きさにより、平坦部及び非平坦部を判定する、請求項１に記載の復号化装置。
【請求項３】
前記平坦部判定部は、所定のブロックの輝度値の絶対の平均値と閾値とを比較することにより、平坦部及び非平坦部を判定する、請求項２に記載の復号化装置。
【請求項４】
前記超解像処理部は、画像間の類似度を計算し、類似度が閾値以上の画素に対して超解像法を適用する、請求項１乃至３のうちいずれか１項に記載の復号化装置
【請求項５】
空間領域でのブロックマッチングを利用して動き推定し、更に、位相限定相関法を利用して動き推定する動き推定部を更に有する、請求項１乃至４のうちいずれか１項に記載の復号化装置。
【請求項６】
符号化装置から画像列を受信して復号化する復号化装置における復号化方法であって、
前記符号化装置から低周波成分の画像列のキーフレームを受信して復号化するキーフレーム復号化ステップと、
復号化された画像列の平坦部及び非平坦部を判定し、非平坦部と判定された部分のデータを前記符号化装置に要求する平坦部判定ステップと、
非平坦部のデータを受信して復号化する非平坦部復号化ステップと、
復号化された非平坦部のデータを用いて、非平坦部に対して超解像法を適用する超解像処理ステップと、
を有する復号化方法。
【図１】
【図３】
【図４】
【図５】
【図２】
【図６】
【図３】
【図４】
【図５】
【図２】
【図６】
【公開番号】特開２０１２−１７５５２６（Ｐ２０１２−１７５５２６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３７１４９（Ｐ２０１１−３７１４９）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（８９９００００７９）学校法人慶應義塾 (742)
【Ｆターム（参考）】
[ Back to top ]