説明

動画像復号方法,動画像復号装置および動画像復号プログラム

【課題】低フレームレートの動画像の符号化データを入力として,動きの滑らかな高フレームレートの動画像を少ない処理量で生成する。
【解決手段】動きベクトル計算部12により,復号結果からブロックごとの動きベクトルを算出し,フレームレート決定部13により,その動きベクトルの大きさに応じたフレームレートをブロックごとに算出する。動きベクトル分割処理部14により,ブロックごとのフレームレートの値に基づいて動きベクトルを変換し,補間フレーム生成部15によって,変換された動きベクトルを用いて,復号された元のフレーム間に挿入する補間フレームを生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,動画像を復号し再生する技術に関するもので,特に動画像を構成するフレームを少ない計算量で補間してフレーム数を増加させることで低フレームレート画像を高速に高フレーム化するものに関する。
【背景技術】
【0002】
動画像データは一定間隔の時刻に対応する静止画像(フレーム)の系列として表現される。この時刻の間隔(フレーム間隔)が小さくなる,つまり単位時間あたりの静止画像の数(フレームレート)が増加するに従って動画像は動きが滑らかになって品質が向上する。
【0003】
表示装置は性能向上に伴って表示可能なフレームレートが向上して毎秒200フレーム以上の表示が可能になっているが,すでに毎秒30フレームや60フレームといったより低いフレームレートで符号化された動画像の表示には,そのままでは表示装置の持つ高いフレームレートでの表示性能を十分に利用することができない。このような動画像を高いフレームレートで表示するには足りないフレームを補間してフレームレートを向上させる必要がある。
【0004】
一方,家庭用ビデオ再生装置などの動画再生機器に複雑な画像処理機能を持たせることはコストおよび処理性能の点から適当でないため,簡略な方法でフレームの補間を行う必要がある。
【0005】
以上の技術背景について,さらに詳しく説明すると以下のとおりである。フレームを補間してフレームレートを向上させる方法としては,例えば非特許文献1に記載されているように,オプティカルフローを用いたもの,また,非特許文献2に記載されているように,モーフィングを用いて補間画像を生成するもの,非特許文献3に記載されているように,自己相関を用いたものなど多くの方法が提案されている。これらは高品質な補間画像を生成可能である一方,補間画像生成のための計算量が大きく,家庭向け映像機器などの処理能力に限りのある機器での処理には向かない。
【0006】
処理能力の限られた機器でフレーム補間を行う方法として符号化の情報を用いる方法が提案されている(非特許文献4〜6参照)。これらはH.264などの符号化で採用されている動きベクトルなどの情報を用いて基準となるフレームから補間するフレームへの画像の動きを求め,求めたベクトルから補間する画素値を推定して画像を生成するというものである。この方式は処理量の大きなオプティカルフロー推定等によって改めて画像の動きを推定する必要がなく,画素の生成の計算量も前述した非特許文献1〜3の方法に比べて少ない。
【0007】
また,非特許文献7,非特許文献8で示されるとおり,動画像の品質を一定とした場合,単位時間当たりのフレーム数(フレームレート)とフレーム一枚あたりの符号量つまりビット数はトレードオフの関係にあり,一方を増加させると他方が減少する。すなわち,画像上の異なる二つの領域をフレーム単位で同等の品質で符号化するのに必要な符号量が同一の場合,その二つの領域の見かけの動きの速度が異なれば見かけの動きが小さい方が動画像としての品質は高いことになり,見かけの動きの早さによって品質が異なる。このことから,二つの領域の動画像の品質を等しくなるように近づけるためには動画像の動きの速さに応じてフレームレートを変更すればよい。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】KRISHNAMURTHY R, WOODS J W, MOULIN P:“Frame Interpolation and Bidirectional Prediction of Video Using Compactly Encoded Optical-Flow Fields and Label Fields”, IEEE Transactions on Circuits and Systems for Video Technology Vol.9, No.5, Page.713-726 (1999.08).
【非特許文献2】山本貴史, 長谷山美紀:“モーフィングに基づくフレーム補間に関する一検討 適応的な対応点推定における領域分割の高精度化”,電子情報通信学会技術研究報告 Vol.107, No.487(ITS2007-65), Page.19-24 (2008.02.12).
【非特許文献3】武山泰豊, 三島直, 伊藤剛:“120Hz駆動LCD向け高精度フレーム補間技術−自己相関ブロックマッチング”,2007年映像情報メディア学会年次大会講演予稿集(CD-ROM),Vol.2007, Page.ROMBUNNO.3-7 (2007.08.01).
【非特許文献4】押切亮, 藤澤達朗, 菊池義浩:“符号化情報を用いたワンセグフレーム補間”,2008年映像メディア処理シンポジウム資料,Vol.13th, Page.161-162 (2008.10.29) .
【非特許文献5】田中淑貴, 水戸研司:“H.264シンタックス要素を応用したワンセグフレーム補間技術”,電子情報通信学会技術研究報告Vol.107, No.224(MoMuC2007 47), Page.23-28 (2007.09.13).
【非特許文献6】出原優一, 関口俊一, 杉本和夫, 浅井光太郎:“符号化情報を利用した低レートビデオの時間解像度改善に関する一検討”,電子情報通信学会大会講演論文集,Vol.2005, 情報・ システム 2, D-11-4, Page.4 (2005.03.07) .
【非特許文献7】山形純一,田中伸一,吉田俊之:“バッファ制御による符号化動画像の画質平坦化について”,2007年画像符号化シンポジウム(PCSJ2007),P-2.11,Page.29-30(2007.10.31-11.2) .
【非特許文献8】田中伸一,宮川大五郎,吉田俊之,筑波健史,野村敏男:“MOSに基づく動画像の画質制御とビットレート削減効果について”,2008年画像符号化シンポジウム(PCSJ2008) ,P-2.11, Page.29-30(2008.10.29-31) .
【発明の概要】
【発明が解決しようとする課題】
【0009】
動画像のフレームレートを向上させるには元の動画像のフレームの間に必要な数のフレームを補間すればよいが,補間するフレームの数に応じて計算量が増大する。30fps(フレーム/秒)程度の画像のフレームレートから200fpsを超えるフレームレートに向上させるには,二つの隣接するフレームの間に複数のフレームを補間して挿入する必要があるため,この計算量を減らす必要がある。
【0010】
同一のフレームレートで表示する場合,動きの遅い部分は動きの速い部分に比べて動きが滑らかになるため,動画像の全体を一定の品質を保つためには動きの遅い部分のフレームレートを動きの速い部分のフレームレートより低くすることが可能である。フレームレートを画像の領域毎に動きの速さに応じて変えることができれば,動画像の滑らかさを保持したままフレーム補間のための計算量をより多く減少させることができる。
【0011】
本発明はこの点に着目して,動画像の滑らかさを保持したままフレーム補間のための計算量をより多く減少させることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明は,上記の課題を解決するために,動きベクトルの大きさに応じて動画像上の領域ごとに補間するフレームの数を決定し,かつ,補間画像を生成する際の動きベクトルを元の符号化データの動きベクトルから求め,その大きさをフレーム間隔の大きさに応じた値への縮小によって算出することで少ない計算量で動画像のフレームレートを向上させ,滑らかな動きの動画像を生成することを可能にする。
【0013】
すなわち,本発明は,動画像のブロックの動きベクトルを計算するための符号化データ中の符号化情報を出力するデコーダと,符号化情報からブロックの動きベクトル求める手段と,動きベクトルの大きさからフレーム補間後のフレームレートを決定する手段と,フレームレートに基づいて補間フレームに対応する動きベクトルを生成する手段と,参照フレームの画像と動きベクトルから補間画像を生成する手段とを備える。
【0014】
本発明の作用は,以下のとおりである。フレームを補間するには元の動画像データの画素から補間する画素を予測するため,補間するフレーム数が多いほど計算量は増加することになる。したがって,補間フレーム数が少ないほど演算量が少なくなり処理が簡単になる。
【0015】
デコーダから得られた動きベクトルの大きさによって1フレームの時間間隔での画像の動きの大きさがブロックごとに推測できる。1フレームあたりの画像の動きの大きさを最小値と最大値の間の一定範囲内に納めるように補間を行うフレーム数を決めれば,動きの滑らかさを保持したまま,補間するフレーム数を抑えることができる。こうして決定したフレームのみ実質的なフレーム補間を行うことで,低フレームレートの動画像から動きの滑らかな高フレームレート動画像を少ない処理量で生成することができる。
【発明の効果】
【0016】
本発明により,低フレームレートの動画像から動きの滑らかな高フレームレート動画像を少ない処理量で生成する動画像復号装置を提供することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の装置構成例を表すブロック図である。
【図2】本発明の実施形態の処理全体を示したフローチャートである。
【図3】動きベクトル分割処理部の処理内容を表すフローチャートである。
【発明を実施するための形態】
【0018】
図1に,本発明の装置構成例を示す。図1に示す動画像復号装置10は,MPEG−2(ISO/IEC 13818-2 ),MPEG−4(ISO/IEC 14496 ),H.264(参考文献1参照)などの動き補償に基づくフレーム間圧縮を利用する動画像符号化方式で符号化されたデータを入力とする。
【0019】
[参考文献1]:ITU-T H.264 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services. Coding of moving video. Advanced video coding for generic audiovisual Services.
これらの符号化方式は,動画像データのフレームをブロックに分割し,他のフレームからの動きを予測する動き補償を用いてデータ量を削減している。動き予測は動きベクトルで表現され,この予測値と実際のブロックの画素との差を誤差としてさらに符号化する。なお,実際には動きベクトルは絶対値で表されるのではなく,そのブロックの周囲のブロックの動きベクトルの値から予測し,その誤差を符号化することで表現するなどしてデータ量を削減している(参考文献2参照)。
【0020】
[参考文献2]:大久保榮監修,角野眞也・菊池義浩・鈴木輝彦共編,「改訂版H.264/AVC教科書」,インプレスR&D発行, 2006.
このように,符号データにはそれ自体に動きベクトルの情報が含まれるから,これを利用することでブロック毎の動きベクトルを高速に求めることが可能である。また,動きベクトルの基準となる参照フレームとのフレーム番号の差から,非特許文献4に示されるような方法でブロックの1フレーム間隔あたりの動きベクトルを求めることができる。
【0021】
動画像復号装置10のデコーダ11は,入力した符号化データを復号して,フレームの画像データを生成すると同時に,画像データ生成時に用いたそのフレームのブロックごとの動きベクトルとその参照フレーム番号の情報を出力する。ここで,デコーダから出力される,それぞれのブロックに対する動きベクトルvd を,
d =(vdx,vdy
とする。
【0022】
なお,これらの符号化では,ブロックの予測は,時間的に前のフレームと後のフレームの両方向から可能であるため,あらかじめ,デコーダ出力は一方向(前の時間のフレームからの予測に対応する方向)に揃えて出力する。
【0023】
動きベクトル計算部12は,デコーダ出力のブロック毎の動きベクトルと,その参照フレームの番号から,そのブロックの元の画像の1フレームあたりの動きベクトルvを,次のように算出する。nは,参照フレームの番号と現在のフレームの番号の差である。
【0024】
v=vd /n=(vdx/n,vdy/n)
H.264などの符号化では,2枚のフレームからの動き予測を行い,二つの予測値の平均を画素の予測とする双方向予測や双予測も可能である。双予測などで一つのブロックに複数の動きベクトルが設定されているとき,二つのベクトルから一つの動きベクトルを生成する。最も簡単な方法は,一方の動きベクトルを選択することである。もう一つの方法は,二つの動きベクトルの1フレームあたりの値の平均値をとることである。
【0025】
また,これらの符号化では,フレーム間予測を行わないフレーム(Iフレーム)が挿入される。フレーム間予測を行わないフレームに対しては,動きベクトルの情報が得られないため,直前のフレームの動きベクトルの情報をそのまま用いる。
【0026】
フレームレート決定部13は,動きベクトルのデータをもとに各ブロックのフレームレートを以下のように決定し,動きベクトル分割処理部14に送信する。
【0027】
フレームレート決定部13は,まずそのブロックの画像に基づいたフレーム補間を行わないブロックを決定する。ブロックに対してフレーム補間によるノイズの発生しやすさの判定を行い,動きベクトルが画像の動きを表していない可能性があるとき,つまり動きベクトルの信頼性が一定量より低いとき,そのブロックは隣接する元画像フレームとの間のフレーム補間を行わないものとする。また,フレーム間予測を行わず,ブロックに動きベクトルが設定されていないときは,そのブロックの画像に基づいたフレーム補間を行わない。動きベクトルの信頼性は,例えば,非特許文献5に示される方法によって求めることができる。
【0028】
フレーム補間を行うブロックが決定したならば,ブロックごとのフレームレートを決定する。フレームを補間した際のフレームレートの元の動画像のフレームレートに対する比を,rとする。つまり,元の画像のフレームレートr0 ,フレーム補間後のフレームレートをr1 とすると,rを次のように定める。
【0029】
r=r1 /r0
ここで,元のフレームレートにおける1フレーム間隔あたりの動きベクトルが,v=(vx ,vy )であるとすると,r倍に増加させたフレームレートにおける1フレーム間隔あたりの動きベクトルv′は,
v′=(vx /r,vy /r)
|v′|=|v|/r
r=|v|/|v′|
である。
【0030】
ここで,フレームレート決定部13は,目標となる動きベクトルの長さ|vt |と,r1 の最大値max(r1 )=m×r0 (mは整数) を保持している。
【0031】
rとして,|v|/|vt |を整数に丸めた値(例えば,|v| /|vt |以上の整数または以下の整数),かつ,r1 (r1 =r×r0 )がmax(r1 )以下かつmax(r1 )の約数,つまりrがmの約数になるように設定する。このようにして,ブロックの補間後のフレームレートr1 を得る。補間を行わないブロックでは,r1 =r0 である。
【0032】
動きベクトル分割処理部14は,動きベクトル計算部12から受信したブロックごとの動きベクトルのデータを,フレームレート決定部13から受信したブロックごとのフレームレートに基づいて分割し,補間フレームを含め,各フレームのブロックの新たな動きベクトルを設定する。
【0033】
動きベクトル分割処理部14でのベクトルの分割は,以下のように行われる。動きベクトルが(vx ,vy ),フレームレートがr1 (r=r1 /r0 )のとき,そのブロックの動きベクトルv′は,
v′=(vx /r,vy /r)
である。
【0034】
フレームレートをr0 からmax(r1 )に増加させるとき,元のフレームの直前に
max(r1 )/r0 −1
フレーム挿入される。ここで,挿入されるフレームの番号を,時間が早い順に,
1,2,…,max(r1 )/r0 −1
と付ける。
【0035】
補間フレームの番号1から順番に,各ブロックの動きベクトルを次のように設定する(図3のフローチャート参照)。
【0036】
補間フレームの番号をnとする。
(1) r1 =r0 のとき, 動きベクトルは零ベクトルとする。
(2) r1 =r0 でないとき(max(r1 )/r1 は整数である) ,
n/(max(r1 )/r1 )が整数のとき,動きベクトルを上記で求めたv′とする。それ以外のとき,動きベクトルを零ベクトルとする。
【0037】
補間フレーム生成部15は,フレームのブロックごとの動きベクトルと参照フレームバッファ16中の参照フレームのデータに基づいて,次のように補間フレームの画像を生成し,フレームバッファ17に送る。
【0038】
補間フレーム生成部15は,補間フレームのブロックを,動きベクトル分割処理部14から受信した動きベクトルv′に基づき,参照フレームバッファ16にある画像データの同じブロックの位置からv′画素ずれた位置のブロックの情報を,補間フレーム画像の画像として補間画像を生成する。さらに,生成した補間画像を次の補間フレームの生成のために,参照フレームバッファ16に格納する。
【0039】
参照フレームバッファ16には,補間フレーム生成のためにデコーダ11と補間フレーム生成部15とからフレーム画像データが入力されて,格納される。
【0040】
フレームバッファ17は,元の符号化データから生成したフレームの間に補間フレーム生成部15で生成したフレームを挿入して出力する。
【0041】
図2は,本発明の処理全体を示したフローチャートである。デコーダ11は,フレーム画像のデコードを行い,動きベクトル情報を動きベクトル計算部12へ送る(ステップS10)。動きベクトル計算部12は,各ブロックの1フレームあたりの動きベクトルを算出する(ステップS11)。フレームレート決定部13は,動きベクトルの大きさに基づいて,各ブロックのフレームレートを決定する(ステップS12)。動きベクトル分割処理部14は,ブロックごとの動きベクトルのデータを,ブロックごとのフレームレートに基づいて分割し,補間フレームの各ブロックの動きベクトルを決定する(ステップS13)。
【0042】
補間フレーム生成部15は,補間フレームごとに以下の処理を行う。まず,参照画像と動きベクトルとに基づいて補間フレームの各ブロック画像を生成する(ステップS14)。その生成した補間フレームを元のフレームのあとに挿入する(ステップS15)。生成したフレームを参照画像とし,すべての補間フレームが終わるまで,次の補間フレームについて,同様にステップS14以降の処理を繰り返す(ステップS16〜18)。
【0043】
一つの補間フレームの処理が終了したならば,同様に元画像を参照画像として,全フレームの処理が終了するまで,次の補間フレームについてステップS10以降の処理を繰り返し,復号対象となるフレームが終了したならば,処理を終了する(ステップS19〜S21)。
【0044】
図3は,動きベクトル分割処理部14の処理内容を表すフローチャートである。まず,補間フレーム番号nを1に初期化する(ステップS30)。次に,最初のブロック(座標は(x,y))を処理対象とする(ステップS31)。補間フレーム番号n,座標(x,y)のブロックに対して,以下の処理を行う(ステップS32)。補間後のフレームレートをr1 ,元のフレームレートをr0 とする(ステップS33)。
【0045】
1 =r0 の場合およびn/(max(r1 )/r1 )が整数でない場合,ブロックの動きベクトルを零ベクトルとする(ステップS34,S35,S36)。それ以外の場合には,ブロックの動きベクトルを前述したv′とする(ステップS34,S35,S37)。
【0046】
フレームの最後のブロックの処理が終了していない場合,次のブロックを選び,その座標を(x,y)として同様にステップS32以降の処理を繰り返す(ステップS38,S39)。フレームの最後のブロックの処理が終了したならば,最後の補間フレームの処理が終了したかどうかを判定し,終了していない場合には,nに1を加算し,次の補間フレームについて同様にステップS31以降の処理を繰り返す(ステップS40,S41)。最後の補間フレームの処理が終了した場合,すなわち,n=max(r1 )/r0 −1になった場合,処理を終了する。
【0047】
以上の実施例では,デコーダ11は,符号化データを復号して得られたフレームのブロックごとの動きベクトルとその参照フレーム番号の情報を,動きベクトル計算部12に出力していた。
【0048】
他の実施例として,デコーダ11から動きベクトルと参照フレーム番号の情報を動きベクトル計算部12に書き出すのではなく,符号化データに含まれる符号化情報を,動きベクトル計算部12に書き出すような実施も可能である。ここで,符号化情報とは,符号化方式においてフレーム間予測におけるブロックの動き補償のために動きベクトルを算出する際に使用される情報である。具体的には,画面内予測符号化に用いる情報とDCT係数以外の情報を指す。
【0049】
符号化情報を利用することで,オプティカルフロー推定などの画素に対する演算を経ることなく,符号化で用いられる動きベクトルよりも,さらに正確に画像の動きを表すブロック毎の動きベクトルを高速に求めることが可能である。
【0050】
動きベクトル計算部12は,符号化情報を入力すると,非特許文献4,非特許文献5,非特許文献6に示されているような方法で,フレームごとに,そのフレーム上の8×8画素ブロックの1フレーム間隔あたりの動きベクトルを求め,動きベクトル情報としてフレームレート決定部13と動きベクトル分割処理部14に送信する。
【0051】
このように符号化情報から各ブロックの動きを調べる方法では,前述した実施例における動きベクトルの情報だけでなく,ブロックのタイプの情報などの付加情報を用いて,より正確に画像の動きベクトルを算出することができる。
【0052】
以上の動画像復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
【符号の説明】
【0053】
10 動画像復号装置
11 デコーダ
12 動きベクトル計算部
13 フレームレート決定部
14 動きベクトル分割処理部
15 補間フレーム生成部
16 参照フレームバッファ
17 フレームバッファ

【特許請求の範囲】
【請求項1】
動き補償によるフレーム間予測を行う符号化方式により符号化された動画像を復号する方法であって,
復号されたフレームの符号化データの情報から,フレームのブロックごとの動きベクトルを算出する過程と,
動きベクトルの大きさに応じて,動きベクトルの大きいブロックには高いフレームレート,動きベクトルの小さいブロックには低いフレームレートとなるフレームレートをブロックごとに算出する過程と,
ブロックごとのフレームレートの値に基づいて,ブロックの動きベクトルを変換する過程と,
変換で得られた動きベクトルに基づいてフレームの画像データを生成し,復号された元のフレーム間に挿入する補間フレームを生成する過程とを有する
ことを特徴とする動画像復号方法。
【請求項2】
前記ブロックごとに算出されるフレームレートは,元のフレームレートの整数倍となる最大フレームレート以下で,かつ前記最大フレームレートの約数となるフレームレートであり,
元のフレームレートをr0 ,前記算出されたフレームレートをr1 ,前記最大フレームレートをrmax ,元のフレームレートにおける1フレーム間隔あたりの動きベクトルvをv=(vx ,vy ),元のフレームレートr0 を前記算出されたフレームレートr1 にするために補間する補間フレームの番号をnとするとき,前記ブロックの動きベクトルの変換は,n×r1 /rmax が整数の場合に,変換後の動きベクトルv′をv′=(vx ×r0 /r1 ,vy ×r0 /r1 )とし,それ以外の場合に,変換後の動きベクトルv′を零ベクトルとする変換である
ことを特徴とする請求項1記載の動画像復号方法。
【請求項3】
動き補償によるフレーム間予測を行う符号化方式により符号化された動画像を復号する装置であって,
復号されたフレームの符号化データの情報から,フレームのブロックごとの動きベクトルを算出する手段と,
動きベクトルの大きさに応じて,動きベクトルの大きいブロックには高いフレームレート,動きベクトルの小さいブロックには低いフレームレートとなるフレームレートをブロックごとに算出する手段と,
ブロックごとのフレームレートの値に基づいて,ブロックの動きベクトルを変換する手段と,
変換で得られた動きベクトルに基づいてフレームの画像データを生成し,復号された元のフレーム間に挿入する補間フレームを生成する手段とを備える
ことを特徴とする動画像復号装置。
【請求項4】
請求項1または請求項2に記載の動画像復号方法を,コンピュータに実行させるための動画像復号プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2011−35747(P2011−35747A)
【公開日】平成23年2月17日(2011.2.17)
【国際特許分類】
【出願番号】特願2009−181235(P2009−181235)
【出願日】平成21年8月4日(2009.8.4)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】