動画サムネイルデコーダ装置
【課題】ＭＰＥＧ方式で符号化された動画の圧縮信号を、縦横1/4の解像度の縮小画像として高速かつ高画質に復号化する。
【解決手段】離散コサイン変換と動きベクトルによる動き補償を利用して圧縮されたＭＰＥＧ方式の動画の圧縮信号を可変長復号化する。可変長復号化で得た複数の係数から、特定の係数のみを選択して逆量子化する。逆量子化された係数を逆ＤＣＴ計算式で計算して縦横の解像度を小さくした縮小画像を得る。この逆ＤＣＴ計算式を用いることにより、全ての係数を逆量子化し逆ＤＣＴ計算した後に平均化して縮小した縮小画像と同等の品質の縮小画像を得られる。圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4とし、得られた1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行うことにより、滑らかな動きで再生できる。
【解決手段】離散コサイン変換と動きベクトルによる動き補償を利用して圧縮されたＭＰＥＧ方式の動画の圧縮信号を可変長復号化する。可変長復号化で得た複数の係数から、特定の係数のみを選択して逆量子化する。逆量子化された係数を逆ＤＣＴ計算式で計算して縦横の解像度を小さくした縮小画像を得る。この逆ＤＣＴ計算式を用いることにより、全ての係数を逆量子化し逆ＤＣＴ計算した後に平均化して縮小した縮小画像と同等の品質の縮小画像を得られる。圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4とし、得られた1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行うことにより、滑らかな動きで再生できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ-1（ISO/IEC11172-2）、ＭＰＥＧ-2（ISO/IEC 13818-2）、ＭＰＥＧ-4（ISO/IEC14496-2）やVC-1方式などの離散コサイン変換（以下ＤＣＴ）技術を圧縮の基本として符号化(エンコード)された動画の圧縮信号であるビットストリームを高速に復号化(デコード)して、サムネイルと呼ばれる縮小画像を生成する動画サムネイルデコーダ装置に関する。
【背景技術】
【０００２】
まず、通常の圧縮信号の復号化の技術について説明する。
【０００３】
動画の圧縮技術であるＭＰＥＧ-2,4等の復号化すなわちデコーディング手法は、規格書に定められているがおおむね下記のとおりである。
【０００４】
(1) 可変長復号化(Variable Length Decoding(VLD))：ハフマン(Huffman)符号化されているビットストリームをハフマン辞書の逆引きにより復号化し、ＤＣＴ係数と動きベクトル等の属性情報を得る。このとき、規格により、動きベクトルの予測処理やＤＣＴ係数の予測処理などが行われる場合がある。
【０００５】
(2) 逆量子化：ＤＣＴ係数に対して量子化スケール値や量子化マトリックスを乗算することにより、ＤＣＴ係数をエンコード時のレベルに復元する。
【０００６】
(3) 逆ＤＣＴ：ＤＣＴ係数に対して、定められた行列演算を施すことにより、周波数領域で表現されているＤＣＴ係数を画像または差分画像に復元する。
【０００７】
(4) 動き補償：デコード済みの参照画像の一部をブロック単位で動きベクトル分移動した画像を予測画像とし、(3)の差分画像を加算することにより、デコード画像を得る。
【０００８】
(5) (4)によって得られた画像は４：２：０や４：２：２形式のY、Cb、Crデータであるため、表示体にあわせて4:4:4形式としたり、RGBに変換したりする。
【０００９】
上記のデコード処理をＣＰＵを備えた装置のソフトウエアで実現した場合、上記の(2)〜(5)の処理が全体のＣＰＵ演算負荷の80%を占めている。
【００１０】
そして、このような復号化において、縮小画像を得るサムネイルデコーディングの技術が知られている。
【００１１】
例えば、ＭＰＥＧのビットストリームを縮小画像として複数同時にデコードし、一つの表示手段に複数の縮小した動画像を表示する技術が知られている(例えば、特許文献１参照。)。この構成では、複数の復号化器を備え、各復号化器は、逆ＤＣＴまでを通常と同じ処理で行い、すなわち、逆多重化、可変長復号化、逆量子化、逆ＤＣＴを行った後、画素を間引くことで縮小画像を得ている。また、動き補償処理においては、動きベクトルを1/nにした後、通常の1/2画素精度のハーフペル(Halfpel)動き補償器に入力している。
【００１２】
しかしながら、この構成では、逆ＤＣＴまでを通常と同じ処理で行うため、デコード処理の負荷を大きく軽減できず、また、動き補償処理においては、動きベクトルを1/nにした後、通常のハーフペル動き補償器に入力するため、ゆっくりとカメラを移動するいわゆる一定速度のパン映像等で大きなひずみが発生しやすい問題を有している。すなわち、例えば、カメラを横方向に毎フレーム1.5画素分動かした動画を記録したビットストリームがあったとする。縮小比率が1/4だった場合には、この動きベクトルを４で割ると0.375となり、ハーフペル（0.5画素）単位の動きベクトルとすると、その丸め方により、0または0.5画素の動きベクトルとなってしまう。そこで、デコードを重ねる毎にこの丸め誤差が積み重なってしまい、不自然な動きをする絵が再生されてしまうことになる。
【００１３】
また、例えば、画像サイズを変換可能な装置として、ＤＣＴ係数のうち、低域側の一部の係数のみを逆量子化する、ＤＣＴ係数の間引き方法と間引き時の逆ＤＣＴ演算方法が知られている(例えば、特許文献２参照。)。この方法は、ＤＣＴ係数の高域成分を0として逆ＤＣＴ演算を行った後、画像を間引くことと等価であるが、逆ＤＣＴ後に画素を間引くことによる縮小であるため、平均化による画像縮小に比べて画質が劣り、フレームＤＣＴ時とフィールドＤＣＴ時とで処理を分ける必要があるなど、処理が煩雑になる。また、この特許文献２の構成では、動き補償に関しては文献１と同じ方法であり、同様の問題を有している。
【００１４】
また、例えば、サムネイル画像の生成装置について、インタレース画像のトップフィールドとボトムフィールドの両方の情報を保持するようにして、動き補償の際の画質の劣化の抑制を図ったフィールドＤＣＴに関する技術が知られている(例えば、特許文献３参照。)。この特許文献３に記載された手法も、逆ＤＣＴ後の間引きによるものであり、平均化による縮小に比べると画質が劣化するとともに、動き補償に関しては文献１と同じ方法であり、同様の問題を有している。
【特許文献１】特開平０５−２９２４９０号公報 （図１−２）
【特許文献２】特開２０００−２１７１１１号公報 （第１頁）
【特許文献３】特開２００５−２４４３８２号公報 （第１頁）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記のように、従来の構成では、画像の縮小方法が、逆ＤＣＴ後の間引きあるいは逆ＤＣＴ後の間引きと同等の処理であり、画像の品質が劣化する問題を有している。また、動き補償について、動きベクトルを縮小比率で割り算した後、ＭＰＥＧの規格で定められている動き補償を適用しているため、ゆっくりとした動きでは大きなひずみが発生する問題を有している。
【００１６】
本発明は、このような点に鑑みなされたもので、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する際に、処理を高速にできるとともに画像の品質を向上できる動画サムネイルデコーダ装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
請求項１記載の動画サムネイルデコーダ装置は、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する動画サムネイルデコーダ装置であって、圧縮信号に対して可変長復号化処理を行い複数の係数を得る可変長復号化手段と、この可変長復号化手段で得られた複数の係数から特定の係数を複数個選択し、選択された係数のみを逆量子化する逆量子化手段と、この逆量子化手段で逆量子化された係数を逆ＤＣＴ計算式を用いて計算し、縦横の解像度を縮小した縮小画像を得る簡易逆ＤＣＴ計算手段とを具備し、前記逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃを定数として、
【数１】
【００１８】
であるものである。
【００１９】
そして、この構成では、選択された係数のみを逆量子化し、逆ＤＣＴ計算式を用いて計算して縮小画像を得るため、計算の負荷が軽減され、高速の処理が可能になる。数式１に示す逆ＤＣＴ計算式を用いることにより、全ての係数を逆量子化して正規の逆ＤＣＴを行った後、平均化による縮小を行う場合と同等の品質の画像が生成される。
【００２０】
請求項２記載の動画サムネイルデコーダ装置は、請求項１記載の動画サムネイルデコーダ装置において、逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃ及びＤを定数として、
【数２】
【００２１】
であるものである。
【００２２】
そして、この構成では、8行8列のマトリクスで示される64個の係数から、解像度を1/4に縮小する際に有意である係数を用い、品質の高い画像が生成される。
【００２３】
請求項３記載の動画サムネイルデコーダ装置は、請求項１記載の動画サムネイルデコーダ装置において、逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃ，Ｄ，Ｅ及びＦを定数として、
【数３】
【００２４】
であるものである。
【００２５】
そして、この構成では、定数Ｅ，Ｆにより縦方向の解像度を小さくすることにより、解像度を1/4に縮小する際に有意である係数を用いるとともに、インタレース構造を有する画像を縮小することによるナイキスト歪の発生が抑制され、品質の高い画像が生成される。
【００２６】
請求項４記載の動画サムネイルデコーダ装置は、請求項１ないし３いずれか一記載の動画サムネイルデコーダ装置において、圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4にして1/8画素精度の動きベクトルを生成し、生成された1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行う動き補償手段を具備したものである。
【００２７】
そして、この構成では、縮小後も、動きベクトルを丸めることなく扱うため、不自然な動きを抑制した品質の高い画像が生成される。
【発明の効果】
【００２８】
本発明によれば、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する際に、負荷を軽減して処理を高速にできるとともに、全ての係数を逆ＤＣＴし平均化縮小した場合と同等の画像を生成し、間引きによる縮小画像に対して、画像の品質を向上できる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の動画サムネイルデコーダ装置の第１の実施の形態を図面を参照して説明する。
【００３０】
図２において、10は動画サムネイルデコーダ装置で、この動画サムネイルデコーダ装置10は、ＭＰＥＧ(Moving Picture coding Experts Group)方式などの離散コサイン変換（以下ＤＣＴ）と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号であるビットストリーム(Bit Stream)を復号化(デコード)して画像として復元する装置において、縦横1/4の解像度のサムネイルと呼ばれる縮小画像を得るいわばＭＰＥＧサムネイルデコーダである。
【００３１】
そして、この動画サムネイルデコーダ装置10は、ビットストリームを入力する手段と、入力されたビットストリームに対して可変長復号化(Variable Length Decoding)処理を施す可変長復号化手段21、この可変長復号化手段21で生成された係数すなわちＤＣＴ係数から代表的な係数を複数個抜き出し、その抜き出された係数のみで逆量子化を行う逆量子化手段22、この逆量子化手段22で逆量子化された係数を逆ＤＣＴ計算して縮小画像を生成する簡易逆ＤＣＴ計算手段(簡易逆ＤＣＴ計算部)23、生成した縮小画像を記録するとともに動画を後段の表示手段に出力するフレームバッファ24、可変長復号化された動きベクトルを元にフレームバッファ24に記録された画像から動き補償処理を行う動き補償手段(1/8pel動き保証部)25、及び、この動き補償手段25で動き補償された画像と簡易逆ＤＣＴ計算手段23で生成された差分画像成分とを加算する加算手段26となどを備えている。
【００３２】
より詳細には、まず、可変長復号化手段21に、伝送路や蓄積メディアから得られたビットストリームが入力されると、通常のＭＰＥＧデコーダの処理と同じ方式で、可変長復号化される。そして、この処理により、８行８列(８×８)のブロックに対するＤＣＴ係数、16行16列(16×16)のマクロブロックに対する動きベクトル、ＤＣＴ係数種別その他の付帯情報が得られる。
【００３３】
そして、ＤＣＴ係数に関しては後段の逆ＤＣＴで一部の係数のみが選択され使用されるため、選択されない係数に関してはここで破棄し、選択された係数のみが逆量子化手段22に入力され、通常の逆量子化処理が施される。この第１の実施の形態では、ＤＣＴ係数の選択に関しては、図１に示すように、８行８列(８×８)の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)が選択される。
【００３４】
そして、逆量子化処理を施されたＤＣＴ係数は簡易逆ＤＣＴ計算手段23に渡され、Ｃを定数とする上記の数式１で示した簡易化された逆ＤＣＴ計算処理が施され、図１に示すように、２行２列(２×２)の復元された画像成分(p00,p01,p10,p11)または差分画像成分が生成され、フレームバッファ24に記録される。
【００３５】
ここで、逆量子化及び逆ＤＣＴの対象となる係数の選択については、解像度を1/4とすることを前提としたときに有意な係数のみを選択し、処理負荷の軽減による処理の高速化と画像の品質の向上との両立が図られる。すなわち、図１に示すＤＣＴ係数の各波成分に対して、1/4に平均化を行うことを考えると、第２、４、６波は平均化によって０になってしまうので、採用する意味がなく選択の対象外とする。また、1/4の平均縮小化を前提とすると高周波成分を選択すると逆にナイキストがでてしまい悪影響となるので高周波成分は対象外とする、との観点を指針としている。
【００３６】
さらに、この数式１で示した計算式は、逆ＤＣＴ後の８行８列(８×８)の画素の画像または差分画像データを、４行４列(８×８)の画素のブロックに分割し、それぞれのブロック内で平均値をとった場合とほぼ等価な値がでるように導出されている。
【００３７】
この計算式の導出過程を図３及び以下の数式４ないし数式６に示す。図３に示すように、８個の係数(a0,a01,…,a6,a7)から、２個の画像成分(pix0,pix1)を計算する場合の１次元ＤＣＴの説明で、数式４は逆ＤＣＴの定義式、数式５はpix0の導出式、数式６はpix1の導出式である。なお、これら図３などの説明は、１次元ＤＣＴに関して説明されているが、２次元ＤＣＴは１次元ＤＣＴの繰り返しであり、この１次元ＤＣＴの説明から容易に導出できる。
【００３８】
【数４】
【００３９】
【数５】
【００４０】
【数６】
【００４１】
こうして導出された計算式である数式１は、いわば簡易逆ＤＣＴ計算式であり、一般的な８行８列(８×８)の逆ＤＣＴを実施したあとに平均化縮小を行う処理に比べて格段に簡易化されている。
【００４２】
なお、動きの早いインタレース画像の場合、ＤＣＴ係数がフィールド単位で算出されている、いわゆるフィールドベースＤＣＴの場合がある。この実施の形態においては、フィールドベースにおいてもフレームベースにおいても、逆ＤＣＴにおいては全く同じ処理を行い、さらにフィールドベースの場合は、図４に示すように、逆ＤＣＴの後にラインの入れ替え(置き換え)を行い、フィールドベースの画像からフレームベースの画像に戻す処理を行う。そして、この処理により、動きの早いインタレース画像の場合も、トップフィールド(Top Field)及びボトムフィールド(Bottom Field)の画像が縮小された画像の中に再現され、後段の動き補償処理との整合性をとることができる。なお、図４において、51はＤＣＴモードがフィールドベースのときのマクロブロック(Macroblock)の輝度データ、52はＤＣＴモードがフィールドベースのときの逆ＤＣＴ後の差分画像データ、53はライン並び替え後の差分画像データである。また、ハッチングを付した部分がトップフィールド、白抜きの部分がボトムフィールドである。
【００４３】
一方で、動き補償手段25により、可変長復号化手段21により生成された動きベクトルをもとに、フレームバッファ24から前方向・後方向予測のための画像を参照し、予測画像を形成するための動き補償処理が行われる。
【００４４】
図５に、通常のＭＰＥＧ-4における1/2画素精度の動き補償処理の基本部を擬似的なＣ言語のソースコードで表現したものを示す。このコードは、ISO_IEC14496-2（ＭＰＥＧ-4の規格書）より抜粋したものである。また、この処理を説明する模式図を図６に示す。
【００４５】
これに対して、本実施の形態の双線形補完方式による1/8画素精度の動き補償処理の擬似的なＣ言語のソースコードを、図７に示し、処理を説明する模式図を図８に示す。
【００４６】
この例は、ＭＰＥＧ-4にあわせたものであるが、ＭＰＥＧ-1/2でもほぼ同様である。このコードは、動き補償を行う際に、逆量子化手段22で取り出されたハーフペルすなわち1/2画素精度の動きベクトルを、ビット精度を保ったまま1/4とすることにより、1/8画素精度の動きベクトルとして扱い、双線形補完アルゴリズムを使用して動き補償を行うもので、図７に矢印41で示す部分のフィールドベース動き補償計算部と、図７に矢印42で示す部分のフレームベース動き補償計算部を有している。そして、フィールドベースの動き補償の場合は、フィールドベース動き補償計算部で、その予測対象フィールドの画素のみを使って動き補償をしているため、動きの激しいインタレースの画像でも自然な画像を再生することができる。
【００４７】
すなわち、ＤＣＴ後の差分画像データ、及び参照画像データは、既に縦横1/4に縮小されているため、可変長復号化手段21から取り出した動きベクトルも1/4に縮小する必要があるが、1/4に割り算された動きベクトルをハープペル精度に丸めてしまうことは動画においては大きなひずみを生じてしまう原因となる。これを解決するため、この実施の形態では、1/4に縮小した後も、動きベクトルを丸めることなく扱う手法とした。さらに、フィールドベース時にもインタレース構造を保ったまま動き補償を行っているため、動きが激しいシーンでも忠実にデコードが可能である。また、動きが少ないシーンでも1/8画素精度で予測を行うため、やはり忠実に再生が可能となる。
【００４８】
そして、この動き補償後の画像と、簡易逆ＤＣＴ計算手段23からの差分画像成分は、最後に加算手段26で加算され、再生画像としてフレームバッファ24に格納され後段の表示手段に渡される。
【００４９】
そして、本実施の形態によれば、可変長復号化した係数のうち、予め選択した係数のみを逆量子化し、数式１に示す簡略な計算式で逆ＤＣＴするため、縦横1/4の解像度に縮小した縮小画像を、処理の負荷を軽減して高速に生成することができる。
【００５０】
また、係数の選択について、1/4の平均縮小化を前提として有意な係数のみを選択し、さらに、数式１に示す計算式で逆ＤＣＴすることにより、フルデコードすなわち全ての係数を正規の逆ＤＣＴした後に縦横1/4の解像度に平均化により縮小変換して生成した縮小画像と同等の高い品質の画像を得ることができる。
【００５１】
さらに、動き補償について、逆量子化手段22で取り出された1/2画素精度の動きベクトルを、1/8画素精度の動きベクトルとして扱い、双線形補完アルゴリズムを使用するため、不自然な動きが抑制された滑らかな動きの自然な動画を生成することができる。
【００５２】
そして、上記のように、ＭＰＥＧの圧縮信号から、動きが激しい動画及び動きが少ない動画のどちらにおいても、品質の高い縮小画像を処理の負荷を軽減して高速に生成できるため、ＭＰＥＧの処理用などの専用のハードウェアを有しないパーソナルコンピュータ、家電製品などでも、複数の動画のビットストリームを同時に30fpsでデコードして、表示することが可能となる。
【００５３】
そこで、例えば、複数の監視カメラからインターネットなどを介して送信されるＭＰＥＧの圧縮信号を同時にデコードして表示するモニタリングシステムを安価に構築できる。また、複数のカメラを備えたテレビ会議システムにおいて、多数の参加者を動画の縮小画像で表示すると同時に、話者を縮小しない解像度で表示(フルデコード)することができる。あるいは、インターネットなどを介して送信される高解像度のいわゆるＨＤ規格の動画についても、一般的な処理能力のパーソナルコンピュータで再生することが可能になる。
【００５４】
また、ＭＰＥＧ方式で動画が記録された記録媒体から動画を再生する装置に適用することもできる。例えば、ＤＶＤレコーダについて、複数の記録内容を同時に動画によりサムネイル表示できる。このため、静止画によるサムネイル表示の際に必要となる煩雑な登録作業が不要になるとともに、記録内容を容易に確認することができる。
【００５５】
次に、逆ＤＣＴの計算式の第２の実施の形態を説明する。
【００５６】
この第２の実施の形態では、ＤＣＴ係数の選択に関しては、図９に示すように、８行８列の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)に加え、枠32，33で囲んだ４個の係数(a03,a13,a30,a31)が選択される。この選択は、高周波成分を対象外とするとともに、平均化によって０になる第２波すなわち第２行及び第２列を対象外とするとの観点に基づくものである。
【００５７】
そして、簡易逆ＤＣＴ計算手段23により、Ｃ及びＤを定数として、上記の数式２で示した簡易化された逆ＤＣＴ計算処理を行うことにより、２行２列(２×２)の復元された画像成分または差分画像成分を生成できる。そして、この構成では、数式１を用いる構成に比べると、選択する係数が多く、画像の品質が向上するとともに処理の負荷が大きくなるが、全ての係数を正規の逆ＤＣＴした後に縦横1/4の解像度に平均化により縮小変換して縮小画像を生成する構成に比べ、負荷を軽減することができる。
【００５８】
次に、逆ＤＣＴの計算式の第３の実施の形態を説明する。
【００５９】
上記の第２の実施の形態の数式２においては、ビットストリームがインタレース画像の場合、このインタレース画像をインタレース構造を維持したまま1/4への解像度縮小を行うことにより、図４に示すようにラインの入れ替えを行っても、インタレースであるがゆえのナイキスト歪が発生する場合がある。そこで、この第３の実施の形態の数式３では、ＤＣＴ係数の選択に関しては、第２の実施の形態と同様に、図９に示すように、８行８列の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)とともに、枠32，33で囲んだ４個の係数(a03,a13,a30,a31)が選択される。
【００６０】
そして、簡易逆ＤＣＴ計算手段23により、Ｃ，Ｄ，Ｅ，Ｆを定数として、上記の数式３で示した簡易化された逆ＤＣＴ計算処理を行うことにより、２行２列(２×２)の復元された画像成分または差分画像成分を生成できる。そして、この構成では、数式２を用いる構成に比べ、定数Ｅ，Ｆにより縦方向の解像度を下げることにより、インタレース構造をもつビットストリームをサムネイルデコーディングをする際に、ナイキスト歪を解消し、インタレース画像の品質を向上できる。
【００６１】
そして、動き補償においても、上記の図７の矢印41の部分に示すように、フィールドベース予測をそのインタレース構造を保ったまま、1/8画素精度の動き補償を行うため、動きが激しいインタレース画像においても、歪の少ない滑らかな動画を生成できる。
【００６２】
このようにして、ＭＰＥＧストリームを縦横1/4サイズの動画サムネイルデコードする技術において、動きが激しい動画や動きが少ない動画、インタレース画像のいずれにおいても、いわゆるフルデコードした後に縮小する場合とほぼ同等画質の画像を得ることができる。
【００６３】
なお、上記の各実施の形態では、ＭＰＥＧ方式について説明したが、この構成に限られず、WindowsMedia(登録商標)のVC-1方式など、離散コサイン変換（ＤＣＴ）と動きベクトルによる動き補償(動き予測)を利用して圧縮された動画の圧縮信号から縮小画像を生成する構成に適用できる。
【産業上の利用可能性】
【００６４】
本発明は、例えば、複数の監視カメラから送信されるＭＰＥＧ方式の動画を同時に表示するモニタリングシステムに適用できる。
【図面の簡単な説明】
【００６５】
【図１】本発明の動画サムネイルデコーダ装置の第１の実施の形態のＤＣＴ係数の周波数成分及び逆ＤＣＴ処理を模式的に示す説明図である。
【図２】同上動画サムネイルデコーダ装置のブロック図である。
【図３】同上動画サムネイルデコーダ装置の簡易逆ＤＣＴ式の導出過程を示す説明図である。
【図４】同上動画サムネイルデコーダ装置のフィールドベース逆ＤＣＴ後のライン入れ替え処理の説明図である。
【図５】比較例であるＭＰＥＧ-4の動き補償アルゴリズムを説明する擬似ソースコードの説明図である。
【図６】同上動き補償アルゴリズムを模式的に示す説明図である。
【図７】本発明の1/8画素精度の動き補償アルゴリズムを説明する擬似ソースコードの説明図である。
【図８】同上動き補償アルゴリズムを模式的に示す説明図である。
【図９】本発明の動画サムネイルデコーダ装置の第２の実施の形態のＤＣＴ係数の周波数成分及び逆ＤＣＴ処理を模式的に示す説明図である。
【符号の説明】
【００６６】
10 動画サムネイルデコーダ装置
21 可変長復号化手段
22 逆量子化手段
23 簡易逆ＤＣＴ計算手段
25 動き補償手段
【技術分野】
【０００１】
本発明は、ＭＰＥＧ-1（ISO/IEC11172-2）、ＭＰＥＧ-2（ISO/IEC 13818-2）、ＭＰＥＧ-4（ISO/IEC14496-2）やVC-1方式などの離散コサイン変換（以下ＤＣＴ）技術を圧縮の基本として符号化(エンコード)された動画の圧縮信号であるビットストリームを高速に復号化(デコード)して、サムネイルと呼ばれる縮小画像を生成する動画サムネイルデコーダ装置に関する。
【背景技術】
【０００２】
まず、通常の圧縮信号の復号化の技術について説明する。
【０００３】
動画の圧縮技術であるＭＰＥＧ-2,4等の復号化すなわちデコーディング手法は、規格書に定められているがおおむね下記のとおりである。
【０００４】
(1) 可変長復号化(Variable Length Decoding(VLD))：ハフマン(Huffman)符号化されているビットストリームをハフマン辞書の逆引きにより復号化し、ＤＣＴ係数と動きベクトル等の属性情報を得る。このとき、規格により、動きベクトルの予測処理やＤＣＴ係数の予測処理などが行われる場合がある。
【０００５】
(2) 逆量子化：ＤＣＴ係数に対して量子化スケール値や量子化マトリックスを乗算することにより、ＤＣＴ係数をエンコード時のレベルに復元する。
【０００６】
(3) 逆ＤＣＴ：ＤＣＴ係数に対して、定められた行列演算を施すことにより、周波数領域で表現されているＤＣＴ係数を画像または差分画像に復元する。
【０００７】
(4) 動き補償：デコード済みの参照画像の一部をブロック単位で動きベクトル分移動した画像を予測画像とし、(3)の差分画像を加算することにより、デコード画像を得る。
【０００８】
(5) (4)によって得られた画像は４：２：０や４：２：２形式のY、Cb、Crデータであるため、表示体にあわせて4:4:4形式としたり、RGBに変換したりする。
【０００９】
上記のデコード処理をＣＰＵを備えた装置のソフトウエアで実現した場合、上記の(2)〜(5)の処理が全体のＣＰＵ演算負荷の80%を占めている。
【００１０】
そして、このような復号化において、縮小画像を得るサムネイルデコーディングの技術が知られている。
【００１１】
例えば、ＭＰＥＧのビットストリームを縮小画像として複数同時にデコードし、一つの表示手段に複数の縮小した動画像を表示する技術が知られている(例えば、特許文献１参照。)。この構成では、複数の復号化器を備え、各復号化器は、逆ＤＣＴまでを通常と同じ処理で行い、すなわち、逆多重化、可変長復号化、逆量子化、逆ＤＣＴを行った後、画素を間引くことで縮小画像を得ている。また、動き補償処理においては、動きベクトルを1/nにした後、通常の1/2画素精度のハーフペル(Halfpel)動き補償器に入力している。
【００１２】
しかしながら、この構成では、逆ＤＣＴまでを通常と同じ処理で行うため、デコード処理の負荷を大きく軽減できず、また、動き補償処理においては、動きベクトルを1/nにした後、通常のハーフペル動き補償器に入力するため、ゆっくりとカメラを移動するいわゆる一定速度のパン映像等で大きなひずみが発生しやすい問題を有している。すなわち、例えば、カメラを横方向に毎フレーム1.5画素分動かした動画を記録したビットストリームがあったとする。縮小比率が1/4だった場合には、この動きベクトルを４で割ると0.375となり、ハーフペル（0.5画素）単位の動きベクトルとすると、その丸め方により、0または0.5画素の動きベクトルとなってしまう。そこで、デコードを重ねる毎にこの丸め誤差が積み重なってしまい、不自然な動きをする絵が再生されてしまうことになる。
【００１３】
また、例えば、画像サイズを変換可能な装置として、ＤＣＴ係数のうち、低域側の一部の係数のみを逆量子化する、ＤＣＴ係数の間引き方法と間引き時の逆ＤＣＴ演算方法が知られている(例えば、特許文献２参照。)。この方法は、ＤＣＴ係数の高域成分を0として逆ＤＣＴ演算を行った後、画像を間引くことと等価であるが、逆ＤＣＴ後に画素を間引くことによる縮小であるため、平均化による画像縮小に比べて画質が劣り、フレームＤＣＴ時とフィールドＤＣＴ時とで処理を分ける必要があるなど、処理が煩雑になる。また、この特許文献２の構成では、動き補償に関しては文献１と同じ方法であり、同様の問題を有している。
【００１４】
また、例えば、サムネイル画像の生成装置について、インタレース画像のトップフィールドとボトムフィールドの両方の情報を保持するようにして、動き補償の際の画質の劣化の抑制を図ったフィールドＤＣＴに関する技術が知られている(例えば、特許文献３参照。)。この特許文献３に記載された手法も、逆ＤＣＴ後の間引きによるものであり、平均化による縮小に比べると画質が劣化するとともに、動き補償に関しては文献１と同じ方法であり、同様の問題を有している。
【特許文献１】特開平０５−２９２４９０号公報 （図１−２）
【特許文献２】特開２０００−２１７１１１号公報 （第１頁）
【特許文献３】特開２００５−２４４３８２号公報 （第１頁）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記のように、従来の構成では、画像の縮小方法が、逆ＤＣＴ後の間引きあるいは逆ＤＣＴ後の間引きと同等の処理であり、画像の品質が劣化する問題を有している。また、動き補償について、動きベクトルを縮小比率で割り算した後、ＭＰＥＧの規格で定められている動き補償を適用しているため、ゆっくりとした動きでは大きなひずみが発生する問題を有している。
【００１６】
本発明は、このような点に鑑みなされたもので、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する際に、処理を高速にできるとともに画像の品質を向上できる動画サムネイルデコーダ装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
請求項１記載の動画サムネイルデコーダ装置は、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する動画サムネイルデコーダ装置であって、圧縮信号に対して可変長復号化処理を行い複数の係数を得る可変長復号化手段と、この可変長復号化手段で得られた複数の係数から特定の係数を複数個選択し、選択された係数のみを逆量子化する逆量子化手段と、この逆量子化手段で逆量子化された係数を逆ＤＣＴ計算式を用いて計算し、縦横の解像度を縮小した縮小画像を得る簡易逆ＤＣＴ計算手段とを具備し、前記逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃを定数として、
【数１】
【００１８】
であるものである。
【００１９】
そして、この構成では、選択された係数のみを逆量子化し、逆ＤＣＴ計算式を用いて計算して縮小画像を得るため、計算の負荷が軽減され、高速の処理が可能になる。数式１に示す逆ＤＣＴ計算式を用いることにより、全ての係数を逆量子化して正規の逆ＤＣＴを行った後、平均化による縮小を行う場合と同等の品質の画像が生成される。
【００２０】
請求項２記載の動画サムネイルデコーダ装置は、請求項１記載の動画サムネイルデコーダ装置において、逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃ及びＤを定数として、
【数２】
【００２１】
であるものである。
【００２２】
そして、この構成では、8行8列のマトリクスで示される64個の係数から、解像度を1/4に縮小する際に有意である係数を用い、品質の高い画像が生成される。
【００２３】
請求項３記載の動画サムネイルデコーダ装置は、請求項１記載の動画サムネイルデコーダ装置において、逆ＤＣＴ計算式は、可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、この逆ＤＣＴ計算式は、Ｃ，Ｄ，Ｅ及びＦを定数として、
【数３】
【００２４】
であるものである。
【００２５】
そして、この構成では、定数Ｅ，Ｆにより縦方向の解像度を小さくすることにより、解像度を1/4に縮小する際に有意である係数を用いるとともに、インタレース構造を有する画像を縮小することによるナイキスト歪の発生が抑制され、品質の高い画像が生成される。
【００２６】
請求項４記載の動画サムネイルデコーダ装置は、請求項１ないし３いずれか一記載の動画サムネイルデコーダ装置において、圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4にして1/8画素精度の動きベクトルを生成し、生成された1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行う動き補償手段を具備したものである。
【００２７】
そして、この構成では、縮小後も、動きベクトルを丸めることなく扱うため、不自然な動きを抑制した品質の高い画像が生成される。
【発明の効果】
【００２８】
本発明によれば、離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する際に、負荷を軽減して処理を高速にできるとともに、全ての係数を逆ＤＣＴし平均化縮小した場合と同等の画像を生成し、間引きによる縮小画像に対して、画像の品質を向上できる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の動画サムネイルデコーダ装置の第１の実施の形態を図面を参照して説明する。
【００３０】
図２において、10は動画サムネイルデコーダ装置で、この動画サムネイルデコーダ装置10は、ＭＰＥＧ(Moving Picture coding Experts Group)方式などの離散コサイン変換（以下ＤＣＴ）と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号であるビットストリーム(Bit Stream)を復号化(デコード)して画像として復元する装置において、縦横1/4の解像度のサムネイルと呼ばれる縮小画像を得るいわばＭＰＥＧサムネイルデコーダである。
【００３１】
そして、この動画サムネイルデコーダ装置10は、ビットストリームを入力する手段と、入力されたビットストリームに対して可変長復号化(Variable Length Decoding)処理を施す可変長復号化手段21、この可変長復号化手段21で生成された係数すなわちＤＣＴ係数から代表的な係数を複数個抜き出し、その抜き出された係数のみで逆量子化を行う逆量子化手段22、この逆量子化手段22で逆量子化された係数を逆ＤＣＴ計算して縮小画像を生成する簡易逆ＤＣＴ計算手段(簡易逆ＤＣＴ計算部)23、生成した縮小画像を記録するとともに動画を後段の表示手段に出力するフレームバッファ24、可変長復号化された動きベクトルを元にフレームバッファ24に記録された画像から動き補償処理を行う動き補償手段(1/8pel動き保証部)25、及び、この動き補償手段25で動き補償された画像と簡易逆ＤＣＴ計算手段23で生成された差分画像成分とを加算する加算手段26となどを備えている。
【００３２】
より詳細には、まず、可変長復号化手段21に、伝送路や蓄積メディアから得られたビットストリームが入力されると、通常のＭＰＥＧデコーダの処理と同じ方式で、可変長復号化される。そして、この処理により、８行８列(８×８)のブロックに対するＤＣＴ係数、16行16列(16×16)のマクロブロックに対する動きベクトル、ＤＣＴ係数種別その他の付帯情報が得られる。
【００３３】
そして、ＤＣＴ係数に関しては後段の逆ＤＣＴで一部の係数のみが選択され使用されるため、選択されない係数に関してはここで破棄し、選択された係数のみが逆量子化手段22に入力され、通常の逆量子化処理が施される。この第１の実施の形態では、ＤＣＴ係数の選択に関しては、図１に示すように、８行８列(８×８)の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)が選択される。
【００３４】
そして、逆量子化処理を施されたＤＣＴ係数は簡易逆ＤＣＴ計算手段23に渡され、Ｃを定数とする上記の数式１で示した簡易化された逆ＤＣＴ計算処理が施され、図１に示すように、２行２列(２×２)の復元された画像成分(p00,p01,p10,p11)または差分画像成分が生成され、フレームバッファ24に記録される。
【００３５】
ここで、逆量子化及び逆ＤＣＴの対象となる係数の選択については、解像度を1/4とすることを前提としたときに有意な係数のみを選択し、処理負荷の軽減による処理の高速化と画像の品質の向上との両立が図られる。すなわち、図１に示すＤＣＴ係数の各波成分に対して、1/4に平均化を行うことを考えると、第２、４、６波は平均化によって０になってしまうので、採用する意味がなく選択の対象外とする。また、1/4の平均縮小化を前提とすると高周波成分を選択すると逆にナイキストがでてしまい悪影響となるので高周波成分は対象外とする、との観点を指針としている。
【００３６】
さらに、この数式１で示した計算式は、逆ＤＣＴ後の８行８列(８×８)の画素の画像または差分画像データを、４行４列(８×８)の画素のブロックに分割し、それぞれのブロック内で平均値をとった場合とほぼ等価な値がでるように導出されている。
【００３７】
この計算式の導出過程を図３及び以下の数式４ないし数式６に示す。図３に示すように、８個の係数(a0,a01,…,a6,a7)から、２個の画像成分(pix0,pix1)を計算する場合の１次元ＤＣＴの説明で、数式４は逆ＤＣＴの定義式、数式５はpix0の導出式、数式６はpix1の導出式である。なお、これら図３などの説明は、１次元ＤＣＴに関して説明されているが、２次元ＤＣＴは１次元ＤＣＴの繰り返しであり、この１次元ＤＣＴの説明から容易に導出できる。
【００３８】
【数４】
【００３９】
【数５】
【００４０】
【数６】
【００４１】
こうして導出された計算式である数式１は、いわば簡易逆ＤＣＴ計算式であり、一般的な８行８列(８×８)の逆ＤＣＴを実施したあとに平均化縮小を行う処理に比べて格段に簡易化されている。
【００４２】
なお、動きの早いインタレース画像の場合、ＤＣＴ係数がフィールド単位で算出されている、いわゆるフィールドベースＤＣＴの場合がある。この実施の形態においては、フィールドベースにおいてもフレームベースにおいても、逆ＤＣＴにおいては全く同じ処理を行い、さらにフィールドベースの場合は、図４に示すように、逆ＤＣＴの後にラインの入れ替え(置き換え)を行い、フィールドベースの画像からフレームベースの画像に戻す処理を行う。そして、この処理により、動きの早いインタレース画像の場合も、トップフィールド(Top Field)及びボトムフィールド(Bottom Field)の画像が縮小された画像の中に再現され、後段の動き補償処理との整合性をとることができる。なお、図４において、51はＤＣＴモードがフィールドベースのときのマクロブロック(Macroblock)の輝度データ、52はＤＣＴモードがフィールドベースのときの逆ＤＣＴ後の差分画像データ、53はライン並び替え後の差分画像データである。また、ハッチングを付した部分がトップフィールド、白抜きの部分がボトムフィールドである。
【００４３】
一方で、動き補償手段25により、可変長復号化手段21により生成された動きベクトルをもとに、フレームバッファ24から前方向・後方向予測のための画像を参照し、予測画像を形成するための動き補償処理が行われる。
【００４４】
図５に、通常のＭＰＥＧ-4における1/2画素精度の動き補償処理の基本部を擬似的なＣ言語のソースコードで表現したものを示す。このコードは、ISO_IEC14496-2（ＭＰＥＧ-4の規格書）より抜粋したものである。また、この処理を説明する模式図を図６に示す。
【００４５】
これに対して、本実施の形態の双線形補完方式による1/8画素精度の動き補償処理の擬似的なＣ言語のソースコードを、図７に示し、処理を説明する模式図を図８に示す。
【００４６】
この例は、ＭＰＥＧ-4にあわせたものであるが、ＭＰＥＧ-1/2でもほぼ同様である。このコードは、動き補償を行う際に、逆量子化手段22で取り出されたハーフペルすなわち1/2画素精度の動きベクトルを、ビット精度を保ったまま1/4とすることにより、1/8画素精度の動きベクトルとして扱い、双線形補完アルゴリズムを使用して動き補償を行うもので、図７に矢印41で示す部分のフィールドベース動き補償計算部と、図７に矢印42で示す部分のフレームベース動き補償計算部を有している。そして、フィールドベースの動き補償の場合は、フィールドベース動き補償計算部で、その予測対象フィールドの画素のみを使って動き補償をしているため、動きの激しいインタレースの画像でも自然な画像を再生することができる。
【００４７】
すなわち、ＤＣＴ後の差分画像データ、及び参照画像データは、既に縦横1/4に縮小されているため、可変長復号化手段21から取り出した動きベクトルも1/4に縮小する必要があるが、1/4に割り算された動きベクトルをハープペル精度に丸めてしまうことは動画においては大きなひずみを生じてしまう原因となる。これを解決するため、この実施の形態では、1/4に縮小した後も、動きベクトルを丸めることなく扱う手法とした。さらに、フィールドベース時にもインタレース構造を保ったまま動き補償を行っているため、動きが激しいシーンでも忠実にデコードが可能である。また、動きが少ないシーンでも1/8画素精度で予測を行うため、やはり忠実に再生が可能となる。
【００４８】
そして、この動き補償後の画像と、簡易逆ＤＣＴ計算手段23からの差分画像成分は、最後に加算手段26で加算され、再生画像としてフレームバッファ24に格納され後段の表示手段に渡される。
【００４９】
そして、本実施の形態によれば、可変長復号化した係数のうち、予め選択した係数のみを逆量子化し、数式１に示す簡略な計算式で逆ＤＣＴするため、縦横1/4の解像度に縮小した縮小画像を、処理の負荷を軽減して高速に生成することができる。
【００５０】
また、係数の選択について、1/4の平均縮小化を前提として有意な係数のみを選択し、さらに、数式１に示す計算式で逆ＤＣＴすることにより、フルデコードすなわち全ての係数を正規の逆ＤＣＴした後に縦横1/4の解像度に平均化により縮小変換して生成した縮小画像と同等の高い品質の画像を得ることができる。
【００５１】
さらに、動き補償について、逆量子化手段22で取り出された1/2画素精度の動きベクトルを、1/8画素精度の動きベクトルとして扱い、双線形補完アルゴリズムを使用するため、不自然な動きが抑制された滑らかな動きの自然な動画を生成することができる。
【００５２】
そして、上記のように、ＭＰＥＧの圧縮信号から、動きが激しい動画及び動きが少ない動画のどちらにおいても、品質の高い縮小画像を処理の負荷を軽減して高速に生成できるため、ＭＰＥＧの処理用などの専用のハードウェアを有しないパーソナルコンピュータ、家電製品などでも、複数の動画のビットストリームを同時に30fpsでデコードして、表示することが可能となる。
【００５３】
そこで、例えば、複数の監視カメラからインターネットなどを介して送信されるＭＰＥＧの圧縮信号を同時にデコードして表示するモニタリングシステムを安価に構築できる。また、複数のカメラを備えたテレビ会議システムにおいて、多数の参加者を動画の縮小画像で表示すると同時に、話者を縮小しない解像度で表示(フルデコード)することができる。あるいは、インターネットなどを介して送信される高解像度のいわゆるＨＤ規格の動画についても、一般的な処理能力のパーソナルコンピュータで再生することが可能になる。
【００５４】
また、ＭＰＥＧ方式で動画が記録された記録媒体から動画を再生する装置に適用することもできる。例えば、ＤＶＤレコーダについて、複数の記録内容を同時に動画によりサムネイル表示できる。このため、静止画によるサムネイル表示の際に必要となる煩雑な登録作業が不要になるとともに、記録内容を容易に確認することができる。
【００５５】
次に、逆ＤＣＴの計算式の第２の実施の形態を説明する。
【００５６】
この第２の実施の形態では、ＤＣＴ係数の選択に関しては、図９に示すように、８行８列の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)に加え、枠32，33で囲んだ４個の係数(a03,a13,a30,a31)が選択される。この選択は、高周波成分を対象外とするとともに、平均化によって０になる第２波すなわち第２行及び第２列を対象外とするとの観点に基づくものである。
【００５７】
そして、簡易逆ＤＣＴ計算手段23により、Ｃ及びＤを定数として、上記の数式２で示した簡易化された逆ＤＣＴ計算処理を行うことにより、２行２列(２×２)の復元された画像成分または差分画像成分を生成できる。そして、この構成では、数式１を用いる構成に比べると、選択する係数が多く、画像の品質が向上するとともに処理の負荷が大きくなるが、全ての係数を正規の逆ＤＣＴした後に縦横1/4の解像度に平均化により縮小変換して縮小画像を生成する構成に比べ、負荷を軽減することができる。
【００５８】
次に、逆ＤＣＴの計算式の第３の実施の形態を説明する。
【００５９】
上記の第２の実施の形態の数式２においては、ビットストリームがインタレース画像の場合、このインタレース画像をインタレース構造を維持したまま1/4への解像度縮小を行うことにより、図４に示すようにラインの入れ替えを行っても、インタレースであるがゆえのナイキスト歪が発生する場合がある。そこで、この第３の実施の形態の数式３では、ＤＣＴ係数の選択に関しては、第２の実施の形態と同様に、図９に示すように、８行８列の64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、枠31で囲んだ低周波側の４個の係数(a00,a01,a10,a11)とともに、枠32，33で囲んだ４個の係数(a03,a13,a30,a31)が選択される。
【００６０】
そして、簡易逆ＤＣＴ計算手段23により、Ｃ，Ｄ，Ｅ，Ｆを定数として、上記の数式３で示した簡易化された逆ＤＣＴ計算処理を行うことにより、２行２列(２×２)の復元された画像成分または差分画像成分を生成できる。そして、この構成では、数式２を用いる構成に比べ、定数Ｅ，Ｆにより縦方向の解像度を下げることにより、インタレース構造をもつビットストリームをサムネイルデコーディングをする際に、ナイキスト歪を解消し、インタレース画像の品質を向上できる。
【００６１】
そして、動き補償においても、上記の図７の矢印41の部分に示すように、フィールドベース予測をそのインタレース構造を保ったまま、1/8画素精度の動き補償を行うため、動きが激しいインタレース画像においても、歪の少ない滑らかな動画を生成できる。
【００６２】
このようにして、ＭＰＥＧストリームを縦横1/4サイズの動画サムネイルデコードする技術において、動きが激しい動画や動きが少ない動画、インタレース画像のいずれにおいても、いわゆるフルデコードした後に縮小する場合とほぼ同等画質の画像を得ることができる。
【００６３】
なお、上記の各実施の形態では、ＭＰＥＧ方式について説明したが、この構成に限られず、WindowsMedia(登録商標)のVC-1方式など、離散コサイン変換（ＤＣＴ）と動きベクトルによる動き補償(動き予測)を利用して圧縮された動画の圧縮信号から縮小画像を生成する構成に適用できる。
【産業上の利用可能性】
【００６４】
本発明は、例えば、複数の監視カメラから送信されるＭＰＥＧ方式の動画を同時に表示するモニタリングシステムに適用できる。
【図面の簡単な説明】
【００６５】
【図１】本発明の動画サムネイルデコーダ装置の第１の実施の形態のＤＣＴ係数の周波数成分及び逆ＤＣＴ処理を模式的に示す説明図である。
【図２】同上動画サムネイルデコーダ装置のブロック図である。
【図３】同上動画サムネイルデコーダ装置の簡易逆ＤＣＴ式の導出過程を示す説明図である。
【図４】同上動画サムネイルデコーダ装置のフィールドベース逆ＤＣＴ後のライン入れ替え処理の説明図である。
【図５】比較例であるＭＰＥＧ-4の動き補償アルゴリズムを説明する擬似ソースコードの説明図である。
【図６】同上動き補償アルゴリズムを模式的に示す説明図である。
【図７】本発明の1/8画素精度の動き補償アルゴリズムを説明する擬似ソースコードの説明図である。
【図８】同上動き補償アルゴリズムを模式的に示す説明図である。
【図９】本発明の動画サムネイルデコーダ装置の第２の実施の形態のＤＣＴ係数の周波数成分及び逆ＤＣＴ処理を模式的に示す説明図である。
【符号の説明】
【００６６】
10 動画サムネイルデコーダ装置
21 可変長復号化手段
22 逆量子化手段
23 簡易逆ＤＣＴ計算手段
25 動き補償手段
【特許請求の範囲】
【請求項１】
離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する動画サムネイルデコーダ装置であって、
圧縮信号に対して可変長復号化処理を行い複数の係数を得る可変長復号化手段と、
この可変長復号化手段で得られた複数の係数から特定の係数を複数個選択し、選択された係数のみを逆量子化する逆量子化手段と、
この逆量子化手段で逆量子化された係数を逆ＤＣＴ計算式を用いて計算し、縦横の解像度を縮小した縮小画像を得る簡易逆ＤＣＴ計算手段とを具備し、
前記逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃを定数として、
であることを特徴とする動画サムネイルデコーダ装置。
【請求項２】
逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃ及びＤを定数として、
であることを特徴とする請求項１記載の動画サムネイルデコーダ装置。
【請求項３】
逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃ，Ｄ，Ｅ及びＦを定数として、
であることを特徴とする請求項１記載の動画サムネイルデコーダ装置。
【請求項４】
圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4にして1/8画素精度の動きベクトルを生成し、
生成された1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行う動き補償手段を具備した
ことを特徴とする請求項１ないし３いずれか一記載の動画サムネイルデコーダ装置。
【請求項１】
離散コサイン変換と動きベクトルによる動き補償を利用して圧縮された動画の圧縮信号を復号化し、縮小画像を生成する動画サムネイルデコーダ装置であって、
圧縮信号に対して可変長復号化処理を行い複数の係数を得る可変長復号化手段と、
この可変長復号化手段で得られた複数の係数から特定の係数を複数個選択し、選択された係数のみを逆量子化する逆量子化手段と、
この逆量子化手段で逆量子化された係数を逆ＤＣＴ計算式を用いて計算し、縦横の解像度を縮小した縮小画像を得る簡易逆ＤＣＴ計算手段とを具備し、
前記逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃを定数として、
であることを特徴とする動画サムネイルデコーダ装置。
【請求項２】
逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃ及びＤを定数として、
であることを特徴とする請求項１記載の動画サムネイルデコーダ装置。
【請求項３】
逆ＤＣＴ計算式は、
可変長復号化手段で得られた8行8列のマトリクスで示される64個の係数(a00,a01,a02,a03,a04,a05,a06,a07,a10,a11,…,a77)から、
低周波側の４個の係数(a00,a01,a10,a11)及び４個の係数(a03,a13,a30,a31)を用いて、
縦横の解像度を1/4とした2行2列(p00,p01,p10,p11)の解像度の画像を得るもので、
この逆ＤＣＴ計算式は、Ｃ，Ｄ，Ｅ及びＦを定数として、
であることを特徴とする請求項１記載の動画サムネイルデコーダ装置。
【請求項４】
圧縮信号から復元された1/2画素精度の動きベクトルをビット精度を保ったまま1/4にして1/8画素精度の動きベクトルを生成し、
生成された1/8画素精度の動きベクトルにより双線形補完アルゴリズムを使って動き補償を行う動き補償手段を具備した
ことを特徴とする請求項１ないし３いずれか一記載の動画サムネイルデコーダ装置。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図９】
【公開番号】特開２００８−１８２３４９（Ｐ２００８−１８２３４９Ａ）
【公開日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願番号】特願２００７−１２８５４（Ｐ２００７−１２８５４）
【出願日】平成１９年１月２３日（２００７．１．２３）
【出願人】（３０１０４１７６０）共信テクノソニック株式会社 (3)
【Ｆターム（参考）】
【公開日】平成２０年８月７日（２００８．８．７）
【国際特許分類】
【出願日】平成１９年１月２３日（２００７．１．２３）
【出願人】（３０１０４１７６０）共信テクノソニック株式会社 (3)
【Ｆターム（参考）】
[ Back to top ]