動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラム
【課題】優れた圧縮率を得ることができる動画像符号化装置を提供すること。
【解決手段】動画像のフレームを間引くフレーム間引き部と、フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる補間方法を用いて補間予測する複数のフレーム補間部と、互いに異なる補間方法の中から選択した補間方法を示す選択情報を生成する予測方法選択部とを備えることを特徴とする。
【解決手段】動画像のフレームを間引くフレーム間引き部と、フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる補間方法を用いて補間予測する複数のフレーム補間部と、互いに異なる補間方法の中から選択した補間方法を示す選択情報を生成する予測方法選択部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラムに関する。
【背景技術】
【０００２】
動画像圧縮を行う際に、画像を空間的または時空間的に縮小してから符号化を行う符号化装置と、復号後に画像拡大を行う復号装置がある（例えば、特許文献１）。
特許文献１の手法では、画像の局所的な重要度に応じて標本間隔を可変とした再標本化を行うことで、複雑なテクスチャを保存しつつ画像縮小を行うことが特徴的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８１４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画像符号化においては、十分な圧縮率が得られないことがあるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、優れた圧縮率を得ることができる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、動画像のフレームを間引くフレーム間引き部と、前記フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する予測方法選択部とを備えることを特徴とする動画像符号化装置である。
【０００７】
（２）また、この発明の他の態様は、上述の動画像符号化装置であって、前記予測方法選択部は、前記複数のフレーム補間部が補間予測した結果の各々と、前記フレーム間引き部が間引いたフレームとを比較し、該比較の結果、前記間引いたフレームに最も近いものを生成する際に用いた予測方法を示す選択情報を生成することを特徴とする。
【０００８】
（３）また、この発明の他の態様は、上述の動画像符号化装置であって、前記予測方法選択部は、前記フレームを分割した領域各々について前記予測方法を示す選択情報を生成することを特徴とする。
【０００９】
（４）また、この発明の他の態様は、入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択する選択切替部と、前記入力された動画像を構成するフレームの間に、前記選択部が選択したフレームを挿入して出力するフレーム挿入部とを具備することを特徴とする動画像復号装置である。
【００１０】
（５）また、この発明の他の態様は、上述の動画像復号装置であって、前記選択切替部は、前記選択情報に基づき、前記複数のフレーム補間部から一つを選択し、該選択したフレーム補間部に前記フレームの補間予測をさせることを特徴とする。
【００１１】
（６）また、この発明の他の態様は、上述の動画像復号装置であって、前記選択情報は、フレームを分割した領域各々について前記予測方法を示す情報であり、前記選択切替部は、前記フレームを分割した領域各々について、前記選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択することを特徴とする。
【００１２】
（７）また、この発明の他の態様は、動画像のフレームを間引く第１の過程と、前記第１の過程にて間引いたフレームについて、他のフレームに基づき補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第２の過程と、前記互いに異なる補間方法の中から選択した予測方法を示す選択情報を生成する第３の過程とを有することを特徴とする動画像符号化方法である。
【００１３】
（８）また、この発明の他の態様は、入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第１の過程と、前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数の第１の過程の各々にて補間予測して生成したフレームから一つを選択する第２の過程と、前記入力された動画像を構成するフレームの間に、前記第２の過程にて選択したフレームを挿入して出力する第３の過程とを有することを特徴とする動画像復号方法である。
【００１４】
（９）また、この発明の他の態様は、コンピュータを、上述のいずれかの動画像符号化装置として機能させるための動画像符号化プログラムである。
【００１５】
（１０）また、この発明の他の態様は、コンピュータを、上述のいずれかの動画像復号装置として機能させるための動画像復号プログラムである。
【発明の効果】
【００１６】
この発明によれば、動画像の符号化において、優れた圧縮率を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施形態による動画像伝送システム１００の構成を示す概略ブロック図である。
【図２】同実施形態における動画像符号化装置１０１の構成を示す概略ブロック図である。
【図３】同実施形態における入力画像Ｍの一例を示す図である。
【図４】同実施形態におけるフレーム間引き部１１１が出力する伝送フレームの例を示す図である。
【図５】同実施形態におけるモード選択情報ｎopt（Ｒ）の例を示す概念図である。
【図６】同実施形態における動画像復号装置１０３の構成を示す概略ブロック図である。
【図７】同実施形態の変形例における動画像復号装置１０３ａの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による動画像伝送システム１００の構成を示す概略ブロック図である。本実施形態における動画像伝送システム１００は、動画像符号化装置１０１、ネットワーク１０２、動画像復号装置１０３、表示装置１０４を含んで構成される。
【００１９】
動画像符号化装置１０１は、外部から入力された動画像である入力画像Ｍを符号化して、符号化画像Ｅと選択情報Ｓとを出力する。ネットワーク１０２は、インターネットなどのネットワークであり、動画像符号化装置１０１が出力した符号化画像Ｅおよび選択情報Ｓを動画像復号装置１０３に伝送する。動画像復号装置１０３は、ネットワーク１０２が伝送した符号化画像Ｅと選択情報Ｓとに基づき、復号動画像Ｄを生成し、出力する。表示装置１０４は、液晶パネルなどの表示デバイスを備えており、動画像復号装置が出力した復号動画像Ｄを表示する。なお、動画像復号装置１０３が、表示装置１０４を含んでいてもよい。また、ネットワーク１０２は、電波やケーブル、光ファイバなどを用いた放送用のネットワークであってもよい。
【００２０】
図２は、動画像符号化装置１０１の構成を示す概略ブロック図である。動画像符号化装置１０１は、フレーム間引き部１１１と、画像符号化部１１２、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎと、最適補間選択部１１４と、選択情報符号化部１１５とを含んで構成される。
【００２１】
フレーム間引き部１１１は、入力画像Ｍを構成するフレーム群から、所定のルールに従い、その一部のフレームを間引く。フレーム間引き部１１１は、間引いたフレームを最適補間選択部１１４に出力し、残りのフレーム（間引かれなかったフレーム）を画像符号化部１１２、第１フレーム補間部１１３−１、第２フレーム補間部１１３−２、・・・第Ｎフレーム補間部１１３−Ｎに出力する。
【００２２】
例えば、フレーム間引き部１１１は、入力画像ＭのＰフレーム毎に、予め決められたパターンで指定されたＰ−Ｑフレームを間引き、Ｑフレームを残す。なお、ＰおよびＱは自然数とし、Ｐ＞Ｑを満たす。例えば、フレーム間引き部１１１は、Ｐ＝２、Ｑ＝１で、奇数番目のフレームを間引く。以下では、出力されるフレームを「伝送フレーム」、出力しないフレームを「間引きフレーム」という。
【００２３】
第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−ｎは、間引きフレームの画像を、伝送フレームの画像から予測し、最適補間選択部１１４に出力する。こうして予測された間引きフレームの画像を予測画像という。第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−ｎは、それぞれ異なる予測方法によって、予測画像Ｉ1から予測画像Ｉnを生成する。なお、前記「異なる予測方法」とは、参照するフレームが異なる、参照するフレームの数が異なる、参照したフレームから予測画像を生成するのに用いる補間方法、（例えば、内挿と外挿の別）が異なる、補間に動き情報を利用するか否かが異なるといった差異（または、それら複数の組み合わせ方の差異）を指す。
【００２４】
例えば、第１フレーム補間部１１３−１は、予測すべき間引きフレームｆPより過去に存在する直近の伝送フレームｆB（その画像をＩBとする）を参照し、画像ＩBそのものを予測画像ＩPとして出力する（前方外挿）。
また、例えば、第２フレーム補間部１１３−２は、予測すべき間引きフレームｆPより未来に存在する直近の伝送フレームｆA（その画像をＩAとする）、を参照し、ＩAそのものを予測画像ＩPとして出力する（後方外挿）。
【００２５】
また、例えば、第３フレーム補間部１１３−３は、予測すべき間引きフレームｆPより過去に存在する直近の伝送フレームｆB（その画像をＩBとする）と、予測すべき間引きフレームより未来に存在する直近の伝送フレームｆA（その画像をＩAとする）を参照し、ＩBの画素値とＩAの画素値との間で演算を行い、該演算結果得られる画素値からなる画像を予測画像ＩPとする（内挿）。ＩBの画素値とＩAの画素値との間で演算としては、例えば、ＩBの画素値とＩAの画素値との間の平均演算ＩP＝（ＩB＋ＩA）／２を用いる。また、例えば、前記演算として、ＩBの画素値とＩAの画素値との間で重み付き和としてもよい。例えば、以下の式（１）を用いて、各画素について重み付きの和を算出する（１次内挿）。なお、式（１）において、ｆA、ｆB、ｆPは、各フレームの表示時刻を示し、ＩB、ＩA、ＩPは、各フレームの画像の画素値を示す。
【００２６】
【数１】
【００２７】
また、例えば、第４フレーム補間部１１３−４は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩBを該動きベクトル場に基づいて動き補償したものを予測画像ＩPとして出力する（前方動き補償予測）。
また、例えば、第５フレーム補間部１１３−５は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩAを該動きベクトル場に基づいて動き補償したものを予測画像ＩPとして出力する（後方動き補償予測）。
【００２８】
また、例えば、第６フレーム補間部１１３−６は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩBを動きベクトル場に基づいて動き補償した画像ＩPBと、画像ＩAを動きベクトル場に基づいて動き補償した画像ＩPAとを求め、画像ＩPBと画像ＩPAとの間の平均などの演算結果を予測画像ＩPとして出力する（双方動き補償予測）。
【００２９】
第４フレーム補間部１１３−４による方法（前方動き補償予測）について、詳細に説明する。まず、第４フレーム補間部１１３−４は、画像ＩBと画像ＩAとから動きベクトル場を求める。この動きベクトル場を構成する動きベクトルｖは、例えば、画像ＩB内の部分領域ＤB（これは全体領域でもよい）とテクスチャの最も類似する領域ＤAを画像ＩA内から探索する。テクスチャの最も類似する領域は画像間の画素値パターンの相互相関（正規化相互相関でもよい）の最大化により求めてもよいし、画像間の画素値パターンの誤差（例えば絶対値誤差や自乗誤差）の最小化によって求めてもよい。なお、動きベクトルｖは、画像ＩA内の部分領域とテクスチャの最も類似する領域を画像ＩB内から探索することで求めてもよい。
【００３０】
続いて、第４フレーム補間部１１３−４は、動きベクトルｖを（ｆP−ｆB）／（ｆA−ｆB）倍したベクトル量だけ画像ＩB内の領域ＤBの画素値パターンを移動した画像を作成する。こうして得た画像をさまざまな部分領域ＤBの場合について重ね合わせ、その結果を予測画像ＩPとする。
【００３１】
また、第５フレーム補間部１１３−５による方法（後方動き補償予測）の場合は、第４フレーム補間部１１３−４と同様にして動きベクトル場を生成したのち、動きベクトルｖを（ｆP−ｆA）／（ｆA−ｆB）倍したベクトル量だけ画像ＩA内の領域ＤAの画素値パターンを移動した画像を作成する。こうして得た画像をさまざまな部分領域ＤAの場合について重ね合わせ、その結果を予測画像ＩPとする。
【００３２】
また、第６フレーム補間部１１３−６による方法（双方動き予測）の場合は、上記の前方動き予測の結果（ＩPBとする）と、後方動き予測の結果（ＩPAとする）との間の演算結果を以て予測画像Ｉ6とする。例えば、ＩP＝（ＩPB＋ＩPA）／２としてもよいし、式（２）を用いてもよい。
【００３３】
【数２】
【００３４】
以上のように、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎで得た予測画像を、以降、ＩP,1からＩP,Nと表記する。また、第ｎフレーム補間部１１−ｎ（ｎ＝１、２、…、Ｎ）の番号ｎをモード番号と呼ぶ。
最適補間選択部１１４は、予測画像ＩP,1からＩP,Nの中から最も間引きフレームｆPの画像（以下、間引き画像ＩP,D）を近似するものを求め、その結果の予測画像を生成したフレーム補間部のモード番号をモード選択情報として出力する。
【００３５】
例えば、最適補間選択部１１４は、間引きフレームｆPを、複数の領域に分割し、式（３）により、分割した領域Ｒごとに予測画像ＩP,1からＩP,Nの中から一つのモード選択情報ｎopt（Ｒ）を生成する。なお、Ｉ（ｘ，ｙ）は、画像Ｉの画像座標（ｘ，ｙ）における画素値である。なお、式（３）では、近似するものを求める際に、画素値の差の絶対値の合計（ＳＡＤ；Sum of Absolute Difference）を用いたが、画素値の差の二乗の合計や、正規化相互相関を用いてもよい。なお、領域に分割する方法は、例えば矩形ブロック（例えば８画素×８画素）や非矩形ブロック（例えば、ハニカム状）などの所定の分割方法であってもよいし、例えばエッジや色などに基づいて既存の方法（例えばK平均アルゴリズム）で非定形的に分割する方法であってもよい。また、最適補間選択部１１４は、式（４）により、間引きフレームｆPごとに一つのモード選択情報ｎoptを生成してもよい。なお、式（４）において、Ｕは画像全体を指す。
【００３６】
【数３】
【００３７】
【数４】
【００３８】
画像符号化部１１２は、フレーム間引き部１１１が出力した伝送フレームに対して、既存の映像符号化方式による情報源符号化を行う。既存の映像符号化方式としては、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、Ｈ．２６１、Ｈ．２６３、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００などの動画像符号化方式を用いてもよいし、静止画用の画像符号化方式をフレームごとに適用してもよい。なお、画像符号化部１１２で行う符号化は、伝送路符号化のみであっても構わないし、情報源符号化と伝送路符号化との組み合わせであっても構わない。
【００３９】
選択情報符号化部１１５は、冗長性を削減するために、情報源符号化方式や、誤り耐性を付加するための伝送路符号化方式、またはそれらの両者を用いて、モード選択情報ｎopt（Ｒ）を符号化して、選択情報Ｓを生成する。例えば、選択情報符号化部１１５は、モード選択情報ｎopt（Ｒ）をそのまま固定長のビット列で符号化してもよいし、エントロピー符号化（例えば、ハフマン符号化や算術符号化）によって符号化しても構わない。
【００４０】
図３は、本実施形態における入力画像Ｍの一例を示す図である。図３に示すように入力画像Ｍは、時系列を持った複数の画像Ｇ１からＧ３を含んでいる。図３に示す例は、時間が経過すると、０フレーム目の画像Ｇ１、１フレーム目の画像Ｇ２、２フレーム目の画像Ｇ３という順番で遷移していく動画像である。
図４は、フレーム間引き部１１１が出力する伝送フレームの例を示す図である。図４では、偶数フレームを伝送フレーム、奇数フレームを間引きフレームとする場合の例を示す。図４では、１フレーム目の画像Ｇ２が間引かれて、伝送フレームは０フレーム目の画像Ｇ１と２フレーム目の画像Ｇ３のみとなっている。なお、画像符号化部１１２が符号化する画像は伝送フレームであるので、符号化画像Ｅも、画像Ｇ２を含まず、画像Ｇ１と画像Ｇ３を含むものとなる。
【００４１】
図５は、モード選択情報ｎopt（Ｒ）の例を示す概念図である。図５に示すモード選択情報Ｓ３は、予測すべきフレームを、縦方向に６つ、横方向に８つに等間隔に分割した領域ごとに選択されたモード番号から構成される。図５の例では、前方外挿をモード１、後方外挿をモード２、内挿をモード３、前方動き補償予測をモード４、前方動き補償予測をモード５、双方動き補償予測をモード６としている。選択情報符号化部１１５は、このようなモード選択情報ｎopt（Ｒ）を符号化して、選択情報Ｓを生成する。
【００４２】
図６は、動画像復号装置１０３の構成を示す概略ブロック図である。動画像復号装置１０３は、画像復号部１３１と、選択情報復号部１３２と、第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎと、選択切替部１３３と、フレーム挿入部１３４とを含んで構成される。
【００４３】
画像復号部１３１は、画像符号化部１１２と対をなす復号器である。画像復号部１３１は、画像符号化部１１２で生成された符号化画像Ｅを復号して、伝送フレームの画像を復元する。
選択情報復号部１３２は、選択情報符号化部１１５と対をなす復号器である。選択情報復号部１３２は、選択情報符号化部１１５で生成された選択情報Ｓを復号して、モード切替情報ｎopt（Ｒ）を復元する。
【００４４】
第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎは、図２における第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎと同様である。
選択切替部１３３は、モード切替情報ｎopt（Ｒ）に従い、第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎの結果（その画像をＩQ,1からＩQ,Nとする）を切り替え、選択画像ＩQを出力する。
選択切替部１３３は、例えば、式（５）により、各領域Ｒの画像を選択し、これらを組み合わせた画像を選択画像ＩQとして出力する。なお、間引きフレームｆPごとに一つのモード切替情報ｎoptが付与されている場合には、式（６）により選択画像ＩQを選択する。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
フレーム挿入部１３４は、画像復号部１３１が出力した伝送フレームの間に、選択切替部１３３が出力した選択画像ＩQを挿入し、その結果を復号動画像Ｄとして出力する。なお、フレーム挿入部１３４は、フレーム間引き部１１１においてフレームを間引く際のルールに基づき、フレームを挿入し、フレーム間引き部１１１への入力画像Ｍのフレーム順序と、復号動画像Ｄのフレーム順序とが同じになるように、フレームを挿入する。
【００４８】
このように、本実施形態では、入力画像Ｍのフレームを間引き、間引いたフレームについては、補間予測するモードを指定する選択情報Ｓのみを伝送するため、優れた圧縮効率を得ることができる。
さらに、フレームを分割した領域ごとに補間予測するモードを指定しているため、復号した結果が、入力画像Ｍから大きく離れることを防ぐことができる。
【００４９】
＜実施形態の変形例＞
上述の動画像復号装置１０３は、全てのフレーム補間部１１３−１から１１３−Ｎが常に動作していて、その結果の中から一つをモード切替情報に応じて選択切替部１３３で選択する構成になっている。フレーム補間部１１３−１から１１３−Ｎがハードウェア実装されているなど常に動作している場合には、出力側の選択操作のみで適応処理が実現されるためハードウェアが簡易なものとなり有利である。一方、フレーム補間部１１３−１から１１３−Ｎをソフトウェア実装すると、フレーム補間部１１３−１から１１３−Ｎを常に動作させるための演算負荷の点で不利となる。
【００５０】
そこで、本実施形態における動画像復号装置１０３ａでは、フレーム補間部１１３−１から１１３−Ｎの前段に選択切替部１３５ａを備え、これらのうち必要なもののみを動作させるようにする。図７は、動画像復号装置１０３の構成を示す概略ブロック図である。動画像復号装置１０３ａは、画像復号部１３１、選択情報復号部１３２、選択切替部１３３ａ、選択切替部１３５ａ、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎを含んで構成される。画像復号部１３１、選択情報復号部１３２、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎは、図６の動画像復号装置１０３と同様であるので、説明を省略する。
【００５１】
また、選択切替部１３３ａと選択切替部１３５ａは、図６の動画像復号装置１０３ａにおいてフレーム挿入部１３４が行っていた伝送フレームの画像と選択画像ＩQとの切り替えをも行う。すなわち、伝送フレームのタイミングにおいては、選択切替部１３５ａは、伝送フレームを選択切替部１３３ａに出力し、選択切替部１３３ａは該伝送フレームを復号画像Ｄとして出力する。一方、間引きフレームのタイミングにおいては、選択切替部１３５ａおよび選択切替部１３３ａに対し、選択情報復号部１３２の出力する部分領域Ｒごと（画面全体領域であっても構わない）のモード切替情報ｎopt（Ｒ）に応じて該領域ごとに、対応するフレーム補間部を選択させる。このように動作させることで、間引きフレームのタイミングにおいては、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎのうち必要な１つのみが動作するため、演算負荷が軽減される。すなわち、同時には複数のフレーム補間部が動作しない。このため、映像復号装置１０３ａは、ハードウェア実装するには選択切替部が増えてしまうものの、ソフトウェア実装する場合には演算負荷を軽減できて好適である。
【００５２】
上述した各実施形態は、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの従来の動画像符号化のように、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つの予測モードに限られず、より多くのモードを有する。従来は、比較的少ない予測モードで予測を行い、予測誤差が生じた場合には残差を直交変換したのち量子化して伝送する。一方、上述の各実施形態では、残差を表す情報を伝送しない代わりに、予測モードを増やし、また、予測モードの切替えを例えばブロック単位まできめ細かくすることで誤差の発生を抑制する。
また、上述の各実施形態は、画像符号化部１１２など従来の動画像符号化法とともに用いられることを前提としている。すなわち、フレーム間予測を有する従来の動画像符号化法を、さらに第ｎフレーム補間部１１３−ｎなどが行う、別のフレーム間予測法で挟み込むことにより、情報圧縮においてより多角的に時間相関性を利用することができ、圧縮率を向上させることができる。
【００５３】
また、図１における動画像符号化装置１０１、動画像復号装置１０３または図７における動画像復号装置１０３ａの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの装置を実現してもよいし、半導体チップなどを用いたプロセッサにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５６】
１００…動画像伝送システム
１０１…動画像符号化装置
１０２…ネットワーク
１０３、１０３ａ…動画像復号装置
１０４…表示装置
１１１…フレーム間引き部
１１２…画像符号化部
１１３−１…第１フレーム補間部
１１３−２…第２フレーム補間部
１１３−Ｎ…第Ｎフレーム補間部
１１４…最適補間選択部
１１５…選択情報符号化部
１３１…画像復号部
１３２…選択情報復号部
１３３、１３３ａ、１３５ａ…選択切替部
１３４…フレーム挿入部
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラムに関する。
【背景技術】
【０００２】
動画像圧縮を行う際に、画像を空間的または時空間的に縮小してから符号化を行う符号化装置と、復号後に画像拡大を行う復号装置がある（例えば、特許文献１）。
特許文献１の手法では、画像の局所的な重要度に応じて標本間隔を可変とした再標本化を行うことで、複雑なテクスチャを保存しつつ画像縮小を行うことが特徴的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８１４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画像符号化においては、十分な圧縮率が得られないことがあるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、優れた圧縮率を得ることができる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、動画像のフレームを間引くフレーム間引き部と、前記フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する予測方法選択部とを備えることを特徴とする動画像符号化装置である。
【０００７】
（２）また、この発明の他の態様は、上述の動画像符号化装置であって、前記予測方法選択部は、前記複数のフレーム補間部が補間予測した結果の各々と、前記フレーム間引き部が間引いたフレームとを比較し、該比較の結果、前記間引いたフレームに最も近いものを生成する際に用いた予測方法を示す選択情報を生成することを特徴とする。
【０００８】
（３）また、この発明の他の態様は、上述の動画像符号化装置であって、前記予測方法選択部は、前記フレームを分割した領域各々について前記予測方法を示す選択情報を生成することを特徴とする。
【０００９】
（４）また、この発明の他の態様は、入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択する選択切替部と、前記入力された動画像を構成するフレームの間に、前記選択部が選択したフレームを挿入して出力するフレーム挿入部とを具備することを特徴とする動画像復号装置である。
【００１０】
（５）また、この発明の他の態様は、上述の動画像復号装置であって、前記選択切替部は、前記選択情報に基づき、前記複数のフレーム補間部から一つを選択し、該選択したフレーム補間部に前記フレームの補間予測をさせることを特徴とする。
【００１１】
（６）また、この発明の他の態様は、上述の動画像復号装置であって、前記選択情報は、フレームを分割した領域各々について前記予測方法を示す情報であり、前記選択切替部は、前記フレームを分割した領域各々について、前記選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択することを特徴とする。
【００１２】
（７）また、この発明の他の態様は、動画像のフレームを間引く第１の過程と、前記第１の過程にて間引いたフレームについて、他のフレームに基づき補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第２の過程と、前記互いに異なる補間方法の中から選択した予測方法を示す選択情報を生成する第３の過程とを有することを特徴とする動画像符号化方法である。
【００１３】
（８）また、この発明の他の態様は、入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第１の過程と、前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数の第１の過程の各々にて補間予測して生成したフレームから一つを選択する第２の過程と、前記入力された動画像を構成するフレームの間に、前記第２の過程にて選択したフレームを挿入して出力する第３の過程とを有することを特徴とする動画像復号方法である。
【００１４】
（９）また、この発明の他の態様は、コンピュータを、上述のいずれかの動画像符号化装置として機能させるための動画像符号化プログラムである。
【００１５】
（１０）また、この発明の他の態様は、コンピュータを、上述のいずれかの動画像復号装置として機能させるための動画像復号プログラムである。
【発明の効果】
【００１６】
この発明によれば、動画像の符号化において、優れた圧縮率を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施形態による動画像伝送システム１００の構成を示す概略ブロック図である。
【図２】同実施形態における動画像符号化装置１０１の構成を示す概略ブロック図である。
【図３】同実施形態における入力画像Ｍの一例を示す図である。
【図４】同実施形態におけるフレーム間引き部１１１が出力する伝送フレームの例を示す図である。
【図５】同実施形態におけるモード選択情報ｎopt（Ｒ）の例を示す概念図である。
【図６】同実施形態における動画像復号装置１０３の構成を示す概略ブロック図である。
【図７】同実施形態の変形例における動画像復号装置１０３ａの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による動画像伝送システム１００の構成を示す概略ブロック図である。本実施形態における動画像伝送システム１００は、動画像符号化装置１０１、ネットワーク１０２、動画像復号装置１０３、表示装置１０４を含んで構成される。
【００１９】
動画像符号化装置１０１は、外部から入力された動画像である入力画像Ｍを符号化して、符号化画像Ｅと選択情報Ｓとを出力する。ネットワーク１０２は、インターネットなどのネットワークであり、動画像符号化装置１０１が出力した符号化画像Ｅおよび選択情報Ｓを動画像復号装置１０３に伝送する。動画像復号装置１０３は、ネットワーク１０２が伝送した符号化画像Ｅと選択情報Ｓとに基づき、復号動画像Ｄを生成し、出力する。表示装置１０４は、液晶パネルなどの表示デバイスを備えており、動画像復号装置が出力した復号動画像Ｄを表示する。なお、動画像復号装置１０３が、表示装置１０４を含んでいてもよい。また、ネットワーク１０２は、電波やケーブル、光ファイバなどを用いた放送用のネットワークであってもよい。
【００２０】
図２は、動画像符号化装置１０１の構成を示す概略ブロック図である。動画像符号化装置１０１は、フレーム間引き部１１１と、画像符号化部１１２、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎと、最適補間選択部１１４と、選択情報符号化部１１５とを含んで構成される。
【００２１】
フレーム間引き部１１１は、入力画像Ｍを構成するフレーム群から、所定のルールに従い、その一部のフレームを間引く。フレーム間引き部１１１は、間引いたフレームを最適補間選択部１１４に出力し、残りのフレーム（間引かれなかったフレーム）を画像符号化部１１２、第１フレーム補間部１１３−１、第２フレーム補間部１１３−２、・・・第Ｎフレーム補間部１１３−Ｎに出力する。
【００２２】
例えば、フレーム間引き部１１１は、入力画像ＭのＰフレーム毎に、予め決められたパターンで指定されたＰ−Ｑフレームを間引き、Ｑフレームを残す。なお、ＰおよびＱは自然数とし、Ｐ＞Ｑを満たす。例えば、フレーム間引き部１１１は、Ｐ＝２、Ｑ＝１で、奇数番目のフレームを間引く。以下では、出力されるフレームを「伝送フレーム」、出力しないフレームを「間引きフレーム」という。
【００２３】
第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−ｎは、間引きフレームの画像を、伝送フレームの画像から予測し、最適補間選択部１１４に出力する。こうして予測された間引きフレームの画像を予測画像という。第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−ｎは、それぞれ異なる予測方法によって、予測画像Ｉ1から予測画像Ｉnを生成する。なお、前記「異なる予測方法」とは、参照するフレームが異なる、参照するフレームの数が異なる、参照したフレームから予測画像を生成するのに用いる補間方法、（例えば、内挿と外挿の別）が異なる、補間に動き情報を利用するか否かが異なるといった差異（または、それら複数の組み合わせ方の差異）を指す。
【００２４】
例えば、第１フレーム補間部１１３−１は、予測すべき間引きフレームｆPより過去に存在する直近の伝送フレームｆB（その画像をＩBとする）を参照し、画像ＩBそのものを予測画像ＩPとして出力する（前方外挿）。
また、例えば、第２フレーム補間部１１３−２は、予測すべき間引きフレームｆPより未来に存在する直近の伝送フレームｆA（その画像をＩAとする）、を参照し、ＩAそのものを予測画像ＩPとして出力する（後方外挿）。
【００２５】
また、例えば、第３フレーム補間部１１３−３は、予測すべき間引きフレームｆPより過去に存在する直近の伝送フレームｆB（その画像をＩBとする）と、予測すべき間引きフレームより未来に存在する直近の伝送フレームｆA（その画像をＩAとする）を参照し、ＩBの画素値とＩAの画素値との間で演算を行い、該演算結果得られる画素値からなる画像を予測画像ＩPとする（内挿）。ＩBの画素値とＩAの画素値との間で演算としては、例えば、ＩBの画素値とＩAの画素値との間の平均演算ＩP＝（ＩB＋ＩA）／２を用いる。また、例えば、前記演算として、ＩBの画素値とＩAの画素値との間で重み付き和としてもよい。例えば、以下の式（１）を用いて、各画素について重み付きの和を算出する（１次内挿）。なお、式（１）において、ｆA、ｆB、ｆPは、各フレームの表示時刻を示し、ＩB、ＩA、ＩPは、各フレームの画像の画素値を示す。
【００２６】
【数１】
【００２７】
また、例えば、第４フレーム補間部１１３−４は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩBを該動きベクトル場に基づいて動き補償したものを予測画像ＩPとして出力する（前方動き補償予測）。
また、例えば、第５フレーム補間部１１３−５は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩAを該動きベクトル場に基づいて動き補償したものを予測画像ＩPとして出力する（後方動き補償予測）。
【００２８】
また、例えば、第６フレーム補間部１１３−６は、画像ＩBと画像ＩAとから動きベクトル場を求め、画像ＩBを動きベクトル場に基づいて動き補償した画像ＩPBと、画像ＩAを動きベクトル場に基づいて動き補償した画像ＩPAとを求め、画像ＩPBと画像ＩPAとの間の平均などの演算結果を予測画像ＩPとして出力する（双方動き補償予測）。
【００２９】
第４フレーム補間部１１３−４による方法（前方動き補償予測）について、詳細に説明する。まず、第４フレーム補間部１１３−４は、画像ＩBと画像ＩAとから動きベクトル場を求める。この動きベクトル場を構成する動きベクトルｖは、例えば、画像ＩB内の部分領域ＤB（これは全体領域でもよい）とテクスチャの最も類似する領域ＤAを画像ＩA内から探索する。テクスチャの最も類似する領域は画像間の画素値パターンの相互相関（正規化相互相関でもよい）の最大化により求めてもよいし、画像間の画素値パターンの誤差（例えば絶対値誤差や自乗誤差）の最小化によって求めてもよい。なお、動きベクトルｖは、画像ＩA内の部分領域とテクスチャの最も類似する領域を画像ＩB内から探索することで求めてもよい。
【００３０】
続いて、第４フレーム補間部１１３−４は、動きベクトルｖを（ｆP−ｆB）／（ｆA−ｆB）倍したベクトル量だけ画像ＩB内の領域ＤBの画素値パターンを移動した画像を作成する。こうして得た画像をさまざまな部分領域ＤBの場合について重ね合わせ、その結果を予測画像ＩPとする。
【００３１】
また、第５フレーム補間部１１３−５による方法（後方動き補償予測）の場合は、第４フレーム補間部１１３−４と同様にして動きベクトル場を生成したのち、動きベクトルｖを（ｆP−ｆA）／（ｆA−ｆB）倍したベクトル量だけ画像ＩA内の領域ＤAの画素値パターンを移動した画像を作成する。こうして得た画像をさまざまな部分領域ＤAの場合について重ね合わせ、その結果を予測画像ＩPとする。
【００３２】
また、第６フレーム補間部１１３−６による方法（双方動き予測）の場合は、上記の前方動き予測の結果（ＩPBとする）と、後方動き予測の結果（ＩPAとする）との間の演算結果を以て予測画像Ｉ6とする。例えば、ＩP＝（ＩPB＋ＩPA）／２としてもよいし、式（２）を用いてもよい。
【００３３】
【数２】
【００３４】
以上のように、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎで得た予測画像を、以降、ＩP,1からＩP,Nと表記する。また、第ｎフレーム補間部１１−ｎ（ｎ＝１、２、…、Ｎ）の番号ｎをモード番号と呼ぶ。
最適補間選択部１１４は、予測画像ＩP,1からＩP,Nの中から最も間引きフレームｆPの画像（以下、間引き画像ＩP,D）を近似するものを求め、その結果の予測画像を生成したフレーム補間部のモード番号をモード選択情報として出力する。
【００３５】
例えば、最適補間選択部１１４は、間引きフレームｆPを、複数の領域に分割し、式（３）により、分割した領域Ｒごとに予測画像ＩP,1からＩP,Nの中から一つのモード選択情報ｎopt（Ｒ）を生成する。なお、Ｉ（ｘ，ｙ）は、画像Ｉの画像座標（ｘ，ｙ）における画素値である。なお、式（３）では、近似するものを求める際に、画素値の差の絶対値の合計（ＳＡＤ；Sum of Absolute Difference）を用いたが、画素値の差の二乗の合計や、正規化相互相関を用いてもよい。なお、領域に分割する方法は、例えば矩形ブロック（例えば８画素×８画素）や非矩形ブロック（例えば、ハニカム状）などの所定の分割方法であってもよいし、例えばエッジや色などに基づいて既存の方法（例えばK平均アルゴリズム）で非定形的に分割する方法であってもよい。また、最適補間選択部１１４は、式（４）により、間引きフレームｆPごとに一つのモード選択情報ｎoptを生成してもよい。なお、式（４）において、Ｕは画像全体を指す。
【００３６】
【数３】
【００３７】
【数４】
【００３８】
画像符号化部１１２は、フレーム間引き部１１１が出力した伝送フレームに対して、既存の映像符号化方式による情報源符号化を行う。既存の映像符号化方式としては、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、Ｈ．２６１、Ｈ．２６３、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００などの動画像符号化方式を用いてもよいし、静止画用の画像符号化方式をフレームごとに適用してもよい。なお、画像符号化部１１２で行う符号化は、伝送路符号化のみであっても構わないし、情報源符号化と伝送路符号化との組み合わせであっても構わない。
【００３９】
選択情報符号化部１１５は、冗長性を削減するために、情報源符号化方式や、誤り耐性を付加するための伝送路符号化方式、またはそれらの両者を用いて、モード選択情報ｎopt（Ｒ）を符号化して、選択情報Ｓを生成する。例えば、選択情報符号化部１１５は、モード選択情報ｎopt（Ｒ）をそのまま固定長のビット列で符号化してもよいし、エントロピー符号化（例えば、ハフマン符号化や算術符号化）によって符号化しても構わない。
【００４０】
図３は、本実施形態における入力画像Ｍの一例を示す図である。図３に示すように入力画像Ｍは、時系列を持った複数の画像Ｇ１からＧ３を含んでいる。図３に示す例は、時間が経過すると、０フレーム目の画像Ｇ１、１フレーム目の画像Ｇ２、２フレーム目の画像Ｇ３という順番で遷移していく動画像である。
図４は、フレーム間引き部１１１が出力する伝送フレームの例を示す図である。図４では、偶数フレームを伝送フレーム、奇数フレームを間引きフレームとする場合の例を示す。図４では、１フレーム目の画像Ｇ２が間引かれて、伝送フレームは０フレーム目の画像Ｇ１と２フレーム目の画像Ｇ３のみとなっている。なお、画像符号化部１１２が符号化する画像は伝送フレームであるので、符号化画像Ｅも、画像Ｇ２を含まず、画像Ｇ１と画像Ｇ３を含むものとなる。
【００４１】
図５は、モード選択情報ｎopt（Ｒ）の例を示す概念図である。図５に示すモード選択情報Ｓ３は、予測すべきフレームを、縦方向に６つ、横方向に８つに等間隔に分割した領域ごとに選択されたモード番号から構成される。図５の例では、前方外挿をモード１、後方外挿をモード２、内挿をモード３、前方動き補償予測をモード４、前方動き補償予測をモード５、双方動き補償予測をモード６としている。選択情報符号化部１１５は、このようなモード選択情報ｎopt（Ｒ）を符号化して、選択情報Ｓを生成する。
【００４２】
図６は、動画像復号装置１０３の構成を示す概略ブロック図である。動画像復号装置１０３は、画像復号部１３１と、選択情報復号部１３２と、第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎと、選択切替部１３３と、フレーム挿入部１３４とを含んで構成される。
【００４３】
画像復号部１３１は、画像符号化部１１２と対をなす復号器である。画像復号部１３１は、画像符号化部１１２で生成された符号化画像Ｅを復号して、伝送フレームの画像を復元する。
選択情報復号部１３２は、選択情報符号化部１１５と対をなす復号器である。選択情報復号部１３２は、選択情報符号化部１１５で生成された選択情報Ｓを復号して、モード切替情報ｎopt（Ｒ）を復元する。
【００４４】
第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎは、図２における第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎと同様である。
選択切替部１３３は、モード切替情報ｎopt（Ｒ）に従い、第１フレーム補間部１１３−１から第ｎフレーム補間部１１３−Ｎの結果（その画像をＩQ,1からＩQ,Nとする）を切り替え、選択画像ＩQを出力する。
選択切替部１３３は、例えば、式（５）により、各領域Ｒの画像を選択し、これらを組み合わせた画像を選択画像ＩQとして出力する。なお、間引きフレームｆPごとに一つのモード切替情報ｎoptが付与されている場合には、式（６）により選択画像ＩQを選択する。
【００４５】
【数５】
【００４６】
【数６】
【００４７】
フレーム挿入部１３４は、画像復号部１３１が出力した伝送フレームの間に、選択切替部１３３が出力した選択画像ＩQを挿入し、その結果を復号動画像Ｄとして出力する。なお、フレーム挿入部１３４は、フレーム間引き部１１１においてフレームを間引く際のルールに基づき、フレームを挿入し、フレーム間引き部１１１への入力画像Ｍのフレーム順序と、復号動画像Ｄのフレーム順序とが同じになるように、フレームを挿入する。
【００４８】
このように、本実施形態では、入力画像Ｍのフレームを間引き、間引いたフレームについては、補間予測するモードを指定する選択情報Ｓのみを伝送するため、優れた圧縮効率を得ることができる。
さらに、フレームを分割した領域ごとに補間予測するモードを指定しているため、復号した結果が、入力画像Ｍから大きく離れることを防ぐことができる。
【００４９】
＜実施形態の変形例＞
上述の動画像復号装置１０３は、全てのフレーム補間部１１３−１から１１３−Ｎが常に動作していて、その結果の中から一つをモード切替情報に応じて選択切替部１３３で選択する構成になっている。フレーム補間部１１３−１から１１３−Ｎがハードウェア実装されているなど常に動作している場合には、出力側の選択操作のみで適応処理が実現されるためハードウェアが簡易なものとなり有利である。一方、フレーム補間部１１３−１から１１３−Ｎをソフトウェア実装すると、フレーム補間部１１３−１から１１３−Ｎを常に動作させるための演算負荷の点で不利となる。
【００５０】
そこで、本実施形態における動画像復号装置１０３ａでは、フレーム補間部１１３−１から１１３−Ｎの前段に選択切替部１３５ａを備え、これらのうち必要なもののみを動作させるようにする。図７は、動画像復号装置１０３の構成を示す概略ブロック図である。動画像復号装置１０３ａは、画像復号部１３１、選択情報復号部１３２、選択切替部１３３ａ、選択切替部１３５ａ、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎを含んで構成される。画像復号部１３１、選択情報復号部１３２、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎは、図６の動画像復号装置１０３と同様であるので、説明を省略する。
【００５１】
また、選択切替部１３３ａと選択切替部１３５ａは、図６の動画像復号装置１０３ａにおいてフレーム挿入部１３４が行っていた伝送フレームの画像と選択画像ＩQとの切り替えをも行う。すなわち、伝送フレームのタイミングにおいては、選択切替部１３５ａは、伝送フレームを選択切替部１３３ａに出力し、選択切替部１３３ａは該伝送フレームを復号画像Ｄとして出力する。一方、間引きフレームのタイミングにおいては、選択切替部１３５ａおよび選択切替部１３３ａに対し、選択情報復号部１３２の出力する部分領域Ｒごと（画面全体領域であっても構わない）のモード切替情報ｎopt（Ｒ）に応じて該領域ごとに、対応するフレーム補間部を選択させる。このように動作させることで、間引きフレームのタイミングにおいては、第１フレーム補間部１１３−１から第Ｎフレーム補間部１１３−Ｎのうち必要な１つのみが動作するため、演算負荷が軽減される。すなわち、同時には複数のフレーム補間部が動作しない。このため、映像復号装置１０３ａは、ハードウェア実装するには選択切替部が増えてしまうものの、ソフトウェア実装する場合には演算負荷を軽減できて好適である。
【００５２】
上述した各実施形態は、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの従来の動画像符号化のように、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つの予測モードに限られず、より多くのモードを有する。従来は、比較的少ない予測モードで予測を行い、予測誤差が生じた場合には残差を直交変換したのち量子化して伝送する。一方、上述の各実施形態では、残差を表す情報を伝送しない代わりに、予測モードを増やし、また、予測モードの切替えを例えばブロック単位まできめ細かくすることで誤差の発生を抑制する。
また、上述の各実施形態は、画像符号化部１１２など従来の動画像符号化法とともに用いられることを前提としている。すなわち、フレーム間予測を有する従来の動画像符号化法を、さらに第ｎフレーム補間部１１３−ｎなどが行う、別のフレーム間予測法で挟み込むことにより、情報圧縮においてより多角的に時間相関性を利用することができ、圧縮率を向上させることができる。
【００５３】
また、図１における動画像符号化装置１０１、動画像復号装置１０３または図７における動画像復号装置１０３ａの各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの装置を実現してもよいし、半導体チップなどを用いたプロセッサにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５６】
１００…動画像伝送システム
１０１…動画像符号化装置
１０２…ネットワーク
１０３、１０３ａ…動画像復号装置
１０４…表示装置
１１１…フレーム間引き部
１１２…画像符号化部
１１３−１…第１フレーム補間部
１１３−２…第２フレーム補間部
１１３−Ｎ…第Ｎフレーム補間部
１１４…最適補間選択部
１１５…選択情報符号化部
１３１…画像復号部
１３２…選択情報復号部
１３３、１３３ａ、１３５ａ…選択切替部
１３４…フレーム挿入部
【特許請求の範囲】
【請求項１】
動画像のフレームを間引くフレーム間引き部と、
前記フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、
前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する予測方法選択部と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記予測方法選択部は、前記複数のフレーム補間部が補間予測した結果の各々と、前記フレーム間引き部が間引いたフレームとを比較し、該比較の結果、前記間引いたフレームに最も近いものを生成する際に用いた予測方法を示す選択情報を生成すること
を特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測方法選択部は、前記フレームを分割した領域各々について前記予測方法を示す選択情報を生成することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、
前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択する選択切替部と、
前記入力された動画像を構成するフレームの間に、前記選択部が選択したフレームを挿入して出力するフレーム挿入部と
を具備することを特徴とする動画像復号装置。
【請求項５】
前記選択切替部は、前記選択情報に基づき、前記複数のフレーム補間部から一つを選択し、該選択したフレーム補間部に前記フレームの補間予測をさせること
を特徴とする請求項４に記載の動画像復号装置。
【請求項６】
前記選択情報は、フレームを分割した領域各々について前記予測方法を示す情報であり、
前記選択切替部は、前記フレームを分割した領域各々について、前記選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択すること
を特徴とする請求項４に記載の動画像復号装置。
【請求項７】
動画像のフレームを間引く第１の過程と、
前記第１の過程にて間引いたフレームについて、他のフレームに基づき補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第２の過程と、
前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する第３の過程と
を有することを特徴とする動画像符号化方法。
【請求項８】
入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第１の過程と、
前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数の第１の過程の各々にて補間予測して生成したフレームから一つを選択する第２の過程と、
前記入力された動画像を構成するフレームの間に、前記第２の過程にて選択したフレームを挿入して出力する第３の過程と
を有することを特徴とする動画像復号方法。
【請求項９】
コンピュータを請求項１から請求項３のいずれか１項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。
【請求項１０】
コンピュータを、請求項４から請求項６のいずれか１項に記載の動画像復号装置として機能させるための動画像復号プログラム
【請求項１】
動画像のフレームを間引くフレーム間引き部と、
前記フレーム間引き部が間引いたフレームについて、他のフレームに基づき補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、
前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する予測方法選択部と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記予測方法選択部は、前記複数のフレーム補間部が補間予測した結果の各々と、前記フレーム間引き部が間引いたフレームとを比較し、該比較の結果、前記間引いたフレームに最も近いものを生成する際に用いた予測方法を示す選択情報を生成すること
を特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測方法選択部は、前記フレームを分割した領域各々について前記予測方法を示す選択情報を生成することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測するフレーム補間部であって、互いに異なる予測方法を用いて補間予測する複数のフレーム補間部と、
前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択する選択切替部と、
前記入力された動画像を構成するフレームの間に、前記選択部が選択したフレームを挿入して出力するフレーム挿入部と
を具備することを特徴とする動画像復号装置。
【請求項５】
前記選択切替部は、前記選択情報に基づき、前記複数のフレーム補間部から一つを選択し、該選択したフレーム補間部に前記フレームの補間予測をさせること
を特徴とする請求項４に記載の動画像復号装置。
【請求項６】
前記選択情報は、フレームを分割した領域各々について前記予測方法を示す情報であり、
前記選択切替部は、前記フレームを分割した領域各々について、前記選択情報に基づき、前記複数のフレーム補間部の各々が補間予測して生成したフレームから一つを選択すること
を特徴とする請求項４に記載の動画像復号装置。
【請求項７】
動画像のフレームを間引く第１の過程と、
前記第１の過程にて間引いたフレームについて、他のフレームに基づき補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第２の過程と、
前記互いに異なる予測方法の中から選択した予測方法を示す選択情報を生成する第３の過程と
を有することを特徴とする動画像符号化方法。
【請求項８】
入力された動画像を構成するフレームに基づき、該フレームの間のフレームを補間予測する過程であって、互いに異なる予測方法を用いて補間予測する複数の第１の過程と、
前記予測方法を指定する選択情報であって、入力された選択情報に基づき、前記複数の第１の過程の各々にて補間予測して生成したフレームから一つを選択する第２の過程と、
前記入力された動画像を構成するフレームの間に、前記第２の過程にて選択したフレームを挿入して出力する第３の過程と
を有することを特徴とする動画像復号方法。
【請求項９】
コンピュータを請求項１から請求項３のいずれか１項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。
【請求項１０】
コンピュータを、請求項４から請求項６のいずれか１項に記載の動画像復号装置として機能させるための動画像復号プログラム
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９３６６８（Ｐ２０１３−９３６６８Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３３１１０（Ｐ２０１１−２３３１１０）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]