復号装置および方法
【課題】加工処理が含まれる場合の復号処理の高速化を図ることができるようにする。
【解決手段】タイムライン情報においては、入力イメージＡにおいて、ハッチング部分に対して、拡大のアフィン変換が指示されているので、入力イメージＡにおけるハッチング部分がイメージ全体に拡大された出力イメージＢが算出される。処理内容判定部は、算出された出力イメージＢから入力イメージＡにおけるハッチング部分が有効エリアであると、逆写像により求めることができ、ハッチング部分以外の領域が簡易復号処理を行っても影響がない（少ない）エリアであることを判定することができる。本発明は、例えば、符号化されたビットストリームを復号する画像復号装置に適用することができる。
【解決手段】タイムライン情報においては、入力イメージＡにおいて、ハッチング部分に対して、拡大のアフィン変換が指示されているので、入力イメージＡにおけるハッチング部分がイメージ全体に拡大された出力イメージＢが算出される。処理内容判定部は、算出された出力イメージＢから入力イメージＡにおけるハッチング部分が有効エリアであると、逆写像により求めることができ、ハッチング部分以外の領域が簡易復号処理を行っても影響がない（少ない）エリアであることを判定することができる。本発明は、例えば、符号化されたビットストリームを復号する画像復号装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は復号装置および方法に関し、特に、加工処理が含まれる場合の復号処理の高速化を図ることができるようにした復号装置および方法に関する。
【背景技術】
【０００２】
従来、加工によって最終的に利用されないデータ（部分、チャンネルなど）に対しても復号され、格納され、転送されて、加工処理が行われていた。
【０００３】
その際、プレビュー画像を処理する際などに、簡易復号処理によって処理速度の向上を図る技術がある。また、ビットストリームを解析した結果取得できるパラメータを、再符号化時に利用することで、符号化処理のための画像の解析処理をスキップし、符号化処理を高速化する「パラメータエンコード」という技術もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５２９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、簡易復号処理の結果の画質劣化を原因として、加工結果のデータを保存する場合には、従来からある簡易復号処理は採用されにくかった。
【０００６】
また、従来のパラメータエンコードにおいては、加工（エフェクトやトランジション）が入ると、適用することが困難であった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、加工処理が含まれる場合の復号処理の高速化を図ることができるものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の復号装置は、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段とを備える。
【０００９】
前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせることができる。
【００１０】
前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段をさらに備えることができる。
【００１１】
前記エリアは、フレーム全体またはフレーム内における部分領域である。
【００１２】
前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも１つである。
【００１３】
本発明の一側面の復号方法は、処理内容決定手段と、復号手段とを備える復号装置の復号方法において、前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う。
【００１４】
本発明の一側面においては、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアが決定され、決定されたエリアに対して前記簡易復号処理が行われる。
【００１５】
なお、上述の復号装置は、独立した装置であっても良いし、１つの復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１６】
本発明の一側面によれば、加工処理が含まれる場合の復号処理の高速化を図ることができる。また、本発明の一側面によれば、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。
【図２】フレーム内の部分復号処理を説明する図である。
【図３】エフェクト処理とトランジション処理における入力イメージと出力イメージの例を示す図である。
【図４】有効エリアの決定方法について説明する図である。
【図５】エフェクト処理が拡大のアフィン変換である場合の有効エリアの決定処理例を説明する図である。
【図６】トランジション処理がクロスフェードである場合の有効エリアの決定処理例を説明する図である。
【図７】トランジション処理がワイプである場合の処理例を有効エリアの決定処理を説明する図である。
【図８】エフェクト処理が字幕やテロップの場合のパラメータ変換例を説明する図である。
【図９】トランジション処理がワイプである場合のパラメータ変換例を説明する図である。
【図１０】画像復号装置の処理を説明するフローチャートである。
【図１１】図１０のステップＳ１１の処理内容判定処理を説明するフローチャートである。
【図１２】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図を参照して本発明の実施の形態について説明する。
【００１９】
［画像復号装置の構成例］
図１は、本発明を適用した画像復号装置の一実施の形態の構成を表している。
【００２０】
この画像復号装置１１は、符号化されたビットストリームを復号して加工し、加工後の画像を表示したり、再符号化する。画像復号装置１１において、加工処理としては、エフェクト処理やトランジション処理がなされる。
【００２１】
図１の例において、画像復号装置１１は、処理内容判定部２１、制御部２２、復号部２３−１および２３−２、エフェクト処理部２４−１および２４−２、トランジション処理部２５、パラメータ変換部２６、符号化部２７、表示部２８、並びに格納部２９−１乃至２９−５により構成される。なお、図において、太い白矢印は、タイムライン情報、太い黒矢印は、ファイルのインプットまたはアウトプット、点線矢印は制御情報、実線矢印は、データ転送の流れをそれぞれ表している。
【００２２】
画像復号装置１１においては、図示せぬ操作入力部などから入力された（または、記憶部などに記憶されている）ユーザによる編集加工時のタイムライン情報が処理内容判定部２１および制御部２２に入力される。タイムライン情報は、ビットストリームを加工する際の編集や加工情報である。また、編集加工時には、図示せぬ画像符号化装置または記憶部などから復号部２３−１および復号部２３−２に、ファイルとして、符号化されているビットストリームが入力される。
【００２３】
処理内容判定部２１は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づいて、出力結果に反映される画像、すなわち、入力イメージにおける有効エリア（有効領域）を逆写像により算出し、決定する。
【００２４】
逆写像とは、一般的に、写像ｆ：Ｘ→Ｙ が任意のＸからＹの上への1対1の写像ならば、逆に、Ｙのおのおのの元ｙに対して、Ｘのただ1つの元ｘが対応し、写像Ｙ→Ｘが定まり、この写像を、ｆの逆写像といい、ｆ-1で表わされることを言う。ただし、ここでは、入力イメージ（画像）から出力イメージを作成する順方向の処理を写像として、出力イメージから入力イメージを対応付けすることを、逆写像として用いる。
【００２５】
処理内容判定部２１は、決定した有効エリアに基づいて、有効ではないエリア、すなわち、簡易復号処理を行っても影響が少ないエリアに対して、簡易復号処理することを設定する。また、処理内容判定部２１は、有効なエリアに対しては、簡易ではない復号処理を行うように設定する。なお、このエリアには、フレーム全体の意も含まれるし、フレームにおける一部のチャンネルや、フレームにおける一部の領域の意も含まれるものとする。
【００２６】
ここで、簡易復号処理とは、フレームまたはフィールドドロップ、復号処理におけるデブロッキング(Deblocking)の省略、簡易動き補償（MC：Motion compensation)、特定のチャンネルのみの復号処理、およびフレーム内の部分復号処理などがあげられる。
【００２７】
フレーム内の部分復号処理とは、図２に示されるように、フレームにおいて、利用する部分以外は、復号しない処理のことをいう。通常の復号処理においては、フレームの中央部に、図２に示されるような利用する部分があったとしても、フレーム全体のマクロブロックが復号される。これに対して、フレーム内の部分復号処理においては、フレームの中央部の利用する部分が含まれるマクロブロックより、復号順が後のハッチングされているマクロブロックは、その利用する部分の復号に必要のないマクロブロックであるので、復号されない。
【００２８】
すなわち、上述のように、通常の復号処理から工程を省略したり、簡単にしたり、範囲を限定するなどの復号処理を総称して、簡易復号処理という。そして、処理内容判定部２１においては、これらの簡易復号処理の中から、有効ではないエリア、すなわち、簡易復号処理を行っても出力画像の表示に対して影響が少ないエリアに対してそのエリアに応じた簡易復号処理を行うように設定される。なお、この設定基準としては、コーディックの依存関係や簡易復号処理をしても目立ちにくいか否かが用いられる。
【００２９】
さらに、処理内容判定部２１は、決定した有効エリアに基づいて、復号部２３−１および２３−２から得られる符号化パラメータを、再利用（再符号化）できるように、そのパラメータのマージまたは変換を設定する。なお、以下、パラメータの変換と適宜称するが、その変換には、マージも含むものとする。
【００３０】
すなわち、処理内容判定部２１においては、有効エリア決定処理が行われ、その決定結果である有効エリアに応じて、復号処理内容の設定や符号化パラメータ変換内容の設定処理が行われる。
【００３１】
処理内容判定部２１により決定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えて、制御部２２に供給される。
【００３２】
制御部２２は、入力されたタイムライン情報および処理内容判定部２１からの処理内容の情報が加わったタイムライン情報に基づいて、復号部２３−１および復号部２３−２、エフェクト処理部２４−１および２４−２、トランジション処理部２５、およびパラメータ変換部２６を制御する。
【００３３】
復号部２３−１および２３−２は、それぞれ、符号化されているビットストリームを受け取ると、符号化されているビットストリームから取得されるパラメータ（符号化パラメータ）を、そのままパラメータ変換部２６に出力する。
【００３４】
また、復号部２３−１および２３−２は、受け取ったビットストリームに対して、制御部２２の制御のもと、所定の復号処理を行い、復号されたデータを、格納部２９−１および２９−２にそれぞれ出力する。
【００３５】
エフェクト処理部２４−１および２４−２は、それぞれ、格納部２９−１および２９−２から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してエフェクト処理を行う。エフェクト処理部２４−１および２４−２は、エフェクト処理を行った結果のデータを、格納部２９−３および２９−４にそれぞれ出力する。
【００３６】
トランジション処理部２５は、格納部２９−３および２９−４から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してトランジット処理を行う。トランジション処理部２５は、トランジット処理を行った結果のデータ（すなわち、加工後のデータ）を、格納部２９−５に出力する。
【００３７】
パラメータ変換部２６は、復号部２３−１および２３−２からの符号化パラメータを受け取り、受け取った符号化パラメータに対して、制御部２２の制御のもと、マージや変換して、それを符号化部２７に供給して、符号化部２７に再利用させる。また、再利用できないパラメータに関しては、パラメータ変換部２６は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部２７に指示する。
【００３８】
符号化部２７は、格納部２９−５から入力される加工後のデータを受け取り、パラメータ変換部２６からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。その際、符号化部２７は、パラメータ変換部２６からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。
【００３９】
表示部２８は、格納部２９−５からの加工後のデータに対応する画像を表示する。
【００４０】
格納部２９−１乃至２９−５は、それぞれ、入力されたデータを格納し、必要に応じて、後段へ出力する。なお、格納部２９−５は、加工後のデータの処理に応じて、対応するデータを、符号化部２７および表示部２８の少なくとも一方へ出力する。また、格納部２９−５は、トランジション処理の結果を下地にして、さらにエフェクト処理が行われる場合には、加工後のデータを、再度、エフェクト処理部２４−２へ出力する。
【００４１】
なお、以下、復号部２３−１および２３−２を個々に区別する必要がない場合、単に復号部２３と称し、エフェクト処理部２４−１および２４−２を個々に区別する必要がない場合、単にエフェクト処理部２４と称する。
【００４２】
また、図１の例においては、復号部２３とエフェクト処理部２４を２つずつ構成する例を説明したが、台数は２つに限定されない。例えば、編集加工するビットストリームの数に応じた台数の復号部２３とエフェクト処理部２４の構成にすることも可能である。
【００４３】
[有効エリア決定処理の説明]
次に、処理内容判定部２１が行う処理内容判定処理における有効エリア決定処理について具体的に説明する。
【００４４】
まず、図３を参照して、エフェクト処理部２４とトランジション処理部２５における入力イメージと出力イメージについて説明する。
【００４５】
エフェクト処理部２４は、入力したイメージＡのフレームを用いてエフェクト処理を行い、エフェクト処理が施されたイメージＡ´のフレームを出力する。すなわち、エフェクト処理は、１つの入力に対して、１つの結果を出力する処理である。このようなエフェクト処理には、例えば、フレーム内における拡大や縮小、移動などのアフィン(Affine)変換や特定のチャンネルだけを処理するセピア(Sepia)処理が含まれる。また、アフィン変換は、縮小や移動などを伴うため、下地の情報（単色もしくは画像）の上にイメージＡのアフィン変換後の像を出力する場合もある。
【００４６】
これに対して、トランジション処理部２５は、下段に示されるように、入力したイメージＡのフレームとイメージＢのフレームを用いてトランジション処理を行い、トランジション処理が施されたイメージＣのフレームを出力する。すなわち、トランジション処理は、２つ（複数）の入力に対して、１つの結果を出力する処理である。このようなトランジション処理には、例えば、マスク(Mask)処理やクロスフェード(Cross Fade)処理が含まれる。
【００４７】
このようなエフェクト処理やトランジション処理においては、そのパラメータ（タイムラン情報）により、出力側のフレームにおける有効エリアが制限される場合がある。
【００４８】
例えば、拡大を行うアフィン変換処理においては、入力フレーム内の一部のみが出力として反映される。マスク処理が行われて、マスクが適用されている場合には、そのマスクによって、フレーム毎に有効エリアが定義される。
【００４９】
また、出力側の有効エリアが定義されないエフェクト処理またはトランジション処理の場合における出力側の有効エリアの入力側への対応付けとしては、例えば、アフィン変換であれば、出力の有効エリアの逆写像で対応付けを行うことが可能である。あるいは、その他の例としては、１対１で対応付けを行うことも可能である。
【００５０】
すなわち、処理内容判定部２１においては、タイムライン情報を参照することで、上述したようなエフェクト処理やトランジション処理の内容がわかるので、出力イメージを算出することができる。したがって、それらの処理を逆順にさかのぼることで、順次有効エリアを導出し、最終的に、入力イメージ上の有効エリアを導出し、決定することが可能となる。
【００５１】
例えば、図４に示される処理がタイムライン情報に示されている場合を考える。すなわち、イメージＡのフレームに対しては、エフェクト処理部２４により、拡大のアフィン変換が行われ、その結果、イメージＡの一部領域Ａ´が拡大されたイメージＡ´のフレームが生成される。そして、イメージＡ´のフレームが、トランジション処理部２５により、イメージＡ´の一部領域Ａ″以外にマスク処理が施される。
【００５２】
また、イメージＢのフレームに対しては、トランジション処理部２５により、一部領域Ｂ´以外にマスク処理が施される。そして、トランジション処理部２５においては、さらに、一部領域Ａ″以外にマスク処理がされたイメージと一部領域Ｂ´以外にマスク処理がされたイメージが他のイメージ上に合成されたイメージＣのフレームが生成される。
【００５３】
すなわち、処理内容判定部２１においては、タイムライン情報を参照することで、図４のように、一部領域Ａ″と一部領域Ｂ´が他の画像上に合成されるイメージＣが出力イメージとして算出される。
【００５４】
したがって、処理内容判定部２１は、算出された出力イメージＣから、トランジション処理部２５に入力されるイメージＢのフレームにおいて、一部領域Ｂ´がマスクによる有効エリアであることを導出し、決定することができる。
【００５５】
これにより、処理内容判定部２１は、イメージＢのフレーム上の一部領域Ｂ´以外の領域（ハッチング部分）が出力画像の表示に対して簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００５６】
また、処理内容判定部２１は、算出された出力イメージＣから、トランジション処理部２５に入力されるイメージＡ´のフレームにおいて、一部領域Ａ″がマスクによる有効領域であることを導出することができる。すなわち、イメージＡ´において、一部領域Ａ″以外の領域（ハッチング部分）が有効ではない領域とされる。さらに、処理内容判定部２１は、エフェクト処理部２４からの出力イメージＡ´から、アフィン変換の逆写像によって、エフェクト処理部２４に入力されるフレームＡにおいて、一部領域Ａ″が有効エリアであることを導出し、決定することができる。
【００５７】
これにより、処理内容判定部２１は、フレームＡ上の一部領域Ａ″以外の領域（ハッチング部分）が簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００５８】
さらに、図５乃至図７を参照して、エフェクト処理またはトランジション処理の処理例毎に詳しく説明する。
【００５９】
図５は、エフェクト処理が拡大のアフィン変換である例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においては、入力イメージＡにおいて、ハッチング部分に対して、拡大のアフィン変換が指示されているので、その結果、入力イメージＡにおけるハッチング部分がイメージ全体に拡大された出力イメージＢが算出される。
【００６０】
したがって、処理内容判定部２１は、算出された出力イメージＢから入力イメージＡにおけるハッチング部分が有効エリアであると、逆写像により求め、決定することができる。これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６１】
その結果に基づいて、画像復号装置１１においては、例えば、影響が少ない、あるいは影響がないエリアを復号しないという、簡易復号処理を行うことで、不要な復号処理を行うことが抑制され、処理時間を短くすることができる。
【００６２】
なお、縮小のアフィン変換を行う場合には、縮小率に応じて、簡易復号処理を行うか否かや、その簡易復号処理の方法を選択することもできるので、従来のように、単に簡易復号処理を行った場合の画質劣化が目立つことを抑えることができる。
【００６３】
図６は、トランジション処理がクロスフェードである例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においは、入力イメージＡを透過度αで、入力イメージＢを透過度（１−α）でブレンドすることが指示されているので、その結果の出力イメージＣが算出される。
【００６４】
この例の場合、処理内容判定部２１は、算出された出力イメージＣから、α ＞＞ １−αの状態のときに、イメージＡ側が有効エリアであることを、逆写像により求め、決定することができる。これにより、処理内容判定部２１は、イメージＢ側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６５】
逆に、α ＜＜ １−αの状態のときに、イメージＢ側が有効エリアであり、逆写像により求め、決定することができる。これにより、イメージＡ側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６６】
その結果に基づいて、画像復号装置１１においては、例えば、影響が少ない、あるいは影響がないエリアに対して、復号処理を省くような簡易復号処理を行うことができる。これにより、従来のように、単に簡易復号処理を行った場合の画質劣化やフレームドロップによる劣化の目立ちを抑えることができる。
【００６７】
図７は、トランジション処理がワイプである例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においては、入力イメージＡにおける表示される部分、入力イメージＢにおける表示される部分、および対応する時間情報がトランジションのパラメータとして指示されているので、その結果の出力イメージＣが算出される。
【００６８】
したがって、処理内容判定部２１は、算出された出力イメージＣから、入力イメージＡにおけるハッチング部分と、入力イメージＢにおけるハッチング部分とが有効エリアであることを、逆写像により求め、決定することができる。これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６９】
その結果に基づいて、画像復号装置１１においては、簡易復号処理としては、例えば、表示されないエリア（ハッチング部分以外のエリア）の復号を極力行わない方法が用いられる。なお、極力とは、他から参照されるまたは復号処理結果が伝搬される場合には、正しく、または他の簡易復号方法で復号される。
【００７０】
以上のように、画像復号装置１１においては、タイムライン情報に基づいて、入力イメージにおいて簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアを決定し、そのエリアに対して簡易復号処理を行うようにした。
【００７１】
これにより、処理の時間を短縮するとともに、出力結果の劣化を抑制することができる。
【００７２】
[符号化パラメータ設定処理の説明]
次に、処理内容判定部２１が行う処理内容判定処理における符号化パラメータ設定処理について具体的に説明する。
【００７３】
図８は、エフェクト処理がそのイメージにテキスト（字幕やテロップ）を入れる場合の例を説明する図である。
【００７４】
図８の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。このフレームにおいて、ハッチングがなされた領域には、エフェクト処理により、テキストが上書きされる。
【００７５】
したがって、処理内容判定部２１は、この領域以外のマクロブロックについては、復号部２３に入力されるビットストリーム（素材）から得られる符号化パラメータをそのまま利用するように設定する。また、処理内容判定部２１は、ハッチングがなされた領域にかかるマクロブロックについては、このテキストを保護するために、素材から得られる符号化パラメータを変換させるように、パラメータ変換部２６の処理内容を設定する。
【００７６】
例えば、この場合、イントラマクロブロック（イントラ符号化）にしたり、または、量子化パラメータを下げるように、例えば、予測モードや量子化パラメータ値を変更するなど、符号化パラメータの値を変換するように、処理内容が設定される。
【００７７】
この設定内容に応じて、パラメータ変換部２６は、予測モードや量子化パラメータ値を変更するなど、パラメータ変換を行い、変換した符号化パラメータを符号化部２７に供給する。このパラメータ変換部２６からの符号化パラメータに基づいて、符号化部２７は、加工後のデータを符号化する。
【００７８】
図９は、トランジション処理がワイプの場合の例を説明する図である。例えば、素材Ａのフレームと素材Ｂのフレームをワイプさせる場合を考える。
【００７９】
図９の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。このフレームにおいて、濃いハッチングがなされた領域は、素材Ａのマクロブロックであり、これらのマクロブロックにおいては、素材Ａの符号化パラメータをそのまま利用することが可能である。薄いハッチングがなされた領域は、素材Ｂのマクロブロックであり、これらのマクロブロックにおいては、素材Ｂの符号化パラメータをそのまま利用することが可能である。
【００８０】
一方、白い領域は、素材Ａと素材Ｂがマージされた領域のマクロブロックであり、どちらの素材も利用することができない。
【００８１】
したがって、処理内容判定部２１は、ハッチングがなされた領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用して、マージするように設定する。一方、処理内容判定部２１は、白い領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用させないように設定する。
【００８２】
これに対応して、パラメータ変換部２６は、白い領域にかかるマクロブロックの符号化パラメータに符号化部２７に対する符号化パラメータ生成の指示が含ませる変換を行って、ハッチングがなされた領域にかかるマクロブロックの符号化パラメータとマージする。このパラメータ変換部２６からの符号化パラメータに基づいて、符号化部２７は、加工後のデータを符号化するとともに、必要な（白い領域にかかるマクロブロック）の符号化パラメータを生成し、パラメータ変換部２６からの符号化パラメータに上書きする。
【００８３】
以上のように、編集加工に用いられないマクロブロックについては、素材から得られる符号化パラメータを利用するようにしたり、編集加工に用いられるマクロブロックであっても、素材から得られる符号化パラメータを利用できる場合には、変換などを行うようにした。これにより、わざわざ、符号化に必要なパラメータを生成する手間が省け、編集加工の際の再符号化を高速に処理することができる。
【００８４】
なお、上記説明においては、テキストを入れる場合やワイプの例の場合を説明したが、もちろん、他のエフェクト処理であっても、同様に処理することができる。例えば、トランジション処理が、フェードイン、フェードアウト、クロスフェードの場合は、次のように、符号化パラメータを利用することができる。
【００８５】
すなわち、ブレンドの強度（α）として、出力の画素値＝Ａの画素値×α＋Ｂの画素値×（１−α）とすると、処理内容判定部２１は、αが１に近いとき、Ａの符号化パラメータをそのまま利用し、αが０に近いとき、Ｂの符号化パラメータをそのまま利用するように設定する。その他、フェード部分については、処理内容判定部２１は、ビット割り当てを増やして画質を保護するように設定する。
【００８６】
[画像復号装置の処理]
次に、図１０のフローチャートを参照して、図１の画像復号装置１１が行う処理であって、符号化されたビットストリームに対して編集加工処理を行い、再び符号化する処理について説明する。
【００８７】
図示せぬ操作入力部などから入力されたユーザによる指示に応じて、編集加工時のタイムライン情報が処理内容判定部２１および制御部２２に入力され、復号部２３−１および復号部２３−２に、ファイルとして、符号化されているビットストリームが入力される。
【００８８】
処理内容判定部２１は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づき、ステップＳ１１において、画像復号装置１１の各部の処理内容判定処理を実行する。この処理内容判定処理の詳細については、図１１を参照して後述される。
【００８９】
ステップＳ１１の処理により、有効エリアが判定されて、その判定結果に応じて復号処理や符号化パラメータ変換の処理内容が設定される。処理内容判定部２１により設定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えられて、制御部２２に供給される。
【００９０】
制御部２２は、ステップＳ１２において、ｎを１と（初期化）し、ステップＳ１３において、復号部２３を制御し、処理内容判定部２１により設定された復号方法で、入力されたビットストリームに対して、復号処理を行わせる。例えば、図５乃至図７を参照して上述したように、入力イメージにおいて簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアには、簡易復号処理が行われる。復号部２３は、復号処理を行い、復号されたデータを、格納部２９−１および２９−２にそれぞれ出力するとともに、符号化されているビットストリームから取得されるパラメータ（符号化パラメータ）を、そのままパラメータ変換部２６に出力する。
【００９１】
制御部２２は、ステップＳ１４において、エフェクト処理部２４およびトランジション処理部２５を制御し、タイムライン情報に基づいて、入力されたデータに対して、加工処理を行わせる。
【００９２】
すなわち、エフェクト処理部２４−１および２４−２は、それぞれ、格納部２９−１および２９−２から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してエフェクト処理を行う。エフェクト処理部２４−１および２４−２は、エフェクト処理を行った結果のデータを、格納部２９−３および２９−４にそれぞれ出力する。トランジション処理部２５は、格納部２９−３および２９−４から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してトランジット処理を行う。トランジション処理部２５は、トランジット処理を行った結果のデータ（すなわち、加工後のデータ）を、格納部２９−５に出力する。
【００９３】
制御部２２は、ステップＳ１５において、パラメータ変換部２６を制御し、処理内容判定部２１により設定されたパラメータ変換方法で、復号部２３から入力されたパラメータ変換を行わせる。例えば、図８や図９を参照して上述したようなパラメータ変換がなされる。
【００９４】
パラメータ変換部２６は、復号部２３−１および２３−２から受け取った符号化パラメータに対して、制御部２２の制御のもと、そのまま、あるいは、マージや変換して、それを符号化部２７に供給して、符号化部２７に再利用させる。また、再利用できないパラメータに関しては、パラメータ変換部２６は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部２７に指示する。
【００９５】
符号化部２７は、格納部２９−５から入力される加工後のデータを受け取り、ステップＳ１６において、パラメータ変換部２６からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。その際、符号化部２７は、パラメータ変換部２６からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。
【００９６】
制御部２２は、ステップＳ１７において、nを１つ加算し、ステップＳ１８において、nが最後のフレーム番号（Last Frame No.）よりも大きいか否かを判定する。ステップＳ１８において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップＳ１３に戻り、それ以降の処理が繰り返される。
【００９７】
また、ステップＳ１８において、最後のフレーム番号より大きいと判定された場合、画像復号装置１１の処理は終了される。
【００９８】
[画像復号装置の処理内容判定処理]
次に、図１１のフローチャートを参照して、図１０のステップＳ１１における処理内容判定処理について説明する。
【００９９】
処理内容判定部２１は、タイムライン情報を受け取ると、ステップＳ３１において、ｎを１と（初期化）し、ステップＳ３２において、受け取ったライムライン情報に基づいて、出力に使われる入力データ（有効エリア）を算出する。図４などを参照して上述したように、逆写像などが用いられて有効エリアが算出される。
【０１００】
処理内容判定部２１は、ステップＳ３３において、タイムライン情報と、算出した有効エリアにも基づいて、フレームにおける領域限定、またはチャンネル限定が可能であるか否かを判定する。ステップＳ３３において、フレームにおける領域限定、またはチャンネル限定が可能であると判定された場合、処理は、ステップＳ３４に進む。
【０１０１】
ステップＳ３４において、処理内容判定部２１は、番号がｎ（いまの場合、１）のフレームの部分復号を設定する。例えば、フレームにおける領域限定が可能な場合には、１のフレームにおいて領域の部分復号が設定され、チャンネル限定が可能な場合には、１のフレームにおいてチャンネルの部分復号が設定される。なお、部分復号の場合には、品質の劣化には直接関係しないので、後述するステップＳ３７やＳ３９のような判定は省略される。
【０１０２】
ステップＳ３３において、領域およびチャンネル限定が可能ではないと判定された場合、ステップＳ３４の処理はスキップされ、処理は、ステップＳ３５に進む。
【０１０３】
ステップＳ３５において、処理内容判定部２１は、コーデックの依存関係などを参照して、例えば、部分復号以外の簡易復号が有効であるか否かを判定する。ステップＳ３５において、簡易復号が有効であると判定された場合、処理は、ステップＳ３６に進む。
【０１０４】
処理内容判定部２１は、ステップＳ３６において、タイムライン情報から、ｎフレームに対するエフェクト（トランジション含む）の種類、エフェクトのパラメータをチェックし、ステップＳ３７において、そのフレームをフレームドロップしても目立ちにくいか否かを判定する。すなわち、ここでは、フレームドロップなどの時間方向の簡易復号による影響が判定される。ステップＳ３７において、フレームドロップしても目立ちにくいと判定された場合、処理は、ステップＳ３８に進む。
【０１０５】
ステップＳ３８において、処理内容判定部２１は、ｎフレームは、コピーすることに設定する。すなわち、ｎフレームは、復号処理無しで、フレームドロップの対象として設定される。その後、処理は、ステップＳ４１に進む。
【０１０６】
また、ステップＳ３７において、フレームドロップすると目立ってしまうと判定された場合、処理は、ステップＳ３９に進む。ステップＳ３９において、処理内容判定部２１は、ｎフレームに対して、簡易復号しても目立ちにくいか否かを判定する。すなわち、ここでは、例えば、デブロッキングの省略など、画面内、空間方向の簡易復号による影響が判定される。ステップＳ３９において、ｎフレームに対して、簡易復号しても目立ちにくいと判定された場合、処理は、ステップＳ４０に進む。ステップＳ４０において、処理内容判定部２１は、ｎフレームに対して、例えば、デブロッキングの省略などの簡易復号モードを設定する。その後、処理は、ステップＳ４１に進む。
【０１０７】
一方、ステップＳ３５において、簡易復号が有効ではないと判定された場合、ステップＳ３６乃至Ｓ４０の処理はスキップされ、処理は、ステップＳ４１に進む。また、ステップＳ３９において、簡易復号すると目立ちやすいと判定された場合も、処理は、ステップＳ４１に進む。
【０１０８】
ステップＳ４１において、処理内容判定部２１は、算出した有効エリアやタイムライン情報に基づいて、例えば、図８または図９で上述したように、符号化パラメータの変換またはマージを設定する。そして、処理内容判定部２１は、これら設定したエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報を、タイムライン情報に加えて、制御部２２に供給する。
【０１０９】
ステップＳ４１において、処理内容判定部２１は、nを１つ加算し、ステップＳ４２において、nが最後のフレーム番号（Last Frame No.）よりも大きいか否かを判定する。ステップＳ４２において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。
【０１１０】
また、ステップＳ４２において、最後のフレーム番号より大きいと判定された場合、処理内容判定処理は終了される。
【０１１１】
以上のように、画像復号装置１１においては、出力に使われる入力データの有効領域を算出し、それに基づいて、簡易復号処理を設定するようにしたので、加工および転送の処理量の減少による高速化を図ることができる。また、目立たない部分に簡易復号を用いることにより、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができる。
【０１１２】
さらに、画像復号装置１１においては、算出した有効領域に基づいて、元データの符号化パラメータをそのまま用いたり、パラメータ変換やマージをすることにより再利用するようにしたので、符号化処理を削減することができ、それにより、処理を高速化することができる。
【０１１３】
例えば、画像復号装置１１においては、符号化方式としてH．264/AVC方式やMPEG2を用いられるが、本発明はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【０１１４】
なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
【０１１５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０１１６】
［パーソナルコンピュータの構成例］
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１７】
コンピュータにおいて、CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１１８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【０１１９】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１２０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２２】
コンピュータでは、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１２３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２４】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２５】
１１ 画像復号装置， ２１ 処理内容判定部， ２２ 制御部， ２３−１，２３−２ 復号部， ２４−１，２４−２ エフェクト処理部， ２５ トランジション処理部， ２６ パラメータ変換部， ２７ 符号化部， ２８ 表示部
【技術分野】
【０００１】
本発明は復号装置および方法に関し、特に、加工処理が含まれる場合の復号処理の高速化を図ることができるようにした復号装置および方法に関する。
【背景技術】
【０００２】
従来、加工によって最終的に利用されないデータ（部分、チャンネルなど）に対しても復号され、格納され、転送されて、加工処理が行われていた。
【０００３】
その際、プレビュー画像を処理する際などに、簡易復号処理によって処理速度の向上を図る技術がある。また、ビットストリームを解析した結果取得できるパラメータを、再符号化時に利用することで、符号化処理のための画像の解析処理をスキップし、符号化処理を高速化する「パラメータエンコード」という技術もある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５２９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、簡易復号処理の結果の画質劣化を原因として、加工結果のデータを保存する場合には、従来からある簡易復号処理は採用されにくかった。
【０００６】
また、従来のパラメータエンコードにおいては、加工（エフェクトやトランジション）が入ると、適用することが困難であった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、加工処理が含まれる場合の復号処理の高速化を図ることができるものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の復号装置は、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段とを備える。
【０００９】
前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせることができる。
【００１０】
前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段をさらに備えることができる。
【００１１】
前記エリアは、フレーム全体またはフレーム内における部分領域である。
【００１２】
前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも１つである。
【００１３】
本発明の一側面の復号方法は、処理内容決定手段と、復号手段とを備える復号装置の復号方法において、前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う。
【００１４】
本発明の一側面においては、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアが決定され、決定されたエリアに対して前記簡易復号処理が行われる。
【００１５】
なお、上述の復号装置は、独立した装置であっても良いし、１つの復号装置を構成している内部ブロックであってもよい。
【発明の効果】
【００１６】
本発明の一側面によれば、加工処理が含まれる場合の復号処理の高速化を図ることができる。また、本発明の一側面によれば、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。
【図２】フレーム内の部分復号処理を説明する図である。
【図３】エフェクト処理とトランジション処理における入力イメージと出力イメージの例を示す図である。
【図４】有効エリアの決定方法について説明する図である。
【図５】エフェクト処理が拡大のアフィン変換である場合の有効エリアの決定処理例を説明する図である。
【図６】トランジション処理がクロスフェードである場合の有効エリアの決定処理例を説明する図である。
【図７】トランジション処理がワイプである場合の処理例を有効エリアの決定処理を説明する図である。
【図８】エフェクト処理が字幕やテロップの場合のパラメータ変換例を説明する図である。
【図９】トランジション処理がワイプである場合のパラメータ変換例を説明する図である。
【図１０】画像復号装置の処理を説明するフローチャートである。
【図１１】図１０のステップＳ１１の処理内容判定処理を説明するフローチャートである。
【図１２】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図を参照して本発明の実施の形態について説明する。
【００１９】
［画像復号装置の構成例］
図１は、本発明を適用した画像復号装置の一実施の形態の構成を表している。
【００２０】
この画像復号装置１１は、符号化されたビットストリームを復号して加工し、加工後の画像を表示したり、再符号化する。画像復号装置１１において、加工処理としては、エフェクト処理やトランジション処理がなされる。
【００２１】
図１の例において、画像復号装置１１は、処理内容判定部２１、制御部２２、復号部２３−１および２３−２、エフェクト処理部２４−１および２４−２、トランジション処理部２５、パラメータ変換部２６、符号化部２７、表示部２８、並びに格納部２９−１乃至２９−５により構成される。なお、図において、太い白矢印は、タイムライン情報、太い黒矢印は、ファイルのインプットまたはアウトプット、点線矢印は制御情報、実線矢印は、データ転送の流れをそれぞれ表している。
【００２２】
画像復号装置１１においては、図示せぬ操作入力部などから入力された（または、記憶部などに記憶されている）ユーザによる編集加工時のタイムライン情報が処理内容判定部２１および制御部２２に入力される。タイムライン情報は、ビットストリームを加工する際の編集や加工情報である。また、編集加工時には、図示せぬ画像符号化装置または記憶部などから復号部２３−１および復号部２３−２に、ファイルとして、符号化されているビットストリームが入力される。
【００２３】
処理内容判定部２１は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づいて、出力結果に反映される画像、すなわち、入力イメージにおける有効エリア（有効領域）を逆写像により算出し、決定する。
【００２４】
逆写像とは、一般的に、写像ｆ：Ｘ→Ｙ が任意のＸからＹの上への1対1の写像ならば、逆に、Ｙのおのおのの元ｙに対して、Ｘのただ1つの元ｘが対応し、写像Ｙ→Ｘが定まり、この写像を、ｆの逆写像といい、ｆ-1で表わされることを言う。ただし、ここでは、入力イメージ（画像）から出力イメージを作成する順方向の処理を写像として、出力イメージから入力イメージを対応付けすることを、逆写像として用いる。
【００２５】
処理内容判定部２１は、決定した有効エリアに基づいて、有効ではないエリア、すなわち、簡易復号処理を行っても影響が少ないエリアに対して、簡易復号処理することを設定する。また、処理内容判定部２１は、有効なエリアに対しては、簡易ではない復号処理を行うように設定する。なお、このエリアには、フレーム全体の意も含まれるし、フレームにおける一部のチャンネルや、フレームにおける一部の領域の意も含まれるものとする。
【００２６】
ここで、簡易復号処理とは、フレームまたはフィールドドロップ、復号処理におけるデブロッキング(Deblocking)の省略、簡易動き補償（MC：Motion compensation)、特定のチャンネルのみの復号処理、およびフレーム内の部分復号処理などがあげられる。
【００２７】
フレーム内の部分復号処理とは、図２に示されるように、フレームにおいて、利用する部分以外は、復号しない処理のことをいう。通常の復号処理においては、フレームの中央部に、図２に示されるような利用する部分があったとしても、フレーム全体のマクロブロックが復号される。これに対して、フレーム内の部分復号処理においては、フレームの中央部の利用する部分が含まれるマクロブロックより、復号順が後のハッチングされているマクロブロックは、その利用する部分の復号に必要のないマクロブロックであるので、復号されない。
【００２８】
すなわち、上述のように、通常の復号処理から工程を省略したり、簡単にしたり、範囲を限定するなどの復号処理を総称して、簡易復号処理という。そして、処理内容判定部２１においては、これらの簡易復号処理の中から、有効ではないエリア、すなわち、簡易復号処理を行っても出力画像の表示に対して影響が少ないエリアに対してそのエリアに応じた簡易復号処理を行うように設定される。なお、この設定基準としては、コーディックの依存関係や簡易復号処理をしても目立ちにくいか否かが用いられる。
【００２９】
さらに、処理内容判定部２１は、決定した有効エリアに基づいて、復号部２３−１および２３−２から得られる符号化パラメータを、再利用（再符号化）できるように、そのパラメータのマージまたは変換を設定する。なお、以下、パラメータの変換と適宜称するが、その変換には、マージも含むものとする。
【００３０】
すなわち、処理内容判定部２１においては、有効エリア決定処理が行われ、その決定結果である有効エリアに応じて、復号処理内容の設定や符号化パラメータ変換内容の設定処理が行われる。
【００３１】
処理内容判定部２１により決定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えて、制御部２２に供給される。
【００３２】
制御部２２は、入力されたタイムライン情報および処理内容判定部２１からの処理内容の情報が加わったタイムライン情報に基づいて、復号部２３−１および復号部２３−２、エフェクト処理部２４−１および２４−２、トランジション処理部２５、およびパラメータ変換部２６を制御する。
【００３３】
復号部２３−１および２３−２は、それぞれ、符号化されているビットストリームを受け取ると、符号化されているビットストリームから取得されるパラメータ（符号化パラメータ）を、そのままパラメータ変換部２６に出力する。
【００３４】
また、復号部２３−１および２３−２は、受け取ったビットストリームに対して、制御部２２の制御のもと、所定の復号処理を行い、復号されたデータを、格納部２９−１および２９−２にそれぞれ出力する。
【００３５】
エフェクト処理部２４−１および２４−２は、それぞれ、格納部２９−１および２９−２から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してエフェクト処理を行う。エフェクト処理部２４−１および２４−２は、エフェクト処理を行った結果のデータを、格納部２９−３および２９−４にそれぞれ出力する。
【００３６】
トランジション処理部２５は、格納部２９−３および２９−４から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してトランジット処理を行う。トランジション処理部２５は、トランジット処理を行った結果のデータ（すなわち、加工後のデータ）を、格納部２９−５に出力する。
【００３７】
パラメータ変換部２６は、復号部２３−１および２３−２からの符号化パラメータを受け取り、受け取った符号化パラメータに対して、制御部２２の制御のもと、マージや変換して、それを符号化部２７に供給して、符号化部２７に再利用させる。また、再利用できないパラメータに関しては、パラメータ変換部２６は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部２７に指示する。
【００３８】
符号化部２７は、格納部２９−５から入力される加工後のデータを受け取り、パラメータ変換部２６からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。その際、符号化部２７は、パラメータ変換部２６からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。
【００３９】
表示部２８は、格納部２９−５からの加工後のデータに対応する画像を表示する。
【００４０】
格納部２９−１乃至２９−５は、それぞれ、入力されたデータを格納し、必要に応じて、後段へ出力する。なお、格納部２９−５は、加工後のデータの処理に応じて、対応するデータを、符号化部２７および表示部２８の少なくとも一方へ出力する。また、格納部２９−５は、トランジション処理の結果を下地にして、さらにエフェクト処理が行われる場合には、加工後のデータを、再度、エフェクト処理部２４−２へ出力する。
【００４１】
なお、以下、復号部２３−１および２３−２を個々に区別する必要がない場合、単に復号部２３と称し、エフェクト処理部２４−１および２４−２を個々に区別する必要がない場合、単にエフェクト処理部２４と称する。
【００４２】
また、図１の例においては、復号部２３とエフェクト処理部２４を２つずつ構成する例を説明したが、台数は２つに限定されない。例えば、編集加工するビットストリームの数に応じた台数の復号部２３とエフェクト処理部２４の構成にすることも可能である。
【００４３】
[有効エリア決定処理の説明]
次に、処理内容判定部２１が行う処理内容判定処理における有効エリア決定処理について具体的に説明する。
【００４４】
まず、図３を参照して、エフェクト処理部２４とトランジション処理部２５における入力イメージと出力イメージについて説明する。
【００４５】
エフェクト処理部２４は、入力したイメージＡのフレームを用いてエフェクト処理を行い、エフェクト処理が施されたイメージＡ´のフレームを出力する。すなわち、エフェクト処理は、１つの入力に対して、１つの結果を出力する処理である。このようなエフェクト処理には、例えば、フレーム内における拡大や縮小、移動などのアフィン(Affine)変換や特定のチャンネルだけを処理するセピア(Sepia)処理が含まれる。また、アフィン変換は、縮小や移動などを伴うため、下地の情報（単色もしくは画像）の上にイメージＡのアフィン変換後の像を出力する場合もある。
【００４６】
これに対して、トランジション処理部２５は、下段に示されるように、入力したイメージＡのフレームとイメージＢのフレームを用いてトランジション処理を行い、トランジション処理が施されたイメージＣのフレームを出力する。すなわち、トランジション処理は、２つ（複数）の入力に対して、１つの結果を出力する処理である。このようなトランジション処理には、例えば、マスク(Mask)処理やクロスフェード(Cross Fade)処理が含まれる。
【００４７】
このようなエフェクト処理やトランジション処理においては、そのパラメータ（タイムラン情報）により、出力側のフレームにおける有効エリアが制限される場合がある。
【００４８】
例えば、拡大を行うアフィン変換処理においては、入力フレーム内の一部のみが出力として反映される。マスク処理が行われて、マスクが適用されている場合には、そのマスクによって、フレーム毎に有効エリアが定義される。
【００４９】
また、出力側の有効エリアが定義されないエフェクト処理またはトランジション処理の場合における出力側の有効エリアの入力側への対応付けとしては、例えば、アフィン変換であれば、出力の有効エリアの逆写像で対応付けを行うことが可能である。あるいは、その他の例としては、１対１で対応付けを行うことも可能である。
【００５０】
すなわち、処理内容判定部２１においては、タイムライン情報を参照することで、上述したようなエフェクト処理やトランジション処理の内容がわかるので、出力イメージを算出することができる。したがって、それらの処理を逆順にさかのぼることで、順次有効エリアを導出し、最終的に、入力イメージ上の有効エリアを導出し、決定することが可能となる。
【００５１】
例えば、図４に示される処理がタイムライン情報に示されている場合を考える。すなわち、イメージＡのフレームに対しては、エフェクト処理部２４により、拡大のアフィン変換が行われ、その結果、イメージＡの一部領域Ａ´が拡大されたイメージＡ´のフレームが生成される。そして、イメージＡ´のフレームが、トランジション処理部２５により、イメージＡ´の一部領域Ａ″以外にマスク処理が施される。
【００５２】
また、イメージＢのフレームに対しては、トランジション処理部２５により、一部領域Ｂ´以外にマスク処理が施される。そして、トランジション処理部２５においては、さらに、一部領域Ａ″以外にマスク処理がされたイメージと一部領域Ｂ´以外にマスク処理がされたイメージが他のイメージ上に合成されたイメージＣのフレームが生成される。
【００５３】
すなわち、処理内容判定部２１においては、タイムライン情報を参照することで、図４のように、一部領域Ａ″と一部領域Ｂ´が他の画像上に合成されるイメージＣが出力イメージとして算出される。
【００５４】
したがって、処理内容判定部２１は、算出された出力イメージＣから、トランジション処理部２５に入力されるイメージＢのフレームにおいて、一部領域Ｂ´がマスクによる有効エリアであることを導出し、決定することができる。
【００５５】
これにより、処理内容判定部２１は、イメージＢのフレーム上の一部領域Ｂ´以外の領域（ハッチング部分）が出力画像の表示に対して簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００５６】
また、処理内容判定部２１は、算出された出力イメージＣから、トランジション処理部２５に入力されるイメージＡ´のフレームにおいて、一部領域Ａ″がマスクによる有効領域であることを導出することができる。すなわち、イメージＡ´において、一部領域Ａ″以外の領域（ハッチング部分）が有効ではない領域とされる。さらに、処理内容判定部２１は、エフェクト処理部２４からの出力イメージＡ´から、アフィン変換の逆写像によって、エフェクト処理部２４に入力されるフレームＡにおいて、一部領域Ａ″が有効エリアであることを導出し、決定することができる。
【００５７】
これにより、処理内容判定部２１は、フレームＡ上の一部領域Ａ″以外の領域（ハッチング部分）が簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００５８】
さらに、図５乃至図７を参照して、エフェクト処理またはトランジション処理の処理例毎に詳しく説明する。
【００５９】
図５は、エフェクト処理が拡大のアフィン変換である例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においては、入力イメージＡにおいて、ハッチング部分に対して、拡大のアフィン変換が指示されているので、その結果、入力イメージＡにおけるハッチング部分がイメージ全体に拡大された出力イメージＢが算出される。
【００６０】
したがって、処理内容判定部２１は、算出された出力イメージＢから入力イメージＡにおけるハッチング部分が有効エリアであると、逆写像により求め、決定することができる。これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６１】
その結果に基づいて、画像復号装置１１においては、例えば、影響が少ない、あるいは影響がないエリアを復号しないという、簡易復号処理を行うことで、不要な復号処理を行うことが抑制され、処理時間を短くすることができる。
【００６２】
なお、縮小のアフィン変換を行う場合には、縮小率に応じて、簡易復号処理を行うか否かや、その簡易復号処理の方法を選択することもできるので、従来のように、単に簡易復号処理を行った場合の画質劣化が目立つことを抑えることができる。
【００６３】
図６は、トランジション処理がクロスフェードである例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においは、入力イメージＡを透過度αで、入力イメージＢを透過度（１−α）でブレンドすることが指示されているので、その結果の出力イメージＣが算出される。
【００６４】
この例の場合、処理内容判定部２１は、算出された出力イメージＣから、α ＞＞ １−αの状態のときに、イメージＡ側が有効エリアであることを、逆写像により求め、決定することができる。これにより、処理内容判定部２１は、イメージＢ側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６５】
逆に、α ＜＜ １−αの状態のときに、イメージＢ側が有効エリアであり、逆写像により求め、決定することができる。これにより、イメージＡ側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６６】
その結果に基づいて、画像復号装置１１においては、例えば、影響が少ない、あるいは影響がないエリアに対して、復号処理を省くような簡易復号処理を行うことができる。これにより、従来のように、単に簡易復号処理を行った場合の画質劣化やフレームドロップによる劣化の目立ちを抑えることができる。
【００６７】
図７は、トランジション処理がワイプである例を説明する図である。左側は入力イメージを表し、右側は出力イメージを表している。例えば、タイムライン情報においては、入力イメージＡにおける表示される部分、入力イメージＢにおける表示される部分、および対応する時間情報がトランジションのパラメータとして指示されているので、その結果の出力イメージＣが算出される。
【００６８】
したがって、処理内容判定部２１は、算出された出力イメージＣから、入力イメージＡにおけるハッチング部分と、入力イメージＢにおけるハッチング部分とが有効エリアであることを、逆写像により求め、決定することができる。これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。
【００６９】
その結果に基づいて、画像復号装置１１においては、簡易復号処理としては、例えば、表示されないエリア（ハッチング部分以外のエリア）の復号を極力行わない方法が用いられる。なお、極力とは、他から参照されるまたは復号処理結果が伝搬される場合には、正しく、または他の簡易復号方法で復号される。
【００７０】
以上のように、画像復号装置１１においては、タイムライン情報に基づいて、入力イメージにおいて簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアを決定し、そのエリアに対して簡易復号処理を行うようにした。
【００７１】
これにより、処理の時間を短縮するとともに、出力結果の劣化を抑制することができる。
【００７２】
[符号化パラメータ設定処理の説明]
次に、処理内容判定部２１が行う処理内容判定処理における符号化パラメータ設定処理について具体的に説明する。
【００７３】
図８は、エフェクト処理がそのイメージにテキスト（字幕やテロップ）を入れる場合の例を説明する図である。
【００７４】
図８の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。このフレームにおいて、ハッチングがなされた領域には、エフェクト処理により、テキストが上書きされる。
【００７５】
したがって、処理内容判定部２１は、この領域以外のマクロブロックについては、復号部２３に入力されるビットストリーム（素材）から得られる符号化パラメータをそのまま利用するように設定する。また、処理内容判定部２１は、ハッチングがなされた領域にかかるマクロブロックについては、このテキストを保護するために、素材から得られる符号化パラメータを変換させるように、パラメータ変換部２６の処理内容を設定する。
【００７６】
例えば、この場合、イントラマクロブロック（イントラ符号化）にしたり、または、量子化パラメータを下げるように、例えば、予測モードや量子化パラメータ値を変更するなど、符号化パラメータの値を変換するように、処理内容が設定される。
【００７７】
この設定内容に応じて、パラメータ変換部２６は、予測モードや量子化パラメータ値を変更するなど、パラメータ変換を行い、変換した符号化パラメータを符号化部２７に供給する。このパラメータ変換部２６からの符号化パラメータに基づいて、符号化部２７は、加工後のデータを符号化する。
【００７８】
図９は、トランジション処理がワイプの場合の例を説明する図である。例えば、素材Ａのフレームと素材Ｂのフレームをワイプさせる場合を考える。
【００７９】
図９の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。このフレームにおいて、濃いハッチングがなされた領域は、素材Ａのマクロブロックであり、これらのマクロブロックにおいては、素材Ａの符号化パラメータをそのまま利用することが可能である。薄いハッチングがなされた領域は、素材Ｂのマクロブロックであり、これらのマクロブロックにおいては、素材Ｂの符号化パラメータをそのまま利用することが可能である。
【００８０】
一方、白い領域は、素材Ａと素材Ｂがマージされた領域のマクロブロックであり、どちらの素材も利用することができない。
【００８１】
したがって、処理内容判定部２１は、ハッチングがなされた領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用して、マージするように設定する。一方、処理内容判定部２１は、白い領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用させないように設定する。
【００８２】
これに対応して、パラメータ変換部２６は、白い領域にかかるマクロブロックの符号化パラメータに符号化部２７に対する符号化パラメータ生成の指示が含ませる変換を行って、ハッチングがなされた領域にかかるマクロブロックの符号化パラメータとマージする。このパラメータ変換部２６からの符号化パラメータに基づいて、符号化部２７は、加工後のデータを符号化するとともに、必要な（白い領域にかかるマクロブロック）の符号化パラメータを生成し、パラメータ変換部２６からの符号化パラメータに上書きする。
【００８３】
以上のように、編集加工に用いられないマクロブロックについては、素材から得られる符号化パラメータを利用するようにしたり、編集加工に用いられるマクロブロックであっても、素材から得られる符号化パラメータを利用できる場合には、変換などを行うようにした。これにより、わざわざ、符号化に必要なパラメータを生成する手間が省け、編集加工の際の再符号化を高速に処理することができる。
【００８４】
なお、上記説明においては、テキストを入れる場合やワイプの例の場合を説明したが、もちろん、他のエフェクト処理であっても、同様に処理することができる。例えば、トランジション処理が、フェードイン、フェードアウト、クロスフェードの場合は、次のように、符号化パラメータを利用することができる。
【００８５】
すなわち、ブレンドの強度（α）として、出力の画素値＝Ａの画素値×α＋Ｂの画素値×（１−α）とすると、処理内容判定部２１は、αが１に近いとき、Ａの符号化パラメータをそのまま利用し、αが０に近いとき、Ｂの符号化パラメータをそのまま利用するように設定する。その他、フェード部分については、処理内容判定部２１は、ビット割り当てを増やして画質を保護するように設定する。
【００８６】
[画像復号装置の処理]
次に、図１０のフローチャートを参照して、図１の画像復号装置１１が行う処理であって、符号化されたビットストリームに対して編集加工処理を行い、再び符号化する処理について説明する。
【００８７】
図示せぬ操作入力部などから入力されたユーザによる指示に応じて、編集加工時のタイムライン情報が処理内容判定部２１および制御部２２に入力され、復号部２３−１および復号部２３−２に、ファイルとして、符号化されているビットストリームが入力される。
【００８８】
処理内容判定部２１は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づき、ステップＳ１１において、画像復号装置１１の各部の処理内容判定処理を実行する。この処理内容判定処理の詳細については、図１１を参照して後述される。
【００８９】
ステップＳ１１の処理により、有効エリアが判定されて、その判定結果に応じて復号処理や符号化パラメータ変換の処理内容が設定される。処理内容判定部２１により設定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えられて、制御部２２に供給される。
【００９０】
制御部２２は、ステップＳ１２において、ｎを１と（初期化）し、ステップＳ１３において、復号部２３を制御し、処理内容判定部２１により設定された復号方法で、入力されたビットストリームに対して、復号処理を行わせる。例えば、図５乃至図７を参照して上述したように、入力イメージにおいて簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアには、簡易復号処理が行われる。復号部２３は、復号処理を行い、復号されたデータを、格納部２９−１および２９−２にそれぞれ出力するとともに、符号化されているビットストリームから取得されるパラメータ（符号化パラメータ）を、そのままパラメータ変換部２６に出力する。
【００９１】
制御部２２は、ステップＳ１４において、エフェクト処理部２４およびトランジション処理部２５を制御し、タイムライン情報に基づいて、入力されたデータに対して、加工処理を行わせる。
【００９２】
すなわち、エフェクト処理部２４−１および２４−２は、それぞれ、格納部２９−１および２９−２から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してエフェクト処理を行う。エフェクト処理部２４−１および２４−２は、エフェクト処理を行った結果のデータを、格納部２９−３および２９−４にそれぞれ出力する。トランジション処理部２５は、格納部２９−３および２９−４から入力されるデータを受け取り、制御部２２の制御のもと、受け取ったデータに対してトランジット処理を行う。トランジション処理部２５は、トランジット処理を行った結果のデータ（すなわち、加工後のデータ）を、格納部２９−５に出力する。
【００９３】
制御部２２は、ステップＳ１５において、パラメータ変換部２６を制御し、処理内容判定部２１により設定されたパラメータ変換方法で、復号部２３から入力されたパラメータ変換を行わせる。例えば、図８や図９を参照して上述したようなパラメータ変換がなされる。
【００９４】
パラメータ変換部２６は、復号部２３−１および２３−２から受け取った符号化パラメータに対して、制御部２２の制御のもと、そのまま、あるいは、マージや変換して、それを符号化部２７に供給して、符号化部２７に再利用させる。また、再利用できないパラメータに関しては、パラメータ変換部２６は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部２７に指示する。
【００９５】
符号化部２７は、格納部２９−５から入力される加工後のデータを受け取り、ステップＳ１６において、パラメータ変換部２６からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。その際、符号化部２７は、パラメータ変換部２６からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。
【００９６】
制御部２２は、ステップＳ１７において、nを１つ加算し、ステップＳ１８において、nが最後のフレーム番号（Last Frame No.）よりも大きいか否かを判定する。ステップＳ１８において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップＳ１３に戻り、それ以降の処理が繰り返される。
【００９７】
また、ステップＳ１８において、最後のフレーム番号より大きいと判定された場合、画像復号装置１１の処理は終了される。
【００９８】
[画像復号装置の処理内容判定処理]
次に、図１１のフローチャートを参照して、図１０のステップＳ１１における処理内容判定処理について説明する。
【００９９】
処理内容判定部２１は、タイムライン情報を受け取ると、ステップＳ３１において、ｎを１と（初期化）し、ステップＳ３２において、受け取ったライムライン情報に基づいて、出力に使われる入力データ（有効エリア）を算出する。図４などを参照して上述したように、逆写像などが用いられて有効エリアが算出される。
【０１００】
処理内容判定部２１は、ステップＳ３３において、タイムライン情報と、算出した有効エリアにも基づいて、フレームにおける領域限定、またはチャンネル限定が可能であるか否かを判定する。ステップＳ３３において、フレームにおける領域限定、またはチャンネル限定が可能であると判定された場合、処理は、ステップＳ３４に進む。
【０１０１】
ステップＳ３４において、処理内容判定部２１は、番号がｎ（いまの場合、１）のフレームの部分復号を設定する。例えば、フレームにおける領域限定が可能な場合には、１のフレームにおいて領域の部分復号が設定され、チャンネル限定が可能な場合には、１のフレームにおいてチャンネルの部分復号が設定される。なお、部分復号の場合には、品質の劣化には直接関係しないので、後述するステップＳ３７やＳ３９のような判定は省略される。
【０１０２】
ステップＳ３３において、領域およびチャンネル限定が可能ではないと判定された場合、ステップＳ３４の処理はスキップされ、処理は、ステップＳ３５に進む。
【０１０３】
ステップＳ３５において、処理内容判定部２１は、コーデックの依存関係などを参照して、例えば、部分復号以外の簡易復号が有効であるか否かを判定する。ステップＳ３５において、簡易復号が有効であると判定された場合、処理は、ステップＳ３６に進む。
【０１０４】
処理内容判定部２１は、ステップＳ３６において、タイムライン情報から、ｎフレームに対するエフェクト（トランジション含む）の種類、エフェクトのパラメータをチェックし、ステップＳ３７において、そのフレームをフレームドロップしても目立ちにくいか否かを判定する。すなわち、ここでは、フレームドロップなどの時間方向の簡易復号による影響が判定される。ステップＳ３７において、フレームドロップしても目立ちにくいと判定された場合、処理は、ステップＳ３８に進む。
【０１０５】
ステップＳ３８において、処理内容判定部２１は、ｎフレームは、コピーすることに設定する。すなわち、ｎフレームは、復号処理無しで、フレームドロップの対象として設定される。その後、処理は、ステップＳ４１に進む。
【０１０６】
また、ステップＳ３７において、フレームドロップすると目立ってしまうと判定された場合、処理は、ステップＳ３９に進む。ステップＳ３９において、処理内容判定部２１は、ｎフレームに対して、簡易復号しても目立ちにくいか否かを判定する。すなわち、ここでは、例えば、デブロッキングの省略など、画面内、空間方向の簡易復号による影響が判定される。ステップＳ３９において、ｎフレームに対して、簡易復号しても目立ちにくいと判定された場合、処理は、ステップＳ４０に進む。ステップＳ４０において、処理内容判定部２１は、ｎフレームに対して、例えば、デブロッキングの省略などの簡易復号モードを設定する。その後、処理は、ステップＳ４１に進む。
【０１０７】
一方、ステップＳ３５において、簡易復号が有効ではないと判定された場合、ステップＳ３６乃至Ｓ４０の処理はスキップされ、処理は、ステップＳ４１に進む。また、ステップＳ３９において、簡易復号すると目立ちやすいと判定された場合も、処理は、ステップＳ４１に進む。
【０１０８】
ステップＳ４１において、処理内容判定部２１は、算出した有効エリアやタイムライン情報に基づいて、例えば、図８または図９で上述したように、符号化パラメータの変換またはマージを設定する。そして、処理内容判定部２１は、これら設定したエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報を、タイムライン情報に加えて、制御部２２に供給する。
【０１０９】
ステップＳ４１において、処理内容判定部２１は、nを１つ加算し、ステップＳ４２において、nが最後のフレーム番号（Last Frame No.）よりも大きいか否かを判定する。ステップＳ４２において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。
【０１１０】
また、ステップＳ４２において、最後のフレーム番号より大きいと判定された場合、処理内容判定処理は終了される。
【０１１１】
以上のように、画像復号装置１１においては、出力に使われる入力データの有効領域を算出し、それに基づいて、簡易復号処理を設定するようにしたので、加工および転送の処理量の減少による高速化を図ることができる。また、目立たない部分に簡易復号を用いることにより、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができる。
【０１１２】
さらに、画像復号装置１１においては、算出した有効領域に基づいて、元データの符号化パラメータをそのまま用いたり、パラメータ変換やマージをすることにより再利用するようにしたので、符号化処理を削減することができ、それにより、処理を高速化することができる。
【０１１３】
例えば、画像復号装置１１においては、符号化方式としてH．264/AVC方式やMPEG2を用いられるが、本発明はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【０１１４】
なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
【０１１５】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０１１６】
［パーソナルコンピュータの構成例］
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１７】
コンピュータにおいて、CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１１８】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【０１１９】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１２０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２２】
コンピュータでは、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１２３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２４】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１２５】
１１ 画像復号装置， ２１ 処理内容判定部， ２２ 制御部， ２３−１，２３−２ 復号部， ２４−１，２４−２ エフェクト処理部， ２５ トランジション処理部， ２６ パラメータ変換部， ２７ 符号化部， ２８ 表示部
【特許請求の範囲】
【請求項１】
ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、
前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段と
を備える復号装置。
【請求項２】
前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせる
請求項１に記載の復号装置。
【請求項３】
前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段と、
前記パラメータ変換手段により生成された前記符号化パラメータを利用して、前記復号手段により前記簡易復号処理が行われたビットストリームを再符号化する符号化手段と
をさらに備える請求項２に記載の復号装置。
【請求項４】
前記エリアは、フレーム全体またはフレーム内における部分領域である
請求項３に記載の復号装置。
【請求項５】
前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも１つである
請求項３に記載の復号装置。
【請求項６】
処理内容決定手段と、復号手段とを備える復号装置の復号方法において、
前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、
前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う
復号方法。
【請求項１】
ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、
前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段と
を備える復号装置。
【請求項２】
前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせる
請求項１に記載の復号装置。
【請求項３】
前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段と、
前記パラメータ変換手段により生成された前記符号化パラメータを利用して、前記復号手段により前記簡易復号処理が行われたビットストリームを再符号化する符号化手段と
をさらに備える請求項２に記載の復号装置。
【請求項４】
前記エリアは、フレーム全体またはフレーム内における部分領域である
請求項３に記載の復号装置。
【請求項５】
前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも１つである
請求項３に記載の復号装置。
【請求項６】
処理内容決定手段と、復号手段とを備える復号装置の復号方法において、
前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、
前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う
復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１７２０３９（Ｐ２０１１−１７２０３９Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１０−３４２９９（Ｐ２０１０−３４２９９）
【出願日】平成２２年２月１９日（２０１０．２．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２２年２月１９日（２０１０．２．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]