画像圧縮装置、オーサリングシステムおよび画像圧縮方法
【課題】画像内において画像処理の施された部分の画質が圧縮処理によって劣化するのを防止することが可能な技術を提供する。
【解決手段】画像圧縮装置１Ａは、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成部１０１と、第２画像を構成する画素に対して所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する属性情報取得部１０２と、属性情報に基づいて、当該属性情報を反映した圧縮処理を第２画像の画像データに施す圧縮符号化部２０Ａとを備える。
【解決手段】画像圧縮装置１Ａは、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成部１０１と、第２画像を構成する画素に対して所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する属性情報取得部１０２と、属性情報に基づいて、当該属性情報を反映した圧縮処理を第２画像の画像データに施す圧縮符号化部２０Ａとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの圧縮技術に関する。
【背景技術】
【０００２】
静止画像および動画像を形成する所定画像には、複数の画像を合成することによって生成された画像（合成画像）が含まれることがある。例えば、原画像に特定部分を付加する場合は、当該特定部分を含んだ他の画像を原画像に合成することによって、特定部分を含んだ所望の合成画像が取得される。
【０００３】
このような合成画像に対する圧縮処理では、圧縮処理の際に、付加された特定部分を検出することが困難であるため、当該特定部分も他の部分と区別することなく同様の圧縮処理が施されていた。このため、特定部分と他の部分とが同様の圧縮率で圧縮された場合、解凍（伸張）処理後の合成画像において、当該特定部分の画質劣化を許容できない可能性がある。
【０００４】
このような合成画像における特定部分の画質劣化を防止する手法として、例えば、特許文献１には、レイヤで構成される画像を、個々のレイヤ画像に分離し、各レイヤ画像に応じた符号化ビット量を割り当てて圧縮処理を行うことによって、レイヤで構成される画像の画質を向上させる技術が記載されている。
【０００５】
しかし、当該特許文献１に記載の技術では、分離したレイヤ画像それぞれに対して圧縮処理を施すことになるため、圧縮処理に要する時間が増大することになり、合成画像における特定部分の画質劣化を防止可能な一方で新たな課題が発生することになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２３６５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
またさらに、このような合成画像の特定部分に関する圧縮処理による不都合は、画像の合成処理によって付加された特定部分に限らず、画像において他の画像処理が施された部分についても生じうる。
【０００８】
そこで、本発明は、画像内において画像処理の施された部分の画質が圧縮処理によって劣化するのを防止することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像圧縮装置は、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成手段と、前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す圧縮符号化手段とを備える。
【００１０】
また、本発明に係る画像圧縮装置の一態様では、前記圧縮符号化手段は、前記画像データに基づいて予測画像を出力する予測画像出力手段と、前記第２画像と前記予測画像との差分に、周波数領域への直交変換を施して変換係数を算出する変換手段と、前記変換係数に対して、量子化の粗さを示す量子化情報に基づき量子化を行って量子化係数を算出する量子化部と、前記属性情報を反映して、前記量子化情報を生成する情報生成手段とを有する。
【００１１】
また、本発明に係る画像圧縮装置の一態様では、前記予測画像出力手段は、前記画像データに基づいて画面内予測を行い、イントラ予測画像を生成するイントラ予測手段と、前記画像データに基づいて画面間予測を行い、インター予測画像を生成するインター予測手段と、前記イントラ予測画像および前記インター予測画像のうち、いずれか一方を択一的に選択して、前記予測画像として出力する出力制御手段とを含み、前記出力制御手段は、前記属性情報を反映して前記択一的な選択を行う。
【００１２】
また、本発明に係る画像圧縮装置の一態様では、前記圧縮処理は、前記第２画像を分割して得られるブロックごとに行われ、前記圧縮符号化手段は、前記ブロックに関連する前記属性情報に基づいて、前記ブロックの種類を特定する特定手段を有し、前記圧縮符号化手段は、前記特定手段によって圧縮処理中の圧縮ブロックが所定種類のブロックであると特定された場合に、前記圧縮ブロックに隣接した圧縮処理済みのブロックの中に、同一種類のブロックが存在したときは、前記圧縮ブロックに対して前記同一種類のブロックと同じ圧縮処理を施す。
【００１３】
また、本発明に係る画像圧縮装置の一態様では、前記所定の画像処理は、半透明処理である。
【００１４】
また、本発明に係る画像圧縮装置の一態様では、前記所定の画像処理は、フェード処理である。
【００１５】
また、本発明に係るオーサリングシステムは、第１映像に所定の画像処理を施して、第２映像を生成する画像処理手段と、前記第２映像を構成する画面の画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２映像の映像データに施す圧縮符号化手段とを備える。
【００１６】
また、本発明に係る画像圧縮方法は、ａ）第１画像に所定の画像処理を施して、第２画像の画像データを生成する工程と、ｂ）前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する工程と、ｃ）前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す工程とを備える。
【発明の効果】
【００１７】
本発明によれば、画像内において画像処理の施された部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る画像圧縮装置の構成図である。
【図２】画像生成制御部における画像生成の様子を示す図である。
【図３】圧縮符号化部の詳細構成を示すブロック図である。
【図４】圧縮ブロックの種類に応じた符号発生量制御部の動作モードを示す図である。
【図５】画像生成制御部における画像生成の様子を示す図である。
【図６】第２実施形態に係る画像圧縮装置の圧縮符号化部の詳細構成を示すブロック図である。
【図７】圧縮ブロックの種類に応じた、符号発生量制御部の動作モードおよびイントラ／インター切替部の動作モードを示す図である。
【図８】第３実施形態に係るオーサリングシステムの構成を示すブロック図である。
【図９】圧縮ブロックの種類に応じた、符号発生量制御部の動作モードおよびイントラ／インター切替部の動作モードを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の各実施形態について図面を参照して説明する。
【００２０】
＜１．第１実施形態＞
［１−１．画像圧縮装置の概略］
図１は、本発明の第１実施形態に係る画像圧縮装置１Ａの構成図である。図１に示されるように、画像圧縮装置１Ａは、画像生成制御部１０と圧縮符号化部（圧縮符号化手段）２０Ａとで構成されている。
【００２１】
なお、本明細書では、説明の無用の煩雑化を避けるため、混同のおそれのない範囲で、画像の画像データと、画像そのものとを等しく「画像」とも表現している。
【００２２】
画像圧縮装置１Ａでは、画像生成制御部１０の画像生成部１０１によって、動画像を形成する画像（画面）の画像データが順次に生成（取得）される。また、画像生成制御部１０の属性情報取得部１０２では、生成された画像を構成する画素の属性情報が取得される。画像データおよび属性情報は、画像生成制御部１０から出力され、圧縮符号化部２０Ａに入力される。
【００２３】
圧縮符号化部２０Ａでは、入力された画像データに対して属性情報に基づいた圧縮処理（圧縮符号化処理）が施され、圧縮画像データが生成される。
【００２４】
生成された圧縮画像データは、有線通信または無線通信等によって外部に出力される。なお、外部に送信された圧縮画像データは、例えば、他の表示装置において受信され、当該他の表示装置において伸張されて表示される。また例えば、外部に出力された圧縮画像データを、ＨＤＤ（Hard Disk Drive）またはメモリ等の記憶媒体に保存してもよい。
【００２５】
このように、画像内の属性情報に基づいて、前記属性情報を反映した圧縮処理を当該画像の画像データに施すことによれば、画像を構成する画素の属性に適応した圧縮処理を実現することができる。
【００２６】
［１−２．画像圧縮装置の具体的構成］
次に、画像圧縮装置１Ａを構成する画像生成制御部１０と圧縮符号化部２０Ａとについて詳述する。図２は、画像生成制御部１０における画像生成の様子を示す図である。
【００２７】
画像生成制御部１０は、ＧＰＵ（Graphic Processing Unit）を用いて構成され、画像生成部１０１と属性情報取得部１０２とを有している。なお、ＧＰＵは、汎用のＣＰＵと比較して特に画像処理に特化した設計がなされている半導体チップであり、通常のＣＰＵとは別個に画像圧縮装置１Ａに搭載されている。
【００２８】
画像生成部１０１は、動画像を形成する画像の画像データを順次に生成する機能を有している。画像生成部１０１では、複数の画像を合成して生成される合成画像も生成され、当該合成画像には、図２に示されるように、画像生成部１０１で生成された２つの画像ＧＴ１，ＧＴ２を半透明に重ね合わせて合成した画像ＧＣも含まれる。画像生成部１０１で行われる半透明処理としては、例えば、画像の透明度を示すアルファ値（α値）を用いて２つの画像を合成するアルファブレンディング処理が採用される。当該アルファブレンディング処理が施された画素の画素値は、例えば背景画像となる一方の画像の画素値に（１−α）を掛けたものと、例えば前景画像となる他方の画像の画素値にαを掛けたものとを加えた値として表される。なお、このような半透明処理は、基準となる画像（「基準画像」または「原画像」とも称する）に対して補助画像上の特定部分を付加する画像処理であるとも表現できる。
【００２９】
属性情報取得部１０２は、画像生成部１０１で生成された画像を構成する各画素の属性情報を取得する。本実施形態では、画素に対するアルファブレンディング処理等の半透明処理の有無が、当該画素の属性情報として取得される。
【００３０】
半透明処理が施されているか否かの属性情報は、例えば、画像を構成する画素ごとに持たせてもよく、或いは、画像を複数の領域に分割して得られるブロック（例えば１６画素×１６画素のブロック）ごとに集約して持たせてもよい。
【００３１】
画素単位で属性情報を持たせる場合は、各画素に属性情報用のフラグ（属性フラグ）が割り当てられる。そして、半透明処理の施された画素（「半透明画素」とも称する）にはフラグとして「１」が設定され、半透明処理の施されていない画素（通常画素）にはフラグとして「０」が設定される。例えば、図２では、画像ＧＣ内の領域ＲＥに含まれる各画素の属性フラグにフラグがセットされることになる。
【００３２】
また、ブロック単位に属性情報を集約させる場合は、各ブロックに属性フラグが割り当てられる。そして、半透明処理の施された画素を含むブロックにはフラグとして「１」が設定され、半透明処理の施されていない画素を含むブロックにはフラグとして「０」が設定される。例えば、図２では、画像ＧＣにおいて斜線ハッチングＨＴが施された各ブロックにフラグがセットされることになる。なお、当該ブロックは、「情報ブロック」とも称され、圧縮処理の対象となる後述の圧縮ブロックに対応していることが好ましい。
【００３３】
画像生成部１０１で生成された画像データおよび属性情報取得部１０２で取得された属性情報は、それぞれ圧縮符号化部２０Ａに出力される。
【００３４】
圧縮符号化部２０Ａは、図１に示されるように、属性情報解析部２０１と圧縮処理部２０２とを有している。
【００３５】
属性情報解析部２０１は、入力される属性情報を解析して、解析結果を圧縮処理部２０２に出力する。
【００３６】
圧縮処理部２０２は、入力される画像データに対して、所定の動画像圧縮方式の圧縮処理を施して、圧縮画像データを生成する。動画像圧縮方式としては、例えば、Ｈ．２６４、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４等が採用される。また、圧縮処理部２０２では、上記圧縮処理に属性情報解析部２０１の解析結果が反映される。
【００３７】
ここで、圧縮符号化部２０Ａについてさらに詳述する。図３は、圧縮符号化部２０Ａの詳細構成を示すブロック図である。図４は、圧縮ブロックの種類に応じた符号発生量制御部２２０の動作モードを示す図である。
【００３８】
図３に示されるように、画像生成制御部１０から出力された画像データおよび属性情報は、インターフェース（Ｉ／Ｆ）部２１１を介してフレームメモリ２１２に格納される。フレームメモリ２１２は、画像データをフレームごとに一時的に記憶するとともに、属性情報を記憶する。
【００３９】
その後、メモリ読出部２１３によって、フレームメモリ２１２から、画像を複数の領域に分割して得られるブロック（例えば１６画素×１６画素のブロック）単位で、画像データおよび属性情報が読み出される。読み出されたブロック単位の画像データ（「ブロック画像データ」とも称する）５１は、圧縮処理部２０２（詳細には、差分演算部２１７、イントラ予測部２１４およびインター予測部２１５）に入力される。このように、画像圧縮装置１Ａでは、ブロック単位で画像データが読み出され、ブロックごとに圧縮処理が施されることになる。なお、ここでは、メモリ読出部２１３に読み出され、圧縮処理の対象となるブロックを「圧縮ブロック」または「注目ブロック」とも称する。
【００４０】
また、メモリ読出部２１３は、ブロック画像データ５１の読み出しに応じて、読み出されたブロックに関連する属性情報（「ブロック関連属性情報」または単に「関連属性情報」とも称する）７１をフレームメモリ２１２から読み出し、属性情報解析部２０１に出力する。
【００４１】
属性情報解析部２０１は、入力された関連属性情報７１に基づいて、圧縮対象となる圧縮ブロックの種類、すなわち圧縮ブロックが特殊領域であるか否かを特定する特定手段として機能する。圧縮ブロックが特殊領域であるか否かは、圧縮符号化部２０Ａに画素単位で属性情報が入力された場合は、例えば、圧縮ブロックにおける半透明処理の施された領域（「半透明領域」とも称する）の割合に応じて特定することができる。すなわち、圧縮ブロックにおける半透明領域の割合が所定割合（例えば、５０％）以上であった場合に、当該圧縮ブロックが特殊領域と特定される。また、情報ブロック単位に集約された属性情報が圧縮符号化部２０Ａに入力された場合は、圧縮ブロックが特殊領域であるか否かは、圧縮ブロック内にフラグセットされた情報ブロックが含まれるか否かに基づいて特定される。なお、圧縮ブロックにおける半透明領域の割合は、圧縮ブロックを構成する全画素に対する、圧縮ブロックに含まれる半透明画素の割合で表される。なお、圧縮ブロックにおける半透明領域は、画像処理の一種である半透明処理の施された特定部分であるとも表現される。
【００４２】
属性情報解析部２０１は、圧縮ブロックの種類の特定が終了すると、その特定結果（解析結果）７２を圧縮処理部２０２（詳細には、符号発生量制御部２２０）に出力する。
【００４３】
画像圧縮装置１Ａの圧縮処理部２０２で実行される圧縮処理は、大きく分けて３つの処理、すなわち予測画像生成処理と、残差信号符号化処理と、局所復号処理とに大別される。
【００４４】
予測画像生成処理は、図３におけるイントラ予測部２１４と、インター予測部２１５と、イントラ／インター切替部２１６とで構成される予測画像出力手段によって実現される。
【００４５】
イントラ予測部２１４は、画面内予測を行ってイントラ予測画像を生成する。具体的には、イントラ予測部２１４は、ブロック画像データ５１および符号化済みデータの局所復号画像５２を入力とし、候補となる予測方向の中から符号化効率が最適となる予測方向を決定し、イントラ予測画像（イントラ予測信号）およびイントラ予測情報（予測方向に関する情報）をイントラ情報５３として出力する。
【００４６】
インター予測部２１５は、画面間予測を行ってインター予測画像を生成する。具体的には、インター予測部２１５は、ブロック画像データ５１および符号化済みデータの局所復号画像を入力とし、符号化効率が最適となる動きベクトルを決定し、インター予測画像（インター予測信号）およびインター予測情報（動ベクトルに関する情報）をインター情報５４として出力する。
【００４７】
イントラ／インター切替部２１６は、イントラ情報５３、インター情報５４、およびブロック画像データ５１を入力とし、イントラ情報５３およびインター情報５４のうち、いずれか一方を択一的に選択して出力する。イントラ／インター切替部２１６は、イントラ予測画像とブロック画像データ５１との差分値、およびインター予測画像とブロック画像データ５１との差分値を算出する。そして、イントラ／インター切替部２１６は、２つの差分値を比較することによって、イントラ予測画像およびインター予測画像の中からブロック画像データとの差分の小さい方の画像を予測画像５５として差分演算部２１７および加算演算部２２３に出力する。
【００４８】
またさらに、イントラ／インター切替部２１６は、出力された予測画像５５に関する予測情報５６をエントロピー符号化部２２１に出力する。すなわち、イントラ予測画像が予測画像５５として出力された場合は、イントラ予測情報が予測情報５６として出力され、インター予測画像が予測画像５５として出力された場合は、インター予測情報が予測情報５６として出力されることになる。
【００４９】
残差信号符号化処理は、図３における差分演算部２１７、変換部２１８、量子化部２１９、符号発生量制御部２２０、およびエントロピー符号化部２２１で実現される。
【００５０】
差分演算部２１７は、ブロック画像データ５１と、予測画像５５との間で、画素値の差分を演算し、差分結果の残差信号（差分信号）５７を変換部２１８に対して出力する。
【００５１】
変換部２１８では、いわゆる離散コサイン変換（ＤＣＴ）が行われ、残差信号５７が周波数領域のＤＣＴ係数５８へと直交変換される。当該変換によって得られたＤＣＴ係数５８は、量子化部２１９へと入力される。
【００５２】
量子化部２１９では、ＤＣＴ係数５８に対して量子化が行われ、ＤＣＴ係数５８が量子化係数５９へと変換される。このような量子化は、符号発生量制御部２２０で決定される量子化ステップを用いてＤＣＴ係数５８を除算することによって実現される。量子化部２１９で得られた量子化係数５９は、エントロピー符号化部２２１および局所復号部２２２に入力される。
【００５３】
エントロピー符号化部２２１では、量子化部２１９から入力される量子化係数５９およびイントラ／インター切替部２１６から入力される予測情報５６に対して、例えばハフマン符号化などの可変長符号化処理或いは算術符号化処理が施され、符号化データ６０が生成される。符号化データ６０は、送信バッファ（不図示）に一旦蓄積された後に、圧縮画像データとして圧縮符号化部２０Ａの外部に出力される。なお、圧縮画像データには符号化された予測情報５６が含まれているため、圧縮画像データを受信し、画像を再構成する復号化装置において、予測情報５６を考慮した復号化が可能となる。
【００５４】
また、エントロピー符号化部２２１は、生成した符号化データのデータ量（符号発生量）６１を適時に符号発生量制御部２２０に出力する。
【００５５】
符号発生量制御部２２０は、量子化に用いられる量子化ステップを決定し、当該量子化ステップを量子化情報６２として量子化部２１９に出力する情報生成手段として機能する。量子化ステップは、量子化の粗さを示しており、量子化ステップが小さいほど、画質の劣化は抑えられるが、符号量は多くなる。符号発生量制御部２２０では、量子化ステップと所定の関係を有する量子化パラメータを制御することによって、量子化ステップが導出される。量子化パラメータの設定制御は、属性情報解析部２０１による解析結果に応じて２通りの手法で行われる。
【００５６】
具体的には、図４に示されるように、圧縮ブロックが特殊領域であった場合、符号発生量制御部２２０の動作モードは、固定値設定モードに設定され、量子化パラメータが比較的低い値の固定値とされる。
【００５７】
一方、圧縮ブロックが非特殊領域（通常領域）であった場合、符号発生量制御部２２０の動作モードは、自動設定モードに設定される。自動設定モードでは、符号発生量制御部２２０は、エントロピー符号化部２２１から入力される過去の符号化データのデータ量６１に基づいて、量子化パラメータを自動的に設定する。当該量子化パラメータの自動設定は、目標符号量の発生に最適な量子化ステップを導出可能なように行われる。
【００５８】
このように、圧縮ブロックが特殊領域であった場合に、符号発生量制御部２２０の動作モードを固定値設定モードに設定し、量子化パラメータを比較的低い値の固定値とすることによれば、量子化の粗さが細かくなるので、当該圧縮ブロックの圧縮率を低くすることが可能になり、圧縮ブロックに含まれる特定部分（ここでは、半透明領域）の画質劣化を抑えることができる。
【００５９】
なお、量子化パラメータは、量子化ステップと所定の関係を有する変数であり、例えば、ＭＰＥＧ−２では、量子化パラメータは量子化ステップと比例関係を有し、Ｈ．２６４では、量子化パラメータは、量子化ステップの対数と比例関係を有している。
【００６０】
局所復号処理は、図３における局所復号部２２２、加算演算部２２３、および参照画像メモリ２２４で実現される。
【００６１】
局所復号部２２２では、量子化係数５９に対して逆量子化処理が行われた後に、ＤＣＴとは逆の演算（逆ＤＣＴ）が実行され、演算結果（再構成された残差信号６３）が出力される。加算演算部２２３では、局所復号部２２２の演算結果に対して、イントラ予測部２１４或いはインター予測部２１５で生成された予測画像５５を用いた加算処理が行われ、その加算結果の局所復号画像（「参照画像」とも称される）５２が出力される。局所復号画像は、参照画像メモリ２２４に一時的に蓄積される。
【００６２】
以上のように、本実施形態の画像圧縮装置１Ａは、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成部１０１と、第２画像を構成する画素に対して所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する属性情報取得部１０２と、属性情報に基づいて、当該属性情報を反映した圧縮処理を第２画像の画像データに施す圧縮符号化部２０Ａとを備える。このような画像圧縮装置１Ａによれば、画像を構成する画素の属性に適した圧縮処理を実行することができるので、画像内において所定の画像処理の施された部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【００６３】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態の画像圧縮装置１Ａでは、画素に対する半透明処理の有無が属性情報として取得されていたが、第２実施形態に係る画像圧縮装置１Ｂでは、上記半透明処理の有無に加えて、半透明画素の動き（移動）に関する情報も属性情報として取得される。なお、画像圧縮装置１Ｂは、第１実施形態に係る画像圧縮装置１Ａとほぼ同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。図５は、画像生成制御部１０における画像生成の様子を示す図である。図６は、第２実施形態に係る画像圧縮装置１Ｂの圧縮符号化部２０Ｂの詳細構成を示すブロック図である。図７は、圧縮ブロックの種類に応じた、符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モードを示す図である。
【００６４】
上述のように、第２実施形態に係る画像圧縮装置１Ｂでは、画像圧縮装置１Ｂの画像生成制御部１０の属性情報取得部１０２（図１参照）において、画素に対する半透明処理の有無と半透明画素の動きに関する情報（「動き情報」または「移動情報」とも称する）とが属性情報として取得される。
【００６５】
半透明画素の動き情報は、画像生成部１０１で時系列的に生成される画面（フレーム）において、半透明画素が動きのある半透明領域を構成する画素であるか否かを表し、画像生成部１０１による画像生成の際の生成情報に基づいて取得される。
【００６６】
例えば、図５に示されるように、画像生成部１０１が時系列的に前後の関係となる第１フレームＧＣ１１と第２フレームＧＣ１２とを順次に生成する場合を想定する。この場合、第１フレームの生成処理ＦＲ１においては、画像生成部１０１は、背景画像ＧＴ１１および前景画像ＧＴ２１を生成した後に、これら２つの画像ＧＴ１１，ＧＴ２１を合成することによって、第１フレームＧＣ１１を生成する。そして、第２フレームの生成処理ＦＲ２においては、画像生成部１０１は、背景画像ＧＴ１２および前景画像ＧＴ２２を生成した後に、これら２つの画像ＧＴ１２，ＧＴ２２を合成することによって、第２フレームＧＣ１２を生成する。
【００６７】
このような状況において、第２フレームＧＣ１２に関する前景画像ＧＴ２２は、画像生成部１０１によって、１フレーム前の前景画像ＧＴ２１の半透明処理の対象となる領域ＲＭを或る特定方向に或る特定量分移動させて生成されている。属性情報取得部１０２は、このような画像生成の際に用いられた、半透明処理の対象となる領域ＲＭの動きに関する生成情報を画像生成部１０１から取得し、生成画像における半透明画素が動きのある半透明領域を構成する画素であるか否かの情報を当該半透明画素の動き情報として取得する。
【００６８】
そして、属性情報取得部１０２は、画素に対する半透明処理の有無と半透明画素の動き情報とを含む属性情報を圧縮符号化部２０Ｂに出力する。なお、この場合、半透明画素の動き情報が属性情報に追加されたことになるので、各画素または各ブロックに割り当てられる属性フラグの情報量（ビット量）は、情報の追加分だけ増やされることになる。
【００６９】
図６に示されるように、圧縮符号化部２０Ｂに入力された属性情報は、インターフェース（Ｉ／Ｆ）部２１１を介してフレームメモリ２１２に格納される。メモリ読出部２１３は、圧縮ブロック単位のブロック画像データ５１の読み出しに応じて、読み出されたブロックに関する関連属性情報７１をフレームメモリ２１２から読み出し、属性情報解析部２０１に出力する。
【００７０】
属性情報解析部２０１は、入力された関連属性情報７１に基づいて、圧縮対象となる圧縮ブロックの種類を特定する。具体的には、属性情報解析部２０１は、上記第１実施形態と同様の手法で、圧縮ブロックが半透明領域を有する特殊領域であるか否かを特定する。そして、属性情報解析部２０１は、特殊領域であると特定された圧縮ブロックが、動きのある半透明領域を有する第１特殊領域であるか、或いは動きのない半透明領域を有する第２特殊領域であるかを、関連属性情報７１に含まれる半透明画素の動き情報に基づいて特定する。
【００７１】
なお、ここでは、圧縮符号化部２０Ｂに画素単位で属性情報が入力された場合、圧縮ブロックに含まれる半透明領域の動きの有無は、例えば、当該半透明領域を構成する画素の中に、動き情報に関する属性フラグにフラグセットされた画素が存在するか否かに応じて判断される。また、情報ブロック単位に集約された属性情報が圧縮符号化部２０Ｂに入力された場合、圧縮ブロックに含まれる半透明領域の動きの有無は、当該半透明領域内に動き情報に関する属性フラグにフラグセットされた情報ブロックが含まれるか否かに応じて判断される。
【００７２】
属性情報解析部２０１は、圧縮ブロックの種類の特定が終了すると、その特定結果７２をイントラ／インター切替部２１６および符号発生量制御部２２０に出力する。
【００７３】
本実施形態のイントラ／インター切替部２１６は、イントラ情報５３、インター情報５４、ブロック画像データ５１、および属性情報解析部２０１の特定結果を入力とし、イントラ情報５３およびインター情報５４のうち、いずれか一方を選択して出力する出力制御手段として機能する。イントラ／インター切替部２１６によるイントラ情報５３およびインター情報５４の択一的な出力制御は、属性解析部２０１の特定結果に応じて２通りの手法で行われる。
【００７４】
具体的には、図７に示されるように、圧縮ブロックが第１特殊領域であった場合、イントラ／インター切替部２１６の動作モードは固定出力モードに設定され、イントラ情報５３が固定的に出力される。すなわち、イントラ予測画像が予測画像５５として差分演算部２１７および加算演算部２２３に出力されるとともに、イントラ予測情報が予測情報５６としてエントロピー符号化部２２１に出力されることになる。
【００７５】
一方、圧縮ブロックが第２特殊領域または非特殊領域であった場合、イントラ／インター切替部２１６の動作モードは自動選択出力モードに設定される。自動選択出力モードでは、上記第１実施形態と同様に、イントラ／インター切替部２１６は、イントラ予測画像とブロック画像データ５１との差分値、およびインター予測画像とブロック画像データ５１との差分値を算出する。そして、イントラ／インター切替部２１６は、２つの差分値を比較することによって、イントラ予測画像およびインター予測画像の中からブロック画像データとの差分の小さい方の画像を予測画像５５として差分演算部２１７および加算演算部２２３に出力する。またさらに、イントラ／インター切替部２１６は、出力された予測画像５５に関する予測情報５６をエントロピー符号化部２２１に出力する。すなわち、イントラ予測画像が予測画像５５として出力された場合は、イントラ予測情報が予測情報５６として出力され、インター予測画像が予測画像５５として出力された場合は、インター予測情報が予測情報５６として出力されることになる。
【００７６】
このように、本実施形態のイントラ／インター切替部２１６は、属性情報を反映して予測画像の択一的な選択動作を行う。
【００７７】
イントラ予測は、同一フレーム内のブロック間の相関関係を利用して予測を行うものであるため、同じような模様が一様に広がっていて、比較的動きのない絵柄を有する画像に対して効果を発揮する。一方、インター予測は、異なるフレーム間の相関関係を利用して予測を行うものであるため、特定の模様（例えば、キャラクター）が一定方向に動いているような比較的動きのある絵柄を有する画像に対して効果を発揮する。このため、圧縮ブロックに含まれる半透明領域の動きの有無に応じてイントラ予測とインター予測とを使い分けることによれば、圧縮ブロックの属性に適応した予測画像を選択することができるので、圧縮ブロックに含まれる半透明領域の圧縮処理による画質劣化を防止することが可能になる。
【００７８】
また、本実施形態の符号発生量制御部２２０の動作モードは、圧縮ブロックの種類に応じて変更される。具体的には、図７に示されるように、圧縮ブロックが第１特殊領域であった場合は、符号発生量制御部２２０の動作モードは第１実施形態と同様の固定出力モードに設定され、圧縮ブロックが第２特殊領域または非特殊領域であった場合は、符号発生量制御部２２０の動作モードは第１実施形態と同様の自動選択出力モードに設定される。
【００７９】
このように、本実施形態では、圧縮ブロックの種類に応じて符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モードがそれぞれ変更されることになり、画像を構成する画素の属性に適応した圧縮処理が実現されることになる。これによれば、動きのある半透明領域および動きのない半透明領域の圧縮処理による画質劣化を防止することが可能になる。
【００８０】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。上記各実施形態では、本発明が画像圧縮装置１Ａ，１Ｂに適用されていたが、第３実施形態では、本発明がオーサリングシステム１００に適用される。なお、オーサリングシステム１００において、上記各実施形態の画像圧縮装置１Ａ，１Ｂと同様の構造および機能を有する共通部分については、同じ符号を付して説明を省略する。図８は、オーサリングシステム１００の構成を示すブロック図である。
【００８１】
図８に示されるように、オーサリングシステム１００は、オーサリングツール３００と圧縮符号化部２０Ａとで構成され、撮像部８１で取得される映像データ、および記憶部８２に記憶されている映像データを入力とし、これらの映像データ（原映像データ）に日付等の情報（付加情報）を加える機能を有している。
【００８２】
オーサリングシステム１００では、オーサリングツール３００における画像処理部３０１によって、原映像データに日付を表す文字等の付加情報を加えた映像データが生成される。このような画像処理部３０１による付加情報等の特定部分の付加は、例えばアルファブレンディング処理等の半透明処理を用いて行われる。また、オーサリングツール３００の属性情報取得部１０２では、特定部分を有する映像を構成する画面の画素の属性情報が取得される。特定部分が付加された映像データおよび属性情報は、オーサリングツール３００から出力され、圧縮符号化部２０Ａに入力される。
【００８３】
圧縮符号化部２０Ａの属性情報解析部２０１では、入力される属性情報が解析され、解析結果が圧縮処理部２０２に出力される。そして、圧縮処理部２０２では、属性情報の解析結果を反映した上記第１実施形態または第２実施形態と同様の圧縮処理が映像データに対して施され、圧縮映像データが生成される。
【００８４】
このように、オーサリングシステム１００によって生成される映像を構成する画素の属性情報を用いて、当該映像の映像データに圧縮処理を施すことによれば、映像を構成する画素の属性に適応した圧縮処理を実現することができるので、映像に付加された特定部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【００８５】
＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。上記第１実施形態の画像圧縮装置１Ａでは、画像生成部１０１において半透明処理の施された画像が生成されていたが、第３実施形態の画像圧縮装置１Ｃでは、画像生成部１０１においてフェード処理の施された画像が生成される。なお、画像圧縮装置１Ｃは、第１実施形態に係る画像圧縮装置１Ａとほぼ同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。
【００８６】
上述のように、本実施形態の画像圧縮装置１Ｃでは、画像生成部１０１（図１参照）においてフェード処理の施された画像が生成される。
【００８７】
ここで、フェード処理とは、時系列的に生成される画像において、画像の明るさを時間的に変化させる処理であり、画像を構成する画素の輝度を時間的に変化させることによって実現される。画像圧縮装置１Ｃの画像生成部１０１では、当該フェード処理を用いることによって、暗い状態から明るい状態に徐々に変化させるフェード・インされた映像、明るい状態から暗い状態に徐々に変化させるフェード・アウトされた映像、およびフェード・インとフェード・アウトとを組み合わせることによってクロスフェードされた映像を生成することができる。
【００８８】
このようなフェード処理は、画像全体に渡って、或いは画像内の或る部分に対して適用可能な処理であり、画像圧縮装置１Ｃの属性情報取得部１０２では、フェード処理の施された部分（「フェード部分」とも称する）に関する情報が属性情報として取得される。より詳細には、属性情報取得部１０２は、画像生成部１０１で生成された画像を構成する各画素に対するフェード処理の有無を、各画素の属性情報として取得する。
【００８９】
当該属性情報は、上記第１実施形態と同様、各画素に割り当てられた属性フラグを用いて、圧縮符号化部２０Ａに伝送される。
【００９０】
圧縮符号化部２０Ａの属性情報解析部２０１では、入力された属性情報が解析され、圧縮ブロックがフェード部分を有しているか否かが特定される。圧縮ブロックがフェード部分を有しているか否かについての解析結果は、圧縮処理部２０２に出力される。
【００９１】
圧縮処理部２０２は、重み付け係数を用いて画像の明るさを予測する重み付け予測手段を有し、圧縮処理部２０２では、入力された解析結果に基づいて重み付け予測手段を用いた重み付け予測処理の実行制御を行う。具体的には、圧縮ブロックがフェード部分を有しているとの解析結果が入力された場合は、圧縮処理部２０２は、重み付け予測処理を実行させる。一方、圧縮ブロックがフェード部分を有していないとの解析結果が入力された場合は、圧縮処理部２０２は、重み付け予測処理を実行させない。
【００９２】
このように、画像内のフェード処理の有無を示す属性情報を用いて、当該画像の画像データに圧縮処理を施すことによれば、圧縮処理の際に用いられる重み付け予測処理の実行制御を的確に行うことが可能になるので、画像内の上記特定部分に相当するフェード部分の圧縮処理による画質劣化を防止することができる。
【００９３】
＜５．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【００９４】
例えば、上記各実施形態では、画像生成制御部１０で動画像が生成される場合について例示していたが、これに限定されず、静止画像が生成される態様であってもよい。この場合、圧縮符号化部２０Ａ，２０Ｂでは、当該静止画像に対して静止画像を構成する画素の属性情報を反映した圧縮処理が施されることになる。
【００９５】
また、上記各実施形態では、圧縮ブロックにおける半透明領域の割合に応じて、圧縮ブロックが特殊領域であるか否かを特定していたが、これに限定されず、圧縮ブロック内に半透明処理の施された画素が存在する場合は、当該圧縮ブロックを特殊領域であると特定するようにしてもよい。
【００９６】
また、上記各実施形態において、半透明画素の重要度に関する情報（重要度情報）を属性情報に含めてもよい。
【００９７】
この場合、属性情報取得部１０２によって、半透明画素が重要画素であるか否かの重要度情報が属性情報として取得される。なお、半透明画素が重要画素であるか否かは、当該半透明画素が予め重要な領域として設定された半透明領域に含まれるか否か、或いはユーザによって重要な領域として指定された半透明領域に含まれる否かに基づいて判定される。
【００９８】
そして、属性情報解析部２０１は、特殊領域であると特定された圧縮ブロックが、重要な半透明領域を有するか否かを重要度情報に基づいて特定する。
【００９９】
そしてさらに、図９に示されるように、圧縮処理部２０２は、重要な半透明領域を有する特殊領域であると特定された圧縮ブロックに対しては、上述の各特殊領域に対する各動作モード（詳細には、符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モード）と同様の動作モードを採用して圧縮処理を施す。一方、圧縮処理部２０２は、重要な半透明領域を有さない特殊領域（「低重要特殊領域」とも称する）であると特定された圧縮ブロックに対しては、圧縮処理よる劣化が許容されるため、上述の非特殊領域に対する各動作モードと同様の動作モードを採用して圧縮処理を施す。
【０１００】
このように、半透明画素の重要度を反映した圧縮処理を行うことによれば、重要な半透明領域を含まない圧縮ブロックに対して、圧縮率の低い圧縮処理が施されることを防止することができる。換言すれば、半透明領域を含む圧縮ブロックの中で、重要な半透明領域を有する圧縮ブロックに対してのみ圧縮率の低い圧縮処理を施すことが可能になり、符号化データの増大を押さえることができる。
【０１０１】
また、上記各実施形態では、画像生成部１０１が半透明処理を用いて合成画像を生成する場合を例示したが、これに限定されず、半透明処理を施すことなく単に複数の画像を重ね合わせて合成画像を生成してもよい。このような場合においても、合成された特定部分の情報を用いて、圧縮処理を施すことによれば、特定部分の圧縮処理による画質劣化を防止することが可能になる。
【０１０２】
また、上記各実施形態の属性情報解析部２０１は、順次に入力される関連属性情報７１の解析結果を内部または外部の記憶手段に記憶させ、過去の解析結果をも用いて属性情報の解析を行ってもよい。具体的には、属性情報解析部２０１は、圧縮ブロックの種類に関する過去の解析結果を記憶手段に記憶させる。そして、属性情報解析部２０１は、現在圧縮処理の対象となっている圧縮ブロックが特殊領域であるとの解析結果が得られた場合、過去の解析結果を参照することによって、当該現在の圧縮ブロックに隣接するブロック（隣接ブロック）の中に同様の解析結果を得たブロックが存在するか否かを特定する。
【０１０３】
同様の解析結果を得た隣接ブロック（すなわち同じ特殊領域の隣接ブロック）が存在した場合、属性情報解析部２０１は、現在の圧縮ブロックは、他の圧縮ブロックに含まれる半透明領域と連続した半透明領域を有するブロックであると判断して、その付属情報を解析結果として圧縮処理部２０２に出力する。なお、付属情報には、現在の圧縮ブロックに含まれる半透明領域と連続した半透明領域を有すると予想される他の圧縮ブロックを特定するための情報が含まれている。
【０１０４】
圧縮処理部２０２は、上記付属情報が入力された場合、上記他の圧縮ブロックに対して施した圧縮処理と同じ圧縮処理を、現在の圧縮ブロックに対しても施すように動作する。すなわち、イントラ／インター切替部２１６は、上記他の圧縮ブロックの圧縮処理の際に選択された手法で予測画像を生成するように切替制御を行う。また、符号発生量制御部２２０は、上記他の圧縮ブロックの圧縮処理の際に用いられた量子化ステップと同様の量子化ステップを導出可能なように量子化パラメータを設定する。
【０１０５】
このように、変形例に係る圧縮符号化部では、圧縮処理中の現在の圧縮ブロックが所定種類のブロック（ここでは、特殊領域の圧縮ブロック）であると特定された場合に、現在の圧縮ブロックに隣接した圧縮処理済みの過去の圧縮ブロックの中に、同一種類の圧縮ブロックが存在したときは、現在の圧縮ブロックに対して同一種類の圧縮ブロックと同じ圧縮処理が施される。
【０１０６】
これによれば、現在の圧縮ブロックおよび過去の圧縮ブロックに含まれる連続した半透明領域に対して同じ圧縮処理を施すことができるので、同一の半透明領域内で画質が異なるという不具合を解消することができる。
【符号の説明】
【０１０７】
１Ａ，１Ｂ，１Ｃ 画像圧縮装置
１０ 画像生成制御部
２０Ａ，２０Ｂ 圧縮符号化部
１０１ 画像生成部
１０２ 属性情報取得部
２０１ 属性情報解析部
２０２ 圧縮処理部
２１４ イントラ予測部
２１５ インター予測部
２１６ イントラ／インター切替部
２２０ 符号発生量制御部
【技術分野】
【０００１】
本発明は、画像データの圧縮技術に関する。
【背景技術】
【０００２】
静止画像および動画像を形成する所定画像には、複数の画像を合成することによって生成された画像（合成画像）が含まれることがある。例えば、原画像に特定部分を付加する場合は、当該特定部分を含んだ他の画像を原画像に合成することによって、特定部分を含んだ所望の合成画像が取得される。
【０００３】
このような合成画像に対する圧縮処理では、圧縮処理の際に、付加された特定部分を検出することが困難であるため、当該特定部分も他の部分と区別することなく同様の圧縮処理が施されていた。このため、特定部分と他の部分とが同様の圧縮率で圧縮された場合、解凍（伸張）処理後の合成画像において、当該特定部分の画質劣化を許容できない可能性がある。
【０００４】
このような合成画像における特定部分の画質劣化を防止する手法として、例えば、特許文献１には、レイヤで構成される画像を、個々のレイヤ画像に分離し、各レイヤ画像に応じた符号化ビット量を割り当てて圧縮処理を行うことによって、レイヤで構成される画像の画質を向上させる技術が記載されている。
【０００５】
しかし、当該特許文献１に記載の技術では、分離したレイヤ画像それぞれに対して圧縮処理を施すことになるため、圧縮処理に要する時間が増大することになり、合成画像における特定部分の画質劣化を防止可能な一方で新たな課題が発生することになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−２３６５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
またさらに、このような合成画像の特定部分に関する圧縮処理による不都合は、画像の合成処理によって付加された特定部分に限らず、画像において他の画像処理が施された部分についても生じうる。
【０００８】
そこで、本発明は、画像内において画像処理の施された部分の画質が圧縮処理によって劣化するのを防止することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像圧縮装置は、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成手段と、前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す圧縮符号化手段とを備える。
【００１０】
また、本発明に係る画像圧縮装置の一態様では、前記圧縮符号化手段は、前記画像データに基づいて予測画像を出力する予測画像出力手段と、前記第２画像と前記予測画像との差分に、周波数領域への直交変換を施して変換係数を算出する変換手段と、前記変換係数に対して、量子化の粗さを示す量子化情報に基づき量子化を行って量子化係数を算出する量子化部と、前記属性情報を反映して、前記量子化情報を生成する情報生成手段とを有する。
【００１１】
また、本発明に係る画像圧縮装置の一態様では、前記予測画像出力手段は、前記画像データに基づいて画面内予測を行い、イントラ予測画像を生成するイントラ予測手段と、前記画像データに基づいて画面間予測を行い、インター予測画像を生成するインター予測手段と、前記イントラ予測画像および前記インター予測画像のうち、いずれか一方を択一的に選択して、前記予測画像として出力する出力制御手段とを含み、前記出力制御手段は、前記属性情報を反映して前記択一的な選択を行う。
【００１２】
また、本発明に係る画像圧縮装置の一態様では、前記圧縮処理は、前記第２画像を分割して得られるブロックごとに行われ、前記圧縮符号化手段は、前記ブロックに関連する前記属性情報に基づいて、前記ブロックの種類を特定する特定手段を有し、前記圧縮符号化手段は、前記特定手段によって圧縮処理中の圧縮ブロックが所定種類のブロックであると特定された場合に、前記圧縮ブロックに隣接した圧縮処理済みのブロックの中に、同一種類のブロックが存在したときは、前記圧縮ブロックに対して前記同一種類のブロックと同じ圧縮処理を施す。
【００１３】
また、本発明に係る画像圧縮装置の一態様では、前記所定の画像処理は、半透明処理である。
【００１４】
また、本発明に係る画像圧縮装置の一態様では、前記所定の画像処理は、フェード処理である。
【００１５】
また、本発明に係るオーサリングシステムは、第１映像に所定の画像処理を施して、第２映像を生成する画像処理手段と、前記第２映像を構成する画面の画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２映像の映像データに施す圧縮符号化手段とを備える。
【００１６】
また、本発明に係る画像圧縮方法は、ａ）第１画像に所定の画像処理を施して、第２画像の画像データを生成する工程と、ｂ）前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する工程と、ｃ）前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す工程とを備える。
【発明の効果】
【００１７】
本発明によれば、画像内において画像処理の施された部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態に係る画像圧縮装置の構成図である。
【図２】画像生成制御部における画像生成の様子を示す図である。
【図３】圧縮符号化部の詳細構成を示すブロック図である。
【図４】圧縮ブロックの種類に応じた符号発生量制御部の動作モードを示す図である。
【図５】画像生成制御部における画像生成の様子を示す図である。
【図６】第２実施形態に係る画像圧縮装置の圧縮符号化部の詳細構成を示すブロック図である。
【図７】圧縮ブロックの種類に応じた、符号発生量制御部の動作モードおよびイントラ／インター切替部の動作モードを示す図である。
【図８】第３実施形態に係るオーサリングシステムの構成を示すブロック図である。
【図９】圧縮ブロックの種類に応じた、符号発生量制御部の動作モードおよびイントラ／インター切替部の動作モードを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の各実施形態について図面を参照して説明する。
【００２０】
＜１．第１実施形態＞
［１−１．画像圧縮装置の概略］
図１は、本発明の第１実施形態に係る画像圧縮装置１Ａの構成図である。図１に示されるように、画像圧縮装置１Ａは、画像生成制御部１０と圧縮符号化部（圧縮符号化手段）２０Ａとで構成されている。
【００２１】
なお、本明細書では、説明の無用の煩雑化を避けるため、混同のおそれのない範囲で、画像の画像データと、画像そのものとを等しく「画像」とも表現している。
【００２２】
画像圧縮装置１Ａでは、画像生成制御部１０の画像生成部１０１によって、動画像を形成する画像（画面）の画像データが順次に生成（取得）される。また、画像生成制御部１０の属性情報取得部１０２では、生成された画像を構成する画素の属性情報が取得される。画像データおよび属性情報は、画像生成制御部１０から出力され、圧縮符号化部２０Ａに入力される。
【００２３】
圧縮符号化部２０Ａでは、入力された画像データに対して属性情報に基づいた圧縮処理（圧縮符号化処理）が施され、圧縮画像データが生成される。
【００２４】
生成された圧縮画像データは、有線通信または無線通信等によって外部に出力される。なお、外部に送信された圧縮画像データは、例えば、他の表示装置において受信され、当該他の表示装置において伸張されて表示される。また例えば、外部に出力された圧縮画像データを、ＨＤＤ（Hard Disk Drive）またはメモリ等の記憶媒体に保存してもよい。
【００２５】
このように、画像内の属性情報に基づいて、前記属性情報を反映した圧縮処理を当該画像の画像データに施すことによれば、画像を構成する画素の属性に適応した圧縮処理を実現することができる。
【００２６】
［１−２．画像圧縮装置の具体的構成］
次に、画像圧縮装置１Ａを構成する画像生成制御部１０と圧縮符号化部２０Ａとについて詳述する。図２は、画像生成制御部１０における画像生成の様子を示す図である。
【００２７】
画像生成制御部１０は、ＧＰＵ（Graphic Processing Unit）を用いて構成され、画像生成部１０１と属性情報取得部１０２とを有している。なお、ＧＰＵは、汎用のＣＰＵと比較して特に画像処理に特化した設計がなされている半導体チップであり、通常のＣＰＵとは別個に画像圧縮装置１Ａに搭載されている。
【００２８】
画像生成部１０１は、動画像を形成する画像の画像データを順次に生成する機能を有している。画像生成部１０１では、複数の画像を合成して生成される合成画像も生成され、当該合成画像には、図２に示されるように、画像生成部１０１で生成された２つの画像ＧＴ１，ＧＴ２を半透明に重ね合わせて合成した画像ＧＣも含まれる。画像生成部１０１で行われる半透明処理としては、例えば、画像の透明度を示すアルファ値（α値）を用いて２つの画像を合成するアルファブレンディング処理が採用される。当該アルファブレンディング処理が施された画素の画素値は、例えば背景画像となる一方の画像の画素値に（１−α）を掛けたものと、例えば前景画像となる他方の画像の画素値にαを掛けたものとを加えた値として表される。なお、このような半透明処理は、基準となる画像（「基準画像」または「原画像」とも称する）に対して補助画像上の特定部分を付加する画像処理であるとも表現できる。
【００２９】
属性情報取得部１０２は、画像生成部１０１で生成された画像を構成する各画素の属性情報を取得する。本実施形態では、画素に対するアルファブレンディング処理等の半透明処理の有無が、当該画素の属性情報として取得される。
【００３０】
半透明処理が施されているか否かの属性情報は、例えば、画像を構成する画素ごとに持たせてもよく、或いは、画像を複数の領域に分割して得られるブロック（例えば１６画素×１６画素のブロック）ごとに集約して持たせてもよい。
【００３１】
画素単位で属性情報を持たせる場合は、各画素に属性情報用のフラグ（属性フラグ）が割り当てられる。そして、半透明処理の施された画素（「半透明画素」とも称する）にはフラグとして「１」が設定され、半透明処理の施されていない画素（通常画素）にはフラグとして「０」が設定される。例えば、図２では、画像ＧＣ内の領域ＲＥに含まれる各画素の属性フラグにフラグがセットされることになる。
【００３２】
また、ブロック単位に属性情報を集約させる場合は、各ブロックに属性フラグが割り当てられる。そして、半透明処理の施された画素を含むブロックにはフラグとして「１」が設定され、半透明処理の施されていない画素を含むブロックにはフラグとして「０」が設定される。例えば、図２では、画像ＧＣにおいて斜線ハッチングＨＴが施された各ブロックにフラグがセットされることになる。なお、当該ブロックは、「情報ブロック」とも称され、圧縮処理の対象となる後述の圧縮ブロックに対応していることが好ましい。
【００３３】
画像生成部１０１で生成された画像データおよび属性情報取得部１０２で取得された属性情報は、それぞれ圧縮符号化部２０Ａに出力される。
【００３４】
圧縮符号化部２０Ａは、図１に示されるように、属性情報解析部２０１と圧縮処理部２０２とを有している。
【００３５】
属性情報解析部２０１は、入力される属性情報を解析して、解析結果を圧縮処理部２０２に出力する。
【００３６】
圧縮処理部２０２は、入力される画像データに対して、所定の動画像圧縮方式の圧縮処理を施して、圧縮画像データを生成する。動画像圧縮方式としては、例えば、Ｈ．２６４、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４等が採用される。また、圧縮処理部２０２では、上記圧縮処理に属性情報解析部２０１の解析結果が反映される。
【００３７】
ここで、圧縮符号化部２０Ａについてさらに詳述する。図３は、圧縮符号化部２０Ａの詳細構成を示すブロック図である。図４は、圧縮ブロックの種類に応じた符号発生量制御部２２０の動作モードを示す図である。
【００３８】
図３に示されるように、画像生成制御部１０から出力された画像データおよび属性情報は、インターフェース（Ｉ／Ｆ）部２１１を介してフレームメモリ２１２に格納される。フレームメモリ２１２は、画像データをフレームごとに一時的に記憶するとともに、属性情報を記憶する。
【００３９】
その後、メモリ読出部２１３によって、フレームメモリ２１２から、画像を複数の領域に分割して得られるブロック（例えば１６画素×１６画素のブロック）単位で、画像データおよび属性情報が読み出される。読み出されたブロック単位の画像データ（「ブロック画像データ」とも称する）５１は、圧縮処理部２０２（詳細には、差分演算部２１７、イントラ予測部２１４およびインター予測部２１５）に入力される。このように、画像圧縮装置１Ａでは、ブロック単位で画像データが読み出され、ブロックごとに圧縮処理が施されることになる。なお、ここでは、メモリ読出部２１３に読み出され、圧縮処理の対象となるブロックを「圧縮ブロック」または「注目ブロック」とも称する。
【００４０】
また、メモリ読出部２１３は、ブロック画像データ５１の読み出しに応じて、読み出されたブロックに関連する属性情報（「ブロック関連属性情報」または単に「関連属性情報」とも称する）７１をフレームメモリ２１２から読み出し、属性情報解析部２０１に出力する。
【００４１】
属性情報解析部２０１は、入力された関連属性情報７１に基づいて、圧縮対象となる圧縮ブロックの種類、すなわち圧縮ブロックが特殊領域であるか否かを特定する特定手段として機能する。圧縮ブロックが特殊領域であるか否かは、圧縮符号化部２０Ａに画素単位で属性情報が入力された場合は、例えば、圧縮ブロックにおける半透明処理の施された領域（「半透明領域」とも称する）の割合に応じて特定することができる。すなわち、圧縮ブロックにおける半透明領域の割合が所定割合（例えば、５０％）以上であった場合に、当該圧縮ブロックが特殊領域と特定される。また、情報ブロック単位に集約された属性情報が圧縮符号化部２０Ａに入力された場合は、圧縮ブロックが特殊領域であるか否かは、圧縮ブロック内にフラグセットされた情報ブロックが含まれるか否かに基づいて特定される。なお、圧縮ブロックにおける半透明領域の割合は、圧縮ブロックを構成する全画素に対する、圧縮ブロックに含まれる半透明画素の割合で表される。なお、圧縮ブロックにおける半透明領域は、画像処理の一種である半透明処理の施された特定部分であるとも表現される。
【００４２】
属性情報解析部２０１は、圧縮ブロックの種類の特定が終了すると、その特定結果（解析結果）７２を圧縮処理部２０２（詳細には、符号発生量制御部２２０）に出力する。
【００４３】
画像圧縮装置１Ａの圧縮処理部２０２で実行される圧縮処理は、大きく分けて３つの処理、すなわち予測画像生成処理と、残差信号符号化処理と、局所復号処理とに大別される。
【００４４】
予測画像生成処理は、図３におけるイントラ予測部２１４と、インター予測部２１５と、イントラ／インター切替部２１６とで構成される予測画像出力手段によって実現される。
【００４５】
イントラ予測部２１４は、画面内予測を行ってイントラ予測画像を生成する。具体的には、イントラ予測部２１４は、ブロック画像データ５１および符号化済みデータの局所復号画像５２を入力とし、候補となる予測方向の中から符号化効率が最適となる予測方向を決定し、イントラ予測画像（イントラ予測信号）およびイントラ予測情報（予測方向に関する情報）をイントラ情報５３として出力する。
【００４６】
インター予測部２１５は、画面間予測を行ってインター予測画像を生成する。具体的には、インター予測部２１５は、ブロック画像データ５１および符号化済みデータの局所復号画像を入力とし、符号化効率が最適となる動きベクトルを決定し、インター予測画像（インター予測信号）およびインター予測情報（動ベクトルに関する情報）をインター情報５４として出力する。
【００４７】
イントラ／インター切替部２１６は、イントラ情報５３、インター情報５４、およびブロック画像データ５１を入力とし、イントラ情報５３およびインター情報５４のうち、いずれか一方を択一的に選択して出力する。イントラ／インター切替部２１６は、イントラ予測画像とブロック画像データ５１との差分値、およびインター予測画像とブロック画像データ５１との差分値を算出する。そして、イントラ／インター切替部２１６は、２つの差分値を比較することによって、イントラ予測画像およびインター予測画像の中からブロック画像データとの差分の小さい方の画像を予測画像５５として差分演算部２１７および加算演算部２２３に出力する。
【００４８】
またさらに、イントラ／インター切替部２１６は、出力された予測画像５５に関する予測情報５６をエントロピー符号化部２２１に出力する。すなわち、イントラ予測画像が予測画像５５として出力された場合は、イントラ予測情報が予測情報５６として出力され、インター予測画像が予測画像５５として出力された場合は、インター予測情報が予測情報５６として出力されることになる。
【００４９】
残差信号符号化処理は、図３における差分演算部２１７、変換部２１８、量子化部２１９、符号発生量制御部２２０、およびエントロピー符号化部２２１で実現される。
【００５０】
差分演算部２１７は、ブロック画像データ５１と、予測画像５５との間で、画素値の差分を演算し、差分結果の残差信号（差分信号）５７を変換部２１８に対して出力する。
【００５１】
変換部２１８では、いわゆる離散コサイン変換（ＤＣＴ）が行われ、残差信号５７が周波数領域のＤＣＴ係数５８へと直交変換される。当該変換によって得られたＤＣＴ係数５８は、量子化部２１９へと入力される。
【００５２】
量子化部２１９では、ＤＣＴ係数５８に対して量子化が行われ、ＤＣＴ係数５８が量子化係数５９へと変換される。このような量子化は、符号発生量制御部２２０で決定される量子化ステップを用いてＤＣＴ係数５８を除算することによって実現される。量子化部２１９で得られた量子化係数５９は、エントロピー符号化部２２１および局所復号部２２２に入力される。
【００５３】
エントロピー符号化部２２１では、量子化部２１９から入力される量子化係数５９およびイントラ／インター切替部２１６から入力される予測情報５６に対して、例えばハフマン符号化などの可変長符号化処理或いは算術符号化処理が施され、符号化データ６０が生成される。符号化データ６０は、送信バッファ（不図示）に一旦蓄積された後に、圧縮画像データとして圧縮符号化部２０Ａの外部に出力される。なお、圧縮画像データには符号化された予測情報５６が含まれているため、圧縮画像データを受信し、画像を再構成する復号化装置において、予測情報５６を考慮した復号化が可能となる。
【００５４】
また、エントロピー符号化部２２１は、生成した符号化データのデータ量（符号発生量）６１を適時に符号発生量制御部２２０に出力する。
【００５５】
符号発生量制御部２２０は、量子化に用いられる量子化ステップを決定し、当該量子化ステップを量子化情報６２として量子化部２１９に出力する情報生成手段として機能する。量子化ステップは、量子化の粗さを示しており、量子化ステップが小さいほど、画質の劣化は抑えられるが、符号量は多くなる。符号発生量制御部２２０では、量子化ステップと所定の関係を有する量子化パラメータを制御することによって、量子化ステップが導出される。量子化パラメータの設定制御は、属性情報解析部２０１による解析結果に応じて２通りの手法で行われる。
【００５６】
具体的には、図４に示されるように、圧縮ブロックが特殊領域であった場合、符号発生量制御部２２０の動作モードは、固定値設定モードに設定され、量子化パラメータが比較的低い値の固定値とされる。
【００５７】
一方、圧縮ブロックが非特殊領域（通常領域）であった場合、符号発生量制御部２２０の動作モードは、自動設定モードに設定される。自動設定モードでは、符号発生量制御部２２０は、エントロピー符号化部２２１から入力される過去の符号化データのデータ量６１に基づいて、量子化パラメータを自動的に設定する。当該量子化パラメータの自動設定は、目標符号量の発生に最適な量子化ステップを導出可能なように行われる。
【００５８】
このように、圧縮ブロックが特殊領域であった場合に、符号発生量制御部２２０の動作モードを固定値設定モードに設定し、量子化パラメータを比較的低い値の固定値とすることによれば、量子化の粗さが細かくなるので、当該圧縮ブロックの圧縮率を低くすることが可能になり、圧縮ブロックに含まれる特定部分（ここでは、半透明領域）の画質劣化を抑えることができる。
【００５９】
なお、量子化パラメータは、量子化ステップと所定の関係を有する変数であり、例えば、ＭＰＥＧ−２では、量子化パラメータは量子化ステップと比例関係を有し、Ｈ．２６４では、量子化パラメータは、量子化ステップの対数と比例関係を有している。
【００６０】
局所復号処理は、図３における局所復号部２２２、加算演算部２２３、および参照画像メモリ２２４で実現される。
【００６１】
局所復号部２２２では、量子化係数５９に対して逆量子化処理が行われた後に、ＤＣＴとは逆の演算（逆ＤＣＴ）が実行され、演算結果（再構成された残差信号６３）が出力される。加算演算部２２３では、局所復号部２２２の演算結果に対して、イントラ予測部２１４或いはインター予測部２１５で生成された予測画像５５を用いた加算処理が行われ、その加算結果の局所復号画像（「参照画像」とも称される）５２が出力される。局所復号画像は、参照画像メモリ２２４に一時的に蓄積される。
【００６２】
以上のように、本実施形態の画像圧縮装置１Ａは、第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成部１０１と、第２画像を構成する画素に対して所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する属性情報取得部１０２と、属性情報に基づいて、当該属性情報を反映した圧縮処理を第２画像の画像データに施す圧縮符号化部２０Ａとを備える。このような画像圧縮装置１Ａによれば、画像を構成する画素の属性に適した圧縮処理を実行することができるので、画像内において所定の画像処理の施された部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【００６３】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態の画像圧縮装置１Ａでは、画素に対する半透明処理の有無が属性情報として取得されていたが、第２実施形態に係る画像圧縮装置１Ｂでは、上記半透明処理の有無に加えて、半透明画素の動き（移動）に関する情報も属性情報として取得される。なお、画像圧縮装置１Ｂは、第１実施形態に係る画像圧縮装置１Ａとほぼ同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。図５は、画像生成制御部１０における画像生成の様子を示す図である。図６は、第２実施形態に係る画像圧縮装置１Ｂの圧縮符号化部２０Ｂの詳細構成を示すブロック図である。図７は、圧縮ブロックの種類に応じた、符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モードを示す図である。
【００６４】
上述のように、第２実施形態に係る画像圧縮装置１Ｂでは、画像圧縮装置１Ｂの画像生成制御部１０の属性情報取得部１０２（図１参照）において、画素に対する半透明処理の有無と半透明画素の動きに関する情報（「動き情報」または「移動情報」とも称する）とが属性情報として取得される。
【００６５】
半透明画素の動き情報は、画像生成部１０１で時系列的に生成される画面（フレーム）において、半透明画素が動きのある半透明領域を構成する画素であるか否かを表し、画像生成部１０１による画像生成の際の生成情報に基づいて取得される。
【００６６】
例えば、図５に示されるように、画像生成部１０１が時系列的に前後の関係となる第１フレームＧＣ１１と第２フレームＧＣ１２とを順次に生成する場合を想定する。この場合、第１フレームの生成処理ＦＲ１においては、画像生成部１０１は、背景画像ＧＴ１１および前景画像ＧＴ２１を生成した後に、これら２つの画像ＧＴ１１，ＧＴ２１を合成することによって、第１フレームＧＣ１１を生成する。そして、第２フレームの生成処理ＦＲ２においては、画像生成部１０１は、背景画像ＧＴ１２および前景画像ＧＴ２２を生成した後に、これら２つの画像ＧＴ１２，ＧＴ２２を合成することによって、第２フレームＧＣ１２を生成する。
【００６７】
このような状況において、第２フレームＧＣ１２に関する前景画像ＧＴ２２は、画像生成部１０１によって、１フレーム前の前景画像ＧＴ２１の半透明処理の対象となる領域ＲＭを或る特定方向に或る特定量分移動させて生成されている。属性情報取得部１０２は、このような画像生成の際に用いられた、半透明処理の対象となる領域ＲＭの動きに関する生成情報を画像生成部１０１から取得し、生成画像における半透明画素が動きのある半透明領域を構成する画素であるか否かの情報を当該半透明画素の動き情報として取得する。
【００６８】
そして、属性情報取得部１０２は、画素に対する半透明処理の有無と半透明画素の動き情報とを含む属性情報を圧縮符号化部２０Ｂに出力する。なお、この場合、半透明画素の動き情報が属性情報に追加されたことになるので、各画素または各ブロックに割り当てられる属性フラグの情報量（ビット量）は、情報の追加分だけ増やされることになる。
【００６９】
図６に示されるように、圧縮符号化部２０Ｂに入力された属性情報は、インターフェース（Ｉ／Ｆ）部２１１を介してフレームメモリ２１２に格納される。メモリ読出部２１３は、圧縮ブロック単位のブロック画像データ５１の読み出しに応じて、読み出されたブロックに関する関連属性情報７１をフレームメモリ２１２から読み出し、属性情報解析部２０１に出力する。
【００７０】
属性情報解析部２０１は、入力された関連属性情報７１に基づいて、圧縮対象となる圧縮ブロックの種類を特定する。具体的には、属性情報解析部２０１は、上記第１実施形態と同様の手法で、圧縮ブロックが半透明領域を有する特殊領域であるか否かを特定する。そして、属性情報解析部２０１は、特殊領域であると特定された圧縮ブロックが、動きのある半透明領域を有する第１特殊領域であるか、或いは動きのない半透明領域を有する第２特殊領域であるかを、関連属性情報７１に含まれる半透明画素の動き情報に基づいて特定する。
【００７１】
なお、ここでは、圧縮符号化部２０Ｂに画素単位で属性情報が入力された場合、圧縮ブロックに含まれる半透明領域の動きの有無は、例えば、当該半透明領域を構成する画素の中に、動き情報に関する属性フラグにフラグセットされた画素が存在するか否かに応じて判断される。また、情報ブロック単位に集約された属性情報が圧縮符号化部２０Ｂに入力された場合、圧縮ブロックに含まれる半透明領域の動きの有無は、当該半透明領域内に動き情報に関する属性フラグにフラグセットされた情報ブロックが含まれるか否かに応じて判断される。
【００７２】
属性情報解析部２０１は、圧縮ブロックの種類の特定が終了すると、その特定結果７２をイントラ／インター切替部２１６および符号発生量制御部２２０に出力する。
【００７３】
本実施形態のイントラ／インター切替部２１６は、イントラ情報５３、インター情報５４、ブロック画像データ５１、および属性情報解析部２０１の特定結果を入力とし、イントラ情報５３およびインター情報５４のうち、いずれか一方を選択して出力する出力制御手段として機能する。イントラ／インター切替部２１６によるイントラ情報５３およびインター情報５４の択一的な出力制御は、属性解析部２０１の特定結果に応じて２通りの手法で行われる。
【００７４】
具体的には、図７に示されるように、圧縮ブロックが第１特殊領域であった場合、イントラ／インター切替部２１６の動作モードは固定出力モードに設定され、イントラ情報５３が固定的に出力される。すなわち、イントラ予測画像が予測画像５５として差分演算部２１７および加算演算部２２３に出力されるとともに、イントラ予測情報が予測情報５６としてエントロピー符号化部２２１に出力されることになる。
【００７５】
一方、圧縮ブロックが第２特殊領域または非特殊領域であった場合、イントラ／インター切替部２１６の動作モードは自動選択出力モードに設定される。自動選択出力モードでは、上記第１実施形態と同様に、イントラ／インター切替部２１６は、イントラ予測画像とブロック画像データ５１との差分値、およびインター予測画像とブロック画像データ５１との差分値を算出する。そして、イントラ／インター切替部２１６は、２つの差分値を比較することによって、イントラ予測画像およびインター予測画像の中からブロック画像データとの差分の小さい方の画像を予測画像５５として差分演算部２１７および加算演算部２２３に出力する。またさらに、イントラ／インター切替部２１６は、出力された予測画像５５に関する予測情報５６をエントロピー符号化部２２１に出力する。すなわち、イントラ予測画像が予測画像５５として出力された場合は、イントラ予測情報が予測情報５６として出力され、インター予測画像が予測画像５５として出力された場合は、インター予測情報が予測情報５６として出力されることになる。
【００７６】
このように、本実施形態のイントラ／インター切替部２１６は、属性情報を反映して予測画像の択一的な選択動作を行う。
【００７７】
イントラ予測は、同一フレーム内のブロック間の相関関係を利用して予測を行うものであるため、同じような模様が一様に広がっていて、比較的動きのない絵柄を有する画像に対して効果を発揮する。一方、インター予測は、異なるフレーム間の相関関係を利用して予測を行うものであるため、特定の模様（例えば、キャラクター）が一定方向に動いているような比較的動きのある絵柄を有する画像に対して効果を発揮する。このため、圧縮ブロックに含まれる半透明領域の動きの有無に応じてイントラ予測とインター予測とを使い分けることによれば、圧縮ブロックの属性に適応した予測画像を選択することができるので、圧縮ブロックに含まれる半透明領域の圧縮処理による画質劣化を防止することが可能になる。
【００７８】
また、本実施形態の符号発生量制御部２２０の動作モードは、圧縮ブロックの種類に応じて変更される。具体的には、図７に示されるように、圧縮ブロックが第１特殊領域であった場合は、符号発生量制御部２２０の動作モードは第１実施形態と同様の固定出力モードに設定され、圧縮ブロックが第２特殊領域または非特殊領域であった場合は、符号発生量制御部２２０の動作モードは第１実施形態と同様の自動選択出力モードに設定される。
【００７９】
このように、本実施形態では、圧縮ブロックの種類に応じて符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モードがそれぞれ変更されることになり、画像を構成する画素の属性に適応した圧縮処理が実現されることになる。これによれば、動きのある半透明領域および動きのない半透明領域の圧縮処理による画質劣化を防止することが可能になる。
【００８０】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。上記各実施形態では、本発明が画像圧縮装置１Ａ，１Ｂに適用されていたが、第３実施形態では、本発明がオーサリングシステム１００に適用される。なお、オーサリングシステム１００において、上記各実施形態の画像圧縮装置１Ａ，１Ｂと同様の構造および機能を有する共通部分については、同じ符号を付して説明を省略する。図８は、オーサリングシステム１００の構成を示すブロック図である。
【００８１】
図８に示されるように、オーサリングシステム１００は、オーサリングツール３００と圧縮符号化部２０Ａとで構成され、撮像部８１で取得される映像データ、および記憶部８２に記憶されている映像データを入力とし、これらの映像データ（原映像データ）に日付等の情報（付加情報）を加える機能を有している。
【００８２】
オーサリングシステム１００では、オーサリングツール３００における画像処理部３０１によって、原映像データに日付を表す文字等の付加情報を加えた映像データが生成される。このような画像処理部３０１による付加情報等の特定部分の付加は、例えばアルファブレンディング処理等の半透明処理を用いて行われる。また、オーサリングツール３００の属性情報取得部１０２では、特定部分を有する映像を構成する画面の画素の属性情報が取得される。特定部分が付加された映像データおよび属性情報は、オーサリングツール３００から出力され、圧縮符号化部２０Ａに入力される。
【００８３】
圧縮符号化部２０Ａの属性情報解析部２０１では、入力される属性情報が解析され、解析結果が圧縮処理部２０２に出力される。そして、圧縮処理部２０２では、属性情報の解析結果を反映した上記第１実施形態または第２実施形態と同様の圧縮処理が映像データに対して施され、圧縮映像データが生成される。
【００８４】
このように、オーサリングシステム１００によって生成される映像を構成する画素の属性情報を用いて、当該映像の映像データに圧縮処理を施すことによれば、映像を構成する画素の属性に適応した圧縮処理を実現することができるので、映像に付加された特定部分の画質が、圧縮処理によって劣化するのを防止することが可能になる。
【００８５】
＜４．第４実施形態＞
次に、本発明の第４実施形態について説明する。上記第１実施形態の画像圧縮装置１Ａでは、画像生成部１０１において半透明処理の施された画像が生成されていたが、第３実施形態の画像圧縮装置１Ｃでは、画像生成部１０１においてフェード処理の施された画像が生成される。なお、画像圧縮装置１Ｃは、第１実施形態に係る画像圧縮装置１Ａとほぼ同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。
【００８６】
上述のように、本実施形態の画像圧縮装置１Ｃでは、画像生成部１０１（図１参照）においてフェード処理の施された画像が生成される。
【００８７】
ここで、フェード処理とは、時系列的に生成される画像において、画像の明るさを時間的に変化させる処理であり、画像を構成する画素の輝度を時間的に変化させることによって実現される。画像圧縮装置１Ｃの画像生成部１０１では、当該フェード処理を用いることによって、暗い状態から明るい状態に徐々に変化させるフェード・インされた映像、明るい状態から暗い状態に徐々に変化させるフェード・アウトされた映像、およびフェード・インとフェード・アウトとを組み合わせることによってクロスフェードされた映像を生成することができる。
【００８８】
このようなフェード処理は、画像全体に渡って、或いは画像内の或る部分に対して適用可能な処理であり、画像圧縮装置１Ｃの属性情報取得部１０２では、フェード処理の施された部分（「フェード部分」とも称する）に関する情報が属性情報として取得される。より詳細には、属性情報取得部１０２は、画像生成部１０１で生成された画像を構成する各画素に対するフェード処理の有無を、各画素の属性情報として取得する。
【００８９】
当該属性情報は、上記第１実施形態と同様、各画素に割り当てられた属性フラグを用いて、圧縮符号化部２０Ａに伝送される。
【００９０】
圧縮符号化部２０Ａの属性情報解析部２０１では、入力された属性情報が解析され、圧縮ブロックがフェード部分を有しているか否かが特定される。圧縮ブロックがフェード部分を有しているか否かについての解析結果は、圧縮処理部２０２に出力される。
【００９１】
圧縮処理部２０２は、重み付け係数を用いて画像の明るさを予測する重み付け予測手段を有し、圧縮処理部２０２では、入力された解析結果に基づいて重み付け予測手段を用いた重み付け予測処理の実行制御を行う。具体的には、圧縮ブロックがフェード部分を有しているとの解析結果が入力された場合は、圧縮処理部２０２は、重み付け予測処理を実行させる。一方、圧縮ブロックがフェード部分を有していないとの解析結果が入力された場合は、圧縮処理部２０２は、重み付け予測処理を実行させない。
【００９２】
このように、画像内のフェード処理の有無を示す属性情報を用いて、当該画像の画像データに圧縮処理を施すことによれば、圧縮処理の際に用いられる重み付け予測処理の実行制御を的確に行うことが可能になるので、画像内の上記特定部分に相当するフェード部分の圧縮処理による画質劣化を防止することができる。
【００９３】
＜５．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【００９４】
例えば、上記各実施形態では、画像生成制御部１０で動画像が生成される場合について例示していたが、これに限定されず、静止画像が生成される態様であってもよい。この場合、圧縮符号化部２０Ａ，２０Ｂでは、当該静止画像に対して静止画像を構成する画素の属性情報を反映した圧縮処理が施されることになる。
【００９５】
また、上記各実施形態では、圧縮ブロックにおける半透明領域の割合に応じて、圧縮ブロックが特殊領域であるか否かを特定していたが、これに限定されず、圧縮ブロック内に半透明処理の施された画素が存在する場合は、当該圧縮ブロックを特殊領域であると特定するようにしてもよい。
【００９６】
また、上記各実施形態において、半透明画素の重要度に関する情報（重要度情報）を属性情報に含めてもよい。
【００９７】
この場合、属性情報取得部１０２によって、半透明画素が重要画素であるか否かの重要度情報が属性情報として取得される。なお、半透明画素が重要画素であるか否かは、当該半透明画素が予め重要な領域として設定された半透明領域に含まれるか否か、或いはユーザによって重要な領域として指定された半透明領域に含まれる否かに基づいて判定される。
【００９８】
そして、属性情報解析部２０１は、特殊領域であると特定された圧縮ブロックが、重要な半透明領域を有するか否かを重要度情報に基づいて特定する。
【００９９】
そしてさらに、図９に示されるように、圧縮処理部２０２は、重要な半透明領域を有する特殊領域であると特定された圧縮ブロックに対しては、上述の各特殊領域に対する各動作モード（詳細には、符号発生量制御部２２０の動作モードおよびイントラ／インター切替部２１６の動作モード）と同様の動作モードを採用して圧縮処理を施す。一方、圧縮処理部２０２は、重要な半透明領域を有さない特殊領域（「低重要特殊領域」とも称する）であると特定された圧縮ブロックに対しては、圧縮処理よる劣化が許容されるため、上述の非特殊領域に対する各動作モードと同様の動作モードを採用して圧縮処理を施す。
【０１００】
このように、半透明画素の重要度を反映した圧縮処理を行うことによれば、重要な半透明領域を含まない圧縮ブロックに対して、圧縮率の低い圧縮処理が施されることを防止することができる。換言すれば、半透明領域を含む圧縮ブロックの中で、重要な半透明領域を有する圧縮ブロックに対してのみ圧縮率の低い圧縮処理を施すことが可能になり、符号化データの増大を押さえることができる。
【０１０１】
また、上記各実施形態では、画像生成部１０１が半透明処理を用いて合成画像を生成する場合を例示したが、これに限定されず、半透明処理を施すことなく単に複数の画像を重ね合わせて合成画像を生成してもよい。このような場合においても、合成された特定部分の情報を用いて、圧縮処理を施すことによれば、特定部分の圧縮処理による画質劣化を防止することが可能になる。
【０１０２】
また、上記各実施形態の属性情報解析部２０１は、順次に入力される関連属性情報７１の解析結果を内部または外部の記憶手段に記憶させ、過去の解析結果をも用いて属性情報の解析を行ってもよい。具体的には、属性情報解析部２０１は、圧縮ブロックの種類に関する過去の解析結果を記憶手段に記憶させる。そして、属性情報解析部２０１は、現在圧縮処理の対象となっている圧縮ブロックが特殊領域であるとの解析結果が得られた場合、過去の解析結果を参照することによって、当該現在の圧縮ブロックに隣接するブロック（隣接ブロック）の中に同様の解析結果を得たブロックが存在するか否かを特定する。
【０１０３】
同様の解析結果を得た隣接ブロック（すなわち同じ特殊領域の隣接ブロック）が存在した場合、属性情報解析部２０１は、現在の圧縮ブロックは、他の圧縮ブロックに含まれる半透明領域と連続した半透明領域を有するブロックであると判断して、その付属情報を解析結果として圧縮処理部２０２に出力する。なお、付属情報には、現在の圧縮ブロックに含まれる半透明領域と連続した半透明領域を有すると予想される他の圧縮ブロックを特定するための情報が含まれている。
【０１０４】
圧縮処理部２０２は、上記付属情報が入力された場合、上記他の圧縮ブロックに対して施した圧縮処理と同じ圧縮処理を、現在の圧縮ブロックに対しても施すように動作する。すなわち、イントラ／インター切替部２１６は、上記他の圧縮ブロックの圧縮処理の際に選択された手法で予測画像を生成するように切替制御を行う。また、符号発生量制御部２２０は、上記他の圧縮ブロックの圧縮処理の際に用いられた量子化ステップと同様の量子化ステップを導出可能なように量子化パラメータを設定する。
【０１０５】
このように、変形例に係る圧縮符号化部では、圧縮処理中の現在の圧縮ブロックが所定種類のブロック（ここでは、特殊領域の圧縮ブロック）であると特定された場合に、現在の圧縮ブロックに隣接した圧縮処理済みの過去の圧縮ブロックの中に、同一種類の圧縮ブロックが存在したときは、現在の圧縮ブロックに対して同一種類の圧縮ブロックと同じ圧縮処理が施される。
【０１０６】
これによれば、現在の圧縮ブロックおよび過去の圧縮ブロックに含まれる連続した半透明領域に対して同じ圧縮処理を施すことができるので、同一の半透明領域内で画質が異なるという不具合を解消することができる。
【符号の説明】
【０１０７】
１Ａ，１Ｂ，１Ｃ 画像圧縮装置
１０ 画像生成制御部
２０Ａ，２０Ｂ 圧縮符号化部
１０１ 画像生成部
１０２ 属性情報取得部
２０１ 属性情報解析部
２０２ 圧縮処理部
２１４ イントラ予測部
２１５ インター予測部
２１６ イントラ／インター切替部
２２０ 符号発生量制御部
【特許請求の範囲】
【請求項１】
第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成手段と、
前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、
前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す圧縮符号化手段と、
を備える画像圧縮装置。
【請求項２】
前記圧縮符号化手段は、
前記画像データに基づいて予測画像を出力する予測画像出力手段と、
前記第２画像と前記予測画像との差分に、周波数領域への直交変換を施して変換係数を算出する変換手段と、
前記変換係数に対して、量子化の粗さを示す量子化情報に基づき量子化を行って量子化係数を算出する量子化部と、
前記属性情報を反映して、前記量子化情報を生成する情報生成手段と、
を有する請求項１に記載の画像圧縮装置。
【請求項３】
前記予測画像出力手段は、
前記画像データに基づいて画面内予測を行い、イントラ予測画像を生成するイントラ予測手段と、
前記画像データに基づいて画面間予測を行い、インター予測画像を生成するインター予測手段と、
前記イントラ予測画像および前記インター予測画像のうち、いずれか一方を択一的に選択して、前記予測画像として出力する出力制御手段と、
を含み、
前記出力制御手段は、前記属性情報を反映して前記択一的な選択を行う請求項２に記載の画像圧縮装置。
【請求項４】
前記圧縮処理は、前記第２画像を分割して得られるブロックごとに行われ、
前記圧縮符号化手段は、
前記ブロックに関連する前記属性情報に基づいて、前記ブロックの種類を特定する特定手段、
を有し、
前記圧縮符号化手段は、
前記特定手段によって圧縮処理中の圧縮ブロックが所定種類のブロックであると特定された場合に、前記圧縮ブロックに隣接した圧縮処理済みのブロックの中に、同一種類のブロックが存在したときは、前記圧縮ブロックに対して前記同一種類のブロックと同じ圧縮処理を施す請求項１から請求項３のいずれかに記載の画像圧縮装置。
【請求項５】
前記所定の画像処理は、半透明処理である請求項１から請求項４のいずれかに記載の画像圧縮装置。
【請求項６】
前記所定の画像処理は、フェード処理である請求項１から請求項４のいずれかに記載の画像圧縮装置。
【請求項７】
第１映像に所定の画像処理を施して、第２映像を生成する画像処理手段と、
前記第２映像を構成する画面の画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、
前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２映像の映像データに施す圧縮符号化手段と、
を備えるオーサリングシステム。
【請求項８】
ａ）第１画像に所定の画像処理を施して、第２画像の画像データを生成する工程と、
ｂ）前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する工程と、
ｃ）前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す工程と、
を備える画像圧縮方法。
【請求項１】
第１画像に所定の画像処理を施して、第２画像の画像データを生成する画像生成手段と、
前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、
前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す圧縮符号化手段と、
を備える画像圧縮装置。
【請求項２】
前記圧縮符号化手段は、
前記画像データに基づいて予測画像を出力する予測画像出力手段と、
前記第２画像と前記予測画像との差分に、周波数領域への直交変換を施して変換係数を算出する変換手段と、
前記変換係数に対して、量子化の粗さを示す量子化情報に基づき量子化を行って量子化係数を算出する量子化部と、
前記属性情報を反映して、前記量子化情報を生成する情報生成手段と、
を有する請求項１に記載の画像圧縮装置。
【請求項３】
前記予測画像出力手段は、
前記画像データに基づいて画面内予測を行い、イントラ予測画像を生成するイントラ予測手段と、
前記画像データに基づいて画面間予測を行い、インター予測画像を生成するインター予測手段と、
前記イントラ予測画像および前記インター予測画像のうち、いずれか一方を択一的に選択して、前記予測画像として出力する出力制御手段と、
を含み、
前記出力制御手段は、前記属性情報を反映して前記択一的な選択を行う請求項２に記載の画像圧縮装置。
【請求項４】
前記圧縮処理は、前記第２画像を分割して得られるブロックごとに行われ、
前記圧縮符号化手段は、
前記ブロックに関連する前記属性情報に基づいて、前記ブロックの種類を特定する特定手段、
を有し、
前記圧縮符号化手段は、
前記特定手段によって圧縮処理中の圧縮ブロックが所定種類のブロックであると特定された場合に、前記圧縮ブロックに隣接した圧縮処理済みのブロックの中に、同一種類のブロックが存在したときは、前記圧縮ブロックに対して前記同一種類のブロックと同じ圧縮処理を施す請求項１から請求項３のいずれかに記載の画像圧縮装置。
【請求項５】
前記所定の画像処理は、半透明処理である請求項１から請求項４のいずれかに記載の画像圧縮装置。
【請求項６】
前記所定の画像処理は、フェード処理である請求項１から請求項４のいずれかに記載の画像圧縮装置。
【請求項７】
第１映像に所定の画像処理を施して、第２映像を生成する画像処理手段と、
前記第２映像を構成する画面の画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する情報取得手段と、
前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２映像の映像データに施す圧縮符号化手段と、
を備えるオーサリングシステム。
【請求項８】
ａ）第１画像に所定の画像処理を施して、第２画像の画像データを生成する工程と、
ｂ）前記第２画像を構成する画素に対して前記所定の画像処理が施されたか否かの情報を、当該画素の属性情報として取得する工程と、
ｃ）前記属性情報に基づいて、当該属性情報を反映した圧縮処理を前記第２画像の画像データに施す工程と、
を備える画像圧縮方法。
【図１】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図２】
【図５】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図２】
【図５】
【公開番号】特開２０１１−１５１５５０（Ｐ２０１１−１５１５５０Ａ）
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願番号】特願２０１０−１０１９３（Ｐ２０１０−１０１９３）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２３年８月４日（２０１１．８．４）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]