画像符号化方法、画像符号化装置および画像符号化プログラム
【課題】表現可能な出力画素精度を損なうことなく少ないビット数で画像サイズに関連するデータを符号化する画像符号化方法を提供する。
【解決手段】画像符号化方法は、画像信号における輝度の画素数と色差の画素数の比を符号化し、比に応じて、少なくとも（１）画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中１つの符号化方法を選択し、選択された符号化方法に従って画像サイズに関連するデータを符号化する。
【解決手段】画像符号化方法は、画像信号における輝度の画素数と色差の画素数の比を符号化し、比に応じて、少なくとも（１）画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中１つの符号化方法を選択し、選択された符号化方法に従って画像サイズに関連するデータを符号化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法に関する。
【背景技術】
【０００２】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264 の標準化活動が行われ、2004年6月の時点で国際標準規格として承認されている。
【０００６】
画像符号化では、一般にブロック単位の符号化が行われており、ブロックの大きさは16画素単位が多い。従って、符号化可能な画像サイズは、ブロックの画素数の倍数である、16の倍数単位となる。しかしながら、例えばHDTVの画像信号の画素数は水平1920、垂直1080画素であり、1080は16の倍数ではないため不都合である。そこで、符号化をブロックの単位で行い、符号化（復号化）した画像の一部を切り出して、出力（画面に表示）する方法が用いられている。
【０００７】
図１は画像の表示領域を示す説明図である。図１において、符号化（復号化）する画像の水平画素数がMBWidth、垂直画素数がMBHeightである。また、黒丸●が復号化装置で出力される画素、白丸○が符号化されるが復号化装置で出力されない画素を示す。符号化した画素の中で出力する画素を示すために、出力すべき範囲の水平画素数Widthと垂直画素数を左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropで表現する。ここで、
Width = MBWidth - LCrop - RCrop
Height = MBHeight - TCrop -BCrop
が成立する。
【０００８】
画像信号は、通常、輝度信号と色差信号で表現するが、人間は輝度信号と比べて色差信号の解像度識別能力が低い。従って、輝度信号と比べて色差信号の画素数を少なくし、圧縮効率を向上することが行われている。一般に、輝度信号に対する色差信号の画素数の比率は、一般民生用途では小さく、プロ・業務用途では１に近くなる。
【０００９】
図２Ａ〜図２Ｃは画像のカラーフォーマットを示す説明図である。同図において白丸○は輝度信号の画素位置、黒丸●は色差信号の画素位置を示す。図２Ａは４：２：０、図２Ｂは４：２：２、図２Ｃは４：４：４と呼ばれるカラーフォーマットである。
【００１０】
なお、RGBで表現されるコンポーネント画像信号の場合は、G（グリーン）が輝度成分を多く含むことから、白丸○がGをあらわし、黒●はR（レッド）とB（ブルー）を表すものとする。
【００１１】
図３はビットストリームのデータ構造を示す図である。ビットストリームStrは個々の画素値のデータであるPixelDataと、フレームもしくは複数フレームの共通データであるCommonDataで構成される。CommonDataには、カラーフォーマットChromaFormatと、出力領域符号化情報CropDataが含まれる。カラーフォーマットChromaFormatは、例えば、４：２：０、４：２：２、４：４：４のいずれであるかを示す。出力領域符号化情報CropDataは、例えば左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropを示す。
【００１２】
図４Ａ、図４Ｂは可変長符号テーブルを示す図である。図４ＡはカラーフォーマットChromaFormatの可変長符号テーブルの例である。図４Ｂは出力領域符号化情報CropDataを示す、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropの各値（Value）を符号化する可変長符号テーブルの例である。値（Value）が大きいほど、符号長が長くなり、多くのビット数が必要になることがわかる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 “Information technology - Coding of audio-visual objects - Part 10:Advanced video coding”
【発明の概要】
【発明が解決しようとする課題】
【００１４】
さて、輝度信号に対して色差信号の画素数が少ないことから、実際に出力できる輝度信号の画素数は、色差信号の整数倍になる。例えば、図２Ａでは輝度信号の水平２画素、垂直２画素が色差信号の1画素に対応し、出力可能な輝度画素数や画素位置は水平・垂直とも2の倍数になる。そこで、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropの各値（Value）は偶数となる。一方、図２Ｃのような場合は奇数も偶数も取りうることができる。しかしながら、偶数だけしか取りえない場合にこれらの値を直接図４Ｂのような可変長符号化で符号化すると、図２Ａの場合は符号化されない奇数も含んでおり符号化効率が良いとは言えない。
【００１５】
そこで、図２ＡのようなカラーフォーマットChromaFormatのみを想定した符号化（例えば、非特許文献１）では、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropをそれぞれ1/2倍し、その値を図４Ｂで符号化する。こうすることにより、例えばRCrop= 4は本来“00101”の5ビット必要だったものが、RCrop/2 = 2から“011”の3ビットで符号化でき、2ビット節約できることがわかる。しかしながら、この方法では２Ｃのような場合でも偶数の位置しか表示できなくなってしまう。
【課題を解決するための手段】
【００１６】
本発明の目的は、表現可能な出力画素精度を損なうことなく少ないビット数で画像サイズに関連するデータを符号化する画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラムを提供することにある。
【００１７】
上記目的を達成するため本発明の画像符号化方法は、画像信号を符号化し、前記画像信号における輝度の画素数と色差の画素数の比を符号化し、前記比に応じて、少なくとも２つの符号化方法から１つの符号化方法を選択し、選択された符号化方法に従って画像サイズに関連するデータを符号化する。
【００１８】
この構成によれば、画像サイズに関連するデータは、輝度の画素数と色差の画素数との比に応じて選択される符号化方法によって符号化されるので、表現可能な出力画素精度を損なうことなく少ないビット数で符号化することができる。
【００１９】
ここで、前記画像サイズに関連するデータは、前記画像信号に対応する画像のサイズを示してもよい。
【００２０】
この構成によれば、前記画像信号に対応する画像のサイズの表現可能な出力画素精度を損なうことなくより少ないビット数で符号化することができる。
【００２１】
ここで、前記符号化方法の選択において、前記画像信号における輝度の水平画素数と色差の水平画素数との比がＭ：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法を選択してもよい。
【００２２】
この構成によれば、Ｍ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｍ個の可変長符号に対応する可変長符号テーブルを用いることができるので、水平画素数の１／Ｍの値を、よりビット数の少ない可変長符号に符号化することができる。例えば、水平画素数を可変長符号化する場合に、Ｍ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｍ個の可変長符号テーブル部分を用いて符号するので、符号化された水平画素数の可変長符号をより短くすることができる。
【００２３】
ここで、前記符号化方法の選択において、前記画像信号における輝度の垂直画素数と色差の垂直画素数との比がＮ：１の場合に、垂直画素数の１／Ｎの値を符号化する符号化方法を選択してもよい。
【００２４】
この構成によれば、Ｎ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｎ個の可変長符号に対応する可変長符号テーブルを用いることができるので、垂直画素数の１／Ｎの値を、よりビット数の少ない可変長符号に符号化することができる。例えば、垂直画素数を可変長符号化する場合に、Ｎ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｎ個の可変長符号テーブル部分を用いて符号することができる。
【００２５】
ここで、前記画像サイズに関連するデータは、前記画像信号の符号化において符号化された全画素領域の中で、復号化に際して出力すべき画素範囲である出力領域を示してもよい。
【００２６】
この構成によれば、符号化された全画素領域のサイズが復号化に際して出力すべき画素範囲である出力範囲よりも大きい場合に、出力領域を精度を損なうことなく少ないビット数で符号化することができる。
【００２７】
ここで、前記画像サイズに関連するデータは、上クロップ値、下クロップ値、左クロップ値および右クロップ値を含み、上クロップ値は前記全画素領域の上端から前記出力領域の上端までの画素数を示し、下クロップ値は前記全画素領域の下端から前記出力領域の下端までの画素数を示し、左クロップ値は前記全画素領域の左端から前記出力領域の左端までの画素数を示し、右クロップ値は前記全画素領域の右端から前記出力領域の右端までの画素数を示してもよい。
【００２８】
この構成によれば、出力領域そのものの水平画素数および垂直画素数よりも、小さい値をとる上下左右クロップ値を、選択された符号化方法で符号化するので、より符号化効率を向上させるとができる。
【００２９】
ここで、前記符号化方法の選択において、前記画像信号における輝度の水平画素数と色差の水平画素数との比がＭ：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化する符号化方法を選択してもよい。
【００３０】
この構成によれば、Ｍ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｍ個の可変長符号に対応する可変長符号テーブルを用いることができるので、左右クロップ値の１／Ｍの各値を、よりビット数の少ない可変長符号に符号化することができる。例えば、左右クロップ値の１／Ｍの各値を可変長符号化する場合に、Ｍ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｍ個の可変長符号テーブル部分を用いて符号するので、符号化された水平画素数の可変長符号をより短くすることができる。
【００３１】
ここで、前記符号化方法の選択において、前記画像信号における輝度の垂直画素数と色差の垂直画素数との比がＮ：１の場合に、上クロップ値および下クロップ値の１／Ｎの値を符号化する符号化方法を選択してもよい。
【００３２】
この構成によれば、Ｎ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｎ個の可変長符号に対応する可変長符号テーブルを用いることができるので、上下クロップ値の１／Ｎの各値を、よりビット数の少ない可変長符号に符号化することができる。例えば、上下クロップ値の１／Ｎの各値を可変長符号化する場合に、Ｎ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｎ個の可変長符号テーブル部分を用いて符号するので、符号化された垂直画素数の可変長符号をより短くすることができる。
【００３３】
また、本発明の画像復号化方法、画像符号化装置、画像復号化装置およびプログラムについても、上記と同様の構成を有する。
【発明の効果】
【００３４】
以上の様に、画像サイズに関連するデータは、輝度の画素数と色差の画素数との比に応じて選択される符号化方法によって符号化されるので、表現可能な出力画素精度を損なうことなく少ないビット数で符号化することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は画像の表示領域を示す説明図である。
【図２Ａ】図２Ａは画像のカラーフォーマットを示す説明図である。
【図２Ｂ】図２Bは画像のカラーフォーマットを示す説明図である。
【図２Ｃ】図２Ｃは画像のカラーフォーマットを示す説明図である。
【図３】図３は、ビットストリームのデータ構造を示す図である。
【図４Ａ】図４Ａは可変長符号テーブルを示す図である。
【図４Ｂ】図４Ｂは可変長符号テーブルを示す図である。
【図５】図５は、本発明の画像符号化装置の構成を示すブロック図である。
【図６】図６は、本発明の画像復号化装置の構成を示すブロック図である。
【図７Ａ】図７Ａは、本発明の画像符号化方法を示すフローチャートである。
【図７Ｂ】図７Ｂは、本発明の画像符号化方法を示す他のフローチャートである。
【図８Ａ】図８Ａは、本発明の画像復号化方法のフローチャートである。
【図８Ｂ】図８Ｂは、本発明の画像復号化方法の他のフローチャートである。
【図９Ａ】図９Ａ は、記録媒体例としてのフレキシブルディスクの物理フォーマットの例を示している。
【図９Ｂ】図９Ｂ は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。
【図９Ｃ】図９Ｃ は、フレキシブルディスクに上記プログラムの記録再生を行うための構成を示す。
【図１０】図１０は、コンテンツ供給システムの全体構成を示すブロック図である。
【図１１】図１１は、携帯電話の外観を示す図である。
【図１２】図１２は、携帯電話の構成を示すブロック図である。
【図１３】図１３は、ディジタル放送用システムの一例を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態について、図５から図１３を用いて説明する。
図５は本発明の画像符号化装置の構成を示すブロック図である。入力画像Vinは画素符号化ユニットEncUで直交変換、量子化、可変長符号化、動き補償等を用いて画素値が符号化されて、符号化画像データDataVとして出力される。画像復号化装置で出力する画素の領域を指定する出力領域範囲Areaが外部から出力領域情報変換ユニットAreaEncUに入力され、出力領域情報変換ユニットAreaEncUでは外部から入力されるカラーフォーマットChromaFormatを参照して出力領域範囲Areaから出力領域情報Cropに変換する。
【００３７】
例えば、カラーフォーマットChromaFormatが、輝度信号と色差信号の画素数の比が水平M:1、垂直N:1を示す場合には、出力領域範囲Areaを表すLCrop、RCrop、TCrop、BCropはそれぞれLCrop/M、RCrop/M、TCrop/N、BCrop/Nに変換される。これが出力領域情報Cropに相当する。出力領域情報Cropは、図４Ｂの可変長符号テーブル等を参照して出力領域情報符号化ユニットCropEncUで符号化されて出力領域符号化情報CropDataとなる。一方、カラーフォーマットChromaFormatは、図４Ａの可変長符号テーブル等を参照してカラーフォーマット符号化ユニットChromaFormatEncUで符号化されて、カラーフォーマット符号化情報ChromaFormatDataとなる。多重化ユニットMuxUは、カラーフォーマット符号化情報ChromaFormatData、出力領域符号化情報CropData、符号化画像データDataVを多重化し、ビットストリームStrとして出力する。
【００３８】
従来は、カラーフォーマットChromaFormatに関わらず、出力領域符号化情報CropDataを固定の方法で符号化していたが、カラーフォーマットChromaFormatに基き、例えば輝度信号と色差信号の水平画素数の比がM:1ならば、出力領域符号化情報CropDataの大きさを1/Mにして符号化する。こうすることで、出力領域符号化情報CropDataの大きさが小さくなり符号化に必要なビット数が節約できるが、輝度信号と色差信号の水平画素数の比がM:1の場合に輝度信号の出力可能な画素数の最低単位であるM画素単位を正しく表現できる。
【００３９】
同様に、輝度信号と色差信号の垂直画素数の比がN:1ならば、出力領域符号化情報CropDataの大きさを1/Nにして符号化する。こうすることで、出力領域符号化情報CropDataの大きさが小さくなり符号化に必要なビット数が節約できるが、輝度信号と色差信号の垂直画素数の比がN:1の場合に輝度信号の出力可能な画素数の最低単位であるN画素単位を正しく表現できる。
【００４０】
以上の様に、表現可能な出力画素精度を損なうことなく出力領域符号化情報CropDataを少ないビット数で符号化が可能になり、その実用的価値が高い。
【００４１】
なお、出力領域情報CropはLCrop、RCrop、TCrop、BCropとしたが、これらの一部のデータの代わりとしてWidthとHeightを使用しても良い。また、出力範囲のLCrop、TCropが0の場合には、RCropとBCropのみを出力情報CropDataとして符号化しても良い。
【００４２】
更に、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に符号化するようにしてもよい。
【００４３】
図６は本発明の画像復号化装置の構成を示すブロック図である。ビットストリームStrは分離ユニットDeMuxUで、カラーフォーマット符号化情報ChromaFormatData、出力領域符号化情報CropData、符号化画像データDataVに分離される。符号化画像データDataVは画素復号化ユニットDecUで逆直交変換、逆量子化、可変長復号化、動き補償等を用いて復号化した画素値を得、復号画像データDecVとして出力される。カラーフォーマット符号化情報ChromaFormatDataは、図４Ａの可変長符号テーブル等を参照してカラーフォーマット復号化ユニットChromaFormatDecUで復号化され、カラーフォーマットChromaFormatとなる。同様に、出力領域符号化情報CropDataは、図４Ｂの可変長符号テーブル等を参照して出力領域情報復号化ユニットCropDecUで復号化され、出力領域情報Cropとなる。出力領域決定ユニットAreaDecUは、カラーフォーマットChromaFormatを参照して出力領域情報Cropから出力領域範囲Areaに変換する。
【００４４】
例えば、カラーフォーマットChromaFormatが、輝度信号と色差信号の画素数の比が水平M:1、垂直N:1を示す場合には、出力領域情報CropはLCrop/M、RCrop/M、TCrop/N、BCrop/Nを表しているので、それぞれM倍もしくはN倍することによって、出力領域範囲Areaを表すLCrop、RCrop、TCrop、BCropを得る。出力領域抽出ユニットCropUは、出力領域範囲Areaを参照し、出力領域範囲Areaで示された領域を復号画像データDecVから抽出し、出力画像Voutとして出力する。
【００４５】
なお、出力領域情報CropはLCrop、RCrop、TCrop、BCropとしたが、これらの一部のデータの代わりとしてWidthとHeightを使用しても良い。また、出力範囲のLCrop、TCropが0の場合には、TCropとBCropのみを出力情報CropDataから復号化しても良い。
【００４６】
更に、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に復号化するようにしてもよい。
【００４７】
図７Ａは本発明の画像符号化方法を示すフローチャートであり、図５の本発明の画像符号装置のブロック図で示した画像符号化方法の手順を示すものである。
【００４８】
まず、出力領域範囲AreaとカラーフォーマットChromaFormatを外部から取得し（Step10）、カラーフォーマットChromaFormatが４：２：０か４：２：２か４：４：４のいずれであるかに応じて出力領域情報Cropの導出処理を切替える（Step11）。カラーフォーマットChromaFormatが４：２：０の場合には、出力領域範囲Areaから導出される出力領域情報に含まれる、幅（水平の値）と高さ（垂直の値）をそれぞれ1/2倍し、出力領域情報Cropとする（Step12）。カラーフォーマットChromaFormatが４：２：２の場合には、出力領域範囲Areaから導出される出力領域情報に含まれる、幅（水平の値）のみを1/2倍し、出力領域情報Cropとする（Step13）。入力画像Vinを符号化した後（Step14）、カラーフォーマットChromaFormatと出力領域情報Cropを符号化する（Step15）。
【００４９】
なお、Step14はStep10やStep11の前の位置でもよく、Step14をStep11の前に移動した場合の例を図７Ｂに示す。
【００５０】
また、カラーフォーマットChromaFormatと出力領域情報Cropの符号化（Step15）は入力画像Vinの符号化（Step14）の前に実施してもよい。その場合は、図7Aおよび図7BでStep15の直後の位置にStep14を移動したフローになる。
【００５１】
更に、本実施の形態で、カラーフォーマットChromaFormatは４：２：０、４：２：２、４：４：４に限定して説明したが、輝度信号の色差信号の画素数の比が水平方向M:1および垂直方向N:1の場合は、幅を1/2倍の代わりに1/M倍し、高さを1/2倍の代わりに1/N倍することで実現できる。
【００５２】
また、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に符号化するようにしてもよい。
【００５３】
図８Ａは本発明の画像復号化方法のフローチャートであり、図６の本発明の画像復号化方法のブロック図で示した画像復号化方法の手順を示すものである。まず、出力領域情報CropとカラーフォーマットChromaFormatを復号化し（Step20）、カラーフォーマットChromaFormatが４：２：０か４：２：２か４：４：４のいずれであるかに応じて出力領域情報Cropの復号処理を切替える（Step21）。カラーフォーマットChromaFormatが４：２：０の場合には、出力領域情報Cropが示す出力領域情報に含まれる、幅（水平の値）と高さ（垂直の値）をそれぞれ2倍し、出力領域範囲Areaとする（Step22）。カラーフォーマットChromaFormatが４：２：２の場合には、出力領域情報Cropが示す出力領域情報に含まれる、幅（水平の値）のみを2倍し、出力領域範囲Areaとする（Step23）。ビットストリームStrから画像信号を復号化した後（Step24）、出力領域範囲Areaを参照して復号化した画像の一部を抽出し、出力画像Voutとして出力する（Step25）。
【００５４】
なお、Step24はStep20やStep21の前の位置でもよく、Step24をStep21の前に移動した場合の例を図８Ｂに示す。
【００５５】
更に、本実施の形態で、カラーフォーマットChromaFormatは４：２：０、４：２：２、４：４：４に限定して説明したが、輝度信号の色差信号の画素数の比が水平方向M:1および垂直方向N:1の場合は、幅を2倍の代わりにM倍し、高さを2倍の代わりにN倍することで実現できる。
【００５６】
また、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に復号化するようにしてもよい。
【００５７】
さらに、上記画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００５８】
図９Ａ〜図９Ｃは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００５９】
図９Ｂ は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図９Ａ は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００６０】
また、図９Ｃ は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６２】
（実施の形態6）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
【００６３】
図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６４】
しかし、コンテンツ供給システムex１００は図１０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００６５】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６６】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６７】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。その一例として携帯電話について説明する。
【００６８】
図１１は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００６９】
さらに、携帯電話ex１１５について図１２を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００７０】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
【００７１】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００７２】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００７３】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７４】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００７６】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７７】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００７８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。なお、カーナビゲーションex４１３の構成は例えば図１２に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【００８０】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００８１】
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００８２】
表現可能な出力画素精度を損なうことなく出力領域符号化情報CropDataを少ないビット数で符号化が可能になり、その実用的価値が高い。
【００８３】
さらに、図５、図６に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。例えば、メモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８４】
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００８６】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体のように別構成としても良い。
【００８７】
また、図５、図６に示したブロック図の各機能ブロックおよび図７Ａ、７Ｂ、８Ａ、８Ｂに示したフローチャートにおいて、中心的な部分はマイクロプロセッサおよびプログラムによって実現される。それゆえ、本発明をプログラムとして構成してもよい。
【産業上の利用可能性】
【００８８】
本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【符号の説明】
【００８９】
Vin 入力画像
Area 出力領域範囲
AreaEncU 出力領域情報変換ユニット
AreaDecU 出力領域決定ユニット
ChromaFormat カラーフォーマット
ChromaFormatData カラーフォーマット符号化情報
ChromaFormatDecU カラーフォーマット復号化ユニット
Crop 出力領域情報
CropData 出力領域符号化情報
CropDecU 出力領域情報復号化ユニット
DataV 符号化画像データ
DecU 画素復号化ユニット
DecV 復号画像データ
DeMuxU 分離ユニット
EncU 画素符号化ユニット
Str ビットストリーム
【技術分野】
【０００１】
本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法に関する。
【背景技術】
【０００２】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264 の標準化活動が行われ、2004年6月の時点で国際標準規格として承認されている。
【０００６】
画像符号化では、一般にブロック単位の符号化が行われており、ブロックの大きさは16画素単位が多い。従って、符号化可能な画像サイズは、ブロックの画素数の倍数である、16の倍数単位となる。しかしながら、例えばHDTVの画像信号の画素数は水平1920、垂直1080画素であり、1080は16の倍数ではないため不都合である。そこで、符号化をブロックの単位で行い、符号化（復号化）した画像の一部を切り出して、出力（画面に表示）する方法が用いられている。
【０００７】
図１は画像の表示領域を示す説明図である。図１において、符号化（復号化）する画像の水平画素数がMBWidth、垂直画素数がMBHeightである。また、黒丸●が復号化装置で出力される画素、白丸○が符号化されるが復号化装置で出力されない画素を示す。符号化した画素の中で出力する画素を示すために、出力すべき範囲の水平画素数Widthと垂直画素数を左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropで表現する。ここで、
Width = MBWidth - LCrop - RCrop
Height = MBHeight - TCrop -BCrop
が成立する。
【０００８】
画像信号は、通常、輝度信号と色差信号で表現するが、人間は輝度信号と比べて色差信号の解像度識別能力が低い。従って、輝度信号と比べて色差信号の画素数を少なくし、圧縮効率を向上することが行われている。一般に、輝度信号に対する色差信号の画素数の比率は、一般民生用途では小さく、プロ・業務用途では１に近くなる。
【０００９】
図２Ａ〜図２Ｃは画像のカラーフォーマットを示す説明図である。同図において白丸○は輝度信号の画素位置、黒丸●は色差信号の画素位置を示す。図２Ａは４：２：０、図２Ｂは４：２：２、図２Ｃは４：４：４と呼ばれるカラーフォーマットである。
【００１０】
なお、RGBで表現されるコンポーネント画像信号の場合は、G（グリーン）が輝度成分を多く含むことから、白丸○がGをあらわし、黒●はR（レッド）とB（ブルー）を表すものとする。
【００１１】
図３はビットストリームのデータ構造を示す図である。ビットストリームStrは個々の画素値のデータであるPixelDataと、フレームもしくは複数フレームの共通データであるCommonDataで構成される。CommonDataには、カラーフォーマットChromaFormatと、出力領域符号化情報CropDataが含まれる。カラーフォーマットChromaFormatは、例えば、４：２：０、４：２：２、４：４：４のいずれであるかを示す。出力領域符号化情報CropDataは、例えば左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropを示す。
【００１２】
図４Ａ、図４Ｂは可変長符号テーブルを示す図である。図４ＡはカラーフォーマットChromaFormatの可変長符号テーブルの例である。図４Ｂは出力領域符号化情報CropDataを示す、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropの各値（Value）を符号化する可変長符号テーブルの例である。値（Value）が大きいほど、符号長が長くなり、多くのビット数が必要になることがわかる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 “Information technology - Coding of audio-visual objects - Part 10:Advanced video coding”
【発明の概要】
【発明が解決しようとする課題】
【００１４】
さて、輝度信号に対して色差信号の画素数が少ないことから、実際に出力できる輝度信号の画素数は、色差信号の整数倍になる。例えば、図２Ａでは輝度信号の水平２画素、垂直２画素が色差信号の1画素に対応し、出力可能な輝度画素数や画素位置は水平・垂直とも2の倍数になる。そこで、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropの各値（Value）は偶数となる。一方、図２Ｃのような場合は奇数も偶数も取りうることができる。しかしながら、偶数だけしか取りえない場合にこれらの値を直接図４Ｂのような可変長符号化で符号化すると、図２Ａの場合は符号化されない奇数も含んでおり符号化効率が良いとは言えない。
【００１５】
そこで、図２ＡのようなカラーフォーマットChromaFormatのみを想定した符号化（例えば、非特許文献１）では、左画素数LCrop、右画素数RCrop、上画素数TCrop、下画素数BCropをそれぞれ1/2倍し、その値を図４Ｂで符号化する。こうすることにより、例えばRCrop= 4は本来“00101”の5ビット必要だったものが、RCrop/2 = 2から“011”の3ビットで符号化でき、2ビット節約できることがわかる。しかしながら、この方法では２Ｃのような場合でも偶数の位置しか表示できなくなってしまう。
【課題を解決するための手段】
【００１６】
本発明の目的は、表現可能な出力画素精度を損なうことなく少ないビット数で画像サイズに関連するデータを符号化する画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラムを提供することにある。
【００１７】
上記目的を達成するため本発明の画像符号化方法は、画像信号を符号化し、前記画像信号における輝度の画素数と色差の画素数の比を符号化し、前記比に応じて、少なくとも２つの符号化方法から１つの符号化方法を選択し、選択された符号化方法に従って画像サイズに関連するデータを符号化する。
【００１８】
この構成によれば、画像サイズに関連するデータは、輝度の画素数と色差の画素数との比に応じて選択される符号化方法によって符号化されるので、表現可能な出力画素精度を損なうことなく少ないビット数で符号化することができる。
【００１９】
ここで、前記画像サイズに関連するデータは、前記画像信号に対応する画像のサイズを示してもよい。
【００２０】
この構成によれば、前記画像信号に対応する画像のサイズの表現可能な出力画素精度を損なうことなくより少ないビット数で符号化することができる。
【００２１】
ここで、前記符号化方法の選択において、前記画像信号における輝度の水平画素数と色差の水平画素数との比がＭ：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法を選択してもよい。
【００２２】
この構成によれば、Ｍ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｍ個の可変長符号に対応する可変長符号テーブルを用いることができるので、水平画素数の１／Ｍの値を、よりビット数の少ない可変長符号に符号化することができる。例えば、水平画素数を可変長符号化する場合に、Ｍ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｍ個の可変長符号テーブル部分を用いて符号するので、符号化された水平画素数の可変長符号をより短くすることができる。
【００２３】
ここで、前記符号化方法の選択において、前記画像信号における輝度の垂直画素数と色差の垂直画素数との比がＮ：１の場合に、垂直画素数の１／Ｎの値を符号化する符号化方法を選択してもよい。
【００２４】
この構成によれば、Ｎ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｎ個の可変長符号に対応する可変長符号テーブルを用いることができるので、垂直画素数の１／Ｎの値を、よりビット数の少ない可変長符号に符号化することができる。例えば、垂直画素数を可変長符号化する場合に、Ｎ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｎ個の可変長符号テーブル部分を用いて符号することができる。
【００２５】
ここで、前記画像サイズに関連するデータは、前記画像信号の符号化において符号化された全画素領域の中で、復号化に際して出力すべき画素範囲である出力領域を示してもよい。
【００２６】
この構成によれば、符号化された全画素領域のサイズが復号化に際して出力すべき画素範囲である出力範囲よりも大きい場合に、出力領域を精度を損なうことなく少ないビット数で符号化することができる。
【００２７】
ここで、前記画像サイズに関連するデータは、上クロップ値、下クロップ値、左クロップ値および右クロップ値を含み、上クロップ値は前記全画素領域の上端から前記出力領域の上端までの画素数を示し、下クロップ値は前記全画素領域の下端から前記出力領域の下端までの画素数を示し、左クロップ値は前記全画素領域の左端から前記出力領域の左端までの画素数を示し、右クロップ値は前記全画素領域の右端から前記出力領域の右端までの画素数を示してもよい。
【００２８】
この構成によれば、出力領域そのものの水平画素数および垂直画素数よりも、小さい値をとる上下左右クロップ値を、選択された符号化方法で符号化するので、より符号化効率を向上させるとができる。
【００２９】
ここで、前記符号化方法の選択において、前記画像信号における輝度の水平画素数と色差の水平画素数との比がＭ：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化する符号化方法を選択してもよい。
【００３０】
この構成によれば、Ｍ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｍ個の可変長符号に対応する可変長符号テーブルを用いることができるので、左右クロップ値の１／Ｍの各値を、よりビット数の少ない可変長符号に符号化することができる。例えば、左右クロップ値の１／Ｍの各値を可変長符号化する場合に、Ｍ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｍ個の可変長符号テーブル部分を用いて符号するので、符号化された水平画素数の可変長符号をより短くすることができる。
【００３１】
ここで、前記符号化方法の選択において、前記画像信号における輝度の垂直画素数と色差の垂直画素数との比がＮ：１の場合に、上クロップ値および下クロップ値の１／Ｎの値を符号化する符号化方法を選択してもよい。
【００３２】
この構成によれば、Ｎ個の可変長符号に対応する可変長符号テーブルの代わりに１／Ｎ個の可変長符号に対応する可変長符号テーブルを用いることができるので、上下クロップ値の１／Ｎの各値を、よりビット数の少ない可変長符号に符号化することができる。例えば、上下クロップ値の１／Ｎの各値を可変長符号化する場合に、Ｎ個の可変長符号を示す可変長符号テーブルのうち、符号長の短い先頭の１／Ｎ個の可変長符号テーブル部分を用いて符号するので、符号化された垂直画素数の可変長符号をより短くすることができる。
【００３３】
また、本発明の画像復号化方法、画像符号化装置、画像復号化装置およびプログラムについても、上記と同様の構成を有する。
【発明の効果】
【００３４】
以上の様に、画像サイズに関連するデータは、輝度の画素数と色差の画素数との比に応じて選択される符号化方法によって符号化されるので、表現可能な出力画素精度を損なうことなく少ないビット数で符号化することができる。
【図面の簡単な説明】
【００３５】
【図１】図１は画像の表示領域を示す説明図である。
【図２Ａ】図２Ａは画像のカラーフォーマットを示す説明図である。
【図２Ｂ】図２Bは画像のカラーフォーマットを示す説明図である。
【図２Ｃ】図２Ｃは画像のカラーフォーマットを示す説明図である。
【図３】図３は、ビットストリームのデータ構造を示す図である。
【図４Ａ】図４Ａは可変長符号テーブルを示す図である。
【図４Ｂ】図４Ｂは可変長符号テーブルを示す図である。
【図５】図５は、本発明の画像符号化装置の構成を示すブロック図である。
【図６】図６は、本発明の画像復号化装置の構成を示すブロック図である。
【図７Ａ】図７Ａは、本発明の画像符号化方法を示すフローチャートである。
【図７Ｂ】図７Ｂは、本発明の画像符号化方法を示す他のフローチャートである。
【図８Ａ】図８Ａは、本発明の画像復号化方法のフローチャートである。
【図８Ｂ】図８Ｂは、本発明の画像復号化方法の他のフローチャートである。
【図９Ａ】図９Ａ は、記録媒体例としてのフレキシブルディスクの物理フォーマットの例を示している。
【図９Ｂ】図９Ｂ は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す。
【図９Ｃ】図９Ｃ は、フレキシブルディスクに上記プログラムの記録再生を行うための構成を示す。
【図１０】図１０は、コンテンツ供給システムの全体構成を示すブロック図である。
【図１１】図１１は、携帯電話の外観を示す図である。
【図１２】図１２は、携帯電話の構成を示すブロック図である。
【図１３】図１３は、ディジタル放送用システムの一例を示す図である。
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態について、図５から図１３を用いて説明する。
図５は本発明の画像符号化装置の構成を示すブロック図である。入力画像Vinは画素符号化ユニットEncUで直交変換、量子化、可変長符号化、動き補償等を用いて画素値が符号化されて、符号化画像データDataVとして出力される。画像復号化装置で出力する画素の領域を指定する出力領域範囲Areaが外部から出力領域情報変換ユニットAreaEncUに入力され、出力領域情報変換ユニットAreaEncUでは外部から入力されるカラーフォーマットChromaFormatを参照して出力領域範囲Areaから出力領域情報Cropに変換する。
【００３７】
例えば、カラーフォーマットChromaFormatが、輝度信号と色差信号の画素数の比が水平M:1、垂直N:1を示す場合には、出力領域範囲Areaを表すLCrop、RCrop、TCrop、BCropはそれぞれLCrop/M、RCrop/M、TCrop/N、BCrop/Nに変換される。これが出力領域情報Cropに相当する。出力領域情報Cropは、図４Ｂの可変長符号テーブル等を参照して出力領域情報符号化ユニットCropEncUで符号化されて出力領域符号化情報CropDataとなる。一方、カラーフォーマットChromaFormatは、図４Ａの可変長符号テーブル等を参照してカラーフォーマット符号化ユニットChromaFormatEncUで符号化されて、カラーフォーマット符号化情報ChromaFormatDataとなる。多重化ユニットMuxUは、カラーフォーマット符号化情報ChromaFormatData、出力領域符号化情報CropData、符号化画像データDataVを多重化し、ビットストリームStrとして出力する。
【００３８】
従来は、カラーフォーマットChromaFormatに関わらず、出力領域符号化情報CropDataを固定の方法で符号化していたが、カラーフォーマットChromaFormatに基き、例えば輝度信号と色差信号の水平画素数の比がM:1ならば、出力領域符号化情報CropDataの大きさを1/Mにして符号化する。こうすることで、出力領域符号化情報CropDataの大きさが小さくなり符号化に必要なビット数が節約できるが、輝度信号と色差信号の水平画素数の比がM:1の場合に輝度信号の出力可能な画素数の最低単位であるM画素単位を正しく表現できる。
【００３９】
同様に、輝度信号と色差信号の垂直画素数の比がN:1ならば、出力領域符号化情報CropDataの大きさを1/Nにして符号化する。こうすることで、出力領域符号化情報CropDataの大きさが小さくなり符号化に必要なビット数が節約できるが、輝度信号と色差信号の垂直画素数の比がN:1の場合に輝度信号の出力可能な画素数の最低単位であるN画素単位を正しく表現できる。
【００４０】
以上の様に、表現可能な出力画素精度を損なうことなく出力領域符号化情報CropDataを少ないビット数で符号化が可能になり、その実用的価値が高い。
【００４１】
なお、出力領域情報CropはLCrop、RCrop、TCrop、BCropとしたが、これらの一部のデータの代わりとしてWidthとHeightを使用しても良い。また、出力範囲のLCrop、TCropが0の場合には、RCropとBCropのみを出力情報CropDataとして符号化しても良い。
【００４２】
更に、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に符号化するようにしてもよい。
【００４３】
図６は本発明の画像復号化装置の構成を示すブロック図である。ビットストリームStrは分離ユニットDeMuxUで、カラーフォーマット符号化情報ChromaFormatData、出力領域符号化情報CropData、符号化画像データDataVに分離される。符号化画像データDataVは画素復号化ユニットDecUで逆直交変換、逆量子化、可変長復号化、動き補償等を用いて復号化した画素値を得、復号画像データDecVとして出力される。カラーフォーマット符号化情報ChromaFormatDataは、図４Ａの可変長符号テーブル等を参照してカラーフォーマット復号化ユニットChromaFormatDecUで復号化され、カラーフォーマットChromaFormatとなる。同様に、出力領域符号化情報CropDataは、図４Ｂの可変長符号テーブル等を参照して出力領域情報復号化ユニットCropDecUで復号化され、出力領域情報Cropとなる。出力領域決定ユニットAreaDecUは、カラーフォーマットChromaFormatを参照して出力領域情報Cropから出力領域範囲Areaに変換する。
【００４４】
例えば、カラーフォーマットChromaFormatが、輝度信号と色差信号の画素数の比が水平M:1、垂直N:1を示す場合には、出力領域情報CropはLCrop/M、RCrop/M、TCrop/N、BCrop/Nを表しているので、それぞれM倍もしくはN倍することによって、出力領域範囲Areaを表すLCrop、RCrop、TCrop、BCropを得る。出力領域抽出ユニットCropUは、出力領域範囲Areaを参照し、出力領域範囲Areaで示された領域を復号画像データDecVから抽出し、出力画像Voutとして出力する。
【００４５】
なお、出力領域情報CropはLCrop、RCrop、TCrop、BCropとしたが、これらの一部のデータの代わりとしてWidthとHeightを使用しても良い。また、出力範囲のLCrop、TCropが0の場合には、TCropとBCropのみを出力情報CropDataから復号化しても良い。
【００４６】
更に、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に復号化するようにしてもよい。
【００４７】
図７Ａは本発明の画像符号化方法を示すフローチャートであり、図５の本発明の画像符号装置のブロック図で示した画像符号化方法の手順を示すものである。
【００４８】
まず、出力領域範囲AreaとカラーフォーマットChromaFormatを外部から取得し（Step10）、カラーフォーマットChromaFormatが４：２：０か４：２：２か４：４：４のいずれであるかに応じて出力領域情報Cropの導出処理を切替える（Step11）。カラーフォーマットChromaFormatが４：２：０の場合には、出力領域範囲Areaから導出される出力領域情報に含まれる、幅（水平の値）と高さ（垂直の値）をそれぞれ1/2倍し、出力領域情報Cropとする（Step12）。カラーフォーマットChromaFormatが４：２：２の場合には、出力領域範囲Areaから導出される出力領域情報に含まれる、幅（水平の値）のみを1/2倍し、出力領域情報Cropとする（Step13）。入力画像Vinを符号化した後（Step14）、カラーフォーマットChromaFormatと出力領域情報Cropを符号化する（Step15）。
【００４９】
なお、Step14はStep10やStep11の前の位置でもよく、Step14をStep11の前に移動した場合の例を図７Ｂに示す。
【００５０】
また、カラーフォーマットChromaFormatと出力領域情報Cropの符号化（Step15）は入力画像Vinの符号化（Step14）の前に実施してもよい。その場合は、図7Aおよび図7BでStep15の直後の位置にStep14を移動したフローになる。
【００５１】
更に、本実施の形態で、カラーフォーマットChromaFormatは４：２：０、４：２：２、４：４：４に限定して説明したが、輝度信号の色差信号の画素数の比が水平方向M:1および垂直方向N:1の場合は、幅を1/2倍の代わりに1/M倍し、高さを1/2倍の代わりに1/N倍することで実現できる。
【００５２】
また、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に符号化するようにしてもよい。
【００５３】
図８Ａは本発明の画像復号化方法のフローチャートであり、図６の本発明の画像復号化方法のブロック図で示した画像復号化方法の手順を示すものである。まず、出力領域情報CropとカラーフォーマットChromaFormatを復号化し（Step20）、カラーフォーマットChromaFormatが４：２：０か４：２：２か４：４：４のいずれであるかに応じて出力領域情報Cropの復号処理を切替える（Step21）。カラーフォーマットChromaFormatが４：２：０の場合には、出力領域情報Cropが示す出力領域情報に含まれる、幅（水平の値）と高さ（垂直の値）をそれぞれ2倍し、出力領域範囲Areaとする（Step22）。カラーフォーマットChromaFormatが４：２：２の場合には、出力領域情報Cropが示す出力領域情報に含まれる、幅（水平の値）のみを2倍し、出力領域範囲Areaとする（Step23）。ビットストリームStrから画像信号を復号化した後（Step24）、出力領域範囲Areaを参照して復号化した画像の一部を抽出し、出力画像Voutとして出力する（Step25）。
【００５４】
なお、Step24はStep20やStep21の前の位置でもよく、Step24をStep21の前に移動した場合の例を図８Ｂに示す。
【００５５】
更に、本実施の形態で、カラーフォーマットChromaFormatは４：２：０、４：２：２、４：４：４に限定して説明したが、輝度信号の色差信号の画素数の比が水平方向M:1および垂直方向N:1の場合は、幅を2倍の代わりにM倍し、高さを2倍の代わりにN倍することで実現できる。
【００５６】
また、出力領域情報Cropと共に、または代わりに、画像サイズに関連するデータとして、符号化される全画素領域の画像サイズ、つまり図１に示した水平画素数MBWidthと垂直画素数MBHeightとを同様に復号化するようにしてもよい。
【００５７】
さらに、上記画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００５８】
図９Ａ〜図９Ｃは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００５９】
図９Ｂ は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図９Ａ は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００６０】
また、図９Ｃ は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００６１】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００６２】
（実施の形態6）
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
【００６３】
図１０は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００６４】
しかし、コンテンツ供給システムex１００は図１０のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００６５】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００６６】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００６７】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。その一例として携帯電話について説明する。
【００６８】
図１１は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００６９】
さらに、携帯電話ex１１５について図１２を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００７０】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
【００７１】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００７２】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００７３】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００７４】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【００７５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【００７６】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【００７７】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【００７８】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１３に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【００７９】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。なお、カーナビゲーションex４１３の構成は例えば図１２に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【００８０】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【００８１】
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【００８２】
表現可能な出力画素精度を損なうことなく出力領域符号化情報CropDataを少ないビット数で符号化が可能になり、その実用的価値が高い。
【００８３】
さらに、図５、図６に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。例えば、メモリ以外の機能ブロックが１チップ化されていても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８４】
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００８６】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体のように別構成としても良い。
【００８７】
また、図５、図６に示したブロック図の各機能ブロックおよび図７Ａ、７Ｂ、８Ａ、８Ｂに示したフローチャートにおいて、中心的な部分はマイクロプロセッサおよびプログラムによって実現される。それゆえ、本発明をプログラムとして構成してもよい。
【産業上の利用可能性】
【００８８】
本発明は、画像を符号化又は復号化するする符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【符号の説明】
【００８９】
Vin 入力画像
Area 出力領域範囲
AreaEncU 出力領域情報変換ユニット
AreaDecU 出力領域決定ユニット
ChromaFormat カラーフォーマット
ChromaFormatData カラーフォーマット符号化情報
ChromaFormatDecU カラーフォーマット復号化ユニット
Crop 出力領域情報
CropData 出力領域符号化情報
CropDecU 出力領域情報復号化ユニット
DataV 符号化画像データ
DecU 画素復号化ユニット
DecV 復号画像データ
DeMuxU 分離ユニット
EncU 画素符号化ユニット
Str ビットストリーム
【特許請求の範囲】
【請求項１】
画像符号化方法であって、
画像信号を符号化し、
前記画像信号における輝度の画素数と色差の画素数との比を符号化し、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択し、
選択された符号化方法に従って画像サイズに関連するデータを符号化する
ことを特徴とする画像符号化方法。
【請求項２】
前記画像サイズに関連するデータは、前記画像信号に対応する画像のサイズを示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記画像サイズに関連するデータは、
前記画像信号の符号化において符号化された全画素領域の中で、復号化に際して出力すべき画素範囲である出力領域を示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項４】
前記画像サイズに関連するデータは、下クロップ値および右クロップ値を含み、
下クロップ値は前記全画素領域の下端から前記出力領域の下端までの画素数を示し、
右クロップ値は前記全画素領域の右端から前記出力領域の右端までの画素数を示す
ことを特徴とする請求項３記載の画像符号化方法。
【請求項５】
前記画像サイズに関連するデータは、更に上クロップ値および左クロップ値を含み、
上クロップ値は前記全画素領域の上端から前記出力領域の上端までの画素数を示し、
左クロップ値は前記全画素領域の左端から前記出力領域の左端までの画素数を示し、
ことを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記符号化方法の選択において、前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化し、上クロップ値および下クロップ値の１／Ｎの各値を符号化する符号化方法を選択する
ことを特徴とする請求項５記載の画像符号化方法。
【請求項７】
前記符号化方法の選択において、前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化する符号化方法を選択する
ことを特徴とする請求項５記載の画像符号化方法。
【請求項８】
画像符号化装置であって、
画像信号を符号化する画像符号化手段と、
前記画像信号における輝度の画素数と色差の画素数との比を符号化する比符号化手段と、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択する選択手段と、
選択された符号化方法に従って画像サイズに関連するデータを符号化するデータ符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項９】
画像信号を符号化し、
前記画像信号における輝度の画素数と色差の画素数との比を符号化し、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択し、
選択された符号化方法に従って画像サイズに関連するデータを符号化する
ことをコンピュータに実行させる画像符号化プログラム。
【請求項１】
画像符号化方法であって、
画像信号を符号化し、
前記画像信号における輝度の画素数と色差の画素数との比を符号化し、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択し、
選択された符号化方法に従って画像サイズに関連するデータを符号化する
ことを特徴とする画像符号化方法。
【請求項２】
前記画像サイズに関連するデータは、前記画像信号に対応する画像のサイズを示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項３】
前記画像サイズに関連するデータは、
前記画像信号の符号化において符号化された全画素領域の中で、復号化に際して出力すべき画素範囲である出力領域を示す
ことを特徴とする請求項１記載の画像符号化方法。
【請求項４】
前記画像サイズに関連するデータは、下クロップ値および右クロップ値を含み、
下クロップ値は前記全画素領域の下端から前記出力領域の下端までの画素数を示し、
右クロップ値は前記全画素領域の右端から前記出力領域の右端までの画素数を示す
ことを特徴とする請求項３記載の画像符号化方法。
【請求項５】
前記画像サイズに関連するデータは、更に上クロップ値および左クロップ値を含み、
上クロップ値は前記全画素領域の上端から前記出力領域の上端までの画素数を示し、
左クロップ値は前記全画素領域の左端から前記出力領域の左端までの画素数を示し、
ことを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記符号化方法の選択において、前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化し、上クロップ値および下クロップ値の１／Ｎの各値を符号化する符号化方法を選択する
ことを特徴とする請求項５記載の画像符号化方法。
【請求項７】
前記符号化方法の選択において、前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、左クロップ値および右クロップ値の１／Ｍの各値を符号化する符号化方法を選択する
ことを特徴とする請求項５記載の画像符号化方法。
【請求項８】
画像符号化装置であって、
画像信号を符号化する画像符号化手段と、
前記画像信号における輝度の画素数と色差の画素数との比を符号化する比符号化手段と、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択する選択手段と、
選択された符号化方法に従って画像サイズに関連するデータを符号化するデータ符号化手段と
を備えることを特徴とする画像符号化装置。
【請求項９】
画像信号を符号化し、
前記画像信号における輝度の画素数と色差の画素数との比を符号化し、
前記比に応じて、少なくとも（１）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比がＮ：１の場合に、水平画素数の１／Ｍの値を符号化し、垂直画素数の１／Ｎの値を符号化する符号化方法、および、（２）前記画像信号における輝度信号の水平画素数と色差信号の水平画素数との比がＭ：１、かつ前記画像信号における輝度信号の垂直画素数と色差信号の垂直画素数との比が１：１の場合に、水平画素数の１／Ｍの値を符号化する符号化方法の中から１つの符号化方法を選択し、
選択された符号化方法に従って画像サイズに関連するデータを符号化する
ことをコンピュータに実行させる画像符号化プログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４Ａ】
【図４Ｂ】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−４１３０２（Ｐ２０１１−４１３０２Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２０１０−２１４３９９（Ｐ２０１０−２１４３９９）
【出願日】平成２２年９月２４日（２０１０．９．２４）
【分割の表示】特願２００５−２３０６７４（Ｐ２００５−２３０６７４）の分割
【原出願日】平成１７年８月９日（２００５．８．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２２年９月２４日（２０１０．９．２４）
【分割の表示】特願２００５−２３０６７４（Ｐ２００５−２３０６７４）の分割
【原出願日】平成１７年８月９日（２００５．８．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＧＳＭ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]