説明

画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム

画像データをより小さな情報量で送受することができる画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムを提供する。この画像データの圧縮装置は、ある所定領域の画像データをサンプリングすることによって得ることができる、色彩に関する複数の単成分画像データについて、少なくとも1つの単成分画像データを複数の単成分画像データに分割して、複数の単成分画像データをそれより多数の単成分画像データに変換した後に圧縮を行う。また、このような圧縮によって得られた圧縮画像データを圧縮解除することによって得られる複数の単成分画像データを合体させて、複数の単成分画像データより多数の単成分画像データを複数の単成分画像データに変換した後に復元を行う。

【発明の詳細な説明】
発明の背景
本発明は、画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムに関する。
近年、パーソナルコンピュータ、携帯電話、PDA(個人向け携帯情報端末)等の情報機器では、画像データの送受信が盛んに行われるようになっている。このような画像データは、文書データ等に比べて非常に大きなデータ量を有することから、例えば、静止画像データの圧縮及び復元方式として、JPEGやJPEG2000等が開発された。これらの方式を用いて圧縮や復元を行うことにより、画像データをある程度小さなデータに圧縮して送受信することが可能である。尚、JPEGあるいはJPEG2000については、例えば、Information technology:JPEG2000 image coding system,ISO/IEC FCD1544−1,March 2000や、Information technology:digital compression and coding of continuous tone still images(JPEG),ISO/IEC 10918−1,1993に説明がある。
しかしながら、これらの方式を用いても、画像データのデータ量は未だに大きく、特に、それを無線で送受信するような場合には、多大な時間と費用を要するといった重大な問題が生じている。
ところで、本願出願人によって平成14年6月18日に出願された「画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末」(出願番号2002年177,107号)には、画像処理装置及び画像処理方法、更に言えば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを、データサイズを保ったまま複数個に分割し、さらに圧縮等の処理を行った上で出力する、画像処理装置及び画像処理方法が開示されている。
本発明は、この技術を応用することによって、画像データをより小さなデータ量で送受信することができる画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムを提供するものである。
【発明の開示】
上記の目的を達成するために、本発明は、画像データの圧縮装置において、ある所定領域の画像データをサンプリングすることによって得ることができる、色彩に関する複数の単成分画像データについて、少なくとも1つの単成分画像データを複数の単成分画像データに分割して、前記複数の単成分画像データをそれより多数の単成分画像データに変換した後に圧縮を行うことを特徴としている。
ここで単成分画像データとは、色を構成する複数の成分のうち、1つの成分のみを含む画像データをいう。カラー画像を表わすデータは、光の三原色を表わすRGB(赤、緑、青)の3つの成分のデータから構成されるか、輝度と色差を表わすYUV(輝度、色差、色差)の3成分から構成されることが多い。単成分画像データは、例えばR成分のみ、Y成分のみ、など、1つの成分のみを含む画像データを指す。
また、本発明は、圧縮画像データの復元装置において、ある所定領域の画像データをサンプリングすることによって得ることができる、色彩に関する複数の単成分画像データについて、少なくとも1つの単成分画像データを複数の単成分画像データに分割して、前記複数の単成分画像データをそれより多数の単成分画像データに変換した後に圧縮を行う圧縮装置によって得られた、圧縮画像データに関し、前記圧縮画像データを圧縮解除することによって得られる前記複数の単成分画像データを合体させて、前記複数の単成分画像データより多数の単成分画像データを前記複数の単成分画像データに変換した後に復元を行うことを特徴としている。
また、本発明は、画像データの圧縮装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴としている。
本発明の圧縮装置において、前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行ってもよい。
本発明は、画像データの復元装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、前記圧縮画像データを圧縮解除することによって得られる、前記R成分と前記B成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記G1成分と前記G2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記RG1G2B成分の4つの単成分画像データを前記RGB成分の3つの単成分画像データに変換した後に復元を行うことを特徴としている。
本発明の復元装置において、前記YUVG2成分の4つの単成分画像データを前記RG1G2B成分の4つの単成分画像データに変換した後に復元を行ってもよい。
本発明は、画像データの圧縮装置において、YUV成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から、前記Y成分の単成分画像データについては4画素に対して1画素を抽出するように、一方、前記U成分と前記V成分の単成分画像データについては2画素に対して1画素を抽出するようにして、サンプリングを行うことによって得られた画素を、前記U成分と前記V成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平又は垂直方向に移動させて互いに結合し、前記Y成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにY1成分とY2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、前記YUV成分の3つの単成分画像データをY1UVY2成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴としている。
また、本発明は、画像データの復元装置において、YUV成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から、前記Y成分の単成分画像データについては4画素に対して1画素を抽出するように、一方、前記U成分と前記V成分の単成分画像データについては2画素に対して1画素を抽出するようにして、サンプリングを行うことによって得られた画素を、前記U成分と前記V成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平又は垂直方向に移動させて互いに結合し、前記Y成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにY1成分とY2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、前記YUV成分の3つの単成分画像データをY1UVY2成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮方法によって得られた、圧縮画像データに関し、前記圧縮画像データを圧縮解除することによって得られる、前記U成分と前記V成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平又は垂直方向に移動させて元の位置に戻し、前記Y1成分と前記Y2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻すようにして、前記Y1UVY2成分の4つの単成分画像データを前記YUV成分の3つの単成分画像データに変換した後に復元を行うことを特徴としている。
本発明の復元装置において、前記移動の方法は、前記圧縮装置との間で予め取り決められていてもよいし、前記圧縮装置に前記復元装置の側からデータを用いて伝えられてもよい。
また本発明は、画像データの圧縮装置において、所定の複数成分から構成される画像データについて、前記所定の複数成分のそれぞれについてサンプリングする手段と、前記サンプリングされたデータから前記所定の複数成分のいずれか一成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する手段と、前記単成分画像データを圧縮する手段を備え、さらに前記単成分画像データのうち少なくとも2つは、前記所定の複数成分のうちの同じ成分からなることを特徴としている。
この前記所定の複数成分はRGB又はYUVの3成分であってもよい。さらに本発明による圧縮装置は、前記単成分画像データを、性質が異なる他の成分からなる単成分画像データに変換する手段を備えることができる。
1つの実施例においては、本発明による圧縮装置に入力される画像データはRGBの3つの成分から構成されるが、これらをサンプリングして作成する単成分画像データはRGGBの4つとする。つまりG成分の単成分画像データを複数作成する。サンプリングの仕方は、例えばR、B成分については4画素について1画素、G成分については2画素について1画素をサンプリングするという方法が好ましい。次にこれらの単成分画像データのうち、R、G、Bの3つの成分のものについては、それぞれY、U、Vの属性を持つように変換する。最後にYUVGの4つの単成分画像データを圧縮する。圧縮についてはJPEGやJPEG2000を使うことができるが、JPEG2000で圧縮したほうが便利である。
また本発明は、画像データの復元装置において、本発明による圧縮装置により圧縮された圧縮画像データについて、前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段と、前記単成分画像データを伸張する手段と、前記所定の複数成分のうちの同じ成分からなる単成分画像データが2つ以上ある場合はこれらを結合して伸張する手段と、を備えることを特徴とする。本発明による復元装置はさらに、前記単成分画像データを、性質が異なる他の成分からなる単成分画像データに変換する手段を備えることができる。本発明による復元装置はさらに、複数の前記単成分画像データから第1復元画像データを作成する手段と、複数の前記伸張された単成分画像データから第2復元画像データを作成する手段を有し、第1復元画像データと第2復元画像データのいずれか一方を切り替えて出力するように構成することができる。
1つの実施例においては、本発明による復元装置に入力される圧縮画像データを、圧縮装置で圧縮された方法と同じ方法で解凍する。即ち圧縮解除する。これにより圧縮解除されたデータが、YUVG成分をそれぞれ持つ4つの単成分画像データである場合、YUV成分の3つについては、それぞれRGB成分に変換する。次に、R、B成分の単成分画像データはそれぞれ縦横2倍の大きさに伸張する。G成分の単成分画像データは2つ存在するので、これらを結合した上でR、B成分と同じ大きさに伸張する。最後には、RGBの3つの成分からなる画像データが出力されることになる。
また、本発明による復元装置は、出力データとして伸張前の単成分画像データから構成されるものと、伸張後のデータから構成されるものを、切り替えることができる。
さらに、当業者であれば容易に理解できるように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた1つの圧縮復元装置として構成することが可能であり、また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施される場合が多い。つまり本発明は、コンピュータを、所定の複数成分から構成される画像データを取り込む手段、前記所定の複数成分のそれぞれについてサンプリングする手段、前記サンプリングされたデータから前記所定の複数成分のいずれか一成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する手段、前記単成分画像データを圧縮する手段として動作させ、さらに前記単成分画像データのうち少なくとも2つは、前記所定の複数成分のうちの同じ成分であるように動作させることを特徴とする圧縮プログラムとして表すことができる。又は、コンピュータを、本発明による圧縮プログラムまたは圧縮装置により圧縮された圧縮画像データに関し、前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段、前記単成分画像データを伸張する手段、前記所定の複数成分のうちの同じ成分からなる単成分画像データが2つ以上存在する場合はこれらを結合して伸張する手段、として動作させることを特徴とする復元プログラムとして表すことができる。さらに、双方の機能を備えた圧縮復元プログラムとして表すこともできる。
尚、本発明の圧縮又は復元装置において、前記圧縮又は復元のためにJPEG又はJPEG2000を用いてもよい。
【図面の簡単な説明】
図1は、本発明の第一の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する図である。
図2は、JPEGを用いた圧縮方法を示す概念図である。
図3は、本発明の第一の実施形態によるPCの、圧縮データの復元に係る構成を説明する図である。
図4は、本発明による圧縮装置の動作を説明するフローチャートである。
図5は、本発明による復元装置の動作を説明するフローチャートである。
図6は、本発明の第二の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する図である。
図7は、本発明の第二の実施形態によるPCの、圧縮データの復元に係る構成を説明する図である。
【発明を実施するための最良の形態】
添付図面を参照して、本発明を、本発明が適用されたパーソナルコンピューター(以下、PCと標記)を例に挙げて説明する。このPCはインターネットに接続され、インターネットを通じて画像等のデータを送受信することができる。また、デジタルカメラ等と接続し、デジタルカメラ等から画像データを取り込むこともできる。特に本発明が適用されたPCは、インターネットやデジタルカメラ等から取り込んだ画像を本発明に従って送信し、また受信した圧縮画像を本発明に従って復元して出力することができる。尚、以下に説明するPCは、本発明を好適に適用できる媒体の一例であって、本発明はPCに限らず、デジタルカメラ等の他の様々なデジタル機器に適用することができることはいうまでもない。
1.第一の実施形態
1−1.画像の取り込み及び圧縮
図1を参照して、第一の実施形態によるPCの、画像の取り込み及び圧縮に係る構成を説明する。
1)入力部
入力部11は、デジタルカメラ等の外部機器に接続し、画像データをPC本体に取り込む部分である。これは、よく知られているUSB等の方式を用いてよい。又は、インターネットに接続し、インターネット上のサーバーから画像データをダウンロードできるように構成してもよい。この場合は、イーサネット等の方式を用いればよい。
現在一般に用いられている形式の画像データは、RGB又はYUVの3つの単成分画像データ(平面)から構成されている場合が多い。尚、RGBとYUVとでは多少性質が異なる。ここではRGBから構成された画像データが取り込まれたものとし、それが図1の110(R:赤色画像)、111(G:緑色画像)、112(B:青色画像)に示されている。これらの単成分画像データ113、114、115にはそれぞれ、複数の画素が含まれる。各画素は各単成分画像データ113、114、115において、それぞれ固有の位置情報と色情報とを有する。色情報には、例えば輝度等が含まれ、各単成分画像データにおける各画素の色情報は、例えば8ビットで表現することができる。この結果、例えば、ある1つの画素の完全な色情報は、8×3=24ビットで表現することができることになる。尚、図1に示したRGB成分の各単成分画像データ110、111、112は、説明を目的としただけのものであって、必ずしもこのような単成分画像データが作成される必要はない。この点については後にも触れる。
2)ダウン・サンプリング部
ダウン・サンプリング部12は、RGB成分の各単成分画像データ110、111、112から色情報をサンプリングする部分である。サンプリングは、画像の劣化が許容できる範囲で、また、好ましくは補間が容易な方法で行うのが好ましい。好ましいサンプリングの方法として、例えば、原色ベイヤー配列に基づいたサンプリング方法を考えることができる。よく知られているように、原色ベイヤー配列とは、RGBの配列方式の1つであり、ここでは、市松状にG成分が配置され、それらの間にR成分とB成分が交互に配置される。本発明は、この配置に従って、RGB成分の各単成分画像データ110、111、112のそれぞれの所定位置において色情報のサンプリングを行う。図1に、この原色ベイヤー配列(ここでは特に、いわゆるRGGBタイプと呼ばれる方式)に基づいてサンプリングを行うことによって得られた結果を、RGB成分の各単成分画像データ120、121、122毎に概念的に示している。図面中、例えば、R成分の単成分画像データ120については、「○」で示した箇所はサンプリングされた画素(位置)を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。同様に、G成分の単成分画像データ121については、「○」又は「△」で示した箇所はサンプリングされた画素を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。B成分の単成分画像データ122については、R成分の単成分画像データ121と同様である。明らかなように、この原色ベイヤー配列に基づいてサンプリングを行った場合、R成分とB成分の各単成分画像データ120、122については、8画素に対して1画素を抽出することによって計4画素分の色情報が、G成分の単成分画像データ121については、4画素に対して1画素を抽出することによって計8画素分の色情報が、それぞれ選択されることになる(尚、R成分やB成分よりもG成分に関してより多くの情報を得ることとしているのは、人間の目は、RGB成分のうちG成分に最も敏感に反応すると考えられているからである)。
尚、サンプリングの方法は、必ずしも上記の方法に基づく必要はない。例えば、G成分とB成分の各単成分画像データについては4画素分の色情報を、R成分の単成分画像データについては8画素分の色情報を、それぞれ選択してもよい。また、原色ベイヤー配列の中でも、いわゆるGRBGタイプと呼ばれる方式に基づいてサンプリングを行ってもよい。ただし、復元時の画像劣化を防ぐため、上述した原色ベイヤー配列におけるようになるべく規則的に、例えば原色ベイヤー配列におけるように、RGB成分の各画素を水平及び垂直方向において互いに均等に離れた状態等で、サンプリングするのが好ましい。
3)デ・コンポージング部
デ・コンポージング部13は、サンプリングを行うことによって得られたRGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データにするとともに、各単成分画像データを縮小させる、つまり、各単成分画像データにおいて、サンプリングされなかった画素を少なくとも1つ排して(除去して)、元の単成分画像データよりも小さな単成分画像データとする。好ましい縮小方法として、例えば、ダウン・サンプリング部でサンプリングされなかった全ての画素を排して、サンプリングされた画素を水平及び垂直方向に移動させて互いに隣接に配置する、あるいは互いに結合させる、といった方法が考えられる。上述した原色ベイヤー配列に基づいてRGB成分の各画素を規則的にサンプリングし、且つ、サンプリングされたそれらの画素を上述した好ましい方法で縮小させた場合には、縮小後も画像は認識可能な状態で残る。つまり、デ・コンポージング部13における処理後の各単成分画像データは、元の画像の大きさを単に縮小させただけのものとして見ることができる。
図1に、デ・コンポージング部13における処理によって生じた4つの単成分画像データ130、131、132、133を概念的に示している。ここに示されているように、デ・コンポージング部13における処理により、RGB成分の3つの単成分画像データ120、121、122のうち、4×4画素のR成分とB成分の単成分画像データ120、122については、上述した好ましい方法で縮小されて2×2画素(半解像度)のR成分とB成分の単成分画像データ130、133とされ、4×4画素のG成分の単成分画像データ121については、2つに分割されるとともに上述した好ましい方法で縮小されて、2×2画素(半解像度)のG1成分とG2成分の単成分画像データ131、132とされる。ここで、G1成分の単成分画像データ131とは、図1に示したダウン・サンプリング部でサンプリングされた画素のうち、「○」で示した箇所の画素に関する色情報を表す単成分画像データであり、一方、G2成分の単成分画像データ132は、「△」で示した箇所の画素に関する色情報を表す単成分画像データである。これらG1成分の単成分画像データ131とG2成分の単成分画像データ132は、G成分の単成分画像データを構成する要素であるから、明らかなように、これらを合体させることによって元のG成分の完全な単成分画像データ121を得ることができる。
尚、上に示した例では、G1成分とG2成分の単成分画像データ131、132は、規則的に、例えば、上に示したように、G成分の単成分画像データを水平及び垂直方向において互いに離れた画素同士が同じ成分となるように、分割することによって形成されているが、G成分中のどの部分をG1成分とし、あるいは、G2成分とするかは、設計者が自由に決定することができる。ただし、G成分の単成分画像データを規則的に分割した場合には、G1成分の単成分画像データ131やG2成分の単成分画像データ132は、いわば元の画像のG成分を縮小させたものということができ、したがって、G1成分のみによって、あるいは、G2成分の単成分画像データのみよって(更には、残りのRG1B成分を、後述するRGB−YUV変換部14によって変換することによって得られたYUV成分によって、あるいは、このYUV成分のY成分のみによって)、視聴者は、元の画像をある程度の精度で認識することができるという大きな利点がある。また、上に示した例のように、G成分の単成分画像データを規則的に分割した場合には、G1成分とG2成分の単成分画像データを明確に区別する必要はない。つまり、本明細書の記載において、G1とG2を入れ換えて読んでも何ら問題はない。
デ・コンポージング部13における処理により、入力部11におけるデータ量、つまり、4×4(基本領域中の画素の数)×3(単成分画像データの数)×8(RBG成分の各単成分画像データにおける1画素あたりのビット数)=384ビットは、4(RG1G2B成分の各単成分画像データにおける画素の数)×4(単成分画像データの数)×8(RG1G2B成分の各単成分画像データにおける1画素あたりのビット数)=128ビット、つまり、1/3に減少される。このように、デ・コンポージング部13における処理によって、全体としてのデータ量は減少することになるが、その一方で、各画素の位置情報は失われる。しかしながら、失われた位置情報は、デ・コンポージング部13やダウン・サンプリング部12における処理を後述する復元時(特に、後述するコンポージング部(図3の34))との間で予め取り決めておくことによって、また、そのような取り決めがない場合にはデ・コンポージングされたデータ(ファイル、あるいはビットストリーム)に位置情報に関する情報を付加することによって、復元時において容易に回復することができる。
4)RGB−YUV変換部
RGB−YUV変換部14は、当業者によく知られた方法で、RGB成分をYUV成分に変換する。ここでは、デ・コンポージング部13における処理で発生された、RG1G2B成分の4つの単成分画像データ130、131、132、133のうちの、RG1B成分の3つの単成分画像データ130、131、133に基づいて、それらを、YUV成分の3つの単成分画像データ140、141、142へ変換する。残るG2成分の単成分画像データ133については、YUV変換は行わず、そのまま残す。この結果、図1にも示されているように、RGB−YUV変換部における処理により、各々が2×2画素のYUV成分の3つの単成分画像データ140、141、142とG2成分の単成分画像データ143(133)が形成される。尚、YUVへ変換を行うのは、次に述べる圧縮部においてJPEG等を用いるためである。
5)圧縮部
圧縮部15は、デ・コンポージング部13における処理によって得られたYUV成分の3つの単成分画像データ140、141、142とG2成分の単成分画像データ143を、例えばJPEGやJPEG2000を用いて圧縮する。但し、圧縮の方法は、画像圧縮のために通常使用されている様々な方法を用いることができ、JPEG等に限定されるものではない。これらの圧縮方法はよく知られているため、それらの方法自体の詳細な説明はここでは省略する。この圧縮部15における処理により、基本領域における情報は、例えば、全体として6ビット程のデータとすることができる。
尚、JPEGを用いて圧縮を行った場合には、図2に示すように、YUV成分の3つの単成分画像データ140、141、142に関する情報は1つのファイル、例えばfile.1として圧縮され、G2成分の単成分画像データ143に関する情報はそれとは別のファイル、例えばfile.2として圧縮される。G2成分が別のファイルとして圧縮されるのは、このG2成分についてはJPEGによる処理を2回行うことを要するからである。この点は当業者には明らかであろう。圧縮されたこれらのファイルfile.1とfile.2の関係は、ファイル名(例えば、file.1にfile.a.jpgという名を付け、これに関連して、file.2にfile.b.jpgという名を付けることによって)や、ファイルフォーマット内の未使用フィールドにおける宣言により明かにすることができる。受信側は、これらのファイル名を見ることによって、それらが互いに関連のあるデータであることを知ることができる。
一方、JPEG2000を用いて圧縮を行った場合には、YUVG2成分の各単成分画像データ140、141、142、143を、それぞれ単成分画像データ毎に圧縮することができる。この結果、4つのファイルが形成されることになるが、これらについても上と同様に、それらの間の関係をファイル名等で明かにすることができる。
6)出力部
出力部16は、圧縮部15で圧縮されたファイルを出力する。出力は、記録媒体にファイルを保存するためであったり、インターネット上のサーバーに送信するためであったりする。
1−2.圧縮データの復元
図3を参照して、第一の実施形態によるPCの、圧縮データの復元に係る構成を説明する。
1)入力部
入力部31は、記録媒体から本発明による方法で圧縮されたデータを読み込む、又は、インターネット上のサーバーから、そのようなデータをダウンロードする。
2)圧縮解除部
圧縮解除部32は、圧縮部(図1の15)で圧縮されたファイルを、送信側で用いた圧縮方式に対応する方式で圧縮解除し、2×2画素のYUV成分の3つの単成分画像データ320、321、322と、2×2画素のG2成分の単成分画像データ323、即ち、計4つの単成分画像データに戻す。これらの単成分画像データは、圧縮部(図1の15)によって圧縮される前のYUVG2成分の4つの単成分画像データ(図1の140、141、142、143)と全く同じものと考えてよい。
3)YUV−RGB変換部
YUV−RGB変換部33は、送信側のRGB−YUV変換部(図1の14)における処理と反対の処理を行う。YUV−RGB変換部33における処理により、YUV成分の3つの単成分画像データ320、321、322は、変換前のRG1B成分の3つの単成分画像データ330、331、332へ変換される。残るG2成分の単成分画像データ323については、特にRGB−YUV(図1の14)で処理されていないから、そのままの状態とする。この結果、図3に示されているように、YUV−RGB変換部33における処理により、各々が2×2画素のRG1G2B成分の4つの単成分画像データ330、331、332、333が形成される。
4)コンポージング部
コンポージング部34は、デ・コンポージング部(図1の13)に対応して設けられた部分である。コンポージング部34は、デ・コンポージング部(図1の13)とは逆に、RG1G2B成分の4つの単成分画像データ330、331、332、333をRGB成分の3つの単成分画像データ340、341、342に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたRGB成分の3つの単成分画像データに反映させることにより各単成分画像データを元の大きさに伸張する(つまり、縮小された単成分画像データを元の大きさに戻す)。伸張は、例えば、ダウン・サンプリング部(図1の12)でサンプリングされた画素を、水平及び垂直方向に移動させて元の位置に戻すことによって行うことができる。この操作によって、デ・コンポージング部(図1の13)における処理で失われた位置情報は、RGB成分の各単成分画像データに反映される。図3には、コンポージング部34における処理によって生じた3つの単成分画像データ340、341、342が概念的に示されている。この図から明らかなように、コンポージング部34における処理により、各々が2×2画素のR成分とB成分の単成分画像データ330、333については、4×4画素(フル解像度)のR成分及びB成分の単成分画像データ340、342とされ、各々が2×2画素のG1成分とG2成分の単成分画像データ331、332については、G成分に合体されるとともに伸張されて、4×4画素(フル解像度)のG成分の単成分画像データ341とされる。
5)補間部
補間部35は、送信機のダウン・サンプリング部(図1の12)におけるサンプリングによって失われた色情報を補間する。この補間によってデータが伸張されるのであるが、よく知られているように画素補間には様々な方法が存在するから、装置の計算能力と求める画質に応じた補間方法を用いればよい。最も簡素な補間法は、データが存在する画素と同じ値を隣接するデータが存在しない画素にコピーするというものである。この補間部35における処理により、RGB成分の3つの単成分画像データ350、351、352が発生する。尚、図面中の矢印は、補間を行う際のデータの動きを概的に示したものである。以上より、元のカラー画像の復元が完了する。
6)出力部
出力部36は、復元された元のカラー画像、即ち復元画像データを出力する。例えば、出力部36は、カラー画像を写すディスプレイであってもよい。ただし、出力部36は、カラー画像を特に復元せずに、RGB成分の3つの単成分画像データを単に記憶する記憶媒体であってもよい。
尚、この出力部36は、上述した圧縮解除部32とYUV−RGB変換部33の間、あるいは、YUV−RGB変換部33とコンポージング部34の間に設けることもできる。勿論、圧縮解除部32やYUV−RGB変換部33における処理の直後は、YUVG2成分の単成分画像データ320〜323やRG1G2B成分の単成分画像データ3330〜333が得られるだけで、完全な画像が得られるわけではない。しかしながら、上述したように、G1成分の単成分画像データのみによって、あるいは、G2成分の単成分画像データのみよって、あるいは、残りのRG1B成分をRGB−YUV変換部によって変換することによって得られたYUV成分によって、更には、これらYUV成分のY成分のみによって、元の画像をある程度の精度で認識することができる。したがって、出力部36を、上述した圧縮解除部32とYUV−RGB変換部33の間、あるいは、YUV−RGB変換部33とコンポージング部34の間に設けてもよい。つまり、本発明の技術を用いた場合、完全な画像を得るためには、コンポージング部34における処理を知る必要があり、また、デ・コンポージング部(図1の13)を有する必要があるが、コンポージング部34における処理を知らなくても、また、デ・コンポージング部(図1の13)を有していなくても、送信側から受信したデータに基づいて、ある程度の精度で画像を見ることが可能ということである。
1−3.動作説明
次に、図4、図5のフロチャートを参照して、本発明による圧縮装置及び復元装置の動作を説明する。
図4は、圧縮装置の動作を示している。先ず、入力部によって、カラー画像が装置に取り込まれる(ステップ1)。次に、ダウン・サンプリング部によって、各単成分画像データの各画素から所定の情報がサンプリングされる(図1の120〜122)(ステップ2)。次いで、デ・コンポージング部によって、サンプリングされたRGB成分の3つの単成分画像データがRG1G2B成分の4つの単成分画像データにされるとともに、各単成分画像データが縮小される(図1の130〜133)(ステップ3)。その後、RGB−YUV変換部で、RG1B成分がYUV成分に変換され(ステップ4)、この結果、YUV成分の3つの単成分画像データと、G2成分の単成分画像データ、計4つの単成分画像データ(図1の140〜143)が形成される。更に、JPEG等を用いて、YUVG2成分の4つの単成分画像データに関する情報が圧縮される(ステップ5)、最後に、出力部でファイルが出力される(ステップ6)。
図5は、復元装置の動作を示している。先ず、入力部でファイルが受信され(ステップ1)、次いで、圧縮解除部において、圧縮されたファイルが圧縮解除され、YUVG2成分の4つの単成分画像データ(図3の320〜323)に関する情報が復号される(ステップ2)。次いで、YUV−RGB変換部によって、YUV成分がRGB成分に変換されて、変換前のRG1B成分の3つの単成分画像データとG2成分の単成分画像データ、計4つの単成分画像データ(図3の330〜333)が形成される(ステップ3)。更に、コンポージング部によってRG1G2B成分の4つの単成分画像データがRGB成分の3つの単成分画像データに変換されるとともに、デ・コンポージング部で失われた位置情報が、変換されたRGB成分の3つの単成分画像データに反映されて、各単成分画像データが元の大きさに伸張される(図3の340〜342)(ステップ4)。その後、補間部によって、ダウン・サンプリング部における処理で失われた色情報が補間によって回復され、元のカラー画像が復元される(ステップ5)。最後に、それらを復元画像データとして出力しあるいは表示することができる(ステップ6)。上述したように、出力段階は、ステップ2とステップ3の間(ステップ6’)、あるいは、ステップ3とステップ4の間(ステップ6”)に設けられていてもよい。ただし、これらのステップ6’、6”で出力され得る復元画像データは、ステップ6で出力される復元画像データとはその解像度が異なる。尚、切り替え装置(図示していない)を設けて、これら様々な種類の復元画像データを、ユーザーが自由に選択して出力させることができるようにしてもよい。例えば、利用者が料金を支払ったか否かに応じて、ステップ6’、6”で出力され得る復元画像データ、即ち、単成分画像データ1つから構成される出力画像(この場合、半解像度のカラー画像となる)を出力させたり、あるいは、ステップ6で出力され得る復元画像データ、即ち、伸張後のRGB成分の3つの単成分画像データからなる出力画像を出力させることができる。特に後者の場合は、圧縮前と同じ大きさのカラー画像とすることができる。
2.第二の実施形態
上の第一の実施形態では、カラー画像をRGB成分で表すものとして説明したが、これをYUV成分で表すものとしてもよい。この場合(第二の実施形態)は、第一の実施形態と異なり、RGB−YUV変換部(図1の14)とそれに対応するYUV−RGB変換部(図3の33)は不要である。以下、図6、図7を参照して、第二の実施形態を、第一の実施形態との相違を中心に説明する。尚、図6、図7はそれぞれ、第一の実施形態における図1、図3に対応するものと考えてよい。また、特に説明しない事項は、第一の実施形態と同様に考えてよい。
2−1.画像の取り込み及び圧縮
図6において、入力部51は、YUV成分の各単成分画像データ510、511、512から構成されるYUV形式のデータを取り込む。この場合、例えば、Y成分について4×4画素分のデータが含まれるのに対し、U成分とV成分については4×2画素分のデータが含まれる。
ダウン・サンプリング部52は、Y成分の単成分画像データ510については、4画素に対して1画素を抽出することによって、例えば図6に示されているように、図1で説明した原色ベイヤー配列の特にG成分の所定位置においてサンプリングすることによって(つまり、「○」及び「△」で示した箇所の画素をサンプリングして)、Y成分の単成分画像データ520を形成する。一方、U成分とV成分の単成分画像データ511、512については、2画素に対して1画素を抽出することによって、例えば図6に示されているように、4×2画素のデータの1行目と3行目の位置のデータをサンプリングすることによって(つまり、「○」で示した箇所の画素をサンプリングして)、U成分とV成分の単成分画像データ521、522を形成する。
デ・コンポージング部53は、サンプリングされたYUV成分の3つの単成分画像データ520、521、522をY1UVY2成分の4つの単成分画像データとするとともに、各単成分画像データを縮小する(図6の530、531、532、533)。ここでは、Y1成分とY2成分の単成分画像データ530、531が、第一の実施形態におけるG1成分とG2成分の単成分画像データ(図1の131、132)に相当し、U成分とV成分の単成分画像データ532、533が、第一の実施形態におけるR成分やB成分の単成分画像データ(図1の130、133)に相当すると考えてよい。即ち、このデ・コンポージング部53における処理により、YUV成分の3つの単成分画像データ520、521、522は、4×4画素のY成分の単成分画像データ520については、2つに分割されるとともに縮小されて、2×2画素(半解像度)のY1成分とY2成分の単成分画像データ530、531とされ、一方、4×2画素のU成分とV成分の単成分画像データ521、522については、縮小されて2×2画素のU成分とV成分の単成分画像データ532、533とされる。
圧縮部54は、Y1UVY2成分の4つの単成分画像データ530〜533に関する情報を、例えば、JPEG2000を用いて圧縮する。尚、この場合は、第一の実施形態のG2成分のように、JPEG2000による処理を2回行うことはないため、1つのファイルとして形成することができる。出力部55は、このファイルを出力する。
2−2.圧縮データの復元
図7において、入力部71は、ファイルを受信する。圧縮解除部71は、このファイルを、圧縮時に用いられた圧縮方式に対応する圧縮方式で圧縮解除し、図7に示されているような、2×2画素のY1UVY2成分の4つの単成分画像データ720〜723に戻す。
コンポージング部73は、Y1UVY2成分の4つの単成分画像データ720〜723をYUV成分の3つの単成分画像データ730〜732に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたYUV成分の3つの単成分画像データに反映させることによって各単成分画像データを元の大きさに伸張する。即ち、このコンポージング部73における処理により、各2×2画素のU成分とV成分の単成分画像データ722、723については、伸張されて4×4画素(フル解像度)のU成分とV成分の単成分画像データ731、732とされ、各2×2画素のY1成分とY2成分の単成分画像データ720、721については、Y成分に合体されるとともに伸張されて、4×4画素の(フル解像度)のY成分の単成分画像データ730とされる。
補間部74は、Y成分の単成分画像データ740については、例えば、第一の実施形態のG成分の単成分画像データ(図3の341)と同様の方法で補間を行う。一方、U成分とV成分の単成分画像データ741、742については、デ・コンポージング部(図6の53)でサンプリングされた箇所、例えば1行目と3行目の画素をその真下のサンプリングされなかった箇所、例えば2行目と4行目にコピーすることによって補間を行う。この補間方法は当業者にはよく知られているから、ここでは詳述しない。
3.その他
上の実施形態では、送信機及び受信機をそれぞれ、複数の部分に分けて説明したが、この分類は単に説明を目的としただけのものである。例えば、実際の装置では、送信側の入力部における機能とダウン・サンプリング部における機能は、一度に実行されることが多い。つまり、カラー画像は一般には、特定の色成分のみを検出する複数の検知素子を配した検出器を用いて、当初からサンプリングされた状態で検出される。したがって、これらの分類方法は本願発明にとって重要ではない。また、コンピュータ・ソフトウェアとして提供される。
また、上の実施形態では、G成分をG1成分とG2成分の2つに、あるいは、Y成分をY1成分とY2成分の2つに分割するものとして説明したが、必ずしも2つの分割する必要はなく、それ以上に分割してもよい。最終的に合成によって画像が得られれば十分である。
また、本発明では、RGB成分とYUV成分の単成分画像データに関する実施形態だけを説明したが、色彩に関する情報を同様の単成分画像データで表現する場合には、本発明を同様に適用することが可能であろう。更に、本発明の重要な特徴は、色彩に関する単成分画像データを分割することにあり、本発明が、本発明の実施形態に記載された発明に限定されるものではない。
明らかなように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた1つの圧縮復元装置として構成することもできる。また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施されてもよい。
4.発明の効果
以上の本発明によれば、従来よりも、画像データをより小さなデータ量で送受信することができる。
【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】


【特許請求の範囲】
【請求項1】
画像データの圧縮装置において、ある所定領域の画像データをサンプリングすることによって得ることができる、色彩に関する複数の単成分画像データについて、少なくとも1つの単成分画像データを複数の単成分画像データに分割して、前記複数の単成分画像データをそれより多数の単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮装置。
【請求項2】
圧縮画像データの復元装置において、
ある所定領域の画像データをサンプリングすることによって得ることができる、色彩に関する複数の単成分画像データについて、少なくとも1つの単成分画像データを複数の単成分画像データに分割して、前記複数の単成分画像データをそれより多数の単成分画像データに変換した後に圧縮を行う圧縮装置によって得られた、圧縮画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる前記複数の単成分画像データを合体させて、前記複数の単成分画像データより多数の単成分画像データを前記複数の単成分画像データに変換した後に復元を行うことを特徴とする復元装置。
【請求項3】
画像データの圧縮装置において、RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮装置。
【請求項4】
前記変換されたRG1G2B成分の4つの単成分画像データをYUVG2成分の4つの単成分画像データに変換した後に圧縮を行う請求項3記載の圧縮装置。
【請求項5】
画像データの復元装置において、
RGB成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記R成分と前記B成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記G成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにG1成分とG2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記RGB成分の3つの単成分画像データをRG1G2B成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる、前記R成分と前記B成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記G1成分と前記G2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記RG1G2B成分の4つの単成分画像データを前記RGB成分の3つの単成分画像データに変換した後に復元を行うことを特徴とする復元装置。
【請求項6】
前記YUVG2成分の4つの単成分画像データを前記RG1G2B成分の4つの単成分画像データに変換した後に復元を行う請求項5記載の復元装置。
【請求項7】
画像データの圧縮装置において、YUV成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から、前記Y成分の単成分画像データについては4画素に対して1画素を抽出するように、一方、前記U成分と前記V成分の単成分画像データについては2画素に対して1画素を抽出するようにして、サンプリングを行うことによって得られた画素を、前記U成分と前記V成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平又は垂直方向に移動させて互いに結合し、前記Y成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにY1成分とY2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、前記YUV成分の3つの単成分画像データをY1UVY2成分の4つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮装置。
【請求項8】
画像データの復元装置において、
YUV成分の3つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から、前記Y成分の単成分画像データについては4画素に対して1画素を抽出するように、一方、前記U成分と前記V成分の単成分画像データについては2画素に対して1画素を抽出するようにして、サンプリングを行うことによって得られた画素を、前記U成分と前記V成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平又は垂直方向に移動させて互いに結合し、前記Y成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにY1成分とY2成分の2つの単成分画像データに分割するとともにサンプリングされなかった画素を除去しつつそれらを水平及び垂直方向に移動させて互いに結合して、前記YUV成分の3つの単成分画像データをY1UVY2成分の4つの単成分画像データに変換した後に圧縮を行う画像データの圧縮方法によって得られた、圧縮画像データに関し、
前記圧縮画像データを圧縮解除することによって得られる、前記U成分と前記V成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平又は垂直方向に移動させて元の位置に戻し、前記Y1成分と前記Y2成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻すようにして、前記Y1UVY2成分の4つの単成分画像データを前記YUV成分の3つの単成分画像データに変換した後に復元を行うことを特徴とする復元装置。
【請求項9】
前記移動の方法は前記圧縮装置との間で予め取り決められている請求項3、5、7、8のいずれかに記載の復元装置。
【請求項10】
前記移動の方法は前記圧縮装置に前記復元装置の側からデータを用いて伝えられる請求項3、5、7、8のいずれかに記載の復元装置。
【請求項11】
所定の複数成分から構成される画像データについて、前記所定の複数成分のそれぞれについてサンプリングする手段と、前記サンプリングされたデータから前記所定の複数成分のいずれか一成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する手段と、前記単成分画像データを圧縮する手段を備え、さらに前記単成分画像データのうち少なくとも2つは、前記所定の複数成分のうちの同じ成分からなることを特徴とする、圧縮装置。
【請求項12】
前記所定の複数成分はRGBの3つ又はYUVの3つである請求項11に記載の圧縮装置。
【請求項13】
さらに、前記単成分画像データを、性質が異なる他の成分からなる単成分画像データに変換する手段を備える請求項11または12に記載の圧縮装置。
【請求項14】
請求項11乃至13のいずれか1つの圧縮装置によって得られた圧縮画像データに関し、前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段と、前記単成分画像データを伸張する手段と、前記所定の複数成分のうちの同じ成分からなる単成分画像データが2つ以上ある場合はこれらを結合して伸張する手段と、を備えることを特徴とする復元装置。
【請求項15】
さらに、前記単成分画像データを、性質が異なる他の成分からなる単成分画像データに変換する手段を備える請求項14に記載の圧縮装置
【請求項16】
複数の前記単成分画像データから第1復元画像データを作成する手段と、複数の前記伸張された単成分画像データから第2復元画像データを作成する手段を有し、第1復元画像データと第2復元画像データのいずれか一方を切り替えて出力することができる請求項14または15に記載の復元装置。
【請求項17】
前記圧縮のためにJPEG又はJPEG2000を用いる請求項1、3、4、7、11、12、13、15のいずれかに記載の圧縮装置。
【請求項18】
前記復元のためにJPEG又はJPEG2000を用いる請求項2、5、6、8、9、10、14、16のいずれかに記載の復元装置。
【請求項19】
請求項1乃至18のいずれかに記載された圧縮装置又は復元装置としてコンピュータを機能させることを特徴とする圧縮又は復元プログラム。

【国際公開番号】WO2004/056084
【国際公開日】平成16年7月1日(2004.7.1)
【発行日】平成18年4月20日(2006.4.20)
【国際特許分類】
【出願番号】特願2004−560583(P2004−560583)
【国際出願番号】PCT/JP2002/013221
【国際出願日】平成14年12月18日(2002.12.18)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
イーサネット
【出願人】(398012616)ノキア コーポレイション (1,359)
【Fターム(参考)】