画像処理装置及びコンピュ―タ読み取り可能な記憶媒体
【課題】 高精細画像の記録再生に際して、画質劣化することなく、短時間で画像処理を行うことができるようにする。
【解決手段】 メモリ１０１の高精細画像データは、フィルタ１０２で低域情報に変換される。差分回路１０４は、フィルタ処理後及び処理前のデータの差分をとり、フィルタ１０５は、上記差分データを複数の周波数帯域に分割する。各フィルタ出力は、圧縮符号化及び誤り訂正符号化された後、記録媒体１０９の異なるエリアに記録される。再生時には、記録媒体の各エリアの再生データが抽出され復号された後、フィルタ１２６、１２７、加算回路１２８により、上記低域情報に上記複数の周波数帯域のうちの低域データが加算されると共に、加算回路１２５により、上記低域情報と上記複数の周波数帯域のデータとが加算されることにより、高精細画像データを得ることができる。
【解決手段】 メモリ１０１の高精細画像データは、フィルタ１０２で低域情報に変換される。差分回路１０４は、フィルタ処理後及び処理前のデータの差分をとり、フィルタ１０５は、上記差分データを複数の周波数帯域に分割する。各フィルタ出力は、圧縮符号化及び誤り訂正符号化された後、記録媒体１０９の異なるエリアに記録される。再生時には、記録媒体の各エリアの再生データが抽出され復号された後、フィルタ１２６、１２７、加算回路１２８により、上記低域情報に上記複数の周波数帯域のうちの低域データが加算されると共に、加算回路１２５により、上記低域情報と上記複数の周波数帯域のデータとが加算されることにより、高精細画像データを得ることができる。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、高精細画像データの画像処理及び記録再生、伝送に用いて好適な画像処理装置及びそれに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】近年、ディジタル信号処理技術の進歩、記録再生技術の進歩、及び記録媒体の進歩等により、ディジタルビデオカメラやディジタルカメラが安価で広汎に出回るようになってきた。また、パーソナルコンピュータ及びその周辺機器の高性能化、低価格化も進み、個人が手軽に大量の画像を扱う素地が整いつつある。また、入力デバイスの多画素化が急速に進み、画像の高精細化が進んでいる。
【０００３】このような多画素の高精細画像を扱う従来の記録再生装置の例を図５を用いて説明する。図５において、記録時には、入力端子４００に、図２（ａ）に示すようなＸ×Ｙ画素の多画素の高精細画像Ａが入力され、メモリ４０１に記憶される。メモリ４０１に記憶された画像データはＪＰＥＧ圧縮回路４０２に送られて、ｌ×ｍ画素単位にブロック化され、ブロック単位毎にＤＣＴ変換され周波数空間上に変換された後、量子化を施される。量子化された画像データはハフマン符号等の可変長符号を用いて符号化し、誤り訂正符号化回路４０３に送出される。
【０００４】誤り訂正符号化回路４０３では、誤り訂正符号を符号化された画像データに付加して送出する。誤り訂正符号化された画像データは、さらに記録媒体４０４に合わせて伝送路符号化され、記録媒体４０４に記録される。
【０００５】再生時には、記録媒体４０４に記録されたデータが読み出され、誤り訂正復号回路４０６に送られる。誤り訂正復号回路４０６に送られた画像データは、読み出しの際に発生した誤りを訂正され、訂正後、ＪＰＥＧ復号化回路４０７に送られる。ＪＰＥＧ復号化回路４０７ではハフマン符号を復号し、復号されたデータを逆量子化した後、逆ＤＣＴして画素に戻し、メモリ４０８に送出する。
【０００６】メモリ４０８は、画素に復元されたＸ×Ｙ画素の画像データを記憶し、不図示のＬＣＤ、ＴＶモニタやパソコンモニタに表示するために出力端子４０９から記憶された画像データを出力する。
【０００７】
【発明が解決しようとする課題】しかしながら、上記従来例では、入力画像データが多画素で高精細になってくると（例えばＸ×Ｙが１２８０×９６０）処理に時間がかかり、１フレームの画像データを記録するのに十数秒、また再生するのにも表示するのにも十数秒かかり、非常に使い勝手が悪いという問題があった。また、多画素であるため情報量が増え、記録媒体がフラッシュメモリ等であると、記録できる時間、画像データが圧倒的に少なくなるという問題もあった。さらに上記従来例では、記録する画像の圧縮率を上げて、処理時間を速めて使い勝手の向上を図るということもできるが、そうすると多画素で高精細な入力画像に対して、劣化した画像しか得られず、画質的に満足できる結果が得られないという問題があった。
【０００８】本発明は、上記の問題を解決するために成されたもので、画質劣化を少なくしながら高精細画像データの処理時間を短縮し、記録できる画像も増すようにすることを目的としている。
【０００９】
【課題を解決するための手段】上記の目的を達成するために、本発明による画像処理装置においては、入力画像データをフィルタ処理する第１のフィルタ手段と、上記第１のフィルタ手段の出力画像データと上記入力画像データとの差分データを演算する演算手段と、上記差分データをフィルタ処理する第２のフィルタ手段とを設けている。
【００１０】本発明による他の画像処理装置においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報の一部を加算する第１の加算手段とを設けている。
【００１１】本発明による他の画像処理装置においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する加算手段とを設けている。
【００１２】本発明による記憶媒体においては、入力される高精細画像データから低域情報を抽出する第１のフィルタ処理と、上記抽出された低域情報と上記高精細画像データとの差分データを演算する演算処理と、上記差分データを複数帯域の高精細情報に分割する第２のフィルタ処理とを実行するためのプログラムを記憶している。
【００１３】本発明による他の記憶媒体においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報の一部を加算する第１の加算処理とを実行するためのプログラムを記憶している。
【００１４】本発明による他の記憶媒体においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する第２の加算処理とを実行するためのプログラムを記憶している。
【００１５】
【発明の実施の形態】以下、本発明の実施の形態を図面と共に説明する。図１は本発明の実施の形態による画像処理装置としての記録再生装置を示すブロック図である。図１の記録系において、１００は多画素の高精細画像データの入力端子、１０１はメモリ、１０２は入力画像をフィルタ処理するフィルタ、１０３は主データ記録エリアのための画像データの圧縮符号化回路、１０４は差分回路、１０５は差分データをフィルタ処理するフィルタ、１０６は副データ記録エリアに記録するデータのための圧縮符号化回路、１０７は多重化回路、１０８は誤り訂正符号化回路、１０９は記録媒体である。
【００１６】再生系において、１０９は上記記録媒体、１２１は誤り訂正復号回路、１２２は抽出回路、１２３は主データの記録エリアからの再生データの圧縮復号化回路、１２４は副データの記録エリアからの再生データの圧縮復号化回路、１２５は加算回路、１２６は主データ記録エリアからの再生データをフィルタ処理するフィルタ回路、１２７は副データ記録エリアからの再生データをフィルタ処理するフィルタ回路、１２８は加算回路、１２９、１３０はメモリ、１３１、１３２は画像データの出力端子である。
【００１７】次に動作について説明する。記録時において、入力端子１００に図２（ａ）に示すようなＸ×Ｙ画素（例えば１２８０×９６０画素）の多画素の高精細画像Ａが入力され、メモリ１０１に記憶される。メモリ１０１に記憶された高精細画像Ａは、フィルタ１０２でフィルタ処理され、図２（ｂ）に示すような画像Ａ′を得る。
【００１８】ここで、入力画像Ａの持つ空間周波数帯域は、図３に示すように水平方向にＵ、垂直方向にＶの点線で示す領域であるとすると、画像Ａ′の持つ空間周波数帯域が、斜線で示す領域（少なくとも水平方向の帯域がＵ／２以下、垂直方向の帯域がＶ／２以下）になるように、フィルタ１０２は高精細画像Ａをフィルタ処理する。このフィルタ処理された画像データは、圧縮符号化回路１０３、差分回路１０４に供給される。
【００１９】圧縮符号化回路１０３に供給された低域情報としての画像データＡ′は水平、垂直方向にそれぞれ１／２にダウンサンプリングされ、例えばＤＶフォーマットの圧縮方式に従い、８×８画素毎にブロック化し、ＤＣＴ変換及び量子化された後、可変長符号化され、主データとして多重化回路１０７に送られる。
【００２０】差分回路１０４では、フィルタ１０２から供給された画像データＡ′とメモリ１０１から供給された入力画像データＡとの差分Ｂ＝Ａ−Ａ′をとり、図２（ｃ）に示すその差分結果Ｂをフィルタ回路１０５に送る。
【００２１】フィルタ回路１０５では、差分データＢ＝Ａ−Ａ′をフィルタ処理し、図２（ｄ）に示すように、ＢLL、ＢLH、ＢHL、ＢHHの４つの周波数帯域に分割する。フィルタ１０５としては、例えばアダマール変換等を用いる。フィルタ１０５で分割された上記ＢLL、ＢLH、ＢHL、ＢHHは圧縮符号化回路１０６に送られる。
【００２２】圧縮符号化回路１０６では、上記帯域分割されたデータＢLL、ＢLH、ＢHL、ＢHHを例えばブロック符号化を用いて可変長符号化し、副データとして多重化回路１０７に送る。
【００２３】多重化回路１０７では、圧縮符号化回路１０３から供給された符号化データは記録媒体（本実施の形態では磁気テープ）１０９の主データを記録するエリアに記録するように、圧縮符号化回路１０６から供給された符号化データは副データを記録するエリアに記録するように各々の符号化データを多重化し、誤り訂正符号化回路１０８に送出する。
【００２４】誤り訂正符号化回路１０８では、上記多重化されたデータに対して記録媒体に合った誤り訂正符号を付加した後、矢印Ｔ方向に搬送される磁気テープ１０９上を矢印Ｈ方向にトレースして形成したトラック上に記録する。
【００２５】磁気テープ１０９に形成された各トラックには、図４に示すように通常のＤＶフォーマットで圧縮した主データを記録するエリアＭと副データを記録するエリアＳとが形成され、圧縮符号化回路１０３で符号化されたデータは、多重化回路１０７、誤り訂正符号化回路１０８を通して主データを記録するエリアＭに記録され、圧縮符号化回路１０６で符号化されたデータは、多重化回路１０７、誤り訂正符号化回路１０８を通して副データを記録するエリアＳに記録される。この場合、主データの記録エリアＭには、ＤＶフォーマットで圧縮した動画像信号をリアルタイムに記録再生することができる。
【００２６】次に、再生時において、上記磁気テープ１０９に記録されたデータが再生され、誤り訂正復号回路１２１でデータ誤りを訂正し、抽出回路１２２に送られる。抽出回路１２２では、記録媒体１０９の主データの記録エリアＭに記録されていた上記主データと、副データの記録エリアＳに記録されていた上記副データを抽出し、それぞれ圧縮復号化回路１２３、１２４に送る。
【００２７】圧縮復号化回路１２３では、抽出回路１２２から送られた可変長符号化されて０る主データを復号して逆量子化し、さらに逆ＤＣＴして図２（ｅ）に示す（Ｘ／２）×（Ｙ／２）画素の画像Ａ″の画素レベルに復元して、加算回路１２５とフィルタ１２６に送る。
【００２８】圧縮復号化回路１２４では、抽出回路１２２から抽出された副データを可変長復号し、ブロック復号化して帯域分割されたデータＢLL′、ＢLH′、ＢHL′、ＢHH′を復元し、フィルタ１２７に送る。このとき低域データＢLL′は、加算回路１２５にも送られる。
【００２９】加算回路１２５では、圧縮復号化回路１２３から送られた復号画像Ａ″と圧縮復号化回路１２４から送られた復号データＢLL′とを加算し、加算結果（Ａ″＋ＢLL′）がメモリ１２９に記憶される。メモリ１２９に記憶された上記加算結果（Ａ″＋ＢLL′）は出力端子１３１に出力され、不図示のＴＶモニタ等でユーザが高精細画像として視聴することができる。
【００３０】この場合、上記出力端子１３１に出力される系は、リアルタイムに記録再生が可能なので、ユーザは待ち時間なく記録されている画像を確認、視聴できる。ここで、もし副データＢLL′の再生が復号画像Ａ″の再生に間に合わなかった場合には、加算回路１２５は０データを復号画像Ａ″に加算する。
【００３１】一方、フィルタ１２６では、圧縮復号化回路１２３から送られた復号画像データＡ″をフィルタ処理し、アップサンプリングしてＸ×Ｙ画素の復号画像Ａ″′を得、加算回路１２８に送る。また、フィルタ１２７では、圧縮復号化回路１２４から送られた復号データＢLL′、ＢLH′、ＢHL′、ＢHH′をフィルタ処理して、Ｘ×Ｙ画素の復号画像Ｂ″を得、加算回路１２８に送る。
【００３２】加算回路１２８では、フィルタ１２６、１２７から送られた復号画像データＡ″′、Ｂ″を加算して、その加算結果（Ａ″′＋Ｂ″）をメモリ１３０に記憶する。上記加算結果（Ａ″′＋Ｂ″）は出力端子１３２に出力され、不図示のパソコン等に送られてパソコンモニタ、あるいはプリントアウトされ、視聴される。
【００３３】以上説明したように、本実施の形態による画像信号処理装置は、多画素の高精細画像データを記録する際、入力される高精細画像に第１のフィルタ処理をかけ、その第１のフィルタ処理をかけた結果と、上記入力された高精細画像との差分を求め、その差分データに第２のフィルタ処理をかけて、上記第１のフィルタ処理をかけた結果は主データを記録するエリアに記録し、上記第２のフィルタをかけた結果は副データの記録エリアに記録するようにし、再生時には、再生された主データに、上記副データに記録された情報の低域の情報を加算した画像データをＴＶモニタ等で表示するようにしている。
【００３４】そして、この様に、元の多画素の高精細画像を、主データと副データからの全てのデータから復元するようにしたことにより、多画素の高精細な画像を画質劣化が少なく、高画質で記録再生できるようになり、さらに、主データの記録エリアからのデータはリアルタイムに記録再生できるので、ユーザは待ち時間なく、画像を確認できる。また、その再生の際に、副データに記録された情報の低域の情報を主データからの再生データに加算しているので、リアルタイムの記録再生画像の高画質化も図ることができる。
【００３５】さらに、記録媒体としてもテープ等のメディアを採用することにより、記録時間、容量も格段に増大することができる。
【００３６】次に本発明の他の実施の形態としての記憶媒体について説明する。本発明は、ハードウェア構成により実現することもできるが、ＣＰＵとメモリからなるコンピュータシステムによる構成で実現することもできる。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。即ち、前述した実施の形態で説明した動作を実行するためのソフトウェアのプログラムコードを記憶した記憶媒体をシステムや装置で用い、そのシステムや装置のＣＰＵが上記記憶媒体に格納されたプログラムコードを読み出し、実行することにより、本発明の目的を達成することができる。
【００３７】また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【００３８】従って、この記憶媒体を図１に示したシステムや装置以外の他のシステムや装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００３９】また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００４０】
【発明の効果】以上説明したように、本発明によれば、多画素の高精細な画像を、画質劣化が少なく、高画質で画像処理及び記録再生、伝送できるシステムを提供することができる。
【００４１】また、主データの記録エリア等の第１のエリアのデータをリアルタイムに記録再生することにより、ユーザは待ち時間なく画像を確認することができる。また、その再生の際に副データが記録された記録エリア等の第２のエリアの情報の低域の情報を主データの再生データに加算することにより、リアルタイムの記録再生画像の高画質化も図ることができる。
【００４２】さらに、記録媒体としても磁気テープ等のメディアを採用することにより、記録時間、容量を格段に増大することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】本発明の実施の形態で扱う画像データの構成図である。
【図３】画像データの周波数帯域を示す特性図である。
【図４】記録媒体の記録エリアを示す構成図である。
【図５】従来の記録再生装置を示すブロック図である。
【符号の説明】
１００ 画像データの入力端子
１０１ メモリ
１０２ フィルタ
１０３ 圧縮符号化回路
１０４ 差分回路
１０５ フィルタ
１０６ 圧縮符号化回路
１０７ 多重化回路
１０８ 誤り訂正符号化回路
１０９ 記録媒体
１２１ 誤り訂正復号回路
１２２ 抽出回路
１２３ 圧縮復号化回路
１２４ 圧縮復号化回路
１２５ 加算回路
１２６ フィルタ
１２７ フィルタ
１２８ 加算回路
１２９ メモリ
１３０ メモリ
１３１ 出力端子
１３２ 出力端子
【０００１】
【発明の属する技術分野】本発明は、高精細画像データの画像処理及び記録再生、伝送に用いて好適な画像処理装置及びそれに用いられるコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】近年、ディジタル信号処理技術の進歩、記録再生技術の進歩、及び記録媒体の進歩等により、ディジタルビデオカメラやディジタルカメラが安価で広汎に出回るようになってきた。また、パーソナルコンピュータ及びその周辺機器の高性能化、低価格化も進み、個人が手軽に大量の画像を扱う素地が整いつつある。また、入力デバイスの多画素化が急速に進み、画像の高精細化が進んでいる。
【０００３】このような多画素の高精細画像を扱う従来の記録再生装置の例を図５を用いて説明する。図５において、記録時には、入力端子４００に、図２（ａ）に示すようなＸ×Ｙ画素の多画素の高精細画像Ａが入力され、メモリ４０１に記憶される。メモリ４０１に記憶された画像データはＪＰＥＧ圧縮回路４０２に送られて、ｌ×ｍ画素単位にブロック化され、ブロック単位毎にＤＣＴ変換され周波数空間上に変換された後、量子化を施される。量子化された画像データはハフマン符号等の可変長符号を用いて符号化し、誤り訂正符号化回路４０３に送出される。
【０００４】誤り訂正符号化回路４０３では、誤り訂正符号を符号化された画像データに付加して送出する。誤り訂正符号化された画像データは、さらに記録媒体４０４に合わせて伝送路符号化され、記録媒体４０４に記録される。
【０００５】再生時には、記録媒体４０４に記録されたデータが読み出され、誤り訂正復号回路４０６に送られる。誤り訂正復号回路４０６に送られた画像データは、読み出しの際に発生した誤りを訂正され、訂正後、ＪＰＥＧ復号化回路４０７に送られる。ＪＰＥＧ復号化回路４０７ではハフマン符号を復号し、復号されたデータを逆量子化した後、逆ＤＣＴして画素に戻し、メモリ４０８に送出する。
【０００６】メモリ４０８は、画素に復元されたＸ×Ｙ画素の画像データを記憶し、不図示のＬＣＤ、ＴＶモニタやパソコンモニタに表示するために出力端子４０９から記憶された画像データを出力する。
【０００７】
【発明が解決しようとする課題】しかしながら、上記従来例では、入力画像データが多画素で高精細になってくると（例えばＸ×Ｙが１２８０×９６０）処理に時間がかかり、１フレームの画像データを記録するのに十数秒、また再生するのにも表示するのにも十数秒かかり、非常に使い勝手が悪いという問題があった。また、多画素であるため情報量が増え、記録媒体がフラッシュメモリ等であると、記録できる時間、画像データが圧倒的に少なくなるという問題もあった。さらに上記従来例では、記録する画像の圧縮率を上げて、処理時間を速めて使い勝手の向上を図るということもできるが、そうすると多画素で高精細な入力画像に対して、劣化した画像しか得られず、画質的に満足できる結果が得られないという問題があった。
【０００８】本発明は、上記の問題を解決するために成されたもので、画質劣化を少なくしながら高精細画像データの処理時間を短縮し、記録できる画像も増すようにすることを目的としている。
【０００９】
【課題を解決するための手段】上記の目的を達成するために、本発明による画像処理装置においては、入力画像データをフィルタ処理する第１のフィルタ手段と、上記第１のフィルタ手段の出力画像データと上記入力画像データとの差分データを演算する演算手段と、上記差分データをフィルタ処理する第２のフィルタ手段とを設けている。
【００１０】本発明による他の画像処理装置においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報の一部を加算する第１の加算手段とを設けている。
【００１１】本発明による他の画像処理装置においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する加算手段とを設けている。
【００１２】本発明による記憶媒体においては、入力される高精細画像データから低域情報を抽出する第１のフィルタ処理と、上記抽出された低域情報と上記高精細画像データとの差分データを演算する演算処理と、上記差分データを複数帯域の高精細情報に分割する第２のフィルタ処理とを実行するためのプログラムを記憶している。
【００１３】本発明による他の記憶媒体においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報の一部を加算する第１の加算処理とを実行するためのプログラムを記憶している。
【００１４】本発明による他の記憶媒体においては、高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する第２の加算処理とを実行するためのプログラムを記憶している。
【００１５】
【発明の実施の形態】以下、本発明の実施の形態を図面と共に説明する。図１は本発明の実施の形態による画像処理装置としての記録再生装置を示すブロック図である。図１の記録系において、１００は多画素の高精細画像データの入力端子、１０１はメモリ、１０２は入力画像をフィルタ処理するフィルタ、１０３は主データ記録エリアのための画像データの圧縮符号化回路、１０４は差分回路、１０５は差分データをフィルタ処理するフィルタ、１０６は副データ記録エリアに記録するデータのための圧縮符号化回路、１０７は多重化回路、１０８は誤り訂正符号化回路、１０９は記録媒体である。
【００１６】再生系において、１０９は上記記録媒体、１２１は誤り訂正復号回路、１２２は抽出回路、１２３は主データの記録エリアからの再生データの圧縮復号化回路、１２４は副データの記録エリアからの再生データの圧縮復号化回路、１２５は加算回路、１２６は主データ記録エリアからの再生データをフィルタ処理するフィルタ回路、１２７は副データ記録エリアからの再生データをフィルタ処理するフィルタ回路、１２８は加算回路、１２９、１３０はメモリ、１３１、１３２は画像データの出力端子である。
【００１７】次に動作について説明する。記録時において、入力端子１００に図２（ａ）に示すようなＸ×Ｙ画素（例えば１２８０×９６０画素）の多画素の高精細画像Ａが入力され、メモリ１０１に記憶される。メモリ１０１に記憶された高精細画像Ａは、フィルタ１０２でフィルタ処理され、図２（ｂ）に示すような画像Ａ′を得る。
【００１８】ここで、入力画像Ａの持つ空間周波数帯域は、図３に示すように水平方向にＵ、垂直方向にＶの点線で示す領域であるとすると、画像Ａ′の持つ空間周波数帯域が、斜線で示す領域（少なくとも水平方向の帯域がＵ／２以下、垂直方向の帯域がＶ／２以下）になるように、フィルタ１０２は高精細画像Ａをフィルタ処理する。このフィルタ処理された画像データは、圧縮符号化回路１０３、差分回路１０４に供給される。
【００１９】圧縮符号化回路１０３に供給された低域情報としての画像データＡ′は水平、垂直方向にそれぞれ１／２にダウンサンプリングされ、例えばＤＶフォーマットの圧縮方式に従い、８×８画素毎にブロック化し、ＤＣＴ変換及び量子化された後、可変長符号化され、主データとして多重化回路１０７に送られる。
【００２０】差分回路１０４では、フィルタ１０２から供給された画像データＡ′とメモリ１０１から供給された入力画像データＡとの差分Ｂ＝Ａ−Ａ′をとり、図２（ｃ）に示すその差分結果Ｂをフィルタ回路１０５に送る。
【００２１】フィルタ回路１０５では、差分データＢ＝Ａ−Ａ′をフィルタ処理し、図２（ｄ）に示すように、ＢLL、ＢLH、ＢHL、ＢHHの４つの周波数帯域に分割する。フィルタ１０５としては、例えばアダマール変換等を用いる。フィルタ１０５で分割された上記ＢLL、ＢLH、ＢHL、ＢHHは圧縮符号化回路１０６に送られる。
【００２２】圧縮符号化回路１０６では、上記帯域分割されたデータＢLL、ＢLH、ＢHL、ＢHHを例えばブロック符号化を用いて可変長符号化し、副データとして多重化回路１０７に送る。
【００２３】多重化回路１０７では、圧縮符号化回路１０３から供給された符号化データは記録媒体（本実施の形態では磁気テープ）１０９の主データを記録するエリアに記録するように、圧縮符号化回路１０６から供給された符号化データは副データを記録するエリアに記録するように各々の符号化データを多重化し、誤り訂正符号化回路１０８に送出する。
【００２４】誤り訂正符号化回路１０８では、上記多重化されたデータに対して記録媒体に合った誤り訂正符号を付加した後、矢印Ｔ方向に搬送される磁気テープ１０９上を矢印Ｈ方向にトレースして形成したトラック上に記録する。
【００２５】磁気テープ１０９に形成された各トラックには、図４に示すように通常のＤＶフォーマットで圧縮した主データを記録するエリアＭと副データを記録するエリアＳとが形成され、圧縮符号化回路１０３で符号化されたデータは、多重化回路１０７、誤り訂正符号化回路１０８を通して主データを記録するエリアＭに記録され、圧縮符号化回路１０６で符号化されたデータは、多重化回路１０７、誤り訂正符号化回路１０８を通して副データを記録するエリアＳに記録される。この場合、主データの記録エリアＭには、ＤＶフォーマットで圧縮した動画像信号をリアルタイムに記録再生することができる。
【００２６】次に、再生時において、上記磁気テープ１０９に記録されたデータが再生され、誤り訂正復号回路１２１でデータ誤りを訂正し、抽出回路１２２に送られる。抽出回路１２２では、記録媒体１０９の主データの記録エリアＭに記録されていた上記主データと、副データの記録エリアＳに記録されていた上記副データを抽出し、それぞれ圧縮復号化回路１２３、１２４に送る。
【００２７】圧縮復号化回路１２３では、抽出回路１２２から送られた可変長符号化されて０る主データを復号して逆量子化し、さらに逆ＤＣＴして図２（ｅ）に示す（Ｘ／２）×（Ｙ／２）画素の画像Ａ″の画素レベルに復元して、加算回路１２５とフィルタ１２６に送る。
【００２８】圧縮復号化回路１２４では、抽出回路１２２から抽出された副データを可変長復号し、ブロック復号化して帯域分割されたデータＢLL′、ＢLH′、ＢHL′、ＢHH′を復元し、フィルタ１２７に送る。このとき低域データＢLL′は、加算回路１２５にも送られる。
【００２９】加算回路１２５では、圧縮復号化回路１２３から送られた復号画像Ａ″と圧縮復号化回路１２４から送られた復号データＢLL′とを加算し、加算結果（Ａ″＋ＢLL′）がメモリ１２９に記憶される。メモリ１２９に記憶された上記加算結果（Ａ″＋ＢLL′）は出力端子１３１に出力され、不図示のＴＶモニタ等でユーザが高精細画像として視聴することができる。
【００３０】この場合、上記出力端子１３１に出力される系は、リアルタイムに記録再生が可能なので、ユーザは待ち時間なく記録されている画像を確認、視聴できる。ここで、もし副データＢLL′の再生が復号画像Ａ″の再生に間に合わなかった場合には、加算回路１２５は０データを復号画像Ａ″に加算する。
【００３１】一方、フィルタ１２６では、圧縮復号化回路１２３から送られた復号画像データＡ″をフィルタ処理し、アップサンプリングしてＸ×Ｙ画素の復号画像Ａ″′を得、加算回路１２８に送る。また、フィルタ１２７では、圧縮復号化回路１２４から送られた復号データＢLL′、ＢLH′、ＢHL′、ＢHH′をフィルタ処理して、Ｘ×Ｙ画素の復号画像Ｂ″を得、加算回路１２８に送る。
【００３２】加算回路１２８では、フィルタ１２６、１２７から送られた復号画像データＡ″′、Ｂ″を加算して、その加算結果（Ａ″′＋Ｂ″）をメモリ１３０に記憶する。上記加算結果（Ａ″′＋Ｂ″）は出力端子１３２に出力され、不図示のパソコン等に送られてパソコンモニタ、あるいはプリントアウトされ、視聴される。
【００３３】以上説明したように、本実施の形態による画像信号処理装置は、多画素の高精細画像データを記録する際、入力される高精細画像に第１のフィルタ処理をかけ、その第１のフィルタ処理をかけた結果と、上記入力された高精細画像との差分を求め、その差分データに第２のフィルタ処理をかけて、上記第１のフィルタ処理をかけた結果は主データを記録するエリアに記録し、上記第２のフィルタをかけた結果は副データの記録エリアに記録するようにし、再生時には、再生された主データに、上記副データに記録された情報の低域の情報を加算した画像データをＴＶモニタ等で表示するようにしている。
【００３４】そして、この様に、元の多画素の高精細画像を、主データと副データからの全てのデータから復元するようにしたことにより、多画素の高精細な画像を画質劣化が少なく、高画質で記録再生できるようになり、さらに、主データの記録エリアからのデータはリアルタイムに記録再生できるので、ユーザは待ち時間なく、画像を確認できる。また、その再生の際に、副データに記録された情報の低域の情報を主データからの再生データに加算しているので、リアルタイムの記録再生画像の高画質化も図ることができる。
【００３５】さらに、記録媒体としてもテープ等のメディアを採用することにより、記録時間、容量も格段に増大することができる。
【００３６】次に本発明の他の実施の形態としての記憶媒体について説明する。本発明は、ハードウェア構成により実現することもできるが、ＣＰＵとメモリからなるコンピュータシステムによる構成で実現することもできる。コンピュータシステムに構成する場合、上記メモリは本発明による記憶媒体を構成する。即ち、前述した実施の形態で説明した動作を実行するためのソフトウェアのプログラムコードを記憶した記憶媒体をシステムや装置で用い、そのシステムや装置のＣＰＵが上記記憶媒体に格納されたプログラムコードを読み出し、実行することにより、本発明の目的を達成することができる。
【００３７】また、この記憶媒体としては、ＲＯＭ、ＲＡＭ等の半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよく、これらをＣＤ−ＲＯＭ、フロッピィディスク、磁気媒体、磁気カード、不揮発性メモリカード等に構成して用いてよい。
【００３８】従って、この記憶媒体を図１に示したシステムや装置以外の他のシステムや装置で用い、そのシステムあるいはコンピュータがこの記憶媒体に格納されたプログラムコードを読み出し、実行することによっても、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００３９】また、コンピュータ上で稼働しているＯＳ等が処理の一部又は全部を行う場合、あるいは記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された拡張機能ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づいて、上記拡張機能ボードや拡張機能ユニットに備わるＣＰＵ等が処理の一部又は全部を行う場合にも、上記実施の形態と同等の機能を実現できると共に、同等の効果を得ることができ、本発明の目的を達成することができる。
【００４０】
【発明の効果】以上説明したように、本発明によれば、多画素の高精細な画像を、画質劣化が少なく、高画質で画像処理及び記録再生、伝送できるシステムを提供することができる。
【００４１】また、主データの記録エリア等の第１のエリアのデータをリアルタイムに記録再生することにより、ユーザは待ち時間なく画像を確認することができる。また、その再生の際に副データが記録された記録エリア等の第２のエリアの情報の低域の情報を主データの再生データに加算することにより、リアルタイムの記録再生画像の高画質化も図ることができる。
【００４２】さらに、記録媒体としても磁気テープ等のメディアを採用することにより、記録時間、容量を格段に増大することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】本発明の実施の形態で扱う画像データの構成図である。
【図３】画像データの周波数帯域を示す特性図である。
【図４】記録媒体の記録エリアを示す構成図である。
【図５】従来の記録再生装置を示すブロック図である。
【符号の説明】
１００ 画像データの入力端子
１０１ メモリ
１０２ フィルタ
１０３ 圧縮符号化回路
１０４ 差分回路
１０５ フィルタ
１０６ 圧縮符号化回路
１０７ 多重化回路
１０８ 誤り訂正符号化回路
１０９ 記録媒体
１２１ 誤り訂正復号回路
１２２ 抽出回路
１２３ 圧縮復号化回路
１２４ 圧縮復号化回路
１２５ 加算回路
１２６ フィルタ
１２７ フィルタ
１２８ 加算回路
１２９ メモリ
１３０ メモリ
１３１ 出力端子
１３２ 出力端子
【特許請求の範囲】
【請求項１】 入力画像データをフィルタ処理する第１のフィルタ手段と、上記第１のフィルタ手段の出力画像データと上記入力画像データとの差分データを演算する演算手段と、上記差分データをフィルタ処理する第２のフィルタ手段とを設けたことを特徴とする画像処理装置。
【請求項２】 上記第１のフィルタ手段の出力画像データを記録媒体の第１のエリアに記録し、上記第２のフィルタ手段の出力画像データを上記記録媒体の第２のエリアに記録する記録手段を設けたことを特徴とする請求項１記載の画像処理装置。
【請求項３】 上記記録手段は、上記第１のフィルタ手段の出力画像データを上記記録媒体の第１のエリアにリアルタイムに記録可能であることを特徴とする請求項２記載の画像処理装置。
【請求項４】 上記第１のフィルタ手段の出力画像データをリアルタイムに伝送する伝送手段を設けたことを特徴とする請求項１記載の画像処理装置。
【請求項５】 上記入力画像データは高精細画像データであり、上記第１のフィルタ手段は、上記高精細画像データの低域情報を抽出すると共に、上記第２のフィルタ手段は、上記差分データを複数帯域の高精細情報に分割することを特徴とする請求項１記載の画像処理装置。
【請求項６】 上記記録手段は、上記第１、第２のフィルタ手段の各出力画像データをそれぞれ圧縮符号化して記録することを特徴とする請求項２記載の画像処理装置。
【請求項７】 上記記録媒体の第１のエリアに記録されたデータから第１の画像データをリアルタイムに再生する再生手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項８】 上記記録媒体を再生する再生手段と、上記第２のエリアの第２の再生データの一部を、上記第１のエリアの第１の再生データに加算する第１の加算手段とを設けたことを特徴とする請求項２記載の画像処理装置。
【請求項９】 上記入力画像データは高精細画像データであり、上記第１のフィルタ手段は、上記高精細画像データの低域情報を抽出すると共に、上記第２のフィルタ手段は、上記差分データを複数帯域の高精細情報に分割するようになされ、上記第１の加算手段は、上記第２の再生データにおける上記複数帯域の高精細情報のうちの低域のデータを上記第１の再生データに加算することを特徴とする請求項８記載の画像処理装置。
【請求項１０】 上記記録媒体を再生する再生手段と、上記第２のエリアの第２の再生データを上記第１のエリアの第１の再生データに加算して高精細画像データを生成する第２の加算手段とを設けたことを特徴とする請求項２記載の画像処理装置。
【請求項１１】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報のうちの低域情報を加算する第１の加算手段とを設けたことを特徴とする画像処理装置。
【請求項１２】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する加算手段とを設けたことを特徴とする画像処理装置。
【請求項１３】 上記高精細画像データから抽出された低域情報は記録媒体の第１のエリアに記録されると共に、上記複数帯域に分割された高精細情報は上記記録媒体の第２のエリアに記録され、上記入力手段は、上記記録媒体を再生し再生データを上記加算手段に供給する再生手段を有することを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１４】 上記再生手段は、上記第２のエリアをリアルタイムに再生可能であることを特徴とする請求項１３記載の画像処理装置。
【請求項１５】 上記入力される各情報は圧縮符号化情報であり、上記入力手段は、上記各圧縮符号化情報の復号化手段を含むことを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１６】 入力される高精細画像データから低域情報を抽出する第１のフィルタ処理と、上記抽出された低域情報と上記高精細画像データとの差分データを演算する演算処理と、上記差分データを複数帯域の高精細情報に分割する第２のフィルタ処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１７】 上記低域情報を記録媒体の第１のエリアに記録し、上記複数帯域の高精細情報を上記記録媒体の第２のエリアに記録する記録処理を上記プログラムに設けたことを特徴とする請求項１６記載のコンピュータ読み取り可能な記憶媒体。
【請求項１８】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報のうちの低域情報を加算する第１の加算処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１９】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する第２の加算処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２０】 上記入力処理は、上記高精細画像データから抽出された低域情報を記録媒体の第１のエリアから再生すると共に、上記複数帯域に分割された高精細情報を上記記録媒体の第２のエリアから再生することを特徴とする請求項１８又は１９記載のコンピュータ読み取り可能な記憶媒体。
【請求項１】 入力画像データをフィルタ処理する第１のフィルタ手段と、上記第１のフィルタ手段の出力画像データと上記入力画像データとの差分データを演算する演算手段と、上記差分データをフィルタ処理する第２のフィルタ手段とを設けたことを特徴とする画像処理装置。
【請求項２】 上記第１のフィルタ手段の出力画像データを記録媒体の第１のエリアに記録し、上記第２のフィルタ手段の出力画像データを上記記録媒体の第２のエリアに記録する記録手段を設けたことを特徴とする請求項１記載の画像処理装置。
【請求項３】 上記記録手段は、上記第１のフィルタ手段の出力画像データを上記記録媒体の第１のエリアにリアルタイムに記録可能であることを特徴とする請求項２記載の画像処理装置。
【請求項４】 上記第１のフィルタ手段の出力画像データをリアルタイムに伝送する伝送手段を設けたことを特徴とする請求項１記載の画像処理装置。
【請求項５】 上記入力画像データは高精細画像データであり、上記第１のフィルタ手段は、上記高精細画像データの低域情報を抽出すると共に、上記第２のフィルタ手段は、上記差分データを複数帯域の高精細情報に分割することを特徴とする請求項１記載の画像処理装置。
【請求項６】 上記記録手段は、上記第１、第２のフィルタ手段の各出力画像データをそれぞれ圧縮符号化して記録することを特徴とする請求項２記載の画像処理装置。
【請求項７】 上記記録媒体の第１のエリアに記録されたデータから第１の画像データをリアルタイムに再生する再生手段を設けたことを特徴とする請求項２記載の画像処理装置。
【請求項８】 上記記録媒体を再生する再生手段と、上記第２のエリアの第２の再生データの一部を、上記第１のエリアの第１の再生データに加算する第１の加算手段とを設けたことを特徴とする請求項２記載の画像処理装置。
【請求項９】 上記入力画像データは高精細画像データであり、上記第１のフィルタ手段は、上記高精細画像データの低域情報を抽出すると共に、上記第２のフィルタ手段は、上記差分データを複数帯域の高精細情報に分割するようになされ、上記第１の加算手段は、上記第２の再生データにおける上記複数帯域の高精細情報のうちの低域のデータを上記第１の再生データに加算することを特徴とする請求項８記載の画像処理装置。
【請求項１０】 上記記録媒体を再生する再生手段と、上記第２のエリアの第２の再生データを上記第１のエリアの第１の再生データに加算して高精細画像データを生成する第２の加算手段とを設けたことを特徴とする請求項２記載の画像処理装置。
【請求項１１】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報のうちの低域情報を加算する第１の加算手段とを設けたことを特徴とする画像処理装置。
【請求項１２】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力手段と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する加算手段とを設けたことを特徴とする画像処理装置。
【請求項１３】 上記高精細画像データから抽出された低域情報は記録媒体の第１のエリアに記録されると共に、上記複数帯域に分割された高精細情報は上記記録媒体の第２のエリアに記録され、上記入力手段は、上記記録媒体を再生し再生データを上記加算手段に供給する再生手段を有することを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１４】 上記再生手段は、上記第２のエリアをリアルタイムに再生可能であることを特徴とする請求項１３記載の画像処理装置。
【請求項１５】 上記入力される各情報は圧縮符号化情報であり、上記入力手段は、上記各圧縮符号化情報の復号化手段を含むことを特徴とする請求項１１又は１２記載の画像処理装置。
【請求項１６】 入力される高精細画像データから低域情報を抽出する第１のフィルタ処理と、上記抽出された低域情報と上記高精細画像データとの差分データを演算する演算処理と、上記差分データを複数帯域の高精細情報に分割する第２のフィルタ処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１７】 上記低域情報を記録媒体の第１のエリアに記録し、上記複数帯域の高精細情報を上記記録媒体の第２のエリアに記録する記録処理を上記プログラムに設けたことを特徴とする請求項１６記載のコンピュータ読み取り可能な記憶媒体。
【請求項１８】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報のうちの低域情報を加算する第１の加算処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１９】 高精細画像データから抽出された低域情報と、上記高精細画像データと上記低域情報との差分データを複数帯域に分割した高精細情報とを入力する入力処理と、上記入力された低域情報に、上記入力された複数帯域に分割された高精細情報を加算することにより、高精細画像データを生成する第２の加算処理とを実行するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項２０】 上記入力処理は、上記高精細画像データから抽出された低域情報を記録媒体の第１のエリアから再生すると共に、上記複数帯域に分割された高精細情報を上記記録媒体の第２のエリアから再生することを特徴とする請求項１８又は１９記載のコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０００−２１７１０７（Ｐ２０００−２１７１０７Ａ）
【公開日】平成１２年８月４日（２０００．８．４）
【国際特許分類】
【出願番号】特願平１１−１３９０８
【出願日】平成１１年１月２２日（１９９９．１．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１２年８月４日（２０００．８．４）
【国際特許分類】
【出願日】平成１１年１月２２日（１９９９．１．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]