画像処理方法及び画像処理システム
【課題】画像データを圧縮処理後、伸張処理して表示処理を行う系において、伸張処理後に拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することである。
【解決手段】原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする。
【解決手段】原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル化された画像情報を圧縮して伝送した後、これを伸張して表示する画像処理系において、画像圧縮による画質劣化にもかかわらず、高画質で表示を行うための画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
画像データを圧縮して伝送した後、伸張して表示処理を行う系において、表示処理に伴う拡大処理によって生じる画質劣化(拡大ボケ)のため、或いは、ディスプレイサイズの増大による表示画面のボケ防止のため、画像に対する鮮鋭化処理を行おうとすると、圧縮によって生じた圧縮歪やブロックノイズ等のノイズ自体も鮮鋭化させてしまう可能性があり、十分な鮮鋭化を実施することが出来ない。このため、画像圧縮後の伸張画像には圧縮によるノイズも同時に伸張されるので、ノイズ除去等の処理を行い、発生したノイズを除去する処理などを行った後、表示処理を行う動作フローが一般的であるが、ノイズ除去処理によって画像の鮮鋭感が失われたり、ノイズ除去自体に大きな処理量が必要となり、システムの負荷を増大させているなどの問題がある。
【０００３】
言い換えれば、画像圧縮した後に伝送或いは記録し、受信時或いは再生時に伸張処理して画像データをディスプレイ画面に表示するときに、表示処理として拡大処理した後に輪郭をくっきりさせるなどの鮮鋭化処理を行うと、圧縮処理によって生じたノイズが鮮鋭化されて拡大処理されてしまうことになる。
【０００４】
先行技術としては、例えば特許文献１に開示されているものがある。特許文献１は、圧縮された画像の画質の向上を行うための方法と装置であって、ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１６７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は上記の問題に鑑み、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法が提供される。
【０００８】
本発明の他の態様は、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、圧縮処理された画像データを伸張処理する伸張処理部と、伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、を具備したことを特徴とする画像処理システムが提供される。
【発明の効果】
【０００９】
本発明によれば、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理方法を概略的に説明する図。
【図２】本発明の一実施形態に係る画像処理方法の動作を説明するフローチャート。
【図３】本発明におけるプレ圧縮処理の動作を詳しく説明するローチャート。
【図４】本発明におけるプレ圧縮処理を、画素配列に対する輝度勾配のグラフを用いて説明する図
【図５】本発明の画像処理方法を、送受信システムに応用した例を概略的に説明するブロック図。
【図６】本発明の画像処理方法を、記録再生システムに応用した例を概略的に説明するブロック図。
【図７】従来例における伸張処理後の画像であって、原画像をH.264にて圧縮、伸張した画像を示す図。
【図８】本発明における高画質圧縮伸張処理後の画像であって、原画像に対し超解像処理を施し縦横２倍に拡大し、これに鮮鋭化処理を施し、更にバイリニア法によって縮小した後、H.264にて圧縮、伸張した伸張画像を示す図。
【図９】従来例における表示処理後の表示画像であって、原画像をH.264にて圧縮、伸張した画像を、バイリニア法により２倍に拡大した表示画像を示す図。
【図１０】本発明における表示処理後の表示画像であって、高画質圧縮の例として、原画像に対し超解像処理を施し縦横２倍に拡大し、これに３鮮鋭化処理を施し、更にバイリニア法によって縮小した後、H.264にて圧縮、伸張した画像をバイリニア法により２倍に拡大した表示画像を示す図。
【図１１】従来例における表示処理後の表示画像であって、圧縮歪発生の例として、原画像を低ビットレート(高圧縮率)でH.264にて圧縮処理し、伸張した画像をバイリニア法により２倍に拡大した表示画像に対して、鮮鋭化処理を実施した表示画像を示す図。
【図１２】本発明における表示処理後の表示画像であって、圧縮歪発生の例として、原画像に対し超解像処理を施し縦横２倍に拡大し、これに３鮮鋭化処理を施し、更にバイリニア法によって縮小した後、低ビットレート(高圧縮率)でH.264にて圧縮処理し、伸張した画像をバイリニア法により２倍に拡大した表示画像を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態に係る画像処理方法の概略的に示す説明図である。
図１に示す画像処理方法は、原画像データの圧縮前に表示処理による画質劣化を踏まえた周波数制御処理を含む前処理(以下、プレ圧縮処理という)を行った後に、このプレ圧縮処理された画像データを圧縮する。例えば、表示画面に対する表示処理が拡大処理であれば、プレ圧縮処理としては、面積増大による輝度周波数劣化を想定し、画像サイズを拡大する拡大処理を行った後、高周波数化による周波数制御処理(例えばコントラスト伸張処理や鮮鋭化処理)を行い、その後に縮小処理を行う。
【００１２】
図１で、符号Ａ→Ｂ→Ｃ→Ｄ1→Ｅ1→Ｆ1の経路は、本発明による高画質化のためのプレ圧縮処理を含んだデータフローを示している。また、符号Ａ→Ｄ→Ｅ→Ｆ又はＦ2の経路は、本発明のデータフローとの比較のための従来例のデータフローを示している。
【００１３】
先ず、比較のために従来例から説明する。
従来例のデータフローでは、原画像データＡを圧縮処理することによって圧縮データＤが作成され、この圧縮データＤを伝送路(図示略)を介して受信側へ伝送したり、或いは、その圧縮データを録画部(図示略)の記録媒体などに保存したりする。そして、受信側で受信したり、或いは、録画部から再生した圧縮データは、伸張処理されて伸張画像Ｅに復元され、さらに表示処理して画像サイズが拡大(又は縮小)された表示画像Ｆとしてディスプレイ(図示略)に供給される。表示処理としては、単に拡大(又は縮小)処理が行われて表示画像Ｆとしてディスプレイに出力される処理を行う場合のほか、拡大(又は縮小)処理が行われた後にさらに輪郭強調等の鮮鋭化処理が行われて表示画像Ｆ2としてディスプレイに出力される処理を行う場合もある。
【００１４】
このように、従来は、表示のための鮮鋭化処理を、表示処理における拡大処理後に行っていたのに対して、本発明では、表示のための鮮鋭化処理(言い換えれば、高周波数化を含む周波数制御処理)を、圧縮・伸張処理における圧縮処理の前に予め行っておくようにすることにより、表示処理に鮮鋭化処理が要らなくなる、ようにしたものである。本発明では、鮮鋭化処理を、圧縮処理前に行うプレ圧縮処理の中に含めて実施する。
【００１５】
本発明によるデータフローでは、原画像データＡに対して前もってプレ圧縮処理Ａ〜Ｃを行う。プレ圧縮処理は、原画像サイズを拡大する拡大処理と、拡大処理した画像データを高周波数化する処理と、高周波数化した画像データを原画像サイズ以下に縮小する縮小処理とを行うことによって、拡大しかつ拡大による画質劣化を抑えた画像データＢを得た後、さらに縮小処理を行うことによって、原画像サイズ以下の画像データＣを生成する。この縮小データは、さらに既存の圧縮処理が施されてデータ量が少なくされた圧縮データＤ1になる。この圧縮データＤ1は、受信側に伝送路(図示略)を介して伝送されたり、或いは、録画部(図示略)の記録媒体に保存されたりする。その後、圧縮データＤ1は伸張処理されて高画質圧縮伸張画像データＥ1となり、さらに拡大(又は縮小)処理の表示処理を受けて表示画像Ｆ1としてディスプレイ(図示略)に表示出力される。
【００１６】
ここで、圧縮・伸張処理と、拡大・縮小処理について説明する。圧縮・伸張処理は、画像のデータ量を小さくしたり元の大きさに復元したりする技術で、ＪＰＥＧ，ＭＰＥＧ２，ＭＰＥＧ４，Ｈ．２６４などの方式がある。圧縮処理は、エンコード(符号化)と対応しており画像のデータ量自体を小さくする処理であり、伸張処理は、デコード(復号化)と対応しており圧縮したデータを元のデータ量に復元する処理である。拡大・縮小処理は、画像データの縦横の画素数(即ち画像サイズ)を変更する技術で、バイリニア法、バイキュービック法などの方法がある。
【００１７】
図２は本発明の一実施形態の画像処理方法のデータフローを示すフローチャートである。
画像処理方法は、(1)一旦原画像サイズを拡大処理した画像データに対し、後のステップで伸張処理した後の拡大(又は縮小)処理の画像サイズに応じた高周波数化を実施した後、原画像サイズ以下の縮小した画像データを生成するものであって、画素数の増加または表示デバイスのインチ数などに応じて拡大(又は縮小)処理を最適化するためのプレ圧縮処理Ｓ1〜Ｓ3と、(2) ＪＰＥＧ／ＭＰＥＧ−２／ＭＰＥＧ−4，Ｈ．２６４といった既存符号化・復号化処理(汎用処理)を行う画像データの圧縮・伸張処理Ｓ4，Ｓ5と、(3) 画像サイズの拡大又は縮小のスケーリング処理を実施することによって表示画像を生成する表示処理(ここでは、プレ圧縮処理を実施しているので、鮮鋭化処理を行わず、拡大又は縮小のスケーリング処理だけを実施する)Ｓ6と、を備えている。なお、高周波数化のステップＳ2は、後段の伸張処理後のデータを拡大する予定ならば、圧縮処理(Ｓ4)する前に拡大後の画像が最適化されるように予め画像データの周波数変換(高周波数化)を行う処理であって、圧縮処理(Ｓ4)する前に高周波数化による鮮鋭化処理を行うものである。
【００１８】
図３はプレ圧縮処理Ｓ1〜Ｓ3の実施例を示している。
拡大処理Ｓ1は、画像サイズを拡大するためのスケーリングを行うもので、バイリニア法、バイキュービック法などの画像サイズ変更に伴って実施可能な既存の補間方法が用いられる。
【００１９】
高周波数化の処理Ｓ2は、前記拡大処理Ｓ1後の画像データの高周波成分を抽出して輪郭強調を行うアンシャープマスキング処理，鮮鋭化タップフィルタ処理，及び、コントラスト伸張(強調)を行うヒストグラム伸張処理のうちの１つの処理であってもよいが、それらのうちの２つ以上の処理を同時に行うようにしてもよい。高周波数化の処理Ｓ2としては、図３に示した以外にも種々の方法が可能である。
【００２０】
アンシャープマスキング法は、原画像から平滑化（画像をぼかす）した画像を減算して高周波成分を抽出し、これを原画像に加算して、高周波成分を強調する方法である。
鮮鋭化タップフィルタ処理は、デジタルフィルタのタップ係数を制御することによって高周波成分を強調する方法である。
ヒストグラム伸張処理は、画素値がある範囲に偏って分布しているような画像に対して、より広範囲に画素値の分布を拡げる濃度変換であり、ヒストグラム伸張することで、画像に使われている画素値の幅を広くし、画像の明暗を分かり易くする。
【００２１】
画像サイズを縮小するためのスケーリングを行う縮小処理Ｓ3は、縮小率に応じた重み付け平均化タップフィルタ処理(タップ係数を制御する処理)と、この平均化タップフィルタ処理をした後の画像データに対し、バイリニア法、バイキュービック法などの既存の補間方法を用いて画像サイズを縮小する処理と、を備えている。
【００２２】
図４はプレ圧縮処理を、画素配列に対する輝度勾配を示すグラフを用いて説明する図である。 画像を構成する１本の水平ライン上の画素について見ると、横軸には水平ライン上の画素の配列をとり、縦軸には各画素の画像値をとると、プレ圧縮処理の過程は図４(a)〜(c)のように表される。ここでは、プレ圧縮処理を説明するために、例えば、原画像を最終の表示処理で２倍に拡大する場合を示している。
【００２３】
図４(a)は原画像の輝度勾配、図４(b)は原画像を拡大処理した後に高周波数化を行った周波数制御処理画像の輝度勾配、図４(c)は高周波数化した後に縮小処理したプレ圧縮処理画像の輝度勾配、をそれぞれ示している。これらの図で、横軸は画素配列を、縦軸は画素値(輝度)を、○印は画素を示している。斜線の入った○は原画像の画素を示し、外周が点線の○は拡大処理することによって原画像の画素間に補間された画素を示し、この拡大処理された画素配列を結ぶ点線Ｑに対して更に高周波数化の処理を施した画素配列を示す実線Ｐの画素を黒丸●で示している。
【００２４】
図４(b)で、符号Ｐで示される実線は拡大処理後に高周波数化の処理を受けた画素配列(画素は●)の輝度勾配であり、Ｑは拡大処理直後の(拡大処理後に高周波数化の処理を受ける以前の)画素配列の輝度勾配を示している。図４(c)で、符号Ｐ1は図４(b)の画素配列Ｐを縮小処理した後の輝度勾配を示し、Ｑ1は図４(b)の画素配列Ｑを縮小処理した後の輝度勾配に対応している。つまり、Ｑ1は、図４(b)に示した●にて示す画素配列のような高周波数化の処理をせずに、単純に縮小した場合に相当する。
【００２５】
図４(a)の原画像輝度勾配で、符号Ｈで示される部分は画像のエッジ部分に相当していて、画素値が急激に上昇している。このＨ部分が、画像を２倍に拡大することによって、図４(b)の周波数制御処理画像輝度勾配の画素配列Ｑのようになだらかになる。これは、拡大処理によって輝度勾配が弱くなることを意味している。そこで、画像を２倍に拡大処理した後に高周波数化の処理を施すと、図４(b)の周波数制御処理画像輝度勾配の画素配列Ｐのようになる。これは、高周波数化によってエッジ部分の輝度勾配を強くしたことにより、拡大処理によって輝度勾配が弱くなるのを防ぐことができることを意味している。
【００２６】
図５は本発明の画像処理方法を送受信システムに応用した例を概略的に示すブロック図である。
図５に示す送受信システムは、送信側の入力端子１１に入力した原画像データをプレ圧縮処理部１２でプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大又は縮小の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の前記表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理を行い、その後に圧縮処理部１３で圧縮処理を実行することにより、画像データのサイズを圧縮する。
【００２７】
ここで、表示処理に応じた高周波数化とは、表示処理における画像サイズの拡大(又は縮小)に応じて高周波数化(例えばエッジ部分の輝度勾配の強調(又は弱調))を行うことをいう。
【００２８】
このときの圧縮処理の実行によって、後に続く伝送路１７を経由してのデータ伝送を少ないデータ量で行うことが可能となる。
【００２９】
そして、圧縮処理された画像データは、有線或いは無線の伝送路１７を介して受信側に送信され、受信側の伸張処理部１４へ入力される。伸張処理部１４では、圧縮処理部１３で圧縮される前のデータサイズに伸張(デコード)された後、表示処理部１５に送られる。表示処理部１５ではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子１６から出力される。例えば原画像のサイズに対して２倍に拡大処理されてディスプレイに表示される。
【００３０】
図６は本発明の画像処理方法を、記録再生システムに応用した他の例を概略的に示すブロック図である。
図６に示す記録再生システムは、記録側の入力端子１１ａに入力した原画像データをプレ圧縮処理部１２ａでプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大(又は縮小)の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理)し、その後に圧縮処理部１３ａで圧縮処理を実行することにより、画像データのサイズを圧縮する。このときの圧縮処理の実行によって、後に続く記録媒体１８へのデータ記録を少ないデータ量で行うことが可能となる。
【００３１】
そして、圧縮された画像データは、ハードディスクやＤＶＤ等の記録媒体１８に一旦記録される。その後、再生時には、記録媒体１８に記録されている圧縮データが読み出されて伸張処理部１４ａへ供給される。伸張処理部１４ａでは、圧縮処理部１３ａで圧縮される前のデータサイズに伸張(デコード)された後、表示処理部１５ａに送られる。表示処理部１５ａではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子１６ａから出力される。例えば原画像のサイズに対して２倍に拡大処理されてディスプレイに表示される。
【００３２】
図７及び図８は、図１における従来例の伸張画像データＥと、本発明に係る伸張画像データＥ1とを比較するための図である。画像データＥ，Ｅ1の各サイズは横縦が320×240である。
図７は、従来例において、原画像データをH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
【００３３】
図８は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、その後にH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
【００３４】
図９及び図１０は、図１における従来例の表示画像データＦと、本発明に係る表示画像データＦ1とを比較するための図である。画像データＦ，Ｆ1の各サイズは横縦が640×480である。
図９は、従来例において、原画像データをH.264にて圧縮処理した後、伸張(復元)処理した画像を、バイリニア法により２倍に拡大処理した表示画像を示している。
図１０は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、そしてH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により２倍に拡大した表示画像を示している。
【００３５】
図１１及び図１２は、図１における従来例の表示画像データＦ2と、本発明に係る表示画像データＦ1とを比較するための図である。画像データＦ2，Ｆ1の各サイズは横縦が640×480である。
図１１は、従来例において、原画像データを低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像を、バイリニア法により２倍に拡大した画像に対して、鮮鋭化処理として３タップフィルタ処理を実施した表示画像を示している。
図１２は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小処理するプレ圧縮処理を実施し、そして低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により２倍に拡大した表示画像を示している。
【００３６】
図１１，図１２の処理による表示画像は、圧縮処理での圧縮率が高いので、図９，図１０の処理による表示画像と対比すると、鮮鋭化処理によって圧縮歪が強調され、画質劣化を招いていることが分かる。
【００３７】
画像圧縮を行う前に、伸張後の表示処理にて拡大処理が行われることを想定し、拡大によって画像が低周波数化(ボケる)することを想定し、圧縮前にあらかじめ次の(1)または(2)の処理を施す。
(1)．超解像処理(拡大による画質劣化を抑えた拡大処理) + 縮小処理(原画像サイズ以下にするスケーリング処理で、過度の平均化による低周波数化が発生しないようにした処理)により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
【００３８】
(2)．原画像に対するコントラスト伸張処理により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
これらの処理によって生成された原画像サイズ以下の画像に対して、画像圧縮処理を行う。
本方法を経て圧縮された画像データは、伸張後、たとえばバイリニア法などによって画像拡大した場合でも、鮮鋭化処理の必要が無く、受信側又は再生側での表示処理に伴う画像ボケを補償する必要がない。
【００３９】
なお、圧縮処理と表示処理とが閉じているクローズドシステム(Closed System)に対しては、本発明は非常に有用である。
【００４０】
ここで、クローズドシステムとは、伸張処理後の画像をディスプレイに出力するまでの間に、どのような処理を行うかが、圧縮処理時に分かっているシステムと定義する。すなわち、クローズドシステムにおいては圧縮処理前の周波数制御処理を最適化することが可能となる。
【００４１】
クローズドシステムの例として、たとえば、送信機側で圧縮データを生成、送信し、これを特定受信機で受け取る。受信機側で圧縮データを伸張し、特定受信機が持つディスプレイサイズに拡大して表示するような系においては、特定受信機に付設したディスプレイサイズに合わせて伸張後のデータを拡大することになるため、送信機側は、圧縮前に特定受信機での拡大処理の拡大率にあわせた周波数制御処理を行えばよいことになる。
【００４２】
加えて、受信機側での表示処理として鮮鋭化処理などが不要となり、受信機側に求められる表示処理性能を抑えることが出来る。
【００４３】
本発明の実施形態によれば、プレ圧縮処理において、周波数制御処理後の画像サイズを原画像サイズ以下とすることで、後段の圧縮処理における圧縮データのサイズは原画像のそれと同じか、若しくは小さくすることが出来る。
従来は、圧縮・伸張処理における伸張処理後の画像に対して表示のための鮮鋭化処理等を実施していたため、圧縮により発生した圧縮歪やブロックノイズ等のノイズを鮮鋭化処理等にて助長する問題が発生するが、本発明の実施形態によれば、伸張画像データに対する鮮鋭化処理を行う必要がなくなるため、この問題は発生しなくなる。
【００４４】
また、写真、動画など、画質を保持したまま、圧縮率を高め伝送したり記録したりすることが可能となる。
【００４５】
尚、プレ圧縮処理は、拡大及び縮小を伴う処理で限定されなくてもよく、表示処理を考慮した原画像の周波数最適化を行うものであればよい。例えば、拡大処理をせずに、アンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理のいずれか少なくとも１つを行い、縮小処理をせずに、圧縮処理に移行してもよい。
【符号の説明】
【００４６】
Ｓ1…拡大処理、Ｓ2…周波数制御処理、Ｓ3…縮小処理、Ｓ4…圧縮処理、Ｓ5…伸張処理、Ｓ6…表示処理、１１，１１ａ…原画像入力端子、１２，１２ａ…プレ圧縮処理部、１３，１３ａ…圧縮処理部、１４，１４ａ…伸張処理部、１５，１５ａ…表示処理部、１６，１６ａ…表示画像出力端子。
【技術分野】
【０００１】
本発明は、デジタル化された画像情報を圧縮して伝送した後、これを伸張して表示する画像処理系において、画像圧縮による画質劣化にもかかわらず、高画質で表示を行うための画像処理方法及び画像処理システムに関する。
【背景技術】
【０００２】
画像データを圧縮して伝送した後、伸張して表示処理を行う系において、表示処理に伴う拡大処理によって生じる画質劣化(拡大ボケ)のため、或いは、ディスプレイサイズの増大による表示画面のボケ防止のため、画像に対する鮮鋭化処理を行おうとすると、圧縮によって生じた圧縮歪やブロックノイズ等のノイズ自体も鮮鋭化させてしまう可能性があり、十分な鮮鋭化を実施することが出来ない。このため、画像圧縮後の伸張画像には圧縮によるノイズも同時に伸張されるので、ノイズ除去等の処理を行い、発生したノイズを除去する処理などを行った後、表示処理を行う動作フローが一般的であるが、ノイズ除去処理によって画像の鮮鋭感が失われたり、ノイズ除去自体に大きな処理量が必要となり、システムの負荷を増大させているなどの問題がある。
【０００３】
言い換えれば、画像圧縮した後に伝送或いは記録し、受信時或いは再生時に伸張処理して画像データをディスプレイ画面に表示するときに、表示処理として拡大処理した後に輪郭をくっきりさせるなどの鮮鋭化処理を行うと、圧縮処理によって生じたノイズが鮮鋭化されて拡大処理されてしまうことになる。
【０００４】
先行技術としては、例えば特許文献１に開示されているものがある。特許文献１は、圧縮された画像の画質の向上を行うための方法と装置であって、ウェーブレット順変換を使用して、画像に関する雑音除去とボケを除くことを実行するウェーブレット向上ユニットと、圧縮ウェーブレット変換を使用して、ウェーブレット向上ユニットからの向上された画像出力を圧縮する、ウェーブレット向上ユニットに接続された、圧縮器とを有する、符号化器が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１６７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は上記の問題に鑑み、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法が提供される。
【０００８】
本発明の他の態様は、原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、圧縮処理された画像データを伸張処理する伸張処理部と、伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、を具備したことを特徴とする画像処理システムが提供される。
【発明の効果】
【０００９】
本発明によれば、画像データを圧縮処理して伝送或いは記録した後、伸張処理して表示処理を行う系において、伸張処理後の表示処理にて拡大処理を行っても、圧縮処理によって生じるノイズを目立たせることなく、画像を鮮鋭化することができる画像処理方法及び画像処理システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理方法を概略的に説明する図。
【図２】本発明の一実施形態に係る画像処理方法の動作を説明するフローチャート。
【図３】本発明におけるプレ圧縮処理の動作を詳しく説明するローチャート。
【図４】本発明におけるプレ圧縮処理を、画素配列に対する輝度勾配のグラフを用いて説明する図
【図５】本発明の画像処理方法を、送受信システムに応用した例を概略的に説明するブロック図。
【図６】本発明の画像処理方法を、記録再生システムに応用した例を概略的に説明するブロック図。
【図７】従来例における伸張処理後の画像であって、原画像をH.264にて圧縮、伸張した画像を示す図。
【図８】本発明における高画質圧縮伸張処理後の画像であって、原画像に対し超解像処理を施し縦横２倍に拡大し、これに鮮鋭化処理を施し、更にバイリニア法によって縮小した後、H.264にて圧縮、伸張した伸張画像を示す図。
【図９】従来例における表示処理後の表示画像であって、原画像をH.264にて圧縮、伸張した画像を、バイリニア法により２倍に拡大した表示画像を示す図。
【図１０】本発明における表示処理後の表示画像であって、高画質圧縮の例として、原画像に対し超解像処理を施し縦横２倍に拡大し、これに３鮮鋭化処理を施し、更にバイリニア法によって縮小した後、H.264にて圧縮、伸張した画像をバイリニア法により２倍に拡大した表示画像を示す図。
【図１１】従来例における表示処理後の表示画像であって、圧縮歪発生の例として、原画像を低ビットレート(高圧縮率)でH.264にて圧縮処理し、伸張した画像をバイリニア法により２倍に拡大した表示画像に対して、鮮鋭化処理を実施した表示画像を示す図。
【図１２】本発明における表示処理後の表示画像であって、圧縮歪発生の例として、原画像に対し超解像処理を施し縦横２倍に拡大し、これに３鮮鋭化処理を施し、更にバイリニア法によって縮小した後、低ビットレート(高圧縮率)でH.264にて圧縮処理し、伸張した画像をバイリニア法により２倍に拡大した表示画像を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態に係る画像処理方法の概略的に示す説明図である。
図１に示す画像処理方法は、原画像データの圧縮前に表示処理による画質劣化を踏まえた周波数制御処理を含む前処理(以下、プレ圧縮処理という)を行った後に、このプレ圧縮処理された画像データを圧縮する。例えば、表示画面に対する表示処理が拡大処理であれば、プレ圧縮処理としては、面積増大による輝度周波数劣化を想定し、画像サイズを拡大する拡大処理を行った後、高周波数化による周波数制御処理(例えばコントラスト伸張処理や鮮鋭化処理)を行い、その後に縮小処理を行う。
【００１２】
図１で、符号Ａ→Ｂ→Ｃ→Ｄ1→Ｅ1→Ｆ1の経路は、本発明による高画質化のためのプレ圧縮処理を含んだデータフローを示している。また、符号Ａ→Ｄ→Ｅ→Ｆ又はＦ2の経路は、本発明のデータフローとの比較のための従来例のデータフローを示している。
【００１３】
先ず、比較のために従来例から説明する。
従来例のデータフローでは、原画像データＡを圧縮処理することによって圧縮データＤが作成され、この圧縮データＤを伝送路(図示略)を介して受信側へ伝送したり、或いは、その圧縮データを録画部(図示略)の記録媒体などに保存したりする。そして、受信側で受信したり、或いは、録画部から再生した圧縮データは、伸張処理されて伸張画像Ｅに復元され、さらに表示処理して画像サイズが拡大(又は縮小)された表示画像Ｆとしてディスプレイ(図示略)に供給される。表示処理としては、単に拡大(又は縮小)処理が行われて表示画像Ｆとしてディスプレイに出力される処理を行う場合のほか、拡大(又は縮小)処理が行われた後にさらに輪郭強調等の鮮鋭化処理が行われて表示画像Ｆ2としてディスプレイに出力される処理を行う場合もある。
【００１４】
このように、従来は、表示のための鮮鋭化処理を、表示処理における拡大処理後に行っていたのに対して、本発明では、表示のための鮮鋭化処理(言い換えれば、高周波数化を含む周波数制御処理)を、圧縮・伸張処理における圧縮処理の前に予め行っておくようにすることにより、表示処理に鮮鋭化処理が要らなくなる、ようにしたものである。本発明では、鮮鋭化処理を、圧縮処理前に行うプレ圧縮処理の中に含めて実施する。
【００１５】
本発明によるデータフローでは、原画像データＡに対して前もってプレ圧縮処理Ａ〜Ｃを行う。プレ圧縮処理は、原画像サイズを拡大する拡大処理と、拡大処理した画像データを高周波数化する処理と、高周波数化した画像データを原画像サイズ以下に縮小する縮小処理とを行うことによって、拡大しかつ拡大による画質劣化を抑えた画像データＢを得た後、さらに縮小処理を行うことによって、原画像サイズ以下の画像データＣを生成する。この縮小データは、さらに既存の圧縮処理が施されてデータ量が少なくされた圧縮データＤ1になる。この圧縮データＤ1は、受信側に伝送路(図示略)を介して伝送されたり、或いは、録画部(図示略)の記録媒体に保存されたりする。その後、圧縮データＤ1は伸張処理されて高画質圧縮伸張画像データＥ1となり、さらに拡大(又は縮小)処理の表示処理を受けて表示画像Ｆ1としてディスプレイ(図示略)に表示出力される。
【００１６】
ここで、圧縮・伸張処理と、拡大・縮小処理について説明する。圧縮・伸張処理は、画像のデータ量を小さくしたり元の大きさに復元したりする技術で、ＪＰＥＧ，ＭＰＥＧ２，ＭＰＥＧ４，Ｈ．２６４などの方式がある。圧縮処理は、エンコード(符号化)と対応しており画像のデータ量自体を小さくする処理であり、伸張処理は、デコード(復号化)と対応しており圧縮したデータを元のデータ量に復元する処理である。拡大・縮小処理は、画像データの縦横の画素数(即ち画像サイズ)を変更する技術で、バイリニア法、バイキュービック法などの方法がある。
【００１７】
図２は本発明の一実施形態の画像処理方法のデータフローを示すフローチャートである。
画像処理方法は、(1)一旦原画像サイズを拡大処理した画像データに対し、後のステップで伸張処理した後の拡大(又は縮小)処理の画像サイズに応じた高周波数化を実施した後、原画像サイズ以下の縮小した画像データを生成するものであって、画素数の増加または表示デバイスのインチ数などに応じて拡大(又は縮小)処理を最適化するためのプレ圧縮処理Ｓ1〜Ｓ3と、(2) ＪＰＥＧ／ＭＰＥＧ−２／ＭＰＥＧ−4，Ｈ．２６４といった既存符号化・復号化処理(汎用処理)を行う画像データの圧縮・伸張処理Ｓ4，Ｓ5と、(3) 画像サイズの拡大又は縮小のスケーリング処理を実施することによって表示画像を生成する表示処理(ここでは、プレ圧縮処理を実施しているので、鮮鋭化処理を行わず、拡大又は縮小のスケーリング処理だけを実施する)Ｓ6と、を備えている。なお、高周波数化のステップＳ2は、後段の伸張処理後のデータを拡大する予定ならば、圧縮処理(Ｓ4)する前に拡大後の画像が最適化されるように予め画像データの周波数変換(高周波数化)を行う処理であって、圧縮処理(Ｓ4)する前に高周波数化による鮮鋭化処理を行うものである。
【００１８】
図３はプレ圧縮処理Ｓ1〜Ｓ3の実施例を示している。
拡大処理Ｓ1は、画像サイズを拡大するためのスケーリングを行うもので、バイリニア法、バイキュービック法などの画像サイズ変更に伴って実施可能な既存の補間方法が用いられる。
【００１９】
高周波数化の処理Ｓ2は、前記拡大処理Ｓ1後の画像データの高周波成分を抽出して輪郭強調を行うアンシャープマスキング処理，鮮鋭化タップフィルタ処理，及び、コントラスト伸張(強調)を行うヒストグラム伸張処理のうちの１つの処理であってもよいが、それらのうちの２つ以上の処理を同時に行うようにしてもよい。高周波数化の処理Ｓ2としては、図３に示した以外にも種々の方法が可能である。
【００２０】
アンシャープマスキング法は、原画像から平滑化（画像をぼかす）した画像を減算して高周波成分を抽出し、これを原画像に加算して、高周波成分を強調する方法である。
鮮鋭化タップフィルタ処理は、デジタルフィルタのタップ係数を制御することによって高周波成分を強調する方法である。
ヒストグラム伸張処理は、画素値がある範囲に偏って分布しているような画像に対して、より広範囲に画素値の分布を拡げる濃度変換であり、ヒストグラム伸張することで、画像に使われている画素値の幅を広くし、画像の明暗を分かり易くする。
【００２１】
画像サイズを縮小するためのスケーリングを行う縮小処理Ｓ3は、縮小率に応じた重み付け平均化タップフィルタ処理(タップ係数を制御する処理)と、この平均化タップフィルタ処理をした後の画像データに対し、バイリニア法、バイキュービック法などの既存の補間方法を用いて画像サイズを縮小する処理と、を備えている。
【００２２】
図４はプレ圧縮処理を、画素配列に対する輝度勾配を示すグラフを用いて説明する図である。 画像を構成する１本の水平ライン上の画素について見ると、横軸には水平ライン上の画素の配列をとり、縦軸には各画素の画像値をとると、プレ圧縮処理の過程は図４(a)〜(c)のように表される。ここでは、プレ圧縮処理を説明するために、例えば、原画像を最終の表示処理で２倍に拡大する場合を示している。
【００２３】
図４(a)は原画像の輝度勾配、図４(b)は原画像を拡大処理した後に高周波数化を行った周波数制御処理画像の輝度勾配、図４(c)は高周波数化した後に縮小処理したプレ圧縮処理画像の輝度勾配、をそれぞれ示している。これらの図で、横軸は画素配列を、縦軸は画素値(輝度)を、○印は画素を示している。斜線の入った○は原画像の画素を示し、外周が点線の○は拡大処理することによって原画像の画素間に補間された画素を示し、この拡大処理された画素配列を結ぶ点線Ｑに対して更に高周波数化の処理を施した画素配列を示す実線Ｐの画素を黒丸●で示している。
【００２４】
図４(b)で、符号Ｐで示される実線は拡大処理後に高周波数化の処理を受けた画素配列(画素は●)の輝度勾配であり、Ｑは拡大処理直後の(拡大処理後に高周波数化の処理を受ける以前の)画素配列の輝度勾配を示している。図４(c)で、符号Ｐ1は図４(b)の画素配列Ｐを縮小処理した後の輝度勾配を示し、Ｑ1は図４(b)の画素配列Ｑを縮小処理した後の輝度勾配に対応している。つまり、Ｑ1は、図４(b)に示した●にて示す画素配列のような高周波数化の処理をせずに、単純に縮小した場合に相当する。
【００２５】
図４(a)の原画像輝度勾配で、符号Ｈで示される部分は画像のエッジ部分に相当していて、画素値が急激に上昇している。このＨ部分が、画像を２倍に拡大することによって、図４(b)の周波数制御処理画像輝度勾配の画素配列Ｑのようになだらかになる。これは、拡大処理によって輝度勾配が弱くなることを意味している。そこで、画像を２倍に拡大処理した後に高周波数化の処理を施すと、図４(b)の周波数制御処理画像輝度勾配の画素配列Ｐのようになる。これは、高周波数化によってエッジ部分の輝度勾配を強くしたことにより、拡大処理によって輝度勾配が弱くなるのを防ぐことができることを意味している。
【００２６】
図５は本発明の画像処理方法を送受信システムに応用した例を概略的に示すブロック図である。
図５に示す送受信システムは、送信側の入力端子１１に入力した原画像データをプレ圧縮処理部１２でプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大又は縮小の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の前記表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理を行い、その後に圧縮処理部１３で圧縮処理を実行することにより、画像データのサイズを圧縮する。
【００２７】
ここで、表示処理に応じた高周波数化とは、表示処理における画像サイズの拡大(又は縮小)に応じて高周波数化(例えばエッジ部分の輝度勾配の強調(又は弱調))を行うことをいう。
【００２８】
このときの圧縮処理の実行によって、後に続く伝送路１７を経由してのデータ伝送を少ないデータ量で行うことが可能となる。
【００２９】
そして、圧縮処理された画像データは、有線或いは無線の伝送路１７を介して受信側に送信され、受信側の伸張処理部１４へ入力される。伸張処理部１４では、圧縮処理部１３で圧縮される前のデータサイズに伸張(デコード)された後、表示処理部１５に送られる。表示処理部１５ではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子１６から出力される。例えば原画像のサイズに対して２倍に拡大処理されてディスプレイに表示される。
【００３０】
図６は本発明の画像処理方法を、記録再生システムに応用した他の例を概略的に示すブロック図である。
図６に示す記録再生システムは、記録側の入力端子１１ａに入力した原画像データをプレ圧縮処理部１２ａでプレ圧縮処理(画像圧縮を行う前の処理であって、伸張処理後の拡大(又は縮小)の表示処理によって低周波数化(ボケ)することを想定し、前記伸張処理後の表示処理に応じた高周波数化を行う周波数制御処理を実施し、高周波数化された原画像サイズを縮小処理し、原画像サイズ以下の画像データを生成する処理)し、その後に圧縮処理部１３ａで圧縮処理を実行することにより、画像データのサイズを圧縮する。このときの圧縮処理の実行によって、後に続く記録媒体１８へのデータ記録を少ないデータ量で行うことが可能となる。
【００３１】
そして、圧縮された画像データは、ハードディスクやＤＶＤ等の記録媒体１８に一旦記録される。その後、再生時には、記録媒体１８に記録されている圧縮データが読み出されて伸張処理部１４ａへ供給される。伸張処理部１４ａでは、圧縮処理部１３ａで圧縮される前のデータサイズに伸張(デコード)された後、表示処理部１５ａに送られる。表示処理部１５ａではディスプレイの画像サイズ(解像度即ち画素数)に合うように拡大処理されて出力端子１６ａから出力される。例えば原画像のサイズに対して２倍に拡大処理されてディスプレイに表示される。
【００３２】
図７及び図８は、図１における従来例の伸張画像データＥと、本発明に係る伸張画像データＥ1とを比較するための図である。画像データＥ，Ｅ1の各サイズは横縦が320×240である。
図７は、従来例において、原画像データをH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
【００３３】
図８は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、その後にH.264にて圧縮処理した後、伸張処理(復元)した伸張画像を示している。
【００３４】
図９及び図１０は、図１における従来例の表示画像データＦと、本発明に係る表示画像データＦ1とを比較するための図である。画像データＦ，Ｆ1の各サイズは横縦が640×480である。
図９は、従来例において、原画像データをH.264にて圧縮処理した後、伸張(復元)処理した画像を、バイリニア法により２倍に拡大処理した表示画像を示している。
図１０は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小するプレ圧縮処理を実施し、そしてH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により２倍に拡大した表示画像を示している。
【００３５】
図１１及び図１２は、図１における従来例の表示画像データＦ2と、本発明に係る表示画像データＦ1とを比較するための図である。画像データＦ2，Ｆ1の各サイズは横縦が640×480である。
図１１は、従来例において、原画像データを低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像を、バイリニア法により２倍に拡大した画像に対して、鮮鋭化処理として３タップフィルタ処理を実施した表示画像を示している。
図１２は、原画像データに対して超解像処理を施し縦横２倍に拡大し、これに３タップフィルタによる平均化処理を施した後、バイリニア法によって縮小処理するプレ圧縮処理を実施し、そして低ビットレート(高圧縮率)でH.264にて圧縮処理した後、伸張処理(復元)した画像をバイリニア法により２倍に拡大した表示画像を示している。
【００３６】
図１１，図１２の処理による表示画像は、圧縮処理での圧縮率が高いので、図９，図１０の処理による表示画像と対比すると、鮮鋭化処理によって圧縮歪が強調され、画質劣化を招いていることが分かる。
【００３７】
画像圧縮を行う前に、伸張後の表示処理にて拡大処理が行われることを想定し、拡大によって画像が低周波数化(ボケる)することを想定し、圧縮前にあらかじめ次の(1)または(2)の処理を施す。
(1)．超解像処理(拡大による画質劣化を抑えた拡大処理) + 縮小処理(原画像サイズ以下にするスケーリング処理で、過度の平均化による低周波数化が発生しないようにした処理)により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
【００３８】
(2)．原画像に対するコントラスト伸張処理により、原画像に対して高周波数化された原画像サイズ以下の画像を生成する。
これらの処理によって生成された原画像サイズ以下の画像に対して、画像圧縮処理を行う。
本方法を経て圧縮された画像データは、伸張後、たとえばバイリニア法などによって画像拡大した場合でも、鮮鋭化処理の必要が無く、受信側又は再生側での表示処理に伴う画像ボケを補償する必要がない。
【００３９】
なお、圧縮処理と表示処理とが閉じているクローズドシステム(Closed System)に対しては、本発明は非常に有用である。
【００４０】
ここで、クローズドシステムとは、伸張処理後の画像をディスプレイに出力するまでの間に、どのような処理を行うかが、圧縮処理時に分かっているシステムと定義する。すなわち、クローズドシステムにおいては圧縮処理前の周波数制御処理を最適化することが可能となる。
【００４１】
クローズドシステムの例として、たとえば、送信機側で圧縮データを生成、送信し、これを特定受信機で受け取る。受信機側で圧縮データを伸張し、特定受信機が持つディスプレイサイズに拡大して表示するような系においては、特定受信機に付設したディスプレイサイズに合わせて伸張後のデータを拡大することになるため、送信機側は、圧縮前に特定受信機での拡大処理の拡大率にあわせた周波数制御処理を行えばよいことになる。
【００４２】
加えて、受信機側での表示処理として鮮鋭化処理などが不要となり、受信機側に求められる表示処理性能を抑えることが出来る。
【００４３】
本発明の実施形態によれば、プレ圧縮処理において、周波数制御処理後の画像サイズを原画像サイズ以下とすることで、後段の圧縮処理における圧縮データのサイズは原画像のそれと同じか、若しくは小さくすることが出来る。
従来は、圧縮・伸張処理における伸張処理後の画像に対して表示のための鮮鋭化処理等を実施していたため、圧縮により発生した圧縮歪やブロックノイズ等のノイズを鮮鋭化処理等にて助長する問題が発生するが、本発明の実施形態によれば、伸張画像データに対する鮮鋭化処理を行う必要がなくなるため、この問題は発生しなくなる。
【００４４】
また、写真、動画など、画質を保持したまま、圧縮率を高め伝送したり記録したりすることが可能となる。
【００４５】
尚、プレ圧縮処理は、拡大及び縮小を伴う処理で限定されなくてもよく、表示処理を考慮した原画像の周波数最適化を行うものであればよい。例えば、拡大処理をせずに、アンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理のいずれか少なくとも１つを行い、縮小処理をせずに、圧縮処理に移行してもよい。
【符号の説明】
【００４６】
Ｓ1…拡大処理、Ｓ2…周波数制御処理、Ｓ3…縮小処理、Ｓ4…圧縮処理、Ｓ5…伸張処理、Ｓ6…表示処理、１１，１１ａ…原画像入力端子、１２，１２ａ…プレ圧縮処理部、１３，１３ａ…圧縮処理部、１４，１４ａ…伸張処理部、１５，１５ａ…表示処理部、１６，１６ａ…表示画像出力端子。
【特許請求の範囲】
【請求項１】
原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、
前記原画像データに対して前記圧縮処理を行う前に、
前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、
この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法。
【請求項２】
前記周波数制御処理は、
原画像サイズを拡大する拡大処理と、
伸張後の前記表示処理である拡大処理によって低周波数化することを想定し、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う処理と、
を備えたことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記高周波数化を行う処理は、
画像データの高周波成分を強調するアンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理の少なくとも１つを用いることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記縮小処理は、
縮小率に応じた重み付け平均化タップフィルタ処理と、
既存の画像サイズ変更に伴う補間方法によって縮小する処理と、
を備えたことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、
前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、
このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、
圧縮処理された画像データを伸張処理する伸張処理部と、
伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、
を具備したことを特徴とする画像処理システム。
【請求項１】
原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズの表示画像データを生成する画像処理方法において、
前記原画像データに対して前記圧縮処理を行う前に、
前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小処理して、原画像サイズ以下の画像データを生成するプレ圧縮処理を行い、
この生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行うことを特徴とする画像処理方法。
【請求項２】
前記周波数制御処理は、
原画像サイズを拡大する拡大処理と、
伸張後の前記表示処理である拡大処理によって低周波数化することを想定し、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う処理と、
を備えたことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記高周波数化を行う処理は、
画像データの高周波成分を強調するアンシャープマスキング処理、鮮鋭化タップフィルタ処理、及びヒストグラム伸張処理の少なくとも１つを用いることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記縮小処理は、
縮小率に応じた重み付け平均化タップフィルタ処理と、
既存の画像サイズ変更に伴う補間方法によって縮小する処理と、
を備えたことを特徴とする請求項１に記載の画像処理方法。
【請求項５】
原画像データを圧縮処理した後、伸張処理を行い、さらに表示処理を行って所定の画像サイズでディスプレイに表示する画像処理システムにおいて、
前記原画像データに対して前記圧縮処理を行う前に、前記伸張処理後の前記表示処理の画像サイズに応じた高周波数化を行う周波数制御処理を実施し、この高周波数化された画像データのサイズを縮小して、原画像サイズ以下の画像データを生成するプレ圧縮処理部と、
このプレ圧縮処理部で生成された原画像サイズ以下の画像データに対して、前記圧縮処理を行う圧縮処理部と、
圧縮処理された画像データを伸張処理する伸張処理部と、
伸張処理された画像データを拡大処理又は縮小処理して前記ディスプレイに表示するための表示画像を生成する表示処理部と、
を具備したことを特徴とする画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１３９１１４（Ｐ２０１１−１３９１１４Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９５５５６（Ｐ２００９−２９５５５６）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]