説明

画像処理方法、及び画像処理装置

【課題】フレーム数が増加しても画像データのサイズを抑えることができる画像処理方法及び画像処理装置を提供することである。
【解決手段】本発明にかかる画像処理方法は、輝度情報(Y)と、青色成分と輝度との色差の情報である第1の色差情報(U)および赤色成分と輝度との色差の情報である第2の色差情報(V)を含む色差情報(U/V)と、を有する画像データを用意する。画像データのうちの第1のフレームを構成する輝度情報23と色差情報24を第1のフレームを構成するデータ20として出力する。そして、画像データのうちの第1のフレームに続く第2のフレームを構成する輝度情報25と、画像データのうちの第1のフレームを構成する色差情報24と、を第2のフレームを構成するデータ26として出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理方法、及び画像処理装置に関し、特にYUVで構成された画像データを圧縮する画像処理方法、及び画像処理装置に関する。
【背景技術】
【0002】
近年、特に液晶パネルを用いたTV機器では、動きの大きな映像を表示させた際に発生する残像現象の影響を小さくするために、機器内部で受信映像のフレーム数を増加させる処理を行っている。このような処理により、液晶パネルでは、例えば毎秒60フレームや120フレームなどの高速なフレームレートで表示することが可能となっている。
【0003】
動画を形成するために連続して表示される静止画像は、一つ一つの画素(pixel)がそれぞれの色、明るさなどの情報を有している。そして、この情報の表し方には大きく分けて2種類ある。一つ目は、図6に示すように輝度(明るさ)情報と2種類の色(色差)情報で一画素を構成するもので、一般にYUV形式、あるいはYCbCr、YPbPrと表現される(特許文献1参照)。二つ目は前述の輝度、色差の代わりに色の3原色(赤、青、緑)で構成するもので、一般にRGB形式といわれている。
【0004】
図6で示したYUV形式は、1画素が輝度成分(Y)、輝度成分と青色成分の色差1(U)、輝度成分と赤色成分の色差2(V)をそれぞれ独立で持つ形式あり、YUV4:4:4などと呼ばれている。このYUV4:4:4は、画像が最も精細であるがデータのサイズが大きくなる。
【0005】
また、第2の形式はYUV4:2:2である。これは図7に示す様に、横に並んだ2画素のYが、U、Vを共有するものである。1フレームの情報をYUV4:2:2で表すと、図7に示す通り、U、Vの情報量がそれぞれYの情報量の1/2になる。よって、この場合は隣り合った画素の色差情報を共有することで総データ量を2/3に減らすことができる。この形式では、明るさに比べて色に対する分解能が低いという人間の目の特性を利用して、同一フレーム内でのデータ量を削減している。
【0006】
また、第3の形式はYUV4:2:0である。これは図8に示す様に、縦・横2画素ずつ並んだ4画素のYが、U、Vを共有するものである。1フレームの情報をYUV4:2:0で表すと、図8に示す通り、U、Vの情報量がそれぞれYの情報量の1/4になる。よって、この場合は縦・横2画素ずつ並んだ4画素の色差情報を共有することで総データ量を1/2に減らすことができる。
【0007】
日本のアナログTV放送(NTSC方式)は、YUV4:2:2の映像を毎秒30コマで放送している。またデジタルでのTV放送はMPEG等の映像圧縮技術を用いて演算により圧縮された映像データを放送しており、当該映像データは受信後に受像機器で伸張処理されている。伸張処理された後の映像は毎秒30フレームの映像であり、その各フレームは前述のYUVデータを持つ映像である(YUV4:2:2またはYUV4:2:0が一般的)。
【0008】
このように受信した映像データはドライバLSI等で処理された後に表示デバイス(ブラウン管、液晶パネル等)に表示される。昨今、特に液晶パネルを用いたデジタルTV機器では、動きの大きな映像を表示させた際に発生する残像現象の影響を小さくするために、機器内部で受信映像のフレーム数を増加する処理を行っている。この処理により、毎秒60フレームや120フレームなどの高速なフレームレートで動画を表示させることができる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開平10−304401号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
背景技術で説明したデジタルTV機器では、動きの大きな映像を表示させた際に発生する残像現象の影響を小さくするために、機器内部で受信映像のフレーム数を増加する処理を行っている。このようにフレーム数を増加させると、映像機器が取り扱うデータ量が多くなるためメモリサイズや伝送路帯域、消費電力などが大きくなる。
【0011】
また、フレームを生成するための処理やデータ転送に当てられる時間は、1フレームを表示している時間内に限られる。このため、フレーム数が増えればそれに応じて表示時間が短くなり、フレーム生成処理やデータ転送をより高速にする必要がある。そのためには、クロック周波数を高くし、データ処理を並列処理化することが必要であるが、このような回路構成とすると回路規模が増大し、また、消費電力が増加する。
【0012】
また高速な伝送ではCMOS信号による伝送からLVDSなどの差動を用いた伝送に変更したり、LVDS伝送路を複数並列配置したりするなど、新たな方法での伝送手法を用いる必要がある。しかし、これらを実現するには新たなLSI等を作製する必要があるため開発コストかかり、またデバイスの増加により製品コストが増大する。
【課題を解決するための手段】
【0013】
本発明にかかる画像処理方法は、輝度情報と、青色成分と前記輝度との色差の情報である第1の色差情報および赤色成分と前記輝度との色差の情報である第2の色差情報を含む色差情報と、を有する画像データを用意し、前記画像データのうちの第1のフレームを構成する前記輝度情報と前記色差情報とを前記第1のフレームを構成するデータとして出力し、前記画像データのうちの前記第1のフレームに続く第2のフレームを構成する前記輝度情報と、前記画像データのうち前記第1のフレームを構成する前記色差情報と、を前記第2のフレームを構成するデータとして出力する。
【0014】
本発明にかかる画像処理方法では、第2のフレームを表示する際に第1のフレームの色差情報を用いているので、画像データのサイズを小さくすることができる。
【0015】
また、本発明にかかる画像処理装置は、輝度情報と、青色成分と前記輝度との色差の情報である第1の色差情報および赤色成分と前記輝度との色差の情報である第2の色差情報を含む色差情報と、を有する第1のフレームの画像データから、前記色差情報を分離する色差情報分離部と、前記色差情報分離部で分離した前記第1のフレームの前記色差情報を記憶する記憶部と、第2のフレームの輝度情報と、前記記憶部に記憶されている前記第1のフレームの前記色差情報と、を合成する輝度・色差合成部と、を有する。
【0016】
本発明にかかる画像処理装置では、第2のフレームを表示する際に第1のフレームの色差情報を用いているので、画像データのサイズを小さくすることができる。
【発明の効果】
【0017】
本発明によりフレーム数が増加しても画像データのサイズを抑えることができる画像処理方法及び画像処理装置を提供することが可能となる。
【図面の簡単な説明】
【0018】
【図1】実施の形態1にかかる画像処理装置を示す図である。
【図2】実施の形態1にかかる画像処理方法を説明するための図である。
【図3】実施の形態2にかかる画像処理方法を説明するための図である。
【図4】実施の形態3にかかる画像処理方法を説明するための図である。
【図5】実施の形態4にかかる画像処理方法を説明するための図である。
【図6】YUV4:4:4で構成される画像を示す図である。
【図7】YUV4:2:2で構成される画像を示す図である。
【図8】YUV4:2:0で構成される画像を示す図である。
【発明を実施するための形態】
【0019】
実施の形態1.
以下、図面を参照して本発明の実施の形態について説明する。
本実施の形態にかかる画像処理方法は、輝度情報(Y)と、青色成分と前記輝度との色差の情報である第1の色差情報(U)および赤色成分と前記輝度との色差の情報である第2の色差情報(V)を含む色差情報(U/V)と、を有する画像データを用意する。
【0020】
そして、画像データのうちの第1のフレームを構成する輝度情報(Y)と色差情報(U/V)とを第1のフレームを構成するデータとして出力する。
【0021】
また、画像データのうちの第1のフレームに続く第2のフレームを構成する輝度情報(Y)と、画像データのうちの第1のフレームを構成する色差情報(U/V)と、を第2のフレームを構成するデータとして出力する。
【0022】
本実施の形態にかかる画像処理方法では、第2のフレームを表示する際に第1のフレームの色差情報を用いているので、画像データのサイズを小さくすることができる。以下、具体的に説明する。
【0023】
図2は本実施の形態にかかる画像処理方法を説明するための図である。図2は、入力映像のフレームがYUV4:2:2で構成されている場合の例である。第1フレームの転送データ(画像データ)20は、輝度情報(Y)23と、青色成分と輝度との色差の情報である第1の色差情報(U)及び赤色成分と前記輝度との色差の情報である第2の色差情報(V)とを有する画像データで構成される。ここで、第1の色差情報(U)と第2の色差情報(V)をあわせて色差情報(U/V)24と記載する。第1フレームは各画素が輝度情報(Y)23を持ち、左右に隣接する2画素で共有した色差情報(U/V)24を持つ、いわゆるYUV4:2:2である。
【0024】
第2フレームの転送データ21は、各画素が第2フレームの輝度情報(Y)25を有する。しかし、図2の第2フレームの転送データ21は通常のYUV4:2:2で構成される画像データのうち第2フレームの色差情報は持たない。
【0025】
本実施の形態にかかる画像処理方法では、第1フレームの転送データ20の色差情報24を保存して、保存された色差情報22としている。そして、第2フレームの転送データ21の輝度情報(Y)25と、保存された色差情報(第1フレームの色差情報)22を合成することで、第2フレームの出力データ26を生成している。
【0026】
よって、本実施の形態にかかる画像処理方法では、第2フレームで第1フレームの色差情報(第1の色差情報および第2の色差情報)22を用いているので、画像データのサイズを小さくすることができる。
【0027】
人間の時間方向への視覚能力は、明るさ(輝度)に対しては敏感であるが、色(色差)に対しては比較的鈍感である。本実施の形態にかかる画像処理方法ではこの性質を利用し、人間の視覚が鈍感である色差情報24を第1フレームと第2フレームとで共有することで画像データのサイズを小さくしている。
【0028】
次に、図1を用いて本実施の形態にかかる画像処理方法を実施するための画像処理装置の一例について説明する。図1に示す画像処理装置は、フレーム管理部10と、色差情報分離部11と、記憶部12と、色差情報読出し部13と、輝度・色差合成部14と、映像選択出力部15と、を有する。
【0029】
フレーム管理部10は、入力された各フレームの画像データが色差情報を有するか否かを判断し、当該情報を管理する機能を有する。色差情報分離部11は入力された画像データが色差情報を含む場合、画像データから色差情報を分離する機能を有する。記憶部12は、色差情報分離部11により分離された色差情報を記憶する機能を有する。
【0030】
また、色差情報読出し部13は、記憶部12に保存された色差情報を読出す機能を有する。輝度・色差合成部14は、入力された画像データのうちの輝度情報(第2フレームの輝度情報)と、記憶部12から色差情報読出し部13により読み出された色差情報(第1フレームの色差情報)を合成し、輝度・色差情報を持つデータに復元する機能を有する。映像選択出力部15は、フレーム管理手段10からの管理情報に基づき、入力された画像データまたは輝度・色差合成部14からのデータを選択し、画像データとして出力する。
【0031】
次に、本実施の形態にかかる画像処理装置の動作について、図1、図2を用いて説明する。
フレーム管理部10は、入力された各フレームの画像データが色差情報24を有するか否かを判断する。まず、第1フレームの転送データ20(輝度情報と色差情報を含むデータとする)が入力された場合、フレーム管理部10は、当該画像データが色差情報を含むフレームである事を色差情報分離部11及び映像選択出力部15に伝達する。
【0032】
色差情報分離部11は、入力された第1フレームの転送データ20から色差情報24を選択し、色差情報24を記憶部12へ出力する。記憶部12は色差情報24を記憶する。記憶部12で記憶された色差情報24は保存された色差情報22となる。
また、この場合、映像選択出力部15は、入力された第1フレームの転送データ20を出力として選択する。
【0033】
そして、第1フレームの転送データ20の画像処理の後に、第2フレームの転送データ(輝度情報のみを含むデータとする)21が入力される。フレーム管理部10は、入力された第2フレームの転送データ21がUV情報を含まないフレームであることを色差情報分離部11、色差情報読出し部13、輝度・色差合成部14、映像選択出力部15に伝達する。この場合、色差情報分離部11は第2フレームの転送データから色差情報を分離しない。
【0034】
色差情報読出し部13は、記憶部12に記憶されている第1フレームの色差情報(保存された色差情報22)を読み出し、輝度・色差合成部14に出力する。輝度・色差合成部14は、入力された第2フレームの転送データ21の輝度情報25と、前述の色差情報読出し部13から受けた色差情報24を合成し、輝度・色差情報を持つ第2フレームの出力データ26を形成する。映像選択出力部15は、輝度・色差合成部14からの第2フレームの出力データ26を選択し、画像データとして出力する。
【0035】
以上で説明した本実施の形態にかかる発明では、第2フレームで第1フレームの色差情報(第1の色差情報および第2の色差情報)24を用いているので、画像データのサイズを小さくすることができる。よって、残像現象の影響を小さくするためにフレーム数を増加させたとしても、映像機器が取り扱うデータ量の増加を抑えることができる。また、データ量の増加を抑えることができるため、メモリサイズや伝送路帯域、消費電力などを抑えることができる。
【0036】
尚、図2では第1フレーム20、第2フレーム21の全ての画素において輝度情報が入力され、更に、第1フレーム20に含まれる色差情報24の全てが保存された色差情報22として用いられている。しかしながら、本実施の形態にかかる画像処理方法は、第1フレーム20、第2フレーム21の全ての画素のうちの一部の画素においても実施することができる。
【0037】
例えば、DRAM等のメモリデバイスに格納された第1フレームのデータの読み出し処理を行った後に、第2フレームのデータの読み出し処理を行う場合、各フレームを構成する画素のうち、任意の一部分のみに本実施の形態にかかる画像処理を実施することが可能である。
【0038】
また、輝度情報と色差情報を有するフレームと、輝度情報のみを有するフレームの割合は、任意に設定することができる。例えば、輝度情報と色差情報を有するフレームと輝度情報のみを有するフレームの割合を1:2とすることで、当該割合が1:1の時よりも更にデータサイズを小さくすることができる。
【0039】
また、本実施の形態にかかる画像処理方法としてYUV4:2:2の場合を例として説明したが、本実施の形態にかかる発明は、他の方式、例えばYUV4:4:4、YUV4:2:0等にも同様に適用することができる。
【0040】
実施の形態2.
次に、実施の形態2にかかる画像処理方法について説明する。本実施の形態にかかる画像処理方法では、第2フレームの転送データの一部に色差情報を有する。それ以外の部分については、実施の形態1で説明した内容と同様であるので重複した説明は省略する。
【0041】
本実施の形態にかかる画像処理方法では、第1フレームの各画素の色差情報とこれに対応する第2フレームの各画素の色差情報とを比較した際に、色差情報の変化が大きい画素については、第2フレームの転送データに新たに色差情報を追加している。このように、色差情報の変化が大きい画素についてのみ新たに色差情報を追加することで、より高精度な画像処理を実現することができ、また第2フレームの転送データのサイズを小さく保つことができる。
【0042】
図3は、本実施の形態にかかる画像処理方法を説明するための図である。図3に示す第2フレームの転送データ21では、輝度情報25の他に色差情報27が追加されている。この色差情報27が追加された画素は、第1フレームの画像からの色差情報の変化が比較的大きい画素である。そして、第2フレームの転送データ21と保存された色差情報22とを合成して第2フレームの出力データ26を生成している。この時、第2フレームの出力データ26は、第2フレームの輝度情報25と第1フレームの色差情報24と第2フレームの色差情報27で構成されている。
【0043】
尚、保存された色差情報22のうち、第2フレームの転送データに追加された色差情報27に対応する画素の色差情報28については、色差情報の保存を省略することもできる。また、本実施の形態にかかる画像処理方法は、例えば実施の形態1で説明した画像処理装置に、フレーム間の色差情報の変化を検知する手段を追加した画像処理装置を用いて実施することができる。
【0044】
実施の形態3.
次に、実施の形態3にかかる画像処理方法について説明する。本実施の形態にかかる画像処理方法では、第2フレームの転送データに含まれる輝度情報の一部を省略している。それ以外の部分については、実施の形態1で説明した内容と同様であるので重複した説明は省略する。
【0045】
本実施の形態にかかる画像処理方法では、第1フレームの各画素の輝度情報とこれに対応する第2フレームの各画素の輝度情報とを比較した際に、輝度情報の変化が小さい画素については、第2フレームの転送データから輝度情報を除いている。このように、輝度情報の変化が小さい画素の輝度情報を省略することで、第2フレームの転送データのサイズを小さくすることができる。
【0046】
図4は、本実施の形態にかかる画像処理方法を説明するための図である。図4に示す第2フレームの転送データ21では、点線で示した輝度情報29が省略されている。また、第1フレームの転送データ20の輝度情報23のうち、当該省略された輝度情報29に対応する画素の輝度情報がメモリ等に保存されている。そして、第2フレームの転送データ21と保存された色差情報22とメモリ等に保存された第1フレームの輝度情報を合成して、第2フレームの出力データ26を生成している。この時、第2フレームの出力データ26は、第2フレームの輝度情報25と第1フレームの色差情報24と第1フレームの輝度情報23で構成されている。
【0047】
本実施の形態にかかる画像処理方法は、例えば実施の形態1で説明した画像処理装置に、フレーム間の輝度情報の変化を検知する手段と、前フレーム(第1フレーム)の輝度情報を記憶する記憶手段を追加した画像処理装置を用いて実施することができる。
【0048】
実施の形態4.
次に、実施の形態4にかかる画像処理方法について説明する。本実施の形態にかかる画像処理方法では、第2フレームの転送データの一部に色差情報を有し、更に、第2フレームの転送データに含まれる輝度情報の一部を省略している。それ以外の部分については、実施の形態1で説明した内容と同様であるので重複した説明は省略する。
【0049】
本実施の形態にかかる画像処理方法では、第1フレームの各画素の色差情報とこれに対応する第2フレームの各画素の色差情報とを比較した際に、色差情報の変化が大きい画素については、第2フレームの転送データに新たに色差情報を追加している。このように、色差情報の変化が大きい画素についてのみ新たに色差情報を追加することで、より高精度な画像処理を実現することができ、また第2フレームの転送データのサイズを小さく保つことができる。
【0050】
また、本実施の形態にかかる画像処理方法では、第1フレームの各画素の輝度情報とこれに対応する第2フレームの各画素の輝度情報とを比較した際に、輝度情報の変化が小さい画素については、第2フレームの転送データから輝度情報を除いている。このように、輝度情報の変化が小さい画素の輝度情報を省略することで、第2フレームの転送データのサイズを小さくすることができる。
【0051】
図5は、本実施の形態にかかる画像処理方法を説明するための図である。図5に示す第2フレームの転送データ21では、輝度情報25の他に色差情報27が追加されている。この色差情報27が追加された画素は、第1フレームの画像からの色差情報の変化が比較的大きい画素である。また、第2フレームの転送データ21では、点線で示した輝度情報29が省略されている。第1フレームの転送データ20の輝度情報23のうち、当該省略された輝度情報29に対応する画素の輝度情報はメモリ等に保存されている。
【0052】
そして、第2フレームの転送データ21と保存された色差情報22とメモリ等に保存された第1フレームの輝度情報を合成して、第2フレームの出力データ26を生成している。この時、第2フレームの出力データ26は、第2フレームの輝度情報25と第1フレームの色差情報24と第1フレームの輝度情報23と第2フレームの色差情報27で構成されている。
【0053】
尚、保存された色差情報22のうち、第2フレームの転送データに追加された色差情報27に対応する画素の色差情報28については、色差情報の保存を省略することもできる。また、本実施の形態にかかる画像処理方法は、例えば実施の形態1で説明した画像処理装置に、フレーム間の輝度情報と色差情報の変化をそれぞれ検知する手段、前フレーム(第1フレーム)の輝度情報を記憶する記憶手段を追加した画像処理装置を用いて実施することができる。
【0054】
以上、本発明を上記実施の形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得るであろう各種変形、修正、組み合わせを含むことは勿論である。
【符号の説明】
【0055】
10 フレーム管理部
11 色差情報分離部
12 記憶部
13 色差情報読出し部
14 輝度・色差合成部
15 映像選択出力部
20 第1フレームの転送データ
21 第2フレームの転送データ
22 保存された色差情報
23 第1フレームの輝度情報
24 第1フレームの色差情報
25 第2フレームの輝度情報
26 第2フレームの出力データ
27 第2フレームの色差情報
28 省略可能な色差情報
29 省略可能な輝度情報

【特許請求の範囲】
【請求項1】
輝度情報と、青色成分と前記輝度との色差の情報である第1の色差情報および赤色成分と前記輝度との色差の情報である第2の色差情報を含む色差情報と、を有する画像データを用意し、
前記画像データのうちの第1のフレームを構成する前記輝度情報と前記色差情報とを前記第1のフレームを構成するデータとして出力し、
前記画像データのうちの前記第1のフレームに続く第2のフレームを構成する前記輝度情報と、前記画像データのうちの前記第1のフレームを構成する前記色差情報と、を前記第2のフレームを構成するデータとして出力する、
画像処理方法。
【請求項2】
前記第2のフレームを構成するデータとして出力される前記色差情報の一部は、前記第2のフレームで追加された前記色差情報である、請求項1に記載の画像処理方法。
【請求項3】
前記第1のフレームの画像と前記第2のフレームの画像の比較結果に基づき、前記第2のフレームで追加する前記色差情報を決定する、請求項2に記載の画像処理方法。
【請求項4】
前記第2のフレームを構成するデータとして出力される前記輝度情報の一部は、前記第1のフレームの輝度情報である、請求項1乃至3のいずれか一項に記載の画像処理方法。
【請求項5】
前記第1のフレームの画像と前記第2のフレームの画像の比較結果に基づき、前記第1のフレームの輝度情報を用いる画素を決定する、請求項4に記載の画像処理方法。
【請求項6】
輝度情報と、青色成分と前記輝度との色差の情報である第1の色差情報および赤色成分と前記輝度との色差の情報である第2の色差情報を含む色差情報と、を有する第1のフレームの画像データから、前記色差情報を分離する色差情報分離部と、
前記色差情報分離部で分離した前記第1のフレームの前記色差情報を記憶する記憶部と、
第2のフレームの輝度情報と、前記記憶部に記憶されている前記第1のフレームの前記色差情報と、を合成する輝度・色差合成部と、
を有する画像処理装置。
【請求項7】
前記輝度・色差合成部で合成される前記色差情報の一部は、前記第2のフレームで追加された前記色差情報である、請求項6に記載の画像処理装置。
【請求項8】
前記フレーム間の前記色差情報の変化を検知する手段を有し、当該色差情報の変化に基づき前記第2のフレームで追加する前記色差情報を決定する、請求項7に記載の画像処理装置。
【請求項9】
前記輝度・色差合成部で合成される前記輝度情報の一部は、前記第1のフレームの輝度情報である、請求項6乃至8のいずれか一項に記載の画像処理装置。
【請求項10】
前記フレーム間の前記輝度情報の変化を検知する手段を有し、当該輝度情報の変化に基づき前記第1のフレームの輝度情報を用いる画素を決定する、請求項9に記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate