画像処理装置及び画像処理方法
【課題】画質劣化を抑えながら、画像伝送時の消費電力及びＥＭＩを低減することが可能な技術を提供する。
【解決手段】所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部１２０と、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部１４０と、第１のエリアであると判定されたエリアに関しては量子化部１４０により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部１７０と、を備えることを特徴とする、画像処理装置１０が提供される。
【解決手段】所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部１２０と、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部１４０と、第１のエリアであると判定されたエリアに関しては量子化部１４０により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部１７０と、を備えることを特徴とする、画像処理装置１０が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、画像伝送時に消費される電力の低減を図る技術として様々な技術が開示されている。例えば、特許文献１により開示された技術は、画像では隣接する画素データ間の差分値を取ると、その差分値の頻度分布が零近傍に集中するという特性を利用して、零を基準としてハミング距離が小さい符号化データを各差分値に対して順に割り当てて伝送する技術である。このような伝送を行うことにより、特許文献１により開示された技術では、ｂｉｔ反転を減らして消費電力やＥＭＩ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃｅ）の低減を図っている。
【０００３】
また、例えば、特許文献２により開示された技術は、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）をベースとした技術であり、画素データが伝送される画素の周辺画素から画素データの予測値を生成し、予測値の誤差（以下、「予測誤差」とも言う。）に対して、零を基準としてハミング距離が小さい符号から順に割り当てる技術である。そして、特許文献２により開示された技術は、周囲画素の画素データ分布から画像の特性を判断し、この判断結果に基づいて隣接画素との差分値に対する量子化特性を切り換えることにより、画質劣化の抑制と消費電力の低減との両立を試みている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８８０７８号公報
【特許文献２】特開２００７−２００３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、量子化及び圧縮に関する記述はない。すなわち、特許文献１に記載された技術は、画像を劣化させない方式であるため、画像の圧縮率には限界がある。特に８ｂｉｔ以上のデータ伝送（例えば、１２ｂｉｔ信号の伝送）を行う場合ともなると、消費電力やＥＭＩの問題は非常に大きくなる。このため、非圧縮でない技術であり、多少の画質劣化を許容してでも消費電力やＥＭＩを低減することができる技術が提供されることが要求される。
【０００６】
また、特許文献２に記載された技術によれば、消費電力低減の効果は大きいものの、画質劣化が画面全体に分布してしまう点が問題として挙げられる。特に画像処理システムの入力段に近い場所で適用する場合には、後段の処理により画質劣化が強調される可能性があるため、画質劣化に対してより慎重さが求められる。そのため、特許文献２により開示された技術は画質面で適しているとは言えない。また、特許文献２により開示された技術は、送信側及び受信側の両方にラインメモリが必要となる点が短所である。この点は、特に水平画素数が大きいシステムではコスト面で無視できない点となる。
【０００７】
そこで、本発明は、画質劣化を抑えながら、画像伝送時の消費電力及びＥＭＩを低減することが可能な技術を提供しようとするものである。また、本発明は、視覚的に目立ちにくいエッジ付近のみに画質劣化を限定することが可能な技術を提供しようとするものである。さらに、本発明は、メモリ占有量及び画像伝送時に必要な配線数を少なくすることが可能な技術を提供しようとするものである。また、本発明は、ラインメモリを不要とし、回路規模を小さくすることが可能な技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある実施形態によれば、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部と、前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部と、前記第１のエリアであると判定されたエリアに関しては前記量子化部により量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部と、を備えることを特徴とする、画像処理装置が提供される。
【０００９】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００１０】
前記画像処理装置は、前記第１のエリアであると判定されたエリアに関して前記量子化部により量子化された差分値を符号化する第１の符号化部と、前記第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値を符号化する第２の符号化部と、をさらに備えてもよい。かかる構成によれば、第１のエリアであると判定されたエリアに関しては量子化された差分値を符号化し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を符号化することができる。
【００１１】
前記第１の符号化部は、前記量子化部により量子化された差分値を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換してもよい。かかる符号化により画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００１２】
前記第２の符号化部は、隣接画素データ間の差分値の上位ビットを切り捨てることにより当該差分値のサイズよりも小さいサイズのデータに変換してもよい。かかる上位ビットの切り捨てにより画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。ここで、前記の上位ビットは、隣接画素データ間の差分値を構成するビットのうち、判定部により使用された閾値のビット数を超える部分に相当する。
【００１３】
前記第１の符号化部は、前記量子化部により量子化された差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。かかる符号化によれば、量子化された差分値が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００１４】
前記第２の符号化部は、隣接画素データ間の差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。かかる符号化によれば、隣接画素データ間の差分値の絶対値が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００１５】
前記画像処理装置は、前記判定部による判定結果を所定数のエリアの各々に関して蓄積するバッファ部と、前記データ出力部からの出力データを前記所定数のエリアの各々に関して出力する動作と、前記バッファ部により蓄積された前記所定数のエリアの各々に関する判定結果を出力する動作とを交互に行う出力部と、をさらに備えてもよい。所定数のエリアの各々に関する出力データ（量子化データ又は差分値）が連続して出力された後に所定数のエリアの各々に関する判定結果が一括して出力されるため、出力データが連続して出力されている間はビット遷移を少なくし、消費電力を低減させることができる。所定数は複数であればいくつであってもよい。
【００１６】
また、本発明の別の実施形態によれば、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定するステップと、前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化するステップと、前記第１のエリアであると判定されたエリアに関しては量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するステップと、を含むことを特徴とする、画像処理方法が提供される。
【００１７】
かかる方法によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に画質劣化が目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、画質劣化を抑えながら、画像伝送時の消費電力及びＥＭＩを低減することが可能である。また、本発明によれば、視覚的に目立ちにくいエッジ付近のみに画質劣化を限定することができる。さらに、本発明によれば、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、本発明によれば、ラインメモリを不要とすることができるため、回路規模を小さくすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像処理装置の構成例を示す図である。
【図２】判定部、量子化部及びデータ出力部の機能を説明するための図である。
【図３】第１の符号化部及び第２の符号化部の機能を説明するための図である。
【図４】バッファ部及び出力部の機能を説明するための図である。
【図５】画像処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２１】
図１は、本発明の実施形態に係る画像処理装置１０の構成例を示す図である。図１に示すように、画像処理装置１０は、差分算出部１１０、判定部１２０、遅延処理部１３０、量子化部１４０、第１の符号化部１５０、第２の符号化部１６０、データ出力部１７０、バッファ部１８０及び出力部１９０を含んでいる。画像処理装置１０には画像を構成する複数の画素データが順次に入力される。入力順は特に限定されないが、例えば、画像処理装置１０から他の装置に画像が伝送される例を想定した場合には、他の装置に伝送される順に画素データが入力される。画素データは、画素が有するデータ（例えば、画素値）である。
【００２２】
差分算出部１１０は、入力された画素データと当該画素の隣接画素データとの差分値を算出する。以下では、隣接画素データが入力された画素データの１つ前の画素データであるとして説明を続けるが、隣接画素データは入力された画素データに対していずれの方向に隣接する画素データであってもよい。差分算出部１１０により算出された差分値は、順次に判定部１２０及び遅延処理部１３０に出力される。遅延処理部１３０では、差分算出部１１０から入力された差分値を遅延させて、量子化部１４０及び第２の符号化部１６０に出力する。一方、判定部１２０には、差分算出部１１０により算出された差分値が直接的に入力される。
【００２３】
判定部１２０は、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する。以下では、所定画素数が「４」であるとして説明を続けるが、所定画素数は特に限定されない。図２は、判定部１２０、量子化部１４０及びデータ出力部１７０の機能を説明するための図である。
【００２４】
図２に示すように、例えば、判定部１２０は、画像データが複数のエリアから構成され、複数のエリアの各々が４つの画素データＰ１〜Ｐ４から構成されるとした場合、差分値Ｄ１〜Ｄ４のいずれかが閾値を超えているか否かを判定する（ステップＳ２０）。なお、図２には、複数のエリアのうちエリアＲ１〜Ｒ３が代表として示されているが、エリアの数も特に限定されない。
【００２５】
量子化部１４０は、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する（ステップＳ３４）。量子化の手法は特に限定されない。この量子化により第１のエリアであると判定されたエリアが圧縮され、当該エリアの画質が劣化してしまうことが想定される。しかし、第１のエリアは、エッジ領域であると考えられる。ここで、エッジ領域にはエッジ領域の付近も含まれる。エッジ領域は視覚的に画質劣化が目立ちにくい領域であるため、エッジ領域に対して量子化がなされて画質が劣化しても大きな問題にはならない。
【００２６】
データ出力部１７０は、第１のエリアであると判定されたエリアに関しては量子化部１４０により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力する。図２に示した例では、データ出力部１７０は、第１のエリアであると判定されたエリアに関しては量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を出力し（ステップＳ３５）、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値Ｄ１〜Ｄ４を出力する（ステップＳ４５）。例えば、データ出力部１７０は、判定部１２０から入力された判定結果（例えば、１ビットのデータ）に基づいて、量子化データＱ１〜Ｑ４と隣接画素データ間の差分値Ｄ１〜Ｄ４とを選択的に出力する。
【００２７】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００２８】
図３は、第１の符号化部１５０及び第２の符号化部１６０の機能を説明するための図である。第１の符号化部１５０は、第１のエリアであると判定されたエリアに関して量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を符号化する。また、第２の符号化部１６０は、第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値Ｄ１〜Ｄ４を符号化する。
【００２９】
このように、量子化データＱ１〜Ｑ４は第１の符号化部１５０により符号化することもできる。以下では、量子化データＱ１〜Ｑ４が第１の符号化部１５０によって符号化されることにより得られるデータを符号化データＥ１〜Ｅ４とする。また、差分値Ｄ１〜Ｄ４は第２の符号化部１６０により符号化することもできる。以下では、差分値Ｄ１〜Ｄ４が第２の符号化部１６０によって符号化されることにより得られるデータを符号化データＦ１〜Ｆ４とする。
【００３０】
符号化の手法は特に限定されない。例えば、第１の符号化部１５０は、量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換することができる。具体的には、第１の符号化部１５０は、量子化データＱ１〜Ｑ４の各々のサイズをＡ１ビットとし、Ａ１＞Ｂ１とした場合、Ａ１ビットのレンジを有する量子化データＱ１〜Ｑ４をＢ１ビットのレンジを有する符号化データＥ１〜Ｅ４に収めるための符号化を行う。このようにして第１の符号化部１５０により符号化がなされれば、画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００３１】
第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々の上位ビットを切り捨てることにより当該差分値Ｄ１〜Ｄ４の各々を当該差分値Ｄ１〜Ｄ４のサイズよりも小さいサイズのデータに変換することができる。ここで、前記の上位ビットは、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々を構成するビットのうち、判定部１２０により使用された閾値のビット数を超える部分に相当する。例えば、このような上位ビットの切り捨てにより、第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々のサイズをＡ２ビットとし、Ａ２＞Ｂ２とした場合、Ａ２ビットのレンジを有する差分値Ｄ１〜Ｄ４をＢ２ビットのレンジを有する符号化データＦ１〜Ｆ４に収めるための符号化を行う。このようにして第２の符号化部１６０により符号化がなされれば、画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００３２】
１０ビットの画素データを８ビットに符号化する場合を例にとってより具体的に説明する。各々が１０ビットのサイズを有する画素データ間の差分値は、−１０２３から＋１０２３までの値を取り得る。この差分値が判定部１２０に入り、１エリア内の４つの連続した差分値Ｄ１〜Ｄ４がいずれも−１２７から＋１２７までの値であると判定部１２０により判定された場合、量子化しなくても８ビット（２５６ステップ）で差分値Ｄ１〜Ｄ４を伝送できる。
【００３３】
一方、４つの連続した差分値Ｄ１〜Ｄ４のうちのいずれか１つでも−１２７から＋１２７までの値を超えていると判定部１２０により判定された場合、そのエリアにエッジが含まれると判定し、量子化部１４０は、±１０２３のレンジを有する各差分値を８ビットに量子化する。エッジ領域では、隣接画素データ間の差分値が大きいので、ビット遷移は減らないこともある。一方、エッジ領域の近傍は隣接画素間の差分値が小さくなっており、さらに量子化されることで差分値が小さくなるのでビット遷移が減りやすい。差分値が零近傍に集中するという画像の性質上、量子化されない平坦部においても、ビット遷移が減りやすい。
【００３４】
また、第１の符号化部１５０は、量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。図３に示したテーブルは、量子化データＱ１〜Ｑ４と符号化データＥ１〜Ｅ４との対応関係の一例を示している。第１の符号化部１５０は、このような対応関係に基づいて符号化を行ってもよい。かかる符号化によれば、量子化データＱ１〜Ｑ４が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００３５】
同様に、第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。図３に示したテーブルは、隣接画素データ間の差分値Ｄ１〜Ｄ４と符号化データＦ１〜Ｆ４との対応関係の一例を示している。第２の符号化部１６０は、このような対応関係に基づいて符号化を行ってもよい。かかる符号化によれば、隣接画素データ間の差分値Ｄ１〜Ｄ４が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００３６】
図４は、バッファ部１８０及び出力部１９０の機能を説明するための図である。上記したように、データ出力部１７０からの出力データは他の装置に伝送されるが、判定部１２０による判定結果も他の装置に伝送される必要がある。差分値が量子化されているか否かを他の装置においてエリアごとに把握するためである。そのとき、出力データと判定結果とが１つずつ交互に出力されてしまうと、ビット遷移が多くなり、消費電力が高くなってしまう可能性がある。
【００３７】
そこで、まず、バッファ部１８０は、判定部１２０による判定結果を所定数のエリアの各々に関して蓄積するようにするとよい。そして、出力部１９０は、データ出力部１７０からの出力データを所定数のエリアの各々に関して出力する動作と、バッファ部１８０により蓄積された所定数のエリアの各々に関する判定結果を出力する動作とを交互に行うようにするとよい。出力部１９０から出力されたデータは、例えば、他の装置（画像処理装置１０の内部又は外部に存在する装置）に伝送される。
【００３８】
データ出力部１７０からの出力データは、量子化データＱ１〜Ｑ４又は隣接画素データ間の差分値Ｄ１〜Ｄ４である（これらが符号化されている場合には、符号化データＥ１〜Ｅ４又は符号化データＦ１〜Ｆ４である）。このようにしてデータが出力されれば、所定数のエリアの各々に関する出力データが連続して出力された後に所定数のエリアの各々に関する判定結果が一括して出力されるため、出力データが連続して出力されている間はビット遷移を少なくし、消費電力を低減させることができる。以下では、所定数が「８」であるとして説明を続けるが、所定数は複数であれば特に限定されない。
【００３９】
図４には、図２に示した例のように、１つのエリアが４画素により構成され、８エリアにより１つの単位が構成されている場合に、出力部１９０により出力されるデータ例が示されている。このような場合、各エリアに関して１ビットの判定結果が発生するため、バッファ部１８０は、この判定結果を送信ビット幅である８ビット分蓄積し、出力部１９０は、蓄積された８ビット分の判定結果を差分値（量子化データ又は非圧縮データ）の合間に伝送する。非圧縮データは、量子化がなされていない差分値に相当する。
【００４０】
まず、出力部１９０は、伝送データの先頭アドレス（１アドレス分）に８エリア分の判定結果を書き込む。以下において、１エリア分の判定結果を判定情報とも言う。それ以降、出力部１９０は、４画素分の差分値により構成される１エリアの出力データを８エリア分伝送する。例えば、１画素の差分値は１アドレス分に書き込まれて伝送される。１エリアが４画素分であり、送信ビット幅が８ビットである場合、判定情報は３２アドレスに１度のタイミングで伝送する。このように、出力部１９０は、データ出力部１７０からの出力データとバッファ部１８０からの判定情報とのいずれかを所定のタイミングごとに切り換えて選択的に出力する。
【００４１】
なお、差分値は、基本的に零近傍に集まるのでビット遷移が少ないが、判定情報は、画像と無関係な情報であるため、その前のデータからのビット遷移、その後のデータへのビット遷移ともに増えてしまう可能性がある。しかし、判定情報の伝送は、３２アドレスに１度なされるだけであるため、判定情報の伝送による消費電力の増加は僅かである。また、このように判定情報を伝送することにすると、３２アドレスにつき１アドレスの追加が必要になる。例えば、水平画素数が１２８０ｐｉｘｅｌの画像の場合、アドレス空間が４０ｐｉｘｅｌ分延びて１３２０ｐｉｘｅｌの水平画素数を確保する必要がある。ただし、送信ビット幅は１０ビットから８ビットに減っているので、メモリビットの占有空間としてはむしろ大きく減っている。
【００４２】
図５は、画像処理装置１０の動作の流れを示すフローチャートである。まず、判定部１２０は、最初のエリアを処理対象として選択する（ステップＳ１０）。続いて、判定部１２０は、差分値Ｄ１〜Ｄ４のいずれかが閾値を超えているか否かを判定する（ステップＳ２０）。判定部１２０により差分値Ｄ１〜Ｄ４のいずれかが閾値を超えていると判定された場合には（ステップＳ２０で「Ｙｅｓ」）、当該エリアが第１のエリアであると判定された場合における処理（ステップＳ３２〜ステップＳ３８）に移行される。一方、判定部１２０により差分値Ｄ１〜Ｄ４のいずれもが閾値を超えていないと判定された場合には（ステップＳ２０で「Ｎｏ」）、当該エリアが第２のエリアであると判定された場合における処理（ステップＳ４２〜ステップＳ４８）に移行される。
【００４３】
判定部１２０により当該エリアが第１のエリアであると判定された場合には（ステップＳ２０で「Ｙｅｓ」）、バッファ部１８０は、第１のエリアであると判定された旨を示す判定結果を蓄積し（ステップＳ３２）、量子化部１４０は、差分値Ｄ１〜Ｄ４を量子化する（ステップＳ３４）。続いて、第１の符号化部１５０は、量子化データＱ１〜Ｑ４を符号化することにより符号化データＥ１〜Ｅ４を生成し（ステップＳ３６）、データ出力部１７０は、符号化データＥ１〜Ｅ４を出力する（ステップＳ３８）。
【００４４】
一方、判定部１２０により当該エリアが第２のエリアであると判定された場合には（ステップＳ２０で「Ｎｏ」）、バッファ部１８０は、第２のエリアであると判定された旨を示す判定結果を蓄積する（ステップＳ４２）。続いて、第２の符号化部１６０は、差分値Ｄ１〜Ｄ４を符号化することにより符号化データＦ１〜Ｆ４を生成し（ステップＳ４６）、データ出力部１７０は、符号化データＦ１〜Ｆ４を出力する（ステップＳ４８）。
【００４５】
続いて、出力部１９０は、８エリア分の処理が完了したか否かを判定し（ステップＳ５０）、８エリア分の処理が完了していないと判定した場合には（ステップＳ５０で「Ｎｏ」）、ステップＳ５２に進む。一方、出力部１９０は、８エリア分の処理が完了したと判定した場合には（ステップＳ５０で「Ｙｅｓ」）、バッファ部１８０に蓄積されている８エリア分の判定結果を出力する（ステップＳ５１）。
【００４６】
続いて、判定部１２０は、全エリアに関する処理が完了したか否かを判定し（ステップＳ５２）、全エリアに関する処理が完了していないと判定した場合には（ステップＳ５２で「Ｎｏ」）、次のエリアを処理対象として選択して（ステップＳ５３）、処理対象として選択したエリアに関する処理に戻る（ステップＳ２０）。すなわち、全エリアに関する処理が完了するまで、ステップＳ２０以降の処理が繰り返される。一方、判定部１２０は、全エリアに関する処理が完了したと判定した場合には（ステップＳ５２で「Ｙｅｓ」）、処理を終了する。
【００４７】
以上に説明したように、本実施形態に係る画像処理装置１０は、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部１２０を備える。また、画像処理装置１０は、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部１４０を備える。さらに、画像処理装置１０は、第１のエリアであると判定されたエリアに関しては量子化部により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部１７０と、を備える。
【００４８】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００４９】
より詳細には、本実施形態によれば、画質劣化が目立ちやすい平坦部では差分値を量子化せずに送信することで画質劣化をゼロに抑制し、エッジ領域とその周辺では画質劣化が目立ちにくいので差分値を量子化して送信することでデータを圧縮することができる。すなわち、本実施形態によれば、画質の維持、消費電力の低減、ＥＭＩの低減、メモリ容量削減、配線数削減という複数のメリットを同時に達成することができる。なお、本実施形態によれば、ビット遷移数に関しては約５０％の削減、メモリ容量に関しては約２０％の削減、配線数に関しては約２０％の削減を実現できる。
【００５０】
本実施形態に係る技術は、既に開示されている先行技術文献に記載された技術とは異なっている。特開２００７−２００３６号公報（特許文献２）に記載された技術では、周囲の画素分布によって量子化特性を切り換えているが、本実施形態に示したような量子化特性の判定情報を必要としない。この点、特開２００７−２００３６号公報（特許文献２）に記載された技術の方が合理的に見えるが、本実施形態に示したような量子化を行わないという特性を当該技術に持たせることは不可能であり、画質の劣化が避けられないという側面がある。
【００５１】
特開２００７−２００３６号公報（特許文献２）に記載された技術は、送信対象画素より前の画素群を使って、送信対象画素の性質をあくまで「予測」して量子化特性を切り換えているだけであって、エッジ領域では予測が外れることもある。そのため、量子化器は必ず差分値のフルレンジを確保しておかなくてはならない。ビット幅を減少させることを前提にした、画質劣化させない量子化器というのは理論上生成できないため、画像全域において必ず画質劣化が発生してしまう。一方、本実施形態に係る画像処理装置１０は、予め差分値の分布を調査し、量子化せずに差分値を伝送できるか否かを把握したうえで量子化を行うか否かを判定するため、量子化しないという手段を使用することができる。
【００５２】
本実施形態では、具体例として１０ビットから８ビットへの圧縮について説明したが、この例によらず、１２ビットから１０ビットへの圧縮でも、１４ビットから１０ビットへの圧縮でも構わない。ただし、元データと圧縮データとのビット数の差があまりにも大きいと非圧縮で伝送されるエリアが少なくなり、画質劣化が大きくなっていくことに注意が必要である。本実施形態の特徴を生かすためにはあまりビット数を減らさないほうがよい。
【００５３】
また、本実施形態では、１エリアが４画素により構成される場合を例として説明したが、１エリアを構成する画素数は他の画素数でも構わない。ただし、あまり大きくすると、エッジから離れた平坦部まで量子化の対象となり、画質劣化が検知しやすくなる。逆にあまり小さくすると、判定情報を伝送する頻度が増え、ビット遷移の増加（＝消費電力の増加）、メモリアドレス数の増加（高速動作の妨げ）につながる。
【００５４】
なお、量子化を行う条件として、１０ビットから８ビットへの圧縮を行う場合に差分値が−１２７から＋１２７までの範囲内（＝２５６ステップ、８ビット）に収まるという条件を例として説明した。しかし、量子化を行う条件において規定されるレンジは、圧縮後のビット数のレンジと一致させなくてもよい。例えば、圧縮後のビットが８ビットでも、量子化を行う条件を、差分値が−６４から＋６４までの範囲内（＝１２８ステップ、７ビット）に収まるという条件としてもよい。このような条件にすれば、量子化を行うエリアが減るので、消費電力低減の効果は低下するが、画質劣化を減らすことができる。
【００５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５６】
１０ 画像処理装置
１１０ 差分算出部
１２０ 判定部
１３０ 遅延処理部
１４０ 量子化部
１５０ 第１の符号化部
１６０ 第２の符号化部
１７０ データ出力部
１８０ バッファ部
１９０ 出力部
Ｐ１〜Ｐ４ 画素データ
Ｄ１〜Ｄ４ 差分値
Ｒ１〜Ｒ３ エリア
Ｑ１〜Ｑ４ 量子化データ
Ｅ１〜Ｅ４ 符号化データ
Ｆ１〜Ｆ４ 符号化データ
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、画像伝送時に消費される電力の低減を図る技術として様々な技術が開示されている。例えば、特許文献１により開示された技術は、画像では隣接する画素データ間の差分値を取ると、その差分値の頻度分布が零近傍に集中するという特性を利用して、零を基準としてハミング距離が小さい符号化データを各差分値に対して順に割り当てて伝送する技術である。このような伝送を行うことにより、特許文献１により開示された技術では、ｂｉｔ反転を減らして消費電力やＥＭＩ（Ｅｌｅｃｔｒｏ Ｍａｇｎｅｔｉｃ Ｉｎｔｅｒｆｅｒｅｎｃｅ）の低減を図っている。
【０００３】
また、例えば、特許文献２により開示された技術は、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）をベースとした技術であり、画素データが伝送される画素の周辺画素から画素データの予測値を生成し、予測値の誤差（以下、「予測誤差」とも言う。）に対して、零を基準としてハミング距離が小さい符号から順に割り当てる技術である。そして、特許文献２により開示された技術は、周囲画素の画素データ分布から画像の特性を判断し、この判断結果に基づいて隣接画素との差分値に対する量子化特性を切り換えることにより、画質劣化の抑制と消費電力の低減との両立を試みている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２８８０７８号公報
【特許文献２】特開２００７−２００３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、量子化及び圧縮に関する記述はない。すなわち、特許文献１に記載された技術は、画像を劣化させない方式であるため、画像の圧縮率には限界がある。特に８ｂｉｔ以上のデータ伝送（例えば、１２ｂｉｔ信号の伝送）を行う場合ともなると、消費電力やＥＭＩの問題は非常に大きくなる。このため、非圧縮でない技術であり、多少の画質劣化を許容してでも消費電力やＥＭＩを低減することができる技術が提供されることが要求される。
【０００６】
また、特許文献２に記載された技術によれば、消費電力低減の効果は大きいものの、画質劣化が画面全体に分布してしまう点が問題として挙げられる。特に画像処理システムの入力段に近い場所で適用する場合には、後段の処理により画質劣化が強調される可能性があるため、画質劣化に対してより慎重さが求められる。そのため、特許文献２により開示された技術は画質面で適しているとは言えない。また、特許文献２により開示された技術は、送信側及び受信側の両方にラインメモリが必要となる点が短所である。この点は、特に水平画素数が大きいシステムではコスト面で無視できない点となる。
【０００７】
そこで、本発明は、画質劣化を抑えながら、画像伝送時の消費電力及びＥＭＩを低減することが可能な技術を提供しようとするものである。また、本発明は、視覚的に目立ちにくいエッジ付近のみに画質劣化を限定することが可能な技術を提供しようとするものである。さらに、本発明は、メモリ占有量及び画像伝送時に必要な配線数を少なくすることが可能な技術を提供しようとするものである。また、本発明は、ラインメモリを不要とし、回路規模を小さくすることが可能な技術を提供しようとするものである。
【課題を解決するための手段】
【０００８】
本発明のある実施形態によれば、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部と、前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部と、前記第１のエリアであると判定されたエリアに関しては前記量子化部により量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部と、を備えることを特徴とする、画像処理装置が提供される。
【０００９】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００１０】
前記画像処理装置は、前記第１のエリアであると判定されたエリアに関して前記量子化部により量子化された差分値を符号化する第１の符号化部と、前記第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値を符号化する第２の符号化部と、をさらに備えてもよい。かかる構成によれば、第１のエリアであると判定されたエリアに関しては量子化された差分値を符号化し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を符号化することができる。
【００１１】
前記第１の符号化部は、前記量子化部により量子化された差分値を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換してもよい。かかる符号化により画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００１２】
前記第２の符号化部は、隣接画素データ間の差分値の上位ビットを切り捨てることにより当該差分値のサイズよりも小さいサイズのデータに変換してもよい。かかる上位ビットの切り捨てにより画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。ここで、前記の上位ビットは、隣接画素データ間の差分値を構成するビットのうち、判定部により使用された閾値のビット数を超える部分に相当する。
【００１３】
前記第１の符号化部は、前記量子化部により量子化された差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。かかる符号化によれば、量子化された差分値が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００１４】
前記第２の符号化部は、隣接画素データ間の差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。かかる符号化によれば、隣接画素データ間の差分値の絶対値が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００１５】
前記画像処理装置は、前記判定部による判定結果を所定数のエリアの各々に関して蓄積するバッファ部と、前記データ出力部からの出力データを前記所定数のエリアの各々に関して出力する動作と、前記バッファ部により蓄積された前記所定数のエリアの各々に関する判定結果を出力する動作とを交互に行う出力部と、をさらに備えてもよい。所定数のエリアの各々に関する出力データ（量子化データ又は差分値）が連続して出力された後に所定数のエリアの各々に関する判定結果が一括して出力されるため、出力データが連続して出力されている間はビット遷移を少なくし、消費電力を低減させることができる。所定数は複数であればいくつであってもよい。
【００１６】
また、本発明の別の実施形態によれば、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定するステップと、前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化するステップと、前記第１のエリアであると判定されたエリアに関しては量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するステップと、を含むことを特徴とする、画像処理方法が提供される。
【００１７】
かかる方法によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に画質劣化が目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、画質劣化を抑えながら、画像伝送時の消費電力及びＥＭＩを低減することが可能である。また、本発明によれば、視覚的に目立ちにくいエッジ付近のみに画質劣化を限定することができる。さらに、本発明によれば、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、本発明によれば、ラインメモリを不要とすることができるため、回路規模を小さくすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に係る画像処理装置の構成例を示す図である。
【図２】判定部、量子化部及びデータ出力部の機能を説明するための図である。
【図３】第１の符号化部及び第２の符号化部の機能を説明するための図である。
【図４】バッファ部及び出力部の機能を説明するための図である。
【図５】画像処理装置の動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２１】
図１は、本発明の実施形態に係る画像処理装置１０の構成例を示す図である。図１に示すように、画像処理装置１０は、差分算出部１１０、判定部１２０、遅延処理部１３０、量子化部１４０、第１の符号化部１５０、第２の符号化部１６０、データ出力部１７０、バッファ部１８０及び出力部１９０を含んでいる。画像処理装置１０には画像を構成する複数の画素データが順次に入力される。入力順は特に限定されないが、例えば、画像処理装置１０から他の装置に画像が伝送される例を想定した場合には、他の装置に伝送される順に画素データが入力される。画素データは、画素が有するデータ（例えば、画素値）である。
【００２２】
差分算出部１１０は、入力された画素データと当該画素の隣接画素データとの差分値を算出する。以下では、隣接画素データが入力された画素データの１つ前の画素データであるとして説明を続けるが、隣接画素データは入力された画素データに対していずれの方向に隣接する画素データであってもよい。差分算出部１１０により算出された差分値は、順次に判定部１２０及び遅延処理部１３０に出力される。遅延処理部１３０では、差分算出部１１０から入力された差分値を遅延させて、量子化部１４０及び第２の符号化部１６０に出力する。一方、判定部１２０には、差分算出部１１０により算出された差分値が直接的に入力される。
【００２３】
判定部１２０は、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する。以下では、所定画素数が「４」であるとして説明を続けるが、所定画素数は特に限定されない。図２は、判定部１２０、量子化部１４０及びデータ出力部１７０の機能を説明するための図である。
【００２４】
図２に示すように、例えば、判定部１２０は、画像データが複数のエリアから構成され、複数のエリアの各々が４つの画素データＰ１〜Ｐ４から構成されるとした場合、差分値Ｄ１〜Ｄ４のいずれかが閾値を超えているか否かを判定する（ステップＳ２０）。なお、図２には、複数のエリアのうちエリアＲ１〜Ｒ３が代表として示されているが、エリアの数も特に限定されない。
【００２５】
量子化部１４０は、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する（ステップＳ３４）。量子化の手法は特に限定されない。この量子化により第１のエリアであると判定されたエリアが圧縮され、当該エリアの画質が劣化してしまうことが想定される。しかし、第１のエリアは、エッジ領域であると考えられる。ここで、エッジ領域にはエッジ領域の付近も含まれる。エッジ領域は視覚的に画質劣化が目立ちにくい領域であるため、エッジ領域に対して量子化がなされて画質が劣化しても大きな問題にはならない。
【００２６】
データ出力部１７０は、第１のエリアであると判定されたエリアに関しては量子化部１４０により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力する。図２に示した例では、データ出力部１７０は、第１のエリアであると判定されたエリアに関しては量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を出力し（ステップＳ３５）、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値Ｄ１〜Ｄ４を出力する（ステップＳ４５）。例えば、データ出力部１７０は、判定部１２０から入力された判定結果（例えば、１ビットのデータ）に基づいて、量子化データＱ１〜Ｑ４と隣接画素データ間の差分値Ｄ１〜Ｄ４とを選択的に出力する。
【００２７】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００２８】
図３は、第１の符号化部１５０及び第２の符号化部１６０の機能を説明するための図である。第１の符号化部１５０は、第１のエリアであると判定されたエリアに関して量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を符号化する。また、第２の符号化部１６０は、第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値Ｄ１〜Ｄ４を符号化する。
【００２９】
このように、量子化データＱ１〜Ｑ４は第１の符号化部１５０により符号化することもできる。以下では、量子化データＱ１〜Ｑ４が第１の符号化部１５０によって符号化されることにより得られるデータを符号化データＥ１〜Ｅ４とする。また、差分値Ｄ１〜Ｄ４は第２の符号化部１６０により符号化することもできる。以下では、差分値Ｄ１〜Ｄ４が第２の符号化部１６０によって符号化されることにより得られるデータを符号化データＦ１〜Ｆ４とする。
【００３０】
符号化の手法は特に限定されない。例えば、第１の符号化部１５０は、量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換することができる。具体的には、第１の符号化部１５０は、量子化データＱ１〜Ｑ４の各々のサイズをＡ１ビットとし、Ａ１＞Ｂ１とした場合、Ａ１ビットのレンジを有する量子化データＱ１〜Ｑ４をＢ１ビットのレンジを有する符号化データＥ１〜Ｅ４に収めるための符号化を行う。このようにして第１の符号化部１５０により符号化がなされれば、画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００３１】
第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々の上位ビットを切り捨てることにより当該差分値Ｄ１〜Ｄ４の各々を当該差分値Ｄ１〜Ｄ４のサイズよりも小さいサイズのデータに変換することができる。ここで、前記の上位ビットは、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々を構成するビットのうち、判定部１２０により使用された閾値のビット数を超える部分に相当する。例えば、このような上位ビットの切り捨てにより、第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４の各々のサイズをＡ２ビットとし、Ａ２＞Ｂ２とした場合、Ａ２ビットのレンジを有する差分値Ｄ１〜Ｄ４をＢ２ビットのレンジを有する符号化データＦ１〜Ｆ４に収めるための符号化を行う。このようにして第２の符号化部１６０により符号化がなされれば、画像がさらに圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数をさらに少なくすることができる。
【００３２】
１０ビットの画素データを８ビットに符号化する場合を例にとってより具体的に説明する。各々が１０ビットのサイズを有する画素データ間の差分値は、−１０２３から＋１０２３までの値を取り得る。この差分値が判定部１２０に入り、１エリア内の４つの連続した差分値Ｄ１〜Ｄ４がいずれも−１２７から＋１２７までの値であると判定部１２０により判定された場合、量子化しなくても８ビット（２５６ステップ）で差分値Ｄ１〜Ｄ４を伝送できる。
【００３３】
一方、４つの連続した差分値Ｄ１〜Ｄ４のうちのいずれか１つでも−１２７から＋１２７までの値を超えていると判定部１２０により判定された場合、そのエリアにエッジが含まれると判定し、量子化部１４０は、±１０２３のレンジを有する各差分値を８ビットに量子化する。エッジ領域では、隣接画素データ間の差分値が大きいので、ビット遷移は減らないこともある。一方、エッジ領域の近傍は隣接画素間の差分値が小さくなっており、さらに量子化されることで差分値が小さくなるのでビット遷移が減りやすい。差分値が零近傍に集中するという画像の性質上、量子化されない平坦部においても、ビット遷移が減りやすい。
【００３４】
また、第１の符号化部１５０は、量子化データＱ１〜Ｑ４（量子化部１４０により量子化された差分値）に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。図３に示したテーブルは、量子化データＱ１〜Ｑ４と符号化データＥ１〜Ｅ４との対応関係の一例を示している。第１の符号化部１５０は、このような対応関係に基づいて符号化を行ってもよい。かかる符号化によれば、量子化データＱ１〜Ｑ４が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００３５】
同様に、第２の符号化部１６０は、隣接画素データ間の差分値Ｄ１〜Ｄ４に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当ててもよい。図３に示したテーブルは、隣接画素データ間の差分値Ｄ１〜Ｄ４と符号化データＦ１〜Ｆ４との対応関係の一例を示している。第２の符号化部１６０は、このような対応関係に基づいて符号化を行ってもよい。かかる符号化によれば、隣接画素データ間の差分値Ｄ１〜Ｄ４が零又はその近傍に集中するという傾向を生かし、符号化の際に必要となるビット遷移を低減させることにより消費電力を低減させることができる。
【００３６】
図４は、バッファ部１８０及び出力部１９０の機能を説明するための図である。上記したように、データ出力部１７０からの出力データは他の装置に伝送されるが、判定部１２０による判定結果も他の装置に伝送される必要がある。差分値が量子化されているか否かを他の装置においてエリアごとに把握するためである。そのとき、出力データと判定結果とが１つずつ交互に出力されてしまうと、ビット遷移が多くなり、消費電力が高くなってしまう可能性がある。
【００３７】
そこで、まず、バッファ部１８０は、判定部１２０による判定結果を所定数のエリアの各々に関して蓄積するようにするとよい。そして、出力部１９０は、データ出力部１７０からの出力データを所定数のエリアの各々に関して出力する動作と、バッファ部１８０により蓄積された所定数のエリアの各々に関する判定結果を出力する動作とを交互に行うようにするとよい。出力部１９０から出力されたデータは、例えば、他の装置（画像処理装置１０の内部又は外部に存在する装置）に伝送される。
【００３８】
データ出力部１７０からの出力データは、量子化データＱ１〜Ｑ４又は隣接画素データ間の差分値Ｄ１〜Ｄ４である（これらが符号化されている場合には、符号化データＥ１〜Ｅ４又は符号化データＦ１〜Ｆ４である）。このようにしてデータが出力されれば、所定数のエリアの各々に関する出力データが連続して出力された後に所定数のエリアの各々に関する判定結果が一括して出力されるため、出力データが連続して出力されている間はビット遷移を少なくし、消費電力を低減させることができる。以下では、所定数が「８」であるとして説明を続けるが、所定数は複数であれば特に限定されない。
【００３９】
図４には、図２に示した例のように、１つのエリアが４画素により構成され、８エリアにより１つの単位が構成されている場合に、出力部１９０により出力されるデータ例が示されている。このような場合、各エリアに関して１ビットの判定結果が発生するため、バッファ部１８０は、この判定結果を送信ビット幅である８ビット分蓄積し、出力部１９０は、蓄積された８ビット分の判定結果を差分値（量子化データ又は非圧縮データ）の合間に伝送する。非圧縮データは、量子化がなされていない差分値に相当する。
【００４０】
まず、出力部１９０は、伝送データの先頭アドレス（１アドレス分）に８エリア分の判定結果を書き込む。以下において、１エリア分の判定結果を判定情報とも言う。それ以降、出力部１９０は、４画素分の差分値により構成される１エリアの出力データを８エリア分伝送する。例えば、１画素の差分値は１アドレス分に書き込まれて伝送される。１エリアが４画素分であり、送信ビット幅が８ビットである場合、判定情報は３２アドレスに１度のタイミングで伝送する。このように、出力部１９０は、データ出力部１７０からの出力データとバッファ部１８０からの判定情報とのいずれかを所定のタイミングごとに切り換えて選択的に出力する。
【００４１】
なお、差分値は、基本的に零近傍に集まるのでビット遷移が少ないが、判定情報は、画像と無関係な情報であるため、その前のデータからのビット遷移、その後のデータへのビット遷移ともに増えてしまう可能性がある。しかし、判定情報の伝送は、３２アドレスに１度なされるだけであるため、判定情報の伝送による消費電力の増加は僅かである。また、このように判定情報を伝送することにすると、３２アドレスにつき１アドレスの追加が必要になる。例えば、水平画素数が１２８０ｐｉｘｅｌの画像の場合、アドレス空間が４０ｐｉｘｅｌ分延びて１３２０ｐｉｘｅｌの水平画素数を確保する必要がある。ただし、送信ビット幅は１０ビットから８ビットに減っているので、メモリビットの占有空間としてはむしろ大きく減っている。
【００４２】
図５は、画像処理装置１０の動作の流れを示すフローチャートである。まず、判定部１２０は、最初のエリアを処理対象として選択する（ステップＳ１０）。続いて、判定部１２０は、差分値Ｄ１〜Ｄ４のいずれかが閾値を超えているか否かを判定する（ステップＳ２０）。判定部１２０により差分値Ｄ１〜Ｄ４のいずれかが閾値を超えていると判定された場合には（ステップＳ２０で「Ｙｅｓ」）、当該エリアが第１のエリアであると判定された場合における処理（ステップＳ３２〜ステップＳ３８）に移行される。一方、判定部１２０により差分値Ｄ１〜Ｄ４のいずれもが閾値を超えていないと判定された場合には（ステップＳ２０で「Ｎｏ」）、当該エリアが第２のエリアであると判定された場合における処理（ステップＳ４２〜ステップＳ４８）に移行される。
【００４３】
判定部１２０により当該エリアが第１のエリアであると判定された場合には（ステップＳ２０で「Ｙｅｓ」）、バッファ部１８０は、第１のエリアであると判定された旨を示す判定結果を蓄積し（ステップＳ３２）、量子化部１４０は、差分値Ｄ１〜Ｄ４を量子化する（ステップＳ３４）。続いて、第１の符号化部１５０は、量子化データＱ１〜Ｑ４を符号化することにより符号化データＥ１〜Ｅ４を生成し（ステップＳ３６）、データ出力部１７０は、符号化データＥ１〜Ｅ４を出力する（ステップＳ３８）。
【００４４】
一方、判定部１２０により当該エリアが第２のエリアであると判定された場合には（ステップＳ２０で「Ｎｏ」）、バッファ部１８０は、第２のエリアであると判定された旨を示す判定結果を蓄積する（ステップＳ４２）。続いて、第２の符号化部１６０は、差分値Ｄ１〜Ｄ４を符号化することにより符号化データＦ１〜Ｆ４を生成し（ステップＳ４６）、データ出力部１７０は、符号化データＦ１〜Ｆ４を出力する（ステップＳ４８）。
【００４５】
続いて、出力部１９０は、８エリア分の処理が完了したか否かを判定し（ステップＳ５０）、８エリア分の処理が完了していないと判定した場合には（ステップＳ５０で「Ｎｏ」）、ステップＳ５２に進む。一方、出力部１９０は、８エリア分の処理が完了したと判定した場合には（ステップＳ５０で「Ｙｅｓ」）、バッファ部１８０に蓄積されている８エリア分の判定結果を出力する（ステップＳ５１）。
【００４６】
続いて、判定部１２０は、全エリアに関する処理が完了したか否かを判定し（ステップＳ５２）、全エリアに関する処理が完了していないと判定した場合には（ステップＳ５２で「Ｎｏ」）、次のエリアを処理対象として選択して（ステップＳ５３）、処理対象として選択したエリアに関する処理に戻る（ステップＳ２０）。すなわち、全エリアに関する処理が完了するまで、ステップＳ２０以降の処理が繰り返される。一方、判定部１２０は、全エリアに関する処理が完了したと判定した場合には（ステップＳ５２で「Ｙｅｓ」）、処理を終了する。
【００４７】
以上に説明したように、本実施形態に係る画像処理装置１０は、所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部１２０を備える。また、画像処理装置１０は、第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部１４０を備える。さらに、画像処理装置１０は、第１のエリアであると判定されたエリアに関しては量子化部により量子化された差分値を出力し、第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部１７０と、を備える。
【００４８】
かかる構成によれば、エッジ領域以外の領域については量子化しないため画質劣化を抑えることができる。また、かかる構成によれば、エッジ領域については量子化するため画像伝送時の消費電力及びＥＭＩを低減することが可能である。エッジ領域にはエッジ領域の付近も含まれる。特に、かかる構成によれば、視覚的に目立ちにくいエッジ領域のみに画質劣化を限定することができる。さらに、かかる構成によれば、量子化により画像が圧縮されるため、メモリ占有量及び画像伝送時に必要な配線数を少なくすることができる。また、かかる構成によれば、隣接画素データ間の差分値を算出できればよいため、ラインメモリは不要となり回路規模を小さくすることができる。
【００４９】
より詳細には、本実施形態によれば、画質劣化が目立ちやすい平坦部では差分値を量子化せずに送信することで画質劣化をゼロに抑制し、エッジ領域とその周辺では画質劣化が目立ちにくいので差分値を量子化して送信することでデータを圧縮することができる。すなわち、本実施形態によれば、画質の維持、消費電力の低減、ＥＭＩの低減、メモリ容量削減、配線数削減という複数のメリットを同時に達成することができる。なお、本実施形態によれば、ビット遷移数に関しては約５０％の削減、メモリ容量に関しては約２０％の削減、配線数に関しては約２０％の削減を実現できる。
【００５０】
本実施形態に係る技術は、既に開示されている先行技術文献に記載された技術とは異なっている。特開２００７−２００３６号公報（特許文献２）に記載された技術では、周囲の画素分布によって量子化特性を切り換えているが、本実施形態に示したような量子化特性の判定情報を必要としない。この点、特開２００７−２００３６号公報（特許文献２）に記載された技術の方が合理的に見えるが、本実施形態に示したような量子化を行わないという特性を当該技術に持たせることは不可能であり、画質の劣化が避けられないという側面がある。
【００５１】
特開２００７−２００３６号公報（特許文献２）に記載された技術は、送信対象画素より前の画素群を使って、送信対象画素の性質をあくまで「予測」して量子化特性を切り換えているだけであって、エッジ領域では予測が外れることもある。そのため、量子化器は必ず差分値のフルレンジを確保しておかなくてはならない。ビット幅を減少させることを前提にした、画質劣化させない量子化器というのは理論上生成できないため、画像全域において必ず画質劣化が発生してしまう。一方、本実施形態に係る画像処理装置１０は、予め差分値の分布を調査し、量子化せずに差分値を伝送できるか否かを把握したうえで量子化を行うか否かを判定するため、量子化しないという手段を使用することができる。
【００５２】
本実施形態では、具体例として１０ビットから８ビットへの圧縮について説明したが、この例によらず、１２ビットから１０ビットへの圧縮でも、１４ビットから１０ビットへの圧縮でも構わない。ただし、元データと圧縮データとのビット数の差があまりにも大きいと非圧縮で伝送されるエリアが少なくなり、画質劣化が大きくなっていくことに注意が必要である。本実施形態の特徴を生かすためにはあまりビット数を減らさないほうがよい。
【００５３】
また、本実施形態では、１エリアが４画素により構成される場合を例として説明したが、１エリアを構成する画素数は他の画素数でも構わない。ただし、あまり大きくすると、エッジから離れた平坦部まで量子化の対象となり、画質劣化が検知しやすくなる。逆にあまり小さくすると、判定情報を伝送する頻度が増え、ビット遷移の増加（＝消費電力の増加）、メモリアドレス数の増加（高速動作の妨げ）につながる。
【００５４】
なお、量子化を行う条件として、１０ビットから８ビットへの圧縮を行う場合に差分値が−１２７から＋１２７までの範囲内（＝２５６ステップ、８ビット）に収まるという条件を例として説明した。しかし、量子化を行う条件において規定されるレンジは、圧縮後のビット数のレンジと一致させなくてもよい。例えば、圧縮後のビットが８ビットでも、量子化を行う条件を、差分値が−６４から＋６４までの範囲内（＝１２８ステップ、７ビット）に収まるという条件としてもよい。このような条件にすれば、量子化を行うエリアが減るので、消費電力低減の効果は低下するが、画質劣化を減らすことができる。
【００５５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５６】
１０ 画像処理装置
１１０ 差分算出部
１２０ 判定部
１３０ 遅延処理部
１４０ 量子化部
１５０ 第１の符号化部
１６０ 第２の符号化部
１７０ データ出力部
１８０ バッファ部
１９０ 出力部
Ｐ１〜Ｐ４ 画素データ
Ｄ１〜Ｄ４ 差分値
Ｒ１〜Ｒ３ エリア
Ｑ１〜Ｑ４ 量子化データ
Ｅ１〜Ｅ４ 符号化データ
Ｆ１〜Ｆ４ 符号化データ
【特許請求の範囲】
【請求項１】
所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部と、
前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部と、
前記第１のエリアであると判定されたエリアに関しては前記量子化部により量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記画像処理装置は、
前記第１のエリアであると判定されたエリアに関して前記量子化部により量子化された差分値を符号化する第１の符号化部と、
前記第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値を符号化する第２の符号化部と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第１の符号化部は、
前記量子化部により量子化された差分値を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記第２の符号化部は、
隣接画素データ間の差分値の上位ビットを切り捨てることにより当該差分値のサイズよりも小さいサイズのデータに変換する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記第１の符号化部は、
前記量子化部により量子化された差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当てる、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項６】
前記第２の符号化部は、
隣接画素データ間の差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当てる、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記判定部による判定結果を所定数のエリアの各々に関して蓄積するバッファ部と、
前記データ出力部からの出力データを前記所定数のエリアの各々に関して出力する動作と、前記バッファ部により蓄積された前記所定数のエリアの各々に関する判定結果を出力する動作とを交互に行う出力部と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定するステップと、
前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化するステップと、
前記第１のエリアであると判定されたエリアに関しては量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するステップと、
を含むことを特徴とする、画像処理方法。
【請求項１】
所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定する判定部と、
前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化する量子化部と、
前記第１のエリアであると判定されたエリアに関しては前記量子化部により量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するデータ出力部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記画像処理装置は、
前記第１のエリアであると判定されたエリアに関して前記量子化部により量子化された差分値を符号化する第１の符号化部と、
前記第２のエリアであると判定されたエリアに関して隣接画素データ間の差分値を符号化する第２の符号化部と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第１の符号化部は、
前記量子化部により量子化された差分値を符号化することにより当該差分値のサイズよりも小さいサイズのデータに変換する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記第２の符号化部は、
隣接画素データ間の差分値の上位ビットを切り捨てることにより当該差分値のサイズよりも小さいサイズのデータに変換する、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記第１の符号化部は、
前記量子化部により量子化された差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当てる、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項６】
前記第２の符号化部は、
隣接画素データ間の差分値に対して符号を割り当てるに際して、絶対値が小さい差分値から順に、零を基準としたハミング距離が小さい符号を割り当てる、
ことを特徴とする、請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記判定部による判定結果を所定数のエリアの各々に関して蓄積するバッファ部と、
前記データ出力部からの出力データを前記所定数のエリアの各々に関して出力する動作と、前記バッファ部により蓄積された前記所定数のエリアの各々に関する判定結果を出力する動作とを交互に行う出力部と、
をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
所定画素数の画素データにより構成される複数のエリアの各々が、隣接画素データ間の差分値のいずれかが閾値を超える第１のエリアと隣接画素データ間の差分値の全てが閾値以下である第２のエリアとのいずれであるかを判定するステップと、
前記第１のエリアであると判定されたエリアに関して隣接画素データ間の差分値を量子化するステップと、
前記第１のエリアであると判定されたエリアに関しては量子化された差分値を出力し、前記第２のエリアであると判定されたエリアに関しては隣接画素データ間の差分値を出力するステップと、
を含むことを特徴とする、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１１０５２５（Ｐ２０１３−１１０５２５Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３１６４（Ｐ２０１１−２５３１６４）
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ
【住所又は居所原語表記】２８ Ｓｕｎｇｊｕ−ｄｏｎｇ，Ｃｈａｎｇｗｏｎ−ｃｉｔｙ，Ｋｙｏｎｇｓａｎｇｎａｍ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月１８日（２０１１．１１．１８）
【出願人】（５００５４８８８４）三星テクウィン株式会社 (156)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ
【住所又は居所原語表記】２８ Ｓｕｎｇｊｕ−ｄｏｎｇ，Ｃｈａｎｇｗｏｎ−ｃｉｔｙ，Ｋｙｏｎｇｓａｎｇｎａｍ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]