説明

画像処理装置

【課題】メモリ容量を削減することができる画像処理装置を提供する。
【解決手段】画像処理装置は、複数のフレームの画素データを、フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、フレームメモリに記憶された画素データの上位ビット部分を利用して処理済み画素データを生成する画像処理回路と、処理済み画素データを出力する出力回路とを備える。メモリ制御回路は、画素データを、上位ビット部分と下位ビット部分とに分離する分離回路と、下位ビット部分をフレームメモリに記憶する下位ビット処理回路とを含む。下位ビット処理回路は、それぞれのフレームの画素をn組(nは2以上の整数)に分割し、連続するnフレームの画素データを受信する期間に、分割したn組の画素のうちの対応する1つの組の画素の画素データのみの分離した下位ビット部分をフレームメモリに記憶する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の倍速変換処理を行う画像処理装置において、フレーム間に挿入される補間画像を生成するために利用されるフレームメモリに記憶する画素データ(画像データ)を圧縮する技術に関するものである。
【背景技術】
【0002】
液晶テレビ等の画像表示装置には、画素データとして、通常のテレビ画像のフレーム(フィールド)の画素データと、フィルムソース(映画)の各コマに対応する各フレームの画素データが混在して入力される。画像表示装置では、入力画素データの種別(テレビ画像/フィルムソース)を検出し、検出した種別に応じて変換処理を行うことにより出力画素データを生成して画像を表示する。
【0003】
近年では、本出願人に係る特許文献1のように、入力フレームレートで各フレームの画素データを受信し、例えば、入力フレームレートの2倍の出力フレームレートで、フレーム間に補間画像を挿入した画素データを出力する倍速変換処理を行って画像を倍速表示する画像表示装置が実用化されている。倍速変換処理は、フィルムソースのジャダー緩和および液晶ディスプレイの動画表示性能改善に対して有効な手法である。
【0004】
また、近年では、精細な階調を表現するために、10ビットの画素データ(画素データが、R(赤),G(緑),B(青)の3色で構成される場合、R,G,Bのそれぞれで10ビット、合計で30ビットの画素データ)を表示する画像表示装置が用いられる。このような10ビットの画像表示装置に備えられ、倍速変換処理を行う従来の画像処理装置では、10ビットの入力画素データと10ビットの補間画素データの全部をフレームメモリに保存することが一般的であった。
【0005】
ここで、人間の目は、動画の場合、10ビットの画素データでも、8ビットの画素データでもほとんど違いが分からないという特性がある。つまり、動画の場合には、8ビットの画素データで十分である。一方、静止画の場合、人間の目は、10ビットの画素データと、8ビットの画素データとでは階調の違いを明確に感じるという特性がある。従って、静止画の場合には、10ビットの画素データの方が望ましい。
【0006】
このような人間の目の特性を利用して、図7に示すように、10ビットの入力画素データを8ビットの上位ビット部分と2ビットの下位ビット部分とに分けてフレームメモリに保存するとともに、入力画素データの上位ビット部分のみを利用して8ビットの補間画素データを生成してフレームメモリに保存し、補間画像を表示する時に、補間画素データの8ビットの上位ビット部分と入力画素データの2ビットの下位ビット部分とを加算して、10ビットの補間画素データを生成する手法もある。
【0007】
図7に示す画像処理装置50では、現在のフレームの10ビットの入力画素データが、分離回路52により、8ビットの上位ビット部分と2ビットの下位ビット部分とに分離され、それぞれ、フレームメモリ56の対応する記憶領域に記憶される。
【0008】
補間画像生成回路54では、分離回路52から入力された現在のフレームの画素データの8ビットの上位ビット部分と、フレームメモリ56から読み出された、1つ前のフレームの入力画素データの8ビットの上位ビット部分とから、現在のフレームの補間画素データの8ビットの上位ビット部分が生成される。補間画像生成回路54によって生成された現在のフレームの補間画素データの8ビットの上位ビット部分は、フレームメモリ56に記憶される。
【0009】
そして、加算器58により、所定の順序でフレームメモリ56から読み出された、入力画素データの8ビットの上位ビット部分、もしくは、補間画素データの8ビットの上位ビット部分と、2ビットの下位ビット部分とが加算され、10ビットの出力画素データが生成される。
【0010】
また同様に、特許文献2には、表示フレームデータの上位ビットと下位ビットとをフレームメモリの別領域に記憶し、動画強調処理部で利用する前フレーム表示データは、上位ビットのみ読み出すことが記載されている。
【0011】
しかし、上記のいずれの手法を採用したとしても、従来の倍速変換処理を行う画像処理装置では、10ビットの入力画素データの全部をフレームメモリに保存する必要がある。
【0012】
10ビットの画素データを保存するためには、8ビットの画素データよりも多くのメモリ容量とフレームメモリへのアクセス用のバンド幅が必要になる。そのため、画像処理装置では、圧縮技術を利用して、画像情報の大部分を含む8ビットの上位ビット部分のみを、例えば、圧縮率50%で4ビットの画素データに圧縮してフレームメモリ18に記憶することが多い。
【0013】
一方、2ビットの下位ビット部分は高い圧縮率で圧縮することが難しく、非圧縮のままフレームメモリに記憶される。しかし、8ビットの上位ビット部分の圧縮率を50%とすると、2ビットの下位ビット部分を保存するためのメモリ容量とバンド幅は、8ビットの上位ビット部分を圧縮した後の4ビットの画素データの半分相当となり、画素データ全体として高い圧縮率を実現することができないという問題があった。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】特開2011−19037号公報
【特許文献2】特開2008−304763号公報
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明の目的は、メモリ容量を削減することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【0016】
上記目的を達成するために、本発明は、複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す画素データを、該フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、
前記フレームメモリに記憶された画素データを利用した画像処理を行い処理済み画素データを生成する画像処理回路と、
前記処理済み画素データを出力する出力回路とを備えた画像処理装置であって、
前記画像処理回路が、前記画素データの上位ビット部分を利用して前記処理済み画素データを生成するものであり、
前記メモリ制御回路が、前記画素データを、上位ビット部分と該上位ビット部分を除いた少なくとも2ビットの下位ビット部分とに分離する分離回路と、該分離した下位ビット部分を前記フレームメモリに記憶する下位ビット処理回路とを含み、
前記下位ビット処理回路が、
該分離した下位ビット部分を、さらに、それぞれ少なくとも1ビットのn個(nは2以上の整数)の単位部分に分割し、前記複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、該分割したn個の単位部分のうちの対応する1つの単位部分のみを前記フレームメモリに記憶するか、もしくは、
それぞれのフレームを構成する複数の画素をn組(nは2以上の整数)に分割し、前記複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、該分割したn組の画素のうちの対応する1つの組の画素の画素データのみの前記分離した下位ビット部分を前記フレームメモリに記憶することを特徴とする画像処理装置を提供するものである。
【0017】
ここで、前記画像処理回路が、前記処理済み画素データの上位ビット部分を生成するものであり、
前記出力回路が、前記画像処理回路が生成した前記処理済み画素データの上位ビット部分に、前記フレームメモリから読み出した前記画素データの下位ビット部分を追加し、前記処理済み画素データとして出力することが好ましい。
【0018】
また、前記メモリ制御回路の上位ビット処理回路が、前記分離した上位ビット部分を圧縮する圧縮回路を更に含み、該圧縮回路が圧縮した前記上位ビット部分を前記フレームメモリに記憶することが好ましい。
【0019】
また、前記画像処理回路が、前記複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを、前記処理済み画素データとして生成することが好ましい。
【発明の効果】
【0020】
本発明によれば、画素データのnビットの下位ビット部分をn個に分割してフレームメモリに記憶することにより、下位ビット部分のメモリ容量を1/nに削減することができる。また、下位ビット部分を時間分割してフレームメモリに出力することにより、下位ビット部分をフレームメモリに送るメモリバスのバンド幅も1/nに削減することができる。
【図面の簡単な説明】
【0021】
【図1】本発明に関わる画像処理装置の構成を表す一実施形態のブロック図である。
【図2】下位ビット部分をフレームメモリに記憶する時の流れを表す概念図である。
【図3】フレームメモリに記憶された下位ビット部分の内容を表す概念図である。
【図4】LSB処理回路の構成を表すブロック図である。
【図5】テレビ画像の各フレームの入力画素データとその倍速変換後の各フレームの出力画素データとの関係を表すグラフである。
【図6】テレビ画像の画素データが入力された場合の画像処理装置の動作を表す概念図である。
【図7】従来の画像処理装置の構成を表す一例のブロック図である。
【発明を実施するための形態】
【0022】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置を詳細に説明する。
【0023】
図1は、本発明に関わる画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置10は、60Hz/50Hzの入力フレームレートで10ビットの入力画素データを受け取り、これを倍速変換処理して、120Hz/100Hzの出力フレームレートで10ビットの出力画素データを出力するものであって、メモリ制御回路12と、画像処理回路14と、出力回路16とによって構成されている。
【0024】
なお、入力フレームレートおよび出力フレームレートは、それぞれ、60Hz/50Hzおよび120Hz/100Hz、つまり、2倍速の倍速変換処理に限定されないし、入力画素データおよび出力画素データのビット数も10ビットに限定されない。
【0025】
画像処理装置10は、テレビ画像の各フレームの画素データ(以下、テレビ画像の画素データという)を処理する回路、および、フィルムソースの各コマを2:3/2:2プルダウンして生成された各フレームの画素データ(以下、フィルムソースの画素データという)を処理する回路の両方を含むものであるが、図1には、説明を簡単に行うために、テレビ画像の画素データを処理する回路のみを示している。従って、以下、テレビ画像の画素データが入力される場合について説明するが、フィルムソースの画素データが入力される場合にも同様に適用可能である。
【0026】
まず、メモリ制御回路12は、10ビットの入力画素データ、つまり、複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す10ビットの画素データを、フレームの順番に受信し、フレームメモリ18に記憶するものである。メモリ制御回路12は、MSB/LSB分離回路20と、LSB処理回路22と、MSB処理回路24とによって構成されている。
【0027】
MSB/LSB分離回路20は、前述の人間の目の特性に応じて、10ビットの画素データを、最上位ビット(MSB)から8ビットの上位ビット部分と、最下位ビット(LSB)から2ビットの下位ビット部分に分離する。画像処理装置10では、8ビットの上位ビット部分を使用して補間画素データの8ビットの上位ビット部分を生成し、これに2ビットの下位ビット部分を加算して10ビットの画素データとして出力する。
【0028】
なお、MSB/LSB分離回路20は、8ビットの上位ビット部分と、2ビットの下位ビット部分に分離することに限定されず、画素データを、上位ビット部分と、上位ビット部分を除いた少なくとも2ビットの下位ビット部分とに分離すればよい。
【0029】
LSB処理回路22は、それぞれのフレームの画像を構成する複数の画素を奇数画素と偶数画素の2組に分割し、複数のフレームのうちの連続する2フレームのそれぞれを構成する画素データを受信する期間に、1フレーム毎に、奇数画素と偶数画素に分割した2組の画素のうちの、奇数画素の画素データのみの2ビットの下位ビット部分と、偶数画素の2ビットの画素データのみの下位ビット部分とを交互にフレームメモリ18に記憶する。
【0030】
例えば、図2に示すように、フレームf0からフレームf1の間で動きがない(動き=0)静止画の場合、フレームf0では、画面半分相当画素として、奇数画素のみの2ビットの下位ビット部分がフレームメモリ18に記憶される。続くフレームf1では、画面残り半分相当画素として、偶数画素のみの2ビットの下位ビット部分がフレームメモリ18に記憶される。
【0031】
つまり、10ビットの画素データのうちの2ビットの下位ビット部分は、フレームf0で1画面の半分の画素データのみが記憶され、フレームf1でも同様に1画面の残りの半分の画素データのみが記憶される。その結果、2フレームで1画面分の画素データがフレームメモリ18に記憶される。そして、2ビットの下位ビット部分については、2フレームで記憶された1画面全画素相当の画素データがフレームメモリ18から読み出され、表示に利用される。
【0032】
図3に示すように、2ビットの下位ビット部分については例えば、1画面の水平方向×垂直方向の画素数がそれぞれ偶数(例えば、1920画素×1080画素)であるとすると、それぞれのラインごとに、奇数画素と偶数画素とが、フレームf0とf1とに分けて、フレームメモリ18に記憶される。図3に示した例では、奇数ラインでは、奇数画素の画素データが偶数フレームf0で、偶数画素の画素データが奇数フレームf1で記憶され、偶数ラインでは、偶数画素の画素データが偶数フレームf0で、奇数画素の画素データが奇数フレームf1で記憶される。すなわち、図3に示した例では、ラインごとに、偶数フレームf0で記憶する画素と奇数フレームf1で記憶する画素とを入れ換えている。
【0033】
このように、ラインごとに、記憶する画素を入れ換えることは必須ではなく、全てのラインにおいて、例えば、奇数画素の画素データを偶数フレームf0で記憶し、偶数画素の画素データを奇数フレームf1で記憶することも可能である。ラインごとに記憶する画素を入れ換えることにより、わずかに動きがある画像を表示する場合の表示品質が向上することは期待される。しかし、完全に静止している場合、もしくは、大きな動きがある場合には、いずれでも同等の表示品質が得られる。このように、それぞれのフレームにおいて2ビットの下位ビット部分の画素データを記憶する画素数を半分にすることにより、2ビットの下位ビット部分の画素データを記憶するために必要なフレームメモリ18の容量を半分に削減することが可能である。
【0034】
フレームf0からフレームf1の間で動きがない場合、フレームf0の各画素の画素データとフレームf1の対応する画素の画素データとは同一である。従って、フレームf0とフレームf1のそれぞれの半分の画素の画素データがなくても、フレームメモリ18に記憶されたフレームf0の半分の画素の画素データとフレームf1の半分の画素の画素データとを読み出すことにより、フレームf0,f1の1画面分の各画素の画素データの2ビットの下位ビット部分を完全に復元することができる。
【0035】
なお、LSB処理回路22は、奇数画素と偶数画素の2組に限らず、それぞれのフレームを構成する複数の画素をn組(nは2以上の整数)に分割し、複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、1フレーム毎に、分割したn組の画素のうちの対応する1つの組の画素の画素データのみの分離した下位ビット部分を順次フレームメモリ18に記憶してもよい。
【0036】
また、LSB処理回路22は、分離した下位ビット部分を、さらに、それぞれ少なくとも1ビットのn個(nは2以上の整数)の単位部分に分割し、複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、1フレーム毎に、分割したn個の単位部分のうちの対応する1つの単位部分のみを順次フレームメモリ18に記憶してもよい。
【0037】
例えば、下位ビット部分が、ビット0,1からなる2ビットの場合、LSB処理回路22は、分離した下位ビット部分を、ビット0およびビット1の2つの単位部分に分割し、複数のフレームのうちの連続する2フレームのそれぞれを構成する画素データを受信する期間に、1フレーム毎に、ビット0の単位部分とビット1の単位部分とを交互にフレームメモリ18に記憶することが可能である。
【0038】
なお、下位ビット部分をどのように分割するか、いくつに分割するかは任意である。しかし、どのように分割したとしても、n個に分割した場合には、下位ビット部分のメモリ容量を1/nに削減することができる。
【0039】
また、LSB処理回路22は、分離した2ビットの下位ビット部分を1ビットずつ時間分割して順次出力する時間分割回路26を更に含み、時間分割回路26が時間分割で順次出力した下位ビット部分の1ビットをフレームメモリ18に順次記憶する。これにより、下位ビット部分を記憶するためにフレームメモリ18に送るメモリバスのバンド幅を半分に削減することができる。下位ビット部分を2つの単位部分に分割して、1フレームごとに、2つの単位部分を交互に記憶するようにした場合も同様である。
【0040】
時間分割回路26は、例えば、図4に示すように、バッファ回路42を備え、2ビットの下位ビット部分がバッファ回路42に入力されると、バッファ回路42により、1ビットずつ時間分割で出力される。2ビットの下位ビット部分のビット0,1に対応するフレームメモリ18の記憶領域は、例えば、ビット0,1の画素データをフレームメモリ18に書き込むときのアドレス信号を変えることによって指定可能である。
【0041】
MSB処理回路24は、分離された8ビットの上位ビット部分を半分の4ビットの圧縮データに圧縮する圧縮回路28を更に含み、圧縮回路28が圧縮した4ビットの上位ビット部分をフレームメモリ18に記憶する。
【0042】
なお、上位ビット部分を圧縮する方法は何ら限定されず、各種の圧縮方法を利用することができる。また、8ビットを4ビットに圧縮することも限定されない。さらに、後述する補間画素データの圧縮伸張方法も同様である。
【0043】
続いて、画像処理回路14は、フレームメモリ18に記憶された画素データを利用した画像処理を行い、処理済み画素データとして、補間画素データ、つまり、複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを生成するものであって、動きベクトル検出回路30と、補間画像生成回路32と、圧縮伸張回路34とによって構成されている。
【0044】
動きベクトル検出回路30は、MSB/LSB分離回路20から入力される現在のフレームの画素データの8ビットの上位ビット部分と、後述する圧縮伸張回路34から入力される1つ前のフレームの画素データの8ビットの上位ビット部分とを比較することにより、現在のフレームの動きベクトル(1つ前のフレームから現在のフレームまでの動き)を検出する。
【0045】
補間画像生成回路32は、動きベクトル検出回路30から入力される1つ前のフレームから現在のフレームまでの動きベクトルに基づいて、現在のフレームの画素データの8ビットの上位ビット部分と、1つ前のフレームの画素データの8ビットの上位ビット部分とを用いて補間処理を行い、1つ前のフレームと現在のフレームとの間の補間フレームの8ビットの画素データ(1つ前のフレームと現在のフレームとの間に挿入される補間画像の画素データ)を生成する。
【0046】
なお、動きベクトルの検出方法および補間画像の生成方法は何ら限定されない。これらの方法は、既に各種の方法が提案されており、本発明においても、これらの各種の方法を採用することができる。
【0047】
圧縮伸張回路34は、MSB処理回路24の圧縮回路28と同様に、補間画像生成回路32から入力される8ビットの補間画素データを4ビットの圧縮データに圧縮してフレームメモリ18に記憶する。また、圧縮伸張回路34は、フレームメモリ18から入力される1つ前のフレームの4ビットの圧縮データを8ビットの画素データに伸張する。伸張された1つ前のフレームの8ビットの画素データは、前述の動きベクトル検出回路30および補間画像生成回路32に入力される。
【0048】
続いて、出力回路16は、入力画素データおよび処理済み画素データを含む、倍速変換処理後の10ビットの画素データを出力するものであって、倍速処理回路36と、伸張回路38と、加算器40とによって構成されている。
【0049】
伸張回路38は、画像処理回路14の圧縮伸張回路34と同様に、フレームメモリ18から入力される、8ビットの入力画素データに対応する4ビットの圧縮データと、8ビットの補間画素データに対応する4ビットの圧縮データを8ビットの画素データに伸張する。
【0050】
倍速処理回路36は、伸張回路38から入力される入力画素データの8ビットの上位ビット部分と補間画素データの8ビットの上位ビット部分とを、出力のフレームレートで、あらかじめ設定された所定の順序で順次切り換えて出力する。これにより、倍速処理回路36から、入力画素データを倍速変換した出力画素データの8ビットの上位ビット部分が出力される。
【0051】
加算器40は、倍速処理回路36から入力される画素データの8ビットの上位ビット部分と、フレームメモリ18から入力される、入力画素データの2ビットの下位ビット部分とを加算し、合計10ビットの出力画素データとして出力する。
【0052】
つまり、出力回路16は、入力画素データの8ビットの上位ビット部分、もしくは、画像処理回路14によって生成された補間画素データの8ビットの上位ビット部分に、フレームメモリ18から読み出された、入力画素データの2ビットの下位ビット部分を追加し、これを10ビットの出力画素データ(つまり、入力画素データ、もしくは、補間画素データ)として出力する。
【0053】
次に、テレビ画像の入力画素データと出力画素データとの関係について説明する。
【0054】
図5は、テレビ画像の入力画素データとその倍速変換後の出力画素データとの関係を表すグラフである。このグラフの縦軸は入力画像における動き(MV)、横軸は1フレームの期間を単位とする時間(T)を表し、入力画像が画面内で左下から右上に向かって移動する様子を表す。記号●、◆は入力画像、☆は補間画像、横軸下部の記号は出力画像の配列である。グラフには、出力フレームレートの1フレームの期間を分かりやすくする目的で縦線を示してある。番号1,2,3,…は、入出力フレームの対応関係を表す。
【0055】
このグラフに示すように、テレビ画像の画素データが入力される場合、例えば、60Hzの入力フレームレートで、テレビ画像の各フレームの画素データ(●および◆)が1フレームの期間、画像処理装置10に入力されることが、テレビ画像の各フレームについて繰り返し行われる。グラフに矢印で示したように、画素データが画像処理装置10に入力されてから出力されるまでの時間は、この例の場合、120Hzの出力フレームレートで3フレーム分の時間である。
【0056】
画像処理装置10は、テレビ画像の画素データが入力された場合、第1の入力画素データ(●)を1回、第1の補間画素データ(☆)を1回、続く第2の入力画素データ(◆)を1回、第2の補間画素データ(☆)を1回出力することを繰り返し行うことにより、倍速変換後の出力画素データ(●☆◆☆…)を生成する。
【0057】
次に、画像処理装置10の動作を説明する。
【0058】
画像処理装置10には、図6に示すように、フレームf0,f1,f2,f3,f4,…の順番で、複数のフレームの画素の10ビットの画素データが入力フレームレートで順次入力される。この場合、フレームメモリ18は、偶数フレームf0,f2,f4,…の画素の画素データを記憶するための第1の記憶領域44と、奇数フレームf1,f3,f5,…の画素の画素データを記憶するための第2の記憶領域46とを有するものとすることが可能である。それぞれの記憶領域は、8ビットの上位ビット部分を圧縮した4ビットの圧縮データと、半分の画素の2ビットの下位ビット部分の画素データとの合計の、1画素当たり5ビットの画素データを記憶可能な容量を有する。フレームメモリ18はさらに、補間画像生成回路32が生成する補間画素の8ビットの上位ビット部分を圧縮した4ビットの圧縮データを記憶するための第3の記憶領域48を有する。以下、このような3つの記憶領域を有するフレームメモリ18を備えていることを前提として、画像処理装置10の動作を説明する。
【0059】
各々のフレームf0,f1,f2,f3,f4,…の期間に入力された10ビットの画素データは、まず、MSB/LSB分離回路20によって、8ビットの上位ビット部分と2ビットの下位ビット部分とに分離される。
【0060】
2ビットの下位ビット部分は、LSB処理回路22によって、ラインごとに奇数画素と偶数画素の2組に分割され、連続する2フレームのそれぞれを構成する画素データを受信する期間に、2組に分割した画素の一方のみの画素データが、1ビットずつ時間分割でフレームメモリ18のそれぞれの記憶領域に順次記憶される。
【0061】
例えば、図3に示す例では、偶数フレームf0では、このフレームで入力された画素データの2ビットの下位ビット部分は、奇数ラインでは奇数画素の画素データのみが、偶数ラインでは偶数画素の画素データのみが、フレームメモリ18の第1の記憶領域44に記憶される。フレームf0でフレームメモリ18に記憶された、奇数もしくは偶数画素の画素データの2ビットの下位ビット部分は、フレームf2の画素データが入力されるまでの期間保持される。
【0062】
続く奇数フレームf1では、このフレームで入力された画素データの2ビットの下位ビット部分は、奇数ラインでは偶数画素の画素データのみが、偶数ラインでは奇数画素の画素データのみが、フレームメモリ18の第2の記憶領域46に記憶される。フレームf1でフレームメモリ18に記憶された、偶数もしくは奇数画素の画素データの2ビットの下位ビット部分は、フレームf3の画素データが入力されるまでの期間保持される。これ以後の各フレームでも同様の動作が繰り返し行われる。
【0063】
一方、8ビットの上位ビット部分は、MSB処理回路24によって、半分の4ビットの圧縮データに圧縮され、1フレーム毎に、フレームメモリ18の対応する記憶領域に順次記憶される。
【0064】
例えば、フレームf0の期間に入力された画素データの8ビットの上位ビット部分は、フレームf0の期間にフレームメモリ18の第1の記憶領域44に記憶され、同様に、フレームf2の画素データが入力されるまでの期間保持される。続くフレームf1の期間に入力された画素データの8ビットの上位ビット部分は、フレームf1の期間にフレームメモリ18の第2の記憶領域46に記憶され、同様に、フレームf3の画素データが入力されるまでの期間保持される。これ以後の各フレームでも同様の動作が繰り返し行われる。
【0065】
また、8ビットの上位ビット部分は、動きベクトル検出回路30および補間画像生成回路32にも入力される。
【0066】
動きベクトル検出回路30では、現在のフレームの10ビットの画素データが入力される期間に、現在のフレームの画素データの8ビットの上位ビット部分と、フレームメモリ18から読み出され、圧縮伸張回路34によって伸張された1つ前のフレームの画素データの8ビットの上位ビット部分との比較が行われることにより、1つ前のフレームと現在のフレームとの間の動きベクトルが検出される。
【0067】
例えば、フレームf1の画素データが入力される期間に、フレームf1の画素データの8ビットの上位ビット部分と、フレームf0の画素データの8ビットの上位ビット部分との比較が行われ、フレームf0とフレームf1との間の動きベクトルが検出される。
【0068】
続いて、補間画像生成回路32により、1つ前のフレームと現在のフレームとの間の動きベクトルに基づいて、現在のフレームの画素データの8ビットの上位ビット部分と、1つ前のフレームの画素データの8ビットの上位ビット部分とを用いて、1つ前のフレームと現在のフレームとの間の補間フレームの画素データの8ビットの上位ビット部分が生成される。補間画素データの8ビットの上位ビット部分は圧縮伸張回路34によって4ビットの圧縮データに圧縮され、フレームメモリ18の対応する記憶領域に記憶される。
【0069】
図6に示すように、例えば、フレームf1の期間では、フレームf0とフレームf1との間の動きベクトルに基づいて、フレームf0,f1の画素データの8ビットの上位ビット部分を用いて、フレームf0とフレームf1との間の補間フレームf0/f1の画素データの8ビットの上位ビット部分が生成される。補間フレームf0/f1の画素データの8ビットの上位ビット部分は、4ビットの圧縮データに圧縮されてフレームメモリ18の第3の記憶領域48に記憶される。
【0070】
続くフレームf2の期間では、フレームf1とフレームf2との間の動きベクトルに基づいて、フレームf1,f2の画素データの8ビットの上位ビット部分を用いて、フレームf1とフレームf2との間の補間フレームf1/f2の画素データの8ビットの上位ビット部分が生成される。補間フレームf1/f2の画素データの8ビットの上位ビット部分は、4ビットの圧縮データに圧縮されてフレームメモリ18の対応する記憶領域に記憶される。図6に示した例では、補間画素データf1/f2の8ビットの上位ビット部分は、補間画素データf0/f1の8ビットの上位ビット部分が記憶されていた第3の記憶領域48に上書きされる。これ以後の各フレームでも同様の動作が繰り返し行われる。
【0071】
そして、図6に示した例では、最初のフレームの画素データの入力が開始されてから、出力フレームレートで3フレーム分の時間の後から、倍速処理回路36により、フレームメモリ18から読み出され、伸張回路38によって伸張された入力画素データの8ビットの上位ビット部分と補間画素データの8ビットの上位ビット部分とが、出力のフレームレートで、あらかじめ設定された所定の順序で順次切り換えて出力される。
【0072】
そして、加算器40により、倍速処理回路36から入力される画素データの8ビットの上位ビット部分と、フレームメモリ18から読み出された入力画素データの2ビットの下位ビット部分とが加算され、合計10ビットの出力画素データが出力される。これにより、図6に示すように、10ビットの出力画素データが、フレームf0,f0/f1,f1,f1/f2,f2,…の順序で、画像処理装置10から順次出力される。
【0073】
図6に示すように、例えば、フレームf0の入力画素データは、それ以前にフレームメモリ18の第1の記憶領域44に記憶されているフレームf−2の入力画素データを順次上書きすることによって記憶される。フレームf1の入力画素データは、それ以前にフレームメモリ18の第2の記憶領域46に記憶されているフレームf−1の入力画素データを順次上書きすることによって記憶される。同様に、補間フレームf0/f1の画素データは、それ以前にフレームメモリ18の第3の記憶領域48に記憶されている補間フレームf−1/f0の画素データを順次上書きすることによって記憶される。
【0074】
そして、例えば、フレームf0の出力画素データを出力する期間には、フレームメモリ18の第2の記憶領域46にフレームf1の入力画素データを書き込むとともに、フレームf1の半分の画素の画素データの2ビットの下位ビット部分を、同じ第2の記憶領域46から読み出す。また、補間フレームf0/f1の画素データを出力する期間には、フレームメモリ18の第3の記憶領域48から補間フレームf0/f1の画素データの上位ビット部分を読み出すとともに、同じ第3の記憶領域48に、補間フレームf1/f2の画素データの上位ビット部分を書き込み、さらに、フレームメモリ18の第1の記憶領域44からは、フレームf0の半分の画素の画素データの2ビットの下位ビット部分を読み出すとともに、フレームf2の入力画素データを同じ第1の記憶領域44に書き込む。
【0075】
このように、フレームメモリの記憶領域への書き込みと同一の記憶領域からの読み出しとを同一の期間に実施するためには、例えば、本出願人に係る特開2009−169257号公報の図7,8に示されたように、書き込み用および読み出し用FIFOを設け、かつ、入力画素データが入力されるクロックの2倍の周波数のクロックでフレームメモリへの書き込みおよびフレームメモリからの読み出しを行う技術を利用することができる。これにより、安価なSDRAMをフレームメモリとして利用した場合にも、各ラインの前半と後半とに分けて、画素データの書き込みと読み出しとを行うことができる。
【0076】
画像処理装置10では、動画の場合、画像処理装置10から出力される10ビットの補間画素データのうち、2ビットの下位ビット部分は前後のフレームの入力画素データの画素データであり、補間画素データではない。しかし、前述の人間の目の特性から、動画の場合には、2ビットの下位ビット部分を無視できるため、何ら問題なく動画を表示することができる。
【0077】
一方、静止画の場合にも、10ビットの補間画素データのうち、2ビットの下位ビット部分は前後のフレームの入力画素データである。しかし、静止画の場合には、前後のフレームの入力画素データは同じであるから、2ビットの下位ビット部分は前後のフレームの入力画素データの間の補間画素データとなる。従って、高精細な静止画を表示することができる。
【0078】
例えば、8ビットの上位ビット部分の圧縮率を50%とすると、圧縮後の圧縮データは4ビットになる。また、2ビットの下位ビット部分は、半分の画素の画素データのみが記憶されるため、同じく圧縮率50%相当となる。従って、画素データ全体で5ビットのデータとなり、50%という高い圧縮率を実現することができる。
【0079】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【0080】
10,50 画像処理装置
12 メモリ制御回路
14 画像処理回路
16 出力回路
18,56 フレームメモリ
20 MSB/LSB分離回路
22 LSB処理回路
24 MSB処理回路
26 時間分割回路
28 圧縮回路
30 動きベクトル検出回路
32,54 補間画像生成回路
34 圧縮伸張回路
36 倍速処理回路
38 伸張回路
40,58 加算器
42 バッファ回路
52 分離回路

【特許請求の範囲】
【請求項1】
複数のフレームのそれぞれを構成する複数の画素のそれぞれの画素値を表す画素データを、該フレームの順番に受信し、フレームメモリに記憶するメモリ制御回路と、
前記フレームメモリに記憶された画素データを利用した画像処理を行い処理済み画素データを生成する画像処理回路と、
前記処理済み画素データを出力する出力回路とを備えた画像処理装置であって、
前記画像処理回路が、前記画素データの上位ビット部分を利用して前記処理済み画素データを生成するものであり、
前記メモリ制御回路が、前記画素データを、上位ビット部分と該上位ビット部分を除いた少なくとも2ビットの下位ビット部分とに分離する分離回路と、該分離した下位ビット部分を前記フレームメモリに記憶する下位ビット処理回路とを含み、
前記下位ビット処理回路が、
該分離した下位ビット部分を、さらに、それぞれ少なくとも1ビットのn個(nは2以上の整数)の単位部分に分割し、前記複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、該分割したn個の単位部分のうちの対応する1つの単位部分のみを前記フレームメモリに記憶するか、もしくは、
それぞれのフレームを構成する複数の画素をn組(nは2以上の整数)に分割し、前記複数のフレームのうちの連続するnフレームのそれぞれを構成する画素データを受信する期間に、該分割したn組の画素のうちの対応する1つの組の画素の画素データのみの前記分離した下位ビット部分を前記フレームメモリに記憶することを特徴とする画像処理装置。
【請求項2】
前記画像処理回路が、前記処理済み画素データの上位ビット部分を生成するものであり、
前記出力回路が、前記画像処理回路が生成した前記処理済み画素データの上位ビット部分に、前記フレームメモリから読み出した前記画素データの下位ビット部分を追加し、前記処理済み画素データとして出力することを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記メモリ制御回路の上位ビット処理回路が、前記分離した上位ビット部分を圧縮する圧縮回路を更に含み、該圧縮回路が圧縮した前記上位ビット部分を前記フレームメモリに記憶することを特徴とする請求項1または2記載の画像処理装置。
【請求項4】
前記画像処理回路が、前記複数のフレームのそれぞれの間を補間する補間フレームを構成する画素のそれぞれの画素値を表すデータを、前記処理済み画素データとして生成することを特徴とする請求項1ないし3のいずれかに記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−220926(P2012−220926A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−90055(P2011−90055)
【出願日】平成23年4月14日(2011.4.14)
【出願人】(501285133)川崎マイクロエレクトロニクス株式会社 (449)
【Fターム(参考)】