画像処理装置、画像処理方法
【課題】 メモリの小容量化と圧縮誤差の低下の両立を可能にする画像処理装置を提供する
【解決手段】 出力画像データ生成手段１１は、特定参照データ及び処理前画像データに基づいて処理済画像データを生成する。参照データ生成手段５は、２以上の連続したフレームで構成される１タームに同一の処理を繰り返し実行する。対象フレームがターム内の先頭である場合、データ伸張手段１５が生成した復元参照データを特定参照データとして出力する。対象フレームがターム内の２番目以後である場合、データ伸張手段１５が生成した復元参照データと対象フレームの処理前画像データとに基づいて模擬特定参照データを生成し、これを特定参照データとして出力する。更に対象フレームがターム内の最終である場合には、上記動作に加えて特定参照データと当該対象フレームの処理前画像データとに基づいて参照データを生成してデータ圧縮手段１３に出力して圧縮させる。
【解決手段】 出力画像データ生成手段１１は、特定参照データ及び処理前画像データに基づいて処理済画像データを生成する。参照データ生成手段５は、２以上の連続したフレームで構成される１タームに同一の処理を繰り返し実行する。対象フレームがターム内の先頭である場合、データ伸張手段１５が生成した復元参照データを特定参照データとして出力する。対象フレームがターム内の２番目以後である場合、データ伸張手段１５が生成した復元参照データと対象フレームの処理前画像データとに基づいて模擬特定参照データを生成し、これを特定参照データとして出力する。更に対象フレームがターム内の最終である場合には、上記動作に加えて特定参照データと当該対象フレームの処理前画像データとに基づいて参照データを生成してデータ圧縮手段１３に出力して圧縮させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に類似した画像データが繰り返し入力されるシステムにおける画像処理技術に関する。
【背景技術】
【０００２】
近年の急速な半導体技術の発展や画像データの高精細化に伴って、デバイスやシステムが処理すべき画像データ量は爆発的に増加の一途をたどっている。また、液晶パネル等の表示手段における表示品質の向上や、高付加価値化を目的とした画像処理の要請、更には３Ｄ−ＴＶの登場等により、画像データに対して膨大な処理を行うことが要求されている。
【０００３】
画像データに対する演算処理（補正処理等）を行う際、多くの場合は処理途中の画像データや当該画像データから算出されたデータ等を一時的にメモリに保持する必要がある。しかしながら、先述したように画像データの高精細化に伴い、取り扱うデータは非常に膨大な量となる。このため、これらデータを生データのままメモリに保持するためには、大容量のメモリを必要とする。しかし、このような大容量メモリは高価格であるため、製造コストの高騰を招いてしまう。
【０００４】
デバイスやシステムの製造コストを抑制するためには、大容量メモリを実装しなくても処理が可能となるよう、保持すべきデータ量を削減することが考えられる。このための手段として、保持すべきデータを一旦圧縮することによりデータ量を削減しておき、この削減したデータを保持する構成とする。これにより、必要なメモリの容量を減らすことができる。この手法は一般的に用いられているものである。
【０００５】
過去に求められた処理データを一時的にメモリに格納しておき、このメモリからその処理データを読み出して、対象となる画素データに対する処理を実行する方法は、色々な場面で用いられる。例えば、下記特許文献１には、液晶表示装置の応答特性を改善するために、直前の画素データからの変化に応じて画素電極に印加する電圧値を決定する方法が開示されている。これは、印加電圧に対して透過率が変化する際の応答速度や液晶の誘電率変化に対する充電特性が悪く、画像信号の早い変化に対して十分に応答することが難しいという液晶特有の問題点を解決するためになされたものである。
【０００６】
また、下記特許文献２には、立体（３Ｄ）映像を表示する表示装置に関する技術が開示されている。３Ｄ表示システムには、左目用画像と右目用画像をそれぞれ交互に表示させることで３Ｄ表示を実現する形式がある。ここで、最初の連続２フレームにわたって、左目用画像を出力した後、次の連続２フレームにわたって右目用画像を出力する構成とした場合、連続する２フレーム毎に近似した画像データが入力される。このとき、２フレームを１組とした場合に、最初のフレームで入力された画像データを一時的に格納しておき、この格納された画像に基づいて次のフレームの画像データを出力することが行われる場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１１６７４３号公報
【特許文献２】特開２００９−２３２２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、既に得られた過去の処理データを用いて画像処理を行う場合、一時的にメモリ内にデータを保管する必要がある。そして、メモリの容量を小さくすべく、処理済データに対して圧縮処理を行った圧縮データをメモリに格納し、この圧縮データをメモリから読み出して伸張処理を施して、画像処理に用いる。
【０００９】
図１２は、前述の処理フローを行う画像処理装置の構成を示す概念的ブロック図である。図１２に示す従来の画像処理装置５０は、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，メモリ１７，参照データ生成手段６０，処理前画像データ入力端子２１，及び処理済画像データ出力端子２３を備える。
【００１０】
処理前画像データ入力端子２１には、処理対象となる画像データ（以下、「処理前画像データ」という）が順次入力される。例えば、水平方向Ｘ画素×垂直方向Ｙ画素で構成される処理前画像データが毎フレームに入力される構成が考えられる。
【００１１】
処理前画像データ入力端子２１に入力された処理前画像データは、出力画像データ生成手段１１と参照データ生成手段６０に送られる。この時点において、メモリ１７には、直前のフレームにおいて生成された参照データがデータ圧縮手段１３によって圧縮された圧縮データ（以下、「圧縮参照データ」という）が格納されている。
【００１２】
データ伸張手段１５は、このメモリ１７に格納されていた前フレームの圧縮参照データに伸張処理を施して復元データ（以下、「復元参照データ」という）を生成し、これを出力画像データ生成手段１１及び参照データ生成手段６０に与える。
【００１３】
出力画像データ生成手段１１は、対象フレームの入力画像データとデータ伸張手段１５より与えられる直前フレームの復元参照データに基づいて、対象フレームの処理済出力画像データを生成し、これを処理済画像データ出力端子２３から出力する。
【００１４】
参照データ生成手段６０は、対象フレームの入力画像データとデータ伸張手段１５より与えられる直前フレームの復元参照データに基づいて対象フレームの参照データを生成する。この参照データは、データ圧縮手段１３によって圧縮され、メモリ１７に次のフレームまで格納される。
【００１５】
図１３は、この一連の処理を、時系列で模式的に示した概念図である。なお、図１３では、データ圧縮手段１３によって圧縮処理が施されたデータに基づいて生成されたデータの流れを太線で示している。フレーム０，１，２，３，４はこの順に時系列に並べられたフレームである。
【００１６】
フレーム０において、参照データ生成手段６０は当該フレーム０の参照データＲ０を生成する。この参照データＲ０は、データ圧縮手段１３によって圧縮されて圧縮参照データｒ０となり、これがメモリ１７に格納される。
【００１７】
フレーム１の開始時点において、メモリ１７には圧縮参照データｒ０が格納されている。データ伸張手段１５は、メモリ１７より圧縮参照データｒ０を読み出して伸張処理を施して復元参照データＲ０’を生成し、これを参照データ生成手段６０に出力する。参照データ生成手段６０は、復元参照データＲ０’と処理前画像データ入力端子２１から入力される処理前画像データＡ１とに基づいて、当該フレーム１の参照データＲ１を生成する。
【００１８】
参照データ生成手段６０によって生成された参照データＲ１は、出力画像データ生成手段１１とデータ圧縮手段１３に出力される。データ圧縮手段１３は、参照データＲ１に圧縮処理を施して圧縮参照データｒ１を生成し、これをメモリ１７に格納する。出力画像データ生成手段１１は、処理前画像データＡ１と参照データＲ１とに基づいて当該フレーム１の処理済画像データＢ１を生成し、処理済画像データ出力端子２３から出力する。
【００１９】
フレーム２以後の各フレームｊにおいても、フレーム１と同様の処理が行われる。すなわち、データ伸張手段１５が、直前のフレームｉ（ｉ＝ｊ−１とする）で生成された圧縮参照データｒｉをメモリ１７から読み出し、このデータに伸張処理を施して復元参照データＲｉ’を生成する。そして、処理前画像データＡｊと復元参照データＲｉ’に基づいて参照データ生成手段６０が、フレームｊにおける参照データＲｊを生成する。そして、出力画像データ生成手段１１が、この参照データはＲｊと処理前画像データＡｊに基づいて処理済画像データＢｊを生成する。また、参照データＲｊは、データ圧縮手段１３によって圧縮されて圧縮参照データｒｊとなり、メモリ１７に格納される。この圧縮参照データｒｊは、次のフレームｋ（ｋ＝ｊ＋１）において読み出される。
【００２０】
このような処理が行われる場合、メモリ１７には常にデータ圧縮手段１３によって圧縮処理が施されたデータが格納されるため、メモリ１７として大容量メモリが要求されることはない。
【００２１】
しかしながら、この処理フローによれば、参照データ生成手段６０は、毎フレームｊにおいて、直前のフレームｉで生成された参照データＲｉに対して圧縮処理が施された圧縮参照データｒｉを伸張処理した復元参照データＲｉ’に基づいて、当該フレームｊの参照データＲｊを生成する。復元参照データＲｉ’は、参照データＲｉに対して圧縮／伸張処理が施されたデータであるため、フレームｉで生成された参照データＲｉと比較した場合に、圧縮誤差ηｉを内包する。
【００２２】
そして、この圧縮誤差ηｉを内包する復元参照データＲｉ’に基づいて生成されたフレームｊの参照データＲｊにも当然に圧縮誤差ηｉが反映される。更に、この参照データＲｊは、データ圧縮手段１３において圧縮処理が施されて圧縮参照データｒｊとしてメモリ１７に格納され、次のフレームｋで参照データＲｋを生成する際には、この圧縮参照データｒｊに伸張処理が施された復元参照データＲｊ’が用いられる。つまり、次のフレームｋで生成された参照データＲｋには、フレームｉで生じた圧縮誤差ηｉに加え、フレームｊで生じた圧縮誤差ηｊが内包されることとなる。
【００２３】
つまり、この画像処理方法によれば、フレームが後段になるほど、生成される参照データには過去の圧縮誤差が累積されることとなる。この結果、大きな圧縮誤差を内包した参照データに基づいて生成される処理済画像データにも大きな誤差が生じることとなってしまう。このことは、処理済画像データ出力端子２３から出力される処理済画像データに基づいて表示装置が表示を行った場合に、画質に大きな劣化が生じてしまい、所望の画像が得られないという問題を引き起こす。
【００２４】
本発明は、上記の問題点に鑑み、メモリの小容量化と圧縮誤差の低下の両立を可能にする画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【００２５】
上記目的を達成するために、本発明に係る画像処理装置は、以下の点を備えたことを特徴とする。
【００２６】
すなわち、フレーム毎に処理前画像データが入力され、これに所定の出力用処理が施されて処理済画像データをフレーム毎に出力する画像処理装置であって、
対象フレームに入力された前記処理前画像データに対応する参照データを、２以上の連続したフレームで構成される１タームに１回の頻度で生成すると共に、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを、フレーム毎に出力する参照データ生成手段と、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成するデータ圧縮手段と、
前記圧縮参照データを格納するメモリと、
フレーム毎に、前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張手段と、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成手段と、を備え、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記参照データ生成手段は、前記ターム毎に同一の処理を繰り返し実行する構成であって、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、更に前記対象フレームが前記ターム内の最終フレームである場合には、上記動作に加えて前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成して前記データ圧縮手段に出力し、前記データ圧縮手段において当該参照データを圧縮させることを特徴とする。
【００２７】
この構成によれば、２以上の整数Ｎを用いるとＮフレームに１回の圧縮処理によって直前のフレームに対応する参照データを特定参照データとして再現することができる。このため、この特定参照データと対象フレームで入力された処理前画像データに基づいて出力用処理が可能となる。
【００２８】
メモリ内には直前のタームの最終フレームで生成された圧縮参照データが格納されている。対象フレームがターム内の先頭フレームである場合、この直前のタームの最終フレームとは、まさに対象フレームの直前フレームに当たる。従って、この場合には圧縮参照データを伸張した復元参照データをもって、対象フレームの直前フレームに入力された前記処理前画像データに対応する参照データに近似する特定参照データと決定することが可能である。
【００２９】
一方、対象フレームがターム内の２番目以後のフレームである場合、メモリ内に保管されている圧縮参照データは対象フレームの直前フレームで生成されたものではない。ここで、連続するフレーム間においては、入力される処理前画像データ同士は互いに近似していることを利用する。例えば、動画データや３Ｄ映像データを想定すればこの点は理解できる。
【００３０】
すると、対象フレームで入力された処理前画像データは、同一ターム内の最初のフレームで入力された処理前画像データと模擬することができる。つまり、このとき、参照データ生成手段は、この模擬された処理前画像データと圧縮参照データを伸張した復元参照データとを用いて、同一ターム内の最初のフレームに対応した参照データを模擬することができる。
【００３１】
対象フレームがターム内の３番目以後についても同様である。対象フレームで入力された処理前画像データは、同一ターム内の最初のフレームで入力された処理前画像データとも、２番目のフレームで入力された処理前画像データとも模擬することができる。よって、上の方法で最初のフレームに対応した参照データの模擬データを生成すると、この参照データの模擬データと、処理前画像データの模擬データに基づいて、次のフレームに対応した参照データの模擬データを生成することができる。このような動作を繰り返すことで、対象フレームの直前のフレームに対応した参照データの模擬データ、すなわち「模擬特定参照データ」を生成することができる。この模擬特定参照データは、対象フレームの処理前画像データと共に、当該対象フレームの出力用処理に利用することができる。
【００３２】
つまり、本発明の構成によれば、従来と比較して圧縮頻度を低下させることができるため、圧縮／伸張処理を行うことに伴う圧縮誤差の累積量を減らすことが可能となる。一方、メモリ内においては、Ｎフレームに１回行われる圧縮処理によって圧縮されたデータが格納できれば良いため、１フレーム分の生データを格納するための大容量メモリが必要となるわけではない。
【００３３】
よって、本発明の構成によれば、メモリの小容量化と圧縮誤差の低下の両立が可能となる。
【００３４】
また、本発明の画像処理装置は、上記の特徴に加えて、下記の点を備えることを別の特徴とする。
【００３５】
すなわち、前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記参照データ生成手段は、
ａ＝２の場合、当該対象フレームで前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果を前記参照データ生成手段に再入力してこれと前記当該対象フレームの前記処理前画像データとに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記参照データ生成手段に再入力して前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする。
【００３６】
なお、前記１タームを構成する連続フレーム数に関する情報である圧縮頻度設定情報を外部より入力可能に構成されており、
前記参照データ生成手段は、前記圧縮頻度設定情報によって表わされるフレーム数で規定される前記ターム毎に所定の動作を繰り返し実行する構成としても良い。
【発明の効果】
【００３７】
本発明の構成によれば、圧縮頻度を低下させつつ、メモリには常に圧縮後のデータが格納されるため、メモリの小容量化と圧縮誤差の低下の両立が可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の画像処理装置の概念的ブロック図
【図２】参照データ生成手段の概念的ブロック図
【図３】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その１）
【図４】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その２）
【図５】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その３）
【図６】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その１）
【図７】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その２）
【図８】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その３）
【図９】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その４）
【図１０】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その５）
【図１１】本発明の画像処理装置の別の概念的ブロック図
【図１２】従来の画像処理装置の概念的ブロック図
【図１３】従来の画像処理装置が実行する処理内容を時系列に示した概念的ブロック図
【発明を実施するための形態】
【００３９】
図１は、本発明に係る画像処理装置の概念的ブロック図である。なお、図１２と同一の構成要素については同一の符号を付し、詳細な説明を割愛する。
【００４０】
本発明の画像処理装置１は、図１２の画像処理装置５０と同様に、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，メモリ１７，処理前画像データ入力端子２１，及び処理済画像データ出力端子２３を備える。そして、参照データ生成手段６０に代えて参照データ生成手段５を備える点が画像処理装置５０とは異なる。
【００４１】
また、図１２の画像処理装置５０においては、データ伸張手段１５から出力されるデータが出力画像データ生成手段１１に送られる構成であった。これに対し、本発明の画像処理装置１においては、参照データ生成手段５の出力が出力画像データ生成手段１１に送られる構成である。
【００４２】
なお、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，及び参照データ生成手段５は、入力されるデータに対してハードウェアを（必要に応じてソフトウェアも）用いて所定の演算処理を実行する機能的手段である。
【００４３】
画像処理装置１が備える参照データ生成手段５の詳細について、図２を参照して説明する。図２は、参照データ生成手段５の概念的構成を示すブロック図である。
【００４４】
図２に示すように、参照データ生成手段５は、処理前画像データ入力端子２１から与えられる処理前画像データ、及びデータ伸張手段１５から与えられる復元参照データに基づいて、実際に演算処理を行って参照データを生成する参照データ生成用演算部３２と、この参照データ生成用演算部３２に対して演算制御を行う制御部３１とを有して構成される。なお、詳細は後述するが、参照データ生成用演算部３２は、必要に応じて出力データを再び入力させて参照データの生成に利用する。
【００４５】
本発明の画像処理装置１は、毎フレームにわたって参照データがデータ圧縮手段１３において圧縮されるのではなく、数フレームに１回毎に参照データがデータ圧縮手段１３で圧縮される点が図１２の画像処理装置５０とは大きく異なる点である。そして、このような構成としても、出力画像データ生成手段１１から出力される処理済画像データに所望の処理済画像データからの誤差が微小な範囲に留まらせることのできるよう、参照データ生成手段５に特徴を有している。
【００４６】
以下、画像処理装置１の処理内容の詳細について、実施例を用いて説明する。
【００４７】
（実施例１）
まず、画像処理装置１が、２フレームに１回毎に参照データをデータ圧縮手段１３において圧縮する構成である場合について説明する。図３，図４，図５は、本実施例における画像処理装置１の一連の処理を、時系列で模式的に示した概念図である。紙面の都合上３図面に分けて図示している。
【００４８】
なお、本実施例では、２フレームに１回毎に参照データがデータ圧縮手段１３において圧縮される態様であるため、この２フレームを１単位とした「ターム」という概念を用いて説明する。あるタームＮにおいては、フレームＮ−１とフレームＮ−２の２つのフレームで構成される。
【００４９】
更に、本実施例では、処理前画像データ入力端子２１から入力される処理前画像データは、連続する２フレーム間、特に同一ターム内における連続２フレーム間における差異が小さいものとする。通常の動画データの場合、任意の画素Ｘにおけるあるフレームでの画素データは、同じ画素Ｘにおける次のフレームでの画素データに近似するため、このような動画データは、連続する２フレーム間での処理前画像データの差異が小さい例に当てはまる。更には、２枚の左目用画像と２枚の右目用画像が夫々交互に繰り返し入力される３Ｄ画像データの場合についても、連続する２フレームで構成される１ターム間においては、２枚の右目用画像に関するデータか、２枚の左目用画像に関するデータが入力されるため、連続する２フレーム間での処理前画像データの差異が小さい例に当てはまる。
【００５０】
図３に示すターム０は、図４に示すターム１（より正確にはフレーム１−１）の開始時点においてメモリ１７に保管されているデータがどのようなデータであるかを説明するために図示されたものである。ターム０の各フレームの動作内容の詳細については、ターム１及び２の説明によって明らかとなる。
【００５１】
ターム０の後半のフレーム０−２において、参照データ生成用演算部３２では、参照データＲ０２が生成される。この参照データＲ０２は、データ圧縮手段１３において圧縮参照データｒ０２に圧縮され、メモリ１７に格納される。
【００５２】
図４を参照して、ターム１の各フレーム（フレーム１−１，１−２）における動作説明を行う。前記の通り、このターム１の開始時点において、メモリ１７にはターム０のフレーム０−２で生成された圧縮参照データｒ０２が格納されている。
【００５３】
フレーム１−１では、まず、データ伸張手段１５が、メモリ１７に格納されていた圧縮参照データｒ０２に対して伸張処理を行い、復元参照データＲ０２’を生成する。参照データ生成用演算部３２は、この復元参照データＲ０２’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から与えられる本フレーム１−１の処理前画像データＡ１１と復元参照データＲ０２’に基づいて処理済画像データＢ１１を生成し、処理済画像データ出力端子２３より出力する。
【００５４】
つまり、フレーム１−１では、参照データ生成用演算部３２からデータ圧縮手段１５に対して参照データが送られることはなく、データ圧縮手段１５はこのフレーム期間内において圧縮処理を行わない。従って、メモリ１７に格納されているデータは更新されず、メモリ１７には引き続き圧縮参照データｒ０２が格納されている。
【００５５】
次のフレーム１−２では、フレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。前記の通り、直前のフレーム１−１ではメモリ１７に格納されているデータは更新されていないため、フレーム１−１と同様にメモリ１７から圧縮参照データｒ０２が読み出され、データ伸張手段１５において復元参照データＲ０２’が生成される。この復元参照データＲ０２’は、参照データ生成用演算部３２に送られる。
【００５６】
参照データ生成用演算部３２は、フレーム１−１の場合とは異なり、処理前画像データ入力端子２１から与えられる本フレーム１−２の処理前画像データＡ１２、及び復元参照データＲ０２’に基づいて参照データを生成する。図４では、このときに生成される参照データを「Ｒ１１ｓ」と表記している。
【００５７】
上述したように、フレーム１−１において入力される処理前画像データＡ１１とその直後のフレーム１−２において入力される処理前画像データＡ１２とはほぼ同一のデータである。従って、処理前画像データＡ１２を処理前画像データＡ１１と模擬すれば、この模擬された処理前画像データＡ１１（図面では、実際にフレーム１−１で入力された処理前画像データＡ１１と区別するために「Ａ１１ｓ」と表記している）と復元参照データＲ０２’を用いることで、本来フレーム１−１において生成されるはずであった参照データＲ１１を模擬することができる。図面では、模擬された参照データという意味を示すため、添え字のｓを用いて「Ｒ１１ｓ」と表記している。以下では、このように模擬された参照データのことを「模擬参照データ」と呼ぶ。また、同様に、模擬された処理前画像データのことを「模擬処理前画像データ」と呼ぶ。
【００５８】
フレーム１−１では、参照データＲ１１を生成する処理を行っていない。なぜなら、もしこのフレームで参照データＲ１１を生成した場合、次のフレーム１−２までの間、この参照データＲ１１をメモリ１７内に格納する必要があり、そのためにはデータ圧縮手段１３における圧縮処理が必要となるためである。本実施例では、２フレームに１回の割合でデータ圧縮手段１３による圧縮処理が行われる構成である。つまり、本実施例では、フレーム１−１においてデータ圧縮処理を行わなくても良いように、意図的にフレーム１−１で参照データＲ１１を生成していない。
【００５９】
しかし、フレーム１−１で参照データＲ１１を生成していないといっても、次のフレーム１−２において出力画像データＢ１２を生成するに際して参照データが不要となるわけではない。そこで、フレーム１−２では、処理前画像データＡ１２が処理前画像データＡ１１に近似している性質を利用し、このデータＡ１２をＡ１１とみなして（模擬処理前画像データＡ１１ｓ）、まずフレーム１−１における参照データＲ１１に相当する模擬参照データＲ１１ｓを生成している。
【００６０】
すなわち、あるフレームｊにおける参照データＲｊを生成するためには、その直前のフレームｉ（ｉ＝ｊ−１）において生成された参照データＲｉと、当該フレームｊで入力された処理前画像データＡｊが必要となる。しかし、参照データＲｉそのものを１フレームにわたって保管するためには大容量メモリが必要となるため、実際には参照データＲｉが圧縮された圧縮参照データｒｉをメモリから読み出し、これに伸張処理が施された復元参照データＲｉ’を参照データＲｉの代わりに用いることは上述した通りである。
【００６１】
つまり、実際に参照データＲｊを生成するためには、復元参照データＲｉ’と処理前画像データＡｊが必要であることが分かる。
【００６２】
再び図４を参照すると、フレーム１−２の開始時点において、メモリ１７には圧縮参照データｒ０２が格納され、処理前画像データ入力端子２１からは処理前画像データＡ１２が入力される。フレーム１−１を基準とした場合、圧縮参照データｒ０２は、直前のフレームで生成された参照データが圧縮されてなる圧縮参照データであり、処理前画像データＡ１２は、データが近似していることから当該フレーム１−１で入力された処理前画像データＡ１１とみなすことができる。従って、フレーム１−２において、圧縮参照データｒ０２を伸張してなる復元参照データＲ０２’と処理前画像データＡ１２（模擬処理前画像データＡ１１ｓ）とに基づいて参照データ生成用演算部３２が生成したデータは、フレーム１−１において生成されるはずであった参照データＲ１１と模擬できる（模擬参照データＲ１１ｓ）。
【００６３】
よって、出力画像データ生成手段１１は、この模擬参照データＲ１１ｓと処理前画像データＡ１２に基づいて本フレーム１−２における処理済画像データＢ１２を生成することが可能となる。
【００６４】
また、上述したように、本実施例では、２フレームに１回、圧縮処理を行うことが許される。フレーム１−１では圧縮処理が行われていないため、フレーム１−２において圧縮処理が行われる。よって、本フレーム１−２では、当該フレーム１−２の参照データＲ１２を生成することが可能となる。
【００６５】
参照データＲ１２を生成するためには、当該フレーム１−２の処理前画像データＡ１２と、直前のフレーム１−１における参照データＲ１１が必要となる。本フレーム１−２では、既に参照データ生成用演算部３２において、模擬参照データＲ１１ｓが生成されているため、このデータを用いることができる。つまり、参照データ生成用演算部３２は、本フレーム１−２において既に生成した模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に入力させ、このデータと処理前画像データＡ１２に基づいて、参照データＲ１２を生成する。図２において、参照データ生成用演算部３２の出力と入力を接続しているのは、この参照データ生成用演算部３２で生成されたデータが再び参照データ生成用演算部３２に入力されることを模式的に示したものである。
【００６６】
このようにして生成された参照データＲ１２は、データ圧縮手段１３において圧縮参照データｒ１２に圧縮され、メモリ１７に格納される。これにより、ターム１が完了する。
【００６７】
ターム１に引き続きターム２が開始される。ターム２以後の各フレームでは、ターム１のフレーム１−１及び１−２と同様の処理が行われる。ターム２について、図５を参照して簡単に説明する。
【００６８】
ターム２の最初のフレーム２−１では、参照データ生成用演算部３２が、直前のフレーム１−２で格納された圧縮参照データｒ１２に基づく復元参照データＲ１２’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、この復元参照データＲ１２’と、本フレーム２−１で入力される処理前画像データＡ２１とに基づいて処理済画像データＢ２１を出力する。
【００６９】
次のフレーム２−２では、まず、参照データ生成用演算部３２が、本フレーム２−２で入力された処理前画像データＡ２２（これが模擬処理前画像データＡ２１ｓとなる）と復元参照データＲ１２’とに基づいて、直前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。出力画像データ生成手段１１は、この模擬参照データＲ２１ｓと処理前画像データＡ２２に基づいて処理済画像データＢ２２を生成して出力する。参照データ生成用演算部３２は、直前に生成した模擬参照データＲ２１ｓを再入力し、これと処理前画像データＡ２２に基づいて、本フレーム２−２の参照データＲ２２を生成する。この参照データＲ２２は、データ圧縮手段１３において圧縮参照データｒ２２に圧縮され、メモリ１７に格納される。
【００７０】
本実施例では、圧縮処理を２フレームに１回に減らすことができるため、図１３に示した従来の処理フローと比較して、圧縮誤差による処理済画像データの劣化程度を抑制することができる。
【００７１】
（実施例２）
次に、画像処理装置１が、４フレームに１回毎に参照データをデータ圧縮手段１３において圧縮する構成である場合について説明する。実施例１にならって、繰り返しの単位を「ターム」と呼ぶ。本実施例では、１タームが４フレームで構成される。図６，図７，図８，図９，図１０は、本実施例における画像処理装置１の一連の処理を、時系列で模式的に示した概念図である。紙面の都合上５図面に分けて図示している。
【００７２】
なお、本実施例では、４フレームに１回毎に参照データがデータ圧縮手段１３において圧縮される。実施例１と同様、「ターム」という概念を用いれば、４フレームを１単位として「ターム」が構成される。すなわち、あるタームＮにおいては、フレームＮ−１，Ｎ−２，Ｎ−３，Ｎ−４の４つのフレームで構成される。
【００７３】
また、本実施例では、処理前画像データ入力端子２１から入力される処理前画像データは、同一ターム内における連続４フレーム間における差異が小さいものとする。このような処理前画像データの一例としては、３Ｄ動画データ等が考えられる。
【００７４】
図６に示すターム０は、図７及び図８に示すターム１（より正確にはフレーム１−１）の開始時点においてメモリ１７に保管されているデータがどのようなデータであるかを説明するために図示されたものである。ターム０の各フレームの動作内容の詳細については、ターム１及び２の説明によって明らかとなる。
【００７５】
ターム０の最後のフレーム０−４において、参照データ生成用演算部３２では、参照データＲ０４が生成される。この参照データＲ０４は、データ圧縮手段１３において圧縮参照データｒ０４に圧縮され、メモリ１７に格納される。
【００７６】
図７及び図８を参照して、ターム１の各フレーム（フレーム１−１，１−２，１−３，１−４）における動作説明を行う。前記の通り、このターム１の開始時点において、メモリ１７には圧縮参照データｒ０４が格納されている。
【００７７】
フレーム１−１では、データ伸張手段１５が、メモリ１７に格納されていた圧縮参照データｒ０４に対して伸張処理を行い、復元参照データＲ０４’を生成する。そして、実施例１と同様に、参照データ生成用演算部３２は、この復元参照データＲ０４’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から与えられる本フレーム１−１の処理前画像データＡ１１と復元参照データＲ０４’に基づいて処理済画像データＢ１１を生成し、処理済画像データ出力端子２３より出力する。
【００７８】
なお、本実施例では１タームが４のフレームで構成されているため、１タームには、対象フレーム、対象フレームの直前フレーム以外のフレームが存在する。以下では、同一ターム内における対象フレームの直前フレームと、それよりも前のフレームとを区別して記載する必要がある場合には、データ名に「特定」という表現を付加するものとする。つまり、対象フレームの直前フレームに対応する参照データのことを特に「特定参照データ」と呼び、この特定参照データが模擬されたデータのことを特に「模擬特定参照データ」と呼ぶものとする。
【００７９】
フレーム１−１の場合、直前のターム０の最終フレーム０−４が、そのまま直前フレームに対応する。このため、フレーム０−４において生成された圧縮参照データｒ０４を伸張した復元参照データＲ０４’をもって、「特定参照データ」とすることができる。
【００８０】
次のフレーム１−２では、フレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−１ではメモリ１７に格納されているデータは更新されていないため、フレーム１−１と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８１】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−２の処理前画像データＡ１２を、直前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて参照データを生成する。実施例１で上述したように、この参照データは、直前のフレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ、これは模擬特定参照データでもある）。そして、出力画像データ生成手段１１は、この模擬参照データＲ１１ｓと処理前画像データＡ１２に基づいて本フレーム１−２における処理済画像データＢ１２を生成し、処理済画像データ出力端子２３より出力する。
【００８２】
図８に移り、次のフレーム１−３では、まずフレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−２ではメモリ１７に格納されているデータは更新されていないため、フレーム１−２と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８３】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−３の処理前画像データＡ１３を、２つ前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて、参照データを生成する。フレーム１−２と同様の理由により、この参照データは、フレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ）。しかし、フレーム１−１は対象フレーム１−３から見て直前のフレームではないため、模擬参照データＲ１１ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８４】
すなわち、参照データ生成用演算部３２は、本フレーム１−３の処理前画像データＡ１３を直前のフレーム１−２の処理前画像データＡ１２と模擬し（模擬処理前画像データＡ１２ｓ）、生成した模擬参照データＲ１１ｓを再入力して参照データを再び生成する。この参照データは、フレーム１−２で生成されるはずであった参照データＲ１２を模擬するものである（模擬参照データＲ１２ｓ）。この模擬参照データＲ１２ｓは対象フレーム１−３から見て直前のフレーム１−２に対応するため、模擬特定参照データである。よって参照データ生成用演算部３２は、このデータを出力画像データ生成手段１１に出力する。
【００８５】
出力画像データ生成手段１１は、この模擬参照データＲ１２ｓ（模擬特定参照データでもある）と処理前画像データＡ１３に基づいて本フレーム１−３における処理済画像データＢ１３を生成し、処理済画像データ出力端子２３より出力する。
【００８６】
次のフレーム１−４では、まずフレーム１−１と同様に、データ伸張手段１５が、メモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−３ではメモリ１７に格納されているデータは更新されていないため、フレーム１−３と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８７】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−４の処理前画像データＡ１４を、３つ前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて、参照データを生成する。フレーム１−３と同様の理由により、この参照データは、フレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ）。しかし、フレーム１−１は対象フレーム１−４から見て直前のフレームではないため、模擬参照データＲ１１ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８８】
更に、参照データ生成用演算部３２は、本フレーム１−４の処理前画像データＡ１４を２つ前のフレーム１−２の処理前画像データＡ１２と模擬し（模擬処理前画像データＡ１２ｓ）、生成した模擬参照データＲ１１ｓを再入力して参照データを再び生成する。フレーム１−３と同様の理由により、この参照データは、フレーム１−２で生成されるはずであった参照データＲ１２を模擬するものである（模擬参照データＲ１２ｓ）。しかし、フレーム１−２もまた対象フレーム１−４から見て直前のフレームではないため、模擬参照データＲ１２ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１２ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８９】
更に、参照データ生成用演算部３２は、本フレーム１−４の処理前画像データＡ１４を直前のフレーム１−３の処理前画像データＡ１３と模擬し（模擬処理前画像データＡ１３ｓ）、生成した模擬参照データＲ１２ｓを再入力して参照データを再び生成する。この参照データは、フレーム１−３で生成されるはずであった参照データＲ１３を模擬するものである（模擬参照データＲ１３ｓ）。この模擬参照データＲ１３ｓは対象フレーム１−４から見て直前のフレーム１−３に対応するため、模擬特定参照データである。よって参照データ生成用演算部３２は、このデータを出力画像データ生成手段１１に出力する。
【００９０】
出力画像データ生成手段１１は、この模擬参照データＲ１３ｓ（模擬特定参照データでもある）と処理前画像データＡ１４に基づいて本フレーム１−４における処理済画像データＢ１４を生成し、処理済画像データ出力端子２３より出力する。
【００９１】
また、上述したように、本実施例では、４フレームに１回、圧縮処理を行うことが許される。フレーム１−１，１−２，１−３では圧縮処理が行われていないため、フレーム１−４において圧縮処理が行われる。よって、本フレーム１−４では、当該フレーム１−４の参照データＲ１４を生成することが可能となる。
【００９２】
参照データＲ１４を生成するためには、当該フレーム１−４の処理前画像データＡ１４と、直前のフレーム１−３における参照データＲ１３（特定参照データ）が必要となる。本フレーム１−４では、既に参照データ生成用演算部３２において、模擬参照データＲ１３ｓ（模擬特定参照データ）が生成されているため、このデータを用いることができる。よって、参照データ生成用演算部３２は、本フレーム１−２において既に生成した模擬参照データＲ１３ｓを再度参照データ生成用演算部３２に入力させ、このデータと処理前画像データＡ１４に基づいて参照データＲ１４を生成する。
【００９３】
そして、このようにして生成された参照データＲ１４は、データ圧縮手段１３において圧縮参照データｒ１４に圧縮され、メモリ１７に格納される。これにより、ターム１が完了する。
【００９４】
ターム１に引き続きターム２が開始される。ターム２以後の各フレームでは、ターム１のフレーム１−１，１−２，１−３，１−４と同様の処理が行われる。ターム２について、図９及び図１０を参照して簡単に説明する。
【００９５】
ターム２の最初のフレーム２−１では、参照データ生成用演算部３２が、直前のフレーム１−４で格納された圧縮参照データｒ１４に基づく復元参照データＲ１４’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、この復元参照データＲ１４’と、本フレーム２−１で入力される処理前画像データＡ２１とに基づいて処理済画像データＢ２１を出力する。
【００９６】
次のフレーム２−２では、まず、参照データ生成用演算部３２が、本フレーム２−２で入力された処理前画像データＡ２２（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、直前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２１ｓ（模擬特定参照データ）と処理前画像データＡ２２に基づいて処理済画像データＢ２２を生成して出力する。
【００９７】
次のフレーム２−３では、まず、参照データ生成用演算部３２が、本フレーム２−３で入力された処理前画像データＡ２３（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、２つ前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２１ｓを再入力し、これと本フレーム２−３で入力された処理前画像データＡ２３（模擬処理前画像データＡ２２ｓ）とに基づいて、直前のフレーム２−２の参照データを模擬した模擬参照データＲ２２ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２２ｓ（模擬特定参照データ）と処理前画像データＡ２３に基づいて処理済画像データＢ２３を生成して出力する。
【００９８】
次のフレーム２−４では、まず、参照データ生成用演算部３２が、本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、３つ前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２１ｓを再入力し、これと本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２２ｓ）とに基づいて、２つ前のフレーム２−２の参照データを模擬した模擬参照データＲ２２ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２２ｓを再入力し、これと本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２３ｓ）とに基づいて、直前のフレーム２−３の参照データを模擬した模擬参照データＲ２３ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２３ｓと処理前画像データＡ２４に基づいて処理済画像データＢ２４を生成して出力する。
【００９９】
そして、フレーム２−４においては、参照データ生成用演算部３２が、直前に生成した模擬参照データＲ２３ｓ（模擬特定参照データ）を再入力し、これと処理前画像データＡ２４に基づいて本フレーム２−４の参照データＲ２４を生成する。この参照データＲ２４は、データ圧縮手段１３において圧縮参照データｒ２４に圧縮され、メモリ１７に格納される。
【０１００】
本実施例では、圧縮処理を４フレームに１回に減らすことができるため、図１３に示した従来の処理フローと比較して、圧縮誤差による処理済画像データの劣化程度を抑制することができる。また、実施例１よりも更に圧縮処理の回数を減らすことができるため、実施例１より高い劣化抑制効果が期待できる。
【０１０１】
上記実施例１及び２を踏まえれば、本発明の画像処理装置１は、２以上の整数Ｎを用いて、Ｎフレームに１回の圧縮処理によって直前のフレームで生成された参照データに基づいて出力用の処理済画像データを生成することが可能となる。以下、画像処理装置１の処理内容を一般化して説明する。
【０１０２】
説明に際し、タームＴに属するａ番目のフレームのことをフレームＦ＿［Ｔ，ａ］と記号化する。また、このフレームで生成されたデータαのことをデータα［Ｔ，ａ］と記号化する。更に、あるデータαを模擬したデータであることを特に示す場合には、添え字のｓを記号に付加する。
【０１０３】
この記号法を用いて具体例を説明する。ターム１に属する３番目のフレームＦ＿［１，３］は、実施例２でいえば図８のフレーム１−３に対応する。また、このフレームで生成される処理済画像データＢ［１，３］は、図８にいう処理済画像データＢ１３に対応する。更に、このフレームで入力される処理前画像データＡ［１，３］は、２つ前のフレームＦ＿［１，１］で入力される処理前画像データを模擬する模擬処理前画像データＡ［１，１］ｓとして模擬参照データＲ［１，１］ｓの生成に利用され、更に、直前のフレームＦ＿［１，２］で入力される処理前画像データを模擬する模擬処理前画像データＡ［１，２］ｓとして模擬参照データＲ［１，２］ｓの生成に利用される。
【０１０４】
本発明の画像処理装置１は、Ｎフレームに１回（Ｎ≧２の整数）の割合でデータ圧縮処理を行う。連続するＮフレームを１タームと規定すると、１タームに１回の割合でデータ圧縮処理が行われることとなる。圧縮処理が行われるフレームの次のフレームで次のタームへと移行するものとする。
【０１０５】
最初のターム（実施例におけるターム０に相当する）を除く各タームＴに属する各フレーム開始時点において、メモリ１７には、直前のタームの最終フレームＦ＿［（Ｔ−１），Ｎ］の圧縮参照データｒ［（Ｔ−１），Ｎ］が格納されている。
【０１０６】
タームＴの任意のａ番目（ａは１以上Ｎ以下の整数）のフレームＦ＿［Ｔ，ａ］では、データ伸張手段１５は、メモリに格納された圧縮参照データｒ［（Ｔ−１），Ｎ］に基づいて、復元参照データＲ’［（Ｔ−１），Ｎ］を生成して参照データ生成用演算部３２に出力する。
【０１０７】
更にａ＝１、すなわちタームＴの最初のフレームＦ＿［Ｔ，１］において、参照データ生成用演算部３２は、復元参照データＲ’［（Ｔ−１），Ｎ］をそのまま出力画像データ生成手段１１に出力する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，１］と復元参照データＲ’［（Ｔ−１），Ｎ］に基づいて処理済画像データＢ［Ｔ，１］を生成して出力する。
【０１０８】
ａ＞１、すなわち、タームＴの最初以外のフレームＦ＿［Ｔ，ａ］において、参照データ生成用演算部３２は、復元参照データＲ’［（Ｔ−１），Ｎ］と処理前画像データＡ［Ｔ，ａ］とに基づいて、タームＴの最初のフレームＦ＿［Ｔ，１］の模擬参照データＲ［Ｔ，１］ｓを生成する。ａ＝２の場合（Ｎ＝２の場合におけるａ＝Ｎを含む）には、出力画像データ生成手段１１が、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，２］及びこの模擬参照データＲ［Ｔ，１］ｓに基づいて処理済画像データＢ［Ｔ，２］を生成して出力する。
【０１０９】
更にａ＞２の場合には、参照データ生成用演算部３２で生成した模擬参照データを参照データ生成用演算部３２に再入力し、これと処理前画像データＡ［Ｔ，ａ］とに基づいて模擬参照データを再生成するという動作を更に（ａ−２）回繰り返して実行することで、直前のフレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓを生成する。そして、出力画像データ生成手段１１が、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，ａ］及びこの直前フレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓに基づいて処理済画像データＢ［Ｔ，ａ］を生成して出力する。
【０１１０】
更に、ａ＝Ｎ、すなわちタームＴの最終フレームにおいては、参照データ生成用演算部３２で生成した直前フレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓを参照データ生成用演算部３２に再入力し、これと処理前画像データＡ［Ｔ，Ｎ］とに基づいて参照データを再生成することで、当該フレームＦ＿［Ｔ，Ｎ］の参照データＲ［Ｔ，Ｎ］を生成する。そして、この参照データＲ［Ｔ，Ｎ］がデータ圧縮手段１３によって圧縮処理され、圧縮参照データｒ［Ｔ，Ｎ］としてメモリ１７に格納される。
【０１１１】
［別実施形態］
以下、別実施形態につき説明する。
【０１１２】
〈１〉 上記実施形態では、出力画像データ生成手段１１において実際に行われる演算内容の詳細については特に規定していない。本発明の画像処理装置は、対象フレームの画像データと、直前のフレームの画像データに基づくデータ（これが「参照データ」に対応する）とを用いて、必要なデータを算出する処理を行うあらゆる処理機構に応用が可能である。
【０１１３】
本発明の画像処理装置を利用する具体的な一態様としては、液晶表示装置の画素電極への印加電圧の決定機構が挙げられる。液晶の透過率の応答速度は、画素電極への印加電圧の変化よりも遅いため、表示画像が入力画像データの早い変化に十分応答できない場合が考えられる。
【０１１４】
そこで、直前のフレームでの画像データと比べて対象フレームの画像データの出力値が上方に変化している場合には、その入力される画像データよりも大きなデータを処理済画像データとして出力し、逆に、直前の画像データと比べて対象フレームの画像データの出力値が下方に変化している場合には、その入力される画像データよりも小さなデータを処理済画像データとして出力するものとする（オーバーシュート処理）。これにより、液晶表示装置の応答特性を向上させることができる。
【０１１５】
このようなオーバーシュート処理を、従来の図１２及び図１３に示す処理手順で行った場合、経時的に圧縮誤差が重畳され、この結果として画質の劣化や輝点／輝線が表示されるという症状が発生することが考えられる。本発明の画像処理装置の処理フローによれば、圧縮誤差が抑制できるため、高画質な画像表示が可能となる。
【０１１６】
その他としては、直前のフレームの画像データに基づく補正処理を行う場合にも本発明の画像処理装置は利用できる。
【０１１７】
〈２〉 図３〜図１０を参照して説明した参照データ生成手段５の処理フローは、制御部３１による制御信号に基づいて参照データ生成用演算部３２が制御されることで実現する構成として良い。ここで、図３〜図１０でも明らかとなったように、各ターム内の何番目のフレームに属しているかによって、参照データ生成手段５の実質的な動作内容が変化する構成である。このため、制御部３１は、各ターム内に含まれるフレーム数を予め認識しており、更に、処理前画像データ入力端子２１から与えられるデータに基づいてフレームの変わり目を認識することで、ターム内の何番目のフレームに属しているかを認識することが可能な構成であるものとして構わない。
【０１１８】
また、特に実施例１のように、１タームが２フレームで構成される場合には、図４のフレーム１−１で示した動作（動作１）と、フレーム１−２で示した動作（動作２）の切り替えのみが実行できれば良いため、予めこれらの動作内容を記憶しておき、フレームの変わり目を認識した時点で、動作内容を切り替える旨の信号を参照データ生成用演算部３２に出力する構成とすることができる。
【０１１９】
なお、フレームの切れ目を認識する方法としては、１フレーム分の処理前画像データの先頭又は最後にフレームが切り替わる旨のフラグを挿入しておき、このフラグを認識した時点で制御部３１がフレームの切れ目を認識するものとすることができる。また、別の方法としては、フレームが切り替わるタイミングで、外部から同期信号が制御部３１に入力される構成としても良い。
【０１２０】
また、実施例２のように、１タームが３以上のフレームで構成される場合には、制御部３１内に、フレームをカウントする機構を備えるものとすれば良い。この場合において、当該カウント機構は、タームを構成するフレーム数毎に０クリアされる構成としても構わない。例えば、実施例２のように１タームが４のフレームで構成される場合には、最低４のカウントができれば良い。
【０１２１】
〈３〉 最初のターム０では、直前のフレームが存在しないため、メモリには直前のフレームで生成された圧縮参照データが格納されていない。このため、最初のターム０では、予めメモリ１７に所定のデータが格納されており、このデータに基づいて参照データが生成されるものとすることができる。
【０１２２】
〈４〉 ターム内に含まれるフレーム数Ｎを外部から指定できる構成としても良い。例えば、図１１に示すように、画像処理装置１が圧縮頻度設定用端子２５を備えており、この圧縮頻度設定用端子２５からフレーム数Ｎに関する情報を入力可能な構成とする。この情報が、参照データ生成手段５に与えられると、参照データ生成手段５は、Ｎフレームに１回圧縮処理を実行する。このＮの値が変化するタイミングとしては、タームが切り替わるタイミングとすることができる。
【符号の説明】
【０１２３】
１： 本発明の画像処理装置
５： 参照データ生成手段
１１： 出力画像データ生成手段
１３： データ圧縮手段
１５： データ伸張手段
１７： メモリ
２１： 処理前画像データ入力端子
２３： 処理済画像データ出力端子
２５： 圧縮頻度設定用端子
３１： 制御部
３２： 参照データ生成用演算部
５０： 従来の画像処理装置
６０： 従来の画像処理装置が備える参照データ生成手段
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に類似した画像データが繰り返し入力されるシステムにおける画像処理技術に関する。
【背景技術】
【０００２】
近年の急速な半導体技術の発展や画像データの高精細化に伴って、デバイスやシステムが処理すべき画像データ量は爆発的に増加の一途をたどっている。また、液晶パネル等の表示手段における表示品質の向上や、高付加価値化を目的とした画像処理の要請、更には３Ｄ−ＴＶの登場等により、画像データに対して膨大な処理を行うことが要求されている。
【０００３】
画像データに対する演算処理（補正処理等）を行う際、多くの場合は処理途中の画像データや当該画像データから算出されたデータ等を一時的にメモリに保持する必要がある。しかしながら、先述したように画像データの高精細化に伴い、取り扱うデータは非常に膨大な量となる。このため、これらデータを生データのままメモリに保持するためには、大容量のメモリを必要とする。しかし、このような大容量メモリは高価格であるため、製造コストの高騰を招いてしまう。
【０００４】
デバイスやシステムの製造コストを抑制するためには、大容量メモリを実装しなくても処理が可能となるよう、保持すべきデータ量を削減することが考えられる。このための手段として、保持すべきデータを一旦圧縮することによりデータ量を削減しておき、この削減したデータを保持する構成とする。これにより、必要なメモリの容量を減らすことができる。この手法は一般的に用いられているものである。
【０００５】
過去に求められた処理データを一時的にメモリに格納しておき、このメモリからその処理データを読み出して、対象となる画素データに対する処理を実行する方法は、色々な場面で用いられる。例えば、下記特許文献１には、液晶表示装置の応答特性を改善するために、直前の画素データからの変化に応じて画素電極に印加する電圧値を決定する方法が開示されている。これは、印加電圧に対して透過率が変化する際の応答速度や液晶の誘電率変化に対する充電特性が悪く、画像信号の早い変化に対して十分に応答することが難しいという液晶特有の問題点を解決するためになされたものである。
【０００６】
また、下記特許文献２には、立体（３Ｄ）映像を表示する表示装置に関する技術が開示されている。３Ｄ表示システムには、左目用画像と右目用画像をそれぞれ交互に表示させることで３Ｄ表示を実現する形式がある。ここで、最初の連続２フレームにわたって、左目用画像を出力した後、次の連続２フレームにわたって右目用画像を出力する構成とした場合、連続する２フレーム毎に近似した画像データが入力される。このとき、２フレームを１組とした場合に、最初のフレームで入力された画像データを一時的に格納しておき、この格納された画像に基づいて次のフレームの画像データを出力することが行われる場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１１６７４３号公報
【特許文献２】特開２００９−２３２２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、既に得られた過去の処理データを用いて画像処理を行う場合、一時的にメモリ内にデータを保管する必要がある。そして、メモリの容量を小さくすべく、処理済データに対して圧縮処理を行った圧縮データをメモリに格納し、この圧縮データをメモリから読み出して伸張処理を施して、画像処理に用いる。
【０００９】
図１２は、前述の処理フローを行う画像処理装置の構成を示す概念的ブロック図である。図１２に示す従来の画像処理装置５０は、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，メモリ１７，参照データ生成手段６０，処理前画像データ入力端子２１，及び処理済画像データ出力端子２３を備える。
【００１０】
処理前画像データ入力端子２１には、処理対象となる画像データ（以下、「処理前画像データ」という）が順次入力される。例えば、水平方向Ｘ画素×垂直方向Ｙ画素で構成される処理前画像データが毎フレームに入力される構成が考えられる。
【００１１】
処理前画像データ入力端子２１に入力された処理前画像データは、出力画像データ生成手段１１と参照データ生成手段６０に送られる。この時点において、メモリ１７には、直前のフレームにおいて生成された参照データがデータ圧縮手段１３によって圧縮された圧縮データ（以下、「圧縮参照データ」という）が格納されている。
【００１２】
データ伸張手段１５は、このメモリ１７に格納されていた前フレームの圧縮参照データに伸張処理を施して復元データ（以下、「復元参照データ」という）を生成し、これを出力画像データ生成手段１１及び参照データ生成手段６０に与える。
【００１３】
出力画像データ生成手段１１は、対象フレームの入力画像データとデータ伸張手段１５より与えられる直前フレームの復元参照データに基づいて、対象フレームの処理済出力画像データを生成し、これを処理済画像データ出力端子２３から出力する。
【００１４】
参照データ生成手段６０は、対象フレームの入力画像データとデータ伸張手段１５より与えられる直前フレームの復元参照データに基づいて対象フレームの参照データを生成する。この参照データは、データ圧縮手段１３によって圧縮され、メモリ１７に次のフレームまで格納される。
【００１５】
図１３は、この一連の処理を、時系列で模式的に示した概念図である。なお、図１３では、データ圧縮手段１３によって圧縮処理が施されたデータに基づいて生成されたデータの流れを太線で示している。フレーム０，１，２，３，４はこの順に時系列に並べられたフレームである。
【００１６】
フレーム０において、参照データ生成手段６０は当該フレーム０の参照データＲ０を生成する。この参照データＲ０は、データ圧縮手段１３によって圧縮されて圧縮参照データｒ０となり、これがメモリ１７に格納される。
【００１７】
フレーム１の開始時点において、メモリ１７には圧縮参照データｒ０が格納されている。データ伸張手段１５は、メモリ１７より圧縮参照データｒ０を読み出して伸張処理を施して復元参照データＲ０’を生成し、これを参照データ生成手段６０に出力する。参照データ生成手段６０は、復元参照データＲ０’と処理前画像データ入力端子２１から入力される処理前画像データＡ１とに基づいて、当該フレーム１の参照データＲ１を生成する。
【００１８】
参照データ生成手段６０によって生成された参照データＲ１は、出力画像データ生成手段１１とデータ圧縮手段１３に出力される。データ圧縮手段１３は、参照データＲ１に圧縮処理を施して圧縮参照データｒ１を生成し、これをメモリ１７に格納する。出力画像データ生成手段１１は、処理前画像データＡ１と参照データＲ１とに基づいて当該フレーム１の処理済画像データＢ１を生成し、処理済画像データ出力端子２３から出力する。
【００１９】
フレーム２以後の各フレームｊにおいても、フレーム１と同様の処理が行われる。すなわち、データ伸張手段１５が、直前のフレームｉ（ｉ＝ｊ−１とする）で生成された圧縮参照データｒｉをメモリ１７から読み出し、このデータに伸張処理を施して復元参照データＲｉ’を生成する。そして、処理前画像データＡｊと復元参照データＲｉ’に基づいて参照データ生成手段６０が、フレームｊにおける参照データＲｊを生成する。そして、出力画像データ生成手段１１が、この参照データはＲｊと処理前画像データＡｊに基づいて処理済画像データＢｊを生成する。また、参照データＲｊは、データ圧縮手段１３によって圧縮されて圧縮参照データｒｊとなり、メモリ１７に格納される。この圧縮参照データｒｊは、次のフレームｋ（ｋ＝ｊ＋１）において読み出される。
【００２０】
このような処理が行われる場合、メモリ１７には常にデータ圧縮手段１３によって圧縮処理が施されたデータが格納されるため、メモリ１７として大容量メモリが要求されることはない。
【００２１】
しかしながら、この処理フローによれば、参照データ生成手段６０は、毎フレームｊにおいて、直前のフレームｉで生成された参照データＲｉに対して圧縮処理が施された圧縮参照データｒｉを伸張処理した復元参照データＲｉ’に基づいて、当該フレームｊの参照データＲｊを生成する。復元参照データＲｉ’は、参照データＲｉに対して圧縮／伸張処理が施されたデータであるため、フレームｉで生成された参照データＲｉと比較した場合に、圧縮誤差ηｉを内包する。
【００２２】
そして、この圧縮誤差ηｉを内包する復元参照データＲｉ’に基づいて生成されたフレームｊの参照データＲｊにも当然に圧縮誤差ηｉが反映される。更に、この参照データＲｊは、データ圧縮手段１３において圧縮処理が施されて圧縮参照データｒｊとしてメモリ１７に格納され、次のフレームｋで参照データＲｋを生成する際には、この圧縮参照データｒｊに伸張処理が施された復元参照データＲｊ’が用いられる。つまり、次のフレームｋで生成された参照データＲｋには、フレームｉで生じた圧縮誤差ηｉに加え、フレームｊで生じた圧縮誤差ηｊが内包されることとなる。
【００２３】
つまり、この画像処理方法によれば、フレームが後段になるほど、生成される参照データには過去の圧縮誤差が累積されることとなる。この結果、大きな圧縮誤差を内包した参照データに基づいて生成される処理済画像データにも大きな誤差が生じることとなってしまう。このことは、処理済画像データ出力端子２３から出力される処理済画像データに基づいて表示装置が表示を行った場合に、画質に大きな劣化が生じてしまい、所望の画像が得られないという問題を引き起こす。
【００２４】
本発明は、上記の問題点に鑑み、メモリの小容量化と圧縮誤差の低下の両立を可能にする画像処理装置を提供することをその目的とする。
【課題を解決するための手段】
【００２５】
上記目的を達成するために、本発明に係る画像処理装置は、以下の点を備えたことを特徴とする。
【００２６】
すなわち、フレーム毎に処理前画像データが入力され、これに所定の出力用処理が施されて処理済画像データをフレーム毎に出力する画像処理装置であって、
対象フレームに入力された前記処理前画像データに対応する参照データを、２以上の連続したフレームで構成される１タームに１回の頻度で生成すると共に、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを、フレーム毎に出力する参照データ生成手段と、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成するデータ圧縮手段と、
前記圧縮参照データを格納するメモリと、
フレーム毎に、前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張手段と、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成手段と、を備え、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記参照データ生成手段は、前記ターム毎に同一の処理を繰り返し実行する構成であって、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、更に前記対象フレームが前記ターム内の最終フレームである場合には、上記動作に加えて前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成して前記データ圧縮手段に出力し、前記データ圧縮手段において当該参照データを圧縮させることを特徴とする。
【００２７】
この構成によれば、２以上の整数Ｎを用いるとＮフレームに１回の圧縮処理によって直前のフレームに対応する参照データを特定参照データとして再現することができる。このため、この特定参照データと対象フレームで入力された処理前画像データに基づいて出力用処理が可能となる。
【００２８】
メモリ内には直前のタームの最終フレームで生成された圧縮参照データが格納されている。対象フレームがターム内の先頭フレームである場合、この直前のタームの最終フレームとは、まさに対象フレームの直前フレームに当たる。従って、この場合には圧縮参照データを伸張した復元参照データをもって、対象フレームの直前フレームに入力された前記処理前画像データに対応する参照データに近似する特定参照データと決定することが可能である。
【００２９】
一方、対象フレームがターム内の２番目以後のフレームである場合、メモリ内に保管されている圧縮参照データは対象フレームの直前フレームで生成されたものではない。ここで、連続するフレーム間においては、入力される処理前画像データ同士は互いに近似していることを利用する。例えば、動画データや３Ｄ映像データを想定すればこの点は理解できる。
【００３０】
すると、対象フレームで入力された処理前画像データは、同一ターム内の最初のフレームで入力された処理前画像データと模擬することができる。つまり、このとき、参照データ生成手段は、この模擬された処理前画像データと圧縮参照データを伸張した復元参照データとを用いて、同一ターム内の最初のフレームに対応した参照データを模擬することができる。
【００３１】
対象フレームがターム内の３番目以後についても同様である。対象フレームで入力された処理前画像データは、同一ターム内の最初のフレームで入力された処理前画像データとも、２番目のフレームで入力された処理前画像データとも模擬することができる。よって、上の方法で最初のフレームに対応した参照データの模擬データを生成すると、この参照データの模擬データと、処理前画像データの模擬データに基づいて、次のフレームに対応した参照データの模擬データを生成することができる。このような動作を繰り返すことで、対象フレームの直前のフレームに対応した参照データの模擬データ、すなわち「模擬特定参照データ」を生成することができる。この模擬特定参照データは、対象フレームの処理前画像データと共に、当該対象フレームの出力用処理に利用することができる。
【００３２】
つまり、本発明の構成によれば、従来と比較して圧縮頻度を低下させることができるため、圧縮／伸張処理を行うことに伴う圧縮誤差の累積量を減らすことが可能となる。一方、メモリ内においては、Ｎフレームに１回行われる圧縮処理によって圧縮されたデータが格納できれば良いため、１フレーム分の生データを格納するための大容量メモリが必要となるわけではない。
【００３３】
よって、本発明の構成によれば、メモリの小容量化と圧縮誤差の低下の両立が可能となる。
【００３４】
また、本発明の画像処理装置は、上記の特徴に加えて、下記の点を備えることを別の特徴とする。
【００３５】
すなわち、前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記参照データ生成手段は、
ａ＝２の場合、当該対象フレームで前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果を前記参照データ生成手段に再入力してこれと前記当該対象フレームの前記処理前画像データとに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記参照データ生成手段に再入力して前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする。
【００３６】
なお、前記１タームを構成する連続フレーム数に関する情報である圧縮頻度設定情報を外部より入力可能に構成されており、
前記参照データ生成手段は、前記圧縮頻度設定情報によって表わされるフレーム数で規定される前記ターム毎に所定の動作を繰り返し実行する構成としても良い。
【発明の効果】
【００３７】
本発明の構成によれば、圧縮頻度を低下させつつ、メモリには常に圧縮後のデータが格納されるため、メモリの小容量化と圧縮誤差の低下の両立が可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の画像処理装置の概念的ブロック図
【図２】参照データ生成手段の概念的ブロック図
【図３】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その１）
【図４】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その２）
【図５】実施例１における画像処理装置の処理内容を時系列に示した概念的ブロック図（その３）
【図６】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その１）
【図７】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その２）
【図８】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その３）
【図９】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その４）
【図１０】実施例２における画像処理装置の処理内容を時系列に示した概念的ブロック図（その５）
【図１１】本発明の画像処理装置の別の概念的ブロック図
【図１２】従来の画像処理装置の概念的ブロック図
【図１３】従来の画像処理装置が実行する処理内容を時系列に示した概念的ブロック図
【発明を実施するための形態】
【００３９】
図１は、本発明に係る画像処理装置の概念的ブロック図である。なお、図１２と同一の構成要素については同一の符号を付し、詳細な説明を割愛する。
【００４０】
本発明の画像処理装置１は、図１２の画像処理装置５０と同様に、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，メモリ１７，処理前画像データ入力端子２１，及び処理済画像データ出力端子２３を備える。そして、参照データ生成手段６０に代えて参照データ生成手段５を備える点が画像処理装置５０とは異なる。
【００４１】
また、図１２の画像処理装置５０においては、データ伸張手段１５から出力されるデータが出力画像データ生成手段１１に送られる構成であった。これに対し、本発明の画像処理装置１においては、参照データ生成手段５の出力が出力画像データ生成手段１１に送られる構成である。
【００４２】
なお、出力画像データ生成手段１１，データ圧縮手段１３，データ伸張手段１５，及び参照データ生成手段５は、入力されるデータに対してハードウェアを（必要に応じてソフトウェアも）用いて所定の演算処理を実行する機能的手段である。
【００４３】
画像処理装置１が備える参照データ生成手段５の詳細について、図２を参照して説明する。図２は、参照データ生成手段５の概念的構成を示すブロック図である。
【００４４】
図２に示すように、参照データ生成手段５は、処理前画像データ入力端子２１から与えられる処理前画像データ、及びデータ伸張手段１５から与えられる復元参照データに基づいて、実際に演算処理を行って参照データを生成する参照データ生成用演算部３２と、この参照データ生成用演算部３２に対して演算制御を行う制御部３１とを有して構成される。なお、詳細は後述するが、参照データ生成用演算部３２は、必要に応じて出力データを再び入力させて参照データの生成に利用する。
【００４５】
本発明の画像処理装置１は、毎フレームにわたって参照データがデータ圧縮手段１３において圧縮されるのではなく、数フレームに１回毎に参照データがデータ圧縮手段１３で圧縮される点が図１２の画像処理装置５０とは大きく異なる点である。そして、このような構成としても、出力画像データ生成手段１１から出力される処理済画像データに所望の処理済画像データからの誤差が微小な範囲に留まらせることのできるよう、参照データ生成手段５に特徴を有している。
【００４６】
以下、画像処理装置１の処理内容の詳細について、実施例を用いて説明する。
【００４７】
（実施例１）
まず、画像処理装置１が、２フレームに１回毎に参照データをデータ圧縮手段１３において圧縮する構成である場合について説明する。図３，図４，図５は、本実施例における画像処理装置１の一連の処理を、時系列で模式的に示した概念図である。紙面の都合上３図面に分けて図示している。
【００４８】
なお、本実施例では、２フレームに１回毎に参照データがデータ圧縮手段１３において圧縮される態様であるため、この２フレームを１単位とした「ターム」という概念を用いて説明する。あるタームＮにおいては、フレームＮ−１とフレームＮ−２の２つのフレームで構成される。
【００４９】
更に、本実施例では、処理前画像データ入力端子２１から入力される処理前画像データは、連続する２フレーム間、特に同一ターム内における連続２フレーム間における差異が小さいものとする。通常の動画データの場合、任意の画素Ｘにおけるあるフレームでの画素データは、同じ画素Ｘにおける次のフレームでの画素データに近似するため、このような動画データは、連続する２フレーム間での処理前画像データの差異が小さい例に当てはまる。更には、２枚の左目用画像と２枚の右目用画像が夫々交互に繰り返し入力される３Ｄ画像データの場合についても、連続する２フレームで構成される１ターム間においては、２枚の右目用画像に関するデータか、２枚の左目用画像に関するデータが入力されるため、連続する２フレーム間での処理前画像データの差異が小さい例に当てはまる。
【００５０】
図３に示すターム０は、図４に示すターム１（より正確にはフレーム１−１）の開始時点においてメモリ１７に保管されているデータがどのようなデータであるかを説明するために図示されたものである。ターム０の各フレームの動作内容の詳細については、ターム１及び２の説明によって明らかとなる。
【００５１】
ターム０の後半のフレーム０−２において、参照データ生成用演算部３２では、参照データＲ０２が生成される。この参照データＲ０２は、データ圧縮手段１３において圧縮参照データｒ０２に圧縮され、メモリ１７に格納される。
【００５２】
図４を参照して、ターム１の各フレーム（フレーム１−１，１−２）における動作説明を行う。前記の通り、このターム１の開始時点において、メモリ１７にはターム０のフレーム０−２で生成された圧縮参照データｒ０２が格納されている。
【００５３】
フレーム１−１では、まず、データ伸張手段１５が、メモリ１７に格納されていた圧縮参照データｒ０２に対して伸張処理を行い、復元参照データＲ０２’を生成する。参照データ生成用演算部３２は、この復元参照データＲ０２’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から与えられる本フレーム１−１の処理前画像データＡ１１と復元参照データＲ０２’に基づいて処理済画像データＢ１１を生成し、処理済画像データ出力端子２３より出力する。
【００５４】
つまり、フレーム１−１では、参照データ生成用演算部３２からデータ圧縮手段１５に対して参照データが送られることはなく、データ圧縮手段１５はこのフレーム期間内において圧縮処理を行わない。従って、メモリ１７に格納されているデータは更新されず、メモリ１７には引き続き圧縮参照データｒ０２が格納されている。
【００５５】
次のフレーム１−２では、フレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。前記の通り、直前のフレーム１−１ではメモリ１７に格納されているデータは更新されていないため、フレーム１−１と同様にメモリ１７から圧縮参照データｒ０２が読み出され、データ伸張手段１５において復元参照データＲ０２’が生成される。この復元参照データＲ０２’は、参照データ生成用演算部３２に送られる。
【００５６】
参照データ生成用演算部３２は、フレーム１−１の場合とは異なり、処理前画像データ入力端子２１から与えられる本フレーム１−２の処理前画像データＡ１２、及び復元参照データＲ０２’に基づいて参照データを生成する。図４では、このときに生成される参照データを「Ｒ１１ｓ」と表記している。
【００５７】
上述したように、フレーム１−１において入力される処理前画像データＡ１１とその直後のフレーム１−２において入力される処理前画像データＡ１２とはほぼ同一のデータである。従って、処理前画像データＡ１２を処理前画像データＡ１１と模擬すれば、この模擬された処理前画像データＡ１１（図面では、実際にフレーム１−１で入力された処理前画像データＡ１１と区別するために「Ａ１１ｓ」と表記している）と復元参照データＲ０２’を用いることで、本来フレーム１−１において生成されるはずであった参照データＲ１１を模擬することができる。図面では、模擬された参照データという意味を示すため、添え字のｓを用いて「Ｒ１１ｓ」と表記している。以下では、このように模擬された参照データのことを「模擬参照データ」と呼ぶ。また、同様に、模擬された処理前画像データのことを「模擬処理前画像データ」と呼ぶ。
【００５８】
フレーム１−１では、参照データＲ１１を生成する処理を行っていない。なぜなら、もしこのフレームで参照データＲ１１を生成した場合、次のフレーム１−２までの間、この参照データＲ１１をメモリ１７内に格納する必要があり、そのためにはデータ圧縮手段１３における圧縮処理が必要となるためである。本実施例では、２フレームに１回の割合でデータ圧縮手段１３による圧縮処理が行われる構成である。つまり、本実施例では、フレーム１−１においてデータ圧縮処理を行わなくても良いように、意図的にフレーム１−１で参照データＲ１１を生成していない。
【００５９】
しかし、フレーム１−１で参照データＲ１１を生成していないといっても、次のフレーム１−２において出力画像データＢ１２を生成するに際して参照データが不要となるわけではない。そこで、フレーム１−２では、処理前画像データＡ１２が処理前画像データＡ１１に近似している性質を利用し、このデータＡ１２をＡ１１とみなして（模擬処理前画像データＡ１１ｓ）、まずフレーム１−１における参照データＲ１１に相当する模擬参照データＲ１１ｓを生成している。
【００６０】
すなわち、あるフレームｊにおける参照データＲｊを生成するためには、その直前のフレームｉ（ｉ＝ｊ−１）において生成された参照データＲｉと、当該フレームｊで入力された処理前画像データＡｊが必要となる。しかし、参照データＲｉそのものを１フレームにわたって保管するためには大容量メモリが必要となるため、実際には参照データＲｉが圧縮された圧縮参照データｒｉをメモリから読み出し、これに伸張処理が施された復元参照データＲｉ’を参照データＲｉの代わりに用いることは上述した通りである。
【００６１】
つまり、実際に参照データＲｊを生成するためには、復元参照データＲｉ’と処理前画像データＡｊが必要であることが分かる。
【００６２】
再び図４を参照すると、フレーム１−２の開始時点において、メモリ１７には圧縮参照データｒ０２が格納され、処理前画像データ入力端子２１からは処理前画像データＡ１２が入力される。フレーム１−１を基準とした場合、圧縮参照データｒ０２は、直前のフレームで生成された参照データが圧縮されてなる圧縮参照データであり、処理前画像データＡ１２は、データが近似していることから当該フレーム１−１で入力された処理前画像データＡ１１とみなすことができる。従って、フレーム１−２において、圧縮参照データｒ０２を伸張してなる復元参照データＲ０２’と処理前画像データＡ１２（模擬処理前画像データＡ１１ｓ）とに基づいて参照データ生成用演算部３２が生成したデータは、フレーム１−１において生成されるはずであった参照データＲ１１と模擬できる（模擬参照データＲ１１ｓ）。
【００６３】
よって、出力画像データ生成手段１１は、この模擬参照データＲ１１ｓと処理前画像データＡ１２に基づいて本フレーム１−２における処理済画像データＢ１２を生成することが可能となる。
【００６４】
また、上述したように、本実施例では、２フレームに１回、圧縮処理を行うことが許される。フレーム１−１では圧縮処理が行われていないため、フレーム１−２において圧縮処理が行われる。よって、本フレーム１−２では、当該フレーム１−２の参照データＲ１２を生成することが可能となる。
【００６５】
参照データＲ１２を生成するためには、当該フレーム１−２の処理前画像データＡ１２と、直前のフレーム１−１における参照データＲ１１が必要となる。本フレーム１−２では、既に参照データ生成用演算部３２において、模擬参照データＲ１１ｓが生成されているため、このデータを用いることができる。つまり、参照データ生成用演算部３２は、本フレーム１−２において既に生成した模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に入力させ、このデータと処理前画像データＡ１２に基づいて、参照データＲ１２を生成する。図２において、参照データ生成用演算部３２の出力と入力を接続しているのは、この参照データ生成用演算部３２で生成されたデータが再び参照データ生成用演算部３２に入力されることを模式的に示したものである。
【００６６】
このようにして生成された参照データＲ１２は、データ圧縮手段１３において圧縮参照データｒ１２に圧縮され、メモリ１７に格納される。これにより、ターム１が完了する。
【００６７】
ターム１に引き続きターム２が開始される。ターム２以後の各フレームでは、ターム１のフレーム１−１及び１−２と同様の処理が行われる。ターム２について、図５を参照して簡単に説明する。
【００６８】
ターム２の最初のフレーム２−１では、参照データ生成用演算部３２が、直前のフレーム１−２で格納された圧縮参照データｒ１２に基づく復元参照データＲ１２’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、この復元参照データＲ１２’と、本フレーム２−１で入力される処理前画像データＡ２１とに基づいて処理済画像データＢ２１を出力する。
【００６９】
次のフレーム２−２では、まず、参照データ生成用演算部３２が、本フレーム２−２で入力された処理前画像データＡ２２（これが模擬処理前画像データＡ２１ｓとなる）と復元参照データＲ１２’とに基づいて、直前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。出力画像データ生成手段１１は、この模擬参照データＲ２１ｓと処理前画像データＡ２２に基づいて処理済画像データＢ２２を生成して出力する。参照データ生成用演算部３２は、直前に生成した模擬参照データＲ２１ｓを再入力し、これと処理前画像データＡ２２に基づいて、本フレーム２−２の参照データＲ２２を生成する。この参照データＲ２２は、データ圧縮手段１３において圧縮参照データｒ２２に圧縮され、メモリ１７に格納される。
【００７０】
本実施例では、圧縮処理を２フレームに１回に減らすことができるため、図１３に示した従来の処理フローと比較して、圧縮誤差による処理済画像データの劣化程度を抑制することができる。
【００７１】
（実施例２）
次に、画像処理装置１が、４フレームに１回毎に参照データをデータ圧縮手段１３において圧縮する構成である場合について説明する。実施例１にならって、繰り返しの単位を「ターム」と呼ぶ。本実施例では、１タームが４フレームで構成される。図６，図７，図８，図９，図１０は、本実施例における画像処理装置１の一連の処理を、時系列で模式的に示した概念図である。紙面の都合上５図面に分けて図示している。
【００７２】
なお、本実施例では、４フレームに１回毎に参照データがデータ圧縮手段１３において圧縮される。実施例１と同様、「ターム」という概念を用いれば、４フレームを１単位として「ターム」が構成される。すなわち、あるタームＮにおいては、フレームＮ−１，Ｎ−２，Ｎ−３，Ｎ−４の４つのフレームで構成される。
【００７３】
また、本実施例では、処理前画像データ入力端子２１から入力される処理前画像データは、同一ターム内における連続４フレーム間における差異が小さいものとする。このような処理前画像データの一例としては、３Ｄ動画データ等が考えられる。
【００７４】
図６に示すターム０は、図７及び図８に示すターム１（より正確にはフレーム１−１）の開始時点においてメモリ１７に保管されているデータがどのようなデータであるかを説明するために図示されたものである。ターム０の各フレームの動作内容の詳細については、ターム１及び２の説明によって明らかとなる。
【００７５】
ターム０の最後のフレーム０−４において、参照データ生成用演算部３２では、参照データＲ０４が生成される。この参照データＲ０４は、データ圧縮手段１３において圧縮参照データｒ０４に圧縮され、メモリ１７に格納される。
【００７６】
図７及び図８を参照して、ターム１の各フレーム（フレーム１−１，１−２，１−３，１−４）における動作説明を行う。前記の通り、このターム１の開始時点において、メモリ１７には圧縮参照データｒ０４が格納されている。
【００７７】
フレーム１−１では、データ伸張手段１５が、メモリ１７に格納されていた圧縮参照データｒ０４に対して伸張処理を行い、復元参照データＲ０４’を生成する。そして、実施例１と同様に、参照データ生成用演算部３２は、この復元参照データＲ０４’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から与えられる本フレーム１−１の処理前画像データＡ１１と復元参照データＲ０４’に基づいて処理済画像データＢ１１を生成し、処理済画像データ出力端子２３より出力する。
【００７８】
なお、本実施例では１タームが４のフレームで構成されているため、１タームには、対象フレーム、対象フレームの直前フレーム以外のフレームが存在する。以下では、同一ターム内における対象フレームの直前フレームと、それよりも前のフレームとを区別して記載する必要がある場合には、データ名に「特定」という表現を付加するものとする。つまり、対象フレームの直前フレームに対応する参照データのことを特に「特定参照データ」と呼び、この特定参照データが模擬されたデータのことを特に「模擬特定参照データ」と呼ぶものとする。
【００７９】
フレーム１−１の場合、直前のターム０の最終フレーム０−４が、そのまま直前フレームに対応する。このため、フレーム０−４において生成された圧縮参照データｒ０４を伸張した復元参照データＲ０４’をもって、「特定参照データ」とすることができる。
【００８０】
次のフレーム１−２では、フレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−１ではメモリ１７に格納されているデータは更新されていないため、フレーム１−１と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８１】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−２の処理前画像データＡ１２を、直前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて参照データを生成する。実施例１で上述したように、この参照データは、直前のフレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ、これは模擬特定参照データでもある）。そして、出力画像データ生成手段１１は、この模擬参照データＲ１１ｓと処理前画像データＡ１２に基づいて本フレーム１−２における処理済画像データＢ１２を生成し、処理済画像データ出力端子２３より出力する。
【００８２】
図８に移り、次のフレーム１−３では、まずフレーム１−１と同様に、データ伸張手段１５がメモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−２ではメモリ１７に格納されているデータは更新されていないため、フレーム１−２と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８３】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−３の処理前画像データＡ１３を、２つ前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて、参照データを生成する。フレーム１−２と同様の理由により、この参照データは、フレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ）。しかし、フレーム１−１は対象フレーム１−３から見て直前のフレームではないため、模擬参照データＲ１１ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８４】
すなわち、参照データ生成用演算部３２は、本フレーム１−３の処理前画像データＡ１３を直前のフレーム１−２の処理前画像データＡ１２と模擬し（模擬処理前画像データＡ１２ｓ）、生成した模擬参照データＲ１１ｓを再入力して参照データを再び生成する。この参照データは、フレーム１−２で生成されるはずであった参照データＲ１２を模擬するものである（模擬参照データＲ１２ｓ）。この模擬参照データＲ１２ｓは対象フレーム１−３から見て直前のフレーム１−２に対応するため、模擬特定参照データである。よって参照データ生成用演算部３２は、このデータを出力画像データ生成手段１１に出力する。
【００８５】
出力画像データ生成手段１１は、この模擬参照データＲ１２ｓ（模擬特定参照データでもある）と処理前画像データＡ１３に基づいて本フレーム１−３における処理済画像データＢ１３を生成し、処理済画像データ出力端子２３より出力する。
【００８６】
次のフレーム１−４では、まずフレーム１−１と同様に、データ伸張手段１５が、メモリ１７からデータを読み出して伸張処理を行う。直前のフレーム１−３ではメモリ１７に格納されているデータは更新されていないため、フレーム１−３と同様に、メモリ１７から圧縮参照データｒ０４が読み出され、データ伸張手段１５において復元参照データＲ０４’が生成される。この復元参照データＲ０４’は、参照データ生成用演算部３２に送られる。
【００８７】
参照データ生成用演算部３２は、処理前画像データ入力端子２１から与えられる本フレーム１−４の処理前画像データＡ１４を、３つ前のフレーム１−１の処理前画像データＡ１１と模擬し（模擬処理前画像データＡ１１ｓ）、このデータと復元参照データＲ０４’に基づいて、参照データを生成する。フレーム１−３と同様の理由により、この参照データは、フレーム１−１で生成されるはずであった参照データＲ１１を模擬するものである（模擬参照データＲ１１ｓ）。しかし、フレーム１−１は対象フレーム１−４から見て直前のフレームではないため、模擬参照データＲ１１ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１１ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８８】
更に、参照データ生成用演算部３２は、本フレーム１−４の処理前画像データＡ１４を２つ前のフレーム１−２の処理前画像データＡ１２と模擬し（模擬処理前画像データＡ１２ｓ）、生成した模擬参照データＲ１１ｓを再入力して参照データを再び生成する。フレーム１−３と同様の理由により、この参照データは、フレーム１−２で生成されるはずであった参照データＲ１２を模擬するものである（模擬参照データＲ１２ｓ）。しかし、フレーム１−２もまた対象フレーム１−４から見て直前のフレームではないため、模擬参照データＲ１２ｓは模擬特定参照データではない。よって、模擬特定参照データを生成すべく、この模擬参照データＲ１２ｓを再度参照データ生成用演算部３２に再入力して演算処理を実行する。
【００８９】
更に、参照データ生成用演算部３２は、本フレーム１−４の処理前画像データＡ１４を直前のフレーム１−３の処理前画像データＡ１３と模擬し（模擬処理前画像データＡ１３ｓ）、生成した模擬参照データＲ１２ｓを再入力して参照データを再び生成する。この参照データは、フレーム１−３で生成されるはずであった参照データＲ１３を模擬するものである（模擬参照データＲ１３ｓ）。この模擬参照データＲ１３ｓは対象フレーム１−４から見て直前のフレーム１−３に対応するため、模擬特定参照データである。よって参照データ生成用演算部３２は、このデータを出力画像データ生成手段１１に出力する。
【００９０】
出力画像データ生成手段１１は、この模擬参照データＲ１３ｓ（模擬特定参照データでもある）と処理前画像データＡ１４に基づいて本フレーム１−４における処理済画像データＢ１４を生成し、処理済画像データ出力端子２３より出力する。
【００９１】
また、上述したように、本実施例では、４フレームに１回、圧縮処理を行うことが許される。フレーム１−１，１−２，１−３では圧縮処理が行われていないため、フレーム１−４において圧縮処理が行われる。よって、本フレーム１−４では、当該フレーム１−４の参照データＲ１４を生成することが可能となる。
【００９２】
参照データＲ１４を生成するためには、当該フレーム１−４の処理前画像データＡ１４と、直前のフレーム１−３における参照データＲ１３（特定参照データ）が必要となる。本フレーム１−４では、既に参照データ生成用演算部３２において、模擬参照データＲ１３ｓ（模擬特定参照データ）が生成されているため、このデータを用いることができる。よって、参照データ生成用演算部３２は、本フレーム１−２において既に生成した模擬参照データＲ１３ｓを再度参照データ生成用演算部３２に入力させ、このデータと処理前画像データＡ１４に基づいて参照データＲ１４を生成する。
【００９３】
そして、このようにして生成された参照データＲ１４は、データ圧縮手段１３において圧縮参照データｒ１４に圧縮され、メモリ１７に格納される。これにより、ターム１が完了する。
【００９４】
ターム１に引き続きターム２が開始される。ターム２以後の各フレームでは、ターム１のフレーム１−１，１−２，１−３，１−４と同様の処理が行われる。ターム２について、図９及び図１０を参照して簡単に説明する。
【００９５】
ターム２の最初のフレーム２−１では、参照データ生成用演算部３２が、直前のフレーム１−４で格納された圧縮参照データｒ１４に基づく復元参照データＲ１４’をそのまま出力画像データ生成手段１１に送出する。出力画像データ生成手段１１は、この復元参照データＲ１４’と、本フレーム２−１で入力される処理前画像データＡ２１とに基づいて処理済画像データＢ２１を出力する。
【００９６】
次のフレーム２−２では、まず、参照データ生成用演算部３２が、本フレーム２−２で入力された処理前画像データＡ２２（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、直前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２１ｓ（模擬特定参照データ）と処理前画像データＡ２２に基づいて処理済画像データＢ２２を生成して出力する。
【００９７】
次のフレーム２−３では、まず、参照データ生成用演算部３２が、本フレーム２−３で入力された処理前画像データＡ２３（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、２つ前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２１ｓを再入力し、これと本フレーム２−３で入力された処理前画像データＡ２３（模擬処理前画像データＡ２２ｓ）とに基づいて、直前のフレーム２−２の参照データを模擬した模擬参照データＲ２２ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２２ｓ（模擬特定参照データ）と処理前画像データＡ２３に基づいて処理済画像データＢ２３を生成して出力する。
【００９８】
次のフレーム２−４では、まず、参照データ生成用演算部３２が、本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２１ｓ）と復元参照データＲ１４’とに基づいて、３つ前のフレーム２−１の参照データを模擬した模擬参照データＲ２１ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２１ｓを再入力し、これと本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２２ｓ）とに基づいて、２つ前のフレーム２−２の参照データを模擬した模擬参照データＲ２２ｓを生成する。更に、参照データ生成用演算部３２は、生成したこの模擬参照データＲ２２ｓを再入力し、これと本フレーム２−４で入力された処理前画像データＡ２４（模擬処理前画像データＡ２３ｓ）とに基づいて、直前のフレーム２−３の参照データを模擬した模擬参照データＲ２３ｓ（模擬特定参照データ）を生成する。出力画像データ生成手段１１は、この模擬参照データＲ２３ｓと処理前画像データＡ２４に基づいて処理済画像データＢ２４を生成して出力する。
【００９９】
そして、フレーム２−４においては、参照データ生成用演算部３２が、直前に生成した模擬参照データＲ２３ｓ（模擬特定参照データ）を再入力し、これと処理前画像データＡ２４に基づいて本フレーム２−４の参照データＲ２４を生成する。この参照データＲ２４は、データ圧縮手段１３において圧縮参照データｒ２４に圧縮され、メモリ１７に格納される。
【０１００】
本実施例では、圧縮処理を４フレームに１回に減らすことができるため、図１３に示した従来の処理フローと比較して、圧縮誤差による処理済画像データの劣化程度を抑制することができる。また、実施例１よりも更に圧縮処理の回数を減らすことができるため、実施例１より高い劣化抑制効果が期待できる。
【０１０１】
上記実施例１及び２を踏まえれば、本発明の画像処理装置１は、２以上の整数Ｎを用いて、Ｎフレームに１回の圧縮処理によって直前のフレームで生成された参照データに基づいて出力用の処理済画像データを生成することが可能となる。以下、画像処理装置１の処理内容を一般化して説明する。
【０１０２】
説明に際し、タームＴに属するａ番目のフレームのことをフレームＦ＿［Ｔ，ａ］と記号化する。また、このフレームで生成されたデータαのことをデータα［Ｔ，ａ］と記号化する。更に、あるデータαを模擬したデータであることを特に示す場合には、添え字のｓを記号に付加する。
【０１０３】
この記号法を用いて具体例を説明する。ターム１に属する３番目のフレームＦ＿［１，３］は、実施例２でいえば図８のフレーム１−３に対応する。また、このフレームで生成される処理済画像データＢ［１，３］は、図８にいう処理済画像データＢ１３に対応する。更に、このフレームで入力される処理前画像データＡ［１，３］は、２つ前のフレームＦ＿［１，１］で入力される処理前画像データを模擬する模擬処理前画像データＡ［１，１］ｓとして模擬参照データＲ［１，１］ｓの生成に利用され、更に、直前のフレームＦ＿［１，２］で入力される処理前画像データを模擬する模擬処理前画像データＡ［１，２］ｓとして模擬参照データＲ［１，２］ｓの生成に利用される。
【０１０４】
本発明の画像処理装置１は、Ｎフレームに１回（Ｎ≧２の整数）の割合でデータ圧縮処理を行う。連続するＮフレームを１タームと規定すると、１タームに１回の割合でデータ圧縮処理が行われることとなる。圧縮処理が行われるフレームの次のフレームで次のタームへと移行するものとする。
【０１０５】
最初のターム（実施例におけるターム０に相当する）を除く各タームＴに属する各フレーム開始時点において、メモリ１７には、直前のタームの最終フレームＦ＿［（Ｔ−１），Ｎ］の圧縮参照データｒ［（Ｔ−１），Ｎ］が格納されている。
【０１０６】
タームＴの任意のａ番目（ａは１以上Ｎ以下の整数）のフレームＦ＿［Ｔ，ａ］では、データ伸張手段１５は、メモリに格納された圧縮参照データｒ［（Ｔ−１），Ｎ］に基づいて、復元参照データＲ’［（Ｔ−１），Ｎ］を生成して参照データ生成用演算部３２に出力する。
【０１０７】
更にａ＝１、すなわちタームＴの最初のフレームＦ＿［Ｔ，１］において、参照データ生成用演算部３２は、復元参照データＲ’［（Ｔ−１），Ｎ］をそのまま出力画像データ生成手段１１に出力する。出力画像データ生成手段１１は、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，１］と復元参照データＲ’［（Ｔ−１），Ｎ］に基づいて処理済画像データＢ［Ｔ，１］を生成して出力する。
【０１０８】
ａ＞１、すなわち、タームＴの最初以外のフレームＦ＿［Ｔ，ａ］において、参照データ生成用演算部３２は、復元参照データＲ’［（Ｔ−１），Ｎ］と処理前画像データＡ［Ｔ，ａ］とに基づいて、タームＴの最初のフレームＦ＿［Ｔ，１］の模擬参照データＲ［Ｔ，１］ｓを生成する。ａ＝２の場合（Ｎ＝２の場合におけるａ＝Ｎを含む）には、出力画像データ生成手段１１が、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，２］及びこの模擬参照データＲ［Ｔ，１］ｓに基づいて処理済画像データＢ［Ｔ，２］を生成して出力する。
【０１０９】
更にａ＞２の場合には、参照データ生成用演算部３２で生成した模擬参照データを参照データ生成用演算部３２に再入力し、これと処理前画像データＡ［Ｔ，ａ］とに基づいて模擬参照データを再生成するという動作を更に（ａ−２）回繰り返して実行することで、直前のフレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓを生成する。そして、出力画像データ生成手段１１が、処理前画像データ入力端子２１から入力される処理前画像データＡ［Ｔ，ａ］及びこの直前フレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓに基づいて処理済画像データＢ［Ｔ，ａ］を生成して出力する。
【０１１０】
更に、ａ＝Ｎ、すなわちタームＴの最終フレームにおいては、参照データ生成用演算部３２で生成した直前フレームの模擬参照データ（模擬特定参照データ）Ｒ［Ｔ，（ａ−１）］ｓを参照データ生成用演算部３２に再入力し、これと処理前画像データＡ［Ｔ，Ｎ］とに基づいて参照データを再生成することで、当該フレームＦ＿［Ｔ，Ｎ］の参照データＲ［Ｔ，Ｎ］を生成する。そして、この参照データＲ［Ｔ，Ｎ］がデータ圧縮手段１３によって圧縮処理され、圧縮参照データｒ［Ｔ，Ｎ］としてメモリ１７に格納される。
【０１１１】
［別実施形態］
以下、別実施形態につき説明する。
【０１１２】
〈１〉 上記実施形態では、出力画像データ生成手段１１において実際に行われる演算内容の詳細については特に規定していない。本発明の画像処理装置は、対象フレームの画像データと、直前のフレームの画像データに基づくデータ（これが「参照データ」に対応する）とを用いて、必要なデータを算出する処理を行うあらゆる処理機構に応用が可能である。
【０１１３】
本発明の画像処理装置を利用する具体的な一態様としては、液晶表示装置の画素電極への印加電圧の決定機構が挙げられる。液晶の透過率の応答速度は、画素電極への印加電圧の変化よりも遅いため、表示画像が入力画像データの早い変化に十分応答できない場合が考えられる。
【０１１４】
そこで、直前のフレームでの画像データと比べて対象フレームの画像データの出力値が上方に変化している場合には、その入力される画像データよりも大きなデータを処理済画像データとして出力し、逆に、直前の画像データと比べて対象フレームの画像データの出力値が下方に変化している場合には、その入力される画像データよりも小さなデータを処理済画像データとして出力するものとする（オーバーシュート処理）。これにより、液晶表示装置の応答特性を向上させることができる。
【０１１５】
このようなオーバーシュート処理を、従来の図１２及び図１３に示す処理手順で行った場合、経時的に圧縮誤差が重畳され、この結果として画質の劣化や輝点／輝線が表示されるという症状が発生することが考えられる。本発明の画像処理装置の処理フローによれば、圧縮誤差が抑制できるため、高画質な画像表示が可能となる。
【０１１６】
その他としては、直前のフレームの画像データに基づく補正処理を行う場合にも本発明の画像処理装置は利用できる。
【０１１７】
〈２〉 図３〜図１０を参照して説明した参照データ生成手段５の処理フローは、制御部３１による制御信号に基づいて参照データ生成用演算部３２が制御されることで実現する構成として良い。ここで、図３〜図１０でも明らかとなったように、各ターム内の何番目のフレームに属しているかによって、参照データ生成手段５の実質的な動作内容が変化する構成である。このため、制御部３１は、各ターム内に含まれるフレーム数を予め認識しており、更に、処理前画像データ入力端子２１から与えられるデータに基づいてフレームの変わり目を認識することで、ターム内の何番目のフレームに属しているかを認識することが可能な構成であるものとして構わない。
【０１１８】
また、特に実施例１のように、１タームが２フレームで構成される場合には、図４のフレーム１−１で示した動作（動作１）と、フレーム１−２で示した動作（動作２）の切り替えのみが実行できれば良いため、予めこれらの動作内容を記憶しておき、フレームの変わり目を認識した時点で、動作内容を切り替える旨の信号を参照データ生成用演算部３２に出力する構成とすることができる。
【０１１９】
なお、フレームの切れ目を認識する方法としては、１フレーム分の処理前画像データの先頭又は最後にフレームが切り替わる旨のフラグを挿入しておき、このフラグを認識した時点で制御部３１がフレームの切れ目を認識するものとすることができる。また、別の方法としては、フレームが切り替わるタイミングで、外部から同期信号が制御部３１に入力される構成としても良い。
【０１２０】
また、実施例２のように、１タームが３以上のフレームで構成される場合には、制御部３１内に、フレームをカウントする機構を備えるものとすれば良い。この場合において、当該カウント機構は、タームを構成するフレーム数毎に０クリアされる構成としても構わない。例えば、実施例２のように１タームが４のフレームで構成される場合には、最低４のカウントができれば良い。
【０１２１】
〈３〉 最初のターム０では、直前のフレームが存在しないため、メモリには直前のフレームで生成された圧縮参照データが格納されていない。このため、最初のターム０では、予めメモリ１７に所定のデータが格納されており、このデータに基づいて参照データが生成されるものとすることができる。
【０１２２】
〈４〉 ターム内に含まれるフレーム数Ｎを外部から指定できる構成としても良い。例えば、図１１に示すように、画像処理装置１が圧縮頻度設定用端子２５を備えており、この圧縮頻度設定用端子２５からフレーム数Ｎに関する情報を入力可能な構成とする。この情報が、参照データ生成手段５に与えられると、参照データ生成手段５は、Ｎフレームに１回圧縮処理を実行する。このＮの値が変化するタイミングとしては、タームが切り替わるタイミングとすることができる。
【符号の説明】
【０１２３】
１： 本発明の画像処理装置
５： 参照データ生成手段
１１： 出力画像データ生成手段
１３： データ圧縮手段
１５： データ伸張手段
１７： メモリ
２１： 処理前画像データ入力端子
２３： 処理済画像データ出力端子
２５： 圧縮頻度設定用端子
３１： 制御部
３２： 参照データ生成用演算部
５０： 従来の画像処理装置
６０： 従来の画像処理装置が備える参照データ生成手段
【特許請求の範囲】
【請求項１】
フレーム毎に処理前画像データが入力され、これに所定の出力用処理が施されて処理済画像データをフレーム毎に出力する画像処理装置であって、
対象フレームに入力された前記処理前画像データに対応する参照データを、２以上の連続したフレームで構成される１タームに１回の頻度で生成すると共に、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを、フレーム毎に出力する参照データ生成手段と、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成するデータ圧縮手段と、
前記圧縮参照データを格納するメモリと、
フレーム毎に、前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張手段と、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成手段と、を備え、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記参照データ生成手段は、前記ターム毎に同一の処理を繰り返し実行する構成であって、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、更に前記対象フレームが前記ターム内の最終フレームである場合には、上記動作に加えて前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成して前記データ圧縮手段に出力し、前記データ圧縮手段において当該参照データを圧縮させることを特徴とする画像処理装置。
【請求項２】
前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記参照データ生成手段は、
ａ＝２の場合、当該対象フレームで前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果を前記参照データ生成手段に再入力してこれと前記当該対象フレームの前記処理前画像データとに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記参照データ生成手段に再入力して前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記１タームを構成する連続フレーム数に関する情報である圧縮頻度設定情報を外部より入力可能に構成されており、
前記参照データ生成手段は、前記圧縮頻度設定情報によって表わされるフレーム数で規定される前記ターム毎に所定の動作を繰り返し実行する構成であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
フレーム毎に入力される処理前画像データに対して所定の出力用処理を施して処理済画像データをフレーム毎に出力する画像処理方法であって、
２以上の連続したフレームで構成される１タームに１回の頻度で、対象フレームに入力された前記処理前画像データに対応する参照データを生成する参照データ生成ステップと、
毎フレームにおいて、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを生成する特定参照データ生成ステップと、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成する参照データ圧縮ステップと、
前記圧縮参照データをメモリ内に格納するメモリステップと、
前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張ステップと、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成ステップとを有し、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記特定参照データ生成ステップは、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張ステップで生成された前記復元参照データを前記特定参照データと決定し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張ステップで生成された前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データと決定するステップであり、
前記参照データ生成ステップは、
前記対象フレームが前記ターム内の最終フレームである場合に、当該対象フレームの前記特定参照データ生成ステップにおいて生成した前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成するステップであることを特徴とする画像処理方法。
【請求項５】
前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記特定参照データ生成ステップは、
ａ＝２の場合、当該対象フレームで前記データ伸張ステップにおいて生成された前記復元参照データ及び当該対象フレームの前記処理前画像データを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果と前記当該対象フレームの前記処理前画像データに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
外部より与えられる、前記１タームを構成する連続フレーム数に関する情報に基づいて、前記対象フレームが前記ターム内の何番目のフレームであるかを認識することを特徴とする請求項４又は５に記載の画像処理方法。
【請求項１】
フレーム毎に処理前画像データが入力され、これに所定の出力用処理が施されて処理済画像データをフレーム毎に出力する画像処理装置であって、
対象フレームに入力された前記処理前画像データに対応する参照データを、２以上の連続したフレームで構成される１タームに１回の頻度で生成すると共に、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを、フレーム毎に出力する参照データ生成手段と、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成するデータ圧縮手段と、
前記圧縮参照データを格納するメモリと、
フレーム毎に、前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張手段と、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成手段と、を備え、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記参照データ生成手段は、前記ターム毎に同一の処理を繰り返し実行する構成であって、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データとして前記出力画像データ生成手段に出力し、更に前記対象フレームが前記ターム内の最終フレームである場合には、上記動作に加えて前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成して前記データ圧縮手段に出力し、前記データ圧縮手段において当該参照データを圧縮させることを特徴とする画像処理装置。
【請求項２】
前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記参照データ生成手段は、
ａ＝２の場合、当該対象フレームで前記データ伸張手段が生成した前記復元参照データと当該対象フレームの前記処理前画像データとを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果を前記参照データ生成手段に再入力してこれと前記当該対象フレームの前記処理前画像データとに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記参照データ生成手段に再入力して前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記１タームを構成する連続フレーム数に関する情報である圧縮頻度設定情報を外部より入力可能に構成されており、
前記参照データ生成手段は、前記圧縮頻度設定情報によって表わされるフレーム数で規定される前記ターム毎に所定の動作を繰り返し実行する構成であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
フレーム毎に入力される処理前画像データに対して所定の出力用処理を施して処理済画像データをフレーム毎に出力する画像処理方法であって、
２以上の連続したフレームで構成される１タームに１回の頻度で、対象フレームに入力された前記処理前画像データに対応する参照データを生成する参照データ生成ステップと、
毎フレームにおいて、直前のフレームに入力された前記処理前画像データに対応する前記参照データに近似する特定参照データを生成する特定参照データ生成ステップと、
前記１タームに１回の頻度で前記参照データに圧縮処理を施して圧縮参照データを生成する参照データ圧縮ステップと、
前記圧縮参照データをメモリ内に格納するメモリステップと、
前記メモリに格納された前記圧縮参照データに伸張処理を施して復元参照データを生成するデータ伸張ステップと、
前記特定参照データ及び前記処理前画像データに基づいて前記処理済画像データを生成する出力画像データ生成ステップとを有し、
前記処理前画像データは、少なくとも前記タームを構成する連続フレーム数にわたって相互に類似するデータであり、
前記特定参照データ生成ステップは、
前記対象フレームが前記ターム内の先頭フレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張ステップで生成された前記復元参照データを前記特定参照データと決定し、
前記対象フレームが前記ターム内の２番目以後のフレームである場合、当該対象フレームにおいて前記メモリに格納されていた前記圧縮参照データに基づいて前記データ伸張ステップで生成された前記復元参照データと当該対象フレームの前記処理前画像データとに基づいて前記特定参照データを模擬する模擬特定参照データを生成し、この前記模擬特定参照データを前記特定参照データと決定するステップであり、
前記参照データ生成ステップは、
前記対象フレームが前記ターム内の最終フレームである場合に、当該対象フレームの前記特定参照データ生成ステップにおいて生成した前記特定参照データと当該対象フレームの前記処理前画像データとに基づいて前記参照データを生成するステップであることを特徴とする画像処理方法。
【請求項５】
前記対象フレームが前記ターム内のａ番目（ａは２以上の整数）のフレームであるとした場合において、前記特定参照データ生成ステップは、
ａ＝２の場合、当該対象フレームで前記データ伸張ステップにおいて生成された前記復元参照データ及び当該対象フレームの前記処理前画像データを用いて第１の演算処理を行い、これによって得られたデータを前記模擬特定参照データとし、
ａ≧３の場合、前記第１の演算処理を実行後、演算結果と前記当該対象フレームの前記処理前画像データに基づいて第２の演算処理を行う構成であって、前記第２の演算処理で得られたデータを前記演算結果として前記第２の演算処理を（ａ−２）回繰り返し実行することで得られたデータをもって前記模擬特定参照データとすることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
外部より与えられる、前記１タームを構成する連続フレーム数に関する情報に基づいて、前記対象フレームが前記ターム内の何番目のフレームであるかを認識することを特徴とする請求項４又は５に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１１８３５０（Ｐ２０１２−１１８３５０Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６８７７２（Ｐ２０１０−２６８７７２）
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]